CN114897781A - 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法 - Google Patents
基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法 Download PDFInfo
- Publication number
- CN114897781A CN114897781A CN202210380643.8A CN202210380643A CN114897781A CN 114897781 A CN114897781 A CN 114897781A CN 202210380643 A CN202210380643 A CN 202210380643A CN 114897781 A CN114897781 A CN 114897781A
- Authority
- CN
- China
- Prior art keywords
- image
- brightness
- pore
- unet
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011148 porous material Substances 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 239000004567 concrete Substances 0.000 title claims description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 90
- 239000011380 pervious concrete Substances 0.000 claims abstract description 52
- 238000002591 computed tomography Methods 0.000 claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 238000013136 deep learning model Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 68
- 230000006870 function Effects 0.000 claims description 43
- 230000000694 effects Effects 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 18
- 230000001965 increasing effect Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012552 review Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000010008 shearing Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract description 8
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 8
- 239000002245 particle Substances 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000010200 validation analysis Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000003696 structure analysis method Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000002002 slurry Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
基于改进R‑UNet深度学习的透水混凝土孔隙自动识别方法，制备不同集料粒径的透水混凝土试样；对透水混凝土试样进行CT扫描，得到试件的CT切片图像；标准化预处理，形成标准化原始数据集；对标准化原始数据集进行标注；对带真值的标准数据集进行增强处理；提出改进R‑UNet深度学习模型，对改进后的R‑UNet深度学习模型进行训练，得到最优模型；对于亮度异常的图像，提出采用融合图像算法对分割后的图像进行融合；将测试集中的图像输入到最优模型中进行孔隙智能识别与分割，得到孔隙数目、每个孔的面积、孔隙率，同时给出评价结果。本发明方法与传统的手动阈值法相比，在精度和效率上得到大幅提升，且具有更强的鲁棒性和泛化性，完全可以代替目前采用的手动阈值法。
Description
技术领域
本发明涉及一种透水混凝土孔隙识别方法，具体涉及一种基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法。
背景技术
透水混凝土是一种具有渗水、净水、降噪、缓解热岛效应等多种环境效益的新型铺路材料，应用越来越广泛。复杂的孔隙结构是透水混凝土的基本特征，通常以孔隙率为设计控制指标，一般在10％～35％之间，其中，孔隙尺寸大小范围为1.5mm2～350mm2。孔隙结构被证明是影响透水混凝土宏观性能的决定性因素。因此，分析和表征透水混凝土的孔隙结构的基础上建立孔隙结构与宏观性能的关系是透水混凝土的关键问题，而孔隙的识别与分割结果作为分析和表征透水混凝土的孔隙结构的前提条件，其精度将直接决定后续性能分析的准确性。
随着深度学习在计算进视觉领域的不断发展，其相关技术被广泛应用于各行各业，从医学，农业，到林业都给传统方式带来了一系列的变化，最近也逐步向土木工程领域衍生。深度学习是一种数据驱动的人工智能技术，其学习是指从大量训练数据中自动获取最优参数的过程。通过对大量标注的图像数据进行训练学习，可使算法提取图像数据的深层特征，从而达到识别同类数据的效果。由于缺乏公开标准的透水混泥土数据集，还未曾有学者或工程人员将深度学习技术应用于透水混凝土的孔隙识别与分割中。
目前透水混凝土孔隙结构分析方法主要有两种：切片法和计算机断层扫描法即CT扫描法(Computerized Tomography)。切片法是先将透水混凝土试样切割，对得到的截面进行拍照获得孔隙结构高清图像，再对图像进行分析处理并提取孔隙结构参数。CT扫描法是利用CT扫描系统对试件进行扫描，得到连续的内部截面，然后利用图像处理技术分析透水混凝土的孔结构特征。这两种方法在透水混凝土的孔结构分析和建立孔结构与宏观性能之间的关系方面得到了广泛的应用，尤其是CT扫描法。
上述两种方法中，都利用了图像处理技术中的人工阈值法对图像进行分割，由于最佳阈值具有不确定性和随机性，整个分析过程依靠人工操作，分析效率低，精度不稳定。因此，建立一种高效、准确的透水混凝土孔结构分析方法仍然是一项非常有意义的挑战性工作。
以UNet为代表的深度学习语义分割模型具有较好的鲁棒性，但模型对光线明暗、色彩饱和、对比度、灰度比较敏感，特别是亮度、对比度极端异常时，图像分割的精度降低，欠分割或过分割的情况明显。针对此问题，常用的方法是在图像预处理阶段，尽可能提供不同饱和度、亮度和对比度等多样性样本，或者先对图像的对比度做直方图拉伸，然后再训练或测试，但这些方法都会显著降低模型的训练效率，不便于实际应用，因此有必要提出适合透水混凝土孔隙识别与分割的深度学习模型。
发明内容
为解决现有技术中透水混凝土孔隙识别与分割时的人工阈值法需要人工操作，导致效率低精度不高的问题。本发明提供一种基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，以设计孔隙率为20％，6种不同集料粒径的透水混凝土试样的CT切片作为原始数据集，分别对原始数据集进行预处理、真值标注、增强，获得模型训练所需的数据集，将其分为训练集，验证集和测试集，并提出采用多尺度方式训练模型，有效提升了模型识别与分割的精度；为了提高透水混凝土孔隙识别和分割精度，对深度学习UNet框架进行算法改进和优化，提出改进的R-UNet深度学习模型，并用改进的R-UNet框架进行模型训练和评价；提出确定图像亮度的正常范围[B1,B2]的算法，对处于亮度正常范围之外的亮度异常图像，提出采用图像融合算法进行图像融合，有效地提升模型亮度和对比度鲁棒性和在复杂应用环境下的可靠性。该方法与传统的手动阈值法相比，在精度和效率上得到大幅提升，且具有更强的鲁棒性和泛化性，完全可以代替目前采用的手动阈值法。
本发明采取的技术方案为：
基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，包括以下步骤：
步骤一：制备不同集料粒径的单一粒径或混合粒径的透水混凝土试样；
步骤二：对步骤一制备的透水混凝土试样进行CT扫描，得到试件的CT切片图像，作为原始数据集；
步骤三：对原始数据集进行标准化预处理，形成标准化原始数据集；
步骤四：对标准化原始数据集进行标注，形成带真值的标准数据集；
步骤五：对步骤四得到的带真值的标准数据集进行增强处理，增强后的数据集作为透水混凝土数据集，将透水混凝土数据集分割为训练集，验证集和测试集；
步骤六：构建深度学习的软硬件实验平台；
步骤七：改进UNet深度学习模型得到改进后的R-UNet深度学习模型，改进包括两部分：改进网络结构和损失函数；接着在训练集上采用多尺度训练方式对改进后的R-UNet深度学习模型进行训练，同时在验证集上进行验证，得到最优超参数，和最优模型，并在硬盘上保存最优模型；
步骤八：提出确定图像亮度的正常范围[B1,B2]的算法。
步骤九：判断图像的亮度，对亮度异常的图像，即不在步骤八确定的正常范围[B1,B2]之内的图像，本发明针对亮度异常的图像提出了一种图像融合算法，解决亮度在正常范围之外的图像识别与分割精度下降的问题。首先调整图像亮度至步骤八的正常范围，然后采用融合图像算法对分割后的图像进行融合，有效提升了R-UNet模型对亮度异常图像的精度，提升了模型的亮度鲁棒性。
步骤十：将测试集中的图像输入到最优模型中进行孔隙智能识别与分割，得到孔隙数目、每个孔的面积、孔隙率，同时给出评价结果。
步骤十一：选取步骤五的透水混凝土数据集之外的CT图像，输入到最优模型中进行孔隙智能识别与分割，得到孔隙数目、每个孔的面积、孔隙直径，孔隙率等。
所述步骤一中，制备以设计孔隙率为20％的6种不同集料粒径：6mm-8mm，8mm-9.5mm，10mm-12.5mm，12.5mm-15mm，10mm-15mm，4.75-9.5mm的玄武岩碎石试样，试样大小均为10cm*10cm*10cm。
所述步骤二中，对试样从上至下进行每间隔0.2mm一次的CT扫描，每个试样能获取500张以上等间距的原始CT切片图像。去掉顶端和底端CT扫描质量欠缺的图像，按一定规则选取图像。
所述步骤四中，在Labelme软件中，首先，对原始图像放大，然后由一名专家尽可能地贴合孔隙边缘进行多边形点标注，最后，还原成原始尺寸保存数据；同时，为进一步提高标注精度，由另一名专家检查和审核标注结果，通过审核后作为标准集；
用Labelme软件进行标注的真值，自动生成掩模图和对应的二值图。
所述步骤五中，针对R-UNet框架使用的数据集增强方式包括：色彩增强、高斯噪声、水平镜像、图像放大、图像旋转、剪切变换，然后，采用重叠策略进行无缝切割分成小块，保证了数据增强的有效性。
所述步骤七中，改进的R-UNet深度学习模型的构建包括以下两个部分：
提出的一种改进的R-UNet网络结构，并采用多尺度方式进行模型训练。
本发明提出改进的透水混凝土图像孔隙识别与分割算法是在原UNet网络结构中的下采样阶段引入残差连接，用ResNet34替换原UNet特征提取层的普通卷积，提出的一种改进R-UNet(Resnet UNet)网络结构，如图17所示。
R-UNet网络结构使用ResNet-34残差模块作为下采样阶段中的网络特征提取的基本单元进行下采样，能够有效地加深网络，接着对图像进行上采样，实现分辨率还原；同时，去掉网络的平均池化和全连接层，并改变UNet网络模型的特征通道数，且将UNet网络结构的每一个子模块分别替换为具有残差连接和密集连接的模块，并将同层的编码器与解码器直接连接，在提高准确率的同时也提高了效率。
提出在模型训练中采用二分类交叉熵损失函数和Dice损失函数构成的混合损失函数：
通过使用二分类交叉熵损失函数进行曲线平滑，通过使用Dice损失函数解决类别不均衡问题，混合损失函数如公式(3)所示：
Lbd＝α*Lbce+β*Ldice (3)
其中，α为二分类交叉熵损失函数Lbce的系数，β为Dice损失函数Ldice的系数，本发明中α和β的取值均为0.5。
步骤七中，采用多尺度方式进行模型训练：
在进行透水混凝土图像的孔隙分割时，需要利用模型分割出透水混凝土图像中多个级配混合的孔隙。输入图像的尺寸直接影响模型性能，在同一个图像中，不同的孔隙尺寸范围差异较大，模型对于极大孔隙和极小孔隙的检测精度不高。为了增加模型的鲁棒性，通常采用的方法是在数据集中尽可能多的混合不同类型的样本，使样本具备多样性，但会导致模型的训练效率降低且训练精度提升有限。针对上述问题和透水混凝土的特点，本发明提出多尺度训练方法，即预先定义几种不同输入尺度的图像，每次训练时从多个尺度中智能随机选取一种尺度，将输入图像缩放到该尺度并送入网络中。虽然每次迭代都是单一尺度，但每次尺度都不相同，实现提升网络鲁棒性的同时又不增加过多的计算量。
模型训练的原理：
在Pytorch深度学习框架下进行，采用GPU进行加速，并采用多次度训练方式。模型训练中的优化算法采用Adam一阶优化算法，它能基于训练数据迭代地更新神经网络权重。网络的初始学习率设为0.001，学习率衰减因子通过计算梯度的一阶矩估计和二阶矩估计自适应得到，训练的迭代次数设置为100。模型训练过程中根据运行结果的损失率和精度并结合输出图像中孔隙识别和分割效果来实时调整和优化模型参数，最终根据实际需求所设定的损失率和精度要求确定模型的最优超参数，同时得到最优模型，并将最优模型下载存储到硬盘上供后续进行模型验证和模型测试。
模型的具体训练过程如下：
首先采用迁移学习，下载ResNet34模型作为初始模型，并进行多尺度训练方式，生成最终模型。同时，为验证改进模型的有效性，在相同数据集下，对UNet和R-UNet模型进行训练，并设置相同的初始参数，均进行100个Epoch训练。如图14所示，UNet模型在训练集和验证集上的损失收敛曲线分别用蓝色和橙色实线表示，R-UNet模型训练集和验证集的损失收敛曲线分别用红色和绿色实线表示。从收敛效果分析，两种模型经过100次Epoch训练后都达到收敛，其中UNet在第60个Epoch开始收敛，而R-UNet在第50个Epoch开始收敛，表明R-UNet模型的收敛速度更快。从损失值上分析，R-UNet的训练和验证损失值均低于UNet。综合模型训练过程中的收敛速度和损失值，R-UNet模型效果显著更优。
所述步骤八中，提出确定图像亮度的正常范围[B1,B2]的算法，具体实现如下：
在标准数据集中随机选取1张图像，在亮度可调整的范围内[-150,150]，通过调整该图像的亮度值，每增加或减少10个亮度单位得到1张图像，共计31张图像，通过程序分别得到不同亮度值的图像对应的分割精度指标交并比IoU，并在二维平面上画出对应的散点图再拟合出二元一次方程，根据图像分割的精度指标交并比IoU＝0.8确定二元一次方程的两个根B1和B2，即确定出亮度的正常范围[B1,B2]。
所述步骤九包括提出一种融合模型分割图像的算法，包括以下步骤：
S9.1、首先，判断图像的亮度质量：
提取图像的亮度值，若亮度介于范围B1和B2之间，表示为Brightness[B1，B2]。设定阈值范围后，如果亮度值在这个范围之内，判定图像亮度在正常范围，不需要进行处理，否则判定图像亮度异常，进入S9.2处理；
S9.2、其次，对于亮度异常的图像进行融合分割图像：
根据设定的亮度阈值范围Brightness[B1，B2]，亮度低于B1值时，保持对比度不变，亮度依次增加至b1、b2，b1和b2的计算如公式(4)所示，生成亮度正常范围内的两张新图像；亮度高于B2值时，保持对比度不变，亮度依次减少至b1、b2，同样生成亮度正常范围内的两张新图像；对于每张亮度异常的图像经过亮度调整，都生成2张新图像，加上原始图像共计3张图像，用模型对这3张图像分别进行识别和分割；然后对分割结果图像进行融合；
所述步骤十中，采用3个评价指标：即Dice系数，IoU交并比，双向Hausdorff距离，对模型的整体性能进行评估：
Dice系数用于计算预测与真值之间的相似度，Dice越大表明模型分割效果越好；
IoU交并比用于评价预测与真值的交并比，IoU越大，效果越好；
双向Hausdorff距离用于度量预测与真值之间的距离，对分割出的边缘敏感，HD越小效果越好；
上述三个指标计算公式如下：
如式(5)所示：TP表示判定为孔隙，事实上是孔隙的个数。TN表示判定为不是孔隙，事实上不是孔隙的个数。FP表示判定为孔隙，但事实上不是孔隙的个数。FN表示判定不是孔隙，但事实上是孔隙的个数。
如式(6)所示：A表示孔隙预测框，B表示孔隙真实框。
如式(7)所示：X表示孔隙预测框点集，Y表示孔隙真实框点集，h(X,Y)、h(Y,X)表示从X到Y、Y到X的单向Hausdorff距离。
本发明实现一种基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，技术效果如下：
1)本发明提出一种改进的R-UNet深度学习算法，改进包括2个部分：
第1部分在Unet模型框架中提出引入残差网络Resnet34，在下采样的特征提取部分替换原始的卷积操作，有效地提升了模型的收敛速度和精度；
第2部分是在Unet模型框架中提出引入混合损失函数，替换原始UNet框架中的单一损失函数，有效地解决训练类别不均衡、模型不稳定的问题。
2)本发明在模型训练过程中，引入多尺度方式训练模型，有效提升了模型识别与分割的精度和效率。
3)本发明评价和分析模型的整体性能，提出采用图像分割领域里3个权威性的评价指标Dice系数，IoU交并比，和双向Hausdorff距离。Dice系数用于计算预测与真值之间的相似度，Dice越大表明模型分割效果越好。IoU交并比用于评价预测与真值的交并比，IoU越大，效果越好。双向Hausdorff距离用于度量预测与真值之间的距离，对分割出的边缘敏感，HD越小效果越好。通过这3个指标可以有效地对模型的整体性能进行评估，同时这三个评价指标能够客观精确地评价模型识别与分割性能，在测试集上对透水混凝土图像进行孔隙识别与分割完成后自动输出。
4)本发明提出确定图像亮度的正常范围[B1,B2]的算法。在亮度可调整的范围内[-150,150]，通过调整标准数据集中的1张随机图像的亮度值，每增加或减少10个亮度单位得到1张图像，共计31张图像，通过程序分别得到不同亮度值的图像对应的分割精度指标交并比IoU，并通过多项式拟合得到二元一次方程的拟合曲线，通过设置交并比IoU＝0.8(精度要求)得到二元一次方程的两个解B1和B2，即确定亮度正常范围[B1,B2]，并对处于亮度正常范围之外的亮度异常图像，提出采用图像融合算法进行图像融合，有效地提升模型亮度和对比度的鲁棒性和在复杂应用环境下的可靠性。
5)本发明设计和制备了透水混凝土中常见6种集料的CT切片图像的原始数据集，并通过编程实现了数据集增强算法，使用的增强方式有色彩增强、高斯噪声、水平镜像、图像放大、图像旋转、剪切变换，然后采用重叠策略进行无缝切割分成小块，保证了数据增强的有效性。数据集增强后实现了数据集扩充，扩充后的数据集作为模型训练的数据集，模型训练达到收敛状态并且损失函数满足精度要求。
6)本发明所设计制备的6组透水混凝土试样的集料粒径范围是4.75mm-15mm，但不限于此范围和类别，该模型具备泛化性能，通过迁移学习，以及增加对其它类别的集料试样中切片图像的孔隙标注和模型训练工作，如密实混凝土、砂浆和水泥浆体等，也可以识别其孔隙。
附图说明
图1为R-UNet网络架构流程图。
图2(1)为集料粒径6mm-8mm试样原图；
图2(2)为图2(1)R-UNet模型自动识别与分割结果图。
图2(3)为集料粒径8mm-9.5mm试样原图；
图2(4)为图2(3)R-UNet模型自动识别与分割结果图。
图2(5)为集料粒径10mm-12.5mm试样原图；
图2(6)为图2(5)R-UNet模型自动识别与分割结果图。
图2(7)为集料粒径12.5mm-15mm试样原图；
图2(8)为图2(7)R-UNet模型自动识别与分割结果图。
图2(9)为集料粒径10mm-15mm试样原图；
图2(10)为图2(9)R-UNet模型自动识别与分割结果图。
图2(11)为集料粒径4.75mm-9.5mm试样原图；
图2(12)为图2(11)R-UNet模型自动识别与分割结果图。
图3为透水混凝土试件CT扫描过程示意图。
图4(1)为不同级配的透水混凝土试样切片图(6mm-8mm)；
图4(2)为不同级配的透水混凝土试样切片图(8mm-9.5mm)；
图4(3)为不同级配的透水混凝土试样切片图(10mm-12.5mm)；
图4(4)为不同级配的透水混凝土试样切片图(12.5mm-15mm)；
图4(5)为不同级配的透水混凝土试样切片图(10mm-15mm)；
图4(6)为不同级配的透水混凝土试样切片图(4.75mm-9.5mm)。
图5(a)为原始CT切片图像(原始分辨率1300*1282)；
图5(b)为预处理后图像(预处理后分辨率256*256)
图6为Label me软件标注的真值及掩模示意图。
图7(1)为数据集增强中的原图；
图7(2)为数据集增强中的真值图；
图7(3)为数据集增强中的垂直翻转图；
图7(4)为数据集增强中的水平翻转图；
图7(5)为数据集增强中的旋转270度图；
图7(6)为数据集增强中的高斯模糊图；
图7(7)为数据集增强中的增加椒盐噪声图；
图7(8)为数据集增强中的降低亮度图。
图8为同一副图像生成不同亮度值的图像。
图9(1)为图像1的IoU散点图及拟合曲线图；
图9(2)为图像2的IoU散点图及拟合曲线图；
图9(3)为图像3的IoU散点图及拟合曲线图；
图9(4)为图像4的IoU散点图及拟合曲线图；
图9(5)为图像5的IoU散点图及拟合曲线图；
图9(6)为图像6的IoU散点图及拟合曲线图。
图10为通过31个亮度值拟合亮度曲线确定B1和B2示意图。
图11(a)为融合分割图像流程图；
图11(b)为融合分割图像效果图。
图12为标注掩膜、预测掩膜与融合掩膜图像对比图；
图12中每一列从左至右分别为原图，标注掩膜，预测掩膜与融合掩膜图像对比图，可通过a,b,c区域对比观察分割效果；图12中，a表示原图，b表示标注掩膜，c表示预测掩膜。
图13(a)为图像1孔隙质量累计分布曲线图；
图13(b)为图像2孔隙质量累计分布曲线图；
图13(c)为图像3孔隙质量累计分布曲线图；
图13(d)为图像4孔隙质量累计分布曲线图。
图14为R-UNet和UNet在训练集和验证集上的损失曲线图。
图15为标注掩膜、R-UNet方法与人工阈值方法分割结果图像对比图；
图16为本发明流程示意图。
图17为改进后的R-UNet网络架构示意图；R-UNet网络架构的核心之一是在下采样阶段中引入残差模块。
具体实施方式
基于改进R-UNet深度学习的透水混凝土切片图像的孔隙自动识别与分割方法，如图16所示，输入为经过预处理后的透水混凝土切片图像，输出为透水混凝土孔隙分割结果图像，如图2(1)～图2(12)所示；以及实际孔隙率，孔隙数目，每个孔隙的周长和面积。
包括以下步骤：
步骤1、制备试样：
本发明设计制备了6种不同集料粒径：6mm-8mm，8mm-9.5mm，10mm-12.5mm，12.5mm-15mm，10mm-15mm，4.75mm-9.5mm)的玄武岩碎石试样，试样大小均为10cm*10cm*10cm。
步骤2、原始数据集获取：
对制备的透水混凝土试样进行CT扫描，得到试件的CT切片图像，作为原始数据集。CT扫描方式从上至下，每2mm扫描一次，每种试样能获取520张左右的扫描切片，其过程如图3所示。不同级配的扫描切片如图4(1)～图4(6)所示。
步骤3、图像标准化预处理：
原始CT切片图像，格式为BMP文件，像素为1300*1282，大小为4.76MB左右。原始图像分辨率较高，存储空间较大，直接将图像导入深度学习网络中训练会造成网络中参数的指数式增长，训练效率低，所以对原始图像进行标准化预处理，标准化预处理过程分为2步通过程序自动实现：第1步：边缘裁剪；第2步：格式转换。由于原始图像的边缘部分不规范，为减少边缘图像不规范对后续图像识别和分割造成影响，对图像边缘进行裁剪，缩放，最终统一图像大小为256*256像素，文件存储格式转换为JPG，大小为50KB左右，如图5(a)、图5(b)所示。
步骤4、图像标注：
为了满足R-UNet网络模型训练的要求，提高模型对透水混凝土图像孔隙的识别精度，用Labelme图像标注软件对36张原始图像进行专家人工标注，形成图像数据真值。
由于R-UNet实现像素级的识别与分割，标注的精度将直接决定模型的精度。为了尽可能的提高标注精度，在Labelme软件中首先对图像放大，然后贴合孔隙边缘进行多边形点标注，最后还原成原始尺寸保存数据。同时，为进一步提高标注精度，由另一名专家审核标注结果，通过审核后的数据集作为标准数据集。用Labelme软件进行标注的真值，自动生成掩模图和对应的二值图，如图6所示。
步骤5、数据集增强：
采用不同方法对小目标的数据集扩充即数据集增强可以提高小目标的检测精度及模型收敛速度和精度。在本发明中，针对R-UNet框架使用的增强方式有：色彩增强、高斯噪声、水平镜像、图像放大、图像旋转、剪切变换；然后，采用重叠策略进行无缝切割分成小块，保证了数据增强的有效性。在进行增强时，标注和原图同时进行，每个数据集中的6张图像增强至4000张，6种数据集共计24000张，并按照8:1:1比例将数据集分割为训练集，验证集和测试集。数据增强部分效果如图7(1)～图7(8)所示。
步骤6、构建实验平台：
通过在Ubuntu服务器上部署R-UNet框架运行环境，软硬件环境如下。
显卡：NVIDIA T4 GPU；操作系统：Ubuntu18.04，显卡驱动版本：
NVIDIA-Linux-x86_64-450.80.02，Cuda版本：cuda_9.0.176_384.81_linux，Cudnn版本：cudnn-9.0-linux-x64-v7.0.5.15，Tensorflow版本：TensorFlow 1.14.0+Keras2.2.5。
步骤7、模型改进：
为了提高模型的整体性能和透水混凝土中孔隙的分割精度，对UNet深度学习模型进行改进，得到改进R-UNet深度学习模型，改进分为两部分：
(1)、在下采样阶段中引入残差模块：
本发明提出的透水混凝土图像孔隙识别与分割算法是在UNet网络结构中引入残差连接，用ResNet34替换原UNet特征提取层的普通卷积，提出的一种改进的R-UNet(ResnetUNet)网络结构，如图1所示。R-UNet使用ResNet-34的卷积神经网络进行下采样可以有效地加深网络，将UNet的每一个子模块分别替换为具有残差连接和密集连接的模块，且将同层的编码器与解码器直接连接，在提高精度的同时也提高效率。R-UNet模型以ResNet-34残差模块作为网络特征提取的基本单位，接着对图像进行上采样实现分辨率还原。同时去掉ResNet-34网络的平均池化和全连接层提高模型效率，并改变UNet网络模型的特征通道数。结合使用渐进式多尺度训练和混合损失函数实现透水混凝土图像的孔隙识别与分割。
(2)、提出混合损失函数：
在图像语义分割中，常见的损失函数包括交叉熵损失和Dice系数损失。对于交叉熵损失函数，其缺点是样本不均衡时，模型预测结果就会严重偏向数量占优势的样本。对于Dice损失函数，其本质是Dice系数的相反数。Dice损失函数适用于样本极度不均衡的情况，但如果单独使用Dice损失函数会对反向传播造成不利影响，出现训练不稳定。
二分类交叉熵损失函数是二分类问题的常用损失函数，用于度量误分类的概率，等效于最小化相对熵的差异，如公式(1)所示。
其中，Lbce表示二分类交叉熵损失函数，y是经过二值化后的真值，
是经过二值化后的预测值。
Dice损失函数用于优化模型，使预测值和真实值之间的Dice系数最大化，如公式(2)所示。
其中，Ldice表示Dice损失函数，x为模型预测值张量，y为真实值张量。
由于透水混凝土CT切片图像中的孔隙通常都是远小于背景的，通常设计孔隙率为20％左右，若直接采用二分类交叉熵损失函数进行图像分割，模型预测结果就会严重偏向背景，若直接采用Dice损失函数，可以避免前景像素个数(孔隙像素)和背景像素个数差异较大的问题，但其梯度形式不如二分类交叉熵损失函数，在极端条件下梯度变得非常大导致模型的训练不稳定。
针对上述问题，本发明采用二分类交叉熵损失函数和Dice损失函数构成的混合损失函数，使用二分类交叉熵损失函数进行曲线平滑，使用Dice损失函数解决类别不均衡问题，混合损失函数如公式(3)所示：
Lbd＝α*Lbce+β*Ldice (3)
其中，α为二分类交叉熵损失函数Lbce的系数，β为Dice损失函数Ldice的系数，本发明中取α和β值均为0.5。
步骤8中，提出确定图像亮度的正常范围[B1,B2]的算法，具体实现如下：
由于亮度对模型分割的精确度有直接影响，且模型评价指标交并比IoU＝0.8即充分满足模型分割精度要求，所以通过设置交并比IoU＝0.8确定亮度正常范围值[B1,B2]。具体过程如下，从数据集中选取一张亮度合适的图像，由于可以调整的亮度范围为最大增加150个单位的亮度值和最大减少150个单位的亮度值，即亮度可调整的范围表示为[-150,150]。通过对原图像依次增加和减少10个单位的亮度值得到亮度调整的图像30张图像，再加上原图共计31张图像，如图8所示。通过程序自动求得每张图像的亮度值b和交并比IoU，并在二维平面中绘制出对应31个点的散点图，拟合出其所对应的二元一次方程曲线，如图9(1)～图9(6)所示。通过设定交并比IoU＝0.8，求解二元一次方程，得到两个解B1和B2，即亮度正常范围值[B1,B2]，如图10所示。
步骤9、融合模型分割图像：
本发明中的透水混凝土试样，由于实验环境、拍摄过程等的变化导致获取的CT切片图像存在灰度、亮度、对比度的差异。结合实验和经验可知，亮度和对比度是影响分割结果的两个重要因素，而这两个因素中亮度又是关键因素，亮度的变化直接影响对比度。为了提高模型的亮度和对比度的鲁棒性，本发明提出一种融合模型分割图像的算法，逻辑流程图如图11(a)所示，融合分割图像效果图如图11(b)所示，具体实现过程分为两步：
第一步、判断图像亮度质量：
按照此流程，依次求出每个数据集的亮度正常范围值[B1,B2]，然后求出所有数据集亮度范围的交集，作为最终所有数据集的亮度正常范围，表示为Brightness[B1，B2]，如表1所示。确定亮度正常范围Brightness[B1，B2]后，如果图像亮度值在这个范围之内，判定图像亮度正常无需处理，否则判定图像亮度异常，进入第二步处理。
表1求解6个数据集的亮度所对应的正常范围及最终亮度范围
第二步、融合分割图像：
针对亮度异常的图像，调整图像亮度至正常范围内的不同亮度值2次得到正常亮度图像2张并分别进行孔隙识别与分割，加上原始亮度异常图像的识别与分割结果，共计3张图像进行图像融合。具体实现过程如下：
根据设定的亮度正常值范围Brightness[B1，B2]，当切片图像亮度低于B1值时，保持对比度不变，亮度依次增加至b1、b2，如式(4)所示，生成新的两张图像；当切片图像亮度高于B2值时，保持对比度不变，亮度依次减少至b1、b2，生成新的两张图像。对于每张亮度异常的图像经过亮度调整，生成2张新图像，加上原始图像共计3张图像，用模型对这3张图像分别进行识别和分割，然后对分割结果图像进行融合。
进行亮度值异常图像融合实验的具体过程如下：
在不同的数据集的测试集中随机选取4张亮度值在正常范围[B1,B2]之外的图像，然后分别调整图像亮度至b1和b2后进行孔隙的模型分割，并分别采用非融合模型和融合模型进行孔隙识别与分割，效果如图12所示，其分割指标mIoU如表2所示，mIoU增长率均在10％以上。
表2融合前和融合后图像分割方法评价指标统计表
从图12中，可知预测掩膜中的孔隙存在过分割和欠分割的情况(红圈标注)，而采用融合模型分割图像的融合掩膜基本跟标注掩膜一致，有效改善了过分割和欠分割的情况，提高了整体分割的准确性。
在实际应用中，透水混凝土的孔隙识别与分割的准确性将直接影响后续力学性能分析的准确性。透水混凝土中小孔的数量多且小孔本身对力学性能影响大，因此中小孔的识别和分割尤为重要。融合模型分割图像在中小孔的识别与分割上有了明显的改进和提升。为进一步精确评估融合模型分割图像对透水混凝土切片图像中的孔隙分割效果，在测试集中随机选取4张图像分别计算出不同孔隙面积的个数分布并得到其孔隙个数累计频率分布曲线，如图13(a)～图13(d)所示。由实验可知，采用融合模型分割图像进行透水混凝土图像的孔隙识别与分割，其所对应的孔隙个数累计分布曲线最接近于孔隙分布的真实结果(标签掩膜)。结果表明，融合模型分割图像提升了算法的鲁棒性，为该算法在复杂环境下的应用提供了理论和技术支持。
步骤10、提出多尺度模型训练：
在进行透水混凝土图像的孔隙分割时，需要利用模型分割出透水混凝土图像中的多个级配混合的孔隙。研究表明，输入图像的尺寸直接影响模型性能，在同一个图像中，孔隙尺寸范围较大，模型对于极大孔隙目标和极小孔隙目标的检测效果精度不高。为了增加模型的鲁棒性，包含不同尺度大小的多个数据集，通常采用的方法是数据集中尽可能多的混合不同样本，使样本具备多样性，但会导致模型的训练效率低且训练精度提升有限。针对上述问题，本发明提出多尺度训练方法，即预先定义几种不同的图像输入尺度，每次训练时从多个尺度中随机选取一种尺度，将输入图像缩放到该尺度并送入网络中。虽然每次迭代都是单一尺度，但每次尺度都不相同，提升网络鲁棒性的同时又不增加过多的计算量。
模型训练在Pytorch深度学习框架下进行，采用GPU进行加速，并采用多次度训练。模型训练中的优化算法采用Adam一阶优化算法，它能基于训练数据迭代地更新神经网络权重。网络的初始学习率设为0.001，学习率衰减因子通过计算梯度的一阶矩估计和二阶矩估计自适应得到，训练的迭代次数为100。根据程序运行结果的损失率和精度并结合图像中孔隙识别和分割效果来调整和优化模型参数。
训练过程如下：
首先采用迁移学习，使用ResNet34模型作为初始模型，进行多尺度训练方式，生成最终模型；同时，为验证改进模型的有效性，在相同数据集下，对UNet和R-UNet模型进行训练，并设置相同的初始参数，均进行100个Epoch训练。如图14所示，UNet模型在训练集和验证集上的损失收敛曲线分别用蓝色和橙色实线表示，R-UNet模型训练集和验证集的损失收敛曲线分别用红色和绿色实线表示。从收敛效果分析，两种模型经过100次Epoch训练后都达到收敛，其中，UNet在第60个Epoch开始收敛，而R-UNet在第50个Epoch开始收敛，表明R-UNet模型的收敛速度更快。从损失值上分析，R-UNet的训练和验证损失值均低于UNet。综合收敛速度和损失值，R-UNet模型效果最优。
步骤11、评价深度学习模型：
在测试集上采用语义分割框架R-UNet模型进行孔隙识别与分割，同时与常规的人工阈值分割进行对比实验。为了全面客观地评价模型性能，本发明综合采用图像分割领域里具有权威性的3个评价指标，即Dice系数，IoU交并比，双向Hausdorff距离，对模型的整体性能进行评估。Dice系数用于计算预测与真值之间的相似度，Dice越大表明模型分割效果越好。IoU交并比用于评价预测与真值的交并比，IoU越大，效果越好。双向Hausdorff距离用于度量预测与真值之间的距离，对分割出的边缘敏感，HD越小效果越好。上述三个指标计算公式如下：
如式(5)所示，TP表示判定为孔隙，事实上是孔隙的个数。TN表示判定为不是孔隙，事实上不是孔隙的个数。FP表示判定为孔隙，但事实上不是孔隙的个数。FN表示判定不是孔隙，但事实上是孔隙的个数。
如公(6)所示，A表示孔隙预测框，B表示孔隙真实框。
如公式(7)所示，X表示孔隙预测框点集，Y表示孔隙真实框点集，h(X,Y)、h(Y,X)表示从X到Y、Y到X的单向Hausdorff距离。
实际操作中，从6个不同数据集的测试集中，每个测试集中随机选取多张切片图像，分别采用行业常规的手工阈值分割方法，和深度学习R-UNet模型分割方法进行端到端的孔隙分割，对比分割结果和评价指标。
分割结果的图像分析，如图15所示，给出原图，掩膜真值图、R-UNet方法分割结果图与人工阈值方法分割结果图，结果表明人工阈值分割的孔隙分割差异较大，存在大量过分割和欠分割的情况，改进的R-UNet方法的分割结果基本跟掩膜真值一致，有效改善了过分割和欠分割的情况，提高了整体分割精度，其分割结果的评价指标也有效的验证了图像分割结果。
分割结果的评价指标分析，如表3所示：R_UNet模型的mIoU、mDice、mHD在6个数据集上的表现均优于UNet识别和分割结果，即在每个数据集上R_UNet模型的mIoU和mDice都高于UNet模型，R_UNet模型的mHD都低于UNet模型。实验表明，改进的模型具有良好的分割性能，可以应用于各个级配透水混凝土孔隙的识别与分割。
表3改进R-UNet方法与人工阈值分割方法评价指标
本发明中还提供了一种基于深度学习的透水混凝土孔隙识别与分割后的孔隙统计结果，自动统计每张切片图像的识别与分割出来的孔隙数目和每个孔隙的周长和面积大小，同时计算出本张透水混凝土图像的孔隙率，结果如表4所示。
表4改进R-UNet模型在6个数据集的18张图像上分割的结果
表4中，从6个数据集的测试集中分别随机选取3张共计18张，依次编号。
Claims (10)
1.基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，其特征在于包括以下步骤：
步骤一：制备不同集料粒径的透水混凝土试样；
步骤二：对步骤一制备的透水混凝土试样进行CT扫描，得到试件的CT切片图像，作为原始数据集；
步骤三：对原始数据集进行标准化预处理，形成标准化原始数据集；
步骤四：对标准化原始数据集进行标注，形成带真值的标准数据集；
步骤五：对步骤四得到的带真值的标准数据集进行增强处理，增强后的数据集作为透水混凝土数据集，将透水混凝土数据集分割为训练集，验证集和测试集；
步骤六：构建实验平台；
步骤七：提出改进的R-UNet深度学习模型，在训练集上采用多尺度方式对改进的R-UNet深度学习模型进行训练，同时在验证集上进行验证，得到最优模型；
步骤八：提出确定图像亮度的正常范围的算法；
步骤九：判断图像的亮度，对亮度异常的图像采用融合图像算法对分割后的图像进行融合；
步骤十：将测试集中的图像输入到最优模型中进行孔隙智能识别与分割，得到孔隙数目、每个孔的面积、孔隙直径、孔隙率，同时给出评价结果。
2.根据权利要求1所述基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，其特征在于：还包括步骤十：选取步骤五的透水混凝土数据集之外的CT图像，输入到最优模型中进行孔隙智能识别与分割，得到孔隙数目、每个孔的面积、孔隙直径，孔隙率。
3.根据权利要求1所述基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，其特征在于：所述步骤四中，在Labelme软件中，首先，对原始图像放大，然后由一名专家尽可能地贴合孔隙边缘进行多边形点标注，最后，还原成原始尺寸保存数据；同时，为进一步提高标注精度，由另一名专家检查和审核标注结果，通过审核后作为标准集；
用Labelme软件进行标注的真值，自动生成掩模图和对应的二值图。
4.根据权利要求1所述基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，其特征在于：所述步骤五中，针对R-UNet框架使用的数据集增强方式包括：色彩增强、高斯噪声、水平镜像、图像放大、图像旋转、剪切变换，然后，采用重叠策略进行无缝切割分成小块。
5.根据权利要求1所述基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，其特征在于：所述步骤七中，改进的R-UNet深度学习模型的构建如下：
R-UNet网络结构使用ResNet-34残差模块作为下采样阶段中的网络特征提取的基本单元进行下采样，能够有效地加深网络，接着对图像进行上采样，实现分辨率还原；同时，去掉网络的平均池化和全连接层，并改变UNet网络模型的特征通道数，且将UNet网络结构的每一个子模块分别替换为具有残差连接和密集连接的模块，并将同层的编码器与解码器直接连接；
在模型训练中采用二分类交叉熵损失函数和Dice损失函数构成的混合损失函数：
通过使用二分类交叉熵损失函数进行曲线平滑，通过使用Dice损失函数解决类别不均衡问题，混合损失函数如公式(3)所示：
Lbd＝α*Lbce+β*Ldice (3)
其中，α为二分类交叉熵损失函数Lbce的系数，β为Dice损失函数Ldice的系数。
6.根据权利要求1所述基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，其特征在于：所述步骤七中，多尺度方式，即预先定义几种不同输入尺度的图像，每次训练时从多个尺度中智能随机选取一种尺度，将输入图像缩放到该尺度并送入网络中。
7.根据权利要求1所述基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，其特征在于：提出确定图像亮度的正常范围[B1,B2]的算法，包括以下步骤：
在标准数据集中随机选取1张图像，在亮度可调整的范围内[-150,150]，通过调整该图像的亮度值，每增加或减少10个亮度单位得到1张图像，共计31张图像，通过程序分别得到不同亮度值的图像对应的分割精度指标交并比IoU，并在二维平面上画出对应的散点图再拟合出二元一次方程，根据图像分割的精度指标交并比IoU＝0.8确定二元一次方程的两个根B1和B2，即确定出亮度的正常范围[B1,B2]。
8.根据权利要求1所述基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，其特征在于：所述步骤九提出一种融合模型分割图像的算法，包括以下步骤：
S9.1、首先，判断图像的亮度质量：
通过交并比IoU＝0.8确定亮度正常范围值[B1,B2]，亮度范围介于B1和B2之间，表示为Brightness[B1，B2]；设定阈值范围后，如果亮度值在这个范围之内，判定图像亮度在正常范围，不需要进行处理，否则判定图像亮度异常，进入S9.2处理；
S9.2、其次，对于亮度异常的图像进行融合分割图像：
根据设定的亮度阈值范围Brightness[B1，B2]，亮度低于B1值时，保持对比度不变，亮度依次增加至b1、b2，b1和b2的计算如公式(4)所示，生成亮度正常范围内的2张新图像；亮度高于B2值时，保持对比度不变，亮度依次减少至b1、b2，同样生成亮度正常范围内的两张新图像；对于每张亮度异常的图像经过亮度调整，都生成2张新图像，加上原始图像共计3张图像，对这3张图像分别进行识别和分割；然后对分割结果图像进行融合，
9.根据权利要求1所述基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法，其特征在于：采用3个评价指标：即Dice系数，IoU交并比，双向Hausdorff距离，对模型的整体性能进行评估：
Dice系数用于计算预测与真值之间的相似度，Dice越大表明模型分割效果越好；
IoU交并比用于评价预测与真值的交并比，IoU越大，效果越好；
双向Hausdorff距离用于度量预测与真值之间的距离，对分割出的边缘敏感，HD越小效果越好；
上述三个指标计算公式如下：
如式(5)所示：TP表示判定为孔隙，事实上是孔隙的个数；TN表示判定为不是孔隙，事实上不是孔隙的个数；FP表示判定为孔隙，但事实上不是孔隙的个数；FN表示判定不是孔隙，但事实上是孔隙的个数；
如式(6)所示：A表示孔隙预测框，B表示孔隙真实框；
如式(7)所示：X表示孔隙预测框点集，Y表示孔隙真实框点集，h(X,Y)、h(Y,X)表示从X到Y、Y到X的单向Hausdorff距离。
10.一种融合模型分割图像的算法，其特征在于，包括以下步骤：
A1、首先，判断图像的亮度质量：
通过交并比IoU＝0.8确定亮度正常范围值[B1,B2]，亮度范围介于B1和B2之间，表示为Brightness[B1，B2]；设定阈值范围后，如果亮度值在这个范围之内，判定图像亮度在正常范围，不需要进行处理，否则判定图像亮度异常，进入A2处理；
A2、其次，对于亮度异常的图像进行融合分割图像：
根据设定的亮度阈值范围Brightness[B1，B2]，亮度低于B1值时，保持对比度不变，亮度依次增加至b1、b2，b1和b2的计算如公式(4)所示，生成亮度正常范围内的2张新图像；亮度高于B2值时，保持对比度不变，亮度依次减少至b1、b2，同样生成亮度正常范围内的两张新图像；对于每张亮度异常的图像经过亮度调整，都生成2张新图像，加上原始图像共计3张图像，对这3张图像分别进行识别和分割；然后对分割结果图像进行融合，
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210380643.8A CN114897781A (zh) | 2022-04-12 | 2022-04-12 | 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210380643.8A CN114897781A (zh) | 2022-04-12 | 2022-04-12 | 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114897781A true CN114897781A (zh) | 2022-08-12 |
Family
ID=82716565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210380643.8A Pending CN114897781A (zh) | 2022-04-12 | 2022-04-12 | 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897781A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116363161A (zh) * | 2023-06-02 | 2023-06-30 | 清华大学 | 一种水泥水化图像多类别分割方法和装置 |
| CN116612114A (zh) * | 2023-07-17 | 2023-08-18 | 安徽省交通规划设计研究总院股份有限公司 | 图像处理视域下的透水混凝土胶石比确定方法 |
| CN117218437A (zh) * | 2023-09-18 | 2023-12-12 | 中国科学院南京土壤研究所 | 一种ct技术结合机器学习原位定量土壤颗粒有机质的方法 |
| CN117217095A (zh) * | 2023-10-13 | 2023-12-12 | 西南石油大学 | 一种基于深度学习求取地质属性建模中变差函数的方法 |
-
2022
- 2022-04-12 CN CN202210380643.8A patent/CN114897781A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116363161A (zh) * | 2023-06-02 | 2023-06-30 | 清华大学 | 一种水泥水化图像多类别分割方法和装置 |
| CN116363161B (zh) * | 2023-06-02 | 2023-08-01 | 清华大学 | 一种水泥水化图像多类别分割方法和装置 |
| CN116612114A (zh) * | 2023-07-17 | 2023-08-18 | 安徽省交通规划设计研究总院股份有限公司 | 图像处理视域下的透水混凝土胶石比确定方法 |
| CN116612114B (zh) * | 2023-07-17 | 2023-10-20 | 安徽省交通规划设计研究总院股份有限公司 | 图像处理视域下的透水混凝土胶石比确定方法 |
| CN117218437A (zh) * | 2023-09-18 | 2023-12-12 | 中国科学院南京土壤研究所 | 一种ct技术结合机器学习原位定量土壤颗粒有机质的方法 |
| CN117218437B (zh) * | 2023-09-18 | 2024-03-01 | 中国科学院南京土壤研究所 | 一种ct技术结合机器学习原位定量土壤颗粒有机质的方法 |
| CN117217095A (zh) * | 2023-10-13 | 2023-12-12 | 西南石油大学 | 一种基于深度学习求取地质属性建模中变差函数的方法 |
| CN117217095B (zh) * | 2023-10-13 | 2024-05-28 | 西南石油大学 | 一种基于深度学习求取地质属性建模中变差函数的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114897781A (zh) | 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法 | |
| CN108647585B (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
| US10445557B2 (en) | Learning pixel visual context from object characteristics to generate rich semantic images | |
| CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN110415233A (zh) | 基于两步卷积神经网络的路面裂缝快速提取方法 | |
| CN110751644B (zh) | 道路表面裂纹检测方法 | |
| CN113658117B (zh) | 一种基于深度学习的沥青混合料中集料边界识别与划分方法 | |
| CN110909657A (zh) | 一种隧道表观病害图像识别的方法 | |
| CN112964712A (zh) | 一种快速检测沥青路面状态的方法 | |
| CN112927253A (zh) | 基于卷积神经网络的岩心fib-sem图像分割方法 | |
| CN111127360A (zh) | 一种基于自动编码器的灰度图像迁移学习方法 | |
| CN114298145A (zh) | 基于深度学习的透水混凝土孔隙智能识别与分割方法 | |
| CN113034411A (zh) | 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法 | |
| CN113903471A (zh) | 基于组织病理学图像和基因表达数据的胃癌患者生存风险预测方法 | |
| CN112927237A (zh) | 基于改进SCB-Unet网络的蜂窝肺病灶分割方法 | |
| CN113077438B (zh) | 针对多细胞核彩色图像的细胞核区域提取方法及成像方法 | |
| CN114092467A (zh) | 一种基于轻量化卷积神经网络的划痕检测方法及系统 | |
| CN112784806A (zh) | 一种基于全卷积神经网络的含锂伟晶岩脉提取方法 | |
| CN113870341A (zh) | 基于rgb和激光特征融合的高炉烧结矿粒径检测方法及系统 | |
| CN113270156B (zh) | 基于图像处理的机制砂石粉的检测建模、检测方法及系统 | |
| CN117496512B (zh) | 宫颈tct切片的多类型细胞核标注及多任务处理方法 | |
| Jin et al. | A Deep Learning Model for Striae Identification in End Images of Float Glass. | |
| CN117635628B (zh) | 一种基于上下文注意力和边界感知引导的海陆分割方法 | |
| CN117765373B (zh) | 一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |