CN115457044B - 基于类激活映射的路面裂缝分割方法 - Google Patents
基于类激活映射的路面裂缝分割方法 Download PDFInfo
- Publication number
- CN115457044B CN115457044B CN202210969247.9A CN202210969247A CN115457044B CN 115457044 B CN115457044 B CN 115457044B CN 202210969247 A CN202210969247 A CN 202210969247A CN 115457044 B CN115457044 B CN 115457044B
- Authority
- CN
- China
- Prior art keywords
- patches
- crack
- segmentation
- class activation
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 114
- 230000004913 activation Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000013507 mapping Methods 0.000 title claims abstract description 62
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 52
- 238000005457 optimization Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 101100001677 Emericella variicolor andL gene Proteins 0.000 claims 1
- 239000000463 material Substances 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于类激活映射的路面裂缝分割方法,其包括获取路面裂缝图像,并对其进行限制对比度自适应直方图均衡化处理;将处理后的路面裂缝图像裁剪成若干补丁,并输入已训练的Xception网络生成类激活映射;将所有补丁输入已训练的DeepLabV3+网络,DeepLabV3+网络包括编码器、解码器和连接二者的交叉层;采用编码器得到每张补丁的特征图,将特征图和类激活映射在交叉层进行卷积运算操作输出至解码器中,得到对应的分割结果;采用裂缝边界细化模块CBRM细化每张补丁的分割结果中的裂缝边界,得到补丁的分割掩膜;采用重叠融合方法对所有补丁对应的分割掩膜进行组合,并基于最大概率方法获得路面裂缝图像的最终分割结果。
Description
技术领域
本发明涉及图像识别技术,具体涉及一种基于类激活映射的路面裂缝分割方法。
背景技术
裂缝会降低基础设施项目中建筑物、道路和桥梁的效率和功能,及时检测和修复裂缝能够避免基础设施进一步恶化,并有助于降低维护成本。维护人员可以使用基于视觉的方法来提取裂缝的基本数据,以有效评估工程建设的安全性和剩余价值。由于现代传感器技术和基础设施更容易收集道路图像。因此,许多研究人员研究了基于图像的自动路面裂缝检测方法。计算机辅助视觉检测方法的进步加速和改进了路面裂缝的检测,目标检测可用于估计图像上裂缝的位置,利用图像分类,可以在图像上提取裂缝语义信息。另一方面,语义分割可用于提取裂缝像素级别的详细语义信息。在裂缝图像中,由于路面裂缝没有固定的位置和形状,目标检测和分类任务无法在像素级上描述裂缝的形状和长度。因此,有必要研究基于语义分割的裂缝检测方法。
在现有技术中,往往采用阈值分隔、边缘检测和数学形态学等传统图像处理技术,利用多个Gabor滤波器实现对任意方向路面裂缝的检测,利用LBP算子,将路面模式分为五个子类,以确定裂缝分段特有的判别局部特征。在分析灰度差异的基础上,基于阈值的裂缝分隔系统被开发。但是,由于拍摄时间或天气灯不同条件的影响,以及裂缝纹理的变化和路面上出现的不同类型的物体,上述方法都会受到这些噪声的影响,导致部分裂缝无法被正确检测。
发明内容
针对现有技术中的上述不足,本发明提供的基于类激活映射的路面裂缝分割方法解决了现有裂缝分割方法在存在噪声时,部分裂缝不能被检测到的问题。
为了达到上述发明目的,本发明采用的技术方案为:
提供一种基于类激活映射的路面裂缝分割方法,其包括步骤:
S1、获取路面裂缝图像,并对其进行限制对比度自适应直方图均衡化处理;
S2、将步骤S1处理后的路面裂缝图像裁剪成若干补丁,并输入已训练的Xception网络生成类激活映射;
S3、将所有补丁输入已训练的DeepLabV3+网络,DeepLabV3+网络包括一个编码器、一个解码器和连接二者的交叉层;
S4、采用编码器得到每张补丁的特征图,将特征图和类激活映射在交叉层进行卷积运算操作输出至解码器中,得到对应的分割结果;
S5、采用裂缝边界细化模块CBRM细化每张补丁的分割结果中的裂缝边界,得到补丁的分割掩膜;
S6、采用重叠融合方法对所有补丁对应的分割掩膜进行组合,并基于最大概率方法获得路面裂缝图像的最终分割结果。
进一步地,基于类激活映射的路面裂缝分割方法还包括采用类激活映射优化模块RCM对步骤S2中的类激活映射进行优化:
A1、采用类激活映射优化模块RCM计算类激活映射中当前像素k和像素q的特征相似性fsim(xk,xq):
A2、根据特征相似性和Xception网络生成的类激活映射CAMoriginal,计算精细化的类激活映射CAMRefined:
其中,ReLU(.)为激活函数;
步骤S4中采用的类激活映射为精细化后的类激活映射。
进一步地,S5进一步包括:
S51、采用卷积定向边界操作生成每张补丁分割结果的候选级别层次图,每张补丁在其候选级别层次图中选取m个不重叠的区域作为可靠区域;
S52、每张补丁在可靠区域的空间和特征层建模形成构造图,可靠区域的空间和特征维度被表示为邻接图,构造图G=(gi,j)m×m:
S53、根据特征相似度,构建每个可靠区域r的分割得分模型:
其中,αj为第j个区域的矩阵;
S54、构建优化目标函数,并对其进行规范化处理,规范化后模型为:
其中,f为f=(f(r1),...,f(rm))T,ω为区域的权值;δ1和δ2均为权重,D为邻接图中包含度值的对角矩阵,M为M(ri,rj)导出的f的范数,L为补丁的拉普拉斯矩阵,L=D-G;α为α=(α1,α1,...,αm)T;H为对角矩阵,其前r个元素设置为1,其余元素设置为0;
S55、对规范化后模型进行求解,得到优化后的α*:
其中,α*为最终优化的方程;
S56、根据优化后的α*和分割得分模型,得到优化后的分割得分作为补丁的分割掩膜。
进一步地,步骤S6进一步包括:
S61、读取记录的路面裂缝图像裁剪时每个补丁的位置,预测出分割掩膜的位置分布;
S62、对于重叠位置的分割掩膜,将重叠区域的最大概率相加,计算出最终的输出概率;
S62、根据补丁的位置分布和输出概率,对补丁进行拼接,之后对拼接后的图像经过argmax处理,得到路面裂缝图像的最终分割结果。
进一步地,进行限制对比度自适应直方图均衡化处理的计算公式为:
x=H(I)
其中,x为后的路面裂缝图像,I为初始的路面裂缝图像;H(·)为限制对比度自适应直方图均衡化操作。
进一步地,Xception网络的训练方法:
S21、获取预训练后的Xception网络,移除Xception网络的最后一层池化层,采用两个可分离扩张卷积取代Xception最后的两个独立卷积;
S22、采用裂缝图像分类数据集对步骤S21构建的Xception网络进行训练;
S23、训练过程中,随机初始化全连接层的权值,在完成全局平均池化GAP后,将特征发送到初始化权重的全连接层后,采用softmax函数激活;
S24、通过迭代最小化交叉熵损失,对Xception网络进行优化,得到已训练的Xception网络,交叉熵损失函数为:
进一步地,所述裂缝图像分类数据集为数据集CLC,包含40000张补丁,其中20000张裂缝表示正类,另外20000张非裂缝为负类;补丁大小为227*227,训练过程中调整为224*224。
进一步地,DeepLabV3+网络的训练方法包括:
S31、采用编码器、解码器及连接二者的交叉层构成DeepLabV3+网络,并对DeepLabV3+网络的最后一个卷积层替换为一个单通道的卷积层;
S32、获取裂缝训练集,并将裂缝中的每张裂缝图像分割成若干补丁,之后将所有补丁输入编码器,生成对应的特征图;
S33、将步骤S32生成的所有补丁输入已训练的Xception网络,得到类激活映射,并采用类激活映射优化模块RCM优化得到精细的类激活映射;
S34、将步骤S32的特征图和步骤S33精细化后的类激活映射输入交叉层进行卷积运算操作输出至解码器中,得到对应的分割掩膜;
S35、将分割出的裂缝掩膜与其对应的裂缝真实标签计算误差:
Lloss=Lbce+Ldice+LSSIM
其中,其中,Llosss、Lbce、Ldice和LSSIM分别为总损失、二元交叉熵损失函数、Dice损失函数和SSIM损失函数;y(x,y)为裂缝图像的真实标签;为预测的概率图;μ为均值;σ为方差,为和y(x,y)之间的协方差,(c1,c2)为计算稳定性的常数;h为图像的高;w为图像的宽度;
S36、迭代优化过程中使用小批量的梯度下降方法,当迭代次数达到预设迭代次数时,停止训练得到已训练的DeepLabV3+网络。
进一步地,所述裂缝训练集为DeepCrack、Crack500和CFD;其中DeepCrack为基准数据集,包含不同尺度和场景的裂缝,总共有300张训练图像和237张测试图像,分辨率为544×384,裁剪补丁时将训练集的每一张裂缝图像裁剪成15个补丁,训练时补丁数量为4500张,测试时补丁数量为3555张,每个补丁的大小为224*224;
Crack500数据集包含1896幅训练图像和1124幅测试图像,分辨率为360×640,裁剪补丁时将训练集的每一张裂缝图像裁剪成12个补丁,训练时补丁数量为22752张,测试时补丁数量为13488张,每个补丁的大小为224*224;
CFD数据集包含118张裂缝图像,人工标注的裂缝尺寸大小为480×320,先使用旋转增强和在水平轴与垂直轴分别翻转进行增强,增强到590张图像,按照7:3的比例划分训练集和测试集,训练集有413张图片,测试时有177张图片;裁剪补丁时将训练集的每一张裂缝图像裁剪成8个补丁,最终训练时补丁数量为3304张,测试时补丁数量为1416张,每个补丁的大小为224*224。
与现有技术相比,本发明的有益效果为:
一、本方案将Xception网络作为分类网络,DeepLabV3+网络作为分割网络,通过分类网络和分割网络结合起来对路面裂缝图像进行检测,使用分类网络生成类激活映射(高质量的裂缝定位图),这些裂缝定位图与编码器的特征图相结合并输入到解码器中,使裂缝的分割结果更加精确。
二、本方案的类激活映射优化模块RCM对类激活映射进行优化,通过自注意力机制,捕获上下文信息,增强了像素级预测结果,采用融合每个像素的低级特征,进而改进类激活映射,在去除残余连接时保持了与原始类激活映射相同的激活程度,将ReLU激活与L1归一化相结合,消除了不相关的像素,提高了类激活映射的质量。
三、本方案在分割网络的编码器和解码器中间添加了交叉层CL,将优化后的类激活映射与编码器的图像特征结合起来,再将新的特征图传送给解码器,这保证了裂缝能够被精确分割。
四、本方案采用混合损失函数来优化分割网络,将三种损失函数进行结合,由于Dice损失函数主要关注训练过程中的准确率,将SSIM损失函数引入,通过预测裂缝结构的空间位置来准确测量不同宽度的裂缝,此外,由于路面裂缝分割是一个标准的二值分割问题,因此,引入二元交叉熵损失函数,将三种损失函数结合起来提高了路面裂缝的分割性能。
五、本方案设置了裂缝边界细化模块CBRM,由于分割网络生成的分割图裂缝边界比较模糊,裂缝边界细化模块CBRM基于图的优化方法,利用卷积定向边界生成分层分割级别的可靠区域,利用裂缝边界细化模块CBRM能够生成更精细的、具有清晰边界的路面裂缝分割。
附图说明
图1为基于类激活映射的路面裂缝分割方法的流程图。
图2为是本方案的路面裂缝分割方法整体工作流程的原理框图。
图3为本方案的Xception网络(分类网络)的架构图。
图4为类激活映射优化模块RCM的架构图。
图5为DeepLabV3+网络的工作流程图。
图6是裂缝边界细化模块CBRM流程图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
参考图1,图1示出了基于类激活映射的路面裂缝分割方法的流程图,如图1所示,该方法S包括步骤S1至步骤S6。
在步骤S1中,获取路面裂缝图像,并对其进行限制对比度自适应直方图均衡化处理:
x=H(I)
其中,x为后的路面裂缝图像,I为初始的路面裂缝图像;H(·)为限制对比度自适应直方图均衡化操作。
路面裂缝图像采用步骤S1的方式进行处理后,能减少光照的负面影响,以降低光照对路面裂缝图像质量的影响。
在步骤S2中,将步骤S1处理后的路面裂缝图像裁剪成若干补丁,并输入已训练的Xception网络生成类激活映射;
本方案构建好的Xception网络的架构图可以参考图3,Xception网络(分类网络)由三部分组成:EntryFlow、MiddleFlow和ExitFlow;Conv+BN+Relu表示卷积+批标准化+Relu激活,Separable Conv+BN+Relu表示可分离卷积+批标准化+Relu激活,DilatedSeparable Conv+BN+Relu表示扩张可分离式卷积。
Sconv表示Separable Conv,Dsconv表示Dilated Separable Conv。GAP表示全局平均池化,FC表示全连接层。输入的补丁图像(InputImages)经过图2中的一系列操作之后,能够定位出裂缝的具体位置,从分类网络的最后一个卷积层中提取出裂缝的具体位置。
在本发明的一个实施例中,Xception网络的训练方法:
S21、获取预训练后的Xception网络,移除Xception网络的最后一层池化层,采用两个可分离扩张卷积取代Xception最后的两个独立卷积;
S22、采用裂缝图像分类数据集对步骤S21构建的Xception网络进行训练;其中,裂缝图像分类数据集为数据集CLC,包含40000张补丁,其中20000张裂缝表示正类,另外20000张非裂缝为负类;补丁大小为227*227,训练过程中调整为224*224。
S23、训练过程中,随机初始化全连接层的权值,在完成全局平均池化GAP后,将特征发送到初始化权重的全连接层后,采用softmax函数激活;
S24、通过迭代最小化交叉熵损失,对Xception网络进行优化,得到已训练的Xception网络,交叉熵损失函数为:
由于CNN是为了提高分类精度,往往会捕捉一个物体最具鉴别性的特征,以最大限度的减少分类歧义,所以CNN无法激活图像的完整空间响应;为了克服CNN无法激活图像的完整空间响应的问题,本方案还引入了类激活映射优化模块RCM对已训练的Xception网络生成类激活映射进行优化,优化的具体步骤为:
A1、采用类激活映射优化模块RCM计算类激活映射中当前像素k和像素q的特征相似性fsim(xk,xq):
A2、根据特征相似性和Xception网络生成的类激活映射CAMoriginal,计算精细化的类激活映射CAMRefined:
其中,ReLU(.)为激活函数;
下面步骤S4中采用的类激活映射为精细化后的类激活映射。
本方案的类激活映射优化模块RCM可以参考图4,在生成精细的类激活映射(RefinedCAM)的过程中,特征图(FeatureMaps)是通过分类网络产生的1×1Conv表示卷积核大小为1×1的卷积层,H、W分别表示特征图(FeatureMaps)的高度和宽度,C、C1、C2表示通道数。
在步骤S3中,将所有补丁输入已训练的DeepLabV3+网络,DeepLabV3+网络包括一个编码器、一个解码器和连接二者的交叉层;DeepLabV3+网络的工作流程图可以参考图5。
在本发明的一个实施例中,DeepLabV3+网络的训练方法包括:
S31、采用编码器、解码器及连接二者的交叉层构成DeepLabV3+网络,并对DeepLabV3+网络的最后一个卷积层替换为一个单通道的卷积层;
S32、获取裂缝训练集,并将裂缝中的每张裂缝图像分割成若干补丁,之后将所有补丁输入编码器,生成对应的特征图;
其中,裂缝训练集为DeepCrack、Crack500和CFD;其中DeepCrack为基准数据集,包含不同尺度和场景的裂缝,总共有300张训练图像和237张测试图像,分辨率为544×384,裁剪补丁时将训练集的每一张裂缝图像裁剪成15个补丁,训练时补丁数量为4500张,测试时补丁数量为3555张,每个补丁的大小为224*224;
Crack500数据集包含1896幅训练图像和1124幅测试图像,分辨率为360×640,裁剪补丁时将训练集的每一张裂缝图像裁剪成12个补丁,训练时补丁数量为22752张,测试时补丁数量为13488张,每个补丁的大小为224*224;
CFD数据集包含118张裂缝图像,人工标注的裂缝尺寸大小为480×320,先使用旋转增强和在水平轴与垂直轴分别翻转进行增强,增强到590张图像,按照7:3的比例划分训练集和测试集,训练集有413张图片,测试时有177张图片;裁剪补丁时将训练集的每一张裂缝图像裁剪成8个补丁,最终训练时补丁数量为3304张,测试时补丁数量为1416张,每个补丁的大小为224*224。
S33、将步骤S32生成的所有补丁输入已训练的Xception网络,得到类激活映射,并采用类激活映射优化模块RCM优化得到精细的类激活映射;
S34、将步骤S32的特征图和步骤S33精细化后的类激活映射输入交叉层进行卷积运算操作输出至解码器中,得到对应的分割掩膜;
S35、将分割出的裂缝掩膜与其对应的裂缝真实标签计算误差:
Lloss=Lbce+Ldice+LSSIM
其中,Llosss、Lbce、Ldice和LSSIM分别为总损失、二元交叉熵损失函数、Dice损失函数和SSIM损失函数;y(x,y)为裂缝图像的真实标签;为预测的概率图;μ为均值;σ为方差,为和y(x,y)之间的协方差,(c1,c2)为计算稳定性的常数;h为图像的高;w为图像的宽度;
S36、迭代优化过程中使用小批量的梯度下降方法,当迭代次数达到预设迭代次数时,停止训练得到已训练的DeepLabV3+网络。
在步骤S4中,采用编码器得到每张补丁的特征图,将特征图和类激活映射在交叉层进行卷积运算操作输出至解码器中,得到对应的分割结果;
在步骤S5中,采用裂缝边界细化模块CBRM细化每张补丁的分割结果中的裂缝边界,得到补丁的分割掩膜;裂缝边界细化模块CBRM的工作流程可以参考图6。
实施时,本方案优选步骤S5的具体实现过程包括:
S51、采用卷积定向边界操作生成每张补丁分割结果的候选级别层次图,每张补丁在其候选级别层次图中选取m个不重叠的区域作为可靠区域;
S52、每张补丁在可靠区域的空间和特征层建模形成构造图,可靠区域的空间和特征维度被表示为邻接图,构造图G=(gi,j)m×m:
S53、根据特征相似度,构建每个可靠区域r的分割得分模型:
其中,αj为第j个区域的矩阵;
S54、构建优化目标函数,并对其进行规范化处理,规范化后模型为:
其中,f为f=(f(r1),...,f(rm))T,ω为区域的权值;δ1和δ2均为权重,D为邻接图中包含度值的对角矩阵,M为M(ri,rj)导出的f的范数,L为补丁的拉普拉斯矩阵,L=D-G;α为α=(α1,α1,...,αm)T;H为对角矩阵,其前r个元素设置为1,其余元素设置为0;
S55、对规范化后模型进行求解,得到优化后的α*:
其中,α*为最终优化的方程;
S56、根据优化后的α*和分割得分模型,得到优化后的分割得分作为补丁的分割掩膜。
在步骤S6中,采用重叠融合方法对所有补丁对应的分割掩膜进行组合,并基于最大概率方法获得路面裂缝图像的最终分割结果。
在本发明的一个实施例中,步骤S6进一步包括:
S61、读取记录的路面裂缝图像裁剪时每个补丁的位置,预测出分割掩膜的位置分布;
S62、对于重叠位置的分割掩膜,将重叠区域的最大概率相加,计算出最终的输出概率;
S62、根据补丁的位置分布和输出概率,对补丁进行拼接,之后对拼接后的图像经过argmax处理,得到路面裂缝图像的最终分割结果
图2给出了本方案的路面裂缝分割的完整原理框图;在图1的第1部分为图像预处理,输入原始图片(original Inage)经过限制对比度自适应直方图均衡化处理(CLAHE)以后,使用裁剪(Crop)操作将图像裁剪成补丁(Patches)。
第2部分为训练分割网络,首先将裁剪后的补丁(Patches)通过分类网络(CNN)的训练,应用类激活映射模块(CAM)生成初始类激活映射(OriginalCAM),在应用类激活映射优化模块(RCM)生成精细的类激活映射(RefinedCAM);同时,将裁剪后的补丁(Patches)传入分割网络的编码器(Encoder)中,得到相对应的特征图(Features);利用交叉层(CrossLayer)将精细的类激活映射(RefinedCAM)与特征图(Features)结合,传到解码器中生成相应补丁的分割结果(SegmentationOutput);最后,使用裂缝边界细化模块(CBRM)对分割结果(SegmentationOutput)进行优化生成精细化的分割结果(RefinedResult)。
第3部分是后处理,每一个补丁的精细化结果(RefinedResultt of Patches)通过第2部分生成,为了最终得到一张完整的裂缝分割图像,使用重叠融合方法(OverlappingFusion Strategy)将补丁进行整合,得到最终的输出结果。
下面结合具体的实例对本方案路面裂缝分割方法的效果进行说明:
实施例1
利用现有方法多种裂缝分割方法与本方案的路面裂缝分割方法在三个数据集上进行比对,在DeepCrack数据集上选择召回率、精度和F-分数指标作为3种常见的评价方法,与现有技术多种分割方法HED、U-Net、DeepLabV3+、AutoCrack、DeepCrack、DeepCrack-Aug、RoadCNNs、SegNet、PSP-Net、U2Net、DMA-Net进行对比,最终对比结果如下表1所示。
表1
Method | Recall | Precision | F1meausre |
HED | 0.691 | 0.594 | 0.649 |
U-Net | 0.835 | 0.862 | 0.848 |
DeepLabV3+ | 0.853 | 0.840 | 0.846 |
AutoCrack | 0.424 | 0.772 | 0.548 |
DeepCrack | 0.799 | 0.794 | 0.796 |
DeepCrack-Aug | 0.869 | 0.861 | 0.865 |
RoadCNNs | 0.860 | 0.229 | 0.361 |
SegNet | 0.729 | 0.797 | 0.762 |
PSP-Net | 0.835 | 0.851 | 0.843 |
U2Net | 0.868 | 0.823 | 0.864 |
DMA-Net | 0.871 | 0.869 | 0.870 |
本方案方法 | 0.882 | 0.887 | 0.886 |
在Crack500数据集上选择召回率、精度、F-分数、Dice系数和均交并比指标作为5种常见的评价方法,与CNN、U-Net、SAN、FPHBN、DeepLabV3+、PSP-Net、U2Net、DMA-Net进行对比,最终对比结果如下表2所示;
表2
在CFD数据集上选择召回率、精度和F-分数指标作为3种常见的评价方法,与CNN、U-Net、SAN、DeepLabV3+、U2Net进行对比,最终对比结果如下表3所示。
表3
Method | Recall | Precision | F1meausre |
CNN | 0.948 | 0.912 | 0.924 |
U-Net | 0.913 | 0.857 | 0.875 |
U-Net | 0.916 | 0.852 | 0.873 |
SAN | 0.938 | 0.970 | 0.952 |
DeepLabV3+ | 0.927 | 0.958 | 0.942 |
U2Net | 0.938 | 0.965 | 0.951 |
U-Net | 0.943 | 0.970 | 0.956 |
本方案方法 | 0.941 | 0.979 | 0.960 |
通过3个表可以看出,本方案方法无论是在数据图像较多的DeepCrack数据集上,还是在数据图像较少的CFD数据集上,整体分割性能都明显优于其他方法。
由于路面裂缝分割的基本问题是裂缝的形状和大小众多、裂缝强度不均匀、路面环境的复杂以及缺乏标记的训练集。本方法利用了路面裂缝分割中分割和分类任务之间的内在关系,通过将分类网络中的知识转移到裂缝边界细化的分割过程中,以便于路面裂缝分割。
根据本方案的研究结果,提出的路面裂缝分割框架在三个基准数据集(包括DeepCrack、Crack500和CFD)上取得了最新的结果,能够生成更精细的裂缝分割图,同时能够检测和分割短而小的裂缝,证明了本方法的有效性。
实施例2
在本实施例中,验证了类激活映射优化模块在裂缝分割任务中的有效性。在分类网络中,使用了类激活映射框架,生成特定类的定位映射,但是CNN不能激活物体的完整空间响应,本方法使用类激活映射优化模块对类激活映射进行优化。由于DeepCrack数据集更具有代表性,能够更加充分反映算法的泛化性能,本方法选择在DeepCrack数据集上进行了验证,分别使用和不使用类激活映射优化模块的对比,对比结果如表4;使用类激活映射优化模块生成更精确的裂缝定位图,这些图与编码器的图像特征融合,并反馈给解码器。
表4
Method | Recall | Precision | F1meausre | MIou |
CAM | 0.596 | 0.497 | 0.542 | 0.488 |
CAM+RCM | 0.645 | 0.586 | 0.614 | 0.577 |
通过表4可知,本方案使用类激活映射优化模块生成的像素级注释的MIou从0.488显著提高到0.577,这表明了本方法提出的类激活映射优化模块是有效的,有利于提高模型的分割性能。
实施例3
本实施例验证了在分割网络的编码器和解码器中间使用交叉层,融合裂缝定位图(精细化类激活映射)与编码器的特征图,再传送给解码器的有效性。由于分类网络能够定位裂缝的位置,本方法将分类网络的定位映射引入到分割网络中,有利于提高分割网络的分割性能。本方法在DeepCrack数据集上验证了交叉层的有效性,对比结果如表5所示。
表5
Method | Recall | Precision | F1meausre | MIou |
Segmentation | 0.823 | 0.808 | 0.815 | 0.807 |
CAM+Segmentation | 0.869 | 0.846 | 0.857 | 0.867 |
根据表5的结果可知,本方法将裂缝定位图从分类网络中转移到分割网络中,对裂缝的分割更加有效,在召回率、精度、F-分数和均交并比四个指标上明显高于没有使用交叉层的结果,进一步证明了本方法提出的交叉层的有效性。
实施例4
本实施例验证了结合二元交叉熵损失函数、SSIM损失函数以及Dice损失函数三者在裂缝分割任务中的有效性,由于路面裂缝分割是一个标准的二值分割问题,因此使用了二元交叉熵损失函数,在此基础上,引入了Dice损失函数和SSIM损失函数。针对不同的组合,本方法进行了不同组合的验证实验,如表6所示。
表6
Method | Recall | Precision | F1meausre | MIou |
bce | 0.824 | 0.869 | 0.846 | 0.837 |
bce+SSIM | 0.834 | 0.872 | 0.853 | 0.841 |
bce+Dice | 0.856 | 0.878 | 0.867 | 0.848 |
bce+SSIM+Dice | 0.878 | 0.887 | 0.883 | 0.878 |
通过表6可知,将三种损失函数结合起来的结果比仅使用二元交叉熵损失函数和其他两种组合的分割指标更优,验证了本方法提出结合三种损失函数的有效性。
实施例5
本实施例验证了裂缝边界细化模块(CBRM)在裂缝分割中的有效性,由于分割网络生成的分割图对象边界模糊,为了细化边界,基于图的优化方法,利用卷积定向边界生成分层分割级别为的可靠区域。本方法在DeepCrack数据集上验证了裂缝边界细化模块的有效性,对比了使用和不使用CBRM模块的指标,如表7所示。
表7
Method | Recall | Precision | F1meausre | MIou |
Segmentation | 0.869 | 0.846 | 0.830 | 0.867 |
CBRM+Segmentation | 0.882 | 0.887 | 0.886 | 0.898 |
通过表7可知,使用了裂缝边界细化模块对裂缝的分割是有效的,各指标有明显提高,表明使用CBRM模块能够生成更精细的分割结果。
Claims (8)
1.基于类激活映射的路面裂缝分割方法,其特征在于,包括步骤:
S1、获取路面裂缝图像,并对其进行限制对比度自适应直方图均衡化处理;
S2、将步骤S1处理后的路面裂缝图像裁剪成若干补丁,并输入已训练的Xception网络生成类激活映射;
S3、将所有补丁输入已训练的DeepLabV3+网络,DeepLabV3+网络包括一个编码器、一个解码器和连接二者的交叉层;
S4、采用编码器得到每张补丁的特征图,将特征图和类激活映射在交叉层进行卷积运算操作输出至解码器中,得到对应的分割结果;
S5、采用裂缝边界细化模块CBRM细化每张补丁的分割结果中的裂缝边界,得到补丁的分割掩膜;
S6、采用重叠融合方法对所有补丁对应的分割掩膜进行组合,并基于最大概率方法获得路面裂缝图像的最终分割结果;
基于类激活映射的路面裂缝分割方法还包括采用类激活映射优化模块RCM对步骤S2中的类激活映射进行优化:
步骤S4中采用的类激活映射为精细化后的类激活映射。
2.根据权利要求1所述的基于类激活映射的路面裂缝分割方法,其特征在于,所述S5进一步包括:
S51、采用卷积定向边界操作生成每张补丁分割结果的候选级别层次图,每张补丁在其候选级别层次图中选取m个不重叠的区域作为可靠区域;
S53、根据特征相似度,构建每个可靠区域r的分割得分模型:
S54、构建优化目标函数,并对其进行规范化处理,规范化后模型为:
3.根据权利要求1或2所述的基于类激活映射的路面裂缝分割方法,其特征在于,步骤S6进一步包括:
S61、读取记录的路面裂缝图像裁剪时每个补丁的位置,预测出分割掩膜的位置分布;
S62、对于重叠位置的分割掩膜,将重叠区域的最大概率相加,计算出最终的输出概率;
S62、根据补丁的位置分布和输出概率,对补丁进行拼接,之后对拼接后的图像经过argmax处理,得到路面裂缝图像的最终分割结果。
5.根据权利要求1所述的基于类激活映射的路面裂缝分割方法,其特征在于,Xception网络的训练方法:
S21、获取预训练后的Xception网络,移除Xception网络的最后一层池化层,采用两个可分离扩张卷积取代Xception最后的两个独立卷积;
S22、采用裂缝图像分类数据集对步骤S21构建的Xception网络进行训练;
S23、训练过程中,随机初始化全连接层的权值,在完成全局平均池化GAP后,将特征发送到初始化权重的全连接层后,采用softmax函数激活;
S24、通过迭代最小化交叉熵损失,对Xception网络进行优化,得到已训练的Xception网络,交叉熵损失函数为:
6.根据权利要求5所述的基于类激活映射的路面裂缝分割方法,其特征在于,所述裂缝图像分类数据集为数据集CLC,包含40000张补丁,其中20000张裂缝表示正类,另外20000张非裂缝为负类;补丁大小为227*227,训练过程中调整为224*224。
7.根据权利要求2或5所述的基于类激活映射的路面裂缝分割方法,其特征在于,DeepLabV3+网络的训练方法包括:
S31、采用编码器、解码器及连接二者的交叉层构成DeepLabV3+网络,并对DeepLabV3+网络的最后一个卷积层替换为一个单通道的卷积层;
S32、获取裂缝训练集,并将裂缝中的每张裂缝图像分割成若干补丁,之后将所有补丁输入编码器,生成对应的特征图;
S33、将步骤S32生成的所有补丁输入已训练的Xception网络,得到类激活映射,并采用类激活映射优化模块RCM优化得到精细的类激活映射;
S34、将步骤S32的特征图和步骤S33精细化后的类激活映射输入交叉层进行卷积运算操作输出至解码器中,得到对应的分割掩膜;
S35、将分割出的裂缝掩膜与其对应的裂缝真实标签计算误差:
其中,L losss、L bce、L dice和L SSIM分别为总损失、二元交叉熵损失函数、Dice损失函数和SSIM损失函数;为裂缝图像的真实标签;为预测的概率图;为均值;为方差,为和之间的协方差,(c1,c2)为计算稳定性的常数;h为图像的高;w为图像的宽度;
S36、迭代优化过程中使用小批量的梯度下降方法,当迭代次数达到预设迭代次数时,停止训练得到已训练的DeepLabV3+网络。
8.根据权利要求7所述的基于类激活映射的路面裂缝分割方法,其特征在于,所述裂缝训练集为DeepCrack、Crack500和CFD;其中DeepCrack为基准数据集,包含不同尺度和场景的裂缝,总共有300张训练图像和237张测试图像,分辨率为544×384,裁剪补丁时将训练集的每一张裂缝图像裁剪成15个补丁,训练时补丁数量为4500张,测试时补丁数量为3555张,每个补丁的大小为224*224;
Crack500数据集包含1896幅训练图像和1124幅测试图像,分辨率为360×640,裁剪补丁时将训练集的每一张裂缝图像裁剪成12个补丁,训练时补丁数量为22752张,测试时补丁数量为13488张,每个补丁的大小为224*224;
CFD数据集包含118张裂缝图像,人工标注的裂缝尺寸大小为480×320,先使用旋转增强和在水平轴与垂直轴分别翻转进行增强,增强到590张图像,按照7:3的比例划分训练集和测试集,训练集有413张图片,测试时有177张图片;裁剪补丁时将训练集的每一张裂缝图像裁剪成8个补丁,最终训练时补丁数量为3304张,测试时补丁数量为1416张,每个补丁的大小为224*224。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210969247.9A CN115457044B (zh) | 2022-08-12 | 2022-08-12 | 基于类激活映射的路面裂缝分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210969247.9A CN115457044B (zh) | 2022-08-12 | 2022-08-12 | 基于类激活映射的路面裂缝分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115457044A CN115457044A (zh) | 2022-12-09 |
CN115457044B true CN115457044B (zh) | 2023-04-28 |
Family
ID=84299135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210969247.9A Active CN115457044B (zh) | 2022-08-12 | 2022-08-12 | 基于类激活映射的路面裂缝分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115457044B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117994509B (zh) * | 2023-12-26 | 2024-07-12 | 徐州市第一人民医院 | 一种基于交互式的眼底图像无灌注区域智能识别方法 |
CN117876383B (zh) * | 2024-03-13 | 2024-06-07 | 西南林业大学 | 一种基于yolov5l的公路表面条状裂缝检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110415233A (zh) * | 2019-07-26 | 2019-11-05 | 东南大学 | 基于两步卷积神经网络的路面裂缝快速提取方法 |
CN111179253B (zh) * | 2019-12-30 | 2023-11-24 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
CN112435219B (zh) * | 2020-11-09 | 2022-11-15 | 东南大学 | 一种基于转置神经网络层间特征融合的路面裂缝识别方法 |
-
2022
- 2022-08-12 CN CN202210969247.9A patent/CN115457044B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115457044A (zh) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hoang et al. | Metaheuristic optimized edge detection for recognition of concrete wall cracks: a comparative study on the performances of roberts, prewitt, canny, and sobel algorithms | |
CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
CN115457044B (zh) | 基于类激活映射的路面裂缝分割方法 | |
CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 | |
Tran et al. | One stage detector (RetinaNet)-based crack detection for asphalt pavements considering pavement distresses and surface objects | |
CN108492281B (zh) | 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法 | |
JP6099479B2 (ja) | ひび割れ検出方法 | |
WO2013020142A2 (en) | Image-based crack detection | |
CN111652213A (zh) | 一种基于深度学习的船舶水尺读数识别方法 | |
CN111860106B (zh) | 一种无监督的桥梁裂缝识别方法 | |
CN113177456B (zh) | 基于单阶段全卷积网络和多特征融合的遥感目标检测方法 | |
CN114596500A (zh) | 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法 | |
CN113962960A (zh) | 基于深度学习的路面病害检测方法 | |
CN117291913B (zh) | 一种水工混凝土结构表观裂缝测量方法 | |
US11410300B2 (en) | Defect inspection device, defect inspection method, and storage medium | |
CN115937518A (zh) | 一种基于多源图像融合的路面病害识别方法及系统 | |
CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
CN117422699A (zh) | 公路检测方法、装置、计算机设备及存储介质 | |
CN115908276A (zh) | 融合深度学习的桥梁表观损伤双目视觉智能检测方法及系统 | |
CN117853722A (zh) | 一种融合超像素信息的钢材金相组织分割方法 | |
CN113158954B (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 | |
GB2556328A (en) | Street asset mapping | |
CN105809657A (zh) | 一种角点检测方法和装置 | |
CN110889418A (zh) | 一种气体轮廓识别方法 | |
CN115965613A (zh) | 基于空洞卷积的跨层连接的施工场景人群计数方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |