CN112686887A - 混凝土表面裂纹的检测方法、系统、设备和介质 - Google Patents
混凝土表面裂纹的检测方法、系统、设备和介质 Download PDFInfo
- Publication number
- CN112686887A CN112686887A CN202110107285.9A CN202110107285A CN112686887A CN 112686887 A CN112686887 A CN 112686887A CN 202110107285 A CN202110107285 A CN 202110107285A CN 112686887 A CN112686887 A CN 112686887A
- Authority
- CN
- China
- Prior art keywords
- layer
- crack
- prior frame
- target
- detection prior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 138
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000010276 construction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 4
- 241001669679 Eleotris Species 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 101001106523 Homo sapiens Regulator of G-protein signaling 1 Proteins 0.000 description 6
- 102100021269 Regulator of G-protein signaling 1 Human genes 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种混凝土表面裂纹的检测方法、系统、设备和介质,其中检测方法,包括以下步骤:构建图像集,图像集包括若干裂纹图像,裂纹图像包括裂纹区域和对应的标注信息;构建轻量化卷积神经网络模型;基于图像集对轻量化卷积神经网络模型进行训练以得到目标模型;基于目标模型识别混凝土表面图像中的裂纹。本发明基于轻量化卷积神经网络模型训练以得到的目标模型识别混凝土表面图像中的裂纹,有效提升识别准确率。
Description
技术领域
本发明属于混凝土表面裂纹检测技术领域,尤其涉及一种混凝土表面裂纹的检测方法、系统、设备和介质。
背景技术
轨道交通是加快城市转型发展的重要基础设施,在缓解城市拥堵和快速跨区通勤方面发挥着无可替代的作用。随着近年来中国主要城市轨道交通网络的加速发展,城市轨道交通总里程数逐年增势迅猛,在便捷化城市人群生活工作的同时,却给轨道交通的日常巡检与维护带来了巨大挑战,这其中就包括了对大量轨枕的健康状态监测。轨枕是用来支撑、固定钢轨并将向道床传递钢轨压力的轨道重要部件,轨枕的健康状态对行车安全起着至关重要的作用,关乎列车以及运载乘客的生命安全。由此可见,对轨枕的健康状态进行及时、准确的监测和反馈,对城市轨道交通的安全运营有着十分重要的意义。
城市轨道交通的轨枕主要采用混凝土材料,表面裂纹是可视化反映轨枕健康状态的一种关键表征。目前对于这种轨枕裂纹的传统巡检方式主要依靠人力,然而随着轨道交通里程数的不断增长,依靠人眼视觉对巨量轨枕进行检查变得愈发困难。目前工业上主要采用的是人工视觉的检测方法,容易受到各种不确定因素的影响,因此该方法存在效率低,准确度差等问题。随着卷积神经网络的不断发展,基于卷积神经网络的一些目标识别网络被提出。但是,这些方法大都被用于自然界的物体识别,裂纹在纵向尺度上属于微小目标,极容易在深度学习提取特征阶段消失且混凝土表面图像通常受光照。污渍等影响,图像背景复杂,且裂纹的种类多,尺度小,检测难度高,将其应用于混凝土表面裂纹检测存在定位不准确,存在漏判误判严重的问题。
目前,基于深度学习的混凝土轨枕裂纹检测方法(例如,专利申请CN110044905A涉及的一种双块式轨枕的裂纹检测方法),其将输入图像固定网格化划分为多个小的矩形图片块,然后利用深度神经网络对每个图片块分别进行裂纹判断,输出各图片块中存在裂纹的概率,然后结合人工底层特征系数最终加权得到裂纹所在的所有图片块区域。其具体实施方式为:
1)在轨枕图片数据集上对深度神经网络进行训练,得到用于判别轨枕是否存在裂纹的深度神经网络模型;
2)利用待检测双块式轨枕自身定位孔定位其凹槽区域,以双块式轨枕的凹槽区域为感兴趣区域,提取矩形检测图片;
3)提取上述矩形检测图片的底层特征,以底层特征中存在的非零像素点数量除以其像素总数得到加权系数w;
4)对矩形检测图片进行网格化划分得到图片块,将图片块输入训练好的深度神经网络模型,得到每个图片块存在裂纹的概率p;
5)设定概率阈值,将得到的每个图片块存在裂纹的概率p乘以加权系数,得到最终每个图片块存在裂纹的最终概率,将最终概率大于概率阈值的图片块判定为有裂纹。
上述基于深度学习的轨枕裂纹检测方法,主要通过对输入轨枕图像进行网格化切分,利用深度神经网络对各切分图片块是否存在裂纹进行分类,通过统计所有图片块存在裂纹的概率完成对整幅图像是否存在裂纹的最终判别。其存在以下缺点:
1)模型权重文件体积大,不利于部署在终端检测设备上;
2)对输入图像的人为网格化切分容易造成单图片块缺乏全局或周围局部信息,使得算法模型单独对各图像块进行裂纹判别时的准确率下降;
3)由于裂纹的尺度跨越范围大且不稳定,实际应用时,网格化切分的尺度需要结合具体应用场景进一步试验确定,切分的尺度差异容易对后续裂纹识别的准确率造成直接影响;
4)模型输出结果仅为可能存在裂纹的各个网格化图片块区域,不能给出裂纹在图像中更加精准的位置信息。
发明内容
本发明要解决的技术问题是为了克服现有技术中混凝土表面裂纹检测的准确度较低的缺陷,提供一种混凝土表面裂纹的检测方法、系统、设备和介质。
本发明是通过下述技术方案来解决上述技术问题:
本发明提供一种混凝土表面裂纹的检测方法,包括以下步骤:
构建图像集,图像集包括若干裂纹图像,裂纹图像包括裂纹区域和对应的标注信息;
构建轻量化卷积神经网络模型;
基于图像集对轻量化卷积神经网络模型进行训练以得到目标模型;
基于目标模型识别混凝土表面图像中的裂纹。
较佳地,构建轻量化卷积神经网络模型的步骤包括:
根据图像集统计裂纹目标外形尺度分布;
以SSD(Single Shot MultiBox Detector,单次检测器)为基础模型,以MobilenetV2(一种轻量级网络)网络作为基础模型的主干网络构架,抽取MobilenetV2网络中的若干层作为输出特征层;
基于裂纹目标外形尺度分布,针对每一个输出特征层分别获取目标检测先验框的尺度范围与长短比,从而构建轻量化卷积神经网络模型。
较佳地,基于裂纹目标外形尺度分布,针对每一个输出特征层分别获取目标检测先验框的尺度范围与长短比,包括:
获取第i输出特征层对应的特征图的最小短边长minsizei和最大短边长为(minsizei+minsizei+1)/2,基于最小短边长minsizei将裂纹目标外形尺度分布划分为若干区间。
较佳地,基于裂纹目标外形尺度分布,针对每一个输出特征层分别获取目标检测先验框的尺度范围与长短比,还包括:
对每个区间对应的输出特征层中的目标检测先验框的长短比进行分析,以获得区间内的长短比的最大值和最小值,如果最小值小于2,则取1作为区间对应的输出特征层的目标检测先验框的最小长短比RATIOSi,0,如果最小值不小于2,则对最小值向下取偶,作为区间对应的输出特征层的目标检测先验框的最小长短比RATIOSi,0,对最大值向上取偶,作为区间对应的输出特征层的目标检测先验框的最大长短比RATIOSi,n,取RATIOSi,0、RATIOSi,n及RATIOSi,0与RATIOSi,n之间的所有偶数作为输出特征层的长短比序列。
较佳地,抽取MobilenetV2网络中的若干层作为输出特征层,包括:
抽取MobilenetV2网络的第13层、第18层、第19层和第20层作为输出特征层。
较佳地,第13层的目标检测先验框的最小短边长取[16,24],第13层的目标检测先验框的长短边比序列为[1,2,4,6,8,10,12,1/2,1/4,1/6,1/8,1/10,1/12];
第18层的目标检测先验框的最小短边长取[32,48],第18层的目标检测先验框的长短边比序列为[1,2,4,6,8,10,12,14,1/2,1/4,1/6,1/8,1/10,1/12,1/14];
第19层的目标检测先验框的最小短边长取[64,96],第19层的目标检测先验框的长短边比序列为[1,2,4,6,8,1/2,1/4,1/6,1/8];
第20层的目标检测先验框的最小短边长取[128,192],第20层的目标检测先验框的长短边比序列为[1,2,4,1/2,1/4]。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现本发明的混凝土表面裂纹的检测方法。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本发明的混凝土表面裂纹的检测方法的步骤。
本发明还提供一种混凝土表面裂纹的检测系统,包括第一构建单元、第二构建单元、训练单元、识别单元;
第一构建单元用于构建图像集,图像集包括若干裂纹图像,裂纹图像包括裂纹区域和对应的标注信息;
第二构建单元用于构建轻量化卷积神经网络模型;
训练单元用于基于图像集对轻量化卷积神经网络模型进行训练以得到目标模型;
识别单元用于基于目标模型识别混凝土表面图像中的裂纹。
较佳地,第二构建单元根据图像集统计裂纹目标外形尺度分布;
第二构建单元还以SSD为基础模型,以MobilenetV2网络作为基础模型的主干网络构架,抽取MobilenetV2网络中的若干层作为输出特征层;
第二构建单元还基于裂纹目标外形尺度分布,针对每一个输出特征层分别获取目标检测先验框的尺度范围与长短比,从而构建轻量化卷积神经网络模型。
较佳地,第二构建单元还获取第i输出特征层对应的特征图的最小短边长minsizei和最大短边长为(minsizei+minsizei+1)/2,基于最小短边长minsizei将裂纹目标外形尺度分布划分为若干区间。
较佳地,第二构建单元还对每个区间对应的输出特征层中的目标检测先验框的长短比进行分析,以获得区间内的长短比的最大值和最小值,如果最小值小于2,则取1作为区间对应的输出特征层的目标检测先验框的最小长短比RATIOSi,0,如果最小值不小于2,则对最小值向下取偶,作为区间对应的输出特征层的目标检测先验框的最小长短比RATIOSi,0,对最大值向上取偶,作为区间对应的输出特征层的目标检测先验框的最大长短比RATIOSi,n,取RATIOSi,0、RATIOSi,n及RATIOSi,0与RATIOSi,n之间的所有偶数作为输出特征层的长短比序列。
较佳地,第二构建单元还抽取MobilenetV2网络的第13层、第18层、第19层和第20层作为输出特征层。
较佳地,第13层的目标检测先验框的最小短边长取[16,24],第13层的目标检测先验框的长短边比序列为[1,2,4,6,8,10,12,1/2,1/4,1/6,1/8,1/10,1/12];
第18层的目标检测先验框的最小短边长取[32,48],第18层的目标检测先验框的长短边比序列为[1,2,4,6,8,10,12,14,1/2,1/4,1/6,1/8,1/10,1/12,1/14];
第19层的目标检测先验框的最小短边长取[64,96],第19层的目标检测先验框的长短边比序列为[1,2,4,6,8,1/2,1/4,1/6,1/8];
第20层的目标检测先验框的最小短边长取[128,192],第20层的目标检测先验框的长短边比序列为[1,2,4,1/2,1/4]。
本发明的积极进步效果在于:本发明基于轻量化卷积神经网络模型训练以得到的目标模型识别混凝土表面图像中的裂纹,有效提升识别准确率。进一步地,在一些可选的实施方式中,基于MobilenetV2作为骨干网络,权重文件体积小,对终端设备的存储空间和内存资源开销较低,更适应终端部署环境要求。
附图说明
图1为本发明的实施例1的混凝土表面裂纹的检测方法的流程图。
图2为本发明的实施例1的混凝土表面裂纹的检测方法的裂纹目标外形尺度分布的示意图。
图3为本发明的实施例1的混凝土表面裂纹的检测方法的抽取输出特征层的示意图。
图4为本发明的实施例1的混凝土表面裂纹的检测方法的结果图像。
图5为本发明的实施例2的电子设备的结构示意图。
图6为本发明的实施例4的混凝土表面裂纹的检测系统的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施提供一种混凝土表面裂纹的检测方法。参照图1,该混凝土表面裂纹的检测方法包括以下步骤:
步骤S1、构建图像集。图像集包括若干裂纹图像。该裂纹图像为混凝土表面裂纹图像。裂纹图像包括裂纹区域和对应的标注信息。
具体实施时,在步骤S1中,收集轨枕表面裂纹图像,使用labelimg对每张图像上的裂纹区域进行标注,建立混凝土裂纹的数据集。标注信息包括对裂纹属性的标注信息和对裂纹所处矩形包围框位置的标注。构建完成含标注信息的混凝土轨枕裂纹的图像集,将图像集划分为训练样本数据集和测试样本数据集。
在一种具体的实施方式中,收集轨枕表面裂纹图像1300张,其中训练样本数据集包含裂纹图像1000张,测试样本数据集包含裂纹图像300张。其中,裂纹类型包括连续型裂纹、细微型裂纹、深色型裂纹、多叉型裂纹、粗大型裂纹、散花型裂纹、被材质干扰裂纹、被遮挡干扰裂纹和被油污干扰型裂纹等。
步骤S2、构建轻量化卷积神经网络模型。
具体实施时,在步骤S2中,首先,设置输入图像的分辨率尺度为预设像素分辨率,以该分辨率尺度为标准,将步骤S1的训练样本集标注信息中的裂纹矩形包围框位置按该输入尺度进行线性映射,统计每条裂纹包围框的短边和长边,以短边为横坐标,以长边为纵坐标,绘制裂纹外形尺度分布图。如图2给出了裂纹目标外形尺度分布图的一种示意,其中,横轴表示训练样本裂纹包围框短边长度,单位为像素,纵轴表示训练样本集裂纹包围框长短边比。
在一种可选的实施方式中,输入图像的分辨率尺度设置为512×512像素,训练样本集标注信息中的裂纹矩形包围框位置按输入尺度512×512像素进行线性映射,其表达式为:
s=512·s0/S0
其中,s0表示包围框原边长度,原边包括长边和短边,S0表示与包围框该边平行的原输入图像对应边长度,s表示映射后包围框的对应边长。
然后,根据步骤统计得到的裂纹外形尺度分布情况,以深度学习经典目标检测SSD模型为裂纹检测基础模型,以MobilenetV2网络结构为SSD模型主干网络架构,抽取若干目标层为输出特征层。这些目标层对应的裂纹最短边分布的密集程度大于预设阈值,也即,抽取裂纹最短边分布较为密集的尺度对应的特征层作为输出特征层。作为一种可选的实施方式,参照图3,抽取MobilenetV2网络中第13层IR13、第18层Conv18、第19层IR19和第20层IR20作为输出特征层。
然后,根据裂纹目标外形尺度分布情况,获取每一个输出特征层的目标检测先验框的尺度范围与长短比。根据裂纹目标外形尺度分布情况设置目标检测先验框的尺度范围与长短比,可以使得目标检测先验框能完整覆盖裂纹目标主体分布,最终构建形成用于混凝土表面裂纹检测的轻量化卷积神经网络模型。
具体实施时,根据裂纹目标尺度分布设计各层目标检测先验框的尺度范围与长短比的方式为:设抽取的第i个输出特征层对应的特征图上的一个像素映射至原图上可以表征n×n个像素,将第i个输出特征层对应的特征图上的一个像素设为该特征图的最小短边长minsizei(单位:像素),最大短边长为(minsizei+minsizei+1)/2,对裂纹外形尺度分布使用相应的minsizei进行区间划分;进一步地,对每个区间对应的输出特征层中的目标检测先验框的长短边比例(简称长短比)进行分析,获得该区间内长短比的最大值与最小值,对最小值向下取偶,若最小值小于2则取1,作为该区间对应的输出特征层的目标检测先验框的最小长短比RATIOSi,0,对最大值向上取偶,作为该区间对应的输出特征层的目标检测先验框的最大长短比RATIOSi,n,取RATIOSi,0和RATIOSi,n及之间的所有偶数作为该特征层的长短比序列。根据长短比中设置的该层特征图对应的长短比RATIOSi(共n个),生成与minsizei和(minsizei+minsizei+1)/2比例分别为1:RATIOSi,0,RATIOSi,0:1,1:RATIOSi,1,RATIOSi,1:1····1:RATIOSi,n,RATIOSi,n:1的目标检测先验框,每张特征图上,每个像素最多将生成(2n+1)2个目标检测先验框。
在一种可选的实施方式中,第13层IR13抽出的特征图的大小为32×32像素,第18层Conv18抽出的特征图的大小为16×16像素,第19层IR19抽出的特征图的大小为8×8像素,第20层IR20抽出的特征图的大小为4×4像素。第13层IR13的目标检测先验框的最小短边长取[16,24],长短边比序列为[1,2,4,6,8,10,12,1/2,1/4,1/6,1/8,1/10,1/12],每张特征图上的每个像素点共计会分别产生26个目标检测先验框,完整覆盖裂纹目标主体分布,使检测网络更适应裂纹这样单一方向尺度小,比例跨度极大的目标,能够有效的提升检测准确率;第18层Conv18的目标检测先验框的最小短边长取[32,48],长短边比序列为[1,2,4,6,8,10,12,14,1/2,1/4,1/6,1/8,1/10,1/12,1/14],每张特征图上的每个像素点共计会分别产生30个目标检测先验框,完整覆盖裂纹目标主体分布,使检测网络更适应裂纹这样单一方向尺度小,比例跨度极大的目标,能够有效的提升检测准确率;第19层IR19的目标检测先验框的最小短边长取[64,96],长短边比序列为[1,2,4,6,8,1/2,1/4,1/6,1/8],每张特征图上的每个像素点共计会分别产生18个目标检测先验框,完整覆盖裂纹目标主体分布,使检测网络更适应裂纹这样单一方向尺度小,比例跨度极大的目标,能够有效的提升检测准确率;第20层IR20的目标检测先验框的最小短边长取[128,192],长短边比序列为[1,2,4,1/2,1/4],每张特征图上的每个像素点共计会分别产生10个目标检测先验框,完整覆盖裂纹目标主体分布,使检测网络更适应裂纹这样单一方向尺度小,比例跨度极大的目标,能够有效的提升检测准确率。
步骤S3、基于图像集对图像集对神经网络模型进行训练以得到目标模型。具体实施时,训练中,对训练样本数据集中的各个裂纹图像进行随机旋转、尺度缩放、镜像及裁切等数据增强操作,以增强模型的鲁棒性,并通过多次迭代优化SSD目标损失函数,得到优化后的网络模型权值参数值,将优化后的网络模型权值参数值代入轻量化卷积神经网络模型以得到目标模型。
步骤S4、基于目标模型识别混凝土表面图像中的裂纹。目标模型接收混凝土表面图像以进行识别,如果混凝土表面图像中存在裂纹,则输出裂纹所在的包围框区域、属性描述及其置信度。图4示出了该目标模型对一幅混凝土表面图像的裂纹进行检测与定位输出的结果图像,其中,以矩形标识出第一裂纹目标901所在的包围框区域,标识其属性为“Crack”,并标识其置信度为1.00。本实施例的混凝土表面裂纹的检测方法的mAP(meanAverage Precision,平均检测精度)为0.7992,所需的权值文件大小为24.3MB。
本实施例的混凝土表面裂纹的检测方法基于MobilenetV2作为骨干网络,权重文件体积小,对终端设备的存储空间和内存资源开销较低,更适应终端部署环境要求。并且,裂纹作为一个方向上尺度极小的目标,选择较大的输入图像尺寸,有利于在抽出的特征图上保留裂纹的特征。进一步地,根据裂纹目标外形尺度分布得到各层目标检测先验框的尺度范围与长宽比,并修改先验框生成方式,使检测网络更适应裂纹这样单一方向尺度小,比例跨度极大的目标,能够有效的提升检测准确率。
实施例2
图5为本实施例提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现实施例1的混凝土表面裂纹的检测方法。图5显示的电子设备30仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
电子设备30可以以通用计算设备的形式表现,例如其可以为服务器设备。电子设备30的组件可以包括但不限于:上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器,例如随机存取存储器(RAM)321和/或高速缓存存储器322,还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325,这样的程序模块324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序,从而执行各种功能应用以及数据处理,例如本发明实施例1的混凝土表面裂纹的检测方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且,模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白,尽管图中未示出,可以结合模型生成的设备30使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例3
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现实施例1的混凝土表面裂纹的检测方法的步骤。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行实现实施例1的混凝土表面裂纹的检测方法的步骤。
其中,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
实施例4
本实施提供一种混凝土表面裂纹的检测系统。参照图6,该混凝土表面裂纹的检测系统包括第一构建单元201、第二构建单元202、训练单元203、识别单元204。
第一构建单元201用于构建图像集,图像集包括若干裂纹图像,裂纹图像包括裂纹区域和对应的标注信息;第二构建单元202用于构建轻量化卷积神经网络模型;训练单元203用于基于图像集对轻量化卷积神经网络模型进行训练以得到目标模型;识别单元204用于基于目标模型识别混凝土表面图像中的裂纹。
首先,第一构建单元201获取轨枕表面裂纹图像,基于labelimg对每张图像上的裂纹区域进行标注,建立混凝土裂纹的数据集。标注信息包括对裂纹属性的标注信息和对裂纹所处矩形包围框位置的标注。构建完成含标注信息的混凝土轨枕裂纹的图像集,将图像集划分为训练样本数据集和测试样本数据集。
在一种具体的实施方式中,收集轨枕表面裂纹图像1300张,其中训练样本数据集包含裂纹图像1000张,测试样本数据集包含裂纹图像300张。其中,裂纹类型包括连续型裂纹、细微型裂纹、深色型裂纹、多叉型裂纹、粗大型裂纹、散花型裂纹、被材质干扰裂纹、被遮挡干扰裂纹和被油污干扰型裂纹等。
然后,第二构建单元202构建轻量化卷积神经网络模型。
具体实施时,首先,第二构建单元202设置输入图像的分辨率尺度为预设像素分辨率,以该分辨率尺度为标准,将训练样本集标注信息中的裂纹矩形包围框位置按该输入尺度进行线性映射,统计每条裂纹包围框的短边和长边,以短边为横坐标,以长边为纵坐标,绘制裂纹外形尺度分布图。如图2给出了裂纹目标外形尺度分布图的一种示意,其中,横轴表示训练样本裂纹包围框短边长度,单位为像素,纵轴表示训练样本集裂纹包围框长短边比。
在一种可选的实施方式中,输入图像的分辨率尺度设置为512×512像素,训练样本集标注信息中的裂纹矩形包围框位置按输入尺度512×512像素进行线性映射,其表达式为:
s=512·s0/S0
其中,s0表示包围框原边长度,原边包括长边和短边,S0表示与包围框该边平行的原输入图像对应边长度,s表示映射后包围框的对应边长。
然后,根据步骤统计得到的裂纹外形尺度分布情况,以深度学习经典目标检测SSD模型为裂纹检测基础模型,以MobilenetV2网络结构为SSD模型主干网络架构,抽取若干目标层为输出特征层。这些目标层对应的裂纹最短边分布的密集程度大于预设阈值,也即,抽取裂纹最短边分布较为密集的尺度对应的特征层作为输出特征层。作为一种可选的实施方式,参照图3,抽取MobilenetV2网络中第13层IR13、第18层Conv18、第19层IR19和第20层IR20作为输出特征层。
然后,根据裂纹目标外形尺度分布情况,获取每一个输出特征层的目标检测先验框的尺度范围与长短比。根据裂纹目标外形尺度分布情况设置目标检测先验框的尺度范围与长短比,可以使得目标检测先验框能完整覆盖裂纹目标主体分布,最终构建形成用于混凝土表面裂纹检测的轻量化卷积神经网络模型。
具体实施时,根据裂纹目标尺度分布设计各层目标检测先验框的尺度范围与长短比的方式为:设抽取的第i个输出特征层对应的特征图上的一个像素映射至原图上可以表征n×n个像素,将第i个输出特征层对应的特征图上的一个像素设为该特征图的最小短边长minsizei(单位:像素),最大短边长为(minsizei+minsizei+1)/2,对裂纹外形尺度分布使用相应的minsizei进行区间划分;进一步地,对每个区间对应的输出特征层中的目标检测先验框的长短边比例(简称长短比)进行分析,获得该区间内长短比的最大值与最小值,对最小值向下取偶,若最小值小于2则取1,作为该区间对应的输出特征层的目标检测先验框的最小长短比RATIOSi,0,对最大值向上取偶,作为该区间对应的输出特征层的目标检测先验框的最大长短比RATIOSin,取RATIOSi,0和RATIOSi,n及之间的所有偶数作为该特征层的长短比序列。根据长短比中设置的该层特征图对应的长短比RATIOSi(共n个),生成与minsizei和(minsizei+minsizei+1)/2比例分别为1:RATIOSi,0,RATIOSi,0:1,1:RATIOSi,1,RATIOSi,1:1····1:RATIOSi,n,RATIOSi,n:1的目标检测先验框,每张特征图上,每个像素最多将生成(2n+1)2个目标检测先验框。
在一种可选的实施方式中,第13层IR13抽出的特征图的大小为32×32像素,第18层Conv18抽出的特征图的大小为16×16像素,第19层IR19抽出的特征图的大小为8×8像素,第20层IR20抽出的特征图的大小为4×4像素。第13层IR13的目标检测先验框的最小短边长取[16,24],长短边比序列为[1,2,4,6,8,10,12,1/2,1/4,1/6,1/8,1/10,1/12],每张特征图上的每个像素点共计会分别产生26个目标检测先验框,完整覆盖裂纹目标主体分布,使检测网络更适应裂纹这样单一方向尺度小,比例跨度极大的目标,能够有效的提升检测准确率;第18层Conv18的目标检测先验框的最小短边长取[32,48],长短边比序列为[1,2,4,6,8,10,12,14,1/2,1/4,1/6,1/8,1/10,1/12,1/14],每张特征图上的每个像素点共计会分别产生30个目标检测先验框,完整覆盖裂纹目标主体分布,使检测网络更适应裂纹这样单一方向尺度小,比例跨度极大的目标,能够有效的提升检测准确率;第19层IR19的目标检测先验框的最小短边长取[64,96],长短边比序列为[1,2,4,6,8,1/2,1/4,1/6,1/8],每张特征图上的每个像素点共计会分别产生18个目标检测先验框,完整覆盖裂纹目标主体分布,使检测网络更适应裂纹这样单一方向尺度小,比例跨度极大的目标,能够有效的提升检测准确率;第20层IR20的目标检测先验框的最小短边长取[128,192],长短边比序列为[1,2,4,1/2,1/4],每张特征图上的每个像素点共计会分别产生10个目标检测先验框,完整覆盖裂纹目标主体分布,使检测网络更适应裂纹这样单一方向尺度小,比例跨度极大的目标,能够有效的提升检测准确率。
接下来,训练单元203基于图像集对图像集对神经网络模型进行训练以得到目标模型。具体实施时,训练中,训练单元203对训练样本数据集中的各个裂纹图像进行随机旋转、尺度缩放、镜像及裁切等数据增强操作,以增强模型的鲁棒性,并通过多次迭代优化SSD目标损失函数,得到优化后的网络模型权值参数值,将优化后的网络模型权值参数值代入轻量化卷积神经网络模型以得到目标模型。
最后,识别单元204基于目标模型识别混凝土表面图像中的裂纹。目标模型接收混凝土表面图像以进行识别,如果混凝土表面图像中存在裂纹,则输出裂纹所在的包围框区域、属性描述及其置信度。图4示出了该目标模型对一幅混凝土表面图像的裂纹进行检测与定位输出的结果图像,其中,以矩形标识出第一裂纹目标901所在的包围框区域,标识其属性为“Crack”,并标识其置信度为1.00。本实施例的混凝土表面裂纹的检测系统的mAP(meanAverage Precision,平均检测精度)为0.7992,所需的权值文件大小为24.3MB。
本实施例的混凝土表面裂纹的检测系统基于MobilenetV2作为骨干网络,权重文件体积小,对终端设备的存储空间和内存资源开销较低,更适应终端部署环境要求。并且,裂纹作为一个方向上尺度极小的目标,选择较大的输入图像尺寸,有利于在抽出的特征图上保留裂纹的特征。进一步地,根据裂纹目标外形尺度分布得到各层目标检测先验框的尺度范围与长宽比,并修改先验框生成方式,使检测网络更适应裂纹这样单一方向尺度小,比例跨度极大的目标,能够有效的提升检测准确率。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
Claims (14)
1.一种混凝土表面裂纹的检测方法,其特征在于,包括以下步骤:
构建图像集,所述图像集包括若干裂纹图像,所述裂纹图像包括裂纹区域和对应的标注信息;
构建轻量化卷积神经网络模型;
基于所述图像集对所述轻量化卷积神经网络模型进行训练以得到目标模型;
基于所述目标模型识别混凝土表面图像中的裂纹。
2.如权利要求1所述的混凝土表面裂纹的检测方法,其特征在于,所述构建轻量化卷积神经网络模型的步骤包括:
根据所述图像集统计裂纹目标外形尺度分布;
以SSD为基础模型,以MobilenetV2网络作为所述基础模型的主干网络构架,抽取所述MobilenetV2网络中的若干层作为输出特征层;
基于所述裂纹目标外形尺度分布,针对每一个所述输出特征层分别获取目标检测先验框的尺度范围与长短比,从而构建所述轻量化卷积神经网络模型。
3.如权利要求2所述的混凝土表面裂纹的检测方法,其特征在于,所述基于所述裂纹目标外形尺度分布,针对每一个所述输出特征层分别获取目标检测先验框的尺度范围与长短比,包括:
获取第i输出特征层对应的特征图的最小短边长minsizei和最大短边长为(minsizei+minsizei+1)/2,基于所述最小短边长minsizei将所述裂纹目标外形尺度分布划分为若干区间。
4.如权利要求3所述的混凝土表面裂纹的检测方法,其特征在于,所述基于所述裂纹目标外形尺度分布,针对每一个所述输出特征层分别获取目标检测先验框的尺度范围与长短比,还包括:
对每个所述区间对应的所述输出特征层中的所述目标检测先验框的长短比进行分析,以获得所述区间内的所述长短比的最大值和最小值,如果所述最小值小于2,则取1作为所述区间对应的所述输出特征层的所述目标检测先验框的最小长短比RATIOSi,0,如果所述最小值不小于2,则对所述最小值向下取偶,作为所述区间对应的所述输出特征层的所述目标检测先验框的最小长短比RATIOSi,0,对所述最大值向上取偶,作为所述区间对应的所述输出特征层的所述目标检测先验框的最大长短比RATIOSi,n,取RATIOSi,0、RATIOSi,n及RATIOSi,0与RATIOSi,n之间的所有偶数作为所述输出特征层的长短比序列。
5.如权利要求4所述的混凝土表面裂纹的检测方法,其特征在于,所述抽取所述MobilenetV2网络中的若干层作为输出特征层,包括:
抽取所述MobilenetV2网络的第13层、第18层、第19层和第20层作为所述输出特征层。
6.如权利要求5所述的混凝土表面裂纹的检测方法,其特征在于,所述第13层的所述目标检测先验框的所述最小短边长取[16,24],所述第13层的所述目标检测先验框的长短边比序列为[1,2,4,6,8,10,12,1/2,1/4,1/6,1/8,1/10,1/12];
所述第18层的所述目标检测先验框的所述最小短边长取[32,48],所述第18层的所述目标检测先验框的长短边比序列为[1,2,4,6,8,10,12,14,1/2,1/4,1/6,1/8,1/10,1/12,1/14];
所述第19层的所述目标检测先验框的所述最小短边长取[64,96],所述第19层的所述目标检测先验框的长短边比序列为[1,2,4,6,8,1/2,1/4,1/6,1/8];
所述第20层的所述目标检测先验框的所述最小短边长取[128,192],所述第20层的所述目标检测先验框的长短边比序列为[1,2,4,1/2,1/4]。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的混凝土表面裂纹的检测方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的混凝土表面裂纹的检测方法的步骤。
9.一种混凝土表面裂纹的检测系统,其特征在于,包括第一构建单元、第二构建单元、训练单元、识别单元;
所述第一构建单元用于构建图像集,所述图像集包括若干裂纹图像,所述裂纹图像包括裂纹区域和对应的标注信息;
所述第二构建单元用于构建轻量化卷积神经网络模型;
所述训练单元用于基于所述图像集对所述轻量化卷积神经网络模型进行训练以得到目标模型;
所述识别单元用于基于所述目标模型识别混凝土表面图像中的裂纹。
10.如权利要求9所述的混凝土表面裂纹的检测系统,其特征在于,所述第二构建单元根据所述图像集统计裂纹目标外形尺度分布;
所述第二构建单元还以SSD为基础模型,以MobilenetV2网络作为所述基础模型的主干网络构架,抽取所述MobilenetV2网络中的若干层作为输出特征层;
所述第二构建单元还基于所述裂纹目标外形尺度分布,针对每一个所述输出特征层分别获取目标检测先验框的尺度范围与长短比,从而构建所述轻量化卷积神经网络模型。
11.如权利要求10所述的混凝土表面裂纹的检测系统,其特征在于,所述第二构建单元还获取第i输出特征层对应的特征图的最小短边长minsizei和最大短边长为(minsizei+minsizei+1)/2,基于所述最小短边长minsizei将所述裂纹目标外形尺度分布划分为若干区间。
12.如权利要求11所述的混凝土表面裂纹的检测系统,其特征在于,所述第二构建单元还对每个所述区间对应的所述输出特征层中的所述目标检测先验框的长短比进行分析,以获得所述区间内的所述长短比的最大值和最小值,如果所述最小值小于2,则取1作为所述区间对应的所述输出特征层的所述目标检测先验框的最小长短比RATIOSi,0,如果所述最小值不小于2,则对所述最小值向下取偶,作为所述区间对应的所述输出特征层的所述目标检测先验框的最小长短比RATIOSi,0,对所述最大值向上取偶,作为所述区间对应的所述输出特征层的所述目标检测先验框的最大长短比RATIOSi,n,取RATIOSi,0、RATIOSi,n及RATIOSi,0与RATIOSi,n之间的所有偶数作为所述输出特征层的长短比序列。
13.如权利要求12所述的混凝土表面裂纹的检测系统,其特征在于,所述第二构建单元还抽取所述MobilenetV2网络的第13层、第18层、第19层和第20层作为所述输出特征层。
14.如权利要求13所述的混凝土表面裂纹的检测系统,其特征在于,所述第13层的所述目标检测先验框的所述最小短边长取[16,24],所述第13层的所述目标检测先验框的长短边比序列为[1,2,4,6,8,10,12,1/2,1/4,1/6,1/8,1/10,1/12];
所述第18层的所述目标检测先验框的所述最小短边长取[32,48],所述第18层的所述目标检测先验框的长短边比序列为[1,2,4,6,8,10,12,14,1/2,1/4,1/6,1/8,1/10,1/12,1/14];
所述第19层的所述目标检测先验框的所述最小短边长取[64,96],所述第19层的所述目标检测先验框的长短边比序列为[1,2,4,6,8,1/2,1/4,1/6,1/8];
所述第20层的所述目标检测先验框的所述最小短边长取[128,192],所述第20层的所述目标检测先验框的长短边比序列为[1,2,4,1/2,1/4]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110107285.9A CN112686887A (zh) | 2021-01-27 | 2021-01-27 | 混凝土表面裂纹的检测方法、系统、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110107285.9A CN112686887A (zh) | 2021-01-27 | 2021-01-27 | 混凝土表面裂纹的检测方法、系统、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112686887A true CN112686887A (zh) | 2021-04-20 |
Family
ID=75459307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110107285.9A Pending CN112686887A (zh) | 2021-01-27 | 2021-01-27 | 混凝土表面裂纹的检测方法、系统、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112686887A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115326809A (zh) * | 2022-08-02 | 2022-11-11 | 山西省智慧交通研究院有限公司 | 一种隧道衬砌表观裂纹检测方法及检测装置 |
CN115758084A (zh) * | 2022-11-21 | 2023-03-07 | 清华大学 | 一种深度神经网络裂纹量化方法及装置、存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960245A (zh) * | 2018-07-13 | 2018-12-07 | 广东工业大学 | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 |
CN109978014A (zh) * | 2019-03-06 | 2019-07-05 | 华南理工大学 | 一种融合密集连接结构的柔性基板缺陷检测方法 |
KR20190085464A (ko) * | 2018-01-10 | 2019-07-18 | 삼성전자주식회사 | 이미지 처리 방법 및 이를 수행하는 장치들 |
CN110188628A (zh) * | 2019-05-13 | 2019-08-30 | 北京遥感设备研究所 | 一种基于深度学习模型的rd图像舰船目标识别方法 |
CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
CN111259845A (zh) * | 2020-01-21 | 2020-06-09 | 河海大学 | 一种混凝土结构表面裂缝识别方法 |
KR20200100558A (ko) * | 2019-02-18 | 2020-08-26 | 삼성전자주식회사 | 이미지 처리 방법 및 장치, 전자 디바이스 및 컴퓨터 판독 가능 저장 매체 |
WO2020232942A1 (zh) * | 2019-05-17 | 2020-11-26 | 丰疆智能科技股份有限公司 | 基于农田图像的卷积神经网络构建方法及其系统 |
-
2021
- 2021-01-27 CN CN202110107285.9A patent/CN112686887A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190085464A (ko) * | 2018-01-10 | 2019-07-18 | 삼성전자주식회사 | 이미지 처리 방법 및 이를 수행하는 장치들 |
CN108960245A (zh) * | 2018-07-13 | 2018-12-07 | 广东工业大学 | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 |
KR20200100558A (ko) * | 2019-02-18 | 2020-08-26 | 삼성전자주식회사 | 이미지 처리 방법 및 장치, 전자 디바이스 및 컴퓨터 판독 가능 저장 매체 |
CN109978014A (zh) * | 2019-03-06 | 2019-07-05 | 华南理工大学 | 一种融合密集连接结构的柔性基板缺陷检测方法 |
CN110188628A (zh) * | 2019-05-13 | 2019-08-30 | 北京遥感设备研究所 | 一种基于深度学习模型的rd图像舰船目标识别方法 |
WO2020232942A1 (zh) * | 2019-05-17 | 2020-11-26 | 丰疆智能科技股份有限公司 | 基于农田图像的卷积神经网络构建方法及其系统 |
CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
CN111259845A (zh) * | 2020-01-21 | 2020-06-09 | 河海大学 | 一种混凝土结构表面裂缝识别方法 |
Non-Patent Citations (2)
Title |
---|
刘继丹: "改进SSD卷积神经网络在钢板边裂纹检测中的应用", 《冶金自动化》, vol. 44, no. 4, 31 July 2020 (2020-07-31), pages 43 - 47 * |
李清奇: "一种基于自编码的混凝土裂纹识别方法", 《北京交通大学学报》, vol. 44, no. 2, 30 April 2020 (2020-04-30), pages 98 - 104 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115326809A (zh) * | 2022-08-02 | 2022-11-11 | 山西省智慧交通研究院有限公司 | 一种隧道衬砌表观裂纹检测方法及检测装置 |
CN115326809B (zh) * | 2022-08-02 | 2023-06-06 | 山西省智慧交通研究院有限公司 | 一种隧道衬砌表观裂纹检测方法及检测装置 |
CN115758084A (zh) * | 2022-11-21 | 2023-03-07 | 清华大学 | 一种深度神经网络裂纹量化方法及装置、存储介质 |
CN115758084B (zh) * | 2022-11-21 | 2023-11-14 | 清华大学 | 一种深度神经网络裂纹量化方法及装置、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gargoum et al. | A literature synthesis of LiDAR applications in transportation: Feature extraction and geometric assessments of highways | |
Sánchez-Rodríguez et al. | Automated detection and decomposition of railway tunnels from Mobile Laser Scanning Datasets | |
CN112232371B (zh) | 一种基于YOLOv3与文本识别的美式车牌识别方法 | |
CN109086756A (zh) | 一种基于深度神经网络的文本检测分析方法、装置及设备 | |
Zhang et al. | Natural language description of remote sensing images based on deep learning | |
CN111191695A (zh) | 一种基于深度学习的网站图片篡改检测方法 | |
CN110472597A (zh) | 基于深度学习的岩石图像风化程度检测方法及系统 | |
CN105608454A (zh) | 基于文字结构部件检测神经网络的文字检测方法及系统 | |
CN112070135A (zh) | 电力设备图像检测方法、装置、电力设备及存储介质 | |
CN112686887A (zh) | 混凝土表面裂纹的检测方法、系统、设备和介质 | |
Bremer et al. | Eigenvalue and graph-based object extraction from mobile laser scanning point clouds | |
CN111814596B (zh) | 一种遥感影像与出租车轨迹融合的自动城市功能分区方法 | |
JP7389787B2 (ja) | マルチ-レベル転移領域に基づくドメイン適応型オブジェクト検出装置及び方法 | |
CN115409069A (zh) | 村镇建筑的识别方法、分类方法、装置、电子设备和介质 | |
CN111814597A (zh) | 一种耦合多标签分类网络和yolo的城市功能分区方法 | |
CN113012200B (zh) | 一种运动物体的定位方法、装置、电子设备及存储介质 | |
CN112801227B (zh) | 一种台风识别模型的生成方法、装置、设备及存储介质 | |
WO2024022059A1 (zh) | 环境检测报警方法、装置、计算机设备及存储介质 | |
CN111738164B (zh) | 一种基于深度学习的行人检测方法 | |
Liu et al. | Slippage fault diagnosis of dampers for transmission lines based on faster R-CNN and distance constraint | |
CN111611933A (zh) | 文档图像的信息提取方法及系统 | |
CN112686888A (zh) | 混凝土轨枕裂纹的检测方法、系统、设备和介质 | |
CN113034511A (zh) | 基于高分辨率遥感影像与深度学习的乡村建筑识别算法 | |
CN114694130A (zh) | 基于深度学习的铁路沿线电线杆及杆号检测方法和装置 | |
Wang et al. | Automatic identification and location of tunnel lining cracks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |