CN112686888A - 混凝土轨枕裂纹的检测方法、系统、设备和介质 - Google Patents
混凝土轨枕裂纹的检测方法、系统、设备和介质 Download PDFInfo
- Publication number
- CN112686888A CN112686888A CN202110107326.4A CN202110107326A CN112686888A CN 112686888 A CN112686888 A CN 112686888A CN 202110107326 A CN202110107326 A CN 202110107326A CN 112686888 A CN112686888 A CN 112686888A
- Authority
- CN
- China
- Prior art keywords
- crack
- layer
- cracks
- feature layer
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241001669679 Eleotris Species 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000009826 distribution Methods 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 43
- 230000004927 fusion Effects 0.000 claims description 68
- 238000010276 construction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 22
- 238000013135 deep learning Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种混凝土轨枕裂纹的检测方法、系统、设备和介质，其中检测方法，包括以下步骤：构建图像集，图像集包括图像数据和标注信息；根据图像集统计裂纹目标外形的尺度分布状况；根据尺度分布状况构建卷积神经网络模型；基于图像集对卷积神经网络模型进行训练，以得到识别模型；基于识别模型对混凝土轨枕图像中的裂纹目标进行检测与定位。本发明通过根据图像集统计裂纹目标外形的尺度分布状况，再根据尺度分布状况构建卷积神经网络模型，使得训练得到的识别模型检测混凝土轨枕图像中的裂纹目标的准确率明显提升。
Description
技术领域
本发明属于混凝土轨枕裂纹的检测技术领域，尤其涉及一种混凝土轨枕裂纹的检测方法、系统、设备和介质。
背景技术
轨道交通是加快城市转型发展的重要基础设施，在缓解城市拥堵和快速跨区通勤方面发挥着无可替代的作用。随着近年来中国主要城市轨道交通网络的加速发展，城市轨道交通总里程数逐年增势迅猛，在便捷化城市人群生活工作的同时，却给轨道交通的日常巡检与维护带来了巨大挑战，这其中就包括了对大量轨枕的健康状态监测。轨枕是用来支撑、固定钢轨并将向道床传递钢轨压力的轨道重要部件，轨枕的健康状态对行车安全起着至关重要的作用，关乎列车以及运载乘客的生命安全。由此可见，对轨枕的健康状态进行及时、准确的监测和反馈，对城市轨道交通的安全运营有着十分重要的意义。
城市轨道交通的轨枕主要采用混凝土材料，表面裂纹是可视化反映轨枕健康状态的一种关键表征。目前对于这种轨枕裂纹的传统巡检方式主要依靠人力，然而随着轨道交通里程数的不断增长，依靠人眼视觉对巨量轨枕进行检查变得愈发困难。目前工业上主要采用的是人工视觉的检测方法，容易受到各种不确定因素的影响，因此该方法存在效率低，准确度差等问题。随着卷积神经网络的不断发展，基于卷积神经网络的一些目标识别网络被提出。但是，这些方法大都被用于自然界的物体识别，裂纹在纵向尺度上属于微小目标，极容易在深度学习提取特征阶段消失且混凝土表面图像通常受光照。污渍等影响，图像背景复杂，且裂纹的种类多，尺度小，检测难度高，将其应用于混凝土表面裂纹检测存在定位不准确，存在漏判误判严重的问题。
目前，基于深度学习的混凝土轨枕裂纹检测方法(例如，专利申请CN110044905A涉及的一种双块式轨枕的裂纹检测方法)，其将输入图像固定网格化划分为多个小的矩形图片块，然后利用深度神经网络对每个图片块分别进行裂纹判断，输出各图片块中存在裂纹的概率，然后结合人工底层特征系数最终加权得到裂纹所在的所有图片块区域。其具体实施方式为：
1)在轨枕图片数据集上对深度神经网络进行训练，得到用于判别轨枕是否存在裂纹的深度神经网络模型；
2)利用待检测双块式轨枕自身定位孔定位其凹槽区域，以双块式轨枕的凹槽区域为感兴趣区域，提取矩形检测图片；
3)提取上述矩形检测图片的底层特征，以底层特征中存在的非零像素点数量除以其像素总数得到加权系数w；
4)对矩形检测图片进行网格化划分得到图片块，将图片块输入训练好的深度神经网络模型，得到每个图片块存在裂纹的概率p；
5)设定概率阈值，将得到的每个图片块存在裂纹的概率p乘以加权系数，得到最终每个图片块存在裂纹的最终概率，将最终概率大于概率阈值的图片块判定为有裂纹。
上述基于深度学习的轨枕裂纹检测方法，主要通过对输入轨枕图像进行网格化切分，利用深度神经网络对各切分图片块是否存在裂纹进行分类，通过统计所有图片块存在裂纹的概率完成对整幅图像是否存在裂纹的最终判别。其存在以下缺点：
1)模型权重文件体积大，不利于部署在终端检测设备上；
2)对输入图像的人为网格化切分容易造成单图片块缺乏全局或周围局部信息，使得算法模型单独对各图像块进行裂纹判别时的准确率下降；
3)由于裂纹的尺度跨越范围大且不稳定，实际应用时，网格化切分的尺度需要结合具体应用场景进一步试验确定，切分的尺度差异容易对后续裂纹识别的准确率造成直接影响；
4)模型输出结果仅为可能存在裂纹的各个网格化图片块区域，不能给出裂纹在图像中更加精准的位置信息。
发明内容
本发明要解决的技术问题是为了克服现有技术中轨枕裂纹检测的准确率低的缺陷，提供一种混凝土轨枕裂纹的检测方法、系统、设备和介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种混凝土轨枕裂纹的检测方法，包括以下步骤：
构建图像集，图像集包括图像数据和标注信息；
根据图像集统计裂纹目标外形的尺度分布状况；
根据尺度分布状况构建卷积神经网络模型；
基于图像集对卷积神经网络模型进行训练，以得到识别模型；
基于识别模型对混凝土轨枕图像中的裂纹目标进行检测与定位。
较佳地，根据尺度分布状况构建卷积神经网络模型，包括：
根据尺度分布状况，以VGG16(一种卷积神经网络)网络结构为SSD(Single ShotMultiBox Detector，单次检测器)模型主干网络架构构建卷积神经网络模型。
较佳地，根据尺度分布状况，以VGG16网络结构为SSD模型主干网络架构构建卷积神经网络模型，包括：
提取SSD模型主干网络中的若干目标层作为输出特征层；
对输出特征层进行相邻特征层通道融合以得到融合特征层；
根据尺度分布状况得到各个融合特征层对应的预测先验框尺度，并基于融合特征层构建卷积神经网络模型。
较佳地，目标层为SSD模型主干网络中的分辨率高于预设阈值的特征层。
较佳地，目标层包括特征层Conv4_3、特征层Conv7、特征层Conv8_2、特征层Conv9_2和特征层Conv10_2。
较佳地，根据尺度分布状况得到各个融合特征层对应的预测先验框尺度，包括：
获取第i个融合特征层对应的分辨力阈值Ti；
根据分辨力阈值Ti获取第i个融合特征层对应的预测先验框的短边最小值
以及先验框长短比αi；
分辨力阈值Ti获取第i个融合特征层对应的预测先验框的短边最大值
根据
与αi生成系列尺度预测先验框，i∈[1,L]，其中，L表征融合特征层的数量，L为正整数。
较佳地，根据图像集统计裂纹目标外形的尺度分布状况，包括：
设置处理尺度为N*N像素；
将标注信息中的裂纹包围框位置按处理尺度进行线性映射以获取映射后包围框的短边和长边，统计每条映射后包围框的短边和长边，以短边为横坐标，以长边为纵坐标，生成裂纹目标外形尺度分布图以得到裂纹目标外形的尺度分布状况。
较佳地，将标注信息中的裂纹包围框位置按处理尺度进行线性映射以获取映射后包围框的短边和长边，包括：
根据式s＝N*s0/S0获取映射后包围框的短边和长边，其中，s0表征裂纹包围框的原边的长度，包括长边和短边，S0表征与裂纹包围框的原边平行的原输入图像对应边的长度，s表征映射后包围框的对应边长。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明的混凝土轨枕裂纹的检测方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本发明的混凝土轨枕裂纹的检测方法的步骤。
本发明还提供一种混凝土轨枕裂纹的检测系统，包括第一构建单元、统计单元、第二构建单元、训练单元、检测单元；
第一构建单元用于构建图像集，图像集包括图像数据和标注信息；
统计单元用于根据图像集统计裂纹目标外形的尺度分布状况；
第二构建单元用于根据尺度分布状况构建卷积神经网络模型；
训练单元用于基于图像集对卷积神经网络模型进行训练，以得到识别模型；
检测单元用于基于识别模型对混凝土轨枕图像中的裂纹目标进行检测与定位。
较佳地，第二构建单元根据尺度分布状况，以VGG16网络结构为SSD模型主干网络架构构建卷积神经网络模型。
较佳地，第二构建单元还提取SSD模型主干网络中的若干目标层作为输出特征层；
对输出特征层进行相邻特征层通道融合以得到融合特征层；
根据尺度分布状况得到各个融合特征层对应的预测先验框尺度，并基于融合特征层构建卷积神经网络模型。
较佳地，目标层为SSD模型主干网络中的分辨率高于预设阈值的特征层。
较佳地，目标层包括特征层Conv4_3、特征层Conv7、特征层Conv8_2、特征层Conv9_2和特征层Conv10_2。
较佳地，第二构建单元还获取第i个融合特征层对应的分辨力阈值Ti；
第二构建单元还根据分辨力阈值Ti获取第i个融合特征层对应的预测先验框的短边最小值
以及先验框长短比αi；
分辨力阈值Ti获取第i个融合特征层对应的预测先验框的短边最大值
第二构建单元还根据
与αi生成系列尺度预测先验框，i∈[1,L]，其中，L表征融合特征层的数量，L为正整数。
较佳地，统计单元还设置处理尺度为N*N像素；
统计单元还将标注信息中的裂纹包围框位置按处理尺度进行线性映射以获取映射后包围框的短边和长边，统计每条映射后包围框的短边和长边，以短边为横坐标，以长边为纵坐标，生成裂纹目标外形尺度分布图以得到裂纹目标外形的尺度分布状况。
较佳地，统计单元还根据式s＝N*s0/S0获取映射后包围框的短边和长边，其中，s0表征裂纹包围框的原边的长度，包括长边和短边，S0表征与裂纹包围框的原边平行的原输入图像对应边的长度，s表征映射后包围框的对应边长。
本发明的积极进步效果在于：本发明通过根据图像集统计裂纹目标外形的尺度分布状况，再根据尺度分布状况构建卷积神经网络模型，使得训练得到的识别模型检测混凝土轨枕图像中的裂纹目标的准确率明显提升。
附图说明
图1为本发明的实施例1的混凝土轨枕裂纹的检测方法的流程图。
图2为本发明的实施例1的混凝土轨枕裂纹的检测方法的裂纹目标外形尺度分布的示意图。
图3为本发明的实施例1的混凝土轨枕裂纹的检测方法的步骤S3的流程图。
图4为本发明的实施例1的混凝土轨枕裂纹的检测方法的提取SSD模型主干网络中的若干目标层作为输出特征层的示意图。
图5为本发明的实施例1的混凝土轨枕裂纹的检测方法的对第一幅混凝土轨枕图像的裂纹目标进行检测与定位输出的结果图像。
图6为本发明的实施例1的混凝土轨枕裂纹的检测方法的对第二幅混凝土轨枕图像的裂纹目标进行检测与定位输出的结果图像。
图7为本发明的实施例1的混凝土轨枕裂纹的检测方法的对第三幅混凝土轨枕图像的裂纹目标进行检测与定位输出的结果图像。
图8为本发明的实施例2的电子设备的结构示意图。
图9为本发明的实施例4的混凝土轨枕裂纹的检测系统的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种混凝土轨枕裂纹的检测方法。参照图1，该混凝土轨枕裂纹的检测方法包括以下步骤：
步骤S1、构建图像集。该图像集包括若干裂纹图像，裂纹图像包括裂纹区域和对应的标注信息。
具体实施时，获取轨道交通混凝土轨枕图像数据，对所有图像中的裂纹区域进行标注以生成标注信息。标注信息包括对裂纹属性的标注信息和对裂纹所处矩形包围框位置的标注信息。将该图像集划分为训练集和测试集，训练集为包含标注信息的混凝土轨枕裂纹检测训练数据集，测试集为包含标注信息的混凝土轨枕裂纹检测测试验证样本数据集。
在一种具体的实施方式中，共收集轨道交通混凝土轨枕图像1300张，轨道交通混凝土轨枕图像中包含混凝土轨枕裂纹。其中1000张图像构成训练集，另外300张图像构成测试集。标注的具体操作方式为，采用LabelImg(一种图形图像注释工具)标注软件对所有样本图像进行标注，以每条连续未间断裂纹为一个独立的完整裂纹目标，人工划定其矩形包围框区域，并标注属性描述为“Crack”(裂纹)以表征其为裂纹目标。对于非裂纹区域，无标注。基于上述1300张轨道交通混凝土轨枕图像，共标注裂纹目标2779个，其中训练集含裂纹目标标注2131个，测试集含裂纹目标标注648个。
步骤S2、根据图像集统计裂纹目标外形的尺度分布状况。
具体实施时，设定检测模型的输入图像为固定像素分辨率，以该分辨率尺度为标准，将步骤S1的训练集标注信息中的裂纹矩形包围框位置按该输入尺度进行线性映射，统计每条裂纹包围框的短边和长边，以短边为横坐标，以长边为纵坐标，绘制裂纹目标外形尺度分布图。图2给出了裂纹目标外形尺度分布图的一种示意，其中，横轴表示“训练样本裂纹包围框短边长度”，单位为像素，纵轴表示“训练样本集裂纹包围框长短边比”。
在一种可选的实施方式中，设定检测模型的输入固定分辨率为512×512像素，训练样本集标注信息中的裂纹矩形包围框位置按输入尺度512×512像素进行线性映射，其表达式为：
s＝512·s0/S0
其中，s0表示包围框原边长度，原边包括长边和短边，S0表示与包围框该边平行的原输入图像对应边长度，s表示映射后包围框的对应边长。
步骤S3、根据尺度分布状况，以VGG16网络结构为SSD模型主干网络架构构建卷积神经网络模型。
作为一种可选的实施方式，参照图3，步骤S3包括以下步骤：
步骤S301、提取SSD模型主干网络中的若干目标层作为输出特征层。具体实施时，根据步骤S2所述统计的裂纹目标外形尺度分布情况，以深度学习目标检测SSD模型为裂纹检测基础模型，以VGG16网络结构(深度学习算法)为SSD模型(目标检测算法)主干网络架构，提取SSD模型主干网络中的若干目标层作为输出特征层。这些目标层为SSD模型主干网络中的部分分辨率高于预设阈值的特征层。上述提取目标层的步骤，也即裁剪SSD模型主干网络中对裂纹目标特征表达能力不足的大尺度输出特征层，这些大尺度输出特征层为SSD模型主干网络中的部分分辨率较低的高层输出特征层。
作为一种可选的实施方式，参照图4，SSD模型主干网络中的特征层Conv4_3、特征层Conv7、特征层Conv8_2、特征层Conv9_2以及特征层Conv10_2作为输出特征层。
在一种可选的实施方式中，SSD模型采用网络输入分辨率为512×512像素的SSD512目标检测模型，输入图像的分辨率为512×512，通道数为3。裁剪主干网络的高层输出特征层，剩余保留的输出特征层及其对应分辨率和通道数分别为Conv4_3(64×64×512)、Conv7(32×32×1024)、Conv8_2(16×16×512)、Conv9_2(8×8×256)、Conv10_2(4×4×256)。
步骤S302、对若干输出特征层进行相邻特征层通道融合以得到融合特征层。
具体实施时，参照图4，对采取相邻特征层通道融合，并将融合后的特征层作为主干网络新的输出特征层，输入至后续原SSD模型的分类判别与包围框位置回归网络。具体实施时，参照图4，将特征层Conv4_3和特征层Conv7进行相邻特征层通道融合以得到融合特征层Conv4+7，将特征层Conv7和特征层Conv8_2进行相邻特征层通道融合以得到融合特征层Conv7+8，将特征层Conv8_2和特征层Conv9_2进行相邻特征层通道融合以得到融合特征层Conv8+9，将特征层Conv9_2和特征层Conv10_2进行相邻特征层通道融合以得到融合特征层Conv9+10。
作为一种可选的实施方式，特征层Conv4_3与特征层Conv7融合方式为，先分别采用2个1×1卷积核对特征层Conv4_3和特征层Conv7进行卷积运算，将特征层Conv4_3和特征层Conv7的特征通道数分别由原512和1024变换为256和256，然后采用双线性插值将特征层Conv7由原分辨率32×32扩增为与特征层Conv4_3一致的64×64，最后对特征层Conv4_3和特征层Conv7进行通道拼接构成融合特征层Conv4+7(64×64×512)。
将特征层Conv7与特征层Conv8_2融合方式为，先分别采用2个1×1卷积核对特征层Conv7和特征层Conv8_2进行卷积运算，将特征层Conv7和特征层Conv8_2的特征通道数分别由原1024和512变换为256和256，然后采用双线性插值将特征层Conv8_2由原分辨率16×16扩增为与特征层Conv7一致的32×32，最后对特征层Conv7与特征层Conv8_2进行通道拼接构成融合特征层Conv7+8(32×32×512)。
将特征层Conv8_2与Conv9_2融合是方式为，先分别采用2个1×1卷积核对特征层Conv8_2和特征层Conv9_2进行卷积运算，将特征层Conv8_2和特征层Conv9_2的特征通道数分别由原512和256变换为128和128，然后采用双线性插值将特征层Conv9_2由原分辨率8×8扩增为与特征层Conv8_2一致的16×16，最后对特征层Conv8_2与特征层Conv9_2进行通道拼接构成融合特征层Conv8+9(16×16×256)。
将特征层Conv9_2与特征层Conv10_2融合方式为，先分别采用2个1×1卷积核对特征层Conv9_2和特征层Conv10_2进行卷积运算，将特征层Conv9_2和特征层Conv10_2的特征通道数分别由原256和256变换为128和128，然后采用双线性插值将特征层Conv10_2由原分辨率4×4扩增为与特征层Conv9_2一致的8×8，最后对特征层Conv9_2与特征层Conv10_2进行通道拼接构成融合特征层Conv9+10(8×8×256)。
步骤S303、根据尺度分布状况设置各个融合特征层的预测先验框短边与长短比，并基于这些融合特征层构建卷积神经网络模型。
具体实施时，根据步骤S3统计的裂纹目标外形尺度分布情况，分别针对每一个融合特征层，分别定义目标在每一个融合特征层上的分辨力指数，使针对每一个融合特征层的预测先验框计划检测的目标短边分辨率不低于设定阈值，按照该原则设置每一个融合特征层预测先验框短边与长短比，使之能良好覆盖目标在每一个融合特征层的尺度分布。完成预测先验框短边与长短比的设置之后，基于这些最终融合特征层构建卷积神经网络模型。
在一种可选的实施方式中，设置各个融合特征层的预测先验框尺度的方式为如下：
首先，定义裂纹目标在各融合特征层的分辨力阈值Ti，分辨力阈值Ti的含义在于对融合特征层i，预测先验框在该层计划检测的裂纹目标边长范围，对应于融合特征层i上的最小分辨率。在一种可选的实施方式中，采用固定阈值Ti＝2，即确保融合特征层i中预测先验框检测的裂纹目标边长最小分辨率为2像素。
然后，按照裂纹目标在各融合特征层的分辨力阈值Ti，设置融合特征层i采用的预测先验框的短边最小值
以及先验框长短比αi，进而计算先验框短边最大值
即取当前融合特征层i与下一融合特征层i+1的均值。然后再分别就
与αi生成系列尺度预测先验框，其方法在于，取短边为
时，对应长边为
取短边为
时，对应长边为
故当αi＞1时，由于先验框为长方形，故分将图像长、宽两个方向分别作为先验框短边方向，而当αi＝1时，先验框为正方形，可将图像长、宽任一方向作为先验框短边方向，具体参数设置参照表1：
表1
基于图像特性对SSD模型中的输出特征层进行裁剪，并对若干输出特征层进行相邻特征层通道融合，以及对各特征层设置对应预测先验框尺度、设置分辨力指数、设置分辨力阈值、设置各层预测先验框短边与长短比等，可以使构建得到的卷积神经网络模型适用于多种复杂轨枕裂纹，不仅识别率高，而且运算速度快，能够满足多数场景实时检测要求。
步骤S4、基于图像集对卷积神经网络模型进行训练，以得到识别模型。具体实施时，基于训练集对卷积神经网络模型进行训练，基于测试集对训练后的模型进行测试，通过多次迭代优化SSD目标损失函数，得到优化后的网络模型权值参数值，将优化后的网络模型权值参数值代入卷积神经网络模型，得到识别模型。作为一种可选的实施方式，为了提高模型应对复杂环境的鲁棒性，在训练的过程中，还对训练集中的图像进行数据增强操作。
在一种可选的实施方式中，采用的数据增强方法包括随机翻转、旋转、缩放、镜像、裁剪等，将训练样本规模扩大为原来规模的5倍，并采用Adam(一种优化器)优化策略加速训练迭代收敛，批训练规模设置为16张图像，训迭代总次数为120000次，其中前80000次迭代将学习率设置为1.0×10-3，中间80000至100000次迭代区间将学习率设置为1.0×10-4，后100000至120000次迭代区间将学习率设置为1.0×10-4。
所有训练样本图像均要先缩放至识别模型的输入尺度，即分辨率为512×512像素，对应标注信息中所包含的目标坐标信息也要相应线性映射至该输入尺度下，然后再进行训练。
然后将训练后得到的识别模型对测试样本集含648个裂纹标注目标的300张样本图像进行测试，最终得到平均检测精度MAP指标为0.8220。
步骤S5、基于识别模型对混凝土轨枕图像中的裂纹目标进行检测与定位。识别模型对混凝土轨枕图像的检测结果为，若图像中存在裂纹，则输出裂纹所在的包围框区域、属性描述及其置信度。
在一种可选的实施方式中，待检测的混凝土轨枕图像要先缩放至识别模型的输入尺度，即分辨率为512×512像素，同时保存原图分辨率参数，然后再将尺度缩放后的混凝土轨枕图像输入识别模型进行预测，识别模型输出得到的目标位置坐标也要按照原图分辨率参数，重新还原至原图对应位置坐标。
识别模型输出裂纹目标所在的包围框区域、属性描述及其置信度。图5示出了该识别模型对第一幅混凝土轨枕图像的裂纹目标进行检测与定位输出的结果图像，其中，以矩形标识出第一裂纹目标801所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.87；其中，还以矩形标识出第二裂纹目标802所在的包围框区域，标识其属性为“Crack”，并标识其置信度为1.00。
类似地，图6示出了该识别模型对第二幅混凝土轨枕图像的裂纹目标进行检测与定位输出的结果图像，其中，以矩形标识出第三裂纹目标803所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.87；其中，还以矩形标识出第四裂纹目标804所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.87；其中，还以矩形标识出第五裂纹目标805所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.92；其中，还以矩形标识出第六裂纹目标806所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.86；其中，还以矩形标识出第七裂纹目标807所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.99；其中，还以矩形标识出第八裂纹目标808所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.99。
类似地，图7示出了该识别模型对第三幅混凝土轨枕图像的裂纹目标进行检测与定位输出的结果图像，其中，以矩形标识出第九裂纹目标809所在的包围框区域，标识其属性为“Crack”，并标识其置信度为1.00；其中，还以矩形标识出第十裂纹目标810所在的包围框区域，标识其属性为“Crack”，并标识其置信度为1.00；其中，还以矩形标识出第十一裂纹目标811所在的包围框区域，标识其属性为“Crack”，并标识其置信度为1.00。
在针对本实施例的混凝土轨枕裂纹的检测方法的测试评估实验中，以NVIDIA RTX2080Ti(一种显卡)显卡为深度学习运算平台，针对测试样本集中输入分辨率为512×512像素的300张样本图像进行测试，最终得到单帧图像的平均处理时间仅为20.19ms(毫秒)，处理速度达到49.52fps(帧每秒)。
本实施例的混凝土轨枕裂纹的检测方法对主干网络进行裁剪以得到输出特征层，并对相邻的输出特征层分别两两进行通道融合以得到融合特征层。在此基础上，对各融合特征层设置对应预测先验框尺度、设置分辨力指数、设置分辨力阈值、设置各层预测先验框短边与长短比等，使网络模型适用于多种复杂轨枕裂纹，不仅识别率高，而且运算速度快，能够满足多数场景实时检测要求。
实施例2
图8为本实施例提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1的混凝土轨枕裂纹的检测方法。图8显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1的混凝土轨枕裂纹的检测方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例3
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1的混凝土轨枕裂纹的检测方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1的混凝土轨枕裂纹的检测方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
实施例4
本实施例提供一种混凝土轨枕裂纹的检测系统。参照图9，该混凝土轨枕裂纹的检测系统包括第一构建单元201、统计单元202、第二构建单元203、训练单元204、检测单元205。
第一构建单元201用于构建图像集，图像集包括图像数据和标注信息；统计单元202用于根据图像集统计裂纹目标外形的尺度分布状况；第二构建单元203用于根据尺度分布状况构建卷积神经网络模型；训练单元204用于基于图像集对卷积神经网络模型进行训练，以得到识别模型；检测单元205用于基于识别模型对混凝土轨枕图像中的裂纹目标进行检测与定位。
首先，第一构建单元201构建图像集。该图像集包括若干裂纹图像，裂纹图像包括裂纹区域和对应的标注信息。
具体实施时，获取轨道交通混凝土轨枕图像数据，对所有图像中的裂纹区域进行标注以生成标注信息。标注信息包括对裂纹属性的标注信息和对裂纹所处矩形包围框位置的标注信息。将该图像集划分为训练集和测试集，训练集为包含标注信息的混凝土轨枕裂纹检测训练数据集，测试集为包含标注信息的混凝土轨枕裂纹检测测试验证样本数据集。
在一种具体的实施方式中，共收集轨道交通混凝土轨枕图像1300张，轨道交通混凝土轨枕图像中包含混凝土轨枕裂纹。其中1000张图像构成训练集，另外300张图像构成测试集。标注的具体操作方式为，采用LabelImg标注软件对所有样本图像进行标注，以每条连续未间断裂纹为一个独立的完整裂纹目标，人工划定其矩形包围框区域，并标注属性描述为“Crack”(裂纹)以表征其为裂纹目标。对于非裂纹区域，无标注。基于上述1300张轨道交通混凝土轨枕图像，共标注裂纹目标2779个，其中训练集含裂纹目标标注2131个，测试集含裂纹目标标注648个。
然后，统计单元202根据图像集统计裂纹目标外形的尺度分布状况。
具体实施时，统计单元202设定检测模型的输入图像为固定像素分辨率，以该分辨率尺度为标准，将训练集标注信息中的裂纹矩形包围框位置按该输入尺度进行线性映射，统计每条裂纹包围框的短边和长边，以短边为横坐标，以长边为纵坐标，绘制裂纹目标外形尺度分布图。图2给出了裂纹目标外形尺度分布图的一种示意，其中，横轴表示“训练样本裂纹包围框短边长度”，单位为像素，纵轴表示“训练样本集裂纹包围框长短边比”。
在一种可选的实施方式中，设定检测模型的输入固定分辨率为512×512像素，训练样本集标注信息中的裂纹矩形包围框位置按输入尺度512×512像素进行线性映射，其表达式为：
s＝512·s0/S0
其中，s0表示包围框原边长度，原边包括长边和短边，S0表示与包围框该边平行的原输入图像对应边长度，s表示映射后包围框的对应边长。
接下来，第二构建单元203根据尺度分布状况，以VGG16网络结构为SSD模型主干网络架构构建卷积神经网络模型。
作为一种可选的实施方式，第二构建单元203提取SSD模型主干网络中的若干目标层作为输出特征层。具体实施时，根据裂纹目标外形尺度分布情况，以深度学习目标检测SSD模型为裂纹检测基础模型，以VGG16网络结构(深度学习算法)为SSD模型(目标检测算法)主干网络架构，提取SSD模型主干网络中的若干目标层作为输出特征层。这些目标层为SSD模型主干网络中的部分分辨率高于预设阈值的特征层。上述提取目标层的步骤，也即裁剪SSD模型主干网络中对裂纹目标特征表达能力不足的大尺度输出特征层，这些大尺度输出特征层为SSD模型主干网络中的部分分辨率较低的高层输出特征层。
作为一种可选的实施方式，参照图4，SSD模型主干网络中的特征层Conv4_3、特征层Conv7、特征层Conv8_2、特征层Conv9_2以及特征层Conv10_2作为输出特征层。
在一种可选的实施方式中，SSD模型采用网络输入分辨率为512×512像素的SSD512目标检测模型，输入图像的分辨率为512×512，通道数为3。裁剪主干网络的高层输出特征层，剩余保留的输出特征层及其对应分辨率和通道数分别为Conv4_3(64×64×512)、Conv7(32×32×1024)、Conv8_2(16×16×512)、Conv9_2(8×8×256)、Conv10_2(4×4×256)。
然后，第二构建单元203对若干输出特征层进行相邻特征层通道融合以得到融合特征层。
具体实施时，参照图4，第二构建单元203对相邻特征层通道融合，并将融合后的特征层作为主干网络新的输出特征层，输入至后续原SSD模型的分类判别与包围框位置回归网络。具体实施时，参照图4，第二构建单元203将特征层Conv4_3和特征层Conv7进行相邻特征层通道融合以得到融合特征层Conv4+7，将特征层Conv7和特征层Conv8_2进行相邻特征层通道融合以得到融合特征层Conv7+8，将特征层Conv8_2和特征层Conv9_2进行相邻特征层通道融合以得到融合特征层Conv8+9，将特征层Conv9_2和特征层Conv10_2进行相邻特征层通道融合以得到融合特征层Conv9+10。
作为一种可选的实施方式，特征层Conv4_3与特征层Conv7融合方式为，先分别采用2个1×1卷积核对特征层Conv4_3和特征层Conv7进行卷积运算，将特征层Conv4_3和特征层Conv7的特征通道数分别由原512和1024变换为256和256，然后采用双线性插值将特征层Conv7由原分辨率32×32扩增为与特征层Conv4_3一致的64×64，最后对特征层Conv4_3和特征层Conv7进行通道拼接构成融合特征层Conv4+7(64×64×512)。
将特征层Conv7与特征层Conv8_2融合方式为，先分别采用2个1×1卷积核对特征层Conv7和特征层Conv8_2进行卷积运算，将特征层Conv7和特征层Conv8_2的特征通道数分别由原1024和512变换为256和256，然后采用双线性插值将特征层Conv8_2由原分辨率16×16扩增为与特征层Conv7一致的32×32，最后对特征层Conv7与特征层Conv8_2进行通道拼接构成融合特征层Conv7+8(32×32×512)。
将特征层Conv8_2与Conv9_2融合是方式为，先分别采用2个1×1卷积核对特征层Conv8_2和特征层Conv9_2进行卷积运算，将特征层Conv8_2和特征层Conv9_2的特征通道数分别由原512和256变换为128和128，然后采用双线性插值将特征层Conv9_2由原分辨率8×8扩增为与特征层Conv8_2一致的16×16，最后对特征层Conv8_2与特征层Conv9_2进行通道拼接构成融合特征层Conv8+9(16×16×256)。
将特征层Conv9_2与特征层Conv10_2融合方式为，先分别采用2个1×1卷积核对特征层Conv9_2和特征层Conv10_2进行卷积运算，将特征层Conv9_2和特征层Conv10_2的特征通道数分别由原256和256变换为128和128，然后采用双线性插值将特征层Conv10_2由原分辨率4×4扩增为与特征层Conv9_2一致的8×8，最后对特征层Conv9_2与特征层Conv10_2进行通道拼接构成融合特征层Conv9+10(8×8×256)。
然后，第二构建单元203根据尺度分布状况设置各个融合特征层的预测先验框短边与长短比，并基于这些融合特征层构建卷积神经网络模型。
具体实施时，第二构建单元203根据裂纹目标外形尺度分布情况，分别针对每一个融合特征层，分别定义目标在每一个融合特征层上的分辨力指数，使针对每一个融合特征层的预测先验框计划检测的目标短边分辨率不低于设定阈值，按照该原则设置每一个融合特征层预测先验框短边与长短比，使之能良好覆盖目标在每一个融合特征层的尺度分布。完成预测先验框短边与长短比的设置之后，基于这些最终融合特征层构建卷积神经网络模型。
在一种可选的实施方式中，设置各个融合特征层的预测先验框尺度的方式为如下：
首先，定义裂纹目标在各融合特征层的分辨力阈值Ti，分辨力阈值Ti的含义在于对融合特征层i，预测先验框在该层计划检测的裂纹目标边长范围，对应于融合特征层i上的最小分辨率。在一种可选的实施方式中，采用固定阈值Ti＝2，即确保融合特征层i中预测先验框检测的裂纹目标边长最小分辨率为2像素。
然后，按照裂纹目标在各融合特征层的分辨力阈值Ti，设置融合特征层i采用的预测先验框的短边最小值
以及先验框长短比αi，进而计算先验框短边最大值
即取当前融合特征层i与下一融合特征层i+1的均值。然后再分别就
与αi生成系列尺度预测先验框，其方法在于，取短边为
时，对应长边为
取短边为
时，对应长边为
故当αi＞1时，由于先验框为长方形，故分将图像长、宽两个方向分别作为先验框短边方向，而当αi＝1时，先验框为正方形，可将图像长、宽任一方向作为先验框短边方向，具体参数设置参照表1。
基于图像特性对SSD模型中的输出特征层进行裁剪，并对若干输出特征层进行相邻特征层通道融合，以及对各特征层设置对应预测先验框尺度、设置分辨力指数、设置分辨力阈值、设置各层预测先验框短边与长短比等，可以使构建得到的卷积神经网络模型适用于多种复杂轨枕裂纹，不仅识别率高，而且运算速度快，能够满足多数场景实时检测要求。
然后，训练单元204基于图像集对卷积神经网络模型进行训练，以得到识别模型。具体实施时，基于训练集对卷积神经网络模型进行训练，基于测试集对训练后的模型进行测试，通过多次迭代优化SSD目标损失函数，得到优化后的网络模型权值参数值，将优化后的网络模型权值参数值代入卷积神经网络模型，得到识别模型。作为一种可选的实施方式，为了提高模型应对复杂环境的鲁棒性，在训练的过程中，还对训练集中的图像进行数据增强操作。
在一种可选的实施方式中，采用的数据增强方法包括随机翻转、旋转、缩放、镜像、裁剪等，将训练样本规模扩大为原来规模的5倍，并采用Adam优化策略加速训练迭代收敛，批训练规模设置为16张图像，训迭代总次数为120000次，其中前80000次迭代将学习率设置为1.0×10-3，中间80000至100000次迭代区间将学习率设置为1.0×10-4，后100000至120000次迭代区间将学习率设置为1.0×10-4。
所有训练样本图像均要先缩放至识别模型的输入尺度，即分辨率为512×512像素，对应标注信息中所包含的目标坐标信息也要相应线性映射至该输入尺度下，然后再进行训练。
然后将训练后得到的识别模型对测试样本集含648个裂纹标注目标的300张样本图像进行测试，最终得到平均检测精度MAP指标为0.8220。
最后，检测单元205基于识别模型对混凝土轨枕图像中的裂纹目标进行检测与定位。识别模型对混凝土轨枕图像的检测结果为，若图像中存在裂纹，则输出裂纹所在的包围框区域、属性描述及其置信度。
在一种可选的实施方式中，待检测的混凝土轨枕图像要先缩放至识别模型的输入尺度，即分辨率为512×512像素，同时保存原图分辨率参数，然后再将尺度缩放后的混凝土轨枕图像输入识别模型进行预测，识别模型输出得到的目标位置坐标也要按照原图分辨率参数，重新还原至原图对应位置坐标。
识别模型输出裂纹目标所在的包围框区域、属性描述及其置信度。图5示出了该识别模型对第一幅混凝土轨枕图像的裂纹目标进行检测与定位输出的结果图像，其中，以矩形标识出第一裂纹目标801所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.87；其中，还以矩形标识出第二裂纹目标802所在的包围框区域，标识其属性为“Crack”，并标识其置信度为1.00。
类似地，图6示出了该识别模型对第二幅混凝土轨枕图像的裂纹目标进行检测与定位输出的结果图像，其中，以矩形标识出第三裂纹目标803所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.87；其中，还以矩形标识出第四裂纹目标804所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.87；其中，还以矩形标识出第五裂纹目标805所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.92；其中，还以矩形标识出第六裂纹目标806所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.86；其中，还以矩形标识出第七裂纹目标807所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.99；其中，还以矩形标识出第八裂纹目标808所在的包围框区域，标识其属性为“Crack”，并标识其置信度为0.99。
类似地，图7示出了该识别模型对第三幅混凝土轨枕图像的裂纹目标进行检测与定位输出的结果图像，其中，以矩形标识出第九裂纹目标809所在的包围框区域，标识其属性为“Crack”，并标识其置信度为1.00；其中，还以矩形标识出第十裂纹目标810所在的包围框区域，标识其属性为“Crack”，并标识其置信度为1.00；其中，还以矩形标识出第十一裂纹目标811所在的包围框区域，标识其属性为“Crack”，并标识其置信度为1.00。
在针对本实施例的混凝土轨枕裂纹的检测系统的测试评估实验中，以NVIDIA RTX2080Ti(一种显卡)显卡为深度学习运算平台，针对测试样本集中输入分辨率为512×512像素的300张样本图像进行测试，最终得到单帧图像的平均处理时间仅为20.19ms(毫秒)，处理速度达到49.52fps(帧每秒)。
本实施例的混凝土轨枕裂纹的检测系统对主干网络进行裁剪以得到输出特征层，并对相邻的输出特征层分别两两进行通道融合以得到融合特征层。在此基础上，对各融合特征层设置对应预测先验框尺度、设置分辨力指数、设置分辨力阈值、设置各层预测先验框短边与长短比等，使网络模型适用于多种复杂轨枕裂纹，不仅识别率高，而且运算速度快，能够满足多数场景实时检测要求。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (18)
1.一种混凝土轨枕裂纹的检测方法，其特征在于，包括以下步骤：
构建图像集，所述图像集包括图像数据和标注信息；
根据所述图像集统计裂纹目标外形的尺度分布状况；
根据所述尺度分布状况构建卷积神经网络模型；
基于所述图像集对所述卷积神经网络模型进行训练，以得到识别模型；
基于所述识别模型对混凝土轨枕图像中的裂纹目标进行检测与定位。
2.如权利要求1所述的混凝土轨枕裂纹的检测方法，其特征在于，所述根据所述尺度分布状况构建卷积神经网络模型，包括：
根据所述尺度分布状况，以VGG16网络结构为SSD模型主干网络架构构建所述卷积神经网络模型。
3.如权利要求2所述的混凝土轨枕裂纹的检测方法，其特征在于，所述根据所述尺度分布状况，以VGG16网络结构为SSD模型主干网络架构构建所述卷积神经网络模型，包括：
提取所述SSD模型主干网络中的若干目标层作为输出特征层；
对所述输出特征层进行相邻特征层通道融合以得到融合特征层；
根据所述尺度分布状况得到各个所述融合特征层对应的预测先验框尺度，并基于所述融合特征层构建所述卷积神经网络模型。
4.如权利要求3所述的混凝土轨枕裂纹的检测方法，其特征在于，所述目标层为所述SSD模型主干网络中的分辨率高于预设阈值的特征层。
5.如权利要求4所述的混凝土轨枕裂纹的检测方法，其特征在于，所述目标层包括特征层Conv4_3、特征层Conv7、特征层Conv8_2、特征层Conv9_2和特征层Conv10_2。
6.如权利要求3所述的混凝土轨枕裂纹的检测方法，其特征在于，所述根据所述尺度分布状况得到各个所述融合特征层对应的预测先验框尺度，包括：
获取第i个所述融合特征层对应的分辨力阈值Ti；
根据所述分辨力阈值Ti获取第i个所述融合特征层对应的预测先验框的短边最小值
以及先验框长短比αi；
所述分辨力阈值Ti获取第i个所述融合特征层对应的所述预测先验框的短边最大值
根据
与αi生成系列尺度预测先验框，i∈[1,L]，其中，L表征所述融合特征层的数量，L为正整数。
7.如权利要求1所述的混凝土轨枕裂纹的检测方法，其特征在于，所述根据所述图像集统计裂纹目标外形的尺度分布状况，包括：
设置处理尺度为N*N像素；
将所述标注信息中的裂纹包围框位置按所述处理尺度进行线性映射以获取映射后包围框的短边和长边，统计每条所述映射后包围框的所述短边和所述长边，以所述短边为横坐标，以所述长边为纵坐标，生成裂纹目标外形尺度分布图以得到所述裂纹目标外形的所述尺度分布状况。
8.如权利要求7所述的混凝土轨枕裂纹的检测方法，其特征在于，所述将所述标注信息中的裂纹包围框位置按所述处理尺度进行线性映射以获取映射后包围框的短边和长边，包括：
根据式s＝N*s0/S0获取所述映射后包围框的所述短边和所述长边，其中，s0表征所述裂纹包围框的原边的长度，包括长边和短边，S0表征与所述裂纹包围框的所述原边平行的原输入图像对应边的长度，s表征所述映射后包围框的对应边长。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述的混凝土轨枕裂纹的检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的混凝土轨枕裂纹的检测方法的步骤。
11.一种混凝土轨枕裂纹的检测系统，其特征在于，包括第一构建单元、统计单元、第二构建单元、训练单元、检测单元；
所述第一构建单元用于构建图像集，所述图像集包括图像数据和标注信息；
所述统计单元用于根据所述图像集统计裂纹目标外形的尺度分布状况；
所述第二构建单元用于根据所述尺度分布状况构建卷积神经网络模型；
所述训练单元用于基于所述图像集对所述卷积神经网络模型进行训练，以得到识别模型；
所述检测单元用于基于所述识别模型对混凝土轨枕图像中的裂纹目标进行检测与定位。
12.如权利要求11所述的混凝土轨枕裂纹的检测系统，其特征在于，所述第二构建单元根据所述尺度分布状况，以VGG16网络结构为SSD模型主干网络架构构建所述卷积神经网络模型。
13.如权利要求12所述的混凝土轨枕裂纹的检测系统，其特征在于，所述第二构建单元还提取所述SSD模型主干网络中的若干目标层作为输出特征层；
对所述输出特征层进行相邻特征层通道融合以得到融合特征层；
根据所述尺度分布状况得到各个所述融合特征层对应的预测先验框尺度，并基于所述融合特征层构建所述卷积神经网络模型。
14.如权利要求13所述的混凝土轨枕裂纹的检测系统，其特征在于，所述目标层为所述SSD模型主干网络中的分辨率高于预设阈值的特征层。
15.如权利要求14所述的混凝土轨枕裂纹的检测系统，其特征在于，所述目标层包括特征层Conv4_3、特征层Conv7、特征层Conv8_2、特征层Conv9_2和特征层Conv10_2。
16.如权利要求13所述的混凝土轨枕裂纹的检测系统，其特征在于，所述第二构建单元还获取第i个所述融合特征层对应的分辨力阈值Ti；
所述第二构建单元还根据所述分辨力阈值Ti获取第i个所述融合特征层对应的预测先验框的短边最小值
以及先验框长短比αi；
所述分辨力阈值Ti获取第i个所述融合特征层对应的所述预测先验框的短边最大值
所述第二构建单元还根据
与αi生成系列尺度预测先验框，i∈[1,L]，其中，L表征所述融合特征层的数量，L为正整数。
17.如权利要求11所述的混凝土轨枕裂纹的检测系统，其特征在于，所述统计单元还设置处理尺度为N*N像素；
所述统计单元还将所述标注信息中的裂纹包围框位置按所述处理尺度进行线性映射以获取映射后包围框的短边和长边，统计每条所述映射后包围框的所述短边和所述长边，以所述短边为横坐标，以所述长边为纵坐标，生成裂纹目标外形尺度分布图以得到所述裂纹目标外形的所述尺度分布状况。
18.如权利要求17所述的混凝土轨枕裂纹的检测系统，其特征在于，所述统计单元还根据式s＝N*s0/S0获取所述映射后包围框的所述短边和所述长边，其中，s0表征所述裂纹包围框的原边的长度，包括长边和短边，S0表征与所述裂纹包围框的所述原边平行的原输入图像对应边的长度，s表征所述映射后包围框的对应边长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110107326.4A CN112686888A (zh) | 2021-01-27 | 2021-01-27 | 混凝土轨枕裂纹的检测方法、系统、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110107326.4A CN112686888A (zh) | 2021-01-27 | 2021-01-27 | 混凝土轨枕裂纹的检测方法、系统、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112686888A true CN112686888A (zh) | 2021-04-20 |
Family
ID=75459336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110107326.4A Pending CN112686888A (zh) | 2021-01-27 | 2021-01-27 | 混凝土轨枕裂纹的检测方法、系统、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686888A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421246A (zh) * | 2021-06-24 | 2021-09-21 | 长江存储科技有限责任公司 | 形成轨道检测模型的方法、检测轨道磨损的方法 |
| CN117420011A (zh) * | 2023-12-18 | 2024-01-19 | 南京建正建设工程质量检测有限责任公司 | 一种混凝土砖块多点式抗压强度检测系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018015414A1 (en) * | 2016-07-21 | 2018-01-25 | Siemens Healthcare Gmbh | Method and system for artificial intelligence based medical image segmentation |
| CN108960245A (zh) * | 2018-07-13 | 2018-12-07 | 广东工业大学 | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
| CN109800628A (zh) * | 2018-12-04 | 2019-05-24 | 华南理工大学 | 一种加强ssd小目标行人检测性能的网络结构及检测方法 |
| CN110044905A (zh) * | 2019-03-27 | 2019-07-23 | 北京好运达智创科技有限公司 | 一种双块式轨枕的裂纹检测方法 |
| CN110110665A (zh) * | 2019-05-08 | 2019-08-09 | 北京创源微致软件有限公司 | 一种驾驶环境下手部区域的检测方法 |
| WO2019192316A1 (zh) * | 2018-04-02 | 2019-10-10 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、设备、存储介质 |
| JP2020085546A (ja) * | 2018-11-19 | 2020-06-04 | 国立研究開発法人産業技術総合研究所 | 構造物の点検・補修支援システム |
| CN111259845A (zh) * | 2020-01-21 | 2020-06-09 | 河海大学 | 一种混凝土结构表面裂缝识别方法 |
| WO2020232942A1 (zh) * | 2019-05-17 | 2020-11-26 | 丰疆智能科技股份有限公司 | 基于农田图像的卷积神经网络构建方法及其系统 |
| CN112270347A (zh) * | 2020-10-20 | 2021-01-26 | 西安工程大学 | 一种基于改进ssd的医疗废弃物分类检测方法 |
-
2021
- 2021-01-27 CN CN202110107326.4A patent/CN112686888A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018015414A1 (en) * | 2016-07-21 | 2018-01-25 | Siemens Healthcare Gmbh | Method and system for artificial intelligence based medical image segmentation |
| WO2019192316A1 (zh) * | 2018-04-02 | 2019-10-10 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、设备、存储介质 |
| CN108960245A (zh) * | 2018-07-13 | 2018-12-07 | 广东工业大学 | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 |
| JP2020085546A (ja) * | 2018-11-19 | 2020-06-04 | 国立研究開発法人産業技術総合研究所 | 構造物の点検・補修支援システム |
| CN109800628A (zh) * | 2018-12-04 | 2019-05-24 | 华南理工大学 | 一种加强ssd小目标行人检测性能的网络结构及检测方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
| CN110044905A (zh) * | 2019-03-27 | 2019-07-23 | 北京好运达智创科技有限公司 | 一种双块式轨枕的裂纹检测方法 |
| CN110110665A (zh) * | 2019-05-08 | 2019-08-09 | 北京创源微致软件有限公司 | 一种驾驶环境下手部区域的检测方法 |
| WO2020232942A1 (zh) * | 2019-05-17 | 2020-11-26 | 丰疆智能科技股份有限公司 | 基于农田图像的卷积神经网络构建方法及其系统 |
| CN111259845A (zh) * | 2020-01-21 | 2020-06-09 | 河海大学 | 一种混凝土结构表面裂缝识别方法 |
| CN112270347A (zh) * | 2020-10-20 | 2021-01-26 | 西安工程大学 | 一种基于改进ssd的医疗废弃物分类检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李清奇: "一种基于自编码的混凝土裂纹识别方法", 《北京交通大学学报》, vol. 44, no. 2, 30 April 2020 (2020-04-30), pages 98 - 104 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421246A (zh) * | 2021-06-24 | 2021-09-21 | 长江存储科技有限责任公司 | 形成轨道检测模型的方法、检测轨道磨损的方法 |
| CN117420011A (zh) * | 2023-12-18 | 2024-01-19 | 南京建正建设工程质量检测有限责任公司 | 一种混凝土砖块多点式抗压强度检测系统 |
| CN117420011B (zh) * | 2023-12-18 | 2024-03-15 | 南京建正建设工程质量检测有限责任公司 | 一种混凝土砖块多点式抗压强度检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210319561A1 (en) | Image segmentation method and system for pavement disease based on deep learning | |
| CN109902622B (zh) | 一种用于登机牌信息验证的文字检测识别方法 | |
| CN105608454A (zh) | 基于文字结构部件检测神经网络的文字检测方法及系统 | |
| CN112070135A (zh) | 电力设备图像检测方法、装置、电力设备及存储介质 | |
| CN112686888A (zh) | 混凝土轨枕裂纹的检测方法、系统、设备和介质 | |
| JP7389787B2 (ja) | マルチ－レベル転移領域に基づくドメイン適応型オブジェクト検出装置及び方法 | |
| CN116863274A (zh) | 一种基于半监督学习的钢板表面缺陷检测方法及系统 | |
| CN109360188A (zh) | 一种高铁接触网等电位线不良状态的检测方法 | |
| CN111738164B (zh) | 一种基于深度学习的行人检测方法 | |
| CN110969610A (zh) | 基于深度学习的电力设备红外热图的识别方法及系统 | |
| CN107730553A (zh) | 一种基于伪真值搜寻法的弱监督物体检测方法 | |
| US11908120B2 (en) | Fault detection method and system for tunnel dome lights based on improved localization loss function | |
| CN113674216A (zh) | 一种基于深度学习的地铁隧道病害检测方法 | |
| CN112686887A (zh) | 混凝土表面裂纹的检测方法、系统、设备和介质 | |
| CN112884753A (zh) | 一种基于卷积神经网络的轨道扣件检测及分类方法 | |
| CN114694130A (zh) | 基于深度学习的铁路沿线电线杆及杆号检测方法和装置 | |
| Dong et al. | Intelligent segmentation and measurement model for asphalt road cracks based on modified mask R-CNN algorithm | |
| CN111611933A (zh) | 文档图像的信息提取方法及系统 | |
| CN116206112A (zh) | 基于多尺度特征融合和sam的遥感图像语义分割方法 | |
| CN115719475A (zh) | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 | |
| CN114972880A (zh) | 一种标签识别方法、装置、电子设备及存储介质 | |
| CN114519819A (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| CN113902793A (zh) | 基于单视觉遥感影像端到端建筑物高度预测方法、系统和电子设备 | |
| Li et al. | Automatic pavement crack detection based on single stage salient-instance segmentation and concatenated feature pyramid network | |
| CN115294392B (zh) | 基于生成网络模型的可见光遥感图像云去除方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |