CN112734734A - 一种基于改进残差网络的铁路隧道裂缝检测方法 - Google Patents

一种基于改进残差网络的铁路隧道裂缝检测方法 Download PDF

Info

Publication number
CN112734734A
CN112734734A CN202110041556.5A CN202110041556A CN112734734A CN 112734734 A CN112734734 A CN 112734734A CN 202110041556 A CN202110041556 A CN 202110041556A CN 112734734 A CN112734734 A CN 112734734A
Authority
CN
China
Prior art keywords
residual error
convolution
railway tunnel
error network
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110041556.5A
Other languages
English (en)
Inventor
饶志强
常惠
李益晨
李子仡
赵玉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Union University
Original Assignee
Beijing Union University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Union University filed Critical Beijing Union University
Priority to CN202110041556.5A priority Critical patent/CN112734734A/zh
Publication of CN112734734A publication Critical patent/CN112734734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于改进残差网络的铁路隧道裂缝检测方法,包括收集铁路隧道裂缝图像并得到铁路隧道裂缝检测数据集,还包括以下步骤:对所述铁路隧道裂缝检测数据集中的图像进行增强处理并将所述图像随机划分为训练集和测试集;对残差网络结构进行改进,用训练集中的图像对改进后的残差网络进行训练;用训练后的残差网络结构对铁路隧道图像进行裂缝分类检测。该方法通过对ResNet残差网络结构进行改进,形成金字塔空洞卷积模块;添加金字塔空洞卷积模块改善ResNet网络的底层感受野并提高分类的准确率;采用基于度量学习的组合损失函数来区分不同类之间的相似差异,减少裂缝的漏检率和误检率,从而更好地实现复杂背景下细小裂缝的检测。

Description

一种基于改进残差网络的铁路隧道裂缝检测方法
技术领域
本发明涉及铁路智能监测与机器视觉的技术领域,特别是一种基于改进残差网络的铁路隧道裂缝检测方法。
背景技术
铁路隧道在运营期间因为各种原因产生不同程度的病害,衬砌裂缝是最常见的一种,裂缝会影响隧道的稳定性,对于铁路隧道安全运行是个极大的隐患,久而久之会对列车的运行造成负面影响,因此对隧道裂缝进行及时有效的识别与处理是一项非常重要的工作。目前,铁路隧道裂缝的检测大多使用人工检查的方法,该方法难以满足铁路安全检测快速发展的要求。
目前利用计算机视觉和数字图像处理来检测裂缝已引起越来越多的关注,常用的方法如Gabor滤波、随机森林、稀疏表示方法、支持向量机(SVM)和Hough变换与SVM相结合等方法。虽然这些方法取得了较好的检测效果,但是它们对输入图像的质量要求较高,而铁路隧道图像包含复杂的自然特征,例如油漆、水渍和结构缝等,加之隧道内光线不均匀和噪声的干扰,使得裂缝检测受到极大的影响。基于深度学习的裂缝检测方法包括:利用图像块对卷积神经网络训练和检测,但该方法样本相似度高,且需要考虑训练样本中裂缝和非裂缝样本的比例,实现起来较为困难;基于GoogleNet模型,通过改进Inception模块和优化卷积核,提升网络对隧道衬砌图像病害分类识别的能力,但该方法未考虑图像中病害的位置特征,检测效率有待进一步提升;使用迁移学习的方法对裂缝进行分类,对较小的数据集采用预训练的VGG16模型进行微调来完成分类任务,但模型精度有待提高。
公开号为CN111489352A的发明专利申请公开了一种基于数字图像处理的隧道缝隙检测与测量方法及装置,该方法包括:采集铁路隧道的衬砌表面图像;灰度化处理衬砌表面图像;增强灰度图像中裂缝与背景的对比度;将再次引导滤波的图像进行图片二值化;建立全卷积神经网络模型并融合部分输出结果;筛选灰度图像中隧道裂缝图像;标注训练集中的训练样本图片;对不同训练集训练改进全卷积神经网络模型并测试;通过验证的改进全卷积神经网络模型提取衬砌表面图像的线性裂缝;计算线性裂缝的面积、长度及宽度。该方法的缺点是不能找到复杂背景下铁路隧道细小裂缝的图像特征,并且不能很好的恢复经过池化层之后的图像细节结构信息,存在边缘平滑和细节丢失的问题,易造成细小裂缝漏检的现象。
发明内容
为了解决上述的技术问题,本发明提出的基于改进残差网络的铁路隧道裂缝检测方法,该方法通过对ResNet残差网络结构进行改进,主要改进方面为:将具有不同扩张率的空洞卷积块与传统的卷积块相结合,形成金字塔空洞卷积模块;添加金字塔空洞卷积模块改善ResNet网络的底层感受野并提高分类的准确率;采用基于度量学习的组合损失函数来区分不同类之间的相似差异,减少裂缝的漏检率和误检率,从而更好地实现复杂背景下细小裂缝的检测。
本发明的目的是提供一种基于改进残差网络的铁路隧道裂缝检测方法,包括收集铁路隧道裂缝图像并得到铁路隧道裂缝检测数据集,还包括以下步骤:
步骤1:对所述铁路隧道裂缝检测数据集中的图像进行增强处理并将所述图像随机划分为训练集和测试集;
步骤2:对残差网络结构进行改进,用训练集中的图像对改进后的残差网络进行训练;
步骤3:用训练后的残差网络结构对铁路隧道图像进行裂缝分类检测。
优选的是,所述增强处理包括对图像进行灰度处理、高斯滤波和图像归一化中至少一种。
在上述任一方案中优选的是,所述步骤2还包括通过训练不断优化残差网络结构,训练完成后用测试集图像测试残差网络的准确率。
在上述任一方案中优选的是,改进后的所述残差网络结构为金字塔空洞卷积模块被集成到ResNet的底部,每个卷积块的卷积内核数量减少了一半,以不同的扩张率将不同的扩张卷积的输出串联起来。
在上述任一方案中优选的是,基于纹理特征进行裂缝图像的区分,使用ResNet18网络进行分类识别。
在上述任一方案中优选的是,在空间金字塔池化下进行空洞卷积,构建金字塔空洞卷积模块,通过聚集小的区域来区分图像中的类别,在该模型中,假设输入为X,输出为Y,则Y可用以下公式表示:
Figure BDA0002896069650000031
Figure BDA0002896069650000032
Figure BDA0002896069650000033
Figure BDA0002896069650000034
其中,Dilatel-Dilate3用来表示扩张的卷积核;Conv1-Conv4用来表示普通的卷积核;F1、F2和F3表示以不同的速率进行卷积后产生的输出;
Figure BDA0002896069650000035
表示卷积;{}表示级联算法。
在上述任一方案中优选的是,所述金字塔空洞卷积模块的工作方法为并行采用不同扩张率的空洞卷积层以多个比例来获取裂缝像素特征以及隧道裂缝图像的上下文信息,利用并联的空洞卷积进行提取图像裂缝特征,然后对提取到的特征进行融合。
在上述任一方案中优选的是,所述金字塔空洞卷积模块下的空洞卷积是一种特殊的卷积方式,在不降低特征图分辨率的情况下增加卷积核的接收范围,用于多尺度特征图像的提取。
在上述任一方案中优选的是,所述空洞卷积在卷积的时候,会在卷积核元素之间加入空格,若原来的卷积核大小为k,空洞卷积的一个新的超参数为d,那么加入(d-1)个空格后的卷积核大小n的计算公式为:
n=k+(k-1)*(d-1)
假定输入空洞卷积的大小为i,步长为s,填充的像素数为p,空洞卷积后特征图大小o的计算公式为:
Figure BDA0002896069650000041
在上述任一方案中优选的是,所述步骤3包括利用改进的所述残差网络结构对所述铁路隧道裂缝数据集进行训练及提取特征,在分类之前进行特征的整合,对实验的结果进行分类。
在上述任一方案中优选的是,所述步骤3还包括对实验的结果进行分类时采用Softmax分类器,预测函数的公式为:
Figure BDA0002896069650000042
其中,fθ(x(i))表示最终预测的样本属于某个类别的概率,θ表示模型的参数,P表示估计x的每一种分类结果出现的概率,y(i)表示预测的标签,x(i)表示给定的测试值,j表示真实的标签,k表示样本的类别数,
Figure BDA0002896069650000043
表示对所有的概率值进行归一化操作。
在上述任一方案中优选的是,所述步骤3还包括通过损失函数角度提高识别精度,设计基于度量学习的损失函数衡量图像的特征之间的差异性,其计算公式如下:
Lossr=max(‖f(A)-f(B)‖2-‖f(A)-f(N)‖2+C,0)
其中,Lossr代表度量学习的损失函数,A代表目标样本的特征,B代表提取的图像特征,N代表与A不同类别的特征,C代表大于0的数,max(x,0)代表当其输入x小于0时,max(x,0)的输出为0,x大于0时,max(x,0)的输出为x。
在上述任一方案中优选的是,对最终的预测结果采用交叉熵损失函数,其计算公式如下:
Lossc=-[z log z′+(1-z)log(1-z′)]
其中,z和z′分别表示预测的标签概率值以及真实标签,当损失函数的值不断减小时,表示预测的概率分布接近真实标签z的数据。
在上述任一方案中优选的是,总的损失函数为
Loss=α*Lossr+β*Lossc
其中,α和β分别代表每个损失函数的权重。
本发明提出了一种基于改进残差网络的铁路隧道裂缝检测方法,该方法首先在ResNet底部添加不同扩张率的金字塔空洞卷积模块,确保既不降低特征图分辨率,又能扩大卷积核感受野,这能很好地用于隧道裂缝图像多尺度特征的提取,增加分类的准确率;其次通过设计基于度量学习的组合损失函数使得模型能在训练中尽可能增大不同类之间距离来对复杂背景下细小的裂缝进行更好地分类。
附图说明
图1为按照本发明的基于改进残差网络的铁路隧道裂缝检测方法的一优选实施例的流程图。
图2为按照本发明的基于改进残差网络的铁路隧道裂缝检测方法的另一优选实施例的流程图。
图3为按照本发明的基于改进残差网络的铁路隧道裂缝检测方法的ResNet18网络的一实施例的结构示意图。
图4为按照本发明的基于改进残差网络的铁路隧道裂缝检测方法的金字塔空洞卷积模块的一实施例的结构示意图。
图5为按照本发明的基于改进残差网络的铁路隧道裂缝检测方法的CRACK数据集的一实施例的数据格式示意图。
图6为按照本发明的基于改进残差网络的铁路隧道裂缝检测方法的准确率的一实施例的曲线图。
图7为按照本发明的基于改进残差网络的铁路隧道裂缝检测方法的损失函数的一实施例的曲线图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1所述,执行步骤100,收集铁路隧道裂缝图像并得到铁路隧道裂缝检测数据集。
执行步骤110,对所述铁路隧道裂缝检测数据集中的图像进行增强处理并将所述图像随机划分为训练集和测试集。所述增强处理包括对图像进行灰度处理、高斯滤波和图像归一化中至少一种。
执行步骤120,对残差网络结构进行改进,用训练集中的图像对改进后的残差网络进行训练,通过训练不断优化残差网络结构,训练完成后用测试集图像测试残差网络的准确率。改进后的所述残差网络结构为金字塔空洞卷积模块被集成到ResNet的底部,每个卷积块的卷积内核数量减少了一半,以不同的扩张率将不同的扩张卷积的输出串联起来。基于纹理特征进行裂缝图像的区分,使用ResNet18网络进行分类识别。在空间金字塔池化下进行空洞卷积,构建金字塔空洞卷积模块,通过聚集小的区域来区分图像中的类别,在该模型中,假设输入为X,输出为Y,则Y可用以下公式表示:
Figure BDA0002896069650000071
Figure BDA0002896069650000072
Figure BDA0002896069650000073
Figure BDA0002896069650000074
其中,Dilatel-Dilate3用来表示扩张的卷积核;Conv1-Conv4用来表示普通的卷积核;F1、F2和F3表示以不同的速率进行卷积后产生的输出;
Figure BDA0002896069650000075
表示卷积;{}表示级联算法。
所述金字塔空洞卷积模块的工作方法为并行采用不同扩张率的空洞卷积层以多个比例来获取裂缝像素特征以及隧道裂缝图像的上下文信息,利用并联的空洞卷积进行提取图像裂缝特征,然后对提取到的特征进行融合。所述金字塔空洞卷积模块下的空洞卷积是一种特殊的卷积方式,在不降低特征图分辨率的情况下增加卷积核的接收范围,用于多尺度特征图像的提取。所述空洞卷积在卷积的时候,会在卷积核元素之间加入空格,若原来的卷积核大小为k,空洞卷积的一个新的超参数为d,那么加入(d-1)个空格后的卷积核大小n的计算公式为:
n=k+(k-1)*(d-1)
假定输入空洞卷积的大小为i,步长为s,填充的像素数为p,空洞卷积后特征图大小o的计算公式为:
Figure BDA0002896069650000076
执行步骤130,用训练后的残差网络结构对铁路隧道图像进行裂缝分类检测。利用改进的所述残差网络结构对所述铁路隧道裂缝数据集进行训练及提取特征,在分类之前进行特征的整合,对实验的结果进行分类。对实验的结果进行分类时采用Softmax分类器,预测函数的公式为:
Figure BDA0002896069650000081
其中,fθ(x(i))表示最终预测的样本属于某个类别的概率,θ表示模型的参数,P表示估计x的每一种分类结果出现的概率,y(i)表示预测的标签,x(i)表示给定的测试值,j表示真实的标签,k表示样本的类别数,
Figure BDA0002896069650000082
表示对所有的概率值进行归一化操作。
通过损失函数角度提高识别精度,设计基于度量学习的损失函数衡量图像的特征之间的差异性,其计算公式如下:
Lossr=max(‖f(A)-f(B)‖2-‖f(A)-f(N)‖2+C,0)
其中,Lossr代表度量学习的损失函数,A代表目标样本的特征,B代表提取的图像特征,N代表与A不同类别的特征,C代表大于0的数,max(x,0)代表当其输入x小于0时,max(x,0)的输出为0,x大于0时,max(x,0)的输出为x。
对最终的预测结果采用交叉熵损失函数,其计算公式如下:
Lossc=-[zlogy′+(1-z)log(1-z′)]
其中,z和z′分别表示预测的标签概率值以及真实标签,当损失函数的值不断减小时,表示预测的概率分布接近真实标签z的数据。
总的损失函数为Loss=α*Lossr+β*Lossc,其中,α和β分别代表每个损失函数的权重。
实施例二
针对铁路隧道裂缝图像的特点,本发明提出一种基于改进残差网络铁路隧道裂缝检测方法Pyramid Dilated Convolution Residual Network,PDC-ResNet),该方法通过对ResNet残差网络结构进行改进,主要改进方面为:将具有不同扩张率的空洞卷积块与传统的卷积块相结合,形成金字塔空洞卷积模块;添加金字塔空洞卷积模块改善ResNet网络的底层感受野并提高分类的准确率;采用基于度量学习的组合损失函数来区分不同类之间的相似差异,减少裂缝的漏检率和误检率,从而更好地实现复杂背景下细小裂缝的检测。
为实现以上目的,本发明通过以下技术方案予以实现:
1.一种基于改进残差网络铁路隧道裂缝检测方法,其特征在于包括如下步骤:
步骤1.1:收集铁路隧道裂缝图像,得到铁路隧道裂缝检测数据集;图像大多数背景较为复杂,并且裂缝种类多样。
步骤1.2:对铁路隧道裂缝检测数据集中的图像进行增强处理,然后将铁路隧道裂缝检测数据集中的图像随机划分为训练集和测试集。
步骤1.3:对残差网络结构进行改进,用训练集中的图像对改进后的残差网络进行训练,通过训练不断优化残差网络结构,训练完成后用测试集图像测试残差网络的准确率。
步骤1.4:用训练后的残差网络结构对铁路隧道图像进行裂缝分类检测。
2.步骤1.2中,对图像的增强处理包括对图像进行灰度处理、高斯滤波和图像归一化等,由于测试集不参与网络的训练,所以我们仅对训练集进行旋转、缩放、对比度调整、镜面对称和添加噪声等操作来扩充数据,防止网络过度拟合并提高网络的泛化能力。
3.步骤1.2中,训练集和测试集中图像数量的比例为8:2。
4.步骤1.3中,如图2所示的为本发明的网络流程图,也就是的改进后残差网络结构,具体为:金字塔空洞卷积模块被集成到ResNet的底部,以增加原始网络的感受野并提高分类精度,在修改ResNet时,由于隧道裂缝图像识别属于二分类,而原始的ResNet基本结构适合进行多分类。因此,我们将每个卷积块的卷积内核数量减少了一半,并且进行了一些实验来选择模块的扩张率。最后针对数据集选择1、3和5作为扩张率,并以不同的扩张率将不同的扩张卷积的输出串联起来。
5.裂缝图像是基于纹理特征进行区分的,而且细小裂缝和有其他噪声的无裂缝之间的纹理特征相似程度较高,体现在微小特征上的差别,为保证裂缝检测的效率,使用ResNet18网络进行分类识别,如图3所示的为ResNet18网络结构。
6.在空间金字塔池化下进行空洞卷积,构建金字塔空洞卷积(Pyramid DilatedConvolution,PDC)模块,如图4所示的为金字塔空洞卷积模块结构,通过聚集小的区域来区分图像中的类别,在该模型中,假设输入为X,输出为Y,Dilatel-Dilate3用来表示扩张的卷积核;Conv1-Conv4用来表示普通的卷积核;F1、F2和F3表示以不同的速率进行卷积后产生的输出;
Figure BDA0002896069650000101
表示卷积;{}表示级联算法,则Y可用以下公式表示:
Figure BDA0002896069650000102
Figure BDA0002896069650000103
Figure BDA0002896069650000104
Figure BDA0002896069650000105
PDC模块并行采用不同扩张率的空洞卷积层以多个比例来获取裂缝像素特征以及隧道裂缝图像的上下文信息,利用并联的空洞卷积进行提取图像裂缝特征,然后对提取到的特征进行融合,这样就可以将不同尺度的信息融合到一起,同时利用空洞卷积可以有效地扩大卷积层的感受视野。与输入大小相比,空洞卷积具有恒定的输出大小的特性,这种改善感受野的方法非常适合ResNet网络的底层。
7.PDC模块下的空洞卷积(Dilated Convolutions,DC)是一种特殊的卷积方式,可以在不降低特征图分辨率的情况下增加卷积核的接收范围,并且可用于多尺度特征图像的提取。空洞卷积与普通卷积相比,除了卷积核的大小以外,还有一个扩张率(DilationRate)参数,主要用来表示扩张的大小。空洞卷积在卷积的时候,会在卷积核元素之间加入空格,若原来的卷积核大小为k,空洞卷积的一个新的超参数为d,那么加入(d-1)个空格后的卷积核大小n的计算公式为:
n=k+(k-1)*(d-1) (2)
进而,假定输入空洞卷积的大小为i,步长为s,填充的像素数为p,空洞卷积后特征图大小o的计算公式为:
Figure BDA0002896069650000111
8.利用改进的残差网络结构对铁路隧道裂缝数据集进行训练及提取特征,在分类之前进行特征的整合,对实验的结果进行分类。
9.在最后对实验的结果进行分类时采用Softmax分类器。其中,输出概率的计算为公式如(4)所示,
Figure BDA0002896069650000112
因铁路隧道裂缝检测算法是二分类问题,故式中k的值为2。
10.铁路隧道裂缝数据集两类之间的差异并不总是特别明显,有些图片背景存在一定相似性,如仅从局部性的图像上难以区分是何种类别,所以要提升分类的精度还要更好地解决正确区分相似类别之间差异的问题。考虑到实际应用的需求,应设计参数更少的网络。因此,本发明从损失函数角度进一步提高识别精度,设计基于度量学习(MetricLearning)的损失函数衡量图像的特征之间的差异性,其计算公式如下:
Lossr=max(‖f(A)-f(B)‖2-‖f(A)-f(N)‖2+C,0) (5)
其中,Lossr代表度量学习的损失函数,A代表目标样本的特征,B代表提取的图像特征,N代表与A不同类别的特征,C代表大于0的数,max(x,0)代表当其输入x小于0时,max(x,0)的输出为0,x大于0时,max(x,0)的输出为x。所以,从度量学习的损失函数可知,部分x小于0时表示相同类别之间的距离已经足够小,且小于不同类别特征之间的距离。
由于裂缝识别任务是一个分类问题,因此,对最终的预测结果采用交叉熵损失函数,其计算公式如下:
Lossc=-[zlogy′+(1-z)log(1-z′)] (6)
式子中,z和z′分别表示预测的标签概率值以及真实标签,当损失函数的值不断减小时,表示预测的概率分布接近真实标签z的数据。
所以总的损失函数为:
Loss=α*Lossr+β*Lossc (7)
其中,α和β分别代表每个损失函数的权重,均为大于0的数。
实施例三
本发明提供了一种基于改进残差网络的铁路隧道裂缝检测方法,与现有的技术相比,具备以下明显的优势和有益效果:
(1)在ResNet底部添加不同扩张率的金字塔空洞卷积模块,确保既不降低特征图分辨率,又能扩大卷积核感受野,这能很好地用于隧道裂缝图像多尺度特征的提取,增加分类的准确率。
(2)通过设计基于度量学习的组合损失函数使得模型能在训练中尽可能增大不同类之间距离来对复杂背景下细小的裂缝进行更好地分类。
(3)本发明相比较ResNet基础网络可以提高铁路隧道裂缝识别准确率,可以对裂缝进行有效及时的识别,以满足结构健康监测的铁路隧道裂缝检测和检查的要求。
本发明步骤如下:
步骤1:选取实际采集的铁路隧道裂缝图像作为样本数据,然后对数据进行预处理,构建铁路隧道裂缝图像数据集(CRACK数据集),如图5所示的为CRACK数据集的数据格式。
步骤1.1:数据集中分为两类:有裂缝(1000例)和无裂缝(1000例),图像大多数背景较为复杂,并且裂缝种类多样。
步骤1.2:针对自制训练集图像格式不一致且样本量小的问题,对图像进行预处理,其中包含灰度处理、高斯滤波和图像归一化等。由于测试集不参与网络的训练,所以我们仅对训练集进行旋转、缩放、对比度调整、镜面对称和添加噪声等操作来扩充数据,防止网络过度拟合并提高网络的泛化能力。
步骤2:利用改进的残差网络对铁路隧道裂缝进行检测,进一步验证网络的性能.
步骤2.1:使用精准率(Precision)、召回率(Recall)、F1分数(F1-Score)三个指标来评价铁路隧道裂缝分类模型的优劣。三种指标计算方式分别如下:
(1)精准率突出显示误检的比例:
Figure BDA0002896069650000141
式中:TP代表真阳性(True Positive),FP(False Positive)代表假阳性。精准率表示预测为真的数据里预测正确的数据个数的比例。该值越接近1代表性能越好。
(2)召回率突出显示漏检的比例:
Figure BDA0002896069650000142
式中:FN(False Negative)代表假阴性。召回率表示实际为真的数据里预测正确的数据个数的比例。该值越接近1代表性能越好。
(3)F1分数综合考虑了精准率与召回率:
Figure BDA0002896069650000143
同样,该值越大代表模型性能越好。
步骤2.2:为体现模型及算法先进性,设立4组消融试验对比改进模型的性能。
图6和图7所示的为不同模型的准确率曲线和损失函数曲线,结果表明本发明的方法精度增长稳定,且增长速度快于其他网络,PDC-ResNet网络和改进的Loss函数的收敛速度和识别准确率也都高于基础的ResNet网络,且在网络训练层数加深多次迭代下,残差网络模型未出现明显的网络退化现象。
如表1所示,结果表面PDC-ResNet网络的精准率相比未改进的基础网络提高了2.62%,召回率和F1分数也得到了很大的提升,说明在ResNet底部添加金字塔空洞卷积模块之后可以获取到对图像的上下文信息和空间层级信息,使得隧道裂缝图像的细节信息得到有效的提取,捕捉隧道数据的多尺度特征,提高分类的性能。采用改进损失函数的ResNet与ResNet两模型的精准率相比提高了1.17%,召回率提高了1.35%,改进损失函数的F1分数也有所提升,并且本发明方法的精准率提高了4.73%,召回率提高了7.82%,F1分数提高了6.29%,说明加入度量学习的组合损失函数区分隧道图像的差异后,将相同类别的图像特征之间的距离拉近,将不同类别特征之间的距离拉远,可以在模型参数不变的情况下对分类精度有明显的提升,结果也证明了本发明提出的方法在区分不同类之间相似差异上的有效性。
Figure BDA0002896069650000151
表1不同模型在铁路隧道裂缝检测上性能对比
本发明针对传统残差网络和损失函数在铁路隧道裂缝检测问题上的不足,提出一种改进残差网络PDC-ResNet及基于度量学习的组合损失函数的裂缝分类方法。该方法首先在ResNet底部添加不同扩张率的金字塔空洞卷积模块,确保既不降低特征图分辨率,又能扩大卷积核感受野,这能很好地用于隧道裂缝图像多尺度特征的提取,增加分类的准确率;其次通过设计基于度量学习的组合损失函数使得模型能在训练中尽可能增大不同类之间距离来对复杂背景下细小的裂缝进行更好地分类。实验表明,本发明方法相比较ResNet基础网络可以提高铁路隧道裂缝识别准确率,并且在三种不同的评价指标上证明了该发明的有效性。
为了更好地理解本发明,以上结合本发明的具体实施例做了详细描述,但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改,均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种基于改进残差网络的铁路隧道裂缝检测方法,包括收集铁路隧道裂缝图像并得到铁路隧道裂缝检测数据集,其特征在于,还包括以下步骤:
步骤1:对所述铁路隧道裂缝检测数据集中的图像进行增强处理并将所述图像随机划分为训练集和测试集;
步骤2:对残差网络结构进行改进,用训练集中的图像对改进后的残差网络进行训练,通过训练不断优化残差网络结构,训练完成后用测试集图像测试残差网络的准确率;
步骤3:用训练后的残差网络结构对铁路隧道图像进行裂缝分类检测。
2.如权利要求1所述的基于改进残差网络的铁路隧道裂缝检测方法,其特征在于,在空间金字塔池化下进行空洞卷积,构建金字塔空洞卷积模块,通过聚集小的区域来区分图像中的类别,在该模型中,假设输入为X,输出为Y,则Y可用以下公式表示:
Figure FDA0002896069640000011
Figure FDA0002896069640000012
Figure FDA0002896069640000013
Figure FDA0002896069640000014
其中,Dilatel-Dilate3用来表示扩张的卷积核;Conv1-Conv4用来表示普通的卷积核;F1、F2和F3表示以不同的速率进行卷积后产生的输出;
Figure FDA0002896069640000015
表示卷积;{}表示级联算法。
3.如权利要求2所述的基于改进残差网络的铁路隧道裂缝检测方法,其特征在于,所述金字塔空洞卷积模块的工作方法为并行采用不同扩张率的空洞卷积层以多个比例来获取裂缝像素特征以及隧道裂缝图像的上下文信息,利用并联的空洞卷积进行提取图像裂缝特征,然后对提取到的特征进行融合。
4.如权利要求3所述的基于改进残差网络的铁路隧道裂缝检测方法,其特征在于,所述金字塔空洞卷积模块下的空洞卷积是一种特殊的卷积方式,在不降低特征图分辨率的情况下增加卷积核的接收范围,用于多尺度特征图像的提取。
5.如权利要求4所述的基于改进残差网络的铁路隧道裂缝检测方法,其特征在于,所述空洞卷积在卷积的时候,会在卷积核元素之间加入空格,若原来的卷积核大小为k,空洞卷积的一个新的超参数为d,那么加入(d-1)个空格后的卷积核大小n的计算公式为:
n=k+(k-1)*(d-1)
假定输入空洞卷积的大小为i,步长为s,填充的像素数为p,空洞卷积后特征图大小o的计算公式为:
Figure FDA0002896069640000021
6.如权利要求5所述的基于改进残差网络的铁路隧道裂缝检测方法,其特征在于,所述步骤3包括利用改进的所述残差网络结构对所述铁路隧道裂缝数据集进行训练及提取特征,在分类之前进行特征的整合,对实验的结果进行分类。
7.如权利要求6所述的基于改进残差网络的铁路隧道裂缝检测方法,其特征在于,所述步骤3还包括对实验的结果进行分类时采用Softmax分类器,预测函数的公式为:
Figure FDA0002896069640000022
其中,fθ(x(i))表示最终预测的样本属于某个类别的概率,θ表示模型的参数,P表示估计x的每一种分类结果出现的概率,y(i)表示预测的标签,x(i)表示给定的测试值,j表示真实的标签,k表示样本的类别数,
Figure FDA0002896069640000031
表示对所有的概率值进行归一化操作。
8.如权利要求7所述的基于改进残差网络的铁路隧道裂缝检测方法,其特征在于,所述步骤3还包括通过损失函数角度提高识别精度,设计基于度量学习的损失函数衡量图像的特征之间的差异性,其计算公式如下:
Lossr=max(‖f(A)-f(B)‖2-‖f(A)-f(N)‖2+C,0)
其中,Lossr代表度量学习的损失函数,A代表目标样本的特征,B代表提取的图像特征,N代表与A不同类别的特征,C代表大于0的数,max(x,0)代表当其输入x小于0时,max(x,0)的输出为0,x大于0时,max(x,0)的输出为x。
9.如权利要求8所述的基于改进残差网络的铁路隧道裂缝检测方法,其特征在于,对最终的预测结果采用交叉熵损失函数,其计算公式如下:
Lossc=-[zlogy′+(1-z)log(1-z′)]
其中,z和z′分别表示预测的标签概率值以及真实标签,当损失函数的值不断减小时,表示预测的概率分布接近真实标签z的数据。
10.如权利要求9所述的基于改进残差网络的铁路隧道裂缝检测方法,其特征在于,总的损失函数为
Loss=α*Lossr+β*Lossc
其中,α和β分别代表每个损失函数的权重。
CN202110041556.5A 2021-01-13 2021-01-13 一种基于改进残差网络的铁路隧道裂缝检测方法 Pending CN112734734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110041556.5A CN112734734A (zh) 2021-01-13 2021-01-13 一种基于改进残差网络的铁路隧道裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110041556.5A CN112734734A (zh) 2021-01-13 2021-01-13 一种基于改进残差网络的铁路隧道裂缝检测方法

Publications (1)

Publication Number Publication Date
CN112734734A true CN112734734A (zh) 2021-04-30

Family

ID=75592967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110041556.5A Pending CN112734734A (zh) 2021-01-13 2021-01-13 一种基于改进残差网络的铁路隧道裂缝检测方法

Country Status (1)

Country Link
CN (1) CN112734734A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239432A (zh) * 2021-05-07 2021-08-10 石家庄铁道大学 一种地铁隧道全景图像区域化分块检测推荐方法
CN113392783A (zh) * 2021-06-18 2021-09-14 河南科技学院 一种基于改进的ResNet的透窗对象检测方法
CN113657382A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种目标检测任务中最佳检测模型的选取方法及装置
CN113674213A (zh) * 2021-07-26 2021-11-19 南京航空航天大学 一种基于旋转目标检测技术的地铁隧道裂缝识别方法
CN114049356A (zh) * 2022-01-17 2022-02-15 湖南大学 一种结构表观裂缝检测方法、装置及系统
CN115327301A (zh) * 2022-08-30 2022-11-11 国网江苏省电力有限公司电力科学研究院 一种输电线电路异物识别检测方法、设备及储存介质
CN115393725A (zh) * 2022-10-26 2022-11-25 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN115761613A (zh) * 2022-08-10 2023-03-07 中铁隧道局集团有限公司 一种基于卷积网络的隧道裂缝自动检测方法
CN115457414B (zh) * 2022-09-15 2023-05-05 西华大学 一种基于改进残差网络的无人机异常行为识别方法
CN116883503A (zh) * 2023-09-07 2023-10-13 山东千颐科技有限公司 一种立井提升机尾绳缠绕ai视觉识别检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978032A (zh) * 2019-03-15 2019-07-05 西安电子科技大学 基于空间金字塔空洞卷积网络的桥梁裂缝检测方法
CN110909741A (zh) * 2019-10-28 2020-03-24 北京航空航天大学 一种基于背景分割的车辆再识别方法
CN111027464A (zh) * 2019-12-09 2020-04-17 大连理工大学 对卷积神经网络和序特征编码联合优化的虹膜识别方法
CN111126202A (zh) * 2019-12-12 2020-05-08 天津大学 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN111179244A (zh) * 2019-12-25 2020-05-19 汕头大学 一种基于空洞卷积的自动化裂缝检测方法
CN111507990A (zh) * 2020-04-20 2020-08-07 南京航空航天大学 一种基于深度学习的隧道表面缺陷分割方法
CN111738111A (zh) * 2020-06-10 2020-10-02 杭州电子科技大学 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978032A (zh) * 2019-03-15 2019-07-05 西安电子科技大学 基于空间金字塔空洞卷积网络的桥梁裂缝检测方法
CN110909741A (zh) * 2019-10-28 2020-03-24 北京航空航天大学 一种基于背景分割的车辆再识别方法
CN111027464A (zh) * 2019-12-09 2020-04-17 大连理工大学 对卷积神经网络和序特征编码联合优化的虹膜识别方法
CN111126202A (zh) * 2019-12-12 2020-05-08 天津大学 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN111179244A (zh) * 2019-12-25 2020-05-19 汕头大学 一种基于空洞卷积的自动化裂缝检测方法
CN111507990A (zh) * 2020-04-20 2020-08-07 南京航空航天大学 一种基于深度学习的隧道表面缺陷分割方法
CN111738111A (zh) * 2020-06-10 2020-10-02 杭州电子科技大学 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHENYU LU等: "The classification of gliomas based on a pyramid dilated convolution resnet model", 《PATTERN RECOGNITION LETTERS》 *
朱威;王图强;陈悦峰;何德峰;: "基于多尺度残差网络的对象级边缘检测算法", 计算机科学 *
梁鸿;李洋;邵明文;李传秀;张兆雷;: "基于残差网络和改进特征金字塔的油田作业现场目标检测算法", 科学技术与工程 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239432B (zh) * 2021-05-07 2022-06-10 石家庄铁道大学 一种地铁隧道全景图像区域化分块检测推荐方法
CN113239432A (zh) * 2021-05-07 2021-08-10 石家庄铁道大学 一种地铁隧道全景图像区域化分块检测推荐方法
CN113392783A (zh) * 2021-06-18 2021-09-14 河南科技学院 一种基于改进的ResNet的透窗对象检测方法
CN113392783B (zh) * 2021-06-18 2022-11-01 河南科技学院 一种基于改进的ResNet的透窗对象检测方法
CN113674213A (zh) * 2021-07-26 2021-11-19 南京航空航天大学 一种基于旋转目标检测技术的地铁隧道裂缝识别方法
CN113674213B (zh) * 2021-07-26 2024-04-09 南京航空航天大学 一种基于旋转目标检测技术的地铁隧道裂缝识别方法
CN113657382A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种目标检测任务中最佳检测模型的选取方法及装置
CN113657382B (zh) * 2021-08-24 2024-03-01 凌云光技术股份有限公司 一种目标检测任务中最佳检测模型的选取方法及装置
CN114049356A (zh) * 2022-01-17 2022-02-15 湖南大学 一种结构表观裂缝检测方法、装置及系统
CN114049356B (zh) * 2022-01-17 2022-04-12 湖南大学 一种结构表观裂缝检测方法、装置及系统
CN115761613B (zh) * 2022-08-10 2023-09-01 中铁隧道局集团有限公司 一种基于卷积网络的隧道裂缝自动检测方法
CN115761613A (zh) * 2022-08-10 2023-03-07 中铁隧道局集团有限公司 一种基于卷积网络的隧道裂缝自动检测方法
CN115327301A (zh) * 2022-08-30 2022-11-11 国网江苏省电力有限公司电力科学研究院 一种输电线电路异物识别检测方法、设备及储存介质
CN115457414B (zh) * 2022-09-15 2023-05-05 西华大学 一种基于改进残差网络的无人机异常行为识别方法
CN115393725B (zh) * 2022-10-26 2023-03-07 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN115393725A (zh) * 2022-10-26 2022-11-25 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN116883503A (zh) * 2023-09-07 2023-10-13 山东千颐科技有限公司 一种立井提升机尾绳缠绕ai视觉识别检测方法

Similar Documents

Publication Publication Date Title
CN112734734A (zh) 一种基于改进残差网络的铁路隧道裂缝检测方法
WO2018081929A1 (zh) 一种高光谱遥感图像特征提取和分类方法及其系统
CN111950488B (zh) 一种改进的Faster-RCNN遥感图像目标检测方法
Zhou et al. Deep learning-based crack segmentation for civil infrastructure: Data types, architectures, and benchmarked performance
CN108122008A (zh) 基于稀疏表示和多特征决策级融合的sar图像识别方法
CN106295124A (zh) 利用多种图像检测技术综合分析基因子图相似概率量的方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN102867195B (zh) 一种遥感图像多类目标检测和识别方法
CN111753873A (zh) 一种图像检测方法和装置
Marques et al. Automatic road pavement crack detection using SVM
CN114694178A (zh) 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统
CN115797354A (zh) 用于检测激光焊接焊缝外观缺陷的方法
CN106485238A (zh) 一种高光谱遥感图像特征提取和分类方法及其系统
CN116485717A (zh) 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN112926652A (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN115294377A (zh) 一种道路裂缝的识别系统及方法
CN104657714B (zh) 光照对称性与全局光照强度融合的无参考人脸光照评价方法
CN114897802A (zh) 一种基于改进Faster RCNN算法的金属表面缺陷检测方法
CN114596316A (zh) 一种基于语义分割的道路图像细节抓取方法
CN108073940A (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
Saleh et al. Tire defect detection model using machine learning
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法
CN113420793A (zh) 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法
CN117197591A (zh) 一种基于机器学习的数据分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination