CN114219811B - 基于特征金字塔和神经网络的轨道钢表面缺陷分割方法 - Google Patents
基于特征金字塔和神经网络的轨道钢表面缺陷分割方法 Download PDFInfo
- Publication number
- CN114219811B CN114219811B CN202111427740.XA CN202111427740A CN114219811B CN 114219811 B CN114219811 B CN 114219811B CN 202111427740 A CN202111427740 A CN 202111427740A CN 114219811 B CN114219811 B CN 114219811B
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- input
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 63
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 31
- 239000010959 steel Substances 0.000 title claims abstract description 31
- 230000011218 segmentation Effects 0.000 title claims description 27
- 238000013528 artificial neural network Methods 0.000 title abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000010586 diagram Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 3
- 239000000470 constituent Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 38
- 230000002950 deficient Effects 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，该方法首先构建一个5层的图像金字塔；然后对金字塔每一层的图像提取5个特征图并将特征图放大到原来的尺寸；再将所有特征图输入到一个轻量级的卷积神经网络进行训练以及预测。该卷积神经网络只包含12个卷积块，参数量相比于现有常见的网络显著减少，同时训练时间和测试时间都比现有常见的网络要缩短；该卷积神经网络采用二值交叉熵函数和IOU函数作为损失函数，二值交叉熵函数能够提升单个像素的分类能力，通过设计较高的正样本权重，能够解决正负像素数量不均衡的问题；而IOU函数能够提高预测缺陷形状的精确度。
Description
技术领域
本发明涉及机器视觉和深度学习技术领域，具体涉及一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法。
背景技术
轨道交通的发展正面临着提高速度和负荷的挑战，这极大地增加了轨道交通的压力。长期运行会使钢轨表面发热、磨损。钢轨磨损等缺陷是安全隐患，亟待解决。过去，钢轨上的缺陷都是由有经验的检验员来检测的。人工检测不仅需要大量的人力资源，而且还存在耗时、精度低等缺点。因此，自动无损检测系统具有巨大的市场需求。
在过去的十年中，基于视觉的缺陷检测方法已应用于各种工业产品，如钢铁、织物、太阳能电池、锂离子电池电极、薄膜晶体管液晶。总体而言可以将缺陷检测方法分成两大类，一是传统的视觉方法，二是基于深度学习的方法。传统的视觉方法有针对性，人为地提取特征来识别缺陷，可以快速地完成一些简单的缺陷分割任务。但对于稍微复杂的场景，如何组合不同的特征以及自适应的得到各种参数非常的困难，无法获得足够满意的结果。而基于深度学习的方法，基于梯度下降的优化算法，能够自适应地获得局部最优的参数。但是深度学习需要良好地硬件条件来支持，大型的网络训练和测试的时间都非常长，无法用于实时检测。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法。本发明通过传统视觉方法来提取多尺度特征，作为卷积神经网络的输入，本发明中所提出的卷积神经网络是一种轻量级的神经网络，使得训练时间和测试时间能满足在线检测需求，并且可以提升轨道钢表面缺陷的分割精度。
本发明的目的可以通过采取如下技术方案达到：
一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，所述分割方法包括以下步骤：
S1、以轨道钢表面图像作为输入图像I0，通过对输入图像I0依次进行多次尺寸缩放得到不同尺寸的图像，构建图像金字塔；
S2、对不同尺寸的图像依次提取多尺度特征图；
S3、搭建卷积神经网络；
S4、训练所述卷积神经网络；
S5、使用经过训练的卷积神经网络对轨道钢进行表面缺陷检测，输出缺陷分割结果。
进一步地，所述步骤S1中构建图像金字塔的过程如下：
S1.1、以轨道钢表面图像作为输入图像I0，将输入图像I0的尺寸缩放到1024×160，得到图像I1。神经网络需要统一的图像尺寸，同时图像的尺寸每次减半之后还是偶数，保证图像的尺寸都是整数；
S1.2、将图像I1的长和宽通过图像缩放算法依次缩小一半，重复4次，分别得到图像I2、I3、I4、I5，对应的尺寸分别为512×80、256×40、128×20、64×10，其中，所述图像缩放算法为双线性插值法。不同的尺寸的图像包含着不同尺度的信息，这些信息有助于缺陷分割；
进一步地，所述步骤S2中提取多尺度特征图的过程如下：
S2.1、将图像I1的灰度范围从0～255归一化到0～1，归一化公式如下：I1(i,j)＝I1(i,j)÷255，其中i,j表示图像I1的索引，I1(i,j)表示图像I1的第i行第j列的像素灰度值，i∈[1,H]，j∈[1,W]，H、W分别表示图像I1的长和宽；
S2.2、将图像I1灰度翻转，得到特征图f1，公式如下：f1(i,j)＝1-I1(i,j)，其中f1(i,j)表示二维图像特征图f1的第i行第j列的像素灰度值。将图像反转后能增强灰度较小的暗缺陷。
S2.3、计算特征图f2过程如下：
先计算图像I1每一列像素的灰度平均值Iavg(j)和最小值Imin(j)，计算公式如下：
其中min(*)表示最小值函数，Iavg是一个一维向量，Iavg(j)表示向量的第j个值，Imin是一个一维向量，Imin(j)表示向量的第j个值；
计算一个单边阈值Ith(j)，并计算其均值mth，计算公式如下：Ith(j)＝(Iavg(j)+Imin(j))/2，其中Ith(j)表示一维向量Ith的第j个值。缺陷的灰度在平均值和最小值之间，使用阈值Ith(j)可以分割缺陷的背景；
然后将Ith(j)中大于mth的部分置为mth：
计算I1(i,j)与Ith(j)的正距离Dc(i,j)：Dc(i,j)＝Relu(Ith(j)-I1(i,j))，其中Dc(i,j)表示二维矩阵Dc的第i行第j列的值，函数Relu的表达式为：其中x表示Relu函数的自变量。通过Relu函数将小于0的结果置为0，从而忽略这些像素，因为它们被判断为背景像素；
最后计算特征图f2：f2(i,j)＝Dc(i,j)*(Iavg(j)-I1(i,j))，其中f2(i,j)表示二维矩阵f2的第i行第j列的值。Dc(i,j)大于0的点表示缺陷像素，使用灰度值到平均值的差值，即(Iavg(j)-I1(i,j))，作为缺陷的显著度。值越大则说明该点作为缺陷的可信度越高；
S2.4、计算图像I1的梯度图Ig，然后计算Ig每一列的均值mg(j)，再与Ig相减得到特征图f3，计算公式如下：f3(i,j)＝Ig(i,j)-mg(j)，其中Ig(i,j)表示二维矩阵Ig的第i行第j列的值，mg(j)表示一维向量mg的第j个值，f3(i,j)表示二维矩阵f3的第i行第j列的值。缺陷的边缘有着比较强的梯度强度且至少强于平均梯度，因此f3(i,j)能增强梯度强度大的点；
S2.5、使用卷积核k1与图像I1进行卷积，卷积结果记为Ik1，再与I1相减得到特征图f4，计算公式如下：
其中表示卷积操作，/>
f4＝Relu(I1-Ik1)；
这一步是计算图像水平方向上局部窗口的局部均值，窗口大小为1×7；
S2.6、使用卷积核k2与图像I1进行卷积，卷积结果记为Ik2，再与I1相减得到特征图f5，计算公式如下：f5＝Relu(I1-Ik2)，其中k2＝k1 T，上标T表示转置运算。这一步是计算图像垂直方向上局部窗口的局部均值，窗口大小为7×1；；
S2.7、将图像I2～I5依次重复步骤S2.1～S2.6提取多尺度特征图，将得到的特征图缩放到I1的尺寸，最终得到25个特征图，即为多尺度特征图。
进一步地，所述卷积神经网络包含11个卷积块、一个最大池化层、一个转置卷积层、一个输出卷积层，其中，每个卷积块包含三个单元，分别是卷积层、归一化层、Relu激活函数层，卷积层的步长都为1；各个组成单位的参数如下：
第一卷积块中，卷积核大小为3×3，输入和输出通道数分别为25，64；
第二卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
第三卷积块，卷积核大小为1×7，输入和输出通道数分别为64，64；
第四卷积块，卷积核大小为7×1，输入和输出通道数分别为64，64；
第五卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
第六卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
最大池化层，池化核大小为2×2，步长为2×2；
第七卷积块，卷积核大小为3×3，输入和输出通道数分别为64，128；
第八卷积块，卷积核大小为3×3，输入和输出通道数分别为128，128；
转置卷积层，卷积核大小为3×3，步长为2×2，输入和输出通道数分别为128，64；
第九卷积块，卷积核大小为3×3，输入和输出通道数分别为128，64；
第十卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
第十一卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
输出卷积层，卷积核大小为3×3，输入和输出通道数分别为64，1。
进一步地，所述步骤S3中搭建卷积神经网络的具体过程如下：
S3.1、将第一卷积块到第六卷积块按顺序串联，每个卷积块的输出是下一个卷积块的输入。串联卷积块能不断加深特征的深度，融合不同尺度的信息。
S3.2、最大池化层将第六卷积块的输出进行下采样，下采样结果作为第七卷积块的输入。下采样能够获得更多尺度的信息，丰富特征。
S3.3、将第七卷积块、第八卷积块串联；
S3.4、转置卷积层对第八卷积块的输出进行上采样，保证输出结果与原图像尺寸相同；
S3.5、将转置卷积层的输出和第六卷积块的输出进行拼接，组成128通道的数据，并作为第九卷积块的输入。这里融合了两个卷积的输出，通道数增加。
S3.6、将第九卷积块、第十卷积块、第十一卷积块按顺序串联，第十一卷积块的输出作为输出卷积层的输入；
S3.7、输出卷积层输出二值分割图。
进一步地，所述步骤S4中训练卷积神经网络的过程如下：
S4.1、构建带有缺陷分割二值标签图的训练集；
S4.2、将输入图像经过步骤S1，S2处理，提取出多尺度特征图，输入卷积神经网络；
S4.3、采用二元交叉熵函数和IOU函数计算卷积神经网络的输出结果与训练集的标签图的损失，；
S4.4、使用Adam优化算法进行参数更新，Adam算法对每个参数使用相同的学习率，并随着学习的进行而独立地适应。此外，Adam是基于动量的算法，利用了梯度的历史信息。
S4.5、训练10个周期后，重置Adam优化算法参数，再训练10×U个周期，U为大于等于1的整数。在训练前期，参数的变化较大，导致Adam算法中的学习率和动量也有较大的变化，影响后面周期的迭代更新。因此重置Adam参数能消除前10个周期的影响。
进一步地，所述二元交叉熵函数的计算公式如下：
其中lCE为二元交叉熵函数，yk是第k个预测值，y′k为第k个标签值，wp是正样本权重，wp越大，则缺陷像素误判为背景像素造成的损失就越大，log()是以2为底的对数函数，N为图像中像素数量，N＝H×W，H，W为图像的长度和宽度。交叉熵函数能引导网络学习缺陷像素的特征；
进一步地，所述IOU函数的计算公式如下：
其中lIOU为IOU损失函数，yk是第k个预测值，y′k为第k个标签值，log()是以2为底的对数函数，N为图像中像素数量，N＝H×W，H，W为图像的长度和宽度。IOU损失函数表示预测结果和真实值的缺陷形状和面积的区别，使得预测结果的缺陷像素数量接近真实数量。
进一步地，所述步骤S5中使用经过训练的卷积神经网络对轨道钢进行表面缺陷检测，输出缺陷分割结果具体过程如下：
S5.1、构建带有缺陷分割二值标签图的测试集，测试集用来测试并使用数据指标来量化方法的性能；
S5.2、输入图像经过步骤S1和步骤S2处理，提取出多尺度特征图，输入经过训练的卷积神经网络。网络测试过程中，网络的参数不需要更新；
S5.3、卷积神经网络输出最终的预测结果。预测结果中白色像素表示缺陷，黑色像素表示背景。使用预测结果和真实值计算方法的性能指标，包括准确率、召回率。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明通过构建图像金字塔获得不同尺度的图像，对不同的尺度的图像提取了五个根据缺陷特点设计的特征。第一个特征利用缺陷的灰度特征，增强了暗缺陷的显著度，第二个特征利用了图像的列方向的全局特征，分离出与背景不同的可能的缺陷点，第三个特征利用了梯度特征，增强了梯度强度大的像素点，第四，第五个特征，分别是行方向和列方向上的局部均值，包含图像的局部灰度信息。这些特征组成多尺度特征图能够有效帮助卷积神经网络的训练。普通的网络，只使用源图像作为输入，没有充分利用输入信息，需要使用大量的卷积块进行学习。对图像提取多尺度特征增加了图像信息，有效地帮助网络学习，使得网络只需要少量的卷积块就能获得满意的结果。同时，网络学习能力的提升，使得用来训练的样本数量也能较少，从而使得训练时间减少。；
(2)本发明搭建的卷积神经网络只包含12个卷积块，参数量相比于现有常见的网络显著减少，同时训练时间和测试时间都比现有常见的网络要缩短。这些性能的提升是多尺度特征带来的，一方面，多尺度特征的增加了网络的输入信息，使得网络需要的参数显著减少，而网络参数的减少可以缩短网络的训练时间和测试时间；另一方面，多尺度信息提升了网络的学习能力，使得用来训练的样本数量显著减少，也缩短了网络的训练时间。网络的前六个卷积块依次串联，并使用不同形状的卷积核，有效地融合输入特征。然后对特征进行下采样卷积后再上采样，这里使用了多尺度特征融合的思想。最后利用网络的预测能力，输出每个像素的类别；
(3)本发明构建的卷积神经网络训练过程的损失函数包括二值交叉熵函数和IOU函数，损失函数对网络的学习起着指导作用。单一的损失函数往往不能得到满意的效果，需要组合不同的损失函数。二值交叉熵函数能够提升单个像素的分类能力，但容易受到样本不均衡的影响。当负样本像素数量远多于正样本像素数量，网络会倾向于将正像素误判为负像素，导致预测结果的召回率低。通过设计较高的正样本权重，能够解决正负像素数量不均衡的问题，提高召回率，但同时又会使得网络的准确率降低；而IOU函数能够提高预测缺陷面积和形状的精确度，使得预测结果更接近真实值，但单一的IOU函数只关注形状信息，会使得训练过程不稳定，结果不可预测。因此结合交叉熵函数和IOU函数，既能保证召回率，又能保持准确率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明公开的一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法的流程图；
图2是本发明实施例中图像金字塔和多尺度特征提取过程示意图；
图3是本发明实施例中卷积块结构图；
图4是本发明实施例中卷积神经网络的结构图；
图5是本发明实施例中不同方法的分割结果示意图，从第一列到最后一列依次是：测试图像，标签，分别来自方法Unet++，Deeplab，Segnet和PFCNN的结果，其中PFCNN是本发明提出的分割方法的英文缩写名称。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例主要针对轨道钢表面提出了一种结合传统特征提取技术和深度学习的图像分割技术，先构建图像金字塔，再提取多尺度特征，然后将多尺度特征作为卷积神经网络的输入，训练卷积神经网络。经过训练的卷积神经网络能够完成轨道钢表面的缺陷分割任务。
图1是本实施例公开的一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法的流程图，下面通过具体实施例来进行说明。一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，具体步骤如下：
S1、以轨道钢表面图像作为输入图像I0，通过对输入图像I0依次进行多次尺寸缩放得到不同尺寸的图像，构建图像金字塔；
本实施例中，步骤S1中构建图像金字塔的具体过程如下：
S1.1、以轨道钢表面图像作为输入图像I0，将输入图像I0的尺寸缩放到1024×160，得到图像I1；
S1.2、将图像I1的长和宽通过图像缩放算法依次缩小一半，重复4次，分别得到图像I2、I3、I4、I5，对应的尺寸分别为512×80、256×40、128×20、64×10，其中，所述图像缩放算法为双线性插值法。
S2、对不同尺寸的图像依次提取多尺度特征图；
本实施例中，步骤S2中提取多尺度特征图的过程如下：
S2.1、将图像I1的灰度范围从0～255归一化到0～1，归一化公式如下：I1(i,j)＝I1(i,j)÷255，其中i,j表示图像I1的索引，I1(i,j)表示图像I1的第i行第j列的像素灰度值，i∈[1,H]，j∈[1,W]，H、W分别表示图像I1的长和宽；
S2.2、将图像I1灰度翻转，得到特征图f1，公式如下：f1(i,j)＝1-I1(i,j)，其中f1(i,j)表示二维图像特征图f1的第i行第j列的像素灰度值；
S2.3、计算特征图f2过程如下：
先计算图像I1每一列像素的灰度平均值Iavg(j)和最小值Imin(j)，计算公式如下：
其中min(*)表示最小值函数，Iavg是一个一维向量，Iavg(j)表示向量的第j个值，Imin是一个一维向量，Imin(j)表示向量的第j个值；
计算一个单边阈值Ith(j)，并计算其均值mth，计算公式如下：Ith(j)＝(Iavg(j)+Imin(j))/2，其中Ith(j)表示一维向量Ith的第j个值；
然后将Ith(j)中大于mth的部分置为mth：
计算I1(i,j)与Ith(j)的正距离Dc(i,j)：Dc(i,j)＝Relu(Ith(j)-I1(i,j))，其中Dc(i,j)表示二维矩阵Dc的第i行第j列的值，函数Relu的表达式为：其中x表示Relu函数的自变量；
最后计算特征图f2：f2(i,j)＝Dc(i,j)*(Iavg(j)-I1(i,j))，其中f2(i,j)表示二维矩阵f2的第i行第j列的值；
S2.4、计算图像I1的梯度图Ig，然后计算Ig每一列的均值mg(j)，再与Ig相减得到特征图f3，计算公式如下：f3(i,j)＝Ig(i,j)-mg(j)，其中Ig(i,j)表示二维矩阵Ig的第i行第j列的值，mg(j)表示一维向量mg的第j个值，f3(i,j)表示二维矩阵f3的第i行第j列的值；
S2.5、使用卷积核k1与图像I1进行卷积，卷积结果记为Ik1，再与I1相减得到特征图f4，计算公式如下：
其中表示卷积操作，/>
f4＝Relu(I1-Ik1)；
S2.6、使用卷积核k2与图像I1进行卷积，卷积结果记为Ik2，再与I1相减得到特征图f5，计算公式如下：f5＝Relu(I1-Ik2)，其中k2＝k1 T，上标T表示转置运算；
S2.7、将图像I2～I5依次重复步骤S2.1～S2.6提取多尺度特征图，将得到的特征图缩放到I1的尺寸，最终得到25个特征图，即为多尺度特征图。
S3、搭建卷积神经网络；该卷积神经网络包含11个卷积块、一个最大池化层、一个转置卷积层、一个输出卷积层，其中，每个卷积块包含三个单元，分别是卷积层、归一化层、Relu激活函数层，卷积层的步长都为1；各个组成单位的参数如下：
第一卷积块中，卷积核大小为3×3，输入和输出通道数分别为25，64；
第二卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
第三卷积块，卷积核大小为1×7，输入和输出通道数分别为64，64；
第四卷积块，卷积核大小为7×1，输入和输出通道数分别为64，64；
第五卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
第六卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
最大池化层，池化核大小为2×2，步长为2×2；
第七卷积块，卷积核大小为3×3，输入和输出通道数分别为64，128；
第八卷积块，卷积核大小为3×3，输入和输出通道数分别为128，128；
转置卷积层，卷积核大小为3×3，步长为2×2，输入和输出通道数分别为128，64；
第九卷积块，卷积核大小为3×3，输入和输出通道数分别为128，64；
第十卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
第十一卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
输出卷积层，卷积核大小为3×3，输入和输出通道数分别为64，1。
上述卷积神经网络的搭建过程如下：
S3.1、将第一卷积块到第六卷积块按顺序串联，每个卷积块的输出是下一个卷积块的输入；
S3.2、最大池化层将第六卷积块的输出进行下采样，下采样结果作为第七卷积块的输入；
S3.3、将第七卷积块、第八卷积块串联；
S3.4、转置卷积层对第八卷积块的输出进行上采样；
S3.5、将转置卷积层的输出和第六卷积块的输出进行拼接，组成128通道的数据，并作为第九卷积块的输入；
S3.6、将第九卷积块、第十卷积块、第十一卷积块按顺序串联，第十一卷积块的输出作为输出卷积层的输入；
S3.7、输出卷积层输出二值分割图。
S4、训练所述卷积神经网络；本实施例中训练卷积神经网络的过程如下：
S4.1、构建带有缺陷分割二值标签图的训练集；
S4.2、将输入图像经过步骤S1和步骤S2处理，提取出多尺度特征图，输入卷积神经网络；
S4.3、采用二元交叉熵函数和IOU函数计算卷积神经网络的输出结果与训练集的标签图的损失，；
S4.4、使用Adam优化算法进行参数更新；
S4.5、训练10个周期后，重置Adam优化算法参数，再训练10×U个周期，U为大于等于1的整数。
上述二元交叉熵函数的计算公式如下：
其中lCE为二元交叉熵函数，yk是第k个预测值，y′k为第k个标签值，wp是正样本权重，log()是以2为底的对数函数，N为图像中像素数量，N＝H×W，H，W为图像的长度和宽度。
上述IOU函数的计算公式如下：
其中lIOU为IOU损失函数，yk是第k个预测值，y′k为第k个标签值，log()是以2为底的对数函数，N为图像中像素数量，N＝H×W，H，W为图像的长度和宽度。
S5、使用经过训练的卷积神经网络对轨道钢进行表面缺陷检测，输出缺陷分割结果。
本实施例中，该步骤过程如下：S5.1、构建带有缺陷分割二值标签图的训练集；
S5.2、输入图像经过步骤S1和步骤S2处理，提取出多尺度特征图，输入经过训练的卷积神经网络；
S5.3、卷积神经网络输出最终的预测结果。
实施例二
在本实施例中，数据集总共包含67个样本，随机选取40％即27个样本作为训练集，剩下40个样本作为测试集，每个样本均包含一个或多个缺陷。实施例中，将三种基于卷积神经网络的方法与本发明提出的方法进行了比较，所有方法都使用相同的训练集和测试集。用来对比的三种方法分别是Unet++，Deeplab，Segnet，本发明提出的方法记为PFCNN。不同方法测量结果如下表1所示：
表1.不同方法的评价指标表
其中PR，RC，FM定义如下：
PR＝TP/(TP+FP)；RC＝TP/(TP+FN)；FM＝2×PR×RC/(PR+RC)
其中，TP表示缺陷像素预测为缺陷像素的个数，FP表示非缺陷像素预测为缺陷像素的个数，FN表示非缺陷像素预测为缺陷像素的个数。这三个指标是像素级形式的指标，PR′，RC′，FM′则是缺陷级的指标，定义如下：PR′＝TP′/P；RC′＝TP″/Nf；FM′＝2×PR′×RC′/(PR′+RC′)；
其中TP′表示被正确检测的缺陷数目，TP″表示被召回的缺陷数目。当预测的缺陷块与真实的缺陷块的重叠面积大于预测缺陷面积的一半时，则缺陷被正确检测；当一个真实的缺陷，存在若干个预测的缺陷块与之重叠，重叠面积大于真实缺陷面积的一半时，则缺陷被召回。P表示预测缺陷的总数目，Nf表示真实缺陷的总数目。以上六个评价指标的数值越高，则说明分割的精度越高，对应的方法越优秀。表2展示了不同神经网络的参数规模以及网络的预测时间：
表2.不同网络的参数规模和预测时间表
| 方法 | Unet++ | Deeplab | Segnet | PFCNN |
| 参数规模(MB) | 105 | 680 | 337 | 5 |
| 预测时间(ms) | 56 | 107 | 55 | 31 |
从表1可以看出，总的来说，本发明提出的方法的性能比实验中所有的比较方法都要好。在像素级别的指标上，有着最高的召回率和FM，有着第二高的准确率。在缺陷级别的指标上，同样有着最高的召回率和FM’，有着第二高的准确率，因此提出的方法在分割性能上要优于其他方法。从表2可以看出，本文所提出的网络在参数规模上远小于其他对比的网络，同时预测时间也比其他网络要短，因此提出的方法在实时性能上要优于其他网络。综合两个尺度的评价，对于轨道钢表面缺陷，提出的方法的分割性能优越，实时性能突出。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (5)
1.一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，其特征在于，所述分割方法包括以下步骤：
S1、以轨道钢表面图像作为输入图像I0，通过对输入图像I0依次进行多次尺寸缩放得到不同尺寸的图像，构建图像金字塔；所述步骤S1中构建图像金字塔的过程如下：
S1.1、以轨道钢表面图像作为输入图像I0，将输入图像I0的尺寸缩放到1024×160，得到图像I1；
S1.2、将图像I1的长和宽通过图像缩放算法依次缩小一半，重复4次，分别得到图像I2、I3、I4、I5，对应的尺寸分别为512×80、256×40、128×20、64×10，其中，所述图像缩放算法为双线性插值法；
S2、对不同尺寸的图像依次提取多尺度特征图；所述步骤S2中提取多尺度特征图的过程如下：
S2.1、将图像I1的灰度范围从0～255归一化到0～1，归一化公式如下：I1(i,j)＝I1(i,j)÷255，其中i,j表示图像I1的索引，I1(i,j)表示图像I1的第i行第j列的像素灰度值，i∈[1,H]，j∈[1,W]，H、W分别表示图像I1的长和宽；
S2.2、将图像I1灰度翻转，得到特征图f1，公式如下：f1(i,j)＝1-I1(i,j)，其中f1(i,j)表示二维图像特征图f1的第i行第j列的像素灰度值；
S2.3、计算特征图f2过程如下：
先计算图像I1每一列像素的灰度平均值Iavg(j)和最小值Imin(j)，计算公式如下：
其中min(*)表示最小值函数，Iavg是一个一维向量，Iavg(j)表示向量的第j个值，Imin是一个一维向量，Imin(j)表示向量的第j个值；
计算一个单边阈值Ith(j)，并计算其均值mth，计算公式如下：Ith(j)＝(Iavg(j)+Imin(j))/2，其中Ith(j)表示一维向量Ith的第j个值；
然后将Ith(j)中大于mth的部分置为mth：
计算I1(i,j)与Ith(j)的正距离Dc(i,j)：Dc(i,j)＝Relu(Ith(j)-I1(i,j))，其中Dc(i,j)表示二维矩阵Dc的第i行第j列的值，函数Relu的表达式为：其中x表示Relu函数的自变量；
最后计算特征图f2：f2(i,j)＝Dc(i,j)*(Iavg(j)-I1(i,j))，其中f2(i,j)表示二维矩阵f2的第i行第j列的值；
S2.4、计算图像I1的梯度图Ig，然后计算Ig每一列的均值mg(j)，再与Ig相减得到特征图f3，计算公式如下：f3(i,j)＝Ig(i,j)-mg(j)，其中Ig(i,j)表示二维矩阵Ig的第i行第j列的值，mg(j)表示一维向量mg的第j个值，f3(i,j)表示二维矩阵f3的第i行第j列的值；
S2.5、使用卷积核k1与图像I1进行卷积，卷积结果记为Ik1，再与I1相减得到特征图f4，计算公式如下：
其中表示卷积操作，/>
f4＝Relu(I1-Ik1)；
S2.6、使用卷积核k2与图像I1进行卷积，卷积结果记为Ik2，再与I1相减得到特征图f5，计算公式如下：f5＝Relu(I1-Ik2)，其中k2＝k1 T，上标T表示转置运算；
S2.7、将图像I2～I5依次重复步骤S2.1～S2.6提取多尺度特征图，将得到的特征图缩放到I1的尺寸，最终得到25个特征图，即为多尺度特征图；
S3、搭建卷积神经网络；所述卷积神经网络包含11个卷积块、一个最大池化层、一个转置卷积层、一个输出卷积层，其中，每个卷积块包含三个单元，分别是卷积层、归一化层、Relu激活函数层，卷积层的步长都为1；各个组成单位的参数如下：
第一卷积块中，卷积核大小为3×3，输入和输出通道数分别为25，64；
第二卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
第三卷积块，卷积核大小为1×7，输入和输出通道数分别为64，64；
第四卷积块，卷积核大小为7×1，输入和输出通道数分别为64，64；
第五卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
第六卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
最大池化层，池化核大小为2×2，步长为2×2；
第七卷积块，卷积核大小为3×3，输入和输出通道数分别为64，128；
第八卷积块，卷积核大小为3×3，输入和输出通道数分别为128，128；
转置卷积层，卷积核大小为3×3，步长为2×2，输入和输出通道数分别为128，64；
第九卷积块，卷积核大小为3×3，输入和输出通道数分别为128，64；
第十卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
第十一卷积块，卷积核大小为3×3，输入和输出通道数分别为64，64；
输出卷积层，卷积核大小为3×3，输入和输出通道数分别为64，1；
所述步骤S3中搭建卷积神经网络的具体过程如下：
S3.1、将第一卷积块到第六卷积块按顺序串联，每个卷积块的输出是下一个卷积块的输入；
S3.2、最大池化层将第六卷积块的输出进行下采样，下采样结果作为第七卷积块的输入；
S3.3、将第七卷积块、第八卷积块串联；
S3.4、转置卷积层对第八卷积块的输出进行上采样；
S3.5、将转置卷积层的输出和第六卷积块的输出进行拼接，组成128通道的数据，并作为第九卷积块的输入；
S3.6、将第九卷积块、第十卷积块、第十一卷积块按顺序串联，第十一卷积块的输出作为输出卷积层的输入；
S3.7、输出卷积层输出二值分割图；
S4、训练所述卷积神经网络；
S5、使用经过训练的卷积神经网络对轨道钢进行表面缺陷检测，输出缺陷分割结果。
2.根据权利要求1所述的基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，其特征在于，所述步骤S4中训练卷积神经网络的过程如下：
S4.1、构建带有缺陷分割二值标签图的训练集；
S4.2、将输入图像经过步骤S1和步骤S2处理，提取出多尺度特征图，输入卷积神经网络；
S4.3、采用二元交叉熵函数和IOU函数计算卷积神经网络的输出结果与训练集的标签图的损失；
S4.4、使用Adam优化算法进行参数更新；
S4.5、训练10个周期后，重置Adam优化算法参数，再训练10×U个周期，U为大于等于1的整数。
3.根据权利要求2所述的基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，其特征在于，所述二元交叉熵函数的计算公式如下：
其中lCE为二元交叉熵函数，yk是第k个预测值，y′k为第k个标签值，wp为正样本权重，log()是以2为底的对数函数，N为图像中像素数量，N＝H×W，H，W为图像的长度和宽度。
4.根据权利要求2所述的基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，其特征在于，所述IOU函数的计算公式如下：
其中lIOU为IOU损失函数，yk是第k个预测值，y′k为第k个标签值，log()是以2为底的对数函数，N为图像中像素数量，N＝H×W，H，W为图像的长度和宽度。
5.根据权利要求1所述的基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，其特征在于，所述步骤S5中使用经过训练的卷积神经网络对轨道钢进行表面缺陷检测，输出缺陷分割结果的过程如下：
S5.1、构建带有缺陷分割二值标签图的训练集；
S5.2、输入图像经过步骤S1和步骤S2处理，提取出多尺度特征图，输入经过训练的卷积神经网络；
S5.3、卷积神经网络输出最终的预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111427740.XA CN114219811B (zh) | 2021-11-26 | 2021-11-26 | 基于特征金字塔和神经网络的轨道钢表面缺陷分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111427740.XA CN114219811B (zh) | 2021-11-26 | 2021-11-26 | 基于特征金字塔和神经网络的轨道钢表面缺陷分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114219811A CN114219811A (zh) | 2022-03-22 |
| CN114219811B true CN114219811B (zh) | 2024-05-14 |
Family
ID=80698703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111427740.XA Active CN114219811B (zh) | 2021-11-26 | 2021-11-26 | 基于特征金字塔和神经网络的轨道钢表面缺陷分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114219811B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859163A (zh) * | 2018-12-19 | 2019-06-07 | 重庆邮电大学 | 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法 |
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| CN111899225A (zh) * | 2020-06-30 | 2020-11-06 | 烟台市计量所 | 基于多尺度金字塔结构的核电管道缺陷检测方法 |
| CN113192073A (zh) * | 2021-04-06 | 2021-07-30 | 浙江科技学院 | 基于交叉融合网络的服装语义分割方法 |
| CN113658176A (zh) * | 2021-09-07 | 2021-11-16 | 重庆科技学院 | 基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法 |
-
2021
- 2021-11-26 CN CN202111427740.XA patent/CN114219811B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| CN109859163A (zh) * | 2018-12-19 | 2019-06-07 | 重庆邮电大学 | 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法 |
| CN111899225A (zh) * | 2020-06-30 | 2020-11-06 | 烟台市计量所 | 基于多尺度金字塔结构的核电管道缺陷检测方法 |
| CN113192073A (zh) * | 2021-04-06 | 2021-07-30 | 浙江科技学院 | 基于交叉融合网络的服装语义分割方法 |
| CN113658176A (zh) * | 2021-09-07 | 2021-11-16 | 重庆科技学院 | 基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114219811A (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113807355B (zh) | 一种基于编解码结构的图像语义分割方法 | |
| CN111179229B (zh) | 一种基于深度学习的工业ct缺陷检测方法 | |
| CN107564025B (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
| CN105701508B (zh) | 基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法 | |
| CN113850824B (zh) | 一种基于多尺度特征融合的遥感图像路网提取方法 | |
| CN112465790A (zh) | 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法 | |
| CN106980858B (zh) | 一种语言文本检测与定位系统及应用该系统的语言文本检测与定位方法 | |
| CN110111334B (zh) | 一种裂缝分割方法、装置、电子设备及存储介质 | |
| CN110570396A (zh) | 一种基于深度学习的工业产品缺陷检测方法 | |
| CN108492271A (zh) | 一种融合多尺度信息的自动图像增强系统及方法 | |
| CN113628178B (zh) | 一种速度与精度平衡的钢铁产品表面缺陷检测方法 | |
| CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
| CN111429403A (zh) | 一种基于机器视觉的汽车齿轮成品缺陷检测方法 | |
| CN112489023A (zh) | 一种基于多尺度和多层次的路面裂缝检测方法 | |
| CN114612664A (zh) | 一种基于双边分割网络的细胞核分割方法 | |
| CN113066025B (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN116071338A (zh) | 一种基于yolox的钢板表面缺陷检测方法、装置及设备 | |
| CN114092467A (zh) | 一种基于轻量化卷积神经网络的划痕检测方法及系统 | |
| CN103810522A (zh) | 一种玉米果穗籽粒计数方法和装置 | |
| CN116721291A (zh) | 基于改进YOLOv7模型的金属表面缺陷检测方法 | |
| CN115359455A (zh) | 一种基于深度学习的轻量级车辆检测方法 | |
| CN111145178A (zh) | 高分辨率遥感图像多尺度分割方法 | |
| CN114219811B (zh) | 基于特征金字塔和神经网络的轨道钢表面缺陷分割方法 | |
| CN114820423A (zh) | 一种基于显著性目标检测的自动抠图方法及其配套系统 | |
| CN113591608A (zh) | 一种基于深度学习的高分辨率遥感影像不透水面提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |