CN115526864A - 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法 - Google Patents

基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法 Download PDF

Info

Publication number
CN115526864A
CN115526864A CN202211209175.4A CN202211209175A CN115526864A CN 115526864 A CN115526864 A CN 115526864A CN 202211209175 A CN202211209175 A CN 202211209175A CN 115526864 A CN115526864 A CN 115526864A
Authority
CN
China
Prior art keywords
network
feature
steel rail
convolution
surface defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211209175.4A
Other languages
English (en)
Inventor
贺振东
安小宇
刁智华
刘洁
葛世举
赵素娜
何艳
张辉
杨易民
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University of Light Industry
Original Assignee
Zhengzhou University of Light Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University of Light Industry filed Critical Zhengzhou University of Light Industry
Priority to CN202211209175.4A priority Critical patent/CN115526864A/zh
Publication of CN115526864A publication Critical patent/CN115526864A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，在ResNet50网络中加入可变形卷积DC和卷积注意模块CBAM，得到改进的特征金字塔网络FPN，在MS COCO数据集上预训练改进的特征金字塔网络FPN，将训练后的网络参数和网络模型迁移到钢轨表面缺陷检测模型中；对钢轨表面缺陷数据集利用改进的FPN网络进行特征提取和定位，得到特征图ROI输入RepMet网络，利用多模态网络结构和DML嵌入模块的特征向量计算钢轨缺陷分类识别的概率，实现缺陷检测的目标识别和分类。本发明相比其他少样本方法有更好的性能提升。

Description

基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测 方法
技术领域
本发明涉及表面缺陷检测技术，尤其涉及一种基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法。
背景技术
近年来铁路部门实行大提速战略，目的是大幅度加快列车尤其是高速列车的运行速度和运行频率，而轨道会因此更容易受到不同程度的磨损，导致表面产生缺陷。钢轨作为铁路轨道的重要组成部分，钢轨表面缺陷对轨道车辆的轮和轴承造成极大的损坏，当车轮在有缺陷表面的轨道上移动时，周期性碰撞将导致整个车辆和轨道系统的耦合振动。这将缩短列车部件的使用寿命，也是导致车辆脱轨、翻车和车轴燃烧的重要原因。钢轨表面探伤作为钢轨缺陷检测的重要手段，通常此类检查工作主要以机械式检测为主，人工巡检与目测为辅，但这不仅造成严重的人力资源浪费，而且带来了耗时、准确性低和主观评估等问题。目前，这种方法正逐渐被自动检测方法所取代，比如超声波检测、涡流检测、漏磁检测等等。这对传感器本身的可靠性和准确性要求很高，且操作不便。机器学习可以专注于图像特征，以快速准确地检测钢轨缺陷。因此，基于机器视觉的钢轨表面缺陷检测具有重要的应用前景和学术研究意义。
随着深度学习技术的快速发展，深度卷积神经网络(deep convolutional neuralnetworks，DCNN)被用来提取特征和识别特征，在目标识别、目标检测等领域有很好的应用。研究者提出了很多方法，比如Kang等人提出了一种基于深度卷积神经网络的新型表面缺陷检测系统，解决缺陷的视觉复杂性和数量很少的问题。L Shang等人提出一种新型的两阶段检测铁路检测方法，包括采用传统图像处理方法和利用卷积神经网络(convolutionalneural networks，CNN)提取特征进行图像分类。Jin等人利用改进的高斯混合模型和马尔可夫随机场以及CNN，建立了一种用于表面缺陷的深度多模轨道检测系统。Yu等人提出了一种缺陷识别模型，用于识别从粗到细的不同尺度的缺陷。Liu等人提出一种基于DCNN的检测模型和一种新的样本生成方法，用于解决样本少的问题。Gibert等人将DCNN运用在紧固件状态的自动检测中，但是训练复杂度较高并且需要大量的训练样本。Feng等人对YOLO算法和特征金字塔网络(feature pyramid network，FPN)进行改进，使用MobileNet的骨干网络和检测层对钢轨缺陷进行检测。Yang等人提出了一种快速钢轨表面缺陷检测方法，包括轨道提取、基于边缘像素的缺陷分割以及用于精确定位和缺陷检测的YOLOv2。Ni等人提出了一种注意力网络，用于通过中心点估计的联合一致性上的相交来检测钢轨表面缺陷。Liu等人使用金字塔特征提取模块提取多尺度特征图，然后由轻量级网络进行训练，用于钢轨表面缺陷检测。
针对钢轨缺陷检测，很多基于深度学习的检测方法具有很好的效果，但是主要困难如下：1)缺陷样本少，用于传统卷积神经网络训练容易过拟合。2)缺陷尺度大小不一，网络对微小缺陷识别率不高。
针对困难1，研究者们从生成对抗网络、迁移学习和元学习方面进行深入研究。例如，Goodfellow等人提出生成对抗网络(generative adversarial networks，GAN)，在图像生成方面已经有一些研究和应用。Zhang等人基于特征重建和变形信息，利用数据扩展进行少量镜头学习，建立了对抗性数据增强模型。Weiss等人对迁移学习进行综述，对少样本情况下迁移学习的应用问题进行了探讨。Vinyals等人提出了利用一样本学习的匹配网络去学习归类。Snell等人提出了少样本学习的原型网络，通过原型网络学习一个度量空间，在这个度量空间中，可通过计算到每个类的原型表示的距离来进行分类。Gao等人提出了基于混合注意的噪声少样本关系分类原型网络，用于解决少样本学习中易受噪声实例影响和特征稀疏的问题。Lv等人提出了一种结合注意机制的少样本学习方法，采用CNN提取图像特征，关系网络计算图像间的相似度，通过相似度预测图像类别。
针对困难2，研究者们从多尺度特征融合的方式开展缺陷检测研究。例如，Xu等人为解决随着网络加深，特征消失的多尺度缺陷检测问题，提出了一种双向注意特征金字塔网络结构，有效实现了多尺度缺陷检测。FPN可以有效的进行多尺度融合，Li等人将FasterRCNN和FPN相结合，增加对细化浅层特征的使用，从而对小目标达到更好的检测效果。Li等人提出基于扩展特征金字塔网络模型的PCB缺陷检测算法，骨干由ResNet-101的一部分构建而成，并利用FPN网络结构获得最终特征层。Dong等人针对类内表面缺陷的复杂性问题，提出了一个金字塔特征融合和全局上下文注意网络。Yang等人提出一种基于多尺度SSD网络的流水线漏磁图像检测算法，用于解决SSD检测算法中小目标检测精度低的问题。Wu等人设计了一个扩展卷积模块，使用多尺度卷积核来适应不同大小的缺陷，以增强网络的特征提取能力。
针对上述两个困难点，本发明提出了一种基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法；使用迁移学习方法迁移训练好的参数模型解决少样本情况下训练网络的问题，使用度量学习解决检测类别的问题。
发明内容
为解决现有技术中存在的不足，本发明的目的在于，提供一种基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法。
为实现本发明的目的，本发明所采用的技术方案是：
一种基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，包括以下步骤：
(1)在ResNet50网络中加入可变形卷积DC和卷积注意模块CBAM，得到改进的特征金字塔网络FPN，作为钢轨表面缺陷特征提取网络；
(2)在MS COCO数据集上预训练改进的特征金字塔网络FPN，然后将训练后的网络参数和网络模型迁移到钢轨表面缺陷检测模型中；
(3)对钢轨表面缺陷数据集利用改进的FPN网络进行钢轨表面缺陷特征提取和定位，得到特征图ROI；
(4)将特征图ROI输入RepMet网络，RepMet网络包括距离度量学习DML嵌入模块；利用多模态网络结构获取ROI特征以得到对应的特征向量，再通过计算各个模态代表与嵌入模块得到的特征向量的距离，进行缺陷分类识别。
进一步地，步骤(1)中，改进的特征金字塔网络FPN，首先对图像进行可变形卷积DC，通过卷积注意模块CBAM聚焦钢轨缺陷特征，1×1卷积操作后，对上一层的特征图进行上采样并叠加融合当前层的特征图，3×3卷积之后得到不同尺度的特征图(p2，p3，p4，p5)，由对应各自的区域建议网络RPN得到特征图ROI，最后进行ROI池化，即可完成钢轨表面缺陷的特征提取。
进一步地，可变形卷积DC为给卷积操作每个点加上一个可学习的偏移量ΔPn，通过偏移量学习目标后，可变形卷积核的大小和位置根据当前图像内调整，不同位置的卷积核采样点根据图像内容进行自适应变化；可变形卷积DC定义为：
Figure BDA0003873904650000031
式中，y(P0)表示图像中P0点完成卷积操作后的值；Pn表示的是R中所有位置。
进一步地，卷积注意模块CBAM包括通道注意力模块CAM和空间注意力模块SAM，这两种模块分别在通道维度与空间维度上聚焦图像重要特征，通过两个池化操作聚合特征映射的通道信息，再通过标准卷积层将它们连接并卷积；
给定输入特征图F∈RC×H×W，通过一维通道注意映射Mc∈RC×1×1和二维空间注意映射Ms∈R1×H×W串行计算，得到输出F”，即：
Figure BDA0003873904650000041
Figure BDA0003873904650000042
其中，F'为输入特征经过通道注意模块的特征；F”为经过注意力模块最终输出的特征；
Figure BDA0003873904650000043
表示基于元素的乘法；C为通道数；H为特征图的高度；W为特征图的宽度。
进一步地，在对特征图进行RPN处理时，用边框回归损失函数对边框进行优化。
进一步地，步骤(4)包括步骤：
(4.1)利用多模态网络结构再进行一次卷积操作提取缺陷ROI特征，然后经全连接层提取得到各模态对应的特征向量Eij；每一个模态网络中由2个全连接层组成，并且每个全连接层后都加上ReLU激活函数；
(4.2)经嵌入模块DML进行非线性处理后得到特征矢量Ei；DML嵌入模块由3个全连接层组成，并且每个全连接层后都加上ReLU激活函数；
(4.3)计算特征矢量Ei与特征向量Eij之间的距离，表示经过FPN提取的i类在嵌入特征矢量Ei与各模态特征向量Eij的距离，这些距离用来计算给定ROI在每个类i在各模态j中的概率，从而进行ROI的分类判定。
进一步地，步骤(4.3)中，Ei与Eij之间的距离计算公式：
Figure BDA0003873904650000044
式中，n表示类别数，Dj(Ei)用于计算提取每个i类在各模态j中的概率，表示为公式：
Figure BDA0003873904650000045
进一步地，还包括缺陷ROI类别的后验概率计算和背景类别的后验概率计算。
进一步地，在进行分类识别时采用损失函数进行优化，采用嵌入损失函数和交叉熵损失函数。
本发明的有益效果在于，与现有技术相比，本发明针对缺陷尺度大小不一的问题，提出了加入CBAM并将FPN中的传统卷积改为动态卷积，并使用RPN对缺陷进行特征提取和边框定位，解决提取不同尺度表面缺陷的提取问题。
本发明针对样本少的问题，在大型数据集上预训练改进的FPN，再采用迁移学习将训练后的模型结构迁移到少样本缺陷检测中。可以避免过拟合现象，并且得到更优的网络参数，进而得到更准确的缺陷特征。
本发明建立多模态网络结构，确保相同类别特征图提取的特征尽可能一致，而不同类别的特征尽可能区别较大；再使用度量学习完成少样本钢轨表面缺陷检测。
附图说明
图1是基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法原理图；
图2是改进的特征金字塔网络结构图；
图3是CBAM结构图；
图4是RepMet模型结构图；
图5是可检测钢轨缺陷类型示意图；
图6是不同模型训练损失值示意图；
图7是CBAM注意力热力效果图；
图8是检测样本效果图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。
如图1所示，本发明所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，包括以下步骤：
(1)构建改进的特征金字塔网络(feature pyramid network，FPN)，本发明基于ResNet50网络设计，加入可变形卷积DC和卷积注意模块CBAM，得到改进的特征金字塔网络FPN，作为钢轨表面缺陷特征提取网络；
如图2所示，改进的特征金字塔网络FPN，为了增加缺陷特征在网络训练中的权重，在ResNet50的卷积层中加入卷积块注意力模块CBAM。
如图3所示，卷积注意模块CBAM包含2个独立子模块，分别是通道注意力模块(CAM)和空间注意力模块(SAM)，CAM利用共享网络的最大池化输出和平均池化输出，SAM利用类似的两个输出，沿着通道轴线传给卷积层。这两种模块分别在通道维度与空间维度上聚焦图像重要特征。通过两个池化操作聚合特征映射的通道信息，再通过标准卷积层将它们连接并卷积，以此生成注意力图，两个模块采用串联的方式。给定输入特征图F∈RC×H×W，通过一维通道注意映射Mc∈RC×1×1和二维空间注意映射Ms∈R1×H×W串行计算，得到输出F”，即：
Figure BDA0003873904650000051
Figure BDA0003873904650000052
其中，F'为输入特征经过通道注意模块的特征；F”为经过注意力模块最终输出的特征；
Figure BDA0003873904650000061
表示基于元素的乘法；C为通道数；H为特征图的高度；W为特征图的宽度。
基础ResNet50网络中采用的传统卷积运算可定义为：
Figure BDA0003873904650000062
式中：y(P0)表示图像中P0点完成卷积操作后的值；Pn表示的是R中所有位置，一般取整数。
从公式中可以看出，由于传统的卷积运算只能以相同的感受野提取固定的几何结构，因此对于缺陷的尺度不一问题的泛化能力有限。
针对不同尺度钢轨缺陷的问题，在ResNet50中引入可变形卷积DC。由于可变形卷积DC增加了偏移量，通过该偏移量学习目标后，可变形卷积核的大小和位置会根据当前图像内调整，不同位置的卷积核采样点会根据图像内容进行自适应变化。DC的定义可以由下述公式表示，在传统卷积操作定义的基础上，给每个点加上一个可学习的偏移量ΔPn，通常为小数。
Figure BDA0003873904650000063
如图2所示，为了得到钢轨表面缺陷不同尺度的特征图，本发明以ResNet50网络为基础，进行FPN设计。在不同尺度的特征图中使用Faster RCNN中的区域建议网络(regionproposal networks，RPN)提取ROI。不同尺度的特征图所对应的锚尺寸也不同，大小分别采用16×16、32×32、64×64、128×128。由于缺陷目标尺寸比例不一，锚结构比例使用1∶2、1∶1、2∶1这3种，与锚尺寸结合可以得到12种锚。
改进的特征金字塔网络结构，首先对图像进行可变形卷积操作，通过CBAM聚焦钢轨缺陷特征，1×1卷积操作后上采样，3×3卷积之后得到不同尺度的特征图(p2，p3，p4，p5)，由对应各自的RPN得到ROI，最后进行ROI池化，即可完成钢轨表面缺陷的特征提取。
由于钢轨表面缺陷复杂并且尺度不同，需要解决提取不同尺度表面缺陷的提取问题。钢轨表面的缺陷特征提取采用FPN结构，可以分别在高、中、低层的特征图中检测较大、次大、较小的目标缺陷。首先从不同的卷积层提取特征图，然后对上一层的特征图进行2倍上采样并叠加融合当前层的特征图，实现浅层特征图和深层特征图的信息融合。
在对特征图进行RPN处理时，缺陷的预测框与真实框越一致，缺陷提取效果越好，所以可以用边框回归函数对边框进行优化。框的位置主要由框的高度、宽度和中心坐标一起决定，下述公式为计算预测边框、真实边框与锚的偏差公式。
Figure BDA0003873904650000071
其中，(x,y,w,h)表示预测边框中心点坐标、宽度和高度；(x*,y*,w*,h*)表示真实边框中心点坐标、宽度和高度；(xa,ya,wa,ha)是锚的中心点坐标、宽度和高度。
下述公式为RPN采用的回归损失函数。
Figure BDA0003873904650000072
Figure BDA0003873904650000073
Figure BDA0003873904650000074
式中，N为锚的数量，R表示smooth L1函数。
训练过程中，使用预测边框和实际边框的重叠率IOU为阈值，划分正样本和负样本，其中IOU＞0.7的感兴趣区域作为正样本，将
Figure BDA0003873904650000075
IOU＜0.3的感兴趣区域作为负样本，将
Figure BDA0003873904650000076
表示锚预测的偏移量，
Figure BDA0003873904650000077
表示锚与实际边框的偏移量。
(2)在MS COCO数据集上预训练改进的特征金字塔网络FPN，然后将训练后的网络参数和网络模型迁移到钢轨表面缺陷检测模型中；
钢轨表面缺陷检测模型包括改进的FPN网络和RepMet网络。
MS COCO数据集是微软构建的一个数据集，COCO中的图片包含了自然图片以及生活中常见的目标图片，背景比较复杂，目标数量比较多，目标尺寸更小。
钢轨表面缺陷检测属于少样本检测，若没有足够的样本用于网络训练，网络会存在过拟合的现象。本发明使用迁移学习方法，在MS COCO数据集上预训练改进的FPN，并将训练学习到的网络参数和模型迁移到钢轨表面缺陷检测模型中，以此作为缺陷特征提取部分。这样可以避免过拟合现象，并且得到更优的网络参数，进而得到更准确的缺陷特征。
(3)对钢轨表面缺陷数据集进行微调，利用改进的FPN网络进行钢轨表面缺陷特征提取和定位，得到特征图ROI；
对钢轨表面缺陷数据集进行微调，包括对图像进行裁剪和分类。
(4)将特征图ROI输入RepMet网络，进行缺陷分类识别；通过多模态网络结构和特征向量计算钢轨缺陷分类识别的概率，实现缺陷检测的目标识别和分类。
如图4所示，RepMet模型是一种新的距离度量学习(distance metric learning，DML)方法，用于分类和小样本检测的模型。将输入图像经过FPN得到图像感兴趣区域(region of interest，ROI)的特征向量分两个分支。
一方面，特征向量通过DML嵌入模块输出矢量E，这个模块由几个具有批标准化(batch normalization，BN)和整流线性单元(rectified linear unit，ReLU)的全连接层(fully connected，FC)组成。
另一方面，特征向量通过一个全连接层将图像感兴趣区域的特征向量转化为各个类别的表征。从多模态混合分布中可以得到一组“代表”特征向量Rij，每个向量Rij表示在嵌入空间中学习的判别混合分布的第j个模式的中心，用于N个类中的第i个类。假设每个类的分布中有固定数量的K个模式(峰值)，则1≤j≤K。对于给定的图像(或ROI)及其对应的嵌入特征向量E，计算E与代表Rij之间的距离，这些距离用来计算给定图像(或ROI)在每个类i的每种模式j下的概率。
为了实现利用少量样本缺陷进行训练便可以实现缺陷识别，本发明以RepMet网络为基础改进，先利用多模态网络结构获取ROI特征以得到对应的特征向量，再通过计算各个模态代表与嵌入模块得到的特征向量的距离，识别缺陷类别。
改进的FPN网络提取特征图ROI，作为RepMet网络的输入，利用多模态网络结构再进行一次卷积操作进一步提取缺陷ROI特征，确保相同类别特征图提取的特征尽可能一致，而不同类别的特征尽可能区别较大。
Fi＝f(xi)，i∈R
式中：f为卷积操作；xi为提取第i类ROI区域的特征图；R代表所有的ROI区域的集合；Fi是经过卷积操作后的特征图。
DML嵌入模块E由3个全连接层组成，并且每个全连接层后都加上ReLU激活函数进行非线性处理。其中全连接层大小分别为512、256和128。该模块对ROI进行非线性处理后得到特征矢量Ei＝E(Fi)∈Re，之后可以利用相同的非线性结构提取所有ROI特征信息的共同特性。
多模态网络的建立能够使网络对相同特征类别尽可能提取相同的特征信息，对不同的特征类别提取较大差别的特征信息。与嵌入模块类似，多模态结构将特征图Fi卷积操作升维到全连接层FCm，该层大小设置为1024以提取更丰富的特征信息，有利于各个模态学习特征信息。每一个模态网络中由2个全连接层组成，其中FCn1＝256d，FCn2＝128d，(n＝1，…，N)，n是所需要分类的类别数，全连接层后都加上ReLU激活函数进行非线性处理，之后各模态得到对应的特征向量Eij(i＝1,2,…,n；j＝1,2,…,k)。
最后计算Ei与Eij之间的距离，表示经过FPN提取的i类在嵌入向量Ei与各模态特征向量Eij的距离，如公式：
Figure BDA0003873904650000091
式中：n表示类别数。
Dj(Ei)用于计算提取每个i类在各模态j中的概率，表示为公式：
Figure BDA0003873904650000092
式中：这里假设所有类别的分布都服从方差为σ2的各向同性的多元高斯分布，对ROI的分类判定采用公式：
Figure BDA0003873904650000093
式中：C＝i表示第i类，其最小值取所有模态计算的最小距离。
在完成缺陷ROI类别的后验概率计算后，需要再进一步计算背景类别的后验概率，此处与RepMet相同均使用前景概率对背景概率进行计算如公式：
P(B|X)＝P(B|E)＝1-minDj(Ei)
分类识别部分的损失函数采用嵌入损失函数和交叉熵损失函数这两个损失函数。嵌入损失函数是为了确保较小的距离d最接近正确的模态类，距离d越大表示并不属于该模态所学习的类，嵌入损失函数如公式：
Figure BDA0003873904650000094
其中，i*是正确类的标签。
交叉熵损失函数如公式：
Figure BDA0003873904650000095
嵌入损失函数Lem和交叉熵损失函数LCE之和Lt＝Lem+LCE对小样本缺陷分类识别的网络参数进行反向调整。
本发明实验环境是基于python3.7搭建的pytorch1.8下完成的，利用miniImageNet数据集评估本发明所提方法，并在构建的钢轨表面缺陷检测数据集上进行缺陷检测识别。
miniImageNet数据集是元学习和小样本学习的基准数据集，其中包含100个类别，并且每个类别包含600个样本。miniImageNet数据集上所有样本来自ImageNet数据集。
钢轨表面缺陷检测数据集由至少有一个缺陷的钢轨表面图像组成，共中有两类图像，一类是快速轨道的图像，另一类是普通或重载轨道的图像。为方便研究钢轨表面图像数据，将图像进行裁剪。经过分析研究，对钢轨表面缺陷图像进行分类，如图5所示，可以分为5类：裂缝、规则圆、不规则、小、模糊不清。裂缝形状是指横跨钢轨表面的长而窄的裂缝；规则圆形是指钢轨表面的圆形缺陷；不规则形状意味着钢轨的表面缺陷可能是由许多细粒度的形状引起的；小点状缺陷是指在钢轨表面出现的非常精细的缺陷，放大图像时可以看到缺陷的类型；模糊形状是钢轨表面有缺陷，但眼睛无法清楚地看到缺陷的轮廓。
一、miniImageNet数据集实验结果
使用5-way 1-shot和5-way 5-shot两种模式进行训练，即每次实验中，从缺陷数据集中每类抽取1个样本(1-shot)或5个样本(5-shot)进行训练。评价标准选用准确率(Accuracy，Acc)：Acc＝(TP+TN)/Total，其中TP+TN表示正确预测的样本数，Total表示样本总数。
在不同训练采样次数下损失值(Loss)曲线如图6所示。在训练过程中，网络的训练集的loss值下降的同时，验证集上的性能不断提升，这表明网络可学到适用于缺陷检测的分类性能。另外，为了更好地体现网络与传统深度学习在性能上的差异，一般采用miniImageNet数据集上训练和从头学习两种方式测试网络性能。本发明网络采用第一种学习方式，实验结果如表1所示。
表1 miniImageNet数据集的mAP结果
Model 5-way 1-shot 5-way 5-shot
Matching Network 43.56 55.31
Prototypical Network 49.42 68.20
MAML 48.70 63.11
Relation Network 50.44 65.32
RepMet 56.90 68.80
Ours 58.70 73.42
通过表1的实验结果可以看出，本发明改进的FPN能够更好的聚焦目标特征，并且利用度量学习的方法在实验中得到的实验性能高于对比的其他方法，充分证明了该方法在少样本目标检测中的有效性。
对本发明模型使用消融实验，以验证本发明的改进部分对整体模型性能的影响。“non-CBAM”实验为模型中不采用CBAM，其余设置不变。“non-FPN”实验为不使用FPN，仅用网络最后一层特征完成ROI提取，其余设置不变。“non-DC”实验为不对网络特征图进行可变形卷积操作，其余设置不变。“non-FT”实验为不微调处理预训练的模型提取ROI过程。“IOU-DML”实验为结合RepMet所提出的DML子网结构提取ROI。消融实验结果如表2所示。
表2 miniImageNet数据集进行消融实验的mAP评估结果
5-way 1-shot 5-way 5-shot
non-FPN 31.45 40.27
non-CBAM 58.02 71.72
non-DC 48.53 61.01
non-FT 57.13 69.84
IOU-DML 56.98 69.21
Ours 58.70 73.42
从表2结果看，在不使用FPN以及DC操作时，网络在miniImageNet数据集的5类小样本性能下降严重。在不使用CBAM时，模型性能相比于本发明模型略有下降。在不使用损失函数进行微调ROI提取模块时，模型性能相比本发明模型略有下降。利用RepMet中的DML子网络替换ROI识别模块后，模型性能有所提升。由结果可以看出，FPN和DC操作对模型有较大的影响，ROI模块和微调操作以及CBAM可在一定程度上提升模型的性能。
二、钢轨表面缺陷数据集检测结果
使用本发明方法对钢轨表面缺陷数据集进行实验，以验证本发明方法在钢轨表面缺陷检测的有效性。
CBAM是本发明模型中重要的组成部分，为了研究注意力模块对性能的影响情况，对CBAM进行相关实验。实验结果如图7所示。可以看到，添加CBAM的网络对缺陷部分学习效果更好。
实验采用5类1样本和5类5样本的任务划分规划，分别训练网络，在测试集上评估模型性能。表3为钢轨表面缺陷数据集mAP评估结果。图8为检测样本效果图。
表3钢轨数据集的mAP评估结果
Figure BDA0003873904650000111
Figure BDA0003873904650000121
由表3可知，随着样本量增加，在5-way 5-shot情况下，本发明方法性能相比于其他少样本检测方法包括RepMet网络更高。同一网络在5-way 5-shot情况下比5-way 1shot情况下性能更高，表明样本更多可以让网络学习到信息更多，网络性能也能大幅度提升。
实验结果表明，该方法在miniImageNet公共数据集上的性能优于其他模型，5-way5-shot下平均精度为73.42％；在钢轨表面缺陷数据集上，5-way 5-shot的平均精度最高可达63.29％。在miniImageNet公共数据集和钢轨表面缺陷检数据集上实验，本发明相比其他少样本方法有更好的性能提升，随着样本提升，本发明方法存在进一步的提升空间。
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (9)

1.一种基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，其特征在于，包括以下步骤：
(1)在ResNet50网络中加入可变形卷积DC和卷积注意模块CBAM，得到改进的特征金字塔网络FPN，作为钢轨表面缺陷特征提取网络；
(2)在MS COCO数据集上预训练改进的特征金字塔网络FPN，然后将训练后的网络参数和网络模型迁移到钢轨表面缺陷检测模型中；
(3)对钢轨表面缺陷数据集利用改进的FPN网络进行钢轨表面缺陷特征提取和定位，得到特征图ROI；
(4)将特征图ROI输入RepMet网络，RepMet网络包括距离度量学习DML嵌入模块；利用多模态网络结构获取ROI特征以得到对应的特征向量，再通过计算各个模态代表与DML嵌入模块得到的特征向量的距离，进行缺陷分类识别。
2.根据权利要求1所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，其特征在于，步骤(1)中，改进的特征金字塔网络FPN，首先对图像进行可变形卷积DC，通过卷积注意模块CBAM聚焦钢轨缺陷特征，1×1卷积操作后，对上一层的特征图进行上采样并叠加融合当前层的特征图，3×3卷积之后得到不同尺度的特征图(p2，p3，p4，p5)，由对应各自的区域建议网络RPN得到特征图ROI，最后进行ROI池化，即可完成钢轨表面缺陷的特征提取。
3.根据权利要求2所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，其特征在于，可变形卷积DC为给卷积操作每个点加上一个可学习的偏移量ΔPn，通过偏移量学习目标后，可变形卷积核的大小和位置根据当前图像内调整，不同位置的卷积核采样点根据图像内容进行自适应变化；可变形卷积DC定义为：
Figure FDA0003873904640000011
式中，y(P0)表示图像中P0点完成卷积操作后的值；Pn表示的是R中所有位置。
4.根据权利要求2所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，其特征在于，卷积注意模块CBAM包括通道注意力模块CAM和空间注意力模块SAM，这两种模块分别在通道维度与空间维度上聚焦图像重要特征，通过两个池化操作聚合特征映射的通道信息，再通过标准卷积层将它们连接并卷积；
给定输入特征图F∈RC×H×W，通过一维通道注意映射Mc∈RC×1×1和二维空间注意映射Ms∈R1×H×W串行计算，得到输出F”，即：
Figure FDA0003873904640000021
Figure FDA0003873904640000022
其中，F'为输入特征经过通道注意模块的特征；F”为经过注意力模块最终输出的特征；
Figure FDA0003873904640000023
表示基于元素的乘法；C为通道数；H为特征图的高度；W为特征图的宽度。
5.根据权利要求2所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，其特征在于，在对特征图进行RPN处理时，用边框回归损失函数对边框进行优化。
6.根据权利要求1所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，其特征在于，步骤(4)包括步骤：
(4.1)利用多模态网络结构再进行一次卷积操作提取缺陷ROI特征，然后经全连接层提取得到各模态对应的特征向量Eij；每一个模态网络中由2个全连接层组成，并且每个全连接层后都加上ReLU激活函数；
(4.2)经DML嵌入模块进行非线性处理后得到特征矢量Ei；DML嵌入模块由3个全连接层组成，并且每个全连接层后都加上ReLU激活函数；
(4.3)计算特征矢量Ei与特征向量Eij之间的距离，表示经过FPN提取的i类在嵌入特征矢量Ei与各模态特征向量Eij的距离，这些距离用来计算给定ROI在每个类i在各模态j中的概率，从而进行ROI的分类判定。
7.根据权利要求6所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，其特征在于，步骤(4.3)中，Ei与Eij之间的距离计算公式：
Figure FDA0003873904640000024
式中，n表示类别数，Dj(Ei)用于计算提取每个i类在各模态j中的概率，表示为公式：
Figure FDA0003873904640000025
8.根据权利要求6所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，其特征在于，还包括缺陷ROI类别的后验概率计算和背景类别的后验概率计算。
9.根据权利要求6所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，其特征在于，在进行分类识别时采用损失函数进行优化，采用嵌入损失函数和交叉熵损失函数。
CN202211209175.4A 2022-09-30 2022-09-30 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法 Pending CN115526864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211209175.4A CN115526864A (zh) 2022-09-30 2022-09-30 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211209175.4A CN115526864A (zh) 2022-09-30 2022-09-30 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115526864A true CN115526864A (zh) 2022-12-27

Family

ID=84699715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211209175.4A Pending CN115526864A (zh) 2022-09-30 2022-09-30 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115526864A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880298A (zh) * 2023-03-02 2023-03-31 湖南大学 一种基于无监督预训练的玻璃表面缺陷检测方法及系统
CN116152226A (zh) * 2023-04-04 2023-05-23 东莞职业技术学院 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN116168018A (zh) * 2023-04-18 2023-05-26 厦门微图软件科技有限公司 一种基于度量学习的用于检测工业缺陷的异常检测算法
CN117197095A (zh) * 2023-09-14 2023-12-08 四川轻化工大学 基于半监督生成对抗分割模型的表面缺陷检测方法和系统
CN118314474A (zh) * 2024-06-13 2024-07-09 环天智慧科技股份有限公司 一种基于卫星遥感影像的水稻精细分类方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880298A (zh) * 2023-03-02 2023-03-31 湖南大学 一种基于无监督预训练的玻璃表面缺陷检测方法及系统
CN116152226A (zh) * 2023-04-04 2023-05-23 东莞职业技术学院 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN116168018A (zh) * 2023-04-18 2023-05-26 厦门微图软件科技有限公司 一种基于度量学习的用于检测工业缺陷的异常检测算法
CN117197095A (zh) * 2023-09-14 2023-12-08 四川轻化工大学 基于半监督生成对抗分割模型的表面缺陷检测方法和系统
CN117197095B (zh) * 2023-09-14 2024-04-16 四川轻化工大学 基于半监督生成对抗分割模型的表面缺陷检测方法和系统
CN118314474A (zh) * 2024-06-13 2024-07-09 环天智慧科技股份有限公司 一种基于卫星遥感影像的水稻精细分类方法

Similar Documents

Publication Publication Date Title
CN115526864A (zh) 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法
Wang et al. Automated crack severity level detection and classification for ballastless track slab using deep convolutional neural network
Kou et al. Development of a YOLO-V3-based model for detecting defects on steel strip surface
Liu et al. A rail surface defect detection method based on pyramid feature and lightweight convolutional neural network
CN102385690B (zh) 基于视频图像的目标跟踪方法及系统
Weimer et al. Learning defect classifiers for textured surfaces using neural networks and statistical feature representations
CN102567744B (zh) 基于机器学习的虹膜图像质量确定方法
CN115496746A (zh) 基于图像和点云数据融合的板材表面缺陷检测方法和系统
CN103996018A (zh) 基于4dlbp的人脸识别方法
Pan et al. Automatic pavement crack segmentation using a generative adversarial network (GAN)-based convolutional neural network
Aydin et al. Defect classification of railway fasteners using image preprocessing and alightweight convolutional neural network
Zhang et al. A deep extractor for visual rail surface inspection
Fan et al. Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects
Hou et al. A self-supervised CNN for particle inspection on optical element
Wang et al. Welding seam detection and location: Deep learning network-based approach
Anwar et al. YOLOv4 based deep learning algorithm for defects detection and classification of rail surfaces
Mi et al. Research on steel rail surface defects detection based on improved YOLOv4 network
CN115019133A (zh) 基于自训练和标签抗噪的图像中弱目标的检测方法及系统
CN112396580B (zh) 一种圆形零件缺陷检测方法
CN116311387B (zh) 一种基于特征交集的跨模态行人重识别方法
Cai et al. A comparative study of machine vision-based rail foreign object intrusion detection models
Wang et al. 3D tensor-based point cloud and image fusion for robust detection and measurement of rail surface defects
He et al. Unsupervised defect inspection algorithm based on cascaded GAN with edge repair feature fusion
CN114742975B (zh) 一种车载图像铁轨曲线建模方法
Lv et al. LAACNet: Lightweight adaptive activation convolution network-based defect detection on polished metal surfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination