CN112330591A - 少样本学习的钢轨表面缺陷检测方法及装置 - Google Patents

少样本学习的钢轨表面缺陷检测方法及装置 Download PDF

Info

Publication number
CN112330591A
CN112330591A CN202011059937.8A CN202011059937A CN112330591A CN 112330591 A CN112330591 A CN 112330591A CN 202011059937 A CN202011059937 A CN 202011059937A CN 112330591 A CN112330591 A CN 112330591A
Authority
CN
China
Prior art keywords
steel rail
surface defect
rail surface
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011059937.8A
Other languages
English (en)
Other versions
CN112330591B (zh
Inventor
刘俊博
王胜春
王凡
杜馨瑜
顾子晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Railway Sciences Corp Ltd CARS
China State Railway Group Co Ltd
Infrastructure Inspection Institute of CARS
Beijing IMAP Technology Co Ltd
Original Assignee
China Academy of Railway Sciences Corp Ltd CARS
Infrastructure Inspection Institute of CARS
Beijing IMAP Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Railway Sciences Corp Ltd CARS, Infrastructure Inspection Institute of CARS, Beijing IMAP Technology Co Ltd filed Critical China Academy of Railway Sciences Corp Ltd CARS
Priority to CN202011059937.8A priority Critical patent/CN112330591B/zh
Publication of CN112330591A publication Critical patent/CN112330591A/zh
Application granted granted Critical
Publication of CN112330591B publication Critical patent/CN112330591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61K—AUXILIARY EQUIPMENT SPECIALLY ADAPTED FOR RAILWAYS, NOT OTHERWISE PROVIDED FOR
    • B61K9/00—Railway vehicle profile gauges; Detecting or indicating overheating of components; Apparatus on locomotives or cars to indicate bad track sections; General design of track recording vehicles
    • B61K9/08—Measuring installations for surveying permanent way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Abstract

本发明提供了一种少样本学习的钢轨表面缺陷检测方法及装置，该方法包括：对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；构建多层级特征融合的钢轨表面缺陷检测网络模型，多层级特征融合的钢轨表面缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数，目标定位边界框损失函数用于训练模型定位缺陷区域，多类别分类损失函数用于训练模型识别缺陷类别；根据钢轨表面缺陷数据集训练模型；在采集到多张钢轨图像后，获得拼接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果。本发明可以在少量已标注的样本下训练钢轨表面缺陷检测网络模型，效果好。

Description

少样本学习的钢轨表面缺陷检测方法及装置
技术领域
本发明涉及轨道交通安全技术领域，尤其涉及一种少样本学习的钢轨表面缺陷检测方法及装置。
背景技术
钢轨是铁路轨道的重要组成部件，用于引导列车车轮前进。近年来，为满足日益增长的运输需求，铁路运输高速化和重载化的程度不断提高，导致大量线路中钢轨病害问题频繁出现，其中，钢轨表面缺陷最为常见。钢轨表面缺陷会严重影响列车运行安全，容易引发铁路事故。因此，亟需研究更高效、更准确的钢轨表面缺陷自动化检测方法，定期地检测线路中的钢轨状态，指导铁路养护单位进行维修保养，以保障铁路运行安全。
基于视觉相机的自动化检测技术由于其成本低、速度快、客观性强等优点，一直受到学术界和工业界的广泛关注，已成功应用于轨道轮廓测量、轨距测量、轨道塞钉检测、接触网检测、钢轨扣件检测和钢轨表面缺陷检测等任务。基于视觉相机的钢轨表面缺陷检测方法可以分为有监督式和无监督式两类。有监督式方法通常采用滑动窗口法从原始钢轨图像中提取子区域，然后使用局部频率特征(Local Frequency Features,LFF)、最大稳定极值区域(Maximally Stable Extremal Regions,MSER)或光谱特征(Spectral Features,SF)表示子区域的特征，最后，训练K-近邻(K-Nearest Neighbor,K-NN)或支撑向量机(Support Vector Machine,SVM)识别子区域是否存在缺陷。无监督式方法通常采用局部归一化(Local Normalization,LN)、逆Perona-Malik(PM)扩散模型或迈克尔逊对比度(Michelson-Like Contrast,MLC)对原始钢轨图像进行增强，然后利用轮廓投影(Projection Profile,PP)、自适应阈值二值化(Adaptive Threshold Binarization,ATB)或受限最大熵(Proportion Emphasized Maximum Entropy,PEME)来定位缺陷区域的像素。然而，上述方法依赖局部的图像纹理特征和轨道先验参数，在实际检测任务中，容易受到光照条件、图像噪声、轨道环境等外界因素的干扰，方法的鲁棒性较差，准确率和效率难以满足实际检测任务的需求。
钢轨图像是由车载设备在开放环境下动态获取的自然图像，我国铁路运营里程长、跨度大，钢轨图像数以亿计，并且不同线路的钢轨类型不同，钢轨图像存在视觉形态差异。此外，任意一处钢轨缺陷区域的大小、形态都不相同，异常模式无法预知，难以穷尽枚举。因此，钢轨表面缺陷检测方法需要处理海量、非结构化、缺陷模式复杂的钢轨图像，存在非常巨大的挑战。
近年来，深度卷积神经网络(Deep Convolutional Neural Network,DCNN)在目标定位和图像识别方面取得了巨大的突破，相较于传统的计算机视觉方法，深度卷积神经网络大幅提升了目标定位和图像识别任务的准确率和速度。目前，许多基于视觉的铁路基础设施病害检测系统利用Faster-RCNN、SSD、YOLO等基于DCNN的方法执行目标检测任务，极大地提高了铁路基础设施病害检测工作的效率和准确性。然而，现有的基于DCNN的目标检测方法应用于钢轨表面缺陷检测任务时仍存在以下几个方面的困难：
一是，基于DCNN的目标检测方法属于有监督式学习方法，通常分为目标定位和目标分类两个模块，每个模块都需要输入大量已标注数据进行训练。然而，在实际的钢轨表面缺陷检测任务中，有缺陷钢轨图像的数量非常稀缺，导致无法手动地收集和标注充足的训练样本；
二是，现有的基于DCNN的目标检测方法训练目标检测器时，各类别的训练样本数量需要大致平衡。然而，有缺陷的钢轨图像一般只包含一处缺陷区域，并且缺陷区域面积通常较小，导致各类型样本数量不平衡，影响网络模型的分类准确率；
三是，现有的基于DCNN的目标检测方法对小目标对象的定位精度不足，对于面积较小的钢轨表面缺陷区域会发生漏检现象。
综上所述，目前缺乏一种能够在较少样本下进行有效训练的钢轨表面缺陷检测网络。
发明内容
本发明实施例提出一种少样本学习的钢轨表面缺陷检测方法，用以在较少样本下快速且准确地检测钢轨表面缺陷，该方法包括：
获得少量已标注的钢轨表面缺陷图像；
对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；
构建多层级特征融合的钢轨表面缺陷检测网络模型，所述多层级特征融合的钢轨表面缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数，其中，目标定位边界框损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型定位缺陷区域，多类别分类损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别；
根据钢轨表面缺陷数据集训练多层级特征融合的钢轨表面缺陷检测网络模型；
在采集到多张钢轨图像后，将多张钢轨图像拼接，获得拼接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果，所述钢轨表面缺陷检测结果包括缺陷区域和缺陷类别。
本发明实施例提出一种少样本学习的钢轨表面缺陷检测装置，用以在较少样本下快速且准确地检测钢轨表面缺陷，该装置包括：
标注图像获得模块，用于获得少量已标注的钢轨表面缺陷图像；
数据集构建模块，用于对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；
模型构建模块，用于构建多层级特征融合的钢轨表面缺陷检测网络模型，所述多层级特征融合的钢轨表面缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数，其中，目标定位边界框损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型定位缺陷区域，多类别分类损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别；
模型训练模块，用于根据钢轨表面缺陷数据集训练多层级特征融合的钢轨表面缺陷检测网络模型；
缺陷检测模块，用于在采集到多张钢轨图像后，将多张钢轨图像拼接，获得拼接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果，所述钢轨表面缺陷检测结果包括缺陷区域和缺陷类别。
本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述少样本学习的钢轨表面缺陷检测方法。
本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述少样本学习的钢轨表面缺陷检测方法的计算机程序。
在本发明实施例中，获得少量已标注的钢轨表面缺陷图像；对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；构建多层级特征融合的钢轨表面缺陷检测网络模型，所述多层级特征融合的钢轨表面缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数，其中，目标定位边界框损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型定位缺陷区域，多类别分类损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别；根据钢轨表面缺陷数据集训练多层级特征融合的钢轨表面缺陷检测网络模型；在采集到多张钢轨图像后，将多张钢轨图像拼接，获得拼接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果，所述钢轨表面缺陷检测结果包括缺陷区域和缺陷类别。在上述过程中，对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集，使得可对少样本进行数量扩展，构建出钢轨表面缺陷数据集；多类别分类损失函数可用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别，实现在样本数量不平衡下较高的分类准确率；而多层级特征融合的钢轨表面缺陷检测网络模型可以通过融合多个层级的特征图进行缺陷区域定位，能够提升对小目标对象的定位精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中少样本学习的钢轨表面缺陷检测方法的流程图；
图2为本发明实施例中对少量已标注的钢轨表面缺陷图像进行预处理前后的示意图；
图3为本发明实施例中样本图像的示例；
图4为本发明实施例中多层级特征融合的钢轨表面缺陷检测网络模型的示意图；
图5为本发明实施例中不同λ时的分类准确率；
图6所示，为本发明实施例中不同β时的分类准确率；
图7为本发明实施例中不同β时不平衡数据集特征图；
图8为本发明实施例中少样本学习的钢轨表面缺陷检测装置的示意图；
图9为本发明实施例中计算机设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
图1为本发明实施例中少样本学习的钢轨表面缺陷检测方法的流程图，如图1所示，该方法包括：
步骤101，获得少量已标注的钢轨表面缺陷图像；
步骤102，对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；
步骤103，构建多层级特征融合的钢轨表面缺陷检测网络模型，所述多层级特征融合的钢轨表面缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数，其中，目标定位边界框损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型定位缺陷区域，多类别分类损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别；
步骤104，根据钢轨表面缺陷数据集训练多层级特征融合的钢轨表面缺陷检测网络模型；
步骤105，在采集到多张钢轨图像后，将多张钢轨图像拼接，获得拼接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果，所述钢轨表面缺陷检测结果包括缺陷区域和缺陷类别。
在本发明实施例中，对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集，使得可对少样本进行数量扩展，构建出钢轨表面缺陷数据集；多类别分类损失函数可用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别，实现在样本数量不平衡下较高的分类准确率；而多层级特征融合的钢轨表面缺陷检测网络模型可以通过融合多个层级的特征图进行缺陷区域定位，能够提升对小目标对象的定位精度。
在一实施例中，获得少量已标注的钢轨表面缺陷图像，包括：
采集少量轨道图像并分割出少量钢轨区域图像；
对所述少量钢轨区域图像的缺陷区域位置和缺陷类别进行标注，获得少量已标注的钢轨表面缺陷图像。
在一实施例中，采集少量轨道图像并分割出少量钢轨区域图像，包括：
对于每一张轨道图像，检测出轨道图像中的多条直线段；两两计算垂直于该轨道图像X轴的直线段的X坐标差值，若所述X坐标差值小于预设值，合并直线段；按直线段长度对合并后的直线段正序排列，确定X坐标差值在预设范围内的两条最长直线为钢轨区域的两侧边界；根据所述两侧边界，从该张轨道图像中分割提取钢轨区域图像。
在上述实施例中，轨道图像是利用安装在检测列车车底的高速线阵相机动态拍摄获得，其中不仅包含钢轨，还包含钢轨扣件、轨枕或混凝土基座、道砟以及其他轨道基础设施，为了降低不相干目标对检测结果的影响，需要从原始轨道图像中分割出钢轨区域，再针对钢轨区域图像执行表面缺陷检测。
对每一张轨道图像，钢轨区域具有固定的宽度W和长度L，且必定垂直于轨道图像的X轴。基于此种特性，首先利用LSD(Line Segment Detector，直线段检测算法)检测出轨道图像中的多条直线段，然后，两两计算垂直于该轨道图像X轴的直线段的X坐标差值，如果X坐标差值小于预设值θ，则进行合并，最后，按照直线段长度对合并后的多条直线段正序排列，找到X坐标差值在预设范围[W-γ,W+γ]区间的两条最长直线段，即为钢轨区域的两侧边界，最后，根据所述两侧边界，从该张轨道图像中分割提取钢轨区域图像；
所述钢轨区域长度L等于轨道图像的高度，例如，本发明实施例中轨道图像的高度为840像素；
所述钢轨区域宽度W需要根据钢轨类型选取，本发明实施例中，对于60Kg/m钢轨，W为60像素，对于75Kg/m钢轨，W为65像素；
所述θ和γ为手工选取的误差偏移量，是经验参数。
在一实施例中，对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集，包括：
对少量已标注的钢轨表面缺陷图像进行预处理，获得预处理后的钢轨表面缺陷图像；
将预处理后的钢轨表面缺陷图像进行数量扩展，并将数量扩展后的钢轨表面缺陷图像划分至多个有编号图像列表中；
将多个有编号图像列表中的钢轨表面缺陷图像拼接为多张样本图像，构成钢轨表面缺陷数据集。
在一实施例中，对少量已标注的钢轨表面缺陷图像进行预处理，包括：
对每张标注的钢轨表面缺陷图像，使用对数变换法减小该张标注的钢轨表面缺陷图像内各像素的灰度差异，获得变换后的钢轨表面缺陷图像；使用Z-Score标准化方法对变换后的钢轨表面缺陷图像进行增强，获得预处理后的钢轨表面缺陷图像。
在上述实施例中，为了不影响铁路的正常运营，检测列车通常在夜间执行铁路病害检测任务，因此，拍摄轨道图像时，光源的强度和角度是固定的。钢轨中间区域与列车车轮接触最频繁，表面较为光滑，拍摄时存在镜面反射，在图像中灰度值较高；钢轨边缘区域由于存在锈迹和污物，拍摄时存在漫反射，在图像中灰度值较低；表面缺陷区域由于凹陷，在图像中灰度值也较低。为进一步增加表面缺陷区域与正常钢轨区域的差异，需要对钢轨图像进行预处理操作。
首先，对每张标注的钢轨表面缺陷图像，使用对数变换法减小该张标注的钢轨表面缺陷图像内各像素的灰度差异，获得变换后的钢轨表面缺陷图像，以减小各像素之间的灰度差异，对数变换法的公式如下：
I′p＝ln(0.5·Ip)
其中，I′p为像素p变换后的灰度值；Ip为像素p变换前的灰度值。
然后，使用Z-Score标准化方法对变换后的钢轨表面缺陷图像进行增强，获得预处理后的钢轨表面缺陷图像，Z-Score标准化方法的公式如下：
z＝(Ip-μ)/σ
其中，z为每个像素值，μ为所有像素的灰度平均值，σ为灰度标准差。
最后，将每个像素的z值归一化到[0,255]，得到增强后的钢轨表面缺陷图像，即预处理后的钢轨表面缺陷图像。
图2为本发明实施例中对少量已标注的钢轨表面缺陷图像进行预处理前后的示意图，其中，图2中的(a)为预处理前的图像，图2中的(b)为预处理后的图像。
钢轨表面缺陷检测任务中，钢轨表面缺陷图像的数量相对稀缺，因此无法人工的采集和标注充足的训练样本。为解决此问题，本发明实施例提出了一种随机组合策略，能够从较少的已标注钢轨表面缺陷图像中生成大量的样本图像，从而解决样本数量不足的问题，图3为本发明实施例中样本图像的示例，其中方框中为缺陷部分。随机组合策略具体描述如下：
在一实施例中，将预处理后的钢轨表面缺陷图像进行数量扩展，并将数量扩展后的钢轨表面缺陷图像划分至多个有编号图像列表中，包括：
根据钢轨表面缺陷图像的缺陷类别，对预处理后的钢轨表面缺陷图像进行排序；
统计不同缺陷类别的钢轨表面缺陷图像的数量；
根据每种缺陷类别的钢轨表面缺陷图像的数量，为每种缺陷类别创建一个设定长度的有编号图像列表，并乱序排列，所述设定长度为每种缺陷类别的钢轨表面缺陷图像的数量与第一设定数量值的乘积；
对每个有编号图像列表，循环读取该有编号图像列表的编号，使用该编号与该有编号图像列表对应的缺陷类别的钢轨表面缺陷图像的数量取余得到索引值，根据所述索引值获得对应的钢轨表面缺陷图像并对其进行变换操作，将变换操作后的钢轨表面缺陷图像添加至该有编号图像列表中，所述变换操作包括垂直翻转、水平翻转和添加高斯噪声中的至少一种。
在上述实施例中，缺陷类别可以分为“正常、掉块、擦伤、塌陷、异物”，分别以数字“0、1、2、3、4”来表示，再根据缺陷类别对钢轨图像进行排序；
统计各缺陷类别的钢轨表面缺陷图像数量为N0、N1、N2、N3、N4，其中N0一定是最大值；
每种缺陷类别创建一个设定长度为T×N0的有编号图像列表，并乱序排列；
对每个有编号图像列表，循环读取该有编号图像列表的编号i，使用该编号i与该有编号图像列表对应的缺陷类别的钢轨表面缺陷图像的数量取余得到索引值，根据所述索引值获得对应的钢轨表面缺陷图像并对其进行变换操作，将变换操作后的钢轨表面缺陷图像添加至该有编号图像列表中。
在一实施例中，将多个有编号图像列表中的钢轨表面缺陷图像拼接为多张样本图像，构成钢轨表面缺陷数据集，包括：
将多个有编号图像列表合并；
将合并后的有编号图像列表中每第一设定数量值的钢轨表面缺陷图像横向拼接为一张样本图像，获得多张样本图像，所述多张样本图像构成钢轨表面缺陷数据集。
在上述实施例中，第一设定数量值可以为T，即每次将T张钢轨表面缺陷图像横向拼接为一张样本图像，共获得5×N0张样本图像。
T为一幅样本图像中钢轨图像数量，对于60Kg/m钢轨，T＝14，对于75Kg/m钢轨，T＝13。
目前，使用深度卷积神经网络进行目标检测任务能够大幅提升检测精度和效率，已成为自然场景目标检测领域的一种新趋势。在钢轨表面缺陷检测任务中，缺陷区域的面积通常较小，而且会受到图像噪声的干扰，直接使用现有的基于DCNN的目标检测方法进行检测，会造成缺陷区域定位不准确、缺陷区域分类置信度较低，从而导致漏检现象。
在本发明实施例中，构建了多层级特征融合的钢轨表面缺陷检测网络模型，先利用深度卷积神经网络提取多个层级不同尺度的图像特征，然后设置3种目标检测器将不同尺度的图像特征进行跨通道融合，最后，在融合后的特征图上进行目标定位和目标分类。该网络能够融合不同尺度的图像特征进行目标检测，提升小目标对象的定位精度，从而满足钢轨表面缺陷检测任务的需求。
现有的基于DCNN的目标检测方法大多是利用多种不同感受野的特征图独立地预测目标对象的边界框和分类概率值，再使用非极大值抑制算法来筛选最优的目标对象边界框。然而，浅层特征图的感受野较小，包含较多的细节信息，预测的边界框较精确，但是由于缺少高层语义信息，边界框的分类概率值较低，深层特征图的感受野较大，包含丰富的高层语义信息，预测的边界框分类概率值较高，但是边界框不精确，经过非极大值抑制算法筛选后，分类概率值低但位置精确的边界框会被舍弃。
图4为本发明实施例中多层级特征融合的钢轨表面缺陷检测网络模型的示意图，在一实施例中，所述多层级特征融合的钢轨表面缺陷检测网络模型包括待检测图像输入层、6级特征提取层、3种目标检测器以及检测结果输出层，其中，待检测图像输入层用于接收钢轨图像，6级特征提取层用于提取出3种不同感受野的特征图，每种目标检测器用于根据不同感受野的特征图获得钢轨图像的钢轨表面缺陷检测结果，检测结果输出层用于输出钢轨图像的钢轨表面缺陷检测结果。
在本发明实施例提出的多层级特征融合的钢轨表面缺陷检测网络模型中，共使用了55个卷积层和5个池化层。
6级特征提取层中，第1级包含1个尺寸为3×3×32的卷积层；第2级包含2个尺寸为1×1×64的卷积层和1个尺寸为3×3×32的卷积层；第3级包含2个尺寸为1×1×128的卷积层和2个尺寸为64的卷积层；第4级包含2个尺寸为1×1×256的卷积层和8个尺寸为3×3×128的卷积层；第5级包含2个尺寸为1×1×512的卷积层和8个尺寸为3×3×256的卷积层；第6级包含2个尺寸为1×1×1024的卷积层和4个尺寸为3×3×512的卷积层；每级特征提取层之间使用池化层做降采样操作。
3种目标检测器中，第1种包含3个尺寸为1×1×128的卷积层、3个尺寸为3×3×256的卷积层和1个尺寸为1×1×C的卷积层；第2种包含3个尺寸为1×1×256的卷积层、3个尺寸为3×3×512的卷积层和1个尺寸为1×1×C的卷积层；第3种包含3个尺寸为1×1×512的卷积层、3个尺寸为3×3×1024的卷积层和1个尺寸为1×1×C的卷积层。
钢轨表面缺陷检测网络模型中，每个卷积层的步长均为1，每个池化层的方式选择Max-Pooling，窗口大小为2×2，步长为2；每个卷积层后都添加了批量归一化层(BatchNormalization Layer)来防止网络过拟合，并采用带泄露修正线性单元(Leaky RectifiedLinear Unit，Leaky ReLU)作为激活函数，以加快网络收敛速度。
目标检测器在多层级特征图上根据预设的长宽比和尺度生成6种不同大小的基准定位框，每个基准定位框d使用中心点坐标(dx,dy)和宽高(dw,dh)来表示。基准定位框与真实边界框一起用于回归学习边界框的4个偏移量(px,py,pw,ph)；例如，在输入待检测图像的尺寸为320×320时，共产生12600个基准定位框。然而，这些基准定位框中只有很少一部分包含钢轨缺陷区域。因此，设计了一种样本挖掘策略来选择有缺陷和非缺陷样本基准定位框，以平衡样本数量的比例。该样本挖掘策略的具体步骤如下：
在一实施例中，每种目标检测器采用如下步骤确定缺陷样本基准定位框和非缺陷样本基准定位框：
若一个基准定位框与任意一个真实边界框的IoU值大于设定IoU值，则确定该基准定位框为有缺陷样本基准定位框，并将对应的真实边界框的缺陷类别分配给该基准定位框；
按照预设比例从IoU值小于设定IoU值的基准定位框中挑选出非缺陷样本基准定位框，并确定该基准定位框的缺陷类别为正常钢轨区域。
在上述实施例中，一般设定IoU值为0.7，预设比例为1：3。
在一实施例中，所述检测结果输出层在输出钢轨图像的钢轨表面缺陷检测结果之前，利用非极大值抑制算法对钢轨图像的钢轨表面缺陷检测结果进行抑制处理，输出抑制处理后的钢轨表面缺陷检测结果。
非极大值抑制算法(Non-Maximum Suppression,NMS)可以去除定位重复的边界框，使得输出的抑制处理后的钢轨表面缺陷检测结果(包括缺陷类别和缺陷区域)更加准确。
参考图4，综合上述实施例，拼接后的钢轨图像输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果共分为5个步骤：
步骤一：将待检测图像缩放至满足要求的像素，例如，320×320像素；
步骤二：提取出3种不同感受野的特征图，即提取待检测图像的多层次特征图。为提升小目标对象的定位精确率，采用多层次特征融合的策略，即，先分别将6级特征提取层第5级和第6级输出的特征图进行2倍上采样，再分别与第4层和第5层输出的特征图进行级联，最后，对3种不同感受野的特征图分别定义不同的目标检测器，以预测不同大小的目标对象(钢轨图像)的边界框和分类概率值。此种方式可使浅层特征图也包含语义信息，有利于提升对小目标对象的定位精确率。
步骤三：设置基准定位框。先对3种不同感受野的特征图设置不同的尺度因子S＝(0.3,0.6,0.9)，再设置5种不同的长宽比ar＝(1,2,3,1/2,1/3),当ar＝1时，额外指定一个较大的尺度
Figure BDA0002712077030000111
然后，根据以下公式计算每种特征图中基准定位框的宽度和高度：
Figure BDA0002712077030000112
Figure BDA0002712077030000113
式中，k∈[1,2,3]。最后，以特征图的每个位置对应到原图的中心坐标作为基准定位框的中心坐标，即可得到每个位置6种基准定位框的中心点坐标、宽度和高度。
步骤四：使用目标检测器预测基准定位框的偏移量和分类特征向量。每个目标检测器都包含7个卷积层，前6个卷积层用于对级联的特征图进行降维和跨通道特征融合，最后一个1×1的卷积层负责预测每个基准定位框的偏移量和分类特征向量，其通道数量C＝6×4+Classes，即，6种不同大小的基准定位框乘以每种基准定位框的4个偏移量，加上缺陷类别总数。
步骤五：检测结果输出层在输出钢轨图像的钢轨表面缺陷检测结果之前，利用非极大值抑制算法对钢轨图像的钢轨表面缺陷检测结果进行抑制处理，输出抑制处理后的钢轨表面缺陷检测结果。
现有的基于DCNN的目标检测方法在训练样本数量充足且数量平衡的情况下，能够获得较好的目标检测性能。然而，当各类别训练样本数量不平衡或质量较差时，检测性能会大幅降低，导致出现大量的错检、漏检现象。在钢轨表面缺陷检测任务中，各缺陷类别的样本数量是极度不平衡的，并且钢轨图像存在模糊、畸变、噪声等干扰因素，图像质量不稳定，导致现有的钢轨表面缺陷检测网络的分类准确率较差，从而影响整体检测性能。
为解决此问题，本发明提出一种图像代表性特征学习方法，用于确定多类别分类损失函数。首先，详细地分析训练样本的数量、质量对多层级特征融合的钢轨表面缺陷检测网络模型的分类性能的影响，然后，针对多层级特征融合的钢轨表面缺陷检测网络模型的权重参数和特征向量分别提出新的约束损失函数，最后，将提出的两种约束损失函数与Softmax损失函数结合，作为多类别分类损失函数。该方法能够指导多层级特征融合的钢轨表面缺陷检测网络模型学习更具代表性的图像特征，提升多层级特征融合的钢轨表面缺陷检测网络模型的分类的准确率，从而提升多层级特征融合的钢轨表面缺陷检测网络模型的整体检测性能。
现有的基于DCNN的目标检测方法多使用Softmax函数，然后将缺陷类别和对应的缺陷类别标签输入到交叉熵函数中计算分类损失值，再通过反向传播算法更新网络各层的参数。Softmax函数和交叉熵函数联合起来，称为Softmax损失函数，计算方式如下：
Figure BDA0002712077030000131
其中，N为钢轨表面缺陷数据集中钢轨表面缺陷图像总数，M为缺陷类别总数，Wj为第j个缺陷类别的权重参数向量,bj表示第j个缺陷类别的偏置项，xi为第i个钢轨表面缺陷图像的特征向量。
根据余弦距离公式cos(θ)＝WTx/||W||·||x||，Softmax损失函数可重写为如下形式：
Figure BDA0002712077030000132
多层级特征融合的钢轨表面缺陷检测网络模型的训练过程本质上是寻找一组权重参数矩阵和偏置向量使所有训练样本的整体损失达到最小值的过程，因此，预测的缺陷类别概率值越大，损失值就越小，分类准确率也越高。通过观察Softmax损失函数的计算公式可知，影响预测的缺陷类别概率值大小的变量有3个：权重参数
Figure BDA0002712077030000133
特征向量xi和偏置项
Figure BDA0002712077030000134
显然，为了提高xi属于yi类的缺陷类别概率，在反向传播更新参数时，应该增加
Figure BDA0002712077030000135
和
Figure BDA0002712077030000136
的值。然而，当yi类的训练样本数量远大于其他缺陷类别的样本数量时，
Figure BDA0002712077030000137
和
Figure BDA0002712077030000138
也会远大于其他类别，相应地，
Figure BDA0002712077030000139
的作用被降低。
此外，训练样本质量低也会导致网络优化困难。通常来说，相同缺陷类别图像的特征应该非常相似，其特征向量的方向和范数值应该几乎相同。然而，在实际任务中，训练样本的质量很难保证，相同缺陷类别图像的特征向量范数||xi||存在很大的差异，其大小与训练样本的图像质量高度相关，图像质量较低的训练样本难以优化。
基于以上分析，本发明认为，在多层级特征融合的钢轨表面缺陷检测网络模型中，如果每个缺陷类别的权重参数范数||Wj||相等，并且每个训练样本的特征向量范数||xi||相等，多层级特征融合的钢轨表面缺陷检测网络模型训练过程中会更关注于优化不同缺陷类别特征向量之间的余弦距离，使提取的不同缺陷类别图像特征之间的距离更大，相同缺陷类别图像特征之间的距离更小，从而学习到更具代表性的图像特征，降低训练样本数量不平衡或质量较差对多层级特征融合的钢轨表面缺陷检测网络模型分类性能的影响，从而提升缺陷类别的分类准确率。
基于对Softmax损失函数的详细分析，当使用不平衡数据集训练多层级特征融合的钢轨表面缺陷检测网络模型时，如果第j类的训练样本数量远大于其他类别，则该缺陷类别的权重参数||Wj||和偏置项bj也会远大于其他类别，导致多层级特征融合的钢轨表面缺陷检测网络模型的预测结果偏向于第j类。该网络就不能公平地预测每个缺陷类别的概率值，导致分类错误。为解决此问题，针对权重参数设置约束损失函数，其定义如下：
Figure BDA0002712077030000141
其中，
Figure BDA0002712077030000142
的计算方式如下：
Figure BDA0002712077030000143
权重参数约束损失函数要求每个类别权重参数的范数||Wj||与所有类别权重参数的范数平均值相等，当
Figure BDA0002712077030000144
小于或的大于
Figure BDA0002712077030000145
时，Wj会被惩罚。通过约束各类别的权重参数范数等于所有类别权重参数范数的平均值，可降低样本数量不平衡对网络模型预测结果的影响。
当所有类别的权重参数的范数||Wj||相等时，如果||xi||较小，则xi属于每个类别的预测概率将会非常相似。这也表明||xi||是图像分类成功的关键因素，在训练阶段很大程度上影响多层级特征融合的钢轨表面缺陷检测网络模型的优化。为解决此问题，针对特征向量设置约束损失函数，其定义如下：
Figure BDA0002712077030000146
Figure BDA0002712077030000147
的计算方式如下：
Figure BDA0002712077030000148
特征向量约束损失函数激励每个训练样本特征向量范数尽可能地接近所有训练样本特征向量的范数平均值，可减少低质量训练样本对网络模型预测结果的影响。
此外，偏置项可以在逻辑回归中提供一些独立的输出可能性。然而，Softmax损失函数是优化特征向量之间的余弦距离，偏置项的作用微乎其微。特别是在训练集样本数量不平衡时，偏置项的大小与样本数量正相关，这会导致样本数量少的类别分类错误。因此，将所有偏置项及其学习率设置为0。
结合2种约束损失函数与Softmax损失函数，即可联合监督信息，完成多层级特征融合的钢轨表面缺陷检测网络模型的训练，最终的多类别分类损失函数定义为：
Lcls＝Lsoftmax+λLW+βLX
其中，λ和β是平衡因子，用于控制每个正则化器的敏感程度。
本发明实施例提出的多类别分类损失函数可以直接使用随机梯度下降法进行优化，计算梯度
Figure BDA0002712077030000151
和
Figure BDA0002712077030000152
的公式如下：
Figure BDA0002712077030000153
Figure BDA0002712077030000154
上述两个公式的第一项的计算方式与Softmax损失函数中的计算方式相同。为了方便书写，先定义符号公式如下：
Figure BDA0002712077030000155
然后，
Figure BDA0002712077030000156
和
Figure BDA0002712077030000157
可以根据链式法则展开如下：
Figure BDA0002712077030000158
Figure BDA0002712077030000159
接着，
Figure BDA00027120770300001510
和
Figure BDA00027120770300001511
的计算公式如下：
Figure BDA00027120770300001512
Figure BDA00027120770300001513
最后，
Figure BDA00027120770300001514
和
Figure BDA00027120770300001515
可以重写如下：
Figure BDA0002712077030000161
Figure BDA0002712077030000162
由于本发明实施例钢轨表面缺陷检测结果同时包括缺陷区域和缺陷类别，即要预测两种结果，因此，实际上采用多任务损失函数进行端到端的训练，多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数两个部分组成，多任务损失函数定义如下：
L＝Lloc+Lcls
其中，L为多任务损失函数；Lloc为目标定位边界框损失函数；Lcls为多类别分类损失函数；
目标定位边界框损失函数采用如下公式表示：
Figure BDA0002712077030000163
Figure BDA0002712077030000164
其中，NP为基准定位框的总数，G为真实边界框的总数，δij为指示函数，当第i个基准定位框与第j个真实边界框的IoU值大于设定IoU值时，δij＝1，否则，δij＝0；
Figure BDA0002712077030000165
为预测的基准定位框di的偏移量，
Figure BDA0002712077030000166
为基准定位框di与真实边界框gi的实际偏移量。
上述设定IoU值可以为0.7，smoothL1(x)表示当向量长度小于1时，使用L2正则化进行回归，向量长度大于1时，使用惩罚力度更大的L1正则化进行回归。
Figure BDA0002712077030000167
计算公式定义如下：
Figure BDA0002712077030000168
Figure BDA0002712077030000169
Figure BDA00027120770300001610
Figure BDA00027120770300001611
下面给出一个具体实施例，来说明本发明实施例提出的方法的具体应用。
本发明实施例提出的方法使用Opencv3.0,CUDA9.0,Cudnn7.5.1、Pytorch0.4等第三方工具库实现，计算服务器的硬件采用2颗Intel E5-2697v4 CPU和2块NVIDIA RTX2080Ti GPU加速计算卡。
为了评估本发明方法在不同类型钢轨上的检测性能，分别从60Kg/m和75Kg/m的轨道图像中提取了大量的钢轨区域图像，并人工标注了缺陷区域位置和缺陷类别，各缺陷类别的钢轨区域图像数量详细信息如表1所示。
表1钢轨表面缺陷检测实验数据详细信息
Figure BDA0002712077030000171
采用步骤102后，共获得60Kg/m样本图像137185张，75Kg/m样本图像134835张。之后，以9:1的比例将样本图像分为训练集和测试集，分别用于训练多层级特征融合的钢轨表面缺陷检测网络模型和测试多层级特征融合的钢轨表面缺陷检测网络模型的性能。
本发明所提的多类别分类损失函数中，有2个平衡因子λ和β用于控制每个约束损失函数的灵敏程度，需要手工选取。为了验证每个约束损失函数的效果，本实施例先使用ResNet-50搭建一个简单的图像分类网络，并使用原始钢轨区域图像数据进行训练，以选取合适的平衡因子。
首先，将β固定为0.01，从0到0.015之间选择λ的值，结果如图5所示，为本发明实施例中不同λ时的分类准确率。当λ＝0.008时，分类准确率达到最高值。这也证明了权重参数约束函数可以减少不平衡数据集对分类性能的影响，从而提升了深度卷积神经网络的分类准确率。
然后，将λ固定为0.008，从0到0.015之间选择β的值，结果如图6所示，为本发明实施例中不同β时的分类准确率。随着β从0增加到0.01，分类准确率也随之上升。这种现象表明，特征向量约束损失函数可以使深度网络学习到更具代表性的特征，从而减轻了低质量训练样本带来的影响。
为了更显著地观察约束损失函数的作用，本实施例手动的减少MNIST数据集中5个缺陷类别的样本数量，构建不平衡数据集，并训练一个图像分类网络，将图像特征可视化便于观察。具体来说，使用一个简单的网络结构LeNet++作为特征提取网络，使用本发明提出的图像代表性特征学习方法(即多类别分类损失函数)进行训练，将λ固定为0.008，从0到0.015之间选择β的值，特征可视化结果如图7所示，为本发明实施例中不同β时不平衡数据集特征图。观察特征图可以发现，每个缺陷类别的特征向量可以均衡地分布在特征空间中。此外，通过提升β的值，同缺陷类别特征向量更加聚集，不同缺陷类别的特征向量的间距更大。结果表明，本发明提出的多类别分类损失函数提高了特征向量的类内紧密性和类间可分离性，使得多层级特征融合的钢轨表面缺陷检测网络模型可以学习更具代表性的特征。
本实施例采用精确率(Precision)、召回率(Recall)和F1 score三个指标来评价多层级特征融合的钢轨表面缺陷检测网络模型的可靠性。为了证明方法的优越性，本实施例还与2种传统方法和3种基于DCNN的方法进行对比分析。对比方法中，MSER+SVM是一种基于有监督学习的钢轨表面缺陷检测方法，LN+PP是一种基于无监督学习的钢轨表面缺陷检测方法，Faster-RCNN、SSD和YOLOv3是目前最流行的3种基于DCNN的目标检测方法。MSER+SVM和LN+PP方法是直接使用原始钢轨图像数据进行训练和测试，Faster-RCNN、SSD和YOLOv3方法是使用本发明实施例构建的钢轨表面缺陷数据集进行训练和测试。
训练过程中采用十折交叉验证的方式分配训练集和验证集的数量，即，每轮训练开始前，从训练集中随机抽取十分之一的数据作为验证集。输入批量大小设置为128，损失函数平衡因子λ＝0.008，β＝0.01，动量设置为0.9，权重衰减设置为0.0005，初始学习率为0.015，训练周期为60轮。每训练10轮，更改一次输入图像的尺寸，即，从[320，608]区间内随机选取一个8的倍数的数值作为接下来10轮的输入图像尺寸，每训练20个轮次，将随机梯度下降法的学习率降低10倍。
训练完成后，选择在验证集上性能表现最好的网络模型参数，使用测试集进行测试，IoU阈值设置为0.5，对比结果如表2所示。
表2钢轨表面缺陷检测方法对比结果
Figure BDA0002712077030000181
Figure BDA0002712077030000191
根据对比结果可知，本发明方法在两种钢轨类型的测试集上都取得了最优的性能指标，充分证明了本发明方法的有效性。整体上，基于DCNN的方法性能远远超过传统方法，证明了深度卷积神经网络的强大学习能力，也证明了多层级特征融合的钢轨表面缺陷检测网络模型的强大学习能力。得益于本发明实施例提出的钢轨表面缺陷数据集，SSD和YOLOv3使用多层次的图像特征进行目标检测，性能也大幅超越了只使用一个层次图像特征进行目标检测的Faster-RCNN方法。本发明方法不仅将多个层级不同尺度的图像特征进行融合，还应用了新的多类别分类损失函数，用于解决样本数据不平衡和质量差带来的影响，提升了方法的鲁棒性和准确性，实现了端到端的钢轨表面缺陷检测。
综上所述，在本发明实施例提出的方法中，获得少量已标注的钢轨表面缺陷图像；对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；构建多层级特征融合的钢轨表面缺陷检测网络模型，所述多层级特征融合的钢轨表面缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数，其中，目标定位边界框损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型定位缺陷区域，多类别分类损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别；根据钢轨表面缺陷数据集训练多层级特征融合的钢轨表面缺陷检测网络模型；在采集到多张钢轨图像后，将多张钢轨图像拼接，获得拼接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果，所述钢轨表面缺陷检测结果包括缺陷区域和缺陷类别。在上述过程中，对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集，使得可对少样本进行数量扩展，构建出钢轨表面缺陷数据集；多类别分类损失函数可用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别，实现在样本数量不平衡下较高的分类准确率；而多层级特征融合的钢轨表面缺陷检测网络模型可以通过融合多个层级的特征图进行缺陷区域定位，能够提升对小目标对象的定位精度。
本发明实施例还提出一种少样本学习的钢轨表面缺陷检测装置，其原理与少样本学习的钢轨表面缺陷检测方法类似，这里不再赘述。
图8为本发明实施例中少样本学习的钢轨表面缺陷检测装置的示意图，如图8所示，该装置包括：
标注图像获得模块801，用于获得少量已标注的钢轨表面缺陷图像；
数据集构建模块802，用于对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；
模型构建模块803，用于构建多层级特征融合的钢轨表面缺陷检测网络模型，所述多层级特征融合的钢轨表面缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数，其中，目标定位边界框损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型定位缺陷区域，多类别分类损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别；
模型训练模块804，用于根据钢轨表面缺陷数据集训练多层级特征融合的钢轨表面缺陷检测网络模型；
缺陷检测模块805，用于在采集到多张钢轨图像后，将多张钢轨图像拼接，获得拼接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果，所述钢轨表面缺陷检测结果包括缺陷区域和缺陷类别。
在一实施例中，标注图像获得模块801具体用于：
采集少量轨道图像并分割出少量钢轨区域图像；
对所述少量钢轨区域图像的缺陷区域位置和缺陷类别进行标注，获得少量已标注的钢轨表面缺陷图像。
在一实施例中，标注图像获得模块801具体用于：
对于每一张轨道图像，检测出轨道图像中的多条直线段；两两计算垂直于该轨道图像X轴的直线段的X坐标差值，若所述X坐标差值小于预设值，合并直线段；按直线段长度对合并后的直线段正序排列，确定X坐标差值在预设范围内的两条最长直线段为钢轨区域的两侧边界；根据所述两侧边界，从该张轨道图像中分割提取钢轨区域图像。
在一实施例中，数据集构建模块802具体用于：
对少量已标注的钢轨表面缺陷图像进行预处理，获得预处理后的钢轨表面缺陷图像；
将预处理后的钢轨表面缺陷图像进行数量扩展，并将数量扩展后的钢轨表面缺陷图像划分至多个有编号图像列表中；
将多个有编号图像列表中的钢轨表面缺陷图像拼接为多张样本图像，构成钢轨表面缺陷数据集。
在一实施例中，数据集构建模块802具体用于：
对每张标注的钢轨表面缺陷图像，使用对数变换法减小该张标注的钢轨表面缺陷图像内各像素的灰度差异，获得变换后的钢轨表面缺陷图像；使用Z-Score标准化方法对变换后的钢轨表面缺陷图像进行增强，获得预处理后的钢轨表面缺陷图像。
在一实施例中，数据集构建模块802具体用于：
根据钢轨表面缺陷图像的缺陷类别，对预处理后的钢轨表面缺陷图像进行排序；
统计不同缺陷类别的钢轨表面缺陷图像的数量；
根据每种缺陷类别的钢轨表面缺陷图像的数量，为每种缺陷类别创建一个设定长度的有编号图像列表，并乱序排列，所述设定长度为每种缺陷类别的钢轨表面缺陷图像的数量与第一设定数量值的乘积；
对每个有编号图像列表，循环读取该有编号图像列表的编号，使用该编号与该有编号图像列表对应的缺陷类别的钢轨表面缺陷图像的数量取余得到索引值，根据所述索引值获得对应的钢轨表面缺陷图像并对其进行变换操作，将变换操作后的钢轨表面缺陷图像添加至该有编号图像列表中，所述变换操作包括垂直翻转、水平翻转和添加高斯噪声中的至少一种。
在一实施例中，数据集构建模块802具体用于：
将多个有编号图像列表合并；
将合并后的有编号图像列表中每第一设定数量值的钢轨表面缺陷图像横向拼接为一张样本图像，获得多张样本图像，所述多张样本图像构成钢轨表面缺陷数据集。
在一实施例中，所述多任务损失函数采用如下公式表示：
L＝Lloc+Lcls
其中，L为多任务损失函数；Lloc为目标定位边界框损失函数；Lcls为多类别分类损失函数；
目标定位边界框损失函数采用如下公式表示：
Figure BDA0002712077030000211
Figure BDA0002712077030000221
其中，NP为基准定位框的总数，G为真实边界框的总数，δij为指示函数，当第i个基准定位框与第j个真实边界框的IoU值大于设定IoU值时，δij＝1，否则，δij＝0；
Figure BDA0002712077030000222
为预测的基准定位框di的偏移量，
Figure BDA0002712077030000223
为基准定位框di与真实边界框gi的实际偏移量；
多类别分类损失函数采用如下公式表示：
Lcls＝Lsoftmax+λLW+βLX
Figure BDA0002712077030000224
Figure BDA0002712077030000225
Figure BDA0002712077030000226
Figure BDA0002712077030000227
Figure BDA0002712077030000228
其中，Lsoftmax为标准的Softmax损失函数，LW为针对权重参数W的约束损失函数，LX为针对特征向量x的约束损失函数，λ和β是平衡因子；
N为钢轨表面缺陷数据集中钢轨表面缺陷图像总数，M为缺陷类别总数，Wj为第j个缺陷类别的权重参数向量,bj表示第j个缺陷类别的偏置项,xi为第i个钢轨表面缺陷图像的特征向量。
在一实施例中，所述多层级特征融合的钢轨表面缺陷检测网络模型包括待检测图像输入层、6级特征提取层、3种目标检测器以及检测结果输出层，其中，待检测图像输入层用于接收钢轨图像，6级特征提取层用于提取出3种不同感受野的特征图，每种目标检测器用于根据不同感受野的特征图获得钢轨图像的钢轨表面缺陷检测结果，检测结果输出层用于输出钢轨图像的钢轨表面缺陷检测结果。
在一实施例中，每种目标检测器采用如下步骤确定缺陷样本基准定位框和非缺陷样本基准定位框：
若一个基准定位框与任意一个真实边界框的IoU值大于设定IoU值，则确定该基准定位框为有缺陷样本基准定位框，并将对应的真实边界框的缺陷类别分配给该基准定位框；
按照预设比例从IoU值小于设定IoU值的基准定位框中挑选出非缺陷样本基准定位框，并确定该基准定位框的缺陷类别为正常钢轨区域。
在一实施例中，所述检测结果输出层在输出钢轨图像的钢轨表面缺陷检测结果之前，利用非极大值抑制算法对钢轨图像的钢轨表面缺陷检测结果进行抑制处理，输出抑制处理后的钢轨表面缺陷检测结果。
综上所述，在本发明实施例提出的装置中，获得少量已标注的钢轨表面缺陷图像；对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；构建多层级特征融合的钢轨表面缺陷检测网络模型，所述多层级特征融合的钢轨表面缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数，其中，目标定位边界框损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型定位缺陷区域，多类别分类损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别；根据钢轨表面缺陷数据集训练多层级特征融合的钢轨表面缺陷检测网络模型；在采集到多张钢轨图像后，将多张钢轨图像拼接，获得拼接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果，所述钢轨表面缺陷检测结果包括缺陷区域和缺陷类别。在上述过程中，对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集，使得可对少样本进行数量扩展，构建出钢轨表面缺陷数据集；多类别分类损失函数可用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别，实现在样本数量不平衡下较高的分类准确率；而多层级特征融合的钢轨表面缺陷检测网络模型可以通过融合多个层级的特征图进行缺陷区域定位，能够提升对小目标对象的定位精度。
本申请的实施例还提供一种计算机设备，图9为本发明实施例中计算机设备的示意图，该计算机设备能够实现上述实施例中的少样本学习的钢轨表面缺陷检测方法中全部步骤，所述计算机设备具体包括如下内容：
处理器(processor)901、存储器(memory)902、通信接口(CommunicationsInterface)903和通信总线904；
其中，所述处理器901、存储器902、通信接口903通过所述通信总线904完成相互间的通信；所述通信接口903用于实现服务器端设备、检测设备以及用户端设备等相关设备之间的信息传输；
所述处理器901用于调用所述存储器902中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的少样本学习的钢轨表面缺陷检测方法中的全部步骤。
本申请的实施例还提供一种计算机可读存储介质，能够实现上述实施例中的少样本学习的钢轨表面缺陷检测方法中全部步骤，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的少样本学习的钢轨表面缺陷检测方法的全部步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种少样本学习的钢轨表面缺陷检测方法，其特征在于，包括：
获得少量已标注的钢轨表面缺陷图像；
对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；
构建多层级特征融合的钢轨表面缺陷检测网络模型，所述多层级特征融合的钢轨表面缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数，其中，目标定位边界框损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型定位缺陷区域，多类别分类损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别；
根据钢轨表面缺陷数据集训练多层级特征融合的钢轨表面缺陷检测网络模型；
在采集到多张钢轨图像后，将多张钢轨图像拼接，获得拼接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果，所述钢轨表面缺陷检测结果包括缺陷区域和缺陷类别。
2.如权利要求1所述的少样本学习的钢轨表面缺陷检测方法，其特征在于，获得少量已标注的钢轨表面缺陷图像，包括：
采集少量轨道图像并分割出少量钢轨区域图像；
对所述少量钢轨区域图像的缺陷区域位置和缺陷类别进行标注，获得少量已标注的钢轨表面缺陷图像。
3.如权利要求2所述的少样本学习的钢轨表面缺陷检测方法，其特征在于，采集少量轨道图像并分割出少量钢轨区域图像，包括：
对于每一张轨道图像，检测出轨道图像中的多条直线段；两两计算垂直于该轨道图像X轴的直线段的X坐标差值，若所述X坐标差值小于预设值，合并直线段；按直线段长度对合并后的直线段正序排列，确定X坐标差值在预设范围内的两条最长直线段为钢轨区域的两侧边界；根据所述两侧边界，从该张轨道图像中分割提取钢轨区域图像。
4.如权利要求1所述的少样本学习的钢轨表面缺陷检测方法，其特征在于，对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集，包括：
对少量已标注的钢轨表面缺陷图像进行预处理，获得预处理后的钢轨表面缺陷图像；
将预处理后的钢轨表面缺陷图像进行数量扩展，并将数量扩展后的钢轨表面缺陷图像划分至多个有编号图像列表中；
将多个有编号图像列表中的钢轨表面缺陷图像拼接为多张样本图像，构成钢轨表面缺陷数据集。
5.如权利要求4所述的少样本学习的钢轨表面缺陷检测方法，其特征在于，对少量已标注的钢轨表面缺陷图像进行预处理，包括：
对每张标注的钢轨表面缺陷图像，使用对数变换法减小该张标注的钢轨表面缺陷图像内各像素的灰度差异，获得变换后的钢轨表面缺陷图像；使用Z-Score标准化方法对变换后的钢轨表面缺陷图像进行增强，获得预处理后的钢轨表面缺陷图像。
6.如权利要求4所述的少样本学习的钢轨表面缺陷检测方法，其特征在于，将预处理后的钢轨表面缺陷图像进行数量扩展，并将数量扩展后的钢轨表面缺陷图像划分至多个有编号图像列表中，包括：
根据钢轨表面缺陷图像的缺陷类别，对预处理后的钢轨表面缺陷图像进行排序；
统计不同缺陷类别的钢轨表面缺陷图像的数量；
根据每种缺陷类别的钢轨表面缺陷图像的数量，为每种缺陷类别创建一个设定长度的有编号图像列表，并乱序排列，所述设定长度为每种缺陷类别的钢轨表面缺陷图像的数量与第一设定数量值的乘积；
对每个有编号图像列表，循环读取该有编号图像列表的编号，使用该编号与该有编号图像列表对应的缺陷类别的钢轨表面缺陷图像的数量取余得到索引值，根据所述索引值获得对应的钢轨表面缺陷图像并对其进行变换操作，将变换操作后的钢轨表面缺陷图像添加至该有编号图像列表中，所述变换操作包括垂直翻转、水平翻转和添加高斯噪声中的至少一种。
7.如权利要求4所述的少样本学习的钢轨表面缺陷检测方法，其特征在于，将多个有编号图像列表中的钢轨表面缺陷图像拼接为多张样本图像，构成钢轨表面缺陷数据集，包括：
将多个有编号图像列表合并；
将合并后的有编号图像列表中每第一设定数量值的钢轨表面缺陷图像横向拼接为一张样本图像，获得多张样本图像，所述多张样本图像构成钢轨表面缺陷数据集。
8.如权利要求1所述的少样本学习的钢轨表面缺陷检测方法，其特征在于，所述多任务损失函数采用如下公式表示：
L＝Lloc+Lcls
其中，L为多任务损失函数；Lloc为目标定位边界框损失函数；Lcls为多类别分类损失函数；
目标定位边界框损失函数采用如下公式表示：
Figure FDA0002712077020000031
Figure FDA0002712077020000032
其中，NP为基准定位框的总数，G为真实边界框的总数，δij为指示函数，当第i个基准定位框与第j个真实边界框的IoU值大于设定IoU值时，δij＝1，否则，δij＝0；
Figure FDA0002712077020000033
为预测的基准定位框di的偏移量，
Figure FDA0002712077020000034
为基准定位框di与真实边界框gi的实际偏移量；
多类别分类损失函数采用如下公式表示：
Lcls＝Lsoftmax+λLW+βLX
Figure FDA0002712077020000035
Figure FDA0002712077020000036
Figure FDA0002712077020000037
Figure FDA0002712077020000038
Figure FDA0002712077020000039
其中，Lsoftmax为标准的Softmax损失函数，LW为针对权重参数W的约束损失函数，LX为针对特征向量x的约束损失函数，λ和β是平衡因子；
N为钢轨表面缺陷数据集中钢轨表面缺陷图像总数，M为缺陷类别总数，Wj为第j个缺陷类别的权重参数向量,bj表示第j个缺陷类别的偏置项,xi为第i个钢轨表面缺陷图像的特征向量。
9.如权利要求1所述的少样本学习的钢轨表面缺陷检测方法，其特征在于，所述多层级特征融合的钢轨表面缺陷检测网络模型包括待检测图像输入层、6级特征提取层、3种目标检测器以及检测结果输出层，其中，待检测图像输入层用于接收钢轨图像，6级特征提取层用于提取出3种不同感受野的特征图，每种目标检测器用于根据不同感受野的特征图获得钢轨图像的钢轨表面缺陷检测结果，检测结果输出层用于输出钢轨图像的钢轨表面缺陷检测结果。
10.如权利要求9所述的少样本学习的钢轨表面缺陷检测方法，其特征在于，每种目标检测器采用如下步骤确定缺陷样本基准定位框和非缺陷样本基准定位框：
若一个基准定位框与任意一个真实边界框的IoU值大于设定IoU值，则确定该基准定位框为有缺陷样本基准定位框，并将对应的真实边界框的缺陷类别分配给该基准定位框；
按照预设比例从IoU值小于设定IoU值的基准定位框中挑选出非缺陷样本基准定位框，并确定该基准定位框的缺陷类别为正常钢轨区域。
11.如权利要求9所述的少样本学习的钢轨表面缺陷检测方法，其特征在于，所述检测结果输出层在输出钢轨图像的钢轨表面缺陷检测结果之前，利用非极大值抑制算法对钢轨图像的钢轨表面缺陷检测结果进行抑制处理，输出抑制处理后的钢轨表面缺陷检测结果。
12.一种少样本学习的钢轨表面缺陷检测装置，其特征在于，包括：
标注图像获得模块，用于获得少量已标注的钢轨表面缺陷图像；
数据集构建模块，用于对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；
模型构建模块，用于构建多层级特征融合的钢轨表面缺陷检测网络模型，所述多层级特征融合的钢轨表面缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函数，其中，目标定位边界框损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型定位缺陷区域，多类别分类损失函数用于训练多层级特征融合的钢轨表面缺陷检测网络模型识别缺陷类别；
模型训练模块，用于根据钢轨表面缺陷数据集训练多层级特征融合的钢轨表面缺陷检测网络模型；
缺陷检测模块，用于在采集到多张钢轨图像后，将多张钢轨图像拼接，获得拼接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面缺陷检测结果，所述钢轨表面缺陷检测结果包括缺陷区域和缺陷类别。
13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11任一项所述方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至11任一项所述方法的计算机程序。
CN202011059937.8A 2020-09-30 2020-09-30 少样本学习的钢轨表面缺陷检测方法及装置 Active CN112330591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011059937.8A CN112330591B (zh) 2020-09-30 2020-09-30 少样本学习的钢轨表面缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011059937.8A CN112330591B (zh) 2020-09-30 2020-09-30 少样本学习的钢轨表面缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN112330591A true CN112330591A (zh) 2021-02-05
CN112330591B CN112330591B (zh) 2023-01-24

Family

ID=74314393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011059937.8A Active CN112330591B (zh) 2020-09-30 2020-09-30 少样本学习的钢轨表面缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN112330591B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326951A (zh) * 2021-04-06 2021-08-31 国营芜湖机械厂 一种飞行器外表口盖螺钉辅助检测装置及其使用方法
CN113450324A (zh) * 2021-06-23 2021-09-28 北京世纪东方通讯设备有限公司 一种钢轨内部缺陷长度分析方法及系统
CN113705412A (zh) * 2021-08-23 2021-11-26 中国铁道科学研究院集团有限公司 基于深度学习的多源数据融合的轨道状态检测方法及装置
CN113807231A (zh) * 2021-09-14 2021-12-17 西安电子科技大学 基于unet下采样卷积神经网络的x光违禁物检测方法
CN113836850A (zh) * 2021-11-26 2021-12-24 成都数之联科技有限公司 模型获得方法及系统及装置及介质及产品缺陷检测方法
CN114723751A (zh) * 2022-06-07 2022-07-08 中国空气动力研究与发展中心设备设计与测试技术研究所 一种基于无监督的带钢表面缺陷在线检测方法
CN114782755A (zh) * 2022-06-13 2022-07-22 云账户技术(天津)有限公司 西林瓶检测模型的训练方法、西林瓶的检测方法及装置
CN115100188A (zh) * 2022-07-28 2022-09-23 北京科技大学 一种层次化缺陷分析的钢板表面质量自动分级与判定方法
FR3126683A1 (fr) * 2021-09-07 2023-03-10 Eramet Dispositif d’analyse ferroviaire
CN116051682A (zh) * 2022-11-30 2023-05-02 四川省中车铁投轨道交通有限公司 一种智轨电车底盘故障检测方法及系统
CN117274239A (zh) * 2023-11-13 2023-12-22 江苏永鼎股份有限公司 芯片封装工艺缺陷快速检测方法
CN117593307A (zh) * 2024-01-19 2024-02-23 泉州市联友软件科技有限公司 基于多类别自适应感知网络的检测方法、系统及存储介质
CN117649351A (zh) * 2024-01-30 2024-03-05 武汉大学 一种基于扩散模型的工业缺陷图像仿真方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN110717896A (zh) * 2019-09-24 2020-01-21 东北大学 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN111563886A (zh) * 2020-04-29 2020-08-21 安徽国钜工程机械科技有限公司 基于非监督特征学习的隧道钢轨表面病害检测方法及装置
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110717896A (zh) * 2019-09-24 2020-01-21 东北大学 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN111563886A (zh) * 2020-04-29 2020-08-21 安徽国钜工程机械科技有限公司 基于非监督特征学习的隧道钢轨表面病害检测方法及装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326951A (zh) * 2021-04-06 2021-08-31 国营芜湖机械厂 一种飞行器外表口盖螺钉辅助检测装置及其使用方法
CN113450324A (zh) * 2021-06-23 2021-09-28 北京世纪东方通讯设备有限公司 一种钢轨内部缺陷长度分析方法及系统
CN113705412A (zh) * 2021-08-23 2021-11-26 中国铁道科学研究院集团有限公司 基于深度学习的多源数据融合的轨道状态检测方法及装置
CN113705412B (zh) * 2021-08-23 2024-04-30 中国铁道科学研究院集团有限公司 基于深度学习的多源数据融合的轨道状态检测方法及装置
FR3126683A1 (fr) * 2021-09-07 2023-03-10 Eramet Dispositif d’analyse ferroviaire
WO2023037073A1 (fr) * 2021-09-07 2023-03-16 Eramet Dispositif d'analyse ferroviaire
CN113807231B (zh) * 2021-09-14 2024-02-13 西安电子科技大学 基于unet下采样卷积神经网络的x光违禁物检测方法
CN113807231A (zh) * 2021-09-14 2021-12-17 西安电子科技大学 基于unet下采样卷积神经网络的x光违禁物检测方法
CN113836850A (zh) * 2021-11-26 2021-12-24 成都数之联科技有限公司 模型获得方法及系统及装置及介质及产品缺陷检测方法
CN114723751A (zh) * 2022-06-07 2022-07-08 中国空气动力研究与发展中心设备设计与测试技术研究所 一种基于无监督的带钢表面缺陷在线检测方法
CN114782755A (zh) * 2022-06-13 2022-07-22 云账户技术(天津)有限公司 西林瓶检测模型的训练方法、西林瓶的检测方法及装置
CN115100188A (zh) * 2022-07-28 2022-09-23 北京科技大学 一种层次化缺陷分析的钢板表面质量自动分级与判定方法
CN116051682A (zh) * 2022-11-30 2023-05-02 四川省中车铁投轨道交通有限公司 一种智轨电车底盘故障检测方法及系统
CN117274239A (zh) * 2023-11-13 2023-12-22 江苏永鼎股份有限公司 芯片封装工艺缺陷快速检测方法
CN117274239B (zh) * 2023-11-13 2024-02-20 江苏永鼎股份有限公司 芯片封装工艺缺陷快速检测方法
CN117593307A (zh) * 2024-01-19 2024-02-23 泉州市联友软件科技有限公司 基于多类别自适应感知网络的检测方法、系统及存储介质
CN117593307B (zh) * 2024-01-19 2024-04-23 泉州市联友软件科技有限公司 基于多类别自适应感知网络的检测方法、系统及存储介质
CN117649351A (zh) * 2024-01-30 2024-03-05 武汉大学 一种基于扩散模型的工业缺陷图像仿真方法及装置
CN117649351B (zh) * 2024-01-30 2024-04-19 武汉大学 一种基于扩散模型的工业缺陷图像仿真方法及装置

Also Published As

Publication number Publication date
CN112330591B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN112330591B (zh) 少样本学习的钢轨表面缺陷检测方法及装置
CN111681240B (zh) 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法
CN113205176B (zh) 训练缺陷分级检测模型的方法、装置、设备及存储介质
CN113486726B (zh) 一种基于改进卷积神经网络的轨道交通障碍物检测方法
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN113822880A (zh) 一种基于深度学习的裂缝识别方法
CN112633149B (zh) 一种域自适应雾天图像目标检测方法和装置
CN110782443B (zh) 一种铁路轨道缺陷检测方法和系统
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
CN115131330A (zh) 多源传感器融合的钢轨表面缺陷检测与测量方法及系统
CN111127454A (zh) 基于深度学习生成工业缺陷样本的方法及系统
CN113689392A (zh) 一种铁路扣件缺陷检测方法和装置
Saisree et al. Pothole detection using deep learning classification method
CN107247967A (zh) 一种基于r‑cnn的车窗年检标检测方法
CN114067296A (zh) 钢轨表面缺陷识别方法及装置
CN113780287A (zh) 一种多深度学习模型的最优选取方法及系统
CN114494893B (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法
CN113239800B (zh) 目标检测方法及目标检测装置
CN113516179B (zh) 一种地下基础设施渗漏水性态辨识方法及系统
CN113160219B (zh) 用于无人机遥感图像的实时铁路场景解析方法
Liu et al. An end-to-end steel strip surface defects detection framework: considering complex background interference
CN107220490A (zh) 水文序列均值跳跃变异的识别与分级方法
CN113362372B (zh) 一种单目标追踪方法及计算机可读介质
Yazid et al. Automated system form concrete damage classification identification using pretrained deep learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210621

Address after: 100844 Fuxing Road 10, Beijing, Haidian District

Applicant after: China National Railway Group Co.,Ltd.

Applicant after: CHINA ACADEMY OF RAILWAY SCIENCES Corp.,Ltd.

Applicant after: Infrastructure Inspection Institute of China Railway Science Research Institute Group Co.,Ltd.

Applicant after: BEIJING IMAP TECHNOLOGY Co.,Ltd.

Address before: 100081 Beijing city Haidian District Daliushu Road No. 2

Applicant before: CHINA ACADEMY OF RAILWAY SCIENCES Corp.,Ltd.

Applicant before: Infrastructure Inspection Institute of China Railway Science Research Institute Group Co.,Ltd.

Applicant before: BEIJING IMAP TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant