CN114862812A - 基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统 - Google Patents

基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统 Download PDF

Info

Publication number
CN114862812A
CN114862812A CN202210546352.1A CN202210546352A CN114862812A CN 114862812 A CN114862812 A CN 114862812A CN 202210546352 A CN202210546352 A CN 202210546352A CN 114862812 A CN114862812 A CN 114862812A
Authority
CN
China
Prior art keywords
rail transit
transit vehicle
defect
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210546352.1A
Other languages
English (en)
Other versions
CN114862812B (zh
Inventor
彭刚
万少威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202210546352.1A priority Critical patent/CN114862812B/zh
Publication of CN114862812A publication Critical patent/CN114862812A/zh
Application granted granted Critical
Publication of CN114862812B publication Critical patent/CN114862812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统，其中方法包括：将轨道交通车辆包含的各部件及其相对空间位置关系、已知的零部件各种类的缺陷类型的集合作为先验知识库；将轨道交通车辆零部件图像集合作为训练集，训练零部件检测网络，训练过程中通过大目标特征提取网络获取一级部件所在区域，然后从先验知识库中获知一级部件中包含的二级部件，对二级部件所在区域进行放大并映射回轨道交通车辆零部件图像后输入小目标特征提取网络，输出零部件种类；将待检测部位图像输入训练好的零部件检测网络，检测到零部件种类，然后通过先验知识库、深度学习或模板匹配检测缺陷类型。取得检测时间短，效率高，误检漏检率低的效果。

Description

基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统
技术领域
本发明属于缺陷检测领域，更具体地，涉及一种基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统。
背景技术
随着轨道交通事业的不断发展，轨道交通装备智能化水平不断提升。在轨道交通车辆日常巡检任务中，通过机器人等自动化设备采集待检测部位图像数据，然后对图像进行缺陷检测的方式正逐步替代传统人工实地肉眼检测的方式，对图像缺陷检测的准确率对轨道交通车辆运营安全具有重要影响。
现有技术中，通过经验丰富的技术人员进行人工检查或者移植其他领域表现较好的缺陷检测算法进行轨道交通场景下的缺陷检测。
通过技术人员进行人工检测的方式平均检测时间较长，效率不高，而且检修效果易受人为因素影响，容易出现误检漏检。通过移植其他领域表现较好的缺陷检测算法难以完全适用于轨道交通场景，容易出现漏报误报，仍需要大量的人力去复核检测结果。
因此，现有技术存在检测时间较长，效率不高，容易出现误检漏检的技术问题，亟需一种适用于轨道交通实际运用场景的缺陷检测方法来解决上述问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统，由此解决现有技术存在检测时间较长，效率不高，容易出现误检漏检的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于先验知识的两阶段轨道交通车辆缺陷检测方法，包括：
轨道交通车辆零部件中一级部件包含二级部件，对于属于相同一级部件下的二级部件间的关系为相邻关系，将轨道交通车辆零部件包含的各部件及其相对空间位置关系、已知的零部件各种类的缺陷类型的集合作为先验知识库；
将轨道交通车辆零部件图像集合作为训练集，训练零部件检测网络，零部件检测网络包括大目标特征提取网络和小目标特征提取网络，训练过程中通过大目标特征提取网络获取一级部件所在区域，然后从先验知识库中获知一级部件中包含的二级部件，对二级部件所在区域进行放大并映射回轨道交通车辆零部件图像后输入小目标特征提取网络，输出零部件种类，训练至收敛，得到训练好的零部件检测网络；
将待检测部位图像输入训练好的零部件检测网络，检测到零部件种类，通过先验知识库、深度学习或模板匹配检测零部件种类的缺陷类型。
进一步地，所述通过先验知识库检测零部件种类的缺陷类型包括：
对于检测到零部件种类，统计其数量，从先验知识库中获知该种类零部件的原始数量，将原始数量与统计数量对比，若统计数量少于原始数量，则该种类零部件的缺陷类型判定为部件丢失、脱落。
进一步地，所述通过深度学习检测零部件种类的缺陷类型包括：
将已知零部件种类的待检测部位图像输入深度学习网络，得到零部件种类的缺陷类型；
所述深度学习网络通过如下方式训练得到：
标记轨道交通车辆各种类零部件的缺陷类型，形成训练样本，采用旋转、缩放、镜像、剪切、添加噪声的方式扩充训练样本，构建缺陷类型训练数据集，利用缺陷类型训练数据集训练深度学习网络，得到训练好的深度学习网络。
进一步地，所述通过模板匹配检测零部件种类的缺陷类型包括：
提取待检测图像的ORB特征点与模板图像进行匹配，通过差分法求差集，根据差集部分的面积和预设阈值比较，判断是否存在缺陷，若差集部分的面积大于预设阈值，则存在缺陷，从先验知识库中获知该种类零部件的缺陷类型。
进一步地，所述模板图像通过如下方式获取：
采集轨道交通车辆零部件正常状态下的图像作为模板图像，并记录下采集位置，用作缺陷检测时相同位置处的模板图像。
进一步地，所述零部件检测网络训练包括：
将轨道交通车辆零部件图像输入零部件检测网络，通过大目标特征提取网络提取大目标特征后通过分类回归后得到预测结果，预测结果包括一级部件、一级部件所在区域的左上角点的像素坐标以及一级部件所在区域的宽和高、置信度，筛选置信度满足阈值条件的预测结果，若预测过程中若同一个一级部件被多个预测框选中，将多个预测框合并为一个作为最后的一级部件所在区域；
从先验知识库中获知一级部件中包含的二级部件，采用双线性插值的方式对二级部件所在区域进行放大，然后映射回轨道交通车辆零部件图像，输入小目标特征提取网络，提取小目标特征后通过分类回归后，进行置信度得分筛选和非极大抑制，输出零部件种类，训练至收敛，得到训练好的零部件检测网络。
进一步地，所述映射通过如下方式实现：
Figure RE-GDA0003657986650000031
其中，映射前二级部件所在区域边界框表示为(x,y,w,h)，x,y为边界框左上点的坐标，w,h分别为边界框的宽，高；边界框映射回轨道交通车辆零部件图像中对应的投影为(xi,yi,wi,hi)，xl,yl为轨道交通车辆零部件图像中剪裁区域的左上点坐标，k为映射前二级部件所在区域的尺度放大系数。
进一步地，所述零部件检测网络中大目标特征提取网络提取大目标特征和小目标特征提取网络提取小目标特征的方式相同，大目标特征提取网络提取大目标特征包括：
提取大目标特征提取网络不同位置的三个特征层，包括中间层、中下层和底层；
对底层的特征层进行上采样后通过一个卷积依次和中下层、中间层的特征层进行特征融合；
然后对特征融合后的结果进行下采样后通过另一个卷积依次和中下层、底层特征层进行融合，获取加强特征，作为大目标特征。
按照本发明的另一方面，提供了一种基于先验知识的两阶段轨道交通车辆缺陷检测系统，包括：
先验知识库建立模块，用于将轨道交通车辆零部件包含的各部件及其相对空间位置关系、已知的零部件各种类的缺陷类型的集合作为先验知识库；
网络训练模块，用于将轨道交通车辆零部件图像集合作为训练集，训练零部件检测网络，零部件检测网络包括大目标特征提取网络和小目标特征提取网络，训练过程中通过大目标特征提取网络获取一级部件所在区域，然后从先验知识库中获知一级部件中包含的二级部件，对二级部件所在区域进行放大并映射回轨道交通车辆零部件图像后输入小目标特征提取网络，输出零部件种类，训练至收敛，得到训练好的零部件检测网络；
缺陷检测模块，用于将待检测部位图像输入训练好的零部件检测网络，检测到零部件种类，通过先验知识库、深度学习或模板匹配检测零部件种类的缺陷类型。
进一步地，所述缺陷检测模块包括：
先验检测模块，用于对检测到零部件种类，统计其数量，从先验知识库中获知该种类零部件的原始数量，将原始数量与统计数量对比，若统计数量少于原始数量，则该种类零部件的缺陷类型为部件丢失、脱落；
深度学习检测模块，用于将已知零部件种类的待检测部位图像输入深度学习网络，得到零部件种类的缺陷类型；
模板匹配检测模块，用于提取待检测图像的ORB特征点与模板图像进行匹配，通过差分法求差集，根据差集部分的面积和预设阈值比较，判断是否存在缺陷，若差集部分的面积大于预设阈值，则存在缺陷，从先验知识库中获知该种类零部件的缺陷类型。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明在第一阶段通过训练好的深度学习网络结合先验知识检测零部件类型，采用深度学习的方法性能上限更高，鲁棒性和泛化性更好，在零部件样本图像充足的情况下比较容易实现。而采用传统图像处理方法容易受到锈蚀等环境因素和计算机性能影响，具有较大的局限性。本发明相比于人工检测方法提高了检测效率，缩短检测时间。本发明在检测中引入了先验知识信息，相比于直接移植其他目标检测算法，提高了检测准确率。第一阶段中先检测出体积较大且易于检测的一级部件，推理出可能包含体积较小和难检测的二级部件的区域，并进一步对该区域进行检测，由此提高检测效率和检测准确率。对于第二阶段缺陷检测，提供多种检测手段进行缺陷检测，提高缺陷检测方法在轨道交通场景下的适用性和准确性。在由此解决传统方法检测时间较长，效率不高，容易出现误检漏检的问题。
(2)针对部件丢失、脱落等缺陷种类采用基于先验知识的数量进行缺陷检测，效率高，准确率高。由于轨道交通现有场景下缺陷样本数量较少，难以覆盖全部缺陷种类，采用深度学习方法在训练过程中可能出现不收敛或过拟合的情况，导致检测效果不佳，因此在该阶段，针对样本数量多、缺陷种类较为单一的零部件采用深度学习的方法进行缺陷检测，针对缺陷样本数量较少、深度学习检测效果不佳的缺陷类型采用模板匹配的方式进行缺陷检测。通过多种缺陷检测手段有效保证各种情况下的检测效率和检测准确率。同时，提高了本发明方法的适用性。
(3)一级部件包含二级部件，对于属于相同一级部件下的二级部件间的关系为相邻关系。根据零部件空间位置关系，在已知一级部件的前提下，容易推断出二级部件可能存在的区域范围，缩小算法的检测范围，提高检测准确率。由于一级部件体积往往远大于二级部件，在图像中所占的像素更多，算法更容易提取到特征信息，因此更容易检测出来，而二级部件在经过先验知识推理后缩小了检测范围，通过局部尺度放大增加二级部件在图像中的像素点数量，便于检测算法识别。
(4)本发明在训练过程中通过得分筛选和非极大抑制进一步提高预测结果的准确率。本申请中图像经过局部尺度放大后得到的二级部件，需要与原图像一级部件检测结果相结合，因此需要将二级部件检测的边界框映射回原图像。在提取特征时，通过对网络不同位置的三个特征层进行多次融合，可以得到加强特征，由此得到的预测结果更准确。
附图说明
图1是本发明实施例提供的一种基于先验知识的两阶段轨道交通车辆缺陷检测方法的流程图；
图2(a)是本发明实施例提供的零部件结构示意图；
图2(b)是本发明实施例提供的零部件空间位置关系先验知识示意图；
图3是本发明实施例提供的零部件检测网络结构图；
图4是本发明实施例提供的双线性插值示意；
在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：
10为轮轴，11为制动盘，12为螺母，13为制动钳，14为第一螺栓， 15为闸片，16为第二螺栓。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“内”、“外”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，术语“相邻”、“属于”、“包含”特指零部件层次结构和空间位置关系的简化描述，不是指示特定的方位。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1所示，一种基于先验知识的两阶段轨道交通车辆缺陷检测方法，包括：
轨道交通车辆零部件中一级部件包含二级部件，对于属于相同一级部件下的二级部件间的关系为相邻关系，将轨道交通车辆零部件包含的各部件及其相对空间位置关系、已知的零部件各种类的缺陷类型的集合作为先验知识库；
将轨道交通车辆零部件图像集合作为训练集，训练零部件检测网络，零部件检测网络包括大目标特征提取网络和小目标特征提取网络，训练过程中通过大目标特征提取网络获取一级部件所在区域，然后从先验知识库中获知一级部件中包含的二级部件，对二级部件所在区域进行放大并映射回轨道交通车辆零部件图像后输入小目标特征提取网络，输出零部件种类，训练至收敛，得到训练好的零部件检测网络；
将待检测部位图像输入训练好的零部件检测网络，检测到零部件种类，通过先验知识库、深度学习或模板匹配检测零部件种类的缺陷类型。
相对空间位置关系也叫空间位置约束关系。
根据轨道交通车辆零部件具有标准化生产、空间结构关系相对固定的特点，结合零部件种类和相对空间位置关系信息构建先验知识图谱，并设置轨道交通智能巡检系统图像数据命名规则，将图像数据名称作为先验知识库索引，通过图像命名查询隐含的先验知识信息。相对空间结构位置关系有相邻、包含(属于)等，如表1一级部件与二级部件关系所示，一级部件包含二级部件，对于属于相同一级部件下的二级部件间的关系为相邻关系。根据零部件空间位置关系，在已知一级部件的前提下，容易推断出二级部件可能存在的区域范围，缩小算法的检测范围，提高检测准确率。
表1部分一级部件与二级部件间对应关系
Figure RE-GDA0003657986650000081
Figure RE-GDA0003657986650000091
Figure RE-GDA0003657986650000101
由于一级部件体积往往远大于二级部件，在图像中所占的像素更多，算法更容易提取到特征信息，因此更容易检测出来，而二级部件在经过先验知识推理后缩小了检测范围，通过局部尺度放大增加二级部件在图像中的像素值，便于检测算法识别。
根据作业指导书可以获知零部件可能出现的缺陷类型，部分零部件可能出现的缺陷类型如表2所示。
可以将表2的内容加入先验知识库中。
表2部分零部件可能出现的缺陷类型
Figure RE-GDA0003657986650000111
Figure RE-GDA0003657986650000121
如图2(a)所示，转向架零部件包括轮轴10、制动盘11、螺母12、制动钳13、第一螺栓14、闸片15和第二螺栓16。轮轴10、制动盘11、制动钳13、闸片15为相邻位置关系；螺母12、第一螺栓14安装在制动钳13 上，第二螺栓16安装在制动盘11上，属于包含关系。基于此，建立先验知识图谱，如图2(b)所示。利用先验知识图谱，可通过某一零部件位置推理出其他零部件相对空间位置关系。
将图像文件名称作为先验知识索引，通过图像命名查询包含的先验知识信息，图像文件名称以一定的规则进行命名，包含相机编号、列车编号、车厢编号、转向架编号、车轴编号、车轮编号、一级部件编号、采集设备编号、采集点编号。例如，图像数据命名为 T1-CRH2A2411-01-01-03-05-ZD-01-01,各符号依次表示的含义为：T1表示相机编号，CRH2A2411表示列车编号，第一个01表示车厢编号，第二个 01表示转向架编号，03表示车轴编号，05表示车轮编号，ZD表示一级部件编号，第三个01表示采集设备编号，第四个01表示采集点编号。
对于第一阶段所采用的零部件检测网络，网络结构如图3所示，结合轨道交通场景下零部件相对空间位置关系先验知识，可以先检测出体积较大且易于检测的目标(一级部件)，推理出可能包含体积较小和难检测的目标(二级部件)的区域，并进一步检测该区域。
对于第一阶段零部件检测网络，所述训练零部件检测网络包括：
将轨道交通车辆零部件图像输入零部件检测网络，通过大目标特征提取网络提取大目标特征后通过分类回归后得到预测结果，预测结果包括一级部件、一级部件所在区域的左上角点的像素坐标以及一级部件所在区域的宽和高、置信度，筛选置信度满足阈值条件的预测结果，若预测过程中若同一个一级部件被多个预测框选中，将多个预测框合并为一个作为最后的一级部件所在区域；
从先验知识库中获知一级部件中包含的二级部件，采用双线性插值的方式对二级部件所在区域进行放大，然后映射回轨道交通车辆零部件图像，输入小目标特征提取网络，提取小目标特征后通过分类回归后，进行置信度得分筛选和非极大抑制，输出零部件种类，训练至收敛，得到训练好的零部件检测网络。
零部件检测网络其主干特征提取网络为CSPDarknet，该网络主要由四个残差卷积模块组成，每个残差卷积模块可以分为两个部分，残差主干部分为一次1×1的卷积和一次3×3的卷积，残差边部分不做任何处理，直接将残差主干的输入与输出结合。加强特征提取部分通过提取主干网络 CSPDarknet不同位置的三个特征层(中间层，中下层，底层)，对底层的特征层进行上采样，通过1×1卷积依次和中下层、中间层的特征层进行特征融合，然后再将中间层特征融合后的结果进行下采样，通过3×3卷积依次和中下层、底层特征层进行融合，获取加强特征，加强特征通过分类回归后得到预测结果。零部件检测网络中的大目标特征提取网络和小目标特征提取网络分别由包含一级部件和二级部件的图像数据集训练得到权重值。
得分筛选为筛选置信度满足阈值条件的检测结果，例如若设置阈值为 60％，则得到的预测结果中置信度超过60％的认为该检测结果有效，低于 60％的认为该检测结果无效，算法最终得到的检测结果为满足阈值条件的检测结果
非极大抑制也称为NMS算法，在目标检测中若同一个目标被多个预测框选中，该算法会将多个预测框合并为一个作为最后的检测结果。
零部件检测网络输入为智能巡检设备采集的轨道交通车辆图像数据，智能巡检设备包括但不限于车辆故障动态图像检测系统(Trouble of moving EMU DetectionSystem，TEDS)、智能巡检机器人，网络输出为预测的零部件种类、预测框左上角点的像素坐标以及预测框的宽和高、预测结果的置信度。
该方法通过级联卷积神经网络、局部区域放大和先验知识实现对小目标(二级部件)检测的优化，级联的具体实现方式为通过大目标检测网络获取一级部件所在位置，然后结合空间位置关系先验知识(相邻、包含等关系)，推断出二级部件可能存在的区域，将该区域剪裁并放大后输入小目标检测网络，对二级部件进行进一步检测。
局部尺度放大具体实现方式为，在结合先验知识获取图像中包含二级所在区域范围后，采用双线性插值的方式将该区域内图像放大一定倍数，然后对二级部件进行进一步检测。双线性插值法示意如图4所示，其在x 方向上的线性插值如式(1)、(2)所示，在y方向上的插值如式(3)所示。
Figure RE-GDA0003657986650000151
Figure RE-GDA0003657986650000152
Figure RE-GDA0003657986650000153
其中，Q11、Q12的横坐标为x1，R2、R1的横坐标为x，Q22、Q21的横坐标为x2。Q12、R2、Q22的纵坐标为y2，P的纵坐标为y，Q11、R1、Q21的纵坐标为y1，f(P)表示函数在点P处的函数值，其他各点类似。函数代表像素点像素坐标与像素值之间的映射关系。
本申请所提大目标检测网络和小目标检测网络采用的为YOLOvX网络，其他网络模型如Faster R-CNN、SSD、RetinaNet也可以替代本申请方法。
本申请中图像经过局部尺度放大后得到的二级部件检测结果，需要与原图像一级部件检测结果相结合，因此需要将二级部件检测的边界框映射回原图像，映射关系如式(4)所示，式中小型零部件检测边界框表示为 (x,y,w,h)，其中x,y为边界框左上点的坐标，w,h分别为边界框的宽高，边界框在原始图像中对应的投影为(xi,yi,wi,hi)，xl,yl为原始图像中剪裁区域的左上点坐标，k为图像尺度放大系数。
Figure RE-GDA0003657986650000154
对于第二阶段缺陷检测中采用的网络模型，其主干特征提取网络为 Darknet-53，由53个卷积层组成，得到的特征图分别通过(4+1+c)×k个大小为1×1的卷积核进行预测，k为预设边界框(bounding box prior)的个数(k默认取3)，c为预测目标的类别数。通过包含不同缺陷类型样本的数据集训练网络权重。
网络输入为第一阶段检测到的零部件所在区域图像，网络输出为预测的缺陷种类、预测框左上角点的像素坐标以及预测框的宽和高、预测结果的置信度。
对于第一阶段所采用的缺陷检测方法，根据可能出现的缺陷类型采用先验知识数量判断、深度学习、模板匹配三种方式进行针对性检测。针对部件丢失、脱落等缺陷种类，根据第一阶段检测出来的零部件种类及其数量，结合先验知识，通过数量变化对比判断是否出现部件丢失、脱落，例如部件制动盘正常状态下应存在8个螺母，若实际检测出的螺母数量少于该数目，则可直接判定为螺母丢失；针对样本数量多、缺陷种类较为单一的零部件采用深度学习的方法进行缺陷检测，该方法适用于大部分缺陷类型的检测；针对缺陷样本数量较少、采用深度学习方法检测效果不佳的缺陷类型，通过提取待检测图像ORB特征点与模板图像进行匹配，通过差分法求差集，根据差集部分的面积和阈值判断是否存在缺陷。模板匹配的阈值主要是用来避免噪点干扰，例如若设置的阈值范围为预测区域面积占比大于5％为缺陷，若检测出来的区域面积只占图像范围总面积的2％，则认为是噪点干扰，忽略不计，大于5％的区域认为是检测出可能存在缺陷的区域，作为最终的检测结果。
本申请中缺陷检测用到的深度学习网络为YOLO，其他网络模型如 Faster R-CNN、SSD、RetinaNet也可以替代本申请方法。
对于第一阶段零部件检测网络，通过智能巡检设备采集正常状态下轨道交通车辆图像数据，智能巡检设备包括但不限于车辆故障动态图像检测系统(Trouble of movingEMU Detection System，TEDS)，智能巡检机器人，在采集图像数据的基础上，通过labelimg标注工具使用矩形框对图像中一级部件和二级部件进行标注，采用VOC数据集的格式进行存放，制作零部件数据集，利用零部件数据集训练零部件网络。
对于第二阶段缺陷检测深度学习方法，通过智能巡检设备采集存在缺陷的轨道交通车辆图像数据，智能巡检设备包括但不限于车辆故障动态图像检测系统(Trouble ofmoving EMU Detection System，TEDS)，智能巡检机器人，在采集图像数据的基础上，通过labelimg标注工具使用矩形框对图像中不同缺陷类型进行标注，制作缺陷数据集，由于轨道交通车辆实际出现缺陷的概率较低，样本相对较少，本申请采用旋转、缩放、镜像、剪切、添加噪声等方式对缺陷数据集进行扩充，利用扩充后的缺陷数据集训练缺陷检测网络。
对于第二阶段缺陷检测模板匹配方法，通过智能巡检设备采集正常状态下轨道交通车辆图像数据，智能巡检设备包括但不限于车辆故障动态图像检测系统(Trouble ofmoving EMU Detection System，TEDS)，智能巡检机器人，采集的正常状态下的图像作为模板图像，并记录下采集位置，用作缺陷检测时相同位置处的匹配模板。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于先验知识的两阶段轨道交通车辆缺陷检测方法，其特征在于，包括：
轨道交通车辆零部件中一级部件包含二级部件，对于属于相同一级部件下的二级部件间的关系为相邻关系，将轨道交通车辆零部件包含的各部件及其相对空间位置关系、已知的零部件各种类的缺陷类型的集合作为先验知识库；
将轨道交通车辆零部件图像集合作为训练集，训练零部件检测网络，零部件检测网络包括大目标特征提取网络和小目标特征提取网络，训练过程中通过大目标特征提取网络获取一级部件所在区域，然后从先验知识库中获知一级部件中包含的二级部件，对二级部件所在区域进行放大并映射回轨道交通车辆零部件图像后输入小目标特征提取网络，输出零部件种类，训练至收敛，得到训练好的零部件检测网络；
将待检测部位图像输入训练好的零部件检测网络，检测到零部件种类，通过先验知识库、深度学习或模板匹配检测零部件种类的缺陷类型。
2.如权利要求1所述的一种基于先验知识的两阶段轨道交通车辆缺陷检测方法，其特征在于，所述通过先验知识库检测零部件种类的缺陷类型包括：
对于检测到零部件种类，统计其数量，从先验知识库中获知该种类零部件的原始数量，将原始数量与统计数量对比，若统计数量少于原始数量，则该种类零部件的缺陷类型判定为部件丢失、脱落。
3.如权利要求1所述的一种基于先验知识的两阶段轨道交通车辆缺陷检测方法，其特征在于，所述通过深度学习检测零部件种类的缺陷类型包括：
将已知零部件种类的待检测部位图像输入深度学习网络，得到零部件种类的缺陷类型；
所述深度学习网络通过如下方式训练得到：
标记轨道交通车辆各种类零部件的缺陷类型，形成训练样本，采用旋转、缩放、镜像、剪切、添加噪声的方式扩充训练样本，构建缺陷类型训练数据集，利用缺陷类型训练数据集训练深度学习网络，得到训练好的深度学习网络。
4.如权利要求1所述的一种基于先验知识的两阶段轨道交通车辆缺陷检测方法，其特征在于，所述通过模板匹配检测零部件种类的缺陷类型包括：
提取待检测图像的ORB特征点与模板图像进行匹配，通过差分法求差集，根据差集部分的面积和预设阈值比较，判断是否存在缺陷，若差集部分的面积大于预设阈值，则存在缺陷，从先验知识库中获知该种类零部件的缺陷类型。
5.如权利要求4所述的一种基于先验知识的两阶段轨道交通车辆缺陷检测方法，其特征在于，所述模板图像通过如下方式获取：
采集轨道交通车辆零部件正常状态下的图像作为模板图像，并记录下采集位置，用作缺陷检测时相同位置处的模板图像。
6.如权利要求1-5任一所述的一种基于先验知识的两阶段轨道交通车辆缺陷检测方法，其特征在于，所述零部件检测网络训练包括：
将轨道交通车辆零部件图像输入零部件检测网络，通过大目标特征提取网络提取大目标特征后通过分类回归后得到预测结果，预测结果包括一级部件、一级部件所在区域的左上角点的像素坐标以及一级部件所在区域的宽和高、置信度，筛选置信度满足阈值条件的预测结果，若预测过程中若同一个一级部件被多个预测框选中，将多个预测框合并为一个作为最后的一级部件所在区域；
从先验知识库中获知一级部件中包含的二级部件，采用双线性插值的方式对二级部件所在区域进行放大，然后映射回轨道交通车辆零部件图像，输入小目标特征提取网络，提取小目标特征后通过分类回归后，进行置信度得分筛选和非极大抑制，输出零部件种类，训练至收敛，得到训练好的零部件检测网络。
7.如权利要求6所述的一种基于先验知识的两阶段轨道交通车辆缺陷检测方法，其特征在于，所述映射通过如下方式实现：
Figure FDA0003645511180000031
其中，映射前二级部件所在区域边界框表示为(x，y，w，h)，x，y为边界框左上点的坐标，w，h分别为边界框的宽，高；边界框映射回轨道交通车辆零部件图像中对应的投影为(xi，yi，wi，hi)，xl，yl为轨道交通车辆零部件图像中剪裁区域的左上点坐标，k为映射前二级部件所在区域的尺度放大系数。
8.如权利要求6所述的一种基于先验知识的两阶段轨道交通车辆缺陷检测方法，其特征在于，所述零部件检测网络中大目标特征提取网络提取大目标特征和小目标特征提取网络提取小目标特征的方式相同，大目标特征提取网络提取大目标特征包括：
提取大目标特征提取网络不同位置的三个特征层，包括中间层、中下层和底层；
对底层的特征层进行上采样后通过一个卷积依次和中下层、中间层的特征层进行特征融合；
然后对特征融合后的结果进行下采样后通过另一个卷积依次和中下层、底层特征层进行融合，获取加强特征，作为大目标特征。
9.一种基于先验知识的两阶段轨道交通车辆缺陷检测系统，其特征在于，包括：
先验知识库建立模块，用于将轨道交通车辆零部件包含的各部件及其相对空间位置关系、已知的零部件各种类的缺陷类型的集合作为先验知识库；
网络训练模块，用于将轨道交通车辆零部件图像集合作为训练集，训练零部件检测网络，零部件检测网络包括大目标特征提取网络和小目标特征提取网络，训练过程中通过大目标特征提取网络获取一级部件所在区域，然后从先验知识库中获知一级部件中包含的二级部件，对二级部件所在区域进行放大并映射回轨道交通车辆零部件图像后输入小目标特征提取网络，输出零部件种类，训练至收敛，得到训练好的零部件检测网络；
缺陷检测模块，用于将待检测部位图像输入训练好的零部件检测网络，检测到零部件种类，通过先验知识库、深度学习或模板匹配检测零部件种类的缺陷类型。
10.如权利要求9所述的一种基于先验知识的两阶段轨道交通车辆缺陷检测系统，其特征在于，所述缺陷检测模块包括：
先验检测模块，用于对检测到零部件种类，统计其数量，从先验知识库中获知该种类零部件的原始数量，将原始数量与统计数量对比，若统计数量少于原始数量，则该种类零部件的缺陷类型为部件丢失、脱落；
深度学习检测模块，用于将已知零部件种类的待检测部位图像输入深度学习网络，得到零部件种类的缺陷类型；
模板匹配检测模块，用于提取待检测图像的ORB特征点与模板图像进行匹配，通过差分法求差集，根据差集部分的面积和预设阈值比较，判断是否存在缺陷，若差集部分的面积大于预设阈值，则存在缺陷，从先验知识库中获知该种类零部件的缺陷类型。
CN202210546352.1A 2022-05-16 2022-05-16 基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统 Active CN114862812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210546352.1A CN114862812B (zh) 2022-05-16 2022-05-16 基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210546352.1A CN114862812B (zh) 2022-05-16 2022-05-16 基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统

Publications (2)

Publication Number Publication Date
CN114862812A true CN114862812A (zh) 2022-08-05
CN114862812B CN114862812B (zh) 2024-09-10

Family

ID=82638572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210546352.1A Active CN114862812B (zh) 2022-05-16 2022-05-16 基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统

Country Status (1)

Country Link
CN (1) CN114862812B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082722A (zh) * 2022-08-22 2022-09-20 四川金信石信息技术有限公司 基于正向样本的设备缺陷检测方法、系统、终端及介质
CN117314898A (zh) * 2023-11-28 2023-12-29 中南大学 一种多阶段列车轨边零部件检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111332A (zh) * 2019-05-20 2019-08-09 陕西何止网络科技有限公司 基于深度卷积神经网络的胶原蛋白肠衣缺陷检测模型、检测方法及系统
CN111260797A (zh) * 2020-01-10 2020-06-09 西南交通大学 一种受电弓图像的三维模板自动匹配方法
US10769766B1 (en) * 2018-05-31 2020-09-08 Amazon Technologies, Inc. Regularized multi-label classification from partially labeled training data
CN113034478A (zh) * 2021-03-31 2021-06-25 太原科技大学 一种基于深度学习网络的焊缝缺陷识别定位方法、系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769766B1 (en) * 2018-05-31 2020-09-08 Amazon Technologies, Inc. Regularized multi-label classification from partially labeled training data
CN110111332A (zh) * 2019-05-20 2019-08-09 陕西何止网络科技有限公司 基于深度卷积神经网络的胶原蛋白肠衣缺陷检测模型、检测方法及系统
CN111260797A (zh) * 2020-01-10 2020-06-09 西南交通大学 一种受电弓图像的三维模板自动匹配方法
CN113034478A (zh) * 2021-03-31 2021-06-25 太原科技大学 一种基于深度学习网络的焊缝缺陷识别定位方法、系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082722A (zh) * 2022-08-22 2022-09-20 四川金信石信息技术有限公司 基于正向样本的设备缺陷检测方法、系统、终端及介质
CN117314898A (zh) * 2023-11-28 2023-12-29 中南大学 一种多阶段列车轨边零部件检测方法
CN117314898B (zh) * 2023-11-28 2024-03-01 中南大学 一种多阶段列车轨边零部件检测方法

Also Published As

Publication number Publication date
CN114862812B (zh) 2024-09-10

Similar Documents

Publication Publication Date Title
WO2022184088A1 (zh) 一种基于集成学习的洪水敏感性风险评估方法
CN114862812A (zh) 基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统
CN111489339B (zh) 高速铁路定位器螺栓备母缺陷的检测方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN112465746B (zh) 一种射线底片中小缺陷检测方法
CN109871875A (zh) 一种基于深度学习的建筑物变化检测方法
CN111428558A (zh) 一种基于改进YOLOv3方法的车辆检测方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN112257793A (zh) 一种基于改进YOLO v3算法的远距离交通标志检测方法
CN111127520B (zh) 一种基于视频分析的车辆跟踪方法和系统
JP6698191B1 (ja) 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム
CN115797354A (zh) 用于检测激光焊接焊缝外观缺陷的方法
CN112711981A (zh) 一种高精度输电线路缺陷识别方法
KR101874968B1 (ko) 이미지 정보 기반의 시정거리 측정 시스템 및 이를 이용한 시정거리 측정 방법
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN110046595A (zh) 一种基于级联式多尺度的密集人脸检测方法
CN114463300A (zh) 钢材表面缺陷检测方法、电子设备、存储介质
CN114067103A (zh) 一种基于YOLOv3的管道第三方破坏智能识别方法
CN107886049B (zh) 一种基于摄像探头的能见度识别预警方法
CN111914766A (zh) 一种城市管理业务游商行为检测方法、设备及可读存储介质
CN116596895A (zh) 一种变电设备图像缺陷识别方法及系统
CN113780462A (zh) 基于无人机航拍图像的车辆检测网络建立方法及其应用
CN112489040A (zh) 一种货车副风缸脱落故障识别方法
CN112380986A (zh) 抗复杂街道背景干扰的车型检测方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant