CN115131330A - 多源传感器融合的钢轨表面缺陷检测与测量方法及系统 - Google Patents

多源传感器融合的钢轨表面缺陷检测与测量方法及系统 Download PDF

Info

Publication number
CN115131330A
CN115131330A CN202210831643.5A CN202210831643A CN115131330A CN 115131330 A CN115131330 A CN 115131330A CN 202210831643 A CN202210831643 A CN 202210831643A CN 115131330 A CN115131330 A CN 115131330A
Authority
CN
China
Prior art keywords
steel rail
surface defect
severity
rail surface
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210831643.5A
Other languages
English (en)
Inventor
王胜春
刘俊博
王乐
方玥
王宁
赵鑫欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Railway Sciences Corp Ltd CARS
Infrastructure Inspection Institute of CARS
Beijing IMAP Technology Co Ltd
Original Assignee
China Academy of Railway Sciences Corp Ltd CARS
Infrastructure Inspection Institute of CARS
Beijing IMAP Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Railway Sciences Corp Ltd CARS, Infrastructure Inspection Institute of CARS, Beijing IMAP Technology Co Ltd filed Critical China Academy of Railway Sciences Corp Ltd CARS
Priority to CN202210831643.5A priority Critical patent/CN115131330A/zh
Publication of CN115131330A publication Critical patent/CN115131330A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了一种多源传感器融合的钢轨表面缺陷检测与测量方法及系统，包括：利用钢轨表面三维数据采集系统，采集钢轨三维数据；根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，划分为训练集、验证集和测试集；设计主干网络、颈部模块和头部模块，构建三维钢轨表面缺陷检测与测量网络，并以此构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练网络模型，利用测试集测试网络模型的检测性能指标，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型；将在真实线路采集钢轨表面三维数据输入网络模型，确定钢轨表面缺陷检测结果。

Description

多源传感器融合的钢轨表面缺陷检测与测量方法及系统
技术领域
本发明涉及轨道交通安全技术领域，尤其涉及一种多源传感器融合的钢轨表面缺陷检测与测量方法及系统。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
近年来，随着高速铁路里程不断增加，高速铁路已进入快速发展时期。在高速铁路长期的日常运营中，钢轨是铁路轨道的重要组成部件，用于引导列车车轮前进。随着高速化和重载化的程度不断提升，钢轨的劣化速度加快，导致钢轨损坏和缺陷的可能性加大。如果不及早发现并及时处理钢轨缺陷，后期的维修成本非常高，对铁路行车安全构成巨大威胁。
随着机器视觉和图像处理技术的飞速发展，许多学者和研究人员针对钢轨表面的缺陷检测开展了广泛的研究，首当其冲的是基于二维图像数据的钢轨表面缺陷检测。
基于二维图像数据的钢轨表面缺陷检测方法的基本思想是，利用安装在检测车下的高速线扫描相机采集的轨道图像数据，采用传统的手工预定义的特征描述子或神经网络进行图像特征提取，从而达到检测钢轨表面缺陷的目的。一种现有方案是将Gabor滤波器组应用于二维钢轨表面纹理描述，并采用高斯混合模型对类进行建模。然后，利用贝叶斯分类器对钢轨表面纹理进行分类。进一步的，还有一种现有方案提出了一种离散表面缺陷的实时视觉检测系统，通过图像采集系统采集轨道图像，采用钢轨区域提取算法对轨道图像中的钢轨区域进行分割，并采用局部归一化方法增强钢轨图像的对比度，利用基于投影轮廓的缺陷定位方法进行缺陷检测。进一步的，还有一种现有方案提出了一种针对离散表面缺陷的智能视觉检测系统，该系统包含用于增强钢轨图像的局部Michelson-like对比度方法和新的自动阈值方法比例强调最大熵阈值算法。俞和甘都将粗到精策略应用到钢轨表面缺陷检测中，利用粗提取器对钢轨表面图像中的缺陷进行粗定位，然后利用精提取器对含有异常点的点进行分类识别。随着研究的不断发展，深度卷积神经网络已被证明对特征提取和学习具有很强的鲁棒性、泛化性和可移植性，因此有一些基于深度卷积神经网络的缺陷检测方法应用于钢轨表面缺陷检测。进一步的，还有一种现有方案使用深度卷积神经网络对钢轨图像数据进行分析，以检测钢轨表面缺陷。进一步的，还有一种现有方案通过对钢轨图像进行定位和分类，提出了一种新的两阶段流水线钢轨缺陷检测方法。进一步的，还有一种现有方案实现了基于YOLOv3的钢轨表面缺陷实时检测算法。
然而，通过对高速线扫描相机采集的二维钢轨表面图像进行分析，不同类型的钢轨表面缺陷具有一定的相似性。在铁路运营过程中，钢轨表面存在污渍和锈迹，与钢轨表面缺陷也非常相似。这些因素导致基于二维图像数据的钢轨表面缺陷检测方法误报率高、精度低。
因此，如何提供一种新的方案，其能够解决上述技术问题是本领域亟待解决的技术难题。
发明内容
本发明实施例提供一种多源传感器融合的钢轨表面缺陷检测与测量方法，能够快速的检测钢轨表面缺陷的类别和位置，具有虚警率低、速度快、精度高等优点，包括：
利用钢轨表面三维数据采集系统，采集钢轨三维数据；
根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，将钢轨表面缺陷数据集划分为训练集、验证集和测试集；
设计主干网络、颈部模块和头部模块，构建三维钢轨表面缺陷检测与测量网络；
根据三维钢轨表面缺陷检测与测量网络，构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标，在训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标达到设定阈值时，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型；
将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，确定钢轨表面缺陷检测结果；所述钢轨表面缺陷检测结果，包括：钢轨表面预测缺陷类型，钢轨表面预测缺陷严重程度。
本发明实施例还提供一种多源传感器融合的钢轨表面缺陷检测与测量系统，包括：
数据采集单元，用于利用钢轨表面三维数据采集系统，采集钢轨三维数据；
钢轨表面缺陷数据集建立单元，用于根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，将钢轨表面缺陷数据集划分为训练集、验证集和测试集；
三维钢轨表面缺陷检测与测量网络构建单元，用于设计主干网络、颈部模块和头部模块，构建三维钢轨表面缺陷检测与测量网络；
网络模型构建和训练单元，用于根据三维钢轨表面缺陷检测与测量网络，构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标，在训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标达到设定阈值时，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型；
钢轨表面缺陷检测单元，用于将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，确定钢轨表面缺陷检测结果；所述钢轨表面缺陷检测结果，包括：钢轨表面预测缺陷类型，钢轨表面预测缺陷严重程度。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种多源传感器融合的钢轨表面缺陷检测与测量方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种多源传感器融合的钢轨表面缺陷检测与测量方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述一种多源传感器融合的钢轨表面缺陷检测与测量方法。
本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法及系统，包括：利用钢轨表面三维数据采集系统，采集钢轨三维数据；根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，将钢轨表面缺陷数据集划分为训练集、验证集和测试集；设计主干网络、颈部模块和头部模块，构建三维钢轨表面缺陷检测与测量网络；根据三维钢轨表面缺陷检测与测量网络，构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标，在训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标达到设定阈值时，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型；将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，确定钢轨表面缺陷检测结果；所述钢轨表面缺陷检测结果，包括：钢轨表面预测缺陷类型，钢轨表面预测缺陷严重程度。本发明利用钢轨表面三维数据采集系统，在巡检车上利用多源传感器组成的三维结构光系统动态地对轨道进行三维成像，并构建了钢轨表面缺陷数据集，包含典型的钢轨表面缺陷类型，在钢轨表面缺陷检测方面，提出一种基于深度卷积神经网络的三维钢轨表面缺陷与检测网络，构建了新的主干网络，建立并训练了基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，能够快速的检测钢轨表面缺陷的类别和位置，具有虚警率低、速度快、精度高等优点。在钢轨表面缺陷程度评估方面，通过端到端网络预测缺陷严重程度，实现了钢轨表面缺陷的量化分析。能够在巡检车上利用多源传感器组成的钢轨表面三维数据采集系统动态地对轨道进行三维成像，并对采集到的三维钢轨表面数据进行缺陷检测，从而降低误报率，提升检测系统的正确性和可用性。本发明还能够对钢轨表面缺陷的严重程度进行端到端预测，量化钢轨表面缺陷的严重程度。本发明利用多源传感器组成多源数据采集系统采集钢轨三维数据，解决了数据获取问题。利用新设计的三维钢轨表面缺陷与测量网络，提升了钢轨表面缺陷的检测精度，并实现了预测钢轨表面缺陷严重程度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法示意图。
图2为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的钢轨表面三维数据采集系统工作原理图。
图3为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的钢轨表面三维数据采集系统结构图。
图4为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的钢轨表面缺陷数据集中各种类型和尺寸的缺陷样本；其中，(a)为擦伤，(b)为异物，(c)为划痕，(d)为掉块。
图5为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的深度标签生成算法过程示意图。
图6为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的三维钢轨表面缺陷检测与测量网络中应用的可变形残差块和常规残差块结构图，其中，(a)为常规残差块RegularRes，(b)为可变形残差块DeformRes。
图7为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的三维钢轨表面缺陷检测与测量网络框架结构。
图8为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的单强度图像应用可变形卷积的效果分析；其中，(a)为四类缺陷的AP结果，(b)为四类缺陷的SAP结果。
图9为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的三模态结果对比。
图10为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的测量结果误差分析。
图11为运行本发明实施的一种多源传感器融合的钢轨表面缺陷检测与测量方法的计算机设备示意图。
图12为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量系统示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法示意图，如图1所示，本发明实施例提供一种多源传感器融合的钢轨表面缺陷检测与测量方法，能够快速的检测钢轨表面缺陷的类别和位置，具有虚警率低、速度快、精度高等优点，包括：
步骤101：利用钢轨表面三维数据采集系统，采集钢轨三维数据；
步骤102：根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，将钢轨表面缺陷数据集划分为训练集、验证集和测试集；
步骤103：设计主干网络、颈部模块和头部模块，构建三维钢轨表面缺陷检测与测量网络；
步骤104：根据三维钢轨表面缺陷检测与测量网络，构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标，在训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标达到设定阈值时，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型；
步骤105：将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，确定钢轨表面缺陷检测结果；所述钢轨表面缺陷检测结果，包括：钢轨表面预测缺陷类型，钢轨表面预测缺陷严重程度。
本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法，包括：利用钢轨表面三维数据采集系统，采集钢轨三维数据；根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，将钢轨表面缺陷数据集划分为训练集、验证集和测试集；设计主干网络、颈部模块和头部模块，构建三维钢轨表面缺陷检测与测量网络；根据三维钢轨表面缺陷检测与测量网络，构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标，在训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标达到设定阈值时，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型；将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，确定钢轨表面缺陷检测结果；所述钢轨表面缺陷检测结果，包括：钢轨表面预测缺陷类型，钢轨表面预测缺陷严重程度。本发明利用钢轨表面三维数据采集系统，在巡检车上利用多源传感器组成的三维结构光系统动态地对轨道进行三维成像，并构建了钢轨表面缺陷数据集，包含典型的钢轨表面缺陷类型，在钢轨表面缺陷检测方面，提出一种基于深度卷积神经网络的三维钢轨表面缺陷与检测网络，构建了新的主干网络，建立并训练了基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，能够快速的检测钢轨表面缺陷的类别和位置，具有虚警率低、速度快、精度高等优点。在钢轨表面缺陷程度评估方面，通过端到端网络预测缺陷严重程度，实现了钢轨表面缺陷的量化分析。能够在巡检车上利用多源传感器组成的钢轨表面三维数据采集系统动态地对轨道进行三维成像，并对采集到的三维钢轨表面数据进行缺陷检测，从而降低误报率，提升检测系统的正确性和可用性。本发明还能够对钢轨表面缺陷的严重程度进行端到端预测，量化钢轨表面缺陷的严重程度。本发明利用多源传感器组成多源数据采集系统采集钢轨三维数据，解决了数据获取问题。利用新设计的三维钢轨表面缺陷与测量网络，提升了钢轨表面缺陷的检测精度，并实现了预测钢轨表面缺陷严重程度。
由于基于二维图像数据的钢轨表面缺陷检测方法在实际应用时，不同类型的钢轨表面缺陷具有一定的相似性，钢轨表面存在污渍和锈迹时会与钢轨表面缺陷非常相似，以上因素导致基于二维图像数据的钢轨表面缺陷检测方法误报率高、精度低。为解决上述基于二维图像数据的钢轨表面缺陷检测方法存在的问题，研究人员考虑利用三维钢轨表面数据中的深度信息判别钢轨表面缺陷的真假。三维钢轨表面缺陷检测方法通常采用多源传感器(至少包括激光扫描仪和线扫描相机)组成三维结构光系统，用于捕获钢轨表面三维信息，然后利用多源特征融合分析，检测钢轨表面缺陷。一种方案是将基于结构光的三维检测技术应用于钢铁生产过程中的表面缺陷检测；还有一种方案是利用小波分析法检测钢轨波纹。然而，目前的三维钢轨表面缺陷检测方法速度慢、精度低，远远无法满足铁路日常巡检的实际应用需求。
为解决以上问题，本发明提出了一种基于多源传感器数据融合的钢轨表面缺陷检测方案，在巡检车上利用多源传感器组成的三维结构光系统动态地对轨道进行三维成像，并对采集到的三维钢轨表面数据进行缺陷检测，从而降低误报率，提升检测系统的正确性和可用性。此外，本发明所提方法还能够对钢轨表面缺陷的严重程度进行端到端预测，量化钢轨表面缺陷的严重程度。具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，包括：
利用钢轨表面三维数据采集系统，采集钢轨三维数据；
根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，将钢轨表面缺陷数据集划分为训练集、验证集和测试集；
设计主干网络、颈部模块和头部模块，构建三维钢轨表面缺陷检测与测量网络；
根据三维钢轨表面缺陷检测与测量网络，构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标，在训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标达到设定阈值时，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型；
将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，确定钢轨表面缺陷检测结果；所述钢轨表面缺陷检测结果，包括：钢轨表面预测缺陷类型，钢轨表面预测缺陷严重程度。
本发明利用多源传感器组成多源数据采集系统采集钢轨三维数据，解决了数据获取问题。利用新设计的三维钢轨表面缺陷与测量网络，提升了钢轨表面缺陷的检测精度，并实现了预测钢轨表面缺陷严重程度。
实施例中，具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，可以包括如下步骤：
构建钢轨表面三维数据采集系统，采集钢轨三维数据；
构建钢轨表面缺陷数据集，并进行人工标注，包含四类典型的钢轨表面缺陷类型，包括：擦伤、异物、划痕、掉块；
构建三维钢轨表面缺陷检测与测量网络，设计新的主干网络用于提取图像特征，设计颈部模块和头部模块实现钢轨表面缺陷检测与测量；
构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，将钢轨表面缺陷数据集划分为训练集、验证集和测试集，使用训练集和验证集训练网络模型，再使用测试集测试网络模型的检测性能指标；
在真实线路采集钢轨表面三维数据，输入到钢轨表面缺陷检测网络模型，输出钢轨表面缺陷检测结果。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，所述钢轨表面三维数据采集系统，包括：3D相机，线性激光器；其中，3D相机具备机器视觉镜头；
利用钢轨表面三维数据采集系统，采集钢轨三维数据，包括：
利用线性激光器发出光刀平面垂直入射到钢轨表面，由3D相机获取钢轨表面的激光截面图像；所述线性激光器发出的激光线被调制成反映钢轨轮廓信息的光刀平面；
对钢轨表面的激光截面图像进行光刀平面中心提取，得到光刀平面中心像素坐标；
根据光刀平面中心像素坐标和标定参数，确定钢轨轮廓数据；
按照采样间隔对钢轨等间距扫描采集，得到一系列钢轨轮廓数据；
根据采样间隔，对一系列钢轨轮廓数据按照采样时间顺序等间距排列，确定钢轨的三维点云数据；
根据钢轨的三维点云数据，计算得到钢轨表面的强度图像和深度图像作为钢轨三维数据。
首先是多源数据采集系统及钢轨表面缺陷数据集的构建。
图2为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的钢轨表面三维数据采集系统工作原理图，实施例中，钢轨表面三维数据采集系统的原理如图2所示，由线激光器、镜头和相机组成。激光线入射到被测物表面，被调制成反映被测物轮廓信息的光条，由相机拍摄该光条得到被测物的激光平面的断面图像。对该图像进行光条中心提取得到光条中心像素坐标，结合光条中心的像素坐标和系统标定参数，便可计算出被测物实际轮廓。结合扫描运动可以等间距获取被测物轮廓数据，从而实现对整个被测物的三维测量。
基于此原理，本发明所述的多源数据采集系统4，由3D相机3和线性激光器1组成，其中，3D相机3具备机器视觉镜头2。图3为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的钢轨表面三维数据采集系统结构图，如附图3所示，线性激光器的光刀平面垂直入射到钢轨表面5，由3D相机获取钢轨等部件的激光截面图像。对钢轨表面的激光截面图像进行光刀平面中心提取，得到光刀平面中心像素坐标；根据光刀平面中心像素坐标和标定参数，确定钢轨轮廓数据；然后，对钢轨等间距扫描得到一系列钢轨轮廓数据，并根据实际采样间隔等间距排列钢轨轮廓数据，得到钢轨的三维点云数据。最后对点云数据进行处理，得到钢轨的灰度强度图像和深度图像。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，包括：
对采集的钢轨三维数据提取钢轨表面的强度图像和深度图像，在强度图像和深度图像上标记钢轨表面缺陷的边界框，为强度图像和深度图像指定深度标签和类别标签；所述钢轨表面缺陷的边界框表示钢轨表面缺陷的位置信息，所述类别标签表示钢轨表面缺陷类型，包括：擦伤，异物，划痕，掉块；
根据深度图像和边界框所表示的钢轨表面缺陷的位置信息，确定钢轨表面缺陷严重程度，建立深度标签；
根据钢轨表面缺陷类型和钢轨表面缺陷严重程度，构建钢轨表面的强度图像和深度图像数据集，结合边界框、类别标签和深度标签，建立钢轨表面缺陷数据集。
实施例中，数据集的构建，包括：构建的钢轨表面缺陷数据集共包含400幅灰度强度图像和对应的深度图像，涵盖了四种典型缺陷(擦伤、异物、划痕和掉块)。数据集中的图像大小为1280×654像素。图4显示了四种钢轨缺陷的一些样本图像；其中，(a)为擦伤，(b)为异物，(c)为划痕，(d)为掉块。
此外，为了建立训练集，手工标记了钢轨表面缺陷的GroundTruth边界框，并为这些图像指定深度标签和类别标签。边界框和类别标签分别代表了钢轨表面缺陷的位置信息和类别。图5为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的深度标签生成算法过程示意图，为了测量钢轨表面缺陷的严重程度，设计了一种基于深度图像和边界框的深度信息的深度标签。如图5所示的算法1深度标签生成算法，给出了代码级细节。然后，将这些注释信息保存在相应的XML文件中，以完成模型的训练及调优，达到执行缺陷检测与测量任务的目的。
最后，按0.7:0.15:0.15的比例划分训练集、验证集和测试集。因此，训练集中包含有280幅图像，验证集有60幅图像，测试集有60幅图像。此外，每组中包含的各种缺陷的数量如表1钢轨表面缺陷数据详细信息所示。
表1
Figure BDA0003748372840000111
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，设计主干网络，包括：
根据并行特征提取策略，创建强度图像主干网络和深度图像主干网络；所述主干网络用于提取图像特征，输出多尺度特征图。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，创建强度图像主干网络，包括：
根据常规卷积层、shortcut层、可变形卷积层、可变形残差块和常规残差块，组成强度图像主干网络；所述常规残差块，包括：1个1×1的常规卷积层，1个3×3的常规卷积层和1个shortcut层；所述可变形残差块，包括：1个1×1的常规卷积层，1个可变形卷积层和1个shortcut层；
在常规卷积层和可变形卷积层后添加批量归一化层和带泄露修正线性单元激活函数，在每个残差块前使用基于残差块类型的1个3×3、步长为2的卷积层，强度图像主干网络对输入的强度图像进行5次下采样操作，提取图像特征，输出8倍、16倍和32倍3个尺度的下采样特征图，作为多尺度特征图；所述shortcut层用于将各特征图逐元素相加后作为输出。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，创建深度图像主干网络，包括：
根据常规卷积层、shortcut层和常规残差块，组成深度图像主干网络；所述常规残差块，包括：1个1×1的常规卷积层，1个3×3的常规卷积层和1个shortcut层；
在常规卷积层后添加批量归一化层和带泄露修正线性单元激活函数，
在每个残差块前使用基于残差块类型的1个3×3、步长为2的卷积层，深度图像主干网络对输入的深度图像进行5次下采样操作，提取图像特征，输出8倍、16倍和32倍3个尺度的下采样特征图，作为多尺度特征图；所述shortcut层用于将各特征图逐元素相加后作为输出。
实施例中，主干网络作为特征抽取器对于实现最佳性能至关重要，可变形卷积可以提高模型对不规则形状钢轨缺陷模型的泛化能力，残差块被证明是改善深部网络性能的有效方法。基于此，提出了一种新的主干网络来进行特征提取。
在设计的主干网络中，同时使用强度图像和深度图像作为输入，因此采用了一种并行特征提取策略，即创建两个主干网络分别提取两个输入的特征，根据并行特征提取策略，创建强度图像主干网络和深度图像主干网络；所述主干网络用于提取图像特征，输出多尺度特征图。强度图像主干网络，用于提取强度图像的图像特征，深度图像主干网络，用于提取深度图像的图像特征。
在设计创建强度图像主干网络时，网络输入大小设为512×512，整个主干网结构和详细参数如图6、图7和表2所示，称为强度图像主干网络DeformResNet。主干网络主要由常规卷积层(Regular Convolution,Regular Conv)、shortcut层、可变形卷积层(Deformable Convolution，DeformConv)、可变形残差块(Deformable Residual Block，DeformRes)和常规残差块(Regular Residual Block，RegularRes)组成。如附图6所示，RegularRes包含1个1×1的常规卷积层，1个3×3的常规卷积层和1个shortcut层，而DeformRes用可变形卷积层替换3×3的常规卷积层。DeformResNet中的常规卷积层和可变形卷积层后都添加了批量归一化层(Batch Normalization Layer)和带泄露修正线性单元(Leaky Rectified Linear Unit,LeakyReLU)激活函数，以避免过度拟合，加快网络的收敛速度。shortcut层类似于ResNet网络的shortcut层，能够将输入的各特征图逐元素相加后作为输出，有利于学习不同尺度的特征，并且降低训练难度，提高模型精度。同时，主干网络在每个残差块前都使用了基于残差块类型的1个3×3、步长为2的卷积层，对输入图像进行了5次(32倍)下采样操作，最终输出3个尺度特征图，即8倍、16倍和32倍下采样特征图。
表2
Figure BDA0003748372840000131
此外，在网络中，同时使用强度图像和深度图像作为输入，因此我们采用了一种并行特征提取策略，即创建两个主干网络分别提取两个输入的特征。然而，深度图像中包含的钢轨深度信息较多，而缺陷的形变特征信息较少。因此，创建深度图像主干网络RegularResNet，强度图像主干网络DeformResNet中的可变形卷积在深度图像主干网中被常规卷积所代替，其被称为RegularResNet。
具体的，在计创建深度图像主干网络RegularResNet时，深度图像主干网络主要由常规卷积层(Regular Convolution,Regular Conv)、shortcut层和常规残差块(RegularResidual Block，RegularRes)组成。如附图6所示，RegularRes包含1个1×1的常规卷积层，1个3×3的常规卷积层和1个shortcut层。
RegularResNet中的常规卷积层和可变形卷积层后都添加了批量归一化层(BatchNormalization Layer)和带泄露修正线性单元(Leaky Rectified Linear Unit,LeakyReLU)激活函数，以避免过度拟合，加快网络的收敛速度。shortcut层类似于ResNet网络的shortcut层，能够将输入的各特征图逐元素相加后作为输出，有利于学习不同尺度的特征，并且降低训练难度，提高模型精度。同时，主干网络在每个残差块前都使用了基于残差块类型的1个3×3、步长为2的卷积层，对输入图像进行了5次(32倍)下采样操作，最终输出3个尺度特征图，即8倍、16倍和32倍下采样特征图。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，设计颈部模块，包括：
根据多尺度特征图，采用空间金字塔池对不同采样率下最大下采样特征图的并行采样进行卷积，利用低层特征感受野较小、包含较多的细节信息和高层特征感受野较大、包含较强的语义信息的特点，将上采样的高层次特征和低层次特征进行融合，创建颈部模块，输出3个尺度的具有不同感受野的特征图，以定义不同的头部模块来预测不同大小的钢轨表面缺陷的边界框、分类概率值以及确定缺陷严重程度。
图8为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量方法的单强度图像应用可变形卷积的效果分析，结合图7和图8所示，实施例中，在设计颈部模块FPN时，为了增强感受野并获得多尺度信息，采用空间金字塔池(SPP)对不同采样率下最大下采样特征图的并行采样进行卷积。同时，在不影响精度的前提下减少了模型参数和计算量。颈部模块FPN采用自顶向下的处理方法，同时利用低层特征感受野较小，包含较多的细节信息和高层特征感受野较大，包含较强的语义信息的特点，将上采样的高层次特征和低层次特征进行融合。因此，采用FPN来鼓励低层特征图的重用，这些特征图往往包含更多容易忽略的尺寸较小缺陷的信息，从而使模型适应不同尺寸的钢轨表面缺陷，增强模型的泛化性。然后，FPN的输出是3个尺度的具有不同感受野的特征图，以定义不同的头部模块来预测不同大小的钢轨表面缺陷的边界框、分类概率值以及严重程度。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，设计头部模块，包括：
根据分辨率将多尺度特征图划分为S×S网格，利用每个网格预测预测4类钢轨缺陷的分类概率和3个不同大小的具有置信度和缺陷严重度的候选边界框；其中，每个缺陷严重度的候选边界框，包括：边界框坐标，缺陷严重度。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，按如下方式，确定边界框坐标和缺陷严重度：
Figure BDA0003748372840000151
其中，(x，y,w，h)表示边界框坐标；s表示缺陷严重度；网络预测参数为(tx，ty，tw，th，ts)，表示边界框形成的包围盒中心点的坐标、宽度、高度以及包围盒内缺陷的严重程度；(cx，cy)表示划分的网格单元的坐标偏移量；(px，py)表示先验边界框的宽度和高度；(bx，by，bw，bh，bs)表示边界框相对于特征图的位置和大小、以及钢轨表面缺陷的真实严重程度。
前述提到的确定边界框坐标和缺陷严重度的表达式为举例说明，本领域技术人员可以理解，在实施时还可以根据需要对上述公式进行一定形式的变形和添加其它的参数或数据，或者提供其它的具体公式，这些变化例均应落入本发明的保护范围。
实施例中，在设计头部模块时，在主干网络和颈部模块对输入图像进行特征提取后，将多尺度特征图分别输入不同的头部模块，检测不同尺寸的缺陷，以适应钢轨表面缺陷尺寸的不可预测性。并且，为了进一步利用钢轨表面缺陷的深度信息，实现缺陷严重程度的端到端预测。
在给定输入特征图后，头部模块将根据分辨率将输入特征图划分为S×S网格。因此，每个网格会预测4类钢轨缺陷的分类概率和3个不同大小的具有置信度和缺陷严重度的候选边界框。每个边界框包含四个位置指标，包括边界框坐标(x，y，w，h)，相应的缺陷严重度s和对象置信度。总的来说，网络输出是S×S×3×(4+1+1+4)的张量，
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，在利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型时，使用逻辑回归预测每个包围框的对象性得分，计算目标评分，通过最小化公司定义的算是函数更新基于多源传感器融合的钢轨表面缺陷检测与测量网络模型训练时的模型参数。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，按如下方式，计算目标评分：
Figure BDA0003748372840000161
其中，Pr(object)表示目标评分；IoU表示每个边界框之前与ground truth对象的重叠程度；DoS表示真实和预测严重性的差值。
前述提到的计算目标评分的表达式为举例说明，本领域技术人员可以理解，在实施时还可以根据需要对上述公式进行一定形式的变形和添加其它的参数或数据，或者提供其它的具体公式，这些变化例均应落入本发明的保护范围。
实施例中，网络模型使用逻辑回归预测每个包围框的对象性得分，如公式2所示。首先，计算Union(IoU)的交集大小，IoU表示每个边界框之前与ground truth对象的重叠程度。然后，计算真实和预测严重性DoS的差值。这两个因素有助于目标评分Pr(object)的计算。如果边界框先验的IoU大于任何其他边界框先验的IoU和预先设定的阈值(我们设为0.5)，同时最小DoS小于0.5，则此值为1；否则，将其设置为0。因此，如果一个边界框先验没有分配给真实目标，它不会坐标、严重性或类别预测损失，只计算目标损失。
在训练过程中，通过最小化公式3定义的损失函数来更新网络模型的参数。公式3由坐标损失Lcoord、严重性损失Lseverity、对象损失Lobj和类损失Lcls四部分组成。将误差损失平方和应用于Lcoord和Lseverity，如公式4和5所示。同时，使用sigmoid交叉熵损失的对象损失Lobj如公式6所示；考虑到这是一个类互斥分类任务，使用softmax交叉熵损失对公式7所示的类损失Lcls进行分类。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，按如下方式，确定损失函数：
Loss＝Lcoord+Lseverity+Lobj+Lcls (3)
Figure BDA0003748372840000162
Figure BDA0003748372840000163
Figure BDA0003748372840000164
Figure BDA0003748372840000171
其中，Loss表示损失函数；Lcoord表示坐标损失；Lseverity表示严重性损失；Lobj表示对象损失；Lcls表示类损失；xi,yi,wi,hi,si,ci,pi(c)表示模型的预测，表示边界框的中心点坐标、边界框的宽度和高度、缺陷严重程度、对象的对象置信度和对象的类分值；变量x、
Figure BDA0003748372840000172
表示分别预测和真实(y、w、h、s、c、p(c)也是如此)；λ是一个可调参数来控制每个损失的重要性；
Figure BDA0003748372840000173
由公式(2)Pr(object)计算得到，即如果坐标点(i,j)属于目标区域，则
Figure BDA0003748372840000174
否则
Figure BDA0003748372840000175
而如果坐标点(i,j)不属于目标区域，则
Figure BDA0003748372840000176
否则
Figure BDA0003748372840000177
S和B分别表示网格单元格数和边界框数。
前述提到的确定损失函数的表达式及推导过程表达式为举例说明，本领域技术人员可以理解，在实施时还可以根据需要对上述公式进行一定形式的变形和添加其它的参数或数据，或者提供其它的具体公式，这些变化例均应落入本发明的保护范围。
实施例中，在构建三维钢轨表面缺陷检测与测量网络后，依据构建三维钢轨表面缺陷检测与测量网络，构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标，在训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标达到设定阈值时，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型。
接下来采用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标；数据集被用来验证所提出的网络。
在进行测试试验时，实验设置包括：实验中编译环境为Ubuntu 16.04，使用内存为11gb的NVIDIA RTX 2080Ti图形处理器(graphics processing unit,GPU)加速训练处理。批量大小设置为8。采用Adam优化器，初始学习率为0.001，总共训练了200个epoch。学习速率用来控制训练损失的梯度下降速率，训练损失用来指导训练过程。当连续5个时期的训练损失不降低时，学习速率降低10倍。
此外，使用多尺度训练模型，而不是固定输入图像的大小为512×512。为了避免过拟合，还采用了旋转、随机裁剪和翻转等多种数据增强方法。
在进行测试时，检测性能指标，采用mAP(mean Average Precision)平均精确度平均值，和mSAP(mean Severity Average Precision)严重程度平均精度平均值来分别衡量检测和测量的精度。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，在利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标时，所述检测性能指标，包括：平均精确度平均值，严重程度平均精度平均值；
确定平均精确度平均值和严重程度平均精度平均值的过程，包括：
将网络模型预测的所有候选边界框按分类概率值降序排列，设置IOU阈值筛选出有效的边界框，统计有效的边界框数量、无效的边界框数量和未检测到的目标数量；
根据有效的边界框数量、无效的边界框数量和未检测到的目标数量，计算精确率和召回率；
根据精确率和召回率之间的P(R)曲线计算平均精确度；
对平均精确度计算平均值，确定平均精确度平均值；
在所有的有效的边界框数量中，通过预测和真实严重程度小于设定阈值的差值计算各类别的严重程度精度；
根据各类别的严重程度精度和召回率，计算严重程度平均精度；
对严重程度平均精度计算平均值，确定严重程度平均精度平均值。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，按照如下方式，计算平均精确度：
Figure BDA0003748372840000181
Figure BDA0003748372840000182
Figure BDA0003748372840000183
其中，AP表示平均精确度；TP,true positive,表示有效的边界框数量；FN,falsenegative,表示无效的边界框数量；FP,false positive,表示未检测到的目标数量；P(R)表示精确率P(Precision)和召回率R(Recall)之间的P(R)曲线。
前述提到的计算平均精确度的表达式为举例说明，本领域技术人员可以理解，在实施时还可以根据需要对上述公式进行一定形式的变形和添加其它的参数或数据，或者提供其它的具体公式，这些变化例均应落入本发明的保护范围。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，按照如下方式，计算严重程度平均精度：
Figure BDA0003748372840000191
SAP＝Ps×R×100％ (12)
其中，SAP表示严重程度平均精度；Ps表示各类别的严重程度精度；TP,truepositive,表示有效的边界框数量；FP,false positive,表示未检测到的目标数量；R，Recall，表示召回率。
前述提到的计算严重程度平均精度的表达式为举例说明，本领域技术人员可以理解，在实施时还可以根据需要对上述公式进行一定形式的变形和添加其它的参数或数据，或者提供其它的具体公式，这些变化例均应落入本发明的保护范围。
具体实施本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法时，在一个实施例中，按照如下方式，计算平均精确度平均值和严重程度平均精度平均值：
Figure BDA0003748372840000192
Figure BDA0003748372840000193
其中，mAP表示平均精确度平均值；AP表示平均精确度；mSAP表示严重程度平均精度平均值；SAP表示严重程度平均精度。
前述提到的计算平均精确度平均值和严重程度平均精度平均值的表达式为举例说明，本领域技术人员可以理解，在实施时还可以根据需要对上述公式进行一定形式的变形和添加其它的参数或数据，或者提供其它的具体公式，这些变化例均应落入本发明的保护范围。
实施例中，对于每一类目标，首先将网络预测的所有候选边界框按分类概率值降序排列，然后设置IOU阈值筛选出有效的边界框，有效的边界框数量true positive(TP)，无效的边界框数量false negative(FN)和未检测到的目标数量false positive(FP)三个值将被统计，以计算精确率(Precision)和召回率(Recall)。然后，基于精确率(P)和召回率(R)之间的P(R)曲线计算平均精确度(Average Precision，AP)，这是两个重要检测指标之间的一个的折衷考虑，能有效避免单独使用Precision、Recall指标的某些极端情况。
对于AP计算，不同的目标检测数据集有不同的计算方法。为每个类别不同的Recall值(包括0和1)，选择最大Precision值，然后计算P(R)曲线下的面积作为每个类别AP值。
此外，在所有的真阳性(TP，有效的边界框数量)结果中，通过预测和真实严重程度小于0.5的差值来计算各类别的严重程度精度(Ps)，再通过严重程度精度和召回来计算严重程度平均精度(SAP)，如公式11和12所示。提出的SAP评价指标综合考虑了严重度精度和召回率，有效地避免了低召回率和高严重度精度造成的模型误判，能够更好地刻画模型的有效性。
最后，如公式13和14所示，mAP和mSAP为各类别AP和SAP的平均值。
实施例中，在确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型后，将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，确定钢轨表面缺陷检测结果；所述钢轨表面缺陷检测结果，包括：钢轨表面预测缺陷类型，钢轨表面预测缺陷严重程度
为了验证本发明实施例提出的一种多源传感器融合的钢轨表面缺陷检测与测量方法在对真实线路采集钢轨表面三维数据检测钢轨表面缺陷检测结果的有效性，本发明实施例还行了一系列实验，从mAP、mSAP和处理时间(帧/秒，FPS)等方面对该方法进行了评价。实验使用的默认设置与测试试验采用相同的超参数，并在单个GPU环境中进行测试。
1)钢轨表面缺陷网络的效果实验：
根据表2，本发明实施例所提出的三维钢轨表面缺陷检测与测量网络(DCNN)结构的主干网络可以根据要求进行不同尺度的缩放，即不同尺度使用不同数量的残差块。设计了三种尺度的主干网络，包括light、middle和large，其相互之间的差异是Res3、Res4、Res5中残差块的数量。在对比实验中，使用相同的数据集对三种尺度的DCNN结构进行训练和测试，并考虑mAP和mSAP来评价每个尺度的整体性能。
表3为三种尺度DCNN结构的比较实验结果。可以看出，“large”的最佳mAP值为87.17，最佳mSAP值为39.07。结果表明，随着网络深度的增加，模型的定位精度和缺陷严重程度的预测精度都有所提高。但是，从表三可以看出，“large”相较于其他两种尺度的网络结构，具有更多的模型参数。因此，与其他两个网络相比，“large”网络的运行速度有一定的降低。
此外，数据集中的输入深度图像包含32位信息，不同于普通RGB图像的8位信息。因此，该模型的计算成本是相当大的，导致模型的速度减慢。
表3
Figure BDA0003748372840000211
2)可变形卷积的有效性实验:
如前所述，提出的网络模型将可变形卷积仅应用于强度图像，而不是深度图像(Y-N)。因此，为了验证该方法的有效性，通过提出的“large”DCNN结构，将该方法与强度图像和深度图像均无可变形卷积(N-N)以及强度图像和深度图像均应用可变形卷积(Y-Y)的两种模式进行了比较。表4表示不同可变形卷积应用模式下RSDNet效果比较实验结果，实验统计结果见表4。
表4
模式 N-N Y-N Y-Y
mAP 78.24 87.17 85.85
mSAP 25.18 39.07 33.64
FPS 30.8 6.2 4.1
从表4可以看出，Y-N模式在mAP和mSAP上的性能都优于N-N模式和Y-Y模式。图8的(a)中列出了四类缺陷的AP结果，代表了每类缺陷的定位精度。可以看出，Y-N模式在所有类别上都优于N-N模式，在“foreign-body(异物)”和“scratch(划痕)”方面的性能略低于Y-Y模式。图8的(b)中列出了四类缺陷的SAP结果，其中Y-N模式的性能最好。可见，无论使用哪一种模式，“abrasion(擦伤)”的SAP都远低于其他模式。这可能是由于“擦伤”缺陷的面积更大造成的。
三模态结果对比如附图9所示。Y-N模式在一定程度上仍然存在缺失检测。然而，Y-N模式可以正确检测大部分缺陷，而其他两种模式会遗漏一些缺陷，并将其视为错误类。
而且，从表IV可以看出，N-N模式在速度上明显优于Y-N模式。这并不奇怪，因为使用可变形卷积会增加参数的数量，从而导致速度下降。
总体而言，本文提出的Y-N模式DCNN体系结构在以一定速度为代价的情况下，能够有效提高缺陷严重程度的预测精度和定位精度。
3)测量结果的误差分析：
如图10所示，显示了测试集中检测到的钢轨缺陷严重程度的测量结果。从附图10的(a)可以看出，测量的最小缺陷严重度为0.73114mm。另一方面，附图10的(b)显示出了预测严重度与地面真值相比的误差，并且最小误差可以达到0.0545mm，这远低于传感器的理论深度分辨率参数的0.3mm。根据分析样品各种缺陷平均值所设定的经验参数，从附图10的(c)可以看出，平均误差约为0.80253mm。此外，该图10的(c)还显示了不同影响比下的平均误差，在95％～70％之间，大部分误差在0.5mm左右。虽然由于钢轨缺陷不规则、数据集规模不足以及数据标注中人为误差等原因，实验结果并不理想，但实验表明，该方法能够检测出大部分钢轨缺陷，且误差可控。
本发明提出了一种基于多源传感器数据融合的钢轨表面缺陷检测方案，能够在巡检车上利用多源传感器组成的三维结构光系统动态地对轨道进行三维成像，并对采集到的三维钢轨表面数据进行缺陷检测，从而降低误报率，提升检测系统的正确性和可用性。此外，本发明所提方法还能够对钢轨表面缺陷的严重程度进行端到端预测，量化钢轨表面缺陷的严重程度。
在数据采集方面，提出了一种钢轨表面三维数据采集系统，能够在巡检车上利用多源传感器组成的三维结构光系统动态地对轨道进行三维成像，并构建了钢轨表面缺陷强度图像和深度图像数据集，包含四种典型的钢轨表面缺陷。在钢轨表面缺陷检测方面，提出一种基于深度卷积神经网络的三维钢轨表面缺陷检测网络，构建了新的主干网络，利用可变形卷积来适应钢轨表面缺陷的不规则性，并采用并行策略分别提取钢轨表面强度图像和深度图像的特征，能够快速的检测钢轨表面缺陷的类别和位置，具有虚警率低、速度快、精度高等优点。在钢轨表面缺陷程度评估方面，创新性地提出了一种钢轨表面缺陷的测量方法，通过端到端网络预测缺陷严重程度，实现了钢轨表面缺陷的量化分析。
本发明利用多源传感器组成多源数据采集系统采集钢轨三维数据，解决了数据获取问题。利用新设计的三维钢轨表面缺陷与测量网络，提升了钢轨表面缺陷的检测精度，并实现了预测钢轨表面缺陷严重程度。
图11为运行本发明实施的一种多源传感器融合的钢轨表面缺陷检测与测量方法的计算机设备示意图，如图11所示，本发明实施例还提供一种计算机设备1100，包括存储器1110、处理器1120及存储在存储器上并可在处理器上运行的计算机程序1130，所述处理器执行所述计算机程序时实现上述一种多源传感器融合的钢轨表面缺陷检测与测量方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种多源传感器融合的钢轨表面缺陷检测与测量方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述一种多源传感器融合的钢轨表面缺陷检测与测量方法。
本发明实施例中还提供了一种多源传感器融合的钢轨表面缺陷检测与测量系统，如下面的实施例所述。由于该系统解决问题的原理与一种多源传感器融合的钢轨表面缺陷检测与测量方法相似，因此该系统的实施可以参见一种多源传感器融合的钢轨表面缺陷检测与测量方法的实施，重复之处不再赘述。
图12为本发明实施例一种多源传感器融合的钢轨表面缺陷检测与测量系统示意图，如图12所示，本发明实施例还提供一种多源传感器融合的钢轨表面缺陷检测与测量系统，在一个实施例中，该系统可以包括：
数据采集单元1201，用于利用钢轨表面三维数据采集系统，采集钢轨三维数据；
钢轨表面缺陷数据集建立单元1202，用于根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，将钢轨表面缺陷数据集划分为训练集、验证集和测试集；
三维钢轨表面缺陷检测与测量网络构建单元1203，用于设计主干网络、颈部模块和头部模块，构建三维钢轨表面缺陷检测与测量网络；
网络模型构建和训练单元1204，用于根据三维钢轨表面缺陷检测与测量网络，构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标，在训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标达到设定阈值时，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型；
钢轨表面缺陷检测单元1205，用于将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，确定钢轨表面缺陷检测结果；所述钢轨表面缺陷检测结果，包括：钢轨表面预测缺陷类型，钢轨表面预测缺陷严重程度。
综上，本发明实施例提供的一种多源传感器融合的钢轨表面缺陷检测与测量方法及系统，包括：利用钢轨表面三维数据采集系统，采集钢轨三维数据；根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，将钢轨表面缺陷数据集划分为训练集、验证集和测试集；设计主干网络、颈部模块和头部模块，构建三维钢轨表面缺陷检测与测量网络；根据三维钢轨表面缺陷检测与测量网络，构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标，在训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标达到设定阈值时，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型；将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，确定钢轨表面缺陷检测结果；所述钢轨表面缺陷检测结果，包括：钢轨表面预测缺陷类型，钢轨表面预测缺陷严重程度。本发明利用钢轨表面三维数据采集系统，在巡检车上利用多源传感器组成的三维结构光系统动态地对轨道进行三维成像，并构建了钢轨表面缺陷数据集，包含典型的钢轨表面缺陷类型，在钢轨表面缺陷检测方面，提出一种基于深度卷积神经网络的三维钢轨表面缺陷与检测网络，构建了新的主干网络，建立并训练了基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，能够快速的检测钢轨表面缺陷的类别和位置，具有虚警率低、速度快、精度高等优点。在钢轨表面缺陷程度评估方面，通过端到端网络预测缺陷严重程度，实现了钢轨表面缺陷的量化分析。能够在巡检车上利用多源传感器组成的钢轨表面三维数据采集系统动态地对轨道进行三维成像，并对采集到的三维钢轨表面数据进行缺陷检测，从而降低误报率，提升检测系统的正确性和可用性。本发明还能够对钢轨表面缺陷的严重程度进行端到端预测，量化钢轨表面缺陷的严重程度。
本发明提出了一种基于多源传感器数据融合的钢轨表面缺陷检测方案，能够在巡检车上利用多源传感器组成的三维结构光系统动态地对轨道进行三维成像，并对采集到的三维钢轨表面数据进行缺陷检测，从而降低误报率，提升检测系统的正确性和可用性。此外，本发明所提方法还能够对钢轨表面缺陷的严重程度进行端到端预测，量化钢轨表面缺陷的严重程度。
在数据采集方面，提出了一种钢轨表面三维数据采集系统，能够在巡检车上利用多源传感器组成的三维结构光系统动态地对轨道进行三维成像，并构建了钢轨表面缺陷强度图像和深度图像数据集，包含四种典型的钢轨表面缺陷。在钢轨表面缺陷检测方面，提出一种基于深度卷积神经网络的三维钢轨表面缺陷检测网络，构建了新的主干网络，利用可变形卷积来适应钢轨表面缺陷的不规则性，并采用并行策略分别提取钢轨表面强度图像和深度图像的特征，能够快速的检测钢轨表面缺陷的类别和位置，具有虚警率低、速度快、精度高等优点。在钢轨表面缺陷程度评估方面，创新性地提出了一种钢轨表面缺陷的测量方法，通过端到端网络预测缺陷严重程度，实现了钢轨表面缺陷的量化分析。
本发明利用多源传感器组成多源数据采集系统采集钢轨三维数据，解决了数据获取问题。利用新设计的三维钢轨表面缺陷与测量网络，提升了钢轨表面缺陷的检测精度，并实现了预测钢轨表面缺陷严重程度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种多源传感器融合的钢轨表面缺陷检测与测量方法，其特征在于，包括：
利用钢轨表面三维数据采集系统，采集钢轨三维数据；
根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，将钢轨表面缺陷数据集划分为训练集、验证集和测试集；
设计主干网络、颈部模块和头部模块，构建三维钢轨表面缺陷检测与测量网络；
根据三维钢轨表面缺陷检测与测量网络，构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标，在训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标达到设定阈值时，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型；
将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，确定钢轨表面缺陷检测结果；所述钢轨表面缺陷检测结果，包括：钢轨表面预测缺陷类型，钢轨表面预测缺陷严重程度。
2.如权利要求1所述的方法，其特征在于，所述钢轨表面三维数据采集系统，包括：3D相机、线性激光器；
利用钢轨表面三维数据采集系统，采集钢轨三维数据，包括：
利用线性激光器发出光刀平面垂直入射到钢轨表面，由3D相机获取钢轨表面的激光截面图像；所述线性激光器发出的激光线被调制成反映钢轨轮廓信息的光刀平面；
对钢轨表面的激光截面图像进行光刀平面中心提取，得到光刀平面中心像素坐标；
根据光刀平面中心像素坐标和标定参数，确定钢轨轮廓数据；
按照采样间隔对钢轨等间距扫描采集，得到一系列钢轨轮廓数据；
根据采样间隔，对一系列钢轨轮廓数据按照采样时间顺序等间距排列，确定钢轨的三维点云数据；
根据钢轨的三维点云数据，计算得到钢轨表面的强度图像和深度图像作为钢轨三维数据。
3.如权利要求2所述的方法，其特征在于，根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，包括：
对采集的钢轨三维数据提取钢轨表面的强度图像和深度图像，在强度图像和深度图像上标记钢轨表面缺陷的边界框，为强度图像和深度图像指定深度标签和类别标签；所述钢轨表面缺陷的边界框表示钢轨表面缺陷的位置信息，所述类别标签表示钢轨表面缺陷类型，包括：擦伤，异物，划痕，掉块；
根据深度图像和边界框所表示的钢轨表面缺陷的位置信息，确定钢轨表面缺陷严重程度，建立深度标签；
根据钢轨表面缺陷类型和钢轨表面缺陷严重程度，构建钢轨表面的强度图像和深度图像数据集，结合边界框、类别标签和深度标签，建立钢轨表面缺陷数据集。
4.如权利要求1所述的方法，其特征在于，设计主干网络，包括：
根据并行特征提取策略，创建强度图像主干网络和深度图像主干网络；所述主干网络用于提取图像特征，输出多尺度特征图。
5.如权利要求4所述的方法，其特征在于，创建强度图像主干网络，包括：
根据常规卷积层、shortcut层、可变形卷积层、可变形残差块和常规残差块，组成强度图像主干网络；所述常规残差块，包括：1个1×1的常规卷积层，1个3×3的常规卷积层和1个shortcut层；所述可变形残差块，包括：1个1×1的常规卷积层，1个可变形卷积层和1个shortcut层；
在常规卷积层和可变形卷积层后添加批量归一化层和带泄露修正线性单元激活函数，
在每个残差块前使用基于残差块类型的1个3×3、步长为2的卷积层，强度图像主干网络对输入的强度图像进行5次下采样操作，提取图像特征，输出8倍、16倍和32倍3个尺度的下采样特征图，作为多尺度特征图；所述shortcut层用于将各特征图逐元素相加后作为输出。
6.如权利要求4所述的方法，其特征在于，创建深度图像主干网络，包括：
根据常规卷积层、shortcut层和常规残差块，组成深度图像主干网络；所述常规残差块，包括：1个1×1的常规卷积层，1个3×3的常规卷积层和1个shortcut层；
在常规卷积层后添加批量归一化层和带泄露修正线性单元激活函数，
在每个残差块前使用基于残差块类型的1个3×3、步长为2的卷积层，深度图像主干网络对输入的深度图像进行5次下采样操作，提取图像特征，输出8倍、16倍和32倍3个尺度的下采样特征图，作为多尺度特征图；所述shortcut层用于将各特征图逐元素相加后作为输出。
7.如权利要求4所述的方法，其特征在于，设计颈部模块，包括：
根据多尺度特征图，采用空间金字塔池对不同采样率下最大下采样特征图的并行采样进行卷积，利用低层特征感受野较小、包含较多的细节信息和高层特征感受野较大、包含较强的语义信息的特点，将上采样的高层次特征和低层次特征进行融合，创建颈部模块，输出3个尺度的具有不同感受野的特征图，以定义不同的头部模块来预测不同大小的钢轨表面缺陷的边界框、分类概率值以及确定缺陷严重程度。
8.如权利要求7所述的方法，其特征在于，设计头部模块，包括：
根据分辨率将多尺度特征图划分为S×S网格，利用每个网格预测预测4类钢轨缺陷的分类概率和3个不同大小的具有置信度和缺陷严重度的候选边界框；其中，每个缺陷严重度的候选边界框，包括：边界框坐标，缺陷严重度。
9.如权利要求8所述的方法，其特征在于，按如下方式，确定边界框坐标和缺陷严重度：
Figure FDA0003748372830000031
其中，(x，y，w，h)表示边界框坐标；s表示缺陷严重度；网络预测参数为(tx，ty，tw，th，ts)，表示边界框形成的包围盒中心点的坐标、宽度、高度以及包围盒内缺陷的严重程度；(cx，cy)表示划分的网格单元的坐标偏移量；(px，py)表示先验边界框的宽度和高度；(bx，by，bw，bh，bs)表示边界框相对于特征图的位置和大小、以及钢轨表面缺陷的真实严重程度。
10.如权利要求1所述的方法，其特征在于，在利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型时，使用逻辑回归预测每个包围框的对象性得分，计算目标评分，通过最小化公司定义的算是函数更新基于多源传感器融合的钢轨表面缺陷检测与测量网络模型训练时的模型参数。
11.如权利要求10所述的方法，其特征在于，按如下方式，计算目标评分：
Figure FDA0003748372830000041
其中，Pr(object)表示目标评分；IoU表示每个边界框之前与ground truth对象的重叠程度；DoS表示真实和预测严重性的差值。
12.如权利要求11所述的方法，其特征在于，按如下方式，确定损失函数：
Loss＝Lcoord+Lseverity+Lobj+Lcls (3)
Figure FDA0003748372830000042
Figure FDA0003748372830000043
Figure FDA0003748372830000044
Figure FDA0003748372830000045
其中，Loss表示损失函数；Lcoord表示坐标损失；Lseverity表示严重性损失；Lobj表示对象损失；Lcls表示类损失；xi,yi,wi,hi,si,ci,pi(c)表示模型的预测，表示边界框的中心点坐标、边界框的宽度和高度、缺陷严重程度、对象的对象置信度和对象的类分值；变量x、
Figure FDA00037483728300000411
表示分别预测和真实(y、w、h、s、c、p(c)也是如此)；λ是一个可调参数来控制每个损失的重要性；
Figure FDA0003748372830000046
由公式Pr(object)计算得到，即如果坐标点(i,j)属于目标区域，则
Figure FDA0003748372830000047
否则
Figure FDA0003748372830000048
而如果坐标点(i,j)不属于目标区域，则
Figure FDA0003748372830000049
否则
Figure FDA00037483728300000410
S和B分别表示网格单元格数和边界框数。
13.如权利要求1所述的方法，其特征在于，在利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标时，所述检测性能指标，包括：平均精确度平均值，严重程度平均精度平均值；
确定平均精确度平均值和严重程度平均精度平均值的过程，包括：
将网络模型预测的所有候选边界框按分类概率值降序排列，设置IOU阈值筛选出有效的边界框，统计有效的边界框数量、无效的边界框数量和未检测到的目标数量；
根据有效的边界框数量、无效的边界框数量和未检测到的目标数量，计算精确率和召回率；
根据精确率和召回率之间的P(R)曲线计算平均精确度；
对平均精确度计算平均值，确定平均精确度平均值；
在所有的有效的边界框数量中，通过预测和真实严重程度小于设定阈值的差值计算各类别的严重程度精度；
根据各类别的严重程度精度和召回率，计算严重程度平均精度；
对严重程度平均精度计算平均值，确定严重程度平均精度平均值。
14.如权利要求13所述的方法，其特征在于，按照如下方式，计算平均精确度：
Figure FDA0003748372830000051
Figure FDA0003748372830000052
Figure FDA0003748372830000053
其中，AP表示平均精确度；TP,true positive,表示有效的边界框数量；FN,falsenegative,表示无效的边界框数量；FP,false positive,表示未检测到的目标数量；P(R)表示精确率P(Precision)和召回率R(Recall)之间的P(R)曲线。
15.如权利要求13所述的方法，其特征在于，按照如下方式，计算严重程度平均精度：
Figure FDA0003748372830000054
SAP＝Ps×R×100％ (12)
其中，SAP表示严重程度平均精度；Ps表示各类别的严重程度精度；TP,true positive,表示有效的边界框数量；FP,false positive,表示未检测到的目标数量；R，Recall，表示召回率。
16.如权利要求13所述的方法，其特征在于，按照如下方式，计算平均精确度平均值和严重程度平均精度平均值：
Figure FDA0003748372830000061
Figure FDA0003748372830000062
其中，mAP表示平均精确度平均值；AP表示平均精确度；mSAP表示严重程度平均精度平均值；SAP表示严重程度平均精度。
17.一种多源传感器融合的钢轨表面缺陷检测与测量系统，其特征在于，包括：
数据采集单元，用于利用钢轨表面三维数据采集系统，采集钢轨三维数据；
钢轨表面缺陷数据集建立单元，用于根据采集的钢轨三维数据，确定钢轨表面缺陷类型和钢轨表面缺陷严重程度，建立钢轨表面缺陷数据集，将钢轨表面缺陷数据集划分为训练集、验证集和测试集；
三维钢轨表面缺陷检测与测量网络构建单元，用于设计主干网络、颈部模块和头部模块，构建三维钢轨表面缺陷检测与测量网络；
网络模型构建和训练单元，用于根据三维钢轨表面缺陷检测与测量网络，构建基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，利用测试集测试训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标，在训练的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型的检测性能指标达到设定阈值时，确定训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型；
钢轨表面缺陷检测单元，用于将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面缺陷检测与测量网络模型，确定钢轨表面缺陷检测结果；所述钢轨表面缺陷检测结果，包括：钢轨表面预测缺陷类型，钢轨表面预测缺陷严重程度。
18.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至16任一项所述方法。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至16任一所述方法。
20.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至16任一所述方法。
CN202210831643.5A 2022-07-15 2022-07-15 多源传感器融合的钢轨表面缺陷检测与测量方法及系统 Pending CN115131330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210831643.5A CN115131330A (zh) 2022-07-15 2022-07-15 多源传感器融合的钢轨表面缺陷检测与测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210831643.5A CN115131330A (zh) 2022-07-15 2022-07-15 多源传感器融合的钢轨表面缺陷检测与测量方法及系统

Publications (1)

Publication Number Publication Date
CN115131330A true CN115131330A (zh) 2022-09-30

Family

ID=83384765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210831643.5A Pending CN115131330A (zh) 2022-07-15 2022-07-15 多源传感器融合的钢轨表面缺陷检测与测量方法及系统

Country Status (1)

Country Link
CN (1) CN115131330A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363087A (zh) * 2023-03-23 2023-06-30 南京航空航天大学 一种复合材料自动铺放表面缺陷的检测方法
CN116645371A (zh) * 2023-07-27 2023-08-25 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统
CN117011263A (zh) * 2023-08-03 2023-11-07 东方空间技术(山东)有限公司 一种用于火箭子级回收段的缺陷检测方法及装置
CN117030724A (zh) * 2023-10-09 2023-11-10 诺比侃人工智能科技(成都)股份有限公司 一种基于深度学习的多模态工业缺陷分析方法及系统
CN117853482A (zh) * 2024-03-05 2024-04-09 武汉软件工程职业学院(武汉开放大学) 一种基于多尺度的复合材料缺陷检测方法和设备
TWI843654B (zh) 2023-09-19 2024-05-21 東和鋼鐵企業股份有限公司 型鋼端部變形檢測系統

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363087A (zh) * 2023-03-23 2023-06-30 南京航空航天大学 一种复合材料自动铺放表面缺陷的检测方法
CN116645371A (zh) * 2023-07-27 2023-08-25 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统
CN116645371B (zh) * 2023-07-27 2023-10-17 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统
CN117011263A (zh) * 2023-08-03 2023-11-07 东方空间技术(山东)有限公司 一种用于火箭子级回收段的缺陷检测方法及装置
CN117011263B (zh) * 2023-08-03 2024-05-10 东方空间技术(山东)有限公司 一种用于火箭子级回收段的缺陷检测方法及装置
TWI843654B (zh) 2023-09-19 2024-05-21 東和鋼鐵企業股份有限公司 型鋼端部變形檢測系統
CN117030724A (zh) * 2023-10-09 2023-11-10 诺比侃人工智能科技(成都)股份有限公司 一种基于深度学习的多模态工业缺陷分析方法及系统
CN117030724B (zh) * 2023-10-09 2023-12-08 诺比侃人工智能科技(成都)股份有限公司 一种基于深度学习的多模态工业缺陷分析方法及系统
CN117853482A (zh) * 2024-03-05 2024-04-09 武汉软件工程职业学院(武汉开放大学) 一种基于多尺度的复合材料缺陷检测方法和设备
CN117853482B (zh) * 2024-03-05 2024-05-07 武汉软件工程职业学院(武汉开放大学) 一种基于多尺度的复合材料缺陷检测方法和设备

Similar Documents

Publication Publication Date Title
CN115131330A (zh) 多源传感器融合的钢轨表面缺陷检测与测量方法及系统
CN112330591B (zh) 少样本学习的钢轨表面缺陷检测方法及装置
Deng et al. Review on computer vision-based crack detection and quantification methodologies for civil structures
He et al. Obstacle detection of rail transit based on deep learning
CN110211101A (zh) 一种铁轨表面缺陷快速检测系统及方法
Yao et al. Inspection of exterior substance on high-speed train bottom based on improved deep learning method
CN104237121B (zh) 一种精子活力性能检测方法
CN117593304B (zh) 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
CN114694178A (zh) 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统
Dong et al. Intelligent segmentation and measurement model for asphalt road cracks based on modified mask R-CNN algorithm
CN113609895A (zh) 基于改进Yolov3的获取道路交通信息方法
Mijić et al. Traffic sign detection using YOLOv3
CN115719475A (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
Mi et al. Research on steel rail surface defects detection based on improved YOLOv4 network
Wang et al. An improved YOLOv8 algorithm for rail surface defect detection
CN114067296A (zh) 钢轨表面缺陷识别方法及装置
Zheng et al. An inspection method of rail head surface defect via bimodal structured light sensors
CN117496349A (zh) 轨道扣件异常检测方法及系统
CN110889418A (zh) 一种气体轮廓识别方法
CN111767815A (zh) 一种隧道渗漏水识别方法
Min et al. Rail Surface Defect Detection Based on Improved UPerNet and Connected Component Analysis.
CN117058627B (zh) 一种公共场所人群安全距离监测方法、介质及系统
Yang et al. A Deep Learning-based Framework for Vehicle License Plate Detection.
CN117893934B (zh) 一种改进的UNet3+网络无人机影像铁路轨道线检测方法与装置
CN114384078B (zh) 钢轨波磨损伤定位检测方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination