CN117496349A - 轨道扣件异常检测方法及系统 - Google Patents

轨道扣件异常检测方法及系统 Download PDF

Info

Publication number
CN117496349A
CN117496349A CN202311480411.0A CN202311480411A CN117496349A CN 117496349 A CN117496349 A CN 117496349A CN 202311480411 A CN202311480411 A CN 202311480411A CN 117496349 A CN117496349 A CN 117496349A
Authority
CN
China
Prior art keywords
track fastener
fusion
image
fastener
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311480411.0A
Other languages
English (en)
Inventor
秦勇
高阳
曹志威
连丽容
戈轩宇
白婕
于杭
李威
寇淋淋
柳青红
张启福
王玉强
秦杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202311480411.0A priority Critical patent/CN117496349A/zh
Publication of CN117496349A publication Critical patent/CN117496349A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种轨道扣件异常检测方法及系统，属于基于计算机的轨道扣件异常检测技术领域，使用高精度三维线扫激光采集设备扫描轨道扣件，采集配准成对的扣件深度图和灰度图；使用基于像元级的维度互补式图像融合方法，高效融合深度图与对应的灰度图，构建轨道扣件融合数据集；构建特征融合‑解耦模块，实现骨干网络的多维度特征融合和任务解耦；采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测。本发明提供基于多源数据融合的轨道扣件异常状态检测方法，可有效利用多源数据信息，解决了仅依靠二维视觉易受到表面锈蚀和污渍干扰所造成误判的问题，实现了轨道扣件异常状态的准确检测。

Description

轨道扣件异常检测方法及系统
技术领域
本发明涉及基于计算机的轨道扣件异常检测技术领域，具体涉及一种轨道扣件异常检测方法及系统。
背景技术
轨道基础设施设备是保证列车正常运行的基础，轨道扣件是其重要的一个组成部分。扣件主要由弹条、螺旋道钉、轨距挡板和垫板等组成，不同部件的异常都会造成不同的隐患，及时检查扣件各部件的健康状况有利于保证列车正常安全运行和维检部门精准维修。传统的检测方式是人工巡检，不仅浪费人力物力，实时性和准确率还难以保证。因此，开发先进智能的铁路扣件异常检测算法是非常有必要的。
现有的异常检测方法多为依赖二维视觉图像信息，利用图像处理和深度学习算法实现异常识别和定位。但在工程应用中，因受到光线、阴影和表面污渍等影响，缺乏三维信息的输入算法很容易产生误判。以激光雷达、深度相机和立体视觉为代表的三维信息采集设备逐渐冒出势头，各具优劣。针对扣件尺寸小、病害精细的特点，深度相机以其近距离、高精度的优势被广泛使用。目前常用的多源数据融合方式为特征层融合和结果层融合，特征层融合所构建网络模型复杂，存在占用内存大的弊端，顺序结构的结果层融合没有充分利用多源数据的优势，融合程度并不高。
发明内容
本发明的目的在于提供一种轨道扣件异常检测方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种轨道扣件异常检测方法，包括：
获取轨道扣件图像；
利用预先训练好的异常检测模型对获取的所述轨道扣件图像进行处理，得到轨道扣件异常检测结果；其中，训练异常检测模型包括：使用基于像元级的维度互补式图像融合方法，融合轨道扣件图像的深度图与对应的灰度图，构建轨道扣件融合数据集；构建特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦；采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测。
进一步的，使用基于像元级的维度互补式图像融合方法，融合深度图与对应的灰度图，构建轨道扣件融合数据集，包括：
采用灰度缩放系数c取1.0，调节常数γ取0.7的GAMMA算子增强灰度图亮度和对比度，ImgGray为灰度像素矩阵，ImgGray’为增强后的灰度像素矩阵；
ImgGray′＝c·ImgGray γ；
将深度图归一化运算到与灰度图相同的数量级，ImgDepth为深度像素矩阵，ImgDepth’为归一化后的深度像素矩阵，min为求取矩阵最小值，max为求取矩阵最大值，(i,j)代表像素矩阵第i行、第j列；
将像元级别的平面二维像素矩阵与第三维深度矩阵进行点乘运算，ImgMultiply为乘积像素矩阵；
ImgMultiply＝ImgGray′(i,j)·ImgDepth′(i,j)
采用以0作为下限的归一化方式进行溢出处理，得到铁路扣件融合图像，ImgFused为融合像素矩阵；
进一步的，构建一个新颖的特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦，包括：骨干网络由卷积层、池化层和三种Block构成，Block1包括一个卷积归一化激活函数层和多个C3_1模块，Block2包括一个卷积归一化激活函数层和一个上采样层，Block3包括三个C3_2模块和一个卷积归一化激活函数层，三种模块交替、重复构成骨干网络。
进一步的，多维度特征融合的方式为将骨干网络浅层Block和深层Block提取到的特征图进行三次融合，三种尺寸分别为80×80×256、40×40×512和40×40×256，通过基于PyTorch的连接函数将骨干网络提取到的浅层特征图F1、F2和F4与深层特征图F3、F5和F6进行连接，连接函数如下所示：
torch.cat(F1,F5)
torch.cat(F2,F3)
torch.cat(F4,F6)；
任务解耦由Block4完成，Block4包括多个卷积归一化激活函数层和2d卷积层。
进一步的，特征图F6和F7输入到一个卷积归一化激活函数层后分支两路，分别输入到两个卷积归一化激活函数层，一支路输入2d卷积层后输出预测类别结果，另一支路再次分支，分别输入2d卷积层后分别输出预测位置信息和预测置信度信息。
进一步的，采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测，包括：
选取检测准确率指标AP，IoU阈值为[0.5：0.95]；
在每一轮训练之前，将该轮之前所有轮的验证集AP矩阵进行加权计算，m为训练轮数，c为类别代号，k＝1,2,…,m-1；
对加权AP矩阵aveAP进行最大值归一化运算；
增设约束条件对上述矩阵进行修正得到基于交叉熵函数的类别损失函数的权重wc m，从而实现网络学习倾向动态变化；
第二方面，本发明提供一种轨道扣件异常检测系统，包括：
获取模块，用于获取轨道扣件图像；
检测模块，用于利用预先训练好的异常检测模型对获取的所述轨道扣件图像进行处理，得到轨道扣件异常检测结果；其中，训练异常检测模型包括：使用基于像元级的维度互补式图像融合方法，融合轨道扣件图像的深度图与对应的灰度图，构建轨道扣件融合数据集；构建特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦；采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的轨道扣件异常检测方法。
第四方面，本发明提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如上所述的轨道扣件异常检测方法。
第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的轨道扣件异常检测方法的指令。
本发明有益效果：利用基于数据层的多源数据融合方式构建铁路扣件融合数据集可以实现多维信息互补，还可以最大程度的保留原始信息，解决二维异常检测因缺乏第三维深度信息所造成的易受光线、阴影和表面污渍干扰从而引起的误判问题，实现扣件的精准异常检测。相比特征层和结果层的融合方式，本发明通过数据层融合构建的扣件异常检测网络更加高效、便捷，融合程度较高，所需的计算量要求较低。检测准确率指标引导的损失函数再权重方式可以解决样本种类不均衡问题，同时提高难样本类别的检测精度。
本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的轨道扣件的灰度图。
图2为本发明实施例所述的轨道扣件的深度图。
图3为本发明实施例所述的轨道扣件的融合图。
图4为本发明实施例所述的特征融合-解耦模块框架图。
图5为本发明实施例所述的特征融合-解耦模块中各结构块图。
图6为采用本发明实施例所述的方法对铁路扣件异常检测的效果图。
图7为本发明实施例所述的轨道扣件异常检测方法流程图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1中，首先提供了一种轨道扣件异常检测系统，包括：获取模块，用于获取轨道扣件图像；检测模块，用于利用预先训练好的异常检测模型对获取的所述轨道扣件图像进行处理，得到轨道扣件异常检测结果；其中，训练异常检测模型包括：使用基于像元级的维度互补式图像融合方法，融合轨道扣件图像的深度图与对应的灰度图，构建轨道扣件融合数据集；构建特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦；采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测。
本实施例1中，利用上述的系统，实现了轨道扣件异常检测方法，包括：利用获取模块获取轨道扣件图像；利用检测模块基于预先训练好的异常检测模型对获取的所述轨道扣件图像进行处理，得到轨道扣件异常检测结果；其中，训练异常检测模型包括：使用基于像元级的维度互补式图像融合方法，融合轨道扣件图像的深度图与对应的灰度图，构建轨道扣件融合数据集；构建特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦；采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测。
其中，使用基于像元级的维度互补式图像融合方法，融合深度图与对应的灰度图，构建轨道扣件融合数据集，包括：
采用灰度缩放系数c取1.0，调节常数γ取0.7的GAMMA算子增强灰度图亮度和对比度，ImgGray为灰度像素矩阵，ImgGray’为增强后的灰度像素矩阵；
ImgGray′＝c·ImgGray γ；
将深度图归一化运算到与灰度图相同的数量级，ImgDepth为深度像素矩阵，ImgDepth’为归一化后的深度像素矩阵，min为求取矩阵最小值，max为求取矩阵最大值，(i,j)代表像素矩阵第i行、第j列；
将像元级别的平面二维像素矩阵与第三维深度矩阵进行点乘运算，ImgMultiply为乘积像素矩阵；
ImgMultiply＝ImgGray′(i,j)·ImgDepth′(i,j)
采用以0作为下限的归一化方式进行溢出处理，得到铁路扣件融合图像，ImgFused为融合像素矩阵；
构建一个新颖的特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦，包括：骨干网络由卷积层、池化层和三种Block构成，Block1包括一个卷积归一化激活函数层和多个C3_1模块，Block2包括一个卷积归一化激活函数层和一个上采样层，Block3包括三个C3_2模块和一个卷积归一化激活函数层，三种模块交替、重复构成骨干网络。
多维度特征融合的方式为将骨干网络浅层Block和深层Block提取到的特征图进行三次融合，三种尺寸分别为80×80×256、40×40×512和40×40×256，通过基于PyTorch的连接函数将骨干网络提取到的浅层特征图F1、F2和F4与深层特征图F3、F5和F6进行连接，连接函数如下所示：
torch.cat(F1,F5)
torch.cat(F2,F3)
torch.cat(F4,F6)；
任务解耦由Block4完成，Block4包括多个卷积归一化激活函数层和2d卷积层。
特征图F6和F7输入到一个卷积归一化激活函数层后分支两路，分别输入到两个卷积归一化激活函数层，一支路输入2d卷积层后输出预测类别结果，另一支路再次分支，分别输入2d卷积层后分别输出预测位置信息和预测置信度信息。
采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测，包括：
选取检测准确率指标AP，IoU阈值为[0.5：0.95]；
在每一轮训练之前，将该轮之前所有轮的验证集AP矩阵进行加权计算，m为训练轮数，c为类别代号，k＝1,2,…,m-1；
对加权AP矩阵aveAP进行最大值归一化运算；
增设约束条件对上述矩阵进行修正得到基于交叉熵函数的类别损失函数的权重wc m，从而实现网络学习倾向动态变化
实施例2
如图7所示，本实施例2中，提供一种轨道扣件异常检测方法，针对二维视觉易受到平面因素干扰的问题，利用线结构光相机采集配准成对的轨道扣件灰度图和深度图。使用基于像元级的维度互补式图像融合方法，高效融合深度图与对应的灰度图，从而构建轨道扣件融合数据集。构建一个新颖的特征融合-解耦模块，有效融合低分辨率下灰度图具有的语义特征和高分辨率下深度图具有的空间特征，并且在检测头解耦分类和回归任务，结合目标检测的特征提取骨干网络对融合数据集进行训练。考虑到融合数据集中样本类别不均衡问题，采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断根据全局验证集AP调整类别损失函数中各类别的权重，从而实现轨道扣件异常的精准检测。
本实施例2所述的轨道扣件异常检测方法，包括以下步骤：
步骤1，自研发的轨检小车在无砟轨道上往返行驶采集配准成对的扣件深度图和灰度图，轨检小车配置有高精度三维线扫激光采集装备，主要包括结构光相机和激光发射器，多源传感器的使用能够增加采集数据的维度，实现冗余信息的合并和互补信息的组合；
步骤2，使用基于像元级的维度互补式图像融合方法，高效融合深度图与对应的灰度图，构建轨道扣件融合数据集，在不增加网络计算量的基础上，将二维平面信息与三维深度信息高效、快捷融合，深度信息的加入可有效改善光线、表面污渍对轨道扣件数据的影响，如图1所示，灰度图与融合图差异较为明显，钢轨处亮度明显提升，扣件处明暗对比增强；
所述步骤2具体包括以下步骤：
步骤2.1，灰度图像素矩阵代表了颜色，数值在[0,255]，采用灰度缩放系数c取1.0，调节常数γ取0.7的GAMMA算子对灰度图像进行非线性变换，增强灰度图亮度和对比度，ImgGray为灰度像素矩阵，ImgGray’为增强后的灰度像素矩阵；
ImgGray′＝c·ImgGray γ
步骤2.2，深度图像素矩阵代表了相对高度，数值在[5000,10000]，将深度图归一化运算到与灰度图相同的数量级，ImgDepth为深度像素矩阵，ImgDepth’为归一化后的深度像素矩阵，min为求取矩阵最小值，max为求取矩阵最大值，(i,j)代表像素矩阵第i行、第j列；
步骤2.3，将像元级别的平面二维像素矩阵与第三维深度矩阵进行点乘运算，两像素矩阵元素一对一相乘得到乘积像素矩阵，ImgMultiply为乘积像素矩阵；
ImgMultiply＝ImgGray′(i,j)·ImgDepth′(i,j)
步骤2.4，为解决乘积像素矩阵中包含饱和元素所导致图像大范围白化问题，采用以0作为下限的归一化方式进行溢出处理，得到铁路扣件融合图像，ImgFused为融合像素矩阵；
步骤3，构建一个新颖的特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦，实现轨道扣件多维度特征信息的有效提取，提高检测准确率；
所述步骤3具体包括以下步骤：
步骤3.1，骨干网络主要由卷积层、池化层和三种Block构成，Block1包括一个卷积归一化激活函数层和多个C3_1模块，Block2包括一个卷积归一化激活函数层和一个上采样层，Block3包括三个C3_2模块和一个卷积归一化激活函数层，三种模块交替、重复构成骨干网络；
步骤3.2，多维度特征融合的方式为将骨干网络浅层Block和深层Block提取到的特征图进行三次融合，三种尺寸分别为80×80×256、40×40×512和40×40×256，通过基于PyTorch的连接函数将骨干网络提取到的浅层特征图F1、F2和F4与深层特征图F3、F5和F6进行连接，连接函数如下所示：
torch.cat(F1,F5)
torch.cat(F2,F3)
torch.cat(F4,F6)；
步骤3.3，任务解耦由Block4完成，Block4包括多个卷积归一化激活函数层和2d卷积层；
步骤3.4，特征图F6和F7输入到一个卷积归一化激活函数层后分支两路，分别输入到两个卷积归一化激活函数层，一支路输入2d卷积层后输出预测类别结果，另一支路再次分支，分别输入2d卷积层后分别输出预测位置信息和预测置信度信息；
步骤4，采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测，该步骤可以有效改善样本不平衡，合理提高少样本类别的检测准确率；
所述步骤4具体包括以下步骤：
步骤4.1，选取检测准确率指标AP，IoU阈值为[0.5：0.95]；
步骤4.2，在每一轮训练之前，将该轮之前所有轮的验证集AP矩阵进行加权计算，m为训练轮数，c为类别代号，k＝1,2,…,m-1；
步骤4.3，对加权AP矩阵aveAP进行最大值归一化运算；
步骤4.4，考虑到权重数量级溢出和权重归零造成的梯度爆炸和消失，增设约束条件对上述矩阵进行修正，得到基于交叉熵函数的类别损失函数的权重wc m，从而实现网络学习倾向动态变化。
综上，本实施例2中，利用基于数据层的多源数据融合方式构建铁路扣件融合数据集可以实现多维信息互补，还可以最大程度的保留原始信息，解决二维异常检测因缺乏第三维深度信息所造成的易受光线、阴影和表面污渍干扰从而引起的误判问题，实现扣件的精准异常检测。相比特征层和结果层的融合方式，通过数据层融合构建的扣件异常检测网络更加高效、便捷，融合程度较高，所需的计算量要求较低。检测准确率指标引导的损失函数再权重方式可以解决样本种类不均衡问题，同时提高难样本类别的检测精度。
实施例3
本实施例3中提供一种轨道扣件异常检测方法，包括以下步骤：
步骤1，使用高精度三维线扫激光采集装备扫描铁路无砟轨道扣件，采集配准成对的扣件深度图和灰度图，多源传感器的使用能够增加采集数据的维度，实现冗余信息的合并和互补信息的组合；
采集装置内部主要包含3D结构光相机、激光发射器、散热风扇以及数据转接板，采集方式为在实验基地内，人以1.0m/s的速度驾驶小车在无砟轨道上往返行驶。模拟轨道长度为30m；
步骤2，使用基于像元级的维度互补式图像融合方法，高效融合深度图与对应的灰度图，构建轨道扣件融合数据集，在不增加网络计算量的基础上，将二维平面信息与三维深度信息高效、快捷融合，深度信息的加入可有效改善光线、表面污渍对轨道扣件数据的影响，如图1所示，灰度图与融合图差异较为明显，钢轨处亮度明显提升，扣件处明暗对比增强；
所述步骤2具体包括以下步骤：
步骤2.1，灰度图像素矩阵代表了颜色，数值在[0,255]，采用GAMMA算子对灰度图像进行非线性变换，增强灰度图亮度和对比度，设置灰度缩放系数c为1.0，调节常数γ为0.7，ImgGray为灰度像素矩阵，ImgGray’为增强后的灰度像素矩阵；
ImgGray′＝c·ImgGray γ
步骤2.2，深度图像素矩阵代表了相对高度，数值在[5000,10000]，将深度图归一化运算到与灰度图相同的数量级，ImgDepth为深度像素矩阵，ImgDepth’为归一化后的深度像素矩阵，min为求取矩阵最小值，max为求取矩阵最大值，(i,j)代表像素矩阵第i行、第j列；
步骤2.3，将像元级别的平面二维像素矩阵与第三维深度矩阵进行点乘运算，两像素矩阵元素一对一相乘得到乘积像素矩阵，ImgMultiply为乘积像素矩阵；
ImgMultiply＝ImgGray′(i,j)·ImgDepth′(i,j)
步骤2.4，为解决乘积像素矩阵中包含饱和元素所导致图像大范围白化问题，采用以0作为下限的归一化方式进行溢出处理，最终得到铁路扣件融合图像，ImgFused为融合像素矩阵；
由图1至图3可以看出，经过步骤2后得到了一个融合图。
步骤3，构建一个新颖的特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦，实现轨道扣件多维度特征信息的有效提取，提高检测准确率；
所述步骤3具体包括以下步骤：
步骤3.1，构造骨干网络，其主要由卷积层、池化层和三种Block构成，Block1包括一个卷积归一化激活函数层和多个C3_1模块，Block2包括一个卷积归一化激活函数层和一个上采样层，Block3包括三个C3_2模块和一个卷积归一化激活函数层，三种模块交替、重复构成骨干网络；
步骤3.2，多维度特征融合的方式为将骨干网络浅层Block和深层Block提取到的特征图进行三次融合，三种尺寸分别为80×80×256、40×40×512和40×40×256，通过基于PyTorch的连接函数将骨干网络提取到的浅层特征图F1、F2和F4与深层特征图F3、F5和F6进行连接，连接函数如下所示：
torch.cat(F1,F5)
torch.cat(F2,F3)
torch.cat(F4,F6)；
步骤3.3，任务解耦由Block4完成，Block4包括多个卷积归一化激活函数层和2d卷积层；
步骤3.4，特征图F6和F7输入到一个卷积归一化激活函数层后分支两路，分别输入到两个卷积归一化激活函数层，一支路输入2d卷积层后输出预测类别结果，另一支路再次分支，分别输入2d卷积层后分别输出预测位置信息和预测置信度信息；
步骤4，采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测，该步骤可以有效改善样本不平衡，合理提高少样本类别的检测准确率；
所述步骤4具体包括以下步骤：
步骤4.1，选取检测准确率指标AP，IoU阈值为[0.5：0.95]；
步骤4.2，在训练过程中，在每一轮训练之前，将该轮之前所有轮的验证集AP矩阵进行加权计算，m为训练轮数，c为类别代号，k＝1,2,…,m-1；
步骤4.3，对加权AP矩阵aveAP进行最大值归一化操作；
步骤4.4，考虑到权重数量级溢出和权重归零造成的梯度爆炸和消失，增设约束条件进行修正，得到基于交叉熵函数的类别损失函数的权重wc m，从而实现网络学习倾向动态变化。
本实施例中，共采集了2125对扣件灰度图与深度图，其中包括正常扣件、弹条丢失、弹条松动、螺帽、螺帽丢失、挡板丢失和异物入侵一共7个类别，然后利用本实施例所提出的异常检测算法构建铁路扣件融合数据集并进行检测，最终得到如表1所示的检测结果。可以看出，各类扣件异常状态均被检测出来，几乎没有误判和漏检。在本数据集中，该检测方法mAP0.5达到了95.6％。
表1实验检测结果
本实施例3提出的一种轨道扣件异常检测方法，创新性主要体现在使用一种基于像元级的维度互补式图像融合方法，高效融合深度图与其对应的灰度图，从而构建铁路扣件融合数据集，并且构建一个新颖的特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦，采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，提高难样本类别的检测精度，从而实现铁路扣件异常检测，解决了二维异常检测因缺乏第三维深度信息所造成的易受光线、阴影和表面污渍干扰从而引起的误判问题。
实施例4
本实施例4提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的轨道扣件异常检测方法，该方法包括：
获取轨道扣件图像；
利用预先训练好的异常检测模型对获取的所述轨道扣件图像进行处理，得到轨道扣件异常检测结果；其中，训练异常检测模型包括：使用基于像元级的维度互补式图像融合方法，融合轨道扣件图像的深度图与对应的灰度图，构建轨道扣件融合数据集；构建特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦；采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测。
实施例5
本实施例5提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行轨道扣件异常检测方法，该方法包括：
获取轨道扣件图像；
利用预先训练好的异常检测模型对获取的所述轨道扣件图像进行处理，得到轨道扣件异常检测结果；其中，训练异常检测模型包括：使用基于像元级的维度互补式图像融合方法，融合轨道扣件图像的深度图与对应的灰度图，构建轨道扣件融合数据集；构建特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦；采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测。
实施例6
本实施例6提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的轨道扣件异常检测方法的指令，该方法包括：
获取轨道扣件图像；
利用预先训练好的异常检测模型对获取的所述轨道扣件图像进行处理，得到轨道扣件异常检测结果；其中，训练异常检测模型包括：使用基于像元级的维度互补式图像融合方法，融合轨道扣件图像的深度图与对应的灰度图，构建轨道扣件融合数据集；构建特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦；采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种轨道扣件异常检测方法，其特征在于，包括：
获取轨道扣件图像；
利用预先训练好的异常检测模型对获取的所述轨道扣件图像进行处理，得到轨道扣件异常检测结果；其中，训练异常检测模型包括：使用基于像元级的维度互补式图像融合方法，融合轨道扣件图像的深度图与对应的灰度图，构建轨道扣件融合数据集；构建特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦；采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测。
2.根据权利要求1所述的轨道扣件异常检测方法，其特征在于，使用基于像元级的维度互补式图像融合方法，融合深度图与对应的灰度图，构建轨道扣件融合数据集，包括：
采用灰度缩放系数c取1.0，调节常数γ取0.7的GAMMA算子增强灰度图亮度和对比度，ImgGray为灰度像素矩阵，ImgGray’为增强后的灰度像素矩阵；
ImgGray′＝c·ImgGray γ；
将深度图归一化运算到与灰度图相同的数量级，ImgDepth为深度像素矩阵，ImgDepth’为归一化后的深度像素矩阵，min为求取矩阵最小值，max为求取矩阵最大值，(i,j)代表像素矩阵第i行、第j列；
将像元级别的平面二维像素矩阵与第三维深度矩阵进行点乘运算，ImgMultiply为乘积像素矩阵；
ImgMultiply＝ImgGray′(i,j)·ImgDepth′(i,j)
采用以0作为下限的归一化方式进行溢出处理，得到铁路扣件融合图像，ImgFused为融合像素矩阵；
3.根据权利要求1所述的轨道扣件异常检测方法，其特征在于，构建一个新颖的特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦，包括：骨干网络由卷积层、池化层和三种Block构成，Block1包括一个卷积归一化激活函数层和多个C3_1模块，Block2包括一个卷积归一化激活函数层和一个上采样层，Block3包括三个C3_2模块和一个卷积归一化激活函数层，三种模块交替、重复构成骨干网络。
4.根据权利要求3所述的轨道扣件异常检测方法，其特征在于，多维度特征融合的方式为将骨干网络浅层Block和深层Block提取到的特征图进行三次融合，三种尺寸分别为80×80×256、40×40×512和40×40×256，通过基于PyTorch的连接函数将骨干网络提取到的浅层特征图F1、F2和F4与深层特征图F3、F5和F6进行连接，连接函数如下所示：
torch.cat(F1,F5)
torch.cat(F2,F3)
torch.cat(F4,F6)；
任务解耦由Block4完成，Block4包括多个卷积归一化激活函数层和2d卷积层。
5.根据权利要求4所述的轨道扣件异常检测方法，其特征在于，特征图F6和F7输入到一个卷积归一化激活函数层后分支两路，分别输入到两个卷积归一化激活函数层，一支路输入2d卷积层后输出预测类别结果，另一支路再次分支，分别输入2d卷积层后分别输出预测位置信息和预测置信度信息。
6.根据权利要求5所述的轨道扣件异常检测方法，其特征在于，采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测，包括：
选取检测准确率指标AP，IoU阈值为[0.5：0.95]；
在每一轮训练之前，将该轮之前所有轮的验证集AP矩阵进行加权计算，m为训练轮数，c为类别代号，k＝1,2,…,m-1；
对加权AP矩阵aveAP进行最大值归一化运算；
增设约束条件对上述矩阵进行修正得到基于交叉熵函数的类别损失函数的权重wc m，从而实现网络学习倾向动态变化；
7.一种轨道扣件异常检测系统，其特征在于，包括：
获取模块，用于获取轨道扣件图像；
检测模块，用于利用预先训练好的异常检测模型对获取的所述轨道扣件图像进行处理，得到轨道扣件异常检测结果；其中，训练异常检测模型包括：使用基于像元级的维度互补式图像融合方法，融合轨道扣件图像的深度图与对应的灰度图，构建轨道扣件融合数据集；构建特征融合-解耦模块，实现骨干网络的多维度特征融合和任务解耦；采用检测准确率指标引导的损失函数再权重方式，在训练过程中不断调整类别权重矩阵，从而实现轨道扣件异常检测。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-6任一项所述的轨道扣件异常检测方法。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如权利要求1-6任一项所述的轨道扣件异常检测方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-6任一项所述的轨道扣件异常检测方法的指令。
CN202311480411.0A 2023-11-08 2023-11-08 轨道扣件异常检测方法及系统 Pending CN117496349A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311480411.0A CN117496349A (zh) 2023-11-08 2023-11-08 轨道扣件异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311480411.0A CN117496349A (zh) 2023-11-08 2023-11-08 轨道扣件异常检测方法及系统

Publications (1)

Publication Number Publication Date
CN117496349A true CN117496349A (zh) 2024-02-02

Family

ID=89674001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311480411.0A Pending CN117496349A (zh) 2023-11-08 2023-11-08 轨道扣件异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN117496349A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117708726A (zh) * 2024-02-05 2024-03-15 成都浩孚科技有限公司 网络模型解耦的开集合类别训练方法、装置及其存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117708726A (zh) * 2024-02-05 2024-03-15 成都浩孚科技有限公司 网络模型解耦的开集合类别训练方法、装置及其存储介质
CN117708726B (zh) * 2024-02-05 2024-04-16 成都浩孚科技有限公司 网络模型解耦的开集合类别训练方法、装置及其存储介质

Similar Documents

Publication Publication Date Title
Uhrig et al. Sparsity invariant cnns
EP4006834A1 (en) Damage detection using machine learning
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
CN114612937B (zh) 基于单模态增强的红外与可见光融合行人检测方法
CN112446870B (zh) 管道损伤检测方法、装置、设备及存储介质
CN115482195B (zh) 一种基于三维点云的列车部件变形检测方法
CN105447512A (zh) 一种精粗结合的光学表面缺陷的检测方法及装置
CN117496349A (zh) 轨道扣件异常检测方法及系统
den Bieman et al. Deep learning video analysis as measurement technique in physical models
CN111311567A (zh) 对轨道线路图像进行扣件和钢轨病害识别的方法
Ma et al. Shape-Consistent One-Shot Unsupervised Domain Adaptation for Rail Surface Defect Segmentation
CN115131330A (zh) 多源传感器融合的钢轨表面缺陷检测与测量方法及系统
CN104992429A (zh) 一种基于图像局部增强的山体裂缝检测方法
CN112200163B (zh) 水下底栖生物检测方法及系统
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
Dong et al. Intelligent segmentation and measurement model for asphalt road cracks based on modified mask R-CNN algorithm
CN116524356A (zh) 一种矿石图像小样本目标检测方法及系统
CN110889338A (zh) 无监督式的铁路道床异物检测、样本构造方法及装置
Nassar et al. Assessing data quality of annotations with Krippendorff alpha for applications in computer vision
CN115423995A (zh) 一种轻量化幕墙裂纹目标检测方法及系统、安全预警系统
CN115994899A (zh) 一种螺栓松动检测方法、装置及检测设备
CN114972280A (zh) 精细坐标注意力模块及其在表面缺陷检测中的应用
JP6929207B2 (ja) 道路画像処理装置、道路画像処理方法、道路画像処理プログラム、および、記録媒体
KR20210076660A (ko) 합성곱 신경망 기반의 스테레오스코픽 이미지 화질 평가 방법 및 장치
Li et al. Road Damage Evaluation via Stereo Camera and Deep Learning Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination