CN117437208A - 使用多传感器融合的轨道异常检测方法及系统 - Google Patents

使用多传感器融合的轨道异常检测方法及系统 Download PDF

Info

Publication number
CN117437208A
CN117437208A CN202311495987.4A CN202311495987A CN117437208A CN 117437208 A CN117437208 A CN 117437208A CN 202311495987 A CN202311495987 A CN 202311495987A CN 117437208 A CN117437208 A CN 117437208A
Authority
CN
China
Prior art keywords
abnormality
track
mask
detection
unknown
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311495987.4A
Other languages
English (en)
Inventor
秦勇
戈轩宇
曹志威
高阳
连丽容
白婕
于杭
李威
寇淋淋
柳青红
张启福
王玉强
秦杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202311495987.4A priority Critical patent/CN117437208A/zh
Publication of CN117437208A publication Critical patent/CN117437208A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种使用多传感器融合的轨道异常检测方法及系统，属于基于计算机的轨道异常检测技术领域，包括：步骤1：扫描轨道场景，获取待检测的视觉图像和结构光深度图像；步骤2：使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；步骤3：使用半监督的异常检测算法，对异常进行再检测，尤其关注未知的异常，得到未知异常检测结果的边界框和掩膜；步骤4：基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果。本发明解决了轨道异常检测算法受未知异常侵入导致的误报和漏报，实现了无预先定义异常类别范围情况下的轨道异常的准确检测。

Description

使用多传感器融合的轨道异常检测方法及系统
技术领域
本发明涉及基于计算机的轨道异常检测技术领域，具体涉及一种使用多传感器融合的轨道异常检测方法及系统。
背景技术
轨道交通是陆地上最重要的运输方式，保障轨道交通的安全至关重要。轨道是轨道交通必不可少的基础设施，由钢轨、紧固件、枕木等固定构件组成。任何部件的异常都可能导致严重的事故，因此对轨道进行异常检测势在必行。人工智能已广泛应用于轨道交通基础设施异常检测。基于视觉传感器的监督算法可以检测轨道上固定构件的已知异常。然而，在真实的轨道交通中，未知异常经常侵入轨道，导致监督算法的结果出现大量的误报和漏报。未知异常的存在给轨道交通运营带来了重大的安全隐患。与已知异常相比，未知异常类别多样，侵入轨道的形式也不同。此外，轨道交通是一个开放区域，未知异常可能随时随地出现，因此不可能提前预测所有异常的类别。这种不确定性限制了监督算法和视觉传感器在异常检测中的适用性。此外，轨道异常检测是一个动态场景，异常检测算法需要很强的鲁棒性。因此，迫切需要建立一个准确可靠的铁路轨道异常检测系统。
目前的轨道异常检测可以分为基于图像、基于结构光和基于多传感器融合的方法。摄像机采集的视觉图像具有良好的特征，通过深度学习或传统图像处理能够识别各种已知的轨道异常。但视觉图像缺乏空间信息，在检测未知异常时表现不好。三维结构光成像能够建立轨道的空间信息，尤其是深度信息，在检测未知异常时具有很大的优势。但由于点云固有的稀疏性和无序性，在检测已知异常方面的性能不如视觉数据。受不同传感器的数据类型和检测场景限制，多传感器融合常用于简单的钢轨表面磨损及缺陷检测。轨道上扣件缺陷和未知异常的检测缺乏研究。基于视觉图像的深度学习算法在检测已知异常时表现出较好的能力，而在检测类别无法提前知晓的未知异常时往往会出现大量的误报和漏报。基于结构光深度图像的深度学习算法在检测已知异常时性能不如基于视觉图像的深度学习算法，而在检测未知异常时具有优势，不受类别的限制。
发明内容
本发明的目的在于提供一种使用多传感器融合的轨道异常检测方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种使用多传感器融合的轨道异常检测方法，包括：
扫描轨道场景，获取待检测的视觉图像和结构光深度图像；
使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；
使用半监督的异常检测算法，对异常进行再检测，得到未知异常检测结果的掩膜；
基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果。
进一步的，扫描轨道场景，获取待检测的视觉图像和结构光深度图像，包括：
利用结构光激光传感器扫描轨道，结构光激光传感器发射端俯视轨道，与轨道平行，在扫描轨道时得到一一对应的视觉图像和结构光深度图像。
进一步的，使用实例分割算法，对轨道上的异常进行预检测，得到检测结果的边界框和掩膜，包括：
构建视觉图像训练集；
训练实例分割算法；
使用训练好的实例分割算法对待检测的视觉图像进行检测，得到检测结果的边界框和掩膜。
进一步的，使用半监督的异常检测算法，对异常进行再检测，尤其关注未知的异常，得到已知异常和部分未知异常检测结果的边界框和掩膜，包括：
构建结构光深度图像训练集；
引入预检测的结果作为半监督信息设计半监督的异常检测算法；
训练半监督的异常检测算法；
使用训练好的半监督的异常检测算法对待检测的结构光深度图像进行检测，得到未知异常检测结果的掩膜。
进一步的，基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果，包括：
取两次检测结果得到的掩膜信息的并集实现像素级别的融合；
过滤噪声，并使用轮廓检测算法得到融合后异常的边界框和掩膜；
将融合后异常的信息和预检测异常的信息进行非极大值抑制后处理，得到最终的异常边界框和掩膜。
进一步的，所述半监督的异常检测算法，还包括：
用无未知异常的结构光深度图像作为训练集训练图像重建算法，得到训练完毕的模型
将待检测的结构光深度图像输入图像重建模型，重建后得到无异常状态下的结构光图像；
对输入的原始结构光图像和重建结构光图像进行灰度化；
对原始结构光图像和重建结构光图像进行绝对值差分，得到差分后的结果；
使用高斯滤波处理差分后的结果；
使用三角二值化方法二值化差分结果；
引入预检测结果中的已知异常的位置信息作为半监督信息消除差分后的噪声；
再次过滤噪声；
使用轮廓检测法检测差分图像内是否存在未知异常，若存在，得到未知异常的掩膜信息。
第二方面，本发明提供一种使用多传感器融合的轨道异常检测系统，包括：
获取模块，用于扫描轨道场景，获取待检测的视觉图像和结构光深度图像；
分割模块，用于使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；
检测模块，用于使用半监督的异常检测算法，对异常进行再检测，得到未知异常检测结果的掩膜；
匹配模块，用于基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的使用多传感器融合的轨道异常检测方法。
第四方面，本发明提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如上所述的使用多传感器融合的轨道异常检测方法。
第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的使用多传感器融合的轨道异常检测方法的指令。
本发明有益效果：通过结合视觉图像和结构光图像数据的优点互相取长补短，使用视觉图像检测已知和部分未知异常，使用结构光图像针对所有未知异常进行深入检测，实现了高精确率和高召回率的异常检测。解决了轨道受未知异常侵入导致的异常检测算法的漏报率和误报率较大的问题。
本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的半监督异常检测算法流程图。
图2为本发明实施例所述的半监督异常检测算法各个步骤的处理结果示意图。
图3为本发明实施例所述的匹配融合各个步骤的结果示意图。
图4为采用本发明实施例所述的使用多传感器融合的轨道异常检测方法的轨道异常识别结果示意图。
图5为本发明实施例所述的使用多传感器融合的轨道异常检测方法的检测结果与其他方法的结果对比示意图。
图6为本发明实施例所述的使用多传感器融合的轨道异常检测方法流程图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1中，首先提供了一种使用多传感器融合的轨道异常检测系统，包括：获取模块，用于扫描轨道场景，获取待检测的视觉图像和结构光深度图像；分割模块，用于使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；检测模块，用于使用半监督的异常检测算法，对异常进行再检测，得到未知异常检测结果的掩膜；匹配模块，用于基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果。
本实施例1中，利用上述的系统，实现了使用多传感器融合的轨道异常检测，包括：扫描轨道场景，获取待检测的视觉图像和结构光深度图像；使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；使用半监督的异常检测算法，对异常进行再检测，得到未知异常检测结果的掩膜；基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果。
扫描轨道场景，获取待检测的视觉图像和结构光深度图像，包括：利用结构光激光传感器扫描轨道，结构光激光传感器发射端俯视轨道，与轨道平行，在扫描轨道时得到一一对应的视觉图像和结构光深度图像。
使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜，包括：构建视觉图像训练集；训练实例分割算法；使用训练好的实例分割算法对待检测的视觉图像进行检测，得到已知异常和部分未知异常检测结果的边界框和掩膜。
使用半监督的异常检测算法，对异常进行再检测，尤其关注未知的异常，得到未知异常检测结果的边界框和掩膜，包括：构建结构光深度图像训练集；引入预检测的结果作为半监督信息设计半监督的异常检测算法；训练半监督的异常检测算法；使用训练好的半监督的异常检测算法对待检测的结构光深度图像进行检测，得到未知异常检测结果的掩膜。
基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果，包括：取两次检测结果得到的掩膜信息的并集实现像素级别的融合；过滤噪声，并使用轮廓检测算法得到融合后异常的边界框和掩膜；将融合后异常的信息和预检测异常的信息进行非极大值抑制后处理，得到最终的异常边界框和掩膜。
所述半监督的异常检测算法，包括：用无未知异常的结构光深度图像作为训练集训练图像重建算法，得到训练完毕的模型；将待检测的结构光深度图像输入图像重建模型，重建后得到无异常状态下的结构光图像；对输入的原始结构光图像和重建结构光图像进行灰度化；对原始结构光图像和重建结构光图像进行绝对值差分，得到差分后的结果；使用高斯滤波处理差分后的结果；使用三角二值化方法二值化差分结果；引入预检测结果中的已知异常的位置信息作为半监督信息消除差分后的噪声；再次过滤噪声；使用轮廓检测法检测差分图像内是否存在未知异常，若存在，得到未知异常的掩膜信息。
实施例2
本实施例2中，提供一种使用多传感器融合的轨道异常检测方法，通过在决策级上结合实例分割算法和视觉图像数据以及半监督异常检测算法和结构光深度图像数据，实现了高精度、高召回率且无预先定义异常类别范围情况下的轨道异常检测。
使用多传感器融合的轨道异常检测方法，包括以下步骤：
步骤1，扫描轨道场景，获取待检测的视觉图像和结构光深度图像；
步骤2，使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；
所述步骤2具体包括以下步骤：
步骤2.1，构建视觉图像数据集；
步骤2.2，输入数据集，使用卷积神经网络训练实例分割算法，得到训练完毕的模型
步骤2.3，将待检测的视觉图像数据输入训练完毕的模型，得到包括边界框和掩膜信息在内的已知异常和部分未知异常的检测结果；
步骤3，使用半监督的异常检测算法，对异常进行再检测，尤其关注未知的异常，得到未知异常检测结果的边界框和掩膜；
所述步骤3具体包括以下步骤：
步骤3.1，构建结构光深度图像数据集；
步骤3.2，用无未知异常的结构光深度图像作为训练集训练图像重建算法，得到训练完毕的模型；
步骤3.3，将待检测的结构光图像输入图像重建模型，重建后得到无异常状态下的结构光图像；
步骤3.4，对输入的原始结构光图像和重建结构光图像进行灰度化；对原始结构光图像和重建结构光图像进行绝对值差分，得到差分后的结果；使用高斯滤波处理差分后的结果；使用三角二值化方法二值化差分结果；引入预检测结果中的已知异常的位置信息作为半监督信息消除差分后的噪声；再次过滤噪声；使用轮廓检测法检测差分图像内是否存在未知异常，若存在，得到未知异常的掩膜信息；
步骤4：基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果；
所述步骤4具体包括以下步骤：
步骤4.1，取两次检测结果得到的掩膜信息的并集实现像素级别的融合；
步骤4.2，过滤噪声，并使用轮廓检测算法得到融合后异常的边界框和掩膜；
步骤4.3，将融合后异常的信息和预检测异常的信息进行非极大值抑制后处理，得到最终的异常边界框和掩膜。
综上，本实施例2中，通过结合视觉图像和结构光图像数据的优点互相取长补短，使用视觉图像检测已知和部分未知异常，使用结构光图像针对所有未知异常进行深入检测，实现了高精确率和高召回率的异常检测。该方法解决了轨道受未知异常侵入导致的异常检测算法的漏报率和误报率较大的问题。
实施例3
如图1至图6所示，本实施例3中，提供一种使用多传感器融合的轨道异常检测方法，包括以下步骤：
步骤1，在轨检车尾部安装结构光激光传感器扫描轨道，采集轨道的视觉图像和结构光深度图像数据。结构光激光传感器发射端俯视轨道，距轨道0.5m，与轨道平行。在扫描轨道时得到一一对应的视觉灰度图像和结构光深度图像。
步骤2，使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；
所述步骤2具体包括以下步骤：
步骤2.1，构建视觉图像数据集；
步骤2.2，输入数据集，使用卷积神经网络训练实例分割算法，得到训练完毕的模型
步骤2.3，将待检测的视觉图像数据输入训练完毕的模型，得到包括边界框和掩膜信息在内的已知异常和部分未知异常检测结果；
步骤3，使用半监督的异常检测算法，对异常进行再检测，尤其关注未知的异常，得到未知异常检测结果的边界框和掩膜；
所述步骤3具体包括以下步骤：
步骤3.1，构建结构光深度图像数据集；
步骤3.2，用无未知异常的结构光深度图像作为训练集训练图像重建算法，得到训练完毕的模型；
步骤3.3，将待检测的结构光图像输入图像重建模型，重建后得到无异常状态下的结构光图像；
步骤3.4，对输入的原始结构光图像和重建结构光图像进行灰度化，增强提高计算效率并减少误差；
对原始结构光图像和重建结构光图像进行绝对值差分，实现良好的未知异常位置信息提取，并得到差分后的结果；
使用高斯滤波处理差分后的结果，平滑差分后的图像；
使用三角二值化方法二值化差分结果，实现良好的图像二值化；
引入预检测结果中的已知异常的位置信息作为半监督信息消除差分后的噪声；
再次过滤噪声，去除冗余信息；
使用轮廓检测法检测差分图像内是否存在未知异常，二值化图像内的轮廓检测可以得到每一个异常的精确位置信息，若存在，得到未知异常的掩膜信息；
步骤4：基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果；
所述步骤4具体包括以下步骤：
步骤4.1，取两次检测结果得到的掩膜信息的并集实现像素级别的融合；
步骤4.2，过滤噪声，并使用轮廓检测算法得到融合后异常的边界框和掩膜，二值化图像内的轮廓检测可以得到每一个异常的精确位置信息；
步骤4.3，将融合后异常的信息和预检测异常的信息进行非极大值抑制后处理，以实现对异常信息进行冗余去除，得到最终的异常边界框和掩膜。
为了验证本实施例所述的方法的有效性和优越性，在模拟线路上测试本发明，模拟线路采用与中国现行高速铁路相同的标准，铺设CRTSⅢ型板式轨道、75kg/m的钢轨和WJ-8型扣件。本实施例中，在训练模型时不包括测试图像，选取145张图像进行测试，与现有的算法进行对比，具体包括FasterR-CNN、MaskR-CNN、CascadeR-CNN、YOLOX和YOLOv3。
本实施例中，采用平均检测精确率的平均(mAP0.50:0.95：meanaverageprecision)和平均召回率的平均(mAR0.50:0.95：meanaveragerecall)衡量各种方法的异常检测能力，平均检测精确率的平均越大表示检测到的异常的位置越精确，平均召回率的平均越大表示漏检的异常越少，表1展示实验结果。
表1实验检测结果
由表1可以看出，本实施例的mAP0.50:0.95远大于其他算法的mAP0.50:0.95，mAR0.50:0.95也大于其他算法的mAR0.50:0.95，从而证明了本发明能够以极低的漏检率实现高精度的检测。
综上，本实施例所述的使用多传感器融合的轨道异常检测方法的创新性主要体现在利用视觉图像进行异常预检测和利用结构光深度图像进行未知异常深入检测，同时在决策级上将两者的结果进行融合，解决了轨道异常检测算法受类别多样且无法预测的未知异常侵入导致的误报和漏报的问题。
实施例4
本实施例4提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的使用多传感器融合的轨道异常检测方法，该方法包括：
扫描轨道场景，获取待检测的视觉图像和结构光深度图像；
使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；
使用半监督的异常检测算法，对异常进行再检测，得到未知异常检测结果的掩膜；
基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果。
实施例5
本实施例5提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行使用多传感器融合的轨道异常检测方法，该方法包括：
扫描轨道场景，获取待检测的视觉图像和结构光深度图像；
使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；
使用半监督的异常检测算法，对异常进行再检测，得到未知异常检测结果的掩膜；
基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果。
实施例6
本实施例6提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的使用多传感器融合的轨道异常检测方法的指令，该方法包括：
扫描轨道场景，获取待检测的视觉图像和结构光深度图像；
使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；
使用半监督的异常检测算法，对异常进行再检测，得到未知异常检测结果的掩膜；
基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种使用多传感器融合的轨道异常检测方法，其特征在于，包括：
扫描轨道场景，获取待检测的视觉图像和结构光深度图像；
使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；
使用半监督的异常检测算法，对异常进行再检测，得到未知异常检测结果的掩膜；
基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果。
2.根据权利要求1所述的使用多传感器融合的轨道异常检测方法，其特征在于，扫描轨道场景，获取待检测的视觉图像和结构光深度图像，包括：
利用结构光激光传感器扫描轨道，结构光激光传感器发射端俯视轨道，与轨道平行，在扫描轨道时得到一一对应的视觉图像和结构光深度图像。
3.根据权利要求1所述的使用多传感器融合的轨道异常检测方法，其特征在于，使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜，包括：
构建视觉图像训练集；
训练实例分割算法；
使用训练好的实例分割算法对待检测的视觉图像进行检测，得到已知异常和部分未知异常检测结果的边界框和掩膜。
4.根据权利要求1所述的使用多传感器融合的轨道异常检测方法，其特征在于，使用半监督的异常检测算法，对异常进行再检测，尤其关注未知的异常，得到未知异常检测结果的边界框和掩膜，包括：
构建结构光深度图像训练集；
引入预检测的结果作为半监督信息设计半监督的异常检测算法；
训练半监督的异常检测算法；
使用训练好的半监督的异常检测算法对待检测的结构光深度图像进行检测，得到未知异常检测结果的掩膜。
5.根据权利要求1所述的使用多传感器融合的轨道异常检测方法，其特征在于，基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果，包括：
取两次检测结果得到的掩膜信息的并集实现像素级别的融合；
过滤噪声，并使用轮廓检测算法得到融合后异常的边界框和掩膜；
将融合后异常的信息和预检测异常的信息进行非极大值抑制后处理，得到最终的异常边界框和掩膜。
6.根据权利要求1所述的使用多传感器融合的轨道异常检测方法，其特征在于，所述半监督的异常检测算法，还包括：
用无未知异常的结构光深度图像作为训练集训练图像重建算法，得到训练完毕的模型
将待检测的结构光深度图像输入图像重建模型，重建后得到无异常状态下的结构光图像；
对输入的原始结构光图像和重建结构光图像进行灰度化；
对原始结构光图像和重建结构光图像进行绝对值差分，得到差分后的结果；
使用高斯滤波处理差分后的结果；
使用三角二值化方法二值化差分结果；
引入预检测结果中的已知异常的位置信息作为半监督信息消除差分后的噪声；
再次过滤噪声；
使用轮廓检测法检测差分图像内是否存在未知异常，若存在，得到未知异常的掩膜信息。
7.一种使用多传感器融合的轨道异常检测系统，其特征在于，包括：
获取模块，用于扫描轨道场景，获取待检测的视觉图像和结构光深度图像；
分割模块，用于使用实例分割算法，对轨道上的异常进行预检测，得到已知异常和部分未知异常检测结果的边界框和掩膜；
检测模块，用于使用半监督的异常检测算法，对异常进行再检测，得到未知异常检测结果的掩膜；
匹配模块，用于基于掩膜，将两次检测的结果在决策级上进行匹配融合，并进行非极大值抑制后处理，得到最终结果。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-6任一项所述的使用多传感器融合的轨道异常检测方法。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如权利要求1-6任一项所述的使用多传感器融合的轨道异常检测方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-6任一项所述的使用多传感器融合的轨道异常检测方法的指令。
CN202311495987.4A 2023-11-10 2023-11-10 使用多传感器融合的轨道异常检测方法及系统 Pending CN117437208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311495987.4A CN117437208A (zh) 2023-11-10 2023-11-10 使用多传感器融合的轨道异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311495987.4A CN117437208A (zh) 2023-11-10 2023-11-10 使用多传感器融合的轨道异常检测方法及系统

Publications (1)

Publication Number Publication Date
CN117437208A true CN117437208A (zh) 2024-01-23

Family

ID=89547874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311495987.4A Pending CN117437208A (zh) 2023-11-10 2023-11-10 使用多传感器融合的轨道异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN117437208A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669274A (zh) * 2020-12-23 2021-04-16 山东大学 一种用于表面异常区域像素级分割的多任务检测方法
CN114168374A (zh) * 2021-11-30 2022-03-11 中国电子科技集团公司第二十八研究所 基于集成异常检测器与根因分析结合的异常数据定位方法
CN114266891A (zh) * 2021-11-17 2022-04-01 京沪高速铁路股份有限公司 基于图像与激光数据融合的铁路运行环境异常辨识方法
CN114898319A (zh) * 2022-05-25 2022-08-12 山东大学 基于多传感器决策级信息融合的车型识别方法及系统
CN116071575A (zh) * 2022-09-16 2023-05-05 华东师范大学 一种基于多模态数据融合的学生课堂异常行为检测方法及检测系统
CN116309483A (zh) * 2023-03-24 2023-06-23 国网浙江省电力有限公司电力科学研究院 基于ddpm的半监督变电设备表征缺陷检测方法及系统
CN116503320A (zh) * 2023-02-14 2023-07-28 中国科学院空天信息创新研究院 高光谱图像异常检测方法、装置、设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669274A (zh) * 2020-12-23 2021-04-16 山东大学 一种用于表面异常区域像素级分割的多任务检测方法
CN114266891A (zh) * 2021-11-17 2022-04-01 京沪高速铁路股份有限公司 基于图像与激光数据融合的铁路运行环境异常辨识方法
CN114168374A (zh) * 2021-11-30 2022-03-11 中国电子科技集团公司第二十八研究所 基于集成异常检测器与根因分析结合的异常数据定位方法
CN114898319A (zh) * 2022-05-25 2022-08-12 山东大学 基于多传感器决策级信息融合的车型识别方法及系统
CN116071575A (zh) * 2022-09-16 2023-05-05 华东师范大学 一种基于多模态数据融合的学生课堂异常行为检测方法及检测系统
CN116503320A (zh) * 2023-02-14 2023-07-28 中国科学院空天信息创新研究院 高光谱图像异常检测方法、装置、设备及可读存储介质
CN116309483A (zh) * 2023-03-24 2023-06-23 国网浙江省电力有限公司电力科学研究院 基于ddpm的半监督变电设备表征缺陷检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
傅荟瑾: "基于深度学习的高铁周界入侵监测方法研究", 万方数据知识服务平台, 25 October 2023 (2023-10-25) *

Similar Documents

Publication Publication Date Title
CN111652227B (zh) 铁路货车底部地板破损故障检测方法
Liu et al. A review of applications of visual inspection technology based on image processing in the railway industry
CN106780485B (zh) 基于超像素分割和特征学习的sar图像变化检测方法
CN102013008B (zh) 一种基于支持向量机的烟雾检测方法及装置
Li et al. Automatic segmentation and enhancement of pavement cracks based on 3D pavement images
Akarsu et al. A fast and adaptive road defect detection approach using computer vision with real time implementation
CN105426922A (zh) 列车车型识别方法和系统及安全检查方法和系统
CN105092598A (zh) 一种基于连通域的大幅面pcb板缺陷快速识别方法及系统
CN111507235A (zh) 基于视频的铁路周界异物入侵检测方法
Tao et al. Gap detection of switch machines in complex environment based on object detection and image processing
CN114863357A (zh) 一种输电线路外力破坏的识别告警方法及系统
CN115527170A (zh) 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统
Zheng et al. Rail detection based on LSD and the least square curve fitting
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks
CN117809154A (zh) 神经网络模型训练方法、产品的瑕疵检测方法及相关装置
CN117437208A (zh) 使用多传感器融合的轨道异常检测方法及系统
CN109547777B (zh) 一种复杂场景的视频噪声快速检测方法
Saha et al. Analysis of Railroad Track Crack Detection using Computer Vision
CN114648736B (zh) 基于目标检测的鲁棒工程车辆识别方法及系统
CN112149683B (zh) 夜视环境下活物检测方法及装置
CN111754477B (zh) 基于动态候选区多尺度图像的铁路周界异物入侵检测方法
Wan et al. Fault detection of air-spring devices based on GANomaly and isolated forest algorithms
Jo et al. Pothole detection based on the features of intensity and motion
CN114140742A (zh) 一种基于光场深度图像的轨道异物入侵检测方法
Arain et al. Rail surface faults identification from low quality image data using machine learning algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination