CN113793327B - 一种基于token的高铁异物检测方法 - Google Patents

一种基于token的高铁异物检测方法 Download PDF

Info

Publication number
CN113793327B
CN113793327B CN202111110860.7A CN202111110860A CN113793327B CN 113793327 B CN113793327 B CN 113793327B CN 202111110860 A CN202111110860 A CN 202111110860A CN 113793327 B CN113793327 B CN 113793327B
Authority
CN
China
Prior art keywords
foreign matter
image
encoder
token
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111110860.7A
Other languages
English (en)
Other versions
CN113793327A (zh
Inventor
齐志泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongkezhiyan Technology Co ltd
Original Assignee
Beijing Zhongkezhiyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongkezhiyan Technology Co ltd filed Critical Beijing Zhongkezhiyan Technology Co ltd
Priority to CN202111110860.7A priority Critical patent/CN113793327B/zh
Publication of CN113793327A publication Critical patent/CN113793327A/zh
Application granted granted Critical
Publication of CN113793327B publication Critical patent/CN113793327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于token的高铁异物检测方法，包括如下步骤：S1、通过对给定的数据集进行数据预处理，得到预处理图像；S2、通过自编码器对预处理图像进行特征提取，得到图像特征；S3、通过高斯混合模型对提取的图像特征进行特征聚类及特征标志选取，得到异物的不同类别；S4、将异物的不同类别的异物图像分到不同的数据集，通过yolov5目标检测算法训练单独的目标检测模型，得到预测新数据模型；S5、通过预测新数据模型对异物进行异物检测，判断是否存在异物；本发明主要是通过token和目标检测的结合，既解决了基于单一目标检测方法的异物检测泛化性差的问题，又解决了基于语义分割模型的异物检测方法的效率低下问题。

Description

一种基于token的高铁异物检测方法
技术领域
本发明属于高铁维护技术领域，具体涉及一种基于token的高铁异物检测方法。
背景技术
高铁在运行过程中可能会出现部件故障或被异物粘附的情况，这极大的增加了安全隐患，严重的威胁到了乘务员及乘客的生命财产安全。因此，在高铁运行时对其进行实时的异物检测是非常有必要的。异物检测就是对非正常形态的部件以及对正常形态的部件上附着的异物进行的检测。现有的异物检测方法主要有三种：人工检测，基于目标检测算法的异物检测，以及基于语义分割模型的异物检测。
给定一个高铁运行过程中的实时监测图像集或视频集，人工检测就是聘请专业的质量检测人员对图像或视频进行异物排查和人工标注；基于目标检测算法的异物检测主要通过训练Fast RCNN、Yolo等目标检测算法，生成目标检测模型，实现对异物的自动识别；基于语义分割模型的异物检测则主要依靠现有的语义分割模型，对需要进行异物识别的图像或视频进行像素级的标签预测，将其分割成多块区域，并根据每块区域的形状判断是否存在异物。
但是，由于对高铁的异物检测要求同时具备实时性和准确性，而人工检测完全达不到实时性的要求，准确率也可能比相应的深度学习算法低，因此，这种检测方法将被逐渐淘汰。基于目标检测算法的异物检测虽然依靠基于机器学习的目标检测算法，然而，由于异物形状的多样性和不确定性，这种依靠单一目标识别算法的检测方法往往只能识别特定形状的异物，得不到令人满意的效果。基于语义分割模型的异物检测则需要给每个像素分配标签，计算量大，在实际应用中很难满足实时检测的要求，因此我们需要提出一种基于token的高铁异物检测方法。
发明内容
本发明的目的在于提供一种基于token的高铁异物检测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明采用了如下技术方案：
一种基于token的高铁异物检测方法，包括如下步骤：
S1、通过对给定的数据集进行数据预处理，得到预处理图像；
S2、通过自编码器对预处理图像进行特征提取，得到图像特征；
S3、通过高斯混合模型对提取的图像特征进行特征聚类及特征标志选取，得到异物的不同类别；
S4、将异物的不同类别的异物图像分到不同的数据集，通过yolov5目标检测算法训练单独的目标检测模型，得到预测新数据模型；
S5、通过预测新数据模型对异物进行异物检测，判断是否存在异物。
优选的，步骤1中所述数据集为RGB图像集，尺寸不一，在对数据集处理时，先通过OpenCV的resize()函数将图像调整为统一尺寸，再用copyMakeBorder()函数对图像进行边界填充，方便后续的卷积处理，再通过将图像随机旋转90°、180°或270°，以及对图像进行0.7-1.3倍的尺度间缩放。
优选的，步骤2中所述自编码器由编码器和解码器组成，编码器是一个多层全连接神经网络，每层的神经元数目逐渐减少，它的作用是对输入图像进行特征提取和压缩，输入图像在经过编码器后会被提取出一个压缩的特征向量；解码器的作用则是监督编码器，促使编码器提取出最具有代表性的特征向量；解码器也是一个多层全连接神经网络，与编码器对称，它每层的神经元数目逐渐增多，最终根据编码器编码的特征向量还原出原来的输入图像；使解码器还原出来的图像与输入编码器的图像接近，就能保证提取的特征向量是具有代表性的。
优选的，步骤3中所述特征聚类时需先在图像特征数据中随机选取K个点作为聚类中心，初始化每个簇的参数πk，μk，和∑k，对于剩下的点xn，使用公式分别计算每个点由每个聚类中心生成的概率，即为E步，接着，使用计算的γ(znk)更新πk，μk，和∑k的值，即为M步：
重复上述E步和M步的过程，直至参数收敛，即到了异物的不同类别，且每个类别以簇中心作为token。
优选的，步骤4中所述目标检测模型训练时先根据步骤3得到的聚类结果将不同类别的异物图像分到不同的数据集，对于每个异物类别分别训练单独的目标检测模型，训好后将模型固定，用于后续预测新数据。
优选的，步骤5中所述异物检测时对于需要进行异物检测的新图像，先调整成统一的尺寸，并使用微调的ResNet50网络提取特征，再根据公式计算新图像属于各个类别的概率，将其归于概率最大的一类，使用概率最大类别下训练的目标检测模型对其进行异物检测。
优选的，检测到的异物新图像与各类别之间的距离较大时，视此异物为新的类别，暂存到数据集中，等数据较多时再单独训练目标检测模型。
优选的，在对异物判断时，若存在异物故障系统将进行警告作业，若不存在异物，故障系统则处于待命状态。
本发明提出的一种基于token的高铁异物检测方法，与现有技术相比，具有以下优点：
本发明主要是给定一个异物图像集，先对异物图像进行数据预处理和特征提取，再对获取到的图像特征进行聚类分析，并为每个类别选取一个token作为特征标志，在得到的异物类别的基础上，针对每一类分别训练的目标检测模型，以实现对多形状异物的准确识别，通过token和目标检测的结合，既解决了基于单一目标检测方法的异物检测泛化性差的问题，又解决了基于语义分割模型的异物检测方法的效率低下问题，提高了实际应用中的实时性和准确性。
附图说明
图1为本发明的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了如图1所示的一种基于token的高铁异物检测方法，包括如下步骤：
S1、通过对给定的数据集进行数据预处理，得到预处理图像；
其中，数据集为RGB图像集，尺寸不一，在对数据集处理时，先通过OpenCV的resize()函数将图像调整为统一尺寸，再用copyMakeBorder()函数对图像进行边界填充，方便后续的卷积处理，再通过将图像随机旋转90°、180°或270°，以及对图像进行0.7-1.3倍的尺度之间的缩放等处理，进一步对图像做数据增广。
S2、通过自编码器对预处理图像进行特征提取，得到图像特征；
其中，所述自编码器由编码器和解码器组成，编码器是一个多层全连接神经网络，每层的神经元数目逐渐减少，它的作用是对输入图像进行特征提取和压缩，输入图像在经过编码器后会被提取出一个压缩的特征向量；解码器的作用则是监督编码器，促使编码器提取出最具有代表性的特征向量；解码器也是一个多层全连接神经网络，与编码器对称，它每层的神经元数目逐渐增多，最终根据编码器编码的特征向量还原出原来的输入图像；使解码器还原出来的图像与输入编码器的图像接近，就能保证提取的特征向量是具有代表性的。
S3、通过高斯混合模型对提取的图像特征进行特征聚类及特征标志选取，得到异物的不同类别；
其中，特征聚类时需先在图像特征数据中随机选取K个点作为聚类中心，初始化每个簇的参数πk，μk，和∑k，对于剩下的点xn，使用公式分别计算每个点由每个聚类中心生成的概率，即为E步，接着，使用计算的γ(znk)更新πk，μk，和∑k的值，即为M步：
重复上述E步和M步的过程，直至参数收敛，即到了异物的不同类别，且每个类别以簇中心作为token。
S4、将异物的不同类别的异物图像分到不同的数据集，通过yolov5目标检测算法训练单独的目标检测模型，得到预测新数据模型；
在目标检测模型训练时先根据步骤3得到的聚类结果将不同类别的异物图像分到不同的数据集，对于每个异物类别分别训练单独的目标检测模型，训好后将模型固定，用于后续预测新数据。
S5、通过预测新数据模型对异物进行异物检测，判断是否存在异物；
在异物检测时对于需要进行异物检测的新图像，先调整成统一的尺寸，并使用微调的ResNet50网络提取特征，再根据公式计算新图像属于各个类别的概率，将其归于概率最大的一类，使用概率最大类别下训练的目标检测模型对其进行异物检测，如果检测到的异物新图像与各类别之间的距离较大时，视此异物为新的类别，暂存到数据集中，等数据较多时再单独训练目标检测模型，在判断新图像与各类别之间的距离时，根据不同异物的实际大小判定，距离超过异物本身大小的三分之一时视为较大距离。
通过给定一个异物图像集，先对异物图像进行数据预处理和特征提取，再对获取到的图像特征进行聚类分析，从而得到异物的不同类别，并为每个类别选取特定的token，接着，针对每个异物类别分别训练目标检测模型，以实现对多形状异物的准确识别，通过token和目标检测的结合，既解决了基于单一目标检测方法的异物检测泛化性差的问题，又解决了基于语义分割模型的异物检测方法的效率低下问题，提高了实际应用中的实时性和准确性。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于token的高铁异物检测方法，其特征在于：包括如下步骤：
S1、通过对给定的数据集进行数据预处理，得到预处理图像；
所述数据集为RGB图像集，尺寸不一，在对数据集处理时，先通过OpenCV的resize()函数将图像调整为统一尺寸，再用copyMakeBorder()函数对图像进行边界填充，方便后续的卷积处理，再通过将图像随机旋转90°、180°或270°，以及对图像进行0.7-1.3倍的尺度间缩放；
S2、通过自编码器对预处理图像进行特征提取，得到图像特征；
S3、通过高斯混合模型对提取的图像特征进行特征聚类及特征标志选取，得到异物的不同类别；
所述特征聚类时需先在图像特征数据中随机选取K个点作为聚类中心，初始化每个簇的参数πk，μk，和∑k，对于剩下的点xn，使用公式分别计算每个点由每个聚类中心生成的概率，即为E步，接着，使用计算的γ(znk)更新πk，μk，和∑k的值，即为M步：
重复上述E步和M步的过程，直至参数收敛，即到了异物的不同类别，且每个类别以簇中心作为token；
S4、将异物的不同类别的异物图像分到不同的数据集，通过yolov5目标检测算法训练单独的目标检测模型，得到预测新数据模型；
S5、通过预测新数据模型对异物进行异物检测，判断是否存在异物；
所述异物检测时对于需要进行异物检测的新图像，先调整成统一的尺寸，并使用微调的ResNet50网络提取特征，再根据公式计算新图像属于各个类别的概率，将其归于概率最大的一类，使用概率最大类别下训练的目标检测模型对其进行异物检测。
2.根据权利要求1所述的一种基于token的高铁异物检测方法，其特征在于：步骤2中所述自编码器由编码器和解码器组成，编码器是一个多层全连接神经网络，每层的神经元数目逐渐减少，它的作用是对输入图像进行特征提取和压缩，输入图像在经过编码器后会被提取出一个压缩的特征向量；解码器的作用则是监督编码器，促使编码器提取出最具有代表性的特征向量；解码器也是一个多层全连接神经网络，与编码器对称，它每层的神经元数目逐渐增多，最终根据编码器编码的特征向量还原出原来的输入图像；使解码器还原出来的图像与输入编码器的图像接近，就能保证提取的特征向量是具有代表性的。
3.根据权利要求2所述的一种基于token的高铁异物检测方法，其特征在于：步骤4中所述目标检测模型训练时先根据步骤3得到的聚类结果将不同类别的异物图像分到不同的数据集，对于每个异物类别分别训练单独的目标检测模型，训好后将模型固定，用于后续预测新数据。
4.根据权利要求3所述的一种基于token的高铁异物检测方法，其特征在于：检测到的异物新图像与各类别之间的距离较大时，视此异物为新的类别，暂存到数据集中，等数据较多时再单独训练目标检测模型。
5.根据权利要求4所述的一种基于token的高铁异物检测方法，其特征在于：在对异物判断时，若存在异物故障系统将进行警告作业，若不存在异物，故障系统则处于待命状态。
CN202111110860.7A 2021-09-18 2021-09-18 一种基于token的高铁异物检测方法 Active CN113793327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111110860.7A CN113793327B (zh) 2021-09-18 2021-09-18 一种基于token的高铁异物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111110860.7A CN113793327B (zh) 2021-09-18 2021-09-18 一种基于token的高铁异物检测方法

Publications (2)

Publication Number Publication Date
CN113793327A CN113793327A (zh) 2021-12-14
CN113793327B true CN113793327B (zh) 2023-12-26

Family

ID=79184204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111110860.7A Active CN113793327B (zh) 2021-09-18 2021-09-18 一种基于token的高铁异物检测方法

Country Status (1)

Country Link
CN (1) CN113793327B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229388B (zh) * 2023-03-27 2023-09-12 哈尔滨市科佳通用机电股份有限公司 基于目标检测网络的动车异物检测方法、系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389004A (zh) * 2007-09-13 2009-03-18 中国科学院自动化研究所 一种基于在线学习的运动目标分类方法
CN106228131A (zh) * 2016-07-20 2016-12-14 哈尔滨工业大学 行星着陆器自适应障碍检测方法
CN110472514A (zh) * 2019-07-22 2019-11-19 电子科技大学 一种自适应车辆目标检测算法模型及其构建方法
CN110849372A (zh) * 2019-11-28 2020-02-28 哈尔滨工程大学 一种基于em聚类的水下多目标轨迹关联方法
CN111680614A (zh) * 2020-06-03 2020-09-18 安徽大学 一种基于视频监控中的异常行为检测方法
CN112801950A (zh) * 2021-01-15 2021-05-14 宁波大学 一种基于几何失真度量的图像适配质量评价方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8447119B2 (en) * 2010-03-16 2013-05-21 Nec Laboratories America, Inc. Method and system for image classification
US20200410322A1 (en) * 2019-06-26 2020-12-31 Nvidia Corporation Neural architecture for self supervised event learning and anomaly detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389004A (zh) * 2007-09-13 2009-03-18 中国科学院自动化研究所 一种基于在线学习的运动目标分类方法
CN106228131A (zh) * 2016-07-20 2016-12-14 哈尔滨工业大学 行星着陆器自适应障碍检测方法
CN110472514A (zh) * 2019-07-22 2019-11-19 电子科技大学 一种自适应车辆目标检测算法模型及其构建方法
CN110849372A (zh) * 2019-11-28 2020-02-28 哈尔滨工程大学 一种基于em聚类的水下多目标轨迹关联方法
CN111680614A (zh) * 2020-06-03 2020-09-18 安徽大学 一种基于视频监控中的异常行为检测方法
CN112801950A (zh) * 2021-01-15 2021-05-14 宁波大学 一种基于几何失真度量的图像适配质量评价方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"A novel position prior using fusion of rule of thirds and image center for salient object detection";Navjot Singh;《Multimedia Tools and Applications》;全文 *
"基于Token 的TFDS 异物检测改进方法";武中凯;《大连交通大学学报》;全文 *
基于高斯混合模型的轨迹模仿学习表征参数优化;于建均;郑逸加;阮晓钢;赵少琼;;北京工业大学学报(05);全文 *
多场景下复杂监控视频的前景目标提取;李琢;周旭;张春辉;万欣;;数学的实践与认识(15);全文 *
高斯混合算法在交通流视频中的应用;吕文艳;杨宏业;王锐;李金莹;;信息技术与信息化(07);全文 *

Also Published As

Publication number Publication date
CN113793327A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN108764202B (zh) 机场异物识别方法、装置、计算机设备及存储介质
CN111179249A (zh) 一种基于深度卷积神经网络的电力设备检测方法和装置
CN106683073B (zh) 一种车牌的检测方法及摄像机和服务器
CN111832608B (zh) 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法
CN109523529B (zh) 一种基于surf算法的输电线路缺陷识别方法
CN110890102A (zh) 一种基于rnn声纹识别的发动机缺陷检测算法
WO2023082418A1 (zh) 基于人工智能技术的电力综合管廊沉降裂缝识别方法
CN111027631B (zh) 高压耐张线夹压接缺陷判别的x射线影像分类识别方法
CN113643228B (zh) 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法
CN111079821A (zh) 一种脱轨自动制动拉环脱落故障图像识别方法
CN114511568B (zh) 基于无人机的高速公路桥梁检修方法
CN112990220B (zh) 一种图像中目标文本智能识别方法及系统
CN116110036B (zh) 基于机器视觉的电力铭牌信息缺陷等级判断方法及装置
CN111461120A (zh) 一种基于区域的卷积神经网络物体表面缺陷检测方法
CN116910752B (zh) 一种基于大数据的恶意代码检测方法
CN113793327B (zh) 一种基于token的高铁异物检测方法
CN112288700A (zh) 一种铁轨缺陷检测方法
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
Katsamenis et al. A Few-Shot Attention Recurrent Residual U-Net for Crack Segmentation
CN111310899B (zh) 基于共生关系和小样本学习的电力缺陷识别方法
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN116994161A (zh) 一种基于改进YOLOv5的绝缘子缺陷检测方法
CN114140731B (zh) 一种牵引变电所异常检测方法
CN114120175A (zh) 基于计算机视觉的输煤皮带异物识别方法
CN115393589A (zh) 一种通用dcs工艺流程图识别转换方法、系统以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant