CN106600581A - 一种基于双目立体视觉的列车运行故障自动检测系统及方法 - Google Patents

一种基于双目立体视觉的列车运行故障自动检测系统及方法 Download PDF

Info

Publication number
CN106600581A
CN106600581A CN201611094993.9A CN201611094993A CN106600581A CN 106600581 A CN106600581 A CN 106600581A CN 201611094993 A CN201611094993 A CN 201611094993A CN 106600581 A CN106600581 A CN 106600581A
Authority
CN
China
Prior art keywords
parts
failure
target area
train
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611094993.9A
Other languages
English (en)
Other versions
CN106600581B (zh
Inventor
孙军华
谢艳霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201611094993.9A priority Critical patent/CN106600581B/zh
Publication of CN106600581A publication Critical patent/CN106600581A/zh
Application granted granted Critical
Publication of CN106600581B publication Critical patent/CN106600581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Textile Engineering (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于双目立体视觉的列车运行故障自动检测系统及方法，包括：基于双目立体视觉传感器，同时采集列车不同部位的左右摄像机图像；基于多层卷积神经网络的深度学习理论或传统机器学习方法，结合同一部位的左右图像一致(无)故障的约束，实现多类易故障目标区域同步精确定位；对定位区域进行初步故障分类识别；结合目标区域零部件个数的先验信息，实现非故障区域内多零部件同步精确定位；采用双目立体视觉匹配技术，对单一零部件的左右图像进行特征点匹配，实现三维重构，计算其关键尺寸，定量描述是否出现松动或者窜出等细微故障和渐变性隐藏故障。本发明对同步高精度地检测列车各大部件的变形、移位、脱落等故障形式，或微小的、渐变性隐藏故障进行三维定量描述，更全面、更及时、更准确。

Description

一种基于双目立体视觉的列车运行故障自动检测系统及方法
技术领域
本发明涉及列车运行故障检测技术领域，特别涉及一种基于双目立体视觉的列车运行故障自动检测系统及方法。
背景技术
随着中国高速铁路的快速发展，列车运行安全监控体系建设显得尤为重要。现有监控体系中缺乏运行过程中的动态监控。这将导致列车可能长距离带病行进，增加了事故的发生几率。高速行进中的列车由于长期承受传动力及制动力，可能发生不同程度的松动，对继续高速运行造成安全隐患。
在列车运行故障自动检测方面，一些学者针对某些特定的运行故障提出了一些故障检测方法。刘硕研等人在专利号为201510604185.1的发明专利“一种动车组隐蔽故障检测方法”中提出了一种动车组隐蔽故障检测方法，该方法根据螺栓\铆钉丢失、防松铁丝断裂和螺栓防松标记异位等三种不同的故障形式，建立了三种不同的故障检测规则。其中，通过模板匹配和SIFT兴趣点提取，确定螺栓\铆钉丢失的待检测区域，最后再通过模板匹配判断是否发生螺栓\铆钉丢失；防松铁丝断裂检测通过历史图像的位置来定位检测区域，再统计Hough变换检测到的直线斜率和个数，与历史图像比对，判断防松铁丝是否断裂；利用Hough变换检测圆形区域和圆形区域内外侧的直线来定位带防松标记螺栓，统计直线的斜率并与历史图像比对，判断防松标记是否异位。方凯等人在专利号为201410659040.7的发明专利“基于动车组运行图像的故障识别方法及装置”中，根据列车型号通过列车模板库对实时采集的列车运行图像进行模板匹配，实现图像的对其配准，将配准成功的列车运行图像与具有相同列车型号的历史运行图像进行对比和分析，查找图像信息不匹配的图像区域作为故障区域。刘祖胜等在论文《用于动车组故障检测的图像识别算法》中，提出了一种自适应融合局部和全局匹配的图像故障识别算法，该算法基于SIFT特征匹配，通过局部对比粗略定位故障区域，以上述区域为模板，搜寻历史图像以精准定位故障位置。庞荣等人在论文《基于深度学习的高速列车转向架故障识别》中，提出了一种列车转向架故障识别方法。该方法对以转向架关键部位非全拆单工况故障信号进行离散傅里叶变换，然后依据深度学习的降噪自动编解码过程进行特征学习，并将该特征作为BP神经网络的输入，实现转向架故障信号识别。
目前，现有的大多数列车运行故障自动检测算法主要基于人工特征提取，需要针对不同类别的故障分别设计算法，但是由于列车结构的复杂性，不同列车部件的故障机理及故障表现形式不尽相同，采取的不同检测诊断方法也往往存在巨大差异，这使得算法泛化性不强，多故障检测的效果不佳。且现有的列车运行故障检测算法均仅基于单一拍摄角度的列车二维图像处理，缺乏深度信息，对于大部件的变形、移位、脱落等故障形式的检测精度较高，对于一些细微的或渐变性隐藏故障，检测效果并不理想，只能二维定性地描述是否发生故障，无法对故障进行三维定量描述，表征故障发生的程度。这使得列车组检修不全面、不及时、不准确，存在“维修不足”或“维修过剩”以及维修时机不恰当的问题，从而未能保证列车故障得到有效地预防的同时增加了维修成本。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种基于双目立体视觉的列车运行故障自动检测系统及方法，基于多层卷积神经网络的深度学习或传统机器学习方法，结合双目立体视觉技的列车运行故障自动检测，不仅可以同步高精度地检测列车各大部件的变形、移位、脱落等故障，还能对一些微小的或者渐变性隐藏故障进行检测，使得列车检修更全面、更及时、更准确。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于双目立体视觉的列车运行故障自动检测系统，包括双目立体视觉传感器、基于多层卷积神经网络的深度学习或传统机器学习的目标检测及分类算法、双目立体视觉匹配算法；其中：
双目立体视觉传感器，由两个交叉摆放的左右摄像机构成，用于获取列车不同部位的两幅数字图像，构建出列车的历史图库，以便制作训练样本集、故障分类训练样本集和零部件训练样本集，并实时采集测试样本集；将双目立体视觉传感器安装在列车底部和轨边，左右摄像机从不同角度同时获取列车底部和侧部的左右图像；其中，列车每个部位的左右图像中均包含了一类或者多类易故障的目标区域；
基于多层卷积神经网络的深度学习或传统机器学习的目标检测及分类算法，实现列车每个部位左右图像中的多类易故障的目标区域的同步精确定位；对精确定位得到的多类易故障目标区域进行故障分类识别，初步判断目标区域是否为故障，如果为故障区域则保存故障的位置信息和特征信息，如果为非故障区域则同步精确定位非故障区域内的多零部件，所述多零部件包括螺栓、螺母、交叉杆和枕簧，从而获得目标区域内不同零部件的位置信息；
双目立体视觉匹配算法，根据目标区域内不同零部件的位置信息，对每个零部件的左右图像进行特征点匹配，计算零部件相对于基准面的距离、零部件之间的相对位移、零部件的形变大小，判断是否发生松动或者窜出、形变这类细微故障和渐变性隐蔽故障，并描述故障发生的程度。
所述双目立体视觉传感器的实现过程如下：
(1)使用两个交叉摆放的左右摄像机搭建双目立体视觉传感器，两个摄像机具有相同的性能，且存在一定平移和旋转位置关系，能够从不同位置或角度观测同一被测物体，分别在左右摄像机中生成对应的左摄像机图像和右摄像机图像；
(2)将双目立体视觉传感器分别安装在列车的底部和轨边，左右摄像机从不同角度同时获得列车底部和侧部的左右图像，其中列车底部图像中包括有：制动装置、驱动装置、牵引装置、转向架、轮轴、车钩及车底部其他部位的图像；列车侧部图像中包括有：车体两侧裙板、转向架、轨外侧轮对轴箱和车端连接部的图像；
(3)获得的列车每个部位的左右图像中均包含有一类或者多类的易故障目标区域，且列车同一部位的左右图像中易故障目标区域的类别和数目保持一致。
所述基于多层卷积神经网络的深度学习或传统机器学习的目标检测及分类算法中，通过构建多类易故障区域同步检测模型，实现对易故障区域的同步精确定位；所述基于多层卷积神经网络算法的多类易故障区域同步检测模型为一个或多个多层的前向传播卷积神经网络；基于传统机器学习思想构建的多类易故障区域同步检测模型由一个特征提取器和多个集成的分类器构成；通过构建故障初步分类模型，实现对精确定位得到的多类易故障目标区域进行故障分类识别，初步判断目标区域是否为故障。
所述双目立体视觉匹配算法中，具体实现过程如下：
(1)根据目标区域内不同零部件的位置信息，提取零部件左右图像上的特征点，基于匹配约束，对零部件左右图像上的特征点进行匹配，代入双目立体视觉模型中，实现三维重构，获得左右图像上匹配点对应的空间点的三维坐标如图3a所示：
其中，左摄像机内参矩阵KKl、右摄像机内参矩阵KKr：
右摄像机坐标系到左摄像机坐标系旋转矩阵R，平移矢量T：
以及空间一点在左右摄像机图像坐标[ul,vl]、[ur,vr]均为已知；
(2)根据获得的空间点坐标，计算零部件相对于基准面的距离、零部件之间的相对位移、零部件的形变大小(用d表示)，具体计算过程如下：
零部件相对于基准面的距离由多个特征点到基准面距离的均值得到：
其中，基准面为Ax+By+Cz+D＝0，平面的法向量为(A,B,C)T，(xi,yi,zi)为零部件上特征点的三维空间坐标，n为特征点的个数；
零部件之间的相对位移由两零部件关键点之间欧氏距离的均值来表示：
其中，(xi,yi,zi)和(ai,bi,ci)分别为不同零部件上的关键点的三维空间坐标，n为特征点的个数；
零部件的形变大小由零部件边缘上多个特征点到基准点欧氏距离的均值来表示：
其中，(xi,yi,zi)为零部件边缘上的特征点的三维空间坐标，(a,b,c)为基准点的三维空间坐标，n为特征点的个数；
(3)比较计算结果与相应的故障阈值，即与实际值做比较，判断是否发生松动或者窜出、形变这类细微故障和渐变性隐蔽故障；
(4)如果计算结果大于相应故障阈值，则保存故障的位置信息和特征信息，利用计算结果来描述不同故障形式发生的程度，包括利用零部件相对于基准面的距离来描述零部件的松动情况，利用零部件之间的相对位移来描述零部件窜出的程度，利用零部件边缘上的点到基准点的距离来描述零部件形变的大小；反之，则判断无故障发生。
一种基于双目立体视觉的列车运行故障自动检测方法，包括以下步骤：
a、基于双目立体视觉传感器，左右摄像机同时采集列车制动装置、驱动装置、牵引装置、转向架、轮轴、车钩、车体两侧裙板、转向架、轨外侧轮对轴箱、车端连接部及车底部其他部位的图像，获得列车不同部位的左右摄像机图像，构建列车历史图库，从该图库中随机等比例抽取上述列车不同部位图像，从而获得训练样本集，并制作训练样本标签文件，标签文件与训练样本集一一对应，每一个标签文件包括：图像名，图像中包括的目标类别和每个类别的位置信息；测试样本集由左右摄像机从不同角度实时采集的列车运行中不同部位的一一对应的图像构成；训练样本集、测试样本集和标签文件用于多类易故障区域检测模型；其中，训练样本集和测试样本集中，列车同一部位的左右摄像机图像中易故障目标区域的类别和数目保持一致；基于建立好的训练样本集，裁剪出每一幅图像中所包含的易故障目标区域，得到训练样本集中所有的目标区域，先将所有的目标区域按类别分类，每个类别再按照故障和非故障分成两类，建立对应的故障分类训练样本集，用于训练不同类别的故障初步分类模型；基于得到的训练样本集中所有的目标区域，建立一个零部件训练样本集和零部件训练样本标签文件，用于训练多类零部件同步检测模型；其中，零部件训练样本标签文件的制作方法和要求与上述标签文件一致；
b、基于多卷积层神经网络的深度学习理论或传统机器学习方法，构建多类易故障区域同步检测模型，使用步骤a中的训练样本集、测试样本集及标签文件针对多类易故障区域对所述多类易故障区域同步检测的模型进行训练，得到一个目标检测模型,对测试样本集输出目标区域的位置信息和类别置信度或得分；
c、建立同一部位左右摄像机图像目标区域类别和数目一致的约束，结合已训练好的多类易故障区域同步检测的模型，利用左右图像目标区域类别和数目一致的约束精确定位步骤a中测试样本集中的多类易故障目标区域；
d、基于多层卷积神经网络的深度学习或传统机器学习方法，构建一个故障初步分类模型，为提高故障判别的准确率，采用所述步骤a中裁剪的不同类别的故障和非故障目标区域作为多个训练集，针对每个类别的目标区域，分别使用对应的故障分类训练样本集对所述故障初步分类模型进行训练，训练出相应的故障分类模型，实现对步骤b和c精确检测出多类易故障的目标区域的故障预判断，初步判断目标区域是否为故障区域，对故障进行二维描述；
e、步骤d初步判断为故障的目标区域，保存故障的特征信息，即故障的类别和形式，以及所在图像位置信息，以便及时对列车当前位置发生的某一类故障进行维修；
f、若步骤d初步判断为非故障的目标区域，基于多层卷积神经网络的深度学习理论或传统机器学习方法，构建多类零部件同步检测模型，使用步骤a中的零部件训练样本集和零部件训练样本标签文件对所述的多零部件同步检测模型进行训练，得到一个零部件检测模型，对判定为非故障的目标区域输出目标区域内零部件的位置信息和类别置信度或得分；
g、建立目标区域零部件数量的先验信息约束，结合已经训练好的多零部件同步检测模型，利用目标区域零件部件数量约束精确定位不同目标区域中的零部件，获得不同目标区域内零部件的位置信息；
h、根据步骤g中得到的目标区域内零部件的位置信息，约束匹配范围，提取零部件左右图像上的特征点，采用双目立体视觉匹配技术，分别获取左图像上的特征点在右图像上的匹配点，右图像上的特征点在左图像上的匹配点，实现三维重构，获得匹配点对应的空间点的三维坐标，计算零部件的关键尺寸；
i、根据步骤h中得到的零部件的关键尺寸，判断是否超过故障阈值；
j、若步骤i判断为关键尺寸超过故障阈值，说明发生了故障形式为松动或者窜出、形变这类细微故障和渐变性隐蔽故障，保存故障区域的位置信息和特征信息，并用步骤i中计算得到的关键尺寸对故障进行三维描述，表征故障发生的程度；
k、若步骤i判断为关键尺寸没有超过故障阈值，列车当前部位没有发生故障；
l、步骤b和c的多类易故障区域同步检测和步骤d故障初步分类过程，首先通过多类易故障区域模型检测到目标区域，然后根据目标区域的类别，将目标区域输入到相应的故障初步分类模型中进行分类，实现故障的预判断；
m、步骤f多零部件同步检测模型和步骤h双目立体视觉技术的结合，先检测目标区域中的多个零部件，获取零部件的位置信息；然后基于双目立体视觉技术有选择性的三维重构，而不是被动的重构双目立体视觉传感器采集到的整幅图像；
n、步骤d的故障初步分类和步骤i的故障再判断过程，基于双目立体视觉技术，将经过故障初步分类模型后初步判断为非故障的目标区域，进行故障再判断，不仅实现了列车运行故障的二次判断和故障的二维描述，还能通过对故障的三维描述表征故障发生的程度。
构建所述步骤b中的多类易故障区域同步检测模型中，基于深度学习方法时，多类易故障区域同步检测模型是一个或者多个多层的前向传播的卷积神经网络，并通过反向传播和梯度下降算法对网络进行训练；基于传统机器学习方法时，多类易故障区域同步检测模型是由一个用于提取列车关键部位图像特征的特征提取器和一个或多个集成的用于对提取到的特征进行分类的分类器构成，通过不断地重复训练和调整训练数据的权重分布，直到训练错误率为0或者分类器的数目达到指定值后结束训练。多类易故障区域同步检测模型训练完成之后，得到一个目标检测模型，该目标检测模型实质为一个决策函数，描述了输入输出随机变量之间的映射关系，即，对训练好的多类易故障区域同步检测模型输入测试样本集时，目标检测模型对测试样本集中的每一幅图像输出以下内容：图像中目标区域在图像的位置信息及目标区域对所有类别的置信度或类别得分，即属于每类待检测故障类别的概率或得分，该目标区域所属类别为置信度最高或类别得分超过阈值的所对应类别，此类别决定了该目标区域所对应的故障分类模型。
所述步骤c中建立的同一部位左右摄像机图像目标区域类别和数目一致的约束，是对经过多类易故障区域同步检测模型检测后的列车同一部位的左右摄像机图像的输出，进行约束，以确保左右摄像机图像输出的目标区域具有相同的数目和类别；当测试样本集中列车同一部位左右图像输出的目标区域数目和类别不一致，发生漏检或误检时，剔除误检的目标区域并进一步定位置信系数低或者类别得分低于阈值的目标区域，从而实现目标区域的精确定位。
所述步骤d可以基于深度学习思想，仅通过构建一个多层卷积神经网络搭建故障初步分类模型，针对不同类别的目标区域，分别对相应的故障分类训练样本集，采用反向传播和梯度下降算法训练，得到相应的故障分类模型，实现多故障分类识别；也可以基于传统机器学习方法，提取多类易故障区域的特征，通过构建一个或者多个集成的分类器搭建故障初步分类模型，实现多故障分类识别。
构建所述步骤f中的多零部件同步检测模型，可以基于深度学习思想，通过构建一个或多个多层卷积神经网络实现，并通过反向传播和梯度下降算法对网络进行训练；也可基于传统机器学习方法，通过提取图像的特征，结合不同分类器的集成方法实现，并通过不断地重复训练和调整训练数据的权重分布，直到训练错误率为0或者分类器的数目达到指定值后结束训练；训练完成之后，得到一个零部件检测模型。该零部件检测模型实质为一个决策函数，描述了输入输出随机变量之间的映射关系，即对训练好的多零部件同步检测模型输入测试样本集时，对测试样本集中的每一幅图像输出以下内容：零部件在目标区域的位置信息及零部件对所有类别的置信度或类别得分，即属于每类待检测故障类别的概率或得分，该零部件所属类别为置信度最高或类别得分超过阈值的所对应类别，此类别决定了所对应的故障阈值。所述步骤g中建立的目标区域零部件数量的先验信息约束，即对目标区域内输出的零部件个数进行约束，使得经过多零部件同步检测后得到的目标区域内零部件的个数与实际的零部件个数一致，当目标区域内所定位的零部件数目与实际零部件数目不相符时，即发生漏检或误检时，进一步定位置信系数低或者类别得分低于阈值的零部件，或者剔除被检测出的零部件置信系数或者类别得分最低的零部件，从而实现目标区域内零部件的精确定位，得到目标区域内零部件的位置信息。以零部件的边缘作为零部件与基准面的分界，提取左右图像边缘上的图像点，作为零部件左右图像上的特征点，边缘外的图像点，作为基准面上的特征点；基于立体视觉技术，建立约束来减少对应点误匹配，如极线约束、唯一性约束、视差连续性约束和顺序一致性约束，对左右图像上的特征点进行匹配，最终得到正确的对应，完成特征点匹配，并代入双目立体视觉模型中，对匹配点进行三维重构，获得相应的空间点坐标；根据得到的空间点坐标，计算零部件相对于基准面的距离、零部件之间的相对位移、零部件的形变大小，作为零部件的关键尺寸信息。
本发明与现有技术相比的优点在于：本发明提供的一种基于双目立体视觉的列车运行故障自动检测系统及方法无需针对不同类别的故障人工设计特征提取器，而是借助多层卷积神经网络的深度学习思想和传统机器学习的方法，通过学习，获取所需的特征表达，能够实现多故障的精确地同步检测和故障二维定性描述。同时，结合双目立体视觉技术，从不同角度同时获取列车不同部位的两幅数字图像，不仅能够实现目标区域的故障二次判断，提高故障识别率，还可以基于视差原理即可恢复出目标区域内零部件的三维几何信息，对零部件进行三维定量描述，提高细微的或渐变性隐蔽故障的识别率，优化维修阈值，降低列车维修成本，有利于将事故消除在萌芽状态，确保列车运行安全。
附图说明
图1为本发明一种基于双目立体视觉的列车运行故障自动检测方法及系统的总体实现流程图；
图2为双目立体视觉传感的几何原理；
图3为基于卷积神经网络的多类易故障区域同步检测模型；其中，(a)为整体网络模型，(b)为多类易故障区域同步检测模型中的基本网络模型；
图4为基于卷积神经网络的故障初步判别的网络模型；
图5为基于传统机器学习的多零部件同步检测网络。
具体实施方式
以下结合附图及具体实施实例对本发明再作进一步详细的说明。
图1为本发明一种基于双目立体视觉的列车运行故障自动检测方法及系统的总体实现流程图，
如图1所示，本发明的具体实现包括以下步骤：
步骤1：基于双目立体视觉传感器，采集列车不同部位的左右摄像机图像，建立训练样本集和测试样本集，并制作训练样本标签文件；裁剪训练样本的不同目标检测区域并归类，建立故障分类训练样本集；基于裁剪好的训练样本的不同目标检测区域，建立零部件训练样本集和零部件训练样本标签文件。
基于双目立体视觉传感器构建列车的历史图库，其中包含了不同光照、不同旋转角下的列车不同部位的历史运行图像。从该图库中随机等比例抽取列车走行部、制动配件、底架悬吊件、钩缓连接、车体两侧裙板、转向架等不同部位的图像，构成训练样本集。测试样本集由左右摄像机从不同角度实时采集的列车运行中不同部位的一一对应的图像构成。双目立体视觉传感器的几何原理如图2所示。
制作与训练样本集一一对应的训练样本标签文件，每一个标签文件包括有：图像名称、图像包含的目标类别，以及每个目标类别在图像中的位置信息。其中，位置信息包括四个元素：目标框的左上角像素坐标和右下角点像素坐标。训练样本集、测试样本集和标签文件用于多类易故障区域检测模型。
裁剪训练样本的不同目标检测区域，先按类别分类，每个类别再按照故障和非故障分成两类，建立多个故障分类训练样本集，用于训练故障初步分类模型；基于裁剪好的训练样本的不同目标检测区域，按照不同零部件分类，建立零部件训练样本集和零部件训练样本标签文件，用于训练多零部件同步检测模型。
零部件训练样本标签文件的制作方法与训练样本标签文件的制作方法一致，每一个零部件训练样本标签文件包括有：图像名称，目标区域包含的零部件类别，以及每一个零部件在目标区域中的位置信息。其中位置信息包括11个元素：零部件框的左上角像素坐标，零部件框的宽和高，以及7个默认为0的元素。
步骤2：基于多层卷积神经网络的深度学习思想或传统机器学习的方法，构建多类易故障区域同步检测模型。
如图3所示，本多类易故障区域同步检测网络基于多卷积神经网络的深度学习思想，构建了SSD网络模型。SSD是基于一个前向传播的多层卷积神经网络SSD，产生一系列固定大小的边界框，以及每一个框中包含物体实例类别的分数。之后进行一个非极大值抑制得到最终的检测结果。SSD检测模型的最开始的网络层基于用于图像分类的标准架构VGG16，称作“基本框架”。具体过程在文章“Liu W,Anguelov D,Erhan D,et al.SSD:SingleShot MultiBox Detector[J].arXiv preprint arXiv:1512.02325,2015”中有详细描述。
训练多类易故障区域同步检测网络模型：使用步骤1中的训练样本集和训练样本标签文件同时训练多个易故障区域。采用反向传播和随机梯度下降算法端对端地训练步骤2中的多类易故障区域同步检测网络，具体训练算法原理在文章“Jake Bouvrie,Notes onConvolutional Neural Networks[J].Neural Nets,2006”中有详细描述。
对训练好的多类易故障网络模型对步骤1中的测试样本集进行测试，若检测效果不理想，可以优化调整网络超参，如学习率，迭代次数等，然后重新对网络进行训练。
步骤3：建立同一部位左右摄像机图像(无)目标区域一致的约束，结合步骤2中已训练好的多类易故障区域同步检测的网络模型，利用左右图像(无)目标区域一致约束同步定位、裁剪并分类目标区域。
测试集中的列车同一部位的图像均由一一对应的不同角度的左摄像机图像和右摄像机图像构成，而同一场景不同的位置取得的相同两幅图像，其点或者特征不是无关的。因此，列车同一部位的左右摄像机图像具有(无)目标区域一致的特点。当步骤2中左右图像检测到的目标区域不一致时，比对其相应的置信系数，增强(无)目标区域一致这一约束，定位置信系数低的目标区域，降低目标区域漏检率。
裁剪精确定位的目标区域，并将其按照目标类别分类，建立相应故障初步分类模型的测试集。
步骤4：基于多层卷积神经网络的深度学习思想或传统机器学习方法，构建故障初步分类模型。
本系统基于多层卷积神经网络的深度学习思想构建一个二分类的故障初步分类模型，即网络模型仅对输入图像分成两类：故障和非故障，网络的具体结构和参数如图4所示。根据实际的故障初步分类任务，该网络模型包括：5层卷积层(Conv),3层池化层(maxpool)，2层全连接层(FC,Fully connected layer)，3层局部响应归一化(LRN,LocalResponse Normalization)层和输出层。其中，池化层均采用最大值池化操作；全连接层采用Dropout，防止模型过拟合。局部相应归一化Dropout技术见文章“Hinton,Geoffrey E.,et al.Improving neural networks by preventing co-adaptation of featuredetectors.arXiv preprint arXiv:1207.0580(2012)”。
训练该故障初步分类模型：使用步骤1中的故障分类训练样本集，针对每一类训练集，训练出相应的故障分类模型。模型训练算法与步骤2一致。故障分类测试集由步骤3裁剪并分类目标区域得到。不同类别的测试集采用不同的类别故障分类模型来测试。若故障初步分类效果不理想，可以对优化调整网络超参，如学习率，迭代次数等，然后重新对故障初步分类网络进行训练。
步骤5：对列车运行故障进行二维定性描述，初步判断目标区域是否为故障区域。
基于步骤4中的故障初步分类模型，二维定性描述列车运行故障。若目标区域初步判别为故障区域，保存故障的位置信息和特征信息，以便及时列车当前位置的该类故障进行维修；若目标初步判别为非故障区域，将该目标区域作为“多零部件同步检测网络”的测试集，进行二次检测和故障再判断。
步骤6：基于多层卷积神经网络的深度学习思想或者传统机器学习的方法，构建多零部件同步检测模型。
本系统基于传统机器学习方法构建多零部件同步检测模型，该模型结合聚合通道特征ACF(Aggregated Channel Feature)检测器和局部去相关通道特征LDCF(LocallyDecorralated Channel Features)，利用AdaBoost组合多个决策树，实现多零部件同步检测。其中ACF检测器在文章“Dollár,Piotr,et al.Fast feature pyramids for objectdetection[J].Transactions on Pattern Analysis and Machine Intelligence 36.8(2014):1532-1545”中有详细介绍，LDCF在文章“Nam,Woonhyun,Piotr Dollár,and JoonHee Han."Local decorrelation for improved pedestrian detection."Advances inNeural Information Processing Systems.2014.”中有详细介绍。
该模型先计算图像中10个通道的特征：1通道的归一化梯度幅度特征，6通道的方向梯度直方图，3通道的LUV颜色通道；然后以2HZ的采样频率下采样，得到的特征即是聚合通道中单个像素的查找表；使用AdaBoost组合2048个3层的决策树进行零部件同步检测。其具体框图如图5所示。
训练多零部件同步检测网络模型：使用步骤1中的零部件训练样本集和零部件训练样本标签文件同时训练多种零部件。在训练过程中，对于给定的零部件训练样本集，AdaBoost在每一轮计算中提高那些被前一轮决策树错误分类的样本，而降低那些被正确分类样本的权值，从而改变训练数据的权值或概率分布，在后一轮弱决策树中加大对错误分类样本的权值。类似的，AdaBoost采取加权多数表决的方法将多个决策树组合成一个强分类器，加大分类误差率小的决策树的权值，使其在表决中起较大作用，减小分类误差率大的决策树的权值，使其在表决中起较小的作用，从而将目标特征从背景中检测出来。
零部件测试集由步骤5中初步判断为非故障的目标区域构成。若零部件检测效果不理想，可以调整模型的训练参数，如快速特征金字塔的参数，然后重新对故障初步分类网络进行训练。
步骤7：建立目标区域零部件数量的先验信息约束，结合已经训练好的多零部件同步检测模型，利用目标区域零件部件数量约束精确定位不同目标区域中的零部件。
已知型号的列车，不同部位的零部件数量信息是已知的。因此，在本模型中当步骤6目标区域中检测的零部件数目与先验信息不符时，增加零部件数量约束，定位类别得分低的零部件，降低漏检率。
步骤8:采用双目立体视觉技术，对单一零部件的左右图像特征点进行匹配，实现三维重构，计算其三维尺寸。
利用步骤6和7中精确定位的零部件的位置信息，采用图像处理的方法，获得同一零部件左右图像的边缘信息。分别提取零部件左、右图像中边缘上的点，使用双目立体视觉匹配方法，获得同一零部件右、左图像上对应的图像点坐标。继而，根据左右摄像相机之间的内参和外参，实现三维重构，获得相应点的空间坐标，从而，得到零部件的关键尺寸。
零部件的边缘提取算法可以但不限于使用区域增长和形态学二值化外边界的方法。首先以零部件图像中心作为种子点，使用区域增长的方法将零部件分割成“零部件区域”和“其他”两个区域。然后再基于形态学方法，二值化零部件外边界，从而，获得零部件的边缘信息，以零部件边缘为分界，提取零部件上及边缘外基准面上的特征点。在进行边缘提取之前，可以先去图像进行预处理，提高边缘提取的精度。
基于提取到的特征点，采用双目立体视觉技术对左右图像的特征点进行匹配。匹配实质上就是为了得到空间一点的三维几何信息,从不同视角获取的2幅图像中正确找到这一点对应的投影点的过程。立体匹配中常利用唯一性约束、相容性约束、极线约束等来提高匹配精度。
基于标定好的双目系统，即已经获得左、右摄像机的内参矩阵，以及右摄像机坐标系到左摄像机坐标系的旋转矩阵R和平移矢量T，根据左右图像的对应匹配的特征点，可以确定出空间三维坐标，从而可以计算出零部件的关键尺寸(如，螺栓松动的程度可以通过计算螺栓与基准面之间的距离得到)。通常，将左摄像机坐标系定位世界坐标系。其中，相机标定的具体原理在文章“Zhang Z.A flexible new technique for camera calibration[J].Transactions on pattern analysis and machine intelligence,2000,22(11):1330-1334.”有详细说明。
步骤9：列车运行故障的三维定量描述，再判断目标区域是否为故障区域。
基于步骤8中计算得到的零部件的关键尺寸，将其与对应的故障阈值进行比较。若零部件的关键尺寸超过故障阈值，则说明列车发生了松动或者窜出、变形这类细微故障和渐变性隐藏故障，保存故障区域的位置信息和特征信息。其中，发生故障的程度由计算得到的零部件的关键尺寸进行描述，以便及时确定维修方案和维修时间，优化维修阈值，解决维修中“维修不足”或“维修过剩”以及维修时机不恰当的问题，降低维修成本，提高动车组隐蔽故障发现能力和故障发生初期的预警能力，增强列车运行的安全防范水平。
若零部件的关键尺寸没有超过故障阈值，则说明列车当前部位并没有发生此类故障。
为了说明本发明“一种基于双目立体视觉的列车运行故障自动检测方法及系统”，以一具体故障检测实例进行说明：
本实例对列车转向架芯盘、制动盘、中心销和轴箱盖等4类故障进行同步检测。这几类故障在列车运行中属于高发故障，均易发生螺栓松动、螺栓丢失等形式的故障。
按图1所述步骤实现对转向架芯盘、制动盘、中心销和轴箱盖的二维故障定性描述和三维故障定量描述，其过程为：
采用schneider-kreuznach公司生产的CINEGON1.4/12-0906镜头和采用双通道视频采集卡，搭建并标定好双目立体视觉传感器。在不同光照下，左右摄像机从不同角度拍摄转向架芯盘、制动盘、中心销和轴箱盖的实物模型，构建图库。随机地等比例地从图库中挑选出不同实结构的训练样本和测试样本，构建训练样本集和测试样本集。对训练样本集中每幅图像标注转向架芯盘、制动盘、中心销和轴箱盖四类易故障区域，制作XML标签文件。对训练样本集中每幅图像裁剪出四类易故障区域，制作多零部件训练样本集，按类别分类，制作相应的故障初步分类训练样本集。对多零部件训练样本集中的每一幅图像标注出相应的零部件区域，制作TXT标签文件。
根据步骤2的训练方法训练图3的多类易故障区域同步检测模型。本实例中训练参数采用ImageNet预训练好的参数初始化CNN卷积池化层，其他层采用0均值高斯分布初始化；学习速率采用的方案是：初始化学习速率为10-3，每迭代10000次后衰减为为原来的0.1；迭代次数设置为20000次。
基于训练好的多类易故障区域同步检测模型，对测试样本集中易故障区域进行精确定位。利用步骤3中的约束条件，提高易故障区域的定位精度。基于多层卷积神经网络的深度学习思想和左右摄像机图像(无)目标区域一致的约束，对测试样本集中的4类易故障区域(转向架芯盘、制动盘、中心销和轴箱盖)的检测准确率和召回率均高达100％，误检率和漏检率均为0，能够同步将4类易故障全部检测出来。
用步骤1中已经构建好的故障初步分类训练样本集，部分转向架芯盘、制动盘、中心销和轴箱盖的训练样本如图4所示。按照步骤4中的训练方法训练图4中的故障初步分类模型。所有层的训练参数均采用0均值高斯分布初始化；学习速率采用的方案是：初始化学习速率为10-2，每迭代4500次后衰减为原来的0.1；迭代次数设置为10000次。训练后得到4个类别的故障分类模型：转向架芯盘故障初步分类模型、制动盘故障初步分类模型、中心销故障初步分类模型和轴箱盖故障初步分类模型。其中，4个模型的结构一致，只是权值参数不同。
裁剪被图3精确定位的目标区域，并分成4类，作为故障初步分类测试样本集。分别采用上述的故障分类模型进行测试，对于4类区域发生的单个或者多个螺栓丢失、损坏等故障形式的判别的准确率高达98％以上，对于4类区域中发生的单个甚至多个螺栓松动超过1mm的细微渐变性的隐蔽故障可以完全判别出来，多类故障形式的判别效果均十分理想。
用步骤1的零部件训练样本集和零部件训练样本标签文件，按照步骤6中的训练方法训练图5的多零部件同步检测模型。本实例初始化检测窗口为10*10大小，滑动步长为5，目标候选窗口的扩展大小为6*4，4个去相关线性滤波器的大小5*5。
将初步判断为非故障的目标区域作为测试样本集，输入到训练好的多零部件同步检测模型中。当目标区域中检测的零部件数目与先验信息不符时，增加零部件数量约束，定位类别得分低的零部件，降低漏检率。基于传统机器学习方法和零部件数量约束，对初步判断为非故障的目标区域中零部件的检测准确率和召回率达到100％，可以将目标区域中的所有零部件同步检测出来。
基于目标区域精确定位的零部件的位置信息，首先对图像进行预处理，以零部件图像中心作为种子点，使用区域增长的方法将零部件分割成“零部件区域”和“其他”两个区域。最后用形态学方法，二值化零部件外边界，从而，获得零部件的边缘信息，以零部件边缘为分界，提取零部件上及边缘外基准面上的多个特征点。
为了求解对应，基于提取到的特征点，本实例采用极线约束的方法来减少误匹配，得到最终正确的对应点。所谓极线约束是指点或者特征的精确空间位置能由两道交叉光线确定，这样从同一场景不同的位置取得的相同两幅图像，其点或者特征不是无关的，而是极线约束意义下彼此相关的。左图零部件边缘上特征点PL与右图零部件边缘上特征点PR之间的映射关系可由基本矩阵F表示，F是一个秩为2的3×3矩阵。
PR TFPL＝0
基于标定好的双目系统，即已经获得左、右摄像机的内参矩阵，以及右摄像机坐标系到左摄像机坐标系的旋转矩阵R和平移矢量T，根据左右图像的对应匹配的特征点，确定出空间三维坐标，并计算出螺栓上的各个点到基准面的距离li,然后得到平均值l,并判断l是否超过故障阈值10mm，实现对列车运行故障的三维定量描述。若l>10mm，说明发生了松动等渐变性隐蔽故障；若l<10mm，说明列车当前部位没有发生螺栓松动。
经过列车运行故障的再判断，基本实现了对4类目标区域中发生的不同程度螺栓松动的三维定量描述，准确率高达98％以上。综上所述，本发明结合双目立体视觉技术对列车运行故障进行三维定量描述，实现列车运行故障的“二次”判断，弥补了二维故障检测的不足，实现对一些微小的或者渐变性隐藏故障的高精度检测和极低的漏检率。

Claims (10)

1.一种基于双目立体视觉的列车运行故障自动检测系统，其特征在于：包括双目立体视觉传感器、基于多层卷积神经网络的深度学习或传统机器学习的目标检测及分类算法、双目立体视觉匹配算法；其中：
双目立体视觉传感器，由两个交叉摆放的左右摄像机构成，获取不同光照下列车不同部位的两幅数字图像，构建出列车的历史图库，以便制作训练样本集、故障分类训练样本集和零部件训练样本集，并实时采集测试样本集；将双目立体视觉传感器安装在列车底部和轨边，左右摄像机从不同角度同时获取列车底部和侧部的左右图像；其中，左右图像中均包含了一类或者多类易故障的目标区域；
基于多层卷积神经网络的深度学习或传统机器学习的目标检测及分类算法，实现左右图像中的多类易故障的目标区域的同步精确定位；对精确定位得到的多类易故障目标区域进行故障分类识别，初步判断目标区域是否为故障，如果为故障区域则保存故障的位置信息和特征信息，如果为非故障区域则同步精确定位非故障区域内的多零部件，所述多零部件包括螺栓、螺母、交叉杆和枕簧，从而获得目标区域内不同零部件的位置信息；
双目立体视觉匹配算法，根据目标区域内不同零部件的位置信息，对每个零部件的左右图像进行特征点匹配，计算零部件相对于基准面的距离、零部件之间的相对位移、零部件的形变大小，判断是否发生松动或者窜出、形变这类细微故障和渐变性隐蔽故障，并描述故障发生的程度。
2.根据权利要求1所述的一种基于双目立体视觉的列车运行故障自动检测系统，其特征在于：所述双目立体视觉传感器的实现过程如下：
(1)使用两个交叉摆放的左右摄像机搭建双目立体视觉传感器，两个摄像机具有相同的性能，且存在一定平移和旋转位置关系，能够从不同位置或角度观测同一被测物体，分别在左右摄像机中生成对应的左摄像机图像和右摄像机图像；
(2)将双目立体视觉传感器分别安装在列车的底部和轨边，左右摄像机从不同角度同时获得列车底部和侧部的左右图像，其中列车底部图像中包括有：制动装置、驱动装置、牵引装置、转向架、轮轴、车钩及车底部其他部位的图像；列车侧部图像中包括有：车体两侧裙板、转向架、轨外侧轮对轴箱和车端连接部的图像；
(3)获得的列车每个部位的左右图像中均包含有一类或者多类的易故障目标区域，且列车同一部位的左右图像中易故障目标区域的类别和数目保持一致。
3.根据权利要求1所述的一种基于双目立体视觉的列车运行故障自动检测系统，其特征在于：所述基于多层卷积神经网络的深度学习或传统机器学习的目标检测及分类算法中，通过构建多类易故障区域同步检测模型，实现对易故障区域的同步精确定位；所述基于多层卷积神经网络算法的多类易故障区域同步检测模型为一个或多个多层的前向传播卷积神经网络；基于传统机器学习思想构建的多类易故障区域同步检测模型由一个特征提取器和多个集成的分类器构成；通过构建故障初步分类模型，实现对精确定位得到的多类易故障目标区域进行故障分类识别，初步判断目标区域是否为故障。
4.根据权利要求1所述的一种基于双目立体视觉的列车运行故障自动检测系统，其特征在于：所述双目立体视觉匹配算法中，具体实现过程如下：
(1)根据目标区域内不同零部件的位置信息，提取零部件左右图像上的特征点，基于匹配约束，对零部件左右图像上的特征点进行匹配，代入双目立体视觉模型中，实现三维重构，获得左右图像上匹配点对应的空间点的三维坐标，
其中，左摄像机内参矩阵KKl、右摄像机内参矩阵KKr：
右摄像机坐标系到左摄像机坐标系旋转矩阵R，平移矢量T：
以及空间一点在左右摄像机图像坐标[ul,vl]、[ur,vr]均为已知；
(2)根据获得的空间点坐标，计算零部件相对于基准面的距离、零部件之间的相对位移、零部件的形变大小，用d表示，具体计算过程如下：
零部件相对于基准面的距离由多个特征点到基准面距离的均值得到：
其中，基准面为Ax+By+Cz+D＝0，平面的法向量为(A,B,C)T，(xi,yi,zi)为零部件上特征点的三维空间坐标，n为特征点的个数；
零部件之间的相对位移由两零部件关键点之间欧氏距离的均值来表示：
其中，(xi,yi,zi)和(ai,bi,ci)分别为不同零部件上的关键点的三维空间坐标，n为特征点的个数；
零部件的形变大小由零部件边缘上多个特征点到基准点欧氏距离的均值来表示：
其中，(xi,yi,zi)为零部件边缘上的特征点的三维空间坐标，(a,b,c)为基准点的三维空间坐标，n为特征点的个数；
(3)比较计算结果与相应的故障阈值，即与实际值做比较，判断是否发生松动或者窜出、形变这类细微故障和渐变性隐蔽故障；
(4)如果计算结果大于相应故障阈值，则保存故障的位置信息和特征信息，利用计算结果来描述不同故障形式发生的程度，包括利用零部件相对于基准面的距离来描述零部件的松动情况，利用零部件之间的相对位移来描述零部件窜出的程度，利用零部件边缘上的点到基准点的距离来描述零部件形变的大小；反之，则判断无故障发生。
5.一种基于双目立体视觉的列车运行故障自动检测方法，其特征在于包括以下步骤：
a、基于双目立体视觉传感器，左右摄像机同时采集列车制动装置、驱动装置、牵引装置、转向架、轮轴、车钩、车体两侧裙板、转向架、轨外侧轮对轴箱、车端连接部及车底部其他部位的图像，获得列车不同部位的左右摄像机图像，构建列车历史图库，从该图库中随机等比例抽取上述列车不同部位图像，从而获得训练样本集，并制作训练样本标签文件，标签文件与训练样本集一一对应，每一个标签文件包括：图像名，图像中包括的目标类别和每个类别的位置信息；测试样本集由左右摄像机从不同角度实时采集的列车运行中不同部位的一一对应的图像构成；训练样本集、测试样本集和标签文件用于多类易故障区域检测模型；其中，训练样本集和测试样本集中，列车同一部位的左右摄像机图像中易故障目标区域的类别和数目保持一致；基于建立好的训练样本集，裁剪出每一幅图像中所包含的易故障目标区域，得到训练样本集中所有的目标区域，先将所有的目标区域按类别分类，每个类别再按照故障和非故障分成两类，建立对应的故障分类训练样本集，用于训练不同类别的故障初步分类模型；基于得到的训练样本集中所有的目标区域，建立一个零部件训练样本集和零部件训练样本标签文件，用于训练多类零部件同步检测模型；其中，零部件训练样本标签文件的制作方法和要求与上述标签文件一致；
b、基于多卷积层神经网络的深度学习理论或传统机器学习方法，构建多类易故障区域同步检测模型，使用步骤a中的训练样本集、测试样本集及标签文件针对多类易故障区域对所述多类易故障区域同步检测的模型进行训练，得到一个目标检测模型,对测试样本集输出目标区域的位置信息和类别置信度或得分；
c、建立同一部位左右摄像机图像目标区域类别和数目一致的约束，结合已训练好的多类易故障区域同步检测的模型，利用左右图像目标区域类别和数目一致的约束精确定位步骤a中测试样本集中的多类易故障目标区域；
d、基于多层卷积神经网络的深度学习或传统机器学习方法，构建一个故障初步分类模型，为提高故障判别的准确率，采用所述步骤a中裁剪的不同类别的故障和非故障目标区域作为多个训练集，针对每个类别的目标区域，分别使用对应的故障分类训练样本集对所述故障初步分类模型进行训练，训练出相应的故障分类模型，实现对步骤b和c精确检测出多类易故障的目标区域的故障预判断，初步判断目标区域是否为故障区域，对故障进行二维描述；
e、步骤d初步判断为故障的目标区域，保存故障的特征信息，即故障的类别和形式，以及所在图像位置信息，以便及时对列车当前位置发生的某一类故障进行维修；
f、若步骤d初步判断为非故障的目标区域，基于多层卷积神经网络的深度学习理论或传统机器学习方法，构建多类零部件同步检测模型，使用步骤a中的零部件训练样本集和零部件训练样本标签文件对所述的多零部件同步检测模型进行训练，得到一个零部件检测模型，对判定为非故障的目标区域输出目标区域内零部件的位置信息和类别置信度或得分；
g、建立目标区域零部件数量的先验信息约束，结合已经训练好的多零部件同步检测模型，利用目标区域零件部件数量约束精确定位不同目标区域中的零部件，获得不同目标区域内零部件的位置信息；
h、根据步骤g中得到的目标区域内零部件的位置信息，约束匹配范围，提取零部件左右图像上的特征点，采用双目立体视觉匹配技术，分别获取左图像上的特征点在右图像上的匹配点，右图像上的特征点在左图像上的匹配点，实现三维重构，获得匹配点对应的空间点的三维坐标，计算零部件的关键尺寸；
i、根据步骤h中得到的零部件的关键尺寸，判断是否超过故障阈值；
j、若步骤i判断为关键尺寸超过故障阈值，说明发生了故障形式为松动或者窜出、形变这类细微故障和渐变性隐蔽故障，保存故障区域的位置信息和特征信息，并用步骤i中计算得到的关键尺寸对故障进行三维描述，表征故障发生的程度；
k、若步骤i判断为关键尺寸没有超过故障阈值，列车当前部位没有发生故障；
l、步骤b和c的多类易故障区域同步检测和步骤d故障初步分类过程，首先通过多类易故障区域模型检测到目标区域，然后根据目标区域的类别，将目标区域输入到相应的故障初步分类模型中进行分类，实现故障的预判断；
m、步骤f多零部件同步检测模型和步骤h双目立体视觉技术的结合，先检测目标区域中的多个零部件，获取零部件的位置信息；然后基于双目立体视觉技术有选择性的三维重构，而不是被动的重构双目立体视觉传感器采集到的整幅图像；
n、步骤d的故障初步分类和步骤i的故障再判断过程，基于双目立体视觉技术，将经过故障初步分类模型后初步判断为非故障的目标区域，进行故障再判断，不仅实现了列车运行故障的二次判断和故障的二维描述，还能通过对故障的三维描述表征故障发生的程度。
6.根据权利要求5所述的基于双目立体视觉的列车运行故障自动检测方法，其特征在于，所述步骤b中的多类易故障区域同步检测模型中，基于深度学习方法时，多类易故障区域同步检测模型是一个或者多个多层的前向传播的卷积神经网络，并通过反向传播和梯度下降算法对网络进行训练；基于传统机器学习方法时，多类易故障区域同步检测模型是由一个用于提取列车关键部位图像特征的特征提取器和一个或多个集成的用于对提取到的特征进行分类的分类器构成，通过不断地重复训练和调整训练数据的权重分布，直到训练错误率为0或者分类器的数目达到指定值后结束训练；多类易故障区域同步检测模型训练完成之后，得到一个目标检测模型，该目标检测模型实质为一个决策函数，描述了输入输出随机变量之间的映射关系，即，对训练好的多类易故障区域同步检测模型输入测试样本集时，目标模型对测试样本集中的每一幅图像输出以下内容：图像中目标区域在图像的位置信息及目标区域对所有类别的置信度或类别得分，即属于每类待检测故障类别的概率或得分，该目标区域所属类别为置信度最高或类别得分超过阈值的所对应类别，此类别决定了该目标区域所对应的故障分类模型。
7.根据权利要求5所述的基于双目立体视觉的列车运行故障自动检测方法，其特征在于：所述步骤c中建立的同一部位左右摄像机图像目标区域类别和数目一致的约束，是对经过多类易故障区域同步检测模型检测后的列车同一部位的左右摄像机图像的输出，进行约束，以确保左右摄像机图像输出的目标区域具有相同的数目和类别；当测试样本集中列车同一部位左右图像输出的目标区域数目和类别不一致，发生漏检或误检时，剔除误检的目标区域并进一步定位置信系数低或者类别得分低于阈值的目标区域，从而实现目标区域的精确定位。
8.根据权利要求5所述的基于双目立体视觉的列车运行故障自动检测方法，其特征在于：所述步骤d可以基于深度学习思想，仅通过构建一个多层卷积神经网络搭建故障初步分类模型，针对不同类别的目标区域，分别对相应的故障分类训练样本集，采用反向传播和梯度下降算法训练，得到相应的故障分类模型，实现多故障分类识别；也可以基于传统机器学习方法，提取多类易故障区域的特征，通过构建一个或者多个集成的分类器搭建故障初步分类模型，实现多故障分类识别。
9.根据权利要求5所述的基于双目立体视觉的列车运行故障自动检测方法，其特征在于：构建所述步骤f中的多零部件同步检测模型，可以基于深度学习思想，通过构建一个或多个多层卷积神经网络实现，并通过反向传播和梯度下降算法对网络进行训练；也可基于传统机器学习方法，通过提取图像的特征，结合不同分类器的集成方法实现，并通过不断地重复训练和调整训练数据的权重分布，直到训练错误率为0或者分类器的数目达到指定值后结束训练；训练完成之后，得到一个零部件检测模型。该零部件检测模型实质为一个决策函数，描述了输入输出随机变量之间的映射关系，即对训练好的多零部件同步检测模型输入测试样本集时，对测试样本集中的每一幅图像输出以下内容：零部件在目标区域的位置信息及零部件对所有类别的置信度或类别得分，即属于每类待检测故障类别的概率或得分，该零部件所属类别为置信度最高或类别得分超过阈值的所对应类别，此类别决定了所对应的故障阈值。
10.根据权利要求5所述的基于双目立体视觉的列车运行故障自动检测方法，其特征在于：所述步骤g中建立的目标区域零部件数量的先验信息约束，即对目标区域内输出的零部件个数进行约束，使得经过多零部件同步检测后得到的目标区域内零部件的个数与实际的零部件个数一致，当目标区域内所定位的零部件数目与实际零部件数目不相符时，即发生漏检或误检时，进一步定位置信系数低或者类别得分低于阈值的零部件，或者剔除被检测出的零部件置信系数或者类别得分最低的零部件，从而实现目标区域内零部件的精确定位，得到目标区域内零部件的位置信息；以零部件的边缘作为零部件与基准面的分界，提取左右图像边缘上的图像点，作为零部件左右图像上的特征点，边缘外的图像点，作为基准面上的特征点；基于立体视觉技术，建立约束来减少对应点误匹配，如极线约束、唯一性约束、视差连续性约束和顺序一致性约束，对左右图像上的特征点进行匹配，最终得到正确的对应，完成特征点匹配，并代入双目立体视觉模型中，对匹配点进行三维重构，获得相应的空间点坐标；根据得到的空间点坐标，计算零部件相对于基准面的距离、零部件之间的相对位移、零部件的形变大小，作为零部件的关键尺寸信息。
CN201611094993.9A 2016-12-02 2016-12-02 一种基于双目立体视觉的列车运行故障自动检测系统及方法 Active CN106600581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611094993.9A CN106600581B (zh) 2016-12-02 2016-12-02 一种基于双目立体视觉的列车运行故障自动检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611094993.9A CN106600581B (zh) 2016-12-02 2016-12-02 一种基于双目立体视觉的列车运行故障自动检测系统及方法

Publications (2)

Publication Number Publication Date
CN106600581A true CN106600581A (zh) 2017-04-26
CN106600581B CN106600581B (zh) 2019-09-24

Family

ID=58596244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611094993.9A Active CN106600581B (zh) 2016-12-02 2016-12-02 一种基于双目立体视觉的列车运行故障自动检测系统及方法

Country Status (1)

Country Link
CN (1) CN106600581B (zh)

Cited By (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145849A (zh) * 2017-04-27 2017-09-08 努比亚技术有限公司 一种目标物体状态检测方法、移动终端以及计算机可读存储介质
CN107672618A (zh) * 2017-09-25 2018-02-09 中车株洲电力机车有限公司 一种车钩小半径曲线自动连挂控制系统及车辆救援方法
CN107703146A (zh) * 2017-09-30 2018-02-16 北京得华机器人技术研究院有限公司 一种汽车零配件视觉检测系统及方法
CN107749063A (zh) * 2017-10-17 2018-03-02 厦门理工学院 一种基于边缘提取与傅里叶变换的零件快速定位方法
CN107944392A (zh) * 2017-11-25 2018-04-20 周晓风 一种适用于小区卡口高密度人群监控视频目标标注的有效方法
CN107976319A (zh) * 2017-10-13 2018-05-01 上海眼控科技股份有限公司 一种轿车加装脚踏板的智能检测系统及方法
CN108133188A (zh) * 2017-12-22 2018-06-08 武汉理工大学 一种基于运动历史图像与卷积神经网络的行为识别方法
CN108154169A (zh) * 2017-12-11 2018-06-12 北京小米移动软件有限公司 图像处理方法及装置
CN108257216A (zh) * 2017-12-12 2018-07-06 北京克科技有限公司 一种在虚拟现实环境构建实体模型的方法、装置及设备
CN108337416A (zh) * 2018-03-09 2018-07-27 天津港(集团)有限公司 一种用于周界防护的自动升降识别装置及识别方法
CN108357517A (zh) * 2018-05-21 2018-08-03 北京京天威科技发展有限公司 动车组列车运行故障信息检测方法和系统
CN108510574A (zh) * 2018-04-17 2018-09-07 福州大学 一种基于样例学习并增强视觉质量的3d图像裁剪方法
CN108596886A (zh) * 2018-04-17 2018-09-28 福州大学 基于深度学习的航拍图像绝缘子掉片故障快速检测方法
CN108717711A (zh) * 2018-05-23 2018-10-30 深圳市阡丘越科技有限公司 一种轨道交通故障图像分析方法、装置和系统
CN108871760A (zh) * 2018-06-07 2018-11-23 广东石油化工学院 一种高效齿轮故障模式识别方法
CN108932739A (zh) * 2017-05-24 2018-12-04 优信拍（北京）信息科技有限公司 一种车辆图片智能美化的方法及装置
CN109167998A (zh) * 2018-11-19 2019-01-08 深兰科技（上海）有限公司 检测相机状态的方法及装置、电子设备、存储介质
CN109242035A (zh) * 2018-09-25 2019-01-18 北京华开领航科技有限责任公司 车底故障检测装置及方法
CN109242835A (zh) * 2018-08-24 2019-01-18 深圳市兆泰云智能科技有限公司 基于人工智能的车底缺陷检测方法、装置、设备及系统
CN109727428A (zh) * 2019-01-10 2019-05-07 成都国铁电气设备有限公司 基于深度学习的重复报警抑制方法
CN109903252A (zh) * 2019-02-27 2019-06-18 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109949269A (zh) * 2019-01-24 2019-06-28 武汉华目信息技术有限责任公司 一种铁路列车防尘帽破损故障的检测方法及装置
CN110006422A (zh) * 2019-03-28 2019-07-12 浙江吉利汽车研究院有限公司 一种设备安全运行参数的确定方法、装置、设备和存储介质
CN110009006A (zh) * 2019-03-15 2019-07-12 华中科技大学 一种基于机器学习的点目标检测方法及系统
CN110097536A (zh) * 2019-04-10 2019-08-06 东南大学 基于深度学习和霍夫变换的六边形螺栓松动检测方法
CN110110131A (zh) * 2019-05-23 2019-08-09 北京航空航天大学 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法
CN110246132A (zh) * 2019-06-23 2019-09-17 中车青岛四方车辆研究所有限公司 轨道车辆螺栓松动检测方法及系统
CN110264440A (zh) * 2019-05-10 2019-09-20 湖南大学 基于深度学习的大规模列车移位故障检测方法及系统
CN110428688A (zh) * 2019-08-09 2019-11-08 郑州铁路职业技术学院 一种基于虚拟场景的轨道交通车辆检修仿真实训系统
CN110470248A (zh) * 2019-08-27 2019-11-19 上海航天控制技术研究所 一种车钩对中自动测量方法
CN110533099A (zh) * 2019-08-28 2019-12-03 上海零眸智能科技有限公司 一种基于深度学习的多摄像头采集图像的物品识别方法
CN110634123A (zh) * 2018-06-05 2019-12-31 成都精工华耀科技有限公司 一种采用深度图像的轨道扣件紧固件松动检测方法
CN110959289A (zh) * 2017-06-02 2020-04-03 爱信精机株式会社 周边监控装置
CN111080606A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车下拉杆脱落故障图像识别方法
CN111079628A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 地板破损故障图像识别方法
CN111080600A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车弹簧托板上开口销的故障识别方法
CN111079822A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法
CN111091541A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁组装螺母丢失故障识别方法
CN111102920A (zh) * 2019-12-18 2020-05-05 佛山科学技术学院 一种基于增强现实的机械组件质检方法及系统
CN111127541A (zh) * 2018-10-12 2020-05-08 杭州海康威视数字技术股份有限公司 车辆尺寸的确定方法、装置及存储介质
TWI693558B (zh) * 2017-09-29 2020-05-11 香港商阿里巴巴集團服務有限公司 提升車輛定損圖像識別結果的方法、裝置及伺服器
CN111325851A (zh) * 2020-02-28 2020-06-23 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN111539915A (zh) * 2020-04-03 2020-08-14 哈尔滨市科佳通用机电股份有限公司 火车机车机感吊架故障检测方法
CN111815560A (zh) * 2020-06-09 2020-10-23 理光软件研究所（北京）有限公司 光伏电站故障检测方法、装置、便携检测设备及存储介质
CN111862029A (zh) * 2020-07-15 2020-10-30 哈尔滨市科佳通用机电股份有限公司 一种铁路动车组垂向减震器螺栓部件故障检测方法
CN112085723A (zh) * 2020-09-09 2020-12-15 哈尔滨市科佳通用机电股份有限公司 一种货车摇枕弹簧窜出故障自动检测方法
CN112129777A (zh) * 2020-10-19 2020-12-25 北京市地铁运营有限公司 基于计算机视觉的轨道列车维护检测装置
CN112129779A (zh) * 2020-10-19 2020-12-25 北京市地铁运营有限公司 基于计算机视觉的轨道列车维护检测方法
CN112129778A (zh) * 2020-10-19 2020-12-25 北京市地铁运营有限公司 基于计算机视觉的轨道列车维护检测系统
CN112150453A (zh) * 2020-09-30 2020-12-29 哈尔滨市科佳通用机电股份有限公司 一种铁路货车摇枕弹簧折断故障自动检测方法
CN112233095A (zh) * 2020-10-16 2021-01-15 哈尔滨市科佳通用机电股份有限公司 一种铁路货车锁紧板装置多种故障形态检测方法
CN112330600A (zh) * 2020-10-15 2021-02-05 哈尔滨市科佳通用机电股份有限公司 基于图像处理的车端链接线断裂的故障识别方法
CN112393603A (zh) * 2020-03-26 2021-02-23 中冶长天国际工程有限责任公司 一种台车车轮故障检测方法、装置、设备及介质
CN112465793A (zh) * 2020-12-04 2021-03-09 郑州捷安高科股份有限公司 列车故障检测方法、装置、设备及存储介质
CN112488995A (zh) * 2020-11-18 2021-03-12 成都主导软件技术有限公司 列车自动化检修的智能判伤方法及系统
CN112508034A (zh) * 2020-11-03 2021-03-16 精英数智科技股份有限公司 货运列车故障检测方法、装置及电子设备
US20210097436A1 (en) * 2019-10-01 2021-04-01 Kelley S. Weiland Automated system for generating properly tagged training data for and verifying the efficacy of artificial intelligence algorithms
CN112661013A (zh) * 2020-12-17 2021-04-16 北京航天自动控制研究所 一种自动化码头桥吊遗留锁垫检测方法及系统
CN112669262A (zh) * 2020-12-08 2021-04-16 上海交通大学 一种电机轮轴震动异常检测与预测系统与方法
CN112699794A (zh) * 2020-12-29 2021-04-23 哈尔滨市科佳通用机电股份有限公司 一种铁路货车轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法
CN112801987A (zh) * 2021-02-01 2021-05-14 上海悦易网络信息技术有限公司 一种手机零件异常检测方法及设备
CN112883842A (zh) * 2021-02-02 2021-06-01 四川省机械研究设计院(集团)有限公司 基于零件与光源相互匹配的摩托车发动机装配方法与系统
CN112906677A (zh) * 2021-05-06 2021-06-04 南京信息工程大学 基于改进型ssd网络的行人目标检测与重识别方法
CN112950493A (zh) * 2021-02-01 2021-06-11 中车青岛四方车辆研究所有限公司 轨道列车线阵相机图像畸变校正方法及装置
CN112967252A (zh) * 2021-03-05 2021-06-15 哈尔滨市科佳通用机电股份有限公司 一种轨道车辆机感吊架组装螺栓丢失检测方法
CN112991347A (zh) * 2021-05-20 2021-06-18 西南交通大学 一种基于三维的列车螺栓松动检测方法
CN113393442A (zh) * 2021-06-17 2021-09-14 东云睿连(武汉)计算技术有限公司 列车零部件异常检测方法、系统、电子设备及存储介质
US11156532B2 (en) * 2017-05-31 2021-10-26 Shinwa Controls Co., Ltd Status monitoring apparatus, status monitoring method, and program
CN113792715A (zh) * 2021-11-16 2021-12-14 山东金钟科技集团股份有限公司 粮仓害虫监测预警方法、装置、设备及存储介质
CN113844674A (zh) * 2020-12-30 2021-12-28 上海飞机制造有限公司 紧固件安装状态检测方法、装置、电子设备及介质
CN114049323A (zh) * 2021-11-15 2022-02-15 武汉易思达科技有限公司 一种基于双目视觉的厢式车形变实时测量方法及系统
CN114067148A (zh) * 2021-11-15 2022-02-18 江苏集萃智能光电系统研究所有限公司 基于铁路列车故障检测的图像到实物空间对应匹配方法
CN114241047A (zh) * 2021-12-02 2022-03-25 广西大学 一种用于园林绿篱修剪的双目视觉识别和定位方法
CN114648669A (zh) * 2022-05-20 2022-06-21 华中科技大学 一种域自适应双目视差计算的动车组故障检测方法及系统
CN114704438A (zh) * 2022-06-02 2022-07-05 深圳众城卓越科技有限公司 风电机组故障监控方法及装置
EP4047550A1 (en) * 2021-02-23 2022-08-24 Hitachi, Ltd. Train inspection system
CN115026839A (zh) * 2022-07-29 2022-09-09 西南交通大学 一种轨道车辆转向架斜楔支撑机器人摇枕孔定位方法
CN115966018A (zh) * 2022-12-26 2023-04-14 北京思维实创科技有限公司 基于机器视觉的异常监测方法及相关装置
CN116843686A (zh) * 2023-08-31 2023-10-03 成都考拉悠然科技有限公司 接触网定位器线夹螺母缺陷的检测方法及装置
CN117576107A (zh) * 2024-01-17 2024-02-20 中数智科(杭州)科技有限公司 基于图像匹配和配准的列车底部零部件的松动检测方法
CN114067148B (zh) * 2021-11-15 2024-07-05 江苏集萃智能光电系统研究所有限公司 基于铁路列车故障检测的图像到实物空间对应匹配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102332089A (zh) * 2011-06-23 2012-01-25 北京康拓红外技术股份有限公司 一种基于人工神经网络的铁路货车闸瓦钎窜出故障识别方法
EP2448267A1 (en) * 2010-10-29 2012-05-02 Siemens Aktiengesellschaft Track-side fault detection system and method and apparatus for implementing the same
CN104408477A (zh) * 2014-12-18 2015-03-11 成都铁安科技有限责任公司 一种关键部位的故障检测方法及装置
CN105241679A (zh) * 2015-09-21 2016-01-13 中国铁道科学研究院电子计算技术研究所 一种动车组隐蔽故障检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2448267A1 (en) * 2010-10-29 2012-05-02 Siemens Aktiengesellschaft Track-side fault detection system and method and apparatus for implementing the same
CN102332089A (zh) * 2011-06-23 2012-01-25 北京康拓红外技术股份有限公司 一种基于人工神经网络的铁路货车闸瓦钎窜出故障识别方法
CN104408477A (zh) * 2014-12-18 2015-03-11 成都铁安科技有限责任公司 一种关键部位的故障检测方法及装置
CN105241679A (zh) * 2015-09-21 2016-01-13 中国铁道科学研究院电子计算技术研究所 一种动车组隐蔽故障检测方法

Cited By (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145849A (zh) * 2017-04-27 2017-09-08 努比亚技术有限公司 一种目标物体状态检测方法、移动终端以及计算机可读存储介质
CN107145849B (zh) * 2017-04-27 2021-03-26 努比亚技术有限公司 目标物体状态检测方法、移动终端及计算机可读存储介质
CN108932739A (zh) * 2017-05-24 2018-12-04 优信拍（北京）信息科技有限公司 一种车辆图片智能美化的方法及装置
US11156532B2 (en) * 2017-05-31 2021-10-26 Shinwa Controls Co., Ltd Status monitoring apparatus, status monitoring method, and program
CN110959289A (zh) * 2017-06-02 2020-04-03 爱信精机株式会社 周边监控装置
CN110959289B (zh) * 2017-06-02 2021-04-20 爱信精机株式会社 周边监控装置
CN107672618B (zh) * 2017-09-25 2019-08-20 中车株洲电力机车有限公司 一种车钩小半径曲线自动连挂控制系统及车辆救援方法
CN107672618A (zh) * 2017-09-25 2018-02-09 中车株洲电力机车有限公司 一种车钩小半径曲线自动连挂控制系统及车辆救援方法
TWI693558B (zh) * 2017-09-29 2020-05-11 香港商阿里巴巴集團服務有限公司 提升車輛定損圖像識別結果的方法、裝置及伺服器
US10719863B2 (en) 2017-09-29 2020-07-21 Alibaba Group Holding Limited Method and apparatus for improving vehicle loss assessment image identification result, and server
CN107703146A (zh) * 2017-09-30 2018-02-16 北京得华机器人技术研究院有限公司 一种汽车零配件视觉检测系统及方法
CN107976319A (zh) * 2017-10-13 2018-05-01 上海眼控科技股份有限公司 一种轿车加装脚踏板的智能检测系统及方法
CN107976319B (zh) * 2017-10-13 2020-06-16 上海眼控科技股份有限公司 一种轿车加装脚踏板的智能检测系统及方法
CN107749063A (zh) * 2017-10-17 2018-03-02 厦门理工学院 一种基于边缘提取与傅里叶变换的零件快速定位方法
CN107749063B (zh) * 2017-10-17 2019-09-24 厦门理工学院 一种基于边缘提取与傅里叶变换的零件快速定位方法
CN107944392A (zh) * 2017-11-25 2018-04-20 周晓风 一种适用于小区卡口高密度人群监控视频目标标注的有效方法
CN108154169A (zh) * 2017-12-11 2018-06-12 北京小米移动软件有限公司 图像处理方法及装置
CN108257216A (zh) * 2017-12-12 2018-07-06 北京克科技有限公司 一种在虚拟现实环境构建实体模型的方法、装置及设备
CN108133188A (zh) * 2017-12-22 2018-06-08 武汉理工大学 一种基于运动历史图像与卷积神经网络的行为识别方法
CN108133188B (zh) * 2017-12-22 2021-12-21 武汉理工大学 一种基于运动历史图像与卷积神经网络的行为识别方法
CN108337416A (zh) * 2018-03-09 2018-07-27 天津港(集团)有限公司 一种用于周界防护的自动升降识别装置及识别方法
CN108510574B (zh) * 2018-04-17 2021-09-28 福州大学 一种基于样例学习并增强视觉质量的3d图像裁剪方法
CN108596886A (zh) * 2018-04-17 2018-09-28 福州大学 基于深度学习的航拍图像绝缘子掉片故障快速检测方法
CN108510574A (zh) * 2018-04-17 2018-09-07 福州大学 一种基于样例学习并增强视觉质量的3d图像裁剪方法
CN108357517A (zh) * 2018-05-21 2018-08-03 北京京天威科技发展有限公司 动车组列车运行故障信息检测方法和系统
CN108717711B (zh) * 2018-05-23 2021-09-24 深圳市阡丘越科技有限公司 一种轨道交通故障图像分析方法、装置和系统
CN108717711A (zh) * 2018-05-23 2018-10-30 深圳市阡丘越科技有限公司 一种轨道交通故障图像分析方法、装置和系统
CN110634123A (zh) * 2018-06-05 2019-12-31 成都精工华耀科技有限公司 一种采用深度图像的轨道扣件紧固件松动检测方法
CN108871760A (zh) * 2018-06-07 2018-11-23 广东石油化工学院 一种高效齿轮故障模式识别方法
CN109242835A (zh) * 2018-08-24 2019-01-18 深圳市兆泰云智能科技有限公司 基于人工智能的车底缺陷检测方法、装置、设备及系统
CN109242035A (zh) * 2018-09-25 2019-01-18 北京华开领航科技有限责任公司 车底故障检测装置及方法
CN111127541B (zh) * 2018-10-12 2024-02-27 杭州海康威视数字技术股份有限公司 车辆尺寸的确定方法、装置及存储介质
CN111127541A (zh) * 2018-10-12 2020-05-08 杭州海康威视数字技术股份有限公司 车辆尺寸的确定方法、装置及存储介质
CN109167998A (zh) * 2018-11-19 2019-01-08 深兰科技（上海）有限公司 检测相机状态的方法及装置、电子设备、存储介质
CN109727428A (zh) * 2019-01-10 2019-05-07 成都国铁电气设备有限公司 基于深度学习的重复报警抑制方法
CN109727428B (zh) * 2019-01-10 2021-06-08 成都国铁电气设备有限公司 基于深度学习的重复报警抑制方法
CN109949269A (zh) * 2019-01-24 2019-06-28 武汉华目信息技术有限责任公司 一种铁路列车防尘帽破损故障的检测方法及装置
CN109903252A (zh) * 2019-02-27 2019-06-18 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109903252B (zh) * 2019-02-27 2021-06-18 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110009006A (zh) * 2019-03-15 2019-07-12 华中科技大学 一种基于机器学习的点目标检测方法及系统
CN110006422A (zh) * 2019-03-28 2019-07-12 浙江吉利汽车研究院有限公司 一种设备安全运行参数的确定方法、装置、设备和存储介质
CN110006422B (zh) * 2019-03-28 2021-03-09 浙江吉利汽车研究院有限公司 一种设备安全运行参数的确定方法、装置、设备和存储介质
CN110097536A (zh) * 2019-04-10 2019-08-06 东南大学 基于深度学习和霍夫变换的六边形螺栓松动检测方法
CN110264440A (zh) * 2019-05-10 2019-09-20 湖南大学 基于深度学习的大规模列车移位故障检测方法及系统
CN110264440B (zh) * 2019-05-10 2023-01-17 湖南大学 基于深度学习的大规模列车移位故障检测方法及系统
CN110110131B (zh) * 2019-05-23 2021-04-13 北京航空航天大学 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法
CN110110131A (zh) * 2019-05-23 2019-08-09 北京航空航天大学 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法
CN110246132A (zh) * 2019-06-23 2019-09-17 中车青岛四方车辆研究所有限公司 轨道车辆螺栓松动检测方法及系统
CN110428688B (zh) * 2019-08-09 2021-03-02 郑州铁路职业技术学院 一种基于虚拟场景的轨道交通车辆检修仿真实训系统
CN110428688A (zh) * 2019-08-09 2019-11-08 郑州铁路职业技术学院 一种基于虚拟场景的轨道交通车辆检修仿真实训系统
CN110470248A (zh) * 2019-08-27 2019-11-19 上海航天控制技术研究所 一种车钩对中自动测量方法
CN110533099B (zh) * 2019-08-28 2024-01-09 上海零眸智能科技有限公司 一种基于深度学习的多摄像头采集图像的物品识别方法
CN110533099A (zh) * 2019-08-28 2019-12-03 上海零眸智能科技有限公司 一种基于深度学习的多摄像头采集图像的物品识别方法
US20210097436A1 (en) * 2019-10-01 2021-04-01 Kelley S. Weiland Automated system for generating properly tagged training data for and verifying the efficacy of artificial intelligence algorithms
CN111079628A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 地板破损故障图像识别方法
CN111080606A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车下拉杆脱落故障图像识别方法
CN111079822A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法
CN111091541A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁组装螺母丢失故障识别方法
CN111080600A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车弹簧托板上开口销的故障识别方法
CN111102920A (zh) * 2019-12-18 2020-05-05 佛山科学技术学院 一种基于增强现实的机械组件质检方法及系统
CN111325851B (zh) * 2020-02-28 2023-05-05 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN111325851A (zh) * 2020-02-28 2020-06-23 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN112393603A (zh) * 2020-03-26 2021-02-23 中冶长天国际工程有限责任公司 一种台车车轮故障检测方法、装置、设备及介质
CN111539915A (zh) * 2020-04-03 2020-08-14 哈尔滨市科佳通用机电股份有限公司 火车机车机感吊架故障检测方法
CN111815560B (zh) * 2020-06-09 2024-04-05 理光软件研究所（北京）有限公司 光伏电站故障检测方法、装置、便携检测设备及存储介质
CN111815560A (zh) * 2020-06-09 2020-10-23 理光软件研究所（北京）有限公司 光伏电站故障检测方法、装置、便携检测设备及存储介质
CN111862029A (zh) * 2020-07-15 2020-10-30 哈尔滨市科佳通用机电股份有限公司 一种铁路动车组垂向减震器螺栓部件故障检测方法
CN112085723B (zh) * 2020-09-09 2021-04-02 哈尔滨市科佳通用机电股份有限公司 一种货车摇枕弹簧窜出故障自动检测方法
CN112085723A (zh) * 2020-09-09 2020-12-15 哈尔滨市科佳通用机电股份有限公司 一种货车摇枕弹簧窜出故障自动检测方法
CN112150453A (zh) * 2020-09-30 2020-12-29 哈尔滨市科佳通用机电股份有限公司 一种铁路货车摇枕弹簧折断故障自动检测方法
CN112330600A (zh) * 2020-10-15 2021-02-05 哈尔滨市科佳通用机电股份有限公司 基于图像处理的车端链接线断裂的故障识别方法
CN112233095B (zh) * 2020-10-16 2021-05-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车锁紧板装置多种故障形态检测方法
CN112233095A (zh) * 2020-10-16 2021-01-15 哈尔滨市科佳通用机电股份有限公司 一种铁路货车锁紧板装置多种故障形态检测方法
CN112129778A (zh) * 2020-10-19 2020-12-25 北京市地铁运营有限公司 基于计算机视觉的轨道列车维护检测系统
CN112129779A (zh) * 2020-10-19 2020-12-25 北京市地铁运营有限公司 基于计算机视觉的轨道列车维护检测方法
CN112129777A (zh) * 2020-10-19 2020-12-25 北京市地铁运营有限公司 基于计算机视觉的轨道列车维护检测装置
CN112508034A (zh) * 2020-11-03 2021-03-16 精英数智科技股份有限公司 货运列车故障检测方法、装置及电子设备
CN112508034B (zh) * 2020-11-03 2024-04-30 精英数智科技股份有限公司 货运列车故障检测方法、装置及电子设备
CN112488995A (zh) * 2020-11-18 2021-03-12 成都主导软件技术有限公司 列车自动化检修的智能判伤方法及系统
CN112488995B (zh) * 2020-11-18 2023-12-12 成都主导软件技术有限公司 列车自动化检修的智能判伤方法及系统
CN112465793A (zh) * 2020-12-04 2021-03-09 郑州捷安高科股份有限公司 列车故障检测方法、装置、设备及存储介质
CN112669262A (zh) * 2020-12-08 2021-04-16 上海交通大学 一种电机轮轴震动异常检测与预测系统与方法
CN112669262B (zh) * 2020-12-08 2023-01-06 上海交通大学 一种电机轮轴震动异常检测与预测系统与方法
CN112661013A (zh) * 2020-12-17 2021-04-16 北京航天自动控制研究所 一种自动化码头桥吊遗留锁垫检测方法及系统
CN112699794A (zh) * 2020-12-29 2021-04-23 哈尔滨市科佳通用机电股份有限公司 一种铁路货车轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法
CN113844674A (zh) * 2020-12-30 2021-12-28 上海飞机制造有限公司 紧固件安装状态检测方法、装置、电子设备及介质
CN113844674B (zh) * 2020-12-30 2024-03-01 上海飞机制造有限公司 紧固件安装状态检测方法、装置、电子设备及介质
CN112950493A (zh) * 2021-02-01 2021-06-11 中车青岛四方车辆研究所有限公司 轨道列车线阵相机图像畸变校正方法及装置
CN112801987A (zh) * 2021-02-01 2021-05-14 上海悦易网络信息技术有限公司 一种手机零件异常检测方法及设备
CN112883842A (zh) * 2021-02-02 2021-06-01 四川省机械研究设计院(集团)有限公司 基于零件与光源相互匹配的摩托车发动机装配方法与系统
CN112883842B (zh) * 2021-02-02 2022-12-16 四川省机械研究设计院(集团)有限公司 基于零件与光源相互匹配的摩托车发动机装配方法与系统
JP7470864B2 (ja) 2021-02-23 2024-04-18 株式会社日立製作所 列車検査システム、および方法
EP4047550A1 (en) * 2021-02-23 2022-08-24 Hitachi, Ltd. Train inspection system
WO2022179786A1 (en) * 2021-02-23 2022-09-01 Hitachi, Ltd. Train inspection system
CN112967252B (zh) * 2021-03-05 2021-10-22 哈尔滨市科佳通用机电股份有限公司 一种轨道车辆机感吊架组装螺栓丢失检测方法
CN112967252A (zh) * 2021-03-05 2021-06-15 哈尔滨市科佳通用机电股份有限公司 一种轨道车辆机感吊架组装螺栓丢失检测方法
CN112906677A (zh) * 2021-05-06 2021-06-04 南京信息工程大学 基于改进型ssd网络的行人目标检测与重识别方法
CN112991347A (zh) * 2021-05-20 2021-06-18 西南交通大学 一种基于三维的列车螺栓松动检测方法
CN113393442A (zh) * 2021-06-17 2021-09-14 东云睿连(武汉)计算技术有限公司 列车零部件异常检测方法、系统、电子设备及存储介质
CN114067148A (zh) * 2021-11-15 2022-02-18 江苏集萃智能光电系统研究所有限公司 基于铁路列车故障检测的图像到实物空间对应匹配方法
CN114067148B (zh) * 2021-11-15 2024-07-05 江苏集萃智能光电系统研究所有限公司 基于铁路列车故障检测的图像到实物空间对应匹配方法
CN114049323B (zh) * 2021-11-15 2024-04-30 武汉易思达科技有限公司 一种基于双目视觉的厢式车形变实时测量方法
CN114049323A (zh) * 2021-11-15 2022-02-15 武汉易思达科技有限公司 一种基于双目视觉的厢式车形变实时测量方法及系统
CN113792715A (zh) * 2021-11-16 2021-12-14 山东金钟科技集团股份有限公司 粮仓害虫监测预警方法、装置、设备及存储介质
CN114241047A (zh) * 2021-12-02 2022-03-25 广西大学 一种用于园林绿篱修剪的双目视觉识别和定位方法
CN114648669A (zh) * 2022-05-20 2022-06-21 华中科技大学 一种域自适应双目视差计算的动车组故障检测方法及系统
CN114704438B (zh) * 2022-06-02 2022-09-20 深圳众城卓越科技有限公司 风电机组故障监控方法及装置
CN114704438A (zh) * 2022-06-02 2022-07-05 深圳众城卓越科技有限公司 风电机组故障监控方法及装置
CN115026839B (zh) * 2022-07-29 2024-04-26 西南交通大学 一种轨道车辆转向架斜楔支撑机器人摇枕孔定位方法
CN115026839A (zh) * 2022-07-29 2022-09-09 西南交通大学 一种轨道车辆转向架斜楔支撑机器人摇枕孔定位方法
CN115966018A (zh) * 2022-12-26 2023-04-14 北京思维实创科技有限公司 基于机器视觉的异常监测方法及相关装置
CN116843686B (zh) * 2023-08-31 2023-11-10 成都考拉悠然科技有限公司 接触网定位器线夹螺母缺陷的检测方法及装置
CN116843686A (zh) * 2023-08-31 2023-10-03 成都考拉悠然科技有限公司 接触网定位器线夹螺母缺陷的检测方法及装置
CN117576107A (zh) * 2024-01-17 2024-02-20 中数智科(杭州)科技有限公司 基于图像匹配和配准的列车底部零部件的松动检测方法
CN117576107B (zh) * 2024-01-17 2024-03-29 中数智科(杭州)科技有限公司 基于图像匹配和配准的列车底部零部件的松动检测方法

Also Published As

Publication number Publication date
CN106600581B (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN106600581B (zh) 一种基于双目立体视觉的列车运行故障自动检测系统及方法
CN104935879B (zh) 用于活动顺序验证的基于视觉的监视系统
CN106226050B (zh) 一种基于卷积神经网络的tfds故障图像自动识别方法
CN105975941B (zh) 一种基于深度学习的多方向车型检测识别系统
CN109767427A (zh) 列车轨道扣件缺陷的检测方法
CN105574550B (zh) 一种车辆识别方法及装置
CN104036239B (zh) 基于特征融合和聚类的高分辨sar图像快速舰船检测方法
CN108288271A (zh) 基于三维残差网络的图像检测系统及方法
CN105260744B (zh) 一种货运列车钩尾扁销部位故障的自动在线诊断方法及系统
CN110175576A (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN107633267A (zh) 一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法
CN107085696A (zh) 一种基于卡口图像的车辆定位及型号识别方法
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN108352072A (zh) 物体跟踪方法、物体跟踪装置以及程序
CN106407931A (zh) 一种新型深度卷积神经网络运动车辆检测方法
CN109344905A (zh) 一种基于集成学习的输电设备自动故障识别方法
CN108986073A (zh) 一种基于改进的Faster R-CNN框架的CT图像肺结节检测方法
CN106204618A (zh) 基于机器视觉的产品包装表面缺陷检测与分类方法
CN109324604A (zh) 一种基于多源信号的智能列车综合故障分析方法
CN110120036A (zh) 一种多尺度的轮胎x光病疵检测方法
CN109255317A (zh) 一种基于双网络的航拍图像差异检测方法
CN103034870B (zh) 基于特征的船舶快速识别方法
CN107273852A (zh) 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法
CN109948690A (zh) 一种基于深度学习和结构信息的高铁场景感知方法
CN106548131A (zh) 一种基于行人检测的施工人员安全帽实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant