CN115857040A - 一种机车车顶异物动态视觉检测装置及方法 - Google Patents
一种机车车顶异物动态视觉检测装置及方法 Download PDFInfo
- Publication number
- CN115857040A CN115857040A CN202211711128.XA CN202211711128A CN115857040A CN 115857040 A CN115857040 A CN 115857040A CN 202211711128 A CN202211711128 A CN 202211711128A CN 115857040 A CN115857040 A CN 115857040A
- Authority
- CN
- China
- Prior art keywords
- image
- locomotive
- roof
- images
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供了一种机车车顶异物动态视觉检测装置及方法，不仅可实现高精度、高效率检测，且可满足多类型机车、多样式异物的检测需求；其包括数据采集模块、图像拼接模块、异物识别模块、控制模块，其中，所述数据采集模块，用于采集机车的行车信号数据和车顶图像数据；所述图像拼接模块，与所述数据采集模块连接，用于根据采集的数据进行图像特征提取，并实现图像之间的拼接；所述异物识别模块，与所述图像采集模块连接，用于根据生成的拼接图像数据实现所述机车车顶异物识别；所述控制模块，与所述数据采集模块、异物识别模块均相连接，用于接收检测数据，并进行数据整合，以确定所述机车车顶检测区域是否有异物。
Description
技术领域
本发明涉及轨道交通安全检测中的光电检测技术领域，具体为一种机车车顶异物动态视觉检测装置及方法。
背景技术
电力机车作为铁路运输的重要拖动装置，具有行驶里程长、适应运行环境恶劣、维护复杂等特点，其中对于车顶区域以及高压供电部件的检查，这是确保列车安全高效运行的关键环节。长期以来，车顶异物检查多采用人工登顶作业，但存在效率低、精度差、安全隐患高等不足，严重制约了当前机车车顶异物检测的精度与效率，而实现机车车顶异物的高精度动态视觉检测，对保证机车安全检测的质量与提升检测效率均具有重要意义。
目前，随着光电检测技术的快速发展，以其非接触、高精度、大范围等优点被广泛应用在轨道交通安全检测中，可有效提高检测效率与精度。但由于机车车顶较高、异物样式多样、检测环境复杂等特点，传统光电测量装置已无法满足多类型机车、多样式异物的检测需求。
发明内容
针对上述问题，本发明提供了一种机车车顶异物动态视觉检测装置及方法，不仅可实现高精度、高效率检测，且可满足多类型机车、多样式异物的检测需求。
其技术方案是这样的：一种机车车顶异物动态视觉检测装置，其特征在于：其包括数据采集模块、图像拼接模块、异物识别模块、控制模块，其中，
所述数据采集模块，用于采集机车的行车信号数据和车顶图像数据；
所述图像拼接模块，与所述数据采集模块连接，用于根据采集的数据进行图像特征提取，并实现图像之间的拼接；
所述异物识别模块，与所述图像采集模块连接，用于根据生成的拼接图像数据实现所述机车车顶异物识别；
所述控制模块，与所述数据采集模块、异物识别模块均相连接，用于接收检测数据，并进行数据整合，以确定所述机车车顶检测区域是否有异物。
进一步地，所述数据采集模块包括若干组传感器组件，所述传感器组件布置于所述机车车顶上方的检测棚上，每组所述传感器组件均包括敞口状的壳体，所述壳体内装有线阵相机和激光投射器，所述线阵相机和激光投射器均连接于所述控制模块，所述线阵相机和激光投射器之间共线式安装，以使得所述线阵相机成像与所述激光投射器的激光照射区域重合；
进一步地，所述数据采集模块还包括用于感应所述机车车轮并产生磁钢信号的磁钢、用于检测磁钢信号的磁钢信号检测模块，所述磁钢信号检测模块连接于所述控制模块，所述磁钢布置于轨道上；
进一步地，所述线阵相机的分辨率不低于2048像素，帧频不低于80kHZ；
一种机车车顶异物动态视觉检测方法，其特征在于：其包括：
在检测到磁钢信号时，传感器组件工作以进行所述机车车顶图像数据采集；
将采集的图像数据进行图像特征提取，并将多个图像的重叠部分进行无缝拼接，随后对拼接后的图像进行分块以生成若干所述机车车顶多个部位等长度的图像；
基于生成的所述机车车顶多部位图像，采用生成对抗网络对所述机车车顶图像中的异物进行检测识别，以确定所述机车车顶检测区域是否有异物。
进一步地，进行图像拼接还包括以下步骤：
S1.1、采集多组线阵图像后，采用sift算法对图像进行特征点提取；
S1.2、通过计算描述子对提取的特征点进行匹配，得到图像特征点匹配点对；
S1.3、采用RANSAC方法获得两张待匹配图像之间的单应映射矩阵H，实现待匹配图像之间的变换；
S1.4、应用单应映射矩阵H对两张待匹配图像进行变换与融合，得到最终拼接后的图像；
S1.5、对拼接后的图像进行透视成像校正，并将图像校正为正视状态，随后根据所述机车各部位的空间分布，将校正后的图像划分为所述机车车顶多个部位等长度的图像；
进一步地，对所述机车车顶异物检测还包括以下步骤：
S2.1、设定生成对抗网络模型并进行训练，将正常的所述机车车顶图像输入生成对抗网络模型中，使得生成对抗网络模型生成的图像与正常图像具有相同分布；
S2.2、通过梯度反传法，迭代更新生成对抗网络模型中生成器的输入变量z，直至生成器生成的图像和待检测图像之间的相似度达到最大为止；
S2.3、对比待检测图像与生成图像，通过判断待检测图像和生成图像之间的像素级差异，即通过将差异值与设定阈值比较，如果小于设定阈值，则判定不存在异常，出现差异的图像区域没有异物，否则判定为图像中存在异常，即出现差异的图像区域存在异物；
S2.4、在获得判定存在异常的图像后，根据异物在图像中的预先标记坐标，获得异物在检测区域的位置定位；
进一步地，像素级差异值的计算公式为：
其中，μx、μy分别为生成图像和输入图像的平均值；
σx、σy分别为生成图像和输入图像的标准差；
μxy为生成图像和输入图像的协方差；
C1、C2为防止公式除0的常数项；
一种计算机设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如一种机车车顶异物动态视觉检测方法。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如一种机车车顶异物动态视觉检测方法。
本发明的有益效果是，其无需大量检测样本，仅需要采集机车过车后的正样本，即通过图像采集、图像拼接、异物识别，可实现对全天候、全天时、多车型的机车车顶图像信息自动化采集以对机车车顶高清成像，从而实现对机车车顶异物进行准确检测识别，进而获得机车车顶异物的位置，同时，对车型及环境要求较低，具有一定通用性，可适用于货车、客车、动车、地铁列车车顶异物检测领域，具有较好的使用推广价值。
附图说明
图1是本发明的结构框图；
图2是本发明的流程图；
图3是本发明中传感器组件的装配结构示意图；
图4是本发明中传感器组件的结构示意图；
图5是本发明中传感器组件的光线测量原理图；
图6是本发明中磁钢的安装示意图。
具体实施方式
如图1～图6所示，本发明一种机车车顶异物动态视觉检测装置，其包括数据采集模块、图像拼接模块、异物识别模块、控制模块，其中，
数据采集模块，用于采集机车的行车信号数据和车顶图像数据；
图像拼接模块，与数据采集模块连接，用于根据采集的数据进行图像特征提取，并实现图像之间的拼接；
异物识别模块，与图像采集模块连接，用于根据生成的拼接图像数据实现机车车顶异物识别；
控制模块，与数据采集模块、异物识别模块均相连接，用于接收检测数据，并进行数据整合，以确定机车车顶检测区域9是否有异物8。
数据采集模块包括2组传感器组件7，传感器组件7布置于机车1车顶上方的检测棚2上两端，每组传感器组件均包括敞口状的壳体3，壳体3内装有线阵相机4和激光投射器5，线阵相机4和激光投射器5均连接于控制模块，线阵相机4和激光投射器5之间共线式安装，以使得线阵相机4成像与激光投射器5的激光照射区域重合；数据采集模块还包括用于感应机车车轮并产生磁钢信号的磁钢6、用于检测磁钢信号的磁钢信号检测模块，磁钢信号检测模块连接于控制模块，磁钢6布置于轨道上；线阵相机4的分辨率不低于2048像素，帧频不低于80kHZ，具有高感光性与高灵敏性，辅以窄带滤光片可实现对近红外激光的成像。激光投射器主要用于照明，具有出光均匀、稳定，可长时间连续工作，满足了户外全天候、全天时成像要求。
图5中，箭头的方向表示物体的运动方向。
一种机车车顶异物动态视觉检测方法，其包括：
首先，机车来临、启动数据采集：
由开始端的磁钢触发并采集机车来信号，当机车经过检测区域9时，由检测区域9位置处的磁钢测量机车运行速度，同步根据设定的图像采集分辨率，以不同的触发频率触发线阵相机采集图像，当机车过车完毕后，停止图像数据采集并完成数据整合与必要数据上传；
其次，采集多组线阵高清图像后，将采集的图像数据进行图像特征提取，并将多个图像的重叠部分进行无缝拼接，随后对拼接后的图像进行分块以生成若干机车车顶多个部位等长度的图像；
图像拼接是将同一场景的多个重叠图像拼接成较大的图像的一种方法，在医学成像、计算机视觉、卫星数据、军事目标自动识别等领域应用广泛。图像拼接的输出是两个输入图像的并集，是将两张有共同拍摄区域的图像无缝拼接在一起。这种应用可应用于车站的动态检测、商城的人流检测、十字路口的交通检测等，得到全景图像，减轻工作人员“眼”的压力，得到广域检测的目的；
具体地，进行图像拼接还包括以下步骤：
S1.1、采集多组线阵图像后，采用sift算法对图像进行特征点高密度提取，具有抗视角变化、旋转及尺度的影响的优点；
S1.2、通过计算描述子对提取的特征点进行匹配，得到有效的图像特征点匹配点对；
S1.3、基于步骤S1.2，采用RANSAC方法获得两张待匹配图像之间的单应映射矩阵H，实现待匹配图像之间的变换；
S1.4、应用单应矩阵对两张待匹配图像进行变换与融合，得到最终拼接后的图像；
S1.5、对拼接后的图像进行透视成像校正，并将图像校正为正视状态，随后根据机车各部位的空间分布，将校正后的图像划分为机车车顶多个部位等长度的图像；
最后，基于生成的机车车顶多部位图像，采用生成对抗网络对机车车顶图像中的异物进行检测识别，以确定机车车顶检测区域9是否有异物8；
具体地，对机车车顶异物检测还包括以下步骤：
S2.1、设定生成对抗网络(cGAN)模型并进行训练，将正常的机车车顶图像输入生成对抗网络模型中，使得生成对抗网络模型生成的图像与正常图像具有相同分布；正常的机车车顶图像也就是上述校正后的被划分为机车车顶多个部位等长度的图像；
上述训练过程通过生成对抗网络(cGAN)模型中生成器和判别器的两个子模型共同实现，其中判别器的作用是尽量区分出哪些图像是模型生成的，哪些是真实地；生成器的作用是尽量生成逼真的图片，让判别器无法区分；
S2.2、通过模型训练后，使生成器生成出和待分析图像尽可能相似的图片，随后通过梯度反传法，迭代更新生成对抗网络模型中生成器的输入变量z，直至生成器生成的图像和待检测图像之间的相似度达到最大为止；
S2.3、对比待检测图像与生成图像，通过判断待检测图像和生成图像之间的像素级差异，即通过将差异值与设定阈值比较，如果小于设定阈值，则判定不存在异常，即待检测图像中出现差异的图像区域没有异物，否则判定为图像中存在异常，即待检测图像中出现差异的图像区域存在异物；
像素级差异值的计算公式为：
其中，μx、μy分别为生成图像和输入图像的平均值；
σx、σy分别为生成图像和输入图像的标准差；
μxy为生成图像和输入图像的协方差；
C1、C2为防止公式除0的常数项；
S2.4、在获得判定存在异常的待检测图像后，根据异物在待检测图像中的预先标记坐标，获得异物在图像区域的位置定位，便于列检工人快速处理。
通过上述异物检测，能够将车顶异常图像进行准确识别，该方法不需要大量负样本，仅需要采集过车后的正样本即可，同时对车型及环境要求较低，具有一定通用性，可推广至货车、客车、动车、地铁列车车顶异物检测领域。
一种计算机设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如一种机车车顶异物动态视觉检测方法。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如一种机车车顶异物动态视觉检测方法。
本发明中，通过图像采集、图像拼接、智能识别，辅以线阵高清相机图像采集等，可实现对机车车顶高清成像，经过图像匹配与校正去除透视成像变形，采用非监督异常检测算法，实现了全天候、全天时、多车型、多类型车顶异物的自动化、智能化检测，相关检测结果可及时发送给列检人员，以指导接车检修与维护。
本发明具有以下优点：
1、通过线阵相机4和激光投射器5组合式安装布局模式，保障机车车顶多角度的同步探测；并辅以多组磁钢信号检测完成图像数据采集，可实现对全天候、全天时、多车型的机车车顶图像信息自动化采集；
2、提出了基于多组线阵相机图像匹配与拼接方法，通过采集多组线阵相机扫描图像，通过提取重合区域图像特征信息，计算出两组图像变换矩阵，进而实现两组图像的精确匹配与融合，可根据机车各区域特点进行重新分割，为后续自动化识别提供基础；
3、采用生成对抗网络训练模式，通过建模正常样本，来间接地实现异常检测，实现多路图像数据中异常检测，进而得出车顶异物的位置；
4、该检测装置及方法具有一定通用性，可通过设计不同的传感器尺寸、搭配不同传感器外形布局，以及采用不同的控制模块及流程，可实现不同场景下的异物检测需求。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种机车车顶异物动态视觉检测装置，其特征在于：其包括数据采集模块、图像拼接模块、异物识别模块、控制模块，其中，
所述数据采集模块，用于采集机车的行车信号数据和车顶图像数据；
所述图像拼接模块，与所述数据采集模块连接，用于根据采集的数据进行图像特征提取，并实现图像之间的拼接；
所述异物识别模块，与所述图像采集模块连接，用于根据生成的拼接图像数据实现所述机车车顶异物识别；
所述控制模块，与所述数据采集模块、异物识别模块均相连接，用于接收检测数据，并进行数据整合，以确定所述机车车顶检测区域是否有异物。
2.根据权利要求1所述的一种机车车顶异物动态视觉检测装置，其特征在于：所述数据采集模块包括若干组传感器组件，所述传感器组件布置于所述机车车顶上方的检测棚上，每组所述传感器组件均包括敞口状的壳体，所述壳体内装有线阵相机和激光投射器，所述线阵相机和激光投射器均连接于所述控制模块，所述线阵相机和激光投射器之间共线式安装，以使得所述线阵相机成像与所述激光投射器的激光照射区域重合。
3.根据权利要求1所述的一种机车车顶异物动态视觉检测装置，其特征在于：所述数据采集模块还包括用于感应所述机车车轮并产生磁钢信号的磁钢、用于检测磁钢信号的磁钢信号检测模块，所述磁钢信号检测模块连接于所述控制模块，所述磁钢布置于轨道上。
4.根据权利要求2所述的一种机车车顶异物动态视觉检测装置，其特征在于：所述线阵相机的分辨率不低于2048像素，帧频不低于80kHZ。
5.一种机车车顶异物动态视觉检测方法，其特征在于：其包括如权利要求1～4任一所述的一种机车车顶异物动态视觉检测装置，所述检测方法还包括：
在检测到磁钢信号时，传感器组件工作以进行所述机车车顶图像数据采集；
将采集的图像数据进行图像特征提取，并将多个图像的重叠部分进行无缝拼接，随后对拼接后的图像进行分块以生成若干所述机车车顶多个部位等长度的图像；
基于生成的所述机车车顶多部位图像，采用生成对抗网络对所述机车车顶图像中的异物进行检测识别，以确定所述机车车顶检测区域是否有异物。
6.根据权利要求5所述的一种机车车顶异物动态视觉检测方法，其特征在于：进行图像拼接还包括以下步骤：
S1.1、采集多组线阵图像后，采用sift算法对图像进行特征点提取；
S1.2、通过计算描述子对提取的特征点进行匹配，得到图像特征点匹配点对；
S1.3、采用RANSAC方法获得两张待匹配图像之间的单应映射矩阵H，实现待匹配图像之间的变换；
S1.4、应用单应映射矩阵H对两张待匹配图像进行变换与融合，得到最终拼接后的图像；
S1.5、对拼接后的图像进行透视成像校正，并将图像校正为正视状态，随后根据所述机车各部位的空间分布，将校正后的图像划分为所述机车车顶多个部位等长度的图像。
7.根据权利要求5所述的一种机车车顶异物动态视觉检测方法，其特征在于：对所述机车车顶异物检测还包括以下步骤：
S2.1、设定生成对抗网络模型并进行训练，将正常的所述机车车顶图像输入生成对抗网络模型中，使得生成对抗网络模型生成的图像与正常图像具有相同分布；
S2.2、通过梯度反传法，迭代更新生成对抗网络模型中生成器的输入变量z，直至生成器生成的图像和待检测图像之间的相似度达到最大为止；
S2.3、对比待检测图像与生成图像，通过判断待检测图像和生成图像之间的像素级差异，即通过将差异值与设定阈值比较，如果小于设定阈值，则判定不存在异常，出现差异的图像区域没有异物，否则判定为图像中存在异常，即出现差异的图像区域存在异物；
S2.4、在获得判定存在异常的图像后，根据异物在图像中的预先标记坐标，获得异物在检测区域的位置定位。
8.根据权利要求7所述的一种机车车顶异物动态视觉检测方法，其特征在于：像素级差异值的计算公式为：
其中，μx、μy分别为生成图像和输入图像的平均值；
σx、σy分别为生成图像和输入图像的标准差；
μxy为生成图像和输入图像的协方差；
C1、C2为防止公式除0的常数项。
9.一种计算机设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求5～8任一所述的一种机车车顶异物动态视觉检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求5～8任一所述的一种机车车顶异物动态视觉检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211711128.XA CN115857040A (zh) | 2022-12-29 | 2022-12-29 | 一种机车车顶异物动态视觉检测装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211711128.XA CN115857040A (zh) | 2022-12-29 | 2022-12-29 | 一种机车车顶异物动态视觉检测装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115857040A true CN115857040A (zh) | 2023-03-28 |
Family
ID=85656013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211711128.XA Pending CN115857040A (zh) | 2022-12-29 | 2022-12-29 | 一种机车车顶异物动态视觉检测装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115857040A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116866501A (zh) * | 2023-09-04 | 2023-10-10 | 天亿纵横智能科技(天津)有限公司 | 一种用于动车底部检测的车厢底部大图图像合成系统 |
-
2022
- 2022-12-29 CN CN202211711128.XA patent/CN115857040A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116866501A (zh) * | 2023-09-04 | 2023-10-10 | 天亿纵横智能科技(天津)有限公司 | 一种用于动车底部检测的车厢底部大图图像合成系统 |
| CN116866501B (zh) * | 2023-09-04 | 2023-11-14 | 天亿纵横智能科技(天津)有限公司 | 一种用于动车底部检测的车厢底部大图图像合成系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A review of applications of visual inspection technology based on image processing in the railway industry | |
| CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
| CN105674880B (zh) | 基于双目原理的接触网几何参数测量方法及系统 | |
| JP6904614B2 (ja) | 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム | |
| CN109242035B (zh) | 车底故障检测装置及方法 | |
| CN105243381B (zh) | 基于3d信息的故障自动识别检测系统及方法 | |
| CN105203552A (zh) | 一种360°踏面图像检测系统及其检测方法 | |
| CN107703513B (zh) | 一种基于图像处理的非接触式接触网相对位置检测方法 | |
| CN103837087B (zh) | 基于主动形状模型的受电弓自动检测方法 | |
| CN103065519A (zh) | 坡道定点停车和起步检测系统及其检测方法 | |
| CN105158257A (zh) | 滑板测量方法及装置 | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| CN111768417B (zh) | 基于单目视觉3d重建技术的铁路货车超限检测方法 | |
| WO2024037408A1 (zh) | 一种基于图像融合和特征增强的煤矿井下行人检测方法 | |
| CN111080612B (zh) | 一种货车轴承破损检测方法 | |
| CN104506800A (zh) | 一种多方向电警摄像机场景合成及综合监控方法和装置 | |
| CN113011283B (zh) | 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法 | |
| CN107796373A (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
| CN104978746A (zh) | 一种行驶车辆的车身颜色识别方法 | |
| CN113947731A (zh) | 一种基于接触网安全巡检的异物识别方法及系统 | |
| CN117492026B (zh) | 结合激光雷达扫描的铁路货车装载状态检测方法及系统 | |
| CN115857040A (zh) | 一种机车车顶异物动态视觉检测装置及方法 | |
| CN114820474A (zh) | 一种基于三维信息的列车车轮缺陷检测方法 | |
| Zheng et al. | Rail detection based on LSD and the least square curve fitting | |
| Di Stefano et al. | Automatic 2D-3D vision based assessment of the attitude of a train pantograph |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |