CN114445636A - 一种列车底部项点映射方法 - Google Patents

一种列车底部项点映射方法 Download PDF

Info

Publication number
CN114445636A
CN114445636A CN202111585655.6A CN202111585655A CN114445636A CN 114445636 A CN114445636 A CN 114445636A CN 202111585655 A CN202111585655 A CN 202111585655A CN 114445636 A CN114445636 A CN 114445636A
Authority
CN
China
Prior art keywords
item
image
point
mapping
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111585655.6A
Other languages
English (en)
Inventor
林贤煊
周思杭
杜强
杨轩
孙雪峰
谢震宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshu Zhike Hangzhou Technology Co ltd
Original Assignee
Zhongshu Zhike Hangzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshu Zhike Hangzhou Technology Co ltd filed Critical Zhongshu Zhike Hangzhou Technology Co ltd
Priority to CN202111585655.6A priority Critical patent/CN114445636A/zh
Publication of CN114445636A publication Critical patent/CN114445636A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种列车底部项点映射方法，包括以下步骤：1）特征提取：分别对相机拍摄车体所得的模板图像与待检图像进行SURF特征提取；2）特征匹配：根据所提取的SUFR特征，计算两个特征点间的欧式距离来确定匹配度，确定特征匹配关系；3）仿射变换：根据特征匹配的对应关系，对待检图像进行仿射变换，获得参考模板图像校准后的待检图像；4）项点检测；5）计算映射值；6）确定映射关系。本发明方法能够解决车底巡检图像的项点对应问题，并结合了列车某项点的历史状态与当前状态的差异，更加准确的判断项点的异常情况。

Description

一种列车底部项点映射方法
技术领域
本发明属于工业检测技术领域，具体涉及一种列车底部项点映射方法。
背景技术
城市轨道交通是现代城市交通系统的重要组成部分，车辆运行的安全问题至关重要。随着计算机技术的发展，通过图像采集与识别判断的方式实现车辆巡检技术逐步成熟。日常巡检所需覆盖车体的项点较多，如螺栓是否松动，开关是否移位等。传统安全保障方式是通过人工巡检实现车辆故障排查，操作易受主观因素影响，并且巡检工作需在固定时间窗口期内完成。软硬件技术的应用促进巡检工作程序化，大幅度规避人工巡检的主观影响因素，从而提升检修工作效率以及车辆安全指数。
近年来出现一些车底巡检项点处理策略，并逐步趋向稳定。主要分为两个方向：一方面为独立项点直接判别处理，如通过温度贴的颜色变化判别是否异常。但车底的项点分布复杂，而且随着车辆使用过程中，存在项点被灰尘覆盖的现象导致缺陷检测的效率不理想，标定较难且工作量较大。深度学习算法模型能够解决项点识别问题，一定数据量的积累下，能够小幅度提高的准确率。但车体上项点的状态无法全部准确定义，同时不同场景对检测项点状态标准不一致，因此单项点直接判断无法完全满足巡检要求。另一有效的处理方式是参考历史项点状态进行判别处理，结合人为检查与机器巡检结合的方式作为主流的巡检方式。通过制定参考标准模板，执行不同批次数据的对比分析，实现最终异常缺陷判别。
由于前后不同批次拍摄图像的偏差，导致算法识别所得的项点存在一定位置偏移，使得历史图像检测所得的项点与待检图像检测所得的项点无法根据位置直接对应。进行巡检判断过程中无法充分利用前后图像上的项点关系进行缺陷判别。因此，如何使用一种项点的映射方法，受限于前后图像的偏差，成为一个关键的问题。
有鉴于此，本发明提出一种列车底部项点映射方法，确定历史图于当前图的项点映射关系。
发明内容
针对现有技术中存在的车底巡检图像中模板图像与待检图像之间存在的偏差，导致项点相对位置偏移的问题，提供一种列车底部项点映射方法。
本发明通过以下技术方案加以实现：
所述的一种列车底部项点映射方法，具体包括以下步骤：
1）特征提取：分别对相机拍摄车体所得的模板图像与待检图像进行SURF特征提取；
2）特征匹配：根据步骤1）所提取的SUFR特征，计算两个特征点间的欧式距离来确定匹配度，由此确定特征匹配关系；
3）仿射变换：根据特征匹配的对应关系，对待检图像进行仿射变换，获得参考模板图像校准后的待检图像；
4）项点检测：对模板图像与变换后的待检图像分别进行项点识别检测，获得每个项点在图像中的位置参数ROI为
Figure 100002_DEST_PATH_IMAGE001
与项点类别，最终获得对应图像的项点序列；其中
Figure 930942DEST_PATH_IMAGE002
为项点左上角坐标，
Figure 100002_DEST_PATH_IMAGE003
为项点右下角坐标，
Figure 464692DEST_PATH_IMAGE004
为项点中心点坐标；
5）计算映射值：取待检图像待映射项点与模板图像项点列表中，同类型项点对应计算映射值；
6）确定映射关系：遍历计算同项点类型项点映射值，获得映射值序列中最小值，以此确定项点映射关系，即确定待检图像中某项点与模板图像中对应项点映射对应。
进一步地，步骤1）中，模板图像与待检图像为相同尺度，即为
Figure 100002_DEST_PATH_IMAGE005
，其中图像为二维数据，长为
Figure 119837DEST_PATH_IMAGE006
，宽为
Figure 100002_DEST_PATH_IMAGE007
，红黄蓝3通道。
进一步地，步骤1）中所述相机为二维成像相机，通过机器人设定好图像采集点位，重复进行图像采集。
进一步地，步骤4）中，所述项点为列车图像中的小部件。
进一步地，步骤5）中映射值采用以下方式进行计算：
a）计算项点在图像中模板框与当前框的重合程度，值记为IOU表示，
Figure 346419DEST_PATH_IMAGE008
；
b）分别计算项点中心点偏差、以及项点位置参数ROI长宽比均值；
c）融合项点重合度，项点中心点偏差程度与位置长宽比均值，最终获得映射值，具体描述公式如下：
Figure 100002_DEST_PATH_IMAGE009
，其中
Figure 322465DEST_PATH_IMAGE010
表示为模板检测图像中某项点，
Figure 100002_DEST_PATH_IMAGE011
表示为当前检测图像中的某项点。
本发明提出的项点映射方法主要结合模板图像与待检图像中项点的相对位置关系进行映射的。分别在模板图像与待检图像中进行项点检测，并计算两图像之间的重合程度确定最终的项点映射关系。
本发明方法能够解决车底巡检图像的项点对应问题，并结合了列车某项点的历史状态与当前状态的差异，更加准确的判断项点的异常情况。
附图说明
图1为地铁列车项点示例图像；图中，a为螺栓，b为阀门，c为管夹，d为警示牌；
图2为本发明中检测项点映射方法框架图；
图3为项点映射计算示意图；
图4为本发明中项点检测效果图，左图为模板图，右图为当前图。
具体实施方式
以下结合说明书附图对本发明做进一步详细说明，以便更好地理解本技术方案。
特征提取：分别对相机拍摄车体所得的模板图与当前图进行SURF特征提取。由于相机参数确定的，因此模板图像与待检图像为相同尺度，即为
Figure 145059DEST_PATH_IMAGE005
，其中图像为二维数据，长为
Figure 382005DEST_PATH_IMAGE006
，宽为
Figure 186013DEST_PATH_IMAGE007
，红黄蓝3通道。
所使用的相机为二维成像相机，通过机器人设定好图像采集点位，重复进行图像采集。但由于系统性风险导致相同位置采集图像存在偏差。
特征匹配：根据所提取的SUFR特征，计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好，由此确定特征匹配关系。
仿射变换：根据特征匹配的对应关系，对待检图像进行仿射变换，获得参考模板图像校准后的待检图像。
项点检测：对模板图像与变换后的待检图像分别进行项点识别检测，如识别两图中所有螺栓。获得每个项点在图像中的位置参数ROI为
Figure 180514DEST_PATH_IMAGE001
与项点类别，其中
Figure 102071DEST_PATH_IMAGE002
为项点左上角坐标，
Figure 803311DEST_PATH_IMAGE003
为项点右下角坐标，
Figure 168433DEST_PATH_IMAGE004
为项点中心点坐标。最终获得对应图像的项点序列。
项点具体为列车图像中小部件，如螺栓，开口销等。项点类型示意图如图1所示，涉及巡检过程关注的所有目标区域。项点检测主要通过目前较成熟的目标检测算法实现车体图像项点检测识别
计算映射值：参看图3, 取待检图像待映射项点与模板图像项点列表中，同类型项点对应计算映射值，映射值计算方式如下：
1.计算项点在图像中模板框与当前框的重合程度，值记为IOU表示，
Figure DEST_PATH_IMAGE013
2.分别计算项点中心点偏差、以及项点位置参数ROI长宽比均值；
3. 融合项点重合度，项点中心点偏差程度与位置长宽比均值，最终获得映射值，具体描述公式如下：
Figure 853492DEST_PATH_IMAGE009
。
确定映射关系：遍历计算同项点类型项点映射值，获得映射值序列中最小值，以此确定项点映射关系，即确定待检图像中某螺栓与模板图像中对应螺栓映射对应；其中，
Figure 814626DEST_PATH_IMAGE010
表示为模板检测图像中某项点，
Figure 432689DEST_PATH_IMAGE011
表示为当前检测图像中的某项点。
上述映射方法流程图如图2所示，按照本发明的映射方法对列车个项点检测效果图如图4所示。

Claims (5)

1.一种列车底部项点映射方法，其特征在于，该方法包括以下步骤：
1）特征提取：分别对相机拍摄车体所得的模板图像与待检图像进行SURF特征提取；
2）特征匹配：根据步骤1）所提取的SUFR特征，计算两个特征点间的欧式距离来确定匹配度，由此确定特征匹配关系；
3）仿射变换：根据特征匹配的对应关系，对待检图像进行仿射变换，获得参考模板图像校准后的待检图像；
4）项点检测：对模板图像与变换后的待检图像分别进行项点识别检测，获得每个项点在图像中的位置参数ROI为
Figure DEST_PATH_IMAGE001
与项点类别，最终获得对应图像的项点序列；其中
Figure 118371DEST_PATH_IMAGE002
为项点左上角坐标，
Figure DEST_PATH_IMAGE003
为项点右下角坐标，
Figure 618623DEST_PATH_IMAGE004
为项点中心点坐标；
5）计算映射值：取待检图像待映射项点与模板图像项点列表中，同类型项点对应计算映射值；
6）确定映射关系：遍历计算同项点类型项点映射值，获得映射值序列中最小值，以此确定项点映射关系，即确定待检图像中某项点与模板图像中对应项点映射对应。
2.如权利要求1所述的一种列车底部项点映射方法，其特征在于步骤1）中，模板图像与待检图像为相同尺度，即为
Figure DEST_PATH_IMAGE005
，其中图像为二维数据，长为
Figure 586710DEST_PATH_IMAGE006
，宽为
Figure DEST_PATH_IMAGE007
，红黄蓝3通道。
3.如权利要求1所述的一种列车底部项点映射方法，其特征在于步骤1）中所述相机为二维成像相机，通过机器人设定好图像采集点位，重复进行图像采集。
4.如权利要求1所述的一种列车底部项点映射方法，其特征在于步骤4）中，所述项点为列车图像中的小部件。
5.如权利要求1所述的一种列车底部项点映射方法，其特征在于步骤5）中映射值采用以下方式进行计算：
a）计算项点在图像中模板框与当前框的重合程度，值记为IOU表示，
Figure 918334DEST_PATH_IMAGE008
；
b）分别计算项点中心点偏差、以及项点位置参数ROI长宽比均值；
c）融合项点重合度，项点中心点偏差程度与位置长宽比均值，最终获得映射值，具体描述公式如下：
Figure DEST_PATH_IMAGE009
，其中
Figure 77789DEST_PATH_IMAGE010
表示为模板检测图像中某项点，
Figure DEST_PATH_IMAGE011
表示为当前检测图像中的某项点。
CN202111585655.6A 2021-12-23 2021-12-23 一种列车底部项点映射方法 Pending CN114445636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111585655.6A CN114445636A (zh) 2021-12-23 2021-12-23 一种列车底部项点映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111585655.6A CN114445636A (zh) 2021-12-23 2021-12-23 一种列车底部项点映射方法

Publications (1)

Publication Number Publication Date
CN114445636A true CN114445636A (zh) 2022-05-06

Family

ID=81363164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111585655.6A Pending CN114445636A (zh) 2021-12-23 2021-12-23 一种列车底部项点映射方法

Country Status (1)

Country Link
CN (1) CN114445636A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576107A (zh) * 2024-01-17 2024-02-20 中数智科(杭州)科技有限公司 基于图像匹配和配准的列车底部零部件的松动检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576107A (zh) * 2024-01-17 2024-02-20 中数智科(杭州)科技有限公司 基于图像匹配和配准的列车底部零部件的松动检测方法
CN117576107B (zh) * 2024-01-17 2024-03-29 中数智科(杭州)科技有限公司 基于图像匹配和配准的列车底部零部件的松动检测方法

Similar Documents

Publication Publication Date Title
CN111340797B (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN105528789B (zh) 机器人视觉定位方法和装置、视觉标定方法和装置
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN115359021A (zh) 一种基于激光雷达和相机信息融合的目标定位检测方法
CN115482195B (zh) 一种基于三维点云的列车部件变形检测方法
CN114037703B (zh) 基于二维定位和三维姿态解算的地铁阀门状态检测方法
CN111967360A (zh) 基于车轮的目标车辆姿态检测方法
CN114140439A (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
CN106813569A (zh) 一种基于线结构光的汽车轮胎三维定位方法
CN110567383A (zh) 基于结构森林和亚像素的受电弓磨耗预警系统及检测方法
CN116665126A (zh) 一种机器人巡检部件缺陷检测方法及其应用
CN114445636A (zh) 一种列车底部项点映射方法
CN115331000A (zh) 一种基于orb算法的弓网运行状态检测方法
CN113269729B (zh) 一种基于深度图像对比的装配体多视角检测方法和系统
CN111985436B (zh) 一种基于lsd的车间地标线识别拟合方法
CN111539951B (zh) 一种陶瓷砂轮头轮廓尺寸视觉检测方法
CN103544495A (zh) 一种识别图像类别的方法及系统
CN113029185A (zh) 众包式高精度地图更新中道路标线变化检测方法及系统
CN112561989A (zh) 一种建造场景下吊装对象的识别方法
CN116309371A (zh) 列车零部件异常检测方法、装置及电子设备、介质
CN110322508A (zh) 一种基于计算机视觉的辅助定位方法
KR20190119801A (ko) 차량 헤드라이트 얼라인먼트 보정 및 분류 방법 및 이를 이용한 차량 헤드라이트 불량검사 방법
Hou et al. Surface Defect Detection of Fabric Based on Improved Faster R-CNN
CN110796023B (zh) Agv智能泊车系统交互区停车状态车轮位置的识别方法
CN112800890A (zh) 一种基于表面法向量的道路障碍检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination