CN112967257B - 一种基于视角转换的地铁螺帽松动检测方法 - Google Patents

一种基于视角转换的地铁螺帽松动检测方法 Download PDF

Info

Publication number
CN112967257B
CN112967257B CN202110262975.1A CN202110262975A CN112967257B CN 112967257 B CN112967257 B CN 112967257B CN 202110262975 A CN202110262975 A CN 202110262975A CN 112967257 B CN112967257 B CN 112967257B
Authority
CN
China
Prior art keywords
nut
visual angle
camera
point cloud
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110262975.1A
Other languages
English (en)
Other versions
CN112967257A (zh
Inventor
吴海腾
陈昱臻
玉正英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shenhao Technology Co Ltd
Original Assignee
Hangzhou Shenhao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shenhao Technology Co Ltd filed Critical Hangzhou Shenhao Technology Co Ltd
Priority to CN202110262975.1A priority Critical patent/CN112967257B/zh
Publication of CN112967257A publication Critical patent/CN112967257A/zh
Application granted granted Critical
Publication of CN112967257B publication Critical patent/CN112967257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Abstract

本发明公开了一种基于视角转换的地铁螺帽松动检测方法，该方法包含如下步骤：1)将采集的螺帽深度图映射为点云；2)对螺帽的点云进行着色；3)根据螺帽和相机位置的先验信息进行视角转换；4)提取视角转换后螺帽图像中的标注线；5)根据标注线的形态进行松动检测。本发明针对地铁底盘下方的巡检机器人在拍摄螺母图像时，由于角度的局限性给检测带来的问题。具体地，本发明针对地铁底盘巡检机器人工作环境狭窄、带摄像头的机械臂伸缩受限的特殊性，解决了由于拍摄的螺帽角度不佳所导致的识别率低的问题。采用本发明的方法，不仅降低了人工检测的占比，提升自动化水平，而且构建了更安全可靠、智能化的地铁作业环境。

Description

一种基于视角转换的地铁螺帽松动检测方法
技术领域
本发明涉及工业检测技术领域，具体涉及一种基于视角转换的地铁螺帽松动检测方法。
背景技术
地铁作为我国中大型城市重要的交通工具，具有速度快，运力大等特点。由于其客运的属性，其安全问题是最为首要的问题。因此需要对地铁进行定期的巡检，保证底盘的螺帽不发生松动。传统的巡检方式主要依靠人力，通过工人进入底盘沟渠，在狭小黑暗的沟渠内对螺帽进行逐一的排查。这种排查方式效率低，工人工作环境差，容易因疲劳导致漏检。
近年来出现了一些自动巡检的方式，可以根据螺帽上的标注线来自动判断螺帽的松动情况。但地铁底盘的螺帽分布比较杂乱，地沟空间复杂狭小，有些位置难以拍摄，很多时候甚至只能获得侧面的图像。这使得这些算法识别率不高，对拍摄图像角度变化的鲁棒性差，难以落地。因此，如何使用一种检测方法来适应地铁底盘狭小空间下，数据采集能力差的特殊性，成为了一个关键的问题。
有鉴于此，本申请提出一种基于视角转换的地铁螺帽松动检测方法。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于视角转换的地铁螺帽松动检测方法，解决了拍摄角度的局限性。使得设备无论从何种角度拍摄螺帽图像，只要其包含较为完整的标注线，就能进行正常的检测。
为了解决上述技术问题，采用如下技术方案：
一种基于视角转换的地铁螺帽松动检测方法，其特征在于包括以下步骤：
(a)点云映射：使用相机采集螺帽深度图，并将所述螺帽深度图映射为点云；
(b)点云着色：使用相机采集与所述螺帽深度图匹配的螺帽彩色图，并对所述螺帽彩色图进行点云着色，得到螺帽的彩色点云；
(c)视角转换：根据螺帽和相机位置的先验信息进行视角转换；
(d)标注线提取：提取视角转换后螺帽图像中的标注线；
(e)松动检测：根据标注线的形态进行松动检测。
进一步，在步骤(a)中，使用的相机为深度相机，在步骤(b)中，使用的相机为彩色相机。
进一步，所述深度相机和彩色相机进行联合标定，使得通过深度相机和彩色相机采集的两个图像数据能够分别反映同一场景下的两种信息。
进一步，在步骤(a)中，通过相机内参作为约束条件将所述螺帽深度图映射为点云数据，其公式为
Figure GDA0003873642380000021
其中x为点云坐标系的X轴坐标，y为点云坐标系的Y轴坐标，z为点云坐标系的Z轴坐标，x'为图像坐标系的X轴坐标，y'为图像坐标系的Y轴坐标，fx为相机在图像系统坐标的X轴焦距，fy为相机在图像系统坐标的Y轴焦距。
进一步，在步骤(c)中，通过所述视角转换的具体步骤如下:
(1)首先对所需要检测的螺帽标定一个序号，确保摄像头拍摄时按序号进行拍摄；
(2)接着确定好机械臂携带的摄像头针对每一个螺帽是否能拍摄到其俯视视角；对于无法拍摄到俯视视角的螺帽，记录下当前拍摄位置和角度，以及能够拍摄到该螺帽俯视视角的位置和角度；
(3)对每一个螺帽进行记录后建立一张数据表，当拍摄一个新的螺帽并生成其彩色点云后；根据数据表中当前拍摄点和角度，将点云中的观察点重新设置到俯视图需要的位置和角度；
(4)截取该视角的点云图像，即可获得俯视视角的螺帽图像。
进一步，在步骤(d)中，所述标注线提取的具体步骤如下:对视角转换后的俯视视角的螺帽图像，通过HSV颜色空间的转换，将用于判断螺帽是否松动的红色的标注线提取出来。
进一步，在步骤(e)中，所述松动检测的具体步骤如下:对提取出来的俯视视角的标注线，通过细化或者拟合的方式，变为直线，最后根据多条直线的斜率是否在一个固定范围内判断螺帽是否松动。
由于采用上述技术方案，具有以下有益效果：
本发明为一种基于视角转换的地铁螺帽松动检测方法，解决了拍摄角度的局限性。使得设备无论从何种角度拍摄螺帽图像，只要其包含较为完整的标注线，就能进行正常的检测。本发明直接解决了拍摄图像角度不佳带来的问题。对于空间狭小、摄像头和机械臂无法拍到正面图像的情况，能生成其俯视图，配合简单的传统算法，就能达到较好的识别效果。
附图说明
下面结合附图对本发明作进一步说明：
图1为本发明中一种基于视角转换的地铁螺帽松动检测方法的流程示意图；
图2为本发明中彩色相机拍摄的螺帽彩色图；
图3为本发明中深度相机拍摄的螺帽深度图；
图4为本发明中螺帽深度图映射，并使用彩色图上色后的点云图；
图5为本发明中螺帽点云根据数据库调整为俯视视角的结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1至图5所示，一种基于视角转换的地铁螺帽松动检测方法，包括以下步骤：
(a)点云映射：使用深度相机采集螺帽深度图，并将所述螺帽深度图映射为点云(参看图3)；
具体的，所述深度相机和彩色相机进行联合标定，使得通过深度相机和彩色相机采集的两个图像数据能够分别反映同一场景下的两种信息。
在步骤(a)中，通过相机内参作为约束条件将所述螺帽深度图映射为点云数据，其公式为
Figure GDA0003873642380000041
其中x为点云坐标系的X轴坐标，y为点云坐标系的Y轴坐标，z为点云坐标系的Z轴坐标，x'为图像坐标系的X轴坐标，y'为图像坐标系的Y轴坐标，fx为相机在图像系统坐标的X轴焦距，fy为相机在图像系统坐标的Y轴焦距。
(b)点云着色：参看图2，使用彩色相机采集与所述螺帽深度图匹配的螺帽彩色图。具体的，彩色相机与深度相机联合标定后，对同一场景进行拍摄。完成上述步骤后，对所述螺帽彩色图进行点云着色，得到螺帽的彩色点云，使其成为带颜色的点云(参看图4)；
(c)视角转换：参看图5，根据螺帽和相机位置的先验信息进行视角转换，使用生成的彩色点云，进行视角的转换，生成便于识别的俯视图。
具体的，在步骤(c)中，通过所述视角转换的具体步骤如下:
(1)首先对所需要检测的螺帽标定一个序号，确保摄像头拍摄时按序号进行拍摄；
(2)接着确定好机械臂携带的摄像头针对每一个螺帽是否能拍摄到其俯视视角；对于无法拍摄到俯视视角的螺帽，记录下当前拍摄位置和角度，以及能够拍摄到该螺帽俯视视角的位置和角度；因此机械臂无需拍摄到螺帽的俯视视角，只需要从任意角度拍摄到较为完整的标注线即可识别。
(3)对每一个螺帽进行记录后建立一张数据表，当拍摄一个新的螺帽并生成其彩色点云后；根据数据表中当前拍摄点和角度，将点云中的观察点重新设置到俯视图需要的位置和角度；
(4)截取该视角的点云图像，即可获得俯视视角的螺帽图像。另外，本发明关心的是标注线在俯视视角下能否在一条直线上不发生偏离。因此，对于图像的撕裂情况不在我们的考虑范围之内，由此极大地降低了了图像处理的难度。
(d)标注线提取：提取视角转换后螺帽图像中的标注线。
具体地，在步骤(d)中，所述标注线提取的具体步骤如下:对视角转换后的俯视视角的螺帽图像，通过HSV颜色空间的转换，将用于判断螺帽是否松动的红色的标注线提取出来。
(e)松动检测：根据标注线的形态进行松动检测。
具体地，在步骤(e)中，所述松动检测的具体步骤如下:对提取出来的俯视视角的标注线，通过细化或者拟合的方式，变为直线，最后根据多条直线的斜率是否在一个固定范围内判断螺帽是否松动。
本发明针对地铁底盘下方的巡检机器人在拍摄螺母图像时，由于角度的局限性给检测带来的问题。具体地，本发明针对地铁底盘巡检机器人工作环境狭窄、带摄像头的机械臂伸缩受限的特殊性，解决了由于拍摄的螺帽角度不佳所导致的识别率低的问题。采用本发明的方法，不仅降低了人工检测的占比，提升自动化水平，而且构建了更安全可靠、智能化的地铁作业环境。
以上仅为本发明的具体实施例，但本发明的技术特征并不局限于此。任何以本发明为基础，为解决基本相同的技术问题，实现基本相同的技术效果，所作出地简单变化、等同替换或者修饰等，皆涵盖于本发明的保护范围之中。

Claims (6)

1.一种基于视角转换的地铁螺帽松动检测方法，其特征在于包括以下步骤：
(a)点云映射：使用相机采集螺帽深度图，并将所述螺帽深度图映射为点云；
(b)点云着色：使用相机采集与所述螺帽深度图匹配的螺帽彩色图，并对所述螺帽彩色图进行点云着色，得到螺帽的彩色点云；
(c)视角转换：根据螺帽和相机位置的先验信息进行视角转换；
(d)标注线提取：提取视角转换后螺帽图像中的标注线；
(e)松动检测：根据标注线的形态进行松动检测；
其中，在步骤(c)中，通过所述视角转换的具体步骤如下:
(1)首先对所需要检测的螺帽标定一个序号，确保摄像头拍摄时按序号进行拍摄；
(2)接着确定好机械臂携带的摄像头针对每一个螺帽是否能拍摄到其俯视视角；对于无法拍摄到俯视视角的螺帽，记录下当前拍摄位置和角度，以及能够拍摄到该螺帽俯视视角的位置和角度；
(3)对每一个螺帽进行记录后建立一张数据表，当拍摄一个新的螺帽并生成其彩色点云后；根据数据表中当前拍摄点和角度，将点云中的观察点重新设置到俯视图需要的位置和角度；
(4)截取该视角的点云图像，即可获得俯视视角的螺帽图像。
2.根据权利要求1所述的一种基于视角转换的地铁螺帽松动检测方法，其特征在于：在步骤(a)中，使用的相机为深度相机，在步骤(b)中，使用的相机为彩色相机。
3.根据权利要求2所述的一种基于视角转换的地铁螺帽松动检测方法，其特征在于：所述深度相机和彩色相机进行联合标定，使得通过深度相机和彩色相机采集的两个图像数据能够分别反映同一场景下的两种信息。
4.根据权利要求2或3所述的一种基于视角转换的地铁螺帽松动检测方法，其特征在于：在步骤(a)中，通过相机内参作为约束条件将所述螺帽深度图映射为点云数据，其公式为
Figure FDA0003873642370000021
其中x为点云坐标系的X轴坐标，y为点云坐标系的Y轴坐标，z为点云坐标系的Z轴坐标，x'为图像坐标系的X轴坐标，y'为图像坐标系的Y轴坐标，fx为相机在图像系统坐标的X轴焦距，fy为相机在图像系统坐标的Y轴焦距。
5.根据权利要求1所述的一种基于视角转换的地铁螺帽松动检测方法，其特征在于：在步骤(d)中，所述标注线提取的具体步骤如下:对视角转换后的俯视视角的螺帽图像，通过HSV颜色空间的转换，将用于判断螺帽是否松动的红色的标注线提取出来。
6.根据权利要求1所述的一种基于视角转换的地铁螺帽松动检测方法，其特征在于：在步骤(e)中，所述松动检测的具体步骤如下:对提取出来的俯视视角的标注线，通过细化或者拟合的方式，变为直线，最后根据多条直线的斜率是否在一个固定范围内判断螺帽是否松动。
CN202110262975.1A 2021-03-11 2021-03-11 一种基于视角转换的地铁螺帽松动检测方法 Active CN112967257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110262975.1A CN112967257B (zh) 2021-03-11 2021-03-11 一种基于视角转换的地铁螺帽松动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110262975.1A CN112967257B (zh) 2021-03-11 2021-03-11 一种基于视角转换的地铁螺帽松动检测方法

Publications (2)

Publication Number Publication Date
CN112967257A CN112967257A (zh) 2021-06-15
CN112967257B true CN112967257B (zh) 2023-01-06

Family

ID=76277173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110262975.1A Active CN112967257B (zh) 2021-03-11 2021-03-11 一种基于视角转换的地铁螺帽松动检测方法

Country Status (1)

Country Link
CN (1) CN112967257B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113639685B (zh) * 2021-08-10 2023-10-03 杭州申昊科技股份有限公司 位移检测方法、装置、设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10759043B2 (en) * 2017-10-20 2020-09-01 Randy Denton Wood-I floor beam square
WO2019183475A1 (en) * 2018-03-23 2019-09-26 University Of Kansas Vision-based fastener loosening detection
CN110688944B (zh) * 2019-09-26 2022-06-21 西南交通大学 一种基于图像识别和机器学习的螺栓松弛监测方法
CN112365461A (zh) * 2020-11-06 2021-02-12 北京格灵深瞳信息技术有限公司 紧固件松动识别方法、系统、终端及存储介质
CN112381791A (zh) * 2020-11-13 2021-02-19 北京图知天下科技有限责任公司 一种基于3d点云的螺栓松动检测方法
CN112419297A (zh) * 2020-12-04 2021-02-26 中冶建筑研究总院（深圳）有限公司 一种螺栓松动检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112967257A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN109544679B (zh) 管道内壁的三维重建方法
WO2020108088A1 (zh) 确定风力发电机组的塔架净空的方法和装置
CN109801302A (zh) 一种基于双目视觉的高压输电线路异物检测方法
CN105574897A (zh) 一种基于视觉检测的农作物生长情况监测物联网系统
CN108764234B (zh) 一种基于巡检机器人的液位仪表读数识别方法
CN106500593A (zh) 航空电连接器插针位置偏差检测方法
CN110617772A (zh) 一种非接触式线径测量装置及方法
CN113469178B (zh) 一种基于深度学习的电力表计识别方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN113379712A (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及系统
CN112967257B (zh) 一种基于视角转换的地铁螺帽松动检测方法
CN111862193A (zh) 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
CN111127445A (zh) 基于深度学习的配网线路高温区域检测方法与系统
CN112907506A (zh) 一种基于水尺颜色信息的不定长水尺水位检测方法、装置及存储介质
Guo et al. Detecting and positioning of wind turbine blade tips for uav-based automatic inspection
CN112802004A (zh) 便携式输电线路和杆塔健康智能视频检测装置
CN111077904A (zh) 基于单线激光雷达多旋翼无人机精细化自主巡检方法及装置
Fang et al. A framework of power pylon detection for UAV-based power line inspection
CN107767366A (zh) 一种输电线路拟合方法及装置
CN112489018A (zh) 一种电力线智能巡线方法及巡线
CN110610474A (zh) 一种基于红外图像的太阳能板缺陷实时检测方法
CN115115595B (zh) 一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法
CN115131360A (zh) 一种基于3d点云语义分割的道路坑洞检测方法及装置
AU2021106502A4 (en) A Blasting Pile Measurement And Statistics Method For Open-pit Mines Based On UAV Technology
CN115234845A (zh) 基于投影模型的油气管道内壁缺陷图像可视化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant