CN112101211A - 一种基于目标检测和双目测距的人员与吊臂位置计算方法 - Google Patents
一种基于目标检测和双目测距的人员与吊臂位置计算方法 Download PDFInfo
- Publication number
- CN112101211A CN112101211A CN202010966353.2A CN202010966353A CN112101211A CN 112101211 A CN112101211 A CN 112101211A CN 202010966353 A CN202010966353 A CN 202010966353A CN 112101211 A CN112101211 A CN 112101211A
- Authority
- CN
- China
- Prior art keywords
- suspension arm
- personnel
- target
- calculating
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000725 suspension Substances 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 238000004364 calculation method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000013519 translation Methods 0.000 claims abstract description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000005034 decoration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的一种基于目标检测和双目测距的人员与吊臂位置计算方法，包括：步骤一、训练工作人员和吊臂的识别模块；步骤二、对左右摄像头进行立体标定，计算本征矩阵和基本矩阵，获取两个相机之间的旋转矩阵与平移向量；步骤三、使用已标定的摄像机采集双目图像数据；步骤四、对步骤三获取的图像进行预处理；步骤五、使用步骤一训练出的识别模块进行工作人员与吊臂的识别；步骤六、对步骤五识别出的人员与吊臂，获取目标的视差值，进行三维重建获取目标位置。本发明将目标识别算法和双目测距技术相结合，无需使用额外的测距设备，仅通过对标定后相机采集的图像数据进行简单处理即可获取工作人员和吊臂的位置，从而有效降低安全事故发生概率。
Description
技术领域
本发明属于图像处理、目标检测、机器视觉领域，涉及一种双目测距技术，具体涉及一种基于目标检测和双目测距的人员与吊臂位置计算方法。
背景技术
起重机是一种应用十分广泛的特殊机械设备。随着工业园区生产规模的不断扩大，重量大、变幅大、起升高的起重机的使用也愈加频繁，随之而来的是起重机引起的安全事故日益增多。若能监控工作人员与起重机吊臂的位置信息，就能预测事故的发生并提前发出警报，降低事故造成的人员伤亡与财产损失。
超声波测距是一种原理简单、成本较低的测距方法。单片机发出超声波，通过不断检测超声波遇到障碍物反射回的信息来计算时间差，然后求出距离。但其精准度受外界环境影响大，且衰减较快，但是目前只适合短距离测距。
视觉测距主要包含单目测距和双目测距两种。单目测距是先通过图像匹配进行目标识别，在通过目标在图像中的大小来估算距离。双目测距模拟人眼的结构，通过视差来确定距离。
现有技术亟待改进。
发明内容
本发明的目的是为了解决背景技术中的问题，提供了一种基于目标检测和双目测距的人员与吊臂位置计算方法。本发明提供的一种基于目标检测和双目测距的人员与吊臂位置计算方法，无需额外的测距设备，仅通过对标定后相机采集的图像数据进行简单处理即可获取工作人员和吊臂的位置，从而有效降低安全事故发生概率。
本发明的上述技术目的，是通过以下技术方案实现的：
一种基于目标检测和双目测距的人员与吊臂位置计算方法，包括以下步骤：
步骤一、训练工作人员和吊臂的识别模块；
步骤二、对左右摄像头进行立体标定，计算本征矩阵和基本矩阵，获取两个相机之间的旋转矩阵与平移向量；
步骤三、使用已标定的摄像机采集双目图像数据；
步骤四、对步骤三获取的图像进行预处理操作；
步骤五、使用步骤一训练出的识别模块进行工作人员与吊臂的识别；
步骤六、对步骤五识别出的人员与吊臂，获取目标的视差值，进行三维重建获取目标位置。
进一步的，所述步骤一中，训练工作人员和吊臂的识别模块所采用的算法为MaskR-CNN算法。
进一步的，所述步骤四中预处理操作包括光线补偿、灰度变化、高斯平滑处理、对比度增强、二值化，同时使用Bouguet算法进行极线矫正。
进一步的，所述步骤六中使用SGBM立体匹配算法获取目标的视差值，进行三维重建获取目标位置。
与现有技术相比，本发明具有以下优点和有益效果：
本发明的方案将深度学习目标检测算法与双目测距技术相结合，无需额外的测距设备，仅通过对标定后相机采集的图像数据进行简单处理即可获取工作人员和吊臂的位置，实现更好的目标定位，从而有效降低安全事故发生概率。
附图说明
为了更清楚地说明本发明或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单的介绍，显而易见地，下面描述的仅仅是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明的一种基于目标检测和双目测距的人员与吊臂位置计算方法总体设计流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，基于目标检测和双目测距的人员与吊臂位置计算方法的过程主要包括以下部分：训练识别模块、立体标定、双目拍照、预处理、极线校正、目标检测和立体匹配。下面结合图1，对基于目标检测和双目测距的人员与吊臂位置计算方法的具体流程进行详细说明：
步骤一、采集施工现场工作人员与吊臂的图像数据，人工清洗并进行数据标定后使用Mask R-CNN目标检测算法训练识别模块；
步骤二、根据摄像头的参数对左右摄像头进行立体标定，计算本征矩阵和基本矩阵，本征矩阵包含物理空间中两个相机的旋转与平移信息，基本矩阵除了包含相同的信息外还包含两个摄像机的内参数，由此获取两个相机之间的旋转矩阵与平移向量；
步骤三、使用已标定的摄像机采集双目图像数据；
步骤四、对步骤三获取的图像进行预处理操作，包括光线补偿、灰度变化、高斯平滑处理、对比度增强、二值化，同时使用Bouguet算法进行极线矫正，将两个相机的像平面重新映射，使图像行完全对准到前向平行；
步骤五、以处理后的图像作为输入，使用步骤一训练出的识别模块识别工作人员与吊臂图像区域；
步骤六、对步骤五识别出的人员与吊臂，使用SGBM立体匹配算法进行立体匹配，通过选取每个像素点的视差，组成一个视差图，设置一个和视差图相关的全局能量函数，使这个能量函数最小化，从而每个像素的最优视差，再通过重投影矩阵将视差图转换到深度映射。
本发明的基于目标检测和双目测距的人员与吊臂位置计算方法，将深度学习方法与双目测距技术相结合，可以对标定后相机采集的图像数据进行预处理和极线矫正，能够识别图像中的工作人员和吊臂目标并计算其空间信息，有效降低安全事故发生概率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种基于目标检测和双目测距的人员与吊臂位置计算方法，其特征在于，包括以下步骤：
步骤一、训练工作人员和吊臂的识别模块；
步骤二、对左右摄像头进行立体标定，计算本征矩阵和基本矩阵，获取两个相机之间的旋转矩阵与平移向量；
步骤三、使用已标定的摄像机采集双目图像数据；
步骤四、对步骤三获取的图像进行预处理操作；
步骤五、使用步骤一训练出的识别模块进行工作人员与吊臂的识别；
步骤六、对步骤五识别出的人员与吊臂，获取目标的视差值，进行三维重建获取目标位置。
2.根据权利要求1所述的一种基于目标检测和双目测距的人员与吊臂位置计算方法，其特征在于，所述步骤一中，训练工作人员和吊臂的识别模块所采用的算法为Mask R-CNN算法。
3.根据权利要求2所述的一种基于目标检测和双目测距的人员与吊臂位置计算方法，其特征在于，所述步骤四中预处理操作包括光线补偿、灰度变化、高斯平滑处理、对比度增强、二值化，同时使用Bouguet算法进行极线矫正。
4.根据权利要求2所述的一种基于目标检测和双目测距的人员与吊臂位置计算方法，其特征在于，所述步骤六中使用SGBM立体匹配算法获取目标的视差值，进行三维重建获取目标位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010966353.2A CN112101211A (zh) | 2020-09-15 | 2020-09-15 | 一种基于目标检测和双目测距的人员与吊臂位置计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010966353.2A CN112101211A (zh) | 2020-09-15 | 2020-09-15 | 一种基于目标检测和双目测距的人员与吊臂位置计算方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112101211A true CN112101211A (zh) | 2020-12-18 |
Family
ID=73758738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010966353.2A Pending CN112101211A (zh) | 2020-09-15 | 2020-09-15 | 一种基于目标检测和双目测距的人员与吊臂位置计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112101211A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990310A (zh) * | 2021-03-12 | 2021-06-18 | 国网智能科技股份有限公司 | 服务于电力机器人的人工智能系统及方法 |
| CN117163836A (zh) * | 2023-09-04 | 2023-12-05 | 国网山东省电力公司聊城市茌平区供电公司 | 一种保持起重机械与带电线路安全距离的监控方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102175222A (zh) * | 2011-03-04 | 2011-09-07 | 南开大学 | 基于立体视觉的吊车避障系统 |
| CN108335331A (zh) * | 2018-01-31 | 2018-07-27 | 华中科技大学 | 一种钢卷双目视觉定位方法及设备 |
| CN110349172A (zh) * | 2019-06-28 | 2019-10-18 | 华南理工大学 | 基于图像处理和双目立体测距的输电线路防外破预警方法 |
| CN110543824A (zh) * | 2019-08-01 | 2019-12-06 | 江苏濠汉信息技术有限公司 | 基于双目视觉的施工安全判断方法 |
| CN111461079A (zh) * | 2020-05-18 | 2020-07-28 | 江苏电力信息技术有限公司 | 一种基于双目图像的吊臂下人员检测方法 |
-
2020
- 2020-09-15 CN CN202010966353.2A patent/CN112101211A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102175222A (zh) * | 2011-03-04 | 2011-09-07 | 南开大学 | 基于立体视觉的吊车避障系统 |
| CN108335331A (zh) * | 2018-01-31 | 2018-07-27 | 华中科技大学 | 一种钢卷双目视觉定位方法及设备 |
| CN110349172A (zh) * | 2019-06-28 | 2019-10-18 | 华南理工大学 | 基于图像处理和双目立体测距的输电线路防外破预警方法 |
| CN110543824A (zh) * | 2019-08-01 | 2019-12-06 | 江苏濠汉信息技术有限公司 | 基于双目视觉的施工安全判断方法 |
| CN111461079A (zh) * | 2020-05-18 | 2020-07-28 | 江苏电力信息技术有限公司 | 一种基于双目图像的吊臂下人员检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 黄青丹;何彬彬;宋浩永;饶锐;赵宝玉;王国库;: "基于双目立体视觉的目标空间坐标计算及姿态估计", 华南师范大学学报(自然科学版), no. 02, 15 April 2020 (2020-04-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990310A (zh) * | 2021-03-12 | 2021-06-18 | 国网智能科技股份有限公司 | 服务于电力机器人的人工智能系统及方法 |
| CN112990310B (zh) * | 2021-03-12 | 2023-09-05 | 国网智能科技股份有限公司 | 服务于电力机器人的人工智能系统及方法 |
| CN117163836A (zh) * | 2023-09-04 | 2023-12-05 | 国网山东省电力公司聊城市茌平区供电公司 | 一种保持起重机械与带电线路安全距离的监控方法 |
| CN117163836B (zh) * | 2023-09-04 | 2024-04-05 | 国网山东省电力公司聊城市茌平区供电公司 | 一种保持起重机械与带电线路安全距离的监控方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112085003B (zh) | 公共场所异常行为自动识别方法及装置、摄像机设备 | |
| CN104501720B (zh) | 非接触式物体大小及距离图像测量仪 | |
| CN109829908B (zh) | 基于双目影像的电力线下方地物安全距离检测方法及设备 | |
| CN112686938B (zh) | 基于双目图像测距的输电线路净距计算与安全告警方法 | |
| CN110766785B (zh) | 一种地下管道实时定位与三维重建装置及方法 | |
| CN102788572B (zh) | 一种工程机械吊钩姿态的测量方法、装置及系统 | |
| CN109931909B (zh) | 一种基于无人机的海上风机塔柱状态巡检方法和装置 | |
| CN104036488A (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
| CN112101211A (zh) | 一种基于目标检测和双目测距的人员与吊臂位置计算方法 | |
| CN102798350A (zh) | 一种臂架挠度的测量方法、装置及系统 | |
| CN110675449B (zh) | 一种基于双目相机的离岸流检测方法 | |
| CN111127540B (zh) | 一种三维虚拟空间自动测距方法及系统 | |
| CN104063863B (zh) | 用于河道监控的下俯式双目视觉系统及图像处理方法 | |
| CN112967345B (zh) | 鱼眼相机的外参标定方法、装置以及系统 | |
| Du et al. | Visual measurement system for roadheaders pose detection in mines | |
| CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN115546235B (zh) | 一种基于图像分割的水位识别方法、系统及存储介质 | |
| CN109947093A (zh) | 一种基于双目视觉的智能避障算法 | |
| CN106504287A (zh) | 基于模板的单目视觉目标空间定位系统 | |
| CN110702343B (zh) | 一种基于立体视觉的挠度测量系统及方法 | |
| CN106651957A (zh) | 基于模板的单目视觉目标空间定位方法 | |
| CN113269832B (zh) | 面向极端天气环境的电力作业增强现实导航系统和方法 | |
| CN112183264B (zh) | 一种基于空间关系学习的吊车吊臂下有人逗留的判断方法 | |
| CN102542563A (zh) | 一种移动机器人前向单目视觉的建模方法 | |
| Chen et al. | Measurement of displacement and top beam attitude angle of advanced hydraulic support based on visual detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |