CN111461079A - 一种基于双目图像的吊臂下人员检测方法 - Google Patents

一种基于双目图像的吊臂下人员检测方法 Download PDF

Info

Publication number
CN111461079A
CN111461079A CN202010417586.7A CN202010417586A CN111461079A CN 111461079 A CN111461079 A CN 111461079A CN 202010417586 A CN202010417586 A CN 202010417586A CN 111461079 A CN111461079 A CN 111461079A
Authority
CN
China
Prior art keywords
suspension arm
personnel
binocular
coordinates
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010417586.7A
Other languages
English (en)
Inventor
戴华冠
郭晨
杨铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Original Assignee
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co Ltd, Jiangsu Electric Power Information Technology Co Ltd filed Critical State Grid Jiangsu Electric Power Co Ltd
Priority to CN202010417586.7A priority Critical patent/CN111461079A/zh
Publication of CN111461079A publication Critical patent/CN111461079A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种基于双目图像的吊臂下人员检测方法，结合深度神经网络检测吊臂和人物的图像位置坐标；根据相同目标在双目图像上的像素差异，恢复目标的三维坐标点，比对吊臂和人物的三维坐标点，判断人物是否在吊臂下方的区域内。本发明解决了吊臂下人员安全性的检测，减少了二维图片缺少距离尺度的问题，可以通过双目相机和图像识别算法，自动预警吊臂下是否站人，简化实际环境部署，提高安装管理的便利性。

Description

一种基于双目图像的吊臂下人员检测方法
技术领域
本发明应用于对生产作业环境的智能管理领域，涉及一种基于双目图像的吊臂下人员检测方法。
背景技术
在生产安全中，人员安全至关重要，特别是大型机械对人的生命安全会造成巨大的影响。吊车/塔吊等机械设备，由于吊臂的运转，其下方是禁止站人的，一旦违反就有可能产生生命危险。需要在生产管理中，预防出现这种现象，一旦检测到要及时告警，撤离下方人员。
现有方法中，大多利用人员检测信息和划定特殊区域，来比较人员是否进入吊臂下方。这种方法需要实现划定特殊区域，不利于自动完成检测预警功能，有方法提出进一步检测吊臂，来自动划定区域，但仅限于在二维平面上作出预警区域，而无法在三维环境中区分人员距离吊臂的远近。
发明内容
为克服现有技术存在的问题，本发明的目的是提供一种基于双目图像的吊臂下人员检测方法，可以进一步准确检测吊臂下站人的情况。
本发明的目的通过以下技术方案实现：
一种基于双目图像的吊臂下人员检测方法，其特征在于：结合深度神经网络检测吊臂和人物的图像位置坐标；根据相同目标在双目图像上的像素差异，恢复目标的三维坐标点，比对吊臂和人物的三维坐标点，判断人物是否在吊臂下方的区域内。
本发明包含以下几点重要步骤。
首先通过双目摄像机获取目标图片对，利用深度神经网络对图像进行目标检测，找到图像中吊臂和人的位置；
其次根据吊臂和人员的坐标位置在两张图像中的差异(由于双目相机之间存在一个固定距离baseline，同一目标在两个相机中的图像坐标不同)，计算出各自距离摄像机的绝对距离；
第三，已知相机的视场角和吊臂距离相机的绝对距离，通过图像检测到的吊臂长度(像素距离)，换算成实际距离，以此获得吊臂的作业半径。根据吊臂的作业半径自动规划出危险区域的三维坐标；
最后，分析人员的三维位置信息，对比危险区域的三维坐标，如果存在相交，则提示预警。
本发明利用深度神经网络检测吊臂和人物；深度神经网络通过分析图片信息，实时检测出图像中吊臂和人物所在位置，并已矩形框的形式记录。
通过双目图像分别识别吊臂和人物的坐标，形成具有视差的图像对，并据此恢复目标的三维坐标。通过比对人物目标点是否在吊臂下方，发出是否警告的提示。
本发明通过深度神经网络技术识别吊臂和人物，根据其在双目图像对上的坐标，恢复对应的三维坐标值，对比吊臂和人物的三维坐标值，判断人物是否在吊臂下方。以上步骤组合成的整体网络接收单帧视频图像，输出图像中人员的位置，并计算出三维坐标位置，网络的快速处理能力也可以实现视频流的分析。
本发明解决了吊臂下人员安全性的检测，减少了二维图片缺少距离尺度的问题。可以通过双目相机和图像识别算法，自动预警吊臂下是否站人，简化实际环境部署，提高安装管理的便利性。
附图说明
图1本发明中检测流程图。
图2本发明中双目测距原理图。
具体实施方式
一种基于双目图像的吊臂下人员检测方法，结合深度神经网络检测吊臂和人物的图像位置坐标；根据相同目标在双目图像上的像素差异，恢复目标的三维坐标点，比对吊臂和人物的三维坐标点，判断人物是否在吊臂下方的区域内。具体如下：
1.人员/吊臂的检测
在图像目标检测任务中，基于深度学习的方法已被证明优于传统的检测方法。效果较好的目标检测框架有Faster R-CNN，YOLO，Mask R-CNN，RetinaNet等。本方案采用的YOLOv3检测框架保证了算法运行的速度，满足实时性需求，同时也能获得较准确的检测结果。将人员和吊臂作为两类进行目标检测，通过标注的5000张图片进行训练，达到人员和吊臂的图像检测任务。具体流程见图1。
通过检测算法获得吊臂左上坐标(Dlt.x,Dlt.y),右下坐标(Drd.x,Drd.y),人物左上坐标(Rlt.x,Rlt.y)，右下坐标(Rrd.x,Rrd.y)。计算中心点坐标:
D.x＝(Dlt.x+Drd.x)/2
D.y＝(Dlt.y+Drd.y)/2
R.x＝(Rlt.x+Rrd.x)/2
R.y＝(Rlt.y+Rrd.y)/2
2.双目图像目标测距
双目测距原理：
见图2，P是待测物体上的某一点，OR和OT分别是两个相机的光心，点P在两个相机感光器上的成像点分别为P和P’,f为相机焦距，B为两相机中心距(baseline)，Z为我们需要求的距离值。
目标在两个图像中的像素坐标差是(Xr-Xt),设点P到P’的距离为dis，则：
dis＝B–(Xr-Xt)
根据相似三角形原理：
Figure BDA0002495669270000031
可得：
Figure BDA0002495669270000032
从第一步获得吊臂和人员的检测坐标信息，根据以上公式求得实际距离D.z和R.z，具体方法如下：
吊臂实际距离：
Figure BDA0002495669270000033
人的实际距离：
Figure BDA0002495669270000041
其中D和D’,R和R’分别为双目摄像机左右画面中的目标。
3.吊臂长度检测
经过标定后的双目相机，对于空间中的点P(x,y,z),经过左右相机投影后在左右视图上分别形成像点P1(x1,y1),P2(x2,y2),且y1＝y2，f为相机焦距，
(cx,cy)为相机成像中心点，B为相机间距，利用如下公式恢复P的坐标：
d＝x1-x2
Figure BDA0002495669270000042
由此获得吊臂左上三维坐标(D1.x,D1.y,D1.z),吊臂右下三维坐标
(D2.x,D2.y,D2.z).
由此获得吊臂长度:
Figure BDA0002495669270000043
4.检测报警
对比R.z和D.z，区分人员是否在危险区域以内，排除过远或过近的人员。
人员应该在吊臂长度范围之外：
R.z＞D.z+L+a
R.z＜D.z-L–a
满足以上条件的人员不在危险区域内。
其中a为可设置的阈值，增大安全范围。
在吊臂范围以内的人员，再次检测是否在吊臂下方。
Rrd.x＞Drd.x+b
R＜.x＜D＜.x-b
满足以上条件的人员不在危险区域内
其中b为可设置的阈值，增大安全范围。
结合以上两种情况，当人员在危险区域内，报警提示管理人员。
本发明解决了吊臂下人员安全性的检测，减少了二维图片缺少距离尺度的问题。可以通过双目相机和图像识别算法，自动预警吊臂下是否站人，简化实际环境部署，提高安装管理的便利性。

Claims (4)

1.一种基于双目图像的吊臂下人员检测方法，其特征在于：结合深度神经网络检测吊臂和人物的图像位置坐标；根据相同目标在双目图像上的像素差异，恢复目标的三维坐标点，比对吊臂和人物的三维坐标点，判断人物是否在吊臂下方的区域内；具体如下：
1)人员/吊臂的检测
采用YOLOv3检测框架保证了算法运行的速度，满足实时性需求，同时也能获得较准确的检测结果；将人员和吊臂作为两类进行目标检测，通过标注的5000张图片进行训练，达到人员和吊臂的图像检测任务；
通过检测算法获得吊臂左上坐标(Dlt.x,Dlt.y),右下坐标(Drd.x,Drd.y),人物左上坐标(Rlt.x,Rlt.y)，右下坐标(Rrd.x,Rrd.y)。计算中心点坐标:
D.x＝(Dlt.x+Drd.x)/2
D.y＝(Dlt.y+Drd.y)/2
R.x＝(Rlt.x+Rrd.x)/2
R.y＝(Rlt.y+Rrd.y)/2
2)双目图像目标测距
双目测距原理：
P是待测物体上的某一点，OR和OT分别是两个相机的光心，点P在两个相机感光器上的成像点分别为P和P’,f为相机焦距，B为两相机中心距，Z为需要求的距离值；
目标在两个图像中的像素坐标差是(Xr-Xt),设点P到P’的距离为dis，则：
dis＝B–(Xr-Xt)
根据相似三角形原理：
Figure FDA0002495669260000011
可得：
Figure FDA0002495669260000021
从第一步获得吊臂和人员的检测坐标信息，根据以上公式求得实际距离D.z和R.z，具体方法如下：
吊臂实际距离：
Figure FDA0002495669260000022
人的实际距离：
Figure FDA0002495669260000023
其中D和D’,R和R’分别为双目摄像机左右画面中的目标；
3)吊臂长度检测
经过标定后的双目相机，对于空间中的点P(x,y,z),经过左右相机投影后在左右视图上分别形成像点P1(x1,y1),P2(x2,y2),且y1＝y2，f为相机焦距，(cx,cy)为相机成像中心点，B为相机间距，利用如下公式恢复P的坐标：
d＝x1-z2
Figure FDA0002495669260000024
由此获得吊臂左上三维坐标(D1.x,D1.y,D1.z),吊臂右下三维坐标(D2.x,D2.y,D2.z)；
由此获得吊臂长度:
Figure FDA0002495669260000025
4)检测报警
对比R.z和D.z，区分人员是否在危险区域以内，排除过远或过近的人员；
人员应该在吊臂长度范围之外：
R.z＞D.z+L+a
R.z＜D.z-L–a
满足以上条件的人员不在危险区域内；
其中a为可设置的阈值，增大安全范围；
在吊臂范围以内的人员，再次检测是否在吊臂下方；
Rrd.x＞Drd.x+b
R＜.x＜D＜.x-b
满足以上条件的人员不在危险区域内，其中b为可设置的阈值，增大安全范围；
结合以上两种情况，当人员在危险区域内，报警提示管理人员。
2.根据权利要求1所述的基于双目图像的吊臂下人员检测方法，其特征在于：利用深度神经网络检测吊臂和人物；
深度神经网络通过分析图片信息，实时检测出图像中吊臂和人物所在位置，并已矩形框的形式记录。
3.根据权利要求1所述的基于双目图像的吊臂下人员检测方法，其特征在于：通过双目图像分别识别吊臂和人物的坐标，形成具有视差的图像对，并据此恢复目标的三维坐标。
4.根据权利要求1所述的基于双目图像的吊臂下人员检测方法，其特征在于：通过比对人物目标点是否在吊臂下方，发出是否警告的提示。
CN202010417586.7A 2020-05-18 2020-05-18 一种基于双目图像的吊臂下人员检测方法 Pending CN111461079A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010417586.7A CN111461079A (zh) 2020-05-18 2020-05-18 一种基于双目图像的吊臂下人员检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010417586.7A CN111461079A (zh) 2020-05-18 2020-05-18 一种基于双目图像的吊臂下人员检测方法

Publications (1)

Publication Number Publication Date
CN111461079A true CN111461079A (zh) 2020-07-28

Family

ID=71682758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010417586.7A Pending CN111461079A (zh) 2020-05-18 2020-05-18 一种基于双目图像的吊臂下人员检测方法

Country Status (1)

Country Link
CN (1) CN111461079A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101211A (zh) * 2020-09-15 2020-12-18 山东鲁能软件技术有限公司 一种基于目标检测和双目测距的人员与吊臂位置计算方法
CN113128393A (zh) * 2021-04-15 2021-07-16 国网安徽省电力有限公司黄山供电公司 一种检测大型机械吊臂下是否有人的方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025845A1 (en) * 2009-07-31 2011-02-03 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for measuring location and distance of object by using camera
CN109019335A (zh) * 2018-09-04 2018-12-18 大连理工大学 一种基于深度学习的吊装安全距离检测方法
CN110211180A (zh) * 2019-05-16 2019-09-06 西安理工大学 一种基于深度学习的机械臂自主抓取方法
CN110487254A (zh) * 2019-07-11 2019-11-22 哈尔滨工程大学 一种用于rov的水下目标尺寸快速测量方法
CN110543824A (zh) * 2019-08-01 2019-12-06 江苏濠汉信息技术有限公司 基于双目视觉的施工安全判断方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025845A1 (en) * 2009-07-31 2011-02-03 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for measuring location and distance of object by using camera
CN109019335A (zh) * 2018-09-04 2018-12-18 大连理工大学 一种基于深度学习的吊装安全距离检测方法
CN110211180A (zh) * 2019-05-16 2019-09-06 西安理工大学 一种基于深度学习的机械臂自主抓取方法
CN110487254A (zh) * 2019-07-11 2019-11-22 哈尔滨工程大学 一种用于rov的水下目标尺寸快速测量方法
CN110543824A (zh) * 2019-08-01 2019-12-06 江苏濠汉信息技术有限公司 基于双目视觉的施工安全判断方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101211A (zh) * 2020-09-15 2020-12-18 山东鲁能软件技术有限公司 一种基于目标检测和双目测距的人员与吊臂位置计算方法
CN113128393A (zh) * 2021-04-15 2021-07-16 国网安徽省电力有限公司黄山供电公司 一种检测大型机械吊臂下是否有人的方法和系统

Similar Documents

Publication Publication Date Title
CN105894702B (zh) 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
US11917333B2 (en) Systems and methods for personnel location at a drilling site
CN112418103B (zh) 一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法
CN114241298A (zh) 一种激光雷达和图像融合的塔吊环境目标检测方法及系统
CN109448326B (zh) 一种基于快速图像识别的地质灾害智能群防监测系统
CA3094424A1 (en) Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator
CN106128022A (zh) 一种智慧金睛识别暴力动作报警方法和装置
CN112085003A (zh) 公共场所异常行为自动识别方法及装置、摄像机设备
CN102788572A (zh) 一种工程机械吊钩姿态的测量方法、装置及系统
CN111461079A (zh) 一种基于双目图像的吊臂下人员检测方法
CN114494845A (zh) 一种用于施工项目现场人工智能隐患排查系统及其排查方法
CN113965733A (zh) 双目视频监控方法、系统、计算机设备及存储介质
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
CN115082509B (zh) 一种对无特征目标的追踪方法
CN109879170B (zh) 一种起重机吊臂旁弯位移实时检测系统
JP2019027882A (ja) 物体距離検出装置
CN114812403B (zh) 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法
CN109969919B (zh) 异物进入梯级的警示方法、警示装置及自动扶梯或人行道
CN113989335A (zh) 一种对厂房内工人自动定位的方法
CN112551400A (zh) 一种基于单目视觉检测的塔吊起重臂形变检测系统
CN116704169A (zh) 一种吊物下站人违规行为的检测方法及系统
CN108458655A (zh) 支持视觉测量的数据可组态化监控系统及方法
CN107123121A (zh) 一种桥梁形变智能检测系统
KR20240065873A (ko) 크레인 인양물 충돌방지를 위한 센싱 시스템 및 이를 이용한 크레인 인양물 충돌방지 방법
KR20230028659A (ko) 작업자 안전사고 모니터링 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200728

RJ01 Rejection of invention patent application after publication