CN110434848A - 一种机械臂工作区域内异常人员检测方法 - Google Patents

一种机械臂工作区域内异常人员检测方法 Download PDF

Info

Publication number
CN110434848A
CN110434848A CN201810412207.8A CN201810412207A CN110434848A CN 110434848 A CN110434848 A CN 110434848A CN 201810412207 A CN201810412207 A CN 201810412207A CN 110434848 A CN110434848 A CN 110434848A
Authority
CN
China
Prior art keywords
mechanical arm
working region
arm working
detection method
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810412207.8A
Other languages
English (en)
Inventor
郭子星
任万春
邓鑫
孙鑫
邓磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN201810412207.8A priority Critical patent/CN110434848A/zh
Publication of CN110434848A publication Critical patent/CN110434848A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种机械臂工作区域内异常人员检测方法,包括场景信息动态监测硬件部分、机械臂工作范围测量部分、人形目标检测部分及预警发布及响应部分,其主要对机械臂的工作区域进行动态检测,然后获取该区域内的图像信息,并对其进行光照归一化处理后,识别出区域内的人形目标,具体实施主要包含以下步骤:机械臂工作范围测量、人形目标检测、预警发布及响应。

Description

一种机械臂工作区域内异常人员检测方法
技术领域
本发明涉及一种基于视觉方法的机械臂工作区域内常人员检测方法,在机械臂工作区域内动态检测是否有工作人员进入工作区域,属于视觉检测领域。
背景技术
近年来,随着我国现代化进程的不断推进,各种基础设施建设的不断增加,如何加强工作区域的安全管理逐渐成为了人们关注的重点,然而目前对施工现场的安全监控几乎都是安全管理人员人力完成,难以实现全方位、实时的监控,监控效率低下,安全问题层出不穷,而随着图像处理技术的提高及视频监控技术的长足发展,视频监控逐渐渗透到作业区的安全管理领域。
机械臂是建筑作业区内不可或缺的重要工具,在施工作业中运用十分广泛,但由于建筑作业区内的施工作业人员素质参差不齐、安全意思淡薄、且数量多、来源复杂、流动性大,甚至缺乏必要的安全培训,对机械臂工作区域内的安全意识不够,常常引发重大的安全事故,按照标准作业规范,机械臂在作业时禁止有人进入其作业范围,但机械臂的流动性、危险性及其工作范围太过宽广,人力对其工作范围内是否存在人员进行判定极为困难。
目前对于特定工作区域内的异物检测研究颇多,哥本哈根地铁系统中就采用激光扫描器对地铁线路内的异物进行检测,但其的成本极为高昂,且容易受到雾、雨、雪的影响,阿尔卡拉大学研究人员通过安装红外线屏障的方法检测限制区域内的异常人员,但该方法安装复杂,覆盖范围小,且容易受到天气条件制约,韩国的研究人员通过立体热感应相机对地铁站的异物检测,但其极易受到光照及干扰热源的影响。
发明内容
为了解决上述问题,本发明提供一种机械臂工作区域内异常人员检测方法,该方法通过对机械臂工作范围的测量,运用监控相机对该区域进行场景图像信息获取,然后将获取到的场景图像信息进行分析处理,判断机械臂作业区内是否存在异常人员,若存在则做出预警并将预警信息发送给安全管理人员及时处理。
为便于区分与描述,本发明中以图1中上方(监控相机5)为机械臂承载平台前方。
本发明的技术方案如下:
一种机械臂工作区域内异常人员检测方法,主要包括以下部分:
(1)场景信息动态监测硬件部分:如图1所示机械臂1与工作平台4,包含机械臂1、机械臂姿态检测部件2、机械臂平台姿态检测部件3、机械臂平台4、前方监控相机5、右方监控相机6、后方监控相机7、左方监控相机8。
(2)机械臂工作范围测量部分:该部分通过对机械臂和机械臂所在平台进行角度测量得出机械臂相对于机械臂所在平台的夹角,结合夹角、机械臂运动的偏航角和机械臂的长度计算出机械臂的工作范围,确定图像采集的对应监控相机和在施工区域中需要监测的机械臂工作范围;
(3)人形目标检测部分:该部分主要通过部分(2)中确定的监控相机采集需要监测的工作范围内的图像信息,然后对获取到的机械臂作业区域内的场景信息进行分析处理,判断作业范围内是否存在异常人员。
(3)预警发布及响应部分:该部分根据部分(3)的检测结果进行预警发布,若作业范围内存在异常人员则发布预警至响应部门,以便安全管理人员及时排除相关的安全隐患。
该方法主要包含以下步骤:
(1)机械臂工作范围测量:在机械臂和机械臂的承载平台上分别安装姿态检测部件,根据两个部件测量出的角度计算出机械臂相对于所在平台的夹角,结合测量得出的机械臂的长度计算出机械臂的径向长度(机械臂承载平台到机械臂顶端于地面的投影长度),再根据机械臂上的姿态检测部件得到的机械臂运动的偏航角,结合偏航角和机械臂的径向长度确定使用的监控相机和需要监测的机械臂作业区域。
(2)人形目标检测:通过步骤(1)中确定的监控相机采集需要监测的作业区域内的图像信息,并对获取到的机械臂作业区域内的视频图像信息进行分析处理,判断作业区内是否存在人形目标。
(3)预警发布及响应:根据步骤(2)检测出机械臂作业区内是否存在人形目标,若存在则发布预警响应至安全管理中心,以便于其及时处理。
本发明的有益效果,本发明用于机械臂工作区域异常人员出现在机械臂作业区域内的安全隐患全天候实时监测,加强了施工作业区的安全管理,减轻了安全监测的难度。
附图说明
图1为本发明一种机械臂工作区域安全隐患监测方法的机械臂和机械臂平台俯视图;
图2为本发明一种机械臂工作区域安全隐患监测方法的机械臂和机械臂平台侧视图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步详细的说明。
参照图1、图2所示,一种械臂工作区域内异常人员检测方法,包括场景信息动态监测硬件部分、机械臂工作范围测量部分、预警发布及响应部分。
(1)机械臂工作范围测量
我们基于一个先验知识:机械臂作业区内的安全事故几乎全都发生于机械臂作业时在不可避免的某些情况下伤及机械臂下的本不允许存在的异常人员,于是我们需要监测的是,机械臂在当前航向时臂下是否存在异常人员,故我们需要确定当前机械臂的航向角(如图1平台俯视图中,其相对于机械臂正前方的方向角)及其径向长度(机械臂承载平台到机械臂顶端于地面的投影长度),机械臂的航向角可以通过安装于臂上及承载平台的姿态检测部件进行解算得到,而径向长度可以通过如图2中所示方法进行计算,首先求取其相对于承载平台的俯仰角度α,然后通过机械臂的长度L与α之间的三角关系计算出径向长度L2,在我们确定航向角之后,我们便可以确定采用何种方位的相机进行场景图像信息获取,得到径向长度L2后,我们便可以确定监测范围。
根据机械臂的工作范围可推测出监控相机安放的位置确定监控相机监视的范围,如图2所示在平台四周各设置了一台监控相机,相机的视野范围能够很好的覆盖机械臂的工作范围,为了能实时跟随机械臂的作业而动态地监视作业范围内异常人员的存在情况,需要根据机械臂实时的作业方向来确定平台四周对应的监控相机采集视频图片,通过机械臂上安装的姿态检测部件测量机械臂与水平面之间的夹角,并且还可以得到机械臂的偏航角,如图2所示以监控相机5视野范围最左侧为正向,机械臂顺时针转动偏航角为正,反之为负,以此方法来确定机械臂的运动方向进而调用不同方向的监控相机实时跟踪采集视野区内的视频图像。
(2)人形目标检测
由于机械臂的工作场景常常是户外场所,而户外场景中的视频图像信息除受到复杂背景干扰之外,还极为容易受到天气状况(尤其是强烈光照)的干扰,这样会对我们刻画场景中的目标信息及从复杂背景中将人形目标提取出来带来极为不便的影响,于是我们将获取到的机械臂作业区的场景图像信息进行光照归一化处理,具体实现方式是,将采集得到的RGB三颜色通道图像转换到CIE Lab颜色空间内,我们利用CIE Lab颜色空间中L通道为图像的亮度信息这一特性,首先求取输入图像的L通道亮度平均值,然后在L通道内逐像素减去亮度平均值(如果为负值则取其绝对值),得到该图像的残余亮度信息,再对残余亮度信息进行Gamma校正(gamma<1),提升低灰度出的对比度,凸显出低分辨率的图像细节,在经过光照归一化后,图像的高亮部分被抑制,阴暗部分对比度被提升,便于从复杂多变的天气状况中提取出人形目标。
完成光照归一化之后,我们利用归一化后的亮度信息及CIE Lab颜色空间中图像原始的a、b通道图像信息,再转换回到RGB颜色空间,然后我们采用经典的人形检测方法HOG+SVM的方法从图像中提取人形目标。
(3)预警发布及响应
在机械臂的作业范围内发现存在人形目标,即存在异常人员后,由于摄像机的视野覆盖面积远大于当前机械臂的安全界限,故我们在检测到异常人员后首先判断工作人员是否进入机械臂的安全界限内,在异常人员进入监控相机视野范围的第一时间就对工作人员进行跟踪和标记,记录异常人员首次进入监控相机视野范围的位置并异常工作人员是否进入侵限范围的视频图片,若没有进入记录异常人员最后一次进入监控相机视野范围的位置,反之则记录异常人员首次进入侵限范围的视频图片并将所有信息第一时间发送至安全管理中心并发布预警响应。
以上所述,仅为本发明较佳的具体实施方式,本发明的应用适用范围不限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的应用适用范围内。

Claims (3)

1.一种机械臂工作区域内异常人员检测方法,包括包括场景信息动态监测硬件部分、机械臂工作范围测量部分、人形目标检测部分及预警发布及响应部分。
2.根据权利要求1所述的一种机械臂工作区域内异常人员检测方法,其特征在于,通过实时监测施工作业区域中机械臂动态工作区域,然后检测该工作区域内的异常人形目标。
3.根据权利要求1所述的一种机械臂工作区域内异常人员检测方法,其特征在于,在CIE Lab空间排除复杂多变的天气条件对图像信息的干扰,提升识别的准确率。
CN201810412207.8A 2018-05-03 2018-05-03 一种机械臂工作区域内异常人员检测方法 Pending CN110434848A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810412207.8A CN110434848A (zh) 2018-05-03 2018-05-03 一种机械臂工作区域内异常人员检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810412207.8A CN110434848A (zh) 2018-05-03 2018-05-03 一种机械臂工作区域内异常人员检测方法

Publications (1)

Publication Number Publication Date
CN110434848A true CN110434848A (zh) 2019-11-12

Family

ID=68427744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810412207.8A Pending CN110434848A (zh) 2018-05-03 2018-05-03 一种机械臂工作区域内异常人员检测方法

Country Status (1)

Country Link
CN (1) CN110434848A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111593891A (zh) * 2020-04-26 2020-08-28 中联重科股份有限公司 工程机械臂架类设备的安全预警方法、装置及该工程机械
CN112050782A (zh) * 2020-08-31 2020-12-08 浙江大学 一种基于功率的工业机械臂异常运动在线检测方法
CN113744478A (zh) * 2020-05-29 2021-12-03 宝山钢铁股份有限公司 一种封闭料场无人化设备防入侵碰撞侦测方法及其系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111593891A (zh) * 2020-04-26 2020-08-28 中联重科股份有限公司 工程机械臂架类设备的安全预警方法、装置及该工程机械
CN113744478A (zh) * 2020-05-29 2021-12-03 宝山钢铁股份有限公司 一种封闭料场无人化设备防入侵碰撞侦测方法及其系统
CN112050782A (zh) * 2020-08-31 2020-12-08 浙江大学 一种基于功率的工业机械臂异常运动在线检测方法

Similar Documents

Publication Publication Date Title
US10746763B2 (en) Apparatus and method for diagnosing electric power equipment using thermal imaging camera
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN103761826B (zh) 一种热成像视频双鉴林火识别系统的识别方法
CN111595453A (zh) 一种基于人脸识别的红外测温系统及方法
CN103413395B (zh) 烟气智能检测预警方法及装置
CN110434848A (zh) 一种机械臂工作区域内异常人员检测方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN104253482A (zh) 基于图像数据库和巡检机器人的设备故障检测方法
CN111047568A (zh) 一种漏汽缺陷检测识别方法及系统
CN111457851B (zh) 一种盾构机盾尾间隙测量系统及方法
CN108389359A (zh) 一种基于深度学习的城市火灾报警方法
CN113011252B (zh) 轨道异物侵限检测系统及方法
CN112906674A (zh) 一种基于双目视觉的矿井火灾识别与火源定位方法
CN112634269A (zh) 一种轨道车辆车体检测方法
CN114812403A (zh) 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法
CN115620192A (zh) 一种高空作业安全绳穿戴检测的方法和装置
CN104858877B (zh) 高压线路跌落开关自动更换控制系统的控制方法
CN114252075A (zh) 一种电缆沟巡检机器人的路径跟踪方法及系统
CN111664946A (zh) 一种广域温度筛查设备
CN116862712A (zh) 基于雷视融合的电力施工潜在安全风险检测方法与系统
CN114529811A (zh) 一种地铁隧道异物的快速自动识别与定位方法
CN111461079A (zh) 一种基于双目图像的吊臂下人员检测方法
CN113252004B (zh) 一种隧道综合检测监测系统及方法
CN115962722A (zh) 基于激光雷达与可见光融合的钻杆接缝高度测量方法
CN110322508A (zh) 一种基于计算机视觉的辅助定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191112