CN108427331A - 一种人机协作安全防护方法及系统 - Google Patents
一种人机协作安全防护方法及系统 Download PDFInfo
- Publication number
- CN108427331A CN108427331A CN201810292861.XA CN201810292861A CN108427331A CN 108427331 A CN108427331 A CN 108427331A CN 201810292861 A CN201810292861 A CN 201810292861A CN 108427331 A CN108427331 A CN 108427331A
- Authority
- CN
- China
- Prior art keywords
- robot
- person
- distance
- coordinate
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种人机协作安全防护方法及系统，其中的方法包括：获取人身和机器人在机器人基坐标系下的三维坐标；根据所述人身和机器人的三维坐标，计算人身与机器人之间的距离；根据所述人身与机器人之间的距离，控制机器人速度。本发明以动态调节方式替代传统的依靠围栏隔离，能够在保证人身安全的前提下，最大程度提高生产效率；同时能够使人与机器人共享工作空间，为人机协作提供安全保障，并且降低了成本，减少了围栏所占用的空间，从而提高了机器人使用密度。
Description
技术领域
本发明涉及人机协作领域，尤其涉及一种人机协作安全防护方法及系统。
背景技术
人机协作是机器人发展的重要特征，车间中各种类型机器人与人协同工作，处于弱势地位的工人安全隐患相对较大。因此，开发人身安全保护系统对于保障工作安全具有重要的意义。目前的工人安全保护机制包括车间的被动安全机制和主动安全机制。被动安全机制主要包括安全帽，劳保鞋等，它是在工人与机器人碰撞不可避免时，降低工人人与机器人碰撞伤害；而主动安全保障系统等主动安全技术，是在机器人周围加装围栏，当人打开围栏准备进入人机协作区域时，机器人停止工作，从根本上保证工人安全，这种方法通常会增加车间的成本，浪费空间，并且使工作效率低下，不适用于当前社会发展需要
发明内容
针对上述技术问题，本发明提供一种人机协作安全防护方法及系统。
本发明解决上述技术问题的技术方案如下：一种人机协作安全防护方法，包括：
获取人身和机器人在机器人基坐标系下的三维坐标；
根据所述人身和机器人的三维坐标，计算人身与机器人之间的距离；
根据所述人身与机器人之间的距离，控制机器人速度。
为实现上述发明目的，本发明还提供一种人机协作安全防护系统，包括：
第一获取模块，用于获取人身在机器人基坐标系下的三维坐标；
第二获取模块，用于获取机器人在机器人基坐标系下的三维坐标；
计算模块，用于根据所述人身和机器人的三维坐标，计算人身与机器人之间的距离；
控制模块，用于根据所述人身与机器人之间的距离，控制机器人速度。
本发明的有益效果是：以动态调节方式替代传统的依靠围栏隔离，能够在保证人身安全的前提下，最大程度提高生产效率；同时能够使人与机器人共享工作空间，为人机协作提供安全保障，并且降低了成本，减少了围栏所占用的空间，从而提高了机器人使用密度。
附图说明
图1为本发明实施例提供的一种人机协作安全防护方法的流程图；
图2为本发明实施例提供的获取人身在机器人基坐标系下的三维坐标的流程图；
图3为减速控制曲线图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明实施例提供的一种人机协作安全防护方法的流程图，如图1所示，该方法包括：
110、获取人身和机器人在机器人基坐标系下的三维坐标；
可选地，该步骤中，如图2所示，获取人身在机器人基坐标系下的三维坐标，具体包括：
1101、通过RGB-D传感器对机器人进行手眼标定，得到像素坐标系与机器人基坐标系之间的坐标变换矩阵；
具体的，RGB-D传感器指可以同时提供RGB彩色图像和深度图像的多功能摄像机，主流产品有Microsoft Kinect v1,v2，奥比中光Astra系列，Intel Realsense系列传感器以及其它双目摄像机传感器。它们的分辨率一般均大于640*480，可视角度一般均大于60度。
为实现对工作空间的检测，根据现场环境、传感器分辨率、视角等因素，提出以下几种可能的传感器布局方式。
主要布局方式有：
1)单目布局，适用于要求不高，遮挡不多的场合，可以将摄像机安装于人员不会出现的位置，自上向下俯视工作空间
2)双目布局，两相机以正交方式安装。适用于有一定遮挡的场合，可以将摄像机安装于人员不会出现的位置，自上向下俯视工作空间，从两个不同角度实现空间覆盖，克服遮挡问题；
3)三目布局，相机间隔120度安装，指向机器人，对机器人周边进行完整覆盖
4)四目布局，相机间隔90度安装，指向机器人，机器人无死角，但外围仍存在一定盲区
5)五目布局，相机间隔72度安装，指向机器人，机器人无死角，基本不存在盲区
6)四周型六目布局：相机间隔60度安装，指向机器人。完整覆盖整个空间，不存在死角，是理想的安装方式
7)中心型六目布局：相机背靠背间隔60度安装，整体安装于机器人上空，向四周下方辐射，不存在死区，结构紧凑，检测空间大，是最理想的安装方式
安装角度与传感器视角有关，其计算公式为：
Δθ≈α
其中N为完整覆盖所需传感器数目，Δθ为完整覆盖的最小间隔，α为传感器视角。
在实际使用时，如果空间中存在较多遮挡障碍物，可以集成更多的传感器以实现更准确详细的检测。
下面详细介绍使用RGB-D传感器对机器人进行手眼标定的过程。
RGB-D传感器i检测出的人以传感器坐标的形式输出，不满足机器人控制需要，需要将其变换到机器人基坐标系，坐标变换矩阵Hi标定流程如下：
1)将彩色球安装在机器人末端
2)移动机器人，使彩色球出现面传感器i的视野中
3)记录下此时机器人位置和彩球在传感器中的三维坐标
4)重复2)，至少采集4组不同位置数据，建立数据对其中K为数据对数目，且K>＝4。为获得两个坐标系的坐标变换矩阵，将数据整理为矩阵的形式：
因此有：
Y＝Hi×X
由于Y，X不一定是方阵，因此，需要计算伪逆，公式如下：
Hi＝YXT(XXT)-1
利用Hi可以将传感器检测到的人体坐标映射到机器人坐标系，也即人在机器人坐标系中的位置。
5)重复上述步骤，直至所有传感器均完成与机器人之间的标定
1102、通过RGB-D摄像机拍摄包含人身的彩色图像和深度图像。
1103、利用OpenPose算法，对所述彩色图像进行检测，得到人身的像素坐标；
具体的，人身检测采用OpenPose函数库，其基于深度学习算法，可以准确地检测出人，并对人身体的18个关键点进行检测与估计。该方法具有一定的实时性，可达10fps左右。
该方法检测依赖于彩色图像，其输出格式为一个二维数组，数组元素为像素坐标其行代表不同人，索引引i，列代表18个关键点，以j索引；k代表传感器索引，即有：
P＝{P1,…,PK}
其中Nk为每个传感器所检测出的人数量，P代表每次检测，利用OpenPose对所有传感器图像进行检测出的像素坐标数据集。
1104、根据所述像素坐标，得到所述像素坐标所对应的像素在所述深度图像中的深度；
具体的，深度图像每个像素中存放的是深度d，对于像素坐标数据集中的每个像素坐标将其代入深度图像中进行计算。
1105、根据所述像素坐标以及所述深度，得到人身在像素坐标系下的三维坐标；
具体的，按照以下公式：
即可计算出彩色图像中点在空间中的三维坐标对其进行齐次扩展，有
1106、利用所述坐标变换矩阵，将所述人身在像素坐标系下的三维坐标转换为人身在机器人基坐标系下的三维坐标。
具体的，利用手眼标定出的坐标变换矩阵，有即可将其变换为点在机器人基坐标系中的三维坐标，
120、根据所述人身和机器人的三维坐标，计算人身与机器人之间的距离；
具体的，利用公式：
可以计算点到机器人的欧氏距离。
对每个传感器，每个人，每个关键点重复上述过程，即可得到
Q＝{Q1,…,QK}
在上述数据集中进行最小值搜索，
即可确定机器人周围离机器人最近的人的距离，即当计算得到多个距离时，按照最小距离进行后续过程。
130、根据所述人身与机器人之间的距离，控制机器人速度。
可选地，在该实施例中，步骤130具体包括：
当所述人身与机器人之间的距离小于第一预设阈值时，控制机器人的速度为零；
当所述人身与机器人之间的距离大于第二预设阈值时，控制机器人以最大速度运行；
当所述人身与机器人之间的距离处于所述第一预设阈值和第二预设阈值之间时，控制机器人以按照下列公式计算得到的速度v运行：
其中，d为所述人身与机器人之间的距离，d1为所述第一预设阈值，d2为所述第二预设阈值，d2＞d1，vmax为所述最大速度，减速控制曲线如图3所示。
具体的，将工业机器人四周按距离远近，设定两个阈值d1和d2，其中前者是人能接近机器人的最小距离。可以根据机械臂的外展距离和所安装工具的长度确定，在此距离内，机器人必须停止运动，否则将很可能对人造成伤害；后者为对人与机器人之间距离进行预警的距离阈值。考虑到人运动的不确定性以及视觉安全系统的响应速度，可以人为确定该阈值的大小，当在此距离内时，机器人必须减速运动。两个阈值的大小关系为d2＞d1，两者差距越大，安全系数越高。
通过上述方法，可以克服以往依靠围栏进行安全防护时，机器人只有停止和全速两种模式的问题，使机器人工作效率更高、人机协作时更加安全。
相应地，本发明还提供一种人机协作安全防护系统，包括：
第一获取模块，用于获取人身在机器人基坐标系下的三维坐标；
第二获取模块，用于获取机器人在机器人基坐标系下的三维坐标；
计算模块，用于根据所述人身和机器人的三维坐标，计算人身与机器人之间的距离；
控制模块，用于根据所述人身与机器人之间的距离，控制机器人速度。
可选地，在该实施例中，所述第一获取模块具体包括：
手眼标定单元，用于通过RGB-D传感器对机器人进行手眼标定，得到像素坐标系与机器人基坐标系之间的坐标变换矩阵；
拍摄单元，用于通过RGB-D传感器拍摄包含人身的彩色图像和深度图像；
检测单元，用于利用OpenPose算法，对所述彩色图像进行检测，得到人身的像素坐标；
深度获取单元，用于根据所述像素坐标，得到所述像素坐标所对应的像素在所述深度图像中的深度；
坐标获取单元，用于根据所述像素坐标以及所述深度，得到人身在像素坐标系下的三维坐标；
坐标转换单元，用于利用所述坐标变换矩阵，将所述人身在像素坐标系下的三维坐标转换为人身在机器人基坐标系下的三维坐标。
可选地，在该实施例中，所述控制模块，具体用于：
当所述人身与机器人之间的距离小于第一预设阈值时，控制机器人的速度为零；
当所述人身与机器人之间的距离大于第二预设阈值时，控制机器人以最大速度运行；
当所述人身与机器人之间的距离处于所述第一预设阈值和第二预设阈值之间时，控制机器人以按照下列公式计算得到的速度v运行：
其中，d为所述人身与机器人之间的距离，d1为所述第一预设阈值，d2为所述第二预设阈值，d2＞d1，vmax为所述最大速度。
可选地，在该实施例中，当计算得到多个人身与机器人之间的距离时，所述控制模块，具体用于根据所述多个人身与机器人之间的距离中的最小距离，控制机器人速度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种人机协作安全防护方法，其特征在于，包括：
获取人身和机器人在机器人基坐标系下的三维坐标；
根据所述人身和机器人的三维坐标，计算人身与机器人之间的距离；
根据所述人身与机器人之间的距离，控制机器人速度。
2.根据权利要求1所述的方法，其特征在于，所述获取人身在机器人基坐标系下的三维坐标，具体包括：
通过RGB-D传感器对机器人进行手眼标定，得到像素坐标系与机器人基坐标系之间的坐标变换矩阵；
通过RGB-D传感器拍摄包含人身的彩色图像和深度图像；
利用OpenPose算法，对所述彩色图像进行检测，得到人身的像素坐标；
根据所述像素坐标，得到所述像素坐标所对应的像素在所述深度图像中的深度；
根据所述像素坐标以及所述深度，得到人身在像素坐标系下的三维坐标；
利用所述坐标变换矩阵，将所述人身在像素坐标系下的三维坐标转换为人身在机器人基坐标系下的三维坐标。
3.根据权利要求1所述的方法，其特征在于，所述根据所述人身与机器人之间的距离，控制机器人速度，具体包括：
当所述人身与机器人之间的距离小于第一预设阈值时，控制机器人的速度为零；
当所述人身与机器人之间的距离大于第二预设阈值时，控制机器人以最大速度运行；
当所述人身与机器人之间的距离处于所述第一预设阈值和第二预设阈值之间时，控制机器人以按照下列公式计算得到的速度v运行：
其中，d为所述人身与机器人之间的距离，d1为所述第一预设阈值，d2为所述第二预设阈值，d2＞d1，vmax为所述最大速度。
4.根据权利要求1-3任一项所述的方法，其特征在于，当计算得到多个人身与机器人之间的距离时，所述根据所述人身与机器人之间的距离，控制机器人速度，具体包括：
根据所述多个人身与机器人之间的距离中的最小距离，控制机器人速度。
5.一种人机协作安全防护系统，其特征在于，包括：
第一获取模块，用于获取人身在机器人基坐标系下的三维坐标；
第二获取模块，用于获取机器人在机器人基坐标系下的三维坐标；
计算模块，用于根据所述人身和机器人的三维坐标，计算人身与机器人之间的距离；
控制模块，用于根据所述人身与机器人之间的距离，控制机器人速度。
6.根据权利要求5所述的系统，其特征在于，所述第一获取模块具体包括：
手眼标定单元，用于通过RGB-D传感器对机器人进行手眼标定，得到像素坐标系与机器人基坐标系之间的坐标变换矩阵；
拍摄单元，用于通过RGB-D传感器拍摄包含人身的彩色图像和深度图像；
检测单元，用于利用OpenPose算法，对所述彩色图像进行检测，得到人身的像素坐标；
深度获取单元，用于根据所述像素坐标，得到所述像素坐标所对应的像素在所述深度图像中的深度；
坐标获取单元，用于根据所述像素坐标以及所述深度，得到人身在像素坐标系下的三维坐标；
坐标转换单元，用于利用所述坐标变换矩阵，将所述人身在像素坐标系下的三维坐标转换为人身在机器人基坐标系下的三维坐标。
7.根据权利要求5所述的系统，其特征在于，所述控制模块，具体用于：
当所述人身与机器人之间的距离小于第一预设阈值时，控制机器人的速度为零；
当所述人身与机器人之间的距离大于第二预设阈值时，控制机器人以最大速度运行；
当所述人身与机器人之间的距离处于所述第一预设阈值和第二预设阈值之间时，控制机器人以按照下列公式计算得到的速度v运行：
其中，d为所述人身与机器人之间的距离，d1为所述第一预设阈值，d2为所述第二预设阈值，d2＞d1，vmax为所述最大速度。
8.根据权利要求5-7任一项所述的系统，其特征在于，当计算得到多个人身与机器人之间的距离时，所述控制模块，具体用于根据所述多个人身与机器人之间的距离中的最小距离，控制机器人速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810292861.XA CN108427331A (zh) | 2018-03-30 | 2018-03-30 | 一种人机协作安全防护方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810292861.XA CN108427331A (zh) | 2018-03-30 | 2018-03-30 | 一种人机协作安全防护方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108427331A true CN108427331A (zh) | 2018-08-21 |
Family
ID=63160319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810292861.XA Pending CN108427331A (zh) | 2018-03-30 | 2018-03-30 | 一种人机协作安全防护方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108427331A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110561432A (zh) * | 2019-08-30 | 2019-12-13 | 广东省智能制造研究所 | 一种基于人机共融的安全协作方法及装置 |
| CN111055292A (zh) * | 2019-11-18 | 2020-04-24 | 华中科技大学 | 人机交互安全保障方法、装置及计算机可读存储介质 |
| CN111085983A (zh) * | 2018-10-24 | 2020-05-01 | 发那科株式会社 | 机器人的控制方法 |
| CN114670206A (zh) * | 2022-05-07 | 2022-06-28 | 法奥意威(苏州)机器人系统有限公司 | 机器人控制方法、装置、协作机器人和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103170973A (zh) * | 2013-03-28 | 2013-06-26 | 上海理工大学 | 基于Kinect摄像机的人机协作装置及方法 |
| CN104723350A (zh) * | 2015-03-16 | 2015-06-24 | 珠海格力电器股份有限公司 | 工业机器人安全防护智能控制方法及系统 |
| CN105137973A (zh) * | 2015-08-21 | 2015-12-09 | 华南理工大学 | 一种人机协作场景下的机器人智能躲避人类方法 |
| CN105751196A (zh) * | 2016-04-12 | 2016-07-13 | 华南理工大学 | 一种基于主从式的工业机器人协作作业方法 |
| CN106826815A (zh) * | 2016-12-21 | 2017-06-13 | 江苏物联网研究发展中心 | 基于彩色图像与深度图像的目标物体识别与定位的方法 |
-
2018
- 2018-03-30 CN CN201810292861.XA patent/CN108427331A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103170973A (zh) * | 2013-03-28 | 2013-06-26 | 上海理工大学 | 基于Kinect摄像机的人机协作装置及方法 |
| CN104723350A (zh) * | 2015-03-16 | 2015-06-24 | 珠海格力电器股份有限公司 | 工业机器人安全防护智能控制方法及系统 |
| CN105137973A (zh) * | 2015-08-21 | 2015-12-09 | 华南理工大学 | 一种人机协作场景下的机器人智能躲避人类方法 |
| CN105751196A (zh) * | 2016-04-12 | 2016-07-13 | 华南理工大学 | 一种基于主从式的工业机器人协作作业方法 |
| CN106826815A (zh) * | 2016-12-21 | 2017-06-13 | 江苏物联网研究发展中心 | 基于彩色图像与深度图像的目标物体识别与定位的方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111085983A (zh) * | 2018-10-24 | 2020-05-01 | 发那科株式会社 | 机器人的控制方法 |
| CN110561432A (zh) * | 2019-08-30 | 2019-12-13 | 广东省智能制造研究所 | 一种基于人机共融的安全协作方法及装置 |
| CN111055292A (zh) * | 2019-11-18 | 2020-04-24 | 华中科技大学 | 人机交互安全保障方法、装置及计算机可读存储介质 |
| CN114670206A (zh) * | 2022-05-07 | 2022-06-28 | 法奥意威(苏州)机器人系统有限公司 | 机器人控制方法、装置、协作机器人和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108427331A (zh) | 一种人机协作安全防护方法及系统 | |
| CN105059190B (zh) | 基于视觉的汽车开门碰撞预警装置及方法 | |
| US9432593B2 (en) | Target object information acquisition method and electronic device | |
| US7684894B2 (en) | Autonomously moving robot | |
| Zhu et al. | Panoramic virtual stereo vision of cooperative mobile robots for localizing 3d moving objects | |
| US20190007659A1 (en) | Sensor for securing a machine | |
| Kim et al. | Moving obstacle avoidance of a mobile robot using a single camera | |
| US20110001957A1 (en) | Distance-measuring optoelectronic sensor | |
| CN102795547A (zh) | 起重机吊钩位置和摆角的实时摄像测量方法 | |
| CN108778976A (zh) | 电梯安全系统 | |
| CN106153050A (zh) | 一种基于信标的室内定位系统和方法 | |
| CN106629399A (zh) | 一种集装箱对箱引导系统 | |
| WO2020036295A1 (ko) | 좌표계 변환 정보 획득 장치 및 방법 | |
| CN110032971B (zh) | 基于单目摄像头的移动平台异物检测方法及检测系统 | |
| CN208675549U (zh) | 一种电子围栏管理系统 | |
| CN108789500A (zh) | 人机安全防护系统及安全防护方法 | |
| JP2013182551A (ja) | 自車位置検出装置、自車位置検出システム及び自車位置検出方法 | |
| CN105091866A (zh) | 零件位姿识别视觉系统及其标定方法 | |
| CN111546331B (zh) | 人机协作机器人安全防护系统及安全防护方法 | |
| Zalud et al. | Fusion of thermal imaging and CCD camera-based data for stereovision visual telepresence | |
| CN108675142A (zh) | 基于单目相机的多高度标定测量方法及起重机防斜拉和精确定位方法 | |
| CN111158362A (zh) | 一种充电桩、机器人充电方法与装置以及机器人系统 | |
| KR101901588B1 (ko) | 물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자 생성 장치 | |
| CN110135290A (zh) | 一种基于SSD和AlphaPose的安全帽佩戴检测方法及系统 | |
| CN109579698B (zh) | 一种智能货物检测系统及其检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180821 |
|
| RJ01 | Rejection of invention patent application after publication |