CN108846891B - 一种基于三维骨架检测的人机安全协作方法 - Google Patents

Abstract

一种基于三维骨架检测的人机安全协作方法，包括步骤：获取操作者与机器协作的左图像和右图像，进行立体匹配，得到场景重构后的三维几何信息，然后进行人体骨架检测，对左图像和右图像进行一致性检验，将检验后的左图像和右图像与三维几何信息进行坐标映射，得到人体骨架三维坐标，通过世界坐标系下机器末端与三维骨架包围盒模型的相对位姿关系，计算得到人机碰撞检测的安全阈值，再计算人体三维骨架包围盒模型与机器末端之间的欧式距离，通过欧式距离与安全阈值的大小关系判断人机协作的安全性。本发明实现操作者与机器协作下的实时碰撞安全检测，提高生产效率及操作者的人身安全。

Description

一种基于三维骨架检测的人机安全协作方法

技术领域

本发明涉及图像处理和计算机视觉领域，特别涉及一种基于三维骨架检测的人机安全协作方法。

背景技术

近年来，人工智能等技术取得了飞速的进展，并对人类的生产活动和社会活动产生了极其重要的影响。这些技术被广泛应用于军事、工业、教育等众多领域，可以代替人们从事复杂的科学计算、大量的存储和仿真实验等工作，并且可以比人更出色地完成任务。然而，人们也意识到，用机器完全替代人去完成所有任务是无法实现的，或者说可以实现但是却在非常遥远的未来。因此，在完成复杂任务时，可采用人机协作的方式。协作指的是两个或两个以上的人（或机器）为了共同的目标在一起工作。人机协作可以发挥人和机器各自的特长，并结合人和机器的智能。

目前，人机协作得到越来越广泛的应用。随着机器人应用领域的扩展，人机协作机器人也将在高危作业、紧急救援、医疗服务等领域成为人类的得力助手。当然，人机协作发展水平当前仍处于初期阶段，安全和稳定性能尚需经历更多测试。譬如企业出于安全性考虑，一般需要用围栏把机器人和工作人员进行隔离，人机协作水平仍有进步空间。人擅长形象思维与灵感思维，能从环境中识别对象，具有创造性并能对不良结构问题进行处理。而计算机则是基于规则与逻辑推理，擅长记忆大量的数据，进行复杂科学计算等。人机协作得到广泛应用的原因在于一些复杂问题并不能只靠计算机或者只靠人来解决，而需要依靠人机协作的方式一起完美地解决这类问题，但人机共融中的安全问题一直是个令人头疼的存在。

发明内容

本发明要解决的技术问题是提供一种基于三维骨架检测的人机安全协作方法，实现操作者与机器协作下的实时碰撞安全检测，提高生产效率及操作者的人身安全。

为了解决上述技术问题，本发明采取以下技术方案：

一种基于三维骨架检测的人机安全协作方法，包括以下步骤：

通过双目摄像头实时采集左右不同视角下操作者与机器协作的左图像和右图像，并进行图像预处理；

对左图像和右图像进行立体匹配，得到场景重构后的三维几何信息；

对左图像和右图像进行人体骨架检测，得到左图像和右图像中的人体骨架特征，并对左图像和右图像目标进行一致性检验；

将检验后的人体骨架特征的图像与立体匹配后的场景的三维几何信息进行坐标映射，形成人体三维骨架，得到人体骨架三维坐标；

对人体三维骨架进行OBB包围盒处理，形成三维骨架包围盒模型；

建立机器与人体三维骨架包围盒模型在世界坐标系下的坐标系转换关系，获取世界坐标系下机器末端与三维骨架包围盒模型的相对位姿关系，计算人机碰撞检测的安全阈值；

实时计算人体三维骨架包围盒模型与机器末端之间的欧式距离，判断该欧式距离与安全阈值之间的大小关系，若该欧式距离大于等于安全阈值，则人机协作行为处于安全状态，若该欧式距离小于安全阈值，则人机协作行为处于危险状态。

所述立体匹配具体为：

对左图像和右图像利用Quick Shift算法进行预处理，然后结合SGM算法进行立体匹配，得到场景重构后的三维几何信息。

所述利用Quick Shift算法对图像进行预处理具体为：根据像素点的五维特征向量（r, g, b, x, y）和空间相似度进行图像分割，将左图像和右图像分割成若干分割块，同一分割块的像素点，其属于同一物体的概率高，而不同分割块的像素点，属于同一物体的概率相对低。五维特征向量（r, g, b, x, y）是指图像像素点坐标x、y与色彩三通道参数r、g、b。

所述左图像和右图像目标进行一致性检验具体为：

对左图像和右图像分别进行人体骨架检测，并进行二维的人体关节检测定位，得到人体骨架关节的二维坐标，获取左人体二维骨架特征图像检测数据和右人体二维骨架特征图像检测数据；

再将左人体二维骨架特征图像检测数据和右人体二维骨架特征图像检测数据进行像素坐标换算和检验，验证左图像和右图像目标的一致性和准确性。

所述得到人体骨架三维坐标具体为：

利用坐标映射与变换原理，将目标一致性检验中得到的人体二维骨架特征图像与立体匹配中得到的场景重构后的三维几何信息进行坐标映射，实现对人体骨架关节的三维空间定位，从而得到人体骨架三维坐标。

所述人体三维骨架进行OBB包围盒处理具体为对三维人体骨架进行表面凸分解，形成包围人体骨骼关节的最小空间凸块OBB包围盒。

所述实时计算人体三维骨架包围盒模型与机器末端之间的欧式距离过程中：

通过机器运动轨迹与人体三维骨架包围盒的交集求解，将机器运动轨迹与人体三维骨架包围盒模型进行坐标映射，然后根据如下欧式三维空间公式计算两者的距离；

三维空间公式：

其中为空间坐标系任意两点，为这两点之间的欧式三维空间距离。

本发明具有以下有益效果：

（1）本发明可实现操作者与机器协作下的实时碰撞安全检测，提高生产效率及操作者的人身安全。使得人和计算机充分发挥各自不同的优势，协作完成各自擅长的工作。

（2）本发明基于三维骨架检测，遮挡、背景、光照、多视角以及多尺度影响小，解决问题的同时增加了本发明中的人机协作方法的鲁棒性。

（3）复杂人机系统中的总体效能的发挥受系统中操作者与机器之间是否有效配合的影响。基于三维骨架检测的人机协作方法可更有效的利用系统中的人力资源和机器资源,实现系统的最佳人机协作 ,从而提高系统的总体效能以及操作者的人身安全。

附图说明

附图1为本发明流程示意图；

附图2为本发明人机系统示意图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

如附图2所示，为人机结合系统，操作者和机器分别接收任务目标，操作者进行显示及控制，然后通过提取视觉信息传送到人机协作系统中，机器也是提取相应的视觉信息，同样输送到人机协作系统中，从而根据操作者和机器的信息进行协作，分别给操作者和机器操作信息，保持协作过程当中不会发生碰撞。

如附图1所示，本发明揭示了一种基于三维骨架检测的人机协作方法，包括以下步骤：

通过双目摄像头实时采集左右不同视角下操作者与机器协作的左图像和右图像，并进行图像预处理。利用双目相机，可以拍出两张不同视角的图像，即同时得到操作者和机器的图像。在本实施例中，以左图像为参考基准。

对左图像和右图像进行立体匹配，得到场景重构后的三维几何信息。具体的为，将获取到的左图像和右图像输入到双目立体匹配模块，得到视差图，利用Quick Shift算法进行预处理，然后结合SGM（Semi-Global Matching）算法进行立体匹配，得到场景重构后的三维几何信息。双目立体匹配模块可内置于控制终端上，实现方便的处理。

更进一步的，Quick Shift算法对图像进行预处理具体为：根据像素点的五维特征向量（r, g, b, x, y）和空间相似度进行图像分割，将左图像和右图像分割成若干分割块，同一分割块的像素点，其属于同一物体的概率高，而不同分割块的像素点，属于同一物体的概率相对低。五维特征向量（r, g, b, x, y）是指图像像素点坐标x、y与色彩三通道参数r、g、b。同时考虑同一物体像素点一般具有视差连续性，本发明针对归属不同的相邻像素点，将采用不同的视差连续性惩罚约束。

对左图像和右图像进行人体骨架检测，得到左图像和右图像中的人体骨架特征，并对左图像和右图像目标进行一致性检验。通过该检验，可以查看到左图像和右图像中的目标的一致性情况，从而便于调整操作。

将检验后的人体骨架特征的图像与立体匹配后的场景的三维几何信息进行坐标映射，形成人体三维骨架，得到人体骨架三维坐标。

对人体三维骨架进行OBB包围盒处理，形成三维骨架包围盒模型。

建立机器与人体三维骨架包围盒模型在世界坐标系下的坐标系转换关系，获取世界坐标系下机器末端与三维骨架包围盒模型的相对位姿关系，计算人机碰撞检测的安全阈值S。

实时计算人体三维骨架包围盒模型与机器末端之间的欧式距离，判断该欧式距离与安全阈值之间的大小关系，若该欧式距离大于等于安全阈值，则人机协作行为处于安全状态，若该欧式距离小于安全阈值，则人机协作行为处于危险状态，需要调整操作者或者机器的运动姿态。

所述利用所述左图像和右图像目标进行一致性检验具体为：对左图像和右图像分别进行人体骨架检测，并进行二维的人体关节检测定位，得到人体骨架关节的二维坐标，获取左人体二维骨架特征图像检测数据和右人体二维骨架特征图像检测数据。

再将左人体二维骨架特征图像检测数据和右人体二维骨架特征图像检测数据进行像素坐标换算和检验，验证左图像和右图像目标的一致性和准确性。

在得到人体骨架关节三维坐标的过程中，基于双目相机内参矩阵，利用坐标映射与变换原理，将目标一致性检验中得到的人体二维骨架特征图像与立体匹配中得到的场景重构后的三维几何信息进行坐标映射，实现对人体骨架关节的三维空间定位，从而得到人体骨架三维坐标。

在整个人机碰撞检测过程当中，先对人体三维骨架进行OBB包围盒处理具体为对三维人体骨架进行表面凸分解，形成包围人体骨骼关节的最小空间凸块OBB包围盒。

建立作业机器与人体三维骨架OBB包围盒模型在世界坐标系下的坐标系转换关系，求解作业机器末端与人体三维骨架OBB包围盒模型在世界坐标系下的相对位姿关系，结合两者工作范围，计算人机碰撞检测的安全阈值S。

相对位姿态关系求解如下：

其中是三维骨架包围盒模型在世界坐标系下的坐标向量，是机器末端在世界坐标系下的坐标向量，是前面二者的坐标转换矩阵，其是一个3×3的向量矩阵。

其中通过计算机器末端和人体三维骨架OBB包围盒模型的相对位姿关系，并结合二者的工作范围，并使用勾股定理可计算人机碰撞检测的安全阈值S。

实时计算人体三维骨架包围盒模型与机器末端之间的欧式距离，判断其与安全阈值S之间的关系，并综合考虑机器的迟滞性、人的反应时间，评估人机协作行为的安全性。

另外，对于人体三维骨架包围盒模型与机器末端之间的欧式距离，具体计算如下：

通过机器运动轨迹与人体三维骨架包围盒的交集求解，将机器运动轨迹与人体三维骨架包围盒模型进行坐标映射，然后根据如下欧式三维空间公式计算两者的距离；

三维空间公式：

其中为空间坐标系任意两点，为这两点之间的欧式三维空间距离。如果人体三维骨架包围盒模型与机器末端之间的欧式距离大于等于人机碰撞检测的安全阈值S，则认为人机协作行为是安全的。

通过上述方法，可实现操作者与机器协作下的实时碰撞安全检测，提高生产效率及操作者的人身安全，使得人和计算机充分发挥各自不同的优势，协作完成各自擅长的工作。

需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于三维骨架检测的人机安全协作方法，包括以下步骤：

通过双目摄像头实时采集左右不同视角下操作者与机器协作的左图像和右图像，并进行图像预处理；

对左图像和右图像进行立体匹配，得到场景重构后的三维几何信息；

对左图像和右图像进行人体骨架检测，得到左图像和右图像中的人体骨架特征，并对左图像和右图像目标进行一致性检验；

将检验后的人体骨架特征的图像与立体匹配后的场景的三维几何信息进行坐标映射，形成人体三维骨架，得到人体骨架三维坐标；

对人体三维骨架进行OBB包围盒处理，形成三维骨架包围盒模型；

建立机器与人体三维骨架包围盒模型在世界坐标系下的坐标系转换关系，获取世界坐标系下机器末端与三维骨架包围盒模型的相对位姿关系，计算人机碰撞检测的安全阈值；

实时计算人体三维骨架包围盒模型与机器末端之间的欧式距离，判断该欧式距离与安全阈值之间的大小关系，若该欧式距离大于等于安全阈值，则人机协作行为处于安全状态，若该欧式距离小于安全阈值，则人机协作行为处于危险状态；

所述立体匹配具体为：

对左图像和右图像利用Quick Shift算法进行预处理，然后结合SGM算法进行立体匹配，得到场景重构后的三维几何信息；

所述利用Quick Shift算法对图像进行预处理具体为：根据像素点的五维特征向量(r,g,b,x,y)和空间相似度进行图像分割，将左图像和右图像分割成若干分割块，五维特征向量(r,g,b,x,y)是指图像像素点坐标x、y与色彩三通道参数r、g、b。

2.根据权利要求1所述的基于三维骨架检测的人机安全协作方法，其特征在于，所述左图像和右图像目标进行一致性检验具体为：

对左图像和右图像分别进行人体骨架检测，并进行二维的人体关节检测定位，得到人体骨架关节的二维坐标，获取左人体二维骨架特征图像检测数据和右人体二维骨架特征图像检测数据；

再将左人体二维骨架特征图像检测数据和右人体二维骨架特征图像检测数据进行像素坐标换算和检验，验证左图像和右图像目标的一致性和准确性；

所述得到人体骨架三维坐标具体为：

利用坐标映射与变换原理，将目标一致性检验中得到的人体二维骨架特征图像与立体匹配中得到的场景重构后的三维几何信息进行坐标映射，实现对人体骨架关节的三维空间定位，从而得到人体骨架三维坐标。

3.根据权利要求2所述的基于三维骨架检测的人机安全协作方法，其特征在于，所述人体三维骨架进行OBB包围盒处理具体为对三维人体骨架进行表面凸分解，形成包围人体骨骼关节的最小空间凸块OBB包围盒；

所述实时计算人体三维骨架包围盒模型与机器末端之间的欧式距离过程中：

通过机器运动轨迹与人体三维骨架包围盒的交集求解，将机器运动轨迹与人体三维骨架包围盒模型进行坐标映射，然后根据如下欧式三维空间公式计算两者的距离；

三维空间公式：

其中(x₁，y₁，z₁)，(x₂，y₂，z₂)为空间坐标系任意两点，ρ为这两点之间的欧式三维空间距离。

Images