CN110253570A - 基于视觉的工业机械臂人机安全系统 - Google Patents

Abstract

一种基于视觉的工业机械臂人机安全系统，包括：用于捕捉运动物体各个时刻空间位置的运动物体跟踪模块，用于获取机器人关节信息并对机器人进行3D可视化的机器人运动可视化模块，用于机器人3D模型与环境中的操作者之间的最小距离计算的碰撞检测模块，用于进行机器人运动轨迹规划和修正的碰撞避免模块。首先该系统通过两个kinect摄像机提取环境中操作员的图像信息，并进行数据融合。然后获取机器人当前状态，构建机器人所在环境的3D模型。接着利用轴对齐包围盒法对操作员和机器人进行碰撞检测。最后，根据碰撞检测的结果，防撞模块可以对操作人员进行报警，并停止机器人或修改机器人的轨迹，使其远离正在接近的操作人员。

Description

基于视觉的工业机械臂人机安全系统

技术领域

本发明涉及一种工业机械臂人机安全系统，尤其是一种基于视觉的工业机械臂人机安全系统。

背景技术

近年来随着机器人技术的快速发展，生产过程机械化及自动化水平的不断提高，机器人在许多场合下已经将人从体力劳动中解放出来。在工业应用的场合下，为了保障人和机器人的安全，机器人在其工作的区域通常设有障碍物来使机器人和人之间产生物理空间上的隔离。虽然这是最简单而有效的方法，但这却阻碍了机器人和人之间的交互，因为机器人无法适应未知的环境。在保证人的安全的前提下，人与机器人能够安全共存，共享一个工作空间，这样可以发挥人和机器人的各自优势，提高生产效率。因此，机器人与人之间合作的安全考虑已经成为未来人机协作发展的首要任务。

为了解决上述问题，基于各类传感器的监测系统被开发完成。朱宏洁提出一种工业机械臂的安全警报机械爪(朱宏洁.一种工业机械臂的安全警报机械爪[P].中国专利：CN108772848A，2018-11-09.)，通过红外光感知机械臂与障碍物之间的距离，但是由于相对位置的设置以及传感器的布置位置局限性，不能进行快速的距离监测，甚至还有可能存在监测盲点。陈星辰，肖南峰提出了一种基于Kinect深度摄像头的工业机械臂实时避规划抓取系统(陈星辰；肖南峰.基于Kinect深度摄像头的工业机械臂实时避障规划抓取系统[P].中国专利:CN108972549A,2018-12-11.)，通过Kinect摄像头对机械臂周围环境进行感知，检测追踪动态障碍物，但该方法利用人的骨架信息进行碰撞检测，对环境中若存在由人引入的动态障碍物，仅仅通过人体骨架捕捉是无法识别的，因此该方法存在一定局限性。

发明内容

本发明克服现有技术的上述问题，提出一种基于视觉的工业机械臂人机安全系统。

首先该系统通过两个kinect摄像机提取环境中操作员的图像信息，并进行数据融合。然后获取机器人当前状态，构建机器人所在环境的3D模型。接着利用轴对齐包围盒法对操作员和机器人进行碰撞检测。最后，根据碰撞检测的结果，防撞模块可以对操作人员进行报警,并停止机器人或修改机器人的轨迹，使其远离正在接近的操作人员。

本发明为解决现有技术问题所采用的技术方案是：

一种基于视觉的工业机械臂人机安全系统，包括：用于捕捉运动物体各个时刻空间位置的运动物体跟踪模块，用于获取机器人关节信息并对机器人进行3D可视化的机器人运动可视化模块，用于机器人3D模型与环境中的操作者之间的最小距离计算的碰撞检测模块，用于进行机器人运动轨迹规划和修正的碰撞避免模块。

其中，所述运动物体跟踪模块，首先根据两个深度相机采集的机械臂工作空间图像，采用背景差分的方法从深度图中提取前景，将前景的深度图转化为点云图从而进行聚类，并根据点云的数量以及高度信息提取出操作员或者其它障碍物。具体操作步骤如下：

1)首先使用两个深度相机捕获机器人静态环境下(即没有人也没有任何动态的障碍物)的深度图。

2)利用实时模型去除法(real-time urdf filter)对步骤1的深度图进行处理，将机器人本身从深度图中去除。

3)重复步骤1、2，得到多张深度图，然后取其平均值来减小噪声的影响，并作为环境背景。

4)将步骤3得到的环境的背景与新获得的去除了机器人本身的深度图做减法运算，从而提取出环境中的前景。

5)使用PCL库中提供的深度图转换成点云图的接口，将两个相机的前景融合并转换成点云图。

6)将步骤5中获得的点云进行降采样，并进行聚类，最后根据点云的数量以及高度提取出属于人的点云或者其他障碍物的点云。

所述机器人运动可视化模块，机器人运动可视化模块通过3D模块监控机器人，并完成机器人三维模型的构建。首先对机器人底座进行标定，获得机器人相对于建模环境的位置。接着从机器人控制器中检索机器人在人机共存环境中的各个关节的数据信息，恢复机器人各个关节的位置，最后通过3D模型进行可视化。底座标定过程如图2所示。变换矩阵关系如下：

其中T表示各个坐标系之间的转换矩阵，式中表示标定板与相机之间的转换矩阵，可通过已标定的相机内参计算得到；为机器人底座与机器人末端的转换矩阵，可以通过机器人正运动学得到；为机器人底座与相机之间的转换矩阵，即需要求解的外参矩阵；为机器人末端与标定板坐标之间的转换关系，需要多次采样将其消去，最终获得只有的方程组。最后，机器人运动可视化模块从机器人控制器中读取机器人各个关节的位置数据，对机器人的3D模型进行可视化构建。

所述碰撞检测模块，对运动物体跟踪模块采集到的操作员或其它障碍物的点云数据以及机器人运动可视化模块构建的3D模型，使用轴对齐包围盒法划分成若干个包围盒，进行最小距离检测，具体步骤如下：

1)将动态障碍物点云信息和3D机器人模型放到同一坐标系下，进行组合。

2)选取动态障碍物点云图的两个相对角点，一个点由所有点坐标的最大值组成，另一个点由最小值组成，构建一个轴对齐包围盒。

3)重复步骤2，将动态障碍物分割成i个轴对齐包围盒，计算每个包围盒的中心坐标(X_i,Y_i,Z_i)和对应包围球的半径R_i。

4)对机器人的3D模型进行上述操作，每个包围盒的中心坐标记为(x_j,y_j,z_j)对应包围球的半径记为r_j，距离判断公式如下：

5)根据公式(2)，若其计算值小于0，则表示人和机器人发生了碰撞，反之则两者相互分离。

所述碰撞避免模块，根据碰撞检测模块中得到的人机最小距离，进行安全性判断，并采用人工势场法，对有可能发生的碰撞进行局部路径规划和修正。最终将修正后的路径转换成运动指令传输给机器人运动控制器，控制机器人对人机协作中可能发生的碰撞作出反应。

情况1：人快速接近机械臂。当以速度v_H>v_{H_danger}m/s接近机械臂时，系统规划的新路径不能保证人体的安全，机械臂执行向后方远离人的指令；

情况2：人缓慢接近机械臂。当人以速度v_H<v_{H_danger}m/s，通过使用人工势场法，预测人的运动轨迹，并产生以避免碰撞的新路径。系统将计算包含一段时间内所有可能的运动轨迹的边界球体。在这种情况下，机器人要避开的对象是边界球而不是人。如果人突然加速，系统应该对情况1做出反应；

情况3：人是静止的。开始时，系统判断人是否会妨碍机械臂的运动。若存在障碍，则应使用人工势场法生成新路径。若人是静止的，所以机器人不需要避开边界球，系统计划更短更有效的路径。如果人突然以v_H>v_{H_danger}m/s移动，系统做出情况1的反应；当人突然以v_H<v_{H_danger}m/s移动，系统针对这一动作，做出情况2的反应。

本发明的有优点是：本发明的运动物体跟踪模块采用了两个不同视角的深度相机进行视觉信息采集，能够减少由于相机视角造成的盲区，提高了人机共存环境下的安全性。另外，若环境中存在由人引入的动态障碍物，仅通过人体骨架捕捉是无法识别的，本发明的运动物体跟踪模块可以很好的解决这一问题。本发明的碰撞避免模块，采取了多种保障安全的方式，能够在保障安全的同时，提高生产效率。

附图说明

图1是本发明各个模块的组成。

图2是本发明机器人底座标定过程。

具体实施方式

以下结合附图对本发明实例做进一步详述：

一种基于视觉的工业机械臂人机安全系统，平台组成主要包括MicrosoftKinectV2两台，安装Ubuntu系统的计算机一台，计算机的CPU使用Intel Core i7-7800K3.50Ghz，GPU使用的是Nvidia TITAN Xp，Universal Robot公司生产的UR5机械臂一台。相机与计算机通过USB连接传输数据，机械臂通过局域网与计算机相连接。

结合图1，图2，本发明专利的具体实施方式如下：

运动物体跟踪模块根据深度相机采集的机械臂工作空间图像，采用背景差分的方法从深度图中提取前景，将前景的深度图转化为点云图从而进行聚类，并根据点云的数量以及高度信息提取出操作员或者其它障碍物。具体操作步骤如下：

1)首先使用深度相机捕获机器人静态环境下(即没有人也没有任何动态的障碍物)的深度图。

2)利用实时模型去除法(real-time urdf filter)对步骤1的深度图进行处理，将机器人本身从深度图中去除。

3)重复步骤1、2，得到多张深度图，然后取其平均值来减小噪声的影响，并作为环境背景。

4)将步骤3得到的环境的背景与新获得的去除了机器人本身的深度图做减法运算，从而提取出环境中的前景。

5)使用PCL库中提供的深度图转换成点云图的接口，将两个相机的前景融合并转换成点云图。

6)将步骤5中获得的点云进行降采样，并进行聚类，最后根据点云的数量以及高度提取出属于人的点云或者其他障碍物的点云。

机器人运动可视化模块通过3D模块监控机器人，并完成机器人三维模型的构建。首先对深度相机进行内参标定，以获取相机的投影矩阵和畸变参数；接着对机器人底座进行标定，获得机器人相对于建模环境的位置，底座标定过程如图2所示。变换矩阵关系如下：

其中T表示各个坐标系之间的转换矩阵，式中表示标定板与相机之间的转换矩阵，可通过已标定的相机内参计算得到；为机器人底座与机器人末端的转换矩阵，可以通过机器人正运动学得到；为机器人底座与相机之间的转换矩阵，即需要求解的外参矩阵；为机器人末端与标定板坐标之间的转换关系，需要多次采样将其消去，最终获得只有的方程组。最后，机器人运动可视化模块从机器人控制器中读取机器人各个关节的位置数据，对机器人的3D模型进行可视化构建。

碰撞检测模块将运动物体跟踪模块采集到的操作员或其它障碍物的点云数据以及机器人运动可视化模块构建的3D模型，进行最小距离检测。具体步骤如下：

1)将动态障碍物点云信息和3D机器人模型放到同一坐标系下，进行组合。

2)选取动态障碍物点云图的两个相对角点，一个点由所有点坐标的最大值组成，另一个点由最小值组成，构建一个轴对齐包围盒。

3)重复步骤2，将动态障碍物分割成i个轴对齐包围盒，计算每个包围盒的中心坐标(X_i,Y_i,Z_i)和对应包围球的半径R_i。

4)对机器人的3D模型进行上述操作，每个包围盒的中心坐标记为(x_j,y_j,z_j)对应包围球的半径记为r_j，距离判断公式如下：

5)根据上述公式，若其计算值小于0，则表示人和机器人发生了碰撞，反之则两者相互分离。

碰撞避免模块根据碰撞检测模块中得到的机器人和人体模型的最短距离，同时估计人和机械臂的运动速度，并进行安全性判断。采用人工势场法，对有可能发生的碰撞进行局部路径规划和修正，最终将修正后的路径转换成运动指令传输给机器人运动控制器，控制机器人对人机协作中可能发生的碰撞根据人机的相对速度作出以下反应。这里设定人机相对危险速度v_{H_danger}＝0.2m/s。

情况1：人快速接近机械臂。当以速度v_H>0.2m/s接近机械臂时，系统规划的新路径不能保证人体的安全，机械臂执行向后方远离人的指令；

情况2：人缓慢接近机械臂。当人以速度v_H<0.2m/s，通过使用人工势场法，预测人的运动轨迹，并产生以避免碰撞的新路径。系统将计算包含一段时间内所有可能的运动轨迹的边界球体。在这种情况下，机器人要避开的对象是边界球而不是人。如果人突然加速，系统应该对情况1做出反应；

情况3：人是静止的。开始时，系统判断人是否会妨碍机械臂的运动。若存在障碍，则应使用人工势场法生成新路径。若人是静止的，所以机器人不需要避开边界球，系统计划更短更有效的路径。如果人突然以v_H>0.2m/s移动，系统做出情况1的反应；当人突然以v_H<0.2m/s移动，系统针对这一动作，做出情况2的反应。

要强调的是，本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.基于视觉的工业机械臂人机安全系统，其特征在于：包括：用于捕捉运动物体各个时刻空间位置的运动物体跟踪模块，用于获取机器人关节信息并对机器人进行3D可视化的机器人运动可视化模块，用于机器人3D模型与环境中的操作者之间的最小距离计算的碰撞检测模块，用于进行机器人运动轨迹规划和修正的碰撞避免模块；

其中，所述运动物体跟踪模块，首先根据两个深度相机采集的机械臂工作空间图像，采用背景差分的方法从深度图中提取前景，将前景的深度图转化为点云图从而进行聚类，并根据点云的数量以及高度信息提取出操作员或者其它障碍物；具体操作步骤如下：

11)首先使用两个深度相机捕获机器人静态环境下(即没有人也没有任何动态的障碍物)的深度图；

12)利用实时模型去除法(real-time urdf filter)对步骤11)的深度图进行处理，将机器人本身从深度图中去除；

13)重复步骤11)、12)，得到多张深度图，然后取其平均值来减小噪声的影响，并作为环境背景；

14)将步骤13)得到的环境的背景与新获得的去除了机器人本身的深度图做减法运算，从而提取出环境中的前景；

15)使用PCL库中提供的深度图转换成点云图的接口，将两个相机的前景融合并转换成点云图；

16)将步骤15)中获得的点云进行降采样，并进行聚类，最后根据点云的数量以及高度提取出属于人的点云或者其他障碍物的点云；

所述机器人运动可视化模块，机器人运动可视化模块通过3D模块监控机器人，并完成机器人二维模型的构建；首先对机器人底座进行标定，获得机器人相对于建模环境的位置；接着从机器人控制器中检索机器人在人机共存环境中的各个关节的数据信息，恢复机器人各个关节的位置，最后通过3D模型进行可视化；底座标定过程如图2所示；变换矩阵关系如下：

其中T表示各个坐标系之间的转换矩阵，式中表示标定板与相机之间的转换矩阵，可通过已标定的相机内参计算得到；为机器人底座与机器人末端的转换矩阵，可以通过机器人正运动学得到；为机器人底座与相机之间的转换矩阵，即需要求解的外参矩阵；为机器人末端与标定板坐标之间的转换关系，需要多次采样将其消去，最终获得只有的方程组；最后，机器人运动可视化模块从机器人控制器中读取机器人各个关节的位置数据，对机器人的3D模型进行可视化构建；

所述碰撞检测模块，对运动物体跟踪模块采集到的操作员或其它障碍物的点云数据以及机器人运动可视化模块构建的3D模型，使用轴对齐包围盒法划分成若干个包围盒，进行最小距离检测，具体步骤如下：

21)将动态障碍物点云信息和3D机器人模型放到同一坐标系下，进行组合；

22)选取动态障碍物点云图的两个相对角点，一个点由所有点坐标的最大值组成，另一个点由最小值组成，构建一个轴对齐包围盒；

23)重复步骤22)，将动态障碍物分割成i个轴对齐包围盒，计算每个包围盒的中心坐标(X_i，Y_i，Z_i)和对应包围球的半径R_i；

24)对机器人的3D模型进行上述操作，每个包围盒的中心坐标记为(x_j，y_j，z_j)对应包围球的半径记为r_j，距离判断公式如下：

25)根据上述公式，若其计算值小于0，则表示人和机器人发生了碰撞，反之则两者相互分离；

所述碰撞避免模块，根据碰撞检测模块中得到的人机最小距离，进行安全性判断，并采用人工势场法，对有可能发生的碰撞进行局部路径规划和修正；最终将修正后的路径转换成运动指令传输给机器人运动控制器，控制机器人对人机协作中可能发生的碰撞作出反应；

情况1：人快速接近机械臂；当以速度v_H＞v_{H_danger}m/s接近机械臂时，系统规划的新路径不能保证人体的安全，机械臂执行向后方远离人的指令；

情况2：人缓慢接近机械臂；当人以速度v_H＜v_{H_danger}m/s，通过使用人工势场法，预测人的运动轨迹，并产生以避免碰撞的新路径；系统将计算包含一段时间内所有可能的运动轨迹的边界球体；在这种情况下，机器人要避开的对象是边界球而不是人；如果人突然加速，系统应该对情况1做出反应；

情况3：人是静止的；开始时，系统判断人是否会妨碍机械臂的运动；若存在障碍，则应使用人工势场法生成新路径；若人是静止的，所以机器人不需要避开边界球，系统计划更短更有效的路径；如果人突然以v_H＞v_{H_danger}m/s移动，系统做出情况1的反应；当人突然以v_H＜v_{H_danger}m/s移动，系统针对这一动作，做出情况2的反应。

2.根据权利要求1所述的基于视觉的工业机械臂人机安全系统，其特征在于：所述运动物体跟踪模块中，采用背景差分的方法从深度图中提取前景，将前景的深度图转化为点云图从而进行聚类，并根据点云的数量以及高度信息提取出操作员或者其它障碍物；所述碰撞检测模块中，对运动物体跟踪模块采集到的操作员或其它障碍物的点云数据以及机器人运动可视化模块构建的3D模型，使用轴对齐包围盒法划分成若干个包围盒，进行最小距离检测；所述碰撞避免模块，根据碰撞检测模块中得到的人机最小距离，进行安全性判断，并采用人工势场法，对有可能发生的碰撞进行局部路径规划和修正；最终将修正后的路径转换成运动指令传输给机器人运动控制器，控制机器人对人机协作中可能发生的碰撞作出反应。