CN107932560B - 一种人机安全防护系统和防护方法 - Google Patents

Abstract

本发明涉及一种人机安全防护系统，包括机器人、相机及主控系统，其中主控系统包括：相机通信节点，与相机通信以获取相机采集的点云数据；机器人驱动节点，与机器人通信以实现对机器人的控制；标定节点，标定机器人基坐标系和相机坐标系的位置；视觉融合节点，将相机采集的点云数据集成，并统一在机器人基坐标系下进行描述；机器人点云过滤节点，将机器人自身的点云从所集成的点云中滤除；以及人机安全检测节点，基于滤除后的点云检测机器人运行过程中的危险情况，并根据危险情况生成相应的控制指令以采取相应的措施。本发明具有成本低廉、可扩展性强、配置灵活等特点，也可直接作为示教盒任务或者其他第三方平台的扩展，实现人机安全交互。

Description

一种人机安全防护系统和防护方法

技术领域

本发明涉及机器人以及人机交互技术领域，尤其涉及一种融合视觉传感的机器人人机安全防护系统和防护方法。

背景技术

传统工业机器人在生产作业时，为了保证安全，通常在其周围设置隔离栏，并且在其运行过程中不允许工作人员靠近。现阶段工业机器人为了满足柔性制造、智能制造等需求，往往需要更多的人机交互，因此交互性、协作性和安全性等方面就自然成为了关注的焦点，让机械臂如何感知周围的环境是应对这些挑战的关键。

触觉或力传感器让机器人从重复劳作到具备一定的自主性并实现人机交互成为了可能，但是触觉和力传感器的造价都相当昂贵，而且接触式的传感是以人和机器人之间产生力为前提的，如若机器人持有的是锋利的工具或其他不宜与人直接接触的装置，则具备一定的危险性。

目前，深度相机的普及使得通过视觉构建相对较为廉价的人机安全防护系统成为可能，而且视觉传感器可以提供宽广的视场，提供了比力传感器更大的作用范围以及更为丰富的信息。

经对现有文献检索发现，中国专利申请号为2015107774898，名称为“一种机器人的人-机交互安全防护系统”，提出由语音提示装置、安装于机器人摆臂末端执行器上的融合型传感器、覆盖在机器人摆臂末端执行器上的灵敏皮肤及信号传递线路组成的安全防护系统。但是，该系统将视觉传感器安装于机器人末端，这就限制了视觉的作用。而为了弥补这种安装方式所导致的视觉范围较窄，该系统使用了红外接近器、语音提示装置等设备，从而导致成本比较高。

又经检索发现，中国专利申请号为2013800564474，名称为“机器人安全工作的系统和方法”采用安装于机器人躯体的声呐和照相机的方式。其中声呐用于检测是否有人存在，照相机用于识别人体躯干、头部与手臂，以实现分级减速。但由于这些检测识别设备安装在机器人躯体上，使得感知机器人周围环境时视角会受到限制，比如若有人从机器人后方靠近机器人，机器人就无法及时响应。

经检索还发现，中国专利申请号为2013101032541，名称为“人机协作装置及实现人机协作的方法”通过Kinect相机采集彩色图、深度图以及试验员的骨骼信息，来识别人的手腕位置，并通过聚类算法识别人手中的物体，供机器人抓取。首先，该发明采用深度图进行计算，因此使得多摄像头信息很难融合；其次，该发明没有在深度图中滤除机器人自身，当人与机器人在深度图中有重叠时，可能难以识别人体骨骼信息，甚至出现误判；另外，该发明没有在人机接触时进行减速操作，这是比较危险的。

发明内容

鉴于现有技术的上述缺陷，本发明提供了一种人机安全防护系统，基于ROS融合视觉传感的UR机器人，通过ROS系统将机器人位姿、多摄像头信息进行整合以获得的点云信息统一在机器人坐标系下进行描述，并通过过滤机器人自身点云能够准确地捕获到人以及其他移动物体靠近机器人，再经由ROS service功能控制机器人实现两级减速，确保安全生产。本发明具有成本低廉、可扩展性强、配置灵活等特点，也可直接作为示教盒任务或者其他第三方平台的扩展，实现人机安全交互。

一方面，本发明提供一种人机安全防护系统，其特征在于包括一个或多个机器人、一个或多个相机，以及主控系统，其特征在于，所述主控系统包括：相机通信节点，被配置为与所述一个或多个相机通信以获取所述一个或多个深度相机采集的点云数据；机器人驱动节点，被配置为与所述一个或多个机器人通信以实现对所述一个或多个机器人的控制；标定节点，被配置为标定机器人基坐标系和相机坐标系的位置；视觉融合节点，被配置为将所述一个或多个相机采集的点云数据集成，并统一在所述机器人基坐标系下进行描述；机器人点云过滤节点，被配置为将所述一个或多个机器人自身的点云从所集成的点云中滤除；以及人机安全检测节点，被配置为基于滤除后的点云检测机器人运行过程中的危险情况，并根据危险情况生成相应的控制指令以采取相应的措施。

本发明的一个实施例中，其特征在于，所述主控系统包括：运动规划节点，被配置为形成任务以及运动规划。

本发明的另一个实施例中，其特征在于：所述机器人点云过滤节点被配置为在机器人的每个关节上选取一个或多个控制点，作为距离计算的参数。

本发明的另一个实施例中，其特征在于：通过计算加权危险度检测所述危险情况，其中，加权危险系数从远离机器人末端的控制点向靠近机器人末端的控制点递增。

本发明的另一个实施例中，其特征在于，所述人机安全检测节点包括：判断模块，被配置为对点云进行检测和识别，以判断是人还是物体；以及减速模块，被配置为通过计算危险度来检测危险情况，并基于所述危险度来控制机器人的运行速度。

本发明的另一个实施例中，其特征在于，所述减速模块被配置为两级减速，其中：当所述危险度超出第一安全阈值时，执行第一级减速，将机器人的运行速度降低到第一速度；以及当所述危险度超出第二安全阈值时，执行第二级减速，将机器人的运行速度降低到第二速度，其中，所述第二速度小于所述第一速度。

另一方面，本发明提供一种实现人机安全防护的方法，其特征在于，包括以下步骤：S1、通过相机采集点云数据；S2、标定机器人基坐标系和相机坐标位置；S3、融合处理相机所采集的点云数据，并统一在机器人基坐标系下进行描述；S4、从点云中滤除机器人自身的点云；S5、基于滤除后的点云检测机器人运行过程中的危险情况，并根据危险情况生成相应的控制指令以采取相应的措施。

本发明的另一个实施例中，其特征在于，步骤S2包括：检测视觉系统是否已标定，当不存在标定数据时，提示用户进行标定。

本发明的另一个实施例中，其特征在于，步骤S5包括：根据危险情况计算危险度，并且当所述危险度超出第一安全阈值时，执行第一级减速，将机器人的运行速度降低到第一速度；以及当所述危险度超出第二安全阈值时，执行第二级减速，将机器人的运行速度降低到第二速度，其中，所述第二速度小于所述第一速度。

本发明的另一个实施例中，其特征在于：在执行所述第一级或第二级减速时，当所述危险度未达到第一安全阈值时，恢复正常运行；以及在执行所述第二级减速时，当所述危险度未达到第二安全阈值并超出第一安全阈值时，恢复至所述第一速度。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个实施例中的人机安全防护系统的示意图；

图2是本发明的一个实施例中的系统布局示意图；

图3是本发明的一个实施例中的标定板的示意图；

图4是本发明的一个实施例中的操作流程图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

下面结合附图对本发明作进一步的详细说明。

如图1所示为本发明一个实施例的融合视觉传感的机器人人机安全防护系统示意图，优选的基于ROS(Robot Operating System)以及UR(Universal Robots)机器人实现该系统。在一个实施例中，人机安全防护系统包括一个或多个机器人(可以包括机械臂等各种形式，如Universal Robots公司发布的型号为UR3、UR5或UR10的人机协作型机械臂)、一个或多个相机(优选深度相机，如型号为ASUS Xtion PRO)、标定板、网线等必要的硬件设备以及主控系统(如ROS系统，版本可以为Indigo或Kinetic)。所述主控系统包含视觉融合节点、标定节点、机器人点云过滤节点、人机安全检测节点、与一个或多个深度相机通信的相机通信节点(如OpenNI2节点)、与一个或多个机器人通信的机器人驱动节点(如UR驱动节点)以及负责运动规划的运动规划节点(如Movegroup节点)。

相机通信节点为深度相机的驱动节点，通过有线或无线的方式与深度相机通信，用以获取深度相机采集的点云数据。在一个实施例中，相机通信节点为OpenNI2节点，能够读取相机的彩色图和深度图，并生成点云。优选的，一个节点控制一个相机，多个相机有对应数量OpenNI2节点。

机器人驱动节点，通过有线或无线的方式与机器人连接，以实现对机器人的控制。在一个实施例中，机器人驱动节点为UR驱动节点，通过调用ROS service并经由TCP/IP协议连接机器人的控制器。UR驱动节点为UR机器人的软件驱动，用于建立ROS系统与UR机器人的通信，调用UR驱动节点的ROS service可以直接控制UR机器人IO、关节速度等。

标定节点，用以标定机器人基坐标系和相机坐标系的位置。优选的，一个标定节点标定一个相机与机器人基坐标系的位姿，若有多个相机则开启对应数量的标定节点。

视觉融合节点，用以将一个或多个相机采集的点云数据集成，并统一在机器人基坐标系下进行描述。在一个实施例中，视觉融合节点订阅多个相机发布的点云数据以及多个标定节点发布的位姿信息，根据标识号确定对应的相机和标定数据，并将多个相机发布的点云统一在机器人基坐标系下进行描述。

机器人点云过滤节点，通过读取机器人的控制器来获取机器人的位置，并将机器人自身的点云从所集成的点云中滤除。在一个实施例中，机器人点云过滤节点读取控制器当前关节的位置，结合UR机器人模型URDF(Unified Robot Description Format，统一机器人描述格式)文件，从视觉融合节点发布的点云中将机器人自身的点云去除。同时，可在机器人的每个关节上选取一个或多个控制点，作为距离计算的参数。

运动规划节点，用以形成任务以及运动规划。在一个实施例中，运动规划节点为Movegroup节点，用于建立机器人任务，如抓取、搬运等。如若任务由示教盒或者第三方平台定义，也可不需要启用该节点。

人机安全检测节点，用来基于点云检测机器人运行过程中的危险情况，并根据危险情况生成相应的控制指令以采取相应的措施。在一个实施例中，人机安全检测节点由两个模块组成，第一个模块为判断模块，通过聚类算法检测距机器人最近的点云的集合，并对点云进行识别，判断是人还是物体。第二个模块为减速模块，优选的分为两级减速。第一级由用户设定固定的第一安全阈值执行第一级减速，如提示用户输入固定的减速距离和减速比，通常可设置为2米的减速距离以及50％的减速比，用户可根据需要自行设置。第二级计算机器人上的各控制点到人体点云的危险度，优选的计算加权危险度。考虑到机器人的末端最容易碰触到人体，因此加权危险系数从远离末端的关节(或控制点)向靠近末端的关节(或控制点)递增。若加权危险度超出第二安全阈值，则进一步降低机器人的运行速度，如将机器人运行速度降为工作速度的10％。设置两级减速目的是提高机器人的运行效率。若只设置一级减速，一旦检测到危险度超出安全阈值即迅速地显著降低机器人的运行速度，那么当频繁有人路过或接近机器人周围时，就会引起机器人频繁地降速，从而导致机器人生产效率的急剧下降。当然，也可以根据需要灵活地设置一级或多级减速，及其相应的减速参数，如减速距离、减速比等。

如图2所示为本发明的一个实施例的系统布局示意图。机器人(或机械臂)4与计算机6(或服务器等)通过网线(或无线通讯方式)5连接。两者距离没有限制，但优选的计算机位置不要遮挡相机的视野。深度相机2、7采集色彩和深度等信号，可选用长距离相机，优选的，工作距离在3m以上，也可设置更多数量或其他型号规格的相机。在一个实施例中，两个相机位于机器人两侧，并且安装位置在确保深度相机有效工作距离的前提下与机器人的距离尽可能的远，这样既可以确保机器人完全处于相机的视场中，又可以预留较大的安全距离使得相机能够观测到操作人员1接近机器人4。相机安装的高度可根据现场情况进行灵活的调整，优选的不低于机器人的基座，以便相机的视野能够完全观测到机器人，优选的，视场包含整个机器人以及机器人周围2米以上。机械抓手8安装于机器人(或机械臂)的末端，可执行各种操作。在一个实施例中，机械抓手8用以执行抓取任务以及在标定时夹持标定板9。

在一个实施例中，可以采用UR5机器人(UNIVERSAL ROBOTS公司发布的负载5千克人机协作机器人)，两个型号相同的深度相机，均为ASUS Xtion PRO摄像头，ROS indigo版本的ROS系统(Robot Operating System，是一个开源机器人框架，最初由斯坦福大学开发，2007年以后由Willow Garage公司完善并推广)，Onrobot公司的RG2机械抓手。

标定板用于在正式使用之前进行标定操作，以生成标定数据。标定板的形状及图案不作限制，只需能够让系统准确识别即可。在一个实施例中，标定板的形状可如图3所示为5行4列的棋盘格，其中单元格为正方形，边长25毫米。

如图4所示为本发明的一个实施例的操作流程图。在一个实施例中，按照如图2所示完成系统布置后，可以执行以下步骤：

(1)开启ROS系统。

(2)启动OpenNI2节点连接相机。该节点为深度相机的驱动，与相机连接，读取颜色、深度等信息，以生成点云。

(3)开启UR机器人。在一个实施例中，通过示教盒开启UR机器人。

(4)启动UR驱动节点。该节点用于建立ROS系统与UR机器人的通信。

(5)检测视觉系统是否已标定。如果存在标定数据，则询问用户是否使用该数据；如果不存在标定数据，则提示用户进行标定。

(6)如步骤5所述，若不存在标定数据，则提示用户安装标定板，并开启ROS标定节点执行标定。标定操作可以为自动标定和/或手动标定，自动标定自动执行上一次标定所使用的位姿，由ROS标定节点发布位姿信息，可在标定执行前显示标定过程中机器人的虚拟位姿。在新的环境中不建议用户使用自动标定，以防止某些位姿与环境发生冲突或相互干扰。手动标定需要用户操作机器人，使得相机可以观察到标定板从而进行计算。初次使用建议使用手动标定。

(7)启动视觉融合节点。视觉融合节点读取各个相机标定后的点云数据，统一在机器人基坐标系下进行描述。

(8)启动机器人点云过滤节点。读取机器人控制器关节位置以及UR机器人的URDF(Unified Robot Description Format，统一机器人描述格式)，并在步骤(7)输出的点云中去除机器人自身的点云。

(9)判断是否需要ROS规划任务，如果需要则开启Movegroup节点进行运动规划，如让用户定义任务。

(10)开启人机安全检测节点，对机器人周围的环境及其危险情况进行检测。可以由用户自定义第一级减速距离和减速比。

(11)保持循环检测。若检测到有人进入减速区(危险度超出第一安全阈值或第二安全阈值)，则根据设定执行第一级或第二级减速，机器人减速运行；若检测到走出第二级减速区(危险度未达到第二安全阈值并超出第一安全阈值)，则恢复至第一级减速速度；若检测到已离开减速区(危险度未达到第一安全阈值)，则恢复正常运行。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种人机安全防护系统，其特征在于包括一个或多个机器人、一个或多个相机，以及主控系统，其特征在于，所述主控系统包括：

相机通信节点，被配置为与所述一个或多个相机通信以获取所述一个或多个相机采集的点云数据；

机器人驱动节点，被配置为与所述一个或多个机器人通信以实现对所述一个或多个机器人的控制；

标定节点，被配置为标定机器人基坐标系和相机坐标系的位置；

视觉融合节点，被配置为将所述一个或多个相机采集的点云数据集成，并统一在所述机器人基坐标系下进行描述；

机器人点云过滤节点，被配置为将所述一个或多个机器人自身的点云数据从所述视觉融合节点集成的点云数据中滤除；以及

人机安全检测节点，被配置为基于滤除所述一个或多个机器人自身的点云数据后的点云数据检测机器人运行过程中的危险情况，并根据危险情况生成相应的控制指令以采取相应的措施；

所述机器人点云过滤节点被配置为在机器人的每个关节上选取一个或多个控制点，作为距离计算的参数；

通过计算加权危险度检测所述危险情况，其中，加权危险系数从远离机器人末端的控制点向靠近机器人末端的控制点递增。

2.根据权利要求1所述的系统，其特征在于，所述主控系统包括：

运动规划节点，被配置为形成任务以及运动规划。

3.根据权利要求1所述的系统，其特征在于，所述人机安全检测节点包括：

判断模块，被配置为对点云数据进行检测和识别，以判断是人还是物体；以及

减速模块，被配置为通过计算危险度来检测危险情况，并基于所述危险度来控制机器人的运行速度。

4.根据权利要求3所述的系统，其特征在于，所述减速模块被配置为两级减速，其中：

当所述危险度超出第一安全阈值时，执行第一级减速，将机器人的运行速度降低到第一速度；以及

当所述危险度超出第二安全阈值时，执行第二级减速，将机器人的运行速度降低到第二速度，其中，所述第二速度小于所述第一速度。

5.一种实现人机安全防护的方法，其特征在于，包括以下步骤：

S1、通过相机采集点云数据；

S2、标定机器人基坐标系和相机坐标位置；

S3、融合处理相机所采集的点云数据，并统一在机器人基坐标系下进行描述；

S4、从步骤S1采集的点云数据中滤除机器人自身的点云数据；

S5、基于步骤S4中滤除机器人自身的点云数据后的点云数据检测机器人运行过程中的危险情况，并根据危险情况生成相应的控制指令以采取相应的措施；

所述步骤S2包括：

检测视觉系统是否已标定，当不存在标定数据时，提示用户进行标定；

所述步骤S5包括：

根据危险情况计算危险度，并且当所述危险度超出第一安全阈值时，执行第一级减速，将机器人的运行速度降低到第一速度；以及

当所述危险度超出第二安全阈值时，执行第二级减速，将机器人的运行速度降低到第二速度，其中，所述第二速度小于所述第一速度。

6.根据权利要求5所述的方法，其特征在于：

在执行所述第一级或第二级减速时，当所述危险度未达到第一安全阈值时，恢复正常运行；以及

在执行所述第二级减速时，当所述危险度未达到第二安全阈值并超出第一安全阈值时，恢复至所述第一速度。

Images