CN106956261A - 一种具有安全识别区的人机交互机械臂系统及方法 - Google Patents

Abstract

本发明提供了一种具有安全识别功能的人机交互机械臂系统及方法。该系统由视觉传感器、投影仪、计算机主机和机械臂组成。投影仪接收计算机主机传送过来的投影图像，主要负责投影出跟随机械臂移动的安全识别区和用以实现人机交互的投影控制区。视觉传感器采集图像信号传送到计算机进行处理，识别机械臂的三维空间位置信息、是否有人或其他运动物体进入安全识别区以及识别投影控制区的人的行为控制指令。当识别到有物体进入安全识别区，主机将发送指令到机械臂使其暂停运行直至该物体离开安全识别区。当识别到投影控制区有人为指令发出，主机将发送信号给机械臂完成相应动作。本发明提供了具有安全保障的人机协作系统，可应用于实验室、工厂、科技展馆等领域。

Description

一种具有安全识别区的人机交互机械臂系统及方法

技术领域

本发明涉及安全的人机交互技术领域。具体地涉及一种基于机器视觉和投影的机械臂安全交互控制系统。

背景技术

随着现代化工业的快速发展，生产过程机械化及自动化水平不断提高，机械臂在生产过程的应用已经相当普遍。目前大多数机械臂在工作中基本按照既定的工序和关节轨迹在运行，不能感知和发现周围运动的物体，特别是工人，因此时常会有机械臂伤人和一些碰撞事故发生。为了避免这些事故，人们通常为机械臂单独划分一块工作区域，在机械臂工作时不得让人进入，这种方法虽然可以避免事故的发生，但是一方面浪费土地空间，另一方面将人与机器人分开，不能很好地满足人与机器人协调工作的需求。因此提高机械臂的环境感知能力和与人的交互能力是一个重要的发展方向。

为了解决机器人安全工作问题，在2016北京举办的第二届世界机器人大会（WRC2016）上，湖南的瑞森可机器人科技有限公司展示了一款Rethink系列智能协作机器人。他们在机械臂上加入了力量感知系统，在与人协作过程中，如果人碰到机械臂，机器人会自动停止工作，从而减少工作中机械对人的伤害。这种机械臂比较智能，但是需要在每一块机械臂上安装力量感知器，所需要的传感器多，主要适用于可移动的机器人身上。而对于已经投入使用的机械臂，其难以在原有的基础上上加装这套力量感知系统，而更换机械臂将会带来更高的成本和不必要的浪费，因此这种技术在机械臂上难以得到普及。

发明内容

本发明提供一种具有安全识别区的人机交互机械臂系统，该系统由视觉传感器、投影仪、机械臂和计算机组成，视觉传感器、投影仪、机械臂分别通过有线或无线的方式与计算机主机连接；在视觉传感器和投影仪涵盖范围内，机械臂可以一个或多个；在计算机主机处理速度足够的情况下，视觉传感器、投影仪和机械臂所组成的部分可以一个或多个。结构示意图如附图1所示。

所述视觉传感器通常为但不限于：具有三维识别功能的摄像头，用于采集空间的三维图像信息和运动信息。

所述投影仪负责接收计算机主机发送过来的图像信息并投影到地面上，投影仪投影内容主要是但不限于：跟随机械臂移动的安全识别区、投影控制区。安全识别区可以是基于二维平面距离生成或基于三位空间距离生成。投影控制区是提供一个人与机器人交互的区域，投影控制区的交互内容包含但不限于：一个防止误操作的“交互开关”和多个机械臂控制方格。

所述机械臂可以是任意形式和任意自由度的机械臂，在计算机主机发出相应控制信号时完成相应的任务。

所述计算机主机可以是任意的、普通的主机或处理器。

本发明的另一种方案为一种具有安全识别功能的人机交互机械臂系统的实施方法，包括如下内容：

①视觉传感器采集空间的三维图像信息和运动信息，然后通过有线或无线的方式传送给计算机主机。计算机主机经过图像处理后一方面识别视线范围内是否有人或其他运动物体存在，如果有，则判断该物体与投影仪投下的安全识别区是否相交或包含；另一方面在投影仪投影的控制区，识别是否有人为的控制指令产生。

②投影仪投影出的安全识别区不限于以阴影的形式显示（或不需显示），它是跟随机械臂运动的，视觉传感器和计算机主机所组成的视觉识别系统一旦识别到人或其他运动物体进入安全识别区，计算机立即发送信号给机械臂让其停止运行以避免碰撞，直至该物体离开安全识别区，计算机将会发送信号给机械臂让其启动运行。

③投影仪在投影控制区投影出“交互开关”和机械臂控制方格。视觉识别系统实时监控投影控制区的人为输入信号。“交互开关”为了防止误操作发生，其产生信号的形式可以是但不限于：脚踩“交互开关”十秒。视觉识别系统识别到“交互开关”十秒的脚踩信号后，立即开启/关闭“人机交互模式”。“人机交互模式”关闭时，机械臂在“工作保护模式”下自动运行。只有在“人机交互模式”开启状态下，机械臂控制方格上产生人为的控制信号才是有效的。控制方格信号产生形式同样为脚踩，但无需持续十秒，视觉识别系统一旦识别，即有控制信号产生。其控制方式包含：一次性输入指令和持续性输入指令。一次性输入指令是指视觉识别系统在投影控制区识别到一次控制指令后，机械臂即可完成一套连续动作，在完成连续动作的时间段，不需要输入任何指令。而持续性输入指令需要持续识别投影控制区的指令，一旦没有指令机械臂将停止运动。

④计算机主机实时地接收视觉传感器采集的图像信息进行处理和实时地构造投影图像并发送给投影仪进行投影；另一方面在识别出人或其他运动物体进入安全识别区或在投影控制区有人为控制指令产生时，给机械臂发送相应的控制信号。

具体过程为：

视觉传感器安装在机械臂上方的天花板上（或墙上），其拍摄的图像信息通过有线或无线的方式传送给计算机处理，用以完成三个方面的内容：

1.获取机械臂及其末端的三维空间坐标位置。

2.识别是否有人或其他运动物体进入投影图像中的安全识别区（阴影区域）。

3.识别在投影控制区是否有控制指令发出。

投影仪安装在机械臂上方的天花板上（或墙上），其通过有线或无线的方式接收计算机传送过来的图像数据投影出去。其一方面根据视觉传感器采集到的机械臂的位置信息在机械臂周围区域投影出安全识别区，如附图1所示的阴影区域；另一方面其投影出一块投影控制区，人可以在该区域进行某种行为动作，如用脚踩的方式遮挡某块投影下来的控制方格，将会被视觉传感器识别成某种控制信号并发送给机械臂，从而实现人机交互。

投影仪投影出来的安全识别区（阴影区域）是跟随机械臂移动的。视觉传感器时刻采集图像数据传送给计算机主机，主机通过图像处理算法提取出机械臂的空间位置，该位置映射到用以投影的二维图像上生成阴影区域，投影图像经计算机发送到投影仪进行投影，投影出来的阴影区域即为安全识别区。整个过程是实时的，持续进行的，因此阴影区域是跟随机械臂移动的。而对于投影图像的控制区其位置是固定不变的，控制区的投影位置一般选择在机械臂旁且方便人去操作的地方，投影的图像应为易于识别的控制方格。

由于投影控制区通常选择在易于人去操作的地方，因此容易发生误操作的可能，如行人经过时不小心踩到控制方格等。因此可在投影控制区内设置一个“交互开关”用以开启或关闭投影控制区的人机交互功能，如附图2所示。具体地操作可以是但不限于：人脚踩“交互开关”方格十秒钟，系统就会开启或关闭人机交互模式。当系统工作在人机交互模式，机械臂受控于投影控制区的人为控制信号。当关闭“人机交互模式”，则机械臂将在“工作保护模式”下自动工作。此时控制方格将不进行投影显示，也失去“脚踩”控制功能。为了简明，在本发明的讲述中我们默认开启“人机交互模式”。

视觉传感器实时监控是否有人或其他运动物体进入阴影区域（安全识别区），一旦进入阴影区域，则表明机械臂与他们存在碰撞的可能，因此计算机将通过有线或无线的方式发送停止信号给机械臂，机械臂收到信号后停止运行，以避免事故发生。一旦视觉传感器识别到他们离开阴影区域，计算机将发送启动运行信号给机械臂，机械臂接收到信号后恢复到运行状态。视觉传感器实时监控投影控制区是否有人为的信号产生，包括交互开关信号和控制信号。在开启“人机交互模式”下，视觉传感器实时监控投影图像的控制区域是否有控制信号发生，一旦有控制信号发生，计算机将发送相应控制信号给机械臂，让其完成相应的任务。而如果关闭“人机交互模式”，视觉传感器只需检测是否有开关信号而无需识别是否有控制信号产生，此时机械臂在“工作保护模式”下自动运行。上述“视觉传感器监控/识别”的过程实质是通过计算机对视觉传感器实时采集到的图像数据进行图像处理后得到。

计算机是一台普通的计算机主机，其主要负责接收视觉传感器拍摄的实时图像信号，并对图像信号进行处理，以获取机械臂空间位置和运动信息、人或其它运动物体的位置和运动信息以及投影控制区的图像信息，从而为投影仪提供阴影图像信息以及为机械臂提供控制和安全反馈信息，从而实现整个系统的控制。通常一台计算机可以完成多个同类具有安全识别功能的人机交互机械臂系统的控制，本发明只以一台机械臂为例进行阐述。

机械臂可以是任意形式的机械臂，其通过有线或无线的方式接收计算机的控制指令，例如人在投影控制区的产生的控制信号以及人或运动物体进入安全识别区时的停止运行信号等。机械臂接收到信号后将根据信号完成相应的工作。

本发明公开了一种具有安全识别功能的人机交互机械臂的实现方法。其可以在原有的普通机械臂系统上增加两个功能：其一，提供跟随机械臂运动的安全识别区警示他人，同时在有人或其他运动物体进入该识别区的时候停止机械臂运动以防止碰撞事故发生。其二，提供投影控制区，人可以通过行为动作与机械臂进行交互，例如脚踩某块控制方格的方式对机械臂发出某种控制。这两个功能都是基于投影仪的图像投影和视觉传感器的图像捕捉实现的。本发明所提供的方法在实现机械臂安全运行和人机交互上可以在原有机械臂系统上进行加装实现，而且机械臂也无需安装其他感知环境的传感器，因此具有成本低、易安装、操作简单、交互体验好等优点。

附图说明

图1为本发明的具有安全识别功能的人机交互机械臂的结构示意图；

其中1为视觉传感器、2为投影仪、3为计算机主机、4为机械臂、5为投影控制区、6为安全识别区。

图2为系统用以人机交互的投影控制区的控制方格示意图；

图3 为人在投影控制区进行人机交互操作的示意图；

图4为基于二维平面距离的安全识别区（投影的阴影区域）的示意图。其中（a）为人与安全识别区相交，（b）为人未进入安全识别区，（c）为人完全进入安全识别区；

图5为基于三维空间距离的安全识别区（机械臂周围的阴影区域）示意图。其中（a）为人与安全识别区相离，（b）为人与安全识别区相交；

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地较为详细描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如附图1所示，本系统由视觉传感器（1）、投影仪（2）、计算机主机（3）和机械臂（4）组成。视觉传感器（1）、投影仪（2）和机械臂（4）通过有线或无线的方式连接计算机主机（3）。投影控制区（5）和安全识别区（6）由投影仪投影图像所得，投影控制区（5）的投影位置是固定的，一般投影一些具有标识意义的图案方格。如附图2所示，投影控制区（5）设置了一个交互开关和四个控制方格，四个控制方格分别代表松开机械手、闭合机械手、右移机械臂和左移机械臂的含义。安全识别区（6）是跟随机械臂运动的，其可表示为投影仪投影的一片阴影区域，用以标识本区域为安全识别区。安全识别区（6）是围绕工作中的机械臂划分的区域，是运动物体存在与机械臂碰撞可能的区域，该区域一般略大于机械臂所占空间，以保证机械臂与运动物体有着足够远的安全距离，因此安全识别区（6）的形状大小依赖于机械臂的形状大小，但是可根据不同的场合和环境进行设置。上述讨论的安全识别区（6）是基于二维平面距离划分的，也是本发明重点讨论的，基于三维空间距离划分的安全识别区不是本文讨论的内容，但将会在后面讲到。它们都属于本发明涵盖范围内。

视觉传感器（1）通过摄像头获取机械臂和人或移动物体的三维空间位置和运动信息以及投影控制区的图像信息，这些信息都是通过视觉传感器（1）获取的图像数据在计算机主机（3）中进行图像处理得到，因此我们可以把视觉传感器（1）和计算机主机（3）组成的完成视觉识别的系统称为视觉识别系统。视觉识别系统一方面负责监控是否有运动物体进入安全识别区（6），一旦有物体进入，计算机主机（3）将发送信号给机械臂（4）让其暂停运行直至视觉识别系统检测到安全识别区没有物体为止。另一方面，视觉识别系统监控投影控制区是否有人为的信号产生，包括开关信号和控制信号。开关信号可以是：人脚踩“交互开关”持续十秒。视觉控制系统在第一次识别到有脚踩“交互开关”时启动十秒的定时器，之后一旦识别到没有脚踩“交互开关”将重置并关闭定时器。如果识别到脚踩信号一直保持到定时器中断的到来，将产生投影控制区（5）的开关信号，系统开启/关闭“人机交互模式”。在开启“人机交互模式”下，控制信号的输入才是有效的，此时视觉识别系统一旦识别到有人脚踩控制方格，计算机主机将发送信号给机械臂（4），让机械臂（4）完成相应的动作。人在投影控制区（5）进行人机交互的过程如附图3所示。

对于投影控制区（5）的控制内容不限于附图2所示的4种，还可以包括启动机械臂运行、停止运行、向上运行、向下运行、夹取待加工工件、夹取已加工工件等等。投影控制区（5）的控制根据控制方式不同可以设置两种类型的控制：持续输入控制指令和一次性输入控制指令。附图2所示的“右移机械臂”和“左移机械臂”为持续输入控制指令，它的特点是可以灵活控制机械臂的任意移动。例如一旦我们将脚踩在“右移机械臂”方格上，机械臂开始以一定的速度向右移动，一旦我们的脚离开该控制方格，机械臂停止右移运动。因此这种方式需要持续输入信号才能让机械臂完成一套连续的动作。而附图2中的“松开机械手”和“闭合机械手”则可以设置为一次性输入控制指令。当我们需要夹取工件时，我们脚踩“闭合机械手”，一旦视觉识别系统识别后即可将脚收回，机械手自动运行已经设定好的一套动作去夹取工件。因此一次性输入控制只需要一次输入就可以让机械臂完成一套动作，因此操作简单，不需要人持续地操作控制。由于如今机械臂（4）加工工序大多数是固定的，为了操作方便，一般可以将投影控制区的控制设置为一次性输入控制，但不管哪种控制都属于本专利涵盖内容。

视觉传感器（1）由于需要识别三维空间位置信息，因此需要使用具有三维识别功能的摄像头，如双目摄像头和RGBD摄像头等。通过这种类型的视觉传感器（1），我们可以直接获取机械臂（4）的三维空间位置。我们采集到的位置信息可以用三维空间坐标来表示。由于视觉传感器和投影仪安装在天花板（墙上）的相邻位置，因此视觉传感器（1）的三维空间信息中的平面信息与投影仪（2）的图像位置坐标具有线性映射的关系。因此捕获的机械臂（4）位置可以直接线性映射到投影图像上，然后在映射的坐标上以一定的范围生成阴影区域作为安全识别区（6），然后发送给投影仪（2），这样就可以投影出跟随机械臂移动的安全识别区（6）。对于识别是否有人或其他运动物体进入安全识别区，一般具有两种方案。一种是直接捕获图像上的人或运动物体的位置信息判断是否与阴影区域相交或包含于内；另一种方案是计算机械臂到人或其他运动物体的平面距离（，为机械臂的二维平面坐标，为人或运动物体的平面坐标）并判断是否超过一个限度，该限度就是阴影区域边界与机械臂边界的平面距离,一般可以简化地让。距离超过限度则认为人或其他运动物体距离机械臂足够远，没有进入安全识别区（6），因此机械臂（4）可以继续运行。如果没有超过限度，则认为人或其他运动物体进入了安全识别区，机械臂（4）应立即停止运行以防止碰撞事故的发生直至运动物体离开为止。由于图像处理在识别阴影区域边缘所需要的计算量较大，而且计算机械臂与运动物体间的平面距离是容易的，因此在本实施例中采用计算机械臂与运动物体之间的距离的方案。需要进一步阐述的是，上述通过机械臂（4）以外的二维平面距离划定的安全识别区可以通过投影的阴影区域表示，但其实质是一个柱状区域，也就是附图1所示的阴影区域及其正上方的所有的空间都是属于该安全识别区范围内。人与安全识别区的位置关系以及对应的机械臂的运动状态可见于附图4。当然也可以将安全识别区（6）划定为机械臂以外的三维空间距离为的区域，此时的安全识别区不能用投影仪投影的二维阴影区域表示，人、机械臂（4）和安全识别区（6）的位置关系以及对应的机械臂的运动状态可见于附图5。由于基于二维距离划分的安全识别区范围更大，能更好地避免碰撞的发生，视觉传感器（1）也更容易识别和检测，投影仪（2）也可以通过投影的阴影区域对安全识别区进行标识，因此本发明主要讨论的是基于二维平面距离划分的安全识别区，但是它们都属于本发明的涵盖范围内。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种具有安全识别功能的人机交互机械臂系统，其特征在于：所述系统由视觉传感器、投影仪、计算机主机和机械臂组成，视觉传感器、投影仪、机械臂分别通过有线或无线的方式与计算机主机连接；在视觉传感器和投影仪涵盖范围内，机械臂可以一个或多个；在计算机主机处理速度足够的情况下，视觉传感器、投影仪和机械臂所组成的部分可以一个或多个。

2.根据权利1所述的一种具有安全识别功能的人机交互机械臂系统，其特征在于：所述视觉传感器通常为但不限于：具有三维识别功能的摄像头，用于采集物体的空间位置信息和运动信息。

3.根据权利1所述的一种具有安全识别功能的人机交互机械臂系统，其特征在于：所述投影仪负责接收计算机主机发送过来的图像信息并投影到地面上，投影仪投影内容主要是但不限于：跟随机械臂移动的安全识别区、投影控制区。

4.根据权利1所述的一种具有安全识别功能的人机交互机械臂系统，其特征在于：所述机械臂可以是任意形式和任意自由度的机械臂，在计算机主机发出相应控制信号时完成相应的任务。

5.根据权利1所述的一种具有安全识别功能的人机交互机械臂系统，其特征在于：所述计算机主机可以是任意的、普通的主机或处理器。

6.根据权利3所述的人机交互机械臂系统，其特征在于：所述安全识别区可以是基于二维平面距离生成或基于三位空间距离生成。

7.根据权利3所述的人机交互机械臂系统，其特征在于：所述投影控制区是提供一个人与机器人交互的区域，投影控制区的交互内容包含但不限于：一个防止误操作的“交互开关”和多个机械臂控制方格。

8.一种具有安全识别功能的人机交互机械臂系统的实施方法，其特征在于：所述方法包括如下内容：

①视觉传感器采集空间的三维图像信息和运动信息，然后通过有线或无线的方式传送给计算机主机，计算机主机经过图像处理后一方面识别视线范围内是否有人或其他运动物体存在，如果有，则判断该物体与投影仪投下的安全识别区是否相交或包含；另一方面在投影仪投影的控制区，识别是否有人为的控制指令产生；

②投影仪投影出的安全识别区不限于以阴影的形式显示（或不需显示），它是跟随机械臂运动的，视觉传感器和计算机主机所组成的视觉识别系统一旦识别到人或其他运动物体进入安全识别区，计算机立即发送信号给机械臂让其停止运行以避免碰撞，直至该物体离开安全识别区，计算机将会发送信号给机械臂让其启动运行；

③投影仪在投影控制区投影出“交互开关”和机械臂控制方格，视觉识别系统实时监控投影控制区的人为输入信号，“交互开关”为了防止误操作发生，其产生信号的形式可以是但不限于：脚踩“交互开关”十秒，视觉识别系统识别到“交互开关”十秒的脚踩信号后，立即开启/关闭“人机交互模式”，“人机交互模式”关闭时，机械臂在“工作保护模式”下自动运行，只有在“人机交互模式”开启状态下，机械臂控制方格上产生人为的控制信号才是有效的，控制方格信号产生形式同样为脚踩，但无需持续十秒，视觉识别系统一旦识别，即有控制信号产生，其控制方式包含：一次性输入指令和持续性输入指令，一次性输入指令是指视觉识别系统在投影控制区识别到一次控制指令后，机械臂即可完成一套连续动作，在完成连续动作的时间段，不需要输入任何指令，而持续性输入指令需要持续识别投影控制区的指令，一旦没有指令机械臂将停止运动；

④计算机主机实时地接收视觉传感器采集的图像信息进行处理和实时地构造投影图像并发送给投影仪进行投影；另一方面在识别出人或其他运动物体进入安全识别区或在投影控制区有人为控制指令产生时，给机械臂发送相应的控制信号。