CN112454358A - 一种结合心理安全以及运动预测的机械臂运动规划方法及系统 - Google Patents

Abstract

本发明公开了一种结合心理安全以及运动预测的机械臂运动规划方法及系统，包括步骤：实时采集人的头部、眼神朝向以及脸部表情图像，并对采集的图像进行处理；根据得到头部和眼神的图像，预测人的手臂运动距离；根据预测的手臂运动优化机械臂运动轨迹；根据脸部表情调整机械臂运动速度和步长。本发明实现了在人机交互中实时地检测人的头部或眼神转向以及脸部表情，通过头部或眼神转向以及脸部表情控制机器人的运动速度和步长，同时通过头部或眼神转向预测人的运动，从而在实现动态避障的基础上，优化机械臂的运动轨迹，最终确保人机交互中人的人身安全和心理安全。

Description

一种结合心理安全以及运动预测的机械臂运动规划方法及 系统

技术领域

本发明公开了一种结合心理安全以及运动预测的机械臂运动规划方法及系统。

背景技术

这里的陈述仅提供与本发明相关的背景技术，而不必然地构成现有技术。

发明人发现随着机器人技术的快速发展以及5G时代的到来，人机共存环境越来越普遍，人机交互和人机协作中的人机安全问题至关重要。目前的动态避障方法可以根据障碍物的运动状态及时地进行运动规划得到有效路径，但是对于多关节运动的机械臂来说，为了到达运动规划计算出的指定点，运动过程可能会有奇异的运动方式，这会给人机交互中的人们造成心理不适。同时，处于机械臂附近的动态障碍物突然运动也会导致机械臂的运动出现抖动甚至是尖峰，从而会影响人机交互中人们的心理安全。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种结合心理安全以及运动预测的机械臂运动规划方法，该方法使得机械臂可以根据人的脸部表情自适应调整运动速度和步长，同时根据人的头部和眼神朝向预测下一时刻的运动位置，以此优化机械臂的运动规划，从而在实现人身安全的基础上，确保心理安全。相比于现有的动态避障方法，该方法使得机械臂在实现动态避障的基础上，机械臂的运动路径可以更加平缓，从而确保人身安全以及心理安全，使得人们有更好的人机交互体验。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本发明的实施例提供了一种结合心理安全以及运动预测的机械臂运动规划方法，包括以下步骤：

步骤1实时采集人的头部、眼神朝向以及脸部表情图像，并对采集的图像进行处理；

步骤2根据步骤1中得到头部和眼神的图像，预测人的手臂运动；

步骤3根据预测的手臂运动优化机械臂运动轨迹；

步骤4根据脸部表情调整机械臂运动速度和步长。

第二方面，本发明实施例还提供了一种结合心理安全以及运动预测的机械臂运动规划系统，如下：

第一模块，其被配置为实时采集人的头部、眼神朝向以及脸部表情图像，并对采集的图像进行处理；

第二模块，其被配置为根据采集的头部和眼神的图像，预测人的手臂运动；

第三模块，其被配置为根据预测的手臂运动优化机械臂运动轨迹；

第四模块，其被配置为根据脸部表情调整机械臂运动速度和步长。

第三方面，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有机械运动规划程序，所述机械运动规划程序被处理器执行时实现前面所述的结合心理安全以及运动预测的机械臂运动规划方的步骤。

第四方面，本发明还提供了一种服务器，所述服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机械运动规划程序，所述机械运动规划程序被处理器执行时实现前面所述的结合心理安全以及运动预测的机械臂运动规划方的步骤。

上述本发明的实施例的有益效果如下：

本发明实现了在人机交互中实时地检测人的头部或眼神转向以及脸部表情，通过头部或眼神转向以及脸部表情控制机器人的运动速度和步长，同时通过头部或眼神转向预测人的运动，从而在实现动态避障的基础上，优化机械臂的运动轨迹，最终确保人机交互中人的人身安全和心理安全。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1(a)是本发明实施例部分OpenFace2.0处理的头部和眼神稍微朝向左方的示意图；

图1(b)是本发明实施例部分OpenFace2.0处理的头部和眼神朝向左方的示意图；

图1(c)是本发明实施例部分OpenFace2.0处理的开心情绪的示意图；

图1(d)是本发明实施例部分OpenFace2.0处理的开心情绪对应的脸部动作单元；

图1(e)是本发明实施例部分OpenFace2.0处理的悲伤情绪的示意图；

图1(f)是本发明实施例部分OpenFace2.0处理的悲伤情绪对应的脸部动作单元；

图2是本发明实施例部分人的手臂运动距离和头部或眼神转向角度的拟合曲线；

图3是实验场景的四帧图片；

图4(a)、图4(b)则分别是单纯动态避障和结合运动预测并考虑心理安全的动态避障三维轨迹图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非本发明另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；

正如背景技术所介绍的，现有技术中存在不足，为了解决如上的技术问题，本发明提出了一种结合心理安全以及运动预测的机械臂运动规划方法及系统。

实施例1

本发明的一种典型的实施方式中，提出了一种结合心理安全以及运动预测的机械臂动态避障方法。该方法使得机械臂可以根据人的脸部表情自适应调整运动速度和步长，同时根据人的头部和眼神朝向预测下一时刻的运动位置，以此优化机械臂的运动规划，从而在实现人身安全的基础上，确保心理安全。相比于现有的动态避障方法，该方法使得机械臂在实现动态避障的基础上，机械臂的运动路径可以更加平缓，从而确保人身安全以及心理安全，使得人们有更好的人机交互体验，本实施例的方案实现步骤如下：

步骤1、实时处理图像得到人的头部和眼神朝向以及脸部表情

使用一个开源、功能强大并且使用方便的OpenFace2.0工具实时处理摄像头捕捉的图像，得到人的头部和眼神朝向以及脸部表情，如图1(a)、图1(b)、图1(c)、图1(d)、图1(e)、图1(f)对于摄像头捕捉的每一帧图像，使用OpenFace2.0得到人脸的轮廓并且框出来，眼神的注视朝向也用一种不同的颜色线段表示；同时，不同的脸部表情会有不同的脸部动作单元数值，根据这个数值可以推断脸部表情。

步骤2、根据头部或眼神朝向预测人的运动

在人机交互中，当人的头部或者眼神没有朝向机器人，我们可以预测人手臂的运动方向和头部或眼神的朝向是一致的，并且手臂运动距离和头部或眼神的转向角度之间的关系可以通过实验数据拟合得到，如图2。从拟合曲线可知，手臂运动距离和头部或眼神转向角度是线性关系，并且转向角度和运动距离的初始数值都是0，那么我们可以得到手臂运动距离和头部或眼神转向角度的关系表达式为

其中A_t表示某一时刻的转向角度，A_{t_max}表示可以检测的头部或眼神最大转向角度值，D_{arm_max}是转向角度最大值时相对应的手臂运动距离，由此则可计算某一转向角度下的手臂运动距离。

步骤3、根据预测的手臂运动优化机械臂运动轨迹

机械臂的运动轨迹通过改进的人工势场法计算得到，使用预测的手臂运动信息可以优化机械臂运动轨迹，避免因为手臂的突然运动导致机械臂运动出现抖动或尖峰。通过预测的手臂运动得到下一时刻手臂的运动位置和速度的表达式分别为

其中P_t表示当前时刻手臂的位置，P_t-1表示上一时刻手臂的位置，D_arm则是第2步中预测的手臂运动距离，Δt则是上一时刻机械臂运动的时长。在得到预测的手臂运动位置和速度后，对改进的人工势场法计算结果进行更新，则可优化机械臂运动轨迹。

步骤4、根据脸部表情调整机械臂运动速度和步长

当人的头部或眼神朝向没有偏离，此时在机械臂运动规划时考虑人的脸部表情；当脸部表情比较消极时，如悲伤、惊讶，此时降低机械臂的运动速度并缩短机械臂的运动步长(初始步长是0.04m，每次缩短0.01m，下限是0.02m)。脸部表情正常或比较积极时，则适当地提高机械臂的运动速度并加长机械臂的运动步长(每次加长0.01m，上限是0.04m)。

本实施例实现了在人机交互中实时地检测人的头部或眼神转向以及脸部表情，通过头部或眼神转向以及脸部表情控制机器人的运动速度和步长，同时通过头部或眼神转向预测人的运动，从而在实现动态避障的基础上，优化机械臂的运动轨迹，最终确保人机交互中人的人身安全和心理安全。

实施例2

本实施例提供了一种结合心理安全以及运动预测的机械臂动态避障系统。该系统使得机械臂可以根据人的脸部表情自适应调整运动速度和步长，同时根据人的头部和眼神朝向预测下一时刻的运动位置，以此优化机械臂的运动规划，从而在实现人身安全的基础上，确保心理安全。相比于现有的动态避障方法，该方法使得机械臂在实现动态避障的基础上，机械臂的运动路径可以更加平缓，从而确保人身安全以及心理安全，使得人们有更好的人机交互体验，本实施例的方案如下：

第一模块、被配置为实时处理图像得到人的头部和眼神朝向以及脸部表情；

具体的，可以使用一个开源、功能强大并且使用方便的OpenFace2.0工具实时处理摄像头捕捉的图像，得到人的头部和眼神朝向以及脸部表情，如图1(a)、图1(b)、图1(c)、图1(d)、图1(e)、图1(f)对于摄像头捕捉的每一帧图像，使用OpenFace2.0得到人脸的轮廓并且框出来，眼神的注视朝向也用绿色线段表示。同时，不同的脸部表情会有不同的脸部动作单元数值，根据这个数值可以推断脸部表情。

第二模块、被配置为根据头部或眼神朝向预测人的运动；在人机交互中，当人的头部或者眼神没有朝向机器人，我们可以预测人手臂的运动方向和头部或眼神的朝向是一致的，并且手臂运动距离和头部或眼神的转向角度之间的关系可以通过实验数据拟合得到，如图2。从拟合曲线可知，手臂运动距离和头部或眼神转向角度是线性关系，并且转向角度和运动距离的初始数值都是0，那么我们可以得到手臂运动距离和头部或眼神转向角度的关系表达式为

其中A_t表示某一时刻的转向角度，A_{t_max}表示可以检测的头部或眼神最大转向角度值，D_{arm_max}是转向角度最大值时相对应的手臂运动距离，由此则可计算某一转向角度下的手臂运动距离。

第三模块、根据预测的手臂运动优化机械臂运动轨迹；机械臂的运动轨迹通过改进的人工势场法计算得到，使用预测的手臂运动信息可以优化机械臂运动轨迹，避免因为手臂的突然运动导致机械臂运动出现抖动或尖峰。通过预测的手臂运动得到下一时刻手臂的运动位置和速度的表达式分别为

其中P_t表示当前时刻手臂的位置，P_t-1表示上一时刻手臂的位置，D_arm则是第2步中预测的手臂运动距离，Δt则是上一时刻机械臂运动的时长。在得到预测的手臂运动位置和速度后，对改进的人工势场法计算结果进行更新，则可优化机械臂运动轨迹。

第四模块、根据脸部表情调整机械臂运动速度和步长；当人的头部或眼神朝向没有偏离，此时在机械臂运动规划时考虑人的脸部表情；当脸部表情比较消极时，例如悲伤、惊讶，此时降低机械臂的运动速度并缩短机械臂的运动步长(初始步长是0.04m，每次缩短0.01m，下限是0.02m)。脸部表情正常或比较积极时，则适当地提高机械臂的运动速度并加长机械臂的运动步长(每次加长0.01m，上限是0.04m)。

实施例3

本实施例提供一种计算机可读存储介质，所述存储介质上存储有机械运动规划程序，所述机械运动规划程序被处理器执行时实现实施例1中任一所述的结合心理安全以及运动预测的机械臂运动规划方法的步骤。

实施例4

本实施例提供了一种服务器，所述服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机械运动规划程序，所述机械运动规划程序被处理器执行时实现实施例1所述的结合心理安全以及运动预测的机械臂运动规划方法的步骤。

本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

本专利实现了在人机交互中实时地检测人的头部或眼神转向以及脸部表情，通过头部或眼神转向以及脸部表情控制机器人的运动速度和步长，同时通过头部或眼神转向预测人的运动，从而在实现动态避障的基础上，优化机械臂的运动轨迹，最终确保人机交互中人的人身安全和心理安全。

最后还需要说明的是，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种结合心理安全以及运动预测的机械臂运动规划方法，其特征在于，包括以下步骤：

步骤1实时采集人的头部、眼神朝向以及脸部表情图像，并对采集的图像进行处理；

步骤2根据步骤1中得到头部和眼神的图像，预测人的手臂运动距离；

步骤3根据预测的手臂运动优化机械臂运动轨迹；

步骤4根据脸部表情调整机械臂运动速度和步长。

2.如权利要求1所述的结合心理安全以及运动预测的机械臂运动规划方法，其特征在于，步骤1中，捕捉头部、眼神朝向以及脸部表情的每一帧图像，得到人脸的轮廓并且利用线段框出，眼神的注视朝向也用线段表示出；不同的脸部表情会有不同的脸部动作单元数值，根据这个数值可推断脸部表情。

3.如权利要求1所述的结合心理安全以及运动预测的机械臂运动规划方法，其特征在于，步骤2中，手臂运动距离和头部或眼神转向角度的关系表达式为

其中A_t表示某一时刻的转向角度，A_{t_max}表示可以检测的头部或眼神最大转向角度值，D_{arm_max}是转向角度最大值时相对应的手臂运动距离，D_arm是手臂运动距离。

4.如权利要求3所述的结合心理安全以及运动预测的机械臂运动规划方法，其特征在于，步骤3中，通过预测的手臂运动得到下一时刻手臂的运动位置和速度的表达式分别为

其中P_t表示当前时刻手臂的位置，P_t-1表示上一时刻手臂的位置，D_arm则是步骤2中预测的手臂运动距离，Δt则是上一时刻机械臂运动的时长；在得到预测的手臂运动位置和速度后，对改进的人工势场法计算结果进行更新，则可优化机械臂运动轨迹。

5.如权利要求1所述的结合心理安全以及运动预测的机械臂运动规划方法，其特征在于，步骤4中，当人的头部或眼神朝向没有偏离，此时在机械臂运动规划时考虑人的脸部表情；当脸部表情为消极表情时，则降低机械臂的运动速度并缩短机械臂的运动步长；当脸部表情为正常或积极表情时，则提高机械臂的运动速度并加长机械臂的运动步长。

6.一种结合心理安全以及运动预测的机械臂运动规划系统，其特征在于，如下：

第一模块，其被配置为实时采集人的头部、眼神朝向以及脸部表情图像，并对采集的图像进行处理；

第二模块，其被配置为根据采集的头部和眼神的图像，预测人的手臂运动距离；其中，手臂运动距离和头部或眼神转向角度的关系为线性关系；

第三模块，其被配置为根据预测的手臂运动距离优化机械臂运动轨迹；

第四模块，其被配置为根据脸部表情调整机械臂运动速度和步长。

7.如权利要求6所述的结合心理安全以及运动预测的机械臂运动规划系统，其特征在于，所述的第三模块通过预测的手臂运动距离，得到下一时刻手臂的运动位置和速度，在得到预测的手臂运动位置和速度后，对改进的人工势场法计算结果进行更新，则可优化机械臂运动轨迹。

8.如权利要求6所述的结合心理安全以及运动预测的机械臂运动规划方法，其特征在于，所述的第四模块被配置为当人的头部或眼神朝向没有偏离，此时在机械臂运动规划时考虑人的脸部表情；当脸部表情为消极表情时，则降低机械臂的运动速度并缩短机械臂的运动步长；当脸部表情为正常或积极表情时，则提高机械臂的运动速度并加长机械臂的运动步长。

9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有机械运动规划程序，所述机械运动规划程序被处理器执行时实现权利要求1-5任一所述的结合心理安全以及运动预测的机械臂运动规划方法的步骤。

10.一种服务器，其特征在于，所述服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机械运动规划程序，所述机械运动规划程序被处理器执行时实现权利要求1-5任一所述的结合心理安全以及运动预测的机械臂运动规划方法的步骤。

Images