CN112894794A - 人体手臂动作模仿方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请实施例适用于机器人技术领域，公开了一种人体手臂动作模仿方法、装置、终端设备以及计算机可读存储介质，其中，方法包括：获取待模仿人体手臂关键点的第一位姿信息；将第一位姿信息转换为机器人手臂关键点的第二位姿信息；根据第二位姿信息，通过机器人手臂逆运动学求解机器人手臂各个关节的角度值；根据角度值控制机器人手臂运动。本申请实施例通过采集人体手臂的第一位姿信息，基于第一位姿信息得到机器人手臂各个关节的角度值，即通过人体手臂关键点的位姿信息，对人体手臂的动作进行量化处理并转换为机器人的关节角度值，其模仿相似度较高，且实现难度较低。

Description

人体手臂动作模仿方法、装置、终端设备及存储介质

技术领域

本申请属于机器人技术领域，尤其涉及一种人体手臂动作模仿方法、装置、终端设备以及计算机可读存储介质。

背景技术

随着机器人技术的不断发展和进步，机器人的应用也越来越广泛。

目前，基于机器人平台的人体动作模仿逐渐成为机器人运动控制的研究热点，它对机器人的类人运动控制具有重大的意义。动作模仿能广泛的应用于机器人示教、人机交互体验，或帮助人类完成一些复杂且危险的动作等一系列重要的领域，能在一定的程度上提高机器人的智能程度。

机器人对人体手臂的动作模仿过程中，对于手臂的动作进行量化处理并转换为机器人运动的指令的过程，目前一般是使用图像传感器(例如KINECT)去获取人体深度图像，从而得知各个人体的关节角度，再根据关节角度进行动作模仿。基于此，现有人体手臂动作模仿方法的模仿相似度较低，且实现难度较高。

发明内容

本申请实施例提供一种人体手臂动作模仿方法、装置、终端设备以及计算机可读存储介质，以解决现有人体手臂动作模仿方法的模仿相似度较低，且实现难度较高的问题。

第一方面，本申请实施例提供一种人体手臂动作模仿方法，包括：

获取待模仿人体手臂关键点的第一位姿信息；

将所述第一位姿信息转换为机器人手臂关键点的第二位姿信息；

根据所述第二位姿信息，通过机器人手臂逆运动学求解机器人手臂各个关节的角度值；

根据所述角度值控制机器人手臂运动。

可以看出，本申请实施例通过采集人体手臂的第一位姿信息，基于第一位姿信息得到机器人手臂各个关节的角度值，即通过人体手臂关键点的位姿信息，对人体手臂的动作进行量化处理并转换为机器人的关节角度值，其模仿相似度较高，且实现难度较低。

在一种可能的实现方式中，在所述根据所述角度值控制机器人手臂运动之前，还包括：

根据所述第二位姿信息对机器人进行运动碰撞检测，得到碰撞检测结果；

若所述碰撞检测结果为不存在碰撞的动作，进入所述根据所述角度值控制机器人手臂运动的步骤。

可以看出，在根据角度值控制机器人手臂运动之前，即在进行动作模仿之前，先对机器人进行运动碰撞检测，若所要模仿的动作中不存在碰撞的动作时，则进行相应的动作模仿，以充分考虑机器人各肢体的碰撞情况，保证在动作模仿过程中机器人的安全性，提高了动作模仿的安全稳定性。

在一种可能的实现方式中，所述方法还包括：

分别使用包络盒对所述机器人的各个部分进行包络处理；

所述根据所述第二位姿信息对机器人进行运动碰撞检测，得到碰撞检测结果，包括：

根据所述第二位姿信息，计算所述机器人各个部分对应的包络盒的第三位姿信息；

利用FCL碰撞检测库，根据所述第三位姿信息判断是否存在碰撞的包络盒；

若存在碰撞的包络盒，则判定存在碰撞的动作；

若不存在碰撞的包络盒，则判定不存在碰撞的动作。

进一步地，先利用包络盒进行包络处理，使得碰撞检测时，通过判断包络盒之间是否存在接触或碰撞，即可判断出是否存在碰撞，减少了碰撞检测的计算量，提高了运算速度，提高了动作模仿的实时性。

在一种可能的实现方式中，所述第二位姿信息包括机器人肩部的位姿信息、机器人肘部的位姿信息和机器人腕部的位姿信息；

根据所述第二位姿信息，计算所述机器人各个部分对应的包络盒的第三位姿信息，包括：

通过P_uparm＝(P'_S+P'_E)/2计算机器人大臂对应的包络盒的位置信息；

通过P_forearm＝(P'_E+P'_W)/2计算机器人小臂对应的包络盒的位置信息；

通过P_hand＝P'_W+R'_Wl_hand计算机器人手部对应的包络盒的位置信息；

根据机器人大臂对应的包络盒的位置信息和机器人肩部的姿态信息，获得机器人大臂对应的包络盒的位姿信息；

根据机器人小臂对应的包络盒的位置信息和机器人肘部的姿态信息，获得机器人小臂对应的包络盒的位姿信息；

根据机器人手部对应的包络盒的位置信息和机器人腕部的姿态信息，获得机器人手部对应的包络盒的位姿信息；

其中，P_uparm为大臂的位置信息，P_forearm为小臂的位置信息，P'_S、P'_E、P'_W分别为机器人的肩部、肘部和腕部的位置信息；

P_hand为手部位置信息，l_hand为机器人手掌中心到腕部的距离。R'_W为机器人的腕部姿态信息。

在一种可能的实现方式中，所述将所述第一位姿信息转换为机器人手臂关键点的第二位姿信息，包括：

对所述第一位姿信息进行去噪处理；

根据去噪后的第一位姿信息，建立肩部至肘部的第一空间三维向量和肘部至腕部的第二空间三维向量；

分别计算所述第一空间三维向量的第一向量模和所述第二空间三维向量的第二向量模；

根据所述第一空间三维向量、所述第二空间三维向量、所述第一向量模和所述第二向量模，以及机器人手臂的大臂长度和小臂长度，计算所述机器人的肘部和腕部的位置信息；

根据所述位置信息和所述第一位姿信息中的姿态信息，得到所述第二位姿信息。

可以看出，本申请实施例通过第一位姿信息建立肩部和肘部、肘部到腕部的空间三维向量，然后再取这两个空间三维向量的模，基于机器人大小臂的长度，计算机器人肘部和腕部的位置信息，即通过向量模的大小得到各个人体手臂的大小臂长度，再基于人体的大小臂长度和机器人的大小臂长度，将人体手臂的动作映射到机器人手臂上，保证了动作模仿的相似度。

相较于现有技术中通过建立各个人体三维模型，以获得人体大小臂的尺寸，本申请实施例通过位姿信息进行实现动作映射，实现难度较低。

在一种可能的实现方式中，对所述第一位姿信息进行去噪处理，包括：

对所述第一位姿信息的位置信息进行滤波操作，得到滤波后的位置信息；

根据所述第一位姿信息中的姿态信息和上一个动作采集周期的待模仿人体手臂关键点的姿态信息，计算前后两个动作采集周期的相对姿态；

将所述相对姿态变换为欧拉角表示，并对欧拉角值进行滤波操作，得到滤波后的姿态信息。

需要说明的是，在对姿态信息去噪的过程中，如果使用常规方法(例如，欧拉角表示方法和四元素的表示方法)都会存在数值突变的情况，无法保证去噪后数据的准确性。基于此，本申请实施例通过前后两个动作采集周期的相对姿态进行去噪处理，保证数据的准确率，提高了动作模仿的相似度。

在一种可能的实现方式中，所述相对姿态的计算公式为：R＝R_i-1 ^-1R'_i，所述滤波后的姿态信息为R_i＝R_i-1R_filter；

其中，R_i-1 ^-1为上一个动作采集周期的姿态的逆矩阵，R'_i为本周期采集的姿态；R_filter为相对姿态的欧拉角表示滤波后的矩阵，R_i-1为上一个动作采集周期的姿态。

在一种可能的实现方式中，所述根据所述第一空间三维向量、所述第二空间三维向量、所述第一向量模和所述第二向量模，以及机器人手臂的大臂长度和小臂长度，计算所述机器人的肘部和腕部的位置信息，包括：

根据所述第一空间三维向量、所述第二空间三维向量、所述第一向量模和所述第二向量模，以及机器人手臂的大臂长度和小臂长度，通过

和

分别计算所述机器人的肘部和腕部的位置信息；

其中，

分别为机器人肘部的位置坐标和机器人腕部的位置坐标，l_SE为机器人手臂的大臂长度，l_EW为机器人手臂的小臂长度；

为所述第一向量，

为所述第一向量模；

为所述第二向量，

为所述第二向量模。

第二方面，本申请实施例提供一种人体手臂动作模仿装置，包括：

获取模块，用于获取待模仿人体手臂关键点的第一位姿信息；

映射模块，用于将所述第一位姿信息转换为机器人手臂关键点的第二位姿信息；

角度值计算模块，用于根据所述第二位姿信息，通过机器人手臂逆运动学求解机器人手臂各个关节的角度值；

控制模块，用于根据所述角度值控制机器人手臂运动。

第三方面，本申请实施例提供一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在机器人上运行时，使得机器人执行上述第一方面中任一项所述的方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种人体手臂动作模仿方法的流程示意框图；

图2为本申请实施例提供的步骤S102的具体流程示意框图；

图3为本申请实施例提供的人体手臂关键部位的空间三维向量示意图；

图4为本申请实施例提供的步骤S201的具体流程示意框图；

图5为本申请实施例提供的人形机器人手臂逆动力学求教过程中臂角的形成示意图；

图6为本申请实施例提供的一种人体手臂动作模仿方法的另一种流程示意框图；

图7为本申请实施例提供的人形机器人各部分包络盒的包络示意图；

图8为本申请实施例提供的步骤S604的具体流程示意框图；

图9为本申请实施例提供的人体手臂动作模仿装置的结构框图；

图10为本申请实施例提供的机器人的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。

参见图1，为本申请实施例提供的一种人体手臂动作模仿方法的流程示意框图，该方法可以包括以下步骤：

步骤S101、获取待模仿人体手臂关键点的第一位姿信息。

需要说明的是，上述待模仿人体手臂可以是单臂，也可以是双臂。相对应地，如果需要模仿某个人的单臂动作时，通过机器人的单臂实现；如果需要模仿某个人的双臂动作时，通过机器人的双臂实现。

上述待模仿人体手臂关键点是预先设定的，该关键点可以包括但不限于肩部、肘部和腕部。上述第一位姿信息包括位置信息和姿态信息。

在一些实施例中，可以通过红外定位系统采集人体手臂的肩部、肘部和腕部的位姿信息。具体地，在待模仿手臂(例如，人体双臂)上粘贴红外反光小球，在待模仿手臂运动时，利用红外定位技术实时获取到人体手臂的运动信息。该运动信息包括肩部、肘部和腕部相对于肩部坐标系的位姿信息。

当然，在其它一些实施例中，也可以通过其它方式采集待模仿人体手臂关键点的位姿信息。

步骤S102、将第一位姿信息转换为机器人手臂关键点的第二位姿信息。

需要说明的是，不同的人体，手臂的尺寸长度均有所差异，无法将采集到人体手臂的位姿直接赋予机器人手臂的关键点，需要对采集得到的动作进行映射，以将不同人体的手臂关键点位姿转换为机器人手臂关键点的位姿。将第一位姿信息转换为第二位姿信息的过程可以看作是动作的映射过程，即通过将人体手臂的位姿信息转换为机器人手臂的位姿信息，以将人体手臂的动作映射到机器人手臂上。

在一些实施例中，参见图2示出的步骤S102的具体流程示意框图，上述将第一位姿信息转换为机器人手臂关键点的第二位姿信息的具体过程可以包括以下步骤：

步骤S201、对第一位姿信息进行去噪处理。

需要说明的是，在其它一些实施例中，也可以不对第一位姿信息进行去噪，也能实现本申请实施例的目的。但由于工作环境、传感器自身噪声等因素的影响，对采集的数据进行去噪处理可以保证动作模仿的平滑性和稳定性。

步骤S202、根据去噪后的第一位姿信息，建立肩部至肘部的第一空间三维向量和肘部至腕部的第二空间三维向量。

上述第一位姿信息包括肩部、肘部和腕部的位置信息和姿态信息，参见图3示出的人体手臂关键部位的空间三维向量示意图和下面公式，利用肩部、肘部和腕部的位置信息，建立空间三维向量。

其中，P_E为待模仿手臂的肘部关键点的位置信息，P_S为待模仿手臂的肩部关键点的位置信息，P_W为待模仿手臂的腕部关键点的位置信息，

为上述第一空间三维向量，

为上述第二空间三维向量。

步骤S203、分别计算第一空间三维向量的第一向量模和第二空间三维向量的第二向量模。

步骤S204、根据第一空间三维向量、第二空间三维向量、第一向量模和第二向量模，以及机器人手臂的大臂长度和小臂长度，计算机器人的肘部和腕部的位置信息。

需要说明的是，上述第一空间三维向量为肩部至肘部的向量，故第一向量模的大小与待模仿人体手臂的大臂长度相等。同理，第二向量模的大小与待模仿人体手臂的小臂长度相等。得到人体手臂的大小臂长度之后，可以根据向量模大小(即人体手臂的大小臂长度)和机器人手臂的大小臂长度的比值确定人体手臂的哪些点映射到机器人手臂各个关键部位的位置。

在一些实施例中，上述步骤S204可以具体为根据第一空间三维向量、第二空间三维向量、第一向量模和第二向量模，以及机器人手臂的大臂长度和小臂长度，通过

和

分别计算机器人的肘部和腕部的位置信息；其中，

分别为映射后机器人肘部的位置坐标和机器人腕部的位置坐标，l_SE为机器人手臂的大臂长度，l_EW为机器人手臂的小臂长度；

为第一空间三维向量，

为第一向量模；

为第二空间三维向量，

为第二向量模。

需要说明的是，通过第一位姿信息建立肩部和肘部、肘部到腕部的空间三维向量，然后再取这两个空间三维向量的模，基于机器人大小臂的长度，计算机器人肘部和腕部的位置信息，即通过向量模的大小得到各个人体手臂的大小臂长度，再基于人体的大小臂长度和机器人的大小臂长度，将人体手臂的动作映射到机器人手臂上，保证了动作模仿的相似度。

相较于现有技术中通过建立各个人体三维模型，以获得人体大小臂的尺寸，本申请实施例通过位姿信息进行实现动作映射，实现难度较低。

至此，可以确定出动作映射后机器人手臂关键点的位置信息。

步骤S205、根据位置信息和第一位姿信息中的姿态信息，得到第二位姿信息。

其中，机器人手臂关键点的姿态信息等于待模仿人体手臂的姿态信息，即将第一位姿信息中的姿态信息作为第二位姿信息中的姿态信息。这样，根据上述计算出的位置信息和第一位姿信息中的姿态信息，即可得到动作映射后机器人手臂关键点的第二位姿信息。

需要说明的是，上述步骤S201中的数据去噪方式可以是目前任意常规的去噪方式。但是，如果用常规的去噪方式不能保证去噪后数据的准确性。基于此，在一些实施例中，参见图4示出的步骤S201的具体流程示意框图，上述对第一位姿信息进行去噪处理的具体过程可以包括以下步骤：

步骤S401、对第一位姿信息的位置信息进行滤波操作，得到滤波后的位置信息。

可以理解的是，上述滤波操作所使用的算法为常规的滤波算法，其具体过程在此不再赘述。

步骤S402、根据第一位姿信息中的姿态信息和上一个动作采集周期的待模仿人体手臂关键点的姿态信息，计算前后两个动作采集周期的相对姿态。

需要说明的是，在对姿态信息去噪的过程中，如果使用常规方法(例如，欧拉角表示方法和四元素的表示方法)都会存在数值突变的情况，无法保证去噪后数据的准确性。基于此，本申请实施例通过前后两个动作采集周期的相对姿态进行去噪处理，保证数据的准确率，提高了动作模仿的相似度。

相对姿态的计算公式为：R＝R_i-1 ^-1R'_i，其中，R为某个关键点前后两个动作采集周期的相对姿态，R_i-1 ^-1为上一个动作采集周期的姿态的逆矩阵，R'_i为本周期采集的姿态；在本申请实施例中，动作采集的周期可以为但不限于100hz。

步骤S403、将相对姿态变换为欧拉角表示，并对欧拉角值进行滤波操作，得到滤波后的姿态信息。

其中，滤波后的姿态信息为R_i＝R_i-1R_filter，R_filter为相对姿态的欧拉角表示滤波后的矩阵，R_i-1为上一个动作采集周期的姿态。

通过动作映射以将第一位姿信息转换为第二位姿信息，得到机器人手臂关键点的位姿信息之后，再将动作信息转换为机器人手臂各关节运动的角度值。

步骤S103、根据第二位姿信息，通过机器人手臂逆运动学求解机器人手臂各个关节的角度值。

具体地，通过冗余自由度机械臂的逆运动学求解方法，计算出手臂动作的臂型角，然后再基于该臂型角计算出各个关节的自由度。

一般情况下，人形机器人的双臂共有14个自由度，每个手臂各有7个。参见图5示出的人形机器人手臂逆动力学求教过程中臂角的形成示意图和下面示出的臂型角计算公式，基于冗余七自由度机械臂的逆运动学求解方法，可以求出手臂动作的臂型角。臂型角的计算公式如下：

其中，ψ为当前手臂动作的臂型角，

为参考平面的垂直向量，

为当前手臂平面的垂直向量。

在计算出臂型角之后，则可根据臂型角计算出各个关节的角度值。

步骤S104、根据角度值控制机器人手臂运动。

可以理解的是，根据角度值控制机器人手臂执行相应的运动，即可实现机器人对人体手臂的动作模仿和跟踪。

可以看出，本申请实施例通过采集人体手臂的第一位姿信息，基于第一位姿信息得到机器人手臂各个关节的角度值，即通过人体手臂关键点的位姿信息，对人体手臂的动作进行量化处理并转换为机器人的关节角度值，其模仿相似度较高，且实现难度较低。

在计算出各个关节角度值之后，可以将角度值传输给机器人进行动作跟踪模仿。但是，这样可能会出现碰撞事故，对机器人造成一定的损害，为了提高动作模仿过程中的安全性和稳定性，在计算关节角度值之后，动作模仿之前，可以先进行碰撞检测，碰撞检测通过之后再根据计算出的关节角度值进行动作跟踪。

参见图6，为本申请实施例提供的一种人体手臂动作模仿方法的另一种流程示意框图，该方法可以包括以下步骤：

步骤S601、获取待模仿人体手臂关键点的第一位姿信息。

步骤S602、将第一位姿信息转换为机器人手臂关键点的第二位姿信息。

步骤S603、根据第二位姿信息，通过机器人手臂逆运动学求解机器人手臂各个关节的角度值。

需要说明的是，步骤S601～S603以及步骤S605与上述步骤S101～S104相同，相关介绍请参见上文相应内容，在此不再赘述。

步骤S604、根据第二位姿信息对机器人进行运动碰撞检测，得到碰撞检测结果。若碰撞检测结果为不存在碰撞的动作，进入步骤S605。反之，若碰撞检测结果为存在碰撞的动作，进入步骤S606。

需要说明的是，碰撞检测的方式可以是现有任意方式，在此不作限定。

而为了进一步减少碰撞检测的计算量，以提高动作模仿的实时性，可以采用简单且具备规则形状的包络盒对机器人的各部分进行包络处理，这样，在碰撞检测时，可以通过判断包络盒是否存在碰撞来判断是否存在碰撞的动作。

在一些实施例中，上述方法还可以包括：分别使用包络盒对机器人的各个部分进行包络处理。为了充分保证安全性，包络过程需要留有一定的余量。参见图7示出的人形机器人各部分包络盒的包络示意图，具体包络过程可以具体包括：用球体包络头部，圆柱体分别包络脖子、手臂的大小臂，长方体包络躯干和手部。鉴于人体手臂动作模仿过程中，人体的下半身没有动作，且人体一般处于站立状态，可以长方体包络可能与手臂碰撞的人体下半身。

基于此，参见图8示出的步骤S604的具体流程示意框图，上述步骤S604，即上述根据第二位姿信息对机器人进行运动碰撞检测，得到碰撞检测结果的具体过程可以包括：

步骤S801、根据第二位姿信息，计算机器人各个部分对应的包络盒的第三位姿信息。

在进行碰撞检测时，需要各个包络盒的位姿信息。实际应用中，需要计算大小臂和手部的位姿信息，其它部分(例如、头部、脖子、躯干和下半身等)的位姿信息是预先确定的。

在一些实施例中，第二位姿信息包括机器人肩部的位姿信息、机器人肘部的位姿信息和机器人腕部的位姿信息。

上述根据第二位姿信息，计算机器人各个部分对应的包络盒的第三位姿信息的具体过程可以包括：

通过P_uparm＝(P'_S+P'_E)/2计算机器人大臂对应的包络盒的位置信息；通过P_forearm＝(P'_E+P'_W)/2计算机器人小臂对应的包络盒的位置信息；通过P_hand＝P'_W+R'_Wl_hand计算机器人手部对应的包络盒的位置信息；

根据机器人大臂对应的包络盒的位置信息和机器人肩部的姿态信息，获得机器人大臂对应的包络盒的位姿信息；根据机器人小臂对应的包络盒的位置信息和机器人肘部的姿态信息，获得机器人小臂对应的包络盒的位姿信息；根据机器人手部对应的包络盒的位置信息和机器人腕部的姿态信息，获得机器人手部对应的包络盒的位姿信息。具体地，包络盒的位姿信息可以通过动作映射后各关键点的位姿计算得到。其中，机器人的大小臂的位置计算过程可以通过下面公式计算得到，此外，大臂的姿态为动作映射后肩部关键点的姿态，小臂的姿态为动作映射后肘部关键点的位姿。计算公式如下：

P_uparm＝(P'_S+P'_E)/2

P_forearm＝(P'_E+P'_W)/2

其中，P_uparm为大臂的位置信息，P_forearm为小臂的位置信息，P'_S、P'_E、P'_W分别为动作映射后的肩部、肘部和腕部的位置信息。

另外，手部位置信息可以通过如下公式求解，同时，手部的姿态为动作映射后腕部关键点的姿态。

P_hand＝P'_W+R'_Wl_hand

其中，P_hand为手部位置信息，l_hand为机器人手掌中心到腕部的距离。R'_W为动作映射后的腕部姿态信息。

步骤S802、利用FCL碰撞检测库，根据第三位姿信息判断是否存在碰撞的包络盒；若存在碰撞的包络盒，进入步骤S803，反之，若不存在碰撞的包络盒，则进入步骤S804。

在动作模仿过程中，每采集一次动作数据即进行一次映射和模仿，机器人手臂每次运动前都可以先进行一次碰撞检测。在本申请实施例，机器人手臂运动过程中可能会发生碰撞的包络盒一共有22对，具体如下表所示。

当22对包络盒中存在一对包络盒碰撞时，则判定存在碰撞的动作，则舍弃本周期的跟踪，保持上一周期的姿态，直到双臂与身体或双臂间无任何碰撞再进行动作模仿。如果不存在碰撞的包络盒，则判定不会发生碰撞的动作，则将计算出的关节角度值发送至机器人双臂，以进行动作模仿。

步骤S803、判定存在碰撞的动作。

步骤S804、判定不存在碰撞的动作。

先利用包络盒进行包络处理，使得碰撞检测时，通过判断包络盒之间是否存在接触或碰撞，即可判断出是否存在碰撞，减少了碰撞检测的计算量，提高了运算速度，提高了动作模仿的实时性。

步骤S605、根据角度值控制机器人手臂运动。

步骤S606、舍弃本周期的动作模仿，保持上一周期的姿态。

可以看出，在根据角度值控制机器人手臂运动之前，即在进行动作模仿之前，先对机器人进行运动碰撞检测，若所要模仿的动作中不存在碰撞的动作时，则进行相应的动作模仿，以充分考虑机器人各肢体的碰撞情况，保证在动作模仿过程中机器人的安全性，提高了动作模仿的安全稳定性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的人体手臂动作模仿方法，图9示出了本申请实施例提供的人体手臂动作模仿装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图9，该装置包括：

获取模块91，用于获取待模仿人体手臂关键点的第一位姿信息；

映射模块92，用于将第一位姿信息转换为机器人手臂关键点的第二位姿信息；

角度值计算模块93，用于根据第二位姿信息，通过机器人手臂逆运动学求解机器人手臂各个关节的角度值；

控制模块94，用于根据角度值控制机器人手臂运动。

在一种可能的实现方式中，还包括：

碰撞检测模块，用于根据第二位姿信息对机器人进行运动碰撞检测，得到碰撞检测结果；若碰撞检测结果为不存在碰撞的动作，进入根据角度值控制机器人手臂运动的步骤。

在一种可能的实现方式中，还包括：

包络模块，用于分别使用包络盒对机器人的各个部分进行包络处理；

上述碰撞检测模块具体用于：

根据第二位姿信息，计算机器人各个部分对应的包络盒的第三位姿信息；

利用FCL碰撞检测库，根据第三位姿信息判断是否存在碰撞的包络盒；

若存在碰撞的包络盒，则判定存在碰撞的动作；

若不存在碰撞的包络盒，则判定不存在碰撞的动作。

在一种可能的实现方式中，第二位姿信息包括机器人肩部的位姿信息、机器人肘部的位姿信息和机器人腕部的位姿信息；

上述碰撞检测模块具体用于：

通过P_uparm＝(P'_S+P'_E)/2计算机器人大臂对应的包络盒的位置信息；

通过P_forearm＝(P'_E+P'_W)/2计算机器人小臂对应的包络盒的位置信息；

通过P_hand＝P'_W+R'_Wl_hand计算机器人手部对应的包络盒的位置信息；

根据机器人大臂对应的包络盒的位置信息和机器人肩部的姿态信息，获得机器人大臂对应的包络盒的位姿信息；

根据机器人小臂对应的包络盒的位置信息和机器人肘部的姿态信息，获得机器人小臂对应的包络盒的位姿信息；

根据机器人手部对应的包络盒的位置信息和机器人腕部的姿态信息，获得机器人手部对应的包络盒的位姿信息；

其中，P_uparm为大臂的位置信息，P_forearm为小臂的位置信息，P'_S、P'_E、P'_W分别为机器人的肩部、肘部和腕部的位置信息；

P_hand为手部位置信息，l_hand为机器人手掌中心到腕部的距离。R'_W为机器人的腕部姿态信息。在一种可能的实现方式中，上述映射模块具体用于：

对第一位姿信息进行去噪处理；

根据去噪后的第一位姿信息，建立肩部至肘部的第一空间三维向量和肘部至腕部的第二空间三维向量；

分别计算第一空间三维向量的第一向量模和第二空间三维向量的第二向量模；

根据第一空间三维向量、第二空间三维向量、第一向量模和第二向量模，以及机器人手臂的大臂长度和小臂长度，计算机器人的肘部和腕部的位置信息；

根据位置信息和第一位姿信息中的姿态信息，得到第二位姿信息。

在一种可能的实现方式中，上述映射模块具体用于：

对第一位姿信息的位置信息进行滤波操作，得到滤波后的位置信息；

根据第一位姿信息中的姿态信息和上一个动作采集周期的待模仿人体手臂关键点的姿态信息，计算前后两个动作采集周期的相对姿态；

将相对姿态变换为欧拉角表示，并对欧拉角值进行滤波操作，得到滤波后的姿态信息。

在一种可能的实现方式中，相对姿态的计算公式为：R＝R_i-1 ^-1R'_i，滤波后的姿态信息为R_i＝R_i-1R_filter；

其中，R_i-1 ^-1为上一个动作采集周期的姿态的逆矩阵，R'_i为本周期采集的姿态；R_filter为相对姿态的欧拉角表示滤波后的矩阵，R_i-1为上一个动作采集周期的姿态。

在一种可能的实现方式中，上述映射模块具体用于包括：

根据第一空间三维向量、第二空间三维向量、第一向量模和第二向量模，以及机器人手臂的大臂长度和小臂长度，通过

和

分别计算机器人的肘部和腕部的位置信息；

其中，

分别为机器人肘部的位置坐标和机器人腕部的位置坐标，l_SE为机器人手臂的大臂长度，l_EW为机器人手臂的小臂长度；

为第一向量，

为第一向量模；

为第二向量，

为第二向量模。

上述人体手臂动作模仿装置具有实现上述人体手臂动作模仿方法的功能，该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现，硬件或软件包括一个或多个与上述功能相对应的模块，模块可以是软件和/或硬件。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图10为本申请一实施例提供的机器人的结构示意图。如图10所示，该实施例的机器人10包括：至少一个处理器100、存储器101以及存储在所述存储器101中并可在所述至少一个处理器100上运行的计算机程序102，所述处理器100执行所述计算机程序102时实现上述任意各个人体手臂动作模仿方法实施例中的步骤。

所述机器人10的类型可以是任意的，例如，服务型机器人、人形机器人。该机器人可包括，但不仅限于，处理器100、存储器101。本领域技术人员可以理解，图10仅仅是机器人10的举例，并不构成对机器人10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备、底盘、机械手臂等等。

所称处理器100可以是中央处理单元(Central Processing Unit，CPU)，该处理器100还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器101在一些实施例中可以是所述机器人10的内部存储单元，例如机器人10的硬盘或内存。所述存储器101在另一些实施例中也可以是所述机器人10的外部存储设备，例如所述机器人10上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器101还可以既包括所述机器人10的内部存储单元也包括外部存储设备。所述存储器101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在机器人上运行时，使得机器人执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种人体手臂动作模仿方法，其特征在于，包括：

获取待模仿人体手臂关键点的第一位姿信息；

将所述第一位姿信息转换为机器人手臂关键点的第二位姿信息；

根据所述第二位姿信息，通过机器人手臂逆运动学求解机器人手臂各个关节的角度值；

根据所述角度值控制机器人手臂运动。

2.如权利要求1所述的方法，其特征在于，在所述根据所述角度值控制机器人手臂运动之前，还包括：

根据所述第二位姿信息对机器人进行运动碰撞检测，得到碰撞检测结果；

若所述碰撞检测结果为不存在碰撞的动作，进入所述根据所述角度值控制机器人手臂运动的步骤。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

分别使用包络盒对所述机器人的各个部分进行包络处理；

所述根据所述第二位姿信息对机器人进行运动碰撞检测，得到碰撞检测结果，包括：

根据所述第二位姿信息，计算所述机器人各个部分对应的包络盒的第三位姿信息；

利用FCL碰撞检测库，根据所述第三位姿信息判断是否存在碰撞的包络盒；

若存在碰撞的包络盒，则判定存在碰撞的动作；

若不存在碰撞的包络盒，则判定不存在碰撞的动作。

4.如权利要求3所述的方法，其特征在于，所述第二位姿信息包括机器人肩部的位姿信息、机器人肘部的位姿信息和机器人腕部的位姿信息；

根据所述第二位姿信息，计算所述机器人各个部分对应的包络盒的第三位姿信息，包括：

通过P_uparm＝(P'_S+P'_E)/2计算机器人大臂对应的包络盒的位置信息；

通过P_forearm＝(P'_E+P'_W)/2计算机器人小臂对应的包络盒的位置信息；

通过P_hand＝P'_W+R'_Wl_hand计算机器人手部对应的包络盒的位置信息；

根据机器人大臂对应的包络盒的位置信息和机器人肩部的姿态信息，获得机器人大臂对应的包络盒的位姿信息；

根据机器人小臂对应的包络盒的位置信息和机器人肘部的姿态信息，获得机器人小臂对应的包络盒的位姿信息；

根据机器人手部对应的包络盒的位置信息和机器人腕部的姿态信息，获得机器人手部对应的包络盒的位姿信息；

其中，P_uparm为大臂的位置信息，P_forearm为小臂的位置信息，P'_S、P'_E、P'_W分别为机器人的肩部、肘部和腕部的位置信息；

P_hand为手部位置信息，l_hand为机器人手掌中心到腕部的距离，R'_W为机器人的腕部姿态信息。

5.如权利要求1至4任一项所述的方法，其特征在于，所述将所述第一位姿信息转换为机器人手臂关键点的第二位姿信息，包括：

对所述第一位姿信息进行去噪处理；

根据去噪后的第一位姿信息，建立肩部至肘部的第一空间三维向量和肘部至腕部的第二空间三维向量；

分别计算所述第一空间三维向量的第一向量模和所述第二空间三维向量的第二向量模；

根据所述第一空间三维向量、所述第二空间三维向量、所述第一向量模和所述第二向量模，以及机器人手臂的大臂长度和小臂长度，计算所述机器人的肘部和腕部的位置信息；

根据所述位置信息和所述第一位姿信息中的姿态信息，得到所述第二位姿信息。

6.如权利要求5所述的方法，其特征在于，对所述第一位姿信息进行去噪处理，包括：

对所述第一位姿信息的位置信息进行滤波操作，得到滤波后的位置信息；

根据所述第一位姿信息中的姿态信息和上一个动作采集周期的待模仿人体手臂关键点的姿态信息，计算前后两个动作采集周期的相对姿态；

将所述相对姿态变换为欧拉角表示，并对欧拉角值进行滤波操作，得到滤波后的姿态信息。

7.如权利要求6所述的方法，其特征在于，所述相对姿态的计算公式为：R＝R_i-1 ^-1R'_i，所述滤波后的姿态信息为R_i＝R_i-1R_filter；

其中，R_i-1 ^-1为上一个动作采集周期的姿态的逆矩阵，R'_i为本周期采集的姿态；R_filter为相对姿态的欧拉角表示滤波后的矩阵，R_i-1为上一个动作采集周期的姿态。

8.如权利要求5所述的方法，其特征在于，所述根据所述第一空间三维向量、所述第二空间三维向量、所述第一向量模和所述第二向量模，以及机器人手臂的大臂长度和小臂长度，计算所述机器人的肘部和腕部的位置信息，包括：

根据所述第一空间三维向量、所述第二空间三维向量、所述第一向量模和所述第二向量模，以及机器人手臂的大臂长度和小臂长度，通过

和

分别计算所述机器人的肘部和腕部的位置信息；

其中，

分别为机器人肘部的位置坐标和机器人腕部的位置坐标，l_SE为机器人手臂的大臂长度，l_EW为机器人手臂的小臂长度；

为所述第一空间三维向量，

为所述第一向量模；

为所述第二空间三维向量向量，

为所述第二向量模。

9.一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。

Images