CN111300421A - 一种应用于人形机器人双手动作模仿的映射方法 - Google Patents

Abstract

本发明提供了一种应用于人形机器人双手动作模仿的映射方法，获取人体双肩、双肘、双膝、头部在世界坐标系中的位置，利用旋转矩阵计算出人形机器人双臂、双腿、躯干、头部的对应目标动作；通过VR游戏手柄获取人体手部在世界坐标系中的姿态，并转换为人体相对坐标系下人体手部的姿态；人体相对坐标系下人体手部的姿态与人形机器人手部在机器人相对坐标系下的手部目标姿态R_handJ相同，将R_handJ分解为人形机器人腕部姿态R_wristA和人形机器人小臂姿态R_armJ，将R_wristA对应的XYZ欧拉角表示的值作为人形机器人腕部驱动装置的目标值，使得人体手腕的转动准确映射到人形机器人的手腕部。

Description

一种应用于人形机器人双手动作模仿的映射方法

技术领域

本发明属于人形机器人技术领域，具体涉及一种应用于人形机器人双手动作模仿的映射方法。

背景技术

现有机器人一般只能通过事先编写的程序、在已知环境下、完成数目有限的、目标特定的任务，比如最典型的工业机械臂，只依照固定的轨迹在固定的环境里对固定的零件执行固定的任务。但在一个未知的环境中，针对更多样、更复杂的任务，这种依靠编好的程序去控制机器人的方法就显得无能为力。针对上述问题，可将人类智能与机器人相融合，也即通过人类去实时操作机器人完成相应动作。理论上，如果机器人能够准确地复制操作者的动作，那么操作者能够完成的所有任务，机器人也就都能够完成，从而大大提高了机器人完成任务的多样性、复杂性上限。

现有技术通过深度摄像头(常使用Kinect)来捕捉人体的姿态动作，再让机器人跟随，但是囿于人手的形状多变(手指可动)而且常有遮挡，现有的图像识别技术无法准确识别出手腕的动作。

发明内容

针对现有技术中存在不足，本发明提供了一种应用于人形机器人双手动作模仿的映射方法，用于准确识别出人体手腕的动作，并映射到人形机器人手腕部，使得机器人双手准确跟随人手动作。

本发明是通过以下技术手段实现上述技术目的的。

一种应用于人形机器人双手动作模仿的映射方法，通过动作捕捉设备获得人体双肩、双肘、双膝、头部在世界坐标系中的位置，利用旋转矩阵计算出人形机器人双臂、双腿、躯干、头部的对应目标动作；通过VR游戏手柄获取人体手部在世界坐标系中的姿态，并转换为人体相对坐标系下人体手部的姿态；人形机器人双臂在电机的带动下运动，再转动腕部，跟随人体手腕部动作。

进一步，所述旋转矩阵是一个3x3的旋转矩阵，表示为[H_xo H_yo H_zo]，H_xo、H_yo、H_zo分别是人体相对坐标系H_xyz的X、Y、Z轴正方向单位矢量在世界坐标系下的表示。

进一步，所述人体相对坐标系下人体手部的姿态与人形机器人手部在机器人相对坐标系下的手部目标姿态R_handJ相同。

更进一步，所述机器人相对坐标系下的手部目标姿态R_handJ＝R_wristA R_armJ，其中R_armJ表示机器人相对坐标系下人形机器人小臂的姿态，R_wristA表示人形机器人腕部在机器人小臂相对坐标系下的姿态。

更进一步，所述R_armJ＝R_shoulder R_elbow，其中R_shoulder代表人形机器人肩部转动的旋转矩阵，R_elbow代表人形机器人肘部转动的旋转矩阵。

更进一步，所述肩部和肘部转动利用XYZ欧拉角表示为(ψ，θ，φ)，所述转动等效地利用旋转矩阵表示为：

更进一步，所述R_wristA＝R_handJ R_armJ ^-1＝R_handJ R_armJ ^T。

更进一步，将R_wristA对应的XYZ欧拉角表示的值作为人形机器人腕部驱动装置的目标值，使得人体手腕的转动映射到人形机器人的手腕部。

本发明的有益效果为：本发明通过VR游戏手柄获取人体手部在世界坐标系中的姿态，并转换为人体相对坐标系下人体手部的姿态，人体相对坐标系下人体手部的姿态与人形机器人手部在机器人相对坐标系下的手部目标姿态R_handJ相同，将机器人相对坐标系下的手部目标姿态R_handJ分解为人形机器人腕部姿态R_wristA和人形机器人小臂姿态R_armJ，将R_wristA对应的XYZ欧拉角表示的值作为人形机器人腕部驱动装置的目标值，使得人体手腕的转动映射到人形机器人的手腕部，人形机器人手腕部动作准确跟随人体手腕的转动；本发明方法使得人形机器人能够准确地复制操作者的动作，完成更多样、更复杂的任务。

附图说明

图1为本发明所述一种应用于人形机器人双手动作模仿的映射方法流程图；

图2为本发明所述人体相对坐标系示意图；

图3为本发明人形机器人肩部关节结构示意图。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

如图1所示，一种应用于人形机器人双手动作模仿的映射方法，具体包括如下步骤：

步骤(1)，动作捕捉设备(如红外动作捕捉相机、深度摄相机Kinect、基于IMU的动作捕捉服等)获取人体各关节在世界坐标系中的位置；建立固定于人体的人体相对坐标系、固定于人形机器人的机器人相对坐标系和固定在人形机器人小臂上的小臂相对坐标系A_xyz；世界坐标系固定于地面(动作捕捉设备和VR游戏手柄采的数据都是相对于世界坐标系)。

本发明对于各个坐标系的建立过程并无硬性要求。为了简化计算出发，建立如下右手坐标系：①如图2所示，人体相对坐标系H_xyz：左肩到右肩为X轴正方向(记为H_x)，盆骨到脖子为Y轴正方向(记为H_y)，H_xxH_y(“x”代表矢量的叉乘运算)为Z轴正方向(记为H_z)②人形机器人相对坐标系J_xyz：和人体相对坐标系相同，人形机器人左肩到右肩为X轴正方向(记为J_x)，盆骨到脖子为Y轴正方向(记为J_y)，J_xxJ_y为Z轴正方向(记为J_z)；③人形机器人小臂相对坐标系A_xyz：初始状态下和人形机器人相对坐标系J_xyz的各个坐标轴平行(机器人小臂相对坐标系的X、Y、Z轴正方向分别记为A_x、A_y、A_z)；④世界坐标系O_xyz：初始状态下和人体相对坐标系H_xyz的坐标轴平行(世界坐标系的X、Y、Z轴正方向分别记为O_x、O_y、O_z)。且初始状态下，人体和人形机器人的姿态是一样的。

建立好各个坐标系后，就可以进行各关节位置和各肢体姿态的表示在不同坐标系下的互相转化。以“将位置和姿态从世界坐标系O_xyz下的表示转化到在人体相对坐标系H_xyz下的表示”为例：

设某一位置在世界坐标系O_xyz下用三维矢量表示为V_O，在人体相对坐标系H_xyz下表示为V_H；另有某一姿态在世界坐标系O_xyz下用3x3的旋转矩阵表示为R_O，在人体相对坐标系H_xyz下表示为R_H，则有：

V_H＝R_HO ^TV_O (1)

R_H＝R_HO ^TR_O (2)

其中，R_HO是一个3x3的旋转矩阵，且R_HO＝[H_xo H_yo H_zo]，H_xo、H_yo、H_zo分别是人体相对坐标系H_xyz的X、Y、Z轴正方向单位矢量在世界坐标系下的表示。各关节位置和各肢体姿态的表示在其它两坐标系之间的转化与上述例子相同。

步骤(2)，通过动作捕捉设备，获得人体双肩、双肘、双膝、头部在世界坐标系中的位置，利用旋转矩阵R_HO计算出人形机器人双臂、双腿、躯干、头部的对应目标动作(具体的计算方法有多种，现有技术，如CN107953331A和CN106078752A均有提及)，本发明仅以肩部关节为例做说明。

将机器人关节旋转角度转化为和人形机器人关节构造相对应的欧拉角。如图3所示，如果人形机器人肩部的关节是由三个串联的电机构成，机器人肩部的转动轴从前到后分别是R_x轴、R_y轴、R_z轴，那么机器人肩部的旋转就可以等价转化为XYZ欧拉角表示，假设人体肩部旋转可以用固定在人体上的XYZ欧拉角表示为(ψ，θ，φ)，那么令人形机器人肩部的三个电机分别转到ψ、θ、φ位置，则机器人的肩部就和人体的肩部转到了同样角度。

下面介绍如何通过矢量代数，计算出人体肩部转动的XYZ欧拉角表示(ψ，θ，φ)：

将动作捕捉设备获得的世界坐标系中人体双肩、双肘的位置，按照式(1)转换成在人体相对坐标系下人体双肩、双肘的位置。以“肘部位置-肩部位置”作为代表人体大臂的矢量；已知该矢量在初始状态下的值，记为V₀＝(x₀，y₀，z₀)；由动作捕捉设备获得该矢量在当前状态下的值，记为V₁＝(x₁，y₁，z₁)。而V₁可以看作V₀经过肩部的旋转得到，所以存在一个3x3的、待求的旋转矩阵R，使得：

R V₀＝V₁ (3)

另一方面，将人体肩部转动用XYZ欧拉角表示为(ψ，θ，φ)，则该转动可以等效地用旋转矩阵R表示为：

将旋转矩阵带入到式(3)中，则可以得到一个含有3个方程的方程组：

利用这3个方程，可以解出其仅有的3个未知数ψ、θ、φ的值；进而求出当前人体肩部转动的XYZ欧拉角表示(ψ，θ，φ)，即人形机器人对应关节电机的目标位置。

步骤(3)，通过VR游戏手柄(不局限于某一特定的设备，市面上的HTC Vive系列、OculusRift系列、PS VR系列和Valve Index手柄都可满足需求；有些需要红外基站，有些不需要)获取人体手部在世界坐标系下的姿态，根据式(2)转换为人体相对坐标系H_xyz下人体手部的姿态，并利用旋转矩阵R_handH表示，而经过步骤(2)，人形机器人手部在人形机器人相对坐标系J_xyz下的手部目标姿态R_handJ与R_handH的值相等，即：R_{hand J}＝R_handH。

而人形机器人双手的姿态可以分成两步：人形机器人的小臂在肘部电机和肩部电机的带动下运动，然后人形机器人再转动腕部，最后将双手运动到给定的姿态。由于人形机器人的小臂的运动在步骤(2)中实现人形机器人双臂、双腿、躯干、头部跟随人体的动作时已经确定下来，所以需要确定人形机器人腕部如何转动。

根据旋转矩阵的链式法则，可将R_handJ分解为：

R_handJ＝R_wristA R_armJ (6)

其中，R_armJ为3x3的旋转矩阵，表示人形机器人相对坐标系J_xyz下人形机器人小臂的姿态，根据式(2)确定；人形机器人的小臂相对于人形机器人坐标系J_xyz的转动是通过人形机器人肩部和肘部的依次转动实现的，故根据旋转矩阵的链式法则，有R_armJ＝R_shoulderR_elbow，其中R_shoulder是代表人形机器人肩部转动的旋转矩阵，也即式(3)中的R；在解出未知数ψ、θ、φ后，可求得R的值；R_elbow代表人形机器人肘部转动的旋转矩阵，计算方式与人形机器人肩部转动的旋转矩阵求解方式类似，为现有技术。

R_wristA为3x3的旋转矩阵，表示人形机器人腕部在人形机器人小臂相对坐标系A_xyz下的姿态，是要求的量。利用矩阵运算和旋转矩阵的性质(R^-1＝R^T)可以求得人形机器人腕部转动的姿态，即旋转矩阵在人形机器人相对坐标系J_xyz下的表示：

R_wristA＝R_handJ R_armJ ^-1＝R_handJ R_armJ ^T (7)

再利用步骤(2)可以求得旋转矩阵R_wristA对应的XYZ欧拉角表示；人形机器人的腕部关节结构和步骤(2)中提到的肩部关节(图3)的结构相同；因此，和步骤(2)中令人形机器人肩部的转动模仿人体肩部的转动同理，将R_wristA对应的XYZ欧拉角表示的值作为人形机器人腕部驱动装置(如电机)的目标值，便能使得人体手腕的转动可以准确映射到人形机器人的手腕部。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (8)

1.一种应用于人形机器人双手动作模仿的映射方法，其特征在于，通过动作捕捉设备获得人体双肩、双肘、双膝、头部在世界坐标系中的位置，利用旋转矩阵计算出人形机器人双臂、双腿、躯干、头部的对应目标动作；通过VR游戏手柄获取人体手部在世界坐标系中的姿态，并转换为人体相对坐标系下人体手部的姿态；人形机器人双臂在电机的带动下运动，再转动腕部，跟随人体手腕部动作。

2.根据权利要求1所述的应用于人形机器人双手动作模仿的映射方法，其特征在于，所述旋转矩阵是一个3x3的旋转矩阵，表示为[H_xo H_yo H_zo]，H_xo、H_yo、H_zo分别是人体相对坐标系H_xyz的X、Y、Z轴正方向单位矢量在世界坐标系下的表示。

3.根据权利要求1所述的应用于人形机器人双手动作模仿的映射方法，其特征在于，所述人体相对坐标系下人体手部的姿态与人形机器人手部在机器人相对坐标系下的手部目标姿态R_handJ相同。

4.根据权利要求3所述的应用于人形机器人双手动作模仿的映射方法，其特征在于，所述机器人相对坐标系下的手部目标姿态R_handJ＝R_wristAR_armJ，其中R_armJ表示机器人相对坐标系下人形机器人小臂的姿态，R_wristA表示人形机器人腕部在机器人小臂相对坐标系下的姿态。

5.根据权利要求4所述的应用于人形机器人双手动作模仿的映射方法，其特征在于，所述R_armJ＝R_shoulderR_elbow，其中R_shoulder代表人形机器人肩部转动的旋转矩阵，R_elbow代表人形机器人肘部转动的旋转矩阵。

6.根据权利要求5所述的应用于人形机器人双手动作模仿的映射方法，其特征在于，所述肩部和肘部转动利用XYZ欧拉角表示为(ψ，θ，φ)，所述转动等效地利用旋转矩阵表示为：

7.根据权利要求4所述的应用于人形机器人双手动作模仿的映射方法，其特征在于，所述R_wristA＝R_handJR_armJ ^-1＝R_handJR_armJ ^T。

8.根据权利要求7所述的应用于人形机器人双手动作模仿的映射方法，其特征在于，将R_wristA对应的XYZ欧拉角表示的值作为人形机器人腕部驱动装置的目标值，使得人体手腕的转动映射到人形机器人的手腕部。

Images