CN107953331A

CN107953331A - 一种应用于人形机器人动作模仿的人体姿态映射方法

Info

Publication number: CN107953331A
Application number: CN201710977516.5A
Authority: CN
Inventors: 张智军; 牛雅儒
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2017-10-17
Filing date: 2017-10-17
Publication date: 2018-04-24
Anticipated expiration: 2037-10-17
Also published as: CN107953331B

Abstract

本发明公开了一种应用于人形机器人动作模仿的人体姿态映射方法，包括如下步骤：1)通过深度摄像头获取人体骨骼节点的三维位置信息；2)根据人体骨骼节点构建人体骨骼向量，并依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型；3)建立基于人体骨骼模型各连杆的连杆参考坐标系；4)根据机器人关节结构特点利用人体连杆骨骼向量计算人体映射关节角度；5)根据机器人各关节角度限制，将人体映射关节角度应用到机器人关节上。本发明采用基于连杆骨骼向量和人体虚拟关节的几何解析法精确计算人体映射关节角度，通过关节角度将人体姿态映射到机器人端，具有计算损耗低，精确度高的特点。

Description

一种应用于人形机器人动作模仿的人体姿态映射方法

技术领域

本发明涉及人机交互技术领域，具体涉及一种应用于人形机器人动作模仿的人体姿态映射方法。

背景技术

近年来，机器人技术快速发展，并越来越广泛地应用于工业、医疗、科学研究与教育培训和家庭日常生活等领域当中。与此同时，愈加复杂和多样的应用环境对机器人的适应性和智能化提出了更高的要求。机器人模仿学习技术可以提高机器人学习效率，提升机器人智能化程度，将开发者从繁重的编程工作中解脱出来。对获取到的人体示教信息进行恰当的表征，以应用到机器人端，是模仿学习的重要环节。表征环节需要确立对示教动作的表征方式以及将观察到的动作映射到机器人端。传统的方法是根据示教动作末端执行器的位置使用数值方法解决逆运动学问题，从而得到待驱动的机器人关节角度。这种方法可以较好地控制机器人末端在工作空间的位置，但获取关节角度的方式是不直接和不精确的，因此会影响模仿姿态的相似度，并且，该类方法的计算量较大。另外一些研究人员通过几何分析的解析法直接得到人体映射关节角度，以驱动机器人。这类方法可以得到对应于示教姿态的较为精确的关节角度，使得机器人的模仿姿态达到与人较高的相似度，并且计算量较小。目前，应用几何分析的解析法的研究大多没有结合人体特点和机器人关节结构特点对关节角度的计算进行精确的分析，因此在一定程度上限制了人形机器人模仿人体姿态动作的相似性。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种应用于人形机器人动作模仿的人体姿态映射方法。

本发明的目的可以通过采取如下技术方案达到：

一种应用于人形机器人动作模仿的人体姿态映射方法，包括如下步骤：

S1、通过深度摄像头获取人体骨骼节点的三维位置信息；

S2、根据人体骨骼节点构建人体骨骼向量，并依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型；

S3、建立基于人体骨骼模型各连杆的连杆参考坐标系；

S4、根据机器人关节结构特点利用人体连杆骨骼向量计算人体映射关节角度；

S5、根据机器人各关节角度限制，将人体映射关节角度应用到相应的机器人关节上。

进一步地，所述的步骤S1中提取示教人员的四肢末端节点和各关节点的信息。

进一步地，所述的步骤S2中根据人体骨骼节点的三维信息构成了组成人体骨骼模型的人体骨骼向量。

进一步地，所述的步骤S2中将人形机器人与人体骨骼模型的躯干、头部、左上臂、左下臂、左手、左大腿、左小腿、左脚、右上臂、右下臂、右手、右大腿、右小腿、右脚定义为连杆；将靠近躯干的连杆定义为远离躯干的连杆的母连杆；将远离躯干的连杆定义为靠近躯干的连杆的子连杆；将颈部、左肩、左肘、左腕、左髋、左膝、左踝、右肩、右肘、右腕、右髋、右膝、右踝定义为主关节；将人形机器人主关节所具有的不同自由度定义为该主关节的次关节；将靠近躯干的主关节或次关节定义为远离躯干的主关节或次关节的母关节，将远离躯干的主关节或次关节定义为靠近躯干的主关节或次关节的子关节。

进一步地，所述的步骤S2中将与一个关节相连的两个连杆中靠近躯干的连杆定义为该关节的母连杆，远离躯干的连杆定义为该关节的子连杆。将与一个连杆相连的两个关节中靠近躯干的关节定义为该连杆的母关节，远离躯干的关节定义为该连杆的子关节。

进一步地，所述的步骤S2中在人体骨骼模型中建立与人形机器人数量与类型(翻滚、俯仰、偏航)相同的虚拟关节。根据一般人形机器人的关节特点，在初始姿态(定义为双臂下垂的直立姿态)时，虚拟关节的次关节旋转轴与该关节的母连杆的骨骼向量共线或垂直，若两个次关节同属一个主关节，则两个次关节相互垂直。本发明只考虑主关节的次关节为一个或两个的情况。

进一步地，所述的步骤S3中建立人体骨骼模型连杆参考坐标系的具体过程为：对于子关节是含有两个次关节的主关节的连杆，其参考坐标系的两个轴分别与两个子关节的旋转轴共线，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标系，在初始姿态时，X轴指向人体骨骼模型的正前方，Y轴指向人体骨骼模型的正左方，Z轴指向人体骨骼模型的正上方；

对于子关节是含有一个次关节的主关节的连杆，其参考坐标系的一个坐标轴与子关节的旋转轴共线，一个坐标轴与该连杆骨骼向量共线或垂直，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标

系，在初始姿态时，X轴指向人体骨骼模型的正前方，Y轴指向人体骨骼模型的正左方，Z轴指向人体骨骼模型的正上方。连杆坐标系的坐标原点均位于连杆末端点，即连杆的子关节中心点处。

进一步地，所述的步骤S4中将两连杆之间的主关节的旋转轴定义为次母关节的旋转轴。

进一步地，所述的步骤S4中对于每一个主关节的次母关节，人体映射关节角度通过该关节的人体子连杆骨骼向量在母连杆参考坐标系中的和机器人主关节旋转轴垂直的坐标系平面上的投影角计算得到；对于每一个主关节的次子关节，人体映射关节角度通过该关节人体子连杆骨骼向量与母连杆参考系中的和机器人主关节旋转轴垂直的坐标系平面的夹角计算得到。

本发明相对于现有技术具有如下的优点及效果：

1、本发明将人体躯干划分为四部分；建立了基于人体骨骼模型各连杆的连杆参考坐标系，可以精确确定人体各连杆的姿态；根据机器人关节结构特点确立不同的人体映射关节角度解析计算方法。以上方法均提高了人形机器人各连杆姿态的模仿相似度。

2、本发明使用基于几何分析的解析法获取对应于示教姿态的机器人关节角度，计算损耗小，计算速度快。

附图说明

图1是本发明公开的一种应用于人形机器人动作模仿的人体姿态映射方法的流程图；

图2(a)是Nao机器人的左上肢各关节定义及角度范围示意图1；

图2(b)是Nao机器人的左上肢各关节定义及角度范围示意图2；

图2(c)是Nao机器人的左上肢各关节定义及角度范围示意图3；

图3(a)是Nao机器人的左下肢各关节定义及角度范围示意图1；

图3(b)是Nao机器人的左下肢各关节定义及角度范围示意图2；

图4是由KinectⅡ获取的人体骨骼节点名称及编号示意图；

图5是Nao机器人与人体骨骼模型全身关节和连杆坐标系示意图；

图6是人体左上躯干参考坐标系及肩映射关节角度计算示意图；

图7是人体左大臂参考坐标系及肘映射关节角度计算示意图；

图8是人体左小臂参考坐标系及髋映射关节角度计算示意图；

图9是人体左大腿参考坐标系及膝映射关节角度计算示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种应用于人形机器人动作模仿的人体姿态映射方法，使用KinectⅡ作为深度摄像头，使用Nao机器人作为人形机器人模仿者和人体姿态的映射对象。

应用于人形机器人动作模仿的人体姿态映射方法的具体实施方式，流程图如图1所示，包括如下步骤：

S1、通过KinectⅡ深度摄像头获取人体骨骼节点的三维位置信息；

S3、建立基于人体骨骼模型各连杆的连杆参考坐标系；

S4、根据Nao机器人关节结构特点利用人体连杆骨骼向量计算人体各关节角度；

S5、根据Nao机器人各关节角度限制，将人体映射关节角度应用到相应的机器人关节上。

图2(a)-图2(c)与图3(a)、图3(b)是Nao机器人左半身各关节定义及角度范围示意图。

步骤S1中使用KinectⅡ摄像头获取人体骨骼节点的三维位置信息，各骨骼节点名称及编号如图4所示。

步骤S2中根据人体骨骼节点的三维位置信息建立骨骼向量，设由一个骨骼节点指向另一个骨骼节点的骨骼向量为其中i为向量始端的骨骼节点的数字编号，j为向量末端的骨骼节点的数字编号。部分骨骼向量在图5中标出。

步骤S2中根据Nao机器人的关节结构特点，在人体骨骼模型中构建与Nao机器人关节数量与类型一致的虚拟关节，由于Nao机器人躯干下部的偏航俯仰关节由一个电机驱动且左右对称，因此在此环节不予考虑。定义机器人与人体骨骼模型的初始姿态为双臂下垂的直立姿态，此时相应的关节角度定义为初始关节角度，其中肩部俯仰角为其余关节角度均为0。在初始姿态时虚拟关节的旋转轴均与骨骼向量共线或垂直，如图5所示。

下面以左半身部分关节为例，如图5所示，构建步骤S2中人体骨骼模型虚拟关节，其余关节同理。

左肩俯仰关节是左肩翻滚关节的母关节，其旋转轴与向量共线。左肩翻滚关节的旋转轴位置随着左肩俯仰关节的变化而变化，其旋转轴与平面2-5-6的法向量共线，为：当左肩俯仰关节为初始角度时，左肩翻滚关节的旋转轴与左上躯干参考平面的法向量共线，为：

左肘偏航关节是左肘翻滚关节的母关节，其旋转轴与向量共线。左肘翻滚关节的旋转轴位置随着左肘偏航关节的变化而变化，其旋转轴与平面5-6-7的法向量共线，为：当左肘偏航关节为初始角度时，左肘翻滚关节的旋转轴与平面2-5-6的法向量共线。

左髋翻滚关节是左髋俯仰关节的母关节，其旋转轴与左下躯干参考平面的法向量共线，为：左髋俯仰关节的旋转轴位置随着左髋翻滚关节的变化而变化，其旋转轴与由与构成的平面法向量共线。当左髋翻滚关节为初始角度时，左髋俯仰关节的旋转轴与向量共线。

左膝俯仰关节是左膝唯一的次关节，其旋转轴与平面17-18-19的法向量共线，为：

下面以左半身部分连杆为例，如图5所示，构建步骤S3中人体骨骼模型连杆的连杆参考系，其余连杆同理。

左上躯干连杆参考系的X轴与左肩俯仰关节为初始角度时的左肩翻滚关节的旋转轴共线，指向连杆的正前方；Y轴与左肩俯仰关节的旋转轴共线，指向连杆的正左方；Z轴垂直于X-Y平面，指向连杆的正上方。其坐标原点位于骨骼节点5。

左大臂连杆参考系的X轴与左肘偏航关节为初始角度时的左肘翻滚关节的旋转轴共线，指向连杆的正前方；Z轴与左肘偏航关节的旋转轴共线，指向连杆的正上方；Y轴垂直于X-Z平面，指向连杆的正左方。其坐标原点位于骨骼节点6。

左下躯干连杆参考系的X轴与左髋翻滚关节的旋转轴共线，指向连杆的正前方；Y轴与左髋翻滚关节为初始角度时的左髋俯仰关节的旋转轴共线，指向连杆的正左方；Z轴垂直于X-Y平面，指向连杆的正左方。其坐标原点位于骨骼节点17。

左大腿连杆参考系的Y轴与左膝俯仰关节的旋转轴共线，指向连杆的正左方；Y轴与左大腿连杆骨骼向量共线，指向连杆的正上方；X轴垂直于Y-Z平面，指向连杆的正前方。其坐标原点位于骨骼节点18。

连杆的正前方、正左方、正上方的在连杆中的方位与初始姿态时连杆的正前方、正左方、正上方分别保持一致。

下面以左半身部分关节为例，计算步骤S4中人体映射关节角度，其余关节同理。

如图6所示，左上躯干连杆参考系的X、Y、Z轴分别与向量共线，三个向量均被平移至过骨骼节点5，其中为：

左肩俯仰角θ_LSP通过计算左大臂连杆骨骼向量在左上躯干连杆参考系的X-Z平面上的投影与X轴夹角得到：

引入辅助角则有：

左肩翻滚角θ_LSR通过计算左大臂连杆骨骼向量与左上躯干连杆参考系的X-Z平面的夹角的得到：

如图7所示，左大臂连杆参考系的X、Y、Z轴分别与向量共线，三个向量均被平移至过骨骼节点6，其中为：

左肘偏航角θ_LEY通过计算左小臂连杆骨骼向量在左大臂连杆参考系的X-Y平面上的投影与Y轴负方向向量的夹角得到：

引入辅助角与

则有：

左肘翻滚角θ_LER通过过计算左小臂连杆骨骼向量与左大臂连杆参考系的X-Y平面的夹角(加)得到，同时可由下式得到：

如图8所示，左下躯干连杆参考系的X、Y、Z轴分别与向量共线，三个向量均被平移至过骨骼节点17，其中为：左髋翻滚角θ_LHR通过计算左大腿连杆骨骼向量在左下躯干连杆参考系的Y-Z平面上的投影与Z轴负方向向量的夹角得到：

引入辅助角则有：

左髋俯仰角θ_LHP通过计算左大腿连杆骨骼向量与左下躯干参考系的Y-Z平面的夹角得到：

如图9所示，左大腿连杆参考系的X、Y、Z轴分别与向量共线，三个向量均被平移至过骨骼节点18，其中为：左膝俯仰角通过计算左小腿连杆骨骼向量在左大腿连杆参考系的X-Z平面上的投影与Z轴负方向向量的夹角得到。又由于膝部关节只有一个次关节，所以左小腿连杆骨骼向量在左大腿连杆参考系的X-Z平面上，因此可以得到：

最后，步骤S5根据图2及图3中Nao机器人左半身各关节角度范围限制将计算得到的人体映射关节角度应用到相应的机器人关节上，完成人体姿态的映射。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的人体姿态映射方法包括下列步骤：

S1、通过深度摄像头获取人体骨骼节点的三维位置信息；

S3、建立基于人体骨骼模型各连杆的连杆参考坐标系；

2.根据权利要求1所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的步骤S1中提取示教人员的四肢末端节点和各关节点的信息。

3.根据权利要求1所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的步骤S2中将人形机器人与人体骨骼模型的躯干、头部、左上臂、左下臂、左手、左大腿、左小腿、左脚、右上臂、右下臂、右手、右大腿、右小腿、右脚定义为连杆；将靠近躯干的连杆定义为远离躯干的连杆的母连杆；将远离躯干的连杆定义为靠近躯干的连杆的子连杆；将颈部、左肩、左肘、左腕、左髋、左膝、左踝、右肩、右肘、右腕、右髋、右膝、右踝定义为主关节；将人形机器人主关节所具有的不同自由度定义为该主关节的次关节；将靠近躯干的主关节或次关节定义为远离躯干的主关节或次关节的母关节，将远离躯干的主关节或次关节定义为靠近躯干的主关节或次关节的子关节。

4.根据权利要求1所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的步骤S2中将与一个关节相连的两个连杆中靠近躯干的连杆定义为该关节的母连杆，远离躯干的连杆定义为该关节的子连杆；将与一个连杆相连的两个关节中靠近躯干的关节定义为该连杆的母关节，远离躯干的关节定义为该连杆的子关节。

5.根据权利要求1所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的步骤S2中在人体骨骼模型中建立与人形机器人数量和类型相同的虚拟关节，其中，类型包括：翻滚、俯仰、偏航，根据人形机器人的关节特点，在初始姿态时，虚拟关节的次关节旋转轴与该关节的母连杆的骨骼向量共线或垂直，若两个次关节同属一个主关节，则两个次关节相互垂直。

6.根据权利要求1所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的步骤S3中建立人体骨骼模型连杆参考坐标系的具体过程为：对于子关节是含有两个次关节的主关节的连杆，其参考坐标系的两个轴分别与两个子关节的旋转轴共线，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标系，在初始姿态时，X轴指向人体骨骼模型的正前方，Y轴指向人体骨骼模型的正左方，Z轴指向人体骨骼模型的正上方；

对于子关节是含有一个次关节的主关节的连杆，其参考坐标系的一个坐标轴与子关节的旋转轴共线，一个坐标轴与该连杆骨骼向量共线或垂直，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标系，在初始姿态时，X轴指向人体骨骼模型的正前方，Y轴指向人体骨骼模型的正左方，Z轴指向人体骨骼模型的正上方。连杆坐标系的坐标原点均位于连杆末端点，即连杆的子关节中心点处。

7.根据权利要求1所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的步骤S4中将两连杆之间的主关节的旋转轴定义为次母关节的旋转轴，对于每一个主关节的次母关节，人体映射关节角度通过该关节的人体子连杆骨骼向量在母连杆参考坐标系中的和机器人主关节旋转轴垂直的坐标系平面上的投影角计算得到；对于每一个主关节的次子关节，人体映射关节角度通过该关节人体子连杆骨骼向量与母连杆参考系中的和机器人主关节旋转轴垂直的坐标系平面的夹角计算得到。

8.根据权利要求3或4所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，在连杆-关节链中衡量连杆或关节与躯干的距离，而非在全空间中衡量连杆或关节与躯干的距离。

9.根据权利要求5或6所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的初始姿态定义为双臂下垂的直立姿态。