CN108858188A - 一种应用于人形机器人的人体转体和位移映射方法 - Google Patents

一种应用于人形机器人的人体转体和位移映射方法 Download PDF

Info

Publication number
CN108858188A
CN108858188A CN201810633050.1A CN201810633050A CN108858188A CN 108858188 A CN108858188 A CN 108858188A CN 201810633050 A CN201810633050 A CN 201810633050A CN 108858188 A CN108858188 A CN 108858188A
Authority
CN
China
Prior art keywords
human body
vector
bone
displacement
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810633050.1A
Other languages
English (en)
Other versions
CN108858188B (zh
Inventor
张智军
牛雅儒
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810633050.1A priority Critical patent/CN108858188B/zh
Publication of CN108858188A publication Critical patent/CN108858188A/zh
Application granted granted Critical
Publication of CN108858188B publication Critical patent/CN108858188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种应用于人形机器人的人体转体和位移映射方法，包括如下步骤：1)通过深度摄像头获取人体骨骼节点的三维位置信息；2)根据人体骨骼节点构建左髋部到右髋部的骨骼向量；3)将所构建的骨骼向量投影到水平面上；4)根据投影到水平面上的骨骼向量计算人体转体角度及方向；5)根据脊柱底部的骨骼节点以及投影到水平面上的骨骼向量计算在人体基坐标系中的位移；6)将计算得到的转体角度和方向以及在人体基坐标系中的位移应用到人形机器人上。本发明利用人体骨骼节点及向量将人体转体和位移映射到人形机器人上，具有操作简便、实时性强的特点。

Description

一种应用于人形机器人的人体转体和位移映射方法
技术领域
本发明涉及机器人控制、人机交互技术领域，特别涉及一种应用于人形机器人的人体转体和位移映射方法。
背景技术
近年来，机器人技术快速发展，并越来越广泛地应用于工业、医疗、科学研究与教育培训和家庭日常生活等领域当中。与此同时，愈加多样的应用环境和更加复杂的机器人结构对机器人控制提出了更高的要求。机器人模仿技术的发展提供了一种新型的机器人控制方式，提升了机器人编程的效率，将开发者从繁重的编程工作中解脱出来。机器人模仿技术使得机器人可以模仿示教者的肢体动作和空间移动等行为，而空间移动是控制机器人完成特定任务的关键。当前使用模仿技术控制人形机器人实现空间移动的方法有步态模仿法和位移映射法。其中步态模仿法可以较好地还原示教者的步态，但是示教过程较为繁琐，对人形机器人的平衡控制要求高，操作不够便捷；位移映射法则将示教者在一定时间内发生的位移映射到人形机器人上，使得人形机器人以预先设定的步态完成空间移动，操作便捷，但是现有应用中并没有考虑人体在空间移动中躯干朝向的变化。
发明内容
本发明的目的在于克服现有技术中的缺点与不足，提供一种应用于人形机器人的人体转体和位移映射方法，利用人体骨骼节点及向量将人体转体和位移映射到人形机器人上，具有操作简便、实时性强的特点。
为实现以上目的，本发明采取如下技术方案：
一种应用于人形机器人的人体转体和位移映射方法，包括下述步骤：
S1、通过深度摄像头获取人体骨骼节点的三维位置信息；
S2、根据步骤S1获得的人体骨骼节点的三维位置信息构建左髋部到右髋部的骨骼向量；
S3、将步骤S2所构建的左髋部到右髋部的骨骼向量投影到水平面上；
S4、根据步骤S3获得的投影到水平面上的骨骼向量计算人体转体角度及方向；
S5、根据脊柱底部的骨骼节点以及投影到水平面上的骨骼向量计算在人体基坐标系中的位移；
S6、将步骤S4计算得到的转体角度和方向以及步骤S5计算得到的在人体基坐标系中的位移传递给机器人，机器人执行相应的指令以完成相同转体角度的转体动作与在机器人基坐标系中相同位移的空间移动。
作为优选的技术方案，步骤S1中，所述通过深度摄像头获取人体骨骼节点的三维位置信息，包括人体的四肢和脊柱各关节点的信息。
作为优选的技术方案，步骤S2中深度摄像头前一有效帧的左髋部到右髋部的骨骼向量表示为当前有效帧的左髋部到右髋部的骨骼向量表示为
作为优选的技术方案，步骤S3中深度摄像头前一有效帧的投影在水平面上的左髋部到右髋部的骨骼向量表示为当前有效帧的投影在水平面上的左髋部到右髋部的骨骼向量表示为
作为优选的技术方案，步骤S4的过程如下：
计算人体转体角度|ω|：
为确定人体转体方向，引入前一有效帧用来表示人体躯干朝向的辅助向量
其中为垂直于水平面竖直方向上的单位向量；
引入辅助角θω：
由所述辅助角θω确定人体转体角度的方向，得到去绝对值的人体转体角度ω：
即时逆时针旋转，时顺时针旋转。
作为优选的技术方案，步骤S5具体包括下述步骤：
S51、将前一有效帧的脊柱底部骨骼节点指向当前有效帧的脊柱底部骨骼节点的向量表示为将其投影在水平面上的向量表示为则相邻两个有效帧之间人体移动的距离d表示为：
S52、分别建立人体和人形机器人的基坐标系：定义人体或人形机器人的基坐标系为右手系，其原点位于双脚与地面接触面的几何中心连线的中点，X轴的正向与人体或人形机器人躯干朝向的正方向一直，Y轴指向人或人形机器人的正左侧，Z轴垂直于水平面指向正上方；
S53、计算在人体基坐标系中的位移：
向量与人体基坐标系Y轴的夹角大小为：
为确定向量与人体基坐标系Y轴的位置关系，引入辅助角
由所述辅助角确定向量在Y轴的上侧或下侧，得到去绝对值的
即时，向量在Y车由的上侧；时，向量在Y轴的下侧；
则在前一有效帧中，沿人体基坐标系X轴的位移为：
沿人体基坐标系Y轴的位移为：
本发明相对于现有技术具有如下的优点和效果：
1、本发明方法将示教者在深度摄像头相邻有效帧之间的位移映射到人形机器人上，使得人形机器人以预先设定的步态完成空间移动，操作便捷。
2、本发明方法考虑了人体在空间移动的过程中发生的躯干朝向的变化，即转体动作，使得人形机器人模仿人体的空间移动更加全面。
3、本发明方法可以即时获取人体转体及位移的变化情况，控制机器人完成空间移动，具有实时性。
附图说明
图1是本实施例的一种应用于人形机器人的人体转体和位移映射方法的流程图；
图2是本实施例由Kinect II获取的人体骨骼节点名称及编号示意图；
图3是本实施例的计算相邻有效帧之间人体转体和位移示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
一种应用于人形机器人的人体转体和位移映射方法，使用Kinect II作为深度摄像头，如图1所示，该方法包括下述步骤：
S1、通过深度摄像头获取人体骨骼节点的三维位置信息，包括人体的四肢和脊柱各关节点的信息，各骨骼节点名称及编号如图2所示；
S2、根据人体骨骼节点的三维位置信息建立骨骼向量，设在深度摄像头坐标系中，由一个骨骼节点指向另一个骨骼节点的骨骼向量为或其中P代表深度摄像头前一有效帧，C代表深度摄像头当前有效帧，a为向量始端的骨骼节点的数字编号，b为向量末端的骨骼节点的数字编号。由此构建左髋部到右髋部的骨骼向量，深度摄像头前一有效帧的左髋部到右髋部的骨骼向量为当前有效帧的左髋部到右髋部的骨骼向量表示为
S3、将所构建的骨骼向量投影到水平面上：深度摄像头前一有效帧的投影在水平面上的左髋部到右髋部的骨骼向量表示为当前有效帧的投影在水平面上的左髋部到右髋部的骨骼向量表示为
S4、根据投影到水平面上的骨骼向量计算人体转体角度及方向：
计算人体转体角度|ω|：
为确定人体转体方向，引入前一有效帧用来表示人体躯干朝向的辅助向量
其中为垂直于水平面即竖直方向上的单位向量；
引入辅助角θω：
由所述辅助角θω确定人体转体角度的方向，得到去绝对值的人体转体角度ω：
即对逆时针旋转，时顺时针旋转；
S5、根据脊柱底部的骨骼节点以及投影到水平面上的骨骼向量计算在人体基坐标系中的位移；
S51、将前一有效帧的脊柱底部骨骼节点指向当前有效帧的脊柱底部骨骼节点的向量表示为将其投影在水平面上得到则相邻两个有效帧之间人移动的距离d可表示为：
其中xC为人体脊柱底部骨骼点在当前有效帧的深度摄像头坐标系中的X坐标，xP为人体脊柱底部骨骼点在前一有效帧的深度摄像头坐标系中的X坐标；同理，zC为人体脊柱底部骨骼点在当前有效帧的深度摄像头坐标系中的Z坐标，zP为人体脊柱底部骨骼点在前一有效帧的深度摄像头坐标系中的Z坐标；
S52、分别建立人体和人形机器人的基坐标系：定义人体或人形机器人的基坐标系为右手系，其原点位于双脚与地面接触面的几何中心连线的中点，X轴的正向与人体或人形机器人躯干朝向的正方向一直，Y轴指向人或人形机器人的正左侧，Z轴垂直于水平面指向正上方；如图3所示为人体基坐标系在水平面上的坐标轴；
S53、由于控制人形机器人的行走需要在前一有效帧中人形机器人的基坐标系中确定沿平面上各坐标轴的位移，因此相应地，需要确定向量与人体基坐标系Y或X轴的夹角大小与位置关系，以确定在前一有效帧中沿人体基坐标系位于平面上各坐标轴(X、Y轴)的位移；具体过程如下：
向量与人体基坐标系Y轴的夹角大小为：
为确定向量与人体基坐标系Y轴的位置关系，引入辅助角
由所述辅助角确定向量在Y轴的上侧(表示前进)或下侧(表示后退)，得到去绝对值的
即对，向量在Y轴的上侧(表示前进)；时，向量在Y轴的下侧(表示后退)；
则在前一有效帧中，沿人体基坐标系X轴的位移为：
沿人体基坐标系Y轴的位移为：
S6、将计算得到的转体角度和方向以及在人体基坐标系中的位移传递给机器人，机器人执行相应的指令，以预先设定的步态完成相同转体角度的转体动作与在机器人基坐标系中相同位移的空间移动。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以权利要求所述为准。

Claims (6)

1.一种应用于人形机器人的人体转体和位移映射方法，其特征在于，包括下述步骤：
S1、通过深度摄像头获取人体骨骼节点的三维位置信息；
S2、根据步骤S1获得的人体骨骼节点的三维位置信息构建左髋部到右髋部的骨骼向量；
S3、将步骤S2所构建的左髋部到右髋部的骨骼向量投影到水平面上；
S4、根据步骤S3获得的投影到水平面上的骨骼向量计算人体转体角度及方向；
S5、根据脊柱底部的骨骼节点以及投影到水平面上的骨骼向量计算在人体基坐标系中的位移；
S6、将步骤S4计算得到的转体角度和方向以及步骤S5计算得到的在人体基坐标系中的位移传递给机器人，机器人执行相应的指令以完成相同转体角度的转体动作与在机器人基坐标系中相同位移的空间移动。
2.根据权利要求1所述的应用于人形机器人的人体转体和位移映射方法，其特征在于，步骤S1中，所述通过深度摄像头获取人体骨骼节点的三维位置信息，包括人体的四肢和脊柱各关节点的信息。
3.根据权利要求1所述的应用于人形机器人的人体转体和位移映射方法，其特征在于，步骤S2中深度摄像头前一有效帧的左髋部到右髋部的骨骼向量表示为当前有效帧的左髋部到右髋部的骨骼向量表示为
4.根据权利要求1所述的应用于人形机器人的人体转体和位移映射方法，其特征在于，步骤S3中深度摄像头前一有效帧的投影在水平面上的左髋部到右髋部的骨骼向量表示为当前有效帧的投影在水平面上的左髋部到右髋部的骨骼向量表示为
5.根据权利要求1所述的应用于人形机器人的人体转体和位移映射方法，其特征在于，步骤S4的过程如下：
计算人体转体角度|ω|：
为确定人体转体方向，引入前一有效帧用来表示人体躯干朝向的辅助向量
其中为垂直于水平面竖直方向上的单位向量；
引入辅助角θω：
由所述辅助角θω确定人体转体角度的方向，得到去绝对值的人体转体角度ω：
即时逆时针旋转，时顺时针旋转。
6.根据权利要求1所述的应用于人形机器人的人体转体和位移映射方法，其特征在于，步骤S5具体包括下述步骤：
S51、将前一有效帧的脊柱底部骨骼节点指向当前有效帧的脊柱底部骨骼节点的向量表示为将其投影在水平面上的向量表示为则相邻两个有效帧之间人体移动的距离d表示为：
S52、分别建立人体和人形机器人的基坐标系：定义人体或人形机器人的基坐标系为右手系，其原点位于双脚与地面接触面的几何中心连线的中点，X轴的正向与人体或人形机器人躯干朝向的正方向一直，Y轴指向人或人形机器人的正左侧，Z轴垂直于水平面指向正上方；
S53、计算在人体基坐标系中的位移：
向量与人体基坐标系Y轴的夹角大小为：
为确定向量与人体基坐标系Y轴的位置关系，引入辅助角
由所述辅助角确定向量在Y轴的上侧或下侧，得到去绝对值的
即时，向量在Y轴的上侧；时，向量在Y轴的下侧；
则在前一有效帧中，沿人体基坐标系X轴的位移为：
沿人体基坐标系Y轴的位移为：
CN201810633050.1A 2018-06-20 2018-06-20 一种应用于人形机器人的人体转体和位移映射方法 Active CN108858188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810633050.1A CN108858188B (zh) 2018-06-20 2018-06-20 一种应用于人形机器人的人体转体和位移映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810633050.1A CN108858188B (zh) 2018-06-20 2018-06-20 一种应用于人形机器人的人体转体和位移映射方法

Publications (2)

Publication Number Publication Date
CN108858188A true CN108858188A (zh) 2018-11-23
CN108858188B CN108858188B (zh) 2020-10-27

Family

ID=64339760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810633050.1A Active CN108858188B (zh) 2018-06-20 2018-06-20 一种应用于人形机器人的人体转体和位移映射方法

Country Status (1)

Country Link
CN (1) CN108858188B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458943A (zh) * 2019-07-31 2019-11-15 深圳市商汤科技有限公司 移动对象旋转方法及装置、控制设备及存储介质
CN110531854A (zh) * 2019-08-27 2019-12-03 深圳创维－Rgb电子有限公司 一种动作模仿显示方法、动作模仿显示系统及存储介质
CN112580582A (zh) * 2020-12-28 2021-03-30 达闼机器人有限公司 动作学习方法、装置、介质及电子设备
CN112873166A (zh) * 2021-01-25 2021-06-01 之江实验室 一种生成机器人肢体动作的方法、装置、电子设备及介质
CN113269448A (zh) * 2021-05-31 2021-08-17 北京理工大学 虚拟现实环境中人机工效的可装配性评价系统及方法
CN115644953A (zh) * 2022-11-09 2023-01-31 吉林大学 基于人体解剖学的躯干及四肢节段骨骼系统标定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN107225573A (zh) * 2017-07-05 2017-10-03 上海未来伙伴机器人有限公司 机器人的动作控制方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN107225573A (zh) * 2017-07-05 2017-10-03 上海未来伙伴机器人有限公司 机器人的动作控制方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458943A (zh) * 2019-07-31 2019-11-15 深圳市商汤科技有限公司 移动对象旋转方法及装置、控制设备及存储介质
CN110458943B (zh) * 2019-07-31 2021-09-14 深圳市商汤科技有限公司 移动对象旋转方法及装置、控制设备及存储介质
CN110531854A (zh) * 2019-08-27 2019-12-03 深圳创维－Rgb电子有限公司 一种动作模仿显示方法、动作模仿显示系统及存储介质
CN112580582A (zh) * 2020-12-28 2021-03-30 达闼机器人有限公司 动作学习方法、装置、介质及电子设备
CN112873166A (zh) * 2021-01-25 2021-06-01 之江实验室 一种生成机器人肢体动作的方法、装置、电子设备及介质
CN113269448A (zh) * 2021-05-31 2021-08-17 北京理工大学 虚拟现实环境中人机工效的可装配性评价系统及方法
CN115644953A (zh) * 2022-11-09 2023-01-31 吉林大学 基于人体解剖学的躯干及四肢节段骨骼系统标定方法

Also Published As

Publication number Publication date
CN108858188B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN108858188A (zh) 一种应用于人形机器人的人体转体和位移映射方法
CN107901041B (zh) 一种基于图像混合矩的机器人视觉伺服控制方法
CN108762495B (zh) 基于手臂动作捕捉的虚拟现实驱动方法及虚拟现实系统
TWI521469B (zh) Two - dimensional Roles Representation of Three - dimensional Action System and Method
CN107953331A (zh) 一种应用于人形机器人动作模仿的人体姿态映射方法
US7865267B2 (en) Environment recognizing device, environment recognizing method, route planning device, route planning method and robot
CN110480634B (zh) 一种针对机械臂运动控制的手臂引导运动控制方法
CN105137973B (zh) 一种人机协作场景下的机器人智能躲避人类方法
Asfour et al. Toward humanoid manipulation in human-centred environments
CN113199479B (zh) 轨迹生成方法、装置、电子设备、存储介质和3d相机
CN110271016B (zh) 一种基于边界与力反馈的机械臂书法书写系统及方法
KR101929451B1 (ko) 로봇의 제어 장치 및 방법
Yu et al. Design and control of an embedded vision guided robotic fish with multiple control surfaces
RU2662913C2 (ru) Способ локализации робота в плоскости локализации
CN109961523B (zh) 虚拟目标的更新方法、装置、系统、设备及存储介质
CN113199480A (zh) 轨迹生成方法、装置、电子设备、存储介质和3d相机
CN103942829A (zh) 单幅图像的人体三维姿态重构方法
CN102915044A (zh) 一种基于仿生机理的机器人头眼协调运动控制方法
CN113189934A (zh) 轨迹生成方法、装置、电子设备、存储介质和3d相机
JP2008065368A (ja) ステレオ画像を利用した物体の位置および姿勢認識システム、物体の位置および姿勢認識方法、およびこの方法を実行するプログラム
CN111681302A (zh) 一种3d虚拟形象的生成方法、装置、电子设备及存储介质
CN113012268A (zh) 静态行人图像的运动动态化方法、系统、装置及介质
CN111626226B (zh) 一种颈部转动识别方法及系统
CN110743160A (zh) 基于体感捕捉设备的实时步伐跟踪系统及步伐生成方法
CN110120076A (zh) 一种位姿确定方法、系统、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant