CN109015631A - 基于多工作链的拟人机器人实时模仿人体运动的方法 - Google Patents

基于多工作链的拟人机器人实时模仿人体运动的方法 Download PDF

Info

Publication number
CN109015631A
CN109015631A CN201810715148.1A CN201810715148A CN109015631A CN 109015631 A CN109015631 A CN 109015631A CN 201810715148 A CN201810715148 A CN 201810715148A CN 109015631 A CN109015631 A CN 109015631A
Authority
CN
China
Prior art keywords
anthropomorphic robot
joint
angle value
working
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810715148.1A
Other languages
English (en)
Inventor
陈建新
郭伟
周亮
张明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201810715148.1A priority Critical patent/CN109015631A/zh
Publication of CN109015631A publication Critical patent/CN109015631A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明揭示了一种基于多工作链的拟人机器人实时模仿人体运动的方法，包括如下步骤：S1、数据获取及优化步骤；S2、坐标映射步骤；S3、正向运动学模型建立步骤；S4、多工作链的逆向运动学求解步骤；S5、角度值进行滤波处理步骤；S6、角度值限制步骤。本发明的拟人机器人实时模仿人体运动的方法，吸取现有各类技术的优点，实现拟人机器人对人体运动的实时模仿，具有很高的使用及推广价值。

Description

基于多工作链的拟人机器人实时模仿人体运动的方法
技术领域
本发明涉及一种机器人运动方法，具体而言，涉及一种基于多工作链的拟人机器人实时模仿人体运动的方法，属于人机交互领域。
背景技术
随着科技的不断发展，机器人技术不再仅限于工业制造领域内的应用，机器人技术正迅速地扩展到家庭娱乐、医疗服务、教育科研以及勘测探险等领域。可以预见的是，机器人在21世纪将会得到更加飞速地发展。
伴随着图像处理、机器视觉、人工智能等相关学科的不断发展，尤其是深度传感器(如Microsoft的Kinect等)出现后，基于深度传感器获得人体运动骨骼信息的技术方案逐步成为了现实。由于光学传感器的工作原理是通过光线反射时间计算被检测物体的参数，不需要使用者佩戴额外的穿戴设备，因而基于深度传感器进行人机交互是一种更加自然、也更加便捷的人机交互方式。目前，运用光学传感器是人机交互技术中最为前沿和热门的领域之一。基于深度传感器的应用开发使人机交互可以从二维平面互动扩展到三维空间自由交互，并且能够提供非接触的交互体验，使用户在与机器的交互过程中更自由。
当前的机器人模仿主要基于两种方式，一种是角度配置的相似性，一种是末端执行器轨迹的相似性。但如何将上述两种方式更好地进行融合及优化，以实现拟人机器人对人体运动的实时模仿，一直是行业内难以解决的问题之一。
综上所述，如何提出一种拟人机器人实时模仿人体运动的方法，吸取现有各类技术的优点，实现拟人机器人对人体运动的实时模仿，就成为了本领域内技术人员亟待解决的问题。
发明内容
鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于多工作链的拟人机器人实时模仿人体运动的方法，包括如下步骤：
S1、数据获取及优化步骤，通过深度传感器获取人体各关节在传感器坐标系下的骨骼位置数据，并对所获取的数据进行优化处理；
S2、坐标映射步骤，将经过优化处理后的骨骼位置数据转化为向量信息，并映射到拟人机器人的尺寸上；
S3、正向运动学模型建立步骤，在拟人机器人的单条手臂上，建立从肩关节到肘关节的正向运动学工作链和从肩关节到腕关节的正向运动学工作链；
S4、多工作链的逆向运动学求解步骤，求解从肩关节到肘关节的逆向运动学方程，获取肩部关节两个自由度的角度值，再将所获取的角度值代入从肩关节到腕关节的逆向运动学方程中并求解，获取肘部关节两个自由度的角度值；
S5、角度值进行滤波处理步骤，对所获取的角度值进行滤波处理；
S6、角度值限制步骤，对已经过滤波处理后的角度值进行限制，避免拟人机器人运动过程中的自我碰撞。
优选地，所述深度传感器为Kinect传感器。
优选地，S1中所述对所获取的数据进行优化处理，包括如下步骤：使用Holt双指数平滑方法中的平滑滤波器来过滤骨骼位置数据。
优选地，S2坐标映射步骤中所使用的映射方程为，
其中，表示人体从左手肩部关节到左手肘关节的向量，表示拟人机器人从左手肩部关节到左手肘关节的向量，表示人体从左手肩部关节到左手腕部关节的向量，表示拟人机器人从左手肩部关节到左手腕部关节的向量，l0、l1及l2表示各关节的偏移量或连杆尺寸。
优选地，所述S3正向运动学模型建立步骤，包括如下步骤：
S31、在拟人机器人的左右手上分别建立从肩部关节到肘部关节的正向运动学工作链，获取拟人机器人的左手在该工作链的DH矩阵；
S32、在拟人机器人的左右手上分别建立从肩部关节到腕部关节的正向运动学工作链，获取拟人机器人的左手在该工作链的DH矩阵。
优选地，所述S5角度值进行滤波处理步骤，包括如下步骤：
S51、使用数字滤波中的限幅滤波算法对脉冲干扰进行限幅滤波；
S52、使用Kalman滤波算法对所获取的角度值进行平滑滤波处理。
优选地，所述S6角度值限制步骤，包括如下步骤：使用三维形状简化拟人机器人结构，通过判断三维形状之间是否存在碰撞的方式检测拟人机器人的运动过程中是否发生了自我碰撞。
与现有技术相比，本发明的优点主要体现在以下几个方面：
本发明采用了多工作链的逆向运动学求解方式，不仅简化了逆向运动学求解的过程，同时也在保证末端轨迹相似性的基础上增加了角度配置的相似性，实现了拟人机器人对人体运动的实时模拟。同时，本发明中使用的两步滤波方式，使得模仿过程更加稳定，还在最大限度上降低了算法的延时性，提升了算法的实时性和计算结果的准确性。此外，本发明提出的整体算法可以实现拟人机器人实时的模仿人体运动。本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于领域内其他拟人机器人模仿人体运动的技术方案中，具有十分广阔的应用前景。
综上所述，本发明提出了一种基于多工作链的拟人机器人实时模仿人体运动的方法，具有很高的使用及推广价值。
以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。
附图说明
图1为本发明的流程图。
具体实施方式
如图1所示，本发明揭示了一种基于多工作链的拟人机器人实时模仿人体运动的方法，包括如下步骤：
S1、数据获取及优化步骤，通过深度传感器获取人体各关节在传感器坐标系下的骨骼位置数据，并对所获取的数据进行优化处理。
S2、坐标映射步骤，将经过优化处理后的骨骼位置数据转化为向量信息，并映射到拟人机器人的尺寸上。
S3、正向运动学模型建立步骤，在拟人机器人的单条手臂上，建立从肩关节到肘关节的正向运动学工作链和从肩关节到腕关节的正向运动学工作链。
S4、多工作链的逆向运动学求解步骤，求解从肩关节到肘关节的逆向运动学方程，获取肩部关节两个自由度的角度值，再将所获取的角度值代入从肩关节到腕关节的逆向运动学方程中并求解，获取肘部关节两个自由度的角度值。
此处的求解操作，大大简化了肩部到腕部工作链的逆向运动学求解过程，保证了手腕和手肘两端的末端轨迹的相似性，同时间接提高了角度配置的相似性。
S5、角度值进行滤波处理步骤，对所获取的角度值进行滤波处理。
S6、角度值限制步骤，对已经过滤波处理后的角度值进行限制，避免拟人机器人运动过程中的自我碰撞。
所述深度传感器为Kinect传感器。在微软推出的kinect开发者版本中， kinect具有三个传感器：红外发射镜头，红外摄像头以及RGB摄像头。利用彩色图像来获取人体姿态的方法只能获取人体二维位置，且非常容易受光照、背景、衣服颜色的影响，准确性和鲁棒性都较差。由于深度图像能反映镜头视野内各像素的空间位置，故利用深度图像可得到人体以及多个主要关节的三维坐标，且不受环境光照和衣服颜色等因素的影响。第一代Kinect能够获取包含20个关节的骨骼信息。在实际测试中kinect的骨骼数据抖动比较大我们需要对其进行滤波，在本技术方案中，使用Holt双指数平滑方法中的平滑滤波器来过滤骨骼位置数据。
通过kinect可以获取人体的骨骼位置数据，但获取的数据是基于kinect 的坐标系中，并不是我们想要的，因此我们需要把获取到的骨骼位置数据转换到拟人机器人的坐标系中，同时由于人体和机器人的关节尺寸差异过大，如果直接计算角度，会是模仿完全失败，因此需要把坐标信息转化成向量信息。
具体而言，S2坐标映射步骤中所使用的映射方程为，
其中，表示人体从左手肩部关节到左手肘关节的向量，表示拟人机器人从左手肩部关节到左手肘关节的向量，表示人体从左手肩部关节到左手腕部关节的向量，表示拟人机器人从左手肩部关节到左手腕部关节的向量，l0、l1及l2表示各关节的偏移量或连杆尺寸。
所述S3正向运动学模型建立步骤，包括如下步骤：
S31、在拟人机器人的左右手上分别建立从肩部关节到肘部关节的正向运动学工作链，获取拟人机器人的左手在该工作链的DH矩阵。
S32、在拟人机器人的左右手上分别建立从肩部关节到腕部关节的正向运动学工作链，获取拟人机器人的左手在该工作链的DH矩阵。
为了使得机器人模仿人体运动模仿得更加平滑，我们需要优化结果去消除角度的抖动，考虑到系统的实时性，采用的平滑滤波方法都必须具有比较低的算法复杂度。在实验结果中操作者发现，S4中所获取的角度值有很大的脉冲干扰以及抖动，因此首先需要消除这些脉冲干扰，其次是获取到的结果不够平滑，进而需要进行平滑滤波处理。具体而言，所述S5角度值进行滤波处理步骤，包括如下步骤：
S51、使用数字滤波中的限幅滤波算法对脉冲干扰进行限幅滤波。
S52、使用Kalman滤波算法对所获取的角度值进行平滑滤波处理。
为了防止损坏拟人机器人，避免拟人机器人的自我碰撞，在本实施例中，在拟人机器人内部提供了一些API，可以使机器人避免自我碰撞。
具体而言，所述S6角度值限制步骤，包括如下步骤：使用三维形状简化拟人机器人结构，通过判断三维形状之间是否存在碰撞的方式检测拟人机器人的运动过程中是否发生了自我碰撞。
本发明通过Kinect传感器捕获人体的骨骼位置数据，建立机器人手臂的多工作链模型，映射人体的向量数据到机器人维度上，求解机器人手臂的逆向运动学解，获取手臂各个关节模仿的角度值，对角度值进行滤波平滑处理，再进行机器人自我碰撞的避免，通过无线把数据发送给机器人。最终验证后，本方法的实时性、相似性都达到了非常高的要求。
本发明采用了多工作链的逆向运动学求解方式，不仅简化了逆向运动学求解的过程，同时也在保证末端轨迹相似性的基础上增加了角度配置的相似性，实现了拟人机器人对人体运动的实时模拟。同时，本发明中使用的两步滤波方式，使得模仿过程更加稳定，还在最大限度上降低了算法的延时性，提升了算法的实时性和计算结果的准确性。此外，本发明提出的整体算法可以实现拟人机器人实时的模仿人体运动。本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于领域内其他拟人机器人模仿人体运动的技术方案中，具有十分广阔的应用前景。
综上所述，本发明提出了一种基于多工作链的拟人机器人实时模仿人体运动的方法，具有很高的使用及推广价值。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于多工作链的拟人机器人实时模仿人体运动的方法，其特征在于，包括如下步骤：
S1、数据获取及优化步骤，通过深度传感器获取人体各关节在传感器坐标系下的骨骼位置数据，并对所获取的数据进行优化处理；
S2、坐标映射步骤，将经过优化处理后的骨骼位置数据转化为向量信息，并映射到拟人机器人的尺寸上；
S3、正向运动学模型建立步骤，在拟人机器人的单条手臂上，建立从肩关节到肘关节的正向运动学工作链和从肩关节到腕关节的正向运动学工作链；
S4、多工作链的逆向运动学求解步骤，求解从肩关节到肘关节的逆向运动学方程，获取肩部关节两个自由度的角度值，再将所获取的角度值代入从肩关节到腕关节的逆向运动学方程中并求解，获取肘部关节两个自由度的角度值；
S5、角度值进行滤波处理步骤，对所获取的角度值进行滤波处理；
S6、角度值限制步骤，对已经过滤波处理后的角度值进行限制，避免拟人机器人运动过程中的自我碰撞。
2.根据权利要求1所述的基于多工作链的拟人机器人实时模仿人体运动的方法，其特征在于：所述深度传感器为Kinect传感器。
3.根据权利要求1所述的基于多工作链的拟人机器人实时模仿人体运动的方法，其特征在于，S1中所述对所获取的数据进行优化处理，包括如下步骤：使用Holt双指数平滑方法中的平滑滤波器来过滤骨骼位置数据。
4.根据权利要求1所述的基于多工作链的拟人机器人实时模仿人体运动的方法，其特征在于：S2坐标映射步骤中所使用的映射方程为，
其中，表示人体从左手肩部关节到左手肘关节的向量，表示拟人机器人从左手肩部关节到左手肘关节的向量，表示人体从左手肩部关节到左手腕部关节的向量，表示拟人机器人从左手肩部关节到左手腕部关节的向量，l0、l1及l2表示各关节的偏移量或连杆尺寸。
5.根据权利要求1所述的基于多工作链的拟人机器人实时模仿人体运动的方法，其特征在于，所述S3正向运动学模型建立步骤，包括如下步骤：
S31、在拟人机器人的左右手上分别建立从肩部关节到肘部关节的正向运动学工作链，获取拟人机器人的左手在该工作链的DH矩阵；
S32、在拟人机器人的左右手上分别建立从肩部关节到腕部关节的正向运动学工作链，获取拟人机器人的左手在该工作链的DH矩阵。
6.根据权利要求1所述的基于多工作链的拟人机器人实时模仿人体运动的方法，其特征在于，所述S5角度值进行滤波处理步骤，包括如下步骤：
S51、使用数字滤波中的限幅滤波算法对脉冲干扰进行限幅滤波；
S52、使用Kalman滤波算法对所获取的角度值进行平滑滤波处理。
7.根据权利要求1所述的基于多工作链的拟人机器人实时模仿人体运动的方法，其特征在于，所述S6角度值限制步骤，包括如下步骤：使用三维形状简化拟人机器人结构，通过判断三维形状之间是否存在碰撞的方式检测拟人机器人的运动过程中是否发生了自我碰撞。
CN201810715148.1A 2018-07-03 2018-07-03 基于多工作链的拟人机器人实时模仿人体运动的方法 Pending CN109015631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810715148.1A CN109015631A (zh) 2018-07-03 2018-07-03 基于多工作链的拟人机器人实时模仿人体运动的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810715148.1A CN109015631A (zh) 2018-07-03 2018-07-03 基于多工作链的拟人机器人实时模仿人体运动的方法

Publications (1)

Publication Number Publication Date
CN109015631A true CN109015631A (zh) 2018-12-18

Family

ID=65521386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810715148.1A Pending CN109015631A (zh) 2018-07-03 2018-07-03 基于多工作链的拟人机器人实时模仿人体运动的方法

Country Status (1)

Country Link
CN (1) CN109015631A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109968355A (zh) * 2019-03-08 2019-07-05 北京工业大学 一种仿人机器人步态平衡模型建立的方法
CN110570455A (zh) * 2019-07-22 2019-12-13 浙江工业大学 一种面向房间vr的全身三维姿态跟踪方法
CN111369626A (zh) * 2020-03-04 2020-07-03 刘东威 基于深度学习的无标志点上肢运动分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106078752A (zh) * 2016-06-27 2016-11-09 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
US9696813B2 (en) * 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot
CN106981075A (zh) * 2017-05-31 2017-07-25 江西制造职业技术学院 仿人运动拟态的人体骨骼点参数采集装置及其识别方法
CN107953331A (zh) * 2017-10-17 2018-04-24 华南理工大学 一种应用于人形机器人动作模仿的人体姿态映射方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696813B2 (en) * 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot
CN106078752A (zh) * 2016-06-27 2016-11-09 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
CN106078752B (zh) * 2016-06-27 2019-03-19 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
CN106981075A (zh) * 2017-05-31 2017-07-25 江西制造职业技术学院 仿人运动拟态的人体骨骼点参数采集装置及其识别方法
CN107953331A (zh) * 2017-10-17 2018-04-24 华南理工大学 一种应用于人形机器人动作模仿的人体姿态映射方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王朝阳: "基于Kinect的类人机械臂演示学习研究", 《信息科技辑》 *
陈家顺: "基于人机交互的机器人动作模仿学习", 《信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109968355A (zh) * 2019-03-08 2019-07-05 北京工业大学 一种仿人机器人步态平衡模型建立的方法
CN110570455A (zh) * 2019-07-22 2019-12-13 浙江工业大学 一种面向房间vr的全身三维姿态跟踪方法
CN110570455B (zh) * 2019-07-22 2021-12-07 浙江工业大学 一种面向房间vr的全身三维姿态跟踪方法
CN111369626A (zh) * 2020-03-04 2020-07-03 刘东威 基于深度学习的无标志点上肢运动分析方法及系统

Similar Documents

Publication Publication Date Title
Ueda et al. A hand-pose estimation for vision-based human interfaces
CN113096252B (zh) 一种混合增强教学场景中多移动机制融合方法
CN108762495A (zh) 基于手臂动作捕捉的虚拟现实驱动方法及虚拟现实系统
CN109015631A (zh) 基于多工作链的拟人机器人实时模仿人体运动的方法
CN107225573A (zh) 机器人的动作控制方法和装置
CN104035557B (zh) 一种基于关节活跃度的Kinect动作识别方法
Oprea et al. A visually realistic grasping system for object manipulation and interaction in virtual reality environments
CN101520902A (zh) 低成本动作捕捉与演示系统及方法
CN108994832A (zh) 一种基于rgb-d相机的机器人手眼系统及其自标定方法
Tong et al. Research on skeleton animation motion data based on Kinect
CN101271581A (zh) 建立个性化的三维人体模型
Kazakidi et al. Vision-based 3D motion reconstruction of octopus arm swimming and comparison with an 8-arm underwater robot
CN105045496A (zh) 一种基于关节点变换的手势交互方法
Weik et al. Hierarchical 3d pose estimation for articulated human body models from a sequence of volume data
Jinka et al. Sharp: Shape-aware reconstruction of people in loose clothing
Milosevic et al. A SmartPen for 3D interaction and sketch-based surface modeling
JP5597087B2 (ja) 仮想物体操作装置
Koganti et al. Real-time estimation of human-cloth topological relationship using depth sensor for robotic clothing assistance
Valentini Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects
Wang et al. Real-time control of 3D virtual human motion using a depth-sensing camera for agricultural machinery training
Wang et al. Learning-based fabric folding and box wrapping
Ogawara et al. Grasp recognition using a 3D articulated model and infrared images
CN108961393A (zh) 一种基于点云数据流的人体建模方法及装置
Yang et al. Life-sketch: a framework for sketch-based modelling and animation of 3D objects
Kavakli Gesture recognition in virtual reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181218

RJ01 Rejection of invention patent application after publication