CN108621164A - 基于深度相机的太极推手机器人 - Google Patents

Abstract

本发明提供一种基于深度相机的太极推手机器人，包括人形机器人、深度相机、惯性导航模块、上位机和嵌入式控制器，人形机器人的四肢和躯干设有多个旋转装置，旋转装置设有控制旋转角度的舵机；深度相机用于采集人体骨骼图，经上位机传输信息到机器人；惯性导航模块用于采集人体细微动作与难识别动作；嵌入式控制器对惯性导航模块的数据进行处理。本发明能够通过深度相机传感器采集人体动作信息传到人形机器人并使其做出适当反应；惯性导航模块采集人体手臂的位姿，提高对人体复杂动作的识别准确性，实现智能化太极推手动作。本发明提供一种基于深度相机的太极推手机器人，为太极爱好者提供了一种自己锻炼太极的途径。

Description

基于深度相机的太极推手机器人

技术领域

本发明涉及机器学习控制技术领域，特别是涉及一种基于深度相机的太极推手机器人。

背景技术

在各种形式的机器人当中，仿人机器人是系统结构最复杂、集成度最高、与人类最为相似的一类机器人。

仿人机器人研究涉及到多门学科的交叉融合，以及传感器信息融合等众多领域，是机器人研究领域最高研究成果的代表。

太极推手的运动，得到还多太极爱好者的青睐，练习太极推手能改善呼吸系统的功能。

机器人动作模仿系统的研究已取得一定进展，但大多是在仿真环境下的实现，物理环境下的实现，利用传感器进行数据的采集，实现机器人的动作模仿，取得了良好的效果，但其数据采集所需的硬件代价较高，文献能够实现基本动作的模仿，但对复杂动作，例如太极推手的缓慢动作，识别效果不是很好.

人机交互学科逐渐形成了自己的理论体系和实践范畴的架构，从人机界面(人机接口)拓延开来，强调计算机对于人的反馈交互作用。

发明内容

本发明的目的是为了克服机器人对外界复杂动作以及高难度动作的数据获取不准确的问题，本文发明提供了一种基于深度相机的太极推手机器人。

本发明的技术方案是：

基于深度相机的太极推手机器人，包括人形机器人和控制系统，所述控制系统包括用于采集人体骨骼图的深度相机、至少两个用于采集人体细微动作与难识别动作的惯性导航模块、上位机和嵌入式控制器，深度相机设置于人体前方2-3m处，惯性导航模块设置于实验者的手臂和/或躯干难识别部位，深度相机的信号输出端与上位机相连接，惯性导航模块的信号输出端与嵌入式控制器相连接，嵌入式控制器的信号输出端与上位机相连接，人形机器人的四肢和躯干分别设有多个旋转装置，旋转装置设有控制旋转角度的舵机，上位机与舵机相连接。

3D深度相机是区别于我们平时用到的2D相机。与传统相机不同之处在于该相机可同时拍摄景物的灰阶影像资讯及包含深度的3维资讯。其设计原理系针对待测场景发射一参考光束，藉由计算回光的时间差或相位差，来换算被拍摄景物的距离，以产生深度资讯，此外再结合传统的相机拍摄，以获得2维影像资讯。

深度相机包含RGB彩色摄像机及由红外线发射器和红外线CMOS摄像机所构成的3D深度传感器。深度相机可以很好的应用到视觉数据的获取过程中。深度相机相机具有采集深度图像的功能，利用它可以完成对实验者人体双手位置的检测，将检测到的坐标在上位机中，经坐标变换，转换到人形机器人坐标系中。

所述上位机为电脑。

人形机器人在跟踪实验者完成太极推手动作时，人形机器人在实现动作模仿的过程中，人形机器人关节自由度接受的发送数据由于存在噪声影响会出现抖动，导致机器人的姿态与实验者姿态之间出现差异。机器人控制系统加入了惯性导航模块，放在人体难以检测的部位，手臂与躯干，时时检测这些部位的位姿。

惯性导航模块集成高精度的陀螺仪、加速度计和地磁场传感器，高精度的陀螺仪、加速度计和地磁场传感器的信号输出端分别与嵌入式控制器相连接。

惯性导航模块采用高性能的微处理器和先进的动力学解算与卡尔曼动态滤波算法，能够快速求解出模块当前的实时运动姿态。

一种基于深度相机的太极推手机器人的控制方法，包括如下步骤：

1)深度相机采集人体骨骼图，获取机器人所需的关节角信息，并将信息传递给上位机；

2)惯性导航模块采集惯性导航模块当前的实时运动姿态，并将信号传递给嵌入式控制器，嵌入式控制器对惯性导航模块的数据进行处理并将信号传递给上位机；

3)上位机处理后得到机器人所需的关节角，控制舵机旋转角度。

深度相机传感器获取人体深度图像与骨骼架构，并记录人体关节位置数据，通过坐标转换发送给人形机器人，实现机器人在实验者带领下跟随实验者完成太极推手的动作。

深度相机采集人体信息，利用深度相机获取人体的体态信息，根据提取出来的的任务关节的空间位置信息，对机器人的的关节变量进行计算。将得到的关节角数据传到上位机，用于控制机器人运动。

所述步骤1)中深度相机通过分割策略来将人体从背景环境中区分出来，并分割化人体图像的每个像素，生成人体骨骼图，并将信号传递给上位机；

所述步骤2)中惯性导航模块测位姿，检测到有人体位姿的实时变化，将信号传递给嵌入式控制器，嵌入式控制器采用动力学解算与卡尔曼动态滤波算法，求解出人体当前的实时运动姿态；

所述步骤3)中上位机获取骨骼点三维坐标信息，生成关节向量，通过计算关节向量的夹角得到各关节控制角，通过机器人逆运动学由末端位置求解关节角，控制舵机旋转角度。

嵌入式控制器是一款性能较强的控制器，嵌入式控制器接收惯性导航模块采集的数据，并进过处理后得到机器人所需的关节角，通过上位机辅助控制机器人运动。在嵌入式控制器中，对惯性导航模块所采集到的数据进行坐标变换，变换成可用于控制机器人运动的关节角数据。

人形机器人关节自由度较多，可以做出类似于人的动作，由上至下依次设有头部关节、肩关节、肘关节、腕关节、髋关节、膝关节和踝关节。其中，各个关节的旋转自由表如表1所示：

关节	自由度
		头部关节	头部偏航
左肩关节	左肩俯仰(LShoulderPitch)、左肩滚转(LshoulderRoll)
		右肩关节	右肩俯仰(RShoulderPitch)、右肩滚转(RshoulderRoll)
左肘关节	左肘偏航(LElbowYaw)、左肘滚转(LElbowRoll)
		右肘关节	右肘偏航(RElbowYaw)、左肘滚转(RElbowRoll)
左腕关节	左腕(LWristYaw)
		右腕关节	右腕(LWristYaw)
左大腿关节	左大腿俯仰(LHipPiteh)、左大腿滚转(LHipRoll)
		右大腿关节	右大腿俯仰(RHipPitch)、右大腿滚转(RHipRoll)
左膝关节	左膝俯仰(LHipPitch)
		右膝关节	右膝俯仰(RHipPitch)
左踝关节	左踝俯仰(LKneePitch)
		右踝关节	右踝俯仰(RKneePiteh)

表1

所述俯仰为围绕X轴旋转，偏航围绕Z轴旋转，滚转为围绕Y轴旋转。

利用深度相机获取骨骼点三维坐标信息，生成关节向量，通过计算关节向量的夹角得到各关节控制角，以右肘翻滚角RElbowRoll和偏航角RElbowYaw为例，对关节角的计算过程进行说明。为求RElbowRoll和RElbowYaw的关节角需要深度相机提取的骨骼点有Wrist_R、Elbow_R、Shoulder_R、Spine_Shoulder，分别用p1、p2、p3、p4表示，设其三维坐标信息分别为(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)、(x4，y4， z4)。则：

则关节角RElbowRoll为：

记向量p_3，4p_2，3＝p_3，4×p_2，3，则关节角RElbowYaw为

其中，左肘偏航角LElbowYaw的计算与RElbowYaw类似，，如上式所示，其余各个自由度的计算与RElbowRoll类似，不同之处在于根据选取的向量不同，参照人形机器人的各个自由度角度变化范围，作取负、加减π/2或者π的校正，如此，即可得到各自由度一系列角度变化的信息，也就是跟踪学习的示教信息，最终得到平滑稳定的运动轨迹。

深度相机采集到的体态信息，是以定义的空间坐标系为基础的。为方便机器人的控制，需要将其转换为与机器人相对应的坐标系下的表示。本发明中，所有的关节的位置信息最终都要映射为机器人各个关节的转动角度，所以选取机器人的躯干坐标系作为本次转换的目的坐标系。

设P1 P2 P3为分别代表左肩、右肩、脊椎三关节在空间中质点，它们在原坐标系下的坐标分别为：

可以得到从右肩到左肩的空间向量为：

因为向量P1P2的方向代表了目的坐标系中轴的正方向，所以目的坐标系相对于原坐标系平移了0P1，其中0是深度相机坐标系中的坐标原点。由此可以计算出目的坐标系相对于原坐标系绕轴、轴转动的角度依次为：

此次转换后脊椎的位置被转换到新的位置：

P′₃＝A＇^RP₃

此时得到目的坐标系相对于原坐标系绕轴的转角：

最终得到从目的坐标系到原坐标系的转换矩阵为：

A＝Rot(y，θ_y)Rot(z，θ_z)Rot(x，θ_x)Trans(x₁，y₁，z₁)

此时就可以将深度相机坐标系下的信息全部转换到人形机器人坐标系下，求得关节角度，并由机器人逆运动学方程计算出各关节角，作为控制机器人的数据基础。

深度相机采集到的数据与惯性导航模块采集到数据在上位机中进行融合，综合优化后最后传递给机器人，使其跟踪实验者完成太极推手的动作。

本发明具有的优点和积极效果是：

1、使用深度相机实时采集人体位姿信息，处理后传给机器人，具有将强的实时性；

2、通过加入惯性导航模块，可以对微小动作和难以识别的太极动作进行采集，极大提高了机器人控制的准确性；

3、继续开发深度相机的功能，利用其采集人手的位置，使机器人去迎合人手，完成人机对推的效果；

4、利用太极推手与机器人控制系统结合，也极大提高了机器人的利用价值。

附图说明

图1是本发明基于深度相机的太极推手机器人结构示意图

图2是人形机器人结构示意图

图中：

1、实验者 2、惯性导航模块 3、嵌入式控制器 4、深度相机 5、上位机

6、人形机器人 7、头部关节 8、肩关节 9、膝关节 10、肘关节

11、腕关节 12、大腿关节 13、踝关节

具体实施方式

如图1控制系统结构图所示，本发明提供了一种基于深度相机的太极推手机器人，包括人形机器人6和控制系统，控制系统包括用于采集人体骨骼图的深度相机4、至少两个用于采集人体细微动作与难识别动作的惯性导航模块2、上位机5和嵌入式控制器，深度相机6设置于人体前方2-3m处，惯性导航模块2设置于实验者1的手臂和/或躯干，深度相机6的信号输出端与上位机5相连接，惯性导航模块2的信号输出端与嵌入式控制器3相连接，嵌入式控制器3的信号输出端与上位机5相连接，人形机器人6的四肢和躯干分别设有多个旋转装置，旋转装置设有控制旋转角度的舵机，上位机5与舵机相连接。人形机器人关节自由度较多，可以做出类似于人的动作，由上至下依次设有头部关节7、肩关节8、肘关节10、腕关节11、髋关节12、膝关节9和踝关节13。其中，每个关节至少具有一个旋转自由度。惯性导航模块2集成陀螺仪、加速度计和地磁场传感器，陀螺仪、加速度计和地磁场传感器的信号输出端分别与嵌入式控制器3相连接。

本实例的工作过程如下：

1)深度相机4通过分割策略来将人体从背景环境中区分出来，并分割化人体图像的每个像素，生成人体骨骼图，并将信号传递给上位机5；

2)惯性导航模块2测位姿，检测到有人体位姿的实时变化，将信号传递给嵌入式控制器3，嵌入式控制器3采用动力学解算与卡尔曼动态滤波算法，求解出人体当前的实时运动姿态；

3)上位机5获取骨骼点三维坐标信息，生成关节向量，通过计算关节向量的夹角得到各关节控制角，通过机器人逆运动学由末端位置求解关节角，控制舵机旋转角度。

Claims (4)

1.基于深度相机的太极推手机器人，包括人形机器人和控制系统，其特征在于：控制系统包括用于采集人体骨骼图的深度相机、至少两个用于采集人体细微动作与难识别动作的惯性导航模块、上位机和嵌入式控制器，深度相机设置于人体前方2-3m处，惯性导航模块设置于实验者的手臂和/或躯干，深度相机的信号输出端与上位机相连接，惯性导航模块的信号输出端与嵌入式控制器相连接，嵌入式控制器的信号输出端与上位机相连接，人形机器人的四肢和躯干分别设有多个旋转装置，旋转装置设有控制旋转角度的舵机，上位机与舵机相连接。

2.根据权利要求1所述的基于深度相机的太极推手机器人，其特征在于：惯性导航模块集成高精度的陀螺仪、加速度计和地磁场传感器，高精度的陀螺仪、加速度计和地磁场传感器的信号输出端分别与嵌入式控制器相连接。

3.一种权利要求1或2所述的基于深度相机的太极推手机器人的控制方法，其特征在于：包括如下步骤：

1)深度相机采集人体骨骼图，获取机器人所需的关节角信息，并将信号传递给上位机；

2)惯性导航模块采集惯性导航模块当前的实时运动姿态，将信号传递给嵌入式控制器，嵌入式控制器对惯性导航模块的数据进行处理并将信号传递给上位机；

3)上位机处理后得到机器人所需的关节角，控制舵机旋转角度。

4.根据权利要求3所述的基于深度相机的太极推手机器人的控制方法，其特征在于：所述步骤1)中深度相机通过分割策略来将人体从背景环境中区分出来，并分割化人体图像的每个像素，生成人体骨骼图，并将信号传递给上位机；

所述步骤2)中惯性导航模块测位姿，检测到有人体位姿的实时变化，将信号传递给嵌入式控制器，嵌入式控制器采用动力学解算与卡尔曼动态滤波算法，求解出人体当前的实时运动姿态；

所述步骤3)中上位机获取骨骼点三维坐标信息，生成关节向量，通过计算关节向量的夹角得到各关节控制角，通过机器人逆运动学由末端位置求解关节角，控制舵机旋转角度。