CN109079794A - 一种基于人体姿态跟随的机器人控制与示教方法 - Google Patents

Abstract

一种基于人体姿态跟随的机器人控制与示教方法，为机器人每个关节标注序号，记录机器人关节运动后的机器人平衡姿态、机器人关节角度以及机器人运动关节的序号，计算各个姿态下机器人重心位置，根据运动关节数目将姿态分类，建立包含机器人姿态、机器人运动关节信息、机器人重心位置的数据库，通过构建网络模型来获取图像中人体的关节点位置信息，完成人体姿态信息获取，利用角度匹配模型并结合路径搜索方法从数据库中获取最优匹配角度并作为相应人体动作姿态的输出，转化为机器人控制指令，将机器人控制指令发送给机器人，实现对机器人的运动控制与示教。本发明使人机交互更加自然、简单，示教效率高，生成的动作序列流畅且更具有亲和性、自然性。

Description

一种基于人体姿态跟随的机器人控制与示教方法

技术领域

本发明属于机器人技术领域，尤其涉及一种基于人体姿态跟随的机器人控制与示教方法。

背景技术

随着机器人应用逐渐从工业领域向服务、医疗、娱乐、教育等领域渗透，仿人机器人已经成为机器人技术领域一个主要的研究方向。而仿人机器人的动作编程是仿人机器人研究中的重要领域之一。

在使用机器人的过程中，除了最基本的机器人参数校调，动作声音编辑等，常常需要使用机器人完成一系列的动作，以实现某种目标，如行走，足球比赛，或假象的救援比赛等。这就需要对机器人的动作进行较为复杂的编辑。多年来在仿人机器人的动作编程上最主要的示教方法分为两种：

一、直接输入关节角度示教；

二、直接搬动机器人关节到目标位置示教；

这两种示教方法，是最基本的直接定位示教方法。其缺点非常明

显，有三点：

一、示教效率低；

二、生成流畅动作序列大；

三、生成动作的亲和性、自然性难以控制。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种基于人体姿态跟随的机器人控制与示教方法。利用该方法使得对机器人的示教变得更加简便，只依靠示教者的身体动作就可以对机器人完成示教，即使是对机器人系统只有基本认识的操作者也可以完成对机器人的动作编程，并得到自然流畅的机器人示教结果。

为解决上述技术问题，本发明采用如下技术方案。

一种基于人体姿态跟随的机器人控制与示教方法，所述方法包括如下步骤：

步骤S1，首先为机器人每个关节标注序号，并记录机器人一个或多个关节运动后的平衡姿态和关节角度以及运动关节的序号，同时计算各个姿态下机器人重心位置，并根据运动关节数目将姿态分类，然后建立姿态、运动关节信息、重心位置数据库；

步骤S2，从摄像头获取图像，通过构建网络模型来获取图像中人体的关节点位置信息，生成人体骨架关节图，完成人体姿态信息获取；

步骤S3，然后根据人体关节与机器人关节舵机差异性，进行动作映射，将检测到的人体姿态信息转化为关节角度信息，然后与建立的机器人关节角度数据库进行角度匹配，建立角度匹配模型；

步骤S4，利用匹配模型并结合路径搜索方法从数据库中获取最优匹配角度并作为相应人体动作姿态的输出，然后转化为机器人控制指令；

步骤S5，多关节机器人和主控机之间通过蓝牙进行通信，接收主控机发出的运动控制指令，实现对机器人的运动控制与示教。

机器人平衡姿态下计算质心位置的公式为：

其中M为机器人的质量，m_i为机器人每个连杆的质量，c_i为在以平衡点为原点的坐标系下，从原点指向连杆质点的向量，向量c_i由机器人关节角度经正向运动学运算得到，N为机器人的自由度数目；

向量c_i的计算以右肩膀和右肘这两个关节的空间向量a₁＝(x₁,y₁,z₁)、a₂＝(x₂,y₂,z₂)为例，c₁为此连杆的向量，则

动作映射的过程：以右手臂为例，从检测到的人体姿态信息中读取关节点右手腕、右手肘、右肩膀，分别记为a₁、a₂、a₃，且：

肘关节角度为：

角度匹配模型建立过程：首先从人体姿态信息中提取与角度相关的匹配特征信息，包括每个平衡姿态的质心位置信息关节点坐标信息关节点角度信息构建特征矩阵S^m，然后结合匹配矩阵S⁰建立相关度计算模型r。其中：

特征矩阵S^m中n与机器人自由度数目N相同，S⁰是姿态、运动关节信息、重心位置数据库中的选取的匹配矩阵。

其中：是向量的均值；是向量的均值；是向量的均值。是向量的均值；是向量的均值；是向量的均值。分别是质心位置相关度、关节坐标相关度、关节角度相关度。

的值越接近1，表示匹配特征矩阵S^m与选取的匹配矩阵S⁰越相关。

路径搜索方法为：先根据姿态确定运动关节的数目和序号，然后在人体姿态、运动关节信息、重心位置数据库中确定搜索范围进行查找与匹配，根据三个相关度的计算结果决定是否继续进行搜索查找，如果相关度位于0.98-1范围内则退出搜索查找。

示教方式采用人体动作跟随示教，主控机从摄像头捕捉到的图像信息中完成人体姿态信息提取，构建匹配特征矩阵并建立相关度计算模型，将最优匹配关节角度作为输出编译成控制指令通过蓝牙通信发送给机器人，完成示教。本方法的优点在于：通过捕捉人体动作并映射到机器人关节进行控制与示教，使人机交互更加自然、简单，示教效率高，生成的动作序列流畅且更具有亲和性、自然性。

本发明针对目前仿人机器人动作示教不方便的问题，提供了基于人体姿态跟随的机器人控制与示教方法，通过捕捉人体动作并将人体动作映射至机器人动作完成控制与示教，降低动作示教难度和使用者运用门槛。

附图说明

附图1为本发明控制与示教方法的流程示意图。

附图2为本发明机器人分布控制示意图。

附图3为本发明控制指令数据库的示意图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

如附图1所示，本发明提供了一种人体姿态跟随的机器人控制与示教方法，包括如下步骤：

步骤S1，首先为机器人每个关节标注序号，并记录机器人一个或多个关节运动后的平衡姿态和关节角度以及运动关节的序号，同时计算各个姿态下机器人重心位置，并根据运动关节数目将姿态分类，然后建立包含姿态、运动关节信息、重心位置的数据库。

步骤S2，从摄像头获取图像，通过构建网络模型来获取图像中人体的关节点位置信息，生成人体骨架关节图，完成人体姿态信息获取。

步骤S3，然后根据人体关节与机器人关节舵机的差异性，进行动作映射，将检测到的人体姿态信息转化为关节角度信息，然后与建立的数据库进行角度匹配，建立角度匹配模型。人体关节的运动角度范围和机器人某关节舵机运转所致该关节运动范围有所差异，从而形使得人体关节与机器人关节舵机存在着一定的差异性。

步骤S4，利用匹配模型并结合路径搜索方法从数据库中获取最优匹配角度并作为相应人体动作姿态的输出，然后转化为机器人控制指令。

步骤S5，多关节机器人和主控机之间通过蓝牙进行通信，接收主控机发出的运动控制指令，实现对机器人的运动控制与示教，从而人体动作由机器人动作展现出来。

机器人平衡姿态下计算质心位置的公式为：

其中M为机器人的质量，m_i为机器人每个连杆的质量，c_i为在以平衡点为原点的坐标系下，从原点指向连杆质点的向量，向量c_i由机器人关节角度经正向运动学运算得到，N为机器人的自由度数目。

向量c_i的计算以右肩膀和右肘这两个关节的空间向量a₁＝(x₁,y₁,z₁)、a₂＝(x₂,y₂,z₂)为例，c₁为此连杆的向量，则

动作映射的过程：以右手臂为例，从检测到的人体姿态信息中读取关节点右手腕、右手肘、右肩膀，分别记为a₁、a₂、a₃，且：

肘关节角度为：

角度匹配模型建立过程：首先从人体姿态信息中提取与角度相关的匹配特征信息，包括每个平衡姿态的质心位置信息关节点坐标信息关节点角度信息构建特征矩阵S^m，然后结合匹配矩阵S⁰建立相关度计算模型r。其中：

特征矩阵S^m中n与机器人自由度数目N相同，S⁰是姿态、运动关节信息、重心位置数据库中的选取的匹配矩阵。

其中：是向量的均值；是向量的均值；是向量的均值。是向量的均值；是向量的均值；是向量的均值。r_g ^m、r_l ^m、r_θ ^m分别是质心位置相关度、关节坐标相关度、关节角度相关度。

的值越接近1，表示匹配特征矩阵S^m与选取的匹配矩阵S⁰越相关。

路径搜索方法为：先根据姿态确定运动关节的数目和序号，然后在姿态、运动关节信息、重心位置数据库中确定搜索范围进行查找与匹配，根据三个相关度的计算结果决定是否继续进行搜索查找，如果相关度位于0.98～1范围内则退出搜索查找，越趋近于1，则关联度越高。

示教方式采用人体动作跟随示教，主控机从摄像头捕捉到的图像信息中完成人体姿态信息提取，构建匹配特征矩阵并建立相关度计算模型，将最优匹配关节角度作为输出编译成控制指令通过蓝牙通信发送给机器人，完成示教。本方法的优点在于：通过捕捉人体动作并映射到机器人关节进行控制与示教，使人机交互更加自然、简单，示教效率高，生成的动作序列流畅且更具有亲和性、自然性。

如附图2所示，本发明的机器人的分布控制如下：

按功能分为主控制模块、摄像头模块、蓝牙模块、传感器接口模块、运动控制模块、N自由度舵机；其中主控制模块包括动作生成、通信接口协议、闪存管理、声音播放等；摄像头模块完成图像的获取；传感器接口模块完成数据整合的工作；运动控制模块负责进行人机动作映射，建立的关节角度与质心位置数据库；蓝牙模块完成主控机与机器人之间的无线通信，实现对机器人的控制；N自由度舵机根据接收的控制指令完成相应的动作执行。

如附图3所示，姿态、运动关节信息、重心位置数据库建立过程如下：

1、首先为机器人每个关节标注序号，并记录机器人一个或多个关节运动后的平衡姿态和相应的关节角度。具有n个运动关节，形成若干人体动作姿态信息集n，具有n个质心，形成各个关节的角度信息。

2、计算机器人每个平衡姿态下的质心位置，机器人平衡姿态下计算质心位置的公式为：

其中M为机器人的质量，m_i为机器人每个连杆的质量，c_i为在以平衡点为原点的坐标系下，从原点指向连杆质点的向量，向量c_i由机器人关节角度经正向运动学运算得到，N为机器人的自由度数目。

向量c_i的计算以右肩膀和右肘这两个关节的空间向量a₁＝(x₁,y₁,z₁)、a₂＝(x₂,y₂,z₂)为例，c₁为此连杆的向量，则

3、根据运动关节数目将姿态分类，完成包含姿态、关节角度、重心位置的数据库的建立。

需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于人体姿态跟随的机器人控制与示教方法，其特征在于，所述方法包括以下步骤：

步骤S1，首先为机器人每个关节标注序号，并记录机器人至少一个关节运动后的机器人平衡姿态、机器人关节角度以及机器人运动关节的序号，同时计算各个姿态下机器人重心位置，并根据运动关节数目将姿态分类，然后建立包含机器人姿态、机器人运动关节信息、机器人重心位置的数据库；

步骤S2，通过摄像头获取图像，通过构建网络模型来获取图像中人体的关节点位置信息，生成人体骨架关节图，完成人体姿态信息获取；

步骤S3，然后根据人体关节与机器人关节舵机的差异性，进行动作映射，将检测到的人体姿态信息转化为人体关节角度信息，然后与建立的数据库进行角度匹配，建立角度匹配模型；

步骤S4，利用角度匹配模型并结合路径搜索方法从数据库中获取最优匹配角度并作为相应人体动作姿态的输出，然后转化为机器人控制指令；

步骤S5，将机器人控制指令发送给机器人，实现对机器人的运动控制与示教。

2.根据权利要求1所述的基于人体姿态跟随的机器人控制与示教方法，其特征在于，在所述步骤S1中，机器人平衡姿态下计算机器人质心位置的公式为：

其中M为机器人的质量，m_i为机器人中每个连杆的质量，c_i为在以机器人平衡点为原点的坐标系下，从原点指向连杆质点的向量，向量c_i由机器人关节角度经正向运动学运算得到，N为机器人的自由度数目。

3.根据权利要求1所述的基于人体姿态跟随的机器人控制与示教方法，其特征在于，在所述步骤S3中，动作映射是指采用求解逆运动学问题的方法将检测到的人体姿态信息转化为人体关节角度信息。

4.根据权利要求3所述的基于人体姿态跟随的机器人控制与示教方法，其特征在于，在所述步骤S3中，角度匹配模型建立过程如下：

首先从人体姿态信息中提取与角度相关的匹配特征信息，包括每个人体平衡姿态的人体质心位置信息人体关节点坐标信息人体关节点角度信息构建特征矩阵S^m，然后结合匹配矩阵S⁰建立相关度计算模型r，其中：

特征矩阵S^m中n与机器人自由度数目N相同，S⁰是在机器人姿态、机器人运动关节信息、机器人重心位置数据库中的选取的匹配矩阵，

其中：是向量的均值，是向量的均值，是向量的均值，是向量的均值，是向量的均值，是向量的均值，分别是质心位置相关度、关节坐标相关度、关节角度相关度；

的值越接近1，表示匹配特征矩阵S^m与选取的匹配矩阵S⁰相关度越高。

5.根据权利要求1所述的基于人体姿态跟随的机器人控制与示教方法，其特征在于，在所述步骤S4中，路径搜索方法为：先根据人体姿态确定运动关节的数目和序号，然后在数据库中确定搜索范围进行查找与匹配，根据三个相关度的计算结果决定是否继续进行搜索查找，如果相关度位于0.98～1范围内则退出搜索查找。

6.如权利要求1所述的基于人体姿态跟随的机器人控制与示教方法，其特征在于，在所述步骤S5中，示教方式采用人体动作跟随示教，主控机从摄像头捕捉到的图像信息中完成人体姿态信息提取，构建匹配特征矩阵并建立相关度计算模型，将最优匹配关节角度作为输出编译成控制指令通过蓝牙通信发送给机器人，完成示教。