CN107443396A - 一种实时模仿人体动作的智能陪伴机器人 - Google Patents

Abstract

本发明公开了一种实时模仿人体动作的智能陪伴机器人，属于机器人技术领域，包括中央处理单元、摄像单元、语音交互单元和动作驱动单元，中央处理单元内设有动作映射模块；摄像单元获得带有深度信息的人体图像序列；中央处理单元对人体图像序列进行处理，并按照预先设定好的训练模型，对人体动作进行分类，形成识别动作，通过动作映射模块将人体动作映射成为动作驱动单元的信息流，使动作驱动单元驱动机器人做出期望的动作；语音交互单元播放动作名称及接收外界输入的语音指令。本发明可以识别出人体的简单动作，并进行实时的模仿，进行人脸识别，以深度摄像头以及语音交互为基础，为机器人的可玩性、趣味性提供了更大的空间。

Description

一种实时模仿人体动作的智能陪伴机器人

技术领域

本发明涉及一种机器人，特别是涉及一种实时模仿人体动作的智能陪伴机器人，属于机器人技术领域。

背景技术

目前，智能陪伴机器人的应用还很少，现有智能陪伴机器人的人体动作识别算法需要较大的计算量，这就要求机器人要有较强的处理能力，目前普遍的动作识别算法不能实时的运行在普通的ARM处理器上，从而造成此类方法不能用于消费类电子产品，目前智能陪伴机器人不能识别出人体的简单动作，并进行实时的模仿，同时也不能对眼前的人进行人脸识别，并通过语音交互方式记住以及识别出当前的人脸，同时做出自定义的动作，目前智能陪伴机器人不能识别新的动作，并且将新动作映射到机器人本身的动作上。

发明内容

本发明的主要目的是为了解决现有技术中存在的智能陪伴机器人不能识别出人体简单动作并进行实时的模仿、不能识别新动作并将新动作映射到机器人本身动作上的问题，提供一种实时模仿人体动作的智能陪伴机器人。

本发明的目的可以通过采用如下技术方案达到：

一种实时模仿人体动作的智能陪伴机器人，包括中央处理单元、摄像单元、语音交互单元和动作驱动单元，所述中央处理单元分别与所述摄像单元、所述语音交互单元和所述动作驱动单元电连接，所述中央处理单元内设有动作映射模块；所述摄像单元获得带有深度信息的人体图像序列；所述中央处理单元对人体图像序列进行处理，并按照预先设定好的训练模型，对人体图像序列中的人体动作进行分类，形成识别动作，通过动作映射模块将人体动作映射成为所述动作驱动单元的信息流，使所述动作驱动单元驱动机器人做出期望的动作；所述语音交互单元播放动作名称及接收外界输入的语音指令，所述动作驱动单元根据外界输入的语音指令驱动机器人做出相应的动作。

进一步的，所述机器人与其他机器人之间信息共享，通过绑定机器人成为伙伴之后，部分动作可以在不同的机器人之间共享。

进一步的，所述语音交互单元通过语音命令机器人做出某一个其已经学会的动作或者动作序列；或所述语音交互单元通过语音命令机器人接下来会做某一个其已经学习到的动作。

进一步的，所述语音交互单元接收外界输入的语音指令，机器人给出响应，发出开始指令，机器人通过视觉算法识别人体动作并确认动作结束后，存储对应的动作数据，机器人对动作数据加以训练，在原有的动作识别模型的基础上形成新的动作识别模型，并根据新的动作识别模型识别人体动作。

进一步的，所述机器人按照预先设定的映射方式，将实时识别到的人体动作映射到机器人自己的动作上，并将其展示出来；所述映射方式为相似映射或相反映射。

进一步的，所述人体动作采用部分关节点的方式进行表示，在人体上建立15个关节点模型，任意两个关节点的相对位置采用平移矩阵和旋转矩阵表示，所述平移矩阵和所述旋转矩阵均是李群空间SE3中的一个点，15个关节点之间的相对位置采用李群空间SE3中的一个点去表示，人体在任意一个时刻的动作信息采用李群空间SE3中的一个点来表示，而人体的一个动作序列则采用李群空间SE3中的一系列点来表示，该系列点形成李群空间SE3中的一条曲线，即人体的动作识别转化成对李群空间SE3中曲线的分类。

进一步的，对李群空间SE3中曲线的分类是采用支持向量机SVM的方式进行分类。

进一步的，所述视觉算法包括常规动作识别算法和自我学习动作识别算法。

进一步的，所述常规动作识别算法包括如下步骤：

步骤1：摄像单元给出图像；

步骤2：中央处理单元预装动作识别关节点模型；

步骤3：中央处理单元读取现有动作模型；

步骤4：识别到动作；

步骤5：动作映射模块按照动作映射在语音交互单元和动作驱动单元中展示相应动作；

步骤6：语音交互单元语音播放或动作驱动单元直接模仿。

进一步的，所述自我学习动作识别算法包括如下步骤：

步骤1：摄像单元给出图像；

步骤2：动作驱动单元开始对预先设定好的动作进行训练；

步骤3：中央处理单元采用关节点模型描述摄像单元给出的图像；

步骤4：运行动作驱动单元对采用关节点模型采集的动作序列进行动作训练；

步骤5：中央处理单元更新动作识别模型。

本发明的有益技术效果：按照本发明的实时模仿人体动作的智能陪伴机器人，本发明提供的实时模仿人体动作的智能陪伴机器人，解决了现有技术中存在的智能陪伴机器人不能识别出人体简单动作并进行实时的模仿、不能对人脸识别并通过语音交互方式记住及识别人脸、不能识别新动作并将新动作映射到机器人本身动作上的问题，可以识别出人体的简单动作，并进行实时的模仿，同时可以对眼前的人进行人脸识别，并通过语音交互方式记住以及识别出当前人脸，同时做出自定义的动作，本发明以深度摄像头以及语音交互为基础，为机器人的可玩性、趣味性提供了更大的空间。

附图说明

图1为按照本发明的实时模仿人体动作的智能陪伴机器人的一优选实施例的结构示意图；

图2为按照本发明的实时模仿人体动作的智能陪伴机器人的一优选实施例的采用关节点描述人体骨骼运动的结构示意图，该实施例可以是与图1相同的实施例，也可以是与图1不同的实施例；

图3为按照本发明的实时模仿人体动作的智能陪伴机器人的一优选实施例的机器人常规动作识别流程示意图，该实施例可以是与图1或图2相同的实施例，也可以是与图1或图2不同的实施例；

图4为按照本发明的实时模仿人体动作的智能陪伴机器人的一优选实施例的机器人具有自我学习功能动作识别流程示意图，该实施例可以是与图1或图2或图3相同的实施例，也可以是与图1或图2或图3不同的实施例。

图中：1-中央处理单元，2-摄像单元，3-语音交互单元，4-动作驱动单元。

具体实施方式

为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例提供的一种实时模仿人体动作的智能陪伴机器人，包括中央处理单元、摄像单元、语音交互单元和动作驱动单元，所述中央处理单元分别与所述摄像单元、所述语音交互单元和所述动作驱动单元电连接，所述中央处理单元内设有动作映射模块；所述摄像单元获得带有深度信息的人体图像序列；所述中央处理单元对人体图像序列进行处理，并按照预先设定好的训练模型，对人体图像序列中的人体动作进行分类，形成识别动作，通过动作映射模块将人体动作映射成为所述动作驱动单元的信息流，使所述动作驱动单元驱动机器人做出期望的动作；所述语音交互单元播放动作名称及接收外界输入的语音指令，所述动作驱动单元根据外界输入的语音指令驱动机器人做出相应的动作。

进一步的，在本实施例中，如图1所示，所述机器人与其他机器人之间信息共享，通过绑定机器人成为伙伴之后，部分动作可以在不同的机器人之间共享；所述语音交互单元通过语音命令机器人做出某一个其已经学会的动作或者动作序列；或所述语音交互单元通过语音命令机器人接下来会做某一个其已经学习到的动作。

进一步的，在本实施例中，如图1所示，所述语音交互单元接收外界输入的语音指令，机器人给出响应，发出开始指令，机器人通过视觉算法识别人体动作并确认动作结束后，存储对应的动作数据，机器人对动作数据加以训练，在原有的动作识别模型的基础上形成新的动作识别模型，并根据新的动作识别模型识别人体动作；所述机器人按照预先设定的映射方式，将实时识别到的人体动作映射到机器人自己的动作上，并将其展示出来；所述映射方式为相似映射或相反映射。

进一步的，在本实施例中，如图2所示，所述人体动作采用部分关节点的方式进行表示，在人体上建立15个关节点模型，任意两个关节点的相对位置采用平移矩阵和旋转矩阵表示，所述平移矩阵和所述旋转矩阵均是李群空间SE3中的一个点，15个关节点之间的相对位置采用李群空间SE3中的一个点去表示，人体在任意一个时刻的动作信息采用李群空间SE3中的一个点来表示，而人体的一个动作序列则采用李群空间SE3中的一系列点来表示，该系列点形成李群空间SE3中的一条曲线，即人体的动作识别转化成对李群空间SE3中曲线的分类；对李群空间SE3中曲线的分类是采用支持向量机SVM的方式进行分类；所述视觉算法包括常规动作识别算法和自我学习动作识别算法。

进一步的，在本实施例中，如图3所示，所述常规动作识别算法包括如下步骤：

步骤1：摄像单元给出图像；

步骤2：中央处理单元预装动作识别关节点模型；

步骤3：中央处理单元读取现有动作模型；

步骤4：识别到动作；

步骤5：动作映射模块按照动作映射在语音交互单元和动作驱动单元中展示相应动作；

步骤6：语音交互单元语音播放或动作驱动单元直接模仿。

进一步的，在本实施例中，如图4所示，所述自我学习动作识别算法包括如下步骤：

步骤1：摄像单元给出图像；

步骤2：动作驱动单元开始对预先设定好的动作进行训练；

步骤3：中央处理单元采用关节点模型描述摄像单元给出的图像；

步骤4：运行动作驱动单元对采用关节点模型采集的动作序列进行动作训练；

步骤5：中央处理单元更新动作识别模型。

摄像单元获得带有深度信息的图像序列，中央处理单元对图像序列进行处理，并按照已有的训练模型，对图像序列中的人体动作进行分类，形成识别的动作。然后，通过动作映射模块，将人体动作映射成为机器人动作驱动单元的信息流，从而驱动机器人做出期望的动作；动作的名称可以通过语音交互模块播放出来以增加趣味性。

在教机器人识别动作之前，通过语音指示机器人接下来的动作名称，机器人给出响应之后，发出开始指令，(人)开始做希望机器人可以识别的动作，机器人通过视觉算法确认动作结束后，将对应的动作数据存储，并加以训练，在原有的动作识别模型的基础上形成新的动作识别模型。从而以后可以识别此动作。

一般人体骨骼的运动可以采用部分关节点的方法进行表示，从提出这15个关节点模型开始，如何有效的表示这个关节点就成为研究人员研究额一个重要课题。我们采用群论中的表示方法来表示人体骨骼点的运动：任意两个骨骼点的相对位置可以用平移、旋转矩阵表示，而这种平移、旋转矩阵则是李群空间SE3中的一个点，因此15个骨骼点之间的相对位置可以用SE3x SE3…x SE3群中的一个点去表示。也就是说，人体在任意一个时刻的动作信息可以采用SE3x SE3…x SE3群中的一个点来表示。而人体的一个动作序列则可以使用SE3x SE3…x SE3群空间中的一系列点来表示，也就是SE3x SE3…x SE3群空间中的一条曲线，从而，人体的动作识别就转化成了对SE3x SE3…x SE3群空间中曲线的分类。这种方式大大简化了对动作识别所需要的计算量；采用支持向量机SVM的方法对采集到的曲线进行分类，从而形成对人体动作的分类。

(人)可以通过语音命令机器人做出某一个机器人已经学会的动作或者动作序列。

(人)可以通过语音告诉机器人接下来会做某一个机器人已经学习到的动作，机器人可以：

a)记住此人做的动作序列，并在以后按照需要进行动作展示；

b)可以通过与标准动作的对比给出此次动作的得分。

机器人可以接收语音“请模仿某人某个动作”这样的命令，从而可以增加多个机器人同时玩耍时的趣味性。

通过绑定机器人成为伙伴之后，部分动作可以在不同的机器人之间共享，从而进一步增加玩乐的趣味性。

通过语音指令，告诉机器人开始“模仿”人的动作，此时机器人尽最大可能的去模仿人的现在状态。

机器人可以按照主人设定的映射方式，将实时识别到的人体动作映射到机器人自己的动作，并展示出来。这个动作不一定与人体动作一致。比如，可以按照表1的方式进行映射：

表1映射方式

当然，也可以使得机器人按照与人体动作相似的方式进行映射。

这种灵活的、可以配置的动作映射方式将给机器人(玩具)带来非常大的可玩性，也大大增加了它的趣味性。

机器人对动作的自我学习能力，这个的基础就是上面描述的算法，具体的可以使用图3表述，而加入动作自我学习功能后，算法可以使用图4表述。

不同机器人之间信息共享，主要是指不同机器人之间通过一定的规则共享训练到的动作模型。通过这种方式可以将一个机器人认识的动作模型“传授”给另外的机器人，从而使得另外的机器人拥有相同的识别能力。

进一步，这种机器人之间的共享，不单单是动作信息的共享，也可以是其他信息的共享，比如一个机器人将认识的人的信息(特征)共享给另外的机器人，从而另外的机器人也可以认识相应的人。

综上所述，在本实施例中，按照本实施例的实时模仿人体动作的智能陪伴机器人，本实施例提供的实时模仿人体动作的智能陪伴机器人，可以识别出人体的简单动作，并进行实时的模仿，同时可以对眼前的人进行人脸识别，并通过语音交互方式记住以及识别出当前人脸，同时做出自定义的动作，本发明以深度摄像头以及语音交互为基础，为机器人的可玩性、趣味性提供了更大的空间。

以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。

Claims (10)

1.一种实时模仿人体动作的智能陪伴机器人，包括中央处理单元(1)、摄像单元(2)、语音交互单元(3)和动作驱动单元(4)，其特征在于：所述中央处理单元(1)分别与所述摄像单元(2)、所述语音交互单元(3)和所述动作驱动单元(4)电连接，所述中央处理单元(1)内设有动作映射模块；所述摄像单元(2)获得带有深度信息的人体图像序列；所述中央处理单元(1)对人体图像序列进行处理，并按照预先设定好的训练模型，对人体图像序列中的人体动作进行分类，形成识别动作，通过动作映射模块将人体动作映射成为所述动作驱动单元(4)的信息流，使所述动作驱动单元(4)驱动机器人做出期望的动作；所述语音交互单元(3)播放动作名称及接收外界输入的语音指令，所述动作驱动单元(4)根据外界输入的语音指令驱动机器人做出相应的动作。

2.根据权利要求1所述的一种实时模仿人体动作的智能陪伴机器人，其特征在于：所述机器人与其他机器人之间信息共享，通过绑定机器人成为伙伴之后，部分动作可以在不同的机器人之间共享。

3.根据权利要求1所述的一种实时模仿人体动作的智能陪伴机器人，其特征在于：所述语音交互单元(3)通过语音命令机器人做出某一个其已经学会的动作或者动作序列；或所述语音交互单元(3)通过语音命令机器人接下来会做某一个其已经学习到的动作。

4.根据权利要求3所述的一种实时模仿人体动作的智能陪伴机器人，其特征在于：所述语音交互单元(3)接收外界输入的语音指令，机器人给出响应，发出开始指令，机器人通过视觉算法识别人体动作并确认动作结束后，存储对应的动作数据，机器人对动作数据加以训练，在原有的动作识别模型的基础上形成新的动作识别模型，并根据新的动作识别模型识别人体动作。

5.根据权利要求4所述的一种实时模仿人体动作的智能陪伴机器人，其特征在于：所述机器人按照预先设定的映射方式，将实时识别到的人体动作映射到机器人自己的动作上，并将其展示出来；所述映射方式为相似映射或相反映射。

6.根据权利要求4所述的一种实时模仿人体动作的智能陪伴机器人，其特征在于：所述人体动作采用部分关节点的方式进行表示，在人体上建立15个关节点模型，任意两个关节点的相对位置采用平移矩阵和旋转矩阵表示，所述平移矩阵和所述旋转矩阵均是李群空间SE3中的一个点，15个关节点之间的相对位置采用李群空间SE3中的一个点去表示，人体在任意一个时刻的动作信息采用李群空间SE3中的一个点来表示，而人体的一个动作序列则采用李群空间SE3中的一系列点来表示，该系列点形成李群空间SE3中的一条曲线，即人体的动作识别转化成对李群空间SE3中曲线的分类。

7.根据权利要求6所述的一种实时模仿人体动作的智能陪伴机器人，其特征在于：对李群空间SE3中曲线的分类是采用支持向量机SVM的方式进行分类。

8.根据权利要求6所述的一种实时模仿人体动作的智能陪伴机器人，其特征在于：所述视觉算法包括常规动作识别算法和自我学习动作识别算法。

9.根据权利要求8所述的一种实时模仿人体动作的智能陪伴机器人，其特征在于：所述常规动作识别算法包括如下步骤：

步骤1：摄像单元(2)给出图像；

步骤2：中央处理单元(1)预装动作识别关节点模型；

步骤3：中央处理单元(1)读取现有动作模型；

步骤4：识别到动作；

步骤5：动作映射模块按照动作映射在语音交互单元(3)和动作驱动单元(4)中展示相应动作；

步骤6：语音交互单元(3)语音播放或动作驱动单元(4)直接模仿。

10.根据权利要求8所述的一种实时模仿人体动作的智能陪伴机器人，其特征在于：所述自我学习动作识别算法包括如下步骤：

步骤1：摄像单元(2)给出图像；

步骤2：动作驱动单元(4)开始对预先设定好的动作进行训练；

步骤3：中央处理单元(1)采用关节点模型描述摄像单元(2)给出的图像；

步骤4：运行动作驱动单元(4)对采用关节点模型采集的动作序列进行动作训练；

步骤5：中央处理单元(1)更新动作识别模型。