CN108803874A

CN108803874A - 一种基于机器视觉的人机行为交互方法

Info

Publication number: CN108803874A
Application number: CN201810539299.6A
Authority: CN
Inventors: 程韬波; 马敬奇; 周志刚; 雷欢; 钟震宇; 吴宝健; 何峰; 吴亮生; 王楠; 卢杏坚
Original assignee: Guangdong Institute of Intelligent Manufacturing
Current assignee: Guangdong Institute of Intelligent Manufacturing
Priority date: 2018-05-30
Filing date: 2018-05-30
Publication date: 2018-11-13

Abstract

一种基于机器视觉的人机行为交互方法，包括步骤：S1,由机器人的摄像头获取场景中的人物的至少一帧人体图像，S2，利用深度卷积神经网络提取人体图像中的预设关节点数据，输出人体行为姿态序列，S3，对于静态行为姿态序列由softmax分类器进行分类，对于动态行为姿态序列利用循环神经网络模型进行识别分类，从而得到静态与动态的行为分类结果，S4，构建“人体行为—机器人姿态指令”的映射关系，形成机器人的姿态指令集，进而构建“姿态指令—关节运动控制指令”的映射关系，形成机器人的关节运动控制指令集，从而形成“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系。本发明实现较为精确的人机交互操作。

Description

一种基于机器视觉的人机行为交互方法

技术领域

本发明涉及智能机器人、机器视觉、深度学习与人际交互领域，特别涉及一种基于机器视觉的人机行为交互方法。

背景技术

人机交互(Human-Computer Interaction,简写HCI)：是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程。目前，人体姿态动作估计是人机交互领域的一项非常关键的技术。人体姿态动作估计的交互方式可以使得使用者摆脱各种设备的束缚，其具有直观、便于理解、操作简单灵活等特点，符合大众的日常生活习惯，所以基于人机行为交互的应用市场前景非常广阔。

卷积神经网络是一个多层次结构的有监督的深度学习算法。深度卷积神经网络是直接以原始数据作为输入，从大量的训练数据中自动学习特征的表示，可以有效降低网络的复杂程度，训练参数的数目，是模型对于平移、扭曲、缩放都有一定程度的不变性。目前深度卷积神经网络已经被广泛的应用于图像分类、目标检测、人脸识别、行人检测等多个计算机视觉领域，并取得巨大的成功。而研究表明，人类很多的姿态动作完全可以从主要关节点中识别出来。

发明内容

本发明要解决的技术问题是提供一种基于机器视觉的人机行为交互方法，实现更加精确的人机交互操作。

为了解决上述技术问题，本发明采取以下技术方案：

一种基于机器视觉的人机行为交互方法，包括以下步骤：

S1，由机器人的摄像头获取场景中的人物的至少一帧人体图像；

S2，利用深度卷积神经网络提取人体图像中的预设关节点数据，输出人体行为姿态序列，该人体行为姿态序列分为静态行为姿态序列和动态行为姿态序列；

S3，对于静态行为姿态序列由softmax分类器进行分类，对于动态行为姿态序列利用循环神经网络模型进行识别分类，从而得到静态与动态的行为分类结果；

S4，构建“人体行为—机器人姿态指令”的映射关系，形成机器人的姿态指令集，进而构建“姿态指令—关节运动控制指令”的映射关系，形成机器人的关节运动控制指令集，从而形成“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系；

通过“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系建立完整的人机行为交互决策数据库，由人体行为姿态得到行为分类结果映射出对应的姿态指令，进而得到多关节机器人的关节运动控制指令，而关节运动控制指令操作多关节机器人作出相应的反馈姿态，实现在线人机行为交互目的。

所述步骤S4中的“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系，具体构建步骤如下：

S4.1，选取MPII人体姿态数据库和MSCOCO人体姿态数据库中的N张图像对深度卷积神经网络进行训练，并将网络收敛后得到的人体行为姿态序列用来训练softmax分类器，得到softmax分类器收敛后的静态的行为分类结果；

S4.2，构建“静态的人体行为姿态与机器人的静态姿态指令”的映射关系，从而形成机器人的静态姿态指令集，并将静态姿态指令集保存在人机行为交互决策数据库中；

机器人的静态姿态指令与关节运动控制指令构建映射关系，形成了机器人的关节运动控制指令集，并保存于人机行为交互决策数据库中；

S4.3，对于动态的人体行为姿态，首先收集好已经公开的相关人体行为姿态数据集，训练后得到动态的人体行为姿态序列，利用循环神经网络模型处理得到行为分类结果，由行为分类结果与机器人的动态姿态指令构建“动态的人体行为姿态—机器人的动态姿态指令”的映射关系，从而形成机器人的动态姿态指令集，并将动态姿态指令集保存在人机行为交互决策数据库中；

机器人的动态姿态指令与关节运动控制指令构建映射关系，形成了机器人的关节运动控制指令集，并保存于人机行为交互决策数据库中；

S4.4，机器人获取人体运动姿态，确认姿态类型，形成相应的姿态指令，转换成对应的关节运动控制指令，使机器人作出相应的反馈动作，姿态类型为静态的人体行为姿态和动态的人体行为姿态。

所述步骤S2具体包括：

S2.1，利用VGG-Net网络对机器人摄像头覆盖场景中的至少一帧人体图像进行特征提取，再结合深度卷积神经网络提取人体图像中的预设关节点数据，形成人体行为姿态序列；

S2.2，对于静态的人体行为姿态序列，进入静态模式，利用softmax分类器对人体行为姿态序列分类，获取人体行为姿态静态的分类结果；

S2.3，对于动态的人体行为姿态序列，进入动态模式，利用循环神经网络模型进行进行识别分类，从而得到人体姿态动作的分类结果。

所述人体的预设关节点包括左眼、右眼、左耳、右耳、左肩、右肩、嘴巴、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚。

本发明能够快速、精准识别出在多关节机器人的摄像头区域场景中的人物姿态，从而有效、快速的做出相对应的仿人的姿态动作。本发明可有效地实现了人机互动的效果。

附图说明

附图1为本发明流程示意图；

附图2为本发明中人体运动姿态序列示意图；

附图3为本发明中多关节机器人示意图；

附图4为本发明中静态模式下分类示意图；

附图5为本发明中动态模式下分类示意图；

附图6为本发明中人体和机器人“举手”姿态示意图；

附图7为本发明中人体和机器人“挥手”姿态示意图；

附图8为本发明中人体和机器人“画圈”姿态示意图；

附图9为本发明中人体“双手交叉”及机器人“原地站立”姿态示意图；

附图10为本发明中人机行为交互决策数据库示意图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

如附图1-10所示，本发明揭示了一种基于机器视觉的人机行为交互方法，包括以下步骤：

S1，由机器人的摄像头获取场景中的人物的至少一帧人体图像。机器人为多关节机器人。

S2，利用深度卷积神经网络提取人体图像中的预设关节点数据，输出人体行为姿态序列，该人体行为姿态序列分为静态行为姿态序列和动态行为姿态序列。该预设关节点包括左眼、右眼、左耳、右耳、左肩、右肩、嘴巴、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚，以上关节点为人体的主要关节点，能够最直接地体现人体运动姿态。当然，除了以上各个关节点，在不同场景的需求下，还可以设定其他的关节点。

S3，对于静态行为姿态序列由softmax分类器进行分类，对于动态行为姿态序列利用循环神经网络模型进行识别分类，从而得到静态与动态的行为分类结果。静态的行为姿态是指举手、抬脚等单一性动作，动态的行为姿态是指画圈类的整套动作。

S4，构建“人体行为—机器人姿态指令”的映射关系，形成机器人的姿态指令集，进而构建“姿态指令—关节运动控制指令”的映射关系，形成机器人的关节运动控制指令集，从而形成“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系。

所述步骤S4中的“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系，即人机行为交互决策数据库，具体构建步骤如下：

S4.1，选取MPII人体姿态数据库和MSCOCO人体姿态数据库中的N张图像对深度卷积神经网络进行训练，并将网络收敛后得到的人体行为姿态序列用来训练softmax分类器，得到softmax分类器收敛后的静态的行为分类结果。优选情况下，选择N为20000，能够充分的进行训练。

S4.2，构建“静态的人体行为姿态与机器人的静态姿态指令”的映射关系，从而形成机器人的静态姿态指令集，并将静态姿态指令集保存在人机行为交互决策数据库中。

静态的人体行为姿态与机器人姿态指令的映射关系，比如“举手—姿态指令1、坐着—姿态指令2、握手—姿态指令3”等，即当机器人摄像头检测出场景中的人体图像为“举手”的静态行为姿态时，多关节机器人会立即调用“姿态指令1”，对于“坐着”和“握手”的行为姿态，多关节机器人也同样调用相应姿态指令。

机器人的静态姿态指令与关节运动控制指令构建映射关系，形成了机器人的关节运动控制指令集，，比如“姿态指令1—运动指令1、姿态指令2—运动指令2、姿态指令n—运动指令d”等，并保存于人机行为交互决策数据库中。当机器人接收到相应的静态姿态指令后，就转换成相应的关节运动控制指令，使机器运动控制系统控制机器人作出相应的动作。

S4.3，对于动态的人体行为姿态，首先收集好已经公开的相关人体行为姿态数据集，训练后得到动态的人体行为姿态序列，利用循环神经网络模型处理得到行为分类结果，由行为分类结果与机器人的动态姿态指令构建“动态的人体行为姿态—机器人的动态姿态指令”的映射关系，从而形成机器人的动态姿态指令集，并将动态姿态指令集保存在人机行为交互决策数据库中。

动态的人体行为姿态与机器人姿态指令的映射关系如“画圈—姿态指令b+1、挥手—姿态指令b+2、走路—姿态指令b+3”等，即当机器人摄像头检测出场景中的多帧人体图像为“画圈”的行为姿态时，多关节机器人会立即调用“姿态指令b+1”，对于“挥手”和“走路”的行为姿态，多关节机器人也同样调用相应姿态指令。

机器人的动态姿态指令与关节运动控制指令构建映射关系，形成了机器人的关节运动控制指令集，如“姿态指令b+1—运动指令c、姿态指令b+2—运动指令c+1、姿态指令n—运动指令d”等，并保存于人机行为交互决策数据库中。

具体，如附图10所示，为多关节机器人的人机行为交互决策数据库示意图，即人体运动姿态、姿态指令、关节运动控制指令、动作反馈这4者之间的映射关系如“姿态1—姿态指令1—运动指令1—动作1，姿态2—姿态指令2—运动指令2—动作2，姿态a+1—姿态指令b+1—运动指令c—动作e，姿态a+2—姿态指令b+2—运动指令c+1—动作e+1，姿态m—姿态指令n—运动指令d—动作f”等，如当机器人摄像头检测出场景中的人体图像为“举手”的行为姿态时，多关节机器人立即调用“姿态指令1”，而“姿态指令1”获取“关节运动控制指令1”从而使得多关节机器人执行“动作1”的反馈动作。

下面从静态和动态模式分别阐述。

静态模式下的具体操作如下：

以人体行为姿态“右举手”为例，多关节机器人摄像头获取静态的人体行为姿态“右举手”后，利用深度卷积圣经网络获取主要关节点数据信息，得到了“右举手”的行为姿态序列；进入静态模式，由softmax分类器对“右举手”的行为姿态序列进行分类识别，获取了“右举手”行为姿态序列的显著特征，如图6中的a部分所示，即“6右肩，7右肘，8右手”保持向上的姿态。

“右举手”的行为分类结果映射到姿态指令集的“姿态指令1”，“姿态指令1”则映射到关节运动控制指令集的“运动指令1”，多关节机器人利用运动控制系统执行“运动指令1”做出类似于人体图像的“举手”姿态，如图6中的b部分所示，实现在线人机行为交互。

同理多关节机器人在场景中采集到“双手交叉”的人体行为姿态时，通过人机行为交互决策数据库的映射关系“双手交叉—姿态指令h

—运动指令j—动作k”，多关节机器人停止当前所有动作，恢复“站立”姿势，如图9所示，以实现在线人机行为交互。

动态模式下的具体操作如下：

以人体姿态动作“左挥手”为例，多关节机器人通过摄像头获取静态的人体姿态动作“左挥手”后，利用深度卷积圣经网络获取主要关节点数据信息，得到了“左挥手”的行为姿态序列；进入动态模式，由循环神经网络模型对“左挥手”的行为姿态序列进行识别分类，获取“左挥手”行为姿态序列的显著特征，如图7中的a部分所示，即“10左肩，11左肘，12左手”保持向上的姿态。

“左挥手”的行为分类结果映射到姿态指令集的“姿态指令b+2”，“姿态指令b+2”则映射到关节运动控制指令集的“运动指令c+1”，多关节机器人通过运动控制系统执行“运动指令c+1”做出类似于人体图像的“左挥手”的姿态，如图7中的b部分所示，以实现在线人机行为交互。

同理多关节机器人在场景中采集到“左画圈”的人体行为姿态时，通过人机行为交互决策数据库的映射——“画圈—姿态指令b+1—运动指令c—动作e”，多关节机器人则做出原地逆时针转圈，如图8所示，实现在线人机行为交互。

另外，所述步骤S2中对人体序列行为姿态序列的获取具体包括：

S2.1，利用VGG-Net网络对机器人摄像头覆盖场景中的至少一帧人体图像进行特征提取，再结合深度卷积神经网络提取人体图像中的预设关节点数据，形成人体行为姿态序列。

S2.2，对于静态的人体行为姿态序列，进入静态模式，利用softmax分类器对人体行为姿态序列分类，获取人体行为姿态静态的分类结果。

在双流深度卷积神经网络中的每个阶段输出处分别定义一个损失函数，解决网络在训练时梯度消失的问题。网络在t阶段的损失函数分别为：

其中为关节j的标定值，两关节间的标定值。每个阶段通过损失函数补充梯度来解决训练时梯度消失的问题。

通过以上设定和定义，能够实现更加精确的人机交互。

需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于机器视觉的人机行为交互方法，包括以下步骤：

2.根据权利要求1所述的基于机器视觉的人机行为交互方法，其特征在于，所述步骤S4中的“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系，具体构建步骤如下：

3.根据权利要求2所述的基于机器视觉的人机行为交互方法，其特征在于，所述步骤S2具体包括：

4.根据权利要求3所述的基于机器视觉的人机行为交互方法，其特征在于，所述人体的预设关节点包括左眼、右眼、左耳、右耳、左肩、右肩、嘴巴、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚。