CN104460972A - 一种基于Kinect的人机交互系统 - Google Patents

Abstract

一种基于Kinect的人机交互系统，它涉及人机交互领域。姿势定义模块，定义了人体姿势数据，一个姿势由若干条姿势规则构成，姿势规则包含规则类别、涉及的关节点与阈值范围，姿势规则中的所述规则类别，包括X距离、Y距离、Z距离、总距离与夹角五种，姿势规则中涉及的关节点范围为KinectSDK提供的20个关节点；涉及的关节点的数目，在规则类别为夹角时为3个，否则可以是1-2个。它能拓展Kinect的应用领域，使Kinect提供的交互方式与现有的计算机应用能有效结合起来。

Description

一种基于Kinect的人机交互系统

 

技术领域：

    本发明涉及人机交互领域，具体涉及一种基于Kinect的人机交互系统。

背景技术：

2010年，微软公司推出了用于XBOX游戏机的Kinect感应设备，可以通过影像辨识出人体及其动作，使玩家通过自己的肢体来控制游戏。Kinect带来的是一种革命性的交互方式，因此微软在2012年推出了Kinect for Windows设备，并配套发布了SDK开发工具，使PC平台上可以开发出使用Kinect进行交互的应用程序。

然而，现存的大量计算机应用程序，如果要结合Kinect的推出，而支持使用Kinect的交互方式，软件的重新开发工作量是很大的，这也是现今使用Kinect进行交互的应用程序仍然偏少的主要原因。现今Kinect仍然带有一种玩具的色彩，在交互方面的普及程度较低，与软件支持未能尽快跟上有很大关系。

发明内容：

本发明的目的是提供一种基于Kinect的人机交互系统，它能拓展Kinect的应用领域，使Kinect提供的交互方式与现有的计算机应用能有效结合起来。

为了解决背景技术所存在的问题，本发明是采用以下技术方案：它包含主界面、配置管理模块、输入映射模块、姿势管理界面、姿势管理模块、姿势定义模块，姿势定义模块，定义了人体姿势数据，一个姿势由若干条姿势规则构成，姿势规则包含规则类别、涉及的关节点与阈值范围，姿势规则中的所述规则类别，包括X距离、Y距离、Z距离、总距离与夹角五种，姿势规则中涉及的关节点范围为Kinect SDK提供的20个关节点；涉及的关节点的数目，在规则类别为夹角时为3个，否则可以是1-2个。

所述的姿势规则涉及1个关节时，规则含义为：用户的该关节的当前位置与初始位置之间的距离，处在阈值范围内；姿势规则涉及2个关节时，规则含义为：用户的两个关节之间距离，在规则类别所标示的方向上，处在阈值范围内。

所述的姿势规则当且仅当规则类别为夹角时涉及3个关节，规则含义为：关节1到关节2连线，与关节2到关节3连线的夹角，处在阈值范围内。

所述的姿势管理模块包括姿势的新建、编辑、保存、读取、删除、测试功能。

所述的输入映射模块，将用户姿势与计算机的输入命令进行一一对应，从而使用姿势与计算机进行交互。

所述的配置管理模块，将若干输入映射作为一个系统配置文件，进行新建、修改、保存、读取、删除等管理操作。

本发明的操作方法为：当用户需要使用Kinect操作特定的应用程序时，先自行定义好该应用程序对应的操作姿势集合，并使用姿势管理模块将姿势数据录入系统，然后通过输入映射模块进行操作，并将该操作姿势集合通过配置管理模块进行管理。

姿势管理模块中姿势测试的流程为：当用户开启姿势测试时，首先停用姿势编辑功能，并保存当前用户所编辑的姿势数据；然后启动Kinect开始识别，当Kinect前有人做出启动姿势时，Kinect跟踪该人的姿势，并显示已跟踪用户的提示标志；当该人的姿势与所编辑的姿势吻合时，显示姿势识别成功的提示标志；当用户终止姿势测试时，恢复姿势编辑功能。

姿势映射与识别的流程为：当用户开启姿势映射时，启动Kinect开始识别，当Kinect前有人做出启动姿势时，Kinect跟踪该人的姿势；将人的姿势与姿势映射列表中的姿势逐一比对，并检测每个姿势是否从无到有或从有到无，发送按下或弹起相应按键的命令。

    本发明能拓展Kinect的应用领域，使Kinect提供的交互方式与现有的计算机应用能有效结合起来。

附图说明：

图1为本发明的整体结构框图，

图2为本发明中姿势管理模块的结构框图。

具体实施方式：

参照图1，本具体实施方式采用以下技术方案：它包含主界面、配置管理模块、输入映射模块、姿势管理界面、姿势管理模块、姿势定义模块，姿势定义模块，定义了人体姿势数据，一个姿势由若干条姿势规则构成，姿势规则包含规则类别、涉及的关节点与阈值范围，姿势规则中的所述规则类别，包括X距离、Y距离、Z距离、总距离与夹角五种，姿势规则中涉及的关节点范围为Kinect SDK提供的20个关节点；涉及的关节点的数目，在规则类别为夹角时为3个，否则可以是1-2个。

所述的姿势规则涉及1个关节时，规则含义为：用户的该关节的当前位置与初始位置之间的距离，处在阈值范围内；姿势规则涉及2个关节时，规则含义为：用户的两个关节之间距离，在规则类别所标示的方向上，处在阈值范围内。

所述的姿势规则当且仅当规则类别为夹角时涉及3个关节，规则含义为：关节1到关节2连线，与关节2到关节3连线的夹角，处在阈值范围内。

参照图2，所述的姿势管理模块包括姿势的新建、编辑、保存、读取、删除、测试功能。

所述的输入映射模块，将用户姿势与计算机的输入命令进行一一对应，从而使用姿势与计算机进行交互。

所述的配置管理模块，将若干输入映射作为一个系统配置文件，进行新建、修改、保存、读取、删除等管理操作。

姿势定义模块定义了用户用于交互控制计算机所使用的姿势的内容以及存储方式；姿势管理模块使用户可以方便直观地增加、删除、修改所使用的姿势；输入映射模块对用户的姿势进行识别，并发送对应输入信号到目标计算机；配置管理模块管理系统所使用的交互配置，即姿势与输入的对应关系，输入映射模块与配置管理模块为系统的主界面提供支持，用户在维护交互姿势时启动姿势管理界面，调用姿势管理模块；主界面包含新建、打开、保存配置的选项；在配置管理模块中，可以新建、修改、删除姿势映射，还可以在姿势映射上选择编辑功能，进入姿势管理界面。

所述的姿势定义模块采用如下技术方案：

（1）人体的姿势由若干姿势规则构成，所述姿势规则包括规则类别、涉及关节点、阈值范围；

（2）规则类别包括X距离、Y距离、Z距离、总距离、夹角共五种；

（3）规则涉及的关节点范围为Kinect SDK提供的20个关节点，分别为髋中央、脊柱、颈部、头部、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左胯、左膝、左踝、左脚、右胯、右膝、右踝、右脚；

（4）当规则类别为夹角时，规则涉及3个关节点；否则，规则涉及的关节点可以是1个或2个；

（5）当规则涉及1个关节点时，规则的含义为：用户所述关节点的当前位置，与该关节点的初始位置的距离，处在阈值范围内；

（6）当规则涉及2个关节点时，规则的含义为：用户的所述两个关节点的当前位置之间的距离，处在阈值范围内；

（7）当规则为夹角规则，涉及3个关节点，规则的含义为：用户的第一关节点与第二关节点连线，与第二关节点与第三关节点连线的夹角，处在阈值范围内。

所述的姿势管理模块采用如下技术方案：

（a）姿势管理的界面功能包括姿势规则的添加、编辑、删除，以及姿势数据的测试、保存与读取；

（b）姿势规则涉及的关节点范围为Kinect SDK提供的20个关节点，在姿势管理界面中，显示关节点的名称供用户选择；

（c）用户可以在编辑姿势后、保存姿势前，进行姿势的测试，进行姿势测试时，启动Kinect进行用户识别，当用户做出特定启动姿势时，跟踪该用户，然后用户可试做该姿势，姿势正确与否显示在界面上，通过测试姿势功能，用户能通过自身反馈设计出更自然的姿势。

姿势管理模块在用户在主界面中，选择姿势编辑时启动，启动时调入并显示该姿势的数据，用户可以对姿势规则进行添加、修改、删除，并可以测试姿势，保存姿势，或者放弃修改恢复原姿势。

在姿势管理模块中，根据用户选择的姿势规则类别，改变以下姿势编辑方式：

（1）关节点数量。夹角规则为3个，其它规则为2个。当用户指定的2个关节点相同时，即表示规则只涉及1个关节点。

（2）阈值的含义。为使用户看起来更直观，夹角规则中，角度阈值显示与编辑的单位是度；其它规则中，距离阈值显示与编辑的单位是米。

所述输入映射模块采用如下技术方案：

（A）在同一个配置文件中，不同姿势对应不同的键盘或鼠标的按键命令，不得重复。

（B）当用户向系统发送开始映射的请求时，启动Kinect进行用户识别；规定当用户做出特定的启动姿势时，Kinect跟踪该用户。

（C）跟踪到用户后，Kinect不断对用户进行姿势识别；如一个交互姿势从无到有，则发送对应按键按下命令；如一个交互姿势从有到无，则发送对应按键弹起命令。

本具体实施方式的操作方法为：当用户需要使用Kinect操作特定的应用程序时，先自行定义好该应用程序对应的操作姿势集合，并使用姿势管理模块将姿势数据录入系统，然后通过输入映射模块进行操作，并将该操作姿势集合通过配置管理模块进行管理。

姿势管理模块中姿势测试的流程为：当用户开启姿势测试时，首先停用姿势编辑功能，并保存当前用户所编辑的姿势数据；然后启动Kinect开始识别，当Kinect前有人做出启动姿势时，Kinect跟踪该人的姿势，并显示已跟踪用户的提示标志；当该人的姿势与所编辑的姿势吻合时，显示姿势识别成功的提示标志；当用户终止姿势测试时，恢复姿势编辑功能。

姿势映射与识别的流程为：当用户开启姿势映射时，启动Kinect开始识别，当Kinect前有人做出启动姿势时，Kinect跟踪该人的姿势；将人的姿势与姿势映射列表中的姿势逐一比对，并检测每个姿势是否从无到有或从有到无，发送按下或弹起相应按键的命令。

本具体实施方式能拓展Kinect的应用领域，使Kinect提供的交互方式与现有的计算机应用能有效结合起来。

Claims (10)

1.一种基于Kinect的人机交互系统，其特征在于它包含主界面、配置管理模块、输入映射模块、姿势管理界面、姿势管理模块、姿势定义模块，姿势定义模块，定义了人体姿势数据，一个姿势由若干条姿势规则构成，姿势规则包含规则类别、涉及的关节点与阈值范围，姿势规则中的所述规则类别，包括X距离、Y距离、Z距离、总距离与夹角五种，姿势规则中涉及的关节点范围为Kinect SDK提供的20个关节点；涉及的关节点的数目，在规则类别为夹角时为3个，否则可以是1-2个。

2.一种基于Kinect的人机交互系统，其特征在于所述的姿势规则涉及1个关节时，规则含义为：用户的该关节的当前位置与初始位置之间的距离，处在阈值范围内；姿势规则涉及2个关节时，规则含义为：用户的两个关节之间距离，在规则类别所标示的方向上，处在阈值范围内；所述的姿势规则当且仅当规则类别为夹角时涉及3个关节，规则含义为：关节1到关节2连线，与关节2到关节3连线的夹角，处在阈值范围内。

3.根据权利要求1所述的一种基于Kinect的人机交互系统，其特征在于所述的姿势管理模块包括姿势的新建、编辑、保存、读取、删除、测试功能。

4.根据权利要求1所述的一种基于Kinect的人机交互系统，其特征在于所述的输入映射模块，将用户姿势与计算机的输入命令进行一一对应，从而使用姿势与计算机进行交互。

5.根据权利要求1所述的一种基于Kinect的人机交互系统，其特征在于所述的配置管理模块，将若干输入映射作为一个系统配置文件，进行新建、修改、保存、读取、删除等管理操作。

6.根据权利要求1所述的一种基于Kinect的人机交互系统，其特征在于所述的姿势管理模块中姿势测试的流程为：当用户开启姿势测试时，首先停用姿势编辑功能，并保存当前用户所编辑的姿势数据；然后启动Kinect开始识别，当Kinect前有人做出启动姿势时，Kinect跟踪该人的姿势，并显示已跟踪用户的提示标志；当该人的姿势与所编辑的姿势吻合时，显示姿势识别成功的提示标志；当用户终止姿势测试时，恢复姿势编辑功能。

7.根据权利要求1所述的一种基于Kinect的人机交互系统，其特征在于所述的姿势映射与识别的流程为：当用户开启姿势映射时，启动Kinect开始识别，当Kinect前有人做出启动姿势时，Kinect跟踪该人的姿势；将人的姿势与姿势映射列表中的姿势逐一比对，并检测每个姿势是否从无到有或从有到无，发送按下或弹起相应按键的命令。

8.根据权利要求1所述的一种基于Kinect的人机交互系统，其特征在于所述的姿势定义模块采用如下技术方案：

（1）人体的姿势由若干姿势规则构成，所述姿势规则包括规则类别、涉及关节点、阈值范围；

（2）规则类别包括X距离、Y距离、Z距离、总距离、夹角共五种；

（3）规则涉及的关节点范围为Kinect SDK提供的20个关节点，分别为髋中央、脊柱、颈部、头部、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左胯、左膝、左踝、左脚、右胯、右膝、右踝、右脚；

（4）当规则类别为夹角时，规则涉及3个关节点；否则，规则涉及的关节点可以是1个、2个；

（5）当规则涉及1个关节点时，规则的含义为：用户所述关节点的当前位置，与该关节点的初始位置的距离，处在阈值范围内；

（6）当规则涉及2个关节点时，规则的含义为：用户的所述两个关节点的当前位置之间的距离，处在阈值范围内；

（7）当规则为夹角规则，涉及3个关节点，规则的含义为：用户的第一关节点与第二关节点连线，与第二关节点与第三关节点连线的夹角，处在阈值范围内。

9.根据权利要求1所述的一种基于Kinect的人机交互系统，其特征在于所述的姿势管理模块采用如下技术方案：

（a）姿势管理的界面功能包括姿势规则的添加、编辑、删除，以及姿势数据的测试、保存与读取；

（b）姿势规则涉及的关节点范围为Kinect SDK提供的20个关节点，在姿势管理界面中，显示关节点的名称供用户选择；

（c）用户可以在编辑姿势后、保存姿势前，进行姿势的测试，进行姿势测试时，启动Kinect进行用户识别，当用户做出特定启动姿势时，跟踪该用户，然后用户可试做该姿势，姿势正确与否显示在界面上，通过测试姿势功能，用户能通过自身反馈设计出更自然的姿势。

10.根据权利要求1所述的一种基于Kinect的人机交互系统，其特征在于所述输入映射模块采用如下技术方案：

（A）在同一个配置文件中，不同姿势对应不同的键盘或鼠标的按键命令，不得重复；

（B）当用户向系统发送开始映射的请求时，启动Kinect进行用户识别；规定当用户做出特定的启动姿势时，Kinect跟踪该用户；

（C）跟踪到用户后，Kinect不断对用户进行姿势识别；如一个交互姿势从无到有，则发送对应按键按下命令；如一个交互姿势从有到无，则发送对应按键弹起命令。