CN104474701A - 一种推进太极拳运动的人机交互系统 - Google Patents

Abstract

本发明提供了一种用于推进太极拳的人机交互系统。本发明包括：影像获取设备，用于获取用户的影像数据；人机交互处理设备，用于从影像数据检测用户的姿态来确定显示影像的效果；显示设备，显示标准太极拳的视频和用户打太极拳的特效影像。本发明可以利用多种运动检测方式的组合来进行太极拳的人机交互运动，具有易学性、教学性和趣味性，从而吸引不了解太极拳并每天忙于工作的人来进行此运动，有利于中国传统运动太极拳的传承发展，也为促进人们加强运动锻炼提供了一种新的方法。

Description

一种推进太极拳运动的人机交互系统

技术领域

本发明涉及交互设计、计算机视觉领域，更具体地，涉及一种用于推进太极拳的交互装置。

背景技术

作为国家非物质文化遗产之一的太极拳是中国历史上一种极为重要的体育运动，修习太极拳能够修身、养性、强身健体，对人类个体身心健康以及人类群体的和谐共处，有着极为重要的促进作用。然而，在现代中国，参与此运动的大部分是老年人。年轻人由于快节奏的现代生活，日益增长的工作压力而无暇顾及运动健身，更不愿去选择此类传统的体育运动。这即有碍于太极拳的继承和发展，也不利于年轻人的身心健康。

体感交互是一项直接运用肢体动作与数字设备和环境进行沉浸式互动体验的智能技术。该技术的核心在于让计算机模拟和解析人的自然行为和意识，并根据人的动作完成各种指令。这是更加智能、便捷、人性、自然的人机交互设计。

因此，本发明提供了一种在公共空间吸引各年龄层的人主动式参与太极拳活动的交互装置，同时该交互装置可以为用户提供跨空间的交互操作。

发明内容

本发明的目的在于提供一种操作简单，具有不同时空交互性，同时具有教学性和趣味性，可以吸引更多人参与太极拳活动的交互装置。

为了实现上述目的，本发明提供了一种用于推进太极拳的交互装置，其由影像获取设备，人机交互处理设备和显示设备三部分组成；影像获取设备用于获取用户的影像数据，并传给人机交互处理设备；人机交互处理设备从影像数据来分析检测用户的姿态以确定显示影像的效果，并将处理得到的特效影像传给显示设备。显示设备显示标准太极拳的视频和用户打太极拳的特效影像；其中，人机交互处理设备是本发明的核心部分。

影像获取设备，用于获取在影像获取设备所有拍摄范围内的用户的影像数据。

人机交互处理设备包括用户影像识别模块，用于从影像数据中识别分割出每个用户的影像数据，并动态判别用户开始和结束打太极拳活动的时间信息；用户姿态识别模块，用于识别每个用户的姿态；用户姿态特效处理模块，用于为每个用户的不同姿态添加特效；显示控制模块，用于将显示屏分割为多个显示区域，并在不同的显示区域显示标准太极拳的视频和不同用户打太极拳的特效影像。

用户影像识别模块包括用户标定模块，用于为每个进入影像获取设备拍摄范围的用户进行ID标号；用户交互起讫确定模块，用于确定每个用户开始和结束打太极拳活动的时间信息；用户影像分割模块，根据每个用户的ID从影像数据中识别并分割出每个用户独立的影像数据。

用户交互起讫确定模块将影像获取设备识别到用户影像的时间确定为用户开始打太极拳活动的时间。将用户离开影像获取设备拍摄范围，并且影像获取设备在一定时间后仍不能检测到该用户的影像数据确定为用户结束打太极拳活动的时间。

用户姿态识别模块根据每个用户的影像数据，分析其两手骨骼节点以确定用户两手的姿态和运动速度。

用户姿态特效处理模块根据用户两手的姿态、运动速度和用户驻留时间判断所加特效；其中，所述用户姿态特效为一个在用户开始太极拳活动后自动生成的，可以根据用户两手不同姿态以及速度来变化位置，以配合用户太极拳动作的虚拟3D球；同时，该虚拟3D球随着用户驻留时间的增长而半径增大，当用户结束太极拳活动后，该球继续显示在屏幕上，可作为后来用户的虚拟3D球；其中所述用户手的姿势为根据每一帧影像中用户两手间的距离计算得到，所述用户手的速度为根据当前以及当前时刻之前总共10帧内用户手的位置变化情况计算所得；其中所述用户驻留时间为用户结束打太极拳活动的时间与用户开始打太极拳活动的时间之差；其中所述前面用户留在屏幕上的虚拟3D球遗留在屏幕上，可作为后来用户的虚拟3D球为后来用户可以根据个人爱好选择使用为其自动生成的虚拟3D球或者前面用户遗留的虚拟3D球作为自己的特效。

显示控制模块包括显示区域分割模块和显示模块。其中，显示区域分割模块用于将显示屏分割成多个显示区域，每个显示区域可以独立显示不同的影像内容；显示模块，用于在每个独立地显示区域分别显示标准太极拳的视频和不同用户的打太极拳的特效影像；

显示设备包括显示载体和显示装置。其中，显示载体为在公共空间经常看到的标志性建筑或者雕塑，用于承载显示装置显示的用户特效影像；显示装置，用于显示从人机交互处理设备传输来的用户特效影像。

本发明可以利用多种运动检测方式的组合来进行太极拳的人机交互运动，具有易学性、教学性和趣味性，从而吸引不了解太极拳并每天忙于工作的人来进行此运动，有利于中国传统运动太极拳的传承发展，也为促进人们加强运动锻炼提供了一种新的方式。

附图说明

图1是交互装置和用户进行打太极拳活动的示意图；

图2是人机交互处理设备的模块示意图；

图3是一种可能的用户开始和结束打太极拳活动的示意图；

图4是用户双手骨骼点示意图。

具体实施方式

现将详细描述本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1是示出根据本发明实施例的交互装置和用户进行打太极拳活动的示意图。

如图1所示，根据本发明实施例的交互装置包括影像获取设备100、人机交互处理设备200和显示设备300。图像获取设备100用于获取用户打太极拳时的影像数据，影像获取设备100可以是体感交互设备，例如，xbox360。人机交互处理设备200用于接收从影像获取设备100传来的影像数据并检测用户的姿态来确定显示影像的效果；然后，人机交互处理设备200将处理得到的用户打太极拳的特效影像传给显示设备300。显示设备300包括显示载体310和显示装置320；其中显示载体310可以是公共空间的建筑物或者标志性建筑，用于承载特效影像；显示装置320可以是投影仪。

下面将参照图2来对根据本发明实施例的交互装置中的人机交互处理设备200的结构进行详细说明。

如图2所示，根据本发明实施例的人机交互处理设备200包括用户影像识别模块210、用户姿态识别模块220、用户姿态特效处理模块230、显示控制模块240。

用户影像识别模块210用于从影像数据中识别分割出每个用户的影像数据，并动态判别用户开始和结束打太极拳活动的时间信息。用户姿态识别模块220将根据用户影像识别模块210分割得到的每个用户影像数据确定每个用户的姿态。用户姿态特效处理模块230将根据用户影像识别模块210得到的用户开始和结束打太极拳活动的时间信息，以及用户姿态识别模块220识别的用户姿态信息确定特效影像的效果。

根据本发明的一个实施例，用户影像识别模块210可包括用户标定模块211，用户交互起讫确定模块212，用户影像分割模块213。

其中，用户标定模块211用于为每个进入影像获取设备拍摄范围的用户进行ID标号。

用户交互起讫确定模块212将影像获取设备识别到用户影像的时间确定为用户开始打太极拳活动的时间。将用户离开影像获取设备拍摄范围，并且影像获取设备在一定时间后仍不能检测到该用户的影像数据确定为用户结束打太极拳活动的时间；应理解，以上仅是根据影像获取设备检测到的用户影像情况来确定用户开始和结束打太极拳活动的时间。还可根据其它预设的方式来确定用户开始和结束打太极拳活动的时间。例如，可通过识别用户的特定手势来记录起讫时间。如图3所示，当影像获取设备获取到某个用户的影像后，不立即将其判别用户开始打太极拳活动的时间，而是先标定用户的ID，再由用户交互起讫确定模块追踪识别用户的特定手势。当确定用户的手势为双手合十时，确定其为用户开始打太极拳活动的时间。当确定用户的手势为双手握拳并举过头顶，则确定其为用户结束打太极拳活动的时间。

用户影像分割模块213根据每个用户的ID从影像数据中识别并分割出每个用户独立的影像数据。

用户姿态识别模块220根据用户影像识别模块210分割得到的每个用户的独立影像，分析其两手骨骼节点以确定用户两手的姿态，以及用户手的运动速度；具体地，包括识别用户两手之间的距离关系和速度关系。如图4所示，通过用户左右手上骨骼点的坐标信息确定用户两手间的距离关系。再根据用户当前影像帧中两手的坐标以及当前时刻之前总共10帧内用户两手的坐标，以及这10帧影像播放的时间，计算用户两手在这10帧内的速度大小和方向。

用户姿态特效处理模块230用于为每个用户的不同姿态添加特效；具体地，特效为一个在用户进入影像获取设备拍摄范围后自动生成的，可以根据用户两手不同姿态以及速度来变化位置，以配合用户太极拳动作的虚拟3D球；根据用户姿态识别模块220识别得到的用户两手间的距离和速度信息，判断虚拟3D球所加位置。表1为识别的特定姿势以及根据这些特定姿势判断虚拟3D球的位置。应理解，表1只列出了部分姿态，具体实际应用中可以使用更多有效的姿态。

表1

双手位置和速度信息	3D虚拟球位置信息
		双手速度方向相同	3D虚拟球位于双手中速度较快的手骨骼点处
双手速度方向相异，但速度相差很大	3D虚拟球位于双手中速度较快的手骨骼点处
		双手速度方向相异，但速度相差不多	3D虚拟球位于两手骨骼点的中间处

当用户进行打太极拳活动时，用户姿态特效处理模块230依据用户活动时间的增长，线性增加虚拟3D球的半径。当用户结束打太极拳活动时，用户姿态特效处理模块230根据用户驻留时间计算虚拟3D球的半径，并将该球随机地显示在屏幕的中下方部位。

应理解，这里仅仅给出了一种加虚拟3D球的特效处理方案，但本领域的技术人员应理解，本发明的特效处理不限于此。还可以根据用户两手的距离信息和速度信息增加更多具有实际意义的特效处理。比如，随用户手势速度变化而变化的气团效果，或者也为用户提供一个具有沉浸感的3D虚拟太极环境等。

显示控制模块240用于将显示屏分割为多个显示区域，并在不同的显示区域显示标准太极拳的视频和不同用户打太极拳的特效影像；具体地，包括显示区域分割模块241和显示模块242。显示区域分割模块241用于将显示屏分割成多个显示区域，每个显示区域可以独立显示不同的影像内容；应理解，这里具体分割的显示区域的个数由实际情况而定，但至少应该大于等于2个。显示模块242用于在每个独立的显示区域分别显示标准太极拳的视频和不同用户的打太极拳的特效影像。

Claims (9)

1. 一种推进太极拳运动的人机交互系统，其特征在于，包括：

影像获取设备，用于获取用户的影像数据；

    人机交互处理设备，用于从影像数据检测用户的姿态来确定显示影像的效果；

    显示设备，用于显示标准太极的视频和用户打太极拳的特效影像；

所述人机交互处理设备包括：

用户影像识别模块，用于从影像数据中识别分割出每个用户的影像数据，并动态判别用户开始和结束打太极拳活动的时间信息；

用户姿态识别模块，用于识别每个用户的姿态；

用户姿态特效处理模块，用于为每个用户的不同姿态添加特效；

显示控制模块，用于将显示屏分割为多个显示区域，并在不同的显示区域分别显示标准太极拳的视频和不同用户打太极拳的特效影像。

2.如权利要求1所述交互系统，其特征在于：影像获取设备，用于获取在影像获取设备所有拍摄范围内的用户的影像数据。

3.如权利要求1所述交互系统，其特征在于：用户影像识别模块包括：

用户标定模块，用于为每个进入影像获取设备拍摄范围的用户进行ID标号；

用户活动起讫确定模块，用于确定每个用户开始和结束打太极拳活动的时间信息；

用户影像分割模块，根据每个用户的ID从影像数据中识别并分割出每个用户独立的影像数据。

4.如权利要求3所述交互系统，其特征在于：用户活动起讫确定模块将影像获取设备识别到用户影像的时间确定为用户开始打太极拳活动的时间，将用户离开影像获取设备拍摄范围，并且影像获取设备在一定时间后仍不能检测到该用户的影像数据确定为用户结束打太极拳活动的时间。

5.    如权利要求1所述交互系统，其特征在于：用户姿态识别模块根据每个用户的影像数据，分析其两手骨骼节点以确定用户的两手的姿态和运动速度。

6.    如权利要求1所述交互系统，其特征在于：用户姿态特效处理模块根据用户两手的姿态、运动速度和用户驻留时间判断所加特效。

7.    如权利要求6所述交互系统，其特征在于：用户姿态特效处理模块所述用户姿态特效为一个在用户开始打太极拳活动后自动生成的，可以根据用户两手不同姿态以及速度来变化位置，以配合用户太极拳动作的虚拟3D球，同时，该虚拟3D球随着用户驻留时间的增长而半径增大，当用户结束打太极拳活动后，该球继续显示在屏幕上，可作为后来用户的虚拟3D球；

所述用户手的姿态根据每一帧影像中用户两手间的距离计算得到，速度变化根据当前以及当前时刻之前总共10帧内用户手的位置变化情况计算所得；

所述用户驻留时间为用户结束打太极拳活动的时间与用户开始打太极拳活动的时间之差。

8.    如权利要求1所述交互系统，其特征在于：显示控制模块包括：

显示区域分割模块，用于将显示屏分割成多个显示区域，每个显示区域可以独立显示不同的影像内容；

显示模块，用于在每个独立地显示区域分别显示标准太极拳的视频和不同用户的打太极拳的特效影像。

9.如权利要求1所述交互系统，其特征在于：显示设备包括：

显示载体，为在公共空间经常看到的标志性建筑或者雕塑，用于承载显示装置显示的用户特效影像；

显示装置，用于显示从人机交互处理设备传输来的用户特效影像。