CN104258555B - 采用rgbd视觉传感的双拳击球健身交互系统 - Google Patents

Abstract

本发明涉及一种采用RGBD视觉传感的双拳击球健身交互系统,属于人机交互和数字娱乐技术领域，包括RGBD视觉传感模块1、人体运动跟踪模块3、双拳运动生成模块4、双拳运动分析模块5、双拳彩球关系模块6、彩球生成模块7和显示模块8。使用本系统，用户无需佩戴任何装置即可游戏，系统通过实时捕捉人体的运动并计算双拳运动和游戏中虚拟彩球运动的关系，判断双拳击球成功概率，模拟真实击球效果，实现人与游戏目标的互动，达到击球健身的效果。对比现有技术，本发明实现了人体与系统的非接触式交互健身游戏，并且将游戏博弈贯穿于健身全过程，不仅锻炼身体，还锻炼人的反应能力，是一种集娱乐、游戏、健身于一体的绿色的交互系统。

Description

采用RGBD视觉传感的双拳击球健身交互系统

技术领域

本发明涉及一种人机交互系统，特别涉及一种采用RGBD视觉传感的双拳击球健身交互系统，属于人机交互和数字娱乐技术领域。

背景技术

传统的交互游戏利用鼠标、键盘、控制杆等工具进行游戏,之后出现了使用非接触式交互方式，如中国亿旗在线17Vee系列体感游戏手柄、日本任天堂的Wii游戏遥控器,都是通过侦测控制器立体倾斜的变化,感应出操作者的动作。它们反应精确及时而且应用到了许多健身锻炼的游戏中,但仍需借助外界手柄感应,对于身体部位的动作感应不完整，体验效果并不是很好。

目前基于RGBD视觉传感的体感游戏种类繁多，例如Lucasarts出品的《星球大战》、MTV推出的跳舞游戏、宠物游戏、运动游戏《KinectSports》、冒险游戏《KinectAdventure》、赛车游戏《Joyride》，但这些游戏都注重娱乐式的游戏交互，缺乏健身益智的元素，长时间游戏会使人身心俱疲。目前人们工作和生活节奏越来越快，迫切需要一款非接触式交互方式的集趣味性和健身锻炼为一体的游戏系统。

发明内容

本发明为解决现有市场上缺乏一款能够与系统进行非接触式交互的可以健身的绿色游戏系统的问题，提供了一种采用RGBD视觉传感的双拳击球健身交互系统。

本发明的思想是用户无需佩戴任何装置，直接朝着屏幕中的彩球方向出拳，系统通过实时捕捉人体的运动并分析双拳运动和屏幕中彩球运动的关系，判断双拳击球成功概率，模拟真实击球效果，实现人与游戏目标的互动，达到双拳击球健身的真实体验效果。该系统要求用户双拳击打视野范围内各个位置的彩球，不仅可以锻炼身体，也可以锻炼人的反应能力，该系统将博弈贯穿于健身全过程，有利于游戏的推广，是一种集娱乐、游戏、健身于一体的绿色的交互系统。

本发明的目的是提供一款采用RGBD视觉传感的双拳击球健身交互系统,将游戏娱乐和健身锻炼有机的结合在一起，形成一种体感交互娱乐游戏模式。本发明的另一目的是利用RGBD视觉体感方法来实现一种全新的体感交互模式，实现一种用户身临其境的交互体验效果，使用户交互体验更加真实。

为实现上述目的，本发明是通过以下技术方案实现的：

一种采用RGBD视觉传感的双拳击球健身交互系统，包括RGBD视觉传感模块、人体运动跟踪模块、双拳运动生成模块、双拳运动分析模块、双拳彩球关系模块、彩球生成模块和显示模块；RGBD视觉传感模块通过RGBD视觉传感装置获取人体骨骼数据，并将人体骨骼数据传送给人体运动跟踪模块，该模块把人体骨骼数据处理成游戏系统可识别的数据类型后传送给双拳运动生成模块和双拳运动分析模块，双拳运动生成模块提取双拳运动相关的关节点信息绑定给场景中的双拳模型，实现场景内双拳模型模拟真实用户双拳运动的效果，即双拳运动信息，并将该信息传送给显示模块；双拳运动分析模块对人体骨骼数据进行分析计算得到拳的位置、速度、方向等信息，并传送给双拳彩球关系模块，该模块通过计算彩球生成模块传送来的彩球运动状态信息和双拳运动分析模块传送来的信息检测彩球掉落轨迹与用户击拳的路径有无相交来判断球是否可以与击出的拳有交互，当击中时生成彩球被击的效果即彩球被击后的运动状态信息，否则保留原有彩球运动状态信息，并将该信息传送给显示模块，显示模块将传入的双拳运动信息和彩球运动状态信息绑定给游戏三维场景并进行渲染后显示。

所述RGBD视觉传感模块(1)由一台Kinect组成，Kinect放在用户前方2米处并朝向用户,获取用户的实时动作信息数据流。

所述人体运动跟踪模块(3)处理人体骨骼数据，提取出用户的20个主要关节点的信息，将其转化为游戏三维空间内可识别的数据，用三维坐标来标记每一个关节。

所述双拳运动生成模块(4)将与双拳运动相关的关节点的信息绑定到游戏场景模型的对应关节上，通过每帧的更新模型关节点的坐标实现模型动作的连贯，达到场景内双拳模型模拟真实用户双拳运动的效果。

所述双拳运动分析模块(5)针对用户关节中的手部关节进行分析，通过分析帧与帧之间的位置关系来计算拳的三维运动轨迹、实时速度、运动方向矢量等。

所述双拳彩球关系模块(6)实时检测彩球状态通过看彩球的掉落轨迹与用户击拳的路径有无相交来判断彩球是否可以与击出的拳有交互，若判断击中则需通过彩球与拳的速度合成计算来得到彩球接下来的运动方向，综合拳的力度，速度来得到彩球的运动状态并传递给显示模块。

所述彩球生成模块(7)负责在游戏场景视野范围内不同位置生成彩球并且控制无交互状态彩球的下落运动。

所述显示模块(8)负责生成游戏三维场景的视觉效果，包括彩球运动和模型双拳运动的渲染。

有益效果

本发明相对现有技术具有以下优势：

本发明利用Kinect采集用户骨架关节点信息数据，unity3D引擎系统进行处理、渲染和实时显示，用户不需穿戴任何装置设备仅靠肢体动作即可进行游戏，方式简单直接，系统成本低。

系统各个模块相互独立，完成各自功能，便于完善性维护和软件更新。

本发明提供一种适应过程，检测用户的位置，通过建模过程对游戏系统的场景架构进行重设更新从而实现用户在任何位置都能够正常的游戏健身，使用户体验效果更加真实。

本发明提供一种以健身运动为主题的游戏模式，让用户真实参与游戏并能够真正达到自身锻炼的效果，这种游戏模式不仅具有良好的交互体验还有广泛的应用前景。

游戏中想要击中彩球需要判断落点，预测下落速度，在运动健身的过程中同时可以锻炼大脑的思维，达到益智的效果。

现实中由于工作压力或生活琐事人们容易忧郁，游戏中用户可以用力打击将心中的怨气不平爆发出来，达到发泄解压的效果。

附图说明

图1为本发明实施例的三维场景模拟示意图；

图2为本发明实施例的屏幕显示示意图；

图3为本发明系统的硬件装置的数据流向示意图；

图4为本发明系统各个模块之间的数据流图；

图5为双拳彩球关系模块内部的整体流程图。

附图标记：1—RGBD视觉传感模块；2—显示屏；3—人体运动跟踪模块；4—双拳运动生成模块；5—双拳运动分析模块；6—双拳彩球关系模块；7—彩球生成模块；8—显示模块。

具体实施方式

本发明为采用RGBD视觉传感的双拳击球健身交互系统，为使本发明的上述目的，特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明做进一步的详细说明。

如图1所示为本发明实施例的三维场景模拟示意图，硬件装置包括RGBD视觉传感模块1、显示屏2和计算机三个部分。用户站在显示屏2前方2米左右处进行互动。

如图2所示为本发明交互系统的界面效果，屏幕中有彩球落下，有两只拳头用来模拟用户的双拳，当用户双拳进行运动或击拳动作时屏幕中的拳进行跟踪运动，达到用户的双拳运动在屏幕里模拟的效果。

如图3所示为本发明硬件装置之间的数据流向示意图，RGBD视觉传感装置完成用户运动姿态的捕获，然后将人体骨骼数据流数据送给计算机进行处理，计算机根据数据信息进行模型动作渲染并将游戏的交互处理结果送给显示屏进行显示以给用户反馈。

如图4所示为本发明系统各个模块之间的数据流图，本发明系统包括：RGBD视觉传感模块1、人体运动跟踪模块3、双拳运动生成模块4、双拳运动分析模块5、双拳彩球关系模块6、彩球生成模块7和显示模块8；RGBD视觉传感模块1通过RGBD视觉传感装置实时获取人体骨骼数据，并将人体骨骼数据传送给人体运动跟踪模块3，该模块把人体骨骼数据处理成游戏系统可识别的数据类型后传送给双拳运动生成模块4和双拳运动分析模块5，双拳运动生成模块4提取双拳运动相关的关节点信息绑定给场景中的双拳模型，实现场景内双拳模型模拟真实用户双拳运动的效果，即双拳运动信息，并将该信息传送给显示模块8；双拳运动分析模块5对人体骨骼数据进行分析计算得到拳的位置、速度、方向等信息，并传送给双拳彩球关系模块6，该模块通过计算彩球生成模块7传送来的彩球运动状态信息和双拳运动分析模块5传送来的信息检测彩球掉落轨迹与用户击拳的路径有无相交来判断球是否可以与击出的拳有交互，当击中时生成彩球被击的效果即彩球被击后的运动状态信息，否则保留原有彩球运动状态信息；并将彩球运动状态信息传送给显示模块8，显示模块8将传入的双拳运动信息和彩球运动状态信息绑定给游戏三维场景并进行渲染后显示，用户根据此图像视觉反馈不断发出击球运动，从而完成人与游戏系统的非接触式交互健身运动。

本实施例中，RGBD视觉传感模块1是由一台Kinect组成，装置放在用户前方2米处并朝向用户用于获取用户的动作数据流信息。

人体运动跟踪模块3处理获取的人体骨骼数据，提取出骨架信息，每一个骨架信息包含有描述骨骼位置以及骨骼关节的数据。每一个关节有一个唯一标示符如手、肩等信息和对应的三维坐标数据从而得到用户的20个主要关节点的信息，将其转化为游戏三维空间内可识别的数据，用三维坐标来标记每一个关节。

双拳运动生成模块4将与双拳运动相关的关节点的信息绑定到游戏场景中双拳模型的对应关节上，通过每帧的更新模型关节点的坐标实现模型动作的连贯，达到场景内双拳模型模拟真实用户双拳运动的效果。

双拳运动分析模块5针对用户关节中的手部关节进行分析，通过分析帧与帧之间的位置关系来计算拳的3三维运动轨迹、实时速度、运动方向矢量等。运动方向矢量由两帧之间的三维坐标之差体现；速度矢量由方向矢量与两帧间的时间关系决定；轨迹由多帧之间的位置关系得到。

双拳彩球关系模块6在彩球下落过程中实时检测彩球状态，通过看彩球的掉落轨迹与用户击拳的路径有无相交来判断彩球是否可以与击出的拳有交互，若判断击中则需通过彩球与拳的速度合成计算来得到彩球接下来的运动方向，综合拳的力度，速度来得到彩球的运动状态并传递给显示模块。双拳彩球关系模块6的内部数据流图如图5所示，该流图表示的是对单一彩球的处理，本模块通过该流程对场景中所有彩球进行处理并将处理结果传递给显示模块进行渲染，具体过程如下：

1、获取双拳运动信息和彩球状态信息；

2、判断双拳和彩球是否满足交互的条件，当轨迹相交发生交互时则由本帧有效的双拳运动信息和彩球的状态信息来产生彩球接下来的运动状态，之后将球的运动状态信息送给显示模块来显示到屏幕上给用户反馈本次击拳的结果是否击中，球的运动状态侧面反应出用户拳击点是否准确，力度的大小等；

3、当彩球没有与拳进行交互并且视野不可见时进行销毁；

4、当彩球没有与拳进行交互并且视野可见时继续模拟自由落体运动，将彩球的下帧运动状态信息送给显示模块并且回到1继续检测。

彩球生成模块7在游戏场景视野范围内不同位置生成彩球，彩球生成利用博弈算法，通过分析用户击球结果来得到生成彩球的位置。彩球由第三方软件如Unity3D游戏引擎系统控制模拟自由落体运动。

显示模块8通过渲染跟踪用户的动作来给用户营造身临其境的游戏交互体验；通过在拳与彩球交互时重新渲染彩球的运动状态来给用户视觉反馈。该模块的显示内容合成及效果渲染可以借助第三方软件如Unity3D游戏引擎完成。模块内部将彩球运动信息和模型双拳运动信息送给Unity3D游戏引擎进行渲染，生成最终游戏三维场景的视觉效果。

以上对本发明一种采用RGBD视觉传感的双拳击球健身交互系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及核心思想；同时，对于本领域的一般技术人员，依据本发明的思想方案，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (1)

1.一种采用RGBD视觉传感的双拳击球健身交互系统,其特征在于：包括RGBD视觉传感模块(1)、人体运动跟踪模块(3)、双拳运动生成模块(4)、双拳运动分析模块(5)、双拳彩球关系模块(6)、彩球生成模块(7)和显示模块(8)；RGBD视觉传感模块(1)通过RGBD视觉传感装置获取人体骨骼数据，并将人体骨骼数据传送给人体运动跟踪模块(3)，人体运动跟踪模块(3)把人体骨骼数据处理成游戏系统可识别的数据类型后传送给双拳运动生成模块(4)和双拳运动分析模块(5)，双拳运动生成模块(4)提取双拳运动相关的关节点信息绑定给场景中的双拳模型，实现场景内双拳模型模拟真实用户双拳运动的效果，即双拳运动信息，并将双拳运动信息传送给显示模块(8)；双拳运动分析模块(5)对人体骨骼数据进行分析计算得到拳的位置、速度、方向信息，并传送给双拳彩球关系模块(6)，双拳彩球关系模块(6)通过计算彩球生成模块(7)传送来的彩球运动状态信息和双拳运动分析模块(5)传送来的信息检测彩球掉落轨迹与用户击拳的路径有无相交来判断球是否可以与击出的拳有交互，当击中时生成彩球被击的效果即彩球被击后的运动状态信息，否则保留原有彩球运动状态信息，并将彩球的运动状态信息传送给显示模块(8)，显示模块(8)将传入的双拳运动信息和彩球运动状态信息绑定给游戏三维场景并进行渲染后显示。