CN105389005A - 一种二十四式太极拳三维互动展示方法 - Google Patents

Abstract

本发明公开了一种二十四式太极拳三维互动展示方法，一、建立一个虚拟的小屏；二、换算出虚拟小屏的X/Y轴与实际屏幕的X/Y轴的比例；三、将手的世界坐标利用Camera.WorldToScreenPoint换算出屏幕坐标点，并保存好Z轴的值；四、算出手的屏幕坐标与虚拟小屏X/Y轴的比例，然后利用得到的虚拟屏幕与实际屏幕的比例，得到一个虚拟的扩大后的手的屏幕坐标；五、利用算出的X/Y轴的值，加上得到的Z轴的值，通过Camera.ScreenToWorldPoint方法得到在Unity中的世界坐标的Position值；六、将取得的Position值实时的赋给某个作为鼠标的物体的transform.position。本发明采用交互型模式，方便学习者自学并掌握二十四太极拳技术要点，为体育运动项目教学和训练提出一种全新的方式，采用本发明方法的设备是一个集教学、娱乐为一体的交互性强的平台。

Description

一种二十四式太极拳三维互动展示方法

技术领域

本发明涉及一种太极拳三维互动展示方法，具体是一种二十四式太极拳三维互动展示方法。

背景技术

传统的太极教学通常是采用面授、图片录制视频等方式加以展示，由于学习者感官局限性或作品视角的局限性，使学习者不能够掌握全方位技术动作和要领，不具有较好的观赏性。

发明内容

本发明的目的在于提供一种二十四式太极拳三维互动展示方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种二十四式太极拳三维互动展示方法，一、建立一个虚拟的小屏；二、换算出虚拟小屏的X/Y轴与实际屏幕的X/Y轴的比例；三、将手的世界坐标利用Camera.WorldToScreenPoint换算出屏幕坐标点，并保存好Z轴的值；四、算出手的屏幕坐标与虚拟小屏X/Y轴的比例，然后利用得到的虚拟屏幕与实际屏幕的比例，得到一个虚拟的扩大后的手的屏幕坐标；五、利用算出的X/Y轴的值，加上得到的Z轴的值，通过Camera.ScreenToWorldPoint方法得到在Unity中的世界坐标的Position值；六、将取得的Position值实时的赋给某个作为鼠标的物体的transform.position。

作为本发明再进一步的方案：不断计算鼠标物体与得到的虚拟实际坐标的距离；利用Mathf.Lerp来不断的改变鼠标的Position的值；利用全屏+防抖方法使Kinect能够控制鼠标物体满屏移动,利用OnTriggerEnter()和OnTriggerExit()方法。

与现有技术相比，本发明的有益效果是：本发明采用交互型模式，方便学习者自学并掌握二十四太极拳技术要点，为体育运动项目教学和训练提出一种全新的方式，采用本发明方法的设备是一个集教学、娱乐为一体的交互性强的平台。

附图说明

图1为二十四式太极拳三维互动展示方法的软件流程图；

图2为二十四式太极拳三维互动展示方法的平台结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～2，本发明实施例中，一种二十四式太极拳三维互动展示方法，一、建立一个虚拟的小屏；二、换算出虚拟小屏的X/Y轴与实际屏幕的X/Y轴的比例；三、将手的世界坐标利用Camera.WorldToScreenPoint换算出屏幕坐标点，并保存好Z轴的值；四、算出手的屏幕坐标与虚拟小屏X/Y轴的比例，然后利用得到的虚拟屏幕与实际屏幕的比例，得到一个虚拟的扩大后的手的屏幕坐标；五、利用算出的X/Y轴的值，加上得到的Z轴的值，通过Camera.ScreenToWorldPoint方法得到在Unity中的世界坐标的Position值；六、将取得的Position值实时的赋给某个作为鼠标的物体的transform.position。

不断计算鼠标物体与得到的虚拟实际坐标的距离；利用Mathf.Lerp来不断的改变鼠标的Position的值；利用全屏+防抖方法使Kinect能够控制鼠标物体满屏移动,利用OnTriggerEnter()和OnTriggerExit()方法。

本发明的工作原理是：本文研究的具体动作捕捉环境是光学红外被动式的动作捕捉技术。使用的硬件设备是NatrualPoint公司生产只造的OptiTrack全身运动捕捉套装。整个捕捉环境主要由12个红外摄像机组成，配合漫反射标记点和动作捕捉专用服装可以进行全身动作的捕捉。本文在动作数据采集阶段使用的软件有设备商提供与硬件配套的Arena全身动作捕捉软件，以及红外摄像头的CameraSDK。在动作数据处理，同步合成和编辑阶段使用的软件有Autodesk公司的MotionBuilder动作编辑软件和Maya三维设计软件。

本文根据二十四式太极拳的动作特点，在23节点BVH全身模型的基础上，扩展设计了能够表达太极拳手部丰富动作的动作捕捉模型。该模型除了包括远BVH全身模型的23个节点之外，根据人体的手部生理特征，增加了两手共38个节点。可以说手部的动作采集是非常精细的。然而由于本文所使用的光学动作捕捉系统是使用摄像头对反光标记点进行捕捉，受到摄像头的分辨率和整体捕捉空间的限制。因此，该系统实际上是无法在捕捉全身动作的情况下还对手部动作进行有如此多反光点的精密捕捉。手部在空间尺度上远远小于全身，

而反光标记的数量却还要大于全身。为了解决这一问题，本文提出了分别就全身动作和手部动作分开来进行数据采集，通过调整红外摄像头来获取不同的捕捉空间，以适宜全身和手部的空间尺寸大小。在采集了全身和手部的动作数据之后，再将两者的数据编辑同步合成。

在实际的采集过程中，为了使用光学动作捕捉系统正常的捕捉动作数据，还需要针对具体的情况完成相应的前期准备工作。

动作捕捉场地的布置

本文的光学动作捕捉系统使用的是红外摄像头以及反光标记点，因此在场地的布置上需要有所注意。整个系统需要布置在能够遮蔽室外自然光线的室内环境中，以避免自然光的对红外摄像头的干扰。此外，应根据设计的捕捉空间，将摄像头散步在捕捉空间的四周，以使得即便出现侧面遮挡，也能使标记点被多个摄像头捕捉到。还有，因为红外摄像头的工作原理是由摄像头本身发出红外光，再捕捉反射的红外光。所以在摄像头排列时需要摄像头之间的互相干扰。

摄像头阵列的空间位置校准

在固定好捕捉摄像头之后第一件所要做的事便是校准各个摄像头自身所在的位置。只有获得了各个摄像头的空间位置，摄像头捕捉到的信息才能发挥它们的作用。在本文使用的动作捕捉环境中，摄像头位置校准的方法是使用带有三个固定间距标记点的T型金属杆作为辅助工具，当两个或以上的摄像头同时捕捉且仅捕捉到三个反光标记点的时后作为一个有效样本。通过采集一定数量的有效的样本来推导计算出各个摄像头的相对空间位置。当各摄像头的相对空间位置确定后，再选取一个点作为坐标原点，确定各坐标轴的正方向，那么捕捉空间的坐标系就建立完成了。使用Arena软件，可以快捷方便地完成以上这些操作，并且在建立好捕捉空间坐标系之后预览摄像头捕捉的范围和确定空间能够同时被多少摄像头同时覆盖，以便于接下来捕捉动作数据时活动范围和安排。

动作捕捉标记点的贴放

本文确定使用的动作数据文件格式是BVH格式，其中全身动作采用包含23个节点的是通用BVH全身模型，而手部动作则是采用本文扩展设计的20节点的五指模型。然后在实际动作数据采集中，这些BVH格式数据并不是直接获得的。这是因为，BVH格式中的节点数据描述的往往都是关节节点或部位的中心位置，如头部，肘关节等，这些节点都是在人体的内部。而光学动作捕捉系统所捕捉到的标记点都是作为辅助设备贴附在人体表面的。因此，实际的方法是先获取这些标记点的动作数据，再根据这些数据计算转化获得相应的BVH格式数据。在本文的实验环境里，全身动作捕捉采用的符合软件

Arena要求的36个标记点的贴放方式。而对于手部动作捕捉，则是统一贴放在手掌背面相应节点的位置。

T-pose的匹配

对于全身动作捕捉设备，还需要做一个T-pose的匹配，使捕捉系统学习动作表演者的身体结构比例，如身高，肩宽等等，以获得更加精确的动作数据。T-pose是动作捕捉和动作编辑中经常用到的方法。当动作模型摆成T-pose之后，各个关节点的绝对和相对位置关系清晰明朗，这些表面的标记点在T-pose的状态之下能够更方便和精准地衡量算出实体关节部位位置和它们之间的关系。

当以上的前期准备完成之后便可以正式开始捕捉动作数据了。然而动作捕捉的捕捉空间是有限的，而且如果动作的活动范围能够被更多的摄像头覆盖到，那么动作捕捉的数据健壮性越好，精度也越高。因此，所获得的二十四式太极拳动作的整体空间特性，本文将全身动作捕捉进行了分组。通过分组，尽可能地使动作都在高效的捕捉空间内范围，更是避免了因为动作空间位移过大而超出捕捉空间的问题。

除了考虑动作的空间分布，还需要考虑动作招式在时间上的分布。确立一个统一的时间标准将有利于动作的校准，而对于全身动作和手部动作的同步也是至关重要的。本文采取的办法是在动作捕捉时播放太极拳大师的动作演练视频，事先已经学习好的表演者跟随大师的动作和背景音乐进行全身动作的捕捉。而手部动作的捕捉则是在完成全身动作捕捉之后，表演者在观看自身全身动作记录的情况下，再进行动作捕捉，以便于后期两部分动作的合成。

全身动作的动作数据采集

表演者在穿着了用于动作捕捉的紧身服装和粘贴好反光标记点之后在捕捉空间中间按照分组计划进行二十四式太极拳的动作数据采集。在arena中将捕获到的原始二维点集数据结合人体骨骼模型转换为三维点集数据最后将三维点集数据按照二十四式太极拳的动作划分来进行剪辑，导出转换为标准BVH格式数据。

在整个全身动作数据采集的过程中，对每一组动作的需要重复录制多次。每次都将录制的数据和太极拳大师演练视频进行对照，以便于下次录制时的改进，以期最后获得更加标准的动作数据。

手部动作的动作数据采集

相对全身动作，手部动作的动作数据采集需要在时间校准上做更多的工作。

本文已经将二十四式太极拳中的手型变换统计了出来。现在，则需要更进一步地在已有全身动作数据的基础上，对手型变换相应的时间和帧数做出标记。在进行手部动作数据采集时，表演者一边观看对应的全身动作数据动画，一边按照标记好时间和帧数的手型变换标记，以这两种方式辅助同步，进行表演。与全身动作数据采集不同的是，手部动作采集获得的数据是C3D格式的点集数据，数据只包含各标记点的三维位置信息，并不包含各标记点之间的拓扑结构关系。对于手部的扩展定义，需要在同步合成阶段使用motionbuilder软件进行编辑。

动作数据的后期同步合成

在动作数据的采集阶段，本文已通过参照教学演练视频，手型变换标记等方法来尽可能地促使全身动作和手部动作的一致性。而在动作数据的后期处理阶段，对两种来源的动作数据进行直接地编辑，将进一步完善同步的问题。为了对采集获得的动作数据，本文使用了Autodesk公司的MotionBuilder软件。MotionBuilder是动画产业界非常出色的3D角色动画软件之，能够对大部分格式的动作数据进行编辑处理。除此之外，它还集成了许多优秀的工具，便捷简化了编辑动作的操作和提高了制动动作动画的水平。本文所使用的软件版本是MotionBuilder2013，将全身动作数据和手部动作数据导入到MotionBuilder中。

使用Arena软件捕获的全身动作数据已被转换成了符合通用BVH全身模型的BVH文件，因此导入后直接就包含了拓扑结构信息。而手部的扩展定义是本文根据二十四史太极拳的手型特征自行定义的，采集获取的是各标记点的三维空间位置信息。因此需要在motionbuilder根据手部扩展定义设计手部骨骼。在motionbuilder中创建好包括手部骨骼在内的人物骨骼之后便可以开始将动作数据与骨骼进行绑定。绑定完成之后，便可以在motionbuilder中预览人物动作的动画效果。

动作的后期合成与加工

动作捕捉技术的原本目的是为了获得与现实相近，逼真自然的动作数据。然而在动作捕捉技术的实施过程中，一些设备和技术上的原因会动作数据出现各种瑕疵。因此，对于获取到的原始动作数据进行后期加工优化是十分必要的。在本文的研究中，主要有以下几个方面的原因导致了原始动作数据存在缺陷：

1)出于动作捕捉空间大小的限制，本文对二十四式太极拳的动作进行了分组采集，但是整套拳法却是一个完整连续的套路。在数据采集的过程中，表演者在分组间隔的前后是无法保证动作一致的。

2)表演着身上的标记点是粘附在表演服的表面的，在动作捕捉的过程中某些位置的标记由于粘附位置的特殊关系会有些固定不稳，从而导致产出的动作数据抖动。这些不正常的抖动在原始动作数据的采集中是不大容易发现的，但是在动作动画预览阶段却可以很容易的发现。

3)最后的动作数据缺陷是由于动作表演者自身的原因。在动作数据的采过程中，由与捕捉环境，衣着限制和表演者本身太极拳练习水平等诸多原因，表演者自身的动作存在着缺陷。对于第一种缺陷，为了使得整个套路的动作能够连贯一致，可以在motionbuildre中打开相邻分组的动作数据文件，将动作连接起来，并在间隔处设立统一的人物动作姿态，并平滑地向前后渐变。对于第二种缺陷，可以在motionbuilder中使用Trajectories工具来观察哪些节点在空间中的运动曲线，找到毛刺异常的地方进行修补。对于第三种缺陷的修补则需要结合二十四史太极拳大师教学资料，反复仔细对照，再进行修改。

本文的研究扩展了23节点BVH全身模型，对手部进行了扩充定义。获取的原始数据是标记点的空间信息，后期加工处理后获得的是扩充定义后的BVH数据。考虑到数据集的通用性和实用性，本文根据不同的需求，按以下标准整理建立了数据集：通过采集数据和后期处理，二十四式太极拳的动作内容已经得到了比较完好的数字化处理。整理这些获得的数据并建立对应的数据集也是一项非常重要的工作。

本发明公开了一种二十四式太极拳三维互动展示方法,使用unity引擎建立一个平台，将在max制作模型，导入unity，设计ui，build，并对模型进行人物角度和动作的控制。

使用的unity引擎是4.1版本，适用于64位的操作系统，是一款跨平台的游戏引擎。对于平台的建立我们首先建立一个虚拟的小屏，然后使用的是unity引擎里面自带的建立地形工具建立一个地形平台，并对平台场景进行设计，模拟各种场景，进行各种灯光和相机角度的设置。太极拳展示平台的功能有对太极拳动作进行任意招式的学习，也可进行全部动作的学习，可以对里面某一式动作进行播放、暂停和重新播放，也可以对人物动作的多角度的观看，进而了解每个动作的具体信息。

打开unity引擎，建立一个项目，并在项目中创建场景，将场景作为我们到时候要输出显示的屏幕，根据显示屏分辨率的不同对显示屏幕输出的大小进行设置，可以在项目创建导出时对PlayerSettings的参数进行设置。在场景中创建地形，作为一个展示平台，将制作的模型，导出fbx格式，导入unity，设计相机代码，在不同角度都设一个相机，实现多角度的查看动作，通过GameObject.Find()方法，来获取相机的动态，利用参数Camera.active，对相机的开启或关闭进行控制。模型导入到unity后，直接将模型拖动到场景界面中，对模型进行控制，对于动作的多角度学习，我们使用的方法有Input.GetMouseButton()，Input.GetAxis()，transform.Rotate()，GUI.Button()，Quaternion.Euler()。利用Input.GetMouseButton()方法，获取鼠标的按键，然后根据鼠标的按键来控制人物是向上下，左右或其他的方向移动。利用transform.Rotate()方法，获取世界坐标轴的X、Y、Z轴，然后对人物进行任意角度的旋转。通过GUI.Button()和Quaternion.Euler()方法的结合来设置自定义的旋转角度。关于人物动作的控制使用的方法有GUI.HorizontalSlider()、animation.AddClip()、animation.Play()、animation.Stop()。利用GUI.HorizontalSlider()方法对动画的播放过程进行控制，通过对每段动画的时间帧的控制从而实现对动作的更准确学习。利用每个对象的animation.AddClip()方法，来添加动画，也就是实现对太极拳动作的分解，分解成二十四节，然后每小节的学习。在动画的播放过程则用animation.Play()、animation.Stop()这两个方法来进行动画的播放和停止。除了主要的一些功能方法，还有一些其他的方法来对场景进行渲染。例如Music1.Pause()、music1.Play()，通过这两个方法，给我们的场景添加背景音乐，并且可以利用music1.volume这个参数对背景音乐的音量进行控制。我们同时还可利用GUI.DrawTexture()方法，和GUI.skin参数，对场景进行美化。进行多功能界面的跳转可以用Application.LoadLevel()来实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (2)

1.一种二十四式太极拳三维互动展示方法，其特征在于，一、建立一个虚拟的小屏；二、换算出虚拟小屏的X/Y轴与实际屏幕的X/Y轴的比例；三、将手的世界坐标利用Camera.WorldToScreenPoint换算出屏幕坐标点，并保存好Z轴的值；四、算出手的屏幕坐标与虚拟小屏X/Y轴的比例，然后利用得到的虚拟屏幕与实际屏幕的比例，得到一个虚拟的扩大后的手的屏幕坐标；五、利用算出的X/Y轴的值，加上得到的Z轴的值，通过Camera.ScreenToWorldPoint方法得到在Unity中的世界坐标的Position值；六、将取得的Position值实时的赋给某个作为鼠标的物体的transform.position。

2.根据权利要求1所述的二十四式太极拳三维互动展示方法，其特征在于，不断计算鼠标物体与得到的虚拟实际坐标的距离；利用Mathf.Lerp来不断的改变鼠标的Position的值；利用全屏+防抖方法使Kinect能够控制鼠标物体满屏移动,利用OnTriggerEnter()和OnTriggerExit()方法。