CN104623910B - 舞蹈辅助特效伴侣系统及实现方法 - Google Patents

Abstract

一种舞蹈辅助特效伴侣系统及实现方法，系统包括用于采集表演者肢体运动状态并记录视频的体感摄像机；用于接收体感摄像机采集到的数据，进行动作关键帧的提取，动作序列的识别，以及预编辑特效生成特效模板的中央处理器；用于匹配中央处理器生成的特效模板，将表演者肢体动作相应特效背投到幕布上的投影装置。实现方法通过体感摄像机采集表演者肢体运动状态传送给中央处理器，中央处理器进行特效预编辑生成特效模板，表演者演出时体感摄像机采集肢体运动状态传送给中央处理器，经过动作关键帧的提取以及动作序列的识别，判定后续要显示的背景特效背投到幕布上。本发明用户能够依据需求定制和渲染表演效果，交互效果更加形象逼真。

Description

舞蹈辅助特效伴侣系统及实现方法

技术领域

本发明属于交互投影技术领域，具体涉及一种舞蹈辅助特效伴侣系统及实现方法。

背景技术

现今，绝大多数的舞台舞美均会大量使用背景特效和灯光辅助等，不论在国内还是在国外，在舞台表演时几乎都是以预先设计好的背景在现场随时间播放，或者在演出现场拍摄之后经过处理，再在播放时叠加“附属特效”。这些方式不仅使现场观众无法看到播放时的真实特效，而且电视观众看到的特效虽觉耳目一新但普遍认为表演与特效的脱节。目前舞台舞美主办方的处理方式是，不断增强视觉冲击，制造视觉震撼。然而事实显而易见，观众观感及反响平平，甚至日益厌倦此类纯粹“科技化”的杂乱与生硬的表现形式。

另外，单纯就舞蹈表演而言，现今舞美特效与舞者脱节，绚丽的光电掩盖了舞蹈本身。然而舞蹈艺术的表达是有呼吸和起伏的，主体仍然应该是活生生的舞者，一切科技理应只是“效果辅助”。

因此，需要制作一套舞蹈辅助特效伴侣系统，摒弃现有的让舞者为预设好的特效表演的模式。使传感器设备追踪到人，并且识别人的动态及伸展幅度，为人肢体动作的起伏变换匹配恰如其分的“延伸效果”，同时具备即时性和独特性，画面中人体与效果交相呼应，亦真亦幻，则是我们想实现的最佳效果，也能够表达出我们在艺术欣赏过程中“以人为本”的理念。

目前已有的舞蹈辅助系统，有的通过固定在表演者身上的多个传感器采集表演者运动状态数据，分析这种方式存在的问题主要有：1.传感器布置麻烦，成本高，且所能采集关节点的数目有限，不能全面地体现人体的运动状态；2.在动作状态识别时，对重复动作和错误动作不能很好地应对；3.采集到的姿态精度较低，一般只能捕获较大的动作。除此之外，已有的舞蹈辅助系统在投影方面，通常是进行整个场景的切换，过度非常生硬，互动效果不明显。

发明内容

本发明的目的在于针对上述现有技术中的缺陷，提供一种能够依据用户需求定制和渲染表演效果，并且根据引导及提示动作即时进行展现，从而增添舞美特效和气氛的舞蹈辅助特效伴侣系统及实现方法。

为了实现上述目的，本发明舞蹈辅助特效伴侣系统，包括用于采集表演者肢体运动状态并记录视频的体感摄像机；用于接收体感摄像机采集到的数据，进行动作关键帧的提取，动作序列的识别，以及预编辑特效生成特效模板的中央处理器；用于匹配中央处理器生成的特效模板，将表演者肢体动作相应特效背投到幕布上的投影装置；所述的体感摄像机位于投影装置正前方，表演者位于体感摄像机与投影装置之间。

所述的体感摄像机采用微软公司生产的Kinect体感摄影机。

所述的中央处理器包括：

能够利用体感摄像机采集到的肢体运动状态数据，根据背景音乐和关键动作，编辑或修改特定时间各个关节点相应特效的特效预编辑模块；

用于加载特效预编辑模块生成的特效模板，利用体感摄像机采集到的肢体运动状态数据提取动作关键帧后，根据动作关键帧与特效模板的匹配结果判断后续背景特效，并通过投影装置背投到幕布上的特效播放模块；

用于将体感摄像机采集到的肢体运动状态数据角度化，进行动作关键帧提取，并将动作关键帧与特效模板进行匹配的动作序列识别模块。

所述的动作关键帧为基础动作间的交接处。

所述的投影装置包括投影仪，投影幕布及幕布支架。

本发明舞蹈辅助特效伴侣实现方法，包括以下步骤：

第一步，判断中央处理器是否具有能够与体感摄像机采集到的肢体运动状态相匹配的特效模板，若是则加载已有的特效模板，若否则通过预编辑生成匹配的特效模板进行加载；

第二步，中央处理器加载已有的特效模板，并按照时间顺序控制投影装置将特效背投到幕布上；

第三步，表演者演出时位于体感摄像机与投影装置之间，通过体感摄像机采集表演者肢体运动状态；

第四步，中央处理器接收体感摄像机采集到的数据，进行动作关键帧的提取以及动作序列的识别；

第五步，中央处理器将动作关键帧与特效模板进行匹配，根据动作关键帧与特效模板的匹配结果判断后续背景特效，并控制投影装置将相应特效背投到幕布上；

第六步，中央处理器判断表演是否结束，若否则返回第三步继续采集表演者肢体运动状态，若是则结束所有工作。

所述的第一步预编辑生成匹配的特效模板包括以下步骤：

a.表演者位于体感摄像机与投影装置之间，通过体感摄像机预录制表演者动作视频；

b.中央处理器利用体感摄像机采集到的肢体运动状态数据，根据背景音乐和关键动作，编辑或修改特定时间各个关节点的相应特效；

c.预览中央处理器生成的特效，并以自定义形式保存所有特效，生成与肢体运动状态相匹配的特效模板。

所述的第四步中央处理器进行动作关键帧的提取以及动作序列的识别包括以下步骤：

a.将绝对的空间三维坐标转换为各个关节点的相对角坐标，即在表演者的每个关节点建立一个相对关节的坐标系，其中腰部以上取人体躯干矢量，而腰部以下取垂直于地面的绝对坐标矢量；

b.通过采集到的若干帧历史动作数据序列，计算关节的速度和加速度，从中找到速度与加速度大小和运动方向的突变点，识别为动作关键帧；

c.计算当前关键帧序列与特效模板关键帧序列的最长公共子序列，进行滑窗匹配，根据最长公共子序列的长度判断匹配与否。

所述的关键帧提取以从当前帧往前的7帧为依据，判定当前帧的上一帧是否为关键帧。

所述的体感摄像机为能够采集人体20个关节点的Kinect体感摄影机。

与现有技术相比，本发明舞蹈辅助特效伴侣系统具有如下的有益效果：

1)本发明舞蹈辅助特效伴侣系统具有完备的特效编辑和播放模块，用户能够通过中央处理器依据需求定制和渲染表演效果。

2)本发明舞蹈辅助特效伴侣系统投影装置采用背投模式，能够调整投影比例和大小，特效能够跟随在人体相应的关节点，使得交互效果更加形象、逼真。

3)本发明舞蹈辅助特效伴侣系统采用音乐时间标定和动作关键帧标定相结合的形式编辑特效，使得效果更加合理、过度通畅。

4)本发明采用动作序列识别，相比于动作识别更加具有针对性，对动作的要求更加严格，避免了简单动作、重复动作和错误动作带来的影响，对关键帧匹配时的噪点、错位等干扰和误差有很好的健壮性。

5)本发明在投影方面以特效为基本元素进行切换，特效能够跟随表演者关节进行运动，相比于已有的舞蹈辅助系统直接进行场景的切换，本发明能够与表演者进行互动，实时互动性更加强烈，使得场景的过度更加顺畅。

6)本发明对表演进行特效预编辑，在表演过程中，只对下一次将要显示的特效所对应的动作序列进行识别，使得识别效率有了很大提高，更具有实时性，同时避免了相同动作对应不同特效处理机制的矛盾问题。

与现有技术相比，本发明舞蹈辅助特效伴侣实现方法，用户能够依据需求定制和渲染表演效果，通过体感摄像机采集表演者肢体运动状态传送给中央处理器，中央处理器进行特效预编辑生成特效模板，演出时体感摄像机采集表演者肢体运动状态传送给中央处理器，经过动作关键帧的提取以及动作序列的识别，判定后续要显示的背景特效，并通过投影装置将相应特效背投到幕布上。本发明舞蹈辅助特效伴侣实现方法面向大众舞蹈表演互动，能够追随表演者的动作并投射特效，主要应用于KTV、舞台等环境，通过即时渲染特效，有效增添舞美渲染特效和互动气氛。

附图说明

图1本发明舞蹈辅助特效伴侣系统整体结构框图；

图2本发明舞蹈辅助特效伴侣系统位置关系示意图；

图3本发明舞蹈辅助特效伴侣实现方法工作流程图；

图4本发明动作序列识别方法的工作流程图；

附图中：10-体感摄像机；20-中央处理器；21-特效预编辑模块；22-特效播放模块；23-动作序列识别模块；30-投影装置；31-投影仪；32-投影幕布；33-幕布支架。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

参见图1，本发明舞蹈辅助特效伴侣系统，整体结构上包括体感摄像机10，中央处理器20以及投影装置30。其中，体感摄像机10采用微软公司生产的Kinect体感摄影机，在中央处理器20的控制下采集用户数据，投影装置30采用背投的方式进行投影。投影装置30包括投影仪31，投影幕布32及幕布支架33。中央处理器20包括特效预编辑模块21，特效播放模块22，动作序列识别模块23，分别进行特效模板的编辑、人体动作序列识别和特效匹配，并把特效经过投影装置30投射到投影幕布32上。

参见图2，本发明舞蹈辅助特效伴侣系统，在使用时，体感摄像机10位于投影装置30正前方，表演者位于体感摄像机10与投影装置30之间。

参见图3，本发明舞蹈辅助特效伴侣实现方法，包括以下步骤：

步骤1，判断是否具有满足要求的特效模板。

如果没有满足要求的特效模板，可以自己制作特效模板。步骤为：

1)预先录制一段人体动作。

2)根据音乐特性和动作特性，选择合适的时间点或者动作点，选择并加载编辑的特效。

3)预览本次编辑特效的效果，如果不满意，可直接修改。如果满意，将编辑的特效模板保存成自定义的形式。

4)制作特效模板完成。

如果具有满足要求的特效模板，则直接进入下一步骤。

步骤2，加载特效模板。

加载已有的特效模板，系统会根据已加载的特效模板进行有顺序的选择将要投出的特效。

步骤3，由Kinect体感摄影机进行动作数据的采集。

Kinect体感摄影机可以采集人体20个关节点的三维坐标数据，根据这些数据可以分析出人体的运动状态，从而进行下一动作序列的识别与匹配。

步骤4，动作序列识别。

通过计算关节点的速度和加速度等运动状态，挑选出运动状态变化较大的状态为关键帧，若干关键帧组成的序列以最长公共子序列的方式进行匹配，识别动作内容。

步骤5，特效匹配。

如果识别的动作与特效模板标定的动作匹配，就选择此时所编辑的特效为将要显示的背景特效。

步骤6，投影显示。

把上一步匹配的背景特效通过背投方式投射到幕布上，与人体运动相呼应。

如果表演未结束，进入步骤3循环。

如果表演结束，则系统停止，工作流程结束。

参照图4，本发明利用该系统进行动作序列识别的方法，包括以下步骤：

步骤1，关节点数据角度转化。

在每一个关节点建立一个相对关节的坐标系，由于人体上肢与下肢相对运动关节的坐标系变化有所不同，相对固定的矢量取值也有所区别，其中腰部以上取人体躯干矢量，而腰部以下，相对固定的矢量取为垂直于地面的绝对坐标矢量(0，0，1)，这样就使得角度换算相对稳定、统一，为以后进行模式匹配奠定了好的基础。

步骤2，提取动作关键帧。

关键帧的识别是通过若干帧的历史动作数据序列，计算关节的速度和加速度，从中找到其速度、加速度大小和运动方向的突变点，以此来找到关键帧。为了保证关键帧提取的实时性，关键帧的提取以从当前往前的7帧为依据，判定当前帧的上一帧是否为关键帧。关键帧的判断依据为是否是速度曲线的拐点，或运动方向变化量曲线的拐点。

步骤3，关键帧的匹配。

最长公共子序列，用于匹配的两个序列，其中间有多个未匹配上的帧，或帧有错位，都不会影响整体的匹配。因此求解最长公共子序列的算法对关键帧匹配中的噪点、错位等干扰和误差有很好的健壮性。同时，该类算法对于接近的、没有匹配的情况也有有效的值，因此最长公共子序列长度曲线是一个有单峰值的规则曲线，无须进行整个序列的匹配，即可判断是否到达峰值点，这使得该算法可以实时判断匹配情况。

本发明系统能够追随用户动作并投射特效、面向大众舞蹈表演互动，主要应用于KTV、舞台等环境，增添舞美渲染特效和气氛。该系统具备重现影视动画中的场景、依据用户需求定制和渲染表演效果、根据引导及提示动作即时渲染特效及娱乐互动、进行简单舞蹈动作的模仿和打分等功能。

Claims (9)

1.一种舞蹈辅助特效伴侣系统，其特征在于：包括用于采集表演者肢体运动状态并记录视频的体感摄像机(10)；用于接收体感摄像机(10)采集到的数据，进行动作关键帧的提取，动作序列的识别，以及预编辑特效生成特效模板的中央处理器(20)；用于匹配中央处理器(20)生成的特效模板，将表演者肢体动作相应特效背投到幕布上的投影装置(30)；所述的体感摄像机(10)位于投影装置(30)正前方，表演者位于体感摄像机(10)与投影装置(30)之间；

所述的中央处理器(20)包括：

能够利用体感摄像机(10)采集到的肢体运动状态数据，根据背景音乐和关键动作，编辑或修改特定时间各个关节点相应特效的特效预编辑模块(21)；

用于加载特效预编辑模块生成的特效模板，利用体感摄像机(10)采集到的肢体运动状态数据提取动作关键帧后，根据动作关键帧与特效模板的匹配结果判断后续背景特效，并通过投影装置(30)背投到幕布上的特效播放模块(22)；

用于将体感摄像机(10)采集到的肢体运动状态数据角度化，进行动作关键帧提取，并将动作关键帧与特效模板进行匹配的动作序列识别模块(23)。

2.根据权利要求1所述的舞蹈辅助特效伴侣系统，其特征在于：所述的体感摄像机(10)采用微软公司生产的Kinect体感摄影机。

3.根据权利要求1所述的舞蹈辅助特效伴侣系统，其特征在于：所述的动作关键帧为基础动作间的交接处。

4.根据权利要求1所述的舞蹈辅助特效伴侣系统，其特征在于：所述的投影装置(30)包括投影仪(31)，投影幕布(32)及幕布支架(33)。

5.一种舞蹈辅助特效伴侣实现方法，其特征在于，包括以下步骤：

第一步，判断中央处理器(20)是否具有能够与体感摄像机(10)采集到的肢体运动状态相匹配的特效模板，若是则加载已有的特效模板，若否则通过预编辑生成匹配的特效模板进行加载；

第二步，中央处理器(20)加载已有的特效模板，并按照时间顺序控制投影装置(30)将特效背投到幕布上；

第三步，表演者演出时位于体感摄像机(10)与投影装置(30)之间，通过体感摄像机(10)采集表演者肢体运动状态；

第四步，中央处理器(20)接收体感摄像机(10)采集到的数据，进行动作关键帧的提取以及动作序列的识别；

第五步，中央处理器(20)将动作关键帧与特效模板进行匹配，根据动作关键帧与特效模板的匹配结果判断后续背景特效，并控制投影装置(30)将相应特效背投到幕布上；

第六步，中央处理器(20)判断表演是否结束，若否则返回第三步继续采集表演者肢体运动状态，若是则结束所有工作。

6.根据权利要求5所述的舞蹈辅助特效伴侣实现方法，其特征在于，所述的第一步预编辑生成匹配的特效模板包括以下步骤：

a.表演者位于体感摄像机(10)与投影装置(30)之间，通过体感摄像机(10)预录制表演者动作视频；

b.中央处理器(20)利用体感摄像机(10)采集到的肢体运动状态数据，根据背景音乐和关键动作，编辑或修改特定时间各个关节点的相应特效；

c.预览中央处理器(20)生成的特效，并以自定义形式保存所有特效，生成与肢体运动状态相匹配的特效模板。

7.根据权利要求5所述的舞蹈辅助特效伴侣实现方法，其特征在于，所述的第四步中央处理器(20)进行动作关键帧的提取以及动作序列的识别包括以下步骤：

a.将绝对的空间三维坐标转换为各个关节点的相对角坐标，即在表演者的每个关节点建立一个相对关节的坐标系，其中腰部以上取人体躯干矢量，而腰部以下取垂直于地面的绝对坐标矢量；

b.通过采集到的若干帧历史动作数据序列，计算关节的速度和加速度，从中找到速度与加速度大小和运动方向的突变点，识别为动作关键帧；

c.计算当前关键帧序列与特效模板关键帧序列的最长公共子序列，进行滑窗匹配，根据最长公共子序列的长度判断匹配与否。

8.根据权利要求7所述的舞蹈辅助特效伴侣实现方法，其特征在于：所述的关键帧提取以从当前帧往前的7帧为依据，判定当前帧的上一帧是否为关键帧。

9.根据权利要求6或7所述的舞蹈辅助特效伴侣实现方法，其特征在于：所述的体感摄像机(10)为能够采集人体20个关节点的Kinect体感摄影机。