CN103578135B - 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法 - Google Patents

Abstract

本发明公开了一种虚拟影像与真实场景相结合的舞台交互集成系统及实现方法，该系统包括现场行为采集单元、行为学习单元、表演意图分析单元和布景单元，现场行为采集单元采集用于生成表演者的表演行为的训练数据或现场数据，行为学习单元，利用支持向量机分类器学习训练数据，得到表演者的预设行为；利用现场数据得到表演者的现场行为，表演意图分析单元上根据表演者的当前现场行为与相应预设行为的对应关系，获得表演者的表演意图；布景单元上保存有与表演者的表演意图相对应的多个场景画面，所述布景单元根据所述表演意图，选择相应的场景画面投影到舞台上。本发明，可以实现表演者与舞台场景的互动，达到了虚拟影像与真实场景相结合的舞台效果。

Description

虚拟影像与真实场景相结合的舞台交互集成系统及实现方法

技术领域

本发明涉及舞台展示系统，具体涉及虚拟影像与真实场景相结合的舞台交互集成系统及实现方法。

背景技术

众所周知，艺术演出的舞台展示对演出效果的作用越来越突出。但是，现有的舞台展示系统通常采用的是人工或定时变换场景画面的方式，实现虚拟影像与真实场景的结合。这种方式，无法实现表演者与舞台场景的互动，已经不能满足人们更高层次的需求，虚拟影像与真实场景相结合的舞台效果越来越受到人们的关注。

发明内容

本发明所要解决的技术问题是在舞台展示系统无法实现表演者与舞台场景的互动的问题。

为了解决上述技术问题，本发明所采用的技术方案是提供一种虚拟影像与真实场景相结合的舞台交互集成系统，包括：

行为采集单元，采集用于生成表演者的表演行为的训练数据或现场数据；

行为学习单元，利用支持向量机分类器学习所述训练数据，得到表演者的预设行为；利用所述现场数据得到表演者的现场行为；

表演意图分析单元，根据表演者的当前现场行为与相应预设行为的对应关系，获得表演者的表演意图；

布景单元，其上保存有与表演者的表演意图相对应的多个场景，所述布景单元根据所述表演意图，选择相应的场景加载到舞台上；所述场景包括相应的声音、灯光、静态画面和动态画面。

在上述系统中，所述行为采集单元包括：

多个轻型惯导传感输入设备，分别固定在表演者的头部、躯干部以及上肢和下肢上，每个所述轻型惯导传感输入设备实时采集表演者各关节的运动学姿态训练数据或姿态现场数据；

3D重构单元，根据所述姿态训练数据重构表演者的三维预设模型，根据所述姿态现场数据重构表演者的三维现场模型；

所述预设行为为预设姿态，所述现场行为为现场姿态，所述行为学习单元利用所述三维预设模型创建表演者的姿态训练集，并利用所述姿态训练集获得表演者的预设姿态；利用所述姿态现场数据获得表演者的现场姿态。

在上述系统中，所述行为采集单元包括：

3D体感摄影机，采集表演者的表情和语音训练数据或表情和语音现场数据；

所述预设行为为预设表情，所述现场行为为现场表情，所述行为学习单元利用所述表情和语音训练数据创建表演者的表情训练集和语音训练集，并利用所述表情训练集获得表演者的预设表情和预设语音；利用所述表情和语音现场数据获得表演者的现场表情和现场语音。

在上述系统中，所述行为采集单元包括：

动作捕捉单元，采集表演者的动作训练数据或动作现场数据，所述动作训练数据或动作现场数据包括表演者运动过程中身体移动的位置数据、方向数据和速度数据；

所述预设行为为预设动作，所述现场行为为现场动作，所述行为学习单元利用所述动作训练数据创建表演者的动作训练集，并利用所述动作训练集获得表演者的预设动作；利用所述动作现场数据获得表演者的现场动作。

在上述系统中，所述行为采集单元上还设有校正模块，利用某个已知的轻型惯导传感输入设备与相应身体躯段间的空间关系以及人体生物机械模型对其他轻型惯导传感输入设备进行校正。

在上述系统中，所述行为采集单元上还设有表情处理单元，所述表情处理单元包括：

标定模块，分别采集每一个参考平面的散斑图案数据，所述参考平面为沿所述3D体感摄影机的镜头方向由近及远依次间隔设置在舞台上的虚拟垂直平面；

存储模块，存储每一个所述参考平面的所述散斑图案数据；

插值计算模块，根据所述表情训练数据与每一个所述散斑图案数据的互相关运算结果，得到表演者的训练表情；根据所述表情现场数据得到所述现场表情。

在上述系统中，所述行为采集单元上还设有图像计算处理单元，所述图像计算处理单元包括：

标定模块，通过对所述动作捕捉识别单元的标定得出其与投影影像之间的相对位置数据，

图像处理模块，根据对所述表演者运动过程的连续图像数据进行计算分析，得出在所述动作捕捉识别单元中表演者运动过程中身体移动的位置数据、方向数据和速度数据，

坐标转换模块，将动作捕捉识别单元图像坐标系中的所述位置数据、方向数据和速度数据转换为在投影单元图像坐标系中的投影位置数据、投影方向数据和投影速度数据。

在上述系统中，所述布景单元包括若干个投影仪和亮带消除模块，所述投影仪根据所述影像调用输出信号调用相应的虚拟环境影像及虚拟环境中物体的运动影像进行投影，所述亮带消除模块消除若干个投影仪之间因为投影范围融合而产生的亮带。

本发明还提供了一种虚拟影像与真实场景相结合的舞台交互实现方法，包括以下步骤：

利用支持向量机分类器学习表演者的各种行为的训练数据得到表演者的预设行为；

实时采集表演者的现场行为数据，并获得表演者的现场行为；

根据表演者的所述现场行为与所述预设行为的对应关系，获得表演者的表演意图；

根据所述表演意图，选择相应的场景画面投影到舞台上，所述场景包括相应的声音、灯光、静态画面和动态画面。

本发明，根据表演者的当前现场行为与所述预设行为的对应关系，获得表演者的表演意图，再根据表演意图，选择相应的场景画面投影到舞台上，所述场景包括相应的声音、灯光、静态画面和动态画面，从而实现了虚拟影像与真实场景相结合的舞台效果。

附图说明

图1为本发明的结构示意图；

图2为本发明中行为采集单元的结构示意图。

具体实施方式

本发明提供了一种虚拟影像与真实场景相结合的舞台交互集成系统及实现方法，实现了根据表演者的姿态、表情等现场行为，调动相应的声、光、电及场景，实现表演者与舞台场景的实时交互。下面结合说明书附图和具体实施方式对本发明做出详细的说明。

如图1所示，本发明提供的拟影像与真实场景相结合的舞台交互集成系统包括行为采集单元10、行为学习单元20、表演意图分析单元30和布景单元40。

其中，行为采集单元10用于采集用于生成表演者的表演行为的训练数据或现场数据；

行为学习单元20利用支持向量机分类器学习所述训练数据，得到表演者的预设行为；利用所述现场数据得到表演者的现场行为；

表演意图分析单元30根据表演者的当前现场行为与相应预设行为的对应关系，获得表演者的表演意图；

布景单元40上保存有与表演者的表演意图相对应的多个场景，所述布景单元根据所述表演意图，选择相应的场景加载到舞台上；所述场景包括相应的声音、灯光、静态画面和动态画面。

本发明中的行为采集单元可以采集表演者的姿态、表情以及动作。下面分别加以介绍。

如图2所示，行为采集单元包括多个轻型惯导传感输入设备101和3D重构单元102。

每个轻型惯导传感输入设备均集成有一个3维加速度传感器、一个3维陀螺仪和一个3维磁力传感器。多个惯导传感输入设备101分别固定在表演者的上肢、下肢、躯干和头部，本实施例中，惯轻型惯导传感输入设备的数量为12－16个，其中，1个轻型惯导传感输入设备固定在表演者的头部，1－5个轻型惯导传感输入设备分散地固定在表演者的躯干部，4个轻型惯导传感输入设备分别固定在表演者的两个上肢的上臂上和下臂上，6个轻型惯导传感输入设备分别固定在表演者的两个下肢的大腿、小腿和脚上。每个轻型惯导传感输入设备101实时采集表演者的各关节运动学姿态训练数据或姿态现场数据。

3D重构单元102根据表演者的姿态训练数据重构表演者的三维预设模型，根据表演者的姿态现场数据重构表演者的三维现场模型。

行为学习单元利用三维预设模型创建表演者的姿态训练集，并利用姿态训练集获得表演者的预设姿态；利用姿态现场数据获得表演者的现场姿态。

由于轻型惯导传感输入设备附加到表演者身上时，与人体躯段间的初始位置未知，很难通过加速度数值积分的方法来估计人体躯段间的距离。因此，应当采取适当的校正来确定传感器与躯段间的空间关系和身体的维度信息。为此，本发明中还设有校正单元，利用某个已知的轻型惯导传感输入设备与相应身体躯段间的空间关系以及人体生物机械模型对其他轻型惯导传感输入设备进行校正。其中，已知的轻型惯导传感输入设备可以选择设置在头部的轻型惯导传感输入设备。具体作法是：将轻型惯导传感输入设备中各传感器信号和人体三维模型描述为随机事件，构建含有预测和校正步骤的传感器融合过程对其进行聚合。在预测过程中，各个传感器的信号都通过惯性导向系统（INS）算法进行处理，其后利用某个已知的传感器与相应身体躯段间的空间关系以及人体生物机械模型来预测躯段的机械运动。在较长时间执行上述处理过程后，由于存在传感器噪声、信号偏移和姿态错误等因素，对惯性传感器数据进行积分会导致漂移误差。为纠正诸如方向、速度、位移一类的估计量，传感器融合过程会不断更新这些估计量。校正过程会包含上述数据更新，这些更新基于人体生物运动学特征、主要关节、包含外界位置和速度限制因素的躯段连接点检测，运动估计的结果反馈到下一帧的INS算法和躯段运动过程中。

如图2所示，行为采集单元10还包括3D体感摄影机111和表情处理单元112，3D体感摄影机111采集表演者的表情语音训练数据或表情语音现场数据。表情处理单元112包括标定模块、存储模块和插值计算模块。标定模块分别采集每一个参考平面的散斑图案数据，参考平面为沿3D体感摄影机的镜头方向由近及远依次间隔设置在舞台上的虚拟垂直平面；存储模块存储每一个参考平面的散斑图案数据；插值计算模块根据表演者的表情训练数据与每一个散斑图案数据的互相关运算结果，得到表演者的训练表情。插值计算模块根据表演者的表情现场数据得到表演者的现场表情。

行为学习单元利用表演者的表情和语音训练数据创建表演者的表情训练集和语音训练集，并利用表情训练集获得表演者的预设表情，利用语音训练集获得表演者的预设语音；行为学习单元利用表演者的表情和语音现场数据获得表演者的现场表情和现场语音。

如图2所示，行为采集单元还包括动作捕捉单元121和图像计算处理单元122，动作捕捉单元121采集表演者的动作训练数据或动作现场数据，表演者的动作训练数据或动作现场数据包括表演者运动过程中身体移动的位置数据、方向数据和速度数据。

图像计算处理单元122包括标定模块、图像处理模块和坐标转换模块，标定模块通过对动作捕捉识别单元的标定得出其与投影影像之间的相对位置数据，图像处理模块根据对表演者运动过程的连续图像数据进行计算分析，得出表演者运动过程中身体移动的位置数据、方向数据和速度数据，坐标转换模块将动作捕捉识别单元图像坐标系中的位置数据、方向数据和速度数据转换为在布景单元图像坐标系中的投影位置数据、投影方向数据和投影速度数据。

行为学习单元利用表演者的动作训练数据创建表演者的动作训练集，并利用动作训练集获得表演者的预设动作；行为学习单元利用表演者的动作现场数据获得表演者的现场动作。

布景单元还包括若干个投影仪和亮带消除模块，布景单元上保存有与表演者的表演意图相对应的虚拟环境影像及虚拟环境中物体的运动影像，布景单元根据表演者的表演意图调用相应的虚拟环境影像及虚拟环境中物体的运动影像，并根据图像计算处理单元得到的坐标转换结果，通过相应的投影仪投影到舞台上的相应位置，亮带消除模块消除多个投影仪之间因为投影范围融合而产生的亮带。

本发明还提供了一种虚拟影像与真实场景相结合的舞台交互实现方法，包括以下步骤：

利用支持向量机分类器学习表演者的各种行为的训练数据得到表演者的预设行为；

实时采集表演者的现场行为数据，并获得表演者的现场行为；

根据表演者的当前现场行为与所述预设行为的对应关系，获得表演者的表演意图；

根据所述表演意图，选择相应的场景画面投影到舞台上，所述场景包括相应的声音、灯光、静态画面和动态画面。

本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

Claims (8)

1.虚拟影像与真实场景相结合的舞台交互集成系统，其特征在于，包括：

行为采集单元，采集用于生成表演者的表演行为的训练数据或现场数据；

行为学习单元，利用支持向量机分类器学习所述训练数据，得到表演者的预设行为，利用某个已知的轻型惯导传感输入设备与相应身体躯段间的空间关系以及人体生物机械模型对其他轻型惯导传感输入设备进行校正，具体将轻型惯导传感输入设备中各传感器信号和人体三维模型描述为随机事件，构建含有预测和校正步骤的传感器融合过程对其进行聚合，在预测过程中，各传感器信号都通过惯性导向系统算法进行处理，其后利用某个已知的传感器与相应身体躯段间的空间关系以及人体生物机械模型来预测躯段的机械运动，为纠正方向、速度和位移的估计量，传感器融合过程会不断更新这些估计量，校正过程会包含上述数据更新，这些更新基于人体生物运动学特征、关节、包含外界位置和速度限制因素的躯段连接点检测，运动估计的结果反馈到下一帧的惯性导向系统算法和躯段运动过程中；利用所述现场数据得到表演者的现场行为；

表演意图分析单元，根据表演者的当前现场行为与相应预设行为的对应关系，获得表演者的表演意图；

布景单元，其上保存有与表演者的表演意图相对应的多个场景，所述布景单元根据所述表演意图，选择相应的场景加载到舞台上；所述场景包括相应的声音、灯光、静态画面和动态画面；所述布景单元还包括若干个投影仪和亮带消除模块，所述布景单元上保存有与表演者的表演意图相对应的虚拟环境影像及虚拟环境中物体的运动影像，所述布景单元根据表演者的表演意图调用相应的虚拟环境影像及虚拟环境中物体的运动影像，并根据坐标转换结果，通过相应的投影仪投影到舞台上的相应位置，亮带消除模块消除多个投影仪之间因为投影范围融合而产生的亮带。

2.如权利要求1所述的系统，其特征在于，所述行为采集单元包括：

多个轻型惯导传感输入设备，分别固定在表演者的头部、躯干部以及上肢和下肢上，每个所述轻型惯导传感输入设备实时采集表演者各关节的运动学姿态训练数据或姿态现场数据；

3D重构单元，根据所述姿态训练数据重构表演者的三维预设模型，根据所述姿态现场数据重构表演者的三维现场模型；

所述预设行为为预设姿态，所述现场行为为现场姿态，所述行为学习单元利用所述三维预设模型创建表演者的姿态训练集，并利用所述姿态训练集获得表演者的预设姿态；利用所述姿态现场数据获得表演者的现场姿态。

3.如权利要求1所述的系统，其特征在于，所述行为采集单元包括：

3D体感摄影机，采集表演者的表情和语音训练数据或表情和语音现场数据；

所述预设行为为预设表情和预设语音，所述现场行为为现场表情和现场语音，所述行为学习单元利用所述表情和语音训练数据创建表演者的表情和语音训练集，并利用所述表情和语音训练集获得表演者的预设表情和预设语音；利用所述表情和语音现场数据获得表演者的现场表情和现场语音。

4.如权利要求1所述的系统，其特征在于，所述行为采集单元包括：

动作捕捉单元，采集表演者的动作训练数据或动作现场数据，所述动作训练数据或动作现场数据包括表演者运动过程中身体移动的位置数据、方向数据和速度数据；

所述预设行为为预设动作，所述现场行为为现场动作，所述行为学习单元利用所述动作训练数据创建表演者的动作训练集，并利用所述动作训练集获得表演者的预设动作；利用所述动作现场数据获得表演者的现场动作。

5.如权利要求2所述的系统，其特征在于，所述行为采集单元上还设有校正模块，利用某个已知的轻型惯导传感输入设备与相应身体躯段间的空间关系以及人体生物机械模型对其他轻型惯导传感输入设备进行校正。

6.如权利要求3所述的系统，其特征在于，所述行为采集单元上还设有表情处理单元，所述表情处理单元包括：

标定模块，分别采集每一个参考平面的散斑图案数据，所述参考平面为沿所述3D体感摄影机的镜头方向由近及远依次间隔设置在舞台上的虚拟垂直平面；

存储模块，存储每一个所述参考平面的所述散斑图案数据；

插值计算模块，根据所述表情训练数据与每一个所述散斑图案数据的互相关运算结果，得到表演者的训练表情；根据所述表情现场数据得到所述现场表情。

7.如权利要求4所述的系统，其特征在于，所述行为采集单元上还设有图像计算处理单元，所述图像计算处理单元包括：

标定模块，通过对所述动作捕捉识别单元的标定得出其与投影影像之间的相对位置数据，

图像处理模块，根据对所述表演者运动过程的连续图像数据进行计算分析，得出在所述动作捕捉识别单元中表演者运动过程中身体移动的位置数据、方向数据和速度数据，

坐标转换模块，将动作捕捉识别单元图像坐标系中的所述位置数据、方向数据和速度数据转换为在投影单元图像坐标系中的投影位置数据、投影方向数据和投影速度数据。

8.虚拟影像与真实场景相结合的舞台交互实现方法，其特征在于，包括以下步骤：

利用支持向量机分类器学习表演者的各种行为的训练数据得到表演者的预设行为，利用某个已知的轻型惯导传感输入设备与相应身体躯段间的空间关系以及人体生物机械模型对其他轻型惯导传感输入设备进行校正，具体做法是：将轻型惯导传感输入设备中各传感器信号和人体三维模型描述为随机事件，构建含有预测和校正步骤的传感器融合过程对其进行聚合，在预测过程中，各传感器信号都通过惯性导向系统算法进行处理，其后利用某个已知的传感器与相应身体躯段间的空间关系以及人体生物机械模型来预测躯段的机械运动，为纠正方向、速度和位移的估计量，传感器融合过程会不断更新这些估计量，校正过程会包含上述数据更新，这些更新基于人体生物运动学特征、关节、包含外界位置和速度限制因素的躯段连接点检测，运动估计的结果反馈到下一帧的惯性导向系统算法和躯段运动过程中；

实时采集表演者的现场行为数据，并获得表演者的现场行为；

根据表演者的所述现场行为与所述预设行为的对应关系，获得表演者的表演意图；

根据所述表演意图，选择相应的场景画面投影到舞台上，所述场景包括相应的声音、灯光、静态画面和动态画面。