CN104883557A - 实时全息投影方法、装置及系统 - Google Patents

Abstract

本发明提供了一种实时互动动画的全息投影方法、装置及系统，其中，该方法包括：实时捕捉采集对象的第一运动数据，其中，第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；实时接收并处理第一运动数据生成第一运动驱动数据，并根据第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，其中，第一动画影像数据的视角数量在1至N之间，N是自然数；将第一动画影像数据投影到全息设备上。通过本发明，解决了相关技术中无法实时地生成全息投影所需要的影像数据、从而影响到全息投影技术全面应用的问题，进而达到了实时生成全息投影所需要的影像数据、拓展了全息投影技术的应用的效果。

Description

实时全息投影方法、装置及系统

技术领域

本发明涉及全息显示领域，具体而言，涉及一种实时全息投影方法、装置及系统。

背景技术

全息投影技术(front-projected holographic display)也称虚拟成像技术，是利用干涉和衍射原理记录并再现物体真实的三维图像的技术。

相关技术中，全息投影系统通常包括：全息投影膜、外框支架、显示器，其中，全息投影膜以特定角度组合为金字塔状；外框支架设置在全息投影膜的外侧，用于支撑显示器；显示器用于将特定的多视角的视频文件投影到全息投影膜上，在全息投影膜中形成立体影像。该全息投影技术提供了360度的立体视觉，可以用于展示商品、提供舞台效果等。

但是，相关技术提供的全息投影技术需要预先制作特定的多视角的视频文件。通常需要专业人员应用专业软件，渲染编辑生成多视角的虚拟角色画面，比如：多方位拍摄、视频剪辑、后期处理、视频合成等。这样，制作生成1秒钟的动画视频，需要至少一周的时间。

因此，在相关技术中，无法实时地生成全息投影所需要的影像数据，从而影响到全息投影技术的全面应用。

发明内容

本发明提供了一种全息投影方法、装置及系统，解决了相关技术中无法实时地生成全息投影所需要的影像数据、从而影响全息投影技术全面应用的问题。

根据本发明的一方面，提供了一种实时互动动画的全息投影方法，该方法包括实时捕捉采集对象的第一运动数据，其中，所述第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；实时接收并处理所述第一运动数据生成第一运动驱动数据，并根据所述第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，其中，所述第一动画影像数据的大于第一视角阈值；将所述第一动画影像数据投影到全息设备上。

优选地，实时捕捉所述采集对象的所述第一运动数据包括以下至少之一：分析输入的包含所述采集对象面部的图像，定位所述采集对象的面部特征位置，根据所述面部特征位置确定所述表情数据，其中，所述面部特征位置包括以下至少之一：面部整体轮廓的位置，眼睛的位置，瞳孔的位置，鼻子的位置，嘴的位置，眉毛的位置；采集与所述采集对象对应的传感装置输出的传感数据，根据所述传感数据解算出所述采集对象的所述动作数据，其中，所述动作数据包括所述采集对象的当前动作的世界坐标的位置和旋转角度；在所述采集对象是外部设备的情况下，采集所述外部设备输出的脉冲数据，并将所述脉冲数据转换成所述控制指令，其中，所述外部设备包括以下至少之一：摇杆，游戏杆。

优选地，在处理所述运动数据生成所述第一运动驱动数据之前，所述方法还包括以下至少之一：对所述第一运动数据进行时间同步处理，以使同步处理后的所述第一运动数据与采集的音频数据同步；对所述第一运动数据进行均匀帧率的处理。

优选地，根据所述第一运动驱动数据驱动并渲染所述虚拟对象实时生成所述第一动画影像数据包括：采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据所述第一运动驱动数据驱动并渲染对应于所述多个摄像机视口的不同视角的所述虚拟对象，将渲染出的不同视角的所述虚拟对象合成多视口的所述第一动画影像数据；或，采用在不同的方位上复制多个所述虚拟对象的渲染方式，复制所述虚拟对象得到多个所述虚拟对象，将所述多个虚拟对象以不同的朝向部署在不同的方位上，根据所述第一运动驱动数据分别驱动并渲染所述多个虚拟对象，生成单视口的所述第一动画影像数据；或，采用渲染多个单视口单角色的渲染方式，根据所述第一运动驱动数据分别驱动并渲染出不同视角的多个所述虚拟对象，生成多个单视口单角色的所述第一动画影像数据。

优选地，将所述第一动画影像数据投影到所述全息设备上之后，所述方法还包括：采集互动信息，并将所述互动信息发送到捕捉所述第一运动数据的捕捉现场，其中，所述互动信息包括位于所述全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；实时捕捉所述采集对象根据所述互动信息生成的第二运动数据；根据所述第二运动数据生成第二运动驱动数据，并根据所述第二运动驱动数据驱动并渲染所述虚拟对象实时生成第二动画影像数据；将所述第二动画影像数据投影到所述全息设备上。

根据本发明的另一方面，提供了一种实时互动动画的全息投影方法，包括：接收实时捕捉的采集对象的第一运动数据，实时处理所述第一运动数据生成第一运动驱动数据，其中，所述第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；根据所述第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，其中，所述第一动画影像数据的视角数量大于第一视角阈值；将所述第一动画影像数据投影到全息设备上。根据所述第一运动驱动数据驱动并渲染所述虚拟对象实时生成所述第一动画影像数据包括：

优选地，采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据所述第一运动驱动数据驱动并渲染对应于所述多个摄像机视口的不同视角的所述虚拟对象，将渲染出的不同视角的所述虚拟对象合成多视口的所述第一动画影像数据；或，采用在不同的方位上复制多个所述虚拟对象的渲染方式，复制所述虚拟对象得到多个所述虚拟对象，将所述多个虚拟对象以不同的朝向部署在不同的方位上，根据所述运动驱动数据分别驱动并渲染所述多个虚拟对象，生成单视口的所述第一动画影像数据；或，采用渲染多个单视口单角色的渲染方式，根据所述运动驱动数据分别驱动并渲染出不同视角的多个所述虚拟对象，生成多个单视口单角色的所述第一动画影像数据。

优选地，将所述第一动画影像数据投影到所述全息设备上之后，所述方法还包括：接收捕捉的所述采集对象根据互动信息生成的第二运动数据，其中，所述互动信息包括位于所述全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；根据所述第二运动数据生成第二运动驱动数据，并根据所述第二运动驱动数据驱动并渲染所述虚拟对象实时生成第二动画影像数据；将所述第二动画影像数据投影到所述全息设备上。

根据本发明的又一方面，提供了一种实时互动动画的全息投影系统，包括：运动捕捉设备，用于实时捕捉采集对象的第一运动数据，其中，所述第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；实时互动动画的全息投影装置，用于实时接收并处理所述第一运动数据生成第一运动驱动数据，并根据所述第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，然后将所述第一动画影像数据投影到全息设备上，其中，所述第一动画影像数据的视角数量大于第一视角阈值；所述全息设备，用于显示所述第一动画影像数据。

优选地，所述运动捕捉设备包括以下至少之一：表情数据采集模块，用于分析输入的包含所述采集对象面部的图像，定位所述采集对象的面部特征位置，根据所述面部特征位置确定所述表情数据，其中，所述面部特征位置包括以下至少之一：面部整体轮廓的位置，眼睛的位置，瞳孔的位置，鼻子的位置，嘴的位置，眉毛的位置；动作数据采集模块，用于采集与所述采集对象对应的传感装置输出的传感数据，根据所述传感数据解算出所述采集对象的所述动作数据，其中，所述动作数据包括所述采集对象的当前动作的世界坐标的位置和旋转角度；指令采集模块，用于在所述采集对象是外部设备的情况下，采集所述外部设备输出的脉冲数据，并将所述脉冲数据转换成所述控制指令，其中，所述外部设备包括以下至少之一：摇杆，游戏杆。

优选地，所述系统还包括服务器，所述服务器用于以下至少之一：对所述第一运动数据进行时间同步处理，以使同步处理后的所述第一运动数据与采集的音频数据同步；对所述第一运动数据进行均匀帧率的处理。

优选地，所述实时互动动画的全息投影装置还包括驱动渲染模块，所述驱动渲染模块用于：采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据所述第一运动驱动数据驱动并渲染对应于所述多个摄像机视口的不同视角的所述虚拟对象，将渲染出的不同视角的所述虚拟对象合成多视口的所述第一动画影像数据；或，采用在不同的方位上复制多个所述虚拟对象的渲染方式，复制所述虚拟对象得到多个所述虚拟对象，将所述多个虚拟对象以不同的朝向部署在不同的方位上，根据所述第一运动驱动数据分别驱动并渲染所述多个虚拟对象，生成单视口的所述第一动画影像数据；或，采用渲染多个单视口单角色的渲染方式，根据所述第一运动驱动数据分别驱动并渲染出不同视角的多个所述虚拟对象，生成多个单视口单角色的所述第一动画影像数据。

优选地，所述系统还包括现场采集设备，用于采集互动信息，并将所述互动信息发送到捕捉所述第一运动数据的捕捉现场，其中，所述互动信息包括位于所述全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；所述运动捕捉设备还用于实时捕捉所述采集对象根据所述互动信息生成的第二运动数据；所述实时互动动画的全息投影装置还用于根据所述第二运动数据生成第二运动驱动数据，并根据所述第二运动驱动数据驱动并渲染所述虚拟对象实时生成第二动画影像数据，然后将所述第二动画影像数据投影到所述全息设备上。

根据本发明的再一方面，提供了一种实时互动动画的全息投影装置，包括：一种实时互动动画的全息投影装置，包括：处理模块，用于接收实时捕捉的采集对象的第一运动数据，实时处理所述第一运动数据生成第一运动驱动数据，其中，所述第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；驱动渲染模块，用于根据所述第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，其中，所述第一动画影像数据的视角数量大于第一视角阈值；投影装置，用于将所述第一动画影像数据投影到全息设备上。

优选地，所述驱动渲染模块还用于：采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据所述第一运动驱动数据驱动并渲染对应于所述多个摄像机视口的不同视角的所述虚拟对象，将渲染出的不同视角的所述虚拟对象合成多视口的所述第一动画影像数据；或，采用在不同的方位上复制多个所述虚拟对象的渲染方式，复制所述虚拟对象得到多个所述虚拟对象，将所述多个虚拟对象以不同的朝向部署在不同的方位上，根据所述运动驱动数据分别驱动并渲染所述多个虚拟对象，生成单视口的所述第一动画影像数据；或，采用渲染多个单视口单角色的渲染方式，根据所述运动驱动数据分别驱动并渲染出不同视角的多个所述虚拟对象，生成多个单视口单角色的所述第一动画影像数据。

优选地，所述处理模块还用于接收实时捕捉的所述采集对象根据互动信息生成的第二运动数据，其中，所述互动信息包括位于所述全息设备现场的互动对象的语音信息和/或图像信息，所述互动信息包括位于所述全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；所述驱动渲染模块还用于根据所述第二运动数据生成第二运动驱动数据，并根据所述第二运动驱动数据驱动并渲染所述虚拟对象实时生成第二动画影像数据；所述投影装置还用于将所述第二动画影像数据投影到所述全息设备上。

通过本发明实施例，实时捕捉采集对象的第一运动数据，其中，第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令，实时接收并处理第一运动数据生成第一运动驱动数据，并根据第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，其中，第一动画影像数据的视角数量大于第一视角阈值；将第一动画影像数据投影到全息设备上，解决了相关技术中，无法实时地生成全息投影所需要的影像数据、从而影响到全息投影技术全面应用的的问题，进而达到了实时生成全息投影所需要的影像数据、拓展了全息投影技术的应用的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明第一实施例的实时互动动画的全息投影方法的流程图；

图2是根据本发明第二实施例的实时互动动画的全息投影方法的流程图；

图3是根据本发明第三实施例的实时互动动画的全息投影方法的流程图；

图4是根据本发明第四实施例的实时互动动画的全息投影方法的流程图；

图5是根据本发明实施例的实时互动动画的全息投影系统的结构示意图；

图6是根据本发明优选实施例的实时互动动画的全息投影系统的结构示意图；以及

图7是根据本发明实施例的实时互动动画的全息投影装置的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本实施例提供了一种实时互动动画的全息投影方法，图1是根据本发明第一实施例的实时互动动画的全息投影方法的流程图，如图1所示，该流程包括如下步骤S102至S106。

步骤S102，实时捕捉采集对象的第一运动数据，其中，第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；

步骤S104，实时接收并处理第一运动数据生成第一运动驱动数据，并根据第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，其中，第一动画影像数据的视角数量大于第一视角阈值；

步骤S106，将第一动画影像数据投影到全息设备上。

通过上述步骤，实时捕捉采集对象的第一运动数据，并根据捕捉的第一运动数据驱动并渲染虚拟对象生成第一动画影像数据，然后将第一动画影像数据投影到全息设备上，解决了相关技术中无法实时地生成全息投影所需要的影像数据、从而影响到全息投影技术全面应用的问题，进而达到了实时生成全息投影所需要的影像数据、拓展了全息投影技术的应用的效果。

图2是根据本发明第二实施例的实时互动动画的全息投影方法的流程图，如图2所示，该流程包括如下步骤S202至S210。

步骤S202，实时捕捉采集对象的第一运动数据。

实时捕捉采集对象的第一运动数据可以有很多种方式。

比如，可以通过下述方法获取采集对象的表情数据：在采集对象是人或动物的情况下，运动捕捉设备可以拍摄包含采集对象面部的图像，并分析该图像，定位该图像上采集对象的面部特征位置，然后根据面部特征位置确定采集对象的面部表情运动轨迹即表情数据。其中，面部特征位置可以包括以下至少之一：面部整体轮廓的位置，眼睛的位置，瞳孔的位置，鼻子的位置，嘴的位置，眉毛的位置。

再比如，可以通过下述方法获取采集对象的动作数据：在采集对象上设置至少一个传感装置，采集传感装置输出的传感数据，根据该传感数据解算出采集对象的动作数据，其中，动作数据包括采集对象的当前动作的世界坐标的位置和旋转角度。

又比如，可以通过下述方法获取用于控制虚拟对象运动的控制指令：在采集对象是外部设备比如摇杆或游戏杆的情况下，采集外部设备输出的脉冲数据，并将脉冲数据转换成控制指令。

另外，为了互动的需要或者为了效果的需要，在获取第一运动数据的同时，还可以采集与采集对象相关的音频数据。

步骤S204，对第一运动数据进行时间同步处理和/或均匀帧率的处理。

在播放根据第一运动数据生成的第一动画影像数据时，为了互动的需要或者为了效果的需要，还需要播放采集的音频数据，而为了使第一运动数据与采集的音频数据同步，还需要对第一运动数据进行时间同步处理。另外，为了更好地显示第一动画影像数据，还可以对第一运动数据进行均匀帧率的处理。

步骤S206，根据第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据。

本实施例中，可以通过以下三种方式中的任一种驱动并渲染虚拟对象生成第一动画影像数据：

方式一、采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据第一运动驱动数据驱动并渲染对应于多个摄像机视口的不同视角的虚拟对象，并将渲染出的不同视角的虚拟对象合成多视口的第一动画影像数据；

方式二、采用在不同的方位上复制多个虚拟对象的渲染方式，复制虚拟对象得到多个虚拟对象，将多个虚拟对象以不同的朝向部署在不同的方位上，并根据第一运动驱动数据分别驱动并渲染多个虚拟对象，生成单视口的第一动画影像数据；

方式三、采用渲染多个单视口单角色的渲染方式，根据第一运动驱动数据分别驱动并渲染出不同视角的多个虚拟对象，生成多个单视口单角色的第一动画影像数据。

步骤S208，将第一动画影像数据投影到全息设备上。

步骤S210，实时互动。

全息设备现场的采集设备实时采集互动对象的互动信息，并将互动信息发送到捕捉第一运动数据的捕捉现场，其中，互动信息可以包括位于全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令。

实时捕捉采集对象根据互动信息生成的第二运动数据，根据第二运动数据生成第二运动驱动数据，并根据第二运动驱动数据驱动并渲染虚拟对象实时生成第二动画影像数据，然后将第二动画影像数据投影到全息设备上。

这样，便实现了全息设备现场的互动对象和运动捕捉设备现场的采集对象之间的互动。

本实施例中，第一运动驱动数据和第二运动驱动数据分别是具有第一预定义数据结构的数据，并且，该第一预定义数据结构中的数据元素的个数小于第一数量阈值，其中，数据元素用于定义所捕捉的采集对象的动作参数。比如，在捕捉表情数据时，数据元素用于定义采集对象面部运动单元的运动变化量；在捕捉动作数据时，数据元素用于定义采集对象的动作运动轨迹和旋转角度。这样，传输第一运动驱动数据或第二运动驱动数据时占用的带宽将远小于传统的视频流的传送方式。

图3是根据本发明第三实施例的实时互动动画的全息投影方法的流程图，如图3所示，该流程包括以下步骤S302至S312。

步骤S302，运动捕捉，获取采集对象的第一运动数据。

确定运动捕捉的对象即采集对象。采集对象可以是自然界中能够运动的任何物体，比如，人，动物，机器人，甚至流动的水、飘落中的雪花、行驶中的汽车等。

第一运动数据是采集对象在多维空间中的运动轨迹数据，其可以包括以下至少之一：表情数据，动作数据，特效数据，控制指令。其中，表情数据是在采集对象是动物或人的情况下其面部表情运动轨迹；动作数据是采集对象的运动轨迹，比如，在采集对象是人或动物的情况下，动作数据可以包括人或动物的肢体运动轨迹，在采集对象是流动的水的情况下，动作数据可以是水波纹的运动轨迹，在采集对象是飘雪的情况下，动作数据可以是雪花飘落的运动轨迹；特效数据是与采集对象相关的特效的数据，比如，在采集对象是歌舞表演的演员的情况下，特效数据可以包括舞台中释放的烟雾；控制指令是摇杆或游戏杆输出的用于控制虚拟对象运动的脉冲数据，比如，可以向左拨动摇杆，控制虚拟对象向左转头。

运动捕捉的实现方式可以有很多种，比如机械式、声学式、电磁式、光学式、惯性导航式等。

其中，

机械式运动捕捉装置依靠机械装置来跟踪和测量采集对象的运动轨迹。比如，在采集对象上的多个关节上安装角度传感器，可以测得关节转动角度的变化情况。当采集对象运动时，根据角度传感器所测得的角度变化，可以获取采集对象的肢体在空间中的位置和运动轨迹；

声学式运动捕捉装置由发送器、接收器和处理单元组成。发送器是一个固定的超声波发生器，接收器一般由呈三角形排列的三个超声探头组成，设置在采集对象的各个关节上。通过测量声波从发送器到接收器的时间或者相位差，可以计算并确定接收器的位置和方向，从而获取采集对象的肢体在空间中的位置和运动轨迹；

电磁式运动捕捉装置一般由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场；接收传感器设置在采集对象的关键位置上，采集对象在电磁场内运动时，接收传感器将接收到的信号通过电缆或无线的方式传送给处理单元，根据这些接收到的信号可以解算出每个传感器的空间位置和方向，从而获取采集对象的肢体在空间中的位置和运动轨迹；

光学式运动捕捉装置通常使用多个摄像机环绕采集对象排列，这些摄像机的视野重叠区域就是采集对象的动作范围。为了便于处理，通常要求采集对象穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为"Marker"，视觉系统将识别和处理这些标志。系统定标后，摄像机连续拍摄采集对象的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。

惯性导航式运动捕捉装置在采集对象的主要关键点绑定至少一个惯性陀螺仪，通过分析惯性陀螺仪的位移变化来得到采集对象的运动轨迹。

另外，在无法设置传感装置的情况下，也可以通过直接识别采集对象的特征而确定采集对象的运动轨迹。

在捕捉第一运动数据的同时，运动捕捉设备还需要采集与第一运动数据对应的音频数据。

步骤S304，运动捕捉设备将捕捉的第一运动数据和采集的音频数据发送给服务器。

第一运动数据对应的数据帧的数量小于等于预设的第一阈值，比如10帧。优选地，第一运动数据对应的数据帧的数量为1，这样能够保证第一运动数据传输的实时性。但是，在实时性要求并不是非常高的情况下，第一运动数据对应的数据帧的数量也可以为几帧，十几帧或者几十帧。

步骤S306，服务器对采集的第一运动数据进行同步处理和/或均匀帧率处理。

服务器接收并保存第一运动数据和音频数据，同时将第一运动数据和音频数据发送给驱动渲染装置(相当于实时互动动画的全息投影装置)。在发送第一运动数据和音频数据之前，还需要对第一运动数据进行同步处理。正常情况下，第一运动数据可以按照每10ms的时间发送一次，如果有音视频不同步的情况(即第一运动数据和音频数据不同步)，可以通过以下方式进行相应的同步处理：

同步过程过程如下：

服务器根据设定帧率按照固定的时间间隔下发数据，在下发数据前，缓存前一个数据包和当前数据包之间接收到的数据，根据接收到的动作数据类型进行帧率均匀处理，也就是插值处理。如对动作数据进行四元素球面插值处理，对于表情数据进行线性插值处理等。然后将各种数据打上统一的时间戳，封装成一个数据包下发；该时间戳是驱动渲染装置同步的依据。

步骤S308，驱动渲染装置实时处理第一运动数据，生成第一运动驱动数据。

驱动渲染装置接收到服务器发送的第一运动数据后，对第一运动数据进行坐标转换以及旋转次序变换，从世界坐标转换成驱动渲染装置对应的坐标，从采集的旋转次序转换为驱动渲染装置所需要的旋转次序，生成第一运动驱动数据。

步骤S310，根据生成的第一运动驱动数据实时驱动并渲染虚拟对象，生成第一动画影像数据。

虚拟对象是受控于第一运动驱动数据的动画模型，可以是任何角色比如灰姑娘、蓝精灵、某位电影明星等，甚至可以是设计出的任何动画形象，比如石头、怪物等。虚拟对象不是明确地在背景中画出的对象，而是在第一运动驱动数据的驱动下不仅能够在屏幕上移动、而且在移动过程中栩栩如生的对象。例如，一个不仅能够水平方向、垂直方向移动、而且还能够移动其肢体、展现不同面部表情的动画模型。

第一运动驱动数据包括以下至少之一：表情驱动数据，动作驱动数据，特效驱动数据，其中，表情驱动数据用于驱动并渲染虚拟对象的表情，动作驱动数据用于驱动并渲染虚拟对象的除表情外的运动，比如人的肢体运动；特效驱动数据用于控制虚拟对象的特效动作或者场景中的特效触发如雪花的飘落动作等。

虚拟对象的模型预先存储在驱动渲染装置的存储器中，每一个模型都对应相应的多种属性。

用户从多个预先存储的模型中选择一个或多个模型，根据第一运动驱动数据更新所选模型以及模型的多种属性，从而驱动并渲染所选模型即虚拟对象，生成并播放第一动画影像数据。渲染的方式如上所述，此处不再赘述。

步骤S312，将第一动画影像数据实时地投影到全息设备上。

步骤S314，实时互动。

全息设备现场的采集设备实时采集互动对象的互动信息，并将互动信息发送到捕捉第一运动数据的捕捉现场。

比如，采集主持人(相当于采集对象)的第一运动数据和音频数据，并根据第一运动数据生成第一运动驱动数据后，用第一运动驱动数据驱动并渲染虚拟主持人(相当于虚拟对象)，并将渲染出的虚拟主持人的动画影像投影到全息设备上，同时，通过音箱播放相应的音频数据。这样，全息设备上呈现的是受控于真实主持人的虚拟主持人。此时，如果有观众想与主持人互动，可以通过现场采集设备，采集该观众(相当于互动对象)的互动信息，并将该互动信息发送给主持人，主持人根据观众的互动信息进行主持，运动捕捉设备捕捉主持人根据互动信息生成的第二运动数据，并将第二运动数据发送给驱动渲染装置，驱动渲染装置根据第二运动数据驱动并渲染虚拟主持人，生成第二动画影像数据，并投影到全息设备上，从而实现主持人和观众的互动。

现场采集设备可以是摄像装置，也可以是移动终端。比如，通过手机采集用户的互动信息。互动信息包括视频数据、音频数据，还可以包括文字信息，甚至指令信息，比如，用户通过APP软件，向主持人鲜花，或扔臭鸡蛋等。当然，手机此时本身不仅仅可以充当现场采集设备，还可以充当驱动渲染装置，驱动并渲染受控于主持人的虚拟主持人，并通过显示屏播放驱动并渲染出的的动画影像数据。

本发明实施例还提供了一种实时互动动画的全息投影方法，图4是根据本发明第四实施例的实时互动动画的全息投影方法的流程图，如图4所示，该流程包括以下步骤S402至S406。

步骤S402，接收实时捕捉的采集对象的第一运动数据，实时处理第一运动数据生成第一运动驱动数据，其中，第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令。

步骤S404，根据第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，其中，第一动画影像数据的视角数量大于第一视角阈值。

本实施例中，可以通过以下三种方式中的任一种驱动并渲染虚拟对象生成第一动画影像数据：

方式一、采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据第一运动驱动数据驱动并渲染对应于多个摄像机视口的不同视角的虚拟对象，并将渲染出的不同视角的虚拟对象合成多视口的第一动画影像数据；

方式二、采用在不同的方位上复制多个虚拟对象的渲染方式，复制虚拟对象得到多个虚拟对象，将多个虚拟对象以不同的朝向部署在不同的方位上，并根据第一运动驱动数据分别驱动并渲染多个虚拟对象，生成单视口的第一动画影像数据；

方式三、采用渲染多个单视口单角色的渲染方式，根据第一运动驱动数据分别驱动并渲染出不同视角的多个虚拟对象，生成多个单视口单角色的第一动画影像数据。

另外，第一动画影像数据的视角数量优选地为3，第一视角阈值可以为0，即视角数量可以为1至N中的任一自然数。

步骤S406，将第一动画影像数据投影到全息设备上。

步骤S408，实时互动。

全息设备现场的采集设备实时采集互动对象的互动信息，并将互动信息发送到捕捉第一运动数据的捕捉现场，其中，互动信息可以包括位于全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令。

实时捕捉采集对象根据互动信息生成的第二运动数据，根据第二运动数据生成第二运动驱动数据，并根据第二运动驱动数据驱动并渲染虚拟对象实时生成第二动画影像数据，然后将第二动画影像数据投影到全息设备上。

这样，便实现了全息设备现场的互动对象和运动捕捉设备现场的采集对象之间的互动。

本发明实施例还提供了一种全息投影系统的结构示意图，图5是根据本发明实施例的实时互动动画的全息投影系统的结构示意图，如图5所示，该系统包括，运动捕捉设备52、实时互动动画的全息投影装置54和全息设备56。

运动捕捉设备52用于实时捕捉采集对象的第一运动数据，其中，第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令。

实时互动动画的全息投影装置54，用于实时接收并处理第一运动数据生成第一运动驱动数据，并根据第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，然后将第一动画影像数据投影到全息设备上，其中，第一动画影像数据的视角数量大于第一视角阈值；

全息设备56用于显示第一动画影像数据。

图6是根据本发明优选实施例的实时互动动画的全息投影系统的结构示意图，如图6所示，该系统包括运动捕捉设备52、实时互动动画的全息投影装置54、全息设备56、服务器58和现场采集装置50。下面对该装置进行说明。

运动捕捉设备实时捕捉采集对象的第一运动数据。实时捕捉采集对象的第一运动数据可以有很多种方式。

比如，可以通过下述方法获取采集对象的表情数据：在采集对象是人或动物的情况下，运动捕捉设备可以拍摄包含采集对象面部的图像，并分析该图像，定位该图像上采集对象的面部特征位置，然后根据面部特征位置确定采集对象的面部的各独立运动单元的运动幅度即表情数据。其中，面部特征位置可以包括以下至少之一：面部整体轮廓的位置，眼睛的位置，瞳孔的位置，鼻子的位置，嘴的位置，眉毛的位置。

再比如，可以通过下述方法获取采集对象的动作数据：在采集对象上设置至少一个传感装置，采集传感装置输出的传感数据，根据该传感数据解算出采集对象的动作数据，其中，动作数据包括采集对象的当前动作的世界坐标的位置和旋转角度。

又比如，可以通过下述方法获取用于控制虚拟对象运动的控制指令：在采集对象是外部设备比如摇杆或游戏杆的情况下，采集外部设备输出的脉冲数据，并将脉冲数据转换成控制指令。

另外，为了互动的需要或者为了效果的需要，在获取第一运动数据的同时，还可以采集与采集对象相关的音频数据。

运动捕捉设备52将捕捉的第一运动数据和采集的音频数据发送给服务器58。

服务器58对第一运动数据进行时间同步处理和/或均匀帧率的处理。在播放根据第一运动数据生成的第一动画影像数据时，为了互动的需要或者为了效果的需要，还需要播放采集的音频数据，而为了使第一运动数据与采集的音频数据同步，还需要对第一运动数据进行时间同步处理。另外，为了更好地显示第一动画影像数据，还可以对第一运动数据进行均匀帧率的处理。服务器58将处理后的第一运动数据和音频数据发送给实时互动动画的全息投影装置54。

实时互动动画的全息投影装置54根据第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据。

实时互动动画的全息投影装置54可以通过以下三种方式中的任一种驱动并渲染虚拟对象生成第一动画影像数据：

方式一、采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据第一运动驱动数据驱动并渲染对应于多个摄像机视口的不同视角的虚拟对象，并将渲染出的不同视角的虚拟对象合成多视口的第一动画影像数据；

方式二、采用在不同的方位上复制多个虚拟对象的渲染方式，复制虚拟对象得到多个虚拟对象，将多个虚拟对象以不同的朝向部署在不同的方位上，并根据第一运动驱动数据分别驱动并渲染多个虚拟对象，生成单视口的第一动画影像数据；

方式三、采用渲染多个单视口单角色的渲染方式，根据第一运动驱动数据分别驱动并渲染出不同视角的多个虚拟对象，生成多个单视口单角色的第一动画影像数据。

实时互动动画的全息投影装置54在生成第一动画影像数据的同时还播放第一动画影像数据，并将第一动画影像数据投影到全息设备56上。

现场采集设备50实时采集互动对象的互动信息，并将互动信息发送到捕捉第一运动数据的捕捉现场，其中，互动信息可以包括位于全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令。

运动捕捉设备52实时捕捉采集对象根据互动信息生成的第二运动数据，根据第二运动数据生成第二运动驱动数据，并根据第二运动驱动数据驱动并渲染虚拟对象实时生成第二动画影像数据，然后将第二动画影像数据投影到全息设备56上。这样，便实现了全息设备现场的互动对象和运动捕捉设备现场的采集对象之间的互动。

本发明实施例还提供了一种实时互动动画的全息投影装置，图7是根据本发明实施例的实时互动动画的全息投影装置的结构示意图，如图7所示，该装置包括处理模块72、驱动渲染模块74、投影装置76。

处理模块72，用于接收实时捕捉的采集对象的第一运动数据，实时处理第一运动数据生成第一运动驱动数据，其中，第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令。

驱动渲染模块74，用于根据第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，其中，第一动画影像数据的视角数量大于第一视角阈值。

投影装置76，用于将第一动画影像数据投影到全息设备上。

其中，驱动渲染模块74还用于：

采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据第一运动驱动数据驱动并渲染对应于多个摄像机视口的不同视角的虚拟对象，将渲染出的不同视角的虚拟对象合成多视口的第一动画影像数据；或

采用在不同的方位上复制多个虚拟对象的渲染方式，复制虚拟对象得到多个虚拟对象，将多个虚拟对象以不同的朝向部署在不同的方位上，根据运动驱动数据分别驱动并渲染多个虚拟对象，生成单视口的第一动画影像数据；或

采用渲染多个单视口单角色的渲染方式，根据运动驱动数据分别驱动并渲染出不同视角的多个虚拟对象，生成多个单视口单角色的第一动画影像数据。

处理模块72还用于接收实时捕捉的采集对象根据互动信息生成的第二运动数据，其中，互动信息包括位于全息设备现场的互动对象的语音信息和/或图像信息，互动信息包括位于全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令。

驱动渲染模块74还用于根据第二运动数据生成第二运动驱动数据，并根据第二运动驱动数据驱动并渲染虚拟对象实时生成第二动画影像数据；

投影装置76还用于将第二动画影像数据投影到全息设备上。

本发明具有以下有益效果：实时生成全息投影所需要的影像数据、拓展了全息投影技术的应用。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种实时互动动画的全息投影方法，其特征在于，包括：

实时捕捉采集对象的第一运动数据，其中，所述第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；

实时接收并处理所述第一运动数据生成第一运动驱动数据，并根据所述第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，其中，所述第一动画影像数据的视角数量大于第一视角阈值；

将所述第一动画影像数据投影到全息设备上。

2.根据权利要求1所述的方法，其特征在于：实时捕捉所述采集对象的所述第一运动数据包括以下至少之一：

分析输入的包含所述采集对象面部的图像，定位所述采集对象的面部特征位置，根据所述面部特征位置确定所述表情数据，其中，所述面部特征位置包括以下至少之一：面部整体轮廓的位置，眼睛的位置，瞳孔的位置，鼻子的位置，嘴的位置，眉毛的位置；

采集与所述采集对象对应的传感装置输出的传感数据，根据所述传感数据解算出所述采集对象的所述动作数据，其中，所述动作数据包括所述采集对象的当前动作的世界坐标的位置和旋转角度；

在所述采集对象是外部设备的情况下，采集所述外部设备输出的脉冲数据，并将所述脉冲数据转换成所述控制指令，其中，所述外部设备包括以下至少之一：摇杆，游戏杆。

3.根据权利要求1所述的方法，其特征在于，在处理所述运动数据生成所述第一运动驱动数据之前，所述方法还包括以下至少之一：

对所述第一运动数据进行时间同步处理，以使同步处理后的所述第一运动数据与采集的音频数据同步；

对所述第一运动数据进行均匀帧率的处理。

4.根据权利要求1至3中任一项所述的方法，其特征在于，根据所述第一运动驱动数据驱动并渲染所述虚拟对象实时生成所述第一动画影像数据包括：

采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据所述第一运动驱动数据驱动并渲染对应于所述多个摄像机视口的不同视角的所述虚拟对象，将渲染出的不同视角的所述虚拟对象合成多视口的所述第一动画影像数据；或

采用在不同的方位上复制多个所述虚拟对象的渲染方式，复制所述虚拟对象得到多个所述虚拟对象，将所述多个虚拟对象以不同的朝向部署在不同的方位上，根据所述第一运动驱动数据分别驱动并渲染所述多个虚拟对象，生成单视口的所述第一动画影像数据；或

采用渲染多个单视口单角色的渲染方式，根据所述第一运动驱动数据分别驱动并渲染出不同视角的多个所述虚拟对象，生成多个单视口单角色的所述第一动画影像数据。

5.根据权利要求1至4中任一项所述的方法，其特征在于，将所述第一动画影像数据投影到所述全息设备上之后，所述方法还包括：

采集互动信息，并将所述互动信息发送到捕捉所述第一运动数据的捕捉现场，其中，所述互动信息包括位于所述全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；

实时捕捉所述采集对象根据所述互动信息生成的第二运动数据；

根据所述第二运动数据生成第二运动驱动数据，并根据所述第二运动驱动数据驱动并渲染所述虚拟对象实时生成第二动画影像数据；

将所述第二动画影像数据投影到所述全息设备上。

6.一种实时互动动画的全息投影方法，其特征在于，包括：

接收实时捕捉的采集对象的第一运动数据，实时处理所述第一运动数据生成第一运动驱动数据，其中，所述第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；

根据所述第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，其中，所述第一动画影像数据的视角数量大于第一视角阈值；

将所述第一动画影像数据投影到全息设备上。

7.根据权利要求6所述的方法，其特征在于：根据所述第一运动驱动数据驱动并渲染所述虚拟对象实时生成所述第一动画影像数据包括：

采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据所述第一运动驱动数据驱动并渲染对应于所述多个摄像机视口的不同视角的所述虚拟对象，将渲染出的不同视角的所述虚拟对象合成多视口的所述第一动画影像数据；或

采用在不同的方位上复制多个所述虚拟对象的渲染方式，复制所述虚拟对象得到多个所述虚拟对象，将所述多个虚拟对象以不同的朝向部署在不同的方位上，根据所述运动驱动数据分别驱动并渲染所述多个虚拟对象，生成单视口的所述第一动画影像数据；或

采用渲染多个单视口单角色的渲染方式，根据所述运动驱动数据分别驱动并渲染出不同视角的多个所述虚拟对象，生成多个单视口单角色的所述第一动画影像数据。

8.根据权利要求6或7所述的方法，其特征在于：将所述第一动画影像数据投影到所述全息设备上之后，所述方法还包括：

接收捕捉的所述采集对象根据互动信息生成的第二运动数据，其中，所述互动信息包括位于所述全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；

根据所述第二运动数据生成第二运动驱动数据，并根据所述第二运动驱动数据驱动并渲染所述虚拟对象实时生成第二动画影像数据；

将所述第二动画影像数据投影到所述全息设备上。

9.一种实时互动动画的全息投影系统，其特征在于，包括：

运动捕捉设备，用于实时捕捉采集对象的第一运动数据，其中，所述第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；

实时互动动画的全息投影装置，用于实时接收并处理所述第一运动数据生成第一运动驱动数据，并根据所述第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，然后将所述第一动画影像数据投影到全息设备上，其中，所述第一动画影像数据的视角数量大于第一视角阈值；

所述全息设备，用于显示所述第一动画影像数据。

10.根据权利要求9所述的系统，其特征在于，所述运动捕捉设备包括以下至少之一：

表情数据采集模块，用于分析输入的包含所述采集对象面部的图像，定位所述采集对象的面部特征位置，根据所述面部特征位置确定所述表情数据，其中，所述面部特征位置包括以下至少之一：面部整体轮廓的位置，眼睛的位置，瞳孔的位置，鼻子的位置，嘴的位置，眉毛的位置；

动作数据采集模块，用于采集与所述采集对象对应的传感装置输出的传感数据，根据所述传感数据解算出所述采集对象的所述动作数据，其中，所述动作数据包括所述采集对象的当前动作的世界坐标的位置和旋转角度；

指令采集模块，用于在所述采集对象是外部设备的情况下，采集所述外部设备输出的脉冲数据，并将所述脉冲数据转换成所述控制指令，其中，所述外部设备包括以下至少之一：摇杆，游戏杆。

11.根据权利要求9或10所述的系统，其特征在于，所述系统还包括服务器，所述服务器用于以下至少之一：

对所述第一运动数据进行时间同步处理，以使同步处理后的所述第一运动数据与采集的音频数据同步；

对所述第一运动数据进行均匀帧率的处理。

12.根据权利要求9至11中任一项所述的系统，其特征在于，所述实时互动动画的全息投影装置还包括驱动渲染模块，所述驱动渲染模块用于：

采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据所述第一运动驱动数据驱动并渲染对应于所述多个摄像机视口的不同视角的所述虚拟对象，将渲染出的不同视角的所述虚拟对象合成多视口的所述第一动画影像数据；或

采用在不同的方位上复制多个所述虚拟对象的渲染方式，复制所述虚拟对象得到多个所述虚拟对象，将所述多个虚拟对象以不同的朝向部署在不同的方位上，根据所述第一运动驱动数据分别驱动并渲染所述多个虚拟对象，生成单视口的所述第一动画影像数据；或

采用渲染多个单视口单角色的渲染方式，根据所述第一运动驱动数据分别驱动并渲染出不同视角的多个所述虚拟对象，生成多个单视口单角色的所述第一动画影像数据。

13.根据权利要求9至12中任一项所述的系统，其特征在于，

所述系统还包括现场采集设备，用于采集互动信息，并将所述互动信息发送到捕捉所述第一运动数据的捕捉现场，其中，所述互动信息包括位于所述全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；

所述运动捕捉设备还用于实时捕捉所述采集对象根据所述互动信息生成的第二运动数据；

所述实时互动动画的全息投影装置还用于根据所述第二运动数据生成第二运动驱动数据，并根据所述第二运动驱动数据驱动并渲染所述虚拟对象实时生成第二动画影像数据，然后将所述第二动画影像数据投影到所述全息设备上。

14.一种实时互动动画的全息投影装置，其特征在于，包括：

处理模块，用于接收实时捕捉的采集对象的第一运动数据，实时处理所述第一运动数据生成第一运动驱动数据，其中，所述第一运动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；

驱动渲染模块，用于根据所述第一运动驱动数据驱动并渲染虚拟对象实时生成第一动画影像数据，其中，所述第一动画影像数据的视角数量大于第一视角阈值；

投影装置，用于将所述第一动画影像数据投影到全息设备上。

15.根据权利要求14所述的装置，其特征在于，所述驱动渲染模块还用于：

采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据所述第一运动驱动数据驱动并渲染对应于所述多个摄像机视口的不同视角的所述虚拟对象，将渲染出的不同视角的所述虚拟对象合成多视口的所述第一动画影像数据；或

采用在不同的方位上复制多个所述虚拟对象的渲染方式，复制所述虚拟对象得到多个所述虚拟对象，将所述多个虚拟对象以不同的朝向部署在不同的方位上，根据所述运动驱动数据分别驱动并渲染所述多个虚拟对象，生成单视口的所述第一动画影像数据；或

采用渲染多个单视口单角色的渲染方式，根据所述运动驱动数据分别驱动并渲染出不同视角的多个所述虚拟对象，生成多个单视口单角色的所述第一动画影像数据。

16.根据权利要求14或15所述的装置，其特征在于，

所述处理模块还用于接收实时捕捉的所述采集对象根据互动信息生成的第二运动数据，其中，所述互动信息包括位于所述全息设备现场的互动对象的语音信息和/或图像信息，所述互动信息包括位于所述全息设备现场的互动对象的以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；

所述驱动渲染模块还用于根据所述第二运动数据生成第二运动驱动数据，并根据所述第二运动驱动数据驱动并渲染所述虚拟对象实时生成第二动画影像数据；

所述投影装置还用于将所述第二动画影像数据投影到所述全息设备上。