CN106027855B - 一种虚拟摇臂的实现方法和终端 - Google Patents

Abstract

本发明提供了一种虚拟摇臂的实现方法和终端。所述方法包括：计算真实摄像机在实景中的空间位置参数信息；将真实摄像机在实景中的空间位置参数信息赋给虚拟摄像机；生成垂直渲染面，所述垂直渲染面在三维视锥体中，与投影平面平行；将真实摄像机拍摄的实景的视频图像贴图到所述垂直渲染面上；将所述垂直渲染面对应到虚拟三维场景中，所述三维场景中有三维虚拟物体；若接收到运动参数，根据所述运动参数控制虚拟摄像机运动；将所述垂直渲染面和三维虚拟物体一起渲染，其中，在渲染时，所述垂直渲染面始终位于最底层。该方法和终端实现了虚拟植入系统的虚拟摇臂效果，操作简单，使用方便，同时不会有穿帮现象。

Description

一种虚拟摇臂的实现方法和终端

技术领域

本发明涉及虚拟技术领域，尤其涉及一种虚拟摇臂的实现方法和终端。

背景技术

虚拟植入技术，就是将计算机制作的虚拟三维场景与摄像机现场拍摄的人物活动图像进行数字化的实时合成，在摄像机景别变化的同时能够保持人物与虚拟三维场景同步变化，从而实现两者天衣无缝的融合，以获得完美的合成画面。虚拟植入技术具体会涉及跟踪定位、虚拟三维场景图文、字幕、动画、编辑、播出、特技、抠像等技术。虚拟植入系统是将虚拟植入技术用于实景演播室或者实景舞台的虚拟现实实现方式。在虚拟植入系统中需要在真实摄像机不动的情况下实现实景和虚拟三维场景同步运动的虚拟摇臂效果。

在虚拟演播室系统中，通过将摄像机拍摄到的“蓝箱+主持人”视频图像进行抠像，得到带α通道的人物活动图像并渲染到虚拟三维场景的一个面上去，然后将该面添加到场景中合适的位置作为虚拟三维场景的一个物体，在真实摄像机不动的情况下对虚拟像机进行推、拉、摇、移等运动时，对该面和虚拟三维场景基于深度排序进行渲染，即可实现虚拟摇臂效果。

虚拟演播室的本质是将前景人物作为一维深度融入虚拟三维场景中，而虚拟植入系统的本质是将三维虚拟物体融入三维实景演播室或舞台中，此时实景演播室或舞台中的各种物体不能再当做一维深度的面片而是具有三维空间的远小近大的景深关系，因而基于虚拟演播室系统的虚拟摇臂实现方法不能直接用于虚拟植入系统中。目前在虚拟植入系统中尚未看到虚拟摇臂的应用，因此在虚拟植入系统中实现虚拟摇臂效果，对基于实景舞台或实景演播室可拍摄到恢弘大气的视频节目效果具有重要的意义。

发明内容

本发明提供了一种虚拟摇臂的实现方法和终端，可在虚拟植入系统中实现虚拟摇臂的效果。

一种虚拟摇臂的实现方法，所述方法包括：

计算真实摄像机在实景中的空间位置参数信息；

将真实摄像机在实景中的空间位置参数信息赋给虚拟摄像机；

生成垂直渲染面，所述垂直渲染面在三维视锥体中，与投影平面平行；

将真实摄像机拍摄的实景的视频图像贴图到所述垂直渲染面上；

将所述垂直渲染面对应到虚拟三维场景中，所述三维场景中有三维虚拟物体；

若接收到运动参数，根据所述运动参数控制虚拟摄像机运动；

将所述垂直渲染面和三维虚拟物体一起渲染，其中，在渲染时，所述垂直渲染面始终位于最底层。

一种终端，所述终端包括：

计算单元，用于计算真实摄像机在实景中的空间位置参数信息；

赋予单元，用于将真实摄像机在实景中的空间位置参数信息赋给虚拟摄像机；

生成单元，用于生成垂直渲染面，所述垂直渲染面在三维视锥体中，与投影平面平行；

贴图单元，用于将真实摄像机拍摄的实景的视频图像贴图到所述垂直渲染面上；

对应单元，用于将所述垂直渲染面对应到虚拟三维场景中，所述三维场景中有三维虚拟物体；

控制单元，用于若接收到运动参数，根据所述运动参数控制虚拟摄像机运动；

渲染单元，用于将所述垂直渲染面和三维虚拟物体一起渲染，其中，在渲染时，所述垂直渲染面始终位于最底层。

上述虚拟摇臂的实现方法和终端，通过构建垂直渲染面，将真实摄像机拍摄的实景的视频图像贴图到垂直渲染面上，当接收到运动参数时，根据运动参数控制虚拟摄像机运动，将所述垂直渲染面和三维虚拟物体一起渲染，其中，在渲染时，所述垂直渲染面始终位于最底层。该方法首次实现了虚拟植入系统的虚拟摇臂效果，操作简单，使用方便，不会有任何的穿帮现象。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种虚拟摇臂的实现方法的示意流程图；

图2是本发明提供的垂直渲染面在三维视锥体中的一种位置示意图；

图3是本发明提供的一种终端的示意性框图。

图4是本发明提供的第二实施例的一种终端的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

请参看图1，为本发明的一种虚拟摇臂的实现方法的示意流程图。该方法用于虚拟植入系统中。该方法包括步骤S11～S16。

步骤S11，计算真实摄像机在实景中的空间位置参数信息。具体地，在真实摄像机初始化时，根据跟踪定位技术计算真实摄像机的空间位置参数信息。其中，空间位置参数信息包括真实摄像机的空间位置，真实摄像机的姿态如真实摄像机的平遥俯仰、景深、视角等。实景包括实景演播室、实景舞台等。

步骤S12，将真实摄像机在实景中的空间位置参数信息赋给虚拟摄像机。为了实现虚拟摄像机和真实摄像机的坐标匹配，将计算出来的真实摄像机在实景中的空间位置参数信息赋给虚拟摄像机。

步骤S13，生成垂直渲染面，该垂直渲染面在三维视锥体中，与投影平面平行。

如图2所示，为垂直渲染面在三维视锥体中的一种位置示意图。为了简化计算，在三维视锥体的坐标原点处生成一个垂直渲染面22，则虚拟摄像机21的景深为h，其中h<0。在其他的实施例中，垂直渲染面22也可在三维视锥体的其他坐标点处生成，景深h等空间位置参数信息可通过计算坐标差得到。垂直渲染面22与投影平面平行。垂直渲染面22不随虚拟摄像机21的平摇俯仰变化而变化，但随虚拟摄像机21的焦距变化而缩放；若将真实摄像机拍摄的实景的视频图像贴图到该垂直渲染面22上，垂直渲染面22在最大张角下渲染后投影到投影平面所对应的图像对应为真实摄像机拍摄到的真实视频图像；垂直渲染面22可进行缩放以任意调整实景和虚拟三维场景的大小匹配关系。

步骤S14，将真实摄像机拍摄的实景的视频图像贴图到该垂直渲染面上。

步骤S15，将该垂直渲染面对应到虚拟三维场景中，该虚拟三维场景中有三维虚拟物体。具体地，通过坐标转换将垂直渲染面对应到虚拟三维场景中。例如，三维视锥体的坐标信息可能与虚拟三维场景中的坐标信息不一致，如三维视锥体的坐标原点在垂直渲染面的某一点上，而虚拟三维场景的坐标原点可能在虚拟摄像机所在的位置上，因此通过坐标转换将贴图后的垂直渲染面对应到虚拟三维场景中合适的位置，使得坐标一致。

步骤S16，若接收到运动参数，根据所述运动参数控制虚拟摄像机运动。其中，运动参数包括即推、拉、摇、移的参数。接收到的运动参数可以通过鼠标直接输入，也可以通过其他合适的方式输入。根据接收到的运动参数控制虚拟摄像机运动，如将虚拟摄像机焦距变短，可理解为将虚拟摄像机推至景深为h’的位置或者将虚拟摄像机焦距变长，可理解为将虚拟摄像机拉至景深为h”的位置等。

步骤S17，将垂直渲染面和三维虚拟物体一起渲染，其中，在渲染时，垂直渲染面始终位于最底层。在渲染时，除了垂直渲染面外，三维虚拟物体按深度排序进行渲染。可以理解地，在渲染时，垂直渲染面不参与深度排序，始终位于最底层即景深最远的一层，其他虚拟三维物体按深度排序进行渲染，使得渲染出来的效果不会有任何的穿帮现象。垂直渲染面在最大张角下渲染后投影到投影平面所对应的图像对应为真实摄像机拍摄到的真实视频图像。

上述方法结合跟踪定位技术，通过将真实拍摄的实景视频贴图到垂直渲染面，将垂直渲染面对应到虚拟三维场景中，进行场景渲染时采用分层渲染，即在渲染时，垂直渲染面不参与深度排序，始终位于最底层，虚拟三维物体按深度排序进行渲染。该方法实现了虚拟植入系统的虚拟摇臂效果，操作简单，使用方便，同时不会有任何的穿帮现象。

图3为一种终端的示意性框图，该终端用于虚拟植入系统中，实现虚拟摇臂的功能。该终端30包括计算单元31、赋予单元32、生成单元33、贴图单元34、对应单元35、控制单元36、渲染单元37。

计算单元31，用于计算真实摄像机在实景中的空间位置参数信息。具体地，在真实摄像机初始化时，根据跟踪定位技术计算真实摄像机的空间位置参数信息。其中，空间位置参数信息包括真实摄像机的空间位置，真实摄像机的姿态如真实摄像机的平遥俯仰、景深、视角等。实景包括实景演播室、实景舞台等。

赋予单元32，用于将真实摄像机在实景中的空间位置参数信息赋给虚拟摄像机。为了实现虚拟摄像机和真实摄像机的坐标匹配，将计算出来的真实摄像机在实景中的空间位置参数信息赋给虚拟摄像机。

生成单元33，用于生成垂直渲染面，该垂直渲染面在三维视锥体中，与投影平面平行。

如图2所示，为垂直渲染面在三维视锥体中的一种位置示意图。为了简化计算，在三维视锥体的坐标原点处生成一个垂直渲染面22，则虚拟摄像机21的景深为h，其中h<0。在其他的实施例中，垂直渲染面22也可在三维视锥体的其他坐标点处生成，景深h等空间位置参数信息可通过计算坐标差得到。垂直渲染面22与投影平面平行。垂直渲染面22不随虚拟摄像机21的平摇俯仰变化而变化，但随虚拟摄像机21的焦距变化而缩放；若将真实摄像机拍摄的实景的视频图像贴图到该垂直渲染面22上，垂直渲染面22在最大张角下渲染后投影到投影平面所对应的图像对应为真实摄像机拍摄到的真实视频图像；垂直渲染面22可进行缩放以任意调整实景和虚拟三维场景的大小匹配关系。

贴图单元34，用于将真实摄像机拍摄的实景的视频图像贴图到该垂直渲染面上。

对应单元35，用于将该垂直渲染面对应到虚拟三维场景中，该虚拟三维场景中有三维虚拟物体。具体地，通过坐标转换将垂直渲染面对应到虚拟三维场景中。例如，三维视锥体的坐标信息可能与虚拟三维场景中的坐标信息不一致，如三维视锥体的坐标原点在垂直渲染面的某一点上，而虚拟三维场景的坐标原点可能在虚拟摄像机所在的位置上，因此通过坐标转换将贴图后的垂直渲染面对应到虚拟三维场景中合适的位置，使得坐标一致。

控制单元36，用于若接收到运动参数，根据所述运动参数控制虚拟摄像机运动。其中，运动参数包括即推、拉、摇、移的参数。接收到的运动参数可以通过鼠标直接输入，也可以通过其他合适的方式输入。根据接收到的运动参数控制虚拟摄像机运动，如将虚拟摄像机焦距变短，可理解为将虚拟摄像机推至景深为h’的位置或者将虚拟摄像机焦距变长，可理解为将虚拟摄像机拉至景深为h”的位置等。

渲染单元37，用于将垂直渲染面和三维虚拟物体一起渲染，其中，在渲染时，垂直渲染面始终位于最底层。在渲染时，除了垂直渲染面外，三维虚拟物体按深度排序进行渲染。可以理解地，在渲染时，垂直渲染面不参与深度排序，始终位于最底层即景深最远的一层，其他虚拟三维物体按深度排序进行渲染，使得渲染出来的效果不会有任何的穿帮现象。垂直渲染面在最大张角下渲染后投影到投影平面所对应的图像对应为真实摄像机拍摄到的真实视频图像。

参见图4，是本发明第二实施例的终端的示意性框图。该终端40包括输入装置41、输出装置42、存储器43以及处理器44，其中：

输入装置41，用于提供用户输入运动参数。具体实现中，本发明实施例的输入装置41可包括键盘、鼠标、光电输入装置、声音输入装置、触摸式输入装置等。

输出装置42，用于输出渲染后的垂直渲染面和三维虚拟物体。具体实现中，本发明实施例的输出装置42可包括显示器、显示屏、触摸屏等。

存储器43，用于存储带有各种功能的程序数据。本发明实施例中存储器43存储的数据包括真实摄像机在实景中的空间位置参数信息，三维虚拟场景，三维虚拟物体，以及其他可调用并运行的程序数据。具体实现中，本发明实施例的存储器43可以是系统存储器，比如，挥发性的(诸如RAM)，非易失性的(诸如ROM，闪存等)，或者两者的结合。具体实现中，本发明实施例的存储器43还可以是系统之外的外部存储器，比如，磁盘、光盘、磁带等。

处理器44，用于调用存储器43中存储的程序数据，并执行如下操作：

计算真实摄像机在实景中的空间位置参数信息；将真实摄像机在实景中的空间位置参数信息赋给虚拟摄像机；生成垂直渲染面，所述垂直渲染面在三维透视锥中，与投影平面平行；将真实摄像机拍摄的实景的视频图像贴图到所述垂直渲染面上；将所述垂直渲染面对应到虚拟三维场景中，所述三维场景中有三维虚拟物体；若接收到运动参数，根据所述运动参数控制虚拟摄像机运动；将所述垂直渲染面和三维虚拟物体一起渲染，其中，在渲染时，所述垂直渲染面始终位于最底层。

上述终端，通过构建垂直渲染面，将真实摄像机拍摄的实景的视频图像贴图到垂直渲染面上，当接收到运动参数时，根据运动参数控制虚拟摄像机运动，将垂直渲染面和三维虚拟物体一起渲染，其中，在渲染时，垂直渲染面始终位于最底层。该终端实现了虚拟植入系统的虚拟摇臂效果，当虚拟摄像机进行任意推、拉、摇、移运动时，真实摄像机拍摄的实景和虚拟三维物体会按透视关系同步运动及缩放，而不会有任何穿帮现象。

本发明实施例的模块和/或单元，可以以通用集成电路(如中央处理器CPU)，或以专用集成电路(ASIC)来实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。本发明实施例的方法的步骤顺序可以根据实际需要进行调整、合并或删减。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种虚拟摇臂的实现方法，其特征在于，所述方法包括：

计算真实摄像机在实景中的空间位置参数信息；

将真实摄像机在实景中的空间位置参数信息赋给虚拟摄像机；

生成垂直渲染面，所述垂直渲染面在三维视锥体中，与投影平面平行，所述垂直渲染面在最大张角下渲染后投影到投影平面所对应的图像为真实摄像机拍摄到的实景的视频图像，且所述垂直渲染面随虚拟摄像机的焦距变化而缩放；

将真实摄像机拍摄的实景的视频图像贴图到所述垂直渲染面上；

将所述垂直渲染面对应到虚拟三维场景中，所述三维场景中有三维虚拟物体；

若接收到运动参数，根据所述运动参数控制虚拟摄像机运动；

将所述垂直渲染面和三维虚拟物体一起渲染，其中，在渲染时，所述垂直渲染面始终位于最底层。

2.如权利要求1所述的方法，其特征在于，在渲染时，除了所述垂直渲染面外，所述三维虚拟物体按深度排序进行渲染。

3.如权利要求1所述的方法，其特征在于，计算真实摄像机在实景中的空间位置参数信息是根据跟踪定位技术来实现的。

4.如权利要求1所述的方法，其特征在于，所述垂直渲染面位于所述三维视锥体的坐标原点处。

5.一种终端，其特征在于，所述终端包括：

计算单元，用于计算真实摄像机在实景中的空间位置参数信息；

赋予单元，用于将真实摄像机在实景中的空间位置参数信息赋给虚拟摄像机；

生成单元，用于生成垂直渲染面，所述垂直渲染面在三维视锥体中，与投影平面平行，所述垂直渲染面在最大张角下渲染后投影到投影平面所对应的图像为真实摄像机拍摄到的实景的视频图像，且所述垂直渲染面随虚拟摄像机的焦距变化而缩放；

贴图单元，用于将真实摄像机拍摄的实景的视频图像贴图到所述垂直渲染面上；

对应单元，用于将所述垂直渲染面对应到虚拟三维场景中，所述三维场景中有三维虚拟物体；

控制单元，用于若接收到运动参数，根据所述运动参数控制虚拟摄像机运动；

渲染单元，用于将所述垂直渲染面和三维虚拟物体一起渲染，其中，在渲染时，所述垂直渲染面始终位于最底层。

6.如权利要求5所述的终端，其特征在于，在渲染时，除了所述垂直渲染面外，所述三维虚拟物体按深度排序进行渲染。

7.如权利要求5所述的终端，其特征在于，计算单元是根据跟踪定位技术来计算真实摄像机在实景中的空间位置参数信息的。

8.如权利要求5所述的终端，其特征在于，所述垂直渲染面位于所述三维视锥体的坐标原点处。