CN101827207A - 一种主持人可视化的三维虚拟演播室互动控制的系统 - Google Patents

Abstract

本发明涉及一种主持人可视化的三维虚拟演播室互动控制系统和控制方法，该可视化控制系统解决了在虚拟演播室节目中，主持人只能从属于被动的地位，无法直观地对整个虚拟场景进行交互和控制的问题。在现有的虚拟演播室中，主持人只能通过观察旁边的监视器来了解自己在整个虚拟场景中所处的位置，后台导控人员通过耳麦向主持人传递命令告之其做出触发场景动画的动作，导控人员同时触发场景动画，因此在整个过程中主持人与后台控制人员的衔接是个难以解决的问题，该系统通过在不影响整个虚拟场景录制的前提下，提供给主持人可视化的控制界面，所有的场景动画触发完全由主持人操控，大大提升了节目的录制效果，而控制界面并不出现在最终的合成输出画面中影响整个虚拟场景。该系统主要特点在于对控制界面的蓝色化多层处理以及双界面同步控制功能，具体的实现方法见(五)具体实施方式。该系统可应用于电视台虚拟演播室以及其他虚拟交互演示场合。

Description

一种主持人可视化的三维虚拟演播室互动控制的系统

(一)技术领域：

本发明主要涉及一种在三维虚拟演播室中通过触摸屏来实现对虚拟场景动画可视化控制的互动控制技术，是一种涉及电视台互动虚拟演播室播报，及其他领域的高端互动多媒体展示应用的人机互动虚拟演示系统。

(二)背景技术：

本发明是一种3D虚拟实时渲染引擎技术和可视化控制技术的结合，其中3D实时渲染引擎技术是一种目前广泛应用于电视台虚拟演播室的技术，它通过硬件将预先制作好的3D动画、虚拟场景在播出时实时地渲染出来并通过抠像合成技术与主持人、嘉宾的画面相结合，从而实现一种3D虚拟场景下的播报应用。其特点是利用3D技术能实现各种绚目的3D效果和虚拟三维物体的引入，并在同一节目中实现不同场景的切换，而完成很多实景演播室中不能达到的效果。

该类3D虚拟演播室的应用在广电有如下特点：

1、可渲染用通用的三维软件制作的场景

3D虚拟演播室系统。除兼容二维外，可用通用的三维软件如3d Studio Max及Maya制作出来的带有材质、虚拟灯光与摄像机、动画等三维场景。通过异常强大的硬件渲染器功能，可实时把三维物件或动画渲染成全D1分辨率，32位彩色的视频。

2、可直通实况或预录视频

当把视频与3D图像相混时，3D虚拟演播室系列可使使用者把直通视频粘贴到虚拟场景中的物件表面。可支持多路实况直通视频及多路AVI/MPEG视频，全D1分辨率或低一些。并能做出诸如玻璃或水波纹等效果。

3、可实现虚拟模块积木式组合

虚拟场景、虚拟大屏幕、虚拟物体、虚拟特效、外来视频、动画文件相互独立，可以随时积木式组合，并且均可以采用所见即所得的方式进行任意的运动轨迹编辑，均可以实现三维平移、旋转和缩放，并保证正确的透视关系。

4、可虚拟多个视频窗口

虚拟场景中可以添加多个虚拟大屏幕窗用于播放不同的视频，其中可播放两路外视频，并且不论虚拟大屏幕的位置如何，都能确保大屏幕中视频画面的广播级质量。虚拟大屏幕中的视频信号可接受分量视频、数字视频信号。

5、独特的虚拟摄像机让你可以从任何角度展示场景

虚拟摄像机可以用来拍摄远超出演播室范围的场景部分，即无限蓝箱功能。虚拟摄像机所拍片段可以和真实摄像机所拍的无缝结合在一起。

6、系统具有前景深度键功能

通过该功能可以方便的实现主持人在三维虚拟场景中的穿越和遮挡；并且无需任何操作就可以实现虚拟物体、虚拟视频板和虚拟特效环绕主持人运动，实现自动遮挡。节目主持人在虚拟背景层间可进行穿越，使得合成的画面更加真实。可实现刮风、下雨、下雪、太空遨游、火山爆发等虚拟效果，使节目制作更加真实和奇特。

7、系列系统具有多机位双通道功能

使得不同机位的输出可以方便的进行特技切换，实现淡入、淡出、划像、DVE等效果，也方便的实现了预监功能。

8、系列灵活性大、使用简便

当场景更换、机位变动时，重新进行摄像机与虚拟背景的定位非常简便，所有参数由计算机自动测定，操作人员仅需点击鼠标进行确认，前后仅需数分钟即可完成；

一旦定位完成，只需简单地按传统的摄像方法对摄像机作推拉、平摇和俯仰操作，即可实现虚拟节目制作。即使作多机位间切换，所需动作仅仅是用鼠标点击摄像机的视窗而已，且前景、背景、大屏幕窗口播出等多种视频成份均可在同帧场逆程内完成，保证了多机位切换无闪烁、无跳动、无黑场的无缝切换。

一个操作人员，即使是他接触时间不长，也会方便地操作本系统。操作人员用键盘、鼠标和手柄既可执行预设的节目单，也可进行修改。

9、系列可与其它A/V录制/编辑设备集成

任何的模拟或数字视音频输出都可与不同档次的A/V录制/编辑设备、特效、字幕、制作切换台集成，甚至连实时MPEG编码器进行压缩数字视音频的网络传输(含因特网)。

3D渲染引擎的常规控制技术是通过各家公司独自编写的控制软件来实现3D场景的编排、控制与参数设定。安装在后台的控制机上，控制人员通过软件与演播室中的主持人配合完成场景的切换和各种3D效果的控制。

因为受制于后台控制人员与前端主持人之间的协调同步问题使该类虚拟演播室节目在主持人的现场发挥和整体节目的连贯性上都大受影响，主持人不得不随时注意听耳脉中后台导播的指令，并且时刻观察旁边的监视器了解自己所处的位置，所做的动作是否到位，节目表现形式单一，仅仅是将背景和主持人合成在一起。

本发明为主持人提供了可视化的控制手段，将节目场景的控制权从导播移交到了主持人手中，主持人可通过触摸屏中的蓝色可视控制界面来进行控制，从而大大提高了主持人的能动性，使节目场景的切换更为自然流畅，而且支持人和虚拟场景中的物体也可实现交互，大大丰富了节目的表现力。

本发明涉及的主要背景技术还包括：

1.虚拟演播室抠蓝技术：这是一种较为普遍地运用于虚拟演播室的基础技术，是现代计算机图形处理技术与传统色键抠像技术相结合的产物.它可以把现场视频与计算机生成的场景影像，按照一定的透视关系(在合成时将现场视频画面中的蓝色部分抠去)实时无缝地进行合成，虚拟出真实演员置身于虚拟场景中的画面输出，以满足人们不断提高的欣赏要求.它的出现是对传统演播室技术的一次重大变革.在虚拟演播室系统中，跟踪技术和色键技术的好坏，是一个系统性能好坏的关键。

2.同步控制技术，该技术实现了用单一触摸屏同时控制两台计算的功能，该技术主要运用于对两个控制界面的同步操控。

(三)发明内容：

1、一种主持人可视化的三维虚拟演播室互动控制的方法，其特征在于，利用蓝色MASK技术与可视化三维场景控制技术结合，达到在虚拟演播室节目录制时整个虚拟场景的控制与互动完全交由主持人，主持人能够看到控制界面的图像并进行操作，控制界面的图像在信号合成时被抠像，从而不出现在最终画面中；

2、一种主持人可视化的三维虚拟演播室互动控制的方法，其主要步骤包括：

1)控制界面图象层的制作步骤，该层提供主持人在操作时的内容组织及显示，作为可视化操作的图象界面；

2)蓝色MASK层添加步骤，在图象层上添加一层半透明的蓝色MASK遮罩从而将图象层的内容变为蓝色，使其在信号合成时被抠去而不出现在最终画面中；

3)操作层制作步骤，该层在图象和蓝色MASK层上，用于设置操作按钮从而对三维虚拟场景进行控制，操作按钮呈蓝色；

4)同步输出步骤，对底层图象层提供完全同步的两路信号，一路信号添加蓝色遮罩和操作层，另一路信号输出给渲染输出设备提供未经蓝色处理的控制界面画面的导入；

3、如权利要求2主持人可视化的三维虚拟演播室互动控制的方法，所述的操作层制作步骤，其中的操作按纽可以是矩形框、圆圈、图片，其颜色呈蓝色，该蓝色的色度、饱和度与MASK层的蓝色有可视化的差异，但同样可在信号合成时被抠像，在节目录制时需要调试以达到最佳效果；

4、如权利要求2主持人可视化的三维虚拟演播室互动控制的方法，所述的图像层、蓝色MASK层、操作层的制作都是通过软件来实现，其中图像层的内容可通过采入虚拟场景作为参照图象，也可通过软件直接制作组织；

5、如权利要求2所述的每个图像层、蓝色MASK层、操作层组成一个组，对应操作一组虚拟场景，不同的图像层、蓝色MASK层、操作层组成多个组，分别对应操作不同的虚拟场景，不同组之间通过操作层上的按钮同步切换；

6、一种主持人可视化的三维虚拟演播室互动控制的系统，其特征在于，系统包括；

1)控制界面制作软件：提供底层控制图象的制作，蓝色MASK层的叠加，以及操作层的制作，并将对应的三层内容归于一个组，该软件放在触摸屏工作站中；

2)触摸屏：提供给主持人控制场景的终端设备，触摸屏整体为蓝色；

3)三维场景制作工作站：该工作站可以导入通用三维制作软件制作完成的三维场景文件，也可自行创建三维场景模版，并需要导出物体的属性参数；

4)播出控制工作站：用于提供场景动画播放列表、场景动画预览、场景的参数设定；

5)触摸屏控制工作站：用于控制界面的制作、编辑以及提供二维内容的互动功能；

6)实时渲染输出引擎：该引擎主要用于三维动画地实时渲染，播出控制工作站根据接口协议驱动渲染输出引擎，即驱动三维渲染引擎对场景进行实时渲染，并输出视频；

7、如权利要求6一种主持人可视化的三维虚拟演播室互动控制的系统，其中所述的控制界面制作软件完成了底层控制图象层的内容组织，内容可以是通过采入实时渲染引擎输出的虚拟场景作为参照，也可以通过该软件自行组织，同时也负责蓝色遮罩的叠加工作可以对MASK的大小、色度、透明度进行调整以达到最价效果，该软件在对操作层的制作时通过添加对象框、图标来设置控制按钮；

8、如权利要求6控制界面制作软件生成的控制界面组为两套内容完全一样的控制界面，其中一套有蓝色遮罩的叠加，以在节目录制时将该界面的内容在最终合成画面中抠去，另一部分将原有的画面信号输入到渲染引擎中用于与虚拟场景视频信号地整合，作为一路实时视频信号出现在最终场景中；

9、如权利要求10控制界面制作软件生成的两套控制界面分别放置于两台触摸屏控制计算机中，两台控制计算机都与触摸屏相连，主持人控制的触摸屏可同时控制两台计算机；

10、如权利要求10一种主持人可视化的三维虚拟演播室互动控制的系统，其中所述的触摸屏的支架部分及连接线均被涂上特定的蓝色，在触摸屏外套上一层木制的蓝色遮罩，中间挖空部分略小于显示区域，从而整个触摸屏装置在录制时应蓝色而被抠去；

社会效益和经济效益

1.可视化虚拟互动系统可改善目前虚拟节目形式单一，节目主持人可以通过可视化的操作界面完成对整个虚拟场景的控制，可大大提高虚拟节目表现形式的丰富性。

2.可视化虚拟互动系统将控制权移交给主持人或节目参与者，在电视演播领域是一个革命性的突破，人与虚拟场景的互动依赖不再仅仅于后台技术人员的配合控制，这将大大节约节目录制的人力成本，提供录制效率。

3.可视化虚拟互动系统中各种控制手段的引入带来了虚拟节目设计理念的创新，可实现以往在虚拟演播室内无法实现的节目类型，有利于虚拟演播室在价值的提升。

4.可视化虚拟互动系统除应用于电视台演播领域外，还可利用于其他的高端展示场合，如各类高端展览会、三维仿真实验室、军事指挥中心等，各种控制手段的引入将对三维虚拟技术的应用和推广起很大的推动作用。

(四)附图说明：

附图1所示的是可视化界面的原理图；

附图2所示的是控制界面的功能演示图，用来说明整个控制界面的应用情况；

附图3所示的是触摸屏外框制作图，用来辅助阐述外框的制作细节；

附图4所示的是单触摸屏工作站系统的系统配置图，用于说明对于只将控制界面作为操作界面并不导入到最终场景中的系统的硬件架构；

附图5所示的是双触摸屏工作站系统的系统配置图，用于说明对于需要将控制界面的内容导入到最终场景中的系统的硬件架构；

附图6所示是控制模式一(只将控制界面作为操作界面)的工作原理图；

附图7所示是控制模式二(需要将控制界面的内容导入到最终场景中)的工作原理图；

(五)具体实施方式

1.系统架构

1.1.1可视化虚拟互动系统控制界面的制作

控制界面的制作是通过控制界面制作软件来完成的，该软件在制作时将控制界面分为三个层，包括在最底层的图象层、中间的蓝色MASK层、最上层的操作层。(如图1所示)。

各功能如下：

1)图象层：该层提供主持人在操作时的参考内容的制作及显示，该层的内容可以是采入的虚拟场景视频信号，从而主持人能够直观地了解到场景的变化，也可以是由控制界面制作软件独立制作，提供给主持人操作时的一个参考界面；

2)蓝色MASK层：该层在图象层之上，是一层半透明的蓝色MASK遮罩，使图象层的内容看起来成蓝色，因而整个控制界面在信号合成时被抠去而不出现在最终画面中；

3)操作层：该层在图象和蓝色MASK层上，用于设置操作按钮从而对三维虚拟场景进行控制，操作按钮成蓝色。

在制作时先通过软件制作生成图象层的内容(导入虚拟视频场景或者自己生成的二维参考图像)将图象层的背景颜色设置为蓝色，然后加上蓝色的MASK层，根据图象层内的内容大小，调节MASK层的大小，并将摄像机对准触摸屏进行拍摄，启动后台合成设备，查看触摸屏屏幕显示区域被抠蓝的情况。调节MASK层的色度和透明度使触摸屏屏幕显示区域在最终的合成画面中被完全抠去。

启动虚拟场景，调整触摸屏的位置使其被放置到对应的地点。根据虚拟场景的实际情况开始制作操作层的内容，在对应的位置添加对象框，通过监视器查看对象框是否与虚拟场景中预先设计的位置重合，并设置对象框的功能为对应的动画指令。在每个对象框上方用蓝色的文字写上该对象框的功能，使主持人能够了解自己需要触摸的对象框。其中对象框的指令可以是：播放场景中的下一个动画；回放当前场景的上一个动画；动画的播放、暂停、停止；任意一指定动画的播放。

在制作完第一个控制界面后，我们将场景调整到下一个播放场景重复上面的制作步骤，制作完成第二个控制界面。确保两个控制界面与虚拟场景的控制完全吻合，并能在生成画面中完全被抠去。

打开第一个控制界面，在操作层上添加一个对象框，对该对象框同时定义两个功能，一个是将控制界面的内容切换到第二个控制界面；另一个是将后台的虚拟场景切换到第二个场景的初始画面。从而主持人可对多个控制界面进行操作并能随意切换控制界面。依次完成一个节目所需要的若干个控制界面，并按节目的流程设置好之间的切换按钮。(如图2所示)

这样主持人能看到控制界面的内容进行互动控制，而在最终的合成画面中整个控制界面因为呈蓝色而被抠去。

对于要将控制界面的内容输入到虚拟场景中的情况，在完成以上的工作后，我们将整个控制界面内容包拷贝到另一个同步工作站中，并用软件依次将所有的控制界面的蓝色MASK遮罩删去，并将操作层上的对象框的边框设置为无色，从而使底层控制界面的内容直接输入到虚拟场景中。

1.1.2触摸屏的二次加工

先将触摸屏的移动架涂上特定的蓝色油漆，均匀的将每一部分涂染，等油漆干后置于演播室中，打开摄象机启动后台设备查看其是否完全被抠去。再制作一个正好套在触摸屏上的木制罩子，将罩子的正面涂上相同的蓝色油漆，罩子的正面挖出一个比触摸屏显示区域略小的镂空，罩在触摸屏上摄象机能够拍出显示的内容，不会拍进触摸屏四周的红外对管区域。最终确认整个触摸屏在拍摄的最终画面会被完全抠去。(如图3所示)

1.1.3系统的工作流程

触摸屏对虚拟场景的控制分为两种模式：

1.控制模式一：触摸屏仅作为可视化的控制界面，为主持人提供控制平台，触摸屏显示的画面不出现在最终的场景输出画面中。系统配置图(如图4所示)

2.控制模式二：触摸屏作为可视化的控制界面同时触摸屏显示的画面也整合入最终的场景输出画面中，主持人对两种内容同步交互控制。系统配置图(如图5所示)

对于第一种模式，主持人所使用的触摸屏显示的画面为全蓝色的背景，预先设定功能和位置的蓝色矩形框以及蓝色文字，主持人通过蓝色内容的深浅不同可以识别出矩形框的位置来进行操作(如图6所示)。在节目录制时主持人点击矩形框，触摸屏控制工作站将控制信号通过内部局域网络向播出控制工作站发送信息，播出控制工作站接收到指令后按预先设定的协议向渲染引擎发出指令，渲染引擎按指令播放特定的场景、动画并同时输出一路SDI视频信号直接接入导控台系统。在实际的录制过程中触摸屏上会显示多个矩形框和文字来对应不同的场景播放功能，并且需要将触摸屏的放置位置、高度与作好的虚拟场景对应起来，如：一档游戏抢答节目，我们在触摸屏上显示两个矩形框并分别标上文字A和文字B，调整触摸屏位置使两个矩形框与虚拟场景中的A、B两个按钮位置对应起来，参加游戏的人在点击矩形框时整个合成画面的效果就如同点击虚拟场景中的按钮，并触发了对应答对或答错的场景动画。(如图6所示)

对于第二种模式，主持人所使用的触摸屏通过RS232分别与两台触摸屏控制工作站相连(如图5所示)，两台触摸屏工作站的系统软件内容完全一样。因此可以通过触摸屏同时控制两台工作站，两台工作站的唯一区别是其中一台工作站的VGA输出信号输入到触摸屏中，这台工作站输出的信号内容是加上了一个半透明蓝色遮罩的控制界面。另一台控制工作站的信号输出到渲染引擎中，不加任何遮罩，因此画面中呈现原有的样子，在合成的场景中把该信号作为一路视频信号整合于其中。由于两个控制界面除颜色外完全相同，因此在主持人对控制界面的操作会完全同步的出现在最终的合成场景中。从而完成了二维控制界面与三维虚拟场景的图像整合。如主持人操控图像层里通过制作软件制作的电子报纸，通过触摸屏对报纸进行放大、缩小、批注等操作，图象层的画面被采入到最后的合成场景中，整个节目最终呈现主持人在一个虚拟的背景中对空中的报纸做着批注、放大、缩小的互动效果来讲解报纸的内容。(如图7所示)。

Claims (10)

1.一种主持人可视化的三维虚拟演播室互动控制的方法，其特征在于，利用蓝色MASK技术与可视化三维场景控制技术结合，达到在虚拟演播室节目录制时整个虚拟场景的控制与互动完全交由主持人，主持人能够看到控制界面的图像并进行操作，控制界面的图像在信号合成时被抠像，从而不出现在最终画面中。

2.一种主持人可视化的三维虚拟演播室互动控制的方法，其主要步骤包括：

1)控制界面图象层的制作步骤，该层提供主持人在操作时的内容组织及显示，作为可视化操作的图象界面；

2)蓝色MASK层添加步骤，在图象层上添加一层半透明的蓝色MASK遮罩从而将图象层的内容变为蓝色，使其在信号合成时被抠去而不出现在最终画面中；

3)操作层制作步骤，该层在图象和蓝色MASK层上，用于设置操作按钮从而对三维虚拟场景进行控制，操作按钮呈蓝色；

4)同步输出步骤，对底层图象层提供完全同步的两路信号，一路信号添加蓝色遮罩和操作层，另一路信号输出给渲染输出设备提供未经蓝色处理的控制界面画面的导入

3.如权利要求2主持人可视化的三维虚拟演播室互动控制的方法，所述的操作层制作步骤，其中的操作按纽可以是矩形框、圆圈、图片，其颜色呈蓝色，该蓝色的色度、饱和度与MASK层的蓝色有可视化的差异，但同样可在信号合成时被抠像，在节目录制时需要调试以达到最佳效果。

4.如权利要求2主持人可视化的三维虚拟演播室互动控制的方法，所述的图像层、蓝色MASK层、操作层的制作都是通过软件来实现，其中图像层的内容可通过采入虚拟场景作为参照图象，也可通过软件直接制作组织。

5.如权利要求2所述的每个图像层、蓝色MASK层、操作层组成一个组，对应操作一组虚拟场景，不同的图像层、蓝色MASK层、操作层组成多个组，分别对应操作不同的虚拟场景，不同组之间通过操作层上的按钮同步切换。

6.一种主持人可视化的三维虚拟演播室互动控制的系统，其特征在于，系统包括：

1)控制界面制作软件：提供底层控制图象的制作，蓝色MASK层的叠加，以及操作层的制作，并将对应的三层内容归于一个组，该软件放在触摸屏工作站中；

2)触摸屏：提供给主持人控制场景的终端设备，触摸屏整体为蓝色；

3)三维场景制作工作站：该工作站可以导入通用三维制作软件制作完成的三维场景文件，也可自行创建三维场景模版，并需要导出物体的属性参数；

4)播出控制工作站：用于提供场景动画播放列表、场景动画预览、场景的参数设定；

5)触摸屏控制工作站：用于控制界面的制作、编辑以及提供二维内容的互动功能；

6)实时渲染输出引擎：该引擎主要用于三维动画地实时渲染，播出控制工作站根据接口协议驱动渲染输出引擎，即驱动三维渲染引擎对场景进行实时渲染，并输出视频

7.如权利要求6一种主持人可视化的三维虚拟演播室互动控制的系统，其中所述的控制界面制作软件完成了底层控制图象层的内容组织，内容可以是通过采入实时渲染引擎输出的虚拟场景作为参照，也可以通过该软件自行组织，同时也负责蓝色遮罩的叠加工作可以对MASK的大小、色度、透明度进行调整以达到最价效果，该软件在对操作层的制作时通过添加对象框、图标来设置控制按钮。

8.如权利要求6控制界面制作软件生成的控制界面组为两套内容完全一样的控制界面，其中一套有蓝色遮罩的叠加，以在节目录制时将该界面的内容在最终合成画面中抠去，另一部分将原有的画面信号输入到渲染引擎中用于与虚拟场景视频信号地整合，作为一路实时视频信号出现在最终场景中。

9.如权利要求10控制界面制作软件生成的两套控制界面分别放置于两台触摸屏控制计算机中，两台控制计算机都与触摸屏相连，主持人控制的触摸屏可同时控制两台计算机。

10.如权利要求10一种主持人可视化的三维虚拟演播室互动控制的系统，其中所述的触摸屏的支架部分及连接线均被涂上特定的蓝色，在触摸屏外套上一层木制的蓝色遮罩，中间挖空部分略小于显示区域，从而整个触摸屏装置在录制时应蓝色而被抠去。

Images