CN101668126A - 一种用于虚拟演播室系统的实现无限蓝箱功能的方法 - Google Patents

Abstract

本发明涉及广电领域电视节目制播技术，具体涉及一种用于虚拟演播室系统的实现无限蓝箱功能的方法。该方法在蓝箱的补集区域生成面片结构，构成一个几何体，几何体的每一个面都是平面，每一个平面都作为掩膜，填充的信号为背景信号；当摄像机摇出蓝箱区域时，将这些作为掩膜的平面在Alpha缓存中渲染，同时根据前景、背景以及遮挡关系，将用于遮挡前景的三维物体提取出来在Alpha缓存中渲染，将渲染的图像合成一路视频信号通过Alpha通道输出到色键，作为外键与背景、前景实时合成生成一路体现三维效果的视频图像。本发明在使用过程中可以微调蓝箱尺寸来匹配不同的蓝箱尺寸以实现最终的遮挡效果，从而达到前景和背景的完美融合。

Description

一种用于虚拟演播室系统的实现无限蓝箱功能的方法

技术领域

本发明涉及广电领域电视节目制播技术，具体涉及一种用于虚拟演播室系统的实现无限蓝箱功能的方法。

背景技术

虚拟演播室是近几年发展起来的一种独特的电视节目制作技术。虚拟演播室系统由摄像机获取前景图像，并通过跟踪系统获取摄像机的运动参数，由延时器对摄像机输出的视频信号进行延时；图形工作站根据摄像机的运动参数实时生成三维虚拟场景的背景信号和掩模信号；将延时后的视频信号、三维虚拟场景信号和掩模信号在抠像合成器中进行图像合成并输出到录像设备。虚拟演播室系统充分应用了计算机三维图形和虚拟现实技术。它可以自动跟踪摄像机的位置、高度、摇移、俯仰以及镜头的聚焦和变焦等参数变化，计算机根据这些参数的变化，实时地改变虚拟三维场景，使虚拟背景的变化与摄像机的运动保持同步和一致，因此保证了前景和背景的正确透视关系，前景中的主持人看起来完全沉浸于计算机所产生的虚拟三维场景中，具有逼真的电视演播室效果。

但在实际演播室中，由于实际场地的限制，蓝箱的天花板可能较低或对于宽角度拍摄来说太窄，当摄像机进行推拉摇移等运动时，拍摄的图像中会有蓝箱以外的景物，图像输入到视频合成系统与虚拟场景抠像合成时，这些景物也会出现在输出的视频中，达不到所需要的前景图像和虚拟场景融合的效果。因此无限蓝箱功能显得尤为重要，当摄像机摇出蓝箱，无限蓝箱功能使得穿帮区域用背景填充，防止出现穿帮现象。这样使得摄像机可以任意自由度旋转，真正实现了虚拟背景和前景信号的完美融合。如果没有无限蓝箱技术，当摄像机摇出蓝箱区域时，那些不应出现的区域就会显示在合成画面上，将无法达到节目的制作要求，也谈不上逼真的合成效果。因此无限蓝箱技术对虚拟演播室系统而言至关重要。无限蓝箱技术通过外部生成的键信号，将前景视频图像中非蓝箱内的景物滤除，满足虚拟演播室系统的要求。

在实际使用虚拟演播室系统时必须使用无限蓝箱功能。无限蓝箱实际上是遮挡关系的一种，即将图像中超出蓝箱的区域遮住。它目前可以通过如下方法实现：

(1)采用图像算法，将摄像机拍摄的图像实时抠像，并将不需要的区域从图像中滤掉；

(2)生成前景掩膜，即在Alpha缓存中产生一个水平带，将这个水平带输入到视频合成系统，在与前景、背景一起合成时可以遮住不需要的区域；

(3)利用视频合成系统中控制键窗口。在视频合成系统中一般都有控制键窗口的功能，即控制抠像合成时的窗口，前景进行抠像时即将不需要的区域排除在键窗口之外，使得在合成时该区域为三维虚拟背景，达到遮挡的效果。

第一种方法需要增加一块图像处理卡，这增加了成本，并会增加系统延时，让人产生不真实感；后两种方法都需要根据蓝箱的几何尺寸大小建模，摄像机的位置、方向、视域可以通过摄像机参数跟踪系统得到，在计算机中通过得到的参数和蓝箱的模型实时计算出摄像机拍摄图像中超出真实蓝箱的区域。

发明内容

本发明的目的是提供一种采用掩膜技术在虚拟演播室系统中实现无限蓝箱功能的新方法，用户只需要输入目前真实蓝箱的尺寸实时调整长宽高的参数，并实时调整无限蓝箱的位置，不需要对蓝箱进行非常精确的测量，就可以达到遮挡的效果。

本发明的技术方案如下：一种用于虚拟演播室系统的实现无限蓝箱功能的方法，该方法在蓝箱的补集区域生成面片结构，构成一个几何体，几何体的每一个面都是平面，每一个平面都作为掩膜，填充的信号为背景信号；当摄像机摇出蓝箱区域时，将这些作为掩膜的平面在Alpha缓存中渲染，同时根据前景、背景以及遮挡关系，将用于遮挡前景的三维物体提取出来在Alpha缓存中渲染，将渲染的图像合成一路视频信号通过Alpha通道输出到色键，作为外键与背景、前景实时合成生成一路体现三维效果的视频图像。

进一步，如上所述的用于虚拟演播室系统的实现无限蓝箱功能的方法，其中，所述蓝箱的类型包括U型、左L型和右L型。

进一步，如上所述的用于虚拟演播室系统的实现无限蓝箱功能的方法，其中，U型蓝箱的补集区域包括顶棚区域、左右侧的蓝箱外的区域，以及地面的蓝箱以外区域；在左右侧的蓝箱外区域生成的面片结构的平面与蓝箱的侧壁成45度角。

左L型蓝箱的补集区域包括顶棚区域、左侧的蓝箱外区域、蓝箱右侧壁区域和右侧的蓝箱外区域，以及地面的蓝箱以外区域；在左右侧的蓝箱外区域生成的面片结构的平面与蓝箱的侧壁成45度角。

右L型蓝箱的补集区域包括顶棚区域、右侧的蓝箱外区域、蓝箱左侧壁区域和左侧的蓝箱外区域，以及地面的蓝箱以外区域；在左右侧的蓝箱外区域生成的面片结构的平面与蓝箱的侧壁成45度角。

如上所述的用于虚拟演播室系统的实现无限蓝箱功能的方法，其中，所述的构成几何体的面片尺寸根据真实蓝箱的长、宽、高来确定，向外延伸的长度大于或等于10米；通过对几何体尺寸进行微调来实现遮挡的效果。

如上所述的用于虚拟演播室系统的实现无限蓝箱功能的方法，其中，将真实蓝箱的背面与底面的交线的中点作为坐标原点，将所述几何体的定位点与该坐标原点保持一致，以实现无限蓝箱与虚拟场景的匹配关系。

本发明的有益效果如下：本发明所提供的无限蓝箱的实现方法采取初步确定真实蓝箱尺寸，在蓝箱的补集区域生成掩膜信号，使用背景作为填充信号，挡住所有的物体，实现无限蓝箱的遮挡功能。在使用过程中可以微调蓝箱尺寸来匹配不同的蓝箱尺寸以实现最终的遮挡效果，从而达到前景和背景的完美融合。

附图说明

图1为真实蓝箱的示意图。

图2为无限蓝箱示意图。

图3为U型蓝箱结构示意图。

图4为摄像机的视域结构图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细的描述。

本发明采用掩膜技术来实现无限蓝箱功能，也就是通过遮挡关系生成键信号。该方法根据目前蓝箱的基本类型：左L型，右L型，U型三种蓝箱类型，动态生成无限蓝箱，用户只需要输入目前真实蓝箱的尺寸实时调整长宽高的参数，实时调整无限蓝箱的位置，不需要对蓝箱进行非常精确的测量，就达到遮挡的效果。

以U型蓝箱为例，如图3所示，真实的长方形蓝箱由四个平面构成，摄像机的视域图为图4所示。摄像机有平摇、俯仰两个自由度，图4中View1对应摄像机竖直方向也就是俯仰的视角范围，View2对应摄像机水平方向也就是平摇的视角范围。当摄像机水平摇出View2的范围时，拍摄的图像中会有蓝箱以外的景物，图像输入到视频合成系统与虚拟场景抠像合成时，这些景物也会出现在输出的视频中，达不到前景和背景融合的效果。

本发明采用掩膜的方法实现遮挡，实现无限蓝箱技术。虚拟演播室有三种掩膜，通过色键来合成达到前景和背景的融合以及遮挡。

前景掩膜：从背景信号中生成。外部键标识盖住前景的区域在Alpha缓存中渲染，直接给色键。

背景掩膜：从前景信号中生成，盖住背景信号的部分区域。

外部掩膜：蓝箱的天花板可能较低，蓝箱的区域有限，因此我们可以通过蓝箱的几何尺寸，摄像机的位置来产生外部掩膜遮住真实天花板。通过虚拟场景创建一个天花板的模型充当前景掩膜，在Alpha缓存中产生一个水平带来实现遮挡关系，背景信号将填充到前景信号前面，实现无限蓝箱的遮挡关系。

本发明从蓝箱的结构出发，通过对蓝箱以外的区域采用掩膜的方式来实现无限蓝箱遮挡的功能。真实蓝箱的结构如图1所示，在电视制作过程中，容易穿帮的地方是上面的的顶棚，左右侧的蓝箱外的区域，以及将摄像机俯视到足够大的时候可以看到地面的蓝箱以外区域。这些地方都是穿帮的区域，本发明根据这些区域建立如图2所示的无限蓝箱的结构。

上述这些区域恰好是真实蓝箱的补集区域，本发明通过虚拟演播室系统对应的编辑系统可以生成面片结构(也可以用其它图形处理软件生成面片结构)，构建了一个几何体，几何体每一个面都是平面(平面I、II、III、IV)，每一个平面都可以用openGL渲染出来，每个面都作为掩膜，作为一种特殊的外键，填充信号为背景信号。这样，一旦摄像机摇出蓝箱区域，这些掩膜信号就可以发挥作用。当摄像机摇出蓝箱的区域时，计算机就将这些掩膜的平面，在Alpha缓存中渲染，同时根据前景、背景以及遮挡关系，将用于遮挡前景的三维物体提取出来在Alpha缓存中渲染，将渲染的图像合成一路视频信号通过视频卡的Alpha通道输出到色键，作为外键与背景、前景实时合成生成一路体现三维效果的视频图像。从而实现了无限蓝箱的效果。

在不同的虚拟演播室，蓝箱的尺寸不同，如何控制上述几何体的尺寸与当前的蓝箱尺寸相适应是本发明所要解决的另一个问题。

本发明在创建上述掩膜属性的几何体时，采用默认的几何尺寸。假设真实的蓝箱尺寸为长为L(mm)，宽为W(mm)，高为H(mm)，那么，只需要调整无限蓝箱的面板参数到这个尺寸，上述的几何体就可以做相应的空间变换到相应的尺寸，蓝箱的尺寸也不需要非常精确，用户可以对几何体进行微调就可以达到遮挡的效果。几何体的每一个面片向外延伸的长度一般可选择大于或等于10米，这都是根据经验所确定的，如从顶棚延伸出来的面片II的长度可定为15米，其它几个面片的长度可定为10米。另外，在左右侧的蓝箱外区域生成的面片结构的平面I、III与蓝箱的侧壁成45度角，这也是根据实际应用所确定的一个较为合理的参数，较容易满足拍摄的要求。

下面以调整蓝箱的高为例子描述如何调整无限蓝箱的尺寸实现遮挡效果。假设当前蓝箱高5000mm，根据粗略判断将无限蓝箱的尺寸定为5000mm，系统以蓝箱的地面为XZ平面，上述掩膜几何体的顶面在Y＝5000mm的位置。如果将摄像机往上仰视，还能看到蓝箱顶棚的灯光的话，就实时调整Y的大小，将Y减小，这样掩膜几何体顶面的位置就下移，就可以挡住蓝箱的顶棚，从而实现无限蓝箱的效果。对于调整蓝箱的长和宽也是一样，减小蓝箱长度，掩膜几何体向X轴方向靠拢；减小蓝箱宽度，掩膜几何体的底面将向Z轴负方向移动，从而实现无限蓝箱的遮挡关系。这种微调的尺寸都可以在实际应用当中根据具体情况而定，只要能实现遮挡即可。

对于不同的蓝箱类型，对应创建的蓝箱补集的面片结构也不同。对于左L型蓝箱，蓝箱没有右侧壁，面片结构不仅有上述的平面I、II、III、IV，同时需要增加一个蓝箱右侧壁的面片结构。同时进行空间变换的时候右侧壁的面片需要做相应的空间变换。当蓝箱长度增大的时候右侧壁需要沿X轴方向移动。右侧壁应该是YZ方向，大小为蓝箱高度×蓝箱深度。

右L型蓝箱与左L型蓝箱相类似，由于蓝箱没有左侧壁，面片结构不仅有上述的平面I、II、III、IV，同时需要增加一个蓝箱左侧壁的面片结构。同时进行空间变换的时候左侧壁的面片需要做相应的空间变换。当蓝箱长度增大的时候左侧壁需要沿X轴负方向移动。左侧壁也是YZ方向，大小为蓝箱高度×蓝箱深度。

另外，在实现无限蓝箱的功能时还需要保证无限蓝箱和虚拟场景的坐标关系一致，这样才能确保无限蓝箱的遮挡作用。一般定位需要以真实蓝箱的后面与底面的交线的中点为坐标原点，只需要将上述几何体的定位点和这个坐标原点保持一致就可以保持无限蓝箱和虚拟场景的匹配关系。

本发明采用的无限蓝箱的实现方法采取初步确定真实蓝箱尺寸，在蓝箱的补集区域生成掩膜信号，使用背景作为填充信号，挡住所有的物体，实现无限蓝箱的遮挡功能。在使用过程中可以微调蓝箱尺寸来匹配不同的蓝箱尺寸来实现最终的遮挡效果，从而达到前景和背景的完美融合。

本发明所述的方法并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。

Claims (7)

1.一种用于虚拟演播室系统的实现无限蓝箱功能的方法，其特征在于：该方法在蓝箱的补集区域生成面片结构，构成一个几何体，几何体的每一个面都是平面，每一个平面都作为掩膜，填充的信号为背景信号；当摄像机摇出蓝箱区域时，将这些作为掩膜的平面在Alpha缓存中渲染，同时根据前景、背景以及遮挡关系，将用于遮挡前景的三维物体提取出来在Alpha缓存中渲染，将渲染的图像合成一路视频信号通过Alpha通道输出到色键，作为外键与背景、前景实时合成生成一路体现三维效果的视频图像。

2.如权利要求1所述的用于虚拟演播室系统的实现无限蓝箱功能的方法，其特征在于：所述蓝箱的类型包括U型、左L型和右L型。

3.如权利要求2所述的用于虚拟演播室系统的实现无限蓝箱功能的方法，其特征在于：U型蓝箱的补集区域包括顶棚区域、左右侧的蓝箱外的区域，以及地面的蓝箱以外区域；在左右侧的蓝箱外区域生成的面片结构的平面与蓝箱的侧壁成45度角。

4.如权利要求2所述的用于虚拟演播室系统的实现无限蓝箱功能的方法，其特征在于：左L型蓝箱的补集区域包括顶棚区域、左侧的蓝箱外区域、蓝箱右侧壁区域和右侧的蓝箱外区域，以及地面的蓝箱以外区域；在左右侧的蓝箱外区域生成的面片结构的平面与蓝箱的侧壁成45度角。

5.如权利要求2所述的用于虚拟演播室系统的实现无限蓝箱功能的方法，其特征在于：右L型蓝箱的补集区域包括顶棚区域、右侧的蓝箱外区域、蓝箱左侧壁区域和左侧的蓝箱外区域，以及地面的蓝箱以外区域；在左右侧的蓝箱外区域生成的面片结构的平面与蓝箱的侧壁成45度角。

6.如权利要求1或2或3或4或5所述的用于虚拟演播室系统的实现无限蓝箱功能的方法，其特征在于：所述的构成几何体的面片尺寸根据真实蓝箱的长、宽、高来确定，向外延伸的长度大于或等于10米；通过对几何体尺寸进行微调来实现遮挡的效果。

7.如权利要求6所述的用于虚拟演播室系统的实现无限蓝箱功能的方法，其特征在于：将真实蓝箱的背面与底面的交线的中点作为坐标原点，将所述几何体的定位点与该坐标原点保持一致，以实现无限蓝箱与虚拟场景的匹配关系。

Images