CN102243064A

CN102243064A - 虚拟演播室中摄像机的位置和姿态的测定系统及方法

Info

Publication number: CN102243064A
Application number: CN2011101028176A
Authority: CN
Inventors: 刘林运; 温晓晴
Original assignee: SHENZHEN DLP DIGITAL TECHNOLOGY CO LTD
Current assignee: SHENZHEN DLP DIGITAL TECHNOLOGY CO LTD
Priority date: 2011-04-22
Filing date: 2011-04-22
Publication date: 2011-11-16

Abstract

本发明公开了一种虚拟演播室中摄像机的位置和姿态的测定系统和方法，该系统包括待测定的前景摄像机及固定前景摄像机的支撑设备，测定系统还包括：安装在支撑设备上的至少一个光发射装置；安装在虚拟演播室内的屋顶和/或四周墙壁上的至少一个检测摄像机，且至少一个检测摄像机用于在前景摄像机活动范围内对光发射装置产生的光图形进行实时图像采集；服务器，用于根据至少一个检测摄像机实时采集的图像提取特征点，并根据所提取的特征点计算光发射装置的位置，然后根据光发射装置与前景摄像机的位置关系确定前景摄像机的位置和姿态。实施本发明的技术方案，可适用于任何演播室摄像机、便于固定及拆装，且准确及稳定。

Description

虚拟演播室中摄像机的位置和姿态的测定系统及方法

技术领域

本发明涉及视频图像处理技术，尤其涉及一种虚拟演播室中摄像机的位置和姿态的测定系统及方法。

背景技术

虚拟演播室是近年发展起来的一种独特的电视节目制作技术。它的实质是将计算机制作的虚拟三维场景与摄像机现场拍摄的人物活动图像进行数字化的实时合成，并使人物与虚拟背景能够同步变化，从而实现两者天衣无缝的融合，以获得完美的合成画面。

在虚拟演播室节目制作过程中，确定摄像机的位置和姿态信息非常关键。摄像机的位置和姿态的测定原理是将检测到的摄像机的推、拉、摇、移、聚焦、变焦乃至升降等传感部位的运动数据，通过一个“传感器”装置传输到“跟踪器”，这样，理想情况下，前景摄像机与虚拟演播室中“虚拟”的摄像机被相对地锁定在一个位置上。当现场演播室摄像机运动时，虚拟摄像机受跟踪器的控制可以实时地与前景摄像机保持同步，而不至于在移动前景摄像机时，实际演员和虚拟景物在虚拟演播室中的位置关系发生变化，在视觉上会造成不真实的效果。

目前，国内外众多厂商针对摄像机的位置和姿态的测定提出了多种解决方案，大致分为机械传感式和光学识别式两大类，但都或多或少存在一些缺陷，制约了虚拟演播室的实际应用，现简述如下：

1.基于摇臂的机械式跟踪系统。其基本原理为对摄像机的云台、三角架及摇臂进行机械改造，加装齿轮等机械传感装置，然后通过光栅旋转编码器等光电传感器测量出摄像机的平移、旋转等运动参数。其优点为系统安全可靠，部分参数的测量精度高；缺点非常明显：属于接触式跟踪系统，需要针对不同的云台、摇臂进行不同的改造，跟踪精度和云台、摇臂的臂长等特性有关，摇臂较长时易产生抖动，不能使用。

2.导轨式跟踪系统。其基本原理为在云台三角架及导轨的轮轨上进行机械加工改造并加装传感器，通过传感器与导轨的接触测出摄像机的平移运动参数。这种方法在低端场合也能应用。其缺点是属于接触式跟踪系统，精度值受滑动摩擦影响,使用不方便，稳定性低，且摄像机的高度变化无法测量，在摇臂上无法使用。

3.网格识别跟踪系统。其基本原理为在演播室的蓝箱背景上贴上不同色饱和度的蓝色网格，前景摄像机拍摄后通过色键技术识别网格图像，并根据网格图像的变化计算出摄像机的运动参数。其优点是属于无接触式跟踪系统，应用方便.但缺点很多：精度不高；当前景物体多或摄像机局部特写而使得网格被前景遮挡时无法应用，造成系统不稳定；为了能聚焦到网格上导致前景模糊不清或为了使前景清晰导致网格模糊，使得识别精度下降；为了识别不同色饱和度的蓝色信号而使得系统的色键质量下降；该方法一般不能独立使用。

4.红外识别跟踪系统。其基本原理为在前景摄像机的顶部加装呈一定立体角度的五个红外源球体，并在摄像机的上方空间加装一定数量的红外摄像机，系统通过红外摄像机测定红外源的位置变化而计算出前景摄像机的运动参数。其优点是属于无接触式跟踪，使用方便；缺点是该红外源体积较大，并且必须架设在摄像机机身上方，很难固定，导致摄像机的拆装不方便，同时并不是所有的摄像机都可以使用该跟踪系统，很多摄像机由于机身上方没有把手而无法固定红外源。

5.辅助摄像机光图形接力跟踪系统。其基本原理为在前景摄像机下方的云台上加装一个辅助摄像机，并在前景摄像机的上方或四周空间加入不同色彩或亮度的光图形，通过辅助摄像机拍摄光图形的特征点变化而计算出前景摄像机的运动参数。其优点是属于无接触式跟踪，使用方便；缺点是考虑到摇臂的无关性和遮挡的因素一般都是将云台进行加工改造后将辅助摄像机加装在云台的旁边而且方向垂直向上，将光图形置于摄像机上方并且处于水平位置，由于辅助摄像机较重并要求辅助摄像机距离云台较远（20cm以上）且较高（辅助摄像机镜头要高于前景摄像机机身，一般40cm以上），因此在使用时辅助摄像机容易颤动，而这种轻微颤动都会导致辅助摄像机拍摄角度的变化，这种角度变化会随着摇臂臂长的传导而放大并引起最终计算的前景摄像机的位置的大幅抖动（当然辅助摄像机的颤动也会引起摄像机位置的变化，但位置变化对前景摄像机的最终位置变化的影响可以忽略不计），因此导致前景摄像机的位置测量精度的下降，因此这种方法在市场上鲜有应用。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种虚拟演播室中摄像机的位置和姿态的测定系统，属于无接触式，可适用于任何演播室摄像机、便于固定及拆装，且准确及稳定。

本发明解决其技术问题采取的技术方案是：构造一种虚拟演播室中摄像机的位置和姿态的测定系统，包括待测定的前景摄像机及固定所述前景摄像机的支撑设备，所述测定系统还包括：

安装在所述支撑设备上的至少一个光发射装置；

安装在虚拟演播室内的屋顶和/或四周墙壁上的至少一个检测摄像机，且所述至少一个检测摄像机用于在所述前景摄像机活动范围内对所述光发射装置产生的光图形进行实时图像采集；

服务器，用于根据所述至少一个检测摄像机实时采集的图像提取特征点，并根据所提取的特征点计算所述光发射装置的位置，然后根据光发射装置与所述前景摄像机的位置关系确定所述前景摄像机的位置和姿态。

在本发明所述的虚拟演播室中摄像机的位置和姿态的测定系统中，所述光发射装置为红外发射装置，所述检测摄像机为红外摄像机。

在本发明所述的虚拟演播室中摄像机的位置和姿态的测定系统中，所述支撑设备为云台、三脚架、摇臂、导轨。

在本发明所述的虚拟演播室中摄像机的位置和姿态的测定系统中，所述检测摄像机采集所述光图形的色彩、亮度像素信息。

本发明还构造一种虚拟演播室中摄像机的位置和姿态的测定方法，包括：

安装在待测定的前景摄像机的支撑设备上的至少一个光发射装置产生光图形；

安装在虚拟演播室内的屋顶和/或四周墙壁上的至少一个检测摄像机在所述前景摄像机活动范围内对所述光发射装置产生的光图形进行实时图像采集；

服务器根据所述至少一个检测摄像机实时采集的图像提取特征点，并根据所提取的特征点计算所述光发射装置的位置，然后根据光发射装置与所述前景摄像机的位置关系确定所述前景摄像机的位置和姿态。

在本发明所述的虚拟演播室中摄像机的位置和姿态的测定方法中，所述光发射装置为红外发射装置，所述检测摄像机为红外摄像机。

在本发明所述的虚拟演播室中摄像机的位置和姿态的测定方法中，所述支撑设备为云台、三脚架、摇臂、导轨。

在本发明所述的虚拟演播室中摄像机的位置和姿态的测定方法中，所述检测摄像机采集所述光图形的色彩、亮度像素信息。

实施本发明的技术方案，具有以下有益效果：

首先，本方案属于无接触式，使用方便、精度高、抗干扰能力强、受环境（温度、声波等）影响小、几乎不需要改造支撑设备结构、与前景对象、色键效果等无关系。

其次，由于是将光发射装置安装在待测定的前景摄像机的支撑设备上，与前景摄像机无关，因此可适用于任何演播室摄像机，而且便于固定及拆装。另外，检测摄像机安装在虚拟演播室内的屋顶和/或四周，在采集图像时不会存在颤动的问题，因此能精确稳定地检测到前景摄影机的位置和姿态。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明虚拟演播室中摄像机的位置和姿态的测定系统实施例一的示意图；

图2是本发明虚拟演播室中摄像机的位置和姿态的测定方法实施例一的流程图。

具体实施方式

如图1所示，本发明虚拟演播室中摄像机的位置和姿态的测定系统实施例一中，该测定系统包括待测定的前景摄像机30、固定前景摄像机30的支撑设备，该支撑设备为云台41和三脚架42，该测定系统还包括：两个光发射装置10、两个检测摄像机20和服务器60，且两个检测摄像机20通过视频采集线50连接服务器60，前景摄像机30通过视频输出线90连接服务器60。应当说明的是，以上只是本发明的一个实施例，并不用于限定本发明的范围，如，本发明的光发射装置10、检测摄像机20也可以是其它数量。在该实施例中，两个光发射装置10安装在云台41上，光发射装置10可产生光图形，所产生的光图形可以是立体的，也可以是平面的，例如圆形、方形，本发明并不限定所产生图形形状和大小。两个检测摄像机20，其中一个安装在虚拟演播室内的屋顶上，另一个安装在虚拟演播室内的四周墙壁上，且这两个检测摄像机20用于在前景摄像机30活动范围内对光发射装置10产生的光图形进行实时图像采集。服务器30用于根据检测摄像机20实时采集的图像提取特征点，例如，根据采集图像的色彩、亮度像素信息提取光图形的特征点。在一个例子中，在光图形为圆形、方形时，特征点可为其中心点，在光图形为三角形时，特征点可为其中的一个角的顶点。然后根据所提取的特征点计算光发射装置10的位置，例如，根据计算机图形学理论来计算。最后根据光发射装置10与前景摄像机30的位置关系确定前景摄像机30的位置和姿态，在此应当说明的是，由于光发射装置10安装的位置与前景摄像机30的位置相对固定，所以在得到光发射装置10的位置后，通过坐标变换即可得到前景摄像机30的位置及姿态。另外，前景摄像机30可在其活动范围内拍摄虚拟演播室内的实景，如前景演员70，然后，服务器60将所确定的前景摄像机30的位置和姿态信息及前景摄像机30所拍摄的实景图像通过传输线80发送给虚拟演播室内的三维渲染引擎（未示出），三维渲染引擎根据所确定的前景摄像机30的位置和姿态信息来校准虚拟摄像机的位置和姿态，以使其与前景摄像机30相对地锁定在一个位置上，这样可保证前景摄像机30所拍摄的实景图像与计算机制作的虚拟三维场景同步变化，以使两者保持天衣无缝的融合，获得完美的合成画面。

在一个优选实施例中，光发射装置10为红外发射装置，其对应的检测摄像机20为红外摄像机，该红外摄像机可为普通的黑白摄像机，也可为彩色摄像机。采用这种方案，红外发射装置所产生的光图形的特征点相对稳定，不随环境光的变化而变化。当然，这只是本发明的一个实施例，光发射装置10也可为可见光发射装置或紫外光发射装置，此时，检测摄像机20为所对应光谱的摄像机。

另外，应当说明的是，虽然在图1所示的实施例一中，支撑设备仅示出了云台41和三脚架42，但本发明并不限于此，在另一个实施例中，支撑设备还可包括摇臂、导轨或其它支撑物，即光发射装置10可装设在摇臂、导轨等支撑设备上。

图2是本发明虚拟演播室中摄像机的位置和姿态的测定方法实施例一的流程图，该测定方法包括以下步骤：

步骤S100. 安装在待测定的前景摄像机的支撑设备上的至少一个光发射装置产生光图形；

步骤S200.安装在虚拟演播室内的屋顶和/或四周墙壁上的至少一个检测摄像机在所述前景摄像机活动范围内对所述光发射装置产生的光图形进行实时图像采集；

步骤S300.服务器根据所述至少一个检测摄像机实时采集的图像提取特征点，并根据所提取的特征点计算所述光发射装置的位置，然后根据光发射装置与所述前景摄像机的位置关系确定所述前景摄像机的位置和姿态。

在一个优选实施例中，光发射装置10为红外发射装置，其对应的检测摄像机20为红外摄像机，该红外摄像机可为普通的黑白摄像机，也可为彩色摄像机。当然，这只是本发明的一个实施例，光发射装置10也可为可见光发射装置或紫外光发射装置，此时，检测摄像机20为所对应光谱的摄像机。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种虚拟演播室中摄像机的位置和姿态的测定系统，包括待测定的前景摄像机及固定所述前景摄像机的支撑设备，其特征在于，所述测定系统还包括：

安装在所述支撑设备上的至少一个光发射装置；

2.根据权利要求1所述的虚拟演播室中摄像机的位置和姿态的测定系统，其特征在于，所述光发射装置为红外发射装置，所述检测摄像机为红外摄像机。

3.根据权利要求1所述的虚拟演播室中摄像机的位置和姿态的测定系统，其特征在于，所述支撑设备为云台、三脚架、摇臂、导轨。

4.根据权利要求1所述的虚拟演播室中摄像机的位置和姿态的测定系统，其特征在于，所述检测摄像机采集所述光图形的色彩、亮度像素信息。

5.一种虚拟演播室中摄像机的位置和姿态的测定方法，其特征在于，包括：

6.根据权利要求5所述的虚拟演播室中摄像机的位置和姿态的测定方法，其特征在于，所述光发射装置为红外发射装置，所述检测摄像机为红外摄像机。

7.根据权利要求5所述的虚拟演播室中摄像机的位置和姿态的测定方法，其特征在于，所述支撑设备为云台、三脚架、摇臂、导轨。

8.根据权利要求5所述的虚拟演播室中摄像机的位置和姿态的测定方法，其特征在于,所述检测摄像机采集所述光图形的色彩、亮度像素信息。