CN101668129B - 虚拟演播室中改进的摄像机初始定位系统 - Google Patents

Abstract

本发明涉及广电领域电视节目制播技术，具体涉及一种虚拟演播室中改进的摄像机初始定位系统。该系统利用图像搜索、迭代运算的方法确定摄像机的初始姿态，为使用机械传感器进行跟踪的虚拟演播室提供摄像机的初始信息。更为重要的是，该系统引入了定位预览窗口，应用socket多线程传输技术及同步控制技术，使控制端的操作人员在定位时，可以开启预览窗口，实时查看摄像机前景图像及处理后的结果图像，从而使虚拟演播室中摄像机初始定位更加准确，操作更加直观。

Description

虚拟演播室中改进的摄像机初始定位系统

技术领域

本发明涉及广电领域电视节目制播技术，具体涉及一种虚拟演播室中改进的摄像机初始定位系统。

背景技术

在虚设的演播室中，设置虚拟的演员并用虚拟的摄像机进行摄影，用这种方式制作电视节目的技术称为虚拟演播室技术。在虚拟演播室技术中，演员在没有任何道具的演播室中演戏，用摄像机将其摄下，然后和另外制作的道具画面合成，可以制作出好像演员在具有道具的演播室演戏那样的画面。所谓虚拟演员并不是要排除演员的作用，而是将事先拍好的演员的镜头在需要的时候在特殊设计的虚拟演播室中进行再现；或者利用演员的演技数据，用计算机图形学技术制作出演员。所谓虚拟摄像机就是在合成虚拟演播室和虚拟演员图像时，利用摄像机进行加工制作出最终图像的技术。

在虚拟演播室中演员在一间代替真实背景的“蓝箱”里进行现场节目制作，而虚拟演播室系统则按以下程序工作：摄像机的位置参数、水平移动参数、垂直俯仰参数以及镜头的变焦、聚焦参数构成了场景生成的视点参数和摄像机采集前景的视频信号参数，把这些参数数据送到一个实时的图形计算机里，根据摄像机运动的参数实现场频级的实时场景生成。再用以“蓝箱”为背景拍摄的图像，经延时后和选自计算机图形的虚拟背景以相同时码进行工作。通过色键器生成的键信号将场景和色键处理过的视频信号送至混合器“合成”，实时产生一个组合的图像。

虚拟演播室系统中一个关键技术就是摄像机跟踪技术，跟踪技术包括图像跟踪，机械传感跟踪，电磁跟踪等技术。其中机械传感跟踪稳定性好，容易实现，因此也是目前使用最为广泛的跟踪技术。这项技术中很重要的一项技术就是初始定位，初始定位是机械跟踪技术的基础，它的好坏会直接影响到后期跟踪的准确性。跟踪是否准确直接影响到虚拟场景和真实场景(比如主持人)的叠加效果，若跟踪不准确，则来自摄像机的视频图像和图文工作站渲染的虚拟场景会出现错位的现象，导致虚拟场景给人一种不真实的感觉，使得虚拟演播室失去了意义。

中国专利申请(申请号：200710122493.6)公开了一种虚拟演播室中的初始定位系统，包括如下组成部分：位置调整单元，用于使摄像机对准标志点；图像搜索单元，与所述位置调整单元连接，用于对所述标志点信息进行采集搜索；迭代计算单元，与所述图像搜索单元连接，用于根据所述采集搜索结果进行迭代计算，获取相对于所述标志点本身坐标系的摄像机初始姿态；坐标系转换单元，与所述迭代计算单元连接，对所述标志点本身坐标系的初始姿态进行转换，得到相对于蓝箱坐标系的摄像机初始姿态，即摄像机的初始外部参数。

上述系统实现摄像机初始定位的方法为：首先摄像机对准一个回字形标志图像，然后在控制端界面上点下定位按钮，程序在播出端会采集一幅标志图像，进而对该图像做处理，以提取标志最外框角点坐标，最后通过一定的算法结合蓝箱尺寸和标志点方位、规格计算出摄像机的初始外部参数。

考虑到初始定位是否准确很大程度上取决于标志图像处理后的效果好坏，并且虚拟演播室的蓝箱和工作站机房通常被隔离，应用上述系统进行初始定位时控制端的操作人员看不到摄像机前景，也不知道图像处理结果的优劣，操作不直观，因此还需进一步予以改进。

发明内容

本发明的目的是针对现有虚拟演播室中摄像机的初始定位系统操作不直观的缺陷，提供一种改进的摄像机初始定位系统，该系统在原初始定位系统基础上进行改进，使控制端的操作人员在定位时，可以实时查看摄像机前景图像及处理后的结果图像。

本发明的技术方案如下：一种虚拟演播室中改进的摄像机初始定位系统，包括：

位置调整单元，用于使摄像机对准标志点；

图像搜索单元，与所述位置调整单元连接，用于对所述标志点信息进行采集搜索；

迭代计算单元，与所述图像搜索单元连接，用于根据所述采集搜索结果进行迭代计算，获取相对于所述标志点本身坐标系的摄像机初始姿态；

坐标系转换单元，与所述迭代计算单元连接，对所述标志点本身坐标系的初始姿态进行转换，得到相对于蓝箱坐标系的摄像机初始姿态；

其特点是，还包括如下组成模块：

前景图像获取模块，与图像搜索单元连接，随着同步信息的到来不断触发，抓取摄像机前景图像并将其数据存入图像缓存B1；

整合拆分图像数据模块，与图像搜索单元连接，获取标志最外框四个角点坐标信息A及二值化处理后的图像缓存B2，将缓存B1、B2合成一个整体再拆分成若干数据块连同信息A执行socket发送；

预览窗口模块，设置在控制端，通过socket通道接收整合拆分图像数据模块发送的数据，实现摄像机前景图像和处理后的结果图像的显示。

进一步，如上所述虚拟演播室中改进的摄像机初始定位系统，其中，所述图像搜索单元包括：

二值化子单元，用于从摄像机取景框的左上角开始到右下角逐行扫描，获取每个像素点的数据，在扫描像素点的同时采用预先设定的阈值对每个像素点进行二值化处理；前景图像获取模块与二值化子单元连接；

区域确定子单元，与所述二值化子单元连接，用于根据上述获得的二值化数据寻找标志点黑白交界的区域，确定标志点的外框，并记录外框的边界点；

分析子单元，与所述区域确定子单元连接，用于对标志点每个区域整体进行分析，判断是否形成四边形，不是则删除该区域整体；

坐标计算子单元，与所述分析子单元连接，用于对于是四边形的整体区域边界进行直线拟合，计算获得四个顶点的坐标；整合拆分图像数据模块与坐标计算子单元连接。

进一步，如上所述虚拟演播室中改进的摄像机初始定位系统，其中，设在控制端的预览窗口模块与设在播出端的整合拆分图像数据模块和前景图像获取模块以socket多线程传输的形式进行连接；控制端的预览窗口模块通过socket通道向播出端发出请求，播出端接到请求后由前景图像获取模块抓取摄像机前景图像，由图像搜索单元对其进行处理，然后由整合拆分图像数据模块将图像的数据整合后拆分成若干子数据块，通过socket通道通知控制端已准备好监听；控制端收到通知后创建与各数据块相对应的接收线程，每个线程再给播出端发送connect指令使数据开始发送，控制端接收到数据后对图像数据进行重组，当一次数据发送完后，同步信息控制下一次数据发送开始。

进一步，如上所述虚拟演播室中改进的摄像机初始定位系统，其中，在播出端，当一帧图像数据发送完毕后，会进入一个多锁等待，该多锁由一个全局退出自动触发事件和一个是否更新图像数据的手动触发事件组成，是否更新图像数据的手动触发事件在所有发送线程均收到控制端回传信号后被手动触发；在控制端，创建完所有的接收线程后，进入一个多锁等待，该多锁由一个全局退出的自动触发事件和一个图像数据块重组的手动触发事件组成，图像数据块重组的手动触发事件在所有的接收线程均接收完各自的数据块后被手动触发。

本发明的有益效果如下：本发明利用图像搜索、迭代运算的方法确定摄像机的初始姿态，为使用机械传感器进行跟踪的虚拟演播室提供摄像机的初始信息。更为重要的是，本发明引入了定位预览窗口，应用socket多线程传输技术及同步控制技术，使控制端的操作人员在定位时，可以开启预览窗口，实时查看摄像机前景图像及处理后的结果图像，从而使虚拟演播室中摄像机初始定位更加准确，操作更加直观。

附图说明

图1为虚拟演播室中改进的摄像机初始定位系统的结构示意图；

图2为本发明的实现原理图；

图3为本发明所采用的socket线程的流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细的描述。

本发明所提供的虚拟演播室中改进的摄像机初始定位系统是在原初始定位系统基础上的一种改进，关于如何利用标志点进行摄像机的初始定位在原初始定位系统的专利申请文件中(申请号：200710122493.6)已经进行了充分地介绍，在此不再进行重复性的描述。本发明的主要特点是在原系统上引入了定位预览窗口功能，使控制端的操作人员在定位时，可以开启预览窗口，实时查看摄像机前景图像及处理后的结果图像，使操作更加直观和准确。

如图1所示，原摄像机初始定位系统操作流程简述如下：先执行位置调整单元1将摄像机对准标志点，然后控制端的操作人员点下“初始定位”按钮，随后客户端顺序执行图像搜索单元2、迭代计算单元3、坐标系转换单元4得到摄像机的外部参数。

这里，由于迭代计算单元3、坐标系转换单元4的计算结果的准确性很大程度上取决于图像搜索单元2的处理结果，而图像搜索单元2处理结果的好坏又取决于摄像机采集的图像质量的好坏，当图像光线不好或二值化阈值选择不合适时，图像搜索单元2的处理结果就不准确。因此，非常有必要实时地将图像搜索单元2处理后的二值化图像及角点检测结果，以预览的形式呈现在控制端。实际中，在控制端开启了两个预览窗口，一个用来显示原始的摄像机图像信号，另一个用来显示图像搜索单元2处理后的二值化图像及角点信息。这里，角点信息是指标志最外矩形框的四个顶点坐标，程序把它们用红色直线顺序相连。视觉上，当红线构成的矩形框正好框住标志最外框轮廓时，就表示四个角点坐标准确无误，也即为后续的迭代计算单元3、坐标系转换单元4的处理提供了可靠依据。此时，操作员观察预览窗口，若效果不理想，可调整标志周围灯光的明暗，也可调节预览窗口旁边的二值化阈值(二值化阈值：图像二值化过程中设置的一个灰度阈值，取值范围在0到255之间，通过调节该阈值可干预图像二值化效果)。若效果较理想，操作人员点下“初始定位”按钮，程序会先后执行迭代计算单元3、坐标系转换单元4，最终得到准确的摄像机外部参数。

为了实现上述功能，本发明所提出的虚拟演播室中改进的摄像机初始定位系统包括：

位置调整单元，用于使摄像机对准标志点；

图像搜索单元，与所述位置调整单元连接，用于对所述标志点信息进行采集搜索；

迭代计算单元，与所述图像搜索单元连接，用于根据所述采集搜索结果进行迭代计算，获取相对于所述标志点本身坐标系的摄像机初始姿态；

坐标系转换单元，与所述迭代计算单元连接，对所述标志点本身坐标系的初始姿态进行转换，得到相对于蓝箱坐标系的摄像机初始姿态；

其特点是，还包括如下组成模块：

前景图像获取模块，与图像搜索单元连接，随着同步信息的到来不断触发，抓取摄像机前景图像并将其数据存入图像缓存B1；

整合拆分图像数据模块，与图像搜索单元连接，获取标志最外框四个角点坐标信息A及二值化处理后的图像缓存B2，将缓存B1、B2合成一个整体再拆分成若干数据块连同信息A执行socket发送；

预览窗口模块，设置在控制端，通过socket通道接收整合拆分图像数据模块发送的数据，实现摄像机前景图像和处理后的结果图像的显示。

上述的图像搜索单元具体包括：

二值化子单元，用于从摄像机取景框的左上角开始到右下角逐行扫描，获取每个像素点的数据，在扫描像素点的同时采用预先设定的阈值对每个像素点进行二值化处理；前景图像获取模块与二值化子单元连接；

区域确定子单元，与所述二值化子单元连接，用于根据上述获得的二值化数据寻找标志点黑白交界的区域，确定标志点的外框，并记录外框的边界点；

分析子单元，与所述区域确定子单元连接，用于对标志点每个区域整体进行分析，判断是否形成四边形，不是则删除该区域整体；

坐标计算子单元，与所述分析子单元连接，用于对于是四边形的整体区域边界进行直线拟合，计算获得四个顶点的坐标；整合拆分图像数据模块与坐标计算子单元连接。

上述的迭代计算单元具体包括：

平移矩阵计算子单元，用于获取平移矩阵；

旋转矩阵计算子单元，用于获取旋转矩阵；

相对坐标系确定子单元，用于根据所述旋转矩阵和平移矩阵计算获得摄像机相对于标志点坐标系的初始位置。

上述的坐标系转换单元具体包括：

转换矩阵计算子单元，用于计算标志点本身的坐标系与蓝箱的坐标系之间的转换矩阵；

标志点坐标系获取子单元，用于根据标志点坐标系迭代计算获得的姿态矩阵为；

蓝箱坐标系计算子单元，分别与所述转换矩阵计算子单元和标志点坐标系获取子单元连接，用于根据所述标志点本身的坐标系与蓝箱的坐标系之间的转换矩阵和姿态矩阵获得最终摄像机的姿态用矩阵。

上述各单元所涉及的具体计算过程，请参见原专利申请(申请号：200710122493.6)，此处不再重复描述。

由于视频I/O卡设置在播出端，控制端无法直接获取摄像机前景图像，且计算摄像机外部参数也在播出端完成，所以摄像机图像信号及处理后的图像信号如何从播出端实时传输到控制端并在预览窗口模块显示是本发明需要解决的一个技术问题。为此，本发明使用了socket多线程传输技术及同步控制技术，其程序原理如图2所示。

首先，操作人员开启预览窗口模块7的定位预览窗口时，控制端通过socket通道向播出端发出请求，播出端接到请求后一方面通过前景图像获取模块5抓取摄像机前景图像，并通过图像搜索单元2的二值化子单元对其进行处理，另一方面要把这两幅图像的数据通过整合拆分图像数据模块6整合后拆分成若干子数据块，然后开启发送端监听线程，最后通过socket通道通知控制端已准备好监听。其次，控制端收到通知后创建与各数据块相对应的接收线程，每个线程再给播出端发connect指令使数据开始发送。当一次数据发送完后，同步信息会控制下一次数据发送开始。播出端(发送端)和控制端(接收端)的socket线程模块的流程如图3所示，下面通过一个实施例说明一下具体的数据传输过程。

例如，将一幅图像分割成4个数据量相同的数据块，每一个数据块同时会获得一个序号，序号从0开始，后续累加1，即得到数据块0，数据块1，数据块2和数据块3共计4个数据块；然后由4个发送线程将该4个数据块发送给接收端(控制端)，在发送数据块时，特定序号的发送线程只发送和自己序号相同的数据块，如发送线程1只发送与自己序号相同的数据块1，同理，接收端的接收线程和接收到的数据块也有这种对应关系，这样可以保证每个发送线程只发送一个数据块。控制端通过对应的4个接收线程接收4个数据块，由于事先发送线程与接收线程之间已经建立了一一对应的关系，因此很容易实现数据块的接收，即接收线程0接收来自发送线程0的数据块0，接收线程1接收来自发送线程1的数据块1，接收线程2接收来自发送线程2的数据块2，接收线程3接收来自发送线程3的数据块，接收线程接收完所有的数据块后，由控制端的预览窗口模块将接收到的4个数据块重新组合成原图像，并根据I/O卡中集成的图像传输的时间间隔信息(即图像的传输帧率为25fps)更新同步信息，并将同步信息发送给播出端。

在改进的摄像机初始定位系统中，前景图像获取模块5随着同步信息的到来而不断触发，进而执行图像的处理，将图像搜索单元2的处理结果(二值图像及角点信息)发送给控制端。控制端一方面将收到的原始及二值化图像信息显示在预览窗口上，另一方面将标志的角点信息以红框的形式画在二值图像上。若预览效果不好，则可调节标志点周围灯光或调节预览窗口旁边的二值化阈值，实时改变预览效果。只有当控制端点下“初始定位”按钮时，播出端才去执行迭代计算单元3和坐标系转换单元4的处理，从而得到摄像机外部参数。

为了使每帧图像及其处理后的数据块按照一定的时序同步发送，本发明采用了多锁及互斥对象技术。假设图像被分成了四个数据块，那么该技术的工作过程如下：

在发送端，当一帧图像数据发送完毕后，会进入一个多锁等待。该多锁由一个全局退出自动触发事件和一个是否更新图像数据的手动触发事件组成。后者在四个发送线程均收到接收端回传信号后被手动触发。具体流程是：在各发送线程里，先要执行数据块的发送，之后等待回传信号，当收到回传信号后，在互斥对象的保护下共享计数器加1。此后该线程进入一个多锁等待，该多锁由一个自动触发的全局退出事件和一个手动触发发送事件组成。当某个线程发现共享计数器为4时，手动触发更新图像数据事件，同时共享计数器清零。图像数据更新完毕后，会手动触发各个线程的发送事件，使其进入新一轮的数据块发送。

在接收端，创建完四个接收线程后，进入一个多锁等待。该多锁由一个全局退出自动触发事件和一个图像数据重组手动触发事件组成。后者在四个接收线程均收完各自数据块后被手动触发。具体流程是：在各接收线程里，先要执行数据块的接收，接收完毕后在互斥对象的保护下共享计数器加1，并向发送端发送回传信号。此后进入一个多锁等待，该多锁由一个自动触发的全局退出事件和一个手动触发的接收数据事件组成。当某个线程发现共享计数器为4时，手动触发重组图像数据事件，并更新同步信息，触发各个线程的发送事件。

本发明所述的系统并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。

Claims (4)

1.一种虚拟演播室中改进的摄像机初始定位系统，包括：

位置调整单元，用于使摄像机对准标志点；

图像搜索单元，与所述位置调整单元连接，用于对所述标志点信息进行采集搜索；

迭代计算单元，与所述图像搜索单元连接，用于根据所述采集搜索结果进行迭代计算，获取相对于所述标志点本身坐标系的摄像机初始姿态；

坐标系转换单元，与所述迭代计算单元连接，对所述标志点本身坐标系的初始姿态进行转换，得到相对于蓝箱坐标系的摄像机初始姿态；

其特征在于，还包括如下组成模块：

前景图像获取模块，与图像搜索单元连接，随着同步信息的到来不断触发，抓取摄像机前景图像并将其数据存入图像缓存B1；

整合拆分图像数据模块，与图像搜索单元连接，获取标志最外框四个角点坐标信息A及对前景图像获取模块获取的摄像机前景图像进行二值化处理后的图像缓存B2，将缓存B1、B2合成一个整体再拆分成若干数据块连同信息A执行socket发送；

预览窗口模块，设置在控制端，通过socket通道接收整合拆分图像数据模块发送的数据，实现摄像机前景图像和整合拆分图像数据模块处理后的结果图像的显示。

2.如权利要求1所述虚拟演播室中改进的摄像机初始定位系统，其特征在于：所述图像搜索单元包括：

二值化子单元，用于从摄像机取景框的左上角开始到右下角逐行扫描，获取每个像素点的数据，在扫描像素点的同时采用预先设定的阈值对每个像素点进行二值化处理；前景图像获取模块与二值化子单元连接；

区域确定子单元，与所述二值化子单元连接，用于根据上述获得的二值化数据寻找标志点黑白交界的区域，确定标志点的外框，并记录外框的边界点;

分析子单元，与所述区域确定子单元连接，用于对标志点每个区域整体进行分析，判断是否形成四边形，不是则删除该区域整体；

坐标计算子单元，与所述分析子单元连接，用于对于是四边形的整体区域边界进行直线拟合，计算获得四个顶点的坐标；整合拆分图像数据模块与坐标计算子单元连接。

3.如权利要求1或2所述虚拟演播室中改进的摄像机初始定位系统，其特征在于：设在控制端的预览窗口模块与设在播出端的整合拆分图像数据模块和前景图像获取模块以socket多线程传输的形式进行连接；控制端的预览窗口模块通过socket通道向播出端发出请求，播出端接到请求后由前景图像获取模块抓取摄像机前景图像，由图像搜索单元对其进行处理，然后由整合拆分图像数据模块将图像的数据整合后拆分成若干子数据块，通过socket通道通知控制端已准备好监听；控制端收到通知后创建与各数据块相对应的接收线程，每个线程再给播出端发送connect指令使数据开始发送，控制端接收到数据后对图像数据进行重组，当一次数据发送完后，同步信息控制下一次数据发送开始。

4.如权利要求3所述虚拟演播室中改进的摄像机初始定位系统，其特征在于：在播出端，当一帧图像数据发送完毕后，会进入一个多锁等待，该多锁由一个全局退出自动触发事件和一个是否更新图像数据的手动触发事件组成，是否更新图像数据的手动触发事件在所有发送线程均收到控制端回传信号后被手动触发；在控制端，创建完所有的接收线程后，进入一个多锁等待，该多锁由一个全局退出的自动触发事件和一个图像数据块重组的手动触发事件组成，图像数据块重组的手动触发事件在所有的接收线程均接收完各自的数据块后被手动触发。

Images