CN103237166A

CN103237166A - 一种基于机器人云台的摄像机控制方法及系统

Info

Publication number: CN103237166A
Application number: CN2013101061493A
Authority: CN
Inventors: 张治国; 陈忠会; 唐兴波
Original assignee: Beijing East Ideapool Technology Development Co Ltd
Current assignee: Aidipu Technology Co ltd
Priority date: 2013-03-28
Filing date: 2013-03-28
Publication date: 2013-08-07
Anticipated expiration: 2033-03-28
Also published as: CN103237166B

Abstract

本发明公开了一种基于机器人云台的摄像机控制方法及系统，涉及电视广播领域，用以提高拍摄的效率和精度。该方法包括：播放控制中心加载素材制作模块预先制作的播放素材，所述播放素材包含虚拟场景信息，以及用于描述虚拟场景中物件的运动方式和虚拟摄像机拍摄方式的动画信息；播放控制中心根据所述动画信息，确定用于调整虚拟摄像机的预设虚拟摄像参数；播放控制中心将所述预设虚拟摄像参数格式转换为用于控制真实摄像机的预设真实摄像参数；播放控制中心将所述预设真实摄像参数发送至机器人云台；机器人云台根据所述预设真实摄像参数调整真实摄像机。

Description

一种基于机器人云台的摄像机控制方法及系统

技术领域

本发明涉及电视广播领域，具体涉及一种基于机器人云台的摄像机控制方法及系统。

背景技术

在现有的技术条件下，使用虚拟现实技术能够将真实场景（真实摄像机拍摄的真实视频数据）与3D虚拟场景（渲染引擎根据播放素材中包含的3D虚拟场景信息和动画信息生成的虚拟视频数据）进行叠加，从而获得真实场景与3D虚拟场景融合后的视频。

虚拟现实的视频融合简单来说，是获取真实摄像机的实时摄像参数，通过渲染引擎的接口修改3D虚拟场景中的虚拟摄像机的虚拟摄像参数，目的是使虚拟摄像机的摄像参数与真实摄像机的摄像参数相一致，从而实现真实场景与3D虚拟场景能够同步一致地实现协调运动和缩放等效果，将真实摄像机传回的实时视频数据与渲染引擎渲染后的视频数据进行叠加形成叠加视频，摄像师通过反送的叠加视频中虚拟场景与真实场景的关系，调节真实摄像机，从而完成虚拟场景与真实场景的协调拍摄。在现有的技术中，存在以下几个缺点：

1，在摄像的过程中，由于摄像师并不知道3D虚拟场景中虚拟物件的具体位置，当需要录制以3D虚拟场景中的虚拟物件为主的视频时，由于虚拟场景中的虚拟物件要求虚拟摄像参数在适当的范围才可见，而虚拟摄像参数与真实摄像机的实时摄像参数已经绑定，从而经常会发生摄像师在反送叠加视频中找不到虚拟物件情况，从而增加了重复拍摄的可能性、降低了工作效率；

2，在特定的条件下，可能需要同时调整摄像机的多个摄像参数，而摄像师有可能不能同时调节如此多的参数，从而达不到预期的拍摄效果；

发明内容

本发明实施例提供了一种基于机器人云台的摄像机控制方法及系统，用以提高拍摄的效率和精度。

本发明实施例提供的一种基于机器人云台的摄像机控制方法，该方法包括：

播放控制中心加载素材制作模块预先制作的播放素材，所述播放素材包含虚拟场景信息，以及用于描述虚拟场景中物件的运动方式和虚拟摄像机拍摄方式的动画信息；

播放控制中心根据所述动画信息，确定用于调整虚拟摄像机的预设虚拟摄像参数；

播放控制中心将所述预设虚拟摄像参数格式转换为用于控制真实摄像机的预设真实摄像参数；

播放控制中心将所述预设真实摄像参数发送至机器人云台；

机器人云台根据所述预设真实摄像参数调整真实摄像机。

本发明实施例提供的一种基于机器人云台的摄像机控制系统，该系统包括：

素材制作模块，用于预先制作播放素材，并发送给播放控制中心；

播放控制中心，用于加载素材制作模块预先制作的播放素材，所述播放素材包含虚拟场景信息，以及用于描述虚拟场景中物件的运动方式和虚拟摄像机拍摄方式的动画信息；根据所述动画信息，确定用于调整虚拟摄像机的预设虚拟摄像参数；将所述预设虚拟摄像参数格式转换为用于控制真实摄像机的预设真实摄像参数；将所述预设真实摄像参数发送至机器人云台，并将所述虚拟场景信息发送给渲染引擎；

机器人云台，用于根据所述预设真实摄像参数调整真实摄像机；

渲染引擎，用于根据虚拟场景信息和播放控制中心提供的虚拟摄像参数生成虚拟视频数据。

本发明实施例，采用机器人云台根据预设的真实摄像参数对真实摄像机进行调整，从而能够对真实摄像机多个摄像参数实现同时控制，不需要人为介入即可高精度地实现复杂的拍摄过程，提高了拍摄效率。

附图说明

图1为本发明实施例提供的一种基于机器人云台的摄像机控制方法的方法流程示意图；

图2为本发明实施例提供的一种基于机器人云台的摄像机控制系统的系统结构示意图。

具体实施方式

由于在现有虚拟融合技术中，真实摄像机均是采用人为操控的方式，由于摄像师并不知道3D虚拟场景中虚拟物件的具体位置，当需要录制以3D虚拟场景中的虚拟物件为主的视频时，由于虚拟场景中的虚拟物件要求虚拟摄像参数在适当的范围才可见，而虚拟摄像参数与真实摄像机的实时摄像参数已经绑定，从而经常会发生摄像师在反送叠加视频中找不到虚拟物件情况，从而增加了重复拍摄的可能性、降低了工作效率。

为了解决上述问题，本发明实施例提供了一种基于机器人云台的摄像机控制方法及系统，用以提高拍摄的效率和精度的目的。

首先，本发明实施例提供了一种基于机器人云台的摄像机控制方法，如图1所示，该方法包括：

S101，播放控制中心加载素材制作模块预先制作的播放素材，所述播放素材包含虚拟场景信息，以及用于描述虚拟场景中物件的运动方式和虚拟摄像机拍摄方式的动画信息；

S102，播放控制中心根据所述动画信息，确定用于调整虚拟摄像机的预设虚拟摄像参数；

S103，播放控制中心将所述预设虚拟摄像参数格式转换为用于控制真实摄像机的预设真实摄像参数；

S104，播放控制中心将所述预设真实摄像参数发送至机器人云台，并将所述虚拟场景信息发送给渲染引擎；

S105，机器人云台根据所述预设真实摄像参数调整真实摄像机。

在本发明上述实施例中，播放控制中心在加载播放素材后，从中提取出预设的虚拟摄像参数，播放控制中心将该预设虚拟摄像参数格式转换为预设真实摄像参数，目的是使转化后的真实摄像参数能够满足后续真实摄像机的格式要求，然后发送至机器人云台，机器人云台根据预设真实真实摄像参数对真实摄像机进行控制，这样就达到了采用机器代替人工进行拍摄的过程，不会出现找不到返送物件而重复拍摄的情况。

所述机器人云台可以采用机械臂的方式对真实摄像机进行控制，采用这种机械的方式可以有效同时实现对多个真实摄像参数的精准操作。

在此，对上述的几个名词进行详细解释：

机器人云台是现有技术中的一种可以用于对真实摄像机进行控制的机械设备。摄像师通过操作机器人云台，可以实现基于机器人云台与真实摄像机之间的机械连接设备，对真实摄像机进行调整，包括对真实摄像机所处的位置、镜头朝向、镜头旋转方式等等进行调整。

播放素材：包含虚拟场景信息，以及用于描述虚拟场景中物件的运动方式和虚拟摄像机拍摄方式的数据。

虚拟摄像参数：用于描述和控制虚拟摄像机的摄像参数，包括旋转、俯仰、缩放等。

动画信息：用于描述一个或多个虚拟摄像参数在特定时间范围内随时间的变化信息。

真实摄像参数：根据虚拟摄像参数格式转换而来，用于控制真实摄像机的摄像参数，包括旋转、俯仰、缩放等。

真实摄像参数值：真实摄像机在根据预设真实摄像参数进行拍摄过程中实际进行的旋转、平移、缩放等。

虚拟场景信息：包含虚拟场景中所有物件所需的位置、大小、纹理、颜色和光照模型等信息。

在上述实施例的基础上，进一步地，播放控制中心根据所述动画信息，确定用于调整虚拟摄像机的预设虚拟摄像参数，具体包括：

播放控制中心提取动画信息中所有时间点上用于调整虚拟摄像机的第一摄像参数值，从而获得一组与时间对应的虚拟摄像机的第一摄像参数值。

所有的所述第一摄像参数值组成预设虚拟摄像参数。

由于拍摄过程肯定需要持续一定的时间，所以用来调整虚拟摄像机的预设虚拟摄像参数应包括多个第一摄像参数值，该第一摄像参数值可以根据时间点或帧数进行提取，那么每一第一摄像参数值均会与不同时间点形成对应关系。

在上述实施例的基础上，进一步地，播放控制中心将所述预设虚拟摄像参数格式转换为用于控制真实摄像机的预设真实摄像参数，具体包括：

播放控制中心将所有所述第一摄像参数值一一格式转换为用于控制真实摄像机的第二摄像参数值；

所有的第二摄像参数值组成预设真实摄像参数。

在本实施例中第二摄像参数值是根据第一摄像参数值转化而来，用以为真实摄像机提供符合格式规格的控制摄像参数。

在上述实施例的基础上，进一步地，播放控制中心将所述预设真实摄像参数发送至机器人云台，具体包括：

所述预设真实摄像参数包括一组与时间对应的真实摄像机的第二摄像参数值；

播放控制中心将每一所述第二摄像参数值按照自身对应的时间顺序依次发送至机器人云台。

由于第二摄像参数值是从第一摄像参数值格式转化而来，所以继承了时间的对应关系，播放控制中心可以根据第二参数值的时间顺序定时依次发送至机器人云台。

考虑到在真实摄像机还未开始进行拍摄的初始状态下，其摄像参数可能与预设虚拟摄像参数的初值不相匹配，而这样的情况会直接影响到同步拍摄的效果，所以在上述实施例的基础上，优选地，在播放控制中心将每一所述第二摄像参数值按照自身对应的时间顺序依次发送至机器人云台前，该方法还包括：

播放控制中心根据所述预设真实摄像参数中的第一个第二摄像参数值向机器人云台发出摄像参数校正指令；

机器人云台根据所述第一个第二摄像参数值对真实摄像机进行调整。

在向机器人云台发送真实摄像参数前，先根据首个第二摄像参数值向机器人云台发出机位校正指令，机器人云台根据该第二摄像参数值对真实摄像机的初始参数进行校正，以保证后续在接收到预设真实摄像参数时，可以保证初始参数与初始第二摄像参数参数的一致。

可以理解的是，机器人云台在初始参数调整结束后，可以实时向播放控制中心返回一个真实摄像机的实时摄像参数，如果播放控制中心接受到的实时摄像参数值的与首个第二摄像参数值的误差在允许的范围内，即可表示初始摄像参数调整成功。在调整成功后播放控制中心再向机器人云台开始预设真实摄像参数的发送。

在上述实施例的基础上，本发明不仅能够实现通过机器人云台对真实摄像机的控制，还可以实现真实场景与虚拟场景的协调拍摄，例如，该方法可以还包括，播放控制中心将所述预设虚拟摄像参数发送给渲染引擎。播放控制中心在向机器人云台定时发送预设真实摄像参数时，还可以同步地，向渲染引擎发送预设虚拟摄像参数，以达到协调拍摄地效果。

进一步地，如果同步拍摄的精度需求更高，该方法还可以包括：

播放控制中心接收从机器人云台实时返回的、根据所述预设真实摄像参数的第二摄像参数值调整真实摄像机的过程中所获得的实际真实摄像参数值；

播放控制中心将所述实际真实摄像参数值格式转化为渲染引擎使用的对应的虚拟摄像机所用的实际虚拟摄像参数值；

播放控制中心将所述实际虚拟摄像参数值发送给渲染引擎。

在上述实施例中，由于真实摄像机根据第二摄像参数值执行后的结果可能具有一定的误差，所以实际的调整结果，也就是获得的实际真实摄像参数值与第二摄像参数值存在不一致的可能性，所以渲染引擎如果采用第一摄像参数值进行虚拟场景生成可能会造成虚拟场景与真实场景存在一定的误差，所以只有采用实时返回的、由播放控制中心转换后得到实际虚拟摄像参数值，才能达到虚拟摄像机与真实摄像机之间的高精度同步目的，实现了一种“绑定”的效果。值得注意的是，由于上述实施方式渲染引擎需要等待真实摄像机的参数反馈，并经过播放控制中心的格式转换才能够到达，会存在一定的时延，但该滞后所导致的真实场景与3D虚拟场景动画的叠加误差是可以通过对真实场景和3D虚拟场景动画的播放起始时间的微调而消除的。具体地，用于实现真实场景与3D虚拟场景动画的叠加以及实现对真实场景和3D虚拟场景动画的播放起始时间的微调可以通过一些辅助模块（例如：延时模块）完成。

在实际实现中，机器人云台可以通过附着在真实摄像机上的传感器实时获取真实摄像机的实际真实摄像参数值，并发送给播放控制中心。

可以理解的是，可以根据精度和场合的需要为渲染引擎选择是采用第一摄像参数值还是实际虚拟摄像参数值进行虚拟场景的生成。

值得注意的是，即使决定采用实际虚拟摄像参数值进行虚拟场景的生成，将预设虚拟摄像参数中的第一摄像参数值提供给渲染引擎，还可以达到一个提前预览的效果。

更简单地，如果仅仅需要进行虚拟场景真实拍摄过程的预览，所述素材制作模块可以直接将播放素材中携带的虚拟场景信息和动画信息发送至渲染引擎，渲染引擎根据虚拟场景信息以及动画信息中包含的虚拟摄像参数实时渲染并显示，由于动画信息中的虚拟摄像参数在真实拍摄时通过格式转换并最终控制真实摄像机，从而实现了虚拟场景真实拍摄过程的预览。

与上述方法相对应，本发明实施例还提供了一种基于机器人云台的摄像机控制系统，如图2所示，该系统包括：

素材制作模块1，用于预先制作播放素材，并发送给播放控制中心；

播放控制中心2，用于加载素材制作模块预先制作的播放素材，所述播放素材包含虚拟场景信息，以及用于描述虚拟场景中物件的运动方式和虚拟摄像机拍摄方式的动画信息；根据所述动画信息，确定用于调整虚拟摄像机的预设虚拟摄像参数；将所述预设虚拟摄像参数格式转换为用于控制真实摄像机的预设真实摄像参数；将所述预设真实摄像参数发送至机器人云台3，并将所述虚拟场景信息发送给渲染引擎5；

机器人云台3，用于根据所述预设真实摄像参数调整真实摄像机4；

渲染引擎5，用于根据虚拟场景信息和播放控制中心提供的虚拟摄像参数生成虚拟视频数据。

在本发明上述实施例中，播放控制中心在加载播放素材后，从中提取出虚拟摄像参数，播放控制中心将该虚拟摄像参数格式转换为真实摄像参数，目的是使转化后的真实摄像参数能够满足后续真实摄像机的格式要求，然后发送至机器人云台，机器人云台根据真实摄像参数对真实摄像机进行控制。

可以理解的是本系统在运行之前需要进行系统初始化设置，也就是一些参数的配置过程，具体过程如下：

1，获取真实摄像机各摄像参数的取值范围，目的是素材制作模块需要根据真实摄像机的各摄像参数的取值范围来进行播放素材的制作(主要是虚拟摄像机的动画制作)。以获取真实摄像机的旋转（Pan）参数的取值范围为例，首先命令机器人云台以一定的速度向旋转参数的最小值方向旋转，在旋转过程中实时监视机器人云台传回的旋转参数的值，如果旋转参数的值在一定的时间内（例如1秒）没有变化，则该值即为旋转参数的最小取值Pan_min，同理，命令机器人云台向相反的方向旋转获取旋转参数的最大值Pan_max，俯仰（Tilt）、缩放（Zoom）等其他参数的获取方法类似；

2，通过命令查询机器人云台的调节各摄像参数时能够执行的最大速度V_max、最小速度V_min以及最大加速度a_max和最小加速度a_min；

3，上述步骤中获取的真实摄像机的各参数的取值范围、速度的取值范围以及加速度的取值范围提供给素材制作模块，用于设定虚拟摄像机对应参数、速度以及加速度的取值范围。

需要说明的是：当真实摄像机、摇臂等硬件确定后，真实摄像机各参数的取值范围也就随之确定，所以初始化过程一般只需要做一次即可，机器人云台在系统初始化过程中的主要作用为：协助系统获取真实摄像机各摄像参数的取值范围。

一般地，上述素材制作模块在制作播放素材时，将系统初始化参数配置过程中获得的真实摄像机的摄像参数范围转换而得的虚拟参数范围作为虚拟摄像机摄像参数的取值范围，在制作播放素材的过程中，实时计算出虚拟摄像机动画的速度（方法：求动画曲线的导数）以及加速度（方法：求动画曲线的二次导数）的取值范围，并提示虚拟摄像机动画是否可重现，从而有效避免由于取值范围差异、机器人云台机械特性不满足虚拟摄像机动画而导致实际拍摄效果与制作效果不一致问题。

在上述实施例的基础上，进一步地，所述播放控制中心，具体用于：

提取动画信息中所有时间点上用于调整虚拟摄像机的第一摄像参数值，从而获得一组与时间对应的虚拟摄像机的第一摄像参数值。

所有的所述第一摄像参数值组成预设虚拟摄像参数。

在上述实施例的基础上，进一步地，所述播放控制中心，还具体用于：

将所有所述第一摄像参数值一一格式转换为用于控制真实摄像机的第二摄像参数值；

所有的第二摄像参数值组成预设真实摄像参数。

将每一所述第二摄像参数值按照自身对应的时间顺序依次发送至机器人云台。

在上述实施例的基础上，进一步地，所述播放控制中心将每一所述第二摄像参数值按照自身对应的时间顺序依次发送至机器人云台前，还包括：

根据所述预设真实摄像参数中的第一个第二摄像参数值向机器人云台发出摄像参数校正指令；

在上述实施例的基础上，进一步地，所述播放控制中心还用于：

接收从机器人云台实时返回的、根据所述预设真实摄像参数的第二摄像参数值调整真实摄像机的过程中所获得的实际真实摄像参数值；

将所述实际真实摄像参数值格式转化为渲染引擎使用的对应的虚拟摄像机所用的实际虚拟摄像参数值；

将所述实际虚拟摄像参数值发送给渲染引擎。

在上述实施例的基础上，进一步地，所述播放控制中心还用于，将所述预设虚拟摄像参数发送给渲染引擎。

可以理解的是，本基于机器人云台的摄像机控制系统还可设置一些其他的常用模块，例如延时模块、视频融合模块等，用于辅助系统完成所需的其他功能。

综上所述，本发明实施例提供的一种基于机器人云台的摄像机控制方法及系统在通过虚拟摄像机动画控制真实摄像机时无需摄像师参与，因此不会受到摄像师主观判断和操作技巧的影响；由于机器人云台对真实摄像机的调整是以非常客观的数据为依据，而且虚拟摄像机的调整还需要根据真实摄像机的反馈参数进行，因此能够使得最终获得的真实场景与3D虚拟场景动画达到非常精确的配合。

在一些特定条件下，可能需要同时调整真实摄像机的多个摄像参数。采用现有技术，单靠一个摄像师是不太可能完成这样的任务，这就势必需要增大人力投资，从而导致耗费较大的处理资源；而采用本发明实施例提供的方案，在机器人云台同时控制真实摄像机的多个摄像参数。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种基于机器人云台的摄像机控制方法，其特征在于，该方法包括：

播放控制中心将所述预设真实摄像参数发送至机器人云台；

机器人云台根据所述预设真实摄像参数调整真实摄像机。

2.如权利要求1所述的方法，其特征在于，播放控制中心根据所述动画信息，确定用于调整虚拟摄像机的预设虚拟摄像参数，具体包括：

播放控制中心提取动画信息中所有时间点上用于调整虚拟摄像机的第一摄像参数值，从而获得一组与时间对应的虚拟摄像机的第一摄像参数值；

所有的所述第一摄像参数值组成预设虚拟摄像参数。

3.如权利要求2所述的方法，其特征在于，播放控制中心将所述预设虚拟摄像参数格式转换为用于控制真实摄像机的预设真实摄像参数，具体包括：

所有的第二摄像参数值组成预设真实摄像参数。

4.如权利要求3所述的方法，其特征在于，播放控制中心将所述预设真实摄像参数发送至机器人云台，具体包括：

5.如权利要求4所述的方法，其特征在于，在播放控制中心将每一所述第二摄像参数值按照自身对应的时间顺序依次发送至机器人云台前，该方法还包括：

6.如权利要求4或5所述的方法，其特征在于，该方法还包括：

播放控制中心将所述实际虚拟摄像参数值发送给渲染引擎。

7.如权利要求1所述的方法，其特征在于，该方法还包括，播放控制中心将所述预设虚拟摄像参数发送给渲染引擎。

8.一种基于机器人云台的摄像机控制系统，其特征在于，该系统包括：

9.如权利要求8所述的系统，其特征在于，所述播放控制中心，具体用于：

提取动画信息中所有时间点上用于调整虚拟摄像机的第一摄像参数值，从而获得一组与时间对应的虚拟摄像机的第一摄像参数值；

所有的所述第一摄像参数值组成预设虚拟摄像参数。

10.如权利要求9所述的系统，其特征在于，所述播放控制中心，还具体用于：

所有的第二摄像参数值组成预设真实摄像参数。

11.如权利要求10所述的系统，其特征在于，所述播放控制中心，还具体用于：

12.如权利要求11所述的系统，其特征在于，所述播放控制中心将每一所述第二摄像参数值按照自身对应的时间顺序依次发送至机器人云台前，还包括：

13.如权利要求11或12所述的系统，其特征在于，所述播放控制中心还用于：

将所述实际虚拟摄像参数值发送给渲染引擎。

14.如权利要求8所述的系统，其特征在于，所述播放控制中心还用于，将所述预设虚拟摄像参数发送给渲染引擎。