CN111970415A - 一种实现微缩场景与实景拍摄实时合成预览系统及方法 - Google Patents

Abstract

本发明实施例公开了一种实现微缩场景与实景拍摄实时合成预览系统及方法。该系统分别采用第一摄像机器人在实景中拍摄、第二摄像机器人在微缩场景中拍摄，通过轨迹规划模块使得微缩场景运行轨迹与实景运行轨迹相匹配，结合机器人控制模块控制第一摄像机器人与第二摄像机器人的同步性，从而确保对微缩场景和实景进行同步拍摄、且能够对拍摄结果进行实时合成预览。本发明实施例所提供的实现微缩场景与实景拍摄实时合成预览系统及方法还具有微缩轨迹修正模块，可以根据实时预览视频或图像的情况来修整微缩运行轨迹的参数，从而获取理想的预览结果。

Description

一种实现微缩场景与实景拍摄实时合成预览系统及方法

技术领域

本发明涉及计算机信息处理的技术领域，特别是涉及一种实现微缩场景与实景拍摄实时合成预览系统及方法。

背景技术

微缩场景与实景的拍摄合成是一种特效拍摄，通过搭建与真实场景等比例缩小的微缩场景来解决在某一特定环境的拍摄需求。相较于CG(Computer Graphics)合成技术，通过微缩场景与实景拍摄相结合的拍摄方式的技术门槛较低、整体的制作成本也较低。

传统的拍摄多采用人工拍摄或者固定机位的拍摄方式，摄像机的运行轨迹会受到较大的约束且可重复性非常低；当拍摄镜头产生变化时，需要单独的摄像机操作人员在现场调整摄像机，无法实现摄像机和现场其他设备的一体化同步控制。应用于微缩场景与实景拍摄合成时，传统的拍摄方式只能先进行拍摄，然后将拍摄素材导出再进行合成，无法做到拍摄效果的实时预览。进一步地，传统的拍摄方式无法做到微缩场景与实景的高度匹配，这就需要大量的后期修正工作，甚至重新拍摄，导致时间成本和人力成本大大地提高。

因此，针对上述技术问题，有必要提供一种能够对微缩场景和实景进行同步拍摄、且对拍摄结果进行实时合成预览的实现微缩场景与实景拍摄实时合成预览系统及方法。

发明内容

有鉴于此，本发明实施例的目的在于提供一种能够对微缩场景和实景进行同步拍摄、且对拍摄结果进行实时合成预览的实现微缩场景与实景拍摄实时合成预览系统及方法。

为了实现上述目的，本发明一实施例提供的技术方案如下：一种实现微缩场景与实景拍摄实时合成预览方法，包括步骤S1：基于网络通讯，机器人控制模块分别与第一摄像机器人、第二摄像机器人建立实时通讯，实现第一摄像机器人与第二摄像机器人的远程异步控制或者远程同步控制；步骤S2：规划实景场景中的第一摄像机器人的实景运行轨迹，机器人控制模块控制第一摄像机器人按照所述实景运行轨迹自动完成运动；步骤S3：根据所述实景运行轨迹规划微缩场景中的第二摄像机器人的微缩场景运行轨迹，所述微缩场景运行轨迹与所述实景运行轨迹相匹配；步骤S4：机器人控制模块采用同步机制，分别同步控制第一摄像机器人在绿幕环境中执行实景运行轨迹、第二摄像机器人在绿幕环境中执行微缩场景运行轨迹；步骤S5：分别获取所述第一摄像机器人所拍摄的第一视频信息和第二摄像机器人所拍摄的第二视频信息，对所述第一视频信息和第二视频信息进行图像抠图处理后后进行图像合成，获得实时预览视频或图像。

作为本发明的进一步改进，所述方法还包括步骤S6：根据实时预览视频或图像的情况，在规划所述微缩场景运行轨迹时，添加修正参数重新修正微缩场景运行轨迹。

作为本发明的进一步改进，所述步骤S2包括：根据用户需求设定关于第一摄像机器人的若干参数，机器人控制模块基于所述参数并采用样条曲线算法自动计算第一摄像机器人的运动轨迹数据，将所述运动轨迹数据以数据流的形式发送给第一摄像机器人。

作为本发明的进一步改进，所述若干参数包括所述第一摄像机器人在空间中的若干个关键点位、运行速度、运行时间和轨迹平滑度。

作为本发明的进一步改进，所述步骤S3包括步骤S31：获取步骤S2中实景运行轨迹；步骤S32：采用矩形的形式约束实景中拍摄对象的活动范围，并将本步骤中所述矩形靠近第一摄像机器人的两个顶点以十字标的形式标出，分别记为P1、P2；步骤S33：采用矩形的形式约束微缩场景中拍摄对象的活动范围，并将本步骤中所述矩形靠近第二摄像机器人的两个顶点以十字标的形式标出，分别记为P3、P4；步骤S34：通过监视器查看第一摄像机器人和第二摄像机器人的实时画面，依次移动第一摄像机器人和第二摄像机器人，使得P1、P2、P3、P4处于实时画面的中心位置；分别记录第一摄像机器人的点位数据、第一摄像机器人中心相对于P1和P2的距离、第二摄像机器人对应的点位数据、第二摄像机器人中心相对于P3和P4的距离；根据所述记录的数据，计算出微缩场景与实景的缩放比例f、平移参数T、旋转参数θ；步骤S35：以缩放比例f、平移参数T、旋转参数θ作为约束条件，结合实景运行轨迹，计算得到微缩场景中的第二摄像机器人的微缩场景运行轨迹。

作为本发明的进一步改进，所述步骤S34包括计算公式：

Θ＝arctan(P1-P2)-arctan(P3-P4)，其中，f为缩放比例、T为平移参数、θ为旋转参数，dis(a,b)表示空间两点的距离。

作为本发明的进一步改进，所述步骤S35包括公式：

B_n＝f*[R(θ)T]A_n，

其中，实景运行轨迹为A₁、A₂…A_n、微缩场景运行轨迹为B₁、B₂、B_n、R(θ)为角度为θ的旋转矩阵，T为平移矩阵。

作为本发明的进一步改进，步骤S4中第一摄像机器人和第二摄像机器人的运动延迟小于20毫秒。

本发明实施例还提供一种实现微缩场景与实景拍摄实时合成预览系统。该实现微缩场景与实景拍摄实时合成预览系统包括第一摄像机器人，用于在实景场景中进行摄像的机器人；第二摄像机器人，用于在微缩场景中进行摄像的机器人；机器人控制模块，用于控制和同步所述第一摄像机器人、第二摄像机器人；轨迹规划模块，用于分别规划第一摄像机器人的实景运行轨迹和第二摄像机器人的微缩场景运行轨迹；抠像合成模块，基于所述第一摄像机器人的视频信号和时间码、所述第二摄像机器人的视频信号和时间码，用于抠取目标并且将目标进行合成而获得预览视频或图像。

作为本发明的进一步改进，所述系统还包括微缩轨迹修正模块，用于根据所述预览视频或图像的情况，在规划所述微缩场景运行轨迹时，添加修正参数重新修正微缩场景运行轨迹。

本发明具有以下优点：

本发明实施例所提供的实现微缩场景与实景拍摄实时合成预览系统及方法分别采用第一摄像机器人在实景中拍摄、第二摄像机器人在微缩场景中拍摄，通过轨迹规划模块使得微缩场景运行轨迹与实景运行轨迹相匹配，结合机器人控制模块控制第一摄像机器人与第二摄像机器人的同步性，从而确保对微缩场景和实景进行同步拍摄、且能够对拍摄结果进行实时合成预览。进一步地，本发明实施例所提供的实现微缩场景与实景拍摄实时合成预览系统及方法还具有微缩轨迹修正模块，可以根据实时预览视频或图像的情况来修整微缩运行轨迹的参数，从而获取理想的预览结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种实现微缩场景与实景拍摄实时合成预览方法的流程示意图；

图2为图1所示实施例中第三步骤包括的细化步骤的流程示意图；

图3为图1所示实施例对应的实现微缩场景与实景拍摄实时合成预览系统的模块化示意图。

附图标号说明：

100、系统	10、第一摄像机器人	20、第二摄像机器人
			30、机器人控制模块	40、轨迹规划模块	50、抠像合成模块

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1所示，本发明第一实施例提供一种实现微缩场景与实景拍摄实时合成预览方法的流程示意图。在该实施例中，一种实现微缩场景与实景拍摄实时合成预览方法包括五个步骤，每个步骤的具体内容如下所示。

步骤S1：基于网络通讯，机器人控制模块分别与第一摄像机器人、第二摄像机器人建立实时通讯，实现第一摄像机器人与第二摄像机器人的远程异步控制或者远程同步控制。第一摄像机器人，用于在实景场景中进行摄像的机器人；第二摄像机器人，用于在微缩场景(即虚拟场景)中进行摄像的机器人。网络通讯具体可以为TCP网络通讯。

步骤S2：规划实景场景中的第一摄像机器人的实景运行轨迹，机器人控制模块控制第一摄像机器人按照所述实景运行轨迹自动完成运动。根据用户需求设定关于第一摄像机器人的若干参数，机器人控制模块基于所述参数并采用样条曲线算法自动计算第一摄像机器人的运动轨迹数据，将所述运动轨迹数据以数据流的形式发送给第一摄像机器人。其中，若干参数包括所述第一摄像机器人在空间中的若干个关键点位、运行速度、运行时间和轨迹平滑度。

步骤S3：根据所述实景运行轨迹规划微缩场景中的第二摄像机器人的微缩场景运行轨迹，所述微缩场景运行轨迹与所述实景运行轨迹相匹配。如图2所示，步骤S3具体包括五个步骤，每个步骤的具体内容如下所述。

步骤S31：获取步骤S2中实景运行轨迹。

步骤S32：采用矩形的形式约束实景中拍摄对象的活动范围，并将本步骤中所述矩形靠近第一摄像机器人的两个顶点以十字标的形式标出，分别记为P1、P2。

步骤S33：采用矩形的形式约束微缩场景中拍摄对象的活动范围，并将本步骤中所述矩形靠近第二摄像机器人的两个顶点以十字标的形式标出，分别记为P3、P4。

步骤S34：通过监视器查看第一摄像机器人和第二摄像机器人的实时画面，依次移动第一摄像机器人和第二摄像机器人，使得P1、P2、P3、P4处于实时画面的中心位置；分别记录第一摄像机器人的点位数据、第一摄像机器人中心相对于P1和P2的距离、第二摄像机器人对应的点位数据、第二摄像机器人中心相对于P3和P4的距离；根据所述记录的数据，计算出微缩场景与实景的缩放比例f、平移参数T、旋转参数θ，各个参数的计算公式如式1至式3所示：

Θ＝arctan(P1-P2)-arctan(P3-P4) (式3)

其中，f为缩放比例、T为平移参数、θ为旋转参数，dis(a,b)表示空间两点的距离。如dis(P1,P2)表示空间P1与P2两点之间的距离。

步骤S35：以缩放比例f、平移参数T、旋转参数θ作为约束条件，结合实景运行轨迹，计算得到微缩场景中的第二摄像机器人的微缩场景运行轨迹。

微缩场景运行轨迹的具体计算公式，如式4所示：

B_n＝f*[R(θ)T]A_n (式4)

其中，实景运行轨迹为A₁、A₂…A_n、微缩场景运行轨迹为B₁、B₂、B_n、R(θ)为角度为θ的旋转矩阵，T为平移矩阵。

步骤S4：机器人控制模块采用同步机制，分别同步控制第一摄像机器人在绿幕环境中执行实景运行轨迹、第二摄像机器人在绿幕环境中执行微缩场景运行轨迹。优选地，第一摄像机器人和第二摄像机器人的运动延迟小于20毫秒。

步骤S5：分别获取所述第一摄像机器人所拍摄的第一视频信息和第二摄像机器人所拍摄的第二视频信息，对所述第一视频信息和第二视频信息进行图像抠图处理后后进行图像合成，获得实时预览视频或图像。视频信息具体包括摄像机器人所拍摄内容的视频信和时间码。获取视频信息的途径包括采用SDI数据线和/或数据采集卡。抠图处理具体可以基于OPENCV软件中的抠图功能，以完成将两部分拍摄主体从绿幕背景中分离的抠像工作以及合成预览工作。

优选地，本发明实施例所提供的实现微缩场景与实景拍摄实时合成预览方法还包括步骤S6：根据实时预览视频或图像的情况，在规划所述微缩场景运行轨迹时，添加修正参数重新修正微缩场景运行轨迹。添加的修正参数包括修正角度参数θ1和修正平移参数T1。具体的计算表达式如式5所示：

B＝f*[R(θ+θ1)(T+T1)]A (式5)

其中，R(θ+θ1)为角度为θ+θ1的修正旋转矩阵，T+T1为修正平移矩阵。然后重复步骤S4至S6，直到预览结果满足要求为止。

本发明实施例所提供的实现微缩场景与实景拍摄实时合成预览方法分别采用第一摄像机器人在实景中拍摄、第二摄像机器人在微缩场景中拍摄，通过轨迹规划模块使得微缩场景运行轨迹与实景运行轨迹相匹配，结合机器人控制模块控制第一摄像机器人与第二摄像机器人的同步性，从而确保对微缩场景和实景进行同步拍摄、且能够对拍摄结果进行实时合成预览。

本发明实施例所提供的实现微缩场景与实景拍摄实时合成预览系方法还具有微缩轨迹修正步骤，可以根据实时预览视频或图像的情况来修整微缩运行轨迹的参数，从而获取理想的预览结果。

如图3所示，本发明实施例还提供一种实现微缩场景与实景拍摄实时合成预览系统。该实现微缩场景与实景拍摄实时合成预览系统100包括第一摄像机器人10，用于在实景场景中进行摄像的机器人；第二摄像机器人20，用于在微缩场景中进行摄像的机器人；机器人控制模块30，用于控制和同步所述第一摄像机器人10、第二摄像机器人20；轨迹规划模块40，用于分别规划第一摄像机器人10的实景运行轨迹和第二摄像机器人20的微缩场景运行轨迹；抠像合成模块50，基于第一摄像机器人10的视频信号和时间码、第二摄像机器人20的视频信号和时间码，用于抠取目标并且将目标进行合成而获得预览视频或图像。

优选地，实现微缩场景与实景拍摄实时合成预览系统100还包括微缩轨迹修正模块(图3中未示出)，用于根据所述预览视频或图像的情况，在规划所述微缩场景运行轨迹时，添加修正参数重新修正微缩场景运行轨迹。

在本发明实施例所提供的实现微缩场景与实景拍摄实时合成预览系方法及系统中：

两台摄像机器人同步控制模块，基于TCP网络将控制模块与两台摄像机器人建立同步通讯，实现通讯周期不低于24ms的实时数据流传输；通过预先设定的多个关键点位，实现摄像机器人运行轨迹的自动生成和重复执行，摄像机器人控制模块发送控制指令给摄像机器人，同时实时获取从摄像机器人端发送回的反馈数据；

微缩轨迹规划算法，基于机器人控制模块在实景中预先设计的第一摄像机器人的运行轨迹数据，添加相关约束条件，自动计算生成第二摄像机器人在微缩场景中想匹配的的运行轨迹(也可简称为微缩轨迹)；

机器人控制模块中的同步控制模块，采用同步机制，控制两台摄像机器人同步执行实景轨迹和微缩轨迹，同时记录摄像机的时间码信息，方便后期制作；

合成预览模块，通过SDI数据线实时从两台摄像机获取图像数据流，基于抠像算法实现两路视频的实时合成预览。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种实现微缩场景与实景拍摄实时合成预览的方法，其特征在于，所述方法包括：

步骤S1：基于网络通讯，机器人控制模块分别与第一摄像机器人、第二摄像机器人建立实时通讯，实现第一摄像机器人与第二摄像机器人的远程异步控制或者远程同步控制；

步骤S2：规划实景场景中的第一摄像机器人的实景运行轨迹，机器人控制模块控制第一摄像机器人按照所述实景运行轨迹自动完成运动；

步骤S3：根据所述实景运行轨迹，规划微缩场景中的第二摄像机器人的微缩场景运行轨迹，所述微缩场景运行轨迹与所述实景运行轨迹相匹配；

步骤S4：机器人控制模块采用同步机制，分别同步控制第一摄像机器人在绿幕环境中执行实景运行轨迹、第二摄像机器人在绿幕环境中执行微缩场景运行轨迹；

步骤S5：分别获取所述第一摄像机器人所拍摄的第一视频信息和第二摄像机器人所拍摄的第二视频信息，对所述第一视频信息和第二视频信息进行图像抠图处理后进行图像合成，获得实时预览视频或图像。

2.根据权利要求1所述的一种实现微缩场景与实景拍摄实时合成预览方法，其特征在于，所述方法还包括步骤S6：根据实时预览视频或图像的情况，在规划所述微缩场景运行轨迹时，添加修正参数重新修正微缩场景运行轨迹。

3.根据权利要求1所述的一种实现微缩场景与实景拍摄实时合成预览方法，其特征在于，所述步骤S2包括：根据用户需求设定关于第一摄像机器人的若干参数，机器人控制模块基于所述参数并采用样条曲线算法自动计算第一摄像机器人的运动轨迹数据，将所述运动轨迹数据以数据流的形式发送给第一摄像机器人。

4.根据权利要求3所述的一种实现微缩场景与实景拍摄实时合成预览方法，其特征在于，所述若干参数包括所述第一摄像机器人在空间中的若干个关键点位、运行速度、运行时间和轨迹平滑度。

5.根据权利要求1所述的一种实现微缩场景与实景拍摄实时合成预览方法，其特征在于，所述步骤S3包括：

步骤S31：获取步骤S2中实景运行轨迹；

步骤S32：采用矩形的形式约束实景中拍摄对象的活动范围，并将本步骤中所述矩形靠近第一摄像机器人的两个顶点以十字标的形式标出，分别记为P1、P2；

步骤S33：采用矩形的形式约束微缩场景中拍摄对象的活动范围，并将本步骤中所述矩形靠近第二摄像机器人的两个顶点以十字标的形式标出，分别记为P3、P4；

步骤S34：通过监视器查看第一摄像机器人和第二摄像机器人的实时画面，依次移动第一摄像机器人和第二摄像机器人，使得P1、P2、P3、P4处于实时画面的中心位置；分别记录第一摄像机器人的点位数据、第一摄像机器人中心相对于P1和P2的距离、第二摄像机器人对应的点位数据、第二摄像机器人中心相对于P3和P4的距离；根据所述记录的数据，计算出微缩场景与实景的缩放比例f、平移参数T、旋转参数θ；

步骤S35：以缩放比例f、平移参数T、旋转参数θ作为约束条件，结合实景运行轨迹，计算得到微缩场景中的第二摄像机器人的微缩场景运行轨迹。

6.根据权利要求5所述的一种实现微缩场景与实景拍摄实时合成预览方法，其特征在于，所述步骤S34包括计算公式：

Θ＝arctan(P1-P2)-arctan(P3-P4)，

其中，f为缩放比例、T为平移参数、θ为旋转参数，dis(a,b)表示空间两点的距离。

7.根据权利要求5所述的一种实现微缩场景与实景拍摄实时合成预览方法，其特征在于，所述步骤S35包括公式：

B_n＝f*[R(θ)T]A_n，

其中，实景运行轨迹为A₁、A₂…A_n、微缩场景运行轨迹为B₁、B₂、B_n、R(θ)为角度为θ的旋转矩阵，T为平移矩阵。

8.根据权利要求1所述的一种实现微缩场景与实景拍摄实时合成预览方法，其特征在于，步骤S4中第一摄像机器人和第二摄像机器人的运动延迟小于20毫秒。

9.一种实现微缩场景与实景拍摄实时合成预览系统，其特征在于，所述系统包括：

第一摄像机器人，用于在实景场景中进行摄像的机器人；

第二摄像机器人，用于在微缩场景中进行摄像的机器人；

机器人控制模块，用于控制和同步所述第一摄像机器人、第二摄像机器人；

轨迹规划模块，用于分别规划第一摄像机器人的实景运行轨迹和第二摄像机器人的微缩场景运行轨迹；

抠像合成模块，基于所述第一摄像机器人的视频信号和时间码、所述第二摄像机器人的视频信号和时间码，用于抠取目标并且将目标进行合成而获得预览视频或图像。

10.根据权利要求9所述的一种实现微缩场景与实景拍摄实时合成预览系统，其特征在于，所述系统还包括微缩轨迹修正模块，用于根据所述预览视频或图像的情况，在规划所述微缩场景运行轨迹时，添加修正参数重新修正微缩场景运行轨迹。

Images