CN116524022A - 偏移数据计算方法、图像融合方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供了一种偏移数据计算方法、图像融合方法、装置及电子设备。偏移数据计算方法包括：获取采集图像及动捕追踪数据；其中，采集图像为采集设备对屏幕进行拍摄得到的画面，屏幕中显示有包含预设特征点的上屏图像；动捕追踪数据表征固定于采集设备上的动捕追踪器在动捕坐标系下的位置；确定特征点在采集图像中的二维位置及特征点的三维位置；根据二维位置、三维位置及采集设备的内参计算得到采集设备外参；基于动捕追踪数据和采集设备外参，采用手眼标定算法得到采集设备节点偏移和屏幕偏移。本申请实施例提供的偏移数据计算方法，计算过程较为简便，并且，计算结果更为稳定。

Description

偏移数据计算方法、图像融合方法、装置及电子设备

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种偏移数据计算方法、图像融合方法、装置、电子设备及计算机存储介质。

背景技术

虚拟拍摄是通过将经虚拟引擎渲染得到的场景图投屏到LED屏幕上显示，然后演员利用LED屏幕作为背景进行表演，图像采集设备(如相机)同时拍摄演员和LED屏幕，之后，再将拍摄到的图像与原始场景图合成，从而将真实演员置身于虚拟场景中，达到在影棚内拍摄外景或科幻背景的效果。

上述虚拟拍摄过程涉及两个过程：场景图渲染过程，以及，LED屏幕画面的采集过程。场景图渲染过程要预先在渲染引擎中设定好虚拟相机与虚拟LED屏幕之间的相对位置；LED屏幕画面的采集过程也要预先设定好真实相机与真实LED屏幕之间的相对位置。

若虚拟相机和虚拟LED屏幕之间的相对位置，与真实相机和真实LED屏幕之间的相对位置不一致，会导致相机拍摄LED屏幕得到的采集图像与渲染得到的场景图(以下简称上屏图像)之间存在画面错位问题，进而导致虚拟拍摄技术最终得到的画面看起来不够真实。

因此，在进行实际拍摄之前，要进行偏移数据的计算，即：计算(真实)相机节点偏移和(真实)屏幕偏移。其中，相机节点偏移指采集设备镜头的光心和动捕追踪器之间的偏移，也即：采集设备坐标系(以上述光心为原点的坐标系)下追踪设备的位姿；屏幕偏移指屏幕坐标系和动捕坐标系之间的偏移，也即：动捕坐标系下屏幕的位姿。进而基于偏移数据，将虚拟相机和虚拟LED屏幕之间的相对位置校准为与真实相机和真实LED屏幕之间的相对位置保持一致。

发明内容

有鉴于此，本申请实施例提供一种偏移数据计算方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种偏移数据计算方法，包括：

获取采集图像及动捕追踪数据；其中，所述采集图像为采集设备对屏幕进行拍摄得到的画面，所述屏幕中显示有包含预设特征点的上屏图像；所述动捕追踪数据表征固定于采集设备上的动捕追踪器在动捕坐标系下的位置；

确定所述特征点在所述采集图像中的二维位置及所述特征点的三维位置；

根据所述二维位置、所述三维位置及所述采集设备的内参计算得到采集设备外参；

基于所述动捕追踪数据和所述采集设备外参，采用手眼标定算法得到采集设备节点偏移和屏幕偏移。

根据本申请实施例的第二方面，提供了一种图像融合方法，包括：

获取动捕追踪数据和屏幕模型数据；

基于采集设备节点偏移校准所述动捕追踪数据，得到虚拟采集设备位置信息；

基于屏幕偏移校准所述屏幕模型数据，得到虚拟屏幕位置信息；

获取目标采集图像，所述目标采集图像为采集设备对屏幕进行拍摄得到的画面，所述屏幕中显示有目标上屏图像，所述目标上屏图像是按照所述虚拟屏幕位置信息和所述虚拟采集设备位置信息进行图像渲染得到的；

融合所述目标上屏图像和所述目标采集图像，得到融合图像；

其中，所述采集设备节点偏移和所述屏幕偏移采用如上述第一方面所述的方法得到。

根据本申请实施例的第三方面，提供了一种偏移数据计算装置，包括：

采集图像获取模块，用于获取采集图像及动捕追踪数据；其中，所述采集图像为采集设备对屏幕进行拍摄得到的画面，所述屏幕中显示有包含预设特征点的上屏图像；所述动捕追踪数据表征固定于采集设备上的动捕追踪器在动捕坐标系下的位置；

位置确定模块，用于确定所述特征点在所述采集图像中的二维位置及所述特征点的三维位置；

外参计算模块，用于根据所述二维位置、所述三维位置及所述采集设备的内参计算得到采集设备外参；

偏移数据得到模块，用于基于所述动捕追踪数据和所述采集设备外参，采用手眼标定算法得到采集设备节点偏移和屏幕偏移。

根据本申请实施例的第四方面，提供了一种图像融合装置，包括：

数据获取模块，用于获取动捕追踪数据和屏幕模型数据；

第一校准模块，用于基于采集设备节点偏移校准所述动捕追踪数据，得到虚拟采集设备位置信息；

第二校准模块，用于基于屏幕偏移校准所述屏幕模型数据，得到虚拟屏幕位置信息；

目标采集图像获取模块，用于获取目标采集图像，所述目标采集图像为采集设备对屏幕进行拍摄得到的画面，所述屏幕中显示有目标上屏图像，所述目标上屏图像是按照所述虚拟屏幕位置信息和所述虚拟采集设备位置信息进行图像渲染得到的；

融合模块，用于融合所述目标上屏图像和所述目标采集图像，得到融合图像；

其中，所述采集设备节点偏移和所述屏幕偏移采用如上述第一方面所述的方法得到。

根据本申请实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述方法对应的操作。

根据本申请实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的方法。

根据本申请实施例提供的偏移数据计算方案，在获取到包含有特征点的采集图像之后，确定出了特征点的二维位置和三维位置，并基于采集设备的内参、上述二维位置及三维位置，得到了采集设备的外参；进而将空间校准问题抽象为机器人领域中的手眼标定问题，以动捕追踪数据和得到的上述采集设备外参作为输入，采用手眼标定算法，输出得到计算结果：采集设备节点偏移和屏幕偏移。本申请实施例中，基于由采集图像和对应的动捕追踪数据组成的一套统一数据，采用手眼标定算法，同时求解出了采集设备节点偏移和屏幕偏移，因此计算过程较为简便，并且，计算结果更为稳定。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为根据本申请实施例一的一种偏移数据计算方法的步骤流程图；

图2为上屏图像示意图；

图3为包含有定位标识符的上屏图像示意图；

图4为特征点的位置信息生成流程示意图；

图5为图1所示实施例中的偏移数据计算流程示意图；

图6为图5中的定位校准算法部分的具体流程示意图；

图7为根据本申请实施例二的一种图像融合方法的步骤流程图；

图8为图7所示实施例中的一种场景示例的示意图；

图9为根据本申请实施例三的一种偏移数据计算装置的结构框图；

图10为根据本申请实施例四的一种图像融合装置的结构框图；

图11为根据本申请实施例五的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

实施例一

参照图1，图1为根据本申请实施例一的一种偏移数据计算方法的步骤流程图。具体地，本实施例提供的偏移数据计算方法包括以下步骤：

步骤102，获取采集图像及动捕追踪数据；其中，采集图像为采集设备对屏幕进行拍摄得到的画面，屏幕中显示有包含预设特征点的上屏图像；动捕追踪数据表征固定于采集设备上的动捕追踪器在动捕坐标系下的位置信息和姿态信息。

动捕追踪器是一种可以定位自身位姿信息的仪器，具体地，可以获取到在预设的动捕坐标系下自身的位置信息和姿态信息，上述位置信息和姿态信息即为动捕追踪数据。

动捕坐标系的原点可以为空间中的任一点，动捕坐标系的坐标轴方向也可以根据实际情况自定义设定。例如：可以将拍摄场地中摄像机底座所在位置确定为动捕坐标系的原点，将水平面内与显示屏宽度方向平行的方向设定为x轴，将水平面内与x轴垂直的方向设定为y轴，将竖直向上的方向设定为z轴，其中，x轴、y轴以及z轴之间满足右手定则；又如，还可以将矩形显示屏的中心点所在位置确定为动捕坐标系的原点，将显示屏宽度方向设定为x轴，将显示屏长度方向设定为y轴，再基于设定的x轴和y轴，采用右手定则确定出z轴方向，等等。

上屏图像可以为待显示在屏幕中的二维图像，本申请实施例中的上屏图像可以为包含有预设特征点的二维图像。

本申请实例中，对于特征点的具体形式不做限定，可以为任意的能够检测到的形状。例如：参见图2的左侧图，常用的特征点可以为棋盘格图中的角点，其中，棋盘格图形由黑白相间的正方形组成，黑色方格相接处形成的点即为角点；又如，参见图2的右侧图，特征点也可以为圆点点阵中的各白色圆点，等等。

步骤104，确定特征点在采集图像中的二维位置及特征点的三维位置。

在步骤102获取到采集图像之后，可以对采集图像进行特征点检测，得到特征点在采集图像中的二维位置。

在生成包含预设特征点的上屏图像时，则可以预先获取到特征点在上屏图像中的位置，而在将上屏图像渲染至显示屏时，可以预先确定出上屏图像在屏幕模型中的二维显示区域，这样，基于特征点在上屏图像中的位置，以及上述显示区域位置，可以确定出特征点在屏幕模型中的二维坐标：纹理贴图坐标(UV坐标)；另外，在建立屏幕模型时，对于屏幕模型中的各3D点，会预先建立其三维坐标与纹理贴图坐标之间的对应关系，因此，在获取到特征带你在屏幕模型中的UV坐标之后，可以机油上述对应关系，得到特征点的三维坐标。其中，屏幕模型中3D点的三维坐标，指3D点在预设三维空间(如屏幕坐标系)中的三维位置。

屏幕坐标系为进行屏幕建模时所设定的三维坐标系，屏幕坐标系的定义方式可以根据实际情况设定，本申请实施例中不做限定。例如：可以以屏幕的中心为坐标原点，也可以以屏幕的左下角某个点，或者右下角某个点作为坐标原点，等等。

可选地，在其中一些实施例中，上屏图像中还可以包含：棋盘格图像(参见图2左侧图)；对应地，特征点可以为棋盘格图像中的角点；

对应地，步骤104可以包括：

对采集图像进行棋盘格角点检测，得到各角点在采集图像中的二维位置；

基于各角点之间的相对位置关系，确定各角点的三维位置。

具体地，采集图像为将上屏图像渲染至显示屏，并对显示屏进行拍摄得到的画面，当上屏图像包含棋盘格图像时，对应的采集图像则为将包含棋盘格图像的上屏图像渲染至显示屏，并对显示屏进行拍摄得到的画面。

本申请实施例中，获取到的采集图像中包含上屏图像中的所有角点，且在后续对采集图像进行检测的过程中，也检测到上述所有角点。如：以图2左侧图为例，若完整的上屏图像为10行10列棋盘格图形，则在本申请实施例的采集图像中，也包含有上述完整的10行10列棋盘格图形，并且，为了能够准确地得到各角点的三维位置，在进行角点检测时，采集图像中的各角点都应被检测出。

在包含完整棋盘格的上屏图像中，可以预先获取到某个角点在上屏图像中的位置，后续简称上述角点为参考角点。在检测出棋盘格中全部角点在采集图像中的二维位置之后，可以基于各角点之间的相对位置关系，以及上述参考角点在上屏图像中的位置，得到各角点在上屏图像中的位置，而如上所述，由于在将上屏图像渲染至显示屏时，可以预先确定出上屏图像在屏幕模型中的二维UV坐标，因此，基于上屏图像在屏幕模型中的二维UV坐标，以及，各角点在上屏图像中的位置，可以得到各角点在屏幕模型中的二维UV坐标；另外，在建立屏幕模型时，对于屏幕模型中的各3D点，会预先建立其三维坐标与UV坐标之间的对应关系，因此，在得到各角点在屏幕模型中的二维UV坐标后，基于上述映射关系，可以得到各角点的三维坐标。

本申请实施例中，要在采集图像中检测出棋盘格中所有角点的原因在于：若在采集图像中只检测出了部分角点，则无法将检测出的各角点对应至上屏图像中的角点，也就是说，无法确定是上屏图像中的哪些角点被检测出，进而无法得到检测出的角点之间的相对位置关系，后续也无法确定检测出的各角点的三维坐标。

可选地，在其中一些实施例中，上屏图像中还包含：定位标识符；定位标识符为在上屏图像中的位置信息已知的预设标识符；

确定特征点在采集图像中的二维位置及特征点的三维位置，包括：

检测采集图像中的特征点和定位标识符，得到特征点在采集图像中的二维位置，及特征点与定位标识符之间的相对位置关系；

基于相对位置关系，确定特征点在上屏图像中的位置；

根据特征点在上屏图像中的位置，得到特征点的三维位置。

具体地，在确定出特征点在上屏图像中的位置之后，可以基于特征点在上屏图像中的位置得到特征点在屏幕模型上的纹理贴图坐标(UV坐标)；再基于屏幕模型关系：屏幕模型中3D点位置与UV信息的对应关系，得到特征点在预设三维空间(如屏幕坐标系)中的三维位置。

本申请实施例，对于定位标识符的具体表现形式不做限定，可以根据实际情况设定任意的符号形状作为定位标识符，预先获取到定位标识符在上屏图像中的位置信息。例如：可以采用自定义的图形作为定位标识符，也可以采用任意字符作为颜色标识符，等等。

例如，参见图3左侧图，可以将三个白色圆圈作为定位标识符，将其余的白色圆点作为特征点。

可选的，在其中一些实施例中，定位标识符可以是基于Aruco码生成的。

具体地，Aruco码是一个合成的正方形标记，由宽的黑色边框和能够确定其标识的内部二进制矩阵组成。本申请实施例中，可以基于Aruco码来生成定位标识符，例如：可以将Aruco码单独作为定位标识符；也可以在Aruco码的基础上增加其他的标识信息等作为定位标识符；还可以对Aruco码进行一定的形状改进，将改进后的图形作为定位标识符，等等。

例如，可以将Aruco码与棋盘格结合，参见图3右侧图，将单个Aruco码嵌入在棋盘格的一个白色方框中，这样，棋盘格的单个白色方框就携带了编码标识信息，只要在采集到嵌入了Aruco码的白色方框之后进行对应的解码操作，即可知道该白色方框对应在屏幕上的三维位置。

具体地，参见图4，图4为特征点的位置信息生成流程示意图。当采用将单个Aruco码嵌入在棋盘格的一个白色方框中的方式生成定位标识符，并将棋盘格的角点作为特征点时，具体地得到角点在采集图像中的二维位置及三维位置的过程可以为：

开始位置计算；对采集图像进行棋盘格角点检测，得到各角点在采集图像中的二维位置；对采集图像进行Aruco码检测，并对检测到的Aruco码进行解码识别，得到Aruco码的标识(编号)信息；之后基于上述过程得到的Aruco码的标识(编号)信息，确定到Aruco码在上屏图像中的位置；对于角点而言，可以基于该角点与任意一个或多个Aruco码之间的相对位置关系，得到该角点在上屏图像中的位置，进而得到该角点在屏幕模型上的纹理贴图坐标(UV坐标)；再获取屏幕模型关系：屏幕3D点坐标与UV信息的对应关系；基于上述对应关系，计算各检测到的角点的3D坐标；将角点在采集图像中的二维位置以及角点的3D坐标，作为生成的数据集，以用于后续计算。

采用包含完整棋盘格图像的上屏图像进行角点二维位置及三维位置的计算时，为了能够准确地得到各角点的三维位置，在图像采集阶段，要求获取到的采集图像中要包含整个棋盘格且棋盘格在采集图像中的画面比例也不能太小；另外，在角点检测阶段，棋盘格图像中的各角点都应被检测出，否则，将因为无法确定出各角点之间的正确顺序(相对位置关系)，而无法获得各角点的三维位置。因此，该方式，对于数据采集的要求较高，数据采集的难度较大。另外对于曲面屏，部分棋盘格的角点可能无法正常被检测到，这时也会导致采集图像无效。

而采用包含有定位标识符的上屏图像进行特征点二维位置及三维位置的计算时，只要采集到的图像中包含定位标识符，就可以通过定位标识符定位出特征点在屏幕上的三维位置，无需完整拍摄到上屏画面的显示内容，因此，该方式可以使得图像采集过程更为容易，例如，对于采用将单个Aruco码嵌入在棋盘格的一个白色方框中的方式生成定位标识符的方式而言，可以在任意位置进行图像采集，也可以采集任意数量的棋盘格角点。

另外，本申请实施例提供的确定特征点的二维位置和三维位置的方式，采用了在屏幕中显示上屏图像的技术手段，取代了常规标定方式中的标定版，因此，省去了标定板的成本。

步骤106，根据二维位置、三维位置及采集设备的内参计算得到采集设备外参。

采集设备的内参可以包括：焦距、中心偏移、畸变参数等。本申请实施例中，可以采用现有的获取内参的方式，获取采集设备的内参。例如：可以基于采集设备(如相机)和镜头的具体型号，通过查找对应的手册得到采集设备的内参；也可以在步骤104得到特征点的二维位置和三维位置后，调用相机标定接口(如OpenCV的相机标定接口)，从而得到采集设备的内参，等等。

但是，对于调用相机标定接口进行内参计算的方式而言，存在一定的局限性：该接口要求所有的特征点都在一个平面上，否则就无法进行内参初始值的估计，从而无法进行采集设备镜头标定，无法得到采集设备的内参。而在实际的拍摄现场，大多使用的是弧形屏，这样就不能满足特征点共面的要求，因此需采用其他方式进行初始值估计，以完成后续的标定。

可选地，在其中一些实施例中，在步骤106之前，方法还可以包括：

设定多组内参初始值；

针对每组内参初始值，基于该内参初始值和特征点的二维位置及三维位置，调用预设的相机标定接口，得到该内参初始值对应的候选内参；

计算各候选内参的反投影误差；

基于反投影误差，从候选内参中确定采集设备的内参。

具体地，本申请实施例对于内参初始值的设定方式不做限定，可以根据实际情况及相关经验设定。

具体地，候选内参的反投影误差计算方式，可以为：先基于候选内参得到对应的投影矩阵；再采用得到的上述投影矩阵，对特征点的三维位置进行二维转换，得到特征点的二维的转换位置；再计算特征点的二维位置与上述转换位置之间的误差，将该误差作为候选内参的反投影误差。

进一步地，基于各种不同镜头的特点，可以给出多组内参初值以覆盖各种广角镜头和长焦镜头。具体地，可以在常见镜头的焦距范围内，等间距地取多组(例如：5组)焦距值作为焦距初始值，同时，为便于计算，可以将中心偏移和畸变参数都置零。

基于反投影误差进行内参选择时，可以基于适当的选择原则进行，本申请实施例中对于选择原则的具体内容不做限定。较优地，可以将反投影误差最小的候选内参确定为采集设备的内参。

上述方案给出了多组内参的初始值，并针对各组初始值分别得到了对应的候选内参；之后，基于反投影误差从多个候选内参中进行选择，得到了采集设备的内参。本申请实施例在计算采集设备内参时，通过初始值的设定和筛选的方式，兼容了曲面屏场景，并且兼容了各种广角和长焦相机。

步骤108，基于动捕追踪数据和采集设备外参，采用手眼标定算法得到采集设备节点偏移和屏幕偏移。

采集设备外参代表的是在屏幕坐标系下采集设备的位姿，动捕追踪数据表示在动捕坐标系下动捕追踪器的位姿。而本申请实施例要求解的采集设备节点偏移是指采集设备镜头的光心和动捕追踪器之间的偏移，也即采集设备坐标系(以上述光心为原点的坐标系)下动捕追踪器的位姿；屏幕偏移是指屏幕坐标系和动捕坐标系之间的偏移，也即动捕坐标系下屏幕的位姿。

在机器人领域中，可以将摄像头固定于机器人的机械臂上，机械臂与摄像头协同工作以完成指定的作业任务，如：快递分拣、零件加工，等等。为保证作业任务的顺利完成，要进行空间标定，通常将该标定过程称为手眼标定。手眼标定是指：在已知摄像头(眼)位姿，以及机械臂(手)位姿的情况下，计算摄像头与机械臂之间的偏移，以及，目标(如快递、零件等)与机械臂坐标系之间的偏移。现阶段，求解手眼标定问题通常可以采用现有的手眼标定算法,如开源的手眼标定算法：Tsai-Lenz算法，Horaud提出的算法，Park提出的算法，等等。

对比后可发现：本申请实施例要求解的问题，可以抽象为机器人领域中的上述手眼标定问题。具体地，可以将采集设备理解为眼，将动捕追踪器理解为手，屏幕理解为目标，动捕坐标原点理解为机械臂坐标系原点。这样，本申请要求解的问题就可以采用手眼标定算法进行求解。

具体地，以上述开源的手眼标定算法为例，可以先对采集设备外参和动捕追踪数据进行预处理，得到满足上述算法要求的输入数据；再采用上述开源的手眼标定算法对上述输入数据进行处理，从而得到算法输出的结果：采集设备节点偏移和屏幕偏移。

根据上述内容可以看出，本申请实施例在步骤106内进行内参计算的过程中，以及，在步骤106进行外参计算以完成后续空间校准的过程中，都是基于采集图像中特征点的二维位置和三维位置进行的。具体地，本申请实施例只需在图像采集的过程中同时保存动捕追踪数据，即可在实现内参计算的基础上，还实现最终的空间校准，而无需进行图像数据的二次采集，因此，本申请实施例实现了数据复用，降低了数据采集的复杂度。

根据本申请实施例提供的偏移数据计算方案，在获取到包含有特征点的采集图像之后，确定出了特征点的二维位置和三维位置，并基于采集设备的内参、上述二维位置及三维位置，得到了采集设备的外参；进而将空间校准问题抽象为机器人领域中的手眼标定问题，以动捕追踪数据和得到的上述采集设备外参作为输入，采用手眼标定算法，输出得到计算结果：采集设备节点偏移和屏幕偏移。本申请实施例中，基于由采集图像和对应的动捕追踪数据组成的一套统一数据，采用手眼标定算法，同时求解出了采集设备节点偏移和屏幕偏移，因此计算过程较为简便，并且，计算结果更为稳定。

参见图5，图5为图1所示实施例中的偏移数据计算流程示意图。以下结合图5，对偏移数据计算的流程进行解释说明：

完整的偏移数据计算流程可以分为：第一部分，数据采集；第二部分，数据预处理；第三部分，相机镜头标定；第四部分，定位校准算法。

以下针对每个部分进行详细说明：

第一部分，数据采集：空间校准开始，可以先获取到屏幕的屏幕信息，例如：分辨率、尺寸等信息，以确定各屏幕的显示区域；生成包含有特征点的上屏图片，例如图2或图3所示的上屏图像；将上屏图像渲染至屏幕上进行显示，也即图片上屏；移动相机到指定位置采集数据：通过相机在该位置采集屏幕上的画面，得到一组采集数据，采集数据包括：一张采集图像和拍摄该图像时对应的动捕追踪数据；移动相机到不同位置采集数据，得到多组采集数据，并判断是否已采集到足够数据，示例性地：可以设定当采集到N组数据(N≥8)时，确定已采集足够数据；若未采集到足够数据，则再次移动相机，执行上述数据采集操作；若已采集到足够数据，则进入第二部分。

第二部分，数据预处理：数据预处理部分主要作用是将采集到的数据处理成后续定位校准算法所需要的数据集，对于采集到每帧采集图像，进行特征点检测以及定位标识符的识别，再结合屏幕模型的3D点与UV信息的对应关系，求得识别到的特征点对应在屏幕上的3D点坐标，结合检测到的特征点在采集图像中的2D位置信息，可以构建一个有效的2D-3D点对。

第三部分，相机镜头标定：该部分的目标是基于上一部分得到的2D-3D点对进行相机镜头标定，得到相机对应的内参，包括焦距，中心偏移，畸变参数等。

第四部分，定位校准算法：参见图6，图6为图5中的定位校准算法部分的具体流程示意图。定位校准算法开始，获取上述第二部分得到的2D-3D点对以及第三部分得到的相机内参；通过2D-3D点对和相机的内参，利用solvepnp算法求得每一帧采集图像对应的相机的外参。其中，solvepnp算法包括但不限于P3P，DLT，EPnP等等；将相机外参和动捕追踪数据转换至同一预设的坐标系中(本申请实施例中对于预设的坐标系不做限定)，之后，输入至手眼标定算法，从而输出结果：相机节点偏移和屏幕偏移；结果转换和应用：基于相机节点偏移校准动捕追踪数据，得到相机位置信息，具体地：可以将相机节点偏移施加至动捕追踪数据，从而得到相机的位置信息；基于屏幕偏移校准屏幕模型数据，得到屏幕位置信息，具体地：可以将屏幕偏移施加至屏幕模型数据，从而得到屏幕的位置信息；基于上述相机位置信息和屏幕位置信息，设定虚拟相机和虚拟屏幕，从而进行场景图渲染。

实施例二

参照图7，图7为根据本申请实施例一的一种图像融合方法的步骤流程图。具体地，本实施例提供的图像融合方法包括以下步骤：

步骤702，获取动捕追踪数据和屏幕模型数据。

步骤704，基于采集设备节点偏移校准动捕追踪数据，得到虚拟采集设备位置信息；基于屏幕偏移校准屏幕模型数据，得到虚拟屏幕位置信息。

其中，采集设备节点偏移和屏幕偏移采用如上述实施例一的方法得到。

具体地，基于采集设备节点偏移校准动捕追踪数据，可以为将采集设备节点偏移施加至动捕追踪数据，从而得到虚拟采集设备位置信息；基于屏幕偏移校准屏幕模型数据可以为将屏幕偏移施加至屏幕模型数据，从而得到虚拟屏幕位置信息。

步骤706，获取目标采集图像，目标采集图像为采集设备对屏幕进行拍摄得到的画面，屏幕中显示有目标上屏图像，目标上屏图像是按照虚拟屏幕位置信息和虚拟采集设备位置信息进行图像渲染得到的。

目标上屏图像可以为实际拍摄过程中，作为拍摄背景的场景图像。

步骤708，融合目标上屏图像和目标采集图像，得到融合图像。

参见图8，图8为图7所示实施例中的一种场景示例的示意图：

在获取到获取动捕追踪数据和屏幕模型数据，并采用步骤704的方式得到虚拟采集设备位置信息和虚拟屏幕位置信息之后，可以基于上述位置信息在渲染引擎中设置虚拟相机和虚拟屏幕的位置，并进行图像渲染，得到如图8所示的渲染图像；将上述渲染图像投影至屏幕，由于屏幕的尺寸有限，因此，只能将渲染图像中的部分图像显示在屏幕中；之后，通过相机拍摄屏幕，可以得到如图8所示的采集图像，该采集图像中包含了屏幕之外的部分；根据相机和LED屏的位置关系可以确定屏幕区域在采集图像中的像素蒙版；最后，基于上述像素蒙版，将渲染图像和采集图像融合，从而得到最终的融合图像，该融合图像是在采集图像基础上，基于渲染图像对屏幕之外的部分进行了补充之后得到的图像，从融合图像可以看出，其中并不存在画面错位问题。

根据本申请实施例提供的图像融合方案，在进行目标上屏图像渲染之前，先基于上述实施例一的空间校准方法得到的采集设备节点偏移和屏幕偏移，校准得到了虚拟采集设备位置信息和虚拟屏幕的位置信息，进而基于上述位置信息，设置虚拟相机和虚拟屏幕以进行目标上屏图像的渲染，这样，可以使得虚拟相机和虚拟屏幕之间的相对位置，与真实相机和真实LED屏幕之间的相对位置一致，从而避免了目标采集图像与上屏图像之间存在画面错位的问题，提升了虚拟拍摄技术最终得到的图像的质量。

另外，在进行空间校准时，采用上述实施例一的方式，空间校准操作过程较为简便，并且，校准结果更为稳定。

实施例三

图9为根据本申请实施例三的一种偏移数据计算装置的结构框图。该装置包括：

采集图像获取模块902，用于获取采集图像及动捕追踪数据；其中，采集图像为采集设备对屏幕进行拍摄得到的画面，屏幕中显示有包含预设特征点的上屏图像；动捕追踪数据表征固定于采集设备上的动捕追踪器在动捕坐标系下的位置；

位置确定模块904，用于确定特征点在采集图像中的二维位置及特征点的三维位置；

外参计算模块906，用于根据二维位置、三维位置及采集设备的内参计算得到采集设备外参；

偏移数据得到模块908，用于基于动捕追踪数据和采集设备外参，采用手眼标定算法得到采集设备节点偏移和屏幕偏移。

可选地，在其中一些实施例中，上屏图像中还包含：定位标识符；定位标识符为在上屏图像中的位置信息已知的预设标识符；

位置确定模块904，具体用于：

检测采集图像中的特征点和定位标识符，得到特征点在采集图像中的二维位置，及特征点与定位标识符之间的相对位置关系；

基于相对位置关系，确定特征点在上屏图像中的位置；

根据特征点在上屏图像中的位置，得到特征点的三维位置。

可选地，在其中一些实施例中，上屏图像中还包含：完整的棋盘格图像；特征点为棋盘格图像中的角点；

位置确定模块904，具体用于：

对采集图像进行棋盘格角点检测，得到各角点在采集图像中的二维位置；

基于各角点之间的相对位置关系，确定各角点的三维位置。

可选地，在其中一些实施例中，空间校准装置还包括：

内参确定模块，用于在根据二维位置、三维位置及采集设备的内参计算得到采集设备外参之前，设定多组内参初始值；针对每组内参初始值，基于该内参初始值和特征点的二维位置及三维位置，调用预设的相机标定接口，得到该内参初始值对应的候选内参；计算各候选内参的反投影误差；基于反投影误差，从候选内参中确定采集设备的内参。

本实施例的偏移数据计算装置用于实现前述偏移数据计算方法实施例中相应的空间校准方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的偏移数据计算装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例四

图10为根据本申请实施例四的一种图像融合装置的结构框图。该装置包括：

数据获取模块1002，用于获取动捕追踪数据和屏幕模型数据；

第一校准模块1004，用于基于采集设备节点偏移校准动捕追踪数据，得到虚拟采集设备位置信息；

第二校准模块1006，用于基于屏幕偏移校准屏幕模型数据，得到虚拟屏幕位置信息；

目标采集图像获取模块1008，用于获取目标采集图像，目标采集图像为采集设备对屏幕进行拍摄得到的画面，屏幕中显示有目标上屏图像，目标上屏图像是按照虚拟屏幕位置信息和虚拟采集设备位置信息进行图像渲染得到的；

融合模块1010，用于融合目标上屏图像和目标采集图像，得到融合图像；

其中，采集设备节点偏移和屏幕偏移采用如上述第一方面的方法得到。

本实施例的图像融合装置用于实现前述图像融合方法实施例中相应的图像融合方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的图像融合装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例五

参照图11，示出了根据本申请实施例五的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。

如图11所示，该控制终端可以包括：处理器(processor)1102、通信接口(Communications Interface)1104、存储器(memory)1106、以及通信总线1108。

其中：

处理器1102、通信接口1104、以及存储器1106通过通信总线1108完成相互间的通信。

通信接口1104，用于与其它电子设备或服务器进行通信。

处理器1102，用于执行程序1110，具体可以执行上述偏移数据计算方法或图像融合方法实施例中的相关步骤。

具体地，程序1110可以包括程序代码，该程序代码包括计算机操作指令。

处理器1102可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器1106，用于存放程序1110。存储器1106可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序1110可包括多条计算机指令，程序1110具体可以通过多条计算机指令使得处理器1102执行前述多个方法实施例中所描述的方法对应的操作。

程序1110中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述多个方法实施例中任一实施例所描述的方法。该计算机存储介质包括但不限于：只读光盘(Compact Disc Read-Only Memory，CD-ROM)、随机存储器(RandomAccess Memory，RAM)、软盘、硬盘或磁光盘等。

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一方法对应的操作。

此外，需要说明的是，本申请实施例所涉及到的与用户有关的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如专用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编辑门阵列(Field Programmable Gate Array，FPGA))的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，随机存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (10)

1.一种偏移数据计算方法，包括：

获取采集图像及动捕追踪数据；其中，所述采集图像为采集设备对屏幕进行拍摄得到的画面，所述屏幕中显示有包含预设特征点的上屏图像；所述动捕追踪数据表征固定于采集设备上的动捕追踪器在动捕坐标系下的位置；

确定所述特征点在所述采集图像中的二维位置及所述特征点的三维位置；

根据所述二维位置、所述三维位置及所述采集设备的内参计算得到采集设备外参；

基于所述动捕追踪数据和所述采集设备外参，采用手眼标定算法得到采集设备节点偏移和屏幕偏移。

2.根据权利要求1所述的方法，其中，所述上屏图像中还包含：定位标识符；所述定位标识符为在所述上屏图像中的位置信息已知的预设标识符；

所述确定所述特征点在所述采集图像中的二维位置及所述特征点的三维位置，包括：

检测所述采集图像中的特征点和定位标识符，得到所述特征点在所述采集图像中的二维位置，及所述特征点与所述定位标识符之间的相对位置关系；

基于所述相对位置关系，确定所述特征点在所述上屏图像中的位置；

根据所述特征点在所述上屏图像中的位置，得到所述特征点的三维位置。

3.根据权利要求1所述的方法，其中，所述上屏图像中还包含：棋盘格图像；所述特征点为所述棋盘格图像中的角点；

所述确定所述特征点在所述采集图像中的二维位置及所述特征点的三维位置，包括：

对所述采集图像进行棋盘格角点检测，得到各角点在所述采集图像中的二维位置；

基于各角点之间的相对位置关系，确定各角点的三维位置。

4.根据权利要求1所述的方法，其中，在所述根据所述二维位置、所述三维位置及所述采集设备的内参计算得到采集设备外参之前，所述方法还包括：

设定多组内参初始值；

针对每组内参初始值，基于该内参初始值和所述特征点的二维位置及三维位置，调用预设的相机标定接口，得到该内参初始值对应的候选内参；

计算各候选内参的反投影误差；

基于所述反投影误差，从所述候选内参中确定采集设备的内参。

5.一种图像融合方法，包括：

获取动捕追踪数据和屏幕模型数据；

基于采集设备节点偏移校准所述动捕追踪数据，得到虚拟采集设备位置信息；

基于屏幕偏移校准所述屏幕模型数据，得到虚拟屏幕位置信息；

获取目标采集图像，所述目标采集图像为采集设备对屏幕进行拍摄得到的画面，所述屏幕中显示有目标上屏图像，所述目标上屏图像是按照所述虚拟屏幕位置信息和所述虚拟采集设备位置信息进行图像渲染得到的；

融合所述目标上屏图像和所述目标采集图像，得到融合图像；

其中，所述采集设备节点偏移和所述屏幕偏移采用如权利要求1-4任一项所述的方法得到。

6.一种偏移数据计算装置，包括：

采集图像获取模块，用于获取采集图像及动捕追踪数据；其中，所述采集图像为采集设备对屏幕进行拍摄得到的画面，所述屏幕中显示有包含预设特征点的上屏图像；所述动捕追踪数据表征固定于采集设备上的动捕追踪器在动捕坐标系下的位置；

位置确定模块，用于确定所述特征点在所述采集图像中的二维位置及所述特征点的三维位置；

外参计算模块，用于根据所述二维位置、所述三维位置及所述采集设备的内参计算得到采集设备外参；

偏移数据得到模块，用于基于所述动捕追踪数据和所述采集设备外参，采用手眼标定算法得到采集设备节点偏移和屏幕偏移。

7.一种图像融合装置，包括：

数据获取模块，用于获取动捕追踪数据和屏幕模型数据；

第一校准模块，用于基于采集设备节点偏移校准所述动捕追踪数据，得到虚拟采集设备位置信息；

第二校准模块，用于基于屏幕偏移校准所述屏幕模型数据，得到虚拟屏幕位置信息；

目标采集图像获取模块，用于获取目标采集图像，所述目标采集图像为采集设备对屏幕进行拍摄得到的画面，所述屏幕中显示有目标上屏图像，所述目标上屏图像是按照所述虚拟屏幕位置信息和所述虚拟采集设备位置信息进行图像渲染得到的；

融合模块，用于融合所述目标上屏图像和所述目标采集图像，得到融合图像；

其中，所述采集设备节点偏移和所述屏幕偏移采用如权利要求1-4任一项所述的方法得到。

8.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-5任一项所述的方法对应的操作。

9.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。

10.一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如权利要求1-5中任一项所述的方法。