CN115460395A - 一种基于led背景墙分时复用的摄影机注册跟踪方法 - Google Patents

Abstract

本发明公开的一种基于LED背景墙分时复用的摄影机注册跟踪方法，属于影视制作领域。本发明无需搭建额外的跟踪系统，采用LED背景墙分时显示二维码实现实时跟踪，充分利用LED背景墙显示设备高刷新率的特点，依次显示背景画面与跟踪定位标记点，省去摄影机跟踪设备，简化摄影拍摄系统结构；依靠计算机视觉与增强现实技术，通过LED背景墙分时显示二维码标记点使得摄影机在完成拍摄的同时，对二维码画面实时分析，直接计算出摄影机与LED背景墙的相对位置准确地完成虚实空间的注册实现摄影机跟踪的效果。本发明适用于影视制作等领域，采用简易的拍摄设施，精确地完成虚实空间的注册步骤，实现LED虚拟化制作。

Description

一种基于LED背景墙分时复用的摄影机注册跟踪方法

技术领域

本发明涉及一种基于LED背景墙分时复用的摄影机注册跟踪方法，属于影视制作领域。

背景技术

近几年来，基于LED背景墙的电影虚拟化制作系统(下称LED虚拟化制作系统，其中LED，Light-emitting diode发光二极管)在国内外影视摄影与制作技术前沿获得广泛关注，世界各国及国内多地都陆续投入到LED虚拟化制作摄影棚的建设中来。LED虚拟化制作是指：利用高显示性能、小点距的LED显示屏作为背景墙，通过三维实时渲染引擎，采用多屏同步的实时渲染方法，利用摄影机内外参跟踪同步系统，将高画面质量的三维场景渲染到LED背景墙上；并通过三维实时渲染引擎调整，同步现场的灯光、场景机械装置等拍摄用具，由摄影机直接拍摄。将真实的演员表演、道具陈设与LED背景墙实时合成，从而达到“所见即所得”的新型电影制作方法。该系统通常由LED显示系统、实时渲染系统、摄影机跟踪系统、数字摄影系统、数字灯光系统等组成，是一种新型的拍摄技术，整体系统搭建成本高昂。其中，摄影机跟踪系统是LED虚拟化制作系统最重要的系统组成之一，其作用是将摄影机运动姿态传递给实时渲染系统，使得LED显示系统随着摄影机的运动显示出正确的透视画面。因此，如何建立易用、可靠的摄影机跟踪系统是建立及优化LED虚拟化制作系统的核心内容之一。

摄影机跟踪系统的应用分为注册与实时跟踪两个步骤。

目前对于摄影机与背景墙相对位置注册的成熟方案还未有较为统一的方式。由于人工安装LED背景墙难免存在误差，因此在完成系统搭建后会通过全站仪、激光扫描等方式对LED背景墙进行建模，获取其在空间中的真实结构，作为还原摄影机在由LED背景墙构成的拍摄空间中运动的基础。其常规操作方式是在真实世界空间中任意定义一个原点，并通过测量的方式将该原点标记到三维虚拟空间中在LED背景墙的位置上，接着跟踪系统的原点，人为定义与该原点重合。跟踪设备获得的相对于跟踪原点的相对坐标再加上跟踪设备与摄影机光心的位置偏移，计算转换成在LED背景墙空间中的具体运动位置。该偏移往往通过手眼标定或人工测量，具有不精准不稳定的特点，一旦现场环境产生变化或跟踪设备产生飘移将无法准确还原摄影机在空间中的运动信息。

目前市场上成熟的摄影机跟踪方案，有基于数个由外向内的红外光学动作捕捉系统摄像头，拍摄摄影机上反光点组成的刚体，进行摄影机位置姿态的捕捉；在大量剧集拍摄、演出及赛事现场，使用基于单个由内向外的红外摄像头，拍摄外部反光标记点进行自身位姿估计的跟踪设备；在多数小面积摄影棚的小型工作室中，同样能够进行精确稳定跟踪的消费级产品：虚拟现实头盔，其原理是通过由外向内方式，基于红外激光基站扫描定位器，通过扫描时间差对跟踪器的位置姿态进行估计；在电影虚拟化制作的过程中，成熟的应用是基于双目视觉产生的视差及摄影机拍摄画面对自身状态进行估计等系统解决方案。大多数摄影机跟踪系统需要额外搭建设备，拍摄现场制作环境复杂，现场灯光及置景搭建、摄影辅助器材等会对跟踪系统的精确度稳定性及鲁棒性会产生较大的干扰。

发明内容

针对现有技术在LED虚拟化制作中，摄影机跟踪系统的设备昂贵且摄影棚光环境复杂多变、多种摄影辅助器材遮挡可能会对跟踪系统的精确度、稳定性及鲁棒性产生较大的干扰以及虚实空间注册不精准的问题，本发明的主要目的是提供一种基于LED背景墙分时复用的摄影机跟踪注册方法，准确地完成虚实空间的注册，简化拍摄系统结构，提高摄影机跟踪系统的精确度、稳定性和鲁棒性。

本发明的目的是通过以下技术方案实现的：

本发明公开的一种基于LED背景墙分时复用的摄影机注册跟踪方法，无需搭建额外的跟踪系统；充分利用LED背景墙显示设备高刷新率的特点，依次显示背景画面与跟踪定位标记点；依靠计算机视觉与增强现实技术，通过LED背景墙分时显示二维码标记点使得摄影机在完成拍摄的同时，对二维码画面实时分析，提高摄影机跟踪系统的精确度、稳定性和鲁棒性，实现跟踪的效果，准确地完成虚实空间的注册。

本发明公开的一种基于LED背景墙分时复用的摄影机注册跟踪方法，包含以下步骤：

在基于LED背景墙电影虚拟化制作环境下，首先准备小点间距LED显示背景墙、电影摄影机、时码及同步信号发生器、高性能渲染主机及三维实时渲染引擎等LED虚拟化制作环境。

步骤一：根据最终拍摄画面帧速率的要求设定整个LED拍摄系统的时码与同步信号；

最终成片素材帧速率为nFPS(Frame per Second，帧每秒)，则设置时码发生器为2nFPS，同步信号Genlock发生器锁定在2nFPS，该信号将作为整个系统的信号源输入给其他的模块。

步骤二：设置三维实时渲染引擎显示内容；

2.1生成二维码标记点画面显示内容。

预定义一个字典，通过预定义字典创建二维码标记点对象。LED背景墙由多块LED面板拼接而成，由于施工及搭建会产生一定的误差，所以在做标定及跟踪时需要二维码标记点将LED背景墙铺满，使每块LED面板显示二维码标记点。根据引擎渲染，点对点显示画面的分辨率，根据LED面板个数创建足够数量的标记点，来确定所有LED面板的位置关系及确定摄影机对于LED面板的相对位置关系。

2.2生成基于LED虚拟化制作拍摄显示内容。

步骤三：设置三维实时渲染引擎渲染方式；

将显示二维码特征标记点的内容与LED虚拟化制作中基于硬件的同步式渲染三维资产画面分为A、B两种显示状态，利用三维实时渲染引擎中每一帧渲染事件，多次触发渲染按顺序执行A、B两种渲染内容，即A-B-A-B-A……，针对含有标记点的显示素材与同步式渲染三维资产素材分时显示。根据三维实时渲染引擎帧速率及摄影机拍摄帧速率要求，在一秒钟的显示画面内，二维码标记点显示n次，正常渲染画面显示n次，对引擎渲染帧率固定设置在2nFPS。

步骤四：设置LED背景墙的显示方式；

将三维实时渲染工程的渲染帧速率锁定到2nFPS，根据LED显示需求和三维实时渲染引擎多屏同步渲染的需求，使用Genlock(同步锁相)信号发生器作为外部Genlock信号发生装置，将Genlock信号输入给渲染主节点，再通过显卡硬件同步卡，以菊花链的形式将同步信号传递给其他的渲染机器；同时对LED播控设备进行同步控制，均锁到2nFPS。

步骤五：设置摄影机拍摄格式；

摄影机接受时码与同步信号，将帧速率、时码及Genlock与系统保持锁定一致。以2nFPS帧速率拍摄到以2nFPS刷新率显示的画面。摄影机信号通过采集硬件或软件方式采集到计算机中。

步骤六：设置二维码标记点检测与估计方式，准确地完成虚实空间的注册，即基于LED背景墙分时复用实现摄影机注册跟踪，能够提高摄影机跟踪系统的精确度、稳定性和鲁棒性。

6.1注册：

在进行摄影机姿态检测前首先进行摄影机校准，利用二维码标记点进行校准得到摄影机矩阵及畸变系数。再利用摄影机拍摄到的二维码标记点进行检测姿态的检测。从中检测到包含姿态估计所需要的摄影机校准的参数，完成摄影机注册工作。

6.2跟踪：

三维实时渲染引擎对摄影机信号进行读取及分析。使用实时视频流识别二维码标记点，计算出二维码的位姿以反求出摄影机运动的信息，完成摄影机跟踪工作。

步骤七：跟踪数据实时传输及画面后处理；

姿态估计得到的摄影机运动数据由三维实时渲染引擎赋予引擎中虚拟摄影机，虚拟摄影机渲染得到的画面符合实际摄影机运动画面，形成正确的透视关系，完成LED虚拟化制作拍摄。在后期处理中，摄影机录制原始画面素材则呈现一帧正常画面、一帧二维码标记点形式，

根据时码信息将正常画面提取处理即能够传递至后期流程进行下一步制作处理。

有益效果：

1、本发明公开的一种基于LED背景墙分时复用的摄影机注册跟踪方法，采用LED背景墙分时显示二维码实现实时跟踪，充分利用显示设备的高刷新率特性，省去摄影机跟踪设备，简化摄影拍摄系统结构；

2、本发明公开的一种基于LED背景墙分时复用的摄影机注册跟踪方法，采用面对基于LED二维码显示的注册方式，直接计算出摄影机与LED背景墙的相对位置，精确地完成虚实空间的注册步骤。

附图说明

图1为本发明公开的一种基于LED背景墙分时复用的摄影机注册跟踪方法的流程图；

图2为同步信号传输及设备连接方式；

图3为第i帧摄影机拍摄二维码标记点；

图4为第i+1帧摄影机拍摄到实时渲染三维场景；

图5为实施例的模块组成信息传递流程图；

图6为Aruco标记点字典绘制示意图；

图7为ArUco标记点显示30次示意图；

图8为正常渲染画面显示30次示意图；

图9为实时视频流计算二维码位姿示意图。

具体实施方式

下面将结合附图和实施例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本实施例公开的一种基于LED背景墙分时复用的摄影机注册跟踪系统，用于实现所述一种基于LED背景墙分时复用的摄影机注册跟踪方法。所述一种基于LED背景墙分时复用进行摄影机注册跟踪系统包括时码同步信号控制模块、二维码标记点字典生成模块、三维实时渲染引擎模块、LED显示模块、摄影机模块、二维码标记点检测估计模块。

时码同步信号控制模块：利用同步信号发生器作为主时钟提供时间同步信号给LED显示模块、三维实时渲染引擎模块及摄影机模块，使得LED渲染显示的帧速率、帧相位；三维实时渲染引擎的帧速率、帧相位；摄影机拍摄的帧速率、帧相位都统一，以避免产生扫描线、相位差等问题。

二维码标记点字典生成模块：该模块根据LED背景墙的物理组成面积及渲染画面的分辨率生成对应个数和大小的可供检测的二维码标记点画面，作为材质贴图赋给三维实时渲染引擎提供渲染。

三维实时渲染引擎模块：将三维虚拟资产渲染显示与二维码标记点显示分为两种状态，使用渲染循环执行对两种状态的分别渲染，同时利用虚拟摄影机加载二维码标记点检测估计模块的摄影机位姿信息，完成虚拟画面的渲染内容，输出给LED显示模块。

LED显示模块：由LED控制器接受三维实时渲染引擎模块渲染的画面及时码控制模块发出的Genlock信号，通过控制每颗LED灯珠发光得到完整的显示画面。

摄影机模块：接受时码控制模块传输的GenLock信号，同时将摄影机捕捉画面的帧速率设定与渲染模块和显示模块相同，直接拍摄LED背景墙得到摄影机内三维实时渲染引擎输出的正常画面以及二维码标记点显示画面的实时序列。

二维码标记点检测估计模块：此模块通过采集摄影机画面内容实时流送到三维实时渲染引擎中，通过识别画面中包含的二维码标记点信息对摄影机进行姿态估计，同时将摄影机的位置、姿态变化实时赋予三维实时渲染引擎中的虚拟摄影机。

模块组成信息传递流程图如图5所示。

本实施例公开的一种基于LED背景墙分时复用的摄影机注册跟踪方法，包括如下步骤：

(一)统一设置整个拍摄系统的时码

最终成片素材输出要求为30FPS，则使用AmbientMaster Lockit作为整个系统时码与同步信号的总控制来源，将Timecode时码(简称TC)与同步锁相信号Genlock(简称SYNC)均设置为60FPS。将TC与SYNC分三路信号接入摄影机系统、LED视频处理器与渲染主机采集卡，使得系统中所有模块都统一在同一时间系统下。

(二)设置三维实时渲染引擎显示内容

1.生成ArUco标记点画面

ArUco是科尔多瓦大学“人工视觉应用”研究小组(A.V.A)设计开发的一个开源微型增强现实库，主要用于检测平面标记并估计摄影机位姿。基于分时显示的方式，将用于摄影机跟踪定位的ArUco二维码标记铺满整个屏幕上。该方法实现包括两个步骤，具体内容如下：

因为ArUco标记点模块显示基于ArUco库，我们需要通过ArUco模块中一个预定义的字典来创建一个字典对象，cv中共有25种类型的标记，每个字典都包含相同数量的位或块和固定数量的标记(50，100，250或1000)。

(1)首先进行Aruco Markers字典生成，调用cv::aruco::Dictionary dictionary＝cv::getPredefinedDictionary(cv::aruco::DICT_nXn_m)；该方法需根据摄影机拍摄到LED背景墙的物理大小和像素组成选择字典生成的大小，例如使用21*8共168块ROEDM2.6LED面板组成的LED背景墙，其中每块LED面板物理尺寸为0.5米*0.5米，显示像素为192*192，该背景墙整体的物理大小宽10.5米，高4米共42平米，显示画面大小为4032*1536，选择(DICT_6X6_250)字典，共生成168个ArUco标记点，id为1到168。

对ArucoMarker进行绘制如图6所示，调用cv::aruco::drawMarker(dictionary,23,168,markerImage,1)；

(2)生成基于LED虚拟化制作拍摄显示内容

该步骤是常规虚拟化制作中生成用于拍摄画面背景的内容，通常由UnrealEngine(下称UE)利用In-CameraVFX实时渲染得到，也可以通过实际拍摄全景素材再根据LED背景墙的形状进行UV展开得到画面。

(三)设置三维实时渲染引擎显示内容

将显示ArUco二维码特征标记点内容与正常nDisplay基于硬件的同步式渲染画面分为两种显示状态，利用UE中每一帧渲染都会触发按帧Event Tick事件及Flip Flop引脚事件。利用多次触发输入引脚Flipflop引脚事件时，循环顺序执行A、B引脚内容的功能(A-B-A-B-A……)，针对含有ArUco标记点的素材与正常nDisplay显示的素材进行分时显示。根据UE帧速率及摄影机拍摄帧速率要求，对UE渲染帧率固定设置在60FPS。因此，在一秒钟的显示画面内，ArUco标记点显示30次如图7所示，正常渲染画面显示30次如图8所示。

(四)设置LED背景墙的显示方式

对LED播控设备进行同步控制，锁到60FPS。

(五)设置摄影机拍摄格式

摄影机接受时码与同步信号，将帧速率、时码及Genlock与系统保持锁定一致。以60FPS帧速率拍摄到以60FPS刷新率显示的画面。将摄影机信号通过SDI线输出给采集卡，通过采集硬件将摄影机拍摄到的画面采集到计算机中。

(六)设置二维码标记点检测与估计方式

1.注册：

LED背景墙首先直接显示Aruco标记点进行校准,得到摄影机内参外参矩阵及畸变系数。计算得到摄影机据LED背景墙的相对位置关系完成摄影机注册工作。

2.跟踪：

摄影机信号通过采集IO硬件或NDI、OBS等网络读取进入计算机中，UE利用对应采集设备的插件，对摄影机信号进行读取及分析。使用实时视频流来计算出二维码的位姿以反求出摄影机运动的矩阵。如图9所示。

(七)跟踪数据实时传输及画面后处理

UE引擎将六自由度的位置数据实时赋予虚拟摄影机，实现摄影机跟踪，完成LED虚拟化制作拍摄。

摄影机录制原始画面素材呈现一帧正常画面、一帧二维码标记点形式，根据时码信息将正常画面提取处理即可传递至后期流程进行下一步制作处理。

本实施例通过三维实时渲染引擎对本发明进行模拟仿真实验，首先设计虚拟摄影机运动轨迹模拟真实摄影机在拍摄过程中的运镜，通过摄影机拍摄LED背景墙画面显示内容，将摄影机拍摄到的画面按照固定帧速率提取出二维码标记点进行Aruco位姿估计从而得到摄影机轨迹，完成在LED虚拟化制作环境下的摄影机跟踪，利用真实摄影机的运动轨迹驱动虚拟摄影机的运动实时渲染得到三维资产背景画面，准确地完成虚实空间的注册，简化拍摄系统结构，完成摄影机内视效的拍摄。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于LED背景墙分时复用的摄影机注册跟踪方法，其特征在于：包括如下步骤，

步骤一：根据最终拍摄画面帧速率的要求设定整个LED拍摄系统的时码与同步信号；

步骤二：设置三维实时渲染引擎显示内容；

步骤三：设置三维实时渲染引擎渲染方式；

步骤四：设置LED背景墙的显示方式；

步骤五：设置摄影机拍摄格式；

步骤六：设置二维码标记点检测与估计方式，准确地完成虚实空间的注册，即基于LED背景墙分时复用实现摄影机注册跟踪，能够提高摄影机跟踪系统的精确度、稳定性和鲁棒性；

步骤七：跟踪数据实时传输及画面后处理。

2.如权利要求1所述的一种基于LED背景墙分时复用的摄影机注册跟踪方法，其特征在于：步骤一的实现方法为，

最终成片素材帧速率为nFPS，即n帧每秒，则设置时码发生器为2nFPS，同步信号Genlock发生器锁定在2nFPS，该信号将作为整个系统的信号源输入给其他的模块。

3.如权利要求1所述的一种基于LED背景墙分时复用的摄影机注册跟踪方法，其特征在于：步骤二的实现方法为，

2.1生成二维码标记点画面显示内容；

预定义一个字典，通过预定义字典创建二维码标记点对象；LED背景墙由多块LED面板拼接而成，由于施工及搭建会产生一定的误差，所以在做标定及跟踪时需要二维码标记点将LED背景墙铺满，使每块LED面板显示二维码标记点；根据引擎渲染，点对点显示画面的分辨率，根据LED面板个数创建足够数量的标记点，来确定所有LED面板的位置关系及确定摄影机对于LED面板的相对位置关系；

2.2生成基于LED虚拟化制作拍摄显示内容。

4.如权利要求1所述的一种基于LED背景墙分时复用的摄影机注册跟踪方法，其特征在于：步骤三的实现方法为，

将显示二维码特征标记点的内容与LED虚拟化制作中基于硬件的同步式渲染三维资产画面分为A、B两种显示状态，利用三维实时渲染引擎中每一帧渲染事件，多次触发渲染按顺序执行A、B两种渲染内容，即A-B-A-B-A……，针对含有标记点的显示素材与同步式渲染三维资产素材分时显示；根据三维实时渲染引擎帧速率及摄影机拍摄帧速率要求，在一秒钟的显示画面内，二维码标记点显示n次，正常渲染画面显示n次，对引擎渲染帧率固定设置在2nFPS。

5.如权利要求1所述的一种基于LED背景墙分时复用的摄影机注册跟踪方法，其特征在于：步骤四的实现方法为，

将三维实时渲染工程的渲染帧速率锁定到2nFPS，根据LED显示需求和三维实时渲染引擎多屏同步渲染的需求，使用Genlock即同步锁相信号发生器作为外部Genlock信号发生装置，将Genlock信号输入给渲染主节点，再通过显卡硬件同步卡，以菊花链的形式将同步信号传递给其他的渲染机器；同时对LED播控设备进行同步控制，均锁到2nFPS。

6.如权利要求1所述的一种基于LED背景墙分时复用的摄影机注册跟踪方法，其特征在于：步骤五的实现方法为，

摄影机接受时码与同步信号，将帧速率、时码及Genlock与系统保持锁定一致；以2nFPS帧速率拍摄到以2nFPS刷新率显示的画面；摄影机信号通过采集硬件或软件方式采集到计算机中。

7.如权利要求1所述的一种基于LED背景墙分时复用的摄影机注册跟踪方法，其特征在于：步骤六的实现方法为，

6.1注册：

在进行相机姿态检测前首先进行摄影机校准，利用二维码标记点进行校准得到摄影机矩阵及畸变系数；再利用摄影机拍摄到的二维码标记点进行检测姿态的检测；从中检测到包含姿态估计所需要的摄影机校准的参数，完成摄影机注册工作；

6.2跟踪：

三维实时渲染引擎对摄影机信号进行读取及分析；使用实时视频流计算得到二维码的信息，通过计算二维码的扭曲姿态计算出二维码的位姿以反求出摄影机运动的信息，完成摄影机跟踪工作。

8.如权利要求1所述的一种基于LED背景墙分时复用的摄影机注册跟踪方法，其特征在于：步骤七的实现方法为，

姿态估计得到的摄影机运动数据由三维实时引擎赋予引擎中虚拟摄影机，虚拟摄影机渲染得到的画面符合实际摄影机运动画面，形成正确的透视关系，完成LED虚拟化制作拍摄；在后期处理中，摄影机录制原始画面素材则呈现一帧正常画面、一帧二维码标记点形式，根据时码信息将正常画面提取处理即能够传递至后期流程进行下一步制作处理。

9.一种基于LED背景墙分时复用的摄影机注册跟踪系统，用于实现如权利要求1、2、3、4、5、6、7或8所述的一种基于LED背景墙分时复用的摄影机注册跟踪方法，其特征在于：包括时码同步信号控制模块、二维码标记点字典生成模块、三维实时渲染引擎模块、LED显示模块、摄影机模块、二维码标记点检测估计模块；

时码同步信号控制模块：利用同步信号发生器作为主时钟提供时间同步信号给LED显示模块、三维实时渲染引擎渲染模块及摄影机模块，使得LED渲染显示的帧速率、帧相位；三维实时引擎渲染的帧速率、帧相位；摄影机拍摄的帧速率、帧相位都统一，以避免产生扫描线、相位差；

二维码标记点字典生成模块：该模块根据LED背景墙的物理组成面积及渲染画面的分辨率生成对应个数和大小的可供检测的二维码标记点画面，作为材质贴图赋给三维实时引擎提供渲染；

三维实时渲染引擎模块：将三维虚拟资产渲染显示与二维码标记点显示分为两种状态，使用渲染循环执行对两种状态的分别渲染，同时利用虚拟摄影机加载二维码标记点检测估计模块的摄影机位姿信息，完成虚拟画面的渲染内容，输出给LED显示模块；

LED显示模块：由LED控制器接受三维实时引擎渲染模块渲染的画面及时码控制模块发出的Genlock信号，通过控制每颗LED灯珠发光得到完整的显示画面；

摄影机模块：接受时码控制模块传输的GenLock信号，同时将摄影机捕捉画面的帧速率设定与渲染模块和显示模块相同，直接拍摄LED背景墙得到摄影机内实时渲染引擎输出的正常画面以及二维码标记点显示画面的实时序列；

二维码标记点检测估计模块：此模块通过采集摄影机画面内容实时流送到三维实时渲染引擎中，通过识别画面中包含的二维码标记点信息对摄影机进行姿态估计，同时将摄影机的位置、姿态变化实时赋予三维实时渲染引擎中的虚拟摄影机。

Images