CN116433769A - 空间校准方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例提供了一种空间校准方法、装置、电子设备和存储介质，该空间校准方法包括：获取用于虚拟拍摄的LED屏幕的屏幕参数，屏幕参数包括构成所述LED屏幕的至少一个LED箱体的排列信息和所述LED箱体的尺寸信息；在所述至少一个LED箱体上显示标识图形；获取用于虚拟拍摄的相机以不同位姿采集的多张包括所述标识图形的校准图像，并获取用于指示采集所述校准图像时所述相机的位姿的位姿信息；根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型；根据所述校准图像、所述位姿信息和所述屏幕模型，生成空间校准结果，所述空间校准结果用于指示所述相机与所述LED屏幕的相对位置关系。本方案能够提高空间校准的效率。

Description

空间校准方法、装置、电子设备和存储介质

技术领域

本申请实施例涉及电子信息技术领域，尤其涉及一种空间校准方法、装置、电子设备和存储介质。

背景技术

随着影视拍摄技术的发展，出现了基于发光二极管(Light-Emitting Diode，LED)屏幕的虚拟拍摄技术，通过在搭建的LED屏幕上渲染出的虚拟场景代替真实置景，减小了影视拍摄对地点和布景的依赖，降低了影视拍摄的成本和制作周期。在进行虚拟拍摄前，需要进行空间校准，以保证真实空间位置和虚拟空间位置的一致性。

目前，在进行空间校准时，需要手动测量搭建好的LED屏幕，并基于测量结果进行建模生成屏幕模型，将追踪设备绑定至实体棋盘格，分别移动相机和实体棋盘格并使用相机对实体棋盘格进行多次拍摄，进而根据屏幕模型和拍摄的图像，实现相机内外参校准、节点偏移校准和屏幕校准。

然而，通过手动测量LED屏幕的测量结果构建屏幕模型需要耗费较长时间，而且分别移动相机和实体棋盘格进行拍摄也需要耗费较长的时间，导致空间校准的效率较低。

发明内容

有鉴于此，本申请实施例提供一种空间校准方法、装置、电子设备和存储介质，以至少解决或缓解上述问题。

根据本申请实施例的第一方面，提供了一种空间校准方法，包括：获取用于虚拟拍摄的LED屏幕的屏幕参数，所述屏幕参数包括构成所述LED屏幕的至少一个LED箱体的排列信息和所述LED箱体的尺寸信息；在所述至少一个LED箱体上显示标识图形；获取用于虚拟拍摄的相机以不同位姿采集的多张包括所述标识图形的校准图像，并获取用于指示采集所述校准图像时所述相机的位姿的位姿信息；根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型；根据所述校准图像、所述位姿信息和所述屏幕模型，生成空间校准结果，所述空间校准结果用于指示所述相机与所述LED屏幕的相对位置关系。

根据本申请实施例的第二方面，提供了一种空间校准装置，包括：获取单元，用于获取用于虚拟拍摄的LED屏幕的屏幕参数，所述屏幕参数包括构成所述LED屏幕的至少两个LED箱体的排列信息和所述LED箱体的尺寸信息；显示单元，用于在所述至少两个LED箱体上显示标识图形；采集单元，用于获取用于虚拟拍摄的相机以不同位姿采集的多张包括所述标识图形的校准图像，并获取用于指示采集所述校准图像时所述相机的位姿的位姿信息；生成单元，用于根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型；校准单元，用于根据所述校准图像、所述位姿信息和所述屏幕模型，生成空间校准结果，所述空间校准结果用于指示所述相机与所述LED屏幕的相对位置关系。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行上述第一方面所述方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面所述的方法。

根据本申请实施例的第五方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行上述第一方面所述的方法。

由上述技术方案可知，分别为每个LED箱体生成相对应的待上屏图像，待上屏图像包括标识图形，LED箱体显示相对应的待上屏图像，当相机采集LED屏幕的图像时，可以采集到包括各LED箱体所显的标识图形的校准图像，进而在根据校准图像生成屏幕模型时，可以根据校准图像中各LED箱体显示的标识图形，确定各LED箱体之间的相对位置关系，保证所生成屏幕模型的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例所应用示例性系统的示意图；

图2是本申请一个实施例的虚拟拍摄场景的示意图；

图3是本申请一个实施例的空间校准方法的流程图；

图4是本申请一个实施例的LED屏幕的示意图；

图5是本申请一个实施例的初始屏幕模型的示意图；

图6是本申请一个实施例的屏幕模型优化方法的流程图；

图7是本申请一个实施例的屏幕模型的示意图；

图8是本申请一个实施例的空间校准过程的示意图；

图9是本申请一个实施例的空间校准装置的示意图；

图10是本申请一个实施例的电子设备的示意图。

具体实施方式

以下基于实施例对本申请进行描述，但是本申请并不仅仅限于这些实施例。在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。为了避免混淆本申请的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。

首先，对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释。

虚拟拍摄：虚拟拍摄是指一系列通过虚拟场景替代真实布景，应用计算机技术辅助制片的数字化影视制作方法。

LED屏幕：发光二极管(Light-Emitting Diode，LED)屏幕是一种由多个LED箱体拼接而成，用于显示文字、图像、视频等各种信息的显示设备，被广泛应用于虚拟拍摄中。根据实际拍摄需求，LED屏幕可以是平面屏、曲面屏、三折屏或者呈多面立体结构的异形屏。

LED箱体：LED箱体是构成LED屏幕的基本单元，LED箱体的一个侧面为LED面板，将多个LED箱体按照行列方式进行拼接，可获得由各LED箱体上LED面板组合而成的大尺寸LED屏幕。根据邻接LED面板之间的角度不同，可形成平面屏、曲面屏、三折屏或异形屏等。

空间校准：空间标定是确定空间中两个物体之间相对位置关系的过程，在虚拟拍摄场景中是指确定相机与LED屏幕之间相对位置关系的过程，在获得空间标定结果后，根据相机在世界坐标系中的位姿和空间标定结果，可以确定LED屏幕在世界坐标系中的位姿，相反地，根据LED屏幕在世界坐标系中的位姿和空间标定结果，也可以确定相机在世界坐标系中的位姿。

示例性系统

图1示出了一种适用于本申请实施例的空间校准方法的示例性系统。如图1所示，该系统可以包括相机102、追踪设备104、交换机106、LED屏幕108、渲染集群110、LED播控处理器112和同步信号发生器114。

相机102为可以获取拍摄画面的摄像机，可以实时回传画面内容。相机102可以通过SDI信号实时回传画面内容至渲染集群110。

追踪设备104绑定于相机102上，追踪设备104可以实时追踪相机102的位置和姿态获得追踪信息，并通过网络将追踪信息广播到现场局域网中。

交换机106可以搭建现场局域网，实现现场局域网内各设备之间的通信。比如，交换机106可以接收追踪设备104广播的追踪信息，并将追踪信息发送给渲染集群110。为了保证数据传输的实时性，交换机106需要具有较高的带宽，比如交换机106可为万兆交换机。

LED屏幕108包括至少一个LED箱体，图1中示例为多个LED箱体，LED箱体的一个侧面为LED面板，多个LED面板拼接成LED屏幕108的显示区域。

渲染集群110可以渲染虚拟场景，并将渲染出的图像显示到LED屏幕108，需要配备特定的显卡及同步卡。渲染集群110包括控制机和至少一个渲染机，图1中示例为多个渲染机，控制机在接收到相机102回传的画面后，将画面分配给多个渲染机进行渲染，渲染机执行控制机分配的渲染任务获得渲染结果，并将渲染结果发送给LED播控处理器112，比如渲染机可以通过DP信号将渲染出的待上屏图像发送给LED播控处理器112。一个渲染机可以对应一个或多个LED箱体，渲染机可以渲染出与其相对应的一个或多个LED箱体显示的图像。

LED播控处理器112为控制LED屏幕108的硬件设备，LED播控处理器112包括至少一个LED处理器，图1示例为多个LED处理器，一个LED处理器可以对应一个或多个LED箱体，LED处理器可以控制与其相对应的一个或多个LED箱体。

同步信号发生器114可以产生同步信号脉冲，并将同步信号发送给相机102、追踪设备104、渲染集群110和LED播控处理器112，使相机102、追踪设备104、渲染集群110和LED播控处理器112实现同步。在一些例子中，同步信号发生器114可以通过SDI信号的形式传输同步信号。

图2示出了一种适用于本申请实施例的虚拟拍摄场景的示意图。如图2所示，在进行虚拟拍摄时，LED屏幕108显示文字、图像、视频等信息构建虚拟场景，LED屏幕108前还可以设置真实布景，由LED屏幕108构建的虚拟场景和真实布景构成拍摄场景，演员在该拍摄场景中进行表演，相机102采集拍摄场景和演员的拍摄画面。

相机102在进行拍摄过程中会相对LED屏幕108运动，为了保证相机102所采集到虚拟场景的空间感，在相机102相对于LED屏幕108平移或旋转时，需要根据相机102与LED屏幕108的相对位置调整LED屏幕108显示的内容，为此在进行虚拟拍摄前需要通过空间校准确定相机102与LED屏幕108的相对位置关系，进而在虚拟拍摄过程中可以追踪相机102的位姿，进而根据相机102的位姿和该相对位置关系确定相机102与LED屏幕108的相对位置。

由于根据空间校准的校准结果确定相机102与LED屏幕108的相对位置，所以空间校准的准确性会影响确定出的相机102与LED屏幕108相对位置的准确性，而所确定出的相机102与LED屏幕108相对位置的准确性会影响LED屏幕108显示的内容，进而影响虚拟拍摄的效果。

在对虚拟拍摄场景进行空间校准时，需要构建LED屏幕的屏幕模型，相关技术中通过手动测量搭建LED屏幕，并基于测量结果来构建屏幕模型，所构建出屏幕模型的准确性较差，可能无法满足虚拟拍摄的要求，而且手动测量LED屏幕需要耗费较长时间，基于测量结果构建屏幕模型也需要耗费较长时间，导致空间校准的效率较低。另外，相关技术中需要额外准备实体棋盘格，并将追踪设备绑定至实体棋盘格，限定了追踪设备的使用方式，对追踪设备的适配不友好，由于校准过程中需要多次移动相机和实体棋盘格，所以需要至少2人协同操作，手动操作异常频繁，在拍摄现场沟通成本和人力成本较高。

为了至少部分解决上述问题，本申请实施例提供了一种应用于虚拟拍摄的空间校准方案，以提高空间校准的效率，降低空间校准的沟通成本和人力成本。

空间校准方法

基于上述系统，本申请实施例提供了一种空间校准方法，以下通过多个实施例对该空间校准方法进行详细说明。

图3是本申请一个实施例的空间校准方法的流程图。如图3所示，该空间校准方法包括如下步骤：

步骤301、获取用于虚拟拍摄的LED屏幕的屏幕参数。

在为虚拟拍摄搭建LED屏幕之后，LED屏幕的位置和形态需要保持恒定，然后可以开始进行空间校准，以确定用于虚拟拍摄的相机和LED屏幕的相对位置关系。LED屏幕可以包括一个或多个LED箱体，如果LED屏幕仅包括一个LED箱体，LED屏幕的形态是固定的，如果LED屏幕包括两个或更多个LED箱体，可以按照行列排布形式对LED箱体进行拼接，获得多种形态的LED屏幕。

LED屏幕的屏幕参数可以包括LED箱体的行列数、单个LED箱体的尺寸信息、单个LED箱体的分辨率信息、LED屏幕整体的分辨率信息等。LED屏幕的屏幕参数可由用户通过手持客户端输入。

步骤302、在LED箱体上显示标识图形。

通过LED屏幕包括的LED箱体显示标识图形，标识图形为便于通过图像处理技术识别的文字或符号，标识图形应存在清晰边界，且与背景之间应存在较大的色差，以在相机采集到包括标识图形的图像后，能够准确地从所采集到的图像中识别出标识图形，进行确定标识图形上特征点在所采集图像上的位置。比如，在通过LED箱体显示标识图形时，可以在黑色背景上显示白色的圆形、矩形等标识图形，或者在白色背景上显示黑色的圆形、矩形等标识图形。

在通过LED箱体显示标识图形时，可以分别在每个LED箱体上显示标识图形，不同LED箱体上显示的标识图形可以相同或不同，也可以通过LED屏幕显示一个标识图形，每个LED箱体显示标识图形的一部分。比如标识图形可以是Aruco码。

步骤303、获取用于虚拟拍摄的相机以不同位姿采集的多张包括标识图形的校准图形，并获取用于指示采集校准图像时相机位姿的位姿信息。

在通过LED屏幕显示标识图形后，可以通过相机以不同位姿对LED屏幕进行拍摄，获得多张包括有标识图形的校准图像。比如，通过相机以8个不同的位姿对LED屏幕进行拍摄，获得8张校准图像，每张校准图像包括至少部分LED箱体上显示的标识图形的图像。

相机上绑定有追踪设备，最终设备可以相机的位置和姿态，生成可以指示相机的位置和姿态的追踪信息，进而根据追踪信息获得可以指示采集校准图像时相机的位姿的位姿信息，位姿信息包括位置信息和姿态信息，位置信息可以指示相机在世界坐标系中的位置，姿态信息可以指示相机在世界坐标系中的姿态。

需要说明的是，相机与LED屏幕配合使用进行虚拟拍摄，空间校准结果与LED屏幕和相机绑定，由于不同相机的内参可能不同，若更换虚拟拍摄时使用的相机，需要重新对相机进行校准。

步骤304、根据屏幕参数和校准图像，生成LED屏幕的屏幕模型。

根据屏幕参数可以确定LED屏幕包括的子屏幕的数量，及每个子屏幕包括的LED箱体数量、LED箱体的行列数和单个LED箱体的尺寸，基于这些信息可以确定LED屏幕的整体结构。如果LED屏幕包括一个LED箱体，或者LED屏幕是由多个LED箱体拼接而成的平面屏幕，根据屏幕参数便可以生成LED屏幕的屏幕模型。但是，多数情况下LED屏幕包括多个LED箱体，且LED屏幕并非平面屏幕，根据屏幕参数无法确定LED屏幕中邻接LED箱体之间的夹角，从而无法单纯根据屏幕参数生成LED屏幕的屏幕模型。

需要说明的是，如果LED屏幕包括多个子屏幕，比如LED屏幕为三折屏，则该LED屏幕三个子屏幕，这三个子屏幕分别是两个立屏和一个地屏，在通过LED屏幕显示图像时，不同的子屏幕所显示子图像可以由不同的渲染机渲染。一个子屏幕包括的一个或多个LED箱体，如果子屏幕包括多个LED箱体，则该子屏幕包括的各LED箱体构成平面屏或曲面屏。

根据屏幕参数确定LED屏幕的整体结构，根据采集到的多张校准图像确定子屏幕之间的相对位置、及子屏幕内邻接LED箱体之间的夹角，从而可以屏幕参数和多张校准图像来生成LED屏幕的屏幕模型。由于LED屏幕通常为连续屏幕，即LED屏幕是由多个子屏幕拼接而成的连续显示区域，所以子屏幕之间的相对位置也可以通过位于子屏幕交界区域的LED箱体之间的夹角表示，所以通过确定LED屏幕内邻接了LED箱体之间的夹角，可以生成LED屏幕的屏幕模型。

屏幕模型是指LED屏幕的三维模型，当LED屏幕包括多个子屏幕时，LED屏幕的屏幕包括包括多个子模型，不同的子屏幕对应不同的子模型。子模型对应于三维空间中的平面或曲面，屏幕模型对应于由子模型组成的空间平面或空间曲面，比如，LED屏幕包括地屏、天屏和曲面立屏，则该LED屏幕对应的屏幕模型包括三个子模型，这三个子模型分别对应于地屏、天屏和曲面立屏。屏幕模型可以是参数化的模型，通过三维空间中的一系列关键点来表征屏幕模型，比如可以通过各LED箱体的顶点来表征屏幕模型。

步骤305、根据校准图像、位姿信息和屏幕模型，生成空间校准结果。

在生成LED屏幕的屏幕模型后，可以基于所采集到的校准图像、位姿信息和屏幕模型进行运算，获得空间校准结果，空间校准结果可以指示相机与LED屏幕之间的相对位置关系。在进行虚拟拍摄时相机会相当于LED屏幕运动，通过追踪设备采集到的追踪信息确定出相机的位姿信息后，可以根据空间校准结果和相机的位姿信息，确定相机与LED屏幕的相对位置，进而可以根据相机和LED屏幕的相对位置控制LED屏幕所显示的内容，保证相机从LED屏幕上所拍摄画面具有真实的空间感。

在本申请实施例中，在LED屏幕包括的LED箱体上显示标识图形，通过相机以不同位姿采集多张包括标识图形的校准图像，进而根据LED屏幕的屏幕参数和获得的校准图像生成LED屏幕的屏幕模型，无需手动对LED屏幕进行测量，也无需基于测量结果手动生成屏幕模型，缩短了生成屏幕模型的耗时。在生成屏幕模型后，根据相机采集校准图像时的位姿信息、校准图像和屏幕模型生成空间校准结果，无需手动多次移动实体棋盘格并通过相机采集实体棋盘格的图像，节省了多次移动实体棋盘格的时间。由于节省了生成屏幕模型的耗时和多次移动实体棋盘格的耗时，所以能够提高空间校准的效率。

根据校准图像、位姿信息和屏幕模型，生成空间校准结果，无需手动多次移动实体棋盘格，并通过相机以不同位姿采集实体棋盘格的图像，从而一人便可以完成空间标定，无需多人协同操作，减少了由于手动操作的异常次数，降低了拍摄现场沟通成本和人力成本。

在一种可能的实现方式中，在通过LED屏幕显示标识图形时，可以根据LED箱体的分辨率和尺寸，生成LED箱体对应的待上屏图像，待上屏图像包括标识图形，然后分别在各LED箱体上显示相对应的待上屏图像。

LED屏幕包括多个LED箱体时，LED屏幕可以由一种型号的LED箱体拼接而成，可以由多种型号的LED箱体拼接而成，不同型号的LED箱体具有不同的分辨率和/或尺寸，对此本申请实施例不作限定。LED箱体的分辨率和尺寸可以在获取LED屏幕的屏幕参数时，由用户通过手持客户端输入，手持客户端可以是手机、笔记本电脑、平板电脑等各种适合的设备。

根据LED箱体的分辨率和尺寸，可以生成适合于LED箱体显示的待上屏图像，保证待上屏图像能够在相对应的LED箱体上正常显示。待上屏图像上包括标识图形，即待上屏图像包括背景和标识图形，背景与标识图形具有较大的色差，以保证通过图像处理算法能够准确地从校准图像中识别出标识图形，比如，背景为黑色且标识图形为白色，或者背景为白色且标识图形为黑色。

当LED屏幕包括多个LED箱体时，分别针对每个LED箱体生成相对应的待上屏图像，不同LED箱体所对应待上屏图像中可以包括相同或不同的标识图形。比如，不同LED箱体所对应待上屏图像均包括相同颜色和半径的圆形作为标识图形，或者，不同LED箱体所对应待上屏图像包括不同颜色和/或半径的圆形作为标识图形。

在本申请实施例中，分别为每个LED箱体生成相对应的待上屏图像，待上屏图像包括标识图形，LED箱体显示相对应的待上屏图像，当相机采集LED屏幕的图像时，可以采集到包括各LED箱体所显示的标识图形的校准图像，进而在根据校准图像生成屏幕模型时，可以根据校准图像中各LED箱体显示的标识图形，确定各LED箱体之间的相对位置关系，保证所生成屏幕模型的准确性。

在一种可能的实现方式中，在采集校准图像时，可以获取相机在当前位姿采集到的候选图像，并获取设置于相机上的追踪设备采集到的追踪信息，根据追踪信息可以确定相机采集候选图像时是否处于静止状态，并可以确定相机的当前位姿是否与之前采集校准图像时的位姿相同。如果确定相机采集候选图像时处于静止状态，且候选图像包括各LED箱体显示的标识图形的识别特征，且当前位姿与相机采集已获得的校准图像时的位姿不同，则将该候选图像确定为校准图像。

在相机移动的过程中，设置于相机上的追踪设备可以采集追踪信息，追踪信息包括相机的位姿信息(位置信息和姿态信息)。追踪设备可以实时采集追踪信息，进而根据追踪信息可以确定相机在某一时刻或某一时间段处于静止状态或运动状态，比如，根据追踪信息确定相机在某一时间段内的位姿保持不变，则可以确定相机在该时间段内处于静止状态，如果根据追踪信息确定相机的位姿在不断变化，即相机当前时刻与前一时刻的位姿不同，且当前时刻和后一时刻的位姿也不同，则可以确定相机在当前时刻处于运动状态。

在进行空间校准的过程中，需要使用校准图像和相机的位姿信息，校准图像与位姿信息相对应，即位姿信息指示相机采集校准图像时的位姿，这样才能保证所生成屏幕模型及空间校准结果的准确性。如果相机采集图像时处于运动状态，由于追踪设备采集追踪信息存在一定的频率，导致追踪信息所指示的相机位姿与相机采集图像时相机的位姿存在偏差，所以在相机采集校准图像时，需要保证相机处于静止状态。

在确定相机与LED屏幕之间的相对位置关系时，需要获取多组包括校准图像与位姿信息的校准数据，为了保证能够通过校准数据对相机与LED屏幕之间的相对位置关系进行求解，需要获得相机在不同位姿下采集的校准图像。为了通过较少数量的校准数据来求解相机与LED屏幕之间的相对位置关系，可以使不同的校准图像对应不同的位姿信息，即不同的校准图像是由相机在不同位姿下采集的，为此在相机采集到候选图像后，可以检测相机采集该候选图像时的位姿是否与相机采集已确定出的校准图像时的位姿相同，如果相机采集该候选图像时的位姿与采集某一已确定出的校准图像时的位姿相同，由于该候选图像与某一校准图像对应相同的位姿信息，则舍弃该候选图像。

在生成屏幕模型及确定空间校准结果时，需要从校准图像中识别标识图形的图像，为此校准图像中需要包括可识别的标识图形的图像，即校准图像需要包括各LED箱体所显示标识图形的图像，且标识图形的图像在校准图像中需要清晰且完整。在相机采集到候选图像后，需要检测候选图像中是否包括可识别的标识图形的图像，即检测候选图像是否包括各LED箱体显示的标识图形的识别特征，标识图形的识别特征用于从相机所采集图像中识别标识图形的图像，如果候选图像未包括各LED箱体所显示标识图形的识别特征，无法通过该候选图像来生成屏幕模型和空间校准结果，所以舍弃该候选图像。

在本申请实施例中，相机采集校准图像过程中，获取相机采集的候选图像，并获取相机上追踪设备采集的追踪信息，如果根据追踪信息确定相机采集该候选图像时处于静止状态，且该候选图像包括各LED箱体所显示标识图形的识别特征，且相机采集该候选图像时的位姿与相机采集已确定出的校准图像时的位姿不同，则将候选图像确定为校准图像，保证通过校准图像进行空间校准的准确性，并可以通过较少的校准图像完成空间校准，提高空间校准的效率。

在一种可能的实现方式中，对于相机采集到的一个候选图像，如果相机采集该候选图像时的位姿与相机采集某一已确定的校准图像时的位姿相同，则通过LED屏幕显示用于引导相机移动的引导信息。

引导信息用于指示移动相机的路径、方向或距离等，用户根据引导信息可以移动相机至一个适宜的位姿，该位姿与相机采集已确定出的各校准图像时的位姿不同，使得通过相机能够采集到满足要求的校准图像。

在本申请实施例中，如果相机采集候选图像时的位姿与相机采集已确定出的校准图像时的位姿相同，则通过LED屏幕显示引导信息，使得用户可以根据引导信息快速移动相机至适宜的位姿，该位姿与相机采集已确定出的各校准图像时的位姿均不同，从而相机可以在该位姿采集到满足要求的校准图像，提高了获取校准图像的效率，从而提高空间校准的效率。通过引导信息引导用户移动相机以采集校准图像，提高用户的使用体验。

在一种可能的实现方式中，在将一个候选图像确定为校准图像后，可以将该校准图像发送给手持客户端，手持客户端可以对该校准图像进行展示。用户可以通过手持客户端对校准图像进行查看，如果校准图像的偏差较大，用户可以通过手持客户端发送图像删除指令。在接收到手持客户端发送的图像删除指令后，可以将图像删除指令所指示的校准图像删除。

在本申请实施例中，在确定出校准图像后，将校准图像发送至手持客户端，由用户对校准图像进行二次确认，使得校准图像具有较小的偏差，进而保证基于校准图像对LED屏幕进行空间校准的准确性。手持客户端为便携式设备，在空间校准的过程中用户可以在LED屏幕前操作手持客户端，实时对空间校准过程进行干预及手动处理，从而使空间校准过程更加便捷，可以提高空间校准的效率，且提升空间校准过程中用户的体验。

在一种可能的实现方式中，在根据屏幕参数和校准图像生成LED屏幕的屏幕模型时，可以根据屏幕参数构建LED屏幕的初始屏幕模型，并从多张校准图像中分别识别标识图形的特征点，然后根据特征点在相对应校准图像中的像素坐标，对初始屏幕模型进行优化，获得LED屏幕的屏幕模型。

屏幕参数包括LED屏幕包括的子屏幕的数量，及每个子屏幕包括的LED箱体的排列信息和LED箱体的尺寸信息，排列信息包括LED屏幕中LED箱体的行列数，尺寸信息包括LED箱体的高度和宽度，因此可以根据屏幕参数构建初始屏幕模型，初始屏幕模型可以表示LED屏幕包括的LED箱体的数量、LED箱体的行列数和LED箱体的尺寸，初始屏幕模型表示的这些信息与LED屏幕保持一致。初始屏幕模型无法表示LED屏幕中LED箱体之间的夹角，LED箱体之间的夹角是需要优化的对象。通过对初始屏幕模型进行优化获得的屏幕模型，不仅能够表示LED屏幕包括的LED箱体的数量、LED箱体的行列数和LED箱体的尺寸，还能够表示LED屏幕所包括各LED箱体之间的夹角。

初始屏幕模型可以是参数化的模型，即通过一系列参数来表示初始屏幕模型。以曲面屏为例，由于LED箱体上LED面板没有边框，且LED面板为矩形，所以相邻接LED箱体存在一条共用边，如果各LED箱体的尺寸相同，则可以通过LED箱体的顶点坐标来表示初始屏幕模型。由于相邻接的LED箱体存在公共的顶点，所以初始屏幕模型所包括参数的数量，小于LED箱体数量的4倍。

图4是本申请一个实施例的LED屏幕的示意图。如图4所示，LED屏幕包括2行×6列共计12个LED箱体，每个LED箱体可以通过4个顶点的坐标来表示，由于相邻接LED箱体存在共用的顶点，所以初始屏幕模型可以通过3行×7列共计21个顶点的坐标进行表示。应理解，由于LED屏幕中各LED箱体可能不在同一平面内，所以顶点的坐标为三维坐标。

由于根据屏幕参数无法确定相邻接LED箱体之间的夹角，所以在生成初始屏幕模型时，可以预设相邻接LED箱体之间的夹角，比如，可以预设相邻接LED箱体之间的夹角为180°，则初始屏幕模型为平面模型。图5示出了本申请一个实施例的初始屏幕模型的示意图，如图5所示，该初始屏幕模型为平面模型。当LED箱体的行数为R、列数为C，且LED箱体的宽度为W、高度为H时，初始屏幕模型的宽度等于C×W，初始屏幕模型的高度等于R×H，通过对初始屏幕模型进行优化所获得的屏幕模型，是与LED屏幕1:1的模型。

需要说明的是，初始屏幕模型为平面模型是其中一种可能的实现方式，并不对初始屏幕模型中相邻接LED箱体之间的夹角构成限定，可以根据实际需求灵活设定初始屏幕模型中相邻接LED箱体之间的夹角，横向相邻接LED箱体之间的夹角与纵向相邻接LED箱体之间的夹角可以不同，不同相邻接LED箱体对之间的夹角可以不同。比如，初始屏幕模型中横向相邻接LED箱体之间的夹角为150°，纵向相邻接LED箱体之间的夹角为180°。

在一个例子中，初始屏幕模型的中心点为了三维坐标系的原点，用于表示初始屏幕模型的各顶点的坐标为相对于原点的三维偏移量，方便对初始屏幕模型进行优化，减少优化过程中的计算量。

在获取到多张校准图像后，可以分别从每张校准图像中识别标识图形的特征点。由于校准图像包括多个LED箱体所显示的标识图形的图像，在从校准图像中识别特征点时，需要识别每个LED箱体所显示标识图形的特征点。根据标识图形的形状不同，标识图形的特征点的数量可以是一个或多个，比如，当标识图形为圆形时，圆心为标识图形的特征点，当标识图形为矩形时，矩形的四个角为标识图形的特征点。

在一个例子中，LED屏幕包括12个LED箱体，每个LED箱体显示1个标识图形，每个标识图形有1个特征点，则可以从每张校准图像中识别出12个特征点。

在从校准图像中识别标识图形的特征点时，可以通过预先训练的图像处理神经网络模型进行特征点识别，将校准图像输入图像处理神经网络模型后，图像处理神经网络模型识别标识图形的特征点，并在输出的图像中标注特征点。本申请实施例不对图像处理神经网络模型的模型类型和模型结构进行限定，各种适合的神经网络模型均可用于从校准图像中识别标识图形的特征点。

在从校准图像中识别到标识图形的特征点后，可以确定该特征点在相对应校准图像中的像素坐标，像素坐标指示了特征点在校准图像中的位置。比如，在从一张校准图像中识别到12个特征点后，可以分别确定着12个特征点在该校准图像中的像素坐标。在一个例子中，图像处理神经网络模型输出标注有特征点的图像后，可以通过软件程序或神经网络模型确定特征点在校准图像上的像素坐标，在另一个例子中，图像处理神经网络模型在输出标注有特征点的图像的同时，输出特征点在校准图像中的像素坐标。

在通过LED箱体显示标识图形时，标识图形上特征点在LED箱体上的位置是可以确定的，特征点在校准图像上的像素坐标与特征点在初始屏幕模型上的三维坐标存在对应关系，而特征点在初始屏幕模型上的三维坐标与特征点在LED箱体上的位置存在对应关系，根据上述两项对应关系对初始屏幕模型进行优化，使得特征点在LED屏幕上的位置与在优化后屏幕模型上的位置相同，获得与LED屏幕相对应的屏幕模型。LED屏幕的屏幕模型可以是与LED屏幕1:1的空间曲面模型。

需要说明的是，由于初始屏幕模型可以是参数化的模型，通过对初始屏幕模型进行优化获得屏幕模型，所获得的屏幕模型仍可以是参数化的模型，在获得参数化的屏幕模型后，可以根据屏幕模型的参数来构建位于虚拟空间中的屏幕模型。本申请实施例中的初始屏幕模型和屏幕模型均可以是参数化的模型，也可以是虚拟三维空间内的图形化模型，对此本申请实施例不作限定。

在本申请实施例中，根据屏幕参数构建LED屏幕的初始屏幕模型，并从多张校准图像中识别标识图形的特征点后，进而根据特征点在相对应校准图像中的像素坐标，对初始屏幕模型进行优化，获得LED屏幕的屏幕模型，在获得屏幕参数和校准图像后，可以实现屏幕模型的自动化生成，生成屏幕模型的过程不需要使用实体棋盘格，从而节省了手动多次移动实体棋盘格的操作，提高了空间校准的效率，降低了空间校准过程中的人力成本。

在一种可能的实现方式中，在对初始屏幕模型进行优化获得屏幕模型时，可以基于相机内参对初始屏幕模型进行优化，下面对初始屏幕模型的优化过程进行详细说明。

图6是本申请一个实施例的屏幕模型优化方法的流程图。如图6所示，该屏幕模型优化方法包括如下步骤：

步骤601、根据特征点在相对应校准图像中的像素坐标和当前屏幕模型，确定相机的第一相机内参。

在对初始屏幕模型进行优化时，通常需要多轮优化才能获得与LED屏幕相对应的屏幕模型。在对初始屏幕模型进行第1轮优化时，当前模型模型为初始屏幕模型，在对初始屏幕模型进行第i轮优化时，当前屏幕模型为对初始屏幕模型进行第i-1轮优化后的优化结果，i为大于或等于2的正整数。比如，在对初始屏幕模型进行第1轮优化后，所获得的优化结果将作为对初始屏幕模型进行第2轮优化时的当前屏幕模型，在对初始屏幕模型进行第i-1轮优化后，所获得的优化结果将作为对初始屏幕模型进行第i轮优化时的当前屏幕模型。

相机内参是与相机自身特性相关的参数，相机内参包括相机的焦距、相对于成像平面的主点坐标和坐标轴倾斜参数等。相机内参需要通过标定获得，无法直接获取。标识图形上特征点在校准图像中的像素坐标，与特征点在LED屏幕上的位置和相机内参相关，而对初始屏幕模型进行优化的目的是为了获得形状、尺寸等与LED屏幕相匹配的屏幕模型，所以可以根据特征点在当前屏幕模型中的位置及特征点在校准图像中的像素坐标，来求解相机内参，进而以相机内参误差最小化为目标对当前屏幕模型进行优化，获得LED屏幕的屏幕模型。

如果当前屏幕模型与LED屏幕的形状、尺寸等匹配，则根据当前屏幕模型和特征点在校准图像中的像素坐标，可以求解出准确的相机内参，如果当前屏幕模型与LED屏幕的形状、尺寸等匹配性较差，则根据当前屏幕模型和特征点在校准图像中的像素坐标，所求解出的相机内参存在一定偏差，所以根据相机内参变化趋势来优化初始屏幕模型，使得根据每轮优化结果求解出的相机内参不断精确化。

根据特征点在校准图像中的像素坐标对当前屏幕模型进行优化时，根据特征点在校准图像中的像素坐标和当前屏幕模型，求解相机的相机内参，将求解出的相机内参确定为第一相机内参。

步骤602、根据第一相机内参确定相机标定误差。

相机标定是为了获取相机的内参，在获得第一相机内参后，可以根据第一相机内参确定相机标定误差，相机标定误差用于指示第一相机内参相对于相机真实内参的偏差。

步骤603、检测相机标定误差是否满足优化终止条件，如果是执行步骤604，否则执行步骤605。

针对相机标定误差设定有优化终止条件，在获取到相机标定误差后，可以判断相机标定误差是否满足优化终止条件。如果相机标定误差满足优化终止条件，说明第一相机内参已经与相机真实内参相同或相近，可以停止继续对初始屏幕模型进行优化，相应地执行步骤604。如果相机标定误差不满足优化终止条件，说明第一相机内参与相机真实内参还存在较大偏差，当前屏幕模型与LED屏幕存在较大的偏差，还需要继续对初始屏幕模型进行优化，相应地执行步骤605。

优化终止条件可以是相机标定误差不再下降，即随着优化轮数的增加，相机标定误差已经稳定，不再下降。在一个例子中，优化终止条件为连续多轮优化获得的相机标定误差，与前一轮优化获得的相机标定误差的差值小于第一误差阈值，比如，第一误差阈值为1％，如果连续5轮优化获得的相机标定误差，均与前一轮优化获得的相机标定误差的差值小于1％，则确定相机标定误差满足优化终止条件。在另一个例子中，优化终止条件可以是连续多轮优化获得的相机标定误差小于第二误差阈值，比如，第二误差阈值为1.5％，如果连续8轮优化获得的相机标定误差均小于1.5％，则确定相机标定误差满足优化终止条件。

步骤604、将当前屏幕模型确定为LED屏幕的屏幕模型，并结束当前流程。

如果相机标定误差满足优化终止条件，说明已经找了一个较优解，也找到了使相机标定误差较小的屏幕模型参数，当前屏幕模型与LED屏幕的匹配度满足对于屏幕模型精度的需求，进而可以将当前屏幕模型确定为LED屏幕的屏幕模型。

在一个例子中，当前屏幕模型为参数化的模型，在将当前屏幕模型确定为LED屏幕的屏幕模型后，可以输出屏幕模型的模型参数，进而可以根据屏幕模型的模型参数生成图形化的屏幕模型。

与LED屏幕的具体结构相对应，当LED屏幕包括多个子屏幕时，所生成的屏幕模型包括多个子模型，不同的子屏幕对应不同的子模型。子模型将发送给相对应子屏幕的渲染机，以供渲染机根据子模型对相对应子屏幕要显示的图像进行渲染。

步骤605、根据相机标定误差对当前屏幕模型的模型参数进行调整，获得当前轮优化的优化结果，并基于当前轮优化的优化结果对初始屏幕模型进行下一轮优化。

如果相机标定误差不满足优化终止条件，则根据相机标定误差对当前屏幕模型的模型参数进行调整，找潜在的能使相机标定误差进一步降低的模型参数，将调整模型参数后的当前屏幕模型作为当前轮优化的优化结果，然后将该优化结果作为下一轮优化的当前屏幕模型，按照步骤601至步骤605的优化方式对初始屏幕模型进行下一轮优化，直至优化获得LED屏幕的屏幕模型。

图7是本申请一个实施例的屏幕模型的示意图，通过对图5所示的初始屏幕模型进行优化，获得图7所示的屏幕模型，图7所示的屏幕模型与图4所示的LED屏幕相对应，图7所示屏幕模型中LED箱体模型的行列数和尺寸，与图4所示LED屏幕中LED箱体的行列数和尺寸相同，且图7所示屏幕模型中相邻接LED箱体模型之间的夹角，与图4所示LED屏幕中相对应的相邻接LED箱体之间的夹角相同。

在本申请实施例中，由于特征点在校准图像中的像素坐标、相机内参和屏幕模型存在关联，相机标定误差指示基于当前屏幕模型计算出的相机内参与相机真实内参的偏差，进而根据相机标定误差来优化当前屏幕模型的模型参数，寻找潜在的能够使相机标定误差进一步降低的模型参数，通过多轮优化获得能够使相机标定误差小于误差阈值的屏幕模型。基于相机内参确定优化终止条件，基于该优化终止条件对初始屏幕模型进行多轮优化，获得LED屏幕的屏幕模型，使得屏幕模型构建可以自动化完成，减少屏幕模型构建过程的人工参与度，在降低屏幕模型构建过程中人工劳动强度的同时，提高所构建屏幕模型的准确性。

在一种可能的实现方式中，根据特征点在相对应校准图像中的像素坐标和当前屏幕模型，确定相机的第一相机内参时，可以根据标识图形在LED箱体上的显示位置，确定标识图形上特征点在当前屏幕模型上对应的三维坐标，然后根据特征点对应的像素坐标和三维坐标确定相机的第一相机内参。

在通过LED箱体显示标识图形时，标识图形在LED箱体上的显示位置是可以确定的，进而标识图形上特征点在LED箱体上的显示位置也是可以确定的。根据特征点在LED箱体上的显示位置，可以确定特征点在当前屏幕模型上对应的三维坐标，进而可以将特征点对应的像素坐标和三维坐标构造为形式如(像素坐标，三维坐标)的坐标点对。在获取到各特征点所对应的坐标点对后，可以将这些坐标点对作为输入，通过相机标定算法来计算当前屏幕模型下较优的相机内参，进而将计算出的相机内参作为第一相机内参。

由于当前屏幕模型中LED箱体模型的尺寸和形状，与LED屏幕中LED箱体的尺寸和形状保持一致，所以根据特征点在LED箱体上的显示位置，可以确定特征点在当前屏幕模型上对应的三维坐标。

在本申请实施例中，根据特征点在LED箱体上的显示位置，确定特征点在当前屏幕模型上对应的三维坐标，进而构造包括特征点的像素坐标和三维坐标的坐标点对，将各特征点对应的坐标点对作为输入运行相机标定算法，计算当前屏幕模型下较优的相机内参作为第一相机内参，在优化屏幕模型的同时，还是能够确定相机内参，无需再花费额外时间标定相机内参，从而可以进一步提高空间校准的效率。

在一种可能的实现方式中，在根据第一相机内参确定相机标定误差时，可以根据第一相机内参将特征点对应的三维坐标转换为参考像素坐标，然后根据特征点对应的像素坐标与参考像素坐标的偏差，来确定相机标定误差。

基于相机内参可以将像素坐标映射为三维坐标，也可以将三维坐标映射为像素坐标，基于相机真实内参可以实现像素坐标与三维坐标的双向可逆映射。本申请实施例基于像素坐标到三维坐标的映射确定第一相机内参，如果第一相机内参与相机真实内参存在偏差，则基于第一相机内参将三维坐标映射为参考像素坐标后，参考像素坐标与像素坐标之间存在偏差，而且第一相机内参和相机真实内参之间的偏差，与参考像素坐标和像素坐标之间的偏差正相关。

在一个例子中，可以计算像素坐标所指示像素点与参考像素坐标所指示像素点之间的距离，作为相对应特征点的子标定误差，进而对各特征点的子标定误差进行求和，获得相机标定误差。在另一个例子中，可以计算像素坐标所指示像素点与参考像素坐标所指示像素点之间的距离，作为相对应特征点的子标定误差，进而计算各特征点的子标定误差的平均值，作为相机标定误差。

在本申请实施例中，根据第一相机内参将特征点在当前屏幕模型中对应的三维坐标转换为参考像素坐标，进而根据像素坐标与参考像素坐标的偏差，来确定相机标定误差，即特征点对应的坐标点对即作为优化初始屏幕模型的训练集，又作为当前屏幕模型的测试集，充分利用采集到的校准图像，在提高空间校准效率的同时，保证空间校准的准确性。

在一种可能的实现方式中，根据校准图像、位姿信息和屏幕模型生成空间校准结果时，可以根据校准图像和屏幕模型确定相机的第二相机内参和畸变参数，并根据根据校准图像、位姿信息和屏幕模型，确定相机的节点偏移信息和LED屏幕的位置信息，进而生成包括第二相机内参、畸变参数、节点偏移信息和位置信息的空间校准结果。

根据校准图像和屏幕模型确定相机的第二相机内参和畸变参数，可以根据校准图像和屏幕模型对相机进行标定，获得第二相机内参和畸变参数，其中，第二相机内参是指示对相机进行标定所获得的内参。需要说明的是，根据前述实施例的描述，在优化初始屏幕模型的过程中，会确定相机的第一相机内参，在当前屏幕模型为LED屏幕的屏幕模型时，第一相机内参即为第二相机内参，所以第二相机内参和畸变参数可以与屏幕模型同步获得。

相机在拍摄过程中，由于光学系统形变、反射凹面和其他因素，会在图像产生影像失真的现象，畸变参数用于指示影像失真的方向和程度，畸变参数包括径向畸变参数和切向畸变参数等。

追踪设备绑定在相机上，追踪设备的位置相对于相机的镜头光心存在位置偏差，节点偏移信息用于指示该位置偏差。追踪设备采集到的追踪信息可以指示追踪设备的位姿，但由于追踪设备的位置相对于相机的镜头光心存在位置偏差，所以需要确定可以指示该位置偏差的节点偏移信息，进而可以根据追踪设备采集到的追踪信息和节点偏移信息，确定相机的位姿信息。

LED屏幕的位置信息用于指示LED屏幕与相机之间相对位置的转换关系，根据该转换关系和相机的位姿，可以确定LED屏幕与相机的相对位置，进而在进行虚拟拍摄时，可以根据相机与LED屏幕的相对位置，调整LED屏幕所显示的内容，构造虚拟场景。

在基于校准图像，通过相机标定算法获得相机内参和相机外参后，可以通过手眼标定算法计算出相机的节点偏移信息和LED屏幕的位置信息，进而可以包括包括第二相机内参、畸变参数、节点偏移信息和LED屏幕的位置信息的空间校准结果，通过该空间校准结果，在进行虚拟拍摄的过程中，可以确定相机与LED屏幕的相对位置，进而可以基于相机与LED屏幕的相对位置调整LED屏幕所显示的内容。

需要说明的是，用于计算相机内参和相机外参的相机标定算法，可以是任何适合于计算相机内参和相机外参的相机标定算法，对此本申请实施例不作限定。用于计算节点偏移信息和LED屏幕的位置信息的手眼标定算法，可以是任何适用于计算节点偏移信息和LED屏幕的位置信息的手眼标定算法，对此本申请实施例不作限定。

在本申请实施例中，相机内参、畸变参数和屏幕模型可以同步获得，在获得屏幕模型后，可以基于屏幕模型同步获得相机的节点偏移信息和LED屏幕的位置信息，从而获得包括第二相机内参、畸变参数、节点偏移信息和LED屏幕的位置信息的空间校准结果，在保证能够根据空间校准结果确定相机与LED屏幕相对位置的基础上，通过并行化处理节省了空间校准的耗时，提高了空间校准的效率。

需要说明的是，在上述各实施例中以曲面LED屏幕为例，对LED屏幕的空间校准过程进行了说明，但这并不构成对本申请实施例空间校准方案构成限定，本申请实施例的空间校准方案不仅适用于对曲面LED屏幕进行空间校准，还适用于对平面屏、三折屏和异形屏进行空间校准。

图8是本申请一个实施例的空间校准过程的示意图。如图8所示，空间校准过程可以通过如下步骤实现：

S1、设置相机参数和屏幕参数。

屏幕前操作人员通过手持客户端输入相机参数和屏幕参数，相机参数包括相机采集分辨率、相机传感器尺寸等，屏幕参数包括LED箱体所包括LED箱体的行列数、整个LED屏幕的分辨率、单个LED箱体的物理尺寸等。

S2、生成特定待上屏图像序列，下发待上屏图像至渲染集群。

根据屏幕前操作人员通过手持客户端输入的相机参数和屏幕参数，生成特定待上屏图像序列，待上屏图像序列包括每个LED箱体对应的待上屏图像，待上屏图像包括特定的标识图形。将待上屏图像至渲染集群后，渲染集群对待上屏图像进行渲染。

S3、待上屏图像上屏。

将经渲染集群渲染后的待上屏图像显示到相对应的LED箱体上。

S4、多次移动相机。

在将待上屏图像显示到LED屏幕之后，操作人员多次移动相机，以使相机能够以不同位姿采集LED屏幕的图像。

S5、自动采集校准数据，通过算法自动生成屏幕模型，同时一次性输出校准参数。

每次相机移动后自动采集校准数据，校准数据包括相机采集的校准图像，和固定于相机上的追踪设备采集到的追踪信息，进而根据校准图像和追踪信息，通过算法自动生成屏幕模型，并获得相机内参、畸变参数、节点偏移信息和LED屏幕的位置信息等校准参数，然后一致性输出上述各校准参数。

需要说明的是，上述步骤S2至步骤S5可由空间校准插件完成，该空间校准插件可为渲染引擎的插件。

由图8所示的空间校准流程可知，空间校准过程无需手动构建屏幕模型及准备实体棋盘格，由一名现场工作人员在LED屏幕前，通过手持客户端变可以方便快速的完成空间校准，流程更为简单、快捷和高效。如下表1示出了图4所示LED屏幕中相邻列LED箱体之间的夹角，及图7所示屏幕模型中相邻列LED箱体模型之间的夹角，由表1可见所生成屏幕模型与LED屏幕的匹配度较高，所生成屏幕模型的准确性较高。

表1

LED箱体相邻列	0-1	1-2	2-3	3-4	4-5
						LED屏幕	180	151	180	167	165
屏幕模型	180	151.5	179.7	166.6	165.4

本申请实施例提供的空间校准方法，通过算法自动生成屏幕模型，无需建模人员手动测量或机器扫描的方式进行建模。使用部分已知的屏幕参数直接生成待上屏图像，通过渲染集群在LED屏幕上显示，相机拍摄LED屏幕获得校准图像，无需拍摄实体棋盘格，同时对校准过程中各个关联模块采用并行化处理，一次性生成整个校准结果，整个过程无需点选等复杂操作，交互简单。通过实时计算追踪信息的稳定情况，自动采集有效数据，并通过手持客户端控制软件，实时控制空间校准的各个步骤，可以释放PC端操作校准插件的工作人员，降低了人力成本和沟通成本。采用算法生成屏幕模型，且通过算法来判断相机是否处于静止状态，无需人工手动选点的操作，整体校准精度更为可控。

在应用空间校准结果进行虚拟拍摄时，构建的相机模型与屏幕模型的相对位置，与相机和LED屏幕的相对位置保持同步。在实际使用过程中，相机模型作为屏幕模型的子节点，将屏幕模型放置到所构建三维虚拟场景后，LED屏幕显示屏幕模型所在位置的三维虚拟场景，相机相对于LED屏幕运动时，相机模型与屏幕模型的相对位置发生同步变化，LED屏幕根据相机模型与屏幕模型之间相对位置的改变，调整所显示的内容。在虚拟拍摄场景中，可以通过计算出的相机内参、相机外参，确定出虚拟相机的视场角(Field Of View，FOV)，并通过节点偏移信息和LED屏幕的位置信息，可以将虚拟场景中相机模型位置(世界坐标系)转换为其相对于屏幕模型的相对位置。

基于所获得的空间校准结果，可以通过各种类型的实时渲染虚幻引擎进行虚拟拍摄，比如可以通过实时渲染虚幻引擎UE(Unreal Engine)提供的多屏幕显示管理系统nDisplay实现虚拟拍摄，通过生成的屏幕模型，构建与之相对应的nDisplay资产。需要说明的是，UE只是应用空间校准结果进行虚拟拍摄的其中一种实时渲染虚幻引擎，并不对本申请实施例空间校准方法、及空间校准结果的应用构成限定，任何适用于虚拟拍摄的实时渲染虚幻引擎，均可以通过本实施例所提供空间校准方法获得的空间校准结果，实现虚拟拍摄。

空间校准装置

对应于上述方法实施例，图9示出了本申请一个实施例的空间校准装置的示意图。如图9所示，该空间校准装置900包括：

获取单元901，用于获取用于虚拟拍摄的LED屏幕的屏幕参数，屏幕参数包括构成LED屏幕的至少一个LED箱体的排列信息和LED箱体的尺寸信息；

显示单元902，用于在至少一个LED箱体上显示标识图形；

采集单元903，用于获取用于虚拟拍摄的相机以不同位姿采集的多张包括标识图形的校准图像，并获取用于指示采集校准图像时相机的位姿的位姿信息；

生成单元904，用于根据屏幕参数和校准图像，生成LED屏幕的屏幕模型；

校准单元905，用于根据校准图像、位姿信息和屏幕模型，生成空间校准结果，空间校准结果用于指示相机与LED屏幕的相对位置关系。

在本申请实施例中，显示单元902在LED屏幕包括的LED箱体上显示标识图形，采集单元903通过相机以不同位姿采集多张包括标识图形的校准图像，生成单元904根据LED屏幕的屏幕参数和校准图像生成LED屏幕的屏幕模型，无需手动对LED屏幕进行测量，也无需基于测量结果手动生成屏幕模型，缩短了生成屏幕模型的耗时。在生成单元904生成屏幕模型后，校准单元905根据相机采集校准图像时的位姿信息、校准图像和屏幕模型生成空间校准结果，无需手动多次移动实体棋盘格并通过相机采集实体棋盘格的图像，节省了多次移动实体棋盘格的时间。由于节省了生成屏幕模型的耗时和多次移动实体棋盘格的耗时，所以能够提高空间校准的效率。

需要说明的是，本实施例的空间校准装置用于实现前述方法实施例中相应的空间校准方法，并具有相应的方法实施例的有益效果，在此不再赘述。

电子设备

图10是本申请实施例提供的一种电子设备的示意性框图，本申请具体实施例并不对电子设备的具体实现做限定。如图10所示，该电子设备可以包括：处理器(processor)1002、通信接口(Communications Interface)1004、存储器(memory)1006、以及通信总线1008。其中：

处理器1002、通信接口1004、以及存储器1006通过通信总线1008完成相互间的通信。

通信接口1004，用于与其它电子设备或服务器进行通信。

处理器1002，用于执行程序1010，具体可以执行前述任一空间校准方法实施例中的相关步骤。

具体地，程序1010可以包括程序代码，该程序代码包括计算机操作指令。

处理器1002可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

RISC-V是一种基于精简指令集(RISC)原则的开源指令集架构，其可以应用于单片机和FPGA芯片等各个方面，具体可应用在物联网安全、工业控制、手机、个人计算机等领域，且由于其在设计时考虑了小型、快速、低功耗的现实情况，使得其尤其适用于仓库规模云计算机、高端移动电话和微小嵌入式系统等现代计算设备。随着人工智能物联网AIoT的兴起，RISC-V指令集架构也受到越来越多的关注和支持，并有望成为下一代广泛应用的CPU架构。

本申请实施例中的计算机操作指令可以是基于RISC-V指令集架构的计算机操作指令，对应地，处理器1002可以基于RISC-V的指令集设计。具体地，本申请实施例提供的电子设备中的处理器的芯片可以为采用RISC-V指令集设计的芯片，该芯片可基于所配置的指令执行可执行代码，进而实现上述实施例中的空间校准方法。

存储器1006，用于存放程序1010。存储器1006可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序1010具体可以用于使得处理器1002执行前述任一实施例中的空间校准方法。

程序1010中各步骤的具体实现可以参见前述任一空间校准方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

通过本申请实施例的电子设备，在LED屏幕包括的LED箱体上显示标识图形，通过相机以不同位姿采集多张包括标识图形的校准图像，进而根据LED屏幕的屏幕参数和获得的校准图像生成LED屏幕的屏幕模型，无需手动对LED屏幕进行测量，也无需基于测量结果手动生成屏幕模型，缩短了生成屏幕模型的耗时。在生成屏幕模型后，根据相机采集校准图像时的位姿信息、校准图像和屏幕模型生成空间校准结果，无需手动多次移动实体棋盘格并通过相机采集实体棋盘格的图像，节省了多次移动实体棋盘格的时间。由于节省了生成屏幕模型的耗时和多次移动实体棋盘格的耗时，所以能够提高空间校准的效率。

计算机存储介质

本申请还提供了一种计算机可读存储介质，存储用于使一机器执行如本文所述的空间校准方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本申请的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

计算机程序产品

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一对应的操作。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

需要说明的是，本公开实施例所涉及到的与用户有关的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

应该理解，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于装置和系统实施例中描述的方法，所以描述的比较简单，相关之处参见其他实施例的部分说明即可。

应该理解，上述对本说明书特定实施例进行了描述。其它实施例在权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

应该理解，本文用单数形式描述或者在附图中仅显示一个的元件并不代表将该元件的数量限于一个。此外，本文中被描述或示出为分开的模块或元件可被组合为单个模块或元件，且本文中被描述或示出为单个的模块或元件可被拆分为多个模块或元件。

还应理解，本文采用的术语和表述方式只是用于描述，本说明书的一个或多个实施例并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的，权利要求应视为覆盖所有这些等效物。

Claims (14)

1.一种空间校准方法，包括：

获取用于虚拟拍摄的LED屏幕的屏幕参数，所述屏幕参数包括构成所述LED屏幕的至少一个LED箱体的排列信息和所述LED箱体的尺寸信息；

在所述至少一个LED箱体上显示标识图形；

获取用于虚拟拍摄的相机以不同位姿采集的多张包括所述标识图形的校准图像，并获取用于指示采集所述校准图像时所述相机的位姿的位姿信息；

根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型；

根据所述校准图像、所述位姿信息和所述屏幕模型，生成空间校准结果，所述空间校准结果用于指示所述相机与所述LED屏幕的相对位置关系。

2.根据权利要求1所述的方法，其中，所述在所述至少一个LED箱体上显示标识图形，包括：

根据所述LED箱体的分辨率和尺寸，生成所述LED箱体对应的待上屏图像，所述待上屏图像包括标识图形；

在所述至少一个LED箱体上分别显示相对应的所述待上屏图像。

3.根据权利要求1所述的方法，其中，所述获取用于虚拟拍摄的相机以不同位姿采集的多张包括所述标识图形的校准图像，包括：

获取所述相机在当前位姿采集的候选图像；

获取设置于所述相机上的追踪设备采集到的追踪信息；

若根据所述追踪信息确定所述相机采集所述候选图像时处于静止状态，且所述候选图像包括各所述LED箱体显示的所述标识图形的识别特征，且所述当前位姿与所述相机采集已获得的所述校准图像时的位姿不同，则将所述候选图像确定为所述校准图像。

4.根据权利要求3所述的方法，所述方法还包括：

若所述当前位姿与所述相机采集已获得的所述校准图像时的位姿相同，则通过所述LED屏幕显示用于引导所述相机移动的引导信息。

5.根据权利要求3所述的方法，所述方法还包括：

将所述校准图像发送至手持客户端，以通过所述手持客户端对所述校准图像进行展示；

接收所述手持客户端发送的图像删除指令；

根据所述图像删除指令，将相对应的所述校准图像删除。

6.根据权利要求1所述的方法，其中，所述根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型，包括：

根据所述屏幕参数，构建所述LED屏幕的初始屏幕模型；

从多张所述校准图像中分别识别所述标识图形的特征点；

根据所述特征点在相对应所述校准图像中的像素坐标，对所述初始屏幕模型进行优化，获得所述LED屏幕的屏幕模型。

7.根据权利要求6所述的方法，其中，所述根据所述特征点在相对应所述校准图像中的像素坐标，对所述初始屏幕模型进行优化，获得所述LED屏幕的屏幕模型，包括：

根据所述特征点在相对应所述校准图像中的像素坐标和当前屏幕模型，确定所述相机的第一相机内参，在对所述初始屏幕模型进行第1轮优化时，所述当前屏幕模型为所述初始屏幕模型，在对所述初始屏幕模型进行第i轮优化时，所述当前屏幕模型为对所述初始屏幕模型进行第i-1轮优化的优化结果，i为大于或等于2的正整数；

根据所述第一相机内参确定相机标定误差；

若所述相机标定误差满足优化终止条件，则将所述当前屏幕模型确定为所述LED屏幕的屏幕模型；

若所述相机标定误差不满足所述优化终止条件，则根据所述相机标定误差对所述当前屏幕模型的模型参数进行调整，获得当前轮优化的优化结果，并基于当前轮优化的优化结果对所述初始屏幕模型进行下一轮优化。

8.根据权利要求7所述的方法，其中，所述根据所述特征点在相对应所述校准图像中的像素坐标和当前屏幕模型，确定所述相机的第一相机内参，包括：

根据所述标识图形在所述LED箱体上的显示位置，确定所述特征点在所述当前屏幕模型上对应的三维坐标；

根据所述特征点对应的所述像素坐标和所述三维坐标，确定所述相机的第一相机内参。

9.根据权利要求7所述的方法，其中，所述根据所述第一相机内参确定相机标定误差，包括：

根据所述第一相机内参将所述特征点对应的三维坐标转换为参考像素坐标；

根据所述特征点对应的所述像素坐标与所述参考像素坐标的偏差，确定所述相机标定误差。

10.根据权利要求1-9中任一所述的方法，其中，所述根据所述校准图像、所述位姿信息和所述屏幕模型，生成空间校准结果，包括：

根据所述校准图像和所述屏幕模型，确定所述相机的第二相机内参和畸变参数；

根据所述校准图像、所述位姿信息和所述屏幕模型，确定所述相机的节点偏移信息和所述LED屏幕的位置信息，其中，所述节点偏移信息用于指示采集所述位姿信息的追踪设备的位置相对于所述相机的镜头光心的位置偏移；

生成包括所述第二相机内参、所述畸变参数、所述节点偏移信息和所述位置信息的所述空间校准结果。

11.一种空间校准装置，包括：

获取单元，用于获取用于虚拟拍摄的LED屏幕的屏幕参数，所述屏幕参数包括构成所述LED屏幕的至少一个LED箱体的排列信息和所述LED箱体的尺寸信息；

显示单元，用于在所述至少一个LED箱体上显示标识图形；

采集单元，用于获取用于虚拟拍摄的相机以不同位姿采集的多张包括所述标识图形的校准图像，并获取用于指示采集所述校准图像时所述相机的位姿的位姿信息；

生成单元，用于根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型；

校准单元，用于根据所述校准图像、所述位姿信息和所述屏幕模型，生成空间校准结果，所述空间校准结果用于指示所述相机与所述LED屏幕的相对位置关系。

12.一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行如权利要求1-10中任一项方法对应的操作。

13.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-10中任一项的方法。

14.一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如权利要求1-10中任一项的方法。

Images