CN116433848A - 屏幕模型生成方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例提供了一种屏幕模型生成方法、装置、电子设备和存储介质，该屏幕模型生成方法包括：获取用于虚拟拍摄的LED屏幕的屏幕参数，所述屏幕参数包括构成所述LED屏幕的至少一个LED箱体的排列信息和所述LED箱体的尺寸信息；在所述至少一个LED箱体上显示标识图形；获取相机以不同位姿采集的多张校准图像，所述校准图像包括至少部分所述LED箱体上显示的所述标识图形的图像；根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型。本方案能够提高生成屏幕模型的效率。

Description

屏幕模型生成方法、装置、电子设备和存储介质

技术领域

本申请实施例涉及电子信息技术领域，尤其涉及一种屏幕模型生成方法、装置、电子设备和存储介质。

背景技术

随着影视拍摄技术的发展，出现了基于发光二极管(Light-Emitting Diode，LED)屏幕的虚拟拍摄技术，通过在搭建的LED屏幕上渲染出的虚拟场景代替真实置景，减小了影视拍摄对地点和布景的依赖，降低了影视拍摄的成本和制作周期。在进行虚拟拍摄前，需要进行空间校准，以保证真实空间位置和虚拟空间位置的一致性。在进行空间校准时，需要构建LED屏幕的屏幕模型。

目前，在构建LED屏幕的屏幕模型时，需要手动测量搭建好的LED屏幕，并基于测量结果进行建模生成屏幕模型。

然而，通过手动测量LED屏幕的各种尺寸参数，需要耗费较长时间且存在较大误差，导致所生成屏幕模型的精度较低，而且生成屏幕模型的效率较低。

发明内容

有鉴于此，本申请实施例提供一种屏幕模型生成方法、装置、电子设备和存储介质，以至少解决或缓解上述问题。

根据本申请实施例的第一方面，提供了一种屏幕模型生成方法，包括：获取用于虚拟拍摄的LED屏幕的屏幕参数，所述屏幕参数包括构成所述LED屏幕的至少一个LED箱体的排列信息和所述LED箱体的尺寸信息；在所述至少一个LED箱体上显示标识图形；获取相机以不同位姿采集的多张校准图像，所述校准图像包括至少部分所述LED箱体上显示的所述标识图形的图像；根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型。

根据本申请实施例的第二方面，提供了一种屏幕模型生成装置，包括：获取单元，用于获取用于虚拟拍摄的LED屏幕的屏幕参数，所述屏幕参数包括构成所述LED屏幕的至少一个LED箱体的排列信息和所述LED箱体的尺寸信息；显示单元，用于在所述至少一个LED箱体上显示标识图形；采集单元，用于获取相机以不同位姿采集的多张校准图像，所述校准图像包括至少部分所述LED箱体上显示的所述标识图形的图像；生成单元，用于根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行上述第一方面所述方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面所述的方法。

根据本申请实施例的第五方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行上述第一方面所述的方法。

由上述技术方案可知，在LED屏幕包括的LED箱体上显示标识图形，通过相机以不同位姿采集多张包括标识图形的校准图像，进而根据LED屏幕的屏幕参数和获得的校准图像生成LED屏幕的屏幕模型，无需手动对LED屏幕进行测量，也无需基于测量结果手动生成屏幕模型，缩短了生成屏幕模型的耗时，因此可以提高屏幕模型生成的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例所应用示例性系统的示意图；

图2是本申请一个实施例的虚拟拍摄场景的示意图；

图3是本申请一个实施例的虚拟屏幕生成方法的流程图；

图4是本申请一个实施例的LED屏幕的示意图；

图5是本申请一个实施例的初始屏幕模型的示意图；

图6是本申请一个实施例的屏幕模型优化方法的流程图；

图7是本申请一个实施例的屏幕模型的示意图；

图8是本申请一个实施例的屏幕模型生成装置的示意图；

图9是本申请一个实施例的电子设备的示意图。

具体实施方式

以下基于实施例对本申请进行描述，但是本申请并不仅仅限于这些实施例。在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。为了避免混淆本申请的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。

首先，对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释。

虚拟拍摄：虚拟拍摄是指一系列通过虚拟场景替代真实布景，应用计算机技术辅助制片的数字化影视制作方法。

LED屏幕：发光二极管(Light-Emitting Diode，LED)屏幕是一种由多个LED箱体拼接而成，用于显示文字、图像、视频等各种信息的显示设备，被广泛应用于虚拟拍摄中。根据实际拍摄需求，LED屏幕可以是平面屏、曲面屏、三折屏或者呈多面立体结构的异形屏。

LED箱体：LED箱体是构成LED屏幕的基本单元，LED箱体的一个侧面为LED面板，将多个LED箱体按照行列方式进行拼接，可获得由各LED箱体上LED面板组合而成的大尺寸LED屏幕。根据邻接LED面板之间的角度不同，可形成平面屏、曲面屏、三折屏或异形屏等。

空间校准：空间标定是确定空间中两个物体之间相对位置关系的过程，在虚拟拍摄场景中是指确定相机与LED屏幕之间相对位置关系的过程，在获得空间标定结果后，根据相机在世界坐标系中的位姿和空间标定结果，可以确定LED屏幕在世界坐标系中的位姿，相反地，根据LED屏幕在世界坐标系中的位姿和空间标定结果，也可以确定相机在世界坐标系中的位姿。

示例性系统

图1示出了一种适用于本申请实施例的屏幕模型生成方法的示例性系统。如图1所示，该系统可以包括相机102、追踪设备104、交换机106、LED屏幕108、渲染集群110、LED播控处理器112和同步信号发生器114。

相机102为可以获取拍摄画面的摄像机，可以实时回传画面内容。相机102可以通过SDI信号实时回传画面内容至渲染集群110。

追踪设备104绑定于相机102上，追踪设备104可以实时追踪相机102的位置和姿态获得追踪信息，并通过网络将追踪信息广播到现场局域网中。

交换机106可以搭建现场局域网，实现现场局域网内各设备之间的通信。比如，交换机106可以接收追踪设备104广播的追踪信息，并将追踪信息发送给渲染集群110。为了保证数据传输的实时性，交换机106需要具有较高的带宽，比如交换机106可为万兆交换机。

LED屏幕108包括至少一个LED箱体，图1中示例为多个LED箱体，LED箱体的一个侧面为LED面板，多个LED面板拼接成LED屏幕108的显示区域。

渲染集群110可以渲染虚拟场景，并将渲染出的图像显示到LED屏幕108，需要配备特定的显卡及同步卡。渲染集群110包括控制机和至少一个渲染机，图1中示例为多个渲染机，控制机在接收到相机102回传的画面后，将画面分配给多个渲染机进行渲染，渲染机执行控制机分配的渲染任务获得渲染结果，并将渲染结果发送给LED播控处理器112，比如渲染机可以通过DP信号将渲染出的待上屏图像发送给LED播控处理器112。一个渲染机可以对应一个或多个LED箱体，渲染机可以渲染出与其相对应的一个或多个LED箱体显示的图像。

LED播控处理器112为控制LED屏幕108的硬件设备，LED播控处理器112包括至少一个LED处理器，图1示例为多个LED处理器，一个LED处理器可以对应一个或多个LED箱体，LED处理器可以控制与其相对应的一个或多个LED箱体。

同步信号发生器114可以产生同步信号脉冲，并将同步信号发送给相机102、追踪设备104、渲染集群110和LED播控处理器112，使相机102、追踪设备104、渲染集群110和LED播控处理器112实现同步。在一些例子中，同步信号发生器114可以通过SDI信号的形式传输同步信号。

图2示出了一种适用于本申请实施例的虚拟拍摄场景的示意图。如图2所示，在进行虚拟拍摄时，LED屏幕108显示文字、图像、视频等信息构建虚拟场景，LED屏幕108前还可以设置真实布景，由LED屏幕108构建的虚拟场景和真实布景构成拍摄场景，演员在该拍摄场景中进行表演，相机102采集拍摄场景和演员的拍摄画面。

相机102在进行拍摄过程中会相对LED屏幕108运动，为了保证相机102所采集到虚拟场景的空间感，在相机102相对于LED屏幕108平移或旋转时，需要根据相机102与LED屏幕108的相对位置调整LED屏幕108显示的内容，为此在进行虚拟拍摄前需要通过空间校准确定相机102与LED屏幕108的相对位置关系，进而在虚拟拍摄过程中可以追踪相机102的位姿，根据相机102的位姿和该相对位置关系确定相机102与LED屏幕108的相对位置。在进行空间校准及后续的虚拟拍摄时，需要对真实世界有精确地度量，为此需要生成LED屏幕108的屏幕模型。

在构建LED屏幕的屏幕模型时，相关技术中通过手动测量搭建LED屏幕，并基于测量结果来构建屏幕模型，所构建出屏幕模型的准确性较差，可能无法满足虚拟拍摄的要求，而且手动测量LED屏幕需要耗费较长时间，基于测量结果构建屏幕模型也需要耗费较长时间，导致屏幕模型生成的效率较低。另外，相关技术中需要额外准备实体实体棋盘格，并将追踪设备绑定至实体棋盘格，限定了追踪设备的使用方式，对追踪设备的适配不友好，由于屏幕模型生成过程中需要多次移动相机和实体棋盘格，所以需要至少2人协同操作，手动操作频繁，在拍摄现场沟通成本和人力成本较高。

为了至少部分解决上述问题，本申请实施例提供了一种屏幕模型生成方案，以提高屏幕模型生成的效率，降低屏幕模型生成过程中的沟通成本和人力成本。

屏幕模型生成方法

基于上述系统，本申请实施例提供了一种屏幕模型生成方法，以下通过多个实施例对该屏幕模型生成方法进行详细说明。

图3是本申请一个实施例的屏幕模型生成方法的流程图。如图3所示，该屏幕模型生成方法包括如下步骤：

步骤301、获取用于虚拟拍摄的LED屏幕的屏幕参数。

在为虚拟拍摄搭建LED屏幕之后，LED屏幕的位置和形态需要保持恒定，然后可以生成LED屏幕的屏幕模型，进而根据屏幕模型对LED屏幕和相机进行空间校准。LED屏幕可以包括一个或多个LED箱体，如果LED屏幕仅包括一个LED箱体，LED屏幕的形态是固定的，如果LED屏幕包括两个或更多个LED箱体，可以按照行列排布形式对LED箱体进行拼接，获得多种形态的LED屏幕。

LED屏幕的屏幕参数可以包括LED箱体的行列数、单个LED箱体的尺寸信息、单个LED箱体的分辨率信息、LED屏幕整体的分辨率信息等。LED屏幕的屏幕参数可由用户通过手持客户端输入。

步骤302、在LED箱体上显示标识图形。

通过LED屏幕包括的LED箱体显示标识图形，标识图形为便于通过图像处理技术识别的文字或符号，标识图形应存在清晰边界，且与背景之间应存在较大的色差，以在相机采集到包括标识图形的图像后，能够准确地从所采集到的图像中识别出标识图形，进行确定标识图形上特征点在所采集图像上的位置。比如，在通过LED箱体显示标识图形时，可以在黑色背景上显示白色的圆形、矩形等标识图形，或者在白色背景上显示黑色的圆形、矩形等标识图形。

在通过LED箱体显示标识图形时，可以分别在每个LED箱体上显示标识图形，不同LED箱体上显示的标识图形可以相同或不同，也可以通过LED屏幕显示一个标识图形，每个LED箱体显示标识图形的一部分。比如标识图形可以是Aruco码。

步骤303、获取相机以不同位姿采集的多张校准图形，校准图像包括至少部分LED箱体上显示的标识图形的图像。

在通过LED屏幕显示标识图形后，可以通过相机以不同位姿对LED屏幕进行拍摄，获得多张包括有标识图形的校准图像。比如，通过相机以8个不同的位姿对LED屏幕进行拍摄，获得8张校准图像，每张校准图像包括至少部分LED箱体上显示的标识图形的图像。

用于采集校准图像的相机，可以是用于虚拟拍摄的相机，也可以不是用于虚拟拍摄的相机，对此本申请实施例不作限定。由于在生成LED屏幕的屏幕模型后，需要对用于虚拟拍摄的相机和LED屏幕进行空间校准，在进行空间校准时需要通过用于虚拟拍摄的相机采集LED屏幕的图像，所以可以通过用于虚拟拍摄的相机采集校准图像，进而基于校准图像生成屏幕模型并对相机和LED屏幕进行空间校准，无需重复采集LED屏幕的图像，从而可以提高虚拟拍摄前准备工作的效率。

步骤304、根据屏幕参数和校准图像，生成LED屏幕的屏幕模型。

根据屏幕参数可以确定LED屏幕包括的子屏幕的数量，及每个子屏幕包括的LED箱体数量、LED箱体的行列数和单个LED箱体的尺寸，基于这些信息可以确定LED屏幕的整体结构。如果LED屏幕包括一个LED箱体，或者LED屏幕是由多个LED箱体拼接而成的平面屏幕，根据屏幕参数便可以生成LED屏幕的屏幕模型。但是，多数情况下LED屏幕包括多个LED箱体，且LED屏幕并非平面屏幕，根据屏幕参数无法确定LED屏幕中邻接LED箱体之间的夹角，从而无法单纯根据屏幕参数生成LED屏幕的屏幕模型。

需要说明的是，如果LED屏幕包括多个子屏幕，比如LED屏幕为三折屏，则该LED屏幕三个子屏幕，这三个子屏幕分别是两个立屏和一个地屏，在通过LED屏幕显示图像时，不同的子屏幕所显示子图像可以由不同的渲染机渲染。一个子屏幕包括的一个或多个LED箱体，如果子屏幕包括多个LED箱体，则该子屏幕包括的各LED箱体构成平面屏或曲面屏。

根据屏幕参数确定LED屏幕的整体结构，根据采集到的多张校准图像确定子屏幕之间的相对位置、及子屏幕内邻接LED箱体之间的夹角，从而可以屏幕参数和多张校准图像来生成LED屏幕的屏幕模型。由于LED屏幕通常为连续屏幕，即LED屏幕是由多个子屏幕拼接而成的连续显示区域，所以子屏幕之间的相对位置也可以通过位于子屏幕交界区域的LED箱体之间的夹角表示，所以通过确定LED屏幕内邻接了LED箱体之间的夹角，可以生成LED屏幕的屏幕模型。

屏幕模型是指LED屏幕的三维模型，当LED屏幕包括多个子屏幕时，LED屏幕的屏幕包括包括多个子模型，不同的子屏幕对应不同的子模型。子模型对应于三维空间中的平面或曲面，屏幕模型对应于由子模型组成的空间平面或空间曲面，比如，LED屏幕包括地屏、天屏和曲面立屏，则该LED屏幕对应的屏幕模型包括三个子模型，这三个子模型分别对应于地屏、天屏和曲面立屏。屏幕模型可以是参数化的模型，通过三维空间中的一系列关键点来表征屏幕模型，比如可以通过各LED箱体的顶点来表征屏幕模型。

在本申请实施例中，在LED屏幕包括的LED箱体上显示标识图形，通过相机以不同位姿采集多张包括标识图形的校准图像，进而根据LED屏幕的屏幕参数和获得的校准图像生成LED屏幕的屏幕模型，无需手动对LED屏幕进行测量，也无需基于测量结果手动生成屏幕模型，缩短了生成屏幕模型的耗时，因此可以提高屏幕模型生成的效率。

根据校准图像和屏幕参数生成屏幕模型，无需手动多次移动实体棋盘格，并通过相机以不同位姿采集实体棋盘格的图像，从而一人便可以生成屏幕模型，无需多人协同操作，减少了由于手动操作的异常次数，降低了拍摄现场沟通成本和人力成本。

在一种可能的实现方式中，在通过LED屏幕显示标识图形时，可以根据LED箱体的分辨率和尺寸，生成LED箱体对应的待上屏图像，待上屏图像包括标识图形，然后分别在各LED箱体上显示相对应的待上屏图像。

LED屏幕包括多个LED箱体时，LED屏幕可以由一种型号的LED箱体拼接而成，可以由多种型号的LED箱体拼接而成，不同型号的LED箱体具有不同的分辨率和/或尺寸，对此本申请实施例不作限定。LED箱体的分辨率和尺寸可以在获取LED屏幕的屏幕参数时，由用户通过手持客户端输入，手持客户端可以是手机、笔记本电脑、平板电脑等各种适合的设备。

根据LED箱体的分辨率和尺寸，可以生成适合于LED箱体显示的待上屏图像，保证待上屏图像能够在相对应的LED箱体上正常显示。待上屏图像上包括标识图形，即待上屏图像包括背景和标识图形，背景与标识图形具有较大的色差，以保证通过图像处理算法能够准确地从校准图像中识别出标识图形，比如，背景为黑色且标识图形为白色，或者背景为白色且标识图形为黑色。

当LED屏幕包括多个LED箱体时，分别针对每个LED箱体生成相对应的待上屏图像，不同LED箱体所对应待上屏图像中可以包括相同或不同的标识图形。比如，不同LED箱体所对应待上屏图像均包括相同颜色和半径的圆形作为标识图形，或者，不同LED箱体所对应待上屏图像包括不同颜色和/或半径的圆形作为标识图形。

在本申请实施例中，分别为每个LED箱体生成相对应的待上屏图像，待上屏图像包括标识图形，LED箱体显示相对应的待上屏图像，当相机采集LED屏幕的图像时，可以采集到包括各LED箱体所显示的标识图形的校准图像，进而在根据校准图像生成屏幕模型时，可以根据校准图像中各LED箱体显示的标识图形，确定各LED箱体之间的相对位置关系，保证所生成屏幕模型的准确性。

在一种可能的实现方式中，在采集校准图像时，可以获取相机在当前位姿采集到的候选图像，并获取设置于相机上的追踪设备采集到的追踪信息，根据追踪信息可以确定相机采集候选图像时是否处于静止状态，并可以确定相机的当前位姿是否与之前采集校准图像时的位姿相同。如果确定相机采集候选图像时处于静止状态，且候选图像包括至少部分LED箱体显示的标识图形的识别特征，且当前位姿与相机采集已获得的校准图像时的位姿不同，则将该候选图像确定为校准图像。

在相机移动的过程中，设置于相机上的追踪设备可以采集追踪信息，追踪信息包括相机的位姿信息(位置信息和姿态信息)。追踪设备可以实时采集追踪信息，进而根据追踪信息可以确定相机在某一时刻或某一时间段处于静止状态或运动状态，比如，根据追踪信息确定相机在某一时间段内的位姿保持不变，则可以确定相机在该时间段内处于静止状态，如果根据追踪信息确定相机的位姿在不断变化，即相机当前时刻与前一时刻的位姿不同，且当前时刻和后一时刻的位姿也不同，则可以确定相机在当前时刻处于运动状态。

如果相机采集图像时处于运动状态，由于追踪设备采集追踪信息存在一定的频率，导致追踪信息所指示的相机位姿与相机采集图像时相机的位姿存在偏差，所以在相机采集校准图像时，需要保证相机处于静止状态，以保证相机在采集不同校准图像时具有不同的位姿。

在生成屏幕模型时需要多个校准图像，为了保证能够通过校准图像确定LED箱体之间的相对位置，需要获得相机在不同位姿下采集的校准图像。为了通过较少数量的校准图像来确定LED箱体之间的相对位置关系，可以使不同的校准图像对应不同的位姿信息，即不同的校准图像是由相机在不同位姿下采集的，为此在相机采集到候选图像后，可以检测相机采集该候选图像时的位姿是否与相机采集已确定出的校准图像时的位姿相同，如果相机采集该候选图像时的位姿与采集某一已确定出的校准图像时的位姿相同，由于该候选图像与某一校准图像对应相同的位姿信息，则舍弃该候选图像。

在生成屏幕模型时，需要从校准图像中识别标识图形的图像，为此校准图像中需要包括可识别的标识图形的图像，即校准图像需要包括至少LED箱体所显示标识图形的图像，且标识图形的图像在校准图像中需要清晰且完整。在相机采集到候选图像后，需要检测候选图像中是否包括可识别的标识图形的图像，即检测候选图像是否包括各LED箱体显示的标识图形的识别特征，标识图形的识别特征用于从相机所采集图像中识别标识图形的图像，如果候选图像未包括各LED箱体所显示标识图形的识别特征，无法通过该候选图像来生成屏幕模型，所以舍弃该候选图像。

校准图像可以包括部分LED箱体显示的标识图形的图像，也可以包括全部LED箱体显示的标识图形的图像，对此本申请实施例不作限定。当校准图像包括全部LED箱体显示的标识图形的图像时，校准图像包括更多的信息，通过较少数量的校准图像便可以生成准确的屏幕模型，从而可以进一步提高生成屏幕模型的效率。

在本申请实施例中，相机采集校准图像过程中，获取相机采集的候选图像，并获取相机上追踪设备采集的追踪信息，如果根据追踪信息确定相机采集该候选图像时处于静止状态，且该候选图像包括至少部分LED箱体所显示标识图形的识别特征，且相机采集该候选图像时的位姿与相机采集已确定出的校准图像时的位姿不同，则将候选图像确定为校准图像，保证通过较少的校准图像便可以生成屏幕模型，提高屏幕模型生成的效率。

在一种可能的实现方式中，对于相机采集到的一个候选图像，如果相机采集该候选图像时的位姿与相机采集某一已确定的校准图像时的位姿相同，则通过LED屏幕显示用于引导相机移动的引导信息。

引导信息用于指示移动相机的路径、方向或距离等，用户根据引导信息可以移动相机至一个适宜的位姿，该位姿与相机采集已确定出的各校准图像时的位姿不同，使得通过相机能够采集到满足要求的校准图像。

在本申请实施例中，如果相机采集候选图像时的位姿与相机采集已确定出的校准图像时的位姿相同，则通过LED屏幕显示引导信息，使得用户可以根据引导信息快速移动相机至适宜的位姿，该位姿与相机采集已确定出的各校准图像时的位姿均不同，从而相机可以在该位姿采集到满足要求的校准图像，提高了获取校准图像的效率，从而提高屏幕模型生成的效率。通过引导信息引导用户移动相机以采集校准图像，提高用户的使用体验。

在一种可能的实现方式中，在根据屏幕参数和校准图像生成LED屏幕的屏幕模型时，可以根据屏幕参数构建LED屏幕的初始屏幕模型，并从校准图像中识别标识图形的特征点，然后根据特征点在相对应校准图像中的像素坐标，对初始屏幕模型进行优化，获得LED屏幕的屏幕模型。

屏幕参数包括LED屏幕包括的子屏幕的数量，及每个子屏幕包括的LED箱体的排列信息和LED箱体的尺寸信息，排列信息包括LED屏幕中LED箱体的行列数，尺寸信息包括LED箱体的高度和宽度，因此可以根据屏幕参数构建初始屏幕模型，初始屏幕模型可以表示LED屏幕包括的LED箱体的数量、LED箱体的行列数和LED箱体的尺寸，初始屏幕模型表示的这些信息与LED屏幕保持一致。初始屏幕模型无法表示LED屏幕中LED箱体之间的夹角，LED箱体之间的夹角是需要优化的对象。通过对初始屏幕模型进行优化获得的屏幕模型，不仅能够表示LED屏幕包括的LED箱体的数量、LED箱体的行列数和LED箱体的尺寸，还能够表示LED屏幕所包括各LED箱体之间的夹角。

初始屏幕模型可以是参数化的模型，即通过一系列参数来表示初始屏幕模型。以曲面屏为例，由于LED箱体上LED面板没有边框，且LED面板为矩形，所以相邻接LED箱体存在一条共用边，如果各LED箱体的尺寸相同，则可以通过LED箱体的顶点坐标来表示初始屏幕模型。由于相邻接的LED箱体存在公共的顶点，所以初始屏幕模型所包括参数的数量，小于LED箱体数量的4倍。

图4是本申请一个实施例的LED屏幕的示意图。如图4所示，LED屏幕包括2行×6列共计12个LED箱体，每个LED箱体可以通过4个顶点的坐标来表示，由于相邻接LED箱体存在共用的顶点，所以初始屏幕模型可以通过3行×7列共计21个顶点的坐标进行表示。应理解，由于LED屏幕中各LED箱体可能不在同一平面内，所以顶点的坐标为三维坐标。

初始屏幕模型可以通过参数进行表示，由于LED屏幕由多个LED箱体拼接而成，每个LED箱体可以看成为规则的矩形，如果LED屏幕中LED箱体的行数为R且列数为C，则该LED屏幕的初始屏幕模型可以通过R×C个顶点坐标表示，比如通过各LED箱体左上角、右上角、左下角或右下角的坐标表示初始屏幕模型。如果LED箱体的宽度为W且高度为H，对于同一行LED箱体的顶点，第i+1个LED箱体的顶点可以表示为第i个LED箱体的顶点绕列方向(Y轴方向)旋绕路径上的一点，由于这个旋转值只是绕列方向，所以旋转可以通过一个标量进行表示。如果纵向相邻接LED箱体之间的夹角为180°时，在固定了LED屏幕左上角的坐标后，整个LED屏幕可以通过C个参数表示，在此基础上，可以通过优化算法来找到屏幕模型的优化参数表示。

在一个例子中，LED屏幕包括2行×6列共计12个LED箱体，每个LED箱体的宽度和高度均是0.5m，以LED屏幕的中心点为空间坐标系的原点，水平向右的方向为X轴正方向，竖直向上的方向为Y轴正方向，垂直屏幕向内的方向为Z轴正方向。如果初始屏幕模型为屏幕模型，则初始屏幕模型左上角的顶点坐标为(-1.5,0.5,0)，则初始屏幕模型中第1行第2个LED箱体模型的左上角的坐标可以表示为(-1.5,0.5,0)+0.5×(1,0,0)，即初始屏幕模型中第1行第2个LED箱体模型的左上角的坐标为(-1,0.5,0)，其中，上述计算式包括的0.5×(1,0,0)中0.5表示LED箱体的宽度，(1,0,0)表示旋转。

初始屏幕模型通过多个顶点坐标表示，顶点可以表示LED箱体模型的顶点，在固定一个顶点的坐标后，其他顶点可以表示为该固定顶点沿Y轴旋转路径上的点，所以对于包括C列LED箱体的LED屏幕，可以通过C个参数来表示初始屏幕模型，在实现初始屏幕模型参数化的同时，减少了初始屏幕模型所包括参数的数量，从而可以提高对初始屏幕模型进行优化的效率。

由于根据屏幕参数无法确定相邻接LED箱体之间的夹角，所以在生成初始屏幕模型时，可以预设相邻接LED箱体之间的夹角，比如，可以预设相邻接LED箱体之间的夹角为180°，则初始屏幕模型为平面模型。图5示出了本申请一个实施例的初始屏幕模型的示意图，如图5所示，该初始屏幕模型为平面模型。当LED箱体的行数为R、列数为C，且LED箱体的宽度为W、高度为H时，初始屏幕模型的宽度等于C×W，初始屏幕模型的高度等于R×H。

需要说明的是，初始屏幕模型为平面模型是其中一种可能的实现方式，并不对初始屏幕模型中相邻接LED箱体之间的夹角构成限定，可以根据实际需求灵活设定初始屏幕模型中相邻接LED箱体之间的夹角，横向相邻接LED箱体之间的夹角与纵向相邻接LED箱体之间的夹角可以不同，不同相邻接LED箱体对之间的夹角可以不同。比如，初始屏幕模型中横向相邻接LED箱体之间的夹角为150°，纵向相邻接LED箱体之间的夹角为180°。

在获取到多张校准图像后，可以分别从每张校准图像中识别标识图形的特征点。由于校准图像包括多个LED箱体所显示的标识图形的图像，在从校准图像中识别特征点时，需要识别每个LED箱体所显示标识图形的特征点。根据标识图形的形状不同，标识图形的特征点的数量可以是一个或多个，比如，当标识图形为圆形时，圆心为标识图形的特征点，当标识图形为矩形时，矩形的四个角为标识图形的特征点。

在一个例子中，LED屏幕包括12个LED箱体，每个LED箱体显示1个标识图形，每个标识图形有1个特征点，则可以从每张校准图像中识别出12个特征点。

在从校准图像中识别标识图形的特征点时，可以通过预先训练的图像处理神经网络模型进行特征点识别，将校准图像输入图像处理神经网络模型后，图像处理神经网络模型识别标识图形的特征点，并在输出的图像中标注特征点。本申请实施例不对图像处理神经网络模型的模型类型和模型结构进行限定，各种适合的神经网络模型均可用于从校准图像中识别标识图形的特征点。

在从校准图像中识别到标识图形的特征点后，可以确定该特征点在相对应校准图像中的像素坐标，像素坐标指示了特征点在校准图像中的位置。比如，在从一张校准图像中识别到12个特征点后，可以分别确定这12个特征点在该校准图像中的像素坐标。在一个例子中，图像处理神经网络模型输出标注有特征点的图像后，可以通过软件程序或神经网络模型确定特征点在校准图像上的像素坐标，在另一个例子中，图像处理神经网络模型在输出标注有特征点的图像的同时，输出特征点在校准图像中的像素坐标。

在通过LED箱体显示标识图形时，标识图形上特征点在LED箱体上的位置是可以确定的，特征点在校准图像上的像素坐标与特征点在初始屏幕模型上的三维坐标存在对应关系，而特征点在初始屏幕模型上的三维坐标与特征点在LED箱体上的位置存在对应关系，根据上述两项对应关系对初始屏幕模型进行优化，使得特征点在LED屏幕上的位置与在优化后屏幕模型上的位置相同，获得与LED屏幕相对应的屏幕模型。LED屏幕的屏幕模型可以是与LED屏幕1:1的空间曲面模型。

需要说明的是，由于初始屏幕模型可以是参数化的模型，通过对初始屏幕模型进行优化获得屏幕模型，所获得的屏幕模型仍可以是参数化的模型，在获得参数化的屏幕模型后，可以根据屏幕模型的参数来构建位于虚拟空间中的屏幕模型。本申请实施例中的初始屏幕模型和屏幕模型均可以是参数化的模型，也可以是虚拟三维空间内的图形化模型，对此本申请实施例不作限定。

在本申请实施例中，根据屏幕参数构建LED屏幕的初始屏幕模型，并从校准图像中识别标识图形的特征点后，进而根据特征点在相对应校准图像中的像素坐标，对初始屏幕模型进行优化，获得LED屏幕的屏幕模型，在获得屏幕参数和校准图像后，可以实现屏幕模型的自动化生成，生成屏幕模型的过程不需要使用实体棋盘格，从而节省了手动多次移动实体棋盘格的操作，提高了屏幕模型生成的效率，降低了屏幕模型生成过程中的人力成本。

在一种可能的实现方式中，在对初始屏幕模型进行优化获得屏幕模型时，可以基于相机内参对初始屏幕模型进行优化，下面对初始屏幕模型的优化过程进行详细说明。

图6是本申请一个实施例的屏幕模型优化方法的流程图。如图6所示，该屏幕模型优化方法包括如下步骤：

步骤601、根据特征点在相对应校准图像中的像素坐标和当前屏幕模型，确定相机的第一相机内参。

在对初始屏幕模型进行优化时，通常需要多轮优化才能获得与LED屏幕相对应的屏幕模型。在对初始屏幕模型进行第1轮优化时，当前屏幕模型为初始屏幕模型，在对初始屏幕模型进行第i轮优化时，当前屏幕模型为对初始屏幕模型进行第i-1轮优化后的优化结果，i为大于或等于2的正整数。比如，在对初始屏幕模型进行第1轮优化后，所获得的优化结果将作为对初始屏幕模型进行第2轮优化时的当前屏幕模型，在对初始屏幕模型进行第i-1轮优化后，所获得的优化结果将作为对初始屏幕模型进行第i轮优化时的当前屏幕模型。

相机内参是与相机自身特性相关的参数，相机内参包括相机的焦距、相对于成像平面的主点坐标和坐标轴倾斜参数等。相机内参需要通过标定获得，无法直接获取。标识图形上特征点在校准图像中的像素坐标，与特征点在LED屏幕上的位置和相机内参相关，而对初始屏幕模型进行优化的目的是为了获得形状、尺寸等与LED屏幕相匹配的屏幕模型，所以可以根据特征点在当前屏幕模型中的位置及特征点在校准图像中的像素坐标，来求解相机内参，进而以相机内参误差最小化为目标对当前屏幕模型进行优化，获得LED屏幕的屏幕模型。

如果当前屏幕模型与LED屏幕的形状、尺寸等匹配，则根据当前屏幕模型和特征点在校准图像中的像素坐标，可以求解出准确的相机内参，如果当前屏幕模型与LED屏幕的形状、尺寸等匹配性较差，则根据当前屏幕模型和特征点在校准图像中的像素坐标，所求解出的相机内参存在一定偏差，所以根据相机内参变化趋势来优化初始屏幕模型，使得根据每轮优化结果求解出的相机内参不断精确化。

根据特征点在校准图像中的像素坐标对当前屏幕模型进行优化时，根据特征点在校准图像中的像素坐标和当前屏幕模型，求解相机的相机内参，将求解出的相机内参确定为第一相机内参。

步骤602、根据第一相机内参确定相机标定误差。

相机标定是为了获取相机的内参，在获得第一相机内参后，可以根据第一相机内参确定相机标定误差，相机标定误差用于指示第一相机内参相对于相机真实内参的偏差。

步骤603、检测相机标定误差是否满足优化终止条件，如果是执行步骤604，否则执行步骤605。

针对相机标定误差设定有优化终止条件，在获取到相机标定误差后，可以判断相机标定误差是否满足优化终止条件。如果相机标定误差满足优化终止条件，说明第一相机内参已经与相机真实内参相同或相近，可以停止继续对初始屏幕模型进行优化，相应地执行步骤604。如果相机标定误差不满足优化终止条件，说明第一相机内参与相机真实内参还存在较大偏差，当前屏幕模型与LED屏幕存在较大的偏差，还需要继续对初始屏幕模型进行优化，相应地执行步骤605。

步骤604、将当前屏幕模型确定为LED屏幕的屏幕模型，并结束当前流程。

如果相机标定误差满足优化终止条件，说明已经找了一个较优解，也找到了使相机标定误差较小的屏幕模型参数，当前屏幕模型与LED屏幕的匹配度满足对于屏幕模型精度的需求，进而可以将当前屏幕模型确定为LED屏幕的屏幕模型。

在一个例子中，当前屏幕模型为参数化的模型，在将当前屏幕模型确定为LED屏幕的屏幕模型后，可以输出屏幕模型的模型参数，进而可以根据屏幕模型的模型参数生成图形化的屏幕模型。

与LED屏幕的具体结构相对应，当LED屏幕包括多个子屏幕时，所生成的屏幕模型包括多个子模型，不同的子屏幕对应不同的子模型。子模型将发送给相对应子屏幕的渲染机，以供渲染机根据子模型对相对应子屏幕要显示的图像进行渲染。

步骤605、根据相机标定误差对当前屏幕模型的模型参数进行调整，获得当前轮优化的优化结果，并基于当前轮优化的优化结果对初始屏幕模型进行下一轮优化。

如果相机标定误差不满足优化终止条件，则根据相机标定误差对当前屏幕模型的模型参数进行调整，找潜在的能使相机标定误差进一步降低的模型参数，将调整模型参数后的当前屏幕模型作为当前轮优化的优化结果，然后将该优化结果作为下一轮优化的当前屏幕模型，按照步骤601至步骤605的优化方式对初始屏幕模型进行下一轮优化，直至优化获得LED屏幕的屏幕模型。

图7是本申请一个实施例的屏幕模型的示意图，通过对图5所示的初始屏幕模型进行优化，获得图7所示的屏幕模型，图7所示的屏幕模型与图4所示的LED屏幕相对应，图7所示屏幕模型中LED箱体模型的行列数和尺寸，与图4所示LED屏幕中LED箱体的行列数和尺寸相同，且图7所示屏幕模型中相邻接LED箱体模型之间的夹角，与图4所示LED屏幕中相对应的相邻接LED箱体之间的夹角相同。

在本申请实施例中，由于特征点在校准图像中的像素坐标、相机内参和屏幕模型存在关联，相机标定误差指示基于当前屏幕模型计算出的相机内参与相机真实内参的偏差，进而根据相机标定误差来优化当前屏幕模型的模型参数，寻找潜在的能够使相机标定误差进一步降低的模型参数，通过多轮优化获得能够使相机标定误差小于误差阈值的屏幕模型。基于相机内参确定优化终止条件，基于该优化终止条件对初始屏幕模型进行多轮优化，获得LED屏幕的屏幕模型，使得屏幕模型构建可以自动化完成，减少屏幕模型构建过程的人工参与度，在降低屏幕模型构建过程中人工劳动强度的同时，提高所构建屏幕模型的准确性。

在一种可能的实现方式中，根据特征点在相对应校准图像中的像素坐标和当前屏幕模型，确定相机的第一相机内参时，可以根据标识图形在LED箱体上的显示位置，确定标识图形上特征点在当前屏幕模型上对应的三维坐标，然后根据特征点对应的像素坐标和三维坐标确定相机的第一相机内参。

在通过LED箱体显示标识图形时，标识图形在LED箱体上的显示位置是可以确定的，进而标识图形上特征点在LED箱体上的显示位置也是可以确定的。根据特征点在LED箱体上的显示位置，可以确定特征点在当前屏幕模型上对应的三维坐标，进而可以将特征点对应的像素坐标和三维坐标构造为形式如(像素坐标，三维坐标)的坐标点对。在获取到各特征点所对应的坐标点对后，可以将这些坐标点对作为输入，通过相机标定算法来计算当前屏幕模型下较优的相机内参，进而将计算出的相机内参作为第一相机内参。

由于当前屏幕模型中LED箱体模型的尺寸和形状，与LED屏幕中LED箱体的尺寸和形状保持一致，所以根据特征点在LED箱体上的显示位置，可以确定特征点在当前屏幕模型上对应的三维坐标。

在本申请实施例中，根据特征点在LED箱体上的显示位置，确定特征点在当前屏幕模型上对应的三维坐标，进而构造包括特征点的像素坐标和三维坐标的坐标点对，将各特征点对应的坐标点对作为输入运行相机标定算法，计算当前屏幕模型下较优的相机内参作为第一相机内参，在优化屏幕模型的同时，还是能够确定相机内参，无需再花费额外时间标定相机内参。

在一种可能的实现方式中，在根据第一相机内参确定相机标定误差时，可以根据第一相机内参，将特征点在当前屏幕模型上对应的三维坐标转换为参考像素坐标，然后根据特征点对应的像素坐标与参考像素坐标的偏差，来确定相机标定误差。

基于相机内参可以将像素坐标映射为三维坐标，也可以将三维坐标映射为像素坐标，基于相机真实内参可以实现像素坐标与三维坐标的双向可逆映射。本申请实施例基于像素坐标到三维坐标的映射确定第一相机内参，如果第一相机内参与相机真实内参存在偏差，则基于第一相机内参将三维坐标映射为参考像素坐标后，参考像素坐标与像素坐标之间存在偏差，而且第一相机内参和相机真实内参之间的偏差，与参考像素坐标和像素坐标之间的偏差正相关。

在一个例子中，可以计算像素坐标所指示像素点与参考像素坐标所指示像素点之间的距离，作为相对应特征点的子标定误差，进而对各特征点的子标定误差进行求和，获得相机标定误差。在另一个例子中，可以计算像素坐标所指示像素点与参考像素坐标所指示像素点之间的距离，作为相对应特征点的子标定误差，进而计算各特征点的子标定误差的平均值，作为相机标定误差。

在本申请实施例中，根据第一相机内参将特征点在当前屏幕模型中对应的三维坐标转换为参考像素坐标，进而根据像素坐标与参考像素坐标的偏差，来确定相机标定误差，即特征点对应的坐标点对即作为优化初始屏幕模型的训练集，又作为当前屏幕模型的测试集，充分利用采集到的校准图像，在提高屏幕模型生成效率的同时，保证所生成屏幕模型的准确性。

在一种可能的实现方式中，针对相机标定误差设置的优化终止条件，可以是相机标定误差不再下降，即随着优化轮数的增加，相机标定误差已经稳定，不再下降。

在优化终止条件的一种形式中，在对初始屏幕模型进行的连续n轮优化中，第j轮优化获得的相机标定误差与第j-1轮优化获得的相机标定误差的差值小于第一误差阈值，n为大于或等于2的正整数，j为大于或等于2且小于或等于n的正整数，连续n轮优化中的末轮优化为对初始屏幕模型进行的当前轮优化。应理解，第j轮优化是指连续n轮优化中的第j轮，在对初始屏幕模型进行第j轮优化时，对初始屏幕模型进行优化的轮数大于或等于j。

比如，n等于5，即在对初始屏幕模型进行的连续5轮优化中，j取值为2、3、4或5。在连续5轮优化中，如果第2轮优化获得的相机标定误差与第1轮优化获得的相机标定误差的差值小于第一误差阈值，第3轮优化获得的相机标定误差与第2轮优化获得的相机标定误差的差值小于第一误差阈值，第4轮优化获得的相机标定误差与第3轮优化获得的相机标定误差的差值小于第一误差阈值，且第5轮优化获得的相机标定误差与第4轮优化获得的相机标定误差的差值小于第一误差阈值，则在完成第5轮优化后，第5轮优化获得的相机标定误差满足优化终止条件。在这连续5轮优化之前，可能已经对初始屏幕模型进行了若干轮优化，比如在这连续5轮优化之前已经对初始屏幕模型进行了100轮优化，则这连续5轮优化中的第5轮优化，实际为对初始屏幕模型进行的第105轮优化。

第一误差阈值为预设值，比如第一误差阈值可以为0.5％、1％等。

在优化终止条件的另一种形式中，在对初始屏幕模型进行的连续m轮优化中，这连续m轮优化获得的相机标定误差均小于第二误差阈值，m为大于或等于2的正整数，这连续m轮优化中的末轮优化为对初始屏幕模型进行的当前轮优化。

比如，m等于3，即在对初始屏幕模型进行的连续3轮优化中，这连续3轮优化获得的相机标定误差均小于第二误差阈值，在完成这连续3轮优化中的第3轮优化后，该第3轮优化获得的相机标定误差满足优化终止条件。在这连续3轮优化之前，可能已经对初始屏幕模型进行了若干轮优化，比如在这连续3轮优化之前已经对初始屏幕模型进行了80轮优化，则这连续3轮优化中的第3轮优化，实际为对初始屏幕模型进行的第83轮优化。

第二误差阈值为预设值，比如第二误差阈值可以为1％、1.5％、2％等。

相机标定误差为像素坐标所指示像素点与参考像素坐标所指示像素点之间的距离，所以相机标定误差为非负值。

在本申请实施例中，优化终止条件可以是相机标定误差不再下降，即随着优化轮数的增加，相机标定误差已经稳定，不再下降，具体可以是连续多轮优化获得的相机标定误差，相对前一轮优化获得相机标定误差下降幅度较小，或者连续多轮优化获得的相机标定误差均较小，具体可以根据应用场景灵活选择，满足不同用户的个性化需求。

在一种可能的实现方式中，屏幕模型与LED屏幕的比例为1:1，且屏幕模型的中心点位于空间坐标系的原点。

在构建初始屏幕模型时，可以使初始屏幕的中心点位于空间坐标系的原点，如果初始屏幕模型为平面模型，则初始屏幕模型的中心点为对角线连线的交点。在对初始屏幕模型进行优化的过程中，每轮优化后初始屏幕模型的中心点仍位于空间坐标系的原点，所以通过多轮优化获得的屏幕模型的中心点也位于空间坐标系的原点。

在一种可能的实现方式中，屏幕模型与LED屏幕的比例为1:1，使得屏幕模型与LED屏幕的尺寸、形状和空间位置均保持一致，进而基于屏幕模型在LED屏幕上显示随相机运动而动态变化的画面，实现虚实结合，提高虚拟拍摄的效果。初始屏幕模型中心点位于空间坐标系的原点，用于表示初始屏幕模型的各顶点的坐标为相对于原点的三维偏移量，方便对初始屏幕模型进行优化，减少了优化过程中的计算量。屏幕模型的中心点位于空间坐标系的原点，屏幕模型中各LED箱体模型的顶点坐标为相对于原点的三维偏移量，基于屏幕模型在LED屏幕上显示画面时，分别对待显示画面进行三维变换，提高LED屏幕显示画面的响应速度。

通过本申请实施例提供的屏幕模型生成方法，无需手动构建屏幕模型及准备实体棋盘格，由一名现场工作人员在LED屏幕前，通过手持客户端变可以方便快速的完成屏幕模型生成，流程更为简单、快捷和高效。如下表1示出了图4所示LED屏幕中相邻列LED箱体之间的夹角，及图7所示屏幕模型中相邻列LED箱体模型之间的夹角，由表1可见所生成屏幕模型与LED屏幕的匹配度较高，所生成屏幕模型的准确性较高。

表1

LED箱体相邻列	0-1	1-2	2-3	3-4	4-5
						LED屏幕	180	151	180	167	165
屏幕模型	180	151.5	179.7	166.6	165.4

需要说明的是，在上述各实施例中以曲面LED屏幕为例，对屏幕模型生成过程进行了说明，但这并不构成对本申请实施例屏幕模型生成方案构成限定，本申请实施例的屏幕模型生成方案不仅适用于生成曲面LED屏幕的屏幕模型，还适用于生成平面屏、三折屏和异形屏的屏幕模型。

屏幕模型生成装置

对应于上述方法实施例，图8示出了本申请一个实施例的屏幕模型生成装置的示意图。

如图8所示，该屏幕模型生成装置800包括：

获取单元801，用于获取用于虚拟拍摄的LED屏幕的屏幕参数，屏幕参数包括构成LED屏幕的至少两个LED箱体的排列信息和LED箱体的尺寸信息；

显示单元802，用于在至少一个LED箱体上显示标识图形；

采集单元803，用于获取相机以不同位姿采集的多张校准图像，标准图像包括至少部分LED箱体上显示的标识图形的图像；

生成单元804，用于根据屏幕参数和校准图像，生成LED屏幕的屏幕模型。

在本申请实施例中，显示单元802在LED屏幕包括的LED箱体上显示标识图形，采集单元803通过相机以不同位姿采集多张包括标识图形的图像的校准图像，生成单元804根据LED屏幕的屏幕参数和校准图像生成LED屏幕的屏幕模型，无需手动对LED屏幕进行测量，也无需基于测量结果手动生成屏幕模型，缩短了生成屏幕模型的耗时，无需手动多次移动实体棋盘格并通过相机采集实体棋盘格的图像，节省了多次移动实体棋盘格的时间，从而可以提高屏幕模型生成的效率。

需要说明的是，本实施例的屏幕模型生成装置用于实现前述方法实施例中相应的屏幕模型生成方法，并具有相应的方法实施例的有益效果，在此不再赘述。

电子设备

图9是本申请实施例提供的一种电子设备的示意性框图，本申请具体实施例并不对电子设备的具体实现做限定。如图9所示，该电子设备可以包括：处理器(processor)902、通信接口(Communications Interface)904、存储器(memory)906、以及通信总线908。其中：

处理器902、通信接口904、以及存储器906通过通信总线908完成相互间的通信。

通信接口904，用于与其它电子设备或服务器进行通信。

处理器902，用于执行程序910，具体可以执行前述任一屏幕模型生成方法实施例中的相关步骤。

具体地，程序910可以包括程序代码，该程序代码包括计算机操作指令。

处理器902可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

RISC-V是一种基于精简指令集(RISC)原则的开源指令集架构，其可以应用于单片机和FPGA芯片等各个方面，具体可应用在物联网安全、工业控制、手机、个人计算机等领域，且由于其在设计时考虑了小型、快速、低功耗的现实情况，使得其尤其适用于仓库规模云计算机、高端移动电话和微小嵌入式系统等现代计算设备。随着人工智能物联网AIoT的兴起，RISC-V指令集架构也受到越来越多的关注和支持，并有望成为下一代广泛应用的CPU架构。

本申请实施例中的计算机操作指令可以是基于RISC-V指令集架构的计算机操作指令，对应地，处理器902可以基于RISC-V的指令集设计。具体地，本申请实施例提供的电子设备中的处理器的芯片可以为采用RISC-V指令集设计的芯片，该芯片可基于所配置的指令执行可执行代码，进而实现上述实施例中的屏幕模型生成方法。

存储器906，用于存放程序910。存储器906可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序910具体可以用于使得处理器902执行前述任一实施例中的屏幕模型生成方法。

程序910中各步骤的具体实现可以参见前述任一屏幕模型生成方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

通过本申请实施例的电子设备，在LED屏幕包括的LED箱体上显示标识图形，通过相机以不同位姿采集多张包括标识图形的校准图像，进而根据LED屏幕的屏幕参数和获得的校准图像生成LED屏幕的屏幕模型，无需手动对LED屏幕进行测量，也无需基于测量结果手动生成屏幕模型，缩短了生成屏幕模型的耗时，因此可以提高屏幕模型生成的效率。

计算机存储介质

本申请还提供了一种计算机可读存储介质，存储用于使一机器执行如本文所述的屏幕模型生成方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本申请的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

计算机程序产品

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一对应的操作。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

需要说明的是，本公开实施例所涉及到的与用户有关的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

应该理解，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于装置和系统实施例中描述的方法，所以描述的比较简单，相关之处参见其他实施例的部分说明即可。

应该理解，上述对本说明书特定实施例进行了描述。其它实施例在权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

应该理解，本文用单数形式描述或者在附图中仅显示一个的元件并不代表将该元件的数量限于一个。此外，本文中被描述或示出为分开的模块或元件可被组合为单个模块或元件，且本文中被描述或示出为单个的模块或元件可被拆分为多个模块或元件。

还应理解，本文采用的术语和表述方式只是用于描述，本说明书的一个或多个实施例并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的，权利要求应视为覆盖所有这些等效物。

Claims (14)

1.一种屏幕模型生成方法，包括：

获取用于虚拟拍摄的LED屏幕的屏幕参数，所述屏幕参数包括构成所述LED屏幕的至少一个LED箱体的排列信息和所述LED箱体的尺寸信息；

在所述至少一个LED箱体上显示标识图形；

获取相机以不同位姿采集的多张校准图像，所述校准图像包括至少部分所述LED箱体上显示的所述标识图形的图像；

根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型。

2.根据权利要求1所述的方法，其中，所述在所述至少一个LED箱体上显示标识图形，包括：

根据所述LED箱体的分辨率和尺寸，生成所述LED箱体对应的待上屏图像，所述待上屏图像包括标识图形；

在所述至少一个LED箱体上分别显示相对应的所述待上屏图像。

3.根据权利要求1所述的方法，其中，所述获取相机以不同位姿采集的多张校准图像，包括：

获取所述相机在当前位姿采集的候选图像；

获取设置于所述相机上的追踪设备采集到的追踪信息；

若根据所述追踪信息确定所述相机采集所述候选图像时处于静止状态，且所述候选图像包括至少部分所述LED箱体显示的所述标识图形的识别特征，且所述当前位姿与所述相机采集已获得的所述校准图像时的位姿不同，则将所述候选图像确定为所述校准图像。

4.根据权利要求3所述的方法，所述方法还包括：

若所述当前位姿与所述相机采集已获得的所述校准图像时的位姿相同，则通过所述LED屏幕显示用于引导所述相机移动的引导信息。

5.根据权利要求1所述的方法，其中，所述根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型，包括：

根据所述屏幕参数，构建所述LED屏幕的初始屏幕模型；

从所述校准图像中识别所述标识图形的特征点；

根据所述特征点在相对应所述校准图像中的像素坐标，对所述初始屏幕模型进行优化，获得所述LED屏幕的屏幕模型。

6.根据权利要求5所述的方法，其中，所述根据所述特征点在相对应所述校准图像中的像素坐标，对所述初始屏幕模型进行优化，获得所述LED屏幕的屏幕模型，包括：

根据所述特征点在相对应所述校准图像中的像素坐标和当前屏幕模型，确定所述相机的第一相机内参，在对所述初始屏幕模型进行第1轮优化时，所述当前屏幕模型为所述初始屏幕模型，在对所述初始屏幕模型进行第i轮优化时，所述当前屏幕模型为对所述初始屏幕模型进行第i-1轮优化的优化结果，i为大于或等于2的正整数；

根据所述第一相机内参确定相机标定误差；

若所述相机标定误差满足优化终止条件，则将所述当前屏幕模型确定为所述LED屏幕的屏幕模型；

若所述相机标定误差不满足所述优化终止条件，则根据所述相机标定误差对所述当前屏幕模型的模型参数进行调整，获得当前轮优化的优化结果，并基于当前轮优化的优化结果对所述初始屏幕模型进行下一轮优化。

7.根据权利要求6所述的方法，其中，所述根据所述特征点在相对应所述校准图像中的像素坐标和当前屏幕模型，确定所述相机的第一相机内参，包括：

根据所述标识图形在所述LED箱体上的显示位置，确定所述特征点在所述当前屏幕模型上对应的三维坐标；

根据所述特征点对应的所述像素坐标和所述三维坐标，确定所述相机的第一相机内参。

8.根据权利要求6所述的方法，其中，所述根据所述第一相机内参确定相机标定误差，包括：

根据所述第一相机内参，将所述特征点在所述当前屏幕模型上对应的三维坐标转换为参考像素坐标；

根据所述特征点对应的所述像素坐标与所述参考像素坐标的偏差，确定所述相机标定误差。

9.根据权利要求6所述的方法，其中，所述优化终止条件包括：

在对所述初始屏幕模型进行的连续n轮优化中，第j轮优化获得的相机标定误差与第j-1轮优化获得的相机标定误差的差值小于第一误差阈值，n为大于或等于2的正整数，j为大于或等于2且小于或等于n的正整数，所述连续n轮优化中末轮优化为对所述初始屏幕模型进行的当前轮优化；

或者，

对所述初始屏幕模型进行的连续m轮优化获得的相机标定误差均小于第二误差阈值，m为大于或等于2的正整数，所述连续m轮优化中末轮优化为对所述初始屏幕模型进行的当前轮优化。

10.根据权利要求1-9中任一所述的方法，其中，所述屏幕模型与所述LED屏幕的比例为1:1，且所述屏幕模型的中心点位于空间坐标系的原点。

11.一种屏幕模型生成装置，包括：

获取单元，用于获取用于虚拟拍摄的LED屏幕的屏幕参数，所述屏幕参数包括构成所述LED屏幕的至少一个LED箱体的排列信息和所述LED箱体的尺寸信息；

显示单元，用于在所述至少一个LED箱体上显示标识图形；

采集单元，用于获取相机以不同位姿采集的多张校准图像，所述校准图像包括至少部分所述LED箱体上显示的所述标识图形的图像；

生成单元，用于根据所述屏幕参数和所述校准图像，生成所述LED屏幕的屏幕模型。

12.一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行如权利要求1-10中任一项方法对应的操作。

13.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-10中任一项的方法。

14.一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如权利要求1-10中任一项的方法。

Images