CN118485620A - 屏幕模型的校准方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种屏幕模型的校准方法、装置、电子设备及存储介质，属于计算机技术领域。所述方法包括：获取拍摄设备以不同位姿对显示屏幕进行拍摄而得到的多个拍摄图像，所述显示屏幕上均匀分布多个校准特征；识别所述多个拍摄图像中的有效校准特征；确定所述有效校准特征的三维特征数据；在检测到所述有效校准特征与所述显示屏幕上的校准特征不一致的情况下，确定所述多个拍摄图像中的缺失校准特征；根据所述有效校准特征的三维特征数据，确定所述缺失校准特征的三维特征数据；根据所述有效校准特征和所述缺失校准特征的三维特征数据，对所述显示屏幕的屏幕模型进行校准。本申请能够提高屏幕模型的生成精度，且适用性高。

Description

屏幕模型的校准方法、装置、电子设备及存储介质

技术领域

本申请属于计算机技术领域，尤其涉及一种屏幕模型的校准方法、装置、电子设备及存储介质。

背景技术

虚拟现实(XR)制片是一种影视节目制作技术。使用LED显示屏和XR虚拟制作技术相结合，与传统绿幕XR虚拟制作技术相比在实时录制方面具有明显的优势。

在LED显示屏和XR虚拟制作技术相结合的虚拟制片方式中，LED显示屏的屏幕模型精度是至关重要的一环。LED显示屏用于显示部分拍摄场景，其精度直接影响虚拟和现实拍摄的内容的融合效果。

在XR虚拟制作中，可以根据事先设计好的CAD设计图纸搭建LED屏幕。在搭建完LED屏幕后，对LED屏幕进行实际测量，并基于实际测量的结果建模生成LED屏幕的屏幕模型。但是，这种测量方式存在较大误差，导致生成的屏幕模型精度较低。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种屏幕模型的校准方法、装置、电子设备及存储介质，能够提高屏幕模型的生成精度，且适用性高。

第一方面，本申请提供了一种屏幕模型的校准方法，该方法包括：

获取拍摄设备以不同位姿对显示屏幕进行拍摄而得到的多个拍摄图像，所述显示屏幕上均匀分布多个校准特征；

识别所述多个拍摄图像中的有效校准特征；

确定所述有效校准特征的三维特征数据；

在检测到所述有效校准特征与所述显示屏幕上的校准特征不一致的情况下，确定所述多个拍摄图像中的缺失校准特征；

根据所述有效校准特征的三维特征数据，确定所述缺失校准特征的三维特征数据；

根据所述有效校准特征和所述缺失校准特征的三维特征数据，对所述显示屏幕的屏幕模型进行校准。

根据本申请的屏幕模型的校准方法，通过获取具有校准特征的显示屏幕的多个拍摄图像，识别多个拍摄图像中的有效校准特征，确定有效校准特征的三维特征数据，在确定多个拍摄图像中的缺失校准特征的情况下，根据有效校准特征的三维特征数据，确定缺失校准特征的三维特征数据，以补全拍摄图像中的校准特征，根据补全后的校准特征的三维特征数据，对显示屏幕的屏幕模型进行校准，生成高精度且高一致性的屏幕模型，通过率高，且适用性高。

根据本申请的一个实施例，所述识别所述多个拍摄图像中的有效校准特征，包括：

识别每个所述拍摄图像中的校准特征；

将从至少目标个数的拍摄图像中识别出的校准特征作为所述有效校准特征。

根据本申请的一个实施例，

所述确定所述有效校准特征的三维特征数据，包括：

确定所述有效校准特征在各所述拍摄图像中的位置；

根据所述有效校准特征在多个所述拍摄图像中的位置，确定所述有效校准特征的三维特征数据。

根据本申请的一个实施例，所述根据所述有效校准特征的三维特征数据，确定所述缺失校准特征的三维特征数据，包括：

从所述有效校准特征中选取第一校准特征和第二校准特征；

确定所述第一校准特征和所述第二校准特征之间的位置映射关系；

从所述有效校准特征中确定第三校准特征，所述第三校准特征和所述缺失校准特征之间的位置映射关系与所述第一校准特征和所述第二校准特征之间的位置映射关系相同；

根据所述第三校准特征的三维特征数据和所述位置映射关系，确定所述缺失校准特征的三维特征数据。

根据本申请的一个实施例，所述从所述有效校准特征中选取第一校准特征和第二校准特征，包括：

从所述有效校准特征中选取距离所述缺失校准特征最近的第一校准特征；

从与所述第一校准特征同行或同列的有效校准特征中选取距离所述缺失校准特征最近的第二校准特征。

根据本申请的一个实施例，所述根据所述有效校准特征和所述缺失校准特征的三维特征数据，对所述显示屏幕的屏幕模型进行校准，包括：根据所述有效校准特征和所述缺失校准特征的三维特征数据，确定所述有效校准特征和所述缺失校准特征的的法向数据；

获取所述多个校准特征与所述显示屏幕的边界的相对位置；

根据所述三维特征数据、所述法向数据和所述相对位置，对所述显示屏幕的屏幕模型进行校准。

根据本申请的一个实施例，所述校准特征贴附在所述显示屏幕的表面，或者所述校准特征显示在所述显示屏幕上。

第二方面，本申请提供了一种屏幕模型的校准装置，该装置包括：

获取模块，用于获取拍摄设备以不同位姿对显示屏幕进行拍摄而得到的多个拍摄图像，所述显示屏幕上均匀分布多个校准特征；

识别模块，用于识别所述多个拍摄图像中的有效校准特征；

第一确定模块，用于确定所述有效校准特征的三维特征数据；

第二确定模块，用于在检测到所述有效校准特征与所述显示屏幕上的校准特征不一致的情况下，确定所述多个拍摄图像中的缺失校准特征；

第三确定模块，用于根据所述有效校准特征的三维特征数据，确定所述缺失校准特征的三维特征数据；

校准模块，用于根据所述有效校准特征和所述缺失校准特征的三维特征数据，对所述显示屏幕的屏幕模型进行校准。

根据本申请的屏幕模型的校准装置，通过获取具有校准特征的显示屏幕的多个拍摄图像，识别多个拍摄图像中的有效校准特征，确定有效校准特征的三维特征数据，在确定多个拍摄图像中的缺失校准特征的情况下，根据有效校准特征的三维特征数据，确定缺失校准特征的三维特征数据，以补全拍摄图像中的校准特征，根据补全后的校准特征的三维特征数据，对显示屏幕的屏幕模型进行校准，生成高精度且高一致性的屏幕模型，通过率高，且适用性高。

第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的屏幕模型的校准方法。

第四方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的屏幕模型的校准方法。

本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

通过获取具有校准特征的显示屏幕的多个拍摄图像，识别多个拍摄图像中的有效校准特征，确定有效校准特征的三维特征数据，在确定多个拍摄图像中的缺失校准特征的情况下，根据有效校准特征的三维特征数据，确定缺失校准特征的三维特征数据，以补全拍摄图像中的校准特征，根据补全后的校准特征的三维特征数据，对显示屏幕的屏幕模型进行校准，生成高精度且高一致性的屏幕模型，通过率高，且适用性高。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请实施例提供的屏幕模型的校准方法的流程示意图；

图2是本申请实施例提供的屏幕模型的校准方法中显示屏幕的结构示意图；

图3是本申请实施例提供的屏幕模型的校准方法中的拍摄图像的示意图之一；

图4是本申请实施例提供的屏幕模型的校准方法中的拍摄图像的示意图之二；

图5是本申请实施例提供的屏幕模型的校准装置的结构示意图；

图6是本申请实施例提供的电子设备的结构示意图；

图7是本申请实施例提供的电子设备的硬件示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的屏幕模型的校准方法、装置、电子设备及存储介质进行详细地说明。

其中，屏幕模型的校准方法可应用于终端，具体可由终端中的硬件或软件执行。

图1为本申请实施例提供的屏幕模型的校准方法的流程示意图。

本申请实施例提供的屏幕模型的校准方法，该方法的执行主体可以为电子设备或者电子设备中能够实现该方法的功能模块或功能实体，下面以电子设备作为执行主体为例对本申请实施例提供的屏幕模型的校准方法进行说明。

如图1所示，该屏幕模型的校准方法包括：步骤110、步骤120、步骤130、步骤140、步骤150和步骤160。

步骤110、获取拍摄设备以不同位姿对显示屏幕进行拍摄而得到的多个拍摄图像，显示屏幕上均匀分布多个校准特征。

显示屏幕为显示文字、图像和视频等各种信息的显示设备，被广泛应用于虚拟拍摄中。根据实际拍摄需求，显示屏幕可以为平面屏和曲面屏等，此处不作具体限定。

显示屏幕可以为大尺寸显示屏幕。如图2所示，显示屏幕1可以由多个显示单元10拼接而成，即显示屏幕1包括呈多行多列分布的显示单元10。例如，显示屏幕1的尺寸可以大于300mm*300mm。多个显示单元10的规格(如分辨率和尺寸等)可以相同。显示屏幕可以为LED显示屏，显示单元10可以为LED灯板。

显示屏幕1上具有校准标识2。其中，校准标识2可以贴附在显示屏幕1的表面，或者校准标识2可以显示在显示屏幕1上，即显示屏幕1显示校准标识2。校准标识2为便于通过图像处理技术识别的文字、符号或图形等。校准标识2与背景之间可以存在较大的色差，以便能够准确识别校准标识2。

校准标识2分布在整个显示屏幕。校准标识2可以由一个特征或多个特征组合而成。在一些实施例中，校准标识2可以包括多个校准特征20，多个校准特征20的大小和形状可以相同，每个校准特征20具有唯一的编码。多个校准特征20可以均匀分布在显示屏幕1，即多个校准特征20可以贴附在显示屏幕1的表面，或者多个校准特征20可以显示在显示屏幕1上。多个校准特征20可以呈多行多列分布。在显示屏幕1由多个显示单元10拼接而成的情况下，每个显示单元10上可以分布至少一个校准特征20。校准特征20可以为特征点或二维码等，校准特征20也可以为其他特征，此处不作具体限定。

通过拍摄设备(如相机)可以拍摄显示屏幕1，以获取显示屏幕1的拍摄图像。由于显示屏幕1上具有校准标识2，因此拍摄图像中具有校准标识2。拍摄图像可以为显示屏幕的完整图像，也可以为显示屏幕的部分图像(非完整图像)。

拍摄设备在拍摄过程中固定镜头参数，镜头参数包括镜头焦距和聚焦等参数。拍摄设备以不同位姿(不同位置和/或不同角度)采集显示屏幕的拍摄图像，得到显示屏幕的多个拍摄图像。例如，图3为拍摄设备以某位姿采集的显示屏幕的一个拍摄图像，图4为拍摄设备以另一位姿采集的显示屏幕的一个拍摄图像。

多个拍摄图像可以均为显示屏幕的完整图像，也可以均为显示屏幕的部分图像(非完整图像)，或者多个拍摄图像中的部分拍摄图像为显示屏幕的完整图像，剩余拍摄图像为显示屏幕的部分图像(非完整图像)。例如，图3和图4为显示屏幕1的右下角被物体3遮挡后所获取的两个拍摄图像，即图3和图4均为显示屏幕的部分图像(非完整图像)。

步骤120、识别多个拍摄图像中的有效校准特征。

有效校准特征是指拍摄图像中能够确定三维特征数据的校准特征，并非拍摄图像中的各个校准特征均为有效校准特征。有效校准特征可以包括一个或多个校准特征。结合多个拍摄图像中的校准特征，可以确定有效校准特征。

在一些实施例中，步骤120中的识别多个拍摄图像中的有效校准特征，包括：

识别每个拍摄图像中的校准特征；

将从至少目标个数的拍摄图像中识别出的校准特征作为有效校准特征。

由于多个拍摄图像是拍摄设备以不同位姿拍摄得到的，因此多个拍摄图像中的显示屏幕的完整度可能不同，多个拍摄图像中的校准特征的完整度可能不同，即不同拍摄图像中的校准特征可能不完全相同，如不同拍摄图像中的校准特征的数量可能不同。例如，一个拍摄图像中具有校准特征A至校准特征D，另一个拍摄图像中具有校准特征A至校准特征E。

先分别识别每个拍摄图像中的校准特征，若某一校准特征能够从目标个数的拍摄图像中识别出来，则将该校准特征作为有效校准特征。例如，目标个数为2，若从至少2个拍摄图像中识别出校准特征A，则将校准特征A作为有效校准特征；若仅从1个拍摄图像中识别出校准特征E，则校准特征E不为有效校准特征。

步骤130、确定有效校准特征的三维特征数据。

三维特征数据可以包括有效校准特征的位姿数据。基于三维特征计算器，可以确定有效校准特征的三维特征数据。

在一些实施例中，步骤130中的确定有效校准特征的三维特征数据，包括：

确定有效校准特征在各拍摄图像中的位置；

根据有效校准特征在多个拍摄图像中的位置，确定有效校准特征的三维特征数据。

针对每个拍摄图像，确定有效校准特征在拍摄图像中的位置，该位置为二维位置。结合有效特征在多个拍摄图像中的位置，并基于三维特征计算器，按照多视几何方法计算有效校准特征的三维特征数据。

步骤140、在检测到有效校准特征与显示屏幕上的校准特征不一致的情况下，确定多个拍摄图像中的缺失校准特征。在拍摄图像为显示屏幕的部分图像(非完整图像)，或者显示屏幕被部分遮挡(显示屏幕的边缘位置或非边缘位置被遮挡)时，拍摄图像中的标准特征不完整，即拍摄图像中的校准特征存在缺失。根据识别的多个拍摄图像中的有效校准特征，可以确定缺失校准特征，从而补全校准特征。

将识别出的有效校准特征与显示屏幕上的校准特征进行对比，检测多个拍摄图像中是否缺失校准特征。每个校准特征具有唯一的编码，在识别有效校准特征的编码后，可以通过编码的对比实现有效校准特征与显示屏幕上的校准特征的对比。

若有效校准特征与显示屏幕上的校准特征相一致，则表明显示屏幕上的所有校准特征均作为有效校准特征，确定有效校准特征的三维特征数据，即得到显示屏幕上各个校准特征的三维特征数据。根据显示屏幕上各个校准特征的三维特征数据，可以对显示屏幕的屏幕模型进行校准。

若有效校准特征与显示屏幕上的校准特征不一致，则表明有效校准特征仅为显示屏幕上的部分校准特征，显示屏幕上的另一部分校准特征不为有效校准特征，将显示屏幕上未作为有效校准特征的校准特征作为缺失校准特征。缺失校准特征可以包括一个或多个校准特征。例如，显示屏幕上具有校准特征A至校准特征E，步骤120中识别多个拍摄图像中的有效校准特征为校准特征A至校准特征D，有效校准特征与显示屏幕上的校准特征不一致，确定多个拍摄图像中的缺失校准特征为校准特征E。结合图2所示，图3和图4两个拍摄图像中的校准特征为显示屏幕1上的校准特征20a，显示屏幕1上的其他校准特征均为有效校准特征。

若检测到多个拍摄图像中缺失校准特征，则确定多个拍摄图像中的校准标识不完整，需要补全多个拍摄图像中的校准标识。

步骤150、根据有效校准特征的三维特征数据，确定缺失校准特征的三维特征数据。

根据有效校准特征的三维特征数据，可以确定缺失校准特征的三维特征数据，以补全多个拍摄图像中的校准标识，从而得到显示屏幕上各个标准特征的三维特征数据。

在一些实施例中，步骤150中的根据有效校准特征的三维特征数据，确定缺失校准特征的三维特征数据，包括：

从有效校准特征中选取第一校准特征和第二校准特征；

确定第一校准特征和第二校准特征之间的位置映射关系；

从有效校准特征中确定第三校准特征，第三校准特征和缺失校准特征之间的位置映射关系与第一校准特征和第二校准特征之间的位置映射关系相同；

根据第三校准特征的三维特征数据和位置映射关系，确定缺失校准特征的三维特征数据。

先从有效校准特征中选取两个校准特征(即第一校准特征和第二校准特征)作为有效特征对。第一校准特征和第二校准特征可以位于缺失特征附近，两个第一有效特征可以位于同一行或同一列。

在一些实施例中，从有效校准特征中选取第一校准特征和第二校准特征，包括：

从有效校准特征中选取距离缺失校准特征最近的第一校准特征；

从与第一校准特征同行或同列的有效校准特征中选取距离缺失校准特征最近的第二校准特征。

在识别从多个拍摄图像中的有效校准特征后，可以确定有效校准特征在显示屏幕上的位置，该位置为二维位置。在确定多个拍摄图像中的缺失校准特征后，可以确定缺失校准特征在显示屏幕上的位置，该位置为二维位置。根据有效校准特征在显示屏幕上的位置以及缺失校准特征在显示屏幕上的位置，可以从有效校准特征中选取距离缺失校准特征最近的校准特征，作为第一校准特征。若有效校准特征中距离缺失校准特征最近的校准特征有多个，则可以从距离最近的多个校准特征中任意选取一个校准特征作为第一校准特征。

在确定第一校准特征后，可以先从有效校准特征中查找与第一校准特征同行或同列的校准特征(显示屏幕上的多个校准特征呈多行多列分布)。然后，从与第一校准特征同行或同列的校准特征中选取距离缺失校准特征最近的校准特征，作为第二校准特征。若与第一校准特征同行或同列的校准特征中距离缺失校准特征最近的校准特征有多个，则可以从距离最近的多个校准特征中任意选取一个校准特征作为第二校准特征。

结合图2至图4所示，先从有效校准特征中确定距离缺失校准特征20a最近的校准特征，即校准特征20b和校准特征20d。从校准特征20b和校准特征20d中任意选一个校准特征(如校准特征20b)作为第一校准特征。然后，从有效校准特征中确定与校准特征20b同行或同列的校准特征，并从与校准特征20b同行或同列的校准特征中选取距离缺失校准特征20a最近的校准特征(即校准特征20c)，作为第二校准特征。第一校准特征和第二校准特征分别为位于同一列的校准特征20b和校准特征20c。或者，选取缺失校准特征20a上方的校准特征20d作为第一校准特征，选取缺失校准特征20a左上方的校准特征20c作为第二校准特征，校准特征20d和校准特征20c位于同一行。

然后，按照空间配准方法，确定第一校准特征与第二校准特征之间的位置映射关系M。根据第一校准特征与第二校准特征之间的位置映射关系M，从多个有效校准特征中确定第三校准特征。第三校准特征和缺失校准特征之间的位置映射关系与第一校准特征和第二校准特征之间的位置映射关系相同，即第三校准特征与缺失校准特征之间的位置映射关系也为M。

结合图2至图4所示，在第一校准特征和第二校准特征分别为位于同一列的校准特征20b和校准特征20c的情况下，选取缺失校准特征20a上方的校准特征20d作为第三校准特征。校准特征20d和缺失校准特征20a之间的位置映射关系与校准特征20b和校准特征20c之间的位置映射关系相同。在第一校准特征和第二校准特征分别为位于同一行的校准特征20d和校准特征20c的情况下，选取缺失校准特征20a左侧的校准特征20b作为第三校准特征。校准特征20b和缺失校准特征20a之间的位置映射关系与校准特征20d和校准特征20c之间的位置映射关系相同。

根据缺失校准特征与第三校准特征之间的位置映射关系以及第三校准特征的三维特征数据，可以计算缺失校准特征的三维特征数据。结合图2至图4所示，在确定校准特征20d和缺失校准特征20a之间的位置映射关系为M的情况下，校准特征20d的三维特征数据为P_i，则计算缺失校准特征20a的三维特征数据为M*P_i。

在确定缺失校准特征的三维特征数据后，即补全拍摄图像中的缺失校准特征，补全后的校准特征与显示屏幕上的校准特征相一致。此时，获取有效校准特征的三维特征数据和缺失校准特征的三维特征数据，即获取显示屏幕上的各校准特征的三维特征数据。

本实施例在拍摄图像中的校准特征不完整的情况下，利用有限的有效校准特征补充缺失校准特征，以补全拍摄图像中的校准特征，提高后续建模的通过率和精确度。而且，本实施例选取距离缺失校准特征最近且位于同行或同列的第一校准特征和第二校准特征作为有效特征对，计算位置映射关系，提高缺失校准特征的三维特征数据的计算准确性。

步骤160、根据有效校准特征和缺失校准特征的三维特征数据，对显示屏幕的屏幕模型进行校准。

显示屏幕预先建立初始的屏幕模型。屏幕模型为显示屏幕的数字模型。初始的屏幕模型可以根据显示屏幕的屏幕参数进行构建。显示屏幕的屏幕参数可以包括显示屏幕的尺寸数据，如显示屏幕的长宽高等。但是，显示屏幕的屏幕参数是对搭建完的显示屏幕进行实际测量得到的，这种测量方式存在较大误差，导致构建的屏幕模型精度较大，即显示屏幕初始的屏幕模型的精度较大。因此需要对显示屏幕初始的屏幕模型进行校准，以提高显示屏幕的屏幕模型的精度。

在确定有效校准特征和缺失校准特征的三维特征数据后，即获取显示屏幕上的各校准特征的三维特征数据。根据显示屏幕上的各校准特征的三维特征数据，对显示屏幕初始的屏幕模型进行校准，得到显示屏幕校准后的屏幕模型。

在一些实施例中，步骤160中的根据有效校准特征和缺失校准特征的三维特征数据，对显示屏幕的屏幕模型进行校准，包括：

根据有效校准特征和缺失校准特征的三维特征数据，确定有效校准特征和缺失校准特征的的法向数据；

获取多个校准特征与显示屏幕的边界的相对位置；

根据三维特征数据、法向数据和相对位置，对显示屏幕的屏幕模型进行校准。

三维特征数据可以包括位姿数据，从显示屏幕上的各个校准特征的三维特征数据中可以获取显示屏幕上的各个校准特征的三维位置数据(空间位置)。根据显示屏幕上的各校准特征的三维位置数据，并基于修正模型计算器，计算各校准特征的法向数据。

例如，显示屏幕上的各校准特征呈矩形，校准特征的法线数据包括法线方向，校准特征的三维位置数据包括四个角点位置。某校准特征的四个角点位置分别为P₁、P₂、P₃和P₄。向量P₁P₃与向量P₂P₄的叉乘可以得到该校准特征的法线方向P_n。

获取多个校准特征与显示屏幕的边界的相对位置。例如，多个校准特征呈多行多列分布在显示屏幕上，多个校准特征与显示屏幕的边界的相对位置可以包括：第一行校准特征与显示屏幕的上边界的间距，最后一行校准特征与显示屏幕的下边界的间距，第一列校准特征与显示屏幕的左边界的间距，以及最后一列校准特征与显示屏幕的右边界的间距。多个校准特征与显示屏幕的边界的相对位置可以预先设置。

根据各校准特征的三维位置数据、法向数据和相对位置，结合三维建模软件，对显示屏幕建模，生成显示屏幕的屏幕模型，实现对显示屏幕的屏幕模型进行校准。

根据本申请实施例提供的屏幕模型的校准方法，通过获取具有校准特征的显示屏幕的多个拍摄图像，识别多个拍摄图像中的有效校准特征，确定有效校准特征的三维特征数据，在确定多个拍摄图像中的缺失校准特征的情况下，根据有效校准特征的三维特征数据，确定缺失校准特征的三维特征数据，以补全拍摄图像中的校准特征，根据补全后的校准特征的三维特征数据，对显示屏幕的屏幕模型进行校准，生成高精度且高一致性的屏幕模型，通过率高，且适用性高。

本申请实施例提供的屏幕模型的校准方法，执行主体可以为屏幕模型的校准装置。本申请实施例中以屏幕模型的校准装置执行屏幕模型的校准方法为例，说明本申请实施例提供的屏幕模型的校准装置。

本申请实施例还提供一种屏幕模型的校准装置。

如图5所示，该屏幕模型的校准装置包括：获取模块701、识别模块702、第一确定模块703、第二确定模块704、第三确定模块705和校准模块706。

获取模块701，用于获取拍摄设备以不同位姿对显示屏幕进行拍摄而得到的多个拍摄图像，所述显示屏幕上均匀分布多个校准特征；

识别模块702，用于识别所述多个拍摄图像中的有效校准特征；

第一确定模块703，用于确定所述有效校准特征的三维特征数据；

第二确定模块704，用于在检测到所述有效校准特征与所述显示屏幕上的校准特征不一致的情况下，确定所述多个拍摄图像中的缺失校准特征；

第三确定模块705，用于根据所述有效校准特征的三维特征数据，确定所述缺失校准特征的三维特征数据；

校准模块706，用于根据所述有效校准特征和所述缺失校准特征的三维特征数据，对所述显示屏幕的屏幕模型进行校准。

根据本申请实施例提供的屏幕模型的校准装置，通过获取具有校准特征的显示屏幕的多个拍摄图像，识别多个拍摄图像中的有效校准特征，确定有效校准特征的三维特征数据，在确定多个拍摄图像中的缺失校准特征的情况下，根据有效校准特征的三维特征数据，确定缺失校准特征的三维特征数据，以补全拍摄图像中的校准特征，根据补全后的校准特征的三维特征数据，对显示屏幕的屏幕模型进行校准，生成高精度且高一致性的屏幕模型，通过率高，且适用性高。

在一些实施例中，识别模块702还用于：

识别每个所述拍摄图像中的校准特征；

将从至少目标个数的拍摄图像中识别出的校准特征作为所述有效校准特征。

根据本申请的一个实施例，第一确定模块703还用于：

确定所述有效校准特征在各所述拍摄图像中的位置；

根据所述有效校准特征在多个所述拍摄图像中的位置，确定所述有效校准特征的三维特征数据。

根据本申请的一个实施例，第三确定模块705还用于：

从所述有效校准特征中选取第一校准特征和第二校准特征；

确定所述第一校准特征和所述第二校准特征之间的位置映射关系；

从所述有效校准特征中确定第三校准特征，所述第三校准特征和所述缺失校准特征之间的位置映射关系与所述第一校准特征和所述第二校准特征之间的位置映射关系相同；

根据所述第三校准特征的三维特征数据和所述位置映射关系，确定所述缺失校准特征的三维特征数据。

根据本申请的一个实施例，第三确定模块705还用于：

从所述有效校准特征中选取距离所述缺失校准特征最近的第一校准特征；

从与所述第一校准特征同行或同列的有效校准特征中选取距离所述缺失校准特征最近的第二校准特征。

根据本申请的一个实施例，校准模块706还用于：根据所述有效校准特征和所述缺失校准特征的三维特征数据，确定所述有效校准特征和所述缺失校准特征的的法向数据；

获取所述多个校准特征与所述显示屏幕的边界的相对位置；

根据所述三维特征数据、所述法向数据和所述相对位置，对所述显示屏幕的屏幕模型进行校准。

根据本申请的一个实施例，所述校准特征贴附在所述显示屏幕的表面，或者所述校准特征显示在所述显示屏幕上。

本申请实施例中的屏幕模型的校准装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为智能体、手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的屏幕模型的校准装置可以为具有操作系统的装置。该操作系统可以为微软(Windows)操作系统，可以为安卓(Android)操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的屏幕模型的校准装置能够实现方法实施例的各个过程，为避免重复，这里不再赘述。

在一些实施例中，如图6所示，本申请实施例还提供一种电子设备800，包括处理器801、存储器802及存储在存储器802上并可在处理器801上运行的计算机程序，该程序被处理器801执行时实现上述屏幕模型的校准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述移动电子设备和非移动电子设备。

图7为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909以及处理器910等部件。

本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器910，用于获取拍摄设备以不同位姿对显示屏幕进行拍摄而得到的多个拍摄图像，所述显示屏幕上均匀分布多个校准特征；识别所述多个拍摄图像中的有效校准特征；确定所述有效校准特征的三维特征数据；在检测到所述有效校准特征与所述显示屏幕上的校准特征不一致的情况下，确定所述多个拍摄图像中的缺失校准特征；根据所述有效校准特征的三维特征数据，确定所述缺失校准特征的三维特征数据；根据所述有效校准特征和所述缺失校准特征的三维特征数据，对所述显示屏幕的屏幕模型进行校准。

根据本申请实施例提供的电子设备，通过获取具有校准特征的显示屏幕的多个拍摄图像，识别多个拍摄图像中的有效校准特征，确定有效校准特征的三维特征数据，在确定多个拍摄图像中的缺失校准特征的情况下，根据有效校准特征的三维特征数据，确定缺失校准特征的三维特征数据，以补全拍摄图像中的校准特征，根据补全后的校准特征的三维特征数据，对显示屏幕的屏幕模型进行校准，生成高精度且高一致性的屏幕模型，通过率高，且适用性高。

在一些实施例中，处理器910还用于：

识别每个所述拍摄图像中的校准特征；

将从至少目标个数的拍摄图像中识别出的校准特征作为所述有效校准特征。

在一些实施例中，处理器910还用于：

确定所述有效校准特征在各所述拍摄图像中的位置；

根据所述有效校准特征在多个所述拍摄图像中的位置，确定所述有效校准特征的三维特征数据。

在一些实施例中，处理器910还用于：

从所述有效校准特征中选取第一校准特征和第二校准特征；

确定所述第一校准特征和所述第二校准特征之间的位置映射关系；

从所述有效校准特征中确定第三校准特征，所述第三校准特征和所述缺失校准特征之间的位置映射关系与所述第一校准特征和所述第二校准特征之间的位置映射关系相同；

根据所述第三校准特征的三维特征数据和所述位置映射关系，确定所述缺失校准特征的三维特征数据。

在一些实施例中，处理器910还用于：

从所述有效校准特征中选取距离所述缺失校准特征最近的第一校准特征；

从与所述第一校准特征同行或同列的有效校准特征中选取距离所述缺失校准特征最近的第二校准特征。

在一些实施例中，处理器910还用于：

根据所述有效校准特征和所述缺失校准特征的三维特征数据，确定所述有效校准特征和所述缺失校准特征的的法向数据；

获取所述多个校准特征与所述显示屏幕的边界的相对位置；

根据所述三维特征数据、所述法向数据和所述相对位置，对所述显示屏幕的屏幕模型进行校准。

在一些实施例中，所述校准特征贴附在所述显示屏幕的表面，或者所述校准特征显示在所述显示屏幕上。

应理解的是，本申请实施例中，输入单元904可以包括图形处理器(GraphicsProcessing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器909可以包括易失性存储器或非易失性存储器，或者，存储器909可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。

处理器910可包括一个或多个处理单元；处理器910集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。

本申请实施例还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述屏幕模型的校准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述屏幕模型的校准方法。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种屏幕模型的校准方法，其特征在于，包括：

获取拍摄设备以不同位姿对显示屏幕进行拍摄而得到的多个拍摄图像，所述显示屏幕上均匀分布多个校准特征；

识别所述多个拍摄图像中的有效校准特征；

确定所述有效校准特征的三维特征数据；

在检测到所述有效校准特征与所述显示屏幕上的校准特征不一致的情况下，确定所述多个拍摄图像中的缺失校准特征；

根据所述有效校准特征的三维特征数据，确定所述缺失校准特征的三维特征数据；

根据所述有效校准特征和所述缺失校准特征的三维特征数据，对所述显示屏幕的屏幕模型进行校准。

2.根据权利要求1所述的屏幕模型的校准方法，其特征在于，所述识别所述多个拍摄图像中的有效校准特征，包括：

识别每个所述拍摄图像中的校准特征；

将从至少目标个数的拍摄图像中识别出的校准特征作为所述有效校准特征。

3.根据权利要求1所述的屏幕模型的校准方法，其特征在于，所述确定所述有效校准特征的三维特征数据，包括：

确定所述有效校准特征在各所述拍摄图像中的位置；

根据所述有效校准特征在多个所述拍摄图像中的位置，确定所述有效校准特征的三维特征数据。

4.根据权利要求1所述的屏幕模型的校准方法，其特征在于，所述根据所述有效校准特征的三维特征数据，确定所述缺失校准特征的三维特征数据，包括：

从所述有效校准特征中选取第一校准特征和第二校准特征；

确定所述第一校准特征和所述第二校准特征之间的位置映射关系；

从所述有效校准特征中确定第三校准特征，所述第三校准特征和所述缺失校准特征之间的位置映射关系与所述第一校准特征和所述第二校准特征之间的位置映射关系相同；

根据所述第三校准特征的三维特征数据和所述位置映射关系，确定所述缺失校准特征的三维特征数据。

5.根据权利要求4所述的屏幕模型的校准方法，其特征在于，所述从所述有效校准特征中选取第一校准特征和第二校准特征，包括：

从所述有效校准特征中选取距离所述缺失校准特征最近的第一校准特征；

从与所述第一校准特征同行或同列的有效校准特征中选取距离所述缺失校准特征最近的第二校准特征。

6.根据权利要求5所述的屏幕模型的校准方法，其特征在于，所述根据所述有效校准特征和所述缺失校准特征的三维特征数据，对所述显示屏幕的屏幕模型进行校准，包括：

根据所述有效校准特征和所述缺失校准特征的三维特征数据，确定所述有效校准特征和所述缺失校准特征的的法向数据；

获取所述多个校准特征与所述显示屏幕的边界的相对位置；

根据所述三维特征数据、所述法向数据和所述相对位置，对所述显示屏幕的屏幕模型进行校准。

7.根据权利要求1-6任一项所述的屏幕模型的校准方法，其特征在于，所述校准特征贴附在所述显示屏幕的表面，或者所述校准特征显示在所述显示屏幕上。

8.一种屏幕模型的校准装置，其特征在于，包括：

获取模块，用于获取拍摄设备以不同位姿对显示屏幕进行拍摄而得到的多个拍摄图像，所述显示屏幕上均匀分布多个校准特征；

识别模块，用于识别所述多个拍摄图像中的有效校准特征；

第一确定模块，用于确定所述有效校准特征的三维特征数据；

第二确定模块，用于在检测到所述有效校准特征与所述显示屏幕上的校准特征不一致的情况下，确定所述多个拍摄图像中的缺失校准特征；

第三确定模块，用于根据所述有效校准特征的三维特征数据，确定所述缺失校准特征的三维特征数据；

校准模块，用于根据所述有效校准特征和所述缺失校准特征的三维特征数据，对所述显示屏幕的屏幕模型进行校准。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的屏幕模型的校准方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的屏幕模型的校准方法。