CN117495975A - 一种变焦镜头的标定方法、装置及电子设备 - Google Patents

Abstract

本公开涉及一种变焦镜头的标定方法、装置及电子设备，其中，该方法可以包括：获取所述变焦镜头在多个焦距下采集的图像及采集每一图像时对应的追踪数据；所述追踪数据包括位置及旋转信息；获取预设的内参模型，所述内参模型表示所述变焦镜头的不同焦距对应的内参的数值；根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。在本公开中，通过优化内参模型中参数的取值的方式，实现对安装在虚拟拍摄场景中图像采集装置上的变焦镜头进行标定；并且，在优化内参模型中参数的取值的过程中，通过采集的每一图像时对应的追踪数据进行辅助，增加了约束，大大提升了优化的准确性和稳定性。

Description

一种变焦镜头的标定方法、装置及电子设备

技术领域

本公开涉及计算机领域，尤其涉及一种变焦镜头的标定方法、装置及电子设备。

背景技术

在进行影视剧/演出的拍摄工作时，传统搭设实景的方式非常耗费人力，时间和财力，而且每次搭设的场景无法复用，拍完了一部戏得全部拆除，之后拍摄还得再重新搭。而且对于一些科幻片、仙侠片、古装片等，置景本身的难度也非常高。而使用虚拟拍摄技术的技术取代传统搭建实景拍摄的方式可以大大降低搭建场景的成本，只需要构建一套数字资产，可以在相似的场景中进行复用，而且在拍摄过程中也可以实时快速根据现场拍摄需求进行调整，省时省力。在进行实际虚拟拍摄时，将经虚拟引擎渲染得到的场景图投屏到屏幕上显示，然后演员利用屏幕作为背景进行表演，图像采集装置同时拍摄演员和屏幕，之后，再将拍摄到的图像与原始场景图合成，从而将真实演员置身于虚拟场景中，达到在影棚内拍摄外景或科幻背景的效果。

在进行虚拟拍摄前，通常需要对图像采集装置的镜头进行标定，现有的标定技术针对定焦镜头，而缺乏针对变焦镜头的标定。

发明内容

有鉴于此，本公开提出了一种变焦镜头的标定方法、装置、电子设备、存储介质及计算机程序产品。

根据本公开的一方面，提供了一种变焦镜头的标定方法，用于对安装在虚拟拍摄场景中图像采集装置上的变焦镜头进行标定，所述方法包括：获取所述变焦镜头在多个焦距下采集的图像及采集每一图像时对应的追踪数据；所述追踪数据包括位置及旋转信息；获取预设的内参模型，所述内参模型表示所述变焦镜头的不同焦距对应的内参的数值；根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

在一种可能的实现方式中，所述内参模型包括：每一种内参对应的多项式曲线。

在一种可能的实现方式中，所述图像采集装置安装有追踪器，用于测量所述跟踪数据；所述根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值，包括：根据所述采集每一图像时对应的追踪数据，及预设的偏移变换矩阵，得到所述每一图像对应的外参；其中，所述偏移变换矩阵表示所述变焦镜头采集图像时对应的追踪数据与所述变焦镜头采集图像时外参的偏差；根据所述每一图像对应的外参及所述内参模型，确定所述每一图像对应的投影变换矩阵；根据所述每一图像对应的每一图像及所述投影变换矩阵，优化所述内参模型中参数的取值。

在一种可能的实现方式中，所述每一图像中均包括特征点；所述方法还包括：确定所述每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标；所述根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值，包括：基于反投影误差算法，利用所述每一图像对应的投影变换矩阵、所述每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标，优化所述内参模型中参数的取值。

在一种可能的实现方式中，所述基于反投影误差算法，利用所述每一图像对应的投影变换矩阵、所述每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标，优化所述内参模型中参数的取值，包括：根据所述每一图像对应的投影变换矩阵，确定所述每一图像中特征点在屏幕上的三维坐标对应的二维参考坐标；并基于所述二维参考坐标及特征点的二维坐标，计算反投影误差值；基于所述反投影误差值迭代优化所述内参模型中参数的取值，直到所述反投影误差值小于预设阈值。

在一种可能的实现方式中，所述根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值，包括：根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值及所述偏移变换矩阵中参数的取值。

在一种可能的实现方式中，所述方法还包括：对所述多个焦距中的主焦距对应的内参进行标定，得到所述主焦段对应的内参的标定值；根据所述主焦段对应的内参的标定值，确定所述内参模型中的参数的初始值；所述根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值，包括：在所述内参模型中的参数的初始值的基础上，根据所述多个焦距下采集的图像、采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

在一种可能的实现方式中，所述方法还包括：对所述变焦镜头的焦距的标识值进行归一化处理，其中，所述主焦距对应的标识值进行归一化后的值为0。

在一种可能的实现方式中，所述多个焦距下采集的图像，包括所述多个焦距中各焦距下均对屏幕中画面进行一次拍摄得到的图像。

根据本公开的另一方面，提供了一种变焦镜头的标定装置，用于对安装在虚拟拍摄场景中图像采集装置上的变焦镜头进行标定，所述装置包括：

获取模块，用于获取所述变焦镜头在多个焦距下采集的图像及采集每一图像时对应的追踪数据；所述追踪数据包括位置及旋转信息；

所述获取模块，还用于获取预设的内参模型，所述内参模型表示所述变焦镜头的不同焦距对应的内参的数值；

所述优化模块，用于根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

在一种可能的实现方式中，所述内参模型包括：每一种内参对应的多项式曲线。

在一种可能的实现方式中，所述图像采集装置安装有追踪器，用于测量所述跟踪数据；所述优化模块，还用于：根据所述采集每一图像时对应的追踪数据，及预设的偏移变换矩阵，得到所述每一图像对应的外参；其中，所述偏移变换矩阵表示所述变焦镜头采集图像时对应的追踪数据与所述变焦镜头采集图像时外参的偏差；根据所述每一图像对应的外参及所述内参模型，确定所述每一图像对应的投影变换矩阵；根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值。

在一种可能的实现方式中，所述每一图像中均包括特征点；所述优化模块，还用于：确定所述每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标；基于反投影误差算法，利用所述每一图像对应的投影变换矩阵、所述每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标，优化所述内参模型中参数的取值。

在一种可能的实现方式中，所述优化模块，还用于：根据所述每一图像对应的投影变换矩阵，确定所述每一图像中特征点在屏幕上的三维坐标对应的二维参考坐标；并基于所述二维参考坐标及特征点的二维坐标，计算反投影误差值；基于所述反投影误差值迭代优化所述内参模型中参数的取值，直到所述反投影误差值小于预设阈值。

在一种可能的实现方式中，所述优化模块，还用于：根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值及所述偏移变换矩阵中参数的取值。

在一种可能的实现方式中，所述优化模块，还用于：对所述多个焦距中的主焦距对应的内参进行标定，得到所述主焦段对应的内参的标定值；根据所述主焦段对应的内参的标定值，确定所述内参模型中的参数的初始值；在所述内参模型中的参数的初始值的基础上，根据所述多个焦距下采集的图像、采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

在一种可能的实现方式中，所述优化模块，还用于：对所述变焦镜头的焦距的标识值进行归一化处理，其中，所述主焦距对应的标识值进行归一化后的值为0。

在一种可能的实现方式中，所述多个焦距下采集的图像，包括所述多个焦距中各焦距下均对屏幕中画面进行一次拍摄得到的图像。

根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。

根据本公开的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

本公开实施例，通过优化内参模型中参数的取值的方式，实现对安装在虚拟拍摄场景中图像采集装置上的变焦镜头进行标定；并且，考虑到每一图像可以在不同的位置采集，对应的外参不相同，内参也不相同，在优化内参模型中参数的取值的过程中，通过采集每一图像时对应的追踪数据进行辅助，增加了约束，大大提升了优化的准确性和稳定性，从而可以优化得到更加准确的内参模型中参数的取值，且采集图像时无需固定图像采集装置的位置，灵活度大大提升。作为一个示例，内参模型可以为多项式曲线，从而可以通过曲线拟合的方式，实现对变焦镜头的内参标定，相对于线性插值等方式，可直接通过该多项式曲线计算各焦距的内参，更加准确、更加高效。作为另一个示例，各焦距下仅需采集一张图像即可完成标定，大大减少了数据采集量，提高了变焦镜头标定的效率。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出了根据本公开一实施例的一种虚拟拍摄场景的示意图。

图2示出了根据本公开一实施例的一种变焦镜头的标定方法的流程图。

图3(a)-(b)示出了根据本公开一实施例的采集的图像的示意图。

图4示出了根据本公开一实施例的优化内参模型中参数的取值的方法流程图。

图5示出了根据本公开一实施例的一种变焦镜头的标定方法的流程图。

图6示出了根据本公开一实施例的一种变焦镜头的标定装置的结构图。

图7示出了根据本公开一实施例的一种电子设备的结构示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本公开的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“示例性”、“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本公开中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：包括单独存在A，同时存在A和B，以及单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

下面首先对本公开实施例适用的应用场景进行示例性说明。

图1示出了根据本公开一实施例的一种虚拟拍摄场景的示意图，如图1所示，虚拟拍摄场景可以包括显示装置10、图像采集装置20；其中，显示装置10用于显示渲染的场景，图像采集装置20用于拍摄显示装置10所显示的画面，例如，演员可以站在显示装置10前的适当位置，并将显示装置10作为背景进行表演，图像采集装置20可以同时拍摄到演员及显示装置10所显示的画面，从而完成虚拟场景的拍摄。

示例性地，显示装置10可以为LED(Light-Emitting Diode，发光二极管)屏幕或者其他材质的屏幕，屏幕的形状可以为直面屏、曲面屏等，显示装置10也可以为投影屏等，本公开实施例对此不做限定。

示例性地，图像采集装置20可以为相机、摄像机等具有拍摄功能的设备，图像采集装置20安装有变焦镜头，即图像采集装置20的镜头的焦距可以发生变化，从而满足不同的拍摄需求。

对于变焦镜头，当焦距发生变化时，它的成像参数通常会发生变化，因此，在利用图像采集装置20进行虚拟拍摄的过程中，正确地追踪变焦镜头焦距的变化及对应的成像参数的变化至关重要。为了实现在虚拟拍摄的过程中准确地对不同焦距下图像采集装置20变焦镜头的成像参数进行追踪，需要在利用图像采集装置20进行虚拟拍摄之前，对图像采集装置20的变焦镜头进行标定，即求解图像采集装置20的变焦镜头在不同焦距对应的成像参数。示例性地，变焦镜头的成像参数可以包括内参和/或外参，其中，外参可以包括位姿，即变焦镜头在空间中的位置和变焦镜头的朝向，可以用旋转矩阵R及平移矩阵T表示；内参可以包括变焦镜头的焦距、中心偏移、视场角(field of view，FOV)、主点位置、畸变参数等。

示例性地，一种标定变焦镜头的方式如下：在变焦镜头的变焦范围内选取多个焦距，对于每一个焦距都进行定焦镜头的校准，得到各焦距下镜头的内参，形成一个内参表；在实际使用过程中，根据实时的焦距信息在内参表内查找，通过插值获取到实时的镜头内参。然而，该方式针对每个需要校准的焦距都要采集大量(一般10张左右)的图片，标定时间长，尤其当变焦镜头的变焦范围大时数据采集量更加巨大，非常耗时，标定的效率低。另一种标定变焦镜头的方式如下：通过在固定位置不同焦距下采集图像，进而通过插值，标定各焦距的内参。然而，该方式图像采集装置的采集位置固定，不够灵活，而且通过插值确定的内参不够准确。

为了解决上述技术问题，本公开实施例提出了一种针对变焦镜头的标定方法(具体描述参见下文)，可以用于对上述图1所示的虚拟拍摄场景中图像采集装置20安装的变焦镜头进行标定；通过优化内参模型中参数的取值的方式，实现对安装在虚拟拍摄场景中图像采集装置上的变焦镜头进行标定；并且，考虑到每一图像可以在不同的位置采集，对应的外参不相同，内参也不相同，在优化内参模型中参数的取值的过程中，通过采集的每一图像时对应的追踪数据进行辅助，增加了约束，大大提升了优化的准确性和稳定性，从而可以优化得到更加准确的内参模型中参数的取值，且采集图像时无需固定图像采集装置的位置，灵活度大大提升。作为一个示例，内参模型可以为多项式曲线，从而通过曲线拟合的方式，实现对变焦镜头的内参标定，相对于线性插值等方式，可直接通过该多项式曲线计算各焦距的内参，更加准确、更加高效。作为另一个示例，各焦距下仅需采集一张图像即可完成标定，大大减少了数据采集量，提高了变焦镜头标定的效率。

需要说明的是，本公开实施例描述的上述应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，针对其他相似的或新的场景的出现，例如，虚拟演播室场景等，本公开实施例提供的技术方案对于类似的技术问题同样适用。

下面对本公开实施例提供的标定方法进行详细说明。

图2示出了根据本公开一实施例的一种变焦镜头的标定方法的流程图。该方法可以由处理器或服务器等具有数据处理功能的电子设备执行，用于对安装在虚拟拍摄场景中图像采集装置上的变焦镜头进行标定，如图2所示，该方法可以包括以下步骤：

步骤201、获取所述变焦镜头在多个焦距下采集的图像及采集每一图像时对应的追踪数据；所述追踪数据包括位置及旋转信息。

其中，焦距可以用固定在变焦镜头上的一组编码器来获取，该编码器的zoom值即表示当前处于整个变焦范围的哪个位置，即当前的焦距。多个焦距中所包含的焦距数量及各相邻焦距的间隔可以根据实际需求进行设定；示例性地，由于变焦镜头的变焦范围内有不止一个焦距，可以在该变焦镜头的变焦范围中随机选取出多个焦距；示例性地，可以等间隔的在该变焦镜头的变焦范围内选取出多个焦距，以使标定的焦距在变焦范围内均匀分布。例如，变焦镜头的变焦范围为10mm-110mm，则可以以10mm为间隔，选取出10个焦距，即多个焦距为10mm、20mm、30mm、40mm、50mm、60mm、70mm、80mm、90mm、100mm焦距。

示例性地，多个焦距下采集的图像可以为多个焦距下对虚拟拍摄场景中屏幕中画面进行拍摄采集到的图像；其中，屏幕中画面表示在屏幕中显示的画面，也可称为上屏图像；作为一个示例，图像采集装置可以为上述图1中图像采集装置20，屏幕可以为上述图1中显示装置10。

示例性地，变焦镜头在不同焦距下采集图像时的位置可以不同，即无需固定图像采集装置的位置，在图像采集过程中可以移动图像采集装置，从而减少了对采集位置的限制，灵活度大大提升。例如，在图像采集装置采集图像的过程中，可以调整变焦镜头的焦距，依次切换到上述所选取的多个焦距中各焦距，并在各焦距下分别拍摄屏幕中画面，从而得到各焦距下采集的图像，其中，不同焦距拍摄屏幕中画面时图像采集装置所处的位置可以相同也可以不同；示例性地，各焦距下的拍摄视野可以覆盖屏幕中的画面。

示例性地，变焦镜头在多个焦距下采集的图像包括：在多个焦距中各焦距下均对屏幕中画面进行一次拍摄得到的图像。即针对于每一焦距，仅需获取变焦镜头在该焦距下对屏幕中画面拍摄的一张图像，节省了采集图像的时间，减少了需要处理的数据量，从而节约了标定的时间和精力，提高了变焦镜头标定的效率。

作为一个示例，变焦镜头在不同焦距下采集的每一图像中均包括特征点，特征点的数量可以为一个或多个。其中，特征点表示采集的图像中灰度值发生剧烈变化的点或者在采集的图像边缘上曲率较大的点，该点能够反映图像本质特征，可以标识采集的图像中的物体或位置等信息。本公开实施例中，屏幕中的画面中可以包括预设的多个特征点，这样，变焦镜头在各焦段下拍摄屏幕中的画面采集到的图像中均包含多个特征点。此外，屏幕中的画面中还包括预设的位置信息已知的定位标识符；这样，变焦镜头在各焦距下对屏幕中画面进行拍摄采集的图像中也包括该定位标识符及该多个特征点。示例性地，定位标识符可以基于Aruco码(一种二维码)生成的标识，或者是两者的组合；其中，Aruco码是一个合成的正方形标记，由宽的黑色边框和能够确定其标识的内部二进制矩阵组成。本公开实施例中，可以基于Aruco码来生成定位标识符，例如：可以将Aruco码单独作为定位标识符；也可以在Aruco码的基础上增加其他的标识信息等作为定位标识符；还可以对Aruco码进行一定的形状改进，将改进后的图形作为定位标识符等等。例如，图3(a)-(b)示出了根据本公开一实施例的采集的图像的示意图，采集的图像中包括定位标识符与特征点的组合，其中，图3(a)为圆点点阵图，该圆点点阵图中由白色圆点组成，各白色圆点即为特征点，中间的四个圆圈即为定位标识符；图3(b)为将Aruco码与棋盘格结合的图片，该棋盘格由黑白相间的正方形方格组成，两个相邻且同颜色的正方形方格相接处形成的点称为角点，该角点即为特征点，将单个Aruco码嵌入在棋盘格的一个白色正方形方格中，该嵌入了ArUco码的白色正方形方格即为定位标识符。

在一种可能的实现方式中，所述方法还包括：确定变焦镜头在多个焦距下采集的每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标。示例性地，分别对变焦镜头在多个焦距中各焦距下采集的图像进行特征点检测，从而确定检测到的特征点在采集的图像中的二维坐标；示例性地，特征点检测可以采用多种不同的算法来实现，如角点检测算法或斑点检测算法等进行特征点检测，以确定多个焦距中各焦距的采集图像中的多个特征点。示例性地，针对各焦距下采集的图像上的某一特征点，该特征点的二维坐标可以用该特征点在图像坐标系中的坐标值表示；其中，图像坐标系为二维直角坐标系，可以以采集的图像的中心为坐标原点，也可以以采集的图像的左下角某个点，或者右下角某个点作为坐标原点等；图像坐标系的X轴、Y轴分别与图像采集装置坐标系的X轴、Y轴平行；图像采集装置坐标系可以以图像采集装置的聚焦中心为原点，并以图像采集装置的光轴作为Z轴；示例性地，可以将图像采集装置的光轴与采集的图像所在平面的交点，作为图像坐标系的坐标原点。这样，基于建立的图像坐标系，在上述检测到采集的图像的各特征点后，即可确定各特征点在图像坐标系中的坐标值(即采集图像中的二维坐标)。进一步地，可以进行定位标识符的识别，从而根据识别到的定位标识符确定检测到的各特征点在屏幕上的三维坐标。示例性地，针对各焦距下采集的图像上的某一特征点，该特征点在屏幕上的三维坐标可以用变焦镜头所拍摄屏幕中画面上的该特征点在屏幕坐标系中的坐标值表示；其中，屏幕坐标系为进行屏幕建模时所设定的三维坐标系，屏幕坐标系的定义方式可以根据实际情况设定，例如：可以以屏幕的中心为坐标原点，也可以以屏幕的左下角某个点，或者右下角某个点作为坐标原点等。示例性地，可以基于上述检测到的在不同焦距下采集的每一图像中的多个特征点和定位标识符，得到各特征点与定位标识符之间的相对位置关系，进而基于该相对位置关系及定位标识符的位置信息，可以确定各特征点在画面中的位置；然后，根据各特征点在画面中的位置及该画面在所建立的屏幕模型中的二维显示区域，确定各特征点在屏幕模型中的UV坐标；最后基于屏幕坐标系中三维坐标与UV坐标之间的对应关系，得到各特征点在屏幕坐标系中的三维坐标值，即各特征点在屏幕上的三维坐标。举例来说，针对上述图3(b)所示的Aruco码与棋盘格结合的图片，可以进行棋盘格角点检测得到图中的各角点，即检测出特征点，并进行Aruco码识别，在检测到棋盘格的各角点及任一Aruco码后，对检测到的任一Aruco码进行解码识别得到任一Aruco码的标识信息，并基于该标识信息，确定任一Aruco码在屏幕中画面上的位置；然后，基于各角点与任一Aruco码之间的相对位置关系，得到各角点在画面上的位置，进而确定各角点在屏幕模型中的UV坐标；最后基于屏幕坐标系中三维坐标与UV坐标之间的对应关系，得到各角点在屏幕坐标系中的三维坐标值，即各角点在屏幕上的三维坐标。这样，针对上述检测到的任一特征点，确定该特征点在采集的图像中的二维坐标及该特征点在屏幕上的三维坐标，从而构建出一个2D-3D点对。

示例性地，所述图像采集装置安装有追踪器，用于测量跟踪数据。其中，追踪器是一种可以定位自身位姿信息的仪器，具体地，可以实时获取到在预设的坐标系下自身的位置信息和旋转信息，上述位置信息和旋转信息即为追踪数据。预设坐标系的原点可以为空间中的任一点，预设坐标系的坐标轴方向也可以根据实际情况自定义设定。例如：可以将虚拟拍摄场地中图像采集装置底座所在位置确定为预设坐标系的原点，将水平面内与屏幕宽度方向平行的方向设定为x轴，将水平面内与x轴垂直的方向设定为y轴，将竖直向上的方向设定为z轴，其中，x轴、y轴以及z轴之间满足右手定则；又如，还可以将屏幕的中心点所在位置确定为预设坐标系的原点，将屏幕宽度方向设定为x轴，将屏幕长度方向设定为y轴，再基于设定的x轴和y轴，采用右手定则确定出z轴方向，等等。这样，变焦镜头在多个焦距下采集图像的过程中，追踪器可以实时测量自身的位置及旋转信息(即追踪数据)，即变焦镜头在各焦距下进行图像采集时的位置及旋转信息。

步骤202、获取预设的内参模型，所述内参模型表示所述变焦镜头的不同焦距对应的内参的数值。

其中，内参模型的具体类型可以根据需求预先设定，对此不作限定。示例性地，可以获取已经经过标定的其他变焦镜头的焦距与对应的内参的数值的现有数据，进而采用现有的多个模型对该现有数据进行验证，在该多个模型中选出最优的模型作为预设的内参模型。例如，内参模型可以为多项式曲线。作为一个示例，所述内参模型包括：每一种内参对应的多项式曲线；针对任一种内参a，该内参a对应的多项式曲线表示该内参a的数值随焦距的变化关系，即给定某一焦距A，通过该内参a对应的多项式曲线，即可得到该焦距A下内参a的数值。其中，多项式曲线是由多个多项式函数组成的曲线。这样，通过曲线拟合的方式，实现对变焦镜头的内参标定，在实际虚拟拍摄过程中，可直接通过该多项式曲线计算各焦距的内参，相对于线性插值等方式，更加准确、更加高效。作为一个示例，内参可以包括：fx、fy、cx、cy、k1、k2、k3、p1、p2等参数，其中，fx、fy分别为图像采集装置坐标系x方向焦距、y方向焦距，cx、cy分别为主点x轴坐标、主点y轴坐标；k1、k2、k3为径向畸变参数，p1、p2为切向畸变参数；内参模型可以包括fx、fy、cx、cy、k1、k2、k3、p1、p2中每一参数对应的多项式曲线。

在一种可能的实现方式中，还可以对所述变焦镜头的焦距的标识值进行归一化处理，从而使得结果更加准确。考虑到实际应用中，不同变焦镜头的zoom值的取值范围可能不同，因此，为了提高本公开实施例中标定算法的普适性，可以统一对所有变焦镜头的zoom值进行归一化处理；这样，把焦距映射到一定范围之内处理，使得后续数据处理更加便捷快速。示例性地，内参模型表示不同焦距的标识值归一化后的值对应的内参的数值，这样，针对变焦镜头的某一zoom值(即焦距的标识值)，可以进行归一化处理，然后将归一化后的值代入内参模型，例如，代入多项式曲线，则可以得到该zoom值对应的内参。

步骤203、根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

可以理解的是，在优化内参模型中参数的取值，从而可以得到优化后的内参模型，从而完成对变焦镜头的内参的标定；在后续实际虚拟拍摄过程中，可以通过该内参模型，获取不同焦距对应的内参。作为一个示例，内参模型包括：每一种内参对应的多项式曲线，可以根据多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化每一种内参对应的多项式曲线中系数的取值，从而基于曲线拟合完成变焦镜头内参的标定；进而在后续实际虚拟拍摄过程中，可以通过多项式曲线，准确计算出任一焦距对应的内参。

本公开实施例中，获取所述变焦镜头在多个焦距下采集的图像及采集每一图像时对应的追踪数据；所述追踪数据包括位置及旋转信息；获取预设的内参模型，所述内参模型表示所述变焦镜头的不同焦距对应的内参的数值；根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值；这样，通过优化内参模型中参数的取值的方式，实现对安装在虚拟拍摄场景中图像采集装置上的变焦镜头进行标定；并且，考虑到每一图像可以在不同的位置采集，对应的外参不相同，内参也不相同，在优化内参模型中参数的取值的过程中，通过采集的每一图像时对应的追踪数据进行辅助，增加了约束，大大提升了优化的准确性和稳定性，从而可以优化得到更加准确的内参模型中参数的取值，且采集图像时无需固定图像采集装置的位置，灵活度大大提升。作为一个示例，内参模型可以为多项式曲线，从而通过曲线拟合的方式，实现对变焦镜头的内参标定，相对于线性插值等方式，可直接通过该多项式曲线计算各焦距的内参，更加准确、更加高效。作为另一个示例，各焦距下仅需采集一张图像即可完成标定，大大减少了数据采集量，提高了变焦镜头标定的效率。

下面对上述步骤203中，优化内参模型中参数的取值的可能实现方式进行具体说明：

图4示出了根据本公开一实施例的优化内参模型中参数的取值的方法流程图，如图4所示，该方法可以包括以下步骤：

步骤20301、根据所述采集每一图像时对应的追踪数据，及预设的偏移变换矩阵，得到所述每一图像对应的外参。

其中，所述偏移变换矩阵表示变焦镜头采集图像时对应的追踪数据与变焦镜头采集图像时外参的偏差。例如，偏移变换矩阵可以包括追踪到的变焦镜头采集每一图像时对应的旋转信息与采集每一图像时的旋转矩阵的偏差分量，还包括追踪到的变焦镜头采集每一图像时对应的位置信息与采集每一图像时的平移矩阵的偏差分量。

可以理解的是，外参是描述图像采集装置在世界坐标系中的位置和姿态的参数，外参在不同的位置或拍摄时刻可能会发生变化，例如，移动图像采集装置或者改变拍摄的角度，均会使外参发生变化。由于每一图像可以在不同的位置采集，即对应的外参不相同，考虑到追踪数据所提供的位置及旋转信息与图像采集装置的真实外参仍存在一定偏差，即存在一个偏移变换，因此，通过偏移变换矩阵对采集每一图像时对应的追踪数据进行修正，从而得到每一图像对应的准确的外参。作为一个示例，可以获取现有的其他变焦镜头采集图像时对应的追踪数据及该变焦镜头采集图像时的外参数据，通过分析该追踪数据及外参数据，确定预设的偏移变换矩阵中参数的取值。作为另一个示例，可以将该预设的偏移变换矩阵的初始值设置为0，即变焦镜头采集图像时对应的追踪数据与变焦镜头采集图像时外参的初始偏差值为0，在下述优化内参模型中参数的取值的过程中，同步优化预设的偏移变换矩阵中参数的取值，从而使得偏移变换矩阵所表示的变焦镜头采集图像时对应的追踪数据与变焦镜头采集图像时外参的偏差值逐渐接近真实的偏差值。

步骤20302、根据每一图像对应的外参及所述内参模型，确定每一图像对应的投影变换矩阵。

示例性地，投影变换矩阵表示图像坐标系到屏幕坐标系之间的变换关系。

示例性地，可以将采集每一图像时变焦镜头的焦距代入内参模型，从而得到采集每一图像时变焦镜头的内参，即每一图像对应的内参；例如，可以将每一图像时变焦镜头的焦距的标识值归一化后的值代入多项式曲线，从而得到采集每一图像时变焦镜头的内参。然后，根据每一图像对应的外参及每一图像对应的外参，即可得到每一图像对应的投影变换矩阵。

步骤20303、根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值。

在一种可能的实现方式中，该步骤可以包括：根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值及所述偏移变换矩阵中参数的取值。考虑到预设的偏移变换矩阵可能与真实的偏移变换矩阵(即真实的追踪数据与外参的偏差)存在区别，因此，同步优化内参模型中参数的取值及偏移变换矩阵中参数的取值，以进一步提高优化后的参模型中参数的取值的准确性。这样，可以同时优化内参模型中参数的取值及所述偏移变换矩阵中参数的取值；由于偏移变换矩阵表示所述变焦镜头采集图像时对应的追踪数据与所述变焦镜头采集图像时外参的偏差，通过优化后的偏移变换矩阵，后续在进行虚拟拍摄的过程中，变焦镜头的外参可能会随时变化，基于实时追踪数据及该优化后的偏移变换矩阵，可以准确的得到变焦镜头准确的实时外参。

在一种可能的实现方式中，该步骤可以包括：基于反投影误差算法，利用所述每一图像对应的投影变换矩阵、所述每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标，优化所述内参模型中参数的取值。示例性地，还可以同时优化内参模型中参数的取值及偏移变换矩阵中参数的取值。这样，基于反投影误差算法，简化了变焦镜头的内参模型中参数的估计流程，从而可以更容易、更快地收敛到准确的内参模型中参数的取值。

示例性地，可以根据所述每一图像对应的投影变换矩阵，确定所述每一图像中特征点在屏幕上的三维坐标对应的二维参考坐标；并基于所述二维参考坐标及特征点的二维坐标，计算反投影误差值；基于所述反投影误差值迭代优化所述内参模型中参数的取值，直到所述反投影误差值小于预设阈值。其中，预设阈值的具体数值可以根据需求进行设定，对此不作限定。具体地，在每次迭代中，对于任一图像，可以根据该图像对应的投影变换矩阵，将检测到该图像中所有特征点在屏幕上的三维坐标进行变换，得到所有特征点在屏幕上的三维坐标所对应的二维参考坐标，进而计算出所有特征点的二维参考坐标与所有特征点的二维坐标之间的反投影误差，即为该图像对应的反投影误差，在遍历所有的采集的图像后，汇总所有图像对应的反投影误差，即为该次迭代的反投影误差值；例如，针对该图像中的任一特征点P，可以根据该图像对应的投影变换矩阵，计算出该特征点在屏幕坐标系中的三维坐标P_i投影到图像坐标系下的二维参考坐标P_t；然后计算出二维参考坐标P_t与特征点P在图像坐标系下的二维坐标P’_t之间的距离，即为该特征点P对应的反投影误差，汇总该图像中所有特征点对应的反投影误差，即为该图像对应的反投影误差，继而遍历所有的图像，得到该次迭代的反投影误差值。进而，判断该次迭代的反投影误差是否小于预设阈值，若小于预设阈值则将该次迭代中内参模型中参数的取值最为最终标定的内参模型中参数的取值；否则，更新内参模型中参数的取值，还可以同步更新内参模型中参数的取值及偏移变换矩阵中参数的取值，并重复上述计算每一图像对应的外参及之后的步骤，直到某次迭代的反投影误差小于预设阈值，从而得到最终标定的内参模型中参数的取值。

这样，通过上述步骤20301-20303，针对采集的任一图像，将其对应的追踪数据经过预设的偏移变换矩阵的变换，得到该图像对应的外参；根据采集该图像时的焦距及内参模型，确定该图像对应的内参，然后结合上述得到的该图像对应的外参，即可得到该图像对应的投影变换矩阵；进而根据该图像及该图像对应的投影变换矩阵，计算该图像对应的反投影误差；这样，针对采集的每一图像均进行上述处理，最后汇总每一图像对应的反投影误差，迭代优化内参模型中参数的取值，还可以同步优化内参模型中参数的取值及偏移变换矩阵，优化的过程就是不断减小每次迭代中计算的反投影误差值的过程，从而得到优化后的内参模型中参数的取值，实现对变焦镜头的内参标定。

图5示出了根据本公开一实施例的一种变焦镜头的标定方法的流程图，如图5所示，该方法可以包括以下步骤：

步骤501、获取所述变焦镜头在多个焦距下采集的图像及采集每一图像时对应的追踪数据；所述追踪数据包括位置及旋转信息。

该步骤501与上述图2中步骤201相同，在此不再赘述。

步骤502、获取预设的内参模型，所述内参模型表示所述变焦镜头的不同焦距对应的内参的数值。

该步骤502与上述图2中步骤202相同，在此不再赘述。

步骤503、对所述多个焦距中的主焦距对应的内参进行标定，得到所述主焦段对应的内参的标定值。

其中，主焦距可以在该多个焦距中任意选取；作为一个示例，主焦距可以为所述多个焦距中的最小焦距，即可以将图像采集装置的变焦镜头的广角端作为主焦距。

在一种可能的实现方式中，所述对主焦距对应的内参进行标定，可以包括：采用定焦标定的方式，对所述主焦距对应的内参进行标定。示例性地，可以采用现有的定焦镜头标定的方式，对主焦距对应的内参进行标定；例如，可以基于变焦镜头的具体型号，通过查找对应的出厂手册得到主焦段对应的内参；再例如，可以基于主焦段下采集的图像中特征点的二维坐标及特征点在屏幕上的三维坐标，调用图像采集装置的标定接口(如OpenCV的标定接口)，从而得到主焦距对应的内参。

步骤504、根据所述主焦段对应的内参的标定值，确定所述内参模型中的参数的初始值。

示例性地，内参模型包括每一种内参对应的多项式曲线，则可以将主焦段对应的内参的标定值配置为每一种内参对应的多项式曲线中常数项系数。

示例性地，所述主焦距对应的标识值进行归一化后的值为0。这样，在内参模型包括每一种内参对应的多项式曲线时，可以将主焦段对应的内参的标定值配置为每一种内参对应的多项式曲线中常数项系数，而其他项系数的初始化值均为0。

步骤505、根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

该步骤505的可能实现方式可参照上述图2中步骤203中相关表述。

在一种可能的实现方式中，可以在所述内参模型中的参数的初始值的基础上，根据所述多个焦距下采集的图像、采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

本公开实施例中，首先标定主焦距对应的内参，然后利用主焦距对应的内参对内参模型中的参数进行初始化处理，进而根据变焦镜头的多个焦距下采集的图像、采集每一图像时对应的追踪数据，更快的优化到内参模型中参数的最佳取值，从而实现对变焦镜头内参的快速准确标定。

基于上述方法实施例的同一发明构思，本公开的实施例还提供了一种变焦镜头的标定装置，该变焦镜头的标定装置可以用于执行上述方法实施例所描述的技术方案。例如，可以执行上述图2、图4或图5中所示变焦镜头的标定方法的各步骤。

图6示出了根据本公开一实施例的一种变焦镜头的标定装置的结构图，该装置用于对安装在虚拟拍摄场景中图像采集装置上的变焦镜头进行标定，如图6所示，该装置可以包括：

获取模块601，用于获取所述变焦镜头在多个焦距下采集的图像及采集每一图像时对应的追踪数据；所述追踪数据包括位置及旋转信息；所述获取模块601，还用于获取预设的内参模型，所述内参模型表示所述变焦镜头的不同焦距对应的内参的数值；所述优化模块602，用于根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

本公开实施例中，通过优化内参模型中参数的取值的方式，实现对安装在虚拟拍摄场景中图像采集装置上的变焦镜头进行标定；并且，考虑到每一图像可以在不同的位置采集，对应的外参不相同，内参也不相同，在优化内参模型中参数的取值的过程中，通过采集的每一图像时对应的追踪数据进行辅助，增加了约束，大大提升了优化的准确性和稳定性，从而可以优化得到更加准确的内参模型中参数的取值，且采集图像时无需固定图像采集装置的位置，灵活度大大提升。

在一种可能的实现方式中，所述内参模型包括：每一种内参对应的多项式曲线。

在一种可能的实现方式中，所述图像采集装置安装有追踪器，用于测量所述跟踪数据；所述优化模块602，还用于：根据所述采集每一图像时对应的追踪数据，及预设的偏移变换矩阵，得到所述每一图像对应的外参；其中，所述偏移变换矩阵表示所述变焦镜头采集图像时对应的追踪数据与所述变焦镜头采集图像时外参的偏差；根据所述每一图像对应的外参及所述内参模型，确定所述每一图像对应的投影变换矩阵；根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值。

在一种可能的实现方式中，所述每一图像中均包括特征点；所述优化模块602，还用于：确定所述每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标；基于反投影误差算法，利用所述每一图像对应的投影变换矩阵、所述每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标，优化所述内参模型中参数的取值。

在一种可能的实现方式中，所述优化模块602，还用于：根据所述每一图像对应的投影变换矩阵，确定所述每一图像中特征点在屏幕上的三维坐标对应的二维参考坐标；并基于所述二维参考坐标及特征点的二维坐标，计算反投影误差值；基于所述反投影误差值迭代优化所述内参模型中参数的取值，直到所述反投影误差值小于预设阈值。

在一种可能的实现方式中，所述优化模块602，还用于：根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值及所述偏移变换矩阵中参数的取值。

在一种可能的实现方式中，所述优化模块602，还用于：对所述多个焦距中的主焦距对应的内参进行标定，得到所述主焦段对应的内参的标定值；根据所述主焦段对应的内参的标定值，确定所述内参模型中的参数的初始值；在所述内参模型中的参数的初始值的基础上，根据所述多个焦距下采集的图像、采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

在一种可能的实现方式中，所述优化模块602，还用于：对所述变焦镜头的焦距的标识值进行归一化处理，其中，所述主焦距对应的标识值进行归一化后的值为0。

在一种可能的实现方式中，所述多个焦距下采集的图像，包括所述多个焦距中各焦距下均对屏幕中画面进行一次拍摄得到的图像。

上述图6所示的标定装置及其各种可能的实现方式的技术效果及具体描述可参见上述标定方法，此处不再赘述。

应理解以上装置中各模块的划分仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。此外，装置中的模块可以以处理器调用软件的形式实现；例如装置包括处理器，处理器与存储器连接，存储器中存储有指令，处理器调用存储器中存储的指令，以实现以上任一种方法或实现该装置各模块的功能，其中处理器例如为通用处理器，例如中央处理单元(Central Processing Unit，CPU)或微处理器，存储器为装置内的存储器或装置外的存储器。或者，装置中的模块可以以硬件电路的形式实现，可以通过对硬件电路的设计实现部分或全部模块的功能，该硬件电路可以理解为一个或多个处理器；例如，在一种实现中，该硬件电路为专用集成电路(application-specific integrated circuit，ASIC)，通过对电路内元件逻辑关系的设计，实现以上部分或全部模块的功能；再如，在另一种实现中，该硬件电路为可以通过可编程逻辑器件(programmable logic device，PLD)实现，以现场可编程门阵列(Field ProgrammableGate Array，FPGA)为例，其可以包括大量逻辑门电路，通过配置文件来配置逻辑门电路之间的连接关系，从而实现以上部分或全部模块的功能。以上装置的所有模块可以全部通过处理器调用软件的形式实现，或全部通过硬件电路的形式实现，或部分通过处理器调用软件的形式实现，剩余部分通过硬件电路的形式实现。

在本公开实施例中，处理器是一种具有信号的处理能力的电路，在一种实现中，处理器可以是具有指令读取与运行能力的电路，例如CPU、微处理器、图形处理器(graphicsprocessing unit，GPU)、数字信号处理器(digital signal processor，DSP)、神经网络处理器(neural-network processing unit，NPU)、张量处理器(tensor processing unit，TPU)等；在另一种实现中，处理器可以通过硬件电路的逻辑关系实现一定功能，该硬件电路的逻辑关系是固定的或可以重构的，例如处理器为ASIC或PLD实现的硬件电路，例如FPGA。在可重构的硬件电路中，处理器加载配置文档，实现硬件电路配置的过程，可以理解为处理器加载指令，以实现以上部分或全部模块的功能的过程。

可见，以上装置中的各模块可以是被配置成实施以上实施例方法的一个或多个处理器(或处理电路)，例如：CPU、GPU、NPU、TPU、微处理器、DSP、ASIC、FPGA，或这些处理器形式中至少两种的组合。此外，以上装置中的各模块可以全部或部分可以集成在一起，或者可以独立实现，对此不作限定。

本公开实施例还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述实施例的方法。示例性地，可以执行上述图2、图4或图5中所示变焦镜头的标定方法的各步骤。

图7示出了根据本公开一实施例的一种电子设备的结构示意图，如图7所示，该电子设备可以包括：至少一个处理器801，通信线路802，存储器803以及至少一个通信接口804。

处理器801可以是一个通用中央处理器，微处理器，特定应用集成电路，或一个或多个用于控制本公开方案程序执行的集成电路；处理器801也可以包括多个通用处理器的异构运算架构，例如，可以是CPU、GPU、微处理器、DSP、ASIC、FPGA中至少两种的组合；作为一个示例，处理器801可以是CPU+GPU或者CPU+ASIC或者CPU+FPGA。

通信线路802可包括一通路，在上述组件之间传送信息。

通信接口804，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，RAN，无线局域网(wireless local area networks，WLAN)等。

存储器803可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路802与处理器相连接。存储器也可以和处理器集成在一起。本公开实施例提供的存储器通常可以具有非易失性。其中，存储器803用于存储执行本公开方案的计算机执行指令，并由处理器801来控制执行。处理器801用于执行存储器803中存储的计算机执行指令，从而实现本公开上述实施例中提供的方法；示例性地，可以实现上述图2、图4或图5中所示变焦镜头的标定方法的各步骤。

可选的，本公开实施例中的计算机执行指令也可以称之为应用程序代码，本公开实施例对此不作具体限定。

示例性地，处理器801可以包括一个或多个CPU，例如，图7中的CPU0；处理器801也可以包括一个CPU，及GPU、ASIC、FPGA中任一个，例如，图7中的CPU0+GPU0或者CPU 0+ASIC0或者CPU0+FPGA0。

示例性地，电子设备可以包括多个处理器，例如图7中的处理器801和处理器807。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器，或者是包括多个通用处理器的异构运算架构。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，电子设备还可以包括输出设备805和输入设备806。输出设备805和处理器801通信，可以以多种方式来显示信息。例如，输出设备805可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等，例如，可以为车载HUD、AR-HUD、显示器等显示设备。输入设备806和处理器801通信，可以以多种方式接收用户的输入。例如，输入设备806可以是鼠标、键盘、触摸屏设备或传感设备等。

本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述实施例中的方法。示例性地，可以实现上述图2、图4或图5中所示变焦镜头的标定方法的各步骤。

本公开的实施例提供了一种计算机程序产品，例如，可以包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质；当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述实施例中的方法。示例性地，可以执行上述图2、图4或图5中所示变焦镜头的标定方法的各步骤。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (12)

1.一种变焦镜头的标定方法，其特征在于，用于对安装在虚拟拍摄场景中图像采集装置上的变焦镜头进行标定，所述方法包括：

获取所述变焦镜头在多个焦距下采集的图像及采集每一图像时对应的追踪数据；所述追踪数据包括位置及旋转信息；

获取预设的内参模型，所述内参模型表示所述变焦镜头的不同焦距对应的内参的数值；

根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

2.根据权利要求1所述的方法，其特征在于，所述内参模型包括：每一种内参对应的多项式曲线。

3.根据权利要求1所述的方法，其特征在于，所述图像采集装置安装有追踪器，用于测量所述跟踪数据；

所述根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值，包括：

根据所述采集每一图像时对应的追踪数据，及预设的偏移变换矩阵，得到所述每一图像对应的外参；其中，所述偏移变换矩阵表示所述变焦镜头采集图像时对应的追踪数据与所述变焦镜头采集图像时外参的偏差；

根据所述每一图像对应的外参及所述内参模型，确定所述每一图像对应的投影变换矩阵；

根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值。

4.根据权利要求3所述的方法，其特征在于，所述每一图像中均包括特征点；

所述方法还包括：

确定所述每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标；

所述根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值，包括：

基于反投影误差算法，利用所述每一图像对应的投影变换矩阵、所述每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标，优化所述内参模型中参数的取值。

5.根据权利要求4所述的方法，其特征在于，所述基于反投影误差算法，利用所述每一图像对应的投影变换矩阵、所述每一图像中特征点的二维坐标及特征点在屏幕上的三维坐标，优化所述内参模型中参数的取值，包括：

根据所述每一图像对应的投影变换矩阵，确定所述每一图像中特征点在屏幕上的三维坐标对应的二维参考坐标；并基于所述二维参考坐标及特征点的二维坐标，计算反投影误差值；基于所述反投影误差值迭代优化所述内参模型中参数的取值，直到所述反投影误差值小于预设阈值。

6.根据权利要求3所述的方法，其特征在于，所述根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值，包括：

根据所述每一图像及所述每一图像对应的投影变换矩阵，优化所述内参模型中参数的取值及所述偏移变换矩阵中参数的取值。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述多个焦距中的主焦距对应的内参进行标定，得到所述主焦段对应的内参的标定值；

根据所述主焦段对应的内参的标定值，确定所述内参模型中的参数的初始值；

所述根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值，包括：

在所述内参模型中的参数的初始值的基础上，根据所述多个焦距下采集的图像、采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

对所述变焦镜头的焦距的标识值进行归一化处理，其中，所述主焦距对应的标识值进行归一化后的值为0。

9.根据权利要求1所述的方法，其特征在于，所述多个焦距下采集的图像，包括所述多个焦距中各焦距下均对屏幕中画面进行一次拍摄得到的图像。

10.一种变焦镜头的标定装置，其特征在于，用于对安装在虚拟拍摄场景中图像采集装置上的变焦镜头进行标定，所述装置包括：

获取模块，用于获取所述变焦镜头在多个焦距下采集的图像及采集每一图像时对应的追踪数据；所述追踪数据包括位置及旋转信息；

所述获取模块，还用于获取预设的内参模型，所述内参模型表示所述变焦镜头的不同焦距对应的内参的数值；

所述优化模块，用于根据所述多个焦距下采集的图像及采集每一图像时对应的追踪数据，优化所述内参模型中参数的取值。

11.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为在执行所述存储器存储的指令时，实现权利要求1至9中任意一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至9中任意一项所述的方法。