CN115297315A - 用于环拍时拍摄中心点的矫正方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种用于环拍时拍摄中心点的校正方法、装置及电子设备。所述方法包括：获取目标对象的多幅环拍图像，及所述多幅环拍图像对应的相机位姿；根据所述多幅环拍图像和所述相机位姿，获取所述多幅环拍图像对应的视锥区域；根据多个所述视锥区域，校正所述目标对象在世界坐标系中的所述拍摄中心点，以在环拍时基于所述拍摄中心点生成理想的相机位姿。本申请可以提高获取的拍摄中心点的准确度，以在环拍时基于拍摄中心点生成理想的相机位姿，提升物品3D外观图像的构建效果。

Description

用于环拍时拍摄中心点的矫正方法、装置及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种用于环拍时拍摄中心点的矫正方法、装置、电子设备及存储介质。

背景技术

在某些网站平台(如二手车网站、二手物品网站等)，通常需要展示物品360度的全貌。为了展示物品的360度的全貌，现有方法中是通过绕物品一周以录制物品360度的视频。而录制视频的方式由于占用内存较大，在用户端加载的速度非常缓慢，导致用户无法流畅地切换观察角度。

为了解决上述问题，通常是使用相机绕物品一周拍摄一系列的图像，然后将这些图像上物品的中心对齐、高度对齐，以构建一个稳定的360度的物品3D外观。为了使这些图像上物品的中心对齐、高度对齐，就需要得到理想的相机位姿，而在环物拍摄的过程中，由于相机抖动等原因，导致无法找到准确的拍摄中心点，因此，就不能够在环拍时根据拍摄中心点生成理想的相机位姿，最终导致构建的物品3D外观图像的效果较差。

发明内容

本申请实施例提供了一种用于环拍时拍摄中心点的矫正方法、装置、电子设备及存储介质，以提高获取拍摄中心点的准确度，以在环拍时基于拍摄中心点生成理想的相机位姿，提升物品3D外观图像的构建效果。具体方案如下：

第一方面，本申请实施例提供了一种用于环拍时拍摄中心点的矫正方法，包括：

获取目标对象的多幅环拍图像，及所述多幅环拍图像对应的相机位姿；

根据所述多幅环拍图像和所述相机位姿，获取所述多幅环拍图像对应的视锥区域；

根据多个所述视锥区域，矫正所述目标对象在世界坐标系中的所述拍摄中心点，以在环拍时基于所述拍摄中心点生成理想的相机位姿。

可选地，获取所述多幅环拍图像对应的相机位姿，包括：

对所述多幅环拍图像进行稀疏重建，得到重建结果；

根据所述重建结果，确定所述多幅环拍图像对应的相机位姿。

可选地，所述根据所述多幅环拍图像和所述相机位姿，获取所述多幅环拍图像对应的视锥区域，包括：

获取所述目标对象在所述多幅环拍图像中的位置信息；

根据所述位置信息和所述相机位姿，获取所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

可选地，所述获取所述目标对象在所述多幅环拍图像中的位置信息，包括：

在所述多幅环拍图像中添加所述目标对象对应的标注框；

根据所述标注框的参考点在图像坐标系内的参考点坐标，确定所述目标对象在所述多幅环拍图像中的位置信息。

可选地，所述根据所述位置信息和所述相机位姿，获取所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域，包括：

获取所述多幅环拍图像对应的拍摄点坐标；

根据所述相机位姿对所述位置信息进行转换处理，得到所述目标对象在世界坐标系中的第一位置信息；

根据所述拍摄点坐标和所述第一位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

可选地，所述获取所述目标对象在所述多幅环拍图像中的位置信息，包括：

在所述多幅环拍图像中标记所述目标对象的对象轮廓；

根据所述对象轮廓的轮廓点在图像坐标系内的轮廓坐标，确定所述目标对象在所述多幅环拍图像中的轮廓位置信息。

可选地，所述根据所述位置信息和所述相机位姿，获取所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域，包括：

获取所述多幅环拍图像对应的拍摄点坐标；

根据所述相机位姿对所述轮廓位置信息进行转换处理，得到所述对象轮廓在世界坐标系中的第二位置信息；

根据所述拍摄点坐标和所述第二位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

可选地，所述根据多个所述视锥区域，确定所述目标对象在世界坐标系中的中心点，包括：

获取多个所述视锥区域的重叠区域；

获取所述重叠区域的中心点，并将所述中心点作为所述目标对象在世界坐标系中的中心点。

第二方面，本申请实施例提供了一种用于环拍时拍摄中心点的矫正装置，包括：

环拍图像获取模块，用于获取目标对象的多幅环拍图像，及所述多幅环拍图像对应的相机位姿；

视锥区域获取模块，用于根据所述多幅环拍图像和所述相机位姿，获取所述多幅环拍图像对应的视锥区域；

中心点确定模块，用于根据多个所述视锥区域，确定所述目标对象在世界坐标系中的中心点。

可选地，所述环拍图像获取模块包括：

重建结果获取单元，用于对所述多幅环拍图像进行稀疏重建，得到重建结果；

相机位姿确定单元，用于根据所述重建结果，确定所述多幅环拍图像对应的相机位姿。

可选地，所述视锥区域获取模块包括：

位置信息获取单元，用于获取所述目标对象在所述多幅环拍图像中的位置信息；

视锥区域获取单元，用于根据所述位置信息和所述相机位姿，获取所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

可选地，所述位置信息获取单元包括：

标注框添加子单元，用于在所述多幅环拍图像中添加所述目标对象对应的标注框；

位置信息确定子单元，用于根据所述标注框的参考点在图像坐标系内的参考点坐标，确定所述目标对象在所述多幅环拍图像中的位置信息。

可选地，所述视锥区域获取单元包括：

第一拍摄点获取子单元，用于获取所述多幅环拍图像对应的拍摄点坐标；

第一位置信息获取子单元，用于根据所述相机位姿对所述位置信息进行转换处理，得到所述目标对象在世界坐标系中的第一位置信息；

第一视锥区域确定子单元，用于根据所述拍摄点坐标和所述第一位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

可选地，所述位置信息获取单元包括：

对象轮廓标记子单元，用于在所述多幅环拍图像中标记所述目标对象的对象轮廓；

轮廓位置确定子单元，用于根据所述对象轮廓的轮廓点在图像坐标系内的轮廓坐标，确定所述目标对象在所述多幅环拍图像中的轮廓位置信息。

可选地，所述视锥区域获取单元包括：

第二拍摄点获取子单元，用于获取所述多幅环拍图像对应的拍摄点坐标；

第二位置信息获取子单元，用于根据所述相机位姿对所述轮廓位置信息进行转换处理，得到所述对象轮廓在世界坐标系中的第二位置信息；

第二视锥区域确定子单元，用于根据所述拍摄点坐标和所述第二位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

可选地，所述中心点确定模块包括：

重叠区域获取单元，用于获取多个所述视锥区域的重叠区域；

中心点获取单元，用于获取所述重叠区域的中心点，并将所述中心点作为所述目标对象在世界坐标系中的中心点。

第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实上述任一项所述的用于环拍时拍摄中心点的矫正方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的用于环拍时拍摄中心点的矫正方法的步骤。

本申请实施例提供的方案，通过获取获取目标对象的多幅环拍图像，及多幅环拍图像对应的相机位姿，根据多幅环拍图像和相机位姿，获取多幅环拍图像对应的视锥区域，根据多个视锥区域，矫正目标对象在世界坐标系中的拍摄中心点，以在环拍时基于拍摄中心点生成理想的相机位姿。本申请实施例通过结合每幅环拍图像的视锥区域矫正目标对象在世界坐标系中的拍摄中心点，可以提高获取的拍摄中心点的准确度，以在环拍时基于矫正的拍摄中心点生成理想的相机位姿，最终提升对象3D外观图像的构建效果。

附图说明

图1为本申请实施例提供的一种用于环拍时拍摄中心点的矫正方法的步骤流程图；

图2为本申请实施例提供的一种相机位姿确定方法的步骤流程图；

图3为本申请实施例提供的一种视锥区域获取方法的步骤流程图；

图4为本申请实施例提供的一种位置信息确定方法的步骤流程图；

图5为本申请实施例提供的另一种位置信息确定方法的步骤流程图；

图6为本申请实施例提供的另一种视锥区域获取方法的步骤流程图；

图7为本申请实施例提供的又一种视锥区域获取方法的步骤流程图；

图8为本申请实施例提供的一种拍摄中心点获取方法的步骤流程图；

图9为本申请实施例提供的一种用于环拍时拍摄中心点的矫正装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，示出了本申请实施例提供的一种用于环拍时拍摄中心点的矫正方法的步骤流程图，如图1所示，该用于环拍时拍摄中心点的矫正方法可以包括步骤：步骤101、步骤102和步骤103。

步骤101：获取目标对象的多幅环拍图像，及所述多幅环拍图像对应的相机位姿。

本申请实施例可以应用于结合多幅环拍图像对应的视锥区域查找目标对象在世界坐标系中的中心点的场景中。

目标对象是指待查找在世界坐标系中的中心点的对象，在本示例中，目标对象可以为车辆、展览品(如古董、器皿等)等对象，具体地，对于目标对象的具体类型可以根据业务需求而定，本实施例对此不加以限制。

多幅环拍图像是指绕目标对象一周对目标对象进行拍摄得到的图像，在本示例中，多幅环拍图像中相邻两幅环拍图像之间存在重叠图像区域，即多幅环拍图像中任意两幅相邻图像均为重叠的图像。

在拍摄目标对象的环拍图像时应注意以下三点拍摄要求：

1、在拍摄环拍图像时，不能离目标对象太近；距离太近，目标对象在图像上占的比例比较大，对环拍图像进行裁切时，会出现黑边现象。

2、在拍摄过程中，目标对象应尽量靠近图像的中心；如果目标对象偏离图像中心严重，对图像进行单应性变换并对齐目标对象在图像上的中心后，所有图像的重叠部分可能会非常小，导致环拍图像进行裁切后会出现黑边；

3、拍摄的环拍图像应尽量清晰。

在构建目标对象的3D外观图像时，可以绕目标对象一周对目标对象进行图像拍摄，以得到目标对象的多幅环拍图像。

在得到目标对象的多幅环拍图像之后，可以根据多幅环拍图像确定目标相机的相机位姿。其中，目标相机为拍摄多幅环拍图像的相机。在本示例中，目标相机可以为数码相机、或手机内安装的相机应用程序等。

在具体实现中，在拍摄得到目标对象的多幅环拍图像之后，可以采用稀疏重建的方式获取相机位姿，具体地，可以结合图2进行如下详细描述。

参照图2，示出了本申请实施例提供的一种相机位姿确定方法的步骤流程图，如图2所示，该相机位姿确定方法可以包括：步骤201和步骤202。

步骤201：对所述多幅环拍图像进行稀疏重建，得到重建结果。

在本实施例中，在获取到目标对象的多幅环拍图像之后，可以对多幅环拍图像进行稀疏重建，以得到重建结果。

在实际应用中，稀疏重建的方法可以为：开源的slam算法，例如orb-slam、openslam等。也可以为用于稀疏重建的colmap等。

在对多幅环拍图像进行稀疏重建得到重建结果之后，执行步骤202。

步骤202：根据所述重建结果，确定所述多幅环拍图像对应的相机位姿。

在对多幅环拍图像进行稀疏重建得到重建结果之后，可以根据重建结果确定出多幅环拍图像对应的相机位姿。

可以理解地，上述稀疏重建方式为现有技术中常用的稀疏重建方式，本示例对于该实现过程不再加以赘述。

在获取到目标对象的多幅环拍图像及多幅环拍图像对应的相机位姿之后，执行步骤102。

步骤102：根据所述多幅环拍图像和所述相机位姿，获取所述多幅环拍图像对应的视锥区域。

视锥区域是指多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

在获取到目标对象的多幅环拍图像及多幅环拍图像对应的相机位姿之后，可以根据多幅环拍图像和相机位姿获取多幅环拍图像对应的视锥区域。具体地，可以获取目标对象在多幅环拍图像中的位置信息，结合位置信息和相机位姿可以确定出多幅环拍图像中的目标对象在世界坐标系中的视锥区域，对于该实现过程可以结合图3进行如下详细描述。

参照图3，示出了本申请实施例提供的一种视锥区域获取方法的步骤流程图，如图3所示，该视锥区域获取方法可以包括：步骤301和步骤302。

步骤301：获取所述目标对象在所述多幅环拍图像中的位置信息。

在本实施例中，位置信息是指多幅环拍图像中恰好围合目标对象的标注框的参考点的参考点坐标信息。

在得到目标对象的多幅环拍图像之后，可以获取目标对象在多幅环拍图像中的位置信息。

在本申请的一种具体实现中，可以获取多幅环拍图像中围合目标对象的标注框的参考点的参考点坐标，将参考点坐标作为目标对象在多幅环拍图像中的位置信息。对于该实现过程可以结合图4进行如下详细描述。

参照图4，示出了本申请实施例提供的一种位置信息确定方法的步骤流程图，如图4所示，该位置信息获取方法可以包括：步骤401和步骤402。

步骤401：在所述多幅环拍图像中添加所述目标对象对应的标注框。

在本实施例中，在得到目标对象的多幅环拍图像之后，可以在多幅环拍图像中添加目标对象对应的标注框。即在多幅环拍图像中为目标对象做位置标记，该标注框为恰好围合目标对象的标注框。在本示例中，标注框可以为方形框，例如，在目标对象为汽车等对象时，标注框可以为围合汽车等对象的方形框。标注框也可以为圆形框，例如，在目标对象为类似球体形状的对象时，标注框可以为围合类球体形状的对象的圆形框等，具体地，对于标注框的具体形状可以根据目标对象的形状而定，本实施例对此不加以限制。

在多幅环拍图像中添加目标对象对应的标注框之后，执行步骤402。

步骤402：根据所述标注框的参考点在图像坐标系内的参考点坐标，确定所述目标对象在所述多幅环拍图像中的位置信息。

参考点是指从标注框上筛选的位于标注框上的点。在本示例中，参考点可以为标注框的顶点，例如，在标注框为方形框时，可以将方形框的四个顶点作为方形框参考点等。在标注框为圆形框时，可以从圆形框上选择若干个点作圆形框的参考点，如从圆形框上选择四个点作为参考点，选择的四个点可以为两条经过圆形框的直线与圆形框的四个交点等。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

在多幅环拍图像中添加目标对象对应的标注框之后，可以获取标注框的参考点在图像坐标系内的参考点坐标。然后，可以将标注框的参考点的参考点坐标作为目标对象在多幅环拍图像中的位置信息。

在本申请的另一种具体实现中，可以获取多幅环拍图像中目标对象的的轮廓坐标，将轮廓坐标作为目标对象在多幅环拍图像中的位置信息。具体地，可以结合图5进行如下详细描述。

参照图5，示出了本申请实施例提供的另一种位置信息确定方法的步骤流程图，如图5所示，该位置信息确定方法可以包括：步骤501和步骤502。

步骤501：在所述多幅环拍图像中标记所述目标对象的对象轮廓。

在本实施例中，在得到目标对象的多幅环拍图像之后，可以在多幅环拍图像标记目标对象的对象轮廓。

在多幅环拍图像中标记目标对象的对象轮廓之后，执行步骤502。

步骤502：根据所述对象轮廓的轮廓点在图像坐标系内的轮廓坐标，确定所述目标对象在所述多幅环拍图像中的轮廓位置信息。

在多幅环拍图像中标记目标对象的对象轮廓之后，可以获取对象轮廓上的轮廓点在图像坐标系内的轮廓坐标，进而可以将对象轮廓的轮廓坐标作为目标对象在多幅环拍图像中的轮廓位置信息。

在获取到目标对象在多幅环拍图像中的位置信息之后，执行步骤302。

步骤302：根据所述位置信息和所述相机位姿，获取所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

在获取到目标对象在多幅环拍图像中的位置信息之后，可以根据目标对象在多幅环拍图像中的位置信息和相机位姿，获取多幅环拍图像中的目标对象在世界坐标系中的视锥区域。具体地，可以获取多幅环拍图像对应的拍摄点坐标(即目标相机拍摄环拍图像时的位置)，并根据相机位姿对目标对象对应的位置信息进行转换，以确定目标对象在世界坐标系中的位置，继而可以结合拍摄点坐标和目标对象在世界坐标系中的位置确定多幅环拍图像中的目标对象在世界坐标系中的视锥区域。对于该过程可以结合图6和图7进行如下详细描述。

参照图6，示出了本申请实施例提供的另一种视锥区域获取方法的步骤流程图，如图6所示，该视锥区域获取方法可以包括：步骤601、步骤602和步骤603。

步骤601：获取所述多幅环拍图像对应的拍摄点坐标。

在本实施例中，拍摄点坐标是指采用目标相机拍摄多幅环拍图像时，目标相机所处位置的中心点坐标。

在获取到多幅环拍图像之后，可以根据获取多幅换怕图像对应的拍摄点坐标，具体地，可以根据多幅环拍图像确定目标相机的对焦点，根据对焦点可以获取到多幅环拍图像对应的拍摄点坐标。

步骤602：根据所述相机位姿对所述位置信息进行转换处理，得到所述目标对象在世界坐标系中的第一位置信息。

在获取到目标对象在多幅环拍图像中的位置信息之后，可以结合相机位姿对目标对象对应的位置信息进行转换处理，以得到目标对象在世界坐标系中的第一位置信息。即将目标对象对应的标注框在图像坐标系中的对象坐标转换为在世界坐标系中的坐标，目标对象对应的四个参考点坐标即形成了目标对象在世界坐标系中的第一位置信息。

步骤603：根据所述拍摄点坐标和所述第一位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

在获取到拍摄点坐标和第一位置信息之后，可以根据拍摄点坐标和第一位置信息确定出多幅环拍图像中的目标对象在世界坐标系中的视锥区域。具体地，视锥区域有五个点和四条线组成，拍摄点坐标即可以作为视锥区域的参考点坐标，目标对象在世界坐标系内的四个参考点坐标分别与拍摄点坐标相连即形成了视锥区域。

参照图7，示出了本申请实施例提供的又一种视锥区域获取方法的步骤流程图，如图7所示，该视锥区域获取方法可以包括：步骤701、步骤702和步骤703。

步骤701：获取所述多幅环拍图像对应的拍摄点坐标。

在本实施例中，拍摄点坐标是指采用目标相机拍摄多幅环拍图像时，目标相机所处位置的中心点坐标。

在获取到多幅环拍图像之后，可以根据获取多幅换怕图像对应的拍摄点坐标，具体地，可以根据多幅环拍图像确定目标相机的对焦点，根据对焦点可以获取到多幅环拍图像对应的拍摄点坐标。

步骤702：根据所述相机位姿对所述轮廓位置信息进行转换处理，得到所述对象轮廓在世界坐标系中的第二位置信息。

在获取到目标对象的对象轮廓在多幅环拍图像中的轮廓位置信息之后，可以结合相机位姿对轮廓位置信息进行转换处理，以得到对象轮廓在世界坐标系中的第二位置信息。即将目标对象的对象轮廓在图像坐标系中的轮廓坐标转换为在世界坐标系中的坐标，目标对象的对象轮廓在世界坐标系的轮廓坐标即形成了对象轮廓在世界坐标系中的第二位置信息。

步骤703：根据所述拍摄点坐标和所述第二位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

在获取到对象轮廓在世界坐标系中的第二位置信息之后，可以根据拍摄点坐标和第二位置信息确定出多幅环拍图像中的目标对象在世界坐标系中的视锥区域。具体地，可以将拍摄点坐标对应的位置点作为参考点，将该参考点与对象轮廓的轮廓点相连，即形成了目标对象在世界坐标系中的视锥区域。

在根据多幅环拍图像和相机位姿获取到多幅环拍图像对应的视锥区域之后，执行步骤103。

步骤103：根据多个所述视锥区域，矫正所述目标对象在世界坐标系中的所述拍摄中心点，以在环拍时基于所述拍摄中心点生成理想的相机位姿。

在根据多幅环拍图像和相机位姿获取到多幅环拍图像对应的视锥区域之后，可以根据多个视锥区域矫正目标对象在世界坐标系中的拍摄中心点，进而可以在环拍时根据矫正的拍摄中心点生成理想的相机位姿。具体地，可以计算多个视锥区域的共有区域，将该共有区域的中心点作为目标对象在世界坐标系中的中心点。对于该实现过程可以结合图8进行如下详细描述。

参照图8，示出了本申请实施例提供的一种拍摄中心点获取方法的步骤流程图，如图8所示，该拍摄中心点获取方法可以包括：步骤801和步骤802。

步骤801：获取多个所述视锥区域的重叠区域。

在本实施例中，在获取到多幅环拍图像对应的视锥区域之后，可以获取多个视锥区域的重叠区域(即多个视锥区域的共有区域)。

在获取到多个视锥区域的重叠区域之后，执行步骤802。

步骤802：获取所述重叠区域的中心点，并将所述中心点作为所述目标对象在世界坐标系中的所述拍摄中心点。

在获取到多个视锥区域的重叠区域之后，可以获取重叠区域的中心点，并将该重叠区域的中心点作为目标对象在世界坐标系中的拍摄中心点。

本申请实施例采用的上述方式，通过结合每幅环拍图像的视锥区域查找目标对象在世界坐标系中的中心点，可以提高获取的拍摄中心点的准确度，根据该矫正的拍摄中心点可以生成理想的相机位姿，最终提升对象3D外观图像的构建效果。

在矫正目标对象在世界坐标系中的拍摄中心点之后，可以根据该矫正的拍摄中心点生成一个理想相机位姿，并根据该理想相机位姿构建对象3D外观图像，具体实现过程如下述步骤：

一、根据重力场数据校正相机位姿

由于在拍摄环拍图像的过程中存在抖动等现象，因此，在上述方案中，对环拍图像进行稀疏重建之后，y轴并非是垂直于地面的，此时，需要对相机位姿进行校正，具体校正过程为：

1、根据稀疏重建结果可以得到相机的R和t，其中，R为平移矩阵，t为旋转矩阵；

2、拍摄目标对象的多幅环拍图像时，可以获取目标相机在拍摄每幅环拍图像对应的重力场数据，该重力场数据即为目标相机在拍摄环拍图像时在对应相机姿势下的重力场；

3、在得到每幅环拍图像对应的重力场数据、相机的R和t之后，即可以将目标相机的重力场的方向通过R和t转换到世界坐标系中；

4、在经过转换之后，可以将世界坐标系的y轴旋转到和重力场的方向相同，此时即完成了校正，即可以得到校正相机位姿。

二、生成理想相机位姿

在通过本实施例的方案矫正得到的拍摄中心点，以及上述步骤得到校正相机位姿之后，即可以根据矫正得到的拍摄中心点和校正相机位姿生成理想相机位姿，具体实现过程如下：

1、计算离矫正得到的拍摄中心点最近的目标相机到矫正得到的拍摄中心点的距离，作为理想相机到矫正得到的拍摄中心点的距离d。具体地，可以获取每幅环拍图像对应的目标相机的相机拍摄位置，然后计算相机拍摄位置与矫正得到的拍摄中心点之间的距离，并选取一个最小的距离作为距离d；

2、给定要生成的理想相机位置的个数，例如，50个等；该理想相机位置即为拍摄环拍图像时目标相机所处的位置；

3、计算原始相机的平均高度作为理想相机位置的高度，即确定每个相机的y值。具体地，可以获取拍摄多幅环拍图像时目标相机距离地面的高度，然后计算多个高度的平均值，以作为理想相机位置的高度；

4、根据理想相机位置的个数计算每个相机旋转的角度α，例如，理想相机位置个数为50，每个相机旋转的角度：α＝360°/50＝7.2°，即等间距拍摄多幅环拍图像；

5、通过上述步骤得到的d、y、α就可以得到理想相机的x、z坐标，具体地，可以采用勾股定理，根据确定的d、y、α就可以计算出理想相机的x、z坐标；

6、根据得到的x、y和z就可以得到旋转矩阵t，然后将x、y和z到坐标原点的方向，作为相机光轴的方向，即可以确定平移矩阵R。

三、对图像进行单应性变换

在得到理想相机位姿之后，可以根据校正相机位姿和理想相机位姿对环拍图像进行单应性变换处理，对环拍图像进行单应性变换后。

在对全部的环拍图像进行单应性变换之后，可以获取变换后的每幅图像的mask(掩膜)，对图像mask先进行左右对称，然后进行上下对称。由于对象的3D中心被投影到了图像的中心，切图的时候，要围绕着中心上下对称、左右对称，得到mask1。在图像上，计算中心、左上角的连线与处理后的mask的边缘的交点A，交点A到中心的横向距离和纵向距离，就是在图像上所切矩形的长、宽的1/2。在每幅变换后的环拍图像上，进行切图，得到最终的切图结果，即输出一幅对象3D外观图像。

之后，可以对输出的对象3D外观图像进行后处理，如背景替换、文本添加、隐私信息抹除等处理操作，即可生成最终展示的对象3D外观图像。

本申请实施例提供的用于环拍时拍摄中心点的矫正方法，通过获取获取目标对象的多幅环拍图像，及多幅环拍图像对应的相机位姿，根据多幅环拍图像和相机位姿，获取多幅环拍图像对应的视锥区域，根据多个视锥区域，矫正目标对象在世界坐标系中的拍摄中心点，以在环拍时基于拍摄中心点生成理想的相机位姿。本申请实施例通过结合每幅环拍图像的视锥区域矫正目标对象在世界坐标系中的拍摄中心点，可以提高获取的拍摄中心点的准确度，以在环拍时基于矫正的拍摄中心点生成理想的相机位姿，最终提升对象3D外观图像的构建效果。

参照图9，示出了本申请实施例提供的一种用于环拍时拍摄中心点的矫正装置的结构示意图，如图9所示，该用于环拍时拍摄中心点的矫正装置900可以包括以下模块：

环拍图像获取模块910，用于获取目标对象的多幅环拍图像，及所述多幅环拍图像对应的相机位姿；

视锥区域获取模块920，用于根据所述多幅环拍图像和所述相机位姿，获取所述多幅环拍图像对应的视锥区域；

中心点确定模块930，用于根据多个所述视锥区域，矫正所述目标对象在世界坐标系中的所述拍摄中心点，以在环拍时基于所述拍摄中心点生成理想的相机位姿。

可选地，所述环拍图像获取模块910包括：

重建结果获取单元，用于对所述多幅环拍图像进行稀疏重建，得到重建结果；

相机位姿确定单元，用于根据所述重建结果，确定所述多幅环拍图像对应的相机位姿。

可选地，所述视锥区域获取模块920包括：

位置信息获取单元，用于获取所述目标对象在所述多幅环拍图像中的位置信息；

视锥区域获取单元，用于根据所述位置信息和所述相机位姿，获取所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

可选地，所述位置信息获取单元包括：

标注框添加子单元，用于在所述多幅环拍图像中添加所述目标对象对应的标注框；

位置信息确定子单元，用于根据所述标注框的参考点在图像坐标系内的参考点坐标，确定所述目标对象在所述多幅环拍图像中的位置信息。

可选地，所述视锥区域获取单元包括：

第一拍摄点获取子单元，用于获取所述多幅环拍图像对应的拍摄点坐标；

第一位置信息获取子单元，用于根据所述相机位姿对所述位置信息进行转换处理，得到所述目标对象在世界坐标系中的第一位置信息；

第一视锥区域确定子单元，用于根据所述拍摄点坐标和所述第一位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

可选地，所述位置信息获取单元包括：

对象轮廓标记子单元，用于在所述多幅环拍图像中标记所述目标对象的对象轮廓；

轮廓位置确定子单元，用于根据所述对象轮廓的轮廓点在图像坐标系内的轮廓坐标，确定所述目标对象在所述多幅环拍图像中的轮廓位置信息。

可选地，所述视锥区域获取单元包括：

第二拍摄点获取子单元，用于获取所述多幅环拍图像对应的拍摄点坐标；

第二位置信息获取子单元，用于根据所述相机位姿对所述轮廓位置信息进行转换处理，得到所述对象轮廓在世界坐标系中的第二位置信息；

第二视锥区域确定子单元，用于根据所述拍摄点坐标和所述第二位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

可选地，所述中心点确定模块930包括：

重叠区域获取单元，用于获取多个所述视锥区域的重叠区域；

中心点获取单元，用于获取所述重叠区域的中心点，并将所述中心点作为所述目标对象在世界坐标系中的所述拍摄中心点。

本申请实施例提供的用于环拍时拍摄中心点的矫正装置，通过获取获取目标对象的多幅环拍图像，及多幅环拍图像对应的相机位姿，根据多幅环拍图像和相机位姿，获取多幅环拍图像对应的视锥区域，根据多个视锥区域，矫正目标对象在世界坐标系中的拍摄中心点，以在环拍时基于拍摄中心点生成理想的相机位姿。本申请实施例通过结合每幅环拍图像的视锥区域矫正目标对象在世界坐标系中的拍摄中心点，可以提高获取的拍摄中心点的准确度，以在环拍时基于矫正的拍摄中心点生成理想的相机位姿，最终提升对象3D外观图像的构建效果。

优选地，本申请实施例还提供了一种电子设备，包括：处理器，存储器，存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述用于环拍时拍摄中心点的矫正方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述用于环拍时拍摄中心点的矫正方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

本领域普通技术人员可以意识到，结合本申请实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种用于环拍时拍摄中心点的矫正方法，其特征在于，包括：

获取目标对象的多幅环拍图像，及所述多幅环拍图像对应的相机位姿；

根据所述多幅环拍图像和所述相机位姿，获取所述多幅环拍图像对应的视锥区域；

根据多个所述视锥区域，矫正所述目标对象在世界坐标系中的所述拍摄中心点，以在环拍时基于所述拍摄中心点生成理想的相机位姿。

2.根据权利要求1所述的方法，其特征在于，获取所述多幅环拍图像对应的相机位姿，包括：

对所述多幅环拍图像进行稀疏重建，得到重建结果；

根据所述重建结果，确定所述多幅环拍图像对应的相机位姿。

3.根据权利要求1所述的方法，其特征在于，所述根据所述多幅环拍图像和所述相机位姿，获取所述多幅环拍图像对应的视锥区域，包括：

获取所述目标对象在所述多幅环拍图像中的位置信息；

根据所述位置信息和所述相机位姿，获取所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

4.根据权利要求3所述的方法，其特征在于，所述获取所述目标对象在所述多幅环拍图像中的位置信息，包括：

在所述多幅环拍图像中添加所述目标对象对应的标注框；

根据所述标注框的参考点在图像坐标系内的参考点坐标，确定所述目标对象在所述多幅环拍图像中的位置信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述位置信息和所述相机位姿，获取所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域，包括：

获取所述多幅环拍图像对应的拍摄点坐标；

根据所述相机位姿对所述位置信息进行转换处理，得到所述目标对象在世界坐标系中的第一位置信息；

根据所述拍摄点坐标和所述第一位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

6.根据权利要求3所述的方法，其特征在于，所述获取所述目标对象在所述多幅环拍图像中的位置信息，包括：

在所述多幅环拍图像中标记所述目标对象的对象轮廓；

根据所述对象轮廓的轮廓点在图像坐标系内的轮廓坐标，确定所述目标对象在所述多幅环拍图像中的轮廓位置信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述位置信息和所述相机位姿，获取所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域，包括：

获取所述多幅环拍图像对应的拍摄点坐标；

根据所述相机位姿对所述轮廓位置信息进行转换处理，得到所述对象轮廓在世界坐标系中的第二位置信息；

根据所述拍摄点坐标和所述第二位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

8.根据权利要求1所述的方法，其特征在于，所述根据多个所述视锥区域，矫正所述目标对象在世界坐标系中的所述拍摄中心点，包括：

获取多个所述视锥区域的重叠区域；

获取所述重叠区域的中心点，并将所述中心点作为所述目标对象在世界坐标系中的所述拍摄中心点。

9.一种用于环拍时拍摄中心点的矫正装置，其特征在于，包括：

环拍图像获取模块，用于获取目标对象的多幅环拍图像，及所述多幅环拍图像对应的相机位姿；

视锥区域获取模块，用于根据所述多幅环拍图像和所述相机位姿，获取所述多幅环拍图像对应的视锥区域；

中心点确定模块，用于根据多个所述视锥区域，矫正所述目标对象在世界坐标系中的所述拍摄中心点，以在环拍时基于所述拍摄中心点生成理想的相机位姿。

10.根据权利要求9所述的装置，其特征在于，所述环拍图像获取模块包括：

重建结果获取单元，用于对所述多幅环拍图像进行稀疏重建，得到重建结果；

相机位姿确定单元，用于根据所述重建结果，确定所述多幅环拍图像对应的相机位姿。

11.根据权利要求9所述的装置，其特征在于，所述视锥区域获取模块包括：

位置信息获取单元，用于获取所述目标对象在所述多幅环拍图像中的位置信息；

视锥区域获取单元，用于根据所述位置信息和所述相机位姿，获取所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

12.根据权利要求11所述的装置，其特征在于，所述位置信息获取单元包括：

标注框添加子单元，用于在所述多幅环拍图像中添加所述目标对象对应的标注框；

位置信息确定子单元，用于根据所述标注框的参考点在图像坐标系内的参考点坐标，确定所述目标对象在所述多幅环拍图像中的位置信息。

13.根据权利要求12所述的装置，其特征在于，所述视锥区域获取单元包括：

第一拍摄点获取子单元，用于获取所述多幅环拍图像对应的拍摄点坐标；

第一位置信息获取子单元，用于根据所述相机位姿对所述位置信息进行转换处理，得到所述目标对象在世界坐标系中的第一位置信息；

第一视锥区域确定子单元，用于根据所述拍摄点坐标和所述第一位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

14.根据权利要求11所述的装置，其特征在于，所述位置信息获取单元包括：

对象轮廓标记子单元，用于在所述多幅环拍图像中标记所述目标对象的对象轮廓；

轮廓位置确定子单元，用于根据所述对象轮廓的轮廓点在图像坐标系内的轮廓坐标，确定所述目标对象在所述多幅环拍图像中的轮廓位置信息。

15.根据权利要求14所述的装置，其特征在于，所述视锥区域获取单元包括：

第二拍摄点获取子单元，用于获取所述多幅环拍图像对应的拍摄点坐标；

第二位置信息获取子单元，用于根据所述相机位姿对所述轮廓位置信息进行转换处理，得到所述对象轮廓在世界坐标系中的第二位置信息；

第二视锥区域确定子单元，用于根据所述拍摄点坐标和所述第二位置信息，确定所述多幅环拍图像中的目标对象在世界坐标系中的视锥区域。

16.根据权利要求9所述的装置，其特征在于，所述中心点确定模块包括：

重叠区域获取单元，用于获取多个所述视锥区域的重叠区域；

中心点获取单元，用于获取所述重叠区域的中心点，并将所述中心点作为所述目标对象在世界坐标系中的所述拍摄中心点。

17.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的用于环拍时拍摄中心点的矫正方法的步骤。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的用于环拍时拍摄中心点的矫正方法的步骤。

Images