CN113344789B - 图像拼接方法及装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请实施例涉及图像处理技术领域，公开了图像拼接方法及装置、电子设备、计算机可读存储介质，该方法包括：获取多帧待拼接图像分别对应的摄像装置在世界坐标系中的第一位姿信息，以及各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息；以及，根据各帧待拼接图像对应的点云信息，对各帧待拼接图像对应的第一位姿信息进行修正，以确定出各帧待拼接图像对应的第二位姿信息；以及，根据各帧待拼接图像对应的第二位姿信息对多帧待拼接图像进行拼接，以得到拼接图像。实施本申请实施例，能够提高图像的拼接效果。

Description

图像拼接方法及装置、电子设备、计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像拼接方法及装置、电子设备、计算机可读存储介质。

背景技术

随着图像处理技术的快速发展，全景拼接技术应运而生。全景拼接技术是将多张在不同拍摄角度拍摄到的图像拼接为一张全景图像，从而能够尽可能地在一张图像中展现出更多的环境内容的技术。

在实践中发现，现有的全景拼接技术受制于拼接算法等各种因素，拼接效果较差。

发明内容

本申请实施例公开了一种图像拼接方法及装置、电子设备、计算机可读存储介质，能够提高图像的拼接效果。

本申请实施例第一方面公开一种图像拼接方法，包括：

获取多帧待拼接图像分别对应的摄像装置在世界坐标系中的第一位姿信息，以及各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息；

根据各帧待拼接图像对应的点云信息，对各帧待拼接图像对应的第一位姿信息进行修正，以确定出各帧所述待拼接图像对应的第二位姿信息；

根据各帧待拼接图像对应的第二位姿信息对多帧待拼接图像进行拼接，以得到拼接图像。

本申请实施例第二方面公开一种图像拼接装置，包括：

获取单元，用于获取多帧待拼接图像分别对应的摄像装置在世界坐标系中的第一位姿信息，以及各帧所述待拼接图像中包含的目标对象在所述世界坐标系中的点云信息；

确定单元，用于根据各帧所述待拼接图像对应的点云信息，对各帧所述待拼接图像对应的第一位姿信息进行修正，以确定出各帧所述待拼接图像对应的第二位姿信息；

拼接单元，用于根据各帧所述待拼接图像对应的第二位姿信息对所述多帧待拼接图像进行拼接，以得到拼接图像。

本申请实施例第三方面公开一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本申请实施例第一方面公开的图像拼接方法。

本申请实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本申请实施例第一方面公开的图像拼接方法。

本申请实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本申请实施例第一方面的任意一种方法的部分或全部步骤。

本申请实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本申请实施例第一方面的任意一种方法的部分或全部步骤。

与相关技术相比，本申请实施例具有以下有益效果：

实施本申请实施例，可以通过各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息，对各帧待拼接图像对应的摄像装置在世界坐标系中的第一位姿信息进行修正，从而得到各帧待拼接图像更加准确的第二位姿信息。进而可以根据各帧待拼接图像更加准确的第二位姿信息，对多帧待拼接图像进行拼接，从而提高了后续拼接得到拼接图像的准确性，提高了拼接图像的拼接效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种图像拼接方法的流程示意图；

图2是本申请实施例公开另一种图像拼接方法的流程示意图；

图3是本申请实施例公开的又一种图像拼接方法的流程示意图；

图4是本申请实施例公开的一种图像拼接装置的结构示意图；

图5是本申请实施例公开的另一种图像拼接装置的结构示意图；

图6是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例公开了一种图像拼接方法及装置、电子设备、计算机可读存储介质，能够提高图像的拼接效果。

下面将结合具体实施例对本申请技术方案进行详细说明。

为了更加清楚地说明本申请实施例公开的一种图像拼接方法及装置、电子设备、计算机可读存储介质，首先介绍一种适用于该图像拼接方法的应用场景。该图像拼接方法可以应用于各种电子设备，例如：手机、平板电脑、台式电脑或者可穿戴设备，在此不作限定。

在实践中发现，电子设备需要根据各帧待拼接图像对应的位姿信息，对待拼接图像进行拼接，所以各帧待拼接图像对应的位姿信息是否准确将影响后续的拼接效果。对此，实施本申请实施例公开的图像拼接方法，可以先对各帧待拼接图像对应的位姿信息进行修正，从而电子设备可以根据更加准确的位姿信息，对多帧待拼接图像进行拼接，进而提高了拼接图像的拼接效果。此外，相比较于相关技术中的图像拼接方法，本申请实施例公开的图像拼接方法不需要对待拼接图像进行图像配准(图像配准过程计算量较大)，从而可以降低图像拼接方法的计算量，以及降低电子设备的硬件和软件要求，从而可以应用于手机、平板电脑、或者可穿戴设备等移动终端，以提高移动终端的图像拼接效果。

请参阅图1，图1是本申请实施例公开的一种图像拼接方法的流程示意图，该图像拼接方法可以应用于各种电子设备，例如：手机、平板电脑、台式电脑或者可穿戴设备，在此不作限定。该图像拼接方法可以包括以下步骤：

102、获取多帧待拼接图像分别对应的摄像装置在世界坐标系中的第一位姿信息，以及各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息。

本申请实施例中，多帧待拼接图像可以包括两帧或者两帧以上的待拼接图像。可选的，待拼接图像可以是同一个拍摄装置(如摄像头等)拍摄到的，也可以是由多个不同的拍摄装置拍摄到的，其中，多个不同的拍摄装置可以是在同一台电子设备包括的多个摄像装置，也可以不同的电子设备上设置的摄像装置，在此不作限定。需要说明的是，上述的电子设备可以设置有拍摄装置，也可以没有设置拍摄装置。所以可选的，待拼接图像可以是电子设备通过拍摄装置拍摄到的，而针对没有设置拍摄装置的电子设备，则待拼接图像可以是从互联网或者其他电子设备处接收到的，在此不作限定。

上述的世界坐标系是一个绝对坐标系，可以是以世界上任意一个点作为原点建立的坐标系，待拼接图像中的像素点的坐标都可以通过世界坐标系的原点来确定各自的位置。摄像装置在世界坐标系中的第一位姿信息可以包括旋转矩阵和位移矩阵，用于表示对应的摄像装置相对于世界坐标系的原点的位置及姿态。每帧待拼接图像对应的摄像装置在世界坐标系中的第一位姿信息可指的是摄像装置在采集该帧待拼接图像时在世界坐标系中的第一位姿信息。

可选的，待拼接图像对应的摄像装置在世界坐标系中的第一位姿信息可以通过增强现实开发平台获取，例如ARCore，ARKit等，其中，ARCore和ARKit是搭建增强现实应用程序的软件平台，可以应用于手机、平板电脑或者可穿戴设备等电子设备中，进而电子设备可以通过ARCore或者ARKit包括的软件开发工具包(SDK，Software Development Kit)获取待拼接图像对应的摄像装置在世界坐标系中的位姿信息。

本申请实施例中，待拼接图像中包含的目标对象可以是待拼接图像的前景(即待拼接图像中距离拍摄装置最近的对象)、后景(待拼接图像中位于前景后面或者靠近后面的对象)或者是电子设备在待拼接图像中默认指定的其他对象，在此不作限定。待拼接图像在世界坐标系中的点云信息可以包括目标对象在待拼接图像中对应的目标对象区域中的各个像素点，在世界坐标系中对应的三维坐标，以及各个三维坐标对应的置信度(置信度用于表示对应的三维坐标的准确度，置信度的数值范围可以为0～1、0～2等。以置信度的数值范围可以为0～1举例来说，三维坐标对应的置信度越接近1，则说明该三维坐标越准确，反之若三维坐标对应的置信度越接近0，则说明该三维坐标越不准确)。

可选的，电子设备可以通过上述的增强现实开发平台获取待拼接图像在世界坐标系中的点云信息，又或者是通过三维激光扫描仪、照相式扫描仪等扫描设备获取待拼接图像中的目标对象在世界坐标系中的点云信息，在此不作限定。

需要进一步说明的是，考虑到手机、平板电脑或者可穿戴设备等电子设备的硬件和计算能力较弱，对此优选的，电子设备可以直接通过增强现实开发平台获取每帧待拼接图像对应的摄像装置在世界坐标系中的第一位姿信息，以及待拼接图像中包含的目标对象在世界坐标系中的点云信息，从而可以降低图像拼接方法对电子设备硬件和软件的要求，还可以减少电子设备的计算量，从而降低电子设备的功耗。

104、根据各帧待拼接图像对应的点云信息，对各帧待拼接图像对应的第一位姿信息进行修正，以确定出各帧待拼接图像对应的第二位姿信息。

本申请实施例中，考虑到电子设备获取的待拼接图像对应的第一位姿信息可能不准确，而后续电子设备需要根据各帧待拼接图像对应的位姿信息，对待拼接图像进行拼接，所以待拼接图像对应的位姿信息是否准确将影响后的拼接效果。

对此，为了使得后续的拼接效果更加佳，电子设备可以根据待拼接图像对应的点云信息，对待拼接图像对应的第一位姿信息进行修正，以确定出更加准确的第二位姿信息。

可选的，电子设备可以将待拼接图像投影到同一个二维坐标系，以得到各帧待拼接图像在二维坐标系对应的二维投影，进而可以根据二维投影之间的重叠误差调整各帧待拼接图像对应的第一位姿信息直至重叠误差最小，以得到各帧待拼接图像修正后的第二位姿信息。

106、根据各帧待拼接图像对应的第二位姿信息对多帧待拼接图像进行拼接，以得到拼接图像。

本申请实施例中，各帧待拼接图像对应的第二位姿信息可以包括旋转矩阵和位移矩阵。进而可以电子设备可以根据各帧待拼接图像对应的旋转矩阵和位移矩阵将各帧待拼接图像包含的各个像素点投影到同一个球面坐标系中，以得到拼接图像。

实施上述各实施例公开的方法，可以通过各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息，对各帧待拼接图像对应的摄像装置在世界坐标系中的第一位姿信息进行修正，从而得到各帧待拼接图像更加准确的第二位姿信息。进而可以根据各帧待拼接图像更加准确的第二位姿信息，对所述多帧待拼接图像进行拼接，从而提高了后续拼接得到拼接图像的拼接效果。

请参阅图2，图2是本申请实施例公开另一种图像拼接方法的流程示意图，该图像拼接方法可以应用于各种电子设备，例如：手机、平板电脑、台式电脑或者可穿戴设备，在此不作限定。该图像拼接方法可以包括以下步骤：

202、获取多帧待拼接图像分别对应的摄像装置在世界坐标系中的第一位姿信息，以及各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息，点云信息包括待拼接图像包含的目标对象区域中各个像素点在世界坐标系中的三维坐标。

204、将第一待拼接图像包括的第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到第一待拼接图像对应第一二维投影，和第二待拼接图像对应的第二二维投影。

第一待拼接图像可以是多帧待拼接图像中的任一帧，而第二待拼接图像可以是多帧待拼接图像中排列顺序与第一待拼接图像相邻的图像。举例来说，待拼接图像的数量有10帧，第一待拼接图像可以是排列在第三帧的图像，第二待拼接图像可以是排列在第二帧或者排列在第四帧的图像，在此不作限定。需要进一步说明的是，电子设备可以获取多帧待拼接图像中的任意两帧排列顺序相邻的图像作为第一待拼接图像和第二待拼接图像进行投影，直至把对应的第一位姿信息不准确的待拼接图像都投影到二维坐标系中。

第一像素点可以是第一待拼接图像包含的第一目标对象区域中的像素点，例如第一待拼接图像包含的第一目标对象区域是一辆汽车，则第一像素点可以是汽车在第一待拼接图像中对应的图像区域中的像素点；同理的，第二像素点可以是第二待拼接图像包含的第二目标对象区域中的像素点。

可以理解的是，若第一待拼接图像和第二待拼接图像分别对应的摄像装置在世界坐标系中的第一位姿信息都是准确的，则根据第一待拼接图像和第二待拼接图像分别对应的第一位姿信息，将第一待拼接图像和第二待拼接图像投影到同一个二维坐标系中时，第一待拼接图像和第二待拼接图像在二维坐标系中的二维投影应该是完全重叠的。

对此，电子设备可以将第一待拼接图像包括的第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到第一待拼接图像对应第一二维投影，和第二待拼接图像对应的第二二维投影，进而电子设备可以通过第一二维投影和第二二维投影是否完全重叠，来判断第一待拼接图像和第二待拼接图像分别对应的第一位姿信息是否准确。

在一种实施例中，电子设备可以根据第一待拼接图像对应的第一位姿信息，以及拍摄第一待拼接图像的摄像装置的内参，将第一待拼接图像包括的第一像素点的三维坐标投影到二维坐标系，以得到第一待拼接图像对应第一二维投影。

其中，摄像装置的内参表征摄像装置坐标系与图像坐标系之间的转换关系，主要有摄像头焦距、主点坐标、镜头畸变系数等。

可选的，电子设备可以根据第一待拼接图像对应的第一位姿信息、拍摄第一待拼接图像的摄像装置的内参以及以下公式1，将第一待拼接图像包括的第一像素点的三维坐标投影到二维坐标系，即：

其中，f_x，f_y，c_x，c_y表示拍摄第一待拼接图像的摄像装置的内参，R和T表示第一待拼接图像对应的第一位姿信息，R表示旋转矩阵，T表示位移矩阵，(X₁，Y₁，Z₁)表示第一待拼接图像包括的第一像素点的三维坐标，(u₁，v₁)表示第一待拼接图像包括的第一像素点在二维坐标系中对应的二维坐标。

进而，电子设备可以根据第一像素点对应的二维坐标，组成第一待拼接图像对应第一二维投影。

在另一种实施例中，电子设备可以根据第二待拼接图像对应的第一位姿信息，以及拍摄第二待拼接图像的摄像装置的内参，将第二待拼接图像包括的第二像素点的三维坐标投影到二维坐标系，以得到第二待拼接图像对应第二二维投影。

可选的，电子设备可以根据第二待拼接图像对应的第一位姿信息、拍摄第二待拼接图像的摄像装置的内参以及以下公式2，将第二待拼接图像包括的第二像素点的三维坐标投影到二维坐标系，即：

其中，f_x，f_y，c_x，c_y表示拍摄第二待拼接图像的摄像装置的内参，R和T表示第二待拼接图像对应的第一位姿信息，R表示旋转矩阵，T表示位移矩阵，(X₂，Y₂，Z₂)表示第二待拼接图像包括的第二像素点的三维坐标，(u₂，v₂)表示第二待拼接图像包括的第二像素点在二维坐标系中对应的二维坐标。

进而，电子设备可以根据第二像素点对应的二维坐标，组成第二待拼接图像对应第二二维投影。

实施上述方法，电子设备可以将第一待拼接图像和第二待拼接图像分别投影到同一个二维坐标系中，进而方便电子设备后续根据第一二维投影和第二二维投影的重叠误差来确定出更加准确的位姿信息。

206、确定第一二维投影和第二二维投影之间的重叠误差。

本申请实施例中，电子设备在将第一待拼接图像和第二待拼接图像分别投影到同一个二维坐标系之后，可以根据第一二维投影的轮廓和第二二维投影的轮廓，确定第一二维投影和第二二维投影之间的重叠误差。

208、根据重叠误差调整第一待拼接图像对应的第一位姿信息和第二待拼接图像对应的第一位姿信息，直至第一二维投影和第二二维投影的重叠误差最小，以得到第一待拼接图像对应的第二位姿信息和第二待拼接图像对应的第二位姿信息。

可以理解的是，当第一二维投影和第二维投影之间存在重叠误差时，说明第一待拼接图像和第二待拼接图像对应的第一位姿信息不准确。对此，电子设备可以对第一待拼接图像对应的第一位姿信息和第二待拼接图像对应的第一位姿信息进行调整，然后根据调整后的位姿信息对第一待拼接图像和第二待拼接图像进行重新投影，直至第一二维投影和第二二维投影的重叠误差最小或者完全重叠，以得到第一待拼接图像对应的第二位姿信息和第二待拼接图像对应的第二位姿信息。

在一种实施例中，电子设备可以根据第一待拼接图像对应的第一位姿信息和第二待拼接图像对应的第一位姿信息，第一待拼接图像包括的第一像素点的三维坐标、第一像素点的二维坐标，第二待拼接图像包括的第二像素点的三维坐标、第二像素点的二维坐标，第一像素点的三维坐标和二维坐标之间的第一转换关系，第二像素点的三维坐标和二维坐标之间的第二转换关系以及以下公式3，确定出第一待拼接图像对应的第二位姿信息和第二待拼接图像对应的第二位姿信息，即：

其中，C₁表示第一待拼接图像对应的第一位姿信息，C₂表示第二待拼接图像对应的第一位姿信息，

表示第一待拼接图像包括的第一像素点的三维坐标，

表示第一待拼接图像包括的第一像素点的二维坐标，

表示第二待拼接图像包括的第二像素点的三维坐标，

表示第二待拼接图像包括的第二像素点的二维坐标，π₁表示第一像素点的三维坐标和二维坐标之间的第一转换关系，π₂表示第二像素点的三维坐标和二维坐标之间的第二转换关系，C′₁表示第一待拼接图像对应的第二位姿信息，C′₂表示第二待拼接图像对应的第二位姿信息。

需要说明的是，π₁可以是上述的公式1，π₂可以是上述的公式2。

可选的，电子设备可以通过LM(Levenberg-Marquardt，列文伯格-马夸特)算法或者GN(Gauss Newton，高斯-牛顿)算法迭代求解出公式3，以得到第一待拼接图像对应的第二位姿信息和第二待拼接图像对应的第二位姿信息。

在实践中发现，电子设备获取的待拼接图像对应的摄像装置在世界坐标系中的第一位姿信息可能是不准确的，但也可能是准确的。那么对第一位姿信息是准确的待拼接图像的位姿信息进行修正，则将增加电子设备的计算量，从而不利于提高图像拼接的效率，和降低电子设备的功耗。

对此可选的，电子设备可以将第一待拼接图像与第二待拼接图像进行匹配，以确定出第一待拼接图像与第二待拼接图像中的多对匹配点对。其中，每对匹配点对可以包括第一像素点和与第一像素点对应的第二像素点，第一像素点和对应的第二像素点可以是表示同一图像特征的像素点。

进而电子设备可以计算各对匹配点对包含的第一像素点和第二像素点之间的欧式距离。可选的，电子设备可以根据第一像素点在世界坐标系的三维坐标、第二像素点在世界坐标系的三维坐标和以下公式4，确定出第一像素点和第二像素点之间的欧式距离，即：

其中，

表示第一像素点对应的三维坐标的x轴坐标，

表示第一像素点对应的三维坐标的y轴坐标，

表示第一像素点对应的三维坐标的z轴坐标，

表示第二像素点对应的三维坐标的x轴坐标，

表示第二像素点对应的三维坐标的y轴坐标，

表示第二像素点对应的三维坐标的z轴坐标，d_pp表示第一像素点和第二像素点之间的欧式距离。

若欧式距离小于距离阈值(该距离阈值可以由开发人员根据大量的开发数据设定，典型值可以为0.2、0.3等，在此不作限定)的匹配点对的数量小于数量阈值(数量阈值可以由开发人员根据大量的开发数据设定的，在此不作限定)，则说明第一待拼接图像与第二待拼接图像对应第一位姿信息不准确，电子设备可以将第一待拼接图像包括第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到第一待拼接图像对应第一二维投影，和第二待拼接图像对应的第二二维投影，进而根据第一二维投影和第二二维投影的投影误差对第一待拼接图像与第二待拼接图像对应第一位姿信息进行调整。

可选的，若欧式距离小于距离阈值的匹配点对的数量大于或等于数量阈值，则说明第一待拼接图像与第二待拼接图像对应第一位姿信息是准确的，电子设备可以将第一待拼接图像对应的第一位姿信息确定为第二位姿信息，将第二待拼接图像对应的第一位姿信息确定为第二位姿信息，而不需要对位姿进行修正。

实施上述方法，电子设备可以通过计算匹配点对包含的第一像素点与第二像素点之间的欧式距离，来判断第一待拼接图像与第二待拼接图像对应第一位姿信息是否准确；并在第一待拼接图像与第二待拼接图像对应第一位姿信息不准确时才执行位姿修正的步骤，从而可以减少电子设备的计算量，有利于提高图像拼接的效率，和降低电子设备的功耗。

本申请实施例中，点云信息还可以包括各个三维坐标对应的置信度，其中，三维坐标对应的置信度越高，则说明该三维坐标越准确，反之若三维坐标对应的置信度越低，则说明该三维坐标越不准确。对此可选的，电子设备可以在第一待拼接图像包括的第一像素点中确定出置信度高于第一置信度阈值(该第一置信度阈值可以是由开发人员根据大量的开发数据设定的，在此不作限定)，并在第二待拼接图像包括的第二像素点中确定出置信度高于第二置信度阈值(该第二置信度阈值可以是由开发人员根据大量的开发数据设定的，在此不作限定，第一置信度阈值和第二置信度阈值可以是相同的，也可以是不同的，在此不作限定)。

进而电子设备可以将第一待拼接图像包括的置信度高于第一置信度阈值的第一像素点的三维坐标，和第二待拼接图像包括的置信度高于第二置信度阈值的第二像素点的三维坐标投影到同一个二维坐标系中，以得到第一待拼接图像对应第一二维投影，和第二待拼接图像对应的第二二维投影。

实施上述方法，电子设备可以选取第一待拼接图像中三维坐标更为准确的第一像素点，和第二待拼接图像中三维坐标更为准确的第二像素点进行投影，从而可以使得投影得到的第一二维投影和第二二维投影更加准确，进而使得后续根据第一二维投影和第二二维投影的投影误差调整得到的位姿信息也将更加准确。

210、根据各帧待拼接图像对应的第二位姿信息对多帧待拼接图像进行拼接，以得到拼接图像。

实施上述各实施例公开的方法，可以通过各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息，对各帧待拼接图像对应的摄像装置在世界坐标系中的第一位姿信息进行修正，从而得到各帧待拼接图像更加准确的第二位姿信息。进而可以根据各帧待拼接图像更加准确的第二位姿信息，对所述多帧待拼接图像进行拼接，从而提高了后续拼接得到拼接图像的拼接效果；以及，可以将第一待拼接图像和第二待拼接图像分别投影到同一个二维坐标系中，进而方便电子设备后续根据第一二维投影和第二二维投影的重叠误差来确定出更加准确的位姿信息；以及，可以减少电子设备的计算量，有利于提高图像拼接的效率，和降低电子设备的功耗；以及，可以选取第一待拼接图像中三维坐标更为准确的第一像素点，和第二待拼接图像中三维坐标更为准确的第二像素点进行投影，从而可以使得投影得到的第一二维投影和第二二维投影更加准确，进而使得后续根据第一二维投影和第二二维投影的投影误差调整得到的位姿信息也将更加准确。

请参阅图3，图3是本申请实施例公开的又一种图像拼接方法的流程示意图，该图像拼接方法可以应用于各种电子设备，例如：手机、平板电脑、台式电脑或者可穿戴设备，在此不作限定。该图像拼接方法可以包括以下步骤：

302、获取多帧待拼接图像分别对应的摄像装置在世界坐标系中的第一位姿信息，以及各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息。

可选的，该图像拼接方法可以应用于便携式电子设备，例如手机、平板电脑或者可穿戴设备。因为考虑到便携式电子设备的数据处理能力较弱，所以电子设备可以通过增强现实开发平台(例如：ARCore，ARKit等)获取多帧待拼接图像分别对应的摄像装置在世界坐标系中的第一位姿信息，以及各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息，从而可以降低电子设备的硬件和软件要求，降低图像拼接方法的实施成本。

在另一种实施例中，电子设备可以提取待拼接图像中的特征点，进而电子设备可以根据特征点在世界坐标系中的第一坐标，和待拼接图像对应的摄像装置在世界坐标系中的第二坐标确定出摄像装置在世界坐标系中的位姿信息。可选的，电子设备可以根据待拼接图像中的特征点在世界坐标系中的第一坐标，和摄像装置在世界坐标系中的第二坐标确定出特征点相对于摄像装置的角度(该角度为第一坐标和第二坐标的连线，与世界坐标系的横轴之间的夹角)和距离，进而根据特征点相对于摄像装置的角度和距离确定出摄像装置在世界坐标系中的位姿信息。

需要说明的是，若电子设备的计算能力较强，且考虑到通过特征点匹配确定出的位姿信息通常是准确的，不需要进行修正。所以电子设备可以直接通过上述特征点匹配的方式确定出待拼接图像对应的位姿信息作为第二位姿信息。

对此可选的，若电子设备的计算能力大于计算能力阈值，则可以执行上述提取待拼接图像中的特征点的步骤，以过特征点匹配确定出的位姿信息；而若电子设备的计算能力小于或等于计算能力阈值，则可以通过增强现实开发平台获取待拼接图像对应的位姿信息。

304、根据各帧待拼接图像对应的点云信息，对各帧待拼接图像对应的第一位姿信息进行修正，以确定出各帧待拼接图像对应的第二位姿信息。

306、根据各帧待拼接图像对应的第二位姿信息将各帧待拼接图像投影到球面坐标系，以得到拼接图像。

上述的球面坐标系是以地球面上任一点为极点，用垂直圈和等高圈组成的球面坐标网。

在一种实施例中，电子设备可以根据各帧待拼接图像对应的第二位姿信息，将各帧待拼接图像包括的像素点的二维坐标投影到三维坐标系，以得到各帧待拼接图像包括的像素点的二维坐标对应三维坐标；

需要说明的是，上述在进行位姿信息修正时，需要将待拼接图像包含的像素点的三维坐标投影到二维坐标系，以得到二维坐标。对此，电子设备可以先将各帧待拼接图像包括的像素点的二维坐标投影到三维坐标系，以得到各帧待拼接图像包括的像素点的二维坐标对应三维坐标。

可选的，电子设备可以根据待拼接图像对应的第二位姿信息、拍摄待拼接图像的摄像装置的内参以及以下公式5，将待拼接图像包括的像素点的二维坐标投影到三维坐标系，以得到待拼接图像包括的像素点的二维坐标对应三维坐标，即：

其中，R₂和T₂表示待拼接图像的第二位姿信息，R₂表示旋转矩阵，T₂表示位移矩阵，f_x，f_y，c_x，c_y表示拍摄待拼接图像的摄像装置的内参，(X，Y，Z)表示待拼接图像包括的像素点的三维坐标，(u，v)表示待拼接图像包括的像素点的二维坐标。

进而，电子设备可以将各帧待拼接图像包括的像素点对应的三维坐标投影到球面坐标系。可选的，电子设备可以通过以下公式6将待拼接图像包括的像素点对应的三维坐标投影到球面坐标系，即：

其中，(X，Y，Z)表示待拼接图像包括的像素点的三维坐标，

表示待拼接图像包括的像素点的球面坐标。

考虑到投影在球面坐标的待拼接图像就披到球体表面一样，不利于观看阅读，对此可选的，电子设备可以将投影在球面坐标系的待拼接图像展开，以到一副矩形的拼接图像。可选的，待拼接图像包括的像素点的球面坐标也可以用像素点相对于球面坐标系的原点的角度来进行表示，转换公式如下，即：

进而，电子设备可以根据待拼接图像包括的像素点的球面坐标和以下公式7，确定出拼接图像，即：

其中，

表示球面坐标系的中心点，f表示拍摄待拼接图像的摄像装置的焦距，

表示待拼接图像报价的像素点在展开后的二维坐标系中的二维坐标。

实施上述方法，电子设备可以根据各帧所述待拼接图像修正的第二位姿信息将各帧待拼接图像投影到球面坐标系，以得到拼接效果更好的拼接图像。

在实践中发现，使用相似度较大的待拼接图像进行拼接时，待拼接图像中大面积相似的图像区域将被重叠，从而导致拼接了很多帧待拼接图像也只能得到一帧小尺寸拼接图像。对此可选的，电子设备可以从多帧待拼接图像中选取相似度小于第一相似度阈值(该第一相似度阈值可以由开发人员根据大量的开发数据设定，在此不作限定)的多帧第三待拼接图像，进而电子设备可以根据各帧第三待拼接图像对应的第二位姿信息对多帧第三待拼接图像进行拼接，以得到拼接图像。

可选的，电子设备可以将多帧待拼接图像中时域信息的相似度小于第二相似度阈值的待拼接图像确定为第三待拼接图像，和/或将图像内容信息的相似度小于第三相似度阈值的待拼接图像确定为第三待拼接图像。

实施上述方法，电子设备可以从多帧待拼接图像中选取相似度低于相似度阈值的第三待拼接图像，从而可以在尽可能少地执行图像拼接的情况下拼接到更大尺寸的拼接图像，从而可以提高图像拼接效率。

在实践中发现，拼接图像中拼接区域容易产生畸变和色差，从而影响观看。对此可选的，电子设备可以在拼接图像中确定出拼接区域，并对拼接区域中的像素点的像素值进行调整，以消除拼接区域的畸变和色差。

可选的，电子设备可以将拼接图像中，相邻像素点之间的像素值差值大于像素值阈值的区域确定为拼接区域。进一步可选的，电子设备可以将拼接区域中，像素值差值大于像素值阈值的第四像素点和第五像素点进行调整(可选的，电子设备可以计算第四像素点和第五像素点的像素值的平均值，并将平均值设置为第四像素点和第五像素点新的像素值)，以消除拼接区域的畸变和色差。

在另一些可选的实施例中，电子设备还可以对拼接图像中的拼接区域进行融合处理(例如：线性融合、多频带融合等)或者进行光照补偿，以使得拼接效果更加自然。

实施上述方法，可以对拼接图像中的拼接区域进行调整，以提高拼接图像的拼接效果。

实施上述各实施例公开的方法，可以根据各帧待拼接图像更加准确的第二位姿信息，对所述多帧待拼接图像进行拼接，从而提高了后续拼接得到拼接图像的拼接效果；以及，可以根据各帧所述待拼接图像修正的第二位姿信息将各帧待拼接图像投影到球面坐标系，以得到拼接效果更好的拼接图像；以及，可以从多帧待拼接图像中选取相似度低于相似度阈值的第三待拼接图像，从而可以在尽可能少地执行图像拼接的情况下拼接到更大尺寸的拼接图像，从而可以提高图像拼接效率；以及，可以对拼接图像中的拼接区域进行调整，以提高拼接图像的拼接效果。

请参阅图4，图4是本申请实施例公开的一种图像拼接装置的结构示意图。该图像拼接装置可以应用于各种电子设备，例如：手机、平板电脑、台式电脑或者可穿戴设备，在此不作限定。该图像拼接装置可以包括：获取单元401、第一确定单元402和拼接单元403，其中：

获取单元401，用于获取多帧待拼接图像分别对应的摄像装置在世界坐标系中的第一位姿信息，以及各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息；

第一确定单元402，用于根据各帧待拼接图像对应的点云信息，对各帧待拼接图像对应的第一位姿信息进行修正，以确定出各帧待拼接图像对应的第二位姿信息；

拼接单元403，用于根据各帧待拼接图像对应的第二位姿信息对多帧待拼接图像进行拼接，以得到拼接图像。

实施上述的图像拼接装置，可以通过各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息，对各帧待拼接图像对应的摄像装置在世界坐标系中的第一位姿信息进行修正，从而得到各帧待拼接图像更加准确的第二位姿信息。进而可以根据各帧待拼接图像更加准确的第二位姿信息，对所述多帧待拼接图像进行拼接，从而提高了后续拼接得到拼接图像的拼接效果。

请参阅图5，图5是本申请实施例公开的另一种图像拼接装置的结构示意图。该图像拼接装置可以应用于各种电子设备，例如：手机、平板电脑、台式电脑或者可穿戴设备，在此不作限定。图5所示的图像拼接装置可以是由图4所示的图像拼接装置优化得到的，与图4所示的图像拼接装置相比较，图5所示的图像拼接装置包括的第一确定单元402用于根据各帧待拼接图像对应的点云信息，对各帧待拼接图像对应的第一位姿信息进行修正，以确定出各帧待拼接图像对应的第二位姿信息的方式具体可以为：

第一确定单元402，用于将第一待拼接图像包括的第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到第一待拼接图像对应第一二维投影，和第二待拼接图像对应的第二二维投影；其中，第一待拼接图像为多帧待拼接图像中的任一帧，第二待拼接图像为多帧待拼接图像中排列顺序与第一待拼接图像相邻的图像，第一像素点为第一待拼接图像包含的第一目标对象区域中的像素点，第二像素点为第二待拼接图像包含的第二目标对象区域中的像素点；以及，确定第一二维投影和第二二维投影之间的重叠误差；以及，根据重叠误差调整第一待拼接图像对应的第一位姿信息和第二待拼接图像对应的第一位姿信息，直至第一二维投影和第二二维投影的重叠误差最小，以得到第一待拼接图像对应的第二位姿信息和第二待拼接图像对应的第二位姿信息。

实施上述的图像拼接装置，可以通过各帧待拼接图像中包含的目标对象在世界坐标系中的点云信息，对各帧待拼接图像对应的摄像装置在世界坐标系中的第一位姿信息进行修正，从而得到各帧待拼接图像更加准确的第二位姿信息。进而可以根据各帧待拼接图像更加准确的第二位姿信息，对所述多帧待拼接图像进行拼接，从而提高了后续拼接得到拼接图像的拼接效果。

作为一种可选的实施方式，第一确定单元402用于将第一待拼接图像包括的第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到第一待拼接图像对应第一二维投影，和第二待拼接图像对应的第二二维投影的方式具体可以为：

第一确定单元402，用于根据第一待拼接图像对应的第一位姿信息，以及拍摄第一待拼接图像的摄像装置的内参，将第一待拼接图像包括的第一像素点的三维坐标投影到二维坐标系，以得到第一待拼接图像对应第一二维投影；以及，根据第二待拼接图像对应的第一位姿信息，以及拍摄第二待拼接图像的摄像装置的内参，将第二待拼接图像包括的第二像素点的三维坐标投影到二维坐标系，以得到第二待拼接图像对应第二二维投影。

实施上述的图像拼接装置，可以将第一待拼接图像和第二待拼接图像分别投影到同一个二维坐标系中，进而方便电子设备后续根据第一二维投影和第二二维投影的重叠误差来确定出更加准确的位姿信息。

作为一种可选的实施方式，图5所示的图像拼接装置还包括：第二确定单元404和计算单元405，其中：

第二确定单元404，用于在第一确定单元402将第一待拼接图像包括的第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到第一待拼接图像对应第一二维投影，和第二待拼接图像对应的第二二维投影之前，将第一待拼接图像与第二待拼接图像进行匹配，确定出第一待拼接图像与第二待拼接图像中的多对匹配点对；

计算单元405，用于计算各对匹配点对包含的第一像素点与第二像素点之间的欧式距离；

以及，所述第一确定单元402具体用于在欧式距离小于距离阈值的匹配点对的数量小于数量阈值时，将第一待拼接图像包括第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到第一待拼接图像对应第一二维投影，和第二待拼接图像对应的第二二维投影。

实施上述的图像拼接装置，可以通过计算匹配点对包含的第一像素点与第二像素点之间的欧式距离，来判断第一待拼接图像与第二待拼接图像对应第一位姿信息是否准确；并在第一待拼接图像与第二待拼接图像对应第一位姿信息不准确时才执行位姿修正的步骤，从而可以减少电子设备的计算量，有利于提高图像拼接的效率，和降低电子设备的功耗。

作为一种可选的实施方式，点云信息还包括各个三维坐标对应的置信度，以及第一确定单元402用于将第一待拼接图像包括的第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到第一待拼接图像对应第一二维投影，和第二待拼接图像对应的第二二维投影的方式具体可以为：

第一确定单元402，用于将第一待拼接图像包括的置信度高于第一置信度阈值的第一像素点的三维坐标，和第二待拼接图像包括的置信度高于第二置信度阈值的第二像素点的三维坐标投影到同一个二维坐标系中，以得到第一待拼接图像对应第一二维投影，和第二待拼接图像对应的第二二维投影。

实施上述的图像拼接装置，可以选取第一待拼接图像中三维坐标更为准确的第一像素点，和第二待拼接图像中三维坐标更为准确的第二像素点进行投影，从而可以使得投影得到的第一二维投影和第二二维投影更加准确，进而使得后续根据第一二维投影和第二二维投影的投影误差调整得到的位姿信息也将更加准确。

作为一种可选的实施方式，图5所示的图像拼接装置还包括：选取单元406，其中：

选取单元406，用于在拼接单元403根据各帧待拼接图像对应的第二位姿信息对多帧待拼接图像进行拼接，以得到拼接图像之前，从多帧待拼接图像中选取相似度小于相似度阈值的多帧第三待拼接图像；

以及，拼接单元403根据各帧待拼接图像对应的第二位姿信息对多帧待拼接图像进行拼接，以得到拼接图像的方式具体可以为：

拼接单元403，用于根据各帧第三待拼接图像对应的第二位姿信息对多帧第三待拼接图像进行拼接，以得到拼接图像。

实施上述的图像拼接装置，可以从多帧待拼接图像中选取相似度低于相似度阈值的第三待拼接图像，从而可以在尽可能少地执行图像拼接的情况下拼接到更大尺寸的拼接图像，从而可以提高图像拼接效率。

作为一种可选的实施方式，拼接单元403根据各帧待拼接图像对应的第二位姿信息对多帧待拼接图像进行拼接，以得到拼接图像的方式具体可以为：

拼接单元403，用于根据各帧待拼接图像对应的第二位姿信息将各帧待拼接图像投影到球面坐标系，以得到拼接图像。

实施上述的图像拼接装置，可以根据各帧所述待拼接图像修正的第二位姿信息将各帧待拼接图像投影到球面坐标系，以得到拼接效果更好的拼接图像。

作为一种可选的实施方式，图5所示的图像拼接装置还包括：调整单元407，其中：

调整单元407，用于在拼接单元403根据各帧待拼接图像对应的第二位姿信息对多帧待拼接图像进行拼接，以得到拼接图像之后，在拼接图像中确定出拼接区域，并对拼接区域中的像素点的像素值进行调整，以消除拼接区域的畸变和色差。

实施上述的图像拼接装置，可以对拼接图像中的拼接区域进行调整，以提高拼接图像的拼接效果。

请参阅图6，图6是本申请实施例公开的一种电子设备的结构示意图。如图6所示，该电子设备可以包括：

存储有可执行程序代码的存储器601；

与存储器601耦合的处理器602；

其中，处理器602调用存储器601中存储的可执行程序代码，执行上述各实施例公开的图像拼接方法。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例公开的图像拼接方法。

本申请实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种图像拼接方法及装置、电子设备、计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像拼接方法，其特征在于，所述方法包括：

获取多帧待拼接图像分别对应的摄像装置在世界坐标系中的第一位姿信息，以及各帧所述待拼接图像中包含的目标对象在所述世界坐标系中的点云信息，所述点云信息包括所述待拼接图像包含的目标对象区域中各个像素点在世界坐标系中的三维坐标；

将第一待拼接图像包括的第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到所述第一待拼接图像对应第一二维投影，和所述第二待拼接图像对应的第二二维投影；其中，所述第一待拼接图像为多帧待拼接图像中的任一帧，所述第二待拼接图像为多帧待拼接图像中排列顺序与所述第一待拼接图像相邻的图像，所述第一像素点为所述第一待拼接图像包含的第一目标对象区域中的像素点，所述第二像素点为所述第二待拼接图像包含的第二目标对象区域中的像素点；

确定所述第一二维投影和所述第二二维投影之间的重叠误差；

根据所述重叠误差调整所述第一待拼接图像对应的第一位姿信息和所述第二待拼接图像对应的第一位姿信息，直至所述第一二维投影和所述第二二维投影的重叠误差最小，以得到所述第一待拼接图像对应的第二位姿信息和所述第二待拼接图像对应的第二位姿信息；

根据各帧所述待拼接图像对应的第二位姿信息对所述多帧待拼接图像进行拼接，以得到拼接图像。

2.根据权利要求1所述的方法，其特征在于，所述将第一待拼接图像包括的第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到所述第一待拼接图像对应第一二维投影，和所述第二待拼接图像对应的第二二维投影，包括：

根据第一待拼接图像对应的第一位姿信息，以及拍摄所述第一待拼接图像的摄像装置的内参，将所述第一待拼接图像包括的第一像素点的三维坐标投影到二维坐标系，以得到所述第一待拼接图像对应第一二维投影；

根据第二待拼接图像对应的第一位姿信息，以及拍摄所述第二待拼接图像的摄像装置的内参，将所述第二待拼接图像包括的第二像素点的三维坐标投影到所述二维坐标系，以得到所述第二待拼接图像对应第二二维投影。

3.根据权利要求1所述的方法，其特征在于，在所述将第一待拼接图像包括的第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到所述第一待拼接图像对应第一二维投影，和所述第二待拼接图像对应的第二二维投影之前，所述方法还包括：

将所述第一待拼接图像与所述第二待拼接图像进行匹配，确定出所述第一待拼接图像与所述第二待拼接图像中的多对匹配点对；

计算各对所述匹配点对包含的第一像素点与第二像素点之间的欧式距离；

若欧式距离小于距离阈值的匹配点对的数量小于数量阈值，则执行所述将第一待拼接图像包括第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到所述第一待拼接图像对应第一二维投影，和所述第二待拼接图像对应的第二二维投影的步骤。

4.根据权利要求1所述的方法，其特征在于，所述点云信息还包括各个三维坐标对应的置信度；以及，所述将第一待拼接图像包括的第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到所述第一待拼接图像对应第一二维投影，和所述第二待拼接图像对应的第二二维投影，包括：

将第一待拼接图像包括的置信度高于第一置信度阈值的第一像素点的三维坐标，和第二待拼接图像包括的置信度高于第二置信度阈值的第二像素点的三维坐标投影到同一个二维坐标系中，以得到所述第一待拼接图像对应第一二维投影，和所述第二待拼接图像对应的第二二维投影。

5.根据权利要求1所述的方法，其特征在于，在所述根据各帧所述待拼接图像对应的第二位姿信息对所述多帧待拼接图像进行拼接，以得到拼接图像之前，所述方法还包括：

从所述多帧待拼接图像中选取相似度小于相似度阈值的多帧第三待拼接图像；

以及，所述根据各帧所述待拼接图像对应的第二位姿信息对所述多帧待拼接图像进行拼接，以得到拼接图像，包括：

根据各帧所述第三待拼接图像对应的第二位姿信息对所述多帧第三待拼接图像进行拼接，以得到拼接图像。

6.根据权利要求1～5任一项所述的方法，其特征在于，所述根据各帧所述待拼接图像对应的第二位姿信息对所述多帧待拼接图像进行拼接，以得到拼接图像，包括：

根据各帧所述待拼接图像对应的第二位姿信息将各帧待拼接图像投影到球面坐标系，以得到拼接图像。

7.根据权利要求1～5任一项所述的方法，其特征在于，在所述根据各帧所述待拼接图像对应的第二位姿信息对所述多帧待拼接图像进行拼接，以得到拼接图像之后，所述方法还包括：

在所述拼接图像中确定出拼接区域，并对所述拼接区域中的像素点的像素值进行调整，以消除所述拼接区域的畸变和色差。

8.一种图像拼接装置，其特征在于，包括：

获取单元，用于获取多帧待拼接图像分别对应的摄像装置在世界坐标系中的第一位姿信息，以及各帧所述待拼接图像中包含的目标对象在所述世界坐标系中的点云信息，所述点云信息包括所述待拼接图像包含的目标对象区域中各个像素点在世界坐标系中的三维坐标；

第一确定单元，用于将第一待拼接图像包括的第一像素点的三维坐标，和第二待拼接图像包括的第二像素点的三维坐标投影到同一个二维坐标系中，以得到所述第一待拼接图像对应第一二维投影，和所述第二待拼接图像对应的第二二维投影；其中，所述第一待拼接图像为多帧待拼接图像中的任一帧，所述第二待拼接图像为多帧待拼接图像中排列顺序与所述第一待拼接图像相邻的图像，所述第一像素点为所述第一待拼接图像包含的第一目标对象区域中的像素点，所述第二像素点为所述第二待拼接图像包含的第二目标对象区域中的像素点；以及，确定所述第一二维投影和所述第二二维投影之间的重叠误差；以及，根据所述重叠误差调整所述第一待拼接图像对应的第一位姿信息和所述第二待拼接图像对应的第一位姿信息，直至所述第一二维投影和所述第二二维投影的重叠误差最小，以得到所述第一待拼接图像对应的第二位姿信息和所述第二待拼接图像对应的第二位姿信息；

拼接单元，用于根据各帧所述待拼接图像对应的第二位姿信息对所述多帧待拼接图像进行拼接，以得到拼接图像。

9.一种电子设备，其特征在于，包括存储有可执行程序代码的存储器，以及与所述存储器耦合的处理器；其中，所述处理器调用所述存储器中存储的所述可执行程序代码，执行权利要求1～7任一项所述的方法。

10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～7任一项所述的方法。

Images