CN107516294B - 拼接图像的方法和装置 - Google Patents

Abstract

本申请实施例公开了拼接图像的方法和装置。该方法的一具体实施方式包括：基于待拼接图像集合中的各待拼接图像的拍摄位置在图像拼接面上的位置分布，确定每个拍摄位置对应的拼接区域；根据所使用的图像采集设备的移动方向以及各拍摄位置之间的距离，为每个拍摄位置设置置信度；对于每个拍摄位置对应的拼接区域，在该拍摄位置使用的图像采集设备的同一移动方向上，选取与该拍摄位置相邻的、具有最高置信度的拍摄位置对应的待拼接图像，并调整所选取的待拼接图像使之与该拍摄位置对应的拼接区域适配；在图像拼接面上拼接调整后的各待拼接图像，生成拼接图像。该实施方式实现了快速准确地拼接图像，并且不依赖图像之间的重叠区域和匹配特征点。

Description

拼接图像的方法和装置

技术领域

本申请实施例涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及拼接图像的方法和装置。

背景技术

图像拼接技术通常是指将多幅有一定重叠区域的图像通过空间配准变换后，融合成一幅包含各图像信息的宽视角、高分辨率的全景图像。目前图像拼接合成技术已经广泛应用于虚拟现实、海底探测、数字视频处理、地图制作等领域。

现有技术中，图像拼接通常采用单应性矩阵来表示输入图像之间的透视变换关系。以两幅图像拼接为例，首先，确定两幅图像的匹配特征点，所谓匹配特征点即两特征点在空间上表示同一点；然后，根据获取的匹配特征点，求解单应性矩阵；最后，根据该单应性矩阵将其中一幅图像上的所有像素点进行变换，确定在另一幅图像所在平面的对应位置，即得到两幅图的拼接结果。

发明内容

本申请实施例的目的在于提出一种拼接图像的方法和装置。

第一方面，本申请实施例提供了一种拼接图像的方法，该方法包括：基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布，确定每个拍摄位置对应的拼接区域；根据在拍摄位置采集图像时所使用的图像采集设备的移动方向以及各个拍摄位置之间的距离，为每个拍摄位置设置置信度；对于每个拍摄位置对应的拼接区域，在该拍摄位置使用的图像采集设备的同一移动方向上，选取与该拍摄位置相邻的、具有最高置信度的拍摄位置对应的待拼接图像，并调整所选取的待拼接图像使之与该拍摄位置对应的拼接区域适配；在图像拼接面上拼接调整后的各张待拼接图像，生成拼接图像。

在一些实施例中，在基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布确定每个拍摄位置对应的拼接区域之前，方法包括：采集至少两张全景图像；对于每张全景图像，通过投影变换将该全景图像转换为图像拼接面上的待拼接图像；基于至少两张待拼接图像，确定待拼接图像集合。

在一些实施例中，在基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布确定每个拍摄位置对应的拼接区域之前，方法还包括：对于待拼接图像集合中的每张待拼接图像，基于该待拼接图像的成像时间与该待拼接图像的拍摄位置的定位时间之间的时间延迟，确定该待拼接图像的拍摄位置的偏移，并对该待拼接图像的拍摄位置的位置信息进行校正。

在一些实施例中，基于至少两张待拼接图像确定待拼接图像集合，包括：将至少两张待拼接图像划分为至少一个待拼接图像子序列，每个待拼接图像子序列中的待拼接图像为同一图像采集设备在同一移动方向上获取的图像；对于每个待拼接图像子序列，对该待拼接图像子序列中的待拼接图像进行筛选，使得该待拼接图像子序列中任意两张待拼接图像的拍摄位置之间的距离大于第一阈值；基于筛选后的至少一个待拼接图像子序列，确定待拼接图像集合。

在一些实施例中，在基于筛选后的至少一个待拼接图像子序列确定待拼接图像集合之前，方法还包括：对任意两个待拼接图像子序列进行筛选，使得分别位于该两个待拼接图像子序列中的任意两张待拼接图像的拍摄位置之间的距离大于第二阈值。

在一些实施例中，拼接区域为多边形区域，并且对于由待拼接图像集合中的各张待拼接图像的拍摄位置组成的拍摄位置集合中的任一拍摄位置，该拍摄位置对应的拼接区域为图像拼接面上与该拍摄位置的距离比与拍摄位置集合中的其他拍摄位置的距离都小的点的集合。

在一些实施例中，方法还包括：采用多波段融合算法对拼接图像进行融合。

第二方面，本申请实施例提供了一种拼接图像的装置，装置包括：拼接区域确定单元，配置用于基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布，确定每个拍摄位置对应的拼接区域；设置单元，配置用于根据在拍摄位置采集图像时所使用的图像采集设备的移动方向以及各个拍摄位置之间的距离，为每个拍摄位置设置置信度；图像选取适配单元，配置用于对于每个拍摄位置对应的拼接区域，在该拍摄位置使用的图像采集设备的同一移动方向上，选取与该拍摄位置相邻的、具有最高置信度的拍摄位置对应的待拼接图像，并调整所选取的待拼接图像使之与该拍摄位置对应的拼接区域适配；图像拼接单元，配置用于在图像拼接面上拼接调整后的各张待拼接图像，生成拼接图像。

在一些实施例中，装置还包括：图像采集单元，配置用于采集至少两张全景图像；图像转换单元，配置用于对于每张全景图像，通过投影变换将该全景图像转换为图像拼接面上的待拼接图像；图像确定单元，配置用于基于至少两张待拼接图像，确定待拼接图像集合。

在一些实施例中，装置还包括：位置校正单元，配置用于对于待拼接图像集合中的每张待拼接图像，基于该待拼接图像的成像时间与该待拼接图像的拍摄位置的定位时间之间的时间延迟，确定该待拼接图像的拍摄位置的偏移，并对该待拼接图像的拍摄位置的位置信息进行校正。

在一些实施例中，图像确定单元包括：划分模块，配置用于将至少两张待拼接图像划分为至少一个待拼接图像子序列，每个待拼接图像子序列中的待拼接图像为同一图像采集设备在同一移动方向上获取的图像；筛选模块，配置用于对于每个待拼接图像子序列，对该待拼接图像子序列中的待拼接图像进行筛选，使得该待拼接图像子序列中的任意两张待拼接图像的拍摄位置之间的距离大于第一阈值；确定模块，配置用于基于筛选后的至少一个待拼接图像子序列，确定待拼接图像集合。

在一些实施例中，筛选模块还配置用于：对任意两个待拼接图像子序列进行筛选，使得分别位于该两个待拼接图像子序列中的任意两张待拼接图像的拍摄位置之间的距离大于第二阈值。

在一些实施例中，拼接区域为多边形区域，并且对于由待拼接图像集合中的各张待拼接图像的拍摄位置组成的拍摄位置集合中的任一拍摄位置，该拍摄位置对应的拼接区域为图像拼接面上与该拍摄位置的距离比与拍摄位置集合中的其他拍摄位置的距离都小的点的集合。

在一些实施例中，装置还包括：图像融合单元，配置用于采用多波段融合算法对拼接图像进行融合。

本申请实施例提供的拼接图像的方法和装置，根据待拼接图像的拍摄位置在图像拼接面上的位置分布确定拼接区域，而后基于拍摄位置的置信度为每个拼接区域选取、适配待拼接图像，最后进行拼接生成拼接图像，从而实现快速准确地图像拼接，并且不依赖图像之间的重叠区域和匹配特征点。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的拼接图像的方法的一个实施例的流程图；

图3是根据本申请的拼接图像的方法的一个应用场景的示意图；

图4是根据本申请的拼接图像的方法的又一个实施例的流程图；

图5是根据本申请的拼接图像的装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的拼接图像的方法或拼接图像的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括图像采集车辆101、网络104和设备105。其中，图像采集车辆101上可以安装有图像采集设备102和全球定位系统103，图像采集设备102可以拍摄车辆行驶环境中的全景图像，全球定位系统103可以在拍摄全景图像时获取拍摄位置的位置信息。网络104用以在图像采集车辆101和设备105之间提供通信链路的介质，网络104可以采用无线通信链路。

需要说明的是，本申请实施例所提供的拼接图像的方法一般由设备105执行，相应地，拼接图像的装置一般设置于设备105中。

应该理解，图1中的图像采集车辆、网络和设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的图像采集车辆、网络和设备。

继续参考图2，示出了根据本申请的拼接图像的方法的一个实施例的流程200。该拼接图像的方法，包括以下步骤：

步骤201，基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布，确定每个拍摄位置对应的拼接区域。

在本实施例中，拼接图像的方法运行于其上的设备(例如，图1所示的设备105)可以获取待拼接图像集合中的每张待拼接图像的拍摄位置，然后根据各拍摄位置在图像拼接面上的位置分布，确定与每个拍摄位置对应的拼接区域。这里，拍摄位置可以包括坐标信息，例如，由图1所示的全球定位系统获取的坐标信息。在这里，图像拼接面例如可以是各待拼接图像拼接后形成的表面，图像拼接面可以是平面，也可以是曲面，例如，球面。

在本实施例的一些可选的实现方式中，拼接区域可以是多边形区域，并且对于由各拍摄位置组成的拍摄位置集合中的任一拍摄位置，该拍摄位置对应的拼接区域为图像拼接面上与该拍摄位置的距离比与拍摄位置集合中的其他拍摄位置的距离都小的点的集合。具体地，对于由待拼接图像集合中的各张待拼接图像的拍摄位置组成的拍摄位置集合{P₀，P₁，…，P_n}中的任一拍摄位置P_k，该拍摄位置P_k对应的拼接区域R_k为

R_k＝{x∈X|d(x,P_k)＜d(x,P_j),j＝{0,1,2,…,n},j≠k} (1)

其中，X为R_k的点集，x为点集X中的点，d(x,P_k)为点x到拍摄位置P_k的距离，d(x,P_j)为点x到拍摄位置P_j的距离，n、j、k为正整数。通过上述公式(1)确定的拼接区域可以最大限度地保留图像的中心区域，从而可以减小图像畸变的影响。

步骤202，根据在拍摄位置采集图像时所使用的图像采集设备(例如，图1中的图像采集车辆上安装的图像采集设备)的移动方向以及各个拍摄位置之间的距离，为每个拍摄位置设置置信度。

在本实施例中，可以将同一图像采集设备的同一移动方向上采集的各拍摄位置作为一个拍摄位置序列，在同一拍摄位置序列中，根据拍摄位置之间的距离为每个拍摄位置设置置信度，例如，在所使用的图像采集设备的移动方向上，将各拍摄位置的置信度设置为依次升高(也可以将各拍摄位置的置信度设置为依次降低)。

步骤203，对于每个拍摄位置对应的拼接区域，在该拍摄位置使用的图像采集设备的同一移动方向上，选取与该拍摄位置相邻的、具有最高置信度的拍摄位置对应的待拼接图像，并调整所选取的待拼接图像使之与该拍摄位置对应的拼接区域适配。

由于每张待拼接图像的中心区域可以是图像采集车辆(例如，图1所示的图像采集车辆101)，对于每个拍摄位置对应的拼接区域而言，如果将该拍摄位置对应的待拼接图像作为该拼接区域的待拼接图像，则可能会造成拼接图像的信息缺失(因为图像采集车辆通常不需要包含在拼接图像中)。

而在本实施例中，对于每个拍摄位置对应的拼接区域，可以在该拍摄位置所在的拍摄位置序列中，选取与该拍摄位置相邻的、并且具有最高置信度的拍摄位置(例如，前一个拍摄位置)所对应的待拼接图像作为与该拍摄位置对应的拼接区域的待拼接图像，然后根据拼接区域的形状和拍摄位置的位置关系对所选取的待拼接图像进行调整(诸如，裁剪、缩放、偏移等)，使调整后的待拼接图像与该拍摄位置对应的拼接区域适配。通过上述选取适配，调整后的待拼接图像的中心区域不包含图像采集车辆，从而可以避免拼接图像的信息缺失。

步骤204，在图像拼接面上拼接调整后的各张待拼接图像，生成拼接图像。

继续参见图3，图3是根据本实施例的拼接图像的方法的应用场景的一个示意图。在图3的应用场景中，拼接图像的方法运行于其上的设备首先获取待拼接图像集合中的每张待拼接图像的拍摄位置(例如，拍摄位置P₁～P₆)，并基于拍摄位置P₁～P₆在图像拼接面上的位置分布确定由图中虚线所组成的三角形网(以最近邻的三个拍摄位置形成三角形，并且任一三角形的外接圆内不包含其他的拍摄位置)，将与每个拍摄位置相邻的虚线段的垂直平分线围成的连续多边形作为每个拍摄位置对应的拼接区域，例如，围绕拍摄位置P₃的实线多边形所包含的区域为拍摄位置P₃对应的拼接区域；之后，为每个拍摄位置设置置信度，例如，同一个拍摄位置序列中的拍摄位置P₁、P₃和P₆的置信度依次为0.98、0.97和0.96；然后，为每个拍摄位置对应的拼接区域选取并调整待拼接图像，例如，为拍摄位置P₃对应的拼接区域选取拍摄位置P₁对应的待拼接图像，并根据拍摄位置P₃对应的拼接区域的形状以及拍摄位置P₁和P₃的位置关系调整(诸如，裁剪、缩放、偏移等)所选取的待拼接图像；最后，在图像拼接面上拼接调整后的各张待拼接图像并生成拼接图像。

本申请的上述实施例提供的方法通过拍摄位置在图像拼接面上的位置分布确定拼接区域，并基于拍摄位置的置信度为每个拼接区域选取、适配待拼接图像，实现了快速准确地拼接图像，并且不依赖图像之间的重叠区域和匹配特征点。

进一步参考图4，其示出了拼接图像的方法的又一个实施例的流程400。该拼接图像的方法的流程400，包括以下步骤：

步骤401，获取待拼接图像集合。

在本实施例中，图像采集设备(例如，图1的图像采集车辆101上安装的图像采集设备102)采集的图像可以是以图像采集设备为中心的全景图像，获取待拼接图像集合的步骤可进一步包括：

步骤4011，通过图像采集设备采集至少两张全景图像；

步骤4012，对于每张全景图像，通过投影变换将该全景图像转换为图像拼接面上的待拼接图像(例如，俯视图)；

步骤4013，基于至少两张待拼接图像，确定待拼接图像集合。

通过上述图像转换获得待拼接图像集合，可以应用于不适合直接拼接所采集图像的场景，例如，在进行地图制作时，通过将采集的以图像采集设备为中心的全景图像转换为俯视图，再进行拼接，可以更完整地展现道路的全貌；还可以应用于不适合直接采集在图像拼接面上使用的图像，比如，在禁空限制严格的城市(例如，北京等)，不适合无人飞机采集地面图像。

在本实施例的一些可选的实现方式中，步骤4013可进一步包括：将至少两张待拼接图像划分为至少一个待拼接图像子序列，每个待拼接图像子序列中的待拼接图像为同一图像采集设备在同一移动方向上获取的图像；对于每个待拼接图像子序列，对该待拼接图像子序列中的待拼接图像进行筛选，使得该待拼接图像子序列中任意两张待拼接图像的拍摄位置之间的距离大于第一阈值；基于筛选后的至少一个待拼接图像子序列，确定待拼接图像集合。图像采集设备采集的全景图像的覆盖范围通常要比相邻的两个拍摄位置之间的距离大的多，例如，图像采集设备每隔10米采集一张全景图像，而每张全景图像可覆盖直径100米的范围，通过筛选每个待拼接图像子序列中的待拼接图像，使每个待拼接图像的拍摄位置之间的距离大于第一阈值(例如，30米)，可以使参与拼接的待拼接图像保持合理的密度，从而进一步提高拼接速度。

在本实施例的一些可选的实现方式中，在基于筛选后的至少一个待拼接图像子序列确定待拼接图像集合之前，步骤4013可进一步包括：对任意两个待拼接图像子序列进行筛选，使得分别位于该两个待拼接图像子序列中的任意两张待拼接图像的拍摄位置之间的距离大于第二阈值。由于同一拍摄位置附近(例如，同一条道路)可能至少两个图像采集设备采集全景图像，或者被同一采集设备来回采集至少两次，通过对分别位于两个待拼接图像子序列中的待拼接图像进行筛选，使得分别位于两个待拼接图像子序列中的待拼接图像的拍摄位置之间的距离均大于第二阈值(例如，35米)，从而可进一步优化参与拼接的待拼接图像的密度，从而进一步提高拼接速度。

应当理解，第一阈值可以大于第二阈值，也可以小于或等于第二阈值，本领域的技术人员可以根据实际场景的需要进行设置。

步骤402，基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布，确定每个拍摄位置对应的拼接区域。

步骤403，根据在拍摄位置采集图像时所使用的图像采集设备的移动方向以及各个拍摄位置之间的距离，为每个拍摄位置设置置信度。

步骤404，对于每个拍摄位置对应的拼接区域，在该拍摄位置使用的图像采集设备的同一移动方向上，选取与该拍摄位置相邻的、具有最高置信度的拍摄位置对应的待拼接图像，并调整所选取的待拼接图像使之与该拍摄位置对应的拼接区域适配。

步骤405，在图像拼接面上拼接调整后的各张待拼接图像，生成拼接图像。

在本实施例中，步骤402～步骤405与图2所示的实施例中步骤201～步骤204类似，因此，步骤402～步骤405的详细描述可以参考图2中关于步骤201～步骤204的描述。

在本实施例的一些可选的实现方式中，在步骤402之前，该方法还可以包括：对于待拼接图像集合中的每张待拼接图像，基于该待拼接图像的成像时间与该待拼接图像的拍摄位置的定位时间之间的时间延迟，确定该待拼接图像的拍摄位置的偏移，并对该待拼接图像的拍摄位置的位置信息(例如，坐标信息)进行校正。对拍摄位置的位置信息的校正可按照如下公式：

x'＝x+k×v×sin(θ) (2)

y'＝y+k×v×cos(θ) (3)

其中，x为待拼接图像的拍摄位置校正前的经向坐标值，y为待拼接图像的拍摄位置校正前的纬向坐标值，x’为待拼接图像的拍摄位置校正后的经向坐标值，y’为待拼接图像的拍摄位置校正后的纬向坐标值，k为图像采集设备的延迟时间常数，v为图像采集设备的移动速度，θ为图像采集设备的移动方向与正北方向的夹角。

通过上述位置校正，可以降低由于图像采集设备的成像延迟而导致的待拼接图像的实际拍摄位置与全球定位系统(例如，图1所示的全球定位系统103)获得的拍摄位置之间的偏差。从而进一步提高拼接图像的准确性。

本申请的上述实施例提供的方法通过对采集的全景图像进行投影变换，并通过拍摄位置在图像拼接面上的位置分布确定拼接区域，然后基于拍摄位置的置信度为每个拼接区域选取、适配待拼接图像，实现了快速准确地拼接图像，不依赖图像之间的重叠区域和匹配特征点，并且应用场景更广。

在本申请实施例的一些可选的实现方式中，该方法还可包括：采用多波段融合(Multi-band blending)算法对所述拼接图像进行融合。多频段融合算法是建立在高斯金字塔变换基础上的融合算法，通过将拼接图像分解成多个不同空间分辨率、不同尺度的子拼接图像构成金字塔，然后由各层金字塔分别进行融合，最后组合得到融合后的拼接图像。经过图像融合，可以减少受光照、图像采集设备等因素对拼接图像的影响，能够有效地消除拼接缝隙。

需要说明的是，上述图像融合的方法是目前广泛研究和应用的公知技术，在此不作赘述。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种拼接图像的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种设备中。

如图5所示，本实施例的拼接图像的装置500包括拼接区域确定单元501、设置单元502、图像选取适配单元503和图像拼接单元504。

其中，拼接区域确定单元501配置基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布，确定每个拍摄位置对应的拼接区域；设置单元502配置用于根据在拍摄位置采集图像时所使用的图像采集设备的移动方向以及各个拍摄位置之间的距离，为每个拍摄位置设置置信度；图像选取适配单元503配置用于对于每个拍摄位置对应的拼接区域，在该拍摄位置使用的图像采集设备的同一移动方向上，选取与该拍摄位置相邻的、具有最高置信度的拍摄位置对应的待拼接图像，并调整所选取的待拼接图像使之与该拍摄位置对应的拼接区域适配；而图像拼接单元504配置用于在图像拼接面上拼接调整后的各张待拼接图像，生成拼接图像。

在本实施例的一些可选的实现方式中，装置500还包括图像采集单元、图像转换单元和图像确定单元。其中，图像采集单元配置用于采集至少两张全景图像；图像转换单元配置用于对于每张全景图像，通过投影变换将该全景图像转换为图像拼接面上的待拼接图像；图像确定单元配置用于基于至少两张待拼接图像，确定待拼接图像集合。

在本实施例的一些可选的实现方式中，装置500还包括位置校正单元。其中，位置校正单元配置用于对于待拼接图像集合中的每张待拼接图像，基于该待拼接图像的成像时间与该待拼接图像的拍摄位置的定位时间之间的时间延迟，确定该待拼接图像的拍摄位置的偏移，并对该待拼接图像的拍摄位置的位置信息进行校正。

在本实施例的一些可选的实现方式中，图像确定单元包括划分模块、筛选模块和确定模块。其中，划分模块配置用于将至少两张待拼接图像划分为至少一个待拼接图像子序列，每个待拼接图像子序列中的待拼接图像为同一图像采集设备在同一移动方向上获取的图像；筛选模块配置用于对于每个待拼接图像子序列，对该待拼接图像子序列中的待拼接图像进行筛选，使得该待拼接图像子序列中的任意两张待拼接图像的拍摄位置之间的距离大于第一阈值；确定模块配置用于基于筛选后的至少一个待拼接图像子序列，确定待拼接图像集合。

在本实施例的一些可选的实现方式中，筛选模块还配置用于对任意两个待拼接图像子序列进行筛选，使得分别位于该两个待拼接图像子序列中的任意两张待拼接图像的拍摄位置之间的距离大于第二阈值。

在本实施例的一些可选的实现方式中，拼接区域为多边形区域，并且对于由待拼接图像集合中的各张待拼接图像的拍摄位置组成的拍摄位置集合中的任一拍摄位置，该拍摄位置对应的拼接区域为图像拼接面上与该拍摄位置的距离比与拍摄位置集合中的其他拍摄位置的距离都小的点的集合。

在本实施例的一些可选的实现方式中，装置500还包括图像融合单元。其中，图像融合单元配置用于采用多波段融合算法对拼接图像进行融合。

应当理解，装置500中记载的诸单元与参考图2和图4描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。

本申请的上述实施例提供的用于拼接图像的装置500，通过拍摄位置在图像拼接面上的位置分布确定拼接区域，并基于拍摄位置的置信度为每个拼接区域选取、适配待拼接图像，实现了快速准确地拼接图像，并且不依赖图像之间的重叠区域和匹配特征点。

下面参考图6，其示出了适于用来实现本申请实施例的设备的计算机系统600的结构示意图。图6示出的设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括拼接区域确定单元、设置单元、图像选取适配单元和图像拼接单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，拼接区域确定单元还可以被描述为“确定每个拍摄位置对应的拼接区域的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布，确定每个拍摄位置对应的拼接区域；根据在拍摄位置采集图像时所使用的图像采集设备的移动方向以及各个拍摄位置之间的距离，为每个拍摄位置设置置信度；对于每个拍摄位置对应的拼接区域，在该拍摄位置使用的图像采集设备的同一移动方向上，选取与该拍摄位置相邻的、具有最高置信度的拍摄位置对应的待拼接图像，并调整所选取的待拼接图像使之与该拍摄位置对应的拼接区域适配；在图像拼接面上拼接调整后的各张待拼接图像，生成拼接图像。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于拼接图像的方法，其特征在于，所述方法包括：

基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布，确定每个拍摄位置对应的拼接区域；

根据在拍摄位置采集图像时所使用的图像采集设备的移动方向以及各个拍摄位置之间的距离，为每个拍摄位置设置置信度；

对于每个拍摄位置对应的拼接区域，在该拍摄位置使用的图像采集设备的同一移动方向上，选取与该拍摄位置相邻的、具有最高置信度的拍摄位置对应的待拼接图像，并调整所选取的待拼接图像使之与该拍摄位置对应的拼接区域适配；

在所述图像拼接面上拼接调整后的各张待拼接图像，生成拼接图像；

其中，所述拼接区域为多边形区域，并且对于由所述待拼接图像集合中的各张待拼接图像的拍摄位置组成的拍摄位置集合中的任一拍摄位置，该拍摄位置对应的拼接区域为所述图像拼接面上与该拍摄位置的距离比与所述拍摄位置集合中的其他拍摄位置的距离都小的点的集合。

2.根据权利要求1所述的方法，其特征在于，在所述基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布确定每个拍摄位置对应的拼接区域之前，所述方法包括：

采集至少两张全景图像；

对于每张全景图像，通过投影变换将该全景图像转换为所述图像拼接面上的待拼接图像；

基于至少两张待拼接图像，确定待拼接图像集合。

3.根据权利要求1所述的方法，其特征在于，在所述基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布确定每个拍摄位置对应的拼接区域之前，所述方法还包括：

对于待拼接图像集合中的每张待拼接图像，基于该待拼接图像的成像时间与该待拼接图像的拍摄位置的定位时间之间的时间延迟，确定该待拼接图像的拍摄位置的偏移，并对该待拼接图像的拍摄位置的位置信息进行校正。

4.根据权利要求2所述的方法，其特征在于，所述基于至少两张待拼接图像确定待拼接图像集合，包括：

将所述至少两张待拼接图像划分为至少一个待拼接图像子序列，每个待拼接图像子序列中的待拼接图像为同一图像采集设备在同一移动方向上获取的图像；

对于每个待拼接图像子序列，对该待拼接图像子序列中的待拼接图像进行筛选，使得该待拼接图像子序列中任意两张待拼接图像的拍摄位置之间的距离大于第一阈值；

基于筛选后的所述至少一个待拼接图像子序列，确定待拼接图像集合。

5.根据权利要求4所述的方法，其特征在于，在所述基于筛选后的所述至少一个待拼接图像子序列确定待拼接图像集合之前，所述方法还包括：

对任意两个待拼接图像子序列进行筛选，使得分别位于该两个待拼接图像子序列中的任意两张待拼接图像的拍摄位置之间的距离大于第二阈值。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用多波段融合算法对所述拼接图像进行融合。

7.一种用于拼接图像的装置，其特征在于，所述装置包括：

拼接区域确定单元，配置用于基于待拼接图像集合中的各张待拼接图像的拍摄位置在图像拼接面上的位置分布，确定每个拍摄位置对应的拼接区域；

设置单元，配置用于根据在拍摄位置采集图像时所使用的图像采集设备的移动方向以及各个拍摄位置之间的距离，为每个拍摄位置设置置信度；

图像选取适配单元，配置用于对于每个拍摄位置对应的拼接区域，在该拍摄位置使用的图像采集设备的同一移动方向上，选取与该拍摄位置相邻的、具有最高置信度的拍摄位置对应的待拼接图像，并调整所选取的待拼接图像使之与该拍摄位置对应的拼接区域适配；

图像拼接单元，配置用于在所述图像拼接面上拼接调整后的各张待拼接图像，生成拼接图像；

其中，所述拼接区域为多边形区域，并且对于由所述待拼接图像集合中的各张待拼接图像的拍摄位置组成的拍摄位置集合中的任一拍摄位置，该拍摄位置对应的拼接区域为所述图像拼接面上与该拍摄位置的距离比与所述拍摄位置集合中的其他拍摄位置的距离都小的点的集合。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

图像采集单元，配置用于采集至少两张全景图像；

图像转换单元，配置用于对于每张全景图像，通过投影变换将该全景图像转换为所述图像拼接面上的待拼接图像；

图像确定单元，配置用于基于至少两张待拼接图像，确定待拼接图像集合。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

位置校正单元，配置用于对于待拼接图像集合中的每张待拼接图像，基于该待拼接图像的成像时间与该待拼接图像的拍摄位置的定位时间之间的时间延迟，确定该待拼接图像的拍摄位置的偏移，并对该待拼接图像的拍摄位置的位置信息进行校正。

10.根据权利要求8所述的装置，其特征在于，所述图像确定单元包括：

划分模块，配置用于将所述至少两张待拼接图像划分为至少一个待拼接图像子序列，每个待拼接图像子序列中的待拼接图像为同一图像采集设备在同一移动方向上获取的图像；

筛选模块，配置用于对于每个待拼接图像子序列，对该待拼接图像子序列中的待拼接图像进行筛选，使得该待拼接图像子序列中的任意两张待拼接图像的拍摄位置之间的距离大于第一阈值；

确定模块，配置用于基于筛选后的所述至少一个待拼接图像子序列，确定待拼接图像集合。

11.根据权利要求10所述的装置，其特征在于，所述筛选模块还配置用于：

对任意两个待拼接图像子序列进行筛选，使得分别位于该两个待拼接图像子序列中的任意两张待拼接图像的拍摄位置之间的距离大于第二阈值。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：

图像融合单元，配置用于采用多波段融合算法对所述拼接图像进行融合。

13.一种服务器，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。

Images