CN109903220A - 一种图像拼接方法、拼接装置及电子设备 - Google Patents

Abstract

本发明实施例提供了一种图像拼接方法、拼接装置及电子设备，其中方法包括：获取待调整拼接图像中的待调整区域，待调整拼接图像由多幅图像拼接而成；从多幅图像中确定待调整区域对应的图像组，其中图像组包括至少一组具有拼接关系的两幅图像；针对各组具有拼接关系的第一图像和第二图像，获取第一图像的第一待优化区域及第二图像的第二待优化区域；提取第一待优化区域的多个特征点及第二待优化区域的多个特征点；对第一待优化区域的多个特征点和第二待优化区域的多个特征点匹配，生成特征点对；基于特征点对，对第一图像和所述第二图像重新拼接。本发明实施例能够消除由于人工逐个检查特征点对所占用的时间，从而提高图像拼接效率。

Description

一种图像拼接方法、拼接装置及电子设备

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像拼接方法、拼接装置及电子设备。

背景技术

图像拼接，是一种将多幅存在重叠部分的图像拼接为一幅图像的技术，拼接后的图像通常为一幅全景图像。

现有的图像拼接方法，在对图像进行拼接前，计算机会先在多幅存在重叠部分的图像中，选取各图像的多个特征点，然后在各图像中，匹配所选取的特征点，并显示得到的特征点对。例如，在图像A和图像B中，计算机匹配得到特征点对a和b，其中，特征点a位于图像A，特征点b位于图像B。如果需要显示特征点对a和b，则计算机将图像A和图像B并排显示，并在特征点a和特征点b之间连接一条直线，表明特征点a和特征点b是一对特征点对。

但是现有的图像拼接方法，计算机生成的特征点对，可能并不是存在重叠部分的图像实际所匹配的特征点对。这就需要由人工对匹配错误的特征点对重新进行编辑，例如：在显示有特征点对的各图像中，由人工进行删除匹配错误的特征点对、添加新的特征点对等操作。

现有基于特征点匹配技术的图像拼接方法，需要由人工逐个对各个特征点对进行检查，然后再对匹配错误的特征点对进行编辑，会占用较多的处理时间，因此存在图像拼接效率低下的问题。

发明内容

本发明实施例的目的在于提供一种图像拼接方法、拼接装置及电子设备，以实现提高图像拼接效率的目的。具体技术方案如下：

第一方面，本发明实施例提供了一种图像拼接方法，包括：

获取待调整拼接图像中的待调整区域，所述待调整拼接图像由多幅图像拼接而成；

从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像；

针对所述图像组中各组具有拼接关系的第一图像和第二图像，获取所述第一图像中的第一待优化区域，以及所述第二图像中的第二待优化区域；

提取所述第一待优化区域的多个特征点，以及提取所述第二待优化区域的多个特征点；

对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对；

基于所述特征点对，对所述第一图像和所述第二图像重新进行拼接。

可选地，所述获取待调整拼接图像中的待调整区域，包括：

基于所接收的针对所述待调整拼接图像的区域选择操作指令，获取所述待调整拼接图像中该区域选择操作所选择的待调整区域。

可选地，所述从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像，包括：

从所述多幅图像中，确定包含所述待调整区域或所述待调整区域的子区域且具有拼接关系的两幅图像，所述两幅图像包括第一图像和第二图像；

或者，获取表示所述多幅图像中每幅图像在所述待调整拼接图像中的覆盖区域的覆盖信息；

从所述多幅图像中，基于所述覆盖信息，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像。

可选地，当所述待调整区域属于一幅图像时，所述从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像，包括：

从所述多幅图像中，确定所述待调整区域所属的图像，作为第一图像；

从所述多幅图像中与所述第一图像存在拼接关系的图像中，确定在所述待调整拼接图像中，距离所述待调整区域最近的图像，作为第二图像。

可选地，所述从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像，包括：

获取对所述待调整拼接图像进行二值化处理后得到的mask图，所述mask图能够表示所述待调整拼接图像中的各个图像区域分别所属的图像；

在所述mask图中，确定所述待调整区域所属的图像为第一图像，并沿所述待调整区域的四周，查找突变点；

在查找得到的突变点中，确定与所述待调整区域距离最近的突变点所属的图像为第二图像。

可选地，所述针对所述图像组中各组具有拼接关系的第一图像和第二图像，获取所述第一图像中的第一待优化区域，以及所述第二图像中的第二待优化区域，包括：

基于所接收的针对所述第一图像的区域选择操作指令，获取所述第一图像中的该区域选择操作所选择的第一待优化区域，以及基于所接收的针对所述第二图像的区域选择操作指令，获取所述第二图像中的该区域选择操作所选择的第二待优化区域。

可选地，所述对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对之前，所述方法还包括：

去除位于所述第一待优化区域边缘的特征点以及位于所述第二待优化区域边缘的特征点，得到位于所述第一待优化区域内部的特征点，以及位于所述第二待优化区域内部的特征点。

可选地，所述对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对，包括：

对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配；

在匹配得到的多个特征点对中，利用RANSAC随机抽样一致算法去除错误匹配对，得到相匹配的特征点对。

可选地，所述基于所述特征点对，对所述第一图像和所述第二图像重新进行拼接之前，所述方法还包括：

获取所述第一图像和所述第二图像的原始特征点对，所述原始特征点对为历史拼接处理时，生成的所述第一图像和所述第二图像的特征点对；

所述基于所述特征点对，对所述第一图像和所述第二图像重新进行拼接，包括：

合并所述原始特征点对和所生成的所述相匹配的特征点对，得到合并后的特征点对；

基于所述合并后的特征点对，对所述第一图像和所述第二图像重新进行拼接。

第二方面，本发明实施例提供了一种图像拼接装置，包括：

第一获取模块，用于获取待调整拼接图像中的待调整区域，所述待调整拼接图像由多幅图像拼接而成；

确定模块，用于从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像；

第二获取模块，用于针对所述图像组中各组具有拼接关系的第一图像和第二图像，获取所述第一图像中的第一待优化区域，以及所述第二图像中的第二待优化区域；

提取模块，用于提取所述第一待优化区域的多个特征点，以及提取所述第二待优化区域的多个特征点；

匹配模块，用于对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对；

拼接模块，用于基于所述特征点对，对所述第一图像和所述第二图像重新进行拼接。

可选地，所述第一获取模块，具体用于：

基于所接收的针对所述待调整拼接图像的区域选择操作指令，获取所述待调整拼接图像中该区域选择操作所选择的待调整区域。

可选地，所述确定模块，具体用于：

从所述多幅图像中，确定包含所述待调整区域或所述待调整区域的子区域且具有拼接关系的两幅图像，所述两幅图像包括第一图像和第二图像；

或者，获取表示所述多幅图像中每幅图像在所述待调整拼接图像中的覆盖区域的覆盖信息；

从所述多幅图像中，基于所述覆盖信息，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像。

可选地，所述确定模块，包括：

第一确定子模块，用于从所述多幅图像中，确定所述待调整区域所属的图像，作为第一图像；

第二确定子模块，用于当所述待调整区域属于一幅图像时，从所述多幅图像中与所述第一图像存在拼接关系的图像中，确定在所述待调整拼接图像中，距离所述待调整区域最近的图像，作为第二图像。

可选地，所述第二确定子模块，具体用于：

获取对所述待调整拼接图像进行二值化处理后得到的mask图，所述mask图能够表示所述待调整拼接图像中的各个图像区域分别所属的图像；

在所述mask图中，确定所述待调整区域所属的图像为第一图像，并沿所述待调整区域的四周，查找突变点；

在查找得到的突变点中，确定与所述待调整区域距离最近的突变点所属的图像为第二图像。

可选地，所述第二获取模块，具体用于：

基于所接收的针对所述第一图像的区域选择操作指令，获取所述第一图像中的该区域选择操作所选择的第一待优化区域，以及基于所接收的针对所述第二图像的区域选择操作指令，获取所述第二图像中的该区域选择操作所选择的第二待优化区域。

可选地，所述装置还包括：

筛选模块，用于去除位于所述第一待优化区域边缘的特征点以及位于所述第二待优化区域边缘的特征点，得到位于所述第一待优化区域内部的特征点，以及位于所述第二待优化区域内部的特征点。

可选地，所述匹配模块，具体用于：

对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配；

在匹配得到的多个特征点对中，利用RANSAC随机抽样一致算法去除错误匹配对，得到相匹配的特征点对。

可选地，所述装置还包括：

第三获取模块，用于获取所述第一图像和所述第二图像的原始特征点对，所述原始特征点对为历史拼接处理时，生成的所述第一图像和所述第二图像初次拼接时生成的特征点对；

所述拼接模块，具体用于：

合并所述第三获取模块获取的原始特征点对和所生成的所述相匹配的特征点对，得到合并后的特征点对；

基于所述合并后的特征点对，对所述第一图像和所述第二图像重新进行拼接。

第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行存储器上所存放的程序时，执行以下步骤：

从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像；

针对所述图像组中各组具有拼接关系的第一图像和第二图像，获取所述第一图像中的第一待优化区域，以及所述第二图像中的第二待优化区域；

提取所述第一待优化区域的多个特征点，以及提取所述第二待优化区域的多个特征点；

对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对；

基于所述特征点对，对所述第一图像和所述第二图像重新进行拼接。

本发明实施例提供的图像拼接方法、拼接装置及电子设备，通过获取待调整拼接图像中的待调整区域，确定待调整区域对应的图像组中，各组具有拼接关系的两幅图像所包括的第一图像的待优化区域和第二图像的待优化区域，从而根据所确定的待优化区域，重新自动提取相应的特征点并重新匹配得到新的特征点对，而不是由人工逐个在第一图像和第二图像中检查已生成的特征点对。因此，本发明实施例能够消除由于人工逐个检查特征点对所占用的时间，从而提高图像拼接效率。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像拼接方法的一种流程示意图；

图2为本发明实施例提供的图像拼接方法中待调整区域的示意图；

图3为本发明实施例提供的图像拼接装置的结构示意图；

图4为本发明实施例提供的图像拼接装置中确定模块的结构示意图；

图5为本发明实施例提供的图像拼接装置的另一种结构示意图；

图6为本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种图像拼接方法，可以应用于服务器，当然也可以应用于其它类型的具有图像处理功能的设备，该过程可以包括以下步骤：

S101，获取待调整拼接图像中的待调整区域，待调整拼接图像由多幅图像拼接而成。

由于待调整拼接图像是由多幅图像拼接而成的，在拼接过程中，难免会出现拼接瑕疵，需要对存在拼接瑕疵的区域进行调整，而该区域可以称为待调整区域。容易理解的是，待调整区域一般可以位于两幅或多幅图像的拼接处。

本发明实施例的待调整拼接图像，可以为初次拼接后的需要进行调整的图像，也可以为多次拼接后的需要再次进行调整拼接的图像。通常情况下，一幅待调整拼接图像中，可能存在多个待调整区域，因此，本发明实施例可以应用于多个待调整区域，进而对每个待调整区域进行处理。

作为一种可选的实施方式，本发明实施例中，服务器可以基于所接收的用户针对待调整拼接图像的区域选择操作指令，获取待调整拼接图像中该区域选择操作所选择的待调整区域。

具体地，用户可以在待调整拼接图像中通过单击操作，或者画圈操作，或者画框操作，或者拉框选择一个区域操作，或者输入一个位于待调整拼接图像中的区域的坐标，从而选择一个区域，服务器可以检测用户的上述针对待调整拼接图像的区域选择操作，或者接收针对上述操作产生的指令，并获取待调整拼接图像中该区域选择操作所选择的待调整区域。上述基于用户的区域选择操作从而获取待调整区域的方法过程，能够提高人机交互效率，增加本发明实施例的易用性。

S102，从多幅图像中，确定待调整区域对应的图像组，其中，图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像。

本发明实施例中，由于待调整拼接图像可以是由多幅图像拼接而成的，因此各图像间可以存在拼接关系，又由于待调整区域属于待调整图像的一部分，因此待调整区域对应的图像同样可以存在拼接关系。

容易理解的是，待调整区域可能恰好位于两幅图像的拼接“接缝”上，或者包含两幅图像的拼接部分，或者位于两幅图像的拼接部分中，则待调整区域可以同时属于两幅图像，可以确定这两幅图像为待调整区域对应的具有拼接关系的两幅图像。待调整区域还可以只属于一幅图像，在待调整拼接图像中可以存在多幅与待调整区域所属的图像具有拼接关系的图像，可以根据预设条件，从多幅与待调整区域所属的图像具有拼接关系的图像中选择一幅图像，与待调整区域所属的图像一起确定为待调整区域对应的具有拼接关系的两幅图像。上述待调整区域对应的图像组中包含一组具有拼接关系的两幅图像，这两幅具有拼接关系的图像包括第一图像和第二图像。

如图2所示，待调整区域还可以位于多幅图像的交接处，如图中斜线框部分所示，此时的待调整区域可以看作是多幅图像经两两拼接后形成的待调整子区域的集合，本发明实施例可以先从多幅图像中确定待调整区域对应的图像组，该图像组中包括至少一组具有拼接关系的两幅图像。后续需要针对图像组中的每组具有拼接关系的两幅图像进行再次拼接处理。其中，每组具有拼接关系的两幅图像可以包括第一图像和第二图像。具体地，如图2所示的待调整区域对应的图像组中，图像A、B具有拼接关系，图像A、C具有拼接关系，图像B、D具有拼接关系，图像C、D具有拼接关系。待调整区域对应的图像组中包含4组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像。例如：针对图像A、B这组具有拼接关系的两幅图像，图像A可以为第一图像，对应地图像B可以为第二图像。容易理解的是，图像B可以为第一图像，对应地图像A可以为第二图像。

作为本发明实施例一种可选的实施方式，可以根据待调整区域或待调整区域的子区域的图像信息，从多幅图像中，确定包含待调整区域或待调整区域的子区域且具有拼接关系的两幅图像，两幅图像包括第一图像和第二图像。

容易理解的是，待调整区域作为待调整拼接图像的一部分，具有相应的图像信息，因此可以通过确定哪些图像具有拼接关系且其中包含待调整区域或待调整区域的子区域的图像信息，从而确定待调整区域对应的图像组。上述待调整区域或待调整区域的子区域图像信息，通常可以为该区域的平均亮度信息。例如，待调整区域或待调整区域的子区域中，各像素点的亮度信息的平均值。本发明实施例能够从多幅图像中同时确定待调整区域对应的图像组，提高确定具有拼接关系的两幅图像的效率。

作为本发明实施例一种可选的实施方式，当待调整区域属于一幅图像时，确定具有拼接关系的两幅图像时，可以先确定一幅图像，再根据所确定的图像确定另一幅图像。具体地，可以先从多幅图像中，确定待调整区域所属的图像，并将该图像作为第一图像；然后再从多幅图像中的与第一图像存在拼接关系的图像中，确定在待调整拼接图像中距离待调整区域最近的图像，并将该图像作为第二图像。通过上述实施方式的图像确定方法过程，可以在确定第一图像的基础上，方便地确定第二图像。

作为本发明实施例一种可选的实施方式，确定上述两幅图像时，还可以先确定第一图像，再基于mask图查找突变点，从而得到第二图像。具体地例如，可以先获取mask图，该mask图可以是待调整拼接图像进行二值化处理后得到的图像，该mask图能够表示待调整拼接图像中的各个图像区域分别所属的图像，也即，通过mask图可得知待调整拼接图像中的各个图像区域分别取自何幅图像。然后，确定待调整区域所属的图像为第一图像，并沿待调整区域的四周查找突变点。进一步可选地，可以沿待调整区域的上下左右四个方向查找突变点，得到多个突变点。在得到的多个突变点中，可以容易地确定距离待调整区域最近的突变点，则该突变点所属的图像即可以确定为第二图像。通过上述基于mask图的突变点确定第一图像和第二图像的方法过程，可以方便地在与第一图像相邻的多个图像中确定出第二图像。

本发明实施例中，mask图通常可以是只具有亮度信息或灰度信息的二值化图像，因此突变点同样可以为亮度的突变点或者灰度的突变点。

作为本发明实施例一种可选的实施方式，可以基于用于表示多幅图像中每幅图像在待调整拼接图像中的覆盖区域的覆盖信息，确定待调整区域对应的图像组。例如，待调整拼接图像由8行8列共64幅图像拼接而成，则待调整拼接图像的覆盖区域可以为8行×8列。假设第一图像位于覆盖区域的第一行第二列，那么第一图像的覆盖信息可以为第一行第二列，第二图像位于覆盖区域的第一行第三列，那么第二图像的覆盖信息可以为第一行第三列，因此可以根据覆盖信息，确定待调整区域对应的图像组中各组具有拼接关系的两幅图像。由于待调整拼接图像中的覆盖区域的覆盖信息可以容易地获取，因此上述基于覆盖信息确定待调整区域对应的图像组的方法过程更加简便。

进一步可选地，还可以基于上述覆盖信息，先确定一幅图像，再通过所确定的图像确定另一幅图像。如前文所述，待调整区域可以属于一幅图像，因此在获取覆盖信息后，便可以确定覆盖信息对应的一幅图像，进而再从多幅图像中的与第一图像存在拼接关系的图像中，确定在待调整拼接图像中距离待调整区域最近的图像，并将该图像作为第二图像。本发明实施例的基于覆盖信息先确定第一图像，再确定第二图像的方法过程，可以在确定第一图像的基础上，进一步方便地确定第二图像。

S103，针对图像组中各组具有拼接关系的第一图像和第二图像，获取第一图像中的第一待优化区域，以及第二图像中的第二待优化区域。

由于对图像进行拼接时，一般是将图像中的重叠部分进行拼接，因此本发明实施例中，确定图像组中各组具有拼接关系的第一图像和第二图像后，还可以确定第一待优化区域和第二待优化区域。其中，第一待优化区域属于第一图像，第二待优化区域属于第二图像。一般地，第一待优化区域和第二待优化区域可以具有重叠部分。

作为本发明实施例一种可选的实施方式，可以通过检测用户的操作，获取第一待优化区域和第二待优化区域。具体地例如，用户可以在第一图像中通过画圈操作，或者画框操作，或者拉框选择一个区域操作，或者输入一个位于第一图像中的区域的坐标，从而选择一个区域，服务器可以检测用户的选择操作，或者接收针对上述操作产生的指令，从而获取第一图像的第一待优化区域。同理可以获取第二图像的第二待优化区域。上述基于用户的区域选择操作获取待优化区域的方法过程，能够提高人机交互效率，增加本发明实施例的易用性。

S104，提取第一待优化区域的多个特征点，以及提取第二待优化区域的多个特征点。

本发明实施例中，确定第一待优化区域和第二待优化区域后，便可以提取第一待优化区域的多个特征点，以及提取第二待优化区域的多个特征点。可以采用现有的SIFT(Scale Invariant Feature Transform，尺度不变特征变换匹配)算法、SURF(Speed-uprobust features，加速健壮特征)算法等方法提取第一待优化区域及第二待优化区域的特征点。

S105，对第一待优化区域的多个特征点和第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对。

本发明实施例中，获得第一待优化区域的多个特征点和第二待优化区域的多个特征点后，可以对第一待优化区域的多个特征点和第二待优化区域的多个特征点进行匹配。同样可以采用现有的SIFT(Scale Invariant Feature Transform，尺度不变特征变换匹配)算法、SURF(Speed-up robust features，加速健壮特征)算法对提取的特征点进行匹配，从而可以生成相匹配的特征点对。

作为本发明实施例一种可选的实施方式，在对第一待优化区域的多个特征点和第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对之前，本发明实施例的图像拼接方法还可以包括：去除位于第一待优化区域边缘的特征点以及位于第二待优化区域边缘的特征点，得到位于第一待优化区域内部的特征点，以及位于第二待优化区域内部的特征点。

位于待优化区域边缘的特征点一般处于临界状态，也即，该特征点可以作为特征点，也可以不作为特征点，位于待优化区域边缘的特征点通常不容易匹配得到特征点对。本发明实施例可以对所提取的特征点进行筛选，从而去除位于待优化区域边缘的特征点，保留位于待优化区域内部的特征点，提高所提取特征点的质量。

在一种可选的实施方式中，当筛选后的特征点数量低于预设数量阈值时，可以通过降低特征点的提取门限，重新对待优化区域内的特征点进行提取，从而达到需要的预设数量阈值。

作为本发明实施例一种可选的实施方式，在匹配得到的多个特征点对中，还可以利用RANSAC(Random Sample Consensus，随机采样一致)算法去除错误匹配对，进一步得到相匹配的特征点对，从而提高特征点对的匹配准确度。例如可以为，先从匹配得到的多个特征点对中随机选取小部分特征点对作为初始样本，利用初始样本计算初始模型，再通过所有的特征点对验证上述初始模型，通过迭代计算逐步扩大有效样本，得到一个更精确的模型，通过该模型去除错误的匹配对。

S106，基于特征点对，对第一图像和第二图像重新进行拼接。

本发明实施例中，通过重新确定的特征点对，可以对第一图像和第二图像重新进行拼接，从而获得拼接质量更好的图像。获得拼接图像的过程，例如可以为：利用特征点对计算第一图像和第二图像间的单应性矩阵，得到单应性矩阵后，利用该单应性矩阵分别计算第一图像和第二图像的相机内外参数矩阵，并以相机内外参数为初始值，精确计算两幅图像的相机的精确内外参数，再生成两幅图像的投影图，从而通过两幅投影图生成拼接图像，该图像可以为一幅全景图像。

在一种可选的实施方式中，还可以将原始特征点对和所生成的特征点对合并，利用合并后的特征点对，对第一图像和第二图像重新进行拼接。

本发明实施例中，对特征点对进行合并，例如可以为：去除原始特征点对和所生成的特征点对中重复的特征点对，保留剩余的特征点对。其中，原始特征点对可以为历史拼接处理时，生成的所述第一图像和所述第二图像的特征点对，在原始特征点对中可以包含已经正确匹配的特征点对，因此，可以将原始特征点对和所生成的特征点对合并，从而得到更多的特征点对，这样在对第一图像和第二图像进行拼接时，可以进一步保证拼接质量。

本发明实施例提供的图像拼接方法，通过接收针对第一图像的第一操作指令和针对第二图像的第二操作指令，能够分别确定第一图像和第二图像各自的待优化区域，从而根据待优化区域重新自动提取相应的特征点并重新匹配得到新的特征点对，而不是由人工逐个在第一图像和第二图像中检查已生成的特征点对。因此，本发明实施例能够消除由于人工逐个检查特征点对所占用的时间，从而提高图像拼接效率。

相应于上面的方法实施例，本发明实施例还提供了相应的装置实施例。

如图3所示，本发明实施例提供了一种图像拼接装置，包括：

第一获取模块201，用于获取待调整拼接图像中的待调整区域，待调整拼接图像由多幅图像拼接而成。

可选地，第一获取模块201，具体可以用于：

基于所接收的针对待调整拼接图像的区域选择操作指令，获取待调整拼接图像中该区域选择操作所选择的待调整区域。

确定模块202，用于从多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像。

可选地，确定模块202，具体可以用于：

从多幅图像中，确定包含待调整区域或所述待调整区域的子区域且具有拼接关系的两幅图像，两幅图像包括第一图像和第二图像。

可选地，确定模块202，具体还可以用于：

获取表示多幅图像中每幅图像在待调整拼接图像中的覆盖区域的覆盖信息；从多幅图像中，基于覆盖信息，确定待调整区域对应的图像组，其中，图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像。

第二获取模块203，用于获取第一图像中的第一待优化区域，以及第二图像中的第二待优化区域。

可选地，第二获取模块203，具体可以用于：基于所接收的针对第一图像的区域选择操作指令，获取第一图像中的该区域选择操作所选择的第一待优化区域，以及基于所接收的针对第二图像的区域选择操作指令，获取第二图像中的该区域选择操作所选择的第二待优化区域。

提取模块204，用于提取第一待优化区域的多个特征点，以及提取第二待优化区域的多个特征点。

匹配模块205，用于对第一待优化区域的多个特征点和第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对。

可选地，匹配模块205具体可以用于：对第一待优化区域的多个特征点和第二待优化区域的多个特征点进行匹配；在匹配得到的多个特征点对中，利用RANSAC算法去除错误匹配对，得到相匹配的特征点对。

拼接模块206，用于基于特征点对，对第一图像和第二图像重新进行拼接。

如图4所示，可选地，确定模块202还可以包括：

第一确定子模块2021，用于当所述待调整区域属于一幅图像时，从多幅图像中，确定待调整区域所属的图像，作为第一图像。

第二确定子模块2022，用于从多幅图像中与第一图像存在拼接关系的图像中，确定在待调整拼接图像中，距离待调整区域最近的图像，作为第二图像。

可选地，第二确定子模块2022，具体可以用于：

获取对待调整拼接图像进行二值化处理后得到的mask图，其中，mask图能够表示待调整拼接图像中的各个图像区域分别所属的图像；在mask图中，确定待调整区域所属的图像为第一图像，并沿待调整区域的四周，查找突变点；在查找得到的突变点中，确定与待调整区域距离最近的突变点所属的图像为第二图像。

本发明实施例提供的图像拼接装置，通过接收针对第一图像的第一操作指令和针对第二图像的第二操作指令，能够分别确定第一图像和第二图像各自的待优化区域，从而根据待优化区域重新自动提取相应的特征点并重新匹配得到新的特征点对，而不是由人工逐个在第一图像和第二图像中检查已生成的特征点对。因此，本发明实施例能够消除由于人工逐个检查特征点对所占用的时间，从而提高图像拼接效率。

如图5所示，本发明实施例还提供了一种图像拼接装置，在上述装置实施例的基础上，本发明实施例的装置可以进一步包括：

筛选模块207，用于去除位于第一待优化区域边缘的特征点以及位于第二待优化区域边缘的特征点，得到位于第一待优化区域内部的特征点，以及位于第二待优化区域内部的特征点。

第三获取模块208，用于获取第一图像和第二图像的原始特征点对，其中，原始特征点对为历史拼接处理时，生成的第一图像和第二图像的特征点对。

可选地，拼接模块206，具体可以用于：

合并第三获取模块获取的原始特征点对和所生成的相匹配的特征点对，得到合并后的特征点对；基于合并后的特征点对，对第一图像和第二图像重新进行拼接。

本发明实施例提供的图像拼接装置，通过将原始特征点对和所生成的特征点对合并，从而得到更多的特征点对，在对第一图像和第二图像进行拼接时，可以进一步保证图像的拼接质量。

本发明实施例还提供了一种电子设备，如图6所示，电子设备包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，

存储器303，用于存放计算机程序；

处理器301，用于执行存储器303上所存放的程序时，实现如上述图1实施例及其它方法实施例所述的图像拼接方法的如下步骤：

获取待调整拼接图像中的待调整区域，所述待调整拼接图像由多幅图像拼接而成；

从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像；

针对所述图像组中各组具有拼接关系的第一图像和第二图像，获取所述第一图像中的第一待优化区域，以及所述第二图像中的第二待优化区域；

提取所述第一待优化区域的多个特征点，以及提取所述第二待优化区域的多个特征点；

对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对；

基于所述特征点对，对所述第一图像和所述第二图像重新进行拼接。

本发明实施例提供的电子设备，通过获取待调整拼接图像中的待调整区域，确定待调整区域对应的图像组中，各组具有拼接关系的两幅图像所包括的第一图像的待优化区域和第二图像的待优化区域，从而根据所确定的待优化区域，重新自动提取相应的特征点并重新匹配得到新的特征点对，而不是由人工逐个在第一图像和第二图像中检查已生成的特征点对。因此，本发明实施例能够消除由于人工逐个检查特征点对所占用的时间，从而提高图像拼接效率。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (19)

1.一种图像拼接方法，其特征在于，所述方法包括：

获取待调整拼接图像中的待调整区域，所述待调整拼接图像由多幅图像拼接而成；

从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像；

针对所述图像组中各组具有拼接关系的第一图像和第二图像，获取所述第一图像中的第一待优化区域，以及所述第二图像中的第二待优化区域；

提取所述第一待优化区域的多个特征点，以及提取所述第二待优化区域的多个特征点；

对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对；

基于所述特征点对，对所述第一图像和所述第二图像重新进行拼接。

2.根据权利要求1所述的图像拼接方法，其特征在于，所述获取待调整拼接图像中的待调整区域，包括：

基于所接收的针对所述待调整拼接图像的区域选择操作指令，获取所述待调整拼接图像中该区域选择操作所选择的待调整区域。

3.根据权利要求1所述的图像拼接方法，其特征在于，所述从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像，包括：

从所述多幅图像中，确定包含所述待调整区域或所述待调整区域的子区域且具有拼接关系的两幅图像，所述两幅图像包括第一图像和第二图像；

或者，获取表示所述多幅图像中每幅图像在所述待调整拼接图像中的覆盖区域的覆盖信息；

从所述多幅图像中，基于所述覆盖信息，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像。

4.根据权利要求1所述的图像拼接方法，其特征在于，当所述待调整区域属于一幅图像时，所述从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像，包括：

从所述多幅图像中，确定所述待调整区域所属的图像，作为第一图像；

从所述多幅图像中与所述第一图像存在拼接关系的图像中，确定在所述待调整拼接图像中，距离所述待调整区域最近的图像，作为第二图像。

5.根据权利要求4所述的图像拼接方法，其特征在于，所述从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像，包括：

获取对所述待调整拼接图像进行二值化处理后得到的mask图，所述mask图能够表示所述待调整拼接图像中的各个图像区域分别所属的图像；

在所述mask图中，确定所述待调整区域所属的图像为第一图像，并沿所述待调整区域的四周，查找突变点；

在查找得到的突变点中，确定与所述待调整区域距离最近的突变点所属的图像为第二图像。

6.根据权利要求1所述的图像拼接方法，其特征在于，所述针对所述图像组中各组具有拼接关系的第一图像和第二图像，获取所述第一图像中的第一待优化区域，以及所述第二图像中的第二待优化区域，包括：

基于所接收的针对所述第一图像的区域选择操作指令，获取所述第一图像中的该区域选择操作所选择的第一待优化区域，以及基于所接收的针对所述第二图像的区域选择操作指令，获取所述第二图像中的该区域选择操作所选择的第二待优化区域。

7.根据权利要求1所述的图像拼接方法，其特征在于，所述对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对之前，所述方法还包括：

去除位于所述第一待优化区域边缘的特征点以及位于所述第二待优化区域边缘的特征点，得到位于所述第一待优化区域内部的特征点，以及位于所述第二待优化区域内部的特征点。

8.根据权利要求1所述的图像拼接方法，其特征在于，所述对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对，包括：

对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配；

在匹配得到的多个特征点对中，利用RANSAC随机抽样一致算法去除错误匹配对，得到相匹配的特征点对。

9.根据权利要求1-8任一项所述的图像拼接方法，其特征在于，所述基于所述特征点对，对所述第一图像和所述第二图像重新进行拼接之前，所述方法还包括：

获取所述第一图像和所述第二图像的原始特征点对，所述原始特征点对为历史拼接处理时，生成的所述第一图像和所述第二图像的特征点对；

所述基于所述特征点对，对所述第一图像和所述第二图像重新进行拼接，包括：

合并所述原始特征点对和所生成的所述相匹配的特征点对，得到合并后的特征点对；

基于所述合并后的特征点对，对所述第一图像和所述第二图像重新进行拼接。

10.一种图像拼接装置，其特征在于，所述装置包括：

第一获取模块，用于获取待调整拼接图像中的待调整区域，所述待调整拼接图像由多幅图像拼接而成；

确定模块，用于从所述多幅图像中，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像；

第二获取模块，用于针对所述图像组中各组具有拼接关系的第一图像和第二图像，获取所述第一图像中的第一待优化区域，以及所述第二图像中的第二待优化区域；

提取模块，用于提取所述第一待优化区域的多个特征点，以及提取所述第二待优化区域的多个特征点；

匹配模块，用于对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配，生成相匹配的特征点对；

拼接模块，用于基于所述特征点对，对所述第一图像和所述第二图像重新进行拼接。

11.根据权利要求10所述的图像拼接装置，其特征在于，所述第一获取模块，具体用于：

基于所接收的针对所述待调整拼接图像的区域选择操作指令，获取所述待调整拼接图像中该区域选择操作所选择的待调整区域。

12.根据权利要求10所述的图像拼接装置，其特征在于，所述确定模块，具体用于：

从所述多幅图像中，确定包含所述待调整区域或所述待调整区域的子区域且具有拼接关系的两幅图像，所述两幅图像包括第一图像和第二图像；

或者，获取表示所述多幅图像中每幅图像在所述待调整拼接图像中的覆盖区域的覆盖信息；

从所述多幅图像中，基于所述覆盖信息，确定所述待调整区域对应的图像组，所述图像组包括至少一组具有拼接关系的两幅图像，各组具有拼接关系的两幅图像包括第一图像和第二图像。

13.根据权利要求10所述的图像拼接装置，其特征在于，所述确定模块，包括：

第一确定子模块，用于当所述待调整区域属于一幅图像时，从所述多幅图像中，确定所述待调整区域所属的图像，作为第一图像；

第二确定子模块，用于从所述多幅图像中与所述第一图像存在拼接关系的图像中，确定在所述待调整拼接图像中，距离所述待调整区域最近的图像，作为第二图像。

14.根据权利要求13所述的图像拼接装置，其特征在于，所述第二确定子模块，具体用于：

获取对所述待调整拼接图像进行二值化处理后得到的mask图，所述mask图能够表示所述待调整拼接图像中的各个图像区域分别所属的图像；

在所述mask图中，确定所述待调整区域所属的图像为第一图像，并沿所述待调整区域的四周，查找突变点；

在查找得到的突变点中，确定与所述待调整区域距离最近的突变点所属的图像为第二图像。

15.根据权利要求10所述的图像拼接装置，其特征在于，所述第二获取模块，具体用于：

基于所接收的针对所述第一图像的区域选择操作指令，获取所述第一图像中的该区域选择操作所选择的第一待优化区域，以及基于所接收的针对所述第二图像的区域选择操作指令，获取所述第二图像中的该区域选择操作所选择的第二待优化区域。

16.根据权利要求10所述的图像拼接装置，其特征在于，所述装置还包括：

筛选模块，用于去除位于所述第一待优化区域边缘的特征点以及位于所述第二待优化区域边缘的特征点，得到位于所述第一待优化区域内部的特征点，以及位于所述第二待优化区域内部的特征点。

17.根据权利要求10所述的图像拼接装置，其特征在于，所述匹配模块，具体用于：

对所述第一待优化区域的多个特征点和所述第二待优化区域的多个特征点进行匹配；

在匹配得到的多个特征点对中，利用RANSAC随机抽样一致算法去除错误匹配对，得到相匹配的特征点对。

18.根据权利要求10-17任一项所述的图像拼接装置，其特征在于，所述装置还包括：

第三获取模块，用于获取所述第一图像和所述第二图像的原始特征点对，所述原始特征点对为历史拼接处理时，生成的所述第一图像和所述第二图像的特征点对；

所述拼接模块，具体用于：

合并所述第三获取模块获取的原始特征点对和所生成的所述相匹配的特征点对，得到合并后的特征点对；

基于所述合并后的特征点对，对所述第一图像和所述第二图像重新进行拼接。

19.一种电子设备，其特征在于，包括处理器和存储器，其中，所述存储器，用于存放计算机程序；

所述处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一项所述的方法步骤。