CN107305683B - 图像处理方法、图像处理设备及图像处理装置 - Google Patents

Abstract

本公开提供一种用于图像拼接的图像处理方法、图像处理设备和图像处理装置，该图像处理方法包括：获取待拼接图像的图像序列，并且针对图像序列中的每帧图像，提取该图像中的特征点并获取特征点的分布；基于特征点的分布对图像序列中的各帧图像进行排列，并且基于特征点的分布从排列后的各帧图像形成多个图像拼接组，其中每个图像拼接组中包括图像序列中的多帧图像；以及针对每个图像拼接组中的第一帧图像，基于特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个最优拼接图像和最优拼接区域形成与所述待拼接图像对应的拼接图像。根据本公开的图像处理方法、设备和装置能够提高拼接图像的质量。

Description

图像处理方法、图像处理设备及图像处理装置

技术领域

本发明涉及图像处理领域，尤其涉及用于图像拼接的图像处理方法、图像处理设备及图像处理装置。

背景技术

传统的文档图像拼接技术可以从两个以上图像中通过拼接技术获取完整的文档页面。这些拼接方法需要用于进行拼接的子图像之间有精确的重叠，从而产生无缝的效果。为了提高拼接图像的质量，用于拼接的子图像的重叠需要符合以下要求：1、从重叠区域中提取的特征点密集且均匀分布；2、在重叠区域中没有太多的局部变形。然而，在实际应用中，这些要求常常不能被准确地满足。例如，重叠区域没有太多的文本或纹理等，因此，很少有特征点可以从重叠区域中提取出来；拼接子图像中部分区域会出现局部变形，使得在出现局部变形的褶皱区域很难得到特征点的精确匹配。

因此，如何提高拼接图像的质量是当前亟需解决的问题。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的目的之一是提供一种图像处理方法、图像处理设备以及图像处理装置，以至少克服现有技术中存在的上述问题。

根据本公开的一个方面，提供一种用于图像拼接的图像处理方法，包括：获取待拼接图像的图像序列，并且针对所述图像序列中的每帧图像，提取该图像中的特征点并获取所述特征点的分布；基于所述特征点的分布对所述图像序列中的各帧图像进行排列，并且基于所述特征点的分布从排列后的各帧图像形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像；以及针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像。

根据本公开的另一方面，提供一种用于图像拼接的图像处理设备，包括：特征点提取单元，用于获取待拼接图像的图像序列，并且针对所述图像序列中的每帧图像，提取该图像中的特征点并获取所述特征点的分布；图像拼接组形成单元，用于基于所述特征点的分布，对所述图像序列中的各帧图像进行排列，并且基于所述特征点的分布从所述图像序列形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像；以及拼接单元，被配置为针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像。

根据本公开的又一方面，提供一种用于图像拼接的图像处理装置，包括：控制器，被配置为：获取待拼接图像的图像序列，并且针对所述图像序列中的每帧图像，提取该图像中的特征点并获取所述特征点的分布；基于所述特征点的分布，对所述图像序列中的各帧图像进行排列，并且基于所述特征点的分布从所述图像序列形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像；以及针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像。

根据本公开的另一个方面，还提供了一种电子设备，该电子设备包括如上所述的图像处理设备。

依据本公开的其它方面，还提供了一种使得计算机用作如上所述的图像处理设备的程序。

依据本公开的又一方面，还提供了相应的计算机可读存储介质，该计算机可读存储介质上存储有能够由计算设备执行的计算机程序，该计算机程序在执行时能够使计算设备执行上述图像处理方法。

上述根据本公开实施例的图像处理方法、图像处理设备以及图像处理装置，至少能够提高图像拼接的质量。

通过以下结合附图对本公开的最佳实施例的详细说明，本公开的这些以及其他优点将更加明显。

附图说明

本公开可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：

图1是示意性地示出根据本公开实施例的图像处理方法的流程图。

图2是示出根据本公开实施例的形成图像拼接组步骤(S130)的一个具体实施例的流程图。

图3是示出基于特征点的分布对图像序列中的各帧图像进行排列以及形成图像拼接组的示例的示意图。

图4是示出根据本公开实施例的形成拼接图像步骤(S140)的一个具体实施例的流程图。

图5是示出根据本公开实施例的用于图像拼接的图像处理设备的一种示例结构的框图。

图6示意性地示出图5中的图像拼接组形成单元52的一种示例结构的框图。

图7示意性地示出图5中的图像拼接组形成单元52的又一种示例结构的框图。

图8示意性地示出图5中的拼接单元53的一种示例结构的框图。

图9是示出根据本公开实施例的用于图像拼接的图像处理装置的一种示例结构的框图。

图10是示出了可用来实现根据本公开实施例的图像处理设备、图像处理装置和图像处理方法的一种可能的硬件配置的结构简图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

图1是示意性地示出根据本公开实施例的图像处理方法的流程图。

如图1所示，根据本公开的图像处理方法的处理流程100开始于S110，然后执行S120的处理。

在S120，获取待拼接图像的图像序列，并且针对图像序列中的每帧图像，提取该图像中的特征点并获取所述特征点的分布。然后执行S130的处理。

在S130，基于特征点的分布，对图像序列中的各帧图像进行排列，并且基于特征点的分布从图像序列形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像。然后执行S140的处理。

在S140，针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像。

在S150，根据本公开的图像处理方法的处理流程结束。

根据本公开，在S120，针对待拼接的图像，可以例如通过沿某个方向(例如，垂直或水平方向)移动相机或者移动待拼接图像来获得待拼接图像的图像序列。通常，为了提高图像拼接的质量，在获取图像序列时可以使得移动相机或移动待拼接图像的幅度尽可能地小。换言之，为了实现高质量的拼接，例如可以使得使用相机进行图像采样的采样密集度尽可能大。

然后，针对获取的待拼接图像的图像序列，从该图像序列的每帧图像中提取特征点，以获取每帧图像的特征点的分布。在本公开中，可以采取现有技术中公知的特征点提取方法来提取每帧图像中的特征点，在此省略了对其具体操作的描述。

根据本公开的实施例，可以通过将提取的特征点向预定方向投影来获取特征点的分布。例如，可以将每个图像上所有特征点的位置沿与在上述获取图像序列时移动相机或待拼接图像的方向垂直的方向(例如水平或垂直方向)进行投影，并且沿例如垂直轴(例如当投影方向是水平方向时)或水平轴(例如当投影方向是垂直方向时)统计特征点分布，例当将每帧图像的特征点向垂直轴投影时，将每帧图像划分为宽度为例如1个像素、长度为该图像的长度的多个区域，统计每个区域的特征点的数量，从而获得表示每个区域内特征点数量的直方图，即，获得每帧图像的特征点的分布。

在步骤S130，基于在步骤S120中获取的特征点的分布，对图像序列中的各帧图像进行排列。

根据本公开的实施例，优选地，根据图像序列中各个图像的特征点的分布，计算图像序列中相邻图像之间的位移，并根据相邻图像之间的位移量和位移方向对图像序列中的各帧图像进行排列。

根据本公开，可以基于每帧图像的特征点的直方图，计算图像序列中相邻图像之间的位移。例如，当一帧图像中某区域的特征点分布与其相邻图像中一区域的特征点分布之间的相似度大于预定阈值时，可以认为这两个区域对应于待拼接图像的相同部分。基于此，可以根据具有相似特征点分布的区域在相邻图像中的位置确定相邻图像之间的位移。此外，可以基于相邻图像之间的位移量和位移方向，对图像序列中的各帧图像进行排列，以使具有相同特征点分布的区域位于同一水平线或垂直线上。更具体地，可以使用本领域公知的穷举搜索法或Lucas–Kanade光流方法，基于相邻图像之间的位移量和位移方向对各帧图像进行排列。

然后，在步骤S130，基于特征点的分布从图像序列形成多个图像拼接组。根据本公开的优选实施例，可以基于特征点的分布从图像序列形成多个图像拼接组，以使得每个图像拼接组包括：第一帧图像以及与该第一帧图像之间的特征点分布相似度超过预定阈值的相邻的多个在后帧图像，其中将所述图像序列中的第一帧图像作为第一图像拼接组中的第一帧图像，将第N-1图像拼接组中的最后一帧图像作为第N图像拼接组中的第一帧图像，N为大于1的整数。

图2是示出根据本公开实施例的形成图像拼接组的步骤的一个具体实施例的流程图。

如图2所示，基于特征点的分布从图像序列形成多个图像拼接组的步骤S130可以进一步包括：

在步骤S131，从第一图像拼接组开始依次从各个图像拼接组的第一帧图像中为该第一帧图像选取用于进行图像拼接的最优位置，其中从每个图像拼接组的第一帧图像中选取除已作为其他图像拼接组的最优位置的区域之外、特征点分布最密集的位置作为该第一帧图像的最优位置。然后进行步骤S132。

在步骤S132，将与该第一帧图像相邻的在后帧图像中、在最优位置处的特征点分布与该第一帧图像在相应位置处的特征点分布相似度超过该预定阈值的图像作为该图像拼接组中的图像，以形成图像拼接组。

通常特征点分布最密集的位置，文档的局部变形很小。因此，根据本公开的实施例，在步骤S131中，针对待形成的第一图像拼接组，选取其第一帧图像中的特征点分布最密集的位置(根据本公开的示例，例如选取特征点直方图具有最大值的位置)作为最优位置；接着针对待形成的第二图像拼接组，选取该第二图像拼接组的第一帧图像中、除了作为第一图像拼接组的最优位置之外的区域中具有最密集的特征点分布的区域作为该第二图像组的最优位置；类似地，依次针对第三图像拼接组…第N图像拼接组，选择最优位置。

在步骤S132，如果其相邻的在后帧图像在该最优位置对应的位置处的特征点分布(例如直方图值)与该第一帧图像在最优位置处的特征点分布之间的相似度大于该预定阈值，则将该相邻帧图像作为该图像拼接组中的图像。

虽然以上描述了在确定特征点分布的相似度时使用特征点分布最密集的位置(区域)来确定相邻图像之间的相似度，但是本领域技术人员可以理解，也可以基于整帧图像中特征点分布的相似度来确定相邻图像之间的相似度，从而形成图像拼接组。

此外，本领域技术人员可以根据实际需要(例如拼接图像的质量要求)来任意设置在判断相似度时使用的该预定阈值。

下面结合图3描述基于特征点的分布对图像序列中的各帧图像进行排列以及形成图像拼接组的示例。在此需要说明，图3中的图像序列是通过沿垂直方向移动获得的，特征点分布是通过沿水平方向向垂直轴投影获得的。

如图3所示，每条曲线代表图像序列中一帧图像的特征点分布，相邻两条曲线沿垂直方向之间的距离即代表相邻两帧图像之间的位移，粗实线指示每个拼接图像组中的最优位置(即特征点分布最密集的区域)。如图所示，将整个图像序列中的第一帧图像P1作为第一图像拼接组G1的第一帧图像，并且基于该第一帧图像P1与其相邻图像之间特征点分布的相似度，将图像序列中的第一帧图像P1与第二帧图像P2、第三帧图像P3一起形成第一图像拼接组G1，将该第一图像拼接组G1中的最后一帧图像(即整个图像序列中的第三帧图像)P3作为第二图像拼接组G2的第一帧图像，并基于第二图像拼接组G2的第一帧图像P3与其相邻的在后帧图像之间的特征点分布的相似度，将P3与整个图像序列中的第四帧图像P4、第五帧图像P5、第六帧图像P6一起形成第二图像拼接组G2；类似地，依次形成第三图像拼接组G3、第四图像拼接组G4和第五图像拼接组G5。

虽然图3中仅示出了形成5个图像拼接组G1、G2、G3、G4、G5，但是本公开不限于此。事实上，本领域技术人员可以理解，针对图像序列形成拼接组的数量与例如在判断相似度时使用的预定阈值有关。

此外，为了保证拼接图像的质量，优选地，使得每个所述图像拼接组中包括的图像数量小于预定数量。例如可以使得每个图像拼接组中包括的图像数量不超过5个。在此情况下，例如当基于相似度判断在第一图像拼接组中包括了6幅图像时，取与该图像拼接组中的第一帧图像最相邻的4个图像(即该图像拼接组中的第二帧图像至第五帧图像)与该第一帧图像一起形成第一图像拼接组。当然，预定数量的值不限于5，其可以由本领域技术人员可以根据实际需要来任意设置。

回到图1，在形成了多个图像拼接组之后，在步骤S140，针对每个图像拼接组中的第一帧图像，基于特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个最优拼接图像和最优拼接区域形成与待拼接图像对应的拼接图像。

图4是示出根据本公开实施例的形成拼接图像的步骤的一个具体实施例的流程图。

如图4所示，形成拼接图像的步骤S140进一步包括：

在S141，针对每个图像拼接组中的第一帧图像，选择该最优位置作为该第一帧图像的最优拼接区域，选择该图像拼接组中的最后一帧图像作为该第一帧图像的最优拼接图像。

在S142，基于各个最优拼接区域和最优拼接图像，从图像序列中的第一帧图像开始、沿图像序列的排列方向依次对各个图像拼接组中的第一帧图像进行拼接，从而形成拼接图像。

例如，如图3所示，在步骤S141，针对第一图像拼接组G1，选择该第一图像拼接组G1中的最后一帧图像P3作为其第一帧图像P1的最优拼接图像，选择实线B1所指示的位置(即特征点最密集的区域)作为该第一图像拼接组的最优拼接区域。类似地，针对第二图像拼接组G2、第三图像拼接组G3、第四图像拼接组G4以及第五图像拼接组G5每个中的第一帧图像可以确定最优拼接区域，例如分别为图中所示的B2、B3、B4和B5。

并且在步骤S142，将该第一帧图像与该最优拼接图像进行拼接。例如可以沿预定方向依次针对图像拼接组中的第一帧图像及其最优拼接图像进行拼接。当通过相机从下到上获取图像序列时，该预定方向例如可以是从下到上的方向。

例如，如图3所示的图像序列，在步骤S142中，可以按照第一图像拼接组、第二图像拼接组、…、第五图像拼接组的顺序依次进行拼接。更具体地，利用在步骤S141中确定的最优拼接位置和最优拼接图像，将第一图像拼接组G1中的第一帧图像P1与其最优拼接图像P3基于最优拼接位置B1进行拼接，并利用拼接后的图像更新位于该第一图像拼接组G1中的最后一帧图像P3。接着，利用在步骤S141中确定的最优拼接位置和最优拼接图像，将第二图像拼接组G2中的第一帧图像P3(即经上述更新后的图像P3)与其最优拼接图像P6基于最优拼接位置B2进行拼接，并利用拼接后的图像更新位于该第二图像拼接组G2中的最后一帧图像P6。接着，类似地，针对第三图像拼接组G3、第四图像拼接组G4和图像拼接组G5分别基于最优位置B3、B4、B5依次进行拼接，从而形成最终的拼接图像。

此外，诸如折痕区域、像素值突变区域这样的区域不适合作为拼接区域。为此，在本公开中为各个图像拼接组中的第一帧图像选取最优位置时优选避开这些区域。

因此，在上述选取最优位置的步骤S131中还包括：当第一帧图像中特征点分布最密集的位置为非拼接区域时，在与该非拼接区域相邻的区域中选择具有最密集特征点分布的位置作为该最优位置。

根据本公开的实施例，在提取特征点的步骤S120中还可以包括检测待拼接图像中不适合作为拼接区域进行拼接的非拼接区域，例如像素值突变区域、折痕区域等，以使得能够基于检测到的非拼接区域选取最优位置，以避开这些区域。根据本公开，可以采用本领域公知的方法，例如基于黑塞矩阵(Hessian矩阵)的方法来检测该非拼接区域，在此省略其具体描述。

图5是示出根据本公开实施例的用于图像拼接的图像处理设备的一种示例结构的框图。

如图5所示，图像处理设备5包括：特征点提取单元51，用于获取待拼接图像的图像序列，并且针对所述图像序列中的每帧图像，提取该图像中的特征点并获取所述特征点的分布；图像拼接组形成单元52，用于基于所述特征点的分布，对所述图像序列中的各帧图像进行排列，并且基于所述特征点的分布从所述图像序列形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像；以及拼接单元53，被配置为针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像。特征点提取单元51、图像拼接组形成单元52以及拼接单元53执行的处理例如可以参照图1至图4描述的图像处理方法中的各个处理步骤，在此省略对其的具体描述。

根据本公开的优选实施例，特征点提取单元51被配置为通过将所述特征点向预定方向投影，从而获取特征点的分布。

图6示出了示出图5中的图像拼接组形成单元52的又一种示例结构的框图。

如图6所示，图像拼接组形成单元52可以包括排列子单元521，用于根据所述图像序列中各个图像的特征点的分布，计算所述图像序列中相邻图像之间的位移，并获取所述图像序列的位移方向作为对所述图像序列中的各帧图像进行排列的排列方向，以根据相邻图像之间的位移量和位移方向对图像序列中的各帧图像进行排列。图像拼接组形成单元52执行的处理例如可以参照图1至图4描述的图像处理方法中的排列图像的处理步骤，在此省略对其的具体描述。

根据本公开，图像拼接组形成单元52被配置为使得每个图像拼接组中包括：第一帧图像以及与该第一帧图像之间的特征点分布相似度超过预定阈值的相邻的多个在后帧图像，其中将所述图像序列中的第一帧图像作为第一图像拼接组中的第一帧图像，将第N-1图像拼接组中的最后一帧图像作为第N图像拼接组中的第一帧图像，N为大于1的整数。

优选地，每个所述图像拼接组中包括的图像数量小于预定数量。

图7示意性地示出图5中的图像拼接组形成单元52的又一种示例结构的框图。

如图7所示，图像拼接组形成单元52包括：最优位置确定子单元522，从第一图像拼接组开始依次从各个图像拼接组的第一帧图像中选取用于进行图像拼接的最优位置，其中从每个图像拼接组的第一帧图像中选取除已作为其他图像拼接组的最优位置的区域之外、特征点分布最密集的位置作为该第一帧图像的最优位置；以及相似度确定子单元523，用于将与该第一帧图像相邻的在后帧图像中、在最优位置处的特征点分布与该第一帧图像在相应位置处的特征点分布相似度超过该预定阈值的图像作为该图像拼接组中的图像。最优位置确定子单元522和相似度确定子单元523执行的处理例如可以参照图2描述的步骤S131、步骤S132，在此省略对其的具体描述。

图8示意性地示出图5中的拼接单元53的一种示例结构的框图。

如图8所示，拼接单元53包括：选择子单元531，用于针对每个图像拼接组中的第一帧图像，选择所述最优位置作为该第一帧图像的最优拼接区域，选择该图像拼接组中的最后一帧图像作为该第一帧图像的最优拼接图像；以及拼接子单元532，基于各个最优拼接区域和最优拼接图像，从所述图像序列中的第一帧图像开始、沿所述图像序列的排列方向依次对各个图像拼接组中的第一帧图像进行拼接，从而形成拼接图像。选择子单元531和拼接子单元532执行的处理例如可以参照图4描述的步骤S141、步骤S142，在此省略对其的具体描述。

根据本公开的优选实施例，图像拼接组形成单元52还包括：非拼接区域检测子单元，用于检测待拼接图像中不适合作为拼接区域进行拼接的非拼接区域。并且，优选地，最优位置确定子单元522被配置为当所述第一帧图像中特征点分布最密集的位置为所检测到的非拼接区域时，在与该非拼接区域相邻的区域中选择具有最密集特征点分布的位置作为该最优位置。

此外，本公开的实施例还提供了用于图像拼接的图像处理装置。

图9示出了根据本公开实施例的图像处理装置的示意图。

如图9所示，图像处理装置9包括：控制器90，被配置为：获取待拼接图像的图像序列，并且针对所述图像序列中的每帧图像，提取该图像中的特征点并获取所述特征点的分布；基于特征点的分布，对图像序列中的各帧图像进行排列，并且基于特征点的分布从图像序列形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像；以及针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像。

与现有技术中相比，根据本公开的图像处理方法、图像处理设备和图像处理装置具有以下优点：通过采用多帧图像拼接形成多个图像拼接组，并且针对每个图像拼接组选择最优拼接位置和最优拼接图像，从而得到更好的图像拼接效果。

此外，本公开的实施例还提供了一种电子设备，该电子设备被配置包括如上所述的图像处理设备5。该电子设备例如可以是以下设备中的任意一种：手机；计算机；平板电脑；以及个人数字助理等。相应地，该电子设备能够拥有如上所述的图像处理设备的有益效果和优点。

根据本公开实施例的电子设备可以作为根据本公开的图像处理装置的一个具体应用示例。

上述根据本公开的实施例的图像处理设备(例如图5-8中所示的图像处理设备)中的各个组成单元、子单元等可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的机器安装构成该软件或固件的程序，该机器在安装有各种程序时，能够执行上述各组成单元、子单元的各种功能。

图10是示出了可用来实现根据本公开的实施例的图像处理设备、图像处理方法和图像处理装置的一种可能的处理设备的硬件配置的结构简图。

在图10中，中央处理单元(CPU)1001根据只读存储器(ROM)1002中存储的程序或从存储部分1008加载到随机存取存储器(RAM)1003的程序执行各种处理。在RAM1003中，还根据需要存储当CPU 1001执行各种处理等等时所需的数据。CPU1001、ROM 1002和RAM1003经由总线1004彼此连接。输入/输出接口1005也连接到总线1004。

下述部件也连接到输入/输出接口1005：输入部分1006(包括键盘、鼠标等等)、输出部分1007(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1008(包括硬盘等)、通信部分1009(包括网络接口卡例如LAN卡、调制解调器等)。通信部分1009经由网络例如因特网执行通信处理。根据需要，驱动器1010也可连接到输入/输出接口1005。可拆卸介质1011例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1010上，使得从中读出的计算机程序可根据需要被安装到存储部分1008中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质1011安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图10所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1011。可拆卸介质1011的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1002、存储部分1008中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

根据本公开实施例的图像处理装置中的控制器例如可以通过图10中的中央处理单元1001来实现。

此外，本公开还提出了一种存储有机器可读取的指令代码的程序产品。上述指令代码由机器读取并执行时，可执行上述根据本公开的实施例的图像处理方法。相应地，用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本公开的公开中。

在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

此外，本公开的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。

此外，显然，根据本公开的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。

而且，本公开的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。

此时，只要该系统或者设备具有执行程序的功能，则本公开的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。

上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。

另外，客户图像处理终端通过连接到因特网上的相应网站，并且将依据本公开的计算机程序代码下载和安装到图像处理终端中然后执行该程序，也可以实现本公开的各实施例。

综上，在根据本公开的实施例中，本公开提供了如下方案，但不限于此：

方案1、一种用于图像拼接的图像处理方法，包括：

获取待拼接图像的图像序列，并且针对所述图像序列中的每帧图像，提取该图像中的特征点并获取所述特征点的分布；

基于所述特征点的分布，对所述图像序列中的各帧图像进行排列，并且基于所述特征点的分布从所述图像序列形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像；以及

针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像。

方案2、根据方案1所述的图像处理方法，其中，获取特征点的分布的步骤包括：将所述特征点向预定方向投影，从而获取所述特征点的分布。

方案3、根据方案1或2所述的图像处理方法，其中，形成图像拼接组的步骤包括根据所述图像序列中各个图像的特征点的分布，计算所述图像序列中相邻图像之间的位移，并根据所述相邻图像之间的位移量和位移方向对所述图像序列中的各帧图像进行排列。

方案4、根据方案3所述的图像处理方法，其中，

基于所述特征点的分布从所述图像序列形成多个图像拼接组，以使得每个图像拼接组包括：第一帧图像以及与该第一帧图像之间的特征点分布相似度超过预定阈值的相邻的多个在后帧图像，其中将所述图像序列中的第一帧图像作为第一图像拼接组中的第一帧图像，将第N-1图像拼接组中的最后一帧图像作为第N图像拼接组中的第一帧图像，N为大于1的整数。

方案5、根据方案4所述的图像处理方法，其中，

每个所述图像拼接组中包括的图像数量小于预定数量。

方案6、根据方案4或5所述的图像处理方法，其中，形成图像拼接组的步骤包括：

从第一图像拼接组开始依次从各个图像拼接组的第一帧图像中选取用于进行图像拼接的最优位置，其中从每个图像拼接组的第一帧图像中选取除已作为其他图像拼接组的最优位置的区域之外、特征点分布最密集的位置作为该第一帧图像的最优位置；以及

将与该第一帧图像相邻的在后帧图像中、在最优位置处的特征点分布与该第一帧图像在相应位置处的特征点分布相似度超过该预定阈值的图像作为该图像拼接组中的图像。

方案7、根据方案6所述的图像处理方法，其中，形成拼接图像的步骤包括：

针对每个图像拼接组中的第一帧图像，选择所述最优位置作为该第一帧图像的最优拼接区域，选择该图像拼接组中的最后一帧图像作为该第一帧图像的最优拼接图像；以及

基于各个最优拼接区域和最优拼接图像，从所述图像序列中的第一帧图像开始、沿所述图像序列的排列方向依次对各个图像拼接组中的第一帧图像进行拼接，从而形成拼接图像。

方案8、根据方案6或7所述的图像处理方法，其中，

形成拼接图像的步骤还包括检测待拼接图像中不适合作为拼接区域进行拼接的非拼接区域，

选取最优位置的步骤还包括：当所述第一帧图像中特征点分布最密集的位置为所检测到的非拼接区域时，在与该非拼接区域相邻的区域中选择具有最密集特征点分布的位置作为该最优位置。

方案9、一种用于图像拼接的图像处理设备，包括：

特征点提取单元，用于获取待拼接图像的图像序列，并且针对所述图像序列中的每帧图像，提取该图像中的特征点并获取所述特征点的分布；

图像拼接组形成单元，用于基于所述特征点的分布，对所述图像序列中的各帧图像进行排列，并且基于所述特征点的分布从所述图像序列形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像；以及

拼接单元，被配置为针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像。

方案10、根据方案9所述的图像处理设备，其中，

所述特征提取单元被配置为通过将所述特征点向预定方向投影，从而获取所述特征点的分布。

方案11、根据方案9或10所述的图像处理设备，其中，

所述图像拼接组形成单元包括排列子单元，用于根据所述图像序列中各个图像的特征点的分布，计算所述图像序列中相邻图像之间的位移，并根据所述相邻图像之间的位移量和位移方向对所述图像序列中的各帧图像进行排列。

方案12、根据方案11所述的图像处理设备，其中，

所述图像拼接组形成单元被配置为使得每个图像拼接组中包括：第一帧图像以及与该第一帧图像之间的特征点分布相似度超过预定阈值的相邻的多个在后帧图像，其中将所述图像序列中的第一帧图像作为第一图像拼接组中的第一帧图像，将第N-1图像拼接组中的最后一帧图像作为第N图像拼接组中的第一帧图像，N为大于1的整数。

方案13、根据方案12所述的图像处理设备，其中，

每个所述图像拼接组中包括的图像数量小于预定数量。

方案14、根据方案12或13所述的图像处理设备，其中，

所述图像拼接组形成单元包括：

最优位置确定子单元，用于从第一图像拼接组开始依次从各个图像拼接组的第一帧图像中选取用于进行图像拼接的最优位置，其中从每个图像拼接组的第一帧图像中选取除已作为其他图像拼接组的最优位置的区域之外、特征点分布最密集的位置作为该第一帧图像的最优位置；以及

相似度确定子单元，用于将与该第一帧图像相邻的在后帧图像中、在最优位置处的特征点分布与该第一帧图像在相应位置处的特征点分布相似度超过该预定阈值的图像作为该图像拼接组中的图像。

方案15、根据方案14所述的图像处理设备，其中，

所述拼接单元包括：

选择子单元，用于针对每个图像拼接组中的第一帧图像，选择所述最优位置作为该第一帧图像的最优拼接区域，选择该图像拼接组中的最后一帧图像作为该第一帧图像的最优拼接图像；以及

拼接子单元，基于各个最优拼接区域和最优拼接图像，从所述图像序列中的第一帧图像开始、沿所述图像序列的排列方向依次对各个图像拼接组中的第一帧图像进行拼接，从而形成拼接图像。

方案16、根据方案14或15所述的图像处理设备，其中，

所述图像拼接组形成单元还包括：非拼接区域检测子单元，用于检测待拼接图像中不适合作为拼接区域进行拼接的非拼接区域，

所述最优位置确定子单元被配置为当所述第一帧图像中特征点分布最密集的位置为所检测到的非拼接区域时，在与该非拼接区域相邻的区域中选择具有最密集特征点分布的位置作为该最优位置。

方案17、一种用于图像拼接的图像处理装置，包括：

控制器，被配置为：

获取待拼接图像的图像序列，并且针对所述图像序列中的每帧图像，提取该图像中的特征点并获取所述特征点的分布；

基于所述特征点的分布，对所述图像序列中的各帧图像进行排列，并且基于所述特征点的分布从所述图像序列形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像；以及

针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像。

方案18、一种电子设备，包括根据方案10-16中任一项所述的图像处理设备，其中电子设备尤其是手机、计算机、平板电脑、或个人数字助理。

方案19、一种使得计算机用作如方案10-16中任一项所述的图像处理设备的程序。

方案20、一种计算机可读存储介质，其上存储有能够由计算设备执行的计算机程序，该程序使得计算机用作如方案10-16中任一项所述的图像处理设备。

最后，还需要说明的是，在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管上面已经通过本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，本领域技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开所要求保护的范围内。

Claims (9)

1.一种用于图像拼接的图像处理方法，包括：

获取待拼接图像的图像序列，并且针对所述图像序列中的每帧图像，提取该图像中的特征点并且将所述特征点向预定方向投影，从而获取所述特征点的分布，其中所述预定方向是与获取所述图像序列时移动用于获取所述图像序列的相机或所述待拼接图像的方向平行的方向；

基于所述特征点的分布对所述图像序列中的各帧图像进行排列，并且基于所述特征点的分布从排列后的各帧图像形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像；以及

针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像，

其中，基于所述特征点的分布从所述图像序列形成多个图像拼接组，以使得每个图像拼接组包括：第一帧图像以及与该第一帧图像之间的特征点分布相似度超过预定阈值的相邻的多个在后帧图像，其中将所述图像序列中的第一帧图像作为第一图像拼接组中的第一帧图像，将第N-1图像拼接组中的最后一帧图像作为第N图像拼接组中的第一帧图像，N为大于1的整数。

2.根据权利要求1所述的图像处理方法，其中，形成图像拼接组的步骤包括根据所述图像序列中各个图像的特征点的分布，计算所述图像序列中相邻图像之间的位移，并根据所述相邻图像之间的位移量和位移方向对所述图像序列中的各帧图像进行排列。

3.根据权利要求1所述的图像处理方法，其中，

每个所述图像拼接组中包括的图像数量小于预定数量。

4.根据权利要求1或3所述的图像处理方法，其中，形成图像拼接组的步骤包括：

从第一图像拼接组开始依次从各个图像拼接组的第一帧图像中选取用于进行图像拼接的最优位置，其中从每个图像拼接组的第一帧图像中选取除已作为其他图像拼接组的最优位置的区域之外、特征点分布最密集的位置作为该第一帧图像的最优位置；以及

将与该第一帧图像相邻的在后帧图像中、在最优位置处的特征点分布与该第一帧图像在相应位置处的特征点分布相似度超过该预定阈值的图像作为该图像拼接组中的图像。

5.根据权利要求4所述的图像处理方法，其中，形成拼接图像的步骤包括：

针对每个图像拼接组中的第一帧图像，选择所述最优位置作为该第一帧图像的最优拼接区域，选择该图像拼接组中的最后一帧图像作为该第一帧图像的最优拼接图像；以及

基于各个最优拼接区域和最优拼接图像，从所述图像序列中的第一帧图像开始、沿所述图像序列的排列方向依次对各个图像拼接组中的第一帧图像进行拼接，从而形成拼接图像。

6.根据权利要求4所述的图像处理方法，其中，

形成拼接图像的步骤还包括检测待拼接图像中不适合作为拼接区域进行拼接的非拼接区域，

选取最优位置的步骤还包括：当所述第一帧图像中特征点分布最密集的位置为所检测到的非拼接区域时，在与该非拼接区域相邻的区域中选择具有最密集特征点分布的位置作为该最优位置。

7.根据权利要求5所述的图像处理方法，其中，

形成拼接图像的步骤还包括检测待拼接图像中不适合作为拼接区域进行拼接的非拼接区域，

选取最优位置的步骤还包括：当所述第一帧图像中特征点分布最密集的位置为所检测到的非拼接区域时，在与该非拼接区域相邻的区域中选择具有最密集特征点分布的位置作为该最优位置。

8.一种用于图像拼接的图像处理设备，包括：

特征点提取单元，用于获取待拼接图像的图像序列，并且针对所述图像序列中的每帧图像，提取该图像中的特征点并且将所述特征点向预定方向投影，从而获取所述特征点的分布，其中所述预定方向是与获取所述图像序列时移动用于获取所述图像序列的相机或所述待拼接图像的方向平行的方向；

图像拼接组形成单元，用于基于所述特征点的分布，对所述图像序列中的各帧图像进行排列，并且基于所述特征点的分布从所述图像序列形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像；以及

拼接单元，被配置为针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像，

其中，基于所述特征点的分布从所述图像序列形成多个图像拼接组，以使得每个图像拼接组包括：第一帧图像以及与该第一帧图像之间的特征点分布相似度超过预定阈值的相邻的多个在后帧图像，其中将所述图像序列中的第一帧图像作为第一图像拼接组中的第一帧图像，将第N-1图像拼接组中的最后一帧图像作为第N图像拼接组中的第一帧图像，N为大于1的整数。

9.一种用于图像拼接的图像处理装置，包括：

控制器，被配置为：

获取待拼接图像的图像序列，并且针对所述图像序列中的每帧图像，提取该图像中的特征点并且将所述特征点向预定方向投影，从而获取所述特征点的分布，其中所述预定方向是与获取所述图像序列时移动用于获取所述图像序列的相机或所述待拼接图像的方向平行的方向；

基于所述特征点的分布，对所述图像序列中的各帧图像进行排列，并且基于所述特征点的分布从所述图像序列形成多个图像拼接组，其中每个图像拼接组中包括所述图像序列中的多帧图像；以及

针对每个图像拼接组中的第一帧图像，基于所述特征点的分布选择最优拼接图像以及最优拼接区域，从而基于各个所述最优拼接图像和所述最优拼接区域形成与所述待拼接图像对应的拼接图像，

其中，基于所述特征点的分布从所述图像序列形成多个图像拼接组，以使得每个图像拼接组包括：第一帧图像以及与该第一帧图像之间的特征点分布相似度超过预定阈值的相邻的多个在后帧图像，其中将所述图像序列中的第一帧图像作为第一图像拼接组中的第一帧图像，将第N-1图像拼接组中的最后一帧图像作为第N图像拼接组中的第一帧图像，N为大于1的整数。

Images