CN110211076A

CN110211076A - 图像拼接方法、图像拼接设备和可读存储介质

Info

Publication number: CN110211076A
Application number: CN201910383804.7A
Authority: CN
Inventors: 淳秋坪; 石峰
Original assignee: Shanghai United Imaging Intelligent Healthcare Co Ltd
Current assignee: Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date: 2019-05-09
Filing date: 2019-05-09
Publication date: 2019-09-06
Anticipated expiration: 2039-05-09
Also published as: CN110211076B

Abstract

本申请涉及一种图像拼接方法、图像拼接设备和可读存储介质。所述方法包括：获取多个待拼接图像中的前景图像，其中上述多个待拼接图像包括至少相邻的两幅待拼接图像；对相邻的两幅待拼接图像中的前景图像进行取交集处理，得到上述相邻的两幅待拼接图像的前景图像对应的第一重叠区域；对上述第一重叠区域进行特征点匹配处理，得到上述相邻的两幅待拼接图像之间的第一目标相对位移；利用上述第一目标相对位移对上述相邻的两幅待拼接图像进行拼接。采用本方法能够提高图像拼接的效率。

Description

图像拼接方法、图像拼接设备和可读存储介质

技术领域

本申请涉及医学图像处理技术领域，特别是涉及一种图像拼接方法、图像拼接设备和可读存储介质。

背景技术

图像拼接一般是通过将一系列空间重叠的图像对齐，并构成一个无缝的、高清晰的图像。

针对一些高精度的医学图像，医生一般需要从全局到局部进行观察，通常情况下，医生先利用显微镜的低倍镜从整体上观察切片的特征分布情况，之后再手动调节显微镜，定位到切片的局部，并利用高倍镜观察局部细胞形态等细节，最后做出诊断结果，这样的观察方式比较耗费人力和时间；如果能采用图像拼接技术，将高倍镜下获取的一系列医学图像拼接成一幅完整的图像，那么医生在观察时就可以利用拼接的完整图像来对观测对象的全貌进行诊视，同时也可以放大该拼接的完整图像，这样就可以对观测对象的局部细节信息进行诊视，从而使得医生可以更加快速地得到诊断结果。

然而上述技术在对图像进行拼接时，存在计算量过大，导致图像拼接效率较低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种图像拼接方法、图像拼接设备和可读存储介质。

一种图像拼接方法，该方法包括：

获取多个待拼接图像中的前景图像，其中上述多个待拼接图像包括至少相邻的两幅待拼接图像；

对相邻的两幅待拼接图像中的前景图像进行取交集处理，得到上述相邻的两幅待拼接图像的前景图像对应的第一重叠区域；

对上述第一重叠区域进行特征点匹配处理，得到上述相邻的两幅待拼接图像之间的第一目标相对位移；

利用上述第一目标相对位移对上述相邻的两幅待拼接图像进行拼接。

在其中一个实施例中，该方法还包括：

将上述多个待拼接图像划分成至少两行两列的区块；

利用上述区块内的相邻两幅待拼接图像之间的第一目标相对位移进行区块内的图像拼接，形成待拼接区块图像；

将各个待拼接区块图像进行区块间拼接，形成整幅图像。

在其中一个实施例中，上述将各个待拼接区块图像进行区块间拼接，包括：

对相邻的两幅待拼接区块图像中的前景图像进行取交集处理，得到上述相邻的两幅待拼接区块图像的前景图像对应的第二重叠区域；

对上述第二重叠区域进行特征点匹配处理，得到上述相邻的两幅待拼接区块图像之间的第二目标相对位移；

根据相邻的两个待拼接区块图像之间的第二目标相对位移，将各个待拼接区块图像进行区块间拼接，形成整幅图像。

在其中一个实施例中，若对上述第一重叠区域从一个方向上进行特征点匹配处理，则上述得到所述相邻的两幅待拼接图像之间的第一目标相对位移，包括：

若上述待拼接图像的位置位于第一行，则将上述待拼接图像与水平方向上的相邻待拼接图像之间的相对位移确定为上述第一目标相对位移；

或者，

若上述待拼接图像的位置位于第一列，则将上述待拼接图像与竖直方向上的相邻待拼接图像之间的相对位移确定为上述第一目标相对位移。

在其中一个实施例中，若对上述第一重叠区域从两个方向上进行特征点匹配处理，其中上述两个方向包括水平方向和竖直方向，则上述得到所述相邻的两幅待拼接图像之间的第一目标相对位移，包括：

获取匹配特征点对数量最多的目标第一重叠区域，其中上述目标第一重叠区域包括上述待拼接图像水平方向上的第一重叠区域或者上述待拼接图像竖直方向上的第一重叠区域；

将上述匹配特征点对数量最多的目标第一重叠区域对应的相对位移确定为上述第一目标相对位移。

在其中一个实施例中，上述获取匹配特征点对数量最多的目标第一重叠区域，包括：

分别获取水平匹配特征点对的数量和竖直匹配特征点对的数量，其中上述水平匹配特征点对表示上述待拼接图像水平方向上的第一重叠区域中的匹配特征点对，上述竖直匹配特征点对表示上述待拼接图像竖直方向上的第一重叠区域中的匹配特征点对；

将上述竖直匹配特征点对的数量和上述水平匹配特征点对的数量中特征点对数量最多的对应的第一重叠区域，确定为上述目标第一重叠区域。

在其中一个实施例中，上述第一目标相对位移包括第一目标竖直相对位移和第一目标水平相对位移，上述利用上述第一目标相对位移对上述相邻的两幅待拼接图像进行拼接，包括：

将上述相邻的两幅待拼接图像中的一幅待拼接图像确定为参考图像、另一幅待拼接图像确定为移动图像；

以上述参考图像为标准，将上述移动图像在竖直方向上平移上述第一目标竖直相对位移、在水平方向上平移上述第一目标水平相对位移，对上述相邻的两幅待拼接图像进行拼接。

在其中一个实施例中，所述方法还包括：

分别获取相邻两幅待拼接图像的重叠区域中的特征点和特征描述子；

将上述相邻两幅待拼接图像的重叠区域中的特征描述子之间的距离与预设的距离阈值进行对比，根据对比结果确定粗匹配特征点对；

利用预设的匹配算法对上述粗匹配特征点对进行匹配处理，得到匹配特征点对；

基于每个匹配特征点对对应的权重以及各匹配特征点对中的两个特征点之间的相对位移，计算得到上述相邻两幅待拼接图像的重叠区域对应的相对位移。

一种图像拼接设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

上述图像拼接方法、图像拼接设备和可读存储介质，首先获取多个待拼接图像中的前景图像，并对相邻的两幅待拼接图像中的前景图像进行取交集处理，得到相邻的两幅待拼接图像的前景图像对应的第一重叠区域，接着对该第一重叠区域进行特征点匹配处理，得到相邻两幅待拼接图像之间的第一目标位移，最后利用第一目标位移对相邻的两幅待拼接图像进行拼接，其中，获取的多个待拼接图像中包括至少相邻的两幅待拼接图像。在本实施例中，由于在对相邻两幅待拼接图像进行拼接时，采用的是相邻两幅待拼接图像之间的相对位移来进行拼接的，而利用相对位移来进行图像拼接，其计算量小、速度快，因此，利用该方法可以降低图像拼接的时间，提高图像拼接的效率；另外，由于在得到上述目标位移时，是通过对相邻两幅待拼接图像的前景图像上的重叠区域的特征点进行匹配，来得到相邻两幅待拼接图像之间的相对位移的，而不是利用整幅图像上特征点进行匹配来得到相对位移的，本实施例的方法选取的特征点少，其计算量也相对较小，因此也可以缩短特征点匹配的时间，进而可以进一步缩短图像拼接的时间，从而进一步提高图像拼接的效率。

附图说明

图1为一个实施例中图像拼接设备的内部结构图；

图2为一个实施例中图像拼接方法的流程示意图；

图3为另一个实施例中图像拼接方法的流程示意图；

图4为另一个实施例中图像拼接方法的流程示意图；

图5为另一个实施例中图像拼接方法的流程示意图；

图6为另一个实施例中图像拼接方法的流程示意图；

图7为另一个实施例中图像拼接方法的流程示意图；

图8为另一个实施例中图像拼接方法中特征点的匹配过程的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图像拼接方法，可以应用于如图1所示图像拼接设备中，该图像拼接设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该图像拼接设备的处理器用于提供计算和控制能力。该图像拼接设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该图像拼接设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像拼接方法。该图像拼接设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该图像拼接设备的输入装置可以是显示屏上覆盖的触摸层，也可以是图像拼接设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的图像拼接设备的限定，具体的图像拼接设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，如图2所示，提供了一种图像拼接方法，本实施例涉及的是图像拼接设备如何获得相邻两幅待拼接图像之间的相对位移，并根据相对位移将两幅相邻的待拼接图像拼接起来的具体过程，以该方法应用于图1中的图像拼接设备为例进行说明，该方法可以包括以下步骤：

S202，获取多个待拼接图像中的前景图像，其中上述多个待拼接图像包括至少相邻的两幅待拼接图像。

在本实施例中，图像拼接设备首先获取的是对象的原始图像，由于很多原始图像中存在空白的无细胞区域，在该无细胞区域无法获取足够的特征点，对于后期的图像拼接就没有意义，因此就需要先采用阈值分割算法分割出前景与背景区域。可选的，采用的阈值分割算法可以是最小误差法、最大熵自动阈值法、有利于图像灰度直方图的风峰谷法、最大类间方差法等。其中，前景图像指的是镜头中位于主体前面或靠近前沿的人或物，对象指的是人体检测部位的病理特征，例如肿瘤切片等。

具体的，图像拼接设备可以是先将对象的原始图像由RGB颜色空间转为HSV颜色空间，然后使用最大类间方差法计算每个通道(H、S、V)的最优阈值，并将计算得到的每个通道的最优阈值作为各个通道的模板(掩膜)，最后由H通道与S通道或者V通道的模板进行合并，得到分割原始图像前景和背景的模板图像；接着，图像拼接设备可以利用分割原始图像前景和背景的模板图像，对原始图像进行分割，得到原始图像的前景图像。

需要说明的是，图像拼接设备在获取对象的原始图像时，以肿瘤切片为例，可以是先将染色后肿瘤切片放置在具有自动位移功能的微动平台上，通过具有拍摄功能的显微镜将对象有重复区域地遍历式拍摄下来，得到对象的多个原始图像，这多个原始图像由于是遍历拍摄的，因此其中必然存在相邻的两幅图像。另外，在本实施例中，待拼接图像可以是原始图像，还可以是将原始图像划分成多行多列的区块之后得到的区块图像，其中，每个区块图像中包括多个原始图像。

S204，对相邻的两幅待拼接图像中的前景图像进行取交集处理，得到上述相邻的两幅待拼接图像的前景图像对应的第一重叠区域。

具体的，图像拼接设备在得到待拼接图像的前景图像之后，由于图像拼接设备在获取对象的原始图像时，相邻两幅原始图像之间是有重叠区域的，因此图像拼接设备可以通过对相邻的两幅待拼接图像的前景图像进行取交集处理，这样就可以得到相邻两幅待拼接图像的前景图像的重叠区域，该重叠区域记为第一重叠区域。需要说明的是，任意两个相邻的待拼接图像的前景图像的重叠区域，都可以记为第一重叠区域。

S206，对上述第一重叠区域进行特征点匹配处理，得到上述相邻的两幅待拼接图像之间的第一目标相对位移。

具体的，图像拼接设备在得到相邻两幅待拼接图像的前景图像对应的第一重叠区域之后，在这里相邻两幅待拼接图像上均有第一重叠区域，图像拼接设备可以分别提取两幅待拼接图像上的第一重叠区域上的特征点、特征描述子等，并通过对两幅待拼接图像上的特征点和特征描述子分别进行匹配，得到匹配的特征点对，最终利用各个匹配的特征点对之间的相对位移，得到相邻两幅待拼接图像之间的相对位移，该相对位移记为第一目标位移。

S208，利用上述第一目标相对位移对上述相邻的两幅待拼接图像进行拼接。

本实施例中，可选的，上述第一目标相对位移包括第一目标竖直相对位移和第一目标水平相对位移，图像拼接设备在拼接相邻两幅待拼接图像时，可以将上述相邻的两幅待拼接图像中的一幅待拼接图像确定为参考图像、另一幅待拼接图像确定为移动图像，之后图像拼接设备可以以上述参考图像为标准，将上述移动图像在竖直方向上平移上述第一目标竖直相对位移、在水平方向上平移上述第一目标水平相对位移，对上述相邻的两幅待拼接图像进行拼接。可选的，图像拼接设备在使移动图像进行平移时，可以是先在竖直方向上平移第一目标竖直相对位移，再在水平方向上平移第一目标水平相对位移，还可以是先在水平方向上平移第一目标水平相对位移，再在竖直方向上平移第一目标竖直相对位移，本实施例对此不做限定，只要可以完成对相邻两幅待拼接图像之间的拼接即可。

上述图像拼接方法中，首先获取多个待拼接图像中的前景图像，并对相邻的两幅待拼接图像中的前景图像进行取交集处理，得到相邻的两幅待拼接图像的前景图像对应的第一重叠区域，接着对该第一重叠区域进行特征点匹配处理，得到相邻两幅待拼接图像之间的第一目标位移，最后利用第一目标位移对相邻的两幅待拼接图像进行拼接，其中，获取的多个待拼接图像中包括至少相邻的两幅待拼接图像。在本实施例中，由于在对相邻两幅待拼接图像进行拼接时，采用的是相邻两幅待拼接图像之间的相对位移来进行拼接的，而利用相对位移来进行图像拼接，其计算量小、速度快，因此，利用该方法可以降低图像拼接的时间，提高图像拼接的效率；另外，由于在得到上述目标位移时，是通过对相邻两幅待拼接图像的前景图像上的重叠区域的特征点进行匹配，来得到相邻两幅待拼接图像之间的相对位移的，而不是利用整幅图像上特征点进行匹配来得到相对位移的，本实施例的方法选取的特征点少，其计算量也相对较小，因此也可以缩短特征点匹配的时间，进而可以进一步缩短图像拼接的时间，从而进一步提高图像拼接的效率。

现有技术中，虽然利用多个匹配块可以完成对相邻两幅图像的拼接，但是该方法在对多幅图像进行拼接时，一般都是单幅图像一幅接着一幅进行拼接，直至一行拼接完成，再接着进行第二行拼接，可以看出，该方法中的重叠区域只是同一行两幅图像之间的重叠区域，这样就存在当前面两幅图出现拼接错误，那么后续的图像都会出现拼接错误，导致图像紊乱的问题，本申请下面的实施例会进一步解决现有技术中的这个问题。

在另一个实施例中，如图3所示，提供了另一种图像拼接方法，本实施例涉及的是图像拼接设备如何将待拼接图像划分成区块，并获得相邻两幅待拼接区块图像之间的相对位移，以利用该相对位移对相邻两幅待拼接区块图像进行拼接的具体过程。在上述实施例的基础上，该方法还可以包括以下步骤：

S302，将多个待拼接图像划分成至少两行两列的区块。

在本步骤中，图像拼接设备在将待拼接图像划分成区块时，可以是划分成两行两列，还可以多行多列，同时，对于图像拼接设备划分后的区块的行数和列数，可以是区块的行数与列数相等，还可以区块的行数与列数不相等，本实施例对此并不做限定。其中，每个区块里可以包括一个待拼接图像，还可以包括多个待拼接图像。例如，可以将多个待拼接图像划分成5行3列共15个区块，每个区块里可以包括4行5列共20个待拼接图像。

具体的，图像拼接设备在得到多个待拼接图像后，可以按照预先设定的划分的行列数，将多个待拼接图像划分成至少两行两列的区块，可选的，待拼接图像可以是对象的原始图像。

S304，利用上述区块内的相邻两幅待拼接图像之间的第一目标相对位移进行区块内的图像拼接，形成待拼接区块图像。

具体的，在本实施例中，待拼接图像为区块内的图像，图像拼接设备在得到区块内相邻两个待拼接图像之间的第一目标相对位移之后，可以将先利用第一目标相对位移将相邻两幅待拼接图像拼接起来，以此类推，将区块内的每个待拼接图像都拼接起来，形成一个待拼接区块图像；同理，可以将每个区块内的待拼接图像都拼接起来，得到每个区块的待拼接区块图像。

继续以上述多个待拼接图像划分成5行3列共15个区块，每个区块里可以包括4行5列共20个待拼接图像为例，图像拼接设备可以先将每个区块内的4行5列共20个待拼接图像先拼接起来，得到5行3列共15个待拼接区块图像。

S306，将各个待拼接区块图像进行区块间拼接，形成整幅图像。

具体的，图像拼接设备在得到每个区块的待拼接区块图像之后，可选的，如图4所示，可以利用以下步骤S402-S406将各个待拼接区块图像拼接起来：

S402，对相邻的两幅待拼接区块图像中的前景图像进行取交集处理，得到所述相邻的两幅待拼接区块图像的前景图像对应的第二重叠区域。

具体的，图像拼接设备可以利用上述S202的步骤提取出各待拼接区块图像的前景图像，在得到各待拼接区块图像的前景图像之后，图像拼接设备可以选取相邻两幅待拼接区块图像，并通过对该相邻两幅待拼接区块图像的前景图像进行取交集处理，这样就可以得到相邻两幅待拼接区块图像的前景图像的重叠区域，该重叠区域记为第二重叠区域。需要说明的是，任意两个相邻的待拼接区块图像的前景图像的重叠区域，都可以记为第二重叠区域。

S404，对所述第二重叠区域进行特征点匹配处理，得到所述相邻的两幅待拼接区块图像之间的第二目标相对位移。

具体的，图像拼接设备在得到相邻两幅待拼接区块图像的前景图像对应的第二重叠区域之后，在这里相邻两幅待拼接区块图像上均有第二重叠区域，图像拼接设备可以分别提取两幅待拼接区块图像上的第二重叠区域上的特征点、特征描述子等，并通过对两幅待拼接区块图像上的特征点和特征描述子分别进行匹配，得到匹配的特征点对，最终利用各个匹配的特征点对之间的相对位移，得到相邻两幅待拼接区块图像之间的相对位移，该相对位移记为第二目标位移。

S406，根据相邻的两个待拼接区块图像之间的第二目标相对位移，将各个待拼接区块图像进行区块间拼接，形成整幅图像。

在本实施例中，可选的，上述第二目标相对位移也可以包括第二目标竖直相对位移和第二目标水平相对位移；图像拼接设备在拼接相邻两幅待拼接区块图像时，可以将上述相邻的两幅待拼接区块图像中的一幅待拼接区块图像确定为参考区块图像、另一幅待拼接图像确定为移动区块图像，之后图像拼接设备可以以上述参考区块图像为标准，将上述移动区块图像在竖直方向上平移上述第二目标竖直相对位移、在水平方向上平移上述第二目标水平相对位移，对上述相邻的两幅待拼接区块图像进行拼接。可选的，图像拼接设备在使移动区块图像进行平移时，可以是先在竖直方向上平移第二目标竖直相对位移，再在水平方向上平移第二目标水平相对位移，还可以是先在水平方向上平移第二目标水平相对位移，再在竖直方向上平移第二目标竖直相对位移，本实施例对此不做限定，只要可以完成对相邻两幅待拼接区块图像之间的拼接即可，图像拼接设备在将各个待拼接区块图像拼接完成之后，就可以得到整幅图像。

继续以上述多个待拼接图像划分成5行3列共15个区块，每个区块里可以包括4行5列共20个待拼接图像为例，图像拼接设备在得到5行3列共15个待拼接区块图像之后，可以将该15个待拼接区块图像再拼接起来，得到整幅图像。

本实施例提供的图像拼接方法，首先将多个待拼接图像划分成至少两行两列的区块，接着利用区块内的相邻两幅待拼接图像之间的第一目标相对位移进行区块内的图像拼接，形成待拼接区块图像，最后将各个待拼接区块图像进行区块间拼接，形成整幅图像。在本实施例中，由于先对划分成多行多列待拼接图像进行区块内的拼接，在区块内的拼接完成后，再进行区块间的拼接，这样当出现两幅待拼接图像或者两幅待拼接区块图像拼接错误时，其不会影响后面其他待拼接图像或者待拼接区块图像之间的拼接，因此，利用该方法可以降低拼接时出现错误导致图像不准确的问题，从而可以提高拼接图像的准确性，使得到的完整图像更加准确。

上述实施例中，在对第一重叠区域进行特征点匹配处理时，可以根据上述相邻的两幅待拼接图像所在的行列位置，对待拼接图像在行列上的第一重叠区域进行一个方向或者两个方向上的特征点匹配处理，得到上述相邻的两幅待拼接图像之间的第一目标相对位移，即可以包括两种情况，一种是对第一重叠区域从一个方向上进行特征点匹配，另一种是对第一重叠区域从两个方向上进行特征点匹配，下面将通过两个实施例来对在该两种情况下，如何得到相邻两幅待拼接图像之间的第一目标相对位移的具体过程进行详细说明。

在另一个实施例中，若对上述第一重叠区域从一个方向上进行特征点匹配处理，则本实施例提供了另一种图像拼接方法，在上述实施例的基础上，上述S206中得到相邻的两幅待拼接图像之间的第一目标相对位移，可以包括以下步骤：

若上述待拼接图像的位置位于第一行，则将上述待拼接图像与水平方向上的相邻待拼接图像之间的相对位移确定为上述第一目标相对位移；或者，若上述待拼接图像的位置位于第一列，则将上述待拼接图像与竖直方向上的相邻待拼接图像之间的相对位移确定为上述第一目标相对位移。

具体的，图像拼接设备在得到相邻两幅待拼接图像的前景图像对应的第一重叠区域后，可以先判断待拼接图像的位置是否属于第一行或者第一列，在一种可能的实施方式中，当得到待拼接图像的位置属于第一行时，那么就可以得出待拼接图像只和水平方向上的相邻待拼接图像进行拼接，则图像拼接设备就可以将该待拼接图像和水平方向上的相邻待拼接图像之间的相对位移确定为第一目标位移；在另一种可能的实施方式中，当得到待拼接图像的位置属于第一列时，那么就可以得出待拼接图像只和竖直方向上的相邻待拼接图像进行拼接，则图像拼接设备就可以将该待拼接图像和竖直方向上的相邻待拼接图像之间的相对位移确定为第一目标位移。其中，该待拼接图像和水平方向上或者竖直方向上的相邻待拼接图像之间的相对位移的确定方法，可以参见上述S206中相对位移的确定方法，在此不再赘述。

需要说明的是，上述待拼接图像可以是区块内的原始图像，还可以是区块间的待拼接区块图像，当待拼接图像是区块内的原始图像时，则判断待拼接图像的行列位置就是判断待拼接图像在其所在区块内的行列位置，当待拼接图像时区块间的待拼接区块图像时，则判断待拼接图像的位置就是判断待拼接区块图像在整幅图像上的行列位置。

本实施例提供的图像拼接方法，在对第一重叠区域从一个方向上进行特征点匹配处理时，当待拼接图像的位置位于第一行，则将待拼接图像与水平方向上的相邻待拼接图像之间的相对位移确定为第一目标相对位移，当待拼接图像的位置位于第一列，则将待拼接图像与竖直方向上的相邻待拼接图像之间的相对位移确定为第一目标相对位移。由于在对第一行和第一列的待拼接图像进行特征点匹配时，确定的第一目标相对位移为一个方向上的重叠区域对应的相对位移，并可以利用该相对位移实现对第一行和第一列的待拼接图像之间的快速拼接，因此，该方法可以在一定程度上降低图像拼接的时间，提高拼接的效率。

在另一个实施例中，如图5所示，若对上述第一重叠区域从两个方向上进行特征点匹配处理，其中该两个方向包括水平方向和竖直方向，则本实施例提供了另一种图像拼接方法，在上述实施例的基础上，上述S206中得到相邻的两幅待拼接图像之间的第一目标相对位移，可以包括以下步骤：

S502，获取匹配特征点对数量最多的目标第一重叠区域，其中上述目标第一重叠区域包括上述待拼接图像水平方向上的第一重叠区域或者上述待拼接图像竖直方向上的第一重叠区域。

在本实施例中，图像拼接设备在得到相邻两幅待拼接图像的前景图像对应的第一重叠区域后，也可以先判断待拼接图像的位置是否属于第一行或者第一列，当待拼接图像的位置不属于第一行且不属于第一列时，则图像拼接设备就需要对待拼接图像的第一重叠区域进行两个方向上的特征点匹配处理，以得到目标第一重叠区域；其中，目标第一重叠区域是在待拼接图像与水平方向上的相邻待拼接图像之间的第一重叠区域、以及待拼接图像与竖直方向上的相邻待拼接图像之间的第一重叠区域，两个第一重叠区域之间选择的一个第一重叠区域。可选的，如图6所示，获取匹配特征点对数量最多的目标第一重叠区域可以包括以下S602-S604的步骤：

S602，分别获取水平匹配特征点对的数量和竖直匹配特征点对的数量，其中上述水平匹配特征点对表示上述待拼接图像水平方向上的第一重叠区域中的匹配特征点对，上述竖直匹配特征点对表示上述待拼接图像竖直方向上的第一重叠区域中的匹配特征点对。

具体的，图像拼接设备在得到待拼接图像与水平方向上的相邻待拼接图像之间的第一重叠区域后，可以提取该水平方向上的第一重叠区域上的特征点、特征描述子等，并通过对两幅待拼接图像上的特征点和特征描述子分别进行匹配，得到该水平方向上的第一重叠区域上的匹配的特征点对和匹配的特征点对的数量，该水平方向上的匹配的特征点对的数量记为水平匹配特征点对的数量；同理，图像拼接设备也可以得到竖直方向上的第一重叠区域上的匹配特征点对和匹配的特征点对的数量，该竖直方向上的匹配特征点对的数量记为竖直匹配特征点对的数量。

S604，将上述竖直匹配特征点对的数量和上述水平匹配特征点对的数量中特征点对数量最多的对应的第一重叠区域，确定为上述目标第一重叠区域。

具体的，图像拼接设备在S602中得到水平匹配特征点对的数量和竖直匹配特征点对的数量之后，可以将水平匹配特征点对的数量和竖直匹配特征点对的数量进行对比，当水平匹配特征点对的数量大于竖直匹配特征点对的数量时，则将待拼接图像水平方向上的第一重叠区域作为目标第一重叠区域；当水平匹配特征点对的数量不大于竖直匹配特征点对的数量时，则将待拼接图像竖直方向上的第一重叠区域作为目标第一重叠区域。

S504，将上述匹配特征点对数量最多的目标第一重叠区域对应的相对位移确定为上述第一目标相对位移。

具体的，在上述S502中，图像拼接设备可以得到目标第一重叠区域，同时，图像拼接设备也可以得到该目标第一重叠区域对应的匹配特征点对，以及各匹配特征点对之间的相对位移，之后，图像拼接设备利用各匹配特征点对之间的相对位移就可以得到目标第一重叠区域对应的相对位移，之后，图像拼接设备可以将该目标第一重叠区域对应的相对位移作为相邻两幅待拼接图像之间的第一目标相对位移，并利用该第一目标相对位移对相邻两幅待拼接图像进行拼接。

本实施例提供的图像拼接方法，当待拼接图像的位置不属于第一行且不属于第一列时，则需要对第一重叠区域从两个方向上进行特征点匹配处理，其中该两个方向包括水平方向和竖直方向，在进行特征点匹配处理时，首先获取匹配特征点对数量最多的目标第一重叠区域，该目标第一重叠区域为待拼接图像在水平方向上的第一重叠区域或者待拼接图像在竖直方向上的第一重叠区域，然后将匹配特征点对数量最多的目标第一重叠区域对应的相对位移作为第一目标相对位移。在本实施例中，当待拼接图像属于非第一行且非第一列时，由于对该待拼接图像进行拼接时，是通过将该待拼接图像在竖直和水平两个方向上的重叠区域的特征点都进行了特征点匹配处理，并从中选取匹配特征点对数量最多的目标第一重叠区域对应的相对位移作为第一目标相对位移，从而使得到的拼接图像与相邻的待拼接图像之间的相对位移更加准确，进而可以使得最终拼接的图像更加准确，从而提高图像的拼接质量。

在另一个实施例中，如图7所示，提供了另一种图像拼接方法，本实施例涉及的是图像拼接设备如何得到相邻两幅待拼接图像之间的相对位移的具体过程。在上述实施例的基础上，该方法还可以包括以下步骤：

S702，分别获取相邻两幅待拼接图像的重叠区域中的特征点和特征描述子。

其中，这里的重叠区域可以是上述第一重叠区域，也可以是上述第二重叠区域，本实施例对此不做限定。

具体的，图像拼接设备在得到相邻两幅待拼接图像的重叠区域之后，可以利用预设的特征提取算法提取该相邻两幅待拼接图像的重叠区域中的特征点和特征描述子，在这里，重叠区域在相邻两幅待拼接图像上都存在，因此，图像拼接设备提取的是两幅待拼接图像各自的重叠区域上的特征点和特征描述子。可选的，预设的特征提取算法可以是SURF算法、SIFT特征提取算法、Harris角点特征提取算法、ORB特征提取算法、FAST算法等。

需要说明的是，上述特征点也可以称为关键点，上述特征描述子是用来描述特征点的一些参数，上述特征点和特征描述子之间是一一对应的，即特征点的数量和特征描述子的数量相同，同时，图像拼接设备在两幅待拼接图像各自的重叠区域上提取的特征点的特征描述子的数量相同。

S704，将所述相邻两幅待拼接图像的重叠区域中的特征描述子之间的距离与预设的距离阈值进行对比，根据对比结果确定粗匹配特征点对。

具体的，图像拼接设备在得到相邻两幅待拼接图像各自的重叠区域中的特征点和特征描述子之后，可以利用汉明距离算法等，来计算相邻两幅待拼接图像的重叠区域中的特征描述子之间的距离，得到多个特征描述子对之间的距离值，并将计算出的多个距离值与预设的距离阈值进行对比，当计算的距离值大于预设的距离阈值时，则将该距离对应的特征描述子对以及对应的特征点对剔除掉，当计算的距离值不大于预设的距离阈值时，则将该距离对应的特征描述子对以及对应的特征点对保留，最终得到多个保留的特征点对和特征描述子对，该多个保留的特征点对即为粗匹配特征点对。

S706，利用预设的匹配算法对所述粗匹配特征点对进行匹配处理，得到匹配特征点对。

具体的，图像拼接设备在对特征点对进行了粗匹配之后，可以利用预设的匹配算法来对剩余的粗匹配特征点对进行再次匹配，从粗匹配特征点对中筛选出进一步匹配的特征点对，即匹配特征点对。可选的，预设的匹配算法可以是RANSAC(随机样本一致性)算法、KNN-matching(K-最邻近匹配)算法、BFMatcher(暴力匹配)算法等。以水平方向上相邻两幅待拼接图像的特征点匹配为例，相邻两幅待拼接图像的重叠区域中的特征点的匹配过程可以参见图8所示。

S708，基于每个匹配特征点对对应的权重以及各匹配特征点对中的两个特征点之间的相对位移，计算得到所述相邻两幅待拼接图像的重叠区域对应的相对位移。

具体的，图像拼接设备在利用预设的特征提取算法提取特征点和特征描述子时，还可以得到提取的各个特征点对的坐标(该坐标可以是图像坐标系上的坐标)，在计算两个特征点之间的相对位移时，图像拼接设备可以将两个特征点的坐标分别进行相减再取绝对值，然后就可以得到这两个特征点之间的相对位移，同理，其他匹配特征点对中两个特征点之间的相对位移也可以用此方法计算得到。

另外，图像拼接设备可以基于上述重叠区域在相邻两幅待拼接图像上的特征描述子之间的距离，计算每个匹配特征点对对应的权重，也就是说，图像拼接设备可以利用汉明距离算法等，来计算得到相邻两幅待拼接图像的重叠区域中的特征描述子之间的距离，之后，图像拼接设备可以利用以下公式(1)计算每个匹配特征点对所对应的权重，公式(1)如下：

其中，d_i表示第i个匹配的特征点对所对应的特征描述子之间的距离，w_i表示第i个匹配的特征点对所对应的权重，n为匹配的特征点对的数量。

之后，图像拼接设备可以对每个匹配特征点对所对应的权重和每个匹配特征点对中的两个特征点之间的相对位移进行加权求和，得到重叠区域对应的相对位移，也就是说，图像拼接设备可以将各个匹配的特征点对所对应的权重乘以各个匹配特征点对的相对位移，并将加权后的各个匹配特征点对的相对位移进行求和，就可以得到相邻两幅待拼接图像的重叠区域对应的相对位移，最后，图像拼接设备可以将该重叠区域对应的相对位移作为相邻两幅待拼接图像之间的目标相对位移，并利用该目标相对位移对相邻两幅待拼接图像进行拼接。

本实施例提供的图像拼接方法，首先分别获取相邻两幅待拼接图像的重叠区域中的特征点和特征描述子，接着将相邻两幅待拼接图像的重叠区域中的特征描述子之间的距离与预设的距离阈值进行对比，根据对比结果就可以得到粗匹配特征点对，然后再利用预设的匹配算法对粗匹配特征点对进行匹配处理，得到二次匹配的特征点对，最后基于每个匹配特征点对所对应的权重以及各匹配特征点对中的两个特征点之间的相对位移，计算得到相邻两幅待拼接图像的重叠区域对应的相对位移。在本实施中，由于对提取的特征点进行了两次匹配，因此可以使得到的匹配特征点对的匹配度更高，从而在利用该匹配的特征点对的相对位移计算重叠区域的相对位移时，得到的重叠区域的相对位移就会更加准确，也即是得到相邻两幅待拼接图像之间的相对位移就更加准确，那么在利用该相邻两幅待拼接图像之间的相对位移对相邻两幅待拼接图像进行拼接时，得到的拼接图像就会更加准确，从而可以提高图像拼接的质量。

应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种图像拼接设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将上述多个待拼接图像划分成至少两行两列的区块；

将各个待拼接区块图像进行区块间拼接，形成整幅图像。

或者，

在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将上述多个待拼接图像划分成至少两行两列的区块；

将各个待拼接区块图像进行区块间拼接，形成整幅图像。

或者，

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种图像拼接方法，其特征在于，所述方法包括：

获取多个待拼接图像中的前景图像，其中所述多个待拼接图像包括至少相邻的两幅待拼接图像；

对相邻的两幅待拼接图像中的前景图像进行取交集处理，得到所述相邻的两幅待拼接图像的前景图像对应的第一重叠区域；

对所述第一重叠区域进行特征点匹配处理，得到所述相邻的两幅待拼接图像之间的第一目标相对位移；

利用所述第一目标相对位移对所述相邻的两幅待拼接图像进行拼接。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述多个待拼接图像划分成至少两行两列的区块；

利用所述区块内的相邻两幅待拼接图像之间的第一目标相对位移进行区块内的图像拼接，形成待拼接区块图像；

将各个待拼接区块图像进行区块间拼接，形成整幅图像。

3.根据权利要求2所述的方法，其特征在于，所述将各个待拼接区块图像进行区块间拼接，包括：

对相邻的两幅待拼接区块图像中的前景图像进行取交集处理，得到所述相邻的两幅待拼接区块图像的前景图像对应的第二重叠区域；

对所述第二重叠区域进行特征点匹配处理，得到所述相邻的两幅待拼接区块图像之间的第二目标相对位移；

4.根据权利要求1所述的方法，其特征在于，若对所述第一重叠区域从一个方向上进行特征点匹配处理，则所述得到所述相邻的两幅待拼接图像之间的第一目标相对位移，包括：

若所述待拼接图像的位置位于第一行，则将所述待拼接图像与水平方向上的相邻待拼接图像之间的相对位移确定为所述第一目标相对位移；

或者，

若所述待拼接图像的位置位于第一列，则将所述待拼接图像与竖直方向上的相邻待拼接图像之间的相对位移确定为所述第一目标相对位移。

5.根据权利要求1所述的方法，其特征在于，若对所述第一重叠区域从两个方向上进行特征点匹配处理，其中所述两个方向包括水平方向和竖直方向，则所述得到所述相邻的两幅待拼接图像之间的第一目标相对位移，包括：

获取匹配特征点对数量最多的目标第一重叠区域，其中所述目标第一重叠区域包括所述待拼接图像水平方向上的第一重叠区域或者所述待拼接图像竖直方向上的第一重叠区域；

将所述匹配特征点对数量最多的目标第一重叠区域对应的相对位移确定为所述第一目标相对位移。

6.根据权利要求5所述的方法，其特征在于，所述获取匹配特征点对数量最多的目标第一重叠区域，包括：

分别获取水平匹配特征点对的数量和竖直匹配特征点对的数量，其中所述水平匹配特征点对表示所述待拼接图像水平方向上的第一重叠区域中的匹配特征点对，所述竖直匹配特征点对表示所述待拼接图像竖直方向上的第一重叠区域中的匹配特征点对；

将所述竖直匹配特征点对的数量和所述水平匹配特征点对的数量中特征点对数量最多的对应的第一重叠区域，确定为所述目标第一重叠区域。

7.根据权利要求1所述的方法，其特征在于，所述第一目标相对位移包括第一目标竖直相对位移和第一目标水平相对位移，所述利用所述第一目标相对位移对所述相邻的两幅待拼接图像进行拼接，包括：

将所述相邻的两幅待拼接图像中的一幅待拼接图像确定为参考图像、另一幅待拼接图像确定为移动图像；

以所述参考图像为标准，将所述移动图像在竖直方向上平移所述第一目标竖直相对位移、在水平方向上平移所述第一目标水平相对位移，对所述相邻的两幅待拼接图像进行拼接。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述相邻两幅待拼接图像的重叠区域中的特征描述子之间的距离与预设的距离阈值进行对比，根据对比结果确定粗匹配特征点对；

利用预设的匹配算法对所述粗匹配特征点对进行匹配处理，得到匹配特征点对；

基于每个匹配特征点对对应的权重以及各匹配特征点对中的两个特征点之间的相对位移，计算得到所述相邻两幅待拼接图像的重叠区域对应的相对位移。

9.一种图像拼接设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。