CN108648145A - 图像拼接方法及装置 - Google Patents

Abstract

本申请提供一种图像拼接方法及装置，方法包括：确定第一图像的重叠区域图像和第二图像的重叠区域图像；对第一图像的重叠区域图像和第二图像的重叠区域图像进行扩展；利用非刚体配准计算两个扩展重叠区域的重叠区域形变场；根据重叠区域形变场计算两幅图像的非重叠区域形变场；根据重叠区域形变场和非重叠区域形变场拼接第一图像和第二图像。本案对重叠区域的扩展增加了重叠区域边界的像素，因此由扩展重叠区域配准的重叠区域边界的形变误差小，进而由重叠区域形变场得到的非重叠区域形变场误差小，根据重叠区域形变场计算非重叠区域形变场可确保重叠区域和非重叠区域的形变场变化连续，使得拼接图像的重叠区域和非重叠区域之间的组织结构连续。

Description

图像拼接方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像拼接方法及装置。

背景技术

目前图像拼接技术，通常先根据图像标签中记录的图像位置和图像信息，获得第一图像和第二图像的重叠区域，然后通过非刚体配准，获得两幅图像的重叠区域形变场，最后根据重叠区域形变场，对第一图像和第二图像进行拼接，得到拼接图像。然而，通过非刚体配准，只能得到的重叠区域内的形变场，并且得到的重叠区域边界的形变误差比较大，导致重叠区域边界的拼接精度比较低，进而使得重叠区域和非重叠区域之间的组织结构不连续。

发明内容

有鉴于此，本申请提供一种图像拼接方法及装置，以解决现有拼接方法会造成重叠区域和非重叠区域之间的组织结构不连续的问题。

根据本申请实施例的第一方面，提供一种图像拼接方法，所述方法用于将第一图像和第二图像进行拼接，所述方法包括：

确定第一图像的重叠区域图像以及第二图像的重叠区域图像；

分别对所述第一图像的重叠区域图像和第二图像的重叠区域图像进行扩展，得到扩展重叠区域；

利用非刚体配准，计算两个扩展重叠区域之间的重叠区域形变场；

根据重叠区域形变场，计算两幅图像在重叠区域之外的非重叠区域形变场；

根据所述重叠区域形变场和所述非重叠区域形变场，拼接所述第一图像和所述第二图像，得到拼接图像。

根据本申请实施例的第二方面，提供一种图像拼接装置，所述装置用于将第一图像和第二图像进行拼接，所述装置包括：

确定重叠区域模块，用于确定第一图像的重叠区域图像以及第二图像的重叠区域图像；

扩展模块，用于分别对所述第一图像的重叠区域图像和第二图像的重叠区域图像进行扩展，得到扩展重叠区域；

第一计算模块，用于利用非刚体配准，计算两个扩展重叠区域之间的重叠区域形变场；

第二计算模块，用于根据重叠区域形变场，计算两幅图像在重叠区域之外的非重叠区域形变场；

拼接模块，用于根据所述重叠区域形变场和所述非重叠区域形变场，拼接所述第一图像和所述第二图像，得到拼接图像。

应用本申请实施例，在确定第一图像的重叠区域图像和第二图像的重叠区域图像之后，可以对第一图像的重叠区域图像和第二图像的重叠区域图像进行扩展，得到扩展重叠区域，并利用非刚体配准，计算两个扩展重叠区域之间的重叠区域形变场，然后再根据重叠区域形变场，计算两幅图像在重叠区域之外的非重叠区域形变场，并根据重叠区域形变场和非重叠区域形变场，拼接第一图像和第二图像，得到拼接图像。基于上述描述可知，由于对重叠区域的扩展增加了重叠区域边界的像素，因此由扩展重叠区域配准得到的重叠区域边界的形变场误差减少，进而根据重叠区域形变场得到的非重叠区域形变场误差也减少，并且根据重叠区域形变场得到非重叠区域形变场，可以确保重叠区域和非重叠区域之间的形变场变化平缓连续，进而使得拼接图像的重叠区域和非重叠区域之间的组织结构连续。

附图说明

图1A为本申请根据一示例性实施例示出的一种图像拼接方法的实施例流程图；

图1B和图1C为本申请根据图1A所示实施例示出的第一图像的重叠区域的图像和第二图像的重叠区域的图像；

图1D和图1E为本申请根据图1A所示实施例示出的第一图像的扩展重叠区域的图像和第二图像的扩展重叠区域的图像；

图1F为本申请根据图1A所示实施例示出的第一图像的形变场示意图；

图1G为本申请根据图1A所示实施例示出的由三幅图像拼接得到全脊柱图像的拼接效果图；

图2A为本申请根据一示例性实施例示出的另一种图像拼接方法的实施例流程图；

图2B为本申请根据图2A所示实施例示出的一种互信息分布曲线图；

图3A为本申请根据一示例性实施例示出的又一种图像拼接方方法的实施例流程图；

图3B为本申请根据图3A所示实施例示出的一种像素权重计算示意图；

图4为本申请根据一示例性实施例示出的一种影像设备的硬件结构图；

图5为本申请根据一示例性实施例示出的一种图像拼接装置的实施例结构图；

图6为本申请根据一示例性实施例示出的另一种图像拼接装置的实施例结构图；

图7为本申请根据一示例性实施例示出的又一种图像拼接装置的实施例结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

全脊柱成像对脊柱畸形、侧弯，以及多发性骨髓瘤等脊柱脊髓疾病有较高的诊断依据。但是由于目前影像设备扫描视野(FOV)的限制，不能一次对全脊柱进行成像，需要扫描3-5次，然后通过图像拼接技术得到脊柱的整幅图像。下面以示例性实施例对图像拼接技术进行详细阐述。

图1A为本申请根据一示例性实施例示出的一种图像拼接方法的实施例流程图；图1B和图1C为本申请根据图1A所示实施例示出的第一图像的重叠区域的图像和第二图像的重叠区域的图像；图1D和图1E为本申请根据图1A所示实施例示出的第一图像的扩展重叠区域的图像和第二图像的扩展重叠区域的图像；图1F为本申请根据图1A所示实施例示出的第一图像的形变场示意图；图1G为本申请根据图1A所示实施例示出的由三幅图像拼接得到全脊柱图像的拼接效果图，该实施例可以应用在影像设备(例如超声成像设备、磁共振成像设备等)上。本申请实施例是用于将第一图像和第二图像进行拼接，第一图像和第二图像可以是多种模态图像，例如，X射线扫描图像、磁共振图像、红外扫描图像等。如图1A所示，该图像拼接方法包括如下步骤：

步骤101：确定第一图像的重叠区域图像以及第二图像的重叠区域图像。

在执行步骤101之前，可以判断第一图像的像素物理间距与第二图像的像素物理间距是否相同，如果不同，则利用两幅图像的像素物理间距进行重采样处理，使两幅图像的像素物理间距一致。

其中，针对重采样处理过程，可以根据两幅图像的像素物理间距确定第一图像的放大系数(以第二图像为参考标准，对第一图像进行重采样)，并根据放大系数计算重采样后第一图像的大小，然后将重采样后第一图像每个像素点，根据放大系数变换到重采样前第一图像位置，并利用重采样前第一图像位置的像素值进行双线性插值，得到重采样后第一图像像素点的像素值。

具体如何确定第一图像的重叠区域图像以及第二图像的重叠区域图像，可以参见下述图2A所示实施例的描述，在此先不详述。

步骤102：分别对第一图像的重叠区域图像和第二图像的重叠区域图像进行扩展，得到扩展重叠区域。

在一实施例中，由于重叠区域边界的像素比较少，因此配准得到的重叠区域边界的形变误差比较大。为了降低重叠区域边界的形变误差，在配准前可以先对重叠区域进行扩展，以增加重叠区域边界的像素，进而使得利用扩展重叠区域配准得到的重叠区域边界的形变场误差减少。

在一实施例中，可以将第一图像的重叠区域图像(图1B所示)和第二图像的重叠区域图像(图1C所示)的上下边界，分别向外扩展预设数值的像素行，如图1D所示，利用第一图像的重叠区域图像的上边界的像素，填充从上边界向外扩展的像素行，并利用第一图像的重叠区域图像的下边界的像素，填充从下边界向外扩展的像素行，如图1E所示，利用第二图像的重叠区域图像的上边界的像素，填充从上边界向外扩展的像素行，并利用第二图像的重叠区域图像的下边界的像素，填充从下边界向外扩展的像素行。本领域技术人员可以理解的是，图1D和图1E中用虚线标出的扩展的像素行仅为示例性说明，并不能形成对本申请的限制。

在一实施例中，在将第一图像的重叠区域图像和第二图像重叠区域图像的上下边界，分别向外扩展预设数值的像素行之后，也可以使用预设像素值填充向外扩展的像素行。该预设像素值可以根据实际经验设置，例如预设像素值为0。

步骤103：利用非刚体配准，计算两个扩展重叠区域之间的重叠区域形变场。

在一实施例中，可以通过非刚体配准算法，计算第一图像的扩展重叠区域图像相对第二图像的扩展重叠区域图像的形变场(即以第二图像的扩展重叠区域图像为参考标准，将第一图像的扩展重叠区域图像进行形变到与第二图像的扩展重叠区域图像位置一致)，然后去掉扩展区域图像的形变场，得到重叠区域形变场。

其中，第一图像的重叠区域图像像素相对第二图像的重叠区域图像像素的形变由形变量表述，而每个像素的形变组成了重叠区域形变场，因此重叠区域形变场指的是第一图像的重叠区域形变场。本领域技术人员可以理解的是，本申请对非刚体配准的具体算法不进行限制，例如可以是基于互信息的光流场的非刚体配准算法。

步骤104：根据重叠区域形变场，计算两幅图像在重叠区域之外的非重叠区域形变场。

在一实施例中，由于非刚体配准得到的只是重叠区域的形变场，为了避免重叠区域内外的形变场变化剧烈，可以利用刚体配准，得到两幅图像之间在重叠区域之外的非重叠区域形变场，再根据重叠区域形变场，对非重叠区域形变场进行更新，以确保重叠区域内外(重叠区域和非重叠区域之间)的形变场变化平缓连续。

其中，两幅图像之间的形变场由重叠区域形变场和更新后的非重叠区域形变场组成。具体可以利用重叠区域边界的形变场，对非重叠区域形变场进行更新，使得重叠区域内外的形变场变化平缓连续。本领域技术人员可以理解的是，本申请中的刚体配准可以通过相关技术实现，不再详述。

在一实施例中，可以通过线性插值方式，利用重叠区域形变场对非重叠区域形变场进行更新。下面对线性插值方式进行详细阐述：

第一图像的重叠区域图像边界的点(x，y1)的形变量为W(x，y1)，非重叠区域图像的点(x，y2)的形变量可以利用W(x，y1)更新，线性插值的步长为Step，形变量变化阈值为Threshold，第一图像的列数为N，即x取值为1～N，插值代码如下：

如图1F所示，实线框中的形变场为第一图像的重叠区域图像的形变场，由第一图像的重叠区域图像边界的点(x，y1)的形变量W(x，y1)，更新的第一图像的非重叠区域图像的点(x，y2)的形变量为W(x，y2)。

由上述插值代码可知，由于当fabs(W(x，y1+i)-W(x，y1))<Threshold时，表示点(x，y1+i)处的形变量相对重叠区域边界形变场变化小于阈值，无需再对点(x，y1+i)处的形变量进行更新，因此利用重叠区域边界形变场更新的是接近重叠区域的非重叠区域形变场，从而确保了重叠区域内外的形变场变化平缓连续。

值得说明的是，还可以对重叠区域形变场和非重叠区域形变场进行平滑处理，以进一步保证整幅图像形变场的变化平缓连续。本领域技术人员可以理解的是，本申请可以通过相关技术实现平滑处理，例如高斯平滑处理。

步骤105：根据重叠区域形变场和非重叠区域形变场，拼接第一图像和第二图像，得到拼接图像。

具体如何根据重叠区域形变场和非重叠区域形变场，拼接第一图像和第二图像，得到拼接图像，可以参见下述图3A所示实施例的描述，在此先不详述。

在一示例性场景中，如图1G所示，在进行全脊柱成像时，进行了三次扫描，得到三幅图像，分别为第一幅图像、第二幅图像以及第三幅图像，其中，第一幅图像与第二幅图像之间的重叠区域为重叠区域1，第二幅图像与第三幅图像之间的重叠区域为重叠区域2，利用上述步骤101至步骤105的拼接处理流程，得到全脊柱图像。

本实施例中，在确定第一图像的重叠区域图像和第二图像的重叠区域图像之后，可以对第一图像的重叠区域图像和第二图像的重叠区域图像进行扩展，得到扩展重叠区域，并利用非刚体配准，计算两个扩展重叠区域之间的重叠区域形变场，然后再根据重叠区域形变场，计算两幅图像在重叠区域之外的非重叠区域形变场，并根据重叠区域形变场和非重叠区域形变场，拼接第一图像和第二图像，得到拼接图像。基于上述描述可知，由于对重叠区域的扩展增加了重叠区域边界的像素，因此由扩展重叠区域配准得到的重叠区域边界的形变场误差减少，进而根据重叠区域形变场得到的非重叠区域形变场误差也减少，并且根据重叠区域形变场得到非重叠区域形变场，可以确保重叠区域和非重叠区域之间的形变场变化平缓连续，进而使得拼接图像的重叠区域和非重叠区域之间的组织结构连续。

图2A为本申请根据一示例性实施例示出的另一种图像拼接方方法的实施例流程图；图2B为本申请根据图2A所示实施例示出的一种互信息分布曲线图，本实施例利用本申请实施例提供的上述方法，以如何确定第一图像的重叠区域图像以及第二图像的重叠区域图像为例进行示例性说明，如图2A所示，包括如下步骤：

步骤201：分别根据第一图像和第二图像的图像位置和图像信息，确定第一图像的粗略重叠区域图像和第二图像的粗略重叠区域图像。

在一实施例中，由影像设备扫描得到的每幅图像均会生成该图像的图像标签(DICOM tag)，以用于描述与该图像相关的信息。其中，图像标签中记录有图像位置和图像信息，图像位置指的是该图像左上角顶点在空间坐标系(病人坐标系)中的空间坐标，图像信息指的是该图像包含的列数和行数，以及像素物理间距。从而根据图像位置和图像信息可以将第一图像和第二图像中的每个点映射到空间坐标系中，进而将两幅图像中空间坐标相同的点确定为粗略重叠区域。

步骤202：基于第一图像的粗略重叠区域图像，在第二图像上执行基于互信息的相似性遍历搜索，得到互信息分布曲线。

在一实施例中，可以从第二图像最下方的第一行开始，截取与第一图像的粗略重叠区域图像相同大小的小图，计算该小图与第一图像的粗略重叠区域图像之间互信息值，然后再从第二图像最下方的第二行开始，向上截取与第一图像的粗略重叠区域图像相同大小的小图，计算该小图与第一图像的粗略重叠区域图像之间互信息值，以此类推，直到在第二图像上截取的小图的上边界与第二图像的上边界重合为止，从而得到互信息分布曲线。如图2B所示，水平方向坐标轴表示的是第二图像的行数，垂直方向坐标轴表示的是互信息值。其中，计算得到的互信息值越大表示两幅图像之间越相似。

其中，两幅图像之间的互信息值表示的是两幅图像之间相似度大小，互信息值越大，相似度越高。

步骤203：根据互信息分布曲线中的最大互信息值确定第二图像的重叠区域图像和第一图像的重叠区域图像。

在一示例性场景中，如图2B所示，该互信息分布曲线中互信息最大值对应的行数为80，从第二图像最下方开始截取80行得到的小图，为第二图像的重叠区域图像，从第一图像最上方开始截取80行得到的小图，为第一图像的重叠区域图像。

本实施例中，在根据第一图像和第二图像的图像位置和图像信息确定第一图像的粗略重叠区域图像和第二图像的粗略重叠区域图像之后，进一步基于第一图像的粗略重叠区域图像，在第二图像上执行基于互信息的相似性遍历搜索，得到互信息分布曲线，进而通过互信息分布曲线得到的重叠区域更加精确。

图3A为本申请根据一示例性实施例示出的又一种图像拼接方方法的实施例流程图；图3B为本申请根据图3A所示实施例示出的一种像素权重计算示意图，本实施例利用本申请实施例提供的上述方法，以如何根据重叠区域形变场和非重叠区域形变场，拼接第一图像和第二图像，得到拼接图像为例进行示例性说明。本申请实施例中，第二图像的采集时间早于第一图像的采集时间，因此第一图像的非重叠区域图像和第二图像的非重叠区域图像分别对应拼接图像的下半部区域和上半部区域，第二图像的重叠区域图像对应拼接图像的中间区域，如图3A所示，包括如下步骤：

步骤301：将第二图像的非重叠区域图像的像素依次填充到拼接图像的上半部区域中，并根据非重叠区域形变场，将第一图像的非重叠区域图像的像素依次填充到拼接图像的下半部区域中。

在一实施例中，可以根据两幅图像的大小以及两幅重叠区域图像的大小确定拼接图像的大小，进而可以将拼接图像划分成上半部区域、中间区域、下半部区域。例如，两幅图像的大小均为320*500，两幅重叠区域图像的大小均为320*80，可以确定拼接图像的大小为320*(500+500-80)，并且划分得到的上半部区域为320*(1～(500-80))，中间区域为320*(421～500)，下半部区域为320*(501～920)。

在一实施例中，由上述步骤103所述的非重叠区域形变场，指的是第一图像的非重叠区域图像相对第二图像的非重叠区域图像的形变场，因此在拼接时，第二图像的非重叠区域图像的像素保持不变，直接填充到拼接图像的上半部区域中。而对于第一图像的非重叠区域图像的像素，需要根据非重叠区域形变场，将第一图像的非重叠区域图像的像素填充到拼接图像的下半部区域中。

步骤302：针对第二图像的重叠区域图像的每个像素，根据该像素距该重叠区域图像上下边界的距离确定该像素的权重，并根据重叠区域形变场，确定该像素在第一图像中对应位置的像素值。

在一实施例中，根据像素距重叠区域图像上下边界的距离，确定权重的公式可以是：α＝d₂/(d₁+d₂)，其中，如图3B所示，d₁是像素到重叠区域上边界(靠近第二图像)的距离，d₂是像素到重叠区域下边界(靠近第一图像)的距离，由上述权重公式可知，由于d₁+d₂是固定的，d₂是到重叠区域下边界的距离，因此靠近第二图像的像素权重比靠近第一图像的像素权重大。

在一实施例中，根据重叠区域形变场，确定像素在第一图像中对应位置的像素值的公式可以是：Pixel＝I₁(x+Δx,y+Δy)，其中，x是第二图像的重叠区域图像的像素在水平方向上的坐标值，y第二图像的重叠区域图像的像素在垂直方向上的坐标值，Δx是第一图像的重叠区域图像的像素在水平方向上的形变量，Δy是第一图像的重叠区域图像的像素在垂直方向上的形变量，I₁是第一图像。

步骤303：根据该像素的权重、该像素的像素值以及该像素在第一图像中对应位置的像素值，确定并填充该像素在拼接图像的中间部分区域中的像素值。

在一实施例中，像素在拼接图像的中间部分区域中的像素值的公式可以是：

I(x,y)＝α*I₂(x,y)+(1-α)*I₁(x+Δx,y+Δy)

其中，α是第二图像的重叠区域图像的像素的权重，I(x,y)是拼接图像在(x，y)处的像素值，I₂(x,y)是第二图像在(x，y)处的像素值，I₁(x+Δx,y+Δy)是第一图像在(x+Δx,y+Δy)处的像素值。

本实施例中，在将第一图像的非重叠区域图像像素和第二图像的非重叠区域图像像素分别填充到拼接图像的下半部区域和上半部区域中后，针对第二图像的重叠区域图像的每个像素，根据该像素距该重叠区域图像上下边界的距离确定该像素的权重，并根据重叠区域形变场，确定该像素在第一图像中对应位置的像素值，然后根据该像素的权重、该像素的像素值以及该像素在第一图像中对应位置的像素值，确定并填充该像素在拼接图像的中间区域中的像素值，从而实现第一图像和第二图像的拼接。由于拼接图像的中间区域的像素值，是利用权重综合了第一图像的像素值和第二图像的像素值得到的，因此确保了拼接图像的中间区域与上半部区域之间的像素值，以及中间区域与下半部区域之间的像素值平缓变化，进而使得中间区域与上半部区域之间的组织结构，以及中间区域与下半部区域之间的组织结构连续。

与前述图像拼接方法的实施例相对应，本申请还提供了图像拼接装置的实施例。

本申请图像拼接装置的实施例可以应用在影像设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本申请根据一实施例性实施例示出的一种影像设备的硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。

图5为本申请根据一示例性实施例示出的一种图像拼接装置的实施例结构图，该实施例可以应用在影像设备上，如图5所示，该图像拼接装置包括：

确定重叠区域模块51，用于确定第一图像的重叠区域图像以及第二图像的重叠区域图像；

扩展模块52，用于分别对所述第一图像的重叠区域图像和第二图像的重叠区域图像进行扩展，得到扩展重叠区域；

第一计算模块53，用于利用非刚体配准，计算两个扩展重叠区域之间的重叠区域形变场；

第二计算模块54，用于根据重叠区域形变场，计算两幅图像在重叠区域之外的非重叠区域形变场；

拼接模块55，用于根据所述重叠区域形变场和所述非重叠区域形变场，拼接所述第一图像和所述第二图像，得到拼接图像。

在一可选的实现方式中，所述扩展模块52，具体用于将所述第一图像的重叠区域图像和第二图像的重叠区域图像的上下边界，分别向外扩展预设数值的像素行；利用所述第一图像的重叠区域图像的上边界的像素，填充从上边界向外扩展的像素行，并利用所述第一图像的重叠区域图像的下边界的像素，填充从下边界向外扩展的像素行，得到所述第一图像的扩展重叠区域；利用所述第二图像的重叠区域图像的上边界的像素，填充从上边界向外扩展的像素行，并利用所述第二图像的重叠区域图像的下边界的像素，填充从下边界向外扩展的像素行，得到所述第二图像的扩展重叠区域。

在一可选的实现方式中，所述第二计算模块54，具体用于利用刚体配准，得到两幅图像之间在重叠区域之外的非重叠区域形变场；根据所述重叠区域形变场，对所述非重叠区域形变场进行更新。

在一可选的实现方式中，所述装置还包括(图5中未示出)：

平滑装置，用于在所述拼接模块根据所述重叠区域形变场和所述非重叠区域形变场，拼接所述第一图像和所述第二图像之前，对所述重叠区域形变场和所述非重叠区域形变场进行平滑处理。

在一可选的实现方式中，所述装置还包括(图5中未示出)：

重采样模块，用于在所述确定重叠区域模块确定第一图像的重叠区域图像以及第二图像的重叠区域图像之前，判断第一图像的像素物理间距和第二图像的像素物理间距是否相同；若不相同，则利用两幅图像的像素物理间距进行重采样处理，使得两幅图像之间的像素物理间距相同。

图6为本申请根据一示例性实施例示出的另一种图像拼接装置的实施例结构图，基于上述图5所示实施例的基础上，如图6所示，所述确定重叠区域模块51，包括：

粗略确定子模块511，用于分别根据所述第一图像和所述第二图像的图像位置和图像信息，确定所述第一图像的粗略重叠区域图像和所述第二图像的粗略重叠区域图像；

互信息计算子模块512，用于基于所述第一图像的粗略重叠区域图像，在所述第二图像上执行基于互信息的相似性遍历搜索，得到互信息分布曲线；

精确确定子模块513，用于根据所述互信息分布曲线中的最大互信息值，确定所述第二图像的重叠区域图像和所述第一图像的重叠区域图像。

图7为本申请根据一示例性实施例示出的又一种图像拼接装置的实施例结构图，基于上述图5所示实施例的基础上，所述第二图像的采集时间早于所述第一图像的采集时间，所述第一图像的非重叠区域图像和所述第二图像的非重叠区域图像分别对应拼接图像的下半部区域和上半部区域，所述第二图像的重叠区域图像对应拼接图像的中间区域，如图7所示，所述拼接模块55，包括：

填充子模块551，用于将所述第二图像的非重叠区域图像的像素依次填充到拼接图像的上半部区域中，并根据所述非重叠区域形变场，将所述第一图像的非重叠区域图像的像素依次填充到拼接图像的下半部区域中；

第一确定子模块552，用于针对所述第二图像的重叠区域图像的每个像素，根据该像素距该重叠区域图像上下边界的距离确定该像素的权重，并根据所述重叠区域形变场，确定该像素在所述第一图像中对应位置的像素值；

第二确定子模块553，用于根据该像素的权重、该像素的像素值以及该像素在所述第一图像中对应位置的像素值，确定并填充该像素在拼接图像的中间区域中的像素值。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (14)

1.一种图像拼接方法，其特征在于，所述方法用于将第一图像和第二图像进行拼接，所述方法包括：

确定第一图像的重叠区域图像以及第二图像的重叠区域图像；

分别对所述第一图像的重叠区域图像和第二图像的重叠区域图像进行扩展，得到扩展重叠区域；

利用非刚体配准，计算两个扩展重叠区域之间的重叠区域形变场；

根据重叠区域形变场，计算两幅图像在重叠区域之外的非重叠区域形变场；

根据所述重叠区域形变场和所述非重叠区域形变场，拼接所述第一图像和所述第二图像，得到拼接图像。

2.根据权利要求1所述的方法，其特征在于，所述确定第一图像的重叠区域图像以及第二图像的重叠区域图像，包括：

分别根据所述第一图像和所述第二图像的图像位置和图像信息，确定所述第一图像的粗略重叠区域图像和所述第二图像的粗略重叠区域图像；

基于所述第一图像的粗略重叠区域图像，在所述第二图像上执行基于互信息的相似性遍历搜索，得到互信息分布曲线；

根据所述互信息分布曲线中的最大互信息值，确定所述第二图像的重叠区域图像和所述第一图像的重叠区域图像。

3.根据权利要求1所述的方法，其特征在于，所述分别对所述第一图像的重叠区域图像和第二图像的重叠区域图像进行扩展，得到扩展重叠区域，包括：

将所述第一图像的重叠区域图像和第二图像的重叠区域图像的上下边界，分别向外扩展预设数值的像素行；

利用所述第一图像的重叠区域图像的上边界的像素，填充从上边界向外扩展的像素行，并利用所述第一图像的重叠区域图像的下边界的像素，填充从下边界向外扩展的像素行，得到所述第一图像的扩展重叠区域；

利用所述第二图像的重叠区域图像的上边界的像素，填充从上边界向外扩展的像素行，并利用所述第二图像的重叠区域图像的下边界的像素，填充从下边界向外扩展的像素行，得到所述第二图像的扩展重叠区域。

4.根据权利要求1所述的方法，其特征在于，所述根据重叠区域形变场，计算两幅图像在重叠区域之外的非重叠区域形变场，包括：

利用刚体配准，得到两幅图像之间在重叠区域之外的非重叠区域形变场；

根据所述重叠区域形变场，对所述非重叠区域形变场进行更新。

5.根据权利要求1所述的方法，其特征在于，在根据所述重叠区域形变场和所述非重叠区域形变场，拼接所述第一图像和所述第二图像之前，所述方法还包括：

对所述重叠区域形变场和所述非重叠区域形变场进行平滑处理。

6.根据权利要求1所述的方法，其特征在于，所述第二图像的采集时间早于所述第一图像的采集时间，所述第一图像的非重叠区域图像和所述第二图像的非重叠区域图像分别对应拼接图像的下半部区域和上半部区域，所述第二图像的重叠区域图像对应拼接图像的中间区域，所述根据所述重叠区域形变场和所述非重叠区域形变场，拼接所述第一图像和所述第二图像，得到拼接图像包括：

将所述第二图像的非重叠区域图像的像素依次填充到拼接图像的上半部区域中，并根据所述非重叠区域形变场，将所述第一图像的非重叠区域图像的像素依次填充到拼接图像的下半部区域中；

针对所述第二图像的重叠区域图像的每个像素，根据该像素距该重叠区域图像上下边界的距离确定该像素的权重，并根据所述重叠区域形变场，确定该像素在所述第一图像中对应位置的像素值；

根据该像素的权重、该像素的像素值以及该像素在所述第一图像中对应位置的像素值，确定并填充该像素在拼接图像的中间区域中的像素值。

7.根据权利要求1所述的方法，其特征在于，在确定第一图像的重叠区域图像以及第二图像的重叠区域图像之前，所述方法还包括：

判断第一图像的像素物理间距和第二图像的像素物理间距是否相同；

若不相同，则利用两幅图像的像素物理间距进行重采样处理，使得两幅图像之间的像素物理间距相同。

8.一种图像拼接装置，其特征在于，所述装置用于将第一图像和第二图像进行拼接，所述装置包括：

确定重叠区域模块，用于确定第一图像的重叠区域图像以及第二图像的重叠区域图像；

扩展模块，用于分别对所述第一图像的重叠区域图像和第二图像的重叠区域图像进行扩展，得到扩展重叠区域；

第一计算模块，用于利用非刚体配准，计算两个扩展重叠区域之间的重叠区域形变场；

第二计算模块，用于根据重叠区域形变场，计算两幅图像在重叠区域之外的非重叠区域形变场；

拼接模块，用于根据所述重叠区域形变场和所述非重叠区域形变场，拼接所述第一图像和所述第二图像，得到拼接图像。

9.根据权利要求8所述的装置，其特征在于，所述确定重叠区域模块，包括：

粗略确定子模块，用于分别根据所述第一图像和所述第二图像的图像位置和图像信息，确定所述第一图像的粗略重叠区域图像和所述第二图像的粗略重叠区域图像；

互信息计算子模块，用于基于所述第一图像的粗略重叠区域图像，在所述第二图像上执行基于互信息的相似性遍历搜索，得到互信息分布曲线；

精确确定子模块，用于根据所述互信息分布曲线中的最大互信息值，确定所述第二图像的重叠区域图像和所述第一图像的重叠区域图像。

10.根据权利要求8所述的装置，其特征在于，所述扩展模块，具体用于将所述第一图像的重叠区域图像和第二图像的重叠区域图像的上下边界，分别向外扩展预设数值的像素行；利用所述第一图像的重叠区域图像的上边界的像素，填充从上边界向外扩展的像素行，并利用所述第一图像的重叠区域图像的下边界的像素，填充从下边界向外扩展的像素行，得到所述第一图像的扩展重叠区域；利用所述第二图像的重叠区域图像的上边界的像素，填充从上边界向外扩展的像素行，并利用所述第二图像的重叠区域图像的下边界的像素，填充从下边界向外扩展的像素行，得到所述第二图像的扩展重叠区域。

11.根据权利要求8所述的装置，其特征在于，所述第二计算模块，具体用于利用刚体配准，得到两幅图像之间在重叠区域之外的非重叠区域形变场；根据所述重叠区域形变场，对所述非重叠区域形变场进行更新。

12.根据权利要求8所述的装置，其特征在于，所述装置还包括：

平滑装置，用于在所述拼接模块根据所述重叠区域形变场和所述非重叠区域形变场，拼接所述第一图像和所述第二图像之前，对所述重叠区域形变场和所述非重叠区域形变场进行平滑处理。

13.根据权利要求8所述的装置，其特征在于，所述第二图像的采集时间早于所述第一图像的采集时间，所述第一图像的非重叠区域图像和所述第二图像的非重叠区域图像分别对应拼接图像的下半部区域和上半部区域，所述第二图像的重叠区域图像对应拼接图像的中间区域，所述拼接模块，包括：

填充子模块，用于将所述第二图像的非重叠区域图像的像素依次填充到拼接图像的上半部区域中，并根据所述非重叠区域形变场，将所述第一图像的非重叠区域图像的像素依次填充到拼接图像的下半部区域中；

第一确定子模块，用于针对所述第二图像的重叠区域图像的每个像素，根据该像素距该重叠区域图像上下边界的距离确定该像素的权重，并根据所述重叠区域形变场，确定该像素在所述第一图像中对应位置的像素值；

第二确定子模块，用于根据该像素的权重、该像素的像素值以及该像素在所述第一图像中对应位置的像素值，确定并填充该像素在拼接图像的中间区域中的像素值。

14.根据权利要求8所述的装置，其特征在于，所述装置还包括：

重采样模块，用于在所述确定重叠区域模块确定第一图像的重叠区域图像以及第二图像的重叠区域图像之前，判断第一图像的像素物理间距和第二图像的像素物理间距是否相同；若不相同，则利用两幅图像的像素物理间距进行重采样处理，使得两幅图像之间的像素物理间距相同。