CN104966270A - 一种多图像拼接方法 - Google Patents

Abstract

本发明公开了一种多图像拼接方法，包括如下步骤：对每个待拼接图像进行降采样处理得到相应的降采样图像，并确定各个降采样图像之间的重叠关系和相对位置关系；根据各个降采样图像之间的重叠关系和相对位置关系确定任意两个待拼接图像之间特征点匹配对集合；根据两个待拼接图像之间的特征点匹配对集合利用光束平差法对当前待拼接图像的相机位置进行标定，然后根据所有待拼接图像以及对应的标定结果拟合得到最佳正射投影平面，将各个待拼接图像正射投影到最佳正射投影平面得到相应的投影结果并进行融合。本发明的具有拼接速率高，拼接质量的优点。

Description

一种多图像拼接方法

技术领域

本发明涉及计算机图像领域，尤其涉及一种多图像拼接方法。

背景技术

图像拼接技术，是通过各种方法，将多源图像无缝的融合成一张超高分辨率的完整图像。目前已经有很多的解决方案，早期的方法往往把重点放在单台计算机的处理上。

图像拼接主要分为图像配准和图像融合两个部分，其中图像配准为图像拼接的核心部分，主要目的为精确确定图像间的重叠位置。图像配准的一般方法有：基于区域的图像配准和基于特征的图像配准。由于基于区域的图像配准鲁棒性比较差，目前主流的图像配准方法为基于特征的图像配准。而基于图像特征的图像配准比较依赖图像特征的选取计算，由此如何选取鲁棒性较强的图像特征算子成为图像配准的主要难题。常见的图像特征有点特征，线特征，块特征等。2007年提出一种新的点特征计算方法，SIFT特征(Scale Invariant Feature)，该特征具有很好的鲁棒性，具有尺度不变和旋转不变的优点，且对于有光照亮度差异拍摄图像也具有一定的稳定性，因此目前该算子的应用比较广泛。

图像融合是将互相重叠的图像融合成一张无缝的全景图。虽然图像融合不是图像拼接的核心部分，但融合算法的优劣却决定这最后全景图的质量，优秀的融合算法甚至能弥补图像配准准确度的缺陷。常见的融合算法有：平均值法、加权平滑法和多分辨率样条法。平均值法计算简单快速，但效果比较粗糙；加权平滑法为平均值法的改进，效果比平均值法好，但当融合区比较大时，容易导致图像模糊，而融合区较小，则会看到明显的过渡窄带；多分辨率样条法把图像分离到不同的频域进行加权平均求解，效果最好，但由于涉及到图像全局高斯金字塔和拉普拉斯金字塔的构造计算，计算量非常大。

基于特征点的图像拼接方法，它利用图像特征点进行图像配准，利用已经配准的图像对，在独立的计算机中，利用图像融合的方法，从而实现对多图像的无缝拼接。该方法针对低分辨率的少量图像拼接的效率还是可行的，但是面对如今单张图像达到几千万像素的超高分辨率的大量图像拼接，其执行效率是相当的不乐观的。

近年来，随着分布式计算技术的不断成熟，其技术已经在越来越多的大数据处理中取得了非常理想效果。分布式计算是利用网络，把成千上万的物理计算机连接起来，组成一台虚拟的超级计算机，在完成单个的任务时，分布式计算框架将任务并行的分配给成千上万的物理计算机单独运行，最后通过同步处理，对运行结果进行合并输出。近年来，随着数字图像分辨率的不断提高，分布式计算技术已被引入到超高分辨率数字图像处理中。目前已经有相关论文针对分布式计算在超高分辨率数字图像处理领域的应用做了论证。从这些论文的论证可知，同样的计算量，分布式计算系统可以实现几十倍的速度提升。

虽然目前已经有部分论文提出了分布式计算在图像处理领域的使用，但是目前还没有系统实现了基于分布式计算框架的多图像拼接。

发明内容

针对现有技术的不足，本发明提供了一种多图像拼接方法，大大的提高了图像拼接的拼接效果。

一种多图像拼接方法，包括如下步骤：

(1)对每个待拼接图像进行降采样处理得到相应的降采样图像，并确定各个降采样图像之间的重叠关系和相对位置关系；

(2)针对任意一个待拼接图像，进行如下操作：

(2-1)根据各个降采样图像之间的重叠关系和相对位置关系确定当前待拼接图像对应的重叠图像，并计算当前待拼接图像与各个重叠图像之间的特征点匹配对集合；

(2-2)根据当前待拼接图像与所有重叠图像之间的特征点匹配对集合，利用光束平差法对当前待拼接图像的相机位置进行标定；

(3)根据所有待拼接图像以及对应的标定结果拟合得到最佳正射投影平面；

(4)将各个待拼接图像正射投影到该最佳正射投影平面得到相应的投影结果，并将所有待拼接图像对应的投影结果进行融合即得到多图像拼接结果。

本发明的方法多图像拼接方法中首先对各个待拼接图像进行降采样处理，由于降采样图像与待拼接图像之间的对应关系，利用得到的降采样图像之间的重叠关系和相对位置关系获取各个待拼接图像之间的对应关系和特征点匹配对集合，大大降低了计算量，有利于提高拼接效率。

为保证拼接效果，本发明中通过降采样将各个待拼接图像的长宽缩小为原图像的10％，如5000×3000的输入图像(即待拼接图像)降采样为500×300的图像(即降采样图像)。

此外，针对每个待拼接图像，根据所有与其有重叠的待拼接图像的特征点匹配关系进行相机标定(即对待拼接图像的相机位置进行标定)，并根据所有待拼接图像的相机标定结果拟合得到最佳正射投影平面，通过全局考虑，有利于提高得到的最佳正射投影平面的精确度，进而有利于提高拼接效果。

所述步骤(1)通过如下方法确定各个降采样图像之间的重叠关系：

(a)对各个降采样图像进行特征点提取得到相应的特征点集合；

(b)针对任意两个降采样图像，确定两个降采样图像之间的特征点匹配对：

若匹配对的数量大于预设的数量阈值，则认为二者相互重叠；

否则，认为二者不重叠。

作为优选，所述步骤(a)通过如下方法确定两个降采样图像之间的特征点匹配对：

对于其中一个降采样图像对应的特征点集合中的任意一个特征点，以该特征点作为参考特征点，以另一个降采样图像对应的特征点集合中各个特征点作为候选匹配特征点，计算该参考特征点与各个候选匹配特征点的距离，若最小距离与次最小距离的比值小于0.36，则以最小距离对应的候选匹配特征点作为该参考特征点的匹配特征点，并以二者作为一个特征点匹配对。

作为优选，所述的数量阈值为两个待拼接图像中对应的特征点较少的待拼接图像对应的特征点数量的10％，可以根据实际应用情况调整。

为提高本发明的多图像拼接方法的鲁棒性，所述步骤(a)中对各个降采样图像进行SIFT特征点提取。SIFT特征点由Brown.M和D.Lowe在2007年提出，SIFT(Scale Invariant Feature)特征点包含每个特征点的坐标和128维特征描述子。SIFT特征具有很好的鲁棒性，具有尺度不变和旋转不变的优点，且对于有光照亮度差异拍摄图像也具有一定的稳定性。

所述步骤(1)确定各个降采样图像之间相对位置关系时具体如下：

(1-1)从所有降采样图像中任意选择一张作为参考图像；

(1-2)针对任意两个降采样图像，利用两个降采样图像相对于所述参考图像之间的旋转矩阵和平移矩阵表示二者之间的相对位置关系。

通过求解如下目标函数的最小值计算降采样图像i与另一个降采样图像i′之间的相对位置关系：

${\mathrm{\Σ}}_{i=0}^n{\mathrm{\Σ}}_{j=0}^m\[{(x-u)}^2+{(y-v)}^2\],$

其中，n表示所有降采样图像中相互重叠的图像对数，

m表示当前降采样图像图i与重叠图像i′的特征点匹配对的数量，

$x=a_i{x}_i^j+b_i{y}_i^j+T_{x_i},$

$y=a_i{y}_i^j-b_i{x}_i^j+T_{y_i},$

$u=a_{i^{\′}}{x}_{i^{\′}}^{j^{\′}}+b_{i^{\′}}{y}_{i^{\′}}^{j^{\′}}+T_{x_{i^{\′}}},$

$v=a_{i^{\′}}{y}_{i^{\′}}^{j^{\′}}+b_{i^{\′}}{x}_{i^{\′}}^{j^{\′}}+T_{y_{i^{\′}}},$

$\left[\begin{array}{cc}{a}_i& b_i\\ -b_i& a_i\end{array}\right]$ 和 $\left[\begin{array}{c}{T}_{x_i}\\ T_{y_i}\end{array}\right]$ 分别为降采样图像i相对于参考图像的旋转矩阵和平移矩阵；

$\left[\begin{array}{cc}{a}_{i^{\′}}& b_{i^{\′}}\\ -b_{i^{\′}}& a_{i^{\′}}\end{array}\right]$ 和 $\left[\begin{array}{c}{T}_{x_{i^{\′}}}\\ T_{y_{i^{\′}}}\end{array}\right]$ 分别为降采样图像i′相对于参考图像的旋转矩阵和平移矩阵。

所述步骤(2-1)利用基于位置的特征点匹配方法确定当前待拼接图像与其对应的任意一张重叠图像之间的特征点匹配对集合，具体如下：

(S1)按照相应两个降采样图像之间的相对位置关系对该重叠图像的特征点集合进行位置变换，得到该重叠图像的特征点集合中各个特征点在当前待拼接图像上对应的映射特征点；

(S2)针对该重叠图像的特征点集合中每一个特征点，以该特征点作为参考特征点：

(S21)针对该参考特征点对应的映射特征点，确定当前待拼接图像的特征点集合中与该映射特征点位置对应的特征点作为该参考特点的候选匹配特征点；

(S22)计算该参考特征点与各个候选匹配特征点的距离，若最小距离与次最小距离的比值小于0.36，则以最小距离对应的候选匹配特征点作为该参考特征点的匹配特征点，并以二者作为一个特征点匹配对；

(S3)以该重叠图像的特征点集合中每一个特征点对应的特征点匹配形成特征点匹配对集合。

各个待拼接图像之间的重叠关系以及任意两个待拼接图像之间的相对位置关系与相应的降采样图像相同。因此，该重叠图像的特征点集合进行位置变换得到重叠图像的各个特征点在待拼接图像上的映射特征点的方法如下：

利用该重叠图像对应的降采样图像与相应的参考图像之间的相对位置关系对重叠图像进行位置变换，得到各个特征点在参考图像上的映射特征点；

根据相对位置关系的求解方法，令重叠图像的各个特征点在参考图像上的映射特征点作为当前待拼接图像在参考图像上的映射特征点相同，进而求解出重叠图像的各个特征点在待拼接图像上的映射特征点。

所述步骤(S21)中利用空间索引树方法确定当前待拼接图像的特征点集合中与该映射特征点位置对应的特征点，具体如下：

当前待拼接图像的特征点集合中各个特征点的位置(即空间坐标)建立相应的空间索引树，在每一个节点有若干个表示空间区域的子区块，每个子区块中包括位于相应空间区域的特征点；

针对当前映射特征点，在所述的空间索引数进行搜索，以空间索引树中与当前映射特征点所属空间区域相同的特征点作为当前映射特征点位置对应的特征点。

所述步骤(3)中采用RANSAC算法拟合得到最佳正射投影平面。采用随机抽样一致性算法(即RANSAC算法)有利于提高获取的最佳正射投影平面的准确性和鲁棒性。

所述步骤(4)中利用图像插值方法将各个待拼接图像正射投影到最佳拟合平面。

对各个待拼接图像的特征点集合进行Delaunay三角剖分，得到若干个Delaunay三角形，对于每个Delaunay三角形，采用双三次立方插值算法，从而实现了将图像都正射投影到最佳拟合平面中。

为提高多图像拼接方法的速度，所述多图像拼接方法基于分布式计算框架实现。

与现有技术相比，本发明具有如下优点：

通过降采样处理并利用得到的降采样图像计算各个待拼接图像之间的对应关系和特征点匹配对集合，大大降低了计算量，有利于提高拼接效率；

针对每个待拼接图像，根据所有与其有重叠的待拼接图像的特征点匹配关系进行相机标定，并全局考虑每个待拼接图像的标定结果形成最佳正射投影平面，进而有利于提高拼接效果。

具体实施方式

下面将结合具体实施对本发明进行详细说明。

本实施例的多图像拼接方法基于分布式计算框架(本实施例为Hadoop计算框架)实现，进行多图像拼接时包括如下步骤：

步骤1，Hadoop计算框架中每个节点以每张图像文件作为一个输入切片，不进行文件切割；在Map阶段对图像进行格式转换，生成同分辨率的JEPG格式图像，在Reduce阶段将结果写入到本地文件系统。

步骤2，Hadoop计算框架中每个节点以步骤1获取的同分辨率JEPG格式图像作为一个输入切片，Map阶段求解输入切片的SIFT特征点集合；在Reduce阶段将SIFT特征结果写入特定文件名的.key文件并保存在本地文件系统。

步骤3，Hadoop计算框架中每个节点以一张步骤1格式转换得到的JEPG图像文件作为一个输入切片，Map阶段对输入图像做降采样处理，得到分辨率大大降低的JEPG格式图像(即降采样图像)，并求解降采样图像的特征点(本实施例为SIFT特征点)形成特征点集合，在Reduce阶段JEPG格式图像(即降采样图像)和相应的特征点集合写入到本地文件系统。

分布式计算系统(本实施例中为Hadoop计算框架)中每个节点，Map阶段以所有降采样JEPG图像(即降采样图像)作为一个输入切片，选择任意降采样JEPG图像作为键值(每个节点选择的键值图像不能相同)，确定所有与键值图像有重叠的降采样图像文件，得到与该键值图像有重叠的图像集合，在Reduce阶段将重叠图像集合保存到本地文件系统。

本实施例中通过如下方法确定任意两个降采样图像之间的重叠关系：

确定两个降采样图像之间的特征点匹配对，具体如下：

对于其中一个降采样图像对应的特征点集合中的任意一个特征点，以该特征点作为参考特征点，以另一个降采样图像对应的特征点集合中各个特征点作为候选匹配特征点，计算参考特征点与各个候选匹配特征点之间的距离，若最小距离与次最小距离的比值小于0.36，则以最小距离对应的候选匹配特征点作为该参考特征点的匹配特征点，并以二者作为一个特征点匹配对，然后统计特征点匹配对的数量：

若匹配对的数量大于预设的数量阈值，则认为二者相互重叠；

否则，认为二者不重叠。

本实施例中的数量阈值为两个待拼接图像中对应的特征点较少的待拼接图像对应的特征点数量的10％。

步骤4，利用步骤3得到的任意一张降采样图像的重叠图像集合，估算任意两张重叠的降采样图像之间的相对位置关系，以旋转矩阵、平移矩阵表示。(不用map reduce)

本实施例中从所有降采样图像中选择一个作为参考图像，针对任意两个降采样图像，利用该任意两个降采样图像相对于参考图像之间的旋转矩阵和平移矩阵表示二者之间的相对位置关系。

本实施例中通过求解如下目标函数的最小值计算降采样图像i与另一个降采样图像i′之间的相对位置关系：

${\mathrm{\Σ}}_{i=0}^n{\mathrm{\Σ}}_{j=0}^m\[{(x-u)}^2+{(y-v)}^2\],$

其中，n表示所有降采样图像中相互重叠的图像对数，

m表示当前降采样图像图i与重叠图像i′的特征点匹配对的数量，

$x=a_i{x}_i^j+b_i{y}_i^j+T_{x_i},$

$y=a_i{y}_i^j-b_i{x}_i^j+T_{y_i},$

$u=a_{i^{\′}}{x}_{i^{\′}}^{j^{\′}}+b_{i^{\′}}{y}_{i^{\′}}^{j^{\′}}+T_{x_{i^{\′}}},$

$v=a_{i^{\′}}{y}_{i^{\′}}^{j^{\′}}+b_{i^{\′}}{x}_{i^{\′}}^{j^{\′}}+T_{y_{i^{\′}}},$

$\left[\begin{array}{cc}{a}_i& b_i\\ -b_i& a_i\end{array}\right]$ 和 $\left[\begin{array}{c}{T}_{x_i}\\ T_{y_i}\end{array}\right]$ 分别为降采样图像i相对于参考图像的旋转矩阵和平移矩阵；

$\left[\begin{array}{cc}{a}_{i^{\′}}& b_{i^{\′}}\\ -b_{i^{\′}}& a_{i^{\′}}\end{array}\right]$ 和 $\left[\begin{array}{c}{T}_{x_{i^{\′}}}\\ T_{y_{i^{\′}}}\end{array}\right]$ 分别为降采样图像i′相对于参考图像的旋转矩阵和平移矩阵。

步骤5，分布式计算系统每个节点，以一张待拼接图像作为键值，根与该作为键值的待拼接图像重叠的待拼接图像集合作为一个输入切片，Map阶段利利用基于位置的特征点匹配方法，计算得到键值图像与重叠图像集合任意一张图像的特征点匹配集合，在Reduce阶段将所有特征点匹配结果保存到本地文件系统。

由于降采样图像与待拼接图像的对应关系，作为键值的待拼接图像重叠的待拼接图像集合根据各个降采样图像之间的重叠关系确定。

步骤6，在步骤5获得的特征点匹配集合的基础上，利用光束平差法，对相机位置进行标定，计算得到每张待拼接图像以及拍摄相机的三维空间信息。

步骤7，利用步骤6得到的图像三维空间信息，首先采用RANSAC方法拟合得到一个最佳的正射投影平面，并计算各个待拼接图像的特征点到最佳拟合平面的旋转矩阵；其次，利用此旋转矩阵，计算得到各个待拼接图像的特征点在最佳拟合平面对应的最佳拟合平面特征点集合。

步骤8，分布式计算系统每个节点，以每张待拼接图像的特征点以及特征点在最佳拟合平面对应的特征集合(即最佳拟合平面特征点集合)作为一个输入切片，在Map阶段，利用图像插值方法将图像正射投影到最佳拟合平面(最佳拟合平面)得到相应的投影结果，在Reduce阶段生成Cropped TIFF格式图像，并保存在本地文件系统。

本实施例中对待拼接图像的特征点集合(最佳拟合平面特征点集合)进行Delaunay三角剖分，得到若干个Delaunay三角形，对于每个Delaunay三角形，采用双三次立方插值算法，从而实现了将待拼接图像正射投影到最佳拟合平面上。

步骤9，分布式计算系统每个节点，以步骤8生成的Cropped TIFF格式图像作为输入切片，利用成熟的图像融合算法，对图像进行拼接，最终得到一张完整的拼接图像。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多图像拼接方法，其特征在于，包括如下步骤：

(1)对每个待拼接图像进行降采样处理得到相应的降采样图像，并确定各个降采样图像之间的重叠关系和相对位置关系；

(2)针对任意一个待拼接图像，进行如下操作：

(2-1)根据各个降采样图像之间的重叠关系和相对位置关系确定当前待拼接图像对应的重叠图像，并计算当前待拼接图像与各个重叠图像之间的特征点匹配对集合；

(2-2)根据当前待拼接图像与所有重叠图像之间的特征点匹配对集合，利用光束平差法对当前待拼接图像的相机位置进行标定；

(3)根据所有待拼接图像以及对应的标定结果拟合得到最佳正射投影平面；

(4)将各个待拼接图像正射投影到最佳正射投影平面得到相应的投影结果，并将所有待拼接图像对应的投影结果进行融合即得到多图像拼接结果。

2.如权利要求1所述的多图像拼接方法，其特征在于，所述步骤(1)通过如下方法确定各个降采样图像之间的重叠关系：

(a)对各个降采样图像进行特征点提取得到相应的特征点集合；

(b)针对任意两个降采样图像，确定两个降采样图像之间的特征点匹配对：

若匹配对的数量大于预设的数量阈值，则认为二者相互重叠；

否则，认为二者不重叠。

3.如权利要求2所述的多图像拼接方法，其特征在于，所述步骤(a)通过如下方法确定两个降采样图像之间的特征点匹配对：

对于其中一个降采样图像对应的特征点集合中的任意一个特征点，以该特征点作为参考特征点，以另一个降采样图像对应的特征点集合中各个特征点作为候选匹配特征点，计算参考特征点与各个候选匹配特征点之间的距离，若最小距离与次最小距离的比值小于0.36，则以最小距离对应的候选匹配特征点作为该参考特征点的匹配特征点，并以二者作为一个特征点匹配对。

4.如权利要求2所述的多图像拼接方法，其特征在于，所述的数量阈值为两个待拼接图像中对应的特征点较少的待拼接图像对应的特征点数量的10％。

5.如权利要求2所述的多图像拼接方法，其特征在于，所述步骤(a)中对各个降采样图像进行SIFT特征点提取。

6.如权利要求2所述的多图像拼接方法，其特征在于，所述步骤(1)确定各个降采样图像之间相对位置关系时具体如下：

(1-1)从所有降采样图像中任意选择一张作为参考图像；

(1-2)针对任意两个降采样图像，利用两个降采样图像相对于所述参考图像之间的旋转矩阵和平移矩阵表示二者之间的相对位置关系。

7.如权利要求5所述的多图像拼接方法，其特征在于，所述步骤(2-1)利用基于位置的特征点匹配方法确定当前待拼接图像与其对应的任意一张重叠图像之间的特征点匹配对集合，具体如下：

(S1)按照相应两种降采样图像之间的相对位置关系对该重叠图像的特征点集合进行位置变换，得到该重叠图像的特征点集合中各个特征点在当前待拼接图像上对应的映射特征点；

(S2)针对该重叠图像的特征点集合中每一个特征点，以该特征点作为参考特征点：

(S21)针对该参考特征点对应的映射特征点，确定当前待拼接图像的特征点集合中与该映射特征点位置对应的特征点作为该参考特点的候选匹配特征点；

(S22)计算该参考特征点与各个候选匹配特征点的距离，若最小距离与次最小距离的比值小于0.36，则以最小距离对应的候选匹配特征点作为该参考特征点的匹配特征点，并以二者作为一个特征点匹配对；

(S3)以该重叠图像的特征点集合中每一个特征点对应的特征点匹配形成特征点匹配对集合。

8.如权利要求1～7中任意一项所述的多图像拼接方法，其特征在于，所述步骤(3)中采用RANSAC算法拟合得到最佳的正射投影平面。

9.如权利要求1～7中任意一项所述的多图像拼接方法，其特征在于，所述步骤(4)中利用图像插值方法将各个待拼接图像正射投影到最佳拟合平面。

10.如权利要求1～7中任意一项所述的多图像拼接方法，其特征在于，所述多图像拼接方法基于分布式计算框架实现。