CN103390275B - 动态图像拼接的方法 - Google Patents

Abstract

本发明提供了一种用于将多个图像拼接到一起的方法，该方法占用最少内存和CPU使用率，并且具有最小的文件输入和输出，同时仍然具有快速的运算速度并提供良好的拼接质量。本发明的方法包括以下步骤：应用数学变换计算图像的每个候选条的特征，同时选取用于计算相邻图像之间偏移量的匹配块；计算相邻图像中与这些匹配块具有最大相关系数的搜索块的位置从而确定候选条的偏移；根据预先定义的每个匹配块的最大相关系数和它的特征的权重函数，计算所述候选条的拼接可靠性，以及利用拼接可靠性确定最佳拼接路径。

Description

动态图像拼接的方法

技术领域

本发明总体上涉及数字图像处理领域。更具体地，本发明涉及数字图像拼接领域。

背景技术

在某些情况下，不能利用照相机在单个图像中一次捕获大视野场景。因此，需要捕获多个图像，然后将它们数字地组合或者拼接成较大的图像。例如，移动放置在支架上的照相机，以捕获序列图像，在图像之间，具有一定量的重叠。然后，将这些图像拼接在一起构成一张大视野图像。典型的例子是病理学切片的显微镜扫描。由于物镜视野的限制以及对高放大倍率的要求，所以单个图像不足以获得病理学切片的完整图片。然而，可以捕获一系列的图像，并进一步地对其进行拼接，以形成完整的图像。

在图像拼接应用中，拼接过程总需要沿着某个顺序进行，而这个顺序往往需要通过计算每一个相邻图像对的相似度来获得，这就需要重复的加载图像。因此，为避免重复的图像加载，一种传统的做法是将图像先导入内存，然后按照某种方法计算出一个拼接顺序以生成一个完整的拼接图像。

当仅对少量的低分辨率图像进行拼接时，可认为该技术是有效的。但是，在具有大量的高分辨率图像的情况下，需要高容量的内存，然而，在很多情况下，很难提供高容量的内存。

关于内存超载的问题，一种公知的技术是仅将三个颜色通道中的一个存储到内存中，从而将需要的内存量大大地降低了三分之二。但是，对于高分辨率的图像来说，内存消耗仍然是巨大的。备选地，首先可以将单位图像保存为数字文件，并且在之后的拼接中再装载它们，这种方法能够避免使用大内存，但是重复的图像装载将减缓整个拼接过程。

US8,041,147提供了一种用于拼接和显示电子记录的多部分图像的图像块的方法，其中，在坐标系统的x和y方向上确定重叠记录的图像块的相对位置偏移值，并且以矩阵格式存储。基于存储的值，把要显示的图像块拼接到一起。

US7,006,111公开了一种数字拼接方法，其中，从重叠图像的低分辨率版本，来预测它们之间的偏移值，并进一步地通过搜索过程递归地对偏移值进行改进。

US7,778,485教导了一种用于拼接图像块以创建显微镜切片的无缝放大图像的系统和方法。当显示的视野改变时，通过使用预先计算的相关位置偏移值和相关系数，执行拼接。

然而，上述方法仍然不能提供占用最少内存和CPU使用率的拼接技术，以及提供快速的拼接速度和良好的质量。

发明内容

因此，本发明提供了一种用于将多个图像拼接到一起的方法，该方法通过只使用相邻图像对中的前一个图像的最小重叠区域(即候选条)来衡量重叠区域的细节多寡程度(即特征)，并用该候选条中的含有最多细节的图像块(即匹配块)来计算相邻图像对的重叠区域的相似性(即最大相关系数)，进而由此二者共同决定相邻图像对的拼接可靠性，基于该拼接可靠性所得的最优拼接路径保证了良好的拼接质量。在此指导思想下，在对每一个图像进行拼接测试(即计算各候选条的特征，并计算该图像与前面的相邻图像的拼接可能性)之前，内存中只需要保留在该图像之前的所有图像的尚未完成相似性计算的匹配块。这样在避免图像重复加载(从而大幅度地提高整个拼接过程的速度)的前提下将内存的占用量降至了最低。从而有效解决了现有拼接技术下，拼接速度、拼接质量和内存占用量的平衡问题。

根据本发明的实施方式，提供了一种用于拼接多个图像的方法，包括以下步骤：通过将候选条中的空间像素信息的数学变换应用到具有共存的物理位置信息的频域表达中，计算图像的每个候选条的特征，基于数学变换的空间和频率信息，计算候选特征点，利用候选特征点定位匹配块，将所述匹配块的像素灰度与另一个图像的搜索区域中的搜索块的像素灰度进行比较，以找出最大相关系数，利用相关最大位置确定的匹配块的偏移值，计算两个图像之间的条偏移，根据预先定义的匹配块的最大相关系数和它的特征的权重函数，计算每个候选条的拼接可靠性，对剩余的图像重复上述步骤，以及利用拼接可靠性，确定最佳拼接路径。

根据本发明的各种实施方式，所述特征是图像细节的程度，其包括边缘的变化和数量，并且基于变换区域的能量计算所述特征。因为小波变换通过变换系数的索引提供空间信息，以及通过变换系数的大小提供频率信息，所以通过在高频系数中选择最大值并进一步地使用该最大值的索引来找出候选特征点的位置，得到候选特征点。

根据本发明的各种实施方式，匹配块将包括至少一个像素的候选特征点作为它的中心。根据应用预先定义匹配块的大小。将匹配块中的像素灰度与搜索块的像素灰度进行比较，以计算相关系数，然后，利用相关最大位置确定的偏移值，找出条偏移。

根据本发明的各种实施方式，根据预先定义的最大相关系数和它的特征的权重函数，计算候选条的拼接可靠性。

根据本发明的另一个实施方式，使用候选条中的多于一个匹配块。预先定义的每个匹配块的偏移的加权和用于计算条偏移。并且根据预先定义的每个匹配块的最大相关系数和它的特征的权重函数，计算候选条的拼接可靠性。

根据本发明的一个实施方式，通过基于拼接可靠性的全局最大生成树，计算最好的连接路径。

附图说明

下面参考附图更详细地说明本发明的实施方式，其中：

图1示出了流程图，该流程图示出了根据本发明实施方式的用于拼接多个图像的方法的步骤；

图2示出了根据本发明的一个实施方式的具有候选条和匹配块的图像；

图3示出了根据本发明的一个实施方式的具有搜索区域的图像；

图3A根据本发明的一个实施方式示出了如何将匹配块与搜索区域中的搜索块进行比较；

图4示出了根据本发明的一个实施方式的顺序地确定9个图像的最大相关系数和条偏移的示意图；

图5示出了流程图，该流程图示出了根据本发明的另外一个实施方式的用于拼接多个图像的方法的步骤；

图6根据本发明的一个实施方式示出了如何将候选条变换为变换条；

图7示出了根据本发明的实施方式的包括像素灰度的图像；

图8示出了根据本发明的实施方式的包括4个变换区域的变换图像；

图9根据本发明的实施方式示出了如何将匹配块与搜索区域中的搜索块进行比较以计算相关系数；

图10A根据本发明的实施方式示出了如何计算匹配块的偏移值；

图10B根据本发明的实施方式示出了如何计算两个图像之间的条偏移值；

图11根据本发明的另一个实施方式示出了如何将3个匹配块与3个搜索区域中的搜索块进行比较，以计算相关系数；

图12示出了根据本发明的实施方式的拼接12个图像中的最佳拼接路径；以及

图13示出了根据本发明的实施方式的拼接流程。

具体实施方式

在下面的描述中，作为优选的例子，提出了一种用于拼接多个图像的方法。对本领域技术人员来说显而易见的是，在不脱离本发明的范围和精神的情况下，可作出包括添加和/或替换的修改。可能忽略具体的细节，以使本发明清楚；然而，撰写的本公开的内容能够使本领域技术人员无需过多的试验，即可实践本发明的教导。

图1示出了流程图，该流程图示出了根据本发明实施方式的用于拼接多个图像的方法的步骤。在步骤101，计算图像的候选条的特征。在步骤102，计算候选特征点。在步骤103，基于包括至少一个像素的候选特征点，确定匹配块。在步骤104，将匹配块与另外一个图像的搜索区域中的多个搜索块进行比较，以计算它们的相关系数。在步骤105，从相关系数中选择最大相关系数。在步骤106，基于相关最大位置计算偏移值，然后计算两个图像之间的条偏移。在步骤107，基于特征和最大相关系数，计算拼接可靠性。在步骤108，对其他图像重复上述步骤。在步骤109，基于将所有图像连接到一起的拼接可靠性，确定最佳拼接路径。

利用根据本发明的一个实施方式的下面的附图和说明，对上述方法进行解释说明。假设我们要对3行3列图像进行拼接。如图2所示，将第一图像201装载到RAM中，然后存储该第一图像201的两个候选条202和203。计算候选条202和203的特征，然后分别计算匹配块204和205的位置。然后，将匹配块204和205存储到RAM中，而将候选条202和203从RAM中移除。压缩第一图像201，并将其存储到档案文件中。类似地，如图3所示，将第二图像301装载到RAM中，并计算两个匹配块302和303的特征和位置。此外，在RAM中存储搜索区域304。

如图3A所示，将匹配块204与搜索区域304中的多个搜索块进行比较，以计算匹配块203相对于搜索区域304中的不同搜索块的相关系数。从具有最大值的相关系数中选择最大相关系数。基于相关最大位置，通过匹配块204的偏移值确定第一图像和第二图像之间的条偏移。将最大相关系数和条偏移都存储到RAM中。然后，将匹配块204和搜索区域304从RAM中清除。对剩余的图像重复类似的步骤，以获得它们的相应的偏移值和最大相关系数。图4示出了用箭头指示的从第一图像开始到第九图像找出偏移值和最大相关系数的顺序。

总体而言，图5示出了流程图，该流程图示出了根据本发明的另外一个实施方式的用于拼接多个图像的方法的步骤。在步骤501，创建用于存储多个数字图像的空档案文件。在步骤502，将第一图像装载到RAM中。在步骤503，将第一图像的一个或者多个候选条存储到RAM中，并进一步地计算候选条的特征和匹配块的位置。在步骤504，将匹配块存储到RAM中，并将候选条从RAM中移除。在步骤505，压缩第一图像，并将其存储到档案文件中。在步骤506，将第二图像装载到RAM中。在步骤507，对第二图像重复步骤503到504。在步骤508，将第二图像的搜索区域存储到RAM中。在步骤509，压缩第二图像，并将其存储到档案文件中。在步骤510，将第一图像的匹配块与第二图像的搜索区域中的多个搜索块进行比较，以计算相关系数。在步骤511，从相关系数中确定最大相关系数，并进一步地基于该最大相关系数，计算第一图像和第二图像之间的条偏移。在步骤512，将偏移和最大相关系数存储到RAM中。在步骤513，将匹配块和搜索区域从RAM中清除。在步骤514，对剩余的图像重复上述步骤。在步骤515，基于通过特征和最大相关系数确定的拼接可靠性，确定最佳拼接路径。

通过预定义的重叠以及由于硬件精度和未对准引起的重叠的波动，确定候选条的位置和大小。

特征表示图像细节的程度，其包括边缘的变化或数量，并且所述特征用于描述高频比。在物理上，所述特征对应于高频，因此，它也可以被定义为方差、标准方差、熵、拉普拉斯算子梯度等。

在本发明中，在确定候选条之后，对其应用特定的数学变换。优选地，使用离散小波变换、或者各种类型的短时傅里叶变换。由于所述变换保留空间信息和频率信息，其中所述空间信息指的是变换系数索引，所述频率信息指的是变换系数的大小，所以，通过遍历所有的高频系数，可找到具有最大值的频率系数，然后使用最大值的索引来获得候选特征点的位置，其用于进一步地定位匹配块的位置。

图6根据本发明的一个实施方式示出了如何计算候选条的特征，然后找出它的候选特征点。首先，通过离散小波变换602将候选条601变换为变换条603。可获得4个变换区域，包括低-低频率变换区域L₁L₁(604)、低-高频率变换区域L₁H₁(605)、高-低频率变换区域H₁L₁(606)以及高-高频率变换区域H₁H₁(607)。高频系数被定位在三个变换区域中：L₁H₁(605)、H₁L₁(606)和H₁H₁(607)。

利用从等级j到j-1的离散小波分解计算频率系数，如下所示：

${c_{k_1,k_2}}^{j-1}={\Σ}_{n_1}{\Σ}_{n_2}{h^0}_{n_1-2k_1,n_2-2k_2}{c_{n_1,n_2}}^j\left(L_{j-1}{L}_{j-1}\right)$

${d_{k_1,k_2}}^{j-1}={\Σ}_{n_1}{\Σ}_{n_2}{h^1}_{n_1-2k_1,n_2-2k_2}{c_{n_1,n_2}}^j\left(L_{j-1}{H}_{j-1}\right)$

${e_{k_1,k_2}}^{j-1}={\Σ}_{n_1}{\Σ}_{n_2}{h^2}_{n_1-2k_1,n_2-2k_2}{c_{n_1,n_2}}^j\left(H_{j-1}{L}_{j-1}\right)$

${f_{k_1,k_2}}^{j-1}={\Σ}_{n_1}{\Σ}_{n_2}{h^3}_{n_1-2k_1,n_2-2k_2}{c_{n_1,n_2}}^j\left(H_{j-1}{H}_{j-1}\right)$

h⁰＝h×h^T，h¹＝h×g^T，h²＝g×h^T，h³＝g×g^T

其中，h和g是长度为N的FIR正交-镜像滤波器，其中：

g_n＝(-1)ⁿh_N-1-n

当N是偶数时，T是矩阵或者向量的转置，n₁和n₂是整数。

和表示低-低频率系数、低-高频率系数、高-低频率系数和高-高频率系数。k₁和k₂表示变换系数的索引。

四个变换区域的变换系数的能量如下计算：

$E_{L_{j-1}{L}_{j-1}}={\Σ}_{k_1,k_2}{\left({c_{k_1,k_2}}^{j-1}\right)}^2{E}_{L_{j-1}{H}_{j-1}}={\Σ}_{k_1,k_2}{\left({d_{k_1,k_2}}^{j-1}\right)}^2$

$E_{H_{j-1}{L}_{j-1}}={\Σ}_{k_1,k_2}{\left({e_{k_1,k_2}}^{j-1}\right)}^2{E}_{H_{j-1}{H}_{j-1}}={\Σ}_{k_1,k_2}{\left({f_{k_1,k_2}}^{j-1}\right)}^2$

其中，和分别表示低-低频率的能量、低-高频率的能量、高-低频率的能量和高-高频率的能量。

根据本发明的实施方式，当j等于2时，描述为高频比的特征如下计算：

其中，和分别表示在水平和垂直方向均为低频的变换系数的能量、在水平方向低频而在垂直方向高频的变换系数的能量、在水平方向高频而在垂直方向低频的变换系数的能量、在水平和垂直方向均为高频的变换系数的能量。

特征的公式用于计算高频分量占整个频率分量的比率。

通过遍历所有的高频系数，可找到具有最大值的频率系数，然后使用最大值的索引来获得候选特征点的位置，以确定匹配箱的位置，如下所示：

和是高频系数，k₁和k₂是变换系数的索引。在从高频系数中选择具有最大值的变换系数之后，获得相应的最大值的索引k₁和k₂，以进一步地找出包括像素的候选特征点的坐标。p₁和p₂表示候选特征点的x和y坐标，该x和y坐标对应于匹配块的中心。

图7-8根据本发明实施方式示出了如何确定匹配块的位置。如图7所示的包含像素灰度S_i,j的原始图像701被变换为如图8所示的变换图像801。变换图像包括4个包含变换系数的变换区域802、803、804和805。变换图像和原始图像的像素大小相同，均为100×80。高频系数位于灰色区域。通过遍历灰色区域中的高频系数，可找到所有高频系数中的最大的高频系数D_23,20，并且确定原始图像701的匹配块的中心为由D_23,20的索引导致的(46,40)。预先定义了匹配块的大小。在该例子中，采用11×11作为匹配块的大小。

将匹配块与搜索区域中的多个搜索块进行比较，以找到确定匹配块和搜索块之间的相似性的相关系数。搜索区域的每个位置对应于搜索块。通过相应的匹配块和重叠波动来确定搜索区域的位置和大小。通过比较匹配块中的像素灰度和搜索块中的像素灰度，来实现比较。如图9所示，候选条902的匹配块M(901)包括从x₁₁到x_nn的像素灰度矩阵。搜索块S_i(903)阵为搜索条905的搜索区域904中的第i个搜索块，其包括从y₁₁到y_nn的像素灰度矩阵。

匹配块和第i个搜索块之间的相关系数如下计算：

$c_i=\frac{{\Σ}_{k,j=1}^n\left(x_{kj}-\stackrel{\‾}{M}\right)\left(y_{kj}-\stackrel{\‾}{S_i}\right)}{\sqrt{{\Σ}_{k,j=1}^n{\left(x_{kj}-\stackrel{\‾}{M}\right)}^2}\sqrt{{\Σ}_{k,j=1}^n{\left(y_{kj}-\stackrel{\‾}{S_i}\right)}^2}}$

其中：

$\stackrel{\‾}{M}-\frac{{\Σ}_{i,j=1}^n{x}_{ij}}{n^2},\stackrel{\‾}{S_i}-\frac{{\Σ}_{i,j=1}^n{y}_{ij}}{n^2},$

其中，和分别是匹配块和第i个搜索块的平均像素灰度，n²是像素总数，x_ij和y_ij表示像素灰度。

通过以下步骤将匹配块和搜索块中的像素灰度进行比较，包括：计算匹配块和搜索块之间的协方差(c_i的公式的分子)，分别计算匹配块和搜索块的方差的平方根，并得到它们的乘积(c_i的公式的分母)，以及用协方差除以方差的平方根。

在得到所有的相关系数之后，最大的相关系数确定如下：

$c=\underset{i}{max}\left\{c_i\right\}$

从具有最大值的相关系数中选择最大相关系数c。

在得到最大相关系数之后，通过找到匹配块的相关最大位置，确定候选条中的匹配块的偏移值，所述相关最大位置是在搜索区域的所有搜索块中，与匹配块的相关达到最大值的搜索块的位置。利用匹配块和具有最大相关系数的搜索块的位置，计算偏移值。基于此，将涉及到图像坐标。

图10A示出了根据本发明的实施方式的从匹配块计算偏移值的示意图。有两个图像，图像1(1001)和图像2(1002)，具有它们自己的坐标系统，原点为O₁(0,0)(1003)和O₂(0,0)(1004)。如果匹配块1005和最相关的搜索块1006位于它们自己的图像坐标系统中的(x1,y1)和(x2,y2)，则偏移值如下计算：

Ofx＝x1-x2,Ofy＝y1-y2.

其中，Ofx表示x方向的偏移值，Ofy表示y方向的偏移值。

当中心为(1340,592)的匹配块与最相关中心为(75,600)的搜索块相匹配时，由于(x1,y1)是(1340,592)，(x2,y2)是(75,600)，那么偏移值为Ofx＝1265,Ofy＝-8。

从匹配块获得偏移值之后，可计算两个图像之间的条偏移。条偏移是两个相邻的图像的原点之间的水平和垂直方向上的平移。图10B示出了计算条偏移的示意图。将左图像，即图像1(1001)的图像坐标系统作为测量坐标系统，通过右图像，即图像2(1002)的原点坐标O₂(1004)来表示条偏移(Ox,Oy)，该条偏移(Ox,Oy)为两个图像的原点之间的平移。因此，在条偏移之后，图像2(1002)的原点坐标O₂(1004)变为(1265，-8)。

在获得特征和最大相关系数之后，作为两个块或两个图像会多么好的拼接的可信度的拼接可靠性r如下计算：

r＝w₀·特征+w₁·c

其中

w₀+w₁＝1

w₀和w₁是权重系数，并且是预先定义的值。根据本发明实施方式，w₀和w₁分别等于0.8和0.2。

根据本发明的另一个实施方式，将多于一个的匹配块与多于一个的搜索区域中的搜索块进行比较，以找到多于一个的相关系数和相关最大位置。如图11所示，采用了3个匹配块1102、1103和1104，其通过候选条1101中的3个候选特征点来定义。将匹配块1102、1103和1104分别与搜索条1005的搜索区域1109、1110和1111中的它们相对应的搜索块1106、1107和1108进行比较。

第k个匹配块的相关系数如下计算：

$c_{ki}=\frac{{\Σ}_{l,j=1}^n\left(x_{lj}-\stackrel{\‾}{M_k}\right)\left(y_{lj}-\stackrel{\‾}{S_{ki}}\right)}{\sqrt{{\Σ}_{l,j=1}^n{\left(x_{lj}-M_k\right)}^2}\sqrt{{\Σ}_{l,j=1}^n{\left(y_{lj}-\stackrel{\‾}{S_{ki}}\right)}^2}}$

其中

$\stackrel{\‾}{M_k}=\frac{{\Σ}_{i,j=1}^n{x}_{ij}}{n^2},\stackrel{\‾}{S_{ki}}=\frac{{\Σ}_{i,j=1}^n{y}_{ij}}{n^2},$

其中，和分别为第k个匹配块和搜索块的平均像素灰度，n²是像素总数，x_ij和y_ij表示像素灰度。

第k个匹配块的最大相关系数确定如下：

$c_k=\underset{i}{max}\left\{c_{ki}\right\}$

从具有最大值的相关系数中选择第k个匹配块的最大相关系数c_k。

因为在候选条中有多于一个的最大相关位置，所以通过预先定义的每个匹配块的偏移值的加权和来确定图像的条偏移。加权的方法如下：

w_k＝v_k/∑v_i

其中v_i和v_k分别是第i个和第k个匹配块的方差，i＝1,……,K。

类似地，根据预先定义的每个匹配块的最大相关系数和它的特征的权重函数，推导出拼接可靠性。

其中

${\Σ}_{k=0}^K{w}_k=1$

其中，W_k是第k个匹配块的权重系数。

通过使用由候选条的拼接可靠性确定的优先因子，来确定拼接所有图像的最佳拼接路径，其中，从每个匹配块的最大相关和它的特征的预先定义的权重函数，推导出所述候选条的拼接可靠性。

根据本发明的实施方式，通过使用基于拼接可靠性的全局最大生成树，来获得拼接多个图像的最佳连接路径，原因在于：拼接可靠性不但通过相关系数值考虑重叠的图像块多么相似，而且还通过包含这些图像块的条的特征考虑相似性有多么确定，这与人类视觉系统一致。

最大生成树是具有最大权重的权重图的生成树。可通过对每个边缘的权重求反并应用库鲁斯卡尔算法来对其进行计算。

在图论的数学领域中，连接的、无向图G的生成树T是由G的所有顶点和一些(或者可能是全部)边组成的树。通俗的说，G的生成树是对G的边的选择，所选择的边形成树，所述树生成每个顶点。也就是说，每个顶点均位于树中，但是并没有形成循环(或者线圈)。另一方面，G的每个边必然属于T。

库鲁斯卡尔算法是图论中的贪婪算法，其为连接的权重图找到最大生成树。这意味着它找到形成树的边的子集，所述树包括每个顶点，其中，最大化树中的所有边的全部权重。

基于拼接可靠性的全局最大生成树为重叠区域中具有强特征的那些图像对提供拼接的优先权，最终将总拼接误差最小化。

如图12所示，根据本发明的实施方式，使用具有12个图像的实施方式来举例说明关于可靠性的全局最大生成树。总拼接可靠性如下计算：

其中，r_ij是v_i和v_j之间的拼接可靠性，并且

其中，p＝(v₁,v₂,v₃,v_i....v_n)∈V×V×……V是长度n的路径，其中，vi是第i个图像，并且V＝{v₁,v₂,v₃....v_n}是用于拼接的图像集合。

然后，最大化总拼接可靠性F的最佳路径P₀如下计算：

$p_0=\underset{p}{\arg \max }F\left(p\right)$

从具有最大值的总拼接可靠性的路径中选择最佳路径P₀。

通过库鲁斯卡尔算法，随后在图像之间连接拼接可靠性中具有最大值的路径。根据本发明的实施方式，图像V₄和图像V₅具有拼接可靠性为0.95的路径，该拼接可靠性是所有计算出的拼接可靠性中的最大的一个，首先连接图像V₄和图像V₅。然后，由于图像V₁和图像V₈的拼接可靠性为0.90，其在其他拼接可靠性中为第二大拼接可靠性，所以随后连接图像V₁和图像V₈。使用相同的方法，将剩余的图像连接到一起，最终生成最好的连接路径：

V₁→V₈→V₉→V₁₀→V₁₁→V₁₂→V₅→V₄→V₃→V₆→V₇→V₂

图12中的虚线表示将12个图像拼接到一起的路径。因此，P₀＝(V₁,V₈,V₉,V₁₀,V₁₁,V₁₂,V₅,V₄,V₃,V₆,V₇)。在该例子中，从具有最好的连接路径的总拼接可靠性中选择的最大的总拼接可靠性为7.89。

图13示出了根据本发明的实施方式的拼接流程。该流程采用了3个线程，包括主线程1350、偏移线程1351和存储线程1352。

在步骤1301，通过在主线程中输入图像，开始拼接流程。在步骤1302，在偏移线程中计算图像的候选条的特征，并进一步提取匹配块。在步骤1303，在存储线程中压缩输入的图像。在步骤1304，将压缩的图像添加到档案文件中。如果达到预先定义的最低分辨率(1305)，则在步骤1306，存储图像；否则，在步骤1307，对图像进行下采样，然后返回到步骤1304，直到达到图像的最低分辨率。如果检查到图像为第一个图像(1308)，则进一步地检查该图像是否为最后一个图像(1309)。如果不是，则输入另一个图像(1301)，并重复步骤1302和1308。一旦图像不是第一个图像(1308)，则在步骤1310，计算图像对其相邻图像的偏移值并且确定对应的拼接可靠性。在步骤1311，清除前一个图像的匹配块，并随后在主线程中检查图像是否为最后一个图像(1309)，在步骤1312，确定最好的连接路径。在步骤1313，生成全局坐标，并随后在步骤1314，编写档案文件头以终止拼接流程。

可使用通用或者专用计算设备、计算机处理器、或者包括但不限于数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)以及根据本发明的教导配置或者编程的其他可编程的逻辑设备的电子电路来实现本文所公开的实施方式。软件或者电子领域中技术人员基于本公开的教导，可容易地编写运行在通用或者专用计算设备、计算机处理器、或者可编程逻辑设备中的计算机指令或者软件代码。

在某些实施方式中，本发明包括具有存储计算机指令或者软件代码的计算机存储介质，所述计算机指令或者软件代码可用于对计算机或者微处理器进行编程，以执行本发明的任何一个进程。所述存储介质可包括但不限于软盘、光盘、蓝光光盘、DVD、CD-ROM、以及磁光盘、ROM、RAM、闪存设备、以及适于存储指令、代码和/或数据的任何类型的介质或者设备。

本发明的前面的描述的目的是举例说明和描述。其目的不是穷举或者将本发明限制到所公开的具体形式。许多修改和改变对本领域技术人员来说都是显而易见的。

选择并描述实施方式是为了最好的解释本发明的原理及其实际应用，从而使本领域技术人员能够理解本发明的各种实施方式，以及适用于预期的特定用途的各种修改。本发明的范围由下面的权利要求及其等价物来限定。

Claims (17)

1.一种用于图像拼接的方法，包括：

通过时频数学变换将第一图像中的至少一个候选条变换为至少一个变换条，其中，将所述候选条内的空间像素信息变换为包括具有共存的物理位置信息的频率系数的频域表达，所述共存的物理位置信息包括变换系数的索引；

基于所述变换条的变换区域的能量，计算所述图像的候选条的特征，其中，所述特征为图像细节的程度，并且所述特征描述高频比；

基于所述高频系数的最大值和变换系数的相应索引，计算所述候选条的候选特征点；

基于所述候选特征点，确定匹配块的位置；

将所述匹配块与第二图像的搜索区域中的至少一个搜索块进行比较，以计算所述匹配块和搜索块之间的相关系数，其中，所述相关系数决定所述匹配块和所述搜索块之间的相似性；

确定最大相关系数，所述最大相关系数是相关系数的最大值；

基于相关最大位置，计算所述匹配块的偏移值，其中，所述搜索块与所述匹配块最相关；

基于所述偏移值，计算第一图像和第二图像之间的条偏移；

基于所述特征和所述最大相关系数，计算每个所述候选条的拼接可靠性，其中，所述拼接可靠性表示任何两个重叠的相邻图像拼接多么好的可信度；

对剩余的图像重复上述步骤；以及

基于所述候选条的拼接可靠性，确定拼接路径。

2.根据权利要求1所述方法，其中，所述时频数学变换是离散小波变换或短时傅里叶变换。

3.根据权利要求1所述方法，其中，通过以下公式来计算所述频率系数：

h⁰＝h×h^T，h¹＝h×g^T，h²＝g×h^T，h³＝g×g^T

其中，h和g是长度为N的FIR正交-镜像滤波器，其中：

g_n＝(-1)ⁿh_N-1-n

当N是偶数时，

T表示矩阵或者向量的转置，n₁和n₂是整数，

和表示低-低频率系数、低-高频率系数、高-低频率系数和高-高频率系数，并且k₁和k₂表示变换系数的索引。

4.根据权利要求3所述方法，其中，通过以下公式计算所述变换区域的能量：

其中，和分别表示低-低频率的能量、低-高频率的能量、高-低频率的能量和高-高频率的能量。

5.根据权利要求1所述方法，其中，通过以下公式计算所述特征：

其中，和分别表示在水平和垂直方向均为低频的变换系数的能量、在水平方向低频而在垂直方向高频的变换系数的能量、在水平方向高频而在垂直方向低频的变换系数的能量、在水平和垂直方向均为高频的变换系数的能量。

6.根据权利要求1所述方法，其中，所述候选特征点对应于所述匹配块的中心。

7.根据权利要求1所述方法，其中，所述匹配块和第i个搜索块之间的相关系数计算如下：

其中：

其中，和分别是所述匹配块和第i个搜索块的平均像素灰度，n²是像素总数，x_ij和y_ij表示像素灰度。

8.根据权利要求7所述方法，其中，从具有最大值的相关系数中选择所述匹配块的最大相关系数，如下所示：

。

9.根据权利要求1所述方法，其中，根据预先定义的所述特征和所述最大相关系数的权重函数，计算所述拼接可靠性。

10.根据权利要求1所述方法，其中，拼接可靠性r计算如下：

r＝w₀·特征+w₁·c

其中

w₀+w₁＝1

其中，w₀和w₁是权重系数，且c为最大相关系数。

11.根据权利要求1所述方法，其中，构建基于拼接可靠性的全局最大生成树，确定拼接路径，该拼接路径给具有良好拼接的高可信度的相邻图像对提供优先拼接权。

12.一种用于图像拼接的方法，包括：

通过时频数学变换将第一图像中的至少一个候选条变换为至少一个变换条，其中，将所述候选条内的空间像素信息变换为包括具有共存的物理位置信息的频率系数的频域表达，所述共存的物理位置信息包括变换系数的索引；

基于所述变换条的变换区域的能量，计算所述候选条的特征，其中，所述特征为图像细节的程度，并且所述特征描述高频比；

基于多于一个高频系数和变换系数的相应索引，计算所述候选条的多于一个的候选特征点；

基于所述候选特征点，确定多于一个的匹配块；

将每个所述匹配块与第二图像的搜索区域中的至少一个搜索块进行比较，以计算每个所述匹配块和搜索块之间的相关系数，其中，所述相关系数决定所述匹配块和所述搜索块之间的相似性；

确定最大相关系数，所述最大相关系数是每个匹配块的相关系数的最大值；

基于每个匹配块的相关最大位置，计算所述每个匹配块的偏移值，其中，所述搜索块与所述匹配块最相关；

基于预先定义的匹配块的偏移值的加权和，计算第一图像和第二图像之间的条偏移；

基于预先定义的每个所述匹配块的特征和所述最大相关系数的权重函数，计算每个所述候选条的拼接可靠性，其中，所述拼接可靠性是任何两个重叠的相邻图像拼接多么好的可信度；

对剩余的图像重复上述步骤；以及

基于候选条的拼接可靠性，确定拼接路径。

13.根据权利要求12所述方法，其中，第k个匹配块和第i个搜索块之间的相关系数计算如下：

其中

其中，和分别为第k个匹配块和第i个搜索块的平均像素灰度，n²是像素总数，x_ij和y_ij表示像素灰度。

14.根据权利要求13所述方法，其中，从具有最大值的相关系数中选择第k个匹配块的最大相关系数，如下所示：

。

15.根据权利要求13所述方法，其中，所述拼接可靠性r计算如下：

其中

其中，w_k是第k个匹配块的权重系数。

16.一种用于拼接图像的方法，包括：

将第一图像装载到RAM中；

将所述第一图像中的至少一个第一候选条存储到所述RAM中；

通过时频数学变换将所述第一候选条变换为第一变换条，其中，将所述第一候选条内的空间像素信息变换为包括具有共存的物理位置信息的高频系数的频域表达，所述共存的物理位置信息包括变换系数的索引；

基于所述第一变换条的变换区域的能量，计算所述第一候选条的特征；

基于高频系数的最大值和系数的相应索引，计算候选特征点；

基于所述候选特征点，确定匹配块；

将所述匹配块存储到RAM中；

将第二图像装载到RAM中；

确定所述第二图像的第一搜索区域；

将第一匹配块与所述第一搜索区域中的至少一个搜索块进行比较，以计算所述第一匹配块和所述第一搜索区域内的所述搜索块之间的相关系数；

在具有最大值的相关系数中确定最大相关系数；

基于相关最大位置，计算所述第一匹配块的偏移值，其中，所述搜索块与所述匹配块最相关；

基于由最大相关系数确定的相关最大位置，计算第一图像和第二图像之间的条偏移；

将所述条偏移和最大相关系数存储到RAM中；

对剩余的图像重复上述步骤；

基于所述特征和最大相关系数，计算图像的每个候选条的拼接可靠性；以及

基于候选条的拼接可靠性，确定拼接路径。

17.根据权利要求16所述方法，其中，多于一个的候选特征点用于确定多于一个的匹配块。