CN101794439A - 基于边缘分类信息的图像拼接方法 - Google Patents

Abstract

本发明提供的是一种基于边缘分类信息的图像拼接方法。(1)首先提取图像的边缘类；(2)在已经获取的图像边缘类中提取图像SIFT特征；(3)利用K-D树搜索近似最近邻的方法对两幅有重叠图中的对应SIFT特征点进行匹配；(4)找到两幅图像的两个公共边界点P、Q，得到P、Q两点后，以过PQ的直线作为图像拼接的缝合线；(5)利用小波变换将待拼接图像转换成多个带通信号；(6)在各个空间中进行变换系数融合；(7)最后经过经过小波逆变换，得到一个“无缝”的拼接图像。本发明可以使经典SIFT特征提取的时间减少20％-50％。使处理速度提高25％-40％。本发明有提高经典图像拼接方法的实时性和一定程度上改善图像拼接质量的效果。

Description

基于边缘分类信息的图像拼接方法

技术领域

本发明涉及一种图像拼接方法，特别是涉及一种基于边缘分类信息和高效拼接痕迹消除的图像拼接方法。

背景技术

图像拼接是计算机视觉的一个重要分支，其主要是将两幅以上有重叠区域的图像进行无缝拼接得到一幅较高分辨率或者宽视角的图像。主要应用如卫星遥感、海底勘探、地表植被测绘、无人机监视和搜索、机器人视觉、视频监控、医学探查、电子稳像、和虚拟现实等。

图像拼接技术主要涉及图像配准和图像融合两项关键技术。图像配准主要有基于灰度相关法、基于相位相关法、基于变换模型法、基于特征相关法等；图像融合主要有中值滤波法、加权平均法、多分辨率分析法等。

基于特征的图像配准法[1]和多分辨率分析法[2]分别为图像配准技术和拼接痕迹消除技术的效果最好的方法，所以，目前最流行的图像拼接方法就是这两种方法的结合。基于特征的方法健壮性和鲁棒性都很强，如当前最流行的SIFT特征[3]提取算法，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，但是SIFT算法计算量极大，且计算很复杂。多分辨分析融合技术的引入使图像拼接痕迹消除的效果大大改善，其既可以平滑过渡不同图像间的差异，又可以避免传统方法平滑后“鬼影”的出现。但是目前几种多分辨分析融合方法(金字塔多分辨法、小波分析等)在图像拼接痕迹消除中的应用都未能很好的解决实时性问题。

一般采用这两种方法进行图像拼接的过程为：首先在待拼接图像的整个图像空间中搜索图像特征，提取出各个待拼接图像的特征向量；然后进行特征匹配，计算出图像间的矫正参数，根据矫正参数将图像拼接到一起；最后利用多分辨率图像融合技术将图像处理成“无缝”图像。

由于特征提取和多分辨率分析融合计算都很耗时，导致整个拼接过程很慢，实时性太差，很难在实际中应用。因此，如何提高图像拼接的实时性，使其能在实际中应用，就变的非常关键。本发明将为解决上述问题提供一种有效的方法。

本发明所涉及的参考文献包括：

[1]李云霞，曾毅，钟瑞艳，郭涛.基于SIFT特征匹配的图像拼接算法[J].计算机技术与发展，2009，19(1)：43-52.

[2]Li Junli，SUN Jiabing，MAO Xi.Multiresolution Fusion of RemoteSensing Images Based on Resolution Degradation Model[J].GEO-SPATIALINFORMATION SCIEN，8(1)：50-56，2005.

[3]Heritier.M，Gagnon.L，Foucher.S，Places Clustering of Full-LengthFilm Key-Frames Using Latent Aspect Modeling Over SIFT Matches[J].Circuits and Systems Society，6(19)：832-841，2009。

发明内容

本发明的目的在于提供一种拼接速度快，能有效消除拼接痕迹的基于边缘分类信息的图像拼接方法。

本发明包括如下步骤：

1.首先提取图像的边缘类；

2.在已经获取的图像边缘类中提取图像SIFT特征；

3.利用K-D树搜索近似最近邻的方法对两幅有重叠图中的对应SIFT特征点进行匹配；获取匹配的特征后，使用RANSAC算法去除错误的特征点对；利用正确的特征点对计算图像间的矫正参数，以两幅待拼接图像中的一幅为参考，对另一幅图像进行矫正，将两幅图像拼接在一起；

4.利用以下公式找到两幅图像的两个公共边界点P、Q，得到P、Q两点后，以过PQ的直线作为图像拼接的缝合线；

式中，F_ij代表两幅图像幅图像A，B经过配准后，拼接合成一幅图像对应的像素点，Y代表公共边界点集合，E代表非公共边界点集合，代表F_ij在图像A中对应的有效像素点，

代表F_ij在图像B中对应的有效像素点，φ_A代表图像A的边界点集合，φ_B代表图像B的边界点集合；

5.利用小波变换将待拼接图像转换成多个带通信号，根据缝合线的位置，在各个带通空间中选择合适的过渡区，使用下式进行过渡区选择：

T＝2^k+1

式中，T为固定当前纵坐标，横坐标是以缝合线上的点为中心的过渡区长度，k∈[0，n]为当前带通图像空间索引值；

6.在各个空间中利用下式进行变换系数融合：

$f_{\mathrm{ij}}^{F^l}=\left\{\begin{array}{cc}{f}_{\mathrm{ij}}^{A^l}{H}_L^l+f_{\mathrm{ij}}^{B^l}{H}_R^l,& i\∈T_L^l\\ f_{\mathrm{ij}}^{B^l}{H}_L^l+f_{\mathrm{ij}}^{A^l}{H}_R^l,& i\∈T_R^l\end{array}\right.$

式中

为l层的融合后小波系数，

分别为图像A、B的l层小波变换系数，

分别为l层小波变换的左侧、右侧融合函数，为当前点x方向距缝合线的距离、

为当前层的缝合线上点的x坐标，T_L ^l，T_R ^l分别为l层过渡区位于缝合线左侧和右侧的x坐标集合；

7.最后经过经过小波逆变换，得到一个“无缝”的拼接图像。

本发明还可以包括：

1.所述提取图像的边缘类的方法为：

A)将m×n图像分割成M×M(M∈[4，16])大小的图像子块，利用下式计算各个图像子块的几何不变矩：

φ₁(l，k)＝η₂₀+η₀₂

式中，l∈(0，m/M)和k∈(0，n/M)为图像子块的索引值，

upq为图像的中心矩，定义为：

$u_{\mathrm{pq}}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{(i-i_c)}^p{(j-j_c)}^{q}g(i,j)$

式中和

为图像矩心的模拟坐标位置，g(i，j)为像素灰度值，p+q为矩的阶数，m_pq为图像的几何矩，定义为：

$m_{\mathrm{pq}}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{i}^p{j}^{q}g(i,j)$

B)得到各图像子块的几何不变矩后，利用下式计算其梯度：

G[φ₁(l，k)]＝|φ₁(l，k)-φ₁(l+1，k)|+|φ₁(l，k)-φ₁(l，k+1)|然后利用门限，将大于门限的梯度值对应的图像子块作为图像边缘类；

C)门限的选取规则为：

T＝0.15φ₁(l，k)。

2.所述在已经获取的图像边缘类中提取图像SIFT特征的方法为：

A)建立0组，每组S+2幅平滑图像的DOG图像金字塔，同时利用图像的边缘类信息建立0组，每组1幅除边缘类区域像素保留外，其余区域均置零的参考图像金字塔，其中0的计算方法如下：

$O=\mathrm{int}\left({\log }_2^{\min (m,n)}\right)-2$

式中m，n为原图像的宽和高，min(m，n)为取最小值，int()为取整运算；

B)在搜索极值点时，首先判断参考图像金字塔当前组的当前像素是否为零，如果为零则继续搜索其他点，如果不为零，则进行同尺度相邻层的相邻点比较，如此循环到整个DOG图像金字塔搜索完毕，得到边缘类里的极值点，称之为关键点；

C)利用门限去除低对比度和不稳定边缘响应关键点，并对像素利用三维二次函数进行插值；

D)统计关键点邻域的梯度直方图，以直方图峰值方向作为该关键点的主方向；

E)以关键点为中心取16×16的窗口，划分为16个4×4的子区域作为种子点，每个种子点对应一个4×4像素的区域，在该区域内分别计算8个方向的梯度累加值，沿各梯度方向绘制方向直方图，最终由16个种子点得到一个128维的特征描述子，即每个种子点用8个方向直方图表达。

本发明的实质是：在经典的图像拼接过程中，添加了提取图像边缘类步骤，从而使提取图像SIFT特征步骤的计算时间大大减少，达到提高整个拼接过程实时性的目的，同时提出一个快速搜索缝合线的方法，结合小波多分辨率分析技术，可以高效的完成拼接痕迹的消除。

本发明的有意效果在于：

1.利用图像几何不变矩来提取图像的边缘分类信息，使图像的SIFT特征提取在图像的边缘类中进行。由于图像的特征信息一般都集中在图像的边缘信息中，所以在非边缘区域中进行的特征搜索的实际意义有限，这不但会导致运算复杂度提高，也会导致运算处理的时间更为冗长。本发明首先利用图像几何不变矩提取图像的边缘信息，然后在边缘区域中来提取其图像特征，可以使经典SIFT特征提取的时间减少20％-50％。

2.提出了一种方便有效的缝合线搜索方法，能加快消除图像拼接痕迹的运算处理过程。每两幅图像经过矫正后都一定会有两个公共边界交点，找到这两个点后，将连接此两点的直线作为缝合线，这样既不会对融合效果产生影响，又可以快速地找到缝合线，节省大量时间。本发明采取小波多分辨率分析融合方法，结合缝合线搜索、过渡区选择，不但效果比经典的拉普拉斯金字塔方法好，而且使处理速度提高25％-40％。

因此，本发明有提高经典图像拼接方法的实时性和一定程度上改善图像拼接质量的效果。

附图说明

图1同尺度相邻层地6点；

图2矫正后拼接到一起的图像示意图；

图3原图像和拼接后的图像实例。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

1.首先提取图像的边缘类，分以下两步来进行：

A)将m×n图像分割成M×M(M∈[4，16])大小的图像子块，利用下式计算各个图像子块的几何不变矩：

φ₁(l，k)＝η₂₀+η₀₂(1)

式中，l∈(0，m/M)和k∈(0，n/M)为图像子块的索引值，

upq为图像的中心矩，定义为：

$u_{\mathrm{pq}}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{(i-i_c)}^p{(j-j_c)}^{q}g(i,j)---\left(2\right)$

式中

和

为图像矩心的模拟坐标位置，g(i，j)为像素灰度值，p+q为矩的阶数，m_pq为图像的几何矩，定义为：

$m_{\mathrm{pq}}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{i}^p{j}^{q}g(i,j)---\left(3\right)$

B)得到各图像子块的几何不变矩后，利用式(4)计算其梯度：

G[φ₁(l，k)]＝|φ₁(l，k)-φ₁(l+1，k)|+|φ₁(l，k)-φ₁(l，k+1)|     (4)

然后利用门限，将大于门限的梯度值对应的图像子块作为图像边缘类。

C)门限的选取规则为：

T＝0.15φ₁(l，k)(5)

2.在已经获取的图像边缘类中提取图像SIFT特征，分为以下四个步骤进行：

A)建立0组，每组S+2幅平滑图像的DOG(Difference of Gaussian)图像金字塔。同时利用图像的边缘类信息建立0组，每组1幅除边缘类区域像素保留外，其余区域均置零的参考图像金字塔。其中0的计算方法如下：

$O=\mathrm{int}\left({\log }_2^{\min (m,n)}\right)-2---\left(6\right)$

式中m，n为原图像的宽和高，min(m，n)为取最小值，int()为取整运算。

B)在搜索极值点时，首先判断参考图像金字塔当前组的当前像素是否为零，如果为零则继续搜索其他点，如果不为零，则进行如图1所示的26个相邻点比较，如此循环到整个DOG图像金字塔搜索完毕，得到边缘类里的极值点，我们称之为关键点。

C)利用门限去除低对比度和不稳定边缘响应关键点，并对像素利用三维二次函数进行插值以便精确定位关键点。

D)统计关键点邻域的梯度直方图，以直方图峰值方向作为该关键点的主方向。

E)以关键点为中心取16×16的窗口，划分为16个4×4的子区域作为种子点，每个种子点对应一个4×4像素的区域，在该区域内分别计算8个方向的梯度累加值，沿各梯度方向绘制方向直方图，最终由16个种子点得到一个128维的特征描述子，即每个种子点用8个方向直方图表达。

3.利用K-D树搜索近似最近邻的方法对两幅有重叠图中的对应SIFT特征点进行匹配。获取匹配的特征后，使用RANSAC(Random Sample Consensus)算法去除错误的特征点对。利用正确的特征点对计算图像间的矫正参数，以两幅待拼接图像中的一幅为参考，对另一幅图像进行矫正，从而可以将两幅图像拼接在一起。

4.利用以下公式找到图1所示的P，Q两个公共边界点：

式中，F_ij代表2幅图像A，B经过配准后，拼接合成一幅图像对应的像素点，Y代表公共边界点集合，E代表非公共边界点集合，

代表F_ij在图像A中对应的有效像素点，

代表F_ij在图像B中对应的有效像素点，φ_A代表图像A的边界点集合，φ_B代表图像B的边界点集合。

得到PQ两点后，以过PQ的直线作为图像拼接的缝合线。

5.利用小波变换将待拼接图像转换成多个带通信号，我们根据缝合线的位置，在各个带通空间中选择合适的过渡区，我们使用下式进行过渡区选择：

T＝2^k+1     (8)

式中，T为固定当前纵坐标，横坐标是以缝合线上的点为中心的过渡区长度，k∈[0，n]为当前带通图像空间索引值。

6.在各个空间中利用下式进行变换系数融合：

$f_{\mathrm{ij}}^{F^l}=\left\{\begin{array}{cc}{f}_{\mathrm{ij}}^{A^l}{H}_L^l+f_{\mathrm{ij}}^{B^l}{H}_R^l,& i\∈T_L^l\\ f_{\mathrm{ij}}^{B^l}{H}_L^l+f_{\mathrm{ij}}^{A^l}{H}_R^l,& i\∈T_R^l\end{array}\right.---\left(9\right)$

式中

为l层的融合后小波系数，

分别为图像A、B的l层小波变换系数，

分别为l层小波变换的左侧、右侧融合函数，

为当前点x方向距缝合线的距离(

为当前层的缝合线上点的x坐标)，T_l ^l，T_R ^l分别为l层过渡区位于缝合线左侧和右侧的x坐标集合。

7.最后经过经过小波逆变换，得到一个“无缝”的拼接图像。

下面以二幅具有重叠区域分辨率为288×384的彩色图像为例进一步详细说明本发明的图像拼接方法。

1.提取图边缘类

A)将每幅图像分割成8×8的图像子块，得到1728个图像子块((288×384)/(8×8)＝1728)。对每个像素，利用下式计算其亮度信息：

g(i，j)＝0.3R(i，j)+0.59G(i，j)+0.11B(i，j)(10)

得到像素的亮度信息后，利用式(1)进行计算各子块的几何不变矩，共得到1728个矩值。

B)得到每个图像子块的几何不变矩后，我们将1728个图像子块看做1728个像素，其几何不变矩值看做像素的亮度值，然后计算其梯度信息，即利用式(2)计算其梯度。

C)使用局部可变门限(式(5))过滤各梯度值，把大于门限T的图像子块集合作为图像边缘类。

2.在图像边缘类中提取SIFT特征。

A)根据式(6)我们得到0为6，因此，建立6组图像金字塔，即每组有5幅(SIFT提出者推荐)高斯平滑图像的金字塔，以及6组每组有1幅边缘图像的参考图像金字塔。

B)在边缘类中搜索关键点。

C)利用门限0.04(经验值)去除低对比度关键点，利用门限10(SIFT提出者推荐)去除不稳定边缘响应点，并对剩下各关键点进行三维二次函数插值以精确定位各关键点。

D)统计各关键点邻域的梯度直方图，为其分配方向。

E)按照前面提到的方法，为每个关键点建立特征描述子，得到全部特征点。

3.利用K-D数搜索和RANSAC对两幅图的特征点进行匹配和除错后，利用正确的匹配特征点对计算两幅图象之间的矫正参数，然后将两幅图像拼接到一起。

4.利用式(7)找到拼接后两幅图像的2个公共边界点，过该2点贯穿整幅图像的直线作为缝合线。

5.对两幅矫正后的图像进行3层Haar小波变换，得到带通图像，则根据式(8)，我们得到各层的过渡区长度依次为3、5、9。

6.将式(9)中的l分别取1，2，3，x取过渡区像素的横坐标，计算出全部小波系数。

7.将上步得到的小波系数进行Haar小波逆变换，便可得到“无缝”的拼接图像。

Claims (3)

1.一种基于边缘分类信息的图像拼接方法，其特征是包括如下步骤：

(1)首先提取图像的边缘类；

(2)在已经获取的图像边缘类中提取图像SIFT特征；

(3)利用K-D树搜索近似最近邻的方法对两幅有重叠图中的对应SIFT特征点进行匹配；获取匹配的特征后，使用RANSAC算法去除错误的特征点对；利用正确的特征点对计算图像间的矫正参数，以两幅待拼接图像中的一幅为参考，对另一幅图像进行矫正，将两幅图像拼接在一起；

(4)利用以下公式找到两幅图像的两个公共边界点P、Q，得到P、Q两点后，以过PQ的直线作为图像拼接的缝合线；

式中，F_ij代表两幅图像幅图像A，B经过配准后，拼接合成一幅图像对应的像素点，Y代表公共边界点集合，E代表非公共边界点集合，代表F_ij在图像A中对应的有效像素点，

代表F_ij在图像B中对应的有效像素点，φ_A代表图像A的边界点集合，φ_B代表图像B的边界点集合；

(5)利用小波变换将待拼接图像转换成多个带通信号，根据缝合线的位置，在各个带通空间中选择合适的过渡区，使用下式进行过渡区选择：

T＝2^k+1

式中，T为固定当前纵坐标，横坐标是以缝合线上的点为中心的过渡区长度，k∈[0，n]为当前带通图像空间索引值；

(6)在各个空间中利用下式进行变换系数融合：

$f_{\mathrm{ij}}^{F^l}=\left\{\begin{array}{cc}{f}_{\mathrm{ij}}^{A^l}{H}_L^l+f_{\mathrm{ij}}^{B^l}{H}_R^l,& i\∈T_L^l\\ f_{\mathrm{ij}}^{B^l}{H}_L^l+f_{\mathrm{ij}}^{A^l}{H}_R^l,& i\∈T_R^l\end{array}\right.$

式中为l层的融合后小波系数，

分别为图像A、B的l层小波变换系数，

分别为l层小波变换的左侧、右侧融合函数，

为当前点x方向距缝合线的距离、

为当前层的缝合线上点的x坐标，T_L ^l，T_R ^l分别为l层过渡区位于缝合线左侧和右侧的x坐标集合；

(7)最后经过经过小波逆变换，得到一个“无缝”的拼接图像。

2.根据权利要求1所述的基于边缘分类信息的图像拼接方法，其特征是所述提取图像的边缘类的方法为：

A)将m×n图像分割成M×M(M∈[4，16])大小的图像子块，利用下式计算各个图像子块的几何不变矩：

φ₁(l，k)＝η₂₀+η₀₂

式中，l∈(0，m/M)和k∈(0，n/M)为图像子块的索引值，

u_pq为图像的中心矩，定义为：

$u_{\mathrm{pq}}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{(i-i_c)}^p{(j-j_c)}^{q}g(i,j)$

式中和

为图像矩心的模拟坐标位置，g(i，j)为像素灰度值，p+q为矩的阶数，m_pq为图像的几何矩，定义为：

$m_{\mathrm{pq}}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{i}^p{j}^{q}g(i,j)$

B)得到各图像子块的几何不变矩后，利用下式计算其梯度：

G[φ₁(l，k)]＝|φ₁(l，k)-φ₁(l+1，k)|+|φ₁(l，k)-φ₁(l，k+1)|

然后利用门限，将大于门限的梯度值对应的图像子块作为图像边缘类；

C)门限的选取规则为：

T＝0.15φ₁(l，k)。

3.根据权利要求1或2所述的基于边缘分类信息的图像拼接方法，其特征是所述在已经获取的图像边缘类中提取图像SIFT特征的方法为：

A)建立O组，每组S+2幅平滑图像的DOG图像金字塔，同时利用图像的边缘类信息建立O组，每组1幅除边缘类区域像素保留外，其余区域均置零的参考图像金字塔，其中O的计算方法如下：

$O=\mathrm{int}\left({\log }_2^{\min (m,n)}\right)-2$

式中m，n为原图像的宽和高，min(m，n)为取最小值，int( )为取整运算；

B)在搜索极值点时，首先判断参考图像金字塔当前组的当前像素是否为零，如果为零则继续搜索其他点，如果不为零，则进行同尺度相邻层的相邻点比较，如此循环到整个DOG图像金字塔搜索完毕，得到边缘类里的极值点，称之为关键点；

C)利用门限去除低对比度和不稳定边缘响应关键点，并对像素利用三维二次函数进行插值；

D)统计关键点邻域的梯度直方图，以直方图峰值方向作为该关键点的主方向；

E)以关键点为中心取16×16的窗口，划分为16个4×4的子区域作为种子点，每个种子点对应一个4×4像素的区域，在该区域内分别计算8个方向的梯度累加值，沿各梯度方向绘制方向直方图，最终由16个种子点得到一个128维的特征描述子，即每个种子点用8个方向直方图表达。

Images