CN101110122A - 基于特征的大幅面文化遗产图像拼接方法 - Google Patents

Abstract

基于特征的大幅面文化遗产图像拼接方法，涉及图像匹配、图像拼接领域。具有以下处理步骤：1)针对文化遗产图像的特点，采用角点检测的方法提取图像中的角点作为图像的特征用于图像间的匹配；2)计算相邻图像匹配点间所连直线斜率，利用斜率相同或相近的特点，使用聚类的方法预筛选图像间的相关点；3)使用最佳路径的方法生成一条像素差值较小的拼接路径，以避开像素差异较大区域，达到消鬼影的目的；4)使用HSI颜色空间中的亮度分量，按照拼接路径运用权重函数公式对亮度进行融合。本发明所提供的方法与其他图像拼接的方法相比，能够大幅度提高图像拼接的速度，消除图像的亮度差异并且消除拼接中经常出现的鬼影现象，达到理想的拼接结果。

Description

基于特征的大幅面文化遗产图像拼接方法

技术领域

本发明涉及图像匹配、图像拼接领域，设计和实现了一种基于特征的大幅面文化遗产图像拼接方法。

背景技术

图像拼接技术在计算机图形学、计算机视觉以及多媒体系统等领域中的应用日益广泛。它可以把普通数码相机拍摄的多幅图像拼接为一幅全景图像，从而能真实地重现原有场景。因此，图像拼接技术在需要大幅面图像或大场景的文化遗产数字化保护、虚拟现实技术和遥感图像处理方面都具有十分广泛的应用前景。

近年来，随着计算机网络技术的迅速发展和数码相机的普及，图像拼接技术有了更大的应用价值，也成为学术界研究的一个热点。目前，国外已经提出了多种针对不同应用条件的图像拼接实现算法。但还没有获得一种效率高并且通用的图像拼接方法。建立图像拼接系统的关键技术包括图像特征提取、特征匹配、图像的融合这三个主要部分。其中图像匹配部分，可以分为基于特征的和直接匹配的两类方法。直接匹配的方法易受杂点和区域最小值的影响，效率不高，已很少被使用。基于特征的方法中，C.Harris和M.J.Stephens提出了角检测的方法，由于其特征稳定、明显，而且非常适用于文化遗产图像内容多为人造建筑、具有规则的几何图形的特点。在特征匹配部分，传统的拼接算法使用RANSAC方法。它能够精确的筛选出匹配的特征点，但在失配点所占比例较大的情况下效率较低，影响了算法的效率。图像融合部分中，消除鬼影现象是关键问题。解决鬼影现象的产生一般的方法是找到一条最佳拼合线。近年来，出现了许多具体的实现算法：Uyttendaele等人通过确定图像中不同的ROD(Region of Difference)区域，然后建立一幅包含有ROD顶点和边缘的图像，从而找到一条避开ROD的路径。其它的寻找最优路径法还包括Geman等人提出的模拟退火方法，还有图像分割法等；但是这些方法的算法复杂度都较高，影响程序的效率。

目前，由于全景图像拼接技术的重大理论意义和实际应用价值，国外学术界一直重视对这一领域的研究。许多研究小组都建立了实验系统，而且一部分研究成熟的成果也用于了商业软件的开发中，如：QuikTime VR，SurroundVideo，Cool360，RealVR等商业软件。此外，IEEE、ACM等学会组织也有相关的讨论会。至今，仍有大量的论文提出了各种新的改进算法和针对于不同应用领域的算法，不断的对图像拼接技术进行深入研究。但是，要建立一套自动、高效、鲁棒性强的图像拼接算法还是一个难题。因此，研究如何改进图像拼接的算法，提高算法效率和拼接效果，是一项很有意义的工作。

发明内容

本发明的目的是提出一种基于特征的大幅面文化遗产图像拼接方法。使用这种方法效率较高，且能够得到理想的拼接效果。

本发明中根据文化遗产图像的内容多为人造建筑、包含几何图形的特点，采用Harris角点检测的方法提取图像中的角点作为图像的特征用于图像间的匹配，可以精确、稳定的提取出图像的特征；特征点的匹配直接关系到图像的匹配是否成功，因此获得匹配的特征点成为一个关键问题。传统的特征点匹配算法在不匹配点较多的情况下匹配效率比较低，而图像拼接中恰恰经常出现不匹配点较多的情况，本发明对此进行了深入研究并对传统方法加以改进，利用匹配特征点之间的特性，提出了使用聚类法预筛选特征点的方法，从而大大提高了特征点匹配的效率且保证了特征点匹配的精确性。本算法还对图像融合中的关键技术，消重影技术进行了深入分析和研究，并且提出了一种简单有效的最佳路径消鬼影与亮度权重函数法相结合的图像融合方法，利用图搜索的方法找到一条像素值差别较小的路径作为图像间的拼接线，即最佳路径；然后把图像转换到HSI颜色空间，是用图像的亮度分量对亮度进行融合，从而达到了消鬼影和使亮度平滑过渡的目的；相对于其它方法，此方法算法复杂度低，能达到较自然的融合效果。

本发明的技术思路特征为：

1.利用Harris角检测的方法提取图像内容的角点作为图像特征点(如图1)。

2.利用图像间匹配特征点之间所连直线斜率相同或相近的特性(见图2)，使用聚类的方法预筛选特征点。首先用直线斜率公式求出成对相关点的斜率，然后运用简单聚类的方法以其中一个相关点斜率为中心，计算其小邻域内包含其它斜率的数量，找到直线斜率的最大集合，即该邻域内包含的斜率数量最多，则在该邻域内生成直线的成对特征点即为筛选出的预匹配点。

3.根据产生鬼影现象的区域两幅图像间的像素差值较大的特性，使用最佳路径的方法生成一条能够避开差值较大区域的拼接路径，此路径上的像素差值是图像中差值较小的(见图3)。

4.计算图像间重叠区域的第一行所有相邻像素的差值，找到差值最小的一点作为路径的起始点。

5.计算起始点左右和下方像素的差值，以差值最小的点作为路径生成的端点。

6.依次计算路径端点上下左右七个方向上(除去路径上的点)的像素差值。同时引入重力系数，以控制路径生成的方向。由图像间变换矩阵中的变量可以确定拼接的方向。以水平拼接为例，拼接路径应为竖直方向，因此在计算路径端点上方(包括左上和右上)像素差值时，乘以一个大于1的系数a₁，同样在计算端点左右方向上的像素差值时，也乘以一个大于1的系数a₂，且a₂＜a₁，使路径可以向下生成且避开差值较大区域。

7.以拼接路径为中心，沿拼接路径，提取30像素宽度区域内的像素RGB值。

8.计算HSI颜色空间的亮度分量，用权重函数公式对两幅图像的亮度值进行融合，再反向变换到RGB颜色空间。

6.综合考虑，本发明使用角检测的方法提取图像的特征，符合文化遗产图像的特点，使用聚类的方法预筛选图像的相关特征点，大大提高了算法的效率；

在图像融合部分，使用了最佳路径法与亮度权重函数法相结合的图像融合方法，使融合后的图像亮度过渡自然且避免了鬼影现象的产生，得到了较为理想的拼接效果。

本发明的技术方案流程图参见图4、图5。图4是预筛选相关特征点流程图，图5是本发明的方法流程图。

本发明的方法包括下述步骤：

1)按图像排列顺序读入一组待拼接图像；

2)判断是否已知所有拍摄图像的相机镜头焦距值。已知焦距值进入下一步，未知焦距值转到4)；

3)以焦距值为半径，用柱面投影的公式，把每幅图像投影到圆柱平面上；

其特征在于：采用角点检测的方法提取每幅图像中的角点作为图像的特征用于图像间的匹配；使用聚类的方法预筛选图像间的相关点；使用最佳路径与亮度权重函数相结合的方法融合拼接图像，以消除重影现象和亮度不连续现象；

4)使用Harris角点检测的方法提取图像中物体的角点作为特征点；其具体为：首先把彩色图像转换为灰度图像，在高斯窗内计算图像x轴方向和y轴方向的梯度值(一阶偏导数)f_x和f_y，然后使用以下公式计算C矩阵：

$C=G\left(\mathrm{\σ}\right)\⊗\left[\begin{array}{cc}{f}_x^2& f_x{f}_y\\ f_x{f}_y& f_y^2\end{array}\right]$

其中：G(σ)为高斯窗函数，f_x和f_y为图像x轴方向和y轴方向的像素梯度值；下一步又应用了“角”函数R：

R＝Det(C)-αTr²(C)   0.04≤α≤0.06

当某点R大于设定的某一阈值T(T＞0)时，这点就是检测出的特征点；

5)使用NCC(Normalized Cross Correlation)相关性算法计算图像间特征点的相关性，得到成对的相关特征点；NCC相关性计算公式如下：

$\mathrm{NCC}(I_1,I_2)=\frac{\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}(I_1(x-i,y-j)-\stackrel{\‾}{I_1})(I_2(x-i,y-j)-\stackrel{\‾}{I_2})}{\sqrt{\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{(I_1(x-i,y-j)-\stackrel{\‾}{I_1})}^2\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{(I_2(x-i,y-j)-\stackrel{\‾}{I_2})}^2}}$

其中：I₁和I₂为两幅图像的像素值； $\stackrel{\‾}{I_1}=\frac{1}{N}\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{I}_1(x-i,y-j),$ $\stackrel{\‾}{I_2}=\frac{1}{N}\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{I}_2(x-i,y-j)$ 分别为图像I₁和I₂以(x，y)为中心的N×N图像窗内的像素均值，(x-i，y-j)为图像坐标，，N∈(3，11)；将NCC的相似度值归一化在[-1，1]范围内；

6)使用聚类法预筛选成对的相关点，以减少不匹配点所占比例。首先用直线斜率公式求出所有成对相关点的斜率，然后运用简单聚类的方法以其中任一个斜率点为中心，计算其邻域(-r，r)(r的取值范围在0.01-0.05之间)内包含其它斜率的数量，找到直线斜率在邻域(-r，r)内的最大集合，则其在该邻域内生成直线的成对特征点即为筛选出的预匹配点；

7)使用RANSAC(RANdom SAmple Consensus)方法采用抽样的方式提取四对相关的特征点计算图像变换矩阵，然后把图像I₂的所有特征点坐标变换到图像I₁的坐标系中，计算其与图像I₁中对应相关点的坐标误差值(即两点间距离)，如果小于门限值M，M的取值范围为0.05～0.15，则认为这一对相关点是匹配的特征点(称为线内点)；按照如上方法继续抽样、计算线内点，直到线内点数量不再增加或者抽样计算达到N次(N的取值范围为1000～50000)则终止抽样；

8)利用图像间成对的匹配特征点计算八变量投影变换矩阵，使图像按匹配位置拼合到同一图像空间中；变换公式如下：

$\hat{X}=\mathrm{HX}=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& 1\end{array}\right]X$

其中，H是投影变换矩阵，它是自相关的，h₀₀、h₀₁、h₀₂、h₁₀、h₁₁、h₁₂、h₂₀、h₂₁为八个所求变量，X＝[x，y，1]^T为图像变换前原始输入图像的坐标， $\hat{X}={[\hat{x},\hat{y},1]}^T$ 为经投影变换后图像坐标。变换结果的自相关坐标

必须归一化以得到非相关的结果X′＝[x′y′1]^T：

$x^{\′}=\frac{h_{00}x+h_{01}y+h_{02}}{h_{20}x+h_{21}y+1},$ $y^{\′}=\frac{h_{10}x+h_{11}y+h_{12}}{h_{20}x+h_{21}y+1}$

其中，x，y为原始图像坐标，x′，y′为变换后图像坐标；

9)再次判断是否已知拍摄图像的相机镜头焦距值；如已知焦距值则转到11)，未知焦距值则进入下一步；

10)估计相机的焦距值。使用图像I₂投影到图像I₁的投影变换矩阵中h₀₀、h₀₁、h₀₂、h₁₀、h₁₁、h₁₂这六个变量可以估计出相机的焦距值，公式如下：

$f_0^2=\sqrt{\frac{h_{00}^2+h_{01}^2-h_{10}^2-h_{11}^2}{h_{12}^2-h_{02}^2}},$    h₁₂≠h₀₂

其中，f₀为计算所得焦距值；同样，使用图像I₁投影到图像I₂的投影变换矩阵中h’₀₀、h’₀₁、h’₀₂、h’₁₀、h’₁₁、h’₁₂这六个变量可以估计出相机的焦距值，公式如下：

$f_1^2=\sqrt{\frac{h_{00}^{\′2}+h_{01}^{\′2}-h_{10}^{\′2}-h_{11}^{\′2}}{h_{12}^{\′2}-h_{02}^{\′2}}},$    h′₁₂≠h′₀₂

其中，f₁为计算所得焦距值；如果焦距值要适用于两幅图像的话，可以计算f₀和f₁的几何均值作为共同的焦距值 $f=\sqrt{f_1{f}_0};$ 如果计算多幅图像的焦距值，则用首先计算两两相邻图像的焦距值，然后计算这些焦距值的几何均值作为共同的统一的焦距值；估计出焦距值后转到步骤3)并继续进行3)之后的步骤；

11)生成最佳拼接路径，消除鬼影现象；公式如下：

$P(x^{\′},y^{\′})=\min \left\{\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}k{[I_1(x+i,y+j)-I_2(x+i,y+j)]}^2\right\}$

其中， $k=\left\{\begin{array}{cc}1-0.2(i-1)& h_{02}\&GreaterEqual;h_{12}\\ 1-0.2(j-1)& h_{02}<h_{12}\end{array}\right.$ 为重力系数，控制路径的生成方向；P(x′，y′)即为生成的最佳路径；具体方法为：首先计算图像I₁和I₂重叠区域的第一行相邻像素值差值的平方，得到绝对值最小的点作为路径的起始点，然后计算其与左右、左下、右下和正下方的相邻像素差值的平方，找到下一差值平方最小点，作为路径端点，再对此路径端点周围七个像素点计算像素差值平方，差值平方最小的点作为下一个端点，这样计算下去，最终找到一条像素差值较小的拼接路径。为了控制路径的生成方向，使之达到重叠区域的另一端，生成一条完整的最佳路径，算法中引入了重力系数k；

12)把图像处理中RGB颜色空间的像素值转换到HSI颜色空间，使用其中的亮度分量I，沿最佳路径对两幅图像进行亮度融合：使用权重函数公式对亮度分量进行融合：

$C\left(x\right)=\frac{{\mathrm{\&Sigma;}}_{k}w\left(d\left(x\right)\right)I_k\left(x\right)}{{\mathrm{\&Sigma;}}_{k}w\left(d\left(x\right)\right)}$

其中，w是单调函数，一般取w(x)＝x，d(x)为图像I_k(k＝1，2，3…)中融合点(x，y)与融合范围边界在x轴上的距离，I_k(x)为融合点的亮度值，C(x)为融合后的亮度值；对亮度融合以后，再用HSI颜色空间与RGB颜色空间的公式转换到RGB颜色空间内；

13)输出拼接结果图。

本发明的原理为：通过对实际情况的考察，发现不匹配点所占所有相关点中的比例，对筛选匹配点算法效率的影响很大。因此，根据匹配点之间所连直线斜率之相同或者相近的特性，用聚类的方法预先滤除一部分不匹配点，提高了数据的纯度，从而极大的减少了传统方法的迭代循环次数。经实验证明，这种方法能够达到预期的效果，提高了算法的筛选效率和鲁棒性。

在本发明中，考虑到在图像融合时会产生鬼影现象，因此通过一种简单有效的最佳路径生成方法，避开了图像重叠部分会产生鬼影现象的差值较大区域。在路径的生成过程中，引入了重力系数，从而控制了路径的生成方向，且能够达到消除鬼影的目的。为了使图像融合自然、消除图像间亮度差异，本发明中又使用了亮度权重函数，在HSI颜色空间对图像的亮度值进行融合。通过大量实验证明，使用这种方法效率较高，且能够得到理想的拼接效果。

附图说明

图1是Harris角检测实验结果图；

图2(a)是图像间连接直线实验结果图；(b)是聚类法筛选特征点示意图；

图3是最佳路径生成方法示意图；

图4是预筛选相关特征点流程图；

图5是本发明采用的方法的流程图；

图6是本发明拼接图像的结果图

具体实施方式

在本实施例中，首先是读入一组JPG或BMP格式的图像序列，输入的图像序列需要相邻图像间有部分的重叠内容，从计算机中读入图像数据后，计算机将调用本发明中提到的方法来完成具体的拼接工作。

具体实施中，在计算机中完成以下步骤：

第一步：依图像排列顺序读入图像序列中的每幅图像。

第二步：判断用户是否输入了图像焦距值。输入了焦距值进入下一步，否则转到第四步。

第三步：根据焦距值对每幅图像进行柱面投影变换，把每幅图像投影到圆柱平面上。

第四步：使用Harris角点检测的方法提取图像中物体的角点作为特征点；其具体为：首先把彩色图像转换为灰度图像，在高斯窗内计算图像x轴方向和y轴方向的梯度值(一阶偏导数)f_x和f_y，然后使用以下公式计算C矩阵：

$C=G\left(\mathrm{\&sigma;}\right)\&CircleTimes;\left[\begin{array}{cc}{f}_x^2& f_x{f}_y\\ f_x{f}_y& f_y^2\end{array}\right]$

其中：G(σ)为5×5像素大小的高斯窗函数；下一步计算角函数R，其阈值取T＝10000，系数α＝0.06：

R＝Det(C)-αTr²(C)

第五步：按顺序对相邻图像间的特征点进行NCC相关性计算，得到相关的成对特征点。

$\mathrm{NCC}(I_1,I_2)=\frac{\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=-N}{\overset{N}{\mathrm{\&Sigma;}}}(I_1(x-i,y-j)-\stackrel{\&OverBar;}{I_1})(I_2(x-i,y-j)-\stackrel{\&OverBar;}{I_2})}{\sqrt{\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_1(x-i,y-j)-\stackrel{\&OverBar;}{I_1})}^2\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_2(x-i,y-j)-\stackrel{\&OverBar;}{I_2})}^2}}$

其中：I₁和I₂为两幅图像的像素值； $\stackrel{\&OverBar;}{I_1}=\frac{1}{N}\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=-N}{\overset{N}{\mathrm{\&Sigma;}}}{I}_1(x-i,y-j),$ $\stackrel{\&OverBar;}{I_2}=\frac{1}{N}\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=-N}{\overset{N}{\mathrm{\&Sigma;}}}{I}_2(x-i,y-j)$ 分别为图像I₁和I₂以(x，y)为中心的N×N图像窗内的像素均值，(x-i，y-j)为图像坐标，，N∈(3，11)；NCC的相似度值被归一化在[-1，1]范围内；

第六步：计算相邻图像间相关点所连直线的斜率值，使用聚类的方法以任一斜率点为中心计算邻域(-r，r)内包含其它斜率的数量，如图2(b)所示，选出斜率的最大集合作为预筛选的相关特征点。邻域半径r的选择根据大量实验得到的经验值为0.02。

第七步：使用RANSAC方法精确筛选出匹配的特征点：随机抽取四对相关特征点计算图像变换矩阵，然后把图像I₂的所有特征点坐标变换到图像I₁的坐标系中，计算其与图像I₁中对应相关点的坐标误差值(即两点间距离)，如果小于门限值M(此处M＝0.1)，则认为这一对相关点是匹配的特征点(称为线内点)；按照如上方法继续抽样、计算线内点，直到线内点数量不再增加或者抽样计算达到10000次则终止抽样。

第八步：使用匹配的特征点求出图像间的八变量投影变换矩阵，把图像按照匹配位置变换到新开辟的拼接结果图像空间。

第九步：判断是否已知图像焦距值，如果已知转入第十一步，未知则转入下一步。

第十步：使用已经求出的投影变换矩阵中的变量，按照相机焦距估计的公式计算图像间焦距的估计值，求得所有焦距值后，计算几何平均值作为总的焦距值。

使用图像I₂投影到图像I₁的投影变换矩阵中h₀₀、h₀₁、h₀₂、h₁₀、h₁₁、h₁₂这六个变量可以估计出相机的焦距值，公式如下：

$f_0^2=\sqrt{\frac{h_{00}^2+h_{01}^2-h_{10}^2-h_{11}^2}{h_{12}^2-h_{02}^2}},$    h₁₂≠h₀₂

其中，f₀为计算所得焦距值；同样，使用图像I₁投影到图像I₂的投影变换矩阵中h’₀₀、h’₀₁、h’₀₂、h’₁₀、h’₁₁、h’₁₂这六个变量可以估计出相机的焦距值，公式如下：

$f_1^2=\sqrt{\frac{h_{00}^{\&prime;2}+h_{01}^{\&prime;2}-h_{10}^{\&prime;2}-h_{11}^{\&prime;2}}{h_{12}^{\&prime;2}-h_{02}^{\&prime;2}}},$    h′₁₂≠h′₀₂

其中，f₁为计算所得焦距值；如果焦距值要适用于两幅图像的话，可以计算f₀和f₁的几何均值作为共同的焦距值 $f=\sqrt{f_1{f}_0};$ 如果计算多幅图像的焦距值，则用首先计算两两相邻图像的焦距值，然后计算这些焦距值的几何均值作为共同的统一的焦距值；估计出焦距值后转到步骤三并继续进行三之后的步骤；

第十一步：计算重叠区域第一行的像素差值的平方，找到差值平方最小的点作为最佳路径的起始点。

第十二步：计算起始点与其左右及下方像素的差值的平方，找到下一差值平方最小的点作为最佳路径的端点。在计算端点周围除路径点其它七个方向上的像素差值平方，并且按照拼接方向，对差值乘以大于1的重力系数，依此方法使路径生长，最终得到最佳路径。

14)第十三步：以最佳路径为中心，取30像素宽的像素值，变换到HSI颜色空间，提取亮度分量，使用权重函数公式

$C\left(x\right)=\frac{{\mathrm{\&Sigma;}}_{k}w\left(d\left(x\right)\right)I_k\left(x\right)}{{\mathrm{\&Sigma;}}_{k}w\left(d\left(x\right)\right)}$

对亮度分量进行融合，再变换回RGB颜色空间。输出拼接结果图像。

为了检验本发明所提出的方法的性能，给出本发明经过预筛选特征点后与传统算法只使用RANSAC算法的比较，以及融合以后的拼接效果图(见图6)。在实验中，采用20对图像对预筛选的效果进行试验，实验条件如下：主机为P4 2.8CPU，512M内存。实验结果如表1，从实验结果中可以看出，在最终匹配点基本不变的情况下，经过预筛选滤除的不匹配点平均达到69.83％，预筛选算法和RANSAC算法程序执行所用时间与原算法相比减少97.45％，RANSAC算法经预筛选后与原来相比迭代次数平均减少92.87％。因此，可以看出聚类法预筛选相关点的算法简单，效率较高，解决了RANSAC算法在大量不匹配点下迭代次数过多的缺点，极大地提高了算法的效率。由图6的实验结果可以看出，通过最佳路径的方法，在图像融合时避开了鬼影区域，然后通过亮度融合使图像过渡自然，使图像在融合区域达到了较为理想的融合效果。相对于其他的融合方法，这种方法效果理想、效率高，非常适合用于实际的拼接系统中。

表1：实验结果比较

预筛选滤除不匹配点	所用时间减少比例	迭代次数减少比例	最终匹配点数量
				69.83％	97.45％	92.87％	基本不变

Claims (1)

1.基于特征的大幅面文化遗产图像拼接方法，包括下述步骤：

1)按图像排列顺序读入一组待拼接图像；

2)判断是否已知所有拍摄图像的相机镜头焦距值；已知焦距值进入下一步，未知焦距值转到4)；

3)以焦距值为半径，用柱面投影的公式，把每幅图像投影到圆柱平面上；其特征在于：

采用角点检测的方法提取每幅图像中的角点作为图像的特征用于图像间的匹配；使用聚类的方法预筛选图像间的相关点；使用最佳路径与亮度权重函数相结合的方法融合拼接图像，以消除重影现象和亮度不连续现象；

4)使用Harris角点检测的方法提取图像中物体的角点作为特征点；其具为：首先把彩色图像转换为灰度图像，在高斯窗内计算图像x轴方向和y轴方向的梯度值f_x和f_y，然后使用以下公式计算C矩阵：

$C=G\left(\mathrm{\&sigma;}\right)\&CircleTimes;\left[\begin{array}{cc}{f}_x^2& f_x{f}_y\\ f_x{f}_y& f_y^2\end{array}\right]$

其中：G(σ)为高斯窗函数，f_x和f_y为图像x轴方向和y轴方向的像素梯度值；下一步又应用了“角”函数R：

R＝Det(C)-αTr²(C)0.04≤α≤0.06

当某点R大于设定的某一阈值T(T＞0)时，这点就是检测出的特征点；

5)使用NCC相关性算法计算图像间特征点的相关性，得到成对的相关特征点；NCC相关性计算公式如下：

$\mathrm{NCC}(I_1,I_2)=\frac{\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=-N}{\overset{N}{\mathrm{\&Sigma;}}}(I_1(x-i,y-j)-\stackrel{\&OverBar;}{I_1})(I_2(x-i,y-j)-\stackrel{\&OverBar;}{I_2})}{\sqrt{\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_1(x-i,y-j)-\stackrel{\&OverBar;}{I_1})}^2\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_2(x-i,y-j)-\stackrel{\&OverBar;}{I_2})}^2}}$

其中：I₁和I₂为两幅图像的像素值； $\stackrel{\&OverBar;}{I_1}=\frac{1}{N}\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=-N}{\overset{N}{\mathrm{\&Sigma;}}}{I}_1(x-i,y-j),$ $\stackrel{\&OverBar;}{I_2}=\frac{1}{N}\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=-N}{\overset{N}{\mathrm{\&Sigma;}}}{I}_2(x-i,y-j)$ 分别为图像I₁和I₂以(x，y)为中心的N×N图像

窗内的像素均值，(x-i，y-j)为图像坐标，N∈(3，11)；将NCC的计算值归一化在[-1，1]范围内；

6)使用聚类法预筛选成对的相关点，以减少不匹配点所占比例

首先用直线斜率公式求出所有成对相关点的斜率，然后运用简单聚类的方法以其中任一个斜率点为中心，计算其邻域(-r，r)(r的取值范围在0.01-0.05之间)内包含其它斜率的数量，找到直线斜率在邻域内的最大集合，则其在该邻域内生成直线的成对特征点即为筛选出的预匹配点；

7)使用RANSAC方法采用抽样的方式提取四对相关的特征点计算图像变换矩阵，然后把图像I₂的所有特征点坐标变换到图像I₁的坐标系中，计算其与图像I₁中对应相关点的坐标误差值，即两点间距离，如果小于门限值M，M的取值范围为0.05～0.15，则认为这一对相关点是匹配的特征点，称为线内点；按照如上方法继续抽样、计算线内点，直到线内点数量不再增加或者抽样计算达到N次则终止抽样，N的取值范围为1000～50000；

8)利用图像间成对的匹配特征点计算八变量投影变换矩阵，使图像按匹配位置拼合到同一图像空间中；变换公式如下：

$\hat{x}=\mathrm{HX}=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& 1\end{array}\right]X$

其中，H是投影变换矩阵，它是自相关的，h₀₀、h₀₁、h₀₂、h₁₀、h₁₁、h₁₂、h₂₀、h₂₁为八个所求变量，X＝[x，y，1]^T为图像变换前原始输入图像的坐标， $\hat{X}={[\hat{x},\hat{y},1]}^T$ 为经投影变换后图像坐标。变换结果的自相关坐标

必须归一化以得到非相关的结果X′＝[x’y’1]^T：

$x^{\&prime;}=\frac{h_{00}x+h_{01}y+h_{02}}{h_{20}x+h_{21}y+1},$ $y^{\&prime;}=\frac{h_{01}x+h_{11}y+h_{12}}{h_{20}x+h_{21}y+1}$

其中，x，y为原始图像坐标，x′，y′为变换后图像坐标；

9)再次判断是否已知拍摄图像的相机镜头焦距值；如已知焦距值则转到11)，未知焦距值则进入下一步；

10)估计相机的焦距值；使用图像I₂投影到图像I₁的投影变换矩阵中h₀₀、h₀₁、h₀₂、h₁₀、h₁₁、h₁₂这六个变量可以估计出相机的焦距值，公式如下：

$f_0^2=\sqrt{\frac{h_{00}^2+h_{01}^2-h_{10}^2-h_{11}^2}{h_{12}^2-h_{02}^2}},$ h₁₂≠h₀₂

 其中，f₀为计算所得焦距值；

同样，使用图像I₁投影到图像I₂的投影变换矩阵中h’₀₀、h’₀₁、h’₀₂、h’₁₀、h′₁₁、h′₁₂这六个变量可以估计出相机的焦距值，公式如下：

$f_1^2=\sqrt{\frac{h_{00}^{\&prime;2}+h_{01}^{\&prime;2}-h_{10}^{\&prime;2}-h_{11}^{\&prime;2}}{h_{12}^{\&prime;2}-h_{02}^{\&prime;2}}},$ h′₁₂≠h′₀₂

其中，f₁为计算所得焦距值；

计算f₀和f₁的几何均值作为图像I₁、I₂共同的焦距值 $f=\sqrt{f_1{f}_0};$

如果计算多幅图像的焦距值，则首先计算两两相邻图像的焦距值，然后计算这些焦距值的几何均值作为共同的统一的焦距值；估计出焦距值后转到步骤3)并继续进行3)之后的步骤；

11)生成最佳拼接路径，消除鬼影现象；公式如下：

$P(x^{\&prime;},y^{\&prime;})=\min \left\{\underset{i=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{j=-1}{\overset{1}{\mathrm{\&Sigma;}}}k{[I_1(x+i,y+j)-I_2(x+i,y+j)]}^2\right\}$

其中 $k=\left\{\begin{array}{cc}1-0.2(i-1)& h_{02}\&GreaterEqual;h_{12}\\ 1-0.2(j-1)& h_{02}<h_{12}\end{array}\right.$ 为重力系数，P(x′，y′)即为生成的最佳路径；

具体方法为：

首先计算图像I₁和I₂重叠区域的第一行相邻像素值差值的平方，得到绝对值最小的点作为路径的起始点，然后计算其与左右、左下、右下和正下方的相邻像素差值的平方，找到下一差值平方最小点，作为路径端点，再对此路径端点周围七个像素点计算像素差值平方，像素差值平方最小的点为下一个端点；依照这样计算下去，最终找到一条像素差值较小的拼接路径；

12)把图像处理中RGB颜色空间的像素值转换到HSI颜色空间，使用其中的亮度分量I，沿最佳路径对两幅图像进行亮度融合：使用权重函数公式对亮度分量进行融合：

$C\left(x\right)=\frac{{\mathrm{\&Sigma;}}_{k}w\left(d\left(x\right)\right)I_k\left(x\right)}{{\mathrm{\&Sigma;}}_{k}w\left(d\left(x\right)\right)}$

其中，w是单调函数，一般取w(x)＝x，d(x)为图像I_k(k＝1，2，3…)中融合点(x，y)与融合范围边界在x轴上的距离，I_k(x)为融合点的亮度值，C(x)为融合后的亮度值；对亮度融合以后，再用HSI颜色空间与RGB颜色空间的公式转换到RGB颜色空间内；

13)输出拼接结果图。

Images