CN101655982A - 基于改进Harris角点的图像配准方法 - Google Patents

Abstract

本发明涉及一种图像处理技术领域的基于改进Harris角点的图像配准方法。包括下列步骤：步骤一、计算待配准图像的尺度空间并在尺度空间求取Harris角点；步骤二、用仿射形态修改技术对尺度空间的Harris角点进行迭代处理；步骤三、对特征点使用描述子和匹配方法进行匹配，通过匹配实现配准。本发明改进Harris角点不仅具有对光照变化，旋转变换的不变性，通过使用尺度空间还具有对尺度变换的不变性，通过仿射形态修改技术还具有仿射变换的不变性，这使本方法能够在具有以上描述的变换的图像中找到匹配点进行配准，这是类似SIFT的同类方法不具备的性质。

Description

基于改进Harris角点的图像配准方法

技术领域

本发明涉及一种图像处理技术领域的方法，特别是一种使用改进技术寻找特征点对实现对具有对角度变换，尺度变换的基于改进Harris角点的图像配准方法。

背景技术

随着新型传感器的不断涌现，人们获取图像的能力迅速提高，不同物理特性的传感器所产生的图像也不断增多。由于不同图像传感器获取的图像数据存在明显的局限性和差异性，所以仅仅利用一种图像数据往往难以满足实际需求。为此，需要通过图像融合技术将不同传感器获取的图像综合起来使用，达到对目标更全面、清晰、准确的理解和认识的目的。而图像配准技术是实现图像融合的重要前提，因此图像配准是图像处理领域中的一项重要课题，在遥感图像处理、计算机视觉、运动估计、医学图像分析等领域有着广泛的应用，是图像融合特别是图像数据层融合技术中需要先期解决的问题。不同传感器、不同成像模式和不同时间得到的同一个对象的图像数据之间存在相对的平移、旋转、不同比例缩放甚至畸变关系，对其进行综合分析和利用时，首先要解决图像间的配准问题。

图像配准技术根据需要被配准的图像之间存在的几何变换可以分为多类，比较常见的有旋转变换，这种类型的配准技术在遥感图像，航拍图像配准的应用中很常见。但是在工业生产，科学研究，军事应用中，大量的图像采集系统中存在着其他种类的几何变换，比如说仿射变换和尺度变换，这样的图像不能用和旋转变换一样的配准技术来配准，因此，有必要引入更新，更先进的配准方法，在这方面的研究与探索具有重要的理论意义和应用价值。

发明内容

本发明的目的在于克服现有技术中的不足，针对具有尺度和仿射变换的图像，本发明提出了一种基于改进Harris角点的图像配准方法。本发明应用在仿射变换和尺度变换存在情况下特征点选取，获得了比传统的SIFT匹配点对具有更高的匹配精度。

为了实现上述目的，本发明的技术方案包括如下步骤：

步骤一、使用多尺度Harris角点检测算子寻找待配准图像的尺度空间并在尺度空间求取Harris角点；

步骤二、利用图像仿射形态修改技术对具有尺度不变性的特征点进行迭代处理，达到收敛的特征点具有仿射不变性；

步骤三、对特征点使用描述子和匹配方法，计算得正确的匹配点对，使用匹配点对求解仿射变换的变换参数，实现图像的配准。

所述的使用多尺度Harris角点检测算子，将待配准图像与各个大小的高斯核卷积，得到待配准图像的尺度空间；在尺度空间的不同尺度上计算二阶矩矩阵；根据二阶矩矩阵计算角点程度值；求取角点程度值的局部极大值点作为候选点；计算候选点的归一化LOG值；求取归一化LOG值在尺度方向上的局部极大值点，即尺度空间的Harris角点。

所述的图像仿射形态修改技术，用二阶单位矩阵初始化变换矩阵；计算正交化窗口；计算积分尺度参数；计算微分尺度参数；计算空间坐标参数；将空间坐标参数变换回原来的图像坐标；更新变换矩阵；正交化变换矩阵直到其最大的特征值为1；判断结束条件决定是否返回继续迭代过程或者结束迭代过程。

所述的使用描述子和匹配方法，用SIFT特征点描述子和匹配方法对特征点进行匹配，并由匹配点计算几何变换参数，有几何变换将两幅图像进行配准。

与现有技术相比，本发明具有如下有益效果：

1.实现了在仿射变换和尺度变换存在情况下特征点选取，并应用这些特征点获得正确的匹配点对，拓展了配准图像的适应范围。

2.利用传统Harris角点的可靠性提高了匹配点对的精度，比传统的SIFT匹配点对具有更高的匹配精度。

本发明在图像融合，遥感图像处理、计算机视觉、双目视觉领域有广泛的应用前景。

附图说明

图1为本发明中为本发明中基于改进Harris角点的图像配准方法中匹配点对的结果图；

图2为SIFT方法的匹配点对的结果图；

图3为本发明中基于改进Harris角点的图像配准方法中将几何变换之后的图像与参考图像重合部分求取的差值图；

图4为使用SIFT方法的将几何变换之后的图像与参考图像重合部分求取的差值图；

图5为本发明中基于改进Harris角点的图像配准方法中将几何变换之后的图像与参考图像重合部分求取的差值的直方图；

图6为使用SIFT方法的将几何变换之后的图像与参考图像重合部分求取的差值的直方图；

图7为实施例1中求取的五尺度Harris角点分布三维图；

图8为实施例2中进行仿射形态修改后的角点分布三维图。

具体实施方式

下面结合附图及实例，对本发明进行进一步详细说明。应该指出，此处所描述的具体实施实例仅仅用以解释本发明，并不用于限定本发明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

多尺度Harris角点的提取方法：

1.将待配准图像与一系列不同大小的高斯核

$g_t(x,y)=\frac{1}{2\mathrm{\πt}}{e}^{-(x^2+y^2)/2t}$ (公式一)

卷积，得到图像尺度空间描述：

L(x，y，t)＝g(x，y，t)*I(x，y)    (公式二)

其中参数取值(t＝1.5，1.5*1.4，1.5*1.4²，...，1.5*1.4⁴)，对应于产生的五尺度空间的尺度系数。

2.在尺度空间的不同尺度上计算二阶矩矩阵，其表达式为：

$\mathrm{\μ}(x,y,t,s)=g(x,y,s)*\left[\begin{array}{cc}{L}_x^2(x,y,t)& L_x(x,y,t)L_y(x,y,t)\\ L_x(x,y,t)L_y(x,y,t)& L_y^2(x,y,t)\end{array}\right]$ (公式三)

二阶矩矩阵是一个2×2的矩阵，下标x，y表示在x，y方向上求取图像灰度函数的一阶导数。

3.根据二阶矩矩阵计算角点程度值，其表达式为：

M_c(x，y，t，s)＝|μ(x，y，t，s)|-κ[Tr(μ(x，y，t，s))]²    (公式四)

其中参数取值(K＝0.04)。

4.求取角点程度值的局部极大值点作为候选点：

$(\hat{x},\hat{y},t)=\arg \max {\mathrm{local}}_{(x,y)}{M}_C(x,y,t)$ (公式五)

其中求取局部最大值过程中：采取八邻域方法首先得到局部最大值候选点，然后在这些候选点中求取最大的25个点。

5.计算候选点的归一化LOG值，其表达式为：

${\▿}_{\mathrm{norm}}^{2}L(\hat{x},\hat{y},t)=t{\▿}^{2}L(\hat{x},\hat{y},t)=t(L_{\mathrm{xx}}(\hat{x},\hat{y},t)+L_{\mathrm{yy}}(\hat{x},\hat{y},t))$ (公式六)

归一化LOG值是一个标量，上式中下标xx，yy表示在x，y方向上求取图像灰度函数的二阶导数。

6.求取归一化LOG值在尺度方向上的局部极大值点：

$\hat{t}=\arg \max {\mathrm{local}}_t{\▿}_{\mathrm{norm}}^{2}L(\hat{x},\hat{y},t)$ (公式七)

从而得到尺度空间的Harris角点

图7显示了采用本实施例中处理方法以后获得的处于五尺度空间的Harris角点的分布情况图。可以看到，本实施例所述处理方法具有以下优点：

不同尺度上对应于某一位置的特征点数量不同，说明尺度的变化可以帮助更好的提取出反映结构特征的点。

实施例2

仿射形态修改技术的应用方法：

尺度空间的Harris角点作为初始点x⁽⁰⁾，迭代处理具体包括以下步骤：

1.用二阶单位矩阵初始化矩阵U⁽⁰⁾

2.计算以 $x^{(k-1)}=U^{(k-1)}{x}_w^{(k-1)}$ (公式八)的正交化窗口W(x_w)＝I(x)；            (公式九)

3.计算积分尺度参数，其表达式为

${\mathrm{\σ}}_I^{\left(k\right)}=\underset{{\mathrm{\σ}}_I=t{\mathrm{\σ}}_I^{(k-1)}}{\arg \max }{\mathrm{\σ}}_I^2(L_{\mathrm{xx}}(x,{\mathrm{\σ}}_I)+L_{\mathrm{yy}}(x,{\mathrm{\σ}}_I));$ (公式十)

其中参数取值(t＝[0.7，1.4])。

4.计算微分尺度参数，其表达式为

${\mathrm{\σ}}_D^{\left(k\right)}=\underset{{\mathrm{\σ}}_D=s{\mathrm{\σ}}_I^{\left(k\right)}}{\arg \max }\frac{{\mathrm{\λ}}_{\min }\left(\mathrm{\μ}(x_w^{\left(k\right)},{\mathrm{\σ}}_I^k,{\mathrm{\σ}}_D)\right)}{{\mathrm{\λ}}_{\max }\left(\mathrm{\μ}(x_w^{\left(k\right)},{\mathrm{\σ}}_I^k,{\mathrm{\σ}}_D)\right)};$ (公式十一)

其中参数取值(s＝[0.5，0.75])。

5.计算空间坐标参数，其表达式为

$x_w^{\left(k\right)}=\underset{x_w\∈W\left(x_w^{(k-1)}\right)}{\arg \max }\left|\mathrm{\μ}\right|-\mathrm{\κ}{\left[\mathrm{Tr}\left(\mathrm{\μ}\right)\right]}^2;$ (公式十二)

$\mathrm{\μ}=\mathrm{\μ}(x_w^{\left(k\right)},{\mathrm{\σ}}_I^{\left(k\right)},{\mathrm{\σ}}_D^{\left(k\right)})$

其中参数取值(K＝0.04)。

6.将空间坐标参数变换回原来的图像坐标

$x^{\left(k\right)}=x^{(k-1)}+U^{(k-1)}(x_w^{\left(k\right)}-x_w^{(k-1)});$ (公式十三)

7.计算 ${\mathrm{\μ}}_i={\mathrm{\μ}}^{-\frac{1}{2}}(x_w^{\left(k\right)},{\mathrm{\σ}}_I,{\mathrm{\σ}}_D);$ (公式十四)

8.更新变换矩阵，其表达式为

$U^{\left(k\right)}={\mathrm{\μ}}_i^{\left(k\right)}{U}^{(k-1)};$ (公式十五)

9.正交化U^(k)直到其最大的特征值为1；

10.判断如果条件

$1-{\mathrm{\λ}}_{\min }\left({\mathrm{\μ}}_i^{\left(k\right)}\right)/{\mathrm{\λ}}_{\max }\left({\mathrm{\μ}}_i^{\left(k\right)}\right)\≥0.05$ (公式十六)

为真返回步骤2，否则结束迭代过程，达到收敛；

图8显示了本实施例所述的仿射形态修改技术对特征点分布情况的效果。多角度Harris角点中的一部分点达到了收敛，另外一部分被淘汰。达到收敛的点在迭代过程中在尺度方向及空间方向上也发生了变化，逐步逼近真实的特征点。

通过仿真实例进一步说明本发明的效果：

1.仿真条件：

实验对目标图像从两个不同的视角，不同的距离进行拍照，一幅图像在目标的正前方距离目标3.00米处拍摄，作为参照图像，另一幅图像从参照图像左方的45度方向距离目标5.50米处拍摄，目标在成像区域内的水平位置相同。两幅图像中有多达95％以上区域反映相同的目标区域。采集的两幅图像的像素均为640×480的JPG格式。

2.仿真内容及结果

仿真首先比较了匹配点对的结果，图1是本方法结果，图2是SIFT方法结果；然后比较将几何变换之后的图像与参考图像重合部分求取的差值，图3是本方法得到的差值，图4是SIFT方法得到的差值；最后比较差值图像的灰度直方图，图5是本方法得到的差值图像的灰度直方图，图6是SIFT得到的差值图像的灰度直方图。

观察并比较图1和图2中用连线表示的特征点对，可以发现使用本方法获得的特征点对虽然比使用SIFT方法获得的特征点对要少，但是所有的特征点均是对应同一个具备角点特征的结构，这是本方法对大量具备角点特征的候选点进行多尺度，仿射形态修改两次筛选之后获得的具备角度不变性和尺度不变性的角点，因此具备更加稳定的特性，有利于计算出精确的几何变换参数。这一点在下面的图3和图4中可以得到反映。

图3和图4反映了经过配准之后的两幅图像重合部分的差值，即待配准图像经过几何变换后的灰度函数在于基准图像的灰度函数重合的区域内相减的道德灰度函数，理论上这一差值可以最直观的反映配准的效果，当配准中使用的模型接近于图像之间真实的几何变换时，差值趋近于零。配准结果偏差越大，差值中灰度值越大。图3中的差值图像接近于0，仅在轮廓边缘处有少量的灰度残余，这说明几何变换后的图像与基准图像的相似程度非常接近，反观图4，由于图2中存在太多的匹配点对，其中存在的不精确的匹配点和错误的匹配点势必会对配准参数的正确计算造成不利影响，图4中的大块白色斑块反映了配准的精度不是很理想。

为了对差值图像的灰度分布有一个更加精确的描述，我们使用灰度直方图的方法来对灰度的分布进行统计，直方图中横轴表示灰度等级，从0到255分别对应黑色到白色的256中不同灰阶。纵轴反映的是在不同灰阶上的像素点的个数，或者百分比。图像中的灰度值越小，直方图在左边近零区域的分布理应越多。反之分布会随灰度值的升高向右方近255区域移动。图5中绝大部份分布靠近0点，图6中的分布则向横轴中部区域延伸。

Claims (4)

1、一种基于改进Harris角点的图像配准方法，其特征在于，包括下列步骤：

步骤一、使用多尺度Harris角点检测算子寻找待配准图像的尺度空间并在尺度空间求取Harris角点；

步骤二、利用图像仿射形态修改技术对具有尺度不变性的特征点进行迭代处理，达到收敛的特征点具有仿射不变性；

步骤三、对特征点使用描述子和匹配方法，计算得正确的匹配点对，使用匹配点对求解仿射变换的变换参数，实现图像的配准。

2、根据权利要求1所述的基于改进Harris角点的图像配准方法，其特征是，所述的使用多尺度Harris角点检测算子，将待配准图像与各个大小的高斯核卷积，得到待配准图像的尺度空间；在尺度空间的不同尺度上计算二阶矩矩阵；根据二阶矩矩阵计算角点程度值；求取角点程度值的局部极大值点作为候选点；计算候选点的归一化LOG值；求取归一化LOG值在尺度方向上的局部极大值点，即尺度空间的Harris角点；

计算待配准图像的尺度空间并在尺度空间求取Harris角点。

3、根据权利要求1所述的基于改进Harris角点的图像配准方法，其特征是，所述的图像仿射形态修改技术，是指用二阶单位矩阵初始化变换矩阵、计算正交化窗口、计算积分尺度参数、计算微分尺度参数、计算空间坐标参数、将空间坐标参数变换回原来的图像坐标、更新变换矩阵，正交化变换矩阵直到其最大的特征值为1，判断结束条件决定是否返回继续迭代过程或者结束迭代过程。

4、根据权利要求1所述的基于改进Harris角点的图像配准方法，其特征是，所述的使用描述子和匹配方法，用SIFT特征点描述子和匹配方法对特征点进行匹配，并由匹配点计算几何变换参数，有几何变换将两幅图像进行配准。

Images