CN101488224B - 基于相关性度量的特征点匹配方法 - Google Patents

Abstract

本发明是基于相关性度量的特征点匹配方法，拍摄多幅待匹配场景图像并输入计算机；计算图像各像素的梯度，提取图像特征点信息；对提取的每个特征点，把以特征点为中心的圆形邻域进行分块，计算分块得到的每个子区域的梯度均值；利用子区域各像素点的梯度以及子区域的梯度均值，建立子区域的Harris相关矩阵并计算Harris相关矩阵的行列式和迹；利用Harris相关矩阵的行列式和迹，构造Harris相关性度量并用Harris相关性度量构造Harris相关性描述子；计算特征点描述子之间的欧氏距离，应用度量准则进行匹配。本发明不需要对摄像机参数进行标定，匹配过程中不需要人的参与，自动完成匹配，而且具有简单、实用、匹配点稠密、匹配精度高、鲁棒性好等特点。

Description

基于相关性度量的特征点匹配方法

技术领域

本发明属于计算机辅助自动图像处理技术领域，具体地涉及一种图像特征的匹配技术。

背景技术

在我们日常生活和许多领域中，处理电子图像，特别是提取和检索图像中的特定信息是必不可少的，比如图像检索、物体分割和识别、三维重建以及增强现实等方面都不可避免的要涉及到图像特征的匹配问题，尤其是特征点的匹配问题。传统方法是基于图像像素灰度值的方法，此方法虽然简单易行，但由于利用的信息不充分，匹配效果并不理想。

近年来，随着计算机视觉的发展和应用，人们开始探索新的方法，这其中比较典型的有基于图像梯度的方法以及基于图像微分的方法。在基于图像梯度的方法中，比较简单的描述子匹配性能不好，而匹配性能比较出色的描述子计算的时间复杂度和空间复杂度都比较高；基于图像微分的描述子，构造比较复杂，而且突出的不足是对于图像噪声很不鲁棒，而现实的图像往往存在噪声，因此难以令人满意。

发明内容

本发明的目的在于提供一种较为简单、实用并且匹配性能好精度高的图像特征点匹配方法。

为实现上述目的，基于相关性度量的特征点匹配方法，包括步骤：

步骤1：拍摄两幅或多幅待匹配场景的图像并输入计算机；

步骤2：计算图像各像素的梯度，提取图像的特征点信息；

步骤3：对步骤2中提取的每个特征点，把以特征点为中心的圆形邻域进行分块，计算分块得到的每个子区域的梯度均值；

步骤4：利用步骤3中得到的子区域各像素点梯度以及子区域的梯度均值，构造子区域的Harris自相关矩阵以及相邻子区域之间Harris互相关矩阵；

步骤5：利用步骤4中得到的计算子区域的Harris自相关矩阵以及相邻子区域之间的Harris互相关矩阵的行列式与迹，并用计算得到的行列式与迹构造子区域的自相关性度量以及相邻子区域之间的互相关性度量；

步骤6：利用步骤5中得到的子区域的自相关性度量以及相邻子区域之间的互相关性度量，构造Harris相关性描述子；

步骤7：计算不同图像特征点描述子之间的欧氏距离，应用度量准则，进行匹配。

优选地，所述分块是以特征点为中心对其圆形邻域进行分块。

优选地，所述子区域划分步骤是：

步骤31：以特征点为中心，r为半径，获得N个像素的圆形邻域；

步骤32：沿圆形邻域的径向方向把特征点邻域半径划分为n等份，得到多个以特征点为圆心的同心圆；

步骤33：以特征点邻域的主方向为起始边，将特征点邻域划分为多个相等的扇形。

优选地，所述特征点邻域的子区域R的Harris自相关矩阵SC(R)为，

$\mathrm{SC}\left(R\right)=\underset{X_k\∈R}{\mathrm{\Σ}}\left(\begin{array}{cc}{(I_x\left(X_k\right)-m_x^R)}^2& (I_x\left(X_k\right)-m_x^R)(I_y\left(X_k\right)-m_y^R)\\ (I_x\left(X_k\right)-m_x^R)(I_y\left(X_k\right)-m_y^R)& {(I_y\left(X_k\right)-m_y^R)}^2\end{array}\right)$

式中，

I(X)＝(I_x(X)，I_y(X))^T为图像I上像素点X＝(x，y)^T的梯度，(m_x ^R，m_y ^R)^T是子区域R的梯度均值。

优选地，所述自相关性度量是通过计算子区域R的Harris自相关矩阵SC(R)的行列式与迹，得到子区域R的自相关性度量Hsc(R)为：

$\mathrm{Hsc}\left(R\right)=(\sqrt{\det \left(\mathrm{SC}\left(R\right)\right)},\mathrm{tr}\left(\mathrm{SC}\left(R\right)\right)),$

式中：det(SC(R))为Harris自相关矩阵SC(R)的行列式，tr(SC(R))为Harris自相关矩阵SC(R)的迹。

优选地，所述Harris互相关矩阵是特征点邻域的两个相邻子区域R₁，R₂之间的Harris互相关矩阵MC(R_i，R_j)由下式得到：

$\mathrm{MC}(R_i,R_j)=\underset{X_k\∈R_i}{\mathrm{\Σ}}\left(\begin{array}{cc}{(I_x\left(X_k\right)-m_x^{R_j})}^2& (I_x\left(X_k\right)-m_x^{R_j})(I_y\left(X_k\right)-m_y^{R_j})\\ (I_x\left(X_k\right)-m_x^{R_j})(I_y\left(X_k\right)-m_y^{R_j})& {(I_y\left(X_k\right)-m_y^{R_j})}^2\end{array}\right),$

式中：i，j＝1，2，i≠j。

优选地，所述互相关性度量是通过计算Harris互相关矩阵的行列式与迹，得到两个相邻子区域的互相关性度量Hmc(R)为：

$\mathrm{Hmc}\left(R\right)=(\sqrt{\det \left(\mathrm{MC}(R_1,R_2)\right)}+\sqrt{\det \left(\mathrm{MC}(R_2,R_1)\right)},\mathrm{tr}\left(\mathrm{MC}(R_1,R_2)\right)+\mathrm{tr}\left(\mathrm{MC}(R_2,R_1)\right)).$

优选地，所述Harris相关性描述子是：

步骤61：将自相关性度量与互相关性度量合在一起，得到一个相关性度量向量；

步骤62：根据相关性度量所在子区域中心与特征点的距离，用高斯函数对相关性度量向量加权；

步骤63：对加权后的相关性度量向量进行欧氏范数归一化处理，最终得到Harris相关性描述子。

优选地，所述特征点匹配是分别计算不同图像之间特征点描述子之间的欧氏距离，应用匹配准则对特征点的描述子进行匹配，得到最终的匹配结果。

本发明提供的特征点匹配方法不需要对摄像机参数进行标定，匹配过程中不需要人的参与，完全自动完成，而且具有简单、实用、匹配点稠密、匹配精度高、鲁棒性好等特点。本发明采用在极坐标下对特征点的圆形邻域进行划分，此种划分策略可以避免在图像旋转中的像素的插值运算，从而降低了计算的复杂度。

附图说明

图1是本发明特征点邻域的划分策略

图2是本发明描述子构造和匹配的流程图

图3是本发明相邻区域分类示意图

图4是本发明相关性度量分类示意图

图5是本发明实例1的匹配图像对

图6是本发明实例2的匹配图像对

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明采用在极坐标下对特征点的圆形邻域进行划分，此种划分策略可以避免在图像旋转中的像素的插值运算，从而降低了计算的复杂度。附图1给出了一种特征点邻域的划分策略。对每个特征点邻域划分后得到的子区域求梯度均值，并将求得的梯度均值应用到子区域的Harris自相关矩阵以及相邻子区域之间的Harris互相关矩阵的构造中去，从而可以得到相邻子区域之间的信息；用Harris自相关矩阵以及互相关矩阵的行列式和迹运算代替求Harris相关矩阵特征值的运算，简化了计算过程。

该方法中，描述子的构造简单，计算量比较小。该方法主要包括图像获取、提取特征点、构造描述子以及匹配等步骤，如图2所示为本发明描述子构造和匹配的流程图，各步的具体说明如下：

1.获取图像

用普通照相机或者数码相机拍摄两幅或多幅同一场景的不同图像，并借助扫描仪或某些专用接口设备将图像输入计算机。

2.特征点提取

首先，用高斯模板对获取的数字图像进行滤波，以达到抑制噪声的目的；然后用Canny算子、Harris算子或者LoG算子等成熟特征检测算子检测图像特征点，记录图像特征点在图像上的精确位置，也可以通过人机交互的方式手工标注需要的特征点。

3.描述子构造

基于Harris相关性度量的图像梯度的特征点匹配方法是以特征点为中心对特征点的圆形邻域进行分块，获得分块各子区域。具体分块方法如图1所示：特征点邻域取以特征点为中心，半径为16个像素的圆形邻域。延径向方向把特征点邻域半径划分为5等份，如此可以得到5个以特征点为圆心的同心圆；以特征点邻域的主方向为起始边，将特征点邻域划分为4个等大的扇形，每个扇形的圆心角为直角(最小的圆没有被分割)，这样便把特征点邻域划分为17个子区域。图1中，G₀₀表示最小的圆，G_ij表示第i个圆环上以主方向为参照，逆时针方向的第j个子区域；θ_main表示特征点的主方向。

通过对特征点邻域进行划分，得到了特征点邻域的子区域，统计每个子区域所包含的像素点的梯度和，然后与此子区域的像素点数作除法，得到每个子区域的梯度均值。

对每个特征点邻域的子区域R，计算它的Harris自相关矩阵SC(R)，

$\mathrm{SC}\left(R\right)=\underset{X_k\∈R}{\mathrm{\Σ}}\left(\begin{array}{cc}{(I_x\left(X_k\right)-m_x^R)}^2& (I_x\left(X_k\right)-m_x^R)(I_y\left(X_k\right)-m_y^R)\\ (I_x\left(X_k\right)-m_x^R)(I_y\left(X_k\right)-m_y^R)& {(I_y\left(X_k\right)-m_y^R)}^2\end{array}\right)$

其中，

I(X)＝(I_x(X)，I_y(X))^T为图像I上像素点X＝(x，y)^T的梯度，(m_x ^R，m_y ^R)^T是子区域R的梯度均值。通过计算子区域R的自相关矩阵SC(R)的行列式与迹，得到子区域R的自相关度量Hsc(R)为，

$\mathrm{Hsc}\left(R\right)=(\sqrt{\det \left(\mathrm{SC}\left(R\right)\right)},\mathrm{tr}\left(\mathrm{SC}\left(R\right)\right))$

式中：det(SC(R))为Harris自相关矩阵SC(R)的行列式，tr(SC(R))为Harris自相关矩阵SC(R)的迹。

特征点邻域的两个相邻子区域R₁，R₂之间的Harris互相关矩阵MC(R_i，R_j)由下式得到，

$\mathrm{MC}(R_i,R_j)=\underset{X_k\∈R_i}{\mathrm{\Σ}}\left(\begin{array}{cc}{(I_x\left(X_k\right)-m_x^{R_j})}^2& (I_x\left(X_k\right)-m_x^{R_j})(I_y\left(X_k\right)-m_y^{R_j})\\ (I_x\left(X_k\right)-m_x^{R_j})(I_y\left(X_k\right)-m_y^{R_j})& {(I_y\left(X_k\right)-m_y^{R_j})}^2\end{array}\right),$

i，j＝1，2，i≠j。通过计算Harris互相关矩阵的行列式与迹，得到两个相邻子区域的互相关性度量Hmc(R)为：

$\mathrm{Hmc}\left(R\right)=(\sqrt{\det \left(\mathrm{MC}(R_1,R_2)\right)}+\sqrt{\det \left(\mathrm{MC}(R_2,R_1)\right)},\mathrm{tr}\left(\mathrm{MC}(R_1,R_2)\right)+\mathrm{tr}\left(\mathrm{MC}(R_2,R_1)\right)).$

由于特征点邻域被分为17个子区域，这样得到34维的自相关性度量，图4a所示类型的相邻子区域有32对，图4b所示类型的相邻子区域有24对，因此可以得到32*2+24*2＝112维的互相关性度量。把自相关性度量与互相关性度量合在一起，可以得到一个146维的相关性度量向量。

最后，根据相关性度量所在子区域中心与特征点的距离，用零均值，标准差为8的高斯函数对相关性度量向量加权，再对加权后的相关性度量向量进行欧氏范数归一化处理，最终得到146维的Harris相关性描述子。

如果从146维的Harris相关性描述子中去掉图4右图所示类型对应的互相关性度量，又可以得到一个98维的低维Harris相关性描述子。

4.特征点匹配

分别计算不同图像之间特征点描述子之间的欧氏距离，应用匹配准则如距离最小准则、最近邻距离比准则(NNDR，Nearest NeighborDistance Ratio)等对特征点的描述子进行匹配，得到最终的匹配结果。

图3所示为相关性度量的分类，其中：图3a是自相关性度量，图3b是同圆环的互相关性度量，图3c是相邻圆环的互相关性度量；

图4所示为对相邻区域类型的说明，其中，图4a具有一个公共边界的相邻区域；图4b具有一个公共点的相邻区域；

图5为佛像的匹配结果，两幅图像有比较大的相对旋转，图中的“+”表示特征点所在位置，特征点所在位置的像素灰度值大于128，特征点用黑色“+”表示，如果像素灰度值小于128，特征点用白色“+”表示；

图6为乱石场景的匹配结果，两幅图像有较大的视角变化，图中的“+”表示特征点所在位置，特征点所在位置的像素灰度值大于128，特征点用黑色“+”表示，如果像素灰度值小于128，特征点用白色“+”表示。

实例1为两个佛像场景的匹配结果，如图5所示，从这一对佛像图像的匹配结果看，两图有比较大的相对旋转，即拍摄图像时，通过对摄像机进行旋转得到，在匹配中采用了NNDR准则，根据经验NNDR取值0.75，把匹配点对的NNDR值大于0.75的候选匹配对去掉后，得到214个匹配对，错误匹配对为0，匹配正确率为100％。

实例2的乱石场景的匹配结果，如图6所示，从这一对乱石场景图像看，两图有相对比较大的视角变化，匹配准则采用NNDR准则，NNDR值取0.75，匹配对数为449，错误匹配对数为4，匹配正确率为98.89％。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (1)

1.一种基于相关性度量的特征点匹配方法，包括步骤：

步骤1：拍摄待匹配场景的多幅图像并输入计算机；

步骤2：计算图像各像素的梯度，提取图像的特征点信息；

步骤3：对特征点邻域进行分块，获得子区域的梯度均值；

所述子区域划分步骤是：

步骤31：以特征点为中心，获得半径r等于N个像素的圆形邻域；

步骤32：沿圆形邻域的径向方向把特征点邻域半径划分为n等份，得到多个以特征点为圆心的同心圆；

步骤33：以特征点邻域的主方向为起始边，将特征点邻域划分为多个相等的扇形；

步骤4：应用子区域的各像素点的梯度以及梯度均值，构造子区域的Harris自相关矩阵以及相邻子区域之间Harris互相关矩阵；所述特征点邻域的子区域R的Harris自相关矩阵SC(R)为，

式中，▽I(X)＝(I_x(X)，I_y(X))^T为图像I上像素点X＝(x，y)^T的梯度， 

是子区域R的梯度均值；

所述Harris互相关矩阵是特征点邻域的两个相邻子区域R₁，R₂之间的Harris互相关矩阵MC(R_i，R_j)由下式得到：

式中：i，j＝1，2，i≠j；

步骤5：计算子区域的Harris自相关矩阵以及相邻子区域之间的 Harris互相关矩阵的行列式与迹，并用行列式与迹构造子区域的自相关性度量以及相邻子区域之间的互相关性度量；所述自相关性度量是通过计算子区域R的Harris自相关矩阵SC(R)的行列式与迹，得到子区域R的自相关性度量Hsc(R)为：

式中：det(SC(R))为Harris自相关矩阵SC(R)的行列式，tr(SC(R))为Harris自相关矩阵SC(R)的迹；

所述互相关性度量是通过计算Harris互相关矩阵的行列式与迹，得到两个相邻子区域的互相关性度量Hmc(R)为：

步骤6：用子区域的自相关性度量以及相邻子区域之间的互相关性度量构造Harris相关性描述子；所述Harris相关性描述子是：

步骤61：将自相关性度量与互相关性度量合在一起，得到一个相关性度量向量；

步骤62：根据相关性度量所在子区域中心与特征点的距离，用高斯函数对相关性度量向量加权；

步骤63：对加权后的相关性度量向量进行欧氏范数归一化处理，最终得到Harris相关性描述子；

步骤7：所述特征点匹配是计算不同图像之间特征点描述子之间的欧氏距离，应用匹配准则对特征点的描述子进行匹配，得到最终的匹配结果。 

Images