CN101650784B - 一种利用结构上下文特征进行图像匹配的方法 - Google Patents

Abstract

本发明公开了一种利用结构上下文进行图像匹配的方法，该方法包括如下步骤：构建DoG(Difference-of-Gaussian，高斯差分)尺度空间；将图像的DoG尺度空间里的极值点作为关键点，检测该关键点，确定其尺度属性和方向属性；通过统计关键点的方向确定图像的主方向；将图像上关键点的方向按照图像的主方向进行旋转，旋转后得到对应图像的结构上下文特征；对给定的两幅图像的结构上下文特征进行匹配，匹配误差之和最小的方向的匹配点为最终两幅图像匹配的结果。本发明能够描述比较复杂的物体，特别在进行同类别物体的匹配时效果显著，具有旋转不变性、尺度变换不变性，并且对背景杂乱、光照变化、部分遮挡、图像部分变形、小视角变化等都有很好的鲁棒性。

Description

一种利用结构上下文特征进行图像匹配的方法

技术领域

本发明涉及一种图像匹配方法，具体是涉及一种利用结构上下文(Structural Context)特征进行图像匹配的方法。

背景技术

目前使用局部特征来表示图像的方法已被广泛的运用于各个领域，因此有效的特征对于分析图像是十分关键的。当前热门的局部描述符(如SIFT)通过统计关键点临近区域的信息，可以很好的找到两幅图像中的相同部分，因此在图像拼接等领域中使用效果非常好。但是，在匹配不同物体或者进行物体类别识别时，其效果就不是很好。主要原因是由于局部描述符只描述了局部的一些信息，而关键点间的空间关系却被完全的忽略，但这种空间关系在识别物体的时候是非常重要的。当然，目前也存在一些其他的局部特征描述符(如Shape Context等)，它们致力于描述图像的一些空间关系，但是它们把图像边缘的采样点作为关键点，因此描述能力有限，只能够对一些形状简单明确的物体进行有效的表示，而对于一些复杂的物体，表示效果不好。

发明内容

发明目的：本发明的目的是为了克服现有技术的不足，提供一种利用结构上下文(Structural Context)特征进行图像匹配的方法，能够对于复杂物体的图像进行有效的匹配。

技术方案：为了实现以上目的，本发明所述的一种利用结构上下文(Structural Context)特征进行图像匹配的方法，该方法包括如下步骤：

(1)对给定的两幅图像分别构建DoG(Difference-of-Gaussian，高斯差分)尺度空间；

(2)将各图像的DoG尺度空间里的极值点作为关键点，检测该关键点，并确定其尺度属性和方向属性；

(3)通过统计关键点的方向确定各图像的主方向；

(4)将各图像上的关键点方向按照图像的主方向进行旋转，旋转后得到对应图像的结构上下文特征；

(5)对给定的两幅图像利用结构上下文特征进行匹配，匹配误差之和最小的方向的匹配点为最终两幅图像匹配的结果。

步骤(1)中构建DoG尺度空间，具体方法如下；

(a)将给定的两幅图的原始图像与高斯核进行多次卷积得到尺度空间表示：L(x，y，σ)＝G(x，y，σ)*I(x，y)，其中G(x，y，σ)为高斯核函数，即 $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2},$ I(x，y)表示图像，(x，y)代表图像的像素位置，σ代表了高斯正态分布的方差，即为尺度空间因子。

(b)将图像的相邻两个尺度空间表示相减，得到图像的DoG尺度空间表示，即：D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)。

(c)利用DoG函数是具有归一化尺度的LoG(Laplacian-of-Gaussian，拉普拉斯高斯)算子

的一个近似的特点，通过如下的计算得到常数k：

$G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ})\≈(k-1){\mathrm{\σ}}^2{\▿}^{2}G,$

其中，

为对高斯核函数G(x，y，σ)的拉普拉斯算子，σ²为归一化尺度值。

从上式看出当计算DoG函数时相邻尺度空间的尺度因子相差一个常数因子时，便可以近似具有尺度不变性的LoG算子。可以看出(k-1)对任何尺度都是一样，因此不影响极值点位置的检测。如果当k为1时，这个近似误差将为0；但是实际情况下，即使尺度空间之间的尺度相差很大，如 $k=\sqrt{2},$ 这个近似对于寻找稳定的极值点几乎没有影响。

为了有效的构造D(x，y，σ)，将原始图像不断与高斯核进行卷积，得到尺度空间被常数因子k划分成多层。

(d)为了能在检测DoG尺度空间极值点时完全覆盖所有子区域，将尺度空间的每个子区域(如上层子区域的尺度因子σ是下层相邻子区域的两倍)分为s个等分，即要求k＝2^1/s。因此需要左侧在每个子区域里产生s+3个平滑图像，这就能在检测DoG尺度空间极值点时完全覆盖所有子区域。

(e)将相邻的图像尺度空间相减便可得到DoG图像表示，并且每次计算完一个子区域后，当前Gaussian图像的尺度因子就为最初的σ的两倍，需沿着该图像的行和列每2个像素采样一次，重复此操作直到计算完所有的子区域，子区域的范围根据图像初始大小确定。

步骤(2)中为了检测出DoG尺度空间的极值点(包括极大值和极小值点)，图像上的每个点将分别与当前图像的周围8个点、该图像临近的上、下面尺度空间图像的周围9个点进行比较。如果图像上的点大于所有的临近点，该点为极大值点；如果图像中的点小于所有的临近点，该点为极小值点，极大值点和极小值点都将被选为是DoG尺度空间的极值点，即关键点。

得到关键点后，每个关键点都被赋予一个尺度属性，而该属性值就是关键点被检测到的那个尺度空间的尺度因子，尺度属性是该关键点被检测时所在的尺度空间的尺度值。每个关键点还被赋予主方向，主方向表示了关键点周围区域的一个梯度分布走势。通过统计该关键点所在尺度空间内临近的像素点的梯度值方向的主方向确定的，其中图像在任何尺度空间的表示L(x，y)，其梯度幅值m(x，y)和方向θ(x，y)计算函数如下：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right).$

步骤(3)中通过对关键点方向的统计确定图像的主方向，其具体方法为：

(i)获取关键点的主方向，即通过计算关键点周围的点的梯度方向分布直方图来获取，其方法为；首先将360°按10°为一份分为36份，然后将属于某一份上的点的梯度幅值相加，得到该方向上的一个分布权值，最后把该方向直方图的极值作为关键点的方向；如果该直方图中还有一个方向的权值是极值的80％，也把该方向作为关键点的一个主方向。

(ii)通过关键点的方向确定图像的主方向，其方法为：首先将360°按每10°分为36份，统计属于每份的关键点，然后将所有点的尺度值相加，作为该份上的权值，最后取关键点方向直方图的极值所对应的角度作为图像的主方向；因为关键点存在着多个主方向，如果关键点方向直方图中还有一个方向的权值是极值的90％，也把该方向作为图像的主方向。

步骤(4)中计算每个关键点对应的结构上下文特征，首先将所有关键点的方向根据得到的图像主方向进行旋转；然后在每一个关键点上建立一个对数极坐标，将该对数极坐标下关键点的尺度值之和作为该关键点所对应的结构上下文特征。

其中关键点尺度值之和计算函数为： $h_i\left(k\right)=\frac{s\left(p_i\right)}{\max \_s}\underset{p_j\∈{\mathrm{bin}}_i\left(k\right)}{\mathrm{\Σ}}s\left(p_j\right),$ 其中s(p_i)是关键点p_i的尺度值，max_s是关键点中最大的尺度值。

步骤(5)中对给定的两幅图像进行匹配时，因为结构上下文(StructuralContext)是一种直方图表示，因此简单的欧式距离不能很好的衡量不同特征间的相似度。本发明中按如下方式进行匹配，先给定两个关键点p_i，p_j，它们对应的结构上下文特征为h_i，h_j，对这两个特征按如下函数进行x²匹配：

$C_{\mathrm{ij}}=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_i\left(k\right)+h_j\left(k\right)}.$

因为每个图像可能有多个主方向，所以每个图像可能有多套结构上下文特征，为了精确的匹配图像，并达到旋转不变性，将每套特征进行匹配，并且将匹配误差之和最小的那对作为最终正确的匹配结果。

有益效果：本发明涉及的一种利用结构上下文(Structural Context)特征进行图像匹配的方法，与现有技术相比具有以下优点：能够很好的描述比较复杂的物体，而且在进行同类别物体的匹配时候效果好，具有旋转不变性、尺度变换不变性，并且对背景杂乱、光照变化、部分遮挡、图像部分变形、小视角变化等都有很好的鲁棒性。

附图说明

图1为本发明中计算结构上下文特征的流程图；

图2为本发明构建图像DoG尺度空间的示意图；

图3为本发明中关键点检测的示意图；

图4为本发明中确定图像主方向时所用到的关键点方向直方图；

图5为本发明中结构上下文构造示意图。

具体实施方式：

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

根据图1所示，匹配两幅图像的步骤为：

1、对给定的两幅图像分别构建DoG尺度空间

尺度空间理论模拟了图像数据的多尺度特征，理论证明高斯核G(x，y，σ)是唯一能实现尺度变换的线性核，函数如下：

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2},$

其中σ代表了高斯正态分布的方差，在这称为尺度空间因子；对于图像I(x，y)，(x，y)代表图像的像素位置。

将给定的两幅图的原始图像与高斯核进行多次卷积得到尺度空间表示：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

为了有效的在尺度空间里检测到关键点的位置，采用DoG尺度空间的极值点D(x，y，σ)来模拟，而D(x，y，σ)可以通过对图像相邻的两个尺度空间求差得到，函数如下：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)。

其中， $G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ})\≈(k-1){\mathrm{\σ}}^2{\▿}^{2}G.$

为对高斯核函数G(x，y，σ)的拉普拉斯算子，σ²为归一化尺度值。

从上式看出当计算DoG函数时相邻尺度空间的尺度因子相差一个常数因子时，便可以近似具有尺度不变性的LoG算子。可以看出(k-1)对任何尺度都是一样，不影响极值点位置的检测。当k为1时，这个近似误差将为0；但是实际情况下，即使尺度空间之间的尺度相差很大，如 $k=\sqrt{2},$ 这个近似对于寻找稳定的极值点几乎没有影响。

如图2所示构造D(x，y，σ)，将原始图像不断与高斯核进行卷积，常数因子k将得到的尺度空间划分成多层，如图2中左侧列所示。将尺度空间的每个子区域分为s个等分，即k＝2^1/s。图2左侧表明在每个子区域里产生s+3个平滑图像，这样在检测DoG尺度空间极值点时完全覆盖了所有子区域。然后将相邻的图像尺度空间相减得到如图2所示的DoG图像表示。因为每次计算完一个子区域后，当前Gaussian图像的尺度因子是最初的两倍，此时沿着该图像的行和列每2个像素采样一次，之后重复此操作直到计算完所有的子区域。

2、关键点的检测；

如图3所示，为了检测出DoG尺度空间的极大值和极小值点，每个点将与当前图像的周围8个点以及该图像临近的上面尺度空间和下面尺度空间图像的周围9个点进行比较。如果图像上的点大于所有的临近点，那么该点为极大值点；如果图像上的点小于所有的临近点，那么该点为极小值点；极小值点与极大值点都是DoG尺度空间的极值点，即关键点。

得到关键点后，每个关键点都被赋予一个尺度属性，而该属性值就是关键点被检测到的那个尺度空间的尺度因子。每个关键点还被赋予主方向，它表示了关键点周围区域的一个梯度分布走势。对于图像在任何尺度空间的表示L(x，y)，其梯度幅值m(x，y)和方向θ(x，y)按如下函数计算得到：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right).$

为了计算每个关键点的方向，需要计算关键点周围的点的梯度方向分布直方图。该方向直方图是将360°按10°为一份分为36份，并且将属于某一份上的点的梯度幅值相加，得到该方向上的一个分布权值，然后把该方向直方图的极值作为关键点的方向，如果该直方图中还有一个方向的权值是极值的80％，把该方向也作为关键点的一个主方向。这样，图像里每个关键点都有一个对应的尺度值和一个或多个方向属性，而这些属性将在下面用来确定图像的主方向。

3、通过对关键点方向的统计确定各图像的主方向。

当得到图像的关键点后，需要确定图像的一个主方向，该主方向反映的是图像关键点方向的一个趋势走向。

采取和计算关键点主方向相类似的做法，即将360°按每10°分为36份，统计属于每份的关键点，将所有这些点的尺度值相加，作为该份上的权值，最后取该关键点方向直方图(如图4所示)的极值所对应的角度作为该图像的主方向。因为关键点存在着多个主方向，因此如果关键点方向直方图中还有一个方向的权值是极值的90％，也把它该方向作为图像的主方向。然后对这些关键点之间的空间拓扑结构关系进行描述。

4、将各图像上的关键点方向按照图像的主方向进行旋转，旋转得到对应图像的结构上下文特征。

先将图像上的关键点方向按照图像的主方向进行相应的旋转(如果图像有多个主方向，就分多步旋转，每次旋转都对应图像的一套结构上下文特征，即一幅图像可能有多套特征)。并且通过n²个关键点的平均距离进行距离的归一化。

旋转完后，将为每个关键点构造一个对数极坐标系统，如图5所示，将对数极坐标系统分为5层，并对距离进行归一化，其半径分别取为：r/16，r/8，r/4，r/2，r，其中r＝2。另外为了防止尺度小的关键点和尺度大的关键点匹配，引入关键点的尺度属性进行调整。并且对数极坐标分为12个方向，因此其有5*12个槽(bin)，每个槽(bin)的值将按如下计算：

$h_i\left(k\right)=\frac{s\left(p_i\right)}{\max \_s}\underset{p_j\∈{\mathrm{bin}}_i\left(k\right)}{\mathrm{\Σ}}s\left(p_j\right),$

其中s(p_i)是关键点p_i的尺度值，max_s是关键点中最大的尺度值。

5、对给定的两幅图像按结构上下文特征进行匹配，匹配误差之和最小的方向的匹配点为最终两幅图像匹配的结果。

按如下方法进行匹配，先给定两个关键点p_i，p_j，它们对应的结构上下文为h_i，h_j，然后对这两个特征按如下函数进行x²匹配：

$C_{\mathrm{ij}}=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_i\left(k\right)+h_j\left(k\right)}$

将给定的两幅图的每套特征进行匹配，将匹配误差之和最小的那对作为最终正确的匹配结果。

Claims (5)

1.一种利用结构上下文特征进行图像匹配的方法，其特征在于：该方法包含步骤如下：

(1)对给定的两幅图像分别构建高斯差分尺度空间；

(2)将各图像的高斯差分尺度空间里的极值点作为关键点，检测该关键点，并确定其尺度属性和方向属性；

(3)通过统计关键点的方向确定各图像的主方向；

(4)将各图像上的关键点方向按照图像的主方向进行旋转，旋转后得到对应图像的结构上下文特征；

(5)对给定的两幅图像利用结构上下文特征进行匹配，匹配误差之和最小的方向的匹配点为最终两幅图像匹配的结果；

步骤(3)中通过统计关键点的方向确定图像的主方向，具体方法如下：

(i)获取关键点的主方向，即通过关键点周围的点的梯度方向分布直方图获取，具体方法为：首先将360°按10°为一份分为36份，然后将属于某一份上的点的梯度幅值相加，得到该方向上的一个分布权值，最后把该方向直方图的极值所对应的角度作为关键点的方向，并且找出直方图中是极值的80％的方向权值，将这些权值的方向也作为关键点的主方向；

(ii)通过统计关键点的方向确定图像的主方向，方法为：首先将360°按每10°为一份分为36份，统计属于每份的关键点，然后将所有点的尺度值相加，作为该份上的权值，最后取关键点方向直方图的极值所对应的角度作为图像的主方向，并且找出关键点方向直方图中是极值的90％的方向权值，将这些方向权值所对应的角度也作为图像的主方向；

步骤(4)中计算每个关键点对应的结构上下文特征，方法为：先将图像上的关键点方向按照图像的主方向进行相应的旋转，如果图像有多个主方向，就分多步旋转，每次旋转都对应图像的一套结构上下文特征，并且通过n²个关键点的平均距离进行距离的归一化；

旋转完后，将为每个关键点构造一个对数极坐标系统，将对数极坐标系统分为5层，并对距离进行归一化，其半径分别取为：r/16，r/8，r/4，r/2，r，其中r＝2；

对数极坐标分为12个方向，因此其有5*12个槽，每个槽的值按如下公式计算：

$h_i\left(k\right)=\frac{s\left(p_i\right)}{\max \_s}\underset{p_j\∈{\mathrm{bin}}_i}{\mathrm{\Σ}}s\left(p_j\right)$

其中S(p_i)是关键点p_i的尺度值，max_s是关键点中最大的尺度值。

2.根据权利要求1所述的一种利用结构上下文特征进行图像匹配的方法，其特征在于：步骤(1)中构建高斯差分尺度空间，具体方法如下：

(a)将给定的两幅图的原始图像与高斯核进行多次卷积得到尺度空间表示：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

其中G(x，y，σ)为高斯核函数，即：

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}$

I(x，y)表示图像，(x，y)代表图像的像素位置；σ代表了高斯正态分布的方差，即为尺度空间因子；

(b)将图像相邻的两个尺度空间表示相减，得到图像的高斯差分尺度空间表示D(x，y，σ)，即：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)

(c)利用DoG函数是尺度归一化的LoG算子

的一个近似的特点，通过如下的计算得到常数k：

$G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ})\≈(k-1){\mathrm{\σ}}^2{\▿}^{2}G$

其中，

为对高斯核函数G(x，y，σ)的拉普拉斯算子，σ²为归一化尺度值。然后，利用常数因子k将尺度空间划分成多层；

(d)为检测高斯差分尺度空间极值点时完全覆盖所有子区域，设置k＝2^1/s，将尺度空间的每个子区域分为s个等分；

(e)将相邻的图像尺度空间相减得到DoG图像表示。

3.根据权利要求1所述的一种利用结构上下文特征进行图像匹配的方法，其特征在于：步骤(2)中为了检测高斯差分尺度空间的极值点，将当前图像的每个点分别与周围点、该图像临近的上、下面尺度空间图像的周围点进行比较，得出高斯差分尺度空间极值点，即关键点。

4.根据权利要求1所述的一种利用结构上下文特征进行图像匹配的方法，其特征在于：步骤(2)中所述尺度属性是关键点被检测时所在的尺度空间的尺度值；所述方向属性是通过统计关键点所在尺度空间内临近的像素点的梯度值方向的主方向确定的，其中图像的尺度空间表示L(x，y)的梯度幅值m(x，y)和方向θ(x，y)的计算函数如下：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right).$

5.根据权利要求1所述的一种利用结构上下文特征进行图像匹配的方法，其特征在于：步骤(5)中对给定的两幅图像进行匹配时，每套结构上下文特征都要进行匹配，方法为：给定两个关键点p_i和p_j它们对应的结构上下文特征为h_i和h_j，通过如下函数对这两个特征进行匹配：

$C_{\mathrm{ij}}=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_i\left(k\right)-h_j\left(k\right)}.$

Images