CN101957916A - 使用m进小波提取图像仿射不变特征的方法 - Google Patents

Abstract

本发明提出了一种使用M进小波提取图像仿射不变特征的方法，首先通过M进小波变换建立图像的多尺度空间，从而确定候选特征点即局部极值点的位置及其所在尺度，然后去除不稳定的低对比度的候选特征点，以剩下的稳定特征点作为特征区域的中心，完成特征区域的定位；再通过特征点周围像素的梯度方向分布情况确定特征描述子的主方向，并将特征点周围的区域旋转到这个方向；最后根据特征点周围区域的梯度信息，构造出仿射不变的特征描述子。通过本发明提取的数字图像特征，具有完全的仿射不变性。

Description

使用M进小波提取图像仿射不变特征的方法

技术领域：

本发明涉及数字图像不变特征的提取，尤其是使用M进小波提取图像的仿射不变特征的方法。

背景技术：

在基于图像的目标识别、遥感图像几何校正、图像检索等许多智能图像处理领域，往往需要从多幅不同视点获取的图像中提取相同的特征量，并以此特征量作为后续处理的基础。由于大部分视点变化情况下获取的图像之间的关系可以用仿射变换来近似，因此提取仿射不变特征成为了众多技术领域的共性问题，在自然资源分析、天气预报、环境研究、变迁检测、生理病变、文字识别、指纹识别等许多领域有重要的应用价值，也是民用导航、地图与地形匹配、立体视觉、运动分析、数据融合等图像分析技术的基础。

目前仿射不变特征的研究主要在两个方向上展开：全局仿射不变特征提取和局部仿射不变特征提取，与全局仿射不变特征相比，局部仿射不变特征不需要对目标进行分割、提取轮廓等预处理，只利用目标的局部信息，更适用于复杂背景和有局部遮挡情况下的特征提取，具有更广阔的应用前景。Lowe在期刊International Journal of Computer Vision上，描述了一种尺度不变关键点(Keypoint)的检测方法，以同时在尺度域和空间域取得极值的点作为关键点，并以关键点作为特征区域的中心，同时，关键点所在的尺度还用以确定特征区域的大小。这种方法较好地同时解决了特征区域定位和大小选择的问题。而在每个特征区域内，Lowe则以梯度方向的直方图为基础构造了一种称为SIFT(Scale Invariant Feature Transform)的特征量来描述该区域的特征。SIFT方法对图像的旋转变化、尺度变化、亮度变化均具有很好的不变性，已应用于全景图拼接、目标识别、三维重建、图像检索、机器人自主导航等许多领域。但是SIFT方法实际上并不具有完全的仿射不变性，尤其是在视角变化较大的情况下，使用SIFT方法很难提取图像的仿射不变特征。

发明内容

针对上述现有技术存在的缺陷，本发明目的旨在提出一种使用M进小波提取图像仿射不变特征的方法，能够解决仿射不变特征提取中的两个核心问题：第一，特征区域的定位，即在哪里提取特征；第二，区域内信息的描述，即用什么特征量来描述区域内的信息；同时，该提取方法提取到的仿射不变特征能够为后续的图像处理打下好的基础。

本发明采取的技术方案是：一种使用M进小波提取图像仿射不变特征的方法，其具体步骤为：

1)首先通过M进小波变换建立图像的多尺度空间，在多尺度空间中通过检测小波系数的局部模最大值，确定候选特征点即局部极值点的位置及其所在尺度，具体步骤如下：

将图像f(x，y)在递增尺度M^j下沿x和y方向，做M进小波变换，其中M为大于1小于2的实数，j为递增的正整数，其中的小波函数ψ(x，y)定义为光滑函数

沿x和y方向的导数，从而得到由递增尺度M^j下的平滑图像及小波系数

组成的图像多尺度空间；将多尺度空间下每个像素点处的小波系数

与同尺度的相邻8个小波系数以及上一尺度和下一尺度的18个小波系数进行比较，该小波系数的模是最大值的点为局部极值点，作为一个候选特征点，记为X＝(x，y，M^j)，其中(x，y)表示候选特征点的位置，M^j表示候选特征点所在尺度；

2)去除不稳定的低对比度的候选特征点，即局部极值点，以剩下的稳定特征点作为特征区域的中心，完成特征区域的定位：

将不同尺度空间下的平滑图像

在局部极值点X处用泰勒公式展开，通过对泰勒展开式求导，并令其为零，得到一个偏移量

将偏移量

与X相加，求出局部极值点位置；再将偏移量

带入泰勒展开式，如果算出来的绝对值小于绝对值阀值，则认为该局部极值点不稳定，予以剔除，剩下的所有局部极值点即为特征点；

3)确定特征描述子的主方向，并将特征点周围的区域旋转到主方向：

以特征点为中心，选取半径与特征点所在尺度成正比的圆形区域，在此区域内计算哈尔小波在水平和垂直方向上的响应值，记为h_x、h_y，并对两个值进行高斯加权，加权后的值分别表示在水平和垂直方向上的方向分量，记为W_hx、W_hy；将圆形区域内分割成多个大小相等的扇形区域，并分别统计扇形区域内的W_hx与W_hy，记为∑W_hx，∑W_hy；其中∑W_hx，∑W_hy取最大的区域所在的方向作为该特征点的主方向，且该主方向的度数可根据∑W_hx，∑W_hy的反正切值求出；最后将圆形区域的方向旋转到上述得到的特征点的主方向；

4)最后根据特征点周围区域的梯度信息，构造出多维特征描述子：

基于上一步确定的特征点主方向将特征点所在的圆形区域等分为上下左右4个扇形，同时将该圆形区域用多个同心圆进行划分，得到特征点邻域的多个子区域；根据其中每个子区域的梯度相对于其相邻子区域梯度均值的变化规律以及相邻子区域之间梯度分布的相关性，为每个特征点构造出具有仿射不变的多维特征描述算子，即为该特征点对应的仿射不变特征。

根据实施例的优选方案，所述步骤1中的M进小波变换具体采用提升格式的3/2进小波变换。所述步骤2中，所述绝对值阈值为0.03。所述步骤4中每个子区域的梯度相对于其相邻子区域梯度均值的变化规律采用Harris自相关描述，所述相邻子区域之间梯度分布的相关性采用Harris互相关描述。

本发明的设计原理详细叙述如下：

现有的M进小波变换可以在不同的分辨率即多个尺度下对图像进行分析，通过M进小波变换在不同尺度级别下产生的平滑图像和对应的小波系数可以构成一个多尺度空间，这与人类视觉系统由粗到细地感受图像信息是相一致的，所以M进小波变换非常适合于提取图像在多尺度空间上的特征。本发明结合M进小波变换，提出一种提取仿射不变特征的方法，其首先通过M进小波变换建立图像的多尺度空间，在多尺度空间中通过检测小波系数的局部模最大值，确定候选特征点即局部极值点的位置及其所在尺度，然后通过特征点精确定位方法去除不稳定的低对比度的候选特征点，即局部极值点，以剩下的稳定特征点作为特征区域的中心，完成特征区域的定位。再通过特征点周围像素的梯度方向分布情况确定特征描述子的主方向，并将特征点周围的区域旋转到这个方向。最后根据特征点周围区域的梯度信息，利用特征点周围区域的Harris自相关以及互相关，构造出多维特征描述子。

综上所述，本发明找到了可以提取特征的图像区域，即像素点坐标值，且确定了用什么样的算子来描述这些区域内的特征信息。通过本发明提取的数字图像特征，对图像的旋转变化、尺度变化、亮度变化、视角变化、噪声干扰等均能保持不变性，即具有完全的仿射不变性。同时本发明使用的M进小波，可以采用提升格式实现，这样能够减少M进小波变换的计算复杂度，提高运算速度，并且能够实现从整数到整数的变换和计算，在硬件实现中非常有价值。

附图说明

图1是使用M进小波提取图像仿射不变特征方法的整体流程图；

图2是实施例中特征点P的邻域划分示意图。

具体实施方式：

以下结合附图和实施例对本发明的设计原理进行详细描述：

如图1所示，本实施例提供一种使用M进小波提取图像仿射不变特征的方法，具体使用的是3/2进小波变换，即M＝3/2，其包括如下步骤：

第一步，通过M进小波变换建立图像的多尺度空间，在多尺度空间中通过检测小波系数的局部模最大值，确定局部极值点位置及其所在尺度：

(1)选择小波分解尺度J，本实施例优选J为10；

(2)对f(x，y)的每一行进行递增j值二维M进小波变换，0＜j＜J；

(3)找到

的零交叉点；

(4)计算所有小波变换的模值 ${\mathrm{MO}}_{M^J}f(x,y)=\left|W_{M^j}^{1}f(x,y)\right|+\left|W_{M^j}^{2}f(x,y)\right|$ 在像素点(x，y)的n×n领域内沿方向梯度上的模极大值点；

(5)去掉那些模值随尺度减小而增加的点，这些点被认为是噪声；

(6)对图像的每一列重复(2)至(5)步；

(7)对于两次分别得到极值处的点就认为是局部极值点。

其中的M进小波变换定义为：

假设函数θ(x)满足 $\underset{-\∞}{\overset{\∞}{\∫}}\mathrm{\θ}\left(x\right)\mathrm{dx}=1,$ 且 $\underset{x\→\∞}{\lim }\mathrm{\θ}\left(x\right)=0$ 时，称θ(x)为光滑函数。当θ(x，y)为二维光滑函数时，图像f(x，y)和不同尺度a上的光滑函数θ_a(x，y)卷积，将使图像f(x，y)被光滑。定义二维小波函数分别为：

${\mathrm{\ψ}}^1(x,y)=\frac{\mathrm{d\θ}(x,y)}{\mathrm{dx}}$

${\mathrm{\ψ}}^2(x,y)=\frac{\mathrm{d\θ}(x,y)}{\mathrm{dy}}$

当ψ¹(x，y)和ψ²(x，y)满足二维小波的完备性和稳定性条件，可以作为二维小波变换的小波基母函数。记：

${\mathrm{\ψ}}_a^1(x,y)=\frac{1}{a^2}{\mathrm{\ψ}}^1(\frac{x}{a},\frac{y}{a})$

${\mathrm{\ψ}}_a^2(x,y)=\frac{1}{a^2}{\mathrm{\ψ}}^2(\frac{x}{a},\frac{y}{a})$

则函数f(x，y)的小波变换为：

$W_a^{1}f(x,y)=f(x,y)*{\mathrm{\ψ}}_a^1$

$W_a^{2}f(x,y)=f(x,y)*{\mathrm{\ψ}}_a^2$

以M进制的小波变换表示，即取a＝M^j则有：

$\left[\begin{array}{c}{W}_{M^j}^{1}f(x,y)\\ W_{M^j}^{2}f(x,y)\end{array}\right]=M^j\left[\begin{array}{c}\frac{d}{\mathrm{dx}}(f*{\mathrm{\θ}}_{M^J}(x,y))\\ \frac{d}{\mathrm{dy}}(f*{\mathrm{\θ}}_{M^j}(x,y))\end{array}\right]=M^j\stackrel{\‾}{\▿}(f*{\mathrm{\θ}}_{M^j}(x,y))$

M进小波变换

分别是在尺度M^j时所平滑图像f(x，y)沿水平方向和垂直方向的部分导数，可看做被

所平滑图像f(x，y)的梯度矢量的模和辐角，记为：

${\mathrm{MO}}_{M^J}f(x,y)=\left|W_{M^j}^{1}f(x,y)\right|+\left|W_{M^j}^{2}f(x,y)\right|$

$A_{M^J}f(x,y)=\arg (W_{M^j}^{1}f(x,y)+{\mathrm{iW}}_{M^j}^{2}f(x,y))$

第二步，通过特征点精确定位去除不稳定的低对比度的特征点。由于低对比度的点对噪声很敏感，利用特征点的位置、尺度、曲率等信息可以去除低对比度的点以增强匹配稳定性、提高抗噪声能力。去除低对比度的点后，特征点数有了很大的减少，极大地降低了特征误匹配率；

由于相邻两层的尺度相差较大，为了精确定位特征点，需要对尺度空间进行插值。对于特征点的精确定位用到了泰勒二次展开式，具体如下所述。

为了去除低对比度的特征点，利用泰勒公式的二次展开式以精确确定特征点的位置和尺度。首先记不同尺度空间下平滑后的图像

为D(x，y，σ)，其中σ＝M^j，将D(x，y，σ)在局部极值点(x₀，y₀，σ)处泰勒展开到二次项：

$D(x,y,\mathrm{\σ})=D(x_0,y_0,\mathrm{\σ})+\frac{\∂D^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{\∂X^2}X---\left(1\right)$

其中X＝(x，y，σ)^T。通过求这个函数导数并将其设为零，有：

$\frac{\∂D^T}{\∂X}X+\frac{{\∂}^{2}D}{\∂X^2}\hat{X}=0$

可得到X的偏移量

$\hat{X}=-\frac{{\∂}^2{D}^{-1}}{\∂X^2}\frac{\∂D}{\∂X}---\left(2\right)$

利用附近点的差分近似求出导数可以减少计算量。如果特征点在任一方向上的偏移量

大于0.5就意味着特征点和其他的样本点更接近。在这种情况下，需要用插值来代替该样本点，把偏移量

加到样本点上以得到特征点定位的插值估计。

偏移量

对于去除不稳定的低对比度的特征点是很有用的。结合(1)(2)两式，可得

$D\left(\hat{X}\right)=D+\frac{1}{2}\frac{{\∂D}^T}{\∂X}\hat{X}$

如果

的值小于0.03，就去掉该特征点。

第三步，通过特征点周围像素的分布情况确定特征描述子的主方向，并将特征点周围的区域旋转到这个方向。为了使描述子具有旋转不变性，要对描述子赋予一个方向值，记为主方向。先将特征点周围的描述子的区域旋转到这个主方向，然后再计算描述子：

为了使描述子具有旋转不变性，要对描述子赋予一个方向值，有了这个方向，在特征点周围的描述子的区域旋转到这个主方向，然后再计算描述子。求特征点的主方向时以特征点为中心选取半径为6s的圆形区域，s是特征点所在的尺度。在此区域内计算哈尔小波在水平和垂直方向上的响应值，记为h_x、h_y。

计算出图像在哈尔小波的水平和垂直方向上的响应值之后，对两个值进行因子为σ＝2s的高斯加权，加权后的值分别表示在水平和垂直方向上的方向分量，记为W_hx、W_hy。

求主方向时，对W_hx、W_hy用直方图进行统计，将360°分成72组，每5°一个组，这样直方图由72个柱子组成，每一个柱子表示5°。对于以特征点为中心的圆形区域内被分割成60°大小的区域，如0°～60°，5°～65°分别统计60°扇形区域内的W_hx与W_hy，记为∑W_hx，∑W_hy，同时计算该区域的梯度值，梯度值取最大的区域所在的方向就是该特征点的主方向，根据∑W_hx，∑W_hy的反正切值就可以求出主方向的度数。

第四步，采用特征点周围区域的Harris自相关以及互相关，构造特征描述子。构造出的特征描述子对子区域的梯度信息进行了整合，这就使得本描述子更抗噪，抗光照。

特征描述子的产生过程如下所述：

记图像点X的梯度为▽f(X)＝[f_x(X)，f_y(X)]^T。令G是图像f的子区域，G的Harris自相关矩阵定义为：

$\mathrm{SC}\left(G\right)=\underset{X\∈G}{\mathrm{\Σ}}\left[\begin{array}{cc}{(f_x\left(X\right)-M_x)}^2& (f_x\left(X\right)-M_x)(f_y\left(X\right)-M_y)\\ (f_x\left(X\right)-M_x)(f_y\left(X\right)-M_y)& {(f_y\left(X\right)-M_y)}^2\end{array}\right],$ 其中

$N=\frac{1}{\#G}\underset{X\∈G}{\mathrm{\Σ}}\▿f\left(X\right)$

为区域G内图像点的梯度均值，#G表示区域G所包含的图像像素点数，由于SC(G)是半正定的，所以它的行列式与迹都是非负的。定义区域G的Harris自相关矩阵如下，

$\mathrm{Hsc}\left(G\right)=[\mathrm{tr}\left(\mathrm{SC}\left(G\right)\right),\det {\left(\mathrm{SC}\left(G\right)\right)}^{\frac{1}{2}}]$

其中tr(SC(G))和det(SC(G))分别表示Harris自相关矩阵SC(G)的迹与行列式。Harris自相关描述的是特定区域内图像梯度的变化规律。

Harris互相关描述的是两个区域梯度分布的相关性，令G、H是图像f的两个子区域，它们之间的Harris互相关矩阵定义为

$\mathrm{MC}(G,H)=\underset{X\∈G}{\mathrm{\Σ}}\left[\begin{array}{cc}{(f_x\left(X\right)-N_x^H)}^2& (f_x\left(X\right)-N_x^H)(f_y\left(X\right)-N_y^H)\\ (f_x\left(X\right)-N_x^H)(f_y\left(X\right)-N_y^H)& {(f_y\left(X\right)-N_y^H)}^2\end{array}\right]$

其中N^H表示区域H的梯度均值。

由于矩阵MC(G，H)也是半正定的，它的迹与行列式也都是非负的，定义区域G和区域H的互相关为，

$\mathrm{Hmc}\left(G\right)=[\mathrm{tr}\left(\mathrm{MC}\left(G\right)\right),\det {\left(\mathrm{MC}\left(G\right)\right)}^{\frac{1}{2}}]$

Harris互相关描述的是特定区域的梯度相对于相邻区域梯度均值的变化规律以及相邻区域之间梯度分布的相关性。

将以特征点为中心，以半径为r的圆形邻域Ω作为特征点的支撑区域，基于支撑区域的主方向将Ω等分为4个扇形，同时将Ω用4个同心圆进行划分，得到17个特征点邻域的子区域，如图2所示，其中r为特征点所在尺度。

为了引入相邻子区域的互相关，并使相邻子区域的互相关具有对称性，定义

$\stackrel{\‾}{\mathrm{Hmc}\left(G\right)}=\frac{(\mathrm{Hmc}(G,H)+\mathrm{Hmc}(H,G))}{2}$

其中G、H表示特征点领域Ω的相邻子区域。相邻子区域指的是具有公共边界或公共点的一对区域。

由于特征点领域Ω内不同位置的点对描述特征点贡献不同，且距离特征点越近，贡献越大，反之越小。为了体现这种思想，在计算特征点描述子时，对邻域Ω内点的梯度进行加权处理，采用高斯函数进行加权，且高斯尺度取为

根据前面定义的Harris自相关以及特征点邻域的划分策略，可得到一个34维的向量：

HS＝[Hsc(G₀₀)，HS₁]

其中

HS₁＝[Hsc(G₁₁)，Hsc(G₁₂)，...，Hsc(G_i，j)，...]_{i＝1，2，3，4；j＝1，2，3，4}

而根据前面定义的Harris互相关，则可以得到2个24维向量HM₁和HM₂，以及两个8维向量HM₃和HM₄：

$H{M}_1={[\stackrel{\‾}{\mathrm{Hmc}}(G_{11},G_{12}),...,\stackrel{\‾}{\mathrm{Hmc}}(G_{\mathrm{ij}},G_{\mathrm{ik}}),...]}_{i=\mathrm{1,2,3,4};j=\mathrm{1,2,3};k=j+1}$

$H{M}_2={[\stackrel{\‾}{\mathrm{Hmc}}(G_{11},G_{21}),...,\stackrel{\‾}{\mathrm{Hmc}}(G_{\mathrm{ij}},G_{\mathrm{kj}}),...]}_{i=\mathrm{1,2,3};j=\mathrm{1,2,3,4};k=i+1}$

$H{M}_3=[\stackrel{\‾}{\mathrm{Hmc}}(G_{00},G_{11}),\stackrel{\‾}{\mathrm{Hmc}}(G_{00},G_{12}),\stackrel{\‾}{\mathrm{Hmc}}(G_{00},G_{13}),\stackrel{\‾}{\mathrm{Hmc}}(G_{00},G_{14})]$

$H{M}_4=[\stackrel{\‾}{\mathrm{Hmc}}(G_{11},G_{14}),\stackrel{\‾}{\mathrm{Hmc}}(G_{21},G_{24}),\stackrel{\‾}{\mathrm{Hmc}}(G_{31},G_{34}),\stackrel{\‾}{\mathrm{Hmc}}(G_{41},G_{44})]$

这样就为特征点P建立了一个98维的Harris相关描述子

HCD(P)＝[HS，HM₁，HM₂，HM₃，HM₄]

为了使描述子对图像亮度的线性变化具有不变性，最后将HCD(P)归一化：

$\mathrm{NHCD}\left(P\right)=\frac{\mathrm{HCD}\left(P\right)}{\left|\right|\mathrm{HCD}\left(P\right)\left|\right|}$

归一化后的描述子NHCD(P)有效剔除了照度变化、噪声干扰等因素的影响，具有较强的尺度不变性与旋转不变性，使用该描述子可以较好地描述数字图像的仿射不变特征。

Claims (4)

1.使用M进小波提取图像仿射不变特征的方法，其特征是，包括如下步骤：

1)首先通过M进小波变换建立图像的多尺度空间，在多尺度空间中通过检测小波系数的局部模最大值，确定候选特征点即局部极值点的位置及其所在尺度：

将图像f(x，y)在递增尺度M^j下沿x和y方向，做M进小波变换，其中M为大于1小于2的实数，j为递增的正整数，其中的小波函数ψ(x，y)定义为光滑函数

沿x和y方向的导数，从而得到由递增尺度M^j下的平滑图像

及小波系数

组成的图像多尺度空间；将多尺度空间下每个像素点处的小波系数

与同尺度的相邻8个小波系数以及上一尺度和下一尺度的18个小波系数进行比较，该小波系数的模是最大值的点为局部极值点，作为一个候选特征点，记为X＝(x，y，M^j)，其中(x，y)表示候选特征点的位置，M^j表示候选特征点所在尺度；

2)去除不稳定的低对比度的候选特征点，以剩下的稳定特征点作为特征区域的中心，完成特征区域的定位：

将不同尺度空间下的平滑图像

在局部极值点X处用泰勒公式展开，通过对泰勒展开式求导，并令其为零，得到一个偏移量

将偏移量

与X相加，求出局部极值点位置；再将偏移量

带入泰勒展开式，如果算出来的绝对值小于绝对值阀值，则认为该局部极值点不稳定，予以剔除，剩下的所有局部极值点即为特征点；

3)确定特征描述子的主方向，并将特征点周围的区域旋转到主方向：

以特征点为中心，选取半径与特征点所在尺度成正比的圆形区域，在此区域内计算哈尔小波在水平和垂直方向上的响应值，记为h_x、h_y，并对两个值进行高斯加权，加权后的值分别表示在水平和垂直方向上的方向分量，记为W_hx、W_hy；将圆形区域内分割成多个大小相等的扇形区域，并分别统计扇形区域内的W_hx与W_hy，记为∑W_hx，∑W_hy；其中∑W_hx，∑W_hy取最大的区域所在的方向作为该特征点的主方向，且该主方向的度数可根据∑W_hx，∑W_hy的反正切值求出；最后将圆形区域的方向旋转到上述得到的特征点的主方向；

4)最后根据特征点周围区域的梯度信息，构造出多维特征描述子：

基于上一步确定的特征点主方向将特征点所在的圆形区域等分为上下左右4个扇形，同时将该圆形区域用多个同心圆进行划分，得到特征点邻域的多个子区域；根据其中每个子区域的梯度相对于其相邻子区域梯度均值的变化规律以及相邻子区域之间梯度分布的相关性，为每个特征点构造出具有仿射不变的多维特征描述算子，即为该特征点对应的仿射不变特征。

2.根据权利要求1所述使用M进小波提取图像仿射不变特征的方法，其特征是，所述步骤1中的M进小波变换具体采用提升格式的3/2进小波变换。

3.根据权利要求1或2所述使用M进小波提取图像仿射不变特征的方法，其特征是，所述步骤2中绝对值阈值为0.03。

4.根据权利要求1或2所述使用M进小波提取图像仿射不变特征的方法，其特征是，所述步骤4中每个子区域的梯度相对于其相邻子区域梯度均值的变化规律采用Harris自相关描述，所述相邻子区域之间梯度分布的相关性采用Harris互相关描述。

Images