CN103186899A - 一种仿射尺度不变的特征点提取方法 - Google Patents

Abstract

一种仿射尺度不变的特征点提取方法，包括：根据摄像机仿射模型确定倾斜量参数和经度参数，对要匹配的两幅图像分别做仿射变换，模拟图像可能发生的仿射扭曲；检测经过仿射变换的图像中的最大稳定极值区域(MSER)，并采用用椭圆区域方程拟合检测到的每个MSER；进而通过DoG高斯差分算子检测MSER区域中特征点并根据特征点所在位置及尺度信息生成对应的特征点描述算子。本方法能够精确提取图像中仿射不变和尺度不变的特征点，在图像产生较大的倾斜时仍能检测到较多的特征点，具有很好的抗仿射性。同时，采用MSER区域的检测，能够减少特征点的检测范围，减少误匹配，增加算法的执行效率。

Description

一种仿射尺度不变的特征点提取方法

技术领域

本发明属于计算机图像处理技术领域，特别是一种仿射尺度不变的特征点提取方法，用于两幅图像视角尺度发生变化时的匹配。

背景技术

图像匹配是计算机视觉中一个非常重要的研究课题，广泛应用于图像匹配，目标跟踪，物体识别，立体匹配，图像拼接等领域中。这些领域需要解决的一个共同问题就是寻找同一场景中多幅视图之间的几何关系。但是图像在采集过程中会有因为拍摄视角、光照、尺度等问题造成对同一场景下采集的图像之间存在很大的差异。为了解决这类的问题，目前众多学者从不同角度出发，提出很多特征提取与匹配的方法。

应用较广泛的是SIFT算法，但是在拍摄视角变化较大时匹配成功的特征点将大大减少；后来的ASIFT算法提出使用摄像机仿射模型，模拟图像因为视角的改变产生的可能的图像扭曲变形。但是SIFT算法在倾斜角度较大时会检测不到匹配点，SIFT算法过渡倾斜几乎不超过2。Harris-Affine，Hessian-Affine算法会处理倾斜度达到2.5和MSER倾斜度会达到10。ASIFT算法能处理过渡倾斜达36或更高，但是有些情况下ASIFT检测到的特征点太多，会有较多的误匹配。

发明内容

为避免现有特征提取和图像匹配技术存在的上述问题，本发明提供一种仿射尺度不变的特征点提取方法，其能够精确提取图像中仿射不变和尺度不变的特征点，以满足图像视角尺度发生变化时的匹配。

本发明提供的一种仿射尺度不变的特征点提取方法，包括以下步骤：

1)、根据摄像机仿射模型确定倾斜量参数和经度参数，对待匹配的两幅图像分别做ASIFT仿射变换处理，模拟图像可能发生的仿射扭曲，得到对应该两幅图像的两组视图A、B；

2)、分别检测计算所述两组视图A、B中的每个视图的最大稳定极值区域(MSER，Maximally Stable Extremal Regions)；

3)、使用椭圆区域方程拟合检测到的每个MSER；

4)、对所述两组视图，采用高斯差分DoG特征检测方法检测每个MSER区域中的特征点的位置信息和尺度信息，所述特征点是每个MSER区域中拟合椭圆处的特征点，此处的特征点最具仿射不变性；

5)、统计所述每个特征点邻域的方向信息，使用传统直方图法最终生成所述每个特征点的描述算子。

上述步骤2)中MSER提取过程如下：通过给定的一系列二值化阈值，得到一组通过此系列阈值二值化的图像，并分析相邻阈值图像中所包含的连通区域，最终检测到图像的MSERs。

上述步骤3)中可以采用下式的椭圆区域方程D_e对检测出的每个MSER进行拟合，以更精确地确定特征点的搜索范围和增强算法的鲁棒性，

$D_e=\frac{{(x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-x_0)}^2}{a^2}+\frac{{(y\cos \mathrm{\θ}-x\sin \mathrm{\θ}-y_0)}^2}{b^2}\≤1;$ 其中，(x₀，y₀)表示椭圆的中心，a和b分别表示椭圆的两个彼此垂直的半轴长度，θ是椭圆长轴与水平坐标轴的正向夹角，θ∈[-π/2，π/2)。

上述步骤4)最好仅仅截取每个视图中的MSER区域按下式建立高斯差分尺度空间， $\begin{array}{c}D(x,y,\mathrm{\δ})=(G(x,y,\mathrm{k\δ})-G(x,y,\mathrm{\δ}))*I(x,y)\\ =L(x,y,\mathrm{k\δ})-L(x,y,\mathrm{\δ})\end{array}$

其中，g(x，y，δ)为尺度因数δ可变的高斯卷积核函数，I(x，y)为输入的一幅视图，k为常数，*代表卷积运算；并检测尺度空间极值，在检测到极值点的位置利用D(x，y，δ)的二阶Taylor展开式，舍去不稳定的边缘响应，同时得到两组视图特征的精确位置和尺度信息。

与现有方法相比，本发明方法在图像产生较大的倾斜时仍能检测到较多的特征点，具有很好的抗仿射性。同时，使用MSER区域的检测，能够减少特征点的检测范围，减少误匹配，增加算法的执行效率。使用高斯DoG特征检测使特征点具有尺度不变性。通过统计特征点邻域的梯度及方向来确定特征点的描述子，使算法具有方向不变性，同时考虑特征点邻域对描述子的贡献增强算法的鲁棒性。

附图说明

图1为仿射变换模拟图；

图2为本发明提取方法的主流程图。

具体实施方式

下面对照附图并结合优选的实施例对本发明作进一步说明。

1、摄像机仿射模型参数确定

使用仿射平面变换能够模拟固体目标的表面变形。图像的仿射变换可用式u(x，y)→u(ax+by+e，cx+dy+f)表示，其中，a，b，c，d，e，f表示仿射变换参数；如果仿射映射矩阵A具有严格正行列式，且相似，则A有唯一的分解方程：

$A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]=H_{\mathrm{\λ}}R\left(\mathrm{\Ψ}\right)\text{T}{R}_2\left(\mathrm{\Φ}\right)$

$=\mathrm{\λ}\left[\begin{array}{cc}\cos \mathrm{\ψ}& -\sin \mathrm{\ψ}\\ \sin \mathrm{\ψ}& \cos \mathrm{\ψ}\end{array}\right]\left[\begin{array}{cc}t& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}\cos \mathrm{\φ}& -\sin \mathrm{\φ}\\ \sin \mathrm{\φ}& \cos \mathrm{\φ}\end{array}\right]$

仿射变换模型模拟了经度角、纬度角、尺度缩放3个参数。φ和θ分别是相机光轴的经度角和纬度角，第三个角ψ是相机的旋转角，λ是缩放参数；参数t被称为绝对斜量，它可以衡量正视和斜视的倾斜程度。在实际应用中，相应两幅图像通常都不是正视，这两幅图像的相对的倾斜总量称为转换斜量。

1)、使用该过程模拟所有可能的相对于正前方拍摄图像的仿射变形。经过前面分析该变形依据两个参数：经度角φ和纬度角θ。绝对斜量参数t＝|1/cosθ|，图像在模拟过程中经历经度参数φ的旋转。在x方向通过绝对斜量t的操作为u(x，y)＝u(tx，y)。对于数字图像，倾斜的模拟完成需要一个有方向的t亚采样，这需要之前在x方向上应用平滑滤波，也就是用标准差为的高斯核卷积。Lowe在SIFT方法中的选择值是0.8。实验结果证明该值能确保很小的重叠误差。

2)、给这些模拟的旋转斜量设定一个有限区域。根据相关文献倾斜度t的上限

对应的垂直角度θ最大值约为80度。并且要有足够小经纬角度步长，以使不同φ和θ角生成的模拟的图像能与要对比的图像足够接近，也就是说经纬角的步长要足够小确保生成的图像之间偏差不太大，这里的倾斜度采样间隔取

在较大的垂直角度θ下，图像水平角度Δφ较小的变化即能使图像产生角度较大的扭曲，相关文献中指出，水平最佳采样间隔是Δφ＝72度/t。

2.检测MSER区域

MSER区域是图像中受整体灰度变化影响不大的区域。MSER通过给定的一系列二值化阈值，得到一组通过此系列阈值二值化的图像，通过分析相邻阈值图像中所包含的连通区域，最终检测到图像的MSERs。

不同视角检测到的MSER之间存在仿射变换差异，为了进行精确的特征抽取使用椭圆区域方程对检测出的每个MSER进行拟合，

该椭圆区域方程D_e的数学表达式可如下式：

$D_e=\frac{{(x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-x_0)}^2}{a^2}+\frac{{(y\cos \mathrm{\θ}-x\sin \mathrm{\θ}-y_0)}^2}{b^2}\≤1$

其中，(x₀，y₀)表示椭圆的中心，a和b分别表示椭圆的两个彼此垂直的半轴长度，θ是椭圆长轴与水平坐标轴的正向夹角，由于椭圆关于其中心轴向对称，所以θ∈[-π/2，π/2)。设椭圆区域D_e内像素坐标的均值向量和协方差矩阵分别是μ和C：

μ＝[μ_x，μ_y]^T $C=\left[\begin{array}{cc}{C}_{11}& C_{12}\\ C_{21}& C_{22}\end{array}\right]$

$\left\{\begin{array}{c}{\mathrm{\μ}}_x=\frac{1}{\left|D_e\right|}\underset{D_e}{\∫\∫}\mathrm{xd}{D}_e=x_0\\ {\mathrm{\μ}}_y=\frac{1}{\left|D_e\right|}\underset{D_e}{\∫\∫}\mathrm{yd}{D}_e=y_0\end{array}\right.$ $\left\{\begin{array}{c}{C}_{11}=\frac{1}{\left|D_e\right|}\underset{D_e}{\∫\∫}{(x-x_0)}^{2}d{D}_e=\frac{a^2}{4}\\ C_{12}=C_{21}=\frac{1}{\left|D_e\right|}\underset{D_e}{\∫\∫}\mathrm{xyd}{D}_e=0\\ C_{22}=\frac{1}{\left|D_e\right|}\underset{D_e}{\∫\∫}{(y-y_0)}^{2}d{D}_e=\frac{b^2}{4}\end{array}\right.$

式中|D_e|是区域D_e的面积，对C进行奇异值分解，C＝UΛV^T，Λ为对焦矩阵Λ＝diag(λ₁，λ₂)。当椭圆关于对称中心旋转时是不会改变椭圆内的像素均值的，同时C的特征值λ₁和λ₂也不变。对于某个MSER区域Ω，其对应的椭圆参数表示为(x₀，y₀，a，b，θ)，

$\mathrm{\μ}=\frac{1}{\left|\mathrm{\Ω}\right|}\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}x$ $C=\frac{1}{\left|\mathrm{\Ω}\right|}\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}(x-\mathrm{\μ}){(x-\mathrm{\μ})}^T$

式中，x是Ω内的任意像素的二维坐标，|Ω|是该同质区域Ω的面积，令(x₀，y₀)＝μ^T， $a=2\sqrt{{\mathrm{\λ}}_1},$ $b=2\sqrt{{\mathrm{\λ}}_2},$ $\mathrm{\θ}=a\tan \left[\frac{v_{12}}{V_{11}}\right],$ [v₁₁，v₁₂]^T是矩阵V的第一个列向量。

3.对两组视图，采用高斯差分DoG特征检测方法确定特征点的精确位置信息和尺度信息。

只截取每个视图中的MSER区域建立高斯差分尺度空间

D(x，y，δ)＝(G(x，y，kδ)-G(x，y，δ))*I(x，y)

＝L(x，y，kδ)-L(x，y，δ)

上式中，g(x，y，δ)为尺度因数δ可变的高斯卷积核函数，I(x，y)为输入的一幅视图，k为常数(k为尺度空间中的某一尺度)，*代表卷积运算。

检测尺度空间极值。在检测尺度空间极值时，标记的像素需要跟包括同一尺度的周围邻域8个像素和相邻尺度对应位置的周围邻域各9个像素，总共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值。

在检测到极值点的位置采用D(x，y，δ)的二阶Taylor展开式，舍去不稳定的边缘响应，同时得到两组视图极值点的精确位置和尺度信息，这里检测到的极值点即特征点。

利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，使算子具备旋转不变性。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x，y)＝tan^-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y))

m(x，y)、θ(x，y)分别表示特征点处的梯度模值和方向公式。

4.特征点描述算子生成

首先将坐标轴旋转为特征点的方向，以确保旋转不变性。接下来以特征点为中心的邻域窗口内采样，并使用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度的一个方向，总共36个方向。直方图的峰值代表了该特征点处邻域梯度的主方向，即作为该特征点的方向。

计算描述子时以特征点为中心取8×8的窗口。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值形成一个种子点。根据相关实验表明描述子采用4×4×8＝128维向量表征，综合效果最优。这种考虑邻域方向贡献的方法可以增强算法对噪声的鲁棒性。这时的128维的特征向量已经除去了尺度变化，旋转等变形因素的影响。

以上优选实施及详细说明目的在于进一步理解本发明，不能认为本发明仅局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，做出的若干等同替代或变型方案，而且性能或用途相同，都应当视为包含在本发明的保护范围之中。

Claims (6)

1.一种仿射尺度不变的特征点提取方法，其特征是包括以下步骤：

1)、根据摄像机仿射模型确定倾斜量参数和经度参数，对待匹配的两幅图像分别做仿射变换处理，模拟图像可能发生的仿射扭曲，得到对应该两幅图像的两组视图A、B；

2)、分别检测计算所述两组视图A、B中的每个视图的最大稳定极值区域(MSER)；

3)、使用椭圆区域方程拟合检测到的每个MSER；

4)、对所述两组视图，采用高斯差分DoG特征检测方法检测每个MSER区域中的特征点的位置信息和尺度信息，所述特征点是每个MSER区域中拟合椭圆处的特征点，此处的特征点最具仿射不变性；

5)、统计所述每个特征点邻域的方向信息，使用传统直方图法最终生成所述每个特征点的描述算子。

2.根据权利要求1所述的提取方法，其特征是所述步骤2)中MSER提取过程如下：通过给定的一系列二值化阈值，得到一组通过此系列阈值二值化的图像，并分析相邻阈值图像中所包含的连通区域，最终检测到图像的MSERs。

3.根据权利要求1或2所述的提取方法，其特征是：

步骤3)中采用下式的椭圆区域方程D_e对检测出的每个MSER进行拟合，以更精确地确定特征点的搜索范围和增强算法的鲁棒性，

$D_e=\frac{{(x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-x_0)}^2}{a^2}+\frac{{(y\cos \mathrm{\θ}-x\sin \mathrm{\θ}-y_0)}^2}{b^2}\≤1$

其中，(x₀，y₀)表示椭圆的中心，a和b分别表示椭圆的两个彼此垂直的半轴长度，θ是椭圆长轴与水平坐标轴的正向夹角，θ∈[-π/2，π/2)。

4.根据权利要求1所述的提取方法，其特征是：

步骤4)仅仅截取每个视图中的MSER区域按下式建立高斯差分尺度空间，

D(x，y，δ)＝(G(x，y，kδ)-G(x，y，δ))*I(x，y)

＝L(x，y，kδ)-L(x，y，δ)

其中，g(x，y，δ)为尺度因数δ可变的高斯卷积核函数，I(x，y)为输入的一幅视图，k为常数，*代表卷积运算；

检测尺度空间极值；在检测到极值点的位置利用D(x，y，δ)的二阶Taylor展开式，舍去不稳定的边缘响应，同时得到两组视图特征的精确位置和尺度信息。

5.根据权利要求4所述的提取方法，其特征是：在检测尺度空间极值时，标记的像素需要与包括同一尺度的周围邻域8个像素和相邻尺度对应位置的周围邻域各9个像素，总共26个像素进行比较。

6.根据权利要求1所述的提取方法，其特征是：

步骤3)中，采用下式的椭圆区域方程D_e对检测出的每个MSER进行拟合， $D_e=\frac{{(x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-x_0)}^2}{a^2}+\frac{{(y\cos \mathrm{\θ}-x\sin \mathrm{\θ}-y_0)}^2}{b^2}\≤1,$ 其中，(x₀，y₀)表示椭圆的中心，a和b分别表示椭圆的两个彼此垂直的半轴长度，θ是椭圆长轴与水平坐标轴的正向夹角，θ∈[-π/2，π/2)；

步骤4)仅仅截取每个视图中的MSER区域按下式建立高斯差分尺度空间，

D(x，y，δ)＝(G(x，y，kδ)-G(x，y，δ))*I(x，y)

＝L(x，y，kδ)-L(x，y，δ)

其中，g(x，y，δ)为尺度因数δ可变的高斯卷积核函数，I(x，y)为输入的一幅视图，k为常数，*代表卷积运算；检测尺度空间极值；在检测到极值点的位置利用D(x，y，δ)的二阶Taylor展开式，舍去不稳定的边缘响应，同时得到两组视图特征的精确位置和尺度信息。

Images