CN103996043A - 图像不变特征区域的检测方法 - Google Patents

Abstract

本发明涉及图像不变特征区域的检测方法，它包括如下步骤，首先提取图像的边缘轮廓，并对边缘轮廓进行平滑；其次，定义角点的响应函数，检测平滑后的图像的边缘轮廓的角点Q；第三步，分别沿角点Q_i两侧检查与角点Q_i相邻的角点Q_i-1、Q_i+1，分别计算角点Q_i-1和Q_i+1到角点Q_i之间的像素距离，将与角点Q_i之间像素距离的角点记为目标点，计算目标点与角点Q_i之间欧式距离l，然后以角点Q_i为圆心，以l为半径所圈成的区域即为角点Q_i的不变特征区域，最后，所有角点Q的不变特征区域构成所述图像的不变特征区域。该检测方法速度快，计算量小，而且具有较强的鲁棒性，具有广泛的实用性。

Description

图像不变特征区域的检测方法

技术领域

本发明属于图像处理和模式识别技术领域，具体涉及图像不变特征区域的检测方法。 

背景技术

图像局部不变特征区域是指当图像发生视点、光照、尺度、旋转、仿射等变化时，图像特征区域始终对应相同的图像内容，这样，计算机视觉的高层次问题就可转变为由不变特征区域的描述器或图像模型的分析和处理的问题，并且，可以避免语义分割所产生的各种困难，不需要进行图像分割。图像不变特征的检测是计算机视觉领域很多问题的研究基础，目前已经在图像匹配、目标识别、全景拼接、图像检索等诸多领域有着广泛的应用。 

局部不变特征检测方法也分为特征点检测方法和特征区域检测方法。由于特征点信息量较为单一，在表示图像上不如特征区域更有效，因此目前不变特征研究的重点都在不变特征区域的检测上。近十几年来，局部不变特征区域的检测已经取得一些成果。比较有代表性的有Lindeberg提出把LoG(Laplacian of Gaussian)尺度空间的三维局部极值点可以作为稳定的局部特征；Tuytelaars提出了两种仿射不变区域检测方法，第一种算法是基于Harris角点周围寻找边缘的方式构造仿射不变特征区域；第二种算法是由灰度局部极值发散地向各方向寻找一个函数的局部极值点轮廓，然后用一个椭圆表示该轮廓；Mikolajczyk和Schmid提出了Harris-Laplace尺度不变特征检测算法，该算法首先在每一层尺度图像上检测Harris角点，然后用Laplace函数去除掉不在尺度轴上达到极值的角点；Matas等把分水岭方法引入到不变区域的检测中，提出了最大稳定极值区域检测方法。Kadir等根据图像灰度直方图的熵提出了尺度不变的区域检测方法。Lowe搜索DoG(Difference of Gaussian)尺度空间的局部极值点，得到图像局部结构的特征尺度，形成尺度不变的特征变换算法SIFT(Scale Invariant Feature Transform)。Bay等人于2006年基于整数运算的Hessian矩阵提出快速鲁棒特征SURF(Speeded up robust features)检测方法。Mikolajczyk和Schmid提出了HA(Harris/Hessian-Affine)检测子，具有良好的仿射不变性能。Harris-Affine基于尺度空间的特征点检测算法首先利用Harris-Laplace检测旋转和尺度不变特征点，然后迭代出该点的位置、尺度和区域的形状，以获得仿射不变性，但缺点是算法复杂，计算量大。T.Tuytelaars和L.Van Gool研究得出图像的边缘轮廓具有一定的仿射不变性，他们提出用EBR检测算法提取轮廓检测仿射不变区域，该算法的主要思想是在轮廓上寻找仿射不变 点，由这些不变点构造出平行四边形的不变区域，EBR检测子表现出较强的鲁棒性能，已经得到了广泛的应用。上述的特征区域检测算法大都利用图像灰度信息来提取区域特征，需要处理相当大的数据量，计算非常耗时。 

发明内容

针对现有技术存在的上述问题，本发明的目的是提供一种算法简单，计算量小的图像局部不变特征区域检测的方法。 

为实现上述目的，本发明采用如下技术方案：图像不变特征区域的检测方法，具体包括如下步骤： 

步骤a：采集图像，并提取该图像的边缘轮廓，然后按照(5)式对提取的图像的边缘轮廓进行平滑： 

$\begin{array}{c}C(u,m)=B_m^n*C\left(u\right)=(B_{m1}^{*}*x\left(u\right),B_{m2}^n*y\left(u\right))\\ =(X(u,m),Y(u,m))\end{array}---\left(5\right);$

其中，表示尺度为m的n阶离散B-样条函数，C(u)为提取的图像的边缘轮廓对应的轮廓曲线，表示尺度为m1的n阶离散B-样条函数，表示尺度为m2的n阶离散B-样条函数，x(u)表示图像的边缘轮廓中全部点的横坐标组成的离散曲线，y(u)表示图像的边缘轮廓中全部点的纵坐标组成的离散曲线，X(u,m)表示图像的边缘轮廓的横坐标在尺度m下的演化版本，Y(u,m)表示图像的边缘轮廓的纵坐标在尺度m下的演化版本，*表示卷积算子； 

步骤b：定义角点的响应函数如(7)式，由式(7)用DoB算子检测经过步骤a平滑后的图像的边缘轮廓的角点Q，Q_i表示第i个角点： 

R(t)＝(DoB(x(t))²+(DoB(y(t))²     (7)； 

其中，t表示平面曲线的任一形式参数； 

步骤c：分别沿角点Q_i两侧检查与角点Q_i相邻的角点Q_i-1、Q_i+1，分别计算角点Q_i-1和Q_i+1到角点Q_i之间的像素距离，将与角点Q_i之间像素距离较短的角点记为目标点，计算目标点与角点Q_i之间欧式距离l，然后以角点Q_i为圆心，以l为半径所圈成的区域即为角点Q_i的不变特征区域； 

步骤d：采用步骤c所述的方法计算边缘轮廓的所有角点Q的不变特征区域，所有角点P的不变特征区域构成所述图像的不变特征区域 

相对于现有技术，本发明具有如下优点： 

由于图像的边缘轮廓一般比较稳定、数据量少、容易在多尺度空间进行检测，本发明提供的方法正是利用了图像的边缘轮廓的这种特性，不但速度快，计算量小，而且具有较强的鲁棒性，具有广泛的实用性。 

附图说明

图1为本发明方法的流程框图。 

图2(a)为角点和轮廓点切线方向的示意图，图2(b)为角点和轮廓点切线方向夹角的示意图。 

图3为在不同变化下图像不变特征区域的提取，图3(a)为旋转变换下，图3(b)为尺度变换下，图3(c)为噪声干扰下，图3(d)为光照变换下，图3(e)为仿射变换下，图3(f)为仿射变换下。 

图4为本发明方法与其他方法进行比较所采用的图像集，图4(a1)～(a4)为视点依次变化下的图像；图4(b1)～(b4)为缩放和旋转依次变化下的图像；图4(c1)和图4(c2)为模糊程度变化下的图像；图4(d1)和图4(d2)为光照变化下的图像。 

图5为不同变化本发明方法与EBR、Haraiss方法的重复率比较，图5(a)为视点变化，图5(b)为缩放和旋转变化，图5(c)为模糊程度变化，图5(d)为光照变化。 

具体实施方式

下面结合附图对本发明作进一步详细说明。 

参见图1，图像不变特征区域的检测方法，具体包括如下步骤： 

步骤a：采集图像(具体实施时可采用CCD采集图像)，并提取该图像的边缘轮廓(可采用使用Canny算法提取该图像的边缘轮廓)，然后按照(5)式对提取的图像的边缘轮廓进行平滑： 

$\begin{array}{c}C(u,m)=B_m^n*C\left(u\right)=(B_{m1}^{*}*x\left(u\right),B_{m2}^n*y\left(u\right))\\ =(X(u,m),Y(u,m))\end{array}---\left(5\right);$

其中，表示尺度为m的n阶离散B-样条函数，C(u)为提取的图像的边缘轮廓对应的轮廓曲线，表示尺度为m1的n阶离散B-样条函数，表示尺度为m2的n阶离散B-样条函数，x(u)表示图像的边缘轮廓中全部点的横坐标组成的离散曲线，y(u)表示图像的边缘轮廓中全部点的纵坐标组成的离散曲线，X(u,m)表示图像的边缘轮廓的横坐标在尺度m下的演化版本，Y(u,m)表示图像的边缘轮廓的纵坐标在尺度m下的演化版本，*表示卷积算子。 

采用B-样条做卷积计算，计算复杂度与尺度无关，提高检测的速度。 

设用P＝{p_i＝(x_i,y_i),i＝1,2,3,…,n}表示从一幅图像中提取出来的边缘轮廓，该边缘轮廓由n对坐标组成。用表示尺度为m的n阶离散B-样条函数。用P(m)表示P在尺度m下演化后的边缘轮廓。在尺度为m时，边缘轮廓的演化公式为： 

$x\left(m\right)=x*B_m^n,y\left(m\right)=y*B_m^n---\left(1\right)$

其中*表示卷积算子，x和y分别表示轮廓中全部点的横坐标和纵坐标组成的离散曲线。 

无论正整数n的取值为多少，B-样条函数的卷积都可以将其转化为f(k)与n+1个零阶尺度为m的离散B-样条函数做卷积，即： 

这里f(k)表示离散信号，n阶尺度为m的离散B-样条函数对信号f(k)做卷积可以转化为f(k)与n+1个零阶尺度为m的离散B-样条函数做卷积，式(2)从表面上看，这样做卷积的次数增加了n次，好像将问题复杂化了。但由于零阶离散B-样条的每一个分量值都相同特殊性，使得卷积变得十分容易。 

下面只考虑f(k)与一个零阶尺度为m的离散B-样条函数做卷积的情况，其他情况类似。 

通过求平均和技术来实现

$R_i\left(k\right)=B_m^0*R_{i-1}\left(k\right)---\left(3\right)$

分析可得： 

R_i(k)＝R_i(k-1)+R_i-1(k-1)-R_i-1(k-m-1)        (4) 

令初始值R₀(k)＝f(k)进行迭代运算，则计算(4)只需要加法运算。从(4)式可以知道，使用离散B-样条函数对图像做卷积的计算复杂度与尺度因子m无关，只与图像有关。在每一个尺度m处的计算复杂度为：O(N)，N表示图像的大小。(4)式的结构还表明了一点：对图像在不同尺度下可以进行并行处理，不同尺度之间的处理是相互独立的。 

步骤b：定义角点的响应函数如(7)式，由式(7)用DoB算子检测经过步骤a平滑后的图像的边缘轮廓的角点Q，Q_i表示第i个角点： 

R(t)＝(DoB(x(t))²+(DoB(y(t))²  (7)； 

其中，t任何平面曲线上的正式参数，具体实施时可根据经验设置。该响应函数融合各个尺度的特征信息，既增强了特征点的响应，又抑制了噪声的影响，运用B-样条实现快速卷积，有效地解决了采用高斯核的卷积计算的复杂度随尺度变大而增加的问题，提高了检测的速度； 

B-样条尺度空间图像边缘轮廓的演化差异能很好的反映图像边缘轮廓的局部变化特征，因而把图像边缘轮廓的演化差异DoB的范数定义为角点响应函数，该响应函数有效地融合了多个尺度的特征信息。 

图像的多尺度空间，可定义为该图像与边尺度的B-样条函数卷积而成，如式(5)所示。 

$\begin{array}{c}C(u,m)=B_m^n*C\left(u\right)=(B_{m1}^{*}*x\left(u\right),B_{m2}^n*y\left(u\right))\\ =(X(u,m),Y(u,m))\end{array}---\left(5\right);$

$\begin{array}{c}D(u,m)={\left|\right|(x(u,m_2)-x(u,m_1),y(u,m_2)-y(u,m_1))\left|\right|}_2\\ =\sqrt{{[B_{m_2}^n*x\left(u\right)-B_{m_1}^n*x\left(u\right)]}^2+{[B_{m_2}^n*y\left(u\right)-B_{m_1}^n*y\left(u\right)]}^2}\\ =\sqrt{{[(B_{m_2}^n-B_{m_1}^n*x\left(u\right))}^2+{[B_{m_2}^n*y\left(u\right)-B_{m_1}^n*y\left(u\right)]}^2}\\ ={[D0B*x\left(u\right)]}^2+{[D0B*y\left(u\right)]}^2\end{array}---\left(6\right)$

其中，C(u,m)表示边缘轮廓经过B样条卷积后得到的轮廓曲线，D(u,m)表示角点响应函数，x(u)表示图像的边缘轮廓中全部点的横坐标组成的离散曲线(实质上是图像的边缘轮廓对应的轮廓曲线上所有点的横坐标构成的函数)，y(u)表示图像的边缘轮廓中全部点的纵坐标组成的离散曲线(实质上是图像的边缘轮廓对应的轮廓曲线上所有点的纵坐标构成的函数)，X(u,m)表示图像的边缘轮廓上的所有点的横坐标在尺度m下的演化版本，Y(u,m)表示图像的边缘轮廓上的所有点的纵坐标在尺度m下的演化版本，||*||₂表示向量*的2-范数， $\mathrm{DoB}=B_{m_2}^n-B_{m_1}^n.$

式(5)为边缘轮廓的B-样条尺度空间，根据前面分析可知，式(6)的高计算复杂度的卷积运算可以转化为复杂度仅为O(N)的加法运算，从而获得有效计算方法。 

根据前面讨论的DoB的范数的特性，定义角点的响应函数内容如下： 

R(t)＝(DoB(x(t))²+(DoB(y(t))²            (7) 

其中t是任何平面曲线上的正式参数。 

步骤c：分别沿角点Q_i两侧检查与角点Q_i相邻的角点Q_i-1、Q_i+1，分别计算角点Q_i-1和Q_i+1到角点Q_i之间的像素距离，将与角点Q_i之间像素距离较短的角点记为目标点，计算目标点与角点Q_i之间欧式距离l，然后以角点Q_i为圆心，以l为半径所圈成的区域即为角点Q_i的不变特征区域； 

步骤d：采用步骤c所述的方法计算边缘轮廓的所有角点Q的不变特征区域，所有角点P的不变特征区域构成所述图像的不变特征区域。 

设经步骤b确定的一个角点的坐标为Q₀(x₀,y₀)，角点的切线方向如(9)式，将边缘轮 廓上角点附近的点定义为轮廓点，设轮廓点的坐标为P(x,y)，轮廓点的切线方向如(8)式： 

θ(x,y)＝tan^-1(dy/dx)   (8)； 

θ(x₀,y₀)＝tan^-1(dy₀/dx₀)  (9)； 

采用(10)式计算角点的切线方向与轮廓点的切线方向的夹角： 

Δθ＝tan^-1(tan(θ(x,y)-θ(x₀,y₀)))  (10)； 

由于角点具有良好的旋转不变性，把角点当作边缘轮廓的参照点，当图像发生旋转时，角点和轮廓点的夹角不会发生改变，如图2(a)和图2(b)所示。其中t₀表示边缘轮廓上角点处的切线，t表示边缘轮廓上轮廓点处的切线，显然Δθ落入区间(-π/2,π/2)。 

由于角点位于边缘轮廓的极大处，在每个角点两侧附近，切线的方向变化将不是很剧烈，且是连续的。 

沿着角点分别向其两侧检查边缘轮廓上各边缘点方向的变化情况，当遇到另一角点时，标记出另一个角点的位置信息，并将另一个角点记为标记点，把角点到其两侧标记点走过的路径作为边缘轮廓的支撑域；比较角点与其两侧标记点之间相隔的像素距离，计算像素距离较大者对应的标记点与角点之间的欧式距离l，然后以角点为圆心以l为半径所圈成区域就是基于角点的不变特征区域。为使该不变特征区域不至于过大，可赋予l一个乘数因子k，得到特征区域半径大小为r＝kl。 

(1)尺度不变性实验 

为了测试和验证算法检测不变特征区域的性能,对多组图像进行匹配。图3中的图3(a)～3(f)分别给出了随着图像间的旋转变换、尺度变换、噪声干扰、光照变换下、仿射变换以及仿射变换下图像不变特征区域的检测结果，相互匹配的特征区域在面积大小基本上保持一致，包含相同的图像内容,说明了不变特征区域对旋转、尺度等变换表现出不变性，并且能在光照和噪声干扰条件下获得足够多的匹配特征,表现出较强的鲁棒性。 

(2)重复率测试 

重复率能有效度量检测算子提取不变特征区域的能力，不变特征区域的重复率就表示匹配上的点对(或区域对)的个数与两幅图中最小的检测点(或区域)个数的比值。重复率准则采用公式(14)。 

$\mathrm{Repeatability}\%=\frac{\#\mathrm{correspondences}}{\min \{\mathrm{number}\_\mathrm{image}1,\mathrm{number}\_\mathrm{image}2\}}---\left(14\right)$

式中，#correspondences表示两幅图像中相同场景内匹配的特征区域数量， number_image1和number_image2分别为相同场景内检测得到的特征区域数量,重复率越接近100％说明特征区域检测方法的性能越好。 

图4显示了本申请用于评估方法的图像集。8组图像包含了5种不同的变化：(a)视角变化；(b)旋转加尺度变化；(c)图像模糊程度变化；(d)光照变化。每组图像第一张为参考图像，其它图像相对参考图像对应的变化依次加剧，由此可测试方法对变化的鲁棒性。参考图像与其他图像间的变换矩阵在图像集中已经给出；其中，视角变化范围为20°到60°，由相机偏转获得，尺度变化通过镜头收缩获得，图像模糊通过调整焦距获得，光照变化通过调整光圈获得，所有图像都是中等分辨率，近似为800x640像素。 

测试中参数取值如下：DoB角点检测的三个尺度分别为2，2.5和3，特征方向拟合边的点数k取8，求取相对不变点的n取3，重叠误差取60％，即有60％的交叉面积就认定匹配。 

为了便于区别，本申请提出的不变特征区域检测方法简称为RCBR(Round contour based region)算法。把RCBR方法与目前最有代表性轮廓区域提取算法EBR、Haraiss(Harris-Affine算法)进行比较，结果如图5(a)～5(d)所示。从对图像的视点变换、缩放和旋转、图像模糊、光照变换等变换后检测效果发现：能否得到稳定的边缘轮廓，对基于边缘轮廓的这类方法的性能影响很大，在视角变化时，边缘轮廓最不稳定，因此EBR、Haraiss这类方法的性能下降较快。而在其他变化下，边缘轮廓相对稳定些，曲线的下降趋势也较缓。从重复率曲线来看，在光照变换中，对图像的边缘轮廓有一定的影响，Haraiss方法要优于RCBR和EBR，在其他变化中，本文方法明显优于EBR和Haraiss方法。 

从运行时间来看，三种方法对图4(a)第一幅图像的检测结果及运行时间(50次后的平均)：RCBR共检测到623个特征区域，耗时4.54秒，平均检测每个区域耗时7.3微秒；EBR共检测到1265个区域，耗时62.85秒，平均检测每个区域耗时49.7微秒；Haraiss共检测1456区域，耗时74.2秒，耗时51微秒。显然，本文方法速度快，计算量小，总的说来，RCBR方法简单易于实现，运行速度快，在各种变化下有着较强的鲁棒性，具有广泛的实用性。 

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。 

Claims (1)

1.图像不变特征区域的检测方法，其特征在于具体包括如下步骤： 

步骤a：采集图像，并提取该图像的边缘轮廓，然后按照(5)式对提取的图像的边缘轮廓进行平滑： 

其中，表示尺度为m的n阶离散B-样条函数，C(u)为提取的图像的边缘轮廓对应的轮廓曲线，表示尺度为m1的n阶离散B-样条函数，表示尺度为m2的n阶离散B-样条函数，x(u)表示图像的边缘轮廓中全部点的横坐标组成的离散曲线，y(u)表示图像的边缘轮廓中全部点的纵坐标组成的离散曲线，X(u,m)表示图像的边缘轮廓的横坐标在尺度m下的演化版本，Y(u,m)表示图像的边缘轮廓的纵坐标在尺度m下的演化版本，*表示卷积算子； 

步骤b：定义角点的响应函数如(7)式，由式(7)用DoB算子检测经过步骤a平滑后的图像的边缘轮廓的角点Q，Q_i表示第i个角点： 

R(t)＝(DoB(x(t))²+(DoB(y(t))²  (7)； 

其中，t表示平面曲线的任一形式参数； 

步骤c：分别沿角点Q_i两侧检查与角点Q_i相邻的角点Q_i-1、Q_i+1，分别计算角点Q_i-1和Q_i+1到角点Q_i之间的像素距离，将与角点Q_i之间像素距离较短的角点记为目标点，计算目标点与角点Q_i之间欧式距离l，然后以角点Q_i为圆心，以l为半径所圈成的区域即为角点Q_i的不变特征区域； 

步骤d：采用步骤c所述的方法计算边缘轮廓的所有角点Q的不变特征区域，所有角点P的不变特征区域构成所述图像的不变特征区域。