CN103310439B - 一种基于尺度空间的图像最稳极值区域检测方法 - Google Patents

Abstract

本发明实施例公开了一种基于尺度空间的图像最稳极值区域检测方法，其包括以下步骤：S10，采用高斯核构造图像的尺度空间；S20，在每个尺度层图像上进行最稳极值区域检测得到候选区域特征；S30，为每个区域特征定义一个尺度选择函数，通过判断该尺度选择函数是否达到局部极大值来筛选候选区域特征；S40，将一些在位置和面积上相似的重复区域特征剔除掉，得到最终的具有良好不变性的区域特征。本发明通过将单一尺度空间中的MSER扩展到多尺度空间从而提高了区域特征的不变性，克服了最稳极值区域MSER对图像模糊变化的不变性较差的不足。

Description

一种基于尺度空间的图像最稳极值区域检测方法

技术领域

本发明属于一种图像局部不变特征检测方法，特别地涉及一种基于尺度空间的图像最稳极值区域检测方法。

背景技术

图像局部不变特征近些年来已成为图像处理和计算机视觉领域的一个研究热点，继人工智能和神经网络之后，它再一次点燃了人们对机器智能研究的热情。图像局部不变特征研究的核心是“不变性”，即在识别一个物体时，不管这个物体或远或近，也不管这个物体是否发生旋转，或是从不同的角度去观察这个物体，都能对这个物体进行正确的辨认。常见的不变性有视角不变性、尺度不变性、旋转不变性、光照不变性、仿射不变性等，但至今还没有一种局部特征具有上述所有的不变性，一般的局部特征只能满足部分图像变换。此外，优秀的局部特征除了具有好的不变性之外，还需要有较高的可区分性，从而使其容易被区分和匹配。同时特征最好是局部的，这样可以减小其被遮挡的概率。最后特征数量要尽可能多，并在图像上均匀分布，这样能更全面地表示图像的内容，特征提取的时间越短越好，以便于实时应用。

图像局部不变特征主要可分为两种，一种是点特征，角点特征是早期比较著名的点特征，它是图像中灰度值发生剧烈变化或边缘曲线上曲率极大值的点。Harris角点检测子就是其中的典型代表，它具有平移和旋转不变性，对光照变化也不敏感，但对尺度缩放比较敏感，也不具备仿射不变性。针对这些问题，Mikolajczyk等人将尺度空间理论引入点特征的检测，在图像的高斯尺度空间上对每幅图像进行Harris角点检测，然后通过特征尺度选择函数将重复的角点进行处理，从而提出了具有旋转、光照、尺度不变的Harris-Laplacian点特征检测子。Lowe将Harris-Laplacian检测子中用到的高斯拉普拉斯算子用尺度域上的差分运算来代替，提出了著名的SIFT特征，其具有尺度、光照、旋转等不变性，同时检测速度非常快，达到实时应用的要求。另一种局部特征是区域特征，最稳极值区域MSER(MaximallyStableExtremalRegions)是其中比较典型的代表，它是基于图像分水岭方法，通过不断提高阈值对灰度图像进行二值化处理，得到一系列嵌套的区域特征，最后将那些随着阈值变化而其面积变化率达到局部极小的区域作为最稳极值区域。MSER除了具有尺度、旋转、光照不变性外，还具有仿射不变性。研究表明，MSER在绝大多数情况下性能都是最佳的，除了模糊变化下，MSER的不变性不理想。其他应用较广的区域特征有基于特征点检测的HA(Harris\Hessian-Affine)、基于边缘检测的EBR(Edge-BasedRegion)、基于局部灰度极值的IBR(IntensityExtreme-BasedRegion)和显著性区域SalientRegion。这些区域特征只能对某些图像变换有良好的不变性，其整体性能不如最稳极值区域特征。

发明内容

为了克服现有的最稳极值区域MSER对图像模糊变化的不变性较差的不足，本发明通过将单一尺度空间中的MSER扩展到多尺度空间，提出了一种基于图像尺度空间的图像最稳极值区域检测方法，从而提高了区域特征的不变性。

为实现上述目的，本发明的技术方案为：

一种基于尺度空间的图像最稳极值区域检测方法，包括以下步骤：

S10，采用高斯核构造图像的尺度空间；

S20，在每个尺度层图像上进行最稳极值区域检测得到候选区域特征；

S30，为每个区域特征定义一个尺度选择函数，通过判断该尺度选择函数是否达到局部极大值来筛选候选区域特征；

S40，将一些在位置和面积上相似的重复区域特征剔除掉，得到最终的具有良好不变性的区域特征。

优选地，所述步骤S10具体为，对于原始输入图像I(x，y)，其高斯尺度空间由一系列尺度图像构成，每层尺度图像由原始图像与高斯核进行卷积而得到，图像尺度空间的表达公式如下：

L(x，y，σ)＝G(σ)*I(x，y)

其中G(σ)表示方差为σ²的高斯核，L(x，y，σ)表示尺度参数为σ的尺度图像，采用的高斯核尺度参数为σ_n＝kⁿσ₀，其中σ₀表示第一尺度层的高斯尺度参数，σ_n表示第n尺度层的高斯尺度参数，k表示相邻尺度层之间尺度参数的变化幅度。

优选地，所述步骤S10具体为，在生成第n+1层尺度图像时，利用第n层尺度图像与高斯核进行卷积来获得，其计算公式如下：

L(x，y，σ_n+1)＝G(σ^*)*L(x，y，σ_n)

其中L(x，y，σ_n+1)表示第n+1层尺度图像，L(x，y，σ_n)表示第n层尺度图像，G(σ^*)表示方差为σ^*2的高斯核，σ₀表示第一层高斯尺度参数，k表示相邻尺度层之间尺度参数的变化幅度。

优选地，所述步骤S20具体为，将每个尺度层图像L(x，y，σ_n)进行灰度化，在灰度图像上用最稳极值区域MSER算法进行最稳极值区域检测，获得一系列不规则的区域，然后将这些不规则区域进行椭圆拟合得到候选区域特征，设区域的中心二阶矩为：

$U=\left[\begin{array}{cc}D\left(x\right)& \mathrm{cov}(x,y)\\ \mathrm{cov}(x,y)& D\left(y\right)\end{array}\right]$

其中D(x)、D(y)、cov(x，y)分别为该区域内所有像素点的x坐标方差、y坐标方差和x、y坐标的协方差，λ₁，λ₂为上述二阶矩的两个特征值，S为该区域的面积，则拟合椭圆的长半轴w，短半轴l和长轴方向θ的计算公式如下：

$w=\sqrt{\frac{{\mathrm{\λ}}_1}{S}},$ $l=\sqrt{\frac{{\mathrm{\λ}}_2}{S}},$ $\mathrm{\θ}=\frac{1}{2}\arctan \left(\frac{2\mathrm{cov}(x,y)}{D\left(x\right)-D\left(y\right)}\right).$

优选地，所述步骤S30进一步包括以下步骤：

S301，将区域边缘像素点按照其高斯拉普拉斯LoG函数值进行排序，并将排在前10％和后10％的像素点剔除，最后将保留下来的像素点的LoG函数值求平均值来作为该区域的尺度选择函数值，像素点x＝(x，y)的LoG函数值为：

$F_{\mathrm{LoG}}(x,{\mathrm{\σ}}_n)={\mathrm{\σ}}_n^2|L_{\mathrm{xx}}(x,{\mathrm{\σ}}_n)+L_{\mathrm{yy}}(x,{\mathrm{\σ}}_n)|$

其中L_xx(x，σ_n)和L_yy(x，σ_n)分别表示尺度参数为σ_n高斯尺度图像L(x，σ_n)在x方向和y方向上的二阶偏导数，区域的尺度选择函数为：

$F(R,{\mathrm{\σ}}_n)=\frac{\mathrm{\Σ}{F}_{\mathrm{LoG}}(x,{\mathrm{\σ}}_n)}{\#\∂R},x\∈\∂R$

其中表示区域边缘上的有效像素点集合，表示有效像素点的数目，

S302，根据区域特征的尺度选择函数是否达到局部极大值来判断该区域特征是否是在最佳尺度上被检测到的，若该区域特征是在其最佳尺度上被检测到的，则保留该区域特征，反之，则剔除掉，区域特征是否在其最佳尺度上被检测到的具体判断标准为：

F(R，σ_n)＞threshold

F(R，σ_n)＞F(R，σ_l)l∈{n-1，n+1}

即区域R的尺度选择函数值大于某个阈值，且当前尺度σ_n下的尺度选择函数值达到局部极大值，第一阈值threshold一般设定为1。

优选地，所述步骤S40具体为通过比较两个重复区域特征重心处的LoG函数值，将LoG值小的区域特征剔除，保留LoG值大的区域特征，判断两个区域特征是否重复的标准为两个区域重心之间的距离小于第二阈值，且两个区域的重叠部分面积占两个区域总面积的百分比大于第三阈值，即同时满足以下两个要求：

|c(p)-c(q)|＜threshold1

$\frac{R_p\∩R_q}{R_p\∪R_q}>\mathrm{threshold}2$

其中p、q为两个区域，c(p)和c(q)分别为他们的重心，R_p和R_q分别表示p和q的椭圆拟合区域，R_p∩R_q为两个区域的重叠部分面积，R_p∪R_q为两个区域所占的总面积，其中第二阈值 $\mathrm{threshold}1=\min (10,\frac{\mathrm{width}}{10}),$ width为p、q中较小的那个椭圆长轴，第三阈值threshold2的取值范围为[60％，80％]。

与现有技术相比，本发明的有益效果如下：

(1)本发明实施例通过在多个尺度下对图像进行区域特征检测，并通过自动尺度选择机制获得区域特征的最佳尺度，通过该方法获得的区域特征不仅具有和最稳极值区域MSER一样良好的尺度不变性、视角不变性以及光照不变性，而且还大大提高了MSER的模糊不变性。

(2)在所有的图像变换下都能检测到比MSER更丰富的对应区域特征，即两幅图像间能进行一一匹配的区域特征更丰富。

附图说明

图1为本发明实施例的基于尺度空间的图像最稳极值区域检测方法的步骤流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参考图1，所示为本发明实施例的基于尺度空间的图像最稳极值区域检测方法的步骤流程图，其包括以下步骤：

S10，采用高斯核构造图像的尺度空间；

在一具体应用实例中，对于原始输入图像I(x，y)，其高斯尺度空间由一系列尺度图像构成，每层尺度图像由原始图像与高斯核进行卷积而得到，图像尺度空间的表达公式如下：

L(x，y，σ)＝G(σ)*I(x，y)

其中G(σ)表示方差为σ²的高斯核，L(x，y，σ)表示尺度参数为σ的尺度图像。采用的高斯核尺度参数为σ_n＝kⁿσ₀，其中σ₀表示第一尺度层的高斯尺度参数，σ_n表示第n尺度层的高斯尺度参数，k表示相邻尺度层之间尺度参数的变化幅度，k越小则尺度空间越精细，但这会大大增加处理时间，反之，如果k太大则会导致得到的特征尺度不精确，一般情况下k∈[0.7，1.4]。但是随着高斯核的增大，卷积运算的计算量也会随之增大。

为了提高运算速度，在又一具体应用实例中，在生成第n+1层尺度图像时，不再利用原始图像，而是利用第n层尺度图像与高斯核进行卷积来获得，其计算公式如下：

L(x，y，σ_n+1)＝G(σ^*)*L(x，y，σ_n)

其中L(x，y，σ_n+1)表示第n+1层尺度图像，L(x，y，σ_n)表示第n层尺度图像，G(σ^*)表示方差为σ^*2的高斯核，由于所以与原始的尺度空间构造方法相比可以节省时间。

通过S10可知，图像的尺度空间构造是通过由一组尺度参数依次增大的高斯卷积与原始图像进行卷积操作获得的，一个尺度参数对应一幅尺度图像。在具体构造尺度空间时，随着高斯核的增大，卷积运算的计算量也会随之增大，因此，另一种实现方式中，为了提高运算速度，在具体实现过程中利用高斯核的性质，采用在生成尺度空间中的尺度图像时，不再每次利用原始图像，而是利用相邻的新生成的尺度图像与当前尺度高斯核进行卷积来获得。

S20，在每个尺度层图像上进行最稳极值区域检测得到候选区域特征；

具体为，将每个尺度层图像L(x，y，σ_n)进行灰度化，在灰度图像上用MSER算法进行最稳极值区域检测，获得一系列不规则的区域，然后将这些不规则区域进行椭圆拟合得到候选区域特征。设区域的中心二阶矩为：

$U=\left[\begin{array}{cc}D\left(x\right)& \mathrm{cov}(x,y)\\ \mathrm{cov}(x,y)& D\left(y\right)\end{array}\right]$

其中D(x)、D(y)、cov(x，y)分别为该区域内所有像素点的x坐标方差、y坐标方差和x、y坐标的协方差，λ₁，λ₂为上述二阶矩的两个特征值，S为该区域的面积，则拟合椭圆的长半轴w，短半轴l和长轴方向θ的计算公式如下：

$w=\sqrt{\frac{{\mathrm{\λ}}_1}{S}},$ $l=\sqrt{\frac{{\mathrm{\λ}}_2}{S}},$ $\mathrm{\θ}=\frac{1}{2}\arctan \left(\frac{2\mathrm{cov}(x,y)}{D\left(x\right)-D\left(y\right)}\right).$

S30，为每个区域特征定义一个尺度选择函数，通过判断该尺度选择函数是否达到局部极大值来筛选候选区域特征；

S30进一步包括以下步骤：

S301，将区域边缘像素点按照其高斯拉普拉斯(LaplaceofGaussian，LoG)函数值进行排序，并将排在前10％和后10％的像素点剔除，最后将保留下来的像素LoG函数值的平均值作为该区域的尺度选择函数值，像素点x＝(x，y)的LoG函数值为：

$F_{\mathrm{LoG}}(x,{\mathrm{\σ}}_n)={\mathrm{\σ}}_n^2|L_{\mathrm{xx}}(x,{\mathrm{\σ}}_n)+L_{\mathrm{yy}}(x,{\mathrm{\σ}}_n)|$

其中L_xx(x，σ_n)和L_yy(x，σ_n)分别表示尺度参数为σ_n高斯尺度图像L(x，σ_n)在x方向和y方向上的二阶偏导数，x＝(x，y)为一个像素点，区域的尺度选择函数为：

$F(R,{\mathrm{\σ}}_n)=\frac{\mathrm{\Σ}{F}_{\mathrm{LoG}}(x,{\mathrm{\σ}}_n)}{\#\∂R},x\∈\∂R$

其中表示区域边缘上的有效像素点集合，表示有效像素点的数目，

S302，根据区域特征的尺度选择函数是否达到局部极大值来判断该区域特征是否是在最佳尺度上被检测到的，若该区域特征是在其最佳尺度上被检测到的，则保留该区域特征，反之，则剔除掉，区域特征是否在其最佳尺度上被检测到的具体判断标准为：

F(R，σ_n)＞threshold

F(R，σ_n)＞F(R，σ_l)l∈{n-1，n+1}

即区域R的尺度选择函数值大于某个阈值，且当前尺度σ_n下的尺度选择函数值达到局部极大值，第一阈值threshold一般设定为1。

通过S30可知，当在每个尺度层图像上进行最稳极值区域检测后将会获得一系列候选区域特征，其中很多区域特征在尺度维上存在重复，即会在相邻尺度层上都检测到代表同一个图像区域的特征。为了消除这些重复区域特征，引入特征尺度自动选择机制，首先为每个区域特征构造一个以尺度参数为自变量的尺度选择函数，该尺度选择函数值随着尺度参数的增大呈现先增大后减小的趋势，尺度选择函数的局部极大值所对应的尺度参数就是该图像区域的最佳尺度。保留那些在最佳尺度层上检测到的候选区域特征，其余都剔除掉。候选区域特征的尺度选择函数为：区域边缘像素点的尺度归一化函数值的均值。同时为了减小噪声的干扰，并不是将所有的区域边缘像素点都认为是有效，而是选择那些具有合适LoG函数值的点，对于那些LoG函数值特别大或者特别小的边缘像素点就不予考虑。

S40，将一些在位置和面积上相似的重复区域特征剔除掉，得到最终的具有良好不变性的区域特征。

在具体应用实例中，S40具体为通过比较两个重复区域特征重心处的LoG函数值，将LoG值小的区域特征剔除，保留LoG值大的区域特征，判断两个区域特征是否重复的标准为两个区域重心之间的距离小于第二阈值，且两个区域的重叠部分面积占两个区域总面积的百分比大于第三阈值，即同时满足以下两个要求：

|c(p)-c(q)|＜threshold1

$\frac{R_p\∩R_q}{R_p\∪R_q}>\mathrm{threshold}2$

其中p、q为两个区域，c(p)和c(q)分别为他们的重心，R_p和R_q分别表示p和q的椭圆拟合区域，R_p∩R_q为两个区域的重叠部分面积，R_p∪R_q为两个区域所占的总面积，其中第二阈值 $\mathrm{threshold}1=\min (10,\frac{\mathrm{width}}{10}),$ width为p、q中较小的那个椭圆长轴，第三阈值threshold2越小则剔除的重复区域越多，但如果取得太小也可能将一些不重复的区域剔除，取得大大则剔除重复区域效果不明显，一般情况下threshold2的取值范围为[60％，80％]。

通过以上实施例，通过在多个尺度下对图像进行区域特征检测，并通过自动尺度选择机制获得区域特征的最佳尺度，通过该方法获得的区域特征不仅具有和最稳极值区域MSER一样良好的尺度不变性、视角不变性以及光照不变性，而且还大大提高了MSER的模糊不变性；同时在所有的图像变换下都能检测到比MSER更丰富的对应区域特征，即两幅图像间能进行一一匹配的区域特征更丰富。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于尺度空间的图像最稳极值区域检测方法，其特征在于，包括以下步骤：

S10，采用高斯核构造图像的尺度空间；

S20，在每个尺度层图像上进行最稳极值区域检测得到候选区域特征；

S30，为每个区域特征定义一个尺度选择函数，通过判断该尺度选择函数是否达到局部极大值来筛选候选区域特征，若达到局部极大值则选为候选区域特征；

S40，将一些在位置和面积上相似的重复区域特征剔除掉，得到最终的具有良好不变性的区域特征。

2.根据权利要求1所述的基于尺度空间的图像最稳极值区域检测方法，其特征在于，所述步骤S10具体为，对于原始输入图像I(x,y)，其高斯尺度空间由一系列尺度图像构成，每层尺度图像由原始图像与高斯核进行卷积而得到，图像尺度空间的表达公式如下：

L(x,y,σ)＝G(σ)*I(x,y)

其中G(σ)表示方差为σ²的高斯核，L(x,y,σ)表示尺度参数为σ的尺度图像，采用的高斯核尺度参数为σ_n＝kⁿσ₀，其中σ₀表示第一尺度层的高斯尺度参数，σ_n表示第n尺度层的高斯尺度参数，k表示相邻尺度层之间尺度参数的变化幅度。

3.根据权利要求1所述的基于尺度空间的图像最稳极值区域检测方法，其特征在于，所述步骤S10具体为，在生成第n+1层尺度图像时，利用第n层尺度图像与高斯核进行卷积来获得，其计算公式如下：

L(x,y,σ_n+1)＝G(σ^*)*L(x,y,σ_n)

其中L(x,y,σ_n+1)表示第n+1层尺度图像，L(x,y,σ_n)表示第n层尺度图像，G(σ^*)表示方差为σ^*2的高斯核，σ₀表示第一层高斯尺度参数，k表示相邻尺度层之间尺度参数的变化幅度。

4.根据权利要求1至3任一所述的基于尺度空间的图像最稳极值区域检测方法，其特征在于，所述步骤S20具体为，将每个尺度层图像L(x,y,σ_n)进行灰度化，在灰度图像上用最稳极值区域MSER算法进行最稳极值区域检测，获得一系列不规则的区域，然后将这些不规则区域进行椭圆拟合得到候选区域特征，设区域的中心二阶矩为：

$U=\left[\begin{array}{cc}D\left(x\right)& \mathrm{cov}(x,y)\\ \mathrm{cov}(x,y)& D\left(y\right)\end{array}\right]$

其中D(x)、D(y)、cov(x,y)分别为该区域内所有像素点的x坐标方差、y坐标方差和x、y坐标的协方差，λ₁,λ₂为上述二阶矩的两个特征值，S为该区域的面积，则拟合椭圆的长半轴w，短半轴l和长轴方向θ的计算公式如下：

$w=\sqrt{\frac{{\mathrm{\λ}}_1}{S}},l=\sqrt{\frac{{\mathrm{\λ}}_2}{S}},\mathrm{\θ}=\frac{1}{2}\arctan \left(\frac{2\mathrm{cov}(x,y)}{D\left(x\right)-D\left(y\right)}\right).$

5.根据权利要求4所述的基于尺度空间的图像最稳极值区域检测方法，其特征在于，所述步骤S30进一步包括以下步骤：

S301，将区域边缘像素点按照其高斯拉普拉斯LoG函数值进行排序，并将排在前10％和后10％的像素点剔除，最后将保留下来的像素点的LoG函数值求平均值来作为该区域的尺度选择函数值，像素点x＝(x,y)的LoG函数值为：

$F_{LoG}(x,{\mathrm{\σ}}_n)={\mathrm{\σ}}_n^2|L_{xx}(x,{\mathrm{\σ}}_n)+L_{yy}(x,{\mathrm{\σ}}_n)|$

其中L_xx(x,σ_n)和L_yy(x,σ_n)分别表示尺度参数为σ_n高斯尺度图像L(x,σ_n)在x方向和y方向上的二阶偏导数，区域的尺度选择函数为：

$\begin{array}{cc}F(R,{\mathrm{\σ}}_n)=\frac{{\mathrm{\ΣF}}_{LoG}(x,{\mathrm{\σ}}_n)}{\#\∂R}& x\∈\∂R\end{array}$

其中表示区域边缘上的有效像素点集合，表示有效像素点的数目，

S302，根据区域特征的尺度选择函数是否达到局部极大值来判断该区域特征是否是在最佳尺度上被检测到的，若该区域特征是在其最佳尺度上被检测到的，则保留该区域特征，反之，则剔除掉，区域特征是否在其最佳尺度上被检测到的具体判断标准为：

F(R,σ_n)>threshold

F(R,σ_n)>F(R,σ_l)l∈{n-1,n+1}

即区域R的尺度选择函数值大于某个阈值，且当前尺度σ_n下的尺度选择函数值达到局部极大值，第一阈值threshold一般设定为1。

6.根据权利要求5所述的基于尺度空间的图像最稳极值区域检测方法，其特征在于，所述步骤S40具体为通过比较两个重复区域特征重心处的LoG函数值，将LoG值小的区域特征剔除，保留LoG值大的区域特征，判断两个区域特征是否重复的标准为两个区域重心之间的距离小于第二阈值，且两个区域的重叠部分面积占两个区域总面积的百分比大于第三阈值，即同时满足以下两个要求：

|c(p)-c(q)|<threshold1

$\frac{R_p\&cap;R_q}{R_p\&cup;R_q}>threshold2$

其中p、q为两个区域，c(p)和c(q)分别为他们的重心，R_p和R_q分别表示p和q的椭圆拟合区域，R_p∩R_q为两个区域的重叠部分面积，R_p∪R_q为两个区域所占的总面积，其中第二阈值width为p、q中较小的那个椭圆长轴，第三阈值threshold2取值范围为[60％,80％]。