CN101944178B - 用于智能监控的显著区域提取方法 - Google Patents

Abstract

本发明提出了一种用于智能监控的显著区域提取方法，包括以下步骤：(1)多尺度变换；(2)局部对照特征提取；(3)特征图形成；(4)全局归一化；(5)线性结合。显著图中的显著性是通过图像的灰度来表示，灰度值越大的地方，受关注程度越强，显著性越大；反之，显著性越小。本发明考虑到人眼对于强对照敏感的视觉特性，充分利用表征图像的最基本、最重要的亮度、纹理和颜色三个低级特征，对图像进行多尺度局部对照的提取，经过迭代内插求和，归一化处理，线性结合一系列操作提取图像的显著区域；在显著区域提取的准确性和完整性上有明显的提高。

Description

用于智能监控的显著区域提取方法

技术领域

本发明涉及一种可应用于智能监控的显著区域提取技术，属于图像、多媒体信号处理技术领域。

背景技术

随着社会发展，智能监控系统的应用越来越普遍化。比如，现今在海关、银行、车站、商店等一些重要的公共场所都会装有监控摄像机，但大部分情况下对于监控所得的视频数据都是以统一分辨率对监控场景采集所得，通常往往因为分辨率不能充分应用在重要区域中，导致无法对重要区域或对象进行有效地分辨，这种处理方式显得繁琐且造成麻烦。如：刑侦破案等。因此，迫切需要智能监控能自动探测重要区域。

随着生物科学的发展，诸多研究成果表明，人眼对于视觉图像各区域的关注程度是不均等的。对于刺激较强的图像区域，人眼总是投入更多的视觉注意；而对于平坦区域，人眼投入的视觉注意较少，这正是人类视觉拥有着高效的信息处理功能和目标捕获功能的主要原因所在。因此如果智能监控系统能较精确的仿真生物视觉的注意机制，只对图像中可能存在感兴趣目标的显著区域进行关注，而对于平坦区域则不予关注，那么图像中的冗余信息就可以被提前舍弃，而可能的重要区域，即目标区域，则能得到重点的关注。因此，研究可应用于智能监控的视觉注意模型来提取图像的显著区域作为监控的重要区域进行探测采集。

近年来对视觉注意模型提取显著区域的研究已经成了研究热点，已经提出了一些视觉注意模型并且应用到了许多方面。经典的Itti注意模型，通过提取输入图像的颜色、亮度、方向等低级特征进行分析融合得到显著图。它的基本思想在于将像素在颜色、亮度、方向等方面与周围区域的对比度定义为该点的显著值，对比越强，该点的显著值就越大。该模型虽然可以找到注意焦点，但是得到的显著区域相当不准确，并且显著区域与图像中对象边界不相吻合。为了使视觉注意模型更好地在实际中得到应用，就必须在Itti模型的基础上进行改进。由于亮度、纹理、颜色是表征图像的最基本特征，因此，考虑基于这三种特征，代替以往的中央周边差计算，采用新的局部对照特征方法来提取图像的显著区域，使这种显著区域提取方法更适合应用到智能监控中。

发明内容

本发明针对目前已有视觉注意模型提取显著区域算法存在的提取不准确、不完整等不足，提出一种基于多尺度低级特征局部对照的用于智能监控的显著区域提取方法，此方法在显著区域提取的准确性和完整性上有明显的提高，且符合人眼的视觉特性。

本发明的用于智能监控的显著区域提取方法，包括以下步骤：

(1)多尺度变换：将输入图像进行滤波处理，得到输入图像在m个不同尺度上的图像，m∈{4，6，8}；

(2)局部对照特征提取：在不同尺度上，分别计算亮度、纹理、颜色三个低级特征的局部对照图，局部对照图计算是采用一个滑动的像素窗口来计算每一位置的局部对照值，对于亮度采用基于韦伯-费克纳(Weber-Fechner)法则的方法计算其局部对照图，对于纹理通过灰度方差来计算其局部对照图，对于颜色采用在基于视觉感知的HSI颜色空间中颜色差方法计算其局部对照图；

(3)特征图形成：对每一个特征在各个尺度上的局部对照图进行迭代内插求和运算，形成每个特征的特征图；

(4)全局归一化：归一化计算三幅特征图中每个像素点的显著值，得到三幅显著图；

(5)线性结合：对三幅显著图进行线性结合得到最终的显著图。

显著图中的显著性是通过图像的灰度来表示，灰度值越大的地方，受关注程度越强，显著性越大；反之，显著性越小。

所述步骤(1)中的滤波是使用高斯金字塔模型对输入图像进行多级滤波。

所述步骤(2)中计算局部对照图采用一个滑动的局部像素窗口来计算每一位置的局部对照值；在计算每一位置像素的对照值时，该位置与窗口的中心像素相对应，计算该点与周围窗口大小的区域的对照，所得的值作为该位置点的局部对照值；对亮度、纹理、颜色分别计算，得到三幅局部对照图。

基于韦伯-费克纳(Weber-Fechner)法则的亮度局部对照图计算公式如下：

$I_{\mathrm{CM}}(x,y)=\mathrm{clg}\frac{I_j^{\max }}{I_j^{\mathrm{avg}}}=\mathrm{clg}\frac{\max \{I_1,I_2,...I_n,...,I_N\}}{\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{I}_n}$

其中，I_CM(x，y)为像素点(x，y)处的亮度对照值，c为常数，

和分别是第j个窗口内的亮度最大值和平均值，N＝(2k+1)×(2k+1)表示窗口内的像素个数。I_n(n∈1，2，…N)表示窗口内任意像素点的亮度值。

基于灰度方差的纹理局部对照图的计算公式如下：

$T_{\mathrm{CM}}(x,y)={\left[\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{(I_n-\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{I}_n)}^2\right]}^{\frac{1}{2}}$

其中，I_n(n∈1，2，…N)表示窗口内任意像素点的亮度值。

基于视觉感知的HSI颜色空间的局部对照图计算方法如下：首先对两个在HSI颜色空间的彩色值Y₁＝(H₁，S₁，I₁)^T和Y₂＝(H₂，S₂，I₂)^T，定义彩色差为：

${\mathrm{\Δ}}_{\mathrm{HSI}}(Y_1,Y_2)=\sqrt{{\left({\mathrm{\Δ}}_I\right)}^2+{\left({\mathrm{\Δ}}_C\right)}^2}$

其中Δ_I＝|I₁-I₂|和 ${\mathrm{\Δ}}_C=\sqrt{S_1^2+S_2^2-2S_1{S}_2\cos \mathrm{\θ}}$

$\mathrm{\θ}=\left\{\begin{array}{cc}|H_1-H_2|;& \mathrm{if}|H_1-H_2|\≤\mathrm{\π}\\ 2\mathrm{\π}-|H_1-H_2|;& \mathrm{if}|H_1-H_2|>\mathrm{\π}\end{array}\right.$

因此，颜色局部对照图计算如下式：

$C_{\mathrm{CM}}(x,y)=\frac{1}{N-1}\left[\underset{n=1}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{\Δ}}_{\mathrm{HSI}}(Y(x,y),Y_n)\right]$

在步骤(2)中，分别计算每个特征在不同尺度上的局部对照图，即亮度、纹理、颜色各对应得到多幅局部对照图。

步骤(3)形成每个特征的特征图的步骤为：

a从分辨率最低的尺度开始，将分辨率较低的尺度上的局部对照图内插成与其相邻的分辨率较高的尺度大小；

b将内插后的局部对照图与其对应尺度上的局部对照图进行相加；

c以上步骤a、b进行重复迭代运算，直到在分辨率最高的尺度上进行相加为止，得到特征图。

本发明考虑到人眼对于强对照敏感的视觉特性，充分利用表征图像的最基本、最重要的亮度、纹理和颜色三个低级特征，对图像进行多尺度局部对照的提取，经过迭代内插求和，归一化处理，线性结合一系列操作提取图像的显著区域；在显著区域提取的准确性和完整性上有明显的提高。

附图说明

图1是本发明方法的框架图。

图2是通过本发明方法仿真得到的显著图。

图3是通过眼动实验验证得到的视觉关注位置图和通过本发明方法得到的显著图的对比。

具体实施方式

本发明采用基于多尺度低级特征的局部对照来提取显著区域，即将像素点特征的局部对照作为衡量显著度的大小进行提取，结合多尺度变换算法，在不同尺度下进行求取对照图，并采用迭代内插求和的算法将不同尺度的对照图结合成一幅与原始图像具有相同大小的特征图。然后通过归一化，线性结合得到图像的显著图。

图1给出了本发明方法的整体框架图，按照图1所示流程，本发明的方法包括如下具体步骤：

1.多尺度局部对照图形成

将输入图像用高斯金字塔进行多级滤波，下采样得到原始图像在m个不同尺度上的图像，尺度1是输入图像。尺度2到m分别为输入图像的1/2到1/2^m-1，随着采样级别的增加，图像的分辨率逐渐降低。在每一个尺度上，分别计算亮度、纹理和颜色特征的局部对照图。对应每一特征分别得到m幅不同尺度下的局部对照图。其中：m∈{4，6，8}。

亮度、纹理、颜色三种特征的局部对照图的具体算法如下：

本发明中采用了一个大小为(2k+1)×(2k+1)(k为非负整数)的局部像素窗口来计算每一位置的局部对照值。在计算每一位置像素的对照值时，该位置与窗口的中心像素相对应，计算该点与周围窗口大小的区域的对照，所得的值作为该位置点的局部对照值。

亮度对照图的计算，根据韦伯-费克纳(Weber-Fechner)法则可知：视觉上主观亮度与光刺激强度的对数成比例。因此用下式计算每一像素点的主观亮度作为该点的亮度对照，即：

$I_{\mathrm{CM}}(x,y)=\mathrm{clg}\frac{I_j^{\max }}{I_j^{\mathrm{avg}}}=\mathrm{clg}\frac{\max \{I_1,I_2,...I_n,...,I_N\}}{\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{I}_n}$

其中，I_CM(x，y)为像素点(x，y)处的亮度对照，c为常数，和

分别是第j个窗口内的亮度最大值和平均值，N＝(2k+1)×(2k+1)表示窗口内的像素个数。I_n(n∈1，2，…N)表示窗口内任意像素点的亮度值。

纹理对照图的计算，我们选用最简单的灰度方差来描述图像块的纹理粗糙度。计算公式如下：

$T_{\mathrm{CM}}(x,y)={\left[\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{(I_n-\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{I}_n)}^2\right]}^{\frac{1}{2}}$

其中，I_n(n∈1，2，…N)表示窗口内任意像素点的亮度值。

颜色对照图的计算，考虑基于视觉感知的HSI颜色空间颜色差的比较。对两个在HSI颜色空间的彩色值Y₁＝(H₁，S₁，I₁)^T和Y₂＝(H₂，S₂，I₂)^T，彩色差定义为：

${\mathrm{\Δ}}_{\mathrm{HSI}}(Y_1,Y_2)=\sqrt{{\left({\mathrm{\Δ}}_I\right)}^2+{\left({\mathrm{\Δ}}_C\right)}^2}$

其中Δ_I＝|I₁-I₂|和 ${\mathrm{\Δ}}_C=\sqrt{S_1^2+S_2^2-2S_1{S}_2\cos \mathrm{\θ}}$

$\mathrm{\θ}=\left\{\begin{array}{cc}|H_1-H_2|;& \mathrm{if}|H_1-H_2|\≤\mathrm{\π}\\ 2\mathrm{\π}-|H_1-H_2|;& \mathrm{if}|H_1-H_2|>\mathrm{\π}\end{array}\right.$

颜色对照计算如下式：

$C_{\mathrm{CM}}(x,y)=\frac{1}{N-1}\left[\underset{n=1}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{\Δ}}_{\mathrm{HSI}}(Y(x,y),Y_n)\right]$

2.特征图的形成

在特征图的形成过程中，本发明采取一种迭代内插求和算法。该算法从分辨率最低的尺度m开始进行逐层向上内插、求和。最终在分辨率最高尺度1上得到特征图。

该算法的过程如下：

for σ＝1：m-1

％执行内插操作；

I_CM(m+1-σ)＝im_interpolation(I_CM(m+1-σ)，size(I_CM(m-σ)))

％在同一尺度上进行求和；

I_CM(m-σ)＝im_integrate(I_CM(m+1-σ)，I_CM(m-σ))

end

其中，σ为对照图的尺度。该算法过程应用于亮度、纹理和颜色对照图，得到相应的3幅特征图。

3.全局归一化计算

对由步骤2中得到的亮度、纹理和颜色特征图，归一化计算每个像素点的全局显著度，方法如下：

$S_{\mathrm{SM}}(x,y)=\frac{F(x,y)-\min (F_1,F_2,...,F_{M\×N})}{\max (F_1,F_2,...,F_{M\×N})-\min (F_1,F_2,...,F_{M\×N})}\×255$

式中，S_SM∈{I_SM，T_SM，C_SM}表示显著图，F∈{I_FM，T_FM，C_FM}表示相应的特征图，M和N表示S_SM的宽度和高度。

4.线性结合

经过归一化后，三幅显著图I_SM，T_SM，C_SM各自经过加权后形成最终的显著图，结合方法如下式：

S＝w₁×I_SM+w₂×T_SM+w₃×C_SM

其中w_i表示加权值，并且满足 $\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{w}_i=1.$

为证明此视觉模型的性能，进行了两个实验。仿真实验1选择大量图像，应用本发明提出的显著区域提取的算法，进行实验。实验结果如图2所示。图2(a)为输入图像，图2(b)中多尺度因子m＝6时得到的显著图。由图2可以看出本发明提出的基于多尺度低级特征的局部对照视觉模型算法可以提取出准确且完整的显著区域，而且显著位置的显著性比较突出。多尺度因子并不局限于固定的范围，根据不同图像尺寸可以选择不同尺度滤波进行计算，根据实验结果选取最佳滤波尺度。为了验证本发明提出的视觉注意模型是否符合人类的视觉特性，在已有的视觉跟踪硬件条件下进行了眼动实验。实验结果如图3所示。由图3可以看出本发明提出的视觉关注模型提取出的显著区域是符合人眼视觉特性的。

综上分析，仿真结果和眼动实验证明了本发明在显著区域提取的准确性和完整性上有明显的提高且符合人眼的视觉特性。因此，可用于智能监控中对重要区域的探测采集。

Claims (2)

1.一种用于智能监控的显著区域提取方法，包括以下步骤：

(1)多尺度变换：将输入图像进行滤波处理，得到输入图像在m个不同尺度上的图像，m∈{4，6，8}；

(2)局部对照特征提取：在不同尺度上，分别计算亮度、纹理、颜色三个低级特征的局部对照图，局部对照图计算是采用一个滑动的像素窗口来计算每一位置的局部对照值，对于亮度采用基于韦伯-费克纳法则的方法计算其局部对照图，对于纹理通过灰度方差来计算其局部对照图，对于颜色采用在基于视觉感知的HSI颜色空间中颜色差方法计算其局部对照图；

(3)特征图形成：对每一个特征在各个尺度上的局部对照图进行迭代内插求和运算，形成每个特征的特征图；

(4)全局归一化：归一化计算三幅特征图中每个像素点的显著值，得到三幅显著图；

(5)线性结合：对三幅显著图进行线性结合得到最终的显著图；

所述步骤(2)中在计算每一位置像素的对照值时，该位置与窗口的中心像素相对应，计算该点与周围窗口大小的区域的对照，所得的值作为该位置点的局部对照值；对亮度、纹理、颜色分别计算，得到三幅局部对照图；

基于韦伯-费克纳法则的亮度局部对照图的计算公式如下：

$I_{\mathrm{CM}}(x,y)=\mathrm{clg}\frac{I_j^{\max }}{I_j^{\mathrm{avg}}}=\mathrm{clg}\frac{\max \{I_1,I_2,...I_n,...,I_N\}}{\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{I}_n},$

其中，I_CM(x，y)为像素点(x，y)处的亮度对照值，c为常数，

和

分别是第j个窗口内的亮度最大值和平均值，N＝(2k+1)×(2k+1)表示窗口内的像素个数；k是非负整数；I_n表示窗口内任意像素点的亮度值，其中n＝1，2，3，...，N；

基于灰度方差的纹理局部对照图的计算公式如下：

$T_{\mathrm{CM}}(x,y)=[\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{(I_n-\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{I}_n)}^2{]}^{\frac{1}{2}},$

其中，I_n表示窗口内任意像素点的亮度值，其中n＝1，2，3，...，N；

基于视觉感知的HSI颜色空间的局部对照图计算方法如下：首先对两个在HSI颜色空间的彩色值Y₁＝(H₁，S₁，I₁)^T和Y₂＝(H₂，S₂，I₂)^T，定义彩色差为：

${\mathrm{\Δ}}_{\mathrm{HSI}}(Y_1,Y_2)=\sqrt{{\left({\mathrm{\Δ}}_I\right)}^2+{\left({\mathrm{\Δ}}_C\right)}^2},$

其中Δ_I＝|I₁-I₂|和 ${\mathrm{\Δ}}_C=\sqrt{S_1^2+S_2^2-2S_1{S}_2\cos \mathrm{\θ}}$

$\mathrm{\θ}=\left\{\begin{array}{cc}|H_1-H_2|;& \mathrm{if}|H_1-H_2|\≤\mathrm{\π}\\ 2\mathrm{\π}-|H_1-H_2|;& \mathrm{if}|H_1-H_2|>\mathrm{\π}\end{array}\right.,$

因此，颜色局部对照图计算如下式：

$C_{\mathrm{CM}}(x,y)=\frac{1}{N-1}\left[\underset{n=1}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{\Δ}}_{\mathrm{HSI}}(Y(x,y),Y_n)\right];$

所述步骤(3)中形成每个特征的特征图的步骤为：

a从分辨率最低的尺度开始，将分辨率较低的尺度上的局部对照图内插成与其相邻的分辨率较高的尺度大小；

b将内插后的局部对照图与其对应尺度上的局部对照图进行相加；

c以上步骤a、b进行重复迭代运算，直到在分辨率最高的尺度上进行相加为止，得到特征图；

所述步骤(4)中归一化计算三幅特征图中每个像素点的显著值的方法，是：

对由步骤(3)中得到的亮度、纹理和颜色特征图，归一化计算每个像素点的全局显著度，方法如下：

$S_{\mathrm{SM}}(x,y)=\frac{F(x,y)-\min (F_1,F_2,...,F_{M\×H})}{\max (F_1,F_2,...,F_{M\×H})-\min (F_1,F_2,...,F_{M\×H})}\×255,$

式中，S_SM∈{I_SM，T_SM，C_SM}表示显著图，F∈{I_FM，T_FM，C_FM}表示相应的特征图，M和H表示S_SM的宽度和高度。

2.根据权利要求1所述的用于智能监控的显著区域提取方法，其特征在于：所述步骤(1)中的滤波是使用高斯金字塔模型对输入图像进行多级滤波。

Images