CN102495998A - 基于视觉选择性注意计算模型的静态目标检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉选择性注意计算模型的静态目标检测方法，其实现步骤为：(1)输入待检测目标；(2)输入帧图像；(3)获取帧图像的显著图；(4)寻找候选区域；(5)候选区域与待检测目标区域匹配，在设定次数内若在当前帧图像中未找到与待检测目标区域匹配的候选区域，则开始下一帧图像的检测，在设定次数内若找到与待检测目标区域匹配的候选区域，则将该区域标记出来后开始下一帧图像的检测；(6)判断是否还有待处理的帧图像；(7)检测结束。本发明既可以快速的完成对目标的检测，又可以准确的完成对目标的定位，具有较好的实时性和较高的检测准确度，可应用视频图像中静态目标的检测。

Description

基于视觉选择性注意计算模型的静态目标检测方法

技术领域

本发明属于计算机视觉技术领域，涉及图像序列中一类静态目标的检测，更进一步来讲是一种基于视觉选择性注意计算模型的静态目标检测方法。本发明可用于视频智能监控及设施看管。

背景技术

图像序列的目标检测就是从图像序列中将有意义的目标从背景中分离出来，提取目标及其携带的信息，然后判断它的真伪，以决定是否需要跟踪。图像序列的研究是近几年计算机视觉研究的重点。它是从静态图像的研究过渡而来的。与静态图像相比，图像序列的基本特征就是相邻帧图像至少有一部分的像素灰度值发生了变化，这有可能是景物本身发生了变化，也有可能是摄像机与景物发生了相对位移或物体光亮受外界光照的变化而变化。图像序列中静态目标检测从根本上讲就是看图像序列中是否有感兴趣的待检测目标存在，如果存在则状态正常，否则报警提示。这类目标的检测在科学和工程中都有着重要的研究价值，在智能监控，库房货物看管，停车场车辆看管等许多领域都有广泛的应用前景。

在图像序列的目标检测中有一种静态目标检测的方法。例如，汉王科技股份有限公司在其专利申请“静态目标检测方法”(专利申请号：200910085781.8，公开号：CN101901334A)中提出了一种静态目标检测方法。该专利申请利用初始化单元对输入的视频进行初始化，再用特征提取单元提取目标的运动特征和统计特征，接着由检测单元使用变步长的模板匹配方法对目标检测，并使用融合运动特征和目标模型统计特征的静态目标检测方法对目标进行检测。该方法虽然能够对图像序列中的静态目标进行准确检测，但仍存在的不足是，基于帧间差分的目标运动特征的提取受背景噪声影响较大，当相邻两帧的背景发生急剧变化时，会引入大量的背景噪声。此外，由于该方法利用变步长的模板匹配方法对当前模板和候选区域模板进行匹配时受给定阈值的影响，使得该方法具有一定的局限性。

在图像序列的目标检测中还有一种基于视觉注意模型的序列图像目标检测的方法。例如，谢春兰在其文章《视觉注意模型及其在目标检测中的应用研究》(重庆大学二零零九年四月硕士论文，http://epub.cnki.net/grid2008/detail.aspx？QueryID＝4&CurRec＝1)中提出了一种图像序列的目标检测方法。该方法采用视觉注意模型对序列图像进行目标预检测，再利用基于不变矩的图像匹配方法对目标区域和检测出的候选区域进行匹配，将目标检测出来。该方法虽然能对图像序列中的目标进行快速检测，但仍存在的不足是，该方法是在相邻两帧图像的时间间隔比较小，图像中的各目标没有发生非线性形变的前提下提出的基于不变矩的图像匹配方法，当相邻两帧图像的时间间隔较大时该匹配方法就不能很好的完成匹配。此外，在候选区域的目标被部分遮挡或拍摄角度发生变化时，该方法中的匹配效果差。

发明内容

本发明针对上述现有技术存在的不足，提出了一种基于视觉选择性注意计算模型的静态目标检测方法。本发明既降低了方法的复杂度，又较好的避免了相邻帧背景发生急剧变化时背景噪声的影响，同时又消除了基于不变矩的图像匹配方法对应用条件的要求，具有较好的实时性和较高的检测精度。

本发明实现上述目的的思路是：首先输入待检测目标和第一帧图像；然后基于视觉选择性注意计算模型生成帧图像的显著图，再依据显著图按显著性递减的顺序寻找图像中感兴趣区域作为候选区域，与待检测目标区域进行匹配。若在设定的寻找次数内候选区域与待检测目标区域匹配，则停止搜索，并将该候选区域标记出来，接着判断下一帧图像；若设定的寻找次数内候选区域仍与目标区域不匹配，则认为在该帧图像中静态目标检测失败，若连续三帧图像都没有找到匹配的区域，则序列图像目标跟踪检测失败。

本发明的步骤包括如下：

(1)输入待检测目标。

(2)输入帧图像。

(3)获取帧图像的显著图

3a)利用颜色空间的转化公式将帧图像从红、绿、蓝颜色空间转换到色调、强度、饱和度颜色空间；

3b)利用下式分别获取由色调分量和饱和度分量代表的两个颜色特征图与强度分量代表的强度特征图的待规格化图像；

C_j＝idct[A*exp(i*P)]

其中，C_j为待规格化图像，j为变量，j∈{Iy，CH，CS}，Iy为强度，CH为色调分量代表的颜色，CS为饱和度分量代表的颜色，idct为离散余弦反变换，A为谱残差，*为相乘操作，i为虚数，P为图像离散余弦变换后的相位谱信息；

3c)对待规格化图像进行规格化操作，分别获得强度显著图和两个颜色显著图；

3d)按照下式合并各特征显著图；

$C=\underset{j\∈\{\mathrm{Iy},\mathrm{CH},\mathrm{CS}\}}{\mathrm{\Σ}}\frac{M_j}{\stackrel{\‾}{m_j}}*{\left(\stackrel{\‾}{C_j}\right)}^2$

其中，C为总显著图，j∈{Iy，CH，CS}，j为变量，Iy为强度，CH为色调分量代表的颜色，CS为饱和度分量代表的颜色，M_j为特征显著图的最大值，为除特征显著图最大值以外其他所有局部极大值的平均值，*为相乘操作，

为特征显著图；

3e)对合并后的图像进行高斯低通滤波，获得帧图像的视觉选择性注意计算模型的显著图。

(4)寻找候选区域

4a)在显著图中选灰度值最大点，判断其八邻域像素点与该点是否相似，如果不相似，就在未经选择的剩余像素点中选灰度值最大点进行判断，直至找到满足条件的点，以该点作为种子生长点进行区域生长，得到二值图像；

4b)将生成的二值图像矩阵与步骤(2)输入的帧图像的灰度图矩阵对应点相乘获取感兴趣区域作为候选区域。

(5)区域匹配

5a)利用SIFT特征匹配算法对候选区域与待检测目标区域进行匹配，若不匹配，则对基于掩膜后的显著图重新寻找候选区域与待检测目标区域进行匹配；

5b)当寻找候选区域与待检测目标区域进行匹配的操作重复执行不超过6次时，若找到与待检测目标区域匹配的候选区域，则停止搜索，在步骤(2)输入的帧图像中用矩形将该区域标记出来，然后转至步骤(6)；

5c)当寻找候选区域与待检测目标区域进行匹配的操作重复执行5次，若仍未找到与待检测目标区域匹配的候选区域，则认为在该帧图像中匹配失败，然后转至步骤(6)；

5d)若连续三帧图像都没有找到与待检测目标区域匹配的候选区域，则认为目标跟踪检测失败，执行下一步骤，重新启动目标检测；

(6)判断是否还有待处理的图像，若有，转至步骤(2)；否则，执行下一步骤；

(7)检测结束。

本发明与现有技术相比具有以下优点：

第一，本发明采用SIFT特征匹配算法进行匹配，避免了现有技术采用变步长的模板匹配方法复杂度高的不足，使得该方法具有较好的实时性。

第二，本发明利用显著图的显著性信息对静态目标进行检测，避免了现有技术采用帧间差分的方法引入大量背景噪声的不足，使得该方法具有较高的检测精度。

第三，本发明利用SIFT特征匹配算法对候选区域与待检测目标区域进行匹配，避免了现有技术存在的采用不变矩的匹配方法受众多条件限制的不足，克服了静态目标发生旋转，尺度缩放和亮度变化时匹配效果差的缺点，使得本发明具有较好的匹配效果，提高了检测的准确性。

附图说明

图1为本发明的流程图；

图2为本发明的仿真效果图。

具体实施方式

下面结合附图1对本发明的步骤做进一步的详细描述。

步骤1，输入待检测目标。

步骤2，输入帧图像。

步骤3，获取帧图像的显著图。

利用颜色空间的转化公式将帧图像从红、绿、蓝颜色空间转换到色调、强度、饱和度颜色空间。

颜色空间的转化公式为：

$H=\left\{\begin{array}{c}\mathrm{\θ},(B\≤G)\\ 360-\mathrm{\θ},(B>G)\end{array}\right.$

$\mathrm{\θ}=\arccos \left\{\frac{1/2[(R-G)+(R-B)\}]}{{[{(R-G)}^2+(R-G)(G-B)]}^{1/2}}\right\}$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]$

$I=\frac{1}{3}(R+G+B)$

其中，H和S分别为图像的色调和饱和度，I为强度，R、G、B分别为红、绿、蓝。

利用下式分别获取由色调分量和饱和度分量代表的两个颜色特征图与强度分量代表的强度特征图的待规格化图像。

C_j＝idct[A*exp(i*P)]

其中，C_j为待规格化图像，j为变量，j∈{Iy，CH，CS}，Iy为强度，CH为色调分量代表的颜色，CS为饱和度分量代表的颜色，idct为离散余弦反变换，A为谱残差，*为相乘操作，i为虚数，P为图像离散余弦变换后的相位谱信息。

谱残差由下式得到：

A＝L-T

其中，A为谱残差，L为图像经过离散余弦变换得到的相位谱的对数，记为对数谱，T为对数谱的均值滤波结果。

对待规格化图像进行规格化操作，分别获得强度显著图和两个颜色显著图。

规格化操作的步骤如下：

首先，从待规格化图像矩阵中取像素灰度最大值，记录图像中像素灰度值等于该像素灰度最大值的所有像素点的任一坐标。

然后，将图像的像素灰度值归一化到0至图像像素灰度最大值之间。

其次，按照下式得到每个局部极大值与像素灰度最大值之间的综合差异值；

U＝(M-m_i)*B*[1-d_i/sqrt(w²+h²)]

其中，U为综合差异值，M为像素灰度最大值，m_i为局部极大值，B为权重控制因子，d_i为局部极大值m_i与像素灰度最大值M之间的空间距离，i∈{1，...，n}，n为局部极大值的个数，sqrt是平方根运算，w为图像的宽度，h为图像的高度。

再次，按照下式得到规格化比例因子；

$f={[\left(\mathrm{\Σ}\stackrel{\‾}{S}\right)/n]}^2$

其中，f为规格化比例因子，

为综合差异值，n为局部极大值的个数。最后，图像矩阵乘上f。

按照下式合并各特征显著图；

$C=\underset{j\∈\{\mathrm{Iy},\mathrm{CH},\mathrm{CS}\}}{\mathrm{\Σ}}\frac{M_j}{\stackrel{\‾}{m_j}}*{\left(\stackrel{\‾}{C_j}\right)}^2$

其中，C为总显著图，j∈{Iy，CH，CS}，j为变量，Iy为强度，CH为色调分量代表的颜色，CS为饱和度分量代表的颜色，M_j为特征显著图的最大值，

为除特征显著图最大值以外其他所有局部极大值的平均值，*为相乘操作，

为特征显著图。

对合并后的图像进行高斯低通滤波，获得帧图像的视觉选择性注意计算模型的显著图，高斯低通滤波器的标准差σ＝8。

步骤4，寻找候选区域。

在显著图中选灰度值最大点，判断其八邻域像素点与该点是否相似，如果不相似，就在未经选择的剩余像素点中选灰度值最大点进行判断，直至找到满足条件的点，以该点作为种子生长点进行区域生长，得到二值图像，将生成的二值图像矩阵与步骤2输入的帧图像的灰度图矩阵对应点相乘获取感兴趣区域作为候选区域。

其中的相似是指两像素点的灰度值之差的绝对值小于阈值

为(X-Y)/3到(X-Y)/2之间的一个值，其中X为帧图像显著图的像素灰度值的最大值，Y为帧图像显著图的像素灰度值的平均值。

步骤5，区域匹配。

利用SIFT特征匹配算法对候选区域与待检测目标区域进行匹配。

SIFT特征匹配算法包括如下步骤：

首先，构造高斯金字塔和高斯差分金字塔，让高斯差分金字塔尺度空间每个点与邻域的点逐个进行比较，包括高斯差分金字塔尺度空间本层以及上下两层，每个点与邻域的26个点进行了比较，得到局部极值点位置，以初步确定关键点位置和所在尺度。

然后，通过拟合三维二次函数来精确确定关键点的位置和尺度，同时去掉低对比度的关键点和不稳定的边缘响应点，因为高斯差分算子会产生较强的边缘效应。

其次，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性，(x，y)处梯度的模值和方向计算如下：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x，y)＝arctan 2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

其中，m为(x，y)处梯度的模值，θ为(x，y)处梯度的模方向，L所用的尺度为每个关键点各自所在的尺度。

再次，以关键点为中心取16×16的窗口，划分为16个4×4的子区域作为种子点，每个种子点对应一个4×4像素的区域，在该区域内分别计算8个方向的梯度累加值，沿各梯度方向绘制灰度直方图，最终由16个种子点得到128维的特征描述子，即每个关键点形成128维的SIFT特征向量。

最后，关键点匹配。采用关键点的特征向量的欧式距离作为图像中关键点是否匹配的依据，采用最近邻比法作为图像中关键点是否匹配的判断法则，采用按序循环匹配的方式进行匹配。

若候选区域与待检测目标区域不匹配，则对基于掩膜后的显著图重新寻找候选区域与待检测目标区域进行匹配，就是对寻找上一个候选区域得到的二值图像取反，让取反后的图像矩阵与寻找上一个候选区域所采用的显著图矩阵对应点相乘，得到掩膜后的显著图，从该图中选灰度值最大点，判断其八邻域像素点与该点是否相似，如果不相似，就在未经选择的剩余像素点中选灰度值最大点进行判断，直至找到满足条件的点，以该点作为种子生长点进行区域生长，得到二值图像，将生成的二值图像矩阵与步骤2输入的帧图像的灰度图矩阵对应点相乘获取感兴趣区域作为候选区域。

当寻找候选区域与待检测目标区域进行匹配的操作重复执行不超过6次时，找到了与待检测目标区域匹配的候选区域，则停止搜索，在步骤2输入的帧图像中用矩形将该区域标记出来，然后转至步骤6。

当寻找候选区域与待检测目标区域进行匹配的操作重复执行了5次仍未找到与待检测目标区域匹配的候选区域，则认为在该帧图像中匹配失败，然后转至步骤6。

若连续三帧图像都没有找到与待检测目标区域匹配的候选区域，则认为目标跟踪检测失败，执行步骤6，重新启动目标检测。

步骤6，判断是否还有待处理的图像，若有，转至步骤2；否则，执行步骤7。

步骤7，检测结束。

下面结合附图2对本发明的仿真效果做进一步的描述。

1、仿真条件

本发明的仿真是在主频2.33GHZ的Intel(R)Core(TM)2Duo、内存2GB的硬件环境和MATLAB R2009a的软件环境下进行的。

本发明实施实例中采用了标准差为σ＝8的高斯低通滤波器，设定的每帧图像中寻找候选区域的次数为5。

2、仿真内容

本发明仿真实验所用数据为一段实拍视频中取出的连续四帧图像。帧图像的大小为640×480像素。

3、仿真效果分析

本发明中，仿真图具有对静态目标较好检测效果的优点。因此，利用视觉选择性注意计算模型对静态目标进行检测的方法，既较好的提高了检测速度，又较好的避免了错检和误检，具有较好的实时性和较高的检测准确度。

图2为本发明的仿真效果图。其中，图2(a)为第一帧图像的检测效果图，图2(b)为第二帧图像的检测效果图，图2(c)为第三帧图像的检测效果图，图2(d)为第四帧图像的检测效果图，其中每帧图像中矩形区域标记出的目标均为检测到的静态目标。

从图2(a)，2(b)，2(c)和2(d)可以看出，在背景相对复杂，各帧图像均包含静态目标的视频中，本发明能够准确的从每帧图像中将静态目标检测出来，避免了错检和漏检。同时，本发明具有较好的实时性。

Claims (7)

1.基于视觉选择性注意计算模型的静态目标检测方法，包括如下步骤：

(1)输入待检测目标；

(2)输入帧图像；

(3)获取帧图像的显著图

3a)利用颜色空间的转化公式将帧图像从红、绿、蓝颜色空间转换到色调、强度、饱和度颜色空间；

3b)利用下式分别获取由色调分量和饱和度分量代表的两个颜色特征图与强度分量代表的强度特征图的待规格化图像；

C_j＝idct[A*exp(i*P)]

其中，C_j为待规格化图像，j为变量，j∈{Iy，CH，CS}，Iy为强度，CH为色调分量代表的颜色，CS为饱和度分量代表的颜色，idct为离散余弦反变换，A为谱残差，*为相乘操作，i为虚数，P为图像离散余弦变换后的相位谱信息；

3c)对待规格化图像进行规格化操作，分别获得强度显著图和两个颜色显著图；

3d)按照下式合并各特征显著图；

$C=\underset{j\∈\{\mathrm{Iy},\mathrm{CH},\mathrm{CS}\}}{\mathrm{\Σ}}\frac{M_j}{\stackrel{\‾}{m_j}}*{\left(\stackrel{\‾}{C_j}\right)}^2$

其中，C为总显著图，j∈{Iy，CH，CS}，j为变量，Iy为强度，CH为色调分量代表的颜色，CS为饱和度分量代表的颜色，M_j为特征显著图的最大值，

为除特征显著图最大值以外其他所有局部极大值的平均值，*为相乘操作，

为特征显著图；

3e)对合并后的图像进行高斯低通滤波，获得帧图像的视觉选择性注意计算模型的显著图；

(4)寻找候选区域

4a)在显著图中选灰度值最大点，判断其八邻域像素点与该点是否相似，如果不相似，就在未经选择的剩余像素点中选灰度值最大点进行判断，直至找到满足条件的点，以该点作为种子生长点进行区域生长，得到二值图像；

4b)将生成的二值图像矩阵与步骤(2)输入的帧图像的灰度图矩阵对应点相乘获取感兴趣区域作为候选区域；

(5)区域匹配

5a)利用SIFT特征匹配算法对候选区域与待检测目标区域进行匹配，若不匹配，则对基于掩膜后的显著图重新寻找候选区域与待检测目标区域进行匹配；

5b)当寻找候选区域与待检测目标区域进行匹配的操作重复执行不超过6次时，若找到与待检测目标区域匹配的候选区域，则停止搜索，在步骤(2)输入的帧图像中用矩形将该区域标记出来，然后转至步骤(6)；

5c)当寻找候选区域与待检测目标区域进行匹配的操作重复执行5次，若仍未找到与待检测目标区域匹配的候选区域，则认为在该帧图像中匹配失败，然后转至步骤(6)；

5d)若连续三帧图像都没有找到与待检测目标区域匹配的候选区域，则认为目标跟踪检测失败，执行下一步骤，重新启动目标检测；

(6)判断是否还有待处理的图像，若有，转至步骤(2)；否则，执行下一步骤；

(7)检测结束。

2.根据权利要求1所述的基于视觉选择性注意计算模型的静态目标检测方法，其特征在于：步骤3a)所述的颜色空间的转化公式为：

$H=\left\{\begin{array}{c}\mathrm{\θ},(B\≤G)\\ 360-\mathrm{\θ},(B>G)\end{array}\right.$

$\mathrm{\θ}=\arccos \left\{\frac{1/2[(R-G)+(R-B)\}]}{{[{(R-G)}^2+(R-G)(G-B)]}^{1/2}}\right\}$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]$

$I=\frac{1}{3}(R+G+B)$

其中，H和S分别为图像的色调和饱和度，I为强度，R、G、B分别为红、绿、蓝。

3.根据权利要求1所述的基于视觉选择性注意计算模型的静态目标检测方法，其特征在于：步骤3b)所述的谱残差由下式得到：

A＝L-T

其中，A为谱残差，L为图像经过离散余弦变换得到的相位谱的对数，记为对数谱，T为对数谱的均值滤波结果。

4.根据权利要求1所述的基于视觉选择性注意计算模型的静态目标检测方法，其特征在于：步骤3c)所述规格化操作的步骤是：

步骤1，从待规格化图像矩阵中取像素灰度最大值，记录图像中像素灰度值等于该像素灰度最大值的所有像素点的任一坐标；

步骤2，将图像的像素灰度值归一化到0至图像像素灰度最大值之间；

步骤3，按照下式得到每个局部极大值与像素灰度最大值之间的综合差异值；

U＝(M-m_i)*B*[1-d_i/sqrt(w²+h²)]

其中，U为综合差异值，M为像素灰度最大值，m_i为局部极大值，B为权重控制因子，d_i为局部极大值m_i与像素灰度最大值M之间的空间距离，i∈{1，...，n}，n为局部极大值的个数，sqrt是平方根运算，w为图像的宽度，h为图像的高度；

步骤4，按照下式得到规格化比例因子；

$f={[\left(\mathrm{\Σ}\stackrel{\‾}{S}\right)/n]}^2$

其中，f为规格化比例因子，

为综合差异值，n为局部极大值的个数；

步骤5，图像矩阵乘上f。

5.根据权利要求1所述的基于视觉选择性注意计算模型的静态目标检测方法，其特征在于：步骤3e)所述的高斯低通滤波器的标准差σ＝8。

6.根据权利要求1所述的基于视觉选择性注意计算模型的静态目标检测方法，其特征在于：步骤4a)所述的相似是指两像素点的灰度值之差的绝对值小于阈值

为(X-Y)/3到(X-Y)/2之间的一个值，其中X为步骤3e)中获得的帧图像显著图的像素灰度值的最大值，Y为步骤3e)中获得的帧图像显著图的像素灰度值的平均值。

7.根据权利要求1所述的基于视觉选择性注意计算模型的静态目标检测方法，其特征在于：步骤5a)所述的基于掩膜后的显著图重新寻找候选区域的方法是：

对寻找上一个候选区域得到的二值图像取反，让取反后的图像矩阵与寻找上一个候选区域所采用的显著图矩阵对应点相乘，得到掩膜后的显著图，从该图中选灰度值最大点，判断其八邻域像素点与该点是否相似，如果不相似，就在未经选择的剩余像素点中选灰度值最大点进行判断，直至找到满足条件的点，以该点作为种子生长点进行区域生长，得到二值图像，将生成的二值图像矩阵与步骤(2)输入的帧图像的灰度图矩阵对应点相乘获取感兴趣区域作为候选区域。

Images