CN101944178B - 用于智能监控的显著区域提取方法 - Google Patents
用于智能监控的显著区域提取方法 Download PDFInfo
- Publication number
- CN101944178B CN101944178B CN201010292932A CN201010292932A CN101944178B CN 101944178 B CN101944178 B CN 101944178B CN 201010292932 A CN201010292932 A CN 201010292932A CN 201010292932 A CN201010292932 A CN 201010292932A CN 101944178 B CN101944178 B CN 101944178B
- Authority
- CN
- China
- Prior art keywords
- local map
- brightness
- pixel
- characteristic
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种用于智能监控的显著区域提取方法,包括以下步骤:(1)多尺度变换;(2)局部对照特征提取;(3)特征图形成;(4)全局归一化;(5)线性结合。显著图中的显著性是通过图像的灰度来表示,灰度值越大的地方,受关注程度越强,显著性越大;反之,显著性越小。本发明考虑到人眼对于强对照敏感的视觉特性,充分利用表征图像的最基本、最重要的亮度、纹理和颜色三个低级特征,对图像进行多尺度局部对照的提取,经过迭代内插求和,归一化处理,线性结合一系列操作提取图像的显著区域;在显著区域提取的准确性和完整性上有明显的提高。
Description
技术领域
本发明涉及一种可应用于智能监控的显著区域提取技术,属于图像、多媒体信号处理技术领域。
背景技术
随着社会发展,智能监控系统的应用越来越普遍化。比如,现今在海关、银行、车站、商店等一些重要的公共场所都会装有监控摄像机,但大部分情况下对于监控所得的视频数据都是以统一分辨率对监控场景采集所得,通常往往因为分辨率不能充分应用在重要区域中,导致无法对重要区域或对象进行有效地分辨,这种处理方式显得繁琐且造成麻烦。如:刑侦破案等。因此,迫切需要智能监控能自动探测重要区域。
随着生物科学的发展,诸多研究成果表明,人眼对于视觉图像各区域的关注程度是不均等的。对于刺激较强的图像区域,人眼总是投入更多的视觉注意;而对于平坦区域,人眼投入的视觉注意较少,这正是人类视觉拥有着高效的信息处理功能和目标捕获功能的主要原因所在。因此如果智能监控系统能较精确的仿真生物视觉的注意机制,只对图像中可能存在感兴趣目标的显著区域进行关注,而对于平坦区域则不予关注,那么图像中的冗余信息就可以被提前舍弃,而可能的重要区域,即目标区域,则能得到重点的关注。因此,研究可应用于智能监控的视觉注意模型来提取图像的显著区域作为监控的重要区域进行探测采集。
近年来对视觉注意模型提取显著区域的研究已经成了研究热点,已经提出了一些视觉注意模型并且应用到了许多方面。经典的Itti注意模型,通过提取输入图像的颜色、亮度、方向等低级特征进行分析融合得到显著图。它的基本思想在于将像素在颜色、亮度、方向等方面与周围区域的对比度定义为该点的显著值,对比越强,该点的显著值就越大。该模型虽然可以找到注意焦点,但是得到的显著区域相当不准确,并且显著区域与图像中对象边界不相吻合。为了使视觉注意模型更好地在实际中得到应用,就必须在Itti模型的基础上进行改进。由于亮度、纹理、颜色是表征图像的最基本特征,因此,考虑基于这三种特征,代替以往的中央周边差计算,采用新的局部对照特征方法来提取图像的显著区域,使这种显著区域提取方法更适合应用到智能监控中。
发明内容
本发明针对目前已有视觉注意模型提取显著区域算法存在的提取不准确、不完整等不足,提出一种基于多尺度低级特征局部对照的用于智能监控的显著区域提取方法,此方法在显著区域提取的准确性和完整性上有明显的提高,且符合人眼的视觉特性。
本发明的用于智能监控的显著区域提取方法,包括以下步骤:
(1)多尺度变换:将输入图像进行滤波处理,得到输入图像在m个不同尺度上的图像,m∈{4,6,8};
(2)局部对照特征提取:在不同尺度上,分别计算亮度、纹理、颜色三个低级特征的局部对照图,局部对照图计算是采用一个滑动的像素窗口来计算每一位置的局部对照值,对于亮度采用基于韦伯-费克纳(Weber-Fechner)法则的方法计算其局部对照图,对于纹理通过灰度方差来计算其局部对照图,对于颜色采用在基于视觉感知的HSI颜色空间中颜色差方法计算其局部对照图;
(3)特征图形成:对每一个特征在各个尺度上的局部对照图进行迭代内插求和运算,形成每个特征的特征图;
(4)全局归一化:归一化计算三幅特征图中每个像素点的显著值,得到三幅显著图;
(5)线性结合:对三幅显著图进行线性结合得到最终的显著图。
显著图中的显著性是通过图像的灰度来表示,灰度值越大的地方,受关注程度越强,显著性越大;反之,显著性越小。
所述步骤(1)中的滤波是使用高斯金字塔模型对输入图像进行多级滤波。
所述步骤(2)中计算局部对照图采用一个滑动的局部像素窗口来计算每一位置的局部对照值;在计算每一位置像素的对照值时,该位置与窗口的中心像素相对应,计算该点与周围窗口大小的区域的对照,所得的值作为该位置点的局部对照值;对亮度、纹理、颜色分别计算,得到三幅局部对照图。
基于韦伯-费克纳(Weber-Fechner)法则的亮度局部对照图计算公式如下:
其中,ICM(x,y)为像素点(x,y)处的亮度对照值,c为常数,和分别是第j个窗口内的亮度最大值和平均值,N=(2k+1)×(2k+1)表示窗口内的像素个数。In(n∈1,2,…N)表示窗口内任意像素点的亮度值。
基于灰度方差的纹理局部对照图的计算公式如下:
其中,In(n∈1,2,…N)表示窗口内任意像素点的亮度值。
基于视觉感知的HSI颜色空间的局部对照图计算方法如下:首先对两个在HSI颜色空间的彩色值Y1=(H1,S1,I1)T和Y2=(H2,S2,I2)T,定义彩色差为:
其中ΔI=|I1-I2|和
因此,颜色局部对照图计算如下式:
在步骤(2)中,分别计算每个特征在不同尺度上的局部对照图,即亮度、纹理、颜色各对应得到多幅局部对照图。
步骤(3)形成每个特征的特征图的步骤为:
a从分辨率最低的尺度开始,将分辨率较低的尺度上的局部对照图内插成与其相邻的分辨率较高的尺度大小;
b将内插后的局部对照图与其对应尺度上的局部对照图进行相加;
c以上步骤a、b进行重复迭代运算,直到在分辨率最高的尺度上进行相加为止,得到特征图。
本发明考虑到人眼对于强对照敏感的视觉特性,充分利用表征图像的最基本、最重要的亮度、纹理和颜色三个低级特征,对图像进行多尺度局部对照的提取,经过迭代内插求和,归一化处理,线性结合一系列操作提取图像的显著区域;在显著区域提取的准确性和完整性上有明显的提高。
附图说明
图1是本发明方法的框架图。
图2是通过本发明方法仿真得到的显著图。
图3是通过眼动实验验证得到的视觉关注位置图和通过本发明方法得到的显著图的对比。
具体实施方式
本发明采用基于多尺度低级特征的局部对照来提取显著区域,即将像素点特征的局部对照作为衡量显著度的大小进行提取,结合多尺度变换算法,在不同尺度下进行求取对照图,并采用迭代内插求和的算法将不同尺度的对照图结合成一幅与原始图像具有相同大小的特征图。然后通过归一化,线性结合得到图像的显著图。
图1给出了本发明方法的整体框架图,按照图1所示流程,本发明的方法包括如下具体步骤:
1.多尺度局部对照图形成
将输入图像用高斯金字塔进行多级滤波,下采样得到原始图像在m个不同尺度上的图像,尺度1是输入图像。尺度2到m分别为输入图像的1/2到1/2m-1,随着采样级别的增加,图像的分辨率逐渐降低。在每一个尺度上,分别计算亮度、纹理和颜色特征的局部对照图。对应每一特征分别得到m幅不同尺度下的局部对照图。其中:m∈{4,6,8}。
亮度、纹理、颜色三种特征的局部对照图的具体算法如下:
本发明中采用了一个大小为(2k+1)×(2k+1)(k为非负整数)的局部像素窗口来计算每一位置的局部对照值。在计算每一位置像素的对照值时,该位置与窗口的中心像素相对应,计算该点与周围窗口大小的区域的对照,所得的值作为该位置点的局部对照值。
亮度对照图的计算,根据韦伯-费克纳(Weber-Fechner)法则可知:视觉上主观亮度与光刺激强度的对数成比例。因此用下式计算每一像素点的主观亮度作为该点的亮度对照,即:
其中,ICM(x,y)为像素点(x,y)处的亮度对照,c为常数,和分别是第j个窗口内的亮度最大值和平均值,N=(2k+1)×(2k+1)表示窗口内的像素个数。In(n∈1,2,…N)表示窗口内任意像素点的亮度值。
纹理对照图的计算,我们选用最简单的灰度方差来描述图像块的纹理粗糙度。计算公式如下:
其中,In(n∈1,2,…N)表示窗口内任意像素点的亮度值。
颜色对照图的计算,考虑基于视觉感知的HSI颜色空间颜色差的比较。对两个在HSI颜色空间的彩色值Y1=(H1,S1,I1)T和Y2=(H2,S2,I2)T,彩色差定义为:
其中ΔI=|I1-I2|和
颜色对照计算如下式:
2.特征图的形成
在特征图的形成过程中,本发明采取一种迭代内插求和算法。该算法从分辨率最低的尺度m开始进行逐层向上内插、求和。最终在分辨率最高尺度1上得到特征图。
该算法的过程如下:
for σ=1:m-1
%执行内插操作;
ICM(m+1-σ)=im_interpolation(ICM(m+1-σ),size(ICM(m-σ)))
%在同一尺度上进行求和;
ICM(m-σ)=im_integrate(ICM(m+1-σ),ICM(m-σ))
end
其中,σ为对照图的尺度。该算法过程应用于亮度、纹理和颜色对照图,得到相应的3幅特征图。
3.全局归一化计算
对由步骤2中得到的亮度、纹理和颜色特征图,归一化计算每个像素点的全局显著度,方法如下:
式中,SSM∈{ISM,TSM,CSM}表示显著图,F∈{IFM,TFM,CFM}表示相应的特征图,M和N表示SSM的宽度和高度。
4.线性结合
经过归一化后,三幅显著图ISM,TSM,CSM各自经过加权后形成最终的显著图,结合方法如下式:
S=w1×ISM+w2×TSM+w3×CSM
其中wi表示加权值,并且满足
为证明此视觉模型的性能,进行了两个实验。仿真实验1选择大量图像,应用本发明提出的显著区域提取的算法,进行实验。实验结果如图2所示。图2(a)为输入图像,图2(b)中多尺度因子m=6时得到的显著图。由图2可以看出本发明提出的基于多尺度低级特征的局部对照视觉模型算法可以提取出准确且完整的显著区域,而且显著位置的显著性比较突出。多尺度因子并不局限于固定的范围,根据不同图像尺寸可以选择不同尺度滤波进行计算,根据实验结果选取最佳滤波尺度。为了验证本发明提出的视觉注意模型是否符合人类的视觉特性,在已有的视觉跟踪硬件条件下进行了眼动实验。实验结果如图3所示。由图3可以看出本发明提出的视觉关注模型提取出的显著区域是符合人眼视觉特性的。
综上分析,仿真结果和眼动实验证明了本发明在显著区域提取的准确性和完整性上有明显的提高且符合人眼的视觉特性。因此,可用于智能监控中对重要区域的探测采集。
Claims (2)
1.一种用于智能监控的显著区域提取方法,包括以下步骤:
(1)多尺度变换:将输入图像进行滤波处理,得到输入图像在m个不同尺度上的图像,m∈{4,6,8};
(2)局部对照特征提取:在不同尺度上,分别计算亮度、纹理、颜色三个低级特征的局部对照图,局部对照图计算是采用一个滑动的像素窗口来计算每一位置的局部对照值,对于亮度采用基于韦伯-费克纳法则的方法计算其局部对照图,对于纹理通过灰度方差来计算其局部对照图,对于颜色采用在基于视觉感知的HSI颜色空间中颜色差方法计算其局部对照图;
(3)特征图形成:对每一个特征在各个尺度上的局部对照图进行迭代内插求和运算,形成每个特征的特征图;
(4)全局归一化:归一化计算三幅特征图中每个像素点的显著值,得到三幅显著图;
(5)线性结合:对三幅显著图进行线性结合得到最终的显著图;
所述步骤(2)中在计算每一位置像素的对照值时,该位置与窗口的中心像素相对应,计算该点与周围窗口大小的区域的对照,所得的值作为该位置点的局部对照值;对亮度、纹理、颜色分别计算,得到三幅局部对照图;
基于韦伯-费克纳法则的亮度局部对照图的计算公式如下:
其中,ICM(x,y)为像素点(x,y)处的亮度对照值,c为常数,和分别是第j个窗口内的亮度最大值和平均值,N=(2k+1)×(2k+1)表示窗口内的像素个数;k是非负整数;In表示窗口内任意像素点的亮度值,其中n=1,2,3,...,N;
基于灰度方差的纹理局部对照图的计算公式如下:
其中,In表示窗口内任意像素点的亮度值,其中n=1,2,3,...,N;
基于视觉感知的HSI颜色空间的局部对照图计算方法如下:首先对两个在HSI颜色空间的彩色值Y1=(H1,S1,I1)T和Y2=(H2,S2,I2)T,定义彩色差为:
其中ΔI=|I1-I2|和
因此,颜色局部对照图计算如下式:
所述步骤(3)中形成每个特征的特征图的步骤为:
a从分辨率最低的尺度开始,将分辨率较低的尺度上的局部对照图内插成与其相邻的分辨率较高的尺度大小;
b将内插后的局部对照图与其对应尺度上的局部对照图进行相加;
c以上步骤a、b进行重复迭代运算,直到在分辨率最高的尺度上进行相加为止,得到特征图;
所述步骤(4)中归一化计算三幅特征图中每个像素点的显著值的方法,是:
对由步骤(3)中得到的亮度、纹理和颜色特征图,归一化计算每个像素点的全局显著度,方法如下:
式中,SSM∈{ISM,TSM,CSM}表示显著图,F∈{IFM,TFM,CFM}表示相应的特征图,M和H表示SSM的宽度和高度。
2.根据权利要求1所述的用于智能监控的显著区域提取方法,其特征在于:所述步骤(1)中的滤波是使用高斯金字塔模型对输入图像进行多级滤波。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010292932A CN101944178B (zh) | 2010-09-27 | 2010-09-27 | 用于智能监控的显著区域提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010292932A CN101944178B (zh) | 2010-09-27 | 2010-09-27 | 用于智能监控的显著区域提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101944178A CN101944178A (zh) | 2011-01-12 |
CN101944178B true CN101944178B (zh) | 2012-10-24 |
Family
ID=43436164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010292932A Expired - Fee Related CN101944178B (zh) | 2010-09-27 | 2010-09-27 | 用于智能监控的显著区域提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101944178B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102184557B (zh) * | 2011-06-17 | 2012-09-12 | 电子科技大学 | 一种复杂场景的显著区域检测方法 |
CN102496024B (zh) * | 2011-11-25 | 2014-03-12 | 山东大学 | 智能监控中以特征帧触发的事件检测方法 |
CN102521592B (zh) * | 2011-11-30 | 2013-06-12 | 苏州大学 | 基于非清晰区域抑制的多特征融合显著区域提取方法 |
CN103679716A (zh) * | 2013-12-05 | 2014-03-26 | 河海大学 | 一种基于hls色彩空间的显著区域分层提取方法 |
CN104574366B (zh) * | 2014-12-18 | 2017-08-25 | 华南理工大学 | 一种基于单目深度图的视觉显著性区域的提取方法 |
CN106021610B (zh) * | 2016-06-28 | 2019-09-24 | 电子科技大学 | 一种基于显著区域的视频指纹提取方法 |
CN108797723B (zh) * | 2018-03-27 | 2019-03-12 | 张卫平 | 基于图像检测的智能化冲洗装置 |
CN111914850B (zh) * | 2019-05-07 | 2023-09-19 | 百度在线网络技术(北京)有限公司 | 图片特征提取方法、装置、服务器和介质 |
CN110633708A (zh) * | 2019-06-28 | 2019-12-31 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于全局模型和局部优化的深度网络显著性检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100573523C (zh) * | 2006-12-30 | 2009-12-23 | 中国科学院计算技术研究所 | 一种基于显著区域的图像查询方法 |
US8600135B2 (en) * | 2007-06-28 | 2013-12-03 | Mayo Foundation For Medical Education And Research | System and method for automatically generating sample points from a series of medical images and identifying a significant region |
CN101271525B (zh) * | 2008-04-10 | 2011-05-04 | 复旦大学 | 一种快速的图像序列特征显著图获取方法 |
-
2010
- 2010-09-27 CN CN201010292932A patent/CN101944178B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101944178A (zh) | 2011-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101944178B (zh) | 用于智能监控的显著区域提取方法 | |
CN111080629B (zh) | 一种图像拼接篡改的检测方法 | |
CN111931684B (zh) | 一种基于视频卫星数据鉴别特征的弱小目标检测方法 | |
Zhang et al. | Region of interest extraction in remote sensing images by saliency analysis with the normal directional lifting wavelet transform | |
CN104299009B (zh) | 基于多特征融合的车牌字符识别方法 | |
CN110163188B (zh) | 视频处理以及在视频中嵌入目标对象的方法、装置和设备 | |
CN102495998B (zh) | 基于视觉选择性注意计算模型的静态目标检测方法 | |
CN104616032A (zh) | 基于深度卷积神经网络的多摄像机系统目标匹配方法 | |
Wang et al. | Combined use of FCN and Harris corner detection for counting wheat ears in field conditions | |
CN101179713A (zh) | 复杂背景下单个运动目标的检测方法 | |
CN103853724A (zh) | 多媒体数据分类方法及装置 | |
CN105512622A (zh) | 一种基于图分割和监督学习的可见光遥感图像海陆分割方法 | |
CN105488541A (zh) | 增强现实系统中基于机器学习的自然特征点识别方法 | |
CN104008404B (zh) | 一种基于显著直方图特征的行人检测方法及系统 | |
CN103544488A (zh) | 一种人脸识别方法及装置 | |
CN106056078A (zh) | 一种基于多特征回归式集成学习的人群密度估计方法 | |
CN114332644B (zh) | 一种基于视频卫星数据的大视场交通密度获取方法 | |
Chen et al. | Contrast limited adaptive histogram equalization for recognizing road marking at night based on YOLO models | |
CN110033006B (zh) | 基于颜色特征非线性降维的车辆检测跟踪方法 | |
Soni et al. | Road network extraction using multi-layered filtering and tensor voting from aerial images | |
CN109977862A (zh) | 一种车位限位器的识别方法 | |
CN104615985B (zh) | 一种人脸相似度的识别方法 | |
CN116310868A (zh) | 一种多层次注意力交互的云雪辩识方法、设备及存储介质 | |
Mehta et al. | An ensemble learning approach for resampling forgery detection using Markov process | |
Chen | A feature preserving adaptive smoothing method for early vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121024 Termination date: 20150927 |
|
EXPY | Termination of patent right or utility model |