CN102930542B - 一种基于全局对比度的矢量化显著检测方法 - Google Patents
一种基于全局对比度的矢量化显著检测方法 Download PDFInfo
- Publication number
- CN102930542B CN102930542B CN201210424716.5A CN201210424716A CN102930542B CN 102930542 B CN102930542 B CN 102930542B CN 201210424716 A CN201210424716 A CN 201210424716A CN 102930542 B CN102930542 B CN 102930542B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- vector
- value
- eigenvector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明一种基于全局对比度的矢量化显著检测方法,包括步骤:1)提取图像中每个像素点的特征矢量,将图像中所有像素的特征矢量构成特征矩阵;2)对特征矩阵沿行方向求均值,得到图像的均值矢量;3)将特征矩阵的转置中每个元素取平方后沿行方向求和,将求和结果与特征矩阵的转置和均值矢量乘积的2倍相减得到图像的显著度矢量;4)将图像的显著度矢量形成该图像的显著谱。本发明相比现有的基于全局对比度的显著检测方法,更高效、计算复杂度低。
Description
技术领域
本发明提出一种图像处理技术,特别涉及一种图像显著检测方法。
背景技术
人类具有一种天生的选择性视觉能力,能够在认知过程完成之前,快速扫视复杂场景并将注意力聚焦在一些显著的区域上。有研究表明人眼视觉系统只是有效处理众多感知信息中最不寻常的部分,所以这种选择性视觉能力有助于大脑和视觉系统打破信息处理的瓶颈。而且在计算机视觉处理中,模拟这种能力来提取显著谱也是至关重要的,因为显著谱已广泛地应用于许多计算机视觉的处理和研究中,包括内容感知的图像缩略图、自适应编码、智能图像尺寸重建、自动对象分割以及图像和视频摘要等。
视觉显著性是一种能够让一个物体从其邻域中区分出来的感知属性。在过去几十年间,相关研究者提出了各种图像显著检测模型。这些模型以自底向上、自顶向下和混合的形式加以实现。自底向上模型模拟人眼快速的、靠刺激驱动的注意力产生过程,而自顶向下模型模拟相对较慢的、依赖于某种视觉任务的注意力部署过程。
自底向上模型由于其与生理学的视觉理论之间的关系更容易理解而被研究的更多,该模型主要采用一些简单的特征来进行建模,比如亮度、对比度、颜色和运动等。目前,自底向上方法可以大致分为两大类,即基于局部对比度和全局对比度的方法。基于局部对比度的方法一般根据“中心-环绕”假设理论,从图像的局部邻域中提取显著特征。该方法提取出的图像显著谱通常更加突出对象的边界,并且由于在利用多尺度方法提取局部对比度特征时采用了剧烈的下采样,使得显著谱的分辨率很低。基于全局对比度的方法整合整幅图像的所有特征信息来计算显著谱。通常,这种方法生成的显著谱具有较高的分辨率、均匀的显著区域和清晰的边界。然而,这种方法在计算每个像素的显著值时,需要考虑该像素与图像中所有像素的对比度,并且现有方法大多对每个像素的显著度分别进行计算,运算量很大。
发明内容
本发明所要解决的技术问题是复杂度较低的基于全局对比度的矢量化显著检测方法。
本发明为解决上述技术问题所采用的技术方案是,一种基于全局对比度的矢量化显著检测方法,其特征在于,包括以下步骤:
1)提取图像中每个像素点的特征矢量,将图像中所有像素的特征矢量构成特征矩阵,特征矩阵的每一列为对应的一个像素点的特征矢量,特征矩阵的列数与图像中像素点个数相等;
2)对特征矩阵沿行方向求均值,得到图像的均值矢量;
3)将特征矩阵的转置中每个元素取平方后沿行方向求和,将求和结果与特征矩阵的转置和均值矢量乘积的2倍相减得到图像的显著度矢量;
4)将图像的显著度矢量归一化至[0,255]区间,按照矢量中各元素对应的像素在图像中的位置排列成矩阵,形成该图像的显著谱,显著谱中亮度越高的像素点其显著度越高。
具体的,所述像素点的特征矢量为像素点的像素值的转置。
具体的,对特征矩阵沿行方向求均值,得到图像的均值矢量为其中N表示图像I中像素点的总个数,xq表示图像I中的任意一个像素点的特征矢量。
优选的,所述像素点的特征矢量为像素点的像素值与去除亮度值后的颜色值所组成的矢量的转置;所述去除亮度值后的颜色值为(R′,G′,B′),[R′,G′,B′]=[R-L,G-L,B-L],其中L表示亮度,R表示红色通道强度,G表示绿色通道强度,B表示蓝色通道强度。
优选的,对特征矩阵沿行方向求均值,得到图像的均值矢量为其中,xq表示图像I中的任意一个像素点的特征矢量,K为归一化常数,K使 ωp,q表示像素点q和p的近似程度;||q-p||表示像素点q和p的空间距离,||·||表示L2范数。
本发明的有益效果是,相比现有的基于全局对比度的显著检测方法,更高效、计算复杂度低。之后提出的优化方法,进一步提高了检测结果的准确性和鲁棒性。
附图说明
图1为本发明流程图。
图2为优化原则1的示意图。
图3为(a)和(d)为原始图像,(b)和(e)为使用实施例1方法得到显著谱,(c)和(f)使用实施例2方法得到的显著谱。
图4为(a)和(d)为原始图像,(b)和(e)为使用实施例1方法得到显著谱,(c)和(f)使用实施例3方法得到的显著谱。
具体实施方式
在基于全局对比度的显著模型中,图像I中任一像素p的显著值Sg(p)表示为:
其中,Ip表示像素点p的颜色值,D(Ip,Iq)表示像素点p和q的颜色值距离,像素点q∈I。
通过将D(Ip,Iq)表示为欧式距离平方,公式(1)可以重新表示为:
其中,xp=(x1,x2,x3)T为像素点p的特征矢量。像素点的特征矢量为像素点的像素值的转置。具体的,当像素点采用CIELAB颜色空间表示时,该像素点的像素值为(L,a,b),其中分量L表示亮度,分量a表示由绿色到红色的光谱变化,分量b表示由蓝色到黄色的光谱变化;当像素点采用YUV格式表示时,该像素点的像素值为(Y,U,V),分量Y表示亮度,分量U表示输入信号红色部分与信号亮度值之间的色差分量,分量V表示输入信号蓝色部分与信号亮度值之间的色差分量;当像素点采用RGB格式表示时,该像素点的像素值为(R,G,B),R分量表示红色通道强度,分量G表示绿色通道强度,分量B表示蓝色通道强度。N表示图像I的像素个数,表示所有像素的特征矢量的平均矢量。由于给定一幅图像,公式(2)的第三项为一个常数,就可以得到一个基于全局对比度显著检测的矢量模型:
其中,∝表示呈线性正比关系。本发明基于该矢量模型为基础,能够非常高效地得到整幅图像的显著谱。
以下为在MatlabR2010b实验平台上进行本发明提出的基于全局对比度的矢量化显著检测。
实施例1
本发明在MatlabR2010b实验平台上进行实现,如图1所示主要包括三个步骤,分别是图像特征矩阵的提取,均值矢量计算及显著值矢量计算,具体如下:
步骤一、提取图像中每个像素点的特征矢量,将图像中所有像素的特征矢量构成特征矩阵,特征矩阵的每一列为对应的一个像素点的特征矢量,特征矩阵的列数与图像中像素点个数相等。如果某像素点p的特征矢量为xp=(x1,x2,x3)T,将所有像素的特征矢量拼接在一起,构造一个3×N的特征矩阵F,N为图像中所有像素个数;
步骤二、对特征矩阵沿行方向求均值,得到图像的均值矢量
步骤三、根据公式(3),将特征矩阵的转置FT中每个元素取平方后沿行方向求和,将求和结果与特征矩阵的转置和均值矢量乘积的2倍相减得到图像的显著度矢量S=sum(FT.^2,2)-2(FT*μx);Matlab中sum(FT.^2,2)表示将特征矩阵F的转置中每个元素取平方后,沿第二维(行方向)求和,即返回一个包含每一行所有元素的总和的列向量,sum(FT.^2,2)的结果为一个N1的列向量;2(FT*μx)表示特征矩阵的转置F和均值矢量μx乘积的2倍,2(FT*μx)的结果也是一个N*1的列向量;
步骤四:将图像的显著度矢量归一化至[0,255]区间,按照矢量中各元素对应的像素在图像中的位置排列成矩阵,形成该图像的显著谱,显著谱中亮度越高的像素点其显著度越高。
以图3、图4为例,其中的(a)、(d)均为待进行显著度检测的原始图像,其中的(b)、(e)为采用了实施例1方法后的显著谱,可以看出实施例1的方法能够有效地识别图像中的显著区域,但检测的鲁棒性还有待提高。
为了对实施例1进行优化,对式(3)表示的全局对比度显著检测的矢量模型做进行分析:
其中,∝表示呈线性正比,|xp|为矢量xp的幅值,θ为矢量xp和2μx的夹角,2|μx|cosθ为2μx在xp上的映射。根据公式(3)的矢量模型,像素的显著值Sg(p)依赖于两个量,即θ和|xp|。通过对矢量模型的进行优化,可以提高显著检测的准确性和鲁棒性。
优化的基于的原则为以下两点:
原则1:根据显著性的全局稀有原则,显著像素的特征应该不同于其他像素。用公式(3)来表示,显著像素的cosθ应该尽量小。
原则2:图像的平均特征应该主要取决于非显著像素的特征。也就是说,非显著像素与μx的夹角应该尽量小。在计算图像的均值矢量时,非显著像素应该比显著像素贡献更多。
于是,针对上面的的矢量模型,在实施例1的基础上提出了两种优化实例:
实施例2
该优化方案依据原则1,使显著像素的矢量进一步的偏离图像的均值矢量。如图2所示,当原始特征矢量xp为由元素x1,x2确定,集合内所有元素的平均μx与原始特征矢量xp之间的偏离度为θ;增加了元素x3来优化特征矢量,优化后的特征矢x′p由元素x1,x2,x3确定,重新确定的集合内所有元素的平均与优化后的特征矢量x′p之间的偏离度为θ′。说明了,如果将像素的特征矢量中添加新的能有效区分显著和非显著像素的特征,能够使显著像素的矢量更加偏离图像均值矢量。
由于颜色对比度是吸引人眼注意力的一种重要特征,并且它所具备的高级显著性相对于亮度对比度能够更加吸引人的注意。因此,实施例2将颜色感知特征作为新特征加入像素点的特征矢量中。给定一幅图像,用Rp、Gp和Bp表示图像中任意一个像素p的RGB颜色值,Lp表示其亮度值。像素p的颜色感知特征表示为:
[R′p,G′p,B′p]=[Rp-Lp,Gp-Lp,Bp-Lp](4)
式(4)中的相减运算能够较大地去除颜色通道中的亮度分量,而保留主要的颜色信息。将颜色感知的特征加入原来的颜色矢量,得到新的特征矢量x′p=(x1,x2,x3,R′p,G′p,B′p)T,这样在基于实施1步骤不变的情况下,使用了新增加了颜色感知特征的特征矢量,图像的特征矩阵F为一个大小为6×N的矩阵。
图3中(c)、(f)为使用了实施例2方法得到的显著谱,相对于实施例1的结果而言,显著检测的准确性和鲁棒性有明显提升。
实施例3
根据矢量模型(3),像素的显著值与图像的均值矢量μx有很大关系。依据优化原则2,用相似像素距离和来改变图像均值矢量的构建方式,让均值矢量偏向更有可能是背景的一些非显著像素。
图像中任意一个像素p的相似像素距离和定义为:
其中,ωp,q用于衡量像素p和q的近似程度,可以用其颜色距离表示,||p-q||表示两个像素位置的空间距离,||·||表示L2范数。由于背景像素分布更加发散,前景物体更加集中,对于具有较大相似像素距离和的像素,其越有可能是背景的非显著像素,用它来计算均值矢量时,应该赋予更大的概率权重。
利用相似像素距离和改变像素的概率,优化后的均值矢量表示为:
其中,K为归一化常数,使参数σp用于控制概率加权的强度,是一个经验值,根据实际情况可调,本实施例设为0.1;根据式(5),这样在基于实施1步骤不变的情况下,在计算图像的均值矢量时使用优化的均值矢量算法,这样矢量模型优化为:
图4中(c)、(f)为使用了实施例3方法得到的显著谱,相对于实施例1的结果而言,显著检测的准确性和鲁棒性有明显提升。
实施例4
在实施例1的基础上结合实施2、3的那种优化方式,进行显著检测:
步骤一、提取每个像素的特征矢量,进一步构造整幅图像的特征矩阵,每个像素的特征矢量为x′p=(x1,x2,x3,R′p,G′p,B′p)T,将所有像素的特征矢量拼接在一起,构造一个6×N的特征矩阵F,N为图像中所有像素个数;
步骤二、按照公式(6)用每个像素的相似像素距离和对特征矢量进行加权后,对特征矩阵F沿着第二维(行方向)求均值,得到图像的均值矢量 其中,xq表示图像I中的任意一个像素点的特征矢量,K为归一化常数,K使 ωp,q表示像素点q和p的近似程度;||q-p||表示像素点q和p的空间距离;
步骤三、根据公式(7),将矩阵F的转置每个元素取平方后,沿第二维(行方向)求和,再与FT和乘积的2倍相减,得到所有像素显著值的矢量S,
步骤四:然后将矢量S归一化到[0-255]区间,按照像素位置重新排序成矩阵后,即得到了图像的显著谱。
Claims (6)
1.一种基于全局对比度的矢量化显著检测方法,其特征在于,包括以下步骤:
1)提取图像中每个像素点的特征矢量,将图像中所有像素的特征矢量构成特征矩阵,特征矩阵的每一列为对应的一个像素点的特征矢量,特征矩阵的列数与图像中像素点个数相等;
2)对特征矩阵沿行方向求均值,得到图像的均值矢量;
3)将特征矩阵的转置中每个元素取平方后沿行方向求和,将求和结果与特征矩阵的转置和均值矢量乘积的2倍相减得到图像的显著度矢量;
4)将图像的显著度矢量归一化至[0,255]区间,按照矢量中各元素对应的像素在图像中的位置排列成矩阵,形成该图像的显著谱,显著谱中亮度越高的像素点其显著度越高。
2.如权利要求1所述一种基于全局对比度的矢量化显著检测方法,其特征在于,所述像素点的特征矢量为像素点的像素值的转置。
3.如权利要求2所述一种基于全局对比度的矢量化显著检测方法,其特征在于,当像素点采用CIELAB颜色空间表示时,该像素点的像素值为(L,a,b),其中分量L表示亮度,分量a表示由绿色到红色的光谱变化,分量b表示由蓝色到黄色的光谱变化;
当像素点采用YUV格式表示时,该像素点的像素值为(Y,U,V),分量Y表示亮度,分量U表示输入信号红色部分与信号亮度值之间的色差分量,分量V表示输入信号蓝色部分与信号亮度值之间的色差分量;
当像素点采用RGB格式表示时,该像素点的像素值为(R,G,B),R分量表示红色通道强度,分量G表示绿色通道强度,分量B表示蓝色通道强度。
4.如权利要求1所述一种基于全局对比度的矢量化显著检测方法,其特征在于,所述像素点的特征矢量为像素点的像素值与去除亮度值后的颜色值所组成的矢量的转置;
所述去除亮度值后的颜色值为(R′,G′,B′),[R′,G′,B′]=[R-L,G-L,B-L],其中L表示亮度,R表示红色通道强度,G表示绿色通道强度,B表示蓝色通道强度。
5.如权利要求1所述一种基于全局对比度的矢量化显著检测方法,其特征在于,对特征矩阵沿行方向求均值,得到图像的均值矢量为其中N表示图像I中像素点的总个数,xq表示图像I中的任意一个像素点的特征矢量。
6.如权利要求1所述一种基于全局对比度的矢量化显著检测方法,其特征在于,对特征矩阵沿行方向求均值,得到图像的均值矢量为其中,xq表示图像I中的任意一个像素点的特征矢量,K为归一化常数,K使
ωp,q表示像素点q和p的近似程度;||q-p||表示像素点q和p的空间距离,||·||表示L2范数,σp为一个检验值,用于控制概率加权的强度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210424716.5A CN102930542B (zh) | 2012-10-31 | 2012-10-31 | 一种基于全局对比度的矢量化显著检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210424716.5A CN102930542B (zh) | 2012-10-31 | 2012-10-31 | 一种基于全局对比度的矢量化显著检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102930542A CN102930542A (zh) | 2013-02-13 |
CN102930542B true CN102930542B (zh) | 2015-11-18 |
Family
ID=47645332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210424716.5A Expired - Fee Related CN102930542B (zh) | 2012-10-31 | 2012-10-31 | 一种基于全局对比度的矢量化显著检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102930542B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463917B (zh) * | 2014-11-06 | 2017-10-03 | 云南大学 | 基于除法归一化的图像视觉显著性检测方法 |
CN107578060B (zh) * | 2017-08-14 | 2020-12-29 | 电子科技大学 | 一种基于可判别区域的深度神经网络用于菜品图像分类的方法 |
CN109685806B (zh) * | 2018-11-14 | 2020-06-30 | 武汉科技大学 | 图像显著性检测方法及装置 |
CN113870263B (zh) * | 2021-12-02 | 2022-02-25 | 湖南大学 | 一种路面缺陷损伤实时监测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101976338A (zh) * | 2010-10-29 | 2011-02-16 | 杭州电子科技大学 | 一种基于梯度方向直方图的判决式视觉显著性检测方法 |
CN101984464A (zh) * | 2010-10-22 | 2011-03-09 | 北京工业大学 | 一种图像中不同区域视觉显著程度的检测方法 |
-
2012
- 2012-10-31 CN CN201210424716.5A patent/CN102930542B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101984464A (zh) * | 2010-10-22 | 2011-03-09 | 北京工业大学 | 一种图像中不同区域视觉显著程度的检测方法 |
CN101976338A (zh) * | 2010-10-29 | 2011-02-16 | 杭州电子科技大学 | 一种基于梯度方向直方图的判决式视觉显著性检测方法 |
Non-Patent Citations (1)
Title |
---|
Saliency Detection from Joint Embedding of Spatial and Color Cues;Linfeng Xu等;《Circuits and Systems (ISCAS), 2012 IEEE International Symposium on》;20120523;2673 - 2676 * |
Also Published As
Publication number | Publication date |
---|---|
CN102930542A (zh) | 2013-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Omachi et al. | Detection of traffic light using structural information | |
CN102867313B (zh) | 一种融合区域颜色和HoG特征的视觉显著性检测方法 | |
WO2015180527A1 (zh) | 一种图像显著性检测方法 | |
Fei et al. | Visual tracking based on improved foreground detection and perceptual hashing | |
CN103247059A (zh) | 一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法 | |
CN102930542B (zh) | 一种基于全局对比度的矢量化显著检测方法 | |
CN104572971A (zh) | 图像检索的方法和装置 | |
CN102903081A (zh) | 基于rgb彩色模型的低光照图像增强方法 | |
CN104766071B (zh) | 一种应用于无人驾驶汽车的交通灯快速检测算法 | |
CN103544484A (zh) | 一种基于surf的交通标志识别方法及系统 | |
KR20220050977A (ko) | 의료 이미지 처리 방법, 이미지 처리 방법 및 장치 | |
CN103996198A (zh) | 复杂自然环境下感兴趣区域的检测方法 | |
CN103020965A (zh) | 一种基于显著性检测的前景分割方法 | |
CN102881160B (zh) | 一种低照度场景下的户外交通标志识别方法 | |
CN105427257A (zh) | 图像增强方法及装置 | |
CN104143077B (zh) | 基于图像的行人目标检索方法和系统 | |
CN102063627B (zh) | 基于多小波变换的自然图像和计算机生成图像的识别方法 | |
CN103544488B (zh) | 一种人脸识别方法及装置 | |
CN109242796A (zh) | 文字图像处理方法、装置、电子设备和计算机存储介质 | |
CN105138987A (zh) | 一种基于聚合通道特征和运动估计的车辆检测方法 | |
CN109961416A (zh) | 一种基于形态学梯度多尺度融合的营业执照信息提取方法 | |
CN103632153A (zh) | 一种基于区域的图像显著图提取方法 | |
CN103325114A (zh) | 基于改进视觉注意模型的目标车辆匹配方法 | |
CN102938152B (zh) | 一种视频监控中的背景建模方法 | |
CN109101945A (zh) | 一种交通视频监控图像中的多车牌检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151118 Termination date: 20181031 |