CN104392463B - 一种基于联合稀疏多尺度融合的图像显著区域检测方法 - Google Patents

一种基于联合稀疏多尺度融合的图像显著区域检测方法 Download PDF

Info

Publication number
CN104392463B
CN104392463B CN201410781962.5A CN201410781962A CN104392463B CN 104392463 B CN104392463 B CN 104392463B CN 201410781962 A CN201410781962 A CN 201410781962A CN 104392463 B CN104392463 B CN 104392463B
Authority
CN
China
Prior art keywords
image
image block
yardstick
notable
under
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410781962.5A
Other languages
English (en)
Other versions
CN104392463A (zh
Inventor
张小华
焦李成
孟珂
田小林
朱虎明
马文萍
刘红英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201410781962.5A priority Critical patent/CN104392463B/zh
Publication of CN104392463A publication Critical patent/CN104392463A/zh
Application granted granted Critical
Publication of CN104392463B publication Critical patent/CN104392463B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/513Sparse representations

Abstract

本发明属于图像显著区域检测技术领域,具体公开了一种基于联合稀疏多尺度融合的图像显著区域检测方法,其步骤包括:(1)对训练图像集构造出多层高斯金字塔实现多尺度化,训练得到各个尺度下的字典;(2)对测试图像中的每一个像素点取图像块,联合稀疏求解该图像块在各个尺度下的稀疏表示系数;(3)将稀疏表示系数作为特征,进行显著性的计算;(4)融合多个尺度下的显著结果得到最终的显著图。本发明实现了提取任意给定图像中人眼感兴趣区域的目的,其优点在于:首先,多尺度操作克服了图像不同尺度下的影响;其次,联合稀疏框架非常有益于后续的显著度计算。实验表明,本方法的结果具有较好的鲁棒性,优于大多数现有方法的结果。

Description

一种基于联合稀疏多尺度融合的图像显著区域检测方法
技术领域
本发明属于图像显著区域检测技术领域,可用于提取任意给定图像中人眼所感兴趣的区域,为图像处理后续的视频图像压缩、图像分割、目标识别、图像修补、图像检索等工作提供较好的参考信息,具体是一种基于联合稀疏多尺度融合的图像显著区域检测方法。
背景技术
人类从外界环境获取的信息中有80%是来自于视觉系统,人的眼睛在面对一副复杂场景的时候,会迅速地将目光转移到感兴趣的区域上面,并对这些区域进行优先以及进一步的处理,人眼的这种特殊处理机制就叫做视觉注意机制。在日常生活中,人眼每天会获得大量的信息,并且自动高效的进行加工和处理,人眼的视觉注意机制就是在这样的环境下训练形成的。显著区域检测问题是基于视觉注意模型的,而视觉注意模型正是模拟上述人眼的视觉注意机制,并用数学方法建模和计算,形成了图像处理领域的一个重要研究课题,它涉及到生物学、计算机视觉、图像处理、心理学等学科领域,可用于视频图像压缩、图像分割、目标识别、图像修补、图像检索等方面。
按照视觉信息处理方式,可将视觉注意模型分为自底向上和自顶向下,目前研究较多的是自底向上的,它对图像的颜色、亮度、纹理等信息进行处理,从而找到图像的显著区域,是基于数据驱动,不受意识支配,且独立于具体任务的。自底向上的视觉注意模型大体包含以下几类:一是基于信息融合理论和引导搜索模型的计算模型;二是基于统计或者概率分布的认知模型;三是基于信息论最大熵理论的模型;四是基于频域利用傅立叶变换或小波变换等方法的计算模型;五是基于字典学习或支持向量机的学习模型。
尽管目前自底向上的显著区域检测算法取得了不错的效果,但是大多数方法如经典的Itti方法和SR方法,它们的计算过程存在一个很严重的问题和缺陷。在检测的时候,很容易使得检测结果集中在目标的边缘上,难以检测到整个显著目标,这是因为大多数自底向上方法使用了中心-周边差操作,由于边缘上的像素点和周边像素点的特征差异较大,关注度较高;而位于目标中心区域的像素点和与周边像素点特征差异较小,从而关注度较低。
发明内容
本发明的目的是克服上述现有技术中存在的不足,提出一种基于联合稀疏多尺度融合的图像显著区域检测方法,以实现给定一幅图像,在没有任何任务的前提下得到图像的显著性目标区域。
本发明目的技术方案是:一种基于联合稀疏多尺度融合的图像显著区域检测方法,包括以下步骤:
(1)对训练图像集进行预处理,将RGB彩色图像转化为灰度图像;
(2)对于训练图像集中的每一幅图像,构造其多尺度高斯金字塔,得到多尺度的训练集{T1、T2…Tn},其中Ti为i尺度下的图像,n为多尺度的数目;
(3)对于构造好的多尺度训练集{T1、T2…Tn},对各个尺度分别应用KSVD字典训练算法训练稀疏表示字典{D1、D2…Dn}∈Rm×k,其中Di为i尺度下的稀疏表示字典,m×k表示字典的规模,m是行数,k为列数或字典原子的个数;
(4)对于输入的每一幅测试图像,按照(2)的方法对它构造多尺度高斯金字塔,然后在各个尺度下分别对输入图像的每一个像素点取块并对图像块进行聚类,然后采用联合稀疏求解的框架,对于每一类图像块按下式求解该类图像块集合的稀疏表示系数,因此也就得到尺度l下每一个图像块xi的稀疏表示系数αi
其中表示聚类后与图像块xi为一类的图像块的集合,t表示与图像块xi为一类的图像块有t个,xi,j表示集合Pi中第j个与图像块xi为一类的图像块;表示图像块xi和图像块集合Pi的稀疏表示系数集合,矩阵Ai的行数为k列数为t+1,αi表示图像块xi的稀疏表示系数,αi,j表示矩阵Ai的第j+1列即第j个与图像块xi为一类的图像块xi,j的稀疏表示系数,αf表示矩阵Ai的第f行。联合稀疏求解得到的稀疏表示系数的非零元素位置是相同的,D表示对应尺度l的稀疏表示字典;
(5)由(4)求得每一个图像块xi的稀疏表示系数αi,将其作为图像中每一个图像块xi的特征,进而使用该特征去衡量每一个图像块的显著性,图像中每个像素点i的显著性定义为以像素点i为中心的图像块与图像中其它所有块的相似性,这里使用稀疏表示系数来计算每个像素点的显著性:
其中l∈1,...,n表示尺度;Sl(xi)表示尺度l下图像块xi的显著性;L表示尺度l下图像中图像块的总个数;表示图像块xi和xj的相似性的权值,pi和pj分别为在尺度l下以位置i和j为中心的图像块拉成的列向量,σ1为伸缩系数;表示用图像块xi和xj对应稀疏表示系数去计算两图像块的相似性,αi和αj分别为图像块xi和xj的稀疏表示系数向量,σ2为伸缩系数;
(6)重复(4)、(5),计算每个尺度下的显著结果;将多尺度下的显著结果归一化并做显著性处理,对处理后的结果进行多尺度之间的融合,进而得到最终的显著结果,再选定特定的阈值,划分出检测到的显著区域。
上述(2)和(4)中的对于图像构造多尺度高斯金字塔,,其包括采样和平滑处理这两个步骤,具体操作如下:
设输入图像I的大小为2M×2N,用I(K)表示金字塔的第K层,大小为2i×2j,0≤i≤M,0≤j≤N,第一层就为I(1)=2M×2N=I,则第K+1层的公式为:
其中C(m,n)为采样核函数,取为高斯核函数,其滤波器模板为:
首先对输入图像进行下采样,然后用高斯滤波器对下采样后的图像进行滤波,最终建立金字塔结构的多尺度空间图像。
上述(6)中所述的将多尺度下的显著结果归一化并做显著性处理,对处理后的结果进行多尺度之间的融合,包括对各个尺度的归一化及显著性处理、多个尺度之间的融合这两个步骤,具体操作如下:
1)各个尺度的归一化及显著性处理:
归一化处理是将显著图归一化到[0,N]上:
S'=(S-Smin)/(Smax-Smin)×N
其中S为归一化处理之前的显著图,Smin为S中最小值,Smax为S中最大值;N为图像灰度值范围内的任意正整数;S'为归一化处理之后的显著图。
显著性处理是将归一化后的显著图乘以系数(Mg-Ml):
S'=S×(Mg-Ml)2
其中S为显著性处理之前的显著图;Mg为S中的全局最大值,Ml为S中除全局最大值Mg外的其余的局部最大值的平均值,S'为显著性处理之后的显著图。
2)多个尺度之间的融合:
首先,由于不同尺度下的显著图其分辨率是不同的,所以对低尺度下的显著图进行插值,使得各个尺度下的显著图有着相同的分辨率,然后对各个尺度下的显著图进行融合,融合公式如下:
S=S1□S2□...□Sn
其中S1、S2...Sn分别表示尺度l=1、2...n时得到的显著图;□表示融合操作,可以取+、×、max或min;S表示融合之后的显著图。
本发明的有益效果:本发明首先使用了多尺度下的结果,克服了显著区域检测中,人眼对于不同尺度图像观测得到不同显著区域的缺点;其次,在计算稀疏表示系数时,选取了联合稀疏求解的框架,这就运用到了图像自身相似性的特点,在求解的时候迫使相似的图像块有相似的稀疏表示系数,而这在后续的显著度计算中是极其有益的。
附图说明
图1是本发明的基于联合稀疏多尺度融合的图像显著区域检测方法的流程图;
图2是图deer检测到的结果;
其中:(a)是输入图像,尺寸为531×800;
(b)是最终输出检测到的显著区域;
(c)是尺度1/4下得到的显著图;
(d)是尺度1/8下的得到的显著图;
(e)是尺度1/16下得到的显著图;
(f)是归一化及融合之后的显著图。
图3是图dusk检测到的结果;
其中:(a)是输入图像,尺寸为527×800;
(b)是最终输出检测到的显著区域;
(c)是尺度1/4下得到的显著图;
(d)是尺度1/8下的得到的显著图;
(e)是尺度1/16下得到的显著图;
(f)是归一化及融合之后的显著图。
图4是图像deer的实验对比;
其中:(a)是本发明方法的显著图;
(b)是本发明方法检测的显著区域;
(c)Itti方法的显著图;
(d)Itti方法检测的显著区域;
(e)SR方法的显著图;
(f)SR方法检测的显著区域。
图5是图像dusk的实验对比;
其中:(a)是本发明方法的显著图;
(b)是本发明方法检测的显著区域;
(c)是Itti方法的显著图;
(d)是Itti方法检测的显著区域;
(e)是SR方法的显著图;
(f)是SR方法检测的显著区域。
具体实施方式
下面结合附图对本发明的具体实施步骤和效果做进一步的详细描述:
参照图1,本发明的实现步骤如下:
步骤1,对训练图像集进行预处理,将RGB彩色图像转化为灰度图像,后续将对灰度图像进行处理。
步骤2,对于训练图像集中的每一幅图像,构造其多尺度高斯金字塔,得到多尺度的训练集{T1、T2…Tn},其中Ti为i尺度下的图像,n为多尺度的数目。
在本实施例中,训练图像集中共有图像65幅,多尺度数目n取为3,分别为1/4,1/8,1/16。
图像的多尺度表示方法最早由Rosenfeld和Thurston在1971年提出,他们发现用不同大小的算子对图像进行边缘检测的效果要比用固定大小的算子的效果好;后来Klinger、Hanson、Risenman、Tanimoto等也分别在各自工作中提出用不同分辨率表示图像的方法;Burt和Crouely对这种多尺度表示的思想进行了总结,提出金字塔结构表示方法。
步骤2要求对图像集中的每一幅图像进行多尺度高斯金字塔的建立,多尺度空间表示主要包括两个步骤,即采样和平滑处理,具体操作如下:
设输入图像I的大小为2M×2N,用I(K)表示金字塔的第K层,大小为2i×2j,0≤i≤M,0≤j≤N,第一层就为I(1)=2M×2N=I,则第K+1层的公式为:
其中C(m,n)为采样核函数,取为高斯核函数,其滤波器模板为:
这样,首先对输入图像进行下采样,然后用高斯滤波器对下采样后的图像进行滤波,对图像进行了平滑处理,在一定程度上消除了高频噪声的影响,鲁棒性较好,最终建立了金字塔结构的多尺度空间图像。本发明在实际操作中尺度数n取为3,3个尺度分别为1/4、1/8、1/16。
步骤3,对于构造好的多尺度训练集{T1、T2…Tn},对各个尺度分别应用KSVD字典训练算法训练稀疏表示字典{D1、D2…Dn}∈Rm×k,其中Di为i尺度下的稀疏表示字典,m×k表示字典的规模,m是行数,k为列数或字典原子的个数。
在本实施例中,图像分块为m=5×5,字典内原子数目为k=200,KSVD训练得到字典为{D1、D2、D3}∈R25×200
步骤4,对于输入的每一幅测试图像,按照步骤(2)的方法对它构造多尺度高斯金字塔,然后在各个尺度下分别对输入图像的每一个像素点取块并对图像块进行聚类,然后采用联合稀疏求解的框架,对于每一类图像块按下式求解该类图像块集合的稀疏表示系数,因此也就得到尺度l下每一个图像块xi的稀疏表示系数αi
其中表示聚类后与图像块xi为一类的图像块的集合,t表示与图像块xi为一类的图像块有t个,xi,j表示集合Pi中第j个与图像块xi为一类的图像块;表示图像块xi和图像块集合Pi的稀疏表示系数集合,矩阵Ai的行数为k列数为t+1,αi表示图像块xi的稀疏表示系数,αi,j表示矩阵Ai的第j+1列即第j个与图像块xi为一类的图像块xi,j的稀疏表示系数,αf表示矩阵Ai的第f行。联合稀疏求解得到的稀疏表示系数的非零元素位置是相同的,D表示对应尺度l的稀疏表示字典。
在本实施例中,输入的带检测图像deer为RGB彩色图像,如图2(a),该图像尺寸为531×800;待检测图像dusk为RGB彩色图像,如图3(a),该图像尺寸为527×800;对于每一个通道每一个尺度联合稀疏求解时,首先要对该尺度下所有图像块进行聚类,对于每一类应用上面的框架进行稀疏表示系数的求解,操作中聚类数目l为30;Ai中k为25。
首先介绍稀疏表示的概念,稀疏表示是最近几年信号处理领域的热点之一,简单来说,它是一种对原始信号的分解过程。其基本思想是假设信号能被压缩表示,或者由事先定义的原子线性组合表示,那么分解过程借助该原子集合(或者叫字典),将输入信号表示为字典的原子的线性组合,以对输入信号进行近似估计。假设输入信号为y∈Rm,字典D=[d1,d2,...,dk]∈Rm×k(m<k)包含k个原子,输入信号的稀疏表示问题表述为:
其中Dα是输入信号的估计;||α||p是稀疏正则项,当p=1时,它表示l1范数,上述问题就是著名的Lasso问题或者BP问题;当p=0时,它表示l0伪范数。
对于图像处理问题来说,上面输入信号就转化为要稀疏表示的图像整体,因为图像通常规模较大,考虑到处理的效率,把图像分成若干个图像块,对每个图像块做稀疏表示。假设一幅图像规模为n,在图像中逐像素点重叠取规模为m(通常取为m=3×3,5×5,7×7))的图像块,对应的实现训练好的字典为D∈Rm×k,那么整幅图像的稀疏表示化为这样的一个优化问题:
其中C是属于Rm×k的列归一化的矩阵集合;A=[α1,...,αn]是属于Rm×k的矩阵;yi是图像中以第i个像素点为中心的图像块;αi是图像块yi对应的稀疏表示系数;Dαi是图像块yi对应的估计值。
在图像显著区域检测这个具体问题上,一般认为这是一个二分类问题,即将要检测到的显著区域或物体为一类作为前景,剩下的为背景。在大多数图像中,背景都是大片冗余出现的,而且背景都是渐变区域且占图像绝大部分,也就是说背景的自相似性是很高。另一方面,要检测的显著区域,是一个局部的物体或区域,在这个局部区域内部,也认为它有着自相似性。
所以,为了应用到前景和背景的自相似性,引入了联合稀疏的概念,其基本思想是:对图像块进行相似性度量,对相似的图像块进行统一的稀疏求解,使它们的稀疏性模式相同,也就是稀疏表示系数中非零元素的位置相同,使相似的图像块在稀疏空间中也具有相似性。
假设有矩阵A=[α1,...,αl]∈Rk×l,定义矩阵A的lp,q范数为:
其中αi表示矩阵A的第i行,在实际操作中,(p,q)通常取值为(1,2)或者(0,∞),取(1,2)时||A||p,q是一个凸范数,取(0,∞)时||A||p,q是一个伪范数,实际上是统计矩阵A中非零行的数目。
然后,应用矩阵A的lp,q范数的定义对上面稀疏表示框架进行改进,提出了联合稀疏表示的框架,即在对一副输入图像进行稀疏表示时,先把图像分成若干个图像块,对全部的图像块进行聚类,对于每一类相似的图像块去联合稀疏求解。假设一幅图像规模为n,在图像中逐像素点重叠取规模为m的图像块,对全部图像块进行聚类操作,定义其中某一类与图像块yi相似的图像块集合为:
给定一个固定的字典为D∈Rm×k,与图像块yi相似的图像块集合的稀疏表示问题为:
其中表示属于Si集合内的图像块的稀疏表示系数组成的矩阵,m为图像块的规模,k为字典D内原子的个数,|Pi|为与图像块yi相似的图像块集合的图像块数目。对于每一聚类做类似的操作,就可以求解出每一个图像块的稀疏表示系数,进而可以进行后续的每一个图像块也就是输入图像中每个像素点的显著性的度量。
步骤5,由步骤(4)求得每一个图像块xi的稀疏表示系数αi,将其作为图像中每一个图像块xi的特征,进而使用该特征去衡量每一个图像块的显著性,图像中每个像素点i的显著性定义为以像素点i为中心的图像块与图像中其它所有块的相似性,这里使用稀疏表示系数来计算每个像素点的显著性:
其中l∈1,...,n表示尺度;Sl(xi)表示尺度l下图像块xi的显著性;L表示尺度l下图像中图像块的总个数;表示图像块xi和xj的相似性的权值,pi和pj分别为在尺度l下以位置i和j为中心的图像块拉成的列向量,σ1为伸缩系数;表示用图像块xi和xj对应稀疏表示系数去计算两图像块的相似性,αi和αj分别为图像块xi和xj的稀疏表示系数向量,σ2为伸缩系数。
如图2(c)、(d)、(e),分别是图像deer在尺度1/4、1/8、1/16下得到的显著图;如图3(c)、(d)、(e),分别是图像dusk在尺度1/4、1/8、1/16下得到的显著图。
步骤6,重复步骤(4)、(5),计算每个尺度下的显著结果;将多尺度下的显著结果归一化并做显著性处理,对处理后的结果进行多尺度之间的融合,进而得到最终的显著结果,再选定特定的阈值,划分出检测到的显著区域。
在本实施例中,融合操作在三个尺度之间进行,即1/4,1/8,1/16。
(a)归一化处理是将显著图归一化到[0,N]上:
S'=(S-Smin)/(Smax-Smin)×N
其中S为归一化处理之前的显著图,Smin为S中最小值,Smax为S中最大值;N为图像灰度值范围内的任意正整数;S'为归一化处理之后的显著图。
(b)显著性处理是将归一化后的显著图乘以系数(Mg-Ml):
S'=S×(Mg-Ml)2
其中S为显著性处理之前的显著图;Mg为S中的全局最大值,Ml为S中除全局最大值Mg外的其余的局部最大值的平均值,S'为显著性处理之后的显著图。
(c)多个尺度之间的融合:
首先,由于不同尺度下的显著图其分辨率是不同的,所以对低尺度下的显著图进行插值,使得各个尺度下的显著图有着相同的分辨率,然后对各个尺度下的显著图进行融合,融合公式如下:
S=max(S1,S2,S3)
其中S1,S2,S3分别表示尺度1/4,1/8,1/16时得到的显著图;max表示融合操作,融合后的显著图中每个像素点的值取S1,S2,S3对应像素点的最大值;S表示融合之后的显著图。
如图2(f)是图像deer的最终显著图;如图3(f)是图像dusk的最终显著图。
如图2(b)是图像deer的显著区域;如图3(b)是图像dusk的显著区域。
综上,本发明实现了提取任意给定图像中人眼感兴趣区域的目的。益处在于:首先,使用了多尺度下的结果,克服了显著区域检测中,人眼对于不同尺度图像观测得到不同显著区域的缺点;其次,在计算稀疏表示系数时,选取了联合稀疏求解的框架,这就运用到了图像自身相似性的特点,在求解的时候迫使相似的图像块有相似的稀疏表示系数,而这在后续的显著度计算中是极其有益的。本实验给出了显著性计算以及显著区域划分的结果,并将本方法与Itti方法、SR方法检测得到的结果进行对比,如图4是图像deer的实验对比,其中:(a)、(b)分别是本发明方法的显著图和检测的显著区域;(c)、(d)分别是Itti方法的显著图和检测的显著区域;(e)、(f)分别是SR方法的显著图和检测的显著区域;图5是图像dusk的实验对比,其中:(a)、(b)分别是本发明方法的显著图和检测的显著区域;(c)、(d)分别是Itti方法的显著图和检测的显著区域;(e)、(f)分别是SR方法的显著图和检测的显著区域。结果表明,本发明方法可以有效的提取图像的显著区域,划分得到的显著区域是一个完整的目标整体,该区域轮廓清晰,显著目标易于区分,而且整个目标前景区域得到了一致的高亮,因而本方法是有效可靠的。
本实施方式中没有详细叙述的部分属本行业的公知的常用手段,这里不一一叙述。以上例举仅仅是对本发明的举例说明,并不构成对本发明的保护范围的限制,凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (3)

1.一种基于联合稀疏多尺度融合的图像显著区域检测方法,其特征在于,包括以下步骤:
(1)对训练图像集进行预处理,将RGB彩色图像转化为灰度图像;
(2)对于训练图像集中的每一幅图像,构造其多尺度高斯金字塔,得到多尺度的训练集{T1、T2…Tn},其中Ti为i尺度下的图像,n为多尺度的数目;
(3)对于构造好的多尺度训练集{T1、T2…Tn},对各个尺度分别应用KSVD字典训练算法训练稀疏表示字典{D1、D2…Dn}∈Rm×k,其中Di为i尺度下的稀疏表示字典,m×k表示字典的规模,m是行数,k为列数或字典原子的个数;其中Rm×k代表一个由大小为m行,k列的矩阵组成的集合,{D1、D2…Dn}∈Rm×k就代表{D1、D2...Dn}是一个m行,k列的矩阵;
(4)对于输入的每一幅测试图像,按照步骤(2)的方法对它构造多尺度高斯金字塔,然后在各个尺度下分别对输入图像的每一个像素点取块并对图像块进行聚类,然后采用联合稀疏求解的框架,对于每一类图像块按下式求解该类图像块集合的稀疏表示系数,因此也就得到尺度l下每一个图像块xi的稀疏表示系数αi
m i n A i | | A i | | 2 1 = Σ f = 1 k | | α f | | 2 1 s . t . | | x i - Dα i | | 2 2 + Σ j ∈ p i | | x i , j - Dα i , j | | 2 2 ≤ ϵ i
其中表示聚类后与图像块xi为一类的图像块的集合,t表示与图像块xi为一类的图像块有t个,xi,j表示集合Pi中第j个与图像块xi为一类的图像块;表示图像块xi和图像块集合Pi的稀疏表示系数集合,矩阵Ai的行数为k,列数为t+1,αi表示图像块xi的稀疏表示系数,αi,j表示矩阵Ai的第j+1列,即第j个与图像块xi为一类的图像块xi,j的稀疏表示系数,αf表示矩阵Ai的第f行;联合稀疏求解得到的稀疏表示系数的非零元素位置是相同的,D表示对应尺度l的稀疏表示字典;Rk×(t+1)代表一个由大小为k行,(t+1)列的矩阵组成的集合;
(5)由步骤(4)求得每一个图像块xi的稀疏表示系数αi,将其作为图像中每一个图像块xi的特征,进而使用该特征去衡量每一个图像块的显著性,图像中每个像素点i的显著性定义为以像素点i为中心的图像块与图像中其它所有块的相似性,这里使用稀疏表示系数来计算每个像素点的显著性:
S l ( x i ) = Σ j = 1 L w i j · D i j
其中l∈1,...,n表示尺度;Sl(xi)表示尺度l下图像块xi的显著性;L表示尺度l下图像中图像块的总个数;表示图像块xi和xj的相似性的权值,pi和pj分别为在尺度l下以位置i和j为中心的图像块拉成的列向量,σ1为伸缩系数;表示用图像块xi和xj对应稀疏表示系数去计算两图像块的相似性,αi和αj分别为图像块xi和xj的稀疏表示系数向量,σ2为伸缩系数;
(6)重复步骤(4)、(5),计算每个尺度下的显著结果;将多尺度下的显著结果归一化并做显著性处理,对处理后的结果进行多尺度之间的融合,进而得到最终的显著结果,再选定特定的阈值,划分出检测到的显著区域。
2.根据权利要求1所述的一种基于联合稀疏多尺度融合的图像显著区域检测方法,其特征在于,步骤(2)和步骤(4)中的对于图像构造多尺度高斯金字塔操作,包括采样和平滑处理两个步骤,具体操作如下:
设输入图像I的大小为2M×2N,用I(K)表示金字塔的第K层,大小为2i×2j,0≤i≤M,0≤j≤N,第一层就为I(1)=2M×2N=I,则第K+1层的公式为:
I ( K + 1 ) ( i , j ) = Σ n = - N N Σ m = 1 M M C ( m , n ) I K ( 2 i + m , 2 j + n )
其中C(m,n)为采样核函数,取为高斯核函数,其滤波器模板为:
C = 1 4 6 4 1 4 16 24 16 4 6 24 36 24 6 4 16 24 16 4 1 4 6 4 1 × 1 256
首先对输入图像进行下采样,然后用高斯滤波器对下采样后的图像进行滤波,最终建立金字塔结构的多尺度空间图像。
3.根据权利要求1所述的一种基于联合稀疏多尺度融合的图像显著区域检测方法,其特征在于,步骤(6)中所述的将多尺度下的显著结果归一化并做显著性处理,对处理后的结果进行多尺度之间的融合,包括对各个尺度的归一化及显著性处理、多个尺度之间的融合这两个步骤,具体操作如下:
1)各个尺度的归一化及显著性处理:
归一化处理是将显著图归一化到[0,N]上:
S'=(S-Smin)/(Smax-Smin)×N
其中S为归一化处理之前的显著图,Smin为S中最小值,Smax为S中最大值;N为图像灰度值范围内的任意正整数;S'为归一化处理之后的显著图;
显著性处理是将归一化后的显著图乘以系数(Mg-Ml):
S'=S×(Mg-Ml)2
其中S为显著性处理之前的显著图;Mg为S中的全局最大值,Ml为S中除全局最大值Mg外的其余的局部最大值的平均值,S'为显著性处理之后的显著图;
2)多个尺度之间的融合:
首先,由于不同尺度下的显著图其分辨率是不同的,所以对低尺度下的显著图进行插值,使得各个尺度下的显著图有着相同的分辨率,然后对各个尺度下的显著图进行融合,融合公式如下:
S=S1□S2□...□Sn
其中S1、S2...Sn分别表示尺度l=1、2...n时得到的显著图;□表示融合操作,可以取+、×、max或min;S表示融合之后的显著图。
CN201410781962.5A 2014-12-16 2014-12-16 一种基于联合稀疏多尺度融合的图像显著区域检测方法 Expired - Fee Related CN104392463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410781962.5A CN104392463B (zh) 2014-12-16 2014-12-16 一种基于联合稀疏多尺度融合的图像显著区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410781962.5A CN104392463B (zh) 2014-12-16 2014-12-16 一种基于联合稀疏多尺度融合的图像显著区域检测方法

Publications (2)

Publication Number Publication Date
CN104392463A CN104392463A (zh) 2015-03-04
CN104392463B true CN104392463B (zh) 2017-02-22

Family

ID=52610361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410781962.5A Expired - Fee Related CN104392463B (zh) 2014-12-16 2014-12-16 一种基于联合稀疏多尺度融合的图像显著区域检测方法

Country Status (1)

Country Link
CN (1) CN104392463B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389550B (zh) * 2015-10-29 2018-07-17 北京航空航天大学 一种基于稀疏指引与显著驱动的遥感目标检测方法
CN105404871B (zh) * 2015-11-25 2019-01-11 中山大学 基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法
CN105513077B (zh) * 2015-12-11 2019-01-04 北京大恒图像视觉有限公司 一种用于糖尿病性视网膜病变筛查的系统
CN105574534B (zh) * 2015-12-17 2019-03-26 西安电子科技大学 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN105590319B (zh) * 2015-12-18 2018-06-29 华南理工大学 一种深度学习的图像显著性区域检测方法
CN105825472A (zh) * 2016-05-26 2016-08-03 重庆邮电大学 一种快速的基于多尺度高斯滤波器的色调映射系统及方法
CN106295694B (zh) * 2016-08-05 2019-04-09 浙江工业大学 一种迭代重约束组稀疏表示分类的人脸识别方法
CN106530271B (zh) * 2016-09-30 2019-03-12 河海大学 一种红外图像显著性检测方法
CN106650629A (zh) * 2016-11-21 2017-05-10 河海大学 一种基于核稀疏表示的快速遥感目标检测识别方法
CN106780450A (zh) * 2016-12-06 2017-05-31 天津大学 一种基于低秩多尺度融合的图像显著性检测方法
CN106934765A (zh) * 2017-03-14 2017-07-07 长沙全度影像科技有限公司 基于深度卷积神经网络与深度信息的全景图像融合方法
CN106952220A (zh) * 2017-03-14 2017-07-14 长沙全度影像科技有限公司 一种基于深度学习的全景图像融合方法
CN107220952B (zh) * 2017-06-09 2020-03-31 河南科技大学 一种基于显著性的多尺度图像平滑方法
CN107909120A (zh) * 2017-12-28 2018-04-13 南京理工大学 基于互斥性标签k‑svd及多尺度稀疏的高光谱图像分类方法
CN108364273B (zh) * 2018-01-30 2022-02-25 中南大学 一种空间域下的多聚焦图像融合的方法
CN108550136B (zh) * 2018-03-14 2020-06-02 宁波大学 一种眼底图像血管分割方法
CN110276365B (zh) * 2018-03-16 2021-12-28 中国科学院空天信息创新研究院 一种用于sar图像海冰分类的卷积神经网络的训练方法及其分类方法
CN108549891B (zh) * 2018-03-23 2019-10-01 河海大学 基于背景与目标先验的多尺度扩散显著目标检测方法
CN109002796B (zh) * 2018-07-16 2020-08-04 阿里巴巴集团控股有限公司 一种图像采集方法、装置和系统以及电子设备
CN109544462A (zh) * 2018-09-28 2019-03-29 北京交通大学 基于自适应选择模糊核的车牌图像去模糊方法
CN109816637B (zh) * 2019-01-02 2023-03-07 电子科技大学 一种眼底图像中硬性渗出区域的检测方法
CN110457990B (zh) * 2019-06-19 2020-06-12 特斯联(北京)科技有限公司 一种机器学习的安防监控视频遮挡智能填补方法与系统
CN110223295B (zh) * 2019-06-21 2022-05-03 安徽大学 基于深度神经网络色彩感知的显著性预测方法及装置
CN110910372B (zh) * 2019-11-23 2021-06-18 郑州智利信信息技术有限公司 基于深度卷积神经网络的匀光板缺陷检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396282B1 (en) * 2008-10-31 2013-03-12 Hrl Labortories, Llc Method and system for computing fused saliency maps from multi-modal sensory inputs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396282B1 (en) * 2008-10-31 2013-03-12 Hrl Labortories, Llc Method and system for computing fused saliency maps from multi-modal sensory inputs

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Image Signature:Highlighting Sparse Salient Regions;Xiaodi Hou等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20120131;第34卷(第1期);全文 *
Image super-resolution using sparse coding over redundant dictionary;Muhammad Sajjad等;《Journal of Visual Communication & Image Representation》;20141207;第26卷;全文 *
Visual Saliency Detection via Sparsity Pursuit;Junchi Yan等;《IEEE SIGNAL PROCESSING LETTERS》;20100831;第17卷(第8期);全文 *
基于多尺度字典的红外与微光图像融合;薛模根等;《红外技术》;20131130;第35卷(第11期);全文 *

Also Published As

Publication number Publication date
CN104392463A (zh) 2015-03-04

Similar Documents

Publication Publication Date Title
CN104392463B (zh) 一种基于联合稀疏多尺度融合的图像显著区域检测方法
AU2018101336A4 (en) Building extraction application based on machine learning in Urban-Suburban-Integration Area
CN105809198B (zh) 基于深度置信网络的sar图像目标识别方法
Lu et al. 3-D channel and spatial attention based multiscale spatial–spectral residual network for hyperspectral image classification
CN108520225B (zh) 一种基于空间变换卷积神经网络的指纹检测分类方法
CN101520894B (zh) 基于区域显著性的显著对象提取方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN105335716B (zh) 一种基于改进udn提取联合特征的行人检测方法
CN109034210A (zh) 基于超特征融合与多尺度金字塔网络的目标检测方法
CN106682569A (zh) 一种基于卷积神经网络的快速交通标识牌识别方法
CN103996018B (zh) 基于4dlbp的人脸识别方法
CN103177458B (zh) 一种基于频域分析的可见光遥感图像感兴趣区域检测方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN101930549B (zh) 基于第二代曲线波变换的静态人体检测方法
CN103390164A (zh) 基于深度图像的对象检测方法及其实现装置
CN105335975B (zh) 基于低秩分解和直方图统计的极化sar图像分割方法
CN103186776B (zh) 基于多特征和深度信息的人体检测方法
CN103778435A (zh) 一种基于视频的行人快速检测方法
CN103020614B (zh) 基于时空兴趣点检测的人体运动识别方法
CN107452022A (zh) 一种视频目标跟踪方法
CN105405132A (zh) 基于视觉反差和信息熵的sar图像人造目标检测方法
CN109766823A (zh) 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
He et al. Automatic recognition of traffic signs based on visual inspection
CN108427969A (zh) 一种多尺度形态学结合卷积神经网络的纸张缺陷分类方法
CN105225216A (zh) 基于空间距圆标记边缘检测的虹膜预处理算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170222

Termination date: 20171216

CF01 Termination of patent right due to non-payment of annual fee