CN103793710B - 一种图像显著性物体检测方法和装置 - Google Patents
一种图像显著性物体检测方法和装置 Download PDFInfo
- Publication number
- CN103793710B CN103793710B CN201310686930.2A CN201310686930A CN103793710B CN 103793710 B CN103793710 B CN 103793710B CN 201310686930 A CN201310686930 A CN 201310686930A CN 103793710 B CN103793710 B CN 103793710B
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- image blocks
- random forest
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000007637 random forest analysis Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000003709 image segmentation Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 33
- 230000011218 segmentation Effects 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000005192 partition Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 15
- 230000010354 integration Effects 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种图像显著性物体检测方法和装置,属于计算机视觉领域。所述方法包括:根据图像构建一个随机森林,根据所述随机森林用全局的图像块稀有性捕捉显著物体的近似轮廓,将图像分为轮廓内和轮廓外两部分;通过度量内外部图像块的对比度来压制与轮廓外部相似的内部图像块,凸显与轮廓内部相似的外部图像块;最后使用基于图切割的图像分割修饰局部图。采用本发明提供的图像显著性物体检测方法可以检测图像中任何大小的物体,并且能够实现物体的完整精确检测,同时,采用本发明提供的图像显著性物体检测方法可以检测出单幅图像中的多个显著物体。
Description
技术领域
本发明涉及计算机视觉领域,特别涉及一种图像显著性物体检测方法和装置。
背景技术
视觉显著性是一个来自于神经科学和生理学的概念,它使吸引人的注意力的区域从人的视场中凸显出来。
传统的视觉显著性检测方法通常基于局部或者全局的对比分析来计算显著性。基于局部的方法敏感于图像中高对比度的边缘和噪声,从而弱化了物体内的平滑区域,这使得它们更适合检测小物体。在基于全局对比的方法中,基于图像块的方法也趋向于凸出物体的边界而非整个物体区域。虽然基于分割的方法有效地克服了“物体弱化”问题(物体内部被压制),当物体的内部不均匀时,它们仍然很难凸出整个物体。大部分情况下,基于局部的方法和基于全局对比的方法只能检测出物体的某些部分。
文献“Exploiting local and global patch rarities for saliencydetection”(A.Borji and L.Itti.In CVPR,2012)提出用全局的图像块稀有性(图像块在整幅图像中出现的频率)去填充物体的内部区域。然而对大的物体来说,稀有的图像块通常出现在物体和背景的交界处。
上述的大部分模型是本着检测单个显著性物体而被提出。这些模型的局限使得它们有一定的难度去检测一幅图像中的多个物体。
与本发明最近似的方法是论文“Automatic salient object segmentationbased on context and shape prior”(H.Jiang,J.Wang,Z.Yuan,T.Liu,and N.Zheng.inProc.BMVC,2011)。这篇文献的作者把显著性图和物体的形状先验(显著物体有很明显的封闭边界)整合到一个模型中去分割显著物体。这个形状先验是依靠结合显著性和通过边缘检测器得到的物体边界信息而被提取出来的。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
1.现有显著性检测技术不适合检测小物体;2.当物体内部不均匀时,现有显著性检测技术只能检测出物体的一些部分;3.现有显著性检测技术难以检测一幅图像中的多个显著性物体。
发明内容
为了解决现有技术存在的问题,本发明实施例提供了一种图像显著性物体检测方法和装置。所述技术方案如下:
一方面,本发明提供了一种图像显著性物体检测方法,所述方法包括:
将图像进行拉伸,提取拉伸后的图像中的图像块构成图像块集合,以递归的方式从所述图像块集合中构建出一个随机森林;
根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析,得到稀有性图,采用主动轮廓模型提取所述稀有性图中的显著物体轮廓,得到轮廓性图;
根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度,得到精确到物体级别的显著性图;
将所述精确到物体级别的显著性图重新拉伸到原始图像的大小,对重新拉伸后的图像进行基于图切割的图像分割,得到一个由均匀的图像区域组成的集合,均化每个区域的显著性值,得到最终的显著性图。
具体地,所述将图像进行拉伸,提取拉伸后的图像中的图像块构成图像块集合具体包括:将图像拉伸到H×H的大小,将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块,将这些图像块按照从左向右,自上而下的顺序,以无重叠的方式从拉伸的图像中被提取出来,构成图像块集合P={p1,p2,…,pn},其中H对r可除。
具体地,所述以递归的方式从所述图像块集合中构建出一个随机森林具体包括:以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F={T1,…TT},随机森林中的每棵树均由分割结点和叶子结点构成,其中,叶子结点具体为不能被继续分割的分割结点;
进一步地,以递归的方式从所述图像块集合中构建一棵树Tk具体包括:
A1:在树Tk的分割结点n处,产生两个随机数h1和h2,定义di(h1,h2)=pi(h1)-pi(h2);
A2:构造n处的分割函数,将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr;
A3:将n的孩子结点作为当前结点继续进行分割,直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时,执行A4;
A4:选择一个新的分割结点进行分割,直至不存在可以分割的结点为止,停止增长树Tk;
更进一步地,所述A2具体包括:构造n处的分割函数为其中,Sl为包含在n的左孩子结点内的图像块集合,Sr包含在n的右孩子结点内的图像块集合,|Sn|表示图像块集合Sn的大小;
优选地,所述A1中产生的所述随机数h1和h2满足公式
具体地,所述根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析具体包括:根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性,其中,xi为pi的中心像素在所述拉伸后的图像中的位置,ω(xi,xc)为exp(-||xi-xc||2/2σ2),σ2表示中心先验的强度;
优选地,根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性时忽略公式中的分母中的1/T。
具体地,所述根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度具体包括:
B1:将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout;
B2:计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性;
B3:整合pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
B4:计算pi与Sin间的相似性,并根据pi与Sin间的相似性计算pi的显著性值;
B5:计算pj与Sout间的相似性,并根据pj与Sout间的相似性计算pj的显著性值;
进一步地,所述B2具体包括:根据公式计算pi和pj在树Tk中的相似性,其中,|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量;
所述B3具体包括:根据公式整合pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
所述B4具体包括:根据公式计算pi与Sin间的相似性,其中S具体为Sin,|S|为Sin中的图像块的数量;根据公式计算pi的显著性值,其中,
所述B5具体包括:根据公式计算pj与Sout间的相似性,其中S具体为Sout,|S|为Sout中的图像块的数量;根据公式计算pj的显著性值,其中,
另一方面,本发明提供了一种图像显著性物体检测装置,所述装置包括:构建随机森林模块、显著物体轮廓提取模块、显著物体检测模块和显著物体修饰模块;其中:
所述构建随机森林模块,包括图像块提取单元和递归单元,所述图像块提取单元用于将图像进行拉伸,提取拉伸后的图像中的图像块构成图像块集合,所述递归单元用于以递归的方式从所述图像块集合中构建出一个随机森林;
所述显著物体轮廓提取模块,包括稀有性分析单元和显著物体轮廓提取单元,所述稀有性分析单元用于根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析,得到稀有性图,所述显著物体轮廓提取单元用于采用主动轮廓模型提取所述稀有性图中的显著物体轮廓,得到轮廓性图;
所述显著物体检测模块,用于根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度,得到精确到物体级别的显著性图;
所述显著物体修饰模块,用于将所述精确到物体级别的显著性图重新拉伸到原始图像的大小,对重新拉伸后的图像进行基于图切割的图像分割,得到一个由均匀的图像区域组成的集合,均化每个区域的显著性值,得到最终的显著性图。
具体地,所述图像块提取单元具体用于将图像拉伸到H×H的大小,将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块,将这些图像块按照从左向右,自上而下的顺序,以无重叠的方式从拉伸的图像中被提取出来,构成图像块集合P={p1,p2,…,pn},其中H对r可除。
具体地,所述递归单元具体用于以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F={T1,…TT},随机森林中的每棵树均由分割结点和叶子结点构成,其中,叶子结点具体为不能被继续分割的分割结点;
进一步地,所述递归单元具体包括构造分割函数子单元和分割图像块集合子单元,其中:构造分割函数子单元,用于在树Tk的分割结点n处,产生两个随机数h1和h2,定义di(h1,h2)=pi(h1)-pi(h2),构造n处的分割函数;分割图像块集合子单元,用于根据所述构造分割函数子单元构造的分割函数将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr;还用于将n的孩子结点作为当前结点继续进行分割,直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时,选择一个新的分割结点进行分割,直至不存在可以分割的结点为止,停止增长树Tk;
更进一步地,所述构造分割函数子单元具体用于在树Tk的分割结点n处,产生两个随机数h1和h2,定义di(h1,h2)=pi(h1)-pi(h2),构造n处的分割函数为其中,Sl为包含在n的左孩子结点内的图像块集合,Sr包含在n的右孩子结点内的图像块集合,|Sn|表示图像块集合Sn的大小;优选地,本实施例中,所述构造分割函数子单元生成的所述随机数h1和h2满足公式
具体地,所述稀有性分析单元具体用于根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性,其中,xi为pi的中心像素在所述拉伸后的图像中的位置,ω(xi,xc)为exp(-||xi-xc||2/2σ2),σ2表示中心先验的强度;
优选地,所述稀有性分析单元根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性时忽略公式中的分母中的1/T。
具体地,所述显著物体检测模块具体包括:
图像块划分单元,用于将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout;
第一相似性计算单元,用于计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性;
整合单元,用于整合所述第一相似性计算单元计算得到的pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
第二相似性计算单元,用于计算pi与Sin间的相似性,并根据pi与Sin间的相似性计算pi的显著性值;
第三相似性计算单元,用于计算pj与Sout间的相似性,并根据pj与Sout间的相似性计算pj的显著性值;
进一步地,所述第一相似性计算单元具体用于根据公式计算pi和pj在树Tk中的相似性,其中,|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量;
所述整合单元具体用于根据公式整合pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
所述第二相似性计算单元具体用于根据公式计算pi与Sin间的相似性,其中S具体为Sin,|S|为Sin中的图像块的数量;根据公式计算pi的显著性值,其中,
所述第三相似性计算单元具体用于根据公式计算pj与Sout间的相似性,其中S具体为Sout,|S|为Sout中的图像块的数量;根据公式计算pj的显著性值,其中,
本发明提供的技术方案带来的有益效果是:
采用本发明提供的图像显著性物体检测方法可以检测图像中任何大小的物体,并且能够实现物体的完整精确检测,同时,采用本发明提供的图像显著性物体检测方法可以检测出单幅图像中的多个显著物体。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中提供的一种图像显著性物体检测方法的流程图;
图2是本发明实施例中提供的一种图像显著性物体检测装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明提供的方法包括:用全局的图像块稀有性捕捉显著物体的近似轮廓,将图像分为轮廓内和轮廓外两部分;通过度量内外部图像块的对比度来压制与轮廓外部相似的内部图像块,凸显与轮廓内部相似的外部图像块;最后使用基于图切割的图像分割修饰局部图。
图1是本发明实施例中提供的一种图像显著性物体检测方法流程图,本发明实施例的执行主体为计算机,参见图1,该方法包括:
101:将图像进行拉伸,提取拉伸后的图像中的图像块构成图像块集合;
具体地,本实施例中,将图像拉伸到H×H的大小,将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块,将这些图像块按照从左向右,自上而下的顺序,以无重叠的方式从拉伸的图像中被提取出来,构成图像块集合P={p1,p2,…,pn},其中H对r是可除的;
进一步地,本实施例中,结合RGB和Lab颜色空间来表示颜色特征,每一个图像块由六个颜色子通道来表示,因此pi是一个由像素值组成的列向量,它的长度是6r2,每一个颜色空间都被归一化到0到1之间。
102:以递归的方式从图像块集合中构建出一个随机森林;
具体地,本实施例中,以递归的方式从图像块集合P中构建一个由T棵树组成的随机森林F={T1,…TT},随机森林中的每棵树均由分割结点和叶子结点构成,其中,叶子结点具体为不能被继续分割的分割结点;
本实施例中,构建随机森林中的一颗树Tk的方法具体包括:
102-1:在树Tk的分割结点n处,产生两个随机数h1和h2,定义di(h1,h2)=pi(h1)-pi(h2);
具体地,随机数h1和h2是用来指示是哪两个特征向量维度被用于分割到达树Tk的分割结点n的图像块集合Sn;
102-2:构造n处的分割函数,将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr;
具体地,可以构造树Tk的分割结点n处的分割函数为其中,|Sn|表示图像块集合Sn的大小;
优选地,对树Tk的每一个分割结点n,我们尝试γ个不同的(h1,h2)对,从中选择最优的一对,它能够满足公式
102-3:将n的孩子结点作为当前结点,执行102-4;
102-4:判断当前结点的深度是否达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块,是则执行102-6,否则根据102-1和102-2的方法对当前结点继续分割,执行102-5;
102-5:将当前结点的孩子结点作为新的当前结点,返回102-4;
102-6:判断是否还存在可以分割的结点,是则执行102-7;
102-7:选择一个作为新的分割结点,根据102-1至102-5的方法对新的分割结点进行分割,返回102-6,否则停止增长树Tk;
在上述构建随机森林中的一颗树Tk的方法中,当一个结点的深度达到预定义的最大深度或者它只包含一个图像块时,我们停止对这个结点的分割。这个不能被继续分割的结点称为叶子结点;
按照上述方法构建的随机森林中,每一个叶子结点至少包含一个图像块,而每一个图像块在一棵树中会落到唯一的一个叶子结点上。
103:根据随机森林对所述图像块集合中的所有图像块进行稀有性分析,得到稀有性图;
具体地,本实施例中,可以通过公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性,其中,xi为pi的中心像素在拉伸后的图像中的位置,ω(xi,xc)被设为exp(-||xi-xc||2/2σ2),用来压制那些远离图像中心xc的图像块,因为那些接近图像边缘的稀有图像块通常属于凌乱的背景,公式中的σ2用于控制中心先验的强度;
根据观察,物体边界处的图像块所在的叶子结点通常含有的图像块比较少,而背景中或物体内部的图像块所在的叶子结点则含有较多的图像块,然而在单棵树中,偶尔可能会出现一些例外,例如某个边界图像块所在的叶子结点可能比较大,因此,我们通过平均一个图像块在森林中的所有叶子结点的大小(此处忽略公式中的分母中的1/T)来弱化这种例外的可能性。
104:采用主动轮廓模型提取所稀有性图中的显著物体轮廓,得到轮廓图;
由于主动轮廓模型对初始的轮廓不敏感,另外,主动轮廓模型能够从稀有性图中提取出所有的物体,本实施例中采用主动轮廓模型提取所稀有性图中的显著物体轮廓有助于检测出一幅图像中的多个显著性物体。
105:根据所述随机森林计算轮廓图中显著性物体轮廓内部的图像块和外部的图像块间的相似度,得到精确到物体级别的显著性图;
具体地,本实施例中,根据所述随机森林计算轮廓图中显著性物体轮廓内部的图像块和外部的图像块间的相似度包括:
105-1:将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout;
本实施例中,可以根据公式将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout,其中,|pi∩C|表示图像块pi包含在轮廓C中的像素个数,λ是一个常量,它的值根据数据集的不同在0到1之间变动;
105-2:计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性;
本实施例中,可以根据公式计算pi和pj在树Tk中的相似性,其中,|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量;
105-3:整合pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
本实施例中,可以通过公式整合pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
105-4:计算pi与Sin间的相似性,并根据pi与Sin间的相似性计算pi的显著性值;
本实施例中,可以根据公式计算pi与Sin间的相似性,其中S表示Sin,|S|指代Sin中的图像块的数量;
本实施例中,可以根据公式计算pi的显著性值,其中,是一个规范化因子;
本实施例中,当pi高度相似于Sin中的所有图像块时,pi被认为是显著的,即将pi划分为物体内部的图像块;
105-5:计算pj与Sout间的相似性,并根据pj与Sout间的相似性计算pj的显著性值;
本实施例中,可以根据公式计算pj与Sout间的相似性,其中S表示Sout,|S|指代Sout中的图像块的数量;
本实施例中,可以根据公式计算pj的显著性值,其中,是一个规范化因子;
本实施例中,pj越相似于Sout,pj的显著性越低,105-5用来压制那些相似于物体外部图像块的物体内部图像块。
106:将精确到物体级别的显著性图重新拉伸到原始图像的大小;
107:对重新拉伸后的图像进行基于图切割的图像分割,得到一个由均匀的图像区域组成的集合,均化每个图像区域的显著性值,得到最终的显著性图。
本发明实施例提供的方法是基于图像块的,因此物体边缘的检测结果不是精确的,为了弱化这个问题,我们使用了图像分割;
本实施例中,通过步骤107能够有效的去除噪声,同时还可以修正物体边缘的误检测,使得精确到物体级别的显著性图得到进一步的修饰。
图2是本发明实施例中提供的一种图像显著性物体检测装置的结构示意图,参见图2,该装置包括:构建随机森林模块41、显著物体轮廓提取模块42、显著物体检测模块43和显著物体修饰模块44;其中:
所述构建随机森林模块41,包括图像块提取单元411和递归单元412,图像块提取单元411用于将图像进行拉伸,提取拉伸后的图像中的图像块构成图像块集合,递归单元412用于以递归的方式从所述图像块集合中构建出一个随机森林;
所述著物体轮廓提取模块42,包括稀有性分析单元421和显著物体轮廓提取单元422,稀有性分析单元421用于根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析,得到稀有性图,显著物体轮廓提取单元422用于采用主动轮廓模型提取所述稀有性图中的显著物体轮廓,得到轮廓性图;
所述显著物体检测模块43,用于根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度,得到精确到物体级别的显著性图;
所述显著物体修饰模块44,用于将所述精确到物体级别的显著性图重新拉伸到原始图像的大小,对重新拉伸后的图像进行基于图切割的图像分割,得到一个由均匀的图像区域组成的集合,均化每个区域的显著性值,得到最终的显著性图;
具体地,本实施例中,所述图像块提取单元具体用于将图像拉伸到H×H的大小,将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块,将这些图像块按照从左向右,自上而下的顺序,以无重叠的方式从拉伸的图像中被提取出来,构成图像块集合P={p1,p2,…,pn},其中H对r可除;
具体地,本实施例中,所述递归单元具体用于以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F={T1,…TT},随机森林中的每棵树均由分割结点和叶子结点构成,其中,叶子结点具体为不能被继续分割的分割结点;
进一步地,本实施例中,所述递归单元具体包括构造分割函数子单元和分割图像块集合子单元,其中:构造分割函数子单元,用于在树Tk的分割结点n处,产生两个随机数h1和h2,定义di(h1,h2)=pi(h1)-pi(h2),构造n处的分割函数;分割图像块集合子单元,用于根据所述构造分割函数子单元构造的分割函数将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr;还用于将n的孩子结点作为当前结点继续进行分割,直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时,选择一个新的分割结点进行分割,直至不存在可以分割的结点为止,停止增长树Tk;
更进一步地,构造分割函数子单元具体用于在树Tk的分割结点n处,产生两个随机数h1和h2,定义di(h1,h2)=pi(h1)-pi(h2),构造n处的分割函数为其中,Sl为包含在n的左孩子结点内的图像块集合,Sr包含在n的右孩子结点内的图像块集合,|Sn|表示图像块集合Sn的大小;优选地,本实施例中,所述构造分割函数子单元生成的所述随机数h1和h2满足公式
具体地,本实施例中,稀有性分析单元具体用于根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性,其中,xi为pi的中心像素在所述拉伸后的图像中的位置,ω(xi,xc)为exp(-||xi-xc||2/2σ2),σ2表示中心先验的强度;优选地,本实施例中,所述稀有性分析单元根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性时忽略公式中的分母中的1/T;
具体地,本实施例中,显著物体检测模块具体包括:
图像块划分单元,用于将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout;
第一相似性计算单元,用于计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性;
整合单元,用于整合所述第一相似性计算单元计算得到的pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
第二相似性计算单元,用于计算pi与Sin间的相似性,并根据pi与Sin间的相似性计算pi的显著性值;
第三相似性计算单元,用于计算pj与Sout间的相似性,并根据pj与Sout间的相似性计算pj的显著性值;
进一步地,本实施例中:
第一相似性计算单元具体用于根据公式计算pi和pj在树Tk中的相似性,其中,|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量;
整合单元具体用于根据公式整合pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
第二相似性计算单元具体用于根据公式计算pi与Sin间的相似性,其中S具体为Sin,|S|为Sin中的图像块的数量;根据公式计算pi的显著性值,其中,
第三相似性计算单元具体用于根据公式计算pj与Sout间的相似性,其中S具体为Sout,|S|为Sout中的图像块的数量;根据公式计算pj的显著性值,其中,
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (16)
1.一种图像显著性物体检测方法,其特征在于,所述方法包括:
将图像进行拉伸,提取拉伸后的图像中的图像块构成图像块集合,以递归的方式从所述图像块集合中构建出一个随机森林;
根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析,得到稀有性图,采用主动轮廓模型提取所述稀有性图中的显著物体轮廓,得到轮廓性图;
根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度,得到精确到物体级别的显著性图;
将所述精确到物体级别的显著性图重新拉伸到原始图像的大小,对重新拉伸后的图像进行基于图切割的图像分割,得到一个由均匀的图像区域组成的集合,均化每个区域的显著性值,得到最终的显著性图;
所述根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析具体包括:
根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性,其中,T为大于0的整数,xi为pi的中心像素在所述拉伸后的图像中的位置,xc为所述图像的中心位置,ω(xi,xc)为exp(-||xi-xc||2/2σ2),σ2表示中心先验的强度。
2.根据权利要求1所述的方法,其特征在于,所述将图像进行拉伸,提取拉伸后的图像中的图像块构成图像块集合具体包括:将图像拉伸到H×H的大小,将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块,将这些图像块按照从左向右,自上而下的顺序,以无重叠的方式从拉伸的图像中被提取出来,构成图像块集合P={p1,p2,…,pn},其中H对r可除。
3.根据权利要求1所述的方法,其特征在于,所述以递归的方式从所述图像块集合中构建出一个随机森林具体包括:以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F={T1,…TT},随机森林中的每棵树均由分割结点和叶子结点构成,其中,叶子结点具体为不能被继续分割的分割结点。
4.根据权利要求3所述的方法,其特征在于,以递归的方式从所述图像块集合中构建一棵树Tk具体包括:
A1:在树Tk的分割结点n处,产生两个随机数h1和h2,定义di(h1,h2)=pi(h1)-pi(h2);
A2:构造n处的分割函数,将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr;
A3:将n的孩子结点作为当前结点继续进行分割,直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时,执行A4;
A4:选择一个新的分割结点进行分割,直至不存在可以分割的结点为止,停止增长树Tk。
5.根据权利要求4所述的方法,其特征在于,所述A2具体包括:构造n处的分割函数为其中,Sl为包含在n的左孩子结点内的图像块集合,Sr包含在n的右孩子结点内的图像块集合,|Sn|表示图像块集合Sn的大小。
6.根据权利要求5所述的方法,其特征在于,所述随机数h1和h2满足公式
7.根据权利要求1所述的方法,其特征在于,所述根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度具体包括:
B1:将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout;
B2:计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性;
B3:整合pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
B4:计算pi与Sin间的相似性,并根据pi与Sin间的相似性计算pi的显著性值;
B5:计算pj与Sout间的相似性,并根据pj与Sout间的相似性计算pj的显著性值。
8.根据权利要求7所述的方法,其特征在于,所述B2具体包括:根据公式计算pi和pj在树Tk中的相似性,其中,|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量;
所述B3具体包括:根据公式整合pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
所述B4具体包括:根据公式计算pi与Sin间的相似性,其中S具体为Sin,|S|为Sin中的图像块的数量;根据公式计算pi的显著性值,其中,
所述B5具体包括:根据公式计算pj与Sout间的相似性,其中S具体为Sout,|S|为Sout中的图像块的数量;根据公式计算pj的显著性值,其中,
9.一种图像显著性物体检测装置,其特征在于,所述装置包括:构建随机森林模块、显著物体轮廓提取模块、显著物体检测模块和显著物体修饰模块;其中:
所述构建随机森林模块,包括图像块提取单元和递归单元,所述图像块提取单元用于将图像进行拉伸,提取拉伸后的图像中的图像块构成图像块集合,所述递归单元用于以递归的方式从所述图像块集合中构建出一个随机森林;
所述显著物体轮廓提取模块,包括稀有性分析单元和显著物体轮廓提取单元,所述稀有性分析单元用于根据所述随机森林对所述图像块集合中的所有图像块进行稀有性分析,得到稀有性图,所述显著物体轮廓提取单元用于采用主动轮廓模型提取所述稀有性图中的显著物体轮廓,得到轮廓性图;
所述显著物体检测模块,用于根据所述随机森林计算所述轮廓图中显著物体轮廓内部的图像块和外部的图像块间的相似度,得到精确到物体级别的显著性图;
所述显著物体修饰模块,用于将所述精确到物体级别的显著性图重新拉伸到原始图像的大小,对重新拉伸后的图像进行基于图切割的图像分割,得到一个由均匀的图像区域组成的集合,均化每个区域的显著性值,得到最终的显著性图;
所述稀有性分析单元具体用于根据公式计算落在随机森林中的树Tk的叶子结点Lk上的图像块pi的稀有性,其中,T为大于0的整数,xi为pi的中心像素在所述拉伸后的图像中的位置,xc为所述图像的中心位置,ω(xi,xc)为exp(-||xi-xc||2/2σ2),σ2表示中心先验的强度。
10.根据权利要求9所述的装置,其特征在于,所述图像块提取单元具体用于将图像拉伸到H×H的大小,将拉伸后的图像划分为(H/r)×(H/r)个大小为r×r的图像块,将这些图像块按照从左向右,自上而下的顺序,以无重叠的方式从拉伸的图像中被提取出来,构成图像块集合P={p1,p2,...,pn},其中H对r可除。
11.根据权利要求9所述的装置,其特征在于,所述递归单元具体用于以递归的方式从所述图像块集合中构建一个由T棵树组成的随机森林F={T1,...TT},随机森林中的每棵树均由分割结点和叶子结点构成,其中,叶子结点具体为不能被继续分割的分割结点。
12.根据权利要求11所述的装置,其特征在于,所述递归单元具体包括:
构造分割函数子单元,用于在树Tk的分割结点n处,产生两个随机数h1和h2,定义di(h1,h2)=pi(h1)-pi(h2),构造n处的分割函数;
分割图像块集合子单元,用于根据所述构造分割函数子单元构造的分割函数将到达n的图像块集合Sn分割为包含在n的左孩子结点内的图像块集合Sl和包含在n的右孩子结点内的图像块集合Sr;还用于将n的孩子结点作为当前结点继续进行分割,直至当前结点的深度达到预定义的最大深度或者达到当前结点的图像块集合中只包含一个图像块时,选择一个新的分割结点进行分割,直至不存在可以分割的结点为止,停止增长树Tk。
13.根据权利要求12所述的装置,其特征在于,所述构造分割函数子单元具体用于在树Tk的分割结点n处,产生两个随机数h1和h2,定义di(h1,h2)=pi(h1)-pi(h2),构造n处的分割函数为其中,Sl为包含在n的左孩子结点内的图像块集合,Sr包含在n的右孩子结点内的图像块集合,|Sn|表示图像块集合Sn的大小。
14.根据权利要求13所述的装置,其特征在于,所述构造分割函数子单元生成的所述随机数h1和h2满足公式
15.根据权利要求9所述的装置,其特征在于,所述显著物体检测模块具体包括:
图像块划分单元,用于将所有的图像块分成显著性物体轮廓内部图像块集合Sin和显著性物体轮廓外部图像块集合Sout;
第一相似性计算单元,用于计算显著性物体轮廓外部图像块集合Sout中的图像块pi和显著性物体轮廓内部图像块集合Sin中的图像块pj在随机森林的同一颗树中的相似性;
整合单元,用于整合所述第一相似性计算单元计算得到的pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
第二相似性计算单元,用于计算pi与Sin间的相似性,并根据pi与Sin间的相似性计算pi的显著性值;
第三相似性计算单元,用于计算pj与Sout间的相似性,并根据pj与Sout间的相似性计算pj的显著性值。
16.根据权利要求15所述的装置,其特征在于,所述第一相似性计算单元具体用于根据公式计算pi和pj在树Tk中的相似性,其中,|Lk|是包含在随机森林中的树Tk的叶子结点Lk内的图像块的数量;
所述整合单元具体用于根据公式整合pi和pj在随机森林的每一棵树中的相似性,得到pi和pj间的相似性;
所述第二相似性计算单元具体用于根据公式计算pi与Sin间的相似性,其中S具体为Sin,|S|为Sin中的图像块的数量;根据公式计算pi的显著性值,其中,
所述第三相似性计算单元具体用于根据公式计算pj与Sout间的相似性,其中S具体为Sout,|S|为Sout中的图像块的数量;根据公式计算pj的显著性值,其中,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310686930.2A CN103793710B (zh) | 2013-12-12 | 2013-12-12 | 一种图像显著性物体检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310686930.2A CN103793710B (zh) | 2013-12-12 | 2013-12-12 | 一种图像显著性物体检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103793710A CN103793710A (zh) | 2014-05-14 |
CN103793710B true CN103793710B (zh) | 2017-02-15 |
Family
ID=50669353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310686930.2A Active CN103793710B (zh) | 2013-12-12 | 2013-12-12 | 一种图像显著性物体检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103793710B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104504714B (zh) * | 2014-12-30 | 2017-09-05 | 中国科学院深圳先进技术研究院 | 图像共显著物体的检测方法 |
CN108090436B (zh) * | 2017-12-13 | 2021-11-19 | 深圳市航盛电子股份有限公司 | 一种运动物体的检测方法、系统及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102354389A (zh) * | 2011-09-23 | 2012-02-15 | 河海大学 | 基于视觉显著性的图像零水印算法及图像版权认证方法 |
CN103024396A (zh) * | 2013-01-07 | 2013-04-03 | 苏州科技学院 | 一种nmf视频压缩技术 |
CN103247038A (zh) * | 2013-04-12 | 2013-08-14 | 北京科技大学 | 一种视觉认知模型驱动的全局图像信息合成方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8989437B2 (en) * | 2011-05-16 | 2015-03-24 | Microsoft Corporation | Salient object detection by composition |
-
2013
- 2013-12-12 CN CN201310686930.2A patent/CN103793710B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102354389A (zh) * | 2011-09-23 | 2012-02-15 | 河海大学 | 基于视觉显著性的图像零水印算法及图像版权认证方法 |
CN103024396A (zh) * | 2013-01-07 | 2013-04-03 | 苏州科技学院 | 一种nmf视频压缩技术 |
CN103247038A (zh) * | 2013-04-12 | 2013-08-14 | 北京科技大学 | 一种视觉认知模型驱动的全局图像信息合成方法 |
Non-Patent Citations (1)
Title |
---|
一种基于加权稀疏编码的频域视觉显著性检测算法;钱晓亮 等;《电子学报》;20130630;第41卷(第6期);1159-1165 * |
Also Published As
Publication number | Publication date |
---|---|
CN103793710A (zh) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Brox et al. | A TV flow based local scale measure for texture discrimination | |
Liu et al. | Adaptive partial differential equation learning for visual saliency detection | |
Jia et al. | Category-independent object-level saliency detection | |
EP3101594A1 (en) | Saliency information acquisition device and saliency information acquisition method | |
CN107330897A (zh) | 图像分割方法及其系统 | |
EP3048579B1 (en) | Structure analysis method for recovering missing structures in an image after object removal | |
Sharma et al. | Edge detection using Moore neighborhood | |
CN108022244B (zh) | 一种基于前景和背景种子用于显著目标检测的超图优化方法 | |
Dey et al. | Voronoi-based feature curves extraction for sampled singular surfaces | |
CN108986125B (zh) | 物体边缘提取方法、装置及电子设备 | |
CN112464797B (zh) | 一种吸烟行为检测方法、装置、存储介质及电子设备 | |
WO2019127102A1 (zh) | 信息处理方法、装置、云处理设备以及计算机程序产品 | |
Fan et al. | A self-adaptive segmentation method for a point cloud | |
Zhao et al. | Automatic blur region segmentation approach using image matting | |
CN107506792A (zh) | 一种半监督的显著对象检测方法 | |
CN106296649A (zh) | 一种基于水平集模型的纹理图像分割方法 | |
CN103793710B (zh) | 一种图像显著性物体检测方法和装置 | |
CN112164013A (zh) | 人像换装方法、系统及介质 | |
Geetha et al. | An improved method for segmentation of point cloud using minimum spanning tree | |
CN104504692A (zh) | 基于区域对比度的图像中显著对象的提取方法 | |
JP2018180646A (ja) | 物体候補領域推定装置、物体候補領域推定方法、及び物体候補領域推定プログラム | |
Wang et al. | Image segmentation algorithm by piecewise smooth approximation | |
CN103955936A (zh) | 一种基于堆栈式去噪自编码机的显著性物体检测方法 | |
Xu et al. | Implicit active contour model with local and global intensity fitting energies | |
Wang et al. | An accurate iris location method for low quality iris images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |