CN101847264A - 基于互补显著度图的图像兴趣物体自动提取方法及系统 - Google Patents

基于互补显著度图的图像兴趣物体自动提取方法及系统 Download PDF

Info

Publication number
CN101847264A
CN101847264A CN 201010193747 CN201010193747A CN101847264A CN 101847264 A CN101847264 A CN 101847264A CN 201010193747 CN201010193747 CN 201010193747 CN 201010193747 A CN201010193747 A CN 201010193747A CN 101847264 A CN101847264 A CN 101847264A
Authority
CN
China
Prior art keywords
saliency map
seed
zone
image
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010193747
Other languages
English (en)
Other versions
CN101847264B (zh
Inventor
田永鸿
余昊男
李甲
黄铁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN2010101937475A priority Critical patent/CN101847264B/zh
Publication of CN101847264A publication Critical patent/CN101847264A/zh
Application granted granted Critical
Publication of CN101847264B publication Critical patent/CN101847264B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于互补显著度图的图像兴趣物体自动提取方法及系统。该方法包括:对同一幅图像,生成两个互补的显著度图,获取两个互补的粗提取结果;将所述两个互补的粗提取结果作为先验知识,采取像素分类方法提取出兴趣物体;对提取出的所述兴趣物体进行优化。本发明通过给定任意图像,在模拟人体视觉感知的情况下自动准确地提取出图像中的兴趣物体,有效地解决了基于显著度方法的结果完整性问题。

Description

基于互补显著度图的图像兴趣物体自动提取方法及系统
技术领域
本发明涉及图像处理领域,尤其涉及一种基于互补显著度图的图像兴趣物体自动提取方法及系统。
背景技术
近年来数字图像的数量以几何方式不断增长。在这些图像中,真正具有意义的内容通常只占据了一小部分。这些有价值的、在图像中往往以兴趣物体形式表现出来的内容在大多数情况下足以代表整个图像的语义,因此兴趣物体在许多图像应用(比如基于内容的图像检索)中起着非常关键的作用。
现有的专利和论文都试图通过各种方法来达到从图像中自动提取出兴趣物体的目的。美国专利“Adaptive segmentation of anatomicregions in medical images with fuzzy clustering”(基于模糊聚类的自适应医疗图像解剖区域分割,申请号20050033139)利用矩形模板对医学图像进行异常物体检测与提取。美国专利“Strategies forextracting foreground information using flash and no-flash image pairs”(采用闪光和非闪光灯图像进行前景信息提取的策略,申请号20080297621)利用不带闪光灯和带闪光灯的拍摄情况下,前景和背景对光线强度的不同反应进行物体检测。
然而以上两种方法都针对特定的应用场景,适用范围有限,很难得到一般推广。美国专利“Object Recognizer and Detector forTwo-Dimensional Images Using Bayesian Network Based Classifier”(基于贝叶斯网络分类器的二维图像物体识别和检测器,申请号20090067730)在贝叶斯理论基础上建立分类器从而对物体和背景加以区别。论文“Object Segmentation Using Graph Cuts Based ActiveContours”(利用基于图分割技术的动态轮廓进行物体分割,N.Xu etal.2003)基于图论将像素区域建模为图顶点,区域之间的某种相似性建模为带权边,然后最小化能量函数提取出兴趣物体。论文“SalientClosed Boundary Extraction with Ratio Contour”(基于比值轮廓技术的物体显著闭合边界提取,S.Wang et al.2005)首先应用某种边缘检测方法得到边缘碎片,然后连接一个碎片子集作为兴趣物体的轮廓。总的说来,以上的方法虽然在一些简单情况下表现出良好的效果,但它们都试图在对人体视觉感知考察很少的前提下去解决兴趣物体提取问题,因此这些方法在某些复杂的情况下(比如背景混乱的图像)拥有不太满意的结果。
由于视觉显著度能较好地符合人体的视觉感知且能作为一种重要图像内容的选择机制,基于显著度的方法最近被提出作为另一种提取兴趣物体的方式。根据视觉显著度的定义,和周围环境视觉特征相差越大的区域显著程度越高。美国专利“Combining MultipleCues in a Visual Object Detection System”(在视觉物体检测系统中融合多种特征,申请号20080304742)将多种视觉特征融合以生成一幅显著度图,然后设定阈值分割出兴趣物体。美国专利“Salient ObjectDetection”(显著物体检测,申请号20080304740)首先提取出局部性、区域性和全局性三类特征,然后根据条件随机场理论学习三种特征的加权系数,最后加权得到一个显著度图进而分割出兴趣物体。中国专利“基于区域显著性的显著对象提取方法”(申请号200910046276.2)首先建立一个尺度不变的显著性图像,用非参数核密度估计方法把输入图像分割成不同的区域,然后计算每个区域组合与其补集的区域显著性的比值,最后通过取这个比值的最大值而提取出显著对象。论文“Frequency-tuned Salient Region Detection”(频率调谐的显著区域检测,R.Achanta et al.2009)生成一个频率调谐的显著度图,然后利用自适应的阈值二值化出兴趣物体。尽管这些基于显著度的方法在模拟人体视觉感知上比较成功,但由它们提取出的物体结果往往缺乏整体性和准确性。从视觉显著度的定义可以得知,在含有比较大的兴趣物体的显著度图中,物体中间部分很可能会产生黑色的区域并且伴随着物体边缘的过度亮化;同时,背景视觉特征的局部性突变有可能被检测为兴趣物体的一部分。因此,基于显著度提取的结果虽然较一般方法有所改善,但仍具有较低的调用率或准确率。
总的说来,所有上述方法的局限性可以归纳为以下两点:
第一、非基于显著度的方法的提取结果不能较好地符合人体视觉感知,在一些复杂情况下效果不太理想。
第二、基于显著度的方法的提取结果由于视觉显著度概念本身的特点仍然缺乏一定的整体性和准确性。
发明内容
本发明的目的在于提出一种基于互补显著度图的图像兴趣物体自动提取方法,基于本发明,可以解决基于显著度的兴趣物体提取方法中普遍存在的提取结果整体性和准确性的问题。
一方面,本发明公开了一种基于互补显著度图的图像兴趣物体自动提取方法,包括如下步骤:粗提取步骤,基于原始图像,生成两个互补的显著度图,获取两个互补的粗提取结果;提取步骤,将所述两个互补的粗提取结果作为先验知识,采取像素分类方法提取出兴趣物体;后续处理步骤,对提取出的所述兴趣物体进行优化。
上述兴趣物体自动提取方法,优选所述互补的显著度图包括模糊显著度图和尖锐显著度图,所述互补的粗提取结果包括物体封套区域和物体骨架区域;所述粗提取步骤包括:互补的显著度图提取步骤,提取原始图像的视觉代表特征,基于所述视觉代表特征生成所述模糊显著度图和所述尖锐显著度图;自适应性阈值设定步骤,为所述模糊显著度图设定第一自适应性阈值,为所述尖锐显著度图设定第二自适应性阈值;二值化处理步骤,依据所述第一自适应性阈值对所述模糊显著度图进行二值化处理,获取所述物体封套区域;依据所述第二自适应性阈值对所述尖锐显著度图进行二值化处理,获取所述物体骨架区域;背景种子和物体种子确定步骤,将物体封套以外部分作为背景种子,骨架部分作为物体种子。
上述兴趣物体自动提取方法,优选在所述二值化处理步骤和所述背景种子和物体种子确定步骤之间,还包括去除所述物体封套区域和骨架区域内孤立像素块和填补区域漏洞的步骤。
上述兴趣物体自动提取方法,优选所述精提取步骤包括:统计步骤,分别统计所述背景种子和所述物体种子的视觉代表特征,将统计结果分别进行聚类,获取聚类中心;计算步骤,计算非种子像素与每一聚类中心的相似度,基于相似度,将其归入最为相似的一类;其中,将原始图像中减去所述背景种子与所述物体种子后,获得的差作为非种子像素的集合;提取步骤,根据归类结果提取出兴趣物体区域。
上述兴趣物体自动提取方法,优选所述后续处理步骤中,所述优化处理包括:对所述兴趣物体的区域进行包括孤立块连接、边缘平滑的处理。
另一方面,本发明还公开了一种基于互补显著度图的图像兴趣物体自动提取系统,包括:粗提取模块,用于基于原始图像,生成两个互补的显著度图,获取两个互补的粗提取结果;精提取模块,用于将所述两个互补的粗提取结果作为先验知识,采取像素分类方法提取出兴趣物体;后续处理模块,用于对提取出的所述兴趣物体进行优化。
上述兴趣物体自动提取系统,优选所述互补的显著度图包括模糊显著度图和尖锐显著度图,所述互补的粗提取结果包括物体封套区域和物体骨架区域,所述粗提取模块包括:互补的显著度图提取单元,用于提取原始图像的视觉代表特征,基于所述视觉代表特征生成所述模糊显著度图和所述尖锐显著度图;自适应性阈值设定单元,用于为所述模糊显著度图设定第一自适应性阈值,为所述尖锐显著度图设定第二自适应性阈值;二值化处理单元,用于依据所述第一自适应性阈值对所述模糊显著度图进行二值化处理,获取所述物体封套区域;依据所述第二自适应性阈值对所述尖锐显著度图进行二值化处理,获取所述物体骨架区域;背景种子和物体种子确定单元,用于将物体封套以外部分作为背景种子,骨架部分作为物体种子。
上述兴趣物体自动提取系统,优选在所述二值化处理单元和所述背景种子和物体种子确定单元之间,还连接有去除所述物体封套区域和骨架区域内孤立像素块和填补区域漏洞的单元。
上述兴趣物体自动提取系统,优选所述精提取模块包括:统计单元,用于分别统计所述背景种子和所述物体种子的视觉代表特征,将统计结果分别进行聚类,获取聚类中心;计算单元,用于计算非种子像素与每一聚类中心的相似度,基于相似度,将其归入最为相似的一类;其中,将原始图像中减去所述背景种子与所述物体种子后,获得的差作为非种子像素的集合;提取单元,用于根据归类结果提取出兴趣物体区域。
上述兴趣物体自动提取系统,优选所述后续处理模块中,所述优化处理包括:对所述兴趣物体的区域进行包括孤立块连接、边缘平滑的处理。
相对于现有技术而言,与现有方法相比,本发明的优点有:
第一、基于视觉显著度,能较好地模拟人体视觉感知,具有一定鲁棒性。
第二、基于互补的显著度图,将复杂的物体提取问题转换成了较简单的像素分类问题,提取的结果具有较高的完整性和准确性,解决了大多数基于显著度方法的完整性问题。
也就是说,本发明通过给定任意图像,在模拟人体视觉感知的情况下自动准确地提取出图像中的兴趣物体,有效地解决了基于显著度方法的结果完整性问题,为该类方法提供了一种全新的思路。
附图说明
图1是本发明基于互补显著度图的图像兴趣物体自动提取方法实施例的步骤流程图;
图2是本发明基于互补显著度图的图像兴趣物体自动提取方法优选实施例的原理图;
图3是基于互补显著度图的图像兴趣物体自动提取方法效果图及物体封套和骨架区域示例图;
图4是粗提取阶段的流程图;
图5是模糊和尖锐显著度图示例图;
图6是精提取阶段的流程图;
图7是本发明基于互补显著度图的图像兴趣物体自动提取系统的结构框图;
图8为粗提取模块的结构示意图;
图9为精提取模块的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明将传统的物体提取过程分解成两个子过程,子过程采用不同策略生成两个互补的显著度图并由此得到两个互补的粗提取结果。这两个结果中一个具有较高的调用率,另一个具有较高的准确率。然后根据粗提取结果采取简单的像素归类方法最终提取出完整准确的兴趣物体。通过这样的方式,在人体视觉感知得到较好模拟的情况下,本发明有效地解决了基于显著度的兴趣物体提取方法中普遍存在的提取结果整体性和准确性问题,为该类方法提供了一种全新的思路。
参照图1,图1为本发明基于互补显著度图的图像兴趣物体自动提取方法的步骤流程图,包括如下步骤:
粗提取步骤S1,对同一幅图像,生成两个互补的显著度图,获取两个互补的粗提取结果;精提取步骤S2,将所述两个互补的粗提取结果作为先验知识,采取像素分类方法提取出兴趣物体;后续处理步骤S3,对提取出的所述兴趣物体进行优化。
参照图2,是本发明基于互补显著度图的图像兴趣物体自动提取方法优选实施例的原理图,如图2所示,对于任意原始图像,首先分别生成模糊和尖锐的显著度图,再分别自适应生成一个较低和较高的阈值,二值化显著度图得到物体的封套和骨架区域。最后通过一种简单高效的像素分类方法,在物体封套和骨架的基础上提取出准确的兴趣物体。
较低自适应阈值(第一自适应性阈值)为一个宽松的阈值,较高自适应阈值(第二自适应性阈值)为一个严格的阈值,这两个阈值不是在同一个显著度图上使用。比如第一个采取显著度平均值的0.8倍,第二个采取平均值的1.3倍。
参照图3,图3为基于互补显著度图的图像兴趣物体自动提取方法效果图及物体封套和骨架区域示例图,在图3中,3a行代表原始图像,3b行代表物体封套区域,3c行代表物体骨架区域,3d行代表提取处的兴趣物体。
参照图4,上述实施例中,粗提取阶段的主要步骤如下:
步骤41:对原始图像采用不同策略提取多种视觉代表特征
步骤42:用对应的代表特征分别生成模糊和尖锐的显著度图
步骤43:分别对模糊和尖锐显著度图设定较低和较高的自适应性阈值进行二值化
步骤44:将二值化的结果作为物体封套区域和骨架区域
步骤45:进一步完善粗提取结果,包括去除孤立像素小块和填补区域漏洞
步骤46:将物体封套以外部分作为背景种子,骨架部分作为物体种子。
下面对各步骤的实现方法进行详细描述:步骤41和步骤42的视觉特征的选取应当分别和模糊、尖锐显著度图的要求相符合。一般来说,选择区域性较强的特征作为模糊显著度图的生成特征,而选择局部性较强的特征作为尖锐显著度图的生成特征。区域性较强的特点使得一个区域内像素的显著值不会有太大改变,由此生成的显著度图一般较为模糊或者平缓;而局部性较强的特点使得特征局部变化大的地方有较高的显著值,由此生成的显著度图一般较为尖锐或对比度较大。下面详细描述在本实施例中模糊和尖锐显著度图的生成过程。
模糊显著度图通过加权两种已有的特征图得到。第一个特征图是frequency-tuned saliency map(FSM)。首先,用一个DoG过滤器对原图像进行多尺度的平滑模糊处理,然后对于任意像素点x,其FSM特征值可以定义为:
fFSM(x)=||Paver-P(x)||,                  (1)
其中P(x)是像素点x的某种视觉代表特征,在一个实施例中,该特征取为像素点在Lab颜色空间中的取值。Paver表示所有像素点代表特征的平均值。计算完成后,该特征图被归一化到[0,1]。第二个特征图是center-surround contrast map(CCM),其基本思想是计算一个区域在颜色上和周围环境的差异程度,并认为差异最大的区域为兴趣物体区域。首先,对小规模的抽样图像集建立物体尺寸的统计数据,然后根据统计结果设定一系列尺寸不同的矩形物体模板,其中矩形模板的尺寸参数选取统计结果中最具代表性的数值。接着,设模板为T,模板周围等面积的环状区域为Ts,为了计算它们的颜色差异程度,一个直观的想法是计算它们颜色直方图(分别为T,Ts)的距离。在本实施例中采取类似于卡方距离的标准来测量颜色差异:
x ′ 2 ( T , T s ) = Σ i ( T ( i ) - T s ( i ) T ( i ) + T s ( i ) ) 2 , - - - ( 2 )
其中T(i)代表直方图T第i个bin的取值,T∈{T,Ts}。这样对于每一个像素点x(靠近图像边界的点除外)都可以计算得到一系列的矩形模板和其配对的环状区域的颜色差值,选取最大的差值并将相应的模板写作
Figure BSA00000137824100103
同时,配对的环状区域记为
Figure BSA00000137824100105
。然后,对于任意像素点x,其CCM特征可以记作:
Figure BSA00000137824100106
其中
Figure BSA00000137824100111
是一个高斯加权系数,
Figure BSA00000137824100112
根据
Figure BSA00000137824100113
的面积进行设定。在一个实施例中,选取为面积的四分之一。最后,CCM特征图同样被归一化到[0,1]。得到以上两个特征图之后,根据特征图各自的重要性设定加权系数加权得到模糊的显著度图。
尖锐显著度图使用color spatial-distribution(CS)特征,该特征依靠的先验知识为如果一种颜色在图像中分布得越广,则其出现在兴趣物体上的几率就越小。首先,在本实施例中,n个高斯混合模型(GMMs)用来对图像颜色进行聚类。假设p(i|x)为像素x属于模型i的概率,V(i)是模型i的空间位置方差,则像素x的CS特征可以表示成:
fCS(x)∝∑ip(i|x)(1-V(i))(1-D(i)),           (5)
D(i)=∑xp(i|x)dx,                           (6)
其中dx是像素x到图像中心的距离且D(i)和V(i)都事先被归一化到[0,1]。通过这种方式,尖锐显著度图得以生成。
参照图5,图5为模糊和尖锐显著度图示例图。其中,5a行代表原始图像,5b行代表模糊显著度图,5c行代表尖锐显著度图。
步骤43中的阈值在模糊显著度图的情况下设定得较低,从而二值化后可以得到一个比较大的区域,保证较高的调用率;在尖锐显著度图的情况下设定得较高,从而二值化后可以得到一个比较小的区域,保证较高的准确率。在本实施例中,这两个阈值分别自适应地设为平均显著度值的0.85和1.3倍。步骤44中将大于这两个阈值的部分分别认为是物体的封套区域和骨架区域。步骤45进一步完善粗提取结果,比如填补二值化过程中易产生的小漏洞或者去除孤立的小像素块。一些兴趣物体封套和骨架区域的例子如图3的3b行、3c行所示。最后,步骤46将图像中封套以外的部分标记为背景像素种子,而将骨架部分标记成物体像素种子,进而为下一步的像素分类提供先验知识。
参照图6,上述实施例中,精提取与后续处理阶段主要步骤如下:
步骤61:分别统计背景种子和物体种子的某种视觉代表特征,将统计结果分别进行聚类,从而建立背景和物体部分的视觉特征模型。
步骤62:计算剩下的每一个非种子像素与所有聚类中心的相似度,将其归入最为相似的一类。
步骤63:根据归类结果提取出兴趣物体区域。
步骤64:进行孤立块连接、边缘平滑等后处理,优化结果。
步骤65:得到最终完整精确的兴趣物体。
下面对各步骤的实现方法进行详细描述:步骤61中统计特征的数据结构要求有效快速,而视觉代表特征为简单易提取的特征。在本实施例中,采用两棵KD-tree来分别统计背景和物体特征,其中树上每一个节点都是代表特征的一个聚类。每个聚类包含了多个相似的特征,聚类中心为特征的平均值。同时,在实施例中选取Lab空间的颜色值作为此代表特征。步骤62中的相似度可以是任何衡量特征空间中特征相似性的测量标准,比如简单的欧拉距离。步骤63将所有归类于物体KD-tree的像素组成的集合认为是兴趣物体区域。步骤64在步骤3的结果上进行一系列后处理优化,比如连接距物体区域较近且和物体特征相似的孤立小像素块,平滑物体边缘以去除突刺等。最后步骤65得到完整准确的兴趣物体。
整个基于互补显著度图的图像兴趣物体自动提取方法流程所产生的结果顺序实例如图3a→b→c→3d。
另一方面,本发明还提供了一种基于互补显著度图的图像兴趣物体自动提取系统,参照图7,图7为本发明基于互补显著度图的图像兴趣物体自动提取系统的结构框图,包括:粗提取模块70,用于对同一幅图像,生成两个互补的显著度图,获取两个互补的粗提取结果;精提取模块72,用于将所述两个互补的粗提取结果作为先验知识,采取像素分类方法提取出兴趣物体;后续处理模块74,用于对提取出的所述兴趣物体进行优化。
其中,上述互补的显著度图包括模糊显著度图和尖锐显著度图,互补的粗提取结果包括物体封套区域和物体骨架区域,参照图8,粗提取模块70包括:互补的显著度图提取单元701,用于提取原始图像的视觉代表特征,基于所述视觉代表特征生成所述模糊显著度图和所述尖锐显著度图;自适应性阈值设定单元702,用于为所述模糊显著度图设定第一自适应性阈值,为所述尖锐显著度图设定第二自适应性阈值,所述第一自适应性阈值小于所述第二自适应性阈值;二值化处理单元703,用于依据所述第一自适应性阈值对所述模糊显著度图进行二值化处理,获取所述物体封套区域;依据所述第二自适应性阈值对所述尖锐显著度图进行二值化处理,获取所述物体骨架区域;背景种子和物体种子确定单元704,用于将物体封套以外部分作为背景种子,骨架部分作为物体种子。
更为优选的一种方式是,二值化处理单元和背景种子和物体种子确定单元之间,还连接有去除所述物体封套区域和骨架区域内孤立像素块和填补区域漏洞的单元。
参照图9,图9为精提取模块72的结构框图,包括:
统计单元721,用于分别统计所述背景种子和所述物体种子的视觉代表特征,并将统计结果聚类;计算单元722,用于计算剩下的每一个非种子像素与所有聚类中心的相似度,将其归入最为相似的聚类;提取单元723,用于根据归类结果提取出兴趣物体区域。
在后续处理模块74中,所述优化处理包括:对所述兴趣物体的区域进行包括孤立块连接、边缘平滑的处理,但不限于上述两种方式的处理。
上述系统实施例的原理与与方法实施例相同,在此不再赘述。相同之处互相参照即可。
以上对本发明所提供的一种基于互补显著度图的图像兴趣物体自动提取方法及系统进行详细介绍,本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于互补显著度图的图像兴趣物体自动提取方法,其特征在于,包括如下步骤:
粗提取步骤,基于原始图像,生成两个互补的显著度图,获取两个互补的粗提取结果;
精提取步骤,将所述两个互补的粗提取结果作为先验知识,采取像素分类方法提取出兴趣物体;
后续处理步骤,对提取出的所述兴趣物体进行优化。
2.根据权利要求1所述的兴趣物体自动提取方法,其特征在于,所述互补的显著度图包括模糊显著度图和尖锐显著度图,所述互补的粗提取结果包括物体封套区域和物体骨架区域;所述粗提取步骤包括:
互补的显著度图提取步骤,提取原始图像的视觉代表特征,基于所述视觉代表特征生成所述模糊显著度图和所述尖锐显著度图;
自适应性阈值设定步骤,为所述模糊显著度图设定第一自适应性阈值,为所述尖锐显著度图设定第二自适应性阈值;
二值化处理步骤,依据所述第一自适应性阈值对所述模糊显著度图进行二值化处理,获取所述物体封套区域;依据所述第二自适应性阈值对所述尖锐显著度图进行二值化处理,获取所述物体骨架区域;
背景种子和物体种子确定步骤,将物体封套以外部分作为背景种子,骨架部分作为物体种子。
3.根据权利要求2所述的兴趣物体自动提取方法,其特征在于,在所述二值化处理步骤和所述背景种子和物体种子确定步骤之间,还包括去除所述物体封套区域和骨架区域内孤立像素块和填补区域漏洞的步骤。
4.根据权利要求3所述的兴趣物体自动提取方法,其特征在于,所述精提取步骤包括:
统计步骤,分别统计所述背景种子和所述物体种子的视觉代表特征,将统计结果分别进行聚类,获取聚类中心;
计算步骤,计算非种子像素与每一聚类中心的相似度,基于相似度,将其归入最为相似的一类;其中,将原始图像中减去所述背景种子与所述物体种子后,获得的差作为非种子像素的集合;
提取步骤,根据归类结果提取出兴趣物体区域。
5.根据权利要求4所述的兴趣物体自动提取方法,其特征在于,所述后续处理步骤中,所述优化处理包括:
对所述兴趣物体的区域进行包括孤立块连接、边缘平滑的处理。
6.一种基于互补显著度图的图像兴趣物体自动提取系统,其特征在于,包括:
粗提取模块,用于基于原始图像,生成两个互补的显著度图,获取两个互补的粗提取结果;
精提取模块,用于将所述两个互补的粗提取结果作为先验知识,采取像素分类方法提取出兴趣物体;
后续处理模块,用于对提取出的所述兴趣物体进行优化。
7.根据权利要求6所述的兴趣物体自动提取系统,其特征在于,所述互补的显著度图包括模糊显著度图和尖锐显著度图,所述互补的粗提取结果包括物体封套区域和物体骨架区域,所述粗提取模块包括:
互补的显著度图提取单元,用于提取原始图像的视觉代表特征,基于所述视觉代表特征生成所述模糊显著度图和所述尖锐显著度图;
自适应性阈值设定单元,用于为所述模糊显著度图设定第一自适应性阈值,为所述尖锐显著度图设定第二自适应性阈值;
二值化处理单元,用于依据所述第一自适应性阈值对所述模糊显著度图进行二值化处理,获取所述物体封套区域;依据所述第二自适应性阈值对所述尖锐显著度图进行二值化处理,获取所述物体骨架区域;
背景种子和物体种子确定单元,用于将物体封套以外部分作为背景种子,骨架部分作为物体种子。
8.根据权利要求7所述的兴趣物体自动提取方法,其特征在于,在所述二值化处理单元和所述背景种子和物体种子确定单元之间,还连接有去除所述物体封套区域和骨架区域内孤立像素块和填补区域漏洞的单元。
9.根据权利要求8所述的兴趣物体自动提取方法,其特征在于,所述精提取模块包括:
统计单元,用于分别统计所述背景种子和所述物体种子的视觉代表特征,将统计结果分别进行聚类,获取聚类中心;
计算单元,用于计算非种子像素与每一聚类中心的相似度,基于相似度,将其归入最为相似的一类;其中,将原始图像中减去所述背景种子与所述物体种子后,获得的差作为非种子像素的集合;
提取单元,用于根据归类结果提取出兴趣物体区域。
10.根据权利要求9所述的兴趣物体自动提取方法,其特征在于,所述后续处理模块中,所述优化处理包括:
对所述兴趣物体的区域进行包括孤立块连接、边缘平滑的处理。
CN2010101937475A 2010-05-28 2010-05-28 基于互补显著度图的图像兴趣物体自动提取方法及系统 Expired - Fee Related CN101847264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101937475A CN101847264B (zh) 2010-05-28 2010-05-28 基于互补显著度图的图像兴趣物体自动提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101937475A CN101847264B (zh) 2010-05-28 2010-05-28 基于互补显著度图的图像兴趣物体自动提取方法及系统

Publications (2)

Publication Number Publication Date
CN101847264A true CN101847264A (zh) 2010-09-29
CN101847264B CN101847264B (zh) 2012-07-25

Family

ID=42771876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101937475A Expired - Fee Related CN101847264B (zh) 2010-05-28 2010-05-28 基于互补显著度图的图像兴趣物体自动提取方法及系统

Country Status (1)

Country Link
CN (1) CN101847264B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034102A (zh) * 2010-11-26 2011-04-27 北京大学 图像显著对象提取方法、互补显著度图学习方法及系统
CN102496023A (zh) * 2011-11-23 2012-06-13 中南大学 像素层面的感兴趣区域提取方法
CN102663405A (zh) * 2012-05-14 2012-09-12 武汉大学 基于显著度和混合高斯模型的监控视频前景提取方法
CN103578098A (zh) * 2012-08-07 2014-02-12 阿里巴巴集团控股有限公司 在商品图片中提取商品主体的方法和装置
WO2016066042A1 (zh) * 2014-10-29 2016-05-06 阿里巴巴集团控股有限公司 商品图片的分割方法及其装置
CN107358635A (zh) * 2017-07-19 2017-11-17 辽宁工程技术大学 一种基于模糊相似性的彩色形态学图像处理方法
CN107368812A (zh) * 2017-07-21 2017-11-21 成都恒高科技有限公司 基于最大连通子图的人脸识别数据清洗方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038669A (zh) * 2007-04-12 2007-09-19 上海交通大学 全局异常信号环境下基于联合显著图的鲁棒图像配准方法
US20080304742A1 (en) * 2005-02-17 2008-12-11 Connell Jonathan H Combining multiple cues in a visual object detection system
US20080304740A1 (en) * 2007-06-06 2008-12-11 Microsoft Corporation Salient Object Detection
CN101447079A (zh) * 2008-12-11 2009-06-03 香港理工大学 基于模糊拓扑的图像区域目标提取方法
CN101533512A (zh) * 2009-04-24 2009-09-16 西安电子科技大学 基于人类视觉注意系统的图像感兴趣区域自动提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304742A1 (en) * 2005-02-17 2008-12-11 Connell Jonathan H Combining multiple cues in a visual object detection system
CN101038669A (zh) * 2007-04-12 2007-09-19 上海交通大学 全局异常信号环境下基于联合显著图的鲁棒图像配准方法
US20080304740A1 (en) * 2007-06-06 2008-12-11 Microsoft Corporation Salient Object Detection
CN101447079A (zh) * 2008-12-11 2009-06-03 香港理工大学 基于模糊拓扑的图像区域目标提取方法
CN101533512A (zh) * 2009-04-24 2009-09-16 西安电子科技大学 基于人类视觉注意系统的图像感兴趣区域自动提取方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034102A (zh) * 2010-11-26 2011-04-27 北京大学 图像显著对象提取方法、互补显著度图学习方法及系统
CN102034102B (zh) * 2010-11-26 2013-11-06 北京大学 图像显著对象提取方法、互补显著度图学习方法及系统
CN102496023A (zh) * 2011-11-23 2012-06-13 中南大学 像素层面的感兴趣区域提取方法
CN102496023B (zh) * 2011-11-23 2014-08-27 中南大学 像素层面的感兴趣区域提取方法
CN102663405A (zh) * 2012-05-14 2012-09-12 武汉大学 基于显著度和混合高斯模型的监控视频前景提取方法
CN102663405B (zh) * 2012-05-14 2013-07-24 武汉大学 基于显著度和混合高斯模型的监控视频前景提取方法
CN103578098A (zh) * 2012-08-07 2014-02-12 阿里巴巴集团控股有限公司 在商品图片中提取商品主体的方法和装置
WO2016066042A1 (zh) * 2014-10-29 2016-05-06 阿里巴巴集团控股有限公司 商品图片的分割方法及其装置
US10297029B2 (en) 2014-10-29 2019-05-21 Alibaba Group Holding Limited Method and device for image segmentation
CN107358635A (zh) * 2017-07-19 2017-11-17 辽宁工程技术大学 一种基于模糊相似性的彩色形态学图像处理方法
CN107368812A (zh) * 2017-07-21 2017-11-21 成都恒高科技有限公司 基于最大连通子图的人脸识别数据清洗方法
CN107368812B (zh) * 2017-07-21 2020-03-20 成都恒高科技有限公司 基于最大连通子图的人脸识别数据清洗方法

Also Published As

Publication number Publication date
CN101847264B (zh) 2012-07-25

Similar Documents

Publication Publication Date Title
CN101847264B (zh) 基于互补显著度图的图像兴趣物体自动提取方法及系统
CN111709420B (zh) 文本检测方法、电子设备及计算机可读介质
CN111640125B (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN107833213B (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN110569905B (zh) 基于生成对抗网络和注意力网络的细粒度图像分类方法
CN109740639B (zh) 一种风云卫星遥感影像云检测方法、系统及电子设备
CN106504255B (zh) 一种基于多标签多示例学习的多目标图像联合分割方法
CN107341517A (zh) 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN104881677B (zh) 针对遥感影像地表覆盖分类的最优分割尺度确定方法
CN103810503A (zh) 一种基于深度学习的自然图像中显著区域的检测方法
CN105574063A (zh) 基于视觉显著性的图像检索方法
CN110942013A (zh) 一种基于深度神经网络的卫星影像特征提取方法及系统
CN106295502A (zh) 一种人脸检测方法及装置
CN101788497B (zh) 一种基于图像识别技术的嵌入式豆类分类系统
CN101901346A (zh) 一种对彩色数字图像进行不良内容识别的方法
CN103020649A (zh) 一种基于纹理信息的森林类型识别方法
CN103593853A (zh) 基于联合稀疏表达的遥感影像多尺度面向对象分类方法
Yang et al. Tree detection from aerial imagery
CN104777176A (zh) 一种pcb板检测方法及装置
CN102147867A (zh) 一种基于主体的国画图像和书法图像的识别方法
CN109409227A (zh) 一种基于多通道cnn的手指静脉图质量评估方法及其装置
Song et al. Depth-aware saliency detection using discriminative saliency fusion
CN106682691A (zh) 基于图像的目标检测方法及装置
CN109741351A (zh) 一种基于深度学习的类别敏感型边缘检测方法
RoyChowdhury et al. Distinguishing weather phenomena from bird migration patterns in radar imagery

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120725

Termination date: 20200528