CN105205161A - 一种基于互联网图片的同时目标搜索与分割方法 - Google Patents

一种基于互联网图片的同时目标搜索与分割方法 Download PDF

Info

Publication number
CN105205161A
CN105205161A CN201510633008.6A CN201510633008A CN105205161A CN 105205161 A CN105205161 A CN 105205161A CN 201510633008 A CN201510633008 A CN 201510633008A CN 105205161 A CN105205161 A CN 105205161A
Authority
CN
China
Prior art keywords
pixel
super
segmentation
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510633008.6A
Other languages
English (en)
Inventor
于慧敏
杨白
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201510633008.6A priority Critical patent/CN105205161A/zh
Publication of CN105205161A publication Critical patent/CN105205161A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于互联网图片的同时目标搜索与分割方法。针对一组真实场景下的互联网图片数据集,该方法根据用户输入的感兴趣目标,实现对整个数据集感兴趣目标的同时搜索与分割。首先,对用户输入图像以及给定图像集进行预分割操作,得到过分割后的超像素;然后,基于最具有代表性超像素评价机制与分层式搜索机制,得到图像集的种子超像素集合;最后利用基于种子超像素的树图约束采用组合优化的算法完成对目标的同时搜索与精确分割,搜索与分割的共同结果由精确的分割结果表示。与同类方法相比,本发明通过种子超像素作为纽带,实现对目标的同时搜索与分割,并且通过树图的约束优化求解组合优化算法并提高分割精度,能够适应各种复杂场景。

Description

一种基于互联网图片的同时目标搜索与分割方法
技术领域
本发明涉及一种基于互联网图片的同时目标搜索与分割方法,适用于视觉目标的搜索与分割、用户照片的感兴趣目标提取以及图片分类识别等领域。
背景技术
在计算机视觉领域,对感兴趣目标的同时搜索与分割是一个新且实用的问题,它的解决能够对互联网图像的处理,诸如感兴趣目标的提取、目标识别、物体分类等众多图像处理问题起到很好的辅助作用。随着互联网浪潮的兴起,处理大批量的多媒体数据(例如图像、视频等)已成为人们迫切的需求。如何能够从大量的图像信息中提取出人们感兴趣的目标物体已经成为人们非常关心的问题。借助于互联网,人们可以非常容易获取包含有相同物体或者同一类别物体的大量图片,而如何借助于这一信息来辅助评价感兴趣目标中具有独特性的超像素,以此在新的图像数据集中定位感兴趣目标,是本发明的出发点。通过将独立的目标搜索与目标分割这两项图像处理的基本问题结合起来,在目标分割的基础上引入目标搜索的思想,以种子超像素作为联系搜索与分割的纽带,形成“搜索约束分割,分割验证搜索”的全新思想来完成目标的同时搜索与分割是本研究的主要内容。然而,纵观有关目标搜索与分割领域的研究和应用可知,目前的同时目标搜索与分割领域工作较少,且存在以下问题:
1)目前的搜索技术主要以矩形框的形式给出结果,基于矩形框进行分割则存在诸多问题:若矩形框错误,则必然得到错误的分割结果;若矩形框过大或过小,同样给分割结果带来较大误差。
2)目前的搜索技术普遍采取遍历式滑动窗匹配,其计算量过大,且需要实现进行训练,应用的局限性较大。
3)目前的工作中将目标搜索与目标分割整合到统一框架进行解决的工作稀少,如何将这两者有机结合并且实现新的同时搜索与分割的问题依然是一个难题,有待进一步研究。
以上的技术难题为目标同时搜索与分割技术在互联网领域的广泛应用带来了诸多困扰,开发出一套基于互联网图片的同时目标搜索与分割方法具有较高的应用价值。
发明内容
为了解决现有技术中存在的难题,本发明公开了一种基于互联网图片的同时目标搜索与分割方法,该方法适用于具有复杂精细结构的感兴趣目标的同时搜索与分割。根据用户输入,最具有代表性超像素评价机制评估出感兴趣目标中的最具有代表性超像素;基于最具有代表性超像素,分层式搜索机制得到在图像集中的种子超像素集合。最后,将树图约束与种子超像素约束引入组合优化问题,并通过反馈验证过程来完成最终的目标同时搜索与分割。
本发明采用以下技术方案:一种基于互联网图片的同时目标搜索与分割方法,包含以下步骤:
(1)对于带有用户标记的感兴趣目标图像IL,通过过分割方法得到感兴趣目标所包含的超像素集合PL。基于最具有代表性超像素评价机制,得到超像素集合PL中最具有代表性超像素;
(2)对待处理图像集进行分层式过分割,得到过分割超像素;基于感兴趣目标图像IL及其最具有代表性超像素,实现对所有待处理图像集的过分割超像素与感兴趣目标最具有代表性超像素的分层式匹配,得到种子超像素集合
(3)对感兴趣目标以及背景利用目标模型fL和背景模型fb分别建模,其中,上述模型均由现有的混合高斯模型(GMM)与空间金字塔匹配模型(SPM)共同得到。然后,采用组合优化的算法对过分割超像素进行目标与背景的再次分类,同时引入种子超像素与树图的约束,并以分割结果反馈验证种子超像素,得到最终同时目标搜索与分割结果。假设每个超像素对应于一个顶点,最后的分割结果由包含种子超像素的多个超像素构成,且能够表示为邻接图的子树。通过建立邻接图来推断子树的方法确定最后的分割结果;具体实现过程如下:
(3.1)构建邻接图:假设图像中的每个超像素对应于图中的一个顶点,两个相邻的超像素之间由一条边连接,由此构成邻接图对于最终的目标同时搜索与分割的结果,假设结果由邻接图所包含的一个子树构成,且包含对应的种子超像素;
(3.2)建立数值模型求解:建立数值模型,将目标同时搜索与分割的问题转换为组合优化问题的求解,如下:
max [ Σ R ⊆ R i f L ( R ) · v L ( R ) + Σ R ′ ⊆ R i f b ( R ′ ) · v b ( R ′ ) ]
s.t.Rs∈R
vL(R),vb(R′)∈{0,1}.
当R为目标的超像素或超像素组合时,vL(R)=1;当R′为背景中的超像素或超像素组合时,vb(R′)=1;约束条件表示种子超像素Rs只能属于目标类。通过推导可得,若要求解分割结果,实际上可转换为求解包含种子超像素的最优子树的方法,而要求该最优子树,需要先估计最大生成树;
(3.3)推导最大生成树:通过基于种子超像素的beamsearch的定向搜索方法来得到所有可能的候选子树集合基于候选子树集合通过最大似然估计的方法得到最大生成树推导如下:
表示所有潜在的生成树集合,表示数据似然概率,最终可导出,
为候选子树集合,为某一子树,表示对的最大似然估计,δ(·)为指示函数,δ((x,y)∈Dq)指示边(x,y)是否属于某一子树Dq;wq=fL(Dq),fL(Dq)为子树Dq与目标模型的相似程度,P(x,y)表示边(x,y)的概率,为对P(x,y)的最大似然估计。通过上式可得最大生成树的最大似然估计。
(3.4)搜索分割子树:基于最大生成树的最大似然估计求得然后通过动态规划技术在中搜索得到最优子树,即为所求分割结果。
(4)迭代分割:根据步骤3得到的分割结果更新目标模型,按照步骤3所述的方法,进行再分割;
(5)重复步骤4,直至最终分割结果不再变化,即得到最终的分割结果。
(6)反馈验证过程:将5得到的最终分割结果与目标模型进行相似度匹配。若相似度高于阈值,则认为种子超像素有效,分割结果为目标同时搜索与分割的最终结果;若相似度低于阈值,则认为种子超像素无效,该图像不存在感兴趣目标。
进一步地,所述步骤1中,最具有代表性超像素评价机制具体为:
对于图像集I=<I1,I2,...,IN>,假设用户在图像IL∈I中通过边界框的形式标记了感兴趣目标,且感兴趣目标包含基于过分割得到的超像素集合PL。最具有代表性超像素评价机制在超像素集合PL中评估最具有代表性超像素步骤如下:
(1.1)采用图像搜索引擎(如谷歌)搜索得到5张与图像IL的内容最具有相关性的图像集J=<J1,J2,...,J5>,并使用过分割算法预分割;对于在PL中的第m个超像素计算其与图像Jk(1≤k≤5)中最相似的超像素的距离:
d ( P m L , J k ) = min m &prime; ( &lambda; | | c m L - c m &prime; k | | + ( 1 - &lambda; ) | | s m L - s m &prime; k | | )
其中分别代表标记图像IL中第m个超像素的RGB颜色特征矢量和SIFT词袋模型特征矢量,分别代表第k幅图像Jk中第m′个超像素的HSV颜色特征矢量和SIFT词袋模型特征矢量,λ=0.5为权重值,χ2距离被用来计算距离d;
(1.2)每一个感兴趣目标包含的超像素可得到对应的5个距离k=1,2,...,5。对这5个距离值求平均值得到其值越小表示相似程度越高。
(1.3)过滤掉面积较小(小于50×50像素)的超像素后,选取具有最大的超像素作为图像的种子超像素用于匹配搜索。
进一步地,步骤2具体为:
根据分层式过分割算法,对图像集中的图像进行分层式过分割。由于感兴趣目标可能存在于图像的任何尺度,因此有必要对其进行逐层搜索匹配。具体匹配的方法如下:
D(i,dr)=α||Dc(i)-Dc(dr)||+β||Ds(i)-Ds(dr)||+γ||Db(i)-Db(dr)||.
其中D(dr)表示最具有代表性超像素的特征矢量,D(i)代表其余第i个超像素的特征矢量。Dc表示颜色特征矢量,Ds表示SIFT词袋模型特征矢量,Db代表边界特征矢量。α,β,γ表示各个特征矢量的权重值,分别为0.4,0.4,0.2。
进一步地,步骤5具体为:
(5.1)根据最新的分割结果,更新之前的前景目标模型,使之更加接近待分割目标;
(5.2)根据更新后的目标模型,重新产生所有可能的候选子树集合并且估计最大生成树;
(5.3)根据更新后的目标模型和最大生成树,重新采用动态规划技术搜索分割子树,得到分割结果;
(5.4)判断是否满足截止条件,即最后分割结果是否不再变化。若满足,则迭代结束;若不满足,则重复(5.1)‐(5.3)。
本发明与现有技术相比,具有以下技术效果:
(1)基于用户输入的感兴趣目标,能够在图像集中对感兴趣目标实现同时搜索与分割。
(2)引入了结构化的树图约束条件,大幅提高了分割准确度,尤其针对具有复杂的精细结构的物体分割效果较好,并且为组合优化的方程求最优解提供了新的优化求解算法。
(3)在分割的过程中引入了种子超像素约束,使得搜索结果能够指导后续的分割过程,提高了分割的准确度。
(4)反馈验证过程能够通过分割的结果反馈回种子超像素,排除错误的种子超像素,从而得到更加准确的搜索结果。
附图说明
图1是本发明的整体流程图;
图2是内容相关图像搜索结果;
图3是基于种子超像素分割的示意图;
图4是目标同时搜索与分割结果示意图;
图5是具有复杂精细结构目标物体的分割结果。
具体实施方式
下面结合附图通过具体实施例,对本发明的技术方案做进一步的详细说明。
以下实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例
本实施例对公开的FlickrMFC和iCoseg数据集中的多类图像进行处理。这些类别的图像为真实场景中的用户照片集与协同分割图像集,包含多个不同的前景,且存在光照、尺度、姿态等各种变化。图1是本发明的整体流程图,本实施例包含以下步骤:
(1)最具有代表性超像素评价机制:对于用户标记的感兴趣目标图像IL,通过过分割方法可得感兴趣目标所包含的超像素集合PL。基于最具有代表性超像素评价机制,得到超像素集合PL中最具有代表性超像素;
(2)分层式超像素搜索机制:在对待处理图像集进行分层式过分割的基础上,基于感兴趣目标图像IL及其最具有代表性超像素,实现对所有待处理图像集的过分割超像素与感兴趣目标最具有代表性超像素的分层式匹配,得到种子超像素集合
(3)基于种子超像素的同时搜索与分割:首先,对感兴趣目标以及背景利用目标模型fL和背景模型fb分别建模,其中模型由现有的混合高斯模型(GMM)与空间金字塔匹配模型(SPM)共同得到。然后,采用组合优化的算法对超像素进行目标与背景的再次分类,同时引入种子超像素与树图的约束,并以分割结果反馈验证种子超像素,以得到最终同时目标搜索与分割结果。假设每个超像素对应于一个顶点,最后的分割结果由包含种子超像素的多个超像素构成,且能够表示为邻接图的子树。通过建立邻接图来推断子树的方法确定最后的分割结果;具体实现过程如下:
(3.1)构建邻接图:假设图像中的每个超像素对应于图中的一个顶点,两个相邻的超像素之间由一条边连接,由此构成邻接图对于最终的目标同时搜索与分割结果,假设其由邻接图所包含的一个子树构成,且包含对应的种子超像素;
(3.2)建立数值模型求解:建立数值模型,将目标同时搜索与分割的问题转换为组合优化问题的求解,如下:
max &lsqb; &Sigma; R &SubsetEqual; R i f L ( R ) &CenterDot; v L ( R ) + &Sigma; R &prime; &SubsetEqual; R i f b ( R &prime; ) &CenterDot; v b ( R &prime; ) &rsqb;
s.t.Rs∈R
vL(R),vb(R′)∈{0,1}.
当R为目标的超像素或超像素组合时,vL(R)=1;当R′为背景中的超像素或超像素组合时,vb(R′)=1;约束条件表示种子超像素Rs只能属于目标类。通过推导可得,若要求解分割结果,实际上可转换为求解包含种子超像素的最优子树的方法,而要求该最优子树,需要先估计最大生成树;
(3.3)推导最大生成树:通过基于种子超像素的beamsearch的定向搜索方法来得到所有可能的候选子树集合基于候选子树集合通过最大似然估计的方法得到最大生成树推导如下:
表示所有潜在的生成树集合,表示数据似然概率,最终可导出,
候选子树集合,为某一子树,表示对的最大似然估计,δ(·)为指示函数,δ((x,y)∈Dq)指示边(x,y)是否属于某一子树Dq;wq=fL(Dq),fL(Dq)为子树Dq与目标模型的相似程度,P(x,y)表示边(x,y)的概率,为对P(x,y)的最大似然估计。通过上式可得最大生成树的最大似然估计。
(3.4)搜索分割子树:基于最大生成树的最大似然估计求得然后通过动态规划技术在中搜索得到最优子树,即为所求分割结果。
(4)迭代分割:根据步骤3得到的分割结果更新目标模型,按照步骤3所述的方法,进行再分割;
(5)重复步骤4,直至最终分割结果不再变化,即得到最终的分割结果。
(6)反馈验证过程:将5得到的最终分割结果与目标模型进行相似度匹配。若相似度高于阈值,则认为种子超像素有效,分割结果为目标同时搜索与分割的最终结果;若相似度低于阈值,则认为种子超像素无效,该图像不存在感兴趣目标。
在本实施例中,对所述步骤1,最具有代表性超像素评价机制具体为:
对于图像集I=<I1,I2,...,IN>,假设用户在图像IL∈I中通过边界框的形式标记了感兴趣目标,且感兴趣目标包含基于过分割得到的超像素集合PL。我们的最具有代表性超像素评价机制在超像素集合PL中评估最具有代表性超像素步骤如下:
首先,采用图像搜索引擎(如谷歌)搜索得到5张与图像IL的内容最具有相关性的图像集J=<J1,J2,...,J5>(相关性根据搜索引擎的排序得到),并使用过分割算法预分割;对于在PL中的第m个超像素计算其与图像Jk(1≤k≤5)中最相似的超像素的距离:
d ( P m L , J k ) = min m &prime; ( &lambda; | | c m L - c m &prime; k | | + ( 1 - &lambda; ) | | s m L - s m &prime; k | | )
其中分别代表标记图像IL中第m个超像素的RGB颜色特征矢量和SIFT词袋模型特征矢量,分别代表第k幅图像Jk中第m′个超像素的RGB颜色特征矢量和SIFT词袋模型特征矢量。其中RGB颜色特征为超像素包含的像素RGB平均值,权重值λ=0.5,χ2距离被用来计算距离d;
然后,每一个感兴趣目标包含的超像素可得到对应的5个距离k=1,2,...,5。对这5个距离值求平均值得到其值越小表示相似程度越高。
最后,基于假设,相似程度越高的超像素越有可能包含同一类的特征,而相似程度较低的超像素越有可能包含独特的特征。因此,过滤掉面积较小(小于50×50像素)的超像素后,选取具有最大的超像素作为图像的种子超像素用于匹配搜索。
在本实施例中,步骤2的分层式超像素搜索机制,具体为:
根据分层式过分割算法,对图像集中的图像进行分层式过分割。由于感兴趣目标可能存在于图像的任何尺度,因此有必要对其进行逐层搜索匹配。具体匹配的方法如下,
D(i,dr)=α||Dc(i)-Dc(dr)||+β||Ds(i)-Ds(dr)||+γ||Db(i)-Db(dr)||.
其中D(dr)表示最具有代表性超像素的特征矢量,D(i)代表其余第i个超像素的特征矢量。Dc表示颜色特征矢量,Ds表示SIFT词袋模型特征矢量,Db代表边界特征矢量。α,β,γ表示各个特征矢量的权重值,分别为0.4,0.4,0.2。
在本实施例中,步骤5具体为:
(5.1)根据最新的分割结果,更新之前的前景目标模型,使之更加接近待分割目标;
(5.2)根据更新后的目标模型,重新产生所有可能的候选子树集合并且估计最大生成树;
(5.3)根据更新后的目标模型和最大生成树,重新采用动态规划技术搜索分割子树,得到分割结果;
(5.4)判断是否满足截止条件,即最后分割结果是否不再变化。若满足,则迭代结束;若不满足,则重复(5.1)‐(5.3)。
实施效果
根据上述步骤,选取FlickrMFC数据集中的若干图片进行目标同时搜索与分割。图4展示了选自FlickrMFC数据集中的图片测试结果。从图4可以看出,本发明对于待处理目标存在尺度、姿态、光照等剧烈变化的情况下,依然能够得到精确的目标同时搜索与分割结果。图5展示了本发明算法针对iCoseg数据集的分割结果,可以看出,对于具有复杂精细结构的物体,本发明提出的同时搜索与分割方法依然能够准确地得到分割结果。

Claims (4)

1.一种基于互联网图片的同时目标搜索与分割方法,其特征在于,包含以下步骤:
(1)对于带有用户标记的感兴趣目标图像IL,通过过分割方法得到感兴趣目标所包含的超像素集合PL。基于最具有代表性超像素评价机制,得到超像素集合PL中最具有代表性超像素;
(2)对待处理图像集进行分层式过分割,得到过分割超像素;基于感兴趣目标图像IL及其最具有代表性超像素,实现对所有待处理图像集的过分割超像素与感兴趣目标最具有代表性超像素的分层式匹配,得到种子超像素集合
(3)对感兴趣目标以及背景利用目标模型fL和背景模型fb分别建模,其中,上述模型均由现有的混合高斯模型(GMM)与空间金字塔匹配模型(SPM)共同得到。然后,采用组合优化的算法对过分割超像素进行目标与背景的再次分类,同时引入种子超像素与树图的约束,并以分割结果反馈验证种子超像素,得到最终同时目标搜索与分割结果。假设每个超像素对应于一个顶点,最后的分割结果由包含种子超像素的多个超像素构成,且能够表示为邻接图的子树。通过建立邻接图来推断子树的方法确定最后的分割结果;具体实现过程如下:
(3.1)构建邻接图:假设图像中的每个超像素对应于图中的一个顶点,两个相邻的超像素之间由一条边连接,由此构成邻接图对于最终的目标同时搜索与分割的结果,假设结果由邻接图所包含的一个子树构成,且包含对应的种子超像素;
(3.2)建立数值模型求解:建立数值模型,将目标同时搜索与分割的问题转换为组合优化问题的求解,如下:
m a x &lsqb; &Sigma; R &SubsetEqual; R i f L ( R ) &CenterDot; v L ( R ) + &Sigma; R &prime; &SubsetEqual; R i f b ( R &prime; ) &CenterDot; v b ( R &prime; ) &rsqb;
s.t.Rs∈R
vL(R),vb(R′)∈{0,1}.
当R为目标的超像素或超像素组合时,vL(R)=1;当R′为背景中的超像素或超像素组合时,vb(R′)=1;约束条件表示种子超像素Rs只能属于目标类。通过推导可得,若要求解分割结果,实际上可转换为求解包含种子超像素的最优子树的方法,而要求该最优子树,需要先估计最大生成树;
(3.3)推导最大生成树:通过基于种子超像素的beamsearch的定向搜索方法来得到所有可能的候选子树集合基于候选子树集合通过最大似然估计的方法得到最大生成树推导如下:
表示所有潜在的生成树集合,表示数据似然概率,最终可导出,
为候选子树集合,为某一子树,表示对的最大似然估计,δ(·)为指示函数,δ((x,y)∈Dq)指示边(x,y)是否属于某一子树Dq;wq=fL(Dq),fL(Dq)为子树Dq与目标模型的相似程度,P(x,y)表示边(x,y)的概率,为对P(x,y)的最大似然估计。通过上式可得最大生成树的最大似然估计。
(3.4)搜索分割子树:基于最大生成树的最大似然估计求得然后通过动态规划技术在中搜索得到最优子树,即为所求分割结果。
(4)迭代分割:根据步骤3得到的分割结果更新目标模型,按照步骤3所述的方法,进行再分割;
(5)重复步骤4,直至最终分割结果不再变化,即得到最终的分割结果。
(6)反馈验证过程:将5得到的最终分割结果与目标模型进行相似度匹配。若相似度高于阈值,则认为种子超像素有效,分割结果为目标同时搜索与分割的最终结果;若相似度低于阈值,则认为种子超像素无效,该图像不存在感兴趣目标。
2.根据权利要求1所述的方法,其特征在于:所述步骤1中,最具有代表性超像素评价机制具体为:
对于图像集I=<I1,I2,...,IN>,假设用户在图像IL∈I中通过边界框的形式标记了感兴趣目标,且感兴趣目标包含基于过分割得到的超像素集合PL。最具有代表性超像素评价机制在超像素集合PL中评估最具有代表性超像素步骤如下:
(1.1)采用图像搜索引擎(如谷歌)搜索得到5张与图像IL的内容最具有相关性的图像集J=<J1,J2,...,J5>,并使用过分割算法预分割;对于在PL中的第m个超像素计算其与图像Jk(1≤k≤5)中最相似的超像素的距离:
d ( P m L , J k ) = min m &prime; ( &lambda; | | c m L - c m k | | + ( 1 - &lambda; ) | | s m L - s m &prime; k | | )
其中分别代表标记图像IL中第m个超像素的RGB颜色特征矢量和SIFT词袋模型特征矢量,分别代表第k幅图像Jk中第m′个超像素的HSV颜色特征矢量和SIFT词袋模型特征矢量,λ=0.5为权重值,距离被用来计算距离d;
(1.2)每一个感兴趣目标包含的超像素可得到对应的5个距离k=1,2,...,5。对这5个距离值求平均值得到其值越小表示相似程度越高。
(1.3)过滤掉面积较小(小于50×50像素)的超像素后,选取具有最大的超像素作为图像的种子超像素用于匹配搜索。
3.根据权利要求1所述的方法,其特征在于:步骤2具体为:
根据分层式过分割算法,对图像集中的图像进行分层式过分割。由于感兴趣目标可能存在于图像的任何尺度,因此有必要对其进行逐层搜索匹配。具体匹配的方法如下:
D(i,dr)=α||Dc(i)-Dc(dr)||+β||Ds(i)-Ds(dr)||+γ||Db(i)-Db(dr)||.
其中D(dr)表示最具有代表性超像素的特征矢量,D(i)代表其余第i个超像素的特征矢量。Dc表示颜色特征矢量,Ds表示SIFT词袋模型特征矢量,Db代表边界特征矢量。α,β,γ表示各个特征矢量的权重值,分别为0.4,0.4,0.2。
4.根据权利要求1所述的方法,其特征在于:步骤5具体为:
(5.1)根据最新的分割结果,更新之前的前景目标模型,使之更加接近待分割目标;
(5.2)根据更新后的目标模型,重新产生所有可能的候选子树集合并且估计最大生成树;
(5.3)根据更新后的目标模型和最大生成树,重新采用动态规划技术搜索分割子树,得到分割结果;
(5.4)判断是否满足截止条件,即最后分割结果是否不再变化。若满足,则迭代结束;若不满足,则重复(5.1)-(5.3)。
CN201510633008.6A 2015-09-29 2015-09-29 一种基于互联网图片的同时目标搜索与分割方法 Pending CN105205161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510633008.6A CN105205161A (zh) 2015-09-29 2015-09-29 一种基于互联网图片的同时目标搜索与分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510633008.6A CN105205161A (zh) 2015-09-29 2015-09-29 一种基于互联网图片的同时目标搜索与分割方法

Publications (1)

Publication Number Publication Date
CN105205161A true CN105205161A (zh) 2015-12-30

Family

ID=54952844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510633008.6A Pending CN105205161A (zh) 2015-09-29 2015-09-29 一种基于互联网图片的同时目标搜索与分割方法

Country Status (1)

Country Link
CN (1) CN105205161A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740915A (zh) * 2016-03-04 2016-07-06 浙江大学 一种融合感知信息的协同分割方法
CN106295509A (zh) * 2016-07-27 2017-01-04 浙江工业大学 一种面向非均匀退化视频中对象的结构化跟踪方法
CN109490926A (zh) * 2018-09-28 2019-03-19 浙江大学 一种基于双目相机和gnss的路径规划方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164858A (zh) * 2013-03-20 2013-06-19 浙江大学 基于超像素和图模型的粘连人群分割与跟踪方法
CN103177450A (zh) * 2013-04-11 2013-06-26 北京航空航天大学 一种基于构件集采样的图像场景分割与分层联合求解方法
CN103870834A (zh) * 2014-04-03 2014-06-18 张琰 基于分层分割的滑动窗搜索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164858A (zh) * 2013-03-20 2013-06-19 浙江大学 基于超像素和图模型的粘连人群分割与跟踪方法
CN103177450A (zh) * 2013-04-11 2013-06-26 北京航空航天大学 一种基于构件集采样的图像场景分割与分层联合求解方法
CN103870834A (zh) * 2014-04-03 2014-06-18 张琰 基于分层分割的滑动窗搜索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAI YANG 等: "Cooperative object search and segmentation in Internet images", 《JOURNAL OF VISUAL CONMMUNICATION AND IMAGE REPRESENTATION》 *
BAI YANG 等: "Unsupervised regions based segmentation using object discovery", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740915A (zh) * 2016-03-04 2016-07-06 浙江大学 一种融合感知信息的协同分割方法
CN105740915B (zh) * 2016-03-04 2019-05-24 浙江大学 一种融合感知信息的协同分割方法
CN106295509A (zh) * 2016-07-27 2017-01-04 浙江工业大学 一种面向非均匀退化视频中对象的结构化跟踪方法
CN106295509B (zh) * 2016-07-27 2019-11-08 浙江工业大学 一种面向非均匀退化视频中对象的结构化跟踪方法
CN109490926A (zh) * 2018-09-28 2019-03-19 浙江大学 一种基于双目相机和gnss的路径规划方法

Similar Documents

Publication Publication Date Title
Chen et al. Learning context flexible attention model for long-term visual place recognition
CN105844669B (zh) 一种基于局部哈希特征的视频目标实时跟踪方法
Zhang et al. Semantic segmentation of urban scenes using dense depth maps
Gomez-Ojeda et al. Training a convolutional neural network for appearance-invariant place recognition
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN110796026A (zh) 一种基于全局特征拼接的行人重识别方法
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN106937120B (zh) 基于对象的监控视频浓缩方法
CN104850850A (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN101770578B (zh) 图像特征提取方法
Qin et al. Semantic loop closure detection based on graph matching in multi-objects scenes
CN105389550A (zh) 一种基于稀疏指引与显著驱动的遥感目标检测方法
CN103309982B (zh) 一种基于视觉显著点特征的遥感影像检索方法
Redondo-Cabrera et al. All together now: Simultaneous object detection and continuous pose estimation using a hough forest with probabilistic locally enhanced voting
Xu et al. csboundary: City-scale road-boundary detection in aerial images for high-definition maps
Li et al. Codemaps-segment, classify and search objects locally
CN105205161A (zh) 一种基于互联网图片的同时目标搜索与分割方法
CN106056627A (zh) 一种基于局部鉴别性稀疏表示的鲁棒目标跟踪方法
Xia et al. Building instance mapping from ALS point clouds aided by polygonal maps
Kanji Unsupervised part-based scene modeling for visual robot localization
CN103336974B (zh) 一种基于局部约束稀疏表征的花卉类别辨识方法
CN103473567B (zh) 一种基于部分模型的车辆检测方法
Hou et al. Forest: A lightweight semantic image descriptor for robust visual place recognition
Suveg et al. 3D Building Reconstruction by Map Based Generation and Evaluation of Hypotheses.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151230

WD01 Invention patent application deemed withdrawn after publication