CN105740915A - 一种融合感知信息的协同分割方法 - Google Patents
一种融合感知信息的协同分割方法 Download PDFInfo
- Publication number
- CN105740915A CN105740915A CN201610124141.3A CN201610124141A CN105740915A CN 105740915 A CN105740915 A CN 105740915A CN 201610124141 A CN201610124141 A CN 201610124141A CN 105740915 A CN105740915 A CN 105740915A
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- segmentation
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008447 perception Effects 0.000 title claims abstract description 42
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000002474 experimental method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013316 zoning Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000001154 acute effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种融合感知信息的协同分割方法,用于实现对一组包含有共同物体的图片数据集进行联合分割,且每幅图片可能包含有多个共同物体。本方法通过将基于区域的显著性、重复性、空间位置等感知信息作为全局约束项引入能量模型来定义前景似然,充分发挥感知信息的重要作用,同时将分割问题转化为组合优化问题求解,最后利用基于感知的物体结构化约束迭代求解。实验表明,与同类算法相比,本发明提出的融合感知信息的协同分割能量模型与求解方法能够适应各种复杂场景,有效实现物体分割。
Description
技术领域
本发明涉及一种融合感知信息的协同分割模型,适用于图片的目标协同分割、体育运动画面中的物体分割与图像识别等领域。
背景技术
在计算机视觉领域,图像分割作为图像处理的基本操作过程,是计算机视觉研究领域的基本研究主题,它的解决能够对其他诸如目标分类、识别、跟踪等众多图像处理问题起到很好的推动作用。在实际应用中,医疗诊断、安防监控、人机交互、工业自动化乃至军事制导等领域都与图像分割有着紧密的联系。随着图像信息的增多,人们可以非常容易获取包含有相同物体或者同一类别物体的大量图片,而如何从这类图片中分割出共同物体或同类别相似物体是我们的主要研究内容。协同分割作为新兴的热门研究方向,主要利用包含相同物体或者相同类别物体的多张图片来完成对共同物体的分割。目前已存在较多的关于协同分割的研究工作,然而,纵观有关协同分割领域的研究和应用可知,目前的协同分割领域研究依旧存在诸多技术难题如下:
1)现有的分步式方法不能形成一个统一的框架进行求解,主要在初始化阶段利用多张图像包含相同物体或者相同类别物体这一先验信息,而在后续的算法中没有充分发挥先验信息的作用;
2)目前的主流算法往往对目标的初始化较为敏感,如果初始化的准确率较低则相应的分割效果较差;
3)对一些显著性、空间位置信息等特征的利用尚不够充分。
以上的技术难题为协同分割技术在多媒体领域的广泛应用带来了诸多困扰,开发出一套适用于更多场景的协同分割模型具有较高的应用价值。
发明内容
为了解决现有技术中存在的难题,本发明公开了一种融合感知信息的协同分割模型,该方法适用于对复杂图像数据集的共同物体进行分割。同时提出的基于感知的森林模型框架充分发挥了感知信息的作用,并且能够适应各种复杂场景,有效实现物体分割。
本发明采用以下技术方案:一种融合感知信息的协同分割方法,包含以下步骤:
(1)图像预分割:对于包含共同目标物体的图像数据集I={I1,…,IN}中的每一幅图像Ii,i=1,2……,N,进行过分割处理,得到超像素集
(2)融合感知信息的协同分割能量模型构造:一般地,可将基于组合优化框架的能量模型表示为如下,
式中:为前景(背景)似然项,用于估计某特定区域属于前景(背景)的可能性;区域可为任意超像素或超像素组合;当且仅当区域属于前景(区域属于背景);第一项约束表示对于任意一个超像素其仅能够属于前景或背景中的一类,明确了分割的物理意义。
(3)协同分割能量模型的优化求解:利用前景似然项和背景似然项采用组合优化的算法对超像素进行前背景的再次分类,从而得到目标物体的最终分割;提出基于感知的结构化森林框架,即假设每个超像素对应于一个顶点,对于单目标分割,最后的分割结果由多个邻接的超像素构成,且能够表示为邻接图的子树;对于多目标分割,最后的分割结果可表示为邻接图的多个子树构成的森林。通过建立邻接图根据基于感知的定向搜索方法,生成子树集合并推断最优子树与最优森林的方法确定最后的分割结果。
进一步地,步骤2中的融合感知信息的协同分割能量模型,其具体为:
(2.1)在协同分割的情景下,定义前景似然项融合前景模型与感知信息,具体可表示为
其中,返回区域的前景似然值,值越大表明区域属于前景的可能性越大;定义为区域对应的感知信息项,由区域的显著性、重复性度量值以及空间位置信息等共同决定;MF为前景模型,度量区域与前景模型的相似程度。
(2.1.1)定义前景模型MF:采用HSV颜色直方图与空间金字塔匹配模型的线性组合作为前景模型,且定义MF为参数函数:可表示为
其中HSV颜色直方图通过将H,S,V三个颜色通道分别等分为32、12、12个等分区间,并加入12等分区间的“灰度通道”来描述目标物体,各通道的权重相等。对于空间金字塔匹配模型,使用300个HSVSIFT视觉词的参数设定。其它现有目标模型也可以被采用。
(2.1.2)定义感知信息项:采用融合区域视觉显著性特征、区域重复性特征以及区域空间位置信息的感知信息项,对于区域感知信息项可表示为
式中,分别为归一化至[0,1]后的区域显著性值、区域重复性值和区域空间位置信息值;参数α、β和γ分别为控制上述特征值权重的参数。本文实验中,取α=1,β=1,γ=0.5。
(2.1.2.1)定义区域显著性值:对于图像Ii及超像素集合首先通过显著性检测技术得到原始显著性图θi,然后计算每个超像素的平均显著性值如下
式中,θij表示像素j处的显著性值,area(sm)表示超像素sm中包含的像素个数。基于每个超像素sm的平均显著性值θim,进一步可计算区域的平均显著性值,
对进行基于图像集范围的归一化处理后,得到
(2.1.2.2)定义区域重复性值:为了利用共同物体在多张图像中重复出现这一先验信息,我们需要通过度量不同图像中任意两个超像素的相似程度来判断那些频繁出现的超像素,并认为这些超像素具有较大可能性属于共同物体。对于超像素特征提取,采取高维特征矢量描述。颜色特征采取矢量量化的HSV颜色描述子(使用k均值聚类得到800维的描述子);对于纹理信息,采取密集采样的SIFT视觉词袋描述(参数设置为300个视觉词,图像块的边为4像素,间隔为3像素)得到。令cm和gm分别表示超像素sm的HSV颜色特征矢量和SIFT特征矢量。对于图像Ii中任意超像素sm,计算其与其余图像Ik中最相似的超像素sm′的距离如下
其中cm′和gm′为图像Ik中的超像素sm′的HSV颜色特征矢量和SIFT特征矢量。根据上式,可得对Ii中任意sm,均有N-1个距离值{d(sm,Ik)}k≠i与之对应,对其中最小的一半距离值求平均得到对于包含有一个或多个超像素的区域利用每个超像素sm对应的距离以及像素数量权重求加权平均值来估计区域的相似度距离
最后采用s型函数(sigmoidfunction)定义区域的重复性值,
其中,μ和σ用于控制s型函数的形态。实验中,取μ=0.35,σ=0.15可得理想结果。对进行归一化后可得
(2.1.2.3)定义区域空间位置信息:在自然图片中,前景物体与背景在图像中的空间位置分布有着明显的差异,目标物体区域与图像边界的连通性比背景区域明显偏弱。基于这一事实,首先将图像规则地分割为矩形块j,然后采用一种连通性度量来引入这一区域空间位置信息,
为区域中的与边界接触的块数量与图像块总数根式的比值。对降序排序后归一化至区间[0,1](最大值对应到0),即可得
进一步地,步骤3中的分割能量函数优化求解方法,其具体为:
(3.1)构建邻接图:假设图像中的每个超像素对应于图中的一个顶点,两个相邻的超像素之间由一条边连接,由此构成邻接图对于最终的目标物体分割结果,假设其为邻接图所包含的多个子树构成的森林;
(3.2)推导最大生成树:通过推导可得,若要求解分割结果,实际上可转换为求解最优子树集合的方法,而要求最优子树集合,需要先估计最大生成树;通过基于感知的定向搜索方法来得到所有可能的候选子树集合基于候选子树集合通过最大似然估计的方法得到最大生成树推导如下:
表示所有潜在的生成树集合,表示数据似然概率,最终可导出,
候选子树集合,为某一子树,表示对的最大似然估计,δ(·)为指示函数,δ((x,y)∈Cq)指示边(x,y)是否属于某一子树Cq; 为子树Cq与前景似然的相似程度,P(x,y)表示边(x,y)的生成概率,为对P(x,y)的最大似然估计。通过上式可得最大生成树的最大似然估计。
(3.3)搜索分割子树集合:基于最大生成树的最大似然估计求得然后通过动态规划技术在中搜索得到最优子树集合,具体实现步骤如下:
(3.3.1)对于图像Ii,通过对每个超像素计算对应的前景似然值,取最大值的0.6倍作为阈值,将高于阈值的超像素设置为种子超像素,得到种子超像素集然后根据每个种子超像素与前景似然的相似程度进行由高到低排序,得到
(3.3.2)选取最接近前景似然的超像素s1作为起始节点,以此推断最大生成树并得出相应的最优子树及其对应的分割结果判断此分割结果与前景似然的相似程度:如果相似程度符合条件则认为分割结果有效,否则将设置为空集且将分割结果区域内包含的错误种子超像素反馈至进行删除更新;
(3.3.3)遍历集合找出在之前的最优子树所对应的分割结果区域以外是否存在种子超像素sk,若存在则重复以上的步骤得到分割结果同理进行与前景似然的相似度判断与后续处理,更新分割结果和种子超像素集合;在完成对种子超像素集合的全部遍历后,我们得到最终针对图像Ii的分割结果和更新后的种子超像素集合并根据这些信息完成前景似然的更新以及种子超像素约束信息的更新,从而使模型的估计更为接近真实场景中存在的变化情况并排除错误的种子超像素,随后开始下一次的迭代,直至最终分割结果不再变化,即得到最终的分割结果。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1)将基于区域显著性、重复性及空间位置信息等的感知信息作为全局约束项引入分割能量函数,充分发挥了感知信息的作用,提高分割效果。
2)基于感知的森林结构框架使得感知信息在优化求解的过程中也得以应用,同时解决了多目标分割的问题。
3)算法对于复杂外观的前景物体能够得到更加完整和精确的分割结果。
附图说明
图1是本发明的整体流程图;
图2是基于感知的森林框架求解过程示意图;
图3是分割结果示意图;
图4是尺度、姿态剧烈变化情况下的多目标分割结果;
具体实施方式
下面结合附图通过具体实施例,对本发明的技术方案做进一步的详细说明。
以下实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本实施例对公开的iCoseg数据集与Oxfordflowers17数据集中的多类图像进行处理。这些类别的图像存在着颜色、光照条件、姿态、尺度等剧烈变化,且图像中存在多个共同物体的情况,给现有的分割技术带来巨大的挑战。图1是本发明的整体流程图,图2是基于感知的森林结构框架求解过程示意图,图3是分割结果示意图,图4是尺度、姿态剧烈变化情况下的多目标分割结果。本实施例包含以下步骤:
(1)图像预分割:对于包含共同目标物体的图像数据集I={I1,…,IN}中的每一幅图像Ii,i=1,2……,N,进行过分割处理,得到超像素集
(2)融合感知信息的协同分割能量模型构造:一般地,可将基于组合优化框架的能量模型表示为如下,
式中:为前景(背景)似然项,用于估计某特定区域属于前景(背景)的可能性;区域可为任意超像素或超像素组合;当且仅当区域属于前景(区域属于背景);第一项约束表示对于任意一个超像素其仅能够属于前景或背景中的一类,明确了分割的物理意义。
(3)协同分割能量模型的优化求解:利用前景似然项和背景似然项采用组合优化的算法对超像素进行前背景的再次分类,从而得到目标物体的最终分割;提出基于感知的结构化森林框架,即假设每个超像素对应于一个顶点,对于单目标分割,最后的分割结果由多个邻接的超像素构成,且能够表示为邻接图的子树;对于多目标分割,最后的分割结果可表示为邻接图的多个子树构成的森林。通过建立邻接图根据基于感知的定向搜索方法,生成子树集合并推断最优子树与最优森林的方法确定最后的分割结果。
进一步地,步骤2中的融合感知信息的协同分割能量模型,其具体为:
(2.1)在协同分割的情景下,定义前景似然项融合前景模型与感知信息,具体可表示为
其中,返回区域的前景似然值,值越大表明区域属于前景的可能性越大;定义为区域对应的感知信息项,由区域的显著性、重复性度量值以及空间位置信息等共同决定;MF为前景模型,度量区域与前景模型的相似程度。
(2.1.1)定义前景模型MF:采用HSV颜色直方图与空间金字塔匹配模型的线性组合作为前景模型,且定义MF为参数函数:可表示为
其中HSV颜色直方图通过将H,S,V三个颜色通道分别等分为32、12、12个等分区间,并加入12等分区间的“灰度通道”来描述目标物体,各通道的权重相等。对于空间金字塔匹配模型,使用300个HSVSIFT视觉词的参数设定。其它现有目标模型也可以被采用。
(2.1.2)定义感知信息项:采用融合区域视觉显著性特征、区域重复性特征以及区域空间位置信息的感知信息项,对于区域感知信息项可表示为
式中,分别为归一化至[0,1]后的区域显著性值、区域重复性值和区域空间位置信息值;参数α、β和γ分别为控制上述特征值权重的参数。本文实验中,取α=1,β=1,γ=0.5。
(2.1.2.1)定义区域显著性值:对于图像Ii及超像素集合首先通过显著性检测技术得到原始显著性图θi,然后计算每个超像素的平均显著性值如下
式中,θij表示像素j处的显著性值,area(sm)表示超像素sm中包含的像素个数。基于每个超像素sm的平均显著性值θim,进一步可计算区域的平均显著性值,
对进行基于图像集范围的归一化处理后,得到
(2.1.2.2)定义区域重复性值:为了利用共同物体在多张图像中重复出现这一先验信息,我们需要通过度量不同图像中任意两个超像素的相似程度来判断那些频繁出现的超像素,并认为这些超像素具有较大可能性属于共同物体。对于超像素特征提取,采取高维特征矢量描述。颜色特征采取矢量量化的HSV颜色描述子(使用k均值聚类得到800维的描述子);对于纹理信息,采取密集采样的SIFT视觉词袋描述(参数设置为300个视觉词,图像块的边为4像素,间隔为3像素)得到。令cm和gm分别表示超像素sm的HSV颜色特征矢量和SIFT特征矢量。对于图像Ii中任意超像素sm,计算其与其余图像Ik中最相似的超像素sm′的距离如下
其中cm′和gm′为图像Ik中的超像素sm′的HSV颜色特征矢量和SIFT特征矢量。根据上式,可得对Ii中任意sm,均有N-1个距离值{d(sm,Ik)}k≠i与之对应,对其中最小的一半距离值求平均得到对于包含有一个或多个超像素的区域利用每个超像素sm对应的距离以及像素数量权重求加权平均值来估计区域的相似度距离
最后采用s型函数(sigmoidfunction)定义区域的重复性值,
其中,μ和σ用于控制s型函数的形态。实验中,取μ=0.35,σ=0.15可得理想结果。对进行归一化后可得
(2.1.2.3)定义区域空间位置信息:在自然图片中,前景物体与背景在图像中的空间位置分布有着明显的差异,目标物体区域与图像边界的连通性比背景区域明显偏弱。基于这一事实,首先将图像规则地分割为矩形块j,然后采用一种连通性度量来引入这一区域空间位置信息,
为区域中的与边界接触的块数量与图像块总数根式的比值。对降序排序后归一化至区间[0,1](最大值对应到0),即可得
进一步地,步骤3中的分割能量函数优化求解方法,其具体为:
(3.1)构建邻接图:假设图像中的每个超像素对应于图中的一个顶点,两个相邻的超像素之间由一条边连接,由此构成邻接图对于最终的目标物体分割结果,假设其为邻接图所包含的多个子树构成的森林;
(3.2)推导最大生成树:通过推导可得,若要求解分割结果,实际上可转换为求解最优子树集合的方法,而要求最优子树集合,需要先估计最大生成树;通过基于感知的定向搜索方法来得到所有可能的候选子树集合基于候选子树集合通过最大似然估计的方法得到最大生成树推导如下:
表示所有潜在的生成树集合,表示数据似然概率,最终可导出,
候选子树集合,为某一子树,表示对的最大似然估计,δ(·)为指示函数,δ((x,y)∈Cq)指示边(x,y)是否属于某一子树Cq; 为子树Cq与前景似然的相似程度,P(x,y)表示边(x,y)的生成概率,为对P(x,y)的最大似然估计。通过上式可得最大生成树的最大似然估计。
(3.3)搜索分割子树集合:基于最大生成树的最大似然估计求得然后通过动态规划技术在中搜索得到最优子树集合,具体实现步骤如下:
(3.3.1)对于图像Ii,通过对每个超像素计算对应的前景似然值,取最大值的0.6倍作为阈值,将高于阈值的超像素设置为种子超像素,得到种子超像素集然后根据每个种子超像素与前景似然的相似程度进行由高到低排序,得到
(3.3.2)选取最接近前景似然的超像素s1作为起始节点,以此推断最大生成树并得出相应的最优子树及其对应的分割结果判断此分割结果与前景似然的相似程度:如果相似程度符合条件则认为分割结果有效,否则将设置为空集且将分割结果区域内包含的错误种子超像素反馈至进行删除更新;
(3.3.3)遍历集合找出在之前的最优子树所对应的分割结果区域以外是否存在种子超像素sk,若存在则重复以上的步骤得到分割结果同理进行与前景似然的相似度判断与后续处理,更新分割结果和种子超像素集合;在完成对种子超像素集合的全部遍历后,我们得到最终针对图像Ii的分割结果和更新后的种子超像素集合并根据这些信息完成前景似然的更新以及种子超像素约束信息的更新,从而使模型的估计更为接近真实场景中存在的变化情况并排除错误的种子超像素,随后开始下一次的迭代,直至最终分割结果不再变化,即得到最终的分割结果。
实施效果:
根据上述步骤,选取iCoseg数据库和Oxfordflowers17数据库中的若干图片进行目标分割。图3展示了Oxfordflowers17数据集部分图像的分割结果。图4展示了选自iCoseg数据集的图片进行多目标分割测试的结果。从图4可以看出,本发明对于待分割目标存在尺度、姿态、光照等剧烈变化且图像包含有多个目标的情况下,依然能够得到精确的目标分割结果。
Claims (3)
1.一种融合感知信息的协同分割方法,其特征在于,包含以下步骤:
(1)图像预分割:对于包含共同目标物体的图像数据集I={I1,…,IN}中的每一幅图像Ii,i=1,2……,N,进行过分割处理,得到超像素集
(2)融合感知信息的协同分割能量模型构造:一般地,可将基于组合优化框架的能量模型表示为如下,
式中:(·)((·))为前景(背景)似然项,用于估计某特定区域属于前景(背景)的可能性;区域可为任意超像素或超像素组合;当且仅当区域属于前景(区域属于背景);第一项约束表示对于任意一个超像素其仅能够属于前景或背景中的一类,明确了分割的物理意义。
(3)协同分割能量模型的优化求解:利用前景似然项和背景似然项采用组合优化的算法对超像素进行前背景的再次分类,从而得到目标物体的最终分割;提出基于感知的结构化森林框架,即假设每个超像素对应于一个顶点,对于单目标分割,最后的分割结果由多个邻接的超像素构成,且能够表示为邻接图的子树;对于多目标分割,最后的分割结果可表示为邻接图的多个子树构成的森林。通过建立邻接图根据基于感知的定向搜索方法,生成子树集合并推断最优子树与最优森林的方法确定最后的分割结果。
2.根据权利要求1所述的方法,其特征在于:步骤2具体为:
(2.1)在协同分割的情景下,定义前景似然项融合前景模型与感知信息,具体可表示为
其中,返回区域的前景似然值,值越大表明区域属于前景的可能性越大;定义为区域对应的感知信息项,由区域的显著性、重复性度量值以及空间位置信息等共同决定;MF为前景模型,度量区域与前景模型的相似程度。
(2.1.1)定义前景模型MF:采用HSV颜色直方图与空间金字塔匹配模型的线性组合作为前景模型,且定义MF为参数函数:可表示为
其中HSV颜色直方图通过将H,S,V三个颜色通道分别等分为32、12、12个等分区间,并加入12等分区间的“灰度通道”来描述目标物体,各通道的权重相等。对于空间金字塔匹配模型,使用300个HSVSIFT视觉词的参数设定。其它现有目标模型也可以被采用。
(2.1.2)定义感知信息项:采用融合区域视觉显著性特征、区域重复性特征以及区域空间位置信息的感知信息项,对于区域感知信息项可表示为
式中,分别为归一化至[0,1]后的区域显著性值、区域重复性值和区域空间位置信息值;参数α、β和γ分别为控制上述特征值权重的参数。本文实验中,取α=1,β=1,γ=0.5。
(2.1.2.1)定义区域显著性值:对于图像Ii及超像素集合首先通过显著性检测技术得到原始显著性图θi,然后计算每个超像素的平均显著性值如下
式中,θij表示像素j处的显著性值,area(sm)表示超像素sm中包含的像素个数。基于每个超像素sm的平均显著性值θim,进一步可计算区域的平均显著性值,
对进行基于图像集范围的归一化处理后,得到
(2.1.2.2)定义区域重复性值:为了利用共同物体在多张图像中重复出现这一先验信息,我们需要通过度量不同图像中任意两个超像素的相似程度来判断那些频繁出现的超像素,并认为这些超像素具有较大可能性属于共同物体。对于超像素特征提取,采取高维特征矢量描述。颜色特征采取矢量量化的HSV颜色描述子(使用k均值聚类得到800维的描述子);对于纹理信息,采取密集采样的SIFT视觉词袋描述(参数设置为300个视觉词,图像块的边为4像素,间隔为3像素)得到。令cm和gm分别表示超像素sm的HSV颜色特征矢量和SIFT特征矢量。对于图像Ii中任意超像素sm,计算其与其余图像Ik中最相似的超像素sm′的距离如下
其中cm′和gm′为图像Ik中的超像素sm′的HSV颜色特征矢量和SIFT特征矢量。根据上式,可得对Ii中任意sm,均有N-1个距离值{d(sm,Ik)}k≠i与之对应,对其中最小的一半距离值求平均得到对于包含有一个或多个超像素的区域利用每个超像素sm对应的距离以及像素数量权重求加权平均值来估计区域的相似度距离
最后采用s型函数(sigmoidfunction)定义区域的重复性值,
其中,μ和σ用于控制s型函数的形态。实验中,取μ=0.35,σ=0.15可得理想结果。对进行归一化后可得
(2.1.2.3)定义区域空间位置信息:在自然图片中,前景物体与背景在图像中的空间位置分布有着明显的差异,目标物体区域与图像边界的连通性比背景区域明显偏弱。基于这一事实,首先将图像规则地分割为矩形块j,然后采用一种连通性度量来引入这一区域空间位置信息,
为区域中的与边界接触的块数量与图像块总数根式的比值。对降序排序后归一化至区间[0,1](最大值对应到0),即可得
3.根据权利要求1所述的方法,其特征在于:步骤3具体为:
(3.1)构建邻接图:假设图像中的每个超像素对应于图中的一个顶点,两个相邻的超像素之间由一条边连接,由此构成邻接图对于最终的目标物体分割结果,假设其为邻接图所包含的多个子树构成的森林;
(3.2)推导最大生成树:通过推导可得,若要求解分割结果,实际上可转换为求解最优子树集合的方法,而要求最优子树集合,需要先估计最大生成树;通过基于感知的定向搜索方法来得到所有可能的候选子树集合基于候选子树集合通过最大似然估计的方法得到最大生成树推导如下:
表示所有潜在的生成树集合,表示数据似然概率,最终可导出,
为候选子树集合,为某一子树,表示对的最大似然估计,δ(·)为指示函数,δ((x,y)∈Cq)指示边(x,y)是否属于某一子树Cq;为子树Cq与前景似然的相似程度,P(x,y)表示边(x,y)的生成概率,为对P(x,y)的最大似然估计。通过上式可得最大生成树的最大似然估计。
(3.3)搜索分割子树集合:基于最大生成树的最大似然估计求得然后通过动态规划技术在中搜索得到最优子树集合,具体实现步骤如下:
(3.3.1)对于图像Ii,通过对每个超像素计算对应的前景似然值,取最大值的0.6倍作为阈值,将高于阈值的超像素设置为种子超像素,得到种子超像素集然后根据每个种子超像素与前景似然的相似程度进行由高到低排序,得到
(3.3.2)选取最接近前景似然的超像素s1作为起始节点,以此推断最大生成树并得出相应的最优子树及其对应的分割结果判断此分割结果与前景似然的相似程度:如果相似程度符合条件则认为分割结果有效,否则将设置为空集且将分割结果区域内包含的错误种子超像素反馈至进行删除更新;
(3.3.3)遍历集合找出在之前的最优子树所对应的分割结果区域以外是否存在种子超像素sk,若存在则重复以上的步骤得到分割结果同理进行与前景似然的相似度判断与后续处理,更新分割结果和种子超像素集合;在完成对种子超像素集合的全部遍历后,我们得到最终针对图像Ii的分割结果和更新后的种子超像素集合并根据这些信息完成前景似然的更新以及种子超像素约束信息的更新,从而使模型的估计更为接近真实场景中存在的变化情况并排除错误的种子超像素,随后开始下一次的迭代,直至最终分割结果不再变化,即得到最终的分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610124141.3A CN105740915B (zh) | 2016-03-04 | 2016-03-04 | 一种融合感知信息的协同分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610124141.3A CN105740915B (zh) | 2016-03-04 | 2016-03-04 | 一种融合感知信息的协同分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105740915A true CN105740915A (zh) | 2016-07-06 |
CN105740915B CN105740915B (zh) | 2019-05-24 |
Family
ID=56250024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610124141.3A Expired - Fee Related CN105740915B (zh) | 2016-03-04 | 2016-03-04 | 一种融合感知信息的协同分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105740915B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107437246A (zh) * | 2017-07-05 | 2017-12-05 | 浙江大学 | 一种基于端到端全卷积神经网络的共同显著性检测方法 |
CN107527348A (zh) * | 2017-07-11 | 2017-12-29 | 湖州师范学院 | 基于多尺度分割的显著性检测方法 |
CN107610133A (zh) * | 2017-08-28 | 2018-01-19 | 昆明理工大学 | 一种多目标服装图像协同分割方法 |
CN107909079A (zh) * | 2017-10-11 | 2018-04-13 | 天津大学 | 一种协同显著性检测方法 |
CN108009559A (zh) * | 2016-11-02 | 2018-05-08 | 哈尔滨工业大学 | 一种基于空谱联合信息的高光谱数据分类方法 |
CN109191485A (zh) * | 2018-08-29 | 2019-01-11 | 西安交通大学 | 一种基于多层超图模型的多视频目标协同分割方法 |
CN109389605A (zh) * | 2018-09-30 | 2019-02-26 | 宁波工程学院 | 基于前景背景估计和分级区域关联的图像协同分割方法 |
CN109448015A (zh) * | 2018-10-30 | 2019-03-08 | 河北工业大学 | 基于显著图融合的图像协同分割方法 |
CN115641365A (zh) * | 2022-08-25 | 2023-01-24 | 北京微视威信息科技有限公司 | 点云配准方法、系统、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164858A (zh) * | 2013-03-20 | 2013-06-19 | 浙江大学 | 基于超像素和图模型的粘连人群分割与跟踪方法 |
CN104318558A (zh) * | 2014-10-17 | 2015-01-28 | 浙江大学 | 复杂场景下基于多信息融合的手势分割方法 |
CN104809729A (zh) * | 2015-04-29 | 2015-07-29 | 山东大学 | 一种鲁棒的图像显著性区域自动分割方法 |
CN105046714A (zh) * | 2015-08-18 | 2015-11-11 | 浙江大学 | 一种非监督的基于超像素和目标发现机制的图像分割方法 |
CN105205161A (zh) * | 2015-09-29 | 2015-12-30 | 浙江大学 | 一种基于互联网图片的同时目标搜索与分割方法 |
-
2016
- 2016-03-04 CN CN201610124141.3A patent/CN105740915B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164858A (zh) * | 2013-03-20 | 2013-06-19 | 浙江大学 | 基于超像素和图模型的粘连人群分割与跟踪方法 |
CN104318558A (zh) * | 2014-10-17 | 2015-01-28 | 浙江大学 | 复杂场景下基于多信息融合的手势分割方法 |
CN104809729A (zh) * | 2015-04-29 | 2015-07-29 | 山东大学 | 一种鲁棒的图像显著性区域自动分割方法 |
CN105046714A (zh) * | 2015-08-18 | 2015-11-11 | 浙江大学 | 一种非监督的基于超像素和目标发现机制的图像分割方法 |
CN105205161A (zh) * | 2015-09-29 | 2015-12-30 | 浙江大学 | 一种基于互联网图片的同时目标搜索与分割方法 |
Non-Patent Citations (2)
Title |
---|
BAI YANG等: "Cooperative object search and segmentation in internet images", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 * |
BAI YANG等: "Unsupervised regions based segmentation using object discovery", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009559A (zh) * | 2016-11-02 | 2018-05-08 | 哈尔滨工业大学 | 一种基于空谱联合信息的高光谱数据分类方法 |
CN108009559B (zh) * | 2016-11-02 | 2021-12-24 | 哈尔滨工业大学 | 一种基于空谱联合信息的高光谱数据分类方法 |
CN107437246B (zh) * | 2017-07-05 | 2020-08-18 | 浙江大学 | 一种基于端到端全卷积神经网络的共同显著性检测方法 |
CN107437246A (zh) * | 2017-07-05 | 2017-12-05 | 浙江大学 | 一种基于端到端全卷积神经网络的共同显著性检测方法 |
CN107527348A (zh) * | 2017-07-11 | 2017-12-29 | 湖州师范学院 | 基于多尺度分割的显著性检测方法 |
CN107527348B (zh) * | 2017-07-11 | 2020-10-30 | 湖州师范学院 | 基于多尺度分割的显著性检测方法 |
CN107610133A (zh) * | 2017-08-28 | 2018-01-19 | 昆明理工大学 | 一种多目标服装图像协同分割方法 |
CN107610133B (zh) * | 2017-08-28 | 2020-08-25 | 昆明理工大学 | 一种多目标服装图像协同分割方法 |
CN107909079A (zh) * | 2017-10-11 | 2018-04-13 | 天津大学 | 一种协同显著性检测方法 |
CN107909079B (zh) * | 2017-10-11 | 2021-06-04 | 天津大学 | 一种协同显著性检测方法 |
CN109191485A (zh) * | 2018-08-29 | 2019-01-11 | 西安交通大学 | 一种基于多层超图模型的多视频目标协同分割方法 |
CN109389605A (zh) * | 2018-09-30 | 2019-02-26 | 宁波工程学院 | 基于前景背景估计和分级区域关联的图像协同分割方法 |
CN109448015A (zh) * | 2018-10-30 | 2019-03-08 | 河北工业大学 | 基于显著图融合的图像协同分割方法 |
CN115641365A (zh) * | 2022-08-25 | 2023-01-24 | 北京微视威信息科技有限公司 | 点云配准方法、系统、设备及介质 |
CN115641365B (zh) * | 2022-08-25 | 2023-08-04 | 北京微视威信息科技有限公司 | 点云配准方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105740915B (zh) | 2019-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105740915A (zh) | 一种融合感知信息的协同分割方法 | |
Yoon et al. | Hand gesture recognition using combined features of location, angle and velocity | |
CN107481279B (zh) | 一种单目视频深度图计算方法 | |
CN108280397B (zh) | 基于深度卷积神经网络的人体图像头发检测方法 | |
CN105809672B (zh) | 一种基于超像素和结构化约束的图像多目标协同分割方法 | |
CN107808129A (zh) | 一种基于单个卷积神经网络的面部多特征点定位方法 | |
CN104680559B (zh) | 基于运动行为模式的多视角室内行人跟踪方法 | |
CN106203423B (zh) | 一种融合上下文探测的弱结构感知视觉目标跟踪方法 | |
Delmerico et al. | Building facade detection, segmentation, and parameter estimation for mobile robot localization and guidance | |
Jeong et al. | Multimodal sensor-based semantic 3D mapping for a large-scale environment | |
CN107067410B (zh) | 一种基于增广样本的流形正则化相关滤波目标跟踪方法 | |
CN106228109A (zh) | 一种基于骨骼运动轨迹的动作识别方法 | |
CN105046714A (zh) | 一种非监督的基于超像素和目标发现机制的图像分割方法 | |
CN103093470A (zh) | 一种具有尺度无关特性的快速多模态图像协同分割方法 | |
Giang et al. | TopicFM: Robust and interpretable topic-assisted feature matching | |
Nakajima et al. | Incremental class discovery for semantic segmentation with RGBD sensing | |
Lin et al. | Temporally coherent 3D point cloud video segmentation in generic scenes | |
Yu et al. | Accurate and robust visual localization system in large-scale appearance-changing environments | |
Hoiem | Seeing the world behind the image | |
Del Pero et al. | Discovering the physical parts of an articulated object class from multiple videos | |
CN107146215A (zh) | 一种基于颜色直方图和凸包的显著性检测方法 | |
Sheasby et al. | A robust stereo prior for human segmentation | |
Guo et al. | Efficient planar surface-based 3D mapping method for mobile robots using stereo vision | |
CN105205161A (zh) | 一种基于互联网图片的同时目标搜索与分割方法 | |
CN108564020A (zh) | 基于全景3d图像的微手势识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190524 |