CN108537816A - 一种基于超像素和背景连接先验的显著物体分割方法 - Google Patents

一种基于超像素和背景连接先验的显著物体分割方法 Download PDF

Info

Publication number
CN108537816A
CN108537816A CN201810342791.4A CN201810342791A CN108537816A CN 108537816 A CN108537816 A CN 108537816A CN 201810342791 A CN201810342791 A CN 201810342791A CN 108537816 A CN108537816 A CN 108537816A
Authority
CN
China
Prior art keywords
pixel
super
background
area
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810342791.4A
Other languages
English (en)
Other versions
CN108537816B (zh
Inventor
牛玉贞
苏超然
郭文忠
陈羽中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810342791.4A priority Critical patent/CN108537816B/zh
Publication of CN108537816A publication Critical patent/CN108537816A/zh
Application granted granted Critical
Publication of CN108537816B publication Critical patent/CN108537816B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding

Abstract

本发明涉及一种基于超像素和背景连接先验的显著物体分割方法,包括以下步骤:1、将输入图像分割为N个超像素,然后计算出每个超像素的显著值;2、通过背景连接先验在伪前景区域标记出前景超像素种子点和可能前景超像素种子点,在非伪前景区域中标记出背景超像素种子点和可能背景超像素种子点;3、利用四种超像素种子点和原图的所有超像素,求得原图中显著物体的超像素尺度分割结果;4、在包含显著物体的矩形区域中利用超像素尺度分割结果得到一个像素尺度的标记图,采用像素尺度GrabCut,计算得到显著物体分割结果。该方法能够快速、准确地利用显著图得出显著物体,为图像压缩、图像重定向、图像超分辨率提供快速有效的预处理结果。

Description

一种基于超像素和背景连接先验的显著物体分割方法
技术领域
本发明涉及图像和视频处理以及计算机视觉领域,特别是一种基于超像素和背景连接先验的显著物体分割方法。
背景技术
显著物体分割算法的目标是生成像素尺度的掩码图来表示图像中一个或多个显著物体。显著物体分割是一个二值标记的问题,也就是从背景中将显著物体分离出来。显著物体检测和显著物体分割都作为其它更复杂应用的预处理阶段。近来,越来越多显著物体检测算法利用超像素来保留区域的原有结构并刻画出显著物体的边界。由于算法处理样本的尺度由单一像素提升到超像素块,所以基于超像素的显著物体检测方法能够大幅提升算法的计算效率。然而,据我们所知,之前的以Graph Cut方法作为主体框架的显著物体分割方法并没有基于超像素来提升计算效率。因此,为了使显著物体分割能够更广泛地应用,需要一种具有更高计算效率的基于超像素的显著物体分割方法。
一般来说,显著物体分割是作为显著物体检测的一种后续处理,而显著物体检测的结果也会对显著物体分割结果造成影响。为此,Zhu等人提出一种基于背景连接先验的显著检测优化算法,其中背景连接先验基于超像素能够高效地检测出图像中的背景区域。由于显著物体分割致力于从背景中将显著物体分离出来,所以融合背景连接先验和显著检测结果可以改善显著物体分割的结果。
发明内容
本发明的目的在于提供一种基于超像素和背景连接先验的显著物体分割方法,该方法能够快速、准确地利用显著图得出显著物体,为图像压缩、图像重定向、图像超分辨率提供快速有效的预处理结果。
为实现上述目的,本发明的技术方案是:一种基于超像素和背景连接先验的显著物体分割方法,包括以下步骤:
步骤S1:利用简单线性迭代聚类的超像素分割算法将输入图像分割为N个超像素,然后利用显著性物体检测算法得到的显著图,计算出每个超像素的显著值;
步骤S2:通过背景连接先验计算出输入图像的伪前景区域,然后利用二次大津法计算出两个显著性相关的自适应阈值,从伪前景区域中标记出前景超像素种子点和可能前景超像素种子点,同时在其余的非伪前景区域中,利用固定阈值标记出背景超像素种子点,并将所有其余超像素标记为可能背景超像素种子点;
步骤S3:将标记的四种超像素种子点和原图得到的所有超像素作为超像素尺度的GrabCut算法的输入,计算得到原图中显著物体的超像素尺度分割结果;
步骤S4:利用超像素尺度分割结果,定位出一个包含显著物体的矩形区域进行后续处理;在所述矩形区域内,利用超像素尺度分割结果得到一个像素尺度的标记图,并与原图像素一同作为像素尺度的GrabCut算法的输入,计算得到最后的显著物体分割结果。
进一步地,所述步骤S1中,对任意输入图像I,利用简单线性迭代聚类的超像素分割算法将输入图像分割为N个超像素,得到超像素分割标记集合每一个超像素分割标记li对应第i个超像素所包含的所有像素点的集合,i为超像素分割标记li的下标;然后利用显著性物体检测算法来产生对应于输入图像I的显著图S,计算出每个超像素的显著值;基于超像素分割标记,将超像素显著值的集合定义为对每一个超像素有:
其中Sj表示超像素中第j个像素点的显著值,j为像素点显著值的下标,j∈li表示j取遍li中的所有像素点,i为超像素显著值向量si的下标。
进一步地,所述步骤S2中,通过背景连接先验图计算出伪前景区域,然后利用二次大津法从伪前景区域中标记出前景超像素种子点和可能前景超像素种子点,同时在非伪前景区域中,利用固定阈值标记出背景超像素种子点,并将所有其余超像素标记为可能背景超像素种子点,包括以下步骤:
步骤S21:对步骤S1得到的N个超像素,通过显著优化算法计算得到其对应的归一化后的背景连接先验值集合CIE-Lab颜色空间上每一个超像素的平均颜色值zi的集合为接着构建一个连接所有相邻超像素的无向权重图,并将所述无向权重图中连接任意两个相邻的超像素的边的权重定义为这两个超像素颜色值的欧几里得距离,从而计算得到任意两个超像素(pj,pi)之间的测地距离dgeo(pj,pi),下标j、i取值均为1到N;由背景连接先验的定义,先假定图像边界上的超像素属于背景区域,在此基础上定义超像素pj在颜色空间上的生成区域为Area(pj),且所述生成区域在图像边界上的边长为L(pj),则定义背景连接先验值BndCon(pj)为:
其中σclr表示测地距离dgeo(pj,pi)所属标准高斯分布的标准差,Bnd为初始假定的图像边界上属于背景区域的超像素集合,表示超像素pi不属于集合Bnd,括号内判别式为真时,表示超像素pi不属于集合Bnd,则δ(·)=0,括号内判别式为假时,则δ(·)=1;
由于属于背景区域的超像素的背景连接先验值在数值上远大于属于前景区域的超像素,因此,通过设置阈值tb,将背景连接先验值小于阈值的超像素的背景连接先验值设为0;最后再对所有超像素的背景连接先验值进行归一化得到归一化后的背景连接先验值集合其中bi取值在[0,1];
步骤S22:定义伪前景区域为由背景连接先验值为0的超像素组成的区域,然后通过后续步骤进一步确定伪前景区域中的前景区域;
步骤S23:利用二次大津法计算得到的阈值来标记出前景区域和伪前景区域;具体方法为:
首先利用大津法对所有超像素求一个自适应阈值tpf,并将伪前景区域中显著值si小于阈值tpf的超像素先标记为可能前景区域;接着,基于阈值tpf,将大津法中的超像素显著直方图分为两部分,再对这两部分用大津法同样进行优化求解得到另外两个自适应阈值tcf、tpb,且有tcf>tpf>tpb;最后,将可能前景区域中显著值si大于阈值tcf的超像素,按显著值进行降序排列,并在可能全景区域中选取显著值最高的前m个超像素作为前景区域;
步骤S24:对那些还未标记的超像素,设置一个固定阈值tcb,并将那些背景连接先验值bi大于阈值tcb的超像素标记为背景区域,而其余超像素标记为可能背景区域;从而,标记出四个超像素区域,并将四个区域包含的超像素称为超像素种子点。
进一步地,所述步骤S3中将标记的四种超像素种子点和原图得到的所有超像素作为超像素尺度的GrabCut算法的输入,得到原图中显著物体的超像素尺度分割结果,包括以下步骤:
步骤S31:基于超像素尺度的GrabCut算法将分割问题转化成求解能量函数最小化问题,而求解最小化问题是通过求解s-t网络图的最大流/最小割问题;求解方程定义为:
其中表示超像素的分割结果,为0表示该超像素属于背景区域,为1表示该超像素属于前景区域,而E(x,θ,z)表示GrabCut算法定义的能量函数,函数包含平滑项V(x,z)及数据项U(x,θ,z),所述平滑项V(x,z)用以度量前景区域与背景区域的差异,数据项U(x,θ,z)用以度量超像素属于前景或背景区域的概率;函数变量中的表示CIE-Lab颜色空间上每一个超像素的平均颜色值,则表示超像素尺度的GrabCut算法的初始标记假设,当超像素属于前景区域及可能前景区域时,xi为1,而当超像素属于背景区域及可能背景区域时,xi为0;θ为GrabCut算法定义的高斯混合模型,而GrabCut算法将xi为1的超像素作为前景高斯混合模型的输入样本,并将xi为0的超像素作为背景高斯混合模型的输入样本;
步骤S32:利用Orchard and Bauman算法来构建高斯混合模型,再利用EM算法对其进行求解,并进一步计算数据项U(x,θ,z)以及平滑项V(x,z);最后通过求解s-t网络图的最大流/最小割问题,求解得到即超像素尺度的分割结果。
进一步地,所述步骤S4中,利用超像素尺度分割结果,定位出一个包含显著物体的矩形区域进行后续处理;在所述矩形区域内,利用超像素尺度的分割结果得到一个像素尺度的标记图,并与原图像素一同作为像素尺度的GrabCut算法的输入从而得到最后的显著物体分割结果,包括以下步骤:
步骤S41:对于超像素尺度的分割结果对应超像素分割标记集合将分割结果映射到原图分辨率,即得到分割掩码图M;
步骤S42:求出分割掩码图M的四个边角点,定位出一个包含显著物体的矩形区域进行后续处理;
步骤S43:在所述矩形区域内,先对分割掩码图M进行腐蚀操作得到腐蚀结果Me,然后对分割掩码图M进行膨胀操作得到膨胀结果Md,对于属于腐蚀后区域的像素,将其标记为前景区域,并将在膨胀区域外的像素标记为背景区域,剩余像素标记为未知区域,从而得到新的像素标记结果;
步骤S44:以新的像素标记结果,以及矩形区域内的像素颜色值作为传统GrabCut算法的输入,计算得出一个边界更精细的像素尺度的分割结果,即为最后的显著物体分割结果。
相较于现有技术,本发明的有益效果是:本发明基于超像素和背景连接先验,既能够通过超像素的表达加速图像分割的速度,又融合背景和前景的先验信息更准确地分割出图像中的显著物体。该方法能够有效并快速地利用显著图得出显著物体,为图像压缩,图像重定向,图像超分辨率提供快速有效的预处理结果。
附图说明
图1是本发明方法的流程框图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供一种基于超像素和背景连接先验的显著物体分割方法,如图1所示,包括以下步骤:
步骤S1:利用简单线性迭代聚类(SLIC)的超像素分割算法将输入图像分割为N个超像素,然后利用显著性物体检测算法得到的显著图,计算出每个超像素的显著值。具体方法为:
对任意输入图像I,利用简单线性迭代聚类的超像素分割算法将输入图像分割为N个超像素,得到超像素分割标记集合每一个超像素分割标记li对应第i个超像素所包含的所有像素点的集合,i为超像素分割标记li的下标;然后利用显著性物体检测算法来产生对应于输入图像I的显著图S,计算出每个超像素的显著值;基于超像素分割标记,将超像素显著值si的集合定义为对每一个超像素有:
其中Sj表示超像素中第j个像素点的显著值,j为像素点显著值的下标,j∈li表示j取遍li中的所有像素点,i为超像素显著值向量si的下标。
步骤S2:通过背景连接先验计算出输入图像的伪前景区域,然后利用二次大津法计算出两个显著性相关的自适应阈值,从伪前景区域中标记出前景超像素种子点和可能前景超像素种子点,同时在其余的非伪前景区域中,利用固定阈值标记出背景超像素种子点,并将所有其余超像素标记为可能背景超像素种子点。具体包括以下步骤:
步骤S21:对步骤S1得到的N个超像素,通过显著优化算法计算得到其对应的归一化后的背景连接先验值集合CIE-Lab颜色空间上每一个超像素的平均颜色值zi的集合为接着构建一个连接所有相邻超像素的无向权重图,并将所述无向权重图中连接任意两个相邻的超像素的边的权重定义为这两个超像素颜色值的欧几里得距离,从而计算得到任意两个超像素(pj,pi)之间的测地距离dgeo(pj,pi),下标j、i取值均为1到N;由背景连接先验的定义,先假定图像边界上的超像素属于背景区域,在此基础上定义超像素pj在颜色空间上的生成区域为Area(pj),且所述生成区域在图像边界上的边长为L(pj),则定义背景连接值BndCon(pj)为:
其中σclr表示测地距离dgeo(pj,pi)所属标准高斯分布的标准差,在本实施例中,其值设置为10;Bnd为初始假定的图像边界上属于背景区域的超像素集合,表示超像素pi不属于集合Bnd,括号内判别式为真时,表示超像素pi不属于集合Bnd,则δ(·)=0,括号内判别式为假时,则δ(·)=1;
由于属于背景区域的超像素的背景连接先验值在数值上远大于属于前景区域的超像素,因此,通过设置阈值tb,在本实施例中,阈值tb设置为2,将背景连接先验值小于阈值的超像素的背景连接先验值设为0,这里BndCon(pj)的取值并非处于[0,1];最后再对所有超像素的背景连接先验值进行归一化得到归一化后的背景连接先验值集合其中bi取值在[0,1];
步骤S22:定义伪前景区域为由背景连接先验值为0的超像素组成的区域,然后通过后续步骤进一步确定伪前景区域中的前景区域;
步骤S23:利用二次大津法计算得到的阈值来标记出前景区域和伪前景区域;具体方法为:
首先利用大津法对所有超像素求一个自适应阈值tpf,并将伪前景区域中显著值si小于阈值tpf的超像素先标记为可能前景区域;接着,基于阈值tpf,将第一次大津法中的超像素显著直方图分为两部分,再对这两部分用大津法同样进行优化求解得到另外两个自适应阈值tcf、tpb,且有tcf>tpf>tpb;最后,将可能前景区域中显著值si大于阈值tcf的超像素,按显著值进行降序排列,并在可能全景区域中选取显著值最高的前m个超像素作为前景区域;在本实施例中,m取10;
步骤S24:对那些还未标记的超像素,设置一个固定阈值tcb,在本实施例中,设置为0.6,并将那些背景连接先验值bi大于阈值tcb的超像素标记为背景区域,而其余超像素标记为可能背景区域;从而,标记出四个超像素区域,并将四个区域包含的超像素称为超像素种子点。
步骤S3:将标记的四种超像素种子点和原图得到的所有超像素作为超像素尺度的GrabCut算法的输入,计算得到原图中显著物体的超像素尺度分割结果。具体包括以下步骤:
步骤S31:基于超像素尺度的GrabCut算法与传统的GrabCut算法一致,将分割问题转化成求解能量函数最小化问题,而求解最小化问题是通过求解s-t网络图的最大流/最小割问题;求解方程定义为:
其中表示超像素的分割结果,为0表示该超像素属于背景区域,为1表示该超像素属于前景区域,而E(x,θ,z)表示GrabCut算法定义的能量函数,函数包含平滑项V(x,z)及数据项U(x,θ,z),所述平滑项V(x,z)用以度量前景区域与背景区域的差异,数据项U(x,θ,z)用以度量超像素属于前景或背景区域的概率;函数变量中的表示CIE-Lab颜色空间上每一个超像素的平均颜色值,则表示超像素尺度的GrabCut算法的初始标记假设,当超像素属于前景区域及可能前景区域时,xi为1,而当超像素属于背景区域及可能背景区域时,xi为0;θ为GrabCut算法定义的高斯混合模型,而GrabCut算法将xi为1的超像素作为前景高斯混合模型的输入样本,并将xi为0的超像素作为前景高斯混合模型的输入样本;本实施例中,每个高斯混合模型的高斯组件数都为5;
步骤S32:利用Orchard and Bauman算法来构建高斯混合模型,再利用EM算法对其进行求解,并进一步计算数据项U(x,θ,z)以及平滑项V(x,z);最后通过求解s-t网络图的最大流/最小割问题,求解得到即超像素尺度的分割结果。
步骤S4:利用超像素尺度分割结果,定位出一个包含显著物体的矩形区域进行后续处理;在所述矩形区域内,利用超像素尺度分割结果得到一个像素尺度的标记图,并与原图像素一同作为像素尺度的GrabCut算法的输入,计算得到最后的显著物体分割结果。具体包括以下步骤:
步骤S41:对于超像素尺度的分割结果对应超像素分割标记集合将分割结果映射到原图分辨率,即得到分割掩码图M;
步骤S42:求出分割掩码图M的四个边角点,定位出一个包含显著物体的矩形区域进行后续处理;
步骤S43:在所述矩形区域内,先对分割掩码图M进行腐蚀操作得到腐蚀结果Me,然后对分割掩码图M进行膨胀操作得到膨胀结果Md,对于属于腐蚀后区域的像素,将其标记为前景区域,并将在膨胀区域外的像素标记为背景区域,剩余像素标记为未知区域,从而得到新的像素标记结果;
步骤S44:以新的像素标记结果,以及矩形区域内的像素颜色值作为传统GrabCut算法的输入,计算得出一个边界更精细的像素尺度的分割结果,即为最后的显著物体分割结果。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

Claims (5)

1.一种基于超像素和背景连接先验的显著物体分割方法,其特征在于,包括以下步骤:
步骤S1:利用简单线性迭代聚类的超像素分割算法将输入图像分割为N个超像素,然后利用显著性物体检测算法得到的显著图,计算出每个超像素的显著值;
步骤S2:通过背景连接先验计算出输入图像的伪前景区域,然后利用二次大津法计算出两个显著性相关的自适应阈值,从伪前景区域中标记出前景超像素种子点和可能前景超像素种子点,同时在其余的非伪前景区域中,利用固定阈值标记出背景超像素种子点,并将所有其余超像素标记为可能背景超像素种子点;
步骤S3:将标记的四种超像素种子点和原图得到的所有超像素作为超像素尺度的GrabCut算法的输入,计算得到原图中显著物体的超像素尺度分割结果;
步骤S4:利用超像素尺度分割结果,定位出一个包含显著物体的矩形区域进行后续处理;在所述矩形区域内,利用超像素尺度分割结果得到一个像素尺度的标记图,并与原图像素一同作为像素尺度的GrabCut算法的输入,计算得到最后的显著物体分割结果。
2.根据权利要求1所述的一种基于超像素和背景连接先验的显著物体分割方法,其特征在于,所述步骤S1中,对任意输入图像I,利用简单线性迭代聚类的超像素分割算法将输入图像分割为N个超像素,得到超像素分割标记集合每一个超像素分割标记li对应第i个超像素所包含的所有像素点的集合,i为超像素分割标记li的下标;然后利用显著性物体检测算法来产生对应于输入图像I的显著图S,计算出每个超像素的显著值;基于超像素分割标记,将超像素显著值的集合定义为对每一个超像素有:
其中Sj表示超像素中第j个像素点的显著值,j为像素点显著值的下标,j∈li表示j取遍li中的所有像素点,i为超像素显著值向量si的下标。
3.根据权利要求2所述的一种基于超像素和背景连接先验的显著物体分割方法,其特征在于,所述步骤S2中,通过背景连接先验图计算出伪前景区域,然后利用二次大津法从伪前景区域中标记出前景超像素种子点和可能前景超像素种子点,同时在非伪前景区域中,利用固定阈值标记出背景超像素种子点,并将所有其余超像素标记为可能背景超像素种子点,包括以下步骤:
步骤S21:对步骤S1得到的N个超像素,通过显著优化算法计算得到其对应的归一化后的背景连接先验值集合CIE-Lab颜色空间上每一个超像素的平均颜色值zi的集合为接着构建一个连接所有相邻超像素的无向权重图,并将所述无向权重图中连接任意两个相邻的超像素的边的权重定义为这两个超像素颜色值的欧几里得距离,从而计算得到任意两个超像素(pj,pi)之间的测地距离dgeo(pj,pi),下标j、i取值均为1到N;由背景连接先验的定义,先假定图像边界上的超像素属于背景区域,在此基础上定义超像素pj在颜色空间上的生成区域为Area(pj),且所述生成区域在图像边界上的边长为L(pj),则定义背景连接先验值BndCon(pj)为:
其中σclr表示测地距离dgeo(pj,pi)所属标准高斯分布的标准差,Bnd为初始假定的图像边界上属于背景区域的超像素集合,表示超像素pi不属于集合Bnd,括号内判别式为真时,表示超像素pi不属于集合Bnd,则δ(·)=0,括号内判别式为假时,则δ(·)=1;
由于属于背景区域的超像素的背景连接先验值在数值上远大于属于前景区域的超像素,因此,通过设置阈值tb,将背景连接先验值小于阈值的超像素的背景连接先验值设为0;最后再对所有超像素的背景连接先验值进行归一化得到归一化后的背景连接先验值集合其中bi取值在[0,1];
步骤S22:定义伪前景区域为由背景连接先验值为0的超像素组成的区域,然后通过后续步骤进一步确定伪前景区域中的前景区域;
步骤S23:利用二次大津法计算得到的阈值来标记出前景区域和伪前景区域;具体方法为:
首先利用大津法对所有超像素求一个自适应阈值tpf,并将伪前景区域中显著值si小于阈值tpf的超像素先标记为可能前景区域;接着,基于阈值tpf,将大津法中的超像素显著直方图分为两部分,再对这两部分用大津法同样进行优化求解得到另外两个自适应阈值tcf、tpb,且有tcf>tpf>tpb;最后,将可能前景区域中显著值si大于阈值tcf的超像素,按显著值进行降序排列,并在可能全景区域中选取显著值最高的前m个超像素作为前景区域;
步骤S24:对那些还未标记的超像素,设置一个固定阈值tcb,并将那些背景连接先验值bi大于阈值tcb的超像素标记为背景区域,而其余超像素标记为可能背景区域;从而,标记出四个超像素区域,并将四个区域包含的超像素称为超像素种子点。
4.根据权利要求3所述的一种基于超像素和背景连接先验的显著物体分割方法,其特征在于,所述步骤S3中将标记的四种超像素种子点和原图得到的所有超像素作为超像素尺度的GrabCut算法的输入,得到原图中显著物体的超像素尺度分割结果,包括以下步骤:
步骤S31:基于超像素尺度的GrabCut算法将分割问题转化成求解能量函数最小化问题,而求解最小化问题是通过求解s-t网络图的最大流/最小割问题;求解方程定义为:
其中表示超像素的分割结果,为0表示该超像素属于背景区域,为1表示该超像素属于前景区域,而E(x,θ,z)表示GrabCut算法定义的能量函数,函数包含平滑项V(x,z)及数据项U(x,θ,z),所述平滑项V(x,z)用以度量前景区域与背景区域的差异,数据项U(x,θ,z)用以度量超像素属于前景或背景区域的概率;函数变量中的表示CIE-Lab颜色空间上每一个超像素的平均颜色值,则表示超像素尺度的GrabCut算法的初始标记假设,当超像素属于前景区域及可能前景区域时,xi为1,而当超像素属于背景区域及可能背景区域时,xi为0;θ为GrabCut算法定义的高斯混合模型,而GrabCut算法将xi为1的超像素作为前景高斯混合模型的输入样本,并将xi为0的超像素作为背景高斯混合模型的输入样本;
步骤S32:利用Orchard and Bauman算法来构建高斯混合模型,再利用EM算法对其进行求解,并进一步计算数据项U(x,θ,z)以及平滑项V(x,z);最后通过求解s-t网络图的最大流/最小割问题,求解得到即超像素尺度的分割结果。
5.根据权利要求4所述的一种基于超像素和背景连接先验的显著物体分割方法,其特征在于,所述步骤S4中,利用超像素尺度分割结果,定位出一个包含显著物体的矩形区域进行后续处理;在所述矩形区域内,利用超像素尺度的分割结果得到一个像素尺度的标记图,并与原图像素一同作为像素尺度的GrabCut算法的输入从而得到最后的显著物体分割结果,包括以下步骤:
步骤S41:对于超像素尺度的分割结果对应超像素分割标记集合将分割结果映射到原图分辨率,即得到分割掩码图M;
步骤S42:求出分割掩码图M的四个边角点,定位出一个包含显著物体的矩形区域进行后续处理;
步骤S43:在所述矩形区域内,先对分割掩码图M进行腐蚀操作得到腐蚀结果Me,然后对分割掩码图M进行膨胀操作得到膨胀结果Md,对于属于腐蚀后区域的像素,将其标记为前景区域,并将在膨胀区域外的像素标记为背景区域,剩余像素标记为未知区域,从而得到新的像素标记结果;
步骤S44:以新的像素标记结果,以及矩形区域内的像素颜色值作为传统GrabCut算法的输入,计算得出一个边界更精细的像素尺度的分割结果,即为最后的显著物体分割结果。
CN201810342791.4A 2018-04-17 2018-04-17 一种基于超像素和背景连接先验的显著物体分割方法 Expired - Fee Related CN108537816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810342791.4A CN108537816B (zh) 2018-04-17 2018-04-17 一种基于超像素和背景连接先验的显著物体分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810342791.4A CN108537816B (zh) 2018-04-17 2018-04-17 一种基于超像素和背景连接先验的显著物体分割方法

Publications (2)

Publication Number Publication Date
CN108537816A true CN108537816A (zh) 2018-09-14
CN108537816B CN108537816B (zh) 2021-08-31

Family

ID=63480446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810342791.4A Expired - Fee Related CN108537816B (zh) 2018-04-17 2018-04-17 一种基于超像素和背景连接先验的显著物体分割方法

Country Status (1)

Country Link
CN (1) CN108537816B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522909A (zh) * 2018-11-26 2019-03-26 东南大学 一种基于空间、颜色和中央偏置先验的概率超图构造方法
CN109584251A (zh) * 2018-12-06 2019-04-05 湘潭大学 一种基于单目标区域分割的舌体图像分割方法
CN110298842A (zh) * 2019-06-10 2019-10-01 上海工程技术大学 一种基于超像素节点排序的轨道扣件图像定位方法
CN111292333A (zh) * 2018-12-07 2020-06-16 北京京东尚科信息技术有限公司 用于分割图像的方法和装置
CN111311486A (zh) * 2018-12-12 2020-06-19 北京沃东天骏信息技术有限公司 用于处理图像的方法和装置
CN112200246A (zh) * 2020-10-09 2021-01-08 河北工业大学 Svm分类器的训练方法和石化储罐锈蚀缺陷分割方法
CN113160251A (zh) * 2021-05-24 2021-07-23 北京邮电大学 一种基于显著性先验的图像自动分割方法
CN111292333B (zh) * 2018-12-07 2024-05-17 北京京东尚科信息技术有限公司 用于分割图像的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745468A (zh) * 2014-01-07 2014-04-23 上海交通大学 一种基于图结构和边界先验的显著性物体检测方法
CN105761238A (zh) * 2015-12-30 2016-07-13 河南科技大学 一种通过灰度统计数据深度信息提取显著目标的方法
CN106203430A (zh) * 2016-07-07 2016-12-07 北京航空航天大学 一种基于前景聚集度和背景先验的显著性物体检测方法
US9911058B2 (en) * 2013-12-20 2018-03-06 Canon Kabushiki Kaisha Method, system and apparatus for updating a scene model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911058B2 (en) * 2013-12-20 2018-03-06 Canon Kabushiki Kaisha Method, system and apparatus for updating a scene model
CN103745468A (zh) * 2014-01-07 2014-04-23 上海交通大学 一种基于图结构和边界先验的显著性物体检测方法
CN105761238A (zh) * 2015-12-30 2016-07-13 河南科技大学 一种通过灰度统计数据深度信息提取显著目标的方法
CN106203430A (zh) * 2016-07-07 2016-12-07 北京航空航天大学 一种基于前景聚集度和背景先验的显著性物体检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG G 等: "High-Level Background Prior based Salient Object Detection", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 *
陈南而: "采用背景和中心先验的图像显著性检测", 《小型微型计算机系统》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522909A (zh) * 2018-11-26 2019-03-26 东南大学 一种基于空间、颜色和中央偏置先验的概率超图构造方法
CN109522909B (zh) * 2018-11-26 2022-03-11 东南大学 一种基于空间、颜色和中央偏置先验的概率超图构造方法
CN109584251A (zh) * 2018-12-06 2019-04-05 湘潭大学 一种基于单目标区域分割的舌体图像分割方法
CN111292333A (zh) * 2018-12-07 2020-06-16 北京京东尚科信息技术有限公司 用于分割图像的方法和装置
CN111292333B (zh) * 2018-12-07 2024-05-17 北京京东尚科信息技术有限公司 用于分割图像的方法和装置
CN111311486A (zh) * 2018-12-12 2020-06-19 北京沃东天骏信息技术有限公司 用于处理图像的方法和装置
CN110298842A (zh) * 2019-06-10 2019-10-01 上海工程技术大学 一种基于超像素节点排序的轨道扣件图像定位方法
CN112200246A (zh) * 2020-10-09 2021-01-08 河北工业大学 Svm分类器的训练方法和石化储罐锈蚀缺陷分割方法
CN113160251A (zh) * 2021-05-24 2021-07-23 北京邮电大学 一种基于显著性先验的图像自动分割方法

Also Published As

Publication number Publication date
CN108537816B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN108537816A (zh) 一种基于超像素和背景连接先验的显著物体分割方法
CN107274419B (zh) 一种基于全局先验和局部上下文的深度学习显著性检测方法
CN111415316B (zh) 基于生成对抗网络的缺陷数据合成方法
CN109543695B (zh) 基于多尺度深度学习的泛密度人群计数方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN105809651B (zh) 基于边缘非相似性对比的图像显著性检测方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN104517095B (zh) 一种基于深度图像的人头分割方法
JP2006209755A (ja) シーンから取得されたフレームシーケンス中の移動オブジェクトを追跡する方法
CN104751142A (zh) 一种基于笔划特征的自然场景文本检测算法
CN113095263B (zh) 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置
CN104077605A (zh) 一种基于颜色拓扑结构的行人搜索识别方法
He et al. Robust road detection from a single image using road shape prior
CN111368830A (zh) 基于多视频帧信息和核相光滤波算法的车牌检测识别方法
CN107369158A (zh) 基于rgb‑d图像的室内场景布局估计及目标区域提取方法
CN111583279A (zh) 一种基于pcba的超像素图像分割方法
CN107358189B (zh) 一种基于多视目标提取的室内环境下物体检测方法
CN105069816B (zh) 一种进出口人流量统计的方法及系统
CN104537381B (zh) 一种基于模糊不变特征的模糊图像识别方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
Chen et al. Unsupervised domain adaptation for remote sensing image semantic segmentation using region and category adaptive domain discriminator
CN110991398A (zh) 一种基于改进步态能量图的步态识别方法及系统
CN107609509A (zh) 一种基于运动显著性区域检测的动作识别方法
Zhou et al. Building segmentation from airborne VHR images using Mask R-CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210831