CN108537816B - 一种基于超像素和背景连接先验的显著物体分割方法 - Google Patents

一种基于超像素和背景连接先验的显著物体分割方法 Download PDF

Info

Publication number
CN108537816B
CN108537816B CN201810342791.4A CN201810342791A CN108537816B CN 108537816 B CN108537816 B CN 108537816B CN 201810342791 A CN201810342791 A CN 201810342791A CN 108537816 B CN108537816 B CN 108537816B
Authority
CN
China
Prior art keywords
pixel
super
superpixel
background
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810342791.4A
Other languages
English (en)
Other versions
CN108537816A (zh
Inventor
牛玉贞
苏超然
郭文忠
陈羽中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810342791.4A priority Critical patent/CN108537816B/zh
Publication of CN108537816A publication Critical patent/CN108537816A/zh
Application granted granted Critical
Publication of CN108537816B publication Critical patent/CN108537816B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于超像素和背景连接先验的显著物体分割方法,包括以下步骤:1、将输入图像分割为N个超像素,然后计算出每个超像素的显著值;2、通过背景连接先验在伪前景区域标记出前景超像素种子点和可能前景超像素种子点,在非伪前景区域中标记出背景超像素种子点和可能背景超像素种子点;3、利用四种超像素种子点和原图的所有超像素,求得原图中显著物体的超像素尺度分割结果;4、在包含显著物体的矩形区域中利用超像素尺度分割结果得到一个像素尺度的标记图,采用像素尺度GrabCut,计算得到显著物体分割结果。该方法能够快速、准确地利用显著图得出显著物体,为图像压缩、图像重定向、图像超分辨率提供快速有效的预处理结果。

Description

一种基于超像素和背景连接先验的显著物体分割方法
技术领域
本发明涉及图像和视频处理以及计算机视觉领域,特别是一种基于超像素和背景连接先验的显著物体分割方法。
背景技术
显著物体分割算法的目标是生成像素尺度的掩码图来表示图像中一个或多个显著物体。显著物体分割是一个二值标记的问题,也就是从背景中将显著物体分离出来。显著物体检测和显著物体分割都作为其它更复杂应用的预处理阶段。近来,越来越多显著物体检测算法利用超像素来保留区域的原有结构并刻画出显著物体的边界。由于算法处理样本的尺度由单一像素提升到超像素块,所以基于超像素的显著物体检测方法能够大幅提升算法的计算效率。然而,据我们所知,之前的以Graph Cut方法作为主体框架的显著物体分割方法并没有基于超像素来提升计算效率。因此,为了使显著物体分割能够更广泛地应用,需要一种具有更高计算效率的基于超像素的显著物体分割方法。
一般来说,显著物体分割是作为显著物体检测的一种后续处理,而显著物体检测的结果也会对显著物体分割结果造成影响。为此,Zhu等人提出一种基于背景连接先验的显著检测优化算法,其中背景连接先验基于超像素能够高效地检测出图像中的背景区域。由于显著物体分割致力于从背景中将显著物体分离出来,所以融合背景连接先验和显著检测结果可以改善显著物体分割的结果。
发明内容
本发明的目的在于提供一种基于超像素和背景连接先验的显著物体分割方法,该方法能够快速、准确地利用显著图得出显著物体,为图像压缩、图像重定向、图像超分辨率提供快速有效的预处理结果。
为实现上述目的,本发明的技术方案是:一种基于超像素和背景连接先验的显著物体分割方法,包括以下步骤:
步骤S1:利用简单线性迭代聚类的超像素分割算法将输入图像分割为N个超像素,然后利用显著性物体检测算法得到的显著图,计算出每个超像素的显著值;
步骤S2:通过背景连接先验计算出输入图像的伪前景区域,然后利用二次大津法计算出两个显著性相关的自适应阈值,从伪前景区域中标记出前景超像素种子点和可能前景超像素种子点,同时在其余的非伪前景区域中,利用固定阈值标记出背景超像素种子点,并将所有其余超像素标记为可能背景超像素种子点;
步骤S3:将标记的四种超像素种子点和原图得到的所有超像素作为超像素尺度的GrabCut算法的输入,计算得到原图中显著物体的超像素尺度分割结果;
步骤S4:利用超像素尺度分割结果,定位出一个包含显著物体的矩形区域进行后续处理;在所述矩形区域内,利用超像素尺度分割结果得到一个像素尺度的标记图,并与原图像素一同作为像素尺度的GrabCut算法的输入,计算得到最后的显著物体分割结果。
进一步地,所述步骤S1中,对任意输入图像I,利用简单线性迭代聚类的超像素分割算法将输入图像分割为N个超像素,得到超像素分割标记集合
Figure BDA0001630927370000021
每一个超像素分割标记li对应第i个超像素所包含的所有像素点的集合,i为超像素分割标记li的下标;然后利用显著性物体检测算法来产生对应于输入图像I的显著图S,计算出每个超像素的显著值;基于超像素分割标记,将超像素显著值的集合定义为
Figure BDA0001630927370000022
对每一个超像素有:
Figure BDA0001630927370000023
其中Sj表示超像素中第j个像素点的显著值,j为像素点显著值的下标,j∈li表示j取遍li中的所有像素点,i为超像素显著值向量si的下标。
进一步地,所述步骤S2中,通过背景连接先验图计算出伪前景区域,然后利用二次大津法从伪前景区域中标记出前景超像素种子点和可能前景超像素种子点,同时在非伪前景区域中,利用固定阈值标记出背景超像素种子点,并将所有其余超像素标记为可能背景超像素种子点,包括以下步骤:
步骤S21:对步骤S1得到的N个超像素,通过显著优化算法计算得到其对应的归一化后的背景连接先验值集合
Figure BDA0001630927370000024
CIE-Lab颜色空间上每一个超像素的平均颜色值zi的集合为
Figure BDA0001630927370000025
接着构建一个连接所有相邻超像素的无向权重图,并将所述无向权重图中连接任意两个相邻的超像素的边的权重定义为这两个超像素颜色值的欧几里得距离,从而计算得到任意两个超像素(pj,pi)之间的测地距离dgeo(pj,pi),下标j、i取值均为1到N;由背景连接先验的定义,先假定图像边界上的超像素属于背景区域,在此基础上定义超像素pj在颜色空间上的生成区域为Area(pj),且所述生成区域在图像边界上的边长为L(pj),则定义背景连接先验值BndCon(pj)为:
Figure BDA0001630927370000031
其中
Figure BDA0001630927370000032
σclr表示测地距离dgeo(pj,pi)所属标准高斯分布的标准差,Bnd为初始假定的图像边界上属于背景区域的超像素集合,
Figure BDA0001630927370000033
表示超像素pi不属于集合Bnd,
Figure BDA0001630927370000034
括号内判别式为真时,表示超像素pi不属于集合Bnd,则δ(·)=0,括号内判别式为假时,则δ(·)=1;
由于属于背景区域的超像素的背景连接先验值在数值上远大于属于前景区域的超像素,因此,通过设置阈值tb,将背景连接先验值小于阈值的超像素的背景连接先验值设为0;最后再对所有超像素的背景连接先验值进行归一化得到归一化后的背景连接先验值集合
Figure BDA0001630927370000035
其中bi取值在[0,1];
步骤S22:定义伪前景区域为由背景连接先验值为0的超像素组成的区域,然后通过后续步骤进一步确定伪前景区域中的前景区域;
步骤S23:利用二次大津法计算得到的阈值来标记出前景区域和伪前景区域;具体方法为:
首先利用大津法对所有超像素求一个自适应阈值tpf,并将伪前景区域中显著值si小于阈值tpf的超像素先标记为可能前景区域;接着,基于阈值tpf,将大津法中的超像素显著直方图分为两部分,再对这两部分用大津法同样进行优化求解得到另外两个自适应阈值tcf、tpb,且有tcf>tpf>tpb;最后,将可能前景区域中显著值si大于阈值tcf的超像素,按显著值进行降序排列,并在可能全景区域中选取显著值最高的前m个超像素作为前景区域;
步骤S24:对那些还未标记的超像素,设置一个固定阈值tcb,并将那些背景连接先验值bi大于阈值tcb的超像素标记为背景区域,而其余超像素标记为可能背景区域;从而,标记出四个超像素区域,并将四个区域包含的超像素称为超像素种子点。
进一步地,所述步骤S3中将标记的四种超像素种子点和原图得到的所有超像素作为超像素尺度的GrabCut算法的输入,得到原图中显著物体的超像素尺度分割结果,包括以下步骤:
步骤S31:基于超像素尺度的GrabCut算法将分割问题转化成求解能量函数最小化问题,而求解最小化问题是通过求解s-t网络图的最大流/最小割问题;求解方程定义为:
Figure BDA0001630927370000041
其中
Figure BDA0001630927370000042
表示超像素的分割结果,
Figure BDA0001630927370000043
为0表示该超像素属于背景区域,
Figure BDA0001630927370000044
为1表示该超像素属于前景区域,而E(x,θ,z)表示GrabCut算法定义的能量函数,函数包含平滑项V(x,z)及数据项U(x,θ,z),所述平滑项V(x,z)用以度量前景区域与背景区域的差异,数据项U(x,θ,z)用以度量超像素属于前景或背景区域的概率;函数变量中的
Figure BDA0001630927370000045
表示CIE-Lab颜色空间上每一个超像素的平均颜色值,
Figure BDA0001630927370000046
则表示超像素尺度的GrabCut算法的初始标记假设,当超像素属于前景区域及可能前景区域时,xi为1,而当超像素属于背景区域及可能背景区域时,xi为0;θ为GrabCut算法定义的高斯混合模型,而GrabCut算法将xi为1的超像素作为前景高斯混合模型的输入样本,并将xi为0的超像素作为背景高斯混合模型的输入样本;
步骤S32:利用Orchard and Bauman算法来构建高斯混合模型,再利用EM算法对其进行求解,并进一步计算数据项U(x,θ,z)以及平滑项V(x,z);最后通过求解s-t网络图的最大流/最小割问题,求解得到
Figure BDA0001630927370000047
即超像素尺度的分割结果。
进一步地,所述步骤S4中,利用超像素尺度分割结果,定位出一个包含显著物体的矩形区域进行后续处理;在所述矩形区域内,利用超像素尺度的分割结果得到一个像素尺度的标记图,并与原图像素一同作为像素尺度的GrabCut算法的输入从而得到最后的显著物体分割结果,包括以下步骤:
步骤S41:对于超像素尺度的分割结果
Figure BDA0001630927370000048
对应超像素分割标记集合
Figure BDA0001630927370000049
将分割结果映射到原图分辨率,即得到分割掩码图M;
步骤S42:求出分割掩码图M的四个边角点,定位出一个包含显著物体的矩形区域进行后续处理;
步骤S43:在所述矩形区域内,先对分割掩码图M进行腐蚀操作得到腐蚀结果Me,然后对分割掩码图M进行膨胀操作得到膨胀结果Md,对于属于腐蚀后区域的像素,将其标记为前景区域,并将在膨胀区域外的像素标记为背景区域,剩余像素标记为未知区域,从而得到新的像素标记结果;
步骤S44:以新的像素标记结果,以及矩形区域内的像素颜色值作为传统GrabCut算法的输入,计算得出一个边界更精细的像素尺度的分割结果,即为最后的显著物体分割结果。
相较于现有技术,本发明的有益效果是:本发明基于超像素和背景连接先验,既能够通过超像素的表达加速图像分割的速度,又融合背景和前景的先验信息更准确地分割出图像中的显著物体。该方法能够有效并快速地利用显著图得出显著物体,为图像压缩,图像重定向,图像超分辨率提供快速有效的预处理结果。
附图说明
图1是本发明方法的流程框图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供一种基于超像素和背景连接先验的显著物体分割方法,如图1所示,包括以下步骤:
步骤S1:利用简单线性迭代聚类(SLIC)的超像素分割算法将输入图像分割为N个超像素,然后利用显著性物体检测算法得到的显著图,计算出每个超像素的显著值。具体方法为:
对任意输入图像I,利用简单线性迭代聚类的超像素分割算法将输入图像分割为N个超像素,得到超像素分割标记集合
Figure BDA0001630927370000051
每一个超像素分割标记li对应第i个超像素所包含的所有像素点的集合,i为超像素分割标记li的下标;然后利用显著性物体检测算法来产生对应于输入图像I的显著图S,计算出每个超像素的显著值;基于超像素分割标记,将超像素显著值si的集合定义为
Figure BDA0001630927370000052
对每一个超像素有:
Figure BDA0001630927370000053
其中Sj表示超像素中第j个像素点的显著值,j为像素点显著值的下标,j∈li表示j取遍li中的所有像素点,i为超像素显著值向量si的下标。
步骤S2:通过背景连接先验计算出输入图像的伪前景区域,然后利用二次大津法计算出两个显著性相关的自适应阈值,从伪前景区域中标记出前景超像素种子点和可能前景超像素种子点,同时在其余的非伪前景区域中,利用固定阈值标记出背景超像素种子点,并将所有其余超像素标记为可能背景超像素种子点。具体包括以下步骤:
步骤S21:对步骤S1得到的N个超像素,通过显著优化算法计算得到其对应的归一化后的背景连接先验值集合
Figure BDA0001630927370000061
CIE-Lab颜色空间上每一个超像素的平均颜色值zi的集合为
Figure BDA0001630927370000062
接着构建一个连接所有相邻超像素的无向权重图,并将所述无向权重图中连接任意两个相邻的超像素的边的权重定义为这两个超像素颜色值的欧几里得距离,从而计算得到任意两个超像素(pj,pi)之间的测地距离dgeo(pj,pi),下标j、i取值均为1到N;由背景连接先验的定义,先假定图像边界上的超像素属于背景区域,在此基础上定义超像素pj在颜色空间上的生成区域为Area(pj),且所述生成区域在图像边界上的边长为L(pj),则定义背景连接值BndCon(pj)为:
Figure BDA0001630927370000063
其中
Figure BDA0001630927370000064
σclr表示测地距离dgeo(pj,pi)所属标准高斯分布的标准差,在本实施例中,其值设置为10;Bnd为初始假定的图像边界上属于背景区域的超像素集合,
Figure BDA0001630927370000065
表示超像素pi不属于集合Bnd,
Figure BDA0001630927370000066
括号内判别式为真时,表示超像素pi不属于集合Bnd,则δ(·)=0,括号内判别式为假时,则δ(·)=1;
由于属于背景区域的超像素的背景连接先验值在数值上远大于属于前景区域的超像素,因此,通过设置阈值tb,在本实施例中,阈值tb设置为2,将背景连接先验值小于阈值的超像素的背景连接先验值设为0,这里BndCon(pj)的取值并非处于[0,1];最后再对所有超像素的背景连接先验值进行归一化得到归一化后的背景连接先验值集合
Figure BDA0001630927370000067
其中bi取值在[0,1];
步骤S22:定义伪前景区域为由背景连接先验值为0的超像素组成的区域,然后通过后续步骤进一步确定伪前景区域中的前景区域;
步骤S23:利用二次大津法计算得到的阈值来标记出前景区域和伪前景区域;具体方法为:
首先利用大津法对所有超像素求一个自适应阈值tpf,并将伪前景区域中显著值si小于阈值tpf的超像素先标记为可能前景区域;接着,基于阈值tpf,将第一次大津法中的超像素显著直方图分为两部分,再对这两部分用大津法同样进行优化求解得到另外两个自适应阈值tcf、tpb,且有tcf>tpf>tpb;最后,将可能前景区域中显著值si大于阈值tcf的超像素,按显著值进行降序排列,并在可能全景区域中选取显著值最高的前m个超像素作为前景区域;在本实施例中,m取10;
步骤S24:对那些还未标记的超像素,设置一个固定阈值tcb,在本实施例中,设置为0.6,并将那些背景连接先验值bi大于阈值tcb的超像素标记为背景区域,而其余超像素标记为可能背景区域;从而,标记出四个超像素区域,并将四个区域包含的超像素称为超像素种子点。
步骤S3:将标记的四种超像素种子点和原图得到的所有超像素作为超像素尺度的GrabCut算法的输入,计算得到原图中显著物体的超像素尺度分割结果。具体包括以下步骤:
步骤S31:基于超像素尺度的GrabCut算法与传统的GrabCut算法一致,将分割问题转化成求解能量函数最小化问题,而求解最小化问题是通过求解s-t网络图的最大流/最小割问题;求解方程定义为:
Figure BDA0001630927370000071
其中
Figure BDA0001630927370000072
表示超像素的分割结果,
Figure BDA0001630927370000073
为0表示该超像素属于背景区域,
Figure BDA0001630927370000074
为1表示该超像素属于前景区域,而E(x,θ,z)表示GrabCut算法定义的能量函数,函数包含平滑项V(x,z)及数据项U(x,θ,z),所述平滑项V(x,z)用以度量前景区域与背景区域的差异,数据项U(x,θ,z)用以度量超像素属于前景或背景区域的概率;函数变量中的
Figure BDA0001630927370000075
表示CIE-Lab颜色空间上每一个超像素的平均颜色值,
Figure BDA0001630927370000076
则表示超像素尺度的GrabCut算法的初始标记假设,当超像素属于前景区域及可能前景区域时,xi为1,而当超像素属于背景区域及可能背景区域时,xi为0;θ为GrabCut算法定义的高斯混合模型,而GrabCut算法将xi为1的超像素作为前景高斯混合模型的输入样本,并将xi为0的超像素作为前景高斯混合模型的输入样本;本实施例中,每个高斯混合模型的高斯组件数都为5;
步骤S32:利用Orchard and Bauman算法来构建高斯混合模型,再利用EM算法对其进行求解,并进一步计算数据项U(x,θ,z)以及平滑项V(x,z);最后通过求解s-t网络图的最大流/最小割问题,求解得到
Figure BDA0001630927370000077
即超像素尺度的分割结果。
步骤S4:利用超像素尺度分割结果,定位出一个包含显著物体的矩形区域进行后续处理;在所述矩形区域内,利用超像素尺度分割结果得到一个像素尺度的标记图,并与原图像素一同作为像素尺度的GrabCut算法的输入,计算得到最后的显著物体分割结果。具体包括以下步骤:
步骤S41:对于超像素尺度的分割结果
Figure BDA0001630927370000081
对应超像素分割标记集合
Figure BDA0001630927370000082
将分割结果映射到原图分辨率,即得到分割掩码图M;
步骤S42:求出分割掩码图M的四个边角点,定位出一个包含显著物体的矩形区域进行后续处理;
步骤S43:在所述矩形区域内,先对分割掩码图M进行腐蚀操作得到腐蚀结果Me,然后对分割掩码图M进行膨胀操作得到膨胀结果Md,对于属于腐蚀后区域的像素,将其标记为前景区域,并将在膨胀区域外的像素标记为背景区域,剩余像素标记为未知区域,从而得到新的像素标记结果;
步骤S44:以新的像素标记结果,以及矩形区域内的像素颜色值作为传统GrabCut算法的输入,计算得出一个边界更精细的像素尺度的分割结果,即为最后的显著物体分割结果。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

Claims (3)

1.一种基于超像素和背景连接先验的显著物体分割方法,其特征在于,包括以下步骤:
步骤S1:利用简单线性迭代聚类的超像素分割算法将输入图像分割为N个超像素,然后利用显著性物体检测算法得到的显著图,计算出每个超像素的显著值;
步骤S2:通过背景连接先验计算出输入图像的伪前景区域,然后利用二次大津法计算出两个显著性相关的自适应阈值,从伪前景区域中标记出前景超像素种子点和可能前景超像素种子点,同时在其余的非伪前景区域中,利用固定阈值标记出背景超像素种子点,并将所有其余超像素标记为可能背景超像素种子点;
步骤S3:将标记的四种超像素种子点和原图得到的所有超像素作为超像素尺度的GrabCut算法的输入,计算得到原图中显著物体的超像素尺度分割结果;
步骤S4:利用超像素尺度分割结果,定位出一个包含显著物体的矩形区域进行后续处理;在所述矩形区域内,利用超像素尺度分割结果得到一个像素尺度的标记图,并与原图像素一同作为像素尺度的GrabCut算法的输入,计算得到最后的显著物体分割结果;
所述步骤S1中,对任意输入图像I,利用简单线性迭代聚类的超像素分割算法将输入图像分割为N个超像素,得到超像素分割标记集合
Figure FDA0003134578930000011
每一个超像素分割标记li对应第i个超像素所包含的所有像素点的集合,i为超像素分割标记li的下标;然后利用显著性物体检测算法来产生对应于输入图像I的显著图S,计算出每个超像素的显著值;基于超像素分割标记,将超像素显著值的集合定义为
Figure FDA0003134578930000012
对每一个超像素有:
Figure FDA0003134578930000013
其中Sj表示超像素中第j个像素点的显著值,j为像素点显著值的下标,j∈li表示j取遍li中的所有像素点,i为超像素显著值向量si的下标;
所述步骤S2中,通过背景连接先验图计算出伪前景区域,然后利用二次大津法从伪前景区域中标记出前景超像素种子点和可能前景超像素种子点,同时在非伪前景区域中,利用固定阈值标记出背景超像素种子点,并将所有其余超像素标记为可能背景超像素种子点,包括以下步骤:
步骤S21:对步骤S1得到的N个超像素,通过显著优化算法计算得到其对应的归一化后的背景连接先验值集合
Figure FDA0003134578930000021
CIE-Lab颜色空间上每一个超像素的平均颜色值zi的集合为
Figure FDA0003134578930000022
接着构建一个连接所有相邻超像素的无向权重图,并将所述无向权重图中连接任意两个相邻的超像素的边的权重定义为这两个超像素颜色值的欧几里得距离,从而计算得到任意两个超像素(pj,pi)之间的测地距离dgeo(pj,pi),下标j、i取值均为1到N;由背景连接先验的定义,先假定图像边界上的超像素属于背景区域,在此基础上定义超像素pj在颜色空间上的生成区域为Area(pj),且所述生成区域在图像边界上的边长为L(pj),则定义背景连接先验值BndCon(pj)为:
Figure FDA0003134578930000023
其中
Figure FDA0003134578930000024
σclr表示测地距离dgeo(pj,pi)所属标准高斯分布的标准差,Bnd为初始假定的图像边界上属于背景区域的超像素集合,
Figure FDA0003134578930000025
表示超像素pi不属于集合Bnd,
Figure FDA0003134578930000026
括号内判别式为真时,表示超像素pi不属于集合Bnd,则δ(·)=0,括号内判别式为假时,则δ(·)=1;
由于属于背景区域的超像素的背景连接先验值在数值上远大于属于前景区域的超像素,因此,通过设置阈值tb,将背景连接先验值小于阈值的超像素的背景连接先验值设为0;最后再对所有超像素的背景连接先验值进行归一化得到归一化后的背景连接先验值集合
Figure FDA0003134578930000027
其中bi取值在[0,1];
步骤S22:定义伪前景区域为由背景连接先验值为0的超像素组成的区域,然后通过后续步骤进一步确定伪前景区域中的前景区域;
步骤S23:利用二次大津法计算得到的阈值来标记出前景区域和伪前景区域;具体方法为:
首先利用大津法对所有超像素求一个自适应阈值tpf,并将伪前景区域中显著值si小于阈值tpf的超像素先标记为可能前景区域;接着,基于阈值tpf,将大津法中的超像素显著直方图分为两部分,再对这两部分用大津法同样进行优化求解得到另外两个自适应阈值tcf、tpb,且有tcf>tpf>tpb;最后,将可能前景区域中显著值si大于阈值tcf的超像素,按显著值进行降序排列,并在可能全景区域中选取显著值最高的前m个超像素作为前景区域;
步骤S24:对那些还未标记的超像素,设置一个固定阈值tcb,并将那些背景连接先验值bi大于阈值tcb的超像素标记为背景区域,而其余超像素标记为可能背景区域;从而,标记出四个超像素区域,并将四个区域包含的超像素称为超像素种子点。
2.根据权利要求1所述的一种基于超像素和背景连接先验的显著物体分割方法,其特征在于,所述步骤S3中将标记的四种超像素种子点和原图得到的所有超像素作为超像素尺度的GrabCut算法的输入,得到原图中显著物体的超像素尺度分割结果,包括以下步骤:
步骤S31:基于超像素尺度的GrabCut算法将分割问题转化成求解能量函数最小化问题,而求解最小化问题是通过求解s-t网络图的最大流/最小割问题;求解方程定义为:
Figure FDA0003134578930000031
其中
Figure FDA0003134578930000032
表示超像素的分割结果,
Figure FDA0003134578930000033
为0表示该超像素属于背景区域,
Figure FDA0003134578930000034
为1表示该超像素属于前景区域,而E(x,θ,z)表示GrabCut算法定义的能量函数,函数包含平滑项V(x,z)及数据项U(x,θ,z),所述平滑项V(x,z)用以度量前景区域与背景区域的差异,数据项U(x,θ,z)用以度量超像素属于前景或背景区域的概率;函数变量中的
Figure FDA0003134578930000035
表示CIE-Lab颜色空间上每一个超像素的平均颜色值,
Figure FDA0003134578930000036
则表示超像素尺度的GrabCut算法的初始标记假设,当超像素属于前景区域及可能前景区域时,xi为1,而当超像素属于背景区域及可能背景区域时,xi为0;θ为GrabCut算法定义的高斯混合模型,而GrabCut算法将xi为1的超像素作为前景高斯混合模型的输入样本,并将xi为0的超像素作为背景高斯混合模型的输入样本;
步骤S32:利用Orchard and Bauman算法来构建高斯混合模型,再利用EM算法对其进行求解,并进一步计算数据项U(x,θ,z)以及平滑项V(x,z);最后通过求解s-t网络图的最大流/最小割问题,求解得到
Figure FDA0003134578930000037
即超像素尺度的分割结果。
3.根据权利要求2所述的一种基于超像素和背景连接先验的显著物体分割方法,其特征在于,所述步骤S4中,利用超像素尺度分割结果,定位出一个包含显著物体的矩形区域进行后续处理;在所述矩形区域内,利用超像素尺度的分割结果得到一个像素尺度的标记图,并与原图像素一同作为像素尺度的GrabCut算法的输入从而得到最后的显著物体分割结果,包括以下步骤:
步骤S41:对于超像素尺度的分割结果
Figure FDA0003134578930000041
对应超像素分割标记集合
Figure FDA0003134578930000042
将分割结果映射到原图分辨率,即得到分割掩码图M;
步骤S42:求出分割掩码图M的四个边角点,定位出一个包含显著物体的矩形区域进行后续处理;
步骤S43:在所述矩形区域内,先对分割掩码图M进行腐蚀操作得到腐蚀结果Me,然后对分割掩码图M进行膨胀操作得到膨胀结果Md,对于属于腐蚀后区域的像素,将其标记为前景区域,并将在膨胀区域外的像素标记为背景区域,剩余像素标记为未知区域,从而得到新的像素标记结果;
步骤S44:以新的像素标记结果,以及矩形区域内的像素颜色值作为传统GrabCut算法的输入,计算得出一个边界更精细的像素尺度的分割结果,即为最后的显著物体分割结果。
CN201810342791.4A 2018-04-17 2018-04-17 一种基于超像素和背景连接先验的显著物体分割方法 Expired - Fee Related CN108537816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810342791.4A CN108537816B (zh) 2018-04-17 2018-04-17 一种基于超像素和背景连接先验的显著物体分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810342791.4A CN108537816B (zh) 2018-04-17 2018-04-17 一种基于超像素和背景连接先验的显著物体分割方法

Publications (2)

Publication Number Publication Date
CN108537816A CN108537816A (zh) 2018-09-14
CN108537816B true CN108537816B (zh) 2021-08-31

Family

ID=63480446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810342791.4A Expired - Fee Related CN108537816B (zh) 2018-04-17 2018-04-17 一种基于超像素和背景连接先验的显著物体分割方法

Country Status (1)

Country Link
CN (1) CN108537816B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522909B (zh) * 2018-11-26 2022-03-11 东南大学 一种基于空间、颜色和中央偏置先验的概率超图构造方法
CN109584251A (zh) * 2018-12-06 2019-04-05 湘潭大学 一种基于单目标区域分割的舌体图像分割方法
CN111292333B (zh) * 2018-12-07 2024-05-17 北京京东尚科信息技术有限公司 用于分割图像的方法和装置
CN111311486A (zh) * 2018-12-12 2020-06-19 北京沃东天骏信息技术有限公司 用于处理图像的方法和装置
CN110298842A (zh) * 2019-06-10 2019-10-01 上海工程技术大学 一种基于超像素节点排序的轨道扣件图像定位方法
CN112200246A (zh) * 2020-10-09 2021-01-08 河北工业大学 Svm分类器的训练方法和石化储罐锈蚀缺陷分割方法
CN113160251B (zh) * 2021-05-24 2023-06-09 北京邮电大学 一种基于显著性先验的图像自动分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745468A (zh) * 2014-01-07 2014-04-23 上海交通大学 一种基于图结构和边界先验的显著性物体检测方法
CN105761238A (zh) * 2015-12-30 2016-07-13 河南科技大学 一种通过灰度统计数据深度信息提取显著目标的方法
CN106203430A (zh) * 2016-07-07 2016-12-07 北京航空航天大学 一种基于前景聚集度和背景先验的显著性物体检测方法
US9911058B2 (en) * 2013-12-20 2018-03-06 Canon Kabushiki Kaisha Method, system and apparatus for updating a scene model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911058B2 (en) * 2013-12-20 2018-03-06 Canon Kabushiki Kaisha Method, system and apparatus for updating a scene model
CN103745468A (zh) * 2014-01-07 2014-04-23 上海交通大学 一种基于图结构和边界先验的显著性物体检测方法
CN105761238A (zh) * 2015-12-30 2016-07-13 河南科技大学 一种通过灰度统计数据深度信息提取显著目标的方法
CN106203430A (zh) * 2016-07-07 2016-12-07 北京航空航天大学 一种基于前景聚集度和背景先验的显著性物体检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
High-Level Background Prior based Salient Object Detection;Wang G 等;《Journal of Visual Communication and Image Representation》;20171031;第432-441页 *
采用背景和中心先验的图像显著性检测;陈南而;《小型微型计算机系统》;20161031;第37卷(第10期);第2371-2374页 *

Also Published As

Publication number Publication date
CN108537816A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537816B (zh) 一种基于超像素和背景连接先验的显著物体分割方法
CN106204572B (zh) 基于场景深度映射的道路目标深度估计方法
Tong et al. Saliency detection with multi-scale superpixels
CN107424142B (zh) 一种基于图像显著性检测的焊缝识别方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN108537239B (zh) 一种图像显著性目标检测的方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN107369158B (zh) 基于rgb-d图像的室内场景布局估计及目标区域提取方法
CN111882586B (zh) 一种面向剧场环境的多演员目标跟踪方法
CN104463870A (zh) 一种图像显著区域检测方法
CN111583279A (zh) 一种基于pcba的超像素图像分割方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN104715251A (zh) 一种基于直方图线性拟合的显著目标检测方法
CN112541491A (zh) 基于图像字符区域感知的端到端文本检测及识别方法
CN114492619A (zh) 一种基于统计和凹凸性的点云数据集构建方法及装置
Wang et al. Unstructured road detection using hybrid features
CN114333023A (zh) 基于角度估计的人脸步态多模态加权融合身份识别方法与系统
CN104715476A (zh) 一种基于直方图幂函数拟合的显著目标检测方法
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN113657225B (zh) 一种目标检测方法
Zhu Moving Objects Detection and Segmentation Based on Background Subtraction and Image Over-Segmentation.
Dewan et al. Background independent moving object segmentation for video surveillance
CN107220985B (zh) 基于图划分粒子群优化的sar图像自动分割方法
CN105139428A (zh) 一种基于四元数的彩色图像surf特征描述方法和系统
Zhang et al. Individual Building Rooftop Segmentation from High-resolution Urban Single Multispectral Image Using Superpixels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210831