CN108961265A - 一种基于颜色显著性和高斯模型的精确目标分割方法 - Google Patents

一种基于颜色显著性和高斯模型的精确目标分割方法 Download PDF

Info

Publication number
CN108961265A
CN108961265A CN201810538260.2A CN201810538260A CN108961265A CN 108961265 A CN108961265 A CN 108961265A CN 201810538260 A CN201810538260 A CN 201810538260A CN 108961265 A CN108961265 A CN 108961265A
Authority
CN
China
Prior art keywords
gauss model
pixel
gauss
sub
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810538260.2A
Other languages
English (en)
Other versions
CN108961265B (zh
Inventor
李勃
张绳富
董蓉
周子卿
赵鹏
史德飞
史春阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING HUICHUAN INDUSTRIAL VISUAL TECHNOLOGY DEVELOPMENT Co Ltd
Nanjing Huichuan Image Visual Technology Co Ltd
Original Assignee
NANJING HUICHUAN INDUSTRIAL VISUAL TECHNOLOGY DEVELOPMENT Co Ltd
Nanjing Huichuan Image Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING HUICHUAN INDUSTRIAL VISUAL TECHNOLOGY DEVELOPMENT Co Ltd, Nanjing Huichuan Image Visual Technology Co Ltd filed Critical NANJING HUICHUAN INDUSTRIAL VISUAL TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201810538260.2A priority Critical patent/CN108961265B/zh
Publication of CN108961265A publication Critical patent/CN108961265A/zh
Application granted granted Critical
Publication of CN108961265B publication Critical patent/CN108961265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种基于颜色显著性和高斯模型的精确目标分割方法,首先通过GMM算法在Lab颜色空间对图像像素进行聚类,然后利用SSIM图像相似度算法对子高斯模型进行合并,通过先验颜色信息选取目标子高斯模型作为前景,之后利用CRF算法对显著性区域进行优化,获取准确的分割边界。本发明针对显著性检测中物体可能不符合中心和边界先验的特点,提出基于颜色先验的显著性物体检测方法,本发明直接通过高斯混合模型对像素进行聚类,没有利用中心、边界先验,应用高斯混合模型保证获得准确稳定的边界,能够检测位于边界的显著性区域,与传统的显著性检测算法相比准确度更高。

Description

一种基于颜色显著性和高斯模型的精确目标分割方法
技术领域
本发明属于计算机机器视觉技术领域,用于对图像中的显著性物体进行分割,为一 种基于颜色显著性和高斯模型的精确目标分割方法。
背景技术
人类的视觉注意机制具有选择性处理视觉图像的作用,将这种作用机制引入图像处 理中,具有很多应用,包括目标检测、显著性区域提取等,这种选择性注意机制能够使对视觉信息的处理更快。视觉心理学研究表明,注意机制包括了两个过程,即快速的自 底向上的数据驱动的过程和慢速的自顶向下的目标驱动的过程,与人类的视觉注意机制 类似,显著性检测算法也分为自底向上式和自顶向下式,自底向上式根据图像局部特征 预测视觉注视点模型,自顶向下式通过学习的显著性区域模型检测显著性物体。相比之 下,高层模型的建立较为复杂和困难,而用计算模型模拟自底向上的注意过程是相当成 功的并且极具应用价值[1]
在自底向上的显著性检测领域已经有很多经典的算法。Cheng M M提出基于直方图 对比度的HC(histogram-based contrast method)方法以及根据全局对比度和空间相关权 重的RC[2](region-based contrast)方法。Yun Zhai根据图像中每个像素与其他像素的欧 氏距离判断显著性[3]。Radhakrishna Achanta应用低层次的亮度和颜色特征,根据多尺度 对比度定义显著性值[4]。Radhakrishna Achanta对mean-shift分割的图像片段求取平均显著 性值,然后通过自适应分割算法分割出显著性物体[5]。以上这些显著性检测算法都利用 中心和边界先验信息,认为边界都是背景,以及由于人类拍照的习惯,显著性物体位于 图像的中心位置,从而算法在进行建模时对模型进行初始化。此外,Cheng M M提出的GC(global cues)算法[6]利用高斯混合模型GMM(Gaussian Mixture Model)对显著性目 标进行检测,但是GC利用GMM对RGB颜色模型进行划分,对像素聚类的效果不好, 获得的分类边界比较模糊,且对子高斯模型合并多数情况下不好。经典的GrabCut算法[7]中也采用了高斯模型对前景和背景图像进行建模,并且取得了很好的效果,但是GrabCut 算法需要用户设置初始的前景和背景区域。以上均为通用的显著性物体检测算法,目前 针对颜色先验的显著性物体检测算法还没有,基于颜色先验能够提高显著性物体的检测 精度。
参考文献
[1]高智勇,马宏,贺良杰.结合图像全局和区域特性的显著性检测[J].中南民族大学学报(自然科学 版),2014,33(02):70-74.
[2]Cheng M M,Zhang G X,Mitra N J,et al.Global contrast based salientregion detection[C].Computer Vision and Pattern Recognition.IEEE,2011:409-416.
[3]Zhai Y,Shah M.Visual attention detection in video sequences usingspatiotemporal cues[C].ACM International Conference on Multimedia.ACM,2006:815-824.
[4]Achanta R,Estrada F,Wils P,et al.Salient Region Detection andSegmentation[J].2008,5008:66-75.
[5]Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient regiondetection[C].Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEEConference on.IEEE,2009:1597-1604.
[6]Cheng M M,Warrell J,Lin W Y,et al.Efficient salient regiondetection with soft image abstraction[J]. 2013:1529-1536.
[7]Rother C,Kolmogorov V,Blake A."GrabCut":interactive foregroundextraction using iterated graph cuts[C]. ACM SIGGRAPH.ACM,2004:309-314.
[8]Wang Z,Bovik AC,Sheikh H R,et al.Image quality assessment:fromerror visibility to structural similarity[J].IEEE transactions on imageprocessing,2004,13(4):600-612.
[9]Philipp Krhenbühl,Koltun V.Efficient Inference in Fully ConnectedCRFs with Gaussian Edge Potentials[J]. 2012:109-117.
[10]Lafferty J,MaCallum A,Pereira F.Conditional random stochasticgradient methods[C].Proc.Int.Conf. Machine Learning,2006:969.
[11]Cheng M M,Mitra N J,Huang X,et al.Global contrast based salientregion detection[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2015,37(3):569-582.
[12]Cheng M M,Warrell J,Lin W Y,et al.Efficient salient regiondetection with soft image abstraction[C].Proceedings of the IEEEInternational Conference on Computer vision,2013:1529-1536.
[13]Borji A,Cheng M M,Jiang H,et al.Salient object detection:A survey[J].arXiv preprint arXiv:1411.5878, 2014.
[14]Borji A,Cheng M M,Jiang H,et al.Salient object detection:Abenchmark[J].IEEE Transactions on Image Processing,2015,24(12):5706-5722.
[15]潘成伟,张建国,陈毅松,等.利用一致性检验的多图像中前景物体的自动分割[J].计算机辅助设计与图形 学学报,2017(6).
[16]Zhai Y,Shah M.Visual attention detection in video sequences usingspatiotemporal cues[C].ACM International Conference on Multimedia.ACM,2006:815-824.
发明内容
本发明要解决的问题是:传统的显著性检测算法主要基于中心先验、边界先验建立 检测模型,但是在实际应用中,这些先验信息不一定都适用,比如机器视觉领域很多图像显著性区域位于图像边界。
本发明的技术方案为:一种基于颜色显著性和高斯模型的精确目标分割方法,包括 以下步骤,
1)将图像从RGB颜色空间转换到Lab空间,用最大期望算法EMA获得高斯混合模 型GMM的模型参数,并设定高斯混合模型的标准差,对Lab空间全图像应用GMM进 行像素分类;
2)GMM的子高斯模型的均值为μc,在Lab空间图像中,标记μc与先验颜色信息的 a值和b值最接近的子高斯模型为前景子高斯模型,步骤1)中由GMM进行像素分类时 会将图像中属于一个物体的像素分割在不同的子高斯模型中,需要将分散在不同子高斯 模型中的属于同一个物体的像素进行合并,应用SSIM图像相似度算法将与前景子高斯 模型相似的子高斯模型进行合并,将两个子高斯模型中的像素点合并为一类,获得最终 的前景高斯模型,与前景子高斯模型不相似的子高斯模型构成背景高斯模型;
3)利用条件随机场算法CRF对步骤2)中获得的前景高斯模型与背景高斯模型分割结果进行优化,获取准确的分割边界。
进一步的,步骤1)中,高斯混合模型的概率密度函数p(x)如下式所示:
式中ωc是第c个子高斯模型的权重,gc(x;μcc)表示第c个子高斯模型的概率密度 函数,K为高斯混合模型中子高斯模型的数量,概率密度函数具体为:
式中μ、Σ分别为高斯概率密度函数的均值和方差。
图像中每一个像素颜色向量Ix根据式(3)确定其属于哪一个子高斯模型,其中ωc、μc和σc分别表示第c个子高斯模型的权重、均值和方差,N(Ixcc)表示子高斯模型:
进一步的,步骤3)中,利用条件随机场算法CRF获取分割边界具体为:
把图像分割问题作为二值标记随机场问题,定义随机变量x={x1,x2,...,xn},其中 xi={0,1},i=1,2,...,n,0和1表示是前景还是背景的标记,每一个随机变量对应一个像素, CRF对应的Gibbs能量函数,即待最小化的能量函数为:
对于每一个像素,一元势函数ψμ(xi)的计算是独立的,一元势函数计算每一个像素标 记为前景或者背景的成本,一元势函数将高斯混合模型中的概率分布转化为能量函数,根据前景的高斯分布gforefround(x;μ,σ)和背景的高斯分布gbackground(x;μ,σ),计算获得像 素属于前景和背景的概率:
ψμ(xi)定义为:ψμ(xi)=-logP(xi),由于步骤1)是在全图像进行混合高斯模型聚类,把 图像中的像素按照颜色进行聚类,此时一元势函数已经是最小值;
二元势函数ψp(xi,xj)为惩罚项,考察相邻和相似的像素被赋予相同标记的可能性, 对距离较近、特征相似的像素被设置为不同类标作出惩罚,二元势函数的形式如下所示:
每一个k(c)是一个高斯核函数,一共由K个核函数组成:
式中,向量fi和fj是像素i和j的在任意特征空间的特征向量,ω(c)为权重,Λ(c)为对称半正定矩阵,μ(xi,xj)取值为,当xi=xj时μ(xi,xj)=0,当xi≠xj时μ(xi,xj)=1;
因此根据像素的颜色向量和位置向量定义g1(i,j)和g2(i,j),用于二元势函数的计算:
式中pi、pj为坐标向量,Ii、Ij为颜色向量,θα、θβ、θγ为相应的权值,用于控制 坐标以及颜色对结果的影响,g1(i,j)倾向于相邻像素颜色相似的像素被赋予相同的标记, g2(i,j)移除小的孤立的区域,二元势函数定义为:
ψp(xi,xj)=g(i,j)[xi≠xj] (16)
g(i,j)=w1g1(i,j)+w2g2(i,j) (17)
w1、w2为对应项的权值。
本发明检测的显著性区域是特定颜色的显著性物体,本发明方法针对显著性检测中 物体可能不符合中心和边界先验的特点,提出基于颜色先验的显著性物体检测方法,首先通过GMM算法在Lab颜色空间对图像像素进行聚类,通过先验颜色信息得到目标子 高斯模型作为前景子高斯模型,然后利用SSIM图像相似度算法[8]将与前景子高斯模型相 似的子高斯模型进行合并,得到前景显著性区域,之后利用CRF(conditional random field)算法[9]对显著性区域进行优化,获取准确的分割边界[10-16]。本发明的方案中虽然参 考了现有技术中的高斯模型的聚类,以及采用了CRF算法,但现有技术中的高斯模型聚 类和CRF算法都是需要人工简单标注作为算法的输入参数的。本发明直接通过高斯混合 模型对像素进行聚类,没有利用中心、边界先验,不需要人工简单标注作为输入参数, 应用高斯混合模型保证获得准确稳定的边界,能够检测位于边界的显著性区域,与传统 的显著性检测算法相比准确度更高。
附图说明
图1为本发明方法的流程图。
图2为本发明Lab空间聚类结果。
图3为RGB空间聚类结果。
图4为本发明子高斯模型合并后结果。
图5为本发明与其他算法结果对比。
图6为本发明与其他算法错误率对比。
图7为本发明与其他算法覆盖率对比。
具体实施方式
如图1所示,本发明通过GMM算法在Lab颜色空间对图像像素进行聚类,通过先 验颜色信息选取目标子高斯模型作为前景子高斯模型,然后利用SSIM图像相似度算法 将与前景子高斯模型相似的子高斯模型进行合并,之后利用CRF(conditional random field)算法对显著性区域进行优化,获取准确的分割边界。下面具体说明本发明的实施。 1、高斯模型对图像分解
在GrabCut算法中高斯混合模型需要学习获得2K个高斯模型的均值、协方差和每个 高斯分量的权重。GMM其实是一种聚类算法,在GrabCut算法中设置前景和背景区域初始化对像素点进行分类。此处,由于RGB颜色空间色彩分布不均,Lab颜色空间将色彩 和亮度进行分离,便于本发明方法对显著性颜色的选取,本发明直接对Lab空间全图像 应用GMM进行像素分类。借鉴GC算法求取高斯模型参数的方法,本发明利用最大期 望算法(Expectation Maximization Algorithm)算法获得GMM模型参数,并且指定高斯 模型的标准差,没有如GrabCut算法设置前景和背景的子高斯模型的个数,因此本发明 GMM算法的结果中子高斯模型的个数会根据图像的颜色分布而变化。
本发明提出根据颜色先验对图像进行分解,具体为:将图像从RGB颜色空间转换到Lab空间,Lab颜色空间中L是亮度,a和b是两个颜色通道,Lab实现了颜色和亮度的 分离,在后续的处理中直接根据先验颜色信息的a和b值选择前景子高斯模型。
高斯混合模型的概率密度函数p(x)如下式所示:
式中ωc是第c个高斯混合模型的权重,gc(x;μcc)表示第c个子高斯混合模型的概 率密度函数,K为高斯混合模型中子高斯模型的数量,概率密度函数具体为:
式中μ、σ分别为高斯概率密度函数的均值和方差。
图像中每一个像素颜色向量Ix根据下式确定其属于哪一个子高斯模型,其中ωc、μc和σc分别表示第c个子高斯模型的权重、均值和方差。
根据GMM得到的参数μc和先验的颜色信息,标记μc与先验颜色信息的a和b最接 近的子高斯模型为前景子高斯模型,本发明就能够确定图像中需要的颜色区域。如图2 和图3分别为在Lab空间和RGB颜色空间对图像应用GMM算法的结果,图2中(a) 为原图,(b)-(g)为在Lab空间应用GMM算法每个子高斯模型的结果,图3中(a) -(g)为对应图2(a),在其RGB空间应用GMM算法每个子高斯模型的结果。Lab空 间中图像分解的子模型比RGB空间更少,对于不同的颜色产生的聚类效果更好。
为了加速GMM算法的处理效率,本发明优选采用Cheng M M论文中的处理策略, 将原来每个通道255个数量级分为12个数量级,减小像素值空间大小。
2、子高斯模型合并
图2中(b)、(c)、(d)、(e)、(f)、(g)分别对应GMM中六个高斯模型, 因为本发明对图像的分割只需分为前景和背景,对于一幅图像,本发明只关注能否将感 兴趣的像素分割出来。对于六个子高斯模型,本发明根据子高斯模型的均值和颜色先验 的接近程度,标记图2(f)对应的子高斯模型为需要的模型,因为图2(f)对应的子高 斯模型与设置的颜色先验最接近,观察图2其他几幅图像,基本都属于背景像素,将 (b)、(c)、(d)、(e)、(g)合并,实际实施时,本发明通过SSIM图像相似度 算法,自动根据子高斯模型将对应的前景图像和背景图像进行合并。
在GrabCut算法中,根据Gibbs能量对图像进行合并,如式(4)所示为Gibbs能量 函数,函数E中包含函数U和函数V两部分。函数U衡量相似的像素是否属于同一类, 函数V衡量像素不属于同一类的情况,这也是显著性检测中衡量的两个主要指标,因此 可得下式:
E(I)=∑U(Ii,Ij∈g(x;μ,σ))+∑V(Ii∈g(xi;μii),Ij∈g(xj;μjj)) (4)
在高斯模型对图像分解中本发明已经实现了函数U,通过高斯混合模型本发明将颜 色相似的像素聚为一类,这和U中将相似像素聚合为一类的效果相同,而且由于本发明没有用户设置的前景和背景像素点,本发明这种全局GMM模型其实能够针对像素空间 获得更加精准的聚类。函数V项衡量像素属于不同类的情况,实质是根据像素之间的关 系将其区分为不同的类别。Zhou Wang提出的SSIM(Structural Similarity Index)算法, 分别从亮度、对比度和结构三方面度量图像相似度,在SSIM算法中把与物体结构相关 的亮度和对比度信息作为结构信息的定义。
亮度对比函数:
对比度对比函数:
结构对比函数:
令C3=C2/2,SSIM算法结合以上三式:
式中μx、μy表示两幅图像的像素均值,σx、σy表示两幅图像的像方差,σxy表示两幅图像的协方差,C1、C2、C3为常量。
对图2(b)-(g)应用SSIM算法,得到SSIM(b,c)=26.1372,SSIM(b,d)=41.3631,SSIM(c,d)=38.4696,SSIM(b,e)=39.2489,SSIM(c,e)=33.0861,SSIM(d,e)=81.4788,SSIM(b,f)=21.6106,SSIM(c,f)=12.226,SSIM(d,f)=56.4904,SSIM(g,d)=40.9694,SSIM(g,c)=35.7909,SSIM(d,g)=85.225。对于图2中(d)、(e)、(g)三图,其相似 度较高,因此合并图2(d)、(e)、(g),图2(a)的进行前景背景划分的最终分割 结果如图4所示,图4是对图2(b)-(g)的合并后的结果。前面已经将图2(f)标记 为需要的模型,而图2(f)经过合并后在图4(d)中,因此将图4(d)作为根据颜色先 验提取得到的目标像素区域。
经过上图的处理,本发明方法已经获得图4(d)为显著性区域,但是图4(d)中包 括显著性区域外的误分类区域,边缘不准确,图4(d)的中心位置还包括误分类的像素, 因此经过GMM聚类、颜色先验提取、SSIM算法合并后的结果存在较多误分类像素和噪 声点,需要应用CRF算法进一步处理,获得更加准确的显著性区域,下面将详细介绍。
3、应用条件随机场优化分割结果
随机场算法CRF由Lafferty等人提出,是一种判别式模型,CRF模型根据选取的特征函数,从标记好的数据学习模型参数,从而预测可能的状态序列。Philipp Krahenbuhl对CRF的推理进行简化,极大提高了CRF推理的速度。
本发明把图像分割问题作为二值标记随机场问题。利用CRF优化分割边界在参考文 献[10-16]中已有介绍,本发明针对其在本方案中的实施进行具体说明。定义随机变量x={x1,x2,...,xn},其中xi={0,1},i=1,2,...,n,0和1表示是前景还是背景的标记,每一个随机变量对应一个像素,I表示观测到的图像数据,具有n个像素,CRF对应的 Gibbs能量函数,即待最小化的能量函数为:
对于每一个像素,一元势函数ψμ(xi)的计算是独立的,一元势函数计算每一个像素点 标记为前景或者背景的成本。计算获得前景和背景区域的高斯分布gforefround(x;μ,σ)和gbackground(x;μ,σ),则可计算获得像素属于前景和背景的概率:
ψμ(xi)可以定义为:ψμ(xi)=-logP(xi)。由于本发明是在全图像进行混合高斯模型聚类, 把图像中的像素按照颜色进行聚类,此时一元势函数已经是最小值。
二元势函数ψp(xi,xj)考察相邻和相似的像素被赋予相同的标记可能性,二元势函数 的形式如下所示:
每一个k(c)是一个高斯核函数,一共由K个核函数组成;
向量fi和fj是像素i和j的在任意特征空间的特征向量,ω(c)为权重,Λ(c)为对称半 正定矩阵。本发明中μ(xi,xj)取值为,当当xi=xj时μ(xi,xj)=0,当xi≠xj时μ(xi,xj)=1。
因此根据像素的颜色向量和位置向量定义g1(i,j)和g2(i,j),用于二元势函数的计算:
式中pi、pj为坐标向量,Ii、Ij为颜色向量,θα、θβ、θγ为相应的权值,用于控制 坐标以及颜色对结果的影响,g1(i,j)倾向于相邻像素颜色相似的像素被赋予相同的标记, g2(i,j)移除小的孤立的区域。因此二元势函数可以定义为:
ψp(xi,xj)=g(i,j)[xi≠xj] (16)
g(i,j)=w1g1(i,j)+w2g2(i,j) (17)
w1、w2为对应项的权值。
经过高斯混合模型对像素按照颜色进行聚类后,前景像素和背景像素的分布比较混 乱,结构信息没有考虑在内,生成的显著性图噪点比较多,因此通过CRF消除小的噪声点,获得准确平滑的边缘。
4、具体实施及效果分析。
通过实验来将本发明方法与其它显著性检测领域的经典算法进行对比,实验采用的 对比图像为MSRA10k数据集中的图像,并且为了测试本发明方法对MSRA10k中的图像 进行修改,使位于图像中心位置的物体移动到图像的边缘位置以验证算法能否正确运行。 本发明采用的图像如图5所示,包括各种算法的处理结果对比。本发明中应用的图像虽 然是自然图像,但是图5中第一和第二幅图像的显著性区域在边界,因此自然图像表现 出的中心先验、边缘先验在这两幅图像的处理中并不适用。
为了衡量分割结果的好坏,对图5的待检测图像标注出前景区域,并利用算法标注的错误率和覆盖率来衡量分割结果的好坏。错误率定义为ηER=Nerror/NGT,Nerror表示 错误标记的像素数目,NGT表示前景区域中像素的数目,错误率越低说明分割结果越好。 覆盖率表示为ηCR=Nright/NGT,其中Nright表示算法处理后标记为前景的像素中正确的 个数。为了衡量本发明方法的好坏,将本发明方法与LC、HC、AC、FT(Frequency- tuned SalientRegion Detection)、GC算法进行比较,LC、HC、AC、FT、GC算法处理 结果均为灰度图像,本发明方法处理结果为二值图像,为了进行比较,将LC、HC、AC、 FT、GC算法的结果按照阈值50进行分割。同时将本发明方法简称为CP(Color a Priori) 算法。
表一各种算法对比
表一所示为各种显著性检测算法错误率和覆盖率的对比,图5所示为各种算法的结 果图,其中GT表示标定的真实数据,图6和图7为错误率和覆盖率的折线图。在图7中, 本发明方法对GT图像中的前景像素的覆盖率最高,本发明方法处理后获得的显著性图 能够最大覆盖前景像素。图6所示为错误率,本发明方法的错误率在与其他算法进行对 比中是最低的,本发明方法将像素标记错误的概率最小,从图5中的显著性图中可以看 到,本发明方法把显著性区域准确提取,根据先验颜色信息获得指定区域,CRF使得分 割边缘更加准确。虽然GC算法的结果在显著性物体位于图像中心的分割效果比较好, 但是对于图5中第一和第二幅图像分割效果很差,这是因为GC算法应用了中心和边界 先验。在图5中,可见本发明方法基本保留了GT图像中的细节信息。而对于LC、HC、 AC、FT和GC算法,处理后的结果图像噪点比较多,获得的显著性图像对比度低,有些 图像还有将背景标记为显著性区域的情况。
本发明方法直接通过高斯混合模型对像素进行聚类,没有利用中心、边界先验,不需要人工标注作为聚类输入,应用高斯混合模型保证获得准确稳定的边界,能够检测位 于边界的显著性区域,与传统的显著性检测算法相比准确度更高。

Claims (3)

1.一种基于颜色显著性和高斯模型的精确目标分割方法,其特征是包括以下步骤,
1)将图像从RGB颜色空间转换到Lab空间,用最大期望算法EMA获得高斯混合模型GMM的模型参数,并设定高斯混合模型的标准差,对Lab空间全图像应用GMM进行像素分类;
2)GMM的子高斯模型的均值为μc,在Lab空间图像中,标记μc与先验颜色信息的a值和b值最接近的子高斯模型为前景子高斯模型,步骤1)中由GMM进行像素分类时会将图像中属于一个物体的像素分割在不同的子高斯模型中,需要将分散在不同子高斯模型中的属于同一个物体的像素进行合并,应用SSIM图像相似度算法将与前景子高斯模型相似的子高斯模型进行合并,将两个子高斯模型中的像素点合并为一类,获得最终的前景高斯模型,与前景子高斯模型不相似的子高斯模型构成背景高斯模型;
3)利用条件随机场算法CRF对步骤2)中获得的前景高斯模型与背景高斯模型分割结果进行优化,获取准确的分割边界。
2.根据权利要求1所述的一种基于颜色显著性和高斯模型的精确目标分割方法,其特征是步骤1)中,高斯混合模型的概率密度函数p(x)如下式所示:
式中ωc是第c个子高斯模型的权重,gc(x;μcc)表示第c个子高斯模型的概率密度函数,K为高斯混合模型中子高斯模型的数量,概率密度函数具体为:
式中μ、σ分别为高斯概率密度函数的均值和方差,
图像中每一个像素颜色向量Ix根据式(3)确定其属于哪一个子高斯模型,其中ωc、μc和σc分别表示第c个子高斯模型的权重、均值和方差,N(Ixcc)表示子高斯模型:
3.根据权利要求1所述的一种基于颜色显著性和高斯模型的精确目标分割方法,其特征是步骤3)中,利用条件随机场算法CRF获取分割边界具体为:
把图像分割问题作为二值标记随机场问题,定义随机变量x={x1,x2,...,xn},其中xi={0,1},i=1,2,...,n,0和1表示是前景还是背景的标记,每一个随机变量对应一个像素,CRF对应的Gibbs能量函数,即待最小化的能量函数为:
对于每一个像素,一元势函数ψμ(xi)的计算是独立的,一元势函数计算每一个像素标记为前景或者背景的成本,一元势函数将高斯混合模型中的概率分布转化为能量函数,根据前景的高斯分布gforefround(x;μ,σ)和背景的高斯分布gbackground(x;μ,σ),计算获得像素属于前景和背景的概率:
ψμ(xi)定义为:ψμ(xi)=-logP(xi),由于步骤1)是在全图像进行混合高斯模型聚类,把图像中的像素按照颜色进行聚类,此时一元势函数已经是最小值;
二元势函数ψp(xi,xj)为惩罚项,考察相邻和相似的像素被赋予相同标记的可能性,对距离较近、特征相似的像素被设置为不同类标作出惩罚,二元势函数的形式如下所示:
每一个k(c)是一个高斯核函数,一共由K个核函数组成:
式中,向量fi和fj是像素i和j的在任意特征空间的特征向量,ω(c)为权重,Λ(c)为对称半正定矩阵,μ(xi,xj)取值为,当xi=xj时μ(xi,xj)=0,当xi≠xj时μ(xi,xj)=1;
因此根据像素的颜色向量和位置向量定义g1(i,j)和g2(i,j),用于二元势函数的计算:
式中pi、pj为坐标向量,Ii、Ij为颜色向量,θα、θβ、θγ为相应的权值,用于控制坐标以及颜色对结果的影响,g1(i,j)倾向于相邻像素颜色相似的像素被赋予相同的标记,g2(i,j)移除小的孤立的区域,二元势函数定义为:
ψp(xi,xj)=g(i,j)[xi≠xj] (16)
g(i,j)=w1g1(i,j)+w2g2(i,j) (17)
其中,w1、w2为权值。
CN201810538260.2A 2018-05-30 2018-05-30 一种基于颜色显著性和高斯模型的精确目标分割方法 Active CN108961265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810538260.2A CN108961265B (zh) 2018-05-30 2018-05-30 一种基于颜色显著性和高斯模型的精确目标分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810538260.2A CN108961265B (zh) 2018-05-30 2018-05-30 一种基于颜色显著性和高斯模型的精确目标分割方法

Publications (2)

Publication Number Publication Date
CN108961265A true CN108961265A (zh) 2018-12-07
CN108961265B CN108961265B (zh) 2022-02-18

Family

ID=64492589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810538260.2A Active CN108961265B (zh) 2018-05-30 2018-05-30 一种基于颜色显著性和高斯模型的精确目标分割方法

Country Status (1)

Country Link
CN (1) CN108961265B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020673A (zh) * 2019-03-12 2019-07-16 深圳市象形字科技股份有限公司 一种hsv色彩空间颜色识别与噪声过滤的方法
CN110619648A (zh) * 2019-09-19 2019-12-27 四川长虹电器股份有限公司 一种基于rgb变化趋势划分图像区域的方法
CN112750119A (zh) * 2021-01-19 2021-05-04 上海海事大学 一种面向白玻璃盖板表面微弱缺陷的检测与测量方法
CN113345052A (zh) * 2021-06-11 2021-09-03 山东大学 基于相似显著性的分类数据多视图可视化着色方法及系统
CN113440843A (zh) * 2021-06-25 2021-09-28 咪咕互动娱乐有限公司 云游戏启动控制方法、装置、云服务器和终端设备
CN113469194A (zh) * 2021-06-25 2021-10-01 浙江工业大学 基于高斯混合模型的目标特征提取与可视化方法
CN115170507A (zh) * 2022-07-06 2022-10-11 鄄城鑫磊交通工程材料有限公司 基于图像数据的注浆管表面缺陷检测方法及系统
CN115210760A (zh) * 2019-11-21 2022-10-18 10X基因组学有限公司 分析物的空间分析
CN115297288A (zh) * 2022-09-30 2022-11-04 汉达科技发展集团有限公司 用于驾驶模拟器的监控数据存储方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706965A (zh) * 2009-11-03 2010-05-12 上海大学 基于高斯混合模型区域图像彩色化处理的方法
CN102903124A (zh) * 2012-09-13 2013-01-30 苏州大学 一种运动目标检测方法
CN103208124A (zh) * 2013-04-22 2013-07-17 西北工业大学 基于马尔可夫随机场理论的鼠脑切片显微图像分割方法
CN104166988A (zh) * 2014-07-10 2014-11-26 北京工业大学 一种融入稀疏匹配信息的立体图像同步分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706965A (zh) * 2009-11-03 2010-05-12 上海大学 基于高斯混合模型区域图像彩色化处理的方法
CN102903124A (zh) * 2012-09-13 2013-01-30 苏州大学 一种运动目标检测方法
CN103208124A (zh) * 2013-04-22 2013-07-17 西北工业大学 基于马尔可夫随机场理论的鼠脑切片显微图像分割方法
CN104166988A (zh) * 2014-07-10 2014-11-26 北京工业大学 一种融入稀疏匹配信息的立体图像同步分割方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020673A (zh) * 2019-03-12 2019-07-16 深圳市象形字科技股份有限公司 一种hsv色彩空间颜色识别与噪声过滤的方法
CN110619648B (zh) * 2019-09-19 2022-03-15 四川长虹电器股份有限公司 一种基于rgb变化趋势划分图像区域的方法
CN110619648A (zh) * 2019-09-19 2019-12-27 四川长虹电器股份有限公司 一种基于rgb变化趋势划分图像区域的方法
CN115210760B (zh) * 2019-11-21 2023-08-01 10X基因组学有限公司 分析物的空间分析
CN115210760A (zh) * 2019-11-21 2022-10-18 10X基因组学有限公司 分析物的空间分析
CN112750119A (zh) * 2021-01-19 2021-05-04 上海海事大学 一种面向白玻璃盖板表面微弱缺陷的检测与测量方法
CN113345052A (zh) * 2021-06-11 2021-09-03 山东大学 基于相似显著性的分类数据多视图可视化着色方法及系统
CN113469194A (zh) * 2021-06-25 2021-10-01 浙江工业大学 基于高斯混合模型的目标特征提取与可视化方法
CN113440843A (zh) * 2021-06-25 2021-09-28 咪咕互动娱乐有限公司 云游戏启动控制方法、装置、云服务器和终端设备
CN113440843B (zh) * 2021-06-25 2023-12-08 咪咕互动娱乐有限公司 云游戏启动控制方法、装置、云服务器和终端设备
CN115170507A (zh) * 2022-07-06 2022-10-11 鄄城鑫磊交通工程材料有限公司 基于图像数据的注浆管表面缺陷检测方法及系统
CN115297288A (zh) * 2022-09-30 2022-11-04 汉达科技发展集团有限公司 用于驾驶模拟器的监控数据存储方法
CN115297288B (zh) * 2022-09-30 2023-03-07 汉达科技发展集团有限公司 用于驾驶模拟器的监控数据存储方法

Also Published As

Publication number Publication date
CN108961265B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN108961265A (zh) 一种基于颜色显著性和高斯模型的精确目标分割方法
CN106803247B (zh) 一种基于多级筛选卷积神经网络的微血管瘤图像识别方法
Choy et al. Fuzzy model-based clustering and its application in image segmentation
Opelt et al. Learning an alphabet of shape and appearance for multi-class object detection
Zhou et al. Tonguenet: accurate localization and segmentation for tongue images using deep neural networks
Fatakdawala et al. Expectation–maximization-driven geodesic active contour with overlap resolution (emagacor): Application to lymphocyte segmentation on breast cancer histopathology
Sommer et al. Ilastik: Interactive learning and segmentation toolkit
Leibe et al. Interleaved Object Categorization and Segmentation.
CN102436636B (zh) 自动分割头发的方法及其系统
Asi et al. A coarse-to-fine approach for layout analysis of ancient manuscripts
Lee et al. Markov random field models for hair and face segmentation
Herbon et al. Detection and segmentation of clustered objects by using iterative classification, segmentation, and Gaussian mixture models and application to wood log detection
Scheffler et al. Joint adaptive colour modelling and skin, hair and clothing segmentation using coherent probabilistic index maps
Li et al. Superpixel-based foreground extraction with fast adaptive trimaps
CN109087330A (zh) 一种基于由粗到精图像分割的运动目标检测方法
CN107067037B (zh) 一种使用llc准则定位图像前景的方法
Gan et al. Automated leather defect inspection using statistical approach on image intensity
Taur et al. Segmentation of psoriasis vulgaris images using multiresolution-based orthogonal subspace techniques
Liu et al. A novel color-texture descriptor based on local histograms for image segmentation
Wang et al. Image segmentation based on weighting boundary information via graph cut
Bai et al. Principal pixel analysis and SVM for automatic image segmentation
CN111815582A (zh) 改进背景先验和前景先验的二维码区域检测方法
Freixenet et al. Colour texture segmentation by region-boundary cooperation
Rotem et al. Combining region and edge cues for image segmentation in a probabilistic gaussian mixture framework
Pun et al. On-line video object segmentation using illumination-invariant color-texture feature extraction and marker prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant