CN108401564B - 基于超像素分割和图像抽象的显著性目标检测方法 - Google Patents
基于超像素分割和图像抽象的显著性目标检测方法 Download PDFInfo
- Publication number
- CN108401564B CN108401564B CN201518002410.5A CN201518002410A CN108401564B CN 108401564 B CN108401564 B CN 108401564B CN 201518002410 A CN201518002410 A CN 201518002410A CN 108401564 B CN108401564 B CN 108401564B
- Authority
- CN
- China
- Prior art keywords
- super
- pixel
- gmm
- notable
- conspicuousness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于超像素分割和图像抽象的显著性目标检测方法，首先对图像进行基于MRF全局势能最小化的平滑预处理，然后对预处理的图像利用SLIC方法进行超像素分割，利用区域平均像素与平均位置代替整个区域竞争该区域在图像中的显著性值。对超像素的像素部分通过期望最大化算法建立GMM，计算每一类的显著性，得到GMM层的显著图。对GMM层中的子类再进行一次聚类，使得在空间上有一定相关性的子类合并为一类。选择概率向量中最大的两个概率，利用相似性传播算法进行聚类。然后根据空间分布离散程度与空间位置特性计算每一类的显著性，得到聚类层的显著图。最后根据归一化后的GMM层的显著图和聚类层的显著图在相应位置取较小的显著性值得到最终的显著图。
Description
技术领域
本发明属于彩色图像的显著性目标检测方法，具体涉及一种基于超像素分割和图像抽象的显著性目标检测方法。
背景技术
现有的空间域上显著区域(显著性目标)检测算法大致分为两类：基于全局的显著区域检测和基于局部的显著区域检测。基于全局的方法将整幅图像作为对比区域来计算每个图像子区域或像素的显著值，但是该方法会在以下两种情况下失效：一种是显著区域占图像的大部分，另一种是背景图像中存在少量突出颜色，这两种情况都会使背景的显著性比较高；基于局部的方法通过计算每个图像子区域或像素同其周围小的局部邻域的对比度来衡量该图像子区域或像素的显著性，但是该方法生成的显著图趋向于关注边缘周围的区域，而不会突出整个显著区域。Cheng等人提出了一种基于图像抽象的显著区域检测算法，将图像抽象为4个不同层次的组成结构：第1层为像素层，第2层为直方图表示层、第3层为高斯混合模型(Gaussian Mixture Model，GMM)表示层、第4层为聚类表示层。该方法采用GMM将颜色相似的像素聚为区域，综合考虑各区域的颜色对比度和空间分布，以概率模型生成显著图。但是该方法基于颜色直方图实现显著区域检测，容易导致其不能准确、完整地突出显著性整体目标，并且产生的显著图容易受到背景中斑点噪声的影响。为了得到更加准确、完整的显著性整体目标，本专利提出一种基于马尔科夫随机场(Markov Random Field，MRF)的图像平滑预处理及超像素相结合的区域分割方法，并将其利用到基于图像抽象的显著区域检测算法中。
发明内容
为了避免现有技术的不足之处，本发明提出一种基于超像素分割和图像抽象的显著性目标检测方法
一种基于超像素分割和图像抽象的显著性目标检测方法，其特征在于步骤如下：
步骤1：基于MRF对图像I每个通道进行平滑预处理，并将平滑后的图像从RGB颜色空间变换到LAB颜色空间；
步骤2：对变换到LAB颜色空间的图像利用SLIC算法进行超像素分割；
步骤3：对超像素分割后的超像素进行GMM聚类，并根据GMM聚类结果，根据每个子类的全局特性计算其显著性，得到GMM层的显著图U(c)；
步骤4：根据GMM中各个子类之间的相似性构造子类之间的相似性矩阵，
其中：P(ci|Ix)描述超像素Ix属于GMM中第i个子模型的概率；将相似性矩阵的平均值作为相似性矩阵对角线元素的值；
在相似性传播算法中，利用相似性矩阵对GMM子类进行聚类，构成聚类层；在聚类层根据显著区域的空间分布特性，得到聚类层的显著图S(C)；
步骤5：将第3步的基于全局特性的显著图U(c)与第4步基于空间特性的显著图S(C)归一化，得到GMM层上的显著图P1与聚类层上的显著图P2，在P1和P2中在对于某一超像素选择显著性小的值作为该超像素所代表的所有像素的显著性。
本发明提出的一种基于超像素分割和图像抽象的显著性目标检测方法，在本发明中为了取得更好的区域分割效果，首先对图像进行基于MRF全局势能最小化的平滑预处理，使区域内部像素的颜色趋于一致，但保留各区域的边缘信息。然后对预处理的图像利用SLIC(Simple Linear Iterative Clustering)方法进行超像素分割，利用区域平均像素与平均位置代替整个区域竞争该区域在图像中的显著性值。对超像素的像素部分通过期望最大化(Expectation Maximization，EM)算法建立GMM，通过超像素之间的颜色相似度将超像素分为K个子类。根据各子类的在颜色、空间位置、面积特性计算每一类的显著性，得到GMM层的显著图。考虑到基于颜色的GMM聚类会忽略图像中子类之间的空间相关性，因此有必要对GMM层中的子类再进行一次聚类，使得在空间上有一定相关性的子类合并为一类。在GMM层中，每个超像素通过概率向量来描述该超像素在GMM每个子模型中出现的概率，选择概率向量中最大的两个概率，认为这两个概率所代表的高斯子模型存在一定的相关性，其相关性可通过这两个概率来描述。积累这种相关性构造各类超像素之间的相似性矩阵，利用相似性传播(Affinity Propagation，AP)算法进行聚类。然后根据空间分布离散程度与空间位置特性计算每一类的显著性，得到聚类层的显著图。最后根据归一化后的GMM层的显著图和聚类层的显著图在相应位置取较小的显著性值得到最终的显著图。
附图说明
图1是本发明基于超像素分割和图像抽象的显著性目标检测流程图。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明进行显著性目标检测所采用的方案主要包括以下步骤：
1、对输入图像每个通道进行基于MRF的平滑预处理：给定输入图像I，以及迭代次数n，对于每个彩色通道按以下步骤进行迭代。
(1)对于图像I的每个像素Ii，根据该像素的二阶邻域构造基团xi，得到基团集合X。
(2)对于X中的每个基团xi，根据下式计算基团势能
(3)计算使得基团势能最小的像素值Ii′，将Ii′代替Ii，并且迭代次数加1，若迭代次数为n，则停止迭代，否则回到步骤(1)。
2、将图像由RGB颜色空间转化到LAB颜色空间。
3、对预处理过后的图像进行超像素分割，超像素分割的算法如下：
(1)选择初始化的聚类中心Ck＝[lk，ak，bk，xk，yk]，将图像分割大小S×S的矩形图像块，选择每个矩形的中心位置像素为初始化聚类中心。
(2)将图像转化为灰度图像并计算其梯度图像，在初始聚类中心的3×3的邻域内选择梯度最小的点作为新的聚类中心，并不断迭代直到聚类中心不再改变。为了保证在后面计算中每个像素都能被分配到某一个聚类中心内，设置最大迭代步数为S或更小。
(3)对图像中的每个像素设置其所属的超像素距离中心l(i)＝-1和其距离每个聚类中心的距离d(i)＝∞。并开始迭代计算得到更好的聚类中心，迭代过程如下：
(a)对于每个聚类中心，搜索其2S×2S邻域，计算邻域中每个像素与该聚类中心的颜色空间距离与位置空间距离并加权得到每个像素与聚类中心的距离m为权重系数。
(b)根据(a)的计算结果将每个像素分配到各个聚类中心并计算新的聚类中心Ck＝[lk，ak，bk，xk，yk]，S为指示函数。同理可计算新的聚类中心。
(c)计算新的聚类中心与原聚类中心的差异，如果差异小于一定的阈值则迭代结束，否则进入步骤(a)。
4、对超像素进行GMM聚类，并根据GMM聚类结果，根据每个子类的全局特性计算其显著性。具体步骤如下：
(1)根据第3步得到的超像素聚类中心Ck＝[lk，ak，bk，xk，yk]，将超像素的像素部分作为数据建立高斯混合模型，得到高斯混合模型的均值向量(μ1，μ2，...，μk)，方差矩阵(∑1，∑2，...，∑k)，以及权重系数(w1，w2，...，wk)。
(2)计算超像素在GMM中属于各个子模型的概率，每个超像素属于概率最大的子模型，从而将超像素分为k类，k取值为2～15；k取值为8。
(3)基于全局特性计算每一类的显著性：
(a)根据计算每一类与其它类之间的颜色差异性，其中为第i个高斯子模型即第i类的均值向量。
(b)根据计算每一类与其它类之间的空间距离，其中D(ci，cj)＝∑xp(ci|Ix)dx-∑xp(cj|Ix)dx，并归一化其中(xd，yd)表示图像中心位置；
σ1 2＝0.9
(c)将颜色差异性与空间位置差异性以及其他子类在图像中所占比例wj相结合计算每一类的显著性其中为第j类的面积特征即在GMM中所占的权重。
(d)最后在得到的显著性上加入中心偏置其中：D(ci)＝∑xp(ci|Ix)dx并归一化，并且(xd，yd)表示图像中心位置；表示该类的归一化后的平均位置，得到最终的基于全局特性的显著图U(c)。σ2 2＝0.9
5、对GMM中各类超像素进行一次相似性传播聚类，并根据聚类后各类的空间特性计算各个子类的显著性。具体步骤如下：
(1)将第4步得到的各类进行一次相似性传播聚类，根据
构造相似性矩阵，其中P(ci|Ix)描述超像素Ix属于GMM中第i个子模型的概率。将相似性矩阵的平均值作为相似性矩阵对角线元素的值。
(2)计算每个子类在x方向上的平均位置以及每类所包含的超像素数，然后根据计算每个子类在x方向上的空间分布离散程度，其中|X|C＝∑xp(C|Ix)为每类所包含的超像素数，表示每类在x方向上的平均位置，xh超像素的横坐标
(3)同理计算每个子类在y方向空间分布的离散程度，并将x方向上的方差Vh(C)与y方向上的方差Vg(C)相加得到总的空间分布上的离散程度V(C)。
(4)计算每个子类与图像中心的距离D(C)。其中D(C)＝∑xp(C|Ix)dx并且(xd，yd)表示图像中心位置。将D(C)与V(C)归一化后计算基于空间分布的显著图S(C)＝(1-D(C))(1-V(C)).
计算最终的显著图：将第4步的基于全局特性的显著图U(c)与第5步基于空间特性的显著图S(C)归一化，得到GMM层上的显著图P1与聚类层上的显著图P2，在P1和P2中在对于某一超像素选择显著性小的值作为该超像素所代表的所有像素的显著性。
Claims (1)
1.一种基于超像素分割和图像抽象的显著性目标检测方法，其特征在于步骤如下：
步骤1：基于MRF对图像I每个通道进行平滑预处理，并将平滑后的图像从RGB颜色空间变换到LAB颜色空间；
步骤2：对变换到LAB颜色空间的图像利用SLIC算法进行超像素分割；
步骤3：对超像素分割后的超像素进行GMM聚类，并根据GMM聚类结果，根据每个子类的全局特性计算其显著性，得到GMM层的显著图U(c)；
步骤4：根据GMM中各个子类之间的相似性构造子类之间的相似性矩阵，
其中：P(ci|Ix)描述超像素Ix属于GMM中第i个子模型的概率；将相似性矩阵的平均值作为相似性矩阵对角线元素的值；
在相似性传播算法中，利用相似性矩阵对GMM子类进行聚类，构成聚类层；在聚类层根据显著区域的空间分布特性，得到聚类层的显著图S(C)；
步骤5：将第3步的基于全局特性的显著图U(c)与第4步基于空间分布特性的显著图S(C)归一化，得到GMM层上的显著图P1与聚类层上的显著图P2，在P1和P2中在对于某一超像素选择显著性小的值作为该超像素所代表的所有像素的显著性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201518002410.5A CN108401564B (zh) | 2015-05-28 | 2015-05-28 | 基于超像素分割和图像抽象的显著性目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201518002410.5A CN108401564B (zh) | 2015-05-28 | 2015-05-28 | 基于超像素分割和图像抽象的显著性目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108401564B true CN108401564B (zh) | 2017-09-15 |
Family
ID=63078681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201518002410.5A Active CN108401564B (zh) | 2015-05-28 | 2015-05-28 | 基于超像素分割和图像抽象的显著性目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108401564B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730443A (zh) * | 2017-10-27 | 2018-02-23 | 北京小米移动软件有限公司 | 图像处理方法、装置及用户设备 |
| CN109086776A (zh) * | 2018-07-06 | 2018-12-25 | 航天星图科技（北京）有限公司 | 基于超像素区域相似性检测的典型地震灾害信息提取算法 |
| CN113362293A (zh) * | 2021-05-27 | 2021-09-07 | 西安理工大学 | 一种基于显著性的sar图像舰船目标快速检测方法 |
-
2015
- 2015-05-28 CN CN201518002410.5A patent/CN108401564B/zh active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730443A (zh) * | 2017-10-27 | 2018-02-23 | 北京小米移动软件有限公司 | 图像处理方法、装置及用户设备 |
| CN109086776A (zh) * | 2018-07-06 | 2018-12-25 | 航天星图科技（北京）有限公司 | 基于超像素区域相似性检测的典型地震灾害信息提取算法 |
| CN113362293A (zh) * | 2021-05-27 | 2021-09-07 | 西安理工大学 | 一种基于显著性的sar图像舰船目标快速检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cai et al. | Dense motion estimation of particle images via a convolutional neural network | |
| Bernardo et al. | Generative or discriminative? getting the best of both worlds | |
| CN109766835B (zh) | 基于多参数优化生成对抗网络的sar目标识别方法 | |
| CN103593855B (zh) | 基于粒子群优化和空间距离测度聚类的图像分割方法 | |
| CN106203483B (zh) | 一种基于语义相关多模态映射方法的零样本图像分类方法 | |
| CN107564022A (zh) | 基于贝叶斯融合的视频显著性检测方法 | |
| CN111932529B (zh) | 一种图像分类分割方法、装置及系统 | |
| CN107527023A (zh) | 基于超像素和主题模型的极化sar图像分类方法 | |
| CN105389343B (zh) | 一种向量化降维方法 | |
| CN108401564B (zh) | 基于超像素分割和图像抽象的显著性目标检测方法 | |
| CN110853064B (zh) | 一种基于最小模糊散度的图像协同分割方法 | |
| Veeravasarapu et al. | Adversarially tuned scene generation | |
| CN107944428A (zh) | 一种基于超像素集的室内场景语义标注方法 | |
| CN109712149A (zh) | 一种基于小波能量和模糊c均值的图像分割方法 | |
| CN104732552B (zh) | 基于非平稳条件场的sar图像分割方法 | |
| CN113420639A (zh) | 基于生成对抗网络的近地面红外目标数据集建立方法及装置 | |
| Zhu et al. | Camera style transformation with preserved self-similarity and domain-dissimilarity in unsupervised person re-identification | |
| CN116824485A (zh) | 一种基于深度学习的开放场景伪装人员小目标检测方法 | |
| CN109829519A (zh) | 基于自适应空间信息的遥感图像分类方法及系统 | |
| CN112651951A (zh) | 一种基于dce-mri的乳腺癌分级方法 | |
| CN109801208B (zh) | 基于多gpu任务优化的sar图像变化检测方法 | |
| CN110569882B (zh) | 一种图像信息分类方法及装置 | |
| CN111091540B (zh) | 一种基于马尔科夫随机场的主动悬架控制方法 | |
| CN117032691A (zh) | 一种基于改进gan网络的卵巢疾病超声图像的生成算法 | |
| CN110363792A (zh) | 一种基于光照不变性特征提取的遥感图像变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR03 | Grant of secret patent right | ||
| GR03 | Grant of secret patent right | ||
| DC01 | Secret patent status has been lifted | ||
| DC01 | Secret patent status has been lifted | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 710075 Oak Constellation 1 Building 2 Unit 20301, North of Science and Technology Fifth Road, Xi'an High-tech Zone, Shaanxi Province Patentee after: Xi'an Xu Yao Network Technology Co., Ltd. Address before: 710072 No. 127 Youyi West Road, Shaanxi, Xi'an Patentee before: Northwestern Polytechnical University |