CN111798473A - 基于弱监督学习的图像协同分割方法 - Google Patents
基于弱监督学习的图像协同分割方法 Download PDFInfo
- Publication number
- CN111798473A CN111798473A CN202010696030.6A CN202010696030A CN111798473A CN 111798473 A CN111798473 A CN 111798473A CN 202010696030 A CN202010696030 A CN 202010696030A CN 111798473 A CN111798473 A CN 111798473A
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- gaussian
- images
- collaborative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000009826 distribution Methods 0.000 claims abstract description 39
- 230000003213 activating effect Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于弱监督学习的图像协同分割方法,包括以下步骤:步骤S1:获取一组包含m张图像的图像集,并设置高斯模型个数和加权参数;步骤S2:采用高斯模型将第i个图像聚成k个类,并计算图像的前景概率图;步骤S3:将所有边界高斯分布视为背景查询,激活图像集的前景概率图;步骤S4:生成图像协同分割的结果并用图像的连通性进行处理,得到二进制图像集,即为所得图像协同分割的结果。本发明将图像边界作为弱监督先验嵌入到协同分割的问题公式中去,得到二进制图像集,并结合图的连通性实现图像协同分割。
Description
技术领域
本发明属于图像协同分割领域,具体涉及一种基于弱监督学习的图像协同分割方法。
背景技术
多媒体技术的出现促进了图像数据集规模的快速增长,而这些数据集通常是异构的。所以需要有效的方法来将前景对象从这些异构的图像集中分割出来。作为一个研究热门,协同分割旨在检测和分割一组图像集中的共有对象。这些共有的对象可以看作是弱监督信息的一种形式,可以弥补单幅图像分割中先验信息的不足。因此,协同分割可以被广泛应用于对象驱动的图像检索、图像分类等问题。
发明内容
有鉴于此,本发明的目的在于提供一种基于弱监督学习的图像协同分割方法,将图像边界作为弱监督先验嵌入到协同分割的问题中去,得到二进制图像集,并结合图的连通性实现图像协同分割。
为实现上述目的,本发明采用如下技术方案:
一种基于弱监督学习的图像协同分割方法,包括以下步骤:
步骤S1:获取一组包含m张图像的图像集{I1,…,Im},并设置高斯模型个数Ki和加权参数λ,其中i∈{1,…,m};
步骤S2:采用高斯模型将第i个图像聚成Ki个类,并计算图像前景概率图;
步骤S3:将所有边界高斯分布视为背景查询,激活图像集的前景概率图;
步骤S4:生成图像协同分割的结果并用图像的连通性进行处理,得到二进制图像集{B1,…,Bm},即为所得图像协同分割的结果。
进一步的,所述步骤S2具体为:
步骤S21:引入高斯混合模型分别对图像的四个边界进行建模,并将它们作为弱监督的背景查询;
步骤S22:对于给定图像的每个边界,选择位于边缘位置的若干行或若干列像素作为初始种子;
步骤S23:通过利用EM算法更新GMM中的参数,获得顶部、底部、左侧、右侧的高斯分布,并记为N(μt,∑t),N(μb,∑b),N(μl,∑l),N(μr,∑r),其中括号内两个参数分别表示均值与标准查,角标t、b、l、r为顶部、底部、左侧、右侧标记;
步骤S24:设这四个高斯分布中所包含的像素分别为:
其中nt,nb,nl,nr为顶部、底部、左侧、右侧高斯分布所包含的像素点的个数。对于任一位置对于j∈{t,b,l,r}则有:
步骤S25:引入一个新的用于衡量两个高斯分布之间相似性的度量,设高斯分布O~N1(μ1,Σ1),Q~N2(μ1,Σ1),以及其对应值域分别为S1,S2,S1中的像素属于S2的概率近似地通过以下式子表示:
其中sk∈S1,|S1|为S1的基数;
步骤S27:以图像上边界作为例子,根据S26步骤中的等式,得到Gi和Gt的相关性Δ(Gi,Gt),将其进行标准化,Ci是前景的概率表示为:
同样的地,得到剩下三个前景概率图Sb,Sl,Sr,整合这4个特定边界的前景概率图,Ci中的任意元素x成为前景像素的概率为:
其中
遍历所有聚类,获得单张图像的最终前景概率图。
进一步的,所述步骤S3具体为:
其中K1,K2,…,Km为对应于不同图像的聚类个数;
其中d为高斯分布的维度,tr(.)表示矩阵的迹;
遍历所有聚类高斯分布,激活用于揭示图像间相关性的前景概率图。
进一步的,所述步骤S4具体为:
步骤S41:协同分割模型表述为最小化以下能量函数:
其中Econs是用于描述单张图像分割的能量函数,Ecorr是一个匹配似然函数,λ为超参数。
步骤S42:通过优化以下目标函数将单张图像的前景概率图与利用多张图像相关性获得前景概率图进行联合学习,得到一组相关图像的协同前景概率图:
其中f(.),g(.,.)分别为衡量图像内部和图像之间关系的两个函数
步骤S43:采用自适应阈值的二进制分割方法;
进一步的,述步骤S43具体为:
通过图连通性限制前景区域的选择。假设图可表示为G=(V,E),其中V为顶点集,E为边集;
对于给定的一张图片,假设αi(1≤i≤n)表示像素xi的不透明标签0≤αi≤1,但对于二进制图像,αi的取值不是0就是1;
将二进制前景图表示为无向简单图G=(V,E),其中:
(1)任意的1≤i≤n,αi=1当且仅当vi∈V。
(2)任意的1≤i≠j≤n,{vi,vj}∈E当且仅当vi和vj是相邻像素且
αi=αj=1。
本发明与现有技术相比具有以下有益效果:
本发明通过分别利用每个图像的四个边界作为背景查询,提出一种弱监督的图像协同分割框架,并定义了有效的概率距离测度以探索图像内部一致性和图像间相关性,通过搜索紧凑的连通图,并分配前景标签,从而准确的从相关图像中分割出共同对象。
附图说明
图1是本发明一实施例中用于协同分割的框架图;
图2是本发明一实施例中阐述如何利用其他图像的边界区域来帮助生成给定图像的前景概率图。
图3是本发明一实施例中与其他方法在iCoseg数据集上的性能对比。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图2,本发明提供一种基于弱监督学习的图像协同分割方法,包括以下步骤:
步骤S1:获取一组包含m张图像的图像集{I1,…,Im},并设置高斯模型个数Ki和加权参数λ,其中i∈{1,…,m};
步骤S2:采用高斯模型将第i个图像聚成Ki个类,并计算图像的前景概率图;
步骤S4:生成图像协同分割的结果并用图像的连通性进行处理,得到二进制图像集{B1,…,Bm},即为所得图像协同分割的结果。
在本实施例,所述步骤S2具体为:
步骤S21:引入高斯混合模型分别对图像的四个边界进行建模,并将它们作为弱监督的背景查询;
步骤S22:对于给定图像的每个边界,选择位于边缘位置的若干行或若干列像素作为初始种子;
步骤S23:通过利用EM算法更新GMM中的参数,获得顶部、底部、左侧、右侧的高斯分布,并记为N(μt,∑t),N(μb,∑b),N(μl,∑l),N(μr,∑r),其中括号内两个参数分别表示均值与标准查,角标t、b、l、r为顶部、底部、左侧、右侧标记;
步骤S24:设这四个高斯分布中所包含的像素分别为:
其中nt,nb,nl,nr为顶部、底部、左侧、右侧高斯分布所包含的像素点的个数。对于任一位置对于j∈{t,b,l,r}则有:
步骤S25:引入一个新的用于衡量两个高斯分布之间相似性的度量,设高斯分布O~N1(μ1,Σ1),Q~N2(μ1,Σ1),以及其对应值域分别为S1,S2,S1中的像素属于S2的概率近似地通过以下式子表示:
其中sk∈S1,|S1|为S1的基数;
步骤S27:以图像上边界作为例子,根据S26步骤中的等式,得到Gi和Gt的相关性Δ(Gi,Gt),将其进行标准化,Ci是前景的概率表示为:
同样的地,得到剩下三个前景概率图Sb,Sl,Sr,整合这4个特定边界的前景概率图,Ci中的任意元素x成为前景像素的概率为:
其中
遍历所有聚类,获得单张图像的最终前景概率图。
在本实施例中,所述步骤S3具体为:
其中K1,K2,…,Km为对应于不同图像的聚类个数;
其中d为高斯分布的维度,tr(.)表示矩阵的迹;
遍历所有聚类高斯分布,激活用于揭示图像间相关性的前景概率图。
在本实施例中,所述步骤S4具体为:
步骤S41:协同分割模型表述为最小化以下能量函数:
其中Econs是用于描述单张图像分割的能量函数,它描述了每幅图像中前景和背景之间的内部一致性。Ecorr是一个匹配似然函数,用于捕获多个图像之间的相关性,λ为超参数。
步骤S42:通过优化以下目标函数将单张图像的前景概率图与利用多张图像相关性获得前景概率图进行联合学习,得到一组相关图像的协同前景概率图:
其中f(.),g(.,.)分别为衡量图像内部和图像之间关系的两个函数;其中每个图像的内部一致性和多个图像之间的相关性可以用步骤S27和步骤S33中对应式子来估算。
步骤S43:一旦所给定图像组的协同前景概率图可用,可采用不同的图像分割算法对对象进行分割。在本实施例中,优选的,采用经典的自适应阈值的二进制分割方法;
因为有些区域会被错误地选择为前景,我们通过图连通性限制前景区域的选择,通过图连通性限制前景区域的选择。假设图可表示为G=(V,E),其中V为顶点集,E为边集;
对于给定的一张图片,假设αi(1≤i≤n)表示像素xi的不透明标签0≤αi≤1,但对于二进制图像,αi的取值不是0就是1;
将二进制前景图表示为无向简单图G=(V,E),其中:
(3)任意的1≤i≤n,αi=1当且仅当vi∈V。
(4)任意的1≤i≠j≤n,{vi,vj}∈E当且仅当vi和vj是相邻像素且αi=αj=1。
步骤S44:根据上述基于图的方法,可知图像的前景对象是顶点集V的划分。特别地,相同划分中的像素应当尽可能相似,不同分区中的像素应当尽可能相异。为此,两个顶点u,v∈V当且仅当相互连接时才被分到相同的分区里。设V’内的任意两个元素要相互连通,目的在于获取紧凑的图像分割。实际上,这里定义的V’便是图G的连通分支。由于图G是由可能的前景像素构成,因此可以合理地假定图像中的前景区域为G中一些较大的连通分支。因此,二进制图像前景区域的获取便可转换为搜索G中连通分支,并选择适当的分支作为前景区域。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (5)
1.一种基于弱监督学习的图像协同分割方法,其特征在于,包括以下步骤:
步骤S1:获取一组包含m张图像的图像集{I1,…,Im},并设置高斯模型个数Ki和加权参数λ,其中i∈{1,…,m};
步骤S2:采用高斯模型将第i个图像聚成Ki个类,并计算图像的前景概率图;
步骤S3:将所有边界高斯分布视为背景查询,激活图像集的前景概率图;
步骤S4:生成图像协同分割的结果并用图像的连通性进行处理,得到二进制图像集{B1,…,Bm},即为所得图像协同分割的结果。
2.根据权利要求1所述的基于弱监督学习的图像协同分割方法,其特征在于,所述步骤S2具体为:
步骤S21:引入高斯混合模型分别对图像的四个边界进行建模,并将它们作为弱监督的背景查询;
步骤S22:对于给定图像的每个边界,选择位于边缘位置的若干行或若干列像素作为初始种子;
步骤S23:通过利用EM算法更新GMM中的参数,获得顶部、底部、左侧、右侧的高斯分布,并记为N(μt,∑t),N(μb,∑b),N(μl,∑l),N(μr,∑r)
其中μ,∑分别表示均值与标准查,角标t、b、l、r为顶部、底部、左侧、右侧标记;
步骤S24:设这四个高斯分布中所包含的像素分别为:
其中nt,nb,nl,nr为顶部、底部、左侧、右侧高斯分布所包含的像素点的个数;
对于任一位置j∈{t,b,l,r}则有:
步骤S25:引入一个新的用于衡量两个高斯分布之间相似性的度量,设高斯分布O~N1(μ1,Σ1),Q~N2(μ1,Σ1),以及其对应值域分别为S1,S2,S1中的像素属于S2的概率近似地通过以下式子表示:
其中sk∈S1,|S1|为S1的基数;
步骤S27:以图像上边界作为例子,根据S26步骤中的等式,得到Gi和Gt的相关性Δ(Gi,Gt),将其进行标准化,Ci是前景的概率表示为:
同样的地,得到剩下三个前景概率图Sb,Sl,Sr,整合这4个特定边界的前景概率图,Ci中的任意元素x成为前景像素的概率为:
其中
遍历所有聚类,获得单张图像的最终前景概率图。
4.根据权利要求1所述的基于弱监督学习的图像协同分割方法,其特征在于,所述步骤S4具体为:
步骤S41:协同分割模型表述为最小化以下能量函数:
其中Econs是用于描述单张图像分割的能量函数,Ecorr是一个匹配似然函数,λ为超参数。
步骤S42:通过优化以下目标函数将单张图像的前景概率图与利用多张图像相关性获得前景概率图进行联合学习,得到一组相关图像的协同前景概率图:
其中f(.),g(.,.)分别为衡量图像内部和图像之间关系的两个函数
步骤S43:采用自适应阈值的二进制分割方法对对象进行分割;
5.根据权利要求4所述的基于弱监督学习的图像协同分割方法,其特征在于,所述步骤S43具体为:
通过图连通性限制前景区域的选择。假设图可表示为G=(V,E),其中V为顶点集,E为边集;
对于给定的一张图片,假设αi(1≤i≤n)表示像素xi的不透明标签0≤αi≤1,但对于二进制图像,αi的取值不是0就是1;
将二进制前景图表示为无向简单图G=(V,E),其中:
(1)任意的1≤i≤n,αi=1当且仅当vi∈V。
(2)任意的1≤i≠j≤n,{vi,vj}∈E当且仅当vi和vj是相邻像素且αi=αj=1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010696030.6A CN111798473A (zh) | 2020-07-20 | 2020-07-20 | 基于弱监督学习的图像协同分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010696030.6A CN111798473A (zh) | 2020-07-20 | 2020-07-20 | 基于弱监督学习的图像协同分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111798473A true CN111798473A (zh) | 2020-10-20 |
Family
ID=72806804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010696030.6A Pending CN111798473A (zh) | 2020-07-20 | 2020-07-20 | 基于弱监督学习的图像协同分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111798473A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114547688A (zh) * | 2022-02-24 | 2022-05-27 | 余姚市亿盛金属制品有限公司 | 窗帘智能生产车间数据的差分隐私保护方法、装置、计算设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170178341A1 (en) * | 2015-12-21 | 2017-06-22 | Uti Limited Partnership | Single Parameter Segmentation of Images |
CN109389605A (zh) * | 2018-09-30 | 2019-02-26 | 宁波工程学院 | 基于前景背景估计和分级区域关联的图像协同分割方法 |
CN110675421A (zh) * | 2019-08-30 | 2020-01-10 | 电子科技大学 | 基于少量标注框的深度图像协同分割方法 |
-
2020
- 2020-07-20 CN CN202010696030.6A patent/CN111798473A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170178341A1 (en) * | 2015-12-21 | 2017-06-22 | Uti Limited Partnership | Single Parameter Segmentation of Images |
CN109389605A (zh) * | 2018-09-30 | 2019-02-26 | 宁波工程学院 | 基于前景背景估计和分级区域关联的图像协同分割方法 |
CN110675421A (zh) * | 2019-08-30 | 2020-01-10 | 电子科技大学 | 基于少量标注框的深度图像协同分割方法 |
Non-Patent Citations (1)
Title |
---|
AIPING HUANG ET AL.: "Weak supervision learning for object co-segmentation", 《IEEE TRANSACTIONS ON BIG DATA》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114547688A (zh) * | 2022-02-24 | 2022-05-27 | 余姚市亿盛金属制品有限公司 | 窗帘智能生产车间数据的差分隐私保护方法、装置、计算设备和存储介质 |
CN114547688B (zh) * | 2022-02-24 | 2024-05-17 | 余姚市亿盛金属制品有限公司 | 窗帘智能生产车间数据的差分隐私保护方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | A multilevel point-cluster-based discriminative feature for ALS point cloud classification | |
Zheng et al. | Cross-regional oil palm tree counting and detection via a multi-level attention domain adaptation network | |
Liu et al. | Sift flow: Dense correspondence across different scenes | |
Oliva et al. | Scene-centered description from spatial envelope properties | |
CN109871875B (zh) | 一种基于深度学习的建筑物变化检测方法 | |
CN106157330B (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
CN104657980A (zh) | 一种改进的基于Meanshift的多通道图像分割算法 | |
CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
CN112287935B (zh) | 一种基于显著性先验的图像语义分割方法及系统 | |
CN110334628B (zh) | 一种基于结构化随机森林的室外单目图像深度估计方法 | |
CN107423771B (zh) | 一种两时相遥感图像变化检测方法 | |
Wang et al. | Classification of high spatial resolution remote sensing images based on decision fusion | |
Yu et al. | Learning bipartite graph matching for robust visual localization | |
CN112241736A (zh) | 一种文本检测的方法及装置 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN104008374B (zh) | 一种矿井图像中基于条件随机场的矿工检测方法 | |
CN111798473A (zh) | 基于弱监督学习的图像协同分割方法 | |
Engstrom et al. | Evaluating the Relationship between Contextual Features Derived from Very High Spatial Resolution Imagery and Urban Attributes: A Case Study in Sri Lanka | |
Wilson et al. | Image and object Geo-localization | |
Liu et al. | Color topographical map segmentation algorithm based on linear element features | |
CN111401519B (zh) | 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法 | |
Kilicaslan et al. | Image Retrieval using One-Dimensional Color Histogram Created with Entropy. | |
CN113326790A (zh) | 基于异常检测思维的胶囊机器人排水管病害检测方法 | |
Chang et al. | Single-shot person re-identification based on improved random-walk pedestrian segmentation | |
Xu et al. | Local feature matching using deep learning: A survey |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201020 |
|
RJ01 | Rejection of invention patent application after publication |