CN111868783B - 基于边界提取的区域合并图像分割算法 - Google Patents

基于边界提取的区域合并图像分割算法 Download PDF

Info

Publication number
CN111868783B
CN111868783B CN201980015569.6A CN201980015569A CN111868783B CN 111868783 B CN111868783 B CN 111868783B CN 201980015569 A CN201980015569 A CN 201980015569A CN 111868783 B CN111868783 B CN 111868783B
Authority
CN
China
Prior art keywords
region
ind
regions
segmentation
merging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201980015569.6A
Other languages
English (en)
Other versions
CN111868783A (zh
Inventor
宋文龙
唐锐
吕娟
路京选
杨昆
苏志诚
段媛媛
张学君
赵莉花
卢奕竹
刘宏洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Institute of Water Resources and Hydropower Research
Original Assignee
China Institute of Water Resources and Hydropower Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Institute of Water Resources and Hydropower Research filed Critical China Institute of Water Resources and Hydropower Research
Publication of CN111868783A publication Critical patent/CN111868783A/zh
Application granted granted Critical
Publication of CN111868783B publication Critical patent/CN111868783B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

基于边界提取的区域合并图像分割算法，其步骤包括计算梯度图、提取边界、初始分割、区域合并，其中初始分割可省略。在区域合并过程中以区域紧邻边上属于边界提取结果部分的长度比率为合并代价，并按区域内部的梯度平均值升序对区域进行合并，还引入了纹理差异评价机制以去除误分割。本算法解决了目前常用分割算法的分割粒度太细、易受噪声影响、易受光照影响、需要人工标记大量样本、计算量大、内存消耗量大等问题。另外，所有区域或者所有类别在一个最终分割结果上达到最佳分割效果。这些优势特征能够降低后续任务的计算资源消耗，并提升其处理效果。

Description

基于边界提取的区域合并图像分割算法
技术领域
本发明涉及到计算机视觉中的图像分割算法，属于区域合并图像分割(Regionmerging)算法的一种。支持分割数字图像、光学卫星影像、SAR影像、以及各类医学影像等。
背景技术
准确分割的图像具有巨大的价值，有助于提升图像镶嵌、三维重建、目标识别、图斑分类等算法的准确性。当前常用的图像分割算法有：区域合并(Region merging)、聚类(Clustering)、分水岭(Watershed)、活动边界模型(ACM)、水平集(LevelSet)、区域生长(Region Growing)、图切(GraphCut、GrabCut)、全卷积神经网络(FCNN)。
背景技术的问题：
分水岭分割算法的分割结果粒度太细，受噪声影响巨大。所有的聚类算法都受到像元间差异测度方法的严重影响，还有些聚类算法存储和计算量都很巨大。活动边界模型、水平集、图切的最佳用处是交互式地在图像上提取单一前景目标。全卷积神经网络需要人工标记大量的样本，对于未标记的类别则无能为力，此外动则需耗费数天至月余进行训练。
由于缺少良好的纹理描述算子，目前区域合并图像分割主要依赖像元值的统计差异以及形状约束进行合并，由于光照不均衡、阴影、噪声等原因会产生很多误分割且分割结果不稳定。
另外图像上的各区域具有很强的局部性特点，在所有区域使用同一个标准进行分割显然无法得到最佳效果。因此许多算法都使用多个标准获得层次化的分割结果，不同类别或者图像上的不同区域在不同层次上达到最佳的分割效果。该缺陷将会导致分割结果不便于利用，因为还需采用某种方法选取层次或者综合各层次的结果。
发明内容
为解决背景技术中的问题，本发明提供了一种基于边界提取的区域合并图像分割算法，该算法以紧邻区域紧邻边上属于边界提取结果部分的长度比率为合并代价，并按区域内部的梯度平均值升序对区域进行合并。本算法所合并的初始区域可以来自于其他算法的分割结果，也可以将每个像素作为一个区域。
作为有益效果：本发明避免了前述分割算法的多种问题，如分割粒度太细、易受噪声影响、易受光照影响、需要人工标记大量样本、计算量大、内存消耗量大等。尤其，相较于依赖像元值的统计差异以及形状约束的区域合并图像分割算法，本算法去掉了形状约束条件而是基于边界提取结果进行符合真实情况的分割，不会因光照等原因产生的轻微像元值变化导致分割结果不稳定。
另外，由于边界提取算法的“滞后性”以及本算法中区域合并顺序，相当于在图像的不同区域或者对不同的类别采用了不同的分割标准，使得图像的所有区域或者所有类别在一个最终分割结果上达到最佳分割效果。
具体实施方式
本发明的技术方案是：
第一计算出待分割图像的梯度图(差分图)，计算梯度图的算法包括但不限于sobel、scharr、prewitt、roberts、laplace、de-texture。
第二提取出待分割图像的边界图，边界提取算法包括但不限于Canny、Deriche、Marr Hildreth。
第三对待分割图像进行初始分割，分割算法包括但不限于Watershed、Clustering、Region Growing。此步骤亦可省略，不进行初始分割时将每个像素作为一个区域，后文中的区域也可指代一个像素。
第四建立区域的邻接拓扑关系，并合并区域。区域合并机制是本算法的关键，其以紧邻区域紧邻边上属于边界提取结果部分的长度比率为合并代价，按区域内部的梯度平均值升序对区域进行合并。具体如下所述。
将所计算出的梯度图记作Ig，区域Ri的合并顺序度量值为：
Figure BDA0002651036980000031
其中Ig(p)表示梯度图Ig上p处的梯度值，MO(Ri)的意义为区域内部梯度的平均值。合并时将所有的区域按照MO(Ri)从小到大排序，然后依次遍历所有区域；对于区域Ri的某个紧邻区域Rj，如果MO(Rj)≤MO(Ri)，那么Ri可以按照合并代价规则合并至Rj。
将所提取的边界图记作Ie，将区域Ri和Rj之间的紧邻边记作Eij，那么Ri和Rj的合并代价Cij为：
Figure BDA0002651036980000032
其中Len(*)为长度函数，Cij的意义为区域Ri和Rj紧邻边中位于Ie(所提取边界)上的部分所占据的比率。
引入合并代价Cij的阈值Tc，当Cij＞Tc时，区域Ri和Rj不可以合并；当Cij≤Tc时，由于区域Ri的紧邻区域不止一个，需要采纳一种规则择优合并。对于Ri的某个紧邻区域Rj，其按MO(Rj)的升序与Ri合并，即MO(Rj)取值越小优先级越高。
区域合并后，邻接边增长而边界提取结果不变；从而，合并后可能产生新的可合并区域。因此，区域合并机制的完整步骤为：
1.将所有的区域按照MO(Ri)从小到大排序；
2.依次遍历所有区域；
2.1.遍历当前区域Ri的紧邻区域；
2.1.1.对于区域Ri的某个紧邻区域Rj，如果MO(Rj)≤MO(Ri)且Cij≤Tc记录MO(Rj)取值最小的紧邻区域Rj；
2.2.将Ri合并至MO(Rj)取值最小的紧邻区域Rj；
3.如果遍历所有区域过程中有区域被合并了，回到步骤1；
4.如果遍历所有区域过程中没有区域被合并，结束。
又由于当前边界提取算法都有各种各样的缺陷，导致提取的边界不完整，从而仅采用上述逻辑仍存在一定程度的误分割。因此，在此基础算法上增加了纹理差异评价机制以去除误分割，具体如下所述。
对于区域Ri，将其强度指数RSI(Ri)定义为：
Figure BDA0002651036980000041
其意义为Ri的所有紧邻边中合并代价Cij大于阈值Tc的合并代价的均值。
引入区域强度指数的阈值Trsi，对于某个区域Ri，如果RSI(Ri)＞Trsi则该区域为强区域，否则为弱区域。
对于Ri及其紧邻区域Rj，将它们的纹理差异记作InDij，引入阈值Tind，在将Ri合并至其紧邻区域过程中，如果Ri是强区域，只有InDij≤Tind也满足时，才可将Ri合并至Rj。
与Tc和Trsi不同，Tind不需要人为指定，而是在合并过程中自动计算。将Tind的初始值置为0，在将Ri合并至其紧邻区域Rj过程中更新Tind，其公式为：
Figure BDA0002651036980000042
即将Tind更新为大于其当前值的所有合并过的区域的纹理差异均值。
纹理差异(InDij)可以采用不同的方式进行评价，如区域内像元值的均值之差、区域内像元值中位数之差、区域内像元值的均值和标准差组成向量的范数之差等。采用不同的方式计算纹理差异(InDij)，对算法结果的影响微乎其微，InDij计算方式的不同不构成与本算法的区别。
最后，结合了纹理差异评价机制的区域合并步骤应当为：
1.将Tind初始化为0；
2.将所有的区域按照MO(Ri)从小到大排序；
3.将Cind和Σind初始化为0；
4.依次遍历所有区域；
4.1.遍历当前区域Ri的紧邻区域；
4.1.1.对于区域Ri的某个紧邻区域Rj，如果MO(Rj)≤MO(Ri)且Cij≤Tc；
4.1.1.1.如果RSI(Ri)＞Trsi且InDij≤Tind，记录InDij取值最小的紧邻区域Rj；
4.1.1.2.如果RSI(Ri)≤Trsu，记录InDij取值最小的紧邻区域Rj；
4.2.将Ri合并至InDij取值最小的紧邻区域Rj；
4.3.让Cind+＝1，Σind+＝InDij，
Figure BDA0002651036980000051
5.如果遍历所有区域过程中有区域被合并了，回到步骤2；
6.如果遍历所有区域过程中没有区域被合并，结束。
本算法基于边界提取结果进行符合真实情况的分割，所获得的分割结果更加准确，分割结果更加稳定。另外，所有区域或者所有类别在一个最终分割结果上达到最佳分割效果。这些优势特征能够降低图像镶嵌、三维重建、目标识别、图斑分类等后续任务的计算资源消耗，并提升其处理效果。
下面是本发明的实施例。本发明不局限于下面的优选实施方式，任何人应该得知在本发明的启示下做出的结构变化，凡是与本发明具有相同或者相近似的技术方案，均属于本发明的保护范围。
第一计算待分割图像的sobel梯度；
第二在sobel梯度上应用Canny算法提取出边界；
第三在sobel梯度上运行Watershed算法完成初始分割；
第四建立初始分割结果的邻接拓扑关系，按照前述最终区域合并机制进行区域合并，在合并过程使用区域中像元值均值的差异作为纹理差异。

Claims (2)

1.基于边界提取的区域合并图像分割算法，其特征在于：
算法步骤包括计算梯度图、提取边界、初始分割、区域合并；
所述初始分割可以省略；
所述区域合并的步骤为：
(1)将所有的区域按照MO(Ri)从小到大排序；
(2)依次遍历所有区域；
(2.1)遍历当前区域Ri的紧邻区域；
(2.1.1)对于区域Ri的某个紧邻区域Rj，如果MO(Rj)≤MO(Ri)且Cij≤Tc记录MO(Rj)取值最小的紧邻区域Rj；
(2.2)将Ri合并至MO(Rj)取值最小的紧邻区域Rj；
(3)如果遍历所有区域过程中有区域被合并了，回到步骤(1)；
(4)如果遍历所有区域过程中没有区域被合并，结束；
其中：
MO(Rj)是区域Rj内部梯度的平均值
MO(Ri)是区域Ri内部梯度的平均值；
Cij为区域Ri和Rj紧邻边中位于所提取边界上的部分所占据的比率，是区域Ri和Rj的紧邻边合并代价；
Tc是合并代价Cij的阈值。
2.根据权利要求1所述的基于边界提取的区域合并图像分割算法，其特征在于：
还可以在区域合并规则中增加纹理差异评价机制以去除误分割，增加纹理评价机制后的区域合并步骤为：
(1)将Tind初始化为0；
(2)将所有的区域按照MO(Ri)从小到大排序；
(3)将Cind和∑ind初始化为0；
(4)依次遍历所有区域；
(4.1)遍历当前区域Ri的紧邻区域；
(4.1.1)对于区域Ri的某个紧邻区域Rj，如果MO(Rj)≤MO(Ri)且Cij≤Tc；
(4.1.1.1)如果RSI(Ri)＞Trsi且InDij≤Tind，记录InDij取值最小的紧邻区域Rj；
(4.1.1.2)如果RSI(Ri)≤Trsi，记录InDij取值最小的紧邻区域Rj；
(4.2)将Ri合并至InDij取值最小的紧邻区域Rj；
(4.3)让Cind+＝1，∑ind+＝InDij，
Figure FDA0002938836370000021
(5)如果遍历所有区域过程中有区域被合并了，回到步骤(2)；
(6)如果遍历所有区域过程中没有区域被合并，结束；
其中：
RSI(Ri)为区域Ri的所有紧邻边中合并代价大于阈值Tc的合并代价的均值；
Trsi为RSI(Ri)的阈值；
InDij为区域Ri和Rj的纹理差异；
Tind为纹理差异的阈值；
Cind和∑ind为合并过程中用于累加合并数量和纹理差异之和的临时变量。
CN201980015569.6A 2019-02-14 2019-02-14 基于边界提取的区域合并图像分割算法 Expired - Fee Related CN111868783B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/075051 WO2020164042A1 (zh) 2019-02-14 2019-02-14 基于边界提取的区域合并图像分割算法

Publications (2)

Publication Number Publication Date
CN111868783A CN111868783A (zh) 2020-10-30
CN111868783B true CN111868783B (zh) 2021-03-23

Family

ID=72044619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980015569.6A Expired - Fee Related CN111868783B (zh) 2019-02-14 2019-02-14 基于边界提取的区域合并图像分割算法

Country Status (3)

Country Link
US (1) US11037299B2 (zh)
CN (1) CN111868783B (zh)
WO (1) WO2020164042A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385471B (zh) * 2023-06-02 2023-09-01 中科微至科技股份有限公司 一种基于定向区域生长的激光轮廓线提取方法
CN116703916B (zh) * 2023-08-07 2023-10-20 山东正基药业有限公司 一种基于图像处理的洗化水质量监测方法
CN117036982B (zh) * 2023-10-07 2024-01-09 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) 海上养殖区的光学卫星图像处理方法和装置、设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222235A (zh) * 2010-04-14 2011-10-19 同济大学 基于对象集成高度信息的面向对象的高光谱分类处理方法
CN102999888A (zh) * 2012-11-27 2013-03-27 西安交通大学 一种基于彩色图像分割的深度图去噪方法
CN104537683A (zh) * 2014-11-18 2015-04-22 浙江大学 基于编码图像散粒特性的运动区域搜索方法
CN104778703A (zh) * 2015-04-15 2015-07-15 天津大学 织物图案创意要素自动提取方法
JP5889778B2 (ja) * 2012-12-27 2016-03-22 エルジー ディスプレイ カンパニー リミテッド フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
CN107016349A (zh) * 2017-03-10 2017-08-04 中科唯实科技（北京）有限公司 一种基于深度相机的人群流量分析方法
CN107301661A (zh) * 2017-07-10 2017-10-27 中国科学院遥感与数字地球研究所 基于边缘点特征的高分辨率遥感图像配准方法
CN107871321A (zh) * 2016-09-23 2018-04-03 南开大学 图像分割方法及装置
CN109615637A (zh) * 2019-01-16 2019-04-12 中国科学院地理科学与资源研究所 一种改进的遥感影像混合分割方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7260248B2 (en) * 1999-12-15 2007-08-21 Medispectra, Inc. Image processing using measures of similarity
CN100505884C (zh) * 2007-08-21 2009-06-24 北京大学软件与微电子学院 一种分水岭图象分割处理方法
WO2009143651A1 (en) * 2008-05-29 2009-12-03 Carestream Health, Inc. Fast image segmentation using region merging with a k-nearest neighbor graph
US8401292B2 (en) * 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
JP6174894B2 (ja) * 2013-04-17 2017-08-02 キヤノン株式会社 画像処理装置および画像処理方法
US9626585B2 (en) * 2014-05-13 2017-04-18 The Penn State Research Foundation Composition modeling for photo retrieval through geometric image segmentation
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
CN105574887B (zh) * 2016-02-29 2019-08-02 民政部国家减灾中心 高分辨率遥感影像快速分割方法
CN107945183B (zh) * 2017-06-28 2021-04-23 三亚中科遥感研究所 一种结合改进快速合并算法的分水岭分割方法
CN107578413B (zh) * 2017-10-11 2018-08-21 吉林大学 视网膜图像分层的方法、装置、设备及可读存储介质
CN109102513A (zh) * 2018-08-15 2018-12-28 黄淮学院 一种基于数学形态学的医学图像的分割算法
CN109191482B (zh) * 2018-10-18 2021-09-21 北京理工大学 一种基于区域自适应光谱角阈值的图像合并分割方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222235A (zh) * 2010-04-14 2011-10-19 同济大学 基于对象集成高度信息的面向对象的高光谱分类处理方法
CN102999888A (zh) * 2012-11-27 2013-03-27 西安交通大学 一种基于彩色图像分割的深度图去噪方法
JP5889778B2 (ja) * 2012-12-27 2016-03-22 エルジー ディスプレイ カンパニー リミテッド フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
CN104537683A (zh) * 2014-11-18 2015-04-22 浙江大学 基于编码图像散粒特性的运动区域搜索方法
CN104778703A (zh) * 2015-04-15 2015-07-15 天津大学 织物图案创意要素自动提取方法
CN107871321A (zh) * 2016-09-23 2018-04-03 南开大学 图像分割方法及装置
CN107016349A (zh) * 2017-03-10 2017-08-04 中科唯实科技（北京）有限公司 一种基于深度相机的人群流量分析方法
CN107301661A (zh) * 2017-07-10 2017-10-27 中国科学院遥感与数字地球研究所 基于边缘点特征的高分辨率遥感图像配准方法
CN109615637A (zh) * 2019-01-16 2019-04-12 中国科学院地理科学与资源研究所 一种改进的遥感影像混合分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
复杂三角网格模型分治加工刀具轨迹生成研究;林俊锋;《中国优秀硕士学位论文全文数据库·工程科技Ⅰ辑》;20150215(第2期);第B022-930页 *

Also Published As

Publication number Publication date
CN111868783A (zh) 2020-10-30
WO2020164042A1 (zh) 2020-08-20
US11037299B2 (en) 2021-06-15
US20210065376A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
CN109522908B (zh) 基于区域标签融合的图像显著性检测方法
CN113781402B (zh) 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN110992381B (zh) 一种基于改进Vibe+算法的运动目标背景分割方法
CN111415363B (zh) 一种图像边缘识别方法
CN108537239B (zh) 一种图像显著性目标检测的方法
CN111868783B (zh) 基于边界提取的区域合并图像分割算法
Xu et al. Automatic building rooftop extraction from aerial images via hierarchical RGB-D priors
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
US20170178341A1 (en) Single Parameter Segmentation of Images
US20230334627A1 (en) Method for segmenting and denoising triangle mesh
CN113298809B (zh) 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN112991283A (zh) 基于超像素的柔性ic基板线宽检测方法、介质和设备
Wu et al. Image segmentation
CN115690086A (zh) 一种基于对象的高分辨率遥感影像变化检测方法及系统
CN107909597B (zh) 一种具有边缘保持的多尺度mrf模型图像分割方法
CN111738931A (zh) 光伏阵列无人机航拍图像的阴影去除算法
CN110473224B (zh) 一种基于kl熵的rsf水平集图像自动分割方法
CN109241865B (zh) 一种弱对比度交通场景下的车辆检测分割算法
Xiao et al. Fast level set image and video segmentation using new evolution indicator operators
CN110942467A (zh) 基于pso-fcm的改进分水岭图像分割方法
CN111627033B (zh) 一种难样本实例分割方法、设备及计算机可读存储介质
CN110599518B (zh) 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法
CN112560740A (zh) 一种基于PCA-Kmeans的可见光遥感影像变化检测方法
TWI809682B (zh) 免疫組織化學染色影像的分析方法與電腦程式產品
CN113506253B (zh) 一种基于多层多核学习与区域合并的砂岩孔隙检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Song Wenlong

Inventor after: Lu Yizhu

Inventor after: Liu Hongjie

Inventor after: Tang Rui

Inventor after: Lv Juan

Inventor after: Lu Jingxuan

Inventor after: Yang Kun

Inventor after: Su Zhicheng

Inventor after: Duan Yuanyuan

Inventor after: Zhang Xuejun

Inventor after: Zhao Lihua

Inventor before: Tang Rui

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210323