CN111260659A - 一种基于初始标注点指导的图像交互分割方法 - Google Patents

一种基于初始标注点指导的图像交互分割方法 Download PDF

Info

Publication number
CN111260659A
CN111260659A CN202010031075.1A CN202010031075A CN111260659A CN 111260659 A CN111260659 A CN 111260659A CN 202010031075 A CN202010031075 A CN 202010031075A CN 111260659 A CN111260659 A CN 111260659A
Authority
CN
China
Prior art keywords
initial
annotation point
image
guidance
segmentation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010031075.1A
Other languages
English (en)
Inventor
程明明
林铮
张钊
陈林卓
卢少平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenjiang Youtong Intelligent Technology Co Ltd
Original Assignee
Zhenjiang Youtong Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhenjiang Youtong Intelligent Technology Co Ltd filed Critical Zhenjiang Youtong Intelligent Technology Co Ltd
Priority to CN202010031075.1A priority Critical patent/CN111260659A/zh
Publication of CN111260659A publication Critical patent/CN111260659A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域,尤其为一种基于初始标注点指导的图像交互分割方法,步骤如下;S10全局标注点特征提取、S20初始标注点指导、S30两类特征融合预测、S40基于全局标注点损失函数监督、S50结构保持性策略处理物体预测图。该发明目的是使用户交互生成的标注点能更加有效地利用初始标注点信息来得到精细的图像分割结果,因此设计了一种基于初始标注点指导的图像交互分割方(FCANet),本发明提出的FCANet通过将初始标注点作为额外的监督指导,分割出的目标物体具有更少的错误区域,能容忍用户存在一些错误的交互操作;经实验,本发明在公开的5个数据集上均超越最前沿的图像交互分割方法。

Description

一种基于初始标注点指导的图像交互分割方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于初始标注点指导的图像交互分割方法。
背景技术
图像交互分割的目的是通过用户交互的方式,将一张图片中的目标物体分割出来;通常情况下,用户通过点击设置一些前景和背景的标注点来得到分割结果;该技术在图像编辑,图像标注等领域有着广泛的应用。
近年来,由于深度学习在图像分割任务上的强大能力,2016年以来大多数方法都使用神经网络来进行图像的交互分割;新加坡国立大学的Liew等人提出了基于标注点对的局部区域图像分割方法,使分割结果能在物体局部达到更好的效果;首尔大学的Song等人通过强化学习,使计算机生成更多的模拟标注点进行分割;英特尔实验室的Li等人为了解决交互分割过程中存在的二义性问题,提出了使用神经网络生成多个分割结果,再使用另一个神经网络进行选择的方法;拉夫堡大学的Hu等人设计了一个两路神经网络,来达到更好的分割质量;哈佛大学的Jang等人提出了一种特殊的反向传播策略,强制标注点像素得到正确的分割结果来修正初始标注点信息,以此来达到更好的分割质量;波恩大学的Majumder等人提出了使用标注点来生成特殊的指导图,如通过超像素生成物体推荐指导图,通过将这些特殊的指导图输入神经网络,来获得最终的分割结果;以上这些方法都存在一个共性,但他们都选择将所有的标注点信息整体对待,对于每一个标注点,他们的对待方式是同等的;但是,由于用户在交互分割过程中,每一次交互分割的标注点都是基于上一次交互分割的结果而设置的,而初始交互点所提供的信息尤为重要,它不仅提供了物体的整体信息,还指示了目标物体的位置信息等;因此,将初始标注点区别对待则显得尤为重要。
发明内容
本发明的目的在于提供一种基于初始标注点指导的图像交互分割方法,以解决上述背景技术中提出的现有的这些方法都存在一个共性,但他们都选择将所有的标注点信息整体对待,对于每一个标注点,他们的对待方式是同等的问题。
为了实现以上目的,本发明采用的技术方案为:一种基于初始标注点指导的图像交互分割方法,步骤如下;
S10全局标注点特征提取、S20初始标注点指导、S30两类特征融合预测、S40基于全局标注点损失函数监督、S50结构保持性策略处理物体预测图。
进一步的,所述S10全局标注点特征提取:使用所有的前景标注点和背景标注点作为输入信息,指导多层卷积神经网络提取输入图像特征。
进一步的,所述S20初始标注点指导:将初始标注点作为额外输入,与全局标注点分割的主干网络的低层次特征融合,提取目标物体主体信息,使用基于初始标注点的损失函数进行约束监督。
进一步的,所述S30两类特征融合预测:将全局标注点得到的特征和初始标注点得到的特征融合,通过多尺度卷积模块,并联合底层特征修正较高层级的分割图,以此得到最终的预测结果。
进一步的,所述S40基于全局标注点损失函数监督:使用基于用户所有标注点的损失函数来对预测结果图进行监督,通过目标物体分割图像与人工标注的参考图像的计算对应损失值,进行梯度回传、更新网络。
进一步的,所述S50结构保持性策略处理物体预测图:使用基于连通性的结构保持性策略对二值分割后的预测图像进行处理,消除与前景标注点不连通的许多错误区域。
进一步的,所述初始标注点信息为基于用户第一次点击生成的高斯点图。
进一步的,所述将主干分割网络的底层特征与初始标注点信息融合,经过卷积的特征再融入主干分割网络中。
进一步的,所述使用基于初始标注点的损失函数来监督初始标注点的指导分割支路网络。
进一步的,所述使用基于全局所有标注点的损失函数来监督神经网络的最终输出结果。
进一步的,所述使用特殊的基于连通性的结构保持性策略对二值分割后的预测图像进行处理。
本发明的有益效果为:
本发明的目的是使用户交互生成的标注点能更加有效地利用初始标注点信息来得到精细的图像分割结果,因此设计了一种基于初始标注点指导的图像交互分割方(FCANet),本发明提出的FCANet通过将初始标注点作为额外的监督指导,分割出的目标物体具有更少的错误区域,能容忍用户存在一些错误的交互操作;经实验,本发明在公开的5个数据集上均超越最前沿的图像交互分割方法。
附图说明
图1为一种基于初始标注点指导的图像交互分割方法的流程结构示意图。
图2为一种基于初始标注点指导的图像交互分割方法的FCANet方法的流程结构示意图。
图3为一种基于初始标注点指导的图像交互分割方法的FCANet方法的具体实施框架结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明的技术方案,下面结合附图对本发明进行详细描述,本部分的描述仅是示范性和解释性,不应对本发明的保护范围有任何的限制作用。
如图1-图3所示,本发明的具体结构为:一种基于初始标注点指导的图像交互分割方法,步骤如下;
S10全局标注点特征提取、S20初始标注点指导、S30两类特征融合预测、S40基于全局标注点损失函数监督、S50结构保持性策略处理物体预测图。
优选的,所述S10全局标注点特征提取:使用所有的前景标注点和背景标注点作为输入信息,指导多层卷积神经网络提取输入图像特征。
优选的,所述S20初始标注点指导:将初始标注点作为额外输入,与全局标注点分割的主干网络的低层次特征融合,提取目标物体主体信息,使用基于初始标注点的损失函数进行约束监督。
优选的,所述S30两类特征融合预测:将全局标注点得到的特征和初始标注点得到的特征融合,通过多尺度卷积模块,并联合底层特征修正较高层级的分割图,以此得到最终的预测结果。
优选的,所述S40基于全局标注点损失函数监督:使用基于用户所有标注点的损失函数来对预测结果图进行监督,通过目标物体分割图像与人工标注的参考图像的计算对应损失值,进行梯度回传、更新网络。
优选的,所述S50结构保持性策略处理物体预测图:使用基于连通性的结构保持性策略对二值分割后的预测图像进行处理,消除与前景标注点不连通的许多错误区域。
优选的,所述初始标注点信息为基于用户第一次点击生成的高斯点图。
优选的,所述将主干分割网络的底层特征与初始标注点信息融合,经过卷积的特征再融入主干分割网络中。
优选的,所述使用基于初始标注点的损失函数来监督初始标注点的指导分割支路网络。
优选的,所述使用基于全局所有标注点的损失函数来监督神经网络的最终输出结果。
优选的,所述使用特殊的基于连通性的结构保持性策略对二值分割后的预测图像进行处理。
参考图1和图2,本发明提出的FCANet模型由全局标注点特征提取,初始标注点指导,两类特征融合预测,基于全局标注点损失函数监督,结构保持性策略处理物体预测图这五个步骤完成,具体实施过程如下:
1.全局标注点特征提取
将用户的标注点数据生成全局标注点图(分为前景标注点图和背景标注点图),将这些标注点图与原始图像拼接,使用神经网络提取图像特征,可选地,可以使用ResNet-101等基础模型;第i层级的图像特征为fi;在本发明的具体实现中,f5为图像的高层语义特征,f2为图像的底层特征。
2.初始标注点指导
将通过用户的标注点数据生成的初始标注点图,与图像底层特征f2拼接,使用一个卷积组生成基于初始标注点的高层语义特征fs,将特征输入回主干分割网络;通过1×1卷积将该高层语义特征降维至单通道,使用使用基于初始标注点的损失函数进行约束监督;假设人工标注的参考图像为G,初始标注点为a,d(p,a)为点p到点a的距离,yp为p点对应的预测值,max(m,n)为取m和n的最大值;则该损失函数Lfirst如下:
Figure BDA0002364312090000051
3.两类特征融合预测
将全局标注点生成的高层特征f5和初始标注点生成的高层特征fs拼接,通过一个多尺度的空洞卷积模块,该模块由四个并行的空洞卷积组成,空洞卷积尺寸分别为1,4,8,12;将四层空洞卷积得到的结果拼接,卷积得到的尺寸与底层图像特征f2融合,最后由卷积得到最终的分割结果。
4.基于全局标注点损失函数监督
对于神经网络的预测图像,我们采用基于所有前景标注点和背景标注点的损失函数来进行监督,以期望得到更好的分割结果;假设人工标注的参考图像中的前景点为Gp,背景点为Gn,用户交互标注点中的前景点为
Ap,背景点为An
Figure BDA0002364312090000061
为点p到点集A的最小距离;则最终的损失函数为Lall=Lp+Ln,其中:
Figure BDA0002364312090000062
Figure BDA0002364312090000063
5.结构保持性策略处理物体预测图
对于最终的预测结果,我们采用结构保持性策略进行处理,如果预测图中某一前景像素,不存在一条八联通的通路到达任意一个前景标注点,则我们将其预测值置为背景像素;经过该处理后,预测结果中会减少一些错误区域的存在。
本发明的效果通过以下仿真实验进一步说明:
表1展示了本发明(FCANet)在GrabCut、Berkeley、DAVIS、MSCOCO和PASCAL_VOC数据集上与其他11个图像交互分割方法的对比实验;该实验选用平均交互点数(NoC)作为评测指标,其表示该数据上的每个实例达到指定交并比(IoU)所需要的平均交互点数;结果如下:
表1
Figure BDA0002364312090000071
可以看到本发明(FCANet)取得了最优的效果。
本实例没有详细说明的部分属于本领域公共所知的常识,这里不一一赘述。以上所具体采用的实施网络(ResNet-101等)仅仅用于对发明的举例说明,并不是对本发明的保护范围的限定,凡是和本发明相似或相同的设计均属于本发明的保护范围
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式,应当指出,由于文字表达的有限性,而客观上存在无限的具体结构,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进、润饰或变化,也可以将上述技术特征以适当的方式进行组合;这些改进润饰、变化或组合,或未经改进将发明的构思和技术方案直接应用于其它场合的,均应视为本发明的保护范围。

Claims (11)

1.一种基于初始标注点指导的图像交互分割方法,其特征在于:步骤如下;
S10全局标注点特征提取、S20初始标注点指导、S30两类特征融合预测、S40基于全局标注点损失函数监督、S50结构保持性策略处理物体预测图。
2.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法,其特征在于:所述S10全局标注点特征提取:使用所有的前景标注点和背景标注点作为输入信息,指导多层卷积神经网络提取输入图像特征。
3.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法,其特征在于:所述S20初始标注点指导:将初始标注点作为额外输入,与全局标注点分割的主干网络的低层次特征融合,提取目标物体主体信息,使用基于初始标注点的损失函数进行约束监督。
4.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法,其特征在于:所述S30两类特征融合预测:将全局标注点得到的特征和初始标注点得到的特征融合,通过多尺度卷积模块,并联合底层特征修正较高层级的分割图,以此得到最终的预测结果。
5.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法,其特征在于:所述S40基于全局标注点损失函数监督:使用基于用户所有标注点的损失函数来对预测结果图进行监督,通过目标物体分割图像与人工标注的参考图像的计算对应损失值,进行梯度回传、更新网络。
6.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法,其特征在于:所述S50结构保持性策略处理物体预测图:使用基于连通性的结构保持性策略对二值分割后的预测图像进行处理,消除与前景标注点不连通的许多错误区域。
7.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法,其特征在于:所述初始标注点信息为基于用户第一次点击生成的高斯点图。
8.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法,其特征在于:所述将主干分割网络的底层特征与初始标注点信息融合,经过卷积的特征再融入主干分割网络中。
9.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法,其特征在于:所述使用基于初始标注点的损失函数来监督初始标注点的指导分割支路网络。
10.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法,其特征在于:所述使用基于全局所有标注点的损失函数来监督神经网络的最终输出结果。
11.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法,其特征在于:所述使用特殊的基于连通性的结构保持性策略对二值分割后的预测图像进行处理。
CN202010031075.1A 2020-01-13 2020-01-13 一种基于初始标注点指导的图像交互分割方法 Pending CN111260659A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010031075.1A CN111260659A (zh) 2020-01-13 2020-01-13 一种基于初始标注点指导的图像交互分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010031075.1A CN111260659A (zh) 2020-01-13 2020-01-13 一种基于初始标注点指导的图像交互分割方法

Publications (1)

Publication Number Publication Date
CN111260659A true CN111260659A (zh) 2020-06-09

Family

ID=70945166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010031075.1A Pending CN111260659A (zh) 2020-01-13 2020-01-13 一种基于初始标注点指导的图像交互分割方法

Country Status (1)

Country Link
CN (1) CN111260659A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418205A (zh) * 2020-11-19 2021-02-26 上海交通大学 基于专注误分割区域的交互式图像分割方法和系统
CN114119976A (zh) * 2021-11-30 2022-03-01 广州文远知行科技有限公司 语义分割模型训练、语义分割的方法、装置及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609723A (zh) * 2012-02-08 2012-07-25 清华大学 一种基于图像分类的全自动视频分割方法及装置
CN102982544A (zh) * 2012-11-21 2013-03-20 清华大学 多前景目标图像交互式分割方法
US20180276815A1 (en) * 2017-03-27 2018-09-27 Siemens Healthcare Gmbh Highly Integrated Annotation and Segmentation System for Medical Imaging
CN109253722A (zh) * 2018-08-22 2019-01-22 顺丰科技有限公司 融合语义分割的单目测距系统、方法、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609723A (zh) * 2012-02-08 2012-07-25 清华大学 一种基于图像分类的全自动视频分割方法及装置
CN102982544A (zh) * 2012-11-21 2013-03-20 清华大学 多前景目标图像交互式分割方法
US20180276815A1 (en) * 2017-03-27 2018-09-27 Siemens Healthcare Gmbh Highly Integrated Annotation and Segmentation System for Medical Imaging
CN109253722A (zh) * 2018-08-22 2019-01-22 顺丰科技有限公司 融合语义分割的单目测距系统、方法、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418205A (zh) * 2020-11-19 2021-02-26 上海交通大学 基于专注误分割区域的交互式图像分割方法和系统
CN114119976A (zh) * 2021-11-30 2022-03-01 广州文远知行科技有限公司 语义分割模型训练、语义分割的方法、装置及相关设备
CN114119976B (zh) * 2021-11-30 2024-05-14 广州文远知行科技有限公司 语义分割模型训练、语义分割的方法、装置及相关设备

Similar Documents

Publication Publication Date Title
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN108629414B (zh) 深度哈希学习方法及装置
CN112528976B (zh) 文本检测模型的生成方法和文本检测方法
CN112183501B (zh) 深度伪造图像检测方法及装置
CN111709420A (zh) 文本检测方法、电子设备及计算机可读介质
CN108986101B (zh) 基于循环“抠图-分割”优化的人体图像分割方法
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112651940B (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
CN111932577B (zh) 文本检测方法、电子设备及计算机可读介质
CN113393370A (zh) 中国书法文字图像风格迁移的方法、系统、智能终端
CN114596566A (zh) 文本识别方法及相关装置
CN111260659A (zh) 一种基于初始标注点指导的图像交互分割方法
CN113139544A (zh) 一种基于多尺度特征动态融合的显著性目标检测方法
Al-Amaren et al. RHN: A residual holistic neural network for edge detection
CN110969641A (zh) 图像处理方法和装置
CN113313700B (zh) 一种基于深度学习的x射线图像交互式分割方法
CN117152438A (zh) 一种基于改进DeepLabV3+网络的轻量级街景图像语义分割方法
CN113361530A (zh) 使用交互手段的图像语义精准分割及优化方法
CN110929013A (zh) 一种基于bottom-up attention和定位信息融合的图片问答实现方法
CN112800259B (zh) 一种基于边缘闭合与共性检测的图像生成方法及系统
CN116469103A (zh) 一种医学图像分割数据自动标注的方法
CN113313108A (zh) 一种基于超大感受野特征优化的显著性目标检测方法
Hu et al. Mathematical formula detection in document images: A new dataset and a new approach
CN114463543A (zh) 基于级联决策和交互标注自提升的弱监督语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200609

WD01 Invention patent application deemed withdrawn after publication