CN113128513B - 一种基于目标分割的小样本训练方法 - Google Patents

一种基于目标分割的小样本训练方法 Download PDF

Info

Publication number
CN113128513B
CN113128513B CN202110464870.4A CN202110464870A CN113128513B CN 113128513 B CN113128513 B CN 113128513B CN 202110464870 A CN202110464870 A CN 202110464870A CN 113128513 B CN113128513 B CN 113128513B
Authority
CN
China
Prior art keywords
segmentation
image
small sample
target
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110464870.4A
Other languages
English (en)
Other versions
CN113128513A (zh
Inventor
张翔
钟升
匡乃亮
唐磊
范建平
罗迒哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Xian Microelectronics Technology Institute
Original Assignee
NORTHWEST UNIVERSITY
Xian Microelectronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY, Xian Microelectronics Technology Institute filed Critical NORTHWEST UNIVERSITY
Priority to CN202110464870.4A priority Critical patent/CN113128513B/zh
Publication of CN113128513A publication Critical patent/CN113128513A/zh
Application granted granted Critical
Publication of CN113128513B publication Critical patent/CN113128513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标分割的小样本训练方法，属于图像语义分割领域。本发明包括：一、进行小样本数据集的目标类的分割，生成初始像素级标签；二、在小样本数据集上迭代训练所述语义分割网络，生成精细的像素级标签；三、将分割结果作用于原始图像上，得到目标图像；四、将所述目标图像融到大量图像中，生成带有所述目标图像的新图像，进而生成大量带有像素级标签的新图像；五、使用大量带有像素级标签的新图像来训练语义分割网络，从而训练一个可信赖的语义分割网络。本发明解决了人工标注像素级语义标签的耗时耗力操作，能够实现目标的精细化分割，为图像分割、目标检测提供良好的标注数据。

Description

一种基于目标分割的小样本训练方法
技术领域
本发明属于图像语义分割领域，尤其是一种基于目标分割的小样本训练方法。
背景技术
图像语义分割是计算机视觉的一项任务，它分配给每个像素一个语义标签，即图像中每个像素都有一个标签，比如对于二值分割，分割出前景目标和背景两类，其中前景目标的标签是1，背景的标签是0。语义分割广泛应用在各个领域，包括：自动驾驶、影像诊断等领域。
图像语义分割方法主要分为两大类：强监督语义分割和弱监督语义分割。强监督语义分割需要人工标注大量的像素级语义标签，这一过程耗时耗力且标注的标签质量因人而异；弱监督方法不需要像素级的图像标签，而是使用较弱的标签比如bounding boxes、scribbles，有的仅仅使用图像级标签来实现图像语义分割。尽管弱监督语义分割能够减少对像素级标签的需求但是这类算法往往需要大量的训练图片，收集大量的相关类别的图像也是非常耗时的工作。
发明内容
本发明的目的在于能够解决强监督语义分割存在的标注大量像素级标签及弱监督语义分割需要大量训练图片的问题，提供一种基于目标分割的小样本训练方法。
为达到上述目的，本发明采用以下技术方案予以实现：
一种基于目标分割的小样本训练方法，包括以下步骤：
步骤1：采用迁移学习的方法在带有像素级的标签数据集中训练语义分割网络，将分割知识迁移到语义相似类中实现待分割的小样本数据集的目标类的分割，生成初始像素级标签；
步骤2：在小样本数据集上迭代训练所述语义分割网络，将训练好的模型作为语义分割网络来生成精细的像素级标签；
步骤3：将步骤2的分割结果作用于原始图像上，生成只有目标的区域，得到目标图像；
步骤4：将所述目标图像融到大量图像中，生成带有所述目标图像的新图像，进而生成大量带有像素级标签的新图像；
步骤5：使用所述大量带有像素级标签的新图像来训练语义分割网络，从而训练一个可信赖的语义分割网络。
进一步的，步骤1中带有像素级的标签数据集包括PASCAL VOC、COCO及BSD语义分割数据集。
进一步的，步骤1中语义分割网络为DeepLabv3语义分割网络。
进一步的，步骤2中在小样本数据集上迭代训练所述语义分割网络，具体为：
步骤2-1、利用步骤1)训练得到的语义分割网络在小样本数据集上进行分割得到目标图像的粗标签；
步骤2-2、采用指导滤波细化分割结果；
步骤2-3、计算分割区域的面积，将所述分割区域的面积与整个图像的面积相比，得到比值；
若比值大于MAX或者小于MIN，则过滤掉分割结果；
步骤2-4、迭代步骤2-2～步骤2-3，步骤2-2的每次输入是上一次过滤掉的标签和原始图像，迭代到Mean Intersection over Union不再增长为止，将此时对应的模型作为分割模型，来生成精细化的分割结果。
进一步的，步骤2-2中采用指导滤波细化分割结果，具体为：
将原始图像和粗粒度标签输入到指导滤波中，指导滤波将原始图像的结构和边缘细节迁移到粗粒度标签中，从而得到细化的分割结果。
进一步的，所述指导滤波输出公式如下：
Figure BDA0003043372000000031
其中，wij是权重，取决于图像I，i和j表示像素索引；φ为粗粒度标签。
进一步的，步骤2-3中通过目标和图像的关系来确定MAX和MIN。
进一步的，MAX为0.9，MIN为0.1。
进一步的，步骤1中采用OTSU算法从图像中生成目标的初始像素级标签。
与现有技术相比，本发明具有以下有益效果：
本发明的基于目标分割的小样本训练方法，能够生成大规模带有像素级标签的训练图像用于图像语义分割任务，生成的分割结果可以媲美手工标注的像素级分割标签。本发明解决了人工标注像素级语义标签的耗时耗力操作，能够实现目标的精细化分割，为图像分割、目标检测提供良好的标注数据。
进一步的，使用传统的指导滤波方法融合原始图像的细节信息，从而进一步细化分割目标。
附图说明
图1为实施例的分割图，其中图1(a)-图1(f)为原图，图1(a`)-图1(f`)为对应的分割图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述：
步骤1、生成初始像素级标签
对于待分割的目标类，在公开的带有像素级的标签数据集中找所述目标类的语义相似类；
在公开的带有像素级标签的数据集中且没有语义相似类，采用OTSU算法从简单图像中生成目标的像素级标签；
采用DeepLabv3语义分割网络在带有像素级的标签数据集上训练语义分割网络；使用迁移学习的方法从带有像素级的标签数据集中训练语义分割网络，并将迁移知识迁移到语义相似类中实现这些类的分割。
带有像素级的标签数据集如PASCAL VOC,COCO，BSD等公开的语义分割数据集，这些数据集包含了现实生活着最常用的类的目标，与这些目标语义相似的类成千上万，这些类和相似类包含了现实生活中70％-80％的目标。
步骤2、在小样本数据集上迭代训练语义分割网络，生成精细的像素级标签；
步骤2-1、利用步骤1)生成的DeepLabv3+语义分割网络在小样本数据集上进行分割得到目标图像的粗标签；
步骤2-2、采用指导滤波进一步细化分割结果，通过指导滤波能够有效的分割图像的边缘细节
指导滤波网络有两个输入：(a)原始彩色图像；(b)粗粒度标签，指导滤波网络输出公式如下：
Figure BDA0003043372000000051
其中，wij是权重，取决于图像I；
步骤2-3、计算分割区域的面积，将其与整个图像的面积相比，若比值大于0.9，则过滤掉，因为目标一般不会占整个图像；若比值小于0.1也过滤掉，因为目标过小；
这两个阈值与目标本身有关，通过目标和图像的关系来确定这两个阈值；
步骤2-4、迭代步骤2-2～步骤2-3，每次输入是上一次过滤掉的标签和原始图像，迭代到mIoU不在增长时为止，选取mIoU最好的模型作为分割模型，来生成最终的精细化的分割结果。
步骤4、将步骤3中的目标图像融到大量图像中，得到带有目标图像的新图像，经过这一过程能从小样本中生成大量的带有像素级标签的图像；
步骤5、使用步骤4的大量带有像素级标签的图像来训练语义分割网络。
参见图1，图1(a)-图1(f)为原图，图1(a`)-图1(f`)为对应的分割图，从得到的分割结果可以看出，提出的方法能够自动生成像素级标签，生成像素级标签可以媲美手工标注的像素级分割标签。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (8)

1.一种基于目标分割的小样本训练方法，其特征在于，包括以下步骤：
步骤1：采用迁移学习的方法在带有像素级的标签数据集中训练语义分割网络，将分割知识迁移到语义相似类中实现待分割的小样本数据集的目标类的分割，生成初始像素级标签；
步骤2：在小样本数据集上迭代训练所述语义分割网络，将最终训练好的模型作为语义分割网络来生成精细的像素级标签；
步骤2中在小样本数据集上迭代训练所述语义分割网络，具体为：
步骤2-1、利用步骤1)训练得到的语义分割网络在小样本数据集上进行分割得到目标图像的粗标签；
步骤2-2、采用指导滤波细化分割结果；
步骤2-3、计算分割区域的面积，将所述分割区域的面积与整个图像的面积相比，得到比值；
若比值大于MAX或者小于MIN，则过滤掉分割结果；
步骤2-4、迭代步骤2-2～步骤2-3，步骤2-2的每次输入是上一次过滤掉的标签和原始图像，迭代到Mean Intersection over Union不再增长为止，将此时对应的模型作为分割模型，来生成精细化的分割结果；
步骤3：将步骤2的分割结果作用于原始图像上，生成只有目标的区域，得到目标图像；
步骤4：将所述目标图像融到大量图像中，生成带有所述目标图像的新图像，进而生成大量带有像素级标签的新图像；
步骤5：使用所述大量带有像素级标签的新图像来训练语义分割网络，从而训练一个可信赖的语义分割网络。
2.根据权利要求1所述的基于目标分割的小样本训练方法，其特征在于，步骤1中带有像素级的标签数据集包括PASCAL VOC、COCO及BSD语义分割数据集。
3.根据权利要求1所述的基于目标分割的小样本训练方法，其特征在于，步骤1中语义分割网络为DeepLabv3语义分割网络。
4.根据权利要求1所述的基于目标分割的小样本训练方法，其特征在于，步骤2-2中采用指导滤波细化分割结果，具体为：
将原始图像和粗粒度标签输入到指导滤波中，指导滤波将原始图像的结构和边缘细节迁移到粗粒度标签中，从而得到细化的分割结果。
5.根据权利要求4所述的基于目标分割的小样本训练方法，其特征在于，所述指导滤波输出公式如下：
Figure FDA0004253904930000021
其中，wij是权重，取决于图像I，i和j表示像素索引；φ为粗粒度标签。
6.根据权利要求1所述的基于目标分割的小样本训练方法，其特征在于，步骤2-3中通过目标和图像的关系来确定MAX和MIN。
7.根据权利要求6所述的基于目标分割的小样本训练方法，其特征在于，MAX为0.9，MIN为0.1。
8.根据权利要求1所述的基于目标分割的小样本训练方法，其特征在于，步骤1中采用OTSU算法从图像中生成目标的初始像素级标签。
CN202110464870.4A 2021-04-28 2021-04-28 一种基于目标分割的小样本训练方法 Active CN113128513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110464870.4A CN113128513B (zh) 2021-04-28 2021-04-28 一种基于目标分割的小样本训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110464870.4A CN113128513B (zh) 2021-04-28 2021-04-28 一种基于目标分割的小样本训练方法

Publications (2)

Publication Number Publication Date
CN113128513A CN113128513A (zh) 2021-07-16
CN113128513B true CN113128513B (zh) 2023-07-07

Family

ID=76781171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110464870.4A Active CN113128513B (zh) 2021-04-28 2021-04-28 一种基于目标分割的小样本训练方法

Country Status (1)

Country Link
CN (1) CN113128513B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087303A (zh) * 2018-08-15 2018-12-25 中山大学 基于迁移学习提升语义分割模型效果的框架
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN111079901A (zh) * 2019-12-19 2020-04-28 南开大学 基于小样本学习的急性脑卒中病变分割方法
CN111462126A (zh) * 2020-04-08 2020-07-28 武汉大学 一种基于边缘增强的语义图像分割方法及系统
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法
CN112686912A (zh) * 2021-01-05 2021-04-20 南开大学 基于逐步学习和混合样本的急性脑卒中病变分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11507822B2 (en) * 2018-10-31 2022-11-22 General Electric Company Scalable artificial intelligence model generation systems and methods for healthcare

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN109087303A (zh) * 2018-08-15 2018-12-25 中山大学 基于迁移学习提升语义分割模型效果的框架
CN111079901A (zh) * 2019-12-19 2020-04-28 南开大学 基于小样本学习的急性脑卒中病变分割方法
CN111462126A (zh) * 2020-04-08 2020-07-28 武汉大学 一种基于边缘增强的语义图像分割方法及系统
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法
CN112686912A (zh) * 2021-01-05 2021-04-20 南开大学 基于逐步学习和混合样本的急性脑卒中病变分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Learning Pixel-Level Semantic Affinity With Image-Level Supervision for Weakly Supervised Semantic Segmentation;Jiwoon Ahn等;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;4981-4990 *
MugNet: Deep learning for hyperspectral image classification using limited samples;Pan B等;《ISPRS Journal of Photogrammetry and Remote Sensing》;108-119 *
光学遥感图像语义分割与目标提取算法研究;王胜漪;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》(第3期);C028-131 *
基于人工免疫系统的多目标优化与SAR图像分割;杨咚咚;《中国博士学位论文全文数据库 (信息科技辑)》(第4期);I140-7 *

Also Published As

Publication number Publication date
CN113128513A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN110796046B (zh) 基于卷积神经网络的智能钢渣检测方法和系统
He et al. Multi-scale multi-task fcn for semantic page segmentation and table detection
CN110909820B (zh) 基于自监督学习的图像分类方法及系统
CN109741332B (zh) 一种人机协同的图像分割与标注方法
CN104217225B (zh) 一种视觉目标检测与标注方法
CN112966691B (zh) 基于语义分割的多尺度文本检测方法、装置及电子设备
CN109711448A (zh) 基于判别关键域和深度学习的植物图像细粒度分类方法
CN111126115A (zh) 暴力分拣行为识别方法和装置
CN106650804B (zh) 一种基于深度学习特征的人脸样本清洗方法及系统
CN109460735A (zh) 基于图半监督学习的文档二值化处理方法、系统、装置
CN112819065A (zh) 基于多重聚类信息的无监督行人难样本挖掘方法和系统
CN108664968B (zh) 一种基于文本选取模型的无监督文本定位方法
CN113128513B (zh) 一种基于目标分割的小样本训练方法
CN112750128B (zh) 图像语义分割方法、装置、终端及可读存储介质
Peng et al. Overlapped text segmentation using markov random field and aggregation
US11615618B2 (en) Automatic image annotations
CN114595786A (zh) 一种基于弱监督位置定位的注意力细粒度分类方法
CN114359493A (zh) 一种用于无人船生成三维语义地图的方法和系统
Kromp et al. Machine learning framework incorporating expert knowledge in tissue image annotation
Das et al. Object Detection on Scene Images: A Novel Approach
CN112241954A (zh) 基于肿块差异化分类的全视野自适应分割网络配置方法
Bogomasov et al. A two-staged Approach for Localization and Classification of Coral Reef Structures and Compositions.
Ma et al. Research on image segmentation of digital rubbings based on OTSU threshold & genetic algorithm
Yao et al. Adaptive ensemble clustering for image segmentation in remote sensing
Sebastian et al. Bootstrapped CNNs for building segmentation on RGB-D aerial imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant