CN113128513A - 一种基于目标分割的小样本训练方法 - Google Patents

一种基于目标分割的小样本训练方法 Download PDF

Info

Publication number
CN113128513A
CN113128513A CN202110464870.4A CN202110464870A CN113128513A CN 113128513 A CN113128513 A CN 113128513A CN 202110464870 A CN202110464870 A CN 202110464870A CN 113128513 A CN113128513 A CN 113128513A
Authority
CN
China
Prior art keywords
segmentation
target
pixel
small sample
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110464870.4A
Other languages
English (en)
Other versions
CN113128513B (zh
Inventor
张翔
钟升
匡乃亮
唐磊
范建平
罗迒哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Microelectronics Technology Institute
Northwestern University
Original Assignee
Xian Microelectronics Technology Institute
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Microelectronics Technology Institute, Northwestern University filed Critical Xian Microelectronics Technology Institute
Priority to CN202110464870.4A priority Critical patent/CN113128513B/zh
Publication of CN113128513A publication Critical patent/CN113128513A/zh
Application granted granted Critical
Publication of CN113128513B publication Critical patent/CN113128513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标分割的小样本训练方法，属于图像语义分割领域。本发明包括：一、进行小样本数据集的目标类的分割，生成初始像素级标签；二、在小样本数据集上迭代训练所述语义分割网络，生成精细的像素级标签；三、将分割结果作用于原始图像上，得到目标图像；四、将所述目标图像融到大量图像中，生成带有所述目标图像的新图像，进而生成大量带有像素级标签的新图像；五、使用大量带有像素级标签的新图像来训练语义分割网络，从而训练一个可信赖的语义分割网络。本发明解决了人工标注像素级语义标签的耗时耗力操作，能够实现目标的精细化分割，为图像分割、目标检测提供良好的标注数据。

Description

一种基于目标分割的小样本训练方法
技术领域
本发明属于图像语义分割领域，尤其是一种基于目标分割的小样本训练方法。
背景技术
图像语义分割是计算机视觉的一项任务，它分配给每个像素一个语义标签，即图像中每个像素都有一个标签，比如对于二值分割，分割出前景目标和背景两类，其中前景目标的标签是1，背景的标签是0。语义分割广泛应用在各个领域，包括：自动驾驶、影像诊断等领域。
图像语义分割方法主要分为两大类：强监督语义分割和弱监督语义分割。强监督语义分割需要人工标注大量的像素级语义标签，这一过程耗时耗力且标注的标签质量因人而异；弱监督方法不需要像素级的图像标签，而是使用较弱的标签比如bounding boxes、scribbles，有的仅仅使用图像级标签来实现图像语义分割。尽管弱监督语义分割能够减少对像素级标签的需求但是这类算法往往需要大量的训练图片，收集大量的相关类别的图像也是非常耗时的工作。
发明内容
本发明的目的在于能够解决强监督语义分割存在的标注大量像素级标签及弱监督语义分割需要大量训练图片的问题，提供一种基于目标分割的小样本训练方法。
为达到上述目的，本发明采用以下技术方案予以实现：
一种基于目标分割的小样本训练方法，包括以下步骤：
步骤1：采用迁移学习的方法在带有像素级的标签数据集中训练语义分割网络，将分割知识迁移到语义相似类中实现待分割的小样本数据集的目标类的分割，生成初始像素级标签；
步骤2：在小样本数据集上迭代训练所述语义分割网络，将训练好的模型作为语义分割网络来生成精细的像素级标签；
步骤3：将步骤2的分割结果作用于原始图像上，生成只有目标的区域，得到目标图像；
步骤4：将所述目标图像融到大量图像中，生成带有所述目标图像的新图像，进而生成大量带有像素级标签的新图像；
步骤5：使用所述大量带有像素级标签的新图像来训练语义分割网络，从而训练一个可信赖的语义分割网络。
进一步的，步骤1中带有像素级的标签数据集包括PASCAL VOC、COCO及BSD语义分割数据集。
进一步的，步骤1中语义分割网络为DeepLabv3语义分割网络。
进一步的，步骤2中在小样本数据集上迭代训练所述语义分割网络，具体为：
步骤2-1、利用步骤1)训练得到的语义分割网络在小样本数据集上进行分割得到目标图像的粗标签；
步骤2-2、采用指导滤波细化分割结果；
步骤2-3、计算分割区域的面积，将所述分割区域的面积与整个图像的面积相比，得到比值；
若比值大于MAX或者小于MIN，则过滤掉分割结果；
步骤2-4、迭代步骤2-2～步骤2-3，步骤2-2的每次输入是上一次过滤掉的标签和原始图像，迭代到Mean Intersection over Union不再增长为止，将此时对应的模型作为分割模型，来生成精细化的分割结果。
进一步的，步骤2-2中采用指导滤波细化分割结果，具体为：
将原始图像和粗粒度标签输入到指导滤波中，指导滤波将原始图像的结构和边缘细节迁移到粗粒度标签中，从而得到细化的分割结果。
进一步的，所述指导滤波输出公式如下：
Figure BDA0003043372000000031
其中，wij是权重，取决于图像I，i和j表示像素索引；φ为粗粒度标签。
进一步的，步骤2-3中通过目标和图像的关系来确定MAX和MIN。
进一步的，MAX为0.9，MIN为0.1。
进一步的，步骤1中采用OTSU算法从图像中生成目标的初始像素级标签。
与现有技术相比，本发明具有以下有益效果：
本发明的基于目标分割的小样本训练方法，能够生成大规模带有像素级标签的训练图像用于图像语义分割任务，生成的分割结果可以媲美手工标注的像素级分割标签。本发明解决了人工标注像素级语义标签的耗时耗力操作，能够实现目标的精细化分割，为图像分割、目标检测提供良好的标注数据。
进一步的，使用传统的指导滤波方法融合原始图像的细节信息，从而进一步细化分割目标。
附图说明
图1为实施例的分割图，其中图1(a)-图1(f)为原图，图1(a`)-图1(f`)为对应的分割图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述：
步骤1、生成初始像素级标签
对于待分割的目标类，在公开的带有像素级的标签数据集中找所述目标类的语义相似类；
在公开的带有像素级标签的数据集中且没有语义相似类，采用OTSU算法从简单图像中生成目标的像素级标签；
采用DeepLabv3语义分割网络在带有像素级的标签数据集上训练语义分割网络；使用迁移学习的方法从带有像素级的标签数据集中训练语义分割网络，并将迁移知识迁移到语义相似类中实现这些类的分割。
带有像素级的标签数据集如PASCAL VOC,COCO，BSD等公开的语义分割数据集，这些数据集包含了现实生活着最常用的类的目标，与这些目标语义相似的类成千上万，这些类和相似类包含了现实生活中70％-80％的目标。
步骤2、在小样本数据集上迭代训练语义分割网络，生成精细的像素级标签；
步骤2-1、利用步骤1)生成的DeepLabv3+语义分割网络在小样本数据集上进行分割得到目标图像的粗标签；
步骤2-2、采用指导滤波进一步细化分割结果，通过指导滤波能够有效的分割图像的边缘细节
指导滤波网络有两个输入：(a)原始彩色图像；(b)粗粒度标签，指导滤波网络输出公式如下：
Figure BDA0003043372000000051
其中，wij是权重，取决于图像I；
步骤2-3、计算分割区域的面积，将其与整个图像的面积相比，若比值大于0.9，则过滤掉，因为目标一般不会占整个图像；若比值小于0.1也过滤掉，因为目标过小；
这两个阈值与目标本身有关，通过目标和图像的关系来确定这两个阈值；
步骤2-4、迭代步骤2-2～步骤2-3，每次输入是上一次过滤掉的标签和原始图像，迭代到mIoU不在增长时为止，选取mIoU最好的模型作为分割模型，来生成最终的精细化的分割结果。
步骤4、将步骤3中的目标图像融到大量图像中，得到带有目标图像的新图像，经过这一过程能从小样本中生成大量的带有像素级标签的图像；
步骤5、使用步骤4的大量带有像素级标签的图像来训练语义分割网络。
参见图1，图1(a)-图1(f)为原图，图1(a`)-图1(f`)为对应的分割图，从得到的分割结果可以看出，提出的方法能够自动生成像素级标签，生成像素级标签可以媲美手工标注的像素级分割标签。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于目标分割的小样本训练方法，其特征在于，包括以下步骤：
步骤1：采用迁移学习的方法在带有像素级的标签数据集中训练语义分割网络，将分割知识迁移到语义相似类中实现待分割的小样本数据集的目标类的分割，生成初始像素级标签；
步骤2：在小样本数据集上迭代训练所述语义分割网络，将最终训练好的模型作为语义分割网络来生成精细的像素级标签；
步骤3：将步骤2的分割结果作用于原始图像上，生成只有目标的区域，得到目标图像；
步骤4：将所述目标图像融到大量图像中，生成带有所述目标图像的新图像，进而生成大量带有像素级标签的新图像；
步骤5：使用所述大量带有像素级标签的新图像来训练语义分割网络，从而训练一个可信赖的语义分割网络。
2.根据权利要求1所述的基于目标分割的小样本训练方法，其特征在于，步骤1中带有像素级的标签数据集包括PASCAL VOC、COCO及BSD语义分割数据集。
3.根据权利要求1所述的基于目标分割的小样本训练方法，其特征在于，步骤1中语义分割网络为DeepLabv3语义分割网络。
4.根据权利要求1所述的基于目标分割的小样本训练方法，其特征在于，步骤2中在小样本数据集上迭代训练所述语义分割网络，具体为：
步骤2-1、利用步骤1)训练得到的语义分割网络在小样本数据集上进行分割得到目标图像的粗标签；
步骤2-2、采用指导滤波细化分割结果；
步骤2-3、计算分割区域的面积，将所述分割区域的面积与整个图像的面积相比，得到比值；
若比值大于MAX或者小于MIN，则过滤掉分割结果；
步骤2-4、迭代步骤2-2～步骤2-3，步骤2-2的每次输入是上一次过滤掉的标签和原始图像，迭代到Mean Intersection over Union不再增长为止，将此时对应的模型作为分割模型，来生成精细化的分割结果。
5.根据权利要求4所述的基于目标分割的小样本训练方法，其特征在于，步骤2-2中采用指导滤波细化分割结果，具体为：
将原始图像和粗粒度标签输入到指导滤波中，指导滤波将原始图像的结构和边缘细节迁移到粗粒度标签中，从而得到细化的分割结果。
6.根据权利要求5所述的基于目标分割的小样本训练方法，其特征在于，所述指导滤波输出公式如下：
Figure FDA0003043371990000021
其中，wij是权重，取决于图像I，i和j表示像素索引；φ为粗粒度标签。
7.根据权利要求4所述的基于目标分割的小样本训练方法，其特征在于，步骤2-3中通过目标和图像的关系来确定MAX和MIN。
8.根据权利要求7所述的基于目标分割的小样本训练方法，其特征在于，MAX为0.9，MIN为0.1。
9.根据权利要求1所述的基于目标分割的小样本训练方法，其特征在于，步骤1中采用OTSU算法从图像中生成目标的初始像素级标签。
CN202110464870.4A 2021-04-28 2021-04-28 一种基于目标分割的小样本训练方法 Active CN113128513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110464870.4A CN113128513B (zh) 2021-04-28 2021-04-28 一种基于目标分割的小样本训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110464870.4A CN113128513B (zh) 2021-04-28 2021-04-28 一种基于目标分割的小样本训练方法

Publications (2)

Publication Number Publication Date
CN113128513A true CN113128513A (zh) 2021-07-16
CN113128513B CN113128513B (zh) 2023-07-07

Family

ID=76781171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110464870.4A Active CN113128513B (zh) 2021-04-28 2021-04-28 一种基于目标分割的小样本训练方法

Country Status (1)

Country Link
CN (1) CN113128513B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087303A (zh) * 2018-08-15 2018-12-25 中山大学 基于迁移学习提升语义分割模型效果的框架
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN111079901A (zh) * 2019-12-19 2020-04-28 南开大学 基于小样本学习的急性脑卒中病变分割方法
US20200134446A1 (en) * 2018-10-31 2020-04-30 General Electric Company Scalable artificial intelligence model generation systems and methods for healthcare
CN111462126A (zh) * 2020-04-08 2020-07-28 武汉大学 一种基于边缘增强的语义图像分割方法及系统
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法
CN112686912A (zh) * 2021-01-05 2021-04-20 南开大学 基于逐步学习和混合样本的急性脑卒中病变分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN109087303A (zh) * 2018-08-15 2018-12-25 中山大学 基于迁移学习提升语义分割模型效果的框架
US20200134446A1 (en) * 2018-10-31 2020-04-30 General Electric Company Scalable artificial intelligence model generation systems and methods for healthcare
CN111079901A (zh) * 2019-12-19 2020-04-28 南开大学 基于小样本学习的急性脑卒中病变分割方法
CN111462126A (zh) * 2020-04-08 2020-07-28 武汉大学 一种基于边缘增强的语义图像分割方法及系统
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法
CN112686912A (zh) * 2021-01-05 2021-04-20 南开大学 基于逐步学习和混合样本的急性脑卒中病变分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIWOON AHN等: "Learning Pixel-Level Semantic Affinity With Image-Level Supervision for Weakly Supervised Semantic Segmentation", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 4981 - 4990 *
PAN B等: "MugNet: Deep learning for hyperspectral image classification using limited samples", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》, pages 108 - 119 *
杨咚咚: "基于人工免疫系统的多目标优化与SAR图像分割", 《中国博士学位论文全文数据库 (信息科技辑)》, no. 4, pages 140 - 7 *
王胜漪: "光学遥感图像语义分割与目标提取算法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, no. 3, pages 028 - 131 *

Also Published As

Publication number Publication date
CN113128513B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
He et al. Multi-scale multi-task fcn for semantic page segmentation and table detection
CN110909820B (zh) 基于自监督学习的图像分类方法及系统
CN104217225B (zh) 一种视觉目标检测与标注方法
CN112966691B (zh) 基于语义分割的多尺度文本检测方法、装置及电子设备
CN109711448A (zh) 基于判别关键域和深度学习的植物图像细粒度分类方法
CN110210468B (zh) 一种基于卷积神经网络特征融合迁移的文字识别方法
CN107527054B (zh) 基于多视角融合的前景自动提取方法
Schoening et al. Fully automated image segmentation for benthic resource assessment of poly-metallic nodules
CN111860193B (zh) 一种基于文本的行人检索自监督视觉表示学习系统及方法
CN109753962B (zh) 基于混合网络的自然场景图像中文本区域的处理方法
Hossain et al. Recognition and solution for handwritten equation using convolutional neural network
CN109460735A (zh) 基于图半监督学习的文档二值化处理方法、系统、装置
CN111462162B (zh) 一种特定类别图片的前景分割算法
Afakh et al. Aksara jawa text detection in scene images using convolutional neural network
CN106127817A (zh) 一种基于通道的图像二值化方法
CN116071389A (zh) 一种基于前背景匹配的边界框弱监督图像分割方法
CN108733749A (zh) 一种基于草图的图像检索方法
CN117437647B (zh) 基于深度学习和计算机视觉的甲骨文字检测方法
Wang et al. MRF based text binarization in complex images using stroke feature
CN112750128B (zh) 图像语义分割方法、装置、终端及可读存储介质
CN113128513B (zh) 一种基于目标分割的小样本训练方法
Zhang et al. A novel approach for binarization of overlay text
Peng et al. Overlapped text segmentation using markov random field and aggregation
CN114359493B (zh) 一种用于无人船生成三维语义地图的方法和系统
US11615618B2 (en) Automatic image annotations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant