CN113269784A - 一种用于小样本的前景分割方法 - Google Patents
一种用于小样本的前景分割方法 Download PDFInfo
- Publication number
- CN113269784A CN113269784A CN202110495759.1A CN202110495759A CN113269784A CN 113269784 A CN113269784 A CN 113269784A CN 202110495759 A CN202110495759 A CN 202110495759A CN 113269784 A CN113269784 A CN 113269784A
- Authority
- CN
- China
- Prior art keywords
- enhancement
- masks
- pictures
- affine transformation
- strong
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 28
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于小样本的前景分割方法，包括以下步骤：步骤一，准备增强图片；步骤二，有标签图片增强；步骤三，无标签图片增强；步骤四，迭代训练神经网络；所述步骤三中，弱增强操作为仿射变换操作；强增强操作为在仿射变换的基础上增加颜色抖动、灰度化操作；该发明能在只提供少量有标签图片的情况下，让模型的性能接近使用全部有标签图片时的性能，从而大大减少传统算法所带来的标注成本；且该发明可以从网络上获取大量包含特定类别物体的图片，仅对少量图片进行标注，从而充分利用数据量的优势训练出一个泛化能力很强的分割算法；因此该发明不仅代价低廉，通用性强还能充分发挥海量数据的价值。
Description
技术领域
本发明涉及图像处理算法技术领域，具体为一种用于小样本的前景分割 方法。
背景技术
随着深度学习的发展，传统图像处理算法正被取代，基于神经网络的前 景物体分割算法在不同数据集上都取得了很大的进展，但是这些模型在训练 过程中依赖于大量的像素级标注信息，因为分割任务需要对图像上的每一个 像素都进行标注，所以这些标注的获取成本很高；而且，在医学领域，图像 的标注还需要医学方面的专业知识，使得传统算法大多需要面对标注成本问 题；目前业界采用的基于有监督的分割算法需要对图片进行像素级别的标注， 获得这些标注的代价十分高昂；而近些年用于解决这一问题的弱监督分割算 法，通过数据集提供的弱标注来减少像素级标签的使用，这类方法在一些较 大型的分割数据集上能够获得较好的实验效果，然而在医学领域，通常并不 会提供这类标签，不利于这类方法广泛应用；因此，现阶段发明出一种用于 小样本的前景分割方法是非常有必要的。
发明内容
本发明的目的在于提供一种用于小样本的前景分割方法及安装方法，以 解决上述背景技术中提出成本较高、需要较多像素级标签以及不利于广泛应 用的问题。
为实现上述目的，本发明提供如下技术方案：一种用于小样本的前景分 割方法，包括以下步骤：步骤一，准备增强图片；步骤二，有标签图片增强； 步骤三，无标签图片增强；步骤四，迭代训练神经网络；
其中在上述步骤一中，根据实际情况选择数据收集方式，将所有图片统 一为w*h的大小；
其中在上述步骤二中，对于有标签样本，使用仿射变换对图像进行弱增 强，得到1张大小为w*h的增强图片作为学生分割网络的输入，得到前景掩 膜，使用真实标签与前景掩膜来计算交叉熵损失函数；
其中在上述步骤三中，首先，对无标签图片分别施加强增强操作和弱增 强操作，在每个分支内分别施加k组变换操作，随后将强增强分支的图片送 入学生分割网络得到对应的k个强增强掩膜；然后，将弱增强分支的图片送 入教师分割网络得到k个弱增强掩膜，对k个分支的弱增强掩膜分别施加相 应的逆向仿射变换操作来得到k个掩膜，随后对k个掩膜使用平均操作进行 融合，对融合得到的掩膜施加锐化操作，对锐化后的掩膜使用强增强分支的k 组仿射变换操作来得到k个分支的掩膜；最后，使用强增强分支得到的k个 掩膜和弱增强分支得到的k个掩膜来计算MSE损失函数；
其中在上述步骤四中，重复步骤二和步骤三，基于一致性正则迭代训练 神经网络来提升模型泛化性能。
优选的，所述步骤一中，通过裁剪或缩放的形式将图片统一为w*h的大 小。
优选的，所述步骤二中，仿射变换为放缩变换、旋转变换和位移变换。
优选的，所述步骤三中，弱增强操作为仿射变换操作；强增强操作为在 仿射变换的基础上增加颜色抖动、灰度化操作。
优选的，所述步骤四中，一致性正则为对一张输入图片以不同的方式多 次施加微小的扰动，由于输入图片被施加的扰动很微小，模型对图片所得到 分类标签保持一致。
与现有技术相比，本发明的有益效果是：该发明安全、可靠，本发明能 在只提供少量有标签图片的情况下，让模型的性能接近使用全部有标签图片 时的性能，从而大大减少传统算法所带来的标注成本；且该发明可以从网络 上获取大量包含特定类别物体的图片，仅对少量图片进行标注，从而充分利 用数据量的优势训练出一个泛化能力很强的分割算法；因此该发明不仅代价 低廉，通用性强还能充分发挥海量数据的价值，便于推广使用。
附图说明
图1为本发明的训练方法流程图；
图2为本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供的一种实施例：一种用于小样本的前景分割方 法，包括以下步骤：步骤一，准备增强图片；步骤二，有标签图片增强；步 骤三，无标签图片增强；步骤四，迭代训练神经网络；
其中在上述步骤一中，根据实际情况选择数据收集方式，对于所有图片 采用裁剪或缩放的形式将图片统一为w*h的大小；
其中在上述步骤二中，对于有标签样本，使用仿射变换对图像进行弱增 强，得到1张大小为w*h的增强图片作为学生分割网络的输入，得到前景掩 膜，使用真实标签与前景掩膜来计算交叉熵损失函数；
其中在上述步骤三中，首先，对无标签图片分别施加强增强操作和弱增 强操作，弱增强操作为仿射变换操作；强增强操作为在仿射变换的基础上增 加颜色抖动、灰度化操作，在每个分支内分别施加k组变换操作，随后将强 增强分支的图片送入学生分割网络得到对应的k个强增强掩膜；然后，将弱 增强分支的图片送入教师分割网络得到k个弱增强掩膜，对k个分支的弱增 强掩膜分别施加相应的逆向仿射变换操作来得到k个掩膜，随后对k个掩膜 使用平均操作进行融合，对融合得到的掩膜施加锐化操作，对锐化后的掩膜 使用强增强分支的k组仿射变换操作来得到k个分支的掩膜；最后，使用强 增强分支得到的k个掩膜和弱增强分支得到的k个掩膜来计算MSE损失函数；
其中在上述步骤四中，重复步骤二和步骤三，基于一致性正则迭代训练 神经网络来提升模型泛化性能，一致性正则为对一张输入图片以不同的方式 多次施加微小的扰动，由于输入图片被施加的扰动很微小，模型对图片所得 到分类标签保持一致。
基于上述，本发明的优点在于，该发明采用的前景分割方法基于数据增 强来构建一致性正则，以此对网络进行约束来避免过拟合；对于特定的数据 集，整个算法在训练过程中只需要少量的像素级别标签就能实现接近使用全 部标签的有监督模型的性能；该算法通过数据增强来进行训练，因此不需要 除少量像素级标签之外的弱标注信息来提供先验信息；可以对一张输入图片 以不同的方式多次施加微小的扰动，因为输入图片被施加的扰动很微小，所 以，其分类标签保持不变；例如，对于一张输入图片，如果初始对其施加顺时针90°旋转操作，经过分割网络输出掩膜再对分割掩膜施加逆时针90°旋 转操作，将此时所得到的掩膜作为第一个分支的结果；如果初始对输入图片 施加逆时针90°旋转操作，经过分割网络输出掩膜再对掩膜施加顺时针90° 旋转，将此时所得到的掩膜作为第二个分支的结果；这两个分支的分割掩膜 是完全相同的，但因为数据量太少时，模型可能会出现过拟合的情况，因此， 分割网络所输出的k个掩膜中若干分支的准确度可能相对较差，也就是k 个分割掩膜之间出现了不一致的情况；为此，该发明使用平均操作和锐化操 作融合多个分支的掩膜来构造准确度更高的结果，将其作为无标签图片的标 签来对模型施加一致性正则约束；通过一致性正则来有效利用大量的无标签 图片，并通过构建k个分支的图片来让模型学习一张图片的不同视角；这样 可以让网络学习到更多样的数据分布；另外由于该发明使用的方法不需要其 他形式的标注，因此可以从网络上获取大量包含特定类别物体的图片，仅对 少量图片进行标注，从而充分利用数据量的优势训练出一个泛化能力很强的分割算法；因此不仅代价低廉，通用性强还能充分发挥海量数据的价值。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节， 而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实 现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且 是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨 在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。 不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (5)
1.一种用于小样本的前景分割方法，包括以下步骤：步骤一，准备增强图片；步骤二，有标签图片增强；步骤三，无标签图片增强；步骤四，迭代训练神经网络；其特征在于：
其中在上述步骤一中，根据实际情况选择数据收集方式，将所有图片统一为w*h的大小；
其中在上述步骤二中，对于有标签样本，使用仿射变换对图像进行弱增强，得到1张大小为w*h的增强图片作为学生分割网络的输入，得到前景掩膜，使用真实标签与前景掩膜来计算交叉熵损失函数；
其中在上述步骤三中，首先，对无标签图片分别施加强增强操作和弱增强操作，在每个分支内分别施加k组变换操作，随后将强增强分支的图片送入学生分割网络得到对应的k个强增强掩膜；然后，将弱增强分支的图片送入教师分割网络得到k个弱增强掩膜，对k个分支的弱增强掩膜分别施加相应的逆向仿射变换操作来得到k个掩膜，随后对k个掩膜使用平均操作进行融合，对融合得到的掩膜施加锐化操作，对锐化后的掩膜使用强增强分支的k组仿射变换操作来得到k个分支的掩膜；最后，使用强增强分支得到的k个掩膜和弱增强分支得到的k个掩膜来计算MSE损失函数；
其中在上述步骤四中，重复步骤二和步骤三，基于一致性正则迭代训练神经网络来提升模型泛化性能。
2.根据权利要求1所述的一种用于小样本的前景分割方法，其特征在于：所述步骤一中，通过裁剪或缩放的形式将图片统一为w*h的大小。
3.根据权利要求1所述的一种用于小样本的前景分割方法，其特征在于：所述步骤二中，仿射变换为放缩变换、旋转变换和位移变换。
4.根据权利要求1所述的一种用于小样本的前景分割方法，其特征在于：所述步骤三中，弱增强操作为仿射变换操作；强增强操作为在仿射变换的基础上增加颜色抖动、灰度化操作。
5.根据权利要求1所述的一种用于小样本的前景分割方法，其特征在于：所述步骤四中，一致性正则为对一张输入图片以不同的方式多次施加微小的扰动，由于输入图片被施加的扰动很微小，模型对图片所得到分类标签保持一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110495759.1A CN113269784B (zh) | 2021-05-07 | 2021-05-07 | 一种用于小样本的前景分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110495759.1A CN113269784B (zh) | 2021-05-07 | 2021-05-07 | 一种用于小样本的前景分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113269784A true CN113269784A (zh) | 2021-08-17 |
| CN113269784B CN113269784B (zh) | 2024-01-30 |
Family
ID=77230086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110495759.1A Active CN113269784B (zh) | 2021-05-07 | 2021-05-07 | 一种用于小样本的前景分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113269784B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107688815A (zh) * | 2017-08-31 | 2018-02-13 | 京东方科技集团股份有限公司 | 医学图像的分析方法和分析系统以及存储介质 |
| US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| CN111079901A (zh) * | 2019-12-19 | 2020-04-28 | 南开大学 | 基于小样本学习的急性脑卒中病变分割方法 |
| CN111210398A (zh) * | 2018-11-02 | 2020-05-29 | 电子科技大学 | 基于多尺度池化的白细胞识别系统 |
| CN111462162A (zh) * | 2019-01-18 | 2020-07-28 | 上海大学 | 一种特定类别图片的前景分割算法 |
| CN111507378A (zh) * | 2020-03-24 | 2020-08-07 | 华为技术有限公司 | 训练图像处理模型的方法和装置 |
-
2021
- 2021-05-07 CN CN202110495759.1A patent/CN113269784B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107688815A (zh) * | 2017-08-31 | 2018-02-13 | 京东方科技集团股份有限公司 | 医学图像的分析方法和分析系统以及存储介质 |
| CN111210398A (zh) * | 2018-11-02 | 2020-05-29 | 电子科技大学 | 基于多尺度池化的白细胞识别系统 |
| CN111462162A (zh) * | 2019-01-18 | 2020-07-28 | 上海大学 | 一种特定类别图片的前景分割算法 |
| US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| CN111079901A (zh) * | 2019-12-19 | 2020-04-28 | 南开大学 | 基于小样本学习的急性脑卒中病变分割方法 |
| CN111507378A (zh) * | 2020-03-24 | 2020-08-07 | 华为技术有限公司 | 训练图像处理模型的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 李继德;李晓强;沙彩霞;: "基于超像素分类的显著目标检测", 计算机应用与软件, no. 01, pages 186 - 192 * |
| 贡荣麟;施俊;王骏;: "面向乳腺超声图像分割的混合监督双通道反馈U-Net", 中国图象图形学报, no. 10, pages 260 - 271 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113269784B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711481A (zh) | 用于画作多标签识别的神经网络、相关方法、介质和设备 | |
| CN111275713A (zh) | 一种基于对抗自集成网络的跨域语义分割方法 | |
| CN114821734A (zh) | 一种驱动虚拟人物表情的方法和装置 | |
| CN110335199A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN112837210B (zh) | 一种基于特征图分块的多形变风格人脸漫画自动生成方法 | |
| CN112926673A (zh) | 一种基于一致性约束的半监督目标检测方法 | |
| WO2019241346A1 (en) | Visual tracking by colorization | |
| CN113989556B (zh) | 一种小样本医学影像分类方法和系统 | |
| CN113920296B (zh) | 一种基于对比学习的文本识别方法与系统 | |
| Ver Hoef et al. | A primer on topological data analysis to support image analysis tasks in environmental science | |
| CN111291705A (zh) | 一种跨多目标域行人重识别方法 | |
| CN113065533B (zh) | 一种特征提取模型生成方法、装置、电子设备和存储介质 | |
| CN113269784A (zh) | 一种用于小样本的前景分割方法 | |
| CN116415152B (zh) | 用于人体动作识别的基于扩散模型的自监督对比学习方法 | |
| CN111914850B (zh) | 图片特征提取方法、装置、服务器和介质 | |
| Zhang et al. | A machine learning paradigm for Studying Pictorial realism: are constable's clouds more real than his contemporaries? | |
| CN112381168B (zh) | 基于单样例引导物体表征拆分的图像编辑方法 | |
| Tan et al. | Unsupervised anomaly detection and localization with one model for all category | |
| CN114972313A (zh) | 图像分割网络预训练方法及装置 | |
| Xu et al. | Spatial-Temporal Contrasting for Fine-Grained Urban Flow Inference | |
| CN116452794B (zh) | 一种基于半监督学习的有向目标检测方法 | |
| Zavala et al. | Depth Estimation from a Single Image Using Line Segments only | |
| Wen et al. | Image Style Transfer Based on Cyclegan | |
| CN115810111A (zh) | 一种抗环境干扰能力强的背景差分方法、系统及存储介质 | |
| CN111178336A (zh) | 一种利用计算机学习的本地在线识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |