CN113269784B - 一种用于小样本的前景分割方法 - Google Patents
一种用于小样本的前景分割方法 Download PDFInfo
- Publication number
- CN113269784B CN113269784B CN202110495759.1A CN202110495759A CN113269784B CN 113269784 B CN113269784 B CN 113269784B CN 202110495759 A CN202110495759 A CN 202110495759A CN 113269784 B CN113269784 B CN 113269784B
- Authority
- CN
- China
- Prior art keywords
- masks
- pictures
- enhancement
- picture
- affine transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000009466 transformation Effects 0.000 claims abstract description 28
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 230000002708 enhancing effect Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于小样本的前景分割方法，包括以下步骤：步骤一，准备增强图片；步骤二，有标签图片增强；步骤三，无标签图片增强；步骤四，迭代训练神经网络；所述步骤三中，弱增强操作为仿射变换操作；强增强操作为在仿射变换的基础上增加颜色抖动、灰度化操作；该发明能在只提供少量有标签图片的情况下，让模型的性能接近使用全部有标签图片时的性能，从而大大减少传统算法所带来的标注成本；且该发明可以从网络上获取大量包含特定类别物体的图片，仅对少量图片进行标注，从而充分利用数据量的优势训练出一个泛化能力很强的分割算法；因此该发明不仅代价低廉，通用性强还能充分发挥海量数据的价值。
Description
技术领域
本发明涉及图像处理算法技术领域，具体为一种用于小样本的前景分割方法。
背景技术
随着深度学习的发展，传统图像处理算法正被取代，基于神经网络的前景物体分割算法在不同数据集上都取得了很大的进展，但是这些模型在训练过程中依赖于大量的像素级标注信息，因为分割任务需要对图像上的每一个像素都进行标注，所以这些标注的获取成本很高；而且，在医学领域，图像的标注还需要医学方面的专业知识，使得传统算法大多需要面对标注成本问题；目前业界采用的基于有监督的分割算法需要对图片进行像素级别的标注，获得这些标注的代价十分高昂；而近些年用于解决这一问题的弱监督分割算法，通过数据集提供的弱标注来减少像素级标签的使用，这类方法在一些较大型的分割数据集上能够获得较好的实验效果，然而在医学领域，通常并不会提供这类标签，不利于这类方法广泛应用；因此，现阶段发明出一种用于小样本的前景分割方法是非常有必要的。
发明内容
本发明的目的在于提供一种用于小样本的前景分割方法及安装方法，以解决上述背景技术中提出成本较高、需要较多像素级标签以及不利于广泛应用的问题。
为实现上述目的，本发明提供如下技术方案：一种用于小样本的前景分割方法，包括以下步骤：步骤一，准备增强图片；步骤二，有标签图片增强；步骤三，无标签图片增强；步骤四，迭代训练神经网络；
其中在上述步骤一中，根据实际情况选择数据收集方式，将所有图片统一为w*h的大小；
其中在上述步骤二中，对于有标签样本，使用仿射变换对图像进行弱增强，得到1张大小为w*h的增强图片作为学生分割网络的输入，得到前景掩膜，使用真实标签与前景掩膜来计算交叉熵损失函数；
其中在上述步骤三中，首先，对无标签图片分别施加强增强操作和弱增强操作，在每个分支内分别施加k组变换操作，随后将强增强分支的图片送入学生分割网络得到对应的k个强增强掩膜；然后，将弱增强分支的图片送入教师分割网络得到k个弱增强掩膜，对k个分支的弱增强掩膜分别施加相应的逆向仿射变换操作来得到k个掩膜，随后对k个掩膜使用平均操作进行融合，对融合得到的掩膜施加锐化操作，对锐化后的掩膜使用强增强分支的k组仿射变换操作来得到k个分支的掩膜；最后，使用强增强分支得到的k个掩膜和弱增强分支得到的k个掩膜来计算MSE损失函数；
其中在上述步骤四中，重复步骤二和步骤三，基于一致性正则迭代训练神经网络来提升模型泛化性能。
优选的，所述步骤一中，通过裁剪或缩放的形式将图片统一为w*h的大小。
优选的，所述步骤二中，仿射变换为放缩变换、旋转变换和位移变换。
优选的，所述步骤三中，弱增强操作为仿射变换操作；强增强操作为在仿射变换的基础上增加颜色抖动、灰度化操作。
优选的，所述步骤四中，一致性正则为对一张输入图片以不同的方式多次施加微小的扰动，由于输入图片被施加的扰动很微小，模型对图片所得到分类标签保持一致。
与现有技术相比，本发明的有益效果是：该发明安全、可靠，本发明能在只提供少量有标签图片的情况下，让模型的性能接近使用全部有标签图片时的性能，从而大大减少传统算法所带来的标注成本；且该发明可以从网络上获取大量包含特定类别物体的图片，仅对少量图片进行标注，从而充分利用数据量的优势训练出一个泛化能力很强的分割算法；因此该发明不仅代价低廉，通用性强还能充分发挥海量数据的价值，便于推广使用。
附图说明
图1为本发明的训练方法流程图；
图2为本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供的一种实施例：一种用于小样本的前景分割方法，包括以下步骤：步骤一，准备增强图片；步骤二，有标签图片增强；步骤三，无标签图片增强；步骤四，迭代训练神经网络；
其中在上述步骤一中，根据实际情况选择数据收集方式，对于所有图片采用裁剪或缩放的形式将图片统一为w*h的大小；
其中在上述步骤二中，对于有标签样本，使用仿射变换对图像进行弱增强，得到1张大小为w*h的增强图片作为学生分割网络的输入，得到前景掩膜，使用真实标签与前景掩膜来计算交叉熵损失函数；
其中在上述步骤三中，首先，对无标签图片分别施加强增强操作和弱增强操作，弱增强操作为仿射变换操作；强增强操作为在仿射变换的基础上增加颜色抖动、灰度化操作，在每个分支内分别施加k组变换操作，随后将强增强分支的图片送入学生分割网络得到对应的k个强增强掩膜；然后，将弱增强分支的图片送入教师分割网络得到k个弱增强掩膜，对k个分支的弱增强掩膜分别施加相应的逆向仿射变换操作来得到k个掩膜，随后对k个掩膜使用平均操作进行融合，对融合得到的掩膜施加锐化操作，对锐化后的掩膜使用强增强分支的k组仿射变换操作来得到k个分支的掩膜；最后，使用强增强分支得到的k个掩膜和弱增强分支得到的k个掩膜来计算MSE损失函数；
其中在上述步骤四中，重复步骤二和步骤三，基于一致性正则迭代训练神经网络来提升模型泛化性能，一致性正则为对一张输入图片以不同的方式多次施加微小的扰动，由于输入图片被施加的扰动很微小，模型对图片所得到分类标签保持一致。
基于上述，本发明的优点在于，该发明采用的前景分割方法基于数据增强来构建一致性正则，以此对网络进行约束来避免过拟合；对于特定的数据集，整个算法在训练过程中只需要少量的像素级别标签就能实现接近使用全部标签的有监督模型的性能；该算法通过数据增强来进行训练，因此不需要除少量像素级标签之外的弱标注信息来提供先验信息；可以对一张输入图片以不同的方式多次施加微小的扰动，因为输入图片被施加的扰动很微小，所以，其分类标签保持不变；例如，对于一张输入图片，如果初始对其施加顺时针90°旋转操作，经过分割网络输出掩膜再对分割掩膜施加逆时针90°旋转操作，将此时所得到的掩膜作为第一个分支的结果；如果初始对输入图片施加逆时针90°旋转操作，经过分割网络输出掩膜再对掩膜施加顺时针90°旋转，将此时所得到的掩膜作为第二个分支的结果；这两个分支的分割掩膜是完全相同的，但因为数据量太少时，模型可能会出现过拟合的情况，因此，分割网络所输出的k个掩膜中若干分支的准确度可能相对较差，也就是k个分割掩膜之间出现了不一致的情况；为此，该发明使用平均操作和锐化操作融合多个分支的掩膜来构造准确度更高的结果，将其作为无标签图片的标签来对模型施加一致性正则约束；通过一致性正则来有效利用大量的无标签图片，并通过构建k个分支的图片来让模型学习一张图片的不同视角；这样可以让网络学习到更多样的数据分布；另外由于该发明使用的方法不需要其他形式的标注，因此可以从网络上获取大量包含特定类别物体的图片，仅对少量图片进行标注，从而充分利用数据量的优势训练出一个泛化能力很强的分割算法；因此不仅代价低廉，通用性强还能充分发挥海量数据的价值。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (5)
1.一种用于小样本的前景分割方法，包括以下步骤：步骤一，准备增强图片；步骤二，有标签图片增强；步骤三，无标签图片增强；步骤四，迭代训练神经网络；其特征在于：
其中在上述步骤一中，根据实际情况选择数据收集方式，将所有图片统一为w*h的大小；
其中在上述步骤二中，对于有标签样本，使用仿射变换对图像进行弱增强，得到1张大小为w*h的增强图片作为学生分割网络的输入，得到前景掩膜，使用真实标签与前景掩膜来计算交叉熵损失函数；
其中在上述步骤三中，首先，对无标签图片分别施加强增强操作和弱增强操作，在每个分支内分别施加k组变换操作，随后将强增强分支的图片送入学生分割网络得到对应的k个强增强掩膜；然后，将弱增强分支的图片送入教师分割网络得到k个弱增强掩膜，对k个分支的弱增强掩膜分别施加相应的逆向仿射变换操作来得到k个掩膜，随后对k个掩膜使用平均操作进行融合，对融合得到的掩膜施加锐化操作，对锐化后的掩膜使用强增强分支的k组仿射变换操作来得到k个分支的掩膜；最后，使用强增强分支得到的k个掩膜和弱增强分支得到的k个掩膜来计算MSE损失函数；
其中在上述步骤四中，重复步骤二和步骤三，基于一致性正则迭代训练神经网络来提升模型泛化性能。
2.根据权利要求1所述的一种用于小样本的前景分割方法，其特征在于：所述步骤一中，通过裁剪或缩放的形式将图片统一为w*h的大小。
3.根据权利要求1所述的一种用于小样本的前景分割方法，其特征在于：所述步骤二中，仿射变换为放缩变换、旋转变换和位移变换。
4.根据权利要求1所述的一种用于小样本的前景分割方法，其特征在于：所述步骤三中，弱增强操作为仿射变换操作；强增强操作为在仿射变换的基础上增加颜色抖动、灰度化操作。
5.根据权利要求1所述的一种用于小样本的前景分割方法，其特征在于：所述步骤四中，一致性正则为对一张输入图片以不同的方式多次施加微小的扰动，由于输入图片被施加的扰动很微小，模型对图片所得到分类标签保持一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110495759.1A CN113269784B (zh) | 2021-05-07 | 2021-05-07 | 一种用于小样本的前景分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110495759.1A CN113269784B (zh) | 2021-05-07 | 2021-05-07 | 一种用于小样本的前景分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113269784A CN113269784A (zh) | 2021-08-17 |
| CN113269784B true CN113269784B (zh) | 2024-01-30 |
Family
ID=77230086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110495759.1A Active CN113269784B (zh) | 2021-05-07 | 2021-05-07 | 一种用于小样本的前景分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113269784B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107688815A (zh) * | 2017-08-31 | 2018-02-13 | 京东方科技集团股份有限公司 | 医学图像的分析方法和分析系统以及存储介质 |
| US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| CN111079901A (zh) * | 2019-12-19 | 2020-04-28 | 南开大学 | 基于小样本学习的急性脑卒中病变分割方法 |
| CN111210398A (zh) * | 2018-11-02 | 2020-05-29 | 电子科技大学 | 基于多尺度池化的白细胞识别系统 |
| CN111462162A (zh) * | 2019-01-18 | 2020-07-28 | 上海大学 | 一种特定类别图片的前景分割算法 |
| CN111507378A (zh) * | 2020-03-24 | 2020-08-07 | 华为技术有限公司 | 训练图像处理模型的方法和装置 |
-
2021
- 2021-05-07 CN CN202110495759.1A patent/CN113269784B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107688815A (zh) * | 2017-08-31 | 2018-02-13 | 京东方科技集团股份有限公司 | 医学图像的分析方法和分析系统以及存储介质 |
| CN111210398A (zh) * | 2018-11-02 | 2020-05-29 | 电子科技大学 | 基于多尺度池化的白细胞识别系统 |
| CN111462162A (zh) * | 2019-01-18 | 2020-07-28 | 上海大学 | 一种特定类别图片的前景分割算法 |
| US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| CN111079901A (zh) * | 2019-12-19 | 2020-04-28 | 南开大学 | 基于小样本学习的急性脑卒中病变分割方法 |
| CN111507378A (zh) * | 2020-03-24 | 2020-08-07 | 华为技术有限公司 | 训练图像处理模型的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于超像素分类的显著目标检测;李继德;李晓强;沙彩霞;;计算机应用与软件(第01期);186-192 * |
| 面向乳腺超声图像分割的混合监督双通道反馈U-Net;贡荣麟;施俊;王骏;;中国图象图形学报(第10期);260-271 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113269784A (zh) | 2021-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919209B (zh) | 一种领域自适应深度学习方法及可读存储介质 | |
| WO2022111219A1 (zh) | 一种域自适应设备运检系统和方法 | |
| US20180225807A1 (en) | Single-frame super-resolution reconstruction method and device based on sparse domain reconstruction | |
| CN111275092B (zh) | 一种基于无监督域适应的图像分类方法 | |
| CN112287820A (zh) | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 | |
| CN110399518A (zh) | 一种基于图卷积的视觉问答增强方法 | |
| CN110335199A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN112132149A (zh) | 一种遥感影像语义分割方法及装置 | |
| CN113657455A (zh) | 一种基于三重网络与标注一致性正则化的半监督学习方法 | |
| CN114943876A (zh) | 一种多级语义融合的云和云影检测方法、设备及存储介质 | |
| CN112507927A (zh) | 一种板书内容自动生成方法和装置 | |
| CN113920296B (zh) | 一种基于对比学习的文本识别方法与系统 | |
| Wang et al. | Restoring vision in hazy weather with hierarchical contrastive learning | |
| Xing et al. | Semi-supervised single-view 3d reconstruction via prototype shape priors | |
| CN112884758A (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统 | |
| CN117274608A (zh) | 基于空间细节感知和注意力引导的遥感图像语义分割方法 | |
| CN113269784B (zh) | 一种用于小样本的前景分割方法 | |
| CN113177957A (zh) | 一种细胞图像的分割方法、装置、电子设备及存储介质 | |
| CN116415152B (zh) | 用于人体动作识别的基于扩散模型的自监督对比学习方法 | |
| CN111914850B (zh) | 图片特征提取方法、装置、服务器和介质 | |
| CN116188894A (zh) | 基于神经渲染的点云预训练方法、系统、设备及介质 | |
| CN114494804B (zh) | 一种基于域特有信息获取的无监督领域适应图像分类方法 | |
| Yang et al. | On the diversity of realistic image synthesis | |
| WANG et al. | Super-resolution reconstruction algorithm of medical image based on lightweight dense neural network | |
| Wang et al. | Image Semantic Segmentation Algorithm Based on Self-learning Super-Pixel Feature Extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |