CN109741347B - 一种基于卷积神经网络的迭代学习的图像分割方法 - Google Patents
一种基于卷积神经网络的迭代学习的图像分割方法 Download PDFInfo
- Publication number
- CN109741347B CN109741347B CN201811645917.1A CN201811645917A CN109741347B CN 109741347 B CN109741347 B CN 109741347B CN 201811645917 A CN201811645917 A CN 201811645917A CN 109741347 B CN109741347 B CN 109741347B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- training
- model
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的迭代学习的图像分割方法，基于U‑Net模型，针对病理图像语义分割模型训练过程，提出新的损失计算方式和迭代训练的方法。该方法通过改进模型中损失函数的计算方式，调整求解的目标函数。提出利用模型预测区域与标注区域相补的思想，通过迭代训练，进一步修补不完全、不确切监督区域，得到标注更加精细的样本，从而完成更高精度的语义分割。这种针对不完全、不确切监督问题提出的新的模型学习方法，具有较强的鲁棒性，因而能更好的分割病变区域。在相同训练模型、相同数据集的情况下，采用本方法，相比原始模型能提升0.4‑0.8左右的精度，在比赛、科研的领域中，具有显著的作用。
Description
技术领域
本发明属于图像分割领域，特别是一种基于卷积神经网络的解决病理切片的样本不完全标注问题的训练框架。
背景技术
在图像的语义分割任务中，目前工业、学术界均采用的是卷积神经网络+监督学习的方式，即通过学习大量训练样本来构建预测模型，其中每个训练样本都有一个标签标明其真值输出，ImageNet、CoCo等众多开源数据集由此产生。
尽管当前的技术已经取得了巨大的成功，但是值得注意的是，由于数据标注过程的高成本，很多任务很难获得如全部真值标签这样的强监督信息。标注医学图像需要病理学专业知识，人力稀缺，且病理图像存在大量疑似性区域，标注难度大。因此，不完全监督、不确切监督的问题在病理图像上尤为严重。故提出一定的策略减轻数据标注问题的模型结果的影响非常有必要。
现多采用弱监督学习的机器学习技术来处理此类问题，如南京大学周志华组提出了从半监督弱标注数据中学习并处理多标签学习问题的方法。该方法假设实例和标签的相似性有助于补充缺失的标签，但是该方法在实际应用中鲁棒性较差，特别是对于复杂的病理图像，在精度上低于基于监督学习的深度学习方法。
发明内容
本发明的目的在在于为了解决上述背景技术中提及的部分技术问题，本发明拟基于U-Net模型，针对病理图像语义分割模型训练过程，提出新的损失计算方式和迭代训练的方法。该方法通过改进模型中损失函数的计算方式，调整求解的目标函数。提出利用模型预测区域与标注区域相补的思想，通过迭代训练，进一步修补不完全、不确切监督区域，得到标注更加精细的样本，从而完成更高精度的语义分割。这种针对不完全、不确切监督问题提出的新的模型学习方法，具有较强的鲁棒性，因而能更好的分割病变区域。
为了实现上述目的，本发明采用如下的技术方案:
一种基于卷积神经网络的迭代学习的图像分割方法，该方法包括如下步骤：
步骤1：修改损失函数损失计算方式，构建训练模型；
步骤2：根据所述模型对待分割的训练图像进行卷积处理，得到图像特征图；
步骤3：根据所述特征图获取像素点概率集合，获取标签图；
步骤4：人工筛选所述标签图与原标签图融合,构成新的训练样本；
步骤5：重复步骤2-4，迭代训练，应用于测试样本；
进一步的，在一种可能的实现方式中，步骤1包括：
步骤1.1：对于存在癌区的图像，计算损失时只关注已经标注的区域，对于正常的图像，计算全部像素点的损失，构建U-Net模型。
进一步的，在一种可能的实现方式中，步骤3包括：
步骤3.1：利用Sigmoid函数将所述图像特征图进行归一化处理，获取各个像素点概率集合。
步骤3.2：根据所述概率集合生成像素点的热力图。
步骤3.3：将热点图中概率大于0.95的位置，确定为癌区在热点图中的预测位置。
步骤3.4：根据所述预测位置确定各个像素点在所述待分割图像中的位置信息，生成标签图。
进一步的，在一种可能的实现方式中，步骤4包括：
步骤4.1：根据所述标签图人工筛选1/N分割效果佳的图像。
步骤4.2：根据图像的编号，提取同一张图像的原始标签图与上述分割后的标签图像，使用基于空间的像素匹配方法，将两张图像进行信息融合，生成完整的癌区分割图像。
更进一步的，步骤4.2使用基于空间的像素匹配方法，将两张图像进行信息融合具体为：
步骤4.2.1对同一编号的标签图进行归一化处理，保证图像尺寸一致。
步骤4.2.2输入两张图像，基于空间的像素匹配方法进行融合，对两幅待融合的病理图像逐像素进行检测，癌区的交叠部分的灰度值等于对应相减并将差值存储，公式如下：
x＝x1+(x1-x2)×K
其中x为交叠部分融合后的像素灰度值，x1,x2为交叠部分同一位置的像素灰度值，K为权重系数；
进一步的，步骤5包括
步骤5.1：将上述的分割图像作为训练样本，重复2-4过程，迭代N次训练，保存N次迭代后训练样本，保存N次迭代后模型。
步骤5.2：根据所述模型，计算测试样本上交叉比，保存结果。
所述步骤5.1的神经网络训练过程包括：
步骤5.1.1:将训练样本输入网络，正向传播计算各个癌区的分割标签图和原始标签图之间的交叉熵损失，注意：对于存在癌区的图像，计算损失时只关注已经标注的区域，对于正常的图样，计算全部像素点的损失。
步骤5.1.2:将所述交叉熵损失输入所述卷积神经网络进行反向传播，以使所述卷积神经网络根据所述交叉熵损失进行训练。
与现有技术相比较，本发明所能达到的效果如下：
在相同训练模型、相同数据集的情况下，采用本发明提出的方法，相比原始模型能提升0.4-0.8左右的精度，在比赛、科研的领域中，具有显著的作用。
附图说明
图1示出根据本公开一实施例的针对病理图像不完全、不确切监督问题的模型学习方法流程图
图2示出根据本公开一实施例的根据特征图的像素概率集合获得标签图的流程
图3示出根据本公开一实施例的人工筛选所述标签图与原标签图融合,构成新的训练样本的流程图
图4示出根据本公开一实施例的迭代训练与分割的流程图
图5示出根据本公开一实施例的神经网络训练过程
具体实施方式
以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明所用到的硬件为一台可以进行深度学习的工作站。所使用的辅助工具为深度学习训练框架Pytorch。
本发明所提供的一种针对胃癌病理图像不完全、不确切监督问题的模型学习方法，包括如下步骤：
步骤1：修改损失函数损失计算方式，对于存在胃癌癌区的图像，计算损失时只关注已经标注的区域，对于正常的图像，计算全部像素点的损失，构建U-Net模型；
步骤2：根据所述模型对待分割的胃癌训练图像进行卷积处理，得到图像特征图，利用Sigmoid函数将所述图像特征图进行归一化处理，获取各个像素点概率集合，根据所述概率集合生成像素点的热力图，将热点图中概率大于0.95的位置，确定为癌区在热点图中的预测位置，根据所述预测位置确定各个像素点在所述待分割图像中的位置信息，生成标签图。
步骤3：根据所述特征图获取像素点概率集合，获取标签图；
步骤4：根据所述标签图人工筛选1/N分割效果佳的图像，根据图像的编号，提取同一张图像的原始标签图与上述分割后的标签图像，使用基于空间的像素匹配方法，将两张图像进行信息融合，生成完整的癌区分割图像。
步骤5：将上述的分割图像作为训练样本，重复2-4过程，迭代N次训练，保存N次迭代后训练样本，保存N次迭代后模型。根据所述模型，计算测试样本上交叉比，保存结果。
Claims (5)
1.一种基于卷积神经网络的迭代学习的图像分割方法，其特征在于：该方法包括如下步骤：
步骤1：修改损失函数损失计算方式，构建训练模型；
步骤2：根据所述模型对待分割的训练图像进行卷积处理，得到图像特征图；
步骤3：根据所述特征图获取像素点概率集合，获取标签图；
步骤4：人工筛选所述标签图与原标签图融合,构成新的训练样本；
步骤5：重复步骤2-4，迭代训练，应用于测试样本；
步骤3包括，
步骤3.1：利用Sigmoid函数将所述图像特征图进行归一化处理，获取各个像素点概率集合；
步骤3.2：根据所述概率集合生成像素点的热点图；
步骤3.3：将热点图中概率大于0.95的位置，确定为癌区在热点图中的预测位置；
步骤3.4：根据所述预测位置确定各个像素点在所述待分割图像中的位置信息，生成标签图；
步骤4包括，
步骤4.1：根据所述标签图人工筛选1/N分割效果佳的图像；
步骤4.2：根据图像的编号，提取同一张图像的原始标签图与上述分割后的标签图像，使用基于空间的像素匹配方法，将两张图像进行信息融合，生成完整的癌区分割图像。
2.根据权利要求1所述的一种基于卷积神经网络的迭代学习的图像分割方法，其特征在于：步骤1包括，
步骤1.1：对于存在癌区的图像，计算损失时只关注已经标注的区域，对于正常的图像，计算全部像素点的损失，构建U-Net模型。
3.根据权利要求1所述的一种基于卷积神经网络的迭代学习的图像分割方法，其特征在于：步骤4.2使用基于空间的像素匹配方法，将两张图像进行信息融合具体为，
步骤4.2.1对同一编号的标签图进行归一化处理，保证图像尺寸一致；
步骤4.2.2输入两张图像，基于空间的像素匹配方法进行融合，对两幅待融合的病理图像逐像素进行检测，癌区的交叠部分的灰度值等于对应相减并将差值存储，公式如下：
x＝x1+(x1-x2)×K
其中x为交叠部分融合后的像素灰度值，x1,x2为交叠部分同一位置的像素灰度值，K为权重系数。
4.根据权利要求1所述的一种基于卷积神经网络的迭代学习的图像分割方法，其特征在于：步骤5包括，
步骤5.1：将上述的分割图像作为训练样本，重复2-4过程，迭代N次训练，保存N次迭代后训练样本，保存N次迭代后模型；
步骤5.2：根据所述模型，计算测试样本上交叉比，保存结果。
5.根据权利要求4所述的一种基于卷积神经网络的迭代学习的图像分割方法，其特征在于：所述步骤5.1的神经网络训练过程包括：
步骤5.1.1：将训练样本输入网络，正向传播计算各个癌区的分割标签图和原始标签图之间的交叉熵损失，对于存在癌区的图像，计算损失时只关注已经标注的区域，对于正常的图样，计算全部像素点的损失；
步骤5.1.2：将所述交叉熵损失输入所述卷积神经网络进行反向传播，以使卷积神经网络根据所述交叉熵损失进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811645917.1A CN109741347B (zh) | 2018-12-30 | 2018-12-30 | 一种基于卷积神经网络的迭代学习的图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811645917.1A CN109741347B (zh) | 2018-12-30 | 2018-12-30 | 一种基于卷积神经网络的迭代学习的图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109741347A CN109741347A (zh) | 2019-05-10 |
| CN109741347B true CN109741347B (zh) | 2021-03-16 |
Family
ID=66362759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811645917.1A Active CN109741347B (zh) | 2018-12-30 | 2018-12-30 | 一种基于卷积神经网络的迭代学习的图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109741347B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232693B (zh) * | 2019-06-12 | 2022-12-09 | 桂林电子科技大学 | 一种结合热力图通道及改进U-Net的图像分割方法 |
| CN110288026B (zh) * | 2019-06-27 | 2021-08-10 | 山东浪潮科学研究院有限公司 | 一种基于度量关系图学习的图像分割方法及装置 |
| CN110426415A (zh) * | 2019-07-15 | 2019-11-08 | 武汉大学 | 基于深度卷积神经网络和图像分割的油浸式变压器内部热故障诊断方法 |
| CN110473619B (zh) * | 2019-08-16 | 2022-05-27 | 电子科技大学 | 基于深度学习的纤支镜插管辅助决策系统 |
| CN110751690B (zh) * | 2019-10-22 | 2020-09-25 | 郑州迈拓信息技术有限公司 | 铣床刀头视觉定位方法 |
| CN110930369B (zh) * | 2019-11-01 | 2023-05-05 | 中山大学 | 一种基于群等变神经网络和条件概率场的病理切片识别方法 |
| US20230082179A1 (en) * | 2020-01-31 | 2023-03-16 | Servicenow Canada Inc. | Method and system for localization with supervision |
| CN111311613B (zh) * | 2020-03-03 | 2021-09-07 | 推想医疗科技股份有限公司 | 图像分割模型训练方法、图像分割方法及装置 |
| CN111583287A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 一种用于精细人像图片分割的深度学习模型训练方法 |
| CN111784628B (zh) * | 2020-05-11 | 2024-03-29 | 北京工业大学 | 基于有效学习的端到端的结直肠息肉图像分割方法 |
| CN111738295B (zh) * | 2020-05-22 | 2024-03-22 | 南通大学 | 图像的分割方法及存储介质 |
| CN111968120B (zh) * | 2020-07-15 | 2022-03-15 | 电子科技大学 | 一种3d多特征融合的牙齿ct图像分割方法 |
| CN111862045B (zh) * | 2020-07-21 | 2021-09-07 | 上海杏脉信息科技有限公司 | 血管模型的生成方法及装置 |
| CN112102330B (zh) * | 2020-08-12 | 2024-06-18 | 浙江工业大学 | 基于类别均衡小样本学习的新冠肺炎感染区域分割方法 |
| CN112489039B (zh) * | 2020-12-17 | 2021-11-16 | 钢铁研究总院 | 基于深度学习的铝合金微米级第二相定量统计表征方法 |
| CN112766485B (zh) * | 2020-12-31 | 2023-10-24 | 平安科技（深圳）有限公司 | 命名实体模型的训练方法、装置、设备及介质 |
| CN113379757B (zh) * | 2021-05-01 | 2024-04-12 | 首都医科大学宣武医院 | 用于训练脑影像分割模型的方法及脑影像分割方法 |
| CN113643311B (zh) * | 2021-06-28 | 2024-04-09 | 清华大学 | 一种对边界误差鲁棒的图像分割方法和装置 |
| CN116894884B (zh) * | 2023-09-06 | 2023-12-05 | 山东科技大学 | 基于加权损失函数彩色图像处理方法、系统、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077599A (zh) * | 2014-07-04 | 2014-10-01 | 西安电子科技大学 | 基于深度神经网络的极化sar图像分类方法 |
| CN107025457A (zh) * | 2017-03-29 | 2017-08-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法和装置 |
| WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
| CN107862695A (zh) * | 2017-12-06 | 2018-03-30 | 电子科技大学 | 一种基于全卷积神经网络的改进型图像分割训练方法 |
| CN108986086A (zh) * | 2018-07-05 | 2018-12-11 | 福州大学 | 印刷显示面板喷墨打印像素缺陷检测与分类方法及其装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2016315938B2 (en) * | 2015-08-31 | 2022-02-24 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
| US9852492B2 (en) * | 2015-09-18 | 2017-12-26 | Yahoo Holdings, Inc. | Face detection |
| CN106599051B (zh) * | 2016-11-15 | 2020-02-07 | 北京航空航天大学 | 一种基于生成图像标注库的图像自动标注的方法 |
| CN108229271B (zh) * | 2017-01-23 | 2020-10-13 | 北京市商汤科技开发有限公司 | 解译遥感图像的方法、装置和电子设备 |
-
2018
- 2018-12-30 CN CN201811645917.1A patent/CN109741347B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077599A (zh) * | 2014-07-04 | 2014-10-01 | 西安电子科技大学 | 基于深度神经网络的极化sar图像分类方法 |
| WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
| CN107025457A (zh) * | 2017-03-29 | 2017-08-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法和装置 |
| CN107862695A (zh) * | 2017-12-06 | 2018-03-30 | 电子科技大学 | 一种基于全卷积神经网络的改进型图像分割训练方法 |
| CN108986086A (zh) * | 2018-07-05 | 2018-12-11 | 福州大学 | 印刷显示面板喷墨打印像素缺陷检测与分类方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109741347A (zh) | 2019-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741347B (zh) | 一种基于卷积神经网络的迭代学习的图像分割方法 | |
| Ali et al. | Structural crack detection using deep convolutional neural networks | |
| Xing et al. | A convolutional neural network-based method for workpiece surface defect detection | |
| Dong et al. | PGA-Net: Pyramid feature fusion and global context attention network for automated surface defect detection | |
| Roy et al. | DenseSPH-YOLOv5: An automated damage detection model based on DenseNet and Swin-Transformer prediction head-enabled YOLOv5 with attention mechanism | |
| CN108647577B (zh) | 一种自适应难例挖掘的行人重识别方法与系统 | |
| CN111028217A (zh) | 一种基于全卷积神经网络的图像裂缝分割方法 | |
| Zhang et al. | Ripple-GAN: Lane line detection with ripple lane line detection network and Wasserstein GAN | |
| Tao et al. | Industrial weak scratches inspection based on multifeature fusion network | |
| CN114821014B (zh) | 基于多模态与对抗学习的多任务目标检测识别方法及装置 | |
| CN110533068B (zh) | 一种基于分类卷积神经网络的图像对象识别方法 | |
| CN108734109B (zh) | 一种面向图像序列的视觉目标跟踪方法及系统 | |
| Niu et al. | Defect attention template generation cycleGAN for weakly supervised surface defect segmentation | |
| CN113408584A (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN112529005A (zh) | 基于语义特征一致性监督金字塔网络的目标检测方法 | |
| Li et al. | Gated auxiliary edge detection task for road extraction with weight-balanced loss | |
| CN116883650A (zh) | 一种基于注意力和局部拼接的图像级弱监督语义分割方法 | |
| Panta et al. | IterLUNet: Deep learning architecture for pixel-wise crack detection in levee systems | |
| Aryal et al. | Context-aware self-supervised learning of whole slide images | |
| Zhang et al. | Small target detection based on squared cross entropy and dense feature pyramid networks | |
| Peng et al. | Semi-supervised bolt anomaly detection based on local feature reconstruction | |
| Wang et al. | Semantic segmentation of sewer pipe defects using deep dilated convolutional neural network | |
| CN116665009A (zh) | 一种基于多尺度ssd网络的管道漏磁图像检测方法 | |
| Wang et al. | Strawberry ripeness classification method in facility environment based on red color ratio of fruit rind | |
| Wang et al. | ALADA: A lite automatic data augmentation framework for industrial defect detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |