CN114998362A - 基于双分割模型的医学图像分割方法 - Google Patents
基于双分割模型的医学图像分割方法 Download PDFInfo
- Publication number
- CN114998362A CN114998362A CN202210676102.XA CN202210676102A CN114998362A CN 114998362 A CN114998362 A CN 114998362A CN 202210676102 A CN202210676102 A CN 202210676102A CN 114998362 A CN114998362 A CN 114998362A
- Authority
- CN
- China
- Prior art keywords
- network
- segmentation
- medical image
- module
- net1
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 126
- 238000003709 image segmentation Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 57
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 59
- 238000004821 distillation Methods 0.000 claims description 40
- 230000004913 activation Effects 0.000 claims description 24
- 238000004140 cleaning Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 5
- 238000010586 diagram Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 210000002752 melanocyte Anatomy 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于双分割模型的医学图像分割方法，用于解决现有技术中存在的对含有噪声标签的图像分割精度低的问题。实现步骤为：获取训练样本集和测试样本集；构建基于双分割模型的医学图像分割网络模型；对基于双分割模型的医学图像分割网络模型进行迭代训练；获取医学图像的分割结果。本发明在网络迭代过程中，两个网络在筛选的可靠像素的样本集上跨模型学习，更充分地探索训练样本集，使得网络对噪声标签具有更强的鲁棒性，更好的学习前景与背景分割边界的像素，加强模型的边界定位能力，提高图像分割的精度。
Description
技术领域
本发明属于医学图像处理技术领域，涉及一种噪声标注下的图像分割方法，具体是基于双分割模型的医学图像分割方法，可以用于含有噪声标签的图像分割等领域。
背景技术
图像分割是指根据一定的相似性准则将图像划分成不同区域的过程，是后续图像处理的基础。传统的图像分割方法主要包括阈值法、边界检测法、区域法等；医学图像分割是将医学图像中具有特殊含义的部分单独分割出来。获取可靠医学图像的数据十分困难：首先，医学成像的大多数情况下，由于病人隐私的原因，禁止数据获取；第二，数据的精准标注成本高，标记的数据通常很稀缺；第三，由于患者病灶的位置、大小、形状和解剖结构的差异，即使是经验丰富的专家也很难在MRIs中准确识别多发性硬化症病灶。在这种情况下，如何利用少量标注数据、大量未标注数据或者粗标注的数据来开发模型进行快速迭代变得尤为重要。
由于在特征表示方面的优势，许多基于CNN的模型已经被开发出来用于处理医学图像分割任务。全卷积神经网络FCN最初被提出用于自然图像的语义分割，然后广泛应用于医学图像，如前列腺分割。U-Net是最普遍的医学图像分割框架之一，它利用编码器提取的多尺度中间特征，通过跳跃连接将其输入到解码器中。大量的工作都致力于改进U-Net的体系结构，从而产生了U-Net的许多变体。上述工作都是基于训练图像是精确注释的。由于CNN通常有很多参数，并且很容易对训练数据进行过拟合，因此需要准确标记的数据来提高泛化的性能。与其他计算机视觉场景相比，为医学图像收集精细注释的像素级标签的成本更高。在模型训练时使用粗标注的数据有助于减轻收集精细标签的负担。另一方面，由于医学图像的视觉质量有限，目标区域与背景之间的边界模糊，专家对此类图像进行标注也存在很大的挑战。在上述情况下，只能使用粗标注的数据来学习分割模型。因此，在优化网络参数时，解决这些注释中噪声的副作用是必要的。
由于CNN能够记忆具有错误标记的样本，在使用粗标注的数据时，错误标记的像素样本会影响基于CNN的分割模型的学习。记忆错误标记的目标前景像素可能会导致背景区域的误判，而记忆错误标记的背景像素会削弱识别前景像素的辨别能力。因此，尽早排除那些错误标记的样本至关重要。
CNN倾向于在早期训练阶段学习干净样本，在相对较晚的训练阶段拟合噪声样本。受此启发，一些方法将损失相对较小的样本视为干净的数据，根据损失分析重新加权像素的重要性。然而，这些方法并没有充分探索所有训练数据的价值。粗略的标注通常会导致边界偏移的现象，即边界周围的一些像素存在错误的标签。在医学图像分割的许多应用中，例如超声图像中的黑色素细胞病变分割和CT中的肿瘤分割，目标和背景之间的对比度并不明显。直接忽略不正确的像素样本会损害分割模型的边界定位能力。申请公布号为CN112330561A，名称为“基于交互式前景提取与信息熵分水岭的医学图像分割方法”的专利申请，一种基于交互式前景提取与信息熵分水岭的医学图像分割方法，先消除图像中存在的噪声及边缘，再通过分水岭算法对图像提取分割。该方法通过交互式前景提取法滤除图像边缘，结合信息熵与分水岭算法，能够将图像进行有效的分割，获得的肝脏CT图像完整，克服了因像素值分布不均、前景子图相互连接与个体间肝脏器官形状各异带来的干扰。但该模型对图像边界的处理过于粗糙，直接忽略边界信息会损害模型的边界定位能力，因此在实际应用中会严重存在目标与背景分割不完全的情况。
Zhang等人于2020年在MICCAI上发表论文《Characterizing label errors:Confident learning for noisy-labeled image segmentation》公开了一种依赖于指数移动平均模型来识别错误标记的像素的医学图像分割方法，并为它们分配平滑的标签来完成医学图像的分割任务。但是，该方法无法防止学习错误标签记忆的积累，因此在实际应用中仍会严重存在目标与背景分割不完全的情况。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于双分割模型的医学图像分割方法，用于解决现有技术中存在的对含有噪声标签的图像分割精度低的问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取训练样本集和测试样本集：
对从医学图像数据集中随机选取的M幅带有真实标签的医学图像进行数据预处理，并将预处理后的M1幅医学图像作为训练数据集，然后将剩余预处理后医学图像中M2幅的真实标签进行边界偏移后进行形状扭曲，生成噪声标签，再将训练数据集以及标注有噪声标签的M2幅医学图像组成包含D个像素的训练样本集X，将M3幅带有真实标签的医学图像作为测试样本集，其中，M≥500，
M3＝M-M1-M2；
(2)构建基于双分割模型的医学图像分割网络模型：
(2a)构建基于双分割模型的医学图像分割网络模型的结构：
构建包括两个并行排布的第一分割网络和第二分割网络的医学图像分割网络，其中第一分割网络包括U-Net1网络以及与其连接且并行排布的第一噪声数据清理模块和第一可靠知识相互蒸馏模块，第二分割网络包括U-Net2网络以及与其连接且并行排布的第二噪声数据清理模块和第二可靠知识相互蒸馏模块；U-Net1网络和U-Net2网络均包括顺次连接的由多个串联下采样模块组成的编码器和由多个串联上采样模块组成的解码器；第一可靠知识相互蒸馏模块包括顺次连接的数据增强模块、改进的U-Net1网络和可靠数据筛选模块，第二可靠知识相互蒸馏模块包括顺次连接的数据增强模块、改进的U-Net2网络和可靠数据筛选模块；改进的U-Net1网络、改进的U-Net2网络是在U-Net1网络、U-Net2网络的每个下采样模块中插入一个dropout层；第一噪声数据清理模块的输出和第二噪声数据清理模块的输出连接，第一可靠知识相互蒸馏模块的输出和第二可靠知识相互蒸馏模块的输出连接；
(2b)定义基于双分割模型的医学图像分割网络模型的损失函数：
定义第一分割网络、第二分割网络的损失函数分别为L1、L2：
λ(t)＝exp[-5(1-t/tmax)2]
其中，
分别表示第一监督损失函数、第一一致性损失函数，
分别表示第二监督损失函数、第二一致性损失函数，λ(t)是一致性损失Lu的权重系数，exp(·)是以自然常数e为底的指数函数，t为迭代次数，tmax为最大迭代次数；V1、V2分别是U-Net1网络、U-Net2网络分割预测的结果P1、P2与P1、P2对应的由M1个真实标签和M2个噪声标签组成的标签集的交叉熵损失值，
分别是第一噪声数据清理模块、第二噪声数据清理模块筛选出的干净像素的样本集；DKL(·)表示Kullback-Leibler散度，
分别是第一可靠知识相互蒸馏模块、第二可靠知识相互蒸馏模块选择的可靠像素的样本集；Q1是通过第一可靠知识相互蒸馏模块中的数据增强模块对P1的增强结果，Q2是通过第二可靠知识相互蒸馏模块中的数据增强模块对P2的增强结果，
是第一可靠知识相互蒸馏模块中的改进的U-Net1网络分割预测的结果，
是第二可靠知识相互蒸馏模块中的改进的U-Net2网络分割预测的结果；
(3)对基于双分割模型的医学图像分割网络模型进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为tmax，tmax≥50，第t次迭代U-Net1网络、U-Net2网络的参数分别为
和
并令t＝0；
(3b)将训练样本集作为医学图像分割网络模型的输入，第一分割网络中的U-Net1网络、第二分割网络中的U-Net2网络分别对每个训练样本进行分割预测，得到U-Net1对训练样本集的分割预测结果P1、U-Net2对训练样本集的分割预测结果P2；
(3c)第一分割网络、第二分割网络采用损失函数L1、L2，并通过P1、P2计算第一分割网络、第二分割网络的损失函数值l1、l2；然后计算l1对
的偏导
l2对
的偏导
最后采用Adam优化器，通过
分别对
进行更新，得到本次迭代的医学图像分割网络模型；
(3d)判断t≥tmax是否成立，若是，得到训练好的的医学图像分割网络模型，否则，令t＝t+1，并执行步骤(3b)；
(4)获取医学图像的分割结果：
选择训练好的的医学图像分割网络模型中第一分割网络、第二分割网络的分割预测结果中精度较高的分割网络作为最终的医学图像分割网络模型，并将测试样本集作为该网络模型输入进行前向传播，其中包含的U-Net1网络或U-Net2网络的输出结果即为所有测试样本的分割结果。
本发明与现有技术相比，具有如下优点：
1.本发明在对医学图像分割网络模型进行迭代训练的过程中，第一、第二可靠知识相互蒸馏模块从含有噪声标签的训练样本集中各自筛选出可靠像素的样本集，第一分割网络在第二可靠知识相互蒸馏模块筛选的可靠像素的样本集联合第二分割网络跨模型学习，第二分割网络在第一可靠知识相互蒸馏模块筛选的可靠像素的样本集联合第一分割网络跨模型学习，该策略能够更充分地探索训练样本集，使在不断优化网络的过程中对噪声标签具有更强的鲁棒性，更好的学习前景与背景分割边界的像素，加强模型的边界定位能力。
2.本发明在对医学图像分割网络模型进行迭代训练的过程中，第一、第二噪声数据清理模块从含有噪声标签的训练样本集中各自筛选出干净像素的样本集，第一分割网络在第二噪声数据清理模块筛选的干净像素的样本集上学习，第二分割网络在第一噪声数据清理模块筛选的干净像素的样本上学习，经过多轮这种协同处理，能够逐步过滤出带有错误标签的样本，避免了现有技术因学习错误标签记忆的积累对图像分割精度的影响。
附图说明
图1为本发明的实现流程图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤。
步骤1.构建基础数据集及测试数据集：
对从医学图像数据集中随机选取的M幅带有真实标签的医学图像进行数据预处理，具体为：对每幅带有真实标签的医学图像进行零均值归一化，对归一化后的每幅医学图像进行以分割区域为中心对图像裁剪，得到M幅预处理的医学图像，并将预处理后的M1幅医学图像作为训练数据集，然后将剩余预处理后医学图像中M2幅的真实标签进行边界偏移后进行形状扭曲，生成噪声标签，再将训练数据集以及标注有噪声标签的M2幅医学图像组成包含D个像素的训练样本集X，将M3幅带有真实标签的医学图像作为测试样本集，其中，M＝13000，M1＝2298，M2＝9192，M3＝1510；
步骤2.构建基于双分割模型的医学图像分割网络模型：
构建包括两个并行排布的第一分割网络和第二分割网络的医学图像分割网络，其中第一分割网络包括U-Net1网络以及与其连接且并行排布的第一噪声数据清理模块和第一可靠知识相互蒸馏模块，第二分割网络包括U-Net2网络以及与其连接且并行排布的第二噪声数据清理模块和第二可靠知识相互蒸馏模块；第一可靠知识相互蒸馏模块包括顺次连接的数据增强模块、改进的U-Net1网络和可靠数据筛选模块，第二可靠知识相互蒸馏模块包括顺次连接的数据增强模块、改进的U-Net2网络和可靠数据筛选模块；改进的U-Net1网络、改进的U-Net2网络是在U-Net1网络、U-Net2网络的每个下采样模块中插入一个dropout层，dropout层可以使分割网络产生的中间特征发生畸变，保证预测结果的局部平滑性，同时还可以帮助识别可靠的知识；第一噪声数据清理模块的输出和第二噪声数据清理模块的输出连接，第一可靠知识相互蒸馏模块的输出和第二可靠知识相互蒸馏模块的输出连接。
在本实施例中，U-Net1网络和U-Net2网络，均包括输入层、四个顺次连接的下采样模块、四个顺次连接的上采样模块、输出层，其结构关系为：输入层→第一下采样模块→第二下采样模块→第三下采样模块→第四下采样模块→第一上采样模块→第二上采样模块→第三上采样模块→第四上采样模块→输出层；其中，输入层具体结构为：第一卷积→BN层→ReLU激活函数→第二卷积→BN层→ReLU激活函数；下采样模块具体结构：最大池化层→第一卷积→BN层→ReLU激活函数→第二卷积→BN层→ReLU激活函数；上采样模块具体结构：线性插值→计算与Contracting path相对应特征图相差距离→padding→拼接→第一卷积→BN层→ReLU激活函数→第二卷积→BN层→ReLU激活函数；
在本实施例中，U-Net1网络和U-Net2网络的具体参数均为：
输入层、下采样模块以及上采样模块中各包含两个卷积，卷积核大小均为3×3，输入层卷积核数量为64和64，四个下采样模块卷积核数量分别为128、128、256、256、512、512、512和512，四个上采样模块卷积核数量分别为256、256、128、128、64、64、64和64，输出层的卷积核大小为1×1，卷积核数量为分割的类别个数。
在本实施例中，改进的U-Net网络包括输入层、四个顺次连接的下采样模块、四个顺次连接的上采样模块、输出层；输入层具体结构为：第一卷积→BN层→ReLU激活函数→第二卷积→BN层→ReLU激活函数；下采样模块具体结构：最大池化层→第一卷积→BN层→ReLU激活函数→第二卷积→BN层→ReLU激活函数→dropout层；上采样模块具体结构：线性插值→计算与Contracting path相对应特征图相差距离→padding→拼接→第一卷积→BN层→ReLU激活函数→第二卷积→BN层→ReLU激活函数；
步骤3.对基于双分割模型的医学图像分割网络模型进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为tmax，第t次迭代U-Net1网络、U-Net2网络的参数分别为
和
并令t＝0，tmax＝50；
(3b)将训练样本集作为医学图像分割网络模型的输入，第一分割网络中的U-Net1网络、第二分割网络中的U-Net2网络分别对每个训练样本进行分割预测，得到U-Net1对训练样本集的分割预测结果P1、U-Net2对训练样本集的分割预测结果P2；
(3c)计算第一分割网络的损失函数L1的值l1和第二分割网络的损失函数L2的值l2：
(3c1)第一分割网络中的第一噪声数据清理模块采用交叉熵损失函数，并通过U-Net1网络输出的分割预测结果P1与和P1对应的由M1个真实标签和M2个噪声标签组成的标签集计算交叉熵损失V1：
其中，Y(i,k)∈{0,1}表示第i个像素是否为第k个类，K表示类总数，P1(i,k)为第i个像素属于第k类的概率，然后通过V1对训练样本集进行筛选，得到一组具有干净像素的样本集
其中，ρ(t)表示筛选干净样本的比例，在训练初期，ρ(t)接近于1，以防遗漏干净的像素样本，随着训练迭代次数的增加，ρ(t)逐渐减小，目的是在网络记住噪声标签前排除这些样本，τ是常数；由于空间变化、亮度变化可以模拟由于成像协议差异而引起的噪声和外观偏差，因此通过数据增强模块来扩展训练的样本集，第一可靠知识相互蒸馏模块中的数据增强模块对U-Net1网络输出的分割预测结果P1以及训练样本集包含的医学图像X进行数据增强，考虑到随着训练的进行，网络对推理结果越来越有信心，第二阶段在数据增强模块中加入deform操作，以扩大可靠知识的使用，具体实现方法为：当t＜10时，对U-Net1网络输出的分割预测结果P1和训练样本集包含的医学图像X进行随机翻转后添加高斯噪声，实现对P1和X的数据增强，否则，对U-Net1网络输出的分割预测结果P1和训练样本集包含的医学图像X进行随机翻转后添加高斯噪声，再进行deform操作，实现对P1和X的数据增强；改进的U-Net1网络对X的增强结果
进行分割预测；由于可靠样本的模型预测对适度扰动具有不变性，第一可靠知识相互蒸馏模块中的可靠数据筛选模块根据P1的增强结果Q1和
的分割预测结果
之间的一致性，筛选出一组可靠的像素集
ξ(t)＝min(μexp[-5(1-t/tmax)2],1)
其中，ξ(t)表示可靠样本的比例，μ是一个常数；
(3c2)第二分割网络中的第二噪声数据清理模块采用交叉熵损失函数，并通过U-Net2网络输出的分割预测结果P2与和P2对应的由M1个真实标签和M2个噪声标签组成的标签集计算交叉熵损失V2，然后通过V2对训练样本集进行筛选，得到一组具有干净像素的样本集
同时第二可靠知识相互蒸馏模块中的数据增强模块对U-Net2网络输出的分割预测结果P2以及训练样本集包含的医学图像X进行数据增强；改进的U-Net2网络对X的增强结果
进行分割预测；第二可靠知识相互蒸馏模块中的可靠数据筛选模块根据P2的增强结果Q2和
的分割预测结果
之间的一致性，筛选出一组可靠的像素集
(3c3)采用一致性损失函数，并通过
和Q2在可靠的像素集
上计算第一一致性损失函数
的值，通过
和Q1在可靠的像素集
上计算第二一致性损失函数
的值：
其中，DKL(·)表示Kullback-Leibler散度，第一、第二分割网络分别在对方推断筛选的可靠的像素集上跨模型计算一致性损失，这有助于消除错误标签带来的影响；同时采用监督损失函数，并通过V1在干净像素的样本集
上计算第一监督损失函数
的值，通过V2在干净像素的样本集
上计算第二监督损失函数
的值：
第一、第二分割网络相互配合，逐步过滤出标签不正确的样本；
(3c4)通过
和
计算第一分割网络的损失函数L1的值l1，通过
和
计算第二分割网络的损失函数L2的值l2：
λ(t)＝exp[-5(1-t/tmax)2]
其中，λ(t)是一致性损失Lu的权重系数，exp(·)是以自然常数e为底的指数函数；
(3d)计算l1对
的偏导
l2对
的偏导
最后采用Adam优化器，通过
分别对
进行更新，得到本次迭代的医学图像分割网络模型；
(3e)判断t≥tmax是否成立，若是，得到训练好的的医学图像分割网络模型，否则，令t＝t+1，并执行步骤(3b)；
步骤4.获取医学图像的分割结果：
选择训练好的的医学图像分割网络模型中第一分割网络、第二分割网络的分割预测结果中精度较高的分割网络作为最终的医学图像分割网络模型，并将测试样本集作为该网络模型输入进行前向传播，其中包含的U-Net1网络或U-Net2网络的输出结果即为所有测试样本的分割结果。
下面结合仿真实验，对本发明的技术效果作进一步的描述。
1.仿真条件和内容：
仿真实验是基于PyTorch在NVIDIA Tesla V100 GPU上进行，用Adam对网络参数进行优化，学习率的初始值为0.001，μ＝0.8，τ＝0.005，仿真实验中用到的医学图像数据集为LIDC-IDR数据集，由1010个肺部患者的1018个肺部CT扫描组成，CT分辨率在0.4609mm～0.9766mm之间，由四位专家手工标注病灶注释，随机选择一个非空注释作为每个图像的标签，以病变区域为中心将图像裁剪为128×128像素，分别使用11490张和1510张图像进行训练和测试，对整个数据集80％的标签进行边界偏移后进行形状扭曲。
采用三个指标评价分割算法：1)骰子相似系数DSC衡量分割后的掩码与各类地面真实值的重叠率，越大越好；2)平均表面距离ASD用于评估分割结果轮廓与地面真实值之间的偏差，越小越好；3)平均表面重叠ASO测量分割结果轮廓与地面真实值的重叠率，越大越好。
本发明与现有的CLE方法：“Characterizing label errors:Confident learningfor noisy-labeled image segmentation”进行对比仿真，其结果如表1所示。
表1
| 方法 | DSC | ASD | ASO |
| CLE方法 | 60.04 | 2.289 | 77.98 |
| 本发明方法 | 71.89 | 1.874 | 84.35 |
结合表1可以看出，本发明的DSC比CLE方法高11.85％，这个指标高于现有技术方法，证明本发明可以有效提高存在噪声标签的图像分割的精度，是一种性能优异的基于双分割模型的医学图像分割方法。
Claims (7)
1.一种基于双分割模型的医学图像分割方法，其特征在于，包括如下步骤：
(1)获取训练样本集和测试样本集：
对从医学图像数据集中随机选取的M幅带有真实标签的医学图像进行数据预处理，并将预处理后的M1幅医学图像作为训练数据集，然后将剩余预处理后医学图像中M2幅的真实标签进行边界偏移后进行形状扭曲，生成噪声标签，再将训练数据集以及标注有噪声标签的M2幅医学图像组成包含D个像素的训练样本集X，将M3幅带有真实标签的医学图像作为测试样本集，其中，M≥300，
M3＝M-M1-M2；
(2)构建基于双分割模型的医学图像分割网络模型：
(2a)构建基于双分割模型的医学图像分割网络模型的结构：
构建包括两个并行排布的第一分割网络和第二分割网络的医学图像分割网络，其中第一分割网络包括U-Net1网络以及与其连接且并行排布的第一噪声数据清理模块和第一可靠知识相互蒸馏模块，第二分割网络包括U-Net2网络以及与其连接且并行排布的第二噪声数据清理模块和第二可靠知识相互蒸馏模块；U-Net1网络和U-Net2网络均包括顺次连接的由多个串联下采样模块组成的编码器和由多个串联上采样模块组成的解码器；第一可靠知识相互蒸馏模块包括顺次连接的数据增强模块、改进的U-Net1网络和可靠数据筛选模块，第二可靠知识相互蒸馏模块包括顺次连接的数据增强模块、改进的U-Net2网络和可靠数据筛选模块；改进的U-Net1网络、改进的U-Net2网络是在U-Net1网络、U-Net2网络的每个下采样模块中插入一个dropout层；第一噪声数据清理模块的输出和第二噪声数据清理模块的输出连接，第一可靠知识相互蒸馏模块的输出和第二可靠知识相互蒸馏模块的输出连接；
(2b)定义基于双分割模型的医学图像分割网络模型的损失函数：
定义第一分割网络、第二分割网络的损失函数分别为L1、L2：
λ(t)＝exp[-5(1-t/tmax)2]
其中，
分别表示第一监督损失函数、第一一致性损失函数，
分别表示第二监督损失函数、第二一致性损失函数，λ(t)是一致性损失Lu的权重系数，exp(·)是以自然常数e为底的指数函数，t为迭代次数，tmax为最大迭代次数；V1、V2分别是U-Net1网络、U-Net2网络分割预测的结果P1、P2与P1、P2对应的由M1个真实标签和M2个噪声标签组成的标签集的交叉熵损失值，
分别是第一噪声数据清理模块、第二噪声数据清理模块筛选出的干净像素的样本集；DKL(·)表示Kullback-Leibler散度，
分别是第一可靠知识相互蒸馏模块、第二可靠知识相互蒸馏模块选择的可靠像素的样本集，Q1是通过第一可靠知识相互蒸馏模块中的数据增强模块对P1的增强结果，Q2是通过第二可靠知识相互蒸馏模块中的数据增强模块对P2的增强结果，
是第一可靠知识相互蒸馏模块中的改进的U-Net1网络分割预测的结果，
是第二可靠知识相互蒸馏模块中的改进的U-Net2网络分割预测的结果；
(3)对基于双分割模型的医学图像分割网络模型进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为tmax，tmax≥50，第t次迭代U-Net1网络、U-Net2网络的参数分别为
和
并令t＝0；
(3b)将训练样本集作为医学图像分割网络模型的输入，第一分割网络中的U-Net1网络、第二分割网络中的U-Net2网络分别对每个训练样本进行分割预测，得到U-Net1对训练样本集的分割预测结果P1、U-Net2对训练样本集的分割预测结果P2；
(3c)第一分割网络、第二分割网络采用损失函数L1、L2，并通过P1、P2计算第一分割网络、第二分割网络的损失函数值l1、l2；然后计算l1对
的偏导
l2对
的偏导
最后采用Adam优化器，通过
分别对
进行更新，得到本次迭代的医学图像分割网络模型；
(3d)判断t≥tmax是否成立，若是，得到训练好的的医学图像分割网络模型，否则，令t＝t+1，并执行步骤(3b)；
(4)获取医学图像的分割结果：
选择训练好的的医学图像分割网络模型中第一分割网络、第二分割网络的分割预测结果中精度较高的分割网络作为最终的医学图像分割网络模型，并将测试样本集作为该网络模型输入进行前向传播，其中包含的U-Net1网络或U-Net2网络的输出结果即为所有测试样本的分割结果。
2.根据权利要求1所述的基于双分割模型的医学图像分割方法，其特在于，步骤(1)中所述的对从医学图像数据集中随机选取的M幅带有真实标签的医学图像进行数据预处理，具体为：对每幅带有真实标签的医学图像进行归一化；对归一化后的每幅医学图像进行以分割区域为中心对图像裁剪，得到M幅预处理的医学图像。
3.根据权利要求1所述的基于双分割模型的噪声标注的医学图像分割方法，其特在于，步骤(2a)中所述的U-Net1网络和改进的U-Net1网络，均包括输入层、四个顺次连接的下采样模块、四个顺次连接的上采样模块、输出层：
U-Net1网络的输入层包括顺次连接的第一卷积、BN层、ReLU激活函数、第二卷积、BN层、ReLU激活函数；
U-Net1网络的下采样包括顺次连接的最大池化层、第一卷积、BN层、ReLU激活函数、第二卷积、BN层、ReLU激活函数；
U-Net1网络的上采样包括顺次连接的线性插值、计算与Contracting path相对应特征图相差距离、padding、拼接、第一卷积、BN层、ReLU激活函数、第二卷积、BN层、ReLU激活函数；
改进的U-Net1网络的输入层包括顺次连接的第一卷积、BN层、ReLU激活函数、第二卷积、BN层、ReLU激活函数；
改进的U-Net1网络的下采样包括顺次连接的最大池化层、第一卷积、BN层、ReLU激活函数、第二卷积、BN层、ReLU激活函数、dropout层；
改进的U-Net1网络的上采样包括顺次连接的线性插值、计算与Contracting path相对应特征图相差距离、padding、拼接、第一卷积、BN层、ReLU激活函数、第二卷积、BN层、ReLU激活函数。
4.根据权利要求1所述的基于双分割模型的医学图像分割方法，其特征在于，步骤(3c)中所述的第一分割网络、第二分割网络采用损失函数L1、L2，并通过P1、P2计算第一分割网络、第二分割网络的损失函数值L1、L2，实现步骤为：
(3c1)第一分割网络中的第一噪声数据清理模块采用交叉熵损失函数，并通过U-Net1网络输出的分割预测结果P1与和P1对应的由M1个真实标签和M2个噪声标签组成的标签集计算交叉熵损失V1，然后通过V1对训练样本集进行筛选，得到一组具有干净像素的样本集
同时第一可靠知识相互蒸馏模块中的数据增强模块对U-Net1网络输出的分割预测结果P1以及训练样本集包含的医学图像X进行数据增强；改进的U-Net1网络对X的增强结果
进行分割预测；第一可靠知识相互蒸馏模块中的可靠数据筛选模块根据P1的增强结果Q1和
的分割预测结果
之间的一致性，筛选出一组可靠的像素集
(3c2)第二分割网络中的第二噪声数据清理模块采用交叉熵损失函数，并通过U-Net2网络输出的分割预测结果P2与和P2对应的由M1个真实标签和M2个噪声标签组成的标签集计算交叉熵损失V2，然后通过V2对训练样本集进行筛选，得到一组具有干净像素的样本集
同时第二可靠知识相互蒸馏模块中的数据增强模块对U-Net2网络输出的分割预测结果P2以及训练样本集包含的医学图像X进行数据增强；改进的U-Net2网络对X的增强结果
进行分割预测；第二可靠知识相互蒸馏模块中的可靠数据筛选模块根据P2的增强结果Q2和
的分割预测结果
之间的一致性，筛选出一组可靠的像素集
(3c3)采用一致性损失函数，并通过
和Q2在可靠的像素集
上计算第一一致性损失函数
的值，通过
和Q1在可靠的像素集
上计算第二一致性损失函数
的值；同时采用监督损失函数，并通过V1在干净像素的样本集
上计算第一监督损失函数
的值，通过V2在干净像素的样本集
上计算第二监督损失函数
的值；
(3c4)通过
和
计算第一分割网络的损失函数L1的值，通过
和
计算第二分割网络的损失函数L2的值。
5.根据权利要求2所述的基于双分割模型的医学图像分割方法，其特征在于，步骤(3c1)中所述的交叉熵损失V1，以及具有干净像素的样本集
计算、筛选公式分别为：
其中，Y(i,k)∈{0,1}表示第i个像素是否为第k个类，K表示类总数，P1(i,k)为第i个像素属于第k类的概率，ρ(t)表示筛选干净样本的比例，τ是常数。
6.根据权利要求2所述的基于双分割模型的医学图像分割方法，其特征在于，步骤(3c1)所述的第一可靠知识相互蒸馏模块中的数据增强模块对U-Net1网络输出的分割预测结果P1以及训练样本集包含的医学图像X进行数据增强，实现方法为：当t＜10时，对U-Net1网络输出的分割预测结果P1和训练样本集包含的医学图像X进行随机翻转后添加高斯噪声，实现对P1和X的数据增强，否则，对U-Net1网络输出的分割预测结果P1和训练样本集包含的医学图像X进行随机翻转后添加高斯噪声，再进行deform操作，实现对P1和X的数据增强。
7.根据权利要求2所述的基于双分割模型的医学图像分割方法，其特征在于，步骤(3c1)所述的筛选出一组可靠的像素集
筛选公式为：
ξ(t)＝min(μexp[-5(1-t/tmax)2],1)
其中，ξ(t)表示可靠样本的比例，μ是一个常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210676102.XA CN114998362B (zh) | 2022-06-15 | 2022-06-15 | 基于双分割模型的医学图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210676102.XA CN114998362B (zh) | 2022-06-15 | 2022-06-15 | 基于双分割模型的医学图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114998362A true CN114998362A (zh) | 2022-09-02 |
| CN114998362B CN114998362B (zh) | 2024-08-20 |
Family
ID=83034383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210676102.XA Active CN114998362B (zh) | 2022-06-15 | 2022-06-15 | 基于双分割模型的医学图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114998362B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188294A (zh) * | 2022-12-22 | 2023-05-30 | 东莞理工学院 | 用于医学图像的数据增强方法、系统、智能终端及介质 |
| CN117077763A (zh) * | 2023-10-18 | 2023-11-17 | 贵州白山云科技股份有限公司 | 一种模型可更新的注入攻击检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019135234A1 (en) * | 2018-01-03 | 2019-07-11 | Ramot At Tel-Aviv University Ltd. | Systems and methods for the segmentation of multi-modal image data |
| CN113298830A (zh) * | 2021-06-22 | 2021-08-24 | 西南大学 | 一种基于自监督的急性颅内ich区域图像分割方法 |
| WO2021184817A1 (zh) * | 2020-03-16 | 2021-09-23 | 苏州科技大学 | 一种医学图像中肝脏及其病灶分割的方法 |
-
2022
- 2022-06-15 CN CN202210676102.XA patent/CN114998362B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019135234A1 (en) * | 2018-01-03 | 2019-07-11 | Ramot At Tel-Aviv University Ltd. | Systems and methods for the segmentation of multi-modal image data |
| WO2021184817A1 (zh) * | 2020-03-16 | 2021-09-23 | 苏州科技大学 | 一种医学图像中肝脏及其病灶分割的方法 |
| CN113298830A (zh) * | 2021-06-22 | 2021-08-24 | 西南大学 | 一种基于自监督的急性颅内ich区域图像分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHAOWEI FANG等: "Reliable Mutual Distillation for Medical Image Segmentation Under Imperfect Annotations", 《IEEE TRANSACTIONS ON MEDICAL IMAGING 》, 18 January 2023 (2023-01-18) * |
| 施俊;汪琳琳;王珊珊;陈艳霞;王乾;魏冬铭;梁淑君;彭佳林;易佳锦;刘盛锋;倪东;王明亮;张道强;沈定刚;: "深度学习在医学影像中的应用综述", 中国图象图形学报, no. 10, 16 October 2020 (2020-10-16) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188294A (zh) * | 2022-12-22 | 2023-05-30 | 东莞理工学院 | 用于医学图像的数据增强方法、系统、智能终端及介质 |
| CN116188294B (zh) * | 2022-12-22 | 2023-09-19 | 东莞理工学院 | 用于医学图像的数据增强方法、系统、智能终端及介质 |
| CN117077763A (zh) * | 2023-10-18 | 2023-11-17 | 贵州白山云科技股份有限公司 | 一种模型可更新的注入攻击检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114998362B (zh) | 2024-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6710135B2 (ja) | 細胞画像の自動分析方法及びシステム | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| Shaziya et al. | Automatic lung segmentation on thoracic CT scans using U-net convolutional network | |
| CN109685060B (zh) | 图像处理方法和装置 | |
| US9607391B2 (en) | Image object segmentation using examples | |
| CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
| US20210326638A1 (en) | Video panoptic segmentation | |
| CN114998362B (zh) | 基于双分割模型的医学图像分割方法 | |
| CN112150442A (zh) | 基于深度卷积神经网络及多实例学习的新冠诊断系统 | |
| CN107424171A (zh) | 一种基于分块的抗遮挡目标跟踪方法 | |
| JP7427080B2 (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
| AU2020272936B2 (en) | Methods and systems for crack detection using a fully convolutional network | |
| Zhou et al. | Optic disc and cup segmentation in retinal images for glaucoma diagnosis by locally statistical active contour model with structure prior | |
| CN109271848A (zh) | 一种人脸检测方法及人脸检测装置、存储介质 | |
| CN116152266A (zh) | 一种穿刺针超声图像的分割方法、装置和系统 | |
| Zhang et al. | Geometric loss for deep multiple sclerosis lesion segmentation | |
| Stevšič et al. | Spatial attention improves iterative 6D object pose estimation | |
| CN116523983B (zh) | 融合多路径特征与器官形态导向的胰腺ct图像配准方法 | |
| Delmoral et al. | Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study | |
| Möller et al. | Analysis of Arabidopsis Root Images--Studies on CNNs and Skeleton-Based Root Topology | |
| Khan et al. | Segmentation of single and overlapping leaves by extracting appropriate contours | |
| CN117173075A (zh) | 医学图像检测方法及相关设备 | |
| CN114067240A (zh) | 一种融合行人特性的在线更新策略行人单目标跟踪方法 | |
| CN111815613A (zh) | 一种基于包膜线形态特征分析的肝硬化疾病分期识别方法 | |
| Hsu et al. | Contour extraction in medical images using initial boundary pixel selection and segmental contour following |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |