CN113129309B - 基于对象上下文一致性约束的医学图像半监督分割系统 - Google Patents
基于对象上下文一致性约束的医学图像半监督分割系统 Download PDFInfo
- Publication number
- CN113129309B CN113129309B CN202110241269.9A CN202110241269A CN113129309B CN 113129309 B CN113129309 B CN 113129309B CN 202110241269 A CN202110241269 A CN 202110241269A CN 113129309 B CN113129309 B CN 113129309B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- supervised
- semi
- image
- object context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 86
- 239000013598 vector Substances 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000003754 machining Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 21
- 238000011144 upstream manufacturing Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 10
- 210000002307 prostate Anatomy 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 206010035664 Pneumonia Diseases 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000005337 ground glass Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 206010027145 Melanocytic naevus Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000007256 Nevus Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001625 seminal vesicle Anatomy 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 201000010653 vesiculitis Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于对象上下文一致性约束的医学图像半监督分割系统，包括图像粗加工模块，图像粗加工模块包括多个粗加工层，除底部以外的粗加工层设有编码器和解码器，还包括级联的字符识别模块，顶部的粗加工层的编码器获取未标注的初始医学图像，解码器输出粗分割图到字符识别模块，字符识别模块之间设有卷积层，融合来自粗加工层的低层信息和上一级字符识别模块的输出特征，得到细分割图，字符识别模块生成对象上下文特征向量并拼接计算得到增强特征图，从而设置一致性约束，对粗分割图和细分割图进行半监督训练，得到医学标注图像。与现有技术相比，本发明具有有效提升模型的特征提取能力、从无标注数据中学习更抗扰动的全局特征等优点。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其是涉及一种基于对象上下文一致性约束的医学图像半监督分割系统。
背景技术
医学图像是通过特定医学仪器采集到的人体组织或器官的影像，在临床诊断治疗中具有至关重要的作用。由于成像机理的不同，医学图像不仅种类很多，而且相差迥异。目前被广泛应用于临床诊断的医学图像有核磁共振成像、血管镜图片、计算机断层扫描、病理切片、超声波成像、X光片和核医学成像。面对特定的人体组织器官和病症时，需要针对性地选择适用于诊断相应病症的医学图像来辅助治疗。
在深度学习的背景下，医学图像分割任务的目标是训练出能够正确分割目标器官病灶区域的模型。模型的分割结果能够在临床治疗中为医生提供建议，还能够估计放射治疗的剂量和测定肿瘤的体积。分割模型需要经数据集训练后才能投入使用，对于医学数据集，因为标注成本高，标注数据往往只有数百到数千的量级。但可以获取到大量的未标注医学数据。因此，为了充分利用无标注样本提高模型性能，近年来半监督学习成为了医学图像分割领域的热点研究方向。目前在分割领域常见的思路有：一、使用模型去生成假标签来供无标注数据训练使用；二、使用对抗生成网络来约束模型对数据的理解。但是伪标签和对抗生成网络的方法训练存在过错不稳定，流程复杂的问题，影响最终分割结果的准确性。
发明内容
本发明的目的就是为了克服上述现有技术存在的训练过程不稳定、流程复杂的缺陷而提供一种基于对象上下文一致性约束的医学图像半监督分割系统，学习不易受扰动影响的全局上下文特征。
本发明的目的可以通过以下技术方案来实现：
一种基于对象上下文一致性约束的医学图像半监督分割系统，包括图像粗加工模块，所述图像粗加工模块为U型网络结构，包括多个粗加工层，U型网络底部的粗加工层仅设有1个编码器，其余每个粗加工层设有1个编码器和1个解码器，解码器之间进行上采样数据传输，顶部的粗加工层的编码器获取未标注的初始医学图像，还包括级联的字符识别(OCR)模块，顶部的粗加工层的解码器输出粗分割图到各个字符识别模块，字符识别模块之间设有卷积层，卷积层融合来自相应粗加工层编码器的低层信息和上一级字符识别模块的输出特征，得到细分割图，同时每个字符识别模块生成对象上下文特征向量并拼接计算得到增强特征图，根据对象上下文特征向量和增强特征图设置一致性约束，根据所述一致性约束对粗分割图和细分割图进行半监督训练，得到最终的医学标注图像。
所述字符识别模块根据粗分割图将卷积层输出的特征图从空间上按类别进行聚类，生成对象上下文特征向量。
所述卷积层的类型具体为两组3×3卷积层。
进一步地，所述级联的字符识别模块的末端通过两组3×3卷积层与1个卷积层以及1个1×1卷积层相连，输出细分割图。
所述编码器包括1个最大池化层和2个卷积层，所述解码器包括2个卷积层。
字符识别模块生成的对象上下文特征向量是对输入特征图上各物体区域所有信息的浓缩汇总。
所述字符识别模块中，增强特征图根据上一级字符识别模块的输出特征中的上游特征图和对象上下文特征向量拼接后对应的对象上下文特征图计算得到，对象上下文特征图的计算公式如下所示：
其中，yi为对象上下文特征图在空间位置i的向量，K为粗分割图的数量，fk为对象上下文特征向量，ρ为过程变换方程，ωik为像素区域关系值，像素区域关系值基于像素区域关系图，具体计算公式如下所示：
其中，Xi为上游特征图中的物体类别，κ(x,f)＝φ(x)Tψ(f)，φ和ψ是两个结构相同的变换方程，由一组1×1卷积、批量标准化层和ReLU激活函数组成。
所述粗分割图和上游特征图在各空间上点乘计算出物体区域图，每个物体区域图对应一种分割类别，通过物体区域图和上游特征图进行对应元素乘积并进行全局池化得到各个类别的上下文特征向量。
所述半监督训练采用Mean Teacher半监督框架，Mean Teacher半监督框架包括学生模型和教师模型，学生模型使用反向传播来学习参数，教师模型生成目标分割掩膜以供学生模型进行无监督部分的学习，通过使用指数移动平均进行参数更新，具体公式如下所示：
θ′t＝βθ′t-1+(1-β)θt
其中，θ′t为本次迭代中教师模型的模型参数，θ′t-1为上次迭代中教师模型的模型参数，θt为本次迭代中学生模型的模型参数，β为平滑参数。β决定了教师模型对当前学生模型参数的依赖程度。β越大，教师模型就更依赖于以往的教师模型参数；反之，若β＝0，教师模型每次更新就直接沿用学生模型的参数。
所述Mean Teacher半监督框架的总损失包括监督学习损失和正则化项损失，表达式具体如下所示：
其中，θ为模型参数，L为监督损失函数，R为无监督部分的正则化损失函数，λ为权重项，xi为上游特征图在空间位置i的向量，
为标注数据的集合，
为未标注数据的集合，Q和P分别为未标注数据和标注数据的数量。
监督学习损失具体为细分割图训练时的损失，正则化项损失具体为粗分割图训练时的损失，计算公式具体如下：
其中，
为总损失，
为细分割图训练时的损失，
为粗分割图训练时的损失，α为权重参数，用于调整损失函数中正则化损失的比例，具体计算公式如下所示：
α＝exp(-5(1-iter/maxiter)2)
其中，iter为当前迭代次数，maxiter为最大迭代次数。在训练初期，监督学习损失占主导地位，随后正则化损失慢慢增加。
进一步地，所述监督学习损失根据交叉熵损失函数和交并比损失函数进行计算，具体公式如下所示：
其中，LCE为交叉熵损失函数，LIoU为交并比损失函数，RMSE为均方误差约束，Rcosine为对象上下文特征向量的不变性约束，γ为过程参数。
进一步地，所述均方误差约束的计算公式具体如下所示：
其中，M为粗分割图或细分割图的图像像素的集合，
为第i个像素在学生模型中分割结果和目标真值的数值概率，
为第i个像素在教师模型中分割结果和目标真值的数值概率；
所述不变性约束的计算公式具体如下所示：
其中，N为字符识别模块的数量，
为教师模型的对象上下文特征向量，
为学生模型的对象上下文特征向量。
与现有技术相比，本发明具有以下有益效果：
本发明通过U型网络结构的图像粗加工模块生成粗分割图，由级联的字符识别模块在全局信息的基础上不断精细化，得到细分割图，同时生成对象上下文特征向量和增强特征图，以此来对输出的粗分割图和细分割图进行具有一致性约束的半监督训练，相比于传统的医学图像半监督分割模型，能够使半监督模型学习到不易受扰动影响的全局上下文特征，有效利用大量未标注数据生成医学标注数据，提高最终医学分割图像的准确性。
附图说明
图1为本发明的结构示意图；
图2为本发明字符识别模块的结构示意图；
图3为本发明实施例中ISIC数据集上的分割效果可视化的示意图；
图4为本发明实施例中前列腺器官分割数据集上的分割效果可视化的示意图；
图5为本发明实施例中Covid-SemiSeg数据集上的分割效果可视化的示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
如图1所示，一种基于对象上下文一致性约束的医学图像半监督分割系统，使用COCRU-Net模型，包括图像粗加工模块，图像粗加工模块为U型网络结构，包括多个粗加工层，U型网络底部的粗加工层仅设有1个编码器，其余每个粗加工层设有1个编码器和1个解码器，解码器之间进行上采样数据传输，顶部的粗加工层的编码器获取未标注的初始医学图像，还包括级联的字符识别(OCR)模块，顶部的粗加工层的解码器输出粗分割图到各个字符识别模块，字符识别模块之间设有卷积层，卷积层融合来自相应粗加工层编码器的低层信息和上一级字符识别模块的输出特征，得到细分割图，同时每个字符识别模块生成对象上下文特征向量并拼接计算得到增强特征图，根据对象上下文特征向量和增强特征图设置一致性约束，根据一致性约束对粗分割图和细分割图进行半监督训练，得到最终的医学标注图像。
字符识别模块根据粗分割图将卷积层输出的特征图从空间上按类别进行聚类，生成对象上下文特征向量，OCR模块能够提取到物体类别明确的上下文信息。
卷积层的类型具体为两组3×3卷积层。
级联的字符识别模块的末端通过两组3×3卷积层与1个卷积层以及1个1×1卷积层相连，输出细分割图。
编码器包括1个最大池化层和2个卷积层，解码器包括2个卷积层。
字符识别模块生成的对象上下文特征向量是对输入特征图上各物体区域所有信息的浓缩汇总。
如图2所示，字符识别模块中，增强特征图根据上一级字符识别模块的输出特征中的上游特征图和对象上下文特征向量拼接后对应的对象上下文特征图计算得到，对象上下文特征图的计算公式如下所示：
其中，yi为对象上下文特征图在空间位置i的向量，K为粗分割图的数量，fk为对象上下文特征向量，ρ为过程变换方程，ωik为像素区域关系值，像素区域关系值基于像素区域关系图，具体计算公式如下所示：
其中，Xi为上游特征图中的物体类别，κ(x,f)＝φ(x)Tψ(f)，φ和ψ是两个结构相同的变换方程，由一组1×1卷积、批量标准化层和ReLU激活函数组成。
粗分割图和上游特征图在各空间上点乘计算出物体区域图，每个物体区域图对应一种分割类别，通过物体区域图和上游特征图进行对应元素乘积并进行全局池化得到各个类别的上下文特征向量。
半监督训练采用Mean Teacher半监督框架，Mean Teacher半监督框架包括学生模型和教师模型，学生模型使用反向传播来学习参数，教师模型生成目标分割掩膜以供学生模型进行无监督部分的学习，通过使用指数移动平均进行参数更新，具体公式如下所示：
θ′t＝βθ′t-1+(1-β)θt
其中，θ′t为本次迭代中教师模型的模型参数，θ′t-1为上次迭代中教师模型的模型参数，θt为本次迭代中学生模型的模型参数，β为平滑参数。β决定了教师模型对当前学生模型参数的依赖程度。β越大，教师模型就更依赖于以往的教师模型参数；反之，若β＝0，教师模型每次更新就直接沿用学生模型的参数。本实施例中，设置平滑参数β＝0.999。
Mean Teacher半监督框架的总损失包括监督学习损失和正则化项损失，表达式具体如下所示：
其中，θ为模型参数，L为监督损失函数，R为无监督部分的正则化损失函数，λ为权重项，xi为上游特征图在空间位置i的向量，
为标注数据的集合，
为未标注数据的集合，Q和P分别为未标注数据和标注数据的数量。
监督学习损失具体为细分割图训练时的损失，正则化项损失具体为粗分割图训练时的损失，计算公式具体如下：
其中，
为总损失，
为细分割图训练时的损失，
为粗分割图训练时的损失，α为权重参数，用于调整损失函数中正则化损失的比例，具体计算公式如下所示：
α＝exp(-5(1-iter/maxiter)2)
其中，iter为当前迭代次数，maxiter为最大迭代次数。在训练初期，监督学习损失占主导地位，随后正则化损失慢慢增加。本实施例中，粗分割的输出损失配比α设置为0.4。
监督学习损失根据交叉熵损失函数和交并比损失函数进行计算，具体公式如下所示：
其中，LCE为交叉熵损失函数，LIoU为交并比损失函数，RMSE为均方误差约束，Rcosine为对象上下文特征向量的不变性约束，γ为过程参数。
均方误差约束的计算公式具体如下所示：
其中，M为粗分割图或细分割图的图像像素的集合，
为第i个像素在学生模型中分割结果和目标真值的数值概率，
为第i个像素在教师模型中分割结果和目标真值的数值概率；
不变性约束的计算公式具体如下所示：
其中，N为字符识别模块的数量，
为教师模型的对象上下文特征向量，
为学生模型的对象上下文特征向量。
如图3所示，使用ISIC皮肤损伤分割挑战数据集进行测试，其中包括黑色素瘤和痣的图片，分割任务包含2000份标注过的训练集和600份数据的测试集，为了进行半监督模型训练，训练集被随机划为100张标注数据和1900张无标注数据，具体的测试数据如表1所示：
表1 ISIC数据集测试结果
| Dice | IoU | Precision | Recall | |
| U-Net | 0.5782 | 0.4828 | 0.6703 | 0.7055 |
| U-Net++ | 0.6348 | 0.5306 | 0.7506 | 0.6876 |
| TCSM V2 | 0.7055 | 0.5563 | 0.6872 | 0.7644 |
| COCRU-Net | 0.7630 | 0.6711 | 0.8459 | 0.7808 |
表1的结果显示，从四项指标来看，COCRU-Net相比基线模型具有明显的提升。从图3的结果可以看出得益于对无标注数据的学习，两个半监督模型的效果要远好于监督模型的U-Net和U-Net++。而两个半监督模型中，COCRU-Net比TCSM V2的分割结果更好，对于困难输入图像(如图4.4第2和第4列)的分割也具有更好的鲁棒性。
如图4所示，使用核磁共振成像仪器采集男性病患的下腹部T2数据，并由数名专业医师使用ITK-SNAP软件对这些MRI数据进行标注，并通过医师间交叉检查来确保标注的正确性。该数据集的任务是分割出男性前列腺及其周围高危器官，来辅助医生诊断和进行术前器官建模分析。因此标注的种类共3种，包括前列腺(prostate)、直肠(rectum)和精囊(seminal vesicles)。数据集划分为训练集数据2387份，测试集数据582份。训练集的半监督训练具体设置为，有监督学习部分为400张标注数据，无监督学习部分为1987张，具体的测试结果如表2所示：
表2前列腺器官分割数据集测试结果
表2的结果显示，与U-Net相比，COCRU-Net在各分割类别的Dice系数上都有25％左右的提升。与半监督模型TCSM V2相比，在前列腺这一类别上，有明显的提升，COCRU-Net的Dice系数提高了约11％。从图4的结果中可以看出半监督模型TSCM V2和COCRU-Net的分割输出比Baseline模型的输出更加精确，周围无关区域的噪点更少，鲁棒性更好。而在COCRU-Net输出中，前列腺器官的分割比TSCM V2的分割更加贴合目标组织区域。这说明了COCRU-Net相比基线半监督模型，具有更强的特征学习能力，能够更充分地利用未标注数据进行学习。
如图5所示，COVID-SemiSeg数据集包括98张标注过的新冠肺炎病人的胸部CT扫描和1600张未标注但确诊为新冠肺炎的CT数据。在数据集划分上，50张标注数据和1600未标注数据作为训练集，48张标注扫描作为测试集。该数据一共标注了两种病灶，包括毛玻璃模糊(ground-glass opacity,GGO)和肺实质化病变(lung consolidation)，具体的测试结果如表3所示：
在Covid-SemiSeg数据集里，只有50份标注数据。而且两种标注类别，毛玻璃模糊和肺实质化病变在形态上比较接近，导致医生手动标注的标准有所差别。表3的结果显示，相比于之前两个数据集上的实验，Covd-SemiSeg数据集上各个模型的Dice系数和交并比指标大大降低。在这样困难的实验数据设置下，在各分割类别上，COCRU-Net的Dice系数比U-Net高出15％左右，比使用假标签进行半监督训练的Inf-Net高出10％左右，比同样使用Mean Teacher半监督框架的TSCM V2高出5％左右。这说明COCRU-Net相比基线模型能够更好地应对困难数据集。如如图5所示的第4列图像，当模型没有足够能力分割出病灶时，模型倾向于分割出更大的区域，甚至覆盖掉整个肺部，这样会导致模型的精密度很低。而COCRU-Net的这种倾向是四种模型里最小的。
为了探究在不同标注/未标注配比下模型的表现，本实施例在ISIC分割训练集设置了6种配比(记作β)，50/1950，100/1900，200/1800，500/1500，1000/1000，2000/0。标注数据的占比逐渐上升。实验的模型共三种，半监督模型COCRU-Net和TCSM V2，以及不使用未标注数据的U-Net模型，具体结果如表4所示：
表4ISIC数据集上的标注训练实验结果
表4的结果显示，COCRU-Net在所有配比设置下的效果都优于监督基线模型U-Net和半监督模型TCSM V2，这说明了本发明的模型有更强的特征提取能力，对无标注数据的利用更充分。虽然随着标注数据的增加，三个模型的表现都在不断提升。但在β较小的时候，COCRU-Net的效果更好，并随着β增大，COCRU-Net比其他模型更快地收敛到2000/0的性能上限。
相比于使用监督学习的原始U-Net模型，本发明提出的半监督模型COCRU-Net主要有三个改进，一是Cascaded OCR模块，二是对象上下文向量的一致性约束，三是使用MeanTeacher进行半监督学习。虽然COCRU-Net的分割效果比起原始U-Net提升，但是各块改进具体的提升尚不明确。因此，本实施例在前列腺器官分割数据集上进行COCRU-Net的消融实验，该数据集上，标注训练数据400份，无标注训练数据1987份。消融实验中各个模型设置如下：原始U-Net作为基础的对照模型(记作U-Net)；带有Cascaded OCR模块的COCRU-Net模型，但不进行半监督学习(记作COCR)；使用Mean Teacher框架进行半监督学习的COCRU-Net模型，但不使用上下文向量进行一致性约束(记作COCR+MT)；使用所有改进和所有数据的COCRU-Net(COCRU-Net)，测试结果如表5所示：
表5前列腺器官分割数据集的消融实验结果
表5的结果显示，四种设置下，在U-Net的基础上不断添加新的模块和无标注数据，模型效果也不断提高。可以看出在仅仅在U-Net上添加Cascaded OCR模块就能够在各个分割类别上提升10％的Dice Score。在使用Cascaded OCR模块的基础上，进行Mean Teacher半监督学习又可以提升5％左右的效果，这说明了模型能够从大量无标注数据中学习到有效的特征。对比COCR+MT和COCRU-Net两组实验，可以发现上下文特征约束能够有效提升各个分割类别的效果，Dice Score增加4％左右。通过消融实验证明了本发明提出的CascadedOCR模块能够有效提升模型的特征提取能力；上下文向量一致性约束使模型能从无标注数据中学习更抗扰动的全局特征。
此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (10)
1.一种基于对象上下文一致性约束的医学图像半监督分割系统，包括图像粗加工模块，所述图像粗加工模块为U型网络结构，包括多个粗加工层，U型网络底部的粗加工层仅设有1个编码器，其余每个粗加工层设有1个编码器和1个解码器，解码器之间进行上采样数据传输，顶部的粗加工层的编码器获取未标注的初始医学图像，其特征在于，还包括级联的字符识别模块，顶部的粗加工层的解码器输出粗分割图到各个字符识别模块，字符识别模块之间设有卷积层，卷积层融合来自相应粗加工层编码器的低层信息和上一级字符识别模块的输出特征，得到细分割图，同时每个字符识别模块生成对象上下文特征向量并拼接计算得到增强特征图，根据对象上下文特征向量和增强特征图设置一致性约束，根据所述一致性约束对粗分割图和细分割图进行半监督训练，得到最终的医学标注图像。
2.根据权利要求1所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述字符识别模块根据粗分割图将卷积层输出的特征图从空间上按类别进行聚类，生成对象上下文特征向量。
3.根据权利要求1所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述卷积层的类型具体为两组3×3卷积层。
4.根据权利要求3所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述级联的字符识别模块的末端通过两组3×3卷积层与1个卷积层以及1个1×1卷积层相连，输出细分割图。
5.根据权利要求1所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述编码器包括1个最大池化层和2个卷积层，所述解码器包括2个卷积层。
6.根据权利要求1所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述字符识别模块中，增强特征图根据上一级字符识别模块的输出特征中的上游特征图和对象上下文特征向量拼接后对应的对象上下文特征图计算得到，对象上下文特征图的计算公式如下所示：
其中，yi为对象上下文特征图在空间位置i的向量，K为粗分割图的数量，fk为对象上下文特征向量，ρ为过程变换方程，ωik为像素区域关系值，像素区域关系值基于像素区域关系图，具体计算公式如下所示：
其中，Xi为上游特征图中的物体类别，κ(x，f)＝φ(x)Tψ(f)，φ和ψ是两个结构相同的变换方程，由一组1×1卷积、批量标准化层和ReLU激活函数组成。
7.根据权利要求1所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述半监督训练采用Mean Teacher半监督框架，Mean Teacher半监督框架包括学生模型和教师模型，学生模型使用反向传播来学习参数，教师模型生成目标分割掩膜以供学生模型进行无监督部分的学习，通过使用指数移动平均进行参数更新，具体公式如下所示：
θ′t＝βθ′t-1+(1-β)θt
其中，θ′t为本次迭代中教师模型的模型参数，θ′t-1为上次迭代中教师模型的模型参数，θt为本次迭代中学生模型的模型参数，β为平滑参数。
8.根据权利要求7所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述Mean Teacher半监督框架的总损失包括监督学习损失和正则化项损失，监督学习损失具体为细分割图训练时的损失，正则化项损失具体为粗分割图训练时的损失，计算公式具体如下：
其中，
为总损失，
为细分割图训练时的损失，
为粗分割图训练时的损失，α为权重参数。
9.根据权利要求8所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述监督学习损失根据交叉熵损失函数和交并比损失函数进行计算，具体公式如下所示：
其中，LCE为交叉熵损失函数，LIoU为交并比损失函数，RMSE为均方误差约束，Rcosine为对象上下文特征向量的不变性约束，γ为过程参数。
10.根据权利要求9所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述均方误差约束的计算公式具体如下所示：
其中，M为粗分割图或细分割图的图像像素的集合，
为第i个像素在学生模型中分割结果和目标真值的数值概率，
为第i个像素在教师模型中分割结果和目标真值的数值概率；
所述不变性约束的计算公式具体如下所示：
其中，N为字符识别模块的数量，
为教师模型的对象上下文特征向量，
为学生模型的对象上下文特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110241269.9A CN113129309B (zh) | 2021-03-04 | 2021-03-04 | 基于对象上下文一致性约束的医学图像半监督分割系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110241269.9A CN113129309B (zh) | 2021-03-04 | 2021-03-04 | 基于对象上下文一致性约束的医学图像半监督分割系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113129309A CN113129309A (zh) | 2021-07-16 |
| CN113129309B true CN113129309B (zh) | 2023-04-07 |
Family
ID=76772513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110241269.9A Active CN113129309B (zh) | 2021-03-04 | 2021-03-04 | 基于对象上下文一致性约束的医学图像半监督分割系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113129309B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538394B (zh) * | 2021-07-26 | 2023-08-08 | 泰康保险集团股份有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
| CN113688696B (zh) * | 2021-08-04 | 2023-07-18 | 南京信息工程大学 | 一种超高分遥感影像震害建筑物检测方法 |
| CN113763394B (zh) * | 2021-08-24 | 2024-03-29 | 同济大学 | 一种基于医疗风险的医学图像分割控制方法 |
| CN113539408B (zh) * | 2021-08-31 | 2022-02-25 | 北京字节跳动网络技术有限公司 | 一种医学报告生成方法、模型的训练方法、装置及设备 |
| CN113902983B (zh) * | 2021-12-06 | 2022-03-25 | 南方医科大学南方医院 | 基于目标检测模型的腹腔镜手术组织器官识别方法及装置 |
| CN114332135B (zh) * | 2022-03-10 | 2022-06-10 | 之江实验室 | 一种基于双模型交互学习的半监督医学图像分割方法及装置 |
| CN115082493A (zh) * | 2022-06-02 | 2022-09-20 | 陕西科技大学 | 基于形状引导对偶一致性的3d心房图像分割方法及系统 |
| CN117173401B (zh) * | 2022-12-06 | 2024-05-03 | 南华大学 | 基于交叉指导和特征级一致性双正则化的半监督医学图像分割方法及系统 |
| CN116543162B (zh) * | 2023-05-09 | 2024-07-12 | 山东建筑大学 | 基于特征差值与上下文感知一致性的图像分割方法及系统 |
| CN117373036B (zh) * | 2023-10-24 | 2024-06-11 | 东南大学附属中大医院 | 基于智能ai的数据分析处理方法 |
| CN117952993B (zh) * | 2024-03-27 | 2024-06-18 | 中国海洋大学 | 基于图像文本协同约束的半监督医学图像分割方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110745A (zh) * | 2019-03-29 | 2019-08-09 | 上海海事大学 | 基于生成对抗网络的半监督x光图像自动标注 |
| CN112308860A (zh) * | 2020-10-28 | 2021-02-02 | 西北工业大学 | 基于自监督学习的对地观测图像语义分割方法 |
| CN112307995A (zh) * | 2020-11-05 | 2021-02-02 | 电子科技大学 | 一种基于特征解耦学习的半监督行人重识别方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949317B (zh) * | 2019-03-06 | 2020-12-11 | 东南大学 | 基于逐步对抗学习的半监督图像实例分割方法 |
| US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| CN110443813B (zh) * | 2019-07-29 | 2024-02-27 | 腾讯医疗健康(深圳)有限公司 | 血管、眼底图像的分割方法、装置、设备及可读存储介质 |
| CN111275033A (zh) * | 2020-01-17 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 一种字符识别方法、装置及电子设备、存储介质 |
| CN112150478B (zh) * | 2020-08-31 | 2021-06-22 | 温州医科大学 | 一种构建半监督图像分割框架的方法及系统 |
| CN112381098A (zh) * | 2020-11-19 | 2021-02-19 | 上海交通大学 | 基于目标分割领域自学习的半监督学习方法和系统 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
-
2021
- 2021-03-04 CN CN202110241269.9A patent/CN113129309B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110745A (zh) * | 2019-03-29 | 2019-08-09 | 上海海事大学 | 基于生成对抗网络的半监督x光图像自动标注 |
| CN112308860A (zh) * | 2020-10-28 | 2021-02-02 | 西北工业大学 | 基于自监督学习的对地观测图像语义分割方法 |
| CN112307995A (zh) * | 2020-11-05 | 2021-02-02 | 电子科技大学 | 一种基于特征解耦学习的半监督行人重识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113129309A (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113129309B (zh) | 基于对象上下文一致性约束的医学图像半监督分割系统 | |
| Zhuang et al. | An Effective WSSENet-Based Similarity Retrieval Method of Large Lung CT Image Databases. | |
| Jiang et al. | Learning efficient, explainable and discriminative representations for pulmonary nodules classification | |
| Birenbaum et al. | Longitudinal multiple sclerosis lesion segmentation using multi-view convolutional neural networks | |
| Gao et al. | Prostate segmentation by sparse representation based classification | |
| Radjabov et al. | Neural networks for medical image segmentation | |
| CN110390674B (zh) | 图像处理方法、装置、存储介质、设备以及系统 | |
| Somkantha et al. | Bone age assessment in young children using automatic carpal bone feature extraction and support vector regression | |
| CN111709485B (zh) | 医学影像处理方法、装置和计算机设备 | |
| CN112365980A (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统 | |
| CN106599549A (zh) | 一种计算机辅助诊断系统、方法及其医疗系统 | |
| CN112750137B (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
| CN115512110A (zh) | 一种涉及跨模态注意力机制的医学图像肿瘤分割方法 | |
| Liu et al. | AHU-MultiNet: Adaptive loss balancing based on homoscedastic uncertainty in multi-task medical image segmentation network | |
| CN115937581A (zh) | 一种多站点fMRI数据的分类识别方法 | |
| CN117197200A (zh) | 基于深度概率图和矢量融合的腹部多器官配准方法 | |
| CN116993793A (zh) | 基于自适应多门控混合专家模型的腹部多器官配准方法 | |
| Hu et al. | Unsupervised computed tomography and cone-beam computed tomography image registration using a dual attention network | |
| CN115294086A (zh) | 医学影像分割方法、分割模型训练方法、介质及电子设备 | |
| Kaliyugarasan et al. | Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI | |
| Lee et al. | Supervised deep generation of high-resolution arterial phase computed tomography kidney substructure atlas | |
| Chowdhury et al. | Classification of diseases from CT images using LSTM-based CNN | |
| Rajput et al. | Glioblastoma multiforme patient survival prediction | |
| Shen et al. | CT medical image segmentation algorithm based on deep learning technology | |
| CN113435469A (zh) | 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |