CN115690115A - 一种基于重建预训练的肺部医学图像分割方法 - Google Patents
一种基于重建预训练的肺部医学图像分割方法 Download PDFInfo
- Publication number
- CN115690115A CN115690115A CN202211383092.7A CN202211383092A CN115690115A CN 115690115 A CN115690115 A CN 115690115A CN 202211383092 A CN202211383092 A CN 202211383092A CN 115690115 A CN115690115 A CN 115690115A
- Authority
- CN
- China
- Prior art keywords
- training
- reconstruction
- network model
- segmentation
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 162
- 210000004072 lung Anatomy 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000003709 image segmentation Methods 0.000 title claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 77
- 238000009826 distribution Methods 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 27
- 230000002685 pulmonary effect Effects 0.000 claims description 19
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000002265 prevention Effects 0.000 claims description 3
- 230000004083 survival effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000013526 transfer learning Methods 0.000 abstract description 4
- 238000005070 sampling Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229910052731 fluorine Inorganic materials 0.000 description 2
- 125000001153 fluoro group Chemical group F* 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
一种基于重建预训练的肺部医学图像分割方法，包括：1、构建无标签的肺部医学图像预训练数据集、带标签的肺部医学图像训练样本集和测试样本集；2、构建预训练网络模型，将无标签的肺部医学图像预训练数据集的每张图像进行网格划分并打乱顺序，并利用其对预训练网络模型进行训练；3、构建分割‑重建网络模型，利用训练后的预训练网络模型的权重对分割‑重建网络模型进行参数初始化；4、将带标签的肺部医学图像数据集进行图像增强处理；对分割‑重建网络模型进行优化训练；5、对分割‑重建网络模型进行测试。本发明通过无监督的拼图重建预训练学习特征表示，结合迁移学习的思想，提高了模型的鲁棒性和泛化性，减少了模型训练时间。
Description
技术领域
本发明涉及图像分割技术领域，特别涉及一种基于重建预训练的肺部医学图像分割方法。
背景技术
为了减轻放射科医生的工作量，计算机辅助诊断正逐渐应用于医学图像的审查和分析过程中，而基于深度学习方法的感兴趣区域分割便是其中备受关注的研究热点之一。然而，由于基于深度学习的分割方法鲁棒性能和泛化性能较差，在现实世界的临床诊断中难以得到广泛应用。同时，涉及病人隐私和标签制作所需的专业知识，医学图像的训练数据相对匮乏，在这种情况下，上述问题将变得尤为严峻。因此，只在有限的训练数据下，保证医学图像分析系统的鲁棒性和泛化性具有重要意义。
迁移学习一种用于探索有限标注数据潜力的技术，其一般遵循预训练-微调框架，即在大型有监督或无监督但与目标域无关的数据集上进行预训练，将学到的域无关的表征转移至下游的具体任务模型中，用有限数量的目标域数据集对模型进行微调，提高网络模型的泛化性和鲁棒性。Cheplyginab先在大型有监督自然图像数据集，如ImageNet上进行分类预训练，再将训练得到的特征转移至医学图像中进行学习分析。此外，无监督数据集的预训练重点是如何在无专家注释的情况下学习有意义的表征。Zhang等人将彩色图转为灰度图，并通过为灰度图着色进行预训练，学习卷积神经网络的视觉表征。Gidaris将预训练任务设为获得随机旋转图片的角度，进行域无关特征学习。然而，与自然图像不同，医疗图像通常为灰度图，不同的医学图像数据具有相似的空间结构。因此上述方法将自然图像中学习到的知识迁移至医学图像上，鲁棒性和泛化性无法满足现实需求。此外，在一些模型的微调过程中，如医学图像分割中常用的生成模型，由于生成器结果多样性不足，造成特征坍塌，导致微调过程训练困难，并限制了医学图像的分割精度。
发明内容
本发明提供了一种基于重建预训练的肺部医学图像分割方法，以解决现有技术中鲁棒性和泛化性无法满足现实需求，造成模型训练时间长的技术问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种基于重建预训练的肺部医学图像分割方法，包括如下步骤：
步骤S1、构建无标签的肺部医学图像预训练数据集、带标签的肺部医学图像训练样本集和测试样本集；
步骤S2、构建预训练网络模型，将无标签的肺部医学图像预训练数据集的每张图像进行网格划分并打乱顺序，并利用其对预训练网络模型进行训练；
步骤S3、构建分割-重建网络模型，利用训练后的预训练网络模型的权重对分割-重建网络模型进行参数初始化；
步骤S4、对带标签的肺部医学图像数据集进行图像增强处理；利用随机梯度下降法对参数初始化后的分割-重建网络模型进行优化训练；
步骤S5、利用测试样本集对优化训练后的分割-重建网络模型进行测试。
优选的，所述步骤S1具体包含如下步骤：
步骤S11、采集多张无标签的肺部医学图像和多张带标签的肺部医学图像；
步骤S12、将采集到的多张无标签肺部医学图像作为无标签的肺部医学图像预训练数据集；
即Dr＝{x1，x2，...xi，...，xM}，
其中Dr为无标签的肺部医学图像预训练数据集，
为Dr在欧几里得空间的流形；xi表示Dr中第i张图像，M表示无标签的肺部医学图像预训练数据集中图像的数量；
在多张带标签的肺部医学图像中选取一部分图像构建带标签的肺部医学图像训练样本集，另一部分带标签的肺部医学图像构建测试样本集。
优选的，所述步骤S2具体包含如下步骤：
步骤S21、构建预训练网络模型，预训练网络模型包括建模后验分布qβ(z|x)的推理网络和用于拟合pδ(x|z)分布的生成网络，推理网络即预训练编码器fβ(·)，生成网络即预训练解码器fδ(·)；建立网格排列标签预测分支；
步骤S22、将无标签的肺部医学图像数据集输入到预训练网络模型的预训练编码器fβ(·)中，并将无标签的肺部医学图像数据集中的每张图像首先调整为指定的大小，接着分割成规则的n×n张网格图片；
即
xM表示网格图片集合，每个网格图片分配一个先验分布p(zk)，其中Z为预训练编码器fβ(·)输出的隐变量；
步骤S23、生成多个随机排列标签Si，并通过该排列标签Si对n×n张网格图片随机排列；建立网络排序优化损失函数，将随机排列后的n2张网格图片输入到预训练网络模型中，并结合网络排序优化损失函数和网格排列标签预测分支对预训练网络模型进行优化学习，学习整张图片的潜在编码，使得能够正确预测每个网格的排列标签Si，得到学习后的预训练网络模型；
步骤S24、建立预训练总损失函数，通过预训练总损失函数对预训练网络模型进行优化训练，得到优化训练后的预训练网络模型；
优选的，所述步骤S23中的网络排序优化损失函数具体为：
其中
表示累积的网格特征集合；
表示网格特征集合中第k个网格特征；K(Si)为符号函数，当预测的网格排列标签
与真实的排列标签Si相同时值取1，否则取0；
是网格排列标签
的预测概率；N为样本的数量。
优选的，所述步骤S24具体包含如下步骤：
步骤S241、建立距离损失函数
通过距离损失函数使后验分布qβ(zk|xk)逼近先验分布p(zk)，距离损失函数可表示为：
其中Θ为d维单位球
的集合，
为超平面，θ为Θ内抽样得到的元素，p(zk)被赋为高斯分布
为随机变换的边缘分布，Wp(·)为p-Wasserstein距离，又称堆土距离，堆土距离表示为：
其中∏(pX，pY)表示所有联合分布的集合，d为度量函数，如欧式距离d(x，y)＝||x-y||2；p为度量函数的指数；Wp指的是堆土距离；px表示X的概率；pY表示Y的概率；γ表示联合概率分布；
表示期望；X、Y分别表示两个不同的变量；
步骤S242、将预训练编码器fβ(·)的输出特征送入预训练解码器fδ(·)进行图像重建，设置图像重建损失函数，依据网络排序优化损失函数、距离损失函数和图像重建损失函数构建预训练总损失函数；
所述图像重建损失函数具体为：
所述预训练总损失函数具体为：
其中，
指的是预训练解码器fδ(·)生成的重建的第i张图像；
步骤S243、利用随机梯度下降优化器并结合预训练总损失函数对预训练网络模型进行优化训练，得到优化后的预训练网络模型。
优选的，所述步骤S3具体包含如下步骤：
步骤S31、搭建分割-重建网络模型，分割-重建网络模型包括分割分支网络和重建分支网络；分割分支网络包括分割编码器
以及分割解码器fθ(·)；重建分支网络包括重建编码器fr(·)以及重建解码器fs(·)；
步骤S32、使用分割解码器fθ(·)输出当前图像的肺部预测分割掩膜MPre；
步骤S33、利用训练后的预训练网络模型对重建分支网络的参数进行初始化，同时将分割编码器
和重建编码器fr(·)共享权重，得到参数初始化后的分割-重建网络模型。
优选的，所述步骤S31中的重建编码器fr(·)与预训练编码器fβ(·)的框架一致，即fr(·)＝fβ(·)，所述重建解码器fs(·)与预训练解码器fδ(·)的框架一致，即fs(·)＝fδ(·)。
优选的，所述步骤S4具体包含如下步骤：
步骤S41、对带标签的肺部医学图像数据集进行图像增强处理，并将其输入到第二分割-重建网络模型内；
步骤S42、建立分割-重建网络总损失函数，分割-重建网络总损失函数具体为：
其中，
分割分支损失函数，用于计算分割真值MGT与肺部预测分割掩膜MPre之间的相似度，可表示为：
其中|·|表示所有元素值的总和，ε为预设常数，设置为1，防止分母为0；
步骤S43、输入图像增强处理后的带标签的肺部医学图像数据集，利用分割-重建网络总损失函数对参数初始化后的分割-重建网络模型进行优化训练，得到优化后的分割-重建网络模型。
优选的，所述步骤S41中的图像增强处理具体包括噪声处理、模糊处理、对比度变换、亮度变化和饱和度变化。
本发明的有益效果：
1、本发明通过无监督的拼图重建预训练，将输入的肺部医学图像进行网格分割乱序后重建，捕捉全局和局部信息以学习图像的重要语义特征表示，结合迁移学习的思想，提高了分割分支网络的鲁棒性和泛化性，增强了对未见过的异域或损坏的图像的分割性能。
2、本发明通过在分割-重建网络模型中添加重建分支网络，并利用预训练网络模型对重建分支网络的参数进行初始化，避免了重建分支网络在训练过程中出现特征坍塌，提高了肺部医学图像的分割精度。
附图说明
图1是本发明的流程图；
图2是本发明中的预训练网络模型结构图；
图3是本发明中分割-重建网络模型的示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
在本发明中的“第一”、“第二”等描述，仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量或顺序。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
参照图1，本申请实施例提供了一种基于重建预训练的肺部医学图像分割方法，包括如下步骤：
步骤S1、构建无标签的肺部医学图像预训练数据集、带标签的肺部医学图像训练样本集和测试样本集；
步骤S2、构建预训练网络模型，将无标签的肺部医学图像预训练数据集的每张图像进行网格划分并打乱顺序，并利用其对预训练网络模型进行训练；
步骤S3、构建分割-重建网络模型，利用训练后的预训练网络模型的权重对分割-重建网络模型进行参数初始化；
步骤S4、对带标签的肺部医学图像数据集进行图像增强处理；利用随机梯度下降法对参数初始化后的分割-重建网络模型进行优化训练；
步骤S5、利用测试样本集对优化训练后的分割-重建网络模型进行测试。
在本实施例中，所述步骤S1具体包含如下步骤：
步骤S11、采集多张无标签的肺部医学图像和多张带标签的肺部医学图像；
步骤S12、将采集到的多张无标签肺部医学图像作为无标签的肺部医学图像预训练数据集；
即Dr＝{x1，x2，...xi，...，xM}，
其中Dr为无标签的肺部医学图像预训练数据集，
为Dr在欧几里得空间的流形；xi表示Dr中第i张图像，M表示无标签的肺部医学图像预训练数据集中图像的数量；
在多张带标签的肺部医学图像中选取一部分图像构建带标签的肺部医学图像训练样本集，另一部分带标签的肺部医学图像构建测试样本集。
本实施例涉及一个无标签的肺部医学图像预训练数据集和三个带标签的肺部医学图像数据集，无标签的肺部医学图像预训练数据集由Kermany于2018年在《Cell》(细胞)上给出，包括5232张肺部X光图像，其中1349例为正常病例，3883例为肺炎病例。在实施例只使用1349个正常样本来构建领域相关的无标签的肺部医学图像预训练数据集。
三个带标签的肺部医学图像数据集分别是：蒙哥马利县胸片数据集(MC)、日本放射技术学会数据库(JSRT)和深圳胸片数据集(SH)。其中MC数据集包含138张肺部X光图像，每张图像大小为4020×4892。JSRT是一个公开的数据集，包括247张肺部X光灰度图像，每张图像包含2048×2048像素。SH数据集包括662张结核病症状的肺部X光图像，每张图像大小不同，但大约含有3K×3K像素。MC数据集和JSRT数据集都包含人工分割的肺部掩膜标签，而SH数据集则由乌克兰国立技术大学进行标注。
在本实施例中，所述步骤S2具体包含如下步骤：
步骤S21、如图2所示，构建预训练网络模型，预训练网络模型包括建模后验分布qβ(z|x)的推理网络和用于拟合pδ(x|z)分布的生成网络，推理网络即预训练编码器fβ(·)，生成网络即预训练解码器fδ(·)；建立网格排列标签预测分支；
其预训练编码器fβ(·)由ResNet50构成，预训练解码器fδ(·)包括依次连接的第一模块、第二模块、第三模块和第四模块，第一模块和第二模块结构相同，两者均包括包括依次连接的上采样层、卷积层、BatchNorm层和ReLU激活函数层。
其中第一模块卷积层的卷积核为3×3，步距为1，通道数为512；第二模块卷积层的卷积核为7×7，步距为1，通道数为256。上采样层包括将输入特征大小扩大两倍的双线性上采样操作、卷积核为1×1步距为1的卷积层、BatchNorm层和ReLU激活函数层。第一模块的上采样层称为第一上采样层，其内部的卷积层的通道数为512，第二模块的上采样层称为第二上采样层，其内部的卷积层的通道数为256。第三模块包括依次连接的三层上采样层、卷积核为3×3步距为1通道数为32的卷积层、BatchNorm层和ReLU层。三层上采样层内部的卷积层的通道数分别为128，64和32。第四模块包括依次连接的卷积核为3×3步距为1通道数为3卷积层和Tanh激活函数层。
此外，上述的预训练解码器fδ(·)用于生成正序的肺部医学图像。
网格排列标签预测分支包括依次连接的平均池化层、张量重构层、线性映射层、张量重构层和线性预测层；网格排列标签预测分支用于预测图像分割乱序的序列顺序。
例如：前文中将输入图像进行分割乱序，比如将图片分割成9份，原先没乱序之前排列是{1，2，3，4，5，6，7，8，9}，乱序后变为如{5，2，1，4，7，3，6，8，9}，但是网络并不清楚随机乱序的顺序，因此网格排列标签预测分支用来预测乱序后的顺序，并将预测的结果与{5，2，1，4，7，3，6，8，9}进行距离比较。
由于自然图像与医学图像具有不同的空间结构，自然图像中学习到的知识迁移至医学图像下游任务效果较差，因此将无标签的肺部医学图像预训练数据集作为预训练网络模型的输入。
步骤S22、将无标签的肺部医学图像数据集输入到预训练网络模型的预训练编码器fβ(·)中，并将无标签的肺部医学图像数据集中的每张图像首先调整为300×300大小，接着分割成规则的n×n张网格图片；
即
xM表示网格图片集合，在本实施例中n选为3，每个网格图片分配一个先验分布p(zk)，其中Z为预训练编码器fβ(·)输出的隐变量，维度为128维；将原先整张图片由一个先验分布p(zk)逼近转变为由9个先验分布p(zk)进行逼近，解决单个先验分布p(zk)逼近能力不足问题。
步骤S23、将数字0至8进行随机乱序，生成100个排列标签Si，并通过该排列标签Si对9张网格图片随机排列；
建立网络排序优化损失函数，将随机排列后的n2张网格图片输入到预训练网络模型的预训练编码器fβ(·)中，并结合网络排序优化损失函数和网格排列标签预测分支对预训练网络模型进行优化学习，学习整张图片的潜在编码，使得能够正确预测每个网格的排列标签Si，得到学习后的预训练网络模型；
在本实施例中，所述步骤S23中的网络排序优化损失函数
具体为：
其中
表示累积的网格特征集合；
表示网格特征集合中第k个网格特征；K(Si)为符号函数，当预测的网格排列标签
与真实的排列标签Si相同时值取1，否则取0；
是网格排列标签
的预测概率；N为样本的数量。
步骤S24、建立预训练总损失函数，通过预训练损失函数对预训练网络模型进行优化训练，得到优化训练后的预训练网络模型；
在本实施例中，所述步骤S24具体包含如下步骤：
步骤S241、建立距离损失函数
通过距离损失函数使后验分布qβ(zk|xk)逼近先验分布p(zk)，距离损失函数可表示为：
其中Θ为d维单位球
的集合，
为超平面，θ为Θ内抽样得到的元素，p(zk)被赋为高斯分布
为随机变换的边缘分布，Wp(·)为p-Wasserstein距离，又称堆土距离，堆土距离表示为：
其中∏(pX，pY)表示所有联合分布的集合，d为度量函数，如欧式距离d(x，y)＝||x-y||2；p为度量函数的指数；Wp指的是堆土距离；px表示X的概率；pY表示Y的概率；γ表示联合概率分布；
表示期望；X、Y分别表示两个不同的变量；
步骤S242、将预训练编码器fβ(·)的输出特征送入预训练解码器fδ(·)进行图像重建，设置图像重建损失函数，依据网络排序优化损失函数、距离损失函数和图像重建损失函数构建预训练总损失函数；
所述预训练总损失函数具体为：
步骤S243、利用随机梯度下降优化器并结合预训练总损失函数对学习后的预训练网络模型进行优化训练，得到优化后的预训练网络模型。
在本实施例中，所述步骤S242中的图像重建损失函数具体为：
其中，
指的是预训练解码器fδ(·)生成的重建的第i张图像；
在本实施例中，所述步骤S3具体包含如下步骤：
步骤S31、如图3所示，搭建分割-重建网络模型，分割-重建网络模型包括分割分支网络和重建分支网络；分割分支网络包括分割编码器
以及分割解码器fθ(·)；重建分支网络包括重建编码器fr(·)以及重建解码器fs(·)；
分割分支网络的分割编码器
与重建编码器fr(·)相同，都由ResNet50构成，其输出为4×4×2048，分割解码器fθ(·)由PSPNet网络上采样框架构成，其输出为300×300×1。
步骤S32、使用分割解码器fθ(·)输出当前图像的肺部预测分割掩膜MPre；
基于PSPNet网络的分割解码器由金字塔池化模块、上采样模块和输出模块三个模块组成，金字塔池化模块首先将输入特征上采样至12×12×2048，分别经过四个不同核大小的平均池化和卷积操作，生成大小为1×1、2×2、3×3、6×6，通道数为输入特征四分之一，即1024维的四个特征图。将上述四个特征图经过双线性插值进行上采样，使得大小与输入特征一致，接着进行特征融合操作，即依次将上述特征图与输入特征在深度方向上实行拼接，得到融合特征图。上采样模块通过三个上采样操作将输入特征图大小扩大，使得其与输入的医学图像大小相同，上采样操作依次包括卷积核为3×3步距为1的卷积层、BatchNorm层、Dropout层和ReLU层。其中，三个上采样操作中的卷积核的通道数分别为256、64和64。输出模块经由一层卷积核为1×1步距为1通道数为3的卷积层，将上一模块的输出特征通道数由64变为1，接着利用sigmoid函数将输出像素值转为0至1，最后将像素值大于0.5的像素作为图像分割的目标像素，输出肺部预测分割掩膜MPre。
步骤S33、利用训练后的预训练网络模型对重建分支网络的参数进行初始化，同时将分割编码器
和重建编码器fr(·)共享权重，得到参数初始化后的分割-重建网络模型。
在本实施例中，所述步骤S31中的重建编码器fr(·)与预训练编码器fβ(·)的框架一致，即fr(·)＝fβ(·)，所述重建解码器fs(·)与预训练解码器fδ(·)的框架一致，即fs(·)＝fδ(·)。
在本实施例中，所述步骤S4具体包含如下步骤：
步骤S41、对带标签的肺部医学图像数据集进行图像增强处理，并将其输入到分割-重建网络模型内；
步骤S42、建立分割-重建网络总损失函数，分割-重建网络总损失函数具体为：
其中，
分割分支损失函数，用于计算分割真值MGT与肺部预测分割掩膜MPre之间的相似度，可表示为：
其中|·|表示所有元素值的总和，ε为预设常数，设置为1，防止分母为0；
步骤S43、输入图像增强处理后的带标签的肺部医学图像数据集，利用分割-重建网络总损失函数对参数初始化后的分割-重建网络模型进行优化训练，得到优化后的分割-重建网络模型。
在本实施例中，所述步骤S41中的图像增强处理具体包括噪声处理、模糊处理、对比度变换、亮度变化和饱和度变化。
在步骤S5中，本实施例将前述的蒙哥马利县胸片数据集(MC)、日本放射技术学会数据库(JSRT)和深圳胸片数据集(SH)，随机取两个分别进行训练和测试，所得实验结果如下表1所示(用英文首字母代替全称，如M代表MC)：
表1
从上述实验结果可见，本实施例通过无监督的拼图重建预训练，将输入的肺部医学图像进行网格分割乱序后重建，捕捉全局和局部信息以学习图像的重要语义特征表示，结合迁移学习的思想，提高了下游分割网络模型的鲁棒性和泛化性，增强了对未见过的异域或损坏的图像的分割性能。同时在下游分割网络模型中添加图像重建分支，并利用预训练网络模型对下游相关网络框架进行参数初始化，避免分割网络模型在训练过程中出现特征坍塌，提高了肺部医学图像的分割精度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于重建预训练的肺部医学图像分割方法，其特征在于：包括如下步骤：
步骤S1、构建无标签的肺部医学图像预训练数据集、带标签的肺部医学图像训练样本集和测试样本集；
步骤S2、构建预训练网络模型，将无标签的肺部医学图像预训练数据集的每张图像进行网格划分并打乱顺序，并利用其对预训练网络模型进行训练；
步骤S3、构建分割-重建网络模型，利用训练后的预训练网络模型的权重对分割-重建网络模型进行参数初始化；
步骤S4、对带标签的肺部医学图像数据集进行图像增强处理；利用随机梯度下降法对参数初始化后的分割-重建网络模型进行优化训练；
步骤S5、利用测试样本集对优化训练后的分割-重建网络模型进行测试。
2.根据权利要求1所述的肺部医学图像分割方法，其特征在于，所述步骤S1具体包含如下步骤：
步骤S11、采集多张无标签的肺部医学图像和多张带标签的肺部医学图像；
步骤S12、将采集到的多张无标签肺部医学图像作为无标签的肺部医学图像预训练数据集；
即Dr＝{x1，x2，...xi，...，xM}，
其中Dr为无标签的肺部医学图像预训练数据集，
为Dr在欧几里得空间的流形；xi表示Dr中第i张图像，M表示无标签的肺部医学图像预训练数据集中图像的数量；
在多张带标签的肺部医学图像中选取一部分图像构建带标签的肺部医学图像训练样本集，另一部分带标签的肺部医学图像构建测试样本集。
3.根据权利要求2所述的肺部医学图像分割方法，其特征在于，所述步骤S2具体包含如下步骤：
步骤S21、构建预训练网络模型，预训练网络模型包括建模后验分布qβ(z|x)的推理网络和用于拟合pδ(x|z)分布的生成网络，推理网络即预训练编码器fβ(·)，生成网络即预训练解码器fδ(·)；建立网格排列标签预测分支；
步骤S22、将无标签的肺部医学图像数据集输入到预训练网络模型的预训练编码器fβ(·)中，并将无标签的肺部医学图像数据集中的每张图像首先调整为指定的大小，接着分割成规则的n×n网格图片；
即
xM表示网格图片集合，每个网格图片分配一个先验分布p(zk)，其中Z为预训练编码器fβ(·)输出的隐变量；
步骤S23、生成多个随机排列标签Si，并通过该排列标签Si对n×n张网格图片随机排列；建立网络排序优化损失函数，将随机排列后的n2张网格图片输入到预训练网络模型中，并结合网络排序优化损失函数和网格排列标签预测分支对预训练网络模型进行优化学习，学习整张图片的潜在编码，使得能够正确预测每个网格的排列标签Si，得到学习后的预训练网络模型；
步骤S24、建立预训练总损失函数，通过预训练总损失函数对预训练网络模型进行优化训练，得到优化训练后的预训练网络模型。
4.根据权利要求3所述的肺部医学图像分割方法，其特征在于，所述步骤S23中的网络排序优化损失函数具体为：
其中，
为网络排序优化损失函数；
表示累积的网格特征集合；
表示网格特征集合中第k个网格特征；K(Si)为符号函数，当预测的网格排列标签
与真实的排列标签Si相同时值取1，否则取0；
是网格排列标签
的预测概率；N为样本的数量。
5.根据权利要求4所述的肺部医学图像分割方法，其特征在于，所述步骤S24具体包含如下步骤：
步骤S241、建立距离损失函数，通过距离损失函数使后验分布qβ(zk|xk)逼近先验分布p(zk)，距离损失函数可表示为：
其中，
表示距离损失函数，Θ为d维单位球
的集合，
为超平面，
为Θ内抽样得到的元素，p(zk)被赋为高斯分布
为随机变换的边缘分布，Wp(·)为p-Wasserstein距离，又称堆土距离，堆土距离表示为：
其中Π(pX，pY)表示所有联合分布的集合，d为度量函数，如欧式距离d(x，y)＝||x-y||2；p为度量函数的指数；Wp指的是堆土距离；pX表示X的概率；pY表示Y的概率；γ表示联合概率分布；
表示期望；X、Y分别表示两个不同的变量；
步骤S242、将预训练编码器fβ(·)的输出特征送入预训练解码器fδ(·)进行图像重建，设置图像重建损失函数，依据网络排序优化损失函数、距离损失函数和图像重建损失函数构建预训练总损失函数；
所述预训练总损失函数具体为：
其中，
为预训练总损失函数；
为图像重建损失函数；
步骤S243、利用随机梯度下降优化器并结合预训练总损失函数对预训练网络模型进行优化训练，得到优化后的预训练网络模型。
6.根据权利要求5所述的肺部医学图像分割方法，其特征在于，所述步骤S242中的图像重建损失函数具体为：
其中，
指的是预训练解码器fδ(·)生成的重建的第i张图像。
7.根据权利要求5所述的肺部医学图像分割方法，其特征在于，所述步骤S3具体包含如下步骤：
步骤S31、搭建分割-重建网络模型，分割-重建网络模型包括分割分支网络和重建分支网络；分割分支网络包括分割编码器
以及分割解码器fθ(·)；重建分支网络包括重建编码器fr(·)以及重建解码器fs(·)；
步骤S32、使用分割分支网络输出当前图像的肺部预测分割掩膜MPre；
步骤S33、利用训练后的预训练网络模型对重建分支网络的参数进行初始化，同时将分割编码器
和重建编码器fr(·)共享权重，得到参数初始化后的分割-重建网络模型。
8.根据权利要求7所述的肺部医学图像分割方法，其特征在于，所述步骤S31中的重建编码器fr(·)与预训练编码器fβ(·)的框架一致，即fr(·)＝fβ(·)，所述重建解码器fs(·)与预训练解码器fδ(·)的框架一致，即fs(·)＝fδ(·)。
9.根据权利要求7所述的肺部医学图像分割方法，其特征在于，所述步骤S4具体包含如下步骤：
步骤S41、对带标签的肺部医学图像数据集进行图像增强处理，并将其输入到分割-重建网络模型内；
步骤S42、建立分割-重建网络总损失函数，分割-重建网络总损失函数具体为：
其中，
为分割-重建网络总损失函数；
分割分支损失函数，用于计算分割真值MGT与肺部预测分割掩膜MPre之间的相似度，分割分支损失函数可表示为：
其中|·|表示所有元素值的总和，ε为预设常数，设置为1，防止分母为0；
步骤S43、输入图像增强处理后的带标签的肺部医学图像数据集，利用分割-重建网络总损失函数对参数初始化后的分割-重建网络模型进行优化训练，得到优化后的分割-重建网络模型。
10.根据权利要求9所述的肺部医学图像分割方法，其特征在于，所述步骤S41中的图像增强处理具体包括噪声处理、模糊处理、对比度变换、亮度变化和饱和度变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211383092.7A CN115690115A (zh) | 2022-11-04 | 2022-11-04 | 一种基于重建预训练的肺部医学图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211383092.7A CN115690115A (zh) | 2022-11-04 | 2022-11-04 | 一种基于重建预训练的肺部医学图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115690115A true CN115690115A (zh) | 2023-02-03 |
Family
ID=85049374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211383092.7A Pending CN115690115A (zh) | 2022-11-04 | 2022-11-04 | 一种基于重建预训练的肺部医学图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115690115A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861306A (zh) * | 2023-02-20 | 2023-03-28 | 武汉纺织大学 | 一种基于自监督拼图模块的工业品异常检测方法 |
-
2022
- 2022-11-04 CN CN202211383092.7A patent/CN115690115A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861306A (zh) * | 2023-02-20 | 2023-03-28 | 武汉纺织大学 | 一种基于自监督拼图模块的工业品异常检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| US10691980B1 (en) | Multi-task learning for chest X-ray abnormality classification | |
| CN110288555B (zh) | 一种基于改进的胶囊网络的低照度增强方法 | |
| CN110084121A (zh) | 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法 | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN109447096B (zh) | 一种基于机器学习的扫视路径预测方法和装置 | |
| CN113821668A (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
| CN115331009A (zh) | 基于多任务MeanTeacher的医学图像分割方法 | |
| JP7536893B2 (ja) | 自己注意ベースのニューラルネットワークを使用した画像処理 | |
| CN114283352A (zh) | 一种视频语义分割装置、训练方法以及视频语义分割方法 | |
| CN114004847A (zh) | 一种基于图可逆神经网络的医学图像分割方法 | |
| Yang et al. | Discriminative semi-supervised dictionary learning with entropy regularization for pattern classification | |
| Zhao et al. | Deeply supervised active learning for finger bones segmentation | |
| CN117974693B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN115690115A (zh) | 一种基于重建预训练的肺部医学图像分割方法 | |
| CN115115736A (zh) | 图像去伪影方法、装置、设备及存储介质 | |
| Zhou et al. | A superior image inpainting scheme using Transformer-based self-supervised attention GAN model | |
| CN118229569A (zh) | 基于模糊扩散模型的文档图像透射去除方法及装置 | |
| CN110580509A (zh) | 基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法 | |
| CN113807354A (zh) | 图像语义分割方法、装置、设备和存储介质 | |
| CN115908464B (zh) | 一种舌体图像分割方法及系统 | |
| CN117115180A (zh) | 基于域自适应的半监督医学图像分割方法 | |
| CN114764880B (zh) | 多成分gan重建的遥感图像场景分类方法 | |
| Zhang et al. | An ensemble of deep neural networks for segmentation of lung and clavicle on chest radiographs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |