CN115496732A - 一种半监督心脏语义分割算法 - Google Patents
一种半监督心脏语义分割算法 Download PDFInfo
- Publication number
- CN115496732A CN115496732A CN202211176353.8A CN202211176353A CN115496732A CN 115496732 A CN115496732 A CN 115496732A CN 202211176353 A CN202211176353 A CN 202211176353A CN 115496732 A CN115496732 A CN 115496732A
- Authority
- CN
- China
- Prior art keywords
- supervised
- unet
- semi
- cardiac
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 43
- 230000000747 cardiac effect Effects 0.000 claims abstract description 54
- 238000000605 extraction Methods 0.000 claims abstract description 54
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 18
- 238000002604 ultrasonography Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000003745 diagnosis Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 19
- 206010028980 Neoplasm Diseases 0.000 abstract description 5
- 238000012800 visualization Methods 0.000 abstract description 2
- 238000013136 deep learning model Methods 0.000 description 4
- 206010030113 Oedema Diseases 0.000 description 2
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 201000007455 central nervous system cancer Diseases 0.000 description 1
- 208000025997 central nervous system neoplasm Diseases 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000005246 left atrium Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种半监督心脏语义分割算法，克服现有有标注的心脏数据稀缺的局限性，实现精确的半监督心脏语义分割。该方法分别使用粗粒度特征提取分支及细粒度特征提取分支，结合Unet及Swin‑Unet的网络结构实现半监督心脏语义分割。在此结构中，粗粒度特征提取分支采用Swin‑Unet的框架实现全局特征信息的提取。而细粒度特征提取分支则采用Unet的局部卷积操作实现局部区域的特征信息提取。从而通过在采集的心脏核磁共振数据集上进行评估。实验数据及可视化结果证明，所提议的半监督框架可以实现快速而精确的肿瘤区域的分割，准确度和自动化程度高。因此，适宜推广应用。
Description
技术领域
本发明属于计算机图像处理技术领域，具体地说，是涉及一种半监督心脏语义分割算法。
背景技术
在中枢神经系统中，脑瘤是最常见的癌症之一，占所有中枢神经系统肿瘤的40％-50％。由于磁共振图像(MRI)可以用于从视觉上检查解剖结构的特征，医生通常利用MRI来促进心脏的诊断和处理过程。此外，利用心脏分割方法，临床医生可以获得更详细的信息，如大小和位置。因此，心脏核磁共振图像语义分割技术对于心脏恶化程度以及病人生命周期预测等计算机辅助诊断来说无疑具有重要意义。
近年来，研究者们提出了许多基于深度学习的方法来实现医学图像语义分割。相比于传统方法，深度学习方法可以有效地克服传统方法在特征提取过程中存在的局限性和人为偏好等问题，在识别准确度和自动化程度上有大的优势。因此，深度学习方法被广泛应用于图像语义分割领域。Havaei等人引入了一种新的双通道深度卷积网络，从心脏核磁共振图像中提取更多的上下文信息，并建议采用两阶段训练步骤来解决数据集分布不平衡的问题。
另一方面，经验丰富的临床医生根据其专业知识从核磁共振图像中手工分割心脏区域，不仅需要大量的人力，而且主要取决于医生的专业能力和经验，因此获取大量有标注的心脏核磁共振图像并不现实，有标注数据稀缺的现状极大地限制了基于数据驱动的深度学习模型的应用。为了解决有标注医学数据的稀缺问题，目前存在若干解决思路：(1)通过数据增强提升模型的表达能力，即通过数据增强方法对原有数据集进行扩充。但是，由于数据增强方法通常是基于随机方法进行，无法更准确地代表真实数据，因而对模型分割能力的提升有限，无法减少模型对有标注数据的依赖。(2)构建半监督学习网络，将无标注数据加入深度学习模型中训练以增强模型的泛化能力，即利用有标注数据学习到的模型对无标注数据进行预测，再将无标注数据的预测结果当做有标注数据加入监督学习。相比于数据增强方法，半监督学习方法能够使深度学习模型获得更精确的泛化方向，进而提升模型对于无标注数据的表达能力。因此，基于半监督学习思想的模型被广泛应用于医学图像分割。现有技术提出了一种不确定性感知半监督框架(UAMT)，用于从三维MR图像中分割左心房。该框架可以有效地利用未标记的数据，通过鼓励在不同的扰动下对相同的输入进行一致的预测。但还是存在以下问题：
(1)心脏核磁共振图像由于受心脏舒张、收缩以及血液的流动等影响，会导致心脏MRI图像出现弱边界、伪影、局部梯度极大值区域等现象，人们感兴趣的目标组织如肿瘤水肿区域及肿瘤核心区域灰度相似，相互连通等，很难精确提取特定组织。
(2)由于心脏区域中脑部纹理的形状、大小多变的特性，现有方法往往会产生一些不符合目标器官相对位置特性的异常点。
发明内容
本发明的目的在于提供一种半监督心脏语义分割算法，克服现有有标注的心脏数据稀缺的局限性，实现精确的半监督心脏语义分割。
为实现上述目的，本发明采用的技术方案如下：
一种半监督心脏语义分割算法，包括如下步骤：
S1：采集心脏超声数据集，将病例的心脏超声视频解码为高分辨率图像，将解码清晰的心脏图像挑选出来并重新裁剪为标准的超声图像数据，由专业医师采用标注工具对对裁剪后的超声图像数据进行标注；并利用标注工具将图像的标注信息自动转换为计算机进行识别的json格式文件；
S2：构建一个由一个粗粒度特征提取分支和一个细粒度特征提取分支构成的基于交叉学习的半监督心脏语义分割框架；将标注后具有标签的心脏核磁共振图像和无标签的心脏核磁共振图像作为半监督心脏语义分割框架的输入，每个输入图像分别通过粗粒度特征提取分支和细粒度特征提取分支来生成预测掩码；
S3：根据预测掩码结合标准Dice损失函数得到半监督心脏语义分割框架的整体训练目标损失函数，对心脏半监督语义分割模型进行训练；
S4：将已经完成训练的心脏半监督语义分割模型进行保存，将未参与深度学习框架训练的心脏图像数据输入模型中进行测试，输出框架的预测结果，保存至数据库中，作为医学诊疗中一个初步的结果。
进一步地，在本发明中，在所述步骤S2中，对于有标签的心脏核磁共振图像，粗粒度特征提取分支和细粒度特征提取分支分别由图像标签进行监督；对于无标签的心脏核磁共振图像，框架使用粗粒度特征提取分支和细粒度特征提取分支分别生成图像的预测掩码，并使用预测掩码分别更新粗粒度特征提取分支和细粒度特征提取分支的模型参数。
进一步地，在本发明中，所述粗粒度特征提取分支由基于transformer的编码器及解码器构成；所述编码器由使用patch partition层、linear embeding层、swintransformer模块、patch expanding层和patch merging层组成；所述编码器用于将输入的心脏核磁共振图像转化为序列，使用patch partition层将心脏核磁共振图像分割成大小为4×4不重叠的patch，同时每个patch的特征维数变为48，所述编码器利用linearembeding层将patch的特征维数进行线性映射，线性映射后的token被输入至swintransformer模块和patch merge层用来生成不同尺度的特征信息；所述解码器由多个swintransformer模块、patch expanding层、patch embeding层及linear projection层构成；其中，所述swin transformer模块用于负责学习图像特征，所述patch expanding层则负责上采样操作，将该层特征图分辨率扩大两倍，最后通过linear projection层进行逐像素预测。
进一步地，在本发明中，所述细粒度特征提取分支为一个对称的四层Unet。
进一步地，在本发明中，所述半监督心脏语义分割框架采用双源注意力模块对位置特征进行建模；所述双源注意力模块由位置注意力模块和通道注意力模块构成的；其中，所述位置注意力模块引入自注意力机制来捕获心脏核磁共振图像中的任意两个位置之间的空间依赖性；对于某个具体位置的特征，通过加权求和在所有位置聚合特征来更新，其中权重由相应两个位置之间的特征相似性决定。
进一步地，在本发明中，所述步骤S3中，整体训练目标损失函数的构建方法包括以下步骤：
S31：输入一个输入心脏核磁共振图像x，利用半监督心脏语义分割框架的unet模型和swin-unet模型分别产生两个预测掩码FUnet(x)，FSwin(x)；
S32：根据预测掩码FUnet(x)和FSwin(x)采用公式：
fUnet(x)＝argmax(FUnet(x)) (1)
fSwin(x)＝argmax(FSwin(x)) (2)
得到交叉教学策略的伪标签；其中，fUnet(x)和fSwin(x)分别为unet模型和swin-unet模型训练生成的伪标签；得到有标签数据的有监督损失函数：
LSupervise(x，y)
＝LCE(FUnet(x)，y)+LCE(FSwin(x)，y)+LDice(FUnet(x)，y)
+LDice(FSwin(x)，y)+LAC(FUnet(x)，y)+LAC(FUnet(x)，y)
+LAC(FSwin(x)，y)
(3)
其中，LCE(·)，LDice(·)分别为交叉熵损失和Dice损失，LAC(·)为主动轮廓损失，x为输入超声图像，FUnet(x)为细粒度特征提取分支的预测结果，FSwin(x)为粗粒度特征提取分支的预测结果，y为标签；
S33：定义无标签数据的无监督损失的交叉教学损失函数：
LUnsupervise(x)＝LDice(FUnet(x)，fUnet(x))+αLDice(FSwin(x)，fSwin(x)) (4)
其中，α为损失函数中的权重系数，LDice(·)是标准的Dice损失函数，LUnsupervise(x)为无监督损失函数；
S34：得到整体训练目标损失函数：
LTotal(x，y)＝LSupervise(x，y)+μLUnsupervise(x) (5)
其中，μ为权重因子。
与现有技术相比，本发明具有以下有益效果：
本发明的半监督心脏语义分割框架在采集的心脏核磁共振数据集上进行了评估。实验数据及可视化结果证明，所提议的半监督框架可以实现快速而精确的肿瘤区域的分割，准确度和自动化程度高。
附图说明
图1为本发明方法的流程结构示意图。
具体实施方式
下面结合附图说明和实施例对本发明作进一步说明，本发明的方式包括但不仅限于以下实施例。
实施例
如图1所示，本发明公开的一种半监督心脏语义分割算法，采用基于交叉学习的半监督心脏语义分割框架，该框架分别使用粗粒度特征提取分支及细粒度特征提取分支，结合Unet及Swin-Unet的网络结构实现半监督心脏语义分割。在此结构中，粗粒度特征提取分支采用Swin-Unet的框架实现全局特征信息的提取。而细粒度特征提取分支则采用Unet的局部卷积操作实现局部区域的特征信息提取。
首先采集心脏超声数据集，将病例的心脏超声视频解码为高分辨率图像，将解码清晰的心脏图像挑选出来为大小为500×500的图像数据，由专业医师采用LabelMe标注工具对挑选的图像进行标注标。注完成后，标注工具将图像的标注信息自动转换为计算机进行识别的json格式文件，用来作为深度学习模型的输入。
随后构建一个基于交叉学习的半监督心脏语义分割框架，该框架是由一个粗粒度特征提取分支和一个细粒度特征提取分支构成的。首先，半监督心脏语义分割框架将有标签的心脏核磁共振图像和无标签的心脏核磁共振图像作为输入，每个输入图像分别通过粗粒度特征提取分支和细粒度特征提取分支来生成预测掩码。
对于有标签的心脏核磁共振图像，粗粒度特征提取分支和细粒度特征提取分支分别由图像标签进行监督。对于无标签的心脏核磁共振图像，框架使用粗粒度特征提取分支和细粒度特征提取分支分别生成图像的预测掩码，并使用预测掩码分别更新粗粒度特征提取分支和细粒度特征提取分支的模型参数。其中，所述粗粒度特征提取分支由基于transformer的编码器及解码器构成；所述编码器由使用patch partition层、linearembeding层、swin transformer模块、patch expanding层和patch merging层组成；所述编码器用于将输入的心脏核磁共振图像转化为序列，使用patch partition层将心脏核磁共振图像分割成大小为4×4不重叠的patch，同时每个patch的特征维数变为48，所述编码器利用linear embeding层将patch的特征维数进行线性映射，线性映射后的token被输入至swin transformer模块和patch merge层用来生成不同尺度的特征信息；所述解码器由多个swin transformer模块、patch expanding层、patch embeding层及linear projection层构成；其中，所述swin transformer模块用于负责学习图像特征，所述patch expanding层则负责上采样操作，将该层特征图分辨率扩大两倍，最后通过linear projection层进行逐像素预测。
此外，细粒度特征提取分支是一个对称的四层UNet，相比于粗粒度特征提取分支，细粒度特征提取分支由于仅使用局部卷积操作而造成缺乏对整体图像结构的全局理解，无法建模特征之间的依赖关系，但是可以更加关注粗粒度特征提取分支未关注的图像纹理细节特征信息。此外，粗粒度特征提取分支和细粒度特征提取分支都使用了跳跃连接，该部分以级联的方式将编码器部分提取的特征图以级联的方式输入到解码器部分进行多特征融合，从而弥补原始特征的丢失。
此外，为了利用不同心脏区域(水肿区域、增强区域及核心区域))之间的位置先验信息，相互增强各自特征的表达，框架利用了双源注意力模块对位置特征进行建模。双源注意力模块是由位置注意力模块和通道注意力模块构成的。其中，位置注意力模块引入自注意力机制来捕获心脏核磁共振图像中的任意两个位置之间的空间依赖性。对于某个具体位置的特征，通过加权求和在所有位置聚合特征来更新，其中权重由相应两个位置之间的特征相似性决定。
对于一个输入心脏核磁共振图像x，所提出的框架会通过unet模型和swin-unet模型分别产生两个预测掩码FUnet(x)，FSwin(x)。如前所述，局部特征和全局特征是通过不同学习范式提取的，其中局部特征依赖于局部卷积操作，而全局特征是通过全局自注意机制提取的，因此这些预测在输出级本质上具有不同的性质。整体训练目标函数是由两部分损失构成，有标签数据的有监督损失和无标签数据的无监督损失。有监督损失LSupervise(·)如公式(3)所示，FUnet(x)及Fswin(·)分别表示unet模型和swin-unet模型生成的预测掩码，y表示标签。
LSupervise(x，y)
＝LCE(FUnet(x)，y)+LCE(FSwin(x)，y)+LDice(FUnet(x)，y)
+LDice(FSwin(x)，y)+LAC(FUnet(x)，y)+LAC(FUnet(x)，y)
+LAC(FSwin(x)，y)
(3)
同时根据FUnet(x)和FSwin(x)的预测掩码，通过以下方法生成交叉教学策略的伪标签：
fUnet(x)＝argmax(FUnet(x)) (1)
fSwin(x)＝argmax(FSwin(x)) (2)
其中，fUnet(x)和fSwin(x)分别为unet和swin-unet训练生成伪标签。然后，我将无标签数据的交叉教学损失定义为公式(4)。其中，LDice(·)是标准的Dice损失函数。
Luneupervise(x)＝LDice(FUnet(x)，fUnet(x))+αLDice(FSwin(x)，fSwin(x)) (4)
其中，LCE(·)，LDice(·)分别为交叉熵损失和Dice损失，LAC(·)为主动轮廓损失，其中α为损失函数中的权重系数，实验过程中设置为1。因此，到整体训练目标损失函数：
LTotal(x，y)＝LSupervise(x，y)+μLUnsupervise(x) (5)
其中，μ是一个权重因子。
最后将上述已经完成训练的心脏半监督语义分割模型进行保存，将未参与深度学习框架训练的心脏图像数据输入模型中进行测试，输出框架的预测结果，保存至数据库中，作为医学诊疗中一个初步的结果。
上述实施例仅为本发明的优选实施方式之一，不应当用于限制本发明的保护范围，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内。
Claims (6)
1.一种半监督心脏语义分割算法，其特征在于，包括如下步骤：
S1：采集心脏超声数据集，将病例的心脏超声视频解码为高分辨率图像，将解码清晰的心脏图像挑选出来并重新裁剪为标准的超声图像数据，由专业医师采用标注工具对对裁剪后的超声图像数据进行标注；并利用标注工具将图像的标注信息自动转换为计算机进行识别的json格式文件；
S2：构建一个由一个粗粒度特征提取分支和一个细粒度特征提取分支构成的基于交叉学习的半监督心脏语义分割框架；将标注后具有标签的心脏核磁共振图像和无标签的心脏核磁共振图像作为半监督心脏语义分割框架的输入，每个输入图像分别通过粗粒度特征提取分支和细粒度特征提取分支来生成预测掩码；
S3：根据预测掩码结合标准Dice损失函数得到半监督心脏语义分割框架的整体训练目标损失函数，对心脏半监督语义分割模型进行训练；
S4：将已经完成训练的心脏半监督语义分割模型进行保存，将未参与深度学习框架训练的心脏图像数据输入模型中进行测试，输出框架的预测结果，保存至数据库中，作为医学诊疗中一个初步的结果。
2.根据权利要求1所述的一种半监督心脏语义分割算法，其特征在于，在所述步骤S2中，对于有标签的心脏核磁共振图像，粗粒度特征提取分支和细粒度特征提取分支分别由图像标签进行监督；对于无标签的心脏核磁共振图像，框架使用粗粒度特征提取分支和细粒度特征提取分支分别生成图像的预测掩码，并使用预测掩码分别更新粗粒度特征提取分支和细粒度特征提取分支的模型参数。
3.根据权利要求2所述的一种半监督心脏语义分割算法，其特征在于，所述粗粒度特征提取分支由基于transformer的编码器及解码器构成；所述编码器由使用patch partition层、linear embeding层、swin transformer模块、patch expanding层和patch merging层组成；所述编码器用于将输入的心脏核磁共振图像转化为序列，使用patch partition层将心脏核磁共振图像分割成大小为4×4不重叠的patch，同时每个patch的特征维数变为48，所述编码器利用linear embeding层将patch的特征维数进行线性映射，线性映射后的token被输入至swintransformer模块和patch merge层用来生成不同尺度的特征信息；所述解码器由多个swin transformer模块、patch expanding层、patch embeding层及linearprojection层构成；其中，所述swin transformer模块用于负责学习图像特征，所述patchexpanding层则负责上采样操作，将该层特征图分辨率扩大两倍，最后通过linearprojection层进行逐像素预测。
4.根据权利要求3所述的一种半监督心脏语义分割算法，其特征在于，所述细粒度特征提取分支为一个对称的四层Unet。
5.根据权利要求4所述的一种半监督心脏语义分割算法，其特征在于，所述半监督心脏语义分割框架采用双源注意力模块对位置特征进行建模；所述双源注意力模块由位置注意力模块和通道注意力模块构成的；其中，所述位置注意力模块引入自注意力机制来捕获心脏核磁共振图像中的任意两个位置之间的空间依赖性；对于某个具体位置的特征，通过加权求和在所有位置聚合特征来更新，其中权重由相应两个位置之间的特征相似性决定。
6.根据权利要求5所述的一种半监督心脏语义分割算法，其特征在于，所述步骤S3中，整体训练目标损失函数的构建方法包括以下步骤：
S31：输入一个输入心脏核磁共振图像x，利用半监督心脏语义分割框架的unet模型和swin-unet模型分别产生两个预测掩码FUnet(x)，FSwin(x)；
S32：根据预测掩码FUnet(x)和FSwin(x)采用公式：
fUnet(x)＝argmax(FUnet(x)) (1)
fSwin(x)＝argmax(FSwin(x)) (2)
得到交叉教学策略的伪标签；其中，fUnet(x)和fSwin(x)分别为unet模型和swin-unet模型训练生成的伪标签；得到有标签数据的有监督损失函数：
其中，LCE(·)，LDice(·)分别为交叉熵损失和Dice损失，LAC(·)为主动轮廓损失，x为输入超声图像，FUnet(x)为细粒度特征提取分支的预测结果，FSwin(x)为粗粒度特征提取分支的预测结果，y为标签；
S33：定义无标签数据的无监督损失的交叉教学损失函数：
LUnsupervise(x)＝LDice(FUnet(x)，fUnet(x))+αLDice(FSwin(x)，fSwin(x)) (4)
其中，α为损失函数中的权重系数，LDice(·)是标准的Dice损失函数，LUnsupervise(x)为无监督损失函数；
S34：得到整体训练目标损失函数：
LTotal(x，y)＝LSupervise(x，y)+μLUnsupervise(x) (5)
其中，μ为权重因子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211176353.8A CN115496732B (zh) | 2022-09-26 | 2022-09-26 | 一种半监督心脏语义分割算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211176353.8A CN115496732B (zh) | 2022-09-26 | 2022-09-26 | 一种半监督心脏语义分割算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115496732A true CN115496732A (zh) | 2022-12-20 |
| CN115496732B CN115496732B (zh) | 2024-03-15 |
Family
ID=84472621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211176353.8A Active CN115496732B (zh) | 2022-09-26 | 2022-09-26 | 一种半监督心脏语义分割算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115496732B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563549A (zh) * | 2023-05-16 | 2023-08-08 | 中国人民解放军国防科技大学 | 基于粗粒度弱标注的磁共振图像心脏分割方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985372A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种深度学习的遥感影像水体提取系统 |
| CN112734789A (zh) * | 2021-01-28 | 2021-04-30 | 重庆兆琨智医科技有限公司 | 一种基于半监督学习和点渲染的图像分割方法及系统 |
| CN113111916A (zh) * | 2021-03-15 | 2021-07-13 | 中国科学院计算技术研究所 | 一种基于弱监督的医学图像语义分割方法和系统 |
| CN113298815A (zh) * | 2021-06-21 | 2021-08-24 | 江苏建筑职业技术学院 | 一种半监督遥感图像语义分割方法、装置和计算机设备 |
| WO2022041307A1 (zh) * | 2020-08-31 | 2022-03-03 | 温州医科大学 | 一种构建半监督图像分割框架的方法及系统 |
| CN114359202A (zh) * | 2021-12-29 | 2022-04-15 | 电子科技大学 | 一种基于交互式半监督的胎儿胼胝体分割系统及方法 |
| CN114359298A (zh) * | 2022-01-05 | 2022-04-15 | 浙江大学 | 一种用于心脏mri的半监督动态自学习分割方法 |
| CN114782384A (zh) * | 2022-04-28 | 2022-07-22 | 东南大学 | 一种基于半监督方法的心脏腔室图像分割方法及装置 |
| CN114821052A (zh) * | 2022-04-25 | 2022-07-29 | 西安电子科技大学 | 基于自调节策略的三维脑肿瘤核磁共振图像分割方法 |
| CN114863112A (zh) * | 2022-05-27 | 2022-08-05 | 江苏大学 | 改进U-net语义分割模型构建方法及用于茶嫩芽识别与采摘点定位方法、系统 |
-
2022
- 2022-09-26 CN CN202211176353.8A patent/CN115496732B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985372A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种深度学习的遥感影像水体提取系统 |
| WO2022041307A1 (zh) * | 2020-08-31 | 2022-03-03 | 温州医科大学 | 一种构建半监督图像分割框架的方法及系统 |
| CN112734789A (zh) * | 2021-01-28 | 2021-04-30 | 重庆兆琨智医科技有限公司 | 一种基于半监督学习和点渲染的图像分割方法及系统 |
| CN113111916A (zh) * | 2021-03-15 | 2021-07-13 | 中国科学院计算技术研究所 | 一种基于弱监督的医学图像语义分割方法和系统 |
| CN113298815A (zh) * | 2021-06-21 | 2021-08-24 | 江苏建筑职业技术学院 | 一种半监督遥感图像语义分割方法、装置和计算机设备 |
| CN114359202A (zh) * | 2021-12-29 | 2022-04-15 | 电子科技大学 | 一种基于交互式半监督的胎儿胼胝体分割系统及方法 |
| CN114359298A (zh) * | 2022-01-05 | 2022-04-15 | 浙江大学 | 一种用于心脏mri的半监督动态自学习分割方法 |
| CN114821052A (zh) * | 2022-04-25 | 2022-07-29 | 西安电子科技大学 | 基于自调节策略的三维脑肿瘤核磁共振图像分割方法 |
| CN114782384A (zh) * | 2022-04-28 | 2022-07-22 | 东南大学 | 一种基于半监督方法的心脏腔室图像分割方法及装置 |
| CN114863112A (zh) * | 2022-05-27 | 2022-08-05 | 江苏大学 | 改进U-net语义分割模型构建方法及用于茶嫩芽识别与采摘点定位方法、系统 |
Non-Patent Citations (4)
| Title |
|---|
| MD. SHAHRIARE SATU; FARZANA TASNIM DEPT. OF CSE, GONO BISHWBIDYALAY, BANGLADESH: "《Exploring Significant Heart Disease Factors based on Semi Supervised Learning Algorithms》", 《2018 INTERNATIONAL CONFERENCE ON COMPUTER, COMMUNICATION, CHEMICAL, MATERIAL AND ELECTRONIC ENGINEERING (IC4ME2)》 * |
| 何萍: "《监督信息在图学习中的有效利用》", 《博士电子期刊出版信息》 * |
| 雷智华: "《基于深度学习的医学图像分割技术研究与应用》", 《硕士电子期刊出版信息》 * |
| 青晨;禹晶;肖创柏;段娟;: "深度卷积神经网络图像语义分割研究进展", 中国图象图形学报, no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563549A (zh) * | 2023-05-16 | 2023-08-08 | 中国人民解放军国防科技大学 | 基于粗粒度弱标注的磁共振图像心脏分割方法 |
| CN116563549B (zh) * | 2023-05-16 | 2023-12-15 | 中国人民解放军国防科技大学 | 基于粗粒度弱标注的磁共振图像心脏分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115496732B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN113674281B (zh) | 一种基于深度形状学习的肝脏ct自动分割方法 | |
| CN111080657A (zh) | 基于卷积神经网络多维度融合的ct图像器官分割方法 | |
| CN113706486A (zh) | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 | |
| Lin et al. | Batformer: Towards boundary-aware lightweight transformer for efficient medical image segmentation | |
| CN117274599A (zh) | 一种基于组合双任务自编码器的脑磁共振分割方法及系统 | |
| CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
| CN116258732A (zh) | 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法 | |
| CN115496732A (zh) | 一种半监督心脏语义分割算法 | |
| ZongRen et al. | DenseTrans: multimodal brain tumor segmentation using swin transformer | |
| CN112750131B (zh) | 基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法 | |
| Tian et al. | Lightweight classification network for pulmonary tuberculosis based on CT images | |
| CN114387282A (zh) | 一种医学影像器官精准自动分割方法及系统 | |
| CN117078941A (zh) | 一种基于上下文级联注意力的心脏mri分割方法 | |
| Yang | A novel brain image segmentation method using an improved 3D U-net model | |
| CN114972291B (zh) | 基于混合增强智能的医学影像结构化自动标注方法与系统 | |
| CN117095016A (zh) | 一种基于多视角一致性的半监督3d肝脏ct图像分割方法 | |
| CN115565671A (zh) | 基于跨模型相互教学半监督的房颤辅助分析方法 | |
| Zhang et al. | An end-to-end segmentation network for the temporomandibular joints CBCT image based on 3D U-Net | |
| Liu et al. | Multi-task learning improves the brain stoke lesion segmentation | |
| CN115526898A (zh) | 一种医学影像分割方法 | |
| CN116092643A (zh) | 一种基于医疗影像的交互式半自动标注方法 | |
| Sun et al. | Research on lung tumor cell segmentation method based on improved UNet algorithm | |
| Lu et al. | Three-dimensional Medical Image Segmentation with SE-VNet Neural Networks | |
| Liu et al. | Few-shot learning for auromatic intracranial hematoma segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |