CN114418946A - 一种医学图像分割方法、系统、终端以及存储介质 - Google Patents

一种医学图像分割方法、系统、终端以及存储介质 Download PDF

Info

Publication number
CN114418946A
CN114418946A CN202111541601.XA CN202111541601A CN114418946A CN 114418946 A CN114418946 A CN 114418946A CN 202111541601 A CN202111541601 A CN 202111541601A CN 114418946 A CN114418946 A CN 114418946A
Authority
CN
China
Prior art keywords
medical image
segmentation
branch
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111541601.XA
Other languages
English (en)
Inventor
刘佳能
李志成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111541601.XA priority Critical patent/CN114418946A/zh
Publication of CN114418946A publication Critical patent/CN114418946A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种医学图像分割方法、系统、终端以及存储介质。所述方法包括：获取医学图像样本数据，医学图像样本数据包括多模态医学图像以及所述多模态医学图像对应病例的临床信息；构建弱‑半监督模型，弱‑半监督模型包括用于执行分割任务的分割分支和用于执行生存期预测任务的生存期预测分支，将所述医学图像样本数据分别输入分割分支和生存期预测分支，将所述分割分支和生存期预测分支提取的特征进行融合并迭代训练，得到训练好的图像分割模型；将待分割医学图像输入训练好的图像分割模型进行图像分割。本申请采用半监督的分割方式，不用依赖于过多的有标签数据；结合弱监督方式，采用生存期等高级语义作为弱监督源，可以提高图像分割精度。

Description

一种医学图像分割方法、系统、终端以及存储介质
技术领域
本申请属于医学图像处理技术领域，特别涉及一种医学图像分割方法、系统、终端以及存储介质。
背景技术
医学图像分割是各种医学图像应用的基础，在临床辅助诊断、图像引导的外科手术和放射治疗中，医学图像分割技术显示出越来越重要的临床价值。传统的医学图像分割都是基于有经验的医生手动分割，而这种纯手动分割的方法往往费时费力，且受医生的主观影响比较大，即使有经验的医生，在疲惫状态下也可能产生错误的分割。此外，经验不足的医生分割的效果也往往难以衡量。
随着深度学习技术的快速发展，基于深度学习的全自动影像分割得到迅猛的发展，在某些领域甚至已经超越了人类，因此，基于深度学习技术的全自动分割就成为了研究的热点。然而，深度学习往往依赖于海量的高质量有标签数据，而医学影像数据往往比较稀缺，获取高质量的有标签数据通常比较困难。此外，人工标注的成本也极高，受不同标注者的影响较大。
发明内容
本申请提供了一种医学图像分割方法、系统、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种医学图像分割方法，包括：
获取医学图像样本数据，所述医学图像样本数据包括多模态医学图像以及所述多模态医学图像对应病例的临床信息；
构建弱-半监督模型，所述弱-半监督模型包括用于执行分割任务的分割分支和用于执行生存期预测任务的生存期预测分支，将所述医学图像样本数据分别输入分割分支和生存期预测分支，将所述分割分支和生存期预测分支提取的特征进行融合并迭代训练，得到训练好的图像分割模型；
将待分割医学图像输入训练好的图像分割模型进行图像分割。
本申请实施例采取的技术方案还包括：所述获取医学图像样本数据包括：
所述多模态医学图像为每一位病例的FLAIR、T1、T2和T1c四种模态图像；
所述临床信息包括所述病例的生存期以及生存状态。
本申请实施例采取的技术方案还包括：所述获取医学图像样本数据具体为：
生成所述多模态医学图像样本数据的Mask数据；
对所述多模态医学图像样本数据以及Mask数据进行预处理，生成用于模型训练的医学图像数据集；
根据设定比例对所述医学图像数据集进行分组，得到训练集、验证集和测试集。
本申请实施例采取的技术方案还包括：所述对所述多模态医学图像样本数据以及Mask数据进行预处理具体为：
对所述多模态医学图像以及对应的Mask数据进行剪裁；剪裁方式具体为：获取每幅多模态医学图像的中心点，以所述中心点向外扩展设定大小的区域，剪掉所述区域以外的部分，得到剪裁后的医学图像和Mask数据；
采用min-max算法对所述剪裁后的医学图像进行归一化；
分别将所述归一化后的四个模态的医学图像以及剪裁后的Mask数据进行拼接操作，得到预处理完成后的医学图像数据集。
本申请实施例采取的技术方案还包括：所述根据设定比例对所述医学图像数据集进行分组具体为：
采用10折交叉验证算法，每一轮中取10％的训练集数据作为验证集。
本申请实施例采取的技术方案还包括：所述构建弱-半监督模型为3D U-Net网络，所述3D U-Net网络的训练过程包括：
将所述训练集数据分别输入分割分支和生存期预测分支中进行下采样处理，所述分割分支下采样得到的特征经过flatten操作变为一维的特征，再输入到Transformer模块；
所述Transformer模块采用基于残差连接的思想，将输入特征与输入前的数据相加，再reshape为输入前的shape，同时将Transformer模块得到的特征引出到生存期预测分支；所述生存期预测分支通过Adapter模块对特征的分布进行转换，并通过信息融合模块将分割分支和生存期预测分支输出的特征进行融合，再经过全连接层，得到生存期预测的风险值；所述分割分支在得到reshape后的特征图后，通过上采样将所述特征图还原为初始输入图像的尺寸大小，再经过二值化处理，得到分割任务的输出结果。
本申请实施例采取的技术方案还包括：所述3D U-Net网络的训练模式具体为：
采用Teacher-Student的训练模式对所述3D U-Net网络进行训练；将无标签的医学图像生成的伪标签加入到训练集中，在每轮训练中，如果当前的训练效果比上一轮好，则用Teacher模型更新Student模型，否则继续训练，如果训练次数超过设定次数都未能更新Student模型，则认为模型已经收敛，模型训练结束。
本申请实施例采取的另一技术方案为：一种医学图像分割系统，包括：
数据获取模块：用于获取医学图像样本数据，所述医学图像样本数据包括多模态医学图像以及所述多模态医学图像对应病例的临床信息；
模型训练模块：用于构建弱-半监督模型，所述弱-半监督模型包括用于执行分割任务的分割分支和用于执行生存期预测任务的生存期预测分支，将所述医学图像样本数据分别输入分割分支和生存期预测分支，将所述分割分支和生存期预测分支提取的特征进行融合并迭代训练，得到训练好的图像分割模型；
图像分割模块：用于将待分割医学图像输入训练好的图像分割模型进行图像分割。
本申请实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现所述医学图像分割方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像分割。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述医学图像分割方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的医学图像分割方法、系统、终端以及存储介质采用半监督的分割方式，不用依赖于过多的有标签数据；结合弱监督方式，采用生存期等高级语义作为弱监督源，并采用Transformer模块挖掘特征之间的相关性，从而聚焦肿瘤区域，进一步提高分割精度。通过将分割任务与生存期预测任务相结合，实现特征共享，相互促进。
附图说明
图1是本申请实施例的医学图像分割方法的流程图；
图2为本申请实施例的3D U-Net网络结构示意图；
图3为本申请实施例的医学图像分割系统结构示意图；
图4为本申请实施例的终端结构示意图；
图5为本申请实施例的存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
请参阅图1，是本申请实施例的医学图像分割方法的流程图。本申请实施例的医学图像分割方法包括以下步骤：
S10：获取一定数量的多模态医学图像样本数据，并生成多模态医学图像样本数据的Mask(标签)数据；
本步骤中，获取的多模态医学图像样本数据包括每一位病例的FLAIR、T1、T2和T1c四种模态图像以及多模态医学图像对应病例的临床信息，病例的临床信息包括生存期以及生存状态等信息，四种模态数据的大小相同。
S20：对多模态医学图像样本数据以及Mask数据进行预处理，生成用于模型训练的医学图像数据集，并根据设定比例对医学图像数据集进行分组，得到训练集、验证集和测试集；
本步骤中，多模态医学图像样本数据的预处理过程具体包括：
S21：根据每幅医学图像的中心点对原始医学图像以及对应的Mask数据进行剪裁；
其中，由于原始的多模态医学图像太大，且尺寸不统一，存在大量的背景区域，而肿瘤区域一般位于医学图像的中间区域，因此，需要对多模态医学图像进行中心区域的裁剪，使得所有多模态医学图像在裁剪后能够一一对应。裁剪方式具体为：找出每幅医学图像的中心点，并以此中心点向外扩展设定大小的区域，剪掉该区域以外的部分，得到剪裁后的医学图像。本申请实施例中，设定剪裁区域的大小为96*128*128，具体可根据实际操作进行设定。
S22：采用min-max算法对剪裁后的医学图像进行归一化，将所有医学图像的像素值压缩到0-1之间；
其中，由于FLAIR、T1、T2、T1c四种模态数据的成像方式不同，导致图像的对比度存在差异，因此本申请实施例采用min-max算法将不同模态的图像像素值归一化到0-1之间，而剪裁后的Mask数据无需进行归一化操作。
S23：分别将归一化后的四个模态的医学图像以及剪裁后的Mask数据进行拼接操作，得到预处理完成后的医学图像数据集；
其中，拼接后的医学图像数据大小为96*128*128*4。
本申请实施例后，在对医学图像数据进行预处理完之后，还需要根据设定比例对数据集进行分组。优选地，本实施例中测试集的划分比例为25％，其他75％作为训练集和验证集，并采用10折交叉验证算法，即每一轮中取10％的训练集数据作为验证集，可以在评估模型训练效果的同时使用尽可能多的数据进行模型训练。
S30：构建弱-半监督模型，并将训练集输入弱-半监督模型进行迭代训练，得到训练好的图像分割模型；
本步骤中，本申请实施例采用pytorch框架进行弱-半监督模型的搭建，弱-半监督模型为由2D U-Net网络改造而成的3D U-Net网络，即将2D U-Net网络中的2D卷积和2D池化等所有2D操作全部换为3D操作。3D U-Net网络结构如图2所示。3D U-Net网络包括用于执行分割任务的分割分支和用于执行生存期预测任务的生存期预测分支两个分支结构，还包括残差模块、Transformer模块、Adapter模块、信息融合模块以及Survival Predict模块，具体的：
将训练集分别输入分割分支和生存期预测分支，分割分支的输出为从医学图像数据中提取到的特征；生存期预测分支采用全连接神经网络实现，输出值为每一位病例所对应的风险值。由于不同的分割任务所提取的特征分布存在差异，如果直接融合可能会存在对消的情况，本申请实施例通过Adapter模块将分割分支提取的特征进行数据分布转换，从而将分割分支得到的特征融合到生存期预测分支中，使生存期预测任务也能够利用分割任务中学到的特征。Adapter模块的数据分布转换过程具体为：首先利用生存期预测分支的特征分布计算出生存期预测任务中特征的mean和std，然后在分割分支上进行数据变换，用分割任务中的特征减去mean再除以std，使分割任务具有与生存期预测任务相同的mean和std。通过Adapter模块将分割分支获得的特征转化为与生存期预测分支获得的特征相同的分布，可以有效避免特征之间的信息丢失，同时提供其他任务无法提供的信息。其中，分割分支的损失函数为Dice系数以及BCE(Binary Cross Entropy)Loss，生存期预测分支的损失函数为NegativeLogLikelihood(负对数似然)。
Transformer模块的输入和输出维度分别为201，内部网络层数为4层，n_head＝1。将分割分支提取的特征经过flatten操作变为一维的特征，将每个channel(通道)的一维特征进行拼接，再输入到Transformer模块中。Transformer模块采用基于残差连接的思想，采用残差模块将输入特征与输入前的数据相加，再reshape为输入前的shape，从而进一步挖掘不同特征之间的内部联系。其中，每个残差模块分别由2个卷积层组成，即进行2次卷积操作再残差连接，在每次卷积之后，采用LeakyRelu进行非线性映射，并采用GroupNorm进行归一化操作；残差模块的残差公式为：xl+1＝xl+F(xl)。
信息融合模块用于采用卷积的方式对分割分支和生存期预测分支输出的特征进行合并，对合并后的特征进行再卷积操作，卷积后的输出结果即为融合后的特征，从而将生存期预测任务中学到的特征迁移到分割任务中。
为了能够充分学习到生存期信息和Mask信息，3D U-Net网络采用双下采样的方式，输入数据分别输入两个编码器(即分割分支和生存期预测分支)，再将两个编码器的输出结果进行融合，最后将融合后的图像引入解码器中进行上采样。具体的，本申请实施例的3D U-Net网络训练过程包括：将训练集数据分别输入分割分支和生存期预测分支中进行下采样处理，总共进行3次下采样，并暂时保留每次下采样的结果；其中分割分支下采样得到的特征先经过flatten操作变为一维的特征，再输入到Transformer模块；Transformer模块采用基于残差连接的思想，将输入特征与输入前的数据相加，再reshape为输入前的shape，同时将Transformer模块得到的特征引出到生存期预测分支；生存期预测分支通过Adapter模块对特征的分布进行转换，并通过信息融合模块将分割分支和生存期预测分支输出的特征进行融合，再经过全连接层，即可得到生存期预测的风险值，对风险值进行二值化处理，再将二值化结果作为一个影响因子，计算其对生存期的影响。分割分支在得到reshape后的特征图后，经过3次上采样，将特征图还原为初始输入图像的尺寸大小，再经过二值化处理，即得到分割任务的输出结果。
本申请实施例采用Teacher-Student的训练模式对搭建好的3D U-Net网络进行训练。Teacher-Student训练模式具体为：将无label的图像数据生成的伪标签加入到训练集中，在每轮训练中，如果当前的训练效果比上一轮好，则用Teacher模型更新Student模型，否则继续训练，如果训练次数超过20轮都未能更新Student模型，则认为模型已经收敛，可以结束训练。并采用C-Index评价指标和Dice系数来评价当前模型的训练效果。
基于上述，本申请实施例的3D U-Net网络采用半监督的分割方式，能够有效减少所需的有标签数据；将分割任务与生存期预测任务相结合，实现特征共享，相互促进；结合弱监督方式，采用生存期等高级语义作为弱监督源，并采用Transformer模块挖掘特征之间的相关性，从而聚焦肿瘤区域，进一步提高分割精度。
S40：将验证数据集输入训练好的图像分割模型进行模型评估；
本步骤中，在构建并训练完模型后，为了进一步验证图像分割模型的分割效果，分别计算了P值和KM曲线对模型性能进行评估，结果表明，本申请实施例的图像分割模型比单独的弱监督或半监督具有更好的分割效果。
S50：将测试数据集输入图像分割模型进行模型测试；
本步骤中，通过将测试集数据输入到训练好的图像分割模型中，将得到的分割结果与真实手工标注的Mask进行比较，通过计算Dice loss来评判最终的模型好坏。
S60：将待分割医学图像输入训练好的图像分割模型，通过图像分割模型输出分割结果。
基于上述，本申请实施例的医学图像分割方法采用半监督的分割方式，不用依赖于过多的有标签数据；结合弱监督方式，采用生存期等高级语义作为弱监督源，并采用Transformer模块挖掘特征之间的相关性，从而聚焦肿瘤区域，进一步提高分割精度。通过将分割任务与生存期预测任务相结合，实现特征共享，相互促进。
请参阅图3，为本申请实施例的医学图像分割系统结构示意图。本申请实施例的医学图像分割系统40包括：
数据获取模块41：用于获取医学图像样本数据，医学图像样本数据包括多模态医学图像以及多模态医学图像对应病例的临床信息；
模型训练模块42：用于构建弱-半监督模型，弱-半监督模型包括用于执行分割任务的分割分支和用于执行生存期预测任务的生存期预测分支，将医学图像样本数据分别输入分割分支和生存期预测分支，将分割分支和生存期预测分支提取的特征进行融合并迭代训练，得到训练好的图像分割模型；
图像分割模块43：用于将待分割医学图像输入训练好的图像分割模型进行图像分割。
请参阅图4，为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述医学图像分割方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制医学图像分割。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图5，为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种医学图像分割方法，其特征在于，包括：
获取医学图像样本数据，所述医学图像样本数据包括多模态医学图像以及所述多模态医学图像对应病例的临床信息；
构建弱-半监督模型，所述弱-半监督模型包括用于执行分割任务的分割分支和用于执行生存期预测任务的生存期预测分支，将所述医学图像样本数据分别输入分割分支和生存期预测分支，将所述分割分支和生存期预测分支提取的特征进行融合并迭代训练，得到训练好的图像分割模型；
将待分割医学图像输入训练好的图像分割模型进行图像分割。
2.根据权利要求1所述的医学图像分割方法，其特征在于，所述获取医学图像样本数据包括：
所述多模态医学图像为每一位病例的FLAIR、T1、T2和T1c四种模态图像；
所述临床信息包括所述病例的生存期以及生存状态。
3.根据权利要求2所述的医学图像分割方法，其特征在于，所述获取医学图像样本数据具体为：
生成所述多模态医学图像样本数据的Mask数据；
对所述多模态医学图像样本数据以及Mask数据进行预处理，生成用于模型训练的医学图像数据集；
根据设定比例对所述医学图像数据集进行分组，得到训练集、验证集和测试集。
4.根据权利要求3所述的医学图像分割方法，其特征在于，所述对所述多模态医学图像样本数据以及Mask数据进行预处理具体为：
对所述多模态医学图像以及对应的Mask数据进行剪裁；剪裁方式具体为：获取每幅多模态医学图像的中心点，以所述中心点向外扩展设定大小的区域，剪掉所述区域以外的部分，得到剪裁后的医学图像和Mask数据；
采用min-max算法对所述剪裁后的医学图像进行归一化；
分别将所述归一化后的四个模态的医学图像以及剪裁后的Mask数据进行拼接操作，得到预处理完成后的医学图像数据集。
5.根据权利要求3所述的医学图像分割方法，其特征在于，所述根据设定比例对所述医学图像数据集进行分组具体为：
采用10折交叉验证算法，每一轮中取10％的训练集数据作为验证集。
6.根据权利要求1至5任一项所述的医学图像分割方法，其特征在于，所述构建弱-半监督模型为3D U-Net网络，所述3D U-Net网络的训练过程包括：
将所述训练集数据分别输入分割分支和生存期预测分支中进行下采样处理，所述分割分支下采样得到的特征经过flatten操作变为一维的特征，再输入到Transformer模块；
所述Transformer模块采用基于残差连接的思想，将输入特征与输入前的数据相加，再reshape为输入前的shape，同时将Transformer模块得到的特征引出到生存期预测分支；所述生存期预测分支通过Adapter模块对特征的分布进行转换，并通过信息融合模块将分割分支和生存期预测分支输出的特征进行融合，再经过全连接层，得到生存期预测的风险值；所述分割分支在得到reshape后的特征图后，通过上采样将所述特征图还原为初始输入图像的尺寸大小，再经过二值化处理，得到分割任务的输出结果。
7.根据权利要求6所述的医学图像分割方法，其特征在于，所述3D U-Net网络的训练模式具体为：
采用Teacher-Student的训练模式对所述3D U-Net网络进行训练；将无标签的医学图像生成的伪标签加入到训练集中，在每轮训练中，如果当前的训练效果比上一轮好，则用Teacher模型更新Student模型，否则继续训练，如果训练次数超过设定次数都未能更新Student模型，则认为模型已经收敛，模型训练结束。
8.一种医学图像分割系统，其特征在于，包括：
数据获取模块：用于获取医学图像样本数据，所述医学图像样本数据包括多模态医学图像以及所述多模态医学图像对应病例的临床信息；
模型训练模块：用于构建弱-半监督模型，所述弱-半监督模型包括用于执行分割任务的分割分支和用于执行生存期预测任务的生存期预测分支，将所述医学图像样本数据分别输入分割分支和生存期预测分支，将所述分割分支和生存期预测分支提取的特征进行融合并迭代训练，得到训练好的图像分割模型；
图像分割模块：用于将待分割医学图像输入训练好的图像分割模型进行图像分割。
9.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-7任一项所述的医学图像分割方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像分割。
10.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至7任一项所述医学图像分割方法。
CN202111541601.XA 2021-12-16 2021-12-16 一种医学图像分割方法、系统、终端以及存储介质 Pending CN114418946A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111541601.XA CN114418946A (zh) 2021-12-16 2021-12-16 一种医学图像分割方法、系统、终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111541601.XA CN114418946A (zh) 2021-12-16 2021-12-16 一种医学图像分割方法、系统、终端以及存储介质

Publications (1)

Publication Number Publication Date
CN114418946A true CN114418946A (zh) 2022-04-29

Family

ID=81267872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111541601.XA Pending CN114418946A (zh) 2021-12-16 2021-12-16 一种医学图像分割方法、系统、终端以及存储介质

Country Status (1)

Country Link
CN (1) CN114418946A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131364A (zh) * 2022-08-26 2022-09-30 中加健康工程研究院(合肥)有限公司 一种基于Transformer的医学图像分割方法
CN116402838A (zh) * 2023-06-08 2023-07-07 吉林大学 一种用于颅内出血的半监督图像分割方法及系统
CN116543166A (zh) * 2023-07-04 2023-08-04 北京科技大学 一种早期脑部肿瘤分割方法及系统
WO2024060416A1 (zh) * 2022-09-22 2024-03-28 深圳先进技术研究院 一种病理图像的端到端弱监督语义分割标注方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131364A (zh) * 2022-08-26 2022-09-30 中加健康工程研究院(合肥)有限公司 一种基于Transformer的医学图像分割方法
WO2024060416A1 (zh) * 2022-09-22 2024-03-28 深圳先进技术研究院 一种病理图像的端到端弱监督语义分割标注方法
CN116402838A (zh) * 2023-06-08 2023-07-07 吉林大学 一种用于颅内出血的半监督图像分割方法及系统
CN116402838B (zh) * 2023-06-08 2023-09-15 吉林大学 一种用于颅内出血的半监督图像分割方法及系统
CN116543166A (zh) * 2023-07-04 2023-08-04 北京科技大学 一种早期脑部肿瘤分割方法及系统
CN116543166B (zh) * 2023-07-04 2023-09-05 北京科技大学 一种早期脑部肿瘤分割方法及系统

Similar Documents

Publication Publication Date Title
CN114418946A (zh) 一种医学图像分割方法、系统、终端以及存储介质
US20210366161A1 (en) A content adaptive attention model for neural network-based image and video encoders
CN111612754A (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN111210382B (zh) 图像处理方法、装置、计算机设备和存储介质
CN115018809B (zh) Ct图像的靶区分割识别方法及系统
CN114155402A (zh) 用于改善机器学习模型泛化能力的合成训练数据生成
Tripathy et al. Brain MRI segmentation techniques based on CNN and its variants
CN113034453A (zh) 一种基于深度学习的乳腺图像配准方法
CN113112534A (zh) 一种基于迭代式自监督的三维生物医学图像配准方法
CN117974693B (zh) 图像分割方法、装置、计算机设备和存储介质
Yang et al. A neural ordinary differential equation model for visualizing deep neural network behaviors in multi‐parametric MRI‐based glioma segmentation
CN112101438B (zh) 一种左右眼分类方法、装置、服务器和存储介质
US20230410465A1 (en) Real time salient object detection in images and videos
WO2024119337A1 (zh) 脑网络统一表征计算方法、装置、电子设备及存储介质
US20230298326A1 (en) Image augmentation method, electronic device and readable storage medium
CN112837420B (zh) 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统
CN112190250B (zh) 垂体瘤影像分类方法、系统及电子设备
Pálsson et al. Semi-supervised variational autoencoder for survival prediction
EP4407519A1 (en) Canonicalized codebook for 3d object generation
Nguyen et al. Class label conditioning diffusion model for robust brain tumor mri synthesis
US20240144447A1 (en) Saliency maps and concept formation intensity for diffusion models
US20230360382A1 (en) Image processing apparatus and operating method thereof
Mizutani et al. A description length approach to determining the number of k-means clusters
Thotapally Brain cancer detection using mri scans
Gupta et al. Exterior-point optimization for nonconvex learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination