CN116543166B - 一种早期脑部肿瘤分割方法及系统 - Google Patents

一种早期脑部肿瘤分割方法及系统 Download PDF

Info

Publication number
CN116543166B
CN116543166B CN202310808414.6A CN202310808414A CN116543166B CN 116543166 B CN116543166 B CN 116543166B CN 202310808414 A CN202310808414 A CN 202310808414A CN 116543166 B CN116543166 B CN 116543166B
Authority
CN
China
Prior art keywords
layer
tumor
training
early
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310808414.6A
Other languages
English (en)
Other versions
CN116543166A (zh
Inventor
张天翔
李擎
李江昀
张毅思
寇明银
苗磊
万春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202310808414.6A priority Critical patent/CN116543166B/zh
Publication of CN116543166A publication Critical patent/CN116543166A/zh
Application granted granted Critical
Publication of CN116543166B publication Critical patent/CN116543166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种早期脑部肿瘤分割方法和系统，包括：收集并预处理不同脑部肿瘤患者不同时期的MRI影像数据；划分为早期与中、晚期数据，进行标注并排序；将中、晚期脑部肿瘤数据作为源域输入基于3D‑GRU、3D‑CNN和Transformer融合设计的语义分割基模型进行预训练，提取中、晚期肿瘤的时序变化特征与肿瘤的形态学特征信息，获得预训练权重；将预训练权重作为先验知识，早期肿瘤训练集数据作为目标域进行迁移学习模型的训练，利用中、晚期肿瘤特征反演早期肿瘤特征，从源域进行参数高效迁移目标域；将待分割的早期肿瘤MRI影像数据预处理后，输入训练完成的迁移学习模型，生成早期脑部肿瘤病灶区域的分割结果。采用本发明，能在肿瘤尚处于早期的时候就将其准确分割。

Description

一种早期脑部肿瘤分割方法及系统
技术领域
本发明涉及图像数据处理技术领域，特别是指一种早期脑部肿瘤分割方法及系统。
背景技术
在医学诊断过程中，肿瘤病灶区域的医学成像是医生进行病证判别的关键要素之一，在这其中，脑部肿瘤磁共振成像（Magnetic Resonance Imaging， MRI）影像数据的机器分割结果常常被用作脑肿瘤诊断的辅助手段。然而，早期的脑部肿瘤因其形态学特征不明显，形状较小等原因，导致其相比与中、晚期肿瘤要更难以被分割出来，容易造成对早期脑部肿瘤患者的错检或漏检。一旦发生漏检问题，就会对患者的生命健康造成极大危害，因此需要在肿瘤尚仍处于早期的时候就将其准确分割，以提高医学辅助诊断的精确度，帮助医生即时对病患进行早期诊断。
发明内容
本发明实施例提供了一种早期脑部肿瘤分割方法及系统。所述技术方案如下：
一方面，提供了一种早期脑部肿瘤分割方法，所述方法包括：
S1、收集并预处理不同脑部肿瘤患者不同时期的磁共振成像MRI影像数据；
S2、将所述MRI影像数据按照肿瘤的形态学特征划分为早期与中、晚期数据，针对不同时期数据的肿瘤特征区域进行标注，对于不同时期的数据按照肿瘤变化的顺序分别依照时间进行排序，并划分训练集和验证集；
S3、将中、晚期脑部肿瘤训练集数据作为源域输入基于3D-GRU、3D-CNN和Transformer融合设计的语义分割基模型进行预训练，提取中、晚期肿瘤的时序变化特征与肿瘤的形态学特征信息，获得能够提取中、晚期肿瘤明显的病灶语义表征的预训练权重；
S4、将所述预训练权重作为先验知识，早期肿瘤训练集数据作为目标域进行迁移学习模型的训练，利用中、晚期肿瘤特征反演早期肿瘤特征，从源域进行参数高效迁移目标域；
S5、将待分割的早期肿瘤MRI影像数据预处理后，输入训练完成的迁移学习模型，生成早期脑部肿瘤病灶区域的分割结果。
可选地，所述语义分割基模型由时序特征建模器、编码器、特征提取器、解码器串联而成，其中3D-GRU用于构建时序特征建模器，3D-CNN用于构建编码器与解码器，Transformer用于构建特征提取器；
时序特征建模器由带有残差连接的3D-GRU组成，3D-GRU由3D记忆层与3D遗忘层串联组成，以实现对肿瘤图像的时序特征提取，3D记忆层输入时序肿瘤图像序列中当前时刻的图像，通过3D卷积提取特征送入3D遗忘层的同时与上一时刻肿瘤的输出特征矩阵进行拼接，经过拼接的特征矩阵一方面通过3D卷积作为遗忘特征送入3D遗忘层，另一方面经过3D卷积与Sigmoid激活后与原始上一时刻输出特征矩阵相乘后作为记忆特征送入3D遗忘层；3D遗忘层将遗忘特征经过Sigmoid与遗忘函数激活后与上一时刻输出特征矩阵相乘得到遗忘历史特征，之后将输入的记忆特征与经过3D卷积的当前时刻输入图像进行特征拼接，并经由Sigmoid激活后与遗忘历史特征相加，输出含有时序信息的当前时刻的特征矩阵；
编码器由3组重复堆叠的下采样卷积块组成，每一个下采样卷积块串联堆叠3组卷积核大小3×3×3的3D卷积层、GELU激活函数层与批标准化层组成的顺序结构，在顺序结构后串联一个下采样模块，所述下采样模块由卷积核大小3×3×3，步长为2的3D卷积层组成以实现特征图的二倍下采样；
解码器由3组重复堆叠的上采样卷积块组成，每一个上采样卷积块串联堆叠3组与编码器相同设计的顺序结构，在顺序结构前通过残差连接相同维度的编码器输出实现特征拼接，在顺序结构后串联一个上采样模块，所述上采样模块由卷积核大小1×1×1的3D卷积特征融合层与串联的基于双线性差值法的二倍上采样层组成；
特征提取器由图像块嵌入层、位置特征嵌入层与4层重复堆叠的TransformerLayer串联构建，所述图像块嵌入层将输入图像特征矩阵转化为序列特征矩阵，所述位置特征嵌入层为序列特征矩阵添加位置信息，所述Transformer Layer由带有残差连接的多头自注意力层、与带有残差连接的GELU激活的多层感知机层串联而成；特征图在经过Transformer内部多头自注意力层与多层感知机层前都由层标准化层进行归一化处理，以加快模型收敛速度。
可选地，所述迁移学习模型基于所述语义分割基模型，基模型的时序特征建模器、编码器与解码器结构保持不变，在基模型中的Transformer结构内的多层感知机层并联Adapter模块，在多头自注意力层内的查询、键的特征映射层并联Adapter模块，搭建基于Adapter与Transformer的迁移学习特征提取器；
其中，Adapter模块采用串联的降维全连接层、升维全连接层拼接得到，用于多层感知机层的Adapter在全连接层之间插入ReLU激活函数层，用于多头自注意力层的Adapter不带有激活函数层。
可选地，所述S4，具体包括：
使用所述预训练权重进行所述迁移学习模型的Adapter以外结构的初始化权重，Adapter结构内采用高斯初始化权重；
将早期肿瘤训练集数据用于初始化后的迁移学习模型进行训练时，只对Adapter结构内参数用早期肿瘤训练集数据进行迁移学习训练优化，对Adapter以外的结构不进行参数优化。
可选地，所述S3中使用Dice损失函数计算损失以进行反向传播优化权重。
另一方面，提供了一种早期脑部肿瘤分割系统，所述系统包括：
收集模块，用于收集并预处理不同脑部肿瘤患者不同时期的磁共振成像MRI影像数据；
标注模块，用于将所述MRI影像数据按照肿瘤的形态学特征划分为早期与中、晚期数据，针对不同时期数据的肿瘤特征区域进行标注，对于不同时期的数据按照肿瘤变化的顺序分别依照时间进行排序，并划分训练集和验证集；
预训练模块，用于将中、晚期脑部肿瘤训练集数据作为源域输入基于3D-GRU、3D-CNN和Transformer融合设计的语义分割基模型进行预训练，提取中、晚期肿瘤的时序变化特征与肿瘤的形态学特征信息，获得能够提取中、晚期肿瘤明显的病灶语义表征的预训练权重；
训练模块，用于将所述预训练权重作为先验知识，早期肿瘤训练集数据作为目标域进行迁移学习模型的训练，利用中、晚期肿瘤特征反演早期肿瘤特征，从源域进行参数高效迁移目标域；
分割模块，用于将待分割的早期肿瘤MRI影像数据进行预处理后，输入训练完成的迁移学习模型，生成早期脑部肿瘤病灶区域的分割结果。
可选地，所述语义分割基模型由时序特征建模器、编码器、特征提取器、解码器串联而成，其中3D-GRU用于构建时序特征建模器，3D-CNN用于构建编码器与解码器，Transformer用于构建特征提取器；
时序特征建模器由带有残差连接的3D-GRU组成，3D-GRU由3D记忆层与3D遗忘层串联组成，以实现对肿瘤图像的时序特征提取，3D记忆层输入时序肿瘤图像序列中当前时刻的图像，通过3D卷积提取特征送入3D遗忘层的同时与上一时刻肿瘤的输出特征矩阵进行拼接，经过拼接的特征矩阵一方面通过3D卷积作为遗忘特征送入3D遗忘层，另一方面经过3D卷积与Sigmoid激活后与原始上一时刻输出特征矩阵相乘后作为记忆特征送入3D遗忘层；3D遗忘层将遗忘特征经过Sigmoid与遗忘函数激活后与上一时刻输出特征矩阵相乘得到遗忘历史特征，之后将输入的记忆特征与经过3D卷积的当前时刻输入图像进行特征拼接，并经由Sigmoid激活后与遗忘历史特征相加，输出含有时序信息的当前时刻的特征矩阵；
编码器由3组重复堆叠的下采样卷积块组成，每一个下采样卷积块串联堆叠3组卷积核大小3×3×3的3D卷积层、GELU激活函数层与批标准化层组成的顺序结构，在顺序结构后串联一个下采样模块，所述下采样模块由卷积核大小3×3×3，步长为2的3D卷积层组成以实现特征图的二倍下采样；
解码器由3组重复堆叠的上采样卷积块组成，每一个上采样卷积块串联堆叠3组与编码器相同设计的顺序结构，在顺序结构前通过残差连接相同维度的编码器输出实现特征拼接，在顺序结构后串联一个上采样模块，所述上采样模块由卷积核大小1×1×1的3D卷积特征融合层与串联的基于双线性差值法的二倍上采样层组成；
特征提取器由图像块嵌入层、位置特征嵌入层与4层重复堆叠的TransformerLayer串联构建，所述图像块嵌入层将输入图像特征矩阵转化为序列特征矩阵，所述位置特征嵌入层为序列特征矩阵添加位置信息，所述Transformer Layer由带有残差连接的多头自注意力层、与带有残差连接的GELU激活的多层感知机层串联而成；特征图在经过Transformer内部多头自注意力层与多层感知机层前都由层标准化层进行归一化处理，以加快模型收敛速度。
可选地，所述迁移学习模型基于所述语义分割基模型，基模型的时序特征建模器、编码器与解码器结构保持不变，在基模型中的Transformer结构内的多层感知机层并联Adapter模块，在多头自注意力层内的查询、键的特征映射层并联Adapter模块，搭建基于Adapter与Transformer的迁移学习特征提取器；
其中，Adapter模块采用串联的降维全连接层、升维全连接层拼接得到，用于多层感知机层的Adapter在全连接层之间插入ReLU激活函数层，用于多头自注意力层的Adapter不带有激活函数层。
可选地，所述训练模块，具体用于：
使用所述预训练权重进行所述迁移学习模型的Adapter以外结构的初始化权重，Adapter结构内采用高斯初始化权重；
将早期肿瘤训练集数据用于初始化后的迁移学习模型进行训练时，只对Adapter结构内参数用早期肿瘤训练集数据进行迁移学习训练优化，对Adapter以外的结构不进行参数优化。
可选地，所述预训练模块使用Dice损失函数计算损失以进行反向传播优化权重。
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述早期脑部肿瘤分割方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述早期脑部肿瘤分割方法。
本发明提供的技术方案带来的有益效果至少包括：
1. 本发明设计了一种利用Adapter的迁移学习训练方法让模型能够充分利用已有的大量中、晚期明显病灶数据作为源域进行知识提取，进而反演目标域早期肿瘤的病灶分割，避免了缺乏早期肿瘤先验知识与可用训练数据少的问题。
2. 本发明利用脑部肿瘤病灶区域的时序变化过程，使用中、晚期大量易标注肿瘤数据进行网络训练以反演早期肿瘤的分割，缓解了肿瘤特征不明显，难以预测的问题。
3. 本发明设计融合GRU、CNN、Transformer结构搭建融合模型用于语义分割任务，GRU能够利用肿瘤变化数据的时序特征，并同时获得CNN网络模型学习细小特征以及Transformer长距离分布特征的能力，提高了模型的特征提取能力。
4. 本发明设计的Adapter模块与插入位置能够保证从中、晚期肿瘤特征的先验知识能够充分得到利用，并对早期肿瘤数据进行针对性学习，获得对早期肿瘤病灶区域的更优分割结果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种早期脑部肿瘤分割方法流程图；
图2是本发明实施例提供的另一种早期脑部肿瘤分割方法流程图；
图3是本发明实施例提供的语义分割基模型与迁移学习模型结构图；
图4是本发明实施例提供的时序特征建模器结构图；
图5是本发明实施例提供的Transformer结构图；
图6是本发明实施例提供的 插入Adapter的Transformer结构图；
图7是本发明实施例提供的Adapter结构图；
图8是本发明实施例提供的一种早期脑部肿瘤分割系统框图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种早期脑部肿瘤分割方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种早期脑部肿瘤分割方法流程图，该方法的处理流程可以包括如下的步骤：
S1、收集并预处理不同脑部肿瘤患者不同时期的磁共振成像MRI影像数据；
S2、将所述MRI影像数据按照肿瘤的形态学特征划分为早期与中、晚期数据，针对不同时期数据的肿瘤特征区域进行标注，对于不同时期的数据按照肿瘤变化的顺序分别依照时间进行排序，并划分训练集和验证集；
S3、将中、晚期脑部肿瘤训练集数据作为源域输入基于3D-GRU、3D-CNN和Transformer融合设计的语义分割基模型进行预训练，提取中、晚期肿瘤的时序变化特征与肿瘤的形态学特征信息，获得能够提取中、晚期肿瘤明显的病灶语义表征的预训练权重；
S4、将所述预训练权重作为先验知识，早期肿瘤训练集数据作为目标域进行迁移学习模型的训练，利用中、晚期肿瘤特征反演早期肿瘤特征，从源域进行参数高效迁移目标域；
S5、将待分割的早期肿瘤MRI影像数据预处理后，输入训练完成的迁移学习模型，生成早期脑部肿瘤病灶区域的分割结果。
为了克服医疗辅助诊断领域下脑部肿瘤早期病灶分割困难的问题，本发明实施例设计了一种早期脑部肿瘤分割方法，针对肿瘤存在早期、中期到晚期的时序变化过程，旨在用语义分割基模型提取中、晚期的大量易分割数据作为先验知识，基模型使用3D-GRU、CNN与Transformer的组合模型设计展开，使用3D-GRU搭建时序特征建模器提取中、晚期肿瘤的时序变化特征，CNN网络模型具有较强的学习细小特征的能力，Transformer则具有较强的学习长距离分布特征的能力，在基模型上添加Adapter模块构建迁移学习模型，利用中、晚期强标注数据作为源域，早期病灶为目标域，通过基模型提取中、晚期肿瘤明显的病灶语义表征的预训练权重，将预训练权重作为先验知识，早期肿瘤训练集数据作为目标域进行迁移学习模型的训练，利用中、晚期肿瘤特征反演早期肿瘤特征，从源域进行参数高效迁移目标域，实现由中、晚期数据引导的早期难分割数据的病灶分割任务。首先，获取不同患者不同时期的脑部肿瘤MRI数据，按照肿瘤的形态学标准将数据分为早期、中期、晚期数据并对数据进行人为标注制作语义分割标签，对于不同时期的数据按照肿瘤变化的顺序分别依照时间进行排序，并划分训练集和验证集；其次，使用3D-GRU搭建语义分割基模型的时序特征建模器，使用3D-CNN结构搭建语义分割基模型的编码器与解码器，使用Transformer搭建编码器与解码器之间的特征提取器，共同组合成语义分割基模型；之后，用大量有标注的中、晚期肿瘤数据送入语义分割基模型进行训练，提取中、晚期肿瘤明显的病灶语义表征的预训练权重；再次，在训练好的基模型的Transformer结构中添加Adapter搭建迁移学习模型，利用中、晚期预训练好的权重作为先验知识，利用中、晚期肿瘤特征反演早期肿瘤特征，只对Adapter内参数用早期肿瘤数据进行迁移学习训练优化；最后，将待分割的早期肿瘤数据送入训练好的迁移学习模型，得到更优的分割结果。
下面结合图2-图7，详细说明本发明实施例提供的一种早期脑部肿瘤分割方法，如图2所示，所述方法包括：
S1、收集并预处理不同脑部肿瘤患者不同时期的磁共振成像MRI影像数据；
具体的，可以利用PACS系统对收集到的影响进行预处理，包括裁剪、位置矫正等操作。
S2、将所述MRI影像数据按照肿瘤的形态学特征划分为早期与中、晚期数据，针对不同时期数据的肿瘤特征区域进行标注，对于不同时期的数据按照肿瘤变化的顺序分别依照时间进行排序，并划分训练集和验证集；
肿瘤包括三类：坏死肿瘤、瘤周水肿、钆增强肿瘤，其余部分作为背景进行标注。
将带有语义分割标签的早期与中、晚期脑部肿瘤数据，对于不同时期的数据按照肿瘤变化的顺序分别依照时间进行排序，分别按照预设定的比例分为训练集与验证集，其中，中、晚期数据用于语义分割基模型训练，早期数据用于迁移学习模型训练，每次送入模型的数据为一组时序肿瘤图像序列。
S3、将中、晚期脑部肿瘤训练集数据作为源域输入基于3D-GRU、3D-CNN和Transformer融合设计的语义分割基模型进行预训练，提取中、晚期肿瘤的时序变化特征与肿瘤的形态学特征信息，获得能够提取中、晚期肿瘤明显的病灶语义表征的预训练权重；
如图3所示，所述语义分割基模型由时序特征建模器、编码器、特征提取器、解码器串联而成，其中3D-GRU用于构建时序特征建模器，3D-CNN用于构建编码器与解码器，Transformer用于构建特征提取器；
如图4所示，时序特征建模器由带有残差连接的3D-GRU组成，3D-GRU由3D记忆层与3D遗忘层串联组成，以实现对肿瘤图像的时序特征提取，3D记忆层输入时序肿瘤图像序列中当前时刻的图像，通过3D卷积提取特征送入3D遗忘层的同时与上一时刻肿瘤的输出特征矩阵进行拼接，经过拼接的特征矩阵一方面通过3D卷积作为遗忘特征送入3D遗忘层，另一方面经过3D卷积与Sigmoid激活后与原始上一时刻输出特征矩阵相乘后作为记忆特征送入3D遗忘层；3D遗忘层将遗忘特征经过Sigmoid与遗忘函数激活后与上一时刻输出特征矩阵相乘得到遗忘历史特征，之后将输入的记忆特征与经过3D卷积的当前时刻输入图像进行特征拼接，并经由Sigmoid激活后与遗忘历史特征相加，输出含有时序信息的当前时刻的特征矩阵；
如图3所示，编码器由3组重复堆叠的下采样卷积块组成，每一个下采样卷积块串联堆叠3组卷积核大小3×3×3的3D卷积层、GELU激活函数层与批标准化层组成的顺序结构，在顺序结构后串联一个下采样模块，所述下采样模块由卷积核大小3×3×3，步长为2的3D卷积层组成以实现特征图的二倍下采样；
解码器由3组重复堆叠的上采样卷积块组成，每一个上采样卷积块串联堆叠3组与编码器相同设计的顺序结构，在顺序结构前通过残差连接相同维度的编码器输出实现特征拼接，在顺序结构后串联一个上采样模块，所述上采样模块由卷积核大小1×1×1的3D卷积特征融合层与串联的基于双线性差值法的二倍上采样层组成；
特征提取器由图像块嵌入层、位置特征嵌入层与4层重复堆叠的TransformerLayer串联构建，所述图像块嵌入层将输入图像特征矩阵转化为序列特征矩阵，所述位置特征嵌入层为序列特征矩阵添加位置信息，如图5所示，所述Transformer Layer由带有残差连接的多头自注意力层、与带有残差连接的GELU激活的多层感知机层串联而成；特征图在经过Transformer内部多头自注意力层与多层感知机层前都由层标准化层进行归一化处理，以加快模型收敛速度。
使用中、晚期肿瘤验证集验证语义分割基模型的有效性。
本发明实施例的语义分割基模型能够融合GRU、CNN、Transformer结构，GRU能够利用肿瘤变化数据的时序特征，结合CNN本身采用细小卷积核对图像进行特征提取的特点，使得其具有对于细小区域特征提取能力强的特点，与Transformer将图片序列化，计算每一个序列之间的特征关联度，相比卷积有更广的感受野，能够具有对于长距离特征提取能力强的特点，实现对病灶特征区域的精细提取。
可选地，所述S3中使用Dice损失函数计算损失以进行反向传播优化权重。
S4、将所述预训练权重作为先验知识，早期肿瘤训练集数据作为目标域进行迁移学习模型的训练，利用中、晚期肿瘤特征反演早期肿瘤特征，从源域进行参数高效迁移目标域；
可选地，所述迁移学习模型基于所述语义分割基模型，基模型的时序特征建模器、编码器与解码器结构保持不变，在基模型中的Transformer结构内的多层感知机层并联Adapter模块，在多头自注意力层内的查询、键的特征映射层并联Adapter模块，搭建基于Adapter与Transformer的迁移学习特征提取器，如图6所示；
其中，如图7所示，Adapter模块采用串联的降维全连接层、升维全连接层拼接得到，用于多层感知机层的Adapter在全连接层之间插入ReLU激活函数层，用于多头自注意力层的Adapter不带有激活函数层。
可选地，所述S4，具体包括：
使用所述预训练权重进行所述迁移学习模型的Adapter以外结构的初始化权重，Adapter结构内采用高斯初始化权重；
将早期肿瘤训练集数据用于初始化后的迁移学习模型进行训练时，只对Adapter结构内参数用早期肿瘤训练集数据进行迁移学习训练优化，对Adapter以外的结构不进行参数优化。
本发明实施例设计利用迁移学习的训练方式，充分利用特征明显、可用样本数量多的中、晚期肿瘤特征数据作为先验知识，克服了早期肿瘤分割任务可用样本较少，易过拟合的问题，本发明实施例的Adapter模块用于迁移学习，能够利用中、晚期肿瘤特征反演早期肿瘤特征分割，基于Adapter的设计能够保证在中、晚期肿瘤上学习的特征权重不会被破坏完整性的同时，对早期肿瘤的新的特征进行适应学习，通过这种方法能够在不破坏先验知识整体性的情况下解决早期肿瘤样本难分割的问题，获得更高的分割精确度。
S5、将待分割的早期肿瘤MRI影像数据预处理后，输入训练完成的迁移学习模型，生成早期脑部肿瘤病灶区域的分割结果。
可以用均交并比评价指标评估分割结果的有效性。
如图8所示，提供了一种早期脑部肿瘤分割系统，所述系统包括：
收集模块810，用于收集并预处理不同脑部肿瘤患者不同时期的磁共振成像MRI影像数据；
标注模块820，用于将所述MRI影像数据按照肿瘤的形态学特征划分为早期与中、晚期数据，针对不同时期数据的肿瘤特征区域进行标注，对于不同时期的数据按照肿瘤变化的顺序分别依照时间进行排序，并划分训练集和验证集；
预训练模块830，用于将中、晚期脑部肿瘤训练集数据作为源域输入基于3D-GRU、3D-CNN和Transformer融合设计的语义分割基模型进行预训练，提取中、晚期肿瘤的时序变化特征与肿瘤的形态学特征信息，获得能够提取中、晚期肿瘤明显的病灶语义表征的预训练权重；
训练模块840，用于将所述预训练权重作为先验知识，早期肿瘤训练集数据作为目标域进行迁移学习模型的训练，利用中、晚期肿瘤特征反演早期肿瘤特征，从源域进行参数高效迁移目标域；
分割模块850，用于将待分割的早期肿瘤MRI影像数据进行预处理后，输入训练完成的迁移学习模型，生成早期脑部肿瘤病灶区域的分割结果。
可选地，所述语义分割基模型由时序特征建模器、编码器、特征提取器、解码器串联而成，其中3D-GRU用于构建时序特征建模器，3D-CNN用于构建编码器与解码器，Transformer用于构建特征提取器；
时序特征建模器由带有残差连接的3D-GRU组成，3D-GRU由3D记忆层与3D遗忘层串联组成，以实现对肿瘤图像的时序特征提取，3D记忆层输入时序肿瘤图像序列中当前时刻的图像，通过3D卷积提取特征送入3D遗忘层的同时与上一时刻肿瘤的输出特征矩阵进行拼接，经过拼接的特征矩阵一方面通过3D卷积作为遗忘特征送入3D遗忘层，另一方面经过3D卷积与Sigmoid激活后与原始上一时刻输出特征矩阵相乘后作为记忆特征送入3D遗忘层；3D遗忘层将遗忘特征经过Sigmoid与遗忘函数激活后与上一时刻输出特征矩阵相乘得到遗忘历史特征，之后将输入的记忆特征与经过3D卷积的当前时刻输入图像进行特征拼接，并经由Sigmoid激活后与遗忘历史特征相加，输出含有时序信息的当前时刻的特征矩阵；
编码器由3组重复堆叠的下采样卷积块组成，每一个下采样卷积块串联堆叠3组卷积核大小3×3×3的3D卷积层、GELU激活函数层与批标准化层组成的顺序结构，在顺序结构后串联一个下采样模块，所述下采样模块由卷积核大小3×3×3，步长为2的3D卷积层组成以实现特征图的二倍下采样；
解码器由3组重复堆叠的上采样卷积块组成，每一个上采样卷积块串联堆叠3组与编码器相同设计的顺序结构，在顺序结构前通过残差连接相同维度的编码器输出实现特征拼接，在顺序结构后串联一个上采样模块，所述上采样模块由卷积核大小1×1×1的3D卷积特征融合层与串联的基于双线性差值法的二倍上采样层组成；
特征提取器由图像块嵌入层、位置特征嵌入层与4层重复堆叠的TransformerLayer串联构建，所述图像块嵌入层将输入图像特征矩阵转化为序列特征矩阵，所述位置特征嵌入层为序列特征矩阵添加位置信息，所述Transformer Layer由带有残差连接的多头自注意力层、与带有残差连接的GELU激活的多层感知机层串联而成；特征图在经过Transformer内部多头自注意力层与多层感知机层前都由层标准化层进行归一化处理，以加快模型收敛速度。
可选地，所述迁移学习模型基于所述语义分割基模型，基模型的时序特征建模器、编码器与解码器结构保持不变，在基模型中的Transformer结构内的多层感知机层并联Adapter模块，在多头自注意力层内的查询、键的特征映射层并联Adapter模块，搭建基于Adapter与Transformer的迁移学习特征提取器；
其中，Adapter模块采用串联的降维全连接层、升维全连接层拼接得到，用于多层感知机层的Adapter在全连接层之间插入ReLU激活函数层，用于多头自注意力层的Adapter不带有激活函数层。
可选地，所述训练模块，具体用于：
使用所述预训练权重进行所述迁移学习模型的Adapter以外结构的初始化权重，Adapter结构内采用高斯初始化权重；
将早期肿瘤训练集数据用于初始化后的迁移学习模型进行训练时，只对Adapter结构内参数用早期肿瘤训练集数据进行迁移学习训练优化，对Adapter以外的结构不进行参数优化。
可选地，所述预训练模块使用Dice损失函数计算损失以进行反向传播优化权重。
本发明实施例提供的一种早期脑部肿瘤分割系统，其功能结构与本发明实施例提供的一种早期脑部肿瘤分割方法相对应，在此不再赘述。
图9是本发明实施例提供的一种电子设备900的结构示意图，该电子设备900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）901和一个或一个以上的存储器902，其中，所述存储器902中存储有至少一条指令，所述至少一条指令由所述处理器901加载并执行以实现上述早期脑部肿瘤分割方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述早期脑部肿瘤分割方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种早期脑部肿瘤分割方法，其特征在于，所述方法包括：
S1、收集并预处理不同脑部肿瘤患者不同时期的磁共振成像MRI影像数据；
S2、将所述MRI影像数据按照肿瘤的形态学特征划分为早期与中、晚期数据，针对不同时期数据的肿瘤特征区域进行标注，对于不同时期的数据按照肿瘤变化的顺序分别依照时间进行排序，并划分训练集和验证集；
S3、将中、晚期脑部肿瘤训练集数据作为源域输入基于3D-GRU、3D-CNN和Transformer融合设计的语义分割基模型进行预训练，提取中、晚期肿瘤的时序变化特征与肿瘤的形态学特征信息，获得能够提取中、晚期肿瘤明显的病灶语义表征的预训练权重；
S4、将所述预训练权重作为先验知识，早期肿瘤训练集数据作为目标域进行迁移学习模型的训练，利用中、晚期肿瘤特征反演早期肿瘤特征，从源域进行参数高效迁移目标域；
S5、将待分割的早期肿瘤MRI影像数据预处理后，输入训练完成的迁移学习模型，生成早期脑部肿瘤病灶区域的分割结果；
所述语义分割基模型由时序特征建模器、编码器、特征提取器、解码器串联而成，其中3D-GRU用于构建时序特征建模器，3D-CNN用于构建编码器与解码器，Transformer用于构建特征提取器；
时序特征建模器由带有残差连接的3D-GRU组成，3D-GRU由3D记忆层与3D遗忘层串联组成，以实现对肿瘤图像的时序特征提取，3D记忆层输入时序肿瘤图像序列中当前时刻的图像，通过3D卷积提取特征送入3D遗忘层的同时与上一时刻肿瘤的输出特征矩阵进行拼接，经过拼接的特征矩阵一方面通过3D卷积作为遗忘特征送入3D遗忘层，另一方面经过3D卷积与Sigmoid激活后与原始上一时刻输出特征矩阵相乘后作为记忆特征送入3D遗忘层；3D遗忘层将遗忘特征经过Sigmoid与遗忘函数激活后与上一时刻输出特征矩阵相乘得到遗忘历史特征，之后将输入的记忆特征与经过3D卷积的当前时刻输入图像进行特征拼接，并经由Sigmoid激活后与遗忘历史特征相加，输出含有时序信息的当前时刻的特征矩阵；
编码器由3组重复堆叠的下采样卷积块组成，每一个下采样卷积块串联堆叠3组卷积核大小3×3×3的3D卷积层、GELU激活函数层与批标准化层组成的顺序结构，在顺序结构后串联一个下采样模块，所述下采样模块由卷积核大小3×3×3，步长为2的3D卷积层组成以实现特征图的二倍下采样；
解码器由3组重复堆叠的上采样卷积块组成，每一个上采样卷积块串联堆叠3组与编码器相同设计的顺序结构，在顺序结构前通过残差连接相同维度的编码器输出实现特征拼接，在顺序结构后串联一个上采样模块，所述上采样模块由卷积核大小1×1×1的3D卷积特征融合层与串联的基于双线性差值法的二倍上采样层组成；
特征提取器由图像块嵌入层、位置特征嵌入层与4层重复堆叠的Transformer Layer串联构建，所述图像块嵌入层将输入图像特征矩阵转化为序列特征矩阵，所述位置特征嵌入层为序列特征矩阵添加位置信息，所述Transformer Layer由带有残差连接的多头自注意力层、与带有残差连接的GELU激活的多层感知机层串联而成；特征图在经过Transformer内部多头自注意力层与多层感知机层前都由层标准化层进行归一化处理，以加快模型收敛速度；
所述迁移学习模型基于所述语义分割基模型，基模型的时序特征建模器、编码器与解码器结构保持不变，在基模型中的Transformer结构内的多层感知机层并联Adapter模块，在多头自注意力层内的查询、键的特征映射层并联Adapter模块，搭建基于Adapter与Transformer的迁移学习特征提取器；
其中，Adapter模块采用串联的降维全连接层、升维全连接层拼接得到，用于多层感知机层的Adapter在全连接层之间插入ReLU激活函数层，用于多头自注意力层的Adapter不带有激活函数层；
所述S4，具体包括：
使用所述预训练权重作为所述迁移学习模型的Adapter以外结构的初始化权重，Adapter结构内采用高斯初始化权重；
将早期肿瘤训练集数据用于初始化后的迁移学习模型进行训练时，只对Adapter结构内参数用早期肿瘤训练集数据进行迁移学习训练优化，对Adapter以外的结构不进行参数优化。
2.根据权利要求1所述的方法，其特征在于，所述S3中使用Dice损失函数计算损失以进行反向传播优化权重。
3.一种早期脑部肿瘤分割系统，其特征在于，所述系统包括：
收集模块，用于收集并预处理不同脑部肿瘤患者不同时期的磁共振成像MRI影像数据；
标注模块，用于将所述MRI影像数据按照肿瘤的形态学特征划分为早期与中、晚期数据，针对不同时期数据的肿瘤特征区域进行标注，对于不同时期的数据按照肿瘤变化的顺序分别依照时间进行排序，并划分训练集和验证集；
预训练模块，用于将中、晚期脑部肿瘤训练集数据作为源域输入基于3D-GRU、3D-CNN和Transformer融合设计的语义分割基模型进行预训练，提取中、晚期肿瘤的时序变化特征与肿瘤的形态学特征信息，获得能够提取中、晚期肿瘤明显的病灶语义表征的预训练权重；
训练模块，用于将所述预训练权重作为先验知识，早期肿瘤训练集数据作为目标域进行迁移学习模型的训练，利用中、晚期肿瘤特征反演早期肿瘤特征，从源域进行参数高效迁移目标域；
分割模块，用于将待分割的早期肿瘤MRI影像数据进行预处理后，输入训练完成的迁移学习模型，生成早期脑部肿瘤病灶区域的分割结果；
所述语义分割基模型由时序特征建模器、编码器、特征提取器、解码器串联而成，其中3D-GRU用于构建时序特征建模器，3D-CNN用于构建编码器与解码器，Transformer用于构建特征提取器；
时序特征建模器由带有残差连接的3D-GRU组成，3D-GRU由3D记忆层与3D遗忘层串联组成，以实现对肿瘤图像的时序特征提取，3D记忆层输入时序肿瘤图像序列中当前时刻的图像，通过3D卷积提取特征送入3D遗忘层的同时与上一时刻肿瘤的输出特征矩阵进行拼接，经过拼接的特征矩阵一方面通过3D卷积作为遗忘特征送入3D遗忘层，另一方面经过3D卷积与Sigmoid激活后与原始上一时刻输出特征矩阵相乘后作为记忆特征送入3D遗忘层；3D遗忘层将遗忘特征经过Sigmoid与遗忘函数激活后与上一时刻输出特征矩阵相乘得到遗忘历史特征，之后将输入的记忆特征与经过3D卷积的当前时刻输入图像进行特征拼接，并经由Sigmoid激活后与遗忘历史特征相加，输出含有时序信息的当前时刻的特征矩阵；
编码器由3组重复堆叠的下采样卷积块组成，每一个下采样卷积块串联堆叠3组卷积核大小3×3×3的3D卷积层、GELU激活函数层与批标准化层组成的顺序结构，在顺序结构后串联一个下采样模块，所述下采样模块由卷积核大小3×3×3，步长为2的3D卷积层组成以实现特征图的二倍下采样；
解码器由3组重复堆叠的上采样卷积块组成，每一个上采样卷积块串联堆叠3组与编码器相同设计的顺序结构，在顺序结构前通过残差连接相同维度的编码器输出实现特征拼接，在顺序结构后串联一个上采样模块，所述上采样模块由卷积核大小1×1×1的3D卷积特征融合层与串联的基于双线性差值法的二倍上采样层组成；
特征提取器由图像块嵌入层、位置特征嵌入层与4层重复堆叠的Transformer Layer串联构建，所述图像块嵌入层将输入图像特征矩阵转化为序列特征矩阵，所述位置特征嵌入层为序列特征矩阵添加位置信息，所述Transformer Layer由带有残差连接的多头自注意力层、与带有残差连接的GELU激活的多层感知机层串联而成；特征图在经过Transformer内部多头自注意力层与多层感知机层前都由层标准化层进行归一化处理，以加快模型收敛速度；
所述迁移学习模型基于所述语义分割基模型，基模型的时序特征建模器、编码器与解码器结构保持不变，在基模型中的Transformer结构内的多层感知机层并联Adapter模块，在多头自注意力层内的查询、键的特征映射层并联Adapter模块，搭建基于Adapter与Transformer的迁移学习特征提取器；
其中，Adapter模块采用串联的降维全连接层、升维全连接层拼接得到，
用于多层感知机层的Adapter在全连接层之间插入ReLU激活函数层，用于多头自注意力层的Adapter不带有激活函数层；
所述训练模块，具体用于：
使用所述预训练权重作为所述迁移学习模型的Adapter以外结构的初始化权重，Adapter结构内采用高斯初始化权重；
将早期肿瘤训练集数据用于初始化后的迁移学习模型进行训练时，只对Adapter结构内参数用早期肿瘤训练集数据进行迁移学习训练优化，对Adapter以外的结构不进行参数优化。
4.根据权利要求3所述的系统，其特征在于，所述预训练模块使用Dice损失函数计算损失以进行反向传播优化权重。
CN202310808414.6A 2023-07-04 2023-07-04 一种早期脑部肿瘤分割方法及系统 Active CN116543166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310808414.6A CN116543166B (zh) 2023-07-04 2023-07-04 一种早期脑部肿瘤分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310808414.6A CN116543166B (zh) 2023-07-04 2023-07-04 一种早期脑部肿瘤分割方法及系统

Publications (2)

Publication Number Publication Date
CN116543166A CN116543166A (zh) 2023-08-04
CN116543166B true CN116543166B (zh) 2023-09-05

Family

ID=87449157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310808414.6A Active CN116543166B (zh) 2023-07-04 2023-07-04 一种早期脑部肿瘤分割方法及系统

Country Status (1)

Country Link
CN (1) CN116543166B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154880A (zh) * 2024-04-15 2024-06-07 烟台大学 一种半监督mri图像分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785605A (zh) * 2021-01-26 2021-05-11 西安电子科技大学 基于语义迁移的多时相ct图像肝肿瘤分割方法
AU2021106727A4 (en) * 2021-08-24 2021-12-09 Suhail Ahamed Ai system for brain mri/ct malignancy identification and classification using modified cnn and adam optimization.
CN114418946A (zh) * 2021-12-16 2022-04-29 中国科学院深圳先进技术研究院 一种医学图像分割方法、系统、终端以及存储介质
CN114494952A (zh) * 2022-01-19 2022-05-13 杭州电子科技大学 一种基于感知损失的乳腺mri影像时间序列生成方法
CN114926477A (zh) * 2022-05-16 2022-08-19 东北大学 一种基于深度学习的脑肿瘤多模态mri影像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785605A (zh) * 2021-01-26 2021-05-11 西安电子科技大学 基于语义迁移的多时相ct图像肝肿瘤分割方法
AU2021106727A4 (en) * 2021-08-24 2021-12-09 Suhail Ahamed Ai system for brain mri/ct malignancy identification and classification using modified cnn and adam optimization.
CN114418946A (zh) * 2021-12-16 2022-04-29 中国科学院深圳先进技术研究院 一种医学图像分割方法、系统、终端以及存储介质
CN114494952A (zh) * 2022-01-19 2022-05-13 杭州电子科技大学 一种基于感知损失的乳腺mri影像时间序列生成方法
CN114926477A (zh) * 2022-05-16 2022-08-19 东北大学 一种基于深度学习的脑肿瘤多模态mri影像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
深度学习结合影像组学的肝脏肿瘤CT分割;刘云鹏;刘光品;王仁芳;金冉;孙德超;邱虹;董晨;李瑾;洪国斌;;中国图象图形学报(第10期);全文 *

Also Published As

Publication number Publication date
CN116543166A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
CN112992308A (zh) 医学图像报告生成模型的训练方法及图像报告生成方法
CN111095426A (zh) 使用深度神经网络的计算机辅助诊断
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN116543166B (zh) 一种早期脑部肿瘤分割方法及系统
CN111553892A (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
Li et al. Vispi: Automatic visual perception and interpretation of chest x-rays
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN117789284B (zh) 缺血型视网膜静脉阻塞的识别方法及装置
CN115222713A (zh) 一种冠状动脉钙化积分的计算方法、装置及存储介质
Lai et al. Detection of lung nodules on ct images based on the convolutional neural network with attention mechanism
Pan et al. Muvam: A multi-view attention-based model for medical visual question answering
Hernandez-Cruz et al. Neural style transfer as data augmentation for improving covid-19 diagnosis classification
CN116721772B (zh) 肿瘤治疗预后预测方法、装置、电子设备及存储介质
CN116452592B (zh) 脑血管病ai认知功能评测模型的构建方法、装置及系统
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
CN115049660B (zh) 心脏解剖学结构特征点的定位方法、定位装置
CN116402831A (zh) 部分监督的腹部ct序列图像多器官自动分割方法及装置
CN114649092A (zh) 基于半监督学习和多尺度特征融合的辅助诊断方法及装置
CN110147830B (zh) 训练影像数据生成网络的方法、影像数据分类方法及装置
Zhou et al. Edge-Enhanced Feature Guided Joint Segmentation of Left Atrial and Scars in LGE MRI Images
CN113177953A (zh) 肝脏区域分割方法、装置、电子设备及存储介质
Idris et al. Training strategy for limited labeled data by learning from confusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant