CN116188410A - 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质 - Google Patents
基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN116188410A CN116188410A CN202310096550.7A CN202310096550A CN116188410A CN 116188410 A CN116188410 A CN 116188410A CN 202310096550 A CN202310096550 A CN 202310096550A CN 116188410 A CN116188410 A CN 116188410A
- Authority
- CN
- China
- Prior art keywords
- features
- mode
- cnn
- feature
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 50
- 201000007983 brain glioma Diseases 0.000 title claims abstract description 12
- 206010018338 Glioma Diseases 0.000 claims abstract description 57
- 208000032612 Glial tumor Diseases 0.000 claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims abstract description 12
- 238000013461 design Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 5
- 230000003902 lesion Effects 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 19
- 230000006835 compression Effects 0.000 claims description 16
- 238000007906 compression Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 9
- 101001056160 Homo sapiens Methylcrotonoyl-CoA carboxylase subunit alpha, mitochondrial Proteins 0.000 claims description 6
- 102100026552 Methylcrotonoyl-CoA carboxylase subunit alpha, mitochondrial Human genes 0.000 claims description 6
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000006116 polymerization reaction Methods 0.000 claims description 5
- 230000006698 induction Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 50
- 238000002595 magnetic resonance imaging Methods 0.000 description 37
- 206010028980 Neoplasm Diseases 0.000 description 7
- 206010030113 Oedema Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- 208000003174 Brain Neoplasms Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 206010028851 Necrosis Diseases 0.000 description 3
- 230000017074 necrotic cell death Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010054094 Tumour necrosis Diseases 0.000 description 1
- 230000008499 blood brain barrier function Effects 0.000 description 1
- 210000001218 blood-brain barrier Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于多模态Trans‑CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质，方法包括：依据模态间的强结构相关性将四种模态序列分为两个相关的模态组；每个模态组通过各自的编码分支进行特征提取，得到多模态特征；将所述多模态特征利用Transformer的自注意力机制进行特征融合，得到融合后的多模态特征；解码器采用反卷积对所述融合后的多模态特征进行上采样和压缩通道数的操作，并将Transformer特征与CNN特征对齐，最后在分割头的作用下，预测脑胶质瘤的病灶区域。本发明设计了特征校准模块，从三个维度提取原始特征的信息，通过带有维度信息的通道注意力方式，将Transformer特征与CNN特征对齐，消除两种不同风格的特征的语义不一致的问题。
Description
技术领域
本发明属于医学图像分割技术领域，具体涉及一种基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质。
背景技术
胶质瘤是中枢神经系统最常见的恶性肿瘤。磁共振成像(MRI)是诊断胶质瘤的常规检查。常规MRI包括T1，T1Gd、T2和T2 FLAIR四种序列，为胶质瘤的临床诊断、治疗计划和随访提供了有价值的信息。一般来说，放射科医生在评估胶质瘤时，会整合影像学诊断信息，其中增强区域(ET)、肿瘤坏死(NCR)和瘤周水肿(ED)最受关注。公认的，增强肿瘤区域强度越高，坏死和水肿面积越大，胶质瘤的级别就越高，预后就越差。因此，病灶的自动精确分割是神经病学精准医疗的重要一步，包括治疗规划、定量分析和研究目的。
卷积神经网络(CNN)具有较强的特征表示能力，在胶质瘤分割任务中得到了广泛的应用。近年来，Vision Transformer(ViT)凭借自注意力机制可以捕捉远距离信息，已快速适应于3D脑肿瘤分割。基于这两种流行的技术，许多优秀的脑肿瘤分割方法被提出，解决病灶的位置和形态不确定性、图像对比度低和注释偏差等挑战。这些方案的基于步骤包括：(1)将训练样本的四种模态的胶质瘤MRI序列串联，作为模型的整体输入；(2)在编码阶段多次的提取特征和下采样；(3)瓶颈层将编码器得到的深度特征传递到解码器；(4)解码器压缩来上采样层和跳过连接的特征逐阶段恢复到原始分辨率得到胶质瘤三个肿瘤子区域ET，TC，WT的分割掩码(TC包含ET和NCR两个区域，WT包含ET，NCR，ED三个区域，以往研究证明了将子区域合并能够提升分割精度)。以上是现有分割胶质瘤病灶的一般步骤，在这个步骤中，衍生出各种基于深度卷积网络的胶质瘤分割模型。
然而，现有的研究工作忽略了如何合理融合多模态图像这一重要问题。它们大多在输入级别或特征级别上融合模态，但在大脑MRI图像中，不同序列存在着非常强的结构相关性，为脑肿瘤评估提供线索。具体地说，T1Gd是在T1的基础上静脉注射造影剂得到，增强区域表示为血脑屏障破坏(或缺失)，T2和T2 FLAIR经常被联合解读；这些临床知识对脑肿瘤的分割非常有用。
对于现有的同时Transformer和CNN医学图像分割模型来说，它们往往会通过跳过连接单元直接串联两种特征，原因是：基于Transformer的编码器凭借自注意力机制，能够不受距离限制的得到图像中任意两个像素点的相似度。基于CNN的解码器依靠局部感受野和归纳偏置的特性能够较好的捕获图像的局部特征。因此，直接通过跳过连接单元串联编码器和解码器的特征，会造成语义不一致的问题。
本发明提出了一种临床知识驱动的胶质瘤分割模型，该模型考虑了不同模态之间的结构相关性，并以更合理的方式对输入图像进行重组，结合Transformer和CNN的优点，达到了优势互补的作用，基于Transformer的特征提取器能够捕获三维图像在不同切片的远距离信息，CNN弥补了模型的局部特征能力，同时设计了消除Transformer特征和CNN特征语义不一致的模块，帮助获得更精确的病灶边界。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法，通过结合Transformer和CNN的优势，同时新增了一个特征校准模块消除两种特征在语义上的差距，从而得到更精准的胶质瘤分割结果。
为了达到上述目的，本发明采用以下技术方案：
本发明一方面提供基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法，包括下述步骤：
依据模态间的强结构相关性将四种模态序列分为两个相关的模态组；每个模态组通过各自的编码分支进行特征提取，得到多模态特征；
将所述多模态特征利用Transformer的自注意力机制进行特征融合，得到融合后的多模态特征；
解码器采用反卷积对所述融合后的多模态特征进行上采样和压缩通道数的操作，并将Transformer特征与CNN特征对齐，最后在分割头的作用下,预测脑胶质瘤的病灶区域，最终得到分割的结果；所述解码器将来自跳过连接的特征图和上采样后的特征图串联到一起；所述解码器包括卷积块、TCFC模块和分割头；所述卷积块用于在上采样特征的同时使特征具有更多的浅层语义信息；所述的TCFC模块用于提供像素级别的空间注意从而缩小特征的偏差；所述分割头用于在特征恢复到初始的分辨率后，利用通道压缩的方式预测病灶区域。
作为优选的技术方案，所述四种模态序列为：T1、T1Gd、T2和T2 FLAIR；所述两个相关的模态组为：{T1，T1Gd}、{T2,T2FLAIR}。
作为优选的技术方案，所述每个模态组通过各自的编码分支进行特征提取，得到多模态特征，具体的：
两个相关的模态组各自的编码分支是两条结构一致但没有共享权重的编码分支，每个分支包括三个模态相关交叉注意模块MCCA，所述特征提取包括单模态特征提取阶段和关联模态特征提取阶段；以一条分支为例，具体的步骤为：
首先，利用卷积干模块CS对每一个模态图像在缩小分辨率的同时建模图像的局部特征；相较于传统的使用一个大卷积核来对图像降采样4倍，卷积干提供了两种不同尺度的特征
来帮助恢复解码阶段的信息，另外利用小尺寸的卷积核逐步的对图像下采样，提升模型的优化稳定性；
其次，所述单模态特征提取阶段是基于Transformer的自注意力机制MSA提取每一个模态自身的特征，并使用EfficientNet中的MBConv替代Transformer中原本的前馈网络FFN，同时引入了卷积的归纳偏置；具体公式为：
其中，LN(·)表示层归一化，
表示T1模态在编码器的第l层,/>
表示第l+1层的单模态特征提取阶段输出的特征，/>
表示T1Gd模态在编码器的第l层，/>
表示第l+1层的单模态特征提取阶段输出的特征；
所述关联模态特征提取阶段是使用自注意力机制进一步提取每个模态特征，同时基于Transformer的交叉模态注意力机制CM-MCA捕获相关模态的潜在联系，最后通过相加融合模态本身的特征以及来自另一模态的信息，增强自身模态的特征表示，具体为：
其中，MT1表示T1模态关联模态特征提取阶段输出的特征；MT1Gd表示T1Gd模态在关联模态特征提取阶段输出的特征；
分别表示T1模态和T1Gd模态在Transformer中的键向量、QT1、QT1Gd分别表示T1模态和T1Gd模态在Transformer中的查询向量，VT1、VT1Gd分别表示T1模态和T1Gd模态在Transformer中的值向量；/>
是归一化因子，值等于查询向量或键向量的维度，保证梯度的稳定；B是相对位置编码。
作为优选的技术方案，所述将所述多模态特征利用Transformer的自注意力机制进行特征融合，得到融合后的多模态特征，具体为：
在瓶颈层，四种模态的特征会沿通道方向串联成为新的瓶颈层的输入，按通道串联特征的特征融合方式，弥补了在编码阶段缺少四种模态特征的交互；所述瓶颈层连接着编码器和解码器，瓶颈层包括两层，每层的结构都与所述的单模态特征提取阶段共享相同的设计，但参数量增大为四倍，瓶颈层的目的是使串联后的四模态特征具有更多的模态语义信息，最后在瓶颈层输出的特征称为FBNL。
作为优选的技术方案，所述解码器采用反卷积对所述融合后的多模态特征进行上采样和压缩通道数的操作，并将Transformer特征与CNN特征对齐，最后在分割头的作用下,预测脑胶质瘤的病灶区域，最终得到分割后的结果，具体为：
在TCFC模块中，将来自上采样的特征表示为F，来自跳跃连接的Transformer特征表示为Ftrans，TCFC模块的第一输出特征表示为F′；具体公式为：
F′＝TCFC(Ftrans，F)
其中，
和/>
表示双分支混合编码器中两个分支的Transformer特征张量，在第一个TCFC模块中F＝FBNL；/>
由于上采样的特征F和跳跃连接的Transformer特征Ftrans都是三维特征，为了充分利用三维信息，首先对F和Ftrans在X,Y,Z方向上进行平均池化，得到F在X，Y，Z方向上的平均池化结果FX、FY和FZ以及FtranS在X，Y，Z方向上的平均池化结果
和/>
分别将
和/>
以及FX、FY和FZ重构为相同的形状，即串联成
和/>
并通过一个1×1×1卷积层压缩信道；然后重新拆分回三个方向；再将Transformer和CNN的特征进行有方向的聚合，得到X、Y、Z方向的聚合结果/>
具体公式为：
再通过对聚合的
进行矩阵乘法运算，得到校准注意向量A；最后将校准后的Transformer特征Ftrans与上采样特征F进行级联；该种方式代替传统的跳过连接，利用空间注意力的信息得到TCFC模块的第二输出特征F′，然后利用卷积压缩串联后的特征得到Fcps，使得解码器具有更多的浅层语义信息，最后再次利用反卷积操作DeConv上采样特征作为下一层的输入，具体的公式为：
F′＝Concate(AFtrans，F)
Fcps＝Conv(F′)
F＝DeConv(Fcps)
在编码器部分，底部的三层是MCCA层，输出的Ftrans属于Transformer风格特征，顶部的两层输出的都是卷积特征Fcnn；因此在解码器部分，仅在底部的三层加入所述的TCFC模块；在解码器剩余的两层，来自上采样的特征F和来自跳过连接的卷积特征Fcnn不需要引入TCFC模块，两种特征直接沿通道方向串联，然后利用卷积压缩通道，利用反卷积对特征上采样作为下一层的输入，公式为：
Fconcat＝Concat(Fcnn，F)
Fcps＝Conv(Fconcat)
F＝DeConv(Fcps)
在解码器的最后，分割头模块采用111卷积压缩特征通道得到胶质瘤的预测区域Y；Y的通道数为3，表示胶质瘤的三个子区域ET，TC，WT。
本发明又一方面提供了一种基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割系统，应用于所述的基于多模态Trans-CNNUNet的3D脑胶质瘤MRI病灶分割方法，包括特征提取模块、特征融合模块以及分割模块；
所述特征提取模块，用于依据模态间的强结构相关性将四种模态序列分为两个相关的模态组；每个模态组通过各自的编码分支进行特征提取，得到多模态特征；
所述特征融合模块，用于将所述多模态特征利用Transformer的自注意力机制进行特征融合，得到融合后的多模态特征；
所述分割模块，用于解码器采用反卷积对所述融合后的多模态特征进行上采样和压缩通道数的操作，并将Transformer特征与CNN特征对齐，最后在分割头的作用下,预测脑胶质瘤的病灶区域，最终得到分割的结果；所述解码器将来自跳过连接的特征图和上采样后的特征图串联到一起；所述解码器包括卷积块、TCFC模块和分割头；所述卷积块用于在上采样特征的同时使特征具有更多的浅层语义信息；所述的TCFC模块用于提供像素级别的空间注意从而缩小特征的偏差；所述分割头用于在特征恢复到初始的分辨率后，利用通道压缩的方式预测病灶区域。
本发明又一方面提供了一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法。
本发明再一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法。
本发明与现有技术相比，具有如下优点和有益效果：
1、由于本发明在设计中融入了胶质瘤MRI模态的先验知识，MRI的四种模态序列具有较强的结构相关性，T1与T1Gd，T2与T2FLAIR通常会分别用于联合诊断肿瘤的核心区域和肿瘤的水肿区域，本发明设计的模态相关交叉注意模块融入了先验知识，为每个模态设计了一条分支并且相关模态的特征提取包含两个阶段，在单模态特征提取阶段，模型利用Transformer的自注意力机制提取每个模态自身的特征，在关联模态特征提取阶段，进一步提取模态自身特征的同时，利用Transformer的交叉注意力机制从另一个模态中捕获有价值的信息增强自身模态的特征表示；相比于传统的脑胶质瘤MRI多模态方案能够提取到更多不同模态间的相关信息。
2、Transformer和CNN的结合达到优势互补的作用，Transformer可以捕获3D数据的全局特征，CNN完善了肿瘤的边界信息和相邻切片的变化连续性；在此基础上，本发明设计了特征校准模块，从三个维度提取原始特征的信息，通过带有维度信息的通道注意力方式，将Transformer特征与CNN特征对齐，消除两种不同风格的特征的语义不一致的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法的流程图；
图2为本发明实施例基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法示意图；
图3为本发明实施例卷积干的结构示意图；
图4为本发明实施例基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割系统的方框图；
图5为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
Transformer：最早应用于自然语言处理(NLP)领域，以多头自注意力机制(MSA)为核心算子，能够捕获数据的全局特征；Trans-CNN UNet：基于Transformer和CNN构建的UNet网络；多模态MRI：在常规的MRI的基础上，对多种功能MRI技术的的一种柔性组合，在胶质瘤MRI中，常用的四种模态包括T1，对比后T1增强(T1Gd)，T2加权(T2)和T2-液体衰减反转恢复序列(T2FLAIR)。
请参阅图1，在本申请的一个实施例中提供了一种基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法，包括下述步骤：
S1、依据模态间的强结构相关性将四种模态序列分为两个相关的模态组；每个模态组通过各自的编码分支进行特征提取，得到多模态特征。
进一步的，所述四种模态序列为：T1、T1Gd、T2和T2 FLAIR。
更进一步的，如图2(a)所示，将每个模态的3D图像裁剪成128×128×128，依据模态的强结构相关性将四种模态序列分为两个相关的模态组{T1，T1Gd},{T2,T2FLAIR}，两个相关的模态组各自的编码分支是两条结构一致但没有共享权重的编码分支，每个分支包括三个模态组相关交叉注意模块MCCA，所述特征提取包括单模态特征提取阶段和关联模态特征提取阶段；具体的步骤以其中一条分支为例：
如图3所示，利用卷积干模块CS对每一个模态图像在缩小分辨率的同时，建模图像的局部特征，如该公式所示：
相较于传统的使用一个大卷积核来对图像降采样4倍，卷积干提供了两种不同尺度的特征
来帮助恢复解码阶段的信息，另外利用小尺寸的卷积核逐步的对图像下采样，能够提升模型的优化稳定性。
其次，所述单模态特征提取阶段是基于Transformer的自注意力机制MSA提取每一个模态自身的特征，并使用EfficientNet中的MBConv替代Transformer中原始的前馈网络FFN，同时引入了卷积的归纳偏置；具体公式为：
其中，LN(·)表示层归一化，
表示T1模态在编码器的第l层,/>
表示第l+1层的单模态特征提取阶段输出的特征，/>
表示T1Gd模态在编码器的第l层，/>
表示第l+1层的单模态特征提取阶段输出的特征。
在关联模态特征提取阶段是使用自注意力机制进一步提取每个模态特征，同时基于Transformer的交叉模态注意力机制CM-MCA捕获相关模态的潜在联系，最后通过相加融合模态本身的特征以及来自另一模态的信息增强自身模态的特征表示，具体公式为：
其中，MT1表示T1模态关联模态特征提取阶段输出的特征；MT1Gd表示T1Gd模态在关联模态特征提取阶段输出的特征；
分别表示T1模态和T1Gd模态在Transformer中的键向量、QT1、QT1Gd分别表示T1模态和T1Gd模态在Transformer中的查询向量，VT1、VT1Gd分别表示T1模态和T1Gd模态在Transformer中的值向量；/>
是归一化因子，值等于查询向量或键向量的维度，保证梯度的稳定；B是相对位置编码。
S2、将所述多模态特征利用Transformer的自注意力机制进行特征融合，得到融合后的多模态特征。
进一步的，在瓶颈层，四种模态的特征会沿通道方向串联成为新的瓶颈层的输入，按通道串联特征是一种有效的的特征融合方式，弥补了在编码阶段缺少四种模态特征的交互；所述瓶颈层连接着编码器和解码器，瓶颈层包括两层，每层的结构都与所述的单模态特征提取阶段共享相同的设计，但参数量增大为四倍，瓶颈层的目的是使串联后的四模态特征具有更多的模态语义信息，瓶颈层输出的特征称为FBNL。
S3、解码器采用反卷积对所述融合后的多模态特征进行上采样和压缩通道数的操作，并将Transformer特征与CNN特征对齐，最后在分割头的作用下,预测脑胶质瘤的病灶区域，最终得到分割的结果；所述解码器将来自跳过连接的特征图和上采样后的特征图串联到一起；所述解码器包括卷积块、TCFC模块和分割头；所述卷积块用于在上采样特征的同时使特征具有更多的浅层语义信息；所述的TCFC模块用于提供像素级别的空间注意从而缩小特征的偏差；所述分割头用于在特征恢复到初始的分辨率后，利用通道压缩的方式预测病灶区域。
进一步的，如图2(c)所示，在这一部分中，设计了一个带有特征校准模块的解码器来预测最终的分割结果；编码器提取的中间特征通过跳接传递给解码器，由于编码器是由Transformer和CNN组成的混合模型，而解码器是一个纯粹的基于CNN的设计，编码器和解码器的特征之间存在语义差距，为了消除这一语义差距，设计了一个Trans&CNN特征校准模块(TCFC)。
具体的，在TCFC模块中，将来自上采样的特征表示为F，来自跳跃连接的Transformer特征表示为Ftrans，TCFC模块的第一输出特征表示为F′；具体公式为：
F′＝TCFC(Ftrans，F)
其中，
和/>
表示双分支混合编码器中两个分支的Transformer特征张量，在第一个TCFC模块中F＝FBNL；
由于上采样的特征F和跳跃连接的Transformer特征Ftrans都是三维的，为了充分利用三维信息，首先对F和Ftrans在X,Y,Z方向上进行平均池化，得到F在X，Y，Z方向上的平均池化结果FX、FY和FZ以及Ftrans在X，Y，Z方向上的平均池化结果
和/>
公式为：
其中，由于输入的模态图像式立体的，所以x＝y＝z；
分别将
和/>
以及FX、FY和FZ重构为相同的形状，串联成
和/>
并通过一个1×1×1卷积层压缩信道；然后重新拆分回三个方向；再将Transformer和CNN的特征进行有方向的聚合，得到X、Y、Z方向的聚合结果/>
具体公式为：
再通过对
三个向量进行矩阵乘法运算，得到校准注意向量A，公式为；
最后将校准后的Transformer特征Ftrans与上采样特征F进行级联；该种方式代替传统的跳过连接，利用空间注意力的信息得到TCFC模块的第二输出特征F′，然后利用卷积压缩串联后的特征得到Fcps，使得解码器具有更多的浅层语义信息，最后再次利用反卷积操作DeConv上采样特征作为下一层的输入，具体的公式为:
F'＝Concate(AFtrans，F)
Fcps＝Conv(F′)
F＝DeConv(Fcps)
在编码器部分，底部的三层是MCCA层，输出的Ftrans属于Transformer风格特征，顶部的两层输出的都是卷积特征Fcnn；因此在解码器部分，仅在底部的三层加入所述的TCFC模块；在解码器剩余的两层，来自上采样的特征F和来自跳过连接的卷积特征Fcnn不需要引入TCFC模块，两种特征直接沿通道方向串联，然后利用卷积压缩通道，利用反卷积对特征上采样作为下一层的输入，公式为：
Fconcat＝Concat(Fcnn，F)
Fcps＝Conv(Fconcat)
F＝DeConv(Fcps)
在解码器的最后，分割头模块Head采用111卷积压缩特征通道得到胶质瘤的预测区域Y；Y的通道数为3，表示胶质瘤的三个子区域ET，TC，WT。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法相同的思想，本发明还提供了基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割系统，该系统可用于执行上述基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法。为了便于说明，基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
请参阅图4，在本申请的另一个实施例中，提供了一种基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割系统100，该系统包括特征提取模块101、特征融合模块102以及分割模块103；
所述特征提取模块101，用于依据模态间的强结构相关性将四种模态序列分为两个相关的模态组；每个模态组通过各自的编码分支进行特征提取，得到多模态特征；
所述特征融合模块102，用于将所述多模态特征利用Transformer的自注意力机制进行特征融合，得到融合后的多模态特征；
所述分割模块103，用于解码器采用反卷积对所述融合后的多模态特征进行上采样和压缩通道数的操作，并将Transformer特征与CNN特征对齐，最后在分割头的作用下,预测脑胶质瘤的病灶区域，最终得到分割的结果；所述解码器将来自跳过连接的特征图和上采样后的特征图串联到一起；所述解码器包括卷积块、TCFC模块和分割头；所述卷积块用于在上采样特征的同时使特征具有更多的浅层语义信息；所述的TCFC模块用于提供像素级别的空间注意从而缩小特征的偏差；所述分割头用于在特征恢复到初始的分辨率后，利用通道压缩的方式预测病灶区域。
需要说明的是，本发明的基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割系统与本发明的基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法一一对应，在上述基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法的实施例阐述的技术特征及其有益效果均适用于基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
请参阅图5，在一个实施例中，提供了一种实现基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割程序203。
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如多模态Trans-CNNUNet的3D脑胶质瘤MRI病灶分割程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行电子设备200的各种功能和处理数据。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
所述电子设备200中的所述第一存储器202存储的多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
依据模态的强结构相关性将四种模态序列分为两个相关的模态组；每个模态组通过各自的编码分支进行特征提取，得到多模态特征；
将所述多模态特征利用Transformer的自注意力机制进行特征融合，得到融合后的多模态特征；
解码器采用反卷积对所述融合后的多模态特征进行上采样和压缩通道数的操作，并将Transformer特征与CNN特征对齐，最后在分割头的作用下,预测脑胶质瘤的病灶区域，最终得到分割的结果；所述解码器将来自跳过连接的特征图和上采样后的特征图串联到一起；所述解码器包括卷积块、TCFC模块和分割头；所述卷积块用于在上采样特征的同时使特征具有更多的浅层语义信息；所述的TCFC模块用于提供像素级别的空间注意从而缩小特征的偏差；所述分割头用于在特征恢复到初始的分辨率后，利用通道压缩的方式预测病灶区域。
进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法，其特征在于，包括下述步骤：
依据模态间的强结构相关性将四种模态序列分为两个相关的模态组；每个模态组通过各自的编码分支进行特征提取，得到多模态特征；
将所述多模态特征利用Transformer的自注意力机制进行特征融合，得到融合后的多模态特征；
解码器采用反卷积对所述融合后的多模态特征进行上采样和压缩通道数的操作，并将Transformer特征与CNN特征对齐，最后在分割头的作用下,预测脑胶质瘤的病灶区域，最终得到分割的结果；所述解码器将来自跳过连接的特征图和上采样后的特征图串联到一起；所述解码器包括卷积块、TCFC模块和分割头；所述卷积块用于在上采样特征的同时使特征具有更多的浅层语义信息；所述的TCFC模块用于提供像素级别的空间注意从而缩小特征的偏差；所述分割头用于在特征恢复到初始的分辨率后，利用通道压缩的方式预测病灶区域。
2.根据权利要求1所述基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法，其特征在于，所述四种模态序列为：T1、T1Gd、T2和T2 FLAIR；所述两个相关的模态组为：{T1，T1Gd}、{T2,T2FLAIR}。
3.根据权利要求1所述基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法，其特征在于，所述每个模态组通过各自的编码分支进行特征提取，得到多模态特征，具体的：
两个相关的模态组各自的编码分支是两条结构一致但没有共享权重的编码分支，每个分支包括三个模态相关交叉注意模块MCCA，所述特征提取包括单模态特征提取阶段和关联模态特征提取阶段；以一条分支为例，具体的步骤为：
首先，利用卷积干模块CS对每一个模态图像在缩小分辨率的同时建模图像的局部特征；相较于传统的使用一个大卷积核来对图像降采样4倍，卷积干提供了两种不同尺度的特征
来帮助恢复解码阶段的信息，另外利用小尺寸的卷积核逐步的对图像下采样，提升模型的优化稳定性；
其次，所述单模态特征提取阶段是基于Transformer的自注意力机制MSA提取每一个模态自身的特征，并使用EfficientNet中的MBConv替代Transformer中原本的前馈网络FFN，同时引入了卷积的归纳偏置；具体公式为：
其中，LN(·)表示层归一化，
表示T1模态在编码器的第l层,/>
表示第l+1层的单模态特征提取阶段输出的特征，/>
表示T1Gd模态在编码器的第l层，/>
表示第l+1层的单模态特征提取阶段输出的特征；/>
所述关联模态特征提取阶段是使用自注意力机制进一步提取每个模态特征，同时基于Transformer的交叉模态注意力机制CM-MCA捕获相关模态的潜在联系，最后通过相加融合模态本身的特征以及来自另一模态的信息，增强自身模态的特征表示，具体为：
其中，MT1表示T1模态关联模态特征提取阶段输出的特征；MT1Gd表示T1Gd模态在关联模态特征提取阶段输出的特征；
分别表示T1模态和T1Gd模态在Transformer中的键向量、QT1、QT1Gd分别表示T1模态和T1Gd模态在Transformer中的查询向量，VT1、VT1Gd分别表示T1模态和T1Gd模态在Transformer中的值向量；/>
是归一化因子，值等于查询向量或键向量的维度，保证梯度的稳定；B是相对位置编码。
4.根据权利要求1所述基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法，其特征在于，所述将所述多模态特征利用Transformer的自注意力机制进行特征融合，得到融合后的多模态特征，具体为：
在瓶颈层，四种模态的特征会沿通道方向串联成为新的瓶颈层的输入，按通道串联特征的特征融合方式，弥补了在编码阶段缺少四种模态特征的交互；所述瓶颈层连接着编码器和解码器，瓶颈层包括两层，每层的结构都与所述的单模态特征提取阶段共享相同的设计，但参数量增大为四倍，瓶颈层的目的是使串联后的四模态特征具有更多的模态语义信息，最后在瓶颈层输出的特征称为FBNL。
5.根据权利要求1所述基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法，其特征在于，所述解码器采用反卷积对所述融合后的多模态特征进行上采样和压缩通道数的操作，并将Transformer特征与CNN特征对齐，最后在分割头的作用下,预测脑胶质瘤的病灶区域，最终得到分割后的结果，具体为：
在TCFC模块中，将来自上采样的特征表示为F，来自跳跃连接的Transformer特征表示为Ftrans，TCFC模块的第一输出特征表示为F′；具体公式为：
F′=TCFC(Ftrans，F)
其中，
和/>
表示双分支混合编码器中两个分支的Transformer特征张量，在第一个TCFC模块中F＝FBNL；
由于上采样的特征F和跳跃连接的Transformer特征Ftrans都是三维特征，为了充分利用三维信息，首先对F和Ftrans在X,Y,Z方向上进行平均池化，得到F在X，Y，Z方向上的平均池化结果FX、FY和FZ以及Ftrans在X，Y，Z方向上的平均池化结果
和/>
分别将
和/>
以及FX、FY和FZ重构为相同的形状，即串联成/>
和/>
并通过一个1×1×1卷积层压缩信道；然后重新拆分回三个方向；再将Transformer和CNN的特征进行有方向的聚合，得到X、Y、Z方向的聚合结果/>
具体公式为：
再通过对聚合的
进行矩阵乘法运算，得到校准注意向量A；
最后将校准后的Transformer特征Ftrans与上采样特征F进行级联；该种方式代替传统的跳过连接，利用空间注意力的信息得到TCFC模块的第二输出特征F′，然后利用卷积压缩串联后的特征得到Fcps，使得解码器具有更多的浅层语义信息，最后再次利用反卷积操作DeConv上采样特征作为下一层的输入，具体的公式为:
F′＝Concate(AFtrans，F)
Fcps＝Conv(F′)
F＝DeConv(Fcps)
在编码器部分，底部的三层是MCCA层，输出的Ftrans属于Transformer风格特征，顶部的两层输出的都是卷积特征Fcnn；因此在解码器部分，仅在底部的三层加入所述的TCFC模块；在解码器剩余的两层，来自上采样的特征F和来自跳过连接的卷积特征Fcnn不需要引入TCFC模块，两种特征直接沿通道方向串联，然后利用卷积压缩通道，利用反卷积对特征上采样作为下一层的输入，公式为：
Fconcat＝Concat(Fcnn，F)
Fcps＝Conv(Fconcat)
F＝DeConv(Fcps)
在解码器的最后，分割头模块采用1×1×1卷积压缩特征通道得到胶质瘤的预测区域Y；Y的通道数为3，表示胶质瘤的三个子区域ET，TC，WT。
6.基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割系统，其特征在于，应用于权利要求1-5中任一项所述的基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法，包括特征提取模块、特征融合模块以及分割模块；
所述特征提取模块，用于依据模态间的强结构相关性将四种模态序列分为两个相关的模态组；每个模态组通过各自的编码分支进行特征提取，得到多模态特征；
所述特征融合模块，用于将所述多模态特征利用Transformer的自注意力机制进行特征融合，得到融合后的多模态特征；
所述分割模块，用于解码器采用反卷积对所述融合后的多模态特征进行上采样和压缩通道数的操作，并将Transformer特征与CNN特征对齐，最后在分割头的作用下，预测脑胶质瘤的病灶区域，最终得到分割的结果；所述解码器将来自跳过连接的特征图和上采样后的特征图串联到一起；所述解码器包括卷积块、TCFC模块和分割头；所述卷积块用于在上采样特征的同时使特征具有更多的浅层语义信息；所述的TCFC模块用于提供像素级别的空间注意从而缩小特征的偏差；所述分割头用于在特征恢复到初始的分辨率后，利用通道压缩的方式预测病灶区域。
7.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5中任意一项所述的基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法。
8.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-5任一项所述的基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310096550.7A CN116188410A (zh) | 2023-02-10 | 2023-02-10 | 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310096550.7A CN116188410A (zh) | 2023-02-10 | 2023-02-10 | 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116188410A true CN116188410A (zh) | 2023-05-30 |
Family
ID=86433973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310096550.7A Pending CN116188410A (zh) | 2023-02-10 | 2023-02-10 | 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188410A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452593A (zh) * | 2023-06-16 | 2023-07-18 | 武汉大学中南医院 | 血管性认知障碍的ai评估模型的构建方法、装置及系统 |
| CN116912503A (zh) * | 2023-09-14 | 2023-10-20 | 湖南大学 | 一种基于层级融合策略的多模态mri脑肿瘤语义分割方法 |
| CN116977466A (zh) * | 2023-07-21 | 2023-10-31 | 北京大学第三医院（北京大学第三临床医学院） | 一种增强ct图像生成模型的训练方法和存储介质 |
| CN117115061A (zh) * | 2023-09-11 | 2023-11-24 | 北京理工大学 | 一种多模态图像融合方法、装置、设备及存储介质 |
-
2023
- 2023-02-10 CN CN202310096550.7A patent/CN116188410A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452593A (zh) * | 2023-06-16 | 2023-07-18 | 武汉大学中南医院 | 血管性认知障碍的ai评估模型的构建方法、装置及系统 |
| CN116452593B (zh) * | 2023-06-16 | 2023-09-05 | 武汉大学中南医院 | 血管性认知障碍的ai评估模型的构建方法、装置及系统 |
| CN116977466A (zh) * | 2023-07-21 | 2023-10-31 | 北京大学第三医院（北京大学第三临床医学院） | 一种增强ct图像生成模型的训练方法和存储介质 |
| CN117115061A (zh) * | 2023-09-11 | 2023-11-24 | 北京理工大学 | 一种多模态图像融合方法、装置、设备及存储介质 |
| CN117115061B (zh) * | 2023-09-11 | 2024-04-09 | 北京理工大学 | 一种多模态图像融合方法、装置、设备及存储介质 |
| CN116912503A (zh) * | 2023-09-14 | 2023-10-20 | 湖南大学 | 一种基于层级融合策略的多模态mri脑肿瘤语义分割方法 |
| CN116912503B (zh) * | 2023-09-14 | 2023-12-01 | 湖南大学 | 一种基于层级融合策略的多模态mri脑肿瘤语义分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116188410A (zh) | 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质 | |
| Lin et al. | CKD-TransBTS: clinical knowledge-driven hybrid transformer with modality-correlated cross-attention for brain tumor segmentation | |
| Lin et al. | Path aggregation U-Net model for brain tumor segmentation | |
| Wang et al. | Breast ultrasound image segmentation: A coarse‐to‐fine fusion convolutional neural network | |
| Aghdam et al. | Attention swin u-net: Cross-contextual attention mechanism for skin lesion segmentation | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| Li et al. | TransBTSV2: Towards better and more efficient volumetric segmentation of medical images | |
| Li et al. | View-disentangled transformer for brain lesion detection | |
| Yang et al. | Local linear embedding based interpolation neural network in pancreatic tumor segmentation | |
| Liu et al. | Co-Net: A collaborative region-contour-driven network for fine-to-finer medical image segmentation | |
| Zhou et al. | H-Net: a dual-decoder enhanced FCNN for automated biomedical image diagnosis | |
| Hu et al. | An efficient R-transformer network with dual encoders for brain glioma segmentation in MR images | |
| Ramasamy et al. | Multi-modal semantic segmentation model using encoder based Link-Net architecture for BraTS 2020 challenge | |
| Abid et al. | A convolutional neural network for skin lesion segmentation using double u-net architecture | |
| Ma et al. | LCAUnet: A skin lesion segmentation network with enhanced edge and body fusion | |
| CN117372458A (zh) | 三维脑肿瘤分割方法、装置、计算机设备和存储介质 | |
| Liu et al. | TransMVU: Multi‐view 2D U‐Nets with transformer for brain tumour segmentation | |
| Chen et al. | TSEUnet: A 3D neural network with fused Transformer and SE-Attention for brain tumor segmentation | |
| Li et al. | TransU2-Net: an effective medical image segmentation framework based on transformer and U2-Net | |
| CN113744284B (zh) | 脑肿瘤图像区域分割方法、装置、神经网络及电子设备 | |
| Wu et al. | Inner Cascaded U²-Net: An Improvement to Plain Cascaded U-Net. | |
| Yuan et al. | FM-Unet: Biomedical image segmentation based on feedback mechanism Unet | |
| Li et al. | AMRSegNet: adaptive modality recalibration network for lung tumor segmentation on multi-modal MR images | |
| KR20220139541A (ko) | 글로벌 어텐션을 이용한 영상 분할 방법 및 장치 | |
| Luo et al. | Research and Analysis of Brain Glioma Imaging Based on Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |