CN116912503A - 一种基于层级融合策略的多模态mri脑肿瘤语义分割方法 - Google Patents
一种基于层级融合策略的多模态mri脑肿瘤语义分割方法 Download PDFInfo
- Publication number
- CN116912503A CN116912503A CN202311181827.2A CN202311181827A CN116912503A CN 116912503 A CN116912503 A CN 116912503A CN 202311181827 A CN202311181827 A CN 202311181827A CN 116912503 A CN116912503 A CN 116912503A
- Authority
- CN
- China
- Prior art keywords
- mode
- module
- attention
- feature
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 34
- 230000011218 segmentation Effects 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 title claims abstract description 17
- 238000010586 diagram Methods 0.000 claims abstract description 78
- 230000002776 aggregation Effects 0.000 claims abstract description 5
- 238000004220 aggregation Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 50
- 238000005315 distribution function Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 4
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 206010018338 Glioma Diseases 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 208000032612 Glial tumor Diseases 0.000 description 3
- 206010030113 Oedema Diseases 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000036770 blood supply Effects 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000002601 intratumoral effect Effects 0.000 description 2
- 238000002075 inversion recovery Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005086 pumping Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000000172 Medulloblastoma Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 210000004498 neuroglial cell Anatomy 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Abstract
本发明公开了一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法，包括构建多模态脑肿瘤语义分割模型，模型包括具有多分支编码器与单一分支解码器的骨干结构、多模态融合模块MMF、多分支聚合模块MBA和大核卷积跳跃连接模块LKC；多分支编码器对不同模态输入图像进行编码输出对应的编码结果；MMF模块对编码结果进行拼接并提取多模态特征表示，通过通道注意力和高斯调制函数得到对应模态的特征图；MBA模块聚合最后阶段的对应模态的特征图，对多模态特征图进行处理后送入解码器；LKC模块连接对应阶段的特征图与解码器在对应阶段输出的特征图，由解码器的解码路径生成多模态脑肿瘤图像分割图。实现目标区域的精准识别分割。
Description
技术领域
本发明属于计算机视觉技术领域，特别是涉及一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法。
背景技术
脑肿瘤是指在脑部或脊髓中形成的异常细胞聚集，脑肿瘤的类型有很多，包括胶质瘤、膜瘤、髓母细胞瘤、神经胶质瘤等。这些肿瘤的病因和发病机制也各不相同。脑肿瘤中最常见的类型之一是胶质瘤，它起源于神经胶质细胞，是一种恶性的肿瘤。由于存在不同的病理学特征和不同的侵袭程度等原因，胶质瘤又被分为肿瘤周围水肿、坏死核心、增强和非增强肿瘤核心三种组织学亚区。因为胶质瘤的成像表型（外观和形状）存在内在异质性，可以通过多模态MRI扫描来反映不同的肿瘤生物学特性。
磁共振成像（MRI）是一种常用的医学成像技术，广泛用于医院和诊所，以帮助疾病的诊断，分期和随访。MRI能呈现出更好对比度的软组织图像，例如颅脑、脊柱和脊髓等部位。通过不同的参数采集，可以得到一系列不同模态的MRI序列。在脑肿瘤中，常用的MRI模态有T1加权、加造影剂T1加权（T1Gd）、T2加权、T2流体衰减反转恢复（FLAIR）。其中，T1加权能看出各种断层解剖结构；T1Gd通过往血液中打入造影剂，能显示出供血丰富的区域，还能进一步显示肿瘤内情况；T2加权与组织器官中的含水量有关，能清楚的看出病灶的位置；FLAIR能表现肿瘤部位周遭情况，呈现出浮肿区域。不同的模态能够提供病灶区域及其周围组织器官的互补信息。因此，使用多模态医学图像能弥补单一模态影像的不足，有效帮助医生精准识别手术区域和病灶结构，提升术前诊断效率及准确率，提高手术成功率。然而，随之而来的大量医疗数据也大大增加了疾病诊断工作量。医生需要花费更多时间来人工评估大量的医学图像，也容易导致诊断失误。因此，急需开发一种能利用多模态影像的互补信息，并从中提取出感兴趣区域（病灶和组织器官）的多模态医学图像分割方法。
发明内容
针对以上技术问题，本发明提供一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法。
本发明解决其技术问题采用的技术方案是：
一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法，方法包括以下步骤：
S100：构建多模态脑肿瘤语义分割模型，多模态脑肿瘤语义分割模型包括具有多分支编码器与单一分支解码器的骨干结构、多模态融合模块MMF、多分支聚合模块MBA和大核卷积跳跃连接模块LKC；
S200：多分支编码器利用卷积模块将编码路径分成多个分支，每个分支用于对不同模态输入图像进行多阶段编码，输出不同阶段的编码结果；
S300：利用对应阶段的MMF模块对同一阶段的编码结果进行拼接得到对应阶段的拼接结果，对对应阶段的拼接结果提取多模态特征表示，通过通道注意力融合多模态信息，用高斯分布函数作为调制函数，得到各阶段的多模态注意力图，根据对应阶段的多模态注意力图和上一阶段的编码结果得到对应阶段的对应模态的特征图；
S400：利用MBA模块聚合最后一阶段的对应模态的特征图得到多模态特征图，对多模态特征图进行线性映射、位置编码、transformer层处理后得到输出特征图，将输出特征图进行特征映射后送入单一分支解码器；
S500：利用对应阶段的LKC模块连接对应阶段的对应模态的特征图与单一分支解码器在对应阶段输出的特征图，最终由单一分支解码器的解码路径分割出目标，生成多模态脑肿瘤图像分割图。
优选地，S200中的多分支编码器中每个分支采用相同的卷积模型，用于提取每个模态的独特特征表示；每个卷积模型包括一个卷积层、一个InstanceNorm归一化层和PReLU激活。
优选地，S300中的MMF模块包括通道注意力和高斯调用函数，通道注意力包括第一拼接模块、用于聚焦输入的通道特征关系的池化层和用于结合特征图通道信息的多层感知器MLP，其中，池化层包括最大值池化层和平均值池化层；
第一拼接模块用于将不同阶段的单个模态输入图像对应的编码结果进行拼接得到不同阶段的多模态特征图；
将当前阶段的多模态特征图分别输入至最大值池化层和平均值池化层，利用最大值池化层收集不同模态中的独特特征，利用平均值池化层收集不同模态的共享特征信息，分别得到平均池化通道特征和最大池化通道特征/>；
将平均池化通道特征和最大池化通道特征/>输入至用于结合特征图通道信息的多层感知器，分别得到第一特征图和第二特征图；
将第一特征图和第二特征图进行矩阵加法操作后得到多模态通道注意力图，将多模态通道注意力图作为高斯分布函数的输入，最终得到多模态注意力图。
优选地，通道注意力，具体为：
（1）
（2）
（3）
其中代表不同的编码阶段，/>代表第/>阶段的多模态特征图，/>、分别代表平均值池化和最大值池化操作，MLP代表多层感知器；公式（1）中表示利用平均值池化收集了不同模态的共享特征信息得到平均池化通道特征/>；公式（2）展示利用最大值池化收集了不同模态中最突出和最显著的特征得到最大池化通道特征；公式（3）表示两个通道特征通过一个由多层感知器MLP组成的压缩网络，得到输出多模态通道注意力图/>，其中/>代表逐元素矩阵加法运算。
优选地，将多模态通道注意力图作为高斯分布函数的输入，最终得到多模态注意力图，包括：
根据各阶段的多模态通道注意力图得到注意力图的均值；
根据各阶段的多模态通道注意力图和注意力图的均值得到注意力图的标准差；
根据注意力图的均值和注意力图的标准差构建高斯分布函数，根据当前阶段的多模态通道注意力图和高斯分布函数得到当前阶段的多模态注意力图。
优选地，S300中的高斯分布函数作为调制函数，具体为：
（4）
（5）
（6）
（7）
其中是注意力图的均值，/>是注意力图的标准差，/>表示高斯分布函数，/>是多模态通道注意力图，/>是多模态注意力图，i表示多模态通道注意力图/>的第i个通道，k表示多模态通道注意力图/>中的通道总数。
优选地，MBA模块包括第二拼接模块、位置编码模块和Transformer层，
第二拼接模块用于聚合多分支编码器输出的最终编码结果得到多模态特征图，将多模态特征图进行线性映射后，输入位置编码模块；
位置编码模块用于获取位置信息，并输入至Transformer层；
Transformer层包括层归一化LN、多头注意力MSA和多层感知器MLP，用于基于位置编码模块的输出进行全局上下文建模，得到Transformer的输出特征图，将输出特征图进行特征映射后，输入至单一分支解码器。
优选地，Transformer层操作具体为：
（8）
（9）
（10）
其中，M为多模态特征图，LP为线性投影运算，PE为位置编码，为特征嵌入，LN为层归一化，MSA为多头自注意力，MLP为多层感知器，/>为第/>层Transformer的输出。
优选地，LKC模块包括第三拼接模块和深度卷积模块，
第三拼接模块用于拼接同一阶段不同模态的特征图，得到对应阶段的多模态特征图；
深度卷积模块用于对对应阶段的多模态特征图进行深度卷积操作，得到一系列的包含不同尺度信息的多模态特征图；
将包含不同尺度信息的多模态特征图进行矩阵加法，送入3×3常规卷积块进行特征整合。
优选地，深度卷积模块包括依次连接的5x5深度可分离卷积、7x7深度可分离卷积、11x11深度可分离卷积和21x21深度可分离卷积。
上述一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法，充分利用多模态MRI脑肿瘤影像间的信息互补关系，从多种层面提供病灶区域及其周围区域的丰富信息，弥补单一模态影像的不足，实现对关键解剖结构及病变区域的精准识别分割。
附图说明
图1为本发明一实施例中一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法的流程图；
图2为本发明一实施例中多模态脑肿瘤语义分割方法的整体网络结构图；
图3为本发明一实施例中MMF模块的结构示意图；
图4为本发明一实施例中MBA模块的结构示意图；
图5为本发明一实施例中LKC模块的结构示意图；
图6为本发明一实施例中对于多模态脑肿瘤语义分割的效果示意图，其中，（a）表示多模态MRI图像，（b）表示真值标签，（c）表示装置分割效果。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1和图2所示，一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法，方法包括以下步骤：
S100：构建多模态脑肿瘤语义分割模型，多模态脑肿瘤语义分割模型包括具有多分支编码器与单一分支解码器的骨干结构、多模态融合模块MMF、多分支聚合模块MBA和大核卷积跳跃连接模块LKC；
S200：多分支编码器利用卷积模块将编码路径分成多个分支，每个分支用于对不同模态输入图像进行多阶段编码，输出不同阶段的编码结果；
S300：利用对应阶段的MMF模块对同一阶段的编码结果进行拼接得到对应阶段的拼接结果，对对应阶段的拼接结果提取多模态特征表示，通过通道注意力融合多模态信息，用高斯分布函数作为调制函数，得到各阶段的多模态注意力图，根据对应阶段的多模态注意力图和上一阶段的编码结果得到对应阶段的对应模态的特征图；
S400：利用MBA模块聚合最后一阶段的对应模态的特征图得到多模态特征图，对多模态特征图进行线性映射、位置编码、transformer层处理后得到输出特征图，将输出特征图进行特征映射后送入单一分支解码器；
S500：利用对应阶段的LKC模块连接对应阶段的对应模态的特征图与单一分支解码器在对应阶段输出的特征图，最终由单一分支解码器的解码路径分割出目标，生成多模态脑肿瘤图像分割图。
上述一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法，充分利用多模态MRI脑肿瘤影像间的信息互补关系，从多种层面提供病灶区域及其周围区域的丰富信息，弥补单一模态影像的不足，实现对关键解剖结构及病变区域的精准识别分割。
在一个实施例中，S200中的多分支编码器中每个分支采用相同的卷积模型，用于提取每个模态的独特特征表示；每个卷积模型包括一个卷积层、一个InstanceNorm归一化层和PReLU激活。
具体地，常用的MRI模态有T1加权、加造影剂T1加权（T1Gd）、T2加权、T2流体衰减反转恢复（FLAIR）。其中，T1加权能看出各种断层解剖结构；T1Gd通过往血液中打入造影剂，能显示出供血丰富的区域，还能进一步显示肿瘤内情况；T2加权与组织器官中的含水量有关，能清楚的看出病灶的位置；FLAIR能表现肿瘤部位周遭情况，呈现出浮肿区域。
为了避免下采样过程的信息丢失，本发明利用一个核大小为的标准卷积块，步幅为2，将特征分辨率降为2倍。此外，加入残差连接来改善反向传播过程中的梯度消散问题和减少信息的丢失。
在一个实施例中，S300中的MMF模块包括通道注意力和高斯调用函数，通道注意力包括第一拼接模块、用于聚焦输入的通道特征关系的池化层和用于结合特征图通道信息的多层感知器MLP，其中，池化层包括最大值池化层和平均值池化层；
第一拼接模块用于将不同阶段的单个模态输入图像对应的编码结果进行拼接得到不同阶段的多模态特征图；
将当前阶段的多模态特征图分别输入至最大值池化层和平均值池化层，利用最大值池化层收集不同模态中的独特特征，利用平均值池化层收集不同模态的共享特征信息，分别得到平均池化通道特征和最大池化通道特征/>；
将平均池化通道特征和最大池化通道特征/>输入至用于结合特征图通道信息的多层感知器，分别得到第一特征图和第二特征图；
将第一特征图和第二特征图进行矩阵加法操作后得到多模态通道注意力图，将多模态通道注意力图作为高斯分布函数的输入，最终得到多模态注意力图。
具体地，MMF模块的结构示意图如图3所示，利用MMF模块融合多模态信息，强调不同模态中的共有信息，以辅助多分支编码器的过程：拼接多分支编码器输出的特征图，利用通道注意力来融合多模态信息，之后利用高斯分布函数作为调制函数，得到模块的最终输出。
在一个实施例中，通道注意力，具体为：
（1）
（2）
（3）
其中代表不同的编码阶段，/>代表第/>阶段的多模态特征图，/>、分别代表平均值池化和最大值池化操作，MLP代表多层感知器；公式（1）中表示利用平均值池化收集了不同模态的共享特征信息得到平均池化通道特征/>；公式（2）展示利用最大值池化收集了不同模态中最突出和最显著的特征得到最大池化通道特征；公式（3）表示两个通道特征通过一个由多层感知器MLP组成的压缩网络，得到输出多模态通道注意力图/>，其中/>代表逐元素矩阵加法运算。
在一个实施例中，将多模态通道注意力图作为高斯分布函数的输入，最终得到多模态注意力图，包括：
根据各阶段的多模态通道注意力图得到注意力图的均值；
根据各阶段的多模态通道注意力图和注意力图的均值得到注意力图的标准差；
根据注意力图的均值和注意力图的标准差构建高斯分布函数，根据当前阶段的多模态通道注意力图和高斯分布函数得到当前阶段的多模态注意力图。
在一个实施例中，S300中的高斯分布函数作为调制函数，具体为：
（4）
（5）
（6）
（7）
其中是注意力图的均值，/>是注意力图的标准差，/>表示高斯分布函数，/>是多模态通道注意力图，/>是多模态注意力图，i表示多模态通道注意力图/>的第i个通道，k表示多模态通道注意力图/>中的通道总数。
具体地，高斯分布函数作为调制函数，通过学习每个通道的注意权值，来重新激活特征的分布，有助于对不同通道之间的相关性进行显式地建模，自适应地调节针对分割目标的激活响应。
在一个实施例中，MBA模块包括第二拼接模块、位置编码模块和Transformer层，
第二拼接模块用于聚合多分支编码器输出的最终编码结果得到多模态特征图，将多模态特征图进行线性映射后，输入位置编码模块；
位置编码模块用于获取位置信息，并输入至Transformer层；
Transformer层包括层归一化LN、多头注意力MSA和多层感知器MLP，用于基于位置编码模块的输出进行全局上下文建模，得到Transformer的输出特征图，将输出特征图进行特征映射后，输入至单一分支解码器。
具体地，MBA模块的结构示意图如图4所示，为了更好地提取语义特征和融合多模态影像间的互补信息，避免分支深层特征的全局信息丢失，利用Transformer作为多分支聚合模块（MBA），来连接多分支编码器和解码器。
在一个实施例中，Transformer层操作具体为：
（8）
（9）
（10）
其中，M为多模态特征图，LP为线性投影运算，PE为位置编码，为特征嵌入，LN为层归一化，MSA为多头自注意力，MLP为多层感知器，/>为第/>层Transformer的输出。
在一个实施例中，LKC模块包括第三拼接模块和深度卷积模块，
第三拼接模块用于拼接同一阶段不同模态的特征图，得到对应阶段的多模态特征图；
深度卷积模块用于对对应阶段的多模态特征图进行深度卷积操作，得到一系列的包含不同尺度信息的多模态特征图；
将包含不同尺度信息的多模态特征图进行矩阵加法，送入3×3常规卷积块进行特征整合。
具体地，LKC模块的结构示意图如图5所示，为了整合不同模态的特征图，引导该网络聚焦于目标区域，更好地识别不同尺寸的病灶，解决尺寸变化的问题，设计大核卷积跳跃连接模块（LKC）。
在一个实施例中，深度卷积模块包括依次连接的5x5深度可分离卷积、7x7深度可分离卷积、11x11深度可分离卷积和21x21深度可分离卷积。
具体地，LKC模块采用一系列大尺寸的深度可分离卷积（5×5、7×7、11×11、21×21）来扩大感受野，使网络学习到不同大小病变的复杂结构。为了进一步压缩网络参数，我们使用两个1xN和Nx1的深度条状卷积来近似替代N×N的标准深度卷积。
通过LKC模块，能在网络的每一级的上采样过程中，将编码器对应位置的浅层特征与解码器的深层特征进行聚合，使得解码器在进行上采样的过程中能够利用更多高分辨率的信息，解码路径逐渐恢复原始输入分辨率。最终解码器通过1x1x1卷积层，并使用sigmoid激活函数生成多模态脑肿瘤图像分割图。进一步地，对于多模态脑肿瘤语义分割的效果示意图如图6所示。
上述一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法，多分支编码器分别提取每个模态的独有特征表示。MMF模块在空间维度对多模态特征图进行压缩和聚合，利用高斯函数来提取信息和滤除噪声，辅助多分支编码器强调潜在共享特征。MBA模块聚合编码器的多个分支，并建模全局上下文信息，从而学习多模态之间的互补关系。LKC模块使用多组大卷积尺寸（从5×5×5开始）的深度卷积，以实现更大的全局感受野，使网络关注不同尺度的特征信息，强调目标区域，从而准确定位病灶。
以上对本发明所提供的一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种基于层级融合策略的多模态MRI脑肿瘤语义分割方法，其特征在于，所述方法包括以下步骤：
S100：构建多模态脑肿瘤语义分割模型，所述多模态脑肿瘤语义分割模型包括具有多分支编码器与单一分支解码器的骨干结构、多模态融合模块MMF、多分支聚合模块MBA和大核卷积跳跃连接模块LKC；
S200：所述多分支编码器利用卷积模块将编码路径分成多个分支，每个分支用于对不同模态输入图像进行多阶段编码，输出不同阶段的编码结果；
S300：利用对应阶段的MMF模块对同一阶段的编码结果进行拼接得到对应阶段的拼接结果，对对应阶段的拼接结果提取多模态特征表示，通过通道注意力融合多模态信息，用高斯分布函数作为调制函数，得到各阶段的多模态注意力图，根据对应阶段的多模态注意力图和上一阶段的编码结果得到对应阶段的对应模态的特征图；
S400：利用MBA模块聚合最后一阶段的对应模态的特征图得到多模态特征图，对所述多模态特征图进行线性映射、位置编码、transformer层处理后得到输出特征图，将输出特征图进行特征映射后送入所述单一分支解码器；
S500：利用对应阶段的LKC模块连接对应阶段的对应模态的特征图与所述单一分支解码器在对应阶段输出的特征图，最终由所述单一分支解码器的解码路径分割出目标，生成多模态脑肿瘤图像分割图。
2.根据权利要求1所述的方法，其特征在于，S200中的所述多分支编码器中每个分支采用相同的卷积模型，用于提取每个模态的独特特征表示；每个卷积模型包括一个卷积层、一个InstanceNorm归一化层和PReLU激活。
3.根据权利要求1所述的方法，其特征在于，S300中的所述MMF模块包括通道注意力和高斯调用函数，所述通道注意力包括第一拼接模块、用于聚焦输入的通道特征关系的池化层和用于结合特征图通道信息的多层感知器MLP，其中，所述池化层包括最大值池化层和平均值池化层；
所述第一拼接模块用于将不同阶段的单个模态输入图像对应的编码结果进行拼接得到不同阶段的多模态特征图；
将当前阶段的多模态特征图分别输入至所述最大值池化层和所述平均值池化层，利用所述最大值池化层收集不同模态中的独特特征，利用所述平均值池化层收集不同模态的共享特征信息，分别得到平均池化通道特征和最大池化通道特征/>；
将所述平均池化通道特征和所述最大池化通道特征/>输入至用于结合特征图通道信息的所述多层感知器，分别得到第一特征图和第二特征图；
将所述第一特征图和所述第二特征图进行矩阵加法操作后得到多模态通道注意力图，将所述多模态通道注意力图作为所述高斯分布函数的输入，最终得到多模态注意力图。
4.根据权利要求3所述的方法，其特征在于，所述通道注意力，具体为：
（1）
（2）
（3）
其中代表不同的编码阶段，/>代表第/>阶段的多模态特征图，/>、分别代表平均值池化和最大值池化操作，MLP代表多层感知器；公式（1）中表示利用平均值池化收集了不同模态的共享特征信息得到平均池化通道特征/>；公式（2）展示利用最大值池化收集了不同模态中最突出和最显著的特征得到最大池化通道特征；公式（3）表示两个通道特征通过一个由多层感知器MLP组成的压缩网络，得到输出多模态通道注意力图/>，其中/>代表逐元素矩阵加法运算。
5.根据权利要求3所述的方法，其特征在于，将所述多模态通道注意力图作为所述高斯分布函数的输入，最终得到多模态注意力图，包括：
根据各阶段的多模态通道注意力图得到注意力图的均值；
根据所述各阶段的多模态通道注意力图和所述注意力图的均值得到注意力图的标准差；
根据所述注意力图的均值和所述注意力图的标准差构建高斯分布函数，根据当前阶段的多模态通道注意力图和所述高斯分布函数得到当前阶段的多模态注意力图。
6.根据权利要求5所述的方法，其特征在于，S300中的所述高斯分布函数作为调制函数，具体为：
（4）
（5）
（6）
（7）
其中是注意力图的均值，/>是注意力图的标准差，/>表示高斯分布函数，/>是多模态通道注意力图，/>是多模态注意力图，i表示多模态通道注意力图/>的第i个通道，k表示多模态通道注意力图/>中的通道总数。
7.根据权利要求1所述的方法，其特征在于，所述MBA模块包括第二拼接模块、位置编码模块和Transformer层，
所述第二拼接模块用于聚合所述多分支编码器输出的最终编码结果得到多模态特征图，将所述多模态特征图进行线性映射后，输入所述位置编码模块；
所述位置编码模块用于获取位置信息，并输入至所述Transformer层；
所述Transformer层包括层归一化LN、多头注意力MSA和多层感知器MLP，用于基于所述位置编码模块的输出进行全局上下文建模，得到Transformer的输出特征图，将所述输出特征图进行特征映射后，输入至所述单一分支解码器。
8.根据权利要求7所述的方法，其特征在于，所述Transformer层操作具体为：
（8）
（9）
（10）
其中，M为多模态特征图，LP为线性投影运算，PE为位置编码，为特征嵌入，LN为层归一化，MSA为多头自注意力，MLP为多层感知器，/>为第/>层Transformer的输出。
9.根据权利要求1所述的方法，其特征在于，所述LKC模块包括第三拼接模块和深度卷积模块，
所述第三拼接模块用于拼接同一阶段不同模态的特征图，得到对应阶段的多模态特征图；
所述深度卷积模块用于对所述对应阶段的多模态特征图进行深度卷积操作，得到一系列的包含不同尺度信息的多模态特征图；
将所述包含不同尺度信息的多模态特征图进行矩阵加法，送入3×3常规卷积块进行特征整合。
10.根据权利要求9所述的方法，其特征在于，所述深度卷积模块包括依次连接的5x5深度可分离卷积、7x7深度可分离卷积、11x11深度可分离卷积和21x21深度可分离卷积。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311181827.2A CN116912503B (zh) | 2023-09-14 | 2023-09-14 | 一种基于层级融合策略的多模态mri脑肿瘤语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311181827.2A CN116912503B (zh) | 2023-09-14 | 2023-09-14 | 一种基于层级融合策略的多模态mri脑肿瘤语义分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116912503A true CN116912503A (zh) | 2023-10-20 |
| CN116912503B CN116912503B (zh) | 2023-12-01 |
Family
ID=88353495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311181827.2A Active CN116912503B (zh) | 2023-09-14 | 2023-09-14 | 一种基于层级融合策略的多模态mri脑肿瘤语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912503B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333777A (zh) * | 2023-12-01 | 2024-01-02 | 山东元明晴技术有限公司 | 一种坝体异常识别方法、装置及存储介质 |
| CN117745745A (zh) * | 2024-02-18 | 2024-03-22 | 湖南大学 | 一种基于上下文融合感知的ct图像分割方法 |
| CN117745745B (zh) * | 2024-02-18 | 2024-05-10 | 湖南大学 | 一种基于上下文融合感知的ct图像分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554669A (zh) * | 2021-07-28 | 2021-10-26 | 哈尔滨理工大学 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
| US20220292674A1 (en) * | 2021-03-03 | 2022-09-15 | Tempus Labs, Inc. | Systems and methods for deep orthogonal fusion for multimodal prognostic biomarker discovery |
| WO2023087300A1 (zh) * | 2021-11-22 | 2023-05-25 | 中国科学院深圳先进技术研究院 | 一种医学图像分割方法、系统、终端以及存储介质 |
| CN116188410A (zh) * | 2023-02-10 | 2023-05-30 | 广东省人民医院 | 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质 |
| CN116433898A (zh) * | 2023-02-22 | 2023-07-14 | 北京工业大学 | 一种基于语义约束的Transformer多模态影像分割方法 |
-
2023
- 2023-09-14 CN CN202311181827.2A patent/CN116912503B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220292674A1 (en) * | 2021-03-03 | 2022-09-15 | Tempus Labs, Inc. | Systems and methods for deep orthogonal fusion for multimodal prognostic biomarker discovery |
| CN113554669A (zh) * | 2021-07-28 | 2021-10-26 | 哈尔滨理工大学 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
| WO2023087300A1 (zh) * | 2021-11-22 | 2023-05-25 | 中国科学院深圳先进技术研究院 | 一种医学图像分割方法、系统、终端以及存储介质 |
| CN116188410A (zh) * | 2023-02-10 | 2023-05-30 | 广东省人民医院 | 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质 |
| CN116433898A (zh) * | 2023-02-22 | 2023-07-14 | 北京工业大学 | 一种基于语义约束的Transformer多模态影像分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| HAO DU等: "SinPA-Net:Swin Transformer-Based Multiscale Feature Pyramid Aggregation Network for Medical Image Segmentation", IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS * |
| 张相芬，刘 艳，袁非牛: "基于倒金字塔深度学习网络的三维医学图像分割", 计算机工程 * |
| 洪炎佳;孟铁豹;黎浩江;刘立志;李立;徐硕?;郭圣文;: "多模态多维信息融合的鼻咽癌MR图像肿瘤深度分割方法", 浙江大学学报(工学版), no. 03 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333777A (zh) * | 2023-12-01 | 2024-01-02 | 山东元明晴技术有限公司 | 一种坝体异常识别方法、装置及存储介质 |
| CN117333777B (zh) * | 2023-12-01 | 2024-02-13 | 山东元明晴技术有限公司 | 一种坝体异常识别方法、装置及存储介质 |
| CN117745745A (zh) * | 2024-02-18 | 2024-03-22 | 湖南大学 | 一种基于上下文融合感知的ct图像分割方法 |
| CN117745745B (zh) * | 2024-02-18 | 2024-05-10 | 湖南大学 | 一种基于上下文融合感知的ct图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116912503B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102321A (zh) | 一种基于深度卷积神经网络的病灶图像分割方法及系统 | |
| Chan et al. | Texture-map-based branch-collaborative network for oral cancer detection | |
| CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN111354002A (zh) | 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN116912503B (zh) | 一种基于层级融合策略的多模态mri脑肿瘤语义分割方法 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN113436173B (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
| CN116485798B (zh) | 一种多模态宫颈癌mri图像自动识别和分割方法及系统 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| CN113205524B (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
| CN117132595B (zh) | 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 | |
| Khan et al. | PMED-net: Pyramid based multi-scale encoder-decoder network for medical image segmentation | |
| CN116433697B (zh) | 基于眼动仪的腹部多器官ct图像分割方法 | |
| CN115619797A (zh) | 一种基于注意力机制的并行U-Net网络的肺部图像分割方法 | |
| CN115471470A (zh) | 一种食管癌ct图像分割方法 | |
| CN114219755A (zh) | 基于图像和临床数据的肺结核智能检测方法及系统 | |
| Abid et al. | A convolutional neural network for skin lesion segmentation using double u-net architecture | |
| CN112734762B (zh) | 基于协方差自注意力机制的双路径UNet网络肿瘤分割方法 | |
| CN117372452A (zh) | 结合高效Transformer与UNet的3D脑肿瘤分割模型 | |
| CN116645380A (zh) | 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法 | |
| CN116228785A (zh) | 一种基于改进的Unet网络的肺炎CT影像分割方法 | |
| Wang et al. | Multi-scale boundary neural network for gastric tumor segmentation | |
| CN115457261A (zh) | 医学图像小病灶分割方法、存储介质和电子设备 | |
| CN113177938B (zh) | 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |