CN114972231A - 一种基于先验-后验概率编码器的多模态mr图像分割方法 - Google Patents

一种基于先验-后验概率编码器的多模态mr图像分割方法 Download PDF

Info

Publication number
CN114972231A
CN114972231A CN202210539940.2A CN202210539940A CN114972231A CN 114972231 A CN114972231 A CN 114972231A CN 202210539940 A CN202210539940 A CN 202210539940A CN 114972231 A CN114972231 A CN 114972231A
Authority
CN
China
Prior art keywords
fusion
encoder
image
feature
prior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210539940.2A
Other languages
English (en)
Inventor
谭山
黄敏欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202210539940.2A priority Critical patent/CN114972231A/zh
Publication of CN114972231A publication Critical patent/CN114972231A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于先验‑后验概率编码器的多模态MR图像分割方法，通过先验‑后验概率编码器在训练过程中生成各个分支网络的权重向量，通过学习已有数据的模式，分配网络对不同模态特征图的注意焦点，在多模网络中实施更有针对性的局部加权融合，提高网络判断多源信息置信度的能力，最终提高分割精度与模型鲁棒性；结合了前期融合和多层融合的思路，通过下采样和上采样之间的跳跃连接，在融合以外保留了单独模态的特异信息，有益于处理不同图像源提供的互补与矛盾信息。

Description

一种基于先验-后验概率编码器的多模态MR图像分割方法
技术领域
本发明属于图像处理领域，更具体地，涉及一种基于先验-后验概率编码器的多模态MR图像分割方法。
背景技术
医学图像分割将现代计算机自动化技术运用到医学图像处理之中，通过分割医学图像中具有特殊含义的部分(例如各个器官或肿瘤)，并提取相关特征，为诊断分类等医学图像其它后续工作提供更准确的处理结果。在MR的成像过程中，来自多个成像模态(例如T1加权序列图像，T2加权序列图像，FLAIR序列图像等)的图像具有相同的解剖结构，但每个模态显示出独特的软组织对比度，使得来自多模态的互补信息比来自单个成像模态的信息具有更好的预测能力。基于多个模态图像的分割技术关键点在于将来自不同图像源的信息进行有效融合，并在不同模态信息出现矛盾时进行准确的判断和选择。现有研究已经对特征融合的最佳位置做了很详尽的探讨，例如前期融合、后期融合和多层融合。然而，大多数网络采用的融合方式仍然是特征图的简单拼接或相加，并没有额外的信息作为融合指导。现有方法的优点在于操作简洁、通用性强，但其特征融合效果差，难以处理复杂多模态信息的选择问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于先验-后验概率编码器的多模态MR图像分割方法，由此解决现有的图像分割方法对多模态图像的融合效果差的技术问题。
为实现上述目的，按照本发明的第一方面，提供了一种基于先验-后验概率编码器的多模态MR图像分割方法，包括：
训练阶段：
以多模态MR图像为训练样本，以所述多模态MR图像的分割图像为标签，对概率融合模型进行训练；其中，所述概率融合模型包括特征提取模块、先验编码器及多模融合模块；
所述训练阶段的损失函数包括后验概率向量及先验概率向量之间的余弦相似度损失，以及分割结果与标签图像之间的交叉熵损失；
其中，所述先验概率向量由所述先验编码器对经通道拼接后的多模态MR图像进行编码后得到；所述分割结果由所述多模融合模块根据所述先验概率向量对所述特征提取模块输出的多模态特征图进行加权求和及上采样处理后得到；所述后验概率向量为将所述多模态特征图及标签图像进行通道拼接后输入至后验编码器进行编码后得到；
应用阶段：
将待分割的MR图像输入至训练好的概率融合模型，得到分割结果。
优选地，所述多模融合模块根据所述先验概率向量对所述多模态特征图进行加权求和得到融合特征图，并通过跳跃连接，在融合特征图的上采样过程中结合所述特征提取模块进行特征提取时生成的中间特征图，得到分割结果。
优选地，所述先验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对经通道拼接后的多模态特征图进行编码后得到先验概率向量；
所述后验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对将所述多模态特征图及标签图像进行通道拼接后生成的拼接图像进行编码后得到后验概率向量。
优选地，所述先验概率向量wpri与所述融合特征图yfusion满足以下关系式：
yfusion＝concat(wpri·yfeature_a,(1-wpri)·yfeature_b)；
其中，yfeature_a、yfeature_b分别为模态a、b的特征图。
优选地，所述训练阶段的损失函数包括后验概率向量及先验概率向量之间的余弦相似度损失为：
Figure BDA0003647767000000031
其中，wpri和wpos分别为先验概率向量和后验概率向量。
优选地，所述损失函数为：
L＝Lentropy+αLcos；
其中，Lentropy为交叉熵损失，a为权重因子。
优选地，所述先验编码器及后验编码器均包括多个依次连接的下采样层及池化层。
按照本发明的第二方面，提供了一种基于先验-后验概率编码器的多模态MR图像分割系统，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、本发明提供的方法，通过先验-后验概率编码器在训练过程中生成各个分支网络的权重向量，通过学习已有数据的模式，分配网络对不同模态特征图的注意焦点，在多模网络中实施更有针对性的局部加权融合，提高网络判断多源信息置信度的能力，最终提高分割精度与模型鲁棒性。
2、本发明提供的方法，结合了前期融合和多层融合的思路，通过下采样和上采样之间的跳跃连接，在融合以外保留了单独模态的特异信息，有益于处理不同图像源提供的互补与矛盾信息。
3、本发明提供的方法，提出了一种基于先验-后验概率编码器的深度学习网络框架和对应的概率融合模型训练方法；先验-后验编码器结合多模态信息，将不同模态的置信信息用于端到端网络的通道维加权融合，同时结合了编码过程中的多尺度特征信息，在不同分辨率上考虑信息编码，能够促进来自不同成像模态的信息高效融合，从而提高MRI的分割精度。
附图说明
图1为本发明实施例提供的训练阶段流程示意图；
图2中的(a)、(b)分别为本发明实施例提供的概率编码模块、多模融合模块结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例提供一种基于先验-后验概率编码器的多模态MR图像分割方法，如图1所示，包括：
训练阶段：
以多模态MR图像为训练样本，以所述多模态MR图像的分割图像为标签，对概率融合模型进行训练；其中，所述概率融合模型包括特征提取模块、先验编码器及多模融合模块；
所述训练阶段的损失函数包括后验概率向量及先验概率向量之间的余弦相似度损失，以及分割结果与标签图像之间的交叉熵损失；
其中，所述先验概率向量由所述先验编码器对经通道拼接后的多模态MR图像进行编码后得到；所述分割结果由所述多模融合模块根据所述先验概率向量对所述特征提取模块输出的多模态特征图进行加权求和及上采样处理后得到；所述后验概率向量为将所述多模态特征图及标签图像进行通道拼接后输入至后验编码器进行编码后得到；
应用阶段：
将待分割的MR图像输入至训练好的概率融合模型，得到分割结果。
需要说明的是，在训练阶段，如图1所示，本发明提出的网络结构由三个主要模块构成：特征提取模块、概率编码模块和多模融合模块；概率编码模块包括先验编码器及后验编码器，其中，后验编码器用于根据训练标签在训练过程中编码得到一个概率向量范本，该范本包含了标签给出的信息，能有效指示不同模态分支的通道维置信度，后验编码器的输出通过余弦相似度损失对先验编码器进行训练，以校准先验编码器，从而对包括特征提取模块、先验编码器及多模融合模块的概率融合模型进行训练，训练完成后，概率融合模型的实际运用过程中，不再需要后验编码器的参与。
具体地，训练阶段包括以下步骤：
1)获取临床的MR多模态图像(例如：MR多序列图像)，进行归一化处理，并通过专家或医师的手动描绘得到训练数据的对应的分割结果(Ground Truth)作为训练标签(即分割标签)，搭建深度卷积神经网络模型。
2)将步骤1)中采集到的多模态MR图像在特征提取模块中经由基于多层卷积进行特征提取，并保留下采样过程中得到的中间特征。
可以理解的是，由于特征提取模块的输入为多模态MR图像，相应地，特征提取模块包括多个特征编码器，特征提取编码器的数量与输入的MR图像的模态数量相同。例如：若多模态MR图像包括模态a的MR图像及模态b的MR图像，则相应地，特征提取模块包括2个特征编码器。
特征提取采用的是基于残差连接的多层卷积，在每个卷积层的最后将特征图的分辨率缩小一半，通道数增加一倍，其中每一层深度卷积神经网络的前向结构用公式表示如下：
Figure BDA0003647767000000061
特征提取模块输出的最终特征为yfeature_a和yfeature_b，下采样过程中生成的中间特征图为ylayer_a和ylayer_b。
特征提取模块包括依次连接的基于卷积神经网络的输入层及多个下采样层。
例如：特征提取模块可采用输入层加三个下采样层的模块设计。输入层用卷积核为3×3的卷积将通道数由1变为32，接着通过步长为2、卷积核大小3×3的卷积进行下采样，通道数由32变为64。下采样层中，每一层由基于残差连接的两个3×3的卷积组成，并在模块最后通过步长为2、卷积核大小3×3的卷积进行下采样，使得特征图的分辨率减半，通道数翻倍。特征提取模块每一层中卷积后都使用了ReLU非线性模块和批量归一化技术。
最终，特征提取模块从输入图像中获得分辨率为原图像1/16且通道数为384的高维空间特征。同时，下采样过程中输入层及前两个下采样层分别输出的三个尺寸大小不同的中间特征图被保留，之后将被馈送入概率编码模块和多模融合模块。
以多模态图像包括多模态MR图像包括模态a的MR图像及模态b的MR图像为例，设模态a和模态b的MR图像分别为xa和xb，特征提取模块中两个特征编码器的参数分别为wen_a和wen_b，将特征编码部分抽象为函数
Figure BDA0003647767000000062
和
Figure BDA0003647767000000063
模块输出的最终特征为yfeature_a和yfeature_b，下采样过程中的中间特征图为ylayer_a和ylayer_b，则该模块可以表示为：
Figure BDA0003647767000000071
3)将多模态图像，与步骤1)中得到的对应GroundTruth一同馈送入概率编码模块；多模态图像(即xa和xb)送入先验编码器进行下采样，同时多模态图像(即xa和xb)与对应的GroundTruth送入后验编码器进行下采样，计算步骤3)中先验和后验编码器输出概率向量之间的余弦损失。
概率编码模块有三个部分的输入：模态a和模态b的输入图像、分割标签以及由特征编码模块馈送而来的多尺度特征图ylayer_a和ylayer_b。其中分割标签(即Groundtruth)在训练时被使用，在测试时不进入网络。
图2中的(a)展示了概率编码模块的结构，该模块包括先验编码器和后验编码器，它们是两个结构相似的下采样编码器，用以提取高维抽象信息，也即，先验编码器和后验编码器均包括：多个依次连接的基于卷积神经网络的下采样层及池化层。但由于先验编码器和后验编码器的输入图像的通道数不同，因此先验编码器和后验编码器的首个下采样层的第一层神经网络结构不同。
其中，先验编码器的输入为两个模态图像沿通道拼接后的组合样本，后验编码器的输入为先验的输入加上经过处理的GroundTruth图像，该标签图像被转为浮点型的one-hot形式，并减去0.5，使这个标签图像矩阵中每一点的数值为-0.5或0.5。
先验编码器和后验编码器均分别由一系列卷积核为3×3、步长为1或2的卷积交错组成，同特征提取模块一样，步长为2的卷积起到下采样的作用，两个编码器不共享参数，完全独立。在编码器的最后，通过在通道维的均值池化和sigmoid函数，得到两组尺度为[batchsize,384]的概率向量wpri和wpos，最终将图形信息投影到一个共同的高维隐空间。
例如，两个编码器均包括三个下采样层，每一层深度卷积神经网络的前向结构用公式表示如下：
Figure BDA0003647767000000081
在编码器的最后，通过在通道维的均值池化和sigmoid函数，得到两组尺度为[batchsize,384]的概率向量wpri和wpos。先验和后验编码器输出概率向量之间的余弦损失为：
Figure BDA0003647767000000082
其中，⊙为向量点乘。
为了使先验编码器学习到不同模态分支对应的通道维置信度，先验编码器的输出wpri应尽可能逼近后验编码器的输出wpos，后者包含Ground Truth作为额外的补充信息。两者之间的距离由这两个向量间的余弦相似度来衡量，作为损失加入网络训练过程中的梯度回传。
为了促进来自不同成像模态的信息高效融合，以提高MRI的分割精度，优选地，特征提取模块在特征提取的过程中生成的中间特征图(即多尺度特征图)，也在先验编码器和后验编码器的编码过程中，被顺序加入到所述先验编码器和后验编码器中来，作为多尺度信息的一种补充。
即：所述先验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对经通道拼接后的多模态特征图进行编码(包括下采样及池化处理)后得到先验概率向量；
所述后验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对将所述多模态特征图及标签图像进行通道拼接后生成的拼接图像进行编码(包括下采样及池化处理)得到后验概率向量。
先验编码器和后验编码器在多层下采样过程中，拼接对应尺度的中间特征图，最后经过一个均值池化层，生成概率向量(例如：对于包括依次连接的三个下采样层及一个池化层的先验编码器或后验编码器，一个编码过程为：下采样-拼接中间特征-下采样-拼接中间特征-下采样-拼接中间特征-下采样-均值池化)。
特征提取模块中下采样层的数量与先验编码器和后验编码器中下采样层的数量可相同也可以不同，当不同的时候，可以通过设置转换的卷积层调整中间特征图的分辨率与通道数大小即可实现中间特征的拼接。
设先验编码器
Figure BDA0003647767000000091
和后验编码器
Figure BDA0003647767000000092
的参数分别为θpri和θpos，则概率编码模块可表示为：
Figure BDA0003647767000000093
4)将先验和后验编码器的输出的概率向量与多模态特征图共同送入多模融合模块，所述多模融合模块将不同模态的特征基于其对应的概率向量在通道维度进行加权求和，得到融合特征图；并对融合特征图通过反卷积层进行上采样处理后经由输出层得到分割结果。
进一步地，为了保留了两个模态的特异性信息，处理不同图像源提供的互补与矛盾信息，优选地，所述多模融合模块根据所述先验概率向量对所述多模态特征图进行加权求和得到融合特征图，并通过跳跃连接，在融合特征图的上采样过程中结合所述特征提取模块进行特征提取时生成的中间特征图对所述融合特征图进行上采样处理(即通过跳跃连接在上采样过程中结合中间特征图)，得到分割结果。
与特征提取模块对应，多模融合模块本质上是用于上采样的特征解码器，目的是将特征图融合并恢复到输入图片的分辨率大小。多模融合模块的主要结构如图2中的(b)所示，多模融合模块包括加权求和单元及解码器；其中，解码器包括多个依次交替连接的卷积层和反卷积层。
概率编码模块的输出是一个大小为[batchsize,384]的概率向量wpri，batchsize为训练或测试时批处理的大小，向量中的每个数对应一个通道，数值范围为[0,1]。
加权求和单元将来自特征提取模块的两个特征图yfeature_a和yfeature_b首先分别与wpri和1-wpri逐通道相乘再进行通道拼接，即利用从概率编码模块学习到的置信度转为频域注意力，进行模态的针对性加权融合，得到初步融合的新特征图yfusion：
yfusion＝concat(wpri·yfeature_a,(1-wpri)·yfeature_b),
其中，yfusion的分辨率和yfeature_a相同，通道数是其两倍。
解码器采用一系列反卷积进行上采样，和输出层一起最终得到分割结果。
上采样采用的是基于残差连接的多层卷积，在每个卷积层的最后通过反卷积将特征图的分辨率增大一倍，通道数减少一半，其中每一层深度卷积神经网络的前向结构用公式表示如下：
Figure BDA0003647767000000101
例如，与特征提取模块相对应，上采样层中，每一层由基于残差连接的两个3×3的卷积组成，并在模块最后通过步长为2、卷积核大小3×3的反卷积进行上采样，使得特征图的分辨率翻倍，通道数减半。每一层的开始采用了跳跃连接技术，将上采样部分对应的同分辨率特征图ylayer_a和ylayer_b沿着通道维进行拼接。这样做的好处在于保留两个模态在各个尺度下未融合的原始特征，保留了两个模态的特异性信息。也即，上采样过程为：上采样-拼接中间特征-上采样-拼接中间特征-…(上采样与拼接中间特征交替进行)。
输出层采用卷积和softmax结合，将特征图的通道数变为需求的逐点分类类别数。与特征提取模块相同，特征融合模块每一层中卷积或反卷积后都使用了ReLU非线性模块和批量归一化技术。设最终输出为yout，上采样部分的参数为wde，将特征解码部分抽象为函数
Figure BDA0003647767000000111
则上采样部分可抽象表示为：
Figure BDA0003647767000000112
分割结果与Ground Truth之间的交叉熵损失Lentropy＝-∑ylog(yout)，y为标签。
6)基于步骤3)中余弦损失和步骤5)中交叉熵损失对网络进行训练，得到收敛后的模型参数并保存，训练结束。
通过最小化多任务损失函数L，使用CNNs的标准训练程序训练网络。其中，Lentropy是分割结果与GroundTruth的交叉熵损失，Lcos是概率编码模块的余弦相似度损失，权重因子a用于平衡不同损失项。损失函数L定义如下：
L＝Lentropy+αLcos.
优选地，模型训练的优化方法为Adam Optimizer，权重因子a设置为1。
在测试阶段，对于新的MR多序列图像样本，运行训练好的模型，但不运行步骤3)中后验编码器部分以及余弦损失计算部分，即可得到新样本的分割结果。
在网络训练过程中，概率编码模块中的wpri和wpos都应被求出，用于网络的梯度回传；然而在测试和实际使用过程中，概率编码模块中仅需要运行先验编码器部分，以获得没有输入标签时的隐空间概率向量wpri。
本发明提供的方法中，在训练阶段，特征提取模块对多模态特特征图进行特征提取，通过多次下采样，特征图分辨率降低，通道数增加。下采样过程中，不同尺度的特征图被保留，分别馈送入概率编码模块和多模融合模块。概率编码模块将多模原图像、GroundTruth和多尺度特征结合起来，通过先验-后验网络的训练方式，得到一组概率向量，即通道维权重向量。最后，多模融合模块依据这组权重对提取的多模特征进行针对性融合，再经过一系列包含跳跃连接的上采样，将特征图恢复到原图像大小，经过包含softmax的输出层得到最终的分割结果。
本发明实施例提供一种基于先验-后验概率编码器的多模态MR图像分割系统，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如上述任一实施例所述的方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于先验-后验概率编码器的多模态MR图像分割方法，其特征在于，包括：
训练阶段：
以多模态MR图像为训练样本，以所述多模态MR图像的分割图像为标签，对概率融合模型进行训练；其中，所述概率融合模型包括特征提取模块、先验编码器及多模融合模块；
所述训练阶段的损失函数包括后验概率向量及先验概率向量之间的余弦相似度损失，以及分割结果与标签图像之间的交叉熵损失；
其中，所述先验概率向量由所述先验编码器对经通道拼接后的多模态MR图像进行编码后得到；所述分割结果由所述多模融合模块根据所述先验概率向量对所述特征提取模块输出的多模态特征图进行加权求和及上采样处理后得到；所述后验概率向量为将所述多模态特征图及标签图像进行通道拼接后输入至后验编码器进行编码后得到；
应用阶段：
将待分割的MR图像输入至训练好的概率融合模型，得到分割结果。
2.如权利要求1所述的方法，其特征在于，所述多模融合模块根据所述先验概率向量对所述多模态特征图进行加权求和得到融合特征图，并通过跳跃连接，在融合特征图的上采样过程中结合所述特征提取模块进行特征提取时生成的中间特征图，得到分割结果。
3.如权利要求1或2所述的方法，其特征在于，所述先验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对经通道拼接后的多模态特征图进行编码后得到先验概率向量；
所述后验编码器根据所述特征提取模块进行特征提取时生成的中间特征图，对将所述多模态特征图及标签图像进行通道拼接后生成的拼接图像进行编码后得到后验概率向量。
4.如权利要求1所述的方法，其特征在于，所述先验概率向量wpri与所述融合特征图yfusion满足以下关系式：
yfusion＝concat(wpri·yfeature_a,(1-wpri)·yfeature_b)；
其中，yfeature_a、yfeature_b分别为模态a、b的特征图。
5.如权利要求1所述的方法，其特征在于，所述训练阶段的损失函数包括后验概率向量及先验概率向量之间的余弦相似度损失为：
Figure FDA0003647766990000021
其中，wpri和wpos分别为先验概率向量和后验概率向量。
6.如权利要求1所述的方法，其特征在于，所述损失函数为：
L＝Lentropy+αLcos；
其中，Lentropy为交叉熵损失，a为权重因子。
7.如权利要求1所述的方法，其特征在于，所述先验编码器及后验编码器均包括多个依次连接的下采样层及池化层。
8.一种基于先验-后验概率编码器的多模态MR图像分割系统，其特征在于，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如权利要求1-7任一项所述的方法。
CN202210539940.2A 2022-05-17 2022-05-17 一种基于先验-后验概率编码器的多模态mr图像分割方法 Pending CN114972231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210539940.2A CN114972231A (zh) 2022-05-17 2022-05-17 一种基于先验-后验概率编码器的多模态mr图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210539940.2A CN114972231A (zh) 2022-05-17 2022-05-17 一种基于先验-后验概率编码器的多模态mr图像分割方法

Publications (1)

Publication Number Publication Date
CN114972231A true CN114972231A (zh) 2022-08-30

Family

ID=82982429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210539940.2A Pending CN114972231A (zh) 2022-05-17 2022-05-17 一种基于先验-后验概率编码器的多模态mr图像分割方法

Country Status (1)

Country Link
CN (1) CN114972231A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565556A (zh) * 2022-10-31 2023-01-03 华中科技大学 信道转移信息辅助的降采样方法、读取方法、装置及系统
CN115631346A (zh) * 2022-11-11 2023-01-20 南京航空航天大学 一种基于不确定性建模的伪装物体检测方法和系统
CN116628512A (zh) * 2023-07-26 2023-08-22 国家电投集团综合智慧能源科技有限公司 基于先后验模型融合的光伏发电量模型训练方法和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565556A (zh) * 2022-10-31 2023-01-03 华中科技大学 信道转移信息辅助的降采样方法、读取方法、装置及系统
CN115565556B (zh) * 2022-10-31 2024-05-14 华中科技大学 信道转移信息辅助的降采样方法、读取方法、装置及系统
CN115631346A (zh) * 2022-11-11 2023-01-20 南京航空航天大学 一种基于不确定性建模的伪装物体检测方法和系统
CN116628512A (zh) * 2023-07-26 2023-08-22 国家电投集团综合智慧能源科技有限公司 基于先后验模型融合的光伏发电量模型训练方法和系统
CN116628512B (zh) * 2023-07-26 2023-10-27 国家电投集团综合智慧能源科技有限公司 基于先后验模型融合的光伏发电量模型训练方法和系统

Similar Documents

Publication Publication Date Title
CN114972231A (zh) 一种基于先验-后验概率编码器的多模态mr图像分割方法
Huang et al. ScaleFormer: revisiting the transformer-based backbones from a scale-wise perspective for medical image segmentation
US11587291B2 (en) Systems and methods of contrastive point completion with fine-to-coarse refinement
CN110136122B (zh) 一种基于注意力深度特征重建的脑mr图像分割方法
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN114092439A (zh) 一种多器官实例分割方法及系统
CN111784762B (zh) X光造影图像血管中心线提取方法及装置
CN113674146A (zh) 图像超分辨率
CN112132834B (zh) 一种心室图像分割方法、系统、装置及存储介质
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
Wang et al. Multiscale transunet++: dense hybrid u-net with transformer for medical image segmentation
CN113496495A (zh) 可缺失输入的医学图像分割模型建立方法及分割方法
Li et al. Deep recursive up-down sampling networks for single image super-resolution
CN115908800A (zh) 医学图像分割方法
CN115526829A (zh) 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络
CN115546466A (zh) 一种基于多尺度显著特征融合的弱监督图像目标定位方法
CN116977387B (zh) 基于形变场融合的可变形医学图像配准方法
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN113065417A (zh) 基于生成对抗式风格迁移的场景文本识别方法
CN117392473A (zh) 基于多模态原型网络的可解释医学图像分类系统
CN116188420A (zh) 一种基于卷积Transformer的多模态医学图像分割方法
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
Kakumani et al. Segmentation of Cell Nuclei in Microscopy Images using Modified ResUNet
Li et al. Gpa-tunet: Transformer and gpa attention co-encoder for medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination