CN117649344A - 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 - Google Patents
磁共振脑影像超分辨率重建方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN117649344A CN117649344A CN202410118585.0A CN202410118585A CN117649344A CN 117649344 A CN117649344 A CN 117649344A CN 202410118585 A CN202410118585 A CN 202410118585A CN 117649344 A CN117649344 A CN 117649344A
- Authority
- CN
- China
- Prior art keywords
- brain
- target
- brain image
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 648
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 11
- 238000009792 diffusion process Methods 0.000 claims description 39
- 238000005070 sampling Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请涉及一种磁共振脑影像超分辨率重建方法、装置、设备和存储介质。所述方法包括：基于训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器；分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取目标模态脑影像的目标编码信息、辅助模态脑影像的辅助编码信息；基于目标编码信息和辅助编码信息进行正反向噪声处理，生成目标模态脑影像的更新目标编码信息；将更新目标编码信息输入目标模态脑影像的解耦自编码器中，输出目标模态超分辨率脑影像。采用本方法解决了现有技术中脑影像重建质量低、复杂度高的问题，实现了超分辨率脑影像重建，提高了重建后脑影像的精确度和真实性。
Description
技术领域
本申请涉及影像数据分析技术领域，特别是涉及一种磁共振脑影像超分辨率重建方法、装置、设备和存储介质。
背景技术
随着医疗影像学的迅速发展，磁共振成像（Magnetic Resonance Imaging，MRI）方式作为临床诊断中的辅助手段，能够从大脑形态、结构和功能等方面对其进行可视化，提供更加丰富的病理信息，在临床诊疗中极其重要。高分辨率的MRI影像可以提供更清晰的病灶图像和关键的细节解剖信息，有助于确定病灶位置。
然而，在MRI成像过程中，获取高分辨率的图像需要更长的扫描时间和更高的信噪比，但患者难以长时间保持静止不动。因此，受到硬件配置和扫描时间等多种因素的限制，实际扫描获得的脑影像极有可能是低分辨率的厚层图像，直接使用会极大限制对大脑局部结构的定量评估，无法获取到一些相关性较强的微小结构变化。
超分辨率重建是一种利用单幅或多幅低分辨率图像重建出高分辨率图像的技术。传统的超分辨率重建方法，如双三次插值、压缩感知和稀疏表示都属于非学习方法，由于无法建立高分辨率和低分辨率图像之间复杂的非线性映射，难以恢复图像的纹理等高频细节。近年来，随着深度学习技术的飞速发展，基于学习的超分辨率重建算法取得了较好的效果。但是基于卷积神经网络的超分辨率重建算法以提高峰值信噪比为训练目标，导致超分辨率重建结果过于平滑，丢失高频结构细节，重建精度较低。而生成式模型通过学习训练数据的分布，能够生成与训练数据相似的图像，在医学图像去噪、合成和转译等众多工作中显现出巨大潜力。然而生成式模型也存在局限性，例如生成对抗网络可以生成高质量的图像，同时可以快速采样，但是生成结果缺乏多样性，而且具有网络训练不稳定和模式坍塌的缺陷；变分自编码器可以快速采样且生成的结果具有良好的多样性，但是生成的图像质量较差；扩散模型生成的结果质量比较高，也有良好的多样性，但是这类模型的训练通常在原始图像的高维空间中反复进行函数评估和梯度计算，导致计算复杂度较高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够补充脑组织微小结构和细节纹理信息、实现超分辨率脑影像重建的磁共振脑影像超分辨率重建方法、装置、设备和存储介质。
第一方面，本申请提供了一种磁共振脑影像超分辨率重建方法。所述方法包括：
基于多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器；
分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息；
基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息；
将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
在其中一个实施例中，所述解耦自编码器可用于获取脑影像的脑结构信息和/或影像对比度信息；所述分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息包括：
将所述目标模态脑影像输入对应模态的解耦自编码器中，提取所述目标模态脑影像的原始目标脑结构信息和原始目标影像对比度信息；
将所述辅助模态脑影像输入对应模态的解耦自编码器中，提取所述辅助模态脑影像的原始辅助脑结构信息。
在其中一个实施例中，所述更新目标编码信息包括更新目标脑结构信息，所述基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息包括：
对所述目标模态脑影像的原始目标脑结构信息根据时间步进行正向加噪，直至所述原始目标脑结构信息服从各向同性高斯分布噪声；
获取所述原始目标脑结构信息在每个时间步的加噪目标脑结构信息，将所述原始辅助脑结构信息作为先验约束条件，对每个时间步的所述加噪目标脑结构信息进行反向去噪，推理得到正向加噪在每个时间步迭代添加的预测噪声；
基于所述预测噪声，对每个时间步的所述加噪目标脑结构信息进行采样，生成所述目标模态脑影像的更新目标脑结构信息。
在其中一个实施例中，所述更新目标编码信息还包括原始目标影像对比度信息，所述解耦自编码器还可以用于根据所述脑结构信息和所述影像对比度信息生成更新脑影像；所述将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像包括：
将所述更新目标脑结构信息以及所述原始目标影像对比度信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
在其中一个实施例中，所述双向重建损失包括图像重建损失和隐式重建损失，所述基于多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器包括：
将提取到的所述多模态脑影像训练集中第一模态脑影像的第一脑结构信息和第一影像对比度信息进行融合解码，生成第一模态更新脑影像；根据所述第一模态脑影像以及所述第一模态更新脑影像，获取所述第一模态脑影像的图像重建损失；
提取所述多模态脑影像训练集中第二模态脑影像的第二脑结构信息和第二影像对比度信息；将所述第一脑结构信息和所述第二影像对比度信息进行融合解码，生成交叉模态脑影像；
提取所述交叉模态脑影像的交叉脑结构信息和交叉影像对比度信息，分别与所述第一脑结构信息和第二影像对比度信息进行特征损失计算，得到所述第一模态脑影像的脑结构重建损失以及第二模态脑影像的对比度重建损失；所述隐式重建损失包括所述脑结构重建损失和所述对比度重建损失；
根据所述交叉模态脑影像的交叉脑结构信息和交叉影像对比度信息，生成第二模态更新脑影像；根据所述第二模态更新脑影像和所述第二模态脑影像，获取所述第二模态脑影像的对抗损失；
基于所述图像重建损失、所述脑结构重建损失、所述对比度重建损失以及所述对抗损失，训练得到所述第一模态脑影像的解耦自编码器以及所述第二模态脑影像的解耦自编码器。
在其中一个实施例中，所述基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息还包括：
获取隐扩散模型，将所述目标编码信息和所述辅助编码信息输入所述隐扩散模型中，所述隐扩散模型对所述目标编码信息和所述辅助编码信息进行正反向噪声处理，输出所述目标编码信息中的原始目标脑结构信息在每个时间步的预测噪声；
基于所述预测噪声，对每个时间步的加噪目标脑结构信息进行采样，生成所述目标模态脑影像的更新目标编码信息。
在其中一个实施例中，所述获取隐扩散模型包括：
获取所述多模态脑影像训练集中第三模态脑影像的第三脑结构信息和第三影像对比度信息，以及第四模态脑影像的第四脑结构信息；
对所述第三脑结构信息根据时间步进行迭代正向加噪，同时确定每个时间步进行迭代正向加噪的真实噪声；对所述时间步进行随机抽样得到目标时间步，获取各所述目标时间步下所述第三模态脑影像的第三加噪脑结构信息；
利用交叉注意力机制将所述第四脑结构信息作为先验约束条件，对各所述目标时间步下的所述第三加噪脑结构信息进行反向去噪，获取所述第三脑结构信息在各所述目标时间步的预测噪声；
根据各所述目标时间步的所述真实噪声和所述预测噪声计算得到噪声损失值，对原始隐扩散模型进行迭代优化，直至迭代次数达到迭代阈值，得到所述隐扩散模型。
第二方面，本申请还提供了一种磁共振脑影像超分辨率重建装置。所述装置包括：
编码器训练模块，用于基于多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器；
编码信息提取模块，用于分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息；
编码信息更新模块，用于基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息；
目标影像重建模块，用于将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的内容。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的内容。
上述磁共振脑影像超分辨率重建方法、装置、设备和存储介质，通过利用多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器；分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息；基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息；将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像，解决了现有技术中脑影像重建质量低、复杂度高的问题，实现了超分辨率脑影像重建，提高了重建后脑影像的精确度和真实性。
附图说明
图1为一个实施例中磁共振脑影像超分辨率重建方法的应用环境图；
图2为一个实施例中磁共振脑影像超分辨率重建方法的流程示意图；
图3为一个实施例中步骤201的流程示意图；
图4为一个实施例中步骤202的流程示意图；
图5为其中一个实施例中步骤203的流程示意图；
图6为其中一个实施例中获取隐扩散模型的流程示意图；
图7为一个实施例中磁共振脑影像超分辨率重建装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请实施例提供的磁共振脑影像超分辨率重建方法，可以应用于如图1所示的应用环境中。终端102通过网络与服务器104进行通信。数据存储系统106可以存储服务器104需要处理的数据。数据存储系统106可以集成在服务器104上，也可以放在云上或其他网络服务器上。
在终端102上，根据多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器。分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息。基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息。将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种磁共振脑影像超分辨率重建方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤201，基于多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器。
磁共振脑影像的隐式特征可以分解为内容特征和风格特征，其中内容特征为被试的脑部解剖结构信息，风格特征为多种成像方式显示出来的不同对比度的样式信息。因此，双向重建损失包括图像重建损失和隐式重建损失。
图像重建损失为x模态脑影像解耦得到的内容特征和风格特征进行图像重建后与原本x模态脑影像相比产生的损失。
隐式重建损失包括内容重建损失和风格重建损失。内容重建损失为x模态脑影像重建后的内容特征相比原本内容特征的损失，即脑结构重建损失。对于同一个被试，不同模态的脑影像共享内容信息，但不共享风格信息，因此风格重建损失为与原本x模态脑影像内容信息相同的y模态脑影像，解耦重建后的风格特征相比原本y模态脑影像的风格特征的损失，即对比度重建损失。
具体地，利用多模态脑影像训练集中每个模态脑影像数据的双向重建损失和对抗损失，训练得到每个模态脑影像的解耦自编码器。
各个模态脑影像的解耦自编码器包括内容编码器、风格编码器以及特征解码器。内容编码器用于提取脑影像的脑结构信息，风格编码器用于提取脑影像的影像对比度信息，特征解码器用于将脑结构信息和对比度信息融合重建，得到更新的脑影像。
在步骤201之前，还包括以下内容：获取多模态脑影像数据集，并对所述多模态脑影像数据集进行预处理操作，得到所述多模态脑影像训练集。其中，所述预处理操作包括头骨等非脑结构移除以及空间标准化等。
步骤202，分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息。
具体地，同一个被试具有多个模态的脑影像，包括高质量模态脑影像和低质量模态脑影像。选择低质量模态脑影像作为目标模态脑影像，将高质量模态脑影像作为辅助模态脑影像，分别输入到对应模态的解耦自编码器中，利用风格编码器、内容编码器，提取到目标模态脑影像的目标编码信息以及辅助模态脑影像的辅助编码信息。
步骤203，基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息。
具体地，对目标编码信息进行正向噪声处理，以辅助编码信息作为约束条件，对正向噪声处理后的目标编码信息进行反向噪声处理，生成目标模态脑影像的更新目标编码信息。
步骤204，将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
具体地，将目标模态脑影像的更新目标编码信息输入目标模态脑影像对应的解耦自编码器中，利用解耦自编码器中的特征解码器对更新目标编码信息进行融合解码，生成目标模态超分辨率脑影像。
上述磁共振脑影像超分辨率重建方法中，通过利用多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器；分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息；基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息；将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像，解决了现有技术中脑影像重建质量低、复杂度高的问题，实现了超分辨率脑影像重建，提高了重建后脑影像的精确度和真实性。
在一个实施例中，如图3所示，步骤201基于多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器，具体包括以下步骤：
首先，在步骤301之前，需要构建各模态脑影像对应的解耦自编码器的初始模型，包括初始风格编码器、初始内容编码器以及初始特征解码器。
步骤301，将提取到的所述多模态脑影像训练集中第一模态脑影像的第一脑结构信息和第一影像对比度信息进行融合解码，生成第一模态更新脑影像；根据所述第一模态脑影像以及所述第一模态更新脑影像，获取所述第一模态脑影像的图像重建损失。
具体地，第一模态脑影像x分别经过第一模态的初始内容编码器EC1和初始风格编码器ES1提取得到第一脑结构信息Cx和第一影像对比度信息Sx。对第一脑结构信息Cx和第一影像对比度信息Sx经过第一模态的初始特征解码器G1进行融合解码，生成第一模态更新脑影像x’。计算第一模态更新脑影像x’与第一模态脑影像x之间的图像重建损失：
，
其中，Ex~p（x）表示期望，G1(EC1(x)，ES1(x))表示第一模态更新脑影像x’。
步骤302，提取所述多模态脑影像训练集中第二模态脑影像的第二脑结构信息和第二影像对比度信息；将所述第一脑结构信息和所述第二影像对比度信息进行融合解码，生成交叉模态脑影像。
具体地，第二模态脑影像y与第一模态脑影像x属于同一个被试，第二模态脑影像y分别经过第二模态的初始内容编码器EC2和初始风格编码器ES2提取得到第二脑结构信息Cy和第二影像对比度信息Sy。将第一脑结构信息Cx和第二影像对比度信息Sy利用第二模态的初始特征解码器G2进行融合解码，生成交叉模态脑影像xy。
步骤303，提取所述交叉模态脑影像的交叉脑结构信息和交叉影像对比度信息，分别与所述第一脑结构信息和第二影像对比度信息进行特征损失计算，得到所述第一模态脑影像的脑结构重建损失以及第二模态脑影像的对比度重建损失；所述隐式重建损失包括所述脑结构重建损失和所述对比度重建损失。
具体地，交叉模态脑影像xy分别经过第二模态的初始内容编码器EC2和初始风格编码器ES2提取得到的交叉脑结构信息Cxy和交叉影像对比度信息Sxy。
计算交叉脑结构信息Cxy与第一脑结构信息Cx之间的脑结构重建损失：
，
其中，ECx~p(Cx)，Sy~p(Sy)表示期望，EC2(G2(Cx，Sy))表示交叉脑结构信息Cxy。
以及计算交叉影像对比度信息Sxy与第二影像对比度信息Sy之间的对比度重建损失：
，
其中，ECx~p(Cx)，Sy~p(Sy)表示期望，ES2(G2(Cx，Sy))表示交叉影像对比度信息Sxy。
步骤304，根据所述交叉模态脑影像的交叉脑结构信息和交叉影像对比度信息，生成第二模态更新脑影像；根据所述第二模态更新脑影像和所述第二模态脑影像，获取所述第二模态脑影像的对抗损失。
具体地，将交叉脑结构信息Cxy和交叉影像对比度信息Sxy利用第二模态的初始特征解码器G2进行融合解码，生成第二模态更新脑影像y’。计算第二模态更新脑影像y’和第二模态脑影像y之间的对抗损失：
，
其中，D2表示第二模态的初始影像鉴别器，用于判断输入的第二模态脑影像为真实脑影像还是生成脑影像，G2(Cx，Sy)表示第二模态更新脑影像y’。
步骤305，基于所述图像重建损失、所述脑结构重建损失、所述对比度重建损失，训练得到所述第一模态脑影像的解耦自编码器以及所述第二模态脑影像的解耦自编码器。
具体地，利用上述步骤中通过第一模态脑影像和第二模态脑影像计算得到的图像重建损失、脑结构重建损失、对比度重建损失以及对抗损失，对第一模态的初始模型和第二模态脑影像的初始模型进行迭代训练，直至上述四项损失的和小于设定的损失阈值或者迭代次数达到迭代阈值，得到第一模态脑影像的解耦自编码器以及第二模态脑影像的解耦自编码器，包括两个模态各自的风格编码器、内容编码器和特征解码器。
同理，对多模态脑影像训练集中的其他模态脑影像进行训练，得到其他模态脑影像的解耦自编码器。
在本实施例中，通过图像重建损失、脑结构重建损失、对比度重建损失以及对抗损失训练各个模态的解耦自编码器，利用该解耦自编码器提高了从脑影像中提取到的脑结构信息和影像对比度信息的精度，进一步提高了超分辨率脑影像重建的速度和精确度。
在一个实施例中，如图4所示，步骤202分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息，具体包括以下步骤：
步骤401，将所述目标模态脑影像输入对应模态的解耦自编码器中，提取所述目标模态脑影像的原始目标脑结构信息和原始目标影像对比度信息。
步骤402，将所述辅助模态脑影像输入对应模态的解耦自编码器中，提取所述辅助模态脑影像的原始辅助脑结构信息。
具体地，将目标模态脑影像输入到对应模态的解耦自编码器中，利用内容编码器和风格编码器，提取到目标模态脑影像的原始目标脑结构信息和原始目标影像对比度信息。将辅助模态脑影像输入到对应模态的解耦自编码器中，利用内容编码器，提取到辅助模态脑影像的原始辅助脑结构信息。
进一步地，在其中一个实施例中，如图5所示，步骤203基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息，具体包括以下步骤：
所述更新目标编码信息中包括更新目标脑结构信息。
步骤501，对所述目标模态脑影像的原始目标脑结构信息根据时间步进行正向加噪，直至所述原始目标脑结构信息服从各向同性高斯分布噪声。
步骤502，获取所述原始目标脑结构信息在每个时间步的加噪目标脑结构信息，将所述原始辅助脑结构信息作为先验约束条件，对每个时间步的所述加噪目标脑结构信息进行反向去噪，推理得到正向加噪在每个时间步迭代添加的预测噪声。
步骤503，基于所述预测噪声，对每个时间步的所述加噪目标脑结构信息进行采样，生成所述目标模态脑影像的更新目标脑结构信息。
其中，所述更新目标脑结构信息中包含了原始目标脑结构信息中缺少的脑结构细节。
示例性地，对t-1时间步迭代添加预测噪声的加噪目标脑结构信息进行采样：
，
其中，。/>表示t-1时间步的加噪目标脑结构信息，βt表示t时间步的扩散率，/>表示t时间步的加噪目标脑结构信息，εθ表示预测噪声，Cp表示原始辅助脑结构信息，z表示符合标准正态分布的高斯噪声。
根据上述对t-1时间步迭代添加的预测噪声进行采样的方式，对每个时间步的添加预测噪声后的加噪目标脑结构信息进行采样，得到最终目标模态脑影像的更新目标脑结构信息。
进一步，所述更新目标编码信息还包括原始目标影像对比度信息，步骤204将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像，具体包括以下内容：
将所述更新目标脑结构信息以及所述原始目标影像对比度信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
具体地，将含有脑结构细节的更新目标脑结构信息和原始目标影像对比度信息输入目标模态脑影像所对应的解耦自编码器中，利用该模态解耦自编码器中的特征解码器进行融合解码，输出得到目标模态超分辨率脑影像，实现了超分辨率的脑影像重建，提高了重建后脑影像的质量。
在一个实施例中，步骤203基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息还包括以下内容：
获取隐扩散模型，将所述目标编码信息和所述辅助编码信息输入所述隐扩散模型中，所述隐扩散模型对所述目标编码信息和所述辅助编码信息进行正反向噪声处理，输出所述目标编码信息中的原始目标脑结构信息在每个时间步的预测噪声；基于所述预测噪声，对每个时间步的加噪目标脑结构信息进行采样，生成所述目标模态脑影像的更新目标脑结构信息。
其中，目标编码信息包括原始目标脑结构信息和原始目标影像对比度信息，辅助编码信息包括原始辅助脑结构信息。
具体地，隐扩散模型可以在一个隐空间中对低维特征进行迭代去噪得到去噪特征结果，大大降低数据计算量，因此通过隐扩散模型对目标编码信息中的原始目标脑结构信息进行正向加噪处理，得到加噪目标脑结构信息。但是正向加噪过程中原始目标脑结构信息的脑结构细节会被丢失，并且该结构细节无法通过对加噪目标脑结构信息进行反向去噪完全恢复，所以在隐扩散模型中增加U-Net模型和交叉注意力机制，使得反向去噪过程以原始辅助脑结构信息作为先验约束条件，实现加噪目标脑结构信息的去噪，完整补充丢失的脑结构细节。
具体地，将满足目标脑结构信息尺寸的纯高斯噪声输入训练获得的隐扩散模型中，推理得到正向加噪过程中每个时间步迭代添加的预测噪声εθ，利用与步骤503示例中同样的采样方法，对每个时间步的加噪目标脑结构进行采样，生成目标脑影像的更新目标脑结构信息。
在其中一个实施例中，如图6所示，获取隐扩散模型具体包括以下步骤：
步骤601，获取所述多模态脑影像训练集中第三模态脑影像的第三脑结构信息和第三影像对比度信息，以及第四模态脑影像的第四脑结构信息。
具体地，将第三模态脑影像m输入对应模态的解耦自编码器中，利用内容编码器提取第三脑结构信息Cm，利用风格编码器提取第三影像对比度信息Sm。将第四模态脑影像n输入对应模态的解耦自编码器中，利用内容编码提取第四脑结构信息Cn。
步骤602，对所述第三脑结构信息根据时间步进行迭代正向加噪，同时确定每个时间步进行迭代正向加噪的真实噪声；对所述时间步进行随机抽样得到目标时间步，获取各所述目标时间步下的所述第三模态脑影像的第三加噪脑结构信息。
具体地，根据时间步对第三脑结构信息Cm逐步添加正向高斯噪声，并记录每个时间步添加的正向高斯噪声为真实噪声，得到每个时间步的第三加噪脑结构信息。
其中截止时间步t的第三加噪脑结构信息为：
，
其中，为t-1时间步的第三加噪脑结构信息，zt为t时间步添加的真实噪声，其服从标准正态分布，βt为t时间步的扩散率。对每个迭代过程中的时间步进行随机抽样，得到目标时间步，获取各目标时间步下第三模态脑影像的第三加噪脑结构信息。
步骤603，利用交叉注意力机制将所述第四脑结构信息作为先验约束条件，对各所述目标时间步的所述第三加噪脑结构信息进行反向去噪，获取所述第三脑结构信息在各所述目标时间步的预测噪声。
具体地，将第四脑结构信息Cn和各目标时间步的第三加噪脑结构信息 共同输入隐扩散模型中的U-Net模型，并引入交叉注意力机制，将第四脑结构信息Cn作为先验约束条件，引导反向去噪过程，输出得到第三脑结构信息Cm在各目标时间步进行迭代正向加噪的预测噪声：
，
其中，Attention表示交叉注意力机制，Q与时间步的预测噪声εθ有关，K和V与第四脑结构信息Cn相关，d为第四脑结构信息Cn的特征维度，T表示转置操作，softmax表示将括号里的值的范围映射到[0，1]，并括号里的值的和为1。
步骤604，根据各所述目标时间步的所述真实噪声和所述预测噪声计算得到噪声损失值，对原始隐扩散模型进行迭代优化，直至迭代次数达到迭代阈值，得到所述隐扩散模型。
具体地，计算各目标时间步的真实噪声和预测噪声的噪声损失值LMSE，对原始隐扩散模型进行迭代优化：
，
直至迭代次数达到迭代阈值，得到所述隐扩散模型。其中，表示期望，ε~N（0，1）表示真实噪声满足正态分布，ε表示真实噪声，εθ表示预测噪声，t表示目标时间步，Cn表示第四脑结构信息。
在一个示例实施例中，提供一种磁共振脑影像超分辨率重建方法，具体包括以下步骤：
S1，将M模态低质量脑影像输入M模态的解耦自编码器中，分别经过M内容编码器得到M模态脑结构信息CM、M风格编码器得到M模态影像对比度信息SM。
S2，将N模态高质量脑影像输入N模态的解耦自编码器中，经过N内容编码器得到N模态脑结构信息CN。
S3，将M模态脑结构信息CM输入隐扩散模型中根据时间步进行迭代正向加噪，直至M模态脑结构信息CM服从各向同性高斯分布噪声。将每个时间步的M模态加噪脑结构信息和N模态脑结构信息CN输入到隐扩散模型中的U-Net模型中，引入交叉注意力机制将N模态脑结构信息CN作为先验约束条件，引导每个时间步的M模态加噪脑结构信息/>进行反向去噪，输出每个时间步迭代添加的预测噪声εθ。
S4，利用每个时间步迭代添加的预测噪声εθ对每个时间步的M模态加噪脑结构信息进行采样，将采样结果迭代生成M模态低质量脑影像的M模态更新脑结构信息CM’。
S5，将M模态更新脑结构信息CM’和M模态影像对比度信息SM输入M模态的解耦自编码器中，经过M特征解码器进行融合解码，输出M模态超分辨率脑影像。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的磁共振脑影像超分辨率重建方法的磁共振脑影像超分辨率重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个磁共振脑影像超分辨率重建装置实施例中的具体限定可以参见上文中对于磁共振脑影像超分辨率重建方法的限定，在此不再赘述。
在一个实施例中，如图7所示，提供了一种磁共振脑影像超分辨率重建装置，包括：编码器训练模块71、编码信息提取模块72、编码信息更新模块73和目标影像重建模块74，其中：
编码器训练模块71，用于基于多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器。
编码信息提取模块72，用于分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息。
编码信息更新模块73，用于基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息。
目标影像重建模块74，用于将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
在其中一个实施例中，所述解耦自编码器可用于获取脑影像的脑结构信息和/或影像对比度信息，编码信息提取模块72还用于：将所述目标模态脑影像输入对应模态的解耦自编码器中，提取所述目标模态脑影像的原始目标脑结构信息和原始目标影像对比度信息；将所述辅助模态脑影像输入对应模态的解耦自编码器中，提取所述辅助模态脑影像的原始辅助脑结构信息。
在其中一个实施例中，编码信息更新模块73还用于：对所述目标模态脑影像的原始目标脑结构信息根据时间步进行正向加噪，直至所述原始目标脑结构信息服从各向同性高斯分布噪声；获取所述原始目标脑结构信息在每个时间步的加噪目标脑结构信息，将所述原始辅助脑结构信息作为先验约束条件，对每个时间步的所述加噪目标脑结构信息进行反向去噪，推理得到正向加噪在每个时间步迭代添加的预测噪声；基于所述预测噪声，对每个时间步的所述加噪目标脑结构信息进行采样，生成所述目标模态脑影像的更新目标脑结构信息。
在其中一个实施例中，所述更新目标编码信息还包括原始目标影像对比度信息，所述解耦自编码器还可以用于根据所述脑结构信息和所述影像对比度信息生成更新脑影像。目标影像重建模块74还用于：将所述更新目标脑结构信息以及所述原始目标影像对比度信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
在其中一个实施例中，所述双向重建损失包括图像重建损失和隐式重建损失。编码器训练模块71还用于：将提取到的所述多模态脑影像训练集中第一模态脑影像的第一脑结构信息和第一影像对比度信息进行融合解码，生成第一模态更新脑影像；根据所述第一模态脑影像以及所述第一模态更新脑影像，获取所述第一模态脑影像的图像重建损失；提取所述多模态脑影像训练集中第二模态脑影像的第二脑结构信息和第二影像对比度信息；将所述第一脑结构信息和所述第二影像对比度信息进行融合解码，生成交叉模态脑影像；提取所述交叉模态脑影像的交叉脑结构信息和交叉影像对比度信息，分别与所述第一脑结构信息和第二影像对比度信息进行特征损失计算，得到所述第一模态脑影像的脑结构重建损失以及所述第二模态脑影像的对比度重建损失；根据所述交叉模态脑影像的交叉脑结构信息和交叉影像对比度信息，生成第二模态更新脑影像；根据所述第二模态更新脑影像和所述第二模态脑影像，获取所述第二模态脑影像的对抗损失；基于所述图像重建损失、所述脑结构重建损失、所述对比度重建损失，训练得到所述第一模态脑影像的解耦自编码器以及所述第二模态脑影像的解耦自编码器。
在其中一个实施例中，编码信息更新模块73还用于：获取隐扩散模型，将所述目标编码信息和所述辅助编码信息输入所述隐扩散模型中，所述隐扩散模型对所述目标编码信息和所述辅助编码信息进行正反向噪声处理，输出所述目标编码信息中的原始目标脑结构信息在每个时间步的预测噪声；对每个时间步的加噪目标脑结构信息进行采样，生成所述目标脑影像的更新目标编码信息。
在其中一个实施例中，编码信息更新模块73还用于：获取所述多模态脑影像训练集中第三模态脑影像的第三脑结构信息和第三影像对比度信息，以及第四模态脑影像的第四脑结构信息；对所述第三脑结构信息根据时间步进行迭代正向加噪，同时确定每个时间步进行迭代正向加噪的真实噪声；对所述时间步进行随机抽样得到目标时间步，获取各所述目标时间步下所述第三模态脑影像的第三加噪脑结构信息；利用交叉注意力机制将所述第四脑结构信息作为先验约束条件，对所述目标时间步下的所述第三加噪脑结构信息进行反向去噪，获取所述第三脑结构信息在各所述目标时间步的预测噪声；根据各所述目标时间步的所述真实噪声和所述预测噪声计算得到噪声损失值，对原始隐扩散模型进行迭代优化，直至迭代次数达到迭代阈值，得到所述隐扩散模型。
上述磁共振脑影像超分辨率重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种磁共振脑影像超分辨率重建方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
基于多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器；
分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息；
基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息；
将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
在一个实施例中，所述解耦自编码器可用于获取脑影像的脑结构信息和/或影像对比度信息，处理器执行计算机程序时还实现以下步骤：将所述目标模态脑影像输入对应模态的解耦自编码器中，提取所述目标模态脑影像的原始目标脑结构信息和原始目标影像对比度信息；将所述辅助模态脑影像输入对应模态的解耦自编码器中，提取所述辅助模态脑影像的原始辅助脑结构信息。
在一个实施例中，所述更新目标编码信息包括更新目标脑结构信息，处理器执行计算机程序时还实现以下步骤：对所述目标模态脑影像的原始目标脑结构信息根据时间步进行正向加噪，直至所述原始目标脑结构信息服从各向同性高斯分布噪声；获取所述原始目标脑结构信息在每个时间步的加噪目标脑结构信息，将所述原始辅助脑结构信息作为先验约束条件，对每个时间步的所述加噪目标脑结构信息进行反向去噪，推理得到正向加噪在每个时间步迭代添加的预测噪声；基于所述预测噪声，对每个时间步的所述加噪目标脑结构信息进行采样，生成所述目标模态脑影像的更新目标脑结构信息。
在一个实施例中，所述更新目标编码信息还包括原始目标影像对比度信息，所述解耦自编码器还可以用于根据所述脑结构信息和所述影像对比度信息生成更新脑影像；处理器执行计算机程序时还实现以下步骤：将所述更新目标脑结构信息以及所述原始目标影像对比度信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
在一个实施例中，所述双向重建损失包括图像重建损失和隐式重建损失，处理器执行计算机程序时还实现以下步骤：将提取到的所述多模态脑影像训练集中第一模态脑影像的第一脑结构信息和第一影像对比度信息进行融合解码，生成第一模态更新脑影像；根据所述第一模态脑影像以及所述第一模态更新脑影像，获取所述第一模态脑影像的图像重建损失；提取所述多模态脑影像训练集中第二模态脑影像的第二脑结构信息和第二影像对比度信息；将所述第一脑结构信息和所述第二影像对比度信息进行融合解码，生成交叉模态脑影像；提取所述交叉模态脑影像的交叉脑结构信息和交叉影像对比度信息，分别与所述第一脑结构信息和第二影像对比度信息进行特征损失计算，得到所述第一模态脑影像的脑结构重建损失以及所述第二模态脑影像的对比度重建损失；根据所述交叉模态脑影像的交叉脑结构信息和交叉影像对比度信息，生成第二模态更新脑影像；根据所述第二模态更新脑影像和所述第二模态脑影像，获取所述第二模态脑影像的对抗损失；基于所述图像重建损失、所述脑结构重建损失、所述对比度重建损失以及所述对抗损失，训练得到所述第一模态脑影像的解耦自编码器以及所述第二模态脑影像的解耦自编码器。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取隐扩散模型，将所述目标编码信息和所述辅助编码信息输入所述隐扩散模型中，所述隐扩散模型对所述目标编码信息和所述辅助编码信息进行正反向噪声处理，输出所述目标编码信息中的原始目标脑结构信息在每个时间步的预测噪声；基于所述预测噪声，对每个时间步的所述加噪目标脑结构信息进行采样，生成所述目标脑影像的更新目标编码信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取所述多模态脑影像训练集中第三模态脑影像的第三脑结构信息和第三影像对比度信息，以及第四模态脑影像的第四脑结构信息；对所述第三脑结构信息根据时间步进行迭代正向加噪，同时确定每个时间步进行迭代正向加噪的真实噪声；对所述时间步进行随机抽样得到目标时间步，获取各所述目标时间步下所述第三模态脑影像的第三加噪脑结构信息；利用交叉注意力机制将所述第四脑结构信息作为先验约束条件，对所述目标时间步下的所述第三加噪脑结构信息进行反向去噪，获取所述第三脑结构信息在各所述目标时间步的预测噪声；根据各所述目标时间步的所述真实噪声和所述预测噪声计算得到噪声损失值，对原始隐扩散模型进行迭代优化，直至迭代次数达到迭代阈值，得到所述隐扩散模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例所述方法对应的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种磁共振脑影像超分辨率重建方法，其特征在于，所述方法包括：
基于多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器；
分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息；
基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息；
将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
2.根据权利要求1所述的磁共振脑影像超分辨率重建方法，其特征在于，所述解耦自编码器可用于获取脑影像的脑结构信息和/或影像对比度信息；所述分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息包括：
将所述目标模态脑影像输入对应模态的解耦自编码器中，提取所述目标模态脑影像的原始目标脑结构信息和原始目标影像对比度信息；
将所述辅助模态脑影像输入对应模态的解耦自编码器中，提取所述辅助模态脑影像的原始辅助脑结构信息。
3.根据权利要求2所述的磁共振脑影像超分辨率重建方法，其特征在于，所述更新目标编码信息包括更新目标脑结构信息，所述基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息包括：
对所述目标模态脑影像的原始目标脑结构信息根据时间步进行正向加噪，直至所述原始目标脑结构信息服从各向同性高斯分布噪声；
获取所述原始目标脑结构信息在每个时间步的加噪目标脑结构信息，将所述原始辅助脑结构信息作为先验约束条件，对每个时间步的所述加噪目标脑结构信息进行反向去噪，推理得到正向加噪在每个时间步迭代添加的预测噪声；
基于所述预测噪声，对每个时间步的所述加噪目标脑结构信息进行采样，生成所述目标模态脑影像的更新目标脑结构信息。
4.根据权利要求3所述的磁共振脑影像超分辨率重建方法，其特征在于，所述更新目标编码信息还包括原始目标影像对比度信息，所述解耦自编码器还用于根据所述脑结构信息和所述影像对比度信息生成更新脑影像；所述将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像包括：
将所述更新目标脑结构信息以及所述原始目标影像对比度信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
5.根据权利要求1所述的磁共振脑影像超分辨率重建方法，其特征在于，所述双向重建损失包括图像重建损失和隐式重建损失，所述基于多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器包括：
将提取到的所述多模态脑影像训练集中第一模态脑影像的第一脑结构信息和第一影像对比度信息进行融合解码，生成第一模态更新脑影像；根据所述第一模态脑影像以及所述第一模态更新脑影像，获取所述第一模态脑影像的图像重建损失；
提取所述多模态脑影像训练集中第二模态脑影像的第二脑结构信息和第二影像对比度信息；将所述第一脑结构信息和所述第二影像对比度信息进行融合解码，生成交叉模态脑影像；
提取所述交叉模态脑影像的交叉脑结构信息和交叉影像对比度信息，分别与所述第一脑结构信息和第二影像对比度信息进行特征损失计算，得到所述第一模态脑影像的脑结构重建损失以及第二模态脑影像的对比度重建损失；所述隐式重建损失包括所述脑结构重建损失和所述对比度重建损失；
根据所述交叉模态脑影像的交叉脑结构信息和交叉影像对比度信息，生成第二模态更新脑影像；根据所述第二模态更新脑影像和所述第二模态脑影像，获取所述第二模态脑影像的对抗损失；
基于所述图像重建损失、所述脑结构重建损失、所述对比度重建损失以及所述对抗损失，训练得到所述第一模态脑影像的解耦自编码器以及所述第二模态脑影像的解耦自编码器。
6.根据权利要求1所述的磁共振脑影像超分辨率重建方法，其特征在于，所述基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息还包括：
获取隐扩散模型，将所述目标编码信息和所述辅助编码信息输入所述隐扩散模型中，所述隐扩散模型对所述目标编码信息和所述辅助编码信息进行正反向噪声处理，输出所述目标编码信息中的原始目标脑结构信息在每个时间步的预测噪声；
基于所述预测噪声，对每个时间步的加噪目标脑结构信息进行采样，生成所述目标模态脑影像的更新目标编码信息。
7.根据权利要求6所述的磁共振脑影像超分辨率重建方法，其特征在于，所述获取隐扩散模型包括：
获取所述多模态脑影像训练集中第三模态脑影像的第三脑结构信息和第三影像对比度信息，以及第四模态脑影像的第四脑结构信息；
对所述第三脑结构信息根据时间步进行迭代正向加噪，同时确定每个时间步进行迭代正向加噪的真实噪声；对所述时间步进行随机抽样得到目标时间步，获取各所述目标时间步下所述第三模态脑影像的第三加噪脑结构信息；
利用交叉注意力机制将所述第四脑结构信息作为先验约束条件，对各所述目标时间步下的所述第三加噪脑结构信息进行反向去噪，获取所述第三脑结构信息在各所述目标时间步的预测噪声；
根据各所述目标时间步的所述真实噪声和所述预测噪声计算得到噪声损失值，对原始隐扩散模型进行迭代优化，直至迭代次数达到迭代阈值，得到所述隐扩散模型。
8.一种磁共振脑影像超分辨率重建装置，其特征在于，所述装置包括：
编码器训练模块，用于基于多模态脑影像训练集中各模态脑影像数据的双向重建损失和对抗损失，训练得到各个模态脑影像的解耦自编码器；
编码信息提取模块，用于分别将目标模态脑影像和辅助模态脑影像输入到对应模态的解耦自编码器中，提取所述目标模态脑影像的目标编码信息以及所述辅助模态脑影像的辅助编码信息；
编码信息更新模块，用于基于所述目标编码信息和所述辅助编码信息进行正反向噪声处理，生成所述目标模态脑影像的更新目标编码信息；
目标影像重建模块，用于将所述更新目标编码信息输入所述目标模态脑影像所对应的解耦自编码器中，输出得到目标模态超分辨率脑影像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410118585.0A CN117649344B (zh) | 2024-01-29 | 2024-01-29 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410118585.0A CN117649344B (zh) | 2024-01-29 | 2024-01-29 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117649344A true CN117649344A (zh) | 2024-03-05 |
| CN117649344B CN117649344B (zh) | 2024-05-14 |
Family
ID=90045429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410118585.0A Active CN117649344B (zh) | 2024-01-29 | 2024-01-29 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649344B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118279158A (zh) * | 2024-06-03 | 2024-07-02 | 之江实验室 | 一种磁共振脑影像的质量提升方法、装置及计算机设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111251A (zh) * | 2019-04-22 | 2019-08-09 | 电子科技大学 | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 |
| CN114241078A (zh) * | 2022-02-23 | 2022-03-25 | 南昌睿度医疗科技有限公司 | 一种加速磁共振超分辨率成像方法、装置、设备及介质 |
| WO2023098524A1 (zh) * | 2021-12-02 | 2023-06-08 | 天津御锦人工智能医疗科技有限公司 | 多模态医学数据融合的评估方法、装置、设备及存储介质 |
| EP4224194A1 (en) * | 2022-02-08 | 2023-08-09 | Koninklijke Philips N.V. | Distortion artifact removal and upscaling in magnetic resonance imaging |
| CN116823613A (zh) * | 2023-06-30 | 2023-09-29 | 复旦大学 | 基于梯度增强注意力的多模态mr影像超分辨率方法 |
| CN116823625A (zh) * | 2023-08-30 | 2023-09-29 | 之江实验室 | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 |
| CN116862765A (zh) * | 2023-05-23 | 2023-10-10 | 齐鲁工业大学(山东省科学院) | 一种医学影像超分辨率重建方法及系统 |
| CN116912252A (zh) * | 2023-09-13 | 2023-10-20 | 中国科学院自动化研究所 | 面向模态缺失的影像数据的脑图谱个体化方法及系统 |
| CN117058514A (zh) * | 2023-10-12 | 2023-11-14 | 之江实验室 | 基于图神经网络的多模态脑影像数据融合解码方法和装置 |
| CN117216546A (zh) * | 2023-05-31 | 2023-12-12 | 腾讯科技（深圳）有限公司 | 模型训练方法、装置、电子设备、存储介质及程序产品 |
| CN117237196A (zh) * | 2023-10-10 | 2023-12-15 | 山东师范大学 | 基于隐式神经表征的脑部mri超分辨率重建方法及系统 |
-
2024
- 2024-01-29 CN CN202410118585.0A patent/CN117649344B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111251A (zh) * | 2019-04-22 | 2019-08-09 | 电子科技大学 | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 |
| WO2023098524A1 (zh) * | 2021-12-02 | 2023-06-08 | 天津御锦人工智能医疗科技有限公司 | 多模态医学数据融合的评估方法、装置、设备及存储介质 |
| EP4224194A1 (en) * | 2022-02-08 | 2023-08-09 | Koninklijke Philips N.V. | Distortion artifact removal and upscaling in magnetic resonance imaging |
| CN114241078A (zh) * | 2022-02-23 | 2022-03-25 | 南昌睿度医疗科技有限公司 | 一种加速磁共振超分辨率成像方法、装置、设备及介质 |
| CN116862765A (zh) * | 2023-05-23 | 2023-10-10 | 齐鲁工业大学(山东省科学院) | 一种医学影像超分辨率重建方法及系统 |
| CN117216546A (zh) * | 2023-05-31 | 2023-12-12 | 腾讯科技（深圳）有限公司 | 模型训练方法、装置、电子设备、存储介质及程序产品 |
| CN116823613A (zh) * | 2023-06-30 | 2023-09-29 | 复旦大学 | 基于梯度增强注意力的多模态mr影像超分辨率方法 |
| CN116823625A (zh) * | 2023-08-30 | 2023-09-29 | 之江实验室 | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 |
| CN116912252A (zh) * | 2023-09-13 | 2023-10-20 | 中国科学院自动化研究所 | 面向模态缺失的影像数据的脑图谱个体化方法及系统 |
| CN117237196A (zh) * | 2023-10-10 | 2023-12-15 | 山东师范大学 | 基于隐式神经表征的脑部mri超分辨率重建方法及系统 |
| CN117058514A (zh) * | 2023-10-12 | 2023-11-14 | 之江实验室 | 基于图神经网络的多模态脑影像数据融合解码方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| XIN DENG等: "RADAR: Robust Algorithm for Depth Image Super Resolution Based on FRI Theory and Multimodal Dictionary Learning", EEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 30, no. 8, 19 June 2019 (2019-06-19), pages 2447 - 2462, XP011803210, DOI: 10.1109/TCSVT.2019.2923901 * |
| 戴于翔: "基于深度卷积神经网络的磁共振图像重建算法研究", 中国优秀硕士学位论文全文数据库 医药卫生科技辑, vol. 2021, no. 02, 15 February 2021 (2021-02-15), pages 060 - 301 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118279158A (zh) * | 2024-06-03 | 2024-07-02 | 之江实验室 | 一种磁共振脑影像的质量提升方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117649344B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| CN111368849B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN117649344B (zh) | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 | |
| CN111369562B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Zhu et al. | Residual dense network for medical magnetic resonance images super-resolution | |
| Liu et al. | Learning MRI artefact removal with unpaired data | |
| Dharejo et al. | Multimodal-boost: Multimodal medical image super-resolution using multi-attention network with wavelet transform | |
| CN115965750B (zh) | 血管重建方法、装置、计算机设备和可读存储介质 | |
| Guo et al. | Multiscale semilocal interpolation with antialiasing | |
| CN115272250B (zh) | 确定病灶位置方法、装置、计算机设备和存储介质 | |
| CN116823625B (zh) | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 | |
| Zou et al. | Multi-scale deformable transformer for multi-contrast knee MRI super-resolution | |
| Zhang et al. | MinimalGAN: diverse medical image synthesis for data augmentation using minimal training data | |
| Zhao et al. | Medical images super resolution reconstruction based on residual network | |
| Xuan et al. | Reducing magnetic resonance image spacing by learning without ground-truth | |
| Liu et al. | DL‐MRI: A Unified Framework of Deep Learning‐Based MRI Super Resolution | |
| Muhammad et al. | IRMIRS: Inception-ResNet-Based Network for MRI Image Super-Resolution. | |
| Yin et al. | Super resolution reconstruction of CT images based on multi-scale attention mechanism | |
| Zhu et al. | FEGAN: A Feature-Oriented Enhanced GAN for Enhancing Thermal Image Super-Resolution | |
| CN113963037A (zh) | 图像配准方法、装置、计算机设备和存储介质 | |
| Lin et al. | Multimodal brain image fusion based on improved rolling guidance filter and wiener filter | |
| Zhou et al. | GMRE-iUnet: Isomorphic Unet fusion model for PET and CT lung tumor images | |
| CN116256681A (zh) | 磁共振成像方法、装置、设备和存储介质 | |
| Hu et al. | Single image super resolution of 3D MRI using local regression and intermodality priors | |
| He et al. | Blaze3DM: Marry Triplane Representation with Diffusion for 3D Medical Inverse Problem Solving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |