CN116758120A - 一种基于深度学习的3t mra到7t mra的预测方法 - Google Patents

一种基于深度学习的3t mra到7t mra的预测方法 Download PDF

Info

Publication number
CN116758120A
CN116758120A CN202310719567.3A CN202310719567A CN116758120A CN 116758120 A CN116758120 A CN 116758120A CN 202310719567 A CN202310719567 A CN 202310719567A CN 116758120 A CN116758120 A CN 116758120A
Authority
CN
China
Prior art keywords
mra
network
mip
loss
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310719567.3A
Other languages
English (en)
Inventor
王鹤
汤玮
王成彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202310719567.3A priority Critical patent/CN116758120A/zh
Publication of CN116758120A publication Critical patent/CN116758120A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学图像处理技术领域，具体为一种基于深度学习的3T MRA到7T MRA的预测方法。本发明利用7T MRA高分辨率、高信噪比、高对比度等优点对3T MRA进行血管增强，提升图像质量；包括获取3T和7T MRA成对原始数据；图像预处理，包括配准、场不均匀性校正、去头皮、图像插值与像素值归一化；训练深度学习模型；将用于测试的3T MRA输入训练好的模型，预测出“类”7T MRA。本发明在模型训练过程中使用知识蒸馏网络引入MRA的MIP信息以提升预测结果的血管完整度、连续性和真实性；使用异方差偶然不确定性对真实的7T MRA和预测的7T‑like MRA之间的误差进行自适应加权，防止3T和7T MRA之间的空间不匹配给模型学习带来不良影响以及导致预测结果出现不合理的偏移。

Description

一种基于深度学习的3T MRA到7T MRA的预测方法
技术领域
本发明属于医学图像处理技术领域，具体涉及3T MRA到7T MRA的预测方法。
背景技术
磁共振血管影像(Magnetic Resonance Angiography,MRA)是一种无创伤性、不需使用对比造影剂的血管成像方法，相比于其他血管影像学检查，MRA具有无电离辐射、无放射性损伤、无需依赖造影剂等优势，有助于冠状动脉狭窄、颈动脉分叉部病变、颅内动脉瘤等心脑血管疾病的诊断和治疗，目前已广泛应用于临床。
尽管MRA可三维成像，但通常使用最大密度投影(Maximum IntensityProjection,MIP)对其观察和分析。MIP的主要缺点是非血管结构重叠以及低对比度的小血管几乎不可见，而增强MRA中的血管能够显著改善这一问题，提高成像质量。现存的血管增强方法主要有Frangi滤波、Gabor小波变换、Jerman滤波等。这些方法使用滤波器进行血管增强，需要人为调节参数，且易受到血管边缘模糊和图像噪声的影响，此外，在血管信号强度弱、对比度低的远端小血管区域，增强效果也有待提升。
综上所述，这些基于滤波器的血管增强方法的效果在一定程度上受限于血管图像的质量，如空间分辨率、信噪比、对比度等。近年来，人们在提高磁共振图像质量方面做出了巨大的努力，其中包括提升磁共振成像设备的场强。与常规的临床磁共振(3T和1.5T)相比，超高场磁共振(7T)具有分辨率更高、信噪比更高、组织对比度更强等优点，有利于小病灶的早期筛查和精准诊疗。对于MRA而言，7T MRA含有比3T MRA更丰富的血管信息、更清晰的血管边缘和更强的远端小血管信号，在血管分割任务中更为精确，对于脑血管疾病特别是发生在远端血管或侧支的病变具有重大的诊断价值和临床意义。
然而，在现阶段，7T磁共振扫描仪设备价格昂贵、资源稀缺，若能从3T MRA影像预测在一定程度上能替代7T MRA的影像，即高质量的7T-like MRA，并应用到实际的医疗诊断或科研领域中，将有可能增强当前主流3T MRA的诊断能力，是一种高性价比的方案。因此，本发明旨在从3T MRA预测7T MRA，本质上是利用7T MRA高分辨率、高信噪比、高对比度等优点来对3T MRA进行血管增强，获得更高质量的血管影像。
发明内容
为了克服上述现存血管增强方法的不足与局限性，本发明提供一种基于深度学习的3T磁共振血管影像到7T磁共振血管影像的预测方法，目的在于利用7T MRA高分辨率、高信噪比、高对比度等优势对3T MRA进行血管增强，提升血管影像的质量。
本发明提供的基于深度学习的3T磁共振血管影像到7T磁共振血管影像的预测方法，采用生成对抗网络(generative adversarial network,GAN)作为整体模型框架的基础网络来学习3T MRA到7T MRA的非线性映射关系。同时，为进一步提升预测结果的质量，本发明主要包含以下两个部分：
1、由MRA血管成像的特性可知，某一切片的MIP图像涵盖了以该层为中心的前后若干层连续切片的血管形态信息，因此，为了提升预测结果的血管完整度、连续性和真实性，本发明使用知识蒸馏(knowledge distillation,KD)网络模型，引入MRA的MIP信息，使其对模型的学习起指导作用；
2、学习3T MRA到7T MRA的非线性映射关系，需要经过配准的3T和7T成对数据，然而3T和7T成对数据在配准后仍然存在一定程度上的空间不匹配，为了防止这种不匹配给模型学习带来不良影响以及导致预测结果出现不合理的偏移，本发明通过纳入异方差偶然不确定性(aleatoric uncertainty,AU)对真实的7T MRA和预测的7T-like MRA之间的误差进行自适应加权。
本发明提供的基于深度学习的3T MRA到7T MRA的预测方法，具体内容包括：
(一)使用知识蒸馏网络，引入MRA的MIP信息
本发明的知识蒸馏网络框架由多个教师网络、单个学生网络和若干个特征融合模块组成。教师网络和学生网络均为3D GAN，网络结构相同，GAN的生成器采用3D U-net；特征融合模块为自动编码器(autoencoder)结构，编码和解码分别由独立的3D卷积实现。每个教师网络学习一种MIP方向下3T MRA MIP到7T MRA MIP的映射，共有轴状位、冠状位、矢状位三种MIP方向；学生网络学习3T MRA原图到7T MRA原图的映射；所有教师网络学到的MIP信息经过特征融合模块的融合后，通过知识蒸馏被提取到学生网络中。
本发明是基于图像块(patch)来训练和预测的，现为便于说明，对下列符号予以定义：
记为一个三维的3T MRA图像块(patch)，每个维度的尺寸都是N；记为X在第m个方向做MIP之后得到的3T MRA MIP图像块(patch)，m＝1,…,M，M为MIP方向的总数，也即教师网络的个数。同样地，记/>为X对应的7T MRA图像块(patch)；记/>为Y在第m个方向做MIP之后得到的7T MRA MIP图像块(patch)，m＝1,…,M。记教师网络为T＝{G(m),D(m)},m＝1,…,M，G(m),D(m)分别为第m个教师网络的生成器和判别器；学生网络为S＝{G,D}，G,D分别为学生网络的生成器和判别器；特征融合模块为A(l),l＝1,…,L，L为教师网络的生成器的网络层数，和学生网络的生成器层数相等，每层都对应一个特征融合模块。
接下来详细介绍知识蒸馏引入MIP信息的训练过程和损失函数，主要步骤如下：
步骤1、训练教师网络。首先记第m个教师网络预测出的7T-like MIP图像块(patch)为即/>教师网络的损失函数由以下两部分组成：
①生成对抗损失
②平均绝对误差(mean absolute error,MAE)
综合①、②，教师网络的损失函数如下：
其中，α为MAE损失的权重，m＝1,…,M。
需要说明的是，所有教师网络训练完毕后，网络参数不再改变。
步骤2、训练学生网络。首先记学生网络预测出的7T-like图像块(patch)为即学生网络的损失函数由以下四部分组成：
①生成对抗损失
②平均绝对误差
③特征重建损失
M个教师网络的生成器(G(m),m＝1,…,M)在相同位置的每一层都对应一个特征融合模块，用于对这M个教师网络在该位置网络层输出的M个特征图进行融合。这里以第l个特征融合模块A(l)(对应每个教师网络生成器的第l层)为例说明。
记为G(m)在第l层输出的特征图，m＝1,…,M。C(l)×H(l)×H(l)×H(l)为第l层特征图的尺寸，C(l)为通道维度，且由于网络中所有的3D卷积核在各维度的尺寸相同，因此特征图其余维度的尺寸均相同。首先对F(1)(l),F(2)(l),…,F(M)(l)在通道维度进行拼接，作为A(l)的输入/>
特征融合模块A(l)本质上是一个自动编码器，由编码部分Enc(l)和解码部分Dec(l)组成，编码和解码分别由一个1×1×1的3D卷积层实现：
其中，是A(l)的输出；/>是编码部分的输出，也就是特征融合模块A(l)学习到的包含M个教师网络特征信息的融合特征。
为了使A(l)有效地融合和提取特征，应当使和/>之间的误差尽可能小。记：
其中，是A(l)重建出的第m个MIP方向的特征图，则问题转化为使F(m)(l)和之间的误差尽可能小，m＝1,…,M,l＝1,…,L。因此，对所有M个教师网络的所有L层的特征重建损失求和，得到总的特征重建损失如下：
④知识蒸馏损失
记为学生网络的生成器G在第l层输出的特征图，知识蒸馏通过最小化/>和/>之间的误差来实现MIP信息对于7T-like MRA预测的指导作用，l＝1,…,L。因此，对所有L层的知识蒸馏损失求和，得到总的知识蒸馏损失如下：
综合①②③④，学生网络的损失函数如下：
其中，α为MAE损失的权重，β为特征重建损失的权重，γ为知识蒸馏损失的权重。
(二)基于异方差偶然不确定性的误差自适应加权
对于深度学习模型来说，学习3T MRA到7T MRA的映射关系需要配准后的3T和7T成对数据作为训练集，即上文中的X和Y。对同一受试者的3T MRA和7T MRA通常采用刚性配准，而经过配准的3T和7T仍然存在一定程度上的空间不匹配，根据贝叶斯深度学习，这本质上属于观测数据的固有噪声，可通过偶然不确定性建模。偶然不确定性可进一步分为异方差偶然不确定性和同方差偶然不确定性。异方差偶然不确定性取决于输入数据，被预测为模型的一个输出；同方差偶然不确定性与输入数据无关，它不是模型的输出，而是一个对于所有输入数据保持不变并在不同任务之间变化的量。因为X和Y之间的空间不匹配主要出现在血管边缘而非图像背景或脑组织等灰度相对均匀的区域，所以显然这种噪声与输入数据有关，故本发明采用异方差偶然不确定性对其建模，即噪声(空间不匹配)由异方差偶然不确定性度量。此时学生网络不仅预测7T-like patch还预测/>所对应的异方差偶然不确定性，记为/>即/> (5)式所示的平均绝对误差/>被替换为：
该式的本质是采用异方差偶然不确定性对真实7T MRA和预测的7T-like MRA之间的误差进行自适应加权，从而防止空间不匹配给模型学习带来不良影响以及导致预测结果出现不合理的偏移。其中yi,j,k,分别是Y,/>中的元素；/>的第二项是一个正则项，防止误差的平均权重过小或者过大。
(三)自适应损失权重
为探究和比较不同MIP方向和不同网络层对于总特征重建损失的贡献度，本发明应用内容(二)中所述的同方差偶然不确定性对不同m和l取值的的特征重建损失进行自适应加权，将(9)式所示的特征重建损失/>改写如下：
其中，是F(m)(l)和/>之间的重建损失权重，Φ为/>m＝1,…,M,l＝1,…,L组成的权重矩阵。
同样地，为探究和比较不同的网络层对于总知识蒸馏损失的贡献度，本发明应用同方差偶然不确定性对不同l取值的的知识蒸馏损失进行自适应加权，将(10)所示的知识蒸馏损失/>改写如下：
其中，ωl是和/>之间的知识蒸馏损失权重，ω为ωl,l＝1,…,L组成的权重向量。
(四)学生网络的总损失函数
综合(一)(二)(三)，本发明中学生网络的总损失函数为：
其中，α为偶然不确定性加权MAE损失的权重，β为特征重建损失的权重，γ为知识蒸馏损失的权重。
综上，本发明基于深度学习的3T MRA到7T MRA的预测方法，具体步骤如下：
(1)构建3T和7T MRA成对数据集；
(2)图像预处理；
(2-1)将每名被试者的3T MRA配准到其对应的7T MRA；
(2-2)对所有的7T MRA进行场不均匀性校正；
(2-3)对所有的3T和7T MRA去头皮，提取大脑影像；
(2-4)对所有的3T和7T MRA的图像矩阵进行插值，并将像素值归一化；
在完成图像预处理后，将数据集划分为训练集和测试集，分别用于训练深度学习模型和预测7T-like MRA；
(3)训练
(3-1)对训练集的3T和7T MRA分别在轴状位、冠状位和矢状位进行MIP，获取MIP图像；
(3-2)将训练集的3T和7T MRA以及三个方向的3T和7T MRA MIP划分为图像块，基于图像块进行训练；
(4)预测
(4-1)将测试集的3T MRA图像以一定步长划分为若干个尺寸为N×N×N的图像块，基于图像块进行预测；
(4-2)将3T图像块输入训练好的学生网络的生成器G，网络预测得到尺寸同样为N×N×N的7T-like图像块；
(4-3)将原3T MRA的所有图像块预测得到的所有7T-like图像块拼接为完整的7T-like MRA图像，不同的7T-like patch之间重叠部分取均值。
本发明提供的技术方案的有益效果是：
(1)本发明使用深度学习从3T MRA预测7T MRA，有效利用了7T MRA高分辨率、高信噪比、高对比度和小血管信号丰富等优势，突破了传统血管增强方法的局限性，能够从3TMRA获得更高质量的血管影像，并对小血管疾病的临床诊断具有一定的参考意义；
(2)本发明使用知识蒸馏算法在模型训练过程中引入MIP信息，使模型在学习3TMRA到7T MRA映射的同时，还受到来自3T MRA MIP到7T MRA MIP映射的指导，从而提升预测结果的血管完整度、连续性和真实性；
(3)本发明使用异方差偶然不确定性对真实7T MRA和预测的7T-like MRA之间的误差进行自适应加权，从而防止3T和7T数据的空间不匹配给模型学习带来不良影响以及导致预测结果出现不合理的偏移，增强了算法对于噪声数据的鲁棒性。
附图说明
图1为本发明基于深度学习的3T MRA到7T MRA的预测方法的流程图。
图2为本发明所提出的预测方法在某一测试例上的预测结果及其对应的3T TOF和7T TOF。其中，从左到右依次为3T、7T-like和7T，从上到下依次为该测试例的轴状位、冠状位和矢状位MIP投影。
具体实施方式
本发明提出了一种基于深度学习的3T MRA到7T MRA的预测方法，下面以MRA的成像技术之一——时间飞跃(Time-of-flight,TOF)MRA为例，结合附图对本发明的具体实施方式作详细说明。注意，以下描述的实施例仅用于说明和解释本发明，并不意在对本发明的适用物或用途进行限定，例如，本发明还可用于其他的MRA成像技术如相位对比(PhaseContrast,PC)MRA、对比增强(Contrast-enhanced,CE)MRA等；凡在本发明的精神和原则之内，所作的任何省略、置换、变更、改进等，均应包含在本发明的保护范围之内。
如图1所示，基于深度学习的3T MRA到7T MRA的预测方法，以TOF为例，具体步骤为：
(1)构建3T和7T TOF成对数据集
招募多名被试者，对每一名被试者，在3T MRI扫描仪和7T MRI扫描仪上分别采集其3T TOF和7T TOF成像，从而获得多对3T和7T TOF数据。3T TOF图像的矩阵大小为696×768×168，空间分辨率为0.2604×0.2604×0.7mm3；7T TOF图像的矩阵大小为944×1152×232，空间分辨率为0.1736×0.1736×0.5mm3。矩阵的三个维度在次序上依次对应矢状位、冠状位、轴状位。
(2)图像预处理
(2-1)使用SPM12将每名被试的3T TOF配准到其对应的7T TOF；
(2-2)对所有的7T TOF进行N4校正，消除场不均匀性；
(2-3)使用BET对所有3T和7T TOF去头皮，提取大脑影像；
(2-4)将所有3T和7T TOF的矩阵大小插值到512×512×320，并将像素值归一化到0～255之间。
在完成图像预处理后，将数据集划分为训练集和测试集，分别用于训练深度学习模型和预测7T-like TOF。
(3)训练
(3-1)获取MIP图像
对训练集的3T和7T TOF分别在轴状位、冠状位和矢状位进行MIP，MIP的厚度均取W。在轴状位进行MIP的具体方式如下：在轴状位所对应的图像维度的两端分别补(W-1)/2层全零切片(要求W为奇数)，此时图像矩阵大小变为512×512×(320+W-1)，然后在轴状位方向以W为窗宽、1为步长滑动MIP窗口，得到一个矩阵大小为512×512×320的轴状位MIP图像。冠状位和矢状位的MIP方式与轴状位相同，在此不作重复说明。
(3-2)划分图像块
将训练集的3T和7T TOF以及三个方向的3T和7T TOF MIP划分为尺寸为N×N×N的图像块，本发明基于图像块进行训练。
为便于后续步骤的说明，现在对下列符号予以定义：
记为一个三维的3T TOF图像块，每个维度的尺寸都是N；记为X在第m个方向做MIP之后得到的3T TOF MIP图像块，m＝1,…,M，M为MIP方向的总数，也即教师网络的个数。同样地，记/>为X对应的7T TOF图像块；记为Y在第m个方向做MIP之后得到的7T TOF MIP图像块，m＝1,…,M。记教师网络为T＝{G(m),D(m)},m＝1,…,M；学生网络为S＝{G,D}；特征融合模块为A(l),l＝1,…,L，L为教师网络的生成器的网络层数(和学生网络的生成器层数相等)，每层都对应一个特征融合模块。
(3-3)训练教师网络
首先记第m个教师网络预测出的7T-like MIP图像块为即 教师网络的损失函数由以下两部分组成：
①生成对抗损失
②平均绝对误差(mean absolute error,MAE)
综合①②，教师网络的损失函数如下：
其中α为MAE损失的权重，m＝1,…,M。
需要说明的是，所有教师网络训练完毕后，网络参数不再改变。
(3-4)训练学生网络
首先记学生网络预测出的7T-like patch为对应的异方差偶然不确定性为/>即X和Y之间的空间不匹配由/>度量。学生网络的损失函数由以下四部分组成：
①生成对抗损失
②偶然不确定性加权MAE损失
其中，yi,j,k,分别是Y,/>中的元素；/>的第二项是一个正则项，防止误差的平均权重过小或者过大。
③特征重建损失
M个教师网络的生成器(G(m),m＝1,…,M)在相同位置的每一层都对应一个特征融合模块，用于对这M个教师网络在该位置网络层输出的M个特征图(feature map)进行融合。这里以第l个特征融合模块A(l)(对应每个教师网络生成器的第l层)为例说明。
记为G(m)在第l层输出的特征图，m＝1,…,M。C(l)×H(l)×H(l)×H(l)为第l层特征图的尺寸，C(l)为通道维度，且由于网络中所有的3D卷积核在各维度的尺寸相同，因此特征图其余维度的尺寸均相同。首先对F(1)(l),F(2)(l),…,F(M)(l)在通道维度进行拼接，作为A(l)的输入/>
特征融合模块A(l)本质上是一个自动编码器，由编码部分Enc(l)和解码部分Dec(l)组成，编码和解码分别由一个1×1×1的3D卷积层实现：
其中是A(l)的输出；/>是编码部分的输出，也就是特征融合模块A(l)学习到的包含M个教师网络特征信息的融合特征。
为了使A(l)有效地融合和提取特征，应当使和/>之间的误差尽可能小。记 其中/>是A(l)重建出的第m个MIP方向的特征图，则问题转化为使F(m)(l)和/>之间的误差尽可能小，m＝1,…,M,l＝1,…,L。因此，对所有M个教师网络的所有L层的特征重建损失求和，并采用同方差偶然不确定性对不同m和l取值的/>的特征重建损失进行自适应加权，得到总的特征重建损失如下：
其中是F(m)(l)和/>之间的重建损失权重，Φ为/>m＝1,…,M,l＝1,…,L组成的权重矩阵。
④知识蒸馏损失
记为学生网络的生成器G在第l层输出的特征图，知识蒸馏通过最小化/>和/>之间的误差来实现MIP信息对于7T-like TOF预测的指导作用，l＝1,…,L。因此，对所有L层的知识蒸馏损失求和，并采用同方差偶然不确定性对不同l取值的的知识蒸馏损失进行自适应加权，得到总的知识蒸馏损失如下：
其中，ωl是和/>之间的知识蒸馏损失权重，ω为ωl,l＝1,…,L组成的权重向量。
综合①②③④，学生网络的损失函数如下：
其中α为偶然不确定性加权MAE损失的权重，β为特征重建损失权重，γ为知识蒸馏损失权重。
(4)预测
(4-1)将测试集的3T TOF图像以一定步长划分为若干个尺寸为N×N×N的图像块，本发明基于图像块进行预测；
(4-2)将3T图像块输入训练好的学生网络的生成器G，网络预测得到尺寸同样为N×N×N的7T-like图像块；
(4-3)将原3T TOF的所有图像块预测得到的所有7T-like图像块拼接为完整的7T-like TOF图像，不同的7T-like图像块之间重叠部分取均值。
图2为本发明所提出的预测方法在某一测试例上的预测结果及其对应的3T TOF和7T TOF。其中，从左到右依次为3T、7T-like和7T，从上到下依次为该测试例的轴状位、冠状位和矢状位MIP投影。从图中可见，本发明所提出的预测方法能够有效提升3T TOF中的血管对比度和丰富程度，并且这种提升在脑小血管处更为明显。

Claims (6)

1.一种基于深度学习的3T MRA到7T MRA的预测方法，其特征在于，采用生成对抗网络(GAN)来学习3T MRA到7T MRA的非线性映射关系；同时：
使用知识蒸馏网络，引入MRA的MIP信息，使其对网络模型的学习起指导作用；
通过纳入异方差偶然不确定性(AU)对真实的7T MRA和预测的7T-like MRA之间的误差进行自适应加权。
2.根据权利要求1所述的3T MRA到7T MRA的预测方法，其特征在于，所述使用知识蒸馏网络，引入MRA的MIP信息，其中：
所述知识蒸馏网络由多个教师网络、单个学生网络和若干个特征融合模块组成；教师网络和学生网络均为3D GAN，网络结构相同，GAN的生成器采用3D U-net；特征融合模块为自动编码器结构，编码和解码分别由独立的3D卷积实现；每个教师网络学习一种MIP方向下3T MRA MIP到7T MRA MIP的映射，共有轴状位、冠状位、矢状位三种MIP方向；学生网络学习3T MRA原图到7T MRA原图的映射；所有教师网络学到的MIP信息经过特征融合模块的融合后，通过知识蒸馏被提取到学生网络中。
3.根据权利要求2所述的3T MRA到7T MRA的预测方法，其特征在于，用图像块来训练知识蒸馏网络；先对下列符号予以定义：
记为一个三维的3T MRA图像块，每个维度的尺寸都是N；记/>为X在第m个方向做MIP之后得到的3T MRA MIP图像块，m＝1,…,M，M为MIP方向的总数，也即教师网络的个数；同样地，记/>为X对应的7T MRA图像块；记/>为Y在第m个方向做MIP之后得到的7T MRA MIP图像块，m＝1,…,M；记教师网络为T＝{G(m),D(m)},m＝1,…,M，G(m),D(m)分别为第m个教师网络的生成器和判别器；学生网络为S＝{G,D}，G,D分别为学生网络的生成器和判别器；特征融合模块为A(l),l＝1,…,L，L为教师网络的生成器的网络层数，和学生网络的生成器层数相等，每层都对应一个特征融合模块；知识蒸馏引入MRA的MIP信息的训练过程和损失函数，具体如下：
步骤1、训练教师网络；
首先记第m个教师网络预测出的7T-like MIP图像块为即/> 教师网络的损失函数由以下两部分组成：
①生成对抗损失：
②平均绝对误差(MAE)：
综合①、②，教师网络的损失函数如下：
其中，α为MAE损失的权重，m＝1,…,M；
所有教师网络训练完毕后，网络参数不再改变；
步骤2、训练学生网络；
首先记学生网络预测出的7T-like图像块为即/>学生网络的损失函数由以下四部分组成：
①生成对抗损失：
②平均绝对误差：
③特征重建损失：
M个教师网络的生成器G(m),m＝1,…,M，在相同位置的每一层都对应一个特征融合模块，用于对这M个教师网络在该位置网络层输出的M个特征图进行融合；对于第l个特征融合模块A(l)，对应每个教师网络生成器的第l层；
记为G(m)在第l层输出的特征图，m＝1,…,M；C(l)×H(l)×H(l)×H(l)为第l层特征图的尺寸，C(l)为通道维度，且由于网络中所有的3D卷积核在各维度的尺寸相同，因此特征图其余维度的尺寸均相同；首先对F(1)(l),F(2)(l),…,F(M)(l)在通道维度进行拼接，作为A(l)的输入/>
特征融合模块A(l)是一个自动编码器，由编码部分Enc(l)和解码部分Dec(l)组成，编码和解码分别由一个1×1×1的3D卷积层实现：
其中，是A(l)的输出；/>是编码部分的输出，也就是特征融合模块A(l)学习到的包含M个教师网络特征信息的融合特征；
为了使A(l)有效地融合和提取特征，应当使和/>之间的误差尽可能小；记：
其中，是A(l)重建出的第m个MIP方向的特征图，则问题转化为使F(m)(l)和/>之间的误差尽可能小，m＝1,…,M,l＝1,…,L；于是，对所有M个教师网络的所有L层的特征重建损失求和，得到总的特征重建损失如下：
④知识蒸馏损失：
记为学生网络的生成器G在第l层输出的特征图，知识蒸馏通过最小化/>和/>之间的误差来实现MIP信息对于7T-like MRA预测的指导作用，l＝1,…,L，于是，对所有L层的知识蒸馏损失求和，得到总的知识蒸馏损失如下：
综合①、②、③、④，学生网络的损失函数如下：
其中，α为MAE损失的权重，β为特征重建损失的权重，γ为知识蒸馏损失的权重。
4.根据权利要求2所述的3T MRA到7T MRA的预测方法，其特征在于，所述的基于异方差偶然不确定性的误差自适应加权，具体地：
学习3T MRA到7T MRA的映射关系需要配准后的3T和7T成对数据作为训练集，即上文中的X和Y；由于X和Y之间的空间不匹配主要出现在血管边缘而非图像背景或脑组织等灰度相对均匀的区域，这种噪声与输入数据有关；故采用异方差偶然不确定性对其建模，即噪声由异方差偶然不确定性度量；此时学生网络不仅预测7T-like图像块还预测/>所对应的异方差偶然不确定性，记为/>即/>将(5)所示的平均绝对误差被替换为：
该式的本质是采用异方差偶然不确定性对真实7T MRA和预测的7T-like MRA之间的误差进行自适应加权，从而防止空间不匹配给模型学习带来不良影响以及导致预测结果出现不合理的偏移；其中yi,j,k,分别是Y,/>中的元素；/>的第二项是一个正则项，防止误差的平均权重过小或者过大。
5.根据权利要求3所述的3T MRA到7T MRA的预测方法，其特征在于，为探究和比较不同MIP方向和不同网络层对于总特征重建损失的贡献度，应用所述的同方差偶然不确定性对不同m和l取值的的特征重建损失进行自适应加权，将式(9)所示的特征重建损失改写如下：
其中，是F(m)(l)和/>之间的重建损失权重，Φ为/>组成的权重矩阵；
同样地，为探究和比较不同的网络层对于总知识蒸馏损失的贡献度，应用同方差偶然不确定性对不同l取值的的知识蒸馏损失进行自适应加权，将(10)式所示的总知识蒸馏损失/>改写如下：
其中，ωl是和/>之间的知识蒸馏损失权重，ω为ωl,l＝1,…,L组成的权重向量；
学生网络的总损失函数为：
其中，α为偶然不确定性加权MAE损失的权重，β为特征重建损失的权重，γ为知识蒸馏损失的权重。
6.根据权利要求1～5之一所述的基于深度学习的3T MRA到7T MRA的预测方法，其特征在于，具体步骤如下：
(1)构建3T和7T MRA成对数据集；
(2)图像预处理；
(2-1)将每名被试者的3T MRA配准到其对应的7T MRA；
(2-2)对所有的7T MRA进行场不均匀性校正；
(2-3)对所有的3T和7T MRA去头皮，提取大脑影像；
(2-4)对所有的3T和7T MRA的图像矩阵进行插值，并将像素值归一化；
在完成图像预处理后，将数据集划分为训练集和测试集，分别用于训练深度学习模型和预测7T-like MRA；
(3)训练
(3-1)对训练集的3T和7T MRA分别在轴状位、冠状位和矢状位进行MIP，获取MIP图像；
(3-2)将训练集的3T和7T MRA以及三个方向的3T和7T MRA MIP划分为图像块，基于图像块进行训练；
(4)预测
(4-1)将测试集的3T MRA图像以一定步长划分为若干个尺寸为N×N×N的图像块，基于图像块进行预测；
(4-2)将3T图像块输入训练好的学生网络的生成器G，网络预测得到尺寸同样为N×N×N的7T-like图像块；
(4-3)将原3T MRA的所有图像块预测得到的所有7T-like图像块拼接为完整的7T-likeMRA图像，不同的7T-like patch之间重叠部分取均值。
CN202310719567.3A 2023-06-16 2023-06-16 一种基于深度学习的3t mra到7t mra的预测方法 Pending CN116758120A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310719567.3A CN116758120A (zh) 2023-06-16 2023-06-16 一种基于深度学习的3t mra到7t mra的预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310719567.3A CN116758120A (zh) 2023-06-16 2023-06-16 一种基于深度学习的3t mra到7t mra的预测方法

Publications (1)

Publication Number Publication Date
CN116758120A true CN116758120A (zh) 2023-09-15

Family

ID=87950909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310719567.3A Pending CN116758120A (zh) 2023-06-16 2023-06-16 一种基于深度学习的3t mra到7t mra的预测方法

Country Status (1)

Country Link
CN (1) CN116758120A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474914A (zh) * 2023-12-27 2024-01-30 湖南大学 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474914A (zh) * 2023-12-27 2024-01-30 湖南大学 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法
CN117474914B (zh) * 2023-12-27 2024-04-12 湖南大学 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法

Similar Documents

Publication Publication Date Title
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN110047138A (zh) 一种磁共振薄层图像重建方法
CN110461228A (zh) 使用多对比度和深度学习改进医学图像的质量
CN111598964B (zh) 一种基于空间自适应网络的定量磁化率图像重建方法
CN111667407B (zh) 一种深度信息引导的图像超分辨率方法
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
Aetesam et al. Noise dependent training for deep parallel ensemble denoising in magnetic resonance images
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
CN116758120A (zh) 一种基于深度学习的3t mra到7t mra的预测方法
CN116630178A (zh) 基于U-Net的极低场磁共振图像工频伪影抑制方法
CN116309524A (zh) 基于深度学习的心脏磁共振电影成像伪影抑制方法和系统
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
CN115294229A (zh) 用于重建磁共振成像（mri）图像的方法及设备
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
Li et al. Deep attention super-resolution of brain magnetic resonance images acquired under clinical protocols
Lim et al. Motion artifact correction in fetal MRI based on a Generative Adversarial network method
Pham et al. Simultaneous super-resolution and segmentation using a generative adversarial network: Application to neonatal brain MRI
Kebiri et al. Through-plane super-resolution with autoencoders in diffusion magnetic resonance imaging of the developing human brain
CN117576240A (zh) 基于双域Transformer的磁共振图像重建方法
CN117689623A (zh) 基于外梯度的自适应弥散磁共振微结构模型参数估计方法
CN117974468A (zh) 一种全局与局部特征交互并行的多模态医学图像融合方法
Aetesam et al. Perceptually motivated generative model for magnetic resonance image denoising
Qin et al. A2OURSR: Adaptive adjustment based real MRI super-resolution via opinion-unaware measurements
CN114926366A (zh) 使用人工神经网络的运动伪影校正的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination