CN117315065B - 一种核磁共振成像精准加速重建方法以及系统 - Google Patents
一种核磁共振成像精准加速重建方法以及系统 Download PDFInfo
- Publication number
- CN117315065B CN117315065B CN202311248173.0A CN202311248173A CN117315065B CN 117315065 B CN117315065 B CN 117315065B CN 202311248173 A CN202311248173 A CN 202311248173A CN 117315065 B CN117315065 B CN 117315065B
- Authority
- CN
- China
- Prior art keywords
- features
- image
- magnetic resonance
- attention
- nuclear magnetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 title claims abstract description 20
- 230000001133 acceleration Effects 0.000 title claims abstract description 18
- 230000002776 aggregation Effects 0.000 claims abstract description 38
- 238000004220 aggregation Methods 0.000 claims abstract description 38
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000000295 complement effect Effects 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims description 20
- IMCUVBSHZXQITN-UHFFFAOYSA-N 4-[[4-(4-chlorophenyl)-5-(2-methoxy-2-oxoethyl)-1,3-thiazol-2-yl]amino]-4-oxobutanoic acid Chemical compound S1C(NC(=O)CCC(O)=O)=NC(C=2C=CC(Cl)=CC=2)=C1CC(=O)OC IMCUVBSHZXQITN-UHFFFAOYSA-N 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 239000012634 fragment Substances 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 1
- 238000002595 magnetic resonance imaging Methods 0.000 abstract description 8
- 230000000747 cardiac effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 102100032202 Cornulin Human genes 0.000 description 1
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Mathematical Physics (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Cardiology (AREA)
- High Energy & Nuclear Physics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本公开涉及图像重建技术领域，提出了一种核磁共振成像精准加速重建方法以及系统，重建方法包括如下步骤：获取待处理核磁共振图像，进行预处理得到零填充图像；对预处理得到零填充图像进行编码，得到多级编码特征；基于构建的多时间信息聚合模块，对编码后的特征进行融合，提取相邻视频帧之间的互补特征并在时间维度上进行串联实现视图融合，得到多视图聚合特征；对多视图聚合特征进行译码，基于译码后的特征得到重建图像。本公开通过加速磁共振成像和改进图像重建算法，减少运动伪影的产生，提高了患者的合作度和舒适度，同时提出的重建方法能够提高图像的质量和准确性。
Description
技术领域
本公开涉及图像重建相关技术领域，具体地说，是涉及一种核磁共振成像精准加速重建方法以及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
磁共振成像(MRI)作为一项重要的医学影像技术，为临床诊断提供了高分辨率和多组织对比度的图像，为医生提供了宝贵的信息。然而，特定应用领域，如心脏磁共振(CMR)，面临一些挑战，这些挑战限制了其在实际临床中的应用。CMR的采集通常需要长时间地扫描，而要求患者在扫描期间屏住呼吸，以获得清晰的心脏图像。对患者造成不适，限制了患者的合作度，并且长时间的扫描也增加了运动造成的伪影的风险，进一步降低了图像质量。这些问题限制了CMR在实际临床中的实用性和应用价值。
可见，目前的心脏磁共振(CMR)存在的问题包括：采集扫描时间长，导致了患者的不适感，影响了采集质量；运动伪影的存在进一步限制了图像的准确性，影响了CMR数据在临床诊断的可靠性。
发明内容
本公开为了解决上述问题，提出了一种核磁共振成像精准加速重建方法以及系统，解决了临床硬件受限的条件下加速磁共振成像(MRI)的精确重建问题，提出了一种图像重建方法，通过加速磁共振成像和改进图像重建算法，能够缩短CMR采集时间，并减少运动伪影的影响，提高了患者的合作度和舒适度，同时提出的重建方法能够提高图像的质量和准确性，为医疗领域提供更先进、更可靠的心脏MRI技术。
为了实现上述目的，本公开采用如下技术方案：
一个或多个实施例提供了一种核磁共振成像精准加速重建方法，包括如下步骤：
获取待处理核磁共振图像，进行预处理得到零填充图像；
对预处理得到零填充图像进行编码，得到多级编码特征；
基于构建的多时间信息聚合模块，对编码后的特征进行融合，提取相邻视频帧之间的互补特征并在时间维度上进行串联实现视图融合，得到多视图聚合特征；
对多视图聚合特征进行译码，基于译码后的特征得到重建图像。
一个或多个实施例提供了一种核磁共振成像精准加速重建系统，包括：
核磁共振图像采集设备，用于采集待处理核磁共振图像；
处理器，用于接收核磁共振图像采集设备采集的图像，并采用上述的一种核磁共振成像精准加速重建方法的步骤，对图像进行重建。
一个或多个实施例提供了一种核磁共振成像精准加速重建系统，包括：
图像获取及预处理模块：被配置为用于获取待处理核磁共振图像，进行预处理得到零填充图像；
编码器：被配置为对预处理得到零填充图像进行编码，得到多级编码特征；
多时间信息聚合模块：被配置为对编码后的特征进行融合，提取相邻视频帧之间的互补特征并在时间维度上进行串联实现视图融合，得到多视图聚合特征；
译码以及重建模块：被配置为对多视图聚合特征进行译码，基于译码后的特征得到重建图像。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述的一种核磁共振成像精准加速重建方法中的步骤。
与现有技术相比，本公开的有益效果为：
本公开中，通过实现了相邻帧之间的特征提取和视图融合，可以更好地处理图像，能够提高重建图像的质量和准确性。通过提取相邻帧之间的特征，计算不同帧之间的全局关系，以及在时间维度上将它们串联起来，形成缺失特征的互补，这一过程可用于有效校正或补偿被拍摄对象如心脏运动引起的图像变形，从而减少伪影的影响，计算了不同时间帧图像之间的全局关系，实现了跨多个视图的特征融合，从而提高了输入序列的整体表示，能够实现多个图像的精确配准和融合，将多个相邻帧的信息有机地融合到一个更准确的图像中，从而显著提高图像的质量和准确性，以生成高质量的重建图像。
本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
图1为本公开实施例1中数据预处理示意图；
图2为本公开实施例1中基于多层级时态信息共享转换器的特征复用网络的整体架构框架；
图3为本公开实施例1中多时间信息聚合模块的工作原理图；
图4为本公开实施例1的多时间信息聚合模块中两个转换器的操作示意图；
图5(a)为本公开实施例1的示例中对第一心脏视频帧图像采用不同方法进行图像重建的结果对比图；
图5(b)为本公开实施例1的示例中对第二心脏视频帧图像采用不同方法进行图像重建的结果对比图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
实施例1
在一个或多个实施方式公开的技术方案中，如图1至图5所示，一种核磁共振成像精准加速重建方法，包括如下步骤：
步骤1、获取待处理核磁共振图像，进行预处理得到零填充图像；
步骤2、对预处理得到零填充图像进行编码，得到多级编码特征；
步骤3、基于构建的多时间信息聚合模块，对编码后的特征进行融合，提取相邻视频帧之间的互补特征并在时间维度上进行串联实现视图融合，得到多视图聚合特征；
步骤4、对多视图聚合特征进行译码，基于译码后的特征得到重建图像。
本实施例中，通过实现了相邻帧之间的特征提取和视图融合，可以更好地处理图像，能够提高重建图像的质量和准确性通过跨多个相邻帧执行多级时间信息特征融合，该方法能够建立特征之间的非线性依赖关系，有效学习相邻时间帧图像之间的关键信息。这有助于减少由于时间上下文不连续性引起的伪影，计算了不同时间帧图像之间的全局关系，实现了跨多个视图的特征融合，从而提高了输入序列的整体表示，改善了后续重建任务的性能。
具体的，获取全采样MRI图像作为待处理核磁共振图像，包含完整的空间域信息。采用一些技术来预处理图像，使它更适合后续的分析。
步骤1中，可选的，对得到的采集图像预处理进行如下数字化操作：
步骤1.1、将获取的待处理核磁共振图像，进行傅里叶变换操作，得到空间域图像；
步骤1.2、采用欠采样操作，将空间域图像与图像掩码进行逐元素相乘，得到提取两个图像重叠部分的图像；
具体的，采用点乘⊙作为逐元素乘法，即为把两张图像叠在一起，只保留它们重叠的部分；
步骤1.3、进行傅立叶逆变换得到核磁共振图像对应的零填充图像，即为将图像还原成原始形式，零填充图像Yzf表示如下：
其中，ε表示噪声。
通过以上步骤得到零填充图像，是一个复数图像。在后续的预处理中，数据被分为了实部以及虚部两条通道，作为输入。预处理操作是为了准备图像，使它更适合我们进行后续的分析和处理，就像是在图像上做了一些特殊的处理，以便更好地理解和利用图像数据。图像预处理示意图如图1所示。
步骤2中，通过设置多个编码器(encoder)对零填充图像进行多层特征提取，提取的每层特征包含多帧图像特征，将深层特征进行空间变换后输入至多时间信息聚合模块(可简称为MTA模块)进行特征融合。
具体的，本实施例中，设置5层编码器，针对输入的多个编码器(encoder)得到深层特征其中/>中的上标5表示encoder的第五层结果，/>表示心脏视频里的第一帧，/>表示心脏视频里的第二帧，/>表示视频里的第i帧，i∈{1,2,...,t}。针对这些特征，经过空间变换分别得到空间变换后的特征/>和/>作为时间信息聚合模块的输入。
步骤3中，对编码后的特征进行融合，包括如下步骤：
步骤3.1、先利用自注意力机制在每个帧内计算不同图像片段之间的长程关联性，生成空间增强的注意力特征；
步骤3.2、基于得到的注意力特征，计算不同时间帧图像之间的全局关系，得到多视图聚合特征；
在一些实施例中，步骤3的方法步骤通过构建的多时间信息聚合模块即MTA模块包括两个转换器(Transformer)，分别是“增强型空间注意力转换器”(简称为ESAT模块)和“多时序帧交叉注意力转换器”(简称为MTFCAT模块)。
ESAT模块，被配置为以空间变换后的特征为输入，利用自注意力机制在每个帧内计算不同图像片段之间的长程关联性，生成空间增强的空间注意力特征。
MTFCAT模块，被配置为以空间变换后的特征和ESAT模块得到的空间注意力特征为输入，计算不同时间帧之间的全局关系，实现多视图的特征聚合。
在一些实施例中，ESAT模块可以融合多个注意力机制，不同注意力机制用于捕捉不同维度空间上的关联关系。
可选的，本实施例中的ESAT模块融合垂直注意力、水平注意力以及窗口注意力，将各注意力机制得到的结果进行加权，对输入的空间变换后的特征进行增强，得到空间增强的注意力特征。
本实施例中，使用了三种特殊的“注意力机制”(attention mechanism)，有助于从图像中提取有用的特征。
具体的，垂直注意力(表示为Attv)：在图像中上下移动扫描，以捕捉不同位置之间的远距离联系。垂直注意力有助于更好地理解待处理核磁共振图像(如心脏磁共振图像)中物体之间的垂直关系。
具体的，水平注意力(表示为Atth)：将关注点放在待处理核磁共振图像(如心脏磁共振图像)中不同区域或特征上。这类似于专注于图像中的不同部分，以更好地识别和利用重要的局部信息，从而提取图像中不同区域之间的关联。
具体的，窗口注意力(表示为Attw)：结合了垂直和水平注意力的机制，用于同时捕获全局上下文和局部关系，窗口注意力通过设定大小可移动窗口来观察整个待处理核磁共振图像，同时关注图像的整体和细节。
ESAT模块整个注意力机制的操作流程如下：
Attall＝Attv(x)+Atth(x)+Attw(x)
其中，特征/>LNorm表示层归一化(LayerNormalization)，MLP表示多层感知机最后，由ESAT模块得到注意力特征，即
MTFCAT模块以和上一部分得到的注意力特征为输入，计算不同时间帧之间的全局关系，实现多视图的特征聚合。
为了更好地提取相邻帧之间的互补特征并融合可定义数量的待处理核磁共振图像的视图，引入了一种名为多时序帧交叉注意力转换器(MTFCAT模块)的新型模块。
具体的多时序帧交叉注意力转换器(MTFCAT模块)，被配置为执行以下过程：
步骤3.2.1、针对输入的高级特征和空间注意力特征A1:t，计算注意力机制中的查询(Q)、键(K)和数值(V)，即：
步骤3.2.2、对得到的查询(Q)、键(K)和数值(V)基于softmax函数执行交叉注意力操作，得到交叉注意力权重；
这个机制引入了交叉注意力，可以捕捉不同时刻之间的关系，交叉注意力可以表示为：
其中，表示矩阵乘法，dk表示键(K)的长度。
步骤3.2.3、基于得到的交叉注意力机制对输入的特征进行增强，得到多视图聚合特征A；
MTFCAT模块的实现过程，具体可以表示如下：
A＝LNorm(MLP(A′)+A′)
其中，来自深层特征/> 是上一个模块ESAT模块的输出，A'为MTFCAT中间变量，/>是MTFCAT的最终输出。
MTFCAT模块实现了对长距离特征的空间关注和对时间依赖关系的多时间帧关注。工作机制如图4下半部分,它计算了不同时间帧图像之间的全局关系，实现了跨多个视图的特征融合，从而提高了输入序列的整体表示，改善了后续重建任务的性能。
本实施例的MTFCAT模块使用了跨视图注意力即交叉注意力来捕捉相邻视图之间的上下文信息，还可以采用其他类型的注意力机制，可以采用自注意力或多头注意力，以进一步优化模型。
上述方法的实现过程，可以通过构建模型实现，可以为称为基于多层级时态信息共享转换器的特征复用网络，如图2所示，包括：
输入模块，用于输入零填充图像；
编码器，对输入的零填充图像进行编码；可以包括依次连接的3D卷积层、图像块嵌入模块以及池化变换模块；
多时间聚合模块：用于对编码后的特征进行融合，提取相邻视频帧之间的互补特征并在时间维度上进行串联实现视图融合，得到多视图聚合特征；
译码器：用于对多视图聚合特征进行译码；可以包括依次连接多个3D卷积层、三维实例归一化模块、RELU函数激活层。
输出层，用于基于译码后得到的图像进行重建，并将重建图像金西宁输出。
进一步的技术方案，还包括设置特征复用网络，用于对多时间信息聚合模块输出的特征进行复用管理，用于进行特征复用次数的控制。通过特征复用可以有效地训练神经网络，并且减少了重复计算量。
特征复用是一项强大的技术，它可以更有效地训练网络模型，同时也能够节省时间和计算资源。它的核心思想是不浪费前一层已经学到的有用特征，而是将这些特征传递给后续层，让网络更好地学习和利用这些信息。本实施例中，将特征复用引入了模型训练中。
在这个过程中，来自MTA模块的Transformer输出的特征F1：t＝{F1，F2，...，Ft}，其中1≤i≤t，/>表示来自Transformer的输出。想要重复使用这些特征，而不是一次又一次地计算它们。可以定义一个参数K表示要重复使用的次数。使用一种特殊的数学操作，将这些特征复用K次，这个操作的数学公式可以如下：
其中，DCB表示去噪卷积块，DC表示数据一致性。通过利用这个网络框架，能够获得具有相同特征传输和重建性能的K次权重迭代。
本实施例中，采用了特征复用的训练方法，用于更新权重。还可以尝试其他迭代训练策略，可以采用学习率衰减、循环神经网络、迁移学习等，以改进特征融合和全局特征依赖关系的建模。
进一步地，在模型训练过程中可以数据增强和预处理方法可以采用不同的数据增强和预处理技术，以改善模型的性能。
训练过程中可以使用多个损失函数的组合，可选的，可以使用主损失函数和辅助损失函数，以提高模型的稳定性和性能。
通过上述方案实施步骤，可以更好地处理图像，并实现了相邻帧之间的特征提取和视图融合，有助于图像处理领域的改进。
为验证本实施方法的效果，使用了一种强大的计算工具NVIDIA A100(40GB)GPU，以及流行的深度学习库PyTorch来进行验证。
在这个验证过程中，设置的参数包括：学习率为1e-4，总共训练了50次，而且采用了Adam优化方法。
为了评估我们的方案的性能，采用的评估指标包括：
指标包括峰值信噪比(PSNR)，用于说明图像的清晰度有多高；
结构相似指数(SSIM)，用于说明图像的结构相似度；
均方根误差(RMSE)，它度量了重建图像与真实心脏磁共振图像之间的差距。
通过这些指标，能够全面地评估本实施例图像重建方法的性能。如图5给出了加速倍数为4时，心脏图像的重建结果和相应的误差图。图5(a)和图5(b)比较了不同方法获得的心脏重建结果。第一行显示各类方法整体上的重建结果，第二行显示局部心脏区域的重建结果。第三行表示误差图，说明重建结果与真实结果之间的差异，图5(a)和图5(b)为取自不同心脏视频中的某一帧图像进行重建的结果。
表1中呈现了不同技术方案在相同条件下的性能指标得分。显而易见，本实施例的方法在各项指标方面均优于现有算方法。
表1中，ZF:Zero Fill(零填充)，是要进行重建的心脏视频数据。
进行比对的现有算法包括：
MODL:全称为Model-Based Deep Learning Architecture for InverseProblems译为用于逆问题的基于模型的深度学习架构。
CRNN:全称为Convolutional Recurrent Neural Networks for Dynamic MRImage Reconstruction，即为：用于动态磁共振图像重建的卷积循环神经网络。
SwinIR:全称为Image Restoration Using Swin Transformer，即为：使用SwinTransformer进行图像恢复。
本实施例对每种方法在4倍、6倍以及10倍零填充下的性能指标进行了计算。尽管在6倍和10倍零填充情况下，CMR图像恢复任务更加具有挑战性，但本实施例的方法在各项指标上始终领先于现有方法，表现出最佳的性能得分。
表1
本实施例的图像重建方法带来了多方面的有益效果，如下所述：
采集时间缩短：传统CMR通常需要30分钟到1小时或更长时间。采用本实施例的方法巧妙地将前后帧图像的特征融合，同时实现了不同区域特征的协同融合，不仅在空间尺度上，还在时间尺度上实现了特征的有机结合。这种处理方式极大地增强了对图像信息的捕捉效果，从而能够更充分地利用时间信息，优化特征融合过程，以及改进信息提取、优化权重更新。这种方法的优势在于它综合了多个关键方面，包括特征融合、时间信息利用和权重优化，以提高图像采集的效率，因此可以大幅缩短图像采集的时间，实际应用中可将采集时间缩短至15分钟以内。
减少伪影率：伪影是CMR图像中常见的问题，影响诊断的准确性一种新颖的多级时间信息共享转换器方法通过更好地捕捉时间信息、改进特征融合和提高信息提取效率，减少了伪影的影响。这意味着更清晰、更可靠的图像用于临床诊断。
提高患者合作度：由于减少了扫描时间，可以在较短的时间内获得高质量的图像，所以降低了对患者屏住呼气的要求，患者的合作度得到显著提高。患者不适感减少了50％以上，使更多的患者能够顺利完成检查。
增加诊断准确性：通过提高图像质量和减少伪影，本发明有助于提高CMR的诊断准确性。研究表明，新技术的准确性比传统方法提高了15％。
扩大CMR应用范围：由于采集时间的缩短和患者的舒适度提高，CMR的应用范围得以扩大，包括那些难以控制呼吸的患者和儿童。
性能提升：通过PSNR、SSIM和RMSE等性能指标分析表明，我们的技术在性能方面得到了显著提升。以4倍加速为基准，要比之前的最新技术SwinIR在PSNR上高1.09，SSIM高出0.0407，RMSE要低0.65，各个方面都要遥遥领先。
实施例2
基于实施例1，本实施例中提供一种核磁共振成像精准加速重建系统，包括：
核磁共振图像采集设备，用于采集待处理核磁共振图像；
处理器，用于接收核磁共振图像采集设备采集的图像，并采用实施例1的一种核磁共振成像精准加速重建方法的步骤，对图像进行重建。
实施例3
基于实施例1，本实施例提供了一种核磁共振成像精准加速重建系统，包括：
图像获取及预处理模块：被配置为用于获取待处理核磁共振图像，进行预处理得到零填充图像；
编码器：被配置为对预处理得到零填充图像进行编码，得到多级编码特征；
多时间信息聚合模块：被配置为对编码后的特征进行融合，提取相邻视频帧之间的互补特征并在时间维度上进行串联实现视图融合，得到多视图聚合特征；
译码以及重建模块：被配置为对多视图聚合特征进行译码，基于译码后的特征得到重建图像。
此处需要说明的是，本实施例中的各个模块与实施例1中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例4
基于实施例1，本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1所述的一种核磁共振成像精准加速重建方法中的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (9)
1.一种核磁共振成像精准加速重建方法，其特征在于，包括如下步骤：
获取待处理核磁共振图像，进行预处理得到零填充图像；
对预处理得到零填充图像进行编码，得到多级编码特征；
基于构建的多时间信息聚合模块，对编码后的特征进行融合，提取相邻视频帧之间的互补特征并在时间维度上进行串联实现视图融合，得到多视图聚合特征；
对多视图聚合特征进行译码，基于译码后的特征得到重建图像；
对编码后的特征进行融合，包括如下步骤：
利用自注意力机制在每个帧内计算不同图像片段之间的长程关联性，生成空间增强的注意力特征；
基于得到的注意力特征，计算不同时间帧图像之间的全局关系，得到多视图聚合特征。
2.如权利要求1所述的一种核磁共振成像精准加速重建方法，其特征在于，对待处理核磁共振图像进行预处理，包括如下步骤：
将获取的待处理核磁共振图像，进行傅里叶变换操作，得到空间域图像；
采用欠采样操作，将空间域图像与图像掩码进行逐元素相乘，得到提取两个图像重叠部分的图像；
进行傅里叶逆变换，得到待处理核磁共振图像对应的零填充图像。
3.如权利要求1所述的一种核磁共振成像精准加速重建方法，其特征在于：通过设置多个编码器对零填充图像进行多层特征提取，提取的每层特征包含多帧图像特征，将深层特征进行空间变换后，输入至多时间信息聚合模块进行特征融合。
4.如权利要求1所述的一种核磁共振成像精准加速重建方法，其特征在于：
时间信息聚合模块包括两个转换器ESAT模块和MTFCAT模块；
ESAT模块，被配置为以编码后进行空间变换的深层特征为输入，利用自注意力机制在每个帧内计算不同图像片段之间的长程关联性，生成空间增强的空间注意力特征；
MTFCAT模块，被配置为以编码后进行空间变换的深层特征和ESAT模块得到的空间注意力特征为输入，计算不同时间帧之间的全局关系，实现多视图的特征聚合。
5.如权利要求4所述的一种核磁共振成像精准加速重建方法，其特征在于：ESAT模块融合垂直注意力、水平注意力以及窗口注意力，将各注意力机制得到的结果进行加权，对输入的空间变换后的特征进行增强，得到空间增强的注意力特征；
垂直注意力：在图像中上下移动扫描，以捕捉不同位置之间的远距离联系；水平注意力：将关注点放在待处理核磁共振图像，提取图像中不同区域之间的关联；
水平注意力：将关注点放在待处理核磁共振图像中不同区域或特征上，提取图像中不同区域之间的关联；
窗口注意力：用于同时捕获全局上下文和局部关系，窗口注意力通过设定大小可移动窗口来观察整个待处理核磁共振图像，同时关注图像的整体和细节；
或者，MTFCAT模块被配置为执行以下过程：
针对输入的空间变换后的特征和空间注意力特征，计算注意力机制中的查询、键和数值；
对得到的查询、键和数值基于softmax函数执行交叉注意力操作，得到交叉注意力权重；
基于得到的交叉注意力机制对输入的特征进行增强，得到多视图聚合特征。
6.如权利要求1所述的一种核磁共振成像精准加速重建方法，其特征在于：
还包括设置特征复用网络，用于对多时间信息聚合模块输出的特征进行复用管理，用于进行特征复用次数的控制。
7.一种核磁共振成像精准加速重建系统，其特征在于，包括：
核磁共振图像采集设备，用于采集待处理核磁共振图像；
处理器，用于接收核磁共振图像采集设备采集的图像并采用权利要求1-6任一项所述的一种核磁共振成像精准加速重建方法的步骤，对图像进行重建。
8.一种核磁共振成像精准加速重建系统，其特征在于，包括：
图像获取及预处理模块：被配置为用于获取待处理核磁共振图像，进行预处理得到零填充图像；
编码器：被配置为对预处理得到零填充图像进行编码，得到多级编码特征；
多时间信息聚合模块：被配置为对编码后的特征进行融合，提取相邻视频帧之间的互补特征并在时间维度上进行串联实现视图融合，得到多视图聚合特征；
译码以及重建模块：被配置为对多视图聚合特征进行译码，基于译码后的特征得到重建图像；
对编码后的特征进行融合，包括如下步骤：
利用自注意力机制在每个帧内计算不同图像片段之间的长程关联性，生成空间增强的注意力特征；
基于得到的注意力特征，计算不同时间帧图像之间的全局关系，得到多视图聚合特征。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的一种核磁共振成像精准加速重建方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311248173.0A CN117315065B (zh) | 2023-09-26 | 2023-09-26 | 一种核磁共振成像精准加速重建方法以及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311248173.0A CN117315065B (zh) | 2023-09-26 | 2023-09-26 | 一种核磁共振成像精准加速重建方法以及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117315065A CN117315065A (zh) | 2023-12-29 |
| CN117315065B true CN117315065B (zh) | 2024-03-12 |
Family
ID=89280558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311248173.0A Active CN117315065B (zh) | 2023-09-26 | 2023-09-26 | 一种核磁共振成像精准加速重建方法以及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117315065B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578260A (zh) * | 2022-10-08 | 2023-01-06 | 苏州大学 | 针对图像超分辨率的方向解耦的注意力方法和系统 |
| CN115660984A (zh) * | 2022-10-25 | 2023-01-31 | 苏州大学 | 一种图像高清还原方法、装置及存储介质 |
| CN116012344A (zh) * | 2023-01-29 | 2023-04-25 | 东北林业大学 | 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920213B (zh) * | 2021-09-27 | 2022-07-05 | 深圳技术大学 | 基于长距离注意力模型重建的多层磁共振成像方法及装置 |
-
2023
- 2023-09-26 CN CN202311248173.0A patent/CN117315065B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578260A (zh) * | 2022-10-08 | 2023-01-06 | 苏州大学 | 针对图像超分辨率的方向解耦的注意力方法和系统 |
| CN115660984A (zh) * | 2022-10-25 | 2023-01-31 | 苏州大学 | 一种图像高清还原方法、装置及存储介质 |
| CN116012344A (zh) * | 2023-01-29 | 2023-04-25 | 东北林业大学 | 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117315065A (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN111476805A (zh) | 一种基于多重约束的跨源无监督域适应分割模型 | |
| CN109584164B (zh) | 基于二维影像迁移学习的医学图像超分辨率三维重建方法 | |
| Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
| CN110827232B (zh) | 基于形态特征gan的跨模态mri合成方法 | |
| CN109636721A (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| Ristea et al. | Cytran: Cycle-consistent transformers for non-contrast to contrast ct translation | |
| CN114299185A (zh) | 磁共振图像生成方法、装置、计算机设备和存储介质 | |
| CN111340903A (zh) | 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统 | |
| Huang et al. | TransMRSR: transformer-based self-distilled generative prior for brain MRI super-resolution | |
| CN113870327B (zh) | 基于预测多层次变形场的医学图像配准方法 | |
| CN113554728B (zh) | 基于半监督的从多序列3t到7t磁共振图像的生成方法 | |
| WO2020113148A1 (en) | Single or a few views computed tomography imaging with deep neural network | |
| CN117078941B (zh) | 一种基于上下文级联注意力的心脏mri分割方法 | |
| CN117315065B (zh) | 一种核磁共振成像精准加速重建方法以及系统 | |
| Qiu et al. | Cardiac Magnetic Resonance Images Superresolution via Multichannel Residual Attention Networks | |
| Xie et al. | MRSCFusion: Joint Residual Swin Transformer and Multiscale CNN for Unsupervised Multimodal Medical Image Fusion | |
| CN115565671A (zh) | 基于跨模型相互教学半监督的房颤辅助分析方法 | |
| CN117333571B (zh) | 磁共振图像的重建方法、系统、设备及介质 | |
| He et al. | Gating feature dense network for single anisotropic mr image super-resolution | |
| CN116740217B (zh) | 基于人工智能技术的动脉自旋标记方法、装置及存储介质 | |
| CN116805284B (zh) | 基于特征迁移的三维磁共振平面间超分辨重建方法和系统 | |
| CN117333751A (zh) | 一种医学图像融合方法 | |
| CN116246025B (zh) | 基于三维建模和mr图像的ct图像合成方法及成像方法 | |
| CN115272510B (zh) | 基于编码增强复值网络的肺部气体mri重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |