CN114419183A - 一种mra加速图像的优化方法、系统、设备及存储介质 - Google Patents
一种mra加速图像的优化方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN114419183A CN114419183A CN202210327800.9A CN202210327800A CN114419183A CN 114419183 A CN114419183 A CN 114419183A CN 202210327800 A CN202210327800 A CN 202210327800A CN 114419183 A CN114419183 A CN 114419183A
- Authority
- CN
- China
- Prior art keywords
- mra
- image
- accelerated
- standard
- training data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 title claims abstract description 44
- 230000001133 acceleration Effects 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 107
- 238000003062 neural network model Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 19
- 230000008447 perception Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 9
- 230000002792 vascular Effects 0.000 description 13
- 239000010410 layer Substances 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 125000004429 atom Chemical group 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种MRA加速图像的优化方法、系统、设备及存储介质，该方法包括：采集多组训练数据并构建出训练数据集；每组训练数据中包括通过MRA标准扫描所得到的MRA标准图像，通过MRA加速扫描所得到的MRA加速图像，且同一组训练数据中的各图像均对应同一患者的相同扫描位置；构建用于优化MRA加速图像的质量，以得到对应的MRA标准图像的神经网络模型；利用训练数据集训练神经网络模型，得到MRA加速图像优化模型；将待优化的MRA加速图像输入至MRA加速图像优化模型中，得到对应的MRA标准图像。应用本申请的方案，可以实现MRA的成像加速，且优化图像质量。
Description
技术领域
本发明涉及机器学习技术领域，特别是涉及一种MRA加速图像的优化方法、系统、设备及存储介质。
背景技术
MRI（Magnetic Resonance Imaging，磁共振成像）是一种医学成像技术，使用磁场和计算机生成的无线电波来创建身体器官和组织的详细图像。大多数MRI机器是大型管状磁铁，当患者躺在MRI机器内时，会对静磁场中的人体施加特定频率的射频脉冲，使人体中的氢质子受到激励而发生磁共振现象，患者体内的水分子会暂时被重新排列。射频脉冲使这些对齐的原子在弛豫过程中产生微弱的信号，这些信号用于创建横截面MRI图像。MRA（Magnetic Resonance Angiography，磁共振血管造影）是基于MRI对血管进行成像的技术，可以生成动脉以及不太常见的静脉的图像，以评估它们的狭窄、闭塞、动脉瘤等异常。常用的MRA使用静脉内造影剂，以将血液的纵向弛豫时间缩短至约250 ms，比脂肪外的其他组织的纵向弛豫时间短，则会产生明亮的血液图像。
传统MRA的扫描时间相对较长，可能会给患者带来不舒适的体验，并增加扫描图像中的运动伪影。对此，一种解决方式是进行加速，例如通过SENSE（Sense Encoding，灵敏度编码）实现加速，又如，通过伪随机k空间欠采样实现的CS（Compressed Sensing，压缩感知）技术实现快速成像。
但是，相比于没有加速的MRA标准图像，采用CS和SENSE两种加速方式产生的图像上会存在很多噪声，并且在高亮的血管上出现结构不清晰甚至丢失的情况，在扫描时采用的加速因子愈大，这样的情况越越发明显。
综上所述，如何有效地实现MRA的成像加速，又能够降低噪声、高亮血管结构不清晰这样的负面影响，是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种MRA加速图像的优化方法、系统、设备及存储介质，以有效地实现MRA的成像加速，又能够降低噪声、高亮血管结构不清晰这样的负面影响。
为解决上述技术问题，本发明提供如下技术方案：
一种MRA加速图像的优化方法，包括：
采集多组训练数据并构建出训练数据集；其中，每组训练数据中包括：通过MRA标准扫描所得到的MRA标准图像，通过MRA加速扫描所得到的MRA加速图像，且同一组训练数据中的各图像均对应同一患者的相同扫描位置；
构建用于优化MRA加速图像的质量，以得到对应的MRA标准图像的神经网络模型；
利用所述训练数据集训练所述神经网络模型，得到MRA加速图像优化模型；
将待优化的MRA加速图像输入至所述MRA加速图像优化模型中，得到对应的MRA标准图像。
优选的，所述构建用于优化MRA加速图像的质量，以得到对应的MRA标准图像的神经网络模型，包括：
构建用于将MRA加速图像模仿为MRA标准图像的生成器；
构建用于分辨模仿出的MRA标准图像和真实的MRA标准图像的判别器。
优选的，构建出的训练数据集中的任一图像均为K通道的三维图像，K为不小于3的正整数；
相应的，在利用所述训练数据集训练所述神经网络模型的过程中，所述神经网络模型所采用的损失函数设置为将图像内容损失、感知损失以及对抗损失赋予相应的预设损失权重值后相加所得到的损失函数；
所述图像内容损失包括第一图像内容差异项和第二图像内容差异项，所述感知损失包括第一感知差异项和第二感知差异项；
所述第一图像内容差异项表示的是所述生成器模仿的MRA标准图像与真实的MRA标准图像之间的绝对差异，所述第二图像内容差异项表示的是所述生成器模仿的MRA标准图像的MIP图像与真实的MRA标准图像的MIP图像之间的绝对差异；
所述第一感知差异项表示的是所述生成器模仿的MRA标准图像经过特征提取网络提取的特征提取图像与真实的MRA标准图像经过所述特征提取网络提取的特征提取图像之间的绝对差异，所述第二感知差异项表示的是所述生成器模仿的MRA标准图像的MIP图像经过特征提取网络提取的特征提取图像与真实的MRA标准图像的MIP图像经过特征提取网络提取的特征提取图像之间的绝对差异。
优选的，所述生成器为由多个RRDB堆叠以及卷积层形成的生成器。
优选的，所述判别器为马尔可夫判别器。
优选的，所述构建出训练数据集，包括：
基于采集到的多组训练数据，通过归一化处理和/或图像取块处理和/或数据扩增处理，构建出训练数据集。
优选的，得到的MRA加速图像为通过CS加速得到的MRA加速图像或者为通过SENSE加速得到的MRA加速图像。
一种MRA加速图像的优化系统，包括：
训练数据集构建模块，用于采集多组训练数据并构建出训练数据集；其中，每组训练数据中包括：通过MRA标准扫描所得到的MRA标准图像，通过MRA加速扫描所得到的MRA加速图像，且同一组训练数据中的各图像均对应同一患者的相同扫描位置；
神经网络模型构建模块，用于构建用于优化MRA加速图像的质量，以得到对应的MRA标准图像的神经网络模型；
训练模块，用于利用所述训练数据集训练所述神经网络模型，得到MRA加速图像优化模型；
执行模块，用于将待优化的MRA加速图像输入至所述MRA加速图像优化模型中，得到对应的MRA标准图像。
一种MRA加速图像的优化设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述任一项所述的MRA加速图像的优化方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的MRA加速图像的优化方法的步骤。
应用本发明实施例所提供的技术方案，运用神经网络解决MRA加速图像存在的噪声大、高亮血管结构不清晰的问题，让经过神经网络处理后的MRA加速图像的图像质量和血管结构保留能接近未加速的MRA标准图像。具体的，本申请会采集多组训练数据并构建出训练数据集。每组训练数据中需要包括：通过MRA标准扫描所得到的MRA标准图像，通过MRA加速扫描所得到的MRA加速图像，且同一组训练数据中的各图像均对应同一患者的相同扫描位置。构建出训练数据集之后，便可以利用训练数据集训练神经网络模型，得到MRA加速图像优化模型，该MRA加速图像优化模型可以优化MRA加速图像的质量，以得到对应的MRA标准图像。也就是说，通过MRA加速图像优化模型，可以对待优化的MRA加速图像进行质量优化，得到相应的MRA标准图像。综上所述，本申请的方案可以有效地实现MRA的成像加速，又能够降低噪声、高亮血管结构不清晰这样的负面影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中一种MRA加速图像的优化方法的实施流程图；
图2为本发明中RRDB的结构示意图；
图3为本发明中一种生成器的结构示意图；
图4为本发明中一种MRA加速图像的优化系统的结构示意图。
具体实施方式
本发明的核心是提供一种MRA加速图像的优化方法，可以有效地实现MRA的成像加速，又能够降低噪声、高亮血管结构不清晰这样的负面影响。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明中一种MRA加速图像的优化方法的实施流程图，该MRA加速图像的优化方法可以包括以下步骤：
步骤S101：采集多组训练数据并构建出训练数据集。
其中，每组训练数据中包括：通过MRA标准扫描所得到的MRA标准图像，通过MRA加速扫描所得到的MRA加速图像，且同一组训练数据中的各图像均对应同一患者的相同扫描位置。
通过MRA标准扫描所得到的MRA标准图像可以表示为AF0（Acceleration factor0，加速系数为0），而通过MRA加速扫描得到MRA加速图像时，得到的MRA加速图像可以为通过CS加速得到的MRA加速图像，或者可以为通过SENSE加速得到的MRA加速图像。当然，在其他实施方式中，也可以通过CS和SENSE之外的其他方式得到MRA加速图像，并不影响本发明的实施。
此外需要说明的是，以CS加速为例，加速因子例如可以设置为2、4、6、8、10，分别表示为CS2，CS4，CS6，CS8，CS10，而步骤S101中描述的每组训练数据中包括的MRA加速图像，可以包括1张或者多张MRA加速图像，均不影响本发明的实施。当然，在实际应用中，对于同一患者的相同扫描位置，通常是会进行MRA标准扫描，以及各个加速因子下的CS扫描，以使得后续训练出的MRA加速图像优化模型对于不同加速因子的CS加速的MRA加速图像都具有良好的质量优化效果，即每组CS加速的训练数据中可以包括6个序列：AF0，CS2，CS4，CS6，CS8，CS10。
同样的，采用SENSE加速时，可选的加速因子也不止一个，例如通常可以选取为2、4，分别表示为SENSE2，SENSE4。
并且可以理解的是，构建出的训练数据集不同，后续得到的MRA加速图像优化模型便不同，例如当构建出的训练数据集是针对CS加速的训练数据集时，后续得到的MRA加速图像优化模型便针对的是采用CS加速的MRA加速图像实现质量优化。
步骤S102：构建用于优化MRA加速图像的质量，以得到对应的MRA标准图像的神经网络模型。
本申请构建一个用于优化MRA加速图像的质量，以得到对应的MRA标准图像的神经网络模型，也就是说，通过对该神经网络模型进行训练，便能够利用该神经网络模型进行MRA加速图像的质量优化，即该神经网络模型可以输出对应于MRA加速图像的MRA标准图像，相当于是实现了MRA的成像加速的同时，能够降低噪声、高亮血管结构不清晰这样的负面影响。
步骤S103：利用训练数据集训练神经网络模型，得到MRA加速图像优化模型。
构建出了神经网络模型之后，便可以利用训练数据集训练神经网络模型，即不断地调整神经网络模型中的参数，最终得到的神经网络模型便是可以有效地进行MRA加速图像的质量优化的MRA加速图像优化模型。
步骤S104：将待优化的MRA加速图像输入至MRA加速图像优化模型中，得到对应的MRA标准图像。
由于得到了可以有效地进行MRA加速图像的质量优化的MRA加速图像优化模型，因此，将待优化的MRA加速图像输入至MRA加速图像优化模型中，MRA加速图像优化模型便会模仿出对应于待优化的MRA加速图像的MRA标准图像，作为MRA加速图像优化模型的输出。MRA加速图像优化模型模仿出的MRA标准图像，相较于待优化的MRA加速图像，噪声更少，信噪比更高，高亮血管结构保留接近MRA标准图像。
在本发明的一种具体实施方式中，步骤S102可以具体包括：
构建用于将MRA加速图像模仿为MRA标准图像的生成器；
构建用于分辨模仿出的MRA标准图像和真实的MRA标准图像的判别器。
该种实施方式中，采用的神经网络模型属于ESRGAN（Enhanced Super-ResolutionGenerative Adversarial Networks，增强型超分辨率生成对抗网络），由生成器和判别器组成。
在传统的ESRGAN中，生成器将低分辨率图像作为输入，输出结果需要尽量模仿对应的高分辨率图像。判别器则将生成器的输出图像和真实的高分辨率图像作为输入，其目标是分辨出这两类图像。在训练过程中，生成器的目的是不断地欺骗判别器。在训练时，生成器和判别器相互对抗，不断优化各自的参数，最终目的就是使判别器无法判断出生成器的输出图像是否为真实高分辨图像，这也就说明生成器模仿的高分辨率图像接近了真实的高分辨图像。
而本申请的方案中，通过生成器来将MRA加速图像模仿为MRA标准图像，判别器则用于分辨模仿出的MRA标准图像和真实的MRA标准图像，因此，当判别器无法分辨出生成输出的MRA标准图像是模仿的还是真实的MRA标准图像，说明训练完成，即此时生成器模仿的MRA标准图像已经接近真实的MRA标准图像。
进一步的，在本发明的一种具体实施方式中，生成器为由多个RRDB堆叠以及卷积层形成的生成器。
可参阅图2和图3所示，图2为RRDB（Residual in Residual Dense Block，残差模块）的结构示意图，图3为一种具体实施方式中的生成器的结构示意图。在图2中，每个DenseBlock（稠密模块）的结构均包括多个ConV层（卷积层）和多个LReLU（激活函数）层。RRDB除了将单个卷积层的输入叠加到其输出上，RRDB中的每一个卷积层的输出还会叠加之前每一个卷积层的输出，这样的生成器网络中，残差连接更多、结构更深，嵌套的稠密模块也易于训练，有利于网络的收敛，由此能在保证训练稳定进行的情况下学习到更复杂的图像特征。
而在传统的ESRGAN中，经过堆叠的RRDB后，经过两个上采样的模块可以得到生成器的输出，而本发明考虑到，传统的ESRGAN的输入和输出分别是低分辨率图像和高分辨率图像，本申请的输入和输出分别是图像尺寸相同的加速图像和优化图像，因此，可以在生成器中去掉原网络中的上采样模块，也即图3中，生成器由多个RRDB堆叠以及卷积层形成，图3中的Basic block(基本模块)即RRDB。
当然，其他实施方式中，可以根据实际需要选用其他结构的基于残差模块的生成器。
对于判别器的结构，可以采用例如VGG网络的结构，U-Net的结构等。可以输出一个0到1之间的数值，也可以输出1个二维的矩阵作为结果。在本发明的一种具体实施方式中，判别器具体为马尔可夫判别器，输出的是1个二维的矩阵，以此稳定对抗训练，获得更好的训练结果。
当采用生成器和判别器组成神经网络模型时，相应的训练过程便是：向生成器输入训练数据集中的MRA加速图像，以使生成器模仿出与该MRA加速图像配对的MRA标准图像。然后分别向判别器输入模仿的MRA标准图像以及训练数据集中真实的MRA标准图像，以使判别器从二者中分辨出模仿图像和真实图像。然后计算由生成器和判别器组成的神经网络模型的损失函数，并基于损失函数不断优化生成器及判别器的参数，直至判别器无法分辨出模仿图像和真实图像，得到训练完成的生成器。最后，可以将训练完成的生成器作为所需要的MRA加速图像优化模型使用。
在计算由生成器和判别器组成的神经网络模型的损失函数，并基于损失函数不断优化生成器及判别器的参数时，损失函数通常可以设置为图像内容损失，感知损失，以及对抗损失，它们在算法中以一定权重进行结合作为总损失。以总损失降低至0为优化目标，便可以对生成器及判别器的参数进行优化调整。
在本发明的一种具体实施方式中，构建出的训练数据集中的任一图像均为K通道的三维图像，K为不小于3的正整数；
相应的，在利用训练数据集训练神经网络模型的过程中，神经网络模型所采用的损失函数设置为将图像内容损失、感知损失以及对抗损失赋予相应的预设损失权重值后相加所得到的损失函数；
图像内容损失包括第一图像内容差异项和第二图像内容差异项，感知损失包括第一感知差异项和第二感知差异项；
第一图像内容差异项表示的是生成器模仿的MRA标准图像与真实的MRA标准图像之间的绝对差异，第二图像内容差异项表示的是生成器模仿的MRA标准图像的MIP图像与真实的MRA标准图像的MIP图像之间的绝对差异；
第一感知差异项表示的是生成器模仿的MRA标准图像经过特征提取网络提取的特征提取图像与真实的MRA标准图像经过特征提取网络提取的特征提取图像之间的绝对差异，第二感知差异项表示的是生成器模仿的MRA标准图像的MIP图像经过特征提取网络提取的特征提取图像与真实的MRA标准图像的MIP图像经过特征提取网络提取的特征提取图像之间的绝对差异。
在本发明的该种实施方式中，需要设定图像通道数目K，例如实际应用中K可以选取为5，当然，其他实施方式中，K可以选取为其他数值，但可以理解的是，K的取值越大，所需要的计算资源越高。并且为了较好地反映出层间血管结构，K通常会选取为奇数。
MIP（Maximum Intensity Projection，最大信号投影）是对沿视角投影的轨迹上的容积数据中的最大信号值进行编码，将三维空间的高强度信号投影于一个平面内，形成连续的血管影像。
本申请的该种实施方式中，为了提高神经网络增强血管信号和保留层间血管结构的能力，每一个训练图像均由相邻的K（K大于等于3）张切片堆叠而成，并将生成器输出图像的MIP图像、MRA标准图像的MIP图像的内容损失和感知损失加入到损失函数中一起进行优化，从而可以提高神经网络对于加速图像血管信号和血管结构的增强和保留。
以K=5为例，且例如通过MRA标准扫描所得到的MRA标准图像大小为100*512*512，相应的，通过MRA加速扫描所得到的MRA加速图像大小也为100*512*512。由于通道数目K=5，因此，在构建出训练数据集时，是在MRA标准图像的通道方向上，将每一张切片和其前后各两张切片堆叠起来，形成5通道的训练图像，即对于大小为100*512*512的MRA标准图像，可以提取出96份大小为5*512*512的MRA标准图像作为用于训练的图像（第1张，第2张，第99张以及第100张切片不满足前后各具有两张切片的要求）。同样的，对于任意1张大小为100*512*512的MRA加速图像，可以提取出96份大小为5*512*512的MRA加速图像作为用于训练的图像。
结合上文的描述可知，当生成器输入的是5通道的MRA加速图像时，生成器模仿的MRA标准图像也是5通道，即生成器模仿的MRA标准图像大小也是5*512*512，图像内容损失所包括的第一图像内容差异项表示的便是生成器模仿的MRA标准图像与真实的MRA标准图像之间的绝对差异。
相应的，对于生成器每次模仿的5通道的MRA标准图像，以及相应的真实的MRA标准图像，均需要得到其MIP图像进而计算损失函数。即，在通道方向上求每一个像素的最大值然后投影到一个平面上去。也就是说，该例子中，得到的MIP图像大小为512*512。图像内容损失所包括的第二图像内容差异项表示的便是生成器模仿的MRA标准图像的MIP图像与真实的MRA标准图像的MIP图像之间的绝对差异。
同样的，感知损失中的第二感知差异项表示的是生成器模仿的MRA标准图像的MIP图像经过特征提取网络提取的特征提取图像，与真实的MRA标准图像的MIP图像经过特征提取网络提取的特征提取图像之间的绝对差异。在进行特征提取时，例如可以通过VGG特征提取网络进行提取。
此外，对抗损失可以为标准生成对抗网络的对抗损失（Vanila GAN），也可以选取为其他进阶类型，例如WGAN，RGAN，LSGAN。对抗损失可以由二分类交叉熵损失函数计算，而感知损失和图像内容损失均可以由L1损失函数计算，即由最小绝对值误差函数计算。
在本发明的一种具体实施方式中，步骤S101中描述的构建出训练数据集，可以具体包括：
基于采集到的多组训练数据，通过归一化处理和/或图像取块处理和/或数据扩增处理，构建出训练数据集。
在进行归一化时，可以根据预设归一化关系式y=(x-min)/(max-min) 或y=(max-x)/(max-min)进行归一化，以MRA标准图像为例，将MRA标准图像中的所有像素值的最大值作为归一化最大值max，相应的，以所有像素值的最小值作为归一化最大值min，x表示图像的任一待归一化的像素值，而y则是归一化之后的像素值。
图像取块可以缩小用于训练的图像尺寸，数据扩增可以扩展训练样本的数量，例如通过改变图像亮度、对比度或旋转图像等方式进行数据扩增。
应用本发明实施例所提供的技术方案，运用神经网络解决MRA加速图像存在的噪声大、高亮血管结构不清晰的问题，让经过神经网络处理后的MRA加速图像的图像质量和血管结构保留能接近未加速的MRA标准图像。具体的，本申请会采集多组训练数据并构建出训练数据集。每组训练数据中需要包括：通过MRA标准扫描所得到的MRA标准图像，通过MRA加速扫描所得到的MRA加速图像，且同一组训练数据中的各图像均对应同一患者的相同扫描位置。构建出训练数据集之后，便可以利用训练数据集训练神经网络模型，得到MRA加速图像优化模型，该MRA加速图像优化模型可以优化MRA加速图像的质量，以得到对应的MRA标准图像。也就是说，通过MRA加速图像优化模型，可以对待优化的MRA加速图像进行质量优化，得到相应的MRA标准图像。综上所述，本申请的方案可以有效地实现MRA的成像加速，又能够降低噪声、高亮血管结构不清晰这样的负面影响。
相应于上面的方法实施例，本发明实施例还提供了一种MRA加速图像的优化系统，可与上文相互对应参照。
参见图4所示，为本发明中一种MRA加速图像的优化系统的结构示意图，包括：
训练数据集构建模块401，用于采集多组训练数据并构建出训练数据集；其中，每组训练数据中包括：通过MRA标准扫描所得到的MRA标准图像，通过MRA加速扫描所得到的MRA加速图像，且同一组训练数据中的各图像均对应同一患者的相同扫描位置；
神经网络模型构建模块402，用于构建用于优化MRA加速图像的质量，以得到对应的MRA标准图像的神经网络模型；
训练模块403，用于利用所述训练数据集训练所述神经网络模型，得到MRA加速图像优化模型；
执行模块404，用于将待优化的MRA加速图像输入至所述MRA加速图像优化模型中，得到对应的MRA标准图像。
在本发明的一种具体实施方式中，神经网络模型构建模块402，具体用于：
构建用于将MRA加速图像模仿为MRA标准图像的生成器；
构建用于分辨模仿出的MRA标准图像和真实的MRA标准图像的判别器。
在本发明的一种具体实施方式中，构建出的训练数据集中的任一图像均为K通道的三维图像，K为不小于3的正整数；
相应的，在利用所述训练数据集训练所述神经网络模型的过程中，所述神经网络模型所采用的损失函数设置为将图像内容损失、感知损失以及对抗损失赋予相应的预设损失权重值后相加所得到的损失函数；
所述图像内容损失包括第一图像内容差异项和第二图像内容差异项，所述感知损失包括第一感知差异项和第二感知差异项；
所述第一图像内容差异项表示的是所述生成器模仿的MRA标准图像与真实的MRA标准图像之间的绝对差异，所述第二图像内容差异项表示的是所述生成器模仿的MRA标准图像的MIP图像与真实的MRA标准图像的MIP图像之间的绝对差异；
所述第一感知差异项表示的是所述生成器模仿的MRA标准图像经过特征提取网络提取的特征提取图像与真实的MRA标准图像经过所述特征提取网络提取的特征提取图像之间的绝对差异，所述第二感知差异项表示的是所述生成器模仿的MRA标准图像的MIP图像经过特征提取网络提取的特征提取图像与真实的MRA标准图像的MIP图像经过特征提取网络提取的特征提取图像之间的绝对差异。
在本发明的一种具体实施方式中，所述生成器为由多个RRDB堆叠以及卷积层形成的生成器。
在本发明的一种具体实施方式中，所述判别器为马尔可夫判别器。
在本发明的一种具体实施方式中，训练数据集构建模块401所述构建出训练数据集，具体用于：
基于采集到的多组训练数据，通过归一化处理和/或图像取块处理和/或数据扩增处理，构建出训练数据集。
在本发明的一种具体实施方式中，得到的MRA加速图像为通过CS加速得到的MRA加速图像或者为通过SENSE加速得到的MRA加速图像。
相应于上面的方法和系统实施例，本发明实施例还提供了一种MRA加速图像的优化设备以及一种计算机可读存储介质，可与上文相互对应参照。该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一实施例中所述的MRA加速图像的优化方法的步骤。这里所说的计算机可读存储介质包括随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。该MRA加速图像的优化设备可以包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述任一实施例中所述的MRA加速图像的优化方法的步骤。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明的保护范围内。
Claims (10)
1.一种MRA加速图像的优化方法，其特征在于，包括：
采集多组训练数据并构建出训练数据集；其中，每组训练数据中包括：通过MRA标准扫描所得到的MRA标准图像，通过MRA加速扫描所得到的MRA加速图像，且同一组训练数据中的各图像均对应同一患者的相同扫描位置；
构建用于优化MRA加速图像的质量，以得到对应的MRA标准图像的神经网络模型；
利用所述训练数据集训练所述神经网络模型，得到MRA加速图像优化模型；
将待优化的MRA加速图像输入至所述MRA加速图像优化模型中，得到对应的MRA标准图像。
2.根据权利要求1所述的MRA加速图像的优化方法，其特征在于，所述构建用于优化MRA加速图像的质量，以得到对应的MRA标准图像的神经网络模型，包括：
构建用于将MRA加速图像模仿为MRA标准图像的生成器；
构建用于分辨模仿出的MRA标准图像和真实的MRA标准图像的判别器。
3.根据权利要求2所述的MRA加速图像的优化方法，其特征在于，构建出的训练数据集中的任一图像均为K通道的三维图像，K为不小于3的正整数；
相应的，在利用所述训练数据集训练所述神经网络模型的过程中，所述神经网络模型所采用的损失函数设置为将图像内容损失、感知损失以及对抗损失赋予相应的预设损失权重值后相加所得到的损失函数；
所述图像内容损失包括第一图像内容差异项和第二图像内容差异项，所述感知损失包括第一感知差异项和第二感知差异项；
所述第一图像内容差异项表示的是所述生成器模仿的MRA标准图像与真实的MRA标准图像之间的绝对差异，所述第二图像内容差异项表示的是所述生成器模仿的MRA标准图像的MIP图像与真实的MRA标准图像的MIP图像之间的绝对差异；
所述第一感知差异项表示的是所述生成器模仿的MRA标准图像经过特征提取网络提取的特征提取图像与真实的MRA标准图像经过所述特征提取网络提取的特征提取图像之间的绝对差异，所述第二感知差异项表示的是所述生成器模仿的MRA标准图像的MIP图像经过特征提取网络提取的特征提取图像与真实的MRA标准图像的MIP图像经过特征提取网络提取的特征提取图像之间的绝对差异。
4.根据权利要求2所述的MRA加速图像的优化方法，其特征在于，所述生成器为由多个RRDB堆叠以及卷积层形成的生成器。
5.根据权利要求2所述的MRA加速图像的优化方法，其特征在于，所述判别器为马尔可夫判别器。
6.根据权利要求1所述的MRA加速图像的优化方法，其特征在于，所述构建出训练数据集，包括：
基于采集到的多组训练数据，通过归一化处理和/或图像取块处理和/或数据扩增处理，构建出训练数据集。
7.根据权利要求1至6任一项所述的MRA加速图像的优化方法，其特征在于，得到的MRA加速图像为通过CS加速得到的MRA加速图像或者为通过SENSE加速得到的MRA加速图像。
8.一种MRA加速图像的优化系统，其特征在于，包括：
训练数据集构建模块，用于采集多组训练数据并构建出训练数据集；其中，每组训练数据中包括：通过MRA标准扫描所得到的MRA标准图像，通过MRA加速扫描所得到的MRA加速图像，且同一组训练数据中的各图像均对应同一患者的相同扫描位置；
神经网络模型构建模块，用于构建用于优化MRA加速图像的质量，以得到对应的MRA标准图像的神经网络模型；
训练模块，用于利用所述训练数据集训练所述神经网络模型，得到MRA加速图像优化模型；
执行模块，用于将待优化的MRA加速图像输入至所述MRA加速图像优化模型中，得到对应的MRA标准图像。
9.一种MRA加速图像的优化设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的MRA加速图像的优化方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的MRA加速图像的优化方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210327800.9A CN114419183B (zh) | 2022-03-31 | 2022-03-31 | 一种mra加速图像的优化方法、系统、设备及存储介质 |
| PCT/CN2023/083242 WO2023185605A1 (zh) | 2022-03-31 | 2023-03-23 | 一种mra加速图像的优化方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210327800.9A CN114419183B (zh) | 2022-03-31 | 2022-03-31 | 一种mra加速图像的优化方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114419183A true CN114419183A (zh) | 2022-04-29 |
| CN114419183B CN114419183B (zh) | 2022-07-01 |
Family
ID=81263534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210327800.9A Active CN114419183B (zh) | 2022-03-31 | 2022-03-31 | 一种mra加速图像的优化方法、系统、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114419183B (zh) |
| WO (1) | WO2023185605A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116485937A (zh) * | 2023-06-21 | 2023-07-25 | 吉林大学 | 基于图神经网络的ct运动伪影消除方法及系统 |
| WO2023185605A1 (zh) * | 2022-03-31 | 2023-10-05 | 上海影动医疗科技有限公司 | 一种mra加速图像的优化方法、系统、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190304069A1 (en) * | 2018-03-29 | 2019-10-03 | Pixar | Denoising monte carlo renderings using neural networks with asymmetric loss |
| EP3719744A1 (en) * | 2019-04-06 | 2020-10-07 | Kardiolytics Inc. | Method and system for machine learning based segmentation of contrast filled coronary artery vessels on medical images |
| CN113359077A (zh) * | 2021-06-08 | 2021-09-07 | 苏州深透智能科技有限公司 | 一种磁共振成像方法及相关设备 |
| CN113744272A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 一种基于深度神经网络的脑动脉自动勾画方法 |
| WO2021257906A1 (en) * | 2020-06-17 | 2021-12-23 | Northwestern University | Maskless 2d/3d artificial subtraction angiography |
| CN114241078A (zh) * | 2022-02-23 | 2022-03-25 | 南昌睿度医疗科技有限公司 | 一种加速磁共振超分辨率成像方法、装置、设备及介质 |
| CN114241077A (zh) * | 2022-02-23 | 2022-03-25 | 南昌睿度医疗科技有限公司 | 一种ct图像分辨率优化方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112133410A (zh) * | 2019-06-25 | 2020-12-25 | 西门子医疗有限公司 | 使用机器学习的mri图像重建 |
| US10970885B2 (en) * | 2019-07-31 | 2021-04-06 | General Electric Company | Iterative image reconstruction |
| CN112085677A (zh) * | 2020-09-01 | 2020-12-15 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
| CN114419183B (zh) * | 2022-03-31 | 2022-07-01 | 南昌睿度医疗科技有限公司 | 一种mra加速图像的优化方法、系统、设备及存储介质 |
-
2022
- 2022-03-31 CN CN202210327800.9A patent/CN114419183B/zh active Active
-
2023
- 2023-03-23 WO PCT/CN2023/083242 patent/WO2023185605A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190304069A1 (en) * | 2018-03-29 | 2019-10-03 | Pixar | Denoising monte carlo renderings using neural networks with asymmetric loss |
| EP3719744A1 (en) * | 2019-04-06 | 2020-10-07 | Kardiolytics Inc. | Method and system for machine learning based segmentation of contrast filled coronary artery vessels on medical images |
| WO2021257906A1 (en) * | 2020-06-17 | 2021-12-23 | Northwestern University | Maskless 2d/3d artificial subtraction angiography |
| CN113359077A (zh) * | 2021-06-08 | 2021-09-07 | 苏州深透智能科技有限公司 | 一种磁共振成像方法及相关设备 |
| CN113744272A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 一种基于深度神经网络的脑动脉自动勾画方法 |
| CN114241078A (zh) * | 2022-02-23 | 2022-03-25 | 南昌睿度医疗科技有限公司 | 一种加速磁共振超分辨率成像方法、装置、设备及介质 |
| CN114241077A (zh) * | 2022-02-23 | 2022-03-25 | 南昌睿度医疗科技有限公司 | 一种ct图像分辨率优化方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| MINGQUAN ZHANG 等: "Blood Vessel Segmentation in Fundus Images Based on Improved Loss Function", 《2019 CHINESE AUTOMATION CONGRESS (CAC)》 * |
| 戴垚均等: "基于密集网络改进的肺结节良恶性分类模型", 《中国医学影像技术》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023185605A1 (zh) * | 2022-03-31 | 2023-10-05 | 上海影动医疗科技有限公司 | 一种mra加速图像的优化方法、系统、设备及存储介质 |
| CN116485937A (zh) * | 2023-06-21 | 2023-07-25 | 吉林大学 | 基于图神经网络的ct运动伪影消除方法及系统 |
| CN116485937B (zh) * | 2023-06-21 | 2023-08-29 | 吉林大学 | 基于图神经网络的ct运动伪影消除方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114419183B (zh) | 2022-07-01 |
| WO2023185605A1 (zh) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114419183B (zh) | 一种mra加速图像的优化方法、系统、设备及存储介质 | |
| Sandino et al. | Accelerating cardiac cine MRI using a deep learning‐based ESPIRiT reconstruction | |
| Küstner et al. | Retrospective correction of motion‐affected MR images using deep learning frameworks | |
| WO2022047625A1 (zh) | 一种图像处理方法、系统和计算机存储介质 | |
| Yuan et al. | SARA-GAN: Self-attention and relative average discriminator based generative adversarial networks for fast compressed sensing MRI reconstruction | |
| Yu et al. | Deep de-aliasing for fast compressive sensing MRI | |
| US20190128989A1 (en) | Motion artifact reduction of magnetic resonance images with an adversarial trained network | |
| CN112085677A (zh) | 一种图像处理方法、系统和计算机存储介质 | |
| CN111951344B (zh) | 一种基于级联并行卷积网络的磁共振图像重建方法 | |
| CN110246137B (zh) | 一种成像方法、装置及存储介质 | |
| CN112036506A (zh) | 图像识别方法及相关装置、设备 | |
| CN114241078A (zh) | 一种加速磁共振超分辨率成像方法、装置、设备及介质 | |
| CN114283217A (zh) | 三维电镜图像的重建模型训练方法、装置及设备 | |
| CN113920212A (zh) | 磁共振重建模型训练方法、计算机装置及存储介质 | |
| US20210110520A1 (en) | Method and system for simulating and constructing original medical images from one modality to other modality | |
| CN113313728B (zh) | 一种颅内动脉分割方法及系统 | |
| Lim et al. | Motion artifact correction in fetal MRI based on a Generative Adversarial network method | |
| CN112102251A (zh) | 一种分割影像的方法及装置、电子设备和存储介质 | |
| CN111275783A (zh) | 磁共振图像的相位解缠方法、装置及磁共振成像系统 | |
| CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
| CN109685863A (zh) | 一种重建医学乳房图像的方法 | |
| WO2023073165A1 (en) | Synthetic contrast-enhanced mr images | |
| CN109949206A (zh) | 运动伪影图像的生成方法、装置、设备和存储介质 | |
| Xie et al. | Inpainting the metal artifact region in MRI images by using generative adversarial networks with gated convolution | |
| US11508048B2 (en) | Method and system for generating composite PET-CT image based on non-attenuation-corrected PET image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |