CN116596825A - 磁共振图像对比度合成方法及系统 - Google Patents
磁共振图像对比度合成方法及系统 Download PDFInfo
- Publication number
- CN116596825A CN116596825A CN202310877516.3A CN202310877516A CN116596825A CN 116596825 A CN116596825 A CN 116596825A CN 202310877516 A CN202310877516 A CN 202310877516A CN 116596825 A CN116596825 A CN 116596825A
- Authority
- CN
- China
- Prior art keywords
- image
- contrast
- magnetic resonance
- depth residual
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001308 synthesis method Methods 0.000 title abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 28
- 239000002131 composite material Substances 0.000 claims description 27
- 238000010606 normalization Methods 0.000 claims description 20
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 239000000203 mixture Substances 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 238000002679 ablation Methods 0.000 claims description 7
- 238000002474 experimental method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 210000000845 cartilage Anatomy 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000005499 meniscus Effects 0.000 description 2
- 230000004060 metabolic process Effects 0.000 description 2
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请提供一种磁共振图像对比度合成方法及系统，磁共振图像对比度合成方法，包括获取同一部位处两种对比度的多组样本图像，并分组定义为源对比度图像与目标对比度图像；计算所述源对比度图像到所述目标对比度图像的残差映射，并构建一深度残差网络模型；模型训练步骤：将多组所述源对比度图像输入至所述深度残差网络模型，并计算输出的合成图像与对应的所述目标对比度图像之间的联合损失值；判断是否满足终止条件，若否，更新所述深度残差网络模型的参数，并循环模型训练步骤，若是，停止训练；获取一采集图像，并利用所述深度残差网络模型输出对应的合成图像，以解决现有的合成方法导致合成图像与真实采集图像的相似度较低的技术问题。
Description
技术领域
本申请涉及医学图像处理技术领域，具体涉及一种磁共振图像对比度合成方法及系统。
背景技术
磁共振图像（Magenetic Resonance Image, MRI）是一种医学成像技术，使用不同的脉冲序列可获得关于人体组织结构、功能和代谢等不同方面的多种对比度图像，在医生的临床诊断中扮演重要角色。由于MRI的检查费用高且扫描时间长，因此很难获取诊断所需的所有对比度MRI。
从已有对比度MRI合成缺失对比度MRI是当前的研究热点，基于深度学习的合成方法使用卷积神经网络（Convolutional Neural Network，CNN）端到端地学习源图像和目标图像之间的非线性映射，显示出比其他方法更高的准确度，但依旧存在许多局限。
现有方法从源图像学习到目标图像的直接映射关系，或从随机高斯噪声中学习目标图像的数据分布，由于源图像和目标图像差异较大，因此合成难度较高。现有方法使用批归一化（BN，BatchNorm）作为网络归一化方式，该方式不适合图像合成任务。同时重要的特征（对于膝盖部位MRI，如软骨、半月板等组织）在合成图像中模糊或者过于平滑，使得合成图像与真实采集图像的相似度较低。
发明内容
本申请的第一个目的在于，提供一种磁共振图像对比度合成方法及系统，以解决现有的合成方法导致合成图像与真实采集图像的相似度较低的技术问题。
本申请提供一种磁共振图像对比度合成方法，包括如下步骤：
图像获取步骤：获取同一部位处两种对比度的多组样本图像，并分组定义为源对比度图像与目标对比度图像；对多组所述样本图像进行预处理；
模型构建步骤：计算被预处理后的所述源对比度图像到所述目标对比度图像的残差映射，并构建一深度残差网络模型；
模型训练步骤：将多组所述源对比度图像输入至所述深度残差网络模型，并计算输出的合成图像与对应的所述目标对比度图像之间的联合损失值；
判断是否满足终止条件，若否，更新所述深度残差网络模型的参数，并返回模型训练步骤，若是，停止训练；
图像合成步骤：获取一采集图像，并进行图像预处理，录入被图像预处理后的该采集图像至所述深度残差网络模型，并利用所述深度残差网络模型输出对应的合成图像。
可选的，所述图像获取步骤之前，还包括如下步骤：
录入多组MRI图像，并建立一个图像数据库，每一组所述MRI图像包括同一部位的两个不同对比度的样本图像。
可选的，所述预处理步骤包括：
调整所述源对比度图像的尺寸与所述目标对比度图像的尺寸一致；
将调整尺寸后的所述源对比度图像与所述目标对比度图像在空间上进行对齐；
对对齐后的所述源对比度图像与所述目标对比度图像进行归一化处理；
所述图像预处理的步骤包括如下步骤：
调整所述采集图像的尺寸；
对调整尺寸后的所述采集图像进行归一化处理。
本申请的第二个目的在于，提供一种磁共振图像对比度合成方法及系统，以解决现有的图像合成方法中使用批归一化，未考虑单个图像实例之间独立性的技术问题。
可选的，在所述模型构建步骤中包括如下步骤：
利用深度残差网络的残差块提取所述源对比度图像的特征；
利用深度残差网络的最大池化层降低特征图尺寸；同时利用深度残差网络将最大池化层前的特征图以通道拼接的方式融合至对应尺度的反卷积层后的特征图；以及
基于双曲正切激活函数的卷积层输出合成图像。
可选的，所述利用深度残差网络的残差块提取所述源对比度图像的特征的步骤中，所述残差块中每个卷积层后使用实例归一化计算该通道的均值和方差，并将该通道归一化为正态分布，该通道的均值与方差分别表示为：
；
；
其中，表示网络某层的输出，/>表示x中第n张图像的第c个通道中的第h行第w列个像素，N、C、H、W分别为mini-batch中的图像个数、每个图像的通道数、每个通道的高、宽，/>为很小的常数用来防止分母为0。
本申请的第三个目的在于，提供一种磁共振图像对比度合成方法及系统，以解决现有的合成方法对于图像局部边缘的重建存在欠缺的技术问题。
可选的，所述模型训练步骤中计算输出的合成图像与对应的所述目标对比度图像之间的联合损失值的步骤，具体包括如下步骤：
构建联合损失函数，所述联合损失函数由结构相似性损失、L1损失以及边缘损失组成：
；
；
；
；
其中，表示联合损失，/>表示结构相似性损失，/>表示L1损失，/>、/>和/>是损失函数的平衡系数，满足/>，且/>；
g表示大小为3X3，均值为0，标准差为3的二维高斯滤波函数，a表示合成图像，即，b表示目标对比度图像，/>、/>分别表示a、b中第i个像素，/>，/>分别为图像X的均值和标准差，/>表示合成图像与目标对比度图像之间的协方差，N表示图像中的像素个数，/>表示X中的第i个像素值值，/>和/>表示常数，避免分母接近于0时造成的不稳定性；
计算输出的合成图像与对应的所述目标对比度图像之间的联合损失值。
可选的，所述终止条件包括：联合损失值小于一预设阈值；或者训练次数大于或等于一预设次数。
可选的，所述判断是否满足终止条件的步骤之后，还包括：
基于训练后的所述深度残差网络模型进行消融实验，获取所述合成图像与对应的所述目标对比度图像的峰值信噪比以及结构相似性；
峰值信噪比表示为：
；
；
其中，其中为均方误差函数，/>表示a中最大的像素值，n表示a、b中的像素个数，/>、/>表示a、b中第i个像素值；
结构相似性SSIM表示为：
；
其中，a表示合成图像，b表示目标对比度图像，，/>分别为图像x的均值和标准差，/>表示合成图像与目标对比度图像之间的协方差，/>和/>是常数，避免分母接近于0时造成的不稳定性。
可选的，在所述图像合成步骤之后，还包括格式调整步骤：
将所述合成图像利用pydicom的save_as函数将其保存为dicom格式。
相应的，本申请还提供一种存储介质，包括存储器以及处理器，存储器用于存储可执行程序代码；处理器连接至所述存储器，通过读取所述可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以执行前述任一项所述的磁共振图像对比度合成方法。
本申请提供一种磁共振图像对比度合成方法及系统，深度残差网络模型结合实例归一化以及残差映射，同时使用由SSIM损失、L1损失和边缘损失组成的联合损失来训练上述深度残差网络模型，能促使网络合成更清晰的图像局部边缘，同时避免重要的特征在合成图像中模糊或者过于平滑，使合成图像与真实采集的目标图像更相似。
磁共振图像对比度合成方法能够从已扫描的对比度MRI合成未扫描的对比度MRI，且合成对比度MRI与真实采集的对比度MRI相似高，能够取代真实采集的MRI。一方面节省了扫描的时间和成本，另一方面能够提高患者的就诊体验和医院的患者吞吐量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的磁共振图像对比度合成方法的流程示意图；
图2是本申请提供的磁共振图像对比度合成方法中深度残差网络模型的示意图；
图3是本申请提供的深度残差网络模型中残差块的示意图；
图4是本申请提供的磁共振图像对比度合成方法中消融实验的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。此外，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。在本申请中，在未作相反说明的情况下，使用的方位词如“上”、“下”、“左”、“右”通常是指装置实际使用或工作状态下的上、下、左和右，具体为附图中的图面方向。
本申请提供一种磁共振图像对比度合成方法及系统，以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对本申请实施例优选顺序的限定。且在以下实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
请参阅图1，本申请提供一种磁共振图像对比度合成方法，其基于深度残差网络，用于从源对比度MRI合成目标对比度MRI。
请参阅图1，磁共振图像对比度合成方法具体包括以下步骤：
S100、数据库建立步骤：录入多组MRI图像，并建立一个图像数据库，每一组所述MRI图像包括同一部位的两个不同对比度的样本图像；
使用不同的脉冲序列可获得关于人体组织结构、功能和代谢等不同方面的多种对比度磁共振图像（MRI），从而辅助医生进行更准确的临床诊断。
每一组MRI包括同一部位的两种不同对比度的样本图像，上述样本图像在不同的对比度下显示的组织结构不一样，针对同一部位显示的侧重点有所不同。例如，一样本图像中显示的脂肪在对比度A上是亮的，而另一样本图像中显示的脂肪在对比度B上是暗的。
S200、图像获取步骤：获取同一部位处两种对比度的多组样本图像，并分组定义为源对比度图像与目标对比度图像；
从上述数据库中获取同一部位处两种对比度的多组样本图像（dicom格式的MRI），其格式包括即sagittal T2 FS（Fat-Suppressed）和sagittal PD（Proton density），将其中一组定义为源对比度图像（格式为sagittal T2 FS），同时将另一组定义为目标对比度图像（格式为sagittal PD）。
S300、预处理步骤：针对源对比度图像与目标对比度图像进行预处理；
步骤S300具体包括以下步骤：
S310、调整所述源对比度图像的尺寸与所述目标对比度图像的尺寸一致；
将源对比度图像的尺寸与目标对比度图像的尺寸调整一致，即272X272。
S320、将所述源对比度图像与所述目标对比度图像在空间上进行对齐；
将源对比度图像与目标对比度图像进行配准，使得源对比度图像与目标对比度图像在空间上对齐。
S330、对对齐后的所述源对比度图像与所述目标对比度图像进行归一化处理；
将源对比度图像与目标对比度图像进行归一化处理，将数据范围调整到-1到1之间，得到预处理好的源对比度图像和目标对比度图像/>。
在数据预处理步骤中，可采用其他方式进行图像配准，如基于互信息、傅里叶、小波变换和深度学习的图像配准方法；可将图像归一化到其它范围，如0-1之间。
S400、模型构建步骤：计算所述源对比度图像到所述目标对比度图像的残差映射，并构建一深度残差网络模型；
学习源对比度图像到目标对比度图像的残差映射f，该残差映射为：
；
其中，表示源对比度图像，/>表示目标对比度图像。
如图2和图3所示，深度残差网络的基本组成单元是残差块，残差块由卷积层、实例归一化层（IN，InstanceNorm）和线性整流函数（ReLU）构成。深度残差网络还包括最大池化层、反卷积层和卷积层，并被分为编码器和解码器两部分。
如图2和图3所示，编码器通过残差块进行特征提取，并由最大池化层逐步降低特征图尺寸。解码器通过残差块和反卷积层逐步恢复特征图分辨率，并经过双曲正切激活函数（Tanh）激活的卷积层输出合成图像。同时，深度残差网络将最大池化层前的特征图以通道拼接的方式融合到对应尺度的反卷积层后的特征图。
在模型构建步骤中，对于深度残差网络可增加或减少残差块的数量；可增加或减少残差块中卷积层的数量；可修改特征图融合的位置，如将最大池化层后的特征图以通道拼接的方式融合到对应尺度的反卷积层前的特征图；可修改特征图融合的方式，如将通道拼接换成元素级相加；也可将残差映射分支替换为其它编解码器架构的网络，如SegNet等。
残差块中每个卷积层后使用实例归一化计算该通道的均值和方差，并将该通道归一化为正态分布，该通道的均值与方差分别表示为：
；
；
其中，表示网络某层的输出，/>表示x中第n张图像的第c个通道中的第h行第w列个像素，N、C、H、W分别为mini-batch中的图像个数、每个图像的通道数、每个通道的高、宽，/>为很小的常数用来防止分母为0。
深度残差网络使用实例归一化（IN，InstanceNorm）作为归一化方式，其原理是：对一个mini-batch中单个图片的单个通道进行归一化，保持每个图像实例之间的独立性，使合成图像与真实采集的目标图像更相似。
S500、模型训练步骤：将多组所述源对比度图像输入至所述深度残差网络模型，并计算输出的合成图像与对应的所述目标对比度图像之间的联合损失值；
基于合成图像与对应的目标对比度图像之间的联合损失值训练深度残差网络模型，可以提高合成图像与真实采集图像之间的相似度。
模型训练步骤S500中计算输出的合成图像与对应的所述目标对比度图像之间的联合损失值的步骤包括：
S510、构建联合损失函数，所述联合损失函数由结构相似性损失、L1损失以及边缘损失组成：
；
；
；
；
；
；
其中，表示联合损失，/>表示结构相似性损失，/>表示L1损失，/>、/>和/>是损失函数的平衡系数，满足/>，且/>；
g表示大小为3X3，均值为0，标准差为3的二维高斯滤波函数，a表示合成图像，即，b表示目标对比度图像，/>、/>分别表示a、b中第i个像素，/>，/>分别为图像x的均值和标准差，/>表示合成图像与目标对比度图像之间的协方差，N表示图像中的像素个数，/>表示x中的第i个像素值值，/>和/>表示常数，避免分母接近于0时造成的不稳定性；
S520、计算输出的合成图像与对应的所述目标对比度图像之间的联合损失值。
模型训练步骤中使用由结构相似性损失（SSIM损失）、L1损失和边缘损失组成的联合损失来训练网络，能促使网络合成更清晰的图像局部边缘，同时避免重要的特征（对于膝盖部位MRI，如软骨、半月板等组织）在合成图像中模糊或者过于平滑，使合成图像与真实采集的目标图像更相似。
S600、判断是否满足终止条件，若否，更新所述深度残差网络模型的参数，并循环模型训练步骤，若是，停止训练；
终止条件包括联合损失值小于一预设阈值或者训练次数大于或等于一预设次数，本实施例中预设阈值可以为0.01，预设次数可以为200次，上述预设阈值与预设次数仅为示例，不对本申请的保护范围进行限制。
计算出联合损失值后，根据链式法则从网络输出层到输入层，依次计算每个中间层（主要是卷积层的权重和偏置）的梯度并更新，同时更新模型参数由深度学习框架（这里用的是Pytorch）自动完成。
S700、基于训练后的所述深度残差网络模型进行消融实验，获取所述合成图像与对应的所述目标对比度图像的峰值信噪比以及结构相似性；
峰值信噪比表示为：
；
；
其中，其中为均方误差函数，/>表示a中最大的像素值，n表示a、b中的像素个数，/>、/>表示a、b中第i个像素值；
结构相似性SSIM表示为：
；
其中，a表示合成图像，b表示目标对比度图像，，/>分别为图像x的均值和标准差，/>表示合成图像与目标对比度图像之间的协方差，/>和/>是常数，避免分母接近于0时造成的不稳定性；
如图4所示，利用训练后的深度残差网络模型进行消融实验，并以峰值信噪比（PSNR）以及结构相似性（SSIM）为评价指标，从而验证深度残差网络模型的优越性。
根据表1中的消融实验结果可知，将深度残差网络中的残差映射去除，并将每个残差块中的实例归一化替换成批归一化，作为基准模型。根据表1当该基准模型使用结构相似性损失（SSIM损失）以及L1损失进行训练，计算该基准模型的峰值信噪比27.66db、结构相似性为95.21%。
当在基准模型上将每一个残差块中的批归一化替换成实例归一化后，使用结构相似性损失（SSIM损失）以及L1损失进行训练，计算该基准模型的峰值信噪比28.00db、结构相似性为95.32%，峰值信噪比和结构相似性分别提高0.34db和0.11%。
当在基准模型上添加残差映射，使用结构相似性损失（SSIM损失）以及L1损失进行训练，计算该基准模型的峰值信噪比28.44db、结构相似性为95.74%，峰值信噪比和结构相似性分别提高0.78db和0.53%。
当在基准模型上使用联合损失函数进行训练，计算该基准模型的峰值信噪比28.43db、结构相似性为95.34%，峰值信噪比和结构相似性分别提高0.77db和0.13%。
当在基准模型上添加残差映射，将每一个残差块中的批归一化替换成实例归一化后，并使用联合损失函数进行训练，计算该基准模型的峰值信噪比29.62db、结构相似性为97.02%，峰值信噪比和结构相似性分别提高1.96db和1.81%。
如图4所示，因此实施例中深度残差网络模型结合实例归一化以及残差映射，同时使用联合损失函数训练上述深度残差网络模型，可以使得合成图像与真实采集的目标图像相似度更高，图像的局部边缘更为清晰。
表1：消融实验结果表
| 序号 | 模型 | PSNR（db） | SSIM（%） |
| 模型1 | 基准模型 | 27.66 | 95.21 |
| 模型2 | 基准模型+IN | 28.00 | 95.32 |
| 模型3 | 基准模型+残差映射 | 28.44 | 95.74 |
| 模型4 | 基准模型+联合损失 | 28.43 | 95.34 |
| 模型5 | 本发明提出的模型 | 29.62 | 97.02 |
S800、图像合成步骤：获取一采集图像，并进行图像预处理，录入被图像预处理后的该采集图像至所述深度残差网络模型，并利用所述深度残差网络模型输出对应的合成图像；
上述图像预处理包括如下步骤：
调整采集图像的尺寸；
对调整尺寸后的采集图像进行归一化处理；
根据采集的图像一对一合成缺失的目标对比度MRI，即合成图像，使得合成图像与真实采集的目标对比度MRI相似度高，同时图像的局部边缘更为清晰。
S900、格式调整步骤：将合成图像利用pydicom的save_as函数将其保存为dicom格式；
将深度残差网络模型模型输出的合成图像转换到0到1之间，再乘以1000，然后利用pydicom（一种用于处理DICOM格式文件的Python软件包, 版本2.3.1）的save_as函数将其保存为dicom格式，得到最终的合成结果。
本实施例能够从已扫描的对比度MRI合成未扫描的对比度MRI，且合成对比度MRI与真实采集的对比度MRI相似高，能够取代真实采集的MRI。一方面节省了扫描的时间和成本，另一方面能够提高患者的就诊体验和医院的患者吞吐量。
本实施例还提供一种磁共振图像对比度合成系统，其包括一存储介质，该存储介质包括存储器以及处理器，其中，存储器用于存储可执行程序代码，处理器连接至所述存储器，通过读取可执行程序代码来运行与可执行程序代码对应的计算机程序，以执行前述的磁共振图像对比度合成方法。
以上对本申请提供一种磁共振图像对比度合成方法及系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种磁共振图像对比度合成方法，其特征在于，包括如下步骤：
图像获取步骤：获取同一部位处两种对比度的多组样本图像，并分组定义为源对比度图像与目标对比度图像；对多组所述样本图像进行预处理；
模型构建步骤：计算被预处理后的所述源对比度图像到所述目标对比度图像的残差映射，并构建一深度残差网络模型；
模型训练步骤：将多组所述源对比度图像输入至所述深度残差网络模型，并计算输出的合成图像与对应的所述目标对比度图像之间的联合损失值；
判断是否满足终止条件，若否，更新所述深度残差网络模型的参数，并返回模型训练步骤，若是，停止训练；
图像合成步骤：获取一采集图像，并进行图像预处理，录入被图像预处理后的该采集图像至所述深度残差网络模型，并利用所述深度残差网络模型输出对应的合成图像。
2.根据权利要求1所述的磁共振图像对比度合成方法，其特征在于，所述图像获取步骤之前，还包括如下步骤：
录入多组MRI图像，并建立一个图像数据库，每一组所述MRI图像包括同一部位的两个不同对比度的样本图像。
3.根据权利要求1所述的磁共振图像对比度合成方法，其特征在于，
所述预处理的步骤包括如下步骤：
调整所述源对比度图像的尺寸与所述目标对比度图像的尺寸一致；
将调整尺寸后的所述源对比度图像与所述目标对比度图像在空间上进行对齐；
将对齐后的所述源对比度图像与所述目标对比度图像进行归一化处理；
所述图像预处理的步骤包括如下步骤：
调整所述采集图像的尺寸；
对调整尺寸后的所述采集图像进行归一化处理。
4.根据权利要求1所述的磁共振图像对比度合成方法，其特征在于，在所述模型构建步骤中包括如下步骤：
利用深度残差网络的残差块提取所述源对比度图像的特征；
利用深度残差网络的最大池化层降低特征图尺寸；同时利用深度残差网络将最大池化层前的特征图以通道拼接的方式融合至对应尺度的反卷积层后的特征图；以及
基于双曲正切激活函数的卷积层输出合成图像。
5.根据权利要求4所述的磁共振图像对比度合成方法，其特征在于，
所述利用深度残差网络的残差块提取所述源对比度图像的特征的步骤中，所述残差块中每个卷积层后使用实例归一化计算该通道的均值和方差/>，并将该通道归一化为正态分布，该通道的均值与方差分别表示为：
；
；
其中，表示网络某层的输出，/>表示x中第n张图像的第c个通道中的第h行第w列个像素，N、C、H、W分别为mini-batch中的图像个数、每个图像的通道数、每个通道的高、宽，/>为很小的常数用来防止分母为0。
6.根据权利要求1所述的磁共振图像对比度合成方法，其特征在于，所述模型训练步骤中计算输出的合成图像与对应的所述目标对比度图像之间的联合损失值的步骤，具体包括如下步骤：
构建联合损失函数，所述联合损失函数由结构相似性损失、L1损失以及边缘损失组成：
；
；
；
；
其中，表示联合损失，/>表示结构相似性损失，/>表示L1损失，/>、/>和/>是损失函数的平衡系数，满足/>，且/>；
表示大小为3X3，均值为0，标准差为3的二维高斯滤波函数，a表示合成图像，即，b表示目标对比度图像，/>、/>分别表示a、b中第i个像素，/>，/>分别为图像x的均值和标准差，/>表示合成图像与目标对比度图像之间的协方差，N表示图像中的像素个数，/>表示X中的第i个像素值值，/>和/>表示常数，避免分母接近于0时造成的不稳定性；以及
计算输出的合成图像与对应的所述目标对比度图像之间的联合损失值。
7.根据权利要求1所述的磁共振图像对比度合成方法，其特征在于，所述终止条件包括：
联合损失值小于一预设阈值；或者
训练次数大于或等于一预设次数。
8.根据权利要求1所述的磁共振图像对比度合成方法，其特征在于，所述判断是否满足终止条件的步骤之后，还包括：
基于训练后的所述深度残差网络模型进行消融实验，获取所述合成图像与对应的所述目标对比度图像的峰值信噪比以及结构相似性；
峰值信噪比表示为：
；
；
其中，其中为均方误差函数，/>表示a中最大的像素值，n表示a、b中的像素个数，/>、/>表示a、b中第i个像素值；
结构相似性SSIM表示为：
；
其中，a表示合成图像，b表示目标对比度图像，，/>分别为图像X的均值和标准差，表示合成图像与目标对比度图像之间的协方差，/>和/>是常数，避免分母接近于0时造成的不稳定性。
9.根据权利要求1所述的磁共振图像对比度合成方法，其特征在于，在所述图像合成步骤之后，还包括格式调整步骤：
将所述合成图像利用pydicom的save_as函数将其保存为dicom格式。
10.一种存储介质，其特征在于，包括：
存储器，用于存储可执行程序代码；以及
处理器，连接至所述存储器，通过读取所述可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以执行如权利要求1-9中任一项所述的磁共振图像对比度合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310877516.3A CN116596825B (zh) | 2023-07-18 | 2023-07-18 | 磁共振图像对比度合成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310877516.3A CN116596825B (zh) | 2023-07-18 | 2023-07-18 | 磁共振图像对比度合成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116596825A true CN116596825A (zh) | 2023-08-15 |
| CN116596825B CN116596825B (zh) | 2023-10-17 |
Family
ID=87604868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310877516.3A Active CN116596825B (zh) | 2023-07-18 | 2023-07-18 | 磁共振图像对比度合成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596825B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019161043A1 (en) * | 2018-02-15 | 2019-08-22 | GE Precision Healthcare LLC | System and method for synthesizing magnetic resonance images |
| WO2019235821A1 (ko) * | 2018-06-05 | 2019-12-12 | 네이버 주식회사 | 모바일 환경에서 실시간 추론이 가능한 dnn 구성을 위한 최적화 기법 |
| CN113610736A (zh) * | 2021-07-16 | 2021-11-05 | 华东师范大学 | 基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法及系统 |
| CN114187217A (zh) * | 2021-11-24 | 2022-03-15 | 中南民族大学 | 基于多尺度结构相似性和长程依赖性的图像合成法及装置 |
| WO2022120661A1 (zh) * | 2020-12-09 | 2022-06-16 | 深圳先进技术研究院 | 一种用于多任务医学图像合成的先验指导型网络 |
| US20220318946A1 (en) * | 2021-03-31 | 2022-10-06 | University Of Electronic Science And Technology Of China | Method for image shape transformation based on generative adversarial network |
| WO2023073165A1 (en) * | 2021-11-01 | 2023-05-04 | Bayer Aktiengesellschaft | Synthetic contrast-enhanced mr images |
-
2023
- 2023-07-18 CN CN202310877516.3A patent/CN116596825B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019161043A1 (en) * | 2018-02-15 | 2019-08-22 | GE Precision Healthcare LLC | System and method for synthesizing magnetic resonance images |
| WO2019235821A1 (ko) * | 2018-06-05 | 2019-12-12 | 네이버 주식회사 | 모바일 환경에서 실시간 추론이 가능한 dnn 구성을 위한 최적화 기법 |
| WO2022120661A1 (zh) * | 2020-12-09 | 2022-06-16 | 深圳先进技术研究院 | 一种用于多任务医学图像合成的先验指导型网络 |
| US20220318946A1 (en) * | 2021-03-31 | 2022-10-06 | University Of Electronic Science And Technology Of China | Method for image shape transformation based on generative adversarial network |
| CN113610736A (zh) * | 2021-07-16 | 2021-11-05 | 华东师范大学 | 基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法及系统 |
| WO2023073165A1 (en) * | 2021-11-01 | 2023-05-04 | Bayer Aktiengesellschaft | Synthetic contrast-enhanced mr images |
| CN114187217A (zh) * | 2021-11-24 | 2022-03-15 | 中南民族大学 | 基于多尺度结构相似性和长程依赖性的图像合成法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| AKSHAY DUDHANE等: "RI-GAN: An End-to-End Network for Single Image Haze Removal", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), pages 2016 - 2019 * |
| FEI GAO等: "Deep Residual Inception Encoder–Decoder Network for Medical Imaging Synthesis", IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, vol. 24, no. 1, pages 42 - 43 * |
| 曹国刚等: "基于优化循环生成对抗网络的医学图像合成方法", 数据采集与处理, vol. 37, no. 01, pages 155 - 163 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116596825B (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| CN111091589A (zh) | 基于多尺度监督学习的超声和核磁图像配准方法及装置 | |
| CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
| CN109767459A (zh) | 新型眼底图配准方法 | |
| CN113450328A (zh) | 基于改进神经网络的医学图像关键点检测方法及系统 | |
| CN112561877B (zh) | 多尺度双通道卷积模型训练方法、图像处理方法及装置 | |
| CN113744271A (zh) | 基于神经网络的视神经自动分割和受压迫程度测算方法 | |
| CN110826467A (zh) | 一种电子显微镜图像重建系统及其方法 | |
| Saeed et al. | A granular level feature extraction approach to construct hr image for forensic biometrics using small training dataset | |
| CN115908449A (zh) | 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置 | |
| CN116612174A (zh) | 软组织的三维重建方法、系统及计算机存储介质 | |
| CN112750137A (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
| CN117911432A (zh) | 图像分割方法、装置及存储介质 | |
| CN116596825B (zh) | 磁共振图像对比度合成方法及系统 | |
| CN112200810A (zh) | 多模态的自动化脑室分割系统及其使用方法 | |
| CN112767403A (zh) | 医学影像分割模型训练方法、医学影像分割方法及装置 | |
| CN115311258B (zh) | 一种spect平面图像中自动分割器官的方法和系统 | |
| CN111325756A (zh) | 基于深度学习网络的三维影像动静脉分割方法及系统 | |
| US20130308876A1 (en) | Process and apparatus for data registration | |
| CN115546270A (zh) | 多尺度特征融合的图像配准方法、模型训练方法及设备 | |
| CN114419015A (zh) | 一种基于多模态配准的脑功能融合分析方法 | |
| CN114119558A (zh) | 一种自动生成鼻咽癌影像诊断结构化报告方法 | |
| CN116958217B (zh) | 一种mri与ct多模态3d自动配准方法及装置 | |
| CN112215814B (zh) | 基于3dhog辅助卷积神经网络的前列腺图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |