CN112132790A - Dac-gan模型构建方法及在乳腺mr图像中的应用 - Google Patents

Abstract

本发明公开了一种DAC‑GAN模型构建方法及在乳腺MR图像中的应用，步骤1、获取乳腺MR图像数据集D，所述数据集D内数据包括M个患者的T1WI序列、DWI序列、T2WI序列、DCE动态增强序列图像以及该患者的诊断结果；步骤2、将步骤1得到的数据集D中M个T1WI序列图像设为T1数据集，将DCE动态增强序列图像设为DCE数据集；步骤3、将步骤2得到的T1数据集和DCE数据集进行灰度值归一化，步骤4、通过引入Non‑local注意力网络和Channel‑attention网络改进现有的GAN模型得到构建DAC‑GAN模型，通过该模型可对待测乳腺MR图像进行推演。

Description

DAC-GAN模型构建方法及在乳腺MR图像中的应用

技术领域

本发明属于医学图像应用技术领域，具体涉及一种DAC-GAN模型构建方法，还涉及上述DAC-GAN模型在乳腺MR图像中的应用。

背景技术

目前，乳腺癌已经成为全球女性癌症死亡的主要原因，早发现、早诊断，早治疗能够显著提升乳腺癌患者的5年生存率，动态增强扫描(Dynamic contrast-enhanced MRI，DCE-MRI)作为一种非常有价值的定量MRI技术，在乳腺癌早期发现及诊断中作出了巨大作用。但是传统的乳腺MR检查耗时长、费用高，并且存在患者造影剂过敏的风险及造影剂导致的相关不良反应，如钆剂在脑内沉积、肾功异常等。随着“互联网+医疗”时代的到来，人工智能技术已经解决了不少临床医学问题，使得设计及开发新型乳腺影像辅助诊断技术成为可能。近年来，生成对抗网络(Generative Adversarial Networks,GAN)通过特征提取和目标生成的方式实现了推演图像的生成，使医学图像的生成和图像质量的提升不再单纯的依赖硬件采集的原始数据，为医学图像获取、图像质量改进及图像的转化提供了新的思路和可能。Cai L等研究者运用GAN技术实现了推演PET的生成，Frid-Adar和Mishra D等人也分别实现了CT和超声推演图像的生成。并且，Huang等利用基于上下文感知的GAN网络通过脑部的T1图像推演生成了T1增强、T2及T2 Flair图像，而且推演图像可进一步提升胶质瘤评级的准确性，该研究证明了推演图像在临床诊断中的潜在价值。虽然GAN在医学影像领域的研究进展喜人，但多集中在影像模态之间的转化，部分生成的图像质量仍不能满足临床需求；另外，GAN算法在乳腺MR序列图像推演中的相关研究仍处于起步阶段。本发明针对图像推演技术现存的缺陷，提出了一种基于DAC-GAN模型的构建方法。

发明内容

本发明的第一个目的是提供一种DAC-GAN模型构建方法，构建出的DAC-GAN模型不仅能够实现MR不同序列图像间的转化，还能提高现有乳腺MR图像提取的准确性。

本发明的第二个目的是提供DAC-GAN模型在乳腺MR图像中的应用。

本发明所采用的第一种技术方案是：DAC-GAN模型构建方法，具体按照以下步骤进行：

步骤1、获取乳腺MRI图像数据集D，所述数据集D内数据包括M个患者的T1WI序列、DWI序列、T2WI序列、DCE动态增强序列图像以及该患者的诊断结果；

步骤2、将步骤1数据集D中M个T1WI序列图像设为T1数据集，M个DCE动态增强序列图像设为DCE数据集；

步骤3、将步骤2得到的T1数据集和DCE数据集进行灰度值归一化，

步骤4、通过引入Non-local注意力网络和Channel-attention网络改进现有的GAN模型得到构建DAC-GAN模型。

本发明所采用第一种技术方案的特点还在于，

步骤3中灰度值范围由0～255转换为0～1。

步骤4中具体步骤如下：

步骤4.1：构建基于GAN网络模型的图像推演模型；

步骤4.2：引入Channel-attention网络动态调节步骤4.1得到的图像推演模型中各通道的权重系数；

步骤4.3：在步骤4.2得到的网络模型中引入Non-local注意力网络，具体操作为：将步骤4.2中的输出结果送入Non-local注意力网络，用3个卷积核大小为1×1的卷积网络对输入的卷积后的数据进行处理，并将结果分别送入θ、φ和γ通道，然后将H×W二维数据合并为一维数据HW，然后将θ和φ的结果进行矩阵相乘获得位置对应矩阵：

式中：x_i是输入，y_i是输出，i是输出图像特征对应的位置索引，j是图像中其他特征对应的位置索引，

表示j的取值范围，f(x_i,x_j)是计算任意两个特征之间的相关系数的函数，g(x_i)表示是位于j处的特征输入，D(x)为归一化常量；

步骤4.4：基于步骤4.1、4.2、4.3得到DAC-GAN模型，将待测T1WI序列图像输入DAC-GAN模型中，输出即得到该待测图像的DCE序列图像。

4.根据权利要求3所述的DAC-GAN模型构建方法，其特征在于，所述步骤4.2的具体操作为：

步骤4.2.1：卷积操作

对步骤3得到的T1数据集中T1WI序列图像数据进行卷积操作，如公式(2)所示：

式中：*表示卷积操作，c表示的是滤波器的个数，s表示每次使用的滤波器，

表示二维平面的卷积操作，x^s表示二维的输入数据，u_c为叠加的最终结果；

步骤4.2.2：特征压缩

将步骤4.2.1卷积操作的输出结果u_c作为输入进行特征压缩，如公式(3)所示：

式中：Z_c为压缩特征，F_sq表示对输入的数据进行压缩，u_c为步骤4.2.1卷积操作的输出结果，表示图像的卷积结果，W代表卷积后图像的宽度，H表示卷积后图像的高度，i是输出图像特征对应的位置索引，j是图像中其他特征对应的位置索引，u_c(i,j)表示u_c中下表索引i,j对应的像素值，即对u_c中所有像素值进行累加求平均值；

步骤4.2.3：权重分配

将步骤4.2.2特征压缩的输出结果Z_c作为输入，使用一个全连接的神经网络对输入进行非线性变化：

s＝F_ex(Z,W)＝σ(g(Z,W))＝σ(W₂δ(W₁Z)) (4)

式中：s表示非线性变化结果，F_ex表示对输入的数据进行权重分配，Z表示步骤4.2.2的输出结果，W、W₂、W₁分别表示神经网络中的权重系数，σ表示sigm oid激活函数，δ表示soft max激活函数；

步骤4.2.4：通道权重的标定

将步骤4.2.3权重分配的输出结果s作为各通道的权重系数，将各通道的权重系数与对应通道提取的特征相乘，作为各通道最终输出：

x_c＝F_scale(u_c,S_c)＝S_c*u_c (5)

式中，x_c表示各通道的权重系数与对应通道提取的特征相乘结果的最终输出；F_scale表示重新给各通道分配权重，u_c表示输入数据卷积后的结果，S_c表示通过特征压缩和权重分配操作后赋予每个通道的权重。

本发明所采用的第二种技术方案是DAC-GAN模型在乳腺MR图像中的应用。

本发明的有益效果：

1、本发明构建的DAC-GAN模型，在确保患者检查准确性及灵敏性的前提下，能够有效避免患者在进行乳腺MR检查过程中造影剂过敏现象的发生，且可以显著缩短患者检查时间，提高患者诊断效率。

2、采用本发明构建的DAC-GAN模型在图像推演的过程中，能够全面、有效的提取图像特征，从而提高了生成的推演图像的质量。

附图说明

图1是本发明一种DAC-GAN模型构建方法的流程图；

图2是本发明引入的Channel-attention网络结构示意图；

图3是本发明引入的Non-local网络结构示意图；

图4是本发明构建的DAC-GAN模型原理图；

图5是本发明DAC-GAN推演方法及临床诊断应用价值评估流程图；

图6为本发明DAC-GAN推演图像模型性能测试过程图；

图7为本发明DAC-GAN模型自动生成推演DCE-MRI图像序列图。

具体实施方式

下面根据附图和具体实施方式对本发明作进一步阐述。

如图1所示，使用Python3.7版本构建用于乳腺MR图像推演的DAC-GAN模型，具体按照以下步骤实施：

步骤1：乳腺MRI图像采集

将每个患者的T1WI序列、DWI序列、T2WI序列和DCE动态增强序列图像以及该患者的诊断结果作为一个样本，提取M个患者样本信息构成数据集D。

数据集D中样本序列图像通过以下步骤具体收集：

回顾性收集患者的乳腺MR检查的俯卧位图像，所有受试者均使用西门子MAGNETOMPrisma 3.0TMR进行检查，收集的患者常规乳腺MR平扫序列包括：轴位SE T1WI、T1WI；轴位Dixon T2WI；采集的乳腺MR动态增强扫描(DCE-MRI)序列，采用西门子乳腺动态增强扫描专用序列VIBE，TR3.9ms，TE最小值，FOV36cm×36cm，矩阵320×320，层厚1.0mm，层间距0，另外，还需要收集患者的多b值DWI扫描序列及高清DWI扫描序列。

步骤2：图像分类

将数据集D中T1WI序列图像设置为T1数据集，将数据集D中DCE动态增强序列图像设置为DCE数据集。

步骤3：图像的预处理

对T1、DCE两个数据集中图像的灰度值归一化，灰度值范围由0～255转换为0～1，归一化能够有效降低模型训练的复杂度，提高模型的稳定性。

步骤4：通过引入Non-local注意力网络和Channel-attention网络改进现有的GAN模型构建DAC-GAN模型，实现利用患者的乳腺T1WI序列图像推演生成DCE动态增强序列图像。

步骤4.1：构建基于GAN网络模型的图像推演模型

该模型主要包括生成器G和判别器D两个部分，生成器G用来生成与真实乳腺DCE-MRI序列图像尽量相似的推演乳腺DCE-MRI序列图像，判别器D用来判断生成的推演DCE-MRI序列图像与真实图像的一致性。

步骤4.2：如图2所示，引入Channel-attention网络动态调节现有GAN网络模型中各通道的权重系数：本发明通过引入通道注意力机制动态调节GAN网络模型各通道的权重系数，以便模型能够提取更优的特征，该步骤主要包括卷积操作、特征压缩、权重分配及通道权重的标定四个部分。

步骤4.2.1：卷积操作

对步骤3得到的T1数据集中T1WI序列图像数据进行卷积操作，如公式(1)所示：

式中：*表示卷积操作，c表示的是滤波器的个数，s表示每次使用的滤波器，

表示二维平面的卷积操作，x^s表示二维的输入数据，u_c为叠加的最终结果。

步骤4.2.2：特征压缩：

将步骤4.2.1卷积操作的输出结果u_c作为输入进行特征压缩，如公式(2)所示：

式中：Z_c为压缩特征，F_sq表示对输入的数据进行压缩，u_c为步骤4.2.1卷积操作的输出结果，表示图像的卷积结果，W代表卷积后图像的宽度，H表示卷积后图像的高度，i是输出图像特征对应的位置索引，j是图像中其他特征对应的位置索引，u_c(i,j)表示u_c中下表索引i,j对应的像素值，即对u_c中所有像素值进行累加求平均值。

步骤4.2.3：权重分配

将步骤4.2.2特征压缩的输出结果Z_c作为输入，使用一个全连接的神经网络对输入进行非线性变化：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z)) (3)

式中：s表示非线性变化结果，F_ex表示对输入的数据进行权重分配，Z表示步骤4.2.2的输出结果，W、W₂、W₁分别表示神经网络中的权重系数，σ表示sigm oid激活函数，δ表示soft max激活函数。

步骤4.2.4：通道权重的标定

将步骤4.2.3权重分配的输出结果s作为各通道的权重系数，将各通道的权重系数与对应通道提取的特征相乘，作为各通道最终输出：

x_c＝F_scale(u_c,S_c)＝S_c*u_c (4)

式中，x_c表示各通道的权重系数与对应通道提取的特征相乘结果的最终输出；F_scale表示重新给各通道分配权重，u_c表示输入数据卷积后的结果，S_c表示通过特征压缩和权重分配操作后赋予每个通道的权重。

步骤4.3：如图3所示，在步骤4.2得到的网络模型中引入Non-local注意力网络

将步骤4.2.4中的输出结果送入Non-local注意力网络，用3个卷积核大小为1×1的卷积网络对输入的卷积后的数据进行处理，并将结果分别送入θ、φ和γ通道，然后将H×W二维数据合并为一维数据HW，然后将θ和φ的结果进行矩阵相乘获得位置对应矩阵。

式中：x_i是输入，y_i是输出，i是输出图像特征对应的位置索引，j是图像中其他特征对应的位置索引，

表示j的取值范围，f是计算任意两个特征之间的相关系数的函数，g(x_i)表示是位于j处的特征输入，D(x)为归一化常量；即：f用来衡量不同图像特征之间的权重系数，通过求解所有特征和当前特征的相关系数，并将结果求和归一化来表示当前特征的含义。

本专利使用了Embedded Gaussian函数对f函数进行了定义：

公式6中，x_i和x_j分别表示两种不同的属性特征，θ表示的是对输入的内容进行卷积操作，D(x)表示归一化常量，T代表转置。

步骤4.4：基于步骤4.1、4.2、4.3构建DAC-GAN模型实现对乳腺DCE-MRI序列图像推演，DAC-GAN模型的结构示意图如图4所示。DAC-GAN模型在生成乳腺DCE-MRI推演图像的过程中，首先，模型的生成器模块引入Non-local注意力网络和Channel-attention网络，能够全面、有效的提取图像特征，提高生成的推演图像的质量；然后，通过判别器判断生成的推演DCE图像与真实DCE图像的一致性；最后，输出与真实DCE一致的推演DCE序列图像。

步骤5：DAC-GAN模型性能验证评估

为了测试本专利提出的模型性能，将步骤1的数据集D中的划分为两部分，一部分为训练集(70％的数据集)，一部分为测试集(30％的数据集)。训练集用于训练DAC-GAN模型，测试集用于测试该模型的性能。

图5是本发明专利DAC-GAN模型的推演方法及临床诊断应用价值评估流程图：首先，在DAC-GAN模型中输入原始域图像T1WI序列图像，生成器通过对T1WI序列图像特征提取，找到T1WI序列图像的特征与目标域DCE-MRI序列图像间的一个映射关系，生成目标域的推演DCE-MRI序列图像；然后，通过判别器判断生成的推演DCE-MRI序列图像与真实DCE-MRI序列图像的一致性，当与真实DCE-MRI序列图像一致时，输出推演DCE-MRI序列图像，最后，通过医生评估推演DCE-MRI序列图像的医生诊断价值，通过医生评估结果，进一步优化DAC-GAN模型。

图6为本发明DAC-GAN推演图像模型性能测试过程图；本发明利用测试集验证本发明DAC-GAN推演图像模型的正确性及有效性。在测试过程中，向DAC-GAN推演图像模型中输入患者的T1WI序列图像，模型自动生成推演DCE-MRI序列图像，影像科医生通过评估比较推演DCE-MRI序列图像与真实DCE-MRI序列图像的一致性及临床应用有效性，验证验证DAC-GAN推演图像模型的正确性及有效性。

图7为本发明DAC-GAN模型自动生成推演DCE-MRI图像序列图；本发明提出的DAC-GAN推演图像模型能够能够通过分析患者的T1WI序列自动生成推演DCE-MRI序列图像，下图中从左到右依次为：患者的真实T1WI序列图像，患者的推演DCE-MRI序列图像。在患者的推演DCE-MRI图像中，患者心脏大血管、背景实质及乳腺病灶区域均得到了强化，提示本专利提出的DAC-GAN推演图像模型能够利用患者T1WI序列图像有效推演出DCE-MRI序列图像。

本发明GAN算法能够有效合成目标图像，已经被广泛应用在医学领域；GAN框架主要包括生成器(G)、判别器(D)及训练数据集三个部分，生成器学习输入的数据信息的特征，通过寻找某种映射关系，推演生成目标数据；判别器用于判断、识别推演目标数据与真实数据的一致性；判别器判断结果反向调节生成器生成的推演数据结果，最终通过该过程输出符合要求的推演数据。传统的GAN模型在进行特征提取时存在忽略不同通道提取特征对模型构建的贡献度不同及只提取局部信息的问题。本发明为了提高推演模型性能，引入通道注意力机制实现动态调节各通道的权重系数及引入了Non-local注意力网络能够充分考虑到卷积核之外的特征对卷积核内属性的影响，有效帮助模型获得更全面的特征。如下图7所示，图中右侧图像为乳腺推演DCE-MRI序列图像，病灶区域已经得到了显著强化，验证了本发明的正确性及有效性。

Claims (5)

1.DAC-GAN模型构建方法，其特征在于，具体按照以下步骤进行：

步骤1：获取乳腺MR图像数据集D，所述数据集D内数据包括M个患者的T1WI序列、DWI序列、T2WI序列、DCE动态增强序列图像以及该患者的诊断结果；

步骤2：将数据集D中M个T1WI序列图像设为T1数据集，将数据集D中M个DCE动态增强序列图像设为DCE数据集；

步骤3：将步骤2得到的T1数据集和DCE数据集进行灰度值归一化，

步骤4：通过引入Non-local注意力网络和Channel-attention网络改进现有的GAN模型得到构建DAC-GAN模型。

2.根据权利要求1所述的DAC-GAN模型构建方法，其特征在于，所述步骤3中灰度值范围由0～255转换为0～1。

3.根据权利要求1所述的DAC-GAN模型构建方法，其特征在于，所述步骤4中具体步骤如下：

步骤4.1：构建基于GAN网络模型的图像推演模型；

步骤4.2：引入channel-attention网络动态调节步骤4.1得到的图像推演模型中各通道的权重系数；

步骤4.3：在步骤4.2得到的网络模型中引入Non-local注意力网络，具体操作为：将步骤4.2中的输出结果送入Non-local注意力网络，用3个卷积核大小为1×1的卷积网络对输入的卷积后的数据进行处理，并将结果分别送入θ、φ和γ通道，然后将H×W二维数据合并为一维数据HW，然后将θ和φ的结果进行矩阵相乘获得位置对应矩阵：

式中：x_i是输入，y_i是输出，i是输出图像特征对应的位置索引，j是图像中其他特征对应的位置索引，

表示j的取值范围，f是计算任意两个特征之间的相关系数的函数，g(x_i)表示是位于j处的特征输入，D(x)为归一化常量；

步骤4.4：基于步骤4.1、4.2、4.3得到DAC-GAN模型，将待测T1WI序列图像输入DAC-GAN模型中，输出即得到该待测图像的DCE序列图像。

4.根据权利要求3所述的DAC-GAN模型构建方法，其特征在于，所述步骤4.2的具体操作为：

步骤4.2.1、卷积操作

对步骤1得到的T1WI序列图像数据进行卷积操作，如公式(2)所示：

式中：*表示卷积操作，c表示的是滤波器的个数，s表示每次使用的滤波器，

表示二维平面的卷积操作，x^s表示二维的输入数据，u_c为叠加的最终结果；

步骤4.2.2、特征压缩

将步骤4.2.1卷积操作的输出结果u_c作为输入进行特征压缩，如公式(3)所示：

式中：Z_c为压缩特征，F_sq表示对输入的数据进行压缩，u_c为步骤4.2.1卷积操作的输出结果，表示图像的卷积结果，W代表卷积后图像的宽度，H表示卷积后图像的高度，i是输出图像特征对应的位置索引，j是图像中其他特征对应的位置索引，u_c(i,j)表示u_c中下表索引i,j对应的像素值，即对u_c中所有像素值进行累加求平均值；

步骤4.2.3、权重分配

将步骤4.2.2特征压缩的输出结果Z_c作为输入，使用一个全连接的神经网络对输入进行非线性变化：

s＝F_ex(Z,W)＝σ(g(Z,W))＝σ(W₂δ(W₁Z)) (4)

式中：s表示非线性变化结果，F_ex表示对输入的数据进行权重分配，Z表示步骤4.2.2的输出结果，W、W₂、W₁分别表示神经网络中的权重系数，σ表示sigmoid激活函数，δ表示softmax激活函数；

步骤4.2.4、通道权重的标定

将步骤4.2.3权重分配的输出结果s作为各通道的权重系数，将各通道的权重系数与对应通道提取的特征相乘，作为各通道最终输出：

x_c＝F_scale(u_c,S_c)＝S_c*u_c (5)

式中，x_c表示各通道的权重系数与对应通道提取的特征相乘结果的最终输出；F_scale表示重新给各通道分配权重，u_c表示输入数据卷积后的结果，S_c表示通过特征压缩和权重分配操作后赋予每个通道的权重。

5.根据权利要求1～4任一项所述的DAC-GAN模型在乳腺MR图像中的应用。

Images