CN115908599A - 一种主动脉夹层术后影像的生成方法 - Google Patents

Abstract

本发明公开了一种主动脉夹层术后影像的生成方法，提出了用于未配对影像生成的MARTF‑GAN模型，基于术前影像生成患者的术后影像，给手术方案制定提供可靠的指导。该模型生成器由注意力编码器、RTF模块、注意力解码器组成。注意力编码器通过全局上下文注意力提取较为丰富的图像特征；RTF模块位于注意力编码器和注意力解码器之间，对注意力编码器的输出特征图进行深层次的全局和局部信息提取融合，提取高级语义信息；注意力解码器的作用是根据高级语义信息生成最终的术后影像，在注意力掩码的指导下能够生成语义较为丰富的图像。该方法整体指标的性能优于Munit、AttGan、QsaGan和CycleGan模型。

Description

一种主动脉夹层术后影像的生成方法

技术领域

本发明涉及一种主动脉夹层术后影像的生成方法。

背景技术

主动脉夹层(AD)是由主动脉内膜破裂引起的一种严重的血管疾病，在血液压力的作用下，会将主动脉分隔成真腔和假腔。假腔的存在使得患者容易出现真腔供血不足、假腔破裂等问题。主动脉治疗常采用支架植入到真腔中，以此来压缩假腔，其在术后随访影像中近心端的表征呈现为假腔和破口消失、主动脉边缘呈齿轮状等。由于手术治疗仅处理近心端的夹层，对于夹层累及降主动脉及以下部位的病例，远端主动脉部位仍可能呈夹层状。这使得术后主动脉远端扩张而发展为主动脉破裂的发生率逐渐增多，主动脉夹层成为了一种高死亡率的主动脉疾病。有研究表明，其发病率和院内死亡率呈逐年增加的趋势。图1展示的是同一病例不同部位在术前术后影像中的主要表征。

医生常通过分析计算机断层扫描(CT)影像来制定手术计划、引导主动脉插管植入和术后随访评估。然而，单个患者一次CT扫描就有多达600～800张的CT切片需要人工筛选，这大大降低了诊断效率。为了减轻医生的负担，已有研究开始结合深度学习算法对术前影像中的主动脉夹层进行自动分割与检测。术后影像是评估治疗效果的最主要依据，Zhu等人结合术后CT影像重建和流体动力学分析，尝试预测夹层术后的扩张风险。也有研究利用临床检查数据，结合神经网络、逻辑回归等预测模型实现对术后并发症的预测，避免过度治疗。但是，利用术前影像生成术后影像尚无公开发表的研究。本发明研究利用患者未配对的术前术后影像数据集训练生成模型，旨在术前根据患者术前影像生成出对应高保真的术后影像图，给医生提供主动脉部位术后恢复情况的预估，这有助于手术方案的制定以及预测远端主动脉扩大的风险。同时，医学图像生成算法的发展给术后影像生成提供了可行性。

目前，关于医学图像生成的算法主要基于生成对抗网络(GAN)框架。GAN一般由一个生成器网络和一个鉴别器网络组成，基于零和博弈思想，使生成器和鉴别器进行对抗学习。生成器尽可能地使生成影像能够欺骗鉴别器，鉴别器以尽可能地区分生成影像和真实影像，最终达到纳什平衡的状态。Pix2Pix是一个经典的基于GAN的框架，其在CT降噪和MR图像重建任务中性能优异，但需要成对的数据用于模型训练。然而，医学图像成像设备、造影剂浓度和人体实时状态等因素的不同，对人体同一个部位不同时间所采集的医学图像也存在着差异。这使得获取成对的医学影像极为困难。CycleGAN的提出，解决了模型依赖成对数据集的问题，其通过引入循环一致性损失来约束网络的训练，学习源域到目标域的映射关系，主要用于模态转换、图像分割等。

医学图像合成中长期存在的一个挑战是感兴趣区域(Region of interest，ROI)的分辨率较低，可能会显示模糊的边界。RegGAN基于“损失校验”理论，将未成对的目标图像视为噪声标签，利用配准网络来自适应地拟合未成对的噪声分布。通过配准网络来对齐源域和目标域的方法虽然稳定有效地提升性能，但由于真实的未配对图像噪声分布较广，这类方法难以在未配对数据集上取得效果提升。

上述研究表明了当前医学图像生成中存在两个问题，一是感兴趣区域的分辨率较低，二是未配对影像难以实现有效对齐。因此，有必要设计一种主动脉夹层术后影像的生成方法。

发明内容

本发明所要解决的技术问题是提供一种主动脉夹层术后影像的生成方法，该主动脉夹层术后影像的生成方法采用全新的模式和算法，能获得更接近真实的术后影像。

发明的技术解决方案如下：

一种主动脉夹层术后影像的生成方法，采用用于未配对影像生成的MARTF-GAN模型 (MA是多种注意力，GAN是生成对抗网络，RTF是Residual Transformer Fusion，融合模块，)基于术前影像生成患者的术后影像；

所述的MARTF-GAN模型包括注意力编码器、RTF模块(RTF是Residual TransformerFusion，即残差Transformer融合模块，残差Transformer融合(Residual transformerfusion，RTF)模块位于编码器和解码器之间的瓶颈层，为一个双分支的特征提取融合模块、注意力解码器；

(1)注意力编码器通过全局上下文注意力提取的图像特征，得到输出特征图；

(2)RTF模块位于注意力编码器和注意力解码器之间，对注意力编码器的输出特征图进行深层次的全局和局部信息提取融合，提取高级语义信息；

(3)注意力解码器作用是根据高级语义信息生成最终的术后影像，在注意力掩码的指导下能够生成图像。

注意力编码器包括下采样层结构和全局上下文注意力模块；

下采样层结构是由一个3×3的卷积、InstanceNorm和Relu激活函数组成。

全局上下文注意力模块的结构如图3中b部分所示。全局上下文注意力模块由全局平均池化操作、特征转化、特征融合三个部分组成。全局平均池化操作由1xl卷积和softmax激活函数实现，特征转化由1x1卷积、层归一化(LayerNorm)、ReLU激活函数组成的瓶颈结构，特征融合采用广播机制进行对应元素相加操作。

3.根据权利要求2所述的主动脉夹层术后影像的生成方法，其特征在于，

注意力解码器由内容分支和注意力分支组成，内容分支用于计算内容掩码，注意力分支关注于图像构建过程中主要信息，生成的注意力掩码用于指导融合了输入的特征内容掩码生成影像。

4.根据权利要求3所述的主动脉夹层术后影像的生成方法，其特征在于，

生成器输入维度为1×256×256的灰度图(1x256x256中，前面1表示通道数，1x256x256 表示单通道的灰度图；彩色图一般为三通道3x256x256.意思有三个256x256的矩阵组成)，经过一个卷积块(Conv Block)生成维度为64×256×256的特征图；该卷积块对边界进行了 Reflection Padding，保留边界信息的同时保证输出特征与输入图像大小相同；然后利用大小为7×7的卷积核进行卷积运算，以尽可能地保留输入图像的特征信息；

下采样层结构是由一个3×3的卷积、InstanceNorm和Relu激活函数组成；假定下采样的输入维度为C×H×W，那么下采样输出维度为2C×H/2×W/2的特征图；在每个下采样层后引入的全局上下文注意力，提取更加多样化的特征，但不改变特征图大小；在经过两个下采样层和注意力后，输出的特征维度为256×64×64；RTF模块采用残差卷积块与transformer 块并行的结构，将全局和局部特征相融合，采用特征压缩的方式将特征维度重构为256×64×64；

解码层采用两条分支，一条分支用于计算注意力掩码，一条用来计算内容掩码；二者都使用逆卷积操作来进行特征上采样，经过两个上采样后输出的特征维度为64×256×256；最后利用卷积进行特征维度压缩，将内容掩码与模型输入进行拼接，在注意力掩码的指导下，完成图像重建，得到大小为1×256×256的输出结果。

5.根据权利要求4所述的主动脉夹层术后影像的生成方法，其特征在于，

全局上下文注意力块的处理过程为：

首先采用1x1卷积对下采样的特征图生成一张注意力掩码然后经过维度交换(首先Ma的H和W相乘，变成1xH1W1，然后，交换两个位置，变成W1H1x1，最后升维操作变成W1H1x1x1)后得到将f^dowm的维度交换(fdown的H和W 相乘，变成C1xH1W1)为后，在注意力掩码指导下获取上下文特征

将Fdown与ma进行矩阵乘法得到fcontent，因为ma是经过1x1卷积和softmax激活函数后生成的权重矩阵，他的权重能够指导网络将注意力放在图像中的某个区域。通过bottleneck transform(BT)模块来进行特征变化以捕获通道之间的依赖关系；依赖关系的说明：因为这个模块的输入为CxHxW，C表示通道数，也可以理解为图像的特征。那么，图像的特征之间应该存在某种联系，并不是孤立的。所以进行了提取。这种依赖关系，就是全局的上下文特征。随后就进行了融合。最后将全局上下文特征f^context与f^down进行融合；融合是指：特征图对应位置相加；

fdowm维度为C1xH1xW1，Fcontext维度为C1x1x1，首先会通过广播将fcontext维度变成与 fdown一样，然后对应位置元素相加，得到最终的输出

用Φ表示1×1卷积，σ表示Softmax激活函数，LN表示LayerNorm，LayerNorm是层归一化，，用表示矩阵乘法，⊕表示对应元素相加，全局上下文注意力可表示为：

m_a＝σ(Φ(f^down))

f^out＝f^down⊕Φ(ReLU(LN(Φ(f^context))))；ReLU是一种激活函数。

本发明从特征提取的角度出发，依靠循环一致性损失，通过提升源域中关键特征的提取性能，改进特征融合手段来提高生成影像的质量。因此，在这项工作中，本发明提出了用于未配对影像生成的MARTF-GAN模型，它通过学习源域到目标域的映射，生成新的医学影像数据，并将其应用到下游任务中。

有益效果：

主动脉夹层术后常伴有主动脉远端扩大等风险并发症，术后影像可以对术后效果、患者恢复进行分析。目前，尚无研究关注于术后影像的生成。本发明提出了用于未配对影像生成的MARTF-GAN模型，基于术前影像生成患者的术后影像，给手术方案制定提供可靠的指导。该模型由注意力编码器、RTF模块、注意力解码器组成。注意力编码器通过全局上下文注意力提取较为丰富的图像特征；RTF模块位于注意力编码器和注意力解码器之间，对注意力编码器的输出特征图进行深层次的全局和局部信息提取融合，提取高级语义信息；注意力解码器的作用是根据高级语义信息生成最终的术后影像，在注意力掩码的指导下能够生成语义较为丰富的图像。本发明构建了一份由2199对未配对术前术后影像组成的数据集。在该数据集上计算了生成图像集合与测试集中术后影像集合的Wasserstein、FID和MMD距离指标，整体指标的性能优于Munit、AttGan、QsaGan和CycleGan模型，相比CycleGan则分别提升了2.0748、3.1144和0.1808，说明该模型更接近真实的术后影像。为进一步客观评价模型性能，在公开数据集BraTS(2018)上进行了测试，与其他模型相比，也取得了最优性能，表明该模型具备一定的泛化能力。

本发明主要贡献如下：

●提出了一个未配对影像生成模型MARTF-GAN。该模型能根据术前影像较好地生成出术后影像中主动脉部位的细节，有一定的临床价值。

●设计了RTF模块。该模块用于生成器中全局和局部特征融合，更加综合地利用术前图像中的语义信息。

●融合了多种注意力机制。利用注意力编码器以保留术前影像中的全局信息；注意力解码器引导图像聚焦于病灶区域的生成。

●在主动脉夹层术前术后影像数据集和公开数据集上进行了广泛的实验。实验结果表明，与现有方法相比，本发明方法在病灶上的生成效果的更优。

附图说明

图1是同一病例术前术后采样的五个部位的主动脉夹层影像。(a-c)为近心端夹层切片；(d-e)为远心端切片；

图2是MARTF-GAN整体训练框架图及网络概要图；

图3是MARTF-GAN生成器；

图4是残差和Transformer融合模块；

图5是MARTF鉴别器网络结构；S表示卷积步长，P表示填充。

图6是数据集展示。(a)为主动脉夹层术前术后影像数据集；(b)为BraTS(2018) 数据集；

图7为各模型生成的主动脉夹层术后影像对比；

图8为各模型在BraTS(2018)数据集上的生成结果展示；

图9为消融模型热力图展示。

具体实施方式

以下将结合附图和具体实施例对本发明做进一步详细说明：

实施例1：

未配对图像到图像生成的难点在于这是一种无监督的训练模式，学习到的X到Y的映射蕴含着无数种可能。为使模型生成的图像具有更加细腻的病灶细节，本发明提出了用于未配对的主动脉夹层术前术后影像生成模型MARTF-GAN，旨在充分提取图像的语义信息来保持医学图像的真实性，训练框架及模型架构如图2所示。本发明分别用A和B表示源域和目标域，G_AB和G_BA为两个方向相反的生成器，D_A、D_B分别表示对A和B两个域中的图像进行判别的鉴别器。设x∈A和y∈B为对应域中的图像，也可表示为x～p_data(x)， y～p_data(y)。同时有Y’＝G_AB(x)，表示由A域图像转化而来的图像；X’＝G_BA(y)，表示由A 域图像转化而来的图像。分别将X’和Y’送入生成器G中，得到y’＝G_AB(X’)和x’＝G_BA(Y’)。在训练过程中，输入一对图像(x，y)，分别用于G_AB、G_BA、D_A、D_B的训练，利用循环一致性损失L_cycle保证生成图像的结构的稳定。对抗损失L_adv使生成图像的分布与训练图像的分布不断逼近。L_eycle和L_adv损失函数表达式如下：

MARTF-GAN的生成器中设计了多注意力结构，由注意力编码器(EA)和注意力解码器 (DA)组成。主要在编码器下采样后引入全局上下文注意力来补充网络的语义信息，在解码器中引入了一条注意力分支，用于指导图像合成。生成器瓶颈层设计为一个双分支结构，结合Transformer和残差块各自优点，构造了一个特征融合模块，以弥补卷积运算只关注局部的缺点。鉴别器采用全卷积(FCN)结构的patchGAN，用一个N2×N2的矩阵来评价生成的图像，可以提高鉴别器关注的区域，使生成器能生成更加细致的图像。

生成器设计

如图3所示，用于未配对图像生成的MARTF-GAN的生成器(MARTF-GAN是一种生成对抗网络，由生成器和鉴别器组成)采用编码器-解码器的结构。编码器用于从输入图像中提取特征。解码器的作用主要是根据编码特征重新构建出相似于目标域的影像。那么，图像生成的关键在于编码特征的提取以及尽量减少解码中关键信息的丢失。MARTF-GAN引入多种注意力(MA)，由注意力编码器和注意力解码器组成。注意力编码器是在编码器中将下采样与全局上下文注意力相结合，以提取更加丰富的语义信息。注意力解码器由内容分支和注意力分支组成，注意力分支关注于图像构建过程中主要信息，生成的注意力掩码用于指导融合了输入的特征内容掩码生成影像。此外，提出了RTF模块，该模块设计为一个双分支结构，位于编码器和解码器之间的瓶颈层，主要是为了融合残差块和Ttransformer编码块中提取的图像信息，用于加强编码特征的提取。

生成器输入维度为1×256×256的灰度图，经过一个卷积块(Conv Block)生成维度为 64×256×256的特征图。该卷积块对边界进行了Reflection Padding，保留边界信息的同时保证输出特征与输入图像大小相同；然后利用大小为7×7的卷积核进行卷积运算，大卷积计算能够尽可能地保留输入图像的特征信息。下采样层结构如图3(a)所示，是由一个3×3的卷积、InstanceNorm和Relu激活函数组成。假定下采样的输入维度为C×H×W，那么下采样输出维度为2C×H/2×W/2的特征图。在每个下采样层后引入的全局上下文注意力，提取更加多样化的特征，但不改变特征图大小。因此，在本发明中经过两个下采样层和注意力后，输出的特征维度为256×64×64。RTF模块采用残差卷积块与transformer块并行的结构，将全局和局部特征相融合，采用特征压缩的方式将特征维度重构为256×64×64。解码层采用两条分支，一条分支用于计算注意力掩码，一条用来计算内容掩码。二者都使用逆卷积操作来进行特征上采样，经过两个上采样后输出的特征维度为64×256×256。最后利用卷积进行特征维度压缩，将内容掩码与模型输入进行拼接，在注意力掩码的指导下，完成图像重建，得到大小为1×256×256的输出结果。

注意力编码器

本发明编码器在下采样的同时使用卷积进行了特征提取，而卷积只能在局部区域建立像素关系，捕获图像的局部信息。为了在下采样的同时提高模型远距离依赖，在下采样后本发明引入了全局上下文注意力块，组成所述的注意力编码器块，如图3中左侧虚线框所示。全局上下文注意力如图3(b)所示，首先采用1×1卷积对下采样的特征图生成一张注意力掩码然后经过维度交换后得到将f^dowm的维度交换为后，在注意力掩码指导下获取上下文特征通过 bottlenecktransform(BT)模块来进行特征变化以捕获通道之间的依赖关系。最后将全局上下文特征f^context与f^down进行融合，得到最终的输出本发明用Φ表示1×1卷积，σ表示Softmax激活函数，LN表示LayerNorm，用表示矩阵乘法，⊕表示对应元素相加，全局上下文注意力可表示为：

m_a＝σ(Φ(f^down))

f^out＝f^down⊕Φ(ReLU(LN(Φ(f^context))))

残差和Transformer融合模块

残差和Transformer融合(Residual transformer fusion，RTF)模块位于编码器和解码器之间的瓶颈层，为一个双分支的特征提取融合模块。如图4所示，上分支由N个残差网络块组成，关注于局部特征的提取；下分支主要由L个Transformer编码块组成，用于提取全局信息依赖。设RTF模块的输入特征图输出特征图为

Residual block(RB)首先对输入的特征图Reflect padding后进行3×3卷积运算，充分采集特征图边缘信息。然后采用Instance Norm和Relu激活函数，目的是提高风格转换的性能。残差块结构如图4(a)所示，残差块的运算通项公式可表示为：其中分别表示第i个残差块的输入和输出。

那么，上分支局部特征提取网络经过N个残差块后的最终输出为

由于计算性能的限制，transformer编码块期望的输入特征图具有更小的尺寸。因此，首先需要对RTF模块的输入I^RTF进行下采样(DS)得到特征图将 f^m的特征维度展平成一维得到然后通过维度位置置换成以嵌入位置编码。通过线性映射将位置编码嵌入到展平的向量中得到为了保持transformer编码块中输出特征维度足以恢复成输入特征的维度，需要再次特征降维。通过一个线性层将特征维度再次映射到384，即接下来，级联的transformer编码块通过多头注意力(MSA)和多层感知机(MLP)对f^e′进行处理。使用LN表示LayerNorm，则Transformer编码块的通项公式可以表示为：

其中表示中间输出，表示第i个transformer编码块的输出和输入，且有

经过L个级联的transformer编码块后的输出为在与局部特征融合之前，采用跟输入 transformer编码层之前特征处理相反的操作，将进行Patch Flattening(PF)，然后上采样 (Upsample)到与同等维度。使用concat操作进行通道维度相加，丰富对图像本身描述的特征。通道压缩表示为CC，由1×1卷积和3×3卷积算子组合而成，目的是将特征维度降为本发明用表示concat操作，RTF模块的最终输出O^RTF可表示为：

注意力解码器

如图3右侧虚线框所示为注意力解码器模块，其由注意力分支(AttentionBranch，AB) 和内容分支(Content Branch，CB)组成。二者皆采用相同的逆卷积块进行上采样，唯一的区别在于分支最后一个卷积操作时输出特征的通道数不一样。假定模型输入图像为注意力分支输出通道数为C_a的注意力掩码，则内容分支输出通道数为 C_c＝C_a-C₂的内容掩码。本发明将模型输入图像与内容掩码进行通道相加，然后在注意力掩码的指导下构建最终的输出图像。该计算过程可表示为：

鉴别器

鉴别器采用的是基于PatchGAN的结构，如图5所示。该网络是一个全卷积结构，最后输出n×n大小的矩阵。矩阵中的每个数值都对应输入图像的一个感受野区域，称之为Patch。本发明中鉴别器输入为除第一个卷积下采样块中不使用正则化外，其余的三个下采样块均由卷积、正则化和LeakyReLU组成，其中最后一个下采样层步长设置为1。最后使用一个4×4的卷积将通道上降低为1，输出16×16的矩阵。

实验与结果分析

数据集

本发明选取了两个医学影像数据集来评估所提出的MARTF-GAN。数据集详细情况如下：

主动脉夹层术前术后影像数据集所包含的图像为CT影像，大小为512×512。由中南大学湘雅二医院收集的78例患者的术前术后影像组成，共筛选出2199对未配对的术前术后影像，主要包含主动脉弓和升降主动脉切片。图6(a)中虚线框位置为术后影像最重要的表征，即患者植入支架后，会呈现原主动脉夹层的血管会呈现成齿轮状、近端血管的假腔和破口消失等特点。本实验中，训练集、验证集和测试集分别包含1540、330和329对影像。

BraTS(2018)数据集，是一个公开数据集，所包含的图像为核磁共振影像，大小为240×240，如图6(b)所示。本发明该数据集进行了预处理，取每例患者的T1和T2模态各 68张影像，总计包含6528对配对的图像数据。在训练过程中，采用6倍交叉验证，训练集包含4352对影像，验证集包含1088对影像，测试集包含1088对影像。

训练设置及评价指标

为了公平起见，本发明保持了实验环境的一致性。同时，超参数的设置也保持了相同。本发明选取80个训练周期中在验证集中性能最优的模型进行评价。在训练过程中，通过随机化目标域图片索引进行置乱以避免固定图像对用于训练，对模型进行未配对图像的训练。评价指标选取了归一化平均误差(NMAE)、峰值信噪比(PSNR)和结构相似度(SSIM) 用于计算脑部核磁共振影像数据集上模型的生成性能。为了避免结果虚高，将图像背景排除在计算之外。除此之外，根据Xu等人对GAN网络评价指标的研究，本发明还选取了Resnet43 卷积特征空间上的Wasserstein距离、Fréchet Inception Distance(FID)、Kernel MaximumMean Discrepancy(MMD)和The1-Nearest Neighbor classifier(1-NN)用于评价主动脉夹层数据集中生成图像集合与目标域图像集合的距离。

实验结果

本发明对MARTF-GAN、基线模型CycleGan、Munit及最新的AttentionGan、QsaGan模型分别在脑部核磁共振影像数据集和主动脉夹层术前术后影像数据集上进行未配对的图像生成训练。对比了MARTF-GAN与其他四个模型的生成性能。

1.1.1.主动脉夹层术前术后影像数据集实验结果

由于主动脉夹层数据集的测试集中没有完全配对的术前术后影像，因此，本实验通过计算生成的术后影像集合与测试集中术后影像集的距离分数来评价模型的生成效果。当度量分数越小，表明模型生成的图像更接近真实数据集。如表1所示，所提模型Wasserstein距离最小，表明模型训练较好。MMD距离小，表明所提模型生成出的图像数据分布更接近于真实图像数据分布。尽管1-NN略逊于AttGan，但MARTF-GAN取得了更低的FID分数，这表明其能生成的图像具有较高的质量和多样性。

表格1主动脉夹层数据集上各模型生成图像集合与目标域图像集合距离度量对比

图7所展示的各个模型在主动脉夹层数据集上的生成效果。本发明关注于主动脉部位的生成，同时尽可能保持与术前影像相同的结构。从图7中可以看出，CycleGan和QsaGan 模型的生成图像清晰度较差。Munit模型生成的齿轮效果较接近于实际影像，但其生成的多样性不足，导致有些图的术后生成影像完全背离了术前影像，如图7(a3)和(d3)。AttGan 生成的主动脉弓切片较为真实，但对于升降主动脉切片的术后影像生成性能很差，如图7 (a5)。我们提出的MARTF-GAN模型在红框所示的主动脉部位上的生成效果明显好于其他模型，能够正确的生成对应目标的术后影像，且目标区域的术后支架的齿轮状有较为明显的痕迹，近端血管的假腔和破口消失，与实际影像十分接近。

1.1.2.BraTS(2018)数据集实验结果

为了验证所提模型的泛化性能，我们在公开数据集上通过随机化目标域图片索引进行置乱以避免固定图像对用于训练，对MARTF-GAN与其他未配对图像生成模型进行了未配对图像的训练。由于BraTS2018数据集中测试集为配对的影像，本发明计算了MAE、PSNR和SSIM。表2展示了各模型的6倍交叉验证的性能，数据为6次实验的平均值，括号内为样本总体的标准偏差。可以看到MARTF-GAN在保证结构相似性的基础上，将MAE降到了0.08以下，相比CycleGan下降了0.0054；将峰值信噪比提升到25以上，相比基线模型 CycleGan提升了0.7847。图8展示了五种模型生成的脑部影像中一些代表性的结果。T1为原图，T2为对应源域图像，模型输入为T1图像，生成与T2尽可能相似的影像。图8的展示结果可以看出AttGan在边缘信息能保持较高的真实度，但对病灶区域生成效果一般。 QsaGan病灶区域生成效果较好，但前两张图的边缘较为模糊。我们提出的MARTF-GAN在虚线红框标出的关键部位上的生成效果优于其他模型，同时能够较好地保留边缘信息。

表格2BraTS 2018数据集上各模型生成图像质量评价指标对比

消融实验

消融实验主要是为了验证所提模型中各个组件的作用。如表3所示，基线模型(Baseline) 采用的是cyclegan，用‘+’号表示在模型基础上增加模块，如Baseline+EA表示在基线模型的基础上加入注意力编码器，其中Base+EA+RTF+DA也就是本发明所提的MARTF-GAN模型。表3中的试验结果可以看出，EA比较全面的提升了三个指标。RTF模块和DA模型在MAE和PSNR上都有所贡献。

表格3MARTF-GAN的消融实验数据

为了清晰展示各组件所关注的重点，对模型的热力图进行了可视化。如图9所示，可以看到注意力编码器(EA)关注的范围相较于基线模型更广，RTF模块的加入使得局部特征和全局特征相融合，仍集中于病灶部位。加入注意力编码器(DA)后，整个病灶轮廓上的注意度更加显著，使模型能够更加关注于病变部位的生成。

表格4特征融合方式和编码块数量分析实验

针对特征融合模块，本发明从融合方式和分支编码块数量进行分析，实验展示了编码块数量与融合方式对模型性能带来的影响。如表4所示，RTF6-3表示RTF模块中残差块数目 N＝6，Transformer编码块数目L＝3。从实验结果可以看出，网络深度的增加，能够带来性能上的提升。特征融合方式的Add操作不改变特征维度，相当于增加了描述图像的特征信息量；而concatenate操作(concat)是通道维度上相加，相当于增加了特征数目。实验结果表明，concatenate融合方式能够更加充分的保留全局和局部特征。

在这项工作中，申请人提出了用于未配对影像生成的MARTF-GAN网络模型。所提方法能够较好的生成主动脉夹层的术后影像。在量化实验上，所提模型的性能同样优于目前主流的基于注意力的GAN网络。此外，在公开的BraTS(2018)数据集上证明了MARTF-GAN 模型具备泛化性能。这项工作初步探索了术后影像生成的可能性，在下一项工作中，将进一步结合主动脉血管直径、血流压力等一系列可能引发术后并发症的临床数据，实现更加精细化的主动脉部位的术后生成。使模型生成的术后影像在临床中发挥更大价值。

Claims (5)

1.一种主动脉夹层术后影像的生成方法，其特征在于，采用用于未配对影像生成的MARTF-GAN模型，基于术前影像生成患者的术后影像；

所述的MARTF-GAN模型包括注意力编码器、RTF模块、注意力解码器；

(1)注意力编码器通过全局上下文注意力提取的图像特征，得到输出特征图；

(2)RTF模块位于注意力编码器和注意力解码器之间，对注意力编码器的输出特征图进行深层次的全局和局部信息提取融合，提取高级语义信息；

(3)注意力解码器作用是根据高级语义信息生成最终的术后影像，在注意力掩码的指导下能够生成图像。

2.根据权利要求1所述的主动脉夹层术后影像的生成方法，其特征在于，注意力编码器包括下采样层结构和全局上下文注意力模块；

下采样层结构是由一个3×3的卷积、InstanceNorm和Relu激活函数组成。

3.根据权利要求2所述的主动脉夹层术后影像的生成方法，其特征在于，

注意力解码器由内容分支和注意力分支组成，内容分支用于计算内容掩码，注意力分支关注于图像构建过程中主要信息，生成的注意力掩码用于指导融合了输入的特征内容掩码生成影像。

4.根据权利要求3所述的主动脉夹层术后影像的生成方法，其特征在于，

生成器输入维度为1×256×256的灰度图，经过一个卷积块(Conv Block)生成维度为64×256×256的特征图；该卷积块对边界进行了Reflection Padding，保留边界信息的同时保证输出特征与输入图像大小相同；然后利用大小为7×7的卷积核进行卷积运算，以尽可能地保留输入图像的特征信息；

下采样层结构是由一个3×3的卷积、InstanceNorm和Relu激活函数组成；假定下采样的输入维度为C×H×W，那么下采样输出维度为2C×H/2×W/2的特征图；在每个下采样层后引入的全局上下文注意力，提取更加多样化的特征，但不改变特征图大小；在经过两个下采样层和注意力后，输出的特征维度为256×64×64；RTF模块采用残差卷积块与transformer块并行的结构，将全局和局部特征相融合，采用特征压缩的方式将特征维度重构为256×64×64；

解码层采用两条分支，一条分支用于计算注意力掩码，一条用来计算内容掩码；二者都使用逆卷积操作来进行特征上采样，经过两个上采样后输出的特征维度为64×256×256；最后利用卷积进行特征维度压缩，将内容掩码与模型输入进行拼接，在注意力掩码的指导下，完成图像重建，得到大小为1×256×256的输出结果。

5.根据权利要求4所述的主动脉夹层术后影像的生成方法，其特征在于，

全局上下文注意力块的处理过程为：

首先采用1×1卷积对下采样的特征图

生成一张注意力掩码

然后经过维度交换后得到

将f^dowm的维度交换为

后，在注意力掩码指导下获取上下文特征

通过bottleneck transform(BT)模块来进行特征变化以捕获通道之间的依赖关系；最后将全局上下文特征f^context与f^down进行融合，得到最终的输出

用Φ表示1×1卷积，σ表示Softmax激活函数，LN表示LayerNorm，用

表示矩阵乘法，

表示对应元素相加，全局上下文注意力可表示为：

m_a＝σ(Φ(f^down))

Images