CN114298979B - 一种局灶性病变征象描述指导的肝核磁影像序列生成方法 - Google Patents

Abstract

本发明公开了一种局灶性病变征象描述指导的肝核磁影像序列生成方法。该方法通过生成对抗网络生成的肝脏影像既符合对应征象描述又能保证肝脏结构的完整性和真实性。该方法通过自注意力模块在生成肝脏部分结构的时候会构建肝脏不同结构之间的长距离依赖关系，使得生成影像中的肝脏结构完整无异常，从而提高肝脏影像整体的真实性。该方法通过多头注意力模块在生成肝脏某一区域时既可以从全局角度考虑整体的征象描述又可以从局部角度考虑病灶的细粒度描述，从而提高生成的肝脏影像和对应征象描述的语义一致性。通过这种生成数据的方式，可以为其他肝脏影像相关的深度学习模型提供数据支持。

Description

一种局灶性病变征象描述指导的肝核磁影像序列生成方法

技术领域

本发明属于计算机视觉中图像生成领域，具体涉及一种局灶性病变征象描述指导的肝核磁影像序列生成方法。

背景技术

随着电脑计算力的提高，深度学习也变得炙手可热，通过海量的数据训练出的深度学习模型已经在许多领域超越了人类。但是在某些情况下我们很难得到大量的数据去训练深度学习模型，尤其在医学影像方面，一方面医学影像数据需要由专业人士标注，整个过程耗时繁琐，另一方面医学影像数据涉及到病人隐私，所以往往很难从医院得到大量的数据以供给深度学习模型训练，因此如何获取到合适且大量的医学影像数据进而训练医学影像分类分割等深度学习模型是一个待解决的重要问题。

近些年生成对抗网络在生成图像方面有着十分优秀的表现，在基于生成对抗网络的文本生成图像领域也有了很多优秀的工作。将随机噪声和编码后的自然语言描述输入到生成对抗网络中，网络不但会生成一张真实度很高的图像，而且生成的图像也符合输入的自然语言的描述。所以我们使用生成对抗网络来生成符合征象描述的肝脏病灶影像，通过这种数据增广的方法为肝脏影像任务提供数据支持并进一步提高相关模型的泛化性。

对于肝脏这种人体器官影像的生成，我们必须要保证生成影像的精度，肝脏结构不能出现结构异常或缺失的现象，我们在网络中使用自注意力机制，自注意力机制通过构建肝脏不同部位的长距离依赖关系从而保证生成影像中的肝脏结构完整正常；肝脏影像的征象描述包含肝脏形态的整体描述和具体病灶区域的细节描述，生成肝脏影像既要符合肝脏整体描述又要符合病灶细粒度描述，我们在网络中使用多头注意力机制，多头注意力机制通过考虑全局角度和局部角度下的征象描述词汇对肝脏某一区域的影响从而提升生成影像和征象描述的语义一致性。

发明内容

本发明的目的在于提供了一种局灶性病变征象描述指导的肝核磁影像序列生成方法。网络主体使用生成对抗网络并采用递进式生成的思路，网络的第一阶段生成64×64的低分辨率图像，网络的第二阶段进一步细化第一阶段生成的图像并生成分辨率128×128的图像，网络的第三阶段细化第二阶段生成的图像最终生成分辨率256×256的图像。我们在网络的每两个阶段间都添加了自注意力模块和多头注意力模块。自注意力模块可以在网络生成肝脏某一结构时会计算其他结构对该结构的影响，自注意力模块通过帮助肝脏不同结构间建立长距离的依赖关系可以进一步提升生成影像的结构完整性和生成影像整体的真实性。多头注意力模块可以在网络生成肝脏某一区域时从不同的角度考虑同一征象词汇对该区域的影响，最后综合不同空间下计算出的特征图，多头注意力模块可以帮助网络综合考虑全部的征象描述信息从而进一步提升生成肝脏影像和征象描述的语义一致性。

为实现上述目的，本发明采用以下技术方案：一种局灶性病变征象描述指导的肝核磁影像序列生成方法，首先扫描采集肝脏部位MRI病例数据并对每例数据进行人工征象描述；其次对采集的原始数据进行处理，根据处理后的数据制作出相应的数据集；接下来训练一个循环神经网络(RNN)，通过这个循环神经网络将征象描述转换为单词级特征和句子级向量；之后将句子级向量和噪声输入到主体的生成对抗网络中，通过连续的卷积和上采样操作，提高特征图的维度，在网络的每两个阶段之间采用自注意力机制和多头注意力机制。在经过三个阶段的分辨率提升后可以得到分辨率为256×256的肝脏影像。

一种局灶性病变征象描述指导的肝核磁影像序列生成方法，该方法包括以下步骤：

步骤1，采集临床病例的肝脏部位MRI的T1WI扫描序列，让医生对每个病例都进行相应的征象描述。

步骤2，对采集的MRI数据与对应征象描述进行处理并制作一个医学影像数据集。

步骤3，训练能够处理中文的医学征象描述的循环神经网络。通过循环神经网络将整句征象描述转化为句子级向量和单词级特征。

步骤4，构建多阶段生成式的生成对抗网络和自注意力模块和多头注意力模块。

步骤4.1，通过预训练好的循环神经网络将征象描述转化为句子级向量，句子级向量和随机噪声拼接并进行维度转化，对转化后得到的特征图进行多次上采样操作，并提高特征图的空间维度。

步骤4.2，设计自注意力模块，该模块可对特征图上每一个像素点计算同一通道下其他所有位置的像素点对当前像素点的影响。最后将得到的全局位置加权的特征图送入下一模块。

步骤4.3，设计多头注意力模块，该模块可在多个空间下计算每一个征象描述词汇对特征图上每一个像素点的影响，最后将多个空间下得到的注意力加权的特征图进行综合并送入网络的下一个阶段。

步骤4.4，将经过自注意力模块和多头注意力模块的特征图进行卷积和上采样操作，不断增大特征图的空间维度。通过多个阶段的生成得到256×256的肝脏影像。

步骤5，将征象描述输入到已经训练好的生成模型，输出生成的结果。

与现有技术相比，本发明具有以下明显优势：

本发明针对医学影像数据较难获取的问题，通过设计一种局灶性病变征象描述指导的肝核磁影像序列生成方法来解决这一问题，并通过设计自注意力模块来提升生成肝脏影像的图像质量和真实性，通过设计多头注意力模块来提升生成肝脏影像和对应征象描述的语义一致性。

附图说明

图1为本发明的总体模型结构图；

图2为本发明的方法流程图；

图3为自注意力模块结构图；

图4为多头注意力模块结构图；

具体实施方式

以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的总体结构图如图1所示，所述方法流程如图2所示，所提出的自注意力模块如图3所示，所提出的多头注意力模块如图4所示，具体包括以下步骤：

步骤1，采集临床病例的肝脏部位MRI的T1WI扫描序列，让医生对每个病例都进行相应的征象描述。

临床采集的病例涉及多种肝脏局灶性病变的MRI的T1WI扫描序列，对所采集的每一个病例数据都邀请经验丰富的放射科医生来进行专业性的病灶部位征象描述。

步骤2，对采集的MRI数据与对应征象描述进行处理并制作一个医学影像数据集。

对步骤1中采集的肝脏部位MRI的T1WI扫描序列进行预处理，对每个扫描序列的2D切片图像进行筛查，将2D切片图像中病灶区域不明显的影像剔除，其余2D切片影像得到保留并将长宽比调整为1∶1。对于医生给出的病灶部位征象描述需要进行人工分词，通过在词汇之间添加一个空格的方式将整句话分隔成词汇与词汇的形式。每张2D切片影像和分词后的征象描述作为一对数据，制作出一个相应的肝脏影像数据集以供我们的模型训练。

步骤3，训练能够处理中文的医学征象描述的循环神经网络。通过循环神经网络将整句征象描述转化为句子级向量和单词级特征。

由于步骤2中制作的数据集中的征象描述是中文形式，我们需要训练一个能够处理中文词汇的循环神经网络。首先使用我们制作的数据集训练一个ResNet34网络，通过基于ResNet34对肝脏2D切片是否含有肿瘤判别这一任务得到一个可以提取医学影像的特征提取网络，之后将征象描述和医学影像分别送入待训练的循环神经网络和已训练好的医学影像特征提取网络ResNet34，这两个网络将各自提取的特征映射到一个公共的语义空间中进行语义对齐，从而建立细粒度的相似性度量。通过这种方式可以获得能处理中文的医学征象描述的循环神经网络，在之后的主体网络训练过程中该循环神经网络是不参与训练的，该循环神经网络只负责将征象描述转化为句子级向量和单词级特征。

步骤4，构建多阶段生成式的生成对抗网络和自注意力模块和多头注意力模块。

步骤4.1，通过预训练好的循环神经网络将征象描述转化为句子级向量，句子级向量和随机噪声拼接并进行维度转化，对转化后得到的特征图进行多次上采样操作，并提高特征图的空间维度。

本发明采用生成对抗网络作为基础的骨干网络，生成对抗网络包含了两个子网络即生成器和判别器，生成器用来生成图像，判别器用来判别图像的真实与否，网络的每个阶段都包含一个生成器和一个判别器，网络整体通过对抗的思想进行训练。首先通过预训练好的循环神经网络将一段中文征象描述转化为句子级向量s∈R^D和单词级特征w＝{w^l|l＝0，...，L-1}∈R^D*L，其中D为词汇编码后的维度，L为词汇的数量，将句子级向量s∈R^D和随机噪声z～N(0，1)拼接后就可以输入到网络的第一阶段，拼接后的向量会先通过一个全连接层增大向量的维度，增大维度后会进行维度转化，转化为图像的维度表示，之后会经历四个上采样操作不断增大特征图的长宽，增大到长宽为64×64时，特征图会分别进行两项操作，其中一项操作会将特征图通过一个卷积层得到64×64的肝脏影像，另一项操作中特征图会依次通过自注意力模块和多头注意力模块，然后再送入网络的第二阶段。

步骤4.2，设计自注意力模块，该模块可对特征图上每一个像素点计算同一通道下其他所有位置的像素点对当前像素点的影响。最后将得到的全局位置加权的特征图送入下一模块。

我们将第一阶段生成的影像视觉特征图V_i首先通过一个1×1的卷积层W_k计算出全局位置点的attention mapf_i，f_i会通过softmax函数为每个位置的特征赋予一个权值得到影像视觉特征图p_i，然后将p_i与V_i进行矩阵相乘并将其结果通过一个1×1的卷积层W_v得到全局上下文特征图t_i，t_i的特征维度与V_i的特征维度相同，最后采用逐通道逐像素相加操作将全局上下文特征整合到每个位置的特征中。最后将得到全局位置加权后的特征图送入下一模块中。整个过程公式表达如下：

f_i＝W_k(V_i)

p_i＝softmax(f_i)

t_i＝W_v(V_ip_i)

步骤4.3，设计多头注意力模块，该模块可在多个空间下计算每一个征象描述词汇对影像视觉特征图上每一个像素点的影响，最后将多个空间下得到的注意力加权的特征图进行综合并送入网络的下一个阶段。

多头注意力模块需要输入征象描述转化后的单词级特征w＝{w^l|l＝0，...，L-1}∈R^D*L和经过自注意力模块的视觉特征图V_i，其中D为词汇编码后的维度，L为词汇的数量。单词级特征首先通过一个1×1的卷积层U_j进行维度变换，w的维度从D×L变为C×L，C为影像视觉特征图的通道数，然后将维度变化后的单词级特征与影像视觉特征通过注意力机制的计算得到当前空间下的全局上下文特征图。多头注意力模块即在多个空间下计算出多个全局上下文特征图，最后采用逐通道逐像素相加操作将这些视觉特征图综合起来，综合后的视觉特征图会送入网络的第二阶段。整个过程公式表达如下：

步骤4.4，将经过自注意力模块和多头注意力模块的特征图进行卷积和上采样操作，不断增大特征图的空间维度。通过多个阶段的生成得到256×256的肝脏影像。

将经过自注意力模块和多头注意力模块后的特征图通过上采样增大特征图的长宽，增大到长宽为128×128时，特征图会和第一阶段一样分别进行两项操作，其中一项特征图会通过一个卷积层得到128×128的肝脏影像，另一项中特征图在输入第三阶段前会通过自注意力模块和多头注意力模块。第三阶段依此类推，最后会得到一个分辨率为256×256的肝脏影像。整个网络的生成器损失函数如下：

其中i为阶段数，在网络的第i个阶段，生成器对应的损失函数如下：

其中x为生成器G_i生成的肝脏影像，s为征象描述编码后的句子级向量，损失函数的前一部分为无条件对抗性损失用来判断生成的肝脏影像是否真实，后一部分为有条件对抗性损失用来判别生成的肝脏影像是否符合征象描述。

整个网络的判别器损失如下：

其中i为阶段数，在网络的第i个阶段，判别器对应的损失函数如下：

损失函数的前一部分为无条件对抗性损失用来判断生成的肝脏影像是否真实，后一部分为有条件对抗性损失用来判别生成的肝脏影像是否符合征象描述。

步骤5，将征象描述输入到已经训练好的生成模型，输出生成的结果。

对于训练后的最优效果的模型，将测试集中的一段征象描述输入其中，便可以准确生成符合征象描述而且肝脏结构完整的医学影像，生成的肝脏影像可以为各种肝脏相关的深度学习模型提供帮助。

至此，本发明的具体实施过程描述完毕。

Claims (3)

1.一种局灶性病变征象描述指导的肝核磁影像序列生成方法，其特征在于：该方法包括以下步骤：

步骤1，采集肝脏部位MRI的T1WI扫描序列并进行相应的征象描述；

步骤2，对采集的MRI数据与对应征象描述进行处理，制作一个医学影像数据集；

步骤3，训练能够处理中文医学征象描述的循环神经网络；

步骤4，构建多阶段生成式的生成对抗网络和自注意力模块和多头注意力模块；

步骤4.1，将征象描述通过预训练好的循环神经网络转化为句子级向量，将其和随机噪声拼接并进行维度转化，对转化后得到的特征图进行多次上采样操作提高空间维度；

步骤4.2，设计自注意力模块，对特征图上每一个像素点计算同一通道下其他所有位置的像素点对当前像素点的影响；

步骤4.3，设计多头注意力模块，计算每一个征象描述词汇对特征图上每一个像素点的影响；

步骤4.4，将经过自注意力模块和多头注意力模块的特征图进行卷积和上采样操作，不断增大特征图的空间维度；通过多个阶段的生成得到256×256的肝脏影像；

步骤5，将征象描述输入到已经训练好的生成模型，输出生成的结果；

步骤2，对采集的MRI数据与对应征象描述进行处理，制作一个医学影像数据集；

对步骤1采集后的MRI的T1WI扫描序列进行预处理，将2D切片图像中病灶区域不明显的影像剔除，其余2D切片影像得到保留并将长宽比调整为1:1；对于病灶部位征象描述需要通过人工分词的方式将整句话分隔成词汇与词汇的形式；每张2D切片影像和分词后的征象描述作为一对数据，制作出一个相应的肝脏影像数据集；

步骤3，训练能够处理医学征象描述的循环神经网络；

为了处理步骤2所制作数据集中的中文征象描述，所以需要训练一个相应的循环神经网络；首先使用制作的肝脏影像数据集训练一个ResNet34网络，通过基于ResNet34对肝脏2D切片是否含有肿瘤判别这一任务得到一个提取医学影像的特征提取网络，之后将征象描述和医学影像分别送入待训练的循环神经网络和已训练好的医学影像特征提取网络ResNet34，这两个网络将各自提取的特征映射到一个公共的语义空间中进行语义对齐，从而建立细粒度的相似性度量；通过这种方式获得能处理中文的医学征象描述的循环神经网络，在之后的主体网络训练过程中该循环神经网络是不参与训练的，该循环神经网络只负责将征象描述转化为句子级向量和单词级特征；

步骤4，构建多阶段生成式的生成对抗网络和自注意力模块和多头注意力模块；

步骤4.1，将征象描述通过预训练好的循环神经网络转化为句子级向量，将其和随机噪声拼接并进行维度转化，对转化后得到的特征图进行多次上采样操作提高空间维度；

采用生成对抗网络作为基础的骨干网络，生成对抗网络包含了两个子网络即生成器和判别器，生成器用来生成图像，判别器用来判别图像的真实与否，网络的每个阶段都包含一个生成器和一个判别器，网络整体通过对抗的思想进行训练；首先通过预训练好的循环神经网络将一段中文征象描述转化为句子级向量s∈R^D和单词级特征w＝{w^l|l＝0，...，L-1}∈R^D*L，其中D为词汇编码后的维度，L为词汇的数量，将句子级向量s∈R^D和随机噪声z～N(0，1)拼接后就输入到网络的第一阶段，拼接后的向量会先通过一个全连接层增大向量的维度，增大维度后会进行维度转化，转化为图像的维度表示，之后会经历四个上采样操作不断增大特征图的长宽，增大到长宽为64×64时，特征图会分别进行两项操作，其中一项操作会将特征图通过一个卷积层得到64×64的肝脏影像，另一项操作中特征图会依次通过自注意力模块和多头注意力模块，然后再送入网络的第二阶段；

步骤4.2，设计自注意力模块，对特征图上每一个像素点计算同一通道下其他所有位置的像素点对当前像素点的影响；

将第一阶段生成的影像视觉特征图V_i通过一个1×1的卷积层W_k计算出全局位置点的attention map f_i，f_i会通过softmax函数为每个位置的特征赋予一个权值得到影像视觉特征图p_i，然后将p_i与V_i进行矩阵相乘并将其结果通过一个1×1的卷积层W_v得到全局上下文特征图t_i，t_i的特征维度与V_i的特征维度相同，最后采用逐通道逐像素相加操作将全局上下文特征整合到每个位置的特征中；

步骤4.3，设计多头注意力模块，计算每一个征象描述词汇对特征图上每一个像素点的影响；

多头注意力模块需要输入征象描述转化后的单词级特征w＝{w^l|l＝0，...，L-1}∈R^D*L和经过自注意力模块的视觉特征图V_i，其中D为词汇编码后的维度，L为词汇的数量；单词级特征首先通过一个1×1的卷积层U_j进行维度变换，w的维度从D×L变为C×L，C为影像视觉特征图的通道数，然后将维度变化后的单词级特征与影像视觉特征通过注意力机制的计算得到当前空间下的全局上下文特征图；多头注意力模块即在多个空间下计算出多个全局上下文特征图，最后采用逐通道逐像素相加操作将这些视觉特征图综合起来，综合后的视觉特征图会送入网络的第二阶段；

步骤4.4，将经过自注意力模块和多头注意力模块的特征图进行卷积和上采样操作，不断增大特征图的空间维度；通过多个阶段的生成得到256×256的肝脏影像；

将经过自注意力模块和多头注意力模块后的特征图通过上采样增大特征图的长宽，增大到长宽为128×128时，特征图会和第一阶段一样分别进行两项操作，其中一项特征图会通过一个卷积层得到128×128的肝脏影像，另一项中特征图在输入第三阶段前会通过自注意力模块和多头注意力模块；输入到第三阶段的特征图会通过上采样操作，最后生成一个分辨率为256×256的肝脏影像。

2.根据权利要求1所述的一种局灶性病变征象描述指导的肝核磁影像序列生成方法，其特征在于：具体包括以下的步骤：

步骤1，采集肝脏部位MRI的T1WI扫描序列并进行相应的征象描述；

临床采集的病例涉及多种肝脏局灶性病变的MRI的T1WI扫描序列，对所采集的每一个病例数据都邀请经验丰富的放射科医生来进行专业性的病灶部位征象描述。

3.根据权利要求1所述的一种局灶性病变征象描述指导的肝核磁影像序列生成方法，其特征在于：步骤5，将征象描述输入到已经训练好的生成模型，输出生成的结果；

对于训练后的最优效果的模型，将测试集中的一段征象描述输入其中，便准确生成符合征象描述而且肝脏结构完整的医学影像，生成的肝脏影像为各种肝脏相关的深度学习模型提供帮助。