CN109859310A - 一种可用于生成mr图像的模型及其建立方法 - Google Patents

Abstract

本发明涉及一种可用于生成MR图像的模型及其建立方法，包括以下步骤：1：将32维随机向量输入生成器，生成器输出模拟MR图像；2、将真实MR图像或模拟MR图像输入判别器，判别器判断输入图像属于真实MR图像的概率并输出概率值；3、计算判别器和生成器的损失值，若不满足预设条件，则利用反向传播算法，自动优化生成器和判别器的参数，并重复步骤1‑3，若满足预设条件,则此时得到的生成器即为可用于生成MR图像的模型。本发明可以对判别器和生成器进行多次优化，最终使生成器输出的模拟MR图像可以达到以假乱真的程度，训练完毕之后的生成器即可生成接近真实MR图像的模拟MR图像，从而达到扩充现有MR图像数据集的目的。

Description

一种可用于生成MR图像的模型及其建立方法

技术领域

本发明涉及模拟三维核磁共振图像的生成方法，具体涉及一种可用于生成MR图像的模型及其建立方法。

背景技术

近年来，医学与人工智能的结合越来越紧密，越来越多的研究人员开始研究医学图像与疾病诊断的关系，但由于很难获取实验中要求的图像质量，因此在研究中需要进行现有数据的数据集扩增。数据集扩增技术的核心思想是依据数据集的分布特点，合理有效地创造差异化的副本。所谓合理，指的是数据有真实存在的可能性，创造副本的方法是模拟了数据产生的天然规律。

仿射变换是在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射由一个非奇异的线性变换(运用一次函数进行的变换)接上一个平移变换组成。仿射变换是一种二维坐标(x，y)到二维坐标(u，v)的线性变换，其数学表达式如式：

上式中的系数矩阵被称为仿射变换矩阵。其中:θ为图像旋转的角度，a为图像平移的横坐标移动距离，b为图像平移的纵坐标移动距离。随机生成x轴的位移为a，y轴的位移为b和旋转角度为θ的仿射变换矩阵A，作用在输入图像x上，变换后的新图像为Ax。

典型的仿射变换有平移、旋转、缩放。

尽管利用仿射变换能够生成真实有效的数据集，但由于该变换只是在原有图像上进行物理的变换，图像只是位置上发生了改变，导致生成的图像缺乏多样性。在利用仿射变换生成的图像训练模型时，模型不能很好的拟合，导致预测的准确率低。

现有的GAN模型生成图像的针对性较强，即一组数据集就要对应一个模型，如果换另一个数据集也需要重新训练一个模型，目前尚不存在可用于生成MR图像的模型。

发明内容

本发明所要解决的技术问题是提供一种可用于生成MR图像的模型及其建立方法，MR图像，即核磁共振图像。

本发明解决上述技术问题的技术方案如下：

一种可用于生成MR图像的模型的建立方法，包括以下步骤：

步骤1：将32维随机向量输入生成器，生成器输出模拟MR图像；

步骤2、将真实MR图像或模拟MR图像输入判别器，判别器判断输入图像属于真实MR图像的概率并输出概率值；

步骤3、利用损失函数计算判别器和生成器的损失值，若不满足预设条件，则利用反向传播算法，自动优化生成器和判别器的参数，并重复步骤1-3，若满足预设条件,则转入下一步骤；

步骤4、此时得到的生成器即为可用于生成MR图像的模型。

进一步的，所述预设条件为，判别器的损失值小于第一预设阈值且生成器的损失值小于第二预设阈值。

进一步的，所述生成器包括从上到下顺次设置的成图卷积层、增量卷积层、放大卷积层、第四卷积层、第五卷积层和输出层，所述成图卷积层用于将32维随机向量变成多个特征图；所述增量卷积层用于将特征图的数量扩大一倍，大小不变；所述放大卷积层用于在原有图像像素的基础上在采用最近零插值算法插入新的元素，将图像进行放大；图像经过第四卷积层和第五卷积层处理后大小和数量均不发生变化；输出层用于输出图像。

进一步的，所述判别器包括从上到下顺次设置的转换卷积层、缩小卷积层、二次缩小卷积层、三次缩小卷积层、四次缩小卷积层、展平层、丢弃层和隐藏层；所述转换卷积层用于将MR图像转换为多个特征图；所述缩小卷积层用于将特征图的大小缩小，数量不变；所述二次缩小卷积层用于将特征图的大小再次缩小，数量不变；所述三次缩小卷积层用于将特征图的大小进行第三次缩小，数量不变；所述四次缩小卷积层用于将特征图的大小进行第四次缩小，数量不变；所述展平层用于将图像转换为一维向量；所述丢弃层用于按照预设比例随机丢弃神经元；所述隐藏层用于判断输入图像属于真实MR图像的概率并输出概率值。

进一步的，所述判别器的损失值计算公式为：

所述生成器的损失值计算公式为：

其中，D(x)表示将真实图像x输入判别器时判别器输出的概率，G(z)表示生成器生成的图像，D(G(z))表示将生成器生成的图像输入判别器的时候判别器输出的概率，p_data(x)代表真实图像的数据分布，p_z(z)代表生成图像的数据分布。

一种可用于生成MR图像的模型，包括生成器，所述生成器由模型训练模块训练完成后得到，所述模型训练模块包括判别器、损失值计算模块和优化器，所述生成器用于利用32维随机向量生成模拟MR图像，所述判别器用于对输入的模拟MR图像或真实MR图像进行判断，判断输入图像属于真实MR图像的概率并输出概率值；所述损失值计算模块用于利用概率值和损失函数计算生成器和判别器的损失值，并将损失值向后传播到优化器；所述优化器用于根据损失值自动优化生成器和判别器的参数，直到损失值小于预设阈值后停止优化，停止优化后训练完成。

进一步的，所述生成器包括从上到下顺次设置的成图卷积层、增量卷积层、放大卷积层、第四卷积层、第五卷积层和输出层，所述成图卷积层用于将32维随机向量变成多个特征图；所述增量卷积层用于将特征图的数量扩大一倍，大小不变；所述放大卷积层用于在原有图像像素的基础上在采用最近零插值算法插入新的元素，将图像进行放大；图像经过第四卷积层和第五卷积层处理后大小和数量均不发生变化；输出层用于输出图像。

进一步的，所述判别器包括从上到下顺次设置的转换卷积层、缩小卷积层、二次缩小卷积层、三次缩小卷积层、四次缩小卷积层、展平层、丢弃层和隐藏层；所述转换卷积层用于将MR图像转换为多个特征图；所述缩小卷积层用于将特征图的大小缩小，数量不变；所述二次缩小卷积层用于将特征图的大小再次缩小，数量不变；所述三次缩小卷积层用于将特征图的大小进行第三次缩小，数量不变；所述四次缩小卷积层用于将特征图的大小进行第四次缩小，数量不变；所述展平层用于将图像转换为一维向量；所述丢弃层用于按照预设比例随机丢弃神经元；所述隐藏层用于判断输入图像属于真实MR图像的概率并输出概率值。

本发明的有益效果为：本发明构建一个GAN网络，利用现有的MR图像数据集对该网络进行训练：随机选取噪声作为生成器的输入，将生成器输出的模拟MR图像与真实MR图像数据集数据作为判别器的输入，判别器判断输入图像的真假，并返回一个损失值，根据这个损失值提升生成器生成数据的准确率和判别器判断的准确率，最终使生成器输出的模拟MR图像可以达到以假乱真的程度，使判别器无法辨别生成器生成的模拟MR图像和真实MR图像，并将模拟MR图像判断为真实MR图像。训练完毕之后的生成器即为最终模型，可用于生成接近真实MR图像的模拟MR图像，从而达到扩充现有MR图像数据集的目的。

附图说明

图1为本发明的模型训练过程示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明建立的GAN主要思想如下，在结构上受博弈论中的二人零和博弈(即二人的利益之和为零，一方的所得正是另一方的所失)的启发，由一个生成器(Generator,G)和一个判别器(Discriminator,D)构成。G捕捉真实数据样本的数学分布模型，并由学习到的分布模型生成新的数据样本；D是一个二值分类器，用处是判别输入是真实数据还是生成的样本。二者不断学习，提高各自的生成能力和判别能力。事实上，这个学习优化过程是一个极小极大博弈(Minimax game)问题，即寻找二者之间的一个平衡点，如果达到该平衡点，D无法判断数据来自G还是真实样本，此时G达到最优状态。用数学语言描述如下

其中，G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。在最理想的状态下，G可以生成足以“以假乱真”的图片G(z)。对于D来说，它难以判定G生成的图片究竟是不是真实的，因此D(G(z))＝0.5。这样我们的目的就达成了：我们得到了一个生成式的模型G，它可以用来生成接近真实的MR图像。

一种可用于生成MR图像的模型，包括生成器，所述生成器由模型训练模块训练完成后得到，所述模型训练模块包括判别器、损失值计算模块和优化器，所述生成器用于利用32维随机向量生成模拟MR图像，所述判别器用于对输入的模拟MR图像或真实MR图像进行判断，判断输入图像属于真实MR图像的概率并输出概率值；所述损失值计算模块用于利用概率值和损失函数计算生成器和判别器的损失值，并将损失值向后传播到优化器；所述优化器用于根据损失值自动优化生成器和判别器的参数，直到损失值小于预设阈值后停止优化，停止优化后训练完成。

如图1所示，一种可用于生成MR图像的模型的建立方法，包括以下步骤：

步骤1：将32维随机向量输入生成器，生成器输出模拟MR图像；

步骤2、将真实MR图像或模拟MR图像输入判别器，判别器判断输入图像属于真实MR图像的概率并输出概率值；

步骤3、利用损失函数计算判别器和生成器的损失值，若不满足预设条件，则利用反向传播算法，自动优化生成器和判别器的参数，并重复步骤1-3，若满足预设条件,则转入下一步骤；

步骤4、此时得到的生成器即为可用于生成MR图像的模型。

本实施例中，所述预设条件为，判别器的损失值小于第一预设阈值且生成器的损失值小于第二预设阈值。

本实施例中，生成器和判别器都是基于卷积神经网络。首先把随机选取32维向量作为生成器的输入，在生成器中，生成器第一层为卷积层，卷积层参数设置为128x16x16,即经过该层后，32维的随机向量变成128个16x16的特征图；第二层参数设置为256x16x16，即128个特征图经过第二层卷积，特征图数量会扩大一倍，变成256，大小不变；第三层会对图像进行上采样对图像进行放大操作，即在原有图像像素的基础上在采用最近零插值算法插入新的元素；第四层和第五层均为卷积层，图像大小和数量不发生变化。最后一层为输出层，生成一个大小为32x32的模拟MR图像。

然后随机输入向判别器生成器生成的模拟MR图像或真实MR图像，经过第一层卷积层将输入转换为30x30的128个特征图；经过第二层，图像大小变成14x14，数量不发生改变，还是128个；经过第三层卷积层，图像大小变为6x6，数量依然是128，经过第四层大小变成2x2，数量不变；经过第五层展平层(Flatten)，将图像转换为一维向量，即第五层的输入是大小为2x2128个图像，经过第五层后就变成了长度为128x2x2＝512的一维向量，第六层丢弃层(Dropout)，该层是防止模型出现过拟合(深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳)加上去的，将丢弃层的参数设置为0.4表示在训练过程中会随机丢弃40％的神经元，经过最后一层隐藏层(Dense)，在这里也叫分类层，该层把数据进行分类判断，若判断输入的为模拟MR图像，则输出0，若判断输入的为真实MR图像，则输出1。在训练过程中，判别器的输出在0-1之间；但当模型训练好之后，判别器的输出只有可能为0或1，其中1为真，0为假。

本实施例中，所述损失函数为二元交叉熵损失函数，该损失函数一般用于二分类问题，损失函数公式为：

其中，D(x)表示将真实图像x输入判别器时输出的概率，G(z)表示生成器生成的图像，D(G(z))表示将生成器生成的图像输入判别器的时候输出的概率，p_data(x)代表真实图像的数据分布，p_z(z)代表生成图像的数据分布，生成器会学习真实图片的数据分布并根据输入的随机向量生成不断接近真实图片分布的图片，判别器同时学习真实图片数据分布和生成图片数据分布对输入的数据进行判断真假。该分布不能量化，在这里只是对他的一个表示，网络模型会自动对他进行计算。

这是一个最大最小优化问题，先优化判别器D，然后再优化生成器G，本质上是两个优化问题，拆解后得到下面两个公式：

判别器D的损失值计算公式为：

生成器G的损失值计算公式为：

优化D(判别器)时，与生成器无关，后面的G(z)相当于已经得到的假样本。优化D的公式的第一项，使的真样本x输入时，得到的结果越大越好，因为需要真样本的预测结果越接近于1越好。对于假样本，需要优化使其结果越小越好，也就是D(G(z))越小越好，因为它的标签为0。但是第一项越大，第二项就越小，这就矛盾了，所以把第二项改成1-D(G(z))，这样就是越大越好，两者合起来就是越大越好。

优化G(生成器)时，与真样本无关，所以把第一项直接去掉，只剩下假样本，这时希望假样本的标签是1，所以D(G(z))越大越好，但为了统一成1-D(G(z))的形式，就变成最小化1-D(G(z))，本质上没有区别，只是为了形式的统一。

这两个优化模型合并起来，就成了上面的最大最小损失函数了，里面既包含了对判别器的优化，同时也包含了对生成器的以假乱真的优化。

根据损失函数分别计算判别器和生成器的损失值，然后可以利用反向传播算法，更新模型的参数。先将判别器D的损失值带入反向传播算法，更新判别器的参数，然后将生成器G的损失值带入反向传播算法，更新生成器的参数。反向传播算法是根据损失函数计算出损失值，该损失值向后传播到优化器，优化器自动优化权重与偏差，然后根据新的权重和偏差继续训练网络，该网络又会产生损失，每一次训练都会更新权重和偏差。本发明可以对判别器和生成器进行多次优化，最终使生成器输出的模拟MR图像可以达到以假乱真的程度，训练完毕之后的生成器即可生成接近真实MR图像的模拟MR图像，从而达到扩充现有MR图像数据集的目的。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种可用于生成MR图像的模型的建立方法，其特征在于，包括以下步骤：

步骤1：将32维随机向量输入生成器，生成器输出模拟MR图像；

步骤2、将真实MR图像或模拟MR图像输入判别器，判别器判断输入图像属于真实MR图像的概率并输出概率值；

步骤3、利用损失函数计算判别器和生成器的损失值，若不满足预设条件，则利用反向传播算法，自动优化生成器和判别器的参数，并重复步骤1-3，若满足预设条件,则转入下一步骤；

步骤4、此时得到的生成器即为可用于生成MR图像的模型。

2.根据权利要求1所述的可用于生成MR图像的模型的建立方法，其特征在于，所述预设条件为，判别器的损失值小于第一预设阈值且生成器的损失值小于第二预设阈值。

3.根据权利要求1所述的可用于生成MR图像的模型的建立方法，其特征在于，所述生成器包括从上到下顺次设置的成图卷积层、增量卷积层、放大卷积层、第四卷积层、第五卷积层和输出层，所述成图卷积层用于将32维随机向量变成多个特征图；所述增量卷积层用于将特征图的数量扩大一倍，大小不变；所述放大卷积层用于在原有图像像素的基础上在采用最近零插值算法插入新的元素，将图像进行放大；图像经过第四卷积层和第五卷积层处理后大小和数量均不发生变化；输出层用于输出图像。

4.根据权利要求1所述的可用于生成MR图像的模型的建立方法，其特征在于，所述判别器包括从上到下顺次设置的转换卷积层、缩小卷积层、二次缩小卷积层、三次缩小卷积层、四次缩小卷积层、展平层、丢弃层和隐藏层；所述转换卷积层用于将MR图像转换为多个特征图；所述缩小卷积层用于将特征图的大小缩小，数量不变；所述二次缩小卷积层用于将特征图的大小再次缩小，数量不变；所述三次缩小卷积层用于将特征图的大小进行第三次缩小，数量不变；所述四次缩小卷积层用于将特征图的大小进行第四次缩小，数量不变；所述展平层用于将图像转换为一维向量；所述丢弃层用于按照预设比例随机丢弃神经元；所述隐藏层用于判断输入图像属于真实MR图像的概率并输出概率值。

5.根据权利要求1所述的可用于生成MR图像的模型的建立方法，其特征在于，所述判别器的损失值计算公式为：

所述生成器的损失值计算公式为：

其中，D(x)表示将真实图像x输入判别器时判别器输出的概率，G(z)表示生成器生成的图像，D(G(z))表示将生成器生成的图像输入判别器的时候判别器输出的概率，p_data(x)代表真实图像的数据分布，p_z(z)代表生成图像的数据分布。

6.一种可用于生成MR图像的模型，其特征在于，包括生成器，所述生成器由模型训练模块训练完成后得到，所述模型训练模块包括判别器、损失值计算模块和优化器，所述生成器用于利用32维随机向量生成模拟MR图像，所述判别器用于对输入的模拟MR图像或真实MR图像进行判断，判断输入图像属于真实MR图像的概率并输出概率值；所述损失值计算模块用于利用概率值和损失函数计算生成器和判别器的损失值，并将损失值向后传播到优化器；所述优化器用于根据损失值自动优化生成器和判别器的参数，直到损失值小于预设阈值后停止优化，停止优化后训练完成。

7.根据权利要求6所述的可用于生成MR图像的模型，其特征在于，所述生成器包括从上到下顺次设置的成图卷积层、增量卷积层、放大卷积层、第四卷积层、第五卷积层和输出层，所述成图卷积层用于将32维随机向量变成多个特征图；所述增量卷积层用于将特征图的数量扩大一倍，大小不变；所述放大卷积层用于在原有图像像素的基础上在采用最近零插值算法插入新的元素，将图像进行放大；图像经过第四卷积层和第五卷积层处理后大小和数量均不发生变化；输出层用于输出图像。

8.根据权利要求6所述的可用于生成MR图像的模型，其特征在于，所述判别器包括从上到下顺次设置的转换卷积层、缩小卷积层、二次缩小卷积层、三次缩小卷积层、四次缩小卷积层、展平层、丢弃层和隐藏层；所述转换卷积层用于将MR图像转换为多个特征图；所述缩小卷积层用于将特征图的大小缩小，数量不变；所述二次缩小卷积层用于将特征图的大小再次缩小，数量不变；所述三次缩小卷积层用于将特征图的大小进行第三次缩小，数量不变；所述四次缩小卷积层用于将特征图的大小进行第四次缩小，数量不变；所述展平层用于将图像转换为一维向量；所述丢弃层用于按照预设比例随机丢弃神经元；所述隐藏层用于判断输入图像属于真实MR图像的概率并输出概率值。