CN109674471A - 一种基于生成对抗网络的电阻抗成像方法及系统 - Google Patents

Abstract

本申请公开了一种基于生成对抗网络的电阻抗成像方法及系统，方法包括：在物场边界处施加激励信号，并在边界测得电学响应信号电压值；基于电压值进行初步成像，得到初步成像图片；将初步成像图片输入预先训练好的生成对抗网络，得到最终成像的图片。本申请提供的电阻抗成像方法，适用范围很广，能结合任意的初步成像算法使用，在初步成像的基础上，利用生成对抗网络进一步重建图像，改善了成像精度，相对于现有技术，能够快速、高精度的成像。

Description

一种基于生成对抗网络的电阻抗成像方法及系统

技术领域

本申请涉及电学成像技术领域，尤其涉及一种基于生成对抗网络的电阻抗成像方法及系统。

背景技术

电阻抗成像是电学层析成像技术的一种，它通过在物场边界处有规律地施加激励信号，在边界处可测得电学响应信号，算法重建出场内的阻抗分布信息，实现场内介质的二维\三维可视化测量。

电阻抗成像兴起于20世纪80年代，是医学成像技术的一个新方向，该技术出现以后，以其非侵入式、无辐射、成像速度快、设备简单、价格低廉、可视化等优点，在工业、医学、地质勘察等领域，都受到了广泛的关注，有着巨大潜力被广泛应用于成像和复杂过程监控。

由于EIT(Electrical Impedance Tomography，电阻抗成像)技术的“软场”特性，使得EIT图像重建问题是高度非线性的。传统的解决非线性问题的重建算法，有静态成像算法和动态成像算法。动态成像算法又称为差分成像，方法简单，具有很高的抗噪声能力和鲁棒性，现在仍被广泛使用，包括线性反投影法、一步牛顿重建法等，但成像精度较低。静态成像算法又称为绝对成像，重建精度较高，可以用于定量分析，包括有迭代Tikhonov正则化、基于共轭梯度的算法等，但该类算法在每次迭代都需要进行一次正问题、反问题求解，计算效率较低，不能满足实时成像。

随着计算机计算力的提升和大量的数据的积累，深度学习技术发展更加成熟。在很多领域深度学习都发挥出了其巨大的优势，甚至在一些领域深度学习算法超越了传统算法，如在图像处理领域、机器翻译领域。在医学图像领域，已经有大量使用深度学习的CT(Computed Tomography，计算机断层成像)、MRI(Magnetic Resonance Imaging，核磁共振成像)、PET(Positron Emission Tomography，正电子放射断层造影术)图像处理、重建相关的技术。在电阻抗成像领域(EIT)，也出现了利用卷积神经网络(Convolutional NeuralNetwork，CNN)用于算法重建的方法，有基于LeNet网络的算法重建和基于U-net网络的算法重建。

电阻层析成像旨在利用测量电压数据，算法重建恢复真实物体电导率分布。2018年7月发表在IEEE SENSORS JOURNAL期刊的Image Reconstruction Based onConvolutional Neural Network for Electrical Resistance，专利CN201610905596，介绍了基于卷积神经网络的电阻抗成像方法。该方法基于LeNet结构的网络，使用了大量数据样本对模型训练，并使用了dropout和移动平均值对模型进行了改善，最终训练好的网络，能从物场测量数据生成算法重建图。文章中提出的基于CNN的电阻层析成像方法，相比于传统的LBP,Tikhonov,Landwber方法有更好的成像结果。但这种成像方法，需要提供大量的训练样本。另外，相比较一些先进的传统成像算法，它的成像精度仍然是比较差的。

2018年5月发表于IEEE Transactions on Medical Imaging期刊的Deep D-bar:Real time Electrical Impedance Tomography Imaging with Deep Neural Networks，介绍了一种用D-bar算法进行初步成像，再使用U-net网络进行后处理成像，提供了一种可以应用于高度非线性电阻抗成像反问题，清晰、可靠的成像方法。这种方法不仅拥有D-bar成像算法的实时性、稳定性，还利用U-net网络消除了D-bar算法产生的模糊部分，改进了成像质量。结合了两种方法的特点，实时重建了清晰的图像。并且，该网络模型使用仿真数据进行训练，并能直接应用于实际数据，无需额外的迁移学习。文章中提出的基于D-bar和U-net网络的电阻层析成像方法，综合了D-bar算法快速性和深度学习去模糊等优点，能够达到实时成像，并保持一定的图像清晰度。但这种成像方法，基于U-net网络来改善图像，其成像精度仍然较低。

综上所述，如何快速、高精度的成像，是一项亟待解决的问题。

发明内容

有鉴于此，本申请提供了一种基于生成对抗网络的电阻抗成像方法，适用范围很广，能结合任意的初步成像算法使用，在初步成像的基础上，利用生成对抗网络进一步重建图像，改善了成像精度，相对于现有技术，能够快速、高精度的成像。

本申请提供了一种基于生成对抗网络的电阻抗成像方法，包括：

在物场边界处施加激励信号，并在边界测得电学响应信号电压值；

基于所述电压值进行初步成像，得到初步成像图片；

将所述初步成像图片输入预先训练好的生成对抗网络，得到最终成像的图片。

优选地，所述生成对抗网络包括：生成网络和判别网络。

优选地，预先训练生成对抗网络包括：

获取训练数据；

将所述训练数据输入网络模型进行训练，得到训练好的生成对抗网络模型。

优选地，所述训练数据为仿真数据。

优选地，所述网络模型为条件生成对抗网络模型。

一种基于生成对抗网络的电阻抗成像系统，包括：

测量模块，用于在物场边界处施加激励信号，并在边界测得电学响应信号电压值；

初步成像模块，用于基于所述电压值进行初步成像，得到初步成像图片；

生成模块，用于将所述初步成像图片输入预先训练好的生成对抗网络，得到最终成像的图片。

优选地，所述生成对抗网络包括：生成网络和判别网络。

优选地，所述系统还包括：

获取模块，用于获取训练数据；

训练模块，用于将所述训练数据输入网络模型进行训练，得到训练好的生成对抗网络模型。

优选地，所述训练数据为仿真数据。

优选地，所述网络模型为条件生成对抗网络模型。

综上所述，本申请公开了一种基于生成对抗网络的电阻抗成像方法，当需要实现电阻抗成像时，首先在物场边界处施加激励信号，并在边界测得电学响应信号电压值，然后基于电压值进行初步成像，得到初步成像图片，将初步成像图片输入预先训练好的生成对抗网络，得到最终成像的图片。本申请提供的电阻抗成像方法，适用范围很广，能结合任意的初步成像算法使用，在初步成像的基础上，利用生成对抗网络进一步重建图像，改善了成像精度，相对于现有技术，能够快速、高精度的成像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请公开的一种基于生成对抗网络的电阻抗成像方法实施例1的流程图；

图2为本申请公开的生成对抗网络的基本结构示意图；

图3为本申请公开的生成对抗网络的拓展结构pix2pix模型示意图；

图4为本申请公开的Pix2pix中改进的U-net结构示意图；

图5为本申请公开的一种基于生成对抗网络的电阻抗成像系统实施例1的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，为本申请公开的一种基于生成对抗网络的电阻抗成像方法实施例1的流程图，所述方法可以包括以下步骤：

S101、在物场边界处施加激励信号，并在边界测得电学响应信号电压值；

S102、基于电压值进行初步成像，得到初步成像图片；

S103、将初步成像图片输入预先训练好的生成对抗网络，得到最终成像的图片。

在整个电阻抗成像的过程中，首先，在物场边界处施加激励信号，然后在边界测得电学响应信号电压值U，然后根据所测量的电压值U，选择使用一种传统的电阻抗成像算法，进行初步成像，将初步成像图片作为输入导入已经训练好的GAN(Generative AdversarialNetworks，生成对抗网络)，然后通过生成对抗网络中的生成网络(G)得到最终成像的图片。

具体的，生成对抗网络的训练过程中，神经网络的训练需要提供网络模型、数据集、计算力。网络模型使用的是GAN的拓展形式pix2pix模型，数据集刚开始由于实际过程中并不能采集到那么多真实数据，使用的是通过Matlab产生的仿真数据，计算的GPU使用的是NVIDA Tesla K80。在训练的时，同时向生成网络(G)和判别网络(D)输入由Matlab仿真的初步成像图和真实分布图进行训练，训练完成后，即可得到用于二次重建成像的生成对抗网络模型。

具体的，上述的传统电阻抗成像重建算法主要可归纳为静态成像和动态成像。动态成像又称差分成像，利用两个不同时刻测量电压差值，通过算法重建重构差分图像，显示物场内两个不同时候电特性分布的变化。动态成像算法方法简单，耗时短，且测量数据中的系统噪声可以通过做差相消，因此具有很高的抗噪声能力和鲁棒性，现在仍被广泛使用，包括线性反投影法、一步牛顿重建法等，但成像精度较低。静态成像又称绝对成像，是基于测量某一时刻的数据，重构真实物体的电导率分布，重建精度较高，可以用于定量分析。常用的静态EIT重建算法包括有迭代Tikhonov正则化、基于等位线反投影的静态成像算法、基于共轭梯度的算法等，但该类算法相比较于差分成像算法，求解复杂，成像所需时间更，在每次迭代都需要进行一次正问题、反问题求解，计算效率较低，不能满足实时成像。

具体的，生成对抗网络是最近几年才提出的一种深度学习方法，它因其数据生成能力而不用对概率密度函数显示建模和对过度拟合的鲁棒性等优越性能，成为被广泛研究的技术。

生成对抗网络由一个生成网络(Generator)与一个判别网络(Discriminator)组成，同时训练两个特殊的神经网络。生成网络从潜在空间中随机采样作为输入，其输出结果要尽量模仿训练集中的真实样本，例如生成图片、文字、语音等。判别网络的输入则是生成网络的生成样本数据和真实样本数据，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络，让其无法辨别真伪。两个网络相互对抗、不断调整参数，生成能力和判别能力相互提高，直到生成器生成的人造样本看起来与原始样本没有区别，判别网络无法判断生成网络的输出结果是否真实，达到一种均衡。

如图2所示，为生成对抗网络(GAN)的基本结构，用数学语言描述整个博弈过程的就是：假设生成网络模型是G(z)，其中z是一个随机噪声(Random noise)，生成模型的作用是将随机噪声(z)生成尽可能接近真实的数据x，在图片问题里，g输出的就是一张图片。D是一个判别网络模型，对于任何输入x(真实数据/生成数据)输出0-1范围内的一个数，用来判断这个图片是一张真实图片的概率是多大。令Pr和Pg分别代表真实图像的分布与生成图像的分布，希望当数据x符合真实图像分布的时候，判别模型输出接近1，当数据x是生成图像分布时，判别模型输出接近0。则判别模型的目标函数如下：

在优化完判别模型D后，固定D，进一步优化生成模型G，生成模型的目标是让判别模型最终无法分辨真实数据和生成数据的区别，所以，生成模型的目标函数如下：

综上所述，对D和G进行交互迭代训练，固定G训练D，一段时间后，固定D训练G,如此反复，直到过程收敛达到均衡。整个优化目标函数如下：

图2所示的生成对抗网络是一种无监督学习的生成对抗网络，通过向生成网络(G)输入随机噪声训练生成接近真实样本的数据分布。但其最终生成结果会相对稳定不发生变化，不受输入控制。这里，我们希望在给网络不同的输入，能够控制输出，生成对应不同的对应真实样本图像。在本专利中，使用的是GAN的拓展结构pix2pix模型，一种条件生成对抗网络(cGAN)，通过向生成网络(G)引入有条件的数据控制生成网络的输出。如图3所示，为GAN的拓展结构pix2pix模型，在基于GAN的电阻抗成像方法中，生成网络引入的条件数据是利用传统电阻抗成像算法重构的初步重建图像，生成网络的作用是将输出的初步成像图通过网络尽可能地生成真实电导率分布图，所以经过训练后，生成网络最终输出的就是二次重建图像。

Pix2pix模型使用的生成网络结构是U-net网络结构的拓展，U-net是基于全卷积神经网络(FCN)的一个语义分割网络，使用于医学图像的处理。U-net网络包括一个收缩路径来捕捉语义和一个扩展路径来精确定位。网络可以实现端到端的训练，以图像为例U-net输入的是图片，输出的仍是图片。而且训练仅需使用非常少的图片，这在生物医学这类医学图像数据较少的领域有很大的实际价值。

U-net结构是基于全卷积神经网络(FCN)的语义分割网络，由收缩路径和扩展路径组成。收缩路径遵循了典型的卷积神经网络结构，使用多个重复的3x3的卷积操作，每个卷积操作后面紧接着一个线性整流单元和最大池化操作，在每次下采样中，特征通道数扩大一倍。扩展路径除了使用卷积、池化、线性整流操作，每次上采样与收缩路径池化层的特征图相结合，上采样特征图提供更加抽象的特征，收缩路径的特征图提供高分辨的图片。随着卷积次数增多，提取的特征也更加有效，更加抽象。

Pix2pix生成网络模型中使用的是改进的U-net结构，如图4所示，黑色方框表示收缩路径，白色方框表示扩展路径。方框下方的数字表示x-y尺寸，方框上方的数字表示特征通道数。扩展路径中黑色方框表示上采样过程中补充的边界信息，图中省略了每层的卷积操作。改进的U-net结构使用的收缩路径和扩展路径深度变深了，达到了8层，经过7次下采样、7次上采样。每层上的卷积操作变少了，每次下采样或者上采用后只做一次卷积操作。在上采样操作中，将每一次的输出特征与相映射的收缩网络的特征合并在一起，补全中间丢失的边界信息，也就是把第i层特征拼接到第n-i层。

Pix2pix模型的判别网络(D)结构使用的是普通全卷积神经网络。Pix2pix中的判别网络(D)被实现为Patch-D，所谓Patch，是指无论生成的图像有多大，将其切分为多个固定大小的Patch输入进D去判断。这样的好处有，D的输入变小，计算量小，训练速度快。另外，因为G本身是全卷积的，对图像尺度没有限制，而D如果是按照Patch去处理图像，也对图像大小没有限制。就会让整个Pix2pix框架对图像大小没有限制，增大了框架的扩展性。模型损失函数采用L1+cGAN损失的方式，L1权重100，结合两种损失函数的优点。在损失函数中，L1被添加进来保证输入和输出的共性。图像的变形分为两种，局部和全局的。L1可以防止全局的变形，只要让判别网络去保证局部能够精准即可。

为了更加清楚的说明本申请的技术方案，下面再详细的描述整个电阻抗成像过程：

由于GAN方法，训练生成对抗网络需要较多数量的训练数据，使用Matlab仿真模拟生成用于训练GAN的样本数据。所以，基于GAN的电阻抗成像的过程包括：Matlab生成仿真数据训练样本集、构建pix2pix网络训练网络、实际测量电压用传统EIT重建、pix2pix模型二次重建。

(一)Matlab生成仿真数据训练样本集

步骤一：EIT正问题是在已知被测物场的电导率特性以及边界条件，求取区域内电场分布进而获得边界电极上的测量电压。这里，通过Matlab给定仿真电导率分布σ_i和激励电流向量[I₁,I₂,...,I_L]，利用全电极模型(CEM)有限元方法(FEM)求解EIT正问题，计算得电压响应向量[U₁,U₂,...,U_L]。

步骤二：EIT反问题就是图像重建过程，已知被测物场的激励电流和边界电压，求解物场中的电阻抗分布。这里，根据步骤一得到的电压序列[U₁,U₂,...,U_L]和激励电流向量[I₁,I₂,...,I_L]，利用反问题求解算法，如绝对成像或者差分成像算法，求解被测物场电导率分布。

步骤三：重复上面步骤一和步骤二的过程，利用Matlab生成2000组仿真数据

(二)使用pix2pix网络，训练网络

由前面所介绍的，pix2pix网络是一种条件生成对抗网络(cGAN)，针对GAN本身不可控的缺点，加入监督信息，指导GAN进行生成。条件生成对抗网络(cGAN)是对原始GAN的一个扩展，生成网络和判别网络的建模中都均引入条件变量x，使用额外信息x对模型增加条件。在本专利中，引入的条件变量x就是经传统成像算法生成的初步重建图像。

所以，条件生成对抗网络的目标函数被表达为

另外，模型中使用L1距离损失替代L2损失来促使更少的模糊，有表达式

最终的pix2pix网络的目标函数为：

网络结构由生成网络和判别网络组成，生成网络结构是前面方案内容里所述的U-net网络，是自编码的一种变形结构，增加了第i层与第n-i层的跳跃连接。判别网络设计一种PatchGAN的结构，将图片分成NxN的结构，在小块上惩罚损失结构。这个判别网络分别对每个NxN小块进行判别是真的或假的，N取70，即70x70PatchGANs结构。

使用小批量随机梯度下降法和Adam求解器，学习率设置为0.0002，当量参数β₁＝0.5,β₂＝0.999。损失函数使用L1+cGAN损失，其中L1损失来保证输入和输出间的一致性。

(三)实际测量电压用传统EIT重建

传统EIT重建算法主要可归纳为差分成像和绝对成像。为了证明基于GAN的电阻抗成像方法的普适性和通用型，在本申请中，使用GAN分别结合差分成像方法和绝对成像方法都进行了测试。

差分成像利用两个不同时刻测量电压差值，通过算法重建重构差分图像，显示物场内两个不同时候电特性分布的变化。如下公式所示，在t₁和t₂时刻，分别测得对应的电压V₁和V₂，其中e₁和e₂是不同时刻测量的系统噪声。然后，将两式在σ₀处泰勒公式展开，则有：

(2)–(1)式有：

由(3)式得到的电压差，其中是灵敏度矩阵。引入正则化的方法求电导率的变化Δσ，λ为正则化系数，所以有如下最终的目标函数：

在目标函数取最小值的时候，取到对应的电导率的变化值Δσ。

绝对成像是指根据某一时刻测得的电压数据，直接重建被测物场内的电导率分布的方法。它是一种迭代算法，通过反复迭代来逼近真实电导率值。

其目标函数如下：

令式子在σ_i处泰勒展开，有：

将(6)式代入(5)式有：

Δσ＝J\[Z-H(σ)] (7)

σ_i+1＝σ_i+kΔσ (8)

上述式子在泰勒展开求得对应的Δσ，然后每次使用值为k的步长，更新电导率的值，经过多次迭代以后，绝对成像算法求得的电导率值会逼近真实电导率的值。

(四)pix2pix模型二次重建

首先，获得实际测得的物场电压响应信号，使用传统EIT重建算法初步成像。然后，将初步成像的图片作为条件输入，输入已经训练好的pix2pix网络，即可得到由生成对抗网络生成的二次重建图像。

综上所述，本申请提成的一种基于生成对抗网络的电阻抗成像技术，该GAN中生成网络使用的是U-net结构，具有只需少量训练样本的优点，所以使得训练GAN也可以使用较少的样本训练取得较好的结果，这在数据量较少的医学领域有着很大的实用价值。该方法先采用传统EIT算法实现了初步成像，在初步成像的基础上利用GAN修正二次重建，可以实现一种高精度的电阻抗成像方法。该方法中生成对抗网络重建速度快，配合使用成像速度快的传统成像算法可以实现实时成像功能。最后，基于GAN的EIT方法更具有普适性，它可以结合其他的传统电阻抗成像方法，在原有的成像基础上进一步提升重建图像的质量。

如图5所示，为本申请公开的一种基于生成对抗网络的电阻抗成像系统实施例1的结构示意图，所述系统可以包括：

测量模块501，用于在物场边界处施加激励信号，并在边界测得电学响应信号电压值；

初步成像模块502，用于基于电压值进行初步成像，得到初步成像图片；

生成模块503，用于将所述初步成像图片输入预先训练好的生成对抗网络，得到最终成像的图片。

本实施例公开的基于生成对抗网络的电阻抗成像系统的工作原理与上述的基于生成对抗网络的电阻抗成像方法相同，在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于生成对抗网络的电阻抗成像方法，其特征在于，包括：

在物场边界处施加激励信号，并在边界测得电学响应信号电压值；

基于所述电压值进行初步成像，得到初步成像图片；

将所述初步成像图片输入预先训练好的生成对抗网络，得到最终成像的图片。

2.根据权利要求1所述的方法，其特征在于，所述生成对抗网络包括：生成网络和判别网络。

3.根据权利要求2所述的方法，其特征在于，预先训练生成对抗网络包括：

获取训练数据；

将所述训练数据输入网络模型进行训练，得到训练好的生成对抗网络模型。

4.根据权利要求3所述的方法，其特征在于，所述训练数据为仿真数据。

5.根据权利要求4所述的方法，其特征在于，所述网络模型为条件生成对抗网络模型。

6.一种基于生成对抗网络的电阻抗成像系统，其特征在于，包括：

测量模块，用于在物场边界处施加激励信号，并在边界测得电学响应信号电压值；

初步成像模块，用于基于所述电压值进行初步成像，得到初步成像图片；

生成模块，用于将所述初步成像图片输入预先训练好的生成对抗网络，得到最终成像的图片。

7.根据权利要求6所述的系统，其特征在于，所述生成对抗网络包括：生成网络和判别网络。

8.根据权利要求7所述的系统，其特征在于，还包括：

获取模块，用于获取训练数据；

训练模块，用于将所述训练数据输入网络模型进行训练，得到训练好的生成对抗网络模型。

9.根据权利要求8所述的系统，其特征在于，所述训练数据为仿真数据。

10.根据权利要求9所述的系统，其特征在于，所述网络模型为条件生成对抗网络模型。