CN109859285B - 基于空洞卷积网络的电阻抗图像重建方法 - Google Patents

Abstract

本发明涉及一种基于空洞卷积网络的电阻抗图像重建方法，包括下列步骤：从已有的人体胸腔影像图像集中提取待测肺部形状和胸腔轮廓形状，得到肺部和胸腔的二值图像；根据二值图像建立相应的包括传感器模型和待测内含物在内的EIT仿真模型，胸腔轮廓形状用于建立传感器模型，肺部形状用于建立一定电导率的内含物；考虑模型误差，在EIT仿真模型基础上进行数据增强；求解上一步骤处理后的仿真模型正问题，得到图像重建所需的边界测量电压，建立CNN模型，测量电压和胸腔二值图像作为CNN模型的输入，以待测肺部图像作为CNN模型的输出。

Description

基于空洞卷积网络的电阻抗图像重建方法

技术领域

本发明属于电阻抗层析成像技术领域，涉及构建网络训练数据集以及基于空洞残差网络的电阻抗成像网络。

背景技术

电阻抗层析成像(ElectricalImpedanceTomography简称EIT)是一种非侵入式的成像技术，它通过场域的边界测量值重建出场域内部的电导率分布。相比其它成像技术如计算机断层扫描(ComputedTomography,简称CT)和核磁共振成像(MagneticResonanceImaging简称MRI)，EIT有着无辐射、结构简单、速度快等优点，在医学临床监测、多相流流型监测以及地址勘探等领域有着广阔的发展前景。

然而，由于EIT固有的“软场”特性，其重建图像往往分辨率较低，并且受测量误差和模型误差影响较大，这限制了EIT技术的进一步推广。EIT的“软场”的特性在数学上表现为逆问题的非线性和病态性。传统重建算法通过线性化的方法进行近似和减小模型误差的影响，并引入正则化项来减弱逆问题的病态性。最近，一些直接非线性的重建算法被提出，比如level-set、D-bar等，而基于神经网络的重建算法也属于此类。

近几年来，伴随着深度学习在计算机视觉和图像处理领域的迅速发展和广泛应用，众多深度网络特别是卷积神经网络(ConvolutionalNeuralNetwork简称CNN)也纷纷被引入到医学成像领域中来。这些数据驱动的新型成像技术被视为医学成像领域继解析法、迭代法后的第三个发展阶段，它们利用由大量数据训练好的网络，来补充或代替传统成像算法中人为定义的模型，将大数据内在的信息自动地融入到成像过程中。其中一种较为简便易行的办法是在图像域设计并训练一个对粗糙的重建图像加以后处理的CNN，使CNN能学习到医学成像过程中产生的噪声以及伪影等，并在输出图像中移除这些不利因素，这可以被视为一个图像增强或者说图像变换过程，在计算机视觉和图像处理领域这方面已经有许多有效而易于使用的网络模型。E.Kang等人2017年在《医学物理》(MedicalPhysics)第44卷，e360-e375页发表的题为《一种利用定向小波进行低剂量x线CT重建的深度卷积神经网络》(Adeep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction.)的文章提出了一种在小波域对低剂量CT影像去除噪声的CNN，网络经训练后可将带噪声的小波系数转换为去噪后的纯净小波系数；Q.Yang等人2017年在《IEEE医学成像期刊》(IEEE Transactions on Medical Imaging)第37卷，1348-1357页发表的题为《基于Wasserstein距离和感知损失的生成对抗性网络的低剂量CT图像去噪》(Low Dose CT Image Denoising Using a Generative Adversarial Network withWasserstein Distance and Perceptual Loss)的文章提出了一种用生成对抗网络和感知损失对低剂量CT进行降噪的方法，GAN可以从统计角度减弱噪声分布的强度，而感知损失可以在一个可学习的特征域内指导网络训练。除此之外，一种更彻底的策略是充分利用原始测量数据的有效信息，设计一个网络由原始测量数据直接重建得到图像，实现数据从信号域到图像域的转换，而如何设计这一个转换模型将是很有挑战的任务，以往这一过程都通过一些人为设计的传统成像算法，如FBP、ART、正则化方法等实现，而在基于CNN的方法中这一过程则通过对大量数据的学习得到。B.Zhu等人2017年在《自然》(Nature)第555卷，487页发表的题为《基于域变换流形学习的图像重建方法》(Image reconstruction by domain-transform manifold learning)的文章中将成像视为一个流形学习过程，网络可以学习到原始测量数据从信号域变换到图像域的映射关系，这一过程由两个全连接层建模，以及重建图像在图像域内的低维流形最佳表示，这一过程由稀疏卷积自编码器建模。另一种方案是将深度神经网络巧妙地融入到重建算法中，Harshit Gupta等人2017年在《IEEE医学成像期刊》(IEEE Transactions on Medical Imaging)第37卷，1440-1453页发表的题为《基于CNN的投影梯度下降CT图像重建方法》(CNN-Based Projected Gradient Descent forConsistent CT Image Reconstruction)的文章中提出将投影梯度算法中的投影操作用一个CNN代替，而非将整个重建过程都放在CNN中进行，这可以通过传统算法中的反馈机制确保重建结果与原始测量电压一致。

神经网络很早即被应用到EIT中，不过这些模型一般都是浅层的神经网络，这限制了基于神经网络的EIT重建算法的性能。随着深度学习的技术突破，基于神经网络的方法再次受到关注。如上文所述，将神经网络应用于图像重建可以先用传统成像算法进行图像重建，将初步重建的结果输入到神经网络中作处理，此时神经网络起到了图像变换的作用，这也是目前EIT应用中能取得较好结果的方法。鉴于非线性方法有着对噪声和模型误差敏感的缺点，线性重建算法的结果可以被视为神经网络的初始值，这有助于减少噪声和模型误差的影响。S.J.Hamilton等人2017年在《IEEE医学成像期刊》(IEEE Transactions onMedical Imaging)第37卷，2367-2377页发表的题为《深度D-bar：基于深度神经网络的实时电阻抗成像方法》(Deep D-bar:Real time Electrical Impedance Tomography Imagingwith Deep Neural Networks)的文章中将D-bar算法重建的图像输入到一个U-net中进行后处理，这种被称作Deep D-bar的方法可以使D-bar算法的模糊重建结果得到显著的增强，可以得到清晰的器官边界。若直接将边界测量值输入到神经网络中进行图像重建，那么此时神经网络起到一个非线性重建器的作用。Jin Zheng等人2018年在《IEEE传感器期刊》(IEEE Sensor Journal)第18卷，5464-5474页发表的题为《一种基于自编码器的电容层析成像方法》(An Autoencoder-Based Image Reconstruction for ElectricalCapacitance Tomography)的文章中提出将自编码器用于电学图像重建，将测量电压视为对场域内介电常数分布编码的结果，编码器建模正问题，解码器建模逆问题，并将俩者结合起来互相指导一同训练。神经网络也可以作为重建算法的一部分，Jing Lei等人2018年在《IEEE仪器与测量期刊》(IEEE Transactions on Instrumentation and Measurement)第67卷，2107-2118页发表的题为《基于深度学习逆问题方法的电容层析成像方法》(DeepLearning-Based Inversion Method for Imaging Problems in ElectricalCapacitance Tomography)的文章中将训练好的神经网络输出结果作为重建算法中的一个惩罚项，用分裂贝尔曼算法进行求解。

发明内容

本发明的目的提供一种基于空洞卷积网络的电阻抗图像重建方法。本发明提出一种训练集构建方法和一种用于EIT的CNN模型，训练集构建过程中充分考虑人体胸腔EIT测量过程中会发生的电极偏移、胸腔轮廓变化、测量电路噪声等因素的干扰，使得仿真数据尽量贴合实际的EIT测量情况。在所提出的CNN的模型的输入端，设计了一个引入EIT灵敏度矩阵信息的可学习预重建器，以实现测量电压到图像的转换，之后针对EIT图像分辨率低的特点，采用空洞卷积扩大CNN卷积层的感受野，提取图像中更广阔区域的特征。同时在所提出的CNN模型中，考虑测量过程中胸腔轮廓变化的影响，在处理过程中结合了胸腔形状的先验信息，减小其对重建结果的影响。训练好的模型在仿真结果和实验结果中均能较准确地重建出待测肺部的电导率分布，可以显著提高EIT的成像精度。技术方案如下：

一种基于空洞卷积网络的电阻抗图像重建方法，包括下列步骤：

步骤一：从已有的人体胸腔影像图像集中提取待测肺部形状和胸腔轮廓形状，得到肺部和胸腔的二值图像；

步骤二：根据二值图像建立相应的包括传感器模型和待测内含物在内的EIT仿真模型，胸腔轮廓形状用于建立传感器模型，肺部形状用于建立一定电导率的内含物；

步骤三：考虑模型误差，在EIT仿真模型基础上进行数据增强，操作步骤如下：

[1]传感器模型中的每个电极会发生一定的随机移动，以此来模拟实际贴电极时的位置偏差；

[2]对每一组仿真电压随机加入一定的高斯噪声，以此模拟实际测量系统的噪声；

[3]仿真模型中的肺部内含物会根据实际测量中待测对象可能出现的情况作相应的变化，得到经过数据增强后的待测肺部图像；

步骤四：求解上一步骤处理后的仿真模型正问题，得到图像重建所需的边界测量电压，建立CNN模型，测量电压和胸腔二值图像作为CNN模型的输入，上一步骤中[3]处理后的待测肺部图像作为CNN模型的输出；

CNN模型主要包括两部分：可学习预重建器，用来得到一个预重建结果，实现输入数据从传感器信号域到图像域的转换；图像后处理网络，接受预重建器的输出图像，还输入胸腔轮廓图像来指导减小模型误差；

所构造的可学习预重建器表达式为

y＝tanh[(J^TJ+R^TR)^-1J^Tb」

式中J为传统EIT重建方法中的灵敏度矩阵，是一个常量，b为输入的边界测量电压，y为输出的预重建图像，R为一个可学习的对角矩阵，即

式中v＝[v₁v₂…v_n]，为预重建器中需要学习的向量，tanh为双曲正切函数；

令u＝(J^TJ+R^TR)^-1J^Tb，相应地，在训练过程中该预重建器的误差传递公式为

式中，⊙表示两向量逐元素相乘，L为模型训练的损失函数，为训练时反向传递到预重建器的梯度值，以梯度下降法更新参数v；

图像后处理网络以残差单元为基本组成单元，每个残差单元的前向通道中包含有若干个卷积层，卷积层后串结批归一化层，在这些卷积层中，核心的卷积层为空洞卷积，它通过在卷积核内补零，用较少的参数构建尺寸更大的卷积核，以此达到扩大感受野的目的；由残差单元组成残差块，残差块连接构成完整的图像后处理网络；

CNN模型接受测量电压和胸腔轮廓二值图像两个输入，测量电压输入预重建器得到的输出图像与胸腔轮廓二值图像拼接后输入到后处理网络中，网络前半部分由串联的残差块构成，图像经残差块处理后可以将尺寸减小一半，得到不同尺寸的处理图像；网络后半部分接受不同尺寸的图像，所有图像经残差块处理后，将小尺寸图像经反卷积层上采样后与大尺寸图像相加，然后经残差块处理后输出，以实现不同尺度的图像特征的融合。

附图说明

图1为本发明中训练数据集构建方法的流程图；

图2为本发明中模型基本组成单元的示意图；

图3为本发明中CNN模型的完整示意图；

图4为本发明的三个典型仿真模型E1-E3，分别给出了相应的传统Tikhonov先验成像结果、Laplacian先验成像结果以及本发明方法的成像结果。

图5为琼脂仿体实验结果，分别给出了Tikhonov先验成像结果、Laplacian先验成像结果以及本发明方法的成像结果。

具体实施方式

结合附图和实施例对本发明的基于空洞卷积网络的电阻抗图像重建方法加以说明。

本发明的基于空洞卷积网络的电阻抗图像重建方法，实施例中针对人体肺部电导率成像这一EIT技术的特殊应用形式，待测对象是人体肺部电导率分布，外部轮廓是人体胸腔轮廓。以肺部EIT测量电压和人体胸腔轮廓二值图像作为CNN模型的输入，肺部电导率分布图像作为CNN模型的输出。

图1是本发明中对原始肺部高分辨率图像集的预处理与训练集数据建立流程图，其主要步骤如下：

步骤一：从原始人体肺部CT影像集中，使用阈值分割的方法从原始图像中分割出肺部轮廓和胸腔轮廓，阈值大津法给出。

步骤二：根据二值图像建立相应的EIT仿真模型，胸腔轮廓用于建立传感器模型，肺部轮廓用于建立待测内含物。仿真模型采用16电极相邻激励模式，电极按顺时针方向均匀分布，1号电极在胸骨中央，5号电极在右腋窝，9号电极在脊柱，13号电极在左腋窝。仿真模型中背景电导率设置为1，肺部电导率设置为0.5。

步骤三：对理想仿真模型加以一定的扰动，每个电极以理想位置为中心，以1/5个电极长度为标准差按正态分布随机移动，以此来模拟实际贴电极时的位置偏差。在肺部区域随机绘制一条接近水平(斜率范围[-0.5,0.5])的切割线，并随机丢弃切割线以上或以下的部分，以此来模拟肺部发生病变的情况。对于每幅CT影像，分别建立两肺均不切割、左肺切割、右肺切割、两肺均切割四个仿真模型。

步骤四：求解仿真模型的正问题得到图像重建所需的边界测量电压，给测量电压随机加入0～10％的高斯随机噪声，以此模拟实际测量过程中的电路噪声。同时求出不含肺部时的空场仿真电压，用加噪声后的测量电压减去空场电压。

步骤五：测量电压差值和胸腔轮廓二值图像作为CNN模型的输入，切割后的肺部图像将作为CNN模型的输出。由于是低电导率测量值减去高电导率测量值，以此模型输出图像中肺部区域像素值应为-0.5，背景区域为0。

图2为模型中残差块的详细结构图，模型以残差单元(residual unit)为基本组成单元，残差单元中包含一个直接连接输入输出的直连层，这对图像转换任务十分有利，因为大多数情况下输出图像需要与输入图像共享结构信息。每个残差单元的前向通道中包含有1×1、5×5、3×3、1×1四个卷积层，激发函数为relu函数，其中5×5卷积的为空洞卷积层，3×3普通卷积层为空洞卷积层的补充操作。空洞卷积可以扩大卷积层的感受野，由于EIT图像固有的低分辨率，与自然图像处理相比，EIT往往需要更大的卷积核才能充分地提取信息，然而随着卷积核的增大，网络参数量将显著增加，这对EIT的实时性和网络训练过程都十分不利，使用空洞卷积可以在参数量较少的情况下，获得可以充分提取到EIT低分辨率图像特征的感受野，后接的3×3普通卷积层可以规避空洞卷积的网格效应。两个1x1普通卷积层起变换通道数的作用，普通卷积层后串结批归一化层，这可以加快网络训练速度。

图3为本发明所提出的CNN模型完整示意图，Reconstructor即为上文中所叙述的可学习预重建器，预重建器输出图像与外部轮廓二值图像拼接后输入到后处理网络中，网络前半部分由四个串联的残差块(Residual 1～Residual 4)构成，其中输入图像经第二个残差块后尺寸减小一半，Residual 5接受大小两种尺寸的图像，图像经残差块处理后，将小尺寸图像经反卷积层上采样后与大尺寸图像融合，然后经残差块处理后输出，这可以实现不同尺度的图像特征的融合。

模型的损失函数采用带L2范数权值衰减的最小二乘误差，即

式中，b_i、t_i、d_i为第i个样本中相应的输入边界电压、输入外部轮廓二值图像以及理想的输出待测分布，N(·)为网络模型，为模型中各个待学习参数，λ为权值衰减正则化参数，加入权值衰减可以减少网络的过拟合。

模型训练采用Adam优化器，初始学习率设为0.001，训练样本分批进行处理，每批数目为128，L2范数项正则化参数为0.005，每次训练共计迭代100次。软件平台采用tensorflow，在一块TitanXPGPU(12GB显存)上完成一次训练耗时大约5个小时。

图4中给出了三个典型仿真模型的成像结果，黄色底色为仿真模型的外部轮廓。可以看出，传统EIT成像算法结果只能大概地反映出肺部的位置和大小，受外部轮廓变化影响较大，而本发明所提出的方法能够较准确地重建出肺部的形状，并减小了外部轮廓变化造成的影响。图5中给出了琼脂仿体实验的重建结果，可以看到在本发明所构建的仿真数据训练集上训练的模型在实测数据上依然有着很好的重建效果。

以上所述实施例为本发明的几个较佳模型，本发明不局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都在本发明保护的范围。

Claims (1)

1.一种基于空洞卷积网络的电阻抗图像重建方法，包括下列步骤：

步骤一：从已有的人体胸腔影像图像集中提取待测肺部形状和胸腔轮廓形状，得到肺部和胸腔的二值图像；

步骤二：根据二值图像建立相应的包括传感器模型和待测内含物在内的EIT仿真模型，胸腔轮廓形状用于建立传感器模型，肺部形状用于建立电导率的内含物；

步骤三：考虑模型误差，在EIT仿真模型基础上进行数据增强，操作步骤如下：

[1]传感器模型中的每个电极会发生随机移动，以此来模拟实际贴电极时的位置偏差；

[2]对每一组仿真电压随机加入高斯噪声，以此模拟实际测量系统的噪声；

[3]在肺部区域随机绘制一条斜率范围为[-0.5,0.5]的接近水平的切割线，并随机丢弃切割线以上或以下的部分，以此来模拟肺部发生病变的情况，得到经过数据增强后的待测肺部图像；

步骤四：求解上一步骤处理后的仿真模型正问题，得到图像重建所需的边界测量电压，建立CNN模型，测量电压和胸腔二值图像作为CNN模型的输入，上一步骤中[3]处理后的待测肺部图像作为CNN模型的输出；

CNN模型主要包括两部分：可学习预重建器，用来得到一个预重建结果，实现输入数据从传感器信号域到图像域的转换；图像后处理网络，接受预重建器的输出图像，还输入胸腔轮廓图像来指导减小模型误差；

所构造的可学习预重建器表达式为

式中J为传统EIT重建方法中的灵敏度矩阵，是一个常量，b为输入的边界测量电压，y为输出的预重建图像，R为一个可学习的对角矩阵，即

式中v＝[v₁ v₂ … v_n]，为预重建器中需要学习的向量，tanh为双曲正切函数；

令u＝(J^TJ+R^TR)^-1J^Tb，相应地，在训练过程中该预重建器的误差传递公式为

式中，⊙表示两向量逐元素相乘，L为模型训练的损失函数，为训练时反向传递到预重建器的梯度值，以梯度下降法更新参数v；

图像后处理网络以残差单元为基本组成单元，残差单元中包含一个直接连接输入输出的直连层，每个残差单元的前向通道中包含有1×1、5×5、3×3、1×1四个卷积层，激发函数为relu函数，其中5×5卷积的为空洞卷积层，3×3普通卷积层为空洞卷积层的补充操作，后接的3×3普通卷积层可以规避空洞卷积的网格效应；两个1x1普通卷积层起变换通道数的作用，普通卷积层后串结批归一化层；核心的卷积层为空洞卷积，它通过在卷积核内补零，用较少的参数构建尺寸更大的卷积核，以此达到扩大感受野的目的；由残差单元组成残差块，残差块连接构成完整的图像后处理网络；

CNN模型接受测量电压和胸腔轮廓二值图像两个输入，测量电压输入预重建器得到的输出图像与胸腔轮廓二值图像拼接后输入到后处理网络中，网络前半部分由串联的残差块构成，图像经残差块处理后可以将尺寸减小一半，得到不同尺寸的处理图像；网络后半部分接受不同尺寸的图像，所有图像经残差块处理后，将小尺寸图像经反卷积层上采样后与大尺寸图像相加，然后经残差块处理后输出，以实现不同尺度的图像特征的融合。