CN110580727B - 信息流与梯度流增加的深度v型密集网络成像方法 - Google Patents

Abstract

本发明涉及一种信息流与梯度流增加的深度V型密集网络成像方法，包括下列步骤：步骤1：建立训练与测试网络模型的数据库：建立层析成像传感阵列仿真模型；采集含有内含物的边界测量序列、参考场的边界测量序列以及仿真模型设定含有内含物的介质分布图片；步骤2：修改U‑Net网络结构，并添加4个密集块，构建VDN‑IIFGF成像网络；步骤3：网络模型训练：训练集样本的边界电压差值归一化序列为VDN‑IIFGF成像网络的输入，仿真设置的介质分布图片为监督学习的标签与VDN‑IIFGF成像网络预测的介质分布图片作为损失函数的两个自变量；实现被测场域中内含物介质分布的成像。

Description

信息流与梯度流增加的深度V型密集网络成像方法

技术领域

本发明提出一种含有4个密度块33层的新型监督式深度网络结构，用于电学层析成像图像重建。

背景技术

电学层析成像技术是基于电阻抗、电感、电容等不同电特性敏感机理的过程层析成像技术。电学层析成像系统主要由传感器、数据采集单元和图像重建算法三部分组成。图像重建即电学成像的逆问题是电学层析成像技术的重要分支，重建算法的求解精度、成像速度及抗噪性等关键问题均是研究的重要内容。近几十年，针对图像重建的不同问题，已经提出与发展了以三种框架为基础的许多图像重建方法。针对图像重建问题的本质非线性，主要是将非线性问题线性化，线性化后的图像重建问题表达更加简洁，有成熟的最优化理论做理论支撑，大部分成像算法是基于线性框架进行图像重建，如谢成刚等人1989年在《IEE Proceedings A-Physical Science,Measurement and Instrumentation,Management and Education(物理科学、测量与仪器、管理与教育-会议论文集)》第136卷，173-183页发表的“8-electrode capacitance system for two-component flowidentification(8电极电容双组分流动辨识系统)”中采用的LBP图像重建算法；当一阶线性近似模型不足以反映问题的非线性时，出现了迭代线性化类算法，如杨武强等人1999年在《Measurement Science and Technology(测量科学与技术)》第10卷，1065-1069页发表的“An image-reconstruction algorithm based on Landweber's iteration methodfor electrical-capacitance tomography(一种基于Landweber迭代重建的电容层析成像图像重建)”，此类迭代线性化算法重建精度较高，但计算效率低；正则化类方法是解决病态性问题的通用框架，如许燕斌等2016年在《Flow Measurement and Instrumentation(流量测量与仪器)》第50卷，1-12页发表的“An adaptive Tikhonov regularization parameterchoice method for electrical resistance tomography(一种用于电阻层析成像的自适应Tikhonov正则化参数选择方法)”，论文中人工经验提取的先验正则化信息有限使得该方法的成像范围与成像精度受限。传统的基于线性化框架、迭代框架、正则化框架的成像算法不能兼顾成像速度与成像精度，不能满足工业过程的要求。

突破传统的成像算法框架，探寻一种能自挖掘、自学习与自提取成像特征，同时兼顾成像速度、成像精度以及模型的泛化能力的新范式，是一个新的研究热点与方向。深度学习由于可以在网络训练过程中自学习有用的特征，通过逐层特征空间的转换与特征的有效提取，可以高效提升回归预测的准确性，从而给电学层析成像图像重建带来了新的机遇。最近几年，不同的网络拓扑结构涌现出来用于解决电学层析成像图像重建问题。彭黎辉等人在《IEEE Sensors Journal(IEEE传感器杂志)》第18卷，5464-5474页发表的“Anautoencoder-based image reconstruction for electrical capacitance tomography(一种用于电容层析成像的基于自编码的图像重建算法)”中采用9层的自编码网络，刘泽等人在《IEEE Sensors Journal(IEEE传感器杂志)》第18卷，3290-3298页发表的“Deeplearning image reconstruction simulation for electromagnetic tomography(电学成像的深度学习图像重建仿真算法)”中采用稀疏自编码网络和全连接网络，谭超等人在《IEEE Sensors Journal(IEEE传感器杂志)》第19卷，196-204页发表的“ImageReconstruction Based on Convolutional Neural Network for ElectricalResistance Tomography(基于卷积神经网络的电阻抗层析成像图像重建)”中提出卷积神经网络成像算法，这些网络拓扑结构隐藏层的层数较少，网络结构的表达能力有限，成像精度较低；不同网络层之间的信息流主要通过前馈连接方式进行传输，公布号CN109712207A发明公布的“V-Net深度成像方法”网络拓扑结构中采用残差连接、跳跃连接等短连接作为辅助的信息传输方式，总得来说，现有的网络拓扑结构中信息流的连接方式是稀疏的；此外，网络反向传播过程中，梯度流的传播方式也是稀疏的，主要是通过链式求导法则由高层梯度依次向低层梯度传播，采用短连接的网络中较高层梯度可直接或间接传递到低层网络。

针对公布号CN109712207A发明公布的“V-Net深度成像方法”网络拓扑结构中前向信息流与反向梯度流的稀疏性问题，本发明提出一种信息流与梯度流增加的深度V型密集网络成像方法，其以监督训练方式自学习边界测量信息与场域内介质的分布之间的非线性映射关系。深度V型密集网络结构中采用了4个密度块，使得网络训练过程中前向信息流与反向梯度流增加，实验结果表明，深度V型密集网络成像算法成像精度较高，同时具有一定的模型泛化能力与抗噪能力。

发明内容

本发明的目的是针对基于深度学习的图像重建算法中前向信息流与反向梯度流稀疏性的问题，提出一种具有密集连接的深度成像算法。该网络模型在公布号CN109712207A发明公布的“V-Net深度成像方法”网络拓扑结构基础上，删去4条跳跃连接，将具有相同尺寸的特征提取阶段的特征图与深度成像阶段的特征图组合成一个密集块，共组合成不同尺寸的4个密集块。技术方案如下：

一种信息流与梯度流增加的深度V型密集网络成像方法，包括下列步骤：

步骤1：建立训练与测试网络模型的数据库：建立层析成像传感阵列仿真模型；采集含有内含物的边界测量序列、参考场的边界测量序列以及仿真模型设定含有内含物的介质分布图片。

步骤2：修改U-Net网络结构，并添加4个密集块，构建VDN-IIFGF成像网络，方法如下：

(1)VDN-IIFGF成像网络基本结构

VDN-IIFGF成像网络的基本结构在U-Net网络基础上进行修改，增加5层全连接层构成初始成像模块作为VDN-IIFGF成像网络的前5层；去掉U-Net网络中收缩模块与扩展模块之间的复制与剪裁连接，分别将收缩模块与扩展模块作为VDN-IIFGF成像网络的特征提取模块与深度成像模块，对应于VDN-IIFGF成像网络的第6-31层；VDN-IIFGF成像网络的第32层采用卷积核为1*1的卷积层融合深度成像过程中的不同特征图；此外，VDN-IIFGF网络将初始成像模块的输出作为单位映射连接到第32层的输出，构成残差模块，残差模块输出网络预测的介质分布图像作为网络的第33层即VDN-IIFGF成像网络的输出；

(2)添加4个密集块设计

在VDN-IIFGF成像网络的基本结构的基础上，将相同尺寸的特征提取过程的特征图与深度成像过程的特征图进行密集连接组合成一个密集块；网络中共构建不同尺寸的4个密集块，图像图像素为32×32的密集块1由网络中的第6-7层、第29-31层构成，特征图像素为16×16的密集块2由网络中的第8-10层、第26-28层构成，特征图像素为8×8的密集块3由第11-13层，第23-25层构成，特征图像素为4×4的密集块4由第14-16层，第20-22层构成；每一个密集块中除第20、23、26、29层的上采样层外，每层网络的输出直接连接到其后面的所有网络层的输入，每层网络的输入由其前面所有网络层的输出组合而成；每个密集块中的连接线分别为8条、12条、12条和12条；4个密集块增加了VDN-IIFGF成像网络中信息流与梯度流，使得的VDN-IIFGF成像网络更容易训练到较优模型；

步骤3：网络模型训练：训练集样本的边界电压差值归一化序列为VDN-IIFGF成像网络的输入，仿真设置的介质分布图片为监督学习的标签与VDN-IIFGF成像网络预测的介质分布图片作为损失函数的两个自变量；损失函数作为VDN-IIFGF成像网络的优化目标，更新网络模型中可训练的参数，同时监督网络训练过程中的损失函数选择合适的初始学习率；按照设定的经验训练步数进行VDN-IIFGF成像模型训练，实现被测场域中内含物介质分布的成像。

本发明的有益效果是针对公布号CN109712207A发明公布的“V-Net深度成像方法”网络拓扑结构中前向信息流与反向梯度流的稀疏性问题，提出了VDN-IIFGF成像方法。VDN-IIFGF成像结构中信息流和梯度流的连接不再稀疏，前向传播过程中密集连接使得密集块中每层之间都有信息的传输与融合，信息流增加；同时反向传播过程中低层的梯度获得来自其后边高层梯度以多种形式的补充使得低层梯度流增加；缓减了由于信息流与梯度流的稀疏连接可能导致的较高层前向信息消失与较低层反向梯度消失的问题。网络训练过程中，特征提取阶段的特征空间补充与加强了深度成像阶段的特征空间，不同阶段特征空间的融合使得网络挖掘了更丰富的成像特征，提高了电学图像重建的精度；同时特征的充分利用使得该算法的抗噪性能和模型泛化能力进一步增强。经过训练集训练好的VDN-IIFGF成像算法可以快速求解被测区域内介质电学特性的，与迭代类成像算法相比，VDN-IIFGF成像算法训练好的模型等同于一步成像，成像速度较快；相比于正则化框架下的成像算法，避开了耗时的灵敏度矩阵的计算，同时监督学习使得网络模型根据成像需求(优化目标)可以自学习丰富的图像先验信息。

附图说明

图1VDN-IIFGF网络结构

图2网络中4个密集块的具体连接

图3仿真测试集及添加不同噪声的成像结果

图4噪声增加不同方法成像的平均RE和CC

图5不同气泡分布的实验场景与成像结果

具体实施方式

结合附图和实施例对本发明的VDN-IIFGF网络成像方法加以说明。

VDN-IIFGF成像方法的实施以电阻层析成像(Electrical ResistanceTomography，ERT)为例，解决ERT的图像重建问题。该方法与其它基于深度学习的图像重建算法相比，网络中信息的连接方式多样化，丰富了深度成像过程中的特征空间，加强了特征的前向传播，鼓励并支持特征的重利用，通过特征重用来挖掘网络的潜力。此外，该网络中高层梯度以多种方式并入低层梯度，作为低层梯度的重要部分，保证了网络层中梯度流的增加，抑制了梯度衰减，缓解梯度消失。已经训练好的VDN-IIFGF成像方法模型是边界测量电压和场域内电导率像素分布的一步非线性映射关系，只要将ERT的边界测量序列作为网络的输入，标签作为损失函数的自变量，就可以快速、准确得重建ERT场域内介质的真实分布，该重建算法具有良好的模型泛化能力与抗噪性能。

1.建立ERT仿真数据库

(1)气液两相流泡状分布仿真数据的建立。采用COMSOL构建16电极ERT仿真模型，联合MATLAB和COMSOL建立40000组不同泡状分布样本的数据集。一个样本信息由两个数据序列构成，即含内含物的边界测量电压与参考场边界测量电压的差值归一化序列V_t，仿真设置的场域内介质真实电导率分布归一化序列

仿真模型中主要包含单泡、两个气泡、三个气泡、四个气泡的4种样本类型，其中不同类型中气泡的大小随机、位置随机分布。

(2)数据库数据的预处理。将数据库中的数据组随机打乱，40000组数据按照9:1分成训练集与测试集；测试集中的电压测量序列依次添加20～60dB的高斯白噪声，组合成新的测量集，检测算法模型的抗噪性。

2.VDN-IIFGF网络

VDN-IIFGF网络结构如图1所示，由U-Net网络修改后，添加4个密度块构成，具体结构如下：

(1)建立VDN-IIFGF基本拓扑结构

VDN-IIFGF成像网络的基本结构在U-Net网络基础上进行修改，增加了5层全连接层构成初始成像模块作为VDN-IIFGF成像网络的前5层；去掉U-Net网络中收缩模块与扩展模块之间的复制与剪裁连接，分别将收缩模块与扩展模块作为VDN-IIFGF成像网络的特征提取模块与深度成像模块，对应于VDN-IIFGF成像网络的第6-31层；VDN-IIFGF成像网络的第32层采用卷积核为1*1的卷积层融合深度成像过程中的不同特征图；此外，VDN-IIFGF网络将初始成像模块的输出作为单位映射连接到第32层的输出，构成残差模块，残差模块输出网络预测的介质分布图像作为网络的第33层即VDN-IIFGF成像网络的输出。

(2)添加4个密集块设计

在VDN-IIFGF成像网络的基本拓扑结构的基础上，将相同尺寸的特征提取过程的特征图与深度成像过程的特征图进行密集连接组合成一个密集块。网络中共构建了不同尺寸的4个密集块。像素为32×32的密集块1由网络中的第6-7层、第29-31层构成，像素为16×16的密集块2由网络中的第8-10层、第26-28层构成，像素为8×8的密集块3由第11-13层，第23-25层构成，像素为4×4的密集块4由第14-16层，第20-22层构成。每个密集块中不同网络层之间的具体连接如图2所示。每一个密集块中，除第20、23、26、29层的上采样层外，每层网络的输出直接连接到其后面所有网络层的输入，密集块中每层网络的输入由其前面所有网络层的输出组合而成。每个密集块中的连接线分别为8条、12条、12条和12条。

3.VDN-IIFGF网络的训练

ERT边界测量电压差值归一化序列作为网络的输入，输入信息流经VDN-IIFGF网络前5层实现重建初始电导率像素分布，特征提取过程特征空间的特征图与深度成像过程特征空间的特征图在4个密集块中进行特征融合，最终网络输出电导率像素分布。仿真设置的介质分布图片为监督学习的标签与VDN-IIFGF成像网络预测的介质分布图片作为损失函数的两个个自变量，损失函数作为VDN-IIFGF网络的优化目标监督与约束网络的训练过程。VDN-IIFGF网络模型在训练样本中反复学习与优化，训练出边界测量与电导率像素分布之间的非线性映射。网络训练过程中，密度块中信息的前向传播与梯度的反向传播对寻找较优模型起着重要作用。

(1)密集块前向信息的传播

n层网络的密集块中，密集块中由较低层L_i流向较高层L_n的信息流总数k为：

密度块中信息流按照前馈的方式进行传播，L_i层的输入信息流与输出信息流之间的关系为：

f_i＝G_i([f₀,f₁,…,f_i-1]) (2)

G_i为L_i的输出f_i是该层可训练参数与该层网络输入的映射关系，网络中采用非饱和修正线性函数Relu作为激活函数。

VDN-IIFGF成像算法的损失函数L采用与公布号CN109712207A发明公布的“V-Net深度成像方法”相同的损失函数。

(2)密集块反向梯度的传播

网络反向传播中利用链式求导法则，损失函数更新每个参数的梯度，再结合按照指数衰减的学习率η，采用小批量动量γ随机梯度下降法，计算学习步为j时更新网络中每一层可学习的参数θ_j＝{w_j，b_j}：

式中共有k个加数，即表征密集块中从较高层L_n传播到较低层L_i的梯度流总数为k。

上述密集块的前向传播与反向传播过程针对的是密集块中每层网络之间充分连接，即每层网络的输出都直接连接到其后边的所有层，每层网络的输入由其前面所有层的输出堆叠而成。VDN-IIFGF网络密集块1-4中上采样层输入像素的尺寸与同一密度块中其他网络层的输出尺寸不相同，同一密度块中上采样之前网络层的输出没有连接到上采样层作为上采样输入的一部分。因此，VDN-IIFGF网络前向信息传播与反向梯度传播过程中，在公式(1)～(4)的基础上，需要减去由于上采样层的输入不同而引起的信息流与梯度流的变化

4.VDN-IIFGF网络模型选择

重复步3的网络训练过程学习深度成像算法，网络训练的过程中实时观察损失函数曲线，达到设定的经验训练步数，损失函数曲线保持稳定，保存稳定的模型参数，此时的模型认为是训练后学习到的最优模型。

5.VDN-IIFGF网络模型的测试与实验应用

(1)VDN-IIFGF网络模型的测试。为验证本发明算法解决ERT图像重建问题的有效性与抗噪性，将训练好的模型分别在添加20～60dB随机高斯白噪声的测量集中进行测试，将不同分布的边界测量电压序列作为第4步选择最优模型的网络输入，网络的输出即为场域内电导率的真实分布，成像结果如图3所示。第1列为ERT仿真模型中设置的真实介质分布，第2列为不添加任何噪声的场域内介质成像结果，第3～7列分别添加了信噪比逐渐减小即噪声逐渐增大的高斯白噪声的成像结果。选用本领域常用的定量评价指标图像误差(Relative Error,RE)与相关系数(Correlation Coefficient,CC)，定量评价VDN-IIFGF算法模型的泛化性与对高斯白噪声的适用性与鲁棒性。由图4可知，VDN-IIFGF成像算法可以用来解决ERT的图像重建问题，并取得较好的重建结果，同时该算法对20～60dB的高斯白噪声具有一定的鲁棒性。

(2)VDN-IIFGF模型的实验应用。图5所示，管道直径为125mm的被测区域中，自来水作为被测区域中的背景介质，由于尼龙棒(PVC)的电导率与气泡的电导率相近，实验中采用直径21.4mm和30.0mm的PVC棒模拟ERT管段内的不同个数、不同位置的气泡，对VDN-IIFGF成像算法进行验证。第一行是模拟管道中不同气泡个数的实验场景，第二行是VDN-IIFGF成像算法快速准确重建出的电导率分布图。本实验方案验证VDN-IIFGF成像算法在ERT成像过程中的可行性与适用性，由于实验过程中存在较大的系统噪声和随机噪声，同时验证了该算法的抗噪性能与模型的泛化能力。

Claims (1)

1.一种信息流与梯度流增加的深度V型密集网络成像方法，包括下列步骤：

步骤1：建立训练与测试网络模型的数据库：建立层析成像传感阵列仿真模型；采集含有内含物的边界测量序列、参考场的边界测量序列以及仿真模型设定含有内含物的介质分布图片；

步骤2：修改U-Net网络结构，并添加4个密集块，构建VDN-IIFGF成像网络，方法如下：

(1)VDN-IIFGF成像网络基本结构

VDN-IIFGF成像网络的基本结构在U-Net网络基础上进行修改，增加5层全连接层构成初始成像模块作为VDN-IIFGF成像网络的前5层；去掉U-Net网络中收缩模块与扩展模块之间的复制与剪裁连接，分别将收缩模块与扩展模块作为VDN-IIFGF成像网络的特征提取模块与深度成像模块，对应于VDN-IIFGF成像网络的第6-31层；VDN-IIFGF成像网络的第32层采用卷积核为1*1的卷积层融合深度成像过程中的不同特征图；此外，VDN-IIFGF网络将初始成像模块的输出作为单位映射连接到第32层的输出，构成残差模块，残差模块输出网络预测的介质分布图像作为网络的第33层即VDN-IIFGF成像网络的输出；

(2)添加4个密集块设计

在VDN-IIFGF成像网络的基本结构的基础上，将相同尺寸的特征提取过程的特征图与深度成像过程的特征图进行密集连接组合成一个密集块；网络中共构建不同尺寸的4个密集块，图像图像素为32×32的密集块1由网络中的第6-7层、第29-31层构成，特征图像素为16×16的密集块2由网络中的第8-10层、第26-28层构成，特征图像素为8×8的密集块3由第11-13层，第23-25层构成，特征图像素为4×4的密集块4由第14-16层，第20-22层构成；每一个密集块中除第20、23、26、29层的上采样层外，每层网络的输出直接连接到其后面的所有网络层的输入，每层网络的输入由其前面所有网络层的输出组合而成；每个密集块中的连接线分别为8条、12条、12条和12条；4个密集块增加了VDN-IIFGF成像网络中信息流与梯度流，使得的VDN-IIFGF成像网络更容易训练到较优模型；

步骤3：网络模型训练：训练集样本的边界电压差值归一化序列为VDN-IIFGF成像网络的输入，仿真设置的介质分布图片为监督学习的标签与VDN-IIFGF成像网络预测的介质分布图片作为损失函数的两个自变量；损失函数作为VDN-IIFGF成像网络的优化目标，更新网络模型中可训练的参数，同时监督网络训练过程中的损失函数选择合适的初始学习率；按照设定的经验训练步数进行VDN-IIFGF成像模型训练，实现被测场域中内含物介质分布的成像。

Images