CN112330761A - 基于混合精度训练的深度ect图像增强方法 - Google Patents

Abstract

本发明公开了基于混合精度训练的深度ECT图像增强方法，属于图像处理领域。首先将初步的重建图像随机添加高斯噪声，分为训练集和测试集。然后利用训练集对神经网络进行训练。将测试集的重建图像分别输入训练好的编码器网络中，利用基础特征提取网络自动提取图像特征；而后经过空洞空间金字塔网络，对应的各输出在特征的通道维度进行连接，经过1×1卷积后，与经过1×1卷积后的基础特征提取网络提取到的图像特征在通道维度进行连接，最终得到编码器网络的输出。最后将编码器网络的输出输入到解码器网络中，通过1*1卷积和上采样2倍的组合操作以及多等级融合操作，恢复图像的尺寸和特征信息，输出重建图像。本发明避免了图像信息丢失，提高图像重建速度。

Description

基于混合精度训练的深度ECT图像增强方法

技术领域

本发明属于图像处理领域，具体是一种基于混合精度训练的深度ECT(电容层析成像技 术)图像增强方法。

背景技术

在ECT领域，传统图像重建算法包括迭代算法和非迭代算法，非迭代算法速度快，但重 建图像精度不高，分辨率较低；迭代算法相对非迭代算法速度较慢，但重建图像精度较高。

相较于非迭代算法，传统的迭代算法虽然能够从一定程度上提高重建图像质量，但是整 体的成像质量依然偏低，分辨率不高。

随着神经网络在图像领域的成功应用，许多研究人员将神经网络技术用于ECT图像重建。

目前应用神经网络技术的图像重建算法只能进行二值化成像，无法区分敏感场中包含多 个(>2)电介质的情况；对于简单分布的情况，重建图像质量有所上升，但是对于复杂分布 的情况，成像质量依然不高；而且受限于方法本身的限制，算法的整体计算速度较慢，成像 所需时间较长。

发明内容

本发明针对现有技术不能识别多相流分布中的多个(>2)电介质，以及重建过程中图像 质量不高的问题，提出了一种基于混合精度训练的深度ECT图像增强方法，在提高了成像质 量的前提下，加快了计算速度，缩短了成像所需时间。

所述的基于混合精度训练的深度ECT图像增强方法，具体步骤如下：

步骤一、使用传统成像算法得到初步的重建图像，并随机添加高斯噪声，分为训练集和 测试集；

训练集和测试集均由仿真数据构成，每一组仿真数据中包含场域边界电容值，场域的目 标分布图y，以及场域中包含的电介质分布的等级标签。

仿真数据的生成方法：

首先，将场域设置成半径为20的圆形，采用第一个随机自由度来表示场域中包含的电介 质的数量，将一个场域中能够包含的电介质的数量设置为1-5个，每次仿真时随机选取一个 数。

然后，采用多边形拟合的方式设置电介质的分布形状：先用离散点在圆形场域中画出一 个矩形，矩形各条边离散点的数量等于矩形各条边的长度，矩形的长和宽设置是第二个随机 自由度，选择的范围在10-20之间，每次随机在该范围内选取一个数作为长，再选取一个数 作为宽。在矩形的四条边上分别以35％的采样率从离散点中随机选取边界点，然后按照顺序 将选取的边界点进行连接构成最终的分布形状。

接着，场域内每一个电介质分布的位置是第三个自由度，通过随机设置矩形左下角点的 位置来控制最终分布的位置，同时保证每一个电介质分布的所有点都在圆形场域内。

最后，将上述生成的场域分布图输入到COMSOL Multiphysics中进行有限元仿真计算， 即可得到边界电容值，场域的目标分布图y和等级标签。

所述的高斯噪声主要添加在生成的边界电容值上，网络的原始输入x为：x＝g(c)，其中 g(·)为传统的图像重建方法，c为未添加噪声的电容值；现在的网络输入

为：

其中

为添加高斯噪声后的电容值。其中，

σ为高斯噪声函数。

步骤二、利用训练集对包含编码器网络和解码器网络的神经网络进行训练；

首先，利用输入图像计算网络的实际输出

其中，f为网络函数(不包含多等级融合操作)，θ为网络中的参数。

然后、计算网络的优化损失。

其中L为网络输出图像的通道数，H为网络输出图像的高，W为网络输出图像的宽，α和 γ是两个调制因子。

并计算优化损失相对于网络权重的梯度。

最后更新网络权重：

其中,θ_i表示第i次迭代的权重，θ_i+1表示第i+1次迭 代的权重，η代表学习率。

最后，重复上述步骤，直到网络参数收敛。

步骤三、将测试集的重建图像分别输入训练好的编码器网络中，利用基础特征提取网络 自动提取图像特征；

基础特征提取网络包括两个：分别为101层网络和44层网络；其中44层网络的形成是： 将101层网络在第四个阶段即conv4_x的23个重复的卷积模块，压缩到4个，别的阶段的卷 积模块数量保持不变形成的。

通过基础特征提取网络提取到输入图像中有分布区域的边缘信息，通过该边缘信息确定 分布的形状，从而区分有物质分布的区域与没有物质分布的区域。

步骤四、将自动提取的图像特征经过空洞空间金字塔网络后，对应的各输出在特征的通 道维度进行连接，经过1×1卷积后，与经过1×1卷积后的基础特征提取网络提取到的图像特 征在通道维度进行连接，最终得到编码器网络的输出。

空洞空间金字塔网络包括：1*1的卷积核，空洞率为6的3*3的卷积核，空洞率为12的 3*3的卷积核，空洞率为18的3*3的卷积核以及空洞率为24的3*3的卷积核；

步骤五、将编码器网络的输出输入到解码器网络中，通过1*1卷积和上采样2倍的组合 操作以及多等级融合操作，恢复图像的尺寸和特征信息，输出重建图像。

上采样采用双线性插值上采样操作，每次上采样2倍，共进行四次。在每一个上采样操 作前添加一个1*1的卷积操作，经过上采样后的图像能进行自适应更新。

多等级融合是一个量化操作，将图像中原本连续的归一化的像素值，通过多等级融合操 作向预先设定好的等级数量上进行量化，其目的是为了区分场域内不同的分布，并将有物质 分布的区域和没有物质分布的区域之间的边界线更加清晰的识别。

步骤六、应用测试完毕的神经网络对实时采集的图像进行重构。

本发明与现有技术相比，具有以下优势：

(1)本发明一种基于混合精度训练的深度ECT图像增强方法，采用基于深度卷积神经 网络的编码器与解码器的网络结构，能够实现图像空间到图像空间的非线性映射。编码器网 络提取输入图像中的特征信息并缩小图像尺寸，解码器网络解码特征信息，恢复图像尺寸。

(2)本发明一种基于混合精度训练的深度ECT图像增强方法，同时提出了一大一小两 个基础特征提取网络，大网络主要是精度高速度慢，适用于追求精度的场景；小网络精度稍 有下降，但是速度快，适用于追求速度的场景。两个网络的提出主要是满足不同场景的需求。 小网络在基本保持大网络重建精度的同时，显著提高图像重建速度，解决了其他使用神经网 络的重建算法重建速度慢的问题。

(3)本发明一种基于混合精度训练的深度ECT图像增强方法，采用具有不同空洞率的 空洞卷积操作组成空洞空间金字塔池化模块，不同空洞率的卷积具有不同的感受野，因此对 不同尺寸大小的电介质敏感，有利于特征提取。

(4)本发明一种基于混合精度训练的深度ECT图像增强方法，采用四个1x1卷积和2倍上采样相结合的组合操作来解码特征信息。每次只上采样2倍，分四次上采样来恢复图像原始尺寸，可以有效避免上采样倍数过大(如4倍)造成的信息丢失。上采样前的1x1卷积 操作，同样能够避免上采样造成的特征信息丢失的问题。

(5)本发明一种基于混合精度训练的深度ECT图像增强方法，在测试和部署阶段使用 多等级融合操作，可以成功的识别出图像中的各电介质分布。

(6)本发明一种基于混合精度训练的深度ECT图像增强方法，在训练阶段使用多精度 图像混合训练策略，输入图像由LBP，Calderon，Landweber和iterative Tikhonov四个传统重 建算法计算得到，其中前两个为非迭代算法，后两个为迭代算法。因此得到的输入图像质量 不一，通过混合精度训练，可以实现高精度输入图像对低精度输入图像的信息补偿。

附图说明

图1是本发明采用的深度卷积网络整体结构；

图2是本发明一种基于混合精度训练的深度ECT图像增强方法的流程图；

图3是本发明采用的一大一小两个基础特征提取网络。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详 细和深入描述。

本发明公开了一种结合传统成像方法和深度卷积神经网络的算法，主要用来增强使用传 统成像方法得到的图像的质量。其中，深度卷积神经网络如图1所示，包含编码器网络和解 码器网络两部分，首先，输入使用传统成像算法得到的重建图像，经过一大一小两个基础特 征提取网络进行图像特征自动提取，经过空洞空间金字塔池化网络融合不同尺度大小的电介 质分布信息，再经过特征连接操作得到编码器网络的输出。将编码器网络的输出输入到解码 器网络中，通过四个卷积和上采样2倍的组合操作恢复图像尺寸，解码编码器网络提取到的 特征信息，从而输出重构图像。在训练阶段使用混合精度训练策略，有效提高网络对于低质 量输入图像的重建精度。在测试和网络部署阶段，使用多等级融合操作来区分敏感场中的多 个电介质。

所述的基于混合精度训练的深度ECT图像增强方法，如图2所示，具体步骤如下：

步骤一、使用传统成像算法得到初步的重建图像，并随机添加高斯噪声，分为训练集和 测试集；

传统成像算法如LBP或者Landweber等；

本发明数据的设计基于：前台采用MATLAB脚本，后台利用COMSOL Multiphysics的数值分析计算，来生成仿真数据。训练集和测试集均由仿真数据构成，每一组仿真数据中包含由COMSOL Multiphysics计算出来的场域边界电容值，场域的目标分布图y，以及场域中包含的电介质分布的等级标签(1，2，…)，等级标签主要用于后续多等级融合操作的量化。上述的边界电容值，场域的目标分布图y和等级标签均是MATLAB算法程序控制COMSOLMultiphysics计算得出。

仿真数据的生成方法：

首先，将场域设置成半径为20的圆形，采用第一个随机自由度来表示场域中包含的电介 质的数量，将一个场域中能够包含的电介质的数量设置为1-5个，每次仿真时随机选取一个 数。

然后，采用多边形拟合的方式设置电介质的分布形状：先用离散点在圆形场域中画出一 个矩形，矩形各条边离散点的数量等于矩形各条边的长度，矩形的长和宽设置是第二个随机 自由度，选择的范围在10-20之间，每次随机在该范围内选取一个数作为长，再选取一个数 作为宽。在矩形的四条边上分别以35％的采样率从离散点中随机选取边界点，然后按照顺序 将选取的边界点进行连接构成最终的分布形状。

接着，场域内每一个电介质分布的位置是第三个自由度，位置是随机的，通过随机设置 矩形左下角点的位置来控制最终分布的位置，同时保证每一个电介质分布的所有点都在圆形 场域内。

最后，将上述生成的场域分布图输入到COMSOL Multiphysics中进行有限元仿真计算， 即可得到边界电容值，场域的目标分布图y和等级标签。

所述的高斯噪声主要添加在生成的边界电容值上，以便达到数据增强的效果，采用传统 重建方法(如Landweber等)将ECT的边界测量数据映射为图像后，由于预先设定的分布模 式数量有限，为了使得输入图像中包含更多的分布，在输入图像上随机添加高斯噪声，添加 噪声后，保持数据的信噪比为80dB。网络最终的输入图像是添加了噪声后的，配合Focal loss 损失函数，对于包含更多分布模式的训练数据进行学习，能够增强网络的性能。

网络的原始输入x为：x＝g(c)，其中g(·)为传统的图像重建方法，c为未添加噪声的电容 值；现在的网络输入

为：

其中

为添加高斯噪声后的电容值。其中，

σ为 高斯噪声函数。

步骤二、利用训练集对包含编码器网络和解码器网络的神经网络进行训练；

首先，利用输入图像计算网络的实际输出

其中，f为网络函数(不包含多等级融合操作)，θ为网络中的参数。

然后、计算网络的优化损失。

其中L为网络输出图像的通道数，H为网络输出图像的高，W为网络输出图像的宽，α和 γ是两个调制因子。

并计算优化损失相对于网络权重的梯度。

y_lhw为网络的目标输出。

最后更新网络权重：

其中,θ_i表示第i次迭代的权重，θ_i+1表示第i+1次 迭代的权重，η代表学习率。

最后，重复上述步骤，直到网络参数收敛。

步骤三、将测试集的重建图像分别输入训练好的编码器网络中，利用基础特征提取网络 自动提取图像特征；

如图3所示，基础特征提取网络包括两个：分别为101层网络和44层网络；其中44层网络的形成是：原来的101网络在conv4_x，也就是网络的第四个阶段具有23个重复的卷积模块(即

)，其它阶段的重复卷积模块数量较少，分别为3，4和3个，因此首先 考虑减少第四个阶段的卷积模块的数量。实验中，将卷积模块的数量每次减少1，看一下网 络的性能表现，发现当数量由4减为3时，网络的准确度有较大幅度的下降，下降的幅度超 过了数量由23减为4的幅度。由23减为4时，卷积模块数量减少19个，准确度下降2个百 分点左右，由4减为3时，卷积模块数量只减少了1个，准确度在数量为4的基础上又下降 了2个百分点，因此第四阶段的卷积模块的数量压缩到4个。在确定了第四个阶段的卷积模 块的数量后，开始考虑其他阶段的卷积模块数量的压缩。分别做了实验后发现，将其他任何 阶段的卷积计算模块的数量减少1个，都会造成网络精度有较大幅度的下降，最少下降6个 百分点。因此最终的44层网络，就是将原来的101网络的第四个阶段压缩后的结果，从原来 的23个卷积计算模块压缩到4个。

本发明44层网络是在权衡了重建精度和计算速度之后的产物，能够在保持高精度重建图 像的基础上，大幅提升算法的计算速度。

通过基础特征提取网络提取到输入图像中有分布区域的边缘信息，通过该边缘信息确定 分布的形状，从而区分有物质分布的区域与没有物质分布的区域。

自动提取的图像特征包含在形状为512×13×13的数据张量中，其中512是通道维度，13×13 是特征的长和宽，512和13根据网络结构设置。

步骤四、将自动提取的图像特征经过空洞空间金字塔网络后，对应的各输出在特征的通 道维度进行连接，经过1×1卷积后，与经过1×1卷积后的基础特征提取网络提取到的图像特 征在通道维度进行连接，最终得到编码器网络的输出。

空洞空间金字塔网络包括：1*1的卷积核，空洞率为6的3*3的卷积核，空洞率为12的 3*3的卷积核，空洞率为18的3*3的卷积核以及空洞率为24的3*3的卷积核；

步骤五、将编码器网络的输出输入到解码器网络中，通过1*1卷积和上采样2倍的组合 操作以及多等级融合操作，恢复图像的尺寸和特征信息，输出经过优化后的高质量且带有电 介质类别信息的重建图像。

上采样采用双线性插值上采样操作，每次上采样2倍，共进行四次。上采样操作中没有 需要更新的参数，当将图像上采样16倍，恢复到图像原始的分辨率后，图像中大量的像素点 值仅是通过简单的双线性插值计算而来，无法自适应的进行更新。因此在每一个上采样操作 前添加一个1*1的卷积操作，卷积操作中包含可更新的参数，能够帮助经过上采样后的图像 进行自适应更新。

多等级融合是一个量化操作，将图像中原本连续的归一化的像素值，通过多等级融合操 作向预先设定好的等级数量上进行量化，其目的是为了区分场域内不同的分布，并将有物质 分布的区域和没有物质分布的区域之间的边界线更加清晰的识别。

比如预先设定：场域内的水为等级1，玻璃棒为等级2，在进行多等级融合操作时，网络 最后的输出数据为

W和H分别为图像的空间分辨率，最后一个维度是预先设定 的等级数量，也就是场域中最多可能包含的不同物质的数量，用2来举例。Y最终会变为Y^W×H， 图像上每一个像素点的值为相应的等级。如：

i和j为Y^W×H上任 一点的坐标。

步骤六、应用测试完毕的神经网络对实时采集的图像进行重构。

本发明借鉴了神经网络在图像领域的成功应用，应用于ECT图像重建时能显著提高使用 ECT技术重建的图像的分辨率和准确度；能够识别灵敏场中多个(>2)电介质；显著提升重 建图像质量的同时，相比于其他使用神经网络技术的算法，成像速度较快。

Claims (4)

1.基于混合精度训练的深度ECT图像增强方法，其特征在于，具体步骤如下：

步骤一、使用传统成像算法得到初步的重建图像，并随机添加高斯噪声，分为训练集和测试集；

训练集和测试集均由仿真数据构成，每一组仿真数据中包含场域边界电容值，场域的目标分布图y，以及场域中包含的电介质分布的等级标签；

所述的高斯噪声主要添加在生成的边界电容值上，网络的原始输入x为：x＝g(c)，其中g(·)为传统的图像重建方法，c为未添加噪声的电容值；现在的网络输入

为：

其中

为添加高斯噪声后的电容值；其中，

σ为高斯噪声函数；

步骤二、利用训练集对包含编码器网络和解码器网络的神经网络进行训练；

步骤三、将测试集的重建图像分别输入训练好的编码器网络中，利用基础特征提取网络自动提取图像特征；

基础特征提取网络包括两个：分别为101层网络和44层网络；其中44层网络的形成是：将101层网络在第四个阶段即conv4_x的23个重复的卷积模块，压缩到4个，别的阶段的卷积模块数量保持不变形成的；

通过基础特征提取网络提取到输入图像中有分布区域的边缘信息，通过该边缘信息确定分布的形状，从而区分有物质分布的区域与没有物质分布的区域；

步骤四、将自动提取的图像特征经过空洞空间金字塔网络后，对应的各输出在特征的通道维度进行连接，经过1×1卷积后，与经过1×1卷积后的基础特征提取网络提取到的图像特征在通道维度进行连接，最终得到编码器网络的输出；

步骤五、将编码器网络的输出输入到解码器网络中，通过1*1卷积和上采样2倍的组合操作以及多等级融合操作，恢复图像的尺寸和特征信息，输出重建图像；

上采样采用双线性插值上采样操作，每次上采样2倍，共进行四次；在每一个上采样操作前添加一个1*1的卷积操作，经过上采样后的图像能进行自适应更新；

多等级融合是一个量化操作，将图像中原本连续的归一化的像素值，通过多等级融合操作向预先设定好的等级数量上进行量化，其目的是为了区分场域内不同的分布，并将有物质分布的区域和没有物质分布的区域之间的边界线更加清晰的识别；

步骤六、应用测试完毕的神经网络对实时采集的图像进行重构。

2.如权利要求1所述的基于混合精度训练的深度ECT图像增强方法，其特征在于，步骤一中所述的仿真数据的生成方法：

首先，将场域设置成半径为20的圆形，采用第一个随机自由度来表示场域中包含的电介质的数量，将一个场域中能够包含的电介质的数量设置为1-5个，每次仿真时随机选取一个数；

然后，采用多边形拟合的方式设置电介质的分布形状：先用离散点在圆形场域中画出一个矩形，矩形各条边离散点的数量等于矩形各条边的长度，矩形的长和宽设置是第二个随机自由度，选择的范围在10-20之间，每次随机在该范围内选取一个数作为长，再选取一个数作为宽；在矩形的四条边上分别以35％的采样率从离散点中随机选取边界点，然后按照顺序将选取的边界点进行连接构成最终的分布形状；

接着，场域内每一个电介质分布的位置是第三个自由度，通过随机设置矩形左下角点的位置来控制最终分布的位置，同时保证每一个电介质分布的所有点都在圆形场域内；

最后，将上述生成的场域分布图输入到COMSOL Multiphysics中进行有限元仿真计算，即可得到边界电容值，场域的目标分布图y和等级标签。

3.如权利要求1所述的基于混合精度训练的深度ECT图像增强方法，其特征在于，所述的步骤二具体为：

首先，利用输入图像计算网络的实际输出p：

其中，f为网络函数，θ为网络中的参数；

然后、计算网络的优化损失；

其中L为网络输出图像的通道数，H为网络输出图像的高，W为网络输出图像的宽，α和γ是两个调制因子；

并计算优化损失相对于网络权重的梯度；

最后更新网络权重：

其中,θ_i表示第i次迭代的权重，θ_i+1表示第i+1次迭代的权重，η代表学习率；

最后，重复上述步骤，直到网络参数收敛。

4.如权利要求1所述的基于混合精度训练的深度ECT图像增强方法，其特征在于，所述的空洞空间金字塔网络包括：1*1的卷积核，空洞率为6的3*3的卷积核，空洞率为12的3*3的卷积核，空洞率为18的3*3的卷积核以及空洞率为24的3*3的卷积核。

Images