CN113870377A - 基于V-ResNet肺部成像方法 - Google Patents
基于V-ResNet肺部成像方法 Download PDFInfo
- Publication number
- CN113870377A CN113870377A CN202111225222.XA CN202111225222A CN113870377A CN 113870377 A CN113870377 A CN 113870377A CN 202111225222 A CN202111225222 A CN 202111225222A CN 113870377 A CN113870377 A CN 113870377A
- Authority
- CN
- China
- Prior art keywords
- convolution
- resnet
- module
- feature
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 44
- 210000004072 lung Anatomy 0.000 title claims abstract description 20
- 238000009826 distribution Methods 0.000 claims abstract description 54
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 21
- 238000011176 pooling Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 22
- 238000005259 measurement Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 17
- 238000003325 tomography Methods 0.000 claims description 16
- 230000035945 sensitivity Effects 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 230000017105 transposition Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 230000002685 pulmonary effect Effects 0.000 claims 1
- 238000005096 rolling process Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 34
- 238000003062 neural network model Methods 0.000 abstract 1
- 238000002593 electrical impedance tomography Methods 0.000 description 17
- 238000004088 simulation Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000005284 excitation Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 210000000115 thoracic cavity Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000011780 sodium chloride Substances 0.000 description 2
- 229920001817 Agar Polymers 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 239000008272 agar Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于V‑ResNet肺部成像方法，V‑ResNet网络结构是由预映射模块、特征提取模块、深度成像模块和残差去噪模块构成顺序连接的51层深度神经网络模型。该网络利用预映射模块将边界电压信号映射为描述场域特征分布的序列，解决了EIT逆问题的欠定性；利用类似编解码结构的深度堆栈式V型结构网络有效地解决了EIT逆问题的非线性和病态性。使用本发明提出的V‑ResNet网络重建的肺部图像边界清晰准确，算法具有良好的鲁棒性和泛化能力。
Description
技术领域
本发明属于层析成像领域，提出一种采用编码-解码网络结构结合残差模块的新型深度网络模型，用于肺部呼吸阻抗的图像重建。
背景技术
电学层析成像技术是基于被测区域介质不同的电特性的过程层析成像技术。其成像原理是基于电极敏感阵列获取被测区域介质空间分布信息，以电学信号作为载体进行处理与传输，并采用适当的信息重构算法，重构被测区域介质空间分布的全部信息。
电学层析成像技术的关键是对正问题和逆问题的求解，正问题是逆问题求解的基础。正问题可归结为对已知的传感器结构、激励/测量模式，设定敏感场内介质(电特性参数)分布，施加边界条件(外部激励)，求解场域内电磁场分布，最终获得场域的边界值与介质分布的对应关系，即灵敏度矩阵。逆问题即图像重建是电学层析成像技术的核心。逆问题可描述为对敏感电极阵列和激励/测量策略所得的测量数据，根据正问题求得的灵敏度矩阵，反演场域内介质分布。但是电学层析成像技术在图像重建中存在严重的非线性、病态性和欠定性等问题，针对以上问题，近几十年，科研工作者提出了许多与电学层析图像重建相关的迭代类和非迭代类算法。迭代类算法有Landweber算法，牛顿-拉弗森(NewtonRaphson，NR)算法，共轭梯度算法(Conjugate Gradient，CG)等。虽然迭代类算法重建精度较高，但是每次迭代时都需要进行一次正问题和灵敏度矩阵的求解，计算效率不高，不能实现实时成像。非迭代类算法如线性反投影算法等虽成像速度较快，但是成像精度不高，且重建的图像伴随大量伪影。因此研究出一种能够自动提取介质特征，同时兼顾成像速度、精度及网络泛化能力的图像重建算法成为研究的热点和方向。而深度学习方法具有较高的非线性拟合能力，可以在训练过程中自学特征，同时通过训练样本的控制可提供较多的先验知识降低电学图像重建问题的病态程度，针对特定的数据集可实现较好的成像效果，从而为电学层析成像的研究提供另一种新的思路。
发明内容
本发明的目的在于有效解决电学层析成像的图像重建问题，提出一种基于深度学习的V-ResNet图像重建算法。相比于传统成像算法，其在网络模型训练中不仅可以高效自学和提取特征信息，而且对图像重建的非线性问题表征能力更强，网络泛化能力更加突出，能够满足医学监测的可视化要求。本发明技术方案如下：
一种V-ResNet深度成像方法，采用一种被命名为V-ResNet深度网络结构，是一种51层网络结构，由4个功能模块组成，即预映射(Pre-Mapping)模块、特征提取(FeatureExtraction，FE)模块、深度重建模块(Deep Reconstruction，DR)和残差去噪(ResidualDenoising，RD)模块，模块之间的连接采用最大池化、转置卷积、跳跃连接、残差连接的方式进行连接。V-ResNet深度网络结构在信息处理过程中通过特征信息的预映射模块构成边界测量信息与场域内电导率参数分布之间的非线性关系，然后通过一种“编码-解码”结构的深度卷积神经网络对预映射的特征进行充分挖掘与重构，并联合残差模块对重建的图像噪声进行滤波，得到最终的结果可以准确地表征敏感场域的空间结构和电特性分布。
具体步骤如下：
第一步，建立用于训练与测试深度网络的K组数据，每组数据包含两个序列{(Vk,σk):k＝1,···,K}，其中，Vk是边界测量电压序列，σk是被测区域真实介质分布序列。
第二步，设计V-ResNet深度网络结构，具体设计方案如下：
(1)输入层：V-ResNet深度成像网络结构中输入信息为目标场域所测得的208组边界差分电压信号。
(2)Pre-Mapping模块：在电学层析图像重建中，由于测得的场域边界电位的信息远远小于场域内的像素个数，这使得其逆问题求解存在严重的欠定性。为克服这一问题对逆问题求解的影响，往往采用正则化算法来降低灵敏度矩阵的条件数，使得逆问题的解适定。基于TR算法原理，提出可训练的预映射(Pre-Mapping)模块，其数学表达式为：
σpre＝Leaky Relu[(STS+L)-1·STΔVk] (1)
其中，σpre是EIT预映射的场域空间特征，S是灵敏度矩阵，ST是灵敏度矩阵的转置，L是学习矩阵，利用Leaky Relu函数将映射结果的范围限制在[0,1]内，使数据更加规范化，网络收敛速度更快。Pre-Mapping模块拟合边界电压与电导率分布之间的非线性映射，L0为输入边界测量得到的差分电压信号
经过Pre-Mapping模块得到特征分布矩阵
作为特征提取模块的输入L1。
(3)特征提取(FE)模块：L1～L21为V-ResNet的特征提取部分(FEk,k＝1,2,3,4,5)，该部分主要由卷积(Conv)块和批归一化(Batch Normalization，BN)块组成，以经过两次Conv-BN运算为一个FE模块，共5个FE模块，每个FE模块包含2个卷积核尺度为3×3的卷积层Convi(i＝2,4,……,18,20)和2个BN层BNi(i＝3,5,……,19,21)。该部分将输入信息
压缩为
的抽象特征，对应的特征图数量从3逐渐增加至128。BN层将数据分配到[0,1]内，在一定程度上缓解深层网络中“梯度弥散”现象。不同FE模块之间的连接使用最大池化方法连接，完成下采样，池化核为2×2，池化步长为1，最大池化操作保留特征空间的局部最大信息，忽略其他特征，共进行了4次最大池化操作。
(4)深度重建(DR)模块：L22～L41为V-ResNet的深度重建模块部分(DRk,k＝1,2,3,4)，在DR1、DR2、DR3和DR4这四个深度重建模块中，每个模块包含2个卷积核尺度为3×3的卷积层Convi(i＝23,25,28,30,33,35,38,40)、3个BN层BNi(i＝22,24,26,27,29,31,32,34,36,37,39,41)，每个DR模块之间使用转置卷积(Transposed Convolution，TConv)进行连接，实现上采样，共用4次反置卷积。特征提取模块中的特征输出(L5，L9，L13和L17)与深度重建模块的输入(L22，L27，L32和L37)之间使用跳跃连接方式，实现对特征提取信息与图像重建信息的融合，缩短网络训练的时间。
(5)残差去噪(RD)模块：L42-L51层是V-ResNet网络结构的残差去噪模块，主要由四个卷积层和两个残差块组成。四个卷积层分别为L42、L46、L50、L51，每个卷积层的卷积核尺度相同，都为3×3，卷积步长为1。残差块采用“1×1+3×3+1×1”式的三次卷积结构。在进行第一次卷积后，将尺寸为128×128×8的特征图作为残差结构Bottleneck1的输入，经过Bottleneck1的三层卷积之后输出特征尺寸与输入特征尺寸保持一致，在与输入特征信息相融合之后作为残差块的总输出，为了提取更精细的目标特征，进行一次最大池化操作和一次转置卷积操作，即L46，得到64×64×8的特征图，然后将所得特征信息作为残差结构Bottleneck2的输入，再进行与Bottleneck1相同操作之后得到尺寸大小为128×128×32的特征图，再一次进行转置卷积和卷积，即L50，利用最后一层卷积调整尺寸，最终得到256×256×3的重建图。
第三步，设计损失函数的如下：
V-ResNet深度成像网络的损失函数如式(2)所示。输入的边界测量信号ΔV经过提出的网络结构可以得到所预测的电导率分布fEIT(ΔV)，然后损失函数将衡量预测的结果与对应的真实分布之间的差异。利用梯度反向传播的方法不断更新网络中的参数θ＝{W,b}使得损失函数的值达到最小。考虑到V-ResNet网络的深度与复杂性，定义基于均方误差的损失函数，即
其中，fEIT(ΔV)为预测的电导率像素分布，δlabeli为对应的标签电导率像素分布。
第四步，进行电学层析成像图像重建时，电学层析成像系统的边界测量序列作为已训练好的V-ResNet网络模型的输入，V-ResNet网络的输出即为敏感场域内电导率参数的分布。
本发明提出的新型V-ResNet深度成像算法，以输出的场域的电导率分布与对应的真实电导率分布的标签信息作为损失函数的自变量，进行约束与监督。V-ResNet深度成像网络层之间采用最大池化、转置卷积、跳跃连接和残差连接四种连接方式构成了预映射、特征提取、深度成像与残差去噪的四个顺序连接的功能块。其优点如下：
1)V-ResNet深度成像算法在结构上的创新性在于采用最大池化、反置卷积、跳跃连接和残差连接四种连接方式构成了预映射、特征提取、深度成像和残差去噪四个顺序连接的功能块，实现了边界测量与场域内电导率分布之间的非映射，提高了图像重建精度。
2)V-ResNet深度网络结构中的残差结构，一方面可以对输入图像起到低通滤波的作用，抑制高频噪声的干扰，使图像边界更加平滑；另一方面，能够有效克服在少量数据情况下训练产生过拟合现象。改善了前馈信息流和反向梯度流的传播，起到了一种隐形深度监督的作用。且加入的BN层将数据分配到[0,1]内，提高了模型训练精度，加快了训练速度。
3)V-ResNet深度成像算法在训练过程中可以有效地自学习与自提取不同特征空间的图像特征，可视化效果好，可以完整表达图像的边界信息，具有一定的抗噪声能力和模型泛化能力。
附图说明
图1为V-ResNet深度成像网络结构；
图2为残差去噪模块运算流程图；
图3为本发明的仿真测试数据以及不同算法下的成像结果；
图4为本发明实验系统图；
图5为本发明实验成像结果。
具体实施方式
下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
V-ResNet深度成像算法以电阻抗层析成像(Electrical Impedance Tomography，EIT)为例，用来解决EIT图像重建问题。该方法与传统的基于灵敏度矩阵的正则化类图像重建算法相比，能够在不同的特征空间中自学习与自提取有用特征信息，不仅能够准确反映待测场域内物质的形状，而且成像分辨率高，边界表达清晰，可视化效果好，具有良好的泛化模型与抗噪声能力。
拓扑形状近似字母“V”的CNN深度神经网络，即V-ResNet深度网络结构，由预映射(Pre-Mapping)模块、特征提取(Feature Extraction，FE)模块、深度重建(DeepReconstruction，DR)模块和残差去噪(Residual Denoising，RD)模块所构成。模块之间的连接采用最大池化、转置卷积、跳跃连接、残差连接的方式进行连接。V-ResNet深度网络结构在信息处理过程中通过特征信息的预映射模块构成边界测量信息与场域内电导率参数分布之间的非线性关系，然后通过一种“编码-解码”结构的深度卷积神经网络对预映射的特征进行充分挖掘与重构，并联合残差模块对重建的图像噪声进行滤波，得到最终的结果可以准确地表征敏感场域的空间结构和电特性分布。
V-ResNet深度成像算法的具体实现步骤如下：
第一步，建立用于训练与测试深度网络的K组数据，每组数据包含两个序列{(Vk,σk):k＝1,···,K}，其中，Vk是边界测量电压序列，σk是被测区域真实介质分布序列。
第二步，设计V-ResNet深度网络结构，具体设计方案如下：
(1)输入层：V-ResNet深度成像网络结构中输入信息为目标场域所测得的208组边界差分电压信号。
(2)Pre-Mapping模块：在电学层析图像重建中，由于测得的场域边界电位的信息远远小于场域内的像素个数，这使得其逆问题求解存在严重的欠定性。为克服这一问题对逆问题求解的影响，往往采用正则化算法来降低灵敏度矩阵的条件数，使得逆问题的解适定。基于TR算法原理，提出可训练的预映射(Pre-Mapping)模块，其数学表达式为
σpre＝Leaky Relu[(STS+L)-1·STΔVk] (1)
其中，σpre是EIT预映射的场域空间特征，S是灵敏度矩阵，ST是灵敏度矩阵的转置，L是学习矩阵，利用Leaky Relu函数将映射结果的范围限制在[0,1]内，使数据更加规范化，网络收敛速度更快。Pre-Mapping模块拟合边界电压与电导率分布之间的非线性映射，L0为输入边界测量得到的差分电压信号
经过Pre-Mapping模块得到特征分布矩阵
作为特征提取模块的输入L1。
(3)特征提取(FE)模块：L1～L21为V-ResNet的特征提取部分(FEk,k＝1,2,3,4,5)，该部分主要由卷积(Conv)块和批归一化(Batch Normalization，BN)块组成，以经过两次Conv-BN运算为一个FE模块，共5个FE模块，每个FE模块包含2个卷积核尺度为3×3的卷积层Convi(i＝2,4,……,18,20)和2个BN层BNi(i＝3,5,……,19,21)。该部分将输入信息
压缩为
的抽象特征，对应的特征图数量从3逐渐增加至128。BN层将数据分配到[0,1]内，在一定程度上缓解深层网络中“梯度弥散”现象。不同FE模块之间的连接使用最大池化方法连接，完成下采样，池化核为2×2，池化步长为1，最大池化操作保留特征空间的局部最大信息，忽略其他特征，共进行了4次最大池化操作。
(4)深度重建(DR)模块：L22～L41为V-ResNet的深度重建模块部分(DRk,k＝1,2,3,4)，在DR1、DR2、DR3和DR4这四个深度重建模块中，每个模块包含2个卷积核尺度为3×3的卷积层Convi(i＝23,25,28,30,33,35,38,40)、3个BN层BNi(i＝22,24,26,27,29,31,32,34,36,37,39,41)，每个DR模块之间使用转置卷积(Transposed Convolution，TConv)进行连接，实现上采样，共用4次反置卷积。特征提取模块中的特征输出(L5，L9，L13和L17)与深度重建模块的输入(L22，L27，L32和L37)之间使用跳跃连接方式，实现对特征提取信息与图像重建信息的融合，缩短网络训练的时间。
(5)残差去噪(RD)模块：L42-L51层是V-ResNet网络结构的残差去噪模块，主要由四个卷积层和两个残差块组成。四个卷积层分别为L42、L46、L50、L51，每个卷积层的卷积核尺度相同，都为3×3，卷积步长为1。残差块采用“1×1+3×3+1×1”式的三次卷积结构。在进行第一次卷积后，将尺寸为128×128×8的特征图作为残差结构Bottleneck1的输入，经过Bottleneck1的三层卷积之后输出特征尺寸与输入特征尺寸保持一致，在与输入特征信息相融合之后作为残差块的总输出，为了提取更精细的目标特征，进行一次最大池化操作和一次转置卷积操作，即L46，得到64×64×8的特征图，然后将所得特征信息作为残差结构Bottleneck2的输入，再进行与Bottleneck1相同操作之后得到尺寸大小为128×128×32的特征图，再一次进行转置卷积和卷积，即L50，再利用L51卷积调整尺寸，最终得到256×256×3的重建图。
第三步，损失函数的设计如下：
V-ResNet深度成像网络的损失函数如式(2)所示。输入的边界测量信号ΔV经过提出的网络结构可以得到所预测的电导率分布fEIT(ΔV)，然后损失函数将衡量预测的结果与对应的真实分布之间的差异。利用梯度反向传播的方法不断更新网络中的参数θ＝{W,b}使得损失函数的值达到最小。考虑到V-ResNet网络的深度与复杂性，定义基于均方误差的损失函数，即
其中，fEIT(ΔV)为预测的电导率像素分布，δlabeli为对应的标签电导率像素分布。
V-ResNet深度成像网络损失函数如式(2)所示。
第四步，进行电学层析成像图像重建时，电学层析成像系统的边界测量序列作为已训练好的V-ResNet网络模型的输入，V-ResNet网络的输出即为敏感场域内电导率参数的分布。
下面是本发明图像重建的具体步骤：
(1)采用相邻电流激励-电压测量的16电极EIT仿真模型构建12000组不同的肺部仿真数据集，用于训练和测试V-ResNet深度网络模型，其中，每一组数据中包含EIT系统的一个边界测量电压差分值序列和一个场域内真实电导率分布序列。
(2)将12000数据集进行划分，其中7000组数据用于模型训练，3000组数据用于网络验证，2000组用于测试网络模型的泛化能力。依次交替进行。
整个网络模型的训练如下：
(a)针对EIT仿真数据库构建本发明提出的V-ResNet深度网络结构。该网络结构共有51层，如图1中每个矩形块表示网络的一层，其中EIT边界测量电压序列作为网络的输入，输入层神经元个数为208即为EIT测量电压序列的个数。每个模块下方的数字表示该网络层的特征尺度。V-ResNet深度网络由预映射模块、特征提取模块、深度重建模块和残差去噪模块。Pre-Mapping模块拟合边界电压与电导率分布之间的非线性映射，L0为输入边界测量得到的差分电压信号
经过Pre-Mapping模块得到特征分布矩阵
作为特征提取模块的输入L1。L1～L21为V-ResNet的特征提取部分(FEk,k＝1,2,3,4,5)，该部分主要由卷积(Conv)块和批归一化(Batch Normalization，BN)块组成，以经过两次Conv-BN运算为一个FE模块，共5个FE模块，每个FE模块包含2个卷积核尺度为3×3的卷积层Convi(i＝2,4,……,18,20)和2个BN层BNi(i＝3,5,……,19,21)。该部分将输入信息
压缩为
的抽象特征，对应的特征图数量从3逐渐增加至128。不同FE模块之间的连接使用最大池化方法连接，完成下采样，池化核为2×2，池化步长为1，共进行了4次最大池化操作。L22～L41为V-ResNet的深度重建模块部分(DRk,k＝1,2,3,4)，在DR1、DR2和DR3这四个深度重建模块中，每个模块包含2个卷积核尺度为3×3的卷积层Convi(i＝23,25,28,30,33,35,38,40)、3个BN层BNi(i＝22,24,26,27,29,31,32,34,36,37,39,41)，每个深度重建模块之间使用转置卷积(Transposed Convolution，TConv)进行连接，实现上采样，共用4次反置卷积。特征提取模块中的特征输出(L5，L9，L13和L17)与深度重建模块的输入(L22，L27，L32和L37)之间使用跳跃连接方式，实现对特征提取信息与图像重建信息的融合，缩短网络训练的时间。L22～L41为V-ResNet网络结构的深度重建模块部分，共有4个深度重建模块，每个模块包含2个卷积层Convi(i＝23,25,28,30,33,35,38,40)、3个BN层BNi(i＝22,24,26,27,29,31,32,34,36,37,39,41)，每个深度重建块之间使用转置卷积(TransposedConvolution，TConv)进行连接。L42-L51层是V-ResNet网络结构的残差去噪模块，主要由四个卷积层和两个残差块组成。四个卷积层分别为L42、L46、L50、L51，每个卷积层的卷积核尺度相同，都为3×3，卷积步长为1。残差块采用“1×1+3×3+1×1”式的三次卷积结构。在进行第一次卷积后，将尺寸为128×128×8的特征图作为残差结构Bottleneck1的输入，经过Bottleneck1的三层卷积之后输出特征尺寸与输入特征尺寸保持一致，在与输入特征信息相融合之后作为残差块的总输出，为了提取更精细的目标特征，进行一次最大池化操作和一次转置卷积操作，即L46，得到64×64×8的特征图，然后将所得特征信息作为残差结构Bottleneck2的输入，再进行与Bottleneck1相同操作之后得到尺寸大小为128×128×32的特征图，再一次进行转置卷积和卷积，即L50，再利用最后一层卷积调整尺寸，最终得到256×256×3的重建图。
(b)初始化网络中各个参数：
网络各层的权重Wm0，随机数(均值为0，方差为0.01)；偏差bw0:0.01；
初始学习速率：η0＝0.01；学习衰减率：ρ＝0.99；批量数：batch＝10；
总的迭代次数：steps＝10000；
(c)EIT边界测量的208组电压序列作为网络的输入，经过Pre-Mapping模块得到特征分布矩阵
作为特征提取模块的输入，经过V-ResNet网络的L1～L51层的自学习与自挖掘特征信息最终重建图像。计算网络的损失函数：
(d)网络反向传播利用链式求导法则计算损失函数对每个参数的梯度，再结合学习率，采用小批量动量随机梯度下降法更新每一层网络的权重wm和偏差bm，其更新方程如式(2)所示。
其中学习速率η按照式(3)中的指数衰减的方式更新：
η＝η0×ρsteps/batch (3)
(e)重复步骤(a)～(c)，网络训练的迭代次数等于steps，模型训练停止，保存模型。
(3)利用测试集对训练好的模型进行测试，并根据(4)-(5)计算出相应的图像误差与相关系数，选择图像误差最小，结构相似度最大的模型作为V-ResNet网络的最终模型。
其中，α*为原始图像电导率分布，α表示重建图像的电导率分布。
其中
和
表示重建图像电导率分布和原始图像电导率分布的平均值，αx、αy表示重建图像电导率分布αi和原始图像电导率分布
的方差，αxy为协方差矩阵。
(4)将不同分布的实验边界测量电压序列作为第(3)步选择模型的网络输入，网络的输出即为场域内电导率的真实分布。
为验证本发明算法的有效性进行仿真实验。不同肺部模型的仿真成像结果如图3所示，其中第1列是仿真实验模型，第2、3、4、5、6列分别对应TV算法、TR算法、CG算法、CNN算法和V-ResNet算法对应的图像重建结果。由图3成像结果，可以得出V-ResNet算法重建肺部特征空间分布的图像，不仅能够准确反映待测场域内肺部的形状，而且成像分辨率高，边界清晰，可视化效果好，且其对复杂病态肺部模型的重构优于其他四种算法。说明使用深度CNN网络结构结合残差模块可以明显改善成像质量，有较强的抗噪声能力和鲁棒性。
图4是采用16电极进行目标数据的测量及采集的EIT系统。实验中，EIT系统的激励电流是幅值4.5mA、频率100KHZ的微弱交流电信号；根据CT扫描图像胸腔实际大小利用树脂构建胸腔模型，并在胸腔模型表面贴附16个钛电极作为电流传输介质。实验过程中，使用琼脂材料制作肺部和心脏的仿体模型，并向模型中加入不同浓度的NaCl增加电导率，其中背景为电导率0.037S/m的盐水，心脏的电导率为0.3S/m，肺部的电导率为0.2S/m。结合仿真数据的采集过程，设置均匀场为仅含有心脏仿体的模型并测量边界电压，然后放入不同的肺部仿体作为非均匀场并测量边界电压。本实验不仅验证了V-ResNet深度成像算法在电阻抗层析成像过程中的可行性与适用性，同时验证了该算法的抗噪声性能与模型的泛化能力。实验最终的成像结果如图5所示。
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (8)
1.一种基于V-ResNet肺部成像方法，其特征在于：
第一步，建立用于训练与测试深度网络的K组数据，每组数据包含两个序列{(Vk,σk):k＝1,…,K}，其中，Vk是边界测量电压序列，σk是被测区域真实介质分布序列；
第二步，设计V-ResNet深度网络结构，包括：
(1)输入层：V-ResNet深度成像网络结构中输入信息为目标场域所测得的边界差分电压信号；
(2)预映射模块：其数学表达式为：
σpre＝Leaky Relu[(STS+L)-1·STΔVk] (1)
其中，σpre是EIT预映射的场域空间特征，S是灵敏度矩阵，ST是灵敏度矩阵的转置，L是学习矩阵，LeakyRelu函数将映射结果的范围限制在[0,1]内；
(3)特征提取模块：每个特征提取模块均由卷积块和批归一化块组成，不同特征提取模块之间使用最大池化方法连接，完成下采样；
(4)深度重建模块：每个深度重建模块均由卷积块和批归一化块组成，不同深度重建模块之间使用转置卷积进行连接，实现上采样；
(5)残差去噪模块：包括多个卷积层和残差块；
第三步，设计损失函数；
第四步，电学层析成像图像重建。
2.根据权利要求1所述的基于V-ResNet肺部成像方法，其特征在于：所述的损失函数为：
其中，fEIT(ΔV)为预测的电导率像素分布，δlabeli为对应的标签电导率像素分布。
3.根据权利要求1所述的基于V-ResNet肺部成像方法，其特征在于：特征提取模块中的特征输出与深度重建模块的输入之间使用跳跃连接方式。
4.根据权利要求1所述的基于V-ResNet肺部成像方法，其特征在于：预映射模块拟合边界电压与电导率分布之间的非线性映射，L0为输入边界测量得到的差分电压信号
经过Pre-Mapping模块得到特征分布矩阵
作为特征提取模块的输入L1。
5.根据权利要求1所述的基于V-ResNet肺部成像方法，其特征在于：所述特征提取模块为5个，每个特征提取模块包括2个卷积核尺度为3×3的卷积层和2个BN层，该部分将输入信息
压缩为
的抽象特征，对应的特征图数量从3逐渐增加至128，BN层将数据分配到[0,1]内，共进行了4次最大池化操作。
6.根据权利要求1所述的基于V-ResNet肺部成像方法，其特征在于：所述深度重建模块为4个，每个模块包含2个卷积核尺度为3×3的卷积层、3个BN层，共用4次反置卷积。
7.根据权利要求1所述的基于V-ResNet肺部成像方法，其特征在于：所述残差去噪模块由四个卷积层和两个残差块组成，每个卷积层的卷积核尺度相同，都为3×3，残差块采用三次卷积结构，在进行第一次卷积后，将尺寸为128×128×8的特征图作为残差结构Bottleneck1的输入，经过Bottleneck1的三层卷积之后输出特征尺寸与输入特征尺寸保持一致，在与输入特征信息相融合之后作为残差块的总输出，进行一次最大池化操作和一次转置卷积操作，得到64×64×8的特征图，然后将所得特征信息作为残差结构Bottleneck2的输入，再进行与Bottleneck1相同操作之后得到尺寸大小为128×128×32的特征图，再一次进行转置卷积和卷积，利用最后一层卷积调整尺寸，最终得到256×256×3的重建图。
8.根据权利要求1所述的基于V-ResNet肺部成像方法，其特征在于：利用测试集对训练好的模型进行测试，并根据(4)-(5)计算出相应的图像误差与相关系数，选择图像误差最小，结构相似度最大的模型作为V-ResNet网络的最终模型；
其中，α*为原始图像电导率分布，α表示重建图像的电导率分布；
其中
和
表示重建图像电导率分布和原始图像电导率分布的平均值，αx、αy表示重建图像电导率分布αi和原始图像电导率分布
的方差，αxy为协方差矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111225222.XA CN113870377A (zh) | 2021-10-21 | 2021-10-21 | 基于V-ResNet肺部成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111225222.XA CN113870377A (zh) | 2021-10-21 | 2021-10-21 | 基于V-ResNet肺部成像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113870377A true CN113870377A (zh) | 2021-12-31 |
Family
ID=78996889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111225222.XA Pending CN113870377A (zh) | 2021-10-21 | 2021-10-21 | 基于V-ResNet肺部成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113870377A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524123A (zh) * | 2023-04-20 | 2023-08-01 | 深圳市元甪科技有限公司 | 一种三维电阻抗断层扫描图像重建方法及相关设备 |
| CN118078293A (zh) * | 2024-04-23 | 2024-05-28 | 天津科技大学 | 一种膀胱含尿量测量方法、装置及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712207A (zh) * | 2018-11-24 | 2019-05-03 | 天津大学 | V-Net深度成像方法 |
| CN110580727A (zh) * | 2019-08-27 | 2019-12-17 | 天津大学 | 信息流与梯度流增加的深度v型密集网络成像方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
-
2021
- 2021-10-21 CN CN202111225222.XA patent/CN113870377A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712207A (zh) * | 2018-11-24 | 2019-05-03 | 天津大学 | V-Net深度成像方法 |
| CN110580727A (zh) * | 2019-08-27 | 2019-12-17 | 天津大学 | 信息流与梯度流增加的深度v型密集网络成像方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
Non-Patent Citations (2)
| Title |
|---|
| 付荣等: "基于V-ResNet的电阻抗层析成像方法", 《仪器仪表学报》, vol. 42, no. 9, 26 August 2021 (2021-08-26), pages 279 - 285 * |
| 吕晓琪;吴凉;谷宇;张明;李菁;: "基于深度卷积神经网络的低剂量CT肺部去噪", 电子与信息学报, no. 06, 15 June 2018 (2018-06-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524123A (zh) * | 2023-04-20 | 2023-08-01 | 深圳市元甪科技有限公司 | 一种三维电阻抗断层扫描图像重建方法及相关设备 |
| CN116524123B (zh) * | 2023-04-20 | 2024-02-13 | 深圳市元甪科技有限公司 | 一种三维电阻抗断层扫描图像重建方法及相关设备 |
| CN118078293A (zh) * | 2024-04-23 | 2024-05-28 | 天津科技大学 | 一种膀胱含尿量测量方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tan et al. | Image reconstruction based on convolutional neural network for electrical resistance tomography | |
| CN109598768B (zh) | 基于卷积神经网络的电学层析成像图像重建方法 | |
| CN109859285B (zh) | 基于空洞卷积网络的电阻抗图像重建方法 | |
| CN109003229B (zh) | 基于三维增强深度残差网络的磁共振超分辨率重建方法 | |
| CN110599461B (zh) | 一种基于子空间特征学习的丘脑功能分区方法 | |
| CN106503801A (zh) | 基于深度学习的电阻抗层析成像方法 | |
| CN111870245B (zh) | 一种跨对比度引导的超快速核磁共振成像深度学习方法 | |
| CN113902826B (zh) | FCU-Net深度肺部电阻抗图像重建方法 | |
| CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
| CN108734675A (zh) | 基于混合稀疏先验模型的图像复原方法 | |
| CN110720915A (zh) | 一种基于gan的脑部电阻抗断层成像方法 | |
| Fu et al. | A regularization-guided deep imaging method for electrical impedance tomography | |
| Wang et al. | Shape reconstruction for electrical impedance tomography with V 2 D-Net deep convolutional neural network | |
| CN113902825A (zh) | 基于VDD-Net的肺部电阻抗成像方法 | |
| Zhu et al. | Deep image refinement method by hybrid training with images of varied quality in electrical capacitance tomography | |
| CN113870377A (zh) | 基于V-ResNet肺部成像方法 | |
| CN109712207B (zh) | V-Net深度成像方法 | |
| Wang et al. | Electrical impedance tomography image reconstruction with attention-based deep convolutional neural network | |
| Yang et al. | Well-log information-assisted high-resolution waveform inversion based on deep learning | |
| Song et al. | A nonlinear weighted anisotropic total variation regularization for electrical impedance tomography | |
| Wang et al. | Push the generalization limitation of learning approaches by multi-domain weight-sharing for full-wave inverse scattering | |
| CN111462262B (zh) | 一种基于反卷积网络的ect图像重建方法 | |
| CN115670421A (zh) | 一种基于去噪自编码器的电阻抗深度成像方法 | |
| CN115471580A (zh) | 一种物理智能高清磁共振扩散成像方法 | |
| CN111260742B (zh) | 一种电阻抗成像方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |