CN113763244B - 一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法 - Google Patents

Abstract

一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法，采用深度分离卷积替代标准常规卷积，实现卷积运算高效化，通过引入双层局部残差学习策略，在密集连接中融合局部复合残差，设计了深度分离复合残差密集单元，充分保持网络中各层级的特征信息，加快特征信息的复用传递速度。将全局残差学习和局部复合残差学习有机结合，实现浅层卷积特征和深层细节特征深度融合。利用本发明方法进行超分辨率重建，可进一步提升模型效率，从复合密集特征中重建出纹理等细节更为清晰的超分辨率图像。

Description

一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法

技术领域

本发明涉及工业故障诊断领域，具体涉及一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法。

背景技术

内窥镜是上世纪70-80年代从国外引进的产品，主要用于航空航天内部多余物控制及一些零部件的检查，由于它的特殊尺寸设计，可以在不破坏检测物体表面的基础上，简便准确地观察物体内部表面结构及工作状态。其中工业内窥镜是无损检测时的重要检测工具，主要分为光学硬管镜，光纤镜和视频镜，可用于高温、有毒、核辐射以及人眼无法直接观察到的工业复杂使用场景，例如泵体、阀体内部的流道，可在不需拆卸或破坏组装设备停止运行的情况下实现无损检测和故障诊断。另一方面，工业内窥镜还可与照相机、摄像机或电子计算机连接，组成图像处理系统，从而进行视场目标的监视，记录，贮存和图像分析，为故障诊断提供良好的保证，目前内窥镜检测已进入了实用阶段。但是，由于泵腔内部环境昏暗，加上内窥镜自身的技术指标限制，造成采集到的图像分辨率较低，模糊不清难以辨认，影响对腔体内部表面光滑度、完整度和腐蚀程度的观察与监测，进而影响故障诊断。

图像分辨率是评价图像中包含细节信息丰富程度的一个重要指标。图像超分辨率重建技术是近几十年来广受关注的一项视觉计算技术，其目标是将低分辨率图像恢复或重建为高分辨率图像，使得图像能够获得更高的像素密度和更多的纹理细节信息。图像超分辨率应用广泛，已成为计算机视觉领域最为活跃的研究方向之一。当前绝大多数图像超分辨率重建网络采用普通卷积进行特征提取，存在通道冗余问题，这直接导致计算资源的浪费。而且，为了增强超分辨率特征表达的能力，使用更深层次的网络构建超分辨率重建模型已成为一种趋势，这在一定程度上提升了图像超分辨重建的性能，但模型训练越来越困难。ResNet通过在卷积神经网络中引入残差学习的策略，很大程度上缓解了网络层次加深带来的梯度消失问题，但由于残差网络每一层都需要学习参数权值，导致参数量较大、网络冗余。密集连接网络DenseNet对ResNet进行了改进，进一步利用跳跃连接将所有层直接连接在一起，从特征重用的角度来提升模型学习能力,但如果密集连接数过多，将会影响特征信息的复用传递速度，给超分辨率重建模型带来学习效率低、精细化特征信息得不到充分利用等问题。

发明内容

本发明针对工业内窥镜在智能泵泵腔内部监测采集图像时，由于环境及技术限制，采集到的图像分辨率较低，模糊不清难以辨认，影响故障诊断的问题，提出一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法，通过深度分离复合残差密集生成对抗网络实现图像的超分辨率重建，在减少超分辨率模型网络参数量的同时，提升模型学习效率，从复合密集特征中重建出纹理等细节更清晰的超分辨率图像。

一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法，包括如下步骤：

步骤1，建立由低阶特征提取模块、高阶特征提取模块、上采样重建模块和图像输出模块构成的生成器；其中，高阶特征提取模块包含级联的深度分离复合残差密集单元，每个深度分离复合残差密集单元包含4个深度分离卷积层和4个激活层，每两个深度分离卷积和激活层使用1组残差连接；

步骤2，对生成器输入低分辨率图像，通过各模块依次进行提取图像浅层特征、提取图像精细化深度特征、采用亚像素卷积进行上采样的处理，输出超分辨率图像；

步骤3，建立判别器，其包括由8组深度分离卷积层、归一化层和激活层构成的主体以及输入层和输出层，所有激活层采用H-Swish激活函数；

步骤4，将生成器输出的超分辨率图像输入至判别器中，最终输出判别结果。

进一步地，生成器模型包含依次连接的四个子模块：低阶特征提取模块H_LF、高阶特征提取模块H_HF、上采样重建模块H_UF和图像输出模块H_RF，低分辨率图像I^LR输入生成器后，通过各个子模块处理输出超分辨率图像I^SR。

进一步地，低阶特征提取模块提取输入图像的浅层特征G₀，公式表达如下：

G₀＝H_LF(I^LR)＝f_{LF_DSConv}(I^LR)

其中，f_{LF_DSConv}表示低阶特征提取模块中的深度分离卷积运算，提取输入图像的浅层低阶特征G₀，输入到由深度分离残差密集块级联构成的高阶特征提取模块中。

进一步地，高阶特征提取模块提取低阶特征提取后的图像的精细化细节特征G₁，公式表达如下：

G₁＝H_HF(G₀)＝f_{HF_DSConv}(F_k(F_k-1(…(F₁(G₀)))))

其中，f_{HF_DSConv}表示高阶特征提取模块中的深度分离卷积运算；F_k-1和F_k分别为第k个深度分离复合残差密集单元的输入和输出；通过全局残差学习的方式促进特征映射的传递融合，将低阶特征提取模块提取的浅层特征和高阶特征提取模块提取的深层特征进行连接，并送入上采样重建模块。

进一步地，深度分离复合残差密集单元在密集连接中融合局部复合残差，通过双层局部残差学习的方式保持各层级的特征信息，同时使用深度分离卷积进行特征提取，并采用H-Swish激活函数，其中令F_k-1和F_k分别为第k个深度分离复合残差密集单元的输入和输出，F_k,lr1和F_k,lr2分别为第k个深度分离复合残差密集单元中第一层和第二层局部残差的输出，表示为：

F_k,lr1＝F_k-1+W_k,2F_k,2

F_k,2＝γ(W_k,2[F_k-1,F_k,1])

F_k,1＝γ(W_k,1F_k-1)

F_k,lr2＝F_k,lr1+W_k,4F_k,4

F_k,4＝γ(W_k,4[F_k,lr1,F_k,3])

F_k,3＝γ(W_k,3F_k,lr1)

其中，γ表示H-Swish激活函数，W_k,i为第i层深度分离卷积的权值，[,]表示特征图沿着通道方向的拼接操作；

第k个深度分离复合残差密集单元的输出表示为：

F_k＝F_k-1+f_DSConv(F_k,lr2)

其中，f_DSConv表示深度分离复合残差密集单元中最后一层卷积运算；令C_out和C_in分别为级联模块的输入和输出，则级联模块的输出表示为：

C_out＝F_k(F_k-1)＝F_k(F_k-1(...(F₁(C_in))))。

进一步地，上采样重建模块得到上采样重建图像特征G₂，公式表达如下：

G₂＝f_{UF_DSConv}(H_UF(G₀+G₁))

其中，f_{UF_DSConv}表示高阶特征提取模块中的深度分离卷积运算；H_UF(.)是上采样重建模块中亚像素卷积运算和像素重排运算的复合函数；G₀+G₁为全局残差学习得到的浅层与深度特征的融合。

进一步地，图像输出模块对上采样重建图像特征G₂进行降维，输出RGB三通道的超分辨率图像，公式表达如下：

I^SR＝f_{RF_DSConv}(G₂)＝G(I^LR)

其中，f_{RF_DSConv}表示图像输出模块中的深度分离卷积运算，I^LR是输入生成模型的低分辨率图像，I^SR是生成模型生成的超分辨率图像，G(.)表示整个生成器模型的重建函数。

进一步地，步骤3中，所述H-Swish激活函数为：

ReLU6[x]＝min(max(0,x),6)。

进一步地，对于生成器，损失函数定义为：

其中，L₁为像素空间损失，L_percep为感知特征损失，为生成器的相对对抗损失，λ和η分别是/>和L₁损失的权重，三种损失计算公式如下：

L₁＝||G(I^LR)-I^HR||₁

其中，G(I^LR)表示生成的超分辨率图像，I^HR表示真实的高分辨率图像，φ表示VGG19网络生成的特征映射；φ(G(I^LR))表示从生成的超分辨率图像中提取的特征映射，φ(I^HR)表示从真实的高分辨率图像中提取的特征映射；

C(.)代表判别器的原始输出，σ表示判别器中的sigmod激活函数；和分别代表对批量真实图像和生成图像取均值操作；D_Ra为判别器的最终输出，即经过sigmod激活函数归一化之后的值(0-1之间)。

进一步地，对于判别器，损失函数定义为：

式中，为判别器的相对对抗损失。

本发明达到的有益效果为：本方法采用深度分离卷积替代标准常规卷积，实现卷积运算高效化，通过引入双层局部残差学习策略，在密集连接中融合局部复合残差，设计了深度分离复合残差密集单元，充分保持网络中各层级的特征信息，加快特征信息的复用传递速度。将全局残差学习和局部复合残差学习有机结合，实现浅层卷积特征和深层细节特征深度融合。利用本发明方法进行超分辨率重建，可进一步提升模型效率，从复合密集特征中重建出纹理等细节更为清晰的超分辨率图像。

附图说明

图1为本发明实施例中生成器的结构示意图。

图2为本发明实施例中深度分离复合残差密集单元的结构示意图。

图3为本发明实施例中判别器的结构示意图。

图4为本发明实施例中深度分离卷积的操作示意图。

图5为本发明实施例中密集块的结构示意图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法，包括如下步骤：

步骤1，建立由低阶特征提取模块、高阶特征提取模块、上采样重建模块和图像输出模块构成的生成器；其中，高阶特征提取模块包含级联的深度分离复合残差密集单元，每个深度分离复合残差密集单元包含4个深度分离卷积层和4个激活层，每两个深度分离卷积和激活层使用1组残差连接。生成器采用深度分离复合残差密集单元提取图像深度特征，并用深度分离卷积替代标准常规卷积，实现卷积运算高效化。深度分离复合残差密集单元中引入双层局部残差学习策略，在密集连接中融合局部复合残差，充分保持网络中各层级的特征信息，加快特征信息的复用传递速度。同时将全局残差学习和局部复合残差学习有机结合，实现浅层卷积特征和深层细节特征深度融合，提升网络学习效率的同时充分保持精细化图像特征。

步骤2，对生成器输入低分辨率图像，通过各模块依次进行提取图像浅层特征、提取图像精细化深度特征、采用亚像素卷积进行上采样的处理，输出超分辨率图像。

步骤3，建立判别器，其包括由8组深度分离卷积层、归一化层和激活层构成的主体以及输入层和输出层，输入为生成器生成的超分辨率图像(SR)和真实图像，最终输出为一个概率值，在0-1之间(就是判别器损失函数的计算)，所有激活层采用H-Swish激活函数。通过连接两个线性降维层将卷积维度降为1，最后通过sigmod函数输出判别结果。

步骤4，将生成器输出的超分辨率图像输入至判别器中，最终输出判别结果。输出的结果结合预先设定的阈值(经验值，一般为0.5)进行判断，小于阈值且越小则说明判别器判定超分辨率图像为真实图像，即达到重建效果。

生成器模型包含依次连接的四个子模块：低阶特征提取模块H_LF、高阶特征提取模块H_HF、上采样重建模块H_UF和图像输出模块H_RF，低分辨率图像I^LR输入生成器后，通过各个子模块处理输出超分辨率图像I^SR。

低阶特征提取模块提取输入图像的浅层特征G₀，公式表达如下：

G₀＝H_LF(I^LR)＝f_{LF_DSConv}(I^LR)

其中，f_{LF_DSConv}表示低阶特征提取模块中的深度分离卷积运算，提取输入图像的浅层低阶特征G₀，输入到由深度分离残差密集块级联构成的高阶特征提取模块中。

高阶特征提取模块提取低阶特征提取后的图像的精细化细节特征G₁，公式表达如下：

G₁＝H_HF(G₀)＝f_{HF_DSConv}(F_k(F_k-1(...(F₁(G₀)))))

其中，f_{HF_DSConv}表示高阶特征提取模块中的深度分离卷积运算。F_k-1和F_k分别为第k个深度分离复合残差密集单元的输入和输出；通过全局残差学习的方式促进特征映射的传递融合，将低阶特征提取模块提取的浅层特征和高阶特征提取模块提取的深层特征进行连接，并送入上采样重建模块。

标准常规卷积在对输入特征图进行运算时，需要同时考虑图像的空间和通道，一个卷积核需要对所有的通道进行进行卷积运算，得到多通道的特征图，再对应元素相加得到这个卷积核的最终输出。标准常规卷积不同位置处的通道加权和的权重不同，在空间相关性的基础上又叠加了通道相关性，因此，存在通道冗余问题，这直接导致计算资源的浪费。为实现卷积运算高效化，谷歌提出了深度分离卷积，成为标准常规卷积的有效替代方案，并成功应用在谷歌Xception、MobileNet和EfficientNet等经典网络模型中。深度分离卷积先进行逐层卷积操作，然后使用1×1卷积核将逐层卷积所提取特征的进行融合，最终产生深度分离卷积的输出特征图，实现了图像空间维度和通道深度维度的卷积解耦。深度分离卷积操作示意如图4所示。

密集连接网络DenseNet，进一步利用跳跃连接，将所有层直接连接在一起，这种密集连接的方式使得每层都可以利用之前学习到的所有特征，无须重复学习。DenseNet不是通过加深网络深或者加宽网络结构结构的设计思路，而是从特征重用的角度来提升模型学习能力。密集连接网络由许多密集块堆叠构成。密集块如图5所示。

输入特征图x₀，通过非线性变换H₁输出x₁，x₁与x₀在通道方向上进行拼接后得到的特征图输入通过非线性变换H₂输出x₂，以此类推，直到输出最后一层。假设密集块包含L层，每一层非线性变换运算为H_l，其中l表示层的索引，第l层的输出为x_l，则有：

x_l＝H_l([x₀,x₁,...,x_l-1])

其中，[x₀,x₁,...,x_l-1]表示第0,…,l-1层输出的特征图沿着通道方向的拼接。非线性变换运算H_l(.)是包含批归一化、ReLU激活、或者卷积等操作的复合函数。每层H_l(.)输出的特征图通道数为k，k也称之为密集网络的增长率。第0层的输入通道数k₀，则第l层的输入通道数为k₀+k×(l-1)。DenseNet密集块与ResNet残差学习单元不同之处在于，ResNet中层与层之间采用加法的方式进行融合，而DenseNet密集块中层与层之间采用连接的方式进行融合，这样每层的特征图输出都会连接到后续层的特征图，因此被称之为密集连接。

深度分离复合残差密集单元在密集连接中融合局部复合残差，通过双层局部残差学习的方式保持各层级的特征信息，同时使用深度分离卷积进行特征提取，并采用H-Swish激活函数，其中令F_k-1和F_k分别为第k个深度分离复合残差密集单元的输入和输出，F_k,lr1和F_k,lr2分别为第k个深度分离复合残差密集单元中第一层和第二层局部残差的输出，表示为：

F_k,lr1＝F_k-1+W_k,2F_k,2

F_k,2＝γ(W_k,2[F_k-1,F_k,1])

F_k,1＝γ(W_k,1F_k-1)

F_k,lr2＝F_k,lr1+W_k,4F_k,4

F_k,4＝γ(W_k,4[F_k,lr1,F_k,3])

F_k,3＝γ(W_k,3F_k,lr1)

其中，γ表示H-Swish激活函数，W_k,i为第i层深度分离卷积的权值，[,]表示特征图沿着通道方向的拼接操作。

第k个深度分离复合残差密集单元的输出表示为：

F_k＝F_k-1+f_DSConv(F_k,lr2)

其中，f_DSConv表示深度分离复合残差密集单元中最后一层卷积运算；令C_out和C_in分别为级联模块的输入和输出，参考图2，输入输出即为流程线上的每一个输入输出，类似一个递归。则级联模块的输出可以表示为：

C_out＝F_k(F_k-1)＝F_k(F_k-1(...(F₁(C_in))))。

上采样重建模块得到上采样重建图像特征G₂，公式表达如下：

G₂＝f_{UF_DSConv}(H_UF(G₀+G₁))

其中，f_{UF_DSConv}表示高阶特征提取模块中的深度分离卷积运算；H_UF(.)是上采样重建模块中亚像素卷积运算和像素重排运算的复合函数；G₀+G₁为全局残差学习得到的浅层与深度特征的融合。

图像输出模块对上采样重建图像特征G₂进行降维，输出RGB三通道的超分辨率图像，公式表达如下：

I^SR＝f_{RF_DSConv}(G₂)＝G(I^LR)

其中，f_{RF_DSConv}表示图像输出模块中的深度分离卷积运算，I^LR是输入生成模型的低分辨率图像，I^SR是生成模型生成的超分辨率图像，G(.)表示整个生成器模型的重建函数。

H-Swish激活函数为：

ReLU6[x]＝min(max(0,x),6)。

对于生成器，损失函数定义为：

其中，L₁为像素空间损失，L_percep为感知特征损失，为生成器的相对对抗损失，λ和η分别是/>和L₁损失的权重，三种损失计算公式如下：

L₁＝||G(I^LR)-I^HR||₁

其中，G(I^LR)表示生成的超分辨率图像，I^HR表示真实的高分辨率图像，φ表示VGG19网络生成的特征映射；φ(G(I^LR))表示从生成的超分辨率图像中提取的特征映射，φ(I^HR)表示从真实的高分辨率图像中提取的特征映射。

C(.)代表判别器的原始输出，σ表示判别器中的sigmod激活函数；和分别代表对批量真实图像和生成图像取均值操作；D_Ra为判别器的最终输出，即经过sigmod激活函数归一化之后的值(0-1之间)。

对于判别器，损失函数定义为：

式中，为判别器的相对对抗损失。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (4)

1.一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法，其特征在于：所述方法包括如下步骤：

步骤1，建立由低阶特征提取模块、高阶特征提取模块、上采样重建模块和图像输出模块构成的生成器；其中，高阶特征提取模块包含级联的深度分离复合残差密集单元，每个深度分离复合残差密集单元包含4个深度分离卷积层和4个激活层，每两个深度分离卷积和激活层使用1组残差连接；

生成器模型包含依次连接的四个子模块：低阶特征提取模块H_LF、高阶特征提取模块H_HF、上采样重建模块H_UF和图像输出模块H_RF，低分辨率图像I^LR输入生成器后，通过各个子模块处理输出超分辨率图像I^SR；

步骤2，对生成器输入低分辨率图像，通过各模块依次进行提取图像浅层特征、提取图像精细化深度特征、采用亚像素卷积进行上采样的处理，输出超分辨率图像；

低阶特征提取模块提取输入图像的浅层特征G₀，公式表达如下：

G₀＝H_LF(I^LR)＝f_{LF_DSConv}(I^LR)

其中，f_{LF_DSConv}表示低阶特征提取模块中的深度分离卷积运算，提取输入图像的浅层低阶特征G₀，输入到由深度分离残差密集块级联构成的高阶特征提取模块中；

高阶特征提取模块提取低阶特征提取后的图像的精细化细节特征G₁，公式表达如下：

G₁＝H_HF(G₀)＝f_{HF_DSConv}(F_k(F_k-1(...(F₁(G₀)))))

其中，f_{HF_DSConv}表示高阶特征提取模块中的深度分离卷积运算；F_k-1和F_k分别为第k个深度分离复合残差密集单元的输入和输出；通过全局残差学习的方式促进特征映射的传递融合，将低阶特征提取模块提取的浅层特征和高阶特征提取模块提取的深层特征进行连接，并送入上采样重建模块；

深度分离复合残差密集单元在密集连接中融合局部复合残差，通过双层局部残差学习的方式保持各层级的特征信息，同时使用深度分离卷积进行特征提取，并采用H-Swish激活函数，其中令F_k-1和F_k分别为第k个深度分离复合残差密集单元的输入和输出，F_k,lr1和F_k,lr2分别为第k个深度分离复合残差密集单元中第一层和第二层局部残差的输出，表示为：

F_k,lr1＝F_k-1+W_k,2F_k,2

F_k,2＝γ(W_k,2[F_k-1,F_k,1])

F_k,1＝γ(W_k,1F_k-1)

F_k,lr2＝F_k,lr1+W_k,4F_k,4

F_k,4＝γ(W_k,4[F_k,lr1,F_k,3])

F_k,3＝γ(W_k,3F_k,lr1)

其中，γ表示H-Swish激活函数，W_k,i为第i层深度分离卷积的权值，[,]表示特征图沿着通道方向的拼接操作；

第k个深度分离复合残差密集单元的输出表示为：

F_k＝F_k-1+f_DSConv(F_k,lr2)

其中，f_DSConv表示深度分离复合残差密集单元中最后一层卷积运算；令C_out和C_in分别为级联模块的输入和输出，则级联模块的输出表示为：

C_out＝F_k(F_k-1)＝F_k(F_k-1(...(F₁(C_in))))；

上采样重建模块得到上采样重建图像特征G₂，公式表达如下：

G₂＝f_{UF_DSConv}(H_UF(G₀+G₁))

其中，f_{UF_DSConv}表示高阶特征提取模块中的深度分离卷积运算；H_UF(.)是上采样重建模块中亚像素卷积运算和像素重排运算的复合函数；G₀+G₁为全局残差学习得到的浅层与深度特征的融合；

图像输出模块对上采样重建图像特征G₂进行降维，输出RGB三通道的超分辨率图像，公式表达如下：

I^SR＝f_{RF_DSConv}(G₂)＝G(I^LR)

其中，f_{RF_DSConv}表示图像输出模块中的深度分离卷积运算，I^LR是输入生成模型的低分辨率图像，I^SR是生成模型生成的超分辨率图像，G(.)表示整个生成器模型的重建函数；

步骤3，建立判别器，其包括由8组深度分离卷积层、归一化层和激活层构成的主体以及输入层和输出层，所有激活层采用H-Swish激活函数；

步骤4，将生成器输出的超分辨率图像输入至判别器中，最终输出判别结果。

2.根据权利要求1所述的一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法，其特征在于：步骤3中，所述H-Swish激活函数为：

ReLU6[x]＝min(max(0,x),6)。

3.根据权利要求1所述的一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法，其特征在于：对于生成器，损失函数定义为：

其中，L₁为像素空间损失，L_percep为感知特征损失，为生成器的相对对抗损失，λ和η分别是/>和L₁损失的权重，三种损失计算公式如下：

L₁＝||G(I^LR)-I^HR||₁

其中，G(I^LR)表示生成的超分辨率图像，I^HR表示真实的高分辨率图像，φ表示VGG19网络生成的特征映射；φ(G(I^LR))表示从生成的超分辨率图像中提取的特征映射，φ(I^HR)表示从真实的高分辨率图像中提取的特征映射；

C(.)代表判别器的原始输出，σ表示判别器中的；和/>分别代表对批量真实图像和生成图像取均值操作；D_Ra为判别器的最终输出，即经过sigmod激活函数归一化之后的值。

4.根据权利要求1所述的一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法，其特征在于：对于判别器，损失函数定义为：

式中，为判别器的相对对抗损失。