CN115423685A - 用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法 - Google Patents

用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法 Download PDF

Info

Publication number
CN115423685A
CN115423685A CN202211070444.3A CN202211070444A CN115423685A CN 115423685 A CN115423685 A CN 115423685A CN 202211070444 A CN202211070444 A CN 202211070444A CN 115423685 A CN115423685 A CN 115423685A
Authority
CN
China
Prior art keywords
image
sub
layer
residual
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211070444.3A
Other languages
English (en)
Inventor
董国庆
郑丽娟
李玉道
程一飞
张宁宁
常猛
张帅帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jining Antai Mine Equipment Manufacturing Co ltd
Original Assignee
Jining Antai Mine Equipment Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jining Antai Mine Equipment Manufacturing Co ltd filed Critical Jining Antai Mine Equipment Manufacturing Co ltd
Priority to CN202211070444.3A priority Critical patent/CN115423685A/zh
Publication of CN115423685A publication Critical patent/CN115423685A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及内窥镜探测技术领域，具体地说，是一种用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，该方法主要包括这几部分：图像预处理、图像浅层特征提取、图像深层特征提取、图像重建。本发明首先在深度卷积神经网络种加入了注意力残差单元，能够将将不同贡献度信息给与不同程度的权重进行训练学习，更有效的利用特征信息；其次提出了一种由多尺度级联注意力残差模块所构成的级联残差组对特征进行提取、融合、增强了网络对图像特征的表达能力最后在网络中加入了辅助监督误差函数，增强了梯度的反向传播，提供了额外的正则化，缓解了梯度消失的问题。

Description

用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法
技术领域
本发明涉及内窥镜探测技术领域，具体地说，是一种用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法。
背景技术
在人工智能高速发展的时代，智能泵已经广泛应用于工业、农业生产以及能源、石化、航空、钢铁、军工等重要领域，在国民经济发展中有着十分重要的作用。而作为一个制造业大国，我国的智能泵制造技术仍存在诸多问题，传统的煤矿智能泵结构是封闭的，人眼难以直接观察泵腔实时情况。当前主要采用内窥镜观察泵腔内部缺陷以及故障诊断，由于内窥镜采集的图像为平面图像，对于结构复杂立体的泵腔环境来说，容易出现缺陷遗漏和故障定位不准确等问题。近年来，广泛关注的深度学习与其它传统的基于学习的算法相比，它端到端的训练模式和超强的特征提取与学习能力在图像重建方面体现出很大的优越性，因此，越来越多的国内外学者将基于深度学习的图像超分辨率重建算法应用到智能泵腔体内窥镜故障诊断中。其中基于卷积神经网络的图像超分辨率重建算法取得了良好的重建性能，但经典的基于深度卷积神经网络的图像超分辨率重建算法(Image Super-ResolutionUsing Deep Convolutional Networks，SRCNN)存在网络层较少、感受野小、模型泛化能力差等缺陷。针对此也涌现出了大量对SRCNN算法进行改进的算法，但均存在一定的不足。
内窥镜是集成了传统光学、人体工程学、精密机械、现代电子、软件于一体的，具有图像传感器、光学照明、机械装置的检测仪器，其功能是对弯曲的管道内部进行探查，观察到人眼不能直视的部位。工业中常用内窥镜进行无损检测，无需拆卸被检测体，直接观察到物体内部的表面情况，如裂纹、焊缝、生锈等，并且在检测的同时，对整个检测过程进行动态的录影或者拍照记录，以便于对故障诊断并进行后续的定量分析。
对于内窥镜采集的监测图像在超分辨率重建过程中出现的梯度消失、网络退化等问题。针对梯度消失这个问题，提出了一种多尺度级联注意力残差监督网络，这种网络是在SRCNN的基础上进行改进，通过跳跃连接结构使深层的网络同样可以提取到有效的特征信息。不仅如此，在多尺度级联注意力残差监督网络中添加了辅助监督误差函数，增强了梯度的反向传播，提供了额外的正则化，缓解了梯度消失的问题。因此，围绕着残差网络结构的相关改进被不断提出，在图像重建领域表现出明显的优势。
当前的工业用智能泵，人眼难以直接观察到泵腔的内部缺陷，在使用内窥镜得到检测图像后，在进行图像故障诊断时难以实现对图像故障区域特征的精确提取，已有的残差网络算法在特征提取方面仍有不足：
第一，在获取内窥镜检测故障图像的过程中，无差别的提取特征信息会浪费计算资源，使得对重建效果贡献度高的高频信息无法得到充分学习。
第二，在对图像故障区域特征的提取过程中，特征提取比较单一，无法获取丰富的特征信息。
第三，在训练内窥镜检测图像故障诊断的模型过程中，如果训练含有较多卷积层的模型时会出现梯度消失的问题，导致得到的模型重建的图像质量反而不如含有较少卷积层的模型。
发明内容
针对以上问题，本发明提出了一种用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，该方法由多尺度、级联残差组以及辅助监督误差函数所构成的多尺度级联注意力残差监督网络。
本发明首先在深度卷积神经网络种加入了注意力残差单元，能够将不同贡献度信息给与不同程度的权重进行训练学习，更有效的利用特征信息；其次提出了一种由多尺度级联注意力残差模块(MCRAB)所构成的级联残差组对特征进行提取、融合、增强了网络对图像特征的表达能力；最后在网络中加入了辅助监督误差函数，增强了梯度的反向传播，提供了额外的正则化，缓解了梯度消失的问题。
本发明采用的具体技术方案如下：
一种用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，该方法主要包括这几部分：
1、对图像作预处理，使得图像以图像对的形式进行保存，作为输入层的数据。
2、一层卷积层组成的图像浅层特征提取模块。
3、m个多尺度级联残差组和一个监督层误差函数组成的深层特征提取模块。
4、由卷积层和亚像素上采样模块组成的图像重建模块。
第一部分：图像预处理
具体步骤如下：首先将训练集中的高分辨率图像进行YCbCr颜色空间转换，然后提取Y通道，将得到的Y通道图像记为YH；
其颜色空间转换公式如下：
Figure BDA0003829874010000031
YH＝Y＝0.299R+0.587G+0.114B (1)
其中R、G、B代表变换前图像的通道值，Y、Cb、Cr为变换后图像的通道值，将得到的Y通道图像记为YH，将YH图像分别按照缩放尺度为×2、×3、×4的因子进行下采样得到不同模糊程度的低分辨率图像，分别记为YL2、YL3、YL4；将YL2、YL3、YL4不重叠裁剪为41×41大小的子图像块，分别记为YL2-sub、YL3-sub、YL4-sub；为了更好的利用卷积神经网络提取特征的能力，将YL2-sub、YL3-sub、YL4-sub进行对应尺度因子的简单上采样，得到的结果记为YIL2-sub、YIL3-sub、YIL4-sub，再将YH不重叠裁剪成与YIL2-sub、YIL3-sub、YIL4-sub相对应的子图像块作为标签，分别记为YH2-sub、YH3-sub、YH4-sub；按照YL2-sub-YIL2-sub、YIL3-sub-YH3-sub、YIL4-sub-YH4-sub相对应的图像对形式保存，作为卷积神经网络输入层的数据。
第二部分：图像浅层特征提取
浅层特征提取层采用一个卷积核大小为3×3的卷积层，浅层特征提取层的工作原理可以用下式表示：
F0＝HSFE(ILR) (2)
其中，HSFE(·)表示为应用于低分辨率特征提取的卷积运算，ILR表示低分辨率的输入图像,F0表示通过卷积提取的浅层特征。
第三部分：图像深层特征提取
深层特征提取模块是由m个多尺度级联残差组和一个注意力残差模块以及全局跳连接所构成，注意力残差通过使用不同尺寸的卷积核，可以提取出不同尺度的特征，使得网络可以学习更加丰富的图像信息。通过将浅层特征输入由m个级联残差组与全局跳跃连接组成的主干网路，可以对浅层特征进行特征提取、加强，得到更丰富、更深层次的特征。
所述级联残差组包括n个多尺度级联注意力残差模块、n个特征拼接单元、n个特征压缩单元、n个短跳跃连接和1个局部跳跃连接，所述特征压缩单元由一个1x1的卷积组成。所述级联残差组的公式表达式如下：
Fm,1＝HMCRAB(Fm-1) (3)
Fm，2＝HMCRAB(w1×1*[Fm,1,Fm-1]+b) (4)
…… (5)
Fm，n＝HMCRAB(w1×1*[Fm,n-1,Fm,n-2]+b) (6)
Fm＝Fm,n+Fm-1 (7)
其中，Fm,n表示第m个级联残差组中第n个多尺度级联注意力残差模块的输出特征，HMCRAB表示多尺度级联注意力残差模块的操作，Fm表示第m个级联残差组的输出特征，[]表示特征拼接，w1×1表示1x1卷积的权重，b表示卷积核的偏差。
多尺度级联注意力残差模块的公式表达式如下：
F3×3,in1＝w1×1*Fm,n-1+b (8)
F3,1＝HRAB,3×3(F3×3,in1)+F3×3,in1 (9)
F3×3,in2＝w1×1*[F3,1,F3×3,in1]+b (10)
F3,2＝HRAB,3×3(F3×3,in2)+F3×3,in2 (11)
F3×3,in3＝w1×1*[F3,2,F3,1,F3×3,in1]+b (12)
F5×5,in1＝w1×1*Fm,n-1+b (13)
F5,1＝HRAB,5×5(F5×5,in1)+F5×5,in1 (14)
F5×5,in2＝w1×1*[F5,1,F5×5,in1]+b (15)
F5,2＝HRAB,5×5(F5×5,in2)+F5×5,in2 (16)
F5×5,in3＝w1×1*[F5,2,F5,1,F5×5,in1]+b (17)
Fm,n＝[F3×3,in3,F5×5,in3]+Fm,n-1 (18)
其中，F3×3,in1、F3×3,in2、F3×3,in3分别表示尺度为3x3时不同阶段的输入特征，F3,1、F3,2分别表示尺度为3x3时的中间特征，F5×5,in1、F5×5,in2、F5×5,in3分别表示尺度为5x5时不同阶段的输入特征，F5,1、F5,2分别表示尺度为5x5时的中间特征，HRAB,3×3、HRAB,5×5分别表示卷积核为3x3和5x5的注意力残差单元，Fm，n表示第m个级联残差组中第n个多尺度级联注意力残差模块的输出特征，[]表示特征拼接，w1×1表示1x1卷积的权重，b表示卷积核的偏差。每个多尺度残差注意力模块包含4个注意力残差单元、和6个短跳跃连接。
所述注意力残差单元采用宽激活的方式，在参数量不变的情况下，获得更宽的通道特征，同时采用通道注意力模块增强激活前的通道特征，并在最后采用空间注意力单元对残差做空间特征增强，其中两种注意力机制均采用了平均池化与最大池化相结合的方式；所述注意力残差单元的公式表达式如下：
y＝τ(HCA(wk×k*x+b) (19)
Fr＝HSA(wk×k*y+b) (20)
其中，x、y分别表示输入特征与输出特征，τ表示非线性激活函数ReLU，wk×k表示kxk卷积的权重，HCA表示通道注意力单元，HSA表示通道注意力单元。
其中各注意力单元的公式表达式如下：
HCA＝σ(HFC(τ(HFC(PAvg(x)+PMax(x)))*x (21)
HSA＝σ(w7×7*([PAvg(x),PMax(x)]+b)*x (22)
其中，σ表示非线性激活函数Sigmoid，w7×7为7x7卷积的权重，PAvg表示平均池化操作，PMax表示最大池化操作，HFC表示全连接层。
浅层特征通过m个由多尺度级联注意力残差模块组成的级联残差组和全局跳连接组成的主干网路，进行特征提取、融合以及增强，得到深层特征，包括：将浅层特征通过由m个级联残差组，以及由1个3x3卷积串联的残差特征提取主干与全局跳连接组成的主干网络，然后通过一个卷积核大小为1×1的卷积层进行降维，得到维度为1的残差特征图re具体的公式如下：
Fm＝Hcrir,m(Fm-1)＝Hcrir,m(Hcrir,m-1(····(Hcrir,1(F0)····)) (23)
FRes＝τ(w3×3*Fm+b) (24)
FDF＝F0+FRes (25)
Fre＝HD(FDF) (26)
其中，Hcrir,m为第m个级联残差组的操作，FRes为通过一个3x3卷积层之后的残差特征，FDF是由浅层特征与残差特征组成的深度特征，F0为浅层特征，Fre为降维后的特征，HD(·)表示降维操作。
第四部分：图像重建
该部分的主要完成模型的误差函数的定义和图像的重建。
误差函数的定义：
定义x和y是低分辨率输入图像和高分辨率图像，θ代表模型中需要被优化的一系列参数，re代表残差特征图代表训练集，N代表训练集中样本的数量。Lsupervised代表监督层的输出，Loverall代表模型的重建误差函数，f代表从低分辨率图像到高分辨率图像的映射关系。那么监督层误差函数和重建误差函数可由如下表示：
Figure BDA0003829874010000071
Figure BDA0003829874010000072
Figure BDA0003829874010000073
其中，f1代表从输入层到监督层的低分辨率图像与高分辨率图像之间的映射关系，f2代表整个模型的低分辨率图像与高分辨率图像之间的映射关系。使用定义的监督层误差函数和重建误差函数优化卷积神经网络误差反向传播机制，实现网络层各权重参数的迭代更新，以改善深层卷积神经网络梯度消失现象。
第二，图像重建
在本发明的网络模型中，图像的重建主要是对在特征提取阶段所得到的融合特征图进行上采样从而重建出最终的高分辨率图像。测试网络模型时，只需要将预处理后的图像输入训练好的网络模型即可。本方法采用亚像素卷积方法进行图像的上采样，然后再经过一层重建层进行图像重建。如图一所示，的特征重建模块由一个卷积层、一个像素重组层、一个卷积层组成。图像重建模块的详细原理如下：
SFE＝HFE(Fre) (30)
SPX＝HPX(SFE) (31)
ISR＝HRC(SPX) (32)
其中，Fre代表特征融合层的输出，HFE(Fre)、HPX(SFE)和HRC(SPX)分别表示第一层卷积层、像素重组层和重建层的映射函数，SFE表示卷积层的输出，SPX表示像素重组层的输出，ISR表示重建出来的图像。
本发明的有益效果：
第一、本发明在卷积神经网络中加入了注意力机制使得对于不同的图像特征给与不同程度的学习，从而能够重建出清晰度更高的高分辨率图像。
第二、本发明设计了由多尺度级联注意力残差模块所构成的级联残差组对深层特征进行提取、融合以及增强，采用跳跃连接的方式，减小模型参数量，加速模型训练的速度。
第三、本发明在网络的中间加入了辅助监督误差函数，通过使用定义的监督层误差函数和重建误差函数来优化卷积神经网络误差反向传播机制，实现网络层各权重参数的迭代更新，从而来改善梯度消失的现象。
附图说明
图1为本发明中网络结构图。
图2为本发明的流程示意图。
图3为本发明中多尺度级联注意力残差模块图。
图4为本发明中注意力残差单元的结构图。
图5为本发明中注意力单元的结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1和图2所示，一种用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，该方法主要包括这几部分：
1、对图像作预处理，使得图像以图像对的形式进行保存，作为输入层的数据。
2、一层卷积层组成的图像浅层特征提取模块。
3、m个多尺度级联残差组和一个监督层误差函数组成的深层特征提取模块。
4、由卷积层和亚像素上采样模块组成的图像重建模块。
第一部分：图像预处理
为了更好地利用深度学习框架进行训练，没有直接对输入图像进行特征提取，而是先对输入图像进行预处理。具体步骤如下；首先将训练集中的高分辨率图像进行YCbCr颜色空间转换，然后提取Y通道，将得到的Y通道图像记为YH；
其颜色空间转换公式如下；
Figure BDA0003829874010000091
YH＝Y＝0.299R+0.587G+0.114B (1)
其中，R、G、B代表变换前图像的通道值，Y、Cb、Cr为变换后图像的通道值，将得到的Y通道图像记为YH，将YH图像分别按照缩放尺度为×2、×3、×4的因子进行下采样得到不同模糊程度的低分辨率图像，分别记为YL2、YL3、YL4；将YL2、YL3、YL4不重叠裁剪为41×41大小的子图像块，分别记为YL2-sub、YL3-sub、YL4-sub；为了更好的利用卷积神经网络提取特征的能力，将YL2-sub、YL3-sub、YL4-sub进行对应尺度因子的简单上采样，得到的结果记为YIL2-sub、YIL3-sub、YIL4-sub，再将YH不重叠裁剪成与YIL2-sub、YIL3-sub、YIL4-sub相对应的子图像块作为标签，分别记为YH2-sub、YH3-sub、YH4-sub；按照YL2-sub-YIL2-sub、YIL3-sub-YH3-sub、YIL4-sub-YH4-sub相对应的图像对形式保存，作为卷积神经网络输入层的数据。
第二部分：图像浅层特征提取
本方法通过图1中的浅层特征提取、深层特征提取和图像重建三个模块实现图像超分辨率重建。特征提取的主要目的是利用卷积神经网络来学习高分辨率图像和低分辨率图像之间的映射关系。模型中，除了监督层和最后一层卷积层以外，其余每一层卷积层后都有一个整流线性单元作为激活函数。所有的MSRAB模块网络结构采用卷积神经网络结构。为了在提取图像深层特征之前先提取图像的浅层特征，我们用预先构造的浅层特征提取模块提取输入低分辨率图像的浅层特征。浅层特征提取层采用一个卷积核大小为3×3的卷积层。浅层特征提取层的工作原理可以用下式表示：
F0＝HSFE(ILR) (2)
其中，HSFE(·)表示为应用于低分辨率特征提取的卷积运算，ILR表示低分辨率的输入图像,F0表示通过卷积提取的浅层特征。
第三部分：图像深层特征提取
深层特征提取模块是由m个多尺度级联残差组和一个注意力残差模块以及全局跳连接所构成。注意力残差通过使用不同尺寸的卷积核，可以提取出不同尺度的特征，使得网络可以学习更加丰富的图像信息。如图1所示，通过将浅层特征输入由m个级联残差组与全局跳跃连接组成的主干网路，可以对浅层特征进行特征提取、加强，得到更丰富、更深层次的特征。
所述级联残差组包括n个多尺度级联注意力残差模块、n个特征拼接单元、n个特征压缩单元、n个短跳跃连接和1个局部跳跃连接，所述特征压缩单元由一个1x1的卷积组成。所述级联残差组的公式表达式如下：
Fm,1＝HMCRAB(Fm-1) (3)
Fm，2＝HMCRAB(w1×1*[Fm,1,Fm-1]+b) (4)
…… (5)
Fm，n＝HMCRAB(w1×1*[Fm,n-1,Fm,n-2]+b) (6)
Fm＝Fm,n+Fm-1 (7)
其中，Fm,n表示第m个级联残差组中第n个多尺度级联注意力残差模块的输出特征，HMCRAB表示多尺度级联注意力残差模块的操作，Fm表示第m个级联残差组的输出特征，[]表示特征拼接，w1×1表示1x1卷积的权重，b表示卷积核的偏差。其级联残差组所包含的多尺度级联注意力残差模块如图3所示。
多尺度级联注意力残差模块的公式表达式如下：
F3×3,in1＝w1×1*Fm,n-1+b (8)
F3,1＝HRAB,3×3(F3×3,in1)+F3×3,in1 (9)
F3×3,in2＝w1×1*[F3,1,F3×3,in1]+b (10)
F3,2＝HRAB,3×3(F3×3,in2)+F3×3,in2 (11)
F3×3,in3＝w1×1*[F3,2,F3,1,F3×3,in1]+b (12)
F5×5,in1＝w1×1*Fm,n-1+b (13)
F5,1＝HRAB,5×5(F5×5,in1)+F5×5,in1 (14)
F5×5,in2＝w1×1*[F5,1,F5×5,in1]+b (15)
F5,2＝HRAB,5×5(F5×5,in2)+F5×5,in2 (16)
F5×5,in3＝w1×1*[F5,2,F5,1,F5×5,in1]+b (17)
Fm,n＝[F3×3,in3,F5×5,in3]+Fm,n-1 (18)
其中，F3×3,in1、F3×3,in2、F3×3,in3分别表示尺度为3x3时不同阶段的输入特征，F3,1、F3,2分别表示尺度为3x3时的中间特征，F5×5,in1、F5×5,in2、F5×5,in3分别表示尺度为5x5时不同阶段的输入特征，F5,1、F5,2分别表示尺度为5x5时的中间特征，HRAB,3×3、HRAB,5×5分别表示卷积核为3x3和5x5的注意力残差单元，Fm，n表示第m个级联残差组中第n个多尺度级联注意力残差模块的输出特征，[]表示特征拼接，w1×1表示1x1卷积的权重，b表示卷积核的偏差。每个多尺度残差注意力模块包含4个注意力残差单元、和6个短跳跃连接。本实例中取m＝2，n＝3，但是m、n的取值不构成对本发明技术方案的限制。其中的注意力残差单元分别使用3x3和5x5的卷积核，注意力残差单元如图4所示。
所述注意力残差单元采用宽激活的方式，在参数量不变的情况下，获得更宽的通道特征，同时采用通道注意力模块增强激活前的通道特征，并在最后采用空间注意力单元对残差做空间特征增强，其中两种注意力机制均采用了平均池化与最大池化相结合的方式；所述注意力残差单元的公式表达式如下：
y＝τ(HCA(wk×k*x+b) (19)
Fr＝HSA(wk×k*y+b) (20)
其中，x、y分别表示输入特征与输出特征，τ表示非线性激活函数ReLU，wk×k表示kxk卷积的权重，HCA表示通道注意力单元，HSA表示通道注意力单元，其中涉及的通道注意力单元与空间注意力单元如图5所示；
其中各注意力单元的公式表达式如下：
HCA＝σ(HFC(τ(HFC(PAvg(x)+PMax(x)))*x (21)
HSA＝σ(w7×7*([PAvg(x),PMax(x)]+b)*x (22)
其中，σ表示非线性激活函数Sigmoid，w7×7为7x7卷积的权重，PAvg表示平均池化操作，PMax表示最大池化操作，HFC表示全连接层。
浅层特征通过m个由多尺度级联注意力残差模块组成的级联残差组和全局跳连接组成的主干网路，进行特征提取、融合以及增强，得到深层特征，包括：将浅层特征通过由m个级联残差组，以及由1个3x3卷积串联的残差特征提取主干与全局跳连接组成的主干网络，然后通过一个卷积核大小为1×1的卷积层进行降维，得到维度为1的残差特征图re具体的公式如下：
Fm＝Hcrir,m(Fm-1)＝Hcrir,m(Hcrir,m-1(····(Hcrir,1(F0)····)) (23)
FRes＝τ(w3×3*Fm+b) (24)
FDF＝F0+FRes (25)
Fre＝HD(FDF) (26)
其中，Hcrir,m为第m个级联残差组的操作，FRes为通过一个3x3卷积层之后的残差特征，FDF是由浅层特征与残差特征组成的深度特征，F0为浅层特征，Fre为降维后的特征，HD(·)表示降维操作。
第四部分：图像重建
该部分的主要完成模型的误差函数的定义和图像的重建。
第一、误差函数的定义。
我们定义x和y是低分辨率输入图像和高分辨率图像，θ代表模型中需要被优化的一系列参数，re代表残差特征图代表训练集，N代表训练集中样本的数量。Lsupervised代表监督层的输出，Loverall代表模型的重建误差函数，f代表从低分辨率图像到高分辨率图像的映射关系。那么监督层误差函数和重建误差函数可由如下表示：
Figure BDA0003829874010000141
Figure BDA0003829874010000142
Figure BDA0003829874010000143
其中，f1代表从输入层到监督层的低分辨率图像与高分辨率图像之间的映射关系，f2代表整个模型的低分辨率图像与高分辨率图像之间的映射关系。使用定义的监督层误差函数和重建误差函数优化卷积神经网络误差反向传播机制，实现网络层各权重参数的迭代更新，以改善深层卷积神经网络梯度消失现象。
第二、图像重建。
在本发明的网络模型中，图像的重建主要是对在特征提取阶段所得到的融合特征图进行上采样从而重建出最终的高分辨率图像。测试网络模型时，只需要将预处理后的图像输入训练好的网络模型即可。本方法采用亚像素卷积方法进行图像的上采样，然后再经过一层重建层进行图像重建。如图一所示，我们的特征重建模块由一个卷积层、一个像素重组层、一个卷积层组成。图像重建模块的详细原理如下：
SFE＝HFE(Fre) (30)
SPX＝HPX(SFE) (31)
ISR＝HRC(SPX) (32)
其中，Fre代表特征融合层的输出，HFE()、HPX()和HRC()分别表示第一层卷积层、像素重组层和重建层的映射函数，SFE表示卷积层的输出，SPX表示像素重组层的输出，ISR表示重建出来的图像。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (9)

1.一种用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，其特征在于，具体包括以下步骤：
步骤一、图像预处理；
步骤二、图像浅层特征提取；
步骤三、图像深层特征提取；
步骤四、图像重建。
2.根据权利要求1所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，其特征在于，所述步骤一中，首先将训练集中的高分辨率图像进行YCbCr颜色空间转换，然后提取Y通道，将得到的Y通道图像记为YH；
其颜色空间转换公式如下；
Figure FDA0003829873000000011
YH＝Y＝0.299R+0.587G+0.114B (1)
其中R、G、B代表变换前图像的通道值，Y、Cb、Cr为变换后图像的通道值，将得到的Y通道图像记为YH，将YH图像分别按照缩放尺度为×2、×3、×4的因子进行下采样得到不同模糊程度的低分辨率图像，分别记为YL2、YL3、YL4；将YL2、YL3、YL4不重叠裁剪为41×41大小的子图像块，分别记为YL2-sub、YL3-sub、YL4-sub；为了更好的利用卷积神经网络提取特征的能力，将YL2-sub、YL3-sub、YL4-sub进行对应尺度因子的简单上采样，得到的结果记为YIL2-sub、YIL3-sub、YIL4-sub，再将YH不重叠裁剪成与YIL2-sub、YIL3-sub、YIL4-sub相对应的子图像块作为标签，分别记为YH2-sub、YH3-sub、YH4-sub；按照YL2-sub-YIL2-sub、YIL3-sub-YH3-sub、YIL4-sub-YH4-sub相对应的图像对形式保存，作为卷积神经网络输入层的数据。
3.根据权利要求2所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，其特征在于，所述步骤二中，预先构造的浅层特征提取模块提取输入低分辨率图像的浅层特征，其中，浅层特征提取层采用一个卷积核大小为3×3的卷积层。浅层特征提取层的工作原理可以用下式表示：
F0＝HSFE(ILR) (2)
其中，HSFE(·)表示为应用于低分辨率特征提取的卷积运算，ILR表示低分辨率的输入图像，F0表示通过卷积提取的浅层特征。
4.根据权利要求3所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，其特征在于，所述步骤三中，深层特征提取模块是由m个多尺度级联残差组和一个注意力残差模块以及全局跳连接所构成，所述级联残差组包括n个多尺度级联注意力残差模块、n个特征拼接单元、n个特征压缩单元、n个短跳跃连接和1个局部跳跃连接，所述特征压缩单元由一个1x1的卷积组成，所述级联残差组的公式表达式如下：
Fm,1＝HMCRAB(Fm-1) (3)
Fm，2＝HMCRAB(w1×1*[Fm,1,Fm-1]+b) (4)
……(5)
Fm，n＝HMCRAB(w1×1*[Fm,n-1,Fm,n-2]+b) (6)
Fm＝Fm,n+Fm-1 (7)
其中，Fm,n表示第m个级联残差组中第n个多尺度级联注意力残差模块的输出特征，HMCRAB表示多尺度级联注意力残差模块的操作，Fm表示第m个级联残差组的输出特征，[]表示特征拼接，w1×1表示1x1卷积的权重，b表示卷积核的偏差。
5.根据权利要求4所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，其特征在于，所述多尺度级联注意力残差模块的公式表达式如下：
F3×3,in1＝w1×1*Fm,n-1+b (8)
F3,1＝HRAB,3×3(F3×3,in1)+F3×3,in1 (9)
F3×3,in2＝w1×1*[F3,1,F3×3,in1]+b (10)
F3,2＝HRAB,3×3(F3×3,in2)+F3×3,in2 (11)
F3×3,in3＝w1×1*[F3,2,F3,1,F3×3,in1]+b (12)
F5×5,in1＝w1×1*Fm,n-1+b (13)
F5,1＝HRAB,5×5(F5×5,in1)+F5×5,in1 (14)
F5×5,in2＝w1×1*[F5,1,F5×5,in1]+b (15)
F5,2＝HRAB,5×5(F5×5,in2)+F5×5,in2 (16)
F5×5,in3＝w1×1*[F5,2,F5,1,F5×5,in1]+b (17)
Fm,n＝[F3×3,in3,F5×5,in3]+Fm,n-1 (18)
其中，F3×3,in1、F3×3,in2、F3×3,in3分别表示尺度为3x3时不同阶段的输入特征，F3,1、F3,2分别表示尺度为3x3时的中间特征，F5×5,in1、F5×5,in2、F5×5,in3分别表示尺度为5x5时不同阶段的输入特征，F5,1、F5,2分别表示尺度为5x5时的中间特征，HRAB,3×3、HRAB,5×5分别表示卷积核为3x3和5x5的注意力残差单元，Fm，n表示第m个级联残差组中第n个多尺度级联注意力残差模块的输出特征，[]表示特征拼接，w1×1表示1x1卷积的权重，b表示卷积核的偏差，每个多尺度残差注意力模块包含4个注意力残差单元和6个短跳跃连接。
6.根据权利要求5所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，其特征在于，两种注意力机制均采用了平均池化与最大池化相结合的方式，所述注意力残差单元的公式表达式如下：
y＝τ(HCA(wk×k*x+b) (19)
Fr＝HSA(wk×k*y+b) (20)
其中，x、y分别表示输入特征与输出特征，τ表示非线性激活函数ReLU，wk×k表示kxk卷积的权重，HCA表示通道注意力单元，HSA表示通道注意力单元。
7.根据权利要求6所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，其特征在于，各注意力单元的公式表达式如下：
HCA＝σ(HFC(τ(HFC(PAvg(x)+PMax(x)))*x (21)
HSA＝σ(w7×7*([PAvg(x),PMax(x)]+b)*x (22)
其中，σ表示非线性激活函数Sigmoid，w7×7为7x7卷积的权重，PAvg表示平均池化操作，PMax表示最大池化操作，HFC表示全连接层。
8.根据权利要求7所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，其特征在于，浅层特征通过m个由多尺度级联注意力残差模块组成的级联残差组和全局跳连接组成的主干网路，进行特征提取、融合以及增强，得到深层特征，将浅层特征通过由m个级联残差组，以及由1个3x3卷积串联的残差特征提取主干与全局跳连接组成的主干网络，然后通过一个卷积核大小为1×1的卷积层进行降维，得到维度为1的残差特征图re具体的公式如下：
Fm＝Hcrir,m(Fm-1)＝Hcrir,m(Hcrir,m-1(····(Hcrir,1(F0)····)) (23)
FRes＝τ(w3×3*Fm+b) (24)
FDF＝F0+FRes (25)
Fre＝HD(FDF) (26)
其中，Hcrir,m为第m个级联残差组的操作，FRes为通过一个3x3卷积层之后的残差特征，FDF是由浅层特征与残差特征组成的深度特征，F0为浅层特征，Fre为降维后的特征，HD(·)表示降维操作。
9.根据权利要求8所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法，其特征在于，所述步骤四图像重建包括完成模型的误差函数的定义和图像的重建两部分，
所述误差函数的定义：定义x和y是低分辨率输入图像和高分辨率图像，θ代表模型中需要被优化的一系列参数，re代表残差特征图代表训练集，N代表训练集中样本的数量，Lsupervised代表监督层的输出，Loverall代表模型的重建误差函数，f代表从低分辨率图像到高分辨率图像的映射关系，监督层误差函数和重建误差函数可由如下表示：
Figure FDA0003829873000000051
Figure FDA0003829873000000052
Figure FDA0003829873000000053
其中，f1代表从输入层到监督层的低分辨率图像与高分辨率图像之间的映射关系，f2代表整个模型的低分辨率图像与高分辨率图像之间的映射关系；
所述图像重建：采用亚像素卷积方法进行图像的上采样，然后再经过一层重建层进行图像重建，特征重建模块由一个卷积层、一个像素重组层、一个卷积层组成，图像重建模块的详细原理如下：
SFE＝HFE(Fre) (30)
SPX＝HPX(SFE) (31)
ISR＝HRC(SPX) (32)
其中，Fre代表特征融合层的输出，HFE(Fre)、HPX(SFE)和HRC(SPX)分别表示第一层卷积层、像素重组层和重建层的映射函数，SFE表示卷积层的输出，SPX表示像素重组层的输出，ISR表示重建出来的图像。
CN202211070444.3A 2022-09-02 2022-09-02 用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法 Pending CN115423685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211070444.3A CN115423685A (zh) 2022-09-02 2022-09-02 用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211070444.3A CN115423685A (zh) 2022-09-02 2022-09-02 用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN115423685A true CN115423685A (zh) 2022-12-02

Family

ID=84202471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211070444.3A Pending CN115423685A (zh) 2022-09-02 2022-09-02 用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115423685A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197072A (zh) * 2023-09-07 2023-12-08 石家庄铁道大学 基于机器视觉的物体自动计数方法
CN117291846A (zh) * 2023-11-27 2023-12-26 北京大学第三医院（北京大学第三临床医学院） 一种应用于喉显微外科手术的oct系统及图像去噪方法
CN117495681A (zh) * 2024-01-03 2024-02-02 国网山东省电力公司济南供电公司 一种红外图像超分辨重建系统及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197072A (zh) * 2023-09-07 2023-12-08 石家庄铁道大学 基于机器视觉的物体自动计数方法
CN117197072B (zh) * 2023-09-07 2024-04-05 石家庄铁道大学 基于机器视觉的物体自动计数方法
CN117291846A (zh) * 2023-11-27 2023-12-26 北京大学第三医院（北京大学第三临床医学院） 一种应用于喉显微外科手术的oct系统及图像去噪方法
CN117291846B (zh) * 2023-11-27 2024-02-27 北京大学第三医院（北京大学第三临床医学院） 一种应用于喉显微外科手术的oct系统及图像去噪方法
CN117495681A (zh) * 2024-01-03 2024-02-02 国网山东省电力公司济南供电公司 一种红外图像超分辨重建系统及方法
CN117495681B (zh) * 2024-01-03 2024-05-24 国网山东省电力公司济南供电公司 一种红外图像超分辨重建系统及方法

Similar Documents

Publication Publication Date Title
CN115423685A (zh) 用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法
WO2022222352A1 (zh) 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN111275618A (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
CN113888412B (zh) 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN111222519B (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN112381097A (zh) 一种基于深度学习的场景语义分割方法
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN112508953B (zh) 基于深度神经网络的脑膜瘤快速分割定性方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN113989261A (zh) 基于Unet改进的无人机视角下红外图像光伏板边界分割方法
CN113160058A (zh) 一种结合分割图的热成像超分辨率重建方法及存储介质
CN116258664A (zh) 一种基于深度学习的光伏电池片智能缺陷检测方法
CN112488963A (zh) 一种用于农作物病害数据的增强方法
CN114004784B (zh) 一种基于ct图像检测骨质状况的方法及电子设备
CN114972202A (zh) 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法
CN117132606B (zh) 用于肺部病变图像的分割方法
CN114418987A (zh) 一种多阶段特征融合的视网膜血管分割方法及系统
CN117934489A (zh) 基于残差和金字塔切分注意力的眼底硬渗出物分割方法
CN113269672A (zh) 一种超分辨率的细胞图像构建方法和系统
CN116912086A (zh) 一种基于双路径融合的图像分辨率提升方法及系统
CN114118199A (zh) 一种用于智能泵腔体内窥镜故障诊断的图像分类方法及系统
CN116029905A (zh) 一种基于渐进差值互补的人脸超分辨率重构方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination