CN117114994B - 基于层次特征融合的矿井图像超分辨率重建方法及系统 - Google Patents

基于层次特征融合的矿井图像超分辨率重建方法及系统 Download PDF

Info

Publication number
CN117114994B
CN117114994B CN202311149731.8A CN202311149731A CN117114994B CN 117114994 B CN117114994 B CN 117114994B CN 202311149731 A CN202311149731 A CN 202311149731A CN 117114994 B CN117114994 B CN 117114994B
Authority
CN
China
Prior art keywords
image
module
resolution
feature
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311149731.8A
Other languages
English (en)
Other versions
CN117114994A (zh
Inventor
程永席
刘海宁
常猛
程一飞
董国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jining Antai Mine Equipment Manufacturing Co ltd
Original Assignee
Jining Antai Mine Equipment Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jining Antai Mine Equipment Manufacturing Co ltd filed Critical Jining Antai Mine Equipment Manufacturing Co ltd
Priority to CN202311149731.8A priority Critical patent/CN117114994B/zh
Publication of CN117114994A publication Critical patent/CN117114994A/zh
Application granted granted Critical
Publication of CN117114994B publication Critical patent/CN117114994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像重建技术领域，具体涉及基于层次特征融合的矿井图像超分辨率重建方法及系统，该重建方法通过将低分辨率图像ILR输入已训练的重建网络模型对矿井图像进行超分辨率重建，得到重建后的高分辨率矿井图像ISR，按照图像特征的处理顺序，重建网络模型分为三部分：浅层特征提取模块、深层特征提取模块以及特征重建模块。相较于传统方法，本技术方案摒弃常用的重复堆叠基本模块以搭建网络框架的方式，减少如注意力模块ESA这类基本模块的使用数量并引用多层次特征融合模块，可以在保持网络轻量化特点的同时更好地利用层次特征，充分学习图像的特征信息，此外，模型的参数量大幅减少，推理速度得到提升，更好地应用于矿井生产作业。

Description

基于层次特征融合的矿井图像超分辨率重建方法及系统
技术领域
本发明涉及图像重建技术领域，具体涉及基于层次特征融合的矿井图像超分辨率重建方法及系统。
背景技术
矿井图像主要是指利用矿井环境下的摄像机或者传感器采集得到的数字图像资源，常被广泛用于煤矿的生产管理、行为识别、安全检测等各个方面，其反映的信息对煤矿的生产作业和人员管理都起到至关重要的作用，由于矿井环境多为无光或微弱光线条件，且拍摄设备硬件条件不统一，因此对矿井图像的亮度、对比度和分辨率等方面需要进行重建等特殊处理。
矿井图像超分辨率重建技术是指利用深度学习相关算法，从低分辨率的矿井图像中重建出高分辨率的矿井图像的技术，通过重建高分辨率矿井图像，可以提高图像的质量，使得图像细节和纹理信息更加清晰，对安全监测和和矿山勘探等工作非常有帮助，当前，矿井图像超分辨率重建技术的相关方法通常由以下四个步骤组成：第一，图像预处理：对低分辨率图像进行预处理操作，包括图像增强等；第二，模型搭建：搭建网络模型，主要包括浅层特征提取模块、深层特征提取模块和特征重建模块三个部分；第三，模型训练和优化：基于预处理后的数据集，对已搭建的模型进行训练和优化；第四，超分辨率重建：基于训练得到的最优模型，将低分辨率矿井图像映射为高分辨率矿井图像，得到最终结果。
专利公开号为：CN115239564B的专利文件公开了一种结合语义信息的矿井图像超分辨率重建方法，其主要目的是通过语义分割网络所产生的概率图对超分辨率网络的深层特征提取前的输入进行调整，以此达到提高图像重建质量的结果。
当前多数方案中图像超分辨率重建模型多为简单堆叠大量基本模块，不仅忽视高低频信息关系，且结构复杂、参数量巨大，难以应用于矿井生产作业中，现存的问题具体来说主要为以下两点：
第一，现有的超分辨率网络多是通过大量重复增加网络基本模块来加深网络的层数和提取图像的深层特征，这会导致会模型的参数量和复杂度大幅增加，进而模型的训练和推理时间也显著增加，从而不仅会使网络模型的参数量增大和运行速度降低，更使得其难以在生产生活中得到广泛应用，难以广泛应用于复杂矿井环境下的移动端或边缘设备；
第二，特征融合过程中多为简单平等地对不同层次的图像特征进行拼接或者像素相加，忽视了不同层次图像特征的作用和相互之间的关系，使得在图像重建的最后阶段仅有少量高频信息对重建起作用，而多量重复性和冗余性的低频信息被反复处理，扰动图像重建，模型难以关注和重点学习对重建效果贡献较高的高频信息，使得矿井图像重建质量下降，这一问题在图像边缘和纹理等细节部分会显得尤其明显。
发明内容
为了克服上述的技术问题，本发明的目的在于提供基于层次特征融合的矿井图像超分辨率重建方法及系统，该系统可重点关注高低频信息之间的关系，实现层次特征融合，且高频细节信息指导低频信息的利用，同时保持模型的轻量化，使得模型能够在矿井等复杂环境下仍具有较高的应用价值。
本发明的目的可以通过以下技术方案实现：
基于层次特征融合的矿井图像超分辨率重建方法，该重建方法通过将低分辨率图像ILR输入已训练的重建网络模型对矿井图像进行超分辨率重建，得到重建后的高分辨率矿井图像ISR，按照图像特征的处理顺序，重建网络模型分为三部分：浅层特征提取模块、深层特征提取模块以及特征重建模块；
重建方法包括以下步骤：
步骤一、浅层特征提取模块对输入重建网络模型的低分辨率图像ILR进行处理，提取其浅层特征；
步骤二、由深层特征提取模块进一步提取图像的深层特征，深层特征提取模块由一个多分支的层次特征融合残差块HFFRB和三个基本的自适应残差块ARB构成，其中，层次特征融合残差块HFFRB中包含三个无注意力模块ESA的自适应残差块ARB；
步骤三，根据得到的深层特征进行层次特征融合，并基于层次特征融合利用图像高频信息指导低频信息进行学习和特征融合，提升重建网络模型的学习效率；
步骤四，通过特征重建模块实现高分辨率矿井图像的重建，特征重建模块，由一层3×3卷积层和主要由pixelshuffle函数组成的上采样模块构成，用于将得到的浅层和深层特征进行融合，生成并输出高分辨率矿井图像的重建结果。
进一步在于，浅层特征提取模块由一层3×3卷积层构成，步骤一中，当低分辨率图像ILR以张量的形式输入重建网络模型，由浅层特征提取模块得到浅层特征提取结果：
式中，F0表示浅层特征提取模块的输出，表示卷积核大小为3×3的卷积操作。
进一步在于，步骤二中，在深层特征提取模块中，层次特征融合残差块HFFRB和自适应残差块ARB按照次序排列后依次序对经过浅层特征提取模块处理的图像特征进行深度特征提取，得到深度特征信息，层次特征融合残差块HFFRB排列在第一个自适应残差块ARB后，第二个和第三个自适应残差块ARB排列在层次特征融合残差块HFFRB后，深度特征提取过程如下：
式中，Fi表示第i个模块输出得到的特征图，表示第i个模块的映射函数，其上标表示所对应的模块。
进一步在于，步骤三中，对得到的深度特征信息进行层次特征融合，指定第一个自适应残差块ARB基本模块的输出和层次特征融合残差块HFFRB基本模块的输出进行融合，得到第一阶段的深度特征，指定第二个和第三个自适应残差块ARB基本模块的输出进行融合，得到第二阶段的深度特征，层次特征融合过程如下：
式中，F12和F34分别表示对特征F1和F2、F3和F4进行拼接融合的结果，表示第i个拼接融合模块，其主要包含特征拼接操作和一层1×1卷积层。
进一步在于，利用得到的高频特征F34来指导低频特征F12的学习，同时结合浅层特征通过逐像素相加操作得到深层特征提取模块的输出，过程如下：
F5＝Sigmoid(F34)·F34+F12+F0#(8)
式中，F5表示深层特征提取模块的输出特征，Sigmoid(·)表示Sigmoid函数，·为逐像素相乘操作，+为逐像素相加操作。
进一步在于，自适应残差块ARB由残差结构和注意力模块ESA构成，输出的图像特征数据通过注意力模块ESA得到最终输出：
残差结构包括两层3×3卷积层、两层1×1卷积层和GELU激活函数；
其中，第一层3×3卷积层用于统一数据维度，将模块的输入数据的通道数整合为所设计的通道数，第二层3×3卷积层为分组卷积，用于进一步提取图像深层特征，保证模型的参数量较低；
第一层1×1卷积层的功能为升维，将数据的通道数拓展为原来的4倍，第二层1×1卷积层的功能为降维，将数据的通道数再缩减为原来的数量；
GELU激活函数设计在两层1×1卷积层的中间，用于提高高维数据的计算效率并加快网络模型的收敛速度；
图像特征数据输入注意力模块ESA后，先通过第一个1×1卷积层，减少输入数据的通道数维度，随后注意力模块ESA使用跳步卷积和最大池化层来减小特征图的大小，并通过一个包含三层3×3卷积层的卷积群来进一步提取图像的深度特征，接着基于插值的上采样以恢复原始特征图的大小，再同第一个卷积层的输出构成残差结构，然后利用最后一层1×1卷积层实现数据通道数的复原，再通过Sigmoid函数生成最终的注意力掩码，该掩码与注意力模块ESA的输入进行逐像素相乘以得到该模块的最终输出。
进一步在于，层次特征融合残差块HFFRB由特征融合结构和残差结构构成，层次特征融合残差块HFFRB先通过一个3×3卷积层来实现对输入数据通道数统一化的处理，接着数据进入四个分支结构进行进一步的处理，其最终输出由四个不同分支逐像素相加而成：
主分支结构，主要由3个去除注意力模块ESA的自适应残差块ARB串联构成，过程如下：
式中，表示第一层3×3卷积层操作，/>表示第i个去除注意力模块ESA的自适应残差块ARB的映射函数；
分支一结构，通过主分支结构得到的最终输出F23再包含一个注意力模块ESA的注意力分支，过程如下：
F″2＝HESA(F23)#(13)
分支二结构，为第一层3×3卷积层通过跳跃直连得到，与F′1一致；
分支三结构，为具有HFF层次特征融合结构的分支，过程如下：
式中，表示第i个拼接融合模块；
特征融合结构的分支首先对主分支上的特征图F′1和F21进行融合操作，所得到的融合结果继续和主分支的特征图F22继续融合，对F23也进行同上述一样的融合操作，最终得到特征融合结果再通过Overscaling模块进行进一步的学习，过程如下：
式中，HOver(·)表示Overscaling模块的映射函数；
Overscaling模块的基本框架为残差结构，其主分支由2层3×3卷积层、上采样模块、下采样操作和Sigmoid函数串联构成，过程如下：
式中，pixelsh uffle(·)函数主要为上采样模块所包含的亚像素卷积操作，bicubic↓(·)函数为使用双线性插值方法实现的下采样操作；
最终通过逐像素相加操作得到HFFRB模块的最终输出，过程如下：
式中，λi为第i个分支的自适应参数。
进一步在于，步骤四中，上采样模块先利用3×3卷积层将特征图的通道数拓展为原先的r2倍；再利用pixelshuffle函数的“周期洗牌”操作将H×W×r2Cout大小的特征图转换为rH×rW×Cout大小；考虑到输出图像为RGB图像，因此可将最终的特征图像输出通道数设置为3，最终可获得超分辨率重建后的图像ISR，过程如下：
式中，pixelsh uffle(·)表示上采样模块所学习到的映射函数。
进一步在于，通过对已搭建的重建网络模型进行训练优化以实现最终的图像重建工作，待处理的低分辨率图像ILR通过已搭建网络模型获得重建后的高分辨率图像ISR，将ISR与原始的高分辨率图像IHR进行比较后，计算其损失函数，再通过梯度更新来优化网络的参数，使得模型重建后的图像进一步接近原始高分辨率图像，其中，所使用的损失函数为L1损失函数，过程如下：
式中，Hθ(·)表示网络模型所学习到的映射函数，可得到ISR＝Hθ(ILR)；θ表示网络模型中涉及到的权重和偏差；L(·)表示最小化ISR和IHR之间差异的L1损失函数；argminθ(·)表示使目标函数取最小值时的变量值；n表示数据集的图像数量。
基于层次特征融合的矿井图像超分辨率重建系统，该重建系统通过将低分辨率图像ILR输入已训练的重建网络模型对矿井图像进行超分辨率重建，得到重建后的高分辨率矿井图像ISR，重建网络模型包括：浅层特征提取模块、深层特征提取模块以及特征重建模块，在向重建网络模型输入低分辨率图像ILR时，该重建网络模型执行一种基于层次特征融合的矿井图像超分辨率重建方法中的步骤。
本发明的有益效果：
1、相较于传统方法，本技术方案摒弃常用的重复堆叠基本模块以搭建网络框架的方式，减少如注意力模块ESA这类基本模块的使用数量并引用多层次特征融合模块，可以在保持网络轻量化特点的同时更好地利用层次特征，充分学习图像的特征信息，此外，模型的参数量大幅减少，推理速度得到提升，更好地应用于矿井生产作业；
2、本方案通过引入和改进多层次特征融合模块使得重建网络模型获得更丰富的特征信息，充分挖掘不同层次的特征信息和语义信息，从而进一步提高模型的表达能力，有效提高图像的重建质量；
3、本方案所提出的方法及系统重新整合各模块所学习的特征信息，用网络学习到的图像高频信息指导低频信息的学习，使得网络可以更好地探索高低频信息之间地关系，并更专注于蕴含边缘、纹理等丰富细节的高频信息，使得图像重建效果得到进一步的提升，模型的重建性能也进一步增强。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明中矿井图像超分辨率重建方法的整体框架图；
图2是本发明中矿井图像超分辨率重建方法的整体流程图；
图3是本发明中自适应残差块ARB的模块结构图；
图4是本发明中注意力模块ESA的模块结构图；
图5是本发明中层次特征融合残差块HFFRB的模块结构图；
图6是本发明中Overscaling的模块结构图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1、图2、图3、图4、图5、图6所示，基于层次特征融合的矿井图像超分辨率重建方法，该重建方法通过将低分辨率图像ILR输入已训练的重建网络模型对矿井图像进行超分辨率重建，得到重建后的高分辨率矿井图像ISR，按照图像特征的处理顺序，重建网络模型分为三部分：浅层特征提取模块、深层特征提取模块以及特征重建模块；
其中，浅层特征提取模块由一层3×3卷积层构成；
深层特征提取模块由一个多分支的层次特征融合残差块HFFRB和三个基本的自适应残差块ARB构成，其中，层次特征融合残差块HFFRB中包含三个无注意力模块ESA的自适应残差块ARB；
特征重建模块由一层3×3卷积层和主要由pixelshuffle函数组成的上采样模块构成。
重建方法包括以下步骤：
步骤一、浅层特征提取模块对输入重建网络模型的低分辨率图像ILR进行处理，当低分辨率图像ILR以张量的形式输入重建网络模型，由浅层特征提取模块得到浅层特征提取结果：
式中，F0表示浅层特征提取模块的输出，表示卷积核大小为3×3的卷积操作。
步骤二、由深层特征提取模块进一步提取图像的深层特征，在深层特征提取模块中，层次特征融合残差块HFFRB和自适应残差块ARB按照次序排列后依次序对经过浅层特征提取模块处理的图像特征进行深度特征提取，得到深度特征信息；
上述次序排列为，层次特征融合残差块HFFRB排列在第一个自适应残差块ARB后，第二个和第三个自适应残差块ARB排列在层次特征融合残差块HFFRB后，浅层特征输入深层特征提取模块后，依上述次序对其进行进一步的深度特征提取，最终得到深度特征信息，深度特征提取过程如下：
式中，Fi表示第i个模块输出得到的特征图，表示第i个模块的映射函数，其上标表示所对应的模块。
步骤三，根据得到的深层特征进行层次特征融合，指定第一个自适应残差块ARB基本模块的输出和层次特征融合残差块HFFRB基本模块的输出进行融合，得到第一阶段的深度特征，指定第二个和第三个自适应残差块ARB基本模块的输出进行融合，得到第二阶段的深度特征，其中，第二阶段深度特征为高频特征F34，第一阶段深度特征为低频特征F12，层次特征融合过程如下：
式中，F12和F34分别表示对特征F1和F2、F3和F4进行拼接融合的结果，表示第i个拼接融合模块，其主要包含特征拼接操作和一层1×1卷积层。
相较于第一阶段的深度特征，第二阶段的深度特征具有更多的纹理、细节等高频信息，由于第一阶段的深度特征介于浅层特征和深层特征之间，因此会重复包含两者的部分信息，进而将得到的第二阶段深度特征用于指导其学习和融合以大幅提高该重建网络模型的学习效率，使得该模型可以高效整合高低频信息，并更专注于蕴含纹理等丰富细节的高频信息，使得图像重建效果得到增强，模型推理速度也得到提高；
利用得到的高频特征F34来指导低频特征F12的学习，同时结合浅层特征通过逐像素相加操作得到深层特征提取模块的输出，提升重建网络模型的学习效率过程如下：
F5＝Sigmoid(F34)·F34+F12+F0#(8)
式中，F5表示深层特征提取模块的输出特征，Sigmoid(·)表示Sigmoid函数，·为逐像素相乘操作，+为逐像素相加操作。
步骤四，通过特征重建模块实现高分辨率矿井图像的重建，特征重建模块用于将得到的浅层和深层特征进行融合，生成并输出高分辨率矿井图像的重建结果；
上采样模块是实现图像超分辨率重建的最关键一步，其核心是实现将H×W×C大小的特征图的长、宽扩大r倍，变为rH×rW×C大小，其实现方法为：上采样模块先利用3×3卷积层将特征图的通道数拓展为原先的r2倍，再利用pixelshuffle函数的“周期洗牌”操作将H×W×r2Cout大小的特征图转换为rH×rW×Cout大小，考虑到输出图像为RGB图像，因此可将最终的特征图像输出通道数设置为3，最终可获得超分辨率重建后的图像ISR，过程如下：
式中，pixelshuffle(·)表示上采样模块所学习到的映射函数。
上采样模块前的3×3卷积层可以进一步降噪和平滑输入特征图从而提高超分辨率算法的表现，以及帮助随后的上采样模块生成更好的高分辨率图像。
基于上述对重建网络模型组成部分的具体说明，可实现本发明所提出的矿井图像超分辨率重建模型的搭建，随后可通过对已搭建的重建网络模型进行训练优化以实现最终的图像重建工作，步骤如下：将待处理的低分辨率图像ILR通过已搭建网络模型获得重建后的高分辨率图像ISR，将ISR与原始的高分辨率图像IHR进行比较后，计算其损失函数，再通过梯度更新来优化网络的参数，使得模型重建后的图像进一步接近原始高分辨率图像，其中，所使用的损失函数为L1损失函数，过程如下：
式中，Hθ(·)表示网络模型所学习到的映射函数，可得到ISR＝Hθ(ILR)；θ表示网络模型中涉及到的权重和偏差；L(·)表示最小化ISR和IHR之间差异的L1损失函数；argminθ(·)表示使目标函数取最小值时的变量值；n表示数据集的图像数量；
由于L1损失函数对误差值的绝对值较为敏感，能够更好地惩罚像素级别的错误，这样在图像重建过程中可以让模型保留更多的高频细节，同时它不易受异常值的影响，能够有效增强模型的鲁棒性。
本方法通过多层次特征融合模块的引入和改进，可以充分学习所提取的特征信息，有效减少模块数量和参数量，保证图像重建质量的同时大幅提升模型训练和推理的速度，使得其可以更好地应用于矿井环境中，不仅如此，本方法还能充分利用重建网络模型所学习到的图像高频信息，并用其指导低频信息的学习，使得模型可以高效整合高低频信息，并更专注于蕴含纹理等丰富细节的高频信息，使得图像重建效果得到进一步的增强，提升模型的重建性能，更好地应用于矿井生产作业。
本方案中，自适应残差块ARB由残差结构和注意力模块ESA构成，输出的图像特征数据通过注意力模块ESA得到最终输出：
如图3所示，残差结构包括两层3×3卷积层、两层1×1卷积层和GELU激活函数，图中的λ1和λ2为自适应参数；
其中，第一层3×3卷积层用于统一数据维度，将模块的输入数据的通道数整合为所设计的通道数，第二层3×3卷积层为分组卷积，用于进一步提取图像深层特征，保证模型的参数量较低；
第一层1×1卷积层的功能为升维，将数据的通道数拓展为原来的4倍，第二层1×1卷积层的功能为降维，将数据的通道数再缩减为原来的数量；
GELU激活函数设计在两层1×1卷积层的中间，用于提高高维数据的计算效率并加快网络模型的收敛速度；
从第二层1×1卷积层得到的输出将和第一层3×3卷积层的输出在自适应参数的调节下，进行逐像素相加操作以构成残差结构，其中自适应参数λ1和λ2指在模型训练期间可以自动学习的模型参数，其值的大小根据数据集的特性和模型的结构来确定，在每次迭代中都会被更新和调整，所具有的自适应性使得模型能够更好地适应输入数据并提高预测性能。
随后，图像特征数据输入注意力模块ESA，如图4所示，由于网络中大量使用注意力模块ESA，因此本方案设计时的一个主要目标就是减少模型参数量，这里先通过第一个1×1卷积层，减少输入数据的通道数维度，随后注意力模块ESA使用跳步卷积和最大池化层来减小特征图的大小，并通过一个包含三层3×3卷积层的卷积群来进一步提取图像的深度特征，接着基于插值的上采样以恢复原始特征图的大小，再同第一个卷积层的输出构成残差结构，然后利用最后一层1×1卷积层实现数据通道数的复原，再通过Sigmoid函数生成最终的注意力掩码，该掩码与注意力模块ESA的输入进行逐像素相乘以得到该模块的最终输出。
如图5所示，本方案中，层次特征融合残差块HFFRB由特征融合结构和残差结构构成，层次特征融合残差块HFFRB先通过一个3×3卷积层来实现对输入数据通道数统一化的处理，接着数据进入四个分支结构进行进一步的处理，其最终输出由四个不同分支逐像素相加而成，图中的λ1、λ2、λ3和λ4均为自适应参数：
主分支结构，主要由3个去除注意力模块ESA的自适应残差块ARB串联构成，过程如下：
式中，表示第一层3×3卷积层操作，/>表示第i个去除注意力模块ESA的自适应残差块ARB的映射函数；
分支一结构，通过主分支结构得到的最终输出F23再包含一个注意力模块ESA的注意力分支，过程如下：
F″2＝HESA(F23)#(13)
分支二结构，为第一层3×3卷积层通过跳跃直连得到，与F′1一致；
分支三结构，为具有HFF层次特征融合结构的分支，过程如下：
式中，表示第i个拼接融合模块；
特征融合结构的分支首先对主分支上的特征图F′1和F21进行融合操作，所得到的融合结果继续和主分支的特征图F22继续融合，对F23也进行同上述一样的融合操作，最终得到特征融合结果再通过Overscaling模块进行进一步的学习，过程如下：
式中，HOver(·)表示Overscaling模块的映射函数；
如图6所示，Overscaling模块的基本框架为残差结构，其主分支由2层3×3卷积层、上采样模块、下采样操作和Sigmoid函数串联构成，过程如下：
式中，pixelsh uffle(·)函数主要为上采样模块所包含的亚像素卷积操作，bicubic↓(·)函数为使用双线性插值方法实现的下采样操作，上述放缩操作可以让网络更好地从低分辨率图像中学习到如何生成更加真实和细致的高分辨率图像，再通过Sigmoid函数生成注意力掩码，该掩码与跳跃直连的特征图进行逐像素相乘以得到该模块的最终输出；
基于上述说明和分析，引入自适应参数，最终通过逐像素相加操作得到层次特征融合残差块HFFRB的最终输出，过程如下：
式中，λi为第i个分支的自适应参数，根据实验结果，将HFFRB模块放在第一个ARB和第二个ARB模块之间时，网络的重建效果最优。
基于层次特征融合的矿井图像超分辨率重建系统，该重建系统通过将低分辨率图像ILR输入已训练的重建网络模型对矿井图像进行超分辨率重建，得到重建后的高分辨率矿井图像ISR，重建网络模型包括：浅层特征提取模块、深层特征提取模块以及特征重建模块，在向重建网络模型输入低分辨率图像ILR时，该重建网络模型执行上述的一种基于层次特征融合的矿井图像超分辨率重建方法中的步骤。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.基于层次特征融合的矿井图像超分辨率重建方法，其特征在于，该重建方法通过将低分辨率图像ILR输入已训练的重建网络模型对矿井图像进行超分辨率重建，得到重建后的高分辨率矿井图像ISR，按照图像特征的处理顺序，重建网络模型分为三部分：浅层特征提取模块、深层特征提取模块以及特征重建模块；
重建方法包括以下步骤：
步骤一、浅层特征提取模块对输入重建网络模型的低分辨率图像ILR进行处理，提取其浅层特征；
步骤二、由深层特征提取模块进一步提取图像的深层特征，深层特征提取模块由一个多分支的层次特征融合残差块HFFRB和三个基本的自适应残差块ARB构成，其中，层次特征融合残差块HFFRB中包含三个无注意力模块ESA的自适应残差块ARB；
层次特征融合残差块HFFRB由特征融合结构和残差结构构成，层次特征融合残差块HFFRB先通过一个3×3卷积层来实现对输入数据通道数统一化的处理，接着数据进入四个分支结构进行进一步的处理，其最终输出由四个不同分支逐像素相加而成；
步骤三，根据得到的深层特征进行层次特征融合，并基于层次特征融合利用图像高频信息指导低频信息进行学习和特征融合，提升重建网络模型的学习效率；
步骤四，通过特征重建模块实现高分辨率矿井图像的重建，特征重建模块，由一层3×3卷积层和主要由pixelshuffle函数组成的上采样模块构成，用于将得到的浅层和深层特征进行融合，生成并输出高分辨率矿井图像的重建结果。
2.根据权利要求1所述的基于层次特征融合的矿井图像超分辨率重建方法,其特征在于，浅层特征提取模块由一层3×3卷积层构成，步骤一中，当低分辨率图像ILR以张量的形式输入重建网络模型，由浅层特征提取模块得到浅层特征提取结果：
式中，F0表示浅层特征提取模块的输出，表示卷积核大小为3×3的卷积操作。
3.根据权利要求1所述的基于层次特征融合的矿井图像超分辨率重建方法,其特征在于，步骤二中，在深层特征提取模块中，层次特征融合残差块HFFRB和自适应残差块ARB按照次序排列后依次序对经过浅层特征提取模块处理的图像特征进行深度特征提取，得到深度特征信息，层次特征融合残差块HFFRB排列在第一个自适应残差块ARB后，第二个和第三个自适应残差块ARB排列在层次特征融合残差块HFFRB后，深度特征提取过程如下：
式中，Fi表示第i个模块输出得到的特征图，表示第i个模块的映射函数，其上标表示所对应的模块。
4.根据权利要求3所述的基于层次特征融合的矿井图像超分辨率重建方法,其特征在于，步骤三中，对得到的深度特征信息进行层次特征融合，指定第一个自适应残差块ARB基本模块的输出和层次特征融合残差块HFFRB基本模块的输出进行融合，得到第一阶段的深度特征，指定第二个和第三个自适应残差块ARB基本模块的输出进行融合，得到第二阶段的深度特征，层次特征融合过程如下：
式中，F12和F34分别表示对特征F1和F2、F3和F4进行拼接融合的结果，表示第i个拼接融合模块，其主要包含特征拼接操作和一层1×1卷积层。
5.根据权利要求4所述的基于层次特征融合的矿井图像超分辨率重建方法,其特征在于，利用得到的高频特征F34来指导低频特征F12的学习，同时结合浅层特征通过逐像素相加操作得到深层特征提取模块的输出，过程如下：
F5＝Sigmoid(F34)·F34+F12+F0 (8)
式中，F5表示深层特征提取模块的输出特征，Sigmoid(·)表示Sigmoid函数，·为逐像素相乘操作，+为逐像素相加操作。
6.根据权利要求1所述的基于层次特征融合的矿井图像超分辨率重建方法,其特征在于，自适应残差块ARB由残差结构和注意力模块ESA构成，输出的图像特征数据通过注意力模块ESA得到最终输出：
残差结构包括两层3×3卷积层、两层1×1卷积层和GELU激活函数；
其中，第一层3×3卷积层用于统一数据维度，将模块的输入数据的通道数整合为所设计的通道数，第二层3×3卷积层为分组卷积，用于进一步提取图像深层特征，保证模型的参数量较低；
第一层1×1卷积层的功能为升维，将数据的通道数拓展为原来的4倍，第二层1×1卷积层的功能为降维，将数据的通道数再缩减为原来的数量；
GELU激活函数设计在两层1×1卷积层的中间，用于提高高维数据的计算效率并加快网络模型的收敛速度；
图像特征数据输入注意力模块ESA后，先通过第一个1×1卷积层，减少输入数据的通道数维度，随后注意力模块ESA使用跳步卷积和最大池化层来减小特征图的大小，并通过一个包含三层3×3卷积层的卷积群来进一步提取图像的深度特征，接着基于插值的上采样以恢复原始特征图的大小，再同第一个卷积层的输出构成残差结构，然后利用最后一层1×1卷积层实现数据通道数的复原，再通过Sigmoid函数生成最终的注意力掩码，该掩码与注意力模块ESA的输入进行逐像素相乘以得到该模块的最终输出。
7.根据权利要求1所述的基于层次特征融合的矿井图像超分辨率重建方法,其特征在于，四个分支结构包括主分支结构、分支一结构、分支二结构和分支三结构，其中；
主分支结构，主要由3个去除注意力模块ESA的自适应残差块ARB串联构成，过程如下：
式中，表示第一层3×3卷积层操作，/>表示第i个去除注意力模块ESA的自适应残差块ARB的映射函数；
分支一结构，通过主分支结构得到的最终输出F23再包含一个注意力模块ESA的注意力分支，过程如下：
F″2＝HESA(F23) (13)
分支二结构，为第一层3×3卷积层通过跳跃直连得到，与F′1一致；
分支三结构，为具有HFF层次特征融合结构的分支，过程如下：
式中，表示第i个拼接融合模块；
特征融合结构的分支首先对主分支上的特征图F′1和F21进行融合操作，所得到的融合结果继续和主分支的特征图F22继续融合，对F23也进行同上述一样的融合操作，最终得到特征融合结果再通过Overscaling模块进行进一步的学习，过程如下：
式中，HOver(·)表示Overscal ing模块的映射函数；
Overscaling模块的基本框架为残差结构，其主分支由2层3×3卷积层、上采样模块、下采样操作和Sigmoid函数串联构成，过程如下：
式中，pixelshuffle(·)函数主要为上采样模块所包含的亚像素卷积操作，bicubic↓(·)函数为使用双线性插值方法实现的下采样操作；
最终通过逐像素相加操作得到HFFRB模块的最终输出，过程如下：
式中，λi为第i个分支的自适应参数。
8.根据权利要求1所述的基于层次特征融合的矿井图像超分辨率重建方法,其特征在于，步骤四中，上采样模块先利用3×3卷积层将特征图的通道数拓展为原先的r2倍，再利用pixelshuffle函数的“周期洗牌”操作将H×W×r2Cout大小的特征图转换为rH×rW×Cout大小，基于输出图像为RGB图像，将最终的特征图像输出通道数设置为3，最终可获得超分辨率重建后的图像ISR，过程如下：
式中，pixelshuffle(·)表示上采样模块所学习到的映射函数。
9.根据权利要求8所述的基于层次特征融合的矿井图像超分辨率重建方法,其特征在于，通过对已搭建的重建网络模型进行训练优化以实现最终的图像重建工作，待处理的低分辨率图像ILR通过已搭建网络模型获得重建后的高分辨率图像ISR，将ISR与原始的高分辨率图像IHR进行比较后，计算其损失函数，再通过梯度更新来优化网络的参数，使得模型重建后的图像进一步接近原始高分辨率图像，其中，所使用的损失函数为L1损失函数，过程如下：
式中，Hθ(·)表示网络模型所学习到的映射函数，可得到ISR＝Hθ(ILR)；θ表示网络模型中涉及到的权重和偏差；L(·)表示最小化ISR和IHR之间差异的L1损失函数；表示使目标函数取最小值时的变量值；n表示数据集的图像数量。
10.基于层次特征融合的矿井图像超分辨率重建系统,其特征在于，该重建系统通过将低分辨率图像ILR输入已训练的重建网络模型对矿井图像进行超分辨率重建，得到重建后的高分辨率矿井图像ISR，重建网络模型包括：浅层特征提取模块、深层特征提取模块以及特征重建模块，在向重建网络模型输入低分辨率图像ILR时，该重建网络模型执行如权利要求1至9中任一项所述的基于层次特征融合的矿井图像超分辨率重建方法中的步骤。
CN202311149731.8A 2023-09-07 2023-09-07 基于层次特征融合的矿井图像超分辨率重建方法及系统 Active CN117114994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311149731.8A CN117114994B (zh) 2023-09-07 2023-09-07 基于层次特征融合的矿井图像超分辨率重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311149731.8A CN117114994B (zh) 2023-09-07 2023-09-07 基于层次特征融合的矿井图像超分辨率重建方法及系统

Publications (2)

Publication Number Publication Date
CN117114994A CN117114994A (zh) 2023-11-24
CN117114994B true CN117114994B (zh) 2024-02-20

Family

ID=88805436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311149731.8A Active CN117114994B (zh) 2023-09-07 2023-09-07 基于层次特征融合的矿井图像超分辨率重建方法及系统

Country Status (1)

Country Link
CN (1) CN117114994B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135361B (zh) * 2024-02-21 2024-09-17 国家海洋环境预报中心 基于地形数据约束的风速生成方法、系统、设备及介质
CN118485591A (zh) * 2024-05-23 2024-08-13 山东理工大学 一种基于多尺度网络的医学dr图像增强算法
CN118570817A (zh) * 2024-08-01 2024-08-30 苏州艾隆科技股份有限公司 处方图片识别方法、系统、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN113962861A (zh) * 2021-10-29 2022-01-21 中国联合网络通信集团有限公司 图像重建方法、装置、电子设备和计算机可读介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021121108A1 (zh) * 2019-12-20 2021-06-24 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN113962861A (zh) * 2021-10-29 2022-01-21 中国联合网络通信集团有限公司 图像重建方法、装置、电子设备和计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合层次特征和注意力机制的轻量化矿井图像超分辨率重建方法;程德强等;仪器仪表学报;第43卷(第08期);全文 *

Also Published As

Publication number Publication date
CN117114994A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN117114994B (zh) 基于层次特征融合的矿井图像超分辨率重建方法及系统
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN106991646B (zh) 一种基于密集连接网络的图像超分辨率方法
CN110599502B (zh) 一种基于深度学习的皮肤病变分割方法
CN113362242B (zh) 基于多特征融合网络的图像修复方法
CN111696033B (zh) 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
CN113706545A (zh) 一种基于双分支神经判别降维的半监督图像分割方法
CN113392711A (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN112598602A (zh) 一种基于掩码的深度学习视频去摩尔纹方法
CN118134952B (zh) 一种基于特征交互的医学图像分割方法
CN115239564B (zh) 一种结合语义信息的矿井图像超分辨率重建方法
CN116958534A (zh) 一种图像处理方法、图像处理模型的训练方法和相关装置
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
CN117830900A (zh) 一种无监督视频对象分割方法
CN117058392A (zh) 一种基于卷积局部增强的多尺度Transformer图像语义分割方法
CN117689592A (zh) 一种基于级联自适应网络的水下图像增强方法
CN109087247A (zh) 一种对立体图像进行超分的方法
CN117522674A (zh) 一种联合局部和全局信息的图像重建系统及方法
CN116152263A (zh) 一种基于cm-mlp网络的医学图像分割方法
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法
Wu et al. Lightweight stepless super-resolution of remote sensing images via saliency-aware dynamic routing strategy
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
CN115705493A (zh) 一种基于多特征注意力神经网络的图像去雾建模方法
CN112215848A (zh) 一种基于空间信息引导的实时语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant