CN115239564A - 一种结合语义信息的矿井图像超分辨率重建方法 - Google Patents

一种结合语义信息的矿井图像超分辨率重建方法 Download PDF

Info

Publication number
CN115239564A
CN115239564A CN202210992327.6A CN202210992327A CN115239564A CN 115239564 A CN115239564 A CN 115239564A CN 202210992327 A CN202210992327 A CN 202210992327A CN 115239564 A CN115239564 A CN 115239564A
Authority
CN
China
Prior art keywords
network
resolution
convolution
image
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210992327.6A
Other languages
English (en)
Other versions
CN115239564B (zh
Inventor
程德强
王子强
寇旗旗
韩成功
王晓艺
徐飞翔
吕晨
张皓翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202210992327.6A priority Critical patent/CN115239564B/zh
Publication of CN115239564A publication Critical patent/CN115239564A/zh
Application granted granted Critical
Publication of CN115239564B publication Critical patent/CN115239564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种结合语义信息的矿井图像超分辨率重建方法，其主要目的是通过语义分割网络所产生的概率图对超分辨率网络的深层特征提取前的输入进行调整，以此达到提高图像重建质量的结果。该方法主要包括这几部分：1.构建一个较深的超分辨率网络，其结构主要包括：浅层特征提取模块、深层特征提取模块、上采样模块；2.构建一个语义分割网络，用于产生作为深层特征提取模块的部分输入；3.确定损失函数、学习率调整策略。

Description

一种结合语义信息的矿井图像超分辨率重建方法
技术领域
本发明涉及涉及图像重建领域，尤其涉及一种结合语义信息的矿井图像超分辨率重建方法。
背景技术
得益于计算机与网络通信技术的飞速发展，深度学习迸发出强大的生命力，大大促进了各种计算机视觉任务的发展，同时对煤矿行业带来巨大的效益。矿井图像能够直观展现煤矿场景，为矿井监控、行为识别，人员检测等煤矿智能分析提供输入信息，然而受到图像采集设备性能、煤矿恶劣环境以及预算成本的限制，导致所采集到的低分辨率煤矿图像的视觉效果不佳，使得煤矿智能分析的准确度下降。而图像超分辨率技术能够利用低分辨率的特征，图像间的相似性或冗余性等先验知识重建出相应的高分辨率图像。近些年来，卷积神经网络被广泛地应用于图像超分辨率研究中，并取得了优异的效果。图像超分辨率技术的两大评价指标分别是：峰值信噪比（PSNR）和结构相似性（SSIM），相比于前者，后者考虑了人眼的视觉特征，更符合人的主观感觉。目前的超分辨率网络都致力于提升指标参数，但指标的提升并不意味着图像质量的增加。由于图像超分辨率技术的病态问题，指标的提升并不意味着重建出的图像更接近原始真值图像。例如两个不同但相似区域的纹理特征，在重建的过程中可能会被划分为统一区域的特征。因此，如何对纹理特征进行保持，并将同一区域的纹理特征进行约束，使得不同区域的纹理特征不会彼此影响，重建出更高质量且更符合人类感知的图像，成为一个非常有意义的课题。
如何对图像的纹理特征进行保持并划分，是此课题所需要关注的问题。我们注意到，网络的深度很大影响着重建图像的质量。图像超分辨率网络主要包括三个部分：头部的千层特征提取，中间的深层特征提取以及最后尾部的重建模块，先前的工作已经证明了，千层特征保留了更多的纹理细节，深层特征则更多地体现出图像的语义信息。为此提出结合语义分割网络的一种图像超分辨率方法，该方法通过讲原始低分辨率图片送入一个语义分割网络中去，通过将语义分割网络所输出的语义分割概率图和图像超分辨率网络的中间层的输入，一同作为输入，送入深层特征提取层，以此增加图像的纹理细节信息。
现在的存在的问题是：第一，现有的超分辨率网络大多追求指标的提升，并没有注重重建出的图像是否符合人的感知，与真值图像是否接近等；第二，直接加入不变的知识，并不能很大提升网络的性能。
发明内容
为解决上述问题，本发明提供一种结合语义信息的矿井图像超分辨率重建方法，包括有构建超分辨率网络和构建语义分割网络，构建超分辨率网络包括有浅层特征提取、深层特征提取和上采样；
方法步骤如下：
步骤一，浅层特征提取：将3*3的标准卷积的输出结果替换为三个卷积核分别为：3*3、3*1和1*3的卷积之和，此卷积为ACB，将一个ACB作为本网络中的浅层提取模块，从原始低分辨率图像提取出丰富信息的特征图，并将网络中的其他的3*3卷积通过ACB替代；
步骤二，构建语义分割网络，将原始低分辨率图片送入到构建出的语义分割网络中，生成语义分割概率图；
步骤三，深层特征提取：深层特征提取模块采用残差局部特征网络RLFN中的特征提取模块RLFB；
步骤四，上采样：将步骤三得到的丰富纹理和细节信息的特征图，用于图像重建，在上采样部分，使用超分辨率网络中的上采样技术：PixelShuffle方法，将低分辨率的特征图，通过卷积和多通道间的重组得到高分辨率的特征图。
进一步改进在于，所述步骤一公式表达如下：
Figure 740338DEST_PATH_IMAGE001
，
其中
Figure 100002_DEST_PATH_IMAGE002
为一个输入矩阵，
Figure 391899DEST_PATH_IMAGE003
、
Figure 100002_DEST_PATH_IMAGE004
为两个大小相同的2D卷积核；
Figure 109319DEST_PATH_IMAGE005
表示核参数在对应位置的相加操作；
卷积核为3*3的重参数化卷积数学表达式为：
Figure 100002_DEST_PATH_IMAGE006
，
其中
Figure 675167DEST_PATH_IMAGE007
为卷积核为a*b的卷积。
进一步改进在于，所述步骤二语义分割网络采用ESPNet的结构，ESPNet基于ESP模块构成，ESP模块基于卷积分解原理，将一个标准卷积分解为两个步骤：（1）逐点卷积；（2）扩张卷积的空间金字塔；
膨胀卷积的有效空间维数为
Figure 100002_DEST_PATH_IMAGE008
，
Figure 630485DEST_PATH_IMAGE009
，设置
Figure 100002_DEST_PATH_IMAGE010
，则数学表达式为：
Figure 390631DEST_PATH_IMAGE011
，
Figure 100002_DEST_PATH_IMAGE012
其中
Figure 819514DEST_PATH_IMAGE013
表示为卷积核大小为
Figure 100002_DEST_PATH_IMAGE014
的膨胀卷积操作，
Figure 362622DEST_PATH_IMAGE015
为第i个ESP模块的输出，
Figure 100002_DEST_PATH_IMAGE016
为膨胀率为i的膨胀卷积的输出，
Figure 670981DEST_PATH_IMAGE017
为在通道维度上的连接操作；
定义语义分割网络为
Figure 100002_DEST_PATH_IMAGE018
，因此低分辨
Figure 336449DEST_PATH_IMAGE019
率通过语义分割网络输出的概率图为：
Figure 100002_DEST_PATH_IMAGE020
Figure 28461DEST_PATH_IMAGE021
其中
Figure 100002_DEST_PATH_IMAGE022
为低分辨率图像，
Figure 703156DEST_PATH_IMAGE023
为
Figure 100002_DEST_PATH_IMAGE024
所学习的映射函数，
Figure 462427DEST_PATH_IMAGE025
为堆积i个ESP模块所学习到的映射函数，
Figure 100002_DEST_PATH_IMAGE026
为输入经过大小为1*1卷积后的输出，
Figure 829955DEST_PATH_IMAGE027
为语义分割网络的输出。
进一步改进在于，所述步骤二在使用不同膨胀率的核获得的特征映射在拼接之前进行层次化添加去除网格效应。
进一步改进在于，所述步骤三逐级特征细化通过一个浅残差块组成的细化模块对提取的特征进行细化，蒸馏模块使用单个1*1卷积对特征进行提取的RLFB移除了蒸馏模块，将浅层特征提取层的输出作为每个RLFB的一部分输入，与上一个RLFB的输出一同输入到当前的RLFB中，以此来充分利用浅层特征中的纹理和细节信息；
Figure 100002_DEST_PATH_IMAGE028
表示为一个RLFB中的第i个ACB与ReLu层的映射函数，
Figure 9263DEST_PATH_IMAGE029
表示为增强空间注意层的映射函数，
Figure 100002_DEST_PATH_IMAGE030
表示为第i个RLFB所学习到的映射函数，
Figure 956491DEST_PATH_IMAGE031
表示为第i个RLFB的输出；则有：
Figure 100002_DEST_PATH_IMAGE032
，
则深层特征提取模块的输出为：
Figure 36180DEST_PATH_IMAGE033
Figure 100002_DEST_PATH_IMAGE034
Figure 309029DEST_PATH_IMAGE035
Figure 100002_DEST_PATH_IMAGE036
Figure 975634DEST_PATH_IMAGE037
Figure 100002_DEST_PATH_IMAGE038
其中，
Figure 992131DEST_PATH_IMAGE039
为sigmoid函数，
Figure 100002_DEST_PATH_IMAGE040
，
Figure 601361DEST_PATH_IMAGE041
分别代表浅层特征提取模块和深层特征提取模块的输出，
Figure 100002_DEST_PATH_IMAGE042
为第一个RLFB的输入，即加入语义分割概率图的浅层特征，
Figure 310691DEST_PATH_IMAGE043
表示为经过第i个RLFB后网络所学习到的映射函数，
Figure 100002_DEST_PATH_IMAGE044
表示ACB模块所学习到的映射。
进一步改进在于，所述步骤四：特征图的尺寸为
Figure 933433DEST_PATH_IMAGE045
，通过将特征图的长和宽的维度扩大
Figure 100002_DEST_PATH_IMAGE046
倍，变成
Figure 252157DEST_PATH_IMAGE047
，PixelShuffle方法是通过深度为
Figure 100002_DEST_PATH_IMAGE048
的卷积对
Figure 542324DEST_PATH_IMAGE045
的特征图进行卷积操作得到
Figure 16030DEST_PATH_IMAGE049
的特征图，然后通过“周期洗牌”的方式将
Figure 100002_DEST_PATH_IMAGE050
的特征图编排成
Figure 391648DEST_PATH_IMAGE051
的特征图，
周期洗牌操作的过程中像素位置和通道的数学计算方式为：
Figure 100002_DEST_PATH_IMAGE052
其中
Figure 923517DEST_PATH_IMAGE053
指的是通过 PixelShuffle上采样得到的输出特征图中像素点的位置和其所在通道，那么三个变量映射到原图中对应的像素点位置和所在的通道即为
Figure 100002_DEST_PATH_IMAGE054
，
Figure 333770DEST_PATH_IMAGE055
，
Figure 100002_DEST_PATH_IMAGE056
，其中mod为取模操作，
Figure 384902DEST_PATH_IMAGE057
为周期洗牌运算符号。
通过使用PixelShuffle，可以得到重建后的高分辨率图像SR：
Figure 100002_DEST_PATH_IMAGE058
其中，
Figure 247816DEST_PATH_IMAGE059
为PixelShuffle层所学习到的映射函数；
通过上采样模块，得到重建后的高分辨率图像，通过将重建后的图像与真值图像进行比较，计算其损失函数，再通过梯度更新，使得重建后的图像更加接近真值图像。
进一步改进在于，还包括超分辨率网络的模型训练和语义分割网络的模型训练，该两个网络模型训练过程中，给定一个训练数据集
Figure 100002_DEST_PATH_IMAGE060
，采用L1范数的损失函数，L1范数的损失函数的数学表达式为：
Figure 908342DEST_PATH_IMAGE061
，
Figure 100002_DEST_PATH_IMAGE062
，
其中，
Figure 907522DEST_PATH_IMAGE063
，表示m层神经网络的权重和偏差，
Figure 100002_DEST_PATH_IMAGE064
代之整个重建网络的函数表达，低分辨率图像
Figure 863977DEST_PATH_IMAGE065
通过该函数重建为高分辨率图像，
Figure 100002_DEST_PATH_IMAGE066
是用来最小化
Figure 10925DEST_PATH_IMAGE067
和
Figure 100002_DEST_PATH_IMAGE068
之间差异的损失函数，
Figure 489790DEST_PATH_IMAGE069
表示使目标函数取最小值时的变量值；由于L1范数损失函数对数据的波动敏感，可以有效知道模型参数的更新并防止梯度的变化，获得更高质量的重建图像。
本发明的有益效果：本发明通过语义分割网络所产生的概率图对超分辨率网络的深层特征提取前的输入进行调整，以此达到提高图像重建质量的结果。该方法主要包括这几部分：1.构建一个较深的超分辨率网络，其结构主要包括：浅层特征提取模块、深层特征提取模块、上采样模块； 2.构建一个语义分割网络，用于产生作为深层特征提取模块的部分输入； 3.确定损失函数、学习率调整策略。
本发明将语义分割网络引入图像超分辨率网络中去，增加了超分辨率网络的纹理和细节，改善重建出的图片质量，使其更加地符合人眼感知。本发明将浅层特征提取后的输出作为语义分割网络的输入，将网络的输出作为超分辨率网络的中间层输入，语义分割网络跟随超分辨率网络一起进行训练，从而让网络自己学习最好的权重，大幅度提升网络性能。
随着网路的加深，所提取的特征包含的语义信息就更加的丰富，因此，本发明将语义分割网络和超分辨率网络这两个不同的计算机视觉任务进行结合，来改善现今超分辨率网络中普遍存在的缺陷，提升网络的性能。
而如今数据的获得更加的容易，这就使得能够从大数据中自动学习特征的深度学习变得越来越受欢迎。正是由于卷积神经网络能够进行自主学习，找到最适合网络的权重，所以本发明将语义分割网络加入超分辨率网络一起进行训练，相比于单纯加入语义信息，能够大幅度提升超分辨率网络的重建性能。
本发明的网络通过结合语义分割网络，来对超分辨率网络重建出的图像进行矫正，得到更高质量的超分辨率网络。语义分割网络产生概率图，用于对超分辨率中的特征图的纹理和细节信息进行约束，但是由于深层特征图不像浅层特征图那样，包含丰富的纹理和细节信息。所以将浅层提取模块提取出的浅层特征通过残差连接，输入到每个深层特征提取子模块的输入前，与上一个子模块的输出联合浅层特征一起输入到下一个子模块中，以此增加特征图的纹理和细节信息。并通过语义分割概率图对补充的纹理和细节进行约束，保证不同纹理区域的特征不会相互产生影响。
本发明通过添加语义分割网络在超分辨率网络中，而非加入训练好的知识。使得训练过程中，产生概率图的网络可以随着超分辨率网络一起进行训练，这样就保证了网络能够自适应地为图像产生所需要的概率图。
本发明采用重参数化的方法，由于卷积操作具有线性，因此可以将网络中3*3的标准卷积的输出结果替换为三个卷积核分别为：3*3、3*1和1*3的卷积之和（ACB），在不引入额外参数的情况下，和部署模型完全相同的情况下，只需要多训练一会就能得到性能提升。
附图说明
图1是本发明的框架图。
图2是本发明具体实施方式卷积操作示意图。
图3是本发明具体实施方式ESP模块的结构图。
图4是本发明具体实施方式ESP模块构成的ESPNet的结构图。
图5是本发明具体实施方式RLFB和深层特征提取模块的结构图。
图6是本发明具体实施方式输出的特征图。
图7是原网络深层特征提取模块的输出特征图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明作进一步的详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
如图1所示，本实施例提供一种结合语义信息的矿井图像超分辨率重建方法，包括有构建超分辨率网络和构建语义分割网络，构建超分辨率网络包括有浅层特征提取、深层特征提取和上采样；
方法步骤如下：
S1：浅层特征提取
在图像超分辨率网络任务中，浅层提取模块输出的特征包含着丰富的纹理和细节信息。目前主流的超分辨率网络的浅层特征提取模块都是通过一个3*3的标准卷积层来实现，受到重参数化技术的启发，由于卷积操作具有线性，因此可以将3*3的标准卷积的输出结果替换为三个卷积核分别为：3*3、3*1和1*3的卷积之和。这样不仅可以增强卷积操作的特征提取能力，而且在推理阶段等效为一个3*3的标准卷积，没有引入额外的参数；一公式表达如下：
Figure 77897DEST_PATH_IMAGE001
，
其中
Figure 798729DEST_PATH_IMAGE002
为一个输入矩阵，
Figure 105076DEST_PATH_IMAGE003
、
Figure 202345DEST_PATH_IMAGE004
为两个大小相同的2D卷积核；
Figure 910538DEST_PATH_IMAGE005
表示核参数在对应位置的相加操作；
具体卷积操作如图2所示；
卷积核为3*3的重参数化卷积数学表达式为：
Figure 802271DEST_PATH_IMAGE006
，
其中
Figure 94450DEST_PATH_IMAGE007
为卷积核为a*b的卷积。
通过以上的卷积操作，通过重参数化技术可以提升性能而不引入额外的参数。ACNet中将此卷积命名为Asymmetirc Convolution Blocks（ACB）。为此，将一个ACB作为本网络中的浅层提取模块，可以提取出包含更加丰富信息的特征图，并将网络中的其他的3*3卷积通过ACB替代。
：构建语义分割网络
随着网络层数的加深，深层卷积所提取出的特征包含了更多的语义信息，为了弥补超分辨率网络在训练时丢失的纹理细节信息，使得将各个相似但不同的纹理约束到自己的区域当中。通过构建一个语义分割网络，将原始低分辨率图片送入到构建出的语义分割网络中，生成语义分割概率图，这样不仅可以丰富纹理细节，还可以将对纹理区域进行约束。语义分割网络采用ESPNet的结构，ESPNet是一种快速高效的卷积神网络，它在计算、内存和功耗方面都非常得高效，它基于ESP模块构成，ESP模块基于卷积分解原理，将一个标准卷积分解为两个步骤：（1）逐点卷积；（2）扩张卷积的空间金字塔。
ESP模块的结构图如图3所示：
膨胀卷积的有效空间维数为
Figure 995410DEST_PATH_IMAGE008
，
Figure 292530DEST_PATH_IMAGE009
，设置
Figure 355164DEST_PATH_IMAGE010
，则数学表达式为：
Figure 370524DEST_PATH_IMAGE011
，
Figure 75175DEST_PATH_IMAGE012
其中
Figure 492381DEST_PATH_IMAGE013
表示为卷积核大小为
Figure 991496DEST_PATH_IMAGE014
的膨胀卷积操作，
Figure 792355DEST_PATH_IMAGE015
为第i个ESP模块的输出，
Figure 910484DEST_PATH_IMAGE016
为膨胀率为i的膨胀卷积的输出，
Figure 306830DEST_PATH_IMAGE017
为在通道维度上的连接操作；
由于膨胀卷积的缺点：网格效应，在使用不同膨胀率的核获得的特征映射在拼接之前进行层次化添加（图中的HFF），可以有效的去除网格效应。
由ESP模块构成的ESPNet的结构图如图4所示；
为了在不改变网络拓扑结构的情况下构建具有较深计算效率的边缘设备网络，超参数
Figure 100002_DEST_PATH_IMAGE070
用于控制网络的深度，即
Figure 383370DEST_PATH_IMAGE071
为重复添加
Figure 100002_DEST_PATH_IMAGE072
次ESP模块。
定义语义分割网络为
Figure 904481DEST_PATH_IMAGE073
，因此低分辨
Figure 100002_DEST_PATH_IMAGE074
率通过语义分割网络输出的概率图为：
Figure 324836DEST_PATH_IMAGE075
Figure 100002_DEST_PATH_IMAGE076
其中
Figure 247793DEST_PATH_IMAGE077
为低分辨率图像，
Figure 100002_DEST_PATH_IMAGE078
为
Figure 167338DEST_PATH_IMAGE079
所学习的映射函数，
Figure 100002_DEST_PATH_IMAGE080
为堆积i个ESP模块所学习到的映射函数，
Figure 677211DEST_PATH_IMAGE081
为输入经过大小为1*1卷积后的输出，
Figure 100002_DEST_PATH_IMAGE082
为语义分割网络的输出。
：深层特征提取
深层特征提取模块采用残差局部特征网络（RLFN）中的特征提取模块RLFB。RLFN是利用三层卷积层进行残差局部特征学习，简化特征聚合，在模型性能和推理时间之间取得了较好的平衡。RLFB是对残差特征蒸馏模块（RFDB）的改进，RFDB在开始时采用逐级特征细化和蒸馏策略，然后使用1*1卷积进行信道缩减，最后采用增强空间注意（ESA）层和残差连接。逐级特征细化通过一个浅残差块组成的细化模块对提取的特征进行细化，蒸馏模块使用单个1*1卷积对特征进行提取。在实际应用中，通过多次1*1卷积运算实现特征提取，在加上一次级联运算，可以显著减少参数数量，提高恢复性能，但是这种设计严重降低了推理速度。因此改进的RLFB移除了了蒸馏模块，为了更好地利用浅层特征，我们将浅层特征提取层的输出作为每个RLFB的一部分输入，与上一个RLFB的输出一同输入到当前的RLFB中，以此来充分利用浅层特征中的纹理和细节信息。
图5为RLFB和深层特征提取模块的结构图。
Figure 668300DEST_PATH_IMAGE083
表示为一个RLFB中的第i个ACB与ReLu层的映射函数，
Figure 100002_DEST_PATH_IMAGE084
表示为增强空间注意层的映射函数，
Figure 180184DEST_PATH_IMAGE085
表示为第i个RLFB所学习到的映射函数，
Figure 100002_DEST_PATH_IMAGE086
表示为第i个RLFB的输出；则有：
Figure 598527DEST_PATH_IMAGE087
，
则深层特征提取模块的输出为：
Figure 100002_DEST_PATH_IMAGE088
Figure 327187DEST_PATH_IMAGE089
Figure 100002_DEST_PATH_IMAGE090
Figure 121967DEST_PATH_IMAGE091
Figure 100002_DEST_PATH_IMAGE092
Figure 753937DEST_PATH_IMAGE093
其中，
Figure 100002_DEST_PATH_IMAGE094
为sigmoid函数，
Figure 343181DEST_PATH_IMAGE095
，
Figure 100002_DEST_PATH_IMAGE096
分别代表浅层特征提取模块和深层特征提取模块的输出，
Figure 624383DEST_PATH_IMAGE097
为第一个RLFB的输入，即加入语义分割概率图的浅层特征，
Figure 100002_DEST_PATH_IMAGE098
表示为经过第i个RLFB后网络所学习到的映射函数，
Figure 957276DEST_PATH_IMAGE099
表示ACB模块所学习到的映射。
随着网络的加深，卷积操作后的输出包含丰富的语义信息，但是纹理和细节信息严重丢失。而浅层特征包含丰富的纹理和细节，为此将浅层特征提取层的输出通过残差连接，作为一部输入送入每一个深层特征提取子模块中，但仅仅加入纹理和细节信息并不能保证网络重建出的图像，其纹理和细节信息所属的区域与真值图像相符。为此加入语义分割网络用于超分辨率重建，通过将低分辨率图像送入到语义分割网络，得到其对应的语义分割概率图，并将概率图作为输入送入深层特征提取模块，从而保证了重建图像的纹理和细节信息。
：上采样部分
通过加入语义分割概率图，并将其作为部分输入与原图像超分辨率重建网络的输入一起作为输入，通过浅层、深层特征提取，得到含有丰富纹理和细节信息的特征图，用于图像重建。在上采样部分，使用超分辨率网络中常用的上采样技术：PixelShuffle方法。PixelShuffle方法是一种对低分辨率特征图上采样的新思路，其主要功能是将低分辨率的特征图，通过卷积和多通道间的重组得到高分辨率的特征图。特征图的尺寸为
Figure 100002_DEST_PATH_IMAGE100
，通过将特征图的长和宽的维度扩大
Figure 443752DEST_PATH_IMAGE101
倍，变成
Figure 100002_DEST_PATH_IMAGE102
，PixelShuffle方法是通过深度为
Figure 469477DEST_PATH_IMAGE103
的卷积对
Figure 907149DEST_PATH_IMAGE100
的特征图进行卷积操作得到
Figure 100002_DEST_PATH_IMAGE104
的特征图，然后通过“周期洗牌”的方式将
Figure 43732DEST_PATH_IMAGE105
的特征图编排成
Figure 100002_DEST_PATH_IMAGE106
的特征图，
周期洗牌操作的过程中像素位置和通道的数学计算方式为：
Figure 384715DEST_PATH_IMAGE107
其中
Figure 100002_DEST_PATH_IMAGE108
指的是通过 PixelShuffle上采样得到的输出特征图中像素点的位置和其所在通道，那么三个变量映射到原图中对应的像素点位置和所在的通道即为
Figure 581341DEST_PATH_IMAGE109
，
Figure 100002_DEST_PATH_IMAGE110
，
Figure 435203DEST_PATH_IMAGE111
，其中mod为取模操作，
Figure 100002_DEST_PATH_IMAGE112
为周期洗牌运算符号。
通过使用PixelShuffle，可以得到重建后的高分辨率图像SR：
Figure 109898DEST_PATH_IMAGE113
其中，
Figure 100002_DEST_PATH_IMAGE114
为PixelShuffle层所学习到的映射函数；
通过上采样模块，我们可以得到重建后的高分辨率图像，通过将重建后的图像与真值图像进行比较，计算其损失函数，再通过梯度更新，可以使得重建后的图像更加接近真值图像。
上述结束后进行超分辨率网络的模型训练和语义分割网络的模型训练，该两个网络模型训练过程中，网络模型训练过程中，给定一个训练数据集
Figure 570967DEST_PATH_IMAGE115
，采用L1范数的损失函数，L1范数的损失函数的数学表达式为：
Figure 100002_DEST_PATH_IMAGE116
，
Figure 437029DEST_PATH_IMAGE117
，
其中，
Figure 100002_DEST_PATH_IMAGE118
，表示m层神经网络的权重和偏差，
Figure 350759DEST_PATH_IMAGE119
代之整个重建网络的函数表达，低分辨率图像
Figure 100002_DEST_PATH_IMAGE120
通过该函数重建为高分辨率图像，
Figure 563565DEST_PATH_IMAGE121
是用来最小化
Figure 100002_DEST_PATH_IMAGE122
和
Figure 144719DEST_PATH_IMAGE123
之间差异的损失函数，
Figure 100002_DEST_PATH_IMAGE124
表示使目标函数取最小值时的变量值；由于L1范数损失函数对数据的波动敏感，可以有效知道模型参数的更新并防止梯度的变化，获得更高质量的重建图像。
为验证提出创新的可行性，对现有的一个轻量级超分辨率网络进行调整，在预训练好的网络模型中加入一个语义分割网络，从低维特征提取的输出到每个深层特征提取的输入进行残差跳跃连接，来增强特征的高频细节信息。如图6所示，与图7进行对比，对深层特征提取的输出进行特征图可视化可以看到：经过语义分割网络和残差连接，图像特征的高频细节得以增强，并且通过语义分割网络对超分辨率的解空间进行约束，使得图像的高频特征更为准确。

Claims (7)

1.一种结合语义信息的矿井图像超分辨率重建方法，其特征在于，包括有构建超分辨率网络和构建语义分割网络，构建超分辨率网络包括有浅层特征提取、深层特征提取和上采样；
方法步骤如下：
步骤一，浅层特征提取：将3*3的标准卷积的输出结果替换为三个卷积核分别为：3*3、3*1和1*3的卷积之和，此卷积为ACB，将一个ACB作为本网络中的浅层提取模块，从原始低分辨率图像提取出丰富信息的特征图，并将网络中的其他的3*3卷积通过ACB替代；
步骤二，构建语义分割网络，将原始低分辨率图片送入到构建出的语义分割网络中，生成语义分割概率图；
步骤三，深层特征提取：深层特征提取模块采用残差局部特征网络RLFN中的特征提取模块RLFB；
步骤四，上采样：将步骤三得到的丰富纹理和细节信息的特征图，用于图像重建，在上采样部分，使用超分辨率网络中的上采样技术：PixelShuffle方法，将低分辨率的特征图，通过卷积和多通道间的重组得到高分辨率的特征图。
2.如权利要求1所述一种结合语义信息的矿井图像超分辨率重建方法，其特征在于，所述步骤一公式表达如下：
Figure DEST_PATH_IMAGE002
，
其中
Figure DEST_PATH_IMAGE004
为一个输入矩阵，
Figure DEST_PATH_IMAGE006
、
Figure DEST_PATH_IMAGE008
为两个大小相同的2D卷积核；
Figure DEST_PATH_IMAGE010
表示核参数在对应位置的相加操作；
卷积核为3*3的重参数化卷积数学表达式为：
Figure DEST_PATH_IMAGE012
，
其中
Figure DEST_PATH_IMAGE014
为卷积核为a*b的卷积。
3.如权利要求1所述一种结合语义信息的矿井图像超分辨率重建方法，其特征在于，所述步骤二语义分割网络采用ESPNet的结构，ESPNet基于ESP模块构成，ESP模块基于卷积分解原理，将一个标准卷积分解为两个步骤：（1）逐点卷积；（2）扩张卷积的空间金字塔；
膨胀卷积的有效空间维数为
Figure DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE018
，设置
Figure DEST_PATH_IMAGE020
，则数学表达式为：
Figure DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE024
其中
Figure DEST_PATH_IMAGE026
表示为卷积核大小为
Figure DEST_PATH_IMAGE028
的膨胀卷积操作，
Figure DEST_PATH_IMAGE030
为第i个ESP模块的输出，
Figure DEST_PATH_IMAGE032
为膨胀率为i的膨胀卷积的输出，
Figure DEST_PATH_IMAGE034
为在通道维度上的连接操作；
定义语义分割网络为
Figure DEST_PATH_IMAGE036
，因此低分辨
Figure DEST_PATH_IMAGE038
率通过语义分割网络输出的概率图为：
Figure DEST_PATH_IMAGE040
Figure DEST_PATH_IMAGE042
其中
Figure DEST_PATH_IMAGE044
为低分辨率图像，
Figure DEST_PATH_IMAGE046
为
Figure DEST_PATH_IMAGE048
所学习的映射函数，
Figure DEST_PATH_IMAGE050
为堆积i个ESP模块所学习到的映射函数，
Figure DEST_PATH_IMAGE052
为输入经过大小为1*1卷积后的输出，
Figure DEST_PATH_IMAGE054
为语义分割网络的输出。
4.如权利要求3所述一种结合语义信息的矿井图像超分辨率重建方法，其特征在于，所述步骤二在使用不同膨胀率的核获得的特征映射在拼接之前进行层次化添加去除网格效应。
5.如权利要求1所述一种结合语义信息的矿井图像超分辨率重建方法，其特征在于，所述步骤三逐级特征细化通过一个浅残差块组成的细化模块对提取的特征进行细化，蒸馏模块使用单个1*1卷积对特征进行提取的RLFB移除了蒸馏模块，将浅层特征提取层的输出作为每个RLFB的一部分输入，与上一个RLFB的输出一同输入到当前的RLFB中，以此来充分利用浅层特征中的纹理和细节信息；
Figure DEST_PATH_IMAGE056
表示为一个RLFB中的第i个ACB与ReLu层的映射函数，
Figure DEST_PATH_IMAGE058
表示为增强空间注意层的映射函数，
Figure DEST_PATH_IMAGE060
表示为第i个RLFB所学习到的映射函数，
Figure DEST_PATH_IMAGE062
表示为第i个RLFB的输出；则有：
Figure DEST_PATH_IMAGE064
，
则深层特征提取模块的输出为：
Figure DEST_PATH_IMAGE066
Figure DEST_PATH_IMAGE068
Figure DEST_PATH_IMAGE070
Figure DEST_PATH_IMAGE072
Figure DEST_PATH_IMAGE074
Figure DEST_PATH_IMAGE076
其中，
Figure DEST_PATH_IMAGE078
为sigmoid函数，
Figure DEST_PATH_IMAGE080
，
Figure DEST_PATH_IMAGE082
分别代表浅层特征提取模块和深层特征提取模块的输出，
Figure DEST_PATH_IMAGE084
为第一个RLFB的输入，即加入语义分割概率图的浅层特征，
Figure DEST_PATH_IMAGE086
表示为经过第i个RLFB后网络所学习到的映射函数，
Figure DEST_PATH_IMAGE088
表示ACB模块所学习到的映射。
6.如权利要求1所述一种结合语义信息的矿井图像超分辨率重建方法，其特征在于，所述步骤四：特征图的尺寸为
Figure DEST_PATH_IMAGE090
，通过将特征图的长和宽的维度扩大
Figure DEST_PATH_IMAGE092
倍，变成
Figure DEST_PATH_IMAGE094
，PixelShuffle方法是通过深度为
Figure DEST_PATH_IMAGE096
的卷积对
Figure 281096DEST_PATH_IMAGE090
的特征图进行卷积操作得到
Figure DEST_PATH_IMAGE098
的特征图，然后通过“周期洗牌”的方式将
Figure DEST_PATH_IMAGE100
的特征图编排成
Figure DEST_PATH_IMAGE102
的特征图，
周期洗牌操作的过程中像素位置和通道的数学计算方式为：
Figure DEST_PATH_IMAGE104
其中
Figure DEST_PATH_IMAGE106
指的是通过 PixelShuffle上采样得到的输出特征图中像素点的位置和其所在通道，那么三个变量映射到原图中对应的像素点位置和所在的通道即为
Figure DEST_PATH_IMAGE108
，
Figure DEST_PATH_IMAGE110
，
Figure DEST_PATH_IMAGE112
，其中mod为取模操作，
Figure DEST_PATH_IMAGE114
为周期洗牌运算符号；
通过使用PixelShuffle，可以得到重建后的高分辨率图像SR：
Figure DEST_PATH_IMAGE116
其中，
Figure DEST_PATH_IMAGE118
为PixelShuffle层所学习到的映射函数；
通过上采样模块，得到重建后的高分辨率图像，通过将重建后的图像与真值图像进行比较，计算其损失函数，再通过梯度更新，使得重建后的图像更加接近真值图像。
7.如权利要求1-6任意一项所述一种结合语义信息的矿井图像超分辨率重建方法，其特征在于，还包括超分辨率网络的模型训练和语义分割网络的模型训练，该两个网络模型训练过程中，给定一个训练数据集
Figure DEST_PATH_IMAGE120
，采用L1范数的损失函数，L1范数的损失函数的数学表达式为：
Figure DEST_PATH_IMAGE122
，
Figure DEST_PATH_IMAGE124
，
其中，
Figure DEST_PATH_IMAGE126
，表示m层神经网络的权重和偏差，
Figure DEST_PATH_IMAGE128
代之整个重建网络的函数表达，低分辨率图像
Figure DEST_PATH_IMAGE130
通过该函数重建为高分辨率图像，
Figure DEST_PATH_IMAGE132
是用来最小化
Figure DEST_PATH_IMAGE134
和
Figure DEST_PATH_IMAGE136
之间差异的损失函数，
Figure DEST_PATH_IMAGE138
表示使目标函数取最小值时的变量值；由于L1范数损失函数对数据的波动敏感，可以有效知道模型参数的更新并防止梯度的变化，获得更高质量的重建图像。
CN202210992327.6A 2022-08-18 2022-08-18 一种结合语义信息的矿井图像超分辨率重建方法 Active CN115239564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210992327.6A CN115239564B (zh) 2022-08-18 2022-08-18 一种结合语义信息的矿井图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210992327.6A CN115239564B (zh) 2022-08-18 2022-08-18 一种结合语义信息的矿井图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN115239564A true CN115239564A (zh) 2022-10-25
CN115239564B CN115239564B (zh) 2023-06-16

Family

ID=83678916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210992327.6A Active CN115239564B (zh) 2022-08-18 2022-08-18 一种结合语义信息的矿井图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115239564B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810139A (zh) * 2022-12-16 2023-03-17 西北民族大学 一种spect图像的目标区域识别方法及系统
CN117078516A (zh) * 2023-08-11 2023-11-17 济宁安泰矿山设备制造有限公司 基于残差混合注意力的矿井图像超分辨率重建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276389A (zh) * 2019-06-14 2019-09-24 中国矿业大学 一种基于边缘修正的矿井移动巡检图像重建方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113298718A (zh) * 2021-06-22 2021-08-24 云南大学 一种单幅图像超分辨率重建方法及系统
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN113657388A (zh) * 2021-07-09 2021-11-16 北京科技大学 一种融合图像超分辨率重建的图像语义分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276389A (zh) * 2019-06-14 2019-09-24 中国矿业大学 一种基于边缘修正的矿井移动巡检图像重建方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113298718A (zh) * 2021-06-22 2021-08-24 云南大学 一种单幅图像超分辨率重建方法及系统
CN113657388A (zh) * 2021-07-09 2021-11-16 北京科技大学 一种融合图像超分辨率重建的图像语义分割方法
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810139A (zh) * 2022-12-16 2023-03-17 西北民族大学 一种spect图像的目标区域识别方法及系统
CN115810139B (zh) * 2022-12-16 2023-09-01 西北民族大学 一种spect图像的目标区域识别方法及系统
CN117078516A (zh) * 2023-08-11 2023-11-17 济宁安泰矿山设备制造有限公司 基于残差混合注意力的矿井图像超分辨率重建方法
CN117078516B (zh) * 2023-08-11 2024-03-12 济宁安泰矿山设备制造有限公司 基于残差混合注意力的矿井图像超分辨率重建方法

Also Published As

Publication number Publication date
CN115239564B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
CN115239564A (zh) 一种结合语义信息的矿井图像超分辨率重建方法
CN113313644B (zh) 一种基于残差双注意力网络的水下图像增强方法
CN112183637A (zh) 一种基于神经网络的单光源场景光照重渲染方法及系统
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN116958534A (zh) 一种图像处理方法、图像处理模型的训练方法和相关装置
CN114693929A (zh) 一种rgb-d双模态特征融合的语义分割方法
CN115829876A (zh) 一种基于交叉注意力机制的真实退化图像盲修复方法
CN115082928A (zh) 面向复杂场景的不对称双分支实时语义分割网络的方法
CN112906549B (zh) 一种基于时空胶囊网络的视频行为检测方法
CN113850721A (zh) 单幅图像超分辨率重建方法、装置、设备及可读存储介质
CN113362239A (zh) 一种基于特征交互的深度学习图像修复方法
Yu et al. MagConv: Mask-guided convolution for image inpainting
CN116168152A (zh) 人脸图像生成方法、电子设备及计算机可读存储介质
CN115170921A (zh) 一种基于双边网格学习和边缘损失的双目立体匹配方法
CN112215848B (zh) 一种基于空间信息引导的实时语义分割方法
CN114331931A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
CN114494284A (zh) 一种基于显式监督区域关系的场景解析模型及方法
Yu et al. A review of single image super-resolution reconstruction based on deep learning
CN112529064A (zh) 一种高效的实时语义分割方法
CN117114994B (zh) 基于层次特征融合的矿井图像超分辨率重建方法及系统
Li et al. Deep Feature Aggregation for Lightweight Single Image Super-Resolution
Li et al. Efficient Image Super-Resolution with Feature Interaction Weighted Hybrid Network
CN116596779B (zh) 基于Transformer的Raw视频去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant