CN112884650B - 一种基于自适应纹理蒸馏的图像混合超分辨率方法 - Google Patents

一种基于自适应纹理蒸馏的图像混合超分辨率方法 Download PDF

Info

Publication number
CN112884650B
CN112884650B CN202110184186.0A CN202110184186A CN112884650B CN 112884650 B CN112884650 B CN 112884650B CN 202110184186 A CN202110184186 A CN 202110184186A CN 112884650 B CN112884650 B CN 112884650B
Authority
CN
China
Prior art keywords
image
texture
resolution
distillation
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110184186.0A
Other languages
English (en)
Other versions
CN112884650A (zh
Inventor
韩镇
刘春雷
温佳兴
胡辉
王中元
涂卫平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110184186.0A priority Critical patent/CN112884650B/zh
Publication of CN112884650A publication Critical patent/CN112884650A/zh
Application granted granted Critical
Publication of CN112884650B publication Critical patent/CN112884650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自适应纹理蒸馏的图像混合超分辨率方法，主要包括以下步骤：构建训练神经网络所需的低/高混合分辨率图像对数据集；构建所需的自适应纹理蒸馏网络；利用所述数据集训练和测试所述自适应纹理蒸馏网络，得到训练后的神经网络模型；利用训练后的网络模型由低混合分辨率图像重建混合超分辨率图像。本发明使用低混合分辨率图像既节省数据量，又能保留更多图像细节；所述自适应纹理蒸馏网络分别处理真假纹理，并采用多个权重加权的方式以充分利用不同层次的特征，使得超分辨率重建图像质量更佳。

Description

一种基于自适应纹理蒸馏的图像混合超分辨率方法
技术领域
本发明属于数字图像技术领域，涉及一种图像超分辨率方法，具体涉及一种基于自适应纹理蒸馏的图像混合超分辨率方法。
背景技术
存储或传输高分辨率的图像需要较大的数据量，可以通过降低图像的分辨率来节约存储空间或传输带宽。但是，大尺度的空间下采样会导致图像损失很多空间细节，不利于超分辨率重建。因此，可以降低图像的混合分辨率以代替单独改变图像的空间分辨率，即通过使用带有灰度量化的小尺度空间下采样代替大尺度的空间下采样，可以保证在相近的数据量下，保留图像更多的空间细节，增强超分辨率重建图像的质量；但是降低图像的混合分辨率引入了假纹理，造成了真假纹理混叠在低混合分辨率图像中。
基于深度卷积神经网络(CNN)的图像超分辨率方法在近几年取得了迅速发展，但是随着模型的加深和参数量的增加限制了图像超分辨率算法的潜在应用。为了降低模型的复杂性，2018年，Ahn等([文献1])提出了共享权重的级联块进行图像超分辨率重建；2019年，Hui等([文献2])提出了信息蒸馏网络，使用较少的参数取得了很好的重建效果；2020年，Chen等([文献3])利用二阶注意力以探索更有力的特征表达方式。
现有基于深度学习的单帧图像超分辨率方法主要是增强低空间分辨率的图像，但是没有考虑到真假纹理混叠的低混合分辨率图像。真纹理需要增强，而假纹理需要平滑和消除。由于纹理增强和纹理平滑是相反的操作，所以不能使用相同的模块。现有的轻量级方法不能很好地增强真假纹理混叠的低混合分辨率图像。
[文献1]Ahn,N.,Kang,B.,and Sohn,K.-A.:‘Fast,accurate,and lightweightsuper-resolution with cascading residual network’,in Editor(Ed.)^(Eds.):‘BookFast,accurate,and lightweight super-resolution with cascading residualnetwork’(2018,edn.),pp.252-268.
[文献2]Hui,Z.,Gao,X.,Yang,Y.,and Wang,X.:‘Lightweight image super-resolution with information multi-distillation network’,in Editor(Ed.)^(Eds.):‘Book Lightweight image super-resolution with information multi-distillation network’(2019,edn.),pp.2024-2032.
[文献3]Chen,Y.,Chen,Y.,Xue,J.-H.,Yang,W.,and Liao,Q.:‘LightweightSingle Image Super-Resolution Through Efficient Second-Order AttentionSpindle Network’,in Editor(Ed.)^(Eds.):‘Book Lightweight Single Image Super-Resolution Through Efficient Second-Order Attention Spindle Network’(IEEE,2020,edn.),pp.1-6.
发明内容
为了解决上述技术问题，本发明提供了一种基于自适应纹理蒸馏的图像混合超分辨率方法。
本发明所采用的技术方案是：一种基于自适应纹理蒸馏的图像混合超分辨率方法，其特征在于包括以下步骤：
步骤1：构建数据集；
将原始高混合分辨率数据集中的图像做数据预处理，降低图像的混合分辨率，构建训练自适应纹理蒸馏网络所需的低/高混合分辨率图像对数据集，包括训练数据和测试数据；其中，低混合分辨率指低空间和低灰度混合分辨率，高混合分辨率指高空间和高灰度混合分辨率；原始高混合分辨率图像记为IHR，对图像IHR空间下采样得到低空间分辨率图像记为IDS，对图像IDS进行灰度量化得到低混合分辨率图像记为IDS+GQ，对图像IDS+GQ进行反灰度量化得到真假纹理混叠的低混合分辨率图像记为ILR，对图像ILR通过网络进行混合超分辨率重建获得的混合超分辨率图像记为ISR；
步骤2：构建自适应纹理蒸馏网络；
所述自适应纹理蒸馏网络包括基础特征提取模块、局部双分支蒸馏模块、权重生成模块和融合重建模块；首先，真假纹理混叠的低混合分辨率图像ILR经过基础特征提取模块得到基础特征；其次，将基础特征分别输入级联的局部双分支蒸馏模块和权重生成模块中，通过将得到的不同层次的真假纹理权重分别加权对应层次上的双分支特征，得到多个层次上局部双分支蒸馏模块的输出特征；最后，通过融合重建模块融合不同层次提取的特征，重建混合超分辨率图像；
所述基础特征提取模块由一个3×3卷积层构成；
所述局部双分支蒸馏模块包括纹理平滑分支模块、纹理增强分支模块和权重加权子模块；所述纹理平滑分支模块由信息蒸馏子模块、通道注意力子模块和一个1×1卷积层级联组成，用来平滑假纹理；所述纹理增强分支模块由信息蒸馏子模块、像素注意力子模块和一个1×1卷积层级联组成，用来增强真纹理；所述权重加权子模块使用权重生成模块产生的假纹理权重，根据真假纹理的互补性生成相应的真纹理权重，再使用两组真假纹理权重分别加权经过蒸馏后的双分支特征，最后与短路连接的特征做逐像素相加，得到局部双分支蒸馏模块的输出特征；
所述权重生成模块由信息蒸馏子模块和两个卷积层级联组成，用于生成针对假纹理的权重；
所述融合重建模块包括特征融合子模块和亚像素卷积层；所述特征融合子模块由一个通道连接层和两个卷积层组成；
构建过程具体包括以下子步骤：
步骤2.1：将步骤1得到的低混合分辨率图像进行反灰度量化得到真假纹理混叠的低混合分辨率图像，进而利用基础特征提取模块得到基础特征；
步骤2.2：将步骤2.1得到的基础特征输入局部双分支蒸馏模块中进行纹理蒸馏，分别对真假纹理进行增强和平滑，得到各自蒸馏后的双分支特征；
步骤2.3：将步骤2.1得到的基础特征输入权重生成模块中，在每个权重生成模块中生成一组假纹理的自适应权重；
步骤2.4：通过权重加权子模块根据步骤2.3得到的假纹理权重，生成相应的真纹理权重，并使用真假纹理权重分别与步骤2.2得到的双分支特征做逐像素乘法，然后与短路连接的特征做加法进行融合，得到进一步的特征；
步骤2.5：将步骤2.4得到的特征输入下一个局部双分支蒸馏模块，将步骤2.3得到的假纹理权重输入下一个权重生成模块中，利用级联的局部双分支蒸馏模块和权重生成模块重复步骤2.2、步骤2.3和步骤2.4，逐步蒸馏细化真假纹理信息，生成不同层次的特征和权重；
步骤2.6：利用特征融合子模块将步骤2.4和步骤2.5得到的不同层次的特征在通道维度融合，再与步骤2.1得到的基础特征做逐像素加法，利用亚像素卷积层恢复与原始高分辨率图像相同的空间分辨率和灰度分辨率，实现图像的混合超分辨率重建；
步骤3：采用所述训练集对所述自适应纹理蒸馏网络进行训练，并使用所述测试集评估模型效果，得到训练后的卷积神经网络模型；
步骤4：利用训练后的卷积神经网络模型，输入低混合分辨率图像，重建混合超分辨率图像。
本发明公开了一种基于自适应纹理蒸馏的图像混合超分辨率方法，主要包括以下步骤：构建训练神经网络所需的低/高混合分辨率图像对数据集；构建所需的自适应纹理蒸馏网络；利用所述数据集训练和测试所述自适应纹理蒸馏网络，得到训练后的神经网络模型；利用训练后的网络模型由低混合分辨率图像重建混合超分辨率图像。本发明使用低混合分辨率图像既节省数据量，又能保留更多图像细节；所述自适应纹理蒸馏网络分别处理真假纹理，并采用多个权重加权的方式以充分利用不同层次的特征，使得超分辨率重建图像质量更佳。
附图说明
图1是本发明实施例的流程图；
图2是本发明实施例的局部双分支蒸馏模块流程图：其中，图2(a)表示整体的局部双分支蒸馏模块流程图，图2(b)表示具体的纹理平滑分支模块流程图，图2(c)表示具体的纹理增强分支模块流程图；
图3是本发明实施例构建的自适应纹理蒸馏网络图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于自适应纹理蒸馏的图像混合超分辨率方法，包括以下步骤：
步骤1：构建数据集；
将原始高混合分辨率数据集中的图像做数据预处理，降低图像的混合分辨率，构建训练自适应纹理蒸馏网络所需的低/高混合分辨率图像对数据集，包括训练数据和测试数据；其中，低混合分辨率指低空间和低灰度混合分辨率，高混合分辨率指高空间和高灰度混合分辨率。
在本实施例中，原始高混合分辨率图像记为IHR，对图像IHR空间下采样得到低空间分辨率图像记为IDS，对图像IDS进行灰度量化得到低混合分辨率图像记为IDS+GQ，对图像IDS+GQ进行反灰度量化得到真假纹理混叠的低混合分辨率图像记为ILR，对图像ILR通过网络进行混合超分辨率重建获得的混合超分辨率图像记为ISR。
在本实施例中，构建低混合分辨率数据集步骤如下：
1)将原始高混合分辨率数据集DIV2K中的图像通过双三次插值进行小尺度的空间下采样，降低图像的空间分辨率，具体利用算式：
IDS＝Down(IHR，i)；
其中，Down(·)表示双三次插值算子，IHR表示原始高混合分辨率图像，IDS表示用采样因子为i＝2的双三次插值算子获得的低空间分辨率图像。
2)将得到的低空间分辨率图像IDS进行灰度量化，减少每个图像通道的灰度级数量，得到低混合分辨率的图像IDS+GQ，具体利用算式：
Figure BDA0002942335660000051
其中，pds表示图像IDs中任一点的像素值，N表示每个通道上要保留的灰度级数，N＝2x，x为[1，8]之间的整数；pds+gq表示经过灰度量化后得到的图像IDS+GQ相应位置的像素值，其取值范围为[0，N-1]；本实施例中N＝32。
3)重复上述操作1-2，构建低混合分辨率图像数据集，包括训练数据和测试数据。
步骤2：构建自适应纹理蒸馏网络；
自适应纹理蒸馏网络包括基础特征提取模块、局部双分支蒸馏模块、权重生成模块和融合重建模块；首先，真假纹理混叠的低混合分辨率图像ILR经过基础特征提取模块得到基础特征；其次，将基础特征分别输入级联的局部双分支蒸馏模块和权重生成模块中，通过将得到的不同层次的真假纹理权重分别加权对应层次上的双分支特征，得到多个层次上局部双分支蒸馏模块的输出特征；最后，通过融合重建模块融合不同层次提取的特征，重建混合超分辨率图像。
基础特征提取模块由一个3×3卷积层构成。
局部双分支蒸馏模块包括纹理平滑分支模块、纹理增强分支模块和权重加权子模块；所述纹理平滑分支模块由信息蒸馏子模块、通道注意力子模块和一个1×1卷积层级联组成，用来平滑假纹理；所述纹理增强分支模块由信息蒸馏子模块、像素注意力子模块和一个1×1卷积层级联组成，用来增强真纹理；所述权重加权子模块使用权重生成模块产生的假纹理权重，根据真假纹理的互补性生成相应的真纹理权重，再使用两组真假纹理权重分别加权经过蒸馏后的双分支特征，最后与短路连接的特征做逐像素相加，得到局部双分支蒸馏模块的输出特征。
权重生成模块由信息蒸馏子模块和两个卷积层级联组成，用于生成针对假纹理的权重。
融合重建模块包括特征融合子模块和亚像素卷积层；所述特征融合子模块由一个通道连接层和两个卷积层组成。
构建过程具体包括以下子步骤：
步骤2.1：将步骤1得到的低混合分辨率图像进行反灰度量化得到真假纹理混叠的低混合分辨率图像，进而利用基础特征提取模块得到基础特征；
在本实施例中：
1)读取低混合分辨率图像IDS+GQ，然后逐像素乘以256/N(N＝32)以恢复正常亮度，得到图像ILR，具体利用算式：
Figure BDA0002942335660000061
其中，pds+gq表示低混合分辨率图像IDS+GQ任一点的像素值，plr表示反灰度量化后真假纹理混叠的低混合分辨率图像ILR对应位置的像素值；
2)使用一个3×3卷积层对图像ILR进行基础特征提取，将像素图转换为特征图，具体利用算式：
F0＝Extr(ILR)；
其中，Extr(·)表示使用一个具有64通道输出的3×3卷积层作为特征提取函数；F0表示基础特征。
步骤2.2：将步骤2.1得到的基础特征输入局部双分支蒸馏模块中进行纹理蒸馏，分别对真假纹理进行增强和平滑，得到各自蒸馏后的双分支特征；
请见图2(a)，在本实施例中，信息蒸馏子模块使用PRM[文献2]。纹理平滑分支模块由PRM、通道注意力子模块和一个1×1卷积层级联组成，用来平滑假纹理。其中，通道注意力子模块由1个全局平均池化层，3个1×1卷积，1个Sigmoid函数的激活层，1个短路连接组成，具体连接方式如图2(b)所示；纹理增强分支模块由PRM、像素注意力子模块和一个1×1卷积层级联组成，用来增强真纹理。其中，像素注意力子模块由1个计算梯度的Sobel算子层，1个全局平均池化层，6个1×1卷积层，1个Sigmoid函数的激活层，1个短路连接组成，具体连接方式如图2(c)所示。该像素注意力子模块一方面使用Sobel算子计算其输入特征的梯度信息，并使用两个卷积层映射梯度信息以提取特征中含有的纹理和结构信息，为特征的各个空间位置赋予权重；另一方面使用全局平均池化层和两个卷积层，为特征的各个通道赋予权重；然后使两种权重相乘得到既包含通道权重信息又包含空间位置权重信息的权重图，再经过1个1×1卷积层和Sigmoid激活层，生成像素注意力以加权输入特征。在上述模块中，除Sigmoid函数之前的卷积层外，每个卷积层后均跟有1个LReLu激活层，具体利用如下算式：
Figure BDA0002942335660000071
Figure BDA0002942335660000072
其中，Fn-1表示第n-1个局部双分支蒸馏模块提取到的特征(当n＞1时)，TSBn(·)表示第n个纹理平滑分支模块(当n＞0时)，TEBn(·)表示第n个纹理增强分支模块(当n＞0时)，Fn_false表示第n个假纹理平滑后的特征(当n＞0时)，Fn_true表示第n个真纹理增强后的特征(当n＞0时)。
步骤2.3：将步骤2.1得到的基础特征输入权重生成模块中，在每个权重生成模块中生成一组假纹理的自适应权重；
在本实施例中，权重生成模块由PRM[文献2]和2个3×3卷积层级联组成。
步骤2.4：通过权重加权子模块根据步骤2.3得到的假纹理权重，生成相应的真纹理权重，并使用真假纹理权重分别与步骤2.2得到的双分支特征做逐像素乘法，然后与短路连接的特征做加法进行融合，得到进一步的特征；
请见图2(a)，在本实施例中，通过权重加权子模块根据步骤2.3得到的假纹理权重，由真假纹理的互补性生成相应的真纹理权重，并使用真假纹理权重分别与步骤2.2得到的双分支特征做逐像素乘法，再与短路连接的特征融合，具体利用算式：
Figure BDA0002942335660000073
其中，Wn-1表示第n-1个权重生成模块生成的权重图(当n＞1时)，WBn(·)表示第n个权重生成模块(当n＞0时)，I表示与Wn-1相同维度大小的全1数组。
步骤2.5：将步骤2.4得到的特征输入下一个局部双分支蒸馏模块，将步骤2.3得到的假纹理权重输入下一个权重生成模块中，利用级联的局部双分支蒸馏模块和权重生成模块重复步骤2.2、步骤2.3和步骤2.4，逐步蒸馏细化真假纹理信息，生成不同层次的特征和权重；
在本实施例中，分别利用6个级联的局部双分支蒸馏模块和权重生成模块逐步蒸馏特征，形成多层次的特征和权重。
步骤2.6：利用特征融合子模块将步骤2.4和步骤2.5得到的不同层次的特征在通道维度融合，再与步骤2.1得到的基础特征做逐像素加法，利用亚像素卷积层恢复与原始高分辨率图像相同的空间分辨率和灰度分辨率，实现图像的混合超分辨率重建；
具体请见图3，在本实施例中，使用特征融合子模块将步骤2.4和步骤2.5得到的不同层次的特征在通道维度进行融合，再与步骤2.1得到的基础特征做逐像素加法，利用一个亚像素卷积层恢复与原始高分辨率图像相同的空间分辨率和灰度分辨率，生成混合超分辨率重建图像ISR。
步骤3：采用训练集对自适应纹理蒸馏网络进行训练，并使用测试集评估模型效果，得到训练后的卷积神经网络模型；
具体请见图3，在本实施例中，使用高混合分辨率图像IHR来约束纹理增强和纹理平滑的过程，生成高质量的混合超分辨率图像ISR，具体利用算式：
Figure BDA0002942335660000081
其中，Loss表示优化的目标方程，ISR表示生成的混合超分辨率图像，M表示图像IHR中的像素个数。
本实施例在训练网络模型时，采用数据增强策略以扩充训练数据集，主要包括水平翻转、上下翻转和旋转90度处理；训练时，通过随机截取
Figure BDA0002942335660000082
大小的ILR图像块作为网络输入图像，并使用高混合分辨率图像IHR中对应位置K×K大小的图像块作为监督图像；测试时，使用整张低混合分辨率图像ILR作为输入，并使用对应的整张高混合分辨率图像IHR作为监督图像。
步骤4：利用训练后的卷积神经网络模型，输入低混合分辨率图像，重建混合超分辨率图像。
本发明构建了一个轻量级的神经网络模型，通过使用较低的图像数据量，实现了高质量的图像超分辨率重建。本发明通过局部双分支蒸馏模块分别处理真假纹理，并利用多个级联的局部双分支蒸馏模块和权重生成模块逐步蒸馏真假纹理信息，最后通过融合不同层次的特征，实现多层次信息的协同表达，得以重建高质量的混合超分辨率图像。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种基于自适应纹理蒸馏的图像混合超分辨率方法，其特征在于，包括以下步骤：
步骤1：构建数据集；
将原始高混合分辨率数据集中的图像做数据预处理，降低图像的混合分辨率，构建训练自适应纹理蒸馏网络所需的低/高混合分辨率图像对数据集，包括训练集和测试集；其中，低混合分辨率指低空间和低灰度混合分辨率，高混合分辨率指高空间和高灰度混合分辨率；原始高混合分辨率图像记为IHR，对图像IHR空间下采样得到低空间分辨率图像记为IDS，对图像IDS进行灰度量化得到低混合分辨率图像记为IDS+GQ，对图像IDS+GQ进行反灰度量化得到真假纹理混叠的低混合分辨率图像记为ILR，对图像ILR通过网络进行混合超分辨率重建获得的混合超分辨率图像记为ISR；
步骤2：构建自适应纹理蒸馏网络；
所述自适应纹理蒸馏网络包括基础特征提取模块、局部双分支蒸馏模块、权重生成模块和融合重建模块；首先，真假纹理混叠的低混合分辨率图像ILR经过基础特征提取模块得到基础特征；其次，将基础特征分别输入级联的局部双分支蒸馏模块和权重生成模块中，通过将得到的不同层次的真假纹理权重分别加权对应层次上的双分支特征，得到多个层次上局部双分支蒸馏模块的输出特征；最后，通过融合重建模块融合不同层次提取的特征，重建混合超分辨率图像；
所述基础特征提取模块由一个3×3卷积层构成；
所述局部双分支蒸馏模块包括纹理平滑分支模块、纹理增强分支模块和权重加权子模块；所述纹理平滑分支模块由信息蒸馏子模块、通道注意力子模块和一个1×1卷积层级联组成，用来平滑假纹理；所述纹理增强分支模块由信息蒸馏子模块、像素注意力子模块和一个1×1卷积层级联组成，用来增强真纹理；所述权重加权子模块使用权重生成模块产生的假纹理权重，根据真假纹理的互补性生成相应的真纹理权重，再使用两组真假纹理权重分别加权经过蒸馏后的双分支特征，最后与短路连接的特征做逐像素相加，得到局部双分支蒸馏模块的输出特征；
所述权重生成模块由信息蒸馏子模块和两个卷积层级联组成，用于生成针对假纹理的权重；
所述融合重建模块包括特征融合子模块和亚像素卷积层；所述特征融合子模块由一个通道连接层和两个卷积层组成；
构建过程具体包括以下子步骤：
步骤2.1：将步骤1得到的低混合分辨率图像进行反灰度量化得到真假纹理混叠的低混合分辨率图像，进而利用基础特征提取模块得到基础特征；
步骤2.2：将步骤2.1得到的基础特征输入局部双分支蒸馏模块中进行纹理蒸馏，分别对真假纹理进行增强和平滑，得到各自蒸馏后的双分支特征；
步骤2.3：将步骤2.1得到的基础特征输入权重生成模块中，在每个权重生成模块中生成一组假纹理的自适应权重；
步骤2.4：通过权重加权子模块根据步骤2.3得到的假纹理权重，生成相应的真纹理权重，并使用真假纹理权重分别与步骤2.2得到的双分支特征做逐像素乘法，然后与短路连接的特征做加法进行融合，得到进一步的特征；
步骤2.5：将步骤2.4得到的特征输入下一个局部双分支蒸馏模块，将步骤2.3得到的假纹理权重输入下一个权重生成模块中，利用级联的局部双分支蒸馏模块和权重生成模块重复步骤2.2、步骤2.3和步骤2.4，逐步蒸馏细化真假纹理信息，生成不同层次的特征和权重；
步骤2.6：利用特征融合子模块将步骤2.4和步骤2.5得到的不同层次的特征在通道维度融合，再与步骤2.1得到的基础特征做逐像素加法，利用亚像素卷积层恢复与原始高分辨率图像相同的空间分辨率和灰度分辨率，实现图像的混合超分辨率重建；
步骤3：采用所述训练集对所述自适应纹理蒸馏网络进行训练，并使用所述测试集评估模型效果，得到训练后的卷积神经网络模型；
步骤4：利用训练后的卷积神经网络模型，输入低混合分辨率图像，重建混合超分辨率图像。
2.根据权利要求1所述的基于自适应纹理蒸馏的图像混合超分辨率方法，其特征在于，步骤1的具体实现包括以下子步骤：
步骤1.1：将原始高混合分辨率数据集中的图像进行小尺度的下采样，降低图像的空间分辨率，获得低空间分辨率图像IDS；
IDS＝Down(IHR，i)；
其中，Down(·)表示空间下采样函数；IHR表示原始高混合分辨率图像；IDS表示用采样因子为i的插值算子获得的低空间分辨率图像；
步骤1.2：将得到的低空间分辨率图像IDS进行灰度量化，减少每个图像通道的灰度级数量，得到低混合分辨率的图像IDS+GQ；
Figure FDA0003674351060000021
其中，pds表示图像IDS中任一点的像素值，N表示每个通道上要保留的灰度级数，N＝2x，x为[1，8]之间的整数；pds+gq表示经过灰度量化后得到的图像IDS+GQ相应位置的像素值，其取值范围为[0，N-1]；
步骤1.3：重复步骤1.1-步骤1.2，构建低混合分辨率图像数据集，包括训练数据和测试数据。
3.根据权利要求1所述的基于自适应纹理蒸馏的图像混合超分辨率方法，其特征在于：步骤2中，所述像素注意力子模块一方面使用Sobel算子计算其输入特征的梯度信息，并使用两个卷积层映射梯度信息以提取特征中含有的纹理和结构信息，为特征的各个空间位置赋予权重；另一方面使用全局平均池化层和两个卷积层，为特征的各个通道赋予权重；然后使两种权重相乘得到既包含通道权重信息又包含空间位置权重信息的权重图，经过1×1卷积层和Sigmoid激活层生成像素注意力以加权输入特征。
4.根据权利要求1所述的基于自适应纹理蒸馏的图像混合超分辨率方法，其特征在于，步骤2.1的具体实现包括以下子步骤：
步骤2.1.1：读取低混合分辨率图像IDS+GQ，逐像素乘以256/N以恢复正常亮度，得到真假纹理混叠的低混合分辨率图像ILR；具体利用算式：
Figure FDA0003674351060000031
其中，pds+gq表示低混合分辨率图像IDS+GQ任一点的像素值，N表示每个通道上要保留的灰度级数，plr表示反灰度量化后真假纹理混叠的低混合分辨率图像ILR对应位置的像素值；
步骤2.1.2：使用基础特征提取模块对图像ILR进行基础特征提取，将像素图转换为特征图；具体利用算式：
F0＝Extr(ILR)；
其中，Extr(·)表示使用一个3×3卷积层的特征提取函数；F0表示基础特征。
5.根据权利要求1所述的基于自适应纹理蒸馏的图像混合超分辨率方法，其特征在于：步骤2.2中，
Figure FDA0003674351060000032
Figure FDA0003674351060000033
其中，F0表示基础特征；当n＞1时，Fn-1表示第n-1个局部双分支蒸馏模块提取到的特征；当n＞0时，TSBn(·)表示第n个纹理平滑分支模块，TEBn(·)表示第n个纹理增强分支模块，Fn_false表示第n个假纹理平滑后的特征，Fn_true表示第n个真纹理增强后的特征。
6.根据权利要求5所述的基于自适应纹理蒸馏的图像混合超分辨率方法，其特征在于，步骤2.4中输出特征Fn为：
Figure FDA0003674351060000041
其中，当n＞1时，Wn-1表示第n-1个权重生成模块生成的权重图；当n＞0时，WBn(·)表示第n个权重生成模块，I表示与Wn-1相同维度大小的全1数组。
7.根据权利要求1所述的基于自适应纹理蒸馏的图像混合超分辨率方法，其特征在于：步骤2.6中，通过将步骤2.4和步骤2.5得到的不同层次的特征经过特征融合子模块对特征进行融合，再与基础特征做逐像素加法，利用亚像素卷积层恢复与原始高分辨率图像相同的空间分辨率和灰度分辨率，生成混合超分辨率重建图像ISR。
8.根据权利要求1所述的基于自适应纹理蒸馏的图像混合超分辨率方法，其特征在于：步骤3中，使用原始高混合分辨率图像IHR来约束真纹理增强和假纹理平滑的过程，生成高质量的混合超分辨率图像ISR；
损失函数为：
Figure FDA0003674351060000042
其中，Loss表示优化的目标方程，ISR表示生成的混合超分辨率图像，M表示图像IHR中的像素个数。
9.根据权利要求1-8任意一项所述的基于自适应纹理蒸馏的图像混合超分辨率方法，其特征在于：步骤3中，训练时通过随机截取
Figure FDA0003674351060000043
大小的ILR图像块作为网络输入图像，并使用高混合分辨率图像IHR中对应位置K×K大小的图像块作为监督图像；其中，K为预设值；测试时使用整张低混合分辨率图像ILR作为输入，并使用对应的整张高混合分辨率图像IHR作为监督图像。
CN202110184186.0A 2021-02-08 2021-02-08 一种基于自适应纹理蒸馏的图像混合超分辨率方法 Active CN112884650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110184186.0A CN112884650B (zh) 2021-02-08 2021-02-08 一种基于自适应纹理蒸馏的图像混合超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110184186.0A CN112884650B (zh) 2021-02-08 2021-02-08 一种基于自适应纹理蒸馏的图像混合超分辨率方法

Publications (2)

Publication Number Publication Date
CN112884650A CN112884650A (zh) 2021-06-01
CN112884650B true CN112884650B (zh) 2022-07-19

Family

ID=76057525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110184186.0A Active CN112884650B (zh) 2021-02-08 2021-02-08 一种基于自适应纹理蒸馏的图像混合超分辨率方法

Country Status (1)

Country Link
CN (1) CN112884650B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763251B (zh) * 2021-09-14 2023-06-16 浙江师范大学 一种图像超分辨率放大模型及其方法
CN116452424B (zh) * 2023-05-19 2023-10-10 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及系统
CN117237190B (zh) * 2023-09-15 2024-03-15 中国矿业大学 用于边缘移动设备的轻量化图像超分辨率重建系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830813B (zh) * 2018-06-12 2021-11-09 福建帝视信息科技有限公司 一种基于知识蒸馏的图像超分辨率增强方法
US11636337B2 (en) * 2019-03-22 2023-04-25 Royal Bank Of Canada System and method for knowledge distillation between neural networks

Also Published As

Publication number Publication date
CN112884650A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112884650B (zh) 一种基于自适应纹理蒸馏的图像混合超分辨率方法
CN109741260B (zh) 一种基于深度反投影网络的高效超分辨率方法
CN108376387B (zh) 基于聚合膨胀卷积网络的图像去模糊方法
CN111784582B (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111598778B (zh) 一种绝缘子图像超分辨率重建方法
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
Li et al. Hst: Hierarchical swin transformer for compressed image super-resolution
CN113052764B (zh) 一种基于残差连接的视频序列超分重建方法
CN112767243B (zh) 一种高光谱图像超分辨率的实现方法及系统
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
Hui et al. Two-stage convolutional network for image super-resolution
CN111861886A (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN114926337A (zh) 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统
Sun et al. ESinGAN: Enhanced single-image GAN using pixel attention mechanism for image super-resolution
CN116091319A (zh) 基于长距离上下文依赖的图像超分辨率重建方法及系统
CN115375540A (zh) 一种基于深度学习算法的太赫兹图像超分辨方法
CN111915492B (zh) 一种基于动态重建的多分支视频超分辨率方法及系统
CN115841523A (zh) 一种基于Raw域的双支路HDR视频重建算法
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant