CN113240580A - 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 - Google Patents

一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 Download PDF

Info

Publication number
CN113240580A
CN113240580A CN202110380519.7A CN202110380519A CN113240580A CN 113240580 A CN113240580 A CN 113240580A CN 202110380519 A CN202110380519 A CN 202110380519A CN 113240580 A CN113240580 A CN 113240580A
Authority
CN
China
Prior art keywords
super
resolution image
network
resolution
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110380519.7A
Other languages
English (en)
Other versions
CN113240580B (zh
Inventor
李展
钟子意
陆晋晖
陈彦全
曾健梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202110380519.7A priority Critical patent/CN113240580B/zh
Publication of CN113240580A publication Critical patent/CN113240580A/zh
Application granted granted Critical
Publication of CN113240580B publication Critical patent/CN113240580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法，该方法步骤包括：教师网络预处理；数据集预处理生成低分辨率图像；将低分辨率图像输入构建的学生网络中，输出学生网络重建的超分辨率图像；将低分辨率图像输入到多个教师网络中用于得到重建的超分辨率图像组；将学生网络重建的超分辨率图与教师网络重建的超分辨率图像组分别进行L1损失和感知损失计算，通过反向传播更新训练得到最终的学生网络模型；将低分辨率图片输入最终的网络模型，输出超分辨率图像。本发明的超分辨率训练方式减少了参数量，获得与成对数据训练出来的全监督教师网络可比的指标和视觉效果，同时模型大小得到了有效减少，与传统训练方式相比有明显提升。

Description

一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
技术领域
本发明涉及图像超分辨率重建技术领域，具体涉及一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法。
背景技术
超分辨率重建作为第二代图像恢复技术，主要是将低分辨率图像转换为高分辨率的清晰图像。基于学习的超分辨率方法主要分为两大类：面向重建图像保真度的方法和基于感知质量的方法。前者是指导下参考超分辨率重建图像与原始图像之间的质量评估，目标是产生高的结果客观指标如峰值信噪比(PSNR)和结构相似度指数(SSIM)来保证与原图更高的相似度，但视觉感知通常较差，主要表现为过于平滑边缘。相比之下，后者旨在重建高频特征，丰富细节，增强视觉质量。在最近的研究中，基于生成对抗网络(GANs)的纹理生成方法生成纹理的能力强大。然而，基于生成对抗网络的模型在恢复图像的细节时，极有可能在输出中产生虚假的纹理。此外，基于生成对抗网络的模型大多由生成器和判别器组成，计算成本高，网络结构复杂。大型网络的模型较大，需要训练更多的网络参数量，也不利于在其他平台上部署。
超分辨率重建具有不适定性的特点，即输入低分辨率图像可以对应多个高分辨率原图，因此是一个具有挑战性的病态问题。同时，在传统超分辨率重建神经网络的训练中，训练所需的高低分辨率成对图像集，往往通过高分辨率图像双三次插值下采样得到低分辨率图像构成。这种下采样方式并不能完全反映真实的图像退化情况，因此基于这种训练得到的神经网络在真实世界图像重建任务上往往表现较差。同时，传统训练方式都是采用的单维度多损失函数的约束方式，即只使用了成对数据集，导致高分辨率图像到低分辨率图像的求解空间过大，忽略了多维度数据集对于约束求解空间的作用，网络学习困难。为了丰富细节纹理，往往是通过加深网络，添加密集连接等方式，在拥有良好视觉的效果下却计算量庞大，极大得消耗了资源。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法，利用知识蒸馏对于特征提取的优越性，设计了一种全新的训练模式：由网络内部通过通道分割来提取更细粒度的特征进行内部知识蒸馏，同时利用网络外部的多个不同教师网络，进行多监督的外部知识蒸馏。在两者共同作用下，有效减少了参数量和推断时间，提升了图像的感知质量和视觉效果，并摆脱了传统超分辨率网络训练时需要成对数据集的限制，重建了相对于原始方式训练的网络更丰富的纹理信息，使得超分辨率图像具有更好的视觉效果，本发明将教师学生网络的知识蒸馏以及通过通道分割不断提取特征的网络结构内部的知识蒸馏进行结合，提出的多教师网络监督的学习方法可以用于训练各种超分辨率神经网络，以提高网络性能。
本发明的第二目的在于提供一种基于多维度知识蒸馏的轻量级图像超分辨率重建系统。
本发明的第三目的在于提供一种存储介质。
本发明的第四目的在于提供一种计算设备。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法，包括下述步骤：
教师网络预处理；
数据集预处理：将数据集中低分辨率图片进行数据增强、转换格式并随机裁剪，生成低分辨率图像训练集；
构建学生网络，将所述低分辨率图像训练集输入所述学生网络中，输出学生网络重建的超分辨率图像；
将所述低分辨率图像训练集输入多个教师网络中，输出重建的超分辨率图像组，所述超分辨率图像组包括指标性教师超分辨率图像和感知性教师超分辨率图像；
将学生网络重建的超分辨率图像与指标性教师超分辨率图像进行像素级比对，计算L1损失；
将学生网络重建的超分辨率图像与感知性教师超分辨率图像分别通过VGG19网络后得到的特征图进行像素级比对，计算感知损失；
将感知损失和L1损失按比例计算出总损失，总损失作为网络训练误差，更新迭代训练后得到最终的学生网络模型；
将低分辨率图像输入到训练后的学生网络模型，输出最终重建的超分辨率图像。
作为优选的技术方案，所述教师网络包括；残差特征蒸馏网络和边缘增强超分网络。
作为优选的技术方案，所述构建学生网络，所述学生网络采用渐进式的并发卷积网络结构，通过卷积的形式，控制特征图的输入输出通道数进行通道分割实现知识蒸馏的操作。
作为优选的技术方案，所述将所述低分辨率图像训练集输入所述学生网络中，所述低分辨率图像训练集输入到第一卷积层提取低分辨率图像的粗特征，卷积后经过多个残差特征蒸馏块提取低分辨率图像的细粒度级别的特征，各个残差特征蒸馏块提取后的特征经过第二卷积层整合及第三卷积层平滑特征；
平滑后细粒度级别的特征与低分辨率图像的粗特征通过第四卷积层整合，并经过亚像素卷积放大图像，输出学生网络重建的超分辨率图像。
作为优选的技术方案，将感知损失和L1损失按比例计算出总损失，具体表示为：
Ltotal＝α1L1+α2Lp
Figure BDA0003012746240000041
Figure BDA0003012746240000042
其中，α1和α2表示教师网络的损失权重，L1表示L1损失，Lp表示感知损失，I为低分辨率图像，Y为与I对应的高分辨率图像，f(.)为生成模型，g(.)为VGG19神经网络模型，W、H和C分别为低分辨率图像I和Y的宽、高和通道数。
为了达到上述第二目的，本发明采用以下技术方案：
一种基于多维度知识蒸馏的轻量级图像超分辨率重建系统，包括：教师网络加载模块、数据集预处理模块、学生网络构建模块、网络模型训练模块和重建模块；
所述教师网络加载模块用于对教师网络进行预处理及加载；
所述数据集预处理模块用于进行数据集预处理，将数据集中低分辨率图片进行数据增强、转换格式并随机裁剪，生成低分辨率图像训练集；
所述学生网络构建模块用于构建学生网络，将所述低分辨率图像训练集输入所述学生网络中，输出学生网络重建的超分辨率图像；
所述网络模型训练模块用于训练学生网络模型，将低分辨率图像输入到多个教师网络中，输出重建的超分辨率图像组，所述超分辨率图像组包括指标性教师超分辨率图像和感知性教师超分辨率图像；
将学生网络重建的超分辨率图像与指标性教师超分辨率图像进行像素级比对，计算L1损失；
将学生网络重建的超分辨率图像与感知性教师超分辨率图像分别通过VGG19网络后得到的特征图进行像素级比对，计算感知损失；
将感知损失和L1损失按比例计算出总损失，总损失作为网络训练误差，更新迭代训练后得到最终的学生网络模型；
所述重建模块用于将低分辨率图像输入到训练后的学生网络模型，输出最终重建的超分辨率图像。
作为优选的技术方案，所述学生网络包括：特征提取部分、特征蒸馏部分、特征融合部分和图像重建部分；
所述特征提取部分设有第一卷积层，用于提取低分辨率图像的粗特征；
所述特征蒸馏部分设有多个残差特征蒸馏块，用于提取低分辨率图像的细粒度级别的特征；
所述特征融合部分设有拼接层、第二卷积层和第三卷积层，所述拼接层用于拼接提取到的特征，所述第二卷积层用于特征整合，所述第三卷积层用于平滑特征；
所述图像重建部分设有第四卷积层和亚像素卷积层，所述第四卷积层用于整合平滑后细粒度级别的特征与低分辨率图像的粗特征，所述亚像素卷积层用于放大整合后的图像，输出学生网络重建的超分辨率图像。
作为优选的技术方案，所述残差特征蒸馏块包括并行的左分支卷积层和右分支浅层残差块，拼接层和增强空间注意力模块；
所述左分支卷积层设有一层卷积层，卷积后的特征图连接到最后的拼接层；
所述右分支浅层残差块由一层卷积层和恒等连接组成，所述恒等连接用于将卷积前后的特征图进行结合，右分支浅层残差块以递归的形式分化为左分支卷积层和右分支浅层残差块，将之前左分支浅层残差块保留的特征图与最后知识蒸馏得到的特征图通过拼接层进行拼接；
所述拼接层通过concat函数将特征图按照在通道维度上进行拼接，并通过卷积层融合特征，通过增强空间注意力模块增强特征。
为了达到上述第三目的，本发明采用以下技术方案：
一种存储介质，存储有程序，所述程序被处理器执行时实现如上述基于多维度知识蒸馏的轻量级图像超分辨率重建方法。
为了达到上述第四目的，本发明采用以下技术方案：
一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述基于多维度知识蒸馏的轻量级图像超分辨率重建方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明结合网络结构中信息蒸馏和残差连接的优势和训练方式中多教师网络对不同维度特征的重建的优势，设计出成套多教师训练学生的多重知识迁移的轻量级图像超分辨率网络，通过卷积层实现通道分割的效果，一部分通道的特征图以粗特征的形式，而另一部分分割通道的特征图通过卷积提取更细粒度级别的图像特征，同时运用残差连接将提取前后的特征图进行结合；在此基础上对特征图进行以递归的形式不断进行分割，提取特征，残差卷积，充分提取图像特征，达到良好的重建效果。
(2)比起单教师学生网络，本发明的多教师网络的优势在于其不同教师网络所重建出来的超分辨率具有不同的特点，可以较好的弥补单一教师网络只能使学生网络重建的图像趋向于一种趋势而隐含的缺陷，例如一些网络指标性较好但是视觉效果较差，一些网络视觉效果好但是纹理不真实同时客观指标欠佳；
同时，由于教师网络通常模型参数量较大，因此通过一个轻量级的学生网络学习教师网络所重建的图像使得学生网络在参数量小的前提下达到参数量大的教师网络的重建效果，使其更适用于有计算时间要求和存储资源有限的设备。
附图说明
图1为本实施例基于多维度知识蒸馏的轻量级图像超分辨率重建方法的流程示意图；
图2为本实施例残差蒸馏网络的网络结构示意图；
图3为本实施例残差特征蒸馏网络中残差特征蒸馏块的结构示意图；
图4为本实施例残差特征蒸馏网络中浅层残差块的结构示意图；
图5为本实施例残差特征蒸馏网络中增强型空间注意力模块的结构示意图；
图6为本实施例多维度知识蒸馏的轻量级图像超分辨率重建方法的网络训练流程图；
图7为本实施例测试图像的验证结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法，包括下述步骤：
S1：教师网络预处理：对于现有的网络，如果有提供的已训练好的网络模型，则直接进行加载，而对于未公开网络模型的则先进行预训练，教师网络的训练过程参考其原本训练方式，获得训练好的网络模型并保存，再进行加载。
在本实施例中，采用的教师网络为残差特征蒸馏网络RFDN以及边缘增强超分网络Edge-SRN。
S2：数据集预处理：将数据集中的低分辨率图片进行数据增强，进行格式转换及灰度化处理，并进行随机裁剪，处理后的低分辨率图用于监督网络学习；
在本实施例中，使用公开数据集DIV2K，公开数据集包括800张RGB三通道彩色图片用于监督网络学习；
在本实施例中，通过以下方式对数据进行增强：
对数据集的图片进行格式转换并灰度化处理，在灰度图像上随机选取N个左上角起始坐标点，裁剪出N张长、宽均为原图设定缩小尺寸比例的子样本图像，同时采用已公开的作为基准的测试集图像作为验证集，用于观察网络的学习情况。
S3：构建学生网络，将低分辨率图像输入到学生网络中，输出学生网络重建的高分辨率图；
把预测密度图与真实密度图做欧氏距离对比，通过反向传播算法更新网络参数，训练得到最终的学生网络模型；
学生网络为渐进式的并发卷积网络结构，通过卷积的形式，控制特征图的输入输出通道数进行通道分割实现知识蒸馏的操作，一部分通道的特征图保留，用于最后的结合，其余部分通道的特征图通过卷积层提取更细粒度级别的特征，并将提取前后的特征图进行残差连接融合，融合后的特征图则继续通过卷积网络来进行通道分割，进行若干次知识蒸馏后，将所有保留的特征图和最终提取出来的特征图进行concat连接结合。
如图2所示，本实施例的低分辨率图像首先输入到一个卷积核大小为3×3的卷积层来提取低分辨率图像的粗特征。卷积后紧接着4个残差特征蒸馏块用于提取低分辨率图像的更细粒度级别的特征，各个残差特征蒸馏块提取完后的特征采用卷积核大小为1×1的卷积层来整合，并由一个3×3的卷积层来平滑特征。如图3、图4和图5所示，残差特征蒸馏块通过通道分割的操作来提取特征图里更细粒度级别的特征，并利用了浅层残差块中残差连接来提取特征，并结合增强性空间注意力模块来提取空间关联性较强的特征部分。
平滑后的细特征与第一个卷积层提取的粗特征再通过一个3×3的卷积层来整合，并在最后通过一个亚像素卷积来放大图像最终得到要求的超分辨率图像。
S4：在步骤S3构建学生网络的过程之后，低分辨率图像同时也将输入到多位教师网络，最终输出教师网络重建的超分辨率图像组；
将低分辨率图像输入到不同的教师网络中会得到不同的效果，PSNR代表峰值信噪比，越高代表图像质量失真越小，SSIM代表结构相似性，越高代表图像与原图相似度越高，PI代表感知指数，越低表示图像视觉效果越好。指标性教师网络在PSNR和SSIM指标上均优于感知性教师网络，但感知性教师网络在视觉效果以及PI指标上更优。
S5：如图6所示，神经网络的训练过程为：首先低分辨率图像通过学生网络得到学生超分辨率图像，同时低分辨率图像通过已加载好的教师网络得到教师超分辨率图像组，包括指标性教师超分辨率图像和感知性教师超分辨率图像。将学生超分辨率图像与指标性教师超分辨率图像进行像素级比对，计算L1损失，将学生超分辨率图像与感知性教师超分辨率图像同时通过VGG19得到第5个池化层之前的第4个卷积层的特征图，两张特征图进行像素级比对计算感知损失。将感知损失和L1损失按一定比例计算出总损失，总损失作为网络训练误差来反向传播给学生网络来进行学生网络参数的更新。基于深度学习开源框架进行训练，使用了Adam优化器，学习率设置为2×10-4，每200个训练轮次衰减为当前的0.5倍。损失函数使用L1损失和感知损失结合的总损失；将得出的总损失作为网络训练的误差，通过反向传播和梯度下降更新网络模型的参数，在本实施例中，对于卷积层的参数wi和偏差bi每次迭代的更新公式如下，Ltotal为总学习损失：
Figure BDA0003012746240000101
Figure BDA0003012746240000102
在本实施例中，Ltotal具体的公式为：
Ltotal＝α1L1+α2Lp
其中，α1和α2表示教师网络的损失权重，均为0.5，L1表示L1损失，Lp表示感知损失；
采用的最小绝对值误差损失(L1损失)为：
Figure BDA0003012746240000103
其中，I为低分辨率图像，Y为与I对应的高分辨率图像，f(.)为生成模型，W、H和C分别为低分辨率图像I和Y的宽、高和通道数。
采用的感知损失(Lp损失)为：
Figure BDA0003012746240000104
其中，I为低分辨率图像，Y为与I对应的高分辨率图像，f(.)为生成模型，g(.)为VGG19神经网络模型，W、H和C分别为图像I和Y的宽、高和通道数。
在训练参数配置上，设置了500个训练轮次，并将batchsize(每个轮次训练的图像数量)设置为16，输入低分辨率图像尺寸为192x192。Ltotal中的LI损失的系数α＝0.5，Lp损失的系数β＝0.5；每1000次迭代次数为1次训练轮次。并且在每100个训练轮次中，将学生网络模型在验证集上得到的峰值信噪比(PSNR)和结构相似性(SSIM)用于观测模型训练情况，并保存当轮训练的模型。
S6：将低分辨率图像输入训练后的学生网络中，输出即为最终重建的超分辨率图像。如图7所示，通过测试图像验证本实施例的多维度知识蒸馏的轻量级图像超分辨率重建方法的视觉效果；
如下表1可知，本发明通过多维度知识蒸馏的优越性，在相对于教师网络的基础上减少了参数量和模型推断时间，使其更适用于有时间要求的计算平台，有利于在其他存储资源有限的设备上部署。并且在保证原本网络的重建保真效果的情况下，充分学习了感知性教师网络，极大地提高了感知质量。
表1网络的重建质量在测试集评估表
Figure BDA0003012746240000111
如下表2所示，本发明提出的由教师网络重建的超分辨率图像组监督学生网络学习的多教师联合训练网络RFDN-MT，在重建保真和感知各项质量指标上，都优于基于高低分辨率图像对组监督网络学习的传统训练模式得到的网络RFDN-HR。其中RFDN-HR表示除了采用传统的成对训练集训练网络，其余均采用的是和RFDN-MT一致的参数配置的残差特征蒸馏网络。
表2各个残差特征蒸馏网络对比表
Figure BDA0003012746240000121
实施例2
本实施例提供一种基于多维度知识蒸馏的轻量级图像超分辨率重建系统，包括：教师网络加载模块、数据集预处理模块、学生网络构建模块、网络模型训练模块和重建模块；
教师网络加载模块用于进行教师网络的预处理以及加载：对于未经训练的网络，进行预先训练并得到模型；对于已经训练并且已经保存模型的网络，进行模型加载。多教师网络中的教师网络的选择，教师网络针对不同维度来监督学生网络的训练。
在本实施例中，多教师网络由两种教师网络构成，分别是：指标性教师网络，感知性教师网络。
在本实施例中，指标性教师网络为已训练好的残差特征蒸馏网络(RFDN)，具有重建图像高峰值信噪比，高结构一致性，网络模型轻量化的特点。
在本实施例中，感知性教师网络为已训练好的边缘增强超分网络(Edge-SRN)，重建图像具有丰富纹理细节，良好的视觉效果的特点。
在本实施例中，数据集预处理模块用于进行数据集预处理：根据数据集中的低分辨率图片，进行格式转换并进行随机裁剪，所述处理后的低分辨率图用于监督网络学习；
在本实施例中，学生网络构建模块用于构建学生网络，并将低分辨率图像输入到学生网络中，输出学生网络重建的超分辨率图像；
在本实施例中，学生网络为已训练好的残差特征蒸馏网络(RFDN)，为了更好的学习同样结构的教师网络以及充分利用知识蒸馏的优势。
在本实施例中，学生网络为渐进式的并发卷积网络结构，所述网络结果采用信息蒸馏操作将特征分成两部分：一部分保留，一个融入到下一阶段的蒸馏步骤同时引入了浅层残差学习模块，它仅包含一个卷积核一个恒等连接分支以及一个激活单元。可以在不引入额外参数的前提下而充分发挥残差学习的优势；
在本实施例中，网络模型训练模块用于将低分辨率图像输入到多个教师网络中，输出多个教师的重建超分辨率图结果，将学生超分辨率图与所述教师超分辨率图集进行针对性像素比较，与指标性教师网络计算L1损失。与感知性教师网络计算感知损失，通过反向传播更新网络参数，训练得到最终的学生网络模型；
在本实施例中，重建模块用于将低分辨率图像输入到最终的学生网络模型中，输出超分辨率图像，得到最终重建的结果。
在本实施例中，学生网络整体结构由四个部分构成，分别是：特征提取部分、特征蒸馏部分、特征融合部分和图像重建部分。
在本实施例中，特征提取部分有第一卷积层，用于提取低分辨率图像的粗特征；
在本实施例中，特征蒸馏部分由四个残差特征蒸馏块堆叠组成。
在本实施例中，残差特征蒸馏块由并行的左分支卷积层和右分支浅层残差块，拼接层和增强空间注意力模块组成，左分支直接保留特征，右分支继续进行同等形式的分支继续蒸馏。左分支仅包含一层卷积层，卷积后的特征图直接连接到最后的拼接层，右分支浅层残差块由一层卷积层和恒等连接组成。恒等连接的作用是将卷积前后的特征图进行结合。右分支以递归的形式继续分化为左分支卷积层和右分支浅层残差块。进行3次递归后，将之前左分支保留的3组特征图与最后知识蒸馏得到的特征图通过拼接层进行拼接。拼接层通过concat函数将以上的特征图按照在通道维度上进行拼接，并通过卷积层融合特征到一定通道数。最后通过增强空间注意力模块增强特征。增强空间注意力模块首先对输入特征用卷积层降通道数，然后使用卷积层、最大池化层以及卷机组来减小特征图尺寸同时获得更大感受野。其中卷积组由最大池化层与步长为3的卷积层组成。然后特征进行上采样得到输入特征的大小，最后的特征图进行卷积层以及Sigmoid函数得到的输出特征图。
在本实施例中，特征融合部分设有拼接层、第二卷积层和第三卷积层，用于融合特征。
在本实施例中，图像重建部分设有第四卷积层和亚像素卷积层。
在本实施例中，采用LeakyReLU函数对每一层卷积层进行非线性激活；
在本实施例中，图像重建部分中的亚像素卷积层输出最终的超分辨率重建图像。
所述第一卷积层卷积核大小分别为3×3，用于提取图像粗糙的特征。
所述残差特征蒸馏块的左分支卷积层的卷积核大小为1×1，分割通道维数用于保留部分特征。
所述浅层残差块的卷积层的卷积核大小为3×3，提取图像特征的同时并考虑空间上下文，同时通过恒等连接来从残差学习中受益。
所述第二卷积层、第三卷积层的卷积核大小分别为1×1，3×3，组装中间特征并对聚集后的特征进行平滑。
所述第四卷积层的卷积核大小为3×3。
实施例3
本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现实施例1的基于多维度知识蒸馏的轻量级图像超分辨率重建方法。。
实施例4
本实施例提供一种计算设备，所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的基于多维度知识蒸馏的轻量级图像超分辨率重建方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法，其特征在于，包括下述步骤：
教师网络预处理；
数据集预处理：将数据集中低分辨率图片进行数据增强、转换格式并随机裁剪，生成低分辨率图像训练集；
构建学生网络，将所述低分辨率图像训练集输入所述学生网络中，输出学生网络重建的超分辨率图像；
将所述低分辨率图像训练集输入多个教师网络中，输出重建的超分辨率图像组，所述超分辨率图像组包括指标性教师超分辨率图像和感知性教师超分辨率图像；
将学生网络重建的超分辨率图像与指标性教师超分辨率图像进行像素级比对，计算L1损失；
将学生网络重建的超分辨率图像与感知性教师超分辨率图像分别通过VGG19网络后得到的特征图进行像素级比对，计算感知损失；
将感知损失和L1损失按比例计算出总损失，总损失作为网络训练误差，更新迭代训练后得到最终的学生网络模型；
将低分辨率图像输入到训练后的学生网络模型，输出最终重建的超分辨率图像。
2.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法，其特征在于，所述教师网络包括；残差特征蒸馏网络和边缘增强超分网络。
3.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法，其特征在于，所述构建学生网络，所述学生网络采用渐进式的并发卷积网络结构，通过卷积的形式，控制特征图的输入输出通道数进行通道分割实现知识蒸馏的操作。
4.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法，其特征在于，所述将所述低分辨率图像训练集输入所述学生网络中，所述低分辨率图像训练集输入到第一卷积层提取低分辨率图像的粗特征，卷积后经过多个残差特征蒸馏块提取低分辨率图像的细粒度级别的特征，各个残差特征蒸馏块提取后的特征经过第二卷积层整合及第三卷积层平滑特征；
平滑后细粒度级别的特征与低分辨率图像的粗特征通过第四卷积层整合，并经过亚像素卷积放大图像，输出学生网络重建的超分辨率图像。
5.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法，其特征在于，将感知损失和L1损失按比例计算出总损失，具体表示为：
Ltotal＝α1L1+α2Lp
Figure FDA0003012746230000021
Figure FDA0003012746230000022
其中，α1和α2表示教师网络的损失权重，L1表示L1损失，Lp表示感知损失，I为低分辨率图像，Y为与I对应的高分辨率图像，f(·)为生成模型，g(·)为VGG19神经网络模型，W、H和C分别为低分辨率图像I和Y的宽、高和通道数。
6.一种基于多维度知识蒸馏的轻量级图像超分辨率重建系统，其特征在于，包括：教师网络加载模块、数据集预处理模块、学生网络构建模块、网络模型训练模块和重建模块；
所述教师网络加载模块用于对教师网络进行预处理及加载；
所述数据集预处理模块用于进行数据集预处理，将数据集中低分辨率图片进行数据增强、转换格式并随机裁剪，生成低分辨率图像训练集；
所述学生网络构建模块用于构建学生网络，将所述低分辨率图像训练集输入所述学生网络中，输出学生网络重建的超分辨率图像；
所述网络模型训练模块用于训练学生网络模型，将低分辨率图像输入到多个教师网络中，输出重建的超分辨率图像组，所述超分辨率图像组包括指标性教师超分辨率图像和感知性教师超分辨率图像；
将学生网络重建的超分辨率图像与指标性教师超分辨率图像进行像素级比对，计算L1损失；
将学生网络重建的超分辨率图像与感知性教师超分辨率图像分别通过VGG19网络后得到的特征图进行像素级比对，计算感知损失；
将感知损失和L1损失按比例计算出总损失，总损失作为网络训练误差，更新迭代训练后得到最终的学生网络模型；
所述重建模块用于将低分辨率图像输入到训练后的学生网络模型，输出最终重建的超分辨率图像。
7.根据权利要求6所述的基于多维度知识蒸馏的轻量级图像超分辨率重建系统，其特征在于，所述学生网络包括：特征提取部分、特征蒸馏部分、特征融合部分和图像重建部分；
所述特征提取部分设有第一卷积层，用于提取低分辨率图像的粗特征；
所述特征蒸馏部分设有多个残差特征蒸馏块，用于提取低分辨率图像的细粒度级别的特征；
所述特征融合部分设有拼接层、第二卷积层和第三卷积层，所述拼接层用于拼接提取到的特征，所述第二卷积层用于特征整合，所述第三卷积层用于平滑特征；
所述图像重建部分设有第四卷积层和亚像素卷积层，所述第四卷积层用于整合平滑后细粒度级别的特征与低分辨率图像的粗特征，所述亚像素卷积层用于放大整合后的图像，输出学生网络重建的超分辨率图像。
8.根据权利要求7所述的基于多维度知识蒸馏的轻量级图像超分辨率重建系统，其特征在于，所述残差特征蒸馏块包括并行的左分支卷积层和右分支浅层残差块，拼接层和增强空间注意力模块；
所述左分支卷积层设有一层卷积层，卷积后的特征图连接到最后的拼接层；
所述右分支浅层残差块由一层卷积层和恒等连接组成，所述恒等连接用于将卷积前后的特征图进行结合，右分支浅层残差块以递归的形式分化为左分支卷积层和右分支浅层残差块，将之前左分支浅层残差块保留的特征图与最后知识蒸馏得到的特征图通过拼接层进行拼接；
所述拼接层通过concat函数将特征图按照在通道维度上进行拼接，并通过卷积层融合特征，通过增强空间注意力模块增强特征。
9.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5任一项所述基于多维度知识蒸馏的轻量级图像超分辨率重建方法。
10.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现如权利要求1-5任一项所述基于多维度知识蒸馏的轻量级图像超分辨率重建方法。
CN202110380519.7A 2021-04-09 2021-04-09 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 Active CN113240580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110380519.7A CN113240580B (zh) 2021-04-09 2021-04-09 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110380519.7A CN113240580B (zh) 2021-04-09 2021-04-09 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN113240580A true CN113240580A (zh) 2021-08-10
CN113240580B CN113240580B (zh) 2022-12-27

Family

ID=77131223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110380519.7A Active CN113240580B (zh) 2021-04-09 2021-04-09 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN113240580B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361510A (zh) * 2021-08-11 2021-09-07 腾讯科技（深圳）有限公司 超分网络模型训练方法、装置、电子设备以及存储介质
CN113724134A (zh) * 2021-08-20 2021-11-30 广东工业大学 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
CN113763251A (zh) * 2021-09-14 2021-12-07 浙江师范大学 一种图像超分辨率放大模型及其方法
CN113807214A (zh) * 2021-08-31 2021-12-17 中国科学院上海微系统与信息技术研究所 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN113837941A (zh) * 2021-09-24 2021-12-24 北京奇艺世纪科技有限公司 图像超分模型的训练方法、装置及计算机可读存储介质
CN113850721A (zh) * 2021-09-26 2021-12-28 陕西师范大学 单幅图像超分辨率重建方法、装置、设备及可读存储介质
CN113902761A (zh) * 2021-11-02 2022-01-07 大连理工大学 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN114049254A (zh) * 2021-10-29 2022-02-15 华南农业大学 低像素牛头图像重建识别方法、系统、设备及存储介质
CN114092327A (zh) * 2021-11-02 2022-02-25 哈尔滨工业大学 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN114359053A (zh) * 2022-01-07 2022-04-15 中国电信股份有限公司 图像处理方法、装置、设备及存储介质
CN114492731A (zh) * 2021-12-23 2022-05-13 北京达佳互联信息技术有限公司 图像处理模型的训练方法及装置、电子设备
CN114565810A (zh) * 2022-03-08 2022-05-31 华东师范大学 一种基于数据保护场景下的模型压缩方法及系统
CN114596479A (zh) * 2022-01-29 2022-06-07 大连理工大学 适用于智能终端的图像摩尔纹去除方法、装置及存储介质
CN114708148A (zh) * 2022-04-12 2022-07-05 中国电子技术标准化研究院 一种基于迁移学习的红外图像超分辨率重建方法
CN114782256A (zh) * 2022-06-21 2022-07-22 腾讯科技（深圳）有限公司 图像重建方法、装置、计算机设备和存储介质
CN114881861A (zh) * 2022-05-25 2022-08-09 厦门大学 基于双采样纹理感知蒸馏学习的不均衡图像超分方法
CN114926342A (zh) * 2022-05-31 2022-08-19 武汉大学 图像超分辨率重建模型构建方法、装置、设备及存储介质
CN114972753A (zh) * 2022-05-20 2022-08-30 暨南大学 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统
CN115131242A (zh) * 2022-06-28 2022-09-30 闽江学院 基于注意力与蒸馏机制的轻量级超分辨率重建方法
CN115222600A (zh) * 2022-07-29 2022-10-21 大连理工大学 对比学习的多光谱遥感图像超分辨重建方法
CN115797976A (zh) * 2023-01-12 2023-03-14 广州紫为云科技有限公司 一种低分辨率的实时手势识别方法
CN115965609A (zh) * 2023-01-03 2023-04-14 江南大学 利用知识蒸馏的陶瓷基板瑕疵智能检测方法
CN116012296A (zh) * 2022-12-01 2023-04-25 浙江大学 一种基于超分辨率和半监督学习算法的装配式预制构件检测方法
CN116071275A (zh) * 2023-03-29 2023-05-05 天津大学 基于在线知识蒸馏和预训练先验的人脸图像修复方法
CN116452424A (zh) * 2023-05-19 2023-07-18 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及系统
CN116645507A (zh) * 2023-05-18 2023-08-25 丽水瑞联医疗科技有限公司 一种基于语义分割的胎盘图像处理方法及系统
CN117196960A (zh) * 2023-11-08 2023-12-08 华侨大学 全尺度特征细化轻量级图像超分辨率方法及装置
CN117456480A (zh) * 2023-12-21 2024-01-26 华侨大学 一种基于多源信息融合的轻量化车辆再辨识方法
CN117911246A (zh) * 2023-10-20 2024-04-19 电子科技大学 一种基于结构化知识蒸馏的多模态图像超分辨率重建方法
CN118172251A (zh) * 2024-05-14 2024-06-11 大连海事大学 基于轻量化扩散模型的前列腺mri超分辨率重建方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN108830813A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于知识蒸馏的图像超分辨率增强方法
CN110245754A (zh) * 2019-06-14 2019-09-17 西安邮电大学 一种基于位置敏感图的知识蒸馏方法
CN110458765A (zh) * 2019-01-25 2019-11-15 西安电子科技大学 基于感知保持卷积网络的图像质量增强方法
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111626932A (zh) * 2020-05-07 2020-09-04 Tcl华星光电技术有限公司 图像的超分辨率重建方法及装置
CN112200722A (zh) * 2020-10-16 2021-01-08 鹏城实验室 图像超分辨重构模型的生成方法、重构方法及电子设备
WO2021042828A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 神经网络模型压缩的方法、装置、存储介质和芯片
US10963748B1 (en) * 2018-08-31 2021-03-30 Snap Inc. Generative neural network distillation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN108830813A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于知识蒸馏的图像超分辨率增强方法
US10963748B1 (en) * 2018-08-31 2021-03-30 Snap Inc. Generative neural network distillation
CN110458765A (zh) * 2019-01-25 2019-11-15 西安电子科技大学 基于感知保持卷积网络的图像质量增强方法
CN110245754A (zh) * 2019-06-14 2019-09-17 西安邮电大学 一种基于位置敏感图的知识蒸馏方法
WO2021042828A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 神经网络模型压缩的方法、装置、存储介质和芯片
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111626932A (zh) * 2020-05-07 2020-09-04 Tcl华星光电技术有限公司 图像的超分辨率重建方法及装置
CN112200722A (zh) * 2020-10-16 2021-01-08 鹏城实验室 图像超分辨重构模型的生成方法、重构方法及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GEOFFREYHINTON 等: "DistillingtheKnowledgeinaNeuralNetwork", 《HTTPS://ARXIV.ORG /PDF/1503.02531.PDF》, 9 March 2015 (2015-03-09) *
李展 等: "多分辨率图像序列的超分辨率重建", 《自动化学报》, vol. 38, no. 11, 30 November 2012 (2012-11-30) *
郭俊伦 等: "基于特征重建的知识蒸馏方法", 《现代计算机》, 31 October 2020 (2020-10-31) *
高钦泉 等: "基于知识蒸馏的超分辨率卷积神经网络压缩方法", 《计算机应用》, vol. 39, no. 10, 10 October 2019 (2019-10-10) *

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361510B (zh) * 2021-08-11 2021-11-19 腾讯科技（深圳）有限公司 超分网络模型训练方法、装置、电子设备以及存储介质
CN113361510A (zh) * 2021-08-11 2021-09-07 腾讯科技（深圳）有限公司 超分网络模型训练方法、装置、电子设备以及存储介质
CN113724134B (zh) * 2021-08-20 2024-07-12 广东工业大学 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
CN113724134A (zh) * 2021-08-20 2021-11-30 广东工业大学 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
CN113807214A (zh) * 2021-08-31 2021-12-17 中国科学院上海微系统与信息技术研究所 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN113807214B (zh) * 2021-08-31 2024-01-05 中国科学院上海微系统与信息技术研究所 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN113763251A (zh) * 2021-09-14 2021-12-07 浙江师范大学 一种图像超分辨率放大模型及其方法
CN113763251B (zh) * 2021-09-14 2023-06-16 浙江师范大学 一种图像超分辨率放大模型及其方法
CN113837941A (zh) * 2021-09-24 2021-12-24 北京奇艺世纪科技有限公司 图像超分模型的训练方法、装置及计算机可读存储介质
CN113837941B (zh) * 2021-09-24 2023-09-01 北京奇艺世纪科技有限公司 图像超分模型的训练方法、装置及计算机可读存储介质
CN113850721A (zh) * 2021-09-26 2021-12-28 陕西师范大学 单幅图像超分辨率重建方法、装置、设备及可读存储介质
CN114049254A (zh) * 2021-10-29 2022-02-15 华南农业大学 低像素牛头图像重建识别方法、系统、设备及存储介质
CN114049254B (zh) * 2021-10-29 2022-11-29 华南农业大学 低像素牛头图像重建识别方法、系统、设备及存储介质
CN113902761A (zh) * 2021-11-02 2022-01-07 大连理工大学 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN113902761B (zh) * 2021-11-02 2024-04-16 大连理工大学 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN114092327A (zh) * 2021-11-02 2022-02-25 哈尔滨工业大学 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN114092327B (zh) * 2021-11-02 2024-06-07 哈尔滨工业大学 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN114492731A (zh) * 2021-12-23 2022-05-13 北京达佳互联信息技术有限公司 图像处理模型的训练方法及装置、电子设备
CN114359053A (zh) * 2022-01-07 2022-04-15 中国电信股份有限公司 图像处理方法、装置、设备及存储介质
CN114596479A (zh) * 2022-01-29 2022-06-07 大连理工大学 适用于智能终端的图像摩尔纹去除方法、装置及存储介质
CN114565810A (zh) * 2022-03-08 2022-05-31 华东师范大学 一种基于数据保护场景下的模型压缩方法及系统
CN114708148A (zh) * 2022-04-12 2022-07-05 中国电子技术标准化研究院 一种基于迁移学习的红外图像超分辨率重建方法
CN114972753A (zh) * 2022-05-20 2022-08-30 暨南大学 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统
CN114881861B (zh) * 2022-05-25 2024-06-04 厦门大学 基于双采样纹理感知蒸馏学习的不均衡图像超分方法
CN114881861A (zh) * 2022-05-25 2022-08-09 厦门大学 基于双采样纹理感知蒸馏学习的不均衡图像超分方法
CN114926342A (zh) * 2022-05-31 2022-08-19 武汉大学 图像超分辨率重建模型构建方法、装置、设备及存储介质
CN114782256B (zh) * 2022-06-21 2022-09-02 腾讯科技（深圳）有限公司 图像重建方法、装置、计算机设备和存储介质
CN114782256A (zh) * 2022-06-21 2022-07-22 腾讯科技（深圳）有限公司 图像重建方法、装置、计算机设备和存储介质
CN115131242A (zh) * 2022-06-28 2022-09-30 闽江学院 基于注意力与蒸馏机制的轻量级超分辨率重建方法
CN115131242B (zh) * 2022-06-28 2023-08-29 闽江学院 基于注意力与蒸馏机制的轻量级超分辨率重建方法
CN115222600A (zh) * 2022-07-29 2022-10-21 大连理工大学 对比学习的多光谱遥感图像超分辨重建方法
CN116012296A (zh) * 2022-12-01 2023-04-25 浙江大学 一种基于超分辨率和半监督学习算法的装配式预制构件检测方法
CN116012296B (zh) * 2022-12-01 2023-10-24 浙江大学 基于超分辨率和半监督学习的装配式预制构件检测方法
CN115965609A (zh) * 2023-01-03 2023-04-14 江南大学 利用知识蒸馏的陶瓷基板瑕疵智能检测方法
CN115965609B (zh) * 2023-01-03 2023-08-04 江南大学 利用知识蒸馏的陶瓷基板瑕疵智能检测方法
CN115797976B (zh) * 2023-01-12 2023-05-30 广州紫为云科技有限公司 一种低分辨率的实时手势识别方法
CN115797976A (zh) * 2023-01-12 2023-03-14 广州紫为云科技有限公司 一种低分辨率的实时手势识别方法
CN116071275A (zh) * 2023-03-29 2023-05-05 天津大学 基于在线知识蒸馏和预训练先验的人脸图像修复方法
CN116645507A (zh) * 2023-05-18 2023-08-25 丽水瑞联医疗科技有限公司 一种基于语义分割的胎盘图像处理方法及系统
CN116452424B (zh) * 2023-05-19 2023-10-10 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及系统
CN116452424A (zh) * 2023-05-19 2023-07-18 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及系统
CN117911246B (zh) * 2023-10-20 2024-07-16 电子科技大学 一种基于结构化知识蒸馏的多模态图像超分辨率重建方法
CN117911246A (zh) * 2023-10-20 2024-04-19 电子科技大学 一种基于结构化知识蒸馏的多模态图像超分辨率重建方法
CN117196960B (zh) * 2023-11-08 2024-03-01 华侨大学 全尺度特征细化轻量级图像超分辨率方法及装置
CN117196960A (zh) * 2023-11-08 2023-12-08 华侨大学 全尺度特征细化轻量级图像超分辨率方法及装置
CN117456480B (zh) * 2023-12-21 2024-03-29 华侨大学 一种基于多源信息融合的轻量化车辆再辨识方法
CN117456480A (zh) * 2023-12-21 2024-01-26 华侨大学 一种基于多源信息融合的轻量化车辆再辨识方法
CN118172251A (zh) * 2024-05-14 2024-06-11 大连海事大学 基于轻量化扩散模型的前列腺mri超分辨率重建方法
CN118172251B (zh) * 2024-05-14 2024-07-26 大连海事大学 基于轻量化扩散模型的前列腺mri超分辨率重建方法

Also Published As

Publication number Publication date
CN113240580B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN106991646B (zh) 一种基于密集连接网络的图像超分辨率方法
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN109447897B (zh) 一种真实场景图像合成方法及系统
CN113284100A (zh) 基于恢复图像对混合域注意力机制的图像质量评价方法
CN113111906B (zh) 一种基于单对图像训练的条件生成对抗网络模型的方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN115131218A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN116403063A (zh) 基于多区域特征融合的无参考屏幕内容图像质量评估方法
CN113591528A (zh) 文档矫正方法、装置、计算机设备和存储介质
CN115660979A (zh) 一种基于注意力机制的双判别器图像修复方法
Li et al. Line drawing guided progressive inpainting of mural damages
CN116383639A (zh) 一种生成对抗网络的知识蒸馏方法、装置、设备及存储介质
CN110570375A (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN116844008A (zh) 一种注意力机制引导的内容感知无参考图像质量评价方法
Li et al. Semantic prior-driven fused contextual transformation network for image inpainting
CN116152263A (zh) 一种基于cm-mlp网络的医学图像分割方法
Wang et al. Dynamic context-driven progressive image inpainting with auxiliary generative units
CN112488923B (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN115861099B (zh) 一种引入物理成像先验知识约束的卫星云图图像复原方法
CN116777812A (zh) 一种面向真实场景图像的无参考质量评价方法
Liu et al. Towards Interactive Image Inpainting via Robust Sketch Refinement
Zhang et al. No-reference image quality assessment based on an objective quality database and deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant