CN112200722A - 图像超分辨重构模型的生成方法、重构方法及电子设备 - Google Patents

图像超分辨重构模型的生成方法、重构方法及电子设备 Download PDF

Info

Publication number
CN112200722A
CN112200722A CN202011108692.3A CN202011108692A CN112200722A CN 112200722 A CN112200722 A CN 112200722A CN 202011108692 A CN202011108692 A CN 202011108692A CN 112200722 A CN112200722 A CN 112200722A
Authority
CN
China
Prior art keywords
image
feature maps
resolution
network model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011108692.3A
Other languages
English (en)
Inventor
戴涛
何子彬
夏树涛
江勇
李伟超
汪漪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Peng Cheng Laboratory
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University, Peng Cheng Laboratory filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202011108692.3A priority Critical patent/CN112200722A/zh
Publication of CN112200722A publication Critical patent/CN112200722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像超分辨重构模型的生成方法、重构方法及电子设备，生成方法将低分辨率图像分别输入预设学生网络模型和预先训练的教师网络模型，并根据学生网络模型输出的第一高分辨率图像和若干第一特征图以及教师网络模型输出的第二高分辨率图像和若干第二特征图对学生网络模型的模型参数进行更新，直至学生网络模型的训练情况满足预设条件，以得到图像超分辨重构模型。本发明利用知识蒸馏训练策略，在轻量化学生网络模型的训练过程中，融入预先训练的复杂教师网络模型的二维空间相似性信息进行约束，将复杂教师网络模型的知识迁移至学生网络模型中，降低图像超分辨重构模型的计算量的同时，提升了图像超分辨重构模型的超分性能。

Description

图像超分辨重构模型的生成方法、重构方法及电子设备
技术领域
本发明涉及图像处理技术领域，具体涉及图像超分辨重构模型的生成方法、重构方法及电子设备。
背景技术
图像超分辨率重构(超分)是从低分辨率图像中重构对应的高分辨率图像，现有常用的图像超分辨率重构方法是通过神经网络学习一个从低分辨率图像到高分辨率图像的映射关系，将低分辨率图像输入到网络模型中，网络输出对应的高分辨率图像。
现有图像超分辨率重构模型为了提高模型性能，通常需要堆叠几百层神经网络，由于计算资源有限，这种大型的图像超分辨率重构模型无法部署在移动设备上。
因此，现有技术还有待于改进和发展。
发明内容
针对现有技术的上述缺陷，本发明提供一种图像超分辨重构模型的生成方法、重构方法及电子设备，旨在解决现有的图像超分辨率重构模型通过增加网络的层数来提高模型性能，导致这种大型的图像超分辨率重构模型无法部署在移动设备上的问题。
本发明解决技术问题所采用的技术方案如下：
一种图像超分辨重构模型的生成方法，其中，包括：
将训练图像集中的低分辨率图像分别输入预设学生网络模型和预先训练的教师网络模型，并获取所述学生网络模型输出的第一高分辨率图像和若干第一特征图以及所述教师网络模型输出的第二高分辨率图像和若干第二特征图；
根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图对所述学生网络模型的模型参数进行更新，直至所述学生网络模型的训练情况满足预设条件，以得到图像超分辨重构模型。
所述的图像超分辨重构模型的生成方法，其中，所述根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图对所述学生网络模型的模型参数进行更新，直至所述学生网络模型的训练情况满足预设条件的步骤包括：
根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图确定总损失值，并判断所述总损失值是否小于预设阈值；
若否，则根据预设的参数学习率对所述学生网络模型的模型参数进行更新，直至所述总损失值小于预设阈值。
所述的图像超分辨重构模型的生成方法，其中，所述训练图像集中包括与所述低分辨率图像对应的真实高分辨率图像，所述根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图确定总损失值的步骤包括：
根据所述第一高分辨率图像和所述真实高分辨率图像，确定第一损失值；
根据所述第一高分辨率图像和所述第二高分辨率图像，确定第二损失值；
根据所述若干第一特征图和所述若干第二特征图，确定第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值，确定总损失值。
所述的图像超分辨重构模型的生成方法，其中，所述根据所述若干第一特征图和所述若干第二特征图，确定第三损失值的步骤包括：
将所述若干第一特征图和所述若干第二特征图分别转换为若干第一空间相似性矩阵和若干第二空间相似性矩阵；
根据所述若干第一空间相似性矩阵和所述若干第二空间相似性矩阵，确定第三损失值。
所述的图像超分辨重构模型的生成方法，其中，所述将所述若干第一特征图和所述若干第二特征图分别转换为若干第一空间相似性矩阵和若干第二空间相似性矩阵的步骤包括：
对所述若干第一特征图和所述若干第二特征图分别进行归一化处理，得到归一化后的若干第一特征图和归一化后的若干第二特征图；
对归一化后的若干第一特征图和归一化后的若干第二特征图分别进行矩阵乘法运算，得到若干第一空间相似性矩阵和若干第二空间相似性矩阵。
所述的图像超分辨重构模型的生成方法，其中，所述对所述若干第一特征图和所述若干第二特征图分别进行归一化处理，得到归一化后的若干第一特征图和归一化后的若干第二特征图的步骤包括：
将所述若干第一特征图和所述若干第二特征图转换为预设维度的若干第三特征图和若干第四特征图；
对所述若干第三特征图中的各个像素和所述若干第四特征图中的各个像素进行归一化处理，得到归一化后的若干第一特征图和归一化后的若干第二特征图。
所述的图像超分辨重构模型的生成方法，其中，所述将训练图像集中的低分辨率图像分别输入预设学生网络模型和预先训练的教师网络模型的步骤之前包括：
将所述训练图像集中的低分辨率图像输入预设教师网络模型，并获取所述教师网络模型输出的第三高分辨率图像；其中，所述训练图像集中包括低分辨率图像和与所述低分辨率图像对应的真实高分辨率图像；
根据所述第三高分辨率图像和所述真实高分辨率图像对所述教师网络模型的模型参数进行更新，直至所述教师网络模型的训练情况满足预设条件，以得到预先训练的教师网络模型。
一种图像超分辨重构方法，其中，应用于所述的图像超分辨重构模型的生成方法生成的图像超分辨重构模型，所述图像超分辨重构方法包括步骤：
获取待处理图像，并将所述待处理图像输入所述图像超分辨重构模型；
通过所述图像超分辨重构模型对所述待处理图像进行图像超分辨重构，以得到所述待处理图像对应的高分辨率图像。
一种终端，其中，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述所述的图像超分辨重构模型的生成方法中的步骤，或者上述所述的图像超分辨重构方法中的步骤。
一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述所述的图像超分辨重构模型的生成方法中的步骤，或者上述所述的图像超分辨重构方法中的步骤。
有益效果：本发明利用知识蒸馏训练策略，在轻量化学生网络模型的训练过程中，融入预先训练的复杂教师网络模型的二维空间相似性信息进行约束，将复杂教师网络模型的知识迁移至学生网络模型中，降低图像超分辨重构模型的计算量的同时，提升了图像超分辨重构模型的超分性能。
附图说明
图1是本发明实施例一中提供的一种图像超分辨重构模型的生成方法的一个实施例的流程图；
图2是本发明实施例一中提供的一种图像超分辨重构模型的生成方法的整体框架图；
图3是本发明实施例一中提取空间相似性矩阵的流程图；
图4是本发明实施例二中提供的一种图像超分辨重构方法的一个实施例的流程图；
图5是本发明实施例三中提供的一种终端的功能原理图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的图像超分辨重构模型的生成方法及图像超分辨重构方法，可以应用于终端中。其中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。本发明的终端采用多核处理器。其中，终端的处理器可以为中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)、视频处理单元(Video Processing Unit，VPU)等中的至少一种。
实施例一
为了解决现有图像超分辨重构模型通过增加网络的层数来提高模型性能，导致这种大型的图像超分辨重构模型无法部署在移动设备上的问题，本发明提供了一种图像超分辨重构模型的生成方法。
请参照图1，图1是本发明提供的一种图像超分辨重构模型的生成方法的一个实施例的流程图。
在本发明的一个实施例中，所述图像超分辨重构模型的生成方法有两个步骤：
S100、将训练图像集中的低分辨率图像分别输入预设学生网络模型和预先训练的教师网络模型，并获取所述学生网络模型输出的第一高分辨率图像和若干第一特征图以及所述教师网络模型输出的第二高分辨率图像和若干第二特征图。
为了减少模型的计算量，本实施例中预先挑选一个大型的复杂的超分网络作为教师网络模型，例如现有的RCAN网络，x4超分网络等，然后根据挑选的教师网络模型结构设置学生网络模型结构，一般学生网络模型结构和教师网络模型结构相同，只是深度或宽度不同，学生网络模型的深度或宽度比教师网络模型的深度或宽度小很多。例如，当挑选RCAN网络作为教师网络模型时，其结构如表1所示，由一个特征提取模块、一个卷积模块、一个通道注意力残差模块和1个上采样模块组成，通道注意力残差模块由10个残差层组成，每个残差层由20个残差块组成。学生网络模型同样由一个特征提取模块、一个卷积模块、一个通道注意力残差模块和1个上采样模块组成，通道注意力残差模块由10个残差层组成，但每个残差层由6个残差块组成。因此，整体上学生网络模型的参数量和计算量只有教师网络的30％，从而达到了压缩模型的效果。
表1 RCAN网络结构
Figure BDA0002727836910000081
Figure BDA0002727836910000091
考虑到仅仅训练压缩后的学生网络模型虽然能够实现模型压缩，但学生网络模型的性能比教师网络模型的性能差。如图2所示，本实施例中在训练子模型时，首先获取训练图像集例如标准数据集DIV2K，所述训练图像集中包括低分辨率图像和与所述低分辨率图像对应的真实高分辨率图像。然后将训练图像集中的低分辨率图像分别输入学生网络模型和预先训练的教师网络模型，并获取学生网络模型输出的第一高分辨率图像、所述学生网络模型的若干残差块输出的若干第一特征图、所述教师网络模型输出的第二高分辨率图像以及所述教师网络模型的若干残差块输入的若干第二特征图，然后基于第一高分辨率图像、若干第一特征图、第二高分辨率图像以及若干第二特征图对学生网络模型进行训练。本实施例利用知识蒸馏训练策略，在轻量化学生网络模型的训练过程中，融入预先训练的复杂教师网络模型的二维空间相似性信息约束，将复杂教师网络模型的知识迁移至学生网络模型中，降低图像超分辨重构模型的计算量的同时，提升了图像超分辨重构模型的超分性能。
S200、根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图对所述学生网络模型的模型参数进行更新，直至所述学生网络模型的训练情况满足预设条件，以得到图像超分辨重构模型。
知识蒸馏是一种新型的模型压缩方法，它通过迁移大型网络(教师网络模型)中学习的知识，从而提升轻量化网络(学生网络模型)的性能。知识蒸馏已经在分类任务中证明了它的有效性，但在回归任务上的应用却少之又少，在图像复原领域的应用更少，这主要是因为回归任务中，模型输出往往是一张图片，即模型的输出空间是无界的，教师网络模型的一个微小的错误都可能导致学生网络模型中严重的错误，对于图像超分辨重构任务，无边界的特征表征空间会导致知识蒸馏策略失效。
为了避免知识蒸馏训练策略失效，本实施例中不仅根据第一高分辨率图像和第二高分辨率图像对学生网络模型进行训练，还通过学生网络模型输出的若干第一特征图和教师网络模型输出的若干第二特征图对学生网络模型进行训练，使轻量化学生网络模型和复杂教师网络模型的空间相似性信息相似。具体地，获取到第一高分辨率图像、若干第一特征图、第二高分辨率图像以及若干第二特征图后，根据第一稿分辨率图像、若干第一特征图、第二高分辨率图像以及若干第二特征图对学生网络模型的模型参数进行更新，直至学生网络模型的训练情况满足预设条件，以得到图像超分辨模型。
在一具体实施例中，步骤S200具体包括：
S210、根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图确定总损失值，并判断所述总损失值是否小于预设阈值；
S220、若否，则根据预设的参数学习率对所述学生网络模型的模型参数进行更新，直至所述总损失值小于预设阈值。
具体地，本实施例中预先设置用于判断学生网络模型的训练情况是否满足预设条件的阈值，获取到第一高分辨率图像、若干第一特征图、第二高分辨率图像以及若干第二特征图后，根据第一高分辨率图像、若干第一特征图、第二高分辨率图像以及若干第二特征图确定学生网络模型对应的总损失值。一般损失值越小，则表明网络模型的性能越优，获取总损失值后，进一步判断总损失值是否小于预设阈值；若是，则表明学生网络模型的训练情况满足预设条件；若否，则说明学生网络模型的训练情况不满足预设条件，则根据预设的参数学习率对学生网络模型的模型参数进行更新，并继续执行获取第一高分辨率图像、若干第一特征图、第二高分辨率图像和若干第二特征图的步骤，直至所述总损失值小于预设阈值。在一具体实施例中，初始参数学习率设置为1e-4，对学生网络模型进行500轮迭代训练，每隔150轮迭代参数学习率下降为原来的一半，学生网络模型采用亚当优化器进行训练。
在一具体实施例中，步骤S210中所述根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图确定总损失值的步骤包括：
S211、根据所述第一高分辨率图像和所述真实高分辨率图像，确定第一损失值；
S212、根据所述第一高分辨率图像和所述第二高分辨率图像，确定第二损失值；
S213、根据所述若干第一特征图和所述若干第二特征图，确定第三损失值；
S214、根据所述第一损失值、所述第二损失值和所述第三损失值，确定总损失值。
前面提到训练图像集中包括与低分辨率图像对应的真实高分辨率图像，本实施例中为了减小学生网络模型输出的第一高分辨率图像与真实高分辨率图像之间的差异，计算第一高分辨率图像和真实高分辨率图像之间的第一损失值，计算第一损失值的损失函数采用均方误差损失函数。设N为样本总数，
Figure BDA0002727836910000121
为学生网络模型输出的第i个样本的第一超分辨率图像，
Figure BDA0002727836910000122
为第i个样本的真实高分辨率图像，则第一损失值的计算公式为：
Figure BDA0002727836910000123
由于教师网络模型为大型复杂网络，其相较于深度或宽度更小的学生网络模型性能更优，因而其输出的第二高分辨率图像对学生网络模型的训练具有一定的指导作用，本实施例中对学生网络模型进行训练时，计算学生网络模型输出的第一超分辨率图像和教师网络模型输出的第二超分辨率图像之间的第二损失值，计算第二损失值的损失函数也采用均方误差损失函数，设
Figure BDA0002727836910000124
为教师网络模型输出的第i个样本的第二超分辨率图像，
Figure BDA0002727836910000125
为学生网络模型输出的第i个样本的第一超分辨率图像，则第二损失值的计算公式为：
Figure BDA0002727836910000126
Figure BDA0002727836910000127
考虑到图像超分辨重构中，无界的特征表征空间会导致知识蒸馏策略失效，本实施例中采用空间相似度蒸馏，对学生网络模型进行训练时，根据学生网络模型中各个残差块输出的若干第一特征图和教师网络模型中各个残差块输出的若干第二特征图，确定第三损失值，并根据第一损失值、第二损失值以及第三损失值，确定学生网络模型对应的总损失值，根据总损失值对学生网络模型进行训练，不仅能够对图像超分辨重构模型进行压缩，而且能够提高图像超分辨重构模型的性能。其中，总损失值的计算公式为：L(θ)＝αLDS+βLTS+γLSA，其中，L(θ)为总损失值，LDS为第一损失值，LTS为第二损失值，LSA为第三损失值，α,β,γ为损失系数，其可以根据需要进行设置。
在一具体实施例中，步骤S213具体包括：
S2131、将所述若干第一特征图和所述若干第二特征图分别转换为若干第一空间相似性矩阵和若干第二空间相似性矩阵；
S2132、根据所述若干第一空间相似性矩阵和所述若干第二空间相似性矩阵，确定第三损失值。
具体地，本实施例中从学生网络模型和教师网络模型的若干残差块中提取出若干第一特征图和若干第二特征图后，将所述若干第一特征图转换为若干第一空间相似性矩阵，将所述若干第二特征图转换为若干第二相似性矩阵，然后根据若干第一空间相似性矩阵和若干第二空间相似性矩阵，确定第三损失值。第三损失值的计算公式为：
Figure BDA0002727836910000131
其中，A为空间相似性矩阵，
Figure BDA0002727836910000132
为学生网络模型第l层提取出来的第一空间相似度矩阵，
Figure BDA0002727836910000133
为教师网络模型第l层提取出来的第二空间相似度矩阵，l′是需要提取空间相似性矩阵的层数。
在一具体实施例中，步骤S2131具体包括：
M211、对所述若干第一特征图和所述若干第二特征图分别进行归一化处理，得到归一化后的若干第一特征图和归一化后的若干第二特征图；
M212、对归一化后的若干第一特征图和归一化后的若干第二特征图分别进行矩阵乘法运算，得到若干第一空间相似性矩阵和若干第二空间相似性矩阵。
如图3所示，为了方便求取若干第一特征图中各个像素之间的余弦相似性以及若干第二特征图中各个像素之间的余弦相似性，本实施例中首先对若干第一特征图和若干第二特征图分别进行归一化，得到归一化后的若干第一特征图和归一化后的若干第二特征图，然后对归一化后的若干第一特征图和归一化后的若干第二特征图分别进行矩阵乘法运算，得到若干第一空间相似性矩阵和若干第二空间相似性矩阵。空间相似性矩阵的计算公式为：
Figure BDA0002727836910000141
其中，
Figure BDA0002727836910000142
为归一化后的第一特征图或归一化后的第二特征图，
Figure BDA0002727836910000143
为对
Figure BDA0002727836910000144
进行转置运算后得到的特征图，当
Figure BDA0002727836910000145
为归一化后的第一特征图时，A为第一空间相似性矩阵，当
Figure BDA0002727836910000146
为归一化后的第二特征图时，A为第二空间相似性矩阵。
在一具体实施例中，步骤M211具体包括：
M2111、将所述若干第一特征图和所述若干第二特征图转换为预设维度的若干第三特征图和若干第四特征图；
M2112、对所述若干第三特征图中的各个像素和所述若干第四特征图中的各个像素进行归一化处理，得到归一化后的若干第一特征图和归一化后的若干第二特征图。
设若干第一特征图和若干第二特征图的维度为b×C×H×W，其中，b为一批数据的大小，C为通道数，H为特征图的高度，W为特征图的宽度。在对若干第一特征图和若干第二特征图进行归一化处理时，首先将若干第一特征图和若干第二特征图分别排列成维度为b×C×HW的若干第三特征图和若干第四特征图，然后对若干第三特征图中的各个像素和若干第四特征图中的各个像素进行归一化处理，得到归一化后的若干第一特征图和归一化后的若干第二特征图。
若干第三特征图和若干第四特征图中每个像素可以看成是一个C维的像素向量，在对若干第三特征图中的各个像素和若干第四特征图中的各个像素进行归一化处理时，首先获取若干第三特征图中的各个像素对应的模长以及若干第四特征图中的各个像素对应的模长，然后用若干第三特征图中的各个像素除以其对应的模长对若干第三特征图中的各个像素进行归一化处理，用若干第四特征图中的各个像素除以其对应的模长对若干第四特征图中的各个像素进行归一化处理。各像素进行归一化处理的公式为
Figure BDA0002727836910000151
其中，F[i,；,j]为像素，
Figure BDA0002727836910000152
为该像素对应的模长，
Figure BDA0002727836910000153
为F[i,；,j]进行归一化处理后的像素。
在一具体实施例中，步骤S100之前包括：
S001、将所述训练图像集中的低分辨率图像输入预设教师网络模型，并获取所述教师网络模型输出的第三高分辨率图像；其中，所述训练图像集中包括低分辨率图像和与所述低分辨率图像对应的真实高分辨率图像；
S002、根据所述第三高分辨率图像和所述真实高分辨率图像对所述教师网络模型的模型参数进行更新，直至所述教师网络模型的训练情况满足预设条件，以得到预先训练的教师网络模型。
具体地，本实施例中对学生网络模型进行训练之前，需要预先采用训练图像集对教师网络模型进行训练，并在四个测试集(Set5，Set14，B100,Urban100)上对教师网络模型进行测试。训练图像集采用标准数据集DIV2K，该训练图像集中包括低分辨率图像和与所述低分辨率图像对应的真实高分辨率图像。在一具体实施例中，训练图像集DIV2K包括800张图片，数据增广方式包括随机旋转和翻转。训练时首先将训练图像集中的低分辨率图像输入预设教师网络模型，并获取教师网络模型输出的第三高分辨率图像；根据第三高分辨率图像和真实高分辨率图像对教师网络模型的模型参数进行更新，并将测试集输入教师网络模型中进行测试，直至教师网络模型的训练情况满足预设条件，以得到预先训练的教师网络模型。
在判断教师网络模型的训练情况是否满足预设条件时，是将第三高分辨率图像和真实高分辨率图像代入损失函数中计算教师网络模型对应的损失值。一般损失值越小，则表明网络模型的性能越优，获取损失值后，进一步判断损失值是否小于预设阈值；若是，则表明教师网络模型的训练情况满足预设条件；若否，则说明教师网络模型的训练情况不满足预设条件，则根据预设的参数学习率对教师网络模型的模型参数进行更新，并继续执行获取第三高分辨率图像的步骤，直至所述损失值小于预设阈值。训练教师网络模型的损失函数可以根据需要进行选择，在一具体实施例中，采用现有的L1损失函数对教师网络模型进行训练。
实施例二
基于上述图像超分辨重构模型的生成方法，本实施例中还提供了一种图像超分辨重构方法，如图4所示，所述图像超分辨重构方法包括：
R100、获取待处理图像，并将所述待处理图像输入所述图像超分辨重构模型；
R200、通过所述图像超分辨重构模型对所述待处理图像进行图像超分辨重构，以得到所述待处理图像对应的高分辨率图像。
具体地，基于上述步骤获得图像超分辨重构模型后，将待处理图像输入到图像超分辨重构模型中，通过图像超分辨重构模型对待处理图像进行图像超分辨重构，以得到所述待处理图像对应的高分辨率图像。相比于现有的图像超分辨重构模型，本实施例中的图像超分辨重构模型计算量少，性能高，方便部署到移动设备上。
实施例三
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图5所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏和温度传感器。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像超分辨重构模型的生成方法及一种图像超分辨重构方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端的温度传感器是预先在装置内部设置，用于检测内部设备的当前运行温度。
本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：
将训练图像集中的低分辨率图像分别输入预设学生网络模型和预先训练的教师网络模型，并获取所述学生网络模型输出的第一高分辨率图像和若干第一特征图以及所述教师网络模型输出的第二高分辨率图像和若干第二特征图；
根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图对所述学生网络模型的模型参数进行更新，直至所述学生网络模型的训练情况满足预设条件，以得到图像超分辨重构模型。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图确定总损失值，并判断所述总损失值是否小于预设阈值；若否，则根据预设的参数学习率对所述学生网络模型的模型参数进行更新，直至所述总损失值小于预设阈值。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：根据所述第一高分辨率图像和所述真实高分辨率图像，确定第一损失值；根据所述第一高分辨率图像和所述第二高分辨率图像，确定第二损失值；根据所述若干第一特征图和所述若干第二特征图，确定第三损失值；根据所述第一损失值、所述第二损失值和所述第三损失值，确定总损失值。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将所述若干第一特征图和所述若干第二特征图分别转换为若干第一空间相似性矩阵和若干第二空间相似性矩阵；根据所述若干第一空间相似性矩阵和所述若干第二空间相似性矩阵，确定第三损失值。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：对所述若干第一特征图和所述若干第二特征图分别进行归一化处理，得到归一化后的若干第一特征图和归一化后的若干第二特征图；对归一化后的若干第一特征图和归一化后的若干第二特征图分别进行矩阵乘法运算，得到若干第一空间相似性矩阵和若干第二空间相似性矩阵。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将所述若干第一特征图和所述若干第二特征图转换为预设维度的若干第三特征图和若干第四特征图；对所述若干第三特征图中的各个像素和所述若干第四特征图中的各个像素进行归一化处理，得到归一化后的若干第一特征图和归一化后的若干第二特征图。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将所述训练图像集中的低分辨率图像输入预设教师网络模型，并获取所述教师网络模型输出的第三高分辨率图像；其中，所述训练图像集中包括低分辨率图像和与所述低分辨率图像对应的真实高分辨率图像；根据所述第三高分辨率图像和所述真实高分辨率图像对所述教师网络模型的模型参数进行更新，直至所述教师网络模型的训练情况满足预设条件，以得到预先训练的教师网络模型。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：获取待处理图像，并将所述待处理图像输入所述图像超分辨重构模型；通过所述图像超分辨重构模型对所述待处理图像进行图像超分辨重构，以得到所述待处理图像对应的高分辨率图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种图像超分辨重构模型的生成方法、重构方法及电子设备，所述生成方法将训练图像集中的低分辨率图像分别输入预设学生网络模型和预先训练的教师网络模型，并获取学生网络模型输出的第一高分辨率图像和若干第一特征图以及教师网络模型输出的第二高分辨率图像和若干第二特征图；根据第一高分辨率图像、若干第一特征图、第二高分辨率图像以及若干第二特征图对学生网络模型的模型参数进行更新，直至学生网络模型的训练情况满足预设条件，以得到图像超分辨重构模型。本发明利用知识蒸馏训练策略，在轻量化学生网络模型的训练过程中，融入预先训练的复杂教师网络模型的二维空间相似性信息约束，将复杂教师网络模型的知识迁移至学生网络模型中，降低图像超分辨重构模型的计算量的同时，提升了图像超分辨重构模型的超分性能。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种图像超分辨重构模型的生成方法，其特征在于，包括：
将训练图像集中的低分辨率图像分别输入预设学生网络模型和预先训练的教师网络模型，并获取所述学生网络模型输出的第一高分辨率图像和若干第一特征图以及所述教师网络模型输出的第二高分辨率图像和若干第二特征图；
根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图对所述学生网络模型的模型参数进行更新，直至所述学生网络模型的训练情况满足预设条件，以得到图像超分辨重构模型。
2.根据权利要求1所述的图像超分辨重构模型的生成方法，其特征在于，所述根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图对所述学生网络模型的模型参数进行更新，直至所述学生网络模型的训练情况满足预设条件的步骤包括：
根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图确定总损失值，并判断所述总损失值是否小于预设阈值；
若否，则根据预设的参数学习率对所述学生网络模型的模型参数进行更新，直至所述总损失值小于预设阈值。
3.根据权利要求2所述的图像超分辨重构模型的生成方法，其特征在于，所述训练图像集中包括与所述低分辨率图像对应的真实高分辨率图像，所述根据所述第一高分辨率图像、所述若干第一特征图、所述第二高分辨率图像以及所述若干第二特征图确定总损失值的步骤包括：
根据所述第一高分辨率图像和所述真实高分辨率图像，确定第一损失值；
根据所述第一高分辨率图像和所述第二高分辨率图像，确定第二损失值；
根据所述若干第一特征图和所述若干第二特征图，确定第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值，确定总损失值。
4.根据权利要求3所述的图像超分辨重构模型的生成方法，其特征在于，所述根据所述若干第一特征图和所述若干第二特征图，确定第三损失值的步骤包括：
将所述若干第一特征图和所述若干第二特征图分别转换为若干第一空间相似性矩阵和若干第二空间相似性矩阵；
根据所述若干第一空间相似性矩阵和所述若干第二空间相似性矩阵，确定第三损失值。
5.根据权利要求4所述的图像超分辨重构模型的生成方法，其特征在于，所述将所述若干第一特征图和所述若干第二特征图分别转换为若干第一空间相似性矩阵和若干第二空间相似性矩阵的步骤包括：
对所述若干第一特征图和所述若干第二特征图分别进行归一化处理，得到归一化后的若干第一特征图和归一化后的若干第二特征图；
对归一化后的若干第一特征图和归一化后的若干第二特征图分别进行矩阵乘法运算，得到若干第一空间相似性矩阵和若干第二空间相似性矩阵。
6.根据权利要求5所述的图像超分辨重构模型的生成方法，其特征在于，所述对所述若干第一特征图和所述若干第二特征图分别进行归一化处理，得到归一化后的若干第一特征图和归一化后的若干第二特征图的步骤包括：
将所述若干第一特征图和所述若干第二特征图转换为预设维度的若干第三特征图和若干第四特征图；
对所述若干第三特征图中的各个像素和所述若干第四特征图中的各个像素进行归一化处理，得到归一化后的若干第一特征图和归一化后的若干第二特征图。
7.根据权利要求1所述的图像超分辨重构模型的生成方法，其特征在于，所述将训练图像集中的低分辨率图像分别输入预设学生网络模型和预先训练的教师网络模型的步骤之前包括：
将所述训练图像集中的低分辨率图像输入预设教师网络模型，并获取所述教师网络模型输出的第三高分辨率图像；其中，所述训练图像集中包括低分辨率图像和与所述低分辨率图像对应的真实高分辨率图像；
根据所述第三高分辨率图像和所述真实高分辨率图像对所述教师网络模型的模型参数进行更新，直至所述教师网络模型的训练情况满足预设条件，以得到预先训练的教师网络模型。
8.一种图像超分辨重构方法，其特征在于，应用于如权利要求1-7任一项所述的图像超分辨重构模型的生成方法生成的图像超分辨重构模型，所述图像超分辨重构方法包括步骤：
获取待处理图像，并将所述待处理图像输入所述图像超分辨重构模型；
通过所述图像超分辨重构模型对所述待处理图像进行图像超分辨重构，以得到所述待处理图像对应的高分辨率图像。
9.一种终端，其特征在于，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-7任一项所述的图像超分辨重构模型的生成方法中的步骤，或者上述权利要求8所述的图像超分辨重构方法中的步骤。
10.一种存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-7任一项所述的图像超分辨重构模型的生成方法中的步骤，或者上述权利要求8所述的图像超分辨重构方法中的步骤。
CN202011108692.3A 2020-10-16 2020-10-16 图像超分辨重构模型的生成方法、重构方法及电子设备 Pending CN112200722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011108692.3A CN112200722A (zh) 2020-10-16 2020-10-16 图像超分辨重构模型的生成方法、重构方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011108692.3A CN112200722A (zh) 2020-10-16 2020-10-16 图像超分辨重构模型的生成方法、重构方法及电子设备

Publications (1)

Publication Number Publication Date
CN112200722A true CN112200722A (zh) 2021-01-08

Family

ID=74010467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011108692.3A Pending CN112200722A (zh) 2020-10-16 2020-10-16 图像超分辨重构模型的生成方法、重构方法及电子设备

Country Status (1)

Country Link
CN (1) CN112200722A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365886A (zh) * 2021-01-18 2021-02-12 深圳市友杰智新科技有限公司 语音识别模型的压缩方法、装置和计算机设备
CN113065635A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种模型的训练方法、图像增强方法及设备
CN113240580A (zh) * 2021-04-09 2021-08-10 暨南大学 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN113361510A (zh) * 2021-08-11 2021-09-07 腾讯科技（深圳）有限公司 超分网络模型训练方法、装置、电子设备以及存储介质
CN113411425A (zh) * 2021-06-21 2021-09-17 深圳思谋信息科技有限公司 视频超分模型构建处理方法、装置、计算机设备和介质
CN113487614A (zh) * 2021-09-08 2021-10-08 四川大学 胎儿超声标准切面图像识别网络模型的训练方法和装置
CN113610709A (zh) * 2021-07-30 2021-11-05 Oppo广东移动通信有限公司 模型量化方法、装置、电子设备和计算机可读存储介质
CN113793265A (zh) * 2021-09-14 2021-12-14 南京理工大学 一种基于深度特征关联性的图像超分辨率方法及系统
CN114155365A (zh) * 2022-02-07 2022-03-08 北京航空航天大学杭州创新研究院 模型训练方法、图像处理方法及相关装置
CN114708148A (zh) * 2022-04-12 2022-07-05 中国电子技术标准化研究院 一种基于迁移学习的红外图像超分辨率重建方法
WO2022227886A1 (zh) * 2021-04-27 2022-11-03 北京有竹居网络技术有限公司 超分修复网络模型生成方法、图像超分修复方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830813A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于知识蒸馏的图像超分辨率增强方法
CN110674688A (zh) * 2019-08-19 2020-01-10 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN111291836A (zh) * 2020-03-31 2020-06-16 中国科学院计算技术研究所 一种生成学生网络模型的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830813A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于知识蒸馏的图像超分辨率增强方法
CN110674688A (zh) * 2019-08-19 2020-01-10 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN111291836A (zh) * 2020-03-31 2020-06-16 中国科学院计算技术研究所 一种生成学生网络模型的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZIBIN HE 等，: "Fakd:Feature-Affinity Based Knowledge Distillation for Efficient Image Super-Resolution", 2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), 30 September 2020 (2020-09-30), pages 518 - 522 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365886B (zh) * 2021-01-18 2021-05-07 深圳市友杰智新科技有限公司 语音识别模型的训练方法、装置和计算机设备
CN112365886A (zh) * 2021-01-18 2021-02-12 深圳市友杰智新科技有限公司 语音识别模型的压缩方法、装置和计算机设备
CN113065635A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种模型的训练方法、图像增强方法及设备
CN113240580A (zh) * 2021-04-09 2021-08-10 暨南大学 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
WO2022227886A1 (zh) * 2021-04-27 2022-11-03 北京有竹居网络技术有限公司 超分修复网络模型生成方法、图像超分修复方法及装置
CN113411425A (zh) * 2021-06-21 2021-09-17 深圳思谋信息科技有限公司 视频超分模型构建处理方法、装置、计算机设备和介质
CN113411425B (zh) * 2021-06-21 2023-11-07 深圳思谋信息科技有限公司 视频超分模型构建处理方法、装置、计算机设备和介质
CN113610709A (zh) * 2021-07-30 2021-11-05 Oppo广东移动通信有限公司 模型量化方法、装置、电子设备和计算机可读存储介质
CN113610709B (zh) * 2021-07-30 2023-12-05 Oppo广东移动通信有限公司 模型量化方法、装置、电子设备和计算机可读存储介质
CN113361510A (zh) * 2021-08-11 2021-09-07 腾讯科技（深圳）有限公司 超分网络模型训练方法、装置、电子设备以及存储介质
CN113361510B (zh) * 2021-08-11 2021-11-19 腾讯科技（深圳）有限公司 超分网络模型训练方法、装置、电子设备以及存储介质
CN113487614A (zh) * 2021-09-08 2021-10-08 四川大学 胎儿超声标准切面图像识别网络模型的训练方法和装置
CN113793265A (zh) * 2021-09-14 2021-12-14 南京理工大学 一种基于深度特征关联性的图像超分辨率方法及系统
CN114155365A (zh) * 2022-02-07 2022-03-08 北京航空航天大学杭州创新研究院 模型训练方法、图像处理方法及相关装置
CN114708148A (zh) * 2022-04-12 2022-07-05 中国电子技术标准化研究院 一种基于迁移学习的红外图像超分辨率重建方法

Similar Documents

Publication Publication Date Title
CN112200722A (zh) 图像超分辨重构模型的生成方法、重构方法及电子设备
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN110992265B (zh) 图像处理方法及模型、模型的训练方法及电子设备
WO2022105638A1 (zh) 图像退化处理方法、装置、存储介质及电子设备
CN112115783A (zh) 基于深度知识迁移的人脸特征点检测方法、装置及设备
CN113159143A (zh) 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN112883983B (zh) 特征提取方法、装置和电子系统
CN115170418B (zh) 符合退化的低秩高维图像填充模型及其填充方法与系统
US20220004849A1 (en) Image processing neural networks with dynamic filter activation
CN113421276A (zh) 一种图像处理方法、装置及存储介质
CN114626984A (zh) 中文文本图像的超分辨率重建方法
US20240331370A1 (en) Multi-modal model training method and apparatus, image recognition method and apparatus, and electronic device
WO2022252640A1 (zh) 图像分类预处理、图像分类方法、装置、设备及存储介质
CN110414516B (zh) 一种基于深度学习的单个汉字识别方法
CN113936163B (zh) 一种图像处理方法、终端以及存储介质
CN114897702A (zh) 图像重构方法、装置、计算机设备和存储介质
CN114494856A (zh) 设备机型检测模型训练方法及设备机型检测方法
CN112767223B (zh) 一种图像安全取证模型生成方法、取证方法及电子设备
CN114255354B (zh) 人脸识别模型训练方法、人脸识别方法、装置及相关设备
CN112163999B (zh) 图像重建方法和装置、电子设备、可读存储介质
CN110930302B (zh) 一种图片处理方法、装置、电子设备及可读存储介质
CN111461991B (zh) 图像绘制方法、装置、计算机设备和存储介质
CN113658230A (zh) 一种光流估计方法、终端以及存储介质
CN113052756A (zh) 一种图像处理方法、智能终端及存储介质
CN115240017A (zh) 基于稀疏表达的图像处理方法、装置、终端以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination