CN113096013A - 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统 - Google Patents

基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统 Download PDF

Info

Publication number
CN113096013A
CN113096013A CN202110348668.5A CN202110348668A CN113096013A CN 113096013 A CN113096013 A CN 113096013A CN 202110348668 A CN202110348668 A CN 202110348668A CN 113096013 A CN113096013 A CN 113096013A
Authority
CN
China
Prior art keywords
image
resolution
network
super
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110348668.5A
Other languages
English (en)
Other versions
CN113096013B (zh
Inventor
潘金山
刘谦
唐金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202110348668.5A priority Critical patent/CN113096013B/zh
Publication of CN113096013A publication Critical patent/CN113096013A/zh
Application granted granted Critical
Publication of CN113096013B publication Critical patent/CN113096013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统，将第一分辨率图像分别代入模糊核估计网络和深度图像超分辨率网络进行估计，分别获得深度内蕴特征知识图像和模糊核；根据模糊核、第一分辨率图像和深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像，将中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。本发明通过设置图像修正网络对深度内蕴特征知识图像进行修正，进而剔除深度内蕴特征知识图像中出现伪影，进一步提高第二分辨率图像的分辨率。

Description

基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统
技术领域
本发明涉及视频分辨率重建技术领域，特别是涉及一种基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统。
背景技术
随着许多高清设备在日常生活中的广泛应用，人们迫切需要对低分辨率的图像进行超分辨率处理，以便能够在这些设备上观看到清晰的高分辨率图像，因此，图像超分辨率技术受到越来越多的关注。
单图像超分辨率技术的目标是从低分辨率图像中估计出高分辨率图像。图像超分辨率问题的成像建模的退化过程通常被定义为：
L＝SKI+n；
其中，L、I和n分别表示低分辨率图像、高分辨率图像和噪声，S和K分别表示具有比例因子的降采样矩阵和模糊核的矩阵形式。因为存在无限多成对的模糊核K和高分辨率图像I可以生成相同的低分辨率图像L，所以图像超分辨率是一个病态的问题。
目前，随着深度卷积神经网络的发展，许多任务借助深度卷积神经网络都取得了可观的效果。但是，因为图像超分辨率问题的病态性，这些方法生成的高分辨率图像并不完全满足退化模型。为了克服这一问题，有些方法利用迭代反投影方法或图像形成模型来开发各种反馈机制，确保生成的高分辨率图像满足退化模型，但这样会导致复杂的训练过程。此外，大多数图像超分辨率算法都假设模糊核是已知的(如高斯模糊核和双三次插值)，而真实场景下的退化过程中的模糊核是未知的并且十分复杂，所以在用假设的模糊核构建的数据集上训练的深度模型在真实图像上的泛化能力较差。但在实际应用场景中图像退化过程更加复杂，所以利用上述方式训练的深度模型在对真实视频高分辨率重建时，会出现虚假伪影以及错误结构信息，这类错误信息会使视觉效果降低，并且在基于重建后的高分辨率视频进行下游任务时，会造成精度下降的影响。
发明内容
本发明的目的是提供一种基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统，以改善重建高分辨率视频时出现虚假伪影以及错误结构信息的现象。
为实现上述目的，本发明提供了一种基于成像建模和知识蒸馏的盲图像超分辨重建方法，所述方法包括：
步骤S1：将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核；
步骤S2：将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像；
步骤S3：根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像；
步骤S4：将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；第二分辨率图像的分辨率大于第一分辨率图像的分辨率；
步骤S5：判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“步骤S6”，令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”；
步骤S6：更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。
可选地，所述步骤S3包括：
步骤S31：通过卷积操作，根据所述模糊核确定模糊矩阵K；
步骤S32：采用快速傅立叶变换，对
Figure BDA0003001720070000021
Figure BDA0003001720070000022
进行知识蒸馏求解，获得中间分辨率图像；其中，I*表示中间分辨率图像，I表示第二分辨率图像，L表示第一分辨率图像，K表示模糊矩阵，S表示具有比例因子的降采样矩阵，λ表示权重参数，
Figure BDA0003001720070000023
表示深度图像超分辨率网络，|| ||2表示2-范数。
可选地，所述步骤S5具体包括：
步骤S51：判断第二分辨率图像的峰值信噪比是否收敛达到稳定；如果第二分辨率图像的峰值信噪比收敛达到稳定，则输出第二分辨率图像；如果第二分辨率图像的峰值信噪比没有收敛达到稳定，则执行“步骤S6”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”；
或步骤S52：确定总损失函数
Figure BDA0003001720070000035
步骤S53：判断总损失函数
Figure BDA0003001720070000036
是否收敛保持稳定；如果总损失函数
Figure BDA0003001720070000038
收敛保持稳定，则输出第二分辨率图像；如果总损失函数
Figure BDA0003001720070000037
没有收敛保持稳定，则执行“步骤S6”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”。
可选地，所述将第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像，具体公式为：
Figure BDA0003001720070000031
其中，L表示第一分辨率图像，I′表示在第一分辨率图像中提取的深度内蕴特征知识图像，
Figure BDA0003001720070000032
表示深度图像超分辨率网络。
可选地，所述将所述中间分辨率图像输入到图像修正网络进行图像修正，获得第二分辨率图像，具体公式为：
Figure BDA0003001720070000033
其中，I表示第二分辨率图像，
Figure BDA0003001720070000034
表示图像修正网络，I*表示中间分辨率图像。
本发明还提供一种基于成像建模和知识蒸馏的盲图像超分辨重建系统，所述系统包括：
模糊核确定模块，用于将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核；
深度内蕴特征知识图像确定模块，用于将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像；
图像复原模块，用于根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像；
图像修正模块，用于将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；第二分辨率图像的分辨率大于第一分辨率图像的分辨率；
判断模块，用于判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“网络更新模块”，令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”；
网络更新模块，用于更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。
可选地，所述图像复原模块包括：
模糊矩阵确定模块，用于通过卷积操作，根据所述模糊核确定模糊矩阵K；
知识蒸馏求解模块，用于采用快速傅立叶变换，对
Figure BDA0003001720070000041
Figure BDA0003001720070000042
进行知识蒸馏求解，获得中间分辨率图像；其中，I*表示中间分辨率图像，I表示第二分辨率图像，L表示第一分辨率图像，K表示模糊矩阵，S表示具有比例因子的降采样矩阵，λ表示权重参数，
Figure BDA0003001720070000043
表示深度图像超分辨率网络，|| ||2表示2-范数。
可选地，所述判断模块具体包括：
第一判断单元，用于判断第二分辨率图像的峰值信噪比是否收敛达到稳定；如果第二分辨率图像的峰值信噪比收敛达到稳定，则输出第二分辨率图像；如果第二分辨率图像的峰值信噪比没有收敛达到稳定，则执行“网络更新模块”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”；
总损失函数确定单元，用于确定总损失函数
Figure BDA0003001720070000044
第二判断单元，用于判断总损失函数
Figure BDA0003001720070000045
是否收敛保持稳定；如果总损失函数
Figure BDA0003001720070000046
收敛保持稳定，则输出第二分辨率图像；如果总损失函数
Figure BDA0003001720070000047
没有收敛保持稳定，则执行“网络更新模块”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”。
可选地，所述将第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像，具体公式为：
Figure BDA0003001720070000051
其中，L表示第一分辨率图像，I′表示在第一分辨率图像中提取的深度内蕴特征知识图像，
Figure BDA0003001720070000052
表示深度图像超分辨率网络。
可选地，所述将所述中间分辨率图像输入到图像修正网络进行图像修正，获得第二分辨率图像，具体公式为：
Figure BDA0003001720070000053
其中，I表示第二分辨率图像，
Figure BDA0003001720070000054
表示图像修正网络，I*表示中间分辨率图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统，将第一分辨率图像分别代入模糊核估计网络和深度图像超分辨率网络进行估计，分别获得深度内蕴特征知识图像和模糊核；根据模糊核、第一分辨率图像和深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像，将中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。本发明通过设置图像修正网络对深度内蕴特征知识图像进行修正，进而剔除深度内蕴特征知识图像中出现伪影，进一步提高第二分辨率图像的分辨率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1基于成像建模和知识蒸馏的盲图像超分辨重建方法流程图；
图2为本发明实施例1模糊核估计网络结构图；
图3为本发明实施例1深度图像超分辨率网络结构图；
图4为本发明实施例1图像修正网络结构图；
图5为本发明实施例2基于成像建模和知识蒸馏的盲图像超分辨重建系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统，以改善重建高分辨率视频时出现虚假伪影以及错误结构信息的现象。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，本发明提供一种基于成像建模和知识蒸馏的盲图像超分辨重建方法，所述方法包括：
步骤S1：将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核。
步骤S2：将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像。
步骤S3：根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像。
步骤S4：将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；第二分辨率图像的分辨率大于第一分辨率图像的分辨率。
步骤S5：判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“步骤S6”，令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”。第二分辨率图像的分辨率大于第一分辨率图像的分辨率；本发明所述第一分辨率图像为低分辨率图像，所述第二分辨率图像为高分辨率图像。
步骤S6：更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。
下面对各个步骤进行详细论述：
步骤S1：将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核，具体公式为：
Figure BDA0003001720070000071
其中，
Figure BDA0003001720070000072
表示模糊核估计网络，L表示第一分辨率图像，K表示模糊核。
本发明模糊核估计网络
Figure BDA0003001720070000073
的结构及参数如图2所示。
步骤S2：将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像，具体公式为：
Figure BDA0003001720070000074
其中，L表示第一分辨率图像，I′表示在第一分辨率图像中提取的深度内蕴特征知识图像，
Figure BDA0003001720070000075
表示深度图像超分辨率网络。
本发明深度图像超分辨率网络
Figure BDA0003001720070000076
的结构及参数如图3所示。
步骤S3：根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像，具体包括：
步骤S31：通过卷积操作，根据所述模糊核K确定模糊矩阵K。
理想情况下，当模糊核和潜在高分辨率图像被准确估计时，图像退化过程严格成立。因此，可以通过以下方式估计潜在的高分辨率图像(即中间分辨率图像)：
Figure BDA0003001720070000077
然而，直接求解
Figure BDA0003001720070000078
通常会导致不稳定解。一种常用的方法是利用潜在HR图像的图像先验来约束解空间。虽然使用这种图像先验能够产生令人满意的结果，但是这些图像先验会导致复杂的优化问题。为了避免复杂的优化问题并且得到一个有效的图像先验，在恢复潜在高分辨率图像之前，本发明开发了一种有效的内部知识蒸馏方法，通过对低分辨率图像L进行知识提取得到的先验信息对解空间进行约束，具体公式为：
Figure BDA0003001720070000079
其中，I*表示中间分辨率图像，I表示第二分辨率图像，L表示第一分辨率图像，K表示模糊矩阵，S表示具有比例因子的降采样矩阵，λ表示权重参数，
Figure BDA0003001720070000081
表示深度图像超分辨率网络，|| ||2表示2-范数。
步骤S32：采用快速傅立叶变换，对
Figure BDA0003001720070000082
Figure BDA0003001720070000083
进行知识蒸馏求解，获得中间分辨率图像；其中，I*表示中间分辨率图像，I表示第二分辨率图像，L表示第一分辨率图像，K表示模糊矩阵，S表示具有比例因子的降采样矩阵，λ表示权重参数，
Figure BDA0003001720070000084
表示深度图像超分辨率网络，|| ||2表示2-范数。
如果网络
Figure BDA0003001720070000085
和网络
Figure BDA0003001720070000086
估计的不够准确，会导致复原的高分辨率图像(即深度内蕴特征知识图像)出现伪影。图像修正网络的目的是去除伪影，进而得到较好的复原效果。为了消除这些伪影，本发明开发了一个简单有效的基于深度卷积神经网络模型的图像修正网络
Figure BDA0003001720070000087
用来修正深度内蕴特征知识图像，获得最终的高分辨率图像I。
步骤S4：将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像，具体公式为：
Figure BDA0003001720070000088
其中，I表示第二分辨率图像，
Figure BDA0003001720070000089
表示图像修正网络，I*表示中间分辨率图像。
步骤S5：判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“步骤S6”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”。所述收敛条件为第二分辨率图像的分辨率大于或等于设定分辨率；所述收敛条件为第二分辨率图像的峰值信噪比是否收敛达到稳定；或总损失函数
Figure BDA00030017200700000810
是否收敛保持稳定。
步骤S5具体包括：
步骤S51：判断第二分辨率图像的峰值信噪比是否收敛达到稳定；如果第二分辨率图像的峰值信噪比收敛达到稳定，则输出第二分辨率图像；如果第二分辨率图像的峰值信噪比没有收敛达到稳定，则执行“步骤S6”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”。
或步骤S52：确定总损失函数
Figure BDA0003001720070000091
步骤S53：判断总损失函数
Figure BDA0003001720070000092
是否收敛保持稳定；如果总损失函数
Figure BDA0003001720070000093
收敛保持稳定，则输出第二分辨率图像；如果总损失函数
Figure BDA0003001720070000094
没有收敛保持稳定，则执行“步骤S6”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”。本实施例中收敛达到稳定实际为在某设定范围内变化。
步骤S52：确定总损失函数
Figure BDA0003001720070000095
具体包括：
由为了确保模糊核的准确性，本发明用模糊核估计损失函数
Figure BDA0003001720070000096
对图像进行约束，具体步骤如下：
步骤S521：根据
Figure BDA0003001720070000097
构建模糊核估计损失函数；其中，
Figure BDA0003001720070000098
表示模糊核估计损失函数，L、Igt和Kgt分别表示第一分辨率图像、真实第二分辨率图像和真实的模糊核，S表示具有比例因子的降采样矩阵，
Figure BDA0003001720070000099
表示模糊核估计网络，|| ||1表示1-范数。
由深度图像超分辨率网络
Figure BDA00030017200700000910
可得到有用的图像先验知识，本发明用特征提取损失函数
Figure BDA00030017200700000911
对深度图像超分辨率网络进行约束，具体步骤如下：
步骤S522：根据
Figure BDA00030017200700000912
构建特征提取损失函数；其中，
Figure BDA00030017200700000913
表示特征提取损失函数，L和Igt分别表示第一分辨率图像和真实第二分辨率图像，
Figure BDA00030017200700000914
为深度图像超分辨率网络。
将求得的中间分辨率图像输入到潜在高分辨图像修正网络
Figure BDA00030017200700000915
中，本发明用图像修正损失函数
Figure BDA00030017200700000916
对图像的修正过程进行约束，具体步骤如下：
步骤S523：根据
Figure BDA00030017200700000917
构建图像修正损失函数；其中，
Figure BDA00030017200700000918
表示图像修正损失函数，I*表示中间分辨率图像，
Figure BDA00030017200700000919
表示图像修正网络，Igt表示真实第二分辨率图像，|| ||1表示1-范数。
本发明图像修正网络
Figure BDA00030017200700000920
的结构及参数如图4所示。
步骤S524：根据所述模糊核估计损失函数、所述特征提取损失函数和所述图像修正损失函数确定总损失函数，具体公式为：
Figure BDA0003001720070000101
其中，
Figure BDA0003001720070000102
表示总损失函数，
Figure BDA0003001720070000103
表示模糊核估计损失函数，
Figure BDA0003001720070000104
表示特征提取损失函数，
Figure BDA0003001720070000105
表示图像修正损失函数。实施例2
如图5所示，一种基于成像建模和知识蒸馏的盲图像超分辨重建系统，所述系统包括：
模糊核确定模块501，用于将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核。
深度内蕴特征知识图像确定模块502，用于将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像。
图像复原模块503，用于根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像。
图像修正模块504，用于将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；第二分辨率图像的分辨率大于第一分辨率图像的分辨率。
判断模块505，用于判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“网络更新模块”，令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”。
网络更新模块506，用于更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。
作为一种可选的实施方式，本发明所述图像复原模块503包括：
模糊矩阵确定模块，用于通过卷积操作，根据所述模糊核确定模糊矩阵K；知识蒸馏求解模块，用于采用快速傅立叶变换，对
Figure BDA0003001720070000106
Figure BDA0003001720070000107
进行知识蒸馏求解，获得中间分辨率图像；其中，I*表示中间分辨率图像，I表示第二分辨率图像，L表示第一分辨率图像，K表示模糊矩阵，S表示具有比例因子的降采样矩阵，λ表示权重参数，
Figure BDA0003001720070000108
表示深度图像超分辨率网络，|| ||2表示2-范数。
作为一种可选的实施方式，本发明所述判断模块505具体包括：
第一判断单元，用于判断第二分辨率图像的峰值信噪比是否收敛达到稳定；如果第二分辨率图像的峰值信噪比收敛达到稳定，则输出第二分辨率图像；如果第二分辨率图像的峰值信噪比没有收敛达到稳定，则执行“网络更新模块”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”。
总损失函数确定单元，用于确定总损失函数
Figure BDA0003001720070000111
第二判断单元，用于判断总损失函数
Figure BDA0003001720070000112
是否收敛保持稳定；如果总损失函数
Figure BDA0003001720070000113
收敛保持稳定，则输出第二分辨率图像；如果总损失函数
Figure BDA0003001720070000114
没有收敛保持稳定，则执行“网络更新模块”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”。
本发明利用深度内蕴特征知识蒸馏的方法对低分辨率图像形成模型进行约束，然后基于深度卷积神经网络从输入的低分辨率图像中估计出模糊核，最后根据图像盲超分辨率问题中的图像形成过程，实现对高分辨率图像的恢复。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于成像建模和知识蒸馏的盲图像超分辨重建方法，其特征在于，所述方法包括：
步骤S1：将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核；
步骤S2：将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像；
步骤S3：根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像；
步骤S4：将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；第二分辨率图像的分辨率大于第一分辨率图像的分辨率；
步骤S5：判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“步骤S6”，令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”；
步骤S6：更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。
2.根据权利要求1所述的基于成像建模和知识蒸馏的盲图像超分辨重建方法，其特征在于，所述步骤S3包括：
步骤S31：通过卷积操作，根据所述模糊核确定模糊矩阵K；
步骤S32：采用快速傅立叶变换，对
Figure FDA0003001720060000011
Figure FDA0003001720060000012
进行知识蒸馏求解，获得中间分辨率图像；其中，I*表示中间分辨率图像，I表示第二分辨率图像，L表示第一分辨率图像，K表示模糊矩阵，S表示具有比例因子的降采样矩阵，λ表示权重参数，
Figure FDA0003001720060000013
表示深度图像超分辨率网络，|| ||2表示2-范数。
3.根据权利要求1所述的基于成像建模和知识蒸馏的盲图像超分辨重建方法，其特征在于，所述步骤S5具体包括：
步骤S51：判断第二分辨率图像的峰值信噪比是否收敛达到稳定；如果第二分辨率图像的峰值信噪比收敛达到稳定，则输出第二分辨率图像；如果第二分辨率图像的峰值信噪比没有收敛达到稳定，则执行“步骤S6”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”；
或步骤S52：确定总损失函数
Figure FDA0003001720060000021
步骤S53：判断总损失函数
Figure FDA0003001720060000022
是否收敛保持稳定；如果总损失函数
Figure FDA0003001720060000023
收敛保持稳定，则输出第二分辨率图像；如果总损失函数
Figure FDA0003001720060000024
没有收敛保持稳定，则执行“步骤S6”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”。
4.根据权利要求1所述的基于成像建模和知识蒸馏的盲图像超分辨重建方法，其特征在于，所述将第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像，具体公式为：
Figure FDA0003001720060000025
其中，L表示第一分辨率图像，I′表示在第一分辨率图像中提取的深度内蕴特征知识图像，
Figure FDA0003001720060000026
表示深度图像超分辨率网络。
5.根据权利要求1所述的基于成像建模和知识蒸馏的盲图像超分辨重建方法，其特征在于，所述将所述中间分辨率图像输入到图像修正网络将所述中间分辨率图像输入到图像修正网络进行图像修正，获得第二分辨率图像，具体公式为：
Figure FDA0003001720060000027
其中，I表示第二分辨率图像，
Figure FDA0003001720060000028
表示图像修正网络，I*表示中间分辨率图像。
6.一种基于成像建模和知识蒸馏的盲图像超分辨重建系统，其特征在于，所述系统包括：
模糊核确定模块，用于将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核；
深度内蕴特征知识图像确定模块，用于将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像；
图像复原模块，用于根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像；
图像修正模块，用于将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；第二分辨率图像的分辨率大于第一分辨率图像的分辨率；
判断模块，用于判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“网络更新模块”，令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”；
网络更新模块，用于更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。
7.根据权利要求6所述的基于成像建模和知识蒸馏的盲图像超分辨重建系统，其特征在于，所述图像复原模块包括：
模糊矩阵确定模块，用于通过卷积操作，根据所述模糊核确定模糊矩阵K；
知识蒸馏求解模块，用于采用快速傅立叶变换，对
Figure FDA0003001720060000031
Figure FDA0003001720060000032
进行知识蒸馏求解，获得中间分辨率图像；其中，I*表示中间分辨率图像，I表示第二分辨率图像，L表示第一分辨率图像，K表示模糊矩阵，S表示具有比例因子的降采样矩阵，λ表示权重参数，
Figure FDA0003001720060000033
表示深度图像超分辨率网络，|| ||2表示2-范数。
8.根据权利要求6所述的基于成像建模和知识蒸馏的盲图像超分辨重建系统，其特征在于，所述判断模块具体包括：
第一判断单元，用于判断第二分辨率图像的峰值信噪比是否收敛达到稳定；如果第二分辨率图像的峰值信噪比收敛达到稳定，则输出第二分辨率图像；如果第二分辨率图像的峰值信噪比没有收敛达到稳定，则执行“网络更新模块”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”；
总损失函数确定单元，用于确定总损失函数
Figure FDA0003001720060000034
第二判断单元，用于判断总损失函数
Figure FDA0003001720060000035
是否收敛保持稳定；如果总损失函数
Figure FDA0003001720060000036
收敛保持稳定，则输出第二分辨率图像；如果总损失函数
Figure FDA0003001720060000037
没有收敛保持稳定，则执行“网络更新模块”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”。
9.根据权利要求6所述的基于成像建模和知识蒸馏的盲图像超分辨重建系统，其特征在于，所述将第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像，具体公式为：
Figure FDA0003001720060000041
其中，L表示第一分辨率图像，I′表示在第一分辨率图像中提取的深度内蕴特征知识图像，
Figure FDA0003001720060000042
表示深度图像超分辨率网络。
10.根据权利要求6所述的基于成像建模和知识蒸馏的盲图像超分辨重建系统，其特征在于，所述将所述中间分辨率图像输入到图像修正网络将所述中间分辨率图像输入到图像修正网络进行图像修正，获得第二分辨率图像，具体公式为：
Figure FDA0003001720060000043
其中，I表示第二分辨率图像，
Figure FDA0003001720060000044
表示图像修正网络，I*表示中间分辨率图像。
CN202110348668.5A 2021-03-31 2021-03-31 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统 Active CN113096013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110348668.5A CN113096013B (zh) 2021-03-31 2021-03-31 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110348668.5A CN113096013B (zh) 2021-03-31 2021-03-31 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统

Publications (2)

Publication Number Publication Date
CN113096013A true CN113096013A (zh) 2021-07-09
CN113096013B CN113096013B (zh) 2021-11-26

Family

ID=76671775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110348668.5A Active CN113096013B (zh) 2021-03-31 2021-03-31 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统

Country Status (1)

Country Link
CN (1) CN113096013B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724134A (zh) * 2021-08-20 2021-11-30 广东工业大学 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
CN114202459A (zh) * 2021-10-26 2022-03-18 北京工业大学 一种基于深度先验的盲图像超分辨率方法
CN114494015A (zh) * 2022-01-25 2022-05-13 西安电子科技大学 基于盲超分辨率网络的图像重建方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140354886A1 (en) * 2013-05-29 2014-12-04 Yeda Research & Development Co. Ltd. Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN105931189A (zh) * 2016-05-10 2016-09-07 浙江大学 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置
CN106251297A (zh) * 2016-07-19 2016-12-21 四川大学 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法
CN108492270A (zh) * 2018-03-23 2018-09-04 沈阳理工大学 一种基于模糊核估计和变分重构的超分辨率方法
CN108830813A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于知识蒸馏的图像超分辨率增强方法
CN109767389A (zh) * 2019-01-15 2019-05-17 四川大学 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法
CN111369442A (zh) * 2020-03-10 2020-07-03 西安电子科技大学 基于模糊核分类与注意力机制的遥感图像超分辨重建方法
CN112001866A (zh) * 2020-10-28 2020-11-27 季华实验室 多退化模型太赫兹图像复原方法、装置、存储介质和终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140354886A1 (en) * 2013-05-29 2014-12-04 Yeda Research & Development Co. Ltd. Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN105931189A (zh) * 2016-05-10 2016-09-07 浙江大学 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置
CN106251297A (zh) * 2016-07-19 2016-12-21 四川大学 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法
CN108492270A (zh) * 2018-03-23 2018-09-04 沈阳理工大学 一种基于模糊核估计和变分重构的超分辨率方法
CN108830813A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于知识蒸馏的图像超分辨率增强方法
CN109767389A (zh) * 2019-01-15 2019-05-17 四川大学 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法
CN111369442A (zh) * 2020-03-10 2020-07-03 西安电子科技大学 基于模糊核分类与注意力机制的遥感图像超分辨重建方法
CN112001866A (zh) * 2020-10-28 2020-11-27 季华实验室 多退化模型太赫兹图像复原方法、装置、存储介质和终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
程松盛等: "基于深度学习特征匹配的视频超分辨率方法", 《计算机科学》 *
高钦泉等: "基于知识蒸馏的超分辨率卷积神经网络压缩方法", 《计算机应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724134A (zh) * 2021-08-20 2021-11-30 广东工业大学 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
CN114202459A (zh) * 2021-10-26 2022-03-18 北京工业大学 一种基于深度先验的盲图像超分辨率方法
CN114202459B (zh) * 2021-10-26 2024-03-22 北京工业大学 一种基于深度先验的盲图像超分辨率方法
CN114494015A (zh) * 2022-01-25 2022-05-13 西安电子科技大学 基于盲超分辨率网络的图像重建方法

Also Published As

Publication number Publication date
CN113096013B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN113096013B (zh) 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
Huang et al. Robust single-image super-resolution based on adaptive edge-preserving smoothing regularization
Schmidt et al. Discriminative non-blind deblurring
US11741581B2 (en) Training method for image processing model, image processing method, network device, and storage medium
CN110675347B (zh) 一种基于组稀疏表示的图像盲复原方法
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN113222855B (zh) 一种图像恢复方法、装置和设备
CN106169174B (zh) 一种图像放大方法
CN111784570A (zh) 一种视频图像超分辨率重建方法及设备
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
Ren et al. Multiscale structure guided diffusion for image deblurring
CN114331886A (zh) 一种基于深度特征的图像去模糊方法
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
Chen et al. CERL: A unified optimization framework for light enhancement with realistic noise
Zheng et al. Depth image super-resolution using multi-dictionary sparse representation
CN112801876A (zh) 信息处理方法、装置及电子设备和存储介质
CN116208812A (zh) 一种基于立体事件和强度相机的视频插帧方法及系统
CN115909088A (zh) 基于超分辨特征聚合的光学遥感图像目标检测方法
CN115511733A (zh) 一种图像退化建模方法、神经网络训练方法和装置
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
CN110648291B (zh) 一种基于深度学习的无人机运动模糊图像的复原方法
Yuan et al. Evaluating the robustness of image matting algorithm
CN110895790B (zh) 基于后验降质信息估计的场景图像超分辨方法
Chopade et al. Lucy Richardson and Mean Modified Wiener Filter for Construction of Super-Resolution Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant