CN113538245A - 基于退化模型的超分辨率图像重建方法及系统 - Google Patents

基于退化模型的超分辨率图像重建方法及系统 Download PDF

Info

Publication number
CN113538245A
CN113538245A CN202110886250.XA CN202110886250A CN113538245A CN 113538245 A CN113538245 A CN 113538245A CN 202110886250 A CN202110886250 A CN 202110886250A CN 113538245 A CN113538245 A CN 113538245A
Authority
CN
China
Prior art keywords
resolution
image
noise
super
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110886250.XA
Other languages
English (en)
Inventor
郑敏娥
胡亮
张聃
展华益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Qiruike Technology Co Ltd
Original Assignee
Sichuan Qiruike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Qiruike Technology Co Ltd filed Critical Sichuan Qiruike Technology Co Ltd
Priority to CN202110886250.XA priority Critical patent/CN113538245A/zh
Publication of CN113538245A publication Critical patent/CN113538245A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种基于退化模型的超分辨率图像重建方法及系统，旨在解决现有的超分辨率图像重建方法在实际应用时存在效果不佳的问题，主要包括：采集真实的图像数据，构成源数据集，并从源数据集中随机抽取部分图像数据进行清洗得到高分辨率图像数据集；基于源数据集估计模糊核并提取噪声块，分别搭建模糊核收集池和噪声收集池；基于采用插值的降采样方法的广义退化模型，将高分辨率图像数据集中的高分辨率图像退化成低分辨率图像，构造有监督的SR样本；训练基于深度残差网络的图像超分模型，基于图像超分模型获得超分辨率图像。本发明提高了超分效果，特别适用于盲超分场景。

Description

基于退化模型的超分辨率图像重建方法及系统
技术领域
本发明涉及图像处理技术领域，具体来说涉及一种基于退化模型的超分辨率图像重建方法及系统。
背景技术
随着移动互联网的快速发展，智能设备逐渐普及到生活的每个角落。随之而来的是大量真实的图像数据，由于存储和传输的需要，这些图片的质量会被压缩，为了使用户获得更加高质量的视觉体验，图像恢复/超分辨率算法应运而生。超分辨率作为一项底层视觉任务，广泛应用于图片、视频修复技术中，从而实现以较低的储存和传输成本获得更高清的视觉感受。
图像超分辨率(Super Resolution，SR)是指从低分辨率(Low Resolution，LR)图像中恢复高分辨率(High Resolution，HR)图像的过程，其研究方向大致可以归结为两类：一类是研究超分模型，随着深度学习技术的飞速发展，基于深度学习的图像超分模型得到了积极探索，并经常在SR的各种基准上取得良好的性能，这些模型大多都是基于模拟数据集训练的，例如EDSR、ESRGAN等；另一类是研究退化模型，模拟真实世界的图像退化过程，用来构造训练数据对，实现盲超分，同时改善真实世界图像的超分效果，例如KernelGAN、RealSR等。
实际应用中，低分辨率图像的退化过程往往是非常复杂而且不可知的，当图像超分的预假设退化模型与真实图像的退化方式不匹配时，模型的性能会下降，甚至出现负面效果现象，因此在模拟数据集上训练的单图像超分辨率(Single Image SuperResolution，SISR)算法在实际应用场景下往往效果不佳。
发明内容
本发明旨在解决现有的基于退化模型的超分辨率图像重建方法在实际应用时存在效果不佳的问题，提出一种基于退化模型的超分辨率图像重建方法及系统。
本发明解决上述技术问题所采用的技术方案是：一方面，本发明提出一种基于退化模型的超分辨率图像重建方法，包括以下步骤：
步骤1、采集真实的图像数据，构成源数据集X，并从源数据集X中随机抽取部分图像数据进行清洗得到高分辨率图像数据集Y；
步骤2、基于源数据集X估计模糊核，搭建模糊核收集池；
步骤3、基于源数据集X提取噪声块，搭建噪声收集池；
步骤4、分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集Y中的高分辨率图像退化成低分辨率图像，构造有监督的SR样本；
步骤5、使用构造的有监督的SR样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
进一步地，步骤1中，所述真实的图像数据通过图像采集设备进行采集，具体方法包括：通过调节图像采集设备的分辨率，采集不同分辨率的真实图像。
进一步地，步骤1中，对部分图像数据进行清洗的方法包括：
IHR＝(Isrc*kbic)↓sc；
其中，Isrc∈X，Isrc表示真实的图像数据，kbic属于双三次核，↓sc表示步长为sc的降采样方法。
进一步地，步骤2中，所述搭建模糊核收集池的方法包括：
将模糊核收集池初始化为空集；
分别针对源数据集X中的所有低分辨率图像估计模糊核，并将模糊核加入模糊核收集池中。
进一步地，所述模糊核的估计方法为KernelGAN方法。
进一步地，步骤3中，所述搭建噪声收集池的方法包括：
将噪声收集池初始化为空集；
分别针对源数据集X中的所有低分辨率图像采集噪声块，判断采集的噪声块是否满足预设滤波规则，若是，则将噪声块添加到噪声收集池中，所述预设滤波规则为：
f(ni)＜v；
其中，ni表示采集的第i个噪声块，f(ni)表示方差计算函数，v表示方差最大值。
进一步地，所述噪声块的采集方法包括：
假设噪声块n为零均值的加性噪声，则Inoise＝Iclean+n，其中，Iclean表示干净不含噪声的图像，Inoise表示含有噪声的图像；
定义两种大小的图像块pi和
Figure BDA0003194300700000021
其中，pi∈Rd×d，
Figure BDA0003194300700000022
定义两种步长sg和sl；
在含有噪声的图像上，以全局步长sg滑动截取全局图像块pi,在全局图像块pi上，以局部步长sl滑动截取局部图像块
Figure BDA0003194300700000023
若全局图像块pi和局部图像块
Figure BDA0003194300700000024
满足如下性质，则该全局图像块pi为平滑图像块，将其添加到集合S中；
Figure BDA0003194300700000031
遍历所有的图片，最终得到平滑图像块集合S＝{s1,s2,...,st}；
根据平滑图像块集合获取噪声块集合V＝{v1,v2,...,vt}，其中，vi＝si-Mean(si)，i∈(1,t)。
进一步地，步骤4中，所述退化模型为：
Figure BDA0003194300700000032
其中，ILR表示低分辨率图像数据，IHR表示高分辨率图像数据，k表示模糊核，↓s表示降采样方法，n表示噪声块。
进一步地，所述降采样方法包括：最近邻插值降采样方法、双线性插值降采样方法和双三次插值降采样方法。
进一步地，步骤5中，所述基于深度残差网络的图像超分模型为后上采样超分模型，上采样方法为亚像素卷积上采样方法。
进一步地，步骤5中，所述残差网络中的残差块不包括BN层，并且残差块相加后不经过Relu层。
另一方面，本发明还提出一种基于退化模型的超分辨率图像重建系统，包括：
数据采集模块，用于采集真实的图像数据，构成源数据集X，并从源数据集X中随机抽取部分图像数据进行清洗得到高分辨率图像数据集Y；
模糊估计模块，用于基于源数据集X估计模糊核，搭建模糊核收集池；
噪声提取模块，用于基于源数据集X提取噪声块，搭建噪声收集池；
样本构建模块，用于分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集Y中的高分辨率图像退化成低分辨率图像，构造有监督的SR样本；
图像超分模块，用于使用构造的有监督的SR样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
本发明的有益效果是：
(1)本发明不需要成对的HR和LR训练数据，能够实现盲超分；
(2)本发明基于真实图像估计了退化参数，设计了更加复杂并接近于真实的图像降质框架，在此基础上构造的训练数据对，相比于模拟数据对，更具多样性；
(3)本发明能够将低质量压缩图片恢复成高分辨率图片，实现了图像分辨率的增加和图像质量的增强，并且在一定程度上解决了模拟数据集上训练的模型应用到真实数据时性能下降的问题，取得了良好的超分效果。
(4)本发明训练并优化了基于深度残差网络的图像超分模型，极大地提高了超分辨率图像的质量。
附图说明
图1为本发明实施例所述的基于退化模型的超分辨率图像重建方法的流程示意图；
图2为本发明实施例所述的图像降质框架示意图；
图3为本发明实施例所述的噪声块提取流程示意图；
图4为本发明实施例所述的基于退化模型的超分辨率图像重建系统的结构示意图。
具体实施方式
下面将结合附图对本发明的实施方式进行详细描述。
本发明所述的基于退化模型的超分辨率图像重建方法，包括以下步骤：步骤1、采集真实的图像数据，构成源数据集X，并从源数据集X中随机抽取部分图像数据进行清洗得到高分辨率图像数据集Y；步骤2、基于源数据集X估计模糊核，搭建模糊核收集池；步骤3、基于源数据集X提取噪声块，搭建噪声收集池；步骤4、分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集Y中的高分辨率图像退化成低分辨率图像，构造有监督的SR样本；步骤5、使用构造的有监督的SR样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
具体而言，首先采集不同分辨率的真实图像数据得到包含不同分辨率图像数据的源数据集X，然后从源数据集X中随机挑选部分图像数据进行清洗来得到高分辨率图像，进而构造HR-LR图像数据对，构造的具体方法为：基于源数据集X估计模糊核并提取噪声块，分别搭建模糊核收集池和噪声收集池，然后基于广义退化模型将高分辨率图像数据集Y中的高分辨率图像HR退化为低分辨率图像LR，构造有监督的SR样本，即HR-LR图像数据对。最后基于有监督的SR样本训练基于深度残差网络的图像超分模型，低分辨率图像输入至该图像超分模型中，即可得到对应的高分辨率图像。
实施例
本发明实施例所述的基于退化模型的超分辨率图像重建方法，如图1所示，包括以下步骤：
步骤S1、采集真实的图像数据，构成源数据集X，并从源数据集X中随机抽取部分图像数据进行清洗得到高分辨率图像数据集Y；
本实施例中，所述真实的图像数据通过图像采集设备进行采集，具体方法包括：通过调节图像采集设备的分辨率，采集不同分辨率的真实图像。其中，图像采集设备可以是但不限于，相机、手机等。
其中，对部分图像数据进行清洗的方法包括：
IHR＝(Isrc*kbic)↓sc；
其中，Isrc∈X，Isrc表示真实的图像数据，kbic属于双三次核，↓sc表示步长为sc的降采样方法。
步骤S2、基于源数据集X估计模糊核，搭建模糊核收集池；
本实施例中，搭建模糊核收集池的方法包括：
步骤S21、将模糊核收集池Kernel Pool初始化为空集，即K＝Φ；
步骤S22、分别针对源数据集X中的所有低分辨率图像估计模糊核k，并将模糊核k加入模糊核收集池Kernel Pool中。其中，模糊核的估计方法为KernelGAN方法。
步骤S3、基于源数据集X提取噪声块，搭建噪声收集池；
为了收集方差在一定范围内的噪声块，本实施例中，所述搭建噪声收集池的方法包括：
步骤S31、将噪声收集池Noise Pool初始化为空集，即N＝Φ；
步骤S32、分别针对源数据集X中的所有低分辨率图像采集噪声块n，如图3所示，本实施例通过统计方法找到平滑图像块，从中抽取噪声图像块n，具体方法包括：
步骤S321、假设噪声块n为零均值的加性噪声，则Inoise＝Iclean+n，其中，Iclean表示干净不含噪声的图像，Inoise表示含有噪声的图像；
步骤S322、定义两种大小的图像块pi和
Figure BDA0003194300700000051
其中，pi∈Rd×d，
Figure BDA0003194300700000052
定义两种步长sg和sl；
步骤S323、在含有噪声的图像上，以全局步长sg滑动截取全局图像块pi,在全局图像块pi上，以局部步长sl滑动截取局部图像块
Figure BDA0003194300700000053
步骤S324、若全局图像块pi和局部图像块
Figure BDA0003194300700000054
满足如下性质，则该全局图像块pi为平滑图像块，将其添加到集合S中；
Figure BDA0003194300700000055
步骤S325、遍历所有的图片，最终得到平滑图像块集合S＝{s1,s2,...,st}；
步骤S326、根据平滑图像块集合获取噪声块集合V＝{v1,v2,...,vt}，其中，vi＝si-Mean(si)，i∈(1,t)。
步骤S33、判断采集的噪声块n是否满足预设滤波规则，若是，则将噪声块n添加到噪声收集池Noise Pool中，所述预设滤波规则为：
f(ni)＜v；
其中，ni表示采集的第i个噪声块，f(ni)表示方差计算函数，v表示方差最大值。
具体而言，根据方差大小对采集的噪声块进行滤波，进而能够获取方差在一定范围内的噪声块n。
步骤S4、分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集Y中的高分辨率图像退化成低分辨率图像，构造有监督的SR样本；
本实施例中的退化模型如下：
Figure BDA0003194300700000061
其中，ILR表示低分辨率图像数据，IHR表示高分辨率图像数据，k表示模糊核，↓s表示降采样方法，n表示噪声块。
可以理解，如图2所示，本实施例通过图像降质框架对高分辨率图像数据集Y中的每一张高分辨率图像HR，进行降质操作，包含模糊降质、加噪降质以及降采样，生成对应的低分辨率图像LR，这样便制作了一对有监督的SR样本，即HR-LR图像数据对。
其中，降采样方法包括：最近邻插值降采样方法、双线性插值降采样方法和双三次插值降采样方法。
步骤S5、使用构造的有监督的SR样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
本实施例中，所述基于深度残差网络的图像超分模型为后上采样超分模型，上采样方法为亚像素卷积上采样方法，图像从低分辨率到高分辨率放大的过程，插值函数被隐含地包含在前面的卷积层中，可以自动学习到，最后一层只对图像大小做变换，前面的卷积运算在低分辨率图像上进行，因此效率会较高。本实施例所述残差网络中的残差块不包括BN层，并且残差块相加后不经过Relu层。移除BN可以减少GPU的利用率，在训练时节省内存。
在训练得到基于深度残差网络的图像超分模型后，将低分辨率图像数据输入至该图像超分模型即可得到对应的高分辨率图像。
综上所述，本实施例不需要给定成对的高分辨率HR图像和低分辨率LR图像数据对，仅需要真实的高分辨率HR图像数据，即可根据图像降质框架，对高分辨率图像HR实施退化操作，生成对应的低分辨率图像LR，自动构建HR-LR图像数据对，实现盲超分，应用场景广。并且能够将低质量压缩图片恢复成高分辨率图片，实现了图像分辨率的增加和图像质量的增强，并且在一定程度上解决了模拟数据集上训练的模型应用到真实数据时性能下降的问题，取得了良好的超分效果。
基于上述技术方案，本实施例还提出一种基于退化模型的超分辨率图像重建系统，如图4所示，包括：
数据采集模块，用于采集真实的图像数据，构成源数据集X，并从源数据集X中随机抽取部分图像数据进行清洗得到高分辨率图像数据集Y；
模糊估计模块，用于基于源数据集X估计模糊核，搭建模糊核收集池；
噪声提取模块，用于基于源数据集X提取噪声块，搭建噪声收集池；
样本构建模块，用于分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集Y中的高分辨率图像退化成低分辨率图像，构造有监督的SR样本；
图像超分模块，用于使用构造的有监督的SR样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
可以理解，由于本发明实施例所述基于退化模型的超分辨率图像重建系统是用于实现实施例所述的基于退化模型的超分辨率图像重建方法的，对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的较为简单，相关之处参见方法的部分说明即可。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程是可以通过程序指令相关的硬件来完成的，所述的程序可以存储于计算机可读取存储介质中，该程序在执行时，可包括如上各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (12)

1.基于退化模型的超分辨率图像重建方法，其特征在于，包括以下步骤：
步骤1、采集真实的图像数据，构成源数据集X，并从源数据集X中随机抽取部分图像数据进行清洗得到高分辨率图像数据集Y；
步骤2、基于源数据集X估计模糊核，搭建模糊核收集池；
步骤3、基于源数据集X提取噪声块，搭建噪声收集池；
步骤4、分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集Y中的高分辨率图像退化成低分辨率图像，构造有监督的SR样本；
步骤5、使用构造的有监督的SR样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
2.如权利要求1所述的基于退化模型的超分辨率图像重建方法，其特征在于，步骤1中，所述真实的图像数据通过图像采集设备进行采集，具体方法包括：通过调节图像采集设备的分辨率，采集不同分辨率的真实图像。
3.如权利要求1所述的基于退化模型的超分辨率图像重建方法，其特征在于，步骤1中，对部分图像数据进行清洗的方法包括：
IHR＝(Isrc*kbic)↓sc；
其中，Isrc∈X，Isrc表示真实的图像数据，kbic属于双三次核，↓sc表示步长为sc的降采样方法。
4.如权利要求1所述的基于退化模型的超分辨率图像重建方法，其特征在于，步骤2中，所述搭建模糊核收集池的方法包括：
将模糊核收集池初始化为空集；
分别针对源数据集X中的所有低分辨率图像估计模糊核，并将模糊核加入模糊核收集池中。
5.如权利要求4所述的基于退化模型的超分辨率图像重建方法，其特征在于，所述模糊核的估计方法为KernelGAN方法。
6.如权利要求1所述的基于退化模型的超分辨率图像重建方法，其特征在于，步骤3中，所述搭建噪声收集池的方法包括：
将噪声收集池初始化为空集；
分别针对源数据集X中的所有低分辨率图像采集噪声块，判断采集的噪声块是否满足预设滤波规则，若是，则将噪声块添加到噪声收集池中，所述预设滤波规则为：
f(ni)＜v；
其中，ni表示采集的第i个噪声块，f(ni)表示方差计算函数，v表示方差最大值。
7.如权利要求6所述的基于退化模型的超分辨率图像重建方法，其特征在于，所述噪声块的采集方法包括：
假设噪声块n为零均值的加性噪声，则Inoise＝Iclean+n，其中，Iclean表示干净不含噪声的图像，Inoise表示含有噪声的图像；
定义两种大小的图像块pi和
Figure FDA0003194300690000021
其中，pi∈Rd×d，
Figure FDA0003194300690000022
定义两种步长sg和sl；
在含有噪声的图像上，以全局步长sg滑动截取全局图像块pi,在全局图像块pi上，以局部步长sl滑动截取局部图像块
Figure FDA0003194300690000023
若全局图像块pi和局部图像块
Figure FDA0003194300690000024
满足如下性质，则该全局图像块pi为平滑图像块，将其添加到集合S中；
Figure FDA0003194300690000025
遍历所有的图片，最终得到平滑图像块集合S＝{s1,s2,...,st}；
根据平滑图像块集合获取噪声块集合V＝{v1,v2,...,vt}，其中，vi＝si-Mean(si)，i∈(1,t)。
8.如权利要求1所述的基于退化模型的超分辨率图像重建方法，其特征在于，步骤4中，所述退化模型为：
Figure FDA0003194300690000026
其中，ILR表示低分辨率图像数据，IHR表示高分辨率图像数据，k表示模糊核，↓s表示降采样方法，n表示噪声块。
9.如权利要求8所述的基于退化模型的超分辨率图像重建方法，其特征在于，所述降采样方法包括：最近邻插值降采样方法、双线性插值降采样方法和双三次插值降采样方法。
10.如权利要求1所述的基于退化模型的超分辨率图像重建方法，其特征在于，步骤5中，所述基于深度残差网络的图像超分模型为后上采样超分模型，上采样方法为亚像素卷积上采样方法。
11.如权利要求1所述的基于退化模型的超分辨率图像重建方法，其特征在于，步骤5中，所述残差网络中的残差块不包括BN层，并且残差块相加后不经过Relu层。
12.基于退化模型的超分辨率图像重建系统，其特征在于，包括：
数据采集模块，用于采集真实的图像数据，构成源数据集X，并从源数据集X中随机抽取部分图像数据进行清洗得到高分辨率图像数据集Y；
模糊估计模块，用于基于源数据集X估计模糊核，搭建模糊核收集池；
噪声提取模块，用于基于源数据集X提取噪声块，搭建噪声收集池；
样本构建模块，用于分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集Y中的高分辨率图像退化成低分辨率图像，构造有监督的SR样本；
图像超分模块，用于使用构造的有监督的SR样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
CN202110886250.XA 2021-08-03 2021-08-03 基于退化模型的超分辨率图像重建方法及系统 Pending CN113538245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110886250.XA CN113538245A (zh) 2021-08-03 2021-08-03 基于退化模型的超分辨率图像重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110886250.XA CN113538245A (zh) 2021-08-03 2021-08-03 基于退化模型的超分辨率图像重建方法及系统

Publications (1)

Publication Number Publication Date
CN113538245A true CN113538245A (zh) 2021-10-22

Family

ID=78090215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110886250.XA Pending CN113538245A (zh) 2021-08-03 2021-08-03 基于退化模型的超分辨率图像重建方法及系统

Country Status (1)

Country Link
CN (1) CN113538245A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463175A (zh) * 2022-01-18 2022-05-10 哈尔滨工业大学 基于深度卷积神经网络的火星图像超分辨方法
WO2023143108A1 (zh) * 2022-01-27 2023-08-03 安翰科技(武汉)股份有限公司 图像处理方法、数据集采集方法和图像处理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300122A1 (en) * 2011-05-26 2012-11-29 Microsoft Corporation Adaptive super resolution for video enhancement
CN111598808A (zh) * 2020-05-18 2020-08-28 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及其训练方法
CN112070669A (zh) * 2020-08-28 2020-12-11 西安科技大学 一种针对任意模糊核的超分辨率图像重建方法
CN112669214A (zh) * 2021-01-04 2021-04-16 东北大学 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN112927137A (zh) * 2021-03-08 2021-06-08 大连理工大学 一种用于获取盲超分辨率图像的方法、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300122A1 (en) * 2011-05-26 2012-11-29 Microsoft Corporation Adaptive super resolution for video enhancement
CN111598808A (zh) * 2020-05-18 2020-08-28 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及其训练方法
CN112070669A (zh) * 2020-08-28 2020-12-11 西安科技大学 一种针对任意模糊核的超分辨率图像重建方法
CN112669214A (zh) * 2021-01-04 2021-04-16 东北大学 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN112927137A (zh) * 2021-03-08 2021-06-08 大连理工大学 一种用于获取盲超分辨率图像的方法、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QI YANG 等: "Example-based image super-resolution via blur kernel estimation and variational reconstruction", 《PATTERN RECOGNITION LETTERS》, vol. 117, pages 83 - 89, XP093007735, DOI: 10.1016/j.patrec.2018.12.008 *
张秀 等: "基于专家场先验模型的图像超分辨重建算法", 《红外与激光工程》, vol. 48, no. 6, pages 0626002 - 1 *
郭岑 等: "空间感知残差网络的遥感图像超分辨率重建", 《测绘科学》, vol. 45, no. 5, pages 49 - 53 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463175A (zh) * 2022-01-18 2022-05-10 哈尔滨工业大学 基于深度卷积神经网络的火星图像超分辨方法
CN114463175B (zh) * 2022-01-18 2022-11-01 哈尔滨工业大学 基于深度卷积神经网络的火星图像超分辨方法
WO2023143108A1 (zh) * 2022-01-27 2023-08-03 安翰科技(武汉)股份有限公司 图像处理方法、数据集采集方法和图像处理装置

Similar Documents

Publication Publication Date Title
Wang et al. Eventsr: From asynchronous events to image reconstruction, restoration, and super-resolution via end-to-end adversarial learning
Siu et al. Review of image interpolation and super-resolution
Chan et al. An augmented Lagrangian method for total variation video restoration
CN111598808B (zh) 图像处理方法、装置、设备及其训练方法
CN102326379B (zh) 从图像中去除模糊的方法
CN111429347A (zh) 图像超分辨率重建方法、装置及计算机可读存储介质
CN109035146B (zh) 一种基于深度学习的低质量图像超分方法
CN113538245A (zh) 基于退化模型的超分辨率图像重建方法及系统
CN103761710A (zh) 基于边缘自适应的高效图像盲去模糊方法
CN112164011A (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN109767389B (zh) 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法
CN104966269A (zh) 一种多帧超分辨率成像的装置及方法
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
CN116579945B (zh) 一种基于扩散模型的夜间图像复原方法
CN111626943B (zh) 基于一阶前向后向算法的全变分图像去噪方法
CN113538258A (zh) 基于掩码的图像去模糊模型及方法
CN116385312A (zh) 基于相位相关的低照度图像去噪方法
CN117011130A (zh) 图像超分辨率的方法、装置、设备、介质及程序产品
Cheng et al. Classification-based video super-resolution using artificial neural networks
CN116188272A (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN113362338B (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理系统
CN112907456B (zh) 基于全局平滑约束先验模型的深度神经网络图像去噪方法
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法
Zhang et al. Deep residual network based medical image reconstruction
Raghuvanshi et al. Analysing image denoising using non local means algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022