CN110705699B - 超分辨率重建方法、装置、电子设备和可读存储介质 - Google Patents

超分辨率重建方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN110705699B
CN110705699B CN201910996079.0A CN201910996079A CN110705699B CN 110705699 B CN110705699 B CN 110705699B CN 201910996079 A CN201910996079 A CN 201910996079A CN 110705699 B CN110705699 B CN 110705699B
Authority
CN
China
Prior art keywords
resolution
low
image
sub
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910996079.0A
Other languages
English (en)
Other versions
CN110705699A (zh
Inventor
曾光
李骈臻
张长定
叶志鸿
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201910996079.0A priority Critical patent/CN110705699B/zh
Publication of CN110705699A publication Critical patent/CN110705699A/zh
Application granted granted Critical
Publication of CN110705699B publication Critical patent/CN110705699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种超分辨率重建方法、装置、电子设备和可读存储介质，该方法应用于电子设备，电子设备配置有预先训练完成的超分辨率重建模型，超分辨率重建模型通过多张低分辨率样本图像训练获得，多张低分辨率样本图像携带有不同等级强度的噪声且按不同压缩比例经压缩处理。该方法首先获得原始待重建图像、去噪声强度及去压缩比例，其中，原始待重建图像为携带有噪声且经过压缩处理的低分辨率图像。最后，根据去噪声强度及所述去压缩比例，并利用超分辨率重建模型对原始待重建图像进行超分辨率重建，获得具有高分辨率的结果图像。如此，可对具有不同等级强度的噪声和压缩伪像的图像进行超分辨率重建，扩大了超分辨率重建方法的适用性。

Description

超分辨率重建方法、装置、电子设备和可读存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种超分辨率重建方法、装置、电子设备和可读存储介质。
背景技术
图像超分辨率重建技术(Super-Resolution)是一项重要的数字图像处理技术，利用一幅或多幅低分辨率图像(或运动序列)，通过相应的算法，重建出一幅高分辨率、高信息含量的图像。该技术突破了图像传感器自身的分辨率限制，可以在不改变或提升图像采集硬件的前提下，提高图像的分辨率，改善图像质量。其主要分为两种，一种是从多张低分辨率图像合成一张高分辨率图像，另外一种是从单张低分辨率图像获取高分辨率图像。
目前，单图像超分辨率方法可以大致分为三类，即，基于插值的方法，基于优化的方法和深度学习的方法。其中，基于插值的方法，如最近邻，双线性和双三次插值等，虽然简单有效，但效果非常有限。基于优化的方法可以灵活地重建相对高质量的HR图像，但它们通常涉及耗时的优化过程。
近年来，单图像超分辨率大多采用深度学习方法。但是这种方法往往不能在处理具有噪声和压缩伪像的图像时，按照设置的去噪声强度和去压缩比例对图像进行处理，如何能够在处理具有噪声和压缩伪像的图像时，按照设置的去噪声强度和去压缩比例对图像进行处理，是值得探究的问题。
发明内容
有鉴于此，本申请提供了一种超分辨率重建方法、装置、电子设备和可读存储介质，以解决上述问题。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种超分辨率重建方法，应用于电子设备，所述电子设备配置有预先训练完成的超分辨率重建模型，所述超分辨率重建模型通过多张低分辨率样本图像训练获得，所述多张低分辨率样本图像携带有不同等级强度的噪声且按不同压缩比例经压缩处理，所述方法包括：
获得原始待重建图像、去噪声强度及去压缩比例，其中，所述原始待重建图像为携带有噪声且经过压缩处理的低分辨率图像；
根据所述去噪声强度及所述去压缩比例，并利用所述超分辨率重建模型对所述原始待重建图像进行超分辨率重建，获得具有高分辨率的结果图像。
在可选的实施方式中，所述超分辨率重建模型通过以下步骤获得：
获取多张高分辨率图像，对各所述高分辨率图像进行预处理，获得低分辨率样本图像；
基于预先构建的卷积神经网络，对多张所述低分辨率样本图像进行训练，获得超分辨率重建模型。
在可选的实施方式中，所述对各所述高分辨率图像进行预处理，获得低分辨率样本图像的步骤包括：
从多种预设插值算法中选取一种预设插值算法对所述高分辨率图像进行下采样，获得低分辨率图像；
将预设噪声添加至所述低分辨率图像，并对添加预设噪声后的低分辨率图像进行压缩，获得低分辨率样本图像。
在可选的实施方式中，所述将预设噪声添加至所述低分辨率图像，并对添加预设噪声后的低分辨率图像进行压缩，获得低分辨率样本图像的步骤包括：
将预设噪声按照预设等级强度添加至所述低分辨率图像，并对添加预设噪声后的低分辨率图像，按照预设压缩比例进行压缩处理，获得低分辨率样本图像。
在可选的实施方式中，所述预先构建的卷积神经网络模型包括主卷积神经网络，所述主卷积神经网络包括去噪及去压缩子网络、分辨率提升子网络以及质量增强子网络；
所述基于预先构建的卷积神经网络，对多张所述低分辨率样本图像进行训练的步骤包括：
基于所述去噪及去压缩子网络对每个低分辨率样本图像进行特征提取，获得各低分辨率样本图像的特征信息；
基于所述分辨率提升子网络对所述特征信息进行上采样，以提升所述低分辨率样本图像的分辨率；
基于所述质量增强子网络对提升分辨率后的低分辨率样本图像进行特征提取，获得第一初步输出结果；
根据所述第一初步输出结果和所述高分辨率图像，基于第一预设损失函数，通过反向传播算法对所述去噪及去压缩子网络、所述分辨率提升子网络以及所述质量增强子网络的权值进行调整，直至所述第一预设损失函数的输出小于第一预设阈值。
在可选的实施方式中，所述去噪及去压缩子网络包括多个普通卷积层以及空洞卷积层。
在可选的实施方式中，所述预先构建的卷积神经网络模型还包括次卷积神经网络，所述次卷积神经网络与去噪及去压缩子网络连接；
所述基于预先构建的卷积神经网络，对多张所述低分辨率样本图像进行训练的步骤还包括：
获取所述特征信息，基于所述次卷积神经网络对所述特征信息进行特征提取，获得第二初步输出结果；
根据所述第二初步输出结果和低分辨率图像，基于第二预设损失函数，通过反向传播算法对所述去噪及去压缩子网络及所述次卷积神经网络的权值进行调整，直至所述第二预设损失函数的输出小于第二预设阈值。
第二方面，本申请实施例提供一种超分辨率重建装置，应用于电子设备，所述电子设备配置有预先训练完成的超分辨率重建模型，所述超分辨率重建模型通过多张低分辨率样本图像训练获得，所述多张低分辨率样本图像携带有不同等级强度的噪声且按不同压缩比例经压缩处理，所述超分辨率重建装置包括：
获得模块，用于获得原始待重建图像、去噪声强度及去压缩比例，其中，所述原始待重建图像为携带有噪声且经过压缩处理的低分辨率图像；
超分辨率重建模型，用于根据所述去噪声强度及所述去压缩比例，对所述原始待重建图像进行超分辨率重建，获得具有高分辨率的结果图像。
第三方面，本申请实施例提供一种电子设备，所述设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如前述实施方式任意一项所述的超分辨率重建方法的步骤。
第四方面，本申请实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任一项所述的超分辨率重建方法。
本申请实施例提供了一种超分辨率重建方法、装置、电子设备和可读存储介质。该方法应用于电子设备，所述电子设备配置有预先训练完成的超分辨率重建模型，所述超分辨率重建模型通过多张低分辨率样本图像训练获得，所述多张低分辨率样本图像携带有不同等级强度的噪声且按不同压缩比例经压缩处理，该方法首先获得原始待重建图像、去噪声强度及去压缩比例，其中，所述原始待重建图像为携带有噪声且经过压缩处理的低分辨率图像。最后，根据所述去噪声强度及所述去压缩比例，并利用所述超分辨率重建模型对所述原始待重建图像进行超分辨率重建，获得具有高分辨率的结果图像。如此，可对具有不同等级强度的噪声和压缩伪像的图像进行超分辨率重建，扩大了超分辨率重建方法的适用性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图；
图2为本申请实施例提供的超分辨率重建方法的流程图；
图3为本申请实施例提供的训练获得超分辨率重建模型的流程图；
图4为本申请实施例提供的预先构建的卷积神经网络的示意框图；
图5为本申请实施例提供的超分辨率重建装置的功能模块框图。
图标：100-电子设备；110-存储器；120-处理器；130-超分辨率重建装置；131-获得模块；132-超分辨率重建模型；11-去噪及去压缩子网络；12-分辨率提升子网络；13-质量增强子网络；20-次卷积神经网络。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
请参阅图1，图1为本申请实施例提供的一种电子设备100的结构示意图。所述设备可以包括处理器120、存储器110、超分辨率重建装置130及总线，所述存储器110存储有所述处理器120可执行的机器可读指令，当电子设备100运行时，所述处理器120及所述存储器110之间通过总线通信，所述处理器120执行所述机器可读指令，并执行超分辨率重建方法的步骤。
所述存储器110、处理器120以及其他各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。
例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。超分辨率重建装置130包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120用于执行存储器110中存储的可执行模块，例如所述超分辨率重建装置130所包括的软件功能模块或计算机程序。
其中，存储器110可以是，但不限于，随机读取存储器(Random Access memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器120可以是一种集成电路芯片，具有信号处理能力。上述处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等。
还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本实施例中，存储器110用于存储程序，处理器120用于在接收到执行指令后，执行所述程序。本申请实施例任一实施方式所揭示的流程定义的方法可以应用于处理器120中，或者由所述处理器120实现。
可以理解，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供了一种超分辨率重建方法，应用于上述的电子设备100，所述电子设备100还配置有预先训练完成的超分辨率重建模型，所述超分辨率重建模型通过多张低分辨率样本图像训练获得，所述多张低分辨率样本图像携带有不同等级强度的噪声且按不同压缩比例经压缩处理。
请参阅图2，图2为本实施例提供的一种超分辨率重建方法的流程图。下面对图2所示的具体流程进行详细描述。
S100，获得原始待重建图像、去噪声强度及去压缩比例，其中，所述原始待重建图像为携带有噪声且经过压缩处理的低分辨率图像。
S200，根据所述去噪声强度及所述去压缩比例，并利用所述超分辨率重建模型对所述原始待重建图像进行超分辨率重建，获得具有高分辨率的结果图像。
例如，实际使用中，我们需要将一副携带有噪声且被压缩过的低分辨率图像A进行超分辨率重建，获得高分辨率的结果图像。
若该图像A中实际的噪声强度为20，压缩比例为10，期望得到完全无噪音且压缩比例为5的结果图像B，则可以将去噪声强度设置为20，去压缩比例设置为5。将该图像A、去噪声强度为20以及去压缩比例为5共同输入至超分辨率重建模型中，利用超分辨率重建模型对该图像A进行超分辨率重建，则可获得完全无噪音，压缩比例为5的高分辨率结果图像B。
若该图像A中实际的噪声强度为20，压缩比例为10，期望得到噪声强度为10且压缩比例为5的结果图像C，则可以将去噪声强度设置为10，去压缩比例设置为5。将该图像A、去噪声强度为10以及去压缩比例为5共同输入至超分辨率重建模型中，利用超分辨率重建模型对该图像A进行超分辨率重建，则可获得完全噪音强度为10，压缩比例为5的高分辨率结果图像C。
本申请实施例中，通过添加了不同等级强度的噪声和压缩比例的图像训练卷积神经网络，获得超分辨率重建模型，该模型可以根据去噪强度和去压缩比例的需求对图像进行超分辨率重建。
进一步地，请参阅图3，所述超分辨率重建模型通过以下步骤获得：
S1，获取多张高分辨率图像，对各所述高分辨率图像进行预处理，获得低分辨率样本图像。
本申请实施例中，可利用摄像设备，例如单反相机，拍摄的高质量4K分辨率图像作为训练卷积神经网络用的高分辨率图像，该高分辨率图像包括风景、人像等多种场景。
可通过如下方式对上述各高分辨率图像进行预处理，获得低分辨率样本图像。
首先，从多种预设插值算法中选取一种预设插值算法对所述高分辨率图像进行下采样，获得低分辨率图像。
经发明人研究发现，目前，现有技术中的超分辨率重建方法，大多针对一种降采样方式的图像(如双三次插值降采样)进行训练和重建，无法对其他降采样的图像进行重建，或重建效果欠佳。
因此，本申请实施例中，多种预设插值算法包括了最近邻插值法、双线性插值法和双三次插值法。随机使用上述的预设插值算法对高分辨率图像进行下采样，获得低分辨率图像，如此，可进一步提高重建的可扩展性，提高超分辨率重建的效果。
接着，将预设噪声添加至所述低分辨率图像，并对添加预设噪声后的低分辨率图像进行压缩，获得低分辨率样本图像。
本申请实施例中预设噪声可以是高斯噪声，压缩方式可以是JPEG压缩。
作为一种实施方式，可将预设噪声按照预设等级强度添加至所述低分辨率图像，并对添加预设噪声后的低分辨率图像，按照预设压缩比例进行压缩处理，获得低分辨率样本图像。
其中，预设等级强度与预设压缩比例也为随机选取，如此，使得用于训练的低分辨率样本图像为包括不同等级强度的噪声和经过不同压缩比例进行压缩后的样本图像。同时对应的压缩比例与等级强度将会同样被记录用于训练。使得模型能够按照需要处理具有不同噪声和不同压缩伪像的图像。
S2，基于预先构建的卷积神经网络，对多张所述低分辨率样本图像进行训练，获得超分辨率重建模型。
由于传统卷积神经网络中的池化层的下采样操作会造成图像的细节丢失，为了解决这个问题，本申请实施例中将池化层去除，并将普通卷积层按照预设间隔替换为空洞卷积层。该空洞卷积层可在去除池化层的同时，不降低网络的感受野，从而重构出高分辨率图像。因此，对于重建超分辨率图像，本申请实施例中的卷积神经网络相较于传统的卷积神经网络具有更优的性能。
请结合参阅图4，所述预先构建的卷积神经网络模型包括主卷积神经网络，所述主卷积神经网络包括去噪及去压缩子网络11、分辨率提升子网络12以及质量增强子网络13。
作为一种实施方式，去噪及去压缩子网络11包括多个依次连接的卷积组。其中，所述卷积组包括普通卷积层以及空洞卷积层，该普通卷积层与空度卷积层间隔设置，可消除因空洞卷积带来的棋盘问题。
分辨率提升子网络12为上采样层，作为一种实施方式，本申请实施例中上采样层可以是PixelShuffle。
质量增强子网络13包括多个普通卷积层，本申请实施例中，质量增强子网络13中的普通卷积层的数量为3。
训练时，输入尺寸为W×H×5的低分辨率样本图像
Figure BDA0002239754720000121
其中，W为图片宽度，H为图片高度，5为图像的红绿蓝3个通道、1个噪声通道以及1个压缩通道。
首先，基于所述去噪及去压缩子网络11对每个低分辨率样本图像
Figure BDA0002239754720000131
进行特征提取，获得各低分辨率样本图像
Figure BDA0002239754720000132
的特征信息。
其次，基于所述分辨率提升子网络12对所述特征信息进行上采样，以提升所述低分辨率样本图像
Figure BDA0002239754720000133
的分辨率。
接着，基于所述质量增强子网络13对提升分辨率后的低分辨率样本图像
Figure BDA0002239754720000134
进行特征提取，获得第一初步输出结果
Figure BDA0002239754720000135
最后，根据所述第一初步输出结果
Figure BDA0002239754720000136
和所述高分辨率图像Ihr，基于第一预设损失函数(loss1)，通过反向传播算法对所述去噪及去压缩子网络11、所述分辨率提升子网络12以及所述质量增强子网络13的权值进行调整，直至所述第一预设损失函数的输出小于第一预设阈值。
本申请实施例中，第一损失函数可以为均方差函数，用于计算第一初步输出结果
Figure BDA0002239754720000137
与高分辨率图像Ihr的差异，获得第一差异值。通过反向传播算法对去噪及去压缩子网络11、分辨率提升子网络12以及质量增强子网络13的权值进行调整，直至该第一差异值小于第一预设阈值。
本申请实施例中，所述预先构建的卷积神经网络模型还包括次卷积神经网络20，所述次卷积神经网络20与去噪及去压缩子网络11连接，用于辅助所述主卷积神经网络进行训练，以获得更好的去噪和去压缩效果。
本申请实施例中，次卷积神经网络20包括多个依次连接的普通卷积层。本申请实施例中，普通卷积层的数量为3，作为一种实施方式，辅助所述主卷积神经网络进行训练的步骤可以包括：
首先，获取所述特征信息，基于所述次卷积神经网络20对所述特征信息进行特征提取，获得第二初步输出结果
Figure BDA0002239754720000141
最后，根据所述第二初步输出结果
Figure BDA0002239754720000142
和低分辨率图像Ilr，基于第二预设损失函数(loss2)，通过反向传播算法对所述去噪及去压缩子网络11及所述次卷积神经网络20的权值进行调整，直至所述第二预设损失函数的输出小于第二预设阈值。
其中，低分辨率图像Ilr为步骤S1中，从多种预设插值算法中选取一种预设插值算法对所述高分辨率图像进行下采样，获得的低分辨率图像。
本申请实施例中，第二损失函数可以为绝对值函数，用于计算第二初步输出结果
Figure BDA0002239754720000143
与低分辨率图像Ilr的差异，获得第二差异值。通过反向传播算法对去噪及去压缩子网络及次卷积神经网络的权值进行调整，直至第二预设损失函数的输出小于第二预设阈值。如此，完成对预设的卷积神经网络的训练，获得超分辨率重建模型。
采用两种不同的损失函数同时对预先构建的卷积神经网络模型进行训练，如此，可获得更好的超分辨率重建效果。
请结合参阅图5，本实施例也提供了一种超分辨率重建装置130，应用于电子设备100，所述电子设备100配置有预先训练好的超分辨率重建模型132，所述超分辨率重建模型132通过多张低分辨率样本图像训练获得，所述多张低分辨率样本图像携带有不同等级强度的噪声且按不同压缩比例经压缩处理，所述超分辨率重建装置130包括：
获得模块131，用于获得原始待重建图像、去噪声强度及去压缩比例，其中，所述原始待重建图像为携带有噪声且经过压缩处理的低分辨率图像；
超分辨率重建模型132，用于根据所述去噪声强度及所述去压缩比例，对所述原始待重建图像进行超分辨率重建，获得具有高分辨率的结果图像。
可以理解，本申请实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。
本申请实施例还提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任一项所述的超分辨率重建方法。
综上所述，本申请实施例提供了一种超分辨率重建方法、装置、电子设备100和可读存储介质。该方法应用于电子设备，所述电子设备配置有预先训练完成的超分辨率重建模型，所述超分辨率重建模型通过多张低分辨率样本图像训练获得，所述多张低分辨率样本图像携带有不同等级强度的噪声且按不同压缩比例经压缩处理，该方法首先获得原始待重建图像、去噪声强度及去压缩比例，其中，所述原始待重建图像为携带有噪声且经过压缩处理的低分辨率图像。最后，根据所述去噪声强度及所述去压缩比例，并利用所述超分辨率重建模型对所述原始待重建图像进行超分辨率重建，获得具有高分辨率的结果图像。如此，可对具有不同等级强度的噪声和压缩伪像的图像进行超分辨率重建，扩大了超分辨率重建的适用性。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种超分辨率重建方法，其特征在于，应用于电子设备，所述电子设备配置有预先训练完成的超分辨率重建模型，所述超分辨率重建模型通过多张低分辨率样本图像训练获得，所述多张低分辨率样本图像携带有不同等级强度的噪声且按不同压缩比例经压缩处理，所述方法包括：
获得原始待重建图像、去噪声强度及去压缩比例，其中，所述原始待重建图像为携带有噪声且经过压缩处理的低分辨率图像；
根据所述去噪声强度及所述去压缩比例，并利用所述超分辨率重建模型对所述原始待重建图像进行超分辨率重建，获得具有高分辨率的结果图像；
所述超分辨率重建模型通过以下步骤获得：
获取多张高分辨率图像，对各所述高分辨率图像进行预处理，获得低分辨率样本图像；
基于预先构建的卷积神经网络，对多张所述低分辨率样本图像进行训练，获得超分辨率重建模型；
所述对各所述高分辨率图像进行预处理，获得低分辨率样本图像的步骤包括：
从多种预设插值算法中选取一种预设插值算法对所述高分辨率图像进行下采样，获得低分辨率图像；
将预设噪声添加至所述低分辨率图像，并对添加预设噪声后的低分辨率图像进行压缩，获得低分辨率样本图像；
所述将预设噪声添加至所述低分辨率图像，并对添加预设噪声后的低分辨率图像进行压缩，获得低分辨率样本图像的步骤包括：
将预设噪声按照预设等级强度添加至所述低分辨率图像，并对添加预设噪声后的低分辨率图像，按照预设压缩比例进行压缩处理，获得低分辨率样本图像；
所述预先构建的卷积神经网络模型包括主卷积神经网络，所述主卷积神经网络包括去噪及去压缩子网络、分辨率提升子网络以及质量增强子网络；
所述基于预先构建的卷积神经网络，对多张所述低分辨率样本图像进行训练的步骤包括：
基于所述去噪及去压缩子网络对每个低分辨率样本图像进行特征提取，获得各低分辨率样本图像的特征信息；
基于所述分辨率提升子网络对所述特征信息进行上采样，以提升所述低分辨率样本图像的分辨率；
基于所述质量增强子网络对提升分辨率后的低分辨率样本图像进行特征提取，获得第一初步输出结果；
根据所述第一初步输出结果和所述高分辨率图像，基于第一预设损失函数，通过反向传播算法对所述去噪及去压缩子网络、所述分辨率提升子网络以及所述质量增强子网络的权值进行调整，直至所述第一预设损失函数的输出小于第一预设阈值；
所述去噪及去压缩子网络包括多个普通卷积层以及空洞卷积层；
所述预先构建的卷积神经网络模型还包括次卷积神经网络，所述次卷积神经网络与去噪及去压缩子网络连接；
所述基于预先构建的卷积神经网络，对多张所述低分辨率样本图像进行训练的步骤还包括：
获取所述特征信息，基于所述次卷积神经网络对所述特征信息进行特征提取，获得第二初步输出结果；
根据所述第二初步输出结果和低分辨率图像，基于第二预设损失函数，通过反向传播算法对所述去噪及去压缩子网络及所述次卷积神经网络的权值进行调整，直至所述第二预设损失函数的输出小于第二预设阈值。
2.一种超分辨率重建装置，其特征在于，应用于电子设备，所述电子设备配置有预先训练完成的超分辨率重建模型，所述超分辨率重建模型通过多张低分辨率样本图像训练获得，所述多张低分辨率样本图像携带有不同等级强度的噪声且按不同压缩比例经压缩处理，所述超分辨率重建装置包括：
获得模块，用于获得原始待重建图像、去噪声强度及去压缩比例，其中，所述原始待重建图像为携带有噪声且经过压缩处理的低分辨率图像；
超分辨率重建模型，用于根据所述去噪声强度及所述去压缩比例，对所述原始待重建图像进行超分辨率重建，获得具有高分辨率的结果图像；
所述超分辨率重建模型是按照以下方式获得：
获取多张高分辨率图像，对各所述高分辨率图像进行预处理，获得低分辨率样本图像；基于预先构建的卷积神经网络，对多张所述低分辨率样本图像进行训练，获得超分辨率重建模型；
从多种预设插值算法中选取一种预设插值算法对所述高分辨率图像进行下采样，获得低分辨率图像；将预设噪声添加至所述低分辨率图像，并对添加预设噪声后的低分辨率图像进行压缩，获得低分辨率样本图像；
将预设噪声按照预设等级强度添加至所述低分辨率图像，并对添加预设噪声后的低分辨率图像，按照预设压缩比例进行压缩处理，获得低分辨率样本图像；
所述预先构建的卷积神经网络模型包括主卷积神经网络，所述主卷积神经网络包括去噪及去压缩子网络、分辨率提升子网络以及质量增强子网络；基于所述去噪及去压缩子网络对每个低分辨率样本图像进行特征提取，获得各低分辨率样本图像的特征信息；基于所述分辨率提升子网络对所述特征信息进行上采样，以提升所述低分辨率样本图像的分辨率；基于所述质量增强子网络对提升分辨率后的低分辨率样本图像进行特征提取，获得第一初步输出结果；根据所述第一初步输出结果和所述高分辨率图像，基于第一预设损失函数，通过反向传播算法对所述去噪及去压缩子网络、所述分辨率提升子网络以及所述质量增强子网络的权值进行调整，直至所述第一预设损失函数的输出小于第一预设阈值；
所述去噪及去压缩子网络包括多个普通卷积层以及空洞卷积层；
所述预先构建的卷积神经网络模型还包括次卷积神经网络，所述次卷积神经网络与去噪及去压缩子网络连接；获取所述特征信息，基于所述次卷积神经网络对所述特征信息进行特征提取，获得第二初步输出结果；根据所述第二初步输出结果和低分辨率图像，基于第二预设损失函数，通过反向传播算法对所述去噪及去压缩子网络及所述次卷积神经网络的权值进行调整，直至所述第二预设损失函数的输出小于第二预设阈值。
3.一种电子设备，其特征在于，所述设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1所述的超分辨率重建方法的步骤。
4.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1所述的超分辨率重建方法。
CN201910996079.0A 2019-10-18 2019-10-18 超分辨率重建方法、装置、电子设备和可读存储介质 Active CN110705699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910996079.0A CN110705699B (zh) 2019-10-18 2019-10-18 超分辨率重建方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910996079.0A CN110705699B (zh) 2019-10-18 2019-10-18 超分辨率重建方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN110705699A CN110705699A (zh) 2020-01-17
CN110705699B true CN110705699B (zh) 2022-05-31

Family

ID=69201784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910996079.0A Active CN110705699B (zh) 2019-10-18 2019-10-18 超分辨率重建方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN110705699B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325692B (zh) * 2020-02-21 2023-06-13 厦门美图之家科技有限公司 画质增强方法、装置、电子设备和可读存储介质
CN111696034B (zh) * 2020-05-11 2023-10-27 青岛小鸟看看科技有限公司 图像处理方法、装置及电子设备
CN111598808B (zh) * 2020-05-18 2022-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及其训练方法
CN113837935A (zh) * 2020-06-24 2021-12-24 四川大学 基于增强注意力网络的压缩图像超分辨率重建方法
WO2022011571A1 (zh) * 2020-07-14 2022-01-20 Oppo广东移动通信有限公司 视频处理方法、装置、设备、解码器、系统及存储介质
CN111932462B (zh) * 2020-08-18 2023-01-03 Oppo（重庆）智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
CN114173137A (zh) * 2020-09-10 2022-03-11 北京金山云网络技术有限公司 视频编码方法、装置及电子设备
CN112396535A (zh) * 2020-11-17 2021-02-23 香港中文大学（深圳） 智能电网的管理方法、装置、设备及存储介质
CN114697709B (zh) * 2020-12-25 2023-06-06 华为技术有限公司 视频传输方法及装置
CN112669214B (zh) * 2021-01-04 2023-09-19 东北大学 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN112991203B (zh) * 2021-03-08 2024-05-07 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113108792A (zh) * 2021-03-16 2021-07-13 中山大学 Wi-Fi指纹地图重建方法、装置、终端设备及介质
CN113096010A (zh) * 2021-03-18 2021-07-09 Oppo广东移动通信有限公司 图像重建方法和设备，及存储介质
JP2023103116A (ja) * 2022-01-13 2023-07-26 Ｔｖｓ Ｒｅｇｚａ株式会社 画像処理回路
CN116757970B (zh) * 2023-08-18 2023-11-17 腾讯科技（深圳）有限公司 视频重建模型的训练方法、视频重建方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257108A (zh) * 2018-02-07 2018-07-06 浙江师范大学 一种超分辨率图像重建方法及系统
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
CN109671023A (zh) * 2019-01-24 2019-04-23 江苏大学 一种人脸图像超分辨率二次重建方法
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN109949224A (zh) * 2019-02-26 2019-06-28 北京悦图遥感科技发展有限公司 一种基于深度学习的联级超分辨率重建的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018052586A1 (en) * 2016-09-14 2018-03-22 Konica Minolta Laboratory U.S.A., Inc. Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
CN108257108A (zh) * 2018-02-07 2018-07-06 浙江师范大学 一种超分辨率图像重建方法及系统
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN109671023A (zh) * 2019-01-24 2019-04-23 江苏大学 一种人脸图像超分辨率二次重建方法
CN109949224A (zh) * 2019-02-26 2019-06-28 北京悦图遥感科技发展有限公司 一种基于深度学习的联级超分辨率重建的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"SINGLE IMAGE SUPER-RESOLUTION WITH DILATED CONVOLUTION BASED MULTI-SCALE INFORMATION LEARNING INCEPTION MODULE";Wuzhen Shi et al.;《arXiv》;20170722;全文 *
"构建带空洞卷积的深度神经网络重建高分辨率图像";张焯林等;《模式识别与人工智能》;20190331;第32卷(第3期);全文 *

Also Published As

Publication number Publication date
CN110705699A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN110705699B (zh) 超分辨率重建方法、装置、电子设备和可读存储介质
CN109889800B (zh) 图像增强方法和装置、电子设备、存储介质
CN109903226B (zh) 基于对称残差卷积神经网络的图像超分辨率重建方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN111340744B (zh) 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN114041161A (zh) 训练用于增强图像细节的神经网络模型的方法和装置
CN111325692B (zh) 画质增强方法、装置、电子设备和可读存储介质
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN109191411B (zh) 一种多任务图像重建方法、装置、设备和介质
WO2014208434A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN109146813B (zh) 一种多任务图像重建方法、装置、设备和介质
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN111178499B (zh) 一种基于生成对抗网络改进的医学图像超分辨率方法
CN111784570A (zh) 一种视频图像超分辨率重建方法及设备
CN114549308B (zh) 面向感知的具有大感受野的图像超分辨率重建方法及系统
CN111652804A (zh) 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法
CN112150400B (zh) 图像增强方法、装置和电子设备
CN112001843A (zh) 一种基于深度学习的红外图像超分辨率重建方法
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN114494022B (zh) 模型训练方法、超分辨率重建方法、装置、设备及介质
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
CN112200719B (zh) 图像处理方法、电子设备及可读存储介质
CN115511733A (zh) 一种图像退化建模方法、神经网络训练方法和装置
CN110807746B (zh) 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant