CN111754405B - 图像降分辨率及复原方法、设备及可读存储介质 - Google Patents

图像降分辨率及复原方法、设备及可读存储介质 Download PDF

Info

Publication number
CN111754405B
CN111754405B CN202010577359.0A CN202010577359A CN111754405B CN 111754405 B CN111754405 B CN 111754405B CN 202010577359 A CN202010577359 A CN 202010577359A CN 111754405 B CN111754405 B CN 111754405B
Authority
CN
China
Prior art keywords
image
resolution
low
restoration
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010577359.0A
Other languages
English (en)
Other versions
CN111754405A (zh
Inventor
王荣刚
王振宇
韩冰杰
李旭峰
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN202010577359.0A priority Critical patent/CN111754405B/zh
Priority to PCT/CN2020/111771 priority patent/WO2021258529A1/zh
Publication of CN111754405A publication Critical patent/CN111754405A/zh
Application granted granted Critical
Publication of CN111754405B publication Critical patent/CN111754405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像降分辨率及复原方法、设备及可读存储介质，所述图像降分辨率及复原方法包括：获取待处理图像，并确定所述待处理图像对应的图像梯度信息，进而将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像，进而将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像，将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像。本申请解决了图像降分辨率后复原精确度低的技术问题。

Description

图像降分辨率及复原方法、设备及可读存储介质
技术领域
本申请涉及人工智能领域，尤其涉及一种图像降分辨率及复原方法、设备及可读存储介质。
背景技术
随着计算机软件和人工智能的不断发展，神经网络模型的应用也越来越广泛，目前，在进行高分辨率图像传输或者存储时，由于高分辨率图像的图像位深度较深，占用的存储空间较大，进而需要基于神经网络将高分辨率图像降分辨率为图像位深度较低的低分辨率图像进行存储，进而在提取图像时，再把低分辨率图像复原为高分辨率图像，但是，低分辨率图像在复原为高分辨效率时，往往会无法精确复原高分辨率图像的高频信息，进而导致复原后的图像失真或者与原高分辨率图像相差较大，进而导致降分辨率图像复原的精确度极低。
发明内容
本申请的主要目的在于提供一种图像降分辨率及复原方法、设备及可读存储介质，旨在解决现有技术中图像降分辨率后复原精确度低的技术问题。
为实现上述目的，本申请提供一种图像降分辨率及复原方法，所述图像降分辨率及复原方法应用于图像降分辨率及复原方法设备，所述图像降分辨率及复原方法包括：
获取待处理图像，并确定所述待处理图像对应的图像梯度信息；
将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像；
将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像；
将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像。
可选地，所述图像梯度信息包括初始梯度图，
所述将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像的步骤包括：
对所述初始梯度图进行量化和编码，获得目标梯度图；
将所述初始低分辨率图像进行左移，获得目标存储比特位；
将所述目标梯度图存储于所述目标存储比特位中，获得所述目标低分辨率图像。
可选地，所述对所述初始梯度图进行量化和编码，获得目标梯度图的步骤包括：
确定所述待处理图像和所述初始低分辨率图像之间的差异比特位数量，并基于所述差异比特位数量，对所述初始梯度图进行量化，获得量化梯度图；
对所述量化梯度图进行降分辨率编码，获得所述目标梯度图。
可选地，所述预设图像复原模型包括梯度位深度扩展网络、图像位深度扩展及上采样网络和图像增强网络，
所述将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像的步骤包括：
在所述目标低分辨率图像中提取所述初始低分辨率图像和目标梯度图；
将所述目标梯度图输入所述梯度位深度扩展网络，对所述目标梯度图进行解码和重建，获得初始梯度图；
将所述初始低分辨率图像输入所述图像位深度扩展及上采样网络，对所述初始低分辨率图像进行深度扩展和超分辨率重建，获得初始复原图像；
将所述初始梯度图和所述初始复原图像输入所述图像增强网络，对所述初始梯度图和所述初始复原图像进行融合重建，获得所述目标复原图像。
可选地，所述对所述待处理图像进行降分辨率，获得初始低分辨率图像的步骤包括：
对所述待处理图像进行降采样，获得降采样图像；
基于预设位深度增益因子，对所述降采样图像进行降位深度处理，获得所述初始低分辨率图像。
可选地，所述预设图像复原模型包括梯度位深度扩展网络，
在所述将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像的步骤之前，所述图像降分辨率及复原方法还包括：
获取待训练网络和训练梯度信息数据以及所述训练梯度信息数据对应的的真实梯度信息数据；
基于所述训练梯度信息数据和所述真实梯度信息数据，对所述待训练网络进行迭代训练优化，直至所述待训练网络达到预设第一迭代训练结束条件，获得所述梯度位深度扩展网络。
可选地，在所述将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像的步骤之前，所述图像降分辨率及复原方法包括：
获取训练图像、所述训练图像对应的真实低分辨率图像、待训练图像降分辨率模型和待训练图像复原模型；
基于所述训练图像和所述真实低分辨率图像，对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述待训练图像降分辨率模型和所述待训练图像复原模型达到共同对应的预设第二迭代训练结束条件，获得所述预设图像降分辨率模型和所述预设图像复原模型。
可选地，所述预设第二迭代训练结束条件包括所述待训练图像降分辨率模型和所述待训练图像复原模型共同对应的总模型训练损失收敛，
所述基于所述训练图像和所述真实低分辨率图像，对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述待训练图像降分辨率模型和所述待训练图像复原模型达到共同对应的预设第二迭代训练结束条件，获得所述预设图像降分辨率模型和所述预设图像复原模型的步骤包括：
计算所述训练图像的训练图像梯度信息，并基于所述待训练图像降分辨率模型，对所述训练图像进行降分辨率，获得初始训练低分辨率图像；
将所述训练图像梯度信息存储于所述初始训练低分辨率图像，获得输出低分辨率图像；
基于所述输出低分辨率图像和所述真实低分辨率图像，计算第一模型训练损失；
基于所述待训练图像复原模型，对所述输出低分辨率图像进行高分辨率复原，获得输出高分辨率图像；
基于所述输出高分辨率图像和所述训练图像，计算第二模型训练损失；
基于所述第一模型训练损失和所述第二模型训练损失，计算所述总模型训练损失；
确定所述总模型训练损失是否收敛，若所述总模型训练损失收敛，则将所述待训练图像降分辨率模型作为所述预设图像降分辨率模型，并将所述待训练图像复原模型作为所述预设图像复原模型；
若所述总模型训练损失未收敛，则重新对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述总模型训练损失收敛。
本申请还提供一种图像降分辨率及复原方法装置，所述图像降分辨率及复原方法装置为虚拟装置，且所述图像降分辨率及复原方法装置应用于图像降分辨率及复原方法设备，所述图像降分辨率及复原方法装置包括：
确定模块，用于获取待处理图像，并确定所述待处理图像对应的图像梯度信息；
降分辨率模块，用于获将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像；
存储模块，用于将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像；
复原模块，用于将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像。
可选地，所述存储模块包括：
量化和编码单元，用于对所述初始梯度图进行量化和编码，获得目标梯度图；
左移单元，用于将所述初始低分辨率图像进行左移，获得目标存储比特位；
第一存储单元，用于将所述目标梯度图存储于所述目标存储比特位中，获得所述目标低分辨率图像；
可选地，所述量化和编码单元包括：
量化子单元，用于确定所述待处理图像和所述初始低分辨率图像之间的差异比特位数量，并基于所述差异比特位数量，对所述初始梯度图进行量化，获得量化梯度图；
编码子单元，用于对所述量化梯度图进行降分辨率编码，获得所述目标梯度图。
可选地，所述复原模块包括：
提取单元，用于在所述目标低分辨率图像中提取所述初始低分辨率图像和目标梯度图；
解码和重建单元，用于将所述目标梯度图输入所述梯度位深度扩展网络，对所述目标梯度图进行解码和重建，获得初始梯度图；
深度扩展和重建单元，用于将所述初始低分辨率图像输入所述图像位深度扩展及上采样网络，对所述初始低分辨率图像进行深度扩展和超分辨率重建，获得初始复原图像；
融合重建单元，用于将所述初始梯度图和所述初始复原图像输入所述图像增强网络，对所述初始梯度图和所述初始复原图像进行融合重建，获得所述目标复原图像。
可选地，所述降分辨率模块包括：
降采样单元，用于对所述待处理图像进行降采样，获得降采样图像；
降位深度处理单元，用于基于预设位深度增益因子，对所述降采样图像进行降位深度处理，获得所述初始低分辨率图像。
可选地，所述图像降分辨率及复原装置还包括：
第一获取模块，用于获取待训练网络和训练梯度信息数据以及所述训练梯度信息数据对应的的真实梯度信息数据；
第一迭代训练优化模块，用于基于所述训练梯度信息数据和所述真实梯度信息数据，对所述待训练网络进行迭代训练优化，直至所述待训练网络达到预设第一迭代训练结束条件，获得所述梯度位深度扩展网络。
可选地，所述图像降分辨率及复原装置还包括：
第二获取模块，用于获取训练图像、所述训练图像对应的真实低分辨率图像、待训练图像降分辨率模型和待训练图像复原模型；
第二迭代训练优化模块，用于基于所述训练图像和所述真实低分辨率图像，对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述待训练图像降分辨率模型和所述待训练图像复原模型达到共同对应的预设第二迭代训练结束条件，获得所述预设图像降分辨率模型和所述预设图像复原模型。
可选地，所述第二迭代训练优化模块包括：
第一计算单元，用于计算所述训练图像的训练图像梯度信息，并基于所述待训练图像降分辨率模型，对所述训练图像进行降分辨率，获得初始训练低分辨率图像；
第二存储单元，用于将所述训练图像梯度信息存储于所述初始训练低分辨率图像，获得输出低分辨率图像；
第二计算单元，用于基于所述输出低分辨率图像和所述真实低分辨率图像，计算第一模型训练损失；
复原单元，用于基于所述待训练图像复原模型，对所述输出低分辨率图像进行高分辨率复原，获得输出高分辨率图像；
第三计算单元，用于基于所述输出高分辨率图像和所述训练图像，计算第二模型训练损失；
第四计算单元，用于基于所述第一模型训练损失和所述第二模型训练损失，计算所述总模型训练损失；
第一判定单元，用于确定所述总模型训练损失是否收敛，若所述总模型训练损失收敛，则将所述待训练图像降分辨率模型作为所述预设图像降分辨率模型，并将所述待训练图像复原模型作为所述预设图像复原模型；
第二判定单元，用于若所述总模型训练损失未收敛，则重新对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述总模型训练损失收敛。
本申请还提供一种图像降分辨率及复原方法设备，所述图像降分辨率及复原方法设备为实体设备，所述图像降分辨率及复原方法设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述图像降分辨率及复原方法的程序，所述图像降分辨率及复原方法的程序被处理器执行时可实现如上述的图像降分辨率及复原方法的步骤。
本申请还提供一种可读存储介质，所述可读存储介质上存储有实现图像降分辨率及复原方法的程序，所述图像降分辨率及复原方法的程序被处理器执行时实现如上述的图像降分辨率及复原方法的步骤。
本申请通过获取待处理图像，并确定所述待处理图像对应的图像梯度信息，进而将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像，进而将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像，进而将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像。也即，本申请在降分辨率待处理图像之前，先计算所述待处理图像的图像梯度信息，进而在将所述待处理图像降分辨率为低分辨率图像后，将所述图像梯度信息存储于低分辨率图像中，进而在需要复原图像时，将低分辨率图像中的图像梯度信息提取出来，进而基于所述图像梯度信息，对低分辨率图像进行精确的复原，获得目标复原图像，其中，由于图像梯度信息对低分率图像复原为原来的高分辨率图像的过程具有指导作用，进而使得所述目标复原图像更加接近于原来的所述待处理图像，进而使得图像复原过程更加精确，且由于图像梯度信息存储低分辨率图像中，并不会占用额外的存储空间，进而实现了在不增加额外的存储空间的前提下，对低分辨率图像的精确复原的目的，所以，解决了图像降分辨率后复原精确度低的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请图像降分辨率及复原方法第一实施例的流程示意图；
图2为本申请图像降分辨率及复原方法第二实施例的流程示意图；
图3为本申请图像降分辨率及复原方法第三实施例的流程示意图；
图4为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种图像降分辨率及复原方法，在本申请图像降分辨率及复原方法的第一实施例中，参照图1，所述图像降分辨率及复原方法包括：
步骤A10，获取待处理图像，并确定所述待处理图像对应的图像梯度信息；
在本实施例中，需要说明的是，所述图像梯度信息为所述待处理图像中的每一所述像素点对应的梯度值组成的矩阵，所述待处理图像为需要降分辨率为更低分辨率的图像的更高分辨率的图像，例如，假设更低分辨率的图像为8bit图像，则所述待处理图像的位深度应大于8bit，例如，10bit等。
获取待处理图像，并确定所述待处理图像对应的图像梯度信息，具体地，获取待处理图像，并确定所述待处理图像对应的待处理图像像素矩阵，其中，所述待处理图像像素矩阵为所述待处理图像中各像素点对应的像素点坐标组成的矩阵，其中，所述像素点坐标对应的幅度为像素值，用于表示该像素点的图像区域的亮度，例如，假设所述像素点坐标为(3，4)，则对应的所述像素值为5等，进一步地，计算所述待处理图像像素矩阵中每一所述像素点对应的水平梯度值和垂直梯度值，进而基于每一所述像素点对应的水平梯度值和垂直梯度值，确定每一所述像素点对应的梯度值，获得所述待处理图像像素矩阵对应的图像梯度信息矩阵，也即，获得所述图像梯度信息，例如，假设所述待处理图像中某一所述像素点对应的像素点坐标为向量X(i，j)对应的相邻像素点的坐标对应的向量分别为(i+1，j)和(i，j+1)，则所述水平梯度值所述垂直梯度值为进而所述像素点对应的梯度值为/>
步骤A20，将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像；
在本实施例中，需要说明的是，所述预设图像降分辨率模型为训练好的用于进行图像降分辨率的神经网络模型。
将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像，具体地，将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降采样，以生成所述待处理图像对应的缩略图，获得降采样图像，并基于预设位深度增益因子，对所述降采样图像对应的每一像素点进行降位深度处理，以将每一像素点对应的像素值映射至预设低分辨率值域，获得所述初始低分辨率图像，其中，所述降分辨率过程如下所示：
Y＝round(DR(X)/g)
其中，Y为所述初始低分辨率图像，X为所述待处理图像，g为所述预设位深度增益因子，DR为为降采样方法，round为取整。
其中，所述对所述待处理图像进行降分辨率，获得初始低分辨率图像的步骤包括：
步骤A21，对所述待处理图像进行降采样，获得降采样图像；
在本实施例中，需要说明的是，所述降采样图像可用降采样矩阵进行表示，其中，所述降采样矩阵为所述降采样图像的像素矩阵，所述降采样的方法包括最邻近采样法、二次插值法、双三次卷积法等。
步骤A22，基于预设位深度增益因子，对所述降采样图像进行降位深度处理，获得所述初始低分辨率图像。
在本实施例中，所述初始低分辨率图像可用初始低分辨率图像矩阵进行表示，所述初始低分辨率图像矩阵为所述初始低分辨率图像的像素矩阵，所述预设位深度增益因子为基于高分辨率图像的图像位深度和低分辨率图像的图像位深度确定的位深度影响因子，用于将所述高分辨率图像的图像位深度转换为低分辨率图像的图像位深度或者将所述低分辨率图像的图像位深度转换为高分辨率图像的图像位深度，其中，所述高分辨率图像的分辨率高于所述低分辨率图像的分辨率，例如，假设高分辨率图像的图像位深度为Nbit，低分辨率图像的图像位深度为Mbit，则所述预设位深度增益因子g的计算方法如下所示：
基于预设位深度增益因子，对所述降采样图像进行降位深度处理，获得所述初始低分辨率图像，具体地，确定所述降采样图像对应的降采样矩阵，并将所述降采样矩阵图像中的每一像素值均除以所述预设位深度增益因子并取整，获得所述初始低分辨率图像矩阵。
步骤A30，将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像；
在本实施例中，需要说明的是，所述图像梯度信息包括初始梯度图，其中，所述初始梯度图为由各所述像素点对应的梯度值的信息图，所述初始梯度图像对应一初始梯度值矩阵，所述初始梯度值矩阵为用于存储各所述像素点对应的梯度值的矩阵。
另外地，需要说明的是，随着图像的位深度的不断加深，图像位中的各b比特位的视觉显著程度不同，其中，视觉显著程度较低的图像位为不显著位，而通常对不显著位上的数值进行调整，通常不会影响图像的视觉效果，例如，假设图像的图像位深度为10bit，则可判定10bit中最末位的2bit位为不显著位。
将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像，具体地，将所述初始低分辨率图像进行左移，获得左移空缺位，并将所述左移空缺位作为所述初始低分辨率图像的目标不显著位，进一步地，将所述初始梯度图进行量化和编码，获得目标梯度图，其中，所述目标梯度图与所述目标不显著位相匹配，进而将所述目标梯度图存储与所述目标不显著位中，获得目标低分辨率图像，其中，所述目标低分辨率图像与所述待处理图像的图像位深度一致，且由于所述目标明显位对所述目标低分辨率图像的视觉效果影响极低，进而所述目标低分辨率图像与所述待处理图像的视觉效果应当一致，例如，假设所述待处理图像的图像位深度为10bit，所述初始低分辨图像的图像为深度为8bit，由于所述初始低分辨图像为对所述待处理图像进行降分辨率获得的图像，进而所述初始低分辨率图像与所述待处理图像的视觉效果一致，进一步地，将所述初始低分辨率图像左移2bit，获得2bit的左移空缺位，并将2bit的左移空缺位作为所述目标不明显位，进一步地，对所述初始梯度图进行量化和编码，获得2bit的低分辨率图像的目标梯度图，进而将所述目标梯度图写入所述目标不明显位中，获得10bit目标低分辨率图像，且由于所述目标不显著位对图像的视觉效果影响极低，进而所述目标低分辨率图像与所述初始低分辨率图像的视觉效果一致，所以，所述目标低分辨率图像与所述待处理图像的视觉效果一致。
进一步地，需要说明的是，本实施例实现了将梯度图存储于图像中的目的，进而为梯度图像的存储节约了存储空间，且在将梯度图存储于图像中时，未影响图像的视觉效果，也即，在实现对图像进行精确的降分辨率及复原同时，节约了存储空间，进而节约的存储成本。
另外的，将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像的过程可用如下公式进行表示：
G＝C(Quant(Grad(X)))
Y*＝bitshift(Y,M)+G
其中，X为所述待处理图像，
其中，所述图像梯度信息包括初始梯度图，Grad代表梯度计算，Quant代表量化，C代表编码，G为所述目标梯度图，Y为所述初始低分辨率图像，M为进行左移的比特位数值，Y*为所述目标低分辨率图像，bitshift代表左移。
所述将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像的步骤包括：
步骤A31，对所述初始梯度图进行量化和编码，获得目标梯度图；
在本实施例中，对所述初始梯度图进行量化和编码，获得目标梯度图，具体地，对所述初始梯度图进行量化，获得量化梯度图，进而对所述量化梯度图进行降分辨率编码，以将所述量化梯度图由高分辨率梯度信息图降分辨率为低分辨率梯度信息图，获得所述目标梯度图。
其中，所述对所述初始梯度图进行量化和编码，获得目标梯度图的步骤包括：
步骤A311，确定所述待处理图像和所述初始低分辨率图像之间的差异比特位数量，并基于所述差异比特位数量，对所述初始梯度图进行量化，获得量化梯度图；
在本实施例中，确定所述待处理图像和所述初始低分辨率图像之间的差异比特位数量，并基于所述差异比特位数量，对所述初始梯度图进行量化，获得量化梯度图，具体地，确定所述待处理图像和所述初始低分辨率图像之间的差异比特位数量，进而将所述初始梯度图量化为所述差异比特位数量对应的量化梯度图，例如，假设所述待处理图像为10bit图像，所述初始低分辨率图像为8bit图像，进而所述量化梯度图为2bit图像。
步骤A312，对所述量化梯度图进行降分辨率编码，获得所述目标梯度图。
在本实施例中，对所述量化梯度图进行降分辨率编码，获得所述目标梯度图，具体地，基于霍夫曼编码方式，对所述量化梯度图进行降分辨率编码，以将所述量化梯度图降分辨率为所述初始低分辨率图像对应的低分辨率梯度信息图，获得所述目标梯度图。
步骤A32，将所述初始低分辨率图像进行左移，获得目标存储比特位；
在本实施例中，将所述初始低分辨率图像进行左移，获得目标存储比特位，具体地，确定所述待处理图像和所述初始低分辨率图像之间的差异比特位数量，进而基于所述差异比特位数量，将所述初始低分辨率图像进行左移，获得左移空缺位，将所述左移空缺位作为所述目标低分辨率图像对应的目标存储比特位，例如，假设所述待处理图像为10bit图像，所述初始低分辨率图像为8bit图像，则将所述初始低分辨率图像左移2bit，获得2bit的左移空缺比特位，则这2bit的左移空缺比特位即为所述目标存储比特位。
步骤A33，将所述目标梯度图存储于所述目标存储比特位中，获得所述目标低分辨率图像。
在本实施例中，将所述目标梯度图存储于所述目标存储比特位中，获得所述目标低分辨率图像，具体地，将所述目标梯度图写入所述目标存储比特位中，获得所述目标低分辨率图像。
另外地，需要说明的是，由于所述目标梯度图的数据长度并非固定值，进而在将所述目标梯度图写入所述初始低分辨率图像中，获得目标低分辨率图像时，若所述目标低分辨率图像中存在剩余存储容量，则对所述目标低分辨率图像中的剩余存储容量对应的剩余像素点缺失的比特位数值进行补全，其中，补全方法包括理想增益方法等，相同地，若所述目标低分辨率图像中的存储容量不足，则需要对所述目标梯度图进行降采样，以降分辨率所述目标梯度图的数据长度，进而将降分辨率后的目标梯度图写入所述初始低分辨率图像中。
步骤A40，将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像。
在本实施例中，需要说明的是，所述预设图像复原模型为训练好用于进行图像复原的神经网络模型，所述预设图像复原模型包括梯度位深度扩展网络、图像位深度扩展及上采样网络和图像增强网络，其中，所述梯度位深度扩展网络用于对所述梯度图进行解码和重建的神经网络，所述图像位深度扩展及上采样网络为用于对图像进行图像位深度扩展可上采样的神经网络，所述图像增强网络为基于梯度图，对图像的高频细节进行复原的神经网络。
将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像，具体地，从所述目标低分辨图像中提取所述目标梯度图和所述初始低分辨率图像，进而将所述目标梯度图输入所述梯度位深度扩展网络，对所述目标梯度图进行图像位深度扩展和解码，获得所述初始梯度图，并将所述初始低分辨率图像输入所述图像位深度扩展及上采样网络，对所述初始低分辨率图像进行图像位深度扩展和上采样，获得初始复原图像，进而将所述初始梯度图和所述初始复原图像输入所述图像增强网络，以基于所述初始梯度图，提升所述图初始复原图像的高频细节，获得目标复原图像。
在一种可实施的方案中，所述梯度位深度扩展网络包括一个位深度预扩展层、一个3*3的输入层、N1个残差块和3*3的输出层，其中，所述位深度预扩展层为基于预设位深度增益因子对图像进行初步位深度提升的神经网络层，所述输入层用于将图像转化为64张特征图，所述输出层用于将64张特征图重构为输出结果，一个所述残差块包括一个64通道的扩张卷积层、一个ReLU激活函数层、一个64通道的3*3的卷积层、以及一个连接两端的残差连接，其中，所述残差块用于对图像进行扩张卷积，以增大图像的感受野，另外地，所述图像位深度扩展及上采样网络包括一个位深度预扩展层、一个3*3的输入层、N2个的残差块、一个从输入层后到残差块输出后的残差连接、一个上采样层、一个从上采样层后到残差块输出后的残差连接、一个3*3的输出层，其中，所述上采样层用于对图像进行特征提取与重构，所述图像增强网络包括一个3*3的输入层、N3个卷积层、一个从输入层后到卷积层后的残差连接和一个3*3的输出层，其中，N1、N2和N3在进行所述预设图像降分辨率模型和预设图像复原模型的训练时进行确定。
其中，所述预设图像复原模型包括梯度位深度扩展网络、图像位深度扩展及上采样网络和图像增强网络，
所述将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像的步骤包括：
步骤A41，在所述目标低分辨率图像中提取所述初始低分辨率图像和目标梯度图；
在本实施例中，在所述目标低分辨率图像中提取所述初始低分辨率图像和目标梯度图，具体地，在所述目标低分辨率图像中的所述目标不显著位中提取所述目标梯度图，并在所述目标低分辨率图像中的除所述目标不显著位之外的其他比特位中提取所述初始低分辨率图像。
步骤A42，将所述目标梯度图输入所述梯度位深度扩展网络，对所述目标梯度图进行解码和重建，获得初始梯度图；
将所述目标梯度图输入所述梯度位深度扩展网络，对所述目标梯度图进行解码和重建，获得初始梯度图，具体地，将所述目标梯度图输入所述梯度位深度扩展网络，对所述目标梯度图进行解码，获得解码梯度图，进而基于所述梯度位深度扩展网络的位深度预扩展层，将所述解码梯度图乘以预设位深度增益因子，以对所述解码梯度图进行位深度初步提升，获得初步位深度提升梯度图，进而基于所述梯度位深度扩展网络的输入层，将所述初步位深度提升梯度图转化为预设数量的梯度特征图，进而基于所述梯度位深度扩展网络的各残差块，对各所述梯度特征图进行扩张卷积，获得各扩张卷积特征图，进一步地，基于所述梯度位深度扩展网络的输出层，对各所述扩张卷积特征图进行重构，获得所述初始梯度图。
步骤A43，将所述初始低分辨率图像输入所述图像位深度扩展及上采样网络，对所述初始低分辨率图像进行深度扩展和超分辨率重建，获得初始复原图像；
在本实施例中，将所述初始低分辨率图像输入所述图像位深度扩展及上采样网络，对所述初始低分辨率图像进行深度扩展和超分辨率重建，获得初始复原图像，具体地，将所述初始低分辨率图像输入所述图像位深度扩展及上采样网络，基于所述图像位深度扩展及上采样网络的位深度预扩展层，将所述初始低分辨率图像乘以所述预设位深度增益因子，以对所述初始低分辨率图像进行位深度初步提升，获得初步位深度提升图像，进一步地，基于所述图像位深度扩展及上采样网络的输入层、第一残差块、上采样层、第二残差块和输出层，对所述初步位深度提升图像进行深度扩展和超分辨率重建，获得初始复原图像，其中，所述第一残差块用于对所述初步位深度提升图像进行位深度信息扩展，所述第二残差块用于对所述初步位深度提升图像进行上采样后的所述初始位深度提升图像进行特征提取与重构。
步骤A44，将所述初始梯度图和所述初始复原图像输入所述图像增强网络，对所述初始梯度图和所述初始复原图像进行融合重建，获得所述目标复原图像。
在本实施例中，将所述初始梯度图和所述初始复原图像输入所述图像增强网络，对所述初始梯度图和所述初始复原图像进行融合重建，获得所述目标复原图像，具体地，所述初始梯度图和所述初始复原图像输入所述图像增强网络，以基于所述初始梯度图，提升所述初始复原图像相对于所述待处理图像的高频细节，获得所述目标复原图像，例如，对于所述待处理图像中的一目标像素点对应的像素值为355，对图像进行降分辨率后，目标像素点对应的像素值为88，对图像进行初步复原后，所述目标像素点对应的像素值为353，进而通过所述图像增强网络，基于所述初始梯度图，即可将像素值353精确提升至355，进而提高了图像复原的精确性。
本实施例通过获取待处理图像，并确定所述待处理图像对应的图像梯度信息，进而将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像，进而将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像，进而将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像。也即，本实施例在降分辨率待处理图像之前，先计算所述待处理图像的图像梯度信息，进而在将所述待处理图像降分辨率为低分辨率图像后，将所述图像梯度信息存储于低分辨率图像中，进而在需要复原图像时，将低分辨率图像中的图像梯度信息提取出来，进而基于所述图像梯度信息，对低分辨率图像进行精确的复原，获得目标复原图像，其中，由于图像梯度信息对低分率图像复原为原来的高分辨率图像的过程具有指导作用，进而使得所述目标复原图像更加接近于原来的所述待处理图像，进而使得图像复原过程更加精确，且由于图像梯度信息存储低分辨率图像中，并不会占用额外的存储空间，进而实现了在不增加额外的存储空间的前提下，对低分辨率图像的精确复原的目的，所以，解决了图像降分辨率后复原精确度低的技术问题。
进一步地，参照图2，基于本申请中第一实施例，在本申请的另一实施例中，在所述将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像的步骤之前，所述图像降分辨率及复原方法包括：
步骤A10，获取训练图像、所述训练图像对应的真实低分辨率图像、待训练图像降分辨率模型和待训练图像复原模型；
在本实施例中，需要说明的是，所述待训练图像降分辨率模型和所述待训练图像复原模型均为未训练好的神经网络模型。
步骤A20，基于所述训练图像和所述真实低分辨率图像，对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述待训练图像降分辨率模型和所述待训练图像复原模型达到共同对应的预设第二迭代训练结束条件，获得所述预设图像降分辨率模型和所述预设图像复原模型。
在本实施例中，需要说明的是，所述预设第二迭代训练结束条件包括模型损失收敛、达到最大迭代训练次数等。
基于所述训练图像和所述真实低分辨率图像，对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述待训练图像降分辨率模型和所述待训练图像复原模型达到共同对应的预设第二迭代训练结束条件，获得所述预设图像降分辨率模型和所述预设图像复原模型，具体地，将所述训练图像输入所述待训练图像降分辨率模型，对所述训练图像进行降分辨率，获得训练低分辨率图像，并基于所述训练低分辨率图像和所述真实低分辨率图像，计算第一模型训练损失，进一步地，将所述训练图像对应的训练梯度图存储于所述训练低分辨率图像，获得目标输入低分辨率图像，并将所述目标低分辨率图像输入待训练图像复原模型，对所述目标低分辨率图像进行高分辨率复原，获得训练高分辨率图像，并基于所述训练图像和所述训练高分辨率图像，计算第二模型训练损失，进而基于所述第一模型训练损失和第二模型训练损失，计算模型总损失，进一步地，判断所述模型总损失是否收敛，若所述模型总损失收敛，则将所述待训练图像降分辨率模型作为所述预设图像降分辨率模型，将所述待训练图像复原模型作为所述预设图像复原模型，若所述模型总损失未收敛，则重新对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述模型总损失收敛。
其中，所述预设第二迭代训练结束条件包括所述待训练图像降分辨率模型和所述待训练图像复原模型共同对应的总模型训练损失收敛，
所述基于所述训练图像和所述真实低分辨率图像，对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述待训练图像降分辨率模型和所述待训练图像复原模型达到共同对应的预设第二迭代训练结束条件，获得所述预设图像降分辨率模型和所述预设图像复原模型的步骤包括：
步骤A21，计算所述训练图像的训练图像梯度信息，并基于所述待训练图像降分辨率模型，对所述训练图像进行降分辨率，获得初始训练低分辨率图像；
在本实施例中，计算所述训练图像的训练图像梯度信息，并基于所述待训练图像降分辨率模型，对所述训练图像进行降分辨率，获得初始训练低分辨率图像，具体地，计算所述训练图像的训练图像梯度信息，并将所述训练图像输入待训练图像降分辨率模型，对所述训练进行降采样，以生成所述训练图像对应的缩略图，获得训练降采样图像，并基于预设位深度增益因子，对所述训练降采样图像对应的每一像素点进行降位深度处理，以将训练图像的每一像素点对应的像素值映射至预设低分辨率值域，获得所述初始训练低分辨率图像。
步骤A22，将所述训练图像梯度信息存储于所述初始训练低分辨率图像，获得输出低分辨率图像；
在本实施例中，将所述训练图像梯度信息存储于所述初始训练低分辨率图像，获得输出低分辨率图像，具体地，将所述初始训练低分辨率图像进行左移，获得训练左移空缺位，并将所述训练左移空缺位作为所述初始训练低分辨率图像的训练目标不显著位，进而将所述训练图像梯度信息写入所述训练目标不显著位，获得所述输出低分辨率图像。
步骤A23，基于所述输出低分辨率图像和所述真实低分辨率图像，计算第一模型训练损失；
在本实施例中，基于所述输出低分辨率图像和所述真实低分辨率图像，计算第一模型训练损失，具体地，求取所述输出低分辨率图像和所述真实低分辨率图像的第一距离，并将所述第一距离作为所述第一模型训练损失。
步骤A24，基于所述待训练图像复原模型，对所述输出低分辨率图像进行高分辨率复原，获得输出高分辨率图像；
在本实施例中，基于所述待训练图像复原模型，对所述输出低分辨率图像进行高分辨率复原，获得输出高分辨率图像，具体地，在所述输出低分辨率图像中提取所述训练图像梯度信息和所述初始训练低分辨率图像，进而对所述训练图像梯度信息进行图像位深度扩展和解码，获得初始训练梯度图，并对所述初始训练低分辨率图像进行图像位深度扩展和上采样，获得训练初始复原图像，进而基于所述初始训练梯度图，提升所述训练初始复原图像的高频细节，获得输出高分辨率图像。
步骤A25，基于所述输出高分辨率图像和所述训练图像，计算第二模型训练损失；
在本实施例中，基于所述输出高分辨率图像和所述训练图像，计算第二模型训练损失，具体地，计算所述输出高分辨率图像和所述训练图像之间的第二距离，并将所述第二距离作为所述第二模型训练损失。
步骤A26，基于所述第一模型训练损失和所述第二模型训练损失，计算所述总模型训练损失；
在本实施例中，基于所述第一模型训练损失和所述第二模型训练损失，计算所述总模型训练损失，具体地，基于预设权重，对所述第一模型训练损失和第二模型训练损失进行加权求和，获得所述总模型训练损失，其中，所述总模型训练损失的计算过程如下所示：
L＝λL1+(1-λ)L2
其中，λ为所述预设权重，L1为所述第一模型训练损失，L2为所述第二模型训练损失。
步骤A27，确定所述总模型训练损失是否收敛，若所述总模型训练损失收敛，则将所述待训练图像降分辨率模型作为所述预设图像降分辨率模型，并将所述待训练图像复原模型作为所述预设图像复原模型；
步骤A28，若所述总模型训练损失未收敛，则重新对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述总模型训练损失收敛。
在本实施例中，若所述总模型训练损失未收敛，则重新对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述总模型训练损失收敛，具体地，若所述总模型训练损失未收敛，则重新获取训练图像和所述真实低分辨率图像，以重新对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述总模型训练损失收敛。
本实施例通过获取训练图像、所述训练图像对应的真实低分辨率图像、待训练图像降分辨率模型和待训练图像复原模型，进而基于所述训练图像和所述真实低分辨率图像，对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述待训练图像降分辨率模型和所述待训练图像复原模型达到共同对应的预设第二迭代训练结束条件，获得所述预设图像降分辨率模型和所述预设图像复原模型。也即，本申请提供了一种端到端训练所述预设图像降分辨率模型和所述预设图像复原模型的方法，进而基于训练好的所述预设图像降分辨率模型和所述预设图像复原模型，可实现对图像的降分辨率和高分辨率复原，进而为实现在不增加额外的存储空间的前提下，对降分辨率图像的精确复原的目的奠定了基础，进而为解决图像降分辨率后复原精确度低的技术问题奠定了基础。
进一步地，参照图3，基于本申请中第一实施例和第二实施例，在本申请的另一实施例中，所述预设图像复原模型包括梯度位深度扩展网络，
在所述将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像的步骤之前，所述图像降分辨率及复原方法还包括：
步骤B10，获取待训练网络和训练梯度信息数据以及所述训练梯度信息数据对应的的真实梯度信息数据；
在本实施例中，需要说明的是，所述待训练网络为未训练好的神经网络，所述训练梯度信息数据为对训练图像的初始训练梯度图进行量化和编码确定的目标训练梯度图，所述真实梯度信息数据为所述训练图像对应的真实梯度图。
步骤B20，基于所述训练梯度信息数据和所述真实梯度信息数据，对所述待训练网络进行迭代训练优化，直至所述待训练网络达到预设第一迭代训练结束条件，获得所述梯度位深度扩展网络。
在本实施例中，需要说明的是，所述预设第一迭代训练结束条件包括模型损失收敛、达到最大迭代次数阀值等。
基于所述训练梯度信息数据和所述真实梯度信息数据，对所述待训练网络进行迭代训练优化，直至所述待训练网络达到预设第一迭代训练结束条件，获得所述梯度位深度扩展网络，将所述目标训练梯度图输入所述待训练网络，对所述目标训练梯度图进行解码，获得训练解码梯度图，进而基于预设位深度增益因子，对所述训练解码梯度图进行图像位初步提升，获得训练图像位提升梯度图，进而对所述训练图像位梯度图进行扩张卷积，获得训练输出梯度图，进而计算所述训练输出梯度图和所述真实梯度图之间的第三距离，并将所述第三距离作为所述第三模型训练损失，并判断所述第三模型训练损失是否收敛，若所述第三模型训练损失收敛，则将所述待训练网络作为梯度位深度扩展网络，若所述第三模型训练损失未收敛，则重新对所述待训练网络进行迭代训练优化，直至所述第三模型训练损失收敛。
本实施例通过获取待训练网络和训练梯度信息数据以及所述训练梯度信息数据对应的的真实梯度信息数据，进而基于所述训练梯度信息数据和所述真实梯度信息数据，对所述待训练网络进行迭代训练优化，直至所述待训练网络达到预设第一迭代训练结束条件，获得所述梯度位深度扩展网络。也即，本实施例提供了一种梯度位深度扩展网络的训练方法，进而基于所述梯度位深度扩展网络，可将所述存储于所述初始低分辨率图像中的目标梯度图重构为初始梯度图，进而基于所述初始梯度图，实现对所述目标低分辨率图像的高分辨率复原，也即，为进行对所述目标低分辨率图像的高分辨率复原奠定了基础，进而为解决图像降分辨率后复原精确度低的技术问题奠定了基础。
参照图4，图4是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图4所示，该图像降分辨率及复原方法设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该图像降分辨率及复原方法设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图4中示出的图像降分辨率及复原方法设备结构并不构成对图像降分辨率及复原方法设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及图像降分辨率及复原方法程序。操作系统是管理和控制图像降分辨率及复原方法设备硬件和软件资源的程序，支持图像降分辨率及复原方法程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与图像降分辨率及复原方法系统中其它硬件和软件之间通信。
在图4所示的图像降分辨率及复原方法设备中，处理器1001用于执行存储器1005中存储的图像降分辨率及复原方法程序，实现上述任一项所述的图像降分辨率及复原方法的步骤。
本申请图像降分辨率及复原方法设备具体实施方式与上述图像降分辨率及复原方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种图像降分辨率及复原方法装置，所述图像降分辨率及复原方法装置应用于图像降分辨率及复原方法设备，所述图像降分辨率及复原方法装置包括：
确定模块，用于获取待处理图像，并确定所述待处理图像对应的图像梯度信息；
降分辨率模块，用于获将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像；
存储模块，用于将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像；
复原模块，用于将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像。
可选地，所述存储模块包括：
量化和编码单元，用于对所述初始梯度图进行量化和编码，获得目标梯度图；
左移单元，用于将所述初始低分辨率图像进行左移，获得目标存储比特位；
第一存储单元，用于将所述目标梯度图存储于所述目标存储比特位中，获得所述目标低分辨率图像；
可选地，所述量化和编码单元包括：
量化子单元，用于确定所述待处理图像和所述初始低分辨率图像之间的差异比特位数量，并基于所述差异比特位数量，对所述初始梯度图进行量化，获得量化梯度图；
编码子单元，用于对所述量化梯度图进行降分辨率编码，获得所述目标梯度图。
可选地，所述复原模块包括：
提取单元，用于在所述目标低分辨率图像中提取所述初始低分辨率图像和目标梯度图；
解码和重建单元，用于将所述目标梯度图输入所述梯度位深度扩展网络，对所述目标梯度图进行解码和重建，获得初始梯度图；
深度扩展和重建单元，用于将所述初始低分辨率图像输入所述图像位深度扩展及上采样网络，对所述初始低分辨率图像进行深度扩展和超分辨率重建，获得初始复原图像；
融合重建单元，用于将所述初始梯度图和所述初始复原图像输入所述图像增强网络，对所述初始梯度图和所述初始复原图像进行融合重建，获得所述目标复原图像。
可选地，所述降分辨率模块包括：
降采样单元，用于对所述待处理图像进行降采样，获得降采样图像；
降位深度处理单元，用于基于预设位深度增益因子，对所述降采样图像进行降位深度处理，获得所述初始低分辨率图像。
可选地，所述图像降分辨率及复原装置还包括：
第一获取模块，用于获取待训练网络和训练梯度信息数据以及所述训练梯度信息数据对应的的真实梯度信息数据；
第一迭代训练优化模块，用于基于所述训练梯度信息数据和所述真实梯度信息数据，对所述待训练网络进行迭代训练优化，直至所述待训练网络达到预设第一迭代训练结束条件，获得所述梯度位深度扩展网络。
可选地，所述图像降分辨率及复原装置还包括：
第二获取模块，用于获取训练图像、所述训练图像对应的真实低分辨率图像、待训练图像降分辨率模型和待训练图像复原模型；
第二迭代训练优化模块，用于基于所述训练图像和所述真实低分辨率图像，对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述待训练图像降分辨率模型和所述待训练图像复原模型达到共同对应的预设第二迭代训练结束条件，获得所述预设图像降分辨率模型和所述预设图像复原模型。
可选地，所述第二迭代训练优化模块包括：
第一计算单元，用于计算所述训练图像的训练图像梯度信息，并基于所述待训练图像降分辨率模型，对所述训练图像进行降分辨率，获得初始训练低分辨率图像；
第二存储单元，用于将所述训练图像梯度信息存储于所述初始训练低分辨率图像，获得输出低分辨率图像；
第二计算单元，用于基于所述输出低分辨率图像和所述真实低分辨率图像，计算第一模型训练损失；
复原单元，用于基于所述待训练图像复原模型，对所述输出低分辨率图像进行高分辨率复原，获得输出高分辨率图像；
第三计算单元，用于基于所述输出高分辨率图像和所述训练图像，计算第二模型训练损失；
第四计算单元，用于基于所述第一模型训练损失和所述第二模型训练损失，计算所述总模型训练损失；
第一判定单元，用于确定所述总模型训练损失是否收敛，若所述总模型训练损失收敛，则将所述待训练图像降分辨率模型作为所述预设图像降分辨率模型，并将所述待训练图像复原模型作为所述预设图像复原模型；
第二判定单元，用于若所述总模型训练损失未收敛，则重新对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述总模型训练损失收敛。
本申请图像降分辨率及复原方法装置的具体实施方式与上述图像降分辨率及复原方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (9)

1.一种图像降分辨率及复原方法，其特征在于，所述图像降分辨率及复原方法包括：
获取待处理图像，并确定所述待处理图像对应的图像梯度信息，其中，所述确定所述待处理图像对应的图像梯度信息的步骤包括：确定所述待处理图像对应的待处理图像像素矩阵，并计算所述待处理图像像素矩阵中的各像素点对应的水平梯度值和垂直梯度值，并基于所述水平梯度值和所述垂直梯度值确定各所述像素点对应梯度值，以基于所述梯度值得到所述图像梯度信息矩阵，并作为图像梯度信息；
将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像；
将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像，其中，所述图像梯度信息包括初始梯度图，所述将所述图像梯度信息存储于所述初始低分辨率图像中，获得目标低分辨率图像的步骤包括：对所述初始梯度图进行量化和编码，获得目标梯度图；将所述初始低分辨率图像进行左移，获得目标存储比特位；将所述目标梯度图存储于所述目标存储比特位中，获得所述目标低分辨率图像；
将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像。
2.如权利要求1所述图像降分辨率及复原方法，其特征在于，所述对所述初始梯度图进行量化和编码，获得目标梯度图的步骤包括：
确定所述待处理图像和所述初始低分辨率图像之间的差异比特位数量，并基于所述差异比特位数量，对所述初始梯度图进行量化，获得量化梯度图；
对所述量化梯度图进行降分辨率编码，获得所述目标梯度图。
3.如权利要求1所述图像降分辨率及复原方法，其特征在于，所述预设图像复原模型包括梯度位深度扩展网络、图像位深度扩展及上采样网络和图像增强网络，
所述将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像的步骤包括：
在所述目标低分辨率图像中提取所述初始低分辨率图像和目标梯度图；
将所述目标梯度图输入所述梯度位深度扩展网络，对所述目标梯度图进行解码和重建，获得初始梯度图；
将所述初始低分辨率图像输入所述图像位深度扩展及上采样网络，对所述初始低分辨率图像进行深度扩展和超分辨率重建，获得初始复原图像；
将所述初始梯度图和所述初始复原图像输入所述图像增强网络，对所述初始梯度图和所述初始复原图像进行融合重建，获得所述目标复原图像。
4.如权利要求1所述图像降分辨率及复原方法，其特征在于，所述对所述待处理图像进行降分辨率，获得初始低分辨率图像的步骤包括：
对所述待处理图像进行降采样，获得降采样图像；
基于预设位深度增益因子，对所述降采样图像进行降位深度处理，获得所述初始低分辨率图像。
5.如权利要求1所述图像降分辨率及复原方法，其特征在于，所述预设图像复原模型包括梯度位深度扩展网络，
在所述将所述目标低分辨率图像输入预设图像复原模型，以基于所述图像梯度信息，对所述目标低分辨率图像进行高分辨率复原，获得目标复原图像的步骤之前，所述图像降分辨率及复原方法还包括：
获取待训练网络和训练梯度信息数据以及所述训练梯度信息数据对应的的真实梯度信息数据；
基于所述训练梯度信息数据和所述真实梯度信息数据，对所述待训练网络进行迭代训练优化，直至所述待训练网络达到预设第一迭代训练结束条件，获得所述梯度位深度扩展网络。
6.如权利要求1所述图像降分辨率及复原方法，其特征在于，在所述将所述待处理图像输入预设图像降分辨率模型，对所述待处理图像进行降分辨率，获得初始低分辨率图像的步骤之前，所述图像降分辨率及复原方法包括：
获取训练图像、所述训练图像对应的真实低分辨率图像、待训练图像降分辨率模型和待训练图像复原模型；
基于所述训练图像和所述真实低分辨率图像，对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述待训练图像降分辨率模型和所述待训练图像复原模型达到共同对应的预设第二迭代训练结束条件，获得所述预设图像降分辨率模型和所述预设图像复原模型。
7.如权利要求6所述图像降分辨率及复原方法，其特征在于，所述预设第二迭代训练结束条件包括所述待训练图像降分辨率模型和所述待训练图像复原模型共同对应的总模型训练损失收敛，
所述基于所述训练图像和所述真实低分辨率图像，对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述待训练图像降分辨率模型和所述待训练图像复原模型达到共同对应的预设第二迭代训练结束条件，获得所述预设图像降分辨率模型和所述预设图像复原模型的步骤包括：
计算所述训练图像的训练图像梯度信息，并基于所述待训练图像降分辨率模型，对所述训练图像进行降分辨率，获得初始训练低分辨率图像；
将所述训练图像梯度信息存储于所述初始训练低分辨率图像，获得输出低分辨率图像；
基于所述输出低分辨率图像和所述真实低分辨率图像，计算第一模型训练损失；
基于所述待训练图像复原模型，对所述输出低分辨率图像进行高分辨率复原，获得输出高分辨率图像；
基于所述输出高分辨率图像和所述训练图像，计算第二模型训练损失；
基于所述第一模型训练损失和所述第二模型训练损失，计算所述总模型训练损失；
确定所述总模型训练损失是否收敛，若所述总模型训练损失收敛，则将所述待训练图像降分辨率模型作为所述预设图像降分辨率模型，并将所述待训练图像复原模型作为所述预设图像复原模型；
若所述总模型训练损失未收敛，则重新对所述待训练图像降分辨率模型和所述待训练图像复原模型进行迭代训练优化，直至所述总模型训练损失收敛。
8.一种图像降分辨率及复原方法设备，其特征在于，所述图像降分辨率及复原方法设备包括：存储器、处理器以及存储在存储器上的用于实现所述图像降分辨率及复原方法的程序，
所述存储器用于存储实现图像降分辨率及复原方法的程序；
所述处理器用于执行实现所述图像降分辨率及复原方法的程序，以实现如权利要求1至7中任一项所述图像降分辨率及复原方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质上存储有实现图像降分辨率及复原方法的程序，所述实现图像降分辨率及复原方法的程序被处理器执行以实现如权利要求1至7中任一项所述图像降分辨率及复原方法的步骤。
CN202010577359.0A 2020-06-22 2020-06-22 图像降分辨率及复原方法、设备及可读存储介质 Active CN111754405B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010577359.0A CN111754405B (zh) 2020-06-22 2020-06-22 图像降分辨率及复原方法、设备及可读存储介质
PCT/CN2020/111771 WO2021258529A1 (zh) 2020-06-22 2020-08-27 图像降分辨率及复原方法、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010577359.0A CN111754405B (zh) 2020-06-22 2020-06-22 图像降分辨率及复原方法、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111754405A CN111754405A (zh) 2020-10-09
CN111754405B true CN111754405B (zh) 2023-08-08

Family

ID=72676421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010577359.0A Active CN111754405B (zh) 2020-06-22 2020-06-22 图像降分辨率及复原方法、设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN111754405B (zh)
WO (1) WO2021258529A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115988311A (zh) * 2021-10-14 2023-04-18 荣耀终端有限公司 图像处理方法与电子设备
CN114972043B (zh) * 2022-08-03 2022-10-25 江西财经大学 基于联合三边特征滤波的图像超分辨率重建方法与系统
CN115631115B (zh) * 2022-12-08 2023-03-28 中国科学院自动化研究所 基于递归Transformer的动态图像复原方法
CN116029907B (zh) * 2023-02-14 2023-08-08 江汉大学 一种图像降分辨率模型的处理方法、装置以及处理设备
CN117425013B (zh) * 2023-12-19 2024-04-02 杭州靖安防务科技有限公司 一种基于可逆架构的视频传输方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5705391B1 (ja) * 2014-06-24 2015-04-22 三菱電機株式会社 画像処理装置及び画像処理方法
WO2019192588A1 (zh) * 2018-04-04 2019-10-10 华为技术有限公司 图像超分方法及装置
CN110660021A (zh) * 2019-08-16 2020-01-07 西安理工大学 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204489B (zh) * 2016-07-12 2019-04-16 四川大学 结合深度学习与梯度转换的单幅图像超分辨率重建方法
CN108133456A (zh) * 2016-11-30 2018-06-08 京东方科技集团股份有限公司 人脸超分辨率重建方法、重建设备以及计算机系统
CN106600553B (zh) * 2016-12-15 2019-12-17 华中科技大学 一种基于卷积神经网络的dem超分辨率方法
US10540749B2 (en) * 2018-03-29 2020-01-21 Mitsubishi Electric Research Laboratories, Inc. System and method for learning-based image super-resolution
CN108765343B (zh) * 2018-05-29 2021-07-20 Oppo（重庆）智能科技有限公司 图像处理的方法、装置、终端及计算机可读存储介质
CN110674862B (zh) * 2019-09-12 2023-05-26 浙江师范大学 基于内部样例的邻域回归的超分辨率方法
CN110956671B (zh) * 2019-12-12 2022-08-02 电子科技大学 一种基于多尺度特征编码的图像压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5705391B1 (ja) * 2014-06-24 2015-04-22 三菱電機株式会社 画像処理装置及び画像処理方法
WO2019192588A1 (zh) * 2018-04-04 2019-10-10 华为技术有限公司 图像超分方法及装置
CN110660021A (zh) * 2019-08-16 2020-01-07 西安理工大学 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Incorporating image priors with deep convolutional neural networks for image super-resolution;YudongLiang 等;《Neurocomputing》;第194卷;第340-347页 *

Also Published As

Publication number Publication date
WO2021258529A1 (zh) 2021-12-30
CN111754405A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111754405B (zh) 图像降分辨率及复原方法、设备及可读存储介质
CN111145090B (zh) 一种点云属性编码方法、解码方法、编码设备及解码设备
CN112907449B (zh) 一种基于深度卷积稀疏编码的图像超分辨率重建方法
Jo et al. Practical single-image super-resolution using look-up table
KR20140136019A (ko) 입력 이미지의 계층적 초해상을 수행하는 방법 및 장치
US11244426B2 (en) Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same
WO2015038307A1 (en) Guided image upsampling using bitmap tracing
CN113554058A (zh) 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN104899835A (zh) 基于盲模糊估计与锚定空间映射的图像超分辨处理方法
CN111553861B (zh) 一种图像超分辨率重构方法、装置、设备及可读存储介质
CN111355965B (zh) 一种基于深度学习的图像压缩还原方法及装置
CN114170438A (zh) 神经网络训练的方法、电子设备及计算机存储介质
Xing et al. Scale-arbitrary invertible image downscaling
US20210327021A1 (en) Image scaling method based on linear extension/contraction mode
US6501862B1 (en) Picture information processing method and apparatus and entertainment apparatus
CN111429458A (zh) 一种图像还原的方法、装置及电子设备
CN115294222A (zh) 图像编码方法及图像处理方法、终端及介质
CN113344786B (zh) 基于几何生成模型的视频转码方法、装置、介质和设备
CN113096019B (zh) 图像重建方法、装置、图像处理设备及存储介质
CN115205117A (zh) 图像重建方法及装置、计算机存储介质、电子设备
CN114155152A (zh) 一种基于历史特征融合的实时超分辨率重建方法及系统
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法
CN113240589A (zh) 一种多尺度特征融合的图像去雾方法及系统
CN113240788A (zh) 三维数据的传输和接收方法、设备和计算机可读存储介质
Li et al. Toward DNN of LUTs: Learning Efficient Image Restoration with Multiple Look-Up Tables

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant