CN112801866B - 图像重建模型的生成方法、图像重建方法及相关设备 - Google Patents

图像重建模型的生成方法、图像重建方法及相关设备 Download PDF

Info

Publication number
CN112801866B
CN112801866B CN202011502022.XA CN202011502022A CN112801866B CN 112801866 B CN112801866 B CN 112801866B CN 202011502022 A CN202011502022 A CN 202011502022A CN 112801866 B CN112801866 B CN 112801866B
Authority
CN
China
Prior art keywords
data
convolution
image
image reconstruction
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011502022.XA
Other languages
English (en)
Other versions
CN112801866A (zh
Inventor
吴洁
李文国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Tianjin Co Ltd
Original Assignee
Spreadtrum Communications Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Tianjin Co Ltd filed Critical Spreadtrum Communications Tianjin Co Ltd
Priority to CN202011502022.XA priority Critical patent/CN112801866B/zh
Publication of CN112801866A publication Critical patent/CN112801866A/zh
Priority to PCT/CN2021/131268 priority patent/WO2022127496A1/zh
Application granted granted Critical
Publication of CN112801866B publication Critical patent/CN112801866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像重建模型的生成方法、图像重建方法及相关设备，涉及人工智能领域，该方法包括：获取训练数据；将所述训练数据输入预设模型中进行特征提取，得到特征数据；对所述特征数据进行非线性映射，得到映射数据；对所述映射数据进行上采样，得到重建数据；基于所述重建数据及对应的预设标签数据计算损失，其中，所述损失包括所述重建数据及对应的预设标签数据之间的梯度损失；基于所述损失对所述预设模型进行迭代训练，得到图像重建模型。本申请实施例提供的方法，能够提高模型对边缘等高频信息的敏感性，由此可以提高重建图像的质量。

Description

图像重建模型的生成方法、图像重建方法及相关设备
技术领域
本申请实施例涉及人工智能领域，尤其涉及一种图像重建模型的生成方法、图像重建方法及相关设备。
背景技术
随着多媒体信息技术的快速发展，图像成为了传递信息的重要途径，人们对图像的细节要求越来越高。图像的分辨率是指每英寸图像内包含多少个像素点，该分辨率是用于衡量图像质量的重要指标。其中，图像的分辨率越高，图像的细节更精细，同时可以传递更多的信息。
图像超分辨率重建技术是使用数字图像处理的方法提高昂分辨率的技术，被广泛应用于医疗、军事、卫星等成像系统中。图像超分辨率重建技术可分为基于传统的方法和基于学习的方法。该基于传统的方法主要由基于插值的方法及基于重建的方法，基于插值的方法主要包括双线性插值和双三次插值等，算法比较简单，复杂度较低。基于重建的方法是在利用低分辨率作为约束的前提下，结合图像的先验知识进行还原。基于传统的算法较为简单，虽然运算速度较快，但无法重建出具有丰富纹理细节的图像。
目前，基于学习的方法主要包括基于深度学习的方法。随着计算机视觉技术的快速发展，促使基于卷积神经网络的图像超分辨率重建技术趋于成熟，越来越多的基于深度学习的算法被提出。相较于传统的方法，基于深度学习的方法具有更强大的特征提取能力，可以学习到更为复杂和抽象的特征，从而可以提高重建图像的质量。然而，目前的基于深度学习的方法复杂度高，且训练效率低下。因此，亟需一种方法解决上述问题。
发明内容
本申请实施例提供了一种图像重建模型的生成方法、图像重建方法及相关设备，以提供一种图像重建模型的生成方式以及图像重建方式。
第一方面，本申请实施例提供了一种图像重建模型的生成方法，包括：
获取训练数据；
将所述训练数据输入预设模型中进行特征提取，得到特征数据；
对所述特征数据进行非线性映射，得到映射数据；
对所述映射数据进行上采样，得到重建数据；
基于所述重建数据及对应的预设标签数据计算损失，其中，所述损失包括所述重建数据及对应的预设标签数据之间的梯度损失；
基于所述损失对所述预设模型进行迭代训练，得到图像重建模型。
其中一种可能的实现方式中，所述将所述训练数据输入预设模型中进行特征提取，得到特征数据包括：
将所述训练数据输入预设模型中进行卷积计算，得到第一卷积输出；
使用预设第一激励函数对所述第一卷积输出进行激励计算，得到特征数据。
其中一种可能的实现方式中，所述对所述特征数据进行非线性映射，得到映射数据包括：
对所述特征数据进行残差计算，得到残差数据；
对所述残差数据进行特征拼接，得到拼接数据；
对所述拼接数据进行卷积计算，得到第二卷积输出；
基于所述第二卷积输出及所述训练数据确定映射数据。
其中一种可能的实现方式中，所述对所述特征数据进行残差计算，得到残差数据包括：
对所述特征数据进行卷积计算，得到第三卷积输出；
使用预设第二激励函数对所述第三卷积输出进行激励计算，得到第一激励输出；
对所述第一激励输出进行卷积计算，得到第四卷积输出；
使用预设第三激励函数对所述第四卷积输出进行激励计算，得到第二激励输出；
对所述第二激励输出进行卷积计算，得到第五卷积输出；
基于所述第五卷积输出及所述特征数据确定残差数据。
其中一种可能的实现方式中，所述对所述残差数据进行特征拼接，得到拼接数据包括：
将每个所述残差数据进行卷积计算，得到对应的残差分量特征；
将所有的残差分量特征进行拼接，得到拼接数据。
其中一种可能的实现方式中，所述对所述映射数据进行上采样之前，所述方法还包括：
对所述映射数据进行卷积计算。
其中一种可能的实现方式中，所述损失还包括所述重建数据及对应的预设标签数据之间的均方差损失。
其中一种可能的实现方式中，所述得到图像重建模型之后，所述方法还包括：
对所述图像重建模型进行全整型量化。
其中一种可能的实现方式中，所述对所述图像重建模型进行全整型量化包括：
对所述图像重建模型的网络权重参数进行对称全整型量化；
对所述图像重建模型的激励函数及输入至所述图像重建模型的数据进行非对称全整型量化。
其中一种可能的实现方式中，所述训练数据为低分辨率图像，所述重建数据为高分辨率图像。
本申请实施例还提供了一种图像重建方法，包括：
获取待重建图像；
将所述待重建图像输入预设图像重建模型，所述预设图像重建模型为由上述图像重建模型的生成方法生成的图像重建模型；
对所述待重建图像进行特征提取，得到特征数据；
对所述特征数据进行非线性映射，得到映射数据；
对所述映射数据进行上采样，得到重建图像。
其中一种可能的实现方式中，所述待重建为低分辨率图像，所述重建图像为高分辨率图像。
第二方面，本申请实施例提供一种图像重建模型的生成装置，包括：
获取模块，用于获取训练数据；
特征提取模块，用于将所述训练数据输入预设模型中进行特征提取，得到特征数据；
非线性映射模块，用于对所述特征数据进行非线性映射，得到映射数据；
重建模块，用于对所述映射数据进行上采样，得到重建数据；
计算模块，用于基于所述重建数据及对应的预设标签数据计算损失，其中，所述损失包括所述重建数据及对应的预设标签数据之间的梯度损失；
训练模块，用于基于所述损失对所述预设模型进行迭代训练，得到图像重建模型。
其中一种可能的实现方式中，上述特征提取模块还用于将所述训练数据输入预设模型中进行卷积计算，得到第一卷积输出；使用预设第一激励函数对所述第一卷积输出进行激励计算，得到特征数据。
其中一种可能的实现方式中，上述非线性映射模块还用于对所述特征数据进行残差计算，得到残差数据；对所述残差数据进行特征拼接，得到拼接数据；对所述拼接数据进行卷积计算，得到第二卷积输出；基于所述第二卷积输出及所述训练数据确定映射数据。
其中一种可能的实现方式中，上述非线性映射模块还用于对所述特征数据进行卷积计算，得到第三卷积输出；使用预设第二激励函数对所述第三卷积输出进行激励计算，得到第一激励输出；对所述第一激励输出进行卷积计算，得到第四卷积输出；使用预设第三激励函数对所述第四卷积输出进行激励计算，得到第二激励输出；对所述第二激励输出进行卷积计算，得到第五卷积输出；基于所述第五卷积输出及所述特征数据确定残差数据。
其中一种可能的实现方式中，上述非线性映射模块还用于将每个所述残差数据进行卷积计算，得到对应的残差分量特征；将所有的残差分量特征进行拼接，得到拼接数据。
其中一种可能的实现方式中，上述装置还包括：
卷积模块，用于对所述映射数据进行卷积计算。
其中一种可能的实现方式中，所述损失还包括所述重建数据及对应的预设标签数据之间的均方差损失。
其中一种可能的实现方式中，上述装置还包括：
量化模块，用于对所述图像重建模型进行全整型量化。
其中一种可能的实现方式中，上述量化模块还用于对所述图像重建模型的网络权重参数进行对称全整型量化；对所述图像重建模型的激励函数及输入至所述图像重建模型的数据进行非对称全整型量化。
其中一种可能的实现方式中，所述训练数据为低分辨率图像，所述重建数据为高分辨率图像。
本申请实施例还提供一种图像重建装置，包括：
获取模块，用于获取待重建图像；
输入模块，用于将所述待重建图像输入预设图像重建模型，所述预设图像重建模型为由上述图像重建模型的生成方法生成的图像重建模型；
特征提取模块，用于对所述待重建图像进行特征提取，得到特征数据；
非线性映射模块，用于对所述特征数据进行非线性映射，得到映射数据；
重建模块，用于对所述映射数据进行上采样，得到重建图像。
其中一种可能的实现方式中，所述待重建为低分辨率图像，所述重建图像为高分辨率图像。
第三方面，本申请实施例提供一种电子设备，包括：
存储器，上述存储器用于存储计算机程序代码，上述计算机程序代码包括指令，当上述电子设备从上述存储器中读取上述指令，以使得上述电子设备执行以下步骤：
获取训练数据；
将所述训练数据输入预设模型中进行特征提取，得到特征数据；
对所述特征数据进行非线性映射，得到映射数据；
对所述映射数据进行上采样，得到重建数据；
基于所述重建数据及对应的预设标签数据计算损失，其中，所述损失包括所述重建数据及对应的预设标签数据之间的梯度损失；
基于所述损失对所述预设模型进行迭代训练，得到图像重建模型。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行将所述训练数据输入预设模型中进行特征提取，得到特征数据的步骤包括：
将所述训练数据输入预设模型中进行卷积计算，得到第一卷积输出；
使用预设第一激励函数对所述第一卷积输出进行激励计算，得到特征数据。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行对所述特征数据进行非线性映射，得到映射数据的步骤包括：
对所述特征数据进行残差计算，得到残差数据；
对所述残差数据进行特征拼接，得到拼接数据；
对所述拼接数据进行卷积计算，得到第二卷积输出；
基于所述第二卷积输出及所述训练数据确定映射数据。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行对所述特征数据进行残差计算，得到残差数据的步骤包括：
对所述特征数据进行卷积计算，得到第三卷积输出；
使用预设第二激励函数对所述第三卷积输出进行激励计算，得到第一激励输出；
对所述第一激励输出进行卷积计算，得到第四卷积输出；
使用预设第三激励函数对所述第四卷积输出进行激励计算，得到第二激励输出；
对所述第二激励输出进行卷积计算，得到第五卷积输出；
基于所述第五卷积输出及所述特征数据确定残差数据。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行对所述残差数据进行特征拼接，得到拼接数据的步骤包括：
将每个所述残差数据进行卷积计算，得到对应的残差分量特征；
将所有的残差分量特征进行拼接，得到拼接数据。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行对所述映射数据进行上采样的步骤之前，还执行以下步骤：
对所述映射数据进行卷积计算。
其中一种可能的实现方式中，所述损失还包括所述重建数据及对应的预设标签数据之间的均方差损失。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行得到图像重建模型的步骤之后，还执行以下步骤：
对所述图像重建模型进行全整型量化。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行对所述图像重建模型进行全整型量化的步骤包括：
对所述图像重建模型的网络权重参数进行对称全整型量化；
对所述图像重建模型的激励函数及输入至所述图像重建模型的数据进行非对称全整型量化。
其中一种可能的实现方式中，所述训练数据为低分辨率图像，所述重建数据为高分辨率图像。
本申请实施例还提供一种电子设备，包括：
存储器，上述存储器用于存储计算机程序代码，上述计算机程序代码包括指令，当上述电子设备从上述存储器中读取上述指令，以使得上述电子设备执行以下步骤：
获取待重建图像；
将所述待重建图像输入预设图像重建模型，所述预设图像重建模型为由上述图像重建模型的生成方法生成的图像重建模型；
对所述待重建图像进行特征提取，得到特征数据；
对所述特征数据进行非线性映射，得到映射数据；
对所述映射数据进行上采样，得到重建图像。
其中一种可能的实现方式中，所述待重建为低分辨率图像，所述重建图像为高分辨率图像。
第四方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面所述的方法。
第五方面，本申请实施例提供一种计算机程序，当上述计算机程序被计算机执行时，用于执行第一方面所述的方法。
在一种可能的设计中，第五方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
附图说明
图1为本申请实施例提供的图像重建模型的生成方法的流程图；
图2为本申请实施例提供的特征提取的示意图；
图3为本申请实施例提供的瓶颈残差计算示意图；
图4为本申请实施例提供的非线性映射示意图；
图5为本申请实施例提供的重建示意图；
图6为本申请实施例提供的弱纹理信息梯度示意图；
图7为本申请实施例提供的图像重建方法的流程图
图8为本申请实施例提供的图像重建模型的生成装置的结构示意图；
图9为本申请实施例提供的图像重建装置的结构示意图；
图10为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
目前，现有的基于深度学习的方法中采用的模型复杂度较高，由此造成运算耗时长，效率低下，且在对模型训练时也会对训练效率造成影响。其中，上述模型通常采用卷积神经网络模型，而在对卷积神经网络模型进行训练时，常用的损失函数为均方差损失函数或平均绝对误差损失函数。使用上述均方差或平均绝对误差损失函数易造成重建图像较为平滑，无法重建出清晰的边缘细节。此外，还有些卷积神经网络模型会采用对抗损失函数，但其易使生成的图像产生不真实的细节，并容易造成伪影等现象，最终影响重建图像的质量。
基于上述问题，本申请实施例提出了一种图像重建模型的生成方法。
现结合图1-图6对本申请实施例提供的图像重建模型的生成方法进行说明。
图1为本申请实施例提供的图像重建模型的生成方法一个实施例的流程示意图，该图像重建模型的生成方法可以应用于电子设备。其中，该电子设备可以是以计算机的形式体现，也可以是其他形式，例如，手机，本申请实施例对电子设备的具体形式不作特殊限定，该图像重建模型的生成方法包括：
步骤101，获取训练数据集。
具体地，该训练数据集可以包括多个训练数据，每个训练数据可以是一张待重建图像。其中，该待重建图像可以是低分辨率的图像，也可以是其他分辨率的图像，本申请实施例对此不作特殊限定。
可以理解的是，该训练数据集中还可以包括与该待重建图像对应的标签数据。该标签数据用于计算损失。示例性的，若该训练数据集中包括待重建图像A、待重建图像B及待重建图像C，则该训练数据集中还可以包括与待重建图像A对应的标签数据A，与待重建图像B对应的标签数据B及与待重建图像C对应的标签数据C。其中，该标签数据可以是比待重建图像的分辨率高的图像。上述示例仅示例性的示出了待重建图像与标签数据之间的映射关系，可以理解的是，上述训练数据集中待重建图像与标签数据的数目并不构成对本申请实施例的限定。
步骤102，将训练数据输入预设模型中，对训练数据进行特征提取，得到特征数据。
具体地，该预设模型可以是卷积神经网络模型，也可以是其他类型的深度学习网络模型，本申请对该预设模型的类型不作特殊限定。
当获取到训练数据后，可以将该训练数据输入到上述预设模型中，进行特征提取，由此可以得到特征数据。例如，可以将一张待重建图像输入到上述预设模型中，以完成对该待重建图像的特征提取。在具体实现时，上述特征提取可以通过上述预设模型中的特征提取模块实现，该特征提取模块可以包括一个卷积层和一个激励层。示例性的，可以通过如下公式实现：
F0＝σ(Conv(ILR))；
其中，F0为特征提取后得到的特征数据，σ为激励函数，本申请实施例中的激励函数可以是线性修正单元。Conv为卷积函数，其中，该卷积函数中卷积核的尺寸为3*3，输出特征通道数为64，ILR为上述训练数据(例如，待重建图像)。可以理解的是，上述卷积函数中的卷积核及特征通道数仅为示例性说明，并不构成对本申请实施例的限定，在一些实施例中，上述卷积函数中的卷积核及特征通道数还可以为其他任意数值，本申请实施例对此不作特殊限定。
图2为特征提取模块的结构示意图，如图2所示，特征提取模块200包括卷积层210及激励层220。通过上述卷积层210可以完成对待重建图像201的卷积操作，得到卷积输出，接着通过激励层220对上述卷积输出进行激励计算，由此可以完成特征提取，进而可以得到特征数据230。
步骤103，对特征数据进行非线性映射，得到映射数据。
具体地，该非线性映射过程可以用于学习低分辨率图像与高分辨率图像之间的映射关系。该非线性映射可以通过残差计算和特征拼接实现。在具体实现时，上述非线性映射可以由非线性映射模块完成，该非线性映射模块可以包括瓶颈残差子模块，该残差计算可以通过瓶颈残差子模块完成。其中，该瓶颈残差子模块可以包括三个卷积层及两个激励层，第一个卷积层包含1*1的卷积核以及32的特征通道，第一个卷积层卷积后的输出经过第一个激励层进行激励输出，并将该激励输出输入第二个卷积层；第二个卷积层包含3*3的卷积核以及32的特征通道，第二个卷积层卷积后的输出经过第二个激励层进行激励输出，并将该激励输出输入第三个卷积层；第三个卷积层包含1*1的卷积核以及64的特征通道，第三个卷积层卷积后的输出与特征数据进行相加，由此可以得到残差数据。
可以理解的是，现有的残差模块和本申请实施例中的瓶颈残差子模块实现的是相同的功能，例如残差计算。通常现有的残差模块包含两个卷积层及一个激励层，例如，第一个卷积层包含3*3的卷积核及64的特征通道，第一个卷积层卷积后的输出经过一个激励层进行激励输出，并将该激励输出输入第二个卷积层；第二个卷积层包含3*3的卷积核及64的特征通道，第二个卷积层卷积后的输出与特征数据进行相加，由此可以得到残差数据。
现结合图3进行说明，如图3所示，残差模块310包含第一卷积层311、激励层312及第二卷积层313。特征数据300输入第一卷积层311进行卷积计算，得到第一卷积输出，接着将该第一卷积输出输入激励层312进行激励计算，得到激励输出，并将该激励输出输入到第二卷积层313进行卷积计算，得到第二卷积输出，并将该第二卷积输出与特征数据300相加，由此可以得到残差数据301。
瓶颈残差子模块320包含第一卷积层321、第一激励层322、第二卷积层323、第二激励层324及第三卷积层325。特征数据300输入第一卷积层321进行卷积计算，得到第一卷积输出；接着，将该第一卷积输出输入第一激励层322进行激励计算，得到第一激励输出，并将该第一激励输出输入到第二卷积层323进行卷积计算，得到第二卷积输出；接着，将该第二卷积输出输入第二激励层324进行激励计算，得到第二激励输出，并将该第二激励输出输入到第三卷积层325进行卷积计算，得到第二卷积输出；最后，将该第三卷积输出与特征数据300相加，由此可以得到残差数据302。
由上述可知，本申请实施例的瓶颈残差子模块与现有的残差模块相比，具有较小的卷积核及较低的通道数，因此，可以减小模型的复杂度，降低计算量，进而可以提高运算效率。
需要说明的是，上述瓶颈残差子模块中的卷积层的卷积核以及特征通道数仅为示例性说明，并不构成对本申请实施例的限定。在一些实施例中，上述瓶颈残差模块中的卷积层的卷积核以及特征通道数也可以是其他数值。
接着，当获取到上述残差数据后，还可以对上述残差数据进行特征拼接，以得到拼接数据。在具体实现时，可以设置多个瓶颈残差模块，所有的瓶颈残差模块可以进行级联，示例性的，上一个瓶颈残差模块的输入可以是下一个瓶颈残差模块的输入。其中，每个瓶颈残差模块的输出可以输入到一个卷积层进行卷积计算，由此可以得到与每个瓶颈残差模块对应的残差分量特征；与每个瓶颈残差模块相连的卷积层可以具有相同的卷积核。示例性的，该卷积核可以是1*1。可以理解的是，上述卷积核的数值仅为示例性说明，并不构成对本申请实施例的限定，在一些实施例中，上述卷积核也可以是其他数值。最后，可以将所有的残差分量特征与最后一个瓶颈残差模块的输出进行拼接，由此可以得到拼接数据。通过对上述残差分量特征进行拼接，可以保留前一个层的信息，进而可以避免产生梯度消失问题。
当获取到上述拼接数据后，还可以对上述拼接数据进行卷积，例如，可以将上述拼接数据输入一个卷积层，该卷积层的卷积核可以为1*1，由此可以得到卷积输出，并可以将该卷积输出与训练数据(例如，图2中的待重建图像201)相加，由此可以得到映射数据。可以理解的是，上述对拼接数据进行卷积计算的卷积核的数值仅为示例性说明，并不构成对本申请实施例的限定，在一些实施例中，上述对拼接数据进行卷积计算的卷积核也可以是其他数值。
现结合图4进行说明，如图4所示，非线性模块400包括多个瓶颈残差子模块410、与每个瓶颈残差子模块410对应的多个第一卷积层420、特征拼接子模块430及第二卷积层440。其中，每个瓶颈残差子模块410进行级联，每个第一卷积层420与对应的瓶颈残差子模块410相连。特征数据402输入至第一个瓶颈残差子模块410进行残差计算，由此可以得到第一残差数据。其中，特征数据402由训练数据401通过特征提取模块450进行计算后得到；接着，可以将该第一残差数据分为两路，其中一路可以输入下一个瓶颈残差子模块410(例如，第二个瓶颈残差子模块410)进行残差计算，由此可以得到第二残差数据，另一路可以输入第一卷积层420中进行卷积计算，由此可以得到第一残差分量特征；同样地，可以对第二残差数据进行与上述第一参数数据相同的操作，示例性的，可以将该第二残差数据分为两路，其中一路可以输入下一个瓶颈残差子模块410(例如，第三个瓶颈残差子模块410)进行残差计算，由此可以得到第三残差数据，另一路可以输入第一卷积层420中进行卷积计算，由此可以得到第二残差分量特征。通过对每个瓶颈残差子模块410的输出进行卷积计算后，可以获得与每个瓶颈残差子模块410对应的残差分量特征，例如，第一残差分量特征、第二残差分量特征..第N残差分量特征，其中，N为瓶颈残差子模块410的个数。此外，通过对所有级联的瓶颈残差子模块410的残差计算，可以得到第N残差数据。接着，将上述第一残差分量特征、第二残差分量特征..第N残差分量特征以及第N残差数据输入特征拼接子模块430进行特征拼接，由此可以得到拼接数据。然后，可以将该拼接数据输入第二卷积层440进行卷积计算，由此可以得到卷积输出。最后，可以将该卷积输出与训练数据401进行相加，由此可以得到映射数据403。
步骤104，对映射数据进行重建，得到重建数据。
具体地，该重建可以通过上采样完成。在具体实现时，可以在上述预设模型模型中设置重建模块，该重建模块可以包括一个亚像素上采样层。当获取到上述映射数据后，可以将上述映射数据输入到上述亚像素上采样层中进行上采样，由此可以得到重建数据。其中，该重建数据可以是对上述训练数据进行重建后得到的高分辨率图像。
可选地，在将上述映射数据输入到上述亚像素上采样层之前，还可以对上述映射数据进行卷积计算，以降低特征通道，由此可以减小复杂度。在具体实现时，可以在上述重建模块中设置一个卷积层，当获取到上述映射数据后，可以将上述映射数据输入上述重建模块中的卷积层进行卷积计算，得到卷积输出，接着，可以将上述卷积输出输入到上述亚像素上采样层中进行上采样，由此可以得到重建数据，该重建数据可以是高分辨率图像，例如，该重建数据的分辨率高于上述训练数据的分辨率。
图5为重建模块结构示意图，重建模块500可以包括卷积层510和亚像素上采样层520。映射数据501可以输入到上述卷积层510中进行卷积计算，得到卷积输出，接着，可以将该卷积输出输入到上述亚像素上采样层520中进行上采样，由此可以得到重建数据502。
步骤105，使用损失函数对重建数据及标签数据进行损失计算，根据计算结果进行训练，得到第一图像重建模型。
具体地，当获取到上述重建数据后，可以使用损失函数对上述重建数据及对应的预设标签数据进行损失计算。其中，该损失函数可以是基于梯度损失函数，也就是说，可以将梯度损失作为最终的损失，由此可以根据梯度损失计算本次训练的损失。在具体实现时，上述梯度损失函数可以通过如下公式表示：
Figure BDA0002843879450000101
其中，Lgrad为梯度损失，Ii SR为第i个重建数据，Ii HR为第i个标签数据，Ii diff为第i个重建数据与第i个标签数据的残差，N为重建数据或标签数据的个数，Gx、Gy及Gxy为梯度函数，上述梯度函数可以通过如下公式表示：
Gx(I)＝Sx*I；
Gy(I)＝Sy*I；
Figure BDA0002843879450000102
其中，Gx(I)为图像I在x轴向上的梯度，Gy(I)为图像I在y轴向上的梯度，Sx和Sy分别为沿x轴向和沿y轴向的算子，示例性的，上述Sx和Sy的取值如下：
Figure BDA0002843879450000103
Figure BDA0002843879450000104
可以理解的是，上述示例仅示例性示出了Sx和Sy的数值，但并不构成对本申请实施例的限定，在一些实施例中，上述Sx和Sy也可以是其他数值。
可选地，上述损失函数也可以基于梯度损失函数及均方差函数，也就是说，可以基于梯度损失和均方差损失得到最终的损失。该损失函数可以通过如下公式表示：
Ltoral＝LMSE+α*Lgrad；
其中，Ltotal为最终的损失，LMSE为均方差损失，该均方差损失可以通过如下公式获得：
Figure BDA0002843879450000105
Lgrad为梯度损失，α为权重系数，该α可以任意取值，优选地，α可以取值为4。可以理解的是，上述α的取值仅为示例性说明，并不构成对本申请实施例的限定。
当使用上述损失函数计算得到损失之后，可以基于上述损失对上述预设模型进行迭代训练，例如，假设有N个训练数据(例如，N张待重建图像)，通过本申请实施例的预设模型对上述N个训练数据进行重建后，可以得到N个重建数据，接着，使用上述损失函数对上述N个重建数据及对应的N个标签数据进行损失计算，最后，基于计算得到的损失进行下一轮训练(例如，对下一轮的N个训练数据再次进行训练)，通过上述训练方式对上述预设模型不停迭代训练，直到损失收敛，可以结束训练，由此可以得到图像重建模型(为说明方便，下文将该图像重建模型称为“第一图像重建模型”)。
由于目前常用的损失函数为均方差损失函数，使用该均方差损失函数容易使得重建图像过于平滑，且重建图像中纹理细节信息较少。而通过引入梯度损失，例如，在纹理信息较弱时，通过对纹理信息求梯度，可以解决上述图像重建模型对高频信息不敏感的问题。
图6为纹理信息梯度效果图，如图6所示，图像610为弱纹理信息效果图，图像620为对若纹理信息进行求梯度之后的效果图。
步骤106，对第一图像重建模型进行全整型量化，得到第二图像重建模型。
具体地，当生成上述第一图像重建模型后，还可以对该第一图像重建模型进行全整型量化，由此可以得到全整型量化后的图像重建模型(为说明方便，下文将全整型量化后的图像重建模型称为“第二图像重建模型”)。该全整型量化可以是将上述第一图像重建模型的数据由浮点量化为定点。示例性的，在上述第一图像重建模型量化为定点后，在前向计算过程中可以使用8比特值进行计算，同时将该第一图像重建模型的输入和输出也量化为8比特，从而可以使得该第一图像重建模型的尺寸减小，复杂度降低，内存的消耗减少，进而可以加快模型的计算速度。
在具体实现时，上述浮点到定点的量化可以由如下公式实现：
Figure BDA0002843879450000111
其中，Q为量化后得到的定点数，R表示原始的浮点数，S为量化系数，该量化系数S可以由如下公式获得：
Figure BDA0002843879450000112
其中，Rmax为浮点数中的最大值，Rmin为浮点数中的最小值，Qmax为定点数中的最大值，Qmin为定点数中的最小值。
Z为校正参数，该校正参数可以由如下公式获得：
Figure BDA0002843879450000113
可选地，在对上述第一图像重建模型进行全整型量化时，还可以对上述第一图像重建模型中的网络权重参数(例如，卷积层的参数等)进行对称量化(例如，将Z设为0)，示例性的，量化后的定点数范围可以是：[-127，127]，由此可以减少上述第一图像重建模型的计算量。此外，还可以对上述第一图像重建模型中的激励函数及输入数据(例如，该输入数据可以是训练数据)进行非对称量化，其中，Z的取值可以由上述校正参数计算公式计算获得，量化后的定点数范围可以是：[-128，127]。
本实施例中，在图像重建模型中，通过计算瓶颈残差，可以减小计算量，并可以提高模型的特征提取能力；将瓶颈残差进行拼接，可以保留前一个层的信息，由此可以避免梯度消失问题的产生；而通过在损失函数中引入梯度损失，基于引入梯度损失的损失函数对上述图像重建模型进行训练，由此可以提高模型对高频信息的敏感性，进而可以提高模型对重建图像的重建质量。
图7为本申请实施例提供的图像重建方法一个实施例的流程示意图，包括：
步骤201，获取待重建图像。
具体地，该待重建图像可以是一张低分辨率图像。可以理解的是，上述待重建图像的分辨率并不构成对本申请实施例的限定，在一些实施例中，上述待重建图像的分辨率的数值可以是任意数值。
步骤202，将该待重建图像输入预设图像重建模型，以对该待重建图像进行重建。
具体地，上述预设图像重建模型可以通过上述步骤101-步骤106生成的模型。
步骤203，对该待重建图像进行特征提取，得到特征数据。
具体地，可以通过预设图像重建模型中的特征提取模块对待重建图像进行特征提取，由此可以得到特征数据。示例性的，可以对上述待重建图像进行卷积计算和激励计算，以进行特征提取。具体的特征提取细节可以参考步骤102，在此不再赘述。
步骤204，对特征数据进行非线性映射，得到映射数据。
具体地，可以将上述特征进行非线性映射，由此可以得到映射数据。示例性的，可以通过预设图像重建模型中的瓶颈残差子模块对特征数据进行残差计算，并可以通过对残差数据进行拼接，由此可以得到映射数据。具体的非线性映射的过程可以参考步骤103，在此不再赘述。
步骤205，对映射数据进行上采样，得到重建图像。
具体地，可以通过预设图像重建模型中的重建模块对映射数据进行上采样，由此可以得到重建图像。示例性的，可以对上述映射数据进行卷积计算以及上采样，由此可以得到重建图像，该重建图像可以是高分辨率图像。具体的上采样的过程可以参考步骤104，在此不再赘述。
图8为本申请图像重建模型的生成装置一个实施例的结构示意图，如图8所示，上述图像重建模型的生成装置80可以包括：获取模块81、特征提取模块82、非线性映射模块83、重建模块84、计算模块85及训练模块86；其中，
获取模块81，用于获取训练数据；
特征提取模块82，用于将所述训练数据输入预设模型中进行特征提取，得到特征数据；
非线性映射模块83，用于对所述特征数据进行非线性映射，得到映射数据；
重建模块84，用于对所述映射数据进行上采样，得到重建数据；
计算模块85，用于基于所述重建数据及对应的预设标签数据计算损失，其中，所述损失包括所述重建数据及对应的预设标签数据之间的梯度损失；
训练模块86，用于基于所述损失对所述预设模型进行迭代训练，得到图像重建模型。
其中一种可能的实现方式中，上述特征提取模块82还用于将所述训练数据输入预设模型中进行卷积计算，得到第一卷积输出；使用预设第一激励函数对所述第一卷积输出进行激励计算，得到特征数据。
其中一种可能的实现方式中，上述非线性映射模块83还用于对所述特征数据进行残差计算，得到残差数据；对所述残差数据进行特征拼接，得到拼接数据；对所述拼接数据进行卷积计算，得到第二卷积输出；基于所述第二卷积输出及所述训练数据确定映射数据。
其中一种可能的实现方式中，上述非线性映射模块83还用于对所述特征数据进行卷积计算，得到第三卷积输出；使用预设第二激励函数对所述第三卷积输出进行激励计算，得到第一激励输出；对所述第一激励输出进行卷积计算，得到第四卷积输出；使用预设第三激励函数对所述第四卷积输出进行激励计算，得到第二激励输出；对所述第二激励输出进行卷积计算，得到第五卷积输出；基于所述第五卷积输出及所述特征数据确定残差数据。
其中一种可能的实现方式中，上述非线性映射模块83还用于将每个所述残差数据进行卷积计算，得到对应的残差分量特征；将所有的残差分量特征进行拼接，得到拼接数据。
其中一种可能的实现方式中，上述装置还包括：卷积模块87；其中，
卷积模块87，用于对所述映射数据进行卷积计算。
其中一种可能的实现方式中，所述损失还包括所述重建数据及对应的预设标签数据之间的均方差损失。
其中一种可能的实现方式中，上述装置还包括：量化模块88；其中，
量化模块88，用于对所述图像重建模型进行全整型量化。
其中一种可能的实现方式中，上述量化模块88还用于对所述图像重建模型的网络权重参数进行对称全整型量化；对所述图像重建模型的激励函数及输入至所述图像重建模型的数据进行非对称全整型量化。
其中一种可能的实现方式中，所述训练数据为低分辨率图像，所述重建数据为高分辨率图像。
图9为本申请图像重建装置一个实施例的结构示意图，如图9所示，上述图像重建装置90可以包括：获取模块91、输入模块92、特征提取模块93、非线性映射模块94及重建模块95；其中，
获取模块91，用于获取待重建图像；
输入模块92，用于将所述待重建图像输入预设图像重建模型，所述预设图像重建模型为由上述图像重建模型的生成方法生成的图像重建模型；
特征提取模块93，用于对所述待重建图像进行特征提取，得到特征数据；
非线性映射模块94，用于对所述特征数据进行非线性映射，得到映射数据；
重建模块95，用于对所述映射数据进行上采样，得到重建图像。
其中一种可能的实现方式中，所述待重建为低分辨率图像，所述重建图像为高分辨率图像。
应理解，以上图8所示的图像重建模型的生成装置及图9所示的图像重建装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，检测模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。
图10为本申请电子设备1000一个实施例的结构示意图；如图10所示，上述电子设备1000可以是数据处理设备，也可以是内置于上述数据处理设备的电路设备。该电子设备1000可以用于执行本申请图1-图7所示实施例提供的方法中的功能/步骤。
如图10所示，电子设备1000以通用计算设备的形式表现。
上述电子设备1000可以包括：一个或多个处理器1010；通信接口1020；存储器1030；连接不同系统组件(包括存储器1030和处理器1010)的通信总线1040，数据库1050；以及一个或多个计算机程序。
其中，上述一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述电子设备执行时，使得上述电子设备执行以下步骤：
获取训练数据；
将所述训练数据输入预设模型中进行特征提取，得到特征数据；
对所述特征数据进行非线性映射，得到映射数据；
对所述映射数据进行上采样，得到重建数据；
基于所述重建数据及对应的预设标签数据计算损失，其中，所述损失包括所述重建数据及对应的预设标签数据之间的梯度损失；
基于所述损失对所述预设模型进行迭代训练，得到图像重建模型。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行将所述训练数据输入预设模型中进行特征提取，得到特征数据的步骤包括：
将所述训练数据输入预设模型中进行卷积计算，得到第一卷积输出；
使用预设第一激励函数对所述第一卷积输出进行激励计算，得到特征数据。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行对所述特征数据进行非线性映射，得到映射数据的步骤包括：
对所述特征数据进行残差计算，得到残差数据；
对所述残差数据进行特征拼接，得到拼接数据；
对所述拼接数据进行卷积计算，得到第二卷积输出；
基于所述第二卷积输出及所述训练数据确定映射数据。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行对所述特征数据进行残差计算，得到残差数据的步骤包括：
对所述特征数据进行卷积计算，得到第三卷积输出；
使用预设第二激励函数对所述第三卷积输出进行激励计算，得到第一激励输出；
对所述第一激励输出进行卷积计算，得到第四卷积输出；
使用预设第三激励函数对所述第四卷积输出进行激励计算，得到第二激励输出；
对所述第二激励输出进行卷积计算，得到第五卷积输出；
基于所述第五卷积输出及所述特征数据确定残差数据。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行对所述残差数据进行特征拼接，得到拼接数据的步骤包括：
将每个所述残差数据进行卷积计算，得到对应的残差分量特征；
将所有的残差分量特征进行拼接，得到拼接数据。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行对所述映射数据进行上采样的步骤之前，还执行以下步骤：
对所述映射数据进行卷积计算。
其中一种可能的实现方式中，所述损失还包括所述重建数据及对应的预设标签数据之间的均方差损失。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行得到图像重建模型的步骤之后，还执行以下步骤：
对所述图像重建模型进行全整型量化。
其中一种可能的实现方式中，上述指令被上述电子设备执行时，使得上述电子设备执行对所述图像重建模型进行全整型量化的步骤包括：
对所述图像重建模型的网络权重参数进行对称全整型量化；
对所述图像重建模型的激励函数及输入至所述图像重建模型的数据进行非对称全整型量化。
其中一种可能的实现方式中，所述训练数据为低分辨率图像，所述重建数据为高分辨率图像。
其中，上述一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述电子设备执行时，使得上述电子设备执行以下步骤：
获取待重建图像；
将所述待重建图像输入预设图像重建模型，所述预设图像重建模型为由上述图像重建模型的生成方法生成的图像重建模型；
对所述待重建图像进行特征提取，得到特征数据；
对所述特征数据进行非线性映射，得到映射数据；
对所述映射数据进行上采样，得到重建图像。
其中一种可能的实现方式中，所述待重建为低分辨率图像，所述重建图像为高分辨率图像。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备的结构限定。在本申请另一些实施例中，电子设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
可以理解的是，上述电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像重建模型的生成方法，其特征在于，所述方法包括：
获取训练数据；
将所述训练数据输入预设模型中进行特征提取，得到特征数据；
使用第一卷积层对所述特征数据进行卷积计算，得到第三卷积输出，所述第一卷积层具有1*1的卷积核；
使用预设第二激励函数对所述第三卷积输出进行激励计算，得到第一激励输出；
使用第二卷积层对所述第一激励输出进行卷积计算，得到第四卷积输出，所述第二卷积层具有3*3的卷积核；
使用预设第三激励函数对所述第四卷积输出进行激励计算，得到第二激励输出；
使用第三卷积层对所述第二激励输出进行卷积计算，得到第五卷积输出，所述第三卷积层具有1*1的卷积核；
基于所述第五卷积输出及所述特征数据确定残差数据；
对所述残差数据进行特征拼接，得到拼接数据；
对所述拼接数据进行卷积计算，得到第二卷积输出；
基于所述第二卷积输出及所述训练数据确定映射数据；
对所述映射数据进行上采样，得到重建数据；
基于所述重建数据及对应的预设标签数据计算损失，其中，所述损失包括所述重建数据及对应的预设标签数据之间的梯度损失；
基于所述损失对所述预设模型进行迭代训练，得到图像重建模型。
2.根据权利要求1所述的方法，其特征在于，所述将所述训练数据输入预设模型中进行特征提取，得到特征数据包括：
将所述训练数据输入预设模型中进行卷积计算，得到第一卷积输出；
使用预设第一激励函数对所述第一卷积输出进行激励计算，得到特征数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述残差数据进行特征拼接，得到拼接数据包括：
将每个所述残差数据进行卷积计算，得到对应的残差分量特征；
将所有的残差分量特征进行拼接，得到拼接数据。
4.根据权利要求1所述的方法，其特征在于，所述对所述映射数据进行上采样之前，所述方法还包括：
对所述映射数据进行卷积计算。
5.根据权利要求1所述的方法，其特征在于，所述损失还包括所述重建数据及对应的预设标签数据之间的均方差损失。
6.根据权利要求1所述的方法，其特征在于，所述得到图像重建模型之后，所述方法还包括：
对所述图像重建模型进行全整型量化。
7.根据权利要求6所述的方法，其特征在于，所述对所述图像重建模型进行全整型量化包括：
对所述图像重建模型的网络权重参数进行对称全整型量化；
对所述图像重建模型的激励函数及输入至所述图像重建模型的数据进行非对称全整型量化。
8.根据权利要求1所述的方法，其特征在于，所述训练数据为低分辨率图像，所述重建数据为高分辨率图像。
9.一种图像重建方法，其特征在于，所述方法包括：
获取待重建图像；
将所述待重建图像输入预设图像重建模型，所述预设图像重建模型为由权利要求1-8任一项所述的方法生成的图像重建模型；
对所述待重建图像进行特征提取，得到特征数据；
对所述特征数据进行非线性映射，得到映射数据；
对所述映射数据进行上采样，得到重建图像。
10.根据权利要求9所述的方法，其特征在于，所述待重建为低分辨率图像，所述重建图像为高分辨率图像。
11.一种电子设备，其特征在于，包括：存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括指令，当所述电子设备从所述存储器中读取所述指令，以使得所述电子设备执行如权利要求1-8中任一项所述的图像重建模型的生成方法及如权利要求9或10所述的图像重建方法。
12.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-8中任一项所述的图像重建模型的生成方法及如权利要求9或10所述的图像重建方法。
CN202011502022.XA 2020-12-18 2020-12-18 图像重建模型的生成方法、图像重建方法及相关设备 Active CN112801866B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011502022.XA CN112801866B (zh) 2020-12-18 2020-12-18 图像重建模型的生成方法、图像重建方法及相关设备
PCT/CN2021/131268 WO2022127496A1 (zh) 2020-12-18 2021-11-17 图像重建模型的生成方法、图像重建方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011502022.XA CN112801866B (zh) 2020-12-18 2020-12-18 图像重建模型的生成方法、图像重建方法及相关设备

Publications (2)

Publication Number Publication Date
CN112801866A CN112801866A (zh) 2021-05-14
CN112801866B true CN112801866B (zh) 2023-04-07

Family

ID=75806971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011502022.XA Active CN112801866B (zh) 2020-12-18 2020-12-18 图像重建模型的生成方法、图像重建方法及相关设备

Country Status (2)

Country Link
CN (1) CN112801866B (zh)
WO (1) WO2022127496A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801866B (zh) * 2020-12-18 2023-04-07 展讯通信(天津)有限公司 图像重建模型的生成方法、图像重建方法及相关设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064476B2 (en) * 2008-10-04 2015-06-23 Microsoft Technology Licensing, Llc Image super-resolution using gradient profile prior
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN109978762B (zh) * 2019-02-27 2023-06-16 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110136063B (zh) * 2019-05-13 2023-06-23 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110197468A (zh) * 2019-06-06 2019-09-03 天津工业大学 一种基于多尺度残差学习网络的单图像超分辨重建算法
CN110533594B (zh) * 2019-08-30 2023-04-07 Oppo广东移动通信有限公司 模型训练方法、图像重建方法、存储介质及相关设备
CN111709900A (zh) * 2019-10-21 2020-09-25 上海大学 一种基于全局特征指导的高动态范围图像重建方法
CN111640060A (zh) * 2020-04-30 2020-09-08 南京理工大学 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法
CN111932460B (zh) * 2020-08-10 2023-09-22 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN112801866B (zh) * 2020-12-18 2023-04-07 展讯通信(天津)有限公司 图像重建模型的生成方法、图像重建方法及相关设备

Also Published As

Publication number Publication date
CN112801866A (zh) 2021-05-14
WO2022127496A1 (zh) 2022-06-23

Similar Documents

Publication Publication Date Title
CN110136066B (zh) 面向视频的超分辨率方法、装置、设备和存储介质
Choi et al. A deep convolutional neural network with selection units for super-resolution
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN109118432B (zh) 一种基于快速循环卷积网络的图像超分辨率重建方法
Zhao et al. Unsupervised degradation learning for single image super-resolution
CN109325928A (zh) 一种图像重建方法、装置及设备
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
Fan et al. Neural sparse representation for image restoration
CN111353939B (zh) 一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法
Cao et al. New architecture of deep recursive convolution networks for super-resolution
CN111986092B (zh) 一种基于双重网络的图像超分辨率重建方法及系统
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
Zhao et al. Crnet: Unsupervised color retention network for blind motion deblurring
CN116309107A (zh) 基于Transformer和生成式对抗网络的水下图像增强方法
CN110874855B (zh) 一种协同成像方法、装置、存储介质和协同成像设备
CN114565539B (zh) 一种基于线上知识蒸馏的图像去雾方法
CN112801866B (zh) 图像重建模型的生成方法、图像重建方法及相关设备
CN112700460A (zh) 图像分割方法及系统
CN116309148A (zh) 图像修复模型训练方法、图像修复方法、装置和电子设备
Chaman et al. Truly shift-equivariant convolutional neural networks with adaptive polyphase upsampling
CN105894481B (zh) 用于视频监控设备的直方图均衡化方法及装置
CN114862679A (zh) 基于残差生成对抗网络的单图超分辨率重建方法
Neshatavar et al. ICF-SRSR: Invertible scale-Conditional Function for Self-Supervised Real-world Single Image Super-Resolution
Zhang et al. Bilateral upsampling network for single image super-resolution with arbitrary scaling factors
CN113240589A (zh) 一种多尺度特征融合的图像去雾方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant