CN113379624A - 图像生成方法、图像生成模型的训练方法、装置及设备 - Google Patents

图像生成方法、图像生成模型的训练方法、装置及设备 Download PDF

Info

Publication number
CN113379624A
CN113379624A CN202110604131.0A CN202110604131A CN113379624A CN 113379624 A CN113379624 A CN 113379624A CN 202110604131 A CN202110604131 A CN 202110604131A CN 113379624 A CN113379624 A CN 113379624A
Authority
CN
China
Prior art keywords
image
sample
transformation parameter
parameter set
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110604131.0A
Other languages
English (en)
Other versions
CN113379624B (zh
Inventor
顾瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110604131.0A priority Critical patent/CN113379624B/zh
Publication of CN113379624A publication Critical patent/CN113379624A/zh
Application granted granted Critical
Publication of CN113379624B publication Critical patent/CN113379624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请关于一种图像生成方法、图像生成模型的训练方法、装置及设备，属于图像处理领域。在图像生成的过程中，获取了一个用于修复低分辨率的第一图像的第一变换参数集，再基于第二图像的第一特征图对第一变换参数集进行了调整，得到第二变换参数集，采用第二变换参数集对第二图像进行处理，就能够得到清晰度更高的目标图像。这种方法在对第一变换参数集的调整时考虑了第一特征图的影响，得到的第二变换参数集具有更高的准确度和泛化能力。基于第二变换参数集生成的目标图像就有着更高的清晰度，图像生成的效果更好。

Description

图像生成方法、图像生成模型的训练方法、装置及设备
技术领域
本申请涉及图像处理领域，尤其涉及一种图像生成方法、图像生成模型的训练方法、装置及设备。
背景技术
图像作为重要的信息载体，在生活中起着重要的作用，人们会通过拍摄图像来记录不同的场景。但是，在一些情况下，人们拍摄的图像的清晰度较低，不能满足实际需要。
相关技术中，清晰度较低也就意味着图像分辨率较低，为了降低计算量，能够在分辨率较低的图像上直接进行处理，再采用上采样的方法，比如采用像素值填充的方法来将分辨率较低的图像映射到高分辨率图像上，从而提高图像的清晰度。但是，采用像素值填充的方式来对图像进行处理时，得到的图像的清晰度较低，图像处理的效果不佳。
发明内容
本申请提供一种图像生成方法、图像生成模型的训练方法、装置及设备，能够提高生成图像的清晰度，提高图像修复的效果。本申请的技术方案如下：
一方面，提供一种图像生成方法，包括：
将第一图像输入第一图像生成模型，对所述第一图像进行图像处理，输出第一处理图像，所述第一处理图像的清晰度高于所述第一图像；
基于所述第一处理图像和所述第一图像，获取第一变换参数集，所述第一变换参数集为将所述第一图像变换为所述第一处理图像的参数集；
将第二图像输入第二图像生成模型，对所述第二图像进行特征提取，得到与所述第二图像对应的第一特征图，所述第一图像为对所述第二图像进行下采样得到的图像；
基于所述第一特征图和所述第一变换参数集，生成第二变换参数集，所述第二变换参数集用于提高所述第二图像的清晰度；
采用所述第二变换参数集中的变换参数对所述第二图像进行线性变换，输出目标图像。
在一种可能的实施方式中，所述第一变换参数集包括第一变换参数和第二变换参数，所述第一变换参数为线性变换的斜率，所述第二变换参数为线性变换的截距，所述基于所述第一特征图和所述第一变换参数集，生成第二变换参数集包括：
基于所述第一特征图、所述第一变换参数和所述第二变换参数，获取所述第二变换参数集。
在一种可能的实施方式中，所述基于所述第一特征图、所述第一变换参数和所述第二变换参数，获取所述第二变换参数集包括：
将所述第一特征图、所述第一变换参数和所述第二变换参数进行拼接，得到拼接特征图；
对所述拼接特征图进行亚像素卷积，得到第四特征图；
基于所述第四特征图，获取所述第二变换参数集。
在一种可能的实施方式中，所述对所述拼接特征图进行亚像素卷积，得到第四特征图包括：
按照目标周期从所述拼接特征图的每个通道中依次获取像素值；
基于获取的多个像素值，依次对所述拼接特征图中的多个像素点进行像素值填充，得所述第四特征图。
在一种可能的实施方式中，所述第二变换参数集包括第三变换参数和第四变换参数，所述第三变换参数为线性变换的斜率，所述第四变换参数为线性变换的截距，所述基于所述第四特征图，获取所述第二变换参数集包括：
将所述第四特征图中多个像素点的像素值获取为所述第二变换参数集中，与所述第一变换参数对应的所述第三变换参数；
基于所述第一变换参数以及所述拼接特征图中多个像素点的平均像素值，获取与所述第二变换参数对应的所述第四变换参数。
一方面，提供一种图像生成模型的训练方法，包括：
获取第一样本图像和第一目标图像，所述第一目标图像的清晰度高于所述第一样本图像；
基于所述第一目标图像和所述第一样本图像，获取第一样本变换参数集，所述第一样本变换参数集为将所述第一样本图像变换为所述第一目标图像的参数集；
将第二样本图像输入待训练的第二图像生成模型，对所述第二样本图像进行特征提取，得到与所述第二样本图像对应的第一特征图，所述第一样本图像为对所述第二样本图像进行下采样得到的图像；
基于所述第一特征图和所述第一样本变换参数集，生成第二样本变换参数集，所述第二样本变换参数集用于提高所述第二样本图像的清晰度；
基于所述第二样本图像和第二目标图像，获取第三样本变换参数集，所述第三样本变换参数集是将所述第二样本图像变换为所述第二目标图像的样本变换参数集，所述第二样本图像为对所述第二目标图像进行退化处理后的得到的样本图像；
基于所述第二样本变换参数集和所述第三样本变换参数集之间的第一差异信息，对所述第二图像生成模型的模型参数进行调整。
在一种可能的实施方式中，所述第一样本变换参数集包括第一变换参数和第二变换参数，所述第一变换参数为线性变换的斜率，所述第二变换参数为线性变换的截距，所述基于所述第一特征图和所述第一样本变换参数集，生成第二样本变换参数集包括：
基于所述第一特征图、所述第一变换参数和所述第二变换参数，获取所述第二样本变换参数集。
在一种可能的实施方式中，所述基于所述第一特征图、所述第一变换参数和所述第二变换参数，获取所述第二样本变换参数集包括：
将所述第一特征图、所述第一变换参数和所述第二变换参数进行拼接，得到拼接特征图；
对所述拼接特征图进行亚像素卷积，得到第四特征图；
基于所述第四特征图，获取所述第二样本变换参数集。
在一种可能的实施方式中，所述对所述拼接特征图进行亚像素卷积，得到第四特征图包括：
按照目标周期从所述拼接特征图的每个通道中依次获取像素值；
基于获取的多个像素值，依次对所述拼接特征图中的多个像素点进行像素值填充，得所述第四特征图。
在一种可能的实施方式中，所述第二样本变换参数集包括第三变换参数和第四变换参数，所述第三变换参数为线性变换的斜率，所述第四变换参数为线性变换的截距，所述基于所述第四特征图，获取所述第二样本变换参数集包括：
将所述第四特征图中多个像素点的像素值获取为所述第二样本变换参数集中，与所述第一变换参数对应的所述第三变换参数；
基于所述第一变换参数以及所述拼接特征图中多个像素点的平均像素值，获取与所述第二变换参数对应的所述第四变换参数。
在一种可能的实施方式中，所述将第二样本图像输入待训练的第二图像生成模型之前，所述方法还包括：
将所述第二样本图像输入所述第二图像生成模型，对所述第二样本图像进行特征提取，得到所述第一特征图；
基于所述第一特征图和所述第一样本变换参数集，生成所述第二样本变换参数集；
基于所述第二样本变换参数集对所述第二样本图像进行处理，得到与所述第二样本图像对应的第一生成图像；
基于所述第一生成图像和所述第二目标图像之间的第二差异信息，对所述第二图像生成模型的模型参数进行调整。
在一种可能的实施方式中，所述将第二样本图像输入待训练的第二图像生成模型之前，所述方法还包括：
将所述第一样本图像输入第一图像生成模型，对所述第一样本图像进行处理，得到第二生成图像；
基于所述第二生成图像和所述第一目标图像之间的第三差异信息，对所述第一图像生成模型的模型参数进行调整。
在一种可能的实施方式中，所述基于所述第二生成图像和所述第一目标图像之间的差异信息，对所述第一图像生成模型的模型参数进行调整之后，所述方法还包括：
将第一样本图像输入所述第一图像生成模型，对所述第一样图像进行图像处理，输出第一处理图像，所述第一处理图像的清晰度高于所述第一样本图像；
基于所述第一处理图像和所述第一样本图像，获取第四样本变换参数集，所述第四样本变换参数集为将所述第一样本图像变换为所述第一处理图像的参数集；
将所述第二样本图像输入所述第二图像生成模型，对所述第二样本图像进行特征提取，得到与所述第二样本图像对应的第一特征图；
基于所述第一特征图和所述第四样本变换参数集，生成第五样本变换参数集，所述第五样本变换参数集用于提高所述第二样本图像的清晰度；
采用所述第五样本变换参数集中的变换参数对所述第二样本图像进行线性变换，输出第三生成图像；
基于所述第三输出图像和所述第二目标图像之间的第四差异信息，对所述第一图像生成模型的模型参数进行调整。
在一种可能的实施方式中，所述将第二样本图像输入待训练的第二图像生成模型之前，所述方法还包括：
获取第一原始样本图像和第二原始样本图像，所述第二原始样本图像为对所述第一原始样本图像进行退化处理后得到的图像；
对所述第一原始样本图像和所述第二原始样本图像进行数据增广处理，得到与所述第一原始样本图像对应的所述第二目标图像，以及与所述第二原始样本图像对应的所述第二样本图像。
一方面，提供一种图像生成装置，包括：
第一图像输入单元，被配置为执行将第一图像输入第一图像生成模型，对所述第一图像进行图像处理，输出第一处理图像，所述第一处理图像的清晰度高于所述第一图像；
第一变换参数集获取单元，被配置为执行基于所述第一处理图像和所述第一图像，获取第一变换参数集，所述第一变换参数集为将所述第一图像变换为所述第一处理图像的参数集；
第二图像输入单元，被配置为执行将第二图像输入第二图像生成模型，对所述第二图像进行特征提取，得到与所述第二图像对应的第一特征图，所述第一图像为对所述第二图像进行下采样得到的图像；
第二变换参数集生成单元，被配置为执行基于所述第一特征图和所述第一变换参数集，生成第二变换参数集，所述第二变换参数集用于提高所述第二图像的清晰度；
图像输出单元，被配置为执行采用所述第二变换参数集中的变换参数对所述第二图像进行线性变换，输出目标图像。
在一种可能的实施方式中，所述第一变换参数集包括第一变换参数和第二变换参数，所述第一变换参数为线性变换的斜率，所述第二变换参数为线性变换的截距，所述第二变换参数集生成单元，被配置为执行基于所述第一特征图、所述第一变换参数和所述第二变换参数，获取所述第二变换参数集。
在一种可能的实施方式中，所述第二变换参数集生成单元，被配置为执行将所述第一特征图、所述第一变换参数和所述第二变换参数进行拼接，得到拼接特征图；对所述拼接特征图进行亚像素卷积，得到第四特征图；基于所述第四特征图，获取所述第二变换参数集。
在一种可能的实施方式中，所述第二变换参数集生成单元，被配置为执行按照目标周期从所述拼接特征图的每个通道中依次获取像素值；基于获取的多个像素值，依次对所述拼接特征图中的多个像素点进行像素值填充，得所述第四特征图。
在一种可能的实施方式中，所述第二变换参数集包括第三变换参数和第四变换参数，所述第三变换参数为线性变换的斜率，所述第四变换参数为线性变换的截距，所述第二变换参数集生成单元，被配置为执行将所述第四特征图中多个像素点的像素值获取为所述第二变换参数集中，与所述第一变换参数对应的所述第三变换参数；基于所述第一变换参数以及所述拼接特征图中多个像素点的平均像素值，获取与所述第二变换参数对应的所述第四变换参数。
一方面，提供一种图像生成模型的训练装置，包括：
获取单元，被配置为执行获取第一样本图像和第一目标图像，所述第一目标图像的清晰度高于所述第一样本图像；
第一样本变换参数集获取单元，被配置为执行基于所述第一目标图像和所述第一样本图像，获取第一样本变换参数集，所述第一样本变换参数集为将所述第一样本图像变换为所述第一目标图像的参数集；
第二样本图像输入单元，被配置为执行将第二样本图像输入待训练的第二图像生成模型，对所述第二样本图像进行特征提取，得到与所述第二样本图像对应的第一特征图，所述第一样本图像为对所述第二样本图像进行下采样得到的图像；
第二样本变换参数集生成单元，被配置为执行基于所述第一特征图和所述第一样本变换参数集，生成第二样本变换参数集，所述第二样本变换参数集用于提高所述第二样本图像的清晰度；
第三样本变换参数集获取单元，被配置为执行基于所述第二样本图像和第二目标图像，获取第三样本变换参数集，所述第三样本变换参数集是将所述第二样本图像变换为所述第二目标图像的样本变换参数集，所述第二样本图像为对所述第二目标图像进行退化处理后的得到的样本图像；
调整单元，被配置为执行基于所述第二样本变换参数集和所述第三样本变换参数集之间的第一差异信息，对所述第二图像生成模型的模型参数进行调整。
在一种可能的实施方式中，所述第一样本变换参数集包括第一变换参数和第二变换参数，所述第一变换参数为线性变换的斜率，所述第二变换参数为线性变换的截距，所述第二样本变换参数集生成单元，被配置为执行基于所述第一特征图、所述第一变换参数和所述第二变换参数，获取所述第二样本变换参数集。
在一种可能的实施方式中，所述第二样本变换参数集生成单元，被配置为执行将所述第一特征图、所述第一变换参数和所述第二变换参数进行拼接，得到拼接特征图；对所述拼接特征图进行亚像素卷积，得到第四特征图；基于所述第四特征图，获取所述第二样本变换参数集。
在一种可能的实施方式中，所述第二样本变换参数集生成单元，被配置为执行按照目标周期从所述拼接特征图的每个通道中依次获取像素值；基于获取的多个像素值，依次对所述拼接特征图中的多个像素点进行像素值填充，得所述第四特征图。
在一种可能的实施方式中，所述第二样本变换参数集包括第三变换参数和第四变换参数，所述第三变换参数为线性变换的斜率，所述第四变换参数为线性变换的截距，所述第二样本变换参数集生成单元，被配置为执行将所述第四特征图中多个像素点的像素值获取为所述第二样本变换参数集中，与所述第一变换参数对应的所述第三变换参数；基于所述第一变换参数以及所述拼接特征图中多个像素点的平均像素值，获取与所述第二变换参数对应的所述第四变换参数。
在一种可能的实施方式中，所述调整单元，还被配置为执行将所述第二样本图像输入所述第二图像生成模型，对所述第二样本图像进行特征提取，得到所述第一特征图；基于所述第一特征图和所述第一样本变换参数集，生成所述第二样本变换参数集；基于所述第二样本变换参数集对所述第二样本图像进行处理，得到与所述第二样本图像对应的第一生成图像；基于所述第一生成图像和所述第二目标图像之间的第二差异信息，对所述第二图像生成模型的模型参数进行调整。
在一种可能的实施方式中，所述调整单元，还被配置为执行将所述第一样本图像输入第一图像生成模型，对所述第一样本图像进行处理，得到第二生成图像；基于所述第二生成图像和所述第一目标图像之间的第三差异信息，对所述第一图像生成模型的模型参数进行调整。
在一种可能的实施方式中，所述调整单元，还被配置为执行将第一样本图像输入所述第一图像生成模型，对所述第一样图像进行图像处理，输出第一处理图像，所述第一处理图像的清晰度高于所述第一样本图像；基于所述第一处理图像和所述第一样本图像，获取第四样本变换参数集，所述第四样本变换参数集为将所述第一样本图像变换为所述第一处理图像的参数集；将所述第二样本图像输入所述第二图像生成模型，对所述第二样本图像进行特征提取，得到与所述第二样本图像对应的第一特征图；基于所述第一特征图和所述第四样本变换参数集，生成第五样本变换参数集，所述第五样本变换参数集用于提高所述第二样本图像的清晰度；采用所述第五样本变换参数集中的变换参数对所述第二样本图像进行线性变换，输出第三生成图像；基于所述第三输出图像和所述第二目标图像之间的第四差异信息，对所述第一图像生成模型的模型参数进行调整。
在一种可能的实施方式中，所述装置还包括，数据增广单元，被配置为获取第一原始样本图像和第二原始样本图像，所述第二原始样本图像为对所述第一原始样本图像进行退化处理后得到的图像；对所述第一原始样本图像和所述第二原始样本图像进行数据增广处理，得到与所述第一原始样本图像对应的所述第二目标图像，以及与所述第二原始样本图像对应的所述第二样本图像。
一方面，提供了一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述的图像生成模型的训练方法，或实现上述图像生成方法。
一方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够实现上述图像生成模型的训练方法，或实现上述图像生成方法。
一方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够实现上述图像生成模型的训练方法，或实现上述图像生成方法。
本申请的实施例提供的技术方案至少带来以下有益效果：
在图像生成的过程中，获取了一个用于修复低分辨率的第一图像的第一变换参数集，再基于第二图像的第一特征图对第一变换参数集进行了调整，得到第二变换参数集，采用第二变换参数集对第二图像进行处理，就能够得到清晰度更高的目标图像。这种方法在对第一变换参数集的调整时考虑了第一特征图的影响，得到的第二变换参数集具有更高的准确度和泛化能力。基于第二变换参数集生成的目标图像就有着更高的清晰度，图像生成的效果更好。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理，并不构成对本申请的不当限定。
图1是根据一示例性实施例示出的一种图像生成模型的训练方法的实施环境示意图。
图2是根据一示例性实施例示出的一种图像生成模型的结构示意图。
图3是根据一示例性实施例示出的一种图像生成模型的训练方法的流程图。
图4是根据一示例性实施例示出的一种图像生成模型的训练方法的流程图。
图5是根据一示例性实施例示出的一种滑动窗口的示意图。
图6是根据一示例性实施例示出的一种生成拼接特征图的流程示意图。
图7是根据一示例性实施例示出的一种图像生成模型的训练方法的流程图。
图8是根据一示例性实施例示出的一种图像生成模型的训练方法的流程图。
图9是根据一示例性实施例示出的一种图像生成模型的训练方法的流程图。
图10是根据一示例性实施例示出的一种图像生成模型的训练方法的流程图。
图11是根据一示例性实施例示出的一种图像生成方法的流程图。
图12是根据一示例性实施例示出的一种图像生成方法的效果示意图。
图13是根据一示例性实施例示出的一种图像生成装置的框图。
图14是根据一示例性实施例示出的一种图像生成模型的训练装置的框图。
图15是根据一示例性实施例示出的一种终端的框图。
图16是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
可选地，本申请实施例提供的电子设备实现为终端或服务器，下面对由终端和服务器构成的实施环境进行介绍。
图1是本申请实施例提供的一种图像生成模型的训练方法的实施环境示意图，参见图1，该实施环境中可以包括终端101和服务器102。
终端101可以为智能手机、智能手表、台式电脑、手提电脑和膝上型便携计算机等设备中的至少一种。终端101上可以安装并运行有支持图像生成的应用程序，用户可以通过终端101登录该应用程序，使用训练完成的图像生成模型来生成图像。
终端101可以泛指多个终端中的一个，本实施例仅以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端101可以仅为几个，或者上述终端101为几十个或几百个，或者更多数量，本申请实施例对终端101的数量和设备类型均不加以限定。终端101可以通过无线网络或有线网络与服务器102相连。
服务器102可以为一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。服务器102可以用于训练图像生成模型。
可选地，上述服务器102的数量可以更多或更少，本申请实施例对此不加以限定。当然，服务器102还可以包括其他功能服务器，以便提供更全面且多样化的服务。
在介绍完本申请实施例提供的应用场景之后，下面将结合上述实施场景，对本申请实施例的技术方案进行介绍，需要说明的是，下述说明过程中的终端也即是上述实施环境中的终端101，服务器也即是上述实施环境中的服务器102。
本申请提供的图像生成方法能够应用于多种提升图像清晰度场景下，比如应用在视频图像修复的场景下，或者应用在照片修复的场景下，或者应用在提升文字图像清晰度的场景下，在一些实施例中，提升图像清晰度也被称为图像超分。
对于视频图像修复的场景来说，终端获取待进行视频图像修复的视频，将该视频发送给服务器。服务器接收到该视频后，将该视频的视频帧输入训练完成图像生成模型，通过图像生成模型来对该视频的每个视频帧进行处理，生成与该每个视频帧对应的目标视频帧，也即是目标图像，目标视频帧的清晰度高于该视频帧中原本的视频帧。服务器将目标视频帧进行组合，得到重新生成的目标视频，目标视频也即是对该视频进行修复后的视频。由于目标视频中每个目标视频帧的清晰度均高于该视频中的对应视频帧，由目标视频帧构成的目标视频的清晰度也就高于该视频的清晰度。视频图像修复的场景适用于对一些拍摄时间较为久远的老视频进行处理，比如，对于一些老视频来说，由于拍摄时设备和技术的限制，这些老视频的清晰度可能较低，也即是老视频较为模糊，播放效果较差。在这种情况下，能够采用本申请实施例提供图像生成方法来对老视频进行处理，也即是将老视频中各个清晰度较低的视频帧处理为清晰度更高的目标视频帧，将清晰度更高的目标视频帧组合为目标视频，就能够完成对老视频的修复操作。当然，本申请实施例提供的图像生成方法除了能够对清晰度较低的老视频进行处理之外，也能够对其他清晰度较低的视频进行处理，以提高其他视频的清晰度，本申请实施例对此不做限定。
对于照片修复的场景来说，终端获取待进行照片修复的照片，将该照片发送给服务器。服务器接收到该照片之后，将该照片输入训练完成的生成模型，通过图像生成模型来对该照片进行处理，生成与该照片对应的目标照片，目标照片的清晰度高于该照片。照片修复的场景也适用于对一些拍摄时间较为久远的老照片进行处理，比如，对于一些老照片来说，由于拍摄设备和技术的限制，这些老照片中丢失了大量的细节，这些老照片的清晰度较低。在这种情况下，能够采用本申请实施例提供的图像生成方法来对老照片进行处理，也即是将老照片处理为清晰度更高的目标照片，以完成对老照片的修复。当然，本申请实施例提供的图像生成方法除了能够对清晰度不高的老照片进行处理之外，也能够对其他清晰度较低的照片进行处理，以提高其他照片的清晰度，本申请实施例对此不做限定。
对于提升文字图像清晰度的场景来说，这里的文字图像是指具有文字的图像，比如为学生上课时拍摄老师板书的图像，或者为参会者拍摄会议幻灯片的图像等，本申请实施例对此不做限定。对于这些文字图像来说，可能由于拍摄时间较为紧张、拍摄距离较远或者拍摄设备限制等因素的影响，拍摄得到的文字图像的清晰度较低，拍摄者后续想要查看文字图像中的文字的难度较大。在这种情况下，终端将文字图像发送给服务器，服务器接收到文字图像之后，将文字图像输入训练完成图像生成模型，通过图像生成模型对文字图像进行处理，得到目标文字图像，目标文字图像的清晰度也就高于输入的文字图像。拍摄者能够从目标文字图像中查看文字。
上述三个应用场景仅仅是一种示例性描述，本申请实施例还能够应用在更多视频或图像处理的过程中，本申请实施例对此不做限定。
在介绍完本申请实施例的实施环境和应用场景之后，下面对本申请实施例提供图像生成模型的结构进行说明。参见图2，本申请实施例中的图像生成模型201包括第一图像生成模型202以及第二图像生成模型203，在一些实施中，低分辨率图像生成模型也被称为LR(Low Resolution，低分辨率)模型，第二图像生成模型也被称为HR(High Resolution，高分辨率)模型或者DGF(Deep Guided Filter深度引导滤波)模型。
其中，第一图像生成模型202用于对低分辨率图像进行图像处理，得到低分辨率的第一处理图像。可选地，第一图像生成模型202结构为U-Net(U型网络)结构，也即是，第一图像生成模型202包括多个下采样编码模块2021，每个下采样编码模块2021能够执行下采样编码的处理过程，采用多个下采样模块2021也就能够对输入的图像进行多次下采样编码。其中，每次下采样编码的过程，也即是对图像进行卷积处理和池化处理的过程，或者说是对图像进行特征提取的过程。通过多次下采样编码，能够获取输入图像的深度特征图。相应的，第一图像生成模型202包括多个上采样解码模块2022，上采样解码模块2022的数量与下采样编码模块2021的数量相同。通过多个上采样解码模块2022，对输入图像的深度特征图进行上采样解码，也即是通过对特征图进行反卷积处理来恢复图像的过程。通过多个上采样编码器2022，能够得到低分辨率第一处理图像，低分辨率第一处理图像的清晰度高于输入的图像。需要说明的是，上述说明过程中的低分辨率和高分辨率由技术人员根据实际情况进行区分，比如将分辨率低于分辨率阈值的图像称为低分辨率图像，将分辨率高于分辨率阈值的图像称为高分辨率图像，或者，技术人员可以在训练图像生成模型的过程中，指定低分辨率图像和高分辨率图像，或者，低分辨率和高分辨率根据不同的视频标准来确定，本申请实施例对此不做限定。
第二图像生成模型203用于对图像进行超分处理，超分处理也即是通过提高图像的分辨率来提高图像的清晰度。在一些实施例中，第二图像生成模型203包括第一特征提取模块2031、第二特征提取模块2032、第一变换参数集获取模块2033、第三特征提取模块2034、第二变换参数集获取模块2035以及线性处理模块2036，在一些实施例中，第二变换参数集获取模块2035也被成为Pixel Shuffle(像素重组模块)。图像生成子模型203的输入包括三个图像，分别记作图像A、图像B和图像C。其中，图像A为对图像C进行退化处理后得到的图像，同时，图像A为第一图像生成模型202的输入图像，图像B为第一图像生成模型202的输出图像，图像C为待进行清晰度提升的图像。
其中，第一特征提取模块2031用于对图像A进特征提取，得到图像A对应的特征图A。第二特征提取模块2032用于对图像B进行特征提取，得到图像B对应的特征图B。第一变换参数集获取模块2033用于基于特征图A和特征图B，获取第一变换参数集。第三特征提取模块2034用于对图像C进行特征提取，得到图像C对应的特征图C。第二变换参数集获取模块2035用于基于第一变换参数集和特征图C，获取第二变换参数集。线性处理模块2036用于基于第二变换参数集，对图像C进行处理，得到目标图像，目标图像也即是对图像C进行清晰度提升后的图像。
在本申请实施例中，包括图像生成方法和图像生成模型的训练方法，而在图像生成方法中，需要借助第一图像生成模型和第二图像生成模型。在介绍完本申请实施例的实施环境、应用场景以及图像生成模型的模型结构之后，为了对本申请实施例提供的技术方案进行更加清楚的说明，下面先对本申请实施例提供的图像生成模型的训练方法进行说明。
图3是根据一示例性实施例示出的一种图像生成模型的训练方法的流程图，如图3所示，以图像生成模型的训练方法由电子设备执行为例，包括以下步骤。
在步骤S301中，获取第一样本图像和第一目标图像，第一目标图像的清晰度高于第一样本图像。
在步骤S302中，基于第一目标图像和第一样本图像，获取第一样本变换参数集，第一样本变换参数集为将第一样本图像变换为第一目标图像的参数集。
在步骤S303中，将第二样本图像输入待训练的第二图像生成模型，对第二样本图像进行特征提取，得到与第二样本图像对应的第一特征图，第一样本图像为对第二样本图像进行下采样得到的图像。
在步骤S304中，基于第一特征图和第一样本变换参数集，生成第二样本变换参数集，第二样本变换参数集用于提高第二样本图像的清晰度。
在步骤S305中，基于第二样本图像和第二目标图像，获取第三样本变换参数集，第三样本变换参数集是将第二样本图像变换为第二目标图像的样本变换参数集，第二样本图像为对第二目标图像进行退化处理后的得到的样本图像。
在步骤S306中，基于第二样本变换参数集和第三样本变换参数集之间的第一差异信息，对第二图像生成模型的模型参数进行调整。
在训练图像生成模型的过程中，获取了一个用于修复低分辨率的第一样本图像的第一样本变换参数集，基于第二样本图像的第一特征图对第一样本变换参数集进行了调整，得到第二样本变换参数集。采用第二样本变换参数集对第二样本图像进行处理，就能够得到清晰度更高的目标图像。这种方法在对第一样本变换参数集的调整时结合了第一特征图的影响，模型训练能够提高提取第一特征图的准确度，从而使得得到的第二样本变换参数集具有更高的准确度，图像生成模型也就具有较强的泛化能力。采用训练完成的图像生成模型生成的目标图像就有着更高的清晰度，图像生成的效果更好。
在一种可能的实施方式中，第一样本变换参数集包括第一变换参数和第二变换参数，第一变换参数为线性变换的斜率，第二变换参数为线性变换的截距，基于第一特征图和第一样本变换参数集，生成第二样本变换参数集包括：
基于第一特征图、第一变换参数和第二变换参数，获取第二样本变换参数集。
在一种可能的实施方式中，基于第一特征图、第一变换参数和第二变换参数，获取第二样本变换参数集包括：
将第一特征图、第一变换参数和第二变换参数进行拼接，得到拼接特征图。
对拼接特征图进行亚像素卷积，得到第四特征图。
基于第四特征图，获取第二样本变换参数集。
在一种可能的实施方式中，对拼接特征图进行亚像素卷积，得到第四特征图包括：
按照目标周期从拼接特征图的每个通道中依次获取像素值。
基于获取的多个像素值，依次对拼接特征图中的多个像素点进行像素值填充，得第四特征图。
在一种可能的实施方式中，第二样本变换参数集包括第三变换参数和第四变换参数，第三变换参数为线性变换的斜率，第四变换参数为线性变换的截距，基于第四特征图，获取第二样本变换参数集包括：
将第四特征图中多个像素点的像素值获取为第二样本变换参数集中，与第一变换参数对应的第三变换参数。
基于第一变换参数以及拼接特征图中多个像素点的平均像素值，获取与第二变换参数对应的第四变换参数。
在一种可能的实施方式中，将第二样本图像输入待训练的第二图像生成模型之前，方法还包括：
将第二样本图像输入第二图像生成模型，对第二样本图像进行特征提取，得到第一特征图。
基于第一特征图和第一样本变换参数集，生成第二样本变换参数集。
基于第二样本变换参数集对第二样本图像进行处理，得到与第二样本图像对应的第一生成图像。
基于第一生成图像和第二目标图像之间的第二差异信息，对第二图像生成模型的模型参数进行调整。
在一种可能的实施方式中，将第二样本图像输入待训练的第二图像生成模型之前，方法还包括：
将第一样本图像输入第一图像生成模型，对第一样本图像进行处理，得到第二生成图像。
基于第二生成图像和第一目标图像之间的第三差异信息，对第一图像生成模型的模型参数进行调整。
在一种可能的实施方式中，基于第二生成图像和第一目标图像之间的差异信息，对第一图像生成模型的模型参数进行调整之后，方法还包括：
将第一样本图像输入第一图像生成模型，对第一样图像进行图像处理，输出第一处理图像，第一处理图像的清晰度高于第一样本图像。
基于第一处理图像和第一样本图像，获取第四样本变换参数集，第四样本变换参数集为将第一样本图像变换为第一处理图像的参数集。
将第二样本图像输入第二图像生成模型，对第二样本图像进行特征提取，得到与第二样本图像对应的第一特征图。
基于第一特征图和第四样本变换参数集，生成第五样本变换参数集，第五样本变换参数集用于提高第二样本图像的清晰度。
采用第五样本变换参数集中的变换参数对第二样本图像进行线性变换，输出第三生成图像。
基于第三输出图像和第二目标图像之间的第四差异信息，对第一图像生成模型的模型参数进行调整。
在一种可能的实施方式中，将第二样本图像输入待训练的第二图像生成模型之前，方法还包括：
获取第一原始样本图像和第二原始样本图像，第一原始样本图像为对第二原始样本图像进行退化处理后得到的图像。
对第一原始样本图像和第二原始样本图像进行数据增广处理，得到与第一原始样本图像对应的第二样本图像，以及与第二原始样本图像对应的第二目标图像。
上述步骤S301-S306是对本申请实施例的简单介绍，下面将结合一些例子，对本申请实施例提供的技术方案进行说明，在下述说明过程中，以图像生成模型的一次迭代训练过程为例，参见图4，方法由电子设备执行，方法包括：
在步骤S401中，获取第一原始样本图像。
其中，第一原始样本图像为分辨率高于分辨率阈值的图像，在一些实施例中，第一原始样本图像也被称为高清图像。
在一种可能的实施方式中，电子设备从网络上获取高清图像集，将高清图像集中的图像获取为第一原始样本图像，其中，高清图像集中的每个图像均为分辨率高于分辨率阈值的图像。可选地，高清图像集为人像高清图像集、风景高清图像集、车辆高清图像集以及文字高清图像集等类型的图像集，本申请实施例对此不做限定。在一些实施例中，高清图像集的类型与图像生成模型的用途相关，比如，若电子设备训练的图像生成模型用于对人像进行清晰度提升，那么电子设备能够将人像高清图像集中的图像获取为第一原始样本图像。若电子设备训练的图像生成模型用于对风景图像进行清晰度提升，那么电子设备能够将风景高清图像集中的图像获取为第一原始样本图像。
在这种实施方式下，通过获取高清图像集的方式，电子设备一次性就能够获取到多个第一原始样本图像，便于在模型训练的不同迭代过程中使用的不同的第一原始样本图像进行训练，无需多次重新获取第一原始样本图像，模型训练的效率较高。
举例来说，电子设备从高清图像分享论坛上获取高清图像集，将高清图像集中的图像获取为第一原始样本图像。
在一种可能的实施方式中，电子设备获取高清视频，将高清视频中的视频帧获取为第一原始样本图像，其中，高清视频为分辨率高于分辨率阈值的视频。在一些实施例中，高清视频为原始视频，也即是未经过压缩编码的视频。
在这种实施方式下，由于高清视频帧包括多个视频帧，每个视频帧的分辨率均高于分辨率阈值，那么电子设备获取一部高清视频就能够得到多个视频帧用于训练图像生成模型，模型训练的效率较高。
在步骤S402中，对第一原始样本图像进行退化处理，得到第二原始样本图像。
其中，退化处理的过程也即是对图像的构造进行损伤的过程，比如对图像中的一些像素点进行删除。对图像进行退化处理之后，图像中携带的部分信息会发生丢失，得到的图像的清晰度会下降。在本申请实施例中，第二原始样本图像也即是对第一原始样本图像进行退化处理后得到的图像，训练图像生成模型的目标为通过图像生成模型，将清晰度较低的第二原始样本图像恢复为清晰度较高的第一原始样本图像，也即是，第一原始样本图像与第二原始样本图像具有相同图像内容，第一原始样本图像的清晰度高于第二原始样本图像。
在一种可能的实施方式中，电子设备在第一原始样本图像上添加随机噪声，得到第二原始样本图像。
下面通过两个例子对上述实施方式进行说明。
例1、电子设备随机将第一原始样本图像上第一目标数量的像素点的像素值设置为0或255，也即是将第一原始样本图像上第一目标数量的像素点设置为黑色或白色，从而使得第一原始样本图像中部分像素点的像素值丢失，实现对第一原始样本图像的退化处理。其中，第一目标数量根据实际情况进行设置，若第一目标数量较大，那么像素值被随机确定为0或255的像素点的数量也就较多，对第一原始样本图像的构造造成的损伤也就越大。若第一目标数量较小，那么像素值被随机确定为0或255的像素点的数量也就越少，对第一原始样本图像的构造造成的损伤也就越小。在一些实施例中，这种方式也被称为在第一原始样本图像上添加椒盐噪声。
例2、电子设备随机生成一组符合标准正态分布的噪声值，将噪声值叠加到第一原始样本图像的像素点的像素值上，得到第二原始样本图像。通过这样的处理过程，电子设备能够改变第一原始样本图像中各个像素点的像素值，从而实现对第一原始样本图像的退化处理。比如，第一原始样本图像中存在2×2＝4个像素点，那么电子设备随机生成一组符合标准正态分布的四个噪声值，将这四个噪声值分别与第一原始样本图像中四个像素点的像素值进行叠加，得到第二原始样本图像。
在一种可能的实施方式中，电子设备对第一原始样本图像进行随机模糊处理，得到第二原始样本图像。
举例来说，电子设备随机在第一原始样本图像上确定第二目标数量的目标区域，目标区域也即是待进行模糊处理的区域。电子设备对每个目标区域进行高斯模糊处理，改变目标区域内像素点的像素值，从而实现对第一原始样本图像的退化处理，得到第二原始样本图像。其中，第二目标数量根据实际情况进行设置，若第二目标数量设置的较大，那么对第一原始样本图像的构造造成的损失也就越大。若第二目标数量设置的较小，那么对第一原始样本图像的构造造成的损失也就越小。
在一种可能的实施方式中，电子设备对第一原始样本图像进行下采样处理，得到第二原始样本图像。
举例来说，电子设备从第一原始样本图像中，每隔第三目标数量个像素点进行采样，得到第二原始样本图像。比如，若第三目标数量为3，第一原始样本图像包括300×300＝900个像素点，那么电子设备采集第一原始样本图像左上角第一个像素点的像素值之后，间隔3个像素点采集像素点的像素值，依次类推，直至得到第二原始样本图像。当然，经过上述降采样过程之后，第二原始样本图像的尺寸小于第一原始样本图像，电子设备能够将第二原始样本图像的尺寸放大至与第一原始样本图像相同，以便于后续的模型训练。
在一种可能的实施方式中，电子设备对第一原始样本图像进行有损压缩，得到第二原始样本图像。
举例来说，电子设备对第一原始样本图像进行JPEG(Joint PhotographicExperts Group，联合图像专家组)压缩，得到第二原始样本图像。
需要说明的是，电子设备能够采用上述任一种或多种方式的结合来对第一原始样本图像进行退化处理，以得到第二原始样本图像，本申请实施例对此不做限定。
在步骤S403中，对第一原始样本图像和第二原始样本图像进行数据增广处理，得到与第一原始样本图像对应的第二目标图像，以及与第二原始样本图像对应的第二样本图像。
其中，数据增广也即是通过对样本图像进行变换，增加样本图像的数量，更多的样本图像数量就能够提高训练得到的图像生成模型的图像生成效果。
在一种可能的实施方式中，电子设备分别对第一原始样本图像和第二原始样本图像进行随机裁剪处理，得到多个随机裁剪后的第一原始样本图像和多个随机裁剪后的第二原始样本图像，以实现对第一原始样本图像和第二原始样本图像的数据增广，随机裁剪中随机指的是裁剪位置的随机，随机裁剪后的第一原始样本图像也即是第二目标图像，随机裁剪后的第二原始样本图像也即是第二样本图像。其中，在随机裁剪过程中，电子设备每次对一个第一原始样本图像和一个第二原始样本图像进行方式相同的裁剪，方式相同的裁剪是指，若电子设备对第一原始样本图像的左上角进行了裁剪，那么也对第二原始样本图像的左上角进行裁剪，以保证第二目标图像和第二样本图像是以相同的方式被裁剪的。在一些实施例中，对于通过随机裁剪得到的第二目标图像和第二样本图像来说，电子设备将裁剪方式相同的第二目标图像和第二样本图像作为一对训练图像对。当然，未进行随机裁剪的第一原始样本图像和未进行随机裁剪的第二原始样本图像也构成一对训练图像对。在后续对图像生成模型进行训练时，电子设备采用不同训练图像对来对图像生成模型进行训练。
在这种实施方式下，电子设备通过随机裁剪的方式来生成多个训练图像对，采用多个训练图像对图像生成模型进行训练，能够提高图像生成模型的泛化能力，从而提高图像生成模型生成图像的效果。
在一种可能的实施方式中，电子设备分别对第一原始样本图像和第二原始样本图像进行随机缩放处理，得到多个随机缩放后的第一原始样本图像和多个随机缩放后的第二原始样本图像，以实现对第一原始样本图像和第二原始样本图像的数据增广，随机缩放中的随机是指，缩放倍数是随机确定的，随机缩放后的第一原始样本图像也即是第二目标图像，随机缩放后的第二原始样本图像也即是第二样本图像。其中，在随机缩放过程中，电子设备每次对一个第一原始样本图像和一个第二原始样本图像进行方式相同的缩放，方式相同的缩放是指，若电子设备将第一原始样本图像缩小了10％，那么也将第二原始样本图像缩小10％，以保证第二目标图像和第二样本图像是以相同的方式被缩放的。在一些实施例中，对于通过随机缩放得到的第二目标图像和第二样本图像来说，电子设备将缩放方式相同的第二目标图像和第二样本图像作为一对训练图像对。当然，未进行随机缩放的第一原始样本图像和未进行随机缩放的第二原始样本图像也构成一对训练图像对。在后续对图像生成模型进行训练时，电子设备采用不同训练图像对来对图像生成模型进行训练。
在这种实施方式下，电子设备通过随机缩放的方式来生成多个训练图像对，采用多个训练图像对图像生成模型进行训练，能够提高图像生成模型的泛化能力，从而提高图像生成模型生成图像的效果。
在一种可能的实施方式中，电子设备分别对第一原始样本图像和第二原始样本图像进行随机翻转处理，得到多个随机翻转后的第一原始样本图像和多个随机翻转后的第二原始样本图像，以实现对第一原始样本图像和第二原始样本图像的数据增广，随机翻转中的随机是指，翻转角度是随机确定的，随机角度后的第一原始样本图像也即是第二目标图像，随机角度后的第二原始样本图像也即是第二样本图像。其中，在随机翻转过程中，电子设备每次对一个第一原始样本图像和一个第二原始样本图像进行方式相同的翻转，方式相同的翻转是指，若电子设备将第一原始样本图像向左翻转了90°，那么也将第二原始样本图像向左翻转90°，以保证翻转后的第一原始样本图像和第二原始样本图像以相同的方式被翻转。在一些实施例中，对于通过随机翻转得到的第一原始样本图像和第二原始样本图像来说，电子设备将翻转方式相同的第二原始样本图像和第一原始样本图像作为一对训练图像对。当然，未进行随机翻转的第一原始样本图像和未进行随机翻转的第二原始样本图像也构成一对训练图像对。在后续对图像生成模型进行训练时，电子设备采用不同训练图像对来对图像生成模型进行训练。
在这种实施方式下，电子设备通过随机翻转的方式来生成多个训练图像对，采用多个训练图像对图像生成模型进行训练，能够提高图像生成模型的泛化能力，从而提高图像生成模型生成图像的效果。
需要说明的时，电子设备对第一原始样本图像和第二原始样本图像进行数据增广时，能够采用上述任一种方式来实现，或者采用上述任两种或三种方式结合来对第一原始样本图像和第二原始样本图像进行数据增广，以得到第二目标图像和第二样本图像，本申请实施例对此不做限定。当然，在其他可能的实施方式中，电子设备也能够采用其他数据增广方式来对第一原始样本图像和第二原始样本图像进行数据增广，本申请实施例对此不做限定。
当然，在一些实施例中，电子设备也无需对第一原始样本图像和第二原始样本图像进行数据增光，可以直接将获取的第一原始样本图像作为第二目标图像，将第二原始样本图像作为第二样本图像，也即是，第二样本图像为对第二目标图像进行退化处理后的得到的样本图像，本申请实施例对此不做限定。
在步骤S404中，获取第一样本图像和第一目标图像，第一目标图像的清晰度高于第一样本图像。
在一种可能的实施方式中，电子设备对第二目标图像和第二样本图像分别进行下采样，得到与第二目标图像对应的第一目标图像和与第二样本图像对应的第一样本图像。
在这种实施方式下，能够通过下采样的方式来获取第一目标图像和第一样本图像，从而模拟真实的图像生成过程，提高训练得到的图像生成模型的效果。
下面通过两个例子对上述实施方式进行说过。
例1、电子设备在第二目标图像上设置一个下采样框，通过该下采样框对第二目标图像进行下采样，得到第一目标图像。也即是，电子设备控制该下采样框在第二目标图像上进行滑动，在滑动过程中，将第二目标图像中下采样框中的多个像素点下采样为一个像素点。比如，若下采样框覆盖了第二目标图像上4个像素点，这4个像素点的像素值分别为50、55、60以及75。电子设备将这4个像素点降采样为1个像素点，将这4个像素点的像素值的平均值60作为该像素点的像素值。在此之后，电子设备控制该下采样框在第二目标图像上进行滑动，第二目标图像上另外4个像素点降采样为1个像素点，直至控制该下采样框在第二目标图像上滑动完毕，基于下采样得到的多个像素点生成第一目标图像。电子设备在第二样本图像上设置一个下采样框，通过该下采样框对第二样本图像进行下采样，得到第一样本图像。也即是，电子设备控制该下采样框在第二样本图像上进行滑动，在滑动过程中，将第二样本图像中下采样框中的多个像素点下采样为一个像素点。比如，若下采样框覆盖了第二样本图像上4个像素点，这4个像素点的像素值分别为50、55、60以及75。电子设备将这4个像素点降采样为1个像素点，将这4个像素点的像素值的平均值60作为该像素点的像素值。在此之后，电子设备控制该下采样框在第二样本图像上进行滑动，第二样本图像上另外4个像素点降采样为1个像素点，直至控制该下采样框在第二样本图像上滑动完毕，基于下采样得到的多个像素点生成第一样本图像。
例2、电子设备在第二目标图像上，每隔N个像素点进行采样，得到第一目标图像，N为正整数。比如，若N为3，第二目标图像包括300×300＝900个像素点，那么电子设备采集第二目标图像左上角第一个像素点的像素值之后，间隔3个像素点采集像素点的像素值，依次类推，直至得到第一目标图像。当然，经过上述降采样过程之后，第一目标图像的尺寸小于第二目标图像，电子设备对第一目标图像进行放大处理，以使得放大后的第一目标图像的尺寸与第二目标图像相同。电子设备在第二样本图像上，每隔N个像素点进行采样，得到第一样本图像。比如，若N为3，第二样本图像包括300×300＝900个像素点，那么电子设备采集第二样本图像左上角第一个像素点的像素值之后，间隔3个像素点采集像素点的像素值，依次类推，直至得到第一样本图像。当然，经过上述降采样过程之后，第一样本图像的尺寸小于第二样本图像，电子设备对第一样本图像进行放大处理，以使得放大后的第一样本图像的尺寸与第二样本图像相同。
在步骤S405中，基于第一目标图像和第一样本图像，获取第一样本变换参数集，第一样本变换参数集为将第一样本图像变换为第一目标图像的参数集。
在一种可能的实施方式中，电子设备分别对第一样本图像和第一目标图像进行特征提取，得到与第一样本图像对应的第二特征图和与第一目标图像对应的第三特征图。电子设备基于第二特征图和第三特征图，获取第一样本变换参数集。
为了对上述实施方式进行更加清楚的说明，下面将分为几个部分对上述实施方式进行说明：
部分1、对电子设备分别对第一样本图像和第一目标图像进行特征提取，得到第二特征图和第三特征图的方法进行说明。
在一种可能的实施方式中，电子设备对第一样本图像进行卷积处理，得到第二特征图。电子设备对第一目标图像进行卷积处理，得到第三特征图，第二特征图和第三特征图具有相同的尺寸。
举例来说，参见图2，电子设备通过第一特征提取模块2031的空洞卷积核对第一样本图像进行空洞卷积处理，得到第二特征图。电子设备通过第二特征提取模块2032的空洞卷积核对第一目标图像进行空洞卷积处理，得到第三特征图。由于空洞卷积具有更大的感受野，通过空洞卷积来对第一样本图像和第一目标图像进行特征提取，得到的特征图具有更加密集的特征数据，从而提高后续图像生成的效果。
部分2、对电子设备基于第二特征图和第三特征图，获取第一样本变换参数集的方法进行说明。
在一种可能的实施方式中，电子设备在第二特征图上设置第一滑动窗口，在第三特征图的对应位置上设置第二滑动窗口，第二滑动窗口与第一滑动窗口的尺寸相同。电子设备控制第一滑动窗口和第二滑动窗口分别在第二特征图和第三特征图上进行同步滑动。电子设备基于第一滑动窗口中的多个像素点的像素值以及第二滑动窗口中的多个像素点的像素值，生成第一样本变换参数集。
举例来说，参见图5，电子设备在第二特征图501上设置第一滑动窗口5011，在第三特征图502上设置第二滑动窗口5021。若将第二特征图501和第三特征图502重合放置，那么第二特征图501上的第一滑动窗口5011和第三特征图502上的第二滑动窗口5021完全重合。电子设备控制第一滑动窗口5011和第二滑动窗口5021继续同步滑动，也即是电子设备控制第一滑动窗口5011和第二滑动窗口5021每次以相同的方向和步长进行移动。比如，电子设备控制第一滑动窗口5011在第二特征图上向右移动了两个像素点的距离，那么相应的控制第二滑动窗口5021在第三特征图上向右移动两个像素点的距离。在一些实施例中，第一样本变换参数集包括第一变换参数和第二变换参数，第一变换参数为线性变换的斜率，第二变换参数为线性变换的截距，电子设备通过下述公式(1)来确定第一变换参数：
Figure BDA0003093799610000221
其中，ak为第一变换参数，|ω|为滑动窗口中像素点的数量，Ii为第一滑动窗口中编号为i的像素点的像素值，pi为第二滑动窗口中编号为i的像素点的像素值，μk为第一滑动窗口中多个像素点的平均像素值，
Figure BDA0003093799610000222
为第二滑动窗口中多个像素点的平均像素值，σk2为第一滑动窗口中多个像素点的像素值的方差，∈为常数。
电子设备通过下述公式(2)来确定第二变换参数：
Figure BDA0003093799610000231
其中，bk为第二变换参数。
在步骤S405之后，电子设备将第二样本图像输入待训练的第二图像生成模型，通过第二图像生成模型执行下述步骤S406-S407。
在步骤S406中，对第二样本图像进行特征提取，得到与第二样本图像对应的第一特征图。
在一种可能的实施方式中，电子设备对第二样本图像进行卷积处理，得到第一特征图。在一些实施例中，第一特征图、第二特征图以及第三特征图具有相同的尺寸。
举例来说，参见图2，电子设备通过第三特征提取模块2034的空洞卷积核对第二样本图像进行空洞卷积处理，得到第一特征图。由于空洞卷积具有更大的感受野，通过空洞卷积来对第二样本图像进行特征提取，得到的特征图具有更加密集的特征数据，从而提高后续图像生成的效果。
在步骤S407中，第一样本变换参数集包括第一变换参数和第二变换参数，基于第一特征图、第一变换参数和第二变换参数，获取第二样本变换参数集。
其中，第一变换参数为线性变换的斜率，第二变换参数为线性变换的截距。
在一种可能的实施方式中，电子设备将第一特征图、第一变换参数和第二变换参数进行拼接，得到拼接特征图。电子设备对拼接特征图进行亚像素卷积，得到第四特征图。电子设备基于第四特征图，获取第二样本变换参数集。
在这种实施方式中，在获取第二样本变换参数集时，结合了第一特征图的第一样本变换参数集的变换参数，使得第二样本变换参数集中的变换参数具有更好的图像生成效果。
为了对上述实施方式进行更加清楚的说明，下面将分为三个部分对上述实施方式进行说明。
第一部分、对电子设备将第一特征图、第一变换参数和第二变换参数进行拼接，得到拼接特征图的方法进行说明。
在一种可能的实施方式中，第一特征图包括多个通道，电子设备将第一特征图的多个通道、第一变换参数以及第二变换参数按照维度进行拼接，得到拼接特征图。
举例来说，若第一特征图包括三个通道，三个通道的尺寸为512×512，第一变换参数为一个512×512的矩阵，第二变换参数为一个128×512的矩阵，那么电子设备对第二变换参数进行增维处理，将第二变换参数变换为一个512×512的矩阵，增维处理也即是将该128×512的矩阵复制三次，将四个128×512的矩阵拼接，得到一个512×512的矩阵。电子设备将三个通道、第一变换参数以及第二变换参数按照维度进行拼接，得到一个5×512×512的拼接特征图，5也即是拼接特征图的通道数。比如，参见图6，601-603分别为第一特征图的三个通道，604为第一变换参数，605为增维处理后的第二变换参数，606为拼接特征图。通过生成拼接特征图，能够将第一特征图、第一变换参数以及第二变换参数进行融合，得到的拼接特征图也就携带了完整的信息，有助于提高图像生成的效果。
第二部分、对电子设备对拼接特征图进行亚像素卷积，得到第四特征图的方法进行说明。
在一种可能的实施方式中，电子设备按照目标周期从拼接特征图的每个通道中依次获取像素值。电子设备基于获取的多个像素值，依次对拼接特征图中的多个像素点进行像素值填充，得第四特征图。举例来说，电子设备按照顺序，周期性地从拼接特征图的每个通道中获取一个数字，将获取的多个数字组合，得到第四特征图。比如，若拼接特征图为一个5×512×512的特征图，那么对于拼接特征图的5个通道来说，电子设备从第一个通道中获取第一个数字1，从第二个通道中获取第二个数字2，从第三个通道中获取第三个数字3，从第四个通道中获取第四个数字4，从第五个通道中获取第五个数字5，随后，电子设备再从第一个通道中获取另一个数字6，以此类推，得到多个数字。电子设备将得到的多个数字进行像素值填充，得到第四特征图，由于第四特征图是由5个通道融合而来，那么第四特征图的尺寸也就大于拼接特征图中的任一通道。按照目标周期从拼接特征图的每个通道中获取数字，从而生成第四特征图，能够使得第四特征图中尽可能携带有拼接特征图中的信息，同时生成的第四特征图的尺寸也大于拼接特征图，便于生成清晰度更高的图像。
第三部分、对电子设备基于第四特征图，获取第二样本变换参数集的方法进行说明。
在一种可能的实施方式中，第二样本变换参数集包括第三变换参数和第四变换参数，第三变换参数为线性变换的斜率，第四变换参数为线性变换的截距。电子设备将第四特征图中多个像素点的像素值获取为第二样本变换参数集中，与第一变换参数对应的第三变换参数。电子设备基于第一变换参数以及拼接特征图中多个像素点的平均像素值，获取与第二变换参数对应的第四变换参数。在这种实施方式下，能够快速将第四特征图拆分为第三变换参数和第四变换参数以用于图像生成，效率较高。可选地，得到第三变换参数之后，电子设备通过下述公式(3)来确定第四变换参数。
Figure BDA0003093799610000251
其中，am为第三变换参数，bm为第四变换参数，μm为拼接特征图中一个通道的多个像素点的平均像素值，
Figure BDA0003093799610000252
为拼接特征图中另一个通道的多个像素点的平均像素值。
在步骤S408中，基于第二样本图像和第二目标图像，获取第三样本变换参数集，第三样本变换参数集是将第二样本图像变换为第二目标图像的样本变换参数集。
在一种可能的实施方式中，电子设备分别对第二样本图像和第二目标图像进行特征提取，得到与第二样本图像对应的第一特征图和与第二目标图像对应的第四特征图。电子设备基于第一特征图和第四特征图，获取第三样本变换参数集。其中，电子设备基于第一特征图和第四特征图，获取第三样本变换参数集的方法与上述步骤S405中，电子设备基于第一特征图和第三特征图获取第一样本变换参数集的方法属于同一发明构思，实现过程参见上述步骤S405的描述，在此不再赘述。
在步骤S409中，基于第二样本变换参数集和第三样本变换参数集之间的第一差异信息，对第二图像生成模型的模型参数进行调整。
在一种可能的实施方式中，电子设备基于第一差异信息，生成第一损失函数和第二损失函数。比如，若第二样本变换参数集包括第三变换参数am以及第四变换参数bm，第三样本变换参数集包括第五变换参数an以及第六变换参数bn，那么电子设备能够基于第三变换参数am与第五变换参数an之间的差异信息生成第一损失函数，基于第四变换参数bm与第六变换参数bn之间的差异信息生成第二损失函数，通过第一损失函数和第二损失函数，对第二图像生成模型进行联合训练，在一些实施例中，第三变换参数am与第五变换参数an之间的差异信息由第三变换参数am与第五变换参数an之间smooth(平滑)L1距离来表示；第四变换参数bm与第六变换参数bn之间的差异信息由第四变换参数bm与第六变换参数bn之间的smooth(平滑)L1距离来表示。
可选地，在步骤S405之后，电子设备还能够执行下述步骤：
在步骤S701中，将第二样本图像输入第二图像生成模型，对第二样本图像进行特征提取，得到第一特征图。
步骤S701与上述步骤S406属于同一发明构思，实现过程参见上述步骤S406的相关描述，在此不再赘述。
在步骤S702中，基于第一特征图和第一样本变换参数集，生成第二样本变换参数集。
步骤S702与上述步骤S407属于同一发明构思，实现过程参见上述步骤S407的相关描述，在此不再赘述。
在步骤S703中，基于第二样本变换参数集对第二样本图像进行处理，得到与第二样本图像对应的第一生成图像。
在一种可能的实施方式中，电子设备采用第二样本变换参数集中的变换参数对第二样本图像进行线性变换，输出目标图像。
举例来说，若将第二样本变换参数集包括第三变换参数am以及第四变换参数bm，那么电子设备通过下述公式(4)来对第二样本图像进行处理，得到目标图像。
qi＝amIi+bm (4)
其中，qi为目标图像中编号为i的像素点的像素值，Ii为第二样本图像中编号为i的像素点的像素值。
在步骤S704中，基于第一生成图像和第二目标图像之间的第二差异信息，对第二图像生成模型的模型参数进行调整。
在一种可能的实施方式中，电子设备基于目标图像与第二目标图像之间的相似度，构建用于训练第二图像生成模型的第三损失函数。电子设备通过第三损失函数，对图像生成模型的模型参数进行调整。在一些实施例中，第三损失函数的类型为L1损失函数、L2损失函数、perceptual(感知)损失函数、Lpips(Learned Perceptual Image PatchSimilarity，感知图像修补相似度)损失函数，本申请实施例对此不做限定。
在一些实施例中，上述步骤S701-S704也被称为对第二图像生成模型的预训练过程，通过上述步骤S701-S704，能够对第二图像生成模型进行一定程度的预训练，使得第二图像生成模型的模型参数收敛到一个较小的范围，在这个基础上再对第二图像生成模型进行训练，能够提高第二图像生成模型的图像生成效果。
本申请实施例提供的图像识别模型，除了包括第二图像生成模型之外，还包括第一图像生成模型，下面对第一图像生成模型的训练过程进行说明，参见图8，方法包括。
在步骤S801中，将第一样本图像输入第一图像生成模型，对第一样本图像进行处理，得到第二生成图像。
其中，第二生成图像的清晰度高于第一样本图像。
在一种可能的实施方式中，电子设备对第一样本图像进行下采样编码，得到与第一样本图像对应的下采样图像。电子设备对下采样图像进行上采样编码，得到第二生成图像。
举例来说，参见图2，电子设备通过图像生成模型的第一图像生成模型202对第一样本图像进行下采样编码，也即是通过第一图像生成模型202的多个下采样编码模块2021，对第一样本图像进行多次下采样编码，得到与第一样本图像对应的下采样图像。电子设备将与第一样本图像对应的下采样图像输入第一图像生成模型202的多个上采样编码模块2022，通过多个上采样编码模块2022对该下采样图像进行上采样编码，得到第二生成图像。在一些实施例中，电子设备通过第一个下采样编码模块2021对第一样本图像进行下采样编码的过程，也即是对第一样本图像进行卷积处理和池化处理的过程。以第一个下采样编码模块2021为例，电子设备通过第一个下采样编码模块2021的第一卷积核，对第一样本图像进行卷积处理，得到第一样本图像的一个特征图。电子设备提供第一个下采样编码模块2021的池化层，对该第一样本图像的一个特征图进行池化处理，得到第一池化特征图。电子设备将第一池化特征图输入第一图像生成模型202的第二个下采样模块2022，通过第二个下采样模块2022对该第一池化特征图进行卷积处理和池化处理，得到第二池化特征图，以此类推。若第一图像生成模型202包括两个下采样模块2022，那么第二池化特征图也即是与第一样本图像对应的下采样图像。
在步骤S802中，基于第二生成图像和第一目标图像之间的第三差异信息，对第一图像生成模型的模型参数进行调整。
在一些实施例中，上述步骤S801和S802也被成为对第一图像生成模型的预训练过程，通过上述步骤S801和S802，能够对第一图像生成模型进行一定程度的预训练，使得第一图像生成模型的模型参数收敛到一个较小的范围，在这个基础上再对第一图像生成模型进行训练，能够提高第一图像生成模型的图像生成效果。
在一些实施例中，通过上述各个步骤对第一图像生成模型和第二图像生成模型进行训练之后，还能够对第一图像生成模型进行微调，参见图9，方法包括：
在步骤S901中，将第一样本图像输入第一图像生成模型，对第一样图像进行图像处理，输出第一处理图像，第一处理图像的清晰度高于第一样本图像。
步骤S901与上述步骤S801属于同一发明构思，实现过程参见上述步骤S801的相关描述，在此不再赘述。
在步骤S902中，基于第一处理图像和第一样本图像，获取第四样本变换参数集，第四样本变换参数集为将第一样本图像变换为第一处理图像的参数集。
步骤S902与上述步骤S404属于同一发明构思，实现过程参见上述步骤S404的相关描述，在此不再赘述。
在步骤S903中，将第二样本图像输入第二图像生成模型，对第二样本图像进行特征提取，得到与第二样本图像对应的第一特征图。
步骤S903与上述步骤S406属于同一发明构思，实现过程参见上述步骤S406的相关描述，在此不再赘述。
在步骤S904中，基于第一特征图和第四样本变换参数集，生成第五样本变换参数集，第五样本变换参数集用于提高第二样本图像的清晰度。
步骤S904与上述步骤S407属于同一发明构思，实现过程参见上述步骤S407的相关描述，在此不再赘述。
在步骤S905中，采用第五样本变换参数集中的变换参数对第二样本图像进行线性变换，输出第三生成图像。
步骤S905与上述步骤S703属于同一发明构思，实现过程参见上述步骤S703的相关描述，在此不再赘述。
在步骤S906中，基于第三输出图像和第二目标图像之间的第四差异信息，对第一图像生成模型的模型参数进行调整。
通过上述步骤S901-S906，对第一图像生成模型进行微调，能够提高第一图像生成模型的泛化能力，从而提高图像生成模型的图像生成效果。
为了对本申请实施例提供的技术方案进行更加清楚的说明，下面将结合图2、图10，以及上述各个可能的实施方式，对本申请实施例提供的图像生成模型的训练方法进行说明。
参见图10，电子设备获取第二目标图像，对第二目标图像进行退化处理，得到第二样本图像，也即是HR输入图像。电子设备对HR输入图像进行下采样处理，得到LR输入图像，也即是第一样本图像。参见图2，电子设备将第一样本图像输入第一图像生成模型(LR模型)202，通过第一图像生成模型202对第二样本图像进行图像处理，得到第一处理图像，也即是LR输出图像。电子设备将HR输入图像、LR输入图像以及LR输出图像输入第二图像生成模型(HR模型)203，通过第二图像生成模型203，对HR输入图像、LR输入图像以及LR输出图像进行处理，得到HR输出图像，也即是目标图像。可选地，在对图像生成模型进行训练时，能够采用下述方式来进行。
1、电子设备将第二样本图像和第二目标图像作为第一训练数据对，以第二目标图像为监督，采用第二样本图像对HR模型进行预训练，得到预训练后的HR模型。
2、电子设备对第二目标图像进行下采样处理，得到第一目标图像。电子设备将第一目标图像和第一样本图像作为第二训练数据对，以第一目标图像为监督，采用第一样本图像对LR模型进行预训练，得到预训练后的LR模型。
3、以第二目标图像为监督，采用第二样本图像对预训练后的LR模型进行微调。
在一些实施例中，上述三个步骤也被称为交叉训练，通过交叉训练，能够提高图像生成模型的训练效果。
在训练图像生成模型的过程中，获取了一个用于修复低分辨率的第一样本图像的第一样本变换参数集，基于第二样本图像的第一特征图对第一样本变换参数集进行了调整，得到第二样本变换参数集。采用第二样本变换参数集对第二样本图像进行处理，就能够得到清晰度更高的目标图像。这种方法在对第一样本变换参数集的调整时结合了第一特征图的影响，模型训练能够提高提取第一特征图的准确度，从而使得得到的第二样本变换参数集具有更高的准确度，图像生成模型也就具有较强的泛化能力。采用训练完成的图像生成模型生成的目标图像就有着更高的清晰度，图像生成的效果更好。
下面对本申请实施例提供的图像生成方法进行说明，参见图11，方法包括：
在步骤S1101中，将第一图像输入第一图像生成模型，对第一图像进行图像处理，输出第一处理图像，第一处理图像的清晰度高于第一图像。
步骤S1101与上述步骤S801属于同一发明构思，实现过程参见上述步骤S801的相关描述，在此不再赘述。
在步骤S1102中，基于第一处理图像和第一图像，获取第一变换参数集，第一变换参数集为将第一图像变换为第一处理图像的参数集。
步骤S1102与上述步骤S805属于同一发明构思，实现过程参见上述步骤S805的相关描述，在此不再赘述。
在步骤S1103中，将第二图像输入第二图像生成模型，对第二图像进行特征提取，得到与第二图像对应的第一特征图，第一图像为对第二图像进行下采样得到的图像。
步骤S1103与上述步骤S406属于同一发明构思，实现过程参见上述步骤S406的相关描述，在此不再赘述。
在步骤S1104中，基于第一特征图和第一变换参数集，生成第二变换参数集，第二变换参数集用于提高第二图像的清晰度。
在一种可能的实施方式中，第一变换参数集包括第一变换参数和第二变换参数，第一变换参数为线性变换的斜率，第二变换参数为线性变换的截距，电子设备基于第一特征图、第一变换参数和第二变换参数，获取第二变换参数集。
在这种实施方式中，在获取第二样本变换参数集时，结合了第一特征图的第一变换参数集的变换参数，使得第二变换参数集中的变换参数具有更好的图像生成效果。
其中，电子设备基于第一特征图、第一变换参数和第二变换参数，获取第二变换参数集的方法包括：
电子设备将第一特征图、第一变换参数和第二变换参数进行拼接，得到拼接特征图。对拼接特征图进行亚像素卷积，得到第四特征图。电子设备基于第四特征图，获取第二变换参数集。通过生成拼接特征图的方式，能够将第一特征图、第一变换参数以及第二变换参数进行融合，提高了图像生成的效率。
也即是，电子设备按照目标周期从拼接特征图的每个通道中依次获取像素值。基于获取的多个像素值，依次对拼接特征图中的多个像素点进行像素值填充，得第四特征图。按照目标周期从拼接特征图的每个通道中获取数字，从而生成第四特征图，能够使得第四特征图中尽可能携带有拼接特征图中的信息，同时生成的第四特征图的尺寸也大于拼接特征图，便于生成清晰度更高的图像。第二变换参数集包括第三变换参数和第四变换参数，第三变换参数为线性变换的斜率，第四变换参数为线性变换的截距，将第四特征图中多个像素点的像素值获取为第二变换参数集中，与第一变换参数对应的第三变换参数。基于第一变换参数以及拼接特征图中多个像素点的平均像素值，获取与第二变换参数对应的第四变换参数。在这种实施方式下，能够快速将第四特征图拆分为第三变换参数和第四变换参数，提高图像生成的效率。
步骤S1104与上述步骤S407属于同一发明构思，实现过程参见上述步骤S407的相关描述，在此不再赘述。
在步骤S1105中，采用第二变换参数集中的变换参数对第二图像进行线性变换，输出目标图像。
步骤S1105与上述步骤S703属于同一发明构思，实现过程参见上述步骤S703的相关描述，在此不再赘述。
图12是本申请实施例提供的一种效果对比图，图12所示为原始图像1201，也即是第二图像，采用相关技术中的方法对原始图像进行处理之后，得到图像1202。采用本申请实施例提供的技术方案对原始图像1201进行处理之后，得到目标图像1203。可见，相较于相关技术中的方法，采用本申请实施例提供的图像生成方法得到的目标图像的清晰度更高。
在图像生成的过程中，获取了一个用于修复低分辨率的第一图像的第一变换参数集，再基于第二图像的第一特征图对第一变换参数集进行了调整，得到第二变换参数集，采用第二变换参数集对第二图像进行处理，就能够得到清晰度更高的目标图像。这种方法在对第一变换参数集的调整时考虑了第一特征图的影响，得到的第二变换参数集具有更高的准确度和泛化能力。基于第二变换参数集生成的目标图像就有着更高的清晰度，图像生成的效果更好。
图13是根据一示例性实施例示出的一种图像生成装置的框图。参照图13，该装置包括：第一图像输入单元1301、第一变换参数集获取单元1302、第二图像输入单元1303、第二变换参数集生成单元1304以及图像输出单元1305。
第一图像输入单元1301，被配置为执行将第一图像输入第一图像生成模型，对第一图像进行图像处理，输出第一处理图像，第一处理图像的清晰度高于第一图像。
第一变换参数集获取单元1302，被配置为执行基于第一处理图像和第一图像，获取第一变换参数集，第一变换参数集为将第一图像变换为第一处理图像的参数集。
第二图像输入单元1303，被配置为执行将第二图像输入第二图像生成模型，对第二图像进行特征提取，得到与第二图像对应的第一特征图，第一图像为对第二图像进行下采样得到的图像。
第二变换参数集生成单元1304，被配置为执行基于第一特征图和第一变换参数集，生成第二变换参数集，第二变换参数集用于提高第二图像的清晰度。
图像输出单元1305，被配置为执行采用第二变换参数集中的变换参数对第二图像进行线性变换，输出目标图像。
在一种可能的实施方式中，第一变换参数集包括第一变换参数和第二变换参数，第一变换参数为线性变换的斜率，第二变换参数为线性变换的截距，第二变换参数集生成单元1304，被配置为执行基于第一特征图、第一变换参数和第二变换参数，获取第二变换参数集。
在一种可能的实施方式中，第二变换参数集生成单元1304，被配置为执行将第一特征图、第一变换参数和第二变换参数进行拼接，得到拼接特征图。对拼接特征图进行亚像素卷积，得到第四特征图。基于第四特征图，获取第二变换参数集。
在一种可能的实施方式中，第二变换参数集生成单元1304，被配置为执行按照目标周期从拼接特征图的每个通道中依次获取像素值。基于获取的多个像素值，依次对拼接特征图中的多个像素点进行像素值填充，得第四特征图。
在一种可能的实施方式中，第二变换参数集包括第三变换参数和第四变换参数，第三变换参数为线性变换的斜率，第四变换参数为线性变换的截距，第二变换参数集生成单元1304，被配置为执行将第四特征图中多个像素点的像素值获取为第二变换参数集中，与第一变换参数对应的第三变换参数。基于第一变换参数以及拼接特征图中多个像素点的平均像素值，获取与第二变换参数对应的第四变换参数。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在图像生成的过程中，获取了一个用于修复低分辨率的第一图像的第一变换参数集，再基于第二图像的第一特征图对第一变换参数集进行了调整，得到第二变换参数集，采用第二变换参数集对第二图像进行处理，就能够得到清晰度更高的目标图像。这种方法在对第一变换参数集的调整时考虑了第一特征图的影响，得到的第二变换参数集具有更高的准确度和泛化能力。基于第二变换参数集生成的目标图像就有着更高的清晰度，图像生成的效果更好。
图14是根据一示例性实施例示出的一种图像生成模型的训练装置的框图。参照图14，该装置包括获取单元1401、第一样本变换参数集获取单元1402、第二样本图像输入单元1403、第二样本变换参数集生成单元1404、第三样本变换参数集获取单元1405以及调整单元1406。
获取单元1401，被配置为执行获取第一样本图像和第一目标图像，第一目标图像的清晰度高于第一样本图像。
第一样本变换参数集获取单元1402，被配置为执行基于第一目标图像和第一样本图像，获取第一样本变换参数集，第一样本变换参数集为将第一样本图像变换为第一目标图像的参数集。
第二样本图像输入单元1403，被配置为执行将第二样本图像输入待训练的第二图像生成模型，对第二样本图像进行特征提取，得到与第二样本图像对应的第一特征图，第一样本图像为对第二样本图像进行下采样得到的图像。
第二样本变换参数集生成单元1404，被配置为执行基于第一特征图和第一样本变换参数集，生成第二样本变换参数集，第二样本变换参数集用于提高第二样本图像的清晰度。
第三样本变换参数集获取单元1405，被配置为执行基于第二样本图像和第二目标图像，获取第三样本变换参数集，第三样本变换参数集是将第二样本图像变换为第二目标图像的样本变换参数集，第二样本图像为对第二目标图像进行退化处理后的得到的样本图像。
调整单元1406，被配置为执行基于第二样本变换参数集和第三样本变换参数集之间的第一差异信息，对第二图像生成模型的模型参数进行调整。
在一种可能的实施方式中，第一样本变换参数集包括第一变换参数和第二变换参数，第一变换参数为线性变换的斜率，第二变换参数为线性变换的截距，第二样本变换参数集生成单元1404，被配置为执行基于第一特征图、第一变换参数和第二变换参数，获取第二样本变换参数集。
在一种可能的实施方式中，第二样本变换参数集生成单元1404，被配置为执行将第一特征图、第一变换参数和第二变换参数进行拼接，得到拼接特征图。对拼接特征图进行亚像素卷积，得到第四特征图。基于第四特征图，获取第二样本变换参数集。
在一种可能的实施方式中，第二样本变换参数集生成单元1404，被配置为执行按照目标周期从拼接特征图的每个通道中依次获取像素值。基于获取的多个像素值，依次对拼接特征图中的多个像素点进行像素值填充，得第四特征图。
在一种可能的实施方式中，第二样本变换参数集包括第三变换参数和第四变换参数，第三变换参数为线性变换的斜率，第四变换参数为线性变换的截距，第二样本变换参数集生成单元1404，被配置为执行将第四特征图中多个像素点的像素值获取为第二样本变换参数集中，与第一变换参数对应的第三变换参数。基于第一变换参数以及拼接特征图中多个像素点的平均像素值，获取与第二变换参数对应的第四变换参数。
在一种可能的实施方式中，调整单元1406，还被配置为执行将第二样本图像输入第二图像生成模型，对第二样本图像进行特征提取，得到第一特征图。基于第一特征图和第一样本变换参数集，生成第二样本变换参数集。基于第二样本变换参数集对第二样本图像进行处理，得到与第二样本图像对应的第一生成图像。基于第一生成图像和第二目标图像之间的第二差异信息，对第二图像生成模型的模型参数进行调整。
在一种可能的实施方式中，调整单元1406，还被配置为执行将第一样本图像输入第一图像生成模型，对第一样本图像进行处理，得到第二生成图像。基于第二生成图像和第一目标图像之间的第三差异信息，对第一图像生成模型的模型参数进行调整。
在一种可能的实施方式中，调整单元1406，还被配置为执行将第一样本图像输入第一图像生成模型，对第一样图像进行图像处理，输出第一处理图像，第一处理图像的清晰度高于第一样本图像。基于第一处理图像和第一样本图像，获取第四样本变换参数集，第四样本变换参数集为将第一样本图像变换为第一处理图像的参数集。将第二样本图像输入第二图像生成模型，对第二样本图像进行特征提取，得到与第二样本图像对应的第一特征图。基于第一特征图和第四样本变换参数集，生成第五样本变换参数集，第五样本变换参数集用于提高第二样本图像的清晰度。采用第五样本变换参数集中的变换参数对第二样本图像进行线性变换，输出第三生成图像。基于第三输出图像和第二目标图像之间的第四差异信息，对第一图像生成模型的模型参数进行调整。
在一种可能的实施方式中，装置还包括，数据增广单元，被配置为获取第一原始样本图像和第二原始样本图像，第二原始样本图像为对第一原始样本图像进行退化处理后得到的图像。对第一原始样本图像和第二原始样本图像进行数据增广处理，得到与第一原始样本图像对应的第二目标图像，以及与第二原始样本图像对应的第二样本图像。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在训练图像生成模型的过程中，获取了一个用于修复低分辨率的第一样本图像的第一样本变换参数集，基于第二样本图像的第一特征图对第一样本变换参数集进行了调整，得到第二样本变换参数集。采用第二样本变换参数集对第二样本图像进行处理，就能够得到清晰度更高的目标图像。这种方法在对第一样本变换参数集的调整时结合了第一特征图的影响，模型训练能够提高提取第一特征图的准确度，从而使得得到的第二样本变换参数集具有更高的准确度，图像生成模型也就具有较强的泛化能力。采用训练完成的图像生成模型生成的目标图像就有着更高的清晰度，图像生成的效果更好。
在本申请实施例中，电子设备可以实现为终端或服务器，首先对终端的结构进行说明：
图15是根据一示例性实施例示出的一种终端的框图，该终端1500可以为用户所使用的终端。该终端1500可以是：智能手机、智能手表、台式电脑、手提电脑和膝上型便携计算机等设备中的至少一种。终端1500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1500包括有：处理器1501和存储器1502。
处理器1501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1502可以包括一个或多个存储介质，该存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。
在一些实施例中，终端1500还可选包括有：外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地，外围设备包括：射频电路1504、显示屏1505、摄像头组件1506、音频电路1507、定位组件1508和电源15013中的至少一种。
外围设备接口1503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中，处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上；在一些其他实施例中，处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选的，射频电路1504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1505用于显示UI(User Interface，用户界面)。该UI可以包括图像、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时，显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时，显示屏1505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1505可以为一个，设置终端1500的前面板；在另一些实施例中，显示屏1505可以为至少两个，分别设置在终端1500的不同表面或呈折叠设计；在再一些实施例中，显示屏1505可以是柔性显示屏，设置在终端1500的弯曲表面上或折叠面上。甚至，显示屏1505还可以设置成非矩形的不规则图像，也即异形屏。显示屏1505可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件1506用于采集图像或视频。可选的，摄像头组件1506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1501进行处理，或者输入至射频电路1504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1507还可以包括耳机插孔。
定位组件1508用于定位终端1500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1509用于为终端1500中的各个组件进行供电。电源1509可以是交流电、直流电、一次性电池或可充电电池。当电源1509包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1500还包括有一个或多个传感器1510。该一个或多个传感器1510包括但不限于：加速度传感器1511、陀螺仪传感器1512、压力传感器1513、指纹传感器1514、光学传感器1515以及接近传感器1516。
加速度传感器1511可以检测以终端1500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1511可以用于检测重力加速度在三个坐标轴上的分量。处理器1501可以根据加速度传感器1511采集的重力加速度信号，控制显示屏1505以横向视图或纵向视图进行用户界面的显示。加速度传感器1511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1512可以检测终端1500的机体方向及转动角度，陀螺仪传感器1512可以与加速度传感器1511协同采集用户对终端1500的3D动作。处理器1501根据陀螺仪传感器1512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1513可以设置在终端1500的侧边框和/或显示屏1505的下层。当压力传感器1513设置在终端1500的侧边框时，可以检测用户对终端1500的握持信号，由处理器1501根据压力传感器1513采集的握持信号进行左右手识别或快捷操作。当压力传感器1513设置在显示屏1505的下层时，由处理器1501根据用户对显示屏1505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1514用于采集用户的指纹，由处理器1501根据指纹传感器1514采集到的指纹识别用户的身份，或者，由指纹传感器1514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1514可以被设置终端1500的正面、背面或侧面。当终端1500上设置有物理按键或厂商Logo时，指纹传感器1514可以与物理按键或厂商Logo集成在一起。
光学传感器1515用于采集环境光强度。在一个实施例中，处理器1501可以根据光学传感器1515采集的环境光强度，控制显示屏1505的显示亮度。具体地，当环境光强度较高时，调高显示屏1505的显示亮度；当环境光强度较低时，调低显示屏1505的显示亮度。在另一个实施例中，处理器1501还可以根据光学传感器1515采集的环境光强度，动态调整摄像头组件1506的拍摄参数。
接近传感器1516，也称距离传感器，通常设置在终端1500的前面板。接近传感器1516用于采集用户与终端1500的正面之间的距离。在一个实施例中，当接近传感器1516检测到用户与终端1500的正面之间的距离逐渐变小时，由处理器1501控制显示屏1505从亮屏状态切换为息屏状态；当接近传感器1516检测到用户与终端1500的正面之间的距离逐渐变大时，由处理器1501控制显示屏1505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图15中示出的结构并不构成对终端1500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在本申请实施例中，电子设备可以实现为服务器，下面对服务器的结构进行说明：
图16是根据一示例性实施例示出的一种服务器1600的框图，该服务器1600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)1601和一个或一个以上的存储器1602。该存储器1602中存储有至少一条指令，该至少一条指令由该处理器1601加载并执行以实现上述图像生成模型的训练方法，或实现上述图像生成方法。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1602，上述指令可由服务器1600的处理器1601执行以完成上述图像生成模型的训练方法，或实现上述图像生成方法。可选的，计算机可读存储介质可以是非临时性存储介质，例如，非临时性存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序可以由电子设备的处理器执行，以完成上述图像生成模型的训练方法，或实现上述图像生成方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像生成方法，其特征在于，包括：
将第一图像输入第一图像生成模型，对所述第一图像进行图像处理，输出第一处理图像，所述第一处理图像的清晰度高于所述第一图像；
基于所述第一处理图像和所述第一图像，获取第一变换参数集，所述第一变换参数集为将所述第一图像变换为所述第一处理图像的参数集；
将第二图像输入第二图像生成模型，对所述第二图像进行特征提取，得到与所述第二图像对应的第一特征图，所述第一图像为对所述第二图像进行下采样得到的图像；
基于所述第一特征图和所述第一变换参数集，生成第二变换参数集，所述第二变换参数集用于提高所述第二图像的清晰度；
采用所述第二变换参数集中的变换参数对所述第二图像进行线性变换，输出目标图像。
2.根据权利要求1所述的图像生成方法，其特征在于，所述第一变换参数集包括第一变换参数和第二变换参数，所述第一变换参数为线性变换的斜率，所述第二变换参数为线性变换的截距，所述基于所述第一特征图和所述第一变换参数集，生成第二变换参数集包括：
基于所述第一特征图、所述第一变换参数和所述第二变换参数，获取所述第二变换参数集。
3.根据权利要求2所述的图像生成方法，其特征在于，所述基于所述第一特征图、所述第一变换参数和所述第二变换参数，获取所述第二变换参数集包括：
将所述第一特征图、所述第一变换参数和所述第二变换参数进行拼接，得到拼接特征图；
对所述拼接特征图进行亚像素卷积，得到第四特征图；
基于所述第四特征图，获取所述第二变换参数集。
4.根据权利要求3所述的图像生成方法，其特征在于，所述对所述拼接特征图进行亚像素卷积，得到第四特征图包括：
按照目标周期从所述拼接特征图的每个通道中依次获取像素值；
基于获取的多个像素值，依次对所述拼接特征图中的多个像素点进行像素值填充，得所述第四特征图。
5.一种图像生成模型的训练方法，其特征在于，包括：
获取第一样本图像和第一目标图像，所述第一目标图像的清晰度高于所述第一样本图像；
基于所述第一目标图像和所述第一样本图像，获取第一样本变换参数集，所述第一样本变换参数集为将所述第一样本图像变换为所述第一目标图像的参数集；
将第二样本图像输入待训练的第二图像生成模型，对所述第二样本图像进行特征提取，得到与所述第二样本图像对应的第一特征图，所述第一样本图像为对所述第二样本图像进行下采样得到的图像；
基于所述第一特征图和所述第一样本变换参数集，生成第二样本变换参数集，所述第二样本变换参数集用于提高所述第二样本图像的清晰度；
基于所述第二样本图像和第二目标图像，获取第三样本变换参数集，所述第三样本变换参数集是将所述第二样本图像变换为所述第二目标图像的样本变换参数集，所述第二样本图像为对所述第二目标图像进行退化处理后的得到的样本图像；
基于所述第二样本变换参数集和所述第三样本变换参数集之间的第一差异信息，对所述第二图像生成模型的模型参数进行调整。
6.一种图像生成装置，其特征在于，包括：
第一图像输入单元，被配置为执行将第一图像输入第一图像生成模型，对所述第一图像进行图像处理，输出第一处理图像，所述第一处理图像的清晰度高于所述第一图像；
第一变换参数集获取单元，被配置为执行基于所述第一处理图像和所述第一图像，获取第一变换参数集，所述第一变换参数集为将所述第一图像变换为所述第一处理图像的参数集；
第二图像输入单元，被配置为执行将第二图像输入第二图像生成模型，对所述第二图像进行特征提取，得到与所述第二图像对应的第一特征图，所述第一图像为对所述第二图像进行下采样得到的图像；
第二变换参数集生成单元，被配置为执行基于所述第一特征图和所述第一变换参数集，生成第二变换参数集，所述第二变换参数集用于提高所述第二图像的清晰度；
图像输出单元，被配置为执行采用所述第二变换参数集中的变换参数对所述第二图像进行线性变换，输出目标图像。
7.一种图像生成模型的训练装置，其特征在于，包括：
获取单元，被配置为执行获取第一样本图像和第一目标图像，所述第一目标图像的清晰度高于所述第一样本图像；
第一样本变换参数集获取单元，被配置为执行基于所述第一目标图像和所述第一样本图像，获取第一样本变换参数集，所述第一样本变换参数集为将所述第一样本图像变换为所述第一目标图像的参数集；
第二样本图像输入单元，被配置为执行将第二样本图像输入待训练的第二图像生成模型，对所述第二样本图像进行特征提取，得到与所述第二样本图像对应的第一特征图，所述第一样本图像为对所述第二样本图像进行下采样得到的图像；
第二样本变换参数集生成单元，被配置为执行基于所述第一特征图和所述第一样本变换参数集，生成第二样本变换参数集，所述第二样本变换参数集用于提高所述第二样本图像的清晰度；
第三样本变换参数集获取单元，被配置为执行基于所述第二样本图像和第二目标图像，获取第三样本变换参数集，所述第三样本变换参数集是将所述第二样本图像变换为所述第二目标图像的样本变换参数集，所述第二样本图像为对所述第二目标图像进行退化处理后的得到的样本图像；
调整单元，被配置为执行基于所述第二样本变换参数集和所述第三样本变换参数集之间的第一差异信息，对所述第二图像生成模型的模型参数进行调整。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的图像生成方法，或实现如权利要求5所述的图像生成模型的训练方法。
9.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至4中任一项所述的图像生成方法，或实现如权利要求5所述的图像生成模型的训练方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的图像生成方法，或实现如权利要求5所述的图像生成模型的训练方法。
CN202110604131.0A 2021-05-31 2021-05-31 图像生成方法、图像生成模型的训练方法、装置及设备 Active CN113379624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110604131.0A CN113379624B (zh) 2021-05-31 2021-05-31 图像生成方法、图像生成模型的训练方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110604131.0A CN113379624B (zh) 2021-05-31 2021-05-31 图像生成方法、图像生成模型的训练方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113379624A true CN113379624A (zh) 2021-09-10
CN113379624B CN113379624B (zh) 2024-07-02

Family

ID=77575022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110604131.0A Active CN113379624B (zh) 2021-05-31 2021-05-31 图像生成方法、图像生成模型的训练方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113379624B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418853A (zh) * 2022-01-21 2022-04-29 杭州碧游信息技术有限公司 基于相似图像检索的图像超分辨率优化方法、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192206A (zh) * 2019-12-03 2020-05-22 河海大学 一种提高图像清晰度的方法
CN111833360A (zh) * 2020-07-14 2020-10-27 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备以及计算机可读存储介质
CN112149694A (zh) * 2020-08-28 2020-12-29 特斯联科技集团有限公司 一种基于卷积神经网络池化模块的图像处理方法、系统、存储介质及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192206A (zh) * 2019-12-03 2020-05-22 河海大学 一种提高图像清晰度的方法
CN111833360A (zh) * 2020-07-14 2020-10-27 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备以及计算机可读存储介质
CN112149694A (zh) * 2020-08-28 2020-12-29 特斯联科技集团有限公司 一种基于卷积神经网络池化模块的图像处理方法、系统、存储介质及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENZHE SHI ETC.: ""Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network"", 《ARXIV:1609.05158V2[CS.CV]》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418853A (zh) * 2022-01-21 2022-04-29 杭州碧游信息技术有限公司 基于相似图像检索的图像超分辨率优化方法、介质及设备

Also Published As

Publication number Publication date
CN113379624B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
CN110136136B (zh) 场景分割方法、装置、计算机设备及存储介质
CN108305236B (zh) 图像增强处理方法及装置
CN110502954B (zh) 视频分析的方法和装置
CN110110787A (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN113706421B (zh) 一种图像处理方法及装置、电子设备和存储介质
CN111915481B (zh) 图像处理方法、装置、电子设备及介质
CN115205164B (zh) 图像处理模型的训练方法、视频处理方法、装置及设备
CN114283050A (zh) 图像处理方法、装置、设备及存储介质
CN112927271A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN110807769B (zh) 图像显示控制方法及装置
CN110991457A (zh) 二维码处理方法、装置、电子设备及存储介质
CN112581358A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN113038165A (zh) 确定编码参数组的方法、设备及存储介质
CN110189348B (zh) 头像处理方法、装置、计算机设备及存储介质
CN113822955B (zh) 图像数据处理方法、装置、计算机设备及存储介质
CN111107357B (zh) 一种图像处理的方法、装置、系统及存储介质
CN112508959B (zh) 视频目标分割方法、装置、电子设备及存储介质
CN113379624B (zh) 图像生成方法、图像生成模型的训练方法、装置及设备
CN111553865B (zh) 图像修复方法及装置、电子设备和存储介质
CN113012064B (zh) 图像处理方法、装置、设备及存储介质
CN111127539B (zh) 视差确定方法、装置、计算机设备及存储介质
CN114996515A (zh) 视频特征提取模型的训练方法、文本生成方法及装置
CN110062226B (zh) 一种视频编码方法、视频解码方法、装置、系统及介质
CN108881739B (zh) 图像生成方法、装置、终端及存储介质
CN113298040A (zh) 关键点检测方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant