CN111080528B - 图像超分辨率和模型训练方法、装置、电子设备及介质 - Google Patents

图像超分辨率和模型训练方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111080528B
CN111080528B CN201911329508.5A CN201911329508A CN111080528B CN 111080528 B CN111080528 B CN 111080528B CN 201911329508 A CN201911329508 A CN 201911329508A CN 111080528 B CN111080528 B CN 111080528B
Authority
CN
China
Prior art keywords
network
target
image
convolutional neural
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911329508.5A
Other languages
English (en)
Other versions
CN111080528A (zh
Inventor
鲁方波
汪贤
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911329508.5A priority Critical patent/CN111080528B/zh
Publication of CN111080528A publication Critical patent/CN111080528A/zh
Priority to US17/772,306 priority patent/US20220383452A1/en
Priority to PCT/CN2020/135037 priority patent/WO2021121108A1/zh
Application granted granted Critical
Publication of CN111080528B publication Critical patent/CN111080528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明实施例提供了一种图像超分辨率和超分辨率重建模型的训练方法、装置、电子设备及存储介质，图像超分辨率方法包括：获取待处理图像；将待处理图像输入到预先训练的超分辨率重建模型；超分辨率重建模型为用多个训练样本对预设卷积神经网络，以及包含生成网络和判别网络的生成式对抗网络分别进行训练后，将训练后的预设卷积神经网络的网络参数和训练后的生成网络的网络参数进行参数融合后获得的；获取超分辨率重建模型输出的分辨率大于待处理图像分辨率的目标图像。可见，应用本发明实施例，可以将待处理图像输入到超分辨率重建模型中，超分辨率重建模型兼顾了卷积神经网络和生成式对抗网络中的生成网络的优点，获得的目标图像清晰度较高。

Description

图像超分辨率和模型训练方法、装置、电子设备及介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像超分辨率和超分辨率重建模型的训练的方法、装置、电子设备及存储介质。
背景技术
目前，图像采集设备受环境影响以及成本控制等原因，可能采集到很多低分辨率图像，清晰度不高，用户的视觉体验较差。
为了提高图像的清晰度，会采用图像超分辨率的方法，对分辨率较低的待处理图像进行处理，以获得分辨率大于该待处理图像分辨率的目标图像。
相关技术中，图像超分辨率的方法主要是对待处理图像进行插值处理以获得分辨率大于该待处理图像分辨率的目标图像，例如：最近邻插值、线性插值和三次样条插值等方法对待处理图像进行处理，获得分辨率大于该待处理图像分辨率的目标图像。
然而，采用上述图像超分辨率方法，获得的目标图像清晰度仍有待提高。
发明内容
本发明实施例的目的在于提供一种图像超分辨率和超分辨率重建模型的训练的方法、装置、电子设备及存储介质，以获得清晰度更高的目标图像。具体技术方案如下：
第一方面，本发明实施例提供了一种图像超分辨率的方法，所述方法包括：
获取待处理图像；
将所述待处理图像输入到预先训练的超分辨率重建模型；所述超分辨率重建模型为用多个训练样本对预设卷积神经网络，以及包含生成网络和判别网络的生成式对抗网络分别进行训练后，将训练后的预设卷积神经网络的网络参数和训练后的生成网络的网络参数进行参数融合后获得的；所述超分辨率重建模型、所述预设卷积神经网络和所述生成网络的网络结构均相同；其中，每个训练样本包含：原始样本图像和对应的目标样本图像，所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
获取所述超分辨率重建模型输出的所述待处理图像对应的目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
可选的，所述超分辨率重建模型的训练过程，包括：
获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于原始样本图像的分辨率；
基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型；
基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型；
分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数；
创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
可选的，所述基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型的步骤，包括：
将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；
基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；
根据预设的第一损失函数的损失值，判断所述当前预设卷积神经网络是否收敛；如果是，则获得训练好的目标卷积神经网络模型；如果否，则调整当前预设卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。
可选的，所述基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型的步骤，包括：
将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；
将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；
将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；
根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为第二目标样本图像的真实结果和预设的第二损失函数，计算损失值；
根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；
将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；
将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；
根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；
根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为目标生成网络模型。
可选的，所述分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数的步骤，包括：
按如下公式，将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数：
其中，alpha1为目标卷积神经网络模型的网络参数的权重系数，为目标卷积神经网络模型第n层的网络参数，/>为目标生成网络模型第n层的网络参数，/>为超分辨率重建模型第n层的网络参数；所述alpha1的取值范围为[0，1]。
第二方面，本发明实施例提供了一种超分辨率重建模型的训练方法，所述方法包括：
获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型；
基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型；
分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数；
创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
可选的，所述基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型的步骤，包括：
将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；
基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；
根据预设的第一损失函数的损失值，判断所述当前预设卷积神经网络是否收敛；如果是，则获得训练好的目标卷积神经网络模型；如果否，则调整当前预设卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。
可选的，所述基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型的步骤，包括：
将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；
将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；
将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；
根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为目标样本图像的真实结果和预设的第二损失函数，计算损失值；
根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；
将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；
将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；
根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；
根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为目标生成网络模型。
可选的，所述分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数的步骤，包括：
按如下公式，将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数：
其中，alpha1为目标卷积神经网络模型的网络参数的权重系数，为目标卷积神经网络模型第n层的网络参数，/>为目标生成网络模型第n层的网络参数，/>为超分辨率重建模型第n层的网络参数；所述alpha1的取值范围为[0，1]。
第三方面，本发明实施例提供了一种图像超分辨率的装置，所述装置包括：
待处理图像获取单元，用于获取待处理图像；
待处理图像输入单元，用于将所述待处理图像输入到预先训练的超分辨率重建模型；所述超分辨率重建模型为用多个训练样本对预设卷积神经网络，以及包含生成网络和判别网络的生成式对抗网络分别进行训练后，将训练后的预设卷积神经网络的网络参数和训练后的生成网络的网络参数进行参数融合后获得的；所述超分辨率重建模型、所述预设卷积神经网络和所述生成网络的网络结构均相同；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
目标图像获取单元，用于获取所述超分辨率重建模型输出的所述待处理图像对应的目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
可选的，所述装置还包括：超分辨率重建模型训练单元；
所述超分辨率重建模型训练单元，包括：
样本集获取模块，用于获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
目标卷积神经网络模型获取模块，用于基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型；
目标生成网络模型获取模块，用于基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型；
融合模块，用于分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数；
超分辨率重建模型创建模块，用于创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
可选的，所述目标卷积神经网络模型获取模块，具体用于：
将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；
基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；
根据预设的第一损失函数的损失值，判断所述当前预设卷积神经网络是否收敛；如果是，则获得训练好的目标卷积神经网络模型；如果否，则调整当前预设卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。
可选的，所述目标生成网络模型获取模块，具体用于：
将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；
将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；
将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；
根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为第二目标样本图像的真实结果和预设的第二损失函数，计算损失值；
根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；
将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；
将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；
根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；
根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为目标生成网络模型。
可选的，所述融合模块，具体用于：
按如下公式，将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数：
其中，alpha1为目标卷积神经网络模型的网络参数的权重系数，为目标卷积神经网络模型第n层的网络参数，/>为目标生成网络模型第n层的网络参数，/>为超分辨率重建模型第n层的网络参数；所述alpha1的取值范围为[0，1]。
第四方面，本发明实施例提供了一种超分辨率重建模型的训练装置，所述装置包括：
样本集获取单元，用于获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
目标卷积神经网络模型获取单元，用于基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型；
目标生成网络模型获取单元，用于基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型；
融合单元，用于分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数；
超分辨率重建模型创建单元，用于创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
可选的，所述目标卷积神经网络模型获取单元，具体用于：
将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；
基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；
根据预设的第一损失函数的损失值，判断所述当前预设卷积神经网络是否收敛；如果是，则获得训练好的目标卷积神经网络模型；如果否，则调整当前预设卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。
可选的，所述目标生成网络模型获取单元，具体用于：
将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；
将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；
将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；
根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为目标样本图像的真实结果和预设的第二损失函数，计算损失值；
根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；
将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；
将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；
根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；
根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为目标生成网络模型。
可选的，所述融合单元，具体用于：按如下公式，将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数：
其中，alpha1为目标卷积神经网络模型的网络参数的权重系数，为目标卷积神经网络模型第n层的网络参数，/>为目标生成网络模型第n层的网络参数，/>为超分辨率重建模型第n层的网络参数；所述alpha1的取值范围为[0，1]。
第五方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一图像超分辨率的方法步骤；或实现上述任一超分辨率重建模型的训练的方法步骤。
第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行上述任一图像超分辨率方法的步骤；或执行上述任一超分辨率重建模型的训练方法的步骤。
第七方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像超分辨率方法；或执行上述任一所述的超分辨率重建模型的训练方法。
本发明实施例提供的图像超分辨率和超分辨率重建模型的训练方法、装置、电子设备及存储介质，图像超分辨率方法可以获取待处理图像；将所述待处理图像输入到预先训练的超分辨率重建模型；所述超分辨率重建模型为用多个训练样本对预设卷积神经网络，以及包含生成网络和判别网络的生成式对抗网络分别进行训练后，将训练后的预设卷积神经网络的网络参数和训练后的生成网络的网络参数进行参数融合后获得的；所述超分辨率重建模型、所述预设卷积神经网络和所述生成网络的网络结构均相同；其中，每个训练样本包含：原始样本图像和对应的目标样本图像，所述目标样本图像的分辨率大于所述原始样本图像的分辨率；获取所述超分辨率重建模型输出的所述待处理图像对应的目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
可见，应用本发明实施例，可以将待处理图像输入到超分辨率重建模型中，获得分辨率大于待处理图像的分辨率的目标图像，超分辨率重建模型为将训练后的预设卷积神经网络(Convolutional Neural Networks，CNN)的网络参数和训练后的生成式对抗网络(Generative Adversarial Networks，GAN)中的生成网络的网络参数进行参数融合后获得的，超分辨率重建模型兼顾了卷积神经网络和生成式对抗网络中的生成网络的优点，获得的目标图像清晰度较高。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像超分辨率的方法的一种流程图；
图2为本发明实施例提供的超分辨率重建模型的训练方法的一种流程图；
图3为本发明实施例提供的超分辨率重建模型的训练方法的另一种流程图；
图4为本发明实施例提供的图像超分辨率的装置的结构示意图；
图5为本发明实施例提供的超分辨率重建模型的训练的装置的结构示意图；
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例所提供的图像超分辨率的方法和超分辨率重建模型的训练方法可以应用于任意需要对低分辨率图像进行处理以获得高分辨率图像的电子设备，如：电脑或移动终端等，在此不做具体限定。为了描述方便，以下简称电子设备。
参见图1，为本发明实施例提供的图像超分辨率的方法，如图1所示，该方法的具体处理流程可以包括：
步骤S101，获取待处理图像。
步骤S102，将所述待处理图像输入到预先训练的超分辨率重建模型；所述超分辨率重建模型为用多个训练样本对预设卷积神经网络，以及包含生成网络和判别网络的生成式对抗网络分别进行训练后，将训练后的预设卷积神经网络的网络参数和训练后的生成网络的网络参数进行参数融合后获得的；所述超分辨率重建模型、所述预设卷积神经网络和所述生成网络的网络结构均相同；其中，每个训练样本包含：原始样本图像和对应的目标样本图像，所述目标样本图像的分辨率大于所述原始样本图像的分辨率。
步骤S103，获取所述超分辨率重建模型输出的所述待处理图像对应的目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
可见，应用本发明实施例，可以将待处理图像输入到超分辨率重建模型中，获得分辨率大于待处理图像的分辨率的目标图像，超分辨率重建模型为将训练后的预设卷积神经网络(Convolutional Neural Networks，CNN)的网络参数和训练后的生成式对抗网络(Generative Adversarial Networks，GAN)中的生成网络的网络参数进行参数融合后获得的，超分辨率重建模型兼顾了卷积神经网络和生成式对抗网络中的生成网络的优点，获得的目标图像清晰度较高。
可实施的，上述实施例中的超分辨率重建模型的训练流程可以参见图2和图3。
参见图2，为本发明实施例提供的超分辨率重建模型的训练方法的一种流程图，如图2所示，该方法的具体处理流程可以包括：
步骤S201，获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率。
步骤S202，基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型。
步骤S203，基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型。
步骤S204，分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数。
步骤S205，创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
可见，应用本发明实施例，可以将待处理图像输入到超分辨率重建模型中，获得分辨率大于待处理图像的分辨率的目标图像，超分辨率重建模型为将训练后的预设卷积神经网络(Convolutional Neural Networks，CNN)的网络参数和训练后的生成式对抗网络(Generative Adversarial Networks，GAN)中的生成网络的网络参数进行参数融合后获得的，超分辨率重建模型兼顾了卷积神经网络和生成式对抗网络中的生成网络的优点，获得的目标图像清晰度较高。
参见图3，为本发明实施例提供的超分辨率重建模型的训练方法的另一种流程图，如图3所示，可以包括：
步骤S301，获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率。
也就是说，原始样本图像是低分辨率样本图像，目标样本图像是高分辨率样本图像。
可实施的，可以对目标样本图像通过下采样等方法获得原始样本图像，将该目标样本图像和原始样本图像作为一个训练样本。也可以通过低清相机及高清相机在同一位置对同一物体进行拍摄获得原始样本图像和对应的目标样本图像，在这里不做具体限定。
步骤S302，将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像。
本步骤中，第一原始样本图像，可以被称为第一低分辨率样本图像。获得的第一重建目标图像的分辨率大于第一原始样本图像的分辨率。因此，第一重建目标图像，可以被称为第一重建高分辨率图像。
可实施的，将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络(Convolutional Neural Networks，CNN)中，获取第一重建目标图像。可实施的，第一预设个数可以为8、16和32等个数，在这里不做具体限定。
步骤S303，基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值。
第一目标样本图像，也可以被称为第一高分辨率样本图像。
可实施的，第一损失函数具体可以为：
其中，L1为第一损失函数的损失值；
为第一重建目标图像I1HR′(也就是第一重建高分辨率图像)的第k个通道的行序号为i和列序号为j的像素点的像素值；例如，一个第一重建高分辨率图像I1HR′用RGB颜色空间模型表示，像素尺寸为128*128，则该第一重建高分辨率图像I1HR′有3个通道，表示第一个通道时k的值为1；包含128行和128列。如果要表示该第一重建高分辨率图像I1HR′的第一个通道的第一行，第一列的像素点的像素值，则可以表示为/>
为第一目标样本图像I1HR，(也就是第一高分辨率样本图像)的第k个通道的行序号为i和列序号为j的像素点的像素值；
h1、w1和c1分别为第一重建高分辨率图像的高、宽和通道的个数；h1w1c1为第一重建高分辨率图像的高、宽和通道的个数的乘积。
在其他实施例中可以使用其他损失函数，例如，可以用上述L1的公式，也可以用相关技术中的均方差损失函数等均可。本文对第一损失函数的具体公式不做限定。
步骤S304，根据预设的第一损失函数的损失值，判断所述当前预设卷积神经网络是否收敛。
如果判断的结果为否，即所述当前预设卷积神经网络未收敛，则执行步骤S305；如果判断的结果为是，即所述当前预设卷积神经网络收敛，则执行步骤S306。
步骤S305，调整当前预设卷积神经网络的网络参数。返回执行步骤S302。
步骤S306，获得训练好的目标卷积神经网络模型。
步骤S307，将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络。
可实施的，生成式对抗网络(Generative Adversarial Networks，GAN)中的判别网络可以为卷积神经网络，也可以为其它网络。在这里对判别网络不做具体限定。对预设卷积神经网络、生成网络和判别网络的网络结构也不做具体限定，可以根据实际需要设置。
步骤S308，将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像。
本步骤中，第二原始样本图像，可以被称为第二低分辨率样本图像。第二重建目标图像的分辨率大于第二原始样本图像的分辨率，因此，第二重建目标图像，可以被称为第二重建高分辨率图像。
可实施的，第二预设个数可以为8、16和32等个数，在这里不做具体限定。
步骤S309，将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值。
本步骤中，第二目标样本图像，可以被称为第二高分辨率样本图像。
步骤S310，根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为第二目标样本图像的真实结果和预设的第二损失函数，计算损失值。
可实施的，预设的第二损失函数具体可以为：
Dloss＝∑[logD(I2HR)]+∑[1-logD(G(I2LR))]；
其中，D为判别网络；
Dloss为判别网络的损失值，即第二损失函数的损失值；
I2HR为第二目标样本图像，即第二高分辨率样本图像；
D(I2HR)为将第二高分辨率样本图像输入到当前判别网络中后，获得的第二当前预测概率值；
I2LR为第二原始样本图像，即第二低分辨率样本图像；
G(I2LR)为将第二低分辨率样本图像输入到当前生成网络中后，获得的第二重建高分辨率图像；
D(G(ILR))为将第二重建高分辨率图像输入到当前判别网络中，获得的第一当前预测概率值。
步骤S311，根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络。
步骤S312，将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像。
本步骤中，第三原始样本图像，可以被称为第三低分辨率样本图像。第三重建目标图像的分辨率大于第三原始样本图像的分辨率，因此，第三重建目标图像，可以被称为第三重建高分辨率图像。
可实施的，第三预设个数可以为8、16和32等个数，在这里不做具体限定。可实施的，第一预设个数、第二预设个数和第三预设个数可以相同，也可以不同，不做具体限定。
步骤S313，将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值。
第三目标样本图像，也就是第三高分辨率样本图像。
步骤S314，根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值。
可实施的，预设的第三损失函数具体可以为：
其中，L1′、和/>分别为按照如下公式计算的损失值；α、β和γ分别为L1′、和/>的权重系数；
其中，L1′为第三损失函数中L1′损失函数的损失值；
为第三重建目标图像I3HR′，(也就是第三重建高分辨率图像)的第k个通道的行序号为i和列序号为j的像素点的像素值；
为第三目标样本图像I3HR，(也就是第三高分辨率样本图像)的第k个通道的行序号为i和列序号为j的像素点的像素值；
h2、w2和c2分别为第三重建高分辨率图像的高、宽和通道的个数；h2w2c2为第三重建高分辨率图像的高、宽和通道的个数的乘积。
其中，为第三损失函数中/>损失函数的损失值；
W为滤波器的宽；H为滤波器的高；
i为滤波器位于相关技术中预先训练好的VGG网络模型的层数；j表示滤波器位于VGG网络模型中该层的第j个；
Wi,j为VGG网络模型中第i层的第j个滤波器的宽；
Hi,为VGG网络模型中第i层的第j个滤波器的高；
为相关技术中预先训练好的VGG网络模型的第i层第j个滤波器在第三高分辨率样本图像I3HR的行序号为x，列序号为为y对应位置处的特征值；
为相关技术中预先训练好的VGG网络模型的第i层第j个滤波器在第三重建高分辨率图像G(I3LR)的横坐标为x，纵坐标为y对应位置处的特征值；I3LR为第三原始样本图像，也就是第三低分辨率样本图像。
其中，为第三损失函数中/>损失函数的损失值；
I3LR为第三原始样本图像，也就是第三低分辨率样本图像；
D(G(I3LR))为当前中间判别网络对第三重建高分辨率图像G(I3LR)进行判别后，输出的第三当前预测概率值。
步骤S315，根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次。
步骤S316，判断是否达到预设的迭代次数。
可实施的，预设的迭代次数可以为100次、200次和1000次等迭代次数，在这里不做具体限定。
如果判断的结果为是，即达到预设的迭代次数，则执行步骤S317；如果判断的结果为否，即没达到预设的迭代次数，则返回执行步骤S308。
步骤S317，将训练后的当前生成网络作为目标生成网络模型。
步骤S318，分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数。
可实施的，可以按如下公式，将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数：
其中，alpha1为目标卷积神经网络模型的网络参数的权重系数，为目标卷积神经网络模型第n层的网络参数，/>为目标生成网络模型第n层的网络参数，/>为超分辨率重建模型第n层的网络参数；所述alpha1的取值范围为[0，1]。
步骤S319，创建超分辨率重建模型。
可实施的，所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
可见，应用本发明实施例，可以将待处理图像输入到超分辨率重建模型中，获得分辨率大于待处理图像的分辨率的目标图像，超分辨率重建模型为将训练后的预设卷积神经网络(Convolutional Neural Networks，CNN)的网络参数和训练后的生成式对抗网络(Generative Adversarial Networks，GAN)中的生成网络的网络参数进行参数融合后获得的，超分辨率重建模型兼顾了卷积神经网络和生成式对抗网络中的生成网络的优点，获得的目标图像清晰度较高。
在本发明实施例中，目标卷积神经网络模型的优点是生成的图像较为稳定，缺点是图像缺失部分高频信息，训练好的生成网络生成的图像的优点是生成的图像包含更多的高频信息，缺点是图像可能出现伪影，不够稳定。超分辨率重建模型将目标卷积神经网络模型和训练好的生成式对抗网络中的生成网络的网络参数进行参数融合，输出的目标图像可以包含更多的高频信息，具有更多的图像细节；又较为稳定，平衡了图像的伪影问题，目标图像的清晰度较高。
本发明实施例提供的图像超分辨率的装置的结构示意图，如图4所示，所述装置包括：
待处理图像获取单元401，用于获取待处理图像；
待处理图像输入单元402，用于将所述待处理图像输入到预先训练的超分辨率重建模型；所述超分辨率重建模型为用多个训练样本对预设卷积神经网络，以及包含生成网络和判别网络的生成式对抗网络分别进行训练后，将训练后的预设卷积神经网络的网络参数和训练后的生成网络的网络参数进行参数融合后获得的；所述超分辨率重建模型、所述预设卷积神经网络和所述生成网络的网络结构均相同；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
目标图像获取单元403，用于获取所述超分辨率重建模型输出的所述待处理图像对应的目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
可选的，所述装置还包括：超分辨率重建模型训练单元；
所述超分辨率重建模型训练单元，包括：
样本集获取模块，用于获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
目标卷积神经网络模型获取模块，用于基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型；
目标生成网络模型获取模块，用于基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型；
融合模块，用于分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数；
超分辨率重建模型创建模块，用于创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
可选的，所述目标卷积神经网络模型获取模块，具体用于：
将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；
基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；
根据预设的第一损失函数的损失值，判断所述当前预设卷积神经网络是否收敛；如果是，则获得训练好的目标卷积神经网络模型；如果否，则调整当前预设卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。
可选的，所述目标生成网络模型获取模块，具体用于：
将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；
将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；
将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；
根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为第二目标样本图像的真实结果和预设的第二损失函数，计算损失值；
根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；
将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；
将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；
根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；
根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为目标生成网络模型。
可选的，所述融合模块，具体用于：
按如下公式，将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数：
其中，alpha1为目标卷积神经网络模型的网络参数的权重系数，为目标卷积神经网络模型第n层的网络参数，/>为目标生成网络模型第n层的网络参数，/>为超分辨率重建模型第n层的网络参数；所述alpha1的取值范围为[0，1]。
可见，应用本发明实施例，可以将待处理图像输入到超分辨率重建模型中，获得分辨率大于待处理图像的分辨率的目标图像，超分辨率重建模型为将训练后的预设卷积神经网络(Convolutional Neural Networks，CNN)的网络参数和训练后的生成式对抗网络(Generative Adversarial Networks，GAN)中的生成网络的网络参数进行参数融合后获得的，超分辨率重建模型兼顾了卷积神经网络和生成式对抗网络中的生成网络的优点，获得的目标图像清晰度较高。
本发明实施例提供的超分辨率重建模型的训练的装置的结构示意图，如图5所示，所述装置包括：
样本集获取单元501，用于获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
目标卷积神经网络模型获取单元502，用于基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型；
目标生成网络模型获取单元503，用于基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型；
融合单元504，用于分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数；
超分辨率重建模型创建单元505，用于创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
可选的，所述目标卷积神经网络模型获取单元，具体用于：
将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；
基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；
根据预设的第一损失函数的损失值，判断所述当前预设卷积神经网络是否收敛；如果是，则获得训练好的目标卷积神经网络模型；如果否，则调整当前预设卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。
可选的，所述目标生成网络模型获取单元，具体用于：
将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；
将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；
将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；
根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为目标样本图像的真实结果和预设的第二损失函数，计算损失值；
根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；
将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；
将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；
根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；
根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为目标生成网络模型。
可选的，所述融合单元，具体用于：按如下公式，将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数：
其中，alpha1为目标卷积神经网络模型的网络参数的权重系数，为目标卷积神经网络模型第n层的网络参数，/>为目标生成网络模型第n层的网络参数，/>为超分辨率重建模型第n层的网络参数；所述alpha1的取值范围为[0，1]。
可见，应用本发明实施例，可以将待处理图像输入到超分辨率重建模型中，获得分辨率大于待处理图像的分辨率的目标图像，超分辨率重建模型为将训练后的预设卷积神经网络(Convolutional Neural Networks，CNN)的网络参数和训练后的生成式对抗网络(Generative Adversarial Networks，GAN)中的生成网络的网络参数进行参数融合后获得的，超分辨率重建模型兼顾了卷积神经网络和生成式对抗网络中的生成网络的优点，获得的目标图像清晰度较高。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
获取待处理图像；将所述待处理图像输入到预先训练的超分辨率重建模型；所述超分辨率重建模型为用多个训练样本对预设卷积神经网络，以及包含生成网络和判别网络的生成式对抗网络分别进行训练后，将训练后的预设卷积神经网络的网络参数和训练后的生成网络的网络参数进行参数融合后获得的；所述超分辨率重建模型、所述预设卷积神经网络和所述生成网络的网络结构均相同；其中，每个训练样本包含：原始样本图像和对应的目标样本图像，所述目标样本图像的分辨率大于所述原始样本图像的分辨率；获取所述超分辨率重建模型输出的所述待处理图像对应的目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
或，
获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型；基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型；分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数；创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
可见，应用本发明实施例，可以将待处理图像输入到超分辨率重建模型中，获得分辨率大于待处理图像的分辨率的目标图像，超分辨率重建模型为将训练后的预设卷积神经网络(Convolutional Neural Networks，CNN)的网络参数和训练后的生成式对抗网络(Generative Adversarial Networks，GAN)中的生成网络的网络参数进行参数融合后获得的，超分辨率重建模型兼顾了卷积神经网络和生成式对抗网络中的生成网络的优点，获得的目标图像清晰度较高。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像超分辨率方法的步骤；或上述任一超分辨率重建模型的训练方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像超分辨率方法方法；或上述任一超分辨率重建模型的训练方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质及计算机程序产品等实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种图像超分辨率的方法，其特征在于，所述方法包括：
获取待处理图像；
将所述待处理图像输入到预先训练的超分辨率重建模型；所述超分辨率重建模型为用多个训练样本对预设卷积神经网络，以及包含生成网络和判别网络的生成式对抗网络分别进行训练后，将训练后的预设卷积神经网络的网络参数和训练后的生成网络的网络参数进行参数融合后获得的；所述超分辨率重建模型、所述预设卷积神经网络和所述生成网络的网络结构均相同；其中，每个训练样本包含：原始样本图像和对应的目标样本图像，所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
获取所述超分辨率重建模型输出的所述待处理图像对应的目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率；
其中，所述超分辨率重建模型的训练过程，包括：
获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型；
将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，并设置生成式对抗网络中的判别网络的初始参数，基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型；
分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数；
创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
2.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型的步骤，包括：
将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；
基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；
根据预设的第一损失函数的损失值，判断所述当前预设卷积神经网络是否收敛；如果是，则获得训练好的目标卷积神经网络模型；如果否，则调整当前预设卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，并设置生成式对抗网络中的判别网络的初始参数，基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型的步骤，包括：
将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；
将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；
将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；
根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为第二目标样本图像的真实结果和预设的第二损失函数，计算损失值；
根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；
将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；
将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；
根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；
根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为目标生成网络模型。
4.根据权利要求1所述的方法，其特征在于，所述分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数的步骤，包括：
按如下公式，将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数：
其中，alpha1为目标卷积神经网络模型的网络参数的权重系数，为目标卷积神经网络模型第n层的网络参数，/>为目标生成网络模型第n层的网络参数，/>为超分辨率重建模型第n层的网络参数；所述alpha1的取值范围为[0，1]。
5.一种超分辨率重建模型的训练方法，其特征在于，所述方法包括：
获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型；
将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，并设置生成式对抗网络中的判别网络的初始参数，基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型；
分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数；
创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
6.根据权利要求5所述的方法，其特征在于，所述基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型的步骤，包括：
将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；
基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；
根据预设的第一损失函数的损失值，判断所述当前预设卷积神经网络是否收敛；如果是，则获得训练好的目标卷积神经网络模型；如果否，则调整当前预设卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前预设卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。
7.根据权利要求6所述的方法，其特征在于，所述将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，并设置生成式对抗网络中的判别网络的初始参数，基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型的步骤，包括：
将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；
将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；
将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；
根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为目标样本图像的真实结果和预设的第二损失函数，计算损失值；
根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；
将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；
将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；
根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；
根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为目标生成网络模型。
8.根据权利要求5所述的方法，其特征在于，所述分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数的步骤，包括：
按如下公式，将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数：
其中，alpha1为目标卷积神经网络模型的网络参数的权重系数，为目标卷积神经网络模型第n层的网络参数，/>为目标生成网络模型第n层的网络参数，/>为超分辨率重建模型第n层的网络参数；所述alpha1的取值范围为[0，1]。
9.一种图像超分辨率的装置，其特征在于，所述装置包括：
待处理图像获取单元，用于获取待处理图像；
待处理图像输入单元，用于将所述待处理图像输入到预先训练的超分辨率重建模型；所述超分辨率重建模型为用多个训练样本对预设卷积神经网络，以及包含生成网络和判别网络的生成式对抗网络分别进行训练后，将训练后的预设卷积神经网络的网络参数和训练后的生成网络的网络参数进行参数融合后获得的；所述超分辨率重建模型、所述预设卷积神经网络和所述生成网络的网络结构均相同；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
目标图像获取单元，用于获取所述超分辨率重建模型输出的所述待处理图像对应的目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率；
其中，所述装置还包括：超分辨率重建模型训练单元；
所述超分辨率重建模型训练单元，包括：
样本集获取模块，用于获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
目标卷积神经网络模型获取模块，用于基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型；
目标生成网络模型获取模块，用于将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，并设置生成式对抗网络中的判别网络的初始参数，基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型；
融合模块，用于分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数；
超分辨率重建模型创建模块，用于创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
10.一种超分辨率重建模型的训练装置，其特征在于，所述装置包括：
样本集获取单元，用于获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于原始样本图像的分辨率；
目标卷积神经网络模型获取单元，用于基于所述训练样本集对预设卷积神经网络进行训练，将训练后的预设卷积神经网络作为目标卷积神经网络模型；
目标生成网络模型获取单元，用于将所述目标卷积神经网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，并设置生成式对抗网络中的判别网络的初始参数，基于所述训练样本集对生成式对抗网络进行训练，将训练好的生成式对抗网络中的生成网络作为目标生成网络模型；
融合单元，用于分别将所述目标卷积神经网络模型每层的网络参数和所述目标生成网络模型每层的网络参数进行加权融合，获得融合后的网络参数；
超分辨率重建模型创建单元，用于创建超分辨率重建模型；所述超分辨率重建模型的网络结构与所述预设卷积神经网络和所述生成网络的网络结构均相同，所述超分辨率重建模型的网络参数为所述融合后的网络参数。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤；或实现权利要求5-8任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤；或实现权利要求5-8任一所述的方法步骤。
CN201911329508.5A 2019-12-20 2019-12-20 图像超分辨率和模型训练方法、装置、电子设备及介质 Active CN111080528B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911329508.5A CN111080528B (zh) 2019-12-20 2019-12-20 图像超分辨率和模型训练方法、装置、电子设备及介质
US17/772,306 US20220383452A1 (en) 2019-12-20 2020-12-09 Method, apparatus, electronic device and medium for image super-resolution and model training
PCT/CN2020/135037 WO2021121108A1 (zh) 2019-12-20 2020-12-09 图像超分辨率和模型训练方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911329508.5A CN111080528B (zh) 2019-12-20 2019-12-20 图像超分辨率和模型训练方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN111080528A CN111080528A (zh) 2020-04-28
CN111080528B true CN111080528B (zh) 2023-11-07

Family

ID=70316466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911329508.5A Active CN111080528B (zh) 2019-12-20 2019-12-20 图像超分辨率和模型训练方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN111080528B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021121108A1 (zh) * 2019-12-20 2021-06-24 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质
CN111598808B (zh) * 2020-05-18 2022-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及其训练方法
CN111757087A (zh) * 2020-06-30 2020-10-09 北京金山云网络技术有限公司 Vr视频的处理方法、装置和电子设备
CN112380777A (zh) * 2020-11-25 2021-02-19 杭州知衣科技有限公司 一种基于深度学习的服装线稿生成方法
CN113065635A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种模型的训练方法、图像增强方法及设备
CN112991171B (zh) * 2021-03-08 2023-07-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113222813B (zh) * 2021-04-19 2024-02-09 西安电子科技大学 图像超分辨率重建方法、装置、电子设备及存储介质
CN113139906B (zh) * 2021-05-13 2023-11-24 平安国际智慧城市科技股份有限公司 一种生成器的训练方法、装置与存储介质
CN113269676B (zh) * 2021-05-19 2023-01-10 北京航空航天大学 一种全景图像处理方法和装置
CN113781309A (zh) * 2021-09-17 2021-12-10 北京金山云网络技术有限公司 图像处理方法、装置及电子设备
CN113837980A (zh) * 2021-10-12 2021-12-24 Oppo广东移动通信有限公司 分辨率的调整方法、装置、电子设备及存储介质
CN114066722B (zh) * 2021-11-03 2024-03-19 抖音视界有限公司 用于获取图像的方法、装置和电子设备
CN114445301A (zh) * 2022-01-30 2022-05-06 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319039A1 (en) * 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction
WO2018153319A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN109102462A (zh) * 2018-08-01 2018-12-28 中国计量大学 一种基于深度学习的视频超分辨率重建方法
CN109325928A (zh) * 2018-10-12 2019-02-12 北京奇艺世纪科技有限公司 一种图像重建方法、装置及设备
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109376615A (zh) * 2018-09-29 2019-02-22 苏州科达科技股份有限公司 用于提升深度学习网络预测性能的方法、装置及存储介质
CN110211035A (zh) * 2019-04-18 2019-09-06 天津中科智能识别产业技术研究院有限公司 融合互信息的深度神经网络的图像超分辨率方法
CN110278415A (zh) * 2019-07-02 2019-09-24 浙江大学 一种网络摄像机视频质量提升方法
CN110363704A (zh) * 2019-05-29 2019-10-22 西北大学 融合形态及色彩的图像超分辨率重建模型构建及重建方法
CN110363716A (zh) * 2019-06-25 2019-10-22 北京工业大学 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN110415176A (zh) * 2019-08-09 2019-11-05 北京大学深圳研究生院 一种文本图像超分辨率方法
CN110428046A (zh) * 2019-08-28 2019-11-08 腾讯科技（深圳）有限公司 神经网络结构的获取方法及装置、存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
US11003995B2 (en) * 2017-05-19 2021-05-11 Huawei Technologies Co., Ltd. Semi-supervised regression with generative adversarial networks

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319039A1 (en) * 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction
WO2018153319A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN109102462A (zh) * 2018-08-01 2018-12-28 中国计量大学 一种基于深度学习的视频超分辨率重建方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109376615A (zh) * 2018-09-29 2019-02-22 苏州科达科技股份有限公司 用于提升深度学习网络预测性能的方法、装置及存储介质
CN109325928A (zh) * 2018-10-12 2019-02-12 北京奇艺世纪科技有限公司 一种图像重建方法、装置及设备
CN110211035A (zh) * 2019-04-18 2019-09-06 天津中科智能识别产业技术研究院有限公司 融合互信息的深度神经网络的图像超分辨率方法
CN110363704A (zh) * 2019-05-29 2019-10-22 西北大学 融合形态及色彩的图像超分辨率重建模型构建及重建方法
CN110363716A (zh) * 2019-06-25 2019-10-22 北京工业大学 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN110278415A (zh) * 2019-07-02 2019-09-24 浙江大学 一种网络摄像机视频质量提升方法
CN110415176A (zh) * 2019-08-09 2019-11-05 北京大学深圳研究生院 一种文本图像超分辨率方法
CN110428046A (zh) * 2019-08-28 2019-11-08 腾讯科技（深圳）有限公司 神经网络结构的获取方法及装置、存储介质

Also Published As

Publication number Publication date
CN111080528A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111080528B (zh) 图像超分辨率和模型训练方法、装置、电子设备及介质
CN111080527B (zh) 一种图像超分辨率的方法、装置、电子设备及存储介质
WO2021121108A1 (zh) 图像超分辨率和模型训练方法、装置、电子设备及介质
CN109101975B (zh) 基于全卷积神经网络的图像语义分割方法
EP3526765B1 (en) Iterative multiscale image generation using neural networks
CN109525859B (zh) 模型训练、图像发送、图像处理方法及相关装置设备
CN110909663B (zh) 一种人体关键点识别方法、装置及电子设备
CN110111244B (zh) 图像转换、深度图预测和模型训练方法、装置及电子设备
CN110544214A (zh) 一种图像修复方法、装置及电子设备
US11244426B2 (en) Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
US20200104978A1 (en) Image generation using subscaling and depth up-scaling
CN102509304A (zh) 基于智能优化的摄像机标定方法
CN109785279B (zh) 一种基于深度学习的图像融合重建方法
WO2021082819A1 (zh) 一种图像生成方法、装置及电子设备
CN111462069A (zh) 目标对象检测模型训练方法、装置、电子设备及存储介质
CN114418853A (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN111223046B (zh) 一种图像超分辨率重建方法及装置
CN111340140A (zh) 图像数据集的获取方法、装置、电子设备及存储介质
CN116597263A (zh) 图像合成模型的训练方法及相关装置
CN113014928B (zh) 一种补偿帧生成方法及装置
CN114862679A (zh) 基于残差生成对抗网络的单图超分辨率重建方法
CN115330930A (zh) 基于稀疏到稠密特征匹配网络的三维重建方法和系统
CN110348457B (zh) 一种图像特征提取方法、提取装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant