CN112837240B - 模型训练方法、分数提升方法、装置、设备、介质和产品 - Google Patents

Abstract

本公开提供了一种模型训练方法、分数提升方法、装置、设备、介质和产品，可以用于图像识别领域和图像处理领域等中。该方法包括：使用清晰度提升模型，针对通过使第一图像模糊而被生成的第二图像生成提升清晰度的第三图像；使用清晰度比较模型，判定第三图像与第一图像的清晰度是否相同；若相同，则调整参数，使得使用清晰度比较模型无法将清晰度判定为相同；以及若不同，则调整参数，使得使用清晰度提升模型针对第二图像生成的提升清晰度的第四图像与第一图像的清晰度差别比第三图像与第一图像的清晰度差别更小。利用上述方法，可以在保证图像分辨率不变的情况下基于低清晰度图像来生成高清晰度图像，因此能够提高图像质量以及提升用户体验。

Description

模型训练方法、分数提升方法、装置、设备、介质和产品

技术领域

本公开涉及计算机技术，并且更具体地，涉及模型训练方法、图像清晰度分数提升方法、装置、电子设备、计算机可读存储介质和计算机程序产品，可以用于图像识别领域和图像处理领域等领域中。

背景技术

随着人民群众生活水平的提升以及科技日新月异的发展，人们获取信息、休闲娱乐的方式逐步发生变化，近年来人民群众对于图文、视频类产品的需求急速增长。例如，馈送推荐系统用于向用户提供持续更新的媒体资源，在信息流的入口上，95％的资源都会以文字加配图的形式展现，而封面图作为信息流的门面，占据大面积版面，直接反应了文章、视频的主题、人物、风格、格调，其质量直接影响了资源的点展比和用户核心体验，对应用的调性影响也比较大。其中，清晰度是衡量图像质量的重要指标。然而，在这些资源中经常存在封面图像模糊或者内容图像模糊的现象。例如，在图像的获取、存储、传输、显示等过程中不可避免地会引入一些干扰因素，如噪声、模糊、数据丢失等，这些都会造成图像质量的下降，例如，降质、失真。

模糊的图像使得用户观看视频的体验降级，甚至会造成生理上的不适，长期以往会造成相应的视频类产品口碑下降、用户流失。例如，根据用户反馈及调研，馈送的多个场景中均存在向清晰度不足、效果偏灰的问题，从而导致用户消费容易疲惫，消费欲望不强。因此，需要通过技术手段对图像进行处理，去除图像中的模糊，提升图像的清晰度。

然而，传统的用于提升图像清晰度的技术适用范围局限性很大，在提升图像清晰度方面效果不佳，并且还存在高计算资源消耗的问题。

发明内容

根据本公开的实施例，提供了一种模型训练方法、图像清晰度分数提升方法、装置、电子设备、计算机可读存储介质和计算机程序产品

在本公开的第一方面中，提供了一种模型训练方法，包括：使用清晰度提升模型，针对第二图像生成提升清晰度的第三图像，第二图像通过使第一图像模糊而被生成；使用清晰度比较模型，判定第三图像与第一图像的清晰度是否相同；如果判定结果为相同，则调整清晰度比较模型的参数，使得使用经调整的清晰度比较模型无法将清晰度判定为相同；以及如果判定结果为不同，则调整清晰度提升模型的参数，使得使用经调整的清晰度提升模型针对第二图像生成的提升清晰度的第四图像与第一图像的清晰度差别比第三图像与第一图像的清晰度差别更小。

在本公开的第二方面中，提供了一种清晰度分数提升方法，包括使用根据本公开的第一方面而被训练的清晰度提升模型，针对输入图像生成提升清晰度的图像。

在本公开的第三方面中，提供了一种模型训练装置，包括：生成模块，被配置为使用清晰度提升模型，针对第二图像生成提升清晰度的第三图像，第二图像通过使第一图像模糊而被生成；判定模块，被配置为使用清晰度比较模型，判定第三图像与第一图像的清晰度是否相同；第一参数调整模块，被配置为如果判定结果为相同，则调整清晰度比较模型的参数，使得使用经调整的清晰度比较模型无法将清晰度判定为相同；以及第二参数调整模块，被配置为如果判定结果为不同，则调整清晰度提升模型的参数，使得使用经调整的清晰度提升模型针对第二图像生成的提升清晰度的第四图像与第一图像的清晰度差别比第三图像与第一图像的清晰度差别更小。

在本公开的第四方面中，提供了一种图像清晰度分数提升装置，被配置为使用由根据本公开的第三方面的模型训练装置训练的清晰度提升模型，针对输入图像生成提升清晰度的图像。

在本公开的第五方面中，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现根据本公开的第一方面的方法。

在本公开的第六方面中，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现根据本公开的第二方面的方法。

在本公开的第七方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机实现根据本公开的第一方面的方法。

在本公开的第八方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机实现根据本公开的第二方面的方法。

在本公开的第九方面中，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时，执行根据本公开的第一方面的方法。

在本公开的第十方面中，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时，执行根据本公开的第二方面的方法。

利用根据本申请的技术，提供了一种采用基于生成对抗网络(GenerativeAdversarial Networks，GAN)的多任务训练方法而被训练的用于图像的清晰度提升模型，从而可以在保证图像分辨率不变的情况下、基于低清晰度图像来生成高清晰度图像，该模型不仅可以用于多种模糊类型，也可以处理存在多种模糊形式图像的清晰图提高。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中在本公开示例性实施例中，相同的参考标号通常代表相同部件。应当理解，附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示出了可以在其中实现本公开的某些实施例中的模型训练方法的模型训练环境100的示意性框图；

图2示出了根据本公开实施例的模型训练方法200的流程图；

图3示出了根据本公开的实施例的模型训练装置300的示意性框图；以及

图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如以上在背景技术中所描述的，传统的用于提升图像清晰度的技术适用范围局限性很大，在提升图像清晰度方面效果不佳，并且还存在高计算资源消耗的问题。

具体而言，在传统方案中，提升图像的清晰度可移除采取去除图像模糊的方式通常采用以下两种方案：方案(1)：通过迭代的方式来去除图像模糊。首先估计出图像的模糊核，然后使用该模糊核对图像进行反卷积恢复，从而复原成清晰的图像，重复该步骤，直到收敛。方案(2)：采用端到端方案，通过构造大量的模糊-清晰图像对，训练卷积神经网络，在网络前馈传递的过程中，学习需要补充的边缘细节，以此提升图像清晰度。

然而，传统的提升图像的清晰度的方案均存在不足。例如，方案(1)：图像的清晰度提升效果取决于模糊核估计的精确程度，然而估算每一个像素的模糊核是一个不适定问题，因此大多数的研究仅致力于解决均匀分布的图像模糊问题。另外，该方法往往需要大量的迭代计算。方案(2)：通过端到端的方式，学习图像中每一个像素的模糊核，可以解决模糊分布不均的问题，但应用场景局限，往往只能处理一种模糊类型，比如运动模糊。此外，在馈送场景下，图像模糊种类繁多，图像模糊并非都是运动模糊导致，还存在压缩模糊、缩放模糊、噪点模糊等模糊类型，有些图像还可能同时叠加多种模糊。因此，现有算法还无法全面地解决图像清晰度提升问题。

为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，本公开的实施例提出了可以用于训练清晰度提升模型的模型训练方法。具体而言，本公开的实施例提供了一种采用基于生成对抗网络的多任务训练方法而被训练的用于图像的清晰度提升模型，从而可以在保证图像分辨率不变的情况下、基于低清晰度图像来生成高清晰度图像，该模型不仅可以用于多种模糊类型，也可以处理存在多种模糊形式图像的清晰图提高。

图1示出了可以在其中实现本公开的某些实施例中的模型训练方法的模型训练环境100的示意性框图。根据本公开的一个或多个实施例，模型训练环境100可以是云环境。如图1中所示，模型训练环境100包括生成对抗网络110和训练相关数据120。生成对抗网络110是一种深度学习模型，并且包括计算设备111、清晰度提升模型112和清晰度比较模型113。清晰度提升模型112例如可以对应于生成对抗网络110中的生成部分，并且清晰度比较模型113例如可以对应于生成对抗网络110中的对抗部分。

在模型训练环境100中，包括清晰度较高的图像和针对这一图像的模糊图像的图像配对的训练相关数据120作为生成对抗网络110的输入被提供给生成对抗网络110。在训练相关数据120中，可以包括由量图像配对组成的图像配对集合，其中清晰度较高的图像在本公开中被称为第一图像或者清晰图像，针对清晰度较高的图像的模糊图像在本公开中被称为第二图像或者模糊图像。根据本公开的一个或多个实施例，第二图像通过使第一图像模糊而被生成，并且模糊的形式可以包括运动模糊、压缩模糊、缩放模糊和噪点模糊等模糊形式中的一种或者多种模糊形式。第二图像和第一图像的分辨率相同。根据本公开的另外一些实施例，训练相关数据120也可以仅包括第一图像，并且生成对抗网络110在接收到第一图像之后，可以通过由计算设备111使第一图像模糊而生成第二图像。

根据本公开的一个或多个实施例，在生成包括第二图像和第一图像的图像配对的训练相关数据120时，可以使用清晰度识别模型从大量图像中识别出清晰度较高的图像作为第一图像的集合，并且而后针对第一图像的集合中的每个第一图像，通过使其模糊的形式来生成一个或多个第二图像，并且所生成的每个第二图像与对应的第一图像组成图像配对。

根据本公开的一个或多个实施例，计算设备111可以与清晰度提升模型112和清晰度比较模型113进行交互，例如包括计算设备111将训练相关数据120中包括的第二图像和第一图像的图像配对中的第二图像提供给清晰度提升模型112，将训练相关数据120中包括的第二图像和第一图像的图像配对中的第一图像提供给清晰度比较模型113，从由清晰度提升模型112接收由清晰度提升模型112针对第二图像生成的提升清晰度的第三图像和由清晰度提升模型112确定的从第一图像到第二图像所采取的模糊形式，从清晰度比较模型113接收关于由清晰度提升模型112生成的第三图像与第一图像的清晰度是否相同的判定，以及基于判定来调整清晰度提升模型112或清晰度比较模型113的参数。

根据本公开的一个或多个实施例，生成对抗网络110在接收到包括第二图像和第一图像的图像配对的训练相关数据120之后，由清晰度提升模型112针对图像配对中的第二图像生成提升清晰度的第三图像，并且由清晰度比较模型113判定第三图像与图像配对中的第一图像的清晰度是否相同。如果判定结果为相同，则计算设备111调整清晰度比较模型113的参数，使得使用经调整的清晰度比较模型113无法将第三图像与第一图像的清晰度判定为相同。如果判定结果为不同，则计算设备111调整清晰度提升模型112的参数，使得使用经调整的清晰度提升模型针对第二图像生成的提升清晰度的第四图像与第一图像的清晰度差别比第三图像与第一图像的清晰度差别更小。

应当理解，模型训练环境100仅仅是示例性而不是限制性的，并且其是可扩展的，其中可以包括更多的生成对抗网络110，并且可以向生成对抗网络110提供更多的训练相关数据120作为输入，生成对抗网络110中也可以包括更多的计算设备111、清晰度提升模型112和清晰度比较模型113，从而使得可以满足更多用户同时利用更多的生成对抗网络110，甚至利用更多的训练相关数据120来同时或者非同时地训练清晰度提升模型112的需求。此外，计算设备111也可以在完成对清晰度提升模型112的训练之后，使用清晰度提升模型112来确定针对输入的第二图像生成提升清晰度的第三图像。

在图1所示的模型训练环境100中，向生成对抗网络110输入训练相关数据120以及生成对抗网络110中的计算设备111、清晰度提升模型112和清晰度比较模型113之间的交互可以通过网络来进行。

图2示出了根据本公开的实施例的模型训练方法200的流程图。具体而言，模型训练方法200可以由图1中所示的模型训练环境100中的生成对抗网络110中的计算设备111来执行。应当理解的是，模型训练方法200还可以包括未示出的附加操作和/或可以省略所示出的操作，本公开的范围在此方面不受限制。

在框202，计算设备111使用清晰度提升模型112，针对第二图像生成提升清晰度的第三图像。根据本公开的一个或多个实施例，第二图像通过使第一图像模糊而被生成，并且模糊的形式可以包括运动模糊、压缩模糊、缩放模糊和噪点模糊等模糊形式中的一种或者多种模糊形式。例如，当第二图像通过两种形式的模糊使第一图像模糊而被生成时，第二图像通过对第一图像进行第一形式的模糊以得到第五图像并且而后对第五图像进行第二形式的模糊而被生成。此时，计算设备111使用清晰度提升模型112针对第二图像生成提升清晰度的第三图像包括：计算设备111使用清晰度提升模型112，针对第二图像生成经第一形式的模糊的第六图像，并且针对第六图像生成第三图像。换言之，如果模糊图像是通过将清晰图像进行第一形式的模糊并且而后进行第二形式的模糊而得到的，则计算设备111使用清晰度提升模型112将模糊图像先通过去除第二形式的模糊而恢复成仅具有第一形式的模糊的图像，并且而后将仅具有第一形式的模糊的图像恢复成清晰图像。

根据本公开的一个或多个实施例，清晰度提升模型112包括多级特征金字塔网络模型，并且计算设备111使用清晰度提升模型112针对第二图像生成提升清晰度的第三图像可以包括：计算设备111使用清晰度提升模型112中的多级特征金字塔网络模型，通过对第二图像进行多次下采样并且进行相同次数的多次上采样来生成第三图像。例如，多级特征金字塔网络模型中可以包括自下而上和自上而下的通路，从而使得可以在大小不一的感受野上提取图像特征，并且因此包括不同的语义信息，从而使得对图像的编解码质量更好。

多级特征金字塔网络模型中的自下而上可以是指对图像进行下采样的编码过程，在这个过程中，图像的空间分辨率不断减小，同时也会对更多的上下文信息进行编码，这部分结构可以被称为编码器。多级特征金字塔网络模型中的自上而下可以是指是对图像进行上采样的解码过程，在这个过程中，图像的空间分辨率不断扩大，直到恢复到图像的原始尺寸，这部分结构可以被称为解码器。在编码器与解码器的每一个特征层之间有一个横向连接，用于把不同分辨率下编码器编码的空间信息传输到解码器进行解码。

在框204，计算设备111使用清晰度比较模型113，判定在框202中针对第二图像生成提升清晰度的第三图像与第一图像的清晰度是否相同。根据本公开的一个或多个实施例，框204是用于判断使用清晰度提升模型112针对模糊图像而恢复的清晰图像是否与初始的清晰图像相同。当清晰度比较模型113判定第三图像与第一图像的清晰度相同时，方法200前进到框206，当清晰度比较模型113判定第三图像与第一图像的清晰度不同时，方法200前进到框208。如前所述，清晰度提升模型112例如可以对应于生成对抗网络110中的生成部分，并且清晰度比较模型113例如可以对应于生成对抗网络110中的对抗部分。

根据本公开的一个或多个实施例，计算设备111使用清晰度比较模型113判定第三图像与第一图像的清晰度是否相同包括计算设备111使用清晰度比较模型113确定第三图像与第一图像的清晰度差别是否小于等于预定差别阈值，当第三图像与第一图像的清晰度差别小于等于预定差别阈值时，计算设备111判定第三图像与第一图像的清晰度相同，当第三图像与第一图像的清晰度差别大于预定差别阈值时，计算设备111判定第三图像与第一图像的清晰度不同。

根据本公开的一个或多个实施例，计算设备111使用清晰度比较模型113判定第三图像与第一图像的清晰度是否相同包括计算设备111采用相同的分割方式将第三图像与第一图像分割成多个部分，并且使用清晰度比较模型113判定分割出的对应的部分的清晰度是否相同。例如，相同的分割方式包括将第三图像与第一图像分割成大小相同的n×n或者n×m个部分，其中n和m均为自然数并且其中至少一个大于1。例如，清晰度比较模型113可以包括全局判别器和局部判别器，并且计算设备111可以使用清晰度比较模型113中的全局判别器判定第三图像与第一图像的清晰度整体上是否相同，并且可以使用清晰度比较模型113中的局部判别器判定第三图像与第一图像的清晰度局部上是否相同。因此，计算设备111可以使用清晰度比较模型113同时判定第三图像与第一图像的清晰度整体上和局部上是否相同，也可以单独判定第三图像与第一图像的清晰度整体上或者局部上是否相同。

在框206，计算设备111调整清晰度比较模型113的参数，使得使用经调整的清晰度比较模型113无法将第三图像与第一图像的清晰度判定为相同。根据本公开的一个或多个实施例，由于清晰度比较模型113可以对应于生成对抗网络110中的对抗部分，因此调整清晰度比较模型113的参数采取“对抗”的方式，以例如使得使用经调整的清晰度比较模型113无法将第三图像与第一图像的清晰度判定为相同。此外，如前所述，由于计算设备111可以通过使用清晰度比较模型113确定第三图像与第一图像的清晰度差别是否小于等于预定差别阈值来判定第三图像与第一图像的清晰度是否相同，因此清晰度比较模型113的参数可以包括预定差别阈值，并且计算设备111调整清晰度比较模型113的参数可以包括减小预定差别阈值，使得减小的预定差别阈值小于第三图像与第一图像的清晰度差别。

在框208，计算设备111调整清晰度提升模型112的参数，使得使用经调整的清晰度提升模型112针对第二图像生成的提升清晰度的第四图像与第一图像的清晰度差别比第三图像与第一图像的清晰度差别更小。根据本公开的一个或多个实施例，由于清晰度提升模型112可以对应于生成对抗网络110中的生成部分，因此调整清晰度提升模型112的参数采取“生成”的方式，以例如使得计算设备111使用经调整的清晰度提升模型112针对第二图像生成的提升清晰度的第四图像与第一图像的清晰度差别比第三图像与第一图像的清晰度差别更小。此外，如前所述，由于计算设备111可以通过使用清晰度比较模型113确定第三图像与第一图像的清晰度差别是否小于等于预定差别阈值来判定第三图像与第一图像的清晰度是否相同，因此计算设备111调整清晰度提升模型112的参数可以包括调整清晰度提升模型112的参数，使得计算设备111使用经调整的清晰度提升模型112针对第二图像生成的提升清晰度的第四图像与第一图像的清晰度差别小于预定差别阈值。

根据本公开的一个或多个实施例，由于清晰度提升模型112可以通过调整针对第二图像生成第三图像时的像素变化关系来使得生成的第三图像更加清晰，因此清晰度提升模型112的参数可以包括以下至少一项：在针对第二图像生成第三图像时的像素大小变化关系；以及在针对第二图像生成第三图像时的像素位置变化关系。此时，清晰度提升模型112可以通过调整在针对第二图像生成第三图像时的像素大小变化关系以及在针对第二图像生成第三图像时的像素位置变化关系中的至少一项，来使得使用经调整的清晰度提升模型112针对第二图像生成的提升清晰度的第四图像与第一图像的清晰度差别比第三图像与第一图像的清晰度差别更小。

根据本公开的一个或多个实施例，在对清晰度提升模型112进行训练时，还可以通过利用损失函数确定损失分数的方式来使完成训练的条件更为直观，其中清晰度损失分数可以用来指示两张图像之间的差别。此时，计算设备111调整清晰度提升模型112的参数，使得使用经调整的清晰度提升模型112针对第二图像生成的提升清晰度的第四图像与第一图像的清晰度差别比第三图像与第一图像的清晰度差别更小包括：计算设备111调整清晰度提升模型112的参数，使得使用损失函数，针对第四图像与第一图像确定的清晰度损失分数比针对第三图像与第一图像确定的清晰度损失分数更小。

根据本公开的一个或多个实施例，当由于第二图像通过对第一图像进行第一形式的模糊以得到第五图像并且而后对第五图像进行第二形式的模糊而被生成，因而计算设备111使用清晰度提升模型112，针对第二图像生成经第一形式的模糊的第六图像，并且针对第六图像生成第三图像时，计算设备111调整清晰度提升模型112的参数，使得使用经调整的清晰度提升模型112针对第二图像生成的提升清晰度的第四图像与第一图像的清晰度差别比第三图像与第一图像的清晰度差别更小包括：计算设备111使用损失函数，针对第六图像和第五图像确定第一清晰度损失分数；计算设备111使用损失函数，针对第三图像与第一图像确定第二清晰度损失分数；以及计算设备111调整清晰度提升模型112的参数，使得使用损失函数，针对使用经调整的清晰度提升模型112针对第二图像生成的经第一形式的模糊的第七图像和第五图像确定的第三清晰度损失分数与针对使用经调整的清晰度提升模型针对第七图像生成的提升清晰度的第八图像确定的第四清晰度损失分数的和比第一清晰度损失分数与第二清晰度损失分数的和更小。

换言之，以模糊图像是通过将清晰图像进行第一形式的模糊并且而后进行第二形式的模糊而得到的，而计算设备111使用清晰度提升模型112将模糊图像先通过去除第二形式的模糊而恢复成仅具有第一形式的模糊的图像，并且而后将仅具有第一形式的模糊的图像恢复成清晰图像为例，在计算设备111调整清晰度提升模型112的参数时，不仅要考虑使得由使用经调整的清晰度提升模型112针对模糊图像最终生成的清晰图像与原始清晰图像的清晰度损失分数，也要考虑将清晰图像进行第一形式的模糊所得到的图像与使用经调整的清晰度提升模型112通过去除第二形式的模糊而恢复成仅具有第一形式的模糊的图像的清晰度损失分数，并且要以使得这两个清晰度损失分数的和最小为目的来调整清晰度提升模型112的参数。

以上参考图1和图2描述了可以在其中实现本公开的某些实施例中的模型训练方法的模型训练环境100和根据本公开实施例的模型训练方法200的相关内容。应当理解，上述描述是为了更好地展示本公开中所记载的内容，而不是以任何方式进行限制。

应当理解，本公开的上述各个附图中所采用的各种元件的数目和物理量的大小仅为举例，而并不是对本公开的保护范围的限制。上述数目和大小可以根据需要而被任意设置，而不会对本公开的实施例的正常实施产生影响。

上文已经参考图1和图2描述了根据本公开的实施例的模型训练方法200的细节。在下文中，将参考图3描述模型训练装置中的各个模块。

图3是根据本公开实施例的模型训练装置300的示意性框图。如图3所示，模型训练装置300可以包括：生成模块310，被配置为使用清晰度提升模型，针对第二图像生成提升清晰度的第三图像，第二图像通过使第一图像模糊而被生成；判定模块320，被配置为使用清晰度比较模型，判定第三图像与第一图像的清晰度是否相同；第一参数调整模块330，被配置为如果判定结果为相同，则调整清晰度比较模型的参数，使得使用经调整的清晰度比较模型无法将清晰度判定为相同；以及第二参数调整模块340，被配置为如果判定结果为不同，则调整清晰度提升模型的参数，使得使用经调整的清晰度提升模型针对第二图像生成的提升清晰度的第四图像与第一图像的清晰度差别比第三图像与第一图像的清晰度差别更小。

在一个或多个实施例中，其中清晰度提升模型对应于生成对抗网络中的生成部分，并且清晰度比较模型对应于生成对抗网络中的对抗部分。

在一个或多个实施例中，其中清晰度提升模型包括多级特征金字塔网络模型，并且生成模块310包括：第一生成模块(未示出)，被配置为使用多级特征金字塔网络模型，通过对第二图像进行多次下采样并且进行相同次数的多次上采样来生成第三图像。

在一个或多个实施例中，其中判定模块320包括：确定模块(未示出)，被配置为确定第三图像与第一图像的清晰度差别是否小于等于预定差别阈值。

在一个或多个实施例中，其中清晰度比较模型的参数包括预定差别阈值，并且第一参数调整模块330包括：阈值减小模块(未示出)，被配置为减小预定差别阈值，使得减小的预定差别阈值小于第三图像与第一图像的清晰度差别。

在一个或多个实施例中，其中第二参数调整模块340包括：第三参数调整模块(未示出)，被配置为调整清晰度提升模型的参数，使得第四图像与第一图像的清晰度差别小于等于预定差别阈值。

在一个或多个实施例中，其中判定模块包括：分割模块(未示出)，被配置为采用相同的分割方式将第三图像与第一图像分割成多个部分；以及第一判定模块(未示出)，被配置为判定分割出的对应的部分的清晰度是否相同。

在一个或多个实施例中，其中清晰度提升模型的参数包括以下至少一项：在针对第二图像生成第三图像时的像素大小变化关系；以及在针对第二图像生成第三图像时的像素位置变化关系。

在一个或多个实施例中，其中第二参数调整模块340包括：第四参数调整模块(未示出)，被配置为调整清晰度提升模型的参数，使得使用损失函数，针对第四图像与第一图像确定的清晰度损失分数比针对第三图像与第一图像确定的清晰度损失分数更小。

在一个或多个实施例中，其中第二图像通过对第一图像进行第一形式的模糊以得到第五图像并且而后对第五图像进行第二形式的模糊而被生成，并且生成模块310包括：第二生成模块(未示出)，被配置为针对第二图像生成经第一形式的模糊的第六图像；以及第三生成模块(未示出)，被配置为针对第六图像生成第三图像。

在一个或多个实施例中，其中第二参数调整模块340包括：第一损失分数确定模块(未示出)，被配置为使用损失函数，针对第六图像和第五图像确定第一清晰度损失分数；第二损失分数确定模块(未示出)，被配置为使用损失函数，针对第三图像与第一图像确定第二清晰度损失分数；以及第五参数调整模块(未示出)，调整清晰度提升模型的参数，使得使用损失函数，针对使用经调整的清晰度提升模型针对第二图像生成的经第一形式的模糊的第七图像和第五图像确定的第三清晰度损失分数与针对使用经调整的清晰度提升模型针对第七图像生成的提升清晰度的第八图像确定的第四清晰度损失分数的和比第一清晰度损失分数与第二清晰度损失分数的和更小。

通过以上参考图1至图3的描述，根据本公开的实施例的技术方案相对于传统方案具有诸多优点。例如，本公开的实施例提供了一种采用基于生成对抗网络的多任务训练方法而被训练的用于图像的清晰度提升模型，该清晰度提升模型可以自适应地分辨图像的模糊类别，并且能够推理出模糊图像中的每个像素应该如何变化才会变得清晰，并且具有处理速度快、鲁棒性高、可应用于真实业务场景等特点，从而可以在保证图像分辨率不变的情况下、基于低清晰度图像来生成高清晰度图像，该清晰度提升不仅可以用于多种模糊类型，也可以处理存在多种模糊形式图像的清晰图提高。

根据本公开的实施例，本公开还提供了一种使用根据本公开的模型训练方法200而被训练的清晰度提升模型来针对输入图像生成提升清晰度的图像的图像清晰度分数提升方法、一种被配置为使用由根据本公开的模型训练装置300训练的清晰度提升模型来针对输入图像生成提升清晰度的图像的图像清晰度分数提升装置、一种电子设备、一种计算机可读存储介质和一种计算机程序产品。

图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。例如，如图1所示的计算设备111和如图4所示的模型训练装置300可以由电子设备400来实施。电子设备400旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图4所示，电子设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储电子设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

电子设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许电子设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如，方法200。例如，在一些实施例中，方法200可以被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到电子设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的方法200的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (26)

1.一种模型训练方法，包括：

使用清晰度提升模型，针对第二图像生成提升清晰度的第三图像，所述第二图像通过使第一图像模糊而被生成，其中所述第二图像是通过对所述第一图像进行第一形式的模糊以得到第五图像、并且而后对所述第五图像进行第二形式的模糊而被生成的，并且针对所述第二图像生成所述第三图像包括：

针对所述第二图像生成经所述第一形式的模糊的第六图像；以及

针对所述第六图像生成所述第三图像；

使用清晰度比较模型，判定所述第三图像与所述第一图像的清晰度是否相同；

如果判定结果为相同，则调整所述清晰度比较模型的参数，使得使用经调整的所述清晰度比较模型无法将所述清晰度判定为相同；以及

如果判定结果为不同，则调整所述清晰度提升模型的参数，使得使用经调整的所述清晰度提升模型针对所述第二图像生成的提升清晰度的第四图像与所述第一图像的清晰度差别比所述第三图像与所述第一图像的清晰度差别更小，其中调整所述清晰度提升模型的所述参数包括：

使用损失函数，针对所述第六图像和所述第五图像确定第一清晰度损失分数，其中清晰度损失分数表示两张图像之间的差别；

使用所述损失函数，针对所述第三图像与所述第一图像确定第二清晰度损失分数；以及

调整所述清晰度提升模型的所述参数，使得使用损失函数，针对使用经调整的所述清晰度提升模型针对所述第二图像生成的经所述第一形式的模糊的第七图像和所述第五图像确定的第三清晰度损失分数与针对使用经调整的所述清晰度提升模型针对所述第七图像生成的提升清晰度的第八图像确定的第四清晰度损失分数的和比所述第一清晰度损失分数与所述第二清晰度损失分数的和更小。

2.根据权利要求1所述的方法，其中所述清晰度提升模型对应于生成对抗网络中的生成部分，并且所述清晰度比较模型对应于所述生成对抗网络中的对抗部分。

3.根据权利要求1所述的方法，其中所述清晰度提升模型包括多级特征金字塔网络模型，并且生成所述第三图像包括：

使用所述多级特征金字塔网络模型，通过对所述第二图像进行多次下采样并且进行相同次数的多次上采样来生成所述第三图像。

4.根据权利要求1所述的方法，其中判定所述第三图像与所述第一图像的清晰度是否相同包括：

确定所述第三图像与所述第一图像的所述清晰度差别是否小于等于预定差别阈值。

5.根据权利要求4所述的方法，其中所述清晰度比较模型的所述参数包括所述预定差别阈值，并且调整所述清晰度比较模型的所述参数包括：

减小所述预定差别阈值，使得减小的所述预定差别阈值小于所述第三图像与所述第一图像的所述清晰度差别。

6.根据权利要求4所述的方法，其中调整所述清晰度提升模型的所述参数包括：

调整所述清晰度提升模型的参数，使得所述第四图像与所述第一图像的所述清晰度差别小于等于所述预定差别阈值。

7.根据权利要求1所述的方法，其中判定所述第三图像与所述第一图像的清晰度是否相同包括：

采用相同的分割方式将所述第三图像与所述第一图像分割成多个部分；以及

判定分割出的对应的部分的清晰度是否相同。

8.根据权利要求1所述的方法，其中所述清晰度提升模型的所述参数包括以下至少一项：

在针对所述第二图像生成所述第三图像时的像素大小变化关系；以及

在针对所述第二图像生成所述第三图像时的像素位置变化关系。

9.根据权利要求1所述的方法，其中调整所述清晰度提升模型的所述参数包括：

调整所述清晰度提升模型的所述参数，使得使用损失函数，针对所述第四图像与所述第一图像确定的清晰度损失分数比针对所述第三图像与所述第一图像确定的清晰度损失分数更小。

10.一种图像清晰度分数提升方法，包括使用根据权利要求1至9中的任一权利要求而被训练的清晰度提升模型，针对输入图像生成提升清晰度的图像。

11.根据权利要求10所述的方法，包括：

使用所述清晰度提升模型，确定所述输入图像的模糊形式。

12.一种模型训练装置，包括：

生成模块，被配置为使用清晰度提升模型，针对第二图像生成提升清晰度的第三图像，所述第二图像通过使第一图像模糊而被生成，其中所述第二图像是通过对所述第一图像进行第一形式的模糊以得到第五图像、并且而后对所述第五图像进行第二形式的模糊而被生成的，并且所述生成模块包括：

第二生成模块，被配置为针对所述第二图像生成经所述第一形式的模糊的第六图像；以及

第三生成模块，被配置为针对所述第六图像生成所述第三图像；判定模块，被配置为使用清晰度比较模型，判定所述第三图像与所述第一图像的清晰度是否相同；

第一参数调整模块，被配置为如果判定结果为相同，则调整所述清晰度比较模型的参数，使得使用经调整的所述清晰度比较模型无法将所述清晰度判定为相同；以及

第二参数调整模块，被配置为如果判定结果为不同，则调整所述清晰度提升模型的参数，使得使用经调整的所述清晰度提升模型针对所述第二图像生成的提升清晰度的第四图像与所述第一图像的清晰度差别比所述第三图像与所述第一图像的清晰度差别更小，其中所述第二参数调整模块包括：

第一损失分数确定模块，被配置为使用损失函数，针对所述第六图像和所述第五图像确定第一清晰度损失分数，其中清晰度损失分数表示两张图像之间的差别；

第二损失分数确定模块，被配置为使用所述损失函数，针对所述第三图像与所述第一图像确定第二清晰度损失分数；以及

第五参数调整模块，调整所述清晰度提升模型的所述参数，使得使用损失函数，针对使用经调整的所述清晰度提升模型针对所述第二图像生成的经所述第一形式的模糊的第七图像和所述第五图像确定的第三清晰度损失分数与针对使用经调整的所述清晰度提升模型针对所述第七图像生成的提升清晰度的第八图像确定的第四清晰度损失分数的和比所述第一清晰度损失分数与所述第二清晰度损失分数的和更小。

13.根据权利要求12所述的装置，其中所述清晰度提升模型对应于生成对抗网络中的生成部分，并且所述清晰度比较模型对应于所述生成对抗网络中的对抗部分。

14.根据权利要求12所述的装置，其中所述清晰度提升模型包括多级特征金字塔网络模型，并且所述生成模块包括：

第一生成模块，被配置为使用所述多级特征金字塔网络模型，通过对所述第二图像进行多次下采样并且进行相同次数的多次上采样来生成所述第三图像。

15.根据权利要求12所述的装置，其中所述判定模块包括：

确定模块，被配置为确定所述第三图像与所述第一图像的所述清晰度差别是否小于等于预定差别阈值。

16.根据权利要求15所述的装置，其中所述清晰度比较模型的所述参数包括所述预定差别阈值，并且所述第一参数调整模块包括：

阈值减小模块，被配置为减小所述预定差别阈值，使得减小的所述预定差别阈值小于所述第三图像与所述第一图像的所述清晰度差别。

17.根据权利要求15所述的装置，其中所述第二参数调整模块包括：

第三参数调整模块，被配置为调整所述清晰度提升模型的参数，使得所述第四图像与所述第一图像的所述清晰度差别小于等于所述预定差别阈值。

18.根据权利要求12所述的装置，其中所述判定模块包括：

分割模块，被配置为采用相同的分割方式将所述第三图像与所述第一图像分割成多个部分；以及

第一判定模块，被配置为判定分割出的对应的部分的清晰度是否相同。

19.根据权利要求12所述的装置，其中所述清晰度提升模型的所述参数包括以下至少一项：

在针对所述第二图像生成所述第三图像时的像素大小变化关系；以及

在针对所述第二图像生成所述第三图像时的像素位置变化关系。

20.根据权利要求12所述的装置，其中所述第二参数调整模块包括：

第四参数调整模块，被配置为调整所述清晰度提升模型的所述参数，使得使用损失函数，针对所述第四图像与所述第一图像确定的清晰度损失分数比针对所述第三图像与所述第一图像确定的清晰度损失分数更小。

21.一种图像清晰度分数提升装置，被配置为使用由根据权利要求12至20中的任一权利要求所述的模型训练装置训练的清晰度提升模型，针对输入图像生成提升清晰度的图像。

22.根据权利要求21所述的装置，还被配置为：

使用所述清晰度提升模型，确定所述输入图像的模糊形式。

23.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

24.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求10或11所述的方法。

25.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。

26.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求10或11所述的方法。