CN110189272A - 用于处理图像的方法、装置、设备和存储介质 - Google Patents

Abstract

本公开涉及用于处理图像的方法、装置、设备和存储介质。在一种处理图像的方法中，基于第一转换过程，将来自第一组图像的第一图像转换至第二图像，所述第二图像和所述第一图像具有不同图像质量。基于质量判断过程获取所述第二图像的质量等级，所述质量等级描述所述第二图像的图像质量的等级。基于真实度判断过程获取所述第二图像的真实度等级，所述真实度等级描述所述第二图像为真实图像的可能性。基于所述第二图像的所述质量等级和所述真实度等级，更新所述第一转换过程、所述质量判断过程和所述真实度判断过程。采用上述实现方式，可以以更为有效的方式确定用于转换图像的转换过程，并使得转换后的图像更为符合需求。

Description

用于处理图像的方法、装置、设备和存储介质

技术领域

本公开内容的实现方式概括地涉及图像领域，并且更具体地，涉及用于处理图像的方法、装置、设备和计算机存储介质。

背景技术

由于图像编码和压缩、缩小图像尺寸、拍摄对象在拍摄期间运动、相机抖动等原因，都可能导致图像模糊。期望提高模糊图像的清晰度，并使得原本模糊的图像呈现出更多细节。此时，如何以更为有效的方式来处理图像，成为一个技术难题。

发明内容

根据本公开内容的示例实现方式，提供了一种用于处理图像的方案。

在本公开内容的第一方面中，提供了一种处理图像的方法。在该方法中，基于第一转换过程，将来自第一组图像的第一图像转换至第二图像，所述第二图像和所述第一图像具有不同图像质量。基于质量判断过程获取所述第二图像的质量等级，所述质量等级描述所述第二图像的图像质量的等级。基于真实度判断过程获取所述第二图像的真实度等级，所述真实度等级描述所述第二图像为真实图像的可能性。基于所述第二图像的所述质量等级和所述真实度等级，更新所述第一转换过程、所述质量判断过程和所述真实度判断过程。。

在本公开内容的第二方面中，提供了一种处理图像的装置，包括：转换模块，配置用于基于第一转换过程，将来自第一组图像的第一图像转换至第二图像，第二图像和第一图像具有不同图像质量；质量获取模块，配置用于基于质量判断过程获取第二图像的质量等级，质量等级描述第二图像的图像质量的等级；真实度获取模块，配置用于基于真实度判断过程获取第二图像的真实度等级，真实度等级描述第二图像为真实图像的可能性；以及更新模块，配置用于基于第二图像的质量等级和真实度等级，更新第一转换过程、质量判断过程和真实度判断过程。

在本公开内容的第三方面中，提供了一种设备。该设备包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开内容的第一方面的方法。

在本公开内容的第四方面中，提供了一种其上存储有计算机程序的计算机可读介质，该程序在被处理器执行时实现根据本公开内容的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开内容的实现方式的关键或重要特征，亦非用于限制本公开内容的范围。本公开内容的其他特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开内容的各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示意性示出了用于基于模糊图像生成清晰图像的示例性过程的框图；

图2示意性示出了根据本公开内容的示例性实现方式的用于处理图像的技术方案的框图；

图3示意性示出了根据本公开内容的示例性实现方式的用于处理图像的方法的流程图；

图4示意性示出了根据本公开内容的示例性实现方式的用于更新第一转换过程的框图；

图5示意性示出了根据本公开内容的示例性实现方式的用于处理图像的方法的流程图；

图6示意性示出了根据本公开内容的示例性实现方式的用于更新第一转换过程和第二转换过程的框图；

图7示意性示出了根据本公开内容的示例性实现方式的用于更新第一转换过程和第二转换过程的框图；

图8示意性示出了根据本公开内容的示例性实现方式的用于处理图像的装置的框图；以及

图9示出了能够实施本公开内容的多个实现方式的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开内容的实现方式。虽然附图中显示了本公开内容的某些实现方式，然而应当理解的是，本公开内容可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实现方式，相反提供这些实现方式是为了更加透彻和完整地理解本公开内容。应当理解的是，本公开内容的附图及实现方式仅用于示例性作用，并非用于限制本公开内容的保护范围。

在本公开内容的实现方式的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实现方式”或“该实现方式”应当理解为“至少一个实现方式”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

将会理解，由于图像编码和压缩、缩小图像尺寸、拍摄对象在拍摄期间的运动、相机抖动等原因，都可能导致图像模糊。为了获得图像中的更多细节，期望能够开发出提高图像质量的技术方案。具体地，图1示意性示出了用于基于模糊图像生成清晰图像的示例性过程的框图100。图1中的图像110示出了模糊图像，期望可以基于图像处理技术来从模糊的图像110获得清晰的图像120。

目前已经提出了基于拉普拉斯滤波来提高图像质量的技术方案。然而，使用拉普拉斯滤波的效果并不理想，并且并不适合于各种类型的模糊图案。还提出了基于神经网络来提高图像清晰度的技术方案，然而采用神经网络技术，需要预先利用大量成对的模糊图像和清晰图像来训练神经网络。在实际情况下难以获取大量成对的训练样本。

为了至少部分地解决上述技术方案中的不足，根据本公开的示例性实现，提供了一种基于循环生成式对抗神经网络的技术方案。在该技术方案中，基于对抗神经网络模型来确定模糊图像和清晰图像之间的关联关系。具体地，提出的技术方案包括：用于改变图像质量的第一转换过程(表示为符号G)、用于改变图像质量的第二转换过程(表示为符号L)、清晰度判断模型(表示为符号D1)和真实度判模型(表示为符号D2)。利用本公开的示例性实现方式，并不需要成对的模糊图像和清晰图像。而是，仅需要提供分别包括模糊图像和清晰图像的两组图像来作为训练样本。

根据本公开的示例性实现方式，一组模糊图像和一组清晰图像中的各个图像的内容可以不是成对出现的。在此，模糊图像和清晰图像的内容可以是相同或者不同的。例如，模糊图像可以是从某个角度拍摄的人物的模糊图像，而清晰图像可以是从另一角度拍摄的人物的模糊图像。又例如，清晰图像可以是其他人物的图像，甚至可以是包括风景等其他内容的图像。将会理解，模糊图像和清晰图像中的内容的相似性越高，则提高图像质量的处理方法的精度将会越高。

图2示意性示出了根据本公开内容的示例性实现方式的用于处理图像的技术方案的框图200。如图2所示，可以获取第一组图像，该组图像包括具有特定图像质量的图像。例如，第一组图像可以包括模糊图像。备选地，第一组图像可以包括清晰图像。

可以建立第一转换过程230、质量判断过程232和真实度判断过程234。在此，第一转换过程230可以将图像110转换至与图像110具有不同图像质量的图像210。在第一组图像包括模糊图像的情况下，此时第一转换过程230是可以将模糊图像转换至清晰图像的转换过程。在第一组图像包括清晰图像的情况下，此时第一转换过程230是可以将清晰图像转换至模糊图像的转换过程。

质量判断过程232可以确定图像的图像质量的等级。根据本公开的示例性实现方式，可以采用不同方式来描述图像质量，例如，可以以0至1范围内的实数，来描述图像质量。备选地和/或附加地，还可以以0(模糊)和1(清晰)来描述图像质量。真实度判断过程234可以确定图像是否为真实图像，即，该图像是否是由相机拍摄的未经图像处理技术处理的图像。

如图2所示，可以分别基于质量判断过程232和真实度判断过程234来确定图像210的质量等级和真实度。继而，如箭头242和244所示，可以基于确定质量等级和真实度以及相对应的真值，构造损失函数并且更新第一转换过程230、质量判断过程232、真实度判断过程234。利用本公开的示例性实现方式，可以在不需要成对出现的样本图像的情况下，优化第一转换过程230。

进一步，类似于上文描述的过程，还可以获取第二组图像。在此的第二组图像可以包括与第一组图像具有不同图像质量的图像。在第一组图像包括模糊图像的情况下，第二组图像可以包括清晰图像；而在第一组图像包括清晰图像的情况下，第二组图像可以包括模糊图像。进一步，可以建立第二转换过程236，该第二转换过程236可以将图像转换至具有不同图像质量的图像。在此的第二转换过程236执行与第一转换过程相反的过程。在第一转换过程230将模糊图像转换为清晰图像的情况下，第二转换过程236将清晰图像转换为模糊图像；而在第一转换过程230将清晰图像转换为模糊图像的情况下，第二转换过程236将模糊图像转换为清晰图像。

将会理解，在此的第一组图像和第二组图像不必包括成对的模糊图像和清晰图像。而是，第一组图像和第二组图像可以包括不同对象的模糊图像和清晰图像。

在下文中，将参见图3详细描述有关本公开的示意性实现的更多细节。图3示意性示出了根据本公开内容的示例性实现方式的用于处理图像的方法300的流程图。为了更清楚地描述本公开的各个实施方式，在下文中将以提高图像质量的转换过程作为第一转换过程230的具体示例。根据本公开的示例性实现方式，第一转换过程230还可以是降低图像质量的转换过程。

在框310处，可以基于第一转换过程230，将来自第一组图像的第一图像转换至第二图像，第二图像与第一图像具有不同图像质量。将会理解，在此的第一转换过程230可以利用基于机器学习技术建立的第一转换模型来执行转换。可以采用目前已经开发的或者将在未来开发的各种机器学习技术来实现第一转换过程230。根据本公开的示例性实现方式，第一转换过程230使用的第一转换模型可以是已经初步训练的用于提高图像质量的转换模型。备选地和/或附加地，该第一转换模型230可以是待训练的转换模型，并且可以使用根据本公开的示例性实现方式的方法来更新该第一转换模型的参数。

在框320处，可以基于质量判断过程232获取第二图像的质量等级，在此的质量等级描述第二图像的图像质量的等级。在此实现方式中，可以根据具体需求来定义质量等级的具体度量。例如，可以分别使用0(模糊)和1(清晰)来描述图像质量。备选地，还可以使用其他的离散值或者连续值来描述图像质量。

根据本公开的示例性实现方式，可以使用机器学习技术来实现质量判断过程232。例如，可以基于一组样本图像训练质量模型以供质量判断过程232使用。在此的质量模型可以描述一组样本图像中的样本图像与样本图像的图像质量之间的关联关系。在此的质量模型可以是初步训练的模型，具体地，可以使用一组样本图像来训练质量模型。备选地，该质量模型还可以是待训练的模型，并且可以使用根据本公开的示例性实现方式的方法来进行训练。质量判断过程232可以包括质量模型，并使得当质量判断模型232在接收到某个图像时，可以输出该图像的质量等级。

在框330处，可以基于真实度判断过程234获取第二图像的真实度等级，在此的真实度等级描述第二图像为真实图像的可能性。在此实现方式中，可以根据具体需求来定义真实度的具体度量。例如，可以分别使用0(假)和1(真)来表示经过图像处理的非原始图像和未经图像处理的原始图像。备选地，还可以使用其他的离散值或者连续值来描述图像真实度。根据本公开的示例性实现方式，可以使用0至1之间的数值来表示真实度，此时，0.8可以表示图像是原始图像的概率为80％。

根据本公开的示例性实现方式，可以使用机器学习技术来实现真实度判断过程234。例如，可以基于一组样本图像训练真实度模型以供真实度判断过程234使用。在此的真实度模型可以描述一组样本图像中的样本图像与样本图像的图像真实度之间的关联关系。在此的真实度模型可以是初步训练的模型，具体地，可以使用一组样本图像来训练真实度模型。备选地，该真实度模型还可以是待训练的模型，并且可以使用根据本公开的示例性实现方式的方法来进行训练。真实度判断过程234可以包括真实度模型，并使得当真实度判断模型在接收到某个图像时，可以输出该图像的是未经处理的真实原始的等级。

在框340处，可以基于第二图像的质量等级和真实度等级，更新第一转换过程230、质量判断过程232和真实度判断过程234。在此实现方式中，可以基于获取的第二图像的质量等级和真实度等级与相应的真值，来更新第一转换过程230、质量判断过程232和真实度判断过程234。具体地，可以基于获取的第二图像的质量等级和真实度等级与相应的真值之间的比较来生成描述第一转换过程230、质量判断过程232和真实度判断过程234的性能的第一损失函数。继而，可以基于第一损失函数，利用梯度下降算法更新第一转换过程230、质量判断过程232和真实度判断过程234。

根据本公开的示例性实现方式，可以采用现有技术已经开发的或者将在未来开发的各种训练方法，来生成损失函数以及基于损失函数来更新第一转换过程230、质量判断过程232和真实度判断过程234中所涉及的第一转换模型、质量模型、真实度模型中的相应参数。采用上文描述的过程，可以在不需要成对的训练样本的情况下，提高转换模型的准确性。

图4示意性示出了根据本公开内容的示例性实现方式的用于更新第一转换过程的框图400。如图4所示，可以从第一组图像中选择第一图像(X)410，并且可以针对第一图像410来执行第一转换过程(G)。以此方式，即可生成第二图像(G(X))420。接着，可以针对第二图像420来分别执行质量判断过程232和真实度判断过程234，以获取第二图像420的质量等级和真实度。进而，如箭头422和424所示，可以基于获得的质量等级和真实度来更新第一转换过程(G)230、质量判断过程(D1)232和真实度判断过程(D2)234。

将会理解，由于在图3和图4描述的方法中并不需要使用成对的训练样本，这可能会导致转换模型输出的图像中的内容与输入图像中的内容出现不一致。例如，可能会出现输入图像包括模糊建筑图像，而输出图像包括清楚人物图像的情况。此时，还需要比较输出图像中的内容与输入图像中的内容之间的相似性。

图5示意性示出了根据本公开内容的示例性实现方式的用于处理图像的方法500的流程图。在已经执行了如图3所示的方法300之后，还可以针对第二图像420执行第二转换过程236以生成第三图像。继而，可以基于第一图像和第三图像之间的差异来更新转换过程期间使用的各个模型。

如图5所示，在框510处，可以基于第二转换过程，将第二图像420转换至第三图像，第三图像与第二图像具有不同图像质量，第三图像和第一图像具有相同的图像质量。继续上文参见图3描述的示例，在此的第二转换过程236可以是降低图像质量的转换过程。此时，整个转换过程涉及两次转换：经由第一转换过程230将具有较低图像质量的第一图像转换至具有较高图像质量的第二图像，以及经由第二转换过程236将具有较高图像质量的第二图像转换至具有较低图像质量的第三图像。

将会理解，在此的第二转换过程236可以基于机器学习技术建立的第二转换模型来执行转换。可以采用目前已经开发的或者将在未来开发的各种机器学习技术来实现第二转换过程236。根据本公开的示例性实现方式，第二转换过程236使用的第二转换模型可以是已经初步训练的用于降低图像质量的转换模型。备选地和/或附加地，该第二转换模型可以是待训练的转换模型，并且可以使用根据本公开的示例性实现方式的方法来更新该第二转换模型的参数。

在框520处，可以确定第一图像410和第三图像之间的第一差异。将会理解，在此可以以多种方式来衡量两个图像之间的差异。例如，可以基于两个图像之间的相对应的像素之间的颜色差异来确定该差异。例如，可以基于相对应的像素点的数值的均方差距离来确定差异。又例如，可以基于两个图像中包括的对象的类型来确定该差异，还可以基于两个图像相关的亮度、对比度、饱和度等来确定该差异。可以基于一个或多个或者多个方面来确定两个图像之间的差异。差异越大，则表示第一转换过程230和第二转换过程236对于图像引入的不期望因素越多，因而需要尽量消除这些不期望因素。

在框530处，可以分别基于质量判断过程232和真实度判断过程234，获取第三图像的质量等级和真实度等级。可以使用类似于图3中的框320和330处所示的方式来确定质量等级和真实度等级，因而不再赘述。

在框540处，可以基于第一差异、第三图像的质量等级和真实度等级，更新第二转换过程、质量判断过程和真实度判断过程。在此实现方式中，可以基于第一差异、获取的第三图像的质量等级和真实度等级与相应的真值，来更新第二转换过程、质量判断过程和真实度判断过程。具体地，可以基于第一差异、获取的第三图像的质量等级和真实度等级与相应的真值之间的比较来生成描述第二转换过程、质量判断过程和真实度判断过程的性能的第二损失函数。继而，可以基于第二损失函数，利用梯度下降算法更新第二转换过程、质量判断过程和真实度判断过程。

根据本公开的示例性实现方式，可以采用现有技术已经开发的或者将在未来开发的各种训练方法，来生成第二损失函数以及基于第二损失函数来更新第第二转换过程236、质量判断过程232和真实度判断过程234中所涉及的第二转换模型、质量模型、真实度模型中的相应参数。采用上文描述的过程，可以在不需要成对的训练样本的情况下，使得第一图像在经历了第一转换过程和第二转换过程之后获得的第三图像与第一图像具有较高的相似性，进而提高转换模型的准确性。

在下文中，将参见图6详细描述更新两个转换过程的更多细节。图6示意性示出了根据本公开内容的示例性实现方式的用于更新第一转换过程230和第二转换过程236的框图600。如图6所示，在此的第一图像(X)410是来自第一组图像的具有较低图像质量的图像，可以针对第一图像(X)410执行第一转换过程(G)230以生成第二图像(G(X))420。继而，可以分别针对第二图像(G(X))420执行质量判断过程(D1)232和真实度判断过程(D2)234以获得第二图像420的质量等级和真实度等级。进一步，可以经由箭头422和424所示，基于获得的质量等级和真实度等级来更新第一转换过程(G)230、质量判断过程(D1)232、真实度判断过程(D2)234。

继而，可以针对第二图像(G(X))420执行上文参见图5描述的方法500。例如，可以针对第二图像(G(X))420执行第二转换过程(L)236，以获得第三图像(L(G(X)))610。该第二转换过程(L)236可以是将具有较高图像质量的图像转换为具有较低图像质量的过程。可以比较第一图像(X)410和第三图像(L(G(X)))610，以确定两者之间的第一差异(L(G(X))-X)620。例如，可以基于两个图像的相对应的像素点的数值的均方差距离来确定第一差异620。备选地和/或附加地，还可以基于其他方式来确定第一差异620。

进一步，如箭头622、624和626所示，可以分别基于第一差异620、第三图像610的质量等级和真实度等级来确定第二损失函数，并且按照梯度下降的方向来更新第二转换过程(L)236所涉及的第二转换模型。

利用本公开的示例性实现方式，可以基于第一转换过程230提高第一图像410的图像质量以生成第二图像420。通过使用质量判断过程232和真实度判断过程234对于第二图像420进行处理，可以确定第二图像420的质量等级和真实度等级。利用确定的质量等级和真实度等级，可以朝向使得第一转换过程230具有更高性能的方向，来更新第一转换过程230。换言之，更新后的第一转换过程230输出的图像将具有更高质量和更高真实度。

利用本公开的示例性实现方式，可以基于第二转换过程236来降低图像质量以生成第三图像610，还可以确定第一图像410和第三图像610之间的第一差异。利用第一差异620、第三图像610的质量等级和真实度等级，可以朝向使得第二转换过程236具有更高性能的方向，来更新第二转换模型。换言之，更新后的第二转换过程236输出的图像将具有更高质量和更高真实度，并且与原始输入的图像之间的差异尽可能小。

尽管在上文中仅示意性示出了将模糊图像作为输入并且朝向提高图像质量的方向来描述本公开的具体细节，还可以将清晰图像作为输入并且朝向降低图像质量的方向来执行上文描述的方法。例如，第一图像410可以是清晰图像，第一转换过程230可以是用于降低图像质量的转换过程，并且第二转换过程236可以是用于提高图像质量的过程。此时，可以按照与上文描述的过程相反的方向来针对输入图像执行处理。在下文中，将参见图7描述更多细节。

图7示意性示出了根据本公开内容的示例性实现方式的用于更新第一转换过程230和第二转换过程236的框图700。如图7所示，操作可以开始于从第二组图像中选择第四图像(Y)710。例如，第四图像(Y)710可以是从第二组图像中选择的具有较高图像质量的图像，可以针对第四图像(Y)710执行第二转换过程(L)236以生成第五图像(L(Y))720。继而，可以分别针对第五图像(L(Y))720执行质量判断过程(D1)232和真实度判断过程(D2)234以获得第五图像720的质量等级和真实度等级。进一步，可以经由箭头722和724所示，基于获得的质量等级和真实度等级来更新第二转换过程(L)236、质量判断过程(D1)232、真实度判断过程(D2)234。在此操作流程中，可以更新第二转换过程236。

可以针对第五图像(L(Y))720执行第一转换过程(G)230，以获得第六图像(G(L(Y)))730。该第一转换过程(G)230可以是将具有较低图像质量的图像转换为具有较高图像质量的过程。可以比较第四图像(Y)710和第六图像(G(L(Y)))730，以确定两者之间的第二差异(G(L(Y))-Y)740。例如，可以基于两个图像的相对应的像素点的数值的均方差距离来确定第二差异740。备选地和/或附加地，还可以基于其他方式来确定第二差异740。

进一步，如箭头742、744和746所示，可以分别基于第二差异740、第六图像730的质量等级和真实度等级来确定损失函数，并且按照梯度下降的方向来更新第一转换过程(G)230所涉及的第一转换模型。

根据本公开的示例性实现方式，可以在已经执行了图6所示的操作流程之后执行图7所示的操作流程。根据本公开的示例性实现方式，可以并行地执行图6所示的操作流程和图7所示的操作流程。根据本公开的示例性实现方式，还可以首先执行图7所示的操作流程，继而执行图6所示的操作流程。利用本公开的示例性实现方式，可以分别基于模糊图像和清晰图像，从两个方向来训练在第一转换过程230和第二转换过程236中使用的第一转换模型和第二转换模型。以此方式，可以在不使用成对的模糊图像和清晰图像的情况下，提高转换模型的性能。

根据本公开的示例性实现方式，第一转换过程230是图像质量提高过程和图像质量降低过程中的任一项，并且第二转换过程232是图像质量提高过程和图像质量降低过程中的另一项。将会理解，尽管在上文的过程中涉及了四个过程：第一转换过程(G)230、第二转换过程(L)232、质量判断过程(D1)232和真实度判断过程(D2)234，可以根据具体训练目的而选择使用哪个过程来执行后续的处理。例如，当期望提高图像质量时，则可以选择用于提高图像质量的第一转换过程(G)230来执行后续操作。当期望降低图像质量时，则可以选择用于降低图像质量的第二转换过程(L)232来执行后续操作。

根据本公开的示例性实现方式，可以获取待处理的模糊图像。进而，可以基于采用上文描述的方法获取的第一转换过程230，处理模糊图像以生成清晰图像。根据本公开的示例性实现方式，可以获取待处理的清晰图像。进而，可以基于采用上文描述的方法获取的第第二转换过程232，处理清晰图像以生成模糊图像。

根据本公开的示例性实现方式，还可以针对视频中的各个图像帧进行处理。例如，可以输入具有较低图像质量的视频，并针对该视频中的每个帧进行处理以生成具有较高图像质量的视频。又例如，可以输入具有较高图像质量的视频，并针对该视频中的每个帧进行处理以生成具有较低图像质量的视频。

在上文中已经详细描述了处理图像的多个实现方式。根据本公开的示例性实现方式，还提供了用于处理的装置。在下文中，将参见图8详细描述。图8示意性示出了根据本公开内容的示例性实现方式的用于处理图像的装置800的框图。如图8所示，该装置800包括：转换模块810，配置用于基于第一转换过程，将来自第一组图像的第一图像转换至第二图像，第二图像和第一图像具有不同图像质量；质量获取模块820，配置用于基于质量判断过程获取第二图像的质量等级，质量等级描述第二图像的图像质量的等级；真实度获取模块830，配置用于基于真实度判断过程获取第二图像的真实度等级，真实度等级描述第二图像为真实图像的可能性；以及更新模块840，配置用于基于第二图像的质量等级和真实度等级，更新第一转换过程、质量判断过程和真实度判断过程。

根据本公开的示例性实现方式，更新模块840包括：损失生成模块，配置用于基于第二图像的质量等级和真实度等级，生成描述第一转换过程、质量判断过程和真实度判断过程的性能的第一损失函数；以及梯度模块，配置用于基于第一损失函数，利用梯度下降算法更新第一转换过程、质量判断过程和真实度判断过程。

根据本公开的示例性实现方式，进一步包括：质量训练模块，配置用于基于一组样本图像训练质量判断过程，使得质量判断过程描述一组样本图像中的样本图像与样本图像的图像质量之间的关联关系。

根据本公开的示例性实现方式，进一步包括：真实度训练模块，配置用于基于一组样本图像训练真实度判断过程，使得真实度判断过程描述一组样本图像中的样本图像与样本图像的真实度之间的关联关系。

根据本公开的示例性实现方式，进一步包括：差异确定模块，配置用于确定第一图像和第三图像之间的第一差异。

根据本公开的示例性实现方式，转换模块810进一步配置用于基于第二转换过程，将第二图像转换至第三图像，第三图像和第二图像具有不同图像质量，第三图像和第一图像具有相同的图像质量。

根据本公开的示例性实现方式，质量获取模块820进一步配置用于基于质量判断过程，获取第三图像的质量等级。

根据本公开的示例性实现方式，真实度获取模块840进一步配置用于基于真实度判断过程，获取第三图像的真实度等级。

根据本公开的示例性实现方式，更新模块840进一步配置用于基于第一差异、第三图像的质量等级和真实度等级，更新第二转换过程、质量判断过程和真实度判断过程。

根据本公开的示例性实现方式，损失生成模块进一步配置用于基于第一差异、第三图像的质量等级和真实度等级，生成描述第二转换过程、质量判断过程和真实度判断过程的性能的第二损失函数；以及梯度模块进一步配置用于基于第二损失函数，利用梯度下降算法更新第二转换过程、质量判断过程和真实度判断过程。

根据本公开的示例性实现方式，转换模块810进一步配置用于基于第二转换过程，将来自第二组图像的第四图像转换至第五图像，第五图像和第四图像具有不同图像质量。

根据本公开的示例性实现方式，质量获取模块820进一步配置用于基于质量判断过程获取第四图像的质量等级。

根据本公开的示例性实现方式，真实度获取模块830进一步配置用于基于真实度判断过程获取第四图像真实度等级。

根据本公开的示例性实现方式，更新模块840进一步配置用于基于第四图像的质量等级和真实度等级，更新第二转换过程、质量判断过程和真实度判断过程。

根据本公开的示例性实现方式，转换模块810进一步配置用于基于第一转换过程，将第五图像转换至第六图像，第六图像和第五图像具有不同图像质量，第六图像和第四图像具有相同的图像质量。

根据本公开的示例性实现方式，差异确定模块进一步配置用于确定第四图像和第六图像之间的第二差异。

根据本公开的示例性实现方式，质量获取模块820进一步配置用于基于质量判断过程获取第六图像的质量等级。

根据本公开的示例性实现方式，真实度获取模块830进一步配置用于基于真实度判断过程，获取第六图像的真实度等级。

根据本公开的示例性实现方式，更新模块840进一步配置用于基于第二差异、第六图像的质量等级和真实度等级，更新第一转换过程、质量判断过程和真实度判断过程。

根据本公开的示例性实现方式，第一转换过程是图像质量提高过程和图像质量降低过程中的任一项，以及第二转换过程是图像质量提高过程和图像质量降低过程中的另一项。

根据本公开的示例性实现方式，第一转换过程是图像质量提高过程，第二转换过程是所述图像质量降低过程，以及所述装置800进一步包括：图像获取模块，配置用于获取待处理的模糊图像；以及处理模块，配置用于基于更新的所述第一转换过程，处理所述模糊图像以生成清晰图像。

图9示出了能够实施本公开内容的多个实现方式的计算设备900的框图。设备900可以用于实现图4描述的方法。如图所示，设备900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的计算机程序指令或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序指令，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元901执行上文所描述的各个方法和处理，例如方法300和500。例如，在一些实现方式中，方法300和500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实现方式中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由CPU901执行时，可以执行上文描述的方法300和600的一个或多个步骤。备选地，在其他实现方式中，CPU 901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法300和500。

根据本公开内容的示例性实现方式，提供了一种其上存储有计算机程序的计算机可读存储介质。程序被处理器执行时实现本公开所描述的方法。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开内容的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开内容的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开内容的范围的限制。在单独的实现方式的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (22)

1.一种用于处理图像的方法，包括：

基于第一转换过程，将来自第一组图像的第一图像转换至第二图像，所述第二图像和所述第一图像具有不同图像质量；

基于质量判断过程获取所述第二图像的质量等级，所述质量等级描述所述第二图像的图像质量的等级；

基于真实度判断过程获取所述第二图像的真实度等级，所述真实度等级描述所述第二图像为真实图像的可能性；以及

基于所述第二图像的所述质量等级和所述真实度等级，更新所述第一转换过程、所述质量判断过程和所述真实度判断过程。

2.根据权利要求1所述的方法，其中基于所述第二图像的所述质量等级和所述真实度等级，更新所述第一转换过程、所述质量判断过程和所述真实度判断过程包括：

基于所述第二图像的所述质量等级和所述真实度等级，生成描述所述第一转换过程、所述质量判断过程和所述真实度判断过程的性能的第一损失函数；以及

基于所述第一损失函数，利用梯度下降算法更新所述第一转换过程、所述质量判断过程和所述真实度判断过程。

3.根据权利要求1所述的方法，进一步包括：

基于一组样本图像训练所述质量判断过程，使得所述质量判断过程描述所述一组样本图像中的样本图像与所述样本图像的图像质量之间的关联关系。

4.根据权利要求1所述的方法，进一步包括：

基于一组样本图像训练所述真实度判断过程，使得所述真实度判断过程描述所述一组样本图像中的样本图像与所述样本图像的真实度之间的关联关系。

5.根据权利要求2所述的方法，进一步包括：

基于第二转换过程，将所述第二图像转换至第三图像，所述第三图像和所述第二图像具有不同图像质量，所述第三图像和所述第一图像具有相同的图像质量；

确定所述第一图像和所述第三图像之间的第一差异；

分别基于所述质量判断过程和所述真实度判断过程，获取所述第三图像的质量等级和真实度等级；以及

基于所述第一差异、所述第三图像的所述质量等级和所述真实度等级，更新所述第二转换过程、所述质量判断过程和所述真实度判断过程。

6.根据权利要求5所述的方法，其中基于所述第一差异、所述第三图像的所述质量等级和所述真实度等级，更新所述第二转换过程、所述质量判断过程和所述真实度判断过程包括：

基于所述第一差异、所述第三图像的所述质量等级和所述真实度等级，生成描述所述第二转换过程、所述质量判断过程和所述真实度判断过程的性能的第二损失函数；以及

基于所述第二损失函数，利用所述梯度下降算法更新所述第二转换过程、所述质量判断过程和所述真实度判断过程。

7.根据权利要求5所述的方法，进一步包括：

基于所述第二转换过程，将来自第二组图像的第四图像转换至第五图像，所述第五图像和所述第四图像具有不同图像质量；

分别基于所述质量判断过程和所述真实度判断过程获取所述第四图像的质量等级和真实度等级；以及

基于所述第四图像的所述质量等级和所述真实度等级，更新所述第二转换过程、所述质量判断过程和所述真实度判断过程。

8.根据权利要求7所述的方法，进一步包括：

基于所述第一转换过程，将所述第五图像转换至第六图像，所述第六图像和所述第五图像具有不同图像质量，所述第六图像和所述第四图像具有相同的图像质量；

确定所述第四图像和所述第六图像之间的第二差异；

分别基于所述质量判断过程和所述真实度判断过程，获取所述第六图像的质量等级和真实度等级；以及

基于所述第二差异、第六图像的所述质量等级和所述真实度等级，更新所述第一转换过程、所述质量判断过程和所述真实度判断过程。

9.根据权利要求5所述的方法，其中所述第一转换过程是图像质量提高过程和图像质量降低过程中的任一项，以及所述第二转换过程是所述图像质量提高过程和所述图像质量降低过程中的另一项。

10.根据权利要求9所述的方法，其中所述第一转换过程是图像质量提高过程，所述第二转换过程是所述图像质量降低过程，以及所述方法进一步包括：

获取待处理的模糊图像；以及

基于更新的所述第一转换过程，处理所述模糊图像以生成清晰图像。

11.一种用于处理图像的装置，包括：

转换模块，配置用于基于第一转换过程，将来自第一组图像的第一图像转换至第二图像，所述第二图像和所述第一图像具有不同图像质量；

质量获取模块，配置用于基于质量判断过程获取所述第二图像的质量等级，所述质量等级描述所述第二图像的图像质量的等级；

真实度获取模块，配置用于基于真实度判断过程获取所述第二图像的真实度等级，所述真实度等级描述所述第二图像为真实图像的可能性；以及

更新模块，配置用于基于所述第二图像的所述质量等级和所述真实度等级，更新所述第一转换过程、所述质量判断过程和所述真实度判断过程。

12.根据权利要求11所述的装置，其中所述更新模块包括：

损失生成模块，配置用于基于所述第二图像的所述质量等级和所述真实度等级，生成描述所述第一转换过程、所述质量判断过程和所述真实度判断过程的性能的第一损失函数；以及

梯度模块，配置用于基于所述第一损失函数，利用梯度下降算法更新所述第一转换过程、所述质量判断过程和所述真实度判断过程。

13.根据权利要求11所述的装置，进一步包括：

质量训练模块，配置用于基于一组样本图像训练所述质量判断过程，使得所述质量判断过程描述所述一组样本图像中的样本图像与所述样本图像的图像质量之间的关联关系。

14.根据权利要求11所述的装置，进一步包括：

真实度训练模块，配置用于基于一组样本图像训练所述真实度判断过程，使得所述真实度判断过程描述所述一组样本图像中的样本图像与所述样本图像的真实度之间的关联关系。

15.根据权利要求12所述的装置，进一步包括：差异确定模块，配置用于确定所述第一图像和所述第三图像之间的第一差异；

其中：

所述转换模块进一步配置用于基于第二转换过程，将所述第二图像转换至第三图像，所述第三图像和所述第二图像具有不同图像质量，所述第三图像和所述第一图像具有相同的图像质量；

所述质量获取模块进一步配置用于基于所述质量判断过程，获取所述第三图像的质量等级；

所述真实度获取模块进一步配置用于基于所述真实度判断过程，获取所述第三图像的真实度等级；以及

所述更新模块进一步配置用于基于所述第一差异、所述第三图像的所述质量等级和所述真实度等级，更新所述第二转换过程、所述质量判断过程和所述真实度判断过程。

16.根据权利要求15所述的装置，其中：

所述损失生成模块进一步配置用于基于所述第一差异、所述第三图像的所述质量等级和所述真实度等级，生成描述所述第二转换过程、所述质量判断过程和所述真实度判断过程的性能的第二损失函数；以及

所述梯度模块进一步配置用于基于所述第二损失函数，利用所述梯度下降算法更新所述第二转换过程、所述质量判断过程和所述真实度判断过程。

17.根据权利要求15所述的装置，其中：

所述转换模块进一步配置用于基于所述第二转换过程，将来自第二组图像的第四图像转换至第五图像，所述第五图像和所述第四图像具有不同图像质量；

所述质量获取模块进一步配置用于基于所述质量判断过程获取所述第四图像的质量等级；

所述真实度获取模块进一步配置用于基于所述真实度判断过程获取所述第四图像真实度等级；以及

所述更新模块进一步配置用于基于所述第四图像的所述质量等级和所述真实度等级，更新所述第二转换过程、所述质量判断过程和所述真实度判断过程。

18.根据权利要求17所述的装置，其中：

所述转换模块进一步配置用于基于所述第一转换过程，将所述第五图像转换至第六图像，所述第六图像和所述第五图像具有不同图像质量，所述第六图像和所述第四图像具有相同的图像质量；

所述差异确定模块进一步配置用于确定所述第四图像和所述第六图像之间的第二差异；

所述质量获取模块进一步配置用于基于所述质量判断过程获取所述第六图像的质量等级；

所述真实度获取模块进一步配置用于基于所述真实度判断过程，获取所述第六图像的真实度等级；以及

所述更新模块进一步配置用于基于所述第二差异、第六图像的所述质量等级和所述真实度等级，更新所述第一转换过程、所述质量判断过程和所述真实度判断过程。

19.根据权利要求15所述的装置，其中所述第一转换过程是图像质量提高过程和图像质量降低过程中的任一项，以及所述第二转换过程是所述图像质量提高过程和所述图像质量降低过程中的另一项。

20.根据权利要求19所述的装置，其中所述第一转换过程是图像质量提高过程，所述第二转换过程是所述图像质量降低过程，以及所述装置进一步包括：

图像获取模块，配置用于获取待处理的模糊图像；以及

处理模块，配置用于基于更新的所述第一转换过程，处理所述模糊图像以生成清晰图像。

21.一种处理图像的设备，所述设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1-10中任一项所述的方法。

22.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-10中任一项所述的方法。