CN116309151A - 图片去压缩失真网络的参数生成方法、装置和存储介质 - Google Patents

Abstract

本申请实施例公开了一种图片去压缩失真网络的参数生成方法、装置和存储介质，包括：通过图片降质处理获得第一样本图片的第二样本图片；通过梯度计算获得第二样本图片的第一梯度图片，并通过图片去压缩失真处理的第一网络获得第二梯度图片；通过图片去压缩失真处理的第二网络，获得第一自回归图片；通过梯度计算获得第一样本图片的第三梯度图片以及第一自回归图片的第四梯度图片；获取第二网络的多个梯度损失函数，基于第一样本图片、第一自回归图片、第二梯度图片、第三梯度图片以及第四梯度图片生成第二网络的第一损失函数，并基于多个梯度损失函数和第一损失函数更新第二网络的损失函数。本申请可以有效减小图片压缩失真，提高图片处理的效率。

Description

图片去压缩失真网络的参数生成方法、装置和存储介质

技术领域

本申请涉及图片处理技术领域，尤其涉及一种图片去压缩失真网络的参数生成方法、装置和存储介质。

背景技术

随着信息技术进步，人类社会正式进入互联网时代。人们可以通过互联网获得各式各样的多媒体资源，同时随着多媒体大数据的广泛应用，多媒体资源产品是目前最炙手可热的互联网产品。然而，多媒体资源在传播过程中会因为各种原因导致多媒体资源出现失真，甚至损坏的情况。随着5g技术的发展，人们对于高质量的多媒体资源的需求越来越大。如何满足人们对高质量图片的需求以及如何获取高质量图片也成为当前亟待解决的技术问题之一。

发明内容

本申请实施例提供一种图片去压缩失真网络的参数生成方法、装置和存储介质，可以有效减小图片压缩失真，提高图片处理的效率，适用性强。

第一方面，本申请实施例提供了一种图片去压缩失真网络的参数生成方法，该方法包括：

获取第一样本图片，通过图片降质处理获得上述第一样本图片对应的第二样本图片；

通过梯度计算获得上述第二样本图片对应的第一梯度图片，并将上述第一梯度图片输入图片去压缩失真处理的第一网络，通过上述第一网络获得上述第一梯度图片关联的第二梯度图片；

将上述第二样本图片输入图片去压缩失真处理的第二网络，通过上述第二网络获得第二样本图片关联的第一自回归图片；

通过梯度计算获得上述第一样本图片对应的第三梯度图片，并通过梯度计算获得上述第一自回归图片对应的第四梯度图片；

基于上述第一网络中的多个梯度模块与上述第二网络中的多个梯度模块输出的梯度信息获取上述第二网络的多个梯度损失函数，基于上述第一样本图片、上述第一自回归图片、上述第二梯度图片、上述第三梯度图片以及上述第四梯度图片生成上述第二网络的第一损失函数，并基于上述多个梯度损失函数和上述第一损失函数生成上述第二网络的第二损失函数并更新上述第二网络的损失函数为上述第二损失函数。

在一种可能的实现方式中，上述第一网络包括第一输入模块、多个第一梯度模块以及第一输出模块；上述通过上述第一网络获得上述第一梯度图片关联的第二梯度图片，包括：

通过上述第一网络中包括的第一输入模块对上述第一梯度图片进行图片特征提取，以生成上述第一梯度图片的第一图片特征；

通过上述第一网络中包括的多个第一梯度模块对上述第一图片特征进行梯度信息提取，以生成上述第一梯度图片关联的多个第一梯度信息；

通过上述第一输出模块基于上述第一图片特征和上述多个第一梯度信息，生成上述第一梯度图片对应的第二梯度图片。

在一种可能的实现方式中，上述第二网络包括第二输入模块、多个第二梯度模块以及第二输出模块；上述通过上述第二网络获得第二样本图片关联的第一自回归图片，包括：

通过上述第二网络中包括的第二输入模块对上述第二样本图片进行图片特征提取，以生成上述第二样本图片的第二图片特征；

通过上述第二网络中包括的多个第二梯度模块对上述第二图片特征进行梯度信息提取，以生成上述第二样本图片关联的多个第二梯度信息；

通过第二输出模块基于上述第二图片特征、上述多个第二梯度信息以及上述第二样本图片，生成上述第二样本图片对应的第一自回归图片。

在一种可能的实现方式中，上述基于上述第一网络中的多个梯度模块与上述第二网络中的多个梯度模块输出的梯度信息获取多个梯度损失函数包括：

获取通过上述第一网络中包括的多个第一梯度模块对上述第一图片特征进行梯度信息提取的过程中各个上述第一梯度模块输出的梯度信息，并获取通过上述第二网络中包括的多个第二梯度模块对上述第二图片特征进行梯度信息提取的过程中各个上述第二梯度模块输出的梯度信息；

基于上述第一网络中第i个第一梯度模块输出的梯度信息和上述第二网络中第i个第二梯度模块输出的梯度信息生成上述第二网络的第i个梯度损失函数，以获得基于上述第一网络中各个第一梯度模块输出的梯度信息和上述第二网络中各个第二梯度模块输出的梯度信息生成的上述第二网络的多个梯度损失函数。

在一种可能的实现方式中，上述第二网络的第一损失函数包括第一梯度损失函数、第二梯度损失函数以及第三梯度损失函数；上述基于上述第一样本图片、上述第一自回归图片、上述第二梯度图片、上述第三梯度图片以及上述第四梯度图片生成上述第二网络的第一损失函数包括：

基于上述第三梯度图片和上述第四梯度图片生成上述第一梯度损失函数，并基于上述第二梯度图片和上述第四梯度图片生成上述第二梯度损失函数；

基于上述第一样本图片和上述第一自回归图片生成上述第三梯度损失函数。

在一种可能的实现方式中，上述基于上述多个梯度损失函数和上述第一损失函数生成上述第二网络的第二损失函数：

确定计算上述第二网络的损失函数时上述多个梯度损失函数、上述第一梯度损失函数、上述第二梯度损失函数和上述第三梯度损失函数的权重，基于上述多个梯度损失函数及其权重、上述第一梯度损失函数及其权重、上述第二梯度损失函数及其权重，以及上述第三梯度损失函数及其权重进行加权求和，以生成上述第二网络的第二损失函数。

在一种可能的实现方式中，在上述通过上述第一网络获得上述第一梯度图片关联的第二梯度图片之后，上述方法还包括：

基于上述第二梯度图片和上述第三梯度图片生成上述第一网络的梯度损失函数，并将上述第一网络的梯度损失函数作为上述第一网络的目标损失函数以更新上述第一网络的损失函数为上述目标损失函数。

第二方面，本申请实施例提供了一种图片处理方法，该方法包括：

获取第一样本图片，通过图片降质处理获得上述第一样本图片对应的第二样本图片；

通过梯度计算获得上述第二样本图片对应的第一梯度图片，并将上述第一梯度图片输入图片去压缩失真处理的第一网络，通过上述第一网络获得上述第一梯度图片关联的第二梯度图片；

将上述第二样本图片输入图片去压缩失真处理的第二网络，通过上述第二网络获得第二样本图片关联的第一自回归图片；

通过梯度计算获得上述第一样本图片对应的第三梯度图片，并通过梯度计算获得上述第一自回归图片对应的第四梯度图片；

基于上述第一网络中的多个梯度模块与上述第二网络中的多个梯度模块输出的梯度信息获取上述第二网络的多个梯度损失函数，基于上述第一样本图片、上述第一自回归图片、上述第二梯度图片、上述第三梯度图片以及上述第四梯度图片生成上述第二网络的第一损失函数，并基于上述多个梯度损失函数和上述第一损失函数生成上述第二网络的第二损失函数并更新上述第二网络的损失函数为上述第二损失函数；

至少基于上述第二损失函数对图片进行去压缩失真处理。

第三方面，本申请实施例提供了一种图片去压缩失真网络的参数生成装置，该装置包括：

获取模块，用于获取第一样本图片，通过图片降质处理获得上述第一样本图片对应的第二样本图片；

第一网络生成模块，用于通过梯度计算获得上述第二样本图片对应的第一梯度图片，并将上述第一梯度图片输入图片去压缩失真处理的第一网络，通过上述第一网络获得上述第一梯度图片关联的第二梯度图片；

第二网络生成模块，用于将上述第二样本图片输入图片去压缩失真处理的第二网络，通过上述第二网络获得第二样本图片关联的第一自回归图片；

梯度图片生成模块，用于通过梯度计算获得上述第一样本图片对应的第三梯度图片，并通过梯度计算获得上述第一自回归图片对应的第四梯度图片；

损失函数生成模块，用于基于上述第一网络中的多个梯度模块与上述第二网络中的多个梯度模块输出的梯度信息获取上述第二网络的多个梯度损失函数，基于上述第一样本图片、上述第一自回归图片、上述第二梯度图片、上述第三梯度图片以及上述第四梯度图片生成上述第二网络的第一损失函数，并基于上述多个梯度损失函数和上述第一损失函数生成上述第二网络的第二损失函数并更新上述第二网络的损失函数为上述第二损失函数。

其中，上述数据获取模块，包括：

其中，上述第一网络包括第一输入模块、多个第一梯度模块以及第一输出模块，上述第一网络生成模块，包括：

第一图片特征生成单元，用于通过上述第一网络中包括的第一输入模块对上述第一梯度图片进行图片特征提取，以生成上述第一梯度图片的第一图片特征；

第一梯度信息生成单元，用于通过上述第一网络中包括的多个第一梯度模块对上述第一图片特征进行梯度信息提取，以生成上述第一梯度图片关联的多个第一梯度信息；

第一梯度图片生成单元，用于通过上述第一输出模块基于上述第一图片特征和上述多个第一梯度信息，生成上述第一梯度图片对应的第二梯度图片。

其中，上述第二网络包括第二输入模块、多个第二梯度模块以及第二输出模块，上述第二网络生成模块，包括：

第二图片特征生成单元，用于通过上述第二网络中包括的第二输入模块对上述第二样本图片进行图片特征提取，以生成上述第二样本图片的第二图片特征；

第二梯度信息生成单元，用于通过上述第二网络中包括的多个第二梯度模块对上述第二图片特征进行梯度信息提取，以生成上述第二样本图片关联的多个第二梯度信息；

第一自回归图片生成单元，用于通过第二输出模块基于上述第二图片特征、上述多个第二梯度信息以及上述第二样本图片，生成上述第二样本图片对应的第一自回归图片。

其中，上述损失函数生成模块，包括：

梯度信息获取单元，用于获取通过上述第一网络中包括的多个第一梯度模块对上述第一图片特征进行梯度信息提取的过程中各个上述第一梯度模块输出的梯度信息，并获取通过上述第二网络中包括的多个第二梯度模块对上述第二图片特征进行梯度信息提取的过程中各个上述第二梯度模块输出的梯度信息；

梯度损失函数生成单元，用于基于上述第一网络中第i个第一梯度模块输出的梯度信息和上述第二网络中第i个第二梯度模块输出的梯度信息生成上述第二网络的第i个梯度损失函数，以获得基于上述第一网络中各个第一梯度模块输出的梯度信息和上述第二网络中各个第二梯度模块输出的梯度信息生成的上述第二网络的多个梯度损失函数。

其中，上述梯度损失函数生成单元，包括：

第一梯度损失函数生成单元，用于基于上述第三梯度图片和上述第四梯度图片生成上述第一梯度损失函数；

第二梯度损失函数生成单元，用于基于上述第二梯度图片和上述第四梯度图片生成上述第二梯度损失函数；

第三梯度损失函数生成单元，用于基于上述第一样本图片和上述第一自回归图片生成上述第三梯度损失函数。

其中，上述损失函数生成模块，还包括：

网络损失函数生成单元，用于确定计算上述第二网络的损失函数时上述多个梯度损失函数、上述第一梯度损失函数、上述第二梯度损失函数和上述第三梯度损失函数的权重，基于上述多个梯度损失函数及其权重、上述第一梯度损失函数及其权重、上述第二梯度损失函数及其权重，以及上述第三梯度损失函数及其权重进行加权求和，以生成上述第二网络的第二损失函数。

其中，上述图片去压缩失真网络的参数生成装置，还包括：

损失函数更新模块，用于基于上述第二梯度图片和上述第三梯度图片生成上述第一网络的梯度损失函数，并将上述第一网络的梯度损失函数作为上述第一网络的目标损失函数以更新上述第一网络的损失函数为上述目标损失函数。

第四方面，本申请实施例提供了一种图片处理装置，该装置包括：

获取模块，用于获取第一样本图片，通过图片降质处理获得上述第一样本图片对应的第二样本图片；

第一网络生成模块，用于通过梯度计算获得上述第二样本图片对应的第一梯度图片，并将上述第一梯度图片输入图片去压缩失真处理的第一网络，通过上述第一网络获得上述第一梯度图片关联的第二梯度图片；

第二网络生成模块，用于将上述第二样本图片输入图片去压缩失真处理的第二网络，通过上述第二网络获得第二样本图片关联的第一自回归图片；

梯度图片生成模块，用于通过梯度计算获得上述第一样本图片对应的第三梯度图片，并通过梯度计算获得上述第一自回归图片对应的第四梯度图片；

损失函数生成模块，用于基于上述第一网络中的多个梯度模块与上述第二网络中的多个梯度模块输出的梯度信息获取上述第二网络的多个梯度损失函数，基于上述第一样本图片、上述第一自回归图片、上述第二梯度图片、上述第三梯度图片以及上述第四梯度图片生成上述第二网络的第一损失函数，并基于上述多个梯度损失函数和上述第一损失函数生成上述第二网络的第二损失函数并更新上述第二网络的损失函数为上述第二损失函数；

图片处理模块，基于上述第二损失函数对图片进行去压缩失真处理。

第五方面，本申请实施例提供了一种计算机设备，上述计算机设备包括：处理器、存储器以及网络接口；

上述处理器与存储器、网络接口相连，其中，网络接口用于提供数据通信功能，上述存储器用于存储程序代码，上述处理器用于调用上述程序代码，以执行如本申请实施例第一方面提供的方法。

第六方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，当上述处理器执行上述程序指令时执行如本申请实施例第一方面提供的方法。

第七方面，本申请实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中；计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例中的方法。

在本申请实施例中，通过引入第一网络与第二网络和图片的梯度信息到图片的去压缩失真处理中，可以大大提升图片去压缩失真的效果，同时，基于第一网络和第二网络的损失函数的训练可以实现通过第一网络和第二网络的损失函数的更新，基于第一网络和第二网络的损失函数可以提高图片的清晰度，提高图片去压缩失真的效率，复杂程度低，适用性强。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图片去压缩失真网络的参数生成方法的一数据流程示意图；

图2是本申请实施例提供的图片去压缩失真网络的参数生成方法的系统架构示意图；

图3是本申请实施例提供的图片去压缩失真网络的参数生成方法的流程示意图；

图4是本申请实施例提供的图片去压缩失真网络的参数生成方法的另一数据处理流程图；

图5是本申请实施例提供的图片去压缩失真网络的参数生成方法的另一数据处理流程图；

图6是本申请实施例提供的图片去压缩失真网络的参数生成方法的另一数据处理流程图；

图7是本申请实施例提供的图片去压缩失真网络的参数生成方法的效果对比图；

图8是本申请实施例提供的图片处理方法的流程示意图；

图9是本申请实施例提供的图片去压缩失真网络的参数生成装置的结构示意图；

图10是本申请实施例提供的图片去压缩失真网络的参数生成装置的结构示意图；

图11是本申请实施例提供的计算机设备的结构示意图；

图12是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了更好的理解本公开的技术方案，下面对本公开所涉及的相关技术进行进一步的详细介绍。

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

图片处理技术是用计算机对图片信息进行处理的技术，主要包括图片数字化、图片增强和复原、图片数据编码、图片分割和图片识别等。图片的处理技术包括点处理、组处理、几何处理和帧处理四种方法。图片处理技术一般也分为两大类：模拟图片处理和数字图片处理。图片是人类获取和交换信息的主要来源，因此，图片处理的应用领域必然涉及人类生活和工作的方方面面。随着人类活动范围的不断扩大，图片处理的应用领域也将随之扩大。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。

压缩失真(Compression artifact)，是媒体(包括图像、音讯和影片)在使用破坏性资料压缩之后产生的明显失真。

本申请实施例提供的方案涉及人工智能领域、图片处理技术领域等，下面将结合图1至图12对本申请实施例提供的方法所适用于系统结构、本申请实施例提供的方法以及装置进行示例说明。

基于图片的梯度信息可以解决计算机视觉和人工智能等领域中针对图片处理的许多问题。请参见图1，图1是本申请实施例提供的图片去压缩失真网络的参数生成方法的一数据流程示意图。如图1所示，目前常用于解决图片去压缩失真的方法是采用时空特征融合模块(Spatio-Temporal Feature Fusion，STFF)以及画质增强模块(QualityEnhancement，QE)。其中，STFF可以预测多帧的偏移并采用可变形卷积进行处理，以得到融合特征图谱，再通过递归融合模块对特征进行精细融合，通过画质增强模块QE中包括的L个卷积层和可变形时空注意模块(DSTA，Deformable Spatiotemporal Attention)对STFF融合的特征进行重建，实现去除压缩失真。然而，采用上述方法虽然实现了帧与帧间的对齐以及特征融合，但是感受野缺乏尺度多样性，帧间特征融合准确性低，并且运算复杂度高。本申请实施例提供了一种全面、统一的图片去压缩失真网络的参数生成方法(为方便描述可简称为图片去压缩失真网络的参数生成方法或者方法)可用于图片的去压缩失真，基于本申请提供的图片去压缩失真网络的参数生成方法，与常用的去压缩失真技术相比，本申请提供的图片去压缩失真网络的参数生成方法引入了图片的边缘信息，并且通过先训练图片去压缩失真网络中的导师网络(即第一网络)，再对图片去压缩失真网络中的学生网络(即第二网络)进行训练，通过导师网络实现对学生网络的监督，同时边训练边测试学生网络的性能，以提升学生网络生成梯度信息的能力，实现图片的去压缩失真，提高图片处理效率，并减小运算复杂度。可以理解，上述图片去压缩失真网络可以部署在图片去压缩失真模型中，以实现图片去压缩失真。可以理解，边缘信息是决定去压缩失真效果的关键，本申请提供的图片去压缩失真网络的参数生成方法通过引入图片的边缘信息，从而获得图片的梯度信息，能够有效改善图片的压缩失真，并且通过对导师网络和学生网络的训练，更新图片去压缩失真网络中导师网络和学生网络的参数，有效提升了对图片去压缩失真的能力。

本申请实施例提供的图片去压缩失真网络的参数生成方法适用于图片处理技术或产品(为方便描述，下面将以图片处理产品为例进行示例说明，比如腾讯视频)的开发过程中，可基于第一样本图片训练部署在上述图片处理产品中的图片去压缩失真模型，以使上述图片去压缩失真模型基于任意输入第一样本图片得到第一样本图片对应的第二样本图片和第一梯度图片。通过上述图片去压缩失真模型基于上述第一梯度图片得到上述第一梯度图片关联的第二梯度图片，基于上述第二样本图片得到上述第二样本图片关联的第一自回归图片，并通过梯度计算获得上述第一样本图片对应的第三梯度图片，以及上述第一自回归图片对应的第四梯度图片。上述图片去压缩失真模型中的图片去压缩失真网络可以包括第一网络(即上述导师网络)和第二网络(即学生网络)，基于上述第一网络中的多个梯度模块与上述第二网络中的多个梯度模块输出的梯度信息获取上述第二网络的多个梯度损失函数，并基于上述第一样本图片、上述第一自回归图片、上述第二梯度图片、上述第三梯度图片以及上述第四梯度图片更新上述第二网络的损失函数。基于本申请实施例提供的方法可扩展得到包含更多、更准确的图片特征，基于第一样本图片得到梯度图片以及第一网络中的多个梯度模块与第二网络中的多个梯度模块输出的梯度信息，可以训练得到去压缩失真效果更优的图片去压缩失真模型，从而使改善图片的去压缩失真效果，并提高图片的去压缩失真的效率。本申请实施例提供的图片去压缩失真网络的参数生成方法也适用于对各类图片处理产品的使用过程中，基于图片处理产品中部署的图片去压缩失真模型对任意输入图片进行去压缩失真。基于本申请实施例提供的方法可应用于多种应用场景，具体可根据实际应用场景确定，此处不做限制。本申请实施例提供的方法基于大量的第一样本图片可以训练得到去压缩失真效率更高的图片去压缩失真网络，从而使图片处理模型获得更好的图片去压缩失真效果。

请参见图2，图2是本申请实施例提供的系统架构示意图。如图2所示，该系统架构可以包括业务服务器100以及终端集群，终端集群可以包括：终端设备200a、终端设备200b、终端设备200c、……、终端设备200n等终端设备。其中，上述业务服务器100可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云数据库、云服务、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备(包括终端设备200a、终端设备200b、终端设备200c、……、终端设备200n)可以是智能手机、平板电脑、笔记本电脑、台式计算机、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备(例如智能手表、智能手环等)、智能电脑、智能车载等智能终端。其中，业务服务器100与终端集群中的各终端设备可以建立通信连接，终端集群中的各终端设备之间也可建立通信连接。换句话说，业务服务器100可与终端设备200a、终端设备200b、终端设备200c、……、终端设备200n中的各终端设备建立通信连接，例如终端设备200a与业务服务器100之间可建立通信连接。终端设备200a与终端设备200b之间可建立通信连接，终端设备200a与终端设备200c之间也可建立通信连接。其中，上述通信连接不限定连接方式，可以通过有线通信方式进行直接或间接地连接，也可以通过无线通信方式进行直接或间接地连接等，具体可根据实际应用场景确定，本申请在此不做限制。

应该理解，如图2所示的终端集群中的每个终端设备均可以安装有应用客户端，当该应用客户端运行于各终端设备中时，可以分别与上述图2所示的业务服务器100之间进行数据交互，使得业务服务器100可以接收来自于每个终端设备的业务数据，上述业务数据可以是来自客户端的用于图片去压缩失真的第一样本图片。该应用客户端可以为用于图片去压缩失真的应用客户端(简称图片去压缩失真客户端)，即用户可以通过该图片去压缩失真客户端向业务服务器100发送第一样本图片，业务服务器100作为图片去压缩失真客户端的服务器，可以为包括该客户端对应的后台服务器、数据处理服务器等多个服务器的集合。业务服务器100可以接收到第一样本图片，其中，上述第一样本图片用于训练上述图片去压缩失真模型中的图片去压缩失真网络，以生成图片去压缩失真网络的参数。上述图片去压缩失真客户端可以为独立的客户端，也可以为集成在某客户端(例如视频客户端等)中的嵌入式子客户端，具体可根据实际应用场景确定，在此不做限定。本申请实施例提供的方法可以由如图2所示的业务服务器100执行，也可以任一由终端设备(如图2所示的终端设备200a、终端设备200b、……、终端设备200n中的任意一个)执行，还可以由终端设备和业务服务器共同执行，具体可根据实际应用场景确定，此处不做限制。为方便描述，以装载在上述终端设备200b上的图片去压缩失真客户端为例，各操作对象在通过终端设备使用图片去压缩失真客户端的过程中，可以通过终端设备查看、上传图片去压缩失真客户端中的第一样本图片。

可以理解的是，在本申请的具体实施方式中，涉及到用户信息等相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

可以理解的是，本申请实施例提供的图片去压缩失真网络的参数生成方法适用于基于应用程序(比如腾讯视频)中对图片的去压缩失真。可以理解的是，上述图片去压缩失真网络的参数生成方法所适用的终端设备包括但不限于智能手机、计算机、平板电脑、个人数码助理(personal digital assistant，PDA)、移动互联网设备(mobile Internetdevice，MID)以及可穿戴设备等。可选的，终端设备也可为上述智能手机、计算机、平板电脑、PDA、MID以及可穿戴设备对应的服务器等，具体可根据实际应用场景确定，在此不做限制。对应的，本申请实施例提供的图片去压缩失真网络的参数生成装置包括但不限于智能手机、计算机、平板电脑、PDA、MID以及可穿戴设备等。为方便描述，本申请实施例提供的图片去压缩失真网络的参数生成装置和/或终端设备将以智能手机(或简称手机)为例进行说明。

可以理解的是，本申请实施例提供的图片去压缩失真网络的参数生成方法可以由如图2所示的业务服务器100执行，也可以由终端设备(如图2所示的终端设备200a、终端设备200b、……、终端设备200n中的任意一个)执行，还可以由终端设备和业务服务器共同执行，具体可根据实际应用场景确定，此处不做限制。为便于后续理解和说明，本申请实施例可以在图2所示的终端设备集群中选择一个终端设备作为目标终端设备，例如以终端设备200b作为目标终端设备。

进一步地，请参见图3，图3是本申请实施例提供的图片去压缩失真网络的参数生成方法的流程示意图。为了便于理解，本申请实施例以终端设备为例进行说明，即以图2中的终端设备200b为例进行叙述，业务服务器可以为上述图2所对应实施例的业务服务器100。本申请实施例可应用于各种场景，包括但不限于云技术、人工智能等。在图3所示的图片去压缩失真网络的参数生成方法中，图片去压缩失真网络的参数生成方法的各个步骤可由上述图2中的终端设备200b来执行，如图3所示，该图片去压缩失真网络的参数生成方法至少可以包括以下步骤S101-步骤S105。

步骤S101，获取第一样本图片，通过图片降质处理获得第一样本图片对应的第二样本图片。

在一些可行的实施方式中，终端设备(比如终端设备200b)可以获取用于训练图片去压缩失真网络的第一样本图片，上述图片去压缩失真网络的第一样本图片可以是装载在上述终端设备200b上的图片去压缩失真客户端获取的第一样本图片。其中，上述第一样本图片可以是多种格式(如png，bmp，jpg等)的高清图片，也可以是通过对任意格式任意尺寸的视频(如mp4，avi等)进行连续视频帧的提取，以获得多种格式的第一样本图片。其中，上述第一样本图片为任意图片格式的高清图片，且上述第一样本图片的格式具体可根据实际应用场景确定，本申请在此不做限制。具体地，上述终端设备200b在获取上述第一样本图片后，可对上述第一样本图片进行降质处理，以得到上述第一样本图片对应的第二样本图片。其中，上述第二样本图片为3通道RGB图像。其中，上述第一样本图片和上述第二样本图片的图像块大小可根据上述终端设备200b的显存大小确定，如可将显存大小设为64，96，128等，具体可根据实际应用场景确定，本申请在此不做限制。

步骤S102，通过梯度计算获得第二样本图片对应的第一梯度图片，并将第一梯度图片输入图片去压缩失真处理的第一网络，通过第一网络获得第一梯度图片关联的第二梯度图片。

在一些可行的实施方式中，上述终端设备200b在通过上述图片去压缩失真客户端获取到上述第二样本图片后，将通过梯度函数计算获得上述第二样本图片对应的第一梯度图片。其中，上述第二样本图片和上述第一梯度图片均为3通道RGB梯度图。请参见图4，图4是本申请实施例提供的图片去压缩失真网络的参数生成方法的另一数据处理流程图。上述终端设备200b在获得上述第二样本图片对应的第一梯度图片后，将上述第一梯度图片输入图片去压缩失真处理的第一网络，通过上述第一网络获得上述第一梯度图片关联的第二梯度图片。其中，上述第一梯度图片通过上述第一网络输出的第二梯度图片为3通道RGB梯度图。其中，上述第一网络(即上述导师网络)为用于指导第二网络(即学生网络)提取任意输入图片的梯度信息。可以理解，上述终端设备200b将通过上述第一梯度图片确定上述第一网络的初始参数，并通过上述第一网络的初始参数指导上述第二网络对任意输入图片的梯度信息进行提取。可以理解，与上述第二网络相比，上述第一网络具备更优良的提取梯度信息的能力。

进一步地，请参见图5，图5是本申请实施例提供的图片去压缩失真网络的参数生成方法的另一数据处理流程图。如图5所示，上述第一网络包括第一输入模块、多个第一梯度模块以及第一输出模块。上述终端设备200b通过上述第一网络中包括的第一输入模块对上述第一梯度图片进行图片特征提取，以生成上述第一梯度图片的第一图片特征。具体地，上述终端设备200b可通过上述第一网络中包括的第一输入模块对上述第一梯度图片进行数据增强，例如增加高斯噪声，进行高斯模糊，增加去压缩噪声，以得到上述第一梯度图片的第一图片特征。上述终端设备200b在得到上述第一梯度图片的第一图片特征后，将通过上述第一网络中包括的多个第一梯度模块对上述第一图片特征进行梯度信息提取，以生成上述第一梯度图片关联的多个第一梯度信息。其中，上述多个第一梯度模块用于基于任意输入图片的图片特征，得到上述任意输入图片的梯度信息。上述终端设备200b在得到上述第一梯度图片关联的多个第一梯度信息后，将通过上述第一输出模块基于上述第一图片特征和上述多个第一梯度信息，生成上述第一梯度图片对应的第二梯度图片。如图5所示，为方便描述，本申请实施例提供的图片去压缩失真网络的参数生成方法中，将以上述第一网络包含3个第一梯度模块为例进行详细描述，实际上第一网络包含第一梯度模块的个数可根据实际应用场景确定，本申请在此不做限制。请参见图6，图6是本申请实施例提供的图片去压缩失真网络的参数生成方法的另一数据处理流程图。如图6所示，上述第一网络中第一输入模块可包括卷积层(Convolution，简称Conv)以及激活函数(Leaky Rectified LinearUnit，简称Lrelu)，上述卷积层(Conv)用于对上述第一梯度图片进行图片特征提取，以通过将上述第一梯度图片的通道数升维到C通道实现细节特征的提取。例如，上述第一梯度图片为3通道RGB梯度图，若将上述通道数C设为12，则可通过上述第一输入模块对上述第一梯度图片进行图片特征提取。如图6所示，上述第一网络中包括3个第一梯度模块。其中，一个第一梯度模块包括n个梯度模块，一个梯度模块包括一个可变形卷积层(DeformableConvolution，简称DConv)，一个激活函数(Lrelu)以及一个可变形卷积层(DConv)。其中，上述可变形卷积层(DConv)可以学习到图片中包含的不规则信息，更有助于挖掘边缘梯度信息，且上述梯度模块的输出信息的通道数C与上述第一输入模块的通道数相同。如图6所示，上述第一网络中第一输出模块包括一个卷积层(Conv)，一个激活函数(Lrelu)以及一个卷积层(Conv)。其中，上述第一输出模块中第一个卷积层(Conv)的输入通道为C，输出通道为D，且D>C,通过升维可以丰富输入图片的图片特征。其中，上述第一输出模块中第二个卷积层(Conv)的输入通道为D，输出通道为3。

步骤S103，将第二样本图片输入图片去压缩失真处理的第二网络，通过第二网络获得第二样本图片关联的第一自回归图片。

在一些可行的实施方式中，上述终端设备200b在通过图片降质处理获得上述第一样本图片对应的第二样本图片后，将上述第二样本图片输入图片去压缩失真处理的第二网络，通过上述第二网络获得第二样本图片关联的第一自回归图片。其中，上述第二样本图片为3通道RGB梯度图。请再参见图4，上述终端设备200b在获得上述第一样本图片对应的第二样本图片后，将上述第二样本图片输入图片去压缩失真处理的第二网络，通过上述第二网络获得上述第二样本图片关联的第一自回归图片。其中，上述第一自回归图片为3通道RGB梯度图。

进一步地，请再参见图5，上述第二网络包括第二输入模块、多个第二梯度模块以及第二输出模块。上述终端设备200b通过上述第二网络中包括的第二输入模块对上述第二样本图片进行图片特征提取，以生成上述第二样本图片的第二图片特征。上述终端设备200b在得到上述第二样本图片的第二图片特征后，将通过上述第二网络中包括的多个第二梯度模块对上述第二图片特征进行梯度信息提取，以生成上述第二样本图片关联的多个第二梯度信息。其中，上述多个第二梯度模块用于基于任意输入图片的图片特征，得到上述任意输入图片的梯度信息。上述终端设备200b在得到上述第二样本图片关联的多个第二梯度信息后，将通过上述第二输出模块基于上述第二图片特征、上述多个第一梯度信息以及上述第二样本图片，生成上述第二样本图片对应的第二梯度图片。如图5所示，为方便描述，本申请实施例提供的图片去压缩失真网络的参数生成方法中，将以上述第二网络包含3个第二梯度模块为例进行详细描述，实际上述第二网络包含第二梯度模块的个数可根据实际应用场景确定，且上述第二网络中包含的第二梯度模块的个数应与上述第一网络中包含的第一梯度模块的个数相同，本申请在此不做限制。其中，上述第二网络将基于上述第二模块的输出和上述第二样本图片的跳跃链接形成第二网络的残差学习，起到减弱第二网络学习的难度，同时减少梯度消失的效果。请再参见图6，上述第二网络中第二输入模块的结构与上述第一网络中第一输入模块的结构相似，在此不多加赘述。上述第二网络中包括3个第二梯度模块。其中，一个第二梯度模块包括2n个梯度模块，且上述梯度模块的结构与上述第一网络中第一梯度模块包括的梯度模块的结构相似，在此不多加赘述。上述第二网络中第二输出模块的结构与上述第一网络中第一输出模块的结构相似，在此不多加赘述。

步骤S104，通过梯度计算获得第一样本图片对应的第三梯度图片，并通过梯度计算获得第一自回归图片对应的第四梯度图片。

在一些可行的实施方式中，请再参见图4，上述终端设备200b在通过上述图片去压缩失真客户端获取上述第一样本图片后，将通过梯度函数计算获得上述第一样本图片对应的第三梯度图片。其中，上述第一样本图片为任意格式的高清图片。其中，上述第一样本图片和上述第三梯度图片均为3通道RGB梯度图。同样的，上述终端设备200b在通过上述图片去压缩失真客户端中包括的第二网络获得上述第一自回归图片后，将通过梯度函数计算获得上述第一自回归图片对应的第四梯度图片。其中，上述第一自回归图片和上述第四梯度图片均为3通道RGB梯度图。

步骤S105，基于第一网络中的多个梯度模块与第二网络中的多个梯度模块输出的梯度信息获取第二网络的多个梯度损失函数，基于第一样本图片、第一自回归图片、第二梯度图片、第三梯度图片以及第四梯度图片生成第二网络的第一损失函数，并基于多个梯度损失函数和第一损失函数生成第二网络的第二损失函数。

在一些可行的实施方式中，上述终端设备200b在通过上述图片去压缩失真客户端的第一网络获取第一梯度图片关联的第二梯度图片，以及通过第二网络获取上述第二样本图片关联的第一自回归图片的过程中，将基于上述第一网络中的多个梯度模块与上述第二网络中的多个梯度模块输出的梯度信息获取上述第二网络的多个梯度损失函数。具体地，请再参见图5，上述第一网络包括第一输入模块、3个第一梯度模块以及第一输出模块，上述终端设备200b在通过上述第一网络中包括的第一输入模块对上述第一梯度图片进行图片特征提取，以生成上述第一梯度图片的第一图片特征后，通过上述第一网络中包括的3个第一梯度模块对上述第一图片特征进行梯度信息提取，以生成上述第一梯度图片关联的3个第一梯度信息。上述终端设备200b在上述3个第一梯度模块对上述第一图片特征进行梯度信息提取的过程中获取各个第一梯度模块输出的梯度信息。

进一步地，上述第二网络包括第二输入模块、3个第二梯度模块以及第二输出模块，上述终端设备200b在通过上述第二网络中包括的第二输入模块对上述第一梯度图片进行图片特征提取，以生成上述第二样本图片的第二图片特征后，通过上述第二网络中包括的3个第二梯度模块对上述第二图片特征进行梯度信息提取，以生成上述第二样本图片关联的3个第二梯度信息。上述终端设备200b在通过上述3个第二梯度模块对上述第二图片特征进行梯度信息提取的过程中获取各个第二梯度模块输出的梯度信息。上述终端设备200b将基于上述第一网络中第i个第一梯度模块输出的梯度信息和上述第二网络中第i个第二梯度模块输出的梯度信息生成上述第二网络的第i个梯度损失函数，以获得基于上述第一网络中各个第一梯度模块输出的梯度信息和上述第二网络中各个第二梯度模块输出的梯度信息生成的上述第二网络的多个梯度损失函数。例如，上述终端设备200b基于上述第一网络中第1个第一梯度模块输出的第一梯度信息和上述第二网络中第1个第二梯度模块输出的第二梯度信息生成上述第二网络的第1个梯度损失函数，并将上述第1个梯度损失函数记为Gloss1。类似地，上述终端设备200b基于上述第一网络中第2个第一梯度模块输出的第一梯度信息和上述第二网络中第2个第二梯度模块输出的第二梯度信息生成上述第二网络的第2个梯度损失函数，并将上述第2个梯度损失函数记为Gloss2。

进一步地，上述终端设备200b将基于上述第一样本图片、上述第一自回归图片、上述第二梯度图片、上述第三梯度图片以及上述第四梯度图片生成上述第二网络的第一损失函数。其中，上述第二网络的第一损失函数包括第一梯度损失函数、第二梯度损失函数以及第三梯度损失函数。请再参见图5，上述终端设备200b基于上述第三梯度图片和上述第四梯度图片生成上述第一梯度损失函数，并将上述第一梯度损失函数并记为Gloss3。上述终端设备200b基于上述第二梯度图片和上述第四梯度图片生成上述第二梯度损失函数，并将上述第二梯度损失函数并记为Gloss4。类似地，上述终端设备200b基于上述第一样本图片和上述第一自回归图片生成上述第三梯度损失函数，并将上述第三梯度损失函数记为Ploss。上述终端设备200b在获得上述第二网络的多个梯度损失函数后，将基于上述第1个梯度损失函数、上述第2个梯度损失函数以及上述第一损失函数中包括的上述第一梯度损失函数、上述第二梯度损失函数以及上述第三梯度损失函数，生成上述第二网络的第二损失函数并更新上述第二网络的损失函数为上述第二损失函数。具体地，上述终端设备200b确定计算上述第二网络的损失函数时上述2个梯度损失函数、上述第一梯度损失函数、上述第二梯度损失函数和上述第三梯度损失函数的权重，基于上述2个梯度损失函数及其权重、上述第一梯度损失函数及其权重、上述第二梯度损失函数及其权重，以及上述第三梯度损失函数及其权重进行加权求和，以生成上述第二网络的第二损失函数，上述终端设备200b将上述第二网络的损失函数更新为上述第二损失函数。例如，上述第二网络的第二损失函数Loss的计算如公式1所示：

Loss＝w1*Gloss1+w2*Gloss2+w3*Gloss3+w4*Gloss4+w5*Ploss (1)

其中，"w1"为上述第1个梯度损失函数的权重，"w2"为上述第2个梯度损失函数的权重，"w3"为上述第一梯度损失函数的权重，"w4"为上述第二梯度损失函数的权重，"w5"为上述第三梯度损失函数的权重。其中，上述"w1"、"w2"、"w3"、"w4"的权重采用charbonnierloss计算，charbonnier loss的计算如公式2所示，

其中，上述"w5"的权重采用L2 loss计算，L2 loss计算如公式3所示，

进一步地，上述终端设备200b在得到上述第一梯度图片关联的第二梯度图片，以及上述第一样本图片对应的第三梯度图片后，将基于上述第二梯度图片和上述第三梯度图片生成上述第一网络的梯度损失函数，并将上述第一网络的梯度损失函数记为Gloss0。上述终端设备200b在得到上述第一网络的梯度损失函数Gloss0后，将上述第一网络的梯度损失函数Gloss0更新为上述第一网络的目标损失函数。可以理解，上述终端设备200b在获取上述第一样本图片后，将通过上述第一样本图片确定上述第一网络(即上述导师网络的)的目标损失函数，并通过上述生成上述第二损失函数的方法确定上述第二网络(即上述学生网络)的损失函数。当上述终端设备200b再次获取新的第一样本图片后，将再次通过新的第一样本图片更新上述第一网络的目标损失函数，并通过上述生成上述第二损失函数的方法更新上述第二网络的损失函数。可以理解，本申请实施例提供的图片去压缩失真网络的参数生成方法不仅可以实现边训练边测试第二网络(即上述学生网络)的性能，通过不断测试、学习以更新第二网络的目标损失函数，还可以实现对第二网络生成参数的进一步优化，同时当第二网络取得较好的性能时，或者训练到一定学习率时，将同步更新第一网络的参数，从而实现第一网络和第二网络的联合调整。请参见图7，图7是本申请实施例提供的图片去压缩失真网络的参数生成方法的效果对比图。如图7所示，左边图片为一张压缩失真图片，而右边图片为采用本方法得到的去压缩失真图片。如图7所示，左边图片的噪声多，且清晰度较低，而经过本申请提供的图片去压缩失真网络处理的图片(即右边图片)能够有效去除噪点，清晰度有明显提高，细节纹理更加丰富。可以理解，采用本申请有效地减小了图片的压缩失真，提升了图片的清晰度，同时能够有效去除图片的噪声。

在本申请实施例中，本申请实施例提供的图片去压缩失真网络的参数生成方法获取第一样本图片(即高清图片)对应的第三梯度图片以及经图片降质处理得到的第二样本图片对应的第一梯度图片，并通过第一网络(即上述导师网络的)得到第一梯度图片关联的第二梯度图片，通过第二网络(即上述学生网络的)得到第二样本图片关联的第一自回归图片，基于第一网络中的多个梯度模块与第二网络中的多个梯度模块之间的多个梯度损失函数，以及上述第一样本图片对应的第四梯度图片、上述第一自回归图片以及上述各个梯度图片生成第一网络和第二网络的损失函数，从而实现通过引入图片的边缘信息提取图片的梯度信息的步骤，采用本申请有效减小了图片的压缩失真，同时提高了图片去压缩失真的效率，运算复杂度低，适用性强。

参见图8，图8是本申请实施例提供的图片处理方法的流程示意图。本申请实施例提供的图片处理方法至少可以基于上述图片去压缩失真网络的参数生成方法所生成的具备第二损失函数的第二网络对图片进行去压缩失真处理，可实现对图片的去压缩失真，提高图片的清晰度。如图8所示，该图片处理方法至少可以包括以下步骤S201-步骤S206。

步骤S201，获取第一样本图片，通过图片降质处理获得第一样本图片对应的第二样本图片。

步骤S202，通过梯度计算获得第二样本图片对应的第一梯度图片，并将第一梯度图片输入图片去压缩失真处理的第一网络，通过第一网络获得第一梯度图片关联的第二梯度图片。

步骤S203，将第二样本图片输入图片去压缩失真处理的第二网络，通过第二网络获得第二样本图片关联的第一自回归图片。

步骤S204，通过梯度计算获得第一样本图片对应的第三梯度图片，并通过梯度计算获得第一自回归图片对应的第四梯度图片。

步骤S205，基于第一网络中的多个梯度模块与第二网络中的多个梯度模块输出的梯度信息获取第二网络的多个梯度损失函数，基于第一样本图片、第一自回归图片、第二梯度图片、第三梯度图片以及第四梯度图片生成第二网络的第一损失函数，并基于多个梯度损失函数和第一损失函数生成第二网络的第二损失函数。

在一些可行的实施方式中，上述步骤S201至步骤S206所执行的实现方式可参见上述步骤S101至步骤S106所执行的实现方式，在此不再赘述。

步骤S206，至少基于第二损失函数对图片进行去压缩失真处理。

在一些可行的实施方式中，上述终端设备200b在生成上述第二网络的第二损失函数之后，可以基于上述具备上述第二损失函数的第二网络对图片进行去压缩失真处理。上述终端设备200b可在生成上述第二网络的第二损失函数之后，将任意图片输入上述第二网络，通过上述第二网络对上述任意输入图片进行去压缩失真处理并输出目标图片，可以理解，输出的上述目标图片的画质高于输入图片。

基于本申请实施例提供的图片处理方法可以实现对图片的去压缩失真处理，可以将提取图片的梯度信息用于图片的去压缩失真处理，可提高图片的处理质量，提高图片去压缩失真的效率，运算复杂度低，适用性强。

基于上述图片去压缩失真网络的参数生成方法的实施例的描述，本申请实施例还公开了一种图片去压缩失真网络的参数生成装置。该图片去压缩失真网络的参数生成装置可以被应用于图2至图7所示实施例的图片去压缩失真网络的参数生成方法中，以用于执行图片去压缩失真网络的参数生成方法中的步骤。这里，图片去压缩失真网络的参数生成装置可以是上述图2至图7所示实施例中的业务服务器或者终端设备，即该图片去压缩失真网络的参数生成装置可以为上述图2至图7所示实施例中图片去压缩失真网络的参数生成方法的执行主体。请参见图9，图9是本申请实施例提供的图片去压缩失真网络的参数生成装置的结构示意图。在本申请实施例中，该装置可运行如下模块：

获取模块11，用于获取第一样本图片，通过图片降质处理获得上述第一样本图片对应的第二样本图片；

第一网络生成模块12，用于通过梯度计算获得上述第二样本图片对应的第一梯度图片，并将上述第一梯度图片输入图片去压缩失真处理的第一网络，通过上述第一网络获得上述第一梯度图片关联的第二梯度图片；

第二网络生成模块13，用于将上述第二样本图片输入图片去压缩失真处理的第二网络，通过上述第二网络获得第二样本图片关联的第一自回归图片；

梯度图片生成模块14，用于通过梯度计算获得上述第一样本图片对应的第三梯度图片，并通过梯度计算获得上述第一自回归图片对应的第四梯度图片；

损失函数生成模块15，用于基于上述第一网络中的多个梯度模块与上述第二网络中的多个梯度模块输出的梯度信息获取上述第二网络的多个梯度损失函数，基于上述第一样本图片、上述第一自回归图片、上述第二梯度图片、上述第三梯度图片以及上述第四梯度图片生成上述第二网络的第一损失函数，并基于上述多个梯度损失函数和上述第一损失函数生成上述第二网络的第二损失函数并更新上述第二网络的损失函数为上述第二损失函数。

其中，上述第一网络生成模块12，包括：

第一图片特征生成单元121，用于通过上述第一网络中包括的第一输入模块对上述第一梯度图片进行图片特征提取，以生成上述第一梯度图片的第一图片特征；

第一梯度信息生成单元122，用于通过上述第一网络中包括的多个第一梯度模块对上述第一图片特征进行梯度信息提取，以生成上述第一梯度图片关联的多个第一梯度信息；

第一梯度图片生成单元123，用于通过上述第一输出模块基于上述第一图片特征和上述多个第一梯度信息，生成上述第一梯度图片对应的第二梯度图片。

其中，上述第二网络生成模块13，包括：

第二图片特征生成单元131，用于通过上述第二网络中包括的第二输入模块对上述第二样本图片进行图片特征提取，以生成上述第二样本图片的第二图片特征；

第二梯度信息生成单元132，用于通过上述第二网络中包括的多个第二梯度模块对上述第二图片特征进行梯度信息提取，以生成上述第二样本图片关联的多个第二梯度信息；

第一自回归图片生成单元133，用于通过第二输出模块基于上述第二图片特征、上述多个第二梯度信息以及上述第二样本图片，生成上述第二样本图片对应的第一自回归图片。

其中，上述损失函数生成模块15，包括：

梯度信息获取单元151，用于获取通过上述第一网络中包括的多个第一梯度模块对上述第一图片特征进行梯度信息提取的过程中各个上述第一梯度模块输出的梯度信息，并获取通过上述第二网络中包括的多个第二梯度模块对上述第二图片特征进行梯度信息提取的过程中各个上述第二梯度模块输出的梯度信息；

梯度损失函数生成单元152，用于基于上述第一网络中第i个第一梯度模块输出的梯度信息和上述第二网络中第i个第二梯度模块输出的梯度信息生成上述第二网络的第i个梯度损失函数，以获得基于上述第一网络中各个第一梯度模块输出的梯度信息和上述第二网络中各个第二梯度模块输出的梯度信息生成的上述第二网络的多个梯度损失函数。

其中，上述梯度损失函数生成单元152，包括：

第一梯度损失函数生成单元1521，用于基于上述第三梯度图片和上述第四梯度图片生成上述第一梯度损失函数；

第二梯度损失函数生成单元1522，用于基于上述第二梯度图片和上述第四梯度图片生成上述第二梯度损失函数；

第三梯度损失函数生成单元1523，用于基于上述第一样本图片和上述第一自回归图片生成上述第三梯度损失函数。

其中，上述损失函数生成模块15，还包括：

网络损失函数生成单元153，用于确定计算上述第二网络的损失函数时上述多个梯度损失函数、上述第一梯度损失函数、上述第二梯度损失函数和上述第三梯度损失函数的权重，基于上述多个梯度损失函数及其权重、上述第一梯度损失函数及其权重、上述第二梯度损失函数及其权重，以及上述第三梯度损失函数及其权重进行加权求和，以生成上述第二网络的第二损失函数。

其中，上述图片去压缩失真网络的参数生成装置，还包括：

损失函数更新模块16，用于基于上述第二梯度图片和上述第三梯度图片生成上述第一网络的梯度损失函数，并将上述第一网络的梯度损失函数作为上述第一网络的目标损失函数以更新上述第一网络的损失函数为上述目标损失函数。

根据上述图3所对应的实施例，图3所示的图片去压缩失真网络的参数生成方法中步骤S101至S105所描述的实现方式可由图9所示的装置的各个模块执行。例如，上述图3所示的图片去压缩失真网络的参数生成方法中步骤S101所描述的实现方式可由图9所示的装置中获取模块11来执行，步骤S102所描述的实现方式可由第一网络生成模块12来执行，步骤S103所描述的实现方式可由第二网络生成模块13来执行，步骤S104所描述的实现方式可由梯度图片生成模块14来执行，S105所描述的实现方式可由损失函数生成模块15来执行。其中，上述获取模块11、第一网络生成模块12、第二网络生成模块13、梯度图片生成模块14以及损失函数生成模块15所执行的实现方式可参见上述图3所对应的实施例中各个步骤所提供的实现方式，在此不再赘述。

在本申请实施例中，能够基于第一样本图片和第二样本图片的边缘信息提取梯度信息，并通过上述梯度信息训练第一网络，从而实现边训练边测试第二网络(即上述学生网络)的性能，通过不断测试、学习以更新第二网络的目标损失函数，实现对第二网络生成参数的进一步优化。采用本申请可以有效减小了图片的压缩失真，同时提高了图片去压缩失真的效率，运算复杂度低，适用性强。

在本申请实施例中，上述图所示的装置中的各个模块可以分别或全部合并为一个或若干个另外的模块来构成，或者其中的某个(些)模块还可以再拆分为功能上更小的多个模块来构成，这可以实现同样的操作，而不影响本申请实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由多个模块来实现，或者多个模块的功能由一个模块实现。在本申请的其它可行的实现方式中，上述装置也可以包括其它模块，在实际应用中，这些功能也可以由其它模块协助实现，并且可以由多个模块协作实现，在此不做限制。

基于上述图片处理方法的实施例的描述，本申请实施例还公开了一种图片处理装置。该图片处理装置可以被应用于图8所示实施例的图片处理方法中，以用于执行图片处理方法中的步骤。这里，图片处理装置可以是上述图2所示的业务服务器或者终端设备，即该图片处理装置可以为上述图8所示实施例中图片处理方法的执行主体。请参见图10，图10是本申请实施例提供的图片处理装置的结构示意图。在本申请实施例中，该装置可运行如下模块：

获取模块21，用于获取第一样本图片，通过图片降质处理获得上述第一样本图片对应的第二样本图片；

第一网络生成模块22，用于通过梯度计算获得上述第二样本图片对应的第一梯度图片，并将上述第一梯度图片输入图片去压缩失真处理的第一网络，通过上述第一网络获得上述第一梯度图片关联的第二梯度图片；

第二网络生成模块23，用于将上述第二样本图片输入图片去压缩失真处理的第二网络，通过上述第二网络获得第二样本图片关联的第一自回归图片；

梯度图片生成模块24，用于通过梯度计算获得上述第一样本图片对应的第三梯度图片，并通过梯度计算获得上述第一自回归图片对应的第四梯度图片；

损失函数生成模块25，用于基于上述第一网络中的多个梯度模块与上述第二网络中的多个梯度模块输出的梯度信息获取上述第二网络的多个梯度损失函数，基于上述第一样本图片、上述第一自回归图片、上述第二梯度图片、上述第三梯度图片以及上述第四梯度图片生成上述第二网络的第一损失函数，并基于上述多个梯度损失函数和上述第一损失函数生成上述第二网络的第二损失函数并更新上述第二网络的损失函数为上述第二损失函数；

图片处理模块26，至少基于第二损失函数对图片进行去压缩失真处理。

在一些可行的实施方式中，上述图8所示的图片处理方法中步骤S201所描述的实现方式可由图10所示的装置中获取模块21来执行，步骤S202所描述的实现方式可由第一网络生成模块22来执行，步骤S203所描述的实现方式可由第二网络生成模块23来执行，步骤S204所描述的实现方式可由梯度图片生成模块24来执行，步骤S205所描述的实现方式可由损失函数生成模块25来执行，步骤S206所描述的实现方式可由图片处理模块26来执行。其中，上述获取模块21、第一网络生成模块22、第二网络生成模块23、梯度图片生成模块24、损失函数生成模块25以及图片处理模块26所执行的实现方式可参见上述图8所对应的实施例中各个步骤所提供的实现方式，在此不再赘述。

基于本申请实施例提供的图片处理装置可以实现对图片的去压缩失真处理，将提取图片的梯度信息用于图片的去压缩失真处理，可提高图片的处理质量，提高图片去压缩失真的效率，运算复杂度低，适用性强。请参见图11，图11是本申请实施例提供的计算机设备的结构示意图。如图11所示，该计算机设备1000可以为上述图3、图9所对应实施例中的终端设备。该计算机设备1000可以包括：至少一个处理器1001，例如CPU，至少一个用户接口1003，网络接口1004，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，网络接口1004可选地可以包括标准的有线接口、无线接口(如WIFI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在图11所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003和处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：

获取第一样本图片，通过图片降质处理获得第一样本图片对应的第二样本图片；

通过梯度计算获得第二样本图片对应的第一梯度图片，并将第一梯度图片输入图片去压缩失真处理的第一网络，通过第一网络获得第一梯度图片关联的第二梯度图片；

将第二样本图片输入图片去压缩失真处理的第二网络，通过第二网络获得第二样本图片关联的第一自回归图片；

通过梯度计算获得第一样本图片对应的第三梯度图片，并通过梯度计算获得第一自回归图片对应的第四梯度图片；

基于第一网络中的多个梯度模块与第二网络中的多个梯度模块输出的梯度信息获取第二网络的多个梯度损失函数，基于第一样本图片、第一自回归图片、第二梯度图片、第三梯度图片以及第四梯度图片生成第二网络的第一损失函数，并基于多个梯度损失函数和第一损失函数生成第二网络的第二损失函数并更新第二网络的损失函数为第二损失函数。

在本申请实施例，基于第一样本图片的梯度信息可以有效减小了图片的压缩失真，同时提高了图片去压缩失真的效率，运算复杂度低，适用性强，扩展结果客观性强。

请参见图12，图12是本申请实施例提供的计算机设备的结构示意图。如图12所示，该计算机设备2000可以为上述图8、图10所对应实施例中的终端设备。该计算机设备2000可以包括：至少一个处理器2001，例如CPU，至少一个用户接口2003，网络接口2004，存储器2005，至少一个通信总线2002。其中，通信总线2002用于实现这些组件之间的连接通信。其中，网络接口2004可选地可以包括标准的有线接口、无线接口(如WIFI接口)。存储器2005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器2005可选地还可以是至少一个位于远离前述处理器2001的存储装置。如图12所示，作为一种计算机存储介质的存储器2005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在图12所示的计算机设备2000中，网络接口2004可提供网络通讯功能；而用户接口2003和处理器2001可以用于调用存储器2005中存储的设备控制应用程序，以实现：

获取第一样本图片，通过图片降质处理获得第一样本图片对应的第二样本图片；

通过梯度计算获得第二样本图片对应的第一梯度图片，并将第一梯度图片输入图片去压缩失真处理的第一网络，通过第一网络获得第一梯度图片关联的第二梯度图片；

将第二样本图片输入图片去压缩失真处理的第二网络，通过第二网络获得第二样本图片关联的第一自回归图片；

通过梯度计算获得第一样本图片对应的第三梯度图片，并通过梯度计算获得第一自回归图片对应的第四梯度图片；

基于第一网络中的多个梯度模块与第二网络中的多个梯度模块输出的梯度信息获取第二网络的多个梯度损失函数，基于第一样本图片、第一自回归图片、第二梯度图片、第三梯度图片以及第四梯度图片生成第二网络的第一损失函数，并基于多个梯度损失函数和第一损失函数生成第二网络的第二损失函数并更新第二网络的损失函数为第二损失函数；

至少基于第二损失函数对图片进行去压缩失真处理。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现图3中各个步骤所提供的图片去压缩失真网络的参数生成方法，具体可参见上述图3中各个步骤所提供的实现方式，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

上述计算机可读存储介质可以是前述任一实施例提供的图片去压缩失真网络的参数生成装置或者上述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备可执行前文图3所对应实施例中对图片去压缩失真网络的参数生成方法的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。基于本申请实施例提供的方法可有效减小图片的压缩失真，且本申请实施例提供的方法不仅能有效地提升图片的去压缩失真效率，还能减小运算的复杂程度，适用性强。

本申请实施例的说明书和权利要求书及附图中的术语“第二”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (12)

1.一种图片去压缩失真网络的参数生成方法，其特征在于，所述方法包括：

获取第一样本图片，通过图片降质处理获得所述第一样本图片对应的第二样本图片；

通过梯度计算获得所述第二样本图片对应的第一梯度图片，并将所述第一梯度图片输入图片去压缩失真处理的第一网络，通过所述第一网络获得所述第一梯度图片关联的第二梯度图片；

将所述第二样本图片输入图片去压缩失真处理的第二网络，通过所述第二网络获得第二样本图片关联的第一自回归图片；

通过梯度计算获得所述第一样本图片对应的第三梯度图片，并通过梯度计算获得所述第一自回归图片对应的第四梯度图片；

基于所述第一网络中的多个梯度模块与所述第二网络中的多个梯度模块输出的梯度信息获取所述第二网络的多个梯度损失函数，基于所述第一样本图片、所述第一自回归图片、所述第二梯度图片、所述第三梯度图片以及所述第四梯度图片生成所述第二网络的第一损失函数，并基于所述多个梯度损失函数和所述第一损失函数生成所述第二网络的第二损失函数并更新所述第二网络的损失函数为所述第二损失函数。

2.根据权利要求1所述的方法，其特征在于，所述第一网络包括第一输入模块、多个第一梯度模块以及第一输出模块；所述通过所述第一网络获得所述第一梯度图片关联的第二梯度图片，包括：

通过所述第一网络中包括的第一输入模块对所述第一梯度图片进行图片特征提取，以生成所述第一梯度图片的第一图片特征；

通过所述第一网络中包括的多个第一梯度模块对所述第一图片特征进行梯度信息提取，以生成所述第一梯度图片关联的多个第一梯度信息；

通过所述第一输出模块基于所述第一图片特征和所述多个第一梯度信息，生成所述第一梯度图片对应的第二梯度图片。

3.根据权利要求2所述的方法，其特征在于，所述第二网络包括第二输入模块、多个第二梯度模块以及第二输出模块；所述通过所述第二网络获得第二样本图片关联的第一自回归图片，包括：

通过所述第二网络中包括的第二输入模块对所述第二样本图片进行图片特征提取，以生成所述第二样本图片的第二图片特征；

通过所述第二网络中包括的多个第二梯度模块对所述第二图片特征进行梯度信息提取，以生成所述第二样本图片关联的多个第二梯度信息；

通过第二输出模块基于所述第二图片特征、所述多个第二梯度信息以及所述第二样本图片，生成所述第二样本图片对应的第一自回归图片。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一网络中的多个梯度模块与所述第二网络中的多个梯度模块输出的梯度信息获取多个梯度损失函数包括：

获取通过所述第一网络中包括的多个第一梯度模块对所述第一图片特征进行梯度信息提取的过程中各个所述第一梯度模块输出的梯度信息，并获取通过所述第二网络中包括的多个第二梯度模块对所述第二图片特征进行梯度信息提取的过程中各个所述第二梯度模块输出的梯度信息；

基于所述第一网络中第i个第一梯度模块输出的梯度信息和所述第二网络中第i个第二梯度模块输出的梯度信息生成所述第二网络的第i个梯度损失函数，以获得基于所述第一网络中各个第一梯度模块输出的梯度信息和所述第二网络中各个第二梯度模块输出的梯度信息生成的所述第二网络的多个梯度损失函数。

5.根据权利要求4所述的方法，其特征在于，所述第二网络的第一损失函数包括第一梯度损失函数、第二梯度损失函数以及第三梯度损失函数；所述基于所述第一样本图片、所述第一自回归图片、所述第二梯度图片、所述第三梯度图片以及所述第四梯度图片生成所述第二网络的第一损失函数包括：

基于所述第三梯度图片和所述第四梯度图片生成所述第一梯度损失函数，并基于所述第二梯度图片和所述第四梯度图片生成所述第二梯度损失函数；

基于所述第一样本图片和所述第一自回归图片生成所述第三梯度损失函数。

6.根据权利要求4所述的方法，其特征在于，所述基于所述多个梯度损失函数和所述第一损失函数生成所述第二网络的第二损失函数包括：

确定计算所述第二网络的损失函数时所述多个梯度损失函数、所述第一梯度损失函数、所述第二梯度损失函数和所述第三梯度损失函数的权重，基于所述多个梯度损失函数及其权重、所述第一梯度损失函数及其权重、所述第二梯度损失函数及其权重，以及所述第三梯度损失函数及其权重进行加权求和，以生成所述第二网络的第二损失函数。

7.根据权利要求1-6任一项所述的方法，其特征在于，在所述通过所述第一网络获得所述第一梯度图片关联的第二梯度图片之后，所述方法还包括：

基于所述第二梯度图片和所述第三梯度图片生成所述第一网络的梯度损失函数，并将所述第一网络的梯度损失函数作为所述第一网络的目标损失函数以更新所述第一网络的损失函数为所述目标损失函数。

8.一种图片处理方法，其特征在于，所述方法包括：

获取第一样本图片，通过图片降质处理获得所述第一样本图片对应的第二样本图片；

通过梯度计算获得所述第二样本图片对应的第一梯度图片，并将所述第一梯度图片输入图片去压缩失真处理的第一网络，通过所述第一网络获得所述第一梯度图片关联的第二梯度图片；

将所述第二样本图片输入图片去压缩失真处理的第二网络，通过所述第二网络获得第二样本图片关联的第一自回归图片；

通过梯度计算获得所述第一样本图片对应的第三梯度图片，并通过梯度计算获得所述第一自回归图片对应的第四梯度图片；

基于所述第一网络中的多个梯度模块与所述第二网络中的多个梯度模块输出的梯度信息获取所述第二网络的多个梯度损失函数，基于所述第一样本图片、所述第一自回归图片、所述第二梯度图片、所述第三梯度图片以及所述第四梯度图片生成所述第二网络的第一损失函数，并基于所述多个梯度损失函数和所述第一损失函数生成所述第二网络的第二损失函数并更新所述第二网络的损失函数为所述第二损失函数；

至少基于所述第二损失函数对图片进行去压缩失真处理。

9.一种图片去压缩失真网络的参数生成装置，其特征在于，包括：

获取模块，用于获取第一样本图片，通过图片降质处理获得所述第一样本图片对应的第二样本图片；

第一网络生成模块，用于通过梯度计算获得所述第二样本图片对应的第一梯度图片，并将所述第一梯度图片输入图片去压缩失真处理的第一网络，通过所述第一网络获得所述第一梯度图片关联的第二梯度图片；

第二网络生成模块，用于将所述第二样本图片输入图片去压缩失真处理的第二网络，通过所述第二网络获得第二样本图片关联的第一自回归图片；

梯度图片生成模块，用于通过梯度计算获得所述第一样本图片对应的第三梯度图片，并通过梯度计算获得所述第一自回归图片对应的第四梯度图片；

损失函数生成模块，用于基于所述第一网络中的多个梯度模块与所述第二网络中的多个梯度模块输出的梯度信息获取所述第二网络的多个梯度损失函数，基于所述第一样本图片、所述第一自回归图片、所述第二梯度图片、所述第三梯度图片以及所述第四梯度图片生成所述第二网络的第一损失函数，并基于所述多个梯度损失函数和所述第一损失函数生成所述第二网络的第二损失函数并更新所述第二网络的损失函数为所述第二损失函数。

10.一种计算机设备，其特征在于，包括：处理器、存储器以及网络接口；

所述处理器与所述存储器、所述网络接口相连，其中，所述网络接口用于提供数据通信功能，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行权利要求1-8任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行权利要求1-8任一项所述的方法。

12.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，所述计算机指令适于由处理器读取并执行，以使得具有所述处理器的计算机设备执行权利要求1-8任一项所述的方法。

Images