CN115829836A - 图像处理方法、装置、电子设备及模型训练方法 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、电子设备及模型训练方法。其中，该方法包括：获取待转换的第一图像；依据图像超分辨率模型将第一图像转换成第二图像，其中，第二图像的分辨率高于第一图像的分辨率，图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，目标损失函数包括差分损失函数和离散余弦变换损失函数；依据第二图像，生成与第二图像对应的视频。本申请解决了现有的超分辨率算法在生成超分辨率图像时存在精度较低的技术问题。

Description

图像处理方法、装置、电子设备及模型训练方法

技术领域

本申请涉及图像识别领域，具体而言，涉及一种图像处理方法、装置、电子设备及模型训练方法。

背景技术

在当前主流的图像、视频软件中，存储不同分辨率的图像和视频会耗费巨大的存储空间和传输带宽，造成成本的增加，为了便于存储和传输，通常会对图像和视频进行压缩。当前多数显示设备会在图像和视频观看时使用超分辨率算法来提升显示效果，但当前的超分辨率算法往往会在主观感知度和客观评价指标之间不能取得平衡，造成主观和客观上的顾此失彼，导致在生成超分辨率图像时存在精度较低的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种图像处理方法、装置、电子设备及模型训练方法，以至少解决现有的超分辨率算法在生成超分辨率图像时存在精度较低的技术问题。

根据本申请实施例的一个方面，提供了一种图像处理方法，包括：获取待转换的第一图像；依据图像超分辨率模型将第一图像转换成第二图像，其中，第二图像的分辨率高于第一图像的分辨率，图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，目标损失函数包括差分损失函数和离散余弦变换损失函数；依据第二图像，生成与第二图像对应的视频。

可选地，获取待转换的第一图像，包括：获取待转换的第一视频数据，其中，第一视频数据为对高分辨率视频数据进行压缩得到的，高分辨率视频数据由高分辨率图像组成；将第一视频数据按照预设方式截取，并为截取得到的第一图像标记截取编号，其中，截取编号用于表征第一图像的截取顺序。

可选地，图像超分辨率模型是通过以下方式训练得到的：获取训练图像，其中，训练图像为低分辨率图像；将训练图像输入生成对抗网络模型进行训练，并将生成对抗网络模型的损失函数替换为目标损失函数；依据目标损失函数调整生成对抗网络模型的参数，得到图像超分辨率模型。

可选地，差分损失函数为通过以下方式确定的：分别获取图像超分辨率模型生成的第二图像与高分辨率图像在图像高度和图像宽度上的像素之间的差值；至少依据差值、超分辨率图像的高度和宽度，确定差分损失函数，其中，第二图像和高分辨率图像的高度和宽度相同。

可选地，离散余弦变换损失函数为通过以下方式确定的：对高分辨率图像进行离散余弦变换，得到第一变换值；对图像超分辨率模型生成的第二图像进行离散余弦变换，得到第二变换值；至少依据第一变换值、第二变换值，以及第二图像的宽度和高度，确定离散余弦变换损失函数。

可选地，依据第二图像，生成与第二图像对应的视频，包括：获取第二图像，以及第二图像对应的截取编号，其中，第二图像对应的截取编号为第二图像转换前的第一图像所标记的截取编号；将第二图像按照截取编号进行拼接，得到与第二图像对应的第二视频。

根据本申请实施例的另一方面，还提供了一种模型训练方法，包括：获取样本图像；将样本图像输入生成对抗网络模型进行训练，得到预测图像，其中，预测图像的分辨率高于样本图像的分辨率；采用差分损失函数确定样本图像的真实图像和预测图像之间的第一差异，以及采用离散余弦变换损失函数确定样本图像的真实图像和预测图像之间的第二差异；依据第一差异和第二差异调整生成对抗网络模型的模型参数。

可选地，差分损失函数为通过以下方式确定的：分别获取预测图像与样本图像的真实图像在图像高度和图像宽度上的像素之间的差值；至少依据差值、预测图像的高度和宽度，确定差分损失函数，其中，预测图像和样本图像的真实图像的高度和宽度相同。

可选地，离散余弦变换损失函数为通过以下方式确定的：对样本图像的真实图像进行离散余弦变换，得到第一变换值；对预测图像进行离散余弦变换，得到第二变换值；至少依据第一变换值、第二变换值，以及预测图像的宽度和高度，确定离散余弦变换损失函数。

根据本申请实施例的又一方面，还提供了一种图像处理装置，包括：获取模块，用于获取待转换的第一图像；转换模块，用于依据图像超分辨率模型将第一图像转换成第二图像，其中，第二图像的分辨率高于第一图像的分辨率，图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，目标损失函数包括差分损失函数和离散余弦变换损失函数；生成模块，用于依据第二图像，生成与第二图像对应的视频。

根据本申请实施例的再一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的计算机程序，其中，计算机程序运行时执行上述图像处理方法，或执行上述模型训练方法。

根据本申请实施例的再一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的计算机程序，其中，该非易失性存储介质所在设备通过运行计算机程序执行上述图像处理方法，或执行上述模型训练方法。

在本申请实施例中，通过获取待转换的第一图像；依据图像超分辨率模型将第一图像转换成第二图像，其中，第二图像的分辨率高于第一图像的分辨率，图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，目标损失函数包括差分损失函数和离散余弦变换损失函数；依据第二图像，生成与第二图像对应的视频，达到了使用目标损失函数调整生成对抗网络得到图像超分辨率模型的目的，从而实现了增强图像中物体的边缘纹理特征信息的技术效果，进而解决了现有的超分辨率算法在生成超分辨率图像时存在精度较低的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种用于实现图像处理方法或模型训练方法的计算机终端(或电子设备)的硬件结构框图；

图2是根据本申请实施例的一种图像处理方法的流程图；

图3是根据本申请实施例的一种不同模型处理图像的效果图；

图4是根据本申请实施例的一种模型训练方法的流程图；

图5是根据本申请实施例的一种图像处理装置的结构图；

图6是根据本申请实施例的一种模型训练装置的结构图；

图7是根据本申请实施例的一种将低分辨率视频转换为超分辨率视频的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例所提供的图像处理方法或模型训练方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法或模型训练方法的计算机终端(或电子设备)的硬件结构框图。如图1所示，计算机终端10(或电子设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或电子设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的图像处理方法或模型训练方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法或模型训练方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或电子设备)的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或电子设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或电子设备)中的部件的类型。

在上述运行环境下，本申请实施例提供了一种图像处理方法和模型训练方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本申请实施例的一种图像处理方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取待转换的第一图像；

步骤S204，依据图像超分辨率模型将第一图像转换成第二图像，其中，第二图像的分辨率高于第一图像的分辨率，图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，目标损失函数包括差分损失函数和离散余弦变换损失函数；

步骤S206，依据第二图像，生成与第二图像对应的视频。

在上述步骤S202至步骤S206中，第一图像可以为低分辨率图像，第二图像可以为超分辨率图像，使用上述目标损失函数调整原始的生成对抗网络模型，从而得到图像超分辨率模型，使用训练好的图像超分辨率模型将低分辨率图像转换成高分辨率图像，可以使得转换后得到的超分辨率图像的显示效果更好，给用户带来更好的主观视觉感受。

在上述图像处理方法中的步骤S202中，获取待转换的第一图像，具体包括如下步骤：获取待转换的第一视频数据，其中，第一视频数据为对高分辨率视频数据进行压缩得到的，高分辨率视频数据由高分辨率图像组成；将第一视频数据按照预设方式截取，并为截取得到的第一图像标记截取编号，其中，截取编号用于表征第一图像的截取顺序。

在本申请实施例中，为了方便图像或视频的存储，通常会对原始的高分辨率图像或高分辨率视频数据进行压缩，从而得到压缩后的低分辨率图像或低分辨率视频数据，而在显示设备显示这些经过压缩后的低分辨率图像或低分辨率视频数据时，为了提升显示效果，通常会使用超分辨率算法将低分辨率图像转换成超分辨率图像。

当需要对低分辨率视频数据进行转换时，首先需获取待转换的低分辨率视频数据，也即上述第一视频数据，通过将低分辨率视频数据按预设方式截取，可以得到与低分辨率视频数据对应的至少一张低分辨率图像，该预设方式可以为按帧截取，例如，每隔一帧截取一张低分辨率图像，或者按照奇数帧和偶数帧进行截取等，该截取方式可以预先设置，在本申请实施例并不限制具体的截取方式。

在将低分辨率视频数据按照预设方式截取后，需要对截取得到的低分辨率图像标记截取编号，该低分辨率图像也即上述第一图像。以按照每隔一帧截取一张低分辨率图像为例进行说明，在对低分辨率视频数据按照每帧截取的方式截取后，得到多张低分辨率图像，并为得到的低分辨率图像标记截取编号，如标记为图像1、图像2……图像n，该截取编号即表征了低分辨率图像的截取顺序。

在上述图像处理方法中的步骤S204中，图像超分辨率模型是通过以下方式训练得到的：获取训练图像，其中，训练图像为低分辨率图像；将训练图像输入生成对抗网络模型进行训练，并将生成对抗网络模型的损失函数替换为目标损失函数；依据目标损失函数调整生成对抗网络模型的参数，得到图像超分辨率模型。

在本申请实施例中，使用低分辨率图像训练原始的生成对抗网络模型，并将生成对抗网络模型中的损失函数替换为差分损失函数和离散余弦变换损失函数，差分损失函数和离散余弦变换损失函数也即上述目标损失函数，通过目标损失函数计算生成对抗网络模型生成的图像和高分辨率图像之间的差异，并对生成对抗网络模型进行调整，调整结束后即可得到图像超分辨率模型，需要说明的是，上述高分辨率图像是低分辨率视频数据压缩前所对应的高分辨率视频数据中的图像，上述图像超分辨率模型是为了将压缩后的低分辨率图像还原成原始的高分辨率图像，而通过上述目标损失函数的调整得到的图像超分辨率模型具有更好的还原效果。

在上述图像处理方法中的步骤S204中，差分损失函数为通过以下方式确定的：分别获取图像超分辨率模型生成的第二图像与高分辨率图像在图像高度和图像宽度上的像素之间的差值；至少依据差值、超分辨率图像的高度和宽度，确定差分损失函数，其中，第二图像和高分辨率图像的高度和宽度相同。

在本申请实施例中，差分损失函数可使用如下公式计算：

在上述公式中，l_d表示差分损失，W和H为图像的宽度和高度，I^HR为与低分辨率图像(即第一图像)压缩前对应的高分辨率图像的像素值，I^SR为模型生成的超分辨率图像(即第二图像)的像素值，

为高分辨率图像在宽度上的像素值，

为超分辨率图像在宽度上的像素值，

为高分辨率图像在高度上的像素值，

为超分辨率图像在高度上的像素值，d_x表示在x轴方向上的微分，d_y表示在y轴方向上的微分。需要说明的是，同一张图像对应的超分辨率图像、高分辨率图像以及低分辨率图像的高度和宽度相同。

在上述图像处理方法中的步骤S204中，离散余弦变换损失函数为通过以下方式确定的：对高分辨率图像进行离散余弦变换，得到第一变换值；对图像超分辨率模型生成的第二图像进行离散余弦变换，得到第二变换值；至少依据第一变换值、第二变换值，以及第二图像的宽度和高度，确定离散余弦变换损失函数。

在本申请实施例中，离散余弦变换损失函数可使用如下公式计算：

在上述公式中，l_dct表示离散余弦变换损失，DCT表示离散余弦变换函数。

根据上述差分损失函数和离散余弦变换损失函数对原始的生成对抗网络模型进行参数调整，在模型训练的过程中，需同时满足这两个损失函数时才对模型进行参数调整，使用差分损失函数和离散余弦变换损失函数对生成对抗网络模型进行调整，可以有效增强图像或视频中物体的边缘纹理特征信息，图3为不同模型处理图像的效果图，在图3中，HR表示高分辨率图像，Ours表示本申请中得到的图像超分辨率模型，从图3中可以看出，使用本申请实施例中得到的图像超分辨率模型生成的超分辨率图像几乎不见伪影，在整体达到了更好的视觉效果，同时在客观评价指标(如PSNR指标、SSIM指标)上也有较好的效果，在图3中，使用本申请中得到的图像超分辨率模型在PSNR指标下为22.23，在SSIM指标下为0.49，而使用其他模型，例如ESRGAN模型在PSNR指标下为21.48，在SSIM指标下为0.46，因此，本申请中得到的图像超分辨率模型具有更好的视觉效果。

在上述图像处理方法中的步骤S206中，依据第二图像，生成与第二图像对应的视频，具体包括如下步骤：获取第二图像，以及第二图像对应的截取编号，其中，第二图像对应的截取编号为第二图像转换前的第一图像所标记的截取编号；将第二图像按照截取编号进行拼接，得到与第二图像对应的第二视频。

在本申请实施例中，在使用图像超分辨率模型将低分辨率图像转换成超分辨率图像(即第二图像)之后，该转换的超分辨率图像也具有截取编号，且超分辨率图像的截取编号与转换前的低分辨率图像具有的截取编号相同，根据该截取编号可以确定超分辨率图像的顺序，进而根据该顺序可将转换后的超分辨率图像拼接成超分辨率视频。

图4是根据本申请实施例的一种模型训练方法的流程图，如图4所示，该方法包括：

步骤S402，获取样本图像；

步骤S404，将样本图像输入生成对抗网络模型进行训练，得到预测图像，其中，预测图像的分辨率高于样本图像的分辨率；

步骤S406，采用差分损失函数确定样本图像的真实图像和预测图像之间的第一差异，以及采用离散余弦变换损失函数确定样本图像的真实图像和预测图像之间的第二差异；

步骤S408，依据第一差异和第二差异调整生成对抗网络模型的模型参数。

在上述模型训练方法中的步骤S406中，差分损失函数为通过以下方式确定的：分别获取预测图像与样本图像的真实图像在图像高度和图像宽度上的像素之间的差值；至少依据差值、预测图像的高度和宽度，确定差分损失函数，其中，预测图像和样本图像的真实图像的高度和宽度相同。

在上述模型训练方法中的步骤S406中，离散余弦变换损失函数为通过以下方式确定的：对样本图像的真实图像进行离散余弦变换，得到第一变换值；对预测图像进行离散余弦变换，得到第二变换值；至少依据第一变换值、第二变换值，以及预测图像的宽度和高度，确定离散余弦变换损失函数。

需要说明的是，图4所示的模型训练方法可以用于训练生成对抗网络模型，进而可以得到图像超分辨率模型，差分损失函数和离散余弦变换损失函数的相关公式参见上文描述，此处不再赘述。

图5是根据本申请实施例的一种图像处理装置的结构图，如图5所示，该装置包括：

获取模块502，用于获取待转换的第一图像；

转换模块504，用于依据图像超分辨率模型将第一图像转换成第二图像，其中，第二图像的分辨率高于第一图像的分辨率，图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，目标损失函数包括差分损失函数和离散余弦变换损失函数；

生成模块506，用于依据第二图像，生成与第二图像对应的视频。

在上述图像处理装置中的获取模块中，获取模块还用于获取待转换的第一视频数据，其中，第一视频数据为对高分辨率视频数据进行压缩得到的，高分辨率视频数据由高分辨率图像组成；将第一视频数据按照预设方式截取，并为截取得到的第一图像标记截取编号，其中，截取编号用于表征第一图像的截取顺序。

在上述图像处理装置中，图像超分辨率模型是通过以下方式训练得到的：获取训练图像，其中，训练图像为低分辨率图像；将训练图像输入生成对抗网络模型进行训练，并将生成对抗网络模型的损失函数替换为目标损失函数；依据目标损失函数调整生成对抗网络模型的参数，得到图像超分辨率模型。

在上述图像处理装置中，差分损失函数为通过以下方式确定的：分别获取图像超分辨率模型生成的第二图像与高分辨率图像在图像高度和图像宽度上的像素之间的差值；至少依据差值、第二图像的高度和宽度，确定差分损失函数，其中，超分辨率图像和高分辨率图像的高度和宽度相同。

在上述图像处理装置中，离散余弦变换损失函数为通过以下方式确定的：对高分辨率图像进行离散余弦变换，得到第一变换值；对图像超分辨率模型生成的第二图像进行离散余弦变换，得到第二变换值；至少依据第一变换值、第二变换值，以及第二图像的宽度和高度，确定离散余弦变换损失函数。

在上述图像处理装置中的生成模块中，生成模块还用于获取第二图像，以及第二图像对应的截取编号，其中，第二图像对应的截取编号为第二图像转换前的第一图像所标记的截取编号；将第二图像按照截取编号进行拼接，得到与第二图像对应的第二视频。

需要说明的是，图5所示的图像处理装置用于执行图2所示的图像处理方法，因此图2中关于图像处理方法中的相关解释说明也适用于该图像处理装置，此处不再赘述。

图6是根据本申请实施例的一种模型训练装置的结构图，如图6所示，该装置包括：

第一获取模块602，用于获取样本图像；

输入模块604，用于将样本图像输入生成对抗网络模型进行训练，得到预测图像，其中，预测图像的分辨率高于样本图像的分辨率；

确定模块606，用于采用差分损失函数确定样本图像的真实图像和预测图像之间的第一差异，以及采用离散余弦变换损失函数确定样本图像的真实图像和预测图像之间的第二差异；

调整模块608，用于依据第一差异和第二差异调整生成对抗网络模型的模型参数。

在上述模型训练装置中，差分损失函数为通过以下方式确定的：分别获取预测图像与样本图像的真实图像在图像高度和图像宽度上的像素之间的差值；至少依据差值、预测图像的高度和宽度，确定差分损失函数，其中，预测图像和样本图像的真实图像的高度和宽度相同。

在上述模型训练装置中，离散余弦变换损失函数为通过以下方式确定的：对样本图像的真实图像进行离散余弦变换，得到第一变换值；对预测图像进行离散余弦变换，得到第二变换值；至少依据第一变换值、第二变换值，以及预测图像的宽度和高度，确定离散余弦变换损失函数。

需要说明的是，图6所示的模型训练装置用于执行图4所示的模型训练方法，因此上述模型训练方法中的相关解释说明也适用于该模型训练装置，此处不再赘述。

图7是根据本申请实施例的一种将低分辨率视频转换为超分辨率视频的流程图，如图7所示，将低分辨率视频按预设方式截取后，得到低分辨率图像，该低分辨率视频是将高分辨率视频压缩后得到的，通过将低分辨率图像输入训练好的图像超分辨率模型，生成超分辨率图像，对生成的超分辨率图像进行拼接处理，即可得到超分辨率视频。在对图像超分辨率模型进行训练的过程中，将训练图像(如低分辨率图像)输入原始的生成对抗网络模型进行训练，得到超分辨率图像，通过差分损失函数和离散余弦变换损失函数不断计算训练过程中的超分辨率图像和高分辨率图像之间的差异，从而根据差异结果更新原始的生成对抗网络模型的参数，最终得到图像超分辨率模型。

本申请实施例还提供了一种非易失性存储介质，该非易失性存储介质包括存储的计算机程序，其中，该非易失性存储介质所在设备通过运行计算机程序执行以下图像处理方法：获取待转换的第一图像；依据图像超分辨率模型将第一图像转换成第二图像，其中，第二图像的分辨率高于第一图像的分辨率，图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，目标损失函数包括差分损失函数和离散余弦变换损失函数；依据第二图像，生成与第二图像对应的视频。

上述非易失性存储介质所在设备通过运行计算机程序还可以执行以下模型训练方法：获取样本图像；将样本图像输入生成对抗网络模型进行训练，得到预测图像，其中，预测图像的分辨率高于样本图像的分辨率；采用差分损失函数确定样本图像的真实图像和预测图像之间的第一差异，以及采用离散余弦变换损失函数确定样本图像的真实图像和预测图像之间的第二差异；依据第一差异和第二差异调整生成对抗网络模型的模型参数。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取待转换的第一图像；

依据图像超分辨率模型将所述第一图像转换成第二图像，其中，所述第二图像的分辨率高于所述第一图像的分辨率，所述图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，所述目标损失函数包括差分损失函数和离散余弦变换损失函数；

依据所述第二图像，生成与所述第二图像对应的视频。

2.根据权利要求1所述的方法，其特征在于，获取待转换的第一图像，包括：

获取待转换的第一视频数据，其中，所述第一视频数据为对高分辨率视频数据进行压缩得到的，所述高分辨率视频数据由高分辨率图像组成；

将所述第一视频数据按照预设方式截取，并为截取得到的第一图像标记截取编号，其中，所述截取编号用于表征所述第一图像的截取顺序。

3.根据权利要求1所述的方法，其特征在于，所述图像超分辨率模型是通过以下方式训练得到的：

获取训练图像，其中，所述训练图像为低分辨率图像；

将所述训练图像输入所述生成对抗网络模型进行训练，并将所述生成对抗网络模型的损失函数替换为所述目标损失函数；

依据所述目标损失函数调整所述生成对抗网络模型的参数，得到所述图像超分辨率模型。

4.根据权利要求2所述的方法，其特征在于，所述差分损失函数为通过以下方式确定的：

分别获取所述图像超分辨率模型生成的第二图像与所述高分辨率图像在图像高度和图像宽度上的像素之间的差值；

至少依据所述差值、所述超分辨率图像的高度和宽度，确定所述差分损失函数，其中，所述第二图像和所述高分辨率图像的高度和宽度相同。

5.根据权利要求2所述的方法，其特征在于，所述离散余弦变换损失函数为通过以下方式确定的：

对所述高分辨率图像进行离散余弦变换，得到第一变换值；

对所述图像超分辨率模型生成的第二图像进行离散余弦变换，得到第二变换值；

至少依据所述第一变换值、所述第二变换值，以及所述第二图像的宽度和高度，确定所述离散余弦变换损失函数。

6.根据权利要求2所述的方法，其特征在于，依据所述第二图像，生成与所述第二图像对应的视频，包括：

获取所述第二图像，以及所述第二图像对应的截取编号，其中，所述第二图像对应的截取编号为所述第二图像转换前的第一图像所标记的截取编号；

将所述第二图像按照所述截取编号进行拼接，得到与所述第二图像对应的第二视频。

7.一种模型训练方法，其特征在于，包括：

获取样本图像；

将所述样本图像输入生成对抗网络模型进行训练，得到预测图像，其中，所述预测图像的分辨率高于所述样本图像的分辨率；

采用差分损失函数确定所述样本图像的真实图像和所述预测图像之间的第一差异，以及采用离散余弦变换损失函数确定所述样本图像的真实图像和所述预测图像之间的第二差异；

依据所述第一差异和所述第二差异调整所述生成对抗网络模型的模型参数。

8.根据权利要求7所述的方法，其特征在于，所述差分损失函数为通过以下方式确定的：

分别获取所述预测图像与所述样本图像的真实图像在图像高度和图像宽度上的像素之间的差值；

至少依据所述差值、所述预测图像的高度和宽度，确定所述差分损失函数，其中，所述预测图像和所述样本图像的真实图像的高度和宽度相同。

9.根据权利要求7所述的方法，其特征在于，所述离散余弦变换损失函数为通过以下方式确定的：

对所述样本图像的真实图像进行离散余弦变换，得到第一变换值；

对所述预测图像进行离散余弦变换，得到第二变换值；

至少依据所述第一变换值、所述第二变换值，以及所述预测图像的宽度和高度，确定所述离散余弦变换损失函数。

10.一种图像处理装置，其特征在于，包括：

获取模块，用于获取待转换的第一图像；

转换模块，用于依据图像超分辨率模型将所述第一图像转换成第二图像，其中，所述第二图像的分辨率高于所述第一图像的分辨率，所述图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，所述目标损失函数包括差分损失函数和离散余弦变换损失函数；

生成模块，用于依据所述第二图像，生成与所述第二图像对应的视频。

11.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的计算机程序，其中，所述计算机程序运行时执行权利要求1至6中任意一项所述的图像处理方法，或执行权利要求7至9中任意一项所述的模型训练方法。

12.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的计算机程序，其中，所述非易失性存储介质所在设备通过运行所述计算机程序执行权利要求1至6中任意一项所述的图像处理方法，或执行权利要求7至9中任意一项所述的模型训练方法。

Images