CN116071478B - 图像重建模型的训练方法和虚拟场景渲染方法 - Google Patents

Abstract

本申请涉及一种基于人工智能技术的图像重建模型的训练方法和虚拟场景渲染方法。所述图像重建模型的训练方法包括：获取低分辨率样本图像和相应的标准高分辨率样本图像；通过生成网络对低分辨率样本图像进行解码，得到解码特征，并根据解码特征生成模拟高分辨率样本图像；通过判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过判别网络提取模拟高分辨率样本图像中的低频信息，得到低频特征图；融合高频特征图和低频特征图，得到模拟高分辨率图像；基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行对抗训练，以得到训练好的图像重建模型。采用本方法能够合理优化低分辨率贴图资源。

Description

图像重建模型的训练方法和虚拟场景渲染方法

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像重建模型的训练方法和虚拟场景渲染方法。

背景技术

虚拟场景的呈现往往是通过渲染预先绘制好的贴图来展示材质纹理等效果。高分辨率的贴图能够包含更多的图像细节，因此为了呈现更加真实细腻的虚拟场景，往往会使用更高分辨率的贴图资源。

传统技术中通过对贴图进行高分辨率重建的方式将低分辨率的贴图转换为高分辨率的贴图。然而这种方式通常是对贴图整体全局提高分辨率，虽然提升了贴图的整体视觉效果，但同时牺牲了硬件性能，导致需要使用的CPU（Central Processing Unit，中央处理器）和GPU（GraphicsProcessing Unit，图形处理器）等硬件资源呈指数倍增加。

发明内容

基于此，有必要针对上述技术问题，提供一种能够合理优化低分辨率贴图资源的图像重建模型的训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，以及虚拟场景渲染方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

一方面，本申请提供了一种图像重建模型的训练方法。所述方法包括：

获取低分辨率样本图像和相应的标准高分辨率样本图像；

通过图像重建模型中的生成网络对所述低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像；

通过所述图像重建模型中的判别网络，提取所述模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过所述判别网络提取所述模拟高分辨率样本图像中的低频信息，得到低频特征图；

融合所述高频特征图和所述低频特征图，得到模拟高分辨率图像；

基于所述模拟高分辨率图像和所述标准高分辨率样本图像，对所述图像重建模型进行对抗训练，以得到训练好的图像重建模型；其中，所述训练好的图像重建模型中的生成网络，用于提升输入的图像的分辨率。

另一方面，本申请还提供了一种图像重建模型的训练装置。所述装置包括：

获取模块，用于获取低分辨率样本图像和相应的标准高分辨率样本图像；

生成模块，用于通过图像重建模型中的生成网络对所述低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像；

判别模块，用于通过所述图像重建模型中的判别网络，提取所述模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过所述判别网络提取所述模拟高分辨率样本图像中的低频信息，得到低频特征图；

融合模块，用于融合所述高频特征图和所述低频特征图，得到模拟高分辨率图像；

训练模块，用于基于所述模拟高分辨率图像和所述标准高分辨率样本图像，对所述图像重建模型进行对抗训练，以得到训练好的图像重建模型；其中，所述训练好的图像重建模型中的生成网络，用于提升输入的图像的分辨率。

另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像重建模型的训练方法的步骤。

另一方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像重建模型的训练方法的步骤。

另一方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述图像重建模型的训练方法的步骤。

上述图像重建模型的训练方法、装置、计算机设备、存储介质和计算机程序产品，通过获取低分辨率样本图像和相应的标准高分辨率样本图像，并通过图像重建模型中的生成网络对低分辨率样本图像进行解码处理，得到解码特征，并根据解码特征生成模拟高分辨率样本图像，从而实现通过生成网络生成“假的”高分辨率样本图像；再通过图像重建模型中的判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过判别网络提取模拟高分辨率样本图像中的低频信息，得到低频特征图，通过不同的通道来分别提取样本图像中的高频信息和低频信息，能够对样本图像进行有针对性地优化训练；再融合所得到的高频特征图和低频特征图，得到模拟高分辨率图像，并基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行对抗训练，判别网络能够用于对生成网络的训练进行约束，最终得到训练好的图像重建模型。由此，训练好的图像重建模型中的生成网络即可用于提升输入的图像的分辨率，实现对低分辨率图像的分辨率重建。并且，通过以设置高频通道和低频通道的判别网络对抗训练得到的生成网络，来对输入的图像的分辨率进行优化，能够对图像中的高频部分和低频部分进行区别性地提升，能够在提升重建图像的分辨率、提高图像的视觉效果的同时，避免额外的硬件资源的消耗，降低了对处理器的资源占用。

另一方面，本申请还提供了一种虚拟场景渲染方法。所述方法包括：

获取用以对虚拟场景进行渲染的初始贴图；

将所述初始贴图输入至图像重建模型的生成网络中，通过所述生成网络输出与所述初始贴图相对应的高分辨率重建贴图；

预测通过所述初始贴图渲染所述虚拟场景所耗费的第一资源消耗，以及预测通过所述高分辨率重建贴图渲染所述虚拟场景所耗费的第二资源消耗；

在所述第一资源消耗与所述第二资源消耗间的差异满足预设差异条件的情况下，通过所述高分辨率重建贴图渲染所述虚拟场景。

另一方面，本申请还提供了一种虚拟场景渲染装置。所述装置包括：

获取模块，用于获取用以对虚拟场景进行渲染的初始贴图；

生成模块，用于将所述初始贴图输入至图像重建模型的生成网络中，通过所述生成网络输出与所述初始贴图相对应的高分辨率重建贴图；

预测模块，用于预测通过所述初始贴图渲染所述虚拟场景所耗费的第一资源消耗，以及预测通过所述高分辨率重建贴图渲染所述虚拟场景所耗费的第二资源消耗；

渲染模块，用于在所述第一资源消耗与所述第二资源消耗间的差异满足预设差异条件的情况下，通过所述高分辨率重建贴图渲染所述虚拟场景。

另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述虚拟场景渲染方法的步骤。

另一方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述虚拟场景渲染方法的步骤。

另一方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述虚拟场景渲染方法的步骤。

上述虚拟场景渲染方法、装置、计算机设备、存储介质和计算机程序产品，通过获取用以对虚拟场景进行渲染的初始贴图，并将该初始贴图输入至图像重建模型的生成网络中，通过预先训练好的该生成网络输出与初始贴图相对应的高分辨率重建贴图，该高分辨率重建贴图即为该初始贴图的高分辨率版本。通过预测通过初始贴图渲染虚拟场景所耗费的第一资源消耗，以及预测通过高分辨率重建贴图渲染虚拟场景所耗费的第二资源消耗，将该第一资源消耗与该第二资源消耗进行比较，在第一资源消耗与第二资源消耗间的差异满足预设差异条件的情况下，实现了对初始贴图的贴图资源优化，所得到的高分辨率重建贴图能够在尽可能减少对硬件资源的消耗的情况下同时提升了分辨率。由此，通过生成网络所输出的高分辨率重建贴图渲染虚拟场景，能够降低CPU和GPU的资源消耗的同时生成更加高清的虚拟场景，提升了虚拟场景进行渲染的性能。

附图说明

图1为一个实施例中图像重建模型的训练方法的应用环境图；

图2为一个实施例中图像重建模型的训练方法的流程示意图；

图3为一个实施例中不同分辨率的样本图像的示意图；

图4为一个实施例中生成网络解码处理的原理示意图；

图5为一个实施例中生成网络的结构示意图；

图6为一个实施例中判别网络的原理示意图；

图7为一个实施例中图像重建模型训练阶段的原理示意图；

图8为一个实施例中判别网络中多通道处理的示意图；

图9为一个实施例中对重建的贴图进行性能测试的流程示意图；

图10为一个实施例中渲染虚拟场景时加载贴图资源的示意图；

图11为一个实施例中虚拟场景渲染方法的流程示意图；

图12为一个实施例中图像重建模型的训练装置的结构框图；

图13为一个实施例中虚拟场景渲染装置的结构框图；

图14为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的图像重建模型的训练方法，可以应用于如图1所示的应用环境中。其中，终端102与服务器104连接以进行通信。终端102和服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。

本申请实施例提供的图像重建模型的训练方法，可以由终端102或服务器104执行，也可以由终端102和服务器104协同执行。在一些实施例中，终端102或者服务器104获取低分辨率样本图像和相应的标准高分辨率样本图像，并通过图像重建模型中的生成网络对低分辨率样本图像进行解码，得到解码特征，并根据解码特征生成模拟高分辨率样本图像。终端102或者服务器104通过图像重建模型中的判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过判别网络提取模拟高分辨率样本图像中的低频信息，得到低频特征图；融合高频特征图和低频特征图，得到模拟高分辨率图像。进而，终端102或者服务器104基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行对抗训练，以得到训练好的图像重建模型。

在另一些实施例中，终端102将所获取的低分辨率样本图像和相应的标准高分辨率样本图像，发送至服务器104，以供服务器104接收低分辨率样本图像和相应的标准高分辨率样本图像，并通过图像重建模型中的生成网络对低分辨率样本图像进行解码，得到解码特征，并根据解码特征生成模拟高分辨率样本图像。进而，服务器104通过图像重建模型中的判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过判别网络提取模拟高分辨率样本图像中的低频信息，得到低频特征图；融合高频特征图和低频特征图，得到模拟高分辨率图像。最终，服务器104基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行对抗训练，以得到训练好的图像重建模型。其中，所训练好的图像重建模型用于提升输入的图像的分辨率，可以部署在服务器104中，也可以供终端102下载并存储至终端102本地。

在一些实施例中，终端102或服务器104可以将提升了分辨率的图像应用于二维或三维虚拟场景的渲染中。所指的二维或三维虚拟场景的渲染，包括对二维或三维的虚拟环境（例如天空、大地、墙面等）的渲染、二维或三维的虚拟物品（例如桌子、苹果、树木等）的渲染、或者对二维或三维的虚拟角色（例如动画角色、游戏角色等）的渲染等中的一种或多种。在上述场景中，终端102或服务器104可以获取低分辨率的贴图，并通过训练好的图像重建模型生成重建的高分辨率的贴图，并基于该高分辨率的贴图进行渲染，从而呈现高清的二维或三维虚拟场景。

其中，终端可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备、便携式可穿戴设备、或者沉浸式图像显示设备等中的一种或多种。物联网设备可为智能音箱、智能电视、智能空调、或者智能车载设备等中的一种或多种。便携式可穿戴设备可为智能手表、智能手环、或者头戴设备等中的一种或多种。沉浸式图像显示设备包括但不限于增强现实（Augmented Reality，AR）设备、虚拟现实（Virtual Reality，VR）设备等。

示例性地，终端可以为VR（Virtual Reality，虚拟现实）一体机。其中，VR一体机是具备独立处理器的虚拟现实头戴式显示设备。VR一体机具备了独立运算、输入和输出的功能，不需要额外连接PC（个人计算机）等设备来提供算力。由此，终端可以通过加载贴图资源并渲染贴图，从而展示三维虚拟场景。

在一些实施例中，终端上可装载有APP（Application）应用程序，例如游戏应用程序等。终端可以通过运行游戏应用程序向用户提供可交互的二维虚拟游戏场景、或者三维虚拟游戏场景等。举例而言，在三维虚拟游戏场景中，在终端通过显示装置所呈现的三维虚拟游戏场景中，用户可以通过显示装置（例如VR眼镜等）查看终端根据贴图渲染生成的三维虚拟游戏场景。示例性地，终端在运行游戏应用程序时，通过运行游戏引擎来实现三维虚拟游戏场景的渲染功能。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中，人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能软件技术主要包括计算机视觉技术、以及机器学习/深度学习等方向。以计算机视觉技术而言，计算机视觉技术通常包括图像处理、图像识别、3D技术、虚拟现实、以及增强现实等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如图像领域、视频领域、以及游戏领域等。随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

在一些实施例中，如图2所示，提供了一种基于人工智能技术的图像重建模型的训练方法，该方法可以应用于终端或服务器，也可以由终端和服务器协同执行。下面以该方法应用于计算机设备为例进行说明，该计算机设备可以是终端或服务器。该方法包括以下步骤：

步骤S202，获取低分辨率样本图像和相应的标准高分辨率样本图像。

图像分辨率（Pixels Per Inch，PPI）指的是每英寸图像内像素点的数量，通常用于衡量图像中存储的信息量。一般情况下，图像分辨率越高，从视觉效果上直观感受到的清晰度越高；图像分辨率越低，视觉效果越模糊。

其中，低分辨率样本图像指的是图像分辨率低于标准分辨率的样本图像。其中，标准分辨率于训练阶段设定，以作为区分样本图像的参考标准。比如，计算机设备获取多张样本图像，并将图像分辨率低于该标准分辨率的样本图像，作为低分辨率样本图像。

相应地，标准高分辨率样本图像指的是图像分辨率符合标准分辨率的样本图像。标准高分辨率样本图像用于作为对低分辨率样本图像进行重建的参考标准。在一些实施例中，计算机设备可以将图像分辨率大于或等于标准分辨率的样本图像，均作为标准高分辨率样本图像。

示例性地，如图3所示，计算机设备预先设定标准分辨率为50PPI，则将图像分辨率例如为10PPI的图像（a）作为低分辨率样本图像，将图像分辨率例如为80PPI的图像（b）作为标准高分辨率样本图像。

容易理解的是，此处所指的低分辨率和高分辨率均是相对于标准分辨率而言，当标准分辨率发生变化时，低分辨率样本图像和标准高分辨率样本图像的选取标准也随之发生变化。

需要说明的是，低分辨率样本图像与相应的标准高分辨率样本图像，为同一张样本图像的低分辨率版本和高分辨率版本。

在一些实施例中，计算机设备获取低分辨率样本图像和相应的标准高分辨率样本图像，包括：计算机设备获取样本图像，并通过对该样本图像进行图像分辨率的调整处理，获得对应于该样本图像的低分辨率版本和高分辨率版本；将该样本图像的低分辨率版本作为低分辨率样本图像，并将该样本图像的高分辨率版本，作为标准高分辨率样本图像。其中，图像分辨率的调整处理指的是对样本图像的图像分辨率进行调整。例如，计算机设备可以通过图像处理软件调整样本图像的图像分辨率。

在另一些实施例中，计算机设备还可以获取了标准高分辨率样本图像后，对该标准高分辨率样本图像进行运动变换处理、模糊处理、降采样处理、或者添加噪声处理等中的一种或多种操作，从而获得相应的低分辨率样本图像。

示例性地，计算机设备所获取的用于训练的样本图像为用于渲染游戏场景或游戏角色的贴图。其中，贴图用于呈现二维或三维模型的可视化效果，通过贴图可以展现出各种各样的颜色和纹理效果。

步骤S204，通过图像重建模型中的生成网络对低分辨率样本图像进行解码处理，得到解码特征，并根据解码特征生成模拟高分辨率样本图像。

图像重建模型包括生成网络，该生成网络用于对输入的低分辨率样本图像进行造假，使得所生成的假的图像（即模拟高分辨率样本图像）与真的图像（即标准高分辨率样本图像）趋于相同。生成网络的训练目标是使得基于低分辨率样本图像所生成的模拟高分辨率样本图像，难以和与低分辨率样本图像对应的标准高分辨率样本图像区分开来。

在一些实施例中，生成网络可以是有监督的神经网络，例如全连接网络和卷积网络等中的一种或结合。全连接网络又称多层感知网络，生成网络可以是基于全连接网络进行适当变形和合理调整后得到的有监督的神经网络。例如，生成网络可以是结合了残差模块的多层感知网络等。

在训练阶段，计算机设备将低分辨率样本图像输入至图像重建模型，具体地，计算机设备将低分辨率样本图像输入至图像重建模型中的生成网络。在一些实施例中，计算机设备通过图像重建模型中的生成网络对低分辨率样本图像进行解码处理，得到解码特征，包括：计算机设备通过图像重建模型中的生成网络对低分辨率样本图像进行多层特征提取以进行解码处理，并将最终提取得到的特征作为解码特征。其中，最终提取得到的特征，即解码特征，可以为末层特征提取后得到的特征向量（Feature Vector）或特征图（FeatureMap）。

由于低分辨率样本图像与标准高分辨率样本图像的尺寸可能不同，因此计算机设备通过生成网络进行解码处理得到解码特征后，还根据该解码特征进行重建处理，从而得到模拟高分辨率样本图像。其中，重建处理包括但不限于卷积处理、池化处理、或者上采样处理等中的一种或多种处理。

示例性地，如图4所示，计算机设备将低分辨率样本图像

输入至图像重建模型中的生成网络，该生成网络通过对该低分辨率样本图像/>

进行解码处理，得到解码特征，该解码特征可以为解码处理后得到的特征向量或特征图。接着，该生成网络基于所得到的特征向量或特征图进行卷积处理、池化处理、或者上采样处理等中的一种或多种处理，从而得到模拟高分辨率样本图像/>

。其中，上采样处理用于将低分辨率样本图像/>

扩展至与标准高分辨率样本图像相同的尺寸大小。

步骤S206，通过图像重建模型中的判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过判别网络提取模拟高分辨率样本图像中的低频信息，得到低频特征图。

在训练阶段，图像重建模型还包括判别网络，生成网络所生成的模拟高分辨率样本图像作为该判别网络的输入，判别网络则对该模拟高分辨率样本图像进行判别，以确定其是否为真的图像（即标准高分辨率样本图像）。

通常，判别网络判别中还包括全连接层（Fully Connected Layers，FC）等，以将图像转换为一个数值，该数值通常呈现概率值的形式，用以表示模拟高分辨率样本图像即为标准高分辨率样本图像的可能性。则判别网络的训练目标是使得所输出的概率值趋近于0。其中，当所输出的概率值为1时，表示输入的模拟高分辨率样本图像为真的图像（即标准高分辨率样本图像），当所输出的概率值为0时，表示输入的模拟高分辨率样本图像为假的图像（即与标准高分辨率样本图像具有较大差异）。

在一些实施例中，判别网络可以是无监督的神经网络，例如无监督卷积网络或者基于无监督卷积网络进行适当变形和合理调整后得到的神经网络。

为了能够对图像进行针对性地优化，本申请实施例中判别网络至少设置有高频通道和低频通道，用以分别提取模拟高分辨率样本图像中的高频信息和低频信息。

其中，样本图像中的高频信息通常指样本图像中灰度值变化急剧的区域，包括但不限于样本图像中目标的轮廓、所包含的线条、或者噪声等信息。在视觉效果上，图像中的杂乱区域往往包含了丰富的高频信息。以样本图像为游戏贴图为例，贴图中的高频信息例如为游戏内物品或角色的外部轮廓、纹理细节、或者五官细节等信息。

样本图像中的低频信息通常指样本图像中灰度值缓慢变化的区域，包括但不限于样本图像中大的色块等信息。在视觉效果上，图像中平坦或柔和的区域往往对应的是低频信息。仍以样本图像为游戏贴图为例，贴图中的低频信息例如为游戏内物品或角色的整体材质、或者大范围的场景背景等信息。因此，样本图像中的高频信息所在的区域相比于低频信息所在的区域，高频信息所在的区域的灰度值变化程度快于低频信息所在的区域。

在一些实施例中，计算机设备通过图像重建模型中的判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，包括：计算机设备将生成网络输出的模拟高分辨率样本图像，输入至图像重建模型中的判别网络，通过判别网络中的高频通道，对该模拟高分辨率样本图像进行特征提取，以提取该模拟高分辨率样本图像中的高频信息，也就是过滤该模拟高分辨率样本图像中的低频信息，从而得到高频特征图。

在一些实施例中，计算机设备通过判别网络中的高频通道，对该模拟高分辨率样本图像进行特征提取，包括：通过判别网络中的高频通道中所设置的卷积核对该模拟高分辨率样本图像进行卷积处理，以进行特征提取；高频通道中所设置的卷积核相当于低频过滤器，以过滤掉模拟高分辨率样本图像中的低频信息。

相应地，在一些实施例中，计算机设备通过判别网络提取模拟高分辨率样本图像中的低频信息，得到低频特征图，包括：计算机设备将生成网络输出的模拟高分辨率样本图像，输入至图像重建模型中的判别网络，通过判别网络中的低频通道，对该模拟高分辨率样本图像进行特征提取，以提取该模拟高分辨率样本图像中的低频信息，也就是过滤该模拟高分辨率样本图像中的高频信息，从而得到低频特征图。

在一些实施例中，计算机设备通过判别网络中的低频通道，对该模拟高分辨率样本图像进行特征提取，包括：通过判别网络中的低频通道中所设置的卷积核对该模拟高分辨率样本图像进行卷积处理，以进行特征提取；低频通道中所设置的卷积核相当于高频过滤器，以过滤掉模拟高分辨率样本图像中的高频信息。

在一些实施例中，高频通道中所设置的卷积核与低频通道中所设置的卷积核的尺寸不同。卷积核的尺寸包括卷积核的宽度和高度。

在一些实施例中，判别网络设置有两个或两个以上的高频通道，每个高频通道可以用于提取不同种类的高频信息。例如，其中一个高频通道用于提取样本图像中包含的轮廓信息，另一个高频通道用于提取样本图像中包含的线条信息，等等。则计算机设备根据各个高频通道分别进行特征提取得到的结果来确定高频特征图。

在一些实施例中，当判别网络中设置有两个或两个以上的高频通道时，各高频通道所设置的卷积核的尺寸可以不同。

类似地，在一些实施例中，判别网络设置有两个或两个以上的低频通道，每个低频通道可以用于提取不同种类的低频信息。例如，其中一个低频通道用于提取样本图像中的背景信息，另一个低频通道用于提取样本图像中包含的材质信息，等等。则计算机设备根据各个低频通道分别进行特征提取得到的结果来确定低频特征图。

在一些实施例中，当判别网络中设置有两个或两个以上的低频通道时，各低频通道所设置的卷积核的尺寸可以不同。

在一些实施例中，判别网络还可以设置其他通道，以处理样本图像中的其他信息。例如，判别网络还可以设置色度通道，以处理样本图像中的颜色信息。又如，判别网络还可以设置亮度通道，以处理样本图像中的亮度信息，等等。

示例性地，判别网络还可以设置R（Red，红色）通道、G（Green，绿色）通道和B（Blue，蓝色）通道来处理样本图像中的颜色信息。或者，判别网络还可以设置Y通道和UV通道等来处理样本图像中的明亮度信息和色度信息。其中Y表示样本图像的明亮度（Luma），也称灰度值。UY表示色度（Chroma），表示样本图像的色彩饱和度。

步骤S208，融合高频特征图和低频特征图，得到模拟高分辨率图像。

对于判别网络中高频通道输出的高频特征图，和低频通道输出的低频特征图，计算机设备将各通道输出的特征图进行融合，得到模拟高分辨率图像。

在一些实施例中，计算机设备融合高频特征图和低频特征图，得到模拟高分辨率图像，包括：将高频特征图和低频特征图进行特征融合，得到模拟高分辨率图像。其中，特征融合的方式包括但不限于将高频特征图和低频特征图进行合并、或者叠加等一种或多种。

步骤S210，基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行对抗训练，以得到训练好的图像重建模型；其中，训练好的图像重建模型中的生成网络，用于提升输入的图像的分辨率。

承前所述，图像重建模型中的生成网络的训练目标是使得基于低分辨率样本图像所生成的模拟高分辨率样本图像与标准高分辨率样本图像间的差异越小越好。而图像重建模型中的判别网络的训练目标则是判定模拟高分辨率样本图像与标准高分辨率样本图像间的差异越大越好。这一过程称之为对抗训练。

在一些实施例中，计算机设备基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行对抗训练，包括：基于模拟高分辨率样本图像和标准高分辨率样本图像，构建与生成网络对应的损失函数；基于模拟高分辨率图像和真实高分辨率图像，构建与判别网络对应的损失函数；其中，真实高分辨率图像是通过将标准高分辨率样本图像输入至判别网络输出得到的；联合与生成网络对应的损失函数和与判别网络对应的损失函数进行对抗训练，使得与生成网络对应的损失最小化且与判别网络对应的损失最大化。

其中，与生成网络对应的损失最小化，例如为生成网络所输出的模拟高分辨率样本图像与标准高分辨率样本图像的差值趋近于0；与判别网络对应的损失最大化，例如为判别网络所输出的模拟高分辨率图像为真实高分辨率图像的概率值趋近于0。

进而，通过对抗训练的方式，能够使得生成网络所生成的模拟高分辨率样本图像越来越真实，而在此过程中判别网络区分生成网络所生成的模拟高分辨率样本图像和标准高分辨率样本图像的能力越来越强。

在一些实施例中，计算机设备基于模拟高分辨率样本图像和标准高分辨率样本图像，构建与生成网络对应的损失函数，包括：获取模拟高分辨率图像和标准高分辨率样本图像间的差异，并基于该差异构建与生成网络对应的损失函数。示例性地，计算机设备所构建的与生成网络对应的损失函数

可以通过如下公式表示：

其中，

为生成网络基于低分辨率样本图像/>

所生成的模拟高分辨率样本图像，/>

为与该低分辨率样本图像/>

对应的标准高分辨率样本图像。

由此，计算机设备可以基于该与生成网络对应的损失函数，对生成网络中的模型参数进行训练。其中，生成网络例如为多层感知网络时，生成网络中的模型参数例如为多层感知网络中感知器的权重。示例性地，感知器的权重w通过最小化损失函数

来进行训练的过程可以通过如下公式表示：

计算机设备基于模拟高分辨率图像和真实高分辨率图像，构建与判别网络对应的损失函数之前，还包括获取真实高分辨率图像的步骤。在一些实施例中，计算机设备获取真实高分辨率图像的步骤包括：将标准高分辨率样本图像输入至判别网络，通过判别网络提取标准高分辨率样本图像中的高频信息，得到对应于标准高分辨率样本图像的高频特征图，以及通过判别网络提取标准高分辨率样本图像中的低频信息，得到对应于标准高分辨率样本图像的低频特征图；将对应于标准高分辨率样本图像的高频特征图和对应于标准高分辨率样本图像的低频特征图进行融合，得到真实高分辨率图像。

由此，在一些实施例中，计算机设备基于模拟高分辨率图像和真实高分辨率图像，构建与判别网络对应的损失函数，包括：获取模拟高分辨率图像和真实高分辨率图像间的差异，并基于该差异构建与判别网络对应的损失函数。而最小化判别网络的损失，也就是使得判别网络对应的损失最大化。

在训练完成后，训练好的图像重建模型中的生成网络可以用于对输入的低分辨率图像进行分辨率重建，输出所生成的高分辨率图像，以实现对所输入的图像的分辨率的提升。

上述图像重建模型的训练方法中，通过获取低分辨率样本图像和相应的标准高分辨率样本图像，并通过图像重建模型中的生成网络对低分辨率样本图像进行解码处理，得到解码特征，并根据解码特征生成模拟高分辨率样本图像，从而实现通过生成网络生成“假的”高分辨率样本图像；再通过图像重建模型中的判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过判别网络提取模拟高分辨率样本图像中的低频信息，得到低频特征图，通过不同的通道来分别提取样本图像中的高频信息和低频信息，能够对样本图像进行有针对性地优化训练；再融合所得到的高频特征图和低频特征图，得到模拟高分辨率图像，并基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行对抗训练，判别网络能够用于对生成网络的训练进行约束，最终得到训练好的图像重建模型。由此，训练好的图像重建模型中的生成网络即可用于提升输入的图像的分辨率，实现对低分辨率图像的分辨率重建。并且，通过以设置高频通道和低频通道的判别网络对抗训练得到的生成网络，来对输入的图像的分辨率进行优化，能够对图像中的高频部分和低频部分进行区别性地提升，能够在提升重建图像的分辨率、提高图像的视觉效果的同时，避免额外的硬件资源的消耗，降低了对处理器的资源占用。

在一些实施例中，通过图像重建模型中的生成网络对低分辨率样本图像进行解码处理，得到解码特征，并根据解码特征生成模拟高分辨率样本图像，包括：将低分辨率样本图像输入至生成网络中的首层网络层，并通过首层网络层中的多个感知器分别进行解码处理，输出多个初始的处理结果；将多个初始的处理结果输入至下一层网络层，并通过下一层网络层中的多个感知器分别进行解码处理，直至进行多个轮次的解码处理后，由末层网络层输出最终的处理结果；其中，多个轮次中的当前轮次输出的解码特征，是基于前一轮次输出的解码特征生成得到的；对最终的处理结果进行重建处理，得到模拟高分辨率样本图像。

具体地，计算机设备将低分辨率样本图像输入至生成网络中，通过生成网络中的首层网络层对低分辨率样本图像进行解码处理，得到初始的解码特征。解码处理包括但不限于卷积处理等。示例性地，初始的解码特征由多个感知器所输出的初始的处理结果构成。然后，计算机设备将多个初始的处理结果输入至下一层网络层，并通过下一层网络层中的多个感知器分别进行解码处理。在一些实施例中，初始的解码特征包括多个初始的处理结果。

其中，计算机设备通过非首层网络层的任一层网络层中的多个感知器分别进行解码处理，包括：针对非首层网络层的任一层网络层中的每一个感知器，由所针对的感知器接收上一层网络层中多个感知器分别输出的多个处理结果，并基于所接收的多个处理结果进行解码处理，得到与所针对的感知器对应的处理结果；该所针对的感知器对应的处理结果，则用于作为下一层网络层的输入。由此，计算机设备进行多个轮次的解码处理，直至由末层网络层输出最终的处理结果。进而，计算机设备对最终的处理结果进行重建处理，得到模拟高分辨率样本图像。其中，初始的解码特征为首次解码处理得到的特征向量。计算机设备再基于初始的解码特征进行多个轮次的解码处理，并基于末个轮次的解码处理所得到的解码特征，得到模拟高分辨率样本图像。

其中，计算机设备基于末个轮次的解码处理所得到的解码特征，得到模拟高分辨率样本图像，包括：计算机设备对末个轮次的解码处理所得到的解码特征进行重建处理，得到模拟高分辨率样本图像。重建处理包括但不限于卷积处理等。

其中，计算机设备通过生成网络中的多个网络层对输入的低分辨率样本图像进行解码处理，得到解码特征，包括：计算机设备通过网络层对低分辨率样本图像进行卷积处理，提取低分辨率样本图像中的图像特征，得到低分辨率的特征图；然后通过非线性映射将低分辨率的特征图低映射至高分辨率的图像块上，再利用高分辨率的图像块进行重建处理，从而输出模拟高分辨率样本图像。非线性映射可以通过非线性激活函数来实现。例如，计算机设备在低分辨率样本图像上，按照一定的步长提取出固定大小的低分辨的图像块，并将每个低分辨率的图像块都表示为一个特征向量，然后由这些特征向量组成低分辨图像的特征图，即解码特征。然后，计算机设备将每个特征向量通过非线性映射，映射至高维向量上，这些映射后的高维向量形成了高分辨率的图像块，并且构成了高分辨的特征图。计算机设备再基于高分辨率的特征图，将其中高分辨率的图像块依照一定的顺序聚合起来，最终得到模拟高分辨率样本图像。

其中，多个轮次中的当前轮次输出的解码特征，是基于前一轮次输出的解码特征生成得到的。示例性地，多个轮次中的当前轮次输出的解码特征，是基于前一轮次输出的解码特征中各个感知器所各自输出的处理结果作为输入，并通过当前轮次的各个感知器处理得到。

示例性地，图像重建模型中的生成网络可包括类似解码器（Decoder）的网络结构。示例性地，生成网络例如为多层感知机（Multilayer Perceptron，MLP）。生成网络中包括多层网络层，每一层网络层包括多个感知器，感知器之间的连接具有相应的权重。示例性地，生成网络的结构如图5所示，包括n层网络层l1~ln。以生成网络中的其中一层网络层为例，

表示第l层中的感知器i的处理结果，各感知器的处理结果构成了该层网络层所输出的解码特征。示例性地，解码特征例如为对各感知器的处理结果进行拼接后得到的特征向量或特征图。

示例性地，对于生成网络中第l-1层中的感知器j输出的处理结果

，以及第l层中的感知器i输出的处理结果/>

，第l层中的感知器i输出的处理结果可以通过如下公式表示：

其中，

为非线性激活函数，用于使生成网络能够学习到输入和输出之间的非线性关系。/>

为第l层的偏置。/>

为第l层中的感知器i与第l-1层中的感知器j之间的权重。

上述实施例中，通过图像重建模型中的生成网络对低分辨率样本图像进行多个轮次的解码处理，得到模拟高分辨率样本图像，由此对生成网络进行训练，能够使得生成网络在训练阶段学习到低分辨率数据集与高分辨率数据集间的非线性关系，经过训练的生成网络可以生成与真实数据难以区分的高质量输出。通过采用多层感知机的神经网络结构，并设置每一层网络层中感知器对应的权重，以使得对于所输入的低分辨率图像，权重更大的感知器的输出更倾向于非线性激活，从而使得后续所生成的模拟高分辨率样本图像更趋近于真实的标准高分辨率样本图像。并且，通过采用多层感知机的神经网络结构，能够简化图像重建模型中的网络层结构，使得图像重建模型在训练阶段更容易收敛，提高了训练效率。

在一些实施例中，通过图像重建模型中判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，包括：确定图像重建模型中判别网络中设置的至少一个高频通道，并确定至少一个高频通道各自对应的第一过滤器；分别基于与至少一个高频通道各自对应的第一过滤器对模拟高分辨率样本图像进行低频信息的过滤处理，得到至少一个高频通道各自对应的第一通道特征图；对至少一个高频通道各自对应的第一通道特征图进行融合，得到高频特征图。

具体地，计算机设备确定图像重建模型中判别网络中设置的至少一个高频通道。每个高频通道可以设置不同的过滤器以进行卷积处理。则计算机设备确定至少一个高频通道各自对应的第一过滤器。在一些实施例中，计算机设备确定至少一个高频通道各自对应的第一过滤器，包括：确定至少一个高频通道各自对应的第一过滤器的宽度和高度，即第一过滤器的尺寸。通常，第一过滤器的宽度和高度相同，例如H1*H1。

进而，计算机设备分别基于与至少一个高频通道各自对应的第一过滤器，分通道地对模拟高分辨率样本图像进行低频信息的过滤处理，得到至少一个高频通道各自对应的第一通道特征图。在一些实施例中，计算机设备分别基于与至少一个高频通道各自对应的第一过滤器，分通道地对模拟高分辨率样本图像进行低频信息的过滤处理，包括：计算机设备分别基于与至少一个高频通道各自对应的第一过滤器，按照相应第一过滤器的尺寸，分通道地对模拟高分辨率样本图像进行卷积处理，从而提取模拟高分辨率样本图像中的高频信息，以过滤模拟高分辨率样本图像中的低频信息。

在设置一个高频通道的情况下，计算机设备将该高频通道所输出的第一通道特征图，作为经过高频信息提取得到的高频特征图。

在设置两个或两个以上高频通道的情况下，各个高频通道分别输出各自的第一通道特征图；则计算机设备对至少一个高频通道各自对应的第一通道特征图进行融合，从而得到高频特征图。

上述实施例中，通过设置至少一个高频通道对模拟高分辨率样本图像中的高频信息进行提取，过滤模拟高分辨率样本图像中的低频信息，能够针对性地保留图像中的高频部分以用于后续的训练，使得训练好的生成网络能够解决图像中线条结构模糊、高频信息缺失等问题，提高图像的分辨率。

类似地，在一些实施例中，通过判别网络中提取模拟高分辨率样本图像中的低频信息，得到低频特征图，包括：确定图像重建模型中判别网络中设置的至少一个低频通道，并确定与至少一个低频通道各自对应的第二过滤器；分别基于与至少一个低频通道各自对应的第二过滤器对模拟高分辨率样本图像进行高频信息的过滤处理，得到至少一个低频通道各自对应的第二通道特征图。对至少一个低频通道各自对应的第二通道特征图进行融合，得到低频特征图。

具体地，计算机设备确定图像重建模型中判别网络中设置的至少一个低频通道。每个低频通道可以设置不同的过滤器以进行卷积处理。则计算机设备确定至少一个低频通道各自对应的第二过滤器。在一些实施例中，计算机设备确定至少一个低频通道各自对应的第二过滤器，包括：确定至少一个低频通道各自对应的第二过滤器的宽度和高度，即第二过滤器的尺寸。通常，第二过滤器的宽度和高度相同，例如H2*H2。第一过滤器的尺寸与第二过滤器的尺寸通常不同。

进而，计算机设备分别基于与至少一个低频通道各自对应的第二过滤器，分通道地对模拟高分辨率样本图像进行低频信息的过滤处理，得到至少一个低频通道各自对应的第二通道特征图。在一些实施例中，计算机设备分别基于与至少一个低频通道各自对应的第二过滤器，分通道地对模拟高分辨率样本图像进行高频信息的过滤处理，包括：计算机设备分别基于与至少一个低频通道各自对应的第二过滤器，按照相应第二过滤器的尺寸，分通道地对模拟高分辨率样本图像进行卷积处理，从而提取模拟高分辨率样本图像中的低频信息，以过滤模拟高分辨率样本图像中的高频信息。

在设置一个低频通道的情况下，计算机设备将该低频通道所输出的第二通道特征图，作为经过低频信息提取得到的低频特征图。

在设置两个或两个以上低频通道的情况下，各个低频通道分别输出各自的第二通道特征图；则计算机设备对至少一个低频通道各自对应的第二通道特征图进行融合，从而得到低频特征图。

上述实施例中，通过设置至少一个低频通道对模拟高分辨率样本图像中的低频信息进行提取，过滤模拟高分辨率样本图像中的高频信息，能够针对性地保留图像中的低频部分以用于后续的训练，例如在提高图像分辨率的目的下对低频通道的参数进行调整，使得所生成的图像中包含更少的低频信息，使得训练好的生成网络在能够有针对性地提高图像分辨率的基础上，尽可能降低对硬件资源的消耗。

需要说明的是，上述术语第一和第二等在本申请中用来描述判别网络中不同类型的通道所输出的通道特征图，但是这些通道特征图不应当被这些术语限制。这些术语仅用来将一个通道特征图与另一个通道特征图进行区分。例如，第一通道特征图可以被称作第二通道特征图，并且类似地，第二通道特征图可以被称作第一通道特征图，而不脱离各种所描述的实施例的范围，但是除非上下文以其他方式明确指出，否则它们不是同一个通道特征图。相似的情况还包括第一损失函数和第二损失函数等。

示例性地，如图6所示，针对低分辨率样本图像

，计算机设备通过生成网络对该低分辨率样本图像/>

进行处理，得到模拟高分辨率样本图像/>

。计算机设备将模拟高分辨率样本图像/>

输入至判别网络中，通过判别网络中所设置的M个通道，分通道地对模拟高分辨率样本图像/>

进行过滤处理，得到N个通道的特征图。进而，计算机设备基于N个通道的特征图进行特征融合，得到模拟高分辨率图像/>

。其中，M个通道包括至少一个高频通道和至少一个低频通道。

判别网络可以包含多个卷积层。图6中所示的卷积层通过多通道的过滤操作来提取特征，并捕获输入和输出数据之间的非线性关系。示例性地，第l层卷积层与第l-1层卷积层间具有如下关系：

其中，K=H/2，H为过滤器的宽度和高度，M为输入时的通道数，m为输入通道，n为输出时的通道数，

为第l层卷积层的偏差，/>

为非线性激活函数。(p,q)表示过滤器中第p行第q列的元素。第l层卷积层输出的结果/>

基于上一层卷积层进行卷积后的结果

和第l层卷积层各个通道m的过滤器/>

处理得到。

其中，判别网络中所设置的多个通道中，每个通道可以设置一或多个过滤器进行过滤处理。每个通道设置多个过滤器的情况下，各通道所设置的过滤器的数量可以相同或者不同。

如图7所示，判别网络中包括至少一个高频通道和至少一个低频通道，图中分别以一个高频通道和一个低频通道为例。此外，判别网络中还可以包括其他通道例如色度通道，用于提取图像中的色度信息。针对于高频通道，例如设置有5个过滤器进行高频信息的提取，以过滤模拟高分辨率样本图像中的低频信息。针对于高频通道，例如设置有5个过滤器进行高频信息的提取，以过滤模拟高分辨率样本图像中的低频信息。色度通道类似。

最终，计算机设备将各个通道各自输出的结果进行融合，得到模拟高分辨率图像的特征向量，并基于该特征向量生成模拟高分辨率图像。

其中，计算机设备将各个通道各自输出的结果进行融合，可以是先针对高频通道所输出的各个第一通道特征图进行融合，得到高频特征图；基于低频通道所输出的各个第二通道特征图进行融合，得到低频特征图；此外，还基于色度通道所输出的各个色度特征图进行融合，得到色度特征图。由此，计算机设备再将高频特征图、频特征图和色度特征图进行融合，得到模拟高分辨率图像。或者，再如图7所示，计算机设备也可以将各个通道各自输出的结果进行初次融合，再将初次融合的结果进行二次融合，以得到模拟高分辨率图像。在各通道所设置的过滤器的数量不同的情况下，计算机设备可以通过预设的特征图来进行填充。

在一些实施例中，基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行训练，以得到训练好的图像重建模型，包括：将标准高分辨率样本图像输入至图像重建模型中判别网络，得到真实高分辨率图像；基于模拟高分辨率样本图像和标准高分辨率样本图像间的差异，构建与生成网络对应的第一损失函数，并基于模拟高分辨率图像和真实高分辨率图像间的差异，构建与判别网络对应的第二损失函数；基于第一损失函数和第二损失函数，对图像重建模型进行训练，直至生成网络与判别网络满足均衡约束条件，得到训练好的图像重建模型。

具体地，计算机设备将标准高分辨率样本图像同样输入至图像重建模型中的判别网络，并通过判别网络执行与对模拟高分辨率样本图像相同的处理步骤，输出真实高分辨率图像。真实高分辨率图像表示基于该标准高分辨率样本图像所生成的真正的高分辨率的图像；而模拟高分辨率样本图像则是基于低分辨率样本图像所生成的假的高分辨率的图像。

进而，计算机设备基于模拟高分辨率样本图像和真实标准高分辨率样本图像间的差异，构建与生成网络对应的第一损失函数。该第一损失函数用于表征模拟高分辨率图像和标准高分辨率样本图像间的差异。通过最小化基于该第一损失函数得到的损失，能够使得生成网络所生成的模拟高分辨率图像与标准高分辨率样本图像间的差异最小化，即，生成网络所生成的模拟高分辨率图像越来越像标准高分辨率样本图像。

以及，计算机设备基于模拟高分辨率图像和真实高分辨率图像间的差异，构建与判别网络对应的第二损失函数。该第二损失函数用于表征模拟高分辨率图像和真实高分辨率图像间的差异。同样地，通过最大化基于该第二损失函数得到的损失，能够使得判别网络所输出的模拟高分辨率图像与标准高分辨率样本图像间的差异最大化，即，生成网络所生成的模拟高分辨率图像越来越像标准高分辨率样本图像。

由此，计算机设备基于第一损失函数和第二损失函数，对图像重建模型进行对抗训练。其中，在一些实施例中，均衡约束条件包括最小化基于第一损失函数得到的损失，以使得生成网络所生成的模拟高分辨率图像与标准高分辨率样本图像间的差异最小化。均衡约束条件还包括最大化基于第二损失函数得到的损失，以使得判别网络所输出的模拟高分辨率图像和真实高分辨率图像间的差异最大化。即，计算机设备确定基于第一损失函数得到的第一损失，和基于第二损失函数得到的第二损失，朝向最小化第一损失且最大化第二损失的训练目标，对生成网络与判别网络进行联合训练。直至生成网络与判别网络满足均衡约束条件时，计算机设备终止训练，得到训练好的图像重建模型。

示例性地，为了使得训练阶段的图像重建模型保持收敛，通常可以将最大化基于第二损失函数得到的损失（即第二损失）转换为最小化基于第二损失函数得到的负损失（即第二损失的负数形式），由此图像重建模型的训练目标则变成了最小化第一损失和第二损失，便于进行图像重建模型的训练，有利于衡量图像重建模型的整体性能。

在整个训练过程中，生成网络内部的权重不断更新，通过生成与标准高分辨率样本图像越来越相似的模拟高分辨率样本图像，来混淆判别网络。而判别网络则是通过调整模型参数以使得判别能力越来越强，以准确地识别出生成的模拟高分辨率图像和真实高分辨率图像之间的差别。

示例性地，图像重建模型的训练阶段的原理图可如图8所示，针对低分辨率样本图像

，计算机设备通过生成网络G对该低分辨率样本图像/>

进行处理，得到模拟高分辨率样本图像/>

。计算机设备将模拟高分辨率样本图像/>

输入至判别网络D中，通过判别网络D中所设置的高频通道和低频通道，分通道地对模拟高分辨率样本图像/>

进行处理，输出模拟高分辨率图像/>

。而对于标准高分辨率样本图像

，计算机设备将其输入至判别网络D中，并由判别网络D输出真实高分辨率图像

。由此，一方面，计算机设备根据生成网络G所生成的模拟高分辨率样本图像

与标准高分辨率样本图像/>

间的差异，构建第一损失函数；另一方面，计算机设备根据判别网络D所输出的模拟高分辨率图像/>

与真实高分辨率图像/>

间的差异，构建第二损失函数。则计算机设备基于第一损失函数和第二损失函数对图像重建模型进行对抗训练，直至生成网络与判别网络满足均衡约束条件时终止训练，得到训练好的图像重建模型。

示例性地，计算机设备对图像重建模型进行对抗训练可通过如下公式表达：

其中，x为用于训练的标准高分辨率样本图像，n为用于训练的低高分辨率样本图像。

为生成网络所生成的模拟高分辨率样本图像。/>

为判别网络所输出的模拟高分辨率图像。E(·)表示期望值。训练过程中，生成网络的权重被不断的更新，使得/>

返回趋近于1的值；而/>

则返回趋近于0的值。

由此，上述实施例中，通过基于对抗训练的方式来训练生成网络和判别网络，生成网络所生成的假图像最终难以与真实图像区分开。基于训练好的生成网络对输入的低分辨率图像进行处理，能够快速准确地提高低分辨率图像的分辨率，生成高分辨率重建图像，相较于直接对低分辨率图像进行图像重建的方式，能够减少对硬件资源的消耗。

在一些情况下，由于高分辨率图像的维度往往高于低分辨率图像的维度，而生成网络所生成的模拟高分辨率样本图像在通过多层感知器的处理后，模拟高分辨率样本图像的维度与标准高分辨率样本图像的维度可能并不一致。则在一些实施例中，得到模拟高分辨率样本图像之后，本申请实施例提供的图像重建模型的训练方法还包括：通过对模拟高分辨率样本图像进行升维处理，以使模拟高分辨率样本图像的维度与标准高分辨率样本图像的维度一致；其中，升维处理包括插值处理或上采样处理中的至少一种。

在一些实施例中，计算机设备可以通过生成网络内部设置的上采样层对模拟高分辨率样本图像进行上采样处理，这样能够使得升维处理后的模拟高分辨率样本图像准确地反映原有的图像特征。

在另一些实施例中，计算机设备可以通过对模拟高分辨率样本图像调整大小或者进行插值处理，以使模拟高分辨率样本图像的维度与标准高分辨率样本图像的维度一致，这样能够避免使用池化或上采样操作，降低模型的复杂度。

在一些实施例中，本申请实施例提供的图像重建模型的训练方法还包括：获取待测试的低分辨率图像；将待测试的低分辨率图像输入至训练好的图像重建模型，并通过图像重建模型中的生成网络生成高分辨率重建图。

在图像重建模型训练完成后，计算机设备获取待测试的低分辨率图像，并将该待测试的低分辨率图像输入至训练好的图像重建模型。具体地，计算机设备是将该待测试的低分辨率图像输入至训练好的图像重建模型中的生成网络。则计算机设备通过训练好的生成网络生成高分辨率重建图。

上述实施例中，通过以设置高频通道和低频通道的判别网络对抗训练得到的生成网络，来对输入的图像的分辨率进行优化，能够对图像中的高频部分和低频部分进行区别性地提升，能够在提升重建图像的分辨率、提高图像的视觉效果的同时，避免额外的硬件资源的消耗，降低了对处理器的资源占用。

在一些场景下，图像重建模型可用于对具体领域中图像资源的性能优化。为此，在一些实施例中，本申请实施例提供的图像重建模型的训练方法还包括：将待测试的低分辨率图像预加载至图像处理器，获取图像处理器拟进行渲染的第一资源消耗，以及将高分辨率重建图预加载至图像处理器，获取图像处理器拟进行渲染的第二资源消耗；比较第一资源消耗与第二资源消耗间的资源消耗差异；在资源消耗差异未满足预设阈值条件的情况下，重新训练图像重建模型。

具体地，计算机设备将待测试的低分辨率图像预加载至图像处理器，记录图像处理器对该低分辨率图像进行渲染所需的第一资源消耗。这一过程可以通过Debug（调试）工具执行实现。计算机设备将该待测试的低分辨率图像输入至训练好的图像重建模型，并通过图像重建模型中的生成网络生成高分辨率重建图。进而，计算机设备再将该高分辨率重建图预加载至图像处理器，记录图像处理器对该高分辨率重建图进行渲染所需的第二资源消耗。计算机设备比较该第一资源消耗和第二资源消耗，得到第一资源消耗与第二资源消耗间的资源消耗差异。

在一些实施例中，计算机设备在资源消耗差异未满足预设阈值条件的情况下，重新训练图像重建模型，包括：在第二资源消耗与第一资源消耗之差大于预设阈值的情况下，说明通过训练好的生成网络对低分辨率图像的分辨率进行的提升，导致了硬件资源的过多消耗，则计算机设备可以重新训练图像重建模型。直至第二资源消耗与第一资源消耗之差不超过预设阈值，说明通过训练好的生成网络一方面能够对低分辨率图像的分辨率进行有效提升，另一方面还能够避免过多的硬件资源的消耗，具有较高的性能。

上述实施例中，通过对利用训练好的生成网络处理前后的图像进行资源消耗的比较，能够在使得图像整体视觉效果提升的同时，避免牺牲硬件性能，有效地减少了对硬件资源的消耗。

本申请还提供一种应用场景，该应用场景应用上述的图像重建模型的训练方法。具体地，该图像重建模型的训练方法在该应用场景的应用例如如下：计算机设备获取低分辨率贴图样本和相应的标准高分辨率贴图样本。贴图样本可以是游戏贴图样本或动画贴图样本等。计算机设备通过贴图重建模型中的生成网络对低分辨率贴图样本进行解码处理，得到解码特征，并根据解码特征生成模拟高分辨率贴图样本。计算机设备通过贴图重建模型中的判别网络，提取模拟高分辨率贴图样本中的高频信息，得到高频特征图，以及通过判别网络提取模拟高分辨率贴图样本中的低频信息，得到低频特征图。计算机设备融合高频特征图和低频特征图，得到模拟高分辨率贴图。计算机设备基于模拟高分辨率贴图和标准高分辨率贴图样本，对贴图重建模型进行对抗训练，以得到训练好的贴图重建模型；其中，训练好的贴图重建模型中的生成网络，用于提升输入的贴图的分辨率。贴图可以是游戏贴图或动画贴图等。

当然并不局限于此，本申请提供的图像重建模型的训练方法还可以应用在其他应用场景中，例如三维图像的重建、图像检索、或场景溯源等等。

在一些实施例中，通过图像重建模型的训练方法所训练得到的判别网络，可以用于对图像进行检索。例如，计算机设备将待检索的图像输入至训练好的图像重建模型中的判别网络，判别网络基于该待检索的图像与预先建立的图像库中的各图像进行判别，以确定该待检索的图像是否来源于该预先建立的图像库。在该待检索的图像存在于该预先建立的图像库、或者与该预先建立的图像库中的图像之间的相似度高于阈值的情况下，计算机设备即可确定该待检索的图像来源于该预先建立的图像库。

示例性地，计算机设备将待检索的游戏贴图输入至训练好的图像重建模型中的判别网络，判别网络基于该待检索的游戏贴图与预先建立的贴图资源库中的各贴图进行判别，以确定该待检索的游戏贴图是否来源于该预先建立的贴图资源库。进一步地，在该待检索的游戏贴图存在于该预先建立的贴图资源库、或者与该预先建立的贴图资源库中的贴图之间的相似度高于阈值的情况下，计算机设备可以基于该预先建立的贴图资源库中的贴图，溯源该待检索的游戏贴图所来源的某一游戏产品、或者游戏产品中的某一游戏场景等。

由于图像或者游戏贴图中的高频信息更能够反映图像的纹理或者细节，训练好的判别网络能够基于图像中的高频特征来进行判别，能够在降低计算量的基础上准确地识别出所输入的两张图像或两张游戏贴图的相似度。

以游戏应用场景为例，不合理的贴图资源会导致游戏应用程序的性能下降。比如游戏贴图尺寸过大会导致GPU和CPU的负载增加，而游戏贴图尺寸过小又会导致硬件资源的浪费。通过利用设置有高频通道和低频通道的判别网络对抗训练得到的生成网络对游戏贴图进行优化，能够在使用同等或者更少的硬件资源的情况下，尽可能优化贴图资源，在所生成的高分辨率游戏贴图中保留更多的高频信息并减少低频信息，使得游戏贴图解决了线条结构模糊、高频信息缺失等问题的同时，尽可能减少对硬件资源产生的消耗。

在一个具体的示例中，如图9-10所示，通过上述图像重建模型的训练方法所训练得到的生成网络，可以应用于游戏应用程序的贴图资源性能优化上。如图9所示，当游戏应用程序中的贴图加载时，很可能出现一部分贴图已经加载完毕，而另一部分贴图仍在加载（图中虚线圆圈部分）的情况。这一部分加载较慢的贴图会很大程度上影响游戏应用程序的使用体验，并影响GPU的资源分配（例如长时间占用GPU的资源）。

如图10图所示，计算机设备首先提取游戏应用程序中待加载的贴图，测试该待加载的贴图所需消耗的GPU资源并进行性能记录。计算机设备再将待加载的贴图输入至训练好的图像重建模型中的生成网络，由该生成网络生成重建的高分辨率贴图。计算机设备测试该重建的高分辨率贴图所需消耗的GPU资源并进行性能记录。进而，计算机设备比较优化前后的性能差异，如果优化后加载耗时和GPU资源消耗减少，则符合贴图资源性能优化的要求。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种虚拟场景渲染方法。在一些实施例中，如图11所示，提供了一种虚拟场景渲染方法，该方法可以应用于终端或服务器，也可以由终端和服务器协同执行。下面以该方法应用于计算机设备为例进行说明，该计算机设备可以是终端或服务器。该方法包括以下步骤：

步骤S1102，获取用以对虚拟场景进行渲染的初始贴图。

具体地，对于待渲染的虚拟场景，计算机设备获取构成虚拟场景的贴图资源，并从贴图资源中获取初始贴图。初始贴图为需要进行图像重建的贴图，通常为分辨率低于渲染要求的低分辨率贴图。

步骤S1104，将初始贴图输入至图像重建模型的生成网络中，通过生成网络输出与初始贴图相对应的高分辨率重建贴图。

具体地，计算机设备将初始贴图输入至图像重建模型的生成网络中，通过生成网络输出与初始贴图相对应的高分辨率重建贴图。计算机设备通过生成网络输出高分辨率重建贴图的步骤可参照前述实施例，此处不再赘述。

步骤S1106，预测通过初始贴图渲染虚拟场景所耗费的第一资源消耗，以及预测通过高分辨率重建贴图渲染虚拟场景所耗费的第二资源消耗。

其中，计算机设备预测通过贴图渲染虚拟场景所耗费的资源消耗可以通过Debug（调试工具）进行测试来实现。

具体地，计算机设备预测通过初始贴图渲染虚拟场景所耗费的第一资源消耗，包括：计算机设备将初始贴图预加载至图像处理器，记录图像处理器对该初始贴图进行渲染以生成虚拟场景所需的第一资源消耗。

以及，计算机设备预测通过高分辨率重建贴图渲染虚拟场景所耗费的第二资源消耗，包括：计算机设备将高分辨率重建贴图预加载至图像处理器，记录图像处理器对该高分辨率重建贴图进行渲染以生成虚拟场景所需的第二资源消耗。

步骤S1108，在第一资源消耗与第二资源消耗间的差异满足预设差异条件的情况下，通过高分辨率重建贴图渲染虚拟场景。

具体地，计算机设备在第一资源消耗与第二资源消耗间的差异满足预设差异条件的情况下，通过高分辨率重建贴图渲染虚拟场景，包括：在第一资源消耗与第二资源消耗间的差异小于预设阈值的情况下，说明重建得到的高分辨率重建贴图在提高了分辨率以提升了图像整体视觉效果的同时，避免了消耗更多的硬件资源，提升了虚拟场景渲染的性能。因此，计算机设备实现了对初始贴图的贴图资源优化，并将高分辨率重建贴图用于后续对虚拟场景的渲染。

在一些实施例中，预设差异条件还包括：高分辨率重建贴图的分辨率大于或等于预设分辨率阈值。预设分辨率阈值为满足虚拟场景所需呈现的视觉效果要求而预先设置的分辨率阈值。

在一些实施例中，计算机设备通过高分辨率重建贴图替换原本对应的初始贴图，并将高分辨率重建贴图加载至图像处理器，以渲染生成虚拟场景。

上述虚拟场景渲染方法中，通过获取用以对虚拟场景进行渲染的初始贴图，并将该初始贴图输入至图像重建模型的生成网络中，通过预先训练好的该生成网络输出与初始贴图相对应的高分辨率重建贴图，该高分辨率重建贴图即为该初始贴图的高分辨率版本。通过预测通过初始贴图渲染虚拟场景所耗费的第一资源消耗，以及预测通过高分辨率重建贴图渲染虚拟场景所耗费的第二资源消耗，将该第一资源消耗与该第二资源消耗进行比较，在第一资源消耗与第二资源消耗间的差异满足预设差异条件的情况下，实现了对初始贴图的贴图资源优化，所得到的高分辨率重建贴图能够在尽可能减少对硬件资源的消耗的情况下同时提升了分辨率。由此，通过生成网络所输出的高分辨率重建贴图渲染虚拟场景，能够降低CPU和GPU的资源消耗的同时生成更加高清的虚拟场景，提升了虚拟场景进行渲染的性能。

贴图资源通常集成在贴图文件中。为此，在一些实施例中，获取用以对虚拟场景进行渲染的初始贴图，包括：获取用于渲染虚拟场景的贴图文件；贴图文件中配置有多张贴图；利用调试工具加载贴图文件中的各张贴图，并记录加载各张贴图所消耗的加载时长；将加载时长超过预设时长阈值的贴图作为初始贴图。

具体地，计算机设备对于待渲染生成的虚拟场景，例如游戏虚拟场景或动画虚拟场景等，获取用于渲染虚拟场景的贴图文件。贴图文件中配置有多张贴图，可以包括低分辨率的贴图和高分辨率的贴图等。计算机设备可以通过调试工具进行测试，加载贴图文件中的各张贴图，并记录加载各张贴图所消耗的加载时长。当加载时长过长时，说明相应的贴图需要进行优化，则计算机设备将加载时长超过预设时长阈值的贴图作为初始贴图。

上述实施例中，通过对用于渲染生成虚拟场景的贴图资源进行预处理，判定哪些贴图需要进行优化，能够有针对性地对贴图资源进行有效处理，提升了虚拟场景的渲染效率和渲染性能。

其中，在一些实施例中，预测通过初始贴图渲染虚拟场景所耗费的第一资源消耗，以及预测通过高分辨率重建贴图渲染所虚拟场景所耗费的第二资源消耗，包括：利用调试工具将初始贴图预加载至图像处理器，获取图像处理器拟进行渲染的第一资源消耗，以及将高分辨率重建贴图预加载至图像处理器，获取图像处理器拟进行渲染的第二资源消耗。相应地，在第一资源消耗与第二资源消耗间的差异满足预设差异条件的情况下，通过高分辨率重建贴图渲染虚拟场景，还包括：比较第一资源消耗与第二资源消耗间的资源消耗差异；在高分辨率重建贴图的分辨率大于或等于预设分辨率阈值、且资源消耗差异小于或等于预设差异阈值的情况下，将高分辨率重建贴图加载至图像处理器中，以渲染虚拟场景。

具体地，计算机设备利用调试工具将初始贴图预加载至图像处理器，记录图像处理器对该初始贴图进行渲染所需的第一资源消耗。计算机设备还将高分辨率重建贴图同样预加载至图像处理器，并记录图像处理器对该高分辨率重建贴图进行渲染所需的第二资源消耗。进而，计算机设备比较该第一资源消耗和第二资源消耗，得到第一资源消耗与第二资源消耗间的资源消耗差异。

一方面，在第一资源消耗与第二资源消耗间的资源消耗差异大于预设差异阈值的情况下，说明通过训练好的生成网络对初始贴图的分辨率进行的提升，导致了硬件资源的过多消耗。则计算机设备不对该初始贴图进行优化。

在第一资源消耗与第二资源消耗间的资源消耗差异小于或等于预设差异阈值的情况下，说明通过训练好的生成网络一方面能够对低分辨率图像的分辨率进行有效提升，另一方面还能够避免过多的硬件资源的消耗。

另一方面，结合高分辨率重建贴图的分辨率大于或等于预设分辨率阈值的条件，计算机设备据此确定高分辨率重建贴图是否满足后续生成虚拟场景的视觉效果的要求。在高分辨率重建贴图的分辨率大于或等于预设分辨率阈值的情况下，计算机设备则对该初始贴图进行优化，即，通过高分辨率重建贴图替换该初始贴图，并将高分辨率重建贴图加载至图像处理器中，以渲染虚拟场景。

否则，在资源消耗小于或等于预设差异阈值、但高分辨率重建贴图的分辨率小于预设分辨率阈值的情况下，计算机设备可以不对该初始贴图进行优化，或者重新对该初始贴图进行优化。例如，计算机设备将高分辨率重建贴图作为输入，重新输入值生成网络中，生成分辨率更高的高分辨率重建贴图。

在高分辨率重建贴图的分辨率大于或等于预设分辨率阈值、但资源消耗高于预设差异阈值的情况下，计算机设备可以根据实际情况选择不对该初始贴图进行优化，或者选择性的进行优化。例如对需优化的多个贴图选择其中少部分的贴图进行优化，也能够实现对虚拟场景的视觉效果的提升。

上述实施例中，通过对初始贴图和利用训练好的生成网络处理得到的高分辨率重建贴图进行资源消耗的比较，能够在使得图像整体视觉效果提升的同时，避免牺牲硬件性能，有效地减少了对硬件资源的消耗。

在一些场景下，实际应用时所需要的贴图尺寸可能随着实际的业务需求而变化。为此，在一些实施例中，本申请实施例提供的虚拟场景渲染方法还包括：对高分辨率重建贴图进行重采样处理，以使得高分辨率重建贴图符合预设的图像尺寸。具体地，计算机设备对高分辨率重建贴图进行重采样处理，调整高分辨率重建贴图的维度，以使得高分辨率重建贴图符合预设的图像尺寸。其中，重采样处理包括但不限于上采样处理、插值处理、滤波处理、或者下采样处理等中的一种或多种。由此，通过重采样对高分辨率重建贴图的维度进行调整，能够快速适应实际应用场景的需求，且能够保持高分辨率重建贴图的分辨率，呈现较好的图像整体视觉效果。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像重建模型的训练方法的图像重建模型的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像重建模型的训练装置实施例中的具体限定可以参见上文中对于图像重建模型的训练方法的限定，在此不再赘述。

在一些实施例中，如图12所示，提供了一种图像重建模型的训练装置1200，包括：获取模块1201、生成模块1202、判别模块1203、融合模块1204和训练模块1205，其中：

获取模块1201，用于获取低分辨率样本图像和相应的标准高分辨率样本图像。

生成模块1202，用于通过图像重建模型中的生成网络对低分辨率样本图像进行解码处理，得到解码特征，并根据解码特征生成模拟高分辨率样本图像。

判别模块1203，用于通过图像重建模型中的判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过判别网络提取模拟高分辨率样本图像中的低频信息，得到低频特征图。

融合模块1204，用于融合高频特征图和低频特征图，得到模拟高分辨率图像。

训练模块1205，用于基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行对抗训练，以得到训练好的图像重建模型；其中，训练好的图像重建模型中的生成网络，用于提升输入的图像的分辨率。

在一些实施例中，生成模块还用于通过图像重建模型中的生成网络对低分辨率样本图像进行解码处理，得到初始的解码特征，并基于初始的解码特征进行多个轮次的解码处理，得到模拟高分辨率样本图像；其中，多个轮次中的当前轮次输出的解码特征，是基于前一轮次输出的解码特征生成得到的。

在一些实施例中，初始的解码特征包括多个初始的处理结果；生成模块还用于将低分辨率样本图像输入至生成网络中的首层网络层，并通过首层网络层中的多个感知器分别进行解码处理，输出多个初始的处理结果；将多个初始的处理结果输入至下一层网络层，并通过下一层网络层中的多个感知器分别进行解码处理，直至由末层网络层输出最终的处理结果；对最终的处理结果进行重建处理，得到模拟高分辨率样本图像。

在一些实施例中，判别模块还用于确定图像重建模型中判别网络中设置的至少一个高频通道，并确定至少一个高频通道各自对应的第一过滤器；分别基于与至少一个高频通道各自对应的第一过滤器对模拟高分辨率样本图像进行低频信息的过滤处理，得到至少一个高频通道各自对应的第一通道特征图；对至少一个高频通道各自对应的第一通道特征图进行融合，得到高频特征图。

在一些实施例中，判别模块还用于确定图像重建模型中判别网络中设置的至少一个低频通道，并确定与至少一个低频通道各自对应的第二过滤器；分别基于与至少一个低频通道各自对应的第二过滤器对模拟高分辨率样本图像进行高频信息的过滤处理，得到至少一个低频通道各自对应的第二通道特征图；对至少一个低频通道各自对应的第二通道特征图进行融合，得到低频特征图。

在一些实施例中，训练模块还用于将标准高分辨率样本图像输入至图像重建模型中判别网络，得到真实高分辨率图像；基于模拟高分辨率样本图像和标准高分辨率样本图像间的差异，构建与生成网络对应的第一损失函数，并基于模拟高分辨率图像和真实高分辨率图像间的差异，构建与判别网络对应的第二损失函数；基于第一损失函数和第二损失函数，对图像重建模型进行训练，直至生成网络与判别网络满足均衡约束条件，得到训练好的图像重建模型。

在一些实施例中，均衡约束条件包括最小化基于第一损失函数得到的损失，以使得生成网络所生成的模拟高分辨率图像与标准高分辨率样本图像间的差异最小化；且最大化基于第二损失函数得到的损失，以使得判别网络所输出的模拟高分辨率图像和真实高分辨率图像间的差异最大化。

在一些实施例中，上述装置还包括升维处理模块，用于通过对模拟高分辨率图像进行升维处理，以使模拟高分辨率图像的维度与标准高分辨率样本图像一致；其中，升维处理包括插值处理或上采样处理中的至少一种。

在一些实施例中，上述装置还包括测试模块，用于获取待测试的低分辨率图像；将待测试的低分辨率图像输入至训练好的图像重建模型，并通过图像重建模型中的生成网络生成高分辨率重建图。

在一些实施例中，测试模块还用于将待测试的低分辨率图像预加载至图像处理器，获取图像处理器拟进行渲染的第一资源消耗，以及将高分辨率重建图预加载至图像处理器，获取图像处理器拟进行渲染的第二资源消耗；比较第一资源消耗与第二资源消耗间的资源消耗差异；在资源消耗差异未满足预设阈值条件的情况下，重新训练图像重建模型。

上述图像重建模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的虚拟场景渲染方法的虚拟场景渲染装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个虚拟场景渲染装置实施例中的具体限定可以参见上文中对于虚拟场景渲染方法的限定，在此不再赘述。

在一些实施例中，如图13所示，提供了一种虚拟场景渲染1300，包括：获取模块1301、生成模块1302、预测模块1303和渲染模块1304。其中：

获取模块1301，用于获取用以对虚拟场景进行渲染的初始贴图。

生成模块1302，用于将初始贴图输入至图像重建模型的生成网络中，通过生成网络输出与初始贴图相对应的高分辨率重建贴图。

预测模块1303，用于预测通过初始贴图渲染虚拟场景所耗费的第一资源消耗，以及预测通过高分辨率重建贴图渲染虚拟场景所耗费的第二资源消耗。

渲染模块1304，用于在第一资源消耗与第二资源消耗间的差异满足预设差异条件的情况下，通过高分辨率重建贴图渲染虚拟场景。

在一些实施例中，获取模块还用于获取用于渲染虚拟场景的贴图文件；贴图文件中配置有多张贴图；利用调试工具加载贴图文件中的各张贴图，并记录加载各张贴图所消耗的加载时长；将加载时长超过预设时长阈值的贴图作为初始贴图。

在一些实施例中，预测模块还用于利用调试工具将初始贴图预加载至图像处理器，获取图像处理器拟进行渲染的第一资源消耗，以及将高分辨率重建贴图预加载至图像处理器，获取图像处理器拟进行渲染的第二资源消耗；比较第一资源消耗与第二资源消耗间的资源消耗差异；在高分辨率重建贴图的分辨率大于或等于预设分辨率阈值、且资源消耗差异小于或等于预设差异阈值的情况下，将高分辨率重建贴图加载至图像处理器中，以渲染虚拟场景。

在一些实施例中，上述装置还包括调整模块，用于对高分辨率重建贴图进行重采样处理，以使得高分辨率重建贴图符合预设的图像尺寸。

上述虚拟场景渲染装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器或终端。下面以计算机设备为服务器为例进行说明，其内部结构图可以如图14所示。该计算机设备包括处理器、存储器、输入/输出接口（Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像重建模型的训练方法；或者，该计算机程序被处理器执行时以实现一种虚拟场景渲染方法。

本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (16)

1.一种图像重建模型的训练方法，其特征在于，所述方法包括：

获取低分辨率样本图像和相应的标准高分辨率样本图像；

通过图像重建模型中的生成网络对所述低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像；

通过所述图像重建模型中的判别网络，提取所述模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过所述判别网络提取所述模拟高分辨率样本图像中的低频信息，得到低频特征图；

融合所述高频特征图和所述低频特征图，得到模拟高分辨率图像；

将所述标准高分辨率样本图像输入至所述图像重建模型中判别网络，得到真实高分辨率图像；

基于所述模拟高分辨率样本图像和所述标准高分辨率样本图像间的差异，构建与所述生成网络对应的第一损失函数，并基于所述模拟高分辨率图像和所述真实高分辨率图像间的差异，构建与所述判别网络对应的第二损失函数；

基于所述第一损失函数和第二损失函数，对所述图像重建模型进行训练，直至所述生成网络与所述判别网络满足均衡约束条件，得到训练好的图像重建模型；其中，所述训练好的图像重建模型中的生成网络，用于提升输入的图像的分辨率。

2.根据权利要求1所述的方法，其特征在于，所述通过图像重建模型中的生成网络对所述低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像，包括：

将所述低分辨率样本图像输入至所述生成网络中的首层网络层，并通过所述首层网络层中的多个感知器分别进行解码处理，输出多个初始的处理结果；

将所述多个初始的处理结果输入至下一层网络层，并通过所述下一层网络层中的多个感知器分别进行解码处理，直至进行多个轮次的解码处理后，由末层网络层输出最终的处理结果；其中，所述多个轮次中的当前轮次输出的解码特征，是基于前一轮次输出的解码特征生成得到的；

对所述最终的处理结果进行重建处理，得到模拟高分辨率样本图像。

3.根据权利要求1所述的方法，其特征在于，所述通过所述图像重建模型中判别网络，提取所述模拟高分辨率样本图像中的高频信息，得到高频特征图，包括：

确定所述图像重建模型中判别网络中设置的至少一个高频通道，并确定所述至少一个高频通道各自对应的第一过滤器；

分别基于与所述至少一个高频通道各自对应的所述第一过滤器对所述模拟高分辨率样本图像进行低频信息的过滤处理，得到所述至少一个高频通道各自对应的第一通道特征图；

对所述至少一个高频通道各自对应的第一通道特征图进行融合，得到高频特征图。

4.根据权利要求1所述的方法，其特征在于，所述通过所述判别网络中提取所述模拟高分辨率样本图像中的低频信息，得到低频特征图，包括：

确定所述图像重建模型中判别网络中设置的至少一个低频通道，并确定与所述至少一个低频通道各自对应的第二过滤器；

分别基于与所述至少一个低频通道各自对应的所述第二过滤器对所述模拟高分辨率样本图像进行高频信息的过滤处理，得到所述至少一个低频通道各自对应的第二通道特征图；

对所述至少一个低频通道各自对应的第二通道特征图进行融合，得到低频特征图。

5.根据权利要求1所述的方法，其特征在于，所述均衡约束条件包括最小化基于所述第一损失函数得到的损失，以使得所述生成网络所生成的模拟高分辨率图像与所述标准高分辨率样本图像间的差异最小化；且最大化基于所述第二损失函数得到的损失，以使得所述判别网络所输出的所述模拟高分辨率图像和所述真实高分辨率图像间的差异最大化。

6.根据权利要求1所述的方法，其特征在于，所述得到模拟高分辨率图像之后，所述方法还包括：

通过对所述模拟高分辨率样本图像进行升维处理，以使所述模拟高分辨率样本图像的维度与所述标准高分辨率样本图像的维度一致；其中，所述升维处理包括插值处理或上采样处理中的至少一种。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取待测试的低分辨率图像；

将所述待测试的低分辨率图像输入至所述训练好的图像重建模型，并通过所述图像重建模型中的生成网络生成高分辨率重建图。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

将所述待测试的低分辨率图像预加载至图像处理器，获取所述图像处理器拟进行渲染的第一资源消耗，以及将所述高分辨率重建图预加载至图像处理器，获取所述图像处理器拟进行渲染的第二资源消耗；

比较所述第一资源消耗与所述第二资源消耗间的资源消耗差异；

在所述资源消耗差异未满足预设阈值条件的情况下，重新训练所述图像重建模型。

9.一种虚拟场景渲染方法，其特征在于，所述方法包括：

获取用以对虚拟场景进行渲染的初始贴图；

将所述初始贴图输入至图像重建模型的生成网络中，通过所述生成网络输出与所述初始贴图相对应的高分辨率重建贴图；其中，所述生成网络通过与所述图像重建模型中的判别网络对抗训练得到；所述生成网络与所述判别网络的对抗训练中，所述生成网络用于对低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像；所述判别网络用于提取所述模拟高分辨率样本图像中的高频信息得到高频特征图，并提取所述模拟高分辨率样本图像中的低频信息得到低频特征图；所述高频特征图和所述低频特征图用于融合得到模拟高分辨率图像，以基于和与低分辨率样本图像对应的标准高分辨率样本图像间的差异构建与所述生成网络对应的第一损失函数，以及基于和真实高分辨率图像间的差异构建与所述判别网络对应的第二损失函数；所述第一损失函数和所述第二损失函数用于对所述图像重建模型进行训练，直至所述生成网络与所述判别网络满足均衡约束条件，得到训练好的图像重建模型；其中，所述真实高分辨率图像通过将所述标准高分辨率样本图像输入至所述判别网络得到；

预测通过所述初始贴图渲染所述虚拟场景所耗费的第一资源消耗，以及预测通过所述高分辨率重建贴图渲染所述虚拟场景所耗费的第二资源消耗；

在所述第一资源消耗与所述第二资源消耗间的差异满足预设差异条件的情况下，通过所述高分辨率重建贴图渲染所述虚拟场景。

10.根据权利要求9所述的方法，其特征在于，所述获取用以对虚拟场景进行渲染的初始贴图，包括：

获取用于渲染所述虚拟场景的贴图文件；所述贴图文件中配置有多张贴图；

利用调试工具加载所述贴图文件中的各张贴图，并记录加载各张贴图所消耗的加载时长；

将所述加载时长超过预设时长阈值的贴图作为初始贴图。

11.根据权利要求9所述的方法，其特征在于，所述预测通过所述初始贴图渲染所述虚拟场景所耗费的第一资源消耗，以及预测通过所述高分辨率重建贴图渲染所述虚拟场景所耗费的第二资源消耗，包括：

利用调试工具将所述初始贴图预加载至图像处理器，获取所述图像处理器拟进行渲染的第一资源消耗，以及将所述高分辨率重建贴图预加载至图像处理器，获取所述图像处理器拟进行渲染的第二资源消耗；

所述在所述第一资源消耗与所述第二资源消耗间的差异满足预设差异条件的情况下，通过所述高分辨率重建贴图渲染所述虚拟场景，还包括：

比较所述第一资源消耗与所述第二资源消耗间的资源消耗差异；

在所述高分辨率重建贴图的分辨率大于或等于预设分辨率阈值、且所述资源消耗差异小于或等于预设差异阈值的情况下，将所述高分辨率重建贴图加载至所述图像处理器中，以渲染所述虚拟场景。

12.根据权利要求9所述的方法，其特征在于，所述方法还包括：

对所述高分辨率重建贴图进行重采样处理，以使得所述高分辨率重建贴图符合预设的图像尺寸。

13.一种图像重建模型的训练装置，其特征在于，所述装置包括：

获取模块，用于获取低分辨率样本图像和相应的标准高分辨率样本图像；

生成模块，用于通过图像重建模型中的生成网络对所述低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像；

判别模块，用于通过所述图像重建模型中的判别网络，提取所述模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过所述判别网络提取所述模拟高分辨率样本图像中的低频信息，得到低频特征图；

融合模块，用于融合所述高频特征图和所述低频特征图，得到模拟高分辨率图像；

训练模块，用于将所述标准高分辨率样本图像输入至所述图像重建模型中判别网络，得到真实高分辨率图像；基于所述模拟高分辨率样本图像和所述标准高分辨率样本图像间的差异，构建与所述生成网络对应的第一损失函数，并基于所述模拟高分辨率图像和所述真实高分辨率图像间的差异，构建与所述判别网络对应的第二损失函数；基于所述第一损失函数和第二损失函数，对所述图像重建模型进行训练，直至所述生成网络与所述判别网络满足均衡约束条件，得到训练好的图像重建模型；其中，所述训练好的图像重建模型中的生成网络，用于提升输入的图像的分辨率。

14.一种虚拟场景渲染装置，其特征在于，所述装置包括：

获取模块，用于获取用以对虚拟场景进行渲染的初始贴图；

生成模块，用于将所述初始贴图输入至图像重建模型的生成网络中，通过所述生成网络输出与所述初始贴图相对应的高分辨率重建贴图；其中，所述生成网络通过与所述图像重建模型中的判别网络对抗训练得到；所述生成网络与所述判别网络的对抗训练中，所述生成网络用于对低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像；所述判别网络用于提取所述模拟高分辨率样本图像中的高频信息得到高频特征图，并提取所述模拟高分辨率样本图像中的低频信息得到低频特征图；所述高频特征图和所述低频特征图用于融合得到模拟高分辨率图像，以基于和与低分辨率样本图像对应的标准高分辨率样本图像间的差异构建与所述生成网络对应的第一损失函数，以及基于和真实高分辨率图像间的差异构建与所述判别网络对应的第二损失函数；所述第一损失函数和所述第二损失函数用于对所述图像重建模型进行训练，直至所述生成网络与所述判别网络满足均衡约束条件，得到训练好的图像重建模型；其中，所述真实高分辨率图像通过将所述标准高分辨率样本图像输入至所述判别网络得到；

预测模块，用于预测通过所述初始贴图渲染所述虚拟场景所耗费的第一资源消耗，以及预测通过所述高分辨率重建贴图渲染所述虚拟场景所耗费的第二资源消耗；

渲染模块，用于在所述第一资源消耗与所述第二资源消耗间的差异满足预设差异条件的情况下，通过所述高分辨率重建贴图渲染所述虚拟场景。

15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

Images