CN115944912A - 高分辨率图像的获取方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明的实施例提供了一种高分辨率图像的获取方法、装置、电子设备及存储介质，涉及图像处理领域。包括：对多个客户端的游戏实时渲染的帧序列进行预设频率的采样，得到多个图像样本对；基于多个图像样本对对初始判别器进行训练，得到修正判别器；基于多个图像样本对和修正判别器对初始生成器进行训练，得到修正生成器；根据修正生成器对待优化图像进行优化，得到多场景下的高分辨率图像。通过对分布式的多个不同客户端的数据以预设频率进行采集，可以涵盖多型号的游戏设备和游戏过程中会出现的多种场景，在低成本的前提下，获取了大量能够覆盖多种游戏场景的高分辨率图像。

Description

高分辨率图像的获取方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理领域，具体而言，涉及一种高分辨率图像的获取方法、装置、电子设备及存储介质。

背景技术

对于游戏而言，良好的画质可以提升用户的游戏体验，画质与图像的分辨率成正相关，但要获取大量的高分辨率图像，需要的时间和人力成本都较高。因此，可以采取机器学习的方式构建模型，基于少量的数据生成大量的高分辨率图像。但是游戏中的场景较为复杂，例如不同的环境，包括草地、水面、雪景等；或不同的时间，包括正午、夜晚等。在训练数据较少的情况下，模型生成的图像能够覆盖的场景有限，不能广泛应用在游戏中。

发明内容

为了解决上述技术问题，本申请实施例提供了一种高分辨率图像的获取方法、装置、电子设备及存储介质。

第一方面，本申请实施例提供了一种高分辨率图像的获取方法，所述方法包括：

对多个客户端的游戏实时渲染的帧序列进行预设频率的采样，得到多个图像样本对；

基于多个所述图像样本对对初始判别器进行训练，得到修正判别器；

基于多个所述图像样本对和所述修正判别器对初始生成器进行训练，得到修正生成器；

根据所述修正生成器对待优化图像进行优化，得到多场景下的高分辨率图像。

在一实施方式中，各所述图像样本对包括以第一预设分辨率渲染的第一样本和以第二预设分辨率渲染的第二样本，其中所述第一预设分辨率小于所述第二预设分辨率。

在一实施方式中，所述基于多个所述图像样本对对初始判别器进行训练，得到修正判别器的步骤，包括：

将所述第一样本输入初始生成器，得到初始生成数据；

将所述初始生成数据输入所述初始判别器，得到第一判别参数；

将所述第二样本输入所述初始判别器，得到第二判别参数；

基于第一损失函数对所述第一判别参数和所述第二判别参数进行计算，得到第一训练损失；

基于所述第一训练损失对所述初始判别器进行调整，得到所述修正判别器。

在一实施方式中，所述基于多个所述图像样本对和所述修正判别器对初始生成器进行训练，得到修正生成器的步骤，包括：

基于第二损失函数对所述初始生成数据和所述第二样本进行计算，得到第二训练损失；

将所述初始生成数据输入所述修正判别器，得到第三判别参数；

基于第三损失函数对所述第三判别参数和所述第二训练损失进行计算，得到第三训练损失；

根据所述第三训练损失对所述初始生成器进行调整，得到修正生成器。

在一实施方式中，所述基于第三损失函数对所述第三判别参数和所述第二训练损失进行计算，得到第三训练损失的步骤，包括：

将所述第三判别参数的负自然对数乘以预设系数，并和所述第二训练损失相加，得到第三训练损失。

在一实施方式中，所述根据所述修正生成器对待优化图像进行优化，得到多场景下的高分辨率图像的步骤，包括：

对所述待优化图像以所述第一预设分辨率进行渲染，得到第三样本；

将所述第三样本输入所述修正生成器，以使所述修正生成器生成所述高分辨率图像；

其中，所述高分辨率图像的分辨率为所述第二预设分辨率。

在一实施方式中，所述初始生成器包括第一反卷积层、第一卷积层、第二反卷积层、第二卷积层、标准卷积层和第一非线性层；所述初始判别器包括第三卷积层、第四卷积层、维度变换层、全连接层和第二非线性层。

第二方面，本申请实施例提供了一种高分辨率图像的获取装置，所述装置包括：

采样模块，用于对多个客户端的游戏过程视频进行预设频率的图像采样，得到多帧初始场景图像；

渲染模块，用于对各所述初始场景图像以不同分辨率进行渲染，得到各初始场景图像的图像样本对；

第一训练模块，用于基于多个所述图像样本对对初始判别器进行训练，得到修正判别器；

第二训练模块，用于基于多个所述图像样本对和所述修正判别器对初始生成器进行训练，得到修正生成器；

优化模块，用于根据所述修正生成器对待优化图像进行优化，得到多场景下的高分辨率图像。

第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的高分辨率图像的获取方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的高分辨率图像的获取方法。

上述本申请提供的高分辨率图像的获取方法，通过对分布式的多个不同客户端的数据进行采集，可以涵盖多型号的游戏设备和游戏过程中会出现的多种场景，从而达到在低成本的前提下，通过生成器生成能够覆盖多种游戏场景的高分辨率图像。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例提供的高分辨率图像的获取方法的一流程示意图；

图2示出了本申请实施例提供的训练初始判别器的一流程示意图；

图3示出了本申请实施例提供的训练初始生成器的一流程示意图；

图4示出了本申请实施例提供的初始生成器的一结构示意图；

图5示出了本申请实施例提供的初始判别器的一结构示意图；

图6示出了本申请实施例提供的高分辨率图像的获取装置的一结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。

实施例1

本公开实施例提供了一种高分辨率图像的获取方法。

为了提升游戏画面的分辨率，需要获取大量的高分辨率图像。传统的机器学习的方式，可以基于少量的数据生成大量的高分辨率图像。但是在实际的应用中，以手机游戏的画面为例，游戏的场景是比较复杂的，例如不同的环境，包括草地、水面、雪景等；或不同的时间，包括正午、夜晚等；还比如人物的运动方式，步行或跑步等。此外，也会受到设备配置的影响，同一游戏资源在不同配置的手机上画面表现也不同。因此，现有的基于少量数据生成大量高分辨率图像的方法，不能广泛地在提升游戏画面分辨率中使用。基于此，本公开实施例提供了一种高分辨率图像的获取方法，应用于服务器。

具体的，请参见图1，所述高分辨率图像的获取方法包括：

步骤S110，对多个客户端的游戏实时渲染的帧序列进行预设频率的采样，得到多个图像样本对；

在用户正常进行游戏的过程中，用户客户端的显卡只会对游戏的环境数据以一个固定的分辨率进行渲染并显示给用户。

但是在本实施例需要采样的情况下，在得到用户的授权之后，可以在客户端运行游戏的期间，针对当前的游戏场景，先采集一组游戏环境数据。游戏环境数据可以包括摄像头位置，朝向，光照条件，纹理信息，各物件的坐标等等。服务器会向客户端发出指示，以使客户端的显卡以不同的分辨率渲染同一组游戏环境数据。

这样，在游戏实时渲染的帧序列中，每一帧就包括一组两个分辨率的渲染后的数据。客户端会将高分辨渲染得到的数据展示给玩家，将高分辨率渲染和低分辨率渲染得到的数据都回传给服务器。此时对游戏实时渲染的帧序列进行采样得到的图像样本对，也包括两个分辨率不同的样本：第一样本和第二样本。

在一实施方式中，各所述图像样本对包括以第一预设分辨率渲染的第一样本和以第二预设分辨率渲染的第二样本，其中所述第一预设分辨率小于所述第二预设分辨率。

获取同一组环境数据对应的不同分辨率的样本对，是为了在后续对判别器和生成器的训练中，让生成器能够基于低分辨率图像生成高分辨率图像。

请参见图2，用A1表示第一样本，A2表示第二样本。可以以较低的第一预设分辨率和较高的第二预设分辨率对同一组环境数据分别进行渲染。在一实施方式中，第一预设分辨率可以为540p，第二预设分辨率可以为2160p。将对应同一组环境数据但分辨率不同的第一样本A1和第二样本A2组合成为一个图像样本对(A1,A2)。为了能够覆盖大量的场景以及不同设备的配置，可以从大量玩家那里获取到大量不同的样本对，作为接下来进行深度学习训练的数据集，并将该数据集发送至服务器。后续的步骤S120、S130都由服务器执行。

步骤S120，基于多个所述图像样本对对初始判别器进行训练，得到修正判别器；

由于本申请实施例是对图像进行处理，且需求是通过一张低分辨率的图像生成高分辨的图像，因此可以通过神经网络补充一些不存在的信息以提高分辨率，在一实施方式中，可以采用对抗生成网络进行信息的补充，对抗生成网络主要包括一个判别器和一个生成器。在本申请实施例中，将未经训练的判别器和生成器分别命名为初始判别器和初始生成器，经过训练的判别器和生成器分别命名为修正判别器和修正生成器。

在一实施方式中，请参见图2，将所述第一样本输入初始生成器，得到初始生成数据；将所述初始生成数据输入所述初始判别器，得到第一判别参数；将所述第二样本输入所述初始判别器，得到第二判别参数；基于第一损失函数对所述第一判别参数和所述第二判别参数进行计算，得到第一训练损失；基于所述第一训练损失对所述初始判别器进行调整，得到所述修正判别器。

判别器和生成器的训练是一个多次循环的过程，在每一次循环中，需要先训练判别器，再训练生成器。

首先，需要将第一样本A1输入未经训练的初始生成器，输出一个初始生成数据A1’。因为此时生成器还是未经训练的状态，可以理解为，初始生成数据A1’是一个效果不佳的对应第一样本A1的高分辨率生成结果。而与第一样本A1成对的第二样本A2则是实际上需要生成器去学习的数据。

将初始生成数据A1’和第二样本A2分别通过初始判别器，可以得到第一判别参数a1’和第二判别参数a2’，用于计算初始生成数据A1’和第二样本A2之间的训练损失。将第一判别参数a1’和第二判别参数a2’代入第一损失函数，计算此时初始判别器的第一训练损失。第一损失函数可以为交叉熵损失函数(Cross Entropy Loss Function)。得到了第一训练损失后，可以采用基于梯度下降法的反向传播，更新初始判别器各层的权重参数。

步骤S130，基于多个所述图像样本对和所述修正判别器对初始生成器进行训练，得到修正生成器；在训练初始生成器的过程中，需要用到图像样本对和本次循环上一步骤训练好的修正判别器。

具体地，请参见图3，在一实施方式中，基于第二损失函数对所述初始生成数据和所述第二样本进行计算，得到第二训练损失；将所述初始生成数据输入所述修正判别器，得到第三判别参数；

第二损失函数可以采用均方方差损失函数(Mean Squared Error)，代入初始生成数据A1’和第二样本A2进行计算。然后，将初始生成数据A1’输入更新后的修正判别器，得到第三判别参数a1。

基于第三损失函数对所述第三判别参数和所述第二训练损失进行计算，得到第三训练损失；在一实施方式中，将所述第三判别参数的负自然对数乘以预设系数，并和所述第二训练损失相加，得到第三训练损失。

预设系数可以为0.01，计算第三判别参数的负自然对数-ln(a1)，再将-ln(a1)×0.01与第二训练损失求和，这时得到的值就是第三训练损失。

根据所述第三训练损失对所述初始生成器进行调整，得到修正生成器。同样地，可以采用基于梯度下降法的反向传播，更新初始生成器各层的权重参数。

在训练判别器和生成器的过程中，需要多次循环步骤S130、步骤S140；如果训练样本用完而训练结果不满足预设的评估指标，也可以增加样本继续训练，因为可以不断地以较低成本获取图像样本对，无需担心样本获取难度的问题。实际上对生成器和判别器的训练过程，是一个通过生成器和判别器之间的反复博弈，使得生成器生成的数据不断接近高分辨率样本的过程。

最终得到的会是生成器的全部权重矩阵，此时的生成器就是最后用于图像优化的修正生成器。

在一实施方式中，如图3所示，所述初始生成器包括第一反卷积层、第一卷积层、第二反卷积层、第二卷积层、标准卷积层和第一非线性层；

第一反卷积层和第二反卷积层都包括一个用于改变经过的图像尺寸的2维卷积转置层ConvTranspose2d，一个用于参数标准化的BatchNorm层以及用于表示非线性特征的非线性层ReLU组成，这里步长一般为2，目的是使得输出的数据的长和宽均为输入数据的两倍。

第一卷积层和第二卷积层都包括一个用于改变通道数的2维标准卷积层，一个用于参数标准化的BatchNorm层以及一个用于表示非线性特征的非线性层ReLU组成，卷积核的大小为3，即c*3*3的矩阵，这里c代表通道数，视输入数据的通道数而定。步长一般为1，填充为1，这样可以保证在经过第一卷积层和第二卷积层后，只有通道数可能发生改变。

标准卷积层也用于改变通道数，第一非线性层sigmoid作为激活函数，主要的作用在于引入非线性，且输出范围为(0，1)，可以保证数据不易发散。

由图4可知，输入初始生成器的图像的通道数经过第一反卷积层由3变为了16，经过第一卷积层由16变为了32，经过第二反卷积层不发生改变，经过第二卷积层由32变为了16，经过标准卷积层由16变为3。因为经过了两个反卷积层，所以最终输出的图像会变成原来的4倍，若原图的分辨率为540p(3*540*960)，输出的图像分辨率就为2160p(3*2160*3840)。

如图5所示，所述初始判别器包括第三卷积层、第四卷积层、维度变换层、全连接层和第二非线性层。

第三卷积层、第四卷积层的作用为改变通道数，图像的通道数经过第三卷积层由3变为了16，经过第四卷积层变为了32。维度变换层Flatten仅仅是把整个(3*2160*3840)矩阵展开成一个一维数组，长度为3*2160*3840，再通过全连接层进行计算，最终输出为一个数值。最后，再经过第二非线性层sigmoid，得到一个0到1区间内的值。

步骤S140，根据所述修正生成器对待优化图像进行优化，得到多场景下的高分辨率图像。

训练好修正生成器之后，就可以采用修正生成器获取需要的多场景下的高分辨率图像了。此时，可以将训练好的修正生成器作为游戏的更新包传回给客户端。

在一实施方式中，对所述待优化图像以所述第一预设分辨率进行渲染，得到第三样本；将所述第三样本输入所述修正生成器，以使所述修正生成器生成所述高分辨率图像；其中，所述高分辨率图像的分辨率为所述第二预设分辨率。

客户端在运行时可以选择仅将游戏运行的每一帧场景图像渲染至第一预设分辨率，如前文所述的540p。再通过修正生成器补全细节，生成第二预设分辨率的高分辨率图像，如前文所述的2160p。因为在前期采集训练数据时，采集的数据是多个场景的，所以修正生成器也可以对不同场景下的低分辨率图像进行优化。此外，以2160p为例，对于配置较低的设备而言，将每一帧场景图像直接渲染至2160p可能会造成游戏的卡顿或无法运行，本申请实施例也可以使低配置的设备也可以获取高分辨率的游戏画质。

本申请实施例因为采集数据便捷，用于训练的图像样本对具有不断更新的潜力，修正生成器也可以不断地根据更新的训练样本进行优化。

本实施例提供的高分辨率图像的获取方法，通过对分布式的多个不同客户端的数据进行预设频率的采集，可以涵盖多型号的游戏设备和游戏过程中会出现的多种场景，从而达到在低成本的前提下，生成能够覆盖多种游戏场景的高分辨率图像。

实施例2

此外，本公开实施例提供了一种高分辨率图像的获取装置。

具体的，如图6所示，高分辨率图像的获取装置600包括：

采样模块610，用于对多个客户端的游戏实时渲染的帧序列进行预设频率的采样，得到多个图像样本对；

第一训练模块620，用于基于多个所述图像样本对对初始判别器进行训练，得到修正判别器；

第二训练模块630，用于基于多个所述图像样本对和所述修正判别器对初始生成器进行训练，得到修正生成器；

优化模块640，用于根据所述修正生成器对待优化图像进行优化，得到多场景下的高分辨率图像。

本实施例提供的高分辨率图像的获取装置600可以实现实施例1所提供的高分辨率图像的获取方法，为避免重复，在此不再赘述。

本实施例提供的高分辨率图像的获取装置，通过对分布式的多个不同客户端的数据进行预设频率的采集，可以涵盖多型号的游戏设备和游戏过程中会出现的多种场景，从而达到在低成本的前提下，生成能够覆盖多种游戏场景的高分辨率图像。

实施例3

此外，本公开实施例提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行实施例1所提供的高分辨率图像的获取方法。

本发明实施例提供的电子设备，可以实现实施例1所提供的高分辨率图像的获取方法，为避免重复，在此不再赘述。

本实施例提供的电子设备，通过对分布式的多个不同客户端的数据进行预设频率的采集，可以涵盖多型号的游戏设备和游戏过程中会出现的多种场景，从而达到在低成本的前提下，生成能够覆盖多种游戏场景的高分辨率图像。

实施例4

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实施例1所提供的高分辨率图像的获取方法。

在本实施例中，计算机可读存储介质可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本实施例提供的计算机可读存储介质可以实现实施例1所提供的高分辨率图像的获取方法，为避免重复，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种高分辨率图像的获取方法，其特征在于，所述方法包括：

对多个客户端的游戏实时渲染的帧序列进行预设频率的采样，得到多个图像样本对；

基于多个所述图像样本对对初始判别器进行训练，得到修正判别器；

基于多个所述图像样本对和所述修正判别器对初始生成器进行训练，得到修正生成器；

根据所述修正生成器对待优化图像进行优化，得到多场景下的高分辨率图像。

2.根据权利要求1所述的高分辨率图像的获取方法，其特征在于，各所述图像样本对包括以第一预设分辨率渲染的第一样本和以第二预设分辨率渲染的第二样本，其中所述第一预设分辨率小于所述第二预设分辨率。

3.根据权利要求2所述的高分辨率图像的获取方法，其特征在于，所述基于多个所述图像样本对对初始判别器进行训练，得到修正判别器的步骤，包括：

将所述第一样本输入初始生成器，得到初始生成数据；

将所述初始生成数据输入所述初始判别器，得到第一判别参数；

将所述第二样本输入所述初始判别器，得到第二判别参数；

基于第一损失函数对所述第一判别参数和所述第二判别参数进行计算，得到第一训练损失；

基于所述第一训练损失对所述初始判别器进行调整，得到所述修正判别器。

4.根据权利要求3所述的高分辨率图像的获取方法，其特征在于，所述基于多个所述图像样本对和所述修正判别器对初始生成器进行训练，得到修正生成器的步骤，包括：

基于第二损失函数对所述初始生成数据和所述第二样本进行计算，得到第二训练损失；

将所述初始生成数据输入所述修正判别器，得到第三判别参数；

基于第三损失函数对所述第三判别参数和所述第二训练损失进行计算，得到第三训练损失；

根据所述第三训练损失对所述初始生成器进行调整，得到修正生成器。

5.根据权利要求4所述的高分辨率图像的获取方法，其特征在于，所述基于第三损失函数对所述第三判别参数和所述第二训练损失进行计算，得到第三训练损失的步骤，包括：

将所述第三判别参数的负自然对数乘以预设系数，并和所述第二训练损失相加，得到第三训练损失。

6.根据权利要求2所述的高分辨率图像的获取方法，其特征在于，所述根据所述修正生成器对待优化图像进行优化，得到多场景下的高分辨率图像的步骤，包括：

对所述待优化图像以所述第一预设分辨率进行渲染，得到第三样本；

将所述第三样本输入所述修正生成器，以使所述修正生成器生成所述高分辨率图像；

其中，所述高分辨率图像的分辨率为所述第二预设分辨率。

7.根据权利要求1所述的高分辨率图像的获取方法，其特征在于，所述初始生成器包括第一反卷积层、第一卷积层、第二反卷积层、第二卷积层、标准卷积层和第一非线性层；所述初始判别器包括第三卷积层、第四卷积层、维度变换层、全连接层和第二非线性层。

8.一种高分辨率图像的获取装置，其特征在于，所述装置包括：

采样模块，用于对多个客户端的游戏实时渲染的帧序列进行预设频率的采样，得到多个图像样本对；

第一训练模块，用于基于多个所述图像样本对对初始判别器进行训练，得到修正判别器；

第二训练模块，用于基于多个所述图像样本对和所述修正判别器对初始生成器进行训练，得到修正生成器；

优化模块，用于根据所述修正生成器对待优化图像进行优化，得到多场景下的高分辨率图像。

9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至7中任一项所述的高分辨率图像的获取方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的高分辨率图像的获取方法。

Images