CN110852974A - 图像抗锯齿处理方法、图像生成器的训练方法及装置 - Google Patents

Abstract

本发明提供了一种图像抗锯齿处理方法、图像生成器的训练方法及装置，该图像抗锯齿处理方法包括：获取原始游戏图像；将原始游戏图像输入至训练好的图像生成器；其中，图像生成器为全卷积结构的神经网络模型，包括：特征提取网络、特征学习网络和合成网络；通过特征提取网络提取原始游戏图像的特征信息；通过特征学习网络对特征信息进行学习和卷积操作处理；通过合成网络对特征信息和卷积操作处理的结果进行合成处理，得到原始游戏图像的抗锯齿游戏图像。本发明提供的图像抗锯齿处理方法、图像生成器的训练方法及装置，无需进行大量的运算，以便于可以部署于无法使用大量计算资源进行抗锯齿优化的设备，进而在计算机游戏中进行推广。

Description

图像抗锯齿处理方法、图像生成器的训练方法及装置

技术领域

本发明涉及图像处理的技术领域，尤其是涉及一种图像抗锯齿处理方法、图像生成器的训练方法及装置。

背景技术

抗锯齿处理方法通常用于计算机游戏或者其他生成图像的计算机程序中，以在渲染的图像中消除图像锯齿。而图像的抗锯齿过程，实际上是将边缘柔化，即用“模糊”代替“精确”的过程。现有的针对图像画面的抗锯齿算法，主要分为增加采样率和图像后处理两种方式。

增加采样率(即超采样)是一种空间抗锯齿方法，它是通过以比显示的图像高得多的分辨率渲染图像，然后使用额外的像素进行计算，将其缩小到所需的大小来实现的。图像后处理方式则是将按原始分辨率渲染的图像经过边缘模糊等处理过程，以消除图像中的锯齿。

上述传统的抗锯齿算法，虽然计算速度快，但其计算过程依赖于强大的计算能力，而游戏中的图像数量较大，且运行游戏本身需要占用较多的硬件资源，难以满足这种抗锯齿算法的计算需求，导致该抗锯齿算法难以推广应用。

发明内容

有鉴于此，本发明的目的在于提供一种图像抗锯齿处理方法、图像生成器的训练方法及装置，以扩展图像抗锯齿处理的应用场景。

第一方面，本发明实施例提供了一种图像抗锯齿处理方法，该方法包括：获取原始游戏图像；将原始游戏图像输入至训练好的图像生成器；其中，图像生成器为全卷积结构的神经网络模型，神经网络模型包括：特征提取网络、特征学习网络和合成网络；通过特征提取网络提取原始游戏图像的特征信息；通过特征学习网络对特征信息进行学习，并对学习到的特征信息进行卷积操作处理；通过合成网络对特征信息和卷积操作处理的结果进行合成处理，得到原始游戏图像的抗锯齿游戏图像。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述特征提取网络包括第一卷积层；特征学习网络包括依次连接的多个卷积层组和第二卷积层，其中，卷积层组为使用通道注意力机制的卷积层组；第一卷积层的输入端还与第二卷积层的输出端连接；合成网络包括依次连接的第三卷积层和第四卷积层。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述每个卷积层组包括依次连接的第五卷积层、第六卷积层、注意力机制层和运算节点；其中，第六卷积层的输出端与注意力机制层的输出端共同连接至运算节点，第五卷积层的输入端还与运算节点的输出端连接。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述方法还包括：将抗锯齿游戏图像写入至原始游戏图像对应游戏的游戏文件中，供游戏终端在运行游戏过程中应用抗锯齿游戏图像。

第二方面，本发明实施例还提供一种图像生成器的训练方法，该图像生成器的初始生成器模型为全卷积结构的神经网络模型，神经网络模型包括：特征提取网络、特征学习网络和合成网络；该方法包括：获取样本图像和样本图像的标签图像，其中，标签图像为应用预设的抗锯齿处理算法对样本图像进行处理后得到的抗锯齿标准图像；将样本图像输入至初始生成器模型，以使初始生成器模型生成样本图像对应的抗锯齿初始图像；计算抗锯齿初始图像与标签图像的损失值；根据损失值调整初始生成器模型的参数，继续训练调整参数后的初始生成器模型，直至损失值收敛至预设值，得到训练完成的图像生成器；其中，图像生成器用于对游戏图像进行抗锯齿处理。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述获取样本图像和样本图像的标签图像的步骤包括：对原始游戏图像进行随机裁剪，将裁剪后生成的多个图像块中的任意一个作为样本图像；获取原始游戏图像对应的抗锯齿标准图像；在抗锯齿标准图像中提取与样本图像对应位置的图像块作为样本图像的标签图像。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述对原始游戏图像进行随机裁剪之前，该方法还包括：检测原始游戏图像的尺寸是否满足预设尺寸；如果否，按照预设尺寸对原始游戏图像进行缩放，以使缩放后的原始游戏图像的尺寸为预设尺寸。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，上述初始生成器模型的输出端还连接有预训练模型和判别器；损失值包括：像素损失、生成对抗损失和感知损失；上述计算抗锯齿初始图像与标签图像的损失值的步骤包括：将初始生成器模型输出的抗锯齿初始图像和标签图像输入至判别器，得到抗锯齿初始图像和标签图像对应的生成对抗损失；计算抗锯齿初始图像与标签图像的相似度，将相似度作为抗锯齿初始图像与标签图像对应的像素损失；将初始生成器模型输出的抗锯齿初始图像和标签图像输入至预训练模型，得到抗锯齿初始图像和标签图像对应的感知损失；按照预先设置的权重参数计算像素损失、生成对抗损失和感知损失的加权和，将加权和对应的值确定为抗锯齿初始图像与标签图像的损失值。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，上述根据损失值调整初始生成器模型的参数的步骤包括：根据损失值和预设的梯度下降算法调整初始生成器模型的参数；其中，参数包括初始生成器模型的卷积核的个数和偏置项的参数。

第三方面，本发明实施例提供了一种图像抗锯齿处理装置，该装置包括：第一获取模块，用于获取原始游戏图像；输入模块，用于将原始游戏图像输入至训练好的图像生成器；其中，图像生成器为全卷积结构的神经网络模型，神经网络模型包括：特征提取网络、特征学习网络和合成网络；提取模块，用于通过特征提取网络提取原始游戏图像的特征信息；学习模块，用于通过特征学习网络对特征信息进行学习，并对学习到的特征信息进行卷积操作处理；合成模块，用于通过合成网络对特征信息和卷积操作处理的结果进行合成处理，得到原始游戏图像的抗锯齿游戏图像。

第四方面，本发明实施例提供了一种图像生成器的训练装置，该图像生成器的初始生成器模型为全卷积结构的神经网络模型，神经网络模型包括：特征提取网络、特征学习网络和合成网络；该装置包括：第二获取模块，用于获取样本图像和样本图像的标签图像，其中，标签图像为应用预设的抗锯齿处理算法对样本图像进行处理后得到的抗锯齿标准图像；生成模块，用于将样本图像输入至初始生成器模型，以使初始生成器模型生成样本图像对应的抗锯齿初始图像；计算模块，用于计算抗锯齿初始图像与标签图像的损失值；训练模块，用于根据损失值调整初始生成器模型的参数，继续训练调整参数后的初始生成器模型，直至损失值收敛至预设值，得到训练完成的图像生成器；其中，图像生成器用于对游戏图像进行抗锯齿处理。

第五方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述第一至第二方面所述的方法的步骤。

第六方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一至第二方面所述的方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例提供的图像抗锯齿处理方法、图像生成器的训练方法及装置，在进行图像抗锯齿处理时，能够获取原始游戏图像，并将原始游戏图像输入至训练好的图像生成器进行图像抗锯齿处理，而该图像生成器为全卷积结构的神经网络模型，包括特征提取网络、特征学习网络和合成网络，在进行图像抗锯齿处理过程中可以通过特征提取网络提取原始游戏图像的特征信息；通过特征学习网络对特征信息进行学习，并对学习到的特征信息进行卷积操作处理；以及，通过合成网络对特征信息和卷积操作处理的结果进行合成处理，进而得到原始游戏图像的抗锯齿游戏图像，由于图像生成器是预先训练好的，因此，利用该图像生成器输出抗锯齿游戏图像的计算过程无需进行大量的运算，使得本发明实施例提供的方法可以部署于无法使用大量计算资源进行抗锯齿优化的设备，进而便于图像抗锯齿处理技术在游戏中的推广。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像抗锯齿处理方法的流程图；

图2为本发明实施例提供的一种图像生成器的结构示意图；

图3为本发明实施例提供的一种图像生成器的训练方法的流程图；

图4为本发明实施例提供的另一种图像生成器的训练方法的流程图；

图5为本发明实施例提供的一种图像生成器的训练过程示意图；

图6为本发明实施例提供的一种图像生成器的训练算法流程示意图；

图7为本发明实施例提供的一种图像抗锯齿处理装置的结构示意图；

图8为本发明实施例提供的一种图像生成器的训练装置的结构示意图；

图9为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

通常，传统的抗锯齿处理方法通常包括增加采样率方式和图像后处理方式，其中，增加采样率(即超采样)是一种空间抗锯齿方法，代表方法包括超级采样抗锯齿(Super-Sampling Anti-Aliasing，SSAA)、多重采样抗锯齿(Multi-Sampling Anti-Aliasing，MSAA)等。其中，SSAA可以对全局信息进行超采样，需要消耗大量的计算资源；MSAA仅对图形边缘进行超采样，着色器仅对每个像素计算一次，相对减少了一定的计算复杂度；图像后处理，则是将按原始分辨率渲染的图像经过边缘模糊等处理过程，其代表方法有快速近似抗锯齿(Fast Approximate Anti-Aliasing，FXAA)、随机采样抗锯齿(Temporal Anti-Aliasing，TAA)等。但是上述传统的抗锯齿的方法，其实现过程依赖于强大的计算能力，因此，不适用于移动终端的画面优化。

除以上通用的传统抗锯齿方法外，近年来，随着深度神经网络的研究兴起，目前可以采用深度学习超级采样抗锯齿(Deep Learning Super-Sampling，DLSS)方法进行图像抗锯齿处理，该DLSS方式不同于传统的基于像素的超采样过程，通过使用神经网络模型，可以对原始画面进行64倍的超分辨，然后降采样至用户设定的分辨率。但是，DLSS需运行在RTX(Ray Tracing，光线追踪技术)GPU搭载的Turing Tensor核心上，且，DLSS的可用性通常取决于显卡的计算能力和所选的显示分辨率，而目前，DLSS仅支持RTX系列显卡，不仅难以进行推广，也严重限制了图像抗锯齿处理技术在计算机游戏中的应用。

基于此，本发明实施例提供了一种图像抗锯齿处理方法、图像生成器的训练方法及装置，可以有效缓解上述问题。

为便于对本实施例进行理解，下面对本发明实施例提供的图像抗锯齿处理方法进行详细介绍。

在一种可能的实施方式中，本发明实施例提供了一种图像抗锯齿处理方法，具体地，该方法可以部署于计算机集群上，对连接至该计算机集群的移动终端提供图像抗锯齿优化，其中，该与计算机集群连接的移动终端可以是智能手机、平板电脑、掌上电脑等可以安装相应的游戏程序APP的智能终端。

具体地，如图1所示的一种图像抗锯齿处理方法的流程图，该方法包括以下步骤：

步骤S102，获取原始游戏图像；

具体地，该原始游戏图像指的是未经抗锯齿处理的图像，如，在进行抗锯齿处理之前，某个游戏场景的截图，或者游戏中虚拟角色的图像等等。

步骤S104，将原始游戏图像输入至训练好的图像生成器；其中，图像生成器为全卷积结构的神经网络模型，神经网络模型包括：特征提取网络、特征学习网络和合成网络；

本发明实施例中，由于图像生成器是采用全卷积结构的神经网络模型训练成的，因此，将原始游戏图像输入至该训练好的图像生成器后，可以输出抗锯齿游戏图像，具体地，神经网络模型包括的每个网络均有相应的功能，以便于在图像生成器输入原始游戏图像时，使图像生成器能够具有图像抗锯齿处理的功能，具体地，图像生成器中每个网络的处理流程如步骤S106～步骤S110所示。

步骤S106，通过特征提取网络提取原始游戏图像的特征信息；

具体地，该特征信息可以是原始游戏图像中包含的图形边缘的像素信息、纹理特征等等，如，虚拟角色的轮廓像素特征，虚拟建筑的轮廓像素特征。

步骤S108，通过特征学习网络对特征信息进行学习，并对学习到的特征信息进行卷积操作处理；

步骤S110，通过合成网络对特征信息和卷积操作处理的结果进行合成处理，得到原始游戏图像的抗锯齿游戏图像。

通常，对于全卷积结构的神经网络模型，其包括的特征提取网络、特征学习网络和合成网络可以作为神经网络模型的一个模块，并依次连接，以构成全卷积结构的神经网络模型，因此，特征提取网络通常神经网络模型的第一部分，其输入是原始游戏图像，输出是初步提取的特征信息，特征学习网络是神经网络模型的第二部分，其输入是特征提取网络中初步提取的特征信息，输出则是学习到的精细的特征信息；合成网络是神经网络模型的第三部分，其输入是精细的特征信息，输出则是抗锯齿游戏图像。当第一部分的特征提取网络提取到原始游戏图像的特征信息后，第二部分的特征学习网络可以获取到该特征信息，并进行学习可卷积操作处理，第一部分和第二部分的结果可以作为第三部分的输入，进而由第三部分的合成网络来合成原始游戏图像对应的抗锯齿游戏图像。

本发明实施例提供的图像抗锯齿处理方法，在进行图像抗锯齿处理时，能够获取原始游戏图像，并将原始游戏图像输入至训练好的图像生成器进行图像抗锯齿处理，而该图像生成器为全卷积结构的神经网络模型，包括特征提取网络、特征学习网络和合成网络，在进行图像抗锯齿处理过程中可以通过特征提取网络提取原始游戏图像的特征信息；通过特征学习网络对特征信息进行学习，并对学习到的特征信息进行卷积操作处理；以及，通过合成网络对特征信息和卷积操作处理的结果进行合成处理，进而得到原始游戏图像的抗锯齿游戏图像，由于图像生成器是预先训练好的，因此，利用该图像生成器输出抗锯齿游戏图像的计算过程无需进行大量的运算，使得本发明实施例提供的方法可以部署于无法使用大量计算资源进行抗锯齿优化的设备，进而便于图像抗锯齿处理技术在计算机游戏中的推广。

通常，全卷积结构的神经网络模型是将卷积神经网络的末尾的全连接层转化为卷积层后得到的，因此，全卷积结构的神经网络模型通常也包括有多个卷积层，而本发明实施例中，构成图像生成器的神经网络模型的特征提取网络通常包括第一卷积层；特征学习网络包括依次连接的多个卷积层组和第二卷积层，其中，卷积层组为使用通道注意力机制的卷积层组；第一卷积层的输入端还与第二卷积层的输出端连接；合成网络包括依次连接的第三卷积层和第四卷积层。

为了便于理解，图2示出了一种图像生成器的结构示意图，如图2所示，其中，上述全卷积结构的神经网络模型所包括的特征提取网络、特征学习网络和合成网络均用卷积层或者卷积层组代替，其中，特征提取网络包括的第一卷积层仅仅示出了一个卷积层的形式，且，该卷积层与特征学习网络中的第一个卷积层组连接，进一步，在图2中，特征学习网络包括的第二卷积层，以及合成网络包括的第三卷积层和第四卷积层，均示出了一个卷积层的形式，在实际使用时，每个网络中包含的卷积层还可以有其他数量，如特征提取网络的第一卷积层可以是有多个卷积层依次连接后形成的总的卷积层，以便于提取出较为精确的像素特征或者纹理特征等等，具体每个网络的卷积层的形式还可以根据实际情况进行设置，本发明实施例对此不进行限制。

进一步，如图2所示，每个卷积层组包括依次连接的第五卷积层、第六卷积层、注意力机制层和运算节点；其中，运算节点通常是点乘运算节点，第六卷积层的输出端与注意力机制层的输出端共同连接至运算节点，第五卷积层的输入端还与运算节点的输出端连接。具体地，上述注意力机制层是指通道注意力机制层，包含该通道注意力机制层的卷积层组，可以形成如图2所示的通道注意力卷积层组，能够对包含特征信息的特征图中不同通道分别赋予不同的权重，以增加网络对特征信息的学习能力。

此外，本发明实施例提供的图像抗锯齿处理方法还可以将抗锯齿游戏图像写入至原始游戏图像对应游戏的游戏文件中，供游戏终端在运行游戏过程中应用抗锯齿游戏图像。例如，对于某个经常调用的游戏场景或者虚拟角色的图像可以通过本发明实施例提供的图像抗锯齿处理方法预先进行抗锯齿处理，得到对应的抗锯齿游戏图像并写入至游戏文件中，当移动终端运行游戏时，可以直接调取该抗锯齿游戏图像并进行显示。

本发明实施例提供的图像抗锯齿处理方法还可以部署在游戏的后台服务器集群上，并设置相应的网络接口对外提供服务，当该游戏对应的移动终端连接至该网络接口时，移动终端可以将游戏玩家在游戏过程中的实时截图通过该网络接口上传至后台服务器集群，此时，该截图相当于上述原始游戏图像，由后台服务器集群执行上述图像抗锯齿处理方法，对原始游戏图像进行抗锯齿处理，生成抗锯齿游戏图像，并将该抗锯齿游戏图像回传至移动终端供游戏玩家使用，从而为移动终端的游戏提供抗锯齿优化处理。

此外，对于部署有上述图像抗锯齿处理方法的计算机集群，或者，游戏的后台服务器集群，通常是配置有CUDA(Compute Unified Device Architecture，统一计算设备架构)核心显卡的智能终端，因此，本发明实施例提供的图像抗锯齿处理方法并不局限于RTX系列显卡，因此，相对于现有DLSS方法，本发明实施例提供的图像抗锯齿处理方法具有更广泛的通用性。

在实际使用时，为了使上述图像生成器生成的抗锯齿游戏图像与使用传统抗锯齿算法优化的图像在细节上没有差异，在对图像生成器进行训练时，通常基于生成对抗网络来对全卷积结构的神经网络模型进行训练。在训练时，图像生成器的初始生成器模型为全卷积结构的神经网络模型，该神经网络模型包括：特征提取网络、特征学习网络和合成网络；通常，该训练方法多在服务器上执行，以便于满足训练过程中所需的计算资源，具体地，如图3所示的一种图像生成器的训练方法的流程图，该方法包括：

步骤S202，获取样本图像和样本图像的标签图像；

其中，标签图像为应用预设的抗锯齿处理算法对样本图像进行处理后得到的抗锯齿标准图像；

通常，上述预设的抗锯齿处理算法通常指传统的抗锯齿处理方法，如，超级采样抗锯齿、多重采样抗锯齿、快速近似抗锯齿，或者，随机采样抗锯齿等等，通过传统的抗锯齿处理方法对样本图像进行处理后得到的抗锯齿标准图像，图像是抗锯齿效果较好的图像，用这种效果较好的图像作为标签图像，并对图像生成器的初始生成器模型进行训练，可以使生成的抗锯齿游戏图像与使用传统的抗锯齿算法优化的图像在细节上没有差异。

步骤S204，将样本图像输入至初始生成器模型，以使初始生成器模型生成样本图像对应的抗锯齿初始图像；

步骤S206，计算抗锯齿初始图像与标签图像的损失值；

步骤S208，根据损失值调整初始生成器模型的参数，继续训练调整参数后的初始生成器模型，直至损失值收敛至预设值，得到训练完成的图像生成器；其中，图像生成器用于对游戏图像进行抗锯齿处理。

通常，上述步骤S202中的样本图像是训练过程的输入量，通常用x表示，用于提供图像各通道的像素信息，通常，该样本图像要求只包含颜色通道，因此，在将样本图像输入至初始生成器模型之前，通常对样本图像进行处理，以提取该样本图像各个通道的像素信息。

进一步，在神经网络模型的训练过程中，由于神经网络模型需要学习更为通用的各通道与各像素之间的关系，因此，上述样本图像和标签图像通常是整幅图像的一部分，通常采取随机裁剪的方式，对原始游戏图像进行等概率随机裁剪，以裁剪出不同预设大小的图像块，将每个图像块作为一个样本图像，不仅能够丰富训练的样本集，还可以增加训练的通用性。

因此，在图3的基础上，图4还提供了另一种图像生成器的训练方法的流程图，对获取样本图像和样本图像的标签图像进行说明，如图4所示，包括以下步骤：

步骤S302，对原始游戏图像进行随机裁剪，将裁剪后生成的多个图像块中的任意一个作为样本图像；

其中，在训练过程中，该样本图像通常仅包括颜色通道，在训练过程中，用输入量x表示。

步骤S304，获取原始游戏图像对应的抗锯齿标准图像，在抗锯齿标准图像中提取与样本图像对应位置的图像块作为样本图像的标签图像；

具体地，在训练过程中，该标签图像通常用输入量y表示，该标签图像作为训练的基准标签，主要用于计算各项损失，以引导生成器生成质量接近的抗锯齿图像。

在实际使用时，对上述原始游戏图像进行随机裁剪之前，还需判断该原始游戏图像是否满足裁剪的尺寸，即，检测原始游戏图像的尺寸是否满足预设尺寸；如果否，则按照预设尺寸对原始游戏图像进行缩放，以使缩放后的原始游戏图像的尺寸为预设尺寸，然后再进行随机裁剪。

例如，若原始游戏图像的长或宽小于需要裁剪的大小，则可以使用插值算法扩大图像的相应维度；然后在原始游戏图像中等概率地随机裁剪，得到多个图像块。另外，对于原始游戏图像对应的抗锯齿标准图像，也需要对相应的区域进行裁剪，以得到上述标签图像。

步骤S306，将样本图像输入至初始生成器模型，以使初始生成器模型生成样本图像对应的抗锯齿初始图像；

具体地，该初始生成器模型为全卷积结构的神经网络模型，通常分为三个部分，经过训练后生成的图像生成器的结构如图2所示，以图2所示的图像生成器为例进行说明：第一部分是：特征提取网络，包含1个卷积层；第二部分是特征学习为例，包含若干卷积层组和1个卷积层，卷积层组使用了通道注意力机制；第三部分是合成为例，第一部分和第二部分连接后作为第三部分的输入，进而通过两个卷积层合成样本图像对应的抗锯齿初始图像。具体地，初始生成器模型的数学模型可以表示为y^＝G(x)，其中，x为输入的上述样本图像，y^为经过一系列卷积操作后生成的样本图像对应的抗锯齿初始图像。

当通过上述步骤得到该抗锯齿初始图像后，则继续执行后续步骤S308～步骤S314的过程，以计算抗锯齿初始图像与标签图像的损失值，并进行训练和参数调整。

具体地，本发明实施例中，上述初始生成器模型的输出端还连接有预训练模型和判别器；上述损失值包括：像素损失、生成对抗损失和感知损失，后续步骤S308～步骤S314的过程为每个损失的计算过程，以及损失值的计算过程。

步骤S308，将初始生成器模型输出的抗锯齿初始图像和标签图像输入至判别器，得到抗锯齿初始图像和标签图像对应的生成对抗损失；

具体地，本发明实施例中用到的判别器主要用于对表示标签图像的输入量y和表示抗锯齿初始图像的y^进行判定，本发明实施例中，采用相对判别器进行判定，其网络结构为VGG-13，以试图估计标签图像比抗锯齿初始图像更真实的概率，通常，上述标签图像也称为真实图像，即判定的真值，抗锯齿初始图像也称为生成图像，因此，上述判别器的判断过程则是估计真实图像比生成图像更真实的概率，如果抗锯齿初始图像的抗锯齿效果较好，则判别器判定的结果概率较小，即抗锯齿初始图像与标签图像较为相似，如果抗锯齿初始图像的抗锯齿效果不好，则判别器判定的结果概率较大。

上述生成对抗损失可以衡量初始生成器模型的生成能力和判别器的判断能力，对于每个样本图像的生成对抗损失，其数学模型可表示为：

L_a(Φ)＝-log(1-D_Ra(y，y^))-log(D_Ra(y^，y))，

其中，D_Ra(y，y^)表示真实图像比生成图像更真实的概率，D_Ra(y^，y)表示生成图像比真实图像更虚假的概率。当L_a收敛时，表明此时判别器几乎无法区分初始生成器模型生成的抗锯齿初始图像与标签图像，即初始生成器模型与判别器达到均衡状态。

步骤S310，计算抗锯齿初始图像与标签图像的相似度，将相似度作为抗锯齿初始图像与标签图像对应的像素损失；

本发明实施例中，采用了像素级别的平均绝对值误差损失函数，来衡量步骤S310中抗锯齿初始图像y^与标签图像y的相似度，其数学模型可表示为：Lc(Θ)＝‖y-y^‖₁。抗锯齿初始图像y^与标签图像y越相似，Lc越小，反之亦然。

步骤S312，将初始生成器模型输出的抗锯齿初始图像和标签图像输入至预训练模型，得到抗锯齿初始图像和标签图像对应的感知损失；

具体地，本发明实施例中，将抗锯齿初始图像与标签图像分别通过另外的预训练模型，提取若干层后的输出作为各自的特征来计算感知损失，其中，本发明实施例中预训练模型的结构为VGG-19，感知损失的数学模型可表示为：L_p/(i,j)(Θ)＝‖φ_i，j(y^)-φ_i，j(y)‖₁，其中φ_i，j表示预训练模型第i层卷积层和第j层激活层之后的特征图，当抗锯齿初始图像与标签图像接近时，L_p/(i，j)较小。

步骤S314，按照预先设置的权重参数计算像素损失、生成对抗损失和感知损失的加权和，将加权和对应的值确定为抗锯齿初始图像与标签图像的损失值；

具体地，该损失值为像素损失、生成对抗损失和感知损失计算加权和之后的总损失，其数学模型可表示为：L_G＝L_c+λL_p+ηL_a，其中，λ和η为权重参数。权重参数越大，训练过程中对相应损失相关的参数的梯度越大，训练得到的图像生成器生成的抗锯齿游戏图像也随之产生不同的变化。

步骤S316，根据损失值调整初始生成器模型的参数，继续训练调整参数后的初始生成器模型，直至损失值收敛至预设值，得到训练完成的图像生成器；其中，图像生成器用于对游戏图像进行抗锯齿处理。

通常，由于神经网络模型中参数的复杂性，难以通过数学公式推导直接求得其解析解，本发明实施例中采取梯度下降算法进行优化求解，具体地，根据损失值和预设的梯度下降算法调整初始生成器模型的参数；其中，调整的参数包括初始生成器模型的卷积核的个数和偏置项的参数。在实际使用时，上述损失值(即，总损失)通常经过链式求导法则，计算得到损失在各参数上的梯度，从而优化参数降低损失。训练时，通常使用PyTorch深度学习框架，并选择随机梯度下降法，以得到性能良好的神经网络模型。并作为图像生成器对游戏图像进行抗锯齿处理。

应当理解，图4中所示的步骤S302和步骤S304的过程，并不限于图示序号的顺序，在实际使用时，可以先执行步骤S302的过程，后执行步骤S304的过程，同样，也可以先执行步骤S304的过程，后执行步骤S302的过程，本发明实施例对此不进行限制。进一步，图4中步骤S308～步骤S312的过程，也不限于序号所示的顺序，在实际使用时，可以根据实际使用情况对执行顺序进行设置，具体以实际使用情况为准，本发明实施例对此不进行限制。

综上，本发明实施例提供的图像生成器的训练方法，使用的是监督学习的方法对图像生成器的初始生成器模型进行训练的过程。在该方法中，传统的抗锯齿处理方法优化的图像作为初始生成器模型的标签图像。样本图像经过初始生成器模型可以得到抗锯齿初始图像，该抗锯齿初始图像与标签图像计算像素损失和感知损失；另外，上述训练过程还基于生成对抗网络架构，使用判别器来区分初始生成器模型生成的抗锯齿初始图像和传统的抗锯齿方法优化的标签图像，因此，在训练过程中还加入生成对抗损失；进一步，将像素损失、感知损失与生成对抗损失加权作为总损失，并利用梯度下降法调整优化初始生成器模型参数直至损失收敛。

为了便于理解，图5示出了一种图像生成器的训练过程示意图，如图5所示，图像生成器的训练过程示意图共包含12个部分，包括1)原始游戏图像；2)抗锯齿标准图像；3)随机裁剪，包括对原始游戏图像的随机裁剪和对原始游戏图像对应的抗锯齿标准图像中相应的区域进行裁剪，以得到训练过程的输入量x-样本图像和的输入量y-标签图像，图5中，裁剪后选取的是原始游戏图像中虚拟角色的眼睛部位的图像块作为样本图像，同时，裁剪对应的抗锯齿标准图像中相应的眼睛区域，作为标签图像；4)初始生成器模型；5)生成抗锯齿初始图像；6)像素损失，即，计算像素损失的过程；7)判别器；8)生成对抗损失，即，通过7)中的判别器计算生成对抗损失的过程；9)预训练模型；10)感知损失，即，通过9)中的预训练模型计算感知损失的过程；11)损失值，即，计算总损失的过程；12)梯度下降算法，即，通过梯度下降进行优化求解的过程，以对初始生成器模型的卷积核的个数和偏置项的参数进行优化和调整。

进一步，图5中，由11)指向7)的虚线表示的是对判别器的参数调整过程，即，根据损失值调整图像判别器的参数，以调整图像判别器的判别能力。

基于图5所示的图像生成器的训练过程示意图，图6还提供了一种图像生成器的训练算法流程示意图，如图6所示，包括以下步骤：

步骤S602，输入原始游戏图像；

步骤S604，随机裁剪过程，得到样本图像和标签图像；

步骤S606，使用初始生成器模型对样本图像进行抗锯齿处理，生成抗锯齿初始图像；

步骤S608，计算抗锯齿初始图像和标签图像的像素损失；

步骤S610，使用判别器；

具体地，该步骤中，通过该判别器估计标签图像比生成的抗锯齿初始图像更真实的概率；

步骤S612，根据步骤610得到的概率，计算生成对抗损失；

步骤S614，使用预训练模型；

具体地，该步骤中，通过预训练模型提取抗锯齿初始图像和标签图像在预训练模型某层的输出，得到特征图；

步骤S616，根据步骤S614得到的特征图，计算感知损失；

步骤S618，计算损失值；

具体地，该步骤中，主要计算像素损失、生成对抗损失与感知损失的加权和，即总损失，并将总损失作为损失值；

步骤S620，使用梯度下降法，优化初始生成器模型中的所有参数；

步骤S622，判断损失值是否收敛至预设值；

如果否，重复步骤S602至步骤S620，直到损失值收敛至预设值，如果是，执行步骤S624，保存初始生成器模型，得到图像生成器。

因此，上述基于生成对抗网络的训练过程中的初始生成器模型，可以用于模型训练阶段和模型推断阶段，其输入是原始游戏图像，输出是抗锯齿游戏图像，具体地，在模型训练阶段，是对初始生成器模型进行训练，以生成训练完成的图像生成器，在模型推断阶段则是对训练完成的图像生成器的应用过程，即使用该图像生成器对游戏图像进行抗锯齿处理。

进一步，上述判别器，仅用于模型训练阶段，其输入抗锯齿初始图像和标签图像(真值)，输出则是输入图像为真的概率，即抗锯齿初始图像为真的概率，使得训练结束后，在模型推断时，图像生成器可以生成接近真值(传统的抗锯齿方法优化的图像)的抗锯齿游戏图像。

通过上述训练方法得到的图像生成器，在进行游戏图像抗锯齿处理时，由于该图像生成器是预先训练好的，因此，其输出抗锯齿游戏图像的过程无需进行大量的运算，使得上述图像抗锯齿处理方法可以部署于无法使用大量计算资源进行抗锯齿优化的设备，如计算机集群，或者游戏的后台服务器中，进而便于图像抗锯齿处理技术在计算机游戏中的推广。

对应于上述图1所示的图像抗锯齿处理方法，本发明实施例还提供了一种图像抗锯齿处理装置，如图7所示的一种图像抗锯齿处理装置的结构示意图，该装置包括：

第一获取模块70，用于获取原始游戏图像；

输入模块72，用于将原始游戏图像输入至训练好的图像生成器；其中，图像生成器为全卷积结构的神经网络模型，神经网络模型包括：特征提取网络、特征学习网络和合成网络；

提取模块74，用于通过特征提取网络提取原始游戏图像的特征信息；

学习模块76，用于通过特征学习网络对特征信息进行学习，并对学习到的特征信息进行卷积操作处理；

合成模块78，用于通过合成网络对特征信息和卷积操作处理的结果进行合成处理，得到原始游戏图像的抗锯齿游戏图像。

进一步，对应于上述图像生成器的训练方法，本发明实施例还提供了一种图像生成器的训练装置，该装置可以设置于训练执行主体，如服务器，计算机，云平台等等，具体地，该图像生成器的初始生成器模型为全卷积结构的神经网络模型，神经网络模型包括：特征提取网络、特征学习网络和合成网络；如图8所示的一种图像生成器的训练装置的结构示意图，该装置包括：

第二获取模块80，用于获取样本图像和样本图像的标签图像，其中，标签图像为应用预设的抗锯齿处理算法对样本图像进行处理后得到的抗锯齿标准图像；

生成模块82，用于将样本图像输入至初始生成器模型，以使初始生成器模型生成样本图像对应的抗锯齿初始图像；

计算模块84，用于计算抗锯齿初始图像与标签图像的损失值；

训练模块86，用于根据损失值调整初始生成器模型的参数，继续训练调整参数后的初始生成器模型，直至损失值收敛至预设值，得到训练完成的图像生成器；其中，图像生成器用于对游戏图像进行抗锯齿处理。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像抗锯齿处理方法或者图像生成器的训练方法的步骤。

进一步，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述图像抗锯齿处理方法或者图像生成器的训练方法的步骤。

如图9所示的一种电子设备的结构示意图，其中，该电子设备包括处理器91和存储器90，该存储器90存储有能够被该处理器91执行的计算机可执行指令，该处理器91执行该计算机可执行指令以实现上述图像抗锯齿处理方法或者图像生成器的训练方法。

在图9示出的实施方式中，该电子设备还包括总线92和通信接口93，其中，处理器91、通信接口93和存储器90通过总线92连接。

其中，存储器90可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口93(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线92可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线92可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器91可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器91中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器91可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器91读取存储器中的信息，结合其硬件完成前述实施例的图像抗锯齿处理方法或者图像生成器的训练方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例所提供的图像抗锯齿处理方法、图像生成器的训练方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种图像抗锯齿处理方法，其特征在于，所述方法包括：

获取原始游戏图像；

将所述原始游戏图像输入至训练好的图像生成器；其中，所述图像生成器为全卷积结构的神经网络模型，所述神经网络模型包括：特征提取网络、特征学习网络和合成网络；

通过所述特征提取网络提取所述原始游戏图像的特征信息；

通过所述特征学习网络对所述特征信息进行学习，并对学习到的特征信息进行卷积操作处理；

通过所述合成网络对所述特征信息和所述卷积操作处理的结果进行合成处理，得到所述原始游戏图像的抗锯齿游戏图像。

2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括第一卷积层；

所述特征学习网络包括依次连接的多个卷积层组和第二卷积层，其中，所述卷积层组为使用通道注意力机制的卷积层组；所述第一卷积层的输入端还与所述第二卷积层的输出端连接；

所述合成网络包括依次连接的第三卷积层和第四卷积层。

3.根据权利要求2所述的方法，其特征在于，每个所述卷积层组包括依次连接的第五卷积层、第六卷积层、注意力机制层和运算节点；

其中，所述第六卷积层的输出端与所述注意力机制层的输出端共同连接至所述运算节点，所述第五卷积层的输入端还与所述运算节点的输出端连接。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述抗锯齿游戏图像写入至所述原始游戏图像对应游戏的游戏文件中，供游戏终端在运行游戏过程中应用所述抗锯齿游戏图像。

5.一种图像生成器的训练方法，其特征在于，所述图像生成器的初始生成器模型为全卷积结构的神经网络模型，所述神经网络模型包括：特征提取网络、特征学习网络和合成网络；所述方法包括：

获取样本图像和所述样本图像的标签图像，其中，所述标签图像为应用预设的抗锯齿处理算法对所述样本图像进行处理后得到的抗锯齿标准图像；

将所述样本图像输入至初始生成器模型，以使所述初始生成器模型生成所述样本图像对应的抗锯齿初始图像；

计算所述抗锯齿初始图像与所述标签图像的损失值；

根据所述损失值调整所述初始生成器模型的参数，继续训练调整参数后的所述初始生成器模型，直至所述损失值收敛至预设值，得到训练完成的图像生成器；其中，所述图像生成器用于对游戏图像进行抗锯齿处理。

6.根据权利要求5所述的方法，其特征在于，获取样本图像和所述样本图像的标签图像的步骤包括：

对原始游戏图像进行随机裁剪，将裁剪后生成的多个图像块中的任意一个作为样本图像；

获取所述原始游戏图像对应的抗锯齿标准图像；

在所述抗锯齿标准图像中提取与所述样本图像对应位置的图像块作为所述样本图像的标签图像。

7.根据权利要求6所述的方法，其特征在于，对所述原始游戏图像进行随机裁剪之前，所述方法还包括：

检测所述原始游戏图像的尺寸是否满足预设尺寸；

如果否，按照所述预设尺寸对所述原始游戏图像进行缩放，以使缩放后的所述原始游戏图像的尺寸为所述预设尺寸。

8.根据权利要求5所述的方法，其特征在于，所述初始生成器模型的输出端还连接有预训练模型和判别器；所述损失值包括：像素损失、生成对抗损失和感知损失；

计算所述抗锯齿初始图像与所述标签图像的损失值的步骤包括：

将所述初始生成器模型输出的所述抗锯齿初始图像和所述标签图像输入至所述判别器，得到所述抗锯齿初始图像和所述标签图像对应的生成对抗损失；

计算所述抗锯齿初始图像与所述标签图像的相似度，将所述相似度作为所述抗锯齿初始图像与所述标签图像对应的像素损失；

将所述初始生成器模型输出的所述抗锯齿初始图像和所述标签图像输入至所述预训练模型，得到所述抗锯齿初始图像和所述标签图像对应的感知损失；

按照预先设置的权重参数计算所述像素损失、所述生成对抗损失和所述感知损失的加权和，将所述加权和对应的值确定为所述抗锯齿初始图像与所述标签图像的损失值。

9.根据权利要求5所述的方法，其特征在于，根据所述损失值调整所述初始生成器模型的参数的步骤包括：

根据所述损失值和预设的梯度下降算法调整所述初始生成器模型的参数；其中，所述参数包括所述初始生成器模型的卷积核的个数和偏置项的参数。

10.一种图像抗锯齿处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取原始游戏图像；

输入模块，用于将所述原始游戏图像输入至训练好的图像生成器；其中，所述图像生成器为全卷积结构的神经网络模型，所述神经网络模型包括：特征提取网络、特征学习网络和合成网络；

提取模块，用于通过所述特征提取网络提取所述原始游戏图像的特征信息；

学习模块，用于通过所述特征学习网络对所述特征信息进行学习，并对学习到的特征信息进行卷积操作处理；

合成模块，用于通过所述合成网络对所述特征信息和所述卷积操作处理的结果进行合成处理，得到所述原始游戏图像的抗锯齿游戏图像。

11.一种图像生成器的训练装置，其特征在于，所述图像生成器的初始生成器模型为全卷积结构的神经网络模型，所述神经网络模型包括：特征提取网络、特征学习网络和合成网络；所述装置包括：

第二获取模块，用于获取样本图像和所述样本图像的标签图像，其中，所述标签图像为应用预设的抗锯齿处理算法对所述样本图像进行处理后得到的抗锯齿标准图像；

生成模块，用于将所述样本图像输入至初始生成器模型，以使所述初始生成器模型生成所述样本图像对应的抗锯齿初始图像；

计算模块，用于计算所述抗锯齿初始图像与所述标签图像的损失值；

训练模块，用于根据所述损失值调整所述初始生成器模型的参数，继续训练调整参数后的所述初始生成器模型，直至所述损失值收敛至预设值，得到训练完成的图像生成器；其中，所述图像生成器用于对游戏图像进行抗锯齿处理。

12.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-9任一项所述的方法的步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-9任一项所述的方法的步骤。

Images