CN118015176A

CN118015176A - 图像渲染方法、装置和存储介质及电子设备

Info

Publication number: CN118015176A
Application number: CN202211395231.8A
Authority: CN
Inventors: 顾清雯; 李松南; 杨广东; 魏雪; 张松海; 郭元晨; 方晓楠; 胡事民
Original assignee: Tsinghua University; Tencent Technology Shenzhen Co Ltd
Current assignee: Tsinghua University; Tencent Technology Shenzhen Co Ltd
Priority date: 2022-11-08
Filing date: 2022-11-08
Publication date: 2024-05-10

Abstract

本申请公开了一种图像渲染方法、装置和存储介质及电子设备。其中，该方法包括：获取待渲染的多个视频帧；获取第一视频帧的第一RGB图、和第一颜色贴图，以及获取第二视频帧的后向光流图、和第二颜色贴图；基于第一RGB图、和后向光流图，得到第二视频帧的预估RGB图；在获取到第二颜色贴图对应的第一特征图、和预估RGB图对应的第二特征图的情况下，利用第一特征图对第二特征图进行优化，并基于优化得到的特征图，确定第二视频帧的目标预估RGB图；根据目标预估RGB图、和第二颜色贴图，得到第二RGB图，并将第二RGB图作为对第二视频帧进行图像渲染后得到的图像；还可应用在云技术等场景，还可涉及图像处理等技术。本申请解决了图像渲染效率较低的技术问题。

Description

图像渲染方法、装置和存储介质及电子设备

技术领域

本申请涉及计算机领域，具体而言，涉及一种图像渲染方法、装置和存储介质及电子设备。

背景技术

在实时渲染应用中，为了能够让用户观看到流畅的画面，一般要求画面的帧率至少为60FPS，部分电竞游戏玩家对于画面帧率的要求甚至高达240FPS。为了提供具有较高帧率的画面，通常会利用高质量实时渲染方式，对待显示画面进行逐帧的渲染，但该方式在提高渲染图像质量的同时，也大大增加了渲染任务的计算开销，占用大量的内存和存储空间，也需要较高的计算量支持，进而导致图像渲染效率较低的问题出现。因此，存在图像渲染效率较低的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种图像渲染方法、装置和存储介质及电子设备，以至少解决图像渲染效率较低的技术问题。

根据本申请实施例的一个方面，提供了一种图像渲染方法，包括：获取待渲染的多个视频帧，其中，上述待渲染的多个视频帧包括第一视频帧、以及第二视频帧，上述第一视频帧为上述第二视频帧的前一视频帧；获取上述第一视频帧的第一RGB图、和第一颜色贴图，以及获取上述第二视频帧的后向光流图、和第二颜色贴图，其中，上述第一RGB图为对上述第一视频帧进行图像渲染后得到的图像，上述后向光流图用于表示像素点在上述第二视频帧上相对于上述第一视频帧上的位移信息；基于上述第一RGB图、和上述后向光流图，得到上述第二视频帧的预估RGB图；在获取到上述第二颜色贴图对应的第一特征图、和上述预估RGB图对应的第二特征图的情况下，利用上述第一特征图对上述第二特征图进行优化，并基于优化得到的特征图，确定上述第二视频帧的目标预估RGB图；根据上述目标预估RGB图、和上述第二颜色贴图，得到第二RGB图，并将上述第二RGB图作为对上述第二视频帧进行图像渲染后得到的图像。

根据本申请实施例的另一方面，还提供了一种图像渲染装置，包括：第一获取单元，用于获取待渲染的多个视频帧，其中，上述待渲染的多个视频帧包括第一视频帧、以及第二视频帧，上述第一视频帧为上述第二视频帧的前一视频帧；第二获取单元，用于获取上述第一视频帧的第一RGB图、和第一颜色贴图，以及获取上述第二视频帧的后向光流图、和第二颜色贴图，其中，上述第一RGB图为对上述第一视频帧进行图像渲染后得到的图像，上述后向光流图用于表示像素点在上述第二视频帧上相对于上述第一视频帧上的位移信息；第一确定单元，用于基于上述第一RGB图、和上述后向光流图，得到上述第二视频帧的预估RGB图；第二确定单元，用于在获取到上述第二颜色贴图对应的第一特征图、和上述预估RGB图对应的第二特征图的情况下，利用上述第一特征图对上述第二特征图进行优化，并基于优化得到的特征图，确定上述第二视频帧的目标预估RGB图；第三确定单元，用于根据上述目标预估RGB图、和上述第二颜色贴图，得到第二RGB图，并将上述第二RGB图作为对上述第二视频帧进行图像渲染后得到的图像。

作为一种可选的方案，上述第二确定单元，包括：补全模块，用于利用局部注意力转移机制，根据上述第一特征图对上述第二特征图进行补全，并基于补全得到的特征图，确定上述目标预估RGB图。

作为一种可选的方案，上述装置还包括：第一确定子模块，用于在上述利用局部注意力转移机制，根据上述第一特征图对上述第二特征图进行补全，并基于补全得到的特征图，确定上述目标预估RGB图之前，基于上述第一颜色贴图、和上述后向光流图，得到上述第二视频帧的预估颜色贴图。

作为一种可选的方案，上述装置还包括：确定子单元，用于在上述基于上述第一颜色贴图、和上述后向光流图，得到上述第二视频帧的预估颜色贴图之后，将上述第二颜色贴图、和上述预估颜色贴图输入掩膜模型，得到掩膜系数图，其中，上述掩膜模型为利用第一样本进行训练得到的、用于识别图像的神经网络模型，上述掩膜系数图用于表示上述预估RGB图上每个像素点的置信度。

作为一种可选的方案，上述补全模块，包括：第二确定子模块，用于基于上述掩膜系数图确定上述第二特征图上的空洞区域，其中，上述空洞区域上小于或等于上述置信度的像素点对应的数量大于预设空洞阈值；补全子模块，用于利用上述局部注意力转移机制，根据上述第一特征图对上述空洞区域进行补全，得到补全后的第二特征图；第三确定子模块，用于基于上述补全后的第二特征图确定上述目标预估RGB图。

作为一种可选的方案，上述装置还包括：求和模块，用于在上述利用上述第一特征图对上述第二特征图进行优化，并基于优化得到的特征图，确定上述第二视频帧的目标预估RGB图之后，利用上述掩膜系数图，对上述预估RGB图、和上述目标预估RGB图进行加权求和，得到目标RGB图；上述第三确定单元，包括：第一确定模块，用于根据上述目标RGB图、和上述第二颜色贴图，得到上述第二RGB图。

作为一种可选的方案，上述装置还包括：第二确定模块，用于在上述利用上述第一特征图对上述第二特征图进行优化，并基于优化得到的特征图，确定上述第二视频帧的目标预估RGB图之前，将上述预估RGB图、上述第二颜色贴图、和上述掩膜系数图输入插帧模型，得到上述第一特征图、和上述第二特征图，其中，上述插帧模型为利用第二样本训练得到的、用于识别图像的卷积神经网络。

作为一种可选的方案，其特征在于，上述第一确定单元，包括：第一计算模块，用于基于上述第一RGB图、和上述后向光流图，利用后向warp函数进行计算，得到上述预估RGB图；上述第一确定子模块，包括：计算子单元，用于基于上述第一颜色贴图、和上述后向光流图，利用上述后向warp函数进行计算，得到上述预估颜色贴图。

作为一种可选的方案，上述装置还包括：弱化模块，用于在上述基于上述第一RGB图、和上述后向光流图，得到上述第二视频帧的预估RGB图之前，利用上述第一颜色贴图的纹理信息，弱化上述第一RGB图的纹理信息，得到保留光影信息的RGB图；上述第一确定单元，包括：第三确定模块，用于基于上述保留光影信息的RGB图、和上述后向光流图，得到上述预估RGB图。

作为一种可选的方案，上述弱化模块，包括：获取子模块，用于获取上述第一RGB图上每个像素点的第一像素数值、以及获取上述第一颜色贴图上每个像素点的第二像素数值；计算子模块，用于计算得到上述第一像素数值除以上述第二像素数值后的第一目标像素值；第四确定子模块，用于基于上述第一目标像素值得到上述保留光影信息的RGB图。

作为一种可选的方案，上述第三确定单元，包括：获取模块，用于获取上述目标预估RGB图上每个像素点的第三像素数值、以及获取上述第二颜色贴图上每个像素点的第四像素数值；第二计算模块，用于计算得到上述第三像素数值除以上述第四像素数值后的第二目标像素值；第四确定模块，用于基于上述第二目标像素值得到上述第二RGB图。

作为一种可选的方案，上述装置还包括：第三获取单元，用于在上述获取待渲染的多个视频帧之前，获取云游戏客户端触发的虚拟游戏指令的，其中，上述虚拟游戏指令用于指示渲染与上述虚拟游戏指令相适配的目标游戏画面；

上述装置还包括：第四获取单元，用于将在上述根据上述目标预估RGB图、和上述第二颜色贴图，得到第二RGB图，并将上述第二RGB图作为对上述第二视频帧进行图像渲染后得到的图像之后，对上述第二视频帧进行图像渲染后得到的图像确定为上述目标游戏画面，并将上述目标游戏画面发送至上述云游戏客户端，由上述云游戏客户端对上述目标游戏画面进行显示。

根据本申请实施例的又一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上图像渲染方法。

根据本申请实施例的又一方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的图像渲染方法。

在本申请实施例中，获取待渲染的多个视频帧，其中，上述待渲染的多个视频帧包括第一视频帧、以及第二视频帧，上述第一视频帧为上述第二视频帧的前一视频帧；获取上述第一视频帧的第一RGB图、和第一颜色贴图，以及获取上述第二视频帧的后向光流图、和第二颜色贴图，其中，上述第一RGB图为对上述第一视频帧进行图像渲染后得到的图像，上述后向光流图用于表示像素点在上述第二视频帧上相对于上述第一视频帧上的位移信息；基于上述第一RGB图、和上述后向光流图，得到上述第二视频帧的预估RGB图；在获取到上述第二颜色贴图对应的第一特征图、和上述预估RGB图对应的第二特征图的情况下，利用上述第一特征图对上述第二特征图进行优化，并基于优化得到的特征图，确定上述第二视频帧的目标预估RGB图；根据上述目标预估RGB图、和上述第二颜色贴图，得到第二RGB图，并将上述第二RGB图作为对上述第二视频帧进行图像渲染后得到的图像；

利用上述图像渲染方法，舍弃了对待显示画面进行逐帧渲染的方式，而是基于前一视频帧对应的RGB图和颜色贴图、以及当前视频帧对应的后向光流图和第二颜色贴图，确定当前帧对应的进行图像渲染后得到的图像，一方面根据前一帧对应的帧信息以确定后一帧对应的进行图像渲染后得到的图像，达到了替代逐帧渲染的方式同样实现逐帧渲染效果的目的，另一方面降低了渲染任务的计算开销，达到了降低计算量的目的，从而实现了提高图像渲染效率的技术效果，进而解决了图像渲染效率较低的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种可选的图像渲染方法的应用环境的示意图；

图2是根据本申请实施例的一种可选的图像渲染方法的流程的示意图；

图3是根据本申请实施例的一种可选的图像渲染方法的示意图；

图4是根据本申请实施例的另一种可选的图像渲染方法的示意图；

图5是根据本申请实施例的另一种可选的图像渲染方法的示意图；

图6是根据本申请实施例的另一种可选的图像渲染方法的示意图；

图7是根据本申请实施例的另一种可选的图像渲染方法的示意图；

图8是根据本申请实施例的另一种可选的图像渲染方法的示意图；

图9是根据本申请实施例的另一种可选的图像渲染方法的示意图；

图10是根据本申请实施例的另一种可选的图像渲染方法的示意图；

图11是根据本申请实施例的另一种可选的图像渲染方法的示意图；

图12是根据本申请实施例的另一种可选的图像渲染方法的示意图；

图13是根据本申请实施例的一种可选的图像渲染装置的示意图；

图14是根据本申请实施例的一种可选的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为方便理解，下面对名词做出解释：

云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。

云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面，进行简单易用的操作，便可快速高效地与全球各地团队及客户同步分享语音、数据文件及视频，而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。

目前国内云会议主要集中在以SaaS(Software as a Service，软件即服务)模式为主体的服务内容，包括电话、网络、视频等服务形式，基于云计算的视频会议就叫云会议。

在云会议时代，数据的传输、处理、存储全部由视频会议厂家的计算机资源处理，用户完全无需再购置昂贵的硬件和安装繁琐的软件，只需打开浏览器，登录相应界面，就能进行高效的远程会议。

云会议系统支持多服务器动态集群部署，并提供多台高性能服务器，大大提升了会议稳定性、安全性、可用性。近年来，视频会议因能大幅提高沟通效率，持续降低沟通成本，带来内部管理水平升级，而获得众多用户欢迎，已广泛应用在各个领域。毫无疑问，视频会议运用云计算以后，在方便性、快捷性、易用性上具有更强的吸引力，必将激发视频会议应用新高潮的到来。

根据本申请实施例的一个方面，提供了一种图像渲染方法，可选地，作为一种可选的实施方式，上述图像渲染方法可以但不限于应用于如图1所示的环境中。其中，可以但不限于包括用户设备102以及服务器112，该用户设备102上可以但不限于包括显示器104、处理器106及存储器108，该服务器112包括数据库114以及处理引擎116。

具体过程可如下步骤：

步骤S102，用户设备102获取第一视频帧1002、待渲染的第二视频帧1004，其中，第一视频帧1002为第二视频帧1004的前一视频帧；

步骤S104-S106，通过网络110将第一视频帧1002、第二视频帧1004发送至服务器112；

步骤S108，服务器112通过处理引擎获取第一视频帧1002的第一RGB图、和第一颜色贴图，以及获取第二视频帧1004的后向光流图、和第二颜色贴图，其中，第一RGB图为对第一视频帧1002进行图像渲染后得到的图像，后向光流图用于表示像素点在第二视频帧1004上相对于所述第一视频帧1002上的位移信息；

步骤S110，服务器112基于第一RGB图、和后向光流图，得到第二视频帧1004的预估RGB图；

步骤S112，服务器112在获取到第二颜色贴图对应的第一特征图、和预估RGB图对应的第二特征图的情况下，利用第一特征图对第二特征图进行优化，并基于优化得到的特征图，确定第二视频帧1004的目标预估RGB图；

步骤S114，服务器112根据目标预估RGB图、和第二颜色贴图，得到第二RGB图，并将第二RGB图作为对第二视频帧1004进行图像渲染后得到的图像1006；

步骤S116-S118，通过网络110将第二视频帧1004进行图像渲染后得到的图像发送至用户设备102，用户设备102通过处理器106利用该第二视频帧1004进行图像渲染后得到的图像1006进行图像显示；

步骤S120，以及将第一视频帧1002、第二视频帧1004进行图像渲染后得到的图像1006显示在显示器108，并将上述第一视频帧1002、第二视频帧1004进行图像渲染后得到的图像1006对应的视频帧信息存储在存储器104。

除图1示出的示例之外，上述步骤可以由客户端或服务器独立完成，或由客户端和服务器共同协作完成，如由用户设备102执行上述获取第一视频帧1002的第一RGB图、和第一颜色贴图，以及获取第二视频帧1004的后向光流图、和第二颜色贴图等步骤，从而减轻服务器112的处理压力。该用户设备102包括但不限于手持设备(如手机)、笔记本电脑、台式电脑、车载设备等，本申请并不限制用户设备102的具体实现方式。

可选地，作为一种可选的实施方式，如图2所示，图像渲染方法包括：

S202，获取待渲染的多个视频帧，其中，待渲染的多个视频帧包括第一视频帧、以及第二视频帧，第一视频帧为第二视频帧的前一视频帧；

S204，获取第一视频帧的第一RGB图、和第一颜色贴图，以及获取第二视频帧的后向光流图、和第二颜色贴图，其中，第一RGB图为对第一视频帧进行图像渲染后得到的图像，后向光流图用于表示像素点在第二视频帧上相对于第一视频帧上的位移信息；

S206，基于第一RGB图、和后向光流图，得到第二视频帧的预估RGB图；

S208，在获取到第二颜色贴图对应的第一特征图、和预估RGB图对应的第二特征图的情况下，利用第一特征图对第二特征图进行优化，并基于优化得到的特征图，确定第二视频帧的目标预估RGB图；

S210，根据目标预估RGB图、和第二颜色贴图，得到第二RGB图，并将第二RGB图作为对第二视频帧进行图像渲染后得到的图像。

可选地，在本实施例中，上述图像渲染方法可以但不限于应用在云游戏场景，如图3所示，云游戏场景下的一种针对实时渲染任务的图像渲染方法，具体包括如下内容：

步骤S302，玩家在云游戏客户端输入游戏指令；

步骤S304，云游戏客户端将游戏指令发送至云游戏服务器；

步骤S306，云游戏服务器根据游戏指令，按照60帧每秒的帧速率，对奇数视频帧进行实时渲染；

步骤S308，云游戏服务器根据游戏指令，按照60帧每秒的帧速率，基于每一偶数视频帧前一奇数视频帧对应的视频帧信息，获取偶数视频帧进行图像渲染后得到的图像；

步骤S310，云游戏服务器输出游戏画面的视频流，并将游戏画面的视频流发送至云游戏客户端；

步骤S312，云游戏客户端将游戏画面的视频流输出至显示设备。

需要说明的是，上述步骤S306和步骤S308可以但不限于按照相同的帧速率执行，还可以但不限于在每一偶数视频帧均对应前一奇数视频帧的前提下按照不同的帧速率执行。

需要说明的是，上述步骤S308，可以但不限于包括如下内容：

步骤S1，获取待渲染的多个偶数视频帧、以及每一个偶数视频帧对应的前一奇数视频帧；

步骤S2，获取多个偶数视频帧的后向光流图、和第二颜色贴图，以及获取每一个偶数视频帧对应的前一奇数视频帧的第一RGB图、和第一颜色贴图，其中，第一RGB图为对第一视频帧进行图像渲染后得到的图像，后向光流图用于表示像素点在第二视频帧上相对于第一视频帧上的位移信息；

步骤S3，基于多个偶数视频帧的后向光流图、以及每一个偶数视频帧对应的前一奇数视频帧的第一RGB图，得到多个偶数视频帧的预估RGB图；

步骤S4，在获取到多个偶数视频帧的第二颜色贴图对应的第一特征图、和多个偶数视频帧的预估RGB图对应的第二特征图的情况下，利用每一个偶数视频帧的第一特征图对每一个偶数视频帧的第二特征图进行优化，并基于优化得到的特征图，确定多个偶数视频帧的的目标预估RGB图；

步骤S5，根据多个偶数视频帧的目标预估RGB图、和第二颜色贴图，得到多个偶数视频帧的第二RGB图，并将多个偶数视频帧的第二RGB图作为对多个偶数视频帧的进行图像渲染后得到的图像。

利用上述图像渲染方法，舍弃了对待显示画面进行逐帧渲染的方式，而是初步渲染待显示画面中的奇数视频帧，进而基于前一奇数视频帧对应的RGB图和颜色贴图、以及偶数视频帧对应的后向光流图和第二颜色贴图，确定偶数视频帧对应的进行图像渲染后得到的图像，一方面根据奇数视频帧对应的帧信息以确定偶数视频帧对应的进行图像渲染后得到的图像，达到了替代逐帧渲染的方式同样实现逐帧渲染效果的目的，另一方面降低了渲染任务的计算开销，达到了降低计算量的目的，从而实现了提高图像渲染效率的技术效果，进而解决了图像渲染效率较低的技术问题。

需要说明的是，考虑到部分云游戏客户端具备运行上述针对实时渲染任务的图像渲染方法的硬件条件，如果让云游戏客户端负责视频外插帧任务，则能够进一步减轻云游戏服务器的计算压力。

进一步基于图3所示的云游戏场景，如图4所示，云游戏场景下的另一种针对实时渲染任务的图像渲染方法，具体包括如下内容：

步骤S402,玩家在云游戏客户端输入游戏指令；

步骤S404，云游戏客户端将游戏指令发送给云游戏服务器；

步骤S406,云游戏服务器根据游戏指令，对当前帧进行实时渲染；

步骤S408，判断云游戏客户端是否具备运行上述图像渲染方法的硬件条件，如果是，则执行步骤S410，如果否，则执行步骤S416；

步骤S410，云游戏服务器将当前帧的RGB图和颜色贴图、下一帧的后向光流图和颜色贴图发送到云游戏客户端；

步骤S412，云游戏客户端将当前帧的RGB图输出到显示设备，同时对下一帧进行视频外插帧，输出下一帧的RGB图；

步骤S414，云游戏客户端将下一帧的RGB图输出到显示设备；

步骤S416，云游戏服务器将当前帧的RGB图发送到云游戏客户端；

步骤S418，云游戏客户端将当前帧的RGB图输出到显示设备；

步骤S420，云游戏服务器对下一帧进行视频外插帧，将输出的下一帧的RGB图发送回云游戏客户端，转向执行步骤S414。

利用上述图像渲染方法，在使用替代逐帧渲染的方式同样实现逐帧渲染效果且降低了渲染任务的计算开销的基础上，让云游戏客户端负责视频外插帧任务，则能够进一步减轻云游戏服务器的计算压力，从而实现了进一步提高图像渲染效率的技术效果。

可选地，在本实施例中，待渲染的多个视频帧可以但不限于包括第一视频帧、以及第二视频帧，第一视频帧为第二视频帧的前一视频帧。

需要说明的是，第一视频帧可以但不限于为被渲染的视频帧，第二视频帧可以但不限于为未被渲染的视频帧。

可选地，在本实施例中，第一RGB图可以但不限于为第一视频帧对应的RGB图，RGB图可以但不限于包括纹理信息、光影信息，其中，纹理信息可以但不限于用于反映图像中同质现象的视觉特征，纹理信息可以但不限于用于体现物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。

可选地，在本实施例中，颜色贴图可以但不限于与RGB图的纹理信息一致。

可选地，在本实施例中，后向光流图可以但不限于表示像素点在第二视频帧上相对于第一视频帧上的位移信息，位移信息可以但不限于用于指示对应的像素点在第二视频帧上的位置与在第一视频帧上的位置的变化信息。

进一步举例说明，如图5所示，将上述图像渲染方法应用在基于前一视频帧的帧信息获取后一视频帧的进行图像渲染后得到的图像，具体步骤如下：

步骤S502，在获取到第一视频帧的第一RGB图502、以及第二视频帧的后向流光图504的情况下，基于第一RGB图502、以及后向流光图504，得到第二视频帧的预估RGB图506，其中，第二视频帧为第一视频帧的后一视频帧；

步骤S504，在获取到预估RGB图506的情况下，基于预估RGB图506，得到对应的第二特征图508；

步骤S506，在获取到第二视频帧的第二颜色贴图510的情况下，基于第二颜色贴图510，得到对应的第一特征图512；

步骤S508，在获取到第二特征图508、以及第一特征图512的情况下，利用第一特征图512对第二特征图508进行优化，并基于优化得到的特征图，确定第二视频帧的目标预估RGB图514；

步骤S510，在获取到目标预估RGB图514、以及第二颜色贴图510的情况下，基于目标预估RGB图514、以及第二颜色贴图510，得到第二RGB图516，并将第二RGB图516作为对第二视频帧进行图像渲染后得到的图像。

通过本申请提供的实施例，其中，待渲染的多个视频帧包括第一视频帧、以及第二视频帧，第一视频帧为第二视频帧的前一视频帧；获取第一视频帧的第一RGB图、和第一颜色贴图，以及获取第二视频帧的后向光流图、和第二颜色贴图，其中，第一RGB图为对第一视频帧进行图像渲染后得到的图像，后向光流图用于表示像素点在第二视频帧上相对于第一视频帧上的位移信息；基于第一RGB图、和后向光流图，得到第二视频帧的预估RGB图；在获取到第二颜色贴图对应的第一特征图、和预估RGB图对应的第二特征图的情况下，利用第一特征图对第二特征图进行优化，并基于优化得到的特征图，确定第二视频帧的目标预估RGB图；根据目标预估RGB图、和第二颜色贴图，得到第二RGB图，并将第二RGB图作为对第二视频帧进行图像渲染后得到的图像。利用上述图像渲染方法，舍弃了对待显示画面进行逐帧渲染的方式，而是基于前一视频帧对应的RGB图和颜色贴图、以及当前视频帧对应的后向光流图和第二颜色贴图，确定当前帧对应的进行图像渲染后得到的图像，一方面根据前一帧对应的帧信息以确定后一帧对应的进行图像渲染后得到的图像，达到了替代逐帧渲染的方式同样实现逐帧渲染效果的目的，另一方面降低了渲染任务的计算开销，达到了降低计算量的目的，从而实现了提高图像渲染效率的技术效果。

作为一种可选的方案，利用第一特征图对第二特征图进行优化，并基于优化得到的特征图，确定第二视频帧的目标预估RGB图，包括：

S1，利用局部注意力转移机制，根据第一特征图对第二特征图进行补全，并基于补全得到的特征图，确定目标预估RGB图。

可选地，在本实施例中，局部注意力转移机制可以但不限于用于在获取到局部注意力分数的情况下，根据第一特征图对第二特征图进行修复补全，局部注意力分数可以但不限于基于颜色贴图而确定。

进一步举例说明，如图6所示，一种可行的局部注意力转移机制的具体实施方法包括：

步骤S602，对第一视频帧的第一颜色贴图对应的特征图602进行图像块提取操作(patch提取操作)，得到特征图602对应的图像块604。

步骤S604，根据掩膜系数606，对特征图602和特征图602的图像块604进行局部图像块匹配操作，得到局部注意力分数图608。

步骤S606，根据局部注意力分数608，对第二视频帧的解调后的RGB图对应的的特征图610进行修复补全，得到修复补全后的特征图612。

需要说明的是，掩膜系数606可以但不限于基于掩膜系数图确定，其中，掩膜系数图可以但不限于基于第二颜色贴图、预估颜色贴图、以及掩膜模型确定，掩膜模型为利用第一样本进行训练得到的、用于识别图像的神经网络模型，掩膜系数图用于表示预估RGB图上每个像素点的置信度。

需要说明的是，第二视频帧的解调后的RGB图可以但不限于用于指示第二视频帧只保留光影信息、弱化纹理信息的RGB图。

通过本申请提供的实施例，利用局部注意力转移机制，根据第一特征图对第二特征图进行补全，并基于补全得到的特征图，确定目标预估RGB图。通过局部注意力转移机制补全第二特征图、确定目标预估RGB图，进而达到了提高目标预估RGB图的准确性的目的，减轻了目标预估RGB图的色差因素对整体图像渲染准确性的影响，从而实现了提高图像渲染准确性的技术效果。

作为一种可选的方案，在利用局部注意力转移机制，根据第一特征图对第二特征图进行补全，并基于补全得到的特征图，确定目标预估RGB图之前，方法还包括：

S1，基于第一颜色贴图、和后向光流图，得到第二视频帧的预估颜色贴图。

可选地，在本实施例中，第一颜色贴图可以但不限于为第一视频帧对应的颜色贴图，后向流光图可以但不限于用于表示像素点在所述第二视频帧上相对于所述第一视频帧上的位移信息，其中，第一视频帧为第二视频帧的前一视频帧。

通过本申请提供的实施例，基于第一颜色贴图、和后向光流图，得到第二视频帧的预估颜色贴图。

作为一种可选的方案，在基于第一颜色贴图、和后向光流图，得到第二视频帧的预估颜色贴图之后，方法还包括：

S1，将第二颜色贴图、和预估颜色贴图输入掩膜模型，得到掩膜系数图，其中，掩膜模型为利用第一样本进行训练得到的、用于识别图像的神经网络模型，掩膜系数图用于表示预估RGB图上每个像素点的置信度。

可选地，在本实施例中，第二颜色贴图可以但不限于为第二视频帧对应的颜色贴图，掩膜模型可以但不限于为利用第一样本进行训练得到的、用于识别图像的神经网络模型，掩膜模型可以但不限于用于获取掩膜系数图，掩膜系数图可以但不限于用于表示预估RGB图上每个像素点的置信度，掩膜系数图可以但不限于用于获取第一特征图和第二特征图。

需要说明的是，颜色贴图与RGB图的纹理信息一致，RGB图还包含光影信息，使用颜色贴图可输出RGB图的置信度，RGB图的置信度可以但不限于用于指示RGB图对应的图像质量。

进一步举例说明，如图7所示，一种掩膜系数图的确定方式，具体内容包括：

步骤S702，基于第一视频帧的第一颜色贴图702、和第二视频帧的后向光流图704，得到第二视频帧的预估颜色贴图706；

步骤S704，将第二视频帧的第二颜色贴图708、和预估颜色贴图706输入掩膜模型，得到掩膜系数图710。

通过本申请提供的实施例，将第二颜色贴图、和预估颜色贴图输入掩膜模型，得到掩膜系数图，其中，掩膜模型为利用第一样本进行训练得到的、用于识别图像的神经网络模型，掩膜系数图用于表示预估RGB图上每个像素点的置信度。

作为一种可选的方案，利用局部注意力转移机制，根据第一特征图对第二特征图进行补全，并基于补全得到的特征图，确定目标预估RGB图，包括：

S1，基于掩膜系数图确定第二特征图上的空洞区域，其中，空洞区域上小于或等于置信度的像素点对应的数量大于预设空洞阈值；

S2，利用局部注意力转移机制，根据第一特征图对空洞区域进行补全，得到补全后的第二特征图；

S3，基于补全后的第二特征图确定目标预估RGB图。

可选地，在本实施例中，基于掩膜系数图确定第二特征图上的空洞区域，可以但不限于将第二特征图上小于或等于置信度的像素点对应的数量大于预设空洞阈值的区域确定为空洞区域。

需要说明的是，利用局部注意力转移机制，根据第一特征图对空洞区域进行补全，得到补全后的第二特征图；基于补全后的第二特征图确定目标预估RGB图。

需要说明的是，根据第一特征图对空洞区域进行补全，得到补全后的第二特征图，可以但不限于获取第一特征图中大于置信度的像素点，并利用第一特征图中大于置信度的像素点补全第二特征图，其中，补全后的第二特征图空洞区域上小于或等于置信度的像素点对应的数量小于或等于预设空洞阈值。

通过本申请提供的实施例，基于掩膜系数图确定第二特征图上的空洞区域，其中，空洞区域上小于或等于置信度的像素点对应的数量大于预设空洞阈值；利用局部注意力转移机制，根据第一特征图对空洞区域进行补全，得到补全后的第二特征图；基于补全后的第二特征图确定目标预估RGB图。通过局部转移力机制，利用第一特征图对第二特征图上的空洞区域进行补全、改善，降低了第二特征图上小于或等于置信度的像素点对应的数量，进而达到了提高了特征图的质量的目的，从而实现了减轻特征图上的色差问题的技术效果。

作为一种可选的方案，在利用第一特征图对第二特征图进行优化，并基于优化得到的特征图，确定第二视频帧的目标预估RGB图之后，方法还包括：

S1，利用掩膜系数图，对预估RGB图、和目标预估RGB图进行加权求和，得到目标RGB图；

根据目标预估RGB图、和第二颜色贴图，得到第二RGB图，包括：

S2，根据目标RGB图、和第二颜色贴图，得到第二RGB图。

需要说明的是，利用掩膜系数图，对预估RGB图、和目标预估RGB图进行加权求和，得到目标RGB图。

需要说明的是，根据目标RGB图、和第二颜色贴图，得到第二RGB图。

进一步举例说明，如图8所示，一种第二RGB图的确定方式，具体内容如下：

步骤S802，利用掩膜系数图，对预估RGB图802、和目标预估RGB图804进行加权求和，得到目标RGB图806；

步骤S804，根据目标RGB图806、和第二颜色贴图808，得到第二RGB图810。

通过本申请提供的实施例，利用掩膜系数图，对预估RGB图、和目标预估RGB图进行加权求和，得到目标RGB图；根据目标RGB图、和第二颜色贴图，得到第二RGB图。

作为一种可选的方案，在利用第一特征图对第二特征图进行优化，并基于优化得到的特征图，确定第二视频帧的目标预估RGB图之前，方法还包括：

S1，将预估RGB图、第二颜色贴图、和掩膜系数图输入插帧模型，得到第一特征图、和第二特征图，其中，插帧模型为利用第二样本训练得到的、用于识别图像的卷积神经网络。

可选地，在本实施例中，插帧模型可以但不限于为利用第二样本训练得到的、用于识别图像的卷积神经网络，插帧模型可以但不限于用于获取卷积过程中得到的特征图信息，插帧模型可以但不限于获取第二颜色贴图卷积过程中得到的第一特征图，插帧模型可以但不限于获取预估RGB图卷积过程中得到的第二特征图。

通过本申请提供的实施例，将预估RGB图、第二颜色贴图、和掩膜系数图输入插帧模型，得到第一特征图、和第二特征图，其中，插帧模型为利用第二样本训练得到的、用于识别图像的卷积神经网络。

作为一种可选的方案，基于第一RGB图、和后向光流图，得到第二视频帧的预估RGB图，包括：

S1，基于第一RGB图、和后向光流图，利用后向warp函数进行计算，得到预估RGB图；

基于第一颜色贴图、和后向光流图，得到第二视频帧的预估颜色贴图，包括：

S2，基于第一颜色贴图、和后向光流图，利用后向warp函数进行计算，得到预估颜色贴图。

需要说明的是，利用后向warp函数计算得到的第二视频帧的预估RGB图和预估颜色贴图，输入掩膜模型得到掩膜系数图，有效地提高了掩膜系数图的准确性和获取效率。

通过本申请提供的实施例，基于第一RGB图、和后向光流图，利用后向warp函数进行计算，得到预估RGB图；基于第一颜色贴图、和后向光流图，利用后向warp函数进行计算，得到预估颜色贴图。通过warp函数计算得到掩膜系数图的输入，达到了提高了掩膜系数图的输入的获取效率的目的，从而实现了整体上提高图像渲染的效率的技术效果。

作为一种可选的方案，在基于第一RGB图、和后向光流图，得到第二视频帧的预估RGB图之前，方法还包括：

S1，利用第一颜色贴图的纹理信息，弱化第一RGB图的纹理信息，得到保留光影信息的RGB图；

基于第一RGB图、和后向光流图，得到第二视频帧的预估RGB图，包括：

S2，基于保留光影信息的RGB图、和后向光流图，得到预估RGB图。

可选地，在本实施例中，RGB图可以但不限于包括纹理信息、光影信息，其中，纹理信息可以但不限于用于反映图像中同质现象的视觉特征，纹理信息可以但不限于用于体现物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。

需要说明的是，利用第一颜色贴图的纹理信息，弱化第一RGB图的纹理信息，得到保留光影信息的RGB图；基于保留光影信息的RGB图、和后向光流图，得到预估RGB图，如此，将RGB图上纹理信息抹去，只留下光影信息，提高了神经网络的处理效率。

通过本申请提供的实施例，利用第一颜色贴图的纹理信息，弱化第一RGB图的纹理信息，得到保留光影信息的RGB图；基于保留光影信息的RGB图、和后向光流图，得到预估RGB图，进而达到了只保留RGB图上的光影信息的目的，提高了神经网络的处理效率，从而整体上实现了提高图像渲染效率的技术效果。

作为一种可选的方案，利用第一颜色贴图的纹理信息，弱化第一RGB图的纹理信息，得到保留光影信息的RGB图，包括：

S1，获取第一RGB图上每个像素点的第一像素数值、以及获取第一颜色贴图上每个像素点的第二像素数值；

S2，计算得到第一像素数值除以第二像素数值后的第一目标像素值；

S3，基于第一目标像素值得到保留光影信息的RGB图。

可选地，在本实施例中，第一像素数值可以但不限于用于指示第一RGB图上的像素点对应的纹理信息和光影信息，第二像素数值可以但不限于用于指示第一颜色贴图上的像素点对应的纹理信息，第一目标像素可以但不限于用于指示只保留光影信息的RGB图上的像素点对应的光影信息。

需要说明的是，第一颜色贴图与第一RGB图具有一致的纹理信息，因此，第一像素数值除以第二像素数值后的第一目标像素值，指示光影信息而不指示纹理信息。

需要说明的是，弱化第一RGB图的纹理信息，得到保留光影信息的RGB图，达到了抹去第一RGB图中的纹理信息的目的，有利于后续神经网络的处理，从而整体上提高了图像渲染的效率。

进一步举例说明，如图9所示，一种保留光影信息的RGB图的确定方式，具体内容如下：

步骤S902，获取第一RGB图902上每个像素点的第一像素数值904；

步骤S904，获取第一颜色贴图906上每个像素点的第二像素数值908；

步骤S906，计算得到第一像素数值904除以第二像素数值908后的第一目标像素值910；

步骤S910，基于第一目标像素值910得到保留光影信息的RGB图912。

通过本申请提供的实施例，获取第一RGB图上每个像素点的第一像素数值、以及获取第一颜色贴图上每个像素点的第二像素数值；计算得到第一像素数值除以第二像素数值后的第一目标像素值；基于第一目标像素值得到保留光影信息的RGB图。弱化第一RGB图的纹理信息，得到保留光影信息的RGB图，达到了抹去第一RGB图中的纹理信息的目的，从而实现了整体上提高了图像渲染的效率的技术效果。

作为一种可选的方案，根据目标预估RGB图、和第二颜色贴图，得到第二RGB图，包括：

S1，获取目标预估RGB图上每个像素点的第三像素数值、以及获取第二颜色贴图上每个像素点的第四像素数值；

S2，计算得到第三像素数值乘以第四像素数值后的第二目标像素值；

S3，基于第二目标像素值得到第二RGB图。

需要说明的是，计算得到第三像素数值乘以第四像素数值后的第二目标像素值；基于第二目标像素值得到第二RGB图。

进一步举例说明，如图10所示，一种用于指示第二视频帧进行图像渲染后的得到的图像的第二RGB图的确定方式，具体内容如下：

步骤S1002，获取目标预估RGB图1002上每个像素点的第三像素数值1004；

步骤S1004，获取第二颜色贴图1006图上每个像素点的第四像素数值1008；

步骤S1006，计算得到第三像素数值1004乘以第四像素数值1008后的第二目标像素值1010；

步骤S1008，基于第二目标像素值1010得到用于指示第二视频帧进行图像渲染后的得到的图像的第二RGB图1012。

通过本申请提供的实施例，获取目标预估RGB图上每个像素点的第三像素数值、以及获取第二颜色贴图上每个像素点的第四像素数值；计算得到第三像素数值乘以第四像素数值后的第二目标像素值；基于第二目标像素值得到第二RGB图。通过第三像素值、以及第四像素值确定第二目标像素值，进而确定第二目标像素值对应的第二RGB图，并将第二RGB图作为对第二视频帧进行图像渲染后得到的图像，达到了替代逐帧渲染的方式同样实现逐帧渲染效果的目的，从而实现了整体上提高了图像渲染的效率的技术效果。

作为一种可选的方案，在获取待渲染的多个视频帧之前，方法还包括：获取云游戏客户端触发的虚拟游戏指令，其中，虚拟游戏指令用于指示渲染与虚拟游戏指令相适配的目标游戏画面；

作为一种可选的方案，在根据目标预估RGB图、和第二颜色贴图，得到第二RGB图，并将第二RGB图作为对第二视频帧进行图像渲染后得到的图像之后，方法还包括：将对第二视频帧进行图像渲染后得到的图像确定为目标游戏画面，并将目标游戏画面发送至云游戏客户端，由云游戏客户端对目标游戏画面进行显示。

可选地，在本实施例中，上述图像渲染方法可以但不限于应用在云游戏场景，如玩家在云游戏客户端输入游戏指令；云游戏客户端将游戏指令发送至云游戏服务器；云游戏服务器根据游戏指令，按照60帧每秒的帧速率，对奇数视频帧进行实时渲染；云游戏服务器根据游戏指令，按照60帧每秒的帧速率，基于每一偶数视频帧前一奇数视频帧对应的视频帧信息，获取偶数视频帧进行图像渲染后得到的图像；云游戏服务器输出游戏画面的视频流，并将游戏画面的视频流发送至云游戏客户端；云游戏客户端将游戏画面的视频流输出至显示设备。

需要说明的是，云游戏本身虽然不会对终端的显示性能进行约束，但对于云服务器来说，渲染出高质量、且海量的游戏画面，还是需要依赖于高性能的硬件配置的，这无疑会增加云服务器的运行成本；而利用上述图像渲染方法，舍弃了对待显示画面进行逐帧渲染的方式，而是初步渲染待显示画面中的奇数视频帧，进而基于前一奇数视频帧对应的RGB图和颜色贴图、以及偶数视频帧对应的后向光流图和第二颜色贴图，确定偶数视频帧对应的进行图像渲染后得到的图像，一方面根据奇数视频帧对应的帧信息以确定偶数视频帧对应的进行图像渲染后得到的图像，达到了替代逐帧渲染的方式同样实现逐帧渲染效果的目的，另一方面降低了云服务器的渲染任务的计算开销，达到了降低云服务器的计算量的目的，从而实现了提高云服务器侧对图像渲染效率的技术效果，进而解决了云服务器的渲染成本较高的技术问题；

此外，考虑到部分云游戏客户端具备运行针对实时渲染任务的视频外插帧方法的硬件条件，如果让云游戏客户端负责视频外插帧任务，则能够进一步减轻云游戏服务器的计算压力。对此，本发明提出云游戏场景下的一种针对实时渲染任务的视频外插帧方法的扩展方案，如：

玩家在云游戏客户端输入游戏指令；云游戏客户端将游戏指令发送给云游戏服务器；云游戏服务器根据游戏指令，对当前帧进行实时渲染；判断云游戏客户端是否具备运行上述图像渲染方法的硬件条件，如果是，则云游戏服务器将当前帧的RGB图和颜色贴图、下一帧的后向光流图和颜色贴图发送到云游戏客户端；云游戏客户端将当前帧的RGB图输出到显示设备，同时对下一帧进行视频外插帧，输出下一帧的RGB图；云游戏客户端将下一帧的RGB图输出到显示设备；如果否，则云游戏服务器将当前帧的RGB图发送到云游戏客户端；云游戏客户端将当前帧的RGB图输出到显示设备；云游戏服务器对下一帧进行视频外插帧，将输出的下一帧的RGB图发送回云游戏客户端，转向云游戏客户端继续将下一帧的RGB图输出到显示设备。

作为一种可选的方案，如图11所示，将上述图像渲染方法应用在图像渲染神经网络结构的应用场景，其中，图像渲染神经网络结构包括第一编码器1102、第二编码器1104、以及解码器1106。

第一编码器1102包含6个卷积或部分卷积模块和6个局部注意力转移模块，第二编码器1104包含6个卷积模块，解码器1106包含6个反卷积模块或pixel shuffle函数，第一编码器1102和解码器1106之间存在特征连接操作。

需要说明的是，本实施例中所述第一编码器1102、第二编码器1104和解码器1106均包含6个子模块，仅仅为示例，不具有任何限制作用。本领域的技术人员可根据实际情况设置子模块的个数，均在本发明的保护范围之内。

需要说明的是，子模块的个数越多，最终由图像渲染神经网络输出的图像结果越精确，但同时计算效率会降低。因此，在应用时，子模块的个数需要根据实际使用场景进行设置，在本实施例中不做限制。

作为一种可选的方案，如图12所示，将上述图像渲染方法应用在针对实时渲染任务的应用场景，具体步骤如下：

步骤1202，获取渲染帧的RGB图和颜色贴图，渲染帧为目标帧的前一帧；

步骤1204，获取目标帧的后向光流图和颜色贴图，后向光流图用于表示目标帧上每个像素点相对于该像素点在前一帧上的位移；

步骤1206，对于渲染帧的RGB图上的每一个像素点，除以渲染帧的颜色贴图上每一个像素点的值，得到渲染帧的解调后的RGB图；

步骤1208，根据渲染帧的解调后的RGB图和目标帧的后向光流图，利用后向warp函数计算得到目标帧的预估解调后的RGB图；根据渲染帧的颜色贴图和目标帧的后向光流图，利用后向warp函数计算得到目标帧的预估颜色贴图；

步骤1210，将目标帧的颜色贴图和目标帧的预估颜色贴图输入掩膜预测神经网络，输出掩膜系数图，掩膜系数图用于表示目标帧的预估解调后的RGB图上每一个像素点的置信度；

步骤1212，将目标帧的预估解调后的RGB图、目标帧的颜色贴图和掩膜系数图输入图像渲染神经网络，获取卷积过程中得到的特征图信息，并利用局部注意力转移机制根据目标帧的颜色贴图的特征图对目标帧的预估解调后的RGB图的特征图进行补全和改善，最后输出图像渲染神经网络预测的目标帧的解调后的RGB图；

步骤1214，利用掩膜系数图，对图像渲染神经网络预测的目标帧的解调后的RGB图和目标帧的预估解调后的RGB图进行加权求和，得到目标帧的解调后的RGB图；

步骤1216，对于目标帧的解调后的RGB图上的每一个像素点，乘上目标帧的颜色贴图上每一个像素点的值，得到目标帧的RGB图，将目标帧的RGB图确定为目标帧进行图像渲染得到的图像。

进一步举例说明，结合图11所示的图像渲染神经网络结构对图12所示的步骤S1212进行具体的解释：

步骤S1212-02，将目标帧的颜色贴图输入图像渲染帧神经网络，由第二编码器1104输出目标帧的颜色贴图的多层级特征图；

步骤S1212-04，将目标帧的颜色贴图的多层级特征图、目标帧的预估解调后的RGB图、掩膜系数图输入第一编码器1102，输出目标帧的解调后的RGB图的多层特征图；

步骤S1212-06，将目标帧的解调后的RGB图的多层特征图输入解码器1106，并通过特征连接操作进行跳层连接，输出神经网络预测的目标帧的解调后的RGB图；

步骤S1212-08，若处于训练阶段，则将图像渲染神经网络预测的目标帧的解调后的RGB图和目标帧的解调后的RGB图的真实值输入判别器，输出神经网络预测的目标帧的解调后的RGB图的真实程度值，从而对判别器进行训练；

步骤S1212-10，若处于训练阶段，则根据图像渲染神经网络预测的目标帧的解调后的RGB图和目标帧的解调后的RGB图的真实值，利用目标函数计算重建损失；

需要说明的是，在本实施中的目标函数为L1损失、感知损失、风格损失和对抗损失的线性加权，四种损失的权重可以根据实际情况进行调整。

可以理解的是，在本申请的具体实施方式中，涉及到用户信息等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

根据本申请实施例的另一个方面，还提供了一种用于实施上述图像渲染方法的图像渲染装置。如图13所示，该装置包括：

第一获取单元1302，用于获取待渲染的多个视频帧，其中，待渲染的多个视频帧包括第一视频帧、以及第二视频帧，第一视频帧为第二视频帧的前一视频帧；

第二获取单元1304，用于获取第一视频帧的第一RGB图、和第一颜色贴图，以及获取第二视频帧的后向光流图、和第二颜色贴图，其中，第一RGB图为对第一视频帧进行图像渲染后得到的图像，后向光流图用于表示像素点在第二视频帧上相对于第一视频帧上的位移信息；

第一确定单元1306，用于基于第一RGB图、和后向光流图，得到第二视频帧的预估RGB图；

第二确定单元1308，用于在获取到第二颜色贴图对应的第一特征图、和预估RGB图对应的第二特征图的情况下，利用第一特征图对第二特征图进行优化，并基于优化得到的特征图，确定第二视频帧的目标预估RGB图；

第三确定单元1310，用于根据目标预估RGB图、和第二颜色贴图，得到第二RGB图，并将第二RGB图作为对第二视频帧进行图像渲染后得到的图像。

具体实施例可以参考上述图像渲染装置中所示示例，本示例中在此不再赘述。

作为一种可选的方案，上述第二确定单元1308，包括：

补全模块，用于利用局部注意力转移机制，根据第一特征图对第二特征图进行补全，并基于补全得到的特征图，确定目标预估RGB图。

具体实施例可以参考上述图像渲染方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，上述装置还包括：

第一确定子模块，用于在利用局部注意力转移机制，根据第一特征图对第二特征图进行补全，并基于补全得到的特征图，确定目标预估RGB图之前，基于第一颜色贴图、和后向光流图，得到第二视频帧的预估颜色贴图。

作为一种可选的方案，上述装置还包括：

确定子单元，用于在基于第一颜色贴图、和后向光流图，得到第二视频帧的预估颜色贴图之后，将第二颜色贴图、和预估颜色贴图输入掩膜模型，得到掩膜系数图，其中，掩膜模型为利用第一样本进行训练得到的、用于识别图像的神经网络模型，掩膜系数图用于表示预估RGB图上每个像素点的置信度。

作为一种可选的方案，上述补全模块，包括：

第二确定子模块，用于基于掩膜系数图确定第二特征图上的空洞区域，其中，空洞区域上小于或等于置信度的像素点对应的数量大于预设空洞阈值；

补全子模块，用于利用局部注意力转移机制，根据第一特征图对空洞区域进行补全，得到补全后的第二特征图；

第三确定子模块，用于基于补全后的第二特征图确定目标预估RGB图。

作为一种可选的方案，上述装置还包括：

求和模块，用于在利用第一特征图对第二特征图进行优化，并基于优化得到的特征图，确定第二视频帧的目标预估RGB图之后，利用掩膜系数图，对预估RGB图、和目标预估RGB图进行加权求和，得到目标RGB图；

上述第三确定单元1310，包括：

第一确定模块，用于根据目标RGB图、和第二颜色贴图，得到第二RGB图。

作为一种可选的方案，上述装置还包括：

第二确定模块，用于在利用第一特征图对第二特征图进行优化，并基于优化得到的特征图，确定第二视频帧的目标预估RGB图之前，将预估RGB图、第二颜色贴图、和掩膜系数图输入插帧模型，得到第一特征图、和第二特征图，其中，插帧模型为利用第二样本训练得到的、用于识别图像的卷积神经网络。

作为一种可选的方案，上述第一确定单元1306，包括：

第一计算模块，用于基于第一RGB图、和后向光流图，利用后向warp函数进行计算，得到预估RGB图；

上述第一确定子模块，包括：

计算子单元，用于基于第一颜色贴图、和后向光流图，利用后向warp函数进行计算，得到预估颜色贴图。

作为一种可选的方案，上述装置还包括：

弱化模块，用于在基于第一RGB图、和后向光流图，得到第二视频帧的预估RGB图之前，利用第一颜色贴图的纹理信息，弱化第一RGB图的纹理信息，得到保留光影信息的RGB图；

上述第一确定单元1306，包括：

第三确定模块，用于基于保留光影信息的RGB图、和后向光流图，得到预估RGB图。

作为一种可选的方案，上述弱化模块，包括：

获取子模块，用于获取第一RGB图上每个像素点的第一像素数值、以及获取第一颜色贴图上每个像素点的第二像素数值；

计算子模块，用于计算得到第一像素数值除以第二像素数值后的第一目标像素值；

第四确定子模块，用于基于第一目标像素值得到保留光影信息的RGB图。

作为一种可选的方案，上述第三确定单元1310，包括：

获取模块，用于获取目标预估RGB图上每个像素点的第三像素数值、以及获取第二颜色贴图上每个像素点的第四像素数值；

第二计算模块，用于计算得到第三像素数值除以第四像素数值后的第二目标像素值；

第四确定模块，用于基于第二目标像素值得到第二RGB图。

作为一种可选的方案，上述装置还包括：第三获取单元，用于在获取待渲染的多个视频帧之前，获取云游戏客户端触发的虚拟游戏指令的，其中，虚拟游戏指令用于指示渲染与虚拟游戏指令相适配的目标游戏画面；

上述装置还包括：第四获取单元，用于将在根据目标预估RGB图、和第二颜色贴图，得到第二RGB图，并将第二RGB图作为对第二视频帧进行图像渲染后得到的图像之后，对第二视频帧进行图像渲染后得到的图像确定为目标游戏画面，并将目标游戏画面发送至云游戏客户端，由云游戏客户端对目标游戏画面进行显示。

根据本申请实施例的又一个方面，还提供了一种用于实施上述图像渲染方法的电子设备，如图14所示，该电子设备包括存储器1402和处理器1404，该存储器1402中存储有计算机程序，该处理器1404被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取待渲染的多个视频帧，其中，待渲染的多个视频帧包括第一视频帧、以及第二视频帧，第一视频帧为第二视频帧的前一视频帧；

S2，获取第一视频帧的第一RGB图、和第一颜色贴图，以及获取第二视频帧的后向光流图、和第二颜色贴图，其中，第一RGB图为对第一视频帧进行图像渲染后得到的图像，后向光流图用于表示像素点在第二视频帧上相对于第一视频帧上的位移信息；

S3，基于第一RGB图、和后向光流图，得到第二视频帧的预估RGB图；

S4，在获取到第二颜色贴图对应的第一特征图、和预估RGB图对应的第二特征图的情况下，利用第一特征图对第二特征图进行优化，并基于优化得到的特征图，确定第二视频帧的目标预估RGB图；

S5，根据目标预估RGB图、和第二颜色贴图，得到第二RGB图，并将第二RGB图作为对第二视频帧进行图像渲染后得到的图像。

可选地，本领域普通技术人员可以理解，图14所示的结构仅为示意，电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图14其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图14中所示更多或者更少的组件(如网络接口等)，或者具有与图14所示不同的配置。

其中，存储器1402可用于存储软件程序以及模块，如本申请实施例中的图像渲染方法和装置对应的程序指令/模块，处理器1404通过运行存储在存储器1402内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像渲染方法。存储器1402可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1402可进一步包括相对于处理器1404远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1402具体可以但不限于用于存储视频帧的RGB图、颜色贴图、后向流光图等信息。作为一种示例，如图14所示，上述存储器1402中可以但不限于包括上述图像渲染装置中的第一获取单元1302、第二获取单元1304、第一确定单元1306、第二确定单元1308、及第三确定单元1310。此外，还可以包括但不限于上述图像渲染装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1406用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1406包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1406为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器1408，用于显示上述视频帧的RGB图、颜色贴图、后向流光图等信息；和连接总线1410，用于连接上述电子设备中的各个模块部件。

在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(Peer To Peer，简称P2P)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序/指令，该计算机程序/指令包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时，执行本申请实施例提供的各种功能。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，电子设备的计算机系统仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

计算机系统包括中央处理器(Central Processing Unit，CPU)，其可以根据存储在只读存储器(Read-Only Memory，ROM)中的程序或者从存储部分加载到随机访问存储器(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器中，还存储有系统操作所需的各种程序和数据。中央处理器、在只读存储器以及随机访问存储器通过总线彼此相连。输入/输出接口(Input/Output接口，即I/O接口)也连接至总线。

以下部件连接至输入/输出接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至输入/输出接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时，执行本申请的系统中限定的各种功能。

根据本申请的一个方面，提供了一种计算机可读存储介质，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种图像渲染方法，其特征在于，包括：

获取待渲染的多个视频帧，其中，所述待渲染的多个视频帧包括第一视频帧、以及第二视频帧，所述第一视频帧为所述第二视频帧的前一视频帧；

获取所述第一视频帧的第一RGB图、和第一颜色贴图，以及获取所述第二视频帧的后向光流图、和第二颜色贴图，其中，所述第一RGB图为对所述第一视频帧进行图像渲染后得到的图像，所述后向光流图用于表示像素点在所述第二视频帧上相对于所述第一视频帧上的位移信息；

基于所述第一RGB图、和所述后向光流图，得到所述第二视频帧的预估RGB图；

在获取到所述第二颜色贴图对应的第一特征图、和所述预估RGB图对应的第二特征图的情况下，利用所述第一特征图对所述第二特征图进行优化，并基于优化得到的特征图，确定所述第二视频帧的目标预估RGB图；

根据所述目标预估RGB图、和所述第二颜色贴图，得到第二RGB图，并将所述第二RGB图作为对所述第二视频帧进行图像渲染后得到的图像。

2.根据权利要求1所述的方法，其特征在于，所述利用所述第一特征图对所述第二特征图进行优化，并基于优化得到的特征图，确定所述第二视频帧的目标预估RGB图，包括：

利用局部注意力转移机制，根据所述第一特征图对所述第二特征图进行补全，并基于补全得到的特征图，确定所述目标预估RGB图。

3.根据权利要求2所述的方法，其特征在于，在所述利用局部注意力转移机制，根据所述第一特征图对所述第二特征图进行补全，并基于补全得到的特征图，确定所述目标预估RGB图之前，所述方法还包括：

基于所述第一颜色贴图、和所述后向光流图，得到所述第二视频帧的预估颜色贴图。

4.根据权利要求3所述的方法，其特征在于，在所述基于所述第一颜色贴图、和所述后向光流图，得到所述第二视频帧的预估颜色贴图之后，所述方法还包括：

将所述第二颜色贴图、和所述预估颜色贴图输入掩膜模型，得到掩膜系数图，其中，所述掩膜模型为利用第一样本进行训练得到的、用于识别图像的神经网络模型，所述掩膜系数图用于表示所述预估RGB图上每个像素点的置信度。

5.根据权利要求4所述的方法，其特征在于，所述利用局部注意力转移机制，根据所述第一特征图对所述第二特征图进行补全，并基于补全得到的特征图，确定所述目标预估RGB图，包括：

基于所述掩膜系数图确定所述第二特征图上的空洞区域，其中，所述空洞区域上小于或等于所述置信度的像素点对应的数量大于预设空洞阈值；

利用所述局部注意力转移机制，根据所述第一特征图对所述空洞区域进行补全，得到补全后的第二特征图；

基于所述补全后的第二特征图确定所述目标预估RGB图。

6.根据权利要求4所述的方法，其特征在于，

在所述利用所述第一特征图对所述第二特征图进行优化，并基于优化得到的特征图，确定所述第二视频帧的目标预估RGB图之后，所述方法还包括：利用所述掩膜系数图，对所述预估RGB图、和所述目标预估RGB图进行加权求和，得到目标RGB图；

所述根据所述目标预估RGB图、和所述第二颜色贴图，得到第二RGB图，包括：根据所述目标RGB图、和所述第二颜色贴图，得到所述第二RGB图。

7.根据权利要求4所述的方法，其特征在于，在所述利用所述第一特征图对所述第二特征图进行优化，并基于优化得到的特征图，确定所述第二视频帧的目标预估RGB图之前，所述方法还包括：

将所述预估RGB图、所述第二颜色贴图、和所述掩膜系数图输入插帧模型，得到所述第一特征图、和所述第二特征图，其中，所述插帧模型为利用第二样本训练得到的、用于识别图像的卷积神经网络。

8.根据权利要求3所述的方法，其特征在于，

所述基于所述第一RGB图、和所述后向光流图，得到所述第二视频帧的预估RGB图，包括：基于所述第一RGB图、和所述后向光流图，利用后向warp函数进行计算，得到所述预估RGB图；

所述基于所述第一颜色贴图、和所述后向光流图，得到所述第二视频帧的预估颜色贴图，包括：基于所述第一颜色贴图、和所述后向光流图，利用所述后向warp函数进行计算，得到所述预估颜色贴图。

9.根据权利要求1至8中任一项所述的方法，其特征在于，

在所述基于所述第一RGB图、和所述后向光流图，得到所述第二视频帧的预估RGB图之前，所述方法还包括：利用所述第一颜色贴图的纹理信息，弱化所述第一RGB图的纹理信息，得到保留光影信息的RGB图；

所述基于所述第一RGB图、和所述后向光流图，得到所述第二视频帧的预估RGB图，包括：基于所述保留光影信息的RGB图、和所述后向光流图，得到所述预估RGB图。

10.根据权利要求9所述的方法，其特征在于，所述利用所述第一颜色贴图的纹理信息，弱化所述第一RGB图的纹理信息，得到保留光影信息的RGB图，包括：

获取所述第一RGB图上每个像素点的第一像素数值、以及获取所述第一颜色贴图上每个像素点的第二像素数值；

计算得到所述第一像素数值除以所述第二像素数值后的第一目标像素值；

基于所述第一目标像素值得到所述保留光影信息的RGB图。

11.根据权利要求1至8中任一项所述的方法，其特征在于，所述根据所述目标预估RGB图、和所述第二颜色贴图，得到第二RGB图，包括：

获取所述目标预估RGB图上每个像素点的第三像素数值、以及获取所述第二颜色贴图上每个像素点的第四像素数值；

计算得到所述第三像素数值乘以乘以所述第四像素数值后的第二目标像素值；

基于所述第二目标像素值得到所述第二RGB图。

12.根据权利要求1至8中任一项所述的方法，其特征在于，

在所述获取待渲染的多个视频帧之前，所述方法还包括：获取云游戏客户端触发的虚拟游戏指令，其中，所述虚拟游戏指令用于指示渲染与所述虚拟游戏指令相适配的目标游戏画面；

在所述根据所述目标预估RGB图、和所述第二颜色贴图，得到第二RGB图，并将所述第二RGB图作为对所述第二视频帧进行图像渲染后得到的图像之后，所述方法还包括：将对所述第二视频帧进行图像渲染后得到的图像确定为所述目标游戏画面，并将所述目标游戏画面发送至所述云游戏客户端，由所述云游戏客户端对所述目标游戏画面进行显示。

13.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序可被终端设备或计算机运行时执行所述权利要求1至12任一项中所述的方法。

14.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至12任一项中所述方法的步骤。

15.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至12任一项中所述的方法。