CN110827380B

CN110827380B - 图像的渲染方法、装置、电子设备及计算机可读介质

Info

Publication number: CN110827380B
Application number: CN201910888172.XA
Authority: CN
Inventors: 刘贵芹
Original assignee: Beijing Boshi Space Technology Co ltd
Current assignee: Beijing Boshi Space Technology Co ltd
Priority date: 2019-09-19
Filing date: 2019-09-19
Publication date: 2023-10-17
Anticipated expiration: 2039-09-19
Also published as: CN110827380A

Abstract

本公开涉及一种图像的渲染方法、装置、电子设备及计算机可读介质，属于云计算技术领域。该方法包括：在客户端，接收云端发送的视频流并进行视频解码；获取图像序列的丢失帧数并恢复第一分辨率第一帧率的图像序列的帧率；通过深度学习算法模型增大第一分辨率第二帧率的图像序列中图像的分辨率。在云端，获取待渲染的图像数据渲染得到第一分辨率第二帧率的图像序列；根据预先设定的第一帧率确定图像序列的丢失帧数，并降低图像序列的帧率；将第一分辨率第一帧率的图像序列进行视频编码形成视频流并传送至客户端。本公开通过在云端渲染低分辨率图像，并利用帧间信息简化视频流，减少视频流的大小，可以有效降低渲染计算量，提高图像的渲染速度。

Description

图像的渲染方法、装置、电子设备及计算机可读介质

技术领域

本公开涉及云计算技术领域，具体而言，涉及一种图像的渲染方法、图像的渲染装置、电子设备及计算机可读介质。

背景技术

随着云端服务器性能的不断提升和网络传输速度快速提高，云计算、云渲染技术变得越来越普遍。人们把越来越多的数据放在云端，同时把越来越复杂的计算功能也放在云端。

虽然当前云计算的能力越来越强，但在实时应用方面还存在不足，主要原因是网络传输速度和带宽不能与数据规模相匹配。尤其是在三维模拟仿真、三维游戏等需要大规模数据实时渲染的应用领域，无线传输速度和带宽不足容易引起画面的延迟卡顿，而对于实时性要求很高的应用来说，这样的延迟是不能够接受的。

因此，基于云计算的大规模数据实时渲染与浏览还没有取得很好的突破，需要找到一种方法能够有效克服在有限带宽和传输速度的条件下，显示画面延迟卡顿的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种图像的渲染方法、图像的渲染装置、电子设备及计算机可读介质，进而至少在一定程度上克服在大规模图像数据渲染时，由于传统图像渲染方法的限制而导致的图像数据渲染计算量大，运算速度慢，影响交互流畅感等问题。

根据本公开的第一个方面，提供一种图像的渲染方法，包括：

接收云端发送的视频流并对所述视频流进行视频解码，得到第一分辨率第一帧率的图像序列；

获取所述第一分辨率第一帧率的图像序列的丢失帧数，并根据所述丢失帧数恢复所述第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列；其中，所述第二帧率大于所述第一帧率；

通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列；其中，所述第二分辨率大于所述第一分辨率。

在本公开的一种示例性实施例中，所述根据所述丢失帧数恢复所述第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列包括：

根据所述丢失帧数确定所述第一分辨率第一帧率的图像序列中任意连续两帧之间所要恢复的恢复图像；

根据所述第一分辨率第一帧率的图像序列中任意两帧的连续图像上匹配点的匹配坐标，确定所述恢复图像中与所述匹配坐标对应的恢复坐标；

根据所述匹配点的颜色信息对所述恢复图像上对应的恢复坐标进行颜色填充，得到所述恢复图像；

将所述恢复图像插入所述第一分辨率第一帧率的图像序列中，得到所述第一分辨率第二帧率的图像序列。

在本公开的一种示例性实施例中，所述通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列包括：

将所述第一分辨率第二帧率的图像序列中的第一分辨率图像分别输入所述预先训练的深度学习算法模型，得到第二分辨率图像；

根据所述第二分辨率图像得到所述第二分辨率第二帧率的图像序列。

在本公开的一种示例性实施例中，所述深度学习算法模型的训练过程包括：

对图像数据样本在云端进行渲染，得到第三分辨率的图像样本和第一分辨率的图像样本；其中，所述第三分辨率大于或等于所述第二分辨率；

以所述第一分辨率的图像样本为输入数据，以所述第三分辨率的图像样本为输出目标，训练所述深度学习算法模型。

根据本公开的第二个方面，提供一种图像的渲染方法，包括：

从云端获取待渲染的图像数据，并根据预先设定的第一分辨率和所述待渲染的图像数据在云端渲染得到第一分辨率第二帧率的图像序列；

根据预先设定的第一帧率确定图像序列的丢失帧数，并根据所述丢失帧数降低所述第一分辨率第二帧率的图像序列的帧率，得到第一分辨率第一帧率的图像序列；其中，所述第一帧率小于所述第二帧率；

将所述第一分辨率第一帧率的图像序列进行视频编码形成视频流，并将所述视频流传送至客户端，以使所述客户端再次渲染得到第二分辨率第二帧率的图像序列；其中，所述第二分辨率大于所述第一分辨率。

在本公开的一种示例性实施例中，所述根据预先设定的第一分辨率和所述待渲染的图像数据在云端渲染得到第一分辨率第二帧率的图像序列包括：

根据预先设定的第一分辨率确定所述图像数据的渲染速度；

根据所述待渲染的图像数据和所述图像数据的渲染速度，在云端渲染得到第一分辨率第二帧率的图像序列。

在本公开的一种示例性实施例中，所述根据所述丢失帧数降低所述第一分辨率第二帧率的图像序列的帧率，得到第一分辨率第一帧率的图像序列包括：

根据所述丢失帧数得到所述第一分辨率第二帧率的图像序列中需要保留的图像；

根据所述第一分辨率第二帧率的图像序列中需要保留的图像得到第一分辨率第一帧率的图像序列。

根据本公开的第三方面，提供一种图像的渲染装置，包括：

视频解码模块，用于接收云端发送的视频流并对所述视频流进行视频解码，得到第一分辨率第一帧率的图像序列；

高帧率重建模块，用于获取所述第一分辨率第一帧率的图像序列的丢失帧数，并根据所述丢失帧数恢复所述第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列；

高分辨率重建模块，用于通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列。

根据本公开的第四方面，提供一种图像的渲染装置，包括：

低分辨率渲染模块，用于从云端获取待渲染的图像数据，并根据预先设定的第一分辨率和所述待渲染的图像数据在云端渲染得到第一分辨率第二帧率的图像序列；

低帧率渲染模块，用于根据预先设定的第一帧率确定图像序列的丢失帧数，并根据所述丢失帧数降低所述第一分辨率第二帧率的图像序列的帧率，得到第一分辨率第一帧率的图像序列；

视频编码模块，用于将所述第一分辨率第一帧率的图像序列进行视频编码形成视频流，并将所述视频流传送至客户端，以使所述客户端再次渲染得到第二分辨率第二帧率的图像序列。

根据本公开的第五方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的图像的渲染方法。

根据本公开的第六方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的图像的渲染方法。

本公开示例性实施例可以具有以下有益效果：

本公开示例实施方式的图像的渲染方法中，通过在云端渲染低分辨率的图像，并利用帧间信息简化视频流的方法，一方面，在大规模模型数据加载的情况下可以有效降低渲染计算量，提高图像的渲染速度，提升交互的流畅感，解决了显示画面延迟卡顿的问题；另一方面，通过帧间信息简化视频流的方法减少了视频流的大小，在有限带宽和传输速度条件下降低了对客户端的依赖性，不需要高配置的显示设备，降低了成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开示例实施方式的图像的渲染方法的流程示意图；

图2示出了本公开示例实施方式的恢复低分辨率高帧率的图像序列帧率的流程示意图；

图3示意性示出了根据本公开的一个具体实施例的低帧率到高帧率视频的重建方法的示意图；

图4示出了本公开示例实施方式的渲染高分辨率高帧率的图像序列的流程示意图；

图5示意性示出了根据本公开的一个具体实施例的低分辨率到高分辨率图像的重建方法的示意图；

图6示出了本公开示例实施方式的训练深度学习算法模型的流程示意图；

图7示出了本公开另一示例实施方式的图像的渲染方法的流程示意图；

图8示出了本公开示例实施方式的渲染低分辨率高帧率的图像序列的流程示意图；

图9示意性示出了根据本公开的一个具体实施例的低分辨率图像的渲染方法示意图；

图10示出了本公开示例实施方式的渲染低分辨率低帧率的图像序列的流程示意图；

图11示意性示出了根据本公开的一个具体实施例的降低图像序列帧率的方法示意图；

图12示出了根据本公开的一个具体实施例中的云端渲染与本地解码的技术框架图；

图13示出了本公开示例实施方式的图像的渲染装置的框图；

图14示出了本公开另一示例实施方式的图像的渲染装置的框图；

图15示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在一些相关的实施例中，图像数据的渲染可以利用云计算、云渲染技术在后台云端完成画面的计算生成，然后压缩成视频流通过网络传输给客户端，客户端只要完成视频的解码显示即可。这种云渲染的方法降低了客户端的硬件配置要求，但是在有限带宽和传输速度条件下，还是容易引起画面的延迟卡顿，而对于实时性要求很高的应用来说，这样的延迟是不能够接受的。

本示例实施方式提供了一种方法，该方法能够有效克服在有限带宽和传输速度条件下显示画面的延迟卡顿问题。在上述方法中，所渲染的图像数据可以包括二维图像数据和三维数据。在使用上述方法进行三维数据的渲染时，可以利用三维数据实时渲染与浏览应用中的两个前提条件：1、应用中渲染的虚拟物体是已知的，虚拟物体的三维数据的形态结构是预先建模的；2、浏览过程是一个连续过程，帧间信息是连续的，不会产生类似影视视频的跳变切换。

本示例实施方式首先提供了一种客户端的高分辨率高帧率图像的渲染方法。参考图1所示，上述图像的渲染方法可以包括以下步骤：

步骤S110.接收云端发送的视频流并对视频流进行视频解码，得到第一分辨率第一帧率的图像序列。

视频流是指视频数据的传输，即将实时视频编码为可流式文件格式，能够被作为一个稳定的和连续的流通过网络处理。所谓视频编码方式就是指通过压缩技术，将原始视频格式的文件转换成另一种视频格式文件的方式。视频编解码是通过软件或硬件应用程序完成的视频压缩标准，每个编解码器包括用于压缩视频的编码器和用于重新创建视频的近似值以用于回放的解码器。

图像分辨率指图像中存储的信息量，分为水平分辨率和垂直分辨率，图像分辨率指标的高低反映了图像清晰度的好坏。图像分辨率的表达方式为“水平像素数×垂直像素数”，在同一显示分辨率的情况下，分辨率越高的图像像素点越多，图像的尺寸和面积也越大。帧率是以帧称为单位的图像连续出现在显示器上的频率。每秒的帧数或者说帧率表示图形处理器处理图像时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的动态画面。

图像序列可以将视频片段储存为单独的静止图像文件。每个图像文件的文件名称中均有一个编号，指示图像在序列中的位置，每个文件代表单个帧。图像序列可以与静止图像文件使用同种文件格式，是最广为接受的文件格式，适用于在云端与客户端之间交换视频。

客户端接收到视频流后，按照常规的解码序列解码视频流得到低分辨率低帧率的图像序列。完成视频解码后，客户端还需要完成图像由低帧率向高帧率的重建和低分辨率向高分辨率的重建。

步骤S120.获取第一分辨率第一帧率的图像序列的丢失帧数，并根据丢失帧数恢复第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列；其中，第二帧率大于第一帧率。

云端在渲染低分辨率低帧率的图像序列时，为了降低帧率，只保留了原始图像序列中的部分帧数，而丢弃掉的部分帧数即丢失帧数。

要恢复低分辨率低帧率的图像序列的帧率，即低帧率向高帧率的重建，可以通过获取丢失帧数的信息，并根据帧间关系进行图像插帧，利用低帧率视频进行高帧率视频的重建，这个过程可以利用帧间匹配进行帧间图像插值的方式实现。

步骤S130.通过预先训练的深度学习算法模型增大第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列；其中，第二分辨率大于第一分辨率。

得到高帧率的图像序列后，需要再对其中的图像进行低分辨率向高分辨率的重建得到高分辨率高帧率的图像序列。利用低分辨率图像进行高分辨率图像的重建的过程，可以利用人工智能技术对一个深度卷积神经网络进行训练来实现。

下面，结合图2至图6对本示例实施方式的上述步骤进行更加详细的说明。

在步骤S120中，如图2所示，根据丢失帧数恢复第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列的方法具体可以包括以下几个步骤：

步骤S210.根据丢失帧数确定第一分辨率第一帧率的图像序列中任意连续两帧之间所要恢复的恢复图像。

本示例实施方式中，图像序列从低帧率向高帧率重建的过程如图3所示。假设已知两帧图像数据f_i-1和f_i，需要恢复这两帧数据之间丢失掉的N帧图像数据。

步骤S220.根据第一分辨率第一帧率的图像序列中任意两帧的连续图像上匹配点的匹配坐标，确定恢复图像中与匹配坐标对应的恢复坐标。

利用上述实时渲染与浏览应用中包含的前提条件中，浏览过程是一个连续过程，帧间信息是连续的，不会产生类似影视视频的跳变切换的条件，首先在f_i-1和f_i之间进行图像匹配。假设f_i-1上任意一点A在f_i上的匹配点是B，计算它们之间的坐标差异为(Δx,Δy)，如果f_i-1和f_i之间丢失的N帧图像序列表示为f_i-1,1,f_i-1,2,f_i-1,3,…,f_i-1,j,…f_i-1,N，那么对于其中任意的一帧图像f_i-1,j上的与点A、B对应的点C，其坐标为(A_x,A_y)+(j-1)*(Δx,Δy)/N。

步骤S230.根据匹配点的颜色信息对恢复图像上对应的恢复坐标进行颜色填充，得到恢复图像。

得到C点坐标后，可以将该位置的颜色信息用A或者B的颜色信息进行填充。以此类推，可以得到任意一帧需要恢复的图像上任意一点的颜色信息，进而恢复该帧的图像。

步骤S240.将恢复图像插入第一分辨率第一帧率的图像序列中，得到第一分辨率第二帧率的图像序列。

对每两帧之间丢失的图像恢复完成后，将恢复的图像插入每两帧之间对应的帧数位置，即可完成由低帧率到高帧率图像序列的重建。

在步骤S130中，如图4所示，通过预先训练的深度学习算法模型增大第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列的方法具体可以包括以下几个步骤：

步骤S410.将第一分辨率第二帧率的图像序列中的第一分辨率图像分别输入预先训练的深度学习算法模型，得到第二分辨率图像。

通过预先训练得到一个图像重建的深度学习算法模型，利用该模型可以在客户端将一个实时渲染浏览应用的云端渲染的低分辨率图像重建为一个高分辨率图像并显示在屏幕上。

如图5所示，低分辨率图像501通过深度卷积神经网络进行特征提取和非线性映射，将深度卷积神经网络学习到的特征送入归一化指数函数(softmax函数)对图像进行分类识别，最后将卷积神经网络输出的结果502作为重建后的高分辨率图像。

步骤S420.根据第二分辨率图像得到第二分辨率第二帧率的图像序列。

完成每一帧图像由低分辨率到高分辨率的重建后，将低分辨率高帧率的图像序列中的低分辨率图像全部替换为对应的高分辨率图像，得到高分辨率高帧率的图像序列。

在步骤S410中，如图6所示，上述深度学习算法模型的训练过程具体可以包括以下几个步骤：

步骤S610.对图像数据样本在云端进行渲染，得到第三分辨率的图像样本和第一分辨率的图像样本；其中，第三分辨率大于或等于第二分辨率。

当图像数据样本为三维数据时，可以利用前文提到的实时渲染与浏览应用包含的前提条件中，应用中渲染的虚拟物体是已知的，虚拟物体的三维数据的形态结构是预先建模的条件，首先在一个应用进行实时渲染之前，将预先建模后的场景在云端的高配置硬件支持下进行高分辨率的实时渲染浏览，然后将得到图像进行降采样得到低分辨率的图像，这里的低分辨率大小与最终云端渲染低分辨率图像序列时候设置的分辨率一致，这里的高分辨率与客户端最终显示的分辨率一致或者更高。经过这个降采样过程，为每一个图像都得到一个高分辨率版本和一个低分辨率版本。

步骤S620.以第一分辨率的图像样本为输入数据，以第三分辨率的图像样本为输出目标，训练深度学习算法模型。

将低分辨率版本的图像作为一个深度卷积神经网络的输入样本，高分辨率版本的图像作为其对应的输出目标，进行深度学习的训练过程。经过训练可以得到一个图像重建的深度学习算法模型，利用该深度学习算法模型，可以实现上述高分辨率图像的重建过程。

另外，本示例实施方式还提供了一种在云端的低分辨率低帧率图像的渲染方法。参考图7所示，上述图像的渲染方法可以包括以下步骤：

步骤S710.从云端获取待渲染的图像数据，并根据预先设定的第一分辨率和待渲染的图像数据在云端渲染得到第一分辨率第二帧率的图像序列。

利用实时渲染与浏览应用中虚拟物体是已知的预先建模的这一有利条件，可以通过建立物体的低分辨率与高分辨率图像之间的关系，利用低分辨率图像代替高分辨率图像。例如，当云端接收到用户发送的浏览命令需要生成新的画面对应的视频时，假设用户的客户端是1920×1080的分辨率，那么云端渲染只需要生成一个低分辨率的图像，如960×540分辨率的图像，具体分辨率可以用多低，可以根据应用的需要指定，通常要在画质与网络传输速度带宽之间做出平衡。

步骤S720.根据预先设定的第一帧率确定图像序列的丢失帧数，并根据丢失帧数降低第一分辨率第二帧率的图像序列的帧率，得到第一分辨率第一帧率的图像序列；其中，第一帧率小于第二帧率。

利用实时渲染与浏览应用中浏览过程是连续的这一有利条件，可以把一个高帧率的视频压缩为一个低帧率的视频。例如，当云端接收到用户发送的浏览命令需要生成新的画面对应的视频时，假设客户端需要60帧/秒的播放速度，那么云端可以生成30帧/秒的视频，具体帧率可以用多低，可以根据应用的需要指定，通常也需要在画质与网络传输速度带宽之间做出平衡。

步骤S730.将第一分辨率第一帧率的图像序列进行视频编码形成视频流，并将视频流传送至客户端，以使客户端再次渲染得到第二分辨率第二帧率的图像序列；其中，第二分辨率大于第一分辨率。

通过上述方法完成高帧率图像序列到低帧率图像序列的转换后，得到的低分辨率低帧率图像可以按照常规的视频编码在云端将图像序列编码为视频流，并通过网络传递给客户端，再由客户端解码后，进行高分辨率和高帧率的重建。

下面，结合图8至图11对本示例实施方式的上述步骤进行更加详细的说明。

在步骤S710中，如图8所示，根据预先设定的第一分辨率和待渲染的图像数据在云端渲染得到第一分辨率第二帧率的图像序列的方法具体可以包括以下几个步骤：

步骤S810.根据预先设定的第一分辨率确定图像数据的渲染速度。

如图9所示，渲染低分辨率图像是可以通过设置输出视窗口的大小来设定的，视口分辨率越低，得到的图像分辨率越低，渲染速度就越快。例如，视口901的分辨率低于视口902的分辨率，则视口901的渲染速度就高于视口902的渲染速度。

步骤S820.根据待渲染的图像数据和图像数据的渲染速度，在云端渲染得到第一分辨率第二帧率的图像序列。

视口分辨率越低，得到的图像分辨率越低，渲染速度就越快，得到的图像序列帧率就越高。因此，通过减小视口的大小，可以在降低图像分辨率的同时，提高图像序列的帧率，得到低分辨率高帧率的图像序列。

在步骤S720中，如图10所示，根据丢失帧数降低第一分辨率第二帧率的图像序列的帧率，得到第一分辨率第一帧率的图像序列的方法具体可以包括以下几个步骤：

步骤S1010.根据丢失帧数得到第一分辨率第二帧率的图像序列中需要保留的图像。

在得到低分辨率高帧率的图像序列后，可以按照图11所示的方法进行降低帧率的处理。首先，当第一帧图像被获取后予以保留，随后每隔固定的帧数确定一帧需要保留的图像1101，而将不需要保留的图像1102进行丢弃。假设获取到当前帧图像是f_i，可以将i与N进行取模运算，按照i％N的值是否为0来决定将f_i保留与否，即当i％N的值为0时，将图像f_i保留。

步骤S1020.根据第一分辨率第二帧率的图像序列中需要保留的图像得到第一分辨率第一帧率的图像序列。

每隔N-1帧保留一个画面，也就是当i与N取模运算后如果等于0，f_i保留，否则f_i丢弃，最后得到的低分辨率低帧率的图像序列的相邻两帧之间丢弃掉了N-1帧低分辨率的原图像。

如图12所示是本公开的一个具体实施例中的图像的渲染装置的框图，是对本示例实施方式中的上述步骤的举例说明，该框图描述的云端渲染与本地解码的基本过程如下：

云端包括计算单元1201，存储单元1202和渲染单元1203，客户端包括计算单元1204和显示屏1205。用户在客户端输入操作指令，其中会造成渲染画面变化的指令称为渲染指令，比如浏览视角的变化，浏览物体大小的缩放等等。渲染指令通过网络传递给云端计算单元1201，云端计算单元1201根据渲染指令从云端存储单元1202调取数据，一并传递给云端渲染单元1203完成低分辨率图像的渲染，云端渲染单元1203可以用配置很高的GPU实现，由于渲染结果是低分辨的，所以计算速度非常快，能够生成帧率很高的图像序列。云端渲染单元1203渲染的低分辨率高帧率图像序列被云端计算单元1201拷贝提取后，将高帧率图像序列降低为低帧率图像序列，这样就得到了低分辨率低帧率的图像序列，然后进行视频编码形成视频流传输给客户端计算单元1204。客户端计算单元1204接收到视频流进行视频解码，得到低分辨率低帧率的图像序列，然后首先利用图像帧之间的关系恢复高帧率的图像序列，再利用图像重建恢复高分辨率的图像序列。最后将高分辨率高帧率的图像结果呈现在显示屏1205上。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本公开还提供了一种图像的渲染装置。参考图13所示，该图像的渲染装置可以包括视频解码模块1310、高帧率重建模块1320以及高分辨率重建模块1330。其中：

视频解码模块1310可以用于接收云端发送的视频流并对视频流进行视频解码，得到第一分辨率第一帧率的图像序列。

高帧率重建模块1320可以用于获取第一分辨率第一帧率的图像序列的丢失帧数，并根据丢失帧数恢复第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列。

高分辨率重建模块1330可以用于通过预先训练的深度学习算法模型增大第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列。

在本公开的一些示例性实施例中，高帧率重建模块1320可以包括恢复图像确定单元、恢复坐标确定单元、恢复图像颜色填充单元以及图像序列恢复单元。其中：

恢复图像确定单元可以用于根据丢失帧数确定第一分辨率第一帧率的图像序列中任意连续两帧之间所要恢复的恢复图像。

恢复坐标确定单元可以用于根据第一分辨率第一帧率的图像序列中任意两帧的连续图像上匹配点的匹配坐标，确定恢复图像中与匹配坐标对应的恢复坐标。

恢复图像颜色填充单元可以用于根据匹配点的颜色信息对恢复图像上对应的恢复坐标进行颜色填充，得到恢复图像。

图像序列恢复单元可以用于将恢复图像插入第一分辨率第一帧率的图像序列中，得到第一分辨率第二帧率的图像序列。

在本公开的一些示例性实施例中，高分辨率重建模块1330可以包括分辨率增大单元以及图像序列确定单元。其中：

分辨率增大单元可以用于将第一分辨率第二帧率的图像序列中的第一分辨率图像分别输入预先训练的深度学习算法模型，得到第二分辨率图像。

图像序列确定单元可以用于根据第二分辨率图像得到第二分辨率第二帧率的图像序列。

进一步的，本公开还提供了另一种图像的渲染装置。参考图14所示，该图像的渲染装置可以包括低分辨率渲染模块1410、低帧率渲染模块1420以及视频编码模块1430。其中：

低分辨率渲染模块1410可以用于从云端获取待渲染的图像数据，并根据预先设定的第一分辨率和待渲染的图像数据在云端渲染得到第一分辨率第二帧率的图像序列。

低帧率渲染模块1420可以用于根据预先设定的第一帧率确定图像序列的丢失帧数，并根据丢失帧数降低第一分辨率第二帧率的图像序列的帧率，得到第一分辨率第一帧率的图像序列。

视频编码模块1430可以用于将第一分辨率第一帧率的图像序列进行视频编码形成视频流，并将视频流传送至客户端，以使客户端再次渲染得到第二分辨率第二帧率的图像序列。

在本公开的一些示例性实施例中，低分辨率渲染模块1410可以包括渲染速度确定单元以及第一图像序列渲染单元。其中：

渲染速度确定单元可以用于根据预先设定的第一分辨率确定图像数据的渲染速度。

第一图像序列渲染单元可以用于根据待渲染的图像数据和图像数据的渲染速度，在云端渲染得到第一分辨率第二帧率的图像序列。

在本公开的一些示例性实施例中，低帧率渲染模块1420可以包括保留图像确定单元以及第二图像序列渲染单元。其中：

保留图像确定单元可以用于根据丢失帧数得到第一分辨率第二帧率的图像序列中需要保留的图像。

第二图像序列渲染单元可以用于根据第一分辨率第二帧率的图像序列中需要保留的图像得到第一分辨率第一帧率的图像序列。

上述图像的渲染装置中各模块/单元的具体细节在相应的方法实施例部分已有详细的说明，此处不再赘述。

图15示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图15示出的电子设备的计算机系统1500仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图15所示，计算机系统1500包括中央处理单元(CPU)1501，其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理。在RAM 1503中，还存储有系统操作所需的各种程序和数据。CPU 1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。

以下部件连接至I/O接口1505：包括键盘、鼠标等的输入部分1506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507；包括硬盘等的存储部分1508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1510上，以便于从其上读出的计算机程序根据需要被安装入存储部分1508。

特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1509从网络上被下载和安装，和/或从可拆卸介质1511被安装。在该计算机程序被中央处理单元(CPU)1501执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图1所示的各个步骤。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种图像的渲染方法，其特征在于，包括：

通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列；其中，所述第二分辨率大于所述第一分辨率；

其中，所述根据所述丢失帧数恢复所述第一分辨率第一帧率的图像序列的帧率，得到第一分辨率第二帧率的图像序列，包括：

根据所述第一分辨率第一帧率的图像序列中任意两帧的连续图像上匹配点的匹配坐标，确定所述恢复图像中与所述匹配坐标对应的恢复坐标，假设已知两帧图像数据f_i-1和f_i，f_i-1上任意一点A在f_i上的匹配点是B，A和B之间的坐标差异为(Δx,Δy)，如果f_i-1和f_i之间丢失的N帧图像序列表示为f_i-1,1,f_i-1,2,f_i-1,3,…,f_i-1,j,…f_i-1,N，对于其中任意的一帧图像f_i-1,j上的与点A、B对应的点C，其恢复坐标为(A_x,A_y)+(j-1)*(Δx,Δy)/N；

2.根据权利要求1所述的图像的渲染方法，其特征在于，所述通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列包括：

3.根据权利要求2所述的图像的渲染方法，其特征在于，所述深度学习算法模型的训练过程包括：

4.一种图像的渲染方法，其特征在于，包括：

5.根据权利要求4所述的图像的渲染方法，其特征在于，所述根据预先设定的第一分辨率和所述待渲染的图像数据在云端渲染得到第一分辨率第二帧率的图像序列包括：

根据预先设定的第一分辨率确定所述图像数据的渲染速度；

6.根据权利要求4所述的图像的渲染方法，其特征在于，所述根据所述丢失帧数降低所述第一分辨率第二帧率的图像序列的帧率，得到第一分辨率第一帧率的图像序列包括：

7.一种图像的渲染装置，其特征在于，包括：

高分辨率重建模块，用于通过预先训练的深度学习算法模型增大所述第一分辨率第二帧率的图像序列中图像的分辨率，得到第二分辨率第二帧率的图像序列；

8.一种图像的渲染装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的图像的渲染方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任一项所述的图像的渲染方法。