CN114630097A - 图像处理方法、装置、系统及计算机可读存储介质 - Google Patents

Abstract

本公开提供了一种图像处理方法、装置、系统及计算机可读存储介质，涉及图像处理技术领域，所述方法包括：接收VR终端发送的渲染信息和N帧图像的图像标识，渲染信息包括第一渲染信息，第一渲染信息包括每帧图像的M个区域一一对应的M个第一分辨率，第i个区域与第i+1个区域邻接，第i个区域对应的第一分辨率大于第i+1个区域对应的第一分辨率，1≤i≤M‑1，M≥3，N≥1；根据每帧图像的图像标识获取该帧图像；根据第一渲染信息对N帧图像进行渲染以得到N帧渲染图像包括：对每帧图像的M个区域进行渲染，以使得每帧图像的M个区域具有一一对应的M个第一分辨率；将N帧渲染图像传输至VR终端。

Description

图像处理方法、装置、系统及计算机可读存储介质

技术领域

本公开涉及图像处理技术领域，尤其是一种图像处理方法、装置、系统及计算机可读存储介质。

背景技术

虚拟现实(Virtual Reality，VR)技术可以生成一种高度逼真的VR视频，允许用户沉浸在VR视频所呈现的虚拟环境中。通过完全沉浸，用户可以环视这种虚拟环境，并可以通过移动与这种虚拟环境中的对象进行交互。

为了给用户提供360度的沉浸式体验，VR视频通常具有较高的分辨率和较大的数据量，导致其传输对网络带宽的要求较高。

相关技术中，通常采用视场角(Field of View，FOV)传输方案进行VR视频的传输。在FOV传输方案中，针对VR视频中的每帧图像均可以仅将用户的主视角区域渲染为相对较高的分辨率，而其他区域则渲染为相对较低的分辨率，从而减少了较高分辨率区域所占用的网络带宽，降低了VR视频的传输对网络带宽的要求。

发明内容

发明人注意到，相关技术中，用户体验较差。

经分析，发明人发现，相关技术中，由于每帧图像中除用户的主视角区域之外的其他区域均为极低分辨率，在用户视线突然从主视角区域偏移至这些其他区域的情况下，可能会由于视物不清而降低了其真实视角范围内对周围环境的视觉感知，甚至可能由于视觉感知与身体感知的不一致还可能还会造成晕眩等生理不适，从而导致用户体验较差。

为了解决上述问题，本公开实施例提出了如下解决方案。

根据本公开实施例的一方面，提供一种图像处理方法，包括：接收虚拟现实VR终端发送的渲染信息和N帧图像的图像标识，所述渲染信息包括第一渲染信息，所述第一渲染信息包括每帧图像的M个区域一一对应的M个第一分辨率，第i个区域与第i+1个区域邻接，第i个区域对应的第一分辨率大于第i+1个区域对应的第一分辨率，1≤i≤M-1，M≥3，N≥1；根据每帧图像的图像标识获取该帧图像；根据所述第一渲染信息对所述N帧图像进行渲染以得到N帧渲染图像，包括：对每帧图像的M个区域进行渲染，以使得每帧图像的M个区域具有一一对应的M个第一分辨率；将所述N帧渲染图像传输至所述VR终端。

在一些实施例中，第j+1个区域包围第j个区域，j是1至M-1中的一个值。

在一些实施例中，第i+1个区域包围第i个区域。

在一些实施例中，所述第一渲染信息还包括每帧图像的M个区域的尺寸信息和位置信息，所述对每帧图像的M个区域进行渲染包括：根据每帧图像的M个区域的尺寸信息和位置信息确定该帧图像的M个区域；根据每帧图像的M个区域一一对应的M个第一分辨率对该帧图像进行渲染，以使得该帧图像的M个区域具有一一对应的M个第一分辨率。

在一些实施例中，所述N帧图像包括Q组图像，每组图像包括相邻的前一帧图像和后一帧图像，1≤Q≤N-1，N≥2；所述渲染信息还包括第二渲染信息，所述第二渲染信息包括所述前一帧图像的第一区域和所述后一帧图像的第二区域之间的过渡区域对应的第二分辨率，所述第一区域包括所述前一帧图像中除第M个区域之外的其他区域，所述第二区域包括所述后一帧图像中除第M个区域之外的其他区域，所述第二分辨率介于所述第一区域的平均分辨率和所述第二区域的平均分辨率之间；所述方法还包括：根据所述第二渲染信息对所述过渡区域进行色彩渲染，以得到具有所述第二分辨率的过渡内容；将所述过渡内容传输至所述VR终端，以便所述VR终端在所述前一帧图像和所述后一帧图像之间显示所述过渡内容。

在一些实施例中，所述第二分辨率介于所述第一区域对应的第一分辨率中的最小值和所述第二区域对应的第一分辨率中的最小值之间。

在一些实施例中，N≥2，所述将所述N帧渲染图像传输至所述VR终端包括：对所述N帧渲染图像进行压缩以得到至少一个压缩图像，并将每个压缩图像传输至所述VR终端，其中，每个压缩图像是将连续的至少两帧渲染图像进行压缩得到的，每个压缩图像中的所述至少两帧渲染图像被所述VR终端解压后逐帧显示。

根据本公开实施例的另一方面，提供另一种图像处理方法，包括：接收虚拟现实VR终端发送的渲染信息和N帧图像的图像标识，所述渲染信息包括每帧图像中邻接的两个区域一一对应的彼此不同的两个分辨率，N≥2；根据每帧图像的图像标识获取该帧图像；根据所述渲染信息对所述N帧图像进行渲染以得到N帧渲染图像，包括：对每帧图像的所述两个区域进行渲染，以使得每帧图像的所述两个区域具有一一对应的所述两个分辨率；对所述N帧渲染图像进行压缩以得到至少一个压缩图像，并将每个压缩图像传输至所述VR终端，其中，每个压缩图像是将连续的至少两帧渲染图像进行压缩得到的，每个压缩图像中的所述至少两帧渲染图像被所述VR终端解压后逐帧显示。

在一些实施例中，任意一个压缩图像通过如下方式得到：基于M个不同的编码等级对所述任意一个压缩图像中的所述至少两帧渲染图像中每帧渲染图像中的M个区域进行编码，第i个区域对应的编码等级高于第i+1个区域对应的编码等级；对编码后的所述至少两帧渲染图像进行压缩，以得到所述任意一个压缩图像。

在一些实施例中，所述至少一个压缩图像包括第一压缩图像和第二压缩图像，所述N帧渲染图像包括连续的多帧渲染图像，所述多帧渲染图像由连续的至少两帧第一渲染图像和连续的至少两帧第二渲染图像构成；所述对所述N帧渲染图像进行压缩以得到至少一个压缩图像，并将每个压缩图像传输至所述VR终端包括：对所述至少两帧第一渲染图像进行压缩以得到所述第一压缩图像；在得到所述第一压缩图像后，将所述第一压缩图像传输至所述VR终端，并对所述至少两帧第二渲染图像进行压缩以得到所述第二压缩图像，其中，传输所述第一压缩图像的时间与所述VR终端显示所述第一压缩图像的时间之和大于或等于得到所述第二压缩图像的时间与传输所述第二压缩图像的时间之和。

在一些实施例中，每个压缩图像与一帧渲染图像的容量相同。

在一些实施例中，每个压缩图像是将连续的3帧渲染图像进行压缩得到。

在一些实施例中，并行地对所述N帧图像进行渲染。

在一些实施例中，并行地对每帧图像的M个区域进行渲染。

在一些实施例中，每个压缩图像携带服务质量QoS标签，所述将每个压缩图像传输至所述VR终端包括：利用具有与所述QoS标签对应的传输质量的网络将每个压缩图像传输至所述VR终端。

根据本公开实施例的又一方面，提供又一种图像处理方法，包括：获取N帧图像中的每帧图像的历史观看信息；基于每帧图像的历史观看信息确定该帧图像中的M个区域，第i个区域与第i+1个区域邻接，1≤i≤M-1，M≥3，N≥1；确定第一渲染信息，所述第一渲染信息包括每帧图像的M个区域一一对应的M个第一分辨率，第i个区域对应的第一分辨率大于第i+1个区域对应的第一分辨率；将所述N帧图像的图像标识和包括所述第一渲染信息的渲染信息发送至云端服务器，以便所述云端服务器根据所述渲染信息和所述N帧图像的图像标识对所述N帧图像进行渲染。

在一些实施例中，所述第一渲染信息还包括每帧图像的M个区域的尺寸信息和位置信息。

在一些实施例中，其中，N≥2，所述基于每帧图像的历史观看信息确定该帧图像中的M个区域包括：基于每帧图像的历史观看信息确定第一帧图像的M个区域以及所述N帧图像中除所述第一帧图像之外的N-1帧图像中每帧图像的M个初始区域；获取历史眼球追踪数据；基于第k帧图像中除第M个区域之外的其他区域的中心和所述历史眼球追踪数据，调整第k+1帧图像中除第M个初始区域之外的其他初始区域的位置，1≤k≤N-1；将第k+1帧图像中的第M个初始区域和调整后的其他初始区域确定为第k+1帧图像的M个区域。

在一些实施例中，所述调整第k+1帧图像中除第M个初始区域之外的其他初始区域的位置包括：基于第k帧图像中除第M个区域之外的其他区域的中心和所述历史眼球追踪数据，预测第k+1帧图像的视点；调整所述其他初始区域的位置，以使得所述调整后的其他初始区域的中心与所述视点重合。

在一些实施例中，所述N帧图像包括Q组图像，每组图像包括相邻的前一帧图像和后一帧图像，所述渲染信息还包括所述前一帧图像的第一区域和所述后一帧图像的第二区域之间的过渡区域对应的第二分辨率，所述第一区域包括所述前一帧图像中除第M个区域之外的其他区域，所述第二区域包括所述后一帧图像中除第M个区域之外的其他区域，1≤Q≤N-1，N≥2，所述方法还包括：确定所述过渡区域对应的第二分辨率，所述第二分辨率介于所述第一区域的平均分辨率和所述第二区域的平均分辨率之间；其中，所述渲染信息还包括所述第二分辨率。

根据本公开实施例的再一方面，提供一种图像处理装置，包括：接收模块，被配置为接收虚拟现实VR终端发送的渲染信息和N帧图像的图像标识，所述渲染信息包括第一渲染信息，所述第一渲染信息包括每帧图像的M个区域一一对应的M个第一分辨率，第i个区域与第i+1个区域邻接，第i个区域对应的第一分辨率大于第i+1个区域对应的第一分辨率，1≤i≤M-1，M≥3，N≥1；获取模块，被配置为根据每帧图像的图像标识获取该帧图像；渲染模块，被配置为根据所述第一渲染信息对所述N帧图像进行渲染以得到N帧渲染图像，包括：对每帧图像的M个区域进行渲染，以使得每帧图像的M个区域具有一一对应的M个第一分辨率；传输模块，被配置为将所述N帧渲染图像传输至所述VR终端。

根据本公开实施例的还一方面，提供一种图像处理装置，包括：接收模块，被配置为接收虚拟现实VR终端发送的渲染信息和N帧图像的图像标识，所述渲染信息包括每帧图像中邻接的两个区域一一对应的彼此不同的两个分辨率，N≥2；获取模块，被配置为根据每帧图像的图像标识获取该帧图像；渲染模块，被配置为根据所述渲染信息对所述N帧图像进行渲染以得到N帧渲染图像，包括：对每帧图像的所述两个区域进行渲染，以使得每帧图像的所述两个区域具有一一对应的所述两个分辨率；传输模块，被配置为对所述N帧渲染图像进行压缩以得到至少一个压缩图像，并将每个压缩图像传输至所述VR终端，其中，每个压缩图像是将连续的至少两帧渲染图像进行压缩得到的，每个压缩图像中的所述至少两帧渲染图像被所述VR终端解压后逐帧显示。

根据本公开实施例的还一方面，提供一种图像处理装置，包括：存储器；以及耦接至所述存储器的处理器，被配置为基于存储在所述存储器中的指令，执行上述任意一个实施例所述的方法。

根据本公开实施例的还一方面，提供一种图像处理装置，包括：获取模块，被配置为获取N帧图像中的每帧图像的历史观看信息；第一确定模块，被配置为基于每帧图像的历史观看信息确定该帧图像中的M个区域，第i个区域与第i+1个区域邻接，1≤i≤M-1，M≥3，N≥1；第二确定模块，被配置为确定第一渲染信息，所述第一渲染信息包括每帧图像的M个区域一一对应的M个第一分辨率，第i个区域对应的第一分辨率大于第i+1个区域对应的第一分辨率；发送模块，被配置为将所述N帧图像的图像标识和包括所述第一渲染信息的渲染信息发送至云端服务器，以便所述云端服务器根据所述渲染信息和所述N帧图像的图像标识对所述N帧图像进行渲染。

根据本公开实施例的还一方面，提供一种云端服务器，包括上述任意一个实施例所述的图像处理装置。

根据本公开实施例的还一方面，提供一种VR终端，包括上述任意一个实施例所述的图像处理装置。

根据本公开实施例的还一方面，提供一种图像处理系统，包括：上述任意一个实施例所述的云端服务器；以及上述任意一个实施例所述的VR终端。

根据本公开实施例的还一方面，提供一种计算机可读存储介质，包括计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述任意一个实施例所述的方法。

根据本公开实施例的还一方面，提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述任意一个实施例所述的方法。

本公开实施例中，通过对N帧图像中每帧图像的M个区域进行渲染，可以使得每帧图像的M个区域具有一一对应的M个第一分辨率。在这种方式下，由于每帧图像中不同区域具有不同的分辨率，故，每帧图像的最高分辨率区域和最低分辨率区域之间存在至少一个中间分辨率区域，可以使用户在视线从最高分辨率区域偏移至最低分辨率区域的过程中对分辨率的变化幅度有一个适应的过程，提高了用户在真实视角范围内对周围环境的视觉感知，从而提高了用户体验。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本公开一些实施例的图像处理方法的流程示意图；

图2是根据本公开一些实施例的过渡区域的示意图；

图3是根据本公开另一些实施例的图像处理方法的流程示意图；

图4是根据本公开又一些实施例的图像处理方法的流程示意图；

图5是根据本公开再一些实施例的图像处理方法的流程示意图；

图6是根据本公开一些实施例的步骤504的一些实施方式的流程示意图；

图7是根据本公开一些实施例的图像处理装置的结构示意图；

图8是根据本公开另一些实施例的图像处理装置的结构示意图；

图9是根据本公开又一些实施例的图像处理装置的结构示意图；

图10是根据本公开再一些实施例的图像处理装置的结构示意图；

图11是根据本公开一些实施例的图像处理系统的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1是根据本公开一些实施例的图像处理方法的流程示意图。

在步骤102，接收VR终端发送的渲染信息和N帧图像的图像标识。

这里，渲染信息可以包括第一渲染信息。第一渲染信息可以包括每帧图像的M个区域一一对应的M个第一分辨率。其中，第i个区域可以与第i+1个区域邻接，第i个区域对应的第一分辨率可以大于第i+1个区域对应的第一分辨率，1≤i≤M-1，M≥3，N≥1。在某些实现方式中，渲染信息还可以包括其他信息，后文将对此进行说明。

在一些实施例中，不同区域可以对应不同的用户感兴趣度。例如，每帧图像的第i个区域对应的用户感兴趣度可以大于第i+1个区域对应的用户感兴趣度。例如，将某帧图像划分为用户感兴趣度从高到低的3个区域，第一个区域的分辨率可以是12k，第二个区域的分辨率可以是8k，第三个区域的分辨率可以是4k。

在步骤104，根据每帧图像的图像标识获取该帧图像。

例如，根据每帧图像的图像标识可以从云端存储中下载该帧图像。

在步骤106，根据第一渲染信息对N帧图像进行渲染以得到N帧渲染图像。

这里，在步骤106中，对每帧图像的M个区域进行渲染，以使得每帧图像的M个区域具有一一对应的M个第一分辨率，从而得到N帧渲染图像。

在一些实施例中，可以由VR终端确定每帧图像的M个区域，VR终端发送的第一渲染信息还可以包括每帧图像的M个区域的尺寸信息和位置信息。后文将对VR终端确定每帧图像的M个区域的方式进行介绍。

这种情况下，此时，可以先根据每帧图像的M个区域的尺寸信息和位置信息确定该帧图像的M个区域，然后根据每帧图像的M个区域一一对应的M个第一分辨率对该帧图像进行渲染，以使得该帧图像的M个区域具有一一对应的M个第一分辨率。例如，某帧图像可以包括3个区域，对这帧图像进行渲染后，可以使得这3个区域的分辨率分别为12k、8k和4k。

在步骤108，将N帧渲染图像传输至VR终端。

在一些实施例中，可以将N帧渲染图像逐帧传输至VR终端，以便VR终端逐帧显示该N帧图像。在另一些实施例中，还可以通过其他方式将N帧渲染图像传输至VR终端，后文将对此进行具体说明。

上述实施例中，通过对N帧图像中每帧图像的M个区域进行渲染，可以使得每帧图像的M个区域具有一一对应的M个第一分辨率。在这种方式下，由于每帧图像中不同区域具有不同的分辨率，故，每帧图像的最高分辨率区域和最低分辨率区域之间存在至少一个中间分辨率区域，可以使用户在视线从最高分辨率区域偏移至最低分辨率区域的过程中对分辨率的变化幅度有一个适应的过程，提高了用户在真实视角范围内对周围环境的视觉感知，从而提高了用户体验。

在一些实施例中，第j+1个区域可以包围第j个区域，j是1至M-1中的一个值。例如，第1个区域是一个圆形区域，第2个区域可以是该圆形区域的外接三角形中除该圆形区域以外的区域，或者第2个区域可以是一个与该圆形区域的圆心相同但半径大于该圆形区域的圆与该圆形区域的之间的圆环区域。

在另一些实施例中，第i+1个区域包围第i个区域。如此，在用户视线从较高分辨率区域的任何方向偏移至较低分辨率区域的过程中，都可以确保用户在视线偏移前后所感知的分辨率变化幅度较小，从而进一步提高了用户体验。

在一些实施例中，N帧图像可以包括Q组图像，每组图像可以包括相邻的前一帧图像和后一帧图像，1≤Q≤N-1，N≥2。

这种情况下，VR终端发送的渲染信息还可以包括第二渲染信息。第二渲染信息可以包括每组图像中相邻的两帧图像中前一帧图像的第一区域和后一帧图像的第二区域之间的过渡区域对应的第二分辨率。

图2是根据本公开一些实施例的过渡区域的示意图。

如图2所示，前一帧图像和后一帧图像均包括M个区域(图2示意性地示出了3个区域，按分辨率从高到低排列分别标记为区域A、B和C)。

前一帧图像中的区域A为六边形，区域B为与六边形的四条边邻接的四个三角形组成的区域，区域C为除区域A和B以外的区域。前一帧图像中的第一区域21可以包括前一帧图像21中除第M个区域之外的其他区域(即，前一帧图像21中由区域A和区域B组成的区域)。

后一帧图像中的区域A为菱形，区域B为与菱形的四条边邻接的四个三角形组成的区域，区域C为除区域A和B以外的区域。后一帧图像中的第二区域22可以包括后一帧图像中除第M个区域之外的其他区域(即，后一帧图像中由区域A和区域B组成的区域)。

如图2中阴影部分所示，过渡区域23可以位于前一帧图像的第一区域21和后一帧图像的第二区域22之间。

应理解，前一帧图像和后一帧图像中的第M个区域均为分辨率最低的区域。即，第一区域为前一帧图像中除最低分辨率区域以外的区域，第二区域为后一帧图像中除最低分辨率区域以外的区域。

在一些情况下，如果带宽资源足够，第二分辨率可以介于第一区域的平均分辨率和第二区域的平均分辨率之间。

在另一些情况下，如果带宽资源紧张，第二分辨率可以介于第一区域对应的第一分辨率中的最小值和第二区域对应的第一分辨率中的最小值之间。如此，即使带宽资源有限，依然可以确定第二分辨率以实现对过渡区域的渲染。

图3是根据本公开另一些实施例的图像处理方法的流程示意图。

与图1所示实施例相比，图3所示实施例还包括步骤302至步骤304。

在步骤302，根据第二渲染信息对过渡区域进行色彩渲染，以得到具有第二分辨率的过渡内容。

在一些实施例中，过渡内容可以包括根据前一帧图像的色彩和后一帧图像的色彩确定的过渡色彩。例如，可以确定介于前一帧图像的平均色度和后一帧图像的平均色度之间的中间值，并将此中间值的色度确定为过渡内容中的过渡色彩。

在步骤304，将过渡内容传输至VR终端，以便VR终端在前一帧图像和后一帧图像之间显示过渡内容。

在一些实施例中，可以将过渡内容和N帧渲染图像一起传输至VR终端。

上述实施例中，在N帧图像为多帧图像的情况下，考虑到在前后两帧图像的切换过程中，用户视线通常是从前一帧图像中除最低分辨率区域以外的区域切换至后一帧图像中除最低分辨率区域以外的区域，通过增加对这两个区域之间的过渡区域的色彩渲染，使得VR终端在前一帧图像和后一帧图像之间可以显示过渡区域对应的过渡内容。如此，可以使VR终端在前后两帧的显示之间进一步为用户显示具有过渡色彩的过渡内容，进而使得画面的切换更加平滑，进一步提高了用户真实视角范围内的视觉感知，从而进一步提高了用户体验。

在一些实施例中，可以并行地对N帧图像进行渲染。在另一些实施例中，可以并行地对N帧图像和每组图像的过渡区域进行渲染。如此，可以提高图像的渲染效率。

在一些实施例中，可以并行地对每帧图像的M个区域进行渲染。如此，可以进一步提高图像的渲染效率。

在另一些实施例中，可以在并行地对N帧图像进行渲染的基础上，还并行地对每帧图像的M个区域进行渲染。如此，可以更进一步提高图像的渲染效率。

在N帧图像为多帧图像的情况下，可以将渲染后的N帧渲染图像逐帧传输至VR终端。然而，由于不可避免的网络延迟和有限的传输带宽，VR终端在显示完前一帧图像后可能仍未接收到后一帧图像，导致画面发生抖动，从而导致用户体验较差。

为解决此问题，相关技术中，VR终端可以在显示前一帧图像和后一帧图像之间生成一个中间图像(后文简称“中间帧)，并在未接收到的后一帧图像时通过显示这种中间帧以避免画面的抖动。

但是，发明人还注意到，相关技术中用户体验依然较差。

经分析，发明人发现，VR终端实时渲染生成的中间帧是基于预测的用户头部的位姿变换将前一帧图像进行向量化扭曲和二次渲染得到的。也就是说，这种中间帧中并不存在后一帧图像中的新内容。这种情况下，对于本应该呈现给用户的新内容所在的区域只能用前一帧图像中的内容来重复填充，进而导致另一种衍生问题，即中间帧内会出现扭曲的拖影现象，从而导致用户体验依然较差。

基于此，本公开还提供如下解决方案。

在N≥2的情况下，还可以通过如下方式将N帧渲染图像传输至VR终端。

可以对N帧渲染图像进行压缩以得到至少一个压缩图像，并将每个压缩图像传输至VR终端。每个压缩图像可以是将连续的至少两帧渲染图像进行压缩得到的，每个压缩图像中的至少两帧渲染图像可以被VR终端解压后逐帧显示。

应理解，对于任意两个压缩图像来说，其中一个压缩图像是利用某些帧渲染图像进行压缩得到的，另一个压缩图像是利用与这些某些帧渲染图像完全不同的另一些帧渲染图像进行压缩得到的。

如此，相对于逐帧传输的方式，不仅可以解决上述衍生问题，还可以节约传输N帧图像总需的带宽资源。

接下来将结合图4所示实施例进行进一步说明。

图4是根据本公开又一些实施例的图像处理方法的流程示意图。

在步骤402，接收VR终端发送的渲染信息和N帧图像的图像标识。

这里，渲染信息可以包括每帧图像中邻接的两个区域一一对应的彼此不同的两个分辨率，N≥2。

在步骤404，根据每帧图像的图像标识获取该帧图像。

在步骤406，根据渲染信息对N帧图像进行渲染以得到N帧渲染图像。这里，在步骤406中，对每帧图像的两个区域进行渲染，以使得每帧图像的两个区域具有一一对应的两个分辨率，从而得到N帧渲染图像。

步骤402至步骤406的具体实施方式可以参见前述步骤102至步骤106的相关描述，在此不再赘述。

在步骤408，对N帧渲染图像进行压缩以得到至少一个压缩图像，并将每个压缩图像传输至VR终端。

这里，每个压缩图像可以是将连续的至少两帧渲染图像进行压缩得到的，每个压缩图像中的至少两帧渲染图像可以被VR终端解压后逐帧显示。

在一些实施例中，每个压缩图像可以是将连续的3帧渲染图像进行压缩得到的，如此，可以使VR终端可以在显示压缩图像中的一帧图像时，仍有两帧图像缓存在本地以供直接调用，从而在兼顾有限的带宽资源的情况下，仍能够在较大限度上提高对时延的容忍度。

假设每个压缩图像可以是将连续的3帧渲染图像进行压缩得到，例如，对6帧渲染图像进行压缩可以得到两个压缩图像，并将这两个压缩图像传输至VR终端。又例如，对4帧渲染图像进行压缩可以仅得到一个压缩图像，此时，可以将这一个压缩图像和剩下的一个未压缩的渲染图像依次传输至VR终端，或者可以仅将这一个压缩图像传输至VR终端，待下一次得到与这个未压缩的渲染图像连续的另外两帧渲染图像后，对这3帧渲染图像进行压缩后再发送至VR终端。

换言之，在传输相邻的两个压缩图像之间也可以传输单独的一帧渲染图像。在某些情况下，也可以传输连续的压缩图像。后文将对此进行说明。

上述实施例中，每传输一个压缩图像给VR终端，可以使VR终端接收到连续的至少两帧渲染图像，进而可以使VR终端在显示其中一帧渲染图像时，仍有至少一帧渲染图像缓存在本地。如此，即使由于网络延迟导致VR终端来不及接收到下一帧图像，VR终端也可以直接从本地调用已缓存的渲染图像进行显示，无需生成中间帧，不仅避免了画面的抖动，还减少了VR终端用于生成中间帧的资源消耗，并且也不会存在扭曲的拖影现象，从而提高了用户体验。

在一些实施例中，任意一个压缩图像通过如下方式得到。

首先，可以基于M个不同的编码等级对任意一个压缩图像中的至少两帧渲染图像中每帧渲染图像中的M个区域进行编码。

这里，第i个区域对应的编码等级可以高于第i+1个区域对应的编码等级。

例如，可以采用H.265编码标准对每帧渲染图像进行编码。第1个区域对应的编码等级最高，第M个区域对应的编码等级最低。

然后，对编码后的至少两帧渲染图像进行压缩，以得到任意一个压缩图像。

如此，针对任意一个压缩图像中的至少两帧渲染图像中每帧渲染图像，都可以通过M个不同的编码等级对该帧图像中的M个区域进行分级编码，在确保编码的可靠性的情况下，减少了统一采用较高编码等级进行编码所带来的资源消耗。

在一些实施例中，N帧渲染图像可以包括连续的多帧渲染图像，这多帧渲染图像可以由连续的至少两帧第一渲染图像和连续的至少两帧第二渲染图像构成。

这种情况下，以对N帧渲染图像进行压缩得到的至少一个压缩图像包括第一压缩图像和第二压缩图像为例，对步骤408进行进一步说明如下。

首先，可以对至少两帧第一渲染图像进行压缩以得到第一压缩图像。

然后，在得到第一压缩图像后，将第一压缩图像传输至终端，并对至少两帧第二渲染图像进行压缩以得到第二压缩图像。

这里，传输第一压缩图像的时间与VR终端显示第一压缩图像的时间之和可以大于或等于得到第二压缩图像的时间与传输第二压缩图像的时间之和。

如此，可以确保VR终端在显示第一压缩图像的最后一帧渲染图像时便可以接收到第二压缩图像，进而可以直接解压第二压缩图像并继续逐帧显示其中的至少两帧渲染图像，从而确保了VR终端在显示完第一压缩图像中的所有渲染图像后仍有可以继续显示的含有新内容的渲染图像，进一步减少了VR终端用于生成中间帧的资源消耗，并进一步提高了用户体验。

在一些实施例中，对N帧渲染图像进行压缩得到的至少一个压缩图像中所包含的渲染图像的总帧数可以等于N。也就是说，对N帧渲染图像中的每帧图像进行压缩后得到的可以都是压缩图像，而不遗留单独的渲染图像，从而可以连续地传输压缩图像给VR终端。如此，可以确保VR终端连续地显示多个压缩图像，更进一步减少了VR终端用于生成中间帧的资源消耗，并更进一步提高了用户体验。

在一些实施例中，每个压缩图像与一帧渲染图像的容量相同。如此，可以确保经压缩后的压缩图像在传输速率和带宽占用率上与一帧渲染图像相同，无需额外的资源消耗，即可传输多帧图像至VR终端。

在一些实施例中，每个压缩图像均可以携带服务质量(Quality of Service，QoS)标签。这种情况下，可以利用具有与QoS标签对应的传输质量的网络将每个压缩图像传输至VR终端。如此，可以使得网络侧在传输时可以按照每个压缩图像所携带的QoS标签对应的传输质量来传输该压缩图像，提高了传输的可靠性。

上述相关实施例中的方法均可以由云端服务器实现。接下来将对VR终端可以执行的方法进行说明。

图5是根据本公开再一些实施例的图像处理方法的流程示意图。

在步骤502，获取N帧图像中的每帧图像的历史观看信息。

在一些实施例中，每帧图像的历史观看信息可以包括历史用户对该帧图像的观看信息。历史观看信息可以反映历史用户对每帧图像的兴趣点或者感兴趣的区域。

在步骤504，基于每帧图像的历史观看信息确定该帧图像中的M个区域。

这里，第i个区域与第i+1个区域邻接，1≤i≤M-1，M≥3，N≥1。

在一些实施例中，基于每帧图像的历史观看信息可以确定该帧图像中用户感兴趣度不同的多个区域，不同区域可以对应不同的用户感兴趣度。例如，每帧图像的第i个区域对应的用户感兴趣度可以大于第i+1个区域对应的用户感兴趣度。

在一些实施例中，可以通过机器学习模型提取每帧图像中的特征点(例如图像灰度值突变的点)，并基于无监督学习的聚类算法(或者有监督学习的K近邻分类算法)对这些特征点进行分类处理，以确定该帧图像的M个区域。例如，区域可以是覆盖某类特征点的区域。

应理解，上述步骤502至步骤504也可以由云端服务器单独完成。

在步骤506，确定第一渲染信息，第一渲染信息包括每帧图像的M个区域一一对应的M个第一分辨率。

这里，第i个区域对应的第一分辨率大于第i+1个区域对应的第一分辨率。

在一些实施例中，VR终端可以根据实际可分配的带宽资源情况确定每帧图像的M个区域一一对应的M个第一分辨率。例如，在带宽资源有限的情况下，可以基于带宽资源按照5：3：2的分配比例确定某帧图像的3个区域对应的3个第一分辨率(例如可以是8k、4k和2k)。

在步骤508，将N帧图像的图像标识和包括第一渲染信息的渲染信息发送至云端服务器，以便云端服务器根据渲染信息和N帧图像的图像标识对N帧图像进行渲染。在某些实现方式下，发送至云端服务器的渲染信息还可以包括其他信息，后文将对此进行说明。

在一些实施例中，VR终端确定的第一渲染信息还可以包括每帧图像的M个区域的尺寸信息和位置信息，以便云端服务器可以根据此第一渲染信息准确地确定每帧图像中的M个区域。例如，尺寸信息包括形状信息和大小信息中的至少一种。

在一些实施例中，云端服务器可以按照前述图1至图4所示的相关实施例中的渲染方式对N帧图像进行渲染。

需要说明的是，基于历史观看信息确定的用户感兴趣度是基于大数据得出的统计学标准。对大多数用户来说，通常可以认为其主视角区域是用户感兴趣度最高的区域。但是在某些情况下，考虑到个体差异，对于部分用户来说，其主视角区域也可能是用户感兴趣度次高或者更低的区域，而并非用户感兴趣度最高的区域。然而，相关技术中，仅将用户感兴趣度最高的区域渲染为高分辨率，忽略了其他部分用户的体验。

有鉴于此，本公开提供的上述方式中，通过确定每帧图像的M个不同的区域对应的M个不同的分辨率，并将此包含此信息的渲染信息发送给云端服务器，以便云端服务器进行渲染后可以使得每帧图像具有M个不同的分辨率。如此，每帧图像中除最高分辨率区域之外的其他区域中也至少存在部分具有较高分辨率的区域，从而可以兼顾到个体差异情况下的其他部分用户的感受，进一步提高了用户体验。

在N≥2的情况下，步骤504还可以按照如下步骤实现。

图6是根据本公开一些实施例的步骤504的一些实施方式的流程示意图。

在步骤602，基于每帧图像的历史观看信息确定第一帧图像的M个区域以及N帧图像中除第一帧图像之外的N-1帧图像中每帧图像的M个初始区域。

应理解，可以按照步骤504中相关实施例所示的方式实现步骤602。

在步骤604，获取历史眼球追踪数据。

在一些实施例中，历史眼球追踪数据可以是通过眼球追踪技术得到的历史用户的眼球追踪数据。历史眼球追踪数据可以反映用户视线从前一个视点切换至后一个视点的过程中的偏移轨迹。

在步骤606，基于第k帧图像中除第M个区域之外的其他区域的中心和历史眼球追踪数据，调整第k+1帧图像中除第M个初始区域之外的其他初始区域的位置。

这里，1≤k≤N-1。

在一些实施例中，步骤606可以按照如下步骤实现。

首先，可以基于第k帧图像中除第M个区域之外的其他区域的中心和历史眼球追踪数据，预测第k+1帧图像的视点。

例如，基于第1帧图像中除第M个区域之外的其他区域的中心和历史眼球追踪数据，可以预测第2帧图像的视点；基于第2帧图像中除第M个区域之外的其他区域的中心和历史眼球追踪数据，可以预测第3帧图像的视点……以此类推。

然后，可以调整第k+1帧图像中其他初始区域的位置，以使得第k+1帧图像中调整后的其他初始区域的中心与预测的该视点重合。

应理解，第k帧图像中除第M个区域之外的其他区域即该帧图像中除最低分辨率区域之外的其他区域。

在步骤608，将第k+1帧图像中的第M个初始区域和调整后的其他初始区域确定为第k+1帧图像的M个区域。

应理解，对于第一帧图像而言，其M个初始区域即为M个区域，无需按照步骤604至步骤608中的方式进行调整。

上述实施例中，针对N-1帧图像中每帧图像，在确定了每帧图像的M个初始区域之后，还可以结合历史眼球追踪数据对每帧图像的M个初始区域进行调整，以使得确定的每帧图像的M个区域更加准确，进一步提高了用户体验。

在一些实施例中，N帧图像可以包括Q组图像，每组图像可以包括相邻的前一帧图像和后一帧图像，1≤Q≤N-1，N≥2。

这种情况下，VR终端还可以根据可分配的带宽资源确定每组图像的前一帧图像的第一区域和后一帧图像的第二区域之间的过渡区域对应的第二分辨率。例如，第二分辨率可以介于第一区域的平均分辨率和第二区域的平均分辨率之间。

这里，第一区域可以包括前一帧图像中除第M个区域之外的其他区域，第二区域可以包括后一帧图像中除第M个区域之外的其他区域。关于过渡区域的具体说明可以参见图2所示的相关实施例，在此不再赘述。

在一些实施例中，VR终端还可以将包含每组图像中过渡区域对应的第二分辨率的渲染信息发送至云端服务器，以便云端服务器可以基于图3所示实施例中的方法进行过渡区域的渲染。具体说明可以参见图3所示实施例，在此不再赘述。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于装置实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

图7是根据本公开一些实施例的图像处理装置的结构示意图。

如图7所示，图像处理装置700包括接收模块701、获取模块702、渲染模块703以及传输模块704。

接收模块701可以被配置为接收VR终端发送的渲染信息和N帧图像的图像标识。其中，渲染信息可以包括第一渲染信息，第一渲染信息可以包括每帧图像的M个区域一一对应的M个第一分辨率，第i个区域可以与第i+1个区域邻接，第i个区域对应的第一分辨率可以大于第i+1个区域对应的第一分辨率，1≤i≤M-1，M≥3，N≥1。

获取模块702可以被配置为根据每帧图像的图像标识获取该帧图像。

渲染模块703可以被配置为根据第一渲染信息对N帧图像进行渲染以得到N帧渲染图像。渲染模块703可以被配置为对每帧图像的M个区域进行渲染，以使得每帧图像的M个区域具有一一对应的M个第一分辨率，从而得到N帧渲染图像。

传输模块704可以被配置为将N帧渲染图像传输至VR终端。

图8是根据本公开另一些实施例的图像处理装置的结构示意图。

如图8所示，图像处理装置800包括接收模块801、获取模块802、渲染模块803以及传输模块804。

接收模块801可以被配置为接收VR终端发送的渲染信息和N帧图像的图像标识，渲染信息包括每帧图像中邻接的两个区域一一对应的彼此不同的两个分辨率，N≥2。

获取模块802可以被配置为根据每帧图像的图像标识获取该帧图像。

渲染模块803可以被配置为根据渲染信息对N帧图像进行渲染以得到N帧渲染图像，包括：对每帧图像的两个区域进行渲染，以使得每帧图像的两个区域具有一一对应的两个分辨率；

传输模块804可以被配置为对N帧渲染图像进行压缩以得到至少一个压缩图像，并将每个压缩图像传输至VR终端。其中，每个压缩图像是将连续的至少两帧渲染图像进行压缩得到的，每个压缩图像中的至少两帧渲染图像被VR终端解压后逐帧显示。

图9是根据本公开又一些实施例的图像处理装置的结构示意图。

如图9所示，图像处理装置900包括存储器901以及耦接至该存储器901的处理器902，处理器902被配置为基于存储在存储器901中的指令，执行前述任意一个实施例的方法(例如图1至图4所示实施例中的方法，或者，图5至图6所示实施例中的方法)。

存储器901例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如可以存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

图像处理装置900还可以包括输入输出接口903、网络接口904、存储接口905等。这些接口903、904、905之间、以及存储器901与处理器902之间例如可以通过总线906连接。输入输出接口903为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口904为各种联网设备提供连接接口。存储接口905为SD卡、U盘等外置存储设备提供连接接口。

图10是根据本公开再一些实施例的图像处理装置的结构示意图。

如图10所示，图像处理装置1000包括获取模块1001、第一确定模块1002、第二确定模块1003以及发送模块1004。

获取模块1001可以被配置为获取N帧图像中的每帧图像的历史观看信息。

第一确定模块1002可以被配置为基于每帧图像的历史观看信息确定该帧图像中的M个区域，第i个区域与第i+1个区域邻接，1≤i≤M-1，M≥3，N≥1。

第二确定模块1003可以被配置为确定第一渲染信息，所述第一渲染信息包括每帧图像的M个区域一一对应的M个第一分辨率，第i个区域对应的第一分辨率大于第i+1个区域对应的第一分辨率。

发送模块1004可以被配置为将所述N帧图像的图像标识和包括所述第一渲染信息的渲染信息发送至云端服务器，以便所述云端服务器根据所述渲染信息和所述N帧图像的图像标识对所述N帧图像进行渲染。

本公开实施例还提供了一种云端服务器，包括上述任意一个实施例的图像处理装置(例如图像处理装置700/800/900)。

本公开实施例还提供了一种VR终端，包括上述任意一个实施例的图像处理装置(例如图像处理装置900/1000)。

图11是根据本公开一些实施例的图像处理系统的结构示意图。

如图11所示，图像处理系统1100可以包括上述任意一个实施例的云端服务器1101和VR终端1102。

在一些实施例中，VR终端1102可以包括无线网络连接器、传感器、播放器、解码器、渲染器以及显示屏幕。

无线网络连接器可以被配置为接入无线网络以便通过无线网络发送或接收数据信息。

传感器可以被配置为进行用户头部的位姿捕捉。例如可以将捕捉到的用户头部位姿作为辅助信息进行视点的预测。

安卓应用程序包(Android application package，APK)播放器中可以设置有上述任意一个实施例的图像处理装置(例如图像处理装置900/1000)。在一些实施例中，APK播放器中还可以设置有数据缓存器，以便缓存云端服务器1101发送的压缩图像等。

解码器可以被配置为对接收的图像进行解码。例如，解码器可以被配置为对接收的一个压缩图像进行解压，以得到至少两帧渲染图像。并且可以被配置为对每帧渲染图像进行解码，并将解码后的每帧图像传输至渲染器中进行二次渲染或者传输至显示屏幕进行显示。

渲染器可以被配置为基于传感器捕捉到的用户位姿对每帧图像进行二次渲染，以便每帧图像可以更加适配当前用户位姿下的视野范围。

本公开实施例还提供了一种计算机可读存储介质，包括计算机程序指令，该计算机程序指令被处理器执行时实现上述任意一个实施例的方法。

本公开实施例还提供了一种计算机程序产品，包括计算机程序，其中，该计算机程序被处理器执行时实现上述任意一个实施例的方法。

至此，已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解，可由计算机程序指令实现流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

Claims (30)

1.一种图像处理方法，包括：

接收虚拟现实VR终端发送的渲染信息和N帧图像的图像标识，所述渲染信息包括第一渲染信息，所述第一渲染信息包括每帧图像的M个区域一一对应的M个第一分辨率，第i个区域与第i+1个区域邻接，第i个区域对应的第一分辨率大于第i+1个区域对应的第一分辨率，1≤i≤M-1，M≥3，N≥1；

根据每帧图像的图像标识获取该帧图像；

根据所述第一渲染信息对所述N帧图像进行渲染以得到N帧渲染图像，包括：对每帧图像的M个区域进行渲染，以使得每帧图像的M个区域具有一一对应的M个第一分辨率；

将所述N帧渲染图像传输至所述VR终端。

2.根据权利要求1所述的方法，其中，第j+1个区域包围第j个区域，j是1至M-1中的一个值。

3.根据权利要求2所述的方法，其中，第i+1个区域包围第i个区域。

4.根据权利要求1所述的方法，其中，所述第一渲染信息还包括每帧图像的M个区域的尺寸信息和位置信息，所述对每帧图像的M个区域进行渲染包括：

根据每帧图像的M个区域的尺寸信息和位置信息确定该帧图像的M个区域；

根据每帧图像的M个区域一一对应的M个第一分辨率对该帧图像进行渲染，以使得该帧图像的M个区域具有一一对应的M个第一分辨率。

5.根据权利要求1所述的方法，其中：

所述N帧图像包括Q组图像，每组图像包括相邻的前一帧图像和后一帧图像，1≤Q≤N-1，N≥2；

所述渲染信息还包括第二渲染信息，所述第二渲染信息包括所述前一帧图像的第一区域和所述后一帧图像的第二区域之间的过渡区域对应的第二分辨率，所述第一区域包括所述前一帧图像中除第M个区域之外的其他区域，所述第二区域包括所述后一帧图像中除第M个区域之外的其他区域，所述第二分辨率介于所述第一区域的平均分辨率和所述第二区域的平均分辨率之间；

所述方法还包括：

根据所述第二渲染信息对所述过渡区域进行色彩渲染，以得到具有所述第二分辨率的过渡内容；

将所述过渡内容传输至所述VR终端，以便所述VR终端在所述前一帧图像和所述后一帧图像之间显示所述过渡内容。

6.根据权利要求5所述的方法，其中，所述第二分辨率介于所述第一区域对应的第一分辨率中的最小值和所述第二区域对应的第一分辨率中的最小值之间。

7.根据权利要求1所述的方法，其中，N≥2，所述将所述N帧渲染图像传输至所述VR终端包括：

对所述N帧渲染图像进行压缩以得到至少一个压缩图像，并将每个压缩图像传输至所述VR终端，其中，每个压缩图像是将连续的至少两帧渲染图像进行压缩得到的，每个压缩图像中的所述至少两帧渲染图像被所述VR终端解压后逐帧显示。

8.一种图像处理方法，包括：

接收虚拟现实VR终端发送的渲染信息和N帧图像的图像标识，所述渲染信息包括每帧图像中邻接的两个区域一一对应的彼此不同的两个分辨率，N≥2；

根据每帧图像的图像标识获取该帧图像；

根据所述渲染信息对所述N帧图像进行渲染以得到N帧渲染图像，包括：对每帧图像的所述两个区域进行渲染，以使得每帧图像的所述两个区域具有一一对应的所述两个分辨率；

对所述N帧渲染图像进行压缩以得到至少一个压缩图像，并将每个压缩图像传输至所述VR终端，其中，每个压缩图像是将连续的至少两帧渲染图像进行压缩得到的，每个压缩图像中的所述至少两帧渲染图像被所述VR终端解压后逐帧显示。

9.根据权利要求7或8所述的方法，其中，任意一个压缩图像通过如下方式得到：

基于M个不同的编码等级对所述任意一个压缩图像中的所述至少两帧渲染图像中每帧渲染图像中的M个区域进行编码，第i个区域对应的编码等级高于第i+1个区域对应的编码等级；

对编码后的所述至少两帧渲染图像进行压缩，以得到所述任意一个压缩图像。

10.根据权利要求9所述的方法，其中，所述至少一个压缩图像包括第一压缩图像和第二压缩图像，所述N帧渲染图像包括连续的多帧渲染图像，所述多帧渲染图像由连续的至少两帧第一渲染图像和连续的至少两帧第二渲染图像构成；

所述对所述N帧渲染图像进行压缩以得到至少一个压缩图像，并将每个压缩图像传输至所述VR终端包括：

对所述至少两帧第一渲染图像进行压缩以得到所述第一压缩图像；

在得到所述第一压缩图像后，将所述第一压缩图像传输至所述VR终端，并对所述至少两帧第二渲染图像进行压缩以得到所述第二压缩图像，其中，传输所述第一压缩图像的时间与所述VR终端显示所述第一压缩图像的时间之和大于或等于得到所述第二压缩图像的时间与传输所述第二压缩图像的时间之和。

11.根据权利要求7或8所述的方法，其中，每个压缩图像与一帧渲染图像的容量相同。

12.根据权利要求7或8所述的方法，其中，每个压缩图像是将连续的3帧渲染图像进行压缩得到。

13.根据权利要求1-8任意一项所述的方法，其中，并行地对所述N帧图像进行渲染。

14.根据权利要求1-8任意一项所述的方法，其中，并行地对每帧图像的M个区域进行渲染。

15.根据权利要求7或8所述的方法，其中，每个压缩图像携带服务质量QoS标签，所述将每个压缩图像传输至所述VR终端包括：

利用具有与所述QoS标签对应的传输质量的网络将每个压缩图像传输至所述VR终端。

16.一种图像处理方法，包括：

获取N帧图像中的每帧图像的历史观看信息；

基于每帧图像的历史观看信息确定该帧图像中的M个区域，第i个区域与第i+1个区域邻接，1≤i≤M-1，M≥3，N≥1；

确定第一渲染信息，所述第一渲染信息包括每帧图像的M个区域一一对应的M个第一分辨率，第i个区域对应的第一分辨率大于第i+1个区域对应的第一分辨率；

将所述N帧图像的图像标识和包括所述第一渲染信息的渲染信息发送至云端服务器，以便所述云端服务器根据所述渲染信息和所述N帧图像的图像标识对所述N帧图像进行渲染。

17.根据权利要求16所述的方法，其中，所述第一渲染信息还包括每帧图像的M个区域的尺寸信息和位置信息。

18.根据权利要求16所述的方法，其中，N≥2，所述基于每帧图像的历史观看信息确定该帧图像中的M个区域包括：

基于每帧图像的历史观看信息确定第一帧图像的M个区域以及所述N帧图像中除所述第一帧图像之外的N-1帧图像中每帧图像的M个初始区域；

获取历史眼球追踪数据；

基于第k帧图像中除第M个区域之外的其他区域的中心和所述历史眼球追踪数据，调整第k+1帧图像中除第M个初始区域之外的其他初始区域的位置，1≤k≤N-1；

将第k+1帧图像中的第M个初始区域和调整后的其他初始区域确定为第k+1帧图像的M个区域。

19.根据权利要求18所述的方法，其中，所述调整第k+1帧图像中除第M个初始区域之外的其他初始区域的位置包括：

基于第k帧图像中除第M个区域之外的其他区域的中心和所述历史眼球追踪数据，预测第k+1帧图像的视点；

调整所述其他初始区域的位置，以使得所述调整后的其他初始区域的中心与所述视点重合。

20.根据权利要求16所述的方法，其中，所述N帧图像包括Q组图像，每组图像包括相邻的前一帧图像和后一帧图像，所述渲染信息还包括所述前一帧图像的第一区域和所述后一帧图像的第二区域之间的过渡区域对应的第二分辨率，所述第一区域包括所述前一帧图像中除第M个区域之外的其他区域，所述第二区域包括所述后一帧图像中除第M个区域之外的其他区域，1≤Q≤N-1，N≥2，所述方法还包括：

确定所述过渡区域对应的第二分辨率，所述第二分辨率介于所述第一区域的平均分辨率和所述第二区域的平均分辨率之间；

其中，所述渲染信息还包括所述第二分辨率。

21.一种图像处理装置，包括：

接收模块，被配置为接收虚拟现实VR终端发送的渲染信息和N帧图像的图像标识，所述渲染信息包括第一渲染信息，所述第一渲染信息包括每帧图像的M个区域一一对应的M个第一分辨率，第i个区域与第i+1个区域邻接，第i个区域对应的第一分辨率大于第i+1个区域对应的第一分辨率，1≤i≤M-1，M≥3，N≥1；

获取模块，被配置为根据每帧图像的图像标识获取该帧图像；

渲染模块，被配置为根据所述第一渲染信息对所述N帧图像进行渲染以得到N帧渲染图像，包括：对每帧图像的M个区域进行渲染，以使得每帧图像的M个区域具有一一对应的M个第一分辨率；

传输模块，被配置为将所述N帧渲染图像传输至所述VR终端。

22.一种图像处理装置，包括：

接收模块，被配置为接收虚拟现实VR终端发送的渲染信息和N帧图像的图像标识，所述渲染信息包括每帧图像中邻接的两个区域一一对应的彼此不同的两个分辨率，N≥2；

获取模块，被配置为根据每帧图像的图像标识获取该帧图像；

渲染模块，被配置为根据所述渲染信息对所述N帧图像进行渲染以得到N帧渲染图像，包括：对每帧图像的所述两个区域进行渲染，以使得每帧图像的所述两个区域具有一一对应的所述两个分辨率；

传输模块，被配置为对所述N帧渲染图像进行压缩以得到至少一个压缩图像，并将每个压缩图像传输至所述VR终端，其中，每个压缩图像是将连续的至少两帧渲染图像进行压缩得到的，每个压缩图像中的所述至少两帧渲染图像被所述VR终端解压后逐帧显示。

23.一种图像处理装置，包括：

存储器；以及

耦接至所述存储器的处理器，被配置为基于存储在所述存储器中的指令，执行权利要求1-15任意一项所述的方法。

24.一种图像处理装置，包括：

获取模块，被配置为获取N帧图像中的每帧图像的历史观看信息；

第一确定模块，被配置为基于每帧图像的历史观看信息确定该帧图像中的M个区域，第i个区域与第i+1个区域邻接，1≤i≤M-1，M≥3，N≥1；

第二确定模块，被配置为确定第一渲染信息，所述第一渲染信息包括每帧图像的M个区域一一对应的M个第一分辨率，第i个区域对应的第一分辨率大于第i+1个区域对应的第一分辨率；

发送模块，被配置为将所述N帧图像的图像标识和包括所述第一渲染信息的渲染信息发送至云端服务器，以便所述云端服务器根据所述渲染信息和所述N帧图像的图像标识对所述N帧图像进行渲染。

25.一种图像处理装置，包括：

存储器；以及

耦接至所述存储器的处理器，被配置为基于存储在所述存储器中的指令，执行权利要求16-20任意一项所述的方法。

26.一种云端服务器，包括：

权利要求21-23任意一项所述的图像处理装置。

27.一种VR终端，包括：

权利要求24或25所述的图像处理装置。

28.一种图像处理系统，包括：

权利要求26所述的云端服务器；以及

权利要求27所述的VR终端。

29.一种计算机可读存储介质，包括计算机程序指令，其中，所述计算机程序指令被处理器执行时实现权利要求1-20任意一项所述的方法。

30.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-20任意一项所述的方法。

Images