CN110930307A

CN110930307A - 图像处理方法和装置

Info

Publication number: CN110930307A
Application number: CN201911049950.2A
Authority: CN
Inventors: 牛长锋
Original assignee: Beijing Super Digital Tv Technology Co ltd
Current assignee: Beijing Super Digital Tv Technology Co ltd
Priority date: 2019-10-31
Filing date: 2019-10-31
Publication date: 2020-03-27
Anticipated expiration: 2039-10-31
Also published as: CN110930307B

Abstract

本发明提供一种图像处理方法和装置，该图像处理方法包括：对应用所生成的场景进行放大渲染，得到初始渲染图像；根据当前终端显示设备或用户的运动状态，对该初始渲染图像进行裁剪处理；将经过裁剪处理后得到的图像提供给该终端显示设备进行显示。其中，先对应用所生成的场景进行放大渲染，然后根据移动终端的运动状态对该放大渲染的图像进行裁剪，使得经过渲染处理后的画面适配用户视场角，解决时延导致的在终端显示设备发生运动时，终端显示设备侧获取的云端渲染的画面与终端显示设备实际所要显示的画面不一致的问题，使得终端高质量的显示应用画面，不会出现卡顿或者黑边等问题，提高用户体验。

Description

图像处理方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像处理方法和装置。

背景技术

随着虚拟现实(Virtual Reality，VR)技术的快速发展，用户对VR设备的沉浸感提出了更高的要求。VR设备在为用户呈现VR场景时，三维场景的渲染至关重要，只有低延迟、高画质的渲染才能保证用户体验。

现有的云游戏应用、云VR应用均采用在云端渲染的方法，该方法中云游戏应用、云VR应用在渲染开始前，需要预先设定画面渲染所使用的视场角(Filed of View，FOV)，视场角的大小由VR设备的分辨率和纵横比(aspect ratio)决定，在应用开始运行后会使用该固定的视场角进行画面渲染。但是，在云渲染系统中，在将云端渲染的画面传输至终端显示设备过程中，若用户头部发生运动，由于系统时延的存在，会导致在VR设备侧该画面与当前VR设备实际所要显示的视场角对应的画面之间存在偏差，进而会出现卡顿或者黑边等问题，影响用户体验。

发明内容

针对现有技术中的问题，本发明提供一种图像处理方法和装置、电子设备以及计算机可读存储介质，能够至少部分地解决现有技术中存在的问题。

为了实现上述目的，本发明采用如下技术方案：

第一方面，提供一种图像处理方法，包括：

对应用所生成的场景进行放大渲染，得到初始渲染图像；

根据当前终端显示设备或用户的运动状态，对该初始渲染图像进行裁剪处理；

将经过裁剪处理后得到的图像提供给该终端显示设备进行显示。

进一步地，该根据当前终端显示设备的运动状态，对该初始渲染图像进行裁剪处理，包括：

若当前终端显示设备的运动速度大于预设阈值，参照当前终端显示设备的运动速度、运动方向、当前网络时延中的至少一项，在所述终端显示设备的视场角的基础上得到新的视场角；

将该初始渲染图像中的位于该新的视场角对应的图像区域之外的部分裁剪掉。

若当前终端显示设备的运动速度不大于预设阈值，将该初始渲染图像中的位于该终端显示设备的视场角对应的图像区域之外的部分裁剪掉。

进一步地，该参照当前终端显示设备的运动速度、运动方向、当前网络时延中的至少一项，在所述终端显示设备的视场角的基础上得到新的视场角，包括：

根据该当前终端显示设备的运动速度、运动方向以及该当前网络时延，得到所述终端显示设备在该网络时延内的运动角度；

根据该运动角度在水平方向的分量和垂直方向上的分量，确定该终端显示设备的视场角在水平方向上和垂直方向上的放大比例；

根据该放大比例和该终端显示设备的视场角，得到该新的视场角。

进一步地，该对应用所生成的场景进行放大渲染，得到初始渲染图像，包括：

根据终端显示设备的视场角、第一网络时延以及指定运动速度，得到初始放大渲染视场角；

使用该初始放大渲染视场角对应用所生成的场景进行渲染。

进一步地，该根据终端显示设备的视场角、第一网络时延以及指定运动速度得到初始放大渲染视场角，包括：

根据该终端显示设备的视场角、该第一网络时延以及该指定运动速度，计算得到初始放大比例；

利用该初始放大比例乘以该终端显示设备的视场角，得到该初始放大渲染视场角。

第二方面，提供一种图像处理装置，包括：

初始放大渲染模块，对应用所生成的场景进行放大渲染，得到初始渲染图像；

图像裁剪模块，根据当前终端显示设备或用户的运动状态，对该初始渲染图像进行裁剪处理；

图像发送模块，将经过裁剪处理后的图像提供给终端显示设备进行显示。

进一步地，该图像裁剪模块，具体用于：

进一步地，该图像裁剪模块，还用于：

进一步地，该图像裁剪模块，具体用于：

根据该当前终端显示设备的运动速度、运动方向以及该当前网络时延得到所述终端显示设备在该网络时延内的运动角度；

第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现上述的图像处理方法的步骤。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的图像处理方法的步骤。

本发明提供的图像处理方法和装置、电子设备以及计算机可读存储介质，首先对应用所生成的场景进行放大渲染，然后根据移动终端的运动状态对该放大渲染的图像进行裁剪，使得经过裁剪处理后的画面适配用户运动变化后的视场角，解决时延导致的在终端显示设备发生运动时，终端显示设备侧获取的云端渲染的画面与终端显示设备实际所要显示的画面不一致的问题，使得终端高质量的显示应用画面，不会出现卡顿或者黑边等问题，提高用户体验。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中的服务器S1与终端显示设备B1之间的架构示意图；

图2是本发明实施例中的图像处理方法的流程示意图一；

图3是本发明实施例中的图像处理方法的流程示意图二；

图4示出了本发明实施例中视场角自适应图像渲染的原理；

图5示出了图3中步骤S220的具体步骤；

图6是本发明实施例中的图像处理方法的流程示意图三；

图7示出了图6中步骤S10的具体步骤；

图8是本发明实施例中的图像处理装置的结构框图；

图9为本发明实施例电子设备的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

在云流化的技术方案中，将应用在云端进行渲染(云渲染方法)，然后将渲染得到的画面和应用运行所产生的音频，通过网络传输至终端显示设备进行播放；现有云渲染方法中，应用在渲染开始前，需要预先设定画面渲染所使用的视场角(Filed of View，FOV)，视场角的大小由终端显示设备的分辨率和纵横比(aspect ratio)决定(即终端显示设备的视场角)，在应用开始运行后使用该固定的视场角进行画面渲染。由于在云渲染系统中存在有网络时延，该方法中若终端显示设备发生运动，云端渲染得到的画面传输至终端显示设备后，会导致在终端显示设备侧该画面与用户实际想要看到的画面之间存在偏差，会出现卡顿或者黑边等问题，影响用户体验。

为至少部分解决现有技术中存在的上述技术问题，本发明实施例提供了一种图像处理方法，对应用所生成的场景进行放大渲染，然后根据终端显示设备的运动情况(由当前运动速度和当前运动方向体现)对图像进行裁剪，解决时延导致的云端渲染的画面与终端所要显示的视角存在偏差的问题，使得终端高质量的显示应用画面，不会出现卡顿或者黑边等问题，提高用户体验。

有鉴于此，本申请提供了一种图像处理装置，该装置可以为一种服务器S1，参见图1，该服务器S1可以与至少一个终端显示设备B1通信连接，所述终端显示设备B1可以将当前终端显示设备或用户的运动状态发送至该服务器S1，该服务器S1可以在线接收该当前终端显示设备或用户的运动状态，该运动状态可以包括：当前运动速度以及当前运动方向等，对应用所生成的场景进行放大渲染，得到初始渲染图像；根据当前终端显示设备或用户的运动状态，对该初始渲染图像进行裁剪处理；将经过裁剪处理后的图像提供给终端显示设备进行显示。

需要说明的是，上述服务器应当做广义理解，可以指单服务器，也可以是服务器集群；在具体的应用场景中，该服务器可以是云渲染服务器；本申请对此不做限定。

可以理解的是，所述终端显示设备B1可以包括头部显示器(比如虚拟现实VR头显、增强现实AR头显等)、智能手机、平板电子设备、便携式计算机等。

所述服务器与所述终端显示设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。

值得说明的是，终端显示设备上可设置运动状态跟踪器(比如陀螺仪等)，用于获取终端显示设备的运动状态。

在另外一个可能的实施例中，当需要根据用户的运动状态裁剪初始渲染图像时，可以通过设置运动状态跟踪器在用户身上以跟踪用户的运动状态，跟踪器将用户的运动状态直接发送给服务器，也可以是终端显示设备监控识别用户的运动状态，并上传至服务器；其他部分与上述实施例相同。

图2是本发明实施例中的图像处理方法的流程示意图一。如图2所示，该图像处理方法可以包括以下内容：

步骤S100：对应用所生成的场景进行放大渲染，得到初始渲染图像。

在应用运行中，对应用运行所生成的场景进行渲染，生成渲染图像。具体地，可以采用渲染技术，如Z缓冲技术、光纤跟踪技术、辐射度技术等，本申请对此不作限定。

本实施例中，对应用场景进行放大渲染得到初始渲染图像，该初始渲染图像相对于现有技术中采用终端显示设备的视场角所渲染得到的图像尺寸要大。

步骤S200：根据当前终端显示设备或用户的运动状态，对初始渲染图像进行裁剪处理。

举例来说，通过数据头盔、头部显示器等辅助传感设备监测用户头部的移动(即用户的运动状态)，根据用户头部的移动情况，对初始渲染图像进行裁剪处理，使得经过渲染处理后的画面适配用户视场角。

具体地，在VR系统中，可以通过VR头显上的运动状态跟踪器对用户的头部运动进行跟踪，得到用户头部运行信息，传输至服务器中，以便服务器基于用户头部运行信息对初始放大渲染的图像进行裁剪。

对于手机等终端，可通过手机中的重力传感器、加速度传感器以及陀螺仪检测手机的运动状态，以便服务器根据手机的运动状态进行视场角自适应调整。

步骤S300：将经过裁剪处理后得到的图像提供给终端显示设备进行显示。

本实施例中，将经过裁剪处理后的与用户视场角适配的图像提供给终端显示设备进行显示，实现视场角自适应图像渲染处理；以VR头显为例，使得当前终端显示设备显示的画面已经是充分考虑了用户移动和网络时延情况的，使得终端显示设备显示的画面与需要向用户展示的画面匹配，保障画面质量。

综上，本发明实施例提供的图像处理方法，解决时延导致的云端渲染的画面与终端当前实际所要显示的画面存在偏差的问题，使得终端高质量的显示应用画面，不会出现卡顿或者黑边等问题，提高用户体验。

在一个可选的实施例中，运动状态可包括：运动速度以及运动方向等信息，参见图3，该步骤S200可以包括以下内容：

步骤S210：判断当前终端显示设备的运动速度是否大于预设阈值；

若是，执行步骤S220；若否，执行步骤S240。

其中，该预设阈值根据经验值设定，以VR头显为例，该预设阈值可以是：0.5-1.5rad/s(弧度每秒)之间的任意值；优选的，该预设阈值为1rad/s，此时所达到的效果最佳。

步骤S220：参照当前终端显示设备的运动速度、运动方向、当前网络时延中的至少一项，在所述终端显示设备的视场角的基础上得到新的视场角。

其中，当前网络时延可以由以下方式得到：服务器向当前终端显示设备发送心跳包或者信令开始计时，直至服务器接收到终端显示设备的反馈计时结束，得到计时时间R_TT，将该计时时间的一半R_TT/2作为当前网络时延。

步骤S230：将所述初始渲染图像中的位于所述新的视场角对应的图像区域之外的部分裁剪掉。

步骤S240：将所述初始渲染图像中的位于所述终端显示设备的视场角对应的图像区域之外的部分裁剪掉。

值得说明的是，本发明实施例提供的图像处理方法，在当前运动速度大于预设阈值，即容易产生视场角偏差的情况下，参照当前运动速度、当前运动方向、当前网络时延中的至少一项，以及终端显示设备的视场角对初始渲染图像进行裁剪处理，能够补偿用户移动和/或网络时延产生的视场角偏差；在当前运动速度小于预设阈值，即视场角偏差较小或者不存在视场角偏差的情况下，根据终端显示设备的视场角对初始渲染图像进行裁剪处理，使得用户获取的最终画面为用户想要获取的画面，兼顾渲染开销和时延，提高用户体验。

示例性地，若当前终端显示设备的运动速度大于预设阈值，则将终端显示设备的视场角整体放大N倍(该放大比例N小于以下实施例所述的初始放大比例)，得到新的视场角，将初始放大渲染的图像中的处于该新的视场角所对应的区域之外的部分裁剪掉；或者，进一步的，参照当前的终端显示设备的运动方向，只将该方向上的终端显示设备的视场角范围放大N倍，然后将初始放大渲染的图像中的处于该新的视场角所对应的区域之外的部分裁剪掉。

下面结合图4进行解释说明。

图4中的(a)表示采用终端显示设备的视场角对应用场景进行渲染所得到的图像。若采用终端显示设备的视场角进行云渲染，因为系统时延、用户运动因素的影响，会导致画面在终端显示设备侧显示时出现黑边等问题。

图4中的(b)表示将应用所生成的场景进行放大渲染后所得到的图像，即本发明实施例中提到的初始渲染图像。对图像放大渲染，意味着产生比实际可看到更大的画面。采用该方法可有效解决因时延导致的黑边问题，但时单纯的进行放大渲染，会产生过多的冗余数据，会出现增加数据吞吐量，或降低画面质量等问题。

其中图4中的(c)表示终端显示设备向左运动时，对初始渲染图像裁剪后所得到的图像。

和图4中的(d)表示终端显示设备向上运动时，对初始渲染图像裁剪后所得到的图像。

从图4中的(c)和(d)可以看出，本发明实施例中参照终端显示设备的运动方向对初始渲染图像进行裁剪，在不过度增加冗余数据和增加数据吞吐量的前提下，防止黑边或卡顿，提高用户体验。

在一个可选的实施例中，参见图5，该步骤S220具体可以包括以下内容：

步骤S221：根据当前终端显示设备的运动速度、运动方向以及当前网络时延，得到终端显示设备在该所述网络时延内的运动角度。

具体地，假设当前时刻运动速度(角速度，包含速度以及方向)为ω，网络时延为t，则终端显示设备在该网络时延内的运动角度θ＝ω*t。

步骤S222：根据运动角度在水平方向的分量和垂直方向上的分量，确定所述终端显示设备的视场角在水平方向上和垂直方向上的放大比例。

步骤S223：根据所述放大比例和所述终端显示设备的视场角，得到所述新的视场角。

具体地，θ被分解到水平方向以及垂直方向，分别对应θ_x，θ_y，水平方向FoV(终端显示设备的视场角)的放大因子计算公式如下：

其中，

表示水平方向FoV的放大因子，FOVx为终端显示设备的视场角在水平方向的分量。

新的视场角在水平方向的分量等于水平方向FoV的放大因子与终端显示设备的视场角在水平方向的分量FOVx的乘积。并且该新的视场角的放大的方向与运动的方向是一致的，再次参照图4中的(c)和(d)中所示。

具体地，轴垂直方向FoV的放大因子计算公式如下：

其中，

表示垂直方向FoV的放大因子，FOVy为终端显示设备的视场角在水平方向的分量。

新的视场角在垂直方向的分量等于垂直方向FoV的放大因子与终端显示设备的视场角在垂直方向的分量的乘积。

综上，本发明实施例提供的图像处理方法，采用基于运动状态的FOV扩大技术，根据用户视角变化情况，设定FOV扩大方向。最终画面的FOV随着视角变化情况，动态变化。采用基于系统时延的FOV扩大技术，根据系统时延选择FOV缩放因子，降低吞吐量并提高画面质量。

在一个可选的实施例中，参见图6，上述步骤S100中，对应用所生成的场景进行放大渲染，得到初始渲染图像，包括以下内容：

步骤S10：根据终端显示设备的视场角、第一网络时延以及指定运动速度，得到初始放大渲染视场角。

步骤S20：使用所述初始放大渲染视场角对应用所生成的场景进行渲染。

该初始放大渲染视场角为对应用所生成的场景进行初始放大渲染时所采用的视场角。值得说明的是，对于某一终端显示设备上的VR应用而言，VR应用启动时设定了初始放大渲染视场角，在应用运行过程中无法修改，后续所有的应用场景渲染时，均基于该视场角进行渲染。本申请通过在后续对初始渲染图像基于终端显示设备运动所产生的新的视场角进行裁剪，实现了自适应渲染处理的效果。

值得说明的是，该初始放大渲染视场角相对于终端显示设备的视场角，已经是放大了设定比例的视场角，即已经对应用场景画面进行了放大渲染。初始渲染图像比终端显示设备实际要显示的画面大；为用户头部运动和时延提供了冗余空间。

其中，通过综合考虑终端显示设备的视场角、第一网络延时情况以及运动速度常数，能够得到用户一般情况下的视场角变化情况，据此，能够得到普遍适用的初始放大比例，然后根据初始放大比例得到初始放大渲染视场角，基于该初始放大渲染视场角对目标场景进行渲染之后，得到一个基础的渲染图像，用于后续处理。

具体地，参见图7，该步骤S10具体可以包括以下内容：

步骤S11：根据终端显示设备的视场角、第一网络时延以及指定运动速度，计算得到初始放大比例。

值得说明的是，初始放大比例越大，渲染开销越大，但可容忍的时延也越大。通常放大比例的选取是渲染开销与时延两个因素的折衷，当然，也可以根据应用种类配置不同的放大比例。

可选的实施例中，可采用如下公式实现：

其中，P为初始放大比例，t为第一网络时延，ω₀为指定运动速度，FoV为终端显示设备的视场角。

举例来说，一个健康人，正常情况下头部转动速度平均为350°/s左右，当利用头盔或眼镜等采集用户头部转动速度以根据用户头部转动速度进行渲染时，该指定运动速度可以设置为350°/s。

上述的第一网络时延t可以是一个经验值，也可以是实时检测得到的网络时延。

步骤S12：利用初始放大比例乘以终端显示设备的视场角得到初始放大渲染视场角。

其中，通过在初始渲染时，根据该初始放大渲染视场角得到比本来应该要渲染的图像放大了预设比例的图像，再根据用户的运动速度和方向对图像进行裁剪，在不增加数据吞吐量的前提下，提高了图像显示质量，防止黑边或卡顿等情况。

基于同一发明构思，本申请实施例还提供了一种图像处理装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于图像处理装置解决问题的原理与上述方法相似，因此图像处理装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图8是本发明实施例中的图像处理装置的结构框图。如图8所示，该图像处理装置具体包括：初始放大渲染模块10、图像裁剪模块20以及图像发送模块30。

初始放大渲染模块10，用于对应用所生成的场景进行放大渲染，得到初始渲染图像；

图像裁剪模块20，用于根据当前终端显示设备或用户的运动状态，对所述初始渲染图像进行裁剪处理；

图像发送模块30，用于将经过裁剪处理后得到的的图像提供给终端显示设备进行显示。

在一个可选的实施例中，图像裁剪模块20，具体用于：

将所述初始渲染图像中的位于所述新的视场角对应的图像区域之外的部分裁剪掉。

在一个进一步地实施例中，图像裁剪模块20，还用于：

若当前终端显示设备的运动速度不大于预设阈值，将所述初始渲染图像中的位于所述终端显示设备的视场角对应的图像区域之外的部分裁剪掉。

在一个可选的实施例中，图像裁剪模块20，具体用于：

根据所述当前终端显示设备的运动速度、运动方向以及所述当前网络时延得到所述终端显示设备在所述网络时延内的运动角度；

根据所述运动角度在水平方向的分量和垂直方向上的分量，确定所述终端显示设备的视场角在水平方向上和垂直方向上的放大比例；

根据所述放大比例和所述终端显示设备的视场角，得到所述新的视场角。

在一个可选的实施例中，上述初始放大渲染模块10可以包括：初始放大渲染视场角获取单元、初始放大渲染单元。

初始放大渲染视场角获取单元，用于根据终端显示设备的视场角、第一网络时延以及指定运动速度，得到初始放大渲染视场角；

初始放大渲染单元，用于使用所述初始放大渲染视场角对应用所生成的场景进行渲染。

在一个可选的实施例中，上述初始放大渲染视场角获取单元包括：初始放大比例获取子单元、初始放大渲染视场角获取子单元。

初始放大比例获取子单元，用于根据所述终端显示设备的视场角、所述第一网络时延以及所述指定运动速度，计算得到初始放大比例；

初始放大渲染视场角获取子单元，用于利用所述初始放大比例乘以所述终端显示设备的视场角，得到所述初始放大渲染视场角。

上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为电子设备，具体的，电子设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

本申请一实施例中还提供了一种电子设备，在一个典型的实例中电子设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现下述步骤：

对应用所生成的场景进行放大渲染，得到初始渲染图像；

将经过裁剪处理后的图像提供给该终端显示设备进行显示。

从上述描述可知，本发明实施例提供的电子设备，可用于视场角自适应图像渲染，对应用所生成的场景进行放大渲染，然后根据终端运动变化情况(当前运动速度和当前运动方向)对图像进行裁剪，使得经过渲染处理后的画面适配用户视场角，解决时延导致的云端渲染的画面与终端所要显示的视角存在偏差的问题，使得终端高质量的显示应用画面，不会出现卡顿或者黑边等问题，提高用户体验。

下面参考图9，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。

如图9所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现下述步骤：

对应用所生成的场景进行放大渲染，得到初始渲染图像；

将经过裁剪处理后的图像提供给该终端显示设备进行显示。

从上述描述可知，本发明实施例提供的计算机可读存储介质，可用于视场角自适应图像渲染，根据初始放大渲染视场角渲染图像，对应用所生成的场景进行放大渲染，然后根据终端运动变化情况(当前运动速度和当前运动方向)对图像进行裁剪，使得经过渲染处理后的画面适配用户视场角，解决时延导致的云端渲染的画面与终端所要显示的视角存在偏差的问题，使得终端高质量的显示应用画面，不会出现卡顿或者黑边等问题，提高用户体验。

在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种图像处理方法，其特征在于，包括：

对应用所生成的场景进行放大渲染，得到初始渲染图像；

根据当前终端显示设备或用户的运动状态，对所述初始渲染图像进行裁剪处理；

将经过裁剪处理后得到的图像提供给所述终端显示设备进行显示。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据当前终端显示设备的运动状态，对所述初始渲染图像进行裁剪处理，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述根据当前终端显示设备的运动状态，对所述初始渲染图像进行裁剪处理，包括：

4.根据权利要求2所述的图像处理方法，其特征在于，所述参照当前终端显示设备的运动速度、运动方向、当前网络时延中的至少一项，在所述终端显示设备的视场角的基础上得到新的视场角，包括：

根据所述当前终端显示设备的运动速度、运动方向以及所述当前网络时延，得到所述终端显示设备在该所述网络时延内的运动角度；

5.根据权利要求1所述的图像处理方法，其特征在于，所述对应用所生成的场景进行放大渲染，得到初始渲染图像，包括：

使用所述初始放大渲染视场角对应用所生成的场景进行渲染。

6.根据权利要求5所述的图像处理方法，其特征在于，所述根据终端显示设备的视场角、第一网络时延以及指定运动速度得到初始放大渲染视场角，包括：

根据所述终端显示设备的视场角、所述第一网络时延以及所述指定运动速度，计算得到初始放大比例；

利用所述初始放大比例乘以所述终端显示设备的视场角，得到所述初始放大渲染视场角。

7.一种图像处理装置，其特征在于，包括：

初始放大渲染模块，用于对应用所生成的场景进行放大渲染，得到初始渲染图像；

图像裁剪模块，用于根据当前终端显示设备或用户的运动状态，对所述初始渲染图像进行裁剪处理；

图像发送模块，用于将经过裁剪处理后得到的图像提供给终端显示设备进行显示。

8.根据权利要求7所述的图像处理装置，其特征在于，所述图像裁剪模块，具体用于：

9.根据权利要求7或8所述的装置，其特征在于，所述图像裁剪模块，还用于：

10.根据权利要求8所述的图像处理装置，其特征在于，所述图像裁剪模块，具体用于：

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的图像处理方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的图像处理方法的步骤。