CN111714877A - 云游戏控制系统和方法 - Google Patents

Abstract

本发明公开了一种云游戏控制系统和方法。其中，该系统包括：服务器，与终端设备连接，用于接收终端设备发送的控制指令，并在控制指令对应至少两个待显示图像的情况下，依据控制指令调整至少两个待显示图像，并将调整后的至少两个待显示图像返回终端设备；终端设备，分别与至少一个显示设备和服务器连接，用于显示控制键，并将控制键触发的控制指令发送至服务器，并向至少一个显示设备转发服务器依据控制指令返回的至少两个待显示图像；至少一个显示设备，与终端设备连接，用于显示终端设备转发的至少两个待显示图像。本发明解决了由于现有技术中在实现云端端游的实现过程中仍需借助传统物理外接设备，操作效率降低的技术问题。

Description

云游戏控制系统和方法

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种云游戏控制系统和方法。

背景技术

现有的游戏控制方法包括键盘鼠标控制、游戏手柄控制和触摸屏控制等。云游戏可以分成手游和端游两大类，其中手游的游戏大多是触摸屏控制(也有少量的游戏手柄控制)，游戏是通过手机的触摸屏来操控，并将游戏终端的触摸屏的操控事件注入VM/PM的手机操作系统，进而注入到云游戏里。

而端游的游戏大多是键盘鼠标控制和游戏手柄控制，游戏终端通常是使用连接到游戏终端的键盘鼠标或者游戏手柄来操控，并将游戏终端的键盘鼠标或游戏手柄的操控事件发送到云端后注入VM/PM的桌面操作系统并进而注入到云游戏里。

基于端游的云游戏系统，如何实现通过手游的触摸屏来对云端端游的游戏进行控制，是尚待解决的问题。

针对上述由于现有技术中在实现云端端游的实现过程中仍需借助传统物理外接设备，操作效率降低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种云游戏控制系统和方法，以至少解决由于现有技术中在实现云端端游的实现过程中仍需借助传统物理外接设备，操作效率降低的技术问题。

根据本发明实施例的一个方面，提供了一种云游戏控制系统，包括：服务器、终端设备和至少一个显示设备；其中，服务器，与终端设备连接，用于接收终端设备发送的控制指令，并在控制指令对应至少两个待显示图像的情况下，依据控制指令调整至少两个待显示图像，并将调整后的至少两个待显示图像返回终端设备；终端设备，分别与至少一个显示设备和服务器连接，用于显示控制键，并将控制键触发的控制指令发送至服务器，并向至少一个显示设备转发服务器依据控制指令返回的至少两个待显示图像；至少一个显示设备，与终端设备连接，用于显示终端设备转发的至少两个待显示图像。

可选的，服务器包括：至少一个操作系统，其中，至少一个操作系统中每个操作系统与终端设备连接，或，每个操作系统与每个终端设备一一对应连接，每个操作系统包括驱动控制模块，用于接收终端设备发送的控制指令，并将控制指令与游戏操作键进行对应转换，并将转换后的控制指令转发至图像处理器池。

进一步地，可选的，该系统还包括：图像处理器池，与至少一个操作系统连接，用于获取至少一个操作系统的至少两个待显示图像，并依据转换后的控制指令对至少两个待显示图像进行调整，得到调整后的至少两个待显示图像。

可选的，图像处理器池包括发送端和图像处理模块，其中，图像处理模块，用于依据控制指令获取至少一个操作系统中显示的图像个数、图像和显示位置；并依据控制指令在图像个数、图像和显示位置中执行对应的操作，对调整后的图像进行更新，得到调整后的至少两个待显示图像；发送端，与图像处理模块连接，用于发送调整后的至少两个待显示图像。

进一步地，可选的，发送端，还用于将图像个数、图像和显示位置发送至终端设备，以使得终端设备将图像个数、图像和显示位置转发至至少一个显示设备。

可选的，至少一个显示设备中的一个显示设备显示至少两个待显示图像，和/或，至少一个显示设备中每个显示设备分别对应显示至少两个待显示图像中的图像。

根据本发明实施例的另一方面，还提供了一种云游戏控制方法，应用于上述系统，包括：接收终端设备发送的控制指令；在控制指令对应至少两个待显示图像的情况下，依据控制指令调整至少两个待显示图像；将调整后的至少两个待显示图像返回终端设备。

可选的，接收终端设备发送的控制指令包括：通过至少一个操作系统中每个操作系统与终端设备连接，或，每个操作系统与每个终端设备一一对应连接，接收终端设备发送的控制指令；将控制指令与游戏操作键进行对应转换，并将转换后的控制指令转发至图像处理器池。

可选的，在控制指令对应至少两个待显示图像的情况下，依据控制指令调整至少两个待显示图像包括：依据控制指令，若控制指令包括对至少两个待显示图像进行处理，则依据控制指令对至少两个待显示图像进行调整，得到调整后的至少两个待显示图像；其中，依据控制指令对至少两个待显示图像进行调整，得到调整后的至少两个待显示图像包括：依据控制指令获取至少一个操作系统中显示的图像个数、图像和显示位置；依据控制指令在图像个数、图像和显示位置中执行对应的操作，并对调整后的图像进行更新，得到调整后的至少两个待显示图像。

进一步地，可选的，该方法还包括：将图像个数、图像和显示位置发送至终端设备，以使得终端设备将图像个数、图像和显示位置转发至至少一个显示设备。

根据本发明实施例的又一方面，还提供了一种云游戏控制方法，应用于系统，包括：显示控制键；将控制键触发的控制指令发送至服务器；向至少一个显示设备转发服务器依据控制指令返回的至少两个待显示图像。

可选的，该方法还包括：在显示控制键之前，登录服务器，并向服务器发送设置指令，其中，设置指令，用于设置服务器中显示的图像个数、图像和显示位置；接收服务器依据设置指令返回的至少两个待显示图像；将至少两个待显示图像转发至至少一个显示设备。

进一步地，可选的，将至少两个待显示图像转发至至少一个显示设备包括：获取至少两个待显示图像中每个图像与至少一个显示设备的连接关系；依据连接关系，将至少两个待显示图像发送至至少一个显示设备。

可选的，将控制键触发的控制指令发送至服务器包括：在虚拟手柄驱动模块设置在终端设备中的情况下，将控制键触发的控制指令转换为游戏手柄按键控制指令；将游戏手柄按键控制指令发送至服务器。

在本发明实施例中，通过服务器，与终端设备连接，用于接收终端设备发送的控制指令，并在控制指令对应至少两个待显示图像的情况下，依据控制指令调整至少两个待显示图像，并将调整后的至少两个待显示图像返回终端设备；终端设备，分别与至少一个显示设备和服务器连接，用于显示控制键，并将控制键触发的控制指令发送至服务器，并向至少一个显示设备转发服务器依据控制指令返回的至少两个待显示图像；至少一个显示设备，与终端设备连接，用于显示终端设备转发的至少两个待显示图像，达到了改善云端端游操作环境的目的，从而实现了提升操作效率的技术效果，进而解决了由于现有技术中在实现云端端游的实现过程中仍需借助传统物理外接设备，操作效率降低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的云游戏控制系统的示意图；

图2是根据本发明实施例的一种云游戏控制系统中终端设备的显示示意图；

图3是根据本发明实施例的一种云游戏控制系统的示意图；

图4是根据本发明实施例的另一种云游戏控制系统的示意图；

图5是根据本发明实施例的另一种云游戏控制系统中终端设备中的图像缩略图的示意图；

图6是根据本发明实施例的云游戏控制方法在服务器中的流程示意图；

图7是根据本发明实施例的云游戏控制方法在终端设备中的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例的一个方面，提供了一种云游戏控制系统，图1是根据本发明实施例的云游戏控制系统的示意图，如图1所示，包括：

服务器12、终端设备14和至少一个显示设备16；其中，服务器12，与终端设备14连接，用于接收终端设备14发送的控制指令，并在控制指令对应至少两个待显示图像的情况下，依据控制指令调整至少两个待显示图像，并将调整后的至少两个待显示图像返回终端设备14；终端设备14，分别与至少一个显示设备16和服务器12连接，用于显示控制键，并将控制键触发的控制指令发送至服务器，并向至少一个显示设备16转发服务器12依据控制指令返回的至少两个待显示图像；至少一个显示设备16，与终端设备14连接，用于显示终端设备14转发的至少两个待显示图像。

其中，服务器12可以为部署在云端的云端服务器，本申请实施例中以服务器12为云端服务器为例进行说明，云服务器中运行着多个虚拟设备/物理设备VM/PM(Virtualmachine/Physical machine)。每个VM/PM与终端设备14一一对应连接，终端设备14连接有至少一个显示设备16，本申请实施例中终端设备14可以为智能手机，平板电脑，笔记本电脑等配置有显示屏的智能终端设备，且显示屏具有触摸功能；

在本申请实施例中终端设备14中显示游戏画面的控制键，例如，方向键：向上，向下，向左和向右；以及，功能键，其中，功能键根据游戏中的操作键一一对应。具体的，终端设备14的显示画面如图2所示，图2是根据本发明实施例的一种云游戏控制系统中终端设备的显示示意图。

至少一个显示设备16可以为显示器、电视机、大屏(一块或多块LED显示屏拼接得到的屏幕)或投影仪。

在本申请实施例中，至少一个显示设备16在实现时可以由多类显示设备组成，例如，至少两个待显示图像包括第一待显示图像和第二待显示图像的情况下，第一待显示图像在电视机上显示；第二待显示图像在显示器上显示。

此外，在本申请实施例中，至少一个显示设备16在只包含一个显示设备的情况下，至少两个待显示图像以分区域的形式在该显示设备上进行显示，例如，至少两个待显示图像包括第一待显示图像和第二待显示图像的情况下，第一待显示图像在显示器的A区域上显示；第二待显示图像在显示器的B区域上显示。

其中，终端设备14与至少一个显示设备16的连接可以通过无线的方式连接，例如，投屏的方式或屏幕镜像的方式。

在本发明实施例中，通过服务器，与终端设备连接，用于接收终端设备发送的控制指令，并在控制指令对应至少两个待显示图像的情况下，依据控制指令调整至少两个待显示图像，并将调整后的至少两个待显示图像返回终端设备；终端设备，分别与至少一个显示设备和服务器连接，用于显示控制键，并将控制键触发的控制指令发送至服务器，并向至少一个显示设备转发服务器依据控制指令返回的至少两个待显示图像；至少一个显示设备，与终端设备连接，用于显示终端设备转发的至少两个待显示图像，达到了改善云端端游操作环境的目的，从而实现了提升操作效率的技术效果，进而解决了由于现有技术中在实现云端端游的实现过程中仍需借助传统物理外接设备，操作效率降低的技术问题。

可选的，服务器12包括：至少一个操作系统，其中，至少一个操作系统中每个操作系统与终端设备14连接，或，每个操作系统与每个终端设备14一一对应连接，每个操作系统包括驱动控制模块，用于接收终端设备14发送的控制指令，并将控制指令与游戏操作键进行对应转换，并将转换后的控制指令转发至图像处理器池。

具体的，云端服务器中运行着多个VM/PM，VM/PM中设置有控制事件的驱动控制模块。其中，控制事件包括：用户通过手机触发的控制操作，或，对至少一个显示设备16的显示方式进行设置。

进一步地，可选的，本申请实施例提供的云游戏控制系统还包括：图像处理器池，与至少一个操作系统连接，用于获取至少一个操作系统的至少两个待显示图像，并依据转换后的控制指令对至少两个待显示图像进行调整，得到调整后的至少两个待显示图像。

可选的，图像处理器池包括发送端和图像处理模块，其中，图像处理模块，用于依据控制指令获取至少一个操作系统中显示的图像个数、图像和显示位置；并依据控制指令在图像个数、图像和显示位置中执行对应的操作，对调整后的图像进行更新，得到调整后的至少两个待显示图像；发送端，与图像处理模块连接，用于发送调整后的至少两个待显示图像。

进一步地，可选的，发送端，还用于将图像个数、图像和显示位置发送至终端设备14，以使得终端设备14将图像个数、图像和显示位置转发至至少一个显示设备16。

具体的，本申请实施例提供的图像处理器池在图3中记作GPU POOL，图3是根据本发明实施例的一种云游戏控制系统的示意图，该GPU POOL由至少两个GPU得到，该GPU POOL可以为GPU的集合，或，在云端虚拟化的图像处理模块，其中，需要说明的是，在本申请实施例中图像处理器池可以为云服务器中的，也可以为独立于云服务器的GPU，或，以第三方服务商提供的图像处理服务。

其中，图像处理模块依据控制指令获取至少一个操作系统中显示的图像个数、图像和显示位置；并依据控制指令在图像个数、图像和显示位置中执行对应的操作，对调整后的图像进行更新，得到调整后的至少两个待显示图像；

最终由发送端将调整后的至少两个待显示图像发送至终端设备14，其中，将图像个数、图像和显示位置发送至终端设备14。

可选的，至少一个显示设备16中的一个显示设备显示至少两个待显示图像，和/或，至少一个显示设备16中每个显示设备分别对应显示至少两个待显示图像中的图像。

具体的，在至少一个显示设备16包括一个显示设备的情况下，在该显示设备中以多个区域显示至少两个待显示图像；在至少一个显示设备16包括多个显示设备，至少两个待显示图像包括多个待显示图像的情况下，在多个显示设备中分别显示多个待显示图像。

此外，至少一个显示设备16还可以与云服务器连接，在云服务器根据终端设备的控制指令对操作系统中的游戏画面进行处理后，云服务器将处理后的游戏画面直接发送至至少一个显示设备16，以使得降低终端设备14的数据流，以及提升整个云游戏控制系统的数据交互效率。

综上，图4是根据本发明实施例的另一种云游戏控制系统的示意图，如图4所示，本申请实施例提供的云游戏控制系统具体如下：

终端设备14中包括接收模块、发送模块、图像处理模块、解码模块、控制事件驱动模块1和屏幕。GPU POOL除了用于执行渲染任务的功能模块(本申请实施例中的图像处理模块)，还包括S端(本申请实施例中的发送端)，S端用于采集VM/PM(本申请实施例中的操作系统)的桌面图像中的各区域的图像。

需要说明的是，S端采集到的VM/PM的桌面中包括至少一个区域，当桌面图像包括两个区域时，可以由两个显示屏分别进行显示。具体实施中，可以通过增加扩展屏的方式，增加桌面中的区域。比如，如果要设置三个区域，那么，可以在主屏以外，再设置两个扩展屏，三个区域分别显示在主屏和两个扩展屏中。

如图4所示，VM/PM的桌面中包括三个区域，每个区域显示游戏的不同画面。比如，一个区域显示游戏进行画面，一个区域显示游戏路线图，一个区域显示系统状态图。每个区域显示的内容可以由游戏玩家通过操作终端设备14来确定。

由于VM/PM的图像渲染是由GPU POOL来完成的，因此，GPU POOL中的S端可以采集VM/PM的桌面图像中各区域的图像。S端将采集到的各区域的图像数据，经终端设备14发送给显示设备连接的R端。R端在对图像数据进行解码后，将各区域的图像分别显示在各显示器中。各区域的图像与各显示器的对应关系可以由游戏用户在终端设备14中进行设置。

基于上述本申请实施例提供的云游戏控制系统，本申请提供的云游戏控制系统的游戏控制方法的处理流程如下：

步骤1，VM/PM接收到来自终端设备14的触摸事件(本申请实施例中的控制指令)之后，根据触摸事件生成渲染指令。

在本步骤中，终端设备14的屏幕在初始时为登录VM/PM后的操作界面，游戏玩家可以通过在终端设备14上进行操作动作，对VM/PM进行操作，具体的，可以设置VM/PM的区域的数量，以及在各区域中显示的图像。比如，设置在区域A显示地图图像，在区域B显示系统指标图像，在区域C显示游戏进行画面。终端设备14接收到游戏用户的操作动作生成的触摸事件，并将触摸事件发送给VM/PM。

需要说明的是，所有的区域均位于VM/PM的桌面图像中，一个区域的显示图像可以显示在一个显示设备中。

步骤2，VM/PM根据接收到的触摸事件，生成渲染指令，并将渲染指令发送给GPUPOOL，其中，渲染指令携带终端设备14ID；GPU POOL执行渲染指令，生成各区域的图像数据。

在本步骤中，VM/PM可以根据触摸事件，生成用于渲染触摸事件针对的图像的渲染指令，并将渲染指令发送给GPU POOL来执行；为了区分接收的终端设备14，渲染渲染中携带终端设备14ID，可以理解的，GPU POOL中预设了终端设备14ID与终端设备14的地址的对应关系；GPU POOL在执行渲染指令之后，生成各区域的图像数据。

步骤3，GPU POOL中的S端分别采集各区域的图像数据，并将采集到的各区域的图像数据经编码后发送给终端设备14。

步骤4，终端设备14的接收模块接收GPU POOL发送的编码后的各区域的图像数据，将编码后的各区域的图像数据发送给图像处理模块；图像处理模块对编码后的各区域的图像数据进行解码，得到各区域的图像数据；将各区域的图像数据的缩略图显示在终端设备14的屏幕上。

在本步骤中，如图4所示，终端设备14中的接收模块在接收并识别出来自GPU POOL的编码后的各区域的图像数据之后，将编码后的各区域的图像数据发送给图像处理模块；图像处理模块对编码后的各区域的图像数据进行解码，将各区域的图像缩略图显示在屏幕上。

其中，图5是根据本发明实施例的另一种云游戏控制系统中终端设备中的图像缩略图的示意图，如图5所示，图5为屏幕上显示各区域的图像缩略图的示意图。如图5所示，屏幕上显示了三个区域的图像数据。

需要说明的是，如图5所示，屏幕上显示的各区域的图像独立显示且可以调整。图5中的三个黑框代表三个显示设备。游戏玩家可以通过在屏幕上调整各区域的图像数据在各黑框中的位置，来确定各显示设备显示的区域的图像数据。也就是说，玩家用户可以在终端设备14的屏幕中设置各显示设备与各区域的图像数据的对应关系。

如图5所示，可以在左上角显示设备中显示区域A的图像数据，在右上角显示设备中显示区域B的图像数据，在下部显示设备中显示区域C的图像数据。

步骤5，终端设备14的图像处理模块获取各显示设备与各区域的图像数据的对应关系；将编码后的图像数据和获取到的对应关系发送到显示设备连接的R端。

在本步骤中，游戏用户在终端设备14的屏幕上对各显示设备和各区域的图像数据的对应关系进行设置；处理模块获取设置好的对应关系，并将对应关系和编码后的图像数据一同发送给R端。

步骤6，R端接收到编码后的图像数据和获取到的对应关系之后，对编码后的各区域的图像数据进行解码，得到各区域的图像数据；根据获取到的对应关系，将各区域的图像数据分别发送到对应的显示设备；各显示设备对接收到的区域的图像数据进行显示。

这样，游戏玩家就可以在多个显示设备上，同时观看到游戏进行画面，游戏路线图，以及系统状态图等。

步骤7，终端设备14将获取到的控制界面的图像数据发送给显示设备进行显示。

在本步骤中，如图4所示，终端设备14将获取到的控制界面的图像数据显示在屏幕上。这样，游戏玩家就能够在终端设备14的屏幕上看到虚拟游戏手柄的控制界面。

至此，游戏用户在终端设备14的屏幕上能够看到虚拟游戏手柄的控制界面，同时，在终端设备14连接的显示设备上能够看到游戏画面。

步骤8，终端设备14根据游戏用户在屏幕上执行的操作动作，生成控制事件，并将生成的控制事件发送给VM/PM；VM/PM将接收到的控制事件注入游戏程序。

在本步骤中，游戏用户在看到游戏画面和虚拟手柄的控制界面之后，可以开始游戏了。游戏用户通过在终端设备14的屏幕上执行操作动作，来实现对云服务器上的游戏的控制。终端设备14的控制事件驱动模块1获取游戏用户在屏幕上执行的操作动作，生成操作动作对应的控制事件，并将生成的控制事件发送给VM/PM上的控制事件驱动模块2；控制事件驱动模块2将控制事件注入VM/PM的操作系统，进而注入游戏程序中，实现对游戏的控制。

需要说明的是，步骤8中的控制事件在从终端设备14生成，到注入游戏程序的过程包括，其中，控制事件包括触摸屏事件和游戏手柄按键事件：

子步骤A，游戏用户在终端设备14的屏幕上进行操作，生成触摸屏事件。

子步骤B，将触摸屏事件转换为游戏手柄按键事件。

子步骤C，将游戏手柄按键事件注入游戏程序。

在具体实施中，上述过程有两种实现方式：

第一种，子步骤A和子步骤B均在终端设备14实现，子步骤C在云服务器实现。

第二种，子步骤A在终端设备14实现，子步骤B和子步骤C在云服务器实现。

根据上述不同实现方法，本发明中的步骤7的具体实现方法也有区别：

方法1，对应上述第一种实现方式，也即子步骤B在终端设备14实现。

具体的，虚拟手柄驱动模块设置在终端设备14中，由虚拟手柄驱动模块完成子步骤B。在这种情况下，终端设备14中还设置有虚拟手柄管理模块，虚拟手柄管理模块中预设有游戏手柄控制信息，其中，游戏手柄控制信息包括虚拟游戏手柄的控制界面信息。因此，终端设备14中的图像处理模块可以从虚拟手柄管理模块中获取虚拟游戏手柄的控制界面信息，根据获取到的虚拟游戏手柄的控制界面信息，生成游戏手柄的控制界面的图像数据，进而将控制界面的图像数据发送给显示设备进行显示。

方法2，对应上述第二种实现方式，也即子步骤B在云服务器实现。

具体的，虚拟手柄驱动模块设置在云服务器中，由云服务器中的虚拟手柄驱动模块完成子步骤B。在这种场景下，云服务器中还设置有虚拟手柄管理模块，虚拟手柄管理模块中预设有游戏手柄控制信息，其中，游戏手柄控制信息包括虚拟游戏手柄的控制界面信息。云服务器中的VM/PM可以将根据虚拟手柄管理模块中的虚拟游戏手柄的控制界面信息，生成游戏手柄的控制界面的图像数据，并将游戏手柄的控制界面的图像数据发送给终端设备14的图像处理模块，由图像处理模块将控制界面的图像数据发送给显示设备进行显示。

实施例2

根据本发明实施例，提供了一种云游戏控制方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图6是根据本发明实施例的云游戏控制方法在服务器中的流程示意图，如图6所示，应用于上述实施例1中的云游戏控制系统，在服务器侧，本申请实施例提供的云游戏控制方法包括如下步骤：

步骤S602，接收终端设备发送的控制指令；

步骤S604，在控制指令对应至少两个待显示图像的情况下，依据控制指令调整至少两个待显示图像；

步骤S606，将调整后的至少两个待显示图像返回终端设备。

在本发明实施例中，通过接收终端设备发送的控制指令；在控制指令对应至少两个待显示图像的情况下，依据控制指令调整至少两个待显示图像；将调整后的至少两个待显示图像返回终端设备，达到了改善云端端游操作环境的目的，从而实现了提升操作效率的技术效果，进而解决了由于现有技术中在实现云端端游的实现过程中仍需借助传统物理外接设备，操作效率降低的技术问题。

可选的，步骤S602中接收终端设备发送的控制指令包括：通过至少一个操作系统中每个操作系统与终端设备连接，或，每个操作系统与每个终端设备一一对应连接，接收终端设备发送的控制指令；将控制指令与游戏操作键进行对应转换，并将转换后的控制指令转发至图像处理器池。

可选的，步骤S604中在控制指令对应至少两个待显示图像的情况下，依据控制指令调整至少两个待显示图像包括：依据控制指令，若控制指令包括对至少两个待显示图像进行处理，则依据控制指令对至少两个待显示图像进行调整，得到调整后的至少两个待显示图像；其中，依据控制指令对至少两个待显示图像进行调整，得到调整后的至少两个待显示图像包括：依据控制指令获取至少一个操作系统中显示的图像个数、图像和显示位置；依据控制指令在图像个数、图像和显示位置中执行对应的操作，并对调整后的图像进行更新，得到调整后的至少两个待显示图像。

进一步地，可选的，本申请实施例提供的云游戏控制方法还包括：将图像个数、图像和显示位置发送至终端设备，以使得终端设备将图像个数、图像和显示位置转发至至少一个显示设备。

综上，本申请实施例提供的云游戏控制方法具体如下：

步骤1，VM/PM接收到来自终端设备的触摸事件(本申请实施例中的控制指令)之后，根据触摸事件生成渲染指令。

在本步骤中，终端设备的屏幕在初始时为登录VM/PM后的操作界面，游戏玩家可以通过在终端设备上进行操作动作，对VM/PM进行操作，具体的，可以设置VM/PM的区域的数量，以及在各区域中显示的图像。比如，设置在区域A显示地图图像，在区域B显示系统指标图像，在区域C显示游戏进行画面。终端设备接收到游戏用户的操作动作生成的触摸事件，并将触摸事件发送给VM/PM。

需要说明的是，所有的区域均位于VM/PM的桌面图像中，一个区域的显示图像可以显示在一个显示设备中。

步骤2，VM/PM根据接收到的触摸事件，生成渲染指令，并将渲染指令发送给GPUPOOL，其中，渲染指令携带终端设备ID；GPU POOL执行渲染指令，生成各区域的图像数据。

在本步骤中，VM/PM可以根据触摸事件，生成用于渲染触摸事件针对的图像的渲染指令，并将渲染指令发送给GPU POOL来执行；为了区分接收的终端设备，渲染渲染中携带终端设备ID，可以理解的，GPU POOL中预设了终端设备ID与终端设备的地址的对应关系；GPUPOOL在执行渲染指令之后，生成各区域的图像数据。

步骤3，GPU POOL中的S端分别采集各区域的图像数据，并将采集到的各区域的图像数据经编码后发送给终端设备14。

需要说明的是，虚拟手柄驱动模块设置在云服务器中，由云服务器中的虚拟手柄驱动模块完成子步骤B(将触摸屏事件转换为游戏手柄按键事件)。在这种场景下，云服务器中还设置有虚拟手柄管理模块，虚拟手柄管理模块中预设有游戏手柄控制信息，其中，游戏手柄控制信息包括虚拟游戏手柄的控制界面信息。云服务器中的VM/PM可以将根据虚拟手柄管理模块中的虚拟游戏手柄的控制界面信息，生成游戏手柄的控制界面的图像数据，并将游戏手柄的控制界面的图像数据发送给终端设备的图像处理模块，由图像处理模块将控制界面的图像数据发送给显示设备进行显示。

实施例3

根据本发明实施例的又一方面，还提供了一种云游戏控制方法，图7是根据本发明实施例的云游戏控制方法在终端设备中的流程示意图，如图7所示，应用于实施例1中的云游戏控制系统，在终端设备侧，本申请实施例提供的云游戏控制方法包括如下步骤：

步骤S702，显示控制键；

步骤S704，将控制键触发的控制指令发送至服务器；

步骤S706，向至少一个显示设备转发服务器依据控制指令返回的至少两个待显示图像。

在本发明实施例中，通过显示控制键；将控制键触发的控制指令发送至服务器；向至少一个显示设备转发服务器依据控制指令返回的至少两个待显示图像，达到了改善云端端游操作环境，减轻终端设备的数据流处理能力的目的，从而实现了提升操作效率的技术效果，进而解决了由于现有技术中在实现云端端游的实现过程中仍需借助传统物理外接设备，操作效率降低的技术问题。

可选的，本申请实施例提供的云游戏控制方法还包括：在显示控制键之前，登录服务器，并向服务器发送设置指令，其中，设置指令，用于设置服务器中显示的图像个数、图像和显示位置；接收服务器依据设置指令返回的至少两个待显示图像；将至少两个待显示图像转发至至少一个显示设备。

进一步地，可选的，将至少两个待显示图像转发至至少一个显示设备包括：获取至少两个待显示图像中每个图像与至少一个显示设备的连接关系；依据连接关系，将至少两个待显示图像发送至至少一个显示设备。

可选的，步骤S704中的将控制键触发的控制指令发送至服务器包括：在虚拟手柄驱动模块设置在终端设备中的情况下，将控制键触发的控制指令转换为游戏手柄按键控制指令；将游戏手柄按键控制指令发送至服务器。

综上，本申请实施例提供的云游戏控制方法具体如下：

步骤1，终端设备的接收模块接收GPU POOL发送的编码后的各区域的图像数据，将编码后的各区域的图像数据发送给图像处理模块；图像处理模块对编码后的各区域的图像数据进行解码，得到各区域的图像数据；将各区域的图像数据的缩略图显示在终端设备的屏幕上。

在本步骤中，如图4所示，终端设备中的接收模块在接收并识别出来自GPU POOL的编码后的各区域的图像数据之后，将编码后的各区域的图像数据发送给图像处理模块；图像处理模块对编码后的各区域的图像数据进行解码，将各区域的图像缩略图显示在屏幕上。

其中，图5是根据本发明实施例的另一种云游戏控制系统中终端设备中的图像缩略图的示意图，如图5所示，图5为屏幕上显示各区域的图像缩略图的示意图。如图5所示，屏幕上显示了三个区域的图像数据。

需要说明的是，如图5所示，屏幕上显示的各区域的图像独立显示且可以调整。图5中的三个黑框代表三个显示设备。游戏玩家可以通过在屏幕上调整各区域的图像数据在各黑框中的位置，来确定各显示设备显示的区域的图像数据。也就是说，玩家用户可以在终端设备的屏幕中设置各显示设备与各区域的图像数据的对应关系。

如图5所示，可以在左上角显示设备中显示区域A的图像数据，在右上角显示设备中显示区域B的图像数据，在下部显示设备中显示区域C的图像数据。

步骤2，终端设备的图像处理模块获取各显示设备与各区域的图像数据的对应关系；将编码后的图像数据和获取到的对应关系发送到显示设备连接的R端。

在本步骤中，游戏用户在终端设备的屏幕上对各显示设备和各区域的图像数据的对应关系进行设置；处理模块获取设置好的对应关系，并将对应关系和编码后的图像数据一同发送给R端。

步骤3，终端设备将获取到的控制界面的图像数据发送给显示设备进行显示。

在本步骤中，如图4所示，终端设备将获取到的控制界面的图像数据显示在屏幕上。这样，游戏玩家就能够在终端设备的屏幕上看到虚拟游戏手柄的控制界面。

至此，游戏用户在终端设备的屏幕上能够看到虚拟游戏手柄的控制界面，同时，在终端设备连接的显示设备上能够看到游戏画面。

步骤4，终端设备根据游戏用户在屏幕上执行的操作动作，生成控制事件，并将生成的控制事件发送给VM/PM；VM/PM将接收到的控制事件注入游戏程序。

在本步骤中，游戏用户在看到游戏画面和虚拟手柄的控制界面之后，可以开始游戏了。游戏用户通过在终端设备的屏幕上执行操作动作，来实现对云服务器上的游戏的控制。终端设备的控制事件驱动模块1获取游戏用户在屏幕上执行的操作动作，生成操作动作对应的控制事件，并将生成的控制事件发送给VM/PM上的控制事件驱动模块2；控制事件驱动模块2将控制事件注入VM/PM的操作系统，进而注入游戏程序中，实现对游戏的控制。

需要说明的是，步骤4中的控制事件在从终端设备生成，到注入游戏程序的过程包括，其中，控制事件包括触摸屏事件和游戏手柄按键事件：

子步骤A，游戏用户在终端设备14的屏幕上进行操作，生成触摸屏事件。

子步骤B，将触摸屏事件转换为游戏手柄按键事件。

子步骤C，将游戏手柄按键事件注入游戏程序。

在具体实施中，上述过程如下：

第一种，子步骤A和子步骤B均在终端设备14实现，子步骤C在云服务器实现。

第二种，子步骤A在终端设备14实现，子步骤B和子步骤C在云服务器实现。

根据上述不同实现方法，本发明中的步骤3的具体实现方法也有区别：

对应上述第一种实现方式，也即子步骤B在终端设备实现。

具体的，虚拟手柄驱动模块设置在终端设备中，由虚拟手柄驱动模块完成子步骤B。在这种情况下，终端设备中还设置有虚拟手柄管理模块，虚拟手柄管理模块中预设有游戏手柄控制信息，其中，游戏手柄控制信息包括虚拟游戏手柄的控制界面信息。因此，终端设备中的图像处理模块可以从虚拟手柄管理模块中获取虚拟游戏手柄的控制界面信息，根据获取到的虚拟游戏手柄的控制界面信息，生成游戏手柄的控制界面的图像数据，进而将控制界面的图像数据发送给显示设备进行显示。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种云游戏控制系统，其特征在于，包括：

服务器、终端设备和至少一个显示设备；其中，

所述服务器，与所述终端设备连接，用于接收所述终端设备发送的控制指令，并在所述控制指令对应至少两个待显示图像的情况下，依据所述控制指令调整所述至少两个待显示图像，并将调整后的所述至少两个待显示图像返回所述终端设备；

所述终端设备，分别与所述至少一个显示设备和所述服务器连接，用于显示控制键，并将控制键触发的控制指令发送至所述服务器，并向所述至少一个显示设备转发所述服务器依据所述控制指令返回的所述至少两个待显示图像；

所述至少一个显示设备，与所述终端设备连接，用于显示所述终端设备转发的所述至少两个待显示图像。

2.根据权利要求1所述的系统，其特征在于，所述服务器包括：至少一个操作系统，其中，

所述至少一个操作系统中每个操作系统与所述终端设备连接，或，所述每个操作系统与每个所述终端设备一一对应连接，所述每个操作系统包括驱动控制模块，用于接收所述终端设备发送的控制指令，并将所述控制指令与游戏操作键进行对应转换，并将转换后的所述控制指令转发至图像处理器池。

3.根据权利要求2所述的系统，其特征在于，所述系统还包括：图像处理器池，与所述至少一个操作系统连接，用于获取所述至少一个操作系统的至少两个待显示图像，并依据转换后的所述控制指令对所述至少两个待显示图像进行调整，得到调整后的至少两个待显示图像。

4.根据权利要求3所述的系统，其特征在于，所述图像处理器池包括发送端和图像处理模块，其中，

所述图像处理模块，用于依据所述控制指令获取所述至少一个操作系统中显示的图像个数、图像和显示位置；并依据所述控制指令在所述图像个数、所述图像和所述显示位置中执行对应的操作，对调整后的图像进行更新，得到调整后的所述至少两个待显示图像；

所述发送端，与所述图像处理模块连接，用于发送调整后的所述至少两个待显示图像。

5.根据权利要求4所述的系统，其特征在于，所述发送端，还用于将所述图像个数、图像和显示位置发送至所述终端设备，以使得所述终端设备将所述图像个数、图像和显示位置转发至所述至少一个显示设备。

6.根据权利要求1至5中任意一项所述的系统，其特征在于，所述至少一个显示设备中的一个显示设备显示至少两个待显示图像，和/或，所述至少一个显示设备中每个显示设备分别对应显示所述至少两个待显示图像中的图像。

7.一种云游戏控制方法，其特征在于，应用于权利要求1至6中任意一项所述的系统，包括：

接收所述终端设备发送的控制指令；

在所述控制指令对应至少两个待显示图像的情况下，依据所述控制指令调整所述至少两个待显示图像；

将调整后的所述至少两个待显示图像返回所述终端设备。

8.根据权利要求7所述的方法，其特征在于，所述接收所述终端设备发送的控制指令包括：

通过所述至少一个操作系统中每个操作系统与所述终端设备连接，或，所述每个操作系统与每个所述终端设备一一对应连接，接收所述终端设备发送的控制指令；

将所述控制指令与游戏操作键进行对应转换，并将转换后的所述控制指令转发至图像处理器池。

9.根据权利要求7或8所述的方法，其特征在于，所述在所述控制指令对应至少两个待显示图像的情况下，依据所述控制指令调整所述至少两个待显示图像包括：

依据所述控制指令，若所述控制指令包括对至少两个待显示图像进行处理，则依据所述控制指令对至少两个待显示图像进行调整，得到调整后的至少两个待显示图像；

其中，依据所述控制指令对至少两个待显示图像进行调整，得到调整后的至少两个待显示图像包括：依据所述控制指令获取所述至少一个操作系统中显示的图像个数、图像和显示位置；依据所述控制指令在所述图像个数、所述图像和所述显示位置中执行对应的操作，并对调整后的图像进行更新，得到调整后的所述至少两个待显示图像。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

将所述图像个数、图像和显示位置发送至所述终端设备，以使得所述终端设备将所述图像个数、图像和显示位置转发至所述至少一个显示设备。

11.一种云游戏控制方法，其特征在于，应用于权利要求1至6中任意一项所述的系统，包括：

显示控制键；

将所述控制键触发的控制指令发送至服务器；

向至少一个显示设备转发服务器依据所述控制指令返回的至少两个待显示图像。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

在所述显示控制键之前，登录所述服务器，并向所述服务器发送设置指令，其中，所述设置指令，用于设置所述服务器中显示的图像个数、图像和显示位置；

接收所述服务器依据所述设置指令返回的至少两个待显示图像；

将所述至少两个待显示图像转发至所述至少一个显示设备。

13.根据权利要求12所述的方法，其特征在于，所述将所述至少两个待显示图像转发至所述至少一个显示设备包括：

获取所述至少两个待显示图像中每个图像与所述至少一个显示设备的连接关系；

依据所述连接关系，将所述至少两个待显示图像发送至所述至少一个显示设备。

14.根据权利要求11所述的方法，其特征在于，将所述控制键触发的控制指令发送至服务器包括：

在虚拟手柄驱动模块设置在终端设备中的情况下，将所述控制键触发的所述控制指令转换为游戏手柄按键控制指令；

将所述游戏手柄按键控制指令发送至所述服务器。

Images