CN115269115A

CN115269115A - 云操作方法、装置、电子设备以及介质

Info

Publication number: CN115269115A
Application number: CN202210813363.1A
Authority: CN
Inventors: 王帅; 王剑
Original assignee: Beijing Volcano Engine Technology Co Ltd
Current assignee: Beijing Volcano Engine Technology Co Ltd
Priority date: 2022-07-11
Filing date: 2022-07-11
Publication date: 2022-11-01

Abstract

本公开涉及一种云操作方法、装置、电子设备以及介质，涉及云处理技术领域，该方法包括，第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，目标映射关系是根据云服务器预先配置的数据规格配置，确保输入控制数据符合云服务器的数据规格，云服务器获取第一客户端发送的输入控制数据，根据输入控制数据对目标应用的画面进行渲染生成新的画面，将新的画面和输入控制数据发送给第二客户端，控制第二客户端基于输入控制数据生成操作动画并搭配操作动画展示新的画面，由于云服务器获得的输入控制数据符合预先设置的数据规格，保证该数据能够被云服务器识别，确保后续的画面生成操作的进行。

Description

云操作方法、装置、电子设备以及介质

技术领域

本公开涉及云处理技术领域，具体地，涉及一种云操作方法、装置、电子设备以及介质。

背景技术

随着网络质量的改善、云服务器算力的提升、以及网络系统架构的日渐成熟稳定，基于云服务器的云渲染技术应运而生。用户可以通过自身的输入控制设备进行输入操作，云服务器处理该输入操作，从而渲染出画面供其他设备的用户观看。但是，不同用户使用的输入控制设备可能不同，导致云服务器可能无法识别出基于输入控制设备的输入操作。

发明内容

提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种云操作方法，应用于云服务器，所述方法包括：获取第一客户端发送的输入控制数据，所述输入控制数据是所述第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定的，所述目标映射关系是根据所述云服务器预先配置的数据规格预先配置的；根据所述输入控制数据，对目标应用的画面进行渲染，生成新的画面；将所述新的画面以及所述输入控制数据发送给第二客户端，所述输入控制数据用于控制所述第二客户端在显示所述新的画面时，展示所述新的画面对应的操作动画。

第二方面，本公开提供一种云操作方法，应用于第一客户端，所述方法包括：响应于外部设备的操作事件，根据所述外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，所述目标映射关系是根据云服务器预先配置的数据规格预先配置的；将所述输入控制数据发送给所述云服务器，所述输入控制数据用于所述云服务器对目标应用的画面进行渲染，以生成新的画面。

第三方面，本公开提供一种云操作装置，应用于云服务器，所述装置包括：获取模块，用于获取第一客户端发送的输入控制数据，所述输入控制数据是所述第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定的，所述目标映射关系是根据所述云服务器预先配置的数据规格预先配置的；生成模块，用于根据所述输入控制数据，对目标应用的画面进行渲染，生成新的画面；第一发送模块，用于将所述新的画面以及所述输入控制数据发送给第二客户端，所述输入控制数据用于控制所述第二客户端在显示所述新的画面时，展示所述新的画面对应的操作动画。

第四方面，本公开提供一种云操作装置，应用于第一客户端，所述装置包括：响应模块，用于响应于外部设备的操作事件，根据所述外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，所述目标映射关系是根据云服务器预先配置的数据规格预先配置的；第二发送模块，用于将所述输入控制数据发送给所述云服务器，所述输入控制数据用于所述云服务器对目标应用的画面进行渲染，以生成新的画面。

第五方面，本公开提供一种电子设备，包括：存储装置，其上存储有至少一个计算机程序；至少一个处理装置，用于执行所述存储装置中的所述至少一个计算机程序，以实现上述方法的步骤。

第六方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行上述方法的步骤。

本公开提供的云操作方法、装置、电子设备以及介质，应用于云服务器，第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，其中，目标映射关系是根据云服务器预先配置的数据规格预先配置的，确保了第一客户端转换获得的输入控制数据符合云服务器的数据规格，云服务器获取第一客户端发送的输入控制数据，再根据输入控制数据对目标应用的画面进行渲染，生成新的画面，将新的画面以及输入控制数据发送给第二客户端，控制第二客户端基于输入控制数据生成操作动画并且搭配操作动画展示新的画面，由于云服务器获得的输入控制数据符合预先设置的数据规格，保证该输入控制数据能够被云服务器成功识别，确保后续的画面生成操作的进行。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：

图1示出了一种渲染画面示意图。

图2示出了本公开一实施例提供的云操作方法的一种应用环境示意图。

图3示出了本公开一实施例提供的云操作系统的构架示意图。

图4示出了本公开一实施例提供的云操作方法的流程示意图。

图5示出了本公开又一实施例提供的云操作方法的流程示意图。

图6示出了本公开又一实施例提供的云操作方法的流程示意图。

图7示出了本公开又一实施例提供的云操作方法的流程示意图。

图8示出了本公开又一实施例提供的云操作方法的流程示意图。

图9(a)示出了一种画面示意图；

图9(b)示出了又一种画面示意图；

图9(c)示出了又一种画面示意图；

图10示出了本公开又一实施例提供的云操作方法的流程示意图。

图11示出了本公开又一实施例提供的云操作方法的流程示意图。

图12示出了本公开一实施例提供的输入控制数据捕获示意图。

图13示出了本公开一示例性实施例示出的一种云操作装置的框图。

图14示出了本公开一示例性实施例示出的一种云操作装置的框图。

图15示出了本公开一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或计算机可读介质等软件或硬件提供个人信息。

作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。

同时，可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。

随着网络质量的改善、云服务器在中心以及边缘部署的算力提升、以及网络系统架构的日渐成熟稳定，基于云服务器的云渲染技术应运而生。用户可以通过自身的输入控制设备进行输入操作，云服务器处理该输入操作，从而渲染出画面供其他设备的其他用户观看。基于实时云渲染技术的应用已在众多场景落地，例如有云游戏、云扩展现实(eXtended Reality，简称XR)等。

上述应用的共同特点是用户本地需提供必要的输入输出设备，因为计算过程大多在云服务器中执行，因此在用户本地无需提供昂贵的计算设备(如高性能处理器)，便可进行实时响应用户输入操作的高质量音视频渲染。其中，本地的输入控制设备用于捕获用户的输入操作，并实时传输到远端的云服务器；云服务器响应该输入操作，以便完成音视频渲染，并将渲染好的音视频媒体流实时传输回用户终端(可以为用户本地的终端，也可以为其他用户的终端)，完成实时渲染场景体验。

需要说明的是，针对实时云渲染技术场景落地的不同，用户本地提供的输入控制设备可能不同。例如，针对云游戏场景中常见的输入控制设备有鼠标、键盘、手机触控屏、游戏手柄等；云XR常见的输入控制设备有虚拟现实(Virtual Reality，简称VR)手柄、动捕手套、脸捕设备等；再例如，在一些专业领域应用场景还包括具备专有用途输入控制设备，如飞行驾驶控制器、机床操作控制器等。

然而，经过研究发现，现有技术存在如下问题：

1.输入控制设备的种类和输入方式问题：对于输入控制数据，现有输入控制设备通常在捕获到输入操作或者操作事件后(如键盘、鼠标、游戏手柄事件等)，直接转换为输入控制信息，并传输到云服务端侧。用户操作事件直接关联云服务端所需要的输入控制事件，属于强关联关系，通常会限制输入控制设备的种类和输入方式的多样性，可以理解的是，只有强关联关系规定的输入控制设备方可进行有效输入。例如，当用户提供一个游戏手柄、蓝牙键盘、甚至通过VR一体机或VR手柄等输入控制设备进行来进行游戏操控时，这些输入控制设备并不具备灵活的输入设备对接能力，可以理解的是，云服务器不理解上述输入控制设备的操作事件。

2.数据存储问题：在目前的方案中，客户端到云服务端的输入数据单向传输，该数据在云服务器完成实时渲染计算生成渲染视频之后，一方面由于其完成了实时交互的任务，另一方面由于其数据量较大，为节约云服务器的存储空间，通常该数据随即被丢弃掉，并不单独保存下来。

3.展示问题：在云服务器进行实时渲染计算时，由目标应用自身去实现将输入操作直接转换为展示效果。例如，如图1所示，玩家在进行云游戏时，云服务器的游戏应用将每次的输入操作展示为半透明的图层(如图1所示的标注框A所展示的区域)，作为游戏画面的一部分发送至终端进行展示，不能由用户灵活设置输入操作的展示方式。

针对上述技术问题，经过长期的研究，本公开提出了一种云操作方法、装置、电子设备以及介质，旨在解决上述问题。在此之前，本公开先介绍云操作方法涉及的应用环境，请参阅图2，云操作系统100包括多个客户端以及云服务器140，多个客户端均与云服务器140连接。其中，客户端可以为笔记本电脑、台式电脑、智能手机等。云服务器可以提供诸如云渲染等云计算服务，云服务器可以将计算结果发送至多个客户端中的全部或者部分客户端进行展示。

示例性的，客户端的数量为3个，包括第一客户端110、第二客户端120和第三客户端130，其中，第一客户端110、第二客户端120以及第三客户端130均与云服务器140连接。第一客户端110、第二客户端120以及第三客户端130均可以为笔记本电脑、台式电脑或者智能手机。

在一些场景中，如用户A通过第一客户端110的外部设备(例如鼠标、键盘、手柄等)进行输入操作触发操作事件，云服务器基于触发的操作事件进行渲染生成画面，并将画面发送至多个终端中的至少一个进行显示。以发送至第二客户端120进行展示，以便第二客户端120的用户B观看为例，可选地，请参阅图3，云服务器140包括：输入规格定义模块141、解码模块142、注入模块143、传输模块144、分发模块145以及存储回放模块146。第一客户端110包括捕获映射模块111、编码模块112以及传输模块113。第二客户端120包括传输模块121、解码模块122以及映射展示模块123。第一客户端110、第二客户端120以及云服务器140之间通过各自的传输模块进行通信。

本公开实施例提供一种云操作方法，应用于图2和图3中的云服务器140，请参阅图4，所述云操作方法可以包括如下步骤：

步骤S110、获取第一客户端发送的输入控制数据，所述输入控制数据是所述第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定的，所述目标映射关系是根据所述云服务器预先配置的数据规格预先配置的。

用户A通过第一客户端的外部设备(例如鼠标、键盘、游戏手柄等)进行输入操作(例如按压、点击、滑动、拖动、长按等操作)，第一客户端基于该输入操作触发操作事件，可以理解的是，该操作事件可以被第一客户端理解但不能被云服务器理解，因此，为便于云服务器通过目标应用进行渲染处理，第一客户端需要基于目标映射关系将触发事件转换为输入控制数据，再将输入控制数据发送至云服务器，可以理解的，输入控制数据可以被云服务器理解，其中，目标映射关系中规定了触发事件和输入控制之间的对应关系，并且目标映射关系是根据云服务器预先配置的数据规格预先配置的，第一客户端基于该目标映射关系，获得操作事件对应的输入控制数据。

在一种实施方式中，在第一客户端触发操作事件时，第一客户端向云服务器请求上述目标映射关系，云服务器在接收到该请求时，响应该请求发送目标映射关系至第一客户端，以便于进行上述转换。

在另一种实施方式中，在第一客户端通过网页、链接、小程序等进入目标应用时，云服务器获取用户A在第一客户端上的身份设置，如果该身份设置与预设身份(例如预设身份为教师、主播等)一致，则云服务器将目标映射关系发送至第一客户端，以便于第一客户端进行上述转换。

步骤S120、根据所述输入控制数据，对目标应用的画面进行渲染，生成新的画面。

其中，目标应用可以为游戏应用、教学应用(例如针对钢琴教学或机器操作教学的应用)，输入控制数据用来实现对目标应用中的各项功能的控制，各项功能可以包括前进、后退、向左、向右、翻滚、跳跃、攻击、暂停、打开菜单等。

云服务器根据输入控制数据，对目标应用的当前画面进行渲染，生成展示有执行输入控制数据对应的功能的新的画面(新的画面可以为游戏画面)。示例性的，输入控制数据用来控制目标对象前进，则渲染出的新的画面是目标对象前进的画面。

步骤S130、将所述新的画面以及所述输入控制数据发送给第二客户端，所述输入控制数据用于控制所述第二客户端在显示所述新的画面时，展示所述新的画面对应的操作动画。

将新的画面以及输入控制数据发送给第二客户端，控制第二客户端展示有操作动画的新的画面。

在一种实施方式中，将新的画面以及输入控制数据发送至第二客户端，第二客户端根据输入控制数据生成操作外部设备的操作动画，再叠加操作动画和新的画面后进行展示。

本实施例提供一种云操作方法，应用于云服务器，第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，其中，目标映射关系是根据云服务器预先配置的数据规格预先配置的，确保了第一客户端转换获得的输入控制数据符合云服务器的数据规格，云服务器获取第一客户端发送的输入控制数据，再根据输入控制数据对目标应用的画面进行渲染，生成新的画面，将新的画面以及输入控制数据发送给第二客户端，控制第二客户端基于输入控制数据生成操作动画并且搭配操作动画展示新的画面，由于云服务器获得的输入控制数据符合预先设置的数据规格，保证该输入控制数据能够被云服务器成功识别，确保后续的画面生成操作的进行。

可选地，在上述实施例的基础上，本实施例提出一种云操作方法，请参阅图5，云操作方法可以包括如下步骤：

步骤S210、向所述第一客户端发送符合所述数据规格的初始映射关系，所述初始映射关系用于所述第一客户端基于用户的配置操作确定所述目标映射关系。

云服务器向第一客户端发送初始映射关系，初始映射关系中包括默认操作事件和符合数据规格的输入控制数据之间的对应关系。可选地，输入控制数据可以包括映射索引，初始映射关系可以为关系映射表的形式，如表1所示：

表1

映射索引	映射语义	默认操作事件
			1	前进	<KEY_UP,DOWN>
2	进攻	<KEY_J,DOWN>

在一种实施方式中，针对同一外部设备，可以根据用户的使用习惯对初始映射关系进行调整，根据用户基于第一客户端的设置，获得目标映射关系。例如，在默认操作事件中，按压键盘上的字母J键表示用户控制目标对象执行进攻功能，但是用户习惯使用字母Q键进行进攻，可以基于第一客户端对初始映射关系进行设置，获得目标映射关系，如表2所示：

表2

映射索引	映射语义	默认操作事件	自定义事件
				1	前进	<KEY_UP,DOWN>
2	进攻	<KEY_J,DOWN>	<KEY_Q,DOWN>

第一终端设备根据目标映射关系将操作事件映射成为输入数据时，当操作事件在目标映射关系中存在自定义事件时，获取自定义事件对应的输入数据，例如，用户的操作事件为按压键盘上的Q键，则根据与操作事件匹配的自定义事件<KEY_Q,DOWN>，获得映射索引2；当操作事件在目标映射关系中不存在自定义事件时，获取默认操作事件对应的输入数据，例如，当用户的操作事件为按压键盘上的UP键时，则根据与操作事件匹配的默认操作事件<KEY_UP,DOWN>，获得映射索引1。

在另一种实施方式中，当第一终端设备新增有外部设备，新增的外部设备触发的输入控制事件不能转换成为上述数据规格的输入控制数据，因此，需要重新配置初始映射关系，获得目标映射关系。例如，表1中的初始映射关系针对外部设备A，当新增有外部设备B时，需要对基于外部设备B触发的事件进行配置，获得的目标映射关系如表3所示：

表3

用户通过第一终端设备的外部设备B进行输入操作时，第一终端设备通过输入端口确定是外部设备B的输入操作触发的操作事件，根据自定义事件1与映射索引之间的对应关系获得输入控制数据，便于云服务器理解针对新增的外部设备B的操作。例如，针对外部设备B触发的操作事件为按压数字12按钮，则根据与操作事件匹配的自定义事件1<GAMEPAD_BUTTON_12,PRESSED>，获得映射索引1。

可选地，当新增有外部设备时均可以配置上述映射关系，实现了不同类型的外部设备的兼容和统一管理。

可选地，在第一客户端配置的目标映射关系可以回传至云服务器，云服务器存储目标映射关系，当用户下一次使用第一客户端时，云服务器将该目标映射关系发送至第一客户端，记住用户的配置，便于用户直接使用，无需根据使用再次配置。

在本实施例中，可以根据用户需求配置目标映射关系，一方面便于用户操作，另一方面也可以使得云操作系统可以适配更多的外部设备，便于用户使用。

可选地，所述目标映射关系包括：自定义操作事件、默认操作事件、映射语义以及映射索引之间的映射关系。所述输入控制数据是对所述目标映射关系中对应所述第一客户端的外部设备的操作事件的映射索引进行编码得到的。示例性的，输入控制数据可以通过图3中第一客户端110的编码模块进行编码获得，例如，可以将json格式的映射索引通过编码，转换为protobuf格式的映射索引。

在连续使用第一客户端时，可能依次触发多个操作事件，在对多个操作事件存储时，可以按照操作事件的发生时间以及事件序列进行存储，便于在回动画时，展示的操作动画能与上述新的画面对应。可选地，所述输入控制数据包括映射索引集合、映射索引集合中每个映射索引对应的操作事件的发生时间以及事件序列。

步骤S220、获取第一客户端发送的输入控制数据，所述输入控制数据是所述第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定的，所述目标映射关系是根据所述云服务器预先配置的数据规格预先配置的。

步骤S230、根据所述输入控制数据，对目标应用的画面进行渲染，生成新的画面。

步骤S240、将所述新的画面以及所述输入控制数据发送给第二客户端，所述输入控制数据用于控制所述第二客户端在显示所述新的画面时，展示所述新的画面对应的操作动画。

本实施例中，步骤S220-步骤S240的具体描述可以参考上述实施例中步骤S110-步骤S130，在此不再赘述。

在本实施例提供的云操作方法，可以配置目标映射关系，使得映射关系适用于更多的外部设备，提高了第一客户端搭配的外部设备的灵活性，并且可以根据用户喜好设置目标映射关系，以提高用户体验。

可选地，在上述实施例的基础上，本实施例提供一种云操作方法，请参阅图6，所述云操作方法可以包括如下步骤：

步骤S310、获取第一客户端发送的输入控制数据，所述输入控制数据是所述第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定的，所述目标映射关系是根据所述云服务器预先配置的数据规格预先配置的。

步骤S320、根据所述输入控制数据，对目标应用的画面进行渲染，生成新的画面。

步骤S330、将所述新的画面以及所述输入控制数据发送给第二客户端，所述输入控制数据用于控制所述第二客户端在显示所述新的画面时，展示所述新的画面对应的操作动画。

本实施例中，步骤S310-步骤S330的具体描述可以参考上述实施例中步骤S110-步骤S130，在此不再赘述。

步骤S340、对所述输入控制数据进行存储。

云服务器将输入控制数据存储至预定存储位置，可选地，请参阅图3，云服务器140将控制数据存储至存储回放模块146。

可选地，还可以将上述新的画面进行存储，便于后续回放，例如，将新的画面与输入控制数据进行绑定，并且将新的画面存储值存储回放模块146。

步骤S350、获取第三客户端的回放请求。

当第三客户端的用户有回放需求时，基于第三客户端触发回放请求，并通过连接关系发送至云服务器，云服务器获取第三客户端的回放请求。例如，回放请求用于请求xx年xx月xx日xx时的画面。

需要说明的是，云操作系统中的任一客户端均可以向云服务器发送回放请求，不限于第三客户端，例如，第一客户端或第二客户端均可以向云服务器发送回放请求。

步骤S360、根据所述回放请求中的时间信息，从存储的输入控制数据中确定对应所述时间信息的目标控制数据。

云服务器根据回放请求中的时间信息，从存储的输入控制数据中查找时间信息对应的数据作为目标控制数据。其中，目标控制数据可以为一段输入控制数据中的一部分，例如，一段目标控制数据为12:00-13:00，回放请求中请求的为12:30-12:40之间的画面，因此，目标控制数据为12:30-12:40之间的输入控制数据，其中，一段输入控制数据可以理解为一场直播的所有输入控制数据。目标控制数据还可以为多段输入控制数据中的一段，例如，多段输入控制数据为12:00-13:00,14:00-14:40，回放请求中请求的为12:00开始的一段画面，因此，目标控制数据为12:00-13:00的输入控制数据，其中，多段输入控制数据可以理解为多场直播的输入控制数据，目标控制数据可以为多场直播其中一场的输入控制数据。

步骤S370、将所述目标控制数据发送给所述第三客户端，所述目标控制数据用于控制所述第三客户端回放所述第一客户端在所述时间信息表征的时间段内的操作动画。

云服务器将目标控制数据发送至第三客户端，控制第三客户端根据目标控制数据生成操作动画，便于第三客户端的用户观看操作手法。

可选地，为了展示目标控制数据的效果，云服务器将存储的上述时间段内的新的画面与目标控制数据均发送至第三客户端，在第三客户端上显示新的画面时显示操作动画，便于第三客户端的用户观看具体的操作方式和操作产生的效果。

可选地，在某一段动画中，第三客户端的用户只关注一段时间内的第一客户端的操作，因此，云服务器可以将一段存储的新的画面(可以理解为一场直播生成的动画)以及目标控制数据发送至第三客户端，在一段新的画面上的时间戳表征的时间段与上述时间信息表征的时间段一致时，在该时间段内搭配操作动画播放新的画面，而在新的画面的其他时间段上，直接播放新的画面，根据用户的需求只展示用户关注的时间段内的操作动画，避免其他时间段的操作动画影响用户观看，并且只生成关注的时间段的操作动画节约了第三客户端的处理器资源。

在本实施例提供的云操作方法，云服务器存储输入控制数据和新的画面，在第三客户端存在回放需求时，获取第三客户端的回放请求，根据回放请求中的时间信息，从存储的输入控制数据中确定时间信息对应的目标控制数据，将目标控制数据发送至第三客户端，控制第三客户端显示基于目标控制数据生成的操作动画，根据用户的需求展示指定的内的操作动画，避免其他时间段的操作动画影响用户观看。

可选地，本公开实施例提供一种云操作方法，应用于第一客户端，请参阅图7，所述云操作方法可以包括如下步骤：

步骤S410、响应于外部设备的操作事件，根据所述外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，所述目标映射关系是根据云服务器预先配置的数据规格预先配置的。

第一客户端连接有外部设备，例如，外部设备可以为鼠标、键盘、游戏手柄等，用户基于外部设备进行输入操作，第一客户端基于该输入操作触发操作事件，响应于该操作事件，通过目标映射关系，获得操作事件对应的输入控制数据，其中，目标映射关系中规定了触发事件和输入控制之间的对应关系，并且目标映射关系是根据云服务器预先配置的数据规格预先配置的。

在另一种实施方式中，在第一客户端通过网页、链接、小程序等进入目标应用或者登录用户账号时，云服务器获取用户A在第一客户端上的身份设置，如果该身份设置与预设身份(例如预设身份为教师、主播等)一致，则云服务器将目标映射关系发送至第一客户端，以便于第一客户端进行上述转换。

接收所述云服务器发送的符合所述数据规格的初始映射关系；基于用户的配置操作和所述初始映射关系确定所述目标映射关系。

所述目标映射关系包括：自定义操作事件、默认操作事件、映射语义以及映射索引之间的映射关系；所述输入控制数据是对所述目标映射关系中对应所述第一客户端的外部设备的操作事件的映射索引进行编码得到的，编码后的控制数据在传输、存储和响应上均有显著的收益。

所述输入控制数据包括映射索引集合、所述第一客户端的外部设备的操作事件的发生时间以及事件序列。

步骤S420、将所述输入控制数据发送给所述云服务器，所述输入控制数据用于所述云服务器对目标应用的画面进行渲染，以生成新的画面。

第一客户端将输入控制数据发送至云服务器，云服务器对目标应用的画面进行渲染，以生成新的画面，在云操作系统中的客户端有显示需求时，云服务器将新的画面和输入控制数据发送至对应的客户端进行显示。

本实施例提供一种云操作方法，应用于第一客户端，第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，其中，目标映射关系是根据云服务器预先配置的数据规格预先配置的，确保了第一客户端转换获得的输入控制数据符合云服务器的数据规格，云服务器获取第一客户端发送的输入控制数据，再根据输入控制数据对目标应用的画面进行渲染，生成新的画面，将新的画面以及输入控制数据发送给第二客户端，控制第二客户端基于输入控制数据生成操作动画并且搭配操作动画展示新的画面，由于云服务器获得的输入控制数据符合预先设置的数据规格，保证该输入控制数据能够被云服务器成功识别，确保后续的画面生成操作的进行。

在第一客户端有显示需求时，云服务器可以将数据发送至第一客户端进行展示，在上一实施例的基础上，本实施例提供一种云操作方法，请参阅图8，所述方法可以包括如下步骤：

步骤S510、响应于外部设备的操作事件，根据所述外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，所述目标映射关系是根据云服务器预先配置的数据规格预先配置的。

步骤S520、将所述输入控制数据发送给所述云服务器，所述输入控制数据用于所述云服务器对目标应用的画面进行渲染，以生成新的画面。

本实施例中，步骤S510-步骤S520的具体描述可以参考上述实施例中步骤S410-步骤S420，在此不再赘述。

步骤S530、响应于接收到所述云服务器发送的目标应用的新的画面以及输入控制数据。

云服务器自动地将新的画面以及输入控制数据发送至与其连接的第一客户端，或者，第一客户端存在展示需求时，发送展示请求给云服务器，云服务器响应于该请求发送新的画面以及输入控制数据给第一客户端。

步骤S540、根据输入控制数据以及预设展示映射关系，确定对应所述输入控制数据的展示处理操作，其中，所述预设展示映射关系至少包括所述输入控制数据与所述展示处理操作之间的对应关系。

展示映射关系中至少包括输入控制数据与展示处理操作之间的对应关系，第一客户端根据输入控制数据以及预设展示映射关系，确定输入控制数据对应的展示处理操作，展示处理操作即展示操作动画。

可选地，展示映射关系可以关系映射表，以输入控制数据包括映射索引和映射语义，展示处理操作包括展示方式和操作动画为例，展示映射关系可以如表4所示：

表4

步骤S550、根据所述展示处理操作，显示所述新的画面以及对应所述新的画面的操作动画。

为便于用户观看操作产生的效果，可以搭配操作动画展示新的画面，当映射索引为1时，根据表4中的展示映射关系，获得的操作动画可以为如图9(a)所示操作动画B1，如图9(a)所示，操作动画B1和新的画面B2可以在不同的显示区域进行显示，还可以如图9(b)所示，操作动画B1和新的画面B2叠加后进行显示。

可选的，用户还可以在第一客户端上进行设置，设置显示操作动画或者不显示操作动画，当设置为不显示操作动画时，如图9(c)所示只显示新的画面B2。

可选地，请参阅图10，本实施例提供的云操作方法可以包括如下步骤：

步骤S610、响应于外部设备的操作事件，根据所述外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，所述目标映射关系是根据云服务器预先配置的数据规格预先配置的。

步骤S620、将所述输入控制数据发送给所述云服务器，所述输入控制数据用于所述云服务器对目标应用的画面进行渲染，以生成新的画面。

本实施例中，步骤S610-步骤S620的具体描述可以参考上述实施例中步骤S410-步骤S420，在此不再赘述。

步骤S630、向所述云服务器发送回放请求，所述回放请求中包括时间信息，所述回放请求用于请求所述云服务器从存储的输入控制数据中查询所述时间信息对应的目标控制数据。

当第一客户端有回放需求时，第一客户端向云服务器发送回放请求。回放请求用于向云服务器请求时间信息对应的目标控制数据，云服务器响应于该回放请求，从存储的输入控制数据中查找时间信息对应的目标控制数据，并将目标控制数据发送给第一客户端。可选地，云服务器还可以发送时间信息对应的新的画面。

步骤S640、接收所述云服务器发送的所述目标控制数据，根据所述目标控制数据，展示操作动画以及所述时间信息对应的画面。

第一客户端接收云服务器发送的目标控制数据，根据目标控制数据生成操作动画，并且接收时间信息对应的画面(该画面为云服务器基于目标控制数据渲染获得，即上述新的画面)，搭配操作动画展示时间信息对应的画面。

在一种实施方式中，在回放时，存储的是目标控制数据，根据目标控制数据生成操作动画，而并非是存储的操作动画，因此，可以根据用户的设置显示包含用户期望的操作类型的操作动画，可选地，用户基于第一客户端进行设置需要展示的操作类型，第一客户端基于该设置接收筛选指令，其中，筛选指令用于指示需要显示的操作的类型；若目标控制数据的类型与所述筛选指令中指示的类型相同，则展示操作动画以及所述时间信息对应的画面，若目标控制数据的数据类型与筛选指令中指示的类型不同，则用户不关注该类型的操作，不展示该目标控制数据对应的操作动画而只展示时间信息对应的画面。示例性的，以筛选指令中指示的类型为前进类型为例，若目标控制数据的类型为攻击类型，则目标控制数据的攻击类型与筛选指令中指示的前进类型不同，在第一客户端上只展示时间信息对应的画面；若目标控制数据的类型为前进类型，则目标控制数据的前进类型与筛选指令中指示的前进类型相同，在第一客户端上展示操作动画和时间信息对应的画面。

本实施例的云操作方法，第一客户端有回放需求时，向云服务器发送回放请求，其中，回放请求用于请求云服务器从存储的输入控制数据中查询时间信息对应的目标控制数据以及画面，并接收云服务器发送的目标控制数据以及画面，第一客户端接收用户输入的筛选指令，若目标控制数据的类型于筛选指令中指示的类型相同，则展示操作动画以及时间信息对应的画面，根据用户的设置对应展示操作动画，提高了操作动画展示的灵活性，便于用户观看。

可选地，本实施例提供一种云操作方法，应用于图2所示的云操作系统100，云操作系统包括第一客户端、第二客户端、第三客户端和云服务器，请参阅图11，云操作方法可以包括如下步骤：

步骤S701、云服务器发送目标映射关系至第一客户端。

可选地，结合图3，云服务器140的输入规格定义模块141中定义了操作事件和输入控制数据之间的目标映射关系，云服务器通过输入规格定义模块将目标映射关系发送至第一客户端110的捕获映射模块111。

步骤S702、第一客户端响应于外部设备的操作事件，根据外部设备的操作事件和云服务器的输入控制数据之间的目标映射关系确定输入控制数据。

在一种实施方式中，结合图3和图12，捕获输入控制数据可以包括如下步骤：

Step1、可以在第一客户端上配置初始映射关系，通过其上的捕获映射模块将初始映射关系发送至输入规格定义模块进行保存，在用户需要再次配置映射关系时，输入规格定义模块返回初始映射关系至捕获映射模块。

Step2、在第一客户端有捕获映射模块后，用户对初始映射关系配置映射，获得目标映射关系，并且将目标映射关系发送至输入规格定义模块进行存储。

Step3、捕获映射模块加载目标映射关系，在用户触发操作事件时，基于目标映射关系获取输入控制数据，其中输入控制数据可以包括映射索引项，将映射索引项发送至编码模块进行编码。

编码模块对输入控制数据进行编码，获得编码后的输入控制数据，可选地，编码模块对json格式的输入控制数据(例如映射索引项)进行编码获得protobuf格式的输入控制数据。示例性的，在一段时间内，获得输入控制数据为多个，json格式的序列化的输入控制数据可以如下所示：

通过如下程序代码进行编码：

其中，上述代码中Event用来保存基本的事件信息，包括映射索引列表和事件时间偏移量，其中，映射索引列表包括多个按照时间先后顺序产生的映射索引，事件时间偏移量表示某一个映射索引相对于映射索引列表中的第一个映射索引的相对时间，其单位可以为毫秒、分秒等。EventStore负责存储实时音视频流的事件序列，主要由存储回放模块使用。

编码后的protobuf格式的输入控制数据如下所示：

00000000 08 01 08 02 03 08 04 08 05 08 06 08 07 08 08

00000010 08 09 08 0A 10 64

步骤S703、第一客户端发送输入控制数据至云服务器。

如图3所示，第一客户端110通过自身的传输模块113将编码后的输入控制数据发送至云服务器140的传输模块144。

传输模块可采用基于网页即时通信(Web Real-Time Communication，简称WebRTC)协议中的数据通道来实现输入控制数据的传输。该数据通道基于流控制传输协议(Stream Control Transmission Protocol，简称SCTP)实现消息的按序传递，并借助数据包传输层安全性协议(Datagram Transport Layer Security，简称DTLS)进行安全性保障，以及使用用户数据报协议(User Datagram Protocol，简称UDP)进行封装，使得数据传输能够复用建立起来的交互式连接建立协议(Interactive Connectivity Establishment，简称ICE)通道进行端到端的传输。

步骤S704、云服务器根据输入控制数据，对目标应用的画面进行渲染，生成新的画面，并存储控制数据。

在一种实施方式中，结合图3，云服务器140的传输模块144在接收到输入控制数据时，发送至分发模块145，由分发模块145对编码后的输入控制数据进行分发指派。分发模块145将编码后的输入控制数据发送至存储回放模块146进行存储，并且将编码后的输入控制数据发送至解码模块142进行解码(可以理解为反序列化操作)，获得解码后的输入控制数据(即json格式的输入控制数据)，并且通过注入模块143将解码后的输入控制数据注入目标应用中，控制目标应用通过解码后的输入控制数据渲染出新的画面，分发模块145还可以将编码后的输入控制数据发送至其他具有观看需求的客户端。

示例性的，在一场直播中，存储回放模块中存储的输入控制数据的数量为多个，存储回放模块中存储的是编码后的输入控制数据，可以如下所示：

00000000 0A 16 08 01 08 02 08 03 08 04 08 05 08 06 08 07

00000010 08 08 08 09 08 0A 10 64 0A 17 08 01 08 02 08 03

00000020 08 04 08 05 08 06 08 07 08 08 08 09 08 0A 10 C8

00000030 01 0A 17 08 01 08 02 08 03 08 04 08 05 08 06 08

00000040 07 08 08 08 09 08 0A 10 AC 02 0A 17 08 01 08 02

00000050 08 03 08 04 08 05 08 06 08 07 08 08 08 09 08 0A

00000060 10 90 03 0A 17 08 01 08 02 08 03 08 04 08 05 08

00000070 06 08 07 08 08 08 09 08 0A 10F4 03 0A 17 08 01

00000080 08 02 08 03 08 04 08 05 08 06 08 07 08 08 08 09

00000090 08 0A 10 D8 04 0A 17 08 01 08 02 08 03 08 04 08

000000A0 05 08 06 08 07 08 08 08 09 08 0A 10 BC 05 0A 17

000000B0 08 01 08 02 08 03 08 04 08 05 08 06 08 07 08 08

000000C0 08 09 08 0A 10 A0 06 0A 17 08 01 08 02 08 03 08

000000D0 04 08 05 08 06 08 07 08 08 08 09 08 0A 10 84 07

000000E0 0A 17 08 01 08 02 08 03 08 04 08 05 08 06 08 07

000000F0 08 08 08 09 08 0A 10 E8 07

步骤S705、云服务器发送输入控制数据以及新的画面至第二客户端。

云服务器140通过自身的传输模块144将新的画面以及编码后的输入控制数据发送至第二客户端120的传输模块121。

步骤S706、第二客户端展示新的画面以及新的画面对应的操作动画。

在一种实施方式中，第二客户端120的传输模块121在获得编码后的输入控制数据后，解码模块122对编码后的输入控制数据进行解码，获得解码后的输入控制数据，依据解码后的输入控制数据生成操作动画，并且通过映射展示模块展示配合操作动画和新的画面。

步骤S707、第三客户端发送回放请求至云服务器。

步骤S708、云服务器根据回放请求中的时间信息，从存储的输入控制数据中确定对应时间信息的目标控制数据。

云服务器140根据回放请求中的时间信息，从存储输入控制数据的存储回放模块146中获取目标控制数据，目标控制数据是编码后的。

步骤S709、云服务器发送时间信息表征的时间段的画面以及目标控制数据至第三客户端。

步骤S710、第三客户端展示时间信息表征的时间段内的操作动画以及画面。

第三客户端将目标控制数据和时间段对应的画面下载至本地，进行音视频(可以为一场直播的音视频，由多个画面组成)回放时，根据音视频的时间偏移的先后顺序进行时间索引，并且通过第三客户端上的解码模块对目标控制数据进行解码，获得解码后的目标控制数据，依据解码后的目标控制数据生成操作动画，并且播放操作动画和对应的画面。

可选地，在操作动画配合画面展示时，可以根据用户设置，只展示某一动作对应的操作动画，即针对用户关注的某一类型的操作生成操作动画，还可以在一段音视频中，只针对某一部分的音视频的画面生成对应的操作动画，例如，在画面中的目标对象执行目标任务时，对应该部分生产操作动画。实现操作动画灵活搭配画面，通过灵活的展示方式，提升用户实时音视频以及离线回放的交互体验。

可选地，请参阅图13，云操作装置200应用于云服务器，云操作装置200包括：获取模块210、生成模块220以及第一发送模块230。

获取模块210，用于获取第一客户端发送的输入控制数据，所述输入控制数据是所述第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定的，所述目标映射关系是根据所述云服务器预先配置的数据规格预先配置的；

生成模块220，用于根据所述输入控制数据，对目标应用的画面进行渲染，生成新的画面；

第一发送模块230，用于将所述新的画面以及所述输入控制数据发送给第二客户端，所述输入控制数据用于控制所述第二客户端在显示所述新的画面时，展示所述新的画面对应的操作动画。

可选地，云操作装置200还包括：目标映射关系确定模块。

目标映射关系确定模块，用于向所述第一客户端发送符合所述数据规格的初始映射关系，所述初始映射关系用于所述第一客户端基于用户的配置操作确定所述目标映射关系。

可选地，所述目标映射关系包括：自定义操作事件、默认操作事件、映射语义以及映射索引之间的映射关系；所述输入控制数据是对所述目标映射关系中对应所述第一客户端的外部设备的操作事件的映射索引进行编码得到的。

可选地，所述输入控制数据包括映射索引集合、映射索引集合中每个映射索引对应的操作事件的发生时间以及事件序列。

可选地，云操作装置还包括：存储模块。

存储模块，用于对所述输入控制数据进行存储。

可选地，云操作装置200还包括：回放模块、以及第三发送模块。

回放模块，用于获取第三客户端的回放请求；

目标控制数据获取模块，用于根据所述回放请求中的时间信息，从存储的输入控制数据中确定对应所述时间信息的目标控制数据；

第三发送模块，用于将所述目标控制数据发送给所述第三客户端，所述目标控制数据用于控制所述第三客户端回放所述第一客户端在所述时间信息表征的时间段内的操作动画。

可选地，请参阅图14，云操作装置300应用于第一客户端，云操作装置300包括响应模块310以及第二发送模块320。

响应模块310，用于响应于外部设备的操作事件，根据所述外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，所述目标映射关系是根据云服务器预先配置的数据规格预先配置的；

第二发送模块320，用于将所述输入控制数据发送给所述云服务器，所述输入控制数据用于所述云服务器对目标应用的画面进行渲染，以生成新的画面。

可选地，云操作装置300还包括：第四发送模块、展示处理操作获取模块以及画面展示模块。

第四发送模块，用于响应于接收到所述云服务器发送的目标应用的新的画面以及输入控制数据；

展示处理操作获取模块，用于根据输入控制数据以及预设展示映射关系，确定对应所述输入控制数据的展示处理操作，其中，所述预设展示映射关系至少包括所述输入控制数据与所述展示处理操作之间的对应关系；

画面展示模块，用于根据所述展示处理操作，显示所述新的画面以及对应所述新的画面的操作动画。

可选地，云操作装置300还包括：第五发送模块以及配置模块。

第五发送模块，用于接收所述云服务器发送的符合所述数据规格的初始映射关系；

配置模块，用于基于用户的配置操作和所述初始映射关系确定所述目标映射关系。

可选地，所述输入控制数据包括映射索引集合、所述第一客户端的外部设备的操作事件的发生时间以及事件序列。

可选地，云操作装置300还包括：回放请求模块以及目标控制数据模块。

回放请求模块，用于向所述云服务器发送回放请求，所述回放请求中包括时间信息，所述回放请求用于请求所述云服务器从存储的输入控制数据中查询所述时间信息对应的目标控制数据；

目标控制数据模块，用于接收所述云服务器发送的所述目标控制数据，根据所述目标控制数据，展示操作动画以及所述时间信息对应的画面。

可选地，目标控制数据模块包括：筛选指令接收模块以及动画展示模块。

筛选指令接收模块，用于接收筛选指令；

动画展示模块，用于若目标控制数据的类型与所述筛选指令中指示的类型相同，则展示操作动画以及所述时间信息对应的画面。

基于同一技术构思，本公开实施例还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现方法实施例中所述云操作方法的步骤。

基于同一技术构思，本公开实施例还提供一种电子设备，包括：存储装置，其上存储有一个或多个计算机程序；一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现方法实施例中所述云操作方法的步骤。

下面参考图15，其示出了适于用来实现本公开实施例的电子设备(例如图2中的第一客户端或者云服务器)的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图15示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图15所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图15示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取第一客户端发送的输入控制数据，所述输入控制数据是所述第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定的，所述目标映射关系是根据所述云服务器预先配置的数据规格预先配置的；根据所述输入控制数据，对目标应用的画面进行渲染，生成新的画面；将所述新的画面以及所述输入控制数据发送给第二客户端，所述输入控制数据用于控制所述第二客户端在显示所述新的画面时，展示所述新的画面对应的操作动画。

或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于外部设备的操作事件，根据所述外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，所述目标映射关系是根据云服务器预先配置的数据规格预先配置的；将所述输入控制数据发送给所述云服务器，所述输入控制数据用于所述云服务器对目标应用的画面进行渲染，以生成新的画面。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取输入控制数据的模块”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，示例1提供了一种云操作方法，应用于云服务器，所述方法包括：获取第一客户端发送的输入控制数据，所述输入控制数据是所述第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定的，所述目标映射关系是根据所述云服务器预先配置的数据规格预先配置的；根据所述输入控制数据，对目标应用的画面进行渲染，生成新的画面；将所述新的画面以及所述输入控制数据发送给第二客户端，所述输入控制数据用于控制所述第二客户端在显示所述新的画面时，展示所述新的画面对应的操作动画。

根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述方法还包括：向所述第一客户端发送符合所述数据规格的初始映射关系，所述初始映射关系用于所述第一客户端基于用户的配置操作确定所述目标映射关系。

根据本公开的一个或多个实施例，示例3提供了示例1的方法，所述目标映射关系包括：自定义操作事件、默认操作事件、映射语义以及映射索引之间的映射关系；所述输入控制数据是对所述目标映射关系中对应所述第一客户端的外部设备的操作事件的映射索引进行编码得到的。

根据本公开的一个或多个实施例，示例4提供了示例3的方法，所述输入控制数据包括映射索引集合、映射索引集合中每个映射索引对应的操作事件的发生时间以及事件序列。

根据本公开的一个或多个实施例，示例5提供了示例1的方法，所述方法还包括：对所述输入控制数据进行存储。

根据本公开的一个或多个实施例，示例6提供了示例5的方法，所述方法还包括：获取第三客户端的回放请求；根据所述回放请求中的时间信息，从存储的输入控制数据中确定对应所述时间信息的目标控制数据；将所述目标控制数据发送给所述第三客户端，所述目标控制数据用于控制所述第三客户端回放所述第一客户端在所述时间信息表征的时间段内的操作动画。

根据本公开的一个或多个实施例，示例7提供了示例云操作方法，应用于第一客户端，所述方法包括：响应于外部设备的操作事件，根据所述外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，所述目标映射关系是根据云服务器预先配置的数据规格预先配置的；将所述输入控制数据发送给所述云服务器，所述输入控制数据用于所述云服务器对目标应用的画面进行渲染，以生成新的画面。

根据本公开的一个或多个实施例，示例8提供了示例7的方法，所述方法还包括：响应于接收到所述云服务器发送的目标应用的新的画面以及输入控制数据；根据输入控制数据以及预设展示映射关系，确定对应所述输入控制数据的展示处理操作，其中，所述预设展示映射关系至少包括所述输入控制数据与所述展示处理操作之间的对应关系；根据所述展示处理操作，显示所述新的画面以及对应所述新的画面的操作动画。

根据本公开的一个或多个实施例，示例9提供了示例7的方法，所述方法还包括：接收所述云服务器发送的符合所述数据规格的初始映射关系；基于用户的配置操作和所述初始映射关系确定所述目标映射关系。

根据本公开的一个或多个实施例，示例10提供了示例7的方法，所述目标映射关系包括：自定义操作事件、默认操作事件、映射语义以及映射索引之间的映射关系；所述输入控制数据是对所述目标映射关系中对应所述第一客户端的外部设备的操作事件的映射索引进行编码得到的。

根据本公开的一个或多个实施例，示例11提供了示例7的方法，所述输入控制数据包括映射索引集合、所述第一客户端的外部设备的操作事件的发生时间以及事件序列。

根据本公开的一个或多个实施例，示例12提供了示例11的方法，所述方法还包括：向所述云服务器发送回放请求，所述回放请求中包括时间信息，所述回放请求用于请求所述云服务器从存储的输入控制数据中查询所述时间信息对应的目标控制数据；接收所述云服务器发送的所述目标控制数据，根据所述目标控制数据，展示操作动画以及所述时间信息对应的画面。

根据本公开的一个或多个实施例，示例13提供了示例12的方法，所述根据所述目标控制数据，展示操作动画以及所述时间信息对应的画面，包括：接收筛选指令；若目标控制数据的类型与所述筛选指令中指示的类型相同，则展示操作动画以及所述时间信息对应的画面。

根据本公开的一个或多个实施例，示例14提供了示例云操作装置，应用于云服务器，所述装置包括：获取模块，用于获取第一客户端发送的输入控制数据，所述输入控制数据是所述第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定的，所述目标映射关系是根据所述云服务器预先配置的数据规格预先配置的；生成模块，用于根据所述输入控制数据，对目标应用的画面进行渲染，生成新的画面；第一发送模块，用于将所述新的画面以及所述输入控制数据发送给第二客户端，所述输入控制数据用于控制所述第二客户端在显示所述新的画面时，展示所述新的画面对应的操作动画。

根据本公开的一个或多个实施例，示例15提供了一种示例14的装置，云操作装置还包括：目标映射关系确定模块。目标映射关系确定模块，用于向所述第一客户端发送符合所述数据规格的初始映射关系，所述初始映射关系用于所述第一客户端基于用户的配置操作确定所述目标映射关系。

根据本公开的一个或多个实施例，示例16提供了一种示例14的装置，所述目标映射关系包括：自定义操作事件、默认操作事件、映射语义以及映射索引之间的映射关系；所述输入控制数据是对所述目标映射关系中对应所述第一客户端的外部设备的操作事件的映射索引进行编码得到的。

根据本公开的一个或多个实施例，示例17提供了一种示例16的装置，所述输入控制数据包括映射索引集合、映射索引集合中每个映射索引对应的操作事件的发生时间以及事件序列。

根据本公开的一个或多个实施例，示例18提供了一种示例16的装置，该装置还包括：存储模块。存储模块，用于对所述输入控制数据进行存储。

根据本公开的一个或多个实施例，示例19提供了一种示例18的装置，该装置还包括：回放模块、以及第三发送模块。回放模块，用于获取第三客户端的回放请求；目标控制数据获取模块，用于根据所述回放请求中的时间信息，从存储的输入控制数据中确定对应所述时间信息的目标控制数据；第三发送模块，用于将所述目标控制数据发送给所述第三客户端，所述目标控制数据用于控制所述第三客户端回放所述第一客户端在所述时间信息表征的时间段内的操作动画。

根据本公开的一个或多个实施例，示例20提供了示例云操作装置，应用于第一客户端，所述装置包括：响应模块，用于响应于外部设备的操作事件，根据所述外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，所述目标映射关系是根据云服务器预先配置的数据规格预先配置的；第二发送模块，用于将所述输入控制数据发送给所述云服务器，所述输入控制数据用于所述云服务器对目标应用的画面进行渲染，以生成新的画面。

根据本公开的一个或多个实施例，示例21提供了一种示例20的装置，云操作装置还包括：第四发送模块、展示处理操作获取模块以及画面展示模块。第四发送模块，用于响应于接收到所述云服务器发送的目标应用的新的画面以及输入控制数据；展示处理操作获取模块，用于根据输入控制数据以及预设展示映射关系，确定对应所述输入控制数据的展示处理操作，其中，所述预设展示映射关系至少包括所述输入控制数据与所述展示处理操作之间的对应关系；画面展示模块，用于根据所述展示处理操作，显示所述新的画面以及对应所述新的画面的操作动画。

根据本公开的一个或多个实施例，示例22提供了一种示例20的装置，云操作装置还包括：第五发送模块以及配置模块。第五发送模块，用于接收所述云服务器发送的符合所述数据规格的初始映射关系；配置模块，用于基于用户的配置操作和所述初始映射关系确定所述目标映射关系。

根据本公开的一个或多个实施例，示例23提供了一种示例20的装置，所述目标映射关系包括：自定义操作事件、默认操作事件、映射语义以及映射索引之间的映射关系；所述输入控制数据是对所述目标映射关系中对应所述第一客户端的外部设备的操作事件的映射索引进行编码得到的。

根据本公开的一个或多个实施例，示例24提供了一种示例20的装置，所述输入控制数据包括映射索引集合、所述第一客户端的外部设备的操作事件的发生时间以及事件序列。

根据本公开的一个或多个实施例，示例25提供了一种示例24的装置，云操作装置还包括：回放请求模块以及目标控制数据模块。回放请求模块，用于向所述云服务器发送回放请求，所述回放请求中包括时间信息，所述回放请求用于请求所述云服务器从存储的输入控制数据中查询所述时间信息对应的目标控制数据；目标控制数据模块，用于接收所述云服务器发送的所述目标控制数据，根据所述目标控制数据，展示操作动画以及所述时间信息对应的画面。

根据本公开的一个或多个实施例，示例26提供了一种示例25的装置，目标控制数据模块包括：筛选指令接收模块以及动画展示模块。筛选指令接收模块，用于接收筛选指令；动画展示模块，用于若目标控制数据的类型与所述筛选指令中指示的类型相同，则展示操作动画以及所述时间信息对应的画面。

根据本公开的一个或多个实施例，示例27提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1-13中任一项所述方法的步骤。

根据本公开的一个或多个实施例，示例28提供了一种电子设备，包括：存储装置，其上存储有一个或多个计算机程序；一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现示例1-13中任一项所述方法的步骤。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims

1.一种云操作方法，其特征在于，应用于云服务器，所述方法包括：

获取第一客户端发送的输入控制数据，所述输入控制数据是所述第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定的，所述目标映射关系是根据所述云服务器预先配置的数据规格预先配置的；

根据所述输入控制数据，对目标应用的画面进行渲染，生成新的画面；

将所述新的画面以及所述输入控制数据发送给第二客户端，所述输入控制数据用于控制所述第二客户端在显示所述新的画面时，展示所述新的画面对应的操作动画。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

向所述第一客户端发送符合所述数据规格的初始映射关系，所述初始映射关系用于所述第一客户端基于用户的配置操作确定所述目标映射关系。

3.根据权利要求1所述的方法，其特征在于，所述目标映射关系包括：自定义操作事件、默认操作事件、映射语义以及映射索引之间的映射关系；

所述输入控制数据是对所述目标映射关系中对应所述第一客户端的外部设备的操作事件的映射索引进行编码得到的。

4.根据权利要求3所述的方法，其特征在于，所述输入控制数据包括映射索引集合、映射索引集合中每个映射索引对应的操作事件的发生时间以及事件序列。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述输入控制数据进行存储。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取第三客户端的回放请求；

根据所述回放请求中的时间信息，从存储的输入控制数据中确定对应所述时间信息的目标控制数据；

将所述目标控制数据发送给所述第三客户端，所述目标控制数据用于控制所述第三客户端回放所述第一客户端在所述时间信息表征的时间段内的操作动画。

7.一种云操作方法，其特征在于，应用于第一客户端，所述方法包括：

响应于外部设备的操作事件，根据所述外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，所述目标映射关系是根据云服务器预先配置的数据规格预先配置的；

将所述输入控制数据发送给所述云服务器，所述输入控制数据用于所述云服务器对目标应用的画面进行渲染，以生成新的画面。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

响应于接收到所述云服务器发送的目标应用的新的画面以及输入控制数据；

根据输入控制数据以及预设展示映射关系，确定对应所述输入控制数据的展示处理操作，其中，所述预设展示映射关系至少包括所述输入控制数据与所述展示处理操作之间的对应关系；

根据所述展示处理操作，显示所述新的画面以及对应所述新的画面的操作动画。

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

接收所述云服务器发送的符合所述数据规格的初始映射关系；

基于用户的配置操作和所述初始映射关系确定所述目标映射关系。

10.根据权利要求7所述的方法，其特征在于，所述目标映射关系包括：自定义操作事件、默认操作事件、映射语义以及映射索引之间的映射关系；

11.根据权利要求7所述的方法，其特征在于，所述输入控制数据包括映射索引集合、所述第一客户端的外部设备的操作事件的发生时间以及事件序列。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

向所述云服务器发送回放请求，所述回放请求中包括时间信息，所述回放请求用于请求所述云服务器从存储的输入控制数据中查询所述时间信息对应的目标控制数据；

接收所述云服务器发送的所述目标控制数据，根据所述目标控制数据，展示操作动画以及所述时间信息对应的画面。

13.根据权利要求12所述的方法，其特征在于，所述根据所述目标控制数据，展示操作动画以及所述时间信息对应的画面，包括：

接收筛选指令；

若目标控制数据的类型与所述筛选指令中指示的类型相同，则展示操作动画以及所述时间信息对应的画面。

14.一种云操作装置，其特征在于，应用于云服务器，所述装置包括：

获取模块，用于获取第一客户端发送的输入控制数据，所述输入控制数据是所述第一客户端根据针对外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定的，所述目标映射关系是根据所述云服务器预先配置的数据规格预先配置的；

生成模块，用于根据所述输入控制数据，对目标应用的画面进行渲染，生成新的画面；

第一发送模块，用于将所述新的画面以及所述输入控制数据发送给第二客户端，所述输入控制数据用于控制所述第二客户端在显示所述新的画面时，展示所述新的画面对应的操作动画。

15.一种云操作装置，其特征在于，应用于第一客户端，所述装置包括：

响应模块，用于响应于外部设备的操作事件，根据所述外部设备的操作事件以及云服务器的输入控制数据之间的目标映射关系确定输入控制数据，所述目标映射关系是根据云服务器预先配置的数据规格预先配置的；

第二发送模块，用于将所述输入控制数据发送给所述云服务器，所述输入控制数据用于所述云服务器对目标应用的画面进行渲染，以生成新的画面。

16.一种电子设备，其特征在于，包括：

存储装置，其上存储有至少一个计算机程序；

至少一个处理装置，用于执行所述存储装置中的所述至少一个计算机程序，以实现权利要求1-13中任一项所述方法的步骤。

17.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-13中任一项所述方法的步骤。