CN112843681A - 虚拟场景控制方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种虚拟场景控制方法、装置、电子设备及存储介质，涉及计算机技术领域。其中，该方法应用于运行有交互式应用的终端，该方法包括：接收服务器发送的当前帧的图形指令数据和场景信息；根据图形指令数据显示服务器中构建的当前帧的虚拟场景；当检测到针对虚拟场景的第一操作事件，按照所述场景信息将所述第一操作事件转换为第二操作事件；发送第二操作事件至服务器，以使服务器按照第二操作事件控制虚拟场景执行相应的操作。本申请实施例解决了相关技术中存在的交互式应用对终端设备类型兼容性差的问题。

Description

虚拟场景控制方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种虚拟场景控制方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，尤其是云计算技术的高速发展，应用于云交互系统的交互式应用由此产生，其中，云交互系统包括服务器和终端，对应地，交互式应用包括运行于服务器的Trace端和运行于终端的Retrace端。例如，云游戏即为交互式应用。

然而，在现有存量游戏的云化过程中，受限于游戏本身的操作方式，导致终端设备类型有限。例如，游戏本身支持键盘或者鼠标，则终端设备类型仅支持电脑。

由上可知，交互式应用对终端设备类型的兼容性较差。

发明内容

本申请各实施例提供了一种虚拟场景控制方法、装置、电子设备及存储介质，可以解决相关技术中存在的交互式应用对终端设备类型兼容性差的问题。所述技术方案如下：

根据本申请实施例的一个方面，一种虚拟场景控制方法，应用于运行有交互式应用的终端，该方法包括：接收服务器发送的当前帧的图形指令数据和场景信息；根据图形指令数据显示服务器中构建的当前帧的虚拟场景；当检测到针对虚拟场景的第一操作事件，按照所述场景信息将所述第一操作事件转换为第二操作事件；发送第二操作事件至服务器，以使服务器按照第二操作事件控制虚拟场景执行相应的操作。

根据本申请实施例的一个方面，一种虚拟场景控制方法，应用于运行有交互式应用的服务器，该方法包括：运行交互式应用，构建当前帧的虚拟场景；对构建的虚拟场景进行场景识别，获取当前帧的场景信息；获取当前帧的图形指令数据，并向终端发送当前帧的图形指令数据和场景信息，以使终端按照如上所述的虚拟场景控制方法进行虚拟场景的控制。

根据本申请实施例的一个方面，一种虚拟场景控制方法，应用于运行有非交互式应用的终端，该方法包括：运行非交互式应用，构建当前帧的虚拟场景；对构建的虚拟场景进行场景识别，获取当前帧的场景信息；当检测到针对虚拟场景的第一操作事件，按照所述场景信息将所述第一操作事件转换为第二操作事件；按照第二操作事件控制虚拟场景执行相应的操作。

根据本申请实施例的一个方面，一种虚拟场景控制装置，部署于运行有交互式应用的终端，该装置包括：数据接收模块，用于接收服务器发送的当前帧的图形指令数据和场景信息；场景还原模块，用于根据图形指令数据显示服务器中构建的当前帧的虚拟场景；事件生成模块，用于当检测到针对虚拟场景的第一操作事件，按照所述场景信息将所述第一操作事件转换为第二操作事件；事件发送模块，用于发送第二操作事件至服务器，以使服务器按照第二操作事件控制虚拟场景执行相应的操作。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：根据场景信息获取提示信息，提示信息用于提示用户通过终端可支持的输入设备对虚拟场景进行控制；在虚拟场景中显示提示信息。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：基于终端可支持的输入设备，确定输入设备类型；根据场景信息，确定输入设备类型对应的提示信息。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：当检测到针对虚拟场景的第一操作事件，确定第一操作事件的功能键操作类型；基于第一操作事件的功能键操作类型，按照场景信息进行第一操作事件与第二操作事件的转换处理。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：基于第一操作事件确定输入设备类型；根据输入设备类型和功能键操作类型，从场景信息中获取关联事件；根据获取到的关联事件，生成第二操作事件。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：如果输入设备类型为手柄且第一操作事件的功能键操作类型为按压第一功能键，则从场景信息中获取软键盘调用事件，作为关联事件。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：响应于软键盘调用事件，在虚拟场景中显示软键盘界面；根据软键盘界面中检测到的输入操作，生成第二操作事件。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：如果输入设备类型为手柄且第一操作事件的功能键操作类型为按压第二功能键，则从场景信息中获取点击事件，作为关联事件。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：由点击事件生成第二操作事件。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：对图形指令数据进行解析，得到渲染指令；通过渲染指令的回放，进行虚拟场景的渲染；显示虚拟场景。

根据本申请实施例的一个方面，一种虚拟场景控制装置，部署于运行有交互式应用的服务器，该装置包括：场景构建模块，用于运行交互式应用，构建当前帧的虚拟场景；信息获取模块，用于对构建的虚拟场景进行场景识别，获取场景信息；信息发送模块，用于获取当前帧的图形指令数据，并向终端发送当前帧的图形指令数据、以及场景信息，以使终端按照如上的虚拟场景控制方法进行虚拟场景的控制。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：采用图片相似算法，在构建的场景图片库中搜索与虚拟场景中图片相匹配的场景图片；获取与搜索到的场景图片具有关联关系的场景信息。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：采用文字识别算法，对虚拟场景中的文字进行识别；获取与识别到的文字具有关联关系的场景信息。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：基于场景识别模型对虚拟场景进行分类预测，得到预测结果，场景识别模型由机器学习模型训练生成；获取与预测结果具有关联关系的场景信息。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：运行交互式应用，进行当前帧的虚拟场景的渲染；其中，在虚拟场景的渲染过程中，捕获虚拟场景进行渲染的渲染指令，并根据渲染指令录制生成当前帧的图形指令数据。

根据本申请实施例的一个方面，一种虚拟场景控制装置，部署于运行有非交互式应用的终端，该装置包括：场景构建模块，用于运行非交互式应用，构建当前帧的虚拟场景；信息获取模块，用于对构建的虚拟场景进行场景识别，获取场景信息；事件生成模块，用于当检测到针对虚拟场景的第一操作事件，按照场景信息将第一操作事件转换为第二操作事件；场景控制模块，用于按照第二操作事件控制虚拟场景执行相应的操作。

根据本申请实施例的一个方面，一种电子设备，包括：至少一个处理器、至少一个存储器、以及至少一条通信总线，其中，存储器上存储有计算机程序，处理器通过通信总线读取存储器中的计算机程序；计算机程序被处理器执行时实现如上所述的虚拟场景控制方法。

根据本申请实施例的一个方面，一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的虚拟场景控制方法。

根据本申请实施例的一个方面，一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序存储在存储介质中，计算机设备的处理器从存储介质读取计算机程序，处理器执行计算机程序，使得计算机设备执行时实现如上所述的虚拟场景控制方法。

本申请提供的技术方案带来的有益效果是：

在上述技术方案中，终端接收服务器发送的当前帧的图形指令数据和场景信息，以根据图形指令数据还原服务器中构建的当前帧的虚拟场景，进而在检测到针对该虚拟场景的第一操作事件时，按照接收到的场景信息将第一操作事件转换为第二操作事件，用于通知服务器按照该第二操作事件控制虚拟场景执行相应的操作，其中，第一操作事件与终端可支持的操作方式有关，第二操作事件则是与交互式应用可支持的操作方式有关，由此可见，通过终端中进行的操作方式的转换和适配，使得终端设备类型能够不再受限于交互式应用可支持的操作方式，从而解决相关技术中存在的交互式应用对终端设备类型兼容性差的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1是根据本申请所涉及的实施环境的示意图。

图2是根据本申请所涉及的交互式应用中Trace端和Retrace端之间交互流程的示意图。

图3是根据一示例性实施例示出的一种虚拟场景控制方法的流程图。

图4是图3对应实施例所涉及的虚拟场景的示意图。

图5是图3对应实施例中步骤230在一个实施例的流程图。

图6是图5对应实施例所涉及的场景图片的示意图。

图7是图3对应实施例中步骤230在另一个实施例的流程图。

图8是图3对应实施例中步骤230在另一个实施例的流程图。

图9是根据一示例性实施例示出的另一种虚拟场景控制方法的流程图。

图10是图3对应实施例中步骤350在一个实施例的流程图。

图11是根据一示例性实施例示出的另一种虚拟场景控制方法的流程图。

图12是根据云游戏场景示出的一种虚拟场景控制方法的系统架构的示意图。

图13是图12对应云游戏场景中玩家通过手柄控制虚拟场景执行输入操作的示意图。

图14是图12对应云游戏场景中玩家通过手柄控制虚拟场景执行点击操作的示意图。

图15是根据一示例性实施例示出的一种部署于运行有交互式应用的终端的虚拟场景控制装置的结构框图。

图16是根据一示例性实施例示出的一种部署于运行有交互式应用的服务器的虚拟场景控制装置的结构框图。

图17是根据一示例性实施例示出的一种部署于运行有非交互式应用的终端的虚拟场景控制装置的结构框图。

图18是根据一示例性实施例示出的一种服务器的硬件结构图。

图19是根据一示例性实施例示出的一种终端的硬件结构图。

图20是根据一示例性实施例示出的一种电子设备的结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

下面是对本申请涉及的几个名词进行的介绍和解释：

云技术(Cloud technology)，是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术(Cloudtechnology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

云计算(cloud computing)，指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。

云游戏(Cloud gaming)，也可以称为游戏点播(gaming on demand)或者交互式游戏，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，游戏并不是在玩家游戏终端中运行，而是在云端服务器中运行，并由云端服务器将游戏画面渲染为音视频数据流，通过网络连接传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。

如前所述，云游戏，即为交互式应用，是以云计算为基础的游戏方式。该种游戏方式下，游戏的主要逻辑实质是在服务器运行，即交互式应用中的Trace端运行于服务器，以将渲染完成的游戏画面压缩并发送至终端。对于运行交互式应用中Retrace端的终端而言，仅用于将还原得到的游戏画面向用户展示，并检测用户与该游戏画面相关的交互操作返回至服务器，因此，不需要任何高端的处理器和显卡，不需要拥有强大的图形运算与数据处理能力，仅需要拥有基本的解压缩能力、流媒体播放能力与获取用户与该游戏相关的交互操作能力，即能够实现高品质游戏。

随着云计算技术的日益发展，云游戏的此种运行模式被得以广泛地应用，这就需要将现有存量游戏进行云化，以此提升用户关于现有存量游戏的游戏体验。其中，云化是指将非交互式游戏改进为支持Trace端与Retrace端的云游戏。

然而，在现有存量游戏的云化过程中，受限于游戏本身的操作方式，导致终端设备类型有限。

举例来说，一方面，云游戏的一个重要特性就在于跨终端实现，即一款游戏通过云化，可以实现多平台/多终端使用。例如，一款用户在PC(Personal Computer，个人计算机)上玩的游戏，通过云化后，用户可以通过智能手机、平板电脑、电视等终端使用。如果受限于游戏本身的操作方式，会导致一些终端设备类型也相应受限。例如，游戏本身支持鼠标，那么，在手机上采用鼠标是不现实的，或者，游戏本身支持键盘，则电视上使用键盘也是不现实的。

另一方面，很多游戏尚不支持手柄，例如，游戏本身仅支持键盘或者鼠标等操作方式，这就导致游戏云化后终端仅支持键盘或者鼠标控制游戏，仍无法支持手柄或者其它操作方式(例如摇杆、方向盘等)来控制游戏。

由上可知，相关技术中仍存在交互式应用对终端设备类型兼容性差的缺陷。

有鉴于此，本申请提供的虚拟场景控制方法、装置、电子设备及存储介质，旨在解决相关技术的如上技术问题。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1示例性示出了一种虚拟场景控制方法所涉及的实施环境的示意图。如图1所示，该实施环境涉及云交互系统，该云交互系统包括终端100和服务器200。

其中，服务器200提供交互式应用中的Trace端运行，主要负责执行交互式应用的主要逻辑运行，并通过网络连接将与用户交互有关的图形界面传输至终端100；终端100则提供交互式应用中的Retrace端运行，用于展示图形界面，进而将用户与图形界面相关的交互操作通过网络连接返回至服务器200。

具体地，终端100可以是台式电脑、笔记本电脑、平板电脑、智能手机、智能音箱、智能手表或者其它可供Retrace端运行的电子设备，在此不进行限定。

其中，Retrace端，提供图形界面展示，可以是应用程序形式，也可以是网页形式，相应地，Retrace端进行图形界面展示的用户界面则可以是程序窗口形式，还可以是网页页面形式的，此处也并未加以限定。

服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。例如，本实施环境中，服务器200为终端100提供虚拟场景控制相关的云计算服务，尤其适用于云游戏所构建的虚拟场景控制。

服务器200通过有线或者无线等方式预先与终端100之间建立直接或者间接地网络连接，并通过该网络连接实现与终端100之间的数据传输。例如，传输的数据包括但不限于：图形指令数据、场景信息、第二操作事件等等。

图2示例性示出了一种交互式应用中Trace端和Retrace端之间交互流程的示意图。在图2中，交互式应用中的Trace端运行于服务器200，在服务器200进行与用户交互有关的图形界面的渲染时，可通过捕获渲染过程中的渲染指令，以录制生成该图形界面的图形指令数据，进而向终端100发送该图形界面的图形指令数据。在此说明的是，图形指令数据是按照图形界面进行发送的，也可以理解为，图形指令数据是按帧进行发送的。

对应地，终端100在接收到该图形界面的图形指令数据之后，便可对该图形界面的图形指令数据进行解析，以通过解析得到的渲染指令的回放，在终端100中还原并显示该图形界面，以此为基础实现用户针对该图形界面的相关交互操作，例如，用户通过终端100所配置的输入设备(例如鼠标、键盘、触控屏幕等等)进行的交互操作，进而将用户与该图形界面相关的交互操作返回至服务器200，使得服务器200通过模拟该交互操作来完成交互式应用的主要逻辑运行。

值的一提的是，上述虚拟场景控制过程中，图形指令数据/场景信息/第二操作事件等数据可存储于区块链上，以利用区块链中数据具有不可篡改的特性，充分地保证虚拟场景控制的真实性和可信度。

请参阅图3，本申请实施例提供了一种虚拟场景控制方法，在图3中，该方法可以包括以下步骤：

步骤210，服务器中运行交互式应用中的Trace端，构建当前帧的虚拟场景。

其中，虚拟场景，实质是指与用户交互有关的图形界面。例如，交互式应用为云游戏，则该与用户交互有关的图形界面，也可以理解为是游戏画面。

随着交互式应用中的Trace端在服务器中运行，服务器将进行当前帧的虚拟场景的构建，以便于将与用户交互有关的图形界面推送至终端，使得终端能够进行虚拟场景的还原，进而向用户展示该虚拟场景，亦即是向用户展示与用户交互有关的图形界面。应当理解，与用户交互有关的图形界面不同，则虚拟场景也会有所区别。

需要说明的是，本实施例中，不论是虚拟场景在服务器中的构建，还是虚拟场景在终端中的还原，均是以帧为单位进行的。

为了将与用户交互有关的图形界面推送至终端，服务器需要进行与用户交互有关的图形界面的渲染，即进行当前帧的虚拟场景的渲染。

服务器在渲染生成当前帧的虚拟场景之后，如果需要使得该虚拟场景能够在终端中还原并向用户展示，则需要将表征该虚拟场景的音视频数据流传输至终端，进而通过音视频数据流在终端中还原并展示该虚拟场景，由于音视频数据流往往传输量很大，容易导致终端中展示该虚拟场景出现卡顿不流畅的现象。

为此，本实施例中，区别于音视频数据流，服务器与终端之间传输的数据为图形指令数据，以此降低服务器与终端之间的数据传输量。

具体地，在虚拟场景的渲染过程中，捕获虚拟场景进行渲染的渲染指令，并根据渲染指令录制生成当前帧的图形指令数据，也可以认为是虚拟场景的图形指令数据。其中，渲染指令实质为服务器进行虚拟场景渲染时所执行的图形界面绘制操作，对应地，图形指令数据实质是记录了服务器渲染虚拟场景时所执行的图形界面绘制操作。

由此可见，对于服务器而言，在当前帧的虚拟场景的渲染过程中，通过对渲染过程中所执行的图形界面绘制操作的捕获，即可得到相应的渲染指令，进而随着渲染指令的录制，实现是对服务器渲染虚拟场景时所执行的图形界面绘制操作进行记录，以便于生成相应的图形指令数据，用于指示终端如何还原虚拟场景。

步骤230，服务器对构建的虚拟场景进行场景识别，获取当前帧的场景信息。

其中，场景信息用于描述与虚拟场景相关的操作方式，例如，该场景信息可描述在该虚拟场景下交互式应用可支持的操作方式；或者，该场景信息可描述在该虚拟场景下终端可支持的输入设备；又或者，该场景信息还可描述在该虚拟场景下用户通过终端可支持的输入设备所进行的操作方式等等。

基于此，该场景信息包括但不限于：虚拟场景标识、提示信息、输入设备类型、功能键操作类型、关联事件等等。虚拟场景标识，用于唯一地表示虚拟场景；提示信息，用于提示用户通过终端可支持的输入设备对虚拟场景的控制；输入设备类型，用于表示终端可支持的输入设备，例如，输入设备包括鼠标、键盘、触控屏幕、手柄、摇杆、方向盘等等；功能键操作类型，用于表示用户针对虚拟场景的操作方式；关联事件，用于表示交互式应用可支持的操作方式，与输入设备类型和/或功能键操作类型相关。

在一种可能的实施方式，场景识别采用图片相似算法实现。例如，图片相似算法可以是感知哈希算法。

在一种可能的实施方式，场景识别采用文字识别算法实现。例如，文字识别算法可以是光学字符识别算法(OCR，Optical Character Recognition)。

在一种可能的实施方式，场景识别采用机器学习模型训练生成的场景识别模型实现。例如，机器学习模型可以是神经网络模型等。

在识别得到当前帧的虚拟场景之后，便可获取关于该虚拟场景的场景信息，以此作为后续操作方式转换和适配的依据。

举例来说，服务器中预先存储多个虚拟场景的场景信息，例如，虚拟场景a1的场景信息、虚拟场景a2的场景信息、以及虚拟场景a3的场景信息。如果识别得到的当前帧的虚拟场景为虚拟场景a2，则可相应地获取到虚拟场景a2的场景信息，用于后续的虚拟场景控制。

步骤310，服务器向终端发送当前帧的图形指令数据和场景信息。

对应地，终端便可接收到当前帧的图形指令数据、以及当前帧的场景信息，以此为基础实现用户针对虚拟场景的相关交互操作，即执行步骤330至步骤350。

值得一提的是，图形指令数据和场景信息均是按帧发送的，对应地，后续的虚拟场景控制也都是以帧为单位进行。

步骤330，终端根据图形指令数据显示服务器中构建的当前帧的虚拟场景。

如前所述，图形指令数据实质记录了服务器渲染虚拟场景时所执行的图形界面绘制操作，那么，终端在接收到当前帧的图形指令数据之后，便可基于当前帧的图形指令数据，还原出当前帧的虚拟场景。

具体地，随着交互式应用中的Retrace端在终端运行，终端便会对接收到的图形指令数据进行解析，通过解析得到的渲染指令的回放，进行虚拟场景的渲染，即调用执行相关的图形绘制API(应用程序编程接口，Application Programming Interface)，按照记录的服务器渲染虚拟场景时所执行的绘制操作进行图形界面绘制，由此还原出当前帧的虚拟场景。

在还原得到当前帧的虚拟场景之后，便可在终端中显示该虚拟场景，以便于用户进行与该虚拟场景相关的交互操作，例如，用户通过终端所配置的输入设备(例如鼠标、键盘、触控屏幕等等)进行的交互操作。

步骤350，当终端检测到针对虚拟场景的第一操作事件，按照场景信息将第一操作事件转换为第二操作事件。

其中，第一操作事件，与终端可支持的操作方式有关，也可以理解为，与终端所配置的输入设备有关，用于描述用户通过终端所配置的输入设备进行的与该虚拟场景相关的交互操作。

需要说明的是，根据终端所配置的输入设备的不同，终端可支持的操作方式也可以各不相同，那么，第一操作事件也同样会有所区别。例如，借由触控屏幕输入的智能手机，可支持的操作方式可以是点击、滑动等，对应地，第一操作事件，用于描述用户通过触控屏幕进行的与该虚拟场景相关的交互操作包括点击操作、滑动操作等。或者，就配置了鼠标的笔记本电脑来说，可支持的操作方式可以是拖拽、单击、双击等，对应地，第一操作事件，用于描述用户鼠标进行的与该虚拟场景相关的交互操作包括拖拽操作、单击操作、双击操作等。

当虚拟场景在终端中显示，为了方便于用户通过终端所配置的输入设备进行与该虚拟场景相关的交互操作，虚拟场景中会显示至少一个交互入口，如果用户期望进行与该虚拟场景相关的交互操作，便可在该交互入口触发相关操作，进而使得终端能够检测到该交互入口触发的相关操作，以此生成针对该虚拟场景的第一操作事件。

以交互入口为输入框举例说明，图4示例性示出了虚拟场景中显示输入框的示意图。如图4所示，在虚拟场景301中，如果用户在输入框302中触发了输入操作，终端便能够检测到该输入操作，以此生成针对该虚拟场景的第一操作事件。

发明人意识到，第一操作事件与终端可支持的操作方式有关，但可能不属于交互式应用可支持的操作方式，为了使得云游戏支持多种设备类型的终端，在终端检测到针对虚拟场景的第一操作事件之后，将进行操作方式的转换和适配，即，按照场景信息将第一操作事件转换为第二操作事件，以获得交互式应用可支持的操作方式。也就是说，第二操作事件，与交互式应用可支持的操作方式有关。

在一种可能的实施方式，操作方式的转换和适配与第一操作事件的功能键操作类型有关。以手柄为例，手柄至少包括功能键A和功能键X，则按压功能键A和按压功能键X分别表示不同的操作方式的转换和适配。或者，按压功能键A和触摸功能键A也分别表示操作方式的转换和适配有所不同。

在此，发明人还发现，即使功能键操作类型相同，操作方式的转换和适配也可能因为输入设备的差异而存在区别，例如，手柄上的功能键X和键盘上的功能键X。故而，在一种可能的实施方式，操作方式的转换和适配与第一操作事件的功能键操作类型和输入设备类型有关。

步骤370，终端将第二操作事件返回至服务器。

对应地，服务器在接收到第二操作事件之后，便能够按照第二操作事件，在虚拟场景中模拟用户在终端中针对该虚拟场景进行的相关交互操作，以此来完成交互式应用的主要逻辑运行。

随着交互式应用的主要逻辑运行，服务器中虚拟场景将随之发生变化，则返回步骤210，以继续实现终端与服务器之间的交互式应用。

通过上述过程，通过终端中进行的操作方式的转换和适配，使得终端设备类型能够不再受限于交互式应用可支持的操作方式，从而解决相关技术中存在的交互式应用对终端设备类型兼容性差的问题。

一方面，交互式应用可支持的操作方式不再受限，可以扩展更多的操作方式。例如，游戏本身支持鼠标，那么，服务器侧仍支持鼠标，通过终端中进行的操作方式的转换和适配，终端侧可支持鼠标、键盘、触控屏幕、手柄、摇杆、方向盘等等。

另一方面，终端设备类型不再受限，可以扩展更多的终端设备类型。例如，一款用户在PC上玩的游戏，则游戏本身接受鼠标和键盘，那么，服务器侧仍支持鼠标和键盘，通过终端中进行的操作方式的转换和适配，终端侧还可支持触控屏幕、手柄、摇杆、方向盘等等，进而使得终端设备类型由PC扩展至智能手机、平板电脑、电视、智能手表、智能音箱等等。

现结合图4至图8，对场景识别的三种不同方式进行以下说明：

第一种方式，场景识别采用图片相似算法实现。

请参阅图5，本申请实施例中提供了一种可能的实施方式，步骤230可以包括以下步骤：

步骤231，采用图片相似算法，在构建的场景图片库中搜索与虚拟场景中图片相匹配的场景图片。

其中，图片相似算法，实质是计算两张图片之间的相似度，如果相似度超过门限，则确定该两张图片相似/相同/相匹配。该图片相似算法包括但不限于感知哈希算法等等。

对于服务器而言，例如，针对现有存量游戏，预先截取每一个游戏中各帧游戏画面(亦即虚拟场景)中的全部图片或者部分图片，作为该些游戏的场景图片进行存储，从而构建形成场景图片库。当然，关于场景图片关联的场景信息可以预先存储于场景图片库，也可以独立地预先存储于其他设定存储区，此处并未加以限定。

在此说明的是，场景图片，实现了以图片方式对虚拟场景的相关特征的准确表示，也就是说，场景图片，视为虚拟场景的图片特征，在整个交互式应用运行过程中，将唯一地存在于该虚拟场景中。应当理解，虚拟场景不同，与该虚拟场景相匹配的场景图片有所区别。

步骤232，获取与搜索到的场景图片具有关联关系的场景信息。

由此，随着交互式应用中的Trace端在服务器运行，服务器构建当前帧的虚拟场景，通过图片相似算法，针对当前帧的虚拟场景中的图片，便能够在场景图片库中搜索得到相匹配的场景图片。

回请参阅图4，在图4中，虚拟场景301至少包括图片307，同时，假设场景图片库中至少包括场景图片401，如图6所示。那么，通过图片相似算法，便能够确定虚拟场景301中的图片307与场景图片401相匹配，即场景图片401视为虚拟场景301的图片特征。

在确定该场景图片401之后，即可获得该场景图片401关联的场景信息。

上述过程中，基于虚拟场景的图片特征的提取，实现了虚拟场景的识别。

第二种方式，场景识别采用文字识别算法实现。

请参阅图7，本申请实施例中提供了一种可能的实施方式，步骤230可以包括以下步骤：

步骤234，采用文字识别算法，对虚拟场景中的文字进行识别。

步骤235，获取与识别到的文字具有关联关系的场景信息。

同理于虚拟场景中图片关联的场景信息，对于服务器而言，针对现有存量游戏，预先针对每一个游戏中各帧游戏画面(亦即虚拟场景)中的全部文字或者部分文字，在设定存储区中关联存储场景信息，以便于场景信息的获取。可以理解，针对虚拟场景中的文字，有些文字可能在其它不同帧的虚拟场景中均有出现，有些文字仅可能在当前帧的虚拟场景中出现，那么，在进行场景信息预先关联存储时，仅会针对当前帧的虚拟场景中出现的文字存储关联的场景信息。

也就是说，存在场景信息关联的文字，实现了以文字方式对虚拟场景的相关特征的准确表示，也就是说，存在场景信息关联的文字，视为虚拟场景的文字特征，在整个交互式应用运行过程中，将唯一地存在于该虚拟场景中。应当理解，虚拟场景不同，存在场景信息关联的文字也有所不同。

那么，在识别得到虚拟场景中的文字之后，基于设定存储区中预先关联存储了场景信息的文字，便能够相应地获得与识别得到的文字具有关联关系的场景信息。

回请继续参阅图4，针对虚拟场景301，可识别得到的该虚拟场景301中的文字至少包括：文字306(即“请生成球队”)、文字3041(即“下一步”)等等。

由此，在识别得到的该虚拟场景301中的文字中，针对“请生成球队”，可由设定存储区中相应地获取到“请生成球队”所关联的场景信息，即“请生成球队”可视为该虚拟场景301的文字特征。

而对于“下一步”来说，则无法在设定存储区中获取到具有关联关系的场景信息，那么，“下一步”便不能够视为该虚拟场景301的文字特征。

上述过程中，基于虚拟场景的文字特征的提取，实现了虚拟场景的识别。

第三种方式，场景识别基于场景识别模型实现。

请参阅图8，本申请实施例中提供了一种可能的实施方式，步骤230可以包括以下步骤：

步骤237，基于场景识别模型对虚拟场景进行分类预测，得到预测结果。

其中，场景识别模型由机器学习模型训练生成。例如，机器学习模型可以是神经网络模型，此处并未加以限定。

首先，以交互式应用为云游戏，对模型训练过程进行以下说明：

步骤一，针对现有存量游戏，对每一个游戏中的各帧游戏画面(亦即虚拟场景)进行标注，以标注后的游戏画面作为游戏场景训练集中的训练样本，输入机器学习模型。

应当说明的是，标注，是指为游戏画面添加标签，不同的标签用于标识不同类别的虚拟场景。其中，标签，不局限于文字形式，还可以是数字、字符、图形、颜色等形式，此处并未加以限定。

步骤二，随机初始化机器学习模型的参数，以游戏场景训练集中的当前一个训练样本和随机初始化的参数构建损失函数，并计算该损失函数的损失值。其中，损失函数可以是最大期望函数、交叉熵函数、类内分布函数、类间分布函数、激活分类函数等等。

如果该损失函数的损失值达到最小值，则该损失函数收敛，执行步骤四。

反之，如果该损失函数的损失值未达到最小值，则执行步骤三。

步骤三，更新机器学习模型的参数，以游戏场景训练集中的后一个训练样本和更新的参数构建新的损失函数，并计算该损失函数的损失值。

如果该损失函数的损失值仍未达到最小值，则循环执行步骤三，直至损失函数的损失值达到最小值，该损失函数收敛，执行步骤四。

当然，也可以设置迭代次数，那么，当迭代次数达到设定次数，也可视为损失函数收敛。其中，设定次数可以根据应用场景的实际需要灵活地调整，例如，高精度要求的应用场景，设置较大的设定次数，此处并未加以限定。

步骤四，当损失函数收敛，模型训练完成，由机器学习模型收敛得到场景识别模型。

在模型训练完成之后，场景识别模型便具备了虚拟场景的分类预测能力。

其次，关于分类预测，实质是基于分类器(例如激活分类函数)，计算虚拟场景属于不同分类的概率，以概率最大的虚拟场景的所属类别作为预测结果。

举例来说，假设虚拟场景的类别包括a、b、c，且虚拟场景属于类别a的概率为P0，虚拟场景属于类别b的概率为P1，虚拟场景属于类别b的概率为P2。

如果P0最大，则预测结果指示虚拟场景属于类别a；以此类推，如果P1最大，则预测结果指示虚拟场景属于类别b；如果P2最大，则预测结果指示虚拟场景属于类别c。

步骤238，获取与预测结果具有关联关系的场景信息。

同理于前述虚拟场景中文字/图片关联的场景信息，对于服务器而言，针对现有存量游戏，预先针对每一个游戏中各帧游戏画面(亦即虚拟场景)的所属类别，在设定存储区中关联存储场景信息，以便于场景信息的获取。

上述过程中，基于AI技术的训练和预测，实现了场景识别。

此外，上述过程中，可以采用三种方式中的任意一种或者几种进行场景识别，以此充分地保证场景识别的准确性。

通过上述实施例的配合，实现了虚拟场景的自动化识别，以此作为场景信息的获取依据，使得基于场景信息所进行的第一操作事件与第二操作事件的转换处理得以实现，从而有利于解决相关技术中存在的交互式应用对终端设备类型兼容性差的问题。

请参阅图9，本申请实施例中提供了一种可能的实施方式，步骤330之后，该方法还可以包括以下步骤：

步骤410，根据场景信息获取提示信息。

其中，提示信息用于提示用户通过终端可支持的输入设备对虚拟场景进行控制。该输入设备类型包括但不限于鼠标、键盘、触控屏幕、手柄、摇杆、方向盘等等。

在此，发明人意识到，终端可支持的输入设备可能不止一种，那么，为用户预先存储的提示信息也相应地可以有多种。也就是说，输入设备类型不同，提示信息将有所区别，以此来提示用户通过终端可支持的不同输入设备对虚拟场景进行控制。

基于此，在一种可能的实施方式，提示信息与输入设备类型有关。此时，关于提示信息的获取方式，具体包括以下步骤：基于终端可支持的输入设备，确定输入设备类型；根据场景信息，确定输入设备类型对应的提示信息。

步骤430，在虚拟场景中显示提示信息。

回请参阅图4，图4示例性示出了虚拟场景中显示提示信息的示意图。以终端可支持的输入设备为手柄举例说明，如图4所示，在虚拟场景301中，提示信息303用于提示用户通过按压手柄上的功能键A调出软键盘，提示信息305用于提示用户通过按压手柄上的功能键X点击控件304，即控件“下一步”。

在上述实施例的作用下，向用户显示虚拟场景的同时，对用户进行关于虚拟场景如何通过终端可支持的输入设备进行控制的提示，以此有效地提升了用户的游戏体验。

请参阅图10，本申请实施例中提供了一种可能的实施方式，步骤350可以包括以下步骤：

步骤351，当检测到针对虚拟场景的第一操作事件，确定第一操作事件的功能键操作类型。

其中，功能键操作类型，用于表示用户针对虚拟场景的操作方式。例如，功能键操作类型为滑动功能键，即表示用户针对虚拟场景的操作方式为滑动功能键操作。

步骤353，基于第一操作事件确定输入设备类型。

其中，输入设备类型，用于表示终端可支持的输入设备。例如，输入设备类型可以是鼠标、键盘、触控屏幕、手柄、摇杆、方向盘等等。

如前所述，如果用户期望通过终端所配置的输入设备进行与虚拟场景相关的交互操作，便会在虚拟场景中提供的交互入口触发相关操作，进而使得终端能够检测到该交互入口触发的相关操作，进而生成针对该虚拟场景的第一操作事件。

换而言之，第一操作事件，用于描述用户通过终端所配置的输入设备进行的与虚拟场景相关的交互操作。基于此，在检测到第一操作事件之后，便可基于该第一操作事件，确定功能键操作类型和输入设备类型。

应当说明的是，在其他实施例中，步骤351和步骤353的执行顺序不局限于先执行步骤351后执行步骤353，还可以是先执行步骤353后执行步骤351，或者同时执行步骤351和步骤353，本实施例中并非对此构成具体限定。

步骤355，根据输入设备类型和功能键操作类型，从场景信息中获取关联事件。

其中，关联事件，用于表示交互式应用可支持的操作方式。例如，关联事件为点击事件，即表示交互式应用可支持的操作方式为点击操作。

表1场景信息

如上表1所示，对于服务器而言，预先将输入设备类型、功能键操作类型、关联事件之间的关联关系存储至场景信息，那么，在确定输入设备类型和功能键操作类型之后，便可从场景信息中获取关联事件。例如，当输入设备类型为手柄且功能键操作类型为按压功能键X时，关联事件为软键盘调用事件。

当然，此处仅是示例性地示出上述关联关系的存储方式，在其他实施例中，上述关联关系还可以采用数组、队列、数据表等存储方式，此处并非构成具体限定。

步骤357，根据获取到的关联事件，生成第二操作事件。

其中，第二操作事件，用于描述交互式应用支持的用户进行的与虚拟场景相关的交互操作。

以输入设备类型为手柄举例说明如下：

假设手柄上至少包括功能键X和功能键A，对应地，功能键操作类型至少包括按压功能键X和按压功能键A。

一方面，如图4所示，如果输入设备类型为手柄且第一操作事件的功能键操作类型为按压第一功能键(即按压功能键A)，则从场景信息中获取软键盘调用事件；响应于软键盘调用事件，在虚拟场景中显示软键盘界面；根据软键盘界面中检测到的输入操作，生成第二操作事件。

对应地，就服务器而言，基于第二操作事件，将相应地在虚拟场景中的输入框中模拟显示球队教练名称，以此同步完成终端中用户关于虚拟场景301中输入框302的交互操作。

也就是说，交互式应用支持的用户进行的与虚拟场景相关的交互操作实质为输入操作，然而，手柄所能够支持的是按压功能键操作，故而，通过关联事件，终端侧实现了按压功能键操作与输入操作的转换和适配。

值得一提的是，此处，游戏本身支持的输入操作可能仅针对硬件输入设备，例如键盘，而本实施例中，输入操作实际上来自于软键盘，也即是，输入操作针对的是虚拟输入设备，由此可见，通过终端进行的操作方式的转换和适配，交互式应用的操作方式得以进一步地扩展，即由硬件输入设备扩展至虚拟输入设备。

另一方面，如图4所示，如果输入设备类型为手柄且第一操作事件的功能键操作类型为按压第二功能键(即按压功能键X)，则从场景信息中获取点击事件，由点击事件生成第二操作事件。

那么，对于服务器来说，基于第二操作事件，将相应地在虚拟场景中模拟点击控件“下一步”，使得虚拟场景发生跳转，以此同步完成终端中用户关于虚拟场景301中控件304的交互操作。

也就是说，交互式应用支持的用户进行的与虚拟场景相关的交互操作实质为点击操作，然而，手柄所能够支持的是按压功能键操作，故而，通过关联事件，终端侧实现了按压功能键操作与点击操作的转换和适配。

由上可知，虽然非交互式应用不支持手柄，通过终端中进行的操作方式的转换和适配，使得交互式应用能够支持手柄，进而使得交互式应用能够兼容可配置有手柄的终端设备类型。

在上述实施例的作用下，实现了第一操作事件和第二操作事件的自适应转换和适配，对于交互式应用而言，终端侧不再局限于输入设备类型，也认为是不再局限于终端设备类型，而服务器侧仍采用交互式应用所支持的操作方式，从而保证现有存量游戏的云化过程的顺利实现，进而有利于提升用户的游戏体验。

当然，本申请中上述实施例所描述的虚拟场景控制方法，并非局限于交互式应用，也同样适用于非交互式应用。

具体而言，请参阅图11，本申请实施例中提供了一种虚拟场景控制方法，由运行非交互式应用的终端执行，该方法可以包括以下步骤：

步骤510，运行非交互式应用，构建当前帧的虚拟场景。

步骤530，对构建的虚拟场景进行场景识别，获取当前帧的场景信息。

步骤550，当检测到针对虚拟场景的第一操作事件，按照场景信息将第一操作事件转换为第二操作事件。

步骤570，按照第二操作事件控制虚拟场景执行相应的操作。

通过上述过程，通过终端中进行的操作方式的转换和适配，使得终端设备类型能够不再受限于非交互式应用可支持的操作方式，从而解决相关技术中存在的非交互式应用对终端设备类型兼容性差的问题。

现结合图12至图14，对云游戏场景中的虚拟场景控制过程加以说明。其中，图12示例性示出了云游戏场景中一种虚拟场景控制方法的系统架构的示意图，图13示例性示出了云游戏场景中玩家通过手柄控制虚拟场景执行输入操作的示意图，图14示例性示出了云游戏场景中玩家通过手柄控制虚拟场景执行点击操作的示意图。

在云游戏场景中，云游戏适用于云交互系统，该云交互系统包括终端和服务器。其中，终端用于运行云游戏中的Retrace端，服务器用于运行云游戏中的Trace端。

服务器侧：

随着云游戏中的Trace端在服务器中运行，利用游戏渲染画面装置701，开始进行游戏画面的渲染，以相应地构建虚拟场景。

在游戏画面渲染完成之后，利用游戏场景识别装置702，对构建的虚拟场景进行识别，以获取该虚拟场景的场景信息，进而通过场景通知装置703将虚拟场景的图形指令数据和场景信息通知至终端。

其中，关于虚拟场景的识别方式，包括但不限于：感知哈希算法、文字识别算法、场景识别模型、以及其它支持场景识别的任意一种方法，此处并未加以限定。

终端侧：

在服务器发送了虚拟场景的图形指令数据和场景信息之后，对应地，利用场景接收装置704，终端便获取到该虚拟场景的图形指令数据和场景信息。

一方面，利用该虚拟场景的图形指令数据还原并显示该虚拟场景，另一方面，利用操控转换装置705，按照该虚拟场景的场景信息进行第一操作事件和第二操作事件的转换处理。其中，该虚拟场景的场景信息，包括但不限于：虚拟场景标识、提示信息、输入设备类型、用于表示终端可支持的操作方式的功能键操作类型、用于表示云游戏可支持的操作方式的关联事件等等。

由此，利用游戏支持的输入装置706向服务器中的游戏输入装置707通知该第二操作事件，进而使得服务器中通过模拟终端中的玩家交互操作来实现游戏主要逻辑的运行。

如图13所示，在虚拟场景301中，玩家通过按压手柄上的功能键A调出软键盘308，进而通过该软键盘308输入球队教练名称“汤姆”。由此可见，按压功能键A转换为云游戏支持的输入操作。

如图14所示，在虚拟场景301中，玩家通过按压手柄上的功能键X，在虚拟场景301中针对控件304执行点击操作，使得虚拟场景301跳转至虚拟场景309。由此可见，按压功能键X转换为云游戏支持的点击操作。

在本应用场景中，不支持手柄操作的游戏，通过终端中操作方式的转换和适配，得以实现对手柄操作的支持，进而使得该游戏能够改进为支持Retrace端和Trace端的云游戏，以此保证了玩家能够借助相对有限的轻端设备玩高品质游戏，从而有效地提升了玩家的游戏体验。

下述为本申请装置实施例，可以用于执行本申请所涉及的虚拟场景控制方法。对于本申请装置实施例中未披露的细节，请参照本申请所涉及的虚拟场景控制方法的方法实施例。

请参阅图15，本申请实施例中提供了一种虚拟场景控制装置800，部署于运行有交互式应用的终端，所述装置800包括但不限于：数据接收模块810、场景还原模块830、事件生成模块850以及事件发送模块870。

其中，数据接收模块810，用于接收服务器发送的当前帧的图形指令数据、以及当前帧的场景信息。

场景还原模块830，用于根据图形指令数据还原服务器中构建的当前帧的虚拟场景。

事件生成模块850，用于当捕获到针对虚拟场景的第一操作事件，根据第一操作事件和场景信息生成第二操作事件。

事件发送模块870，用于发送第二操作事件至服务器，以使服务器按照第二操作事件控制虚拟场景执行相应的操作。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：根据场景信息获取提示信息，提示信息用于提示用户通过终端可支持的输入设备对虚拟场景进行控制；在虚拟场景中显示提示信息。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：基于终端可支持的输入设备，确定输入设备类型；根据场景信息，确定输入设备类型对应的提示信息。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：当检测到针对虚拟场景的第一操作事件，确定第一操作事件的功能键操作类型；基于第一操作事件的功能键操作类型，按照场景信息进行第一操作事件与第二操作事件的转换处理。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：基于第一操作事件确定输入设备类型；根据输入设备类型和功能键操作类型，从场景信息中获取关联事件；根据获取到的关联事件，生成第二操作事件。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：如果输入设备类型为手柄且第一操作事件的功能键操作类型为按压第一功能键，则从场景信息中获取软键盘调用事件，作为关联事件。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：响应于软键盘调用事件，在虚拟场景中显示软键盘界面；根据软键盘界面中检测到的输入操作，生成第二操作事件。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：如果输入设备类型为手柄且第一操作事件的功能键操作类型为按压第二功能键，则从场景信息中获取点击事件，作为关联事件。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：由点击事件生成第二操作事件。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：对图形指令数据进行解析，得到渲染指令；通过渲染指令的回放，进行虚拟场景的渲染；显示虚拟场景。

请继续参阅图16，本申请实施例中提供了一种虚拟场景控制装置900，部署于运行有交互式应用的服务器，所述装置900包括但不限于：场景构建模块910、信息获取模块930以及信息发送模块950。

其中，场景构建模块910，用于运行交互式应用中的Trace端，进行当前帧对应虚拟场景的构建。

信息获取模块930，用于对构建的虚拟场景进行场景识别，获取场景信息。

信息发送模块950，用于获取当前帧的图形指令数据，并向终端发送当前帧的图形指令数据、以及场景信息，以使终端按照如上所述的虚拟场景控制方法进行虚拟场景的控制。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：采用图片相似算法，在构建的场景图片库中搜索与虚拟场景中图片相匹配的场景图片；获取与搜索到的场景图片具有关联关系的场景信息。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：采用文字识别算法，对虚拟场景中的文字进行识别；获取与识别到的文字具有关联关系的场景信息。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：基于场景识别模型对虚拟场景进行分类预测，得到预测结果，场景识别模型由机器学习模型训练生成；获取与预测结果具有关联关系的场景信息。

在一种可能的实施方式，该装置还包括功能模块用于实现以下步骤：运行交互式应用，进行当前帧的虚拟场景的渲染；其中，在虚拟场景的渲染过程中，捕获虚拟场景进行渲染的渲染指令，并根据渲染指令录制生成当前帧的图形指令数据。

请参阅图17，一种虚拟场景控制装置1000，部署于运行有非交互式应用的终端，所述装置1000包括：场景构建模块1010、信息获取模块1030、事件生成模块1050以及场景控制模块1070。

其中，场景构建模块1010，用于运行非交互式应用，进行当前帧对应虚拟场景的构建。

信息获取模块1030，用于对构建的虚拟场景进行场景识别，获取场景信息。

事件生成模块1050，用于当捕获到针对虚拟场景的第一操作事件，根据第一操作事件和场景信息生成第二操作事件。

场景控制模块1070，用于按照第二操作事件控制虚拟场景执行相应的操作。

需要说明的是，上述实施例所提供的虚拟场景控制装置在进行虚拟场景控制时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即虚拟场景控制装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。

另外，上述实施例所提供的虚拟场景控制装置与虚拟场景控制方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

由此，通过终端中进行的操作方式的转换和适配，使得终端设备类型能够不再受限于交互式应用可支持的操作方式，从而解决相关技术中存在的交互式应用对终端设备类型兼容性差的问题。

图18根据一示例性实施例示出的一种服务器的结构示意。该服务器适用于图1所示出实施环境的服务器200。

需要说明的是，该服务器只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该服务器也不能解释为需要依赖于或者必须具有图18示出的示例性的服务器2000中的一个或者多个组件。

服务器2000的硬件结构可因配置或者性能的不同而产生较大的差异，如图18所示，服务器2000包括：电源210、接口230、至少一存储器250、以及至少一中央处理器(CPU,Central Processing Units)270。

具体地，电源210用于为服务器2000上的各硬件设备提供工作电压。

接口230包括至少一有线或无线网络接口，用于与外部设备交互。例如，进行图1所示出实施环境中终端100与服务器200之间的交互。

当然，在其余本申请适配的示例中，接口230还可以进一步包括至少一串并转换接口233、至少一输入输出接口235以及至少一USB接口237等，如图15所示，在此并非对此构成具体限定。

存储器250作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统251、应用程序253及数据255等，存储方式可以是短暂存储或者永久存储。

其中，操作系统251用于管理与控制服务器200上的各硬件设备以及应用程序253，以实现中央处理器270对存储器250中海量数据255的运算与处理，其可以是WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等。

应用程序253是基于操作系统251之上完成至少一项特定工作的计算机程序，其可以包括至少一模块(图18未示出)，每个模块都可以分别包含有对服务器2000的计算机程序。例如，数据监控装置可视为部署于服务器2000的应用程序253。

数据255可以是存储于磁盘中的照片、图片等，还可以是图形指令数据等等，存储于存储器250中。

中央处理器270可以包括一个或多个以上的处理器，并设置为通过至少一通信总线与存储器250通信，以读取存储器250中存储的计算机程序，进而实现对存储器250中海量数据255的运算与处理。例如，通过中央处理器270读取存储器250中存储的一系列计算机程序的形式来完成虚拟场景控制方法。

此外，通过硬件电路或者硬件电路结合软件也能同样实现本申请，因此，实现本申请并不限于任何特定硬件电路、软件以及两者的组合。

请参阅图19，图19是根据一示例性实施例示出的一种终端的结构示意图。该终端适用于图1所示出实施环境中的终端100。

需要说明的是，该终端只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该终端也不能解释为需要依赖于或者必须具有图19中示出的示例性的终端1100中的一个或者多个组件。

如图19所示，终端1100包括存储器101、存储控制器103、一个或多个(图19中仅示出一个)处理器105、外设接口107、射频模块109、定位模块111、摄像模块113、音频模块115、触控屏幕117以及按键模块119。这些组件通过一条或多条通讯总线/信号线121相互通讯。

其中，存储器101可用于存储计算机程序以及模块，如本申请示例性实施例中的虚拟场景控制方法及装置对应的计算机程序及模块，处理器105通过运行存储在存储器101内的计算机程序，从而执行各种功能以及数据处理，即完成虚拟场景控制方法。

存储器101作为资源存储的载体，可以是随机存储器、例如高速随机存储器、非易失性存储器，如一个或多个磁性存储装置、闪存、或者其它固态存储器。存储方式可以是短暂存储或者永久存储。

外设接口107可以包括至少一有线或无线网络接口、至少一串并联转换接口、至少一输入输出接口以及至少一USB接口等，用于将外部各种输入/输出装置耦合至存储器101以及处理器105，以实现与外部各种输入/输出装置的通信。

射频模块109用于收发电磁波，实现电磁波与电信号的相互转换，从而通过通讯网络与其他设备进行通讯。通信网络包括蜂窝式电话网、无线局域网或者城域网，上述通信网络可以使用各种通信标准、协议及技术。

定位模块111用于获取终端1100的当前所在的地理位置。定位模块111的实例包括但不限于全球卫星定位系统(GPS)、基于无线局域网或者移动通信网的定位技术。

摄像模块113隶属于摄像头，用于拍摄图片或者视频。拍摄的图片或者视频可以存储至存储器101内，还可以通过射频模块109发送至上位机。

音频模块115向用户提供音频接口，其可包括一个或多个麦克风接口、一个或多个扬声器接口以及一个或多个耳机接口。通过音频接口与其它设备进行音频数据的交互。音频数据可以存储至存储器101内，还可以通过射频模块109发送。

触控屏幕117在终端1100与用户之间提供一个输入输出界面。具体地，用户可通过触控屏幕117进行输入操作，例如点击、触摸、滑动等手势操作，以使终端1100对该输入操作进行响应。终端1100则将文字、图片或者视频任意一种形式或者组合所形成的输出内容通过触控屏幕117向用户显示输出。例如，本申请各实施例中，第一操作事件可通过触控屏幕117产生。

按键模块119包括至少一个按键，用以提供用户向终端1100进行输入的接口，用户可以通过按下不同的按键使终端1100执行不同的功能。例如，声音调节按键可供用户实现对终端1100播放的声音音量的调节。例如，本申请各实施例中，第一操作事件可通过按键模块119产生。

可以理解，图19所示的结构仅为示意，终端1100还可包括比图19中所示更多或更少的组件，或者具有与图19所示不同的组件。图19中所示的各组件可以采用硬件、软件或者其组合来实现。

请参阅图20，本申请实施例中提供了一种电子设备4000，该电子设备400可以包括：运行有交互式应用的终端和服务器、运行有非交互式应用的终端等等。

在图20中，该电子设备4000包括至少一个处理器4001、至少一条通信总线4002以及至少一个存储器4003。

其中，处理器4001和存储器4003相连，如通过通信总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。

处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

通信总线4002可包括一通路，在上述组件之间传送信息。通信总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。通信总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图20中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器4003上存储有计算机程序，处理器4001通过通信总线4002读取存储器4003中存储的计算机程序。

该计算机程序被处理器4001执行时实现上述各实施例中的虚拟场景控制方法。

此外，本申请实施例中提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例中的虚拟场景控制方法。

本申请实施例中提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在存储介质中。计算机设备的处理器从存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各实施例中的虚拟场景控制方法。

与相关技术相比，通过终端中进行的操作方式的转换和适配，使得终端设备类型能够不再受限于交互式应用可支持的操作方式，从而解决相关技术中存在的交互式应用对终端设备类型兼容性差的问题。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (20)

1.一种虚拟场景控制方法，应用于运行有交互式应用的终端，其特征在于，所述方法包括：

接收服务器发送的当前帧的图形指令数据和场景信息；

根据所述图形指令数据显示所述服务器中构建的所述当前帧的虚拟场景；

当检测到针对所述虚拟场景的第一操作事件，按照所述场景信息将所述第一操作事件转换为第二操作事件；

发送所述第二操作事件至所述服务器，以使所述服务器按照所述第二操作事件控制所述虚拟场景执行相应的操作。

2.如权利要求1所述的方法，其特征在于，所述根据所述图形指令数据显示所述服务器中构建的所述当前帧的虚拟场景之后，所述方法还包括：

根据所述场景信息获取提示信息，所述提示信息用于提示用户通过所述终端可支持的输入设备对所述虚拟场景进行控制；

在所述虚拟场景中显示所述提示信息。

3.如权利要求2所述的方法，其特征在于，所述根据所述场景信息获取提示信息，包括：

基于所述终端可支持的输入设备，确定输入设备类型；

根据所述场景信息，确定所述输入设备类型对应的提示信息。

4.如权利要求1所述的方法，其特征在于，所述当检测到针对所述虚拟场景的第一操作事件，按照所述场景信息将所述第一操作事件转换为第二操作事件，包括：

当检测到针对所述虚拟场景的所述第一操作事件，确定所述第一操作事件的功能键操作类型；

基于所述第一操作事件的功能键操作类型，按照所述场景信息进行所述第一操作事件与所述第二操作事件的转换处理。

5.如权利要求4所述的方法，其特征在于，所述基于所述第一操作事件的功能键操作类型，按照所述场景信息进行所述第一操作事件与所述第二操作事件的转换处理，包括：

基于所述第一操作事件确定输入设备类型；

根据所述输入设备类型和所述功能键操作类型，从所述场景信息中获取关联事件；

根据获取到的关联事件，生成所述第二操作事件。

6.如权利要求5所述的方法，其特征在于，所述根据所述输入设备类型和所述功能键操作类型，从所述场景信息中获取关联事件，包括：

如果所述输入设备类型为手柄且所述第一操作事件的功能键操作类型为按压第一功能键，则从所述场景信息中获取软键盘调用事件，作为所述关联事件。

7.如权利要求6所述的方法，其特征在于，所述根据获取到的关联事件，生成所述第二操作事件，包括：

响应于所述软键盘调用事件，在所述虚拟场景中显示软键盘界面；

根据所述软键盘界面中检测到的输入操作，生成所述第二操作事件。

8.如权利要求5所述的方法，其特征在于，所述根据所述输入设备类型和所述功能键操作类型，从所述场景信息中获取关联事件，包括：

如果所述输入设备类型为手柄且所述第一操作事件的功能键操作类型为按压第二功能键，则从所述场景信息中获取点击事件，作为所述关联事件。

9.如权利要求8所述的方法，其特征在于，所述根据获取到的关联事件，生成所述第二操作事件，包括：

由所述点击事件生成所述第二操作事件。

10.如权利要求1至9任一项所述的方法，其特征在于，所述根据所述图形指令数据显示所述服务器中构建的所述当前帧的虚拟场景，包括：

对所述图形指令数据进行解析，得到渲染指令；

通过所述渲染指令的回放，进行所述虚拟场景的渲染；

显示所述虚拟场景。

11.一种虚拟场景控制方法，应用于运行有交互式应用的服务器，其特征在于，所述方法包括：

运行所述交互式应用，构建当前帧的虚拟场景；

对构建的所述虚拟场景进行场景识别，获取所述当前帧的场景信息；

获取所述当前帧的图形指令数据，并向终端发送所述当前帧的图形指令数据和所述场景信息，以使所述终端按照如权利要求1至10任一项所述的虚拟场景控制方法进行所述虚拟场景的控制。

12.如权利要求11所述的方法，其特征在于，所述对构建的所述虚拟场景进行场景识别，获取所述场景信息，包括：

采用图片相似算法，在构建的场景图片库中搜索与所述虚拟场景中图片相匹配的场景图片；

获取与搜索到的场景图片具有关联关系的所述场景信息。

13.如权利要求11所述的方法，其特征在于，所述对构建的所述虚拟场景进行场景识别，获取所述场景信息，包括：

采用文字识别算法，对所述虚拟场景中的文字进行识别；

获取与识别到的文字具有关联关系的所述场景信息。

14.如权利要求11所述的方法，其特征在于，所述对构建的所述虚拟场景进行场景识别，获取所述场景信息，包括：

基于场景识别模型对所述虚拟场景进行分类预测，得到预测结果，所述场景识别模型由机器学习模型训练生成；

获取与所述预测结果具有关联关系的所述场景信息。

15.如权利要求11至14任一项所述的方法，其特征在于，所述运行所述交互式应用，构建当前帧的虚拟场景，包括：

运行所述交互式应用，进行所述当前帧的虚拟场景的渲染；

其中，在所述虚拟场景的渲染过程中，捕获所述虚拟场景进行渲染的渲染指令，并根据渲染指令录制生成所述当前帧的图形指令数据。

16.一种虚拟场景控制方法，应用于运行有非交互式应用的终端，其特征在于，所述方法包括：

运行所述非交互式应用，构建当前帧的虚拟场景；

对构建的所述虚拟场景进行场景识别，获取所述当前帧的场景信息；

当检测到针对所述虚拟场景的第一操作事件，按照所述场景信息将所述第一操作事件转换为第二操作事件；

按照所述第二操作事件控制所述虚拟场景执行相应的操作。

17.一种虚拟场景控制装置，部署于运行有交互式应用的终端，其特征在于，所述装置包括：

数据接收模块，用于接收服务器发送的当前帧的图形指令数据和场景信息；

场景还原模块，用于根据所述图形指令数据显示所述服务器中构建的所述当前帧的虚拟场景；

事件生成模块，用于当检测到针对所述虚拟场景的第一操作事件，按照所述场景信息将所述第一操作事件转换为第二操作事件；

事件发送模块，用于发送所述第二操作事件至所述服务器，以使所述服务器按照所述第二操作事件控制所述虚拟场景执行相应的操作。

18.一种虚拟场景控制装置，部署于运行有交互式应用的服务器，其特征在于，所述装置包括：

场景构建模块，用于运行所述交互式应用，构建当前帧的虚拟场景；

信息获取模块，用于对构建的所述虚拟场景进行场景识别，获取所述当前帧的场景信息；

信息发送模块，用于获取所述当前帧的图形指令数据，并向终端发送所述当前帧的图形指令数据和所述场景信息，以使所述终端按照如权利要求1至10任一项所述的虚拟场景控制方法进行所述虚拟场景的控制。

19.一种虚拟场景控制装置，部署于运行有非交互式应用的终端，其特征在于，所述装置包括：

场景构建模块，用于运行所述非交互式应用，构建当前帧的虚拟场景；

信息获取模块，用于对构建的所述虚拟场景进行场景识别，获取所述当前帧的场景信息；

事件生成模块，用于当检测到针对所述虚拟场景的第一操作事件，按照所述场景信息将所述第一操作事件转换为第二操作事件；

场景控制模块，用于按照所述第二操作事件控制所述虚拟场景执行相应的操作。

20.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器、以及至少一条通信总线，其中，

所述存储器上存储有计算机程序，所述处理器通过所述通信总线读取所述存储器中的所述计算机程序；

所述计算机程序被所述处理器执行时实现权利要求1至15中任一项所述的虚拟场景控制方法。

Images