CN113069769B - 云游戏界面显示方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本申请公开了一种云游戏界面显示方法、装置、电子设备以及存储介质，包括：采集目标云游戏的游戏界面集合，所述游戏界面集合包括多个游戏界面；获取游戏界面的界面标识，所述界面标识信息包括终点界面标识和非终点界面标识；对所述游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素；根据所述界面标识和游戏界面切换元素，构建所述目标云游戏的游戏界面有向图，所述游戏界面有向图包括具有切换关系的游戏界面之间的切换路径；当接收到针对所述目标云游戏触发的交互操作，根据所述游戏界面有向图显示目标云游戏界面，该方案可以提高界面自动化跳转方案的通用性，进而降低了人力成本。

Description

云游戏界面显示方法、装置、电子设备以及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种云游戏界面显示方法、装置、电子设备以及存储介质。

背景技术

目前，主要是通过自动化脚本对云游戏进行页面跳转，这种方式本质上是通过特定的程序去满足某个云游戏的某个特定场景，比如，通过自动化脚本游戏的游戏界面进行跳转。

然而，对于同一个云游戏而言，不同的应用场景都需要编写相应的自动化脚本程序实现界面自动化跳转，并且，自动化脚本的编写成本高，需要相关技术人员编写脚本，耗费人力，不便于维护，因此，目前的界面自动化跳转方案通用性不佳，且耗费的人力成本大。

发明内容

本申请提供一种云游戏界面显示方法、装置、电子设备以及存储介质，可以提高界面自动化跳转方案的通用性，进而降低了人力成本。

本申请提供了一种云游戏界面显示方法，包括：

采集目标云游戏的游戏界面集合，所述游戏界面集合包括多个游戏界面；

获取游戏界面的界面标识，所述界面标识信息包括终点界面标识和非终点界面标识，所述终点界面标识用于指示游戏界面不具有游戏界面切换功能；

对所述游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素；

根据所述界面标识和游戏界面切换元素，构建所述目标云游戏的游戏界面有向图，所述游戏界面有向图包括具有切换关系的游戏界面之间的切换路径；

当接收到针对所述目标云游戏中游戏事触发的交互操作时，根据所述游戏界面有向图显示目标云游戏界面，所述目标云游戏界面为执行所述游戏事件后的游戏界面。

相应的，本申请还提供了一种云游戏界面显示装置，包括：

采集模块，用于采集目标云游戏的游戏界面集合，所述游戏界面集合包括多个游戏界面；

获取模块，用于获取游戏界面的界面标识，所述界面标识信息包括终点界面标识和非终点界面标识，所述终点界面标识用于指示游戏界面不具有游戏界面切换功能；

确定模块，用于对所述游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素；

构建模块，用于根据所述界面标识和游戏界面切换元素，构建所述目标云游戏的游戏界面有向图，所述游戏界面有向图包括具有切换关系的游戏界面之间的切换路径；

显示模块，用于当接收到针对所述目标云游戏中游戏事件触发的交互操作时，根据所述游戏界面有向图显示目标云游戏界面，所述目标云游戏界面为执行所述游戏事件后的游戏界面。

可选的，在本申请的一些实施例中，所述构建模块包括：

确定单元，用于根据所述界面标识，在所述多个游戏界面中确定终点界面和非终点界面；

构建单元，用于根据所述非终点界面与所述切换后界面之间的切换关系，以所述终点界面为终点构建所述目标云游戏的游戏界面有向图。

可选的，在本申请的一些实施例中，所述构建单元包括：

遍历子单元，用于遍历所述游戏界面切换元素，得到各非终点界面对应的切换后界面；

构建子单元，用于根据所述非终点界面与所述切换后界面之间的切换关系，以所述终点界面为终点构建所述目标云游戏的游戏界面有向图。

可选的，在本申请的一些实施例中，所述构建单元具体用于：

检测所述切换后界面之间的相似度；

当检测到切换后界面之间的相似度小于预设值时，则以所述终点界面为终点构建所述目标云游戏的游戏界面有向图。

可选的，在本申请的一些实施例中，所述构建单元具体还用于：

当检测到切换后界面之间的相似度大于或等于预设值时，则将相似度大于或等于预设值的切换后界面确定为待匹配界面；

计算所述待匹配界面中各像素之间的像素距离；

比对所述待匹配界面之间游戏元素的元素差异；

对所述待匹配界面进行聚类处理，得到聚类后待匹配界面，所述聚类后待匹配界面对应一个聚类簇；

基于所述像素距离、元素差异以及所述聚类后待匹配界面对应的聚类簇，以所述终点界面为终点构建所述目标云游戏的游戏界面有向图。

可选的，在本申请的一些实施例中，还包括第一检测模块，所述第一检测模块具体用于：

检测遍历所述游戏界面切换元素对应的遍历次数；

当检测到所述遍历次数大于或等于预设次数时，则基于预置策略，以所述终点界面为终点构建所述目标云游戏的游戏界面有向图。

可选的，在本申请的一些实施例中，所述确定模块具体用于：

调用预设游戏元素识别模型；

将所述游戏界面输入至所述游戏元素识别模型中，得到所述游戏界面中游戏元素所属的元素类型；

将元素类型为界面切换类型的游戏元素确定为游戏界面切换元素。

可选的，在本申请的一些实施例中，还包括第二检测模块，所述第二检测模块具体用于：

检测每个游戏界面是否具有游戏界面切换功能；

将非终点界面标识，添加至具有游戏界面切换功能的游戏界面以及；

将终点界面标识，添加至不具有游戏界面切换功能的游戏界面。

本申请实施例在采集目标云游戏的游戏界面集合后，所述游戏界面集合包括多个游戏界面，获取游戏界面的界面标识，所述界面标识信息包括终点界面标识和非终点界面标识，所述终点界面标识用于指示游戏界面不具有游戏界面切换功能，然后，对所述游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素，接着，根据所述界面标识和游戏界面切换元素，构建所述目标云游戏的游戏界面有向图，所述游戏界面有向图包括具有切换关系的游戏界面之间的切换路径，最后，当接收到针对所述目标云游戏中游戏事件触发的交互操作时，根据所述游戏界面有向图显示目标云游戏界面，所述目标云游戏界面为执行所述游戏事件后的游戏界面，在本申请提供的云游戏界面显示方案中，根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，在进行云游戏时，可以基于游戏界面有向图中切换路径，可以快速地显示执行游戏事件后的游戏界面，针对不同的应用场景都无需编写相应的自动化脚本程序实现自动跳转页面，因此，提高了界面自动化跳转方案的通用性，进而降低了人力成本。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请提供的云游戏界面显示方法的场景示意图；

图1b是本申请提供的云游戏界面显示方法的流程示意图；

图1c是本申请对游戏界面进行标注的示意图；

图1d是本申请提供的云游戏界面显示方法中构建有向图的示意图；

图1e是本申请提供的云游戏界面显示方法的游戏界面有向图；

图1f是本申请提供的云游戏界面显示方法中待匹配界面的分类示意图；

图2a是本申请提供的云游戏界面显示方法的另一流程示意图；

图2b是云游戏中新英雄体验的有向图；

图3a是本申请提供的云游戏界面显示装置的结构示意图；

图3b是本申请提供的云游戏界面显示装置的另一结构示意图；

图3c是本申请提供的云游戏界面显示装置的再一结构示意图；

图4是本申请提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供一种云游戏界面显示方法、装置、电子设备和存储介质。

其中，该云游戏界面显示装置具体可以集成在终端或服务器中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表或者只能车辆等，但并不局限于此，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，其中，终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接本申请在此不做限制。

例如，请参阅图1a，本申请提供一种云游戏界面显示装置，该云游戏界面显示装置集成在手机10中，当云游戏中某项功能新上线时，需要对目标云游戏的游戏界面进行测试时，手机10采集目标云游戏的游戏界面集合，该游戏界面集合包括多个游戏界面，然后，手机10获取游戏界面的界面标识，界面标识信息包括终点界面标识和非终点界面标识，终点界面标识用于指示游戏界面不具有游戏界面切换功能，其中，该界面标识可以是由手机10预先标注的，也可以由用户20预先标注的，还可以是结合两种方式共同对游戏界面标注，具体根据实际情况进行选择，在此不再赘述。然后，手机10对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素，接着，手机10根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，游戏界面有向图包括具有切换关系的游戏界面之间的切换路径，当接收到用户20针对目标云游戏中该游戏事件触发的交互操作，根据游戏界面有向图显示执行游戏事件后的游戏界面(即目标游戏界面)。

本申请提供的云游戏界面显示方法，根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，在进行界面自动化跳转时，可以基于游戏界面有向图中切换路径实现对目标云游戏进行游戏界面自动化跳转，针对不同的应用场景都无需编写相应的自动化脚本程序实现自动跳转页面，因此，提高了界面自动化跳转方案的通用性，进而降低了人力成本。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。

一种云游戏界面显示方法，包括：采集目标云游戏的游戏界面集合，获取游戏界面的界面标识，对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素，根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，当接收到针对目标云游戏中游戏事件触发的交互操作时，根据游戏界面有向图显示目标云游戏界面。

请参阅图1b，图1b为本申请提供的云游戏界面显示方法的流程示意图。该云游戏界面显示方法的具体流程可以如下：

101、采集目标云游戏的游戏界面集合。

其中，游戏界面集合包括多个游戏界面，在本申请中，游戏界面指的是在运行游戏时的图形用户界面(Graphical User Interface，GUI)，GUI界面是指采用图形方式显示的计算机操作用户界面，图形用户界面由窗口、下拉菜单、对话框及其相应的控制机制构成，在各种新式应用程序中都是标准化的，即相同的操作总是以同样的方式来完成，在图形用户界面，用户看到和操作的都是图形对象，应用的是计算机图形学的技术。

目标云游戏可以为家用机游戏、掌机游戏、街机游戏、云游戏或手机游戏等等，需要说明的是，云游戏(Cloud gaming)又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，游戏并不在玩家游戏终端，而是在云端服务器中运行，并由云端服务器将游戏场景渲染为视频音频流，通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。与传统游戏模式相比，云游戏能在很大程度上减小玩家游玩游戏的设备成本。对于许多需要长期更新的高品质游戏而言，云游戏也能减少游戏商发行与更新维护游戏的成本。然而在保证玩家游戏体验上，云游戏与传统游戏相比具有一定差距，主要包括：(1)游戏交互时延取决于网络通信延迟。与传统网络游戏仅需传输游戏状态数据相比，云游戏的多媒体传输对网络延迟更为敏感，当网络通信质量较差时，玩家会直接感受到从指令输入到画面更新间的延迟较高，从而显著降低玩家游戏体验质量。(2)游戏场景渲染的多媒体流质量取决于网络通信带宽。与传统网络游戏相比云游戏的多媒体流需要消耗更多带宽，并且画质越高的多媒体流，其消耗的带宽资源也会越高。

其中，云游戏可以是多人在线战术竞技游戏(Multiplayer Online Battle ArenaGames，MOBA)、多人射击游戏或者多人卡牌游戏，具体可以通过有线网络或无线网络接收服务器发送的云游戏数据，从而采集目标云游戏的游戏界面集合。

比如，具体的，可以通过云游戏界面显示应用的客户端调用云游戏的游戏界面集合，从而完成采集云游戏的游戏界面集合，又比如，游戏界面集合可以通过网页下载目标云游戏的游戏界面集合，具体可以根据实际情况进行选择，在此不再赘述。

102、获取游戏界面的界面标识。

其中，界面标识信息包括终点界面标识和非终点界面标识，该终点界面标识用于指示游戏界面不具有游戏界面切换功能，可以理解的是，非终点界面标识用于指示游戏界面具有游戏界面切换功能，即，非终点界面标识所对应的界面可以切换至下一级界面，其中，非终点界面的下一级界面可以是非终点界面，也可以是终点界面，比如，非终点界面A为待检测游戏的游戏初始界面，在非终点界面A中可以设置有游戏进入控件，当检测到针对该登录控件的点击操作时，则将非终点界面A切换为登录界面，并且，在该登录界面中设置有登录控件，同样的，触发登录控件后，可以将登录界面切换为相应的游戏界面，则登录界面为非终点界面A进行界面切换后的非终点界面B，即，可以将游戏初始界面和登录界面均标记为非终点界面，也即，将非终点界面标识添加至游戏初始界面和登录界面。

需要说明的是，对于同一个游戏界面而言，其界面标识可以为非终点界面标识，也可以为终点界面标识，具体其所对应的任务进行标注，比如，在用户启动游戏时，首先进入游戏初始界面，然后，针对游戏初始界面触发界面切换操作，进而将游戏初始界面切换为登录界面，对于游戏登录任务而言，登录界面为游戏登录任务的终点界面，而游戏初始界面则为该任务的非终点界面，进一步的，还可以将该游戏初始界面的界面标识设置为起始界面标识；而在游戏对战任务中，登录界面和游戏初始界面均作为游戏对战任务的其中一个节点，因此，登录界面和游戏初始界面均为非终点界面，并且，在一些实施例中，游戏初始界面作为该游戏对战任务的起始界面。

具体的，请参阅图1c，游戏界面a、游戏界面b以及游戏界面c为同一游戏的游戏界面，其中，游戏界面a具有游戏界面切换功能，且游戏界面a可作为重点游戏界面，游戏界面b具有游戏界面切换功能，但游戏界面b为非终点界面，游戏界面c为终点界面，如图所示，游戏界面a标注有终点界面标识L和非终点界面标识F，游戏界面b标注有非终点界面标识F，游戏界面c标注有终点界面标识L。

可以理解的是，可以由服务器或终端预先设置游戏界面的界面标识，也可以是由运维人员预先设置游戏界面的界面标识，具体根据实际情况而定，即，可选的，在一些实施例中，步骤“获取游戏界面的界面标识”之前，具体还可以包括：

(11)检测每个游戏界面是否具有游戏界面切换功能；

(12)将非终点界面标识，添加至具有游戏界面切换功能的游戏界面以及将终点界面标识，添加至不具有游戏界面切换功能的游戏界面。

例如，由服务器或终端在进行交互操作之前，预先检测每个游戏界面是否具有游戏界面切换功能，比如，检测游戏界面中各控件对应的功能，或者检测游戏界面是否为动画，具体根据每个游戏界面的差异而定，然后，将非终点界面标识，添加至具有游戏界面切换功能的游戏界面以及将终点界面标识，添加至不具有游戏界面切换功能的游戏界面，无需人工标注游戏界面的界面标识，可以提高后续界面自动化跳转的效率。

需要说明的，本申请可以采用领域专用语言(Domain Specific Language，DSL)对数据进行标注，DSL是针对某一领域，具有受限表达性的一种计算机程序设计语言，具体可以采用JS对象简谱(JavaScript Object Notation，JSON)格式记录标注数据，JSON是一种轻量级的数据交换格式。它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。JSON易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率，在本申请中，JSON格式记录标注数据主要包括游戏界面、游戏界面的切换条件、游戏界面中游戏元素的参数以及游戏元素图片，使用领域专用语言(DomainSpecific Language，DSL)对数据进行标注，简化了标注工作，也规范了引擎解析数据的逻辑，极大简化了整个方案的工作量。

还需要说明的是，对于一些场景复杂的游戏(可实现切换功能的游戏元素较多)而言，在本申请中，可以由运维人员预先标注游戏界面的界面标识，避免机器标注界面标识时出错而导致后续界面自动化跳转的结果不准确，由此，提高了界面自动化跳转结果的准确性。

103、对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素。

其中，游戏界面的游戏元素可以为游戏控件或文本，为了后续构建目标云游戏的游戏界面有向图，可以将触发界面切换的游戏控件确定为游戏界面切换控件、以及将将触发界面切换的文本确定为游戏界面切换文本，比如，将游戏界面中返回控件、关闭控件以及登录控件确定为游戏界面切换控件，同理，将游戏界面中快进提示文本、退出提示文本以及预览提示文本确定为游戏界面切换文本，如，“滑动以快进”、“滑动以退出”以及“双击预览”等字眼的文本确定为游戏界面切换文本。

进一步的，可以基于人工智能(Artificial Intelligence,AI)对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

具体的，可以采用相应的游戏元素识别模型识别游戏元素，进而确定各游戏元素所属的元素类型，即，可选的，在一些实施例中，步骤“对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素”，具体可以包括：

(21)调用预设游戏元素识别模型；

(22)将游戏界面输入至游戏元素识别模型中，得到游戏界面中游戏元素所属的元素类型；

(23)将元素类型为界面切换类型的游戏元素确定为游戏界面切换元素。

以游戏元素是游戏控件为例进行具体说明的，在对游戏控件进行识别之前，预先获取一个卷积神经网络以及游戏控件样本集合，其中，该游戏控件样本集合包含多个已标注控件类型的游戏控件样本，然后，将该游戏控件样本集合输入至该卷积神经网络中，得到每个游戏控件样本的预测控件类型，接着，基于游戏控件标注的控件类型以及预测控件类型，构建该卷积神经网络的损失函数，随后，通过该损失函数对该卷积神经网络进行参数调整，最终得到游戏控件识别模型，在使用过程中，将游戏界面输入至游戏控件识别模型中，得到游戏界面中游戏元素所属的元素类型，并将控件类型为界面切换类型的游戏控件确定为游戏界面切换控件，需要说明的是，对于游戏元素为文本的情况也是采用类似的作法，具体参阅前面步骤，在此不再赘述。

104、根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图。

在此，介绍有向图的概念，有向图G定义为V和E的集合G＝{V,E}，其中V表示有向图图中的所有的顶点集合，E表示的是G中的所有的边的集合，在本申请中，顶点对应游戏界面，边对应游戏元素，即，游戏界面有向图包括具有切换关系的游戏界面之间的切换路径。

具体的，可以在多个游戏界面中确定终点界面和非终点界面，然后，遍历所有非终点界面，以终点界面为终点构建目标云游戏的游戏界面有向图，即，可选的，在一些实施例中，步骤“根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图”，具体可以包括：

(31)根据界面标识，在多个游戏界面中确定终点界面和非终点界面；

(32)遍历非终点界面，利用终点界面构建目标云游戏的游戏界面有向图。

以一个非终点界面A为例进行具体说明，具体的，针对该非终点界面A执行界面切换操作，将非终点界面A切换为界面B，若界面B为非终点界面，则针对该非终点界面B执行界面切换操作，直到切换后界面为终点界面为止，并保存该切换路径“非终点界面A-非终点界面B-...-终点界面”，同理，对于其他非终点界面而言，也是采用同样的方式构建切换路径，由此构建目标云游戏的游戏界面有向图。

需要说明的是，界面切换是通过游戏界面切换元素触发的，因此，在一些实施例中，可以遍历游戏界面元素，从而构建目标云游戏的游戏界面有向图，即，可选的，在一些实施例中，步骤“遍历非终点界面，利用终点界面构建目标云游戏的游戏界面有向图”，具体可以包括：

(41)遍历游戏界面切换元素，得到各非终点界面对应的切换后界面；

(42)根据非终点界面与切换后界面之间的切换关系，以终点界面为终点构建目标云游戏的游戏界面有向图。

具体的，可以触发每个游戏界面切换元素，使得非终点界面切换至相应的界面，比如，可以利用深度优先遍历算法触发游戏界面切换元素执行页面切换操作，请参阅图1d，在图1d中以A为起点，遍历过程如下：

第1步：访问A。

第2步：访问(A的出度对应的字母)B。在第1步访问A之后，接下来访问的是A的出度对应字母，即"B、C或F"中的一个。为了便于描述，假设顶点ABCDEFGH是按照顺序存储，B在"C和F"的前面，因此，先访问B。

第3步：访问(B的出度对应的字母)F。B的出度对应字母只有F。

第4步：访问H(F的出度对应的字母)。F的出度对应字母只有H。

第5步：访问(H的出度对应的字母)G。

第6步：访问(G的出度对应字母)E。在第5步访问G之后，接下来应该访问的是G的出度对应字母，即"B,C,E"中的一个。但在本文的实现中，顶点B已经访问了，由于C在E前面，所以先访问C。

第7步：访问(C的出度对应的字母)D。

第8步：访问(C的出度对应字母)D。在第7步访问C之后，接下来应该访问的是C的出度对应字母，即"B或D"中的一个。由于顶点B已经访问了，所以访问D。

第9步：访问E。D无出度，所以一直回溯到G对应的另一个出度E。

由上可知，因此访问顺序是：A->B->F->H->G->C->D->E。

可以理解的是，在本申请中，将每个游戏界面作为有向图中的点，并且，在进行遍历之前，预先对每个游戏界面进行标注，因此，在遍历时，可以确定有向图的终点(终点界面)，进一步的，在一些实施例中，还可以确定有向图的起点，即，确定起点界面，由此可以减少遍历游戏元素的时间，进而提高了界面自动化跳转的效率。

需要说明的是，在遍历游戏元素进行界面切换时，可能会出现未知的界面如随机弹窗和系统界面，当出现未知的界面时，记录未知界面在有向图中出现的位置，如图1e所示，在图1e中，缺乏边的节点则为未知界面，在记录时，可以记录未知界面所对应的游戏界面。

另外，在遍历过程中，可能还会遇到大量重复或相似的UI界面，这些界面会影响后续构建的游戏界面有向图的有效性，因此，需要检测这些界面之间的相似度，即，可选的，在一些实施例中，步骤“根据非终点界面与切换后界面之间的切换关系，以终点界面为终点构建目标云游戏的游戏界面有向图”，具体可以包括：

(51)检测切换后界面之间的相似度；

(52)当检测到切换后界面之间的相似度小于预设值时，则以终点界面为终点构建目标云游戏的游戏界面有向图。

当检测到切换后界面之间的相似度小于预设值时，则将相似度小于预设值的切换后界面作为游戏界面有向图中的节点，并以终点界面为终点；而对于切换后界面之间的相似度预设值大于或等于预设值的切换后界面，则基于预置策略在这些切换后界面选择相应的切换后界面作为游戏界面有向图中的节点，从而构建目标云游戏的游戏界面有向图，其中，预置策略可以是计算切换后界面像素之间的距离、游戏元素匹配和/或对切换后界面进行聚类处理，即，可选的，还可以包括：

(61)当检测到切换后界面之间的相似度大于或等于预设值时，则将相似度大于或等于预设值的切换后界面确定为待匹配界面；

(62)计算待匹配界面中各像素之间的像素距离；

(63)比对待匹配界面之间游戏元素的元素差异；

(64)对待匹配界面进行聚类处理，得到聚类后待匹配界面；

(65)基于像素距离、元素差异以及聚类后待匹配界面对应的聚类簇，以终点界面为终点构建目标云游戏的游戏界面有向图。

具体的，基于像素距离、元素差异以及聚类后待匹配界面对应的聚类簇，计算出待匹配界面在不同维度下的相似度，以待匹配界面A和待匹配界面B为例进行具体说明，首先，将待匹配界面A的分辨率和待匹配界面B的分辨率转换为相同分辨率下的游戏界面(相同分辨率时则省略该步骤)，具体可以通过图像插值或者模板匹配的方式，转换的方式为现有的常规作法，在此不作赘述；然后，分别计算待匹配界面A和待匹配界面B的直方图，接着，计算两个直方图的归一化相关系数如巴氏距离，其中，像素是一幅数字图像最基本的构成元素，直方图反映的是图像像素灰度值的概率分布，这种方法是基于简单的数学上的向量之间的差异来进行图像相似程度的度量，由此计算出待匹配界面A和待匹配界面B在像素维度上的相似度。在比对待匹配界面之间游戏元素的元素差异中，可以复用前面实施例提到的元素识别模型，识别出每个待匹配图像的游戏元素的数量以及形状，由此计算出待匹配界面A和待匹配界面B在内容维度上的相似度。在聚类处理的方式下，利用预先建立的图像分类模型对待匹配界面A和待匹配界面B进行分类，具体的，将待匹配界面A和待匹配界面B输入至图像分类模型中，输出待匹配界面A和待匹配界面B对应的分类结果，然后，根据该分类结果，将待匹配界面A和待匹配界面B添加至相应的聚类簇中，完成对待匹配界面A和待匹配界面B的聚类处理。最后，利用加权处理的方式对上述三种方式得到的结果进行处理，输出待匹配界面A和待匹配界面B最终的分类，其中，加权处理时的权重可以根据实际情况进行调整，将具有相同分类的界面划分至同一个组中，如图1f所示，如果切换前后的游戏界面属于不同组，就能检测到游戏界面发生了切换，此时，则记录游戏界面切换路径。

还需要说明的是，当遍历算法无法通过非终点界面探索至终点界面时，可以终止该次探索流程，并显示相应的提示信息，以便运维人员获知，此时，可由运维人员执行手动构建以该非终点界面为起点的切换路径，即，本申请还可以包括：

(71)检测遍历游戏界面切换元素对应的遍历次数；

(72)当检测到遍历次数大于或等于预设次数时，则基于预置策略，以终点界面为终点构建目标云游戏的游戏界面有向图。

遍历次数可以为100次，也可以为1000次，具体根据实际进行选择，当构建得到目标云游戏的游戏界面有向图后，则执行步骤105。

此外，前面实施例提到，本申请采用DSL的方式简化任务复杂度，同时，本申请的方案可以实现任一界面自动化跳转任务，即，本申请的方案具有图灵完备性。图灵完备性概念是针对数据操作规则而言的，所谓的数据操作规则可以是编程语言、指令集、也可以是自定义规则，当这套规则可实现图灵机模型的全部功能时，则可以确定这套规则具备图灵完备性。其中图灵机模型是一个数学模型，并非一种特定的实体，这里我们不对图灵机的概念做过多展开，关键是理解图灵机概念提出的核心思想就是提供一种标准：假设图灵模型中所需要的功能能够被用某种形式实现，那么任何可计算问题(计算理论中的概念)都将被解决。

具体到自动探索的方案中，将UI自动化探索流程抽象成有向图，有向图的结构显然是可以表达任意复杂度的流程，对应到自动化脚本中的分支、循环、跳转，有向图可以很轻松模拟这些特性；使用redis的List结构(lpush、lpop栈操作)，对DSL的节点进行压栈出栈操作，复用其他已探索和标注的有向图，模拟编程语言的递归调用特性；剩下的关键就是去实现各种逻辑运算和数值运算，因此，本申请的DSL方案在“自动化探索”这一特定问题上具备狭义的图灵完备性。

105、当接收到针对目标云游戏中游戏事件触发的交互操作，根据游戏界面有向图显示目标云游戏界面。

如本申请所公开的云游戏界面显示方法，其中游戏界面有向图可保存于区块链上，通过游戏界面有向图进行云游戏界面显示，因此，可以通过游戏界面有向图中切换路径将页面切换为执行游戏事件后的游戏界面(即目标云游戏界面)，由此，提高了界面切换的效率，并且，当云游戏中新增了游戏场景时，无需编写相应的自动化脚本程序，只需要采用上述方法构建有向图即可实现自动跳转页面，因此，提高了界面自动化跳转方案的通用性，进而降低了人力成本。

本申请实施例在采集目标云游戏的游戏界面集合后，获取游戏界面的界面标识，然后，对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素，接着，根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，当接收到针对目标云游戏中游戏事件触发的交互操作，根据游戏界面有向图显示目标云游戏界面，在本申请提供的云游戏界面显示方案中，根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，在进行云游戏时，可以基于游戏界面有向图中切换路径，可以快速地显示执行游戏事件后的游戏界面，针对不同的应用场景都无需编写相应的自动化脚本程序实现自动跳转页面，因此，提高了界面自动化跳转方案的通用性，进而降低了人力成本。

进一步的，本实施例将从云游戏界面显示装置集成在终端的角度进行描述。

请参阅图2a，一种云游戏界面显示方法，具体流程可以如下：

201、终端采集目标云游戏的游戏界面集合。

其中，游戏界面集合包括多个游戏界面，在本申请中，游戏界面指的是在运行游戏时的图形用户界面(Graphical User Interface，GUI)，GUI界面是指采用图形方式显示的计算机操作用户界面，图形用户界面由窗口、下拉菜单、对话框及其相应的控制机制构成，在各种新式应用程序中都是标准化的，即相同的操作总是以同样的方式来完成，在图形用户界面，用户看到和操作的都是图形对象，应用的是计算机图形学的技术。终端可以通过云游戏界面显示应用的客户端调用目标云游戏的游戏界面集合，从而完成采集目标云游戏的游戏界面集合。

202、终端获取游戏界面的界面标识。

其中，界面标识信息包括终点界面标识和非终点界面标识，该终点界面标识用于指示游戏界面不具有游戏界面切换功能，对于同一个游戏界面而言，其界面标识可以为非终点界面标识，也可以为终点界面标识，具体其所对应的任务进行标注，比如，在用户启动游戏时，首先进入游戏初始界面，然后，针对游戏初始界面触发界面切换操作，进而将游戏初始界面切换为登录界面，对于游戏登录任务而言，登录界面为游戏登录任务的终点界面，而游戏初始界面则为该任务的非终点界面，进一步的，还可以将该游戏初始界面的界面标识设置为起始界面标识；而在游戏对战任务中，登录界面和游戏初始界面均作为游戏对战任务的其中一个节点，因此，登录界面和游戏初始界面均为非终点界面，并且，在一些实施例中，游戏初始界面作为该游戏对战任务的起始界面。

203、终端对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素。

其中，游戏界面的游戏元素可以为游戏控件，终端可以在对游戏控件进行识别之前，预先获取一个卷积神经网络以及游戏控件样本集合，其中，该游戏控件样本集合包含多个已标注控件类型的游戏控件样本，然后，终端将该游戏控件样本集合输入至该卷积神经网络中，得到每个游戏控件样本的预测控件类型，接着，终端基于游戏控件标注的控件类型以及预测控件类型，构建该卷积神经网络的损失函数，随后，终端通过该损失函数对该卷积神经网络进行参数调整，最终得到游戏控件识别模型，在使用过程中，终端将游戏界面输入至游戏控件识别模型中，得到游戏界面中游戏元素所属的元素类型，并将控件类型为界面切换类型的游戏控件确定为游戏界面切换控件。

204、终端根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图。

例如，具体的，终端可以在多个游戏界面中确定终点界面和非终点界面，然后，终端遍历游戏界面切换元素，得到各非终点界面对应的切换后界面，最后，终端根据非终点界面与切换后界面之间的切换关系，以终点界面为终点构建目标云游戏的游戏界面有向图。

205、终端当接收到针对目标云游戏中游戏事件触发的交互操作，根据游戏界面有向图显示目标云游戏界面。

为了便于进一步理解本申请的云游戏界面显示方案，以下以云游戏界面为例进行进一步具体说明，本申请基于流程抽象和数据驱动的主轴思想，对云游戏UI界面进行DFS深度优先遍历，利用有向图的数据结构来构建云游戏UI自动化探索流程，通过半自动探索和数据标注的方式替代人工编码、能更好地应对UI更新、版本迭代频繁、游戏品类众多的云游戏应用场景，具体的，以在云游戏中完成游戏登录到选择英雄界面，并选择指定英雄的过程为例进行说明。

首先采集云游戏从游戏登录到选择英雄的的游戏界面集合，然后，基于采集的游戏界面集合构建该云游戏的有向图，具体的，构建有向图的关键要素是：游戏界面集合、游戏界面切换操作、终点界面标识以及起点界面标识，即有向图的边和有向图的各个节点，具体的，本申请采用自动化探索和人工标注结合的方式，标注最基本的有向图起点、中间点以及终点然后基于这样的信息，对云游戏虚拟机进行自动探索，从起点自动探索到终点，记录过程中遇到的全部未知用户界面、随机弹窗以及系统界面等。

为实现自动化探索，首先要确定触发界面切换的控件，然后通过决策点击哪些控件触发界面切换操作。此处值得注意的是云游戏是基于视频流的，其中，受支持的操作90％是触控操作、或者结合触控的滑动操作。因此，游戏界面中的触控控件可分为:return(返回)、close(关闭)以及shift(返回)等，对游戏界面中的触控元素进行标注，就能覆盖自动化探索所需要的控件。

然后利用预先训练的神经网络，对每个游戏界面中的游戏控件进行识别，得到游戏界面中的游戏控件对应的控件类型，其中，该神经网络由大量样本训练得到的，该样本为云游戏的游戏界面。

进一步的，利用自动探索算法(主要是DFS深度优先遍历算法)对控件进行预设操作，即执行每个控件对应的操作，具体的，遍历所有游戏界面中的游戏控件，得到每个非终点界面对应的切换后界面，需要说明的是，在遍历时，可能会存在自动探索算法无法控制云游戏虚拟机抵达终点(即终点界面)，在本申请中，可以设置自动探索的最大次数，如果探索次数内还没有到达终点，可以结合人工标注的方式得到完整的游戏界面集合和路径。在遍历过程中，必然会遇到大量重复或者相似的游戏界面，这些重复或相似的游戏界面会影响到后续有向图的构建，因此，需要对每个游戏界面进行像素距离计算、控件元素匹配以及对游戏界面进行聚类，具体请参阅前面实施例，在此不再赘述。

请参阅图2b，该图为云游戏中新英雄体验的有向图，该图包括两个有向连通子图，其中，虚线框选中的游戏界面对应到切换过程中不定位置出现的随机弹窗，称为随机节点，因为这种随机节点无法事先确定其出现顺序和时机，所以全部当成单个节点的子图(有很多这样的单节点连通子图)来处理，另一个游戏界面连通子图就对应到自动化探索过程中的主流程，它主要由若干个游戏界面(节点)和切换关系(边)组成。

需要说明的是，在本申中，采用json格式记录标注数据，主要由三部分组成：游戏界面(即有向图的节点)、边的描述信息(即控件的触发信息)以及控件的图形参数。使用DSL来定义标注数据格式，简化了标注工作，也规范了引擎解析数据的逻辑，极大简化了整个方案的工作量。然而在简化任务复杂度的同时，也面临本申请的方案是否否具备图灵完备性。

图灵完备性概念是针对数据操作规则而言的，所谓的数据操作规则可以是编程语言、指令集、也可以是自定义规则，当这套规则可实现图灵机模型的全部功能时，我们可以认为这套规则具备图灵完备性。其中图灵机模型是一个数学模型，并非一种特定的实体，图灵机概念提出的核心思想就是提供一种标准：假设图灵模型中所需要的功能能够被用某种形式实现，那么任何可计算问题(计算理论中的概念)都将被解决。

具体到本申请的方案中，本申请要解决的是“游戏界面自动化探索”这一特定领域的问题，将自动化探索流程抽象成有向图，有向图的结构显然是可以表达任意复杂度的流程，对应到自动化脚本中的分支、循环以及跳转，有向图可以很轻松模拟这些特性；使用redis的List结构(lpush、lpop栈操作)，对DSL的节点进行压栈出栈操作，复用其他已探索和标注的有向图，模拟编程语言的递归调用特性；剩下的关键就是去实现各种逻辑运算和数值运算，因此本申请的方案在“游戏界面自动化探索”这一特定问题上具备狭义的图灵完备性。

进一步的，以用户针对云游戏中新虚拟角色体验的自动化流程为例进行具体介绍，在新的虚拟角色(以下称为目标虚拟角色)上线发布之前，云游戏服务器可以采集目标云游戏的游戏界面集合，具体为显示包含该目标虚拟角色的角色选择列表的游戏界面(游戏界面A)、确认选择该目标虚拟角色的游戏界面(游戏界面B)以及控制该目标虚拟角色的游戏界面(游戏界面C)，然后，云游戏服务器可以获取游戏界面的界面标识，其中，在新虚拟角色体验的游戏事件下，游戏界面A可以作为起点游戏界面，游戏界面C可以作为终点游戏界面，故，云游戏服务器可构建新虚拟角色体验的游戏事件对应的游戏界面有向图，具体为：游戏界面A-游戏界面B-游戏界面C，当云游戏服务器接收到用户针对新虚拟角色体验事件触发的交互操作时，根据游戏界面有向图显示目标云游戏界面(即游戏界面C)，由此完成界面自动化跳转。

由上可知，本申请实施例的终端在采集目标云游戏的游戏界面集合后，获取游戏界面的界面标识，然后，终端对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素，接着，终端根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，终端当接收到针对目标云游戏触发的交互操作，根据游戏界面有向图显示目标云游戏界面，在本申请提供的云游戏界面显示方案中，根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，在进行云游戏时，可以基于游戏界面有向图中切换路径，可以快速地显示执行游戏事件后的游戏界面，针对不同的应用场景都无需编写相应的自动化脚本程序实现自动跳转页面，因此，提高了界面自动化跳转方案的通用性，进而降低了人力成本。

为便于更好的实施本申请的云游戏界面显示方法，本申请还提供一种基于上述云游戏界面显示装置(简称显示装置)，所提及名词的含义与上述云游戏界面显示方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图3a，图3a为本申请提供的云游戏界面显示装置的结构示意图，其中该显示装置可以包括采集模块301、获取模块302、确定模块303、构建模块304以及显示模块305，具体可以如下：

采集模块301，用于采集目标云游戏的游戏界面集合。

其中，游戏界面集合包括多个游戏界面，在本申请中，游戏界面指的是在运行游戏时的图形用户界面(Graphical User Interface，GUI)，GUI界面是指采用图形方式显示的计算机操作用户界面，图形用户界面由窗口、下拉菜单、对话框及其相应的控制机制构成，在各种新式应用程序中都是标准化的，即相同的操作总是以同样的方式来完成，在图形用户界面，用户看到和操作的都是图形对象，应用的是计算机图形学的技术。

比如，具体的，采集模块301可以通过云游戏界面显示应用的客户端调用目标云游戏的游戏界面集合，从而完成采集目标云游戏的游戏界面集合。

获取模块302，用于获取游戏界面的界面标识。

其中，界面标识信息包括终点界面标识和非终点界面标识，该终点界面标识用于指示游戏界面不具有游戏界面切换功能，可以理解的是，非终点界面标识用于指示游戏界面具有游戏界面切换功能，即，非终点界面标识所对应的界面可以切换至下一级界面，其中，非终点界面的下一级界面可以是非终点界面，也可以是终点界面。

确定模块303，用于对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素。

其中，游戏界面的游戏元素可以为游戏控件，确定模块303可以在对游戏控件进行识别之前，预先获取一个卷积神经网络以及游戏控件样本集合，其中，该游戏控件样本集合包含多个已标注控件类型的游戏控件样本，然后，确定模块303将该游戏控件样本集合输入至该卷积神经网络中，得到每个游戏控件样本的预测控件类型，接着，确定模块303基于游戏控件标注的控件类型以及预测控件类型，构建该卷积神经网络的损失函数，随后，确定模块303通过该损失函数对该卷积神经网络进行参数调整，最终得到游戏控件识别模型，在使用过程中，确定模块303将游戏界面输入至游戏控件识别模型中，得到游戏界面中游戏元素所属的元素类型，并将控件类型为界面切换类型的游戏控件确定为游戏界面切换控件。

可选的，在一些实施例中，确定模块303具体可以用于：调用预设游戏元素识别模型；将游戏界面输入至游戏元素识别模型中，得到游戏界面中游戏元素所属的元素类型；将元素类型为界面切换类型的游戏元素确定为游戏界面切换元素。

构建模块304，用于根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图。

例如，具体的，构建模块304可以在多个游戏界面中确定终点界面和非终点界面，然后，构建模块304遍历游戏界面切换元素，得到各非终点界面对应的切换后界面，最后，构建模块304根据非终点界面与切换后界面之间的切换关系，以终点界面为终点构建目标云游戏的游戏界面有向图。

可选的，在一些实施例中，构建模块304具体可以包括：

确定单元，用于根据界面标识，在多个游戏界面中确定终点界面和非终点界面；

构建单元，用于根据非终点界面与所述切换后界面之间的切换关系，以终点界面为终点构建目标云游戏的游戏界面有向图。

可选的，在一些实施例中，构建单元具体可以包括：

遍历子单元，用于遍历游戏界面切换元素，得到各非终点界面对应的切换后界面；

构建子单元，用于根据非终点界面与切换后界面之间的切换关系，以终点界面为终点构建目标云游戏的游戏界面有向图。

可选的，在一些实施例中，构建单元具体可以用于：检测切换后界面之间的相似度；当检测到切换后界面之间的相似度小于预设值时，则以终点界面为终点构建所述目标云游戏的游戏界面有向图。

可选的，在本申请的一些实施例中，构建单元具体还可以用于：当检测到切换后界面之间的相似度大于或等于预设值时，则将相似度大于或等于预设值的切换后界面确定为待匹配界面；计算所述待匹配界面中各像素之间的像素距离；比对待匹配界面之间游戏元素的元素差异；对所述待匹配界面进行聚类处理，得到聚类后待匹配界面；基于像素距离、元素差异以及聚类后待匹配界面对应的聚类簇，以终点界面为终点构建所述目标云游戏的游戏界面有向图。

可选的，在一些实施例中，请参阅图3b，显示装置具体还可以包括第一检测模块306，第一检测模块306具体用于：检测遍历游戏界面切换元素对应的遍历次数；当检测到遍历次数大于或等于预设次数时，则基于预置策略，以终点界面为终点构建目标云游戏的游戏界面有向图。

显示模块305，用于当接收到针对目标云游戏触发的交互操作时，根据所述游戏界面有向图显示目标云游戏界面。

其中，目标云游戏界面为执行游戏事件后的游戏界面，可选的，在一些实施例中，请参阅图3c，显示装置具体还可以包括第二检测模块307，第二检测模块307具体可以用于：检测每个游戏界面是否具有游戏界面切换功能；将非终点界面标识，添加至具有游戏界面切换功能的游戏界面以及将终点界面标识，添加至不具有游戏界面切换功能的游戏界面。

本申请实施例的采集模块301在采集目标云游戏的游戏界面集合后，获取模块302获取游戏界面的界面标识，然后，确定模块303对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素，接着，构建模块304根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，显示模块305当接收到针对目标云游戏触发的交互操作，根据游戏界面有向图显示目标云游戏界面，在本申请提供的云游戏界面显示方案中，根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，在进行云游戏时，可以基于游戏界面有向图中切换路径，可以快速地显示执行游戏事件后的游戏界面，针对不同的应用场景都无需编写相应的自动化脚本程序实现自动跳转页面，因此，提高了界面自动化跳转方案的通用性，进而降低了人力成本。

此外，本申请还提供一种电子设备，如图4所示，其示出了本申请所涉及的电子设备的结构示意图，具体来讲：该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

采集目标云游戏的游戏界面集合，获取游戏界面的界面标识，对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素，根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，当接收到针对目标云游戏中游戏事件触发的交互操作时，根据游戏界面有向图显示目标云游戏界面。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

本申请实施例在采集目标云游戏的游戏界面集合后，获取游戏界面的界面标识，然后，对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素，接着，根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，当接收到针对目标云游戏触发的交互操作时，根据游戏界面有向图显示目标云游戏界面，在本申请提供的云游戏界面显示方案中，根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，在进行云游戏时，可以基于游戏界面有向图中切换路径，可以快速地显示执行游戏事件后的游戏界面，针对不同的应用场景都无需编写相应的自动化脚本程序实现自动跳转页面，因此，提高了界面自动化跳转方案的通用性，进而降低了人力成本。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请所提供的任一种云游戏界面显示方法中的步骤。例如，该指令可以执行如下步骤：

采集目标云游戏的游戏界面集合，获取游戏界面的界面标识，对游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素，根据界面标识和游戏界面切换元素，构建目标云游戏的游戏界面有向图，当接收到针对目标云游戏中游戏事件触发的交互操作时，根据游戏界面有向图显示目标云游戏界面。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请所提供的任一种云游戏界面显示方法中的步骤，因此，可以实现本申请所提供的任一种云游戏界面显示方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

以上对本申请所提供的一种云游戏界面显示方法、装置、电子设备以及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种云游戏界面显示方法，其特征在于，包括：

采集目标云游戏的游戏界面集合，所述游戏界面集合包括多个游戏界面；

获取游戏界面的界面标识，界面标识信息包括终点界面标识和非终点界面标识，所述终点界面标识用于指示游戏界面不具有游戏界面切换功能；

对所述游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素；

根据所述界面标识，在所述多个游戏界面中确定终点界面和非终点界面，所述游戏界面有向图包括具有切换关系的游戏界面之间的切换路径；

遍历所述游戏界面切换元素，得到各非终点界面对应的切换后界面；

检测所述切换后界面之间的相似度；

当检测到切换后界面之间的相似度小于预设值时，则以所述终点界面为终点构建所述目标云游戏的游戏界面有向图；

当检测到切换后界面之间的相似度大于或等于预设值时，则将相似度大于或等于预设值的切换后界面确定为待匹配界面，所述待匹配界面表征与所述切换后界面重复或相似的游戏界面；

计算所述待匹配界面中各像素之间的像素距离；

比对所述待匹配界面之间游戏元素的元素差异；

对所述待匹配界面进行聚类处理，得到聚类后待匹配界面，所述聚类后待匹配界面对应一个聚类簇；

基于所述像素距离、元素差异以及所述聚类后待匹配界面对应的聚类簇，以所述终点界面为终点构建所述目标云游戏的游戏界面有向图；

当接收到针对所述目标云游戏中游戏事件触发的交互操作时，根据所述游戏界面有向图显示目标云游戏界面，所述目标云游戏界面为执行所述游戏事件后的游戏界面。

2.根据权利要求1所述的方法，其特征在于，还包括：

检测遍历所述游戏界面切换元素对应的遍历次数；

当检测到所述遍历次数大于或等于预设次数时，则基于预置策略，以所述终点界面为终点构建所述目标云游戏的游戏界面有向图。

3.根据权利要求1至2任一项所述的方法，其特征在于，所述对所述游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素，包括：

调用预设游戏元素识别模型；

将所述游戏界面输入至所述游戏元素识别模型中，得到所述游戏界面中游戏元素所属的元素类型；

将元素类型为界面切换类型的游戏元素确定为游戏界面切换元素。

4.根据权利要求1至2任一项所述的方法，其特征在于，在获取游戏界面的界面标识之前，还包括：

检测每个游戏界面是否具有游戏界面切换功能；

将非终点界面标识，添加至具有游戏界面切换功能的游戏界面以及；

将终点界面标识，添加至不具有游戏界面切换功能的游戏界面。

5.一种云游戏界面显示装置，其特征在于，包括：

采集模块，用于采集目标云游戏的游戏界面集合，所述游戏界面集合包括多个游戏界面；

获取模块，用于获取游戏界面的界面标识，所述界面标识信息包括终点界面标识和非终点界面标识，所述终点界面标识用于指示游戏界面不具有游戏界面切换功能；

确定模块，用于对所述游戏界面中游戏元素进行识别，将触发界面切换的游戏元素确定为游戏界面切换元素；

构建模块，用于根据所述界面标识和游戏界面切换元素，构建所述目标云游戏的游戏界面有向图，所述游戏界面有向图包括具有切换关系的游戏界面之间的切换路径；

显示模块，用于当接收到针对所述目标云游戏中游戏事件触发的交互操作时，根据所述游戏界面有向图显示目标云游戏界面，所述目标云游戏界面为执行所述游戏事件后的游戏界面；

所述构建模块包括：

确定单元，用于根据所述界面标识，在所述多个游戏界面中确定终点界面和非终点界面；

构建单元，用于根据所述非终点界面与切换后界面之间的切换关系，以所述终点界面为终点构建所述目标云游戏的游戏界面有向图；

所述构建单元包括：

遍历子单元，用于遍历所述游戏界面切换元素，得到各非终点界面对应的切换后界面；

构建子单元，用于根据所述非终点界面与所述切换后界面之间的切换关系，以所述终点界面为终点构建所述目标云游戏的游戏界面有向图；

所述构建单元具体用于：

检测所述切换后界面之间的相似度；

当检测到切换后界面之间的相似度小于预设值时，则以所述终点界面为终点构建所述目标云游戏的游戏界面有向图；

所述构建单元具体还用于：

当检测到切换后界面之间的相似度大于或等于预设值时，则将相似度大于或等于预设值的切换后界面确定为待匹配界面，所述待匹配界面表征与所述切换后界面重复或相似的游戏界面；

计算所述待匹配界面中各像素之间的像素距离；

比对所述待匹配界面之间游戏元素的元素差异；

对所述待匹配界面进行聚类处理，得到聚类后待匹配界面，所述聚类后待匹配界面对应一个聚类簇；

基于所述像素距离、元素差异以及所述聚类后待匹配界面对应的聚类簇，以所述终点界面为终点构建所述目标云游戏的游戏界面有向图。

6.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1-4任一项所述云游戏界面显示方法的步骤。

7.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述云游戏界面显示方法的步骤。

Images