CN111686450B - 游戏的剧本生成及运行方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供了一种游戏的剧本生成及运行方法、装置、电子设备和存储介质。涉及计算机技术领域，用于解决现有技术中剧本生成效率低的问题。本申请中，生成的剧本中包括目标控件的图像特征，并由图像特征作为目标控件的业务逻辑的触发条件。在运行剧本时可通过图像特征的匹配操作来检测目标控件的位置。无论用户终端设备的分辨率为多少，都可以通过目标控件的位置，执行关于该目标控件的业务逻辑。因此，无需对同一游戏的每个分辨率分别执行重复的演示操作来生成不同的剧本，能够简化用户操作提高剧本的生成效率。

Description

游戏的剧本生成及运行方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，涉及一种游戏的剧本生成及运行方法、装置、电子设备和存储介质。

背景技术

游戏的剧本中包括与游戏页面相关的一些业务逻辑。例如，剧本中可以记录在何种游戏页面触发用户点击事件，或输入某些字符等。故此，剧本可以模拟用户操作促使自动运行游戏。

相关技术中，需要用户在游戏页面中进行演示操作，然后根据用户的演示操作生成剧本。然而，由于终端设备的分辨率不同，每种分辨率下需要单独执行一遍用户操作，为不同分辨率分别生成对应的剧本。故此，用户需要重复操作来生成剧本，导致剧本的生成效率低下。

发明内容

本申请实施例提供一种游戏的剧本生成及运行方法、装置、电子设备和存储介质，用于简化用户操作，提高游戏的剧本生成效率。

第一方面，本申请实施例提供了一种游戏的剧本生成方法，所述剧本是根据对所述游戏中的多个目标游戏页面的演示操作生成的，包括：

针对任一目标游戏页面，响应于对所述目标游戏页面内的目标控件的演示操作，从所述目标游戏页面中识别所述目标控件的图像特征；

在所述剧本中，将所述图像特征关联为与所述目标控件相关的业务逻辑的触发条件。

第二方面，本申请实施例提供了一种游戏的剧本运行方法，所述剧本是根据对所述游戏中的多个目标游戏页面的演示操作生成的，其中，针对任一目标游戏页面，所述剧本中包括所述目标游戏页面内的目标控件的图像特征，且所述图像特征为所述目标控件相关的业务逻辑的触发条件，所述方法包括：

运行到任一所述目标游戏页面时，根据所述剧本获取所述目标游戏页面内的目标控件的图像特征；

在所述目标游戏页面中对所述图像特征进行匹配操作；

若在所述目标游戏页面中匹配到所述图像特征，则执行与所述目标控件相关的业务逻辑。

第三方面，本申请实施例提供了一种游戏的剧本生成装置，所述剧本是根据对所述游戏中的多个目标游戏页面的演示操作生成的，包括：图像特征提取模块，用于针对任一目标游戏页面，响应于对所述目标游戏页面内的目标控件的演示操作，从所述目标游戏页面中识别所述目标控件的图像特征；

关联模块，用于在所述剧本中，将所述图像特征关联为与所述目标控件相关的业务逻辑的触发条件。

可选的，所述图像特征提取模块，包括：

目标区域获取单元，用于以所述演示操作在所述目标游戏页面的操作位置为基准，根据所述业务逻辑关联的目标区域的位置信息以及所述目标区域的尺寸信息，从所述目标游戏页面中获取所述目标区域；

模板图像获取单元，用于从所述目标区域中识别出所述目标控件的模板图像作为所述图像特征。

可选的，所述模板图像获取单元，用于：

对所述目标区域进行边缘检测，获取所述目标区域内的边缘轮廓信息；

从所述边缘轮廓信息中识别出至少一个凸包；

分别拟合出每个凸包的外接多边形；

根据拟合的外接多边形匹配出所述目标控件的模板图像。

可选的，所述模板图像获取单元，用于：

分别获得各外接多边形的模板特征，所述模板特征包括外接多边形的尺寸和外接多边形内的图像特征中的一个或者组合；

根据获得的模板特征确定满足预设条件的目标外接多边形；

从所述目标游戏页面中截取所述目标外接多边形内的图像内容作为所述模板图像。

可选的，所述模板图像获取单元在分别拟合出每个凸包的外接多边形之前，还用于：

过滤掉满足过滤条件的凸包，所述过滤条件为所述演示操作的操作位置位于凸包之外。

第四方面，本申请实施例提供了一种游戏的剧本运行装置，所述剧本是根据对所述游戏中的多个目标游戏页面的演示操作生成的，其中，针对任一目标游戏页面，所述剧本中包括所述目标游戏页面内的目标控件的图像特征，且所述图像特征为所述目标控件相关的业务逻辑的触发条件，所述装置包括：

图像特征获取模块，用于运行到任一所述目标游戏页面时，根据所述剧本获取所述目标游戏页面内的目标控件的图像特征；

匹配模块，用于在所述目标游戏页面中对所述图像特征进行匹配操作；

执行模块，用于若在所述目标游戏页面中匹配到所述图像特征，则执行与所述目标控件相关的业务逻辑。

可选的，若在所述目标游戏页面中匹配到所述图像特征，所述执行模块，包括：

控件位置确定单元，用于根据所述目标游戏页面中匹配所述图像特征的位置，确定所述目标控件的位置；

事件生成单元，用于根据所述目标控件的位置，生成针对所述目标控件的控件操作事件；

执行单元，用于执行与所述控件操作事件对应的游戏操作。

可选的，对任一所述目标游戏页面，所述剧本中还包括目标区域的位置信息以及所述目标区域的尺寸信息，所述匹配模块，用于：

根据所述目标区域的位置信息以及所述目标区域的尺寸信息，从所述目标游戏页面中截取所述目标区域；

在所述目标区域中对所述图像特征进行匹配操作。

可选的，所述图像特征为所述目标控件的模板图像。

由于本申请实施例采用上述技术方案，至少具有如下技术效果：

本申请实施例中，生成的剧本中包括目标控件的图像特征，并由图像特征作为目标控件的业务逻辑的触发条件。由此在运行可通过图像特征的匹配操作来检测目标控件，得到目标控件的位置信息。无论用户终端设备的分辨率为多少，都可以通过匹配目标控件的图像特征来定位到目标控件的位置，从而可以触发关于该目标控件的业务逻辑。因此，本申请实施例提供的方案中，无需对同一游戏的每个分辨率分别执行重复的演示操作来生成不同的剧本，能够简化用户操作提高剧本的生成效率。此外，需要管理和维护的剧本数量将成本的减少，也能够节约剧本所占用的存储资源和管理资源。

附图说明

图1为本申请实施例中提供的录制剧本的操作示意图；

图2为本申请实施例中提供游戏的剧本生成或运行方法的应用场景示意图；

图3为申请实施例提供的基于云游戏运行剧本的场景示意图；

图4为本申请实施例中提供的游戏的剧本生成方法的流程示意图；

图5为本申请实施例中提供的游戏的剧本的示意图；

图6-图7为本申请实施例中的确定控件的图像特征的界面示意图；

图8为本申请实施例中提供的游戏的剧本生成方法的流程示意图；

图9为本申请实施例中提供的游戏的剧本运行方法的流程示意图；

图10为本申请实施例中提供的游戏的剧本的生成及运行方法的流程示意图；

图11a-图11f为本申请实施例提供的游戏的剧本生成或运行的一些界面图。

图12为本申请实施例提供的运行新手教学剧本的界面操作图；

图13本申请实施例提供的运行新手任务剧本的界面操作图；

图14为本申请实施例中提供的游戏的剧本生成装置的结构示意图；

图15为本申请实施例中提供的游戏的剧本运行装置的结构示意图；

图16-图17为本申请实施例中提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

下面对本申请实施例中涉及的部分概念进行介绍。

云游戏：游戏主机设置在服务器侧，玩家通过终端设备的本地网络连接服务器，在服务器运行游戏；游戏画面和对游戏的操控信息，都通过网络在服务器和终端设备之间进行传输，玩家的终端设备侧无需安装游戏包。

预加载：云游戏在推广游戏给玩家时，为了快速让玩家上手试玩某个游戏场景，会通过预加载的方式控制游戏自动进入某个场景。

剧本：记录了如何通过预加载方式自动运行游戏的一些业务逻辑，可实现为xml文件。剧本能够用于模拟用户操作，来触发游戏的运行。

凸集：在凸几何中，凸集(convex set)是在凸组合下闭合的仿射空间的子集。更具体地说，在欧氏空间中，凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内。例如，立方体是凸集，但是任何中空的或具有凹痕的形状(例如月牙形)不是凸集。

凸包：凸包(Convex Hull)是计算几何(图形学)中的概念，凸包跟多边形逼近很像。其严格的数学定义为：在一个向量空间V中，对于给定集合X，所有包含X的凸集的交集S被称为X的凸包。在图像处理过程中，常常需要寻找图像中包围某个物体的凸包。

模板图像，其作为检索目标的图像，模板图像应用于模板匹配技术。该技术是一种用于在源图像中寻找并定位给定模板图像的技术。其原理类似于通过一些相似度准则来衡量源图像的图像块与模板图像之间的相似度。从而从源图像中寻找并定位出与模板图像匹配的图像块。

本申请实施例涉及计算机实现游戏功能的场景。游戏依赖于用户操作触发游戏的进行。一些特殊需求下，需要通过剧本模拟用户操作来达到自动跳过某些用户操作让玩家直接进入指定的游戏场景。

如图1所示，为录制剧本的一种界面示意图。图1中展示了用于登录的游戏页面，该页面中可采用两种不同的登录方式，一种登录方式为通过控件1登录，另一种登录方式为通过控件2登录，两个控件可对应不同的社交网络的账户。录制剧本时，用户如果点击了控件1，则剧本中会记录用户点击的位置，并以此位置触发一个点击事件给游戏的进程，以便于游戏的进程，根据该点击事件确定采用何种登录方式登录。

不同分辨率情况下，有的游戏页面进行了分辨率适配，有的游戏页面没有进行适配。即使进行了分辨率适配，同一控件的位置也不能完全套用另一分辨率情况来确定。例如1024*768分辨率下登录按钮区域在以1000*700为中心的一个区域，而在480*240分辨率下，是找不到这个区域的。故此1000*700区域内产生的点击事件，在480*240分辨率下是无效的。也正因如此，相关技术中需要每个分辨率下分别录制一个剧本。

本申请实施例中，为了简化用户操作，提高剧本生成效率，可以实现在一个分辨率下录制的剧本，能够适用于其他分辨率。为了达到这一目的，本申请实施例的发明构思可简述为：在录制剧本时，基于用户对控件的操作，获取控件的图像特征，并以该图像特征来定位并寻找不同分辨率情况下控件的位置，并据此来触发与该控件相关的业务逻辑。

基于该发明构思，本申请实施例中剧本中会记录控件的图像特征。当在其他分辨率下，运行剧本时，只需在游戏页面中匹配该控件的图像特征即可定位该控件的位置，并由此触发该控件的相关操作。由此，本申请实施例中无需在不同分辨率下重复进行相同的演示操作来完成不同剧本录制。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图2所示，其为本申请实施例的应用场景示意图。该应用场景图中包括数据库10、服务器20和终端设备30。数据库10中可存储有和各游戏相关的信息，例如不同游戏的运行程序、用户注册信息，用户游戏等级等。在云游戏的场景中，服务器20可设置有多个，对于同一游戏而言，每种服务器可对应运行该游戏的一种分辨率的游戏业务。

图2中的终端设备30可包括多个，例如终端设备30_1、终端设备30_2……终端设备30_N。终端设备30与服务器20之间可以通过网络40进行通信。在一些实施例中，网络是有线网络或无线网络。终端设备30以及服务器20可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在本申请实施例中，游戏开发商可基于其中的一个或多个终端设备(例如终端设备30_N)完成对不同游戏的剧本录制。游戏玩家可基于终端设备30_1登录服务器20实现对云游戏的控制。当然，用于剧本录制的终端设备和用于操控云游戏的终端设备也可以是同一个。

在一些实施例中，录制的剧本可存储在数据库10中，以便于服务器20可以从数据库中获取录制的剧本运行游戏。例如，如图3所示，可响应于用户在游戏页面中执行的执行目标任务的操作(例如该目标任务可用于制作宠物粮食并喂养宠物)，则服务器20会响应该操作从数据库10中获取到目标任务的剧本并运行，以便于自动执行目标任务。

在本申请实施例中，终端设备30为用户使用的电子设备，该电子设备可以是个人计算机、智能手机、平板电脑、笔记本、台式计算机、智能音箱、智能手表、电子书阅读器等具有一定计算能力的计算机设备。服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一些实施例中，本申请中的剧本也是对游戏中的多个目标游戏页面的演示操作生成的。不同之处在于，每个目标游戏页面以目标控件的图像特征作为业务逻辑的触发条件。参阅图4所示，为本申请实施例提供的一种游戏的剧本生成方法的实施流程图，针对任一目标游戏页面，该方法包括：

在步骤401中，响应于对目标游戏页面内的目标控件的演示操作，从目标游戏页面中识别目标控件的图像特征；

在一些实施例中，可以基于人工智能技术设计并训练神经网络。并基于该神经网络提取目标控件的图像特征。人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。在本申请实施例中，可采用人工智能技术获取一些图像特征，以便于基于用户的演示操作在游戏页面中能够通过人工智能方式自动识别出操作的控件，进而生成剧本。也可以在运行剧本的过程中，采用人工智能方式从其他分辨率的游戏页面中识别出控件，以此来触发游戏的自动运行。

在另一个实施例中，还可以将目标控件的模板图像作为目标控件的图像特征。

在步骤402中，在剧本中，将图像特征关联为与目标控件相关的业务逻辑的触发条件。

如图5所示，为剧本的部分内容的示意图。图5中的剧本内容描述了在目标游戏页面中需要匹配名称为右击按钮的模板图像；如果匹配到该模板图像，则可执行相关的业务逻辑，例如可在剧本中定义对该按钮自动执行点击操作；若按钮用于选择关卡，剧本中还可以根据所需进入的关卡，设定对该按钮执行点击操作的次数。

在剧本中还可以设定一些附加的业务逻辑。例如，设定在目标游戏页面中对图像特征进行匹配操作的次数，以便于能够通过多次匹配操作提高检测并定位目标控件的准确性。当然，在另一个实施例中，还可以设置未匹配到目标控件的图像特征时应该执行的业务逻辑。

由此，本申请实施例中，生成的剧本中包括目标控件的图像特征，并由图像特征作为目标控件的业务逻辑的触发条件。在运行剧本时，可通过图像特征的匹配操作来检测目标控件，得到目标控件的位置信息。无论用户终端设备的分辨率为多少，都可以通过匹配目标控件的图像特征来定位到目标控件的位置，从而可以触发关于该目标控件的业务逻辑。因此，本申请实施例提供的方案中，无需对同一游戏的每个分辨率分别执行重复的演示操作来生成不同的剧本，能够简化用户操作提高剧本的生成效率。此外，需要管理和维护的剧本数量减少，也能够节约剧本所占用的存储资源和管理资源。

模板匹配技术能够简单快速的定位到目标控件的位置，故此，本申请实施例中可采用模板图像作为目标控件的图像特征。为了便于在目标游戏页面中能够快速的识别到模板图像，本申请实施例中，可以以演示操作在目标游戏页面的操作位置为基准，根据业务逻辑关联的目标区域的位置信息以及目标区域的尺寸信息，从目标游戏页面中获取目标区域；然后，从目标区域中识别出目标控件的模板图像。由此，达到对少量的图像数据进行处理，提高模板图像的识别效率。

例如，如图6所示，控件1中的十字线为演示操作的点击点，则可以以该点击点为中心，在虚线所示的目标区域内识别出模板图像。目标区域的大小可以根据控件1的大小来动态确定。也可以根据游戏中采用的控件的通用尺寸来确定。

在另一个实施例中，有些目标控件的操作事件并不需要在目标控件内产生。如图7所示，页面下方类似矩形区域内为新手教学的目标控件，如果点击该目标控件，则需要播放新手教学视频，如果点击该目标控件之外的区域，则会跳过新手教学的视频。故此，当触发的业务逻辑为跳过新手教学时，可以在剧本中记录用于跳过新手教学的业务逻辑对应的点击位置。实施时，如图5所示，可以记录相对目标控件位置的偏移量(“input offset”)。这样，在运行剧本时，会在提供新手教学入口的游戏页面中匹配到新手教学的目标控件，然后以该目标控件的位置为基准可以根据剧本中的偏移量重新确定一个位置，由于该位置位于新手教学的目标控件之外，则基于该位置触发的点击事件，将会触发跳过新手教学的业务逻辑。

对于如图7所示的新手教学一类的目标控件，该类目标控件内容复杂，实施时，可以该类目标控件中的部分内容(如图7中虚线矩形框内的内容)作为模板图像，以此来简化模板图像。

此外，针对一些特殊的操作，例如选中角色并移动角色的操作，剧本中均可以记录操作轨迹相关的模板图像，例如对于滑动操作，可记录滑动操作的起始和终止位置相关的模板图像，以便于在各分辨率下定位出滑动操作的起始和终止位置。其他类型的操作可参考执行，只要能够采用(图像特征)模板图像定位出不同分辨下操作的位置即可。

在另一个实施例中，从目标区域中识别出模板图像的操作，可如图8所示，包括以下步骤：

步骤801：对目标区域进行边缘检测，获取目标区域内的边缘轮廓信息；

步骤802：从边缘轮廓信息中识别出至少一个凸包；

步骤803：分别拟合出每个凸包的外接多边形；

在实施时，用于识别模板图像的目标区域内可能会包含多个控件，为了能够准确的识别到目标控件的模块图像，在步骤803之前，可以通过一些过滤条件来过滤掉一些凸包，来降低后续关于凸包的计算量。例如，该过滤条件为演示操作的操作位置位于凸包之外，以此来准确的定位到被点击的目标控件。

步骤804：根据拟合的外接多边形匹配出目标控件的模板图像。

例如，对于具有特殊轮廓的目标控件，可以根据外接多边形的外部轮廓匹配出目标控件的模板图像。对于具有通过颜色或纹理特征能够区分出的目标控件，可以采用目标控件的颜色或者纹理特征，或者二者的结合来匹配出目标控件的模板图像。

为了能够采用更为通用简便的方法匹配出模板图像，本申请实施例中可如图8所示，采用以下方法匹配出模板图像：

步骤A1：分别获得各外接多边形的模板特征。

步骤A2：根据获得的模板特征确定满足预设条件的目标外接多边形；

例如，为了便于用户操作，目标控件不能太小，故此游戏中对目标控件的尺寸有一定的要求。基于此，在筛选模板图像时，应要求选择出的目标控件尺寸应尽可能合理。此外，目标控件应当具有足够多的特征点来使得进行模板匹配时能够尽可能采用少量的特征点准确的筛选出与模板图像匹配的图像块。

综上所述，模板特征可包括外接多边形的尺寸和外接多边形内的图像特征中的一个或者组合。当然，实施时，可以根据实际需求，增加一些其他的模板特征，均适用于本申请实施例。

步骤A3：从目标游戏页面中截取目标外接多边形内的图像内容作为模板图像。

综上所述，介绍了本申请实施例中如何生成剧本。在介绍完本申请实施例中关于生成剧本的一些内容之后，为便于理解如何运行剧本，基于相同的发明构思，本申请实施例还提供的一种游戏的剧本运行方法。

如前文所述，运行的剧本是根据对游戏中的多个目标游戏页面的演示操作生成的，针对任一目标游戏页面，该剧本中包括目标游戏页面内的目标控件的图像特征，且图像特征为目标控件相关的业务逻辑的触发条件。故此，如图9所述，该剧本运行方法可包括以下步骤：

步骤901：运行到任一目标游戏页面时，根据剧本获取目标游戏页面内的目标控件的图像特征。

步骤902：在目标游戏页面中对图像特征进行匹配操作。

实施时，剧本中还包括目标区域的位置信息以及目标区域的尺寸信息，在执行匹配操作时，可根据目标区域的位置信息以及目标区域的尺寸信息，从目标游戏页面中截取目标区域；然后在目标区域中对图像特征进行匹配操作。例如继续以图1所示的登录页面为例，则在图1中控件1的虚线框区域内匹配控件1的图像特征，而无需在整个登录页面内匹配控件1的图像特征。由此可减少匹配操作的数据量，提高定位控件1的效率。

需要说明的是，本申请实施例中，进行匹配操作时，可截取当前的游戏页面，然后对目标控件的图像特征进行匹配操作。为了能够确保剧本能够成功的运行，可以多次截取当前的游戏页面，并多次进行匹配操作。直至匹配操作的次数达到预设上限时，如果仍未匹配到图像特征，可确定匹配失败。然后运行剧本中定义的匹配失败时的业务逻辑。

步骤903：若在目标游戏页面中匹配到图像特征，则执行与目标控件相关的业务逻辑。

例如，在如图1所述的登录页面，可匹配控件1的图像特征，从而从登录页面中定位到控件1。然后根据控件1的位置触发登录操作。实施时可预先分配相应的账号密码，当基于控件1触发登录操作时，可基于剧本在账号密码输入页面，自动定位到输入框，模拟用户操作完成账号密码的输入操作，从而完成登录操作。

在一些实施例中，如图9所示，步骤903可实施为：

步骤B1：根据目标游戏页面中匹配图像特征的位置，确定目标控件的位置；

例如，继续以图1所示的登录页面为例，可以通过匹配操作确定控件1的位置。图像特征定位到的控件1的位置可以是一个位置点，也可以是一个位置区域。例如，当以模板图像进行匹配操作时，则匹配到的是一个图像块，该图像块则是一个区域。当定位的控件1的位置为一个位置点时，可确定该位置点为控件1的位置，当定位的控件1的位置为一个区域时，可采用该区域的几何中心作为控件1的位置。

步骤B2：根据目标控件的位置，生成针对目标控件的控件操作事件；

例如，可基于控件1实现点击事件，点击位置为控件1的位置。那么可自动模拟用户对控件1的点击操作，触发游戏的运行。

当业务逻辑为类似图7所示的跳过新手教学时，则根据目标控件的位置生成一个控件位置之外的位置，该位置在新手教学的控件之外，则生成的控件点击事件的点击位置在新手教学的控件之外，从而触发跳过新手教学的业务逻辑。

步骤B3：执行与控件操作事件对应的游戏操作。

为便于理解本申请实施例提供的技术方案的整体构思，下面结合图10对此进行说明，如图10所示，包括以下步骤：

步骤1001：针对任一目标游戏页面，响应于对目标游戏页面内的目标控件的演示操作，以演示操作在目标游戏页面的操作位置为基准，根据业务逻辑关联的目标区域的位置信息以及目标区域的尺寸信息，从目标游戏页面中获取目标区域。

步骤1002：对目标区域进行边缘检测，获取目标区域内的边缘轮廓信息。

步骤1003：从边缘轮廓信息中识别出至少一个凸包。

步骤1004：分别拟合出每个凸包的外接多边形。

步骤1005：分别获得各外接多边形的模板特征。

步骤1006：根据获得的模板特征确定满足预设条件的目标外接多边形。

步骤1007：从目标游戏页面中截取目标外接多边形内的图像内容作为模板图像。

步骤1008：响应于运行剧本的运行操作，获取剧本。

步骤1009：运行到任一目标游戏页面时，根据剧本获取目标游戏页面内的目标控件的模板图像。

步骤1010：根据剧本中包括的目标区域的位置信息以及目标区域的尺寸信息，从目标游戏页面中截取目标区域。

步骤1011：在目标区域中对模板图像进行匹配操作。

步骤1012：若在目标游戏页面中匹配到模板图像，根据目标游戏页面中匹配模板图像的图像块，确定目标控件的位置。

步骤1013：根据目标控件的位置，生成针对目标控件的控件操作事件。

步骤1014：执行与控件操作事件对应的游戏操作。

下面以本申请实施例适用的一些场景为例，对本申请实施例提供的剧本运行方法进行说明。

场景一：云游戏

大多游戏需要游戏玩家下载并安装游戏包到终端设备，而云游戏中，玩家无需下载和安装游戏包到本地的终端设备。在云游戏场景中，如图3所示，游戏运行的主机设置在服务器侧，玩家通过终端设备的本地网络连接服务器，服务器将游戏页面通过网络传输给终端设备展示。游戏玩家基于显示的游戏页面对相应的游戏控件执行用户操作，终端设备响应用户操作并发送控件操作事件给服务器。然后服务器基于该控件操作事件运行游戏。故此，在云游戏场景中，游戏页面和对游戏的操控信息，都通过网络在服务器和终端设备之间进行传输。

在云游戏场景中游戏的操控运行对延时很敏感，如果游戏玩家每次玩云游戏都需要完成登录、关闭弹窗等一系列操作，将会增加网络负担，导致游戏玩家不能很快的进入到想要开始进行游戏的场景中。有鉴于此，本申请实施例中，可以事先录制剧本并由服务器来运行该剧本以帮助游戏玩家自动完成从登录到进入指定游戏场景中的操作。这样，无需将剧本执行的游戏页面通过网络传输给终端设备，也无需由终端设备通过网络传输一些控件操作事件给服务器，那么可以节约网络流量，降低游戏延迟。下面就云游戏场景中的剧本录制和运行两方面分别进行说明：

1：剧本录制

一款云游戏开发后，云游戏的后台运营人员可以使用任意终端设备与云游戏的服务器建立连接。建立连接后，后台运营人员的终端设备可以显示登录页面，供后台运营人员输入账号密码。服务器对后台运营人员输入的账户密码进行验证。在验证通过后，服务器根据预先为不同用户分配的权限，能够确定后台运营人员具有录制剧本的功能的使用权限。故此，服务器可以开放录制剧本的权限给后台运营人员。例如，在后台运营人员的游戏页面中提供录制剧本的功能的入口以便于后台运营人员通过该入口启动录制剧本的功能。如图11a所示，可以点击“录制剧本”控件启动录制剧本的功能。在录制剧本的功能中，后台运营人员可以从任意游戏页面开始录制剧本。

如图11b的左侧图所示，若从登录页面开始录制剧本，则后台运营人员可以点击该登录页面左上角的三角形控件开始录制剧本。同时，当开始录制剧本的控件被点击后，如图11b的右侧图所示该控件可以切换为用于取消录制剧本的控件图形。

从后台运营人员点击用于开始录制剧本的控件开始，后台运营人员在游戏页面内的操作均为用于生成剧本的演示操作。继续以图11b的登录页面为例，该登录页面提供两种登录方式，其中，“第一账号登录”用于表示采用第一社交网络的社交账号登录，“第二账号登录”用于表示采用第二社交网络的社交账号登录。当后台运营人员点击“第二账号登录”后，如图11c所示，可以在取消录制剧本的控件上方显示出用于生成并保存剧本的保存控件。

在录制剧本过程中，当用户对“第二账号登录”控件后，录制剧本的功能会对当前屏幕截图，得到游戏页面截图，并以点击位置为基准，在游戏页面的截图中确定出能够包围“第二账号登录”的矩形区域作为目标区域，并从该目标区域中识别“第二账号登录”这一控件的模板图像。

在从目标区域中识别出“第二账号登录”的模板图像后，对该模板图像按照预设规则进行命名，并按照图5所示的规则，在后台运营人员点击保存控件生成剧本时，剧本中会生成关于登录页面的业务逻辑。例如该业务逻辑用于表示基于该控件的名称查找“第二账号登录”的模板图像，并基于该模板图像在游戏页面中进行匹配操作，并在剧本中记录匹配到该控件时执行的与该控件相关的业务逻辑。

再例如，进入到如图11d左侧所示的对战页面，在该页面下方展示可选择的多个角色，包括“骑士”和“弓箭手”。例如后台运营人员拖动“弓箭手”角色到战场。则录制剧本的功能会以拖动操作的起点为基准，从对战页面的截图中确定一矩形区域作为目标区域，并从中识别出“弓箭手”的模板图像。然后生成的剧本中会记录执行的操作为匹配“弓箭手”模板图像后，将骑士安排到战场的业务逻辑。关于弓箭手在战场的位置，可以以拖动操作的终点位置为准。

若后台运营人员想控制“弓箭手”角色释放“万箭齐发”的技能。则后台运营人员，可以拖动如图11d右侧图所示的“万箭齐发”控件至该技能的释放位置。则录制剧本的功能可以记录本次拖动操作的起点和终点，并以起点为基准确定一个目标区域识别出“万箭齐发”控件的模板图像，以便于在不同分辨率的对战页面中识别出“万箭齐发”的控件。以拖动操作的终点位置作为运行剧本时“万箭齐发”技能的释放位置。

以此类推，每个游戏页面内的用户操作都会识别出相应的模板图像，用于生成剧本。

此外，以试玩小乔角色为例，录制从登录界面到为小乔选择装备的游戏页面的剧本，当录制完成后，用户可以点击如图11c所示的用于生成并保存剧本的保存控件，然后录制剧本的功能会生成相应的剧本，并将剧本保存到数据库中。

由此，整个录制剧本的过程，无需在剧本中记录用户操作的控件的绝对操作位置，而是记录用户操作的控件的模板图像，在不同分辨率的情况下，都可以采用模板图像准确的定位到相应的控件，以便于触发与控件相关的业务逻辑。

为了能够查看录制的剧本是否正确，后台运营人员可以访问数据库中存储的各剧本。如图11e所示，可以在台式电脑中显示用于查看剧本的页面。该页面中展示了录制的多个剧本以及各剧本的描述信息，可供后台运营人员选择其中的一个剧本进行查看。当后台运营人员选中一剧本后，会基于该剧本播放演示操作后的游戏页面，以便于后台运营人员从游戏页面中获知游戏的运行结果，以此来确认录制的剧本是否按照期望结果来运行。

2、为游戏玩家运行剧本

云游戏可以通过推广信息的形式进行推广，例如可以在即时通讯网络或其他网络平台推广云游戏。如图11f中的(a)图所示可以在某新闻网络平台提示用户可以试玩“小乔”角色。当用户对此感兴趣时，会如图11f中的(b)图所示点击试玩“小乔”角色的页面区域。当用户点击角色“小乔”后，用户非常希望马上能够进行游戏，故此，服务器20可以从数据库10中获取在相应平台推广的云游戏的剧本，并运行剧本而直接进入到角色“小乔”的某个指定游戏场景中。然后，服务器20从该指定游戏场景开始将游戏页面推送给用户，而无需将用户不关心的页面推送给用户。如图11f中的(c)图所示，用户在选择试玩角色小乔后，直接进入为小乔选择装备的游戏场景，由此开始游戏操作。因此，从点击“小乔”到开始试玩小乔角色，用户无需完成游戏登录，以及对角色的选择等操作，可直接操控“小乔”。而无关页面也无需通过网络传输给终端设备显示，可以节约网络流量，降低延迟。

场景二：新手教学

在该场景中，假设已录制好用于教导新玩家如何操作游戏的新手教学剧本。例如如图12所示，当游戏玩家下载一款新的游戏后时，启动该游戏时，该游戏可以从服务器加载新手教学剧本。如果游戏玩家希望了解如何操作游戏时，游戏玩家可以点击如图12所示的“新手教学”控件或通过语音的方式触发执行新手教学的指示，然后游戏的进程可以根据该指示运行新手教学剧本。在运行剧本的过程中，游戏玩家无需进行游戏操作，可以观看基于新手教学剧本的运行结果。观看各种游戏操作对应的操作结果来了解游戏。也即将运行剧本过程中的各个游戏页面展示出来，以便于用户观看对各个页面的操作以及操作结果。这样，新手教学就像播放视频一样供游戏玩家专注于了解游戏的操作，而无需自己一步一步操作游戏。

场景三：新手任务

新手任务是游戏玩家下载一款游戏后，为了获得一些奖励或升级可以执行一些新手任务。

游戏的后台运营人员可以事先录制好用于执行新手任务的新手任务剧本并存储在数据库中。游戏玩家可以采用语音或点击图13所示的新手任务控件触发执行新手任务剧本，然后游戏可以从数据库中获取到新手任务剧本，并自动执行新手任务剧本。例如图3所示的，执行制作宠物粮食并喂养给宠物的任务。

这样，新手任务的相关游戏操作可以交于新手任务剧本自动执行，以便于不太会玩游戏的用户了解如何执行新手任务，来降低游戏难度，使得游戏能够尽可能的让不同游戏玩家很快的熟悉和操作游戏。

基于相同的发明构思，本申请实施例还提供一种游戏的剧本生成装置，如图14所示，其为训练信息抽取模型的装置1400的结构示意图，可以包括：

图像特征提取模块1401，用于针对任一目标游戏页面，响应于对所述目标游戏页面内的目标控件的演示操作，从所述目标游戏页面中识别所述目标控件的图像特征；

关联模块1402，用于在所述剧本中，将所述图像特征关联为与所述目标控件相关的业务逻辑的触发条件。

可选的，所述图像特征提取模块，包括：

目标区域获取单元，用于以所述演示操作在所述目标游戏页面的操作位置为基准，根据所述业务逻辑关联的目标区域的位置信息以及所述目标区域的尺寸信息，从所述目标游戏页面中获取所述目标区域；

模板图像获取单元，用于从所述目标区域中识别出所述目标控件的模板图像作为所述图像特征。

可选的，所述模板图像获取单元，用于：

对所述目标区域进行边缘检测，获取所述目标区域内的边缘轮廓信息；

从所述边缘轮廓信息中识别出至少一个凸包；

分别拟合出每个凸包的外接多边形；

根据拟合的外接多边形匹配出所述目标控件的模板图像。

可选的，所述模板图像获取单元，用于：

分别获得各外接多边形的模板特征，所述模板特征包括外接多边形的尺寸和外接多边形内的图像特征中的一个或者组合；

根据获得的模板特征确定满足预设条件的目标外接多边形；

从所述目标游戏页面中截取所述目标外接多边形内的图像内容作为所述模板图像。

可选的，所述模板图像获取单元在分别拟合出每个凸包的外接多边形之前，还用于：

过滤掉满足过滤条件的凸包，所述过滤条件为所述演示操作的操作位置位于凸包之外。

基于相同的发明构思，本申请实施例还提供一种游戏的剧本运行装置，所述剧本是根据对所述游戏中的多个目标游戏页面的演示操作生成的，其中，针对任一目标游戏页面，所述剧本中包括所述目标游戏页面内的目标控件的图像特征，且所述图像特征为所述目标控件相关的业务逻辑的触发条件。如图15所示，其为游戏的剧本运行装置1500的结构示意图，可以包括：

图像特征获取模块1501，用于运行到任一所述目标游戏页面时，根据所述剧本获取所述目标游戏页面内的目标控件的图像特征；

匹配模块1502，用于在所述目标游戏页面中对所述图像特征进行匹配操作；

执行模块1503，用于若在所述目标游戏页面中匹配到所述图像特征，则执行与所述目标控件相关的业务逻辑。

可选的，若在所述目标游戏页面中匹配到所述图像特征，所述执行模块，包括：

控件位置确定单元，用于根据所述目标游戏页面中匹配所述图像特征的位置，确定所述目标控件的位置；

事件生成单元，用于根据所述目标控件的位置，生成针对所述目标控件的控件操作事件；

执行单元，用于执行与所述控件操作事件对应的游戏操作。

可选的，对任一所述目标游戏页面，所述剧本中还包括目标区域的位置信息以及所述目标区域的尺寸信息，所述匹配模块，用于：

根据所述目标区域的位置信息以及所述目标区域的尺寸信息，从所述目标游戏页面中截取所述目标区域；

在所述目标区域中对所述图像特征进行匹配操作。

可选的，所述图像特征为所述目标控件的模板图像。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，本申请实施例还提供一种电子设备，参阅图16所示，电子设备1600可以至少包括处理器1601、以及存储器1602。其中，存储器1602存储有程序代码，当程序代码被处理器1601执行时，使得处理器1601执行本说明书上述描述的根据本申请各种示例性实施方式的游戏的剧本生成或运行方法中的步骤。例如，处理器1601可以执行如图4或图8-图10中所示的步骤。

在一些可能的实施方式中，根据本申请的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的游戏的剧本生成或运行的方法中的步骤。例如，处理器可以执行如图4或图8-图10中所示的步骤。

下面参照图17来描述根据本申请的这种实施方式的电子设备170。图17的电子设备170仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图17，电子设备170以通用电子设备的形式表现。电子设备170的组件可以包括但不限于：上述至少一个处理单元171、上述至少一个存储单元172、连接不同系统组件(包括存储单元172和处理单元171)的总线173。

总线173表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储单元172可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1721和/或高速缓存存储单元1722，还可以进一步包括只读存储器(ROM)1723。

存储单元172还可以包括具有一组(至少一个)程序模块1724的程序/实用工具1725，这样的程序模块1724包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备170也可以与一个或多个外部设备174(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备170交互的设备通信，和/或与使得该电子设备170能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口175进行。并且，电子设备170还可以通过网络适配器176与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器176通过总线173与用于电子设备170的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备170使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中，本申请提供的游戏的剧本生成或运行的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的游戏的剧本生成或运行的方法中的步骤或获取知识图谱的方法中的步骤，例如，计算机设备可以执行如图4或图8-图10中所示的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种游戏的剧本生成方法，所述剧本是根据对所述游戏中的多个目标游戏页面的演示操作生成的，其特征在于，包括：

针对任一目标游戏页面，响应于对所述目标游戏页面内的目标控件的演示操作，从所述目标游戏页面中识别所述目标控件的图像特征；

在所述剧本中，将所述图像特征关联为与所述目标控件相关的业务逻辑的触发条件；

其中，所述从所述目标游戏页面中识别所述目标控件的图像特征，包括：

以所述演示操作在所述目标游戏页面的操作位置为基准，根据所述业务逻辑关联的目标区域的位置信息以及所述目标区域的尺寸信息，从所述目标游戏页面中获取所述目标区域；

对所述目标区域进行边缘检测，获取所述目标区域内的边缘轮廓信息；

从所述边缘轮廓信息中识别出至少一个凸包；

分别拟合出每个凸包的外接多边形；

根据拟合的外接多边形匹配出所述目标控件的模板图像，并将所述模板图像作为所述图像特征。

2.根据权利要求1所述的方法，其特征在于，所述根据拟合的外接多边形匹配出所述目标控件的模板图像，包括：

分别获得各外接多边形的模板特征，所述模板特征包括外接多边形的尺寸和外接多边形内的图像特征中的一个或者组合；

根据获得的模板特征确定满足预设条件的目标外接多边形；

从所述目标游戏页面中截取所述目标外接多边形内的图像内容作为所述模板图像。

3.根据权利要求1所述的方法，其特征在于，所述分别拟合出每个凸包的外接多边形之前，所述方法还包括：

过滤掉满足过滤条件的凸包，所述过滤条件为所述演示操作的操作位置位于凸包之外。

4.一种游戏的剧本运行方法，其特征在于，所述剧本是根据对所述游戏中的多个目标游戏页面的演示操作生成的，其中，针对任一目标游戏页面，所述剧本中包括所述目标游戏页面内的目标控件的图像特征，且所述图像特征为所述目标控件相关的业务逻辑的触发条件；且所述图像特征是以所述演示操作在所述目标游戏页面的操作位置为基准，根据所述业务逻辑关联的目标区域的位置信息以及所述目标区域的尺寸信息，从所述目标游戏页面中获取所述目标区域后，对所述目标区域进行边缘检测，获取所述目标区域内的边缘轮廓信息，并从所述边缘轮廓信息中识别出至少一个凸包，分别拟合出每个凸包的外接多边形，根据拟合的外接多边形匹配出的所述目标控件的模板图像；所述方法包括：

运行到任一所述目标游戏页面时，根据所述剧本获取所述目标游戏页面内的目标控件的图像特征；

在所述目标游戏页面中对所述图像特征进行匹配操作；

若在所述目标游戏页面中匹配到所述图像特征，则执行与所述目标控件相关的业务逻辑。

5.根据权利要求4所述的方法，其特征在于，所述若在所述目标游戏页面中匹配到所述图像特征，则执行与所述目标控件相关的业务逻辑，包括：

根据所述目标游戏页面中匹配所述图像特征的位置，确定所述目标控件的位置；

根据所述目标控件的位置，生成针对所述目标控件的控件操作事件；

执行与所述控件操作事件对应的游戏操作。

6.根据权利要求4所述的方法，其特征在于，对任一所述目标游戏页面，所述剧本中还包括目标区域的位置信息以及所述目标区域的尺寸信息，所述在所述目标游戏页面中对所述图像特征进行匹配操作，包括：

根据所述目标区域的位置信息以及所述目标区域的尺寸信息，从所述目标游戏页面中截取所述目标区域；

在所述目标区域中对所述图像特征进行匹配操作。

7.一种游戏的剧本生成装置，所述剧本是根据对所述游戏中的多个目标游戏页面的演示操作生成的，其特征在于，包括：

图像特征提取模块，用于针对任一目标游戏页面，响应于对所述目标游戏页面内的目标控件的演示操作，从所述目标游戏页面中识别所述目标控件的图像特征；

关联模块，用于在所述剧本中，将所述图像特征关联为与所述目标控件相关的业务逻辑的触发条件；

其中，所述图像特征提取模块，具体用于：

以所述演示操作在所述目标游戏页面的操作位置为基准，根据所述业务逻辑关联的目标区域的位置信息以及所述目标区域的尺寸信息，从所述目标游戏页面中获取所述目标区域；

对所述目标区域进行边缘检测，获取所述目标区域内的边缘轮廓信息；

从所述边缘轮廓信息中识别出至少一个凸包；

分别拟合出每个凸包的外接多边形；

根据拟合的外接多边形匹配出所述目标控件的模板图像，并将所述模板图像作为所述图像特征。

8.一种游戏的剧本运行装置，其特征在于，所述剧本是根据对所述游戏中的多个目标游戏页面的演示操作生成的，其中，针对任一目标游戏页面，所述剧本中包括所述目标游戏页面内的目标控件的图像特征，且所述图像特征为所述目标控件相关的业务逻辑的触发条件；且所述图像特征是以所述演示操作在所述目标游戏页面的操作位置为基准，根据所述业务逻辑关联的目标区域的位置信息以及所述目标区域的尺寸信息，从所述目标游戏页面中获取所述目标区域后，对所述目标区域进行边缘检测，获取所述目标区域内的边缘轮廓信息，并从所述边缘轮廓信息中识别出至少一个凸包，分别拟合出每个凸包的外接多边形，根据拟合的外接多边形匹配出的所述目标控件的模板图像；所述装置包括：

图像特征获取模块，用于运行到任一所述目标游戏页面时，根据所述剧本获取所述目标游戏页面内的目标控件的图像特征；

匹配模块，用于在所述目标游戏页面中对所述图像特征进行匹配操作；

执行模块，用于若在所述目标游戏页面中匹配到所述图像特征，则执行与所述目标控件相关的业务逻辑。

9.一种电子设备，其特征在于，包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-6中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行如权利要求1-6中任一项所述的方法。

Images