CN110162454B - 游戏运行方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种游戏运行方法和装置、存储介质及电子装置。其中，该方法包括：获取目标终端上运行的目标游戏的当前游戏图像；使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域；在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠；在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同；将与特征匹配图像对应的操作指令发送至目标终端，其中，操作指令用于指示目标终端对当前游戏图像的操作区域执行目标操作。

Description

游戏运行方法和装置、存储介质及电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种游戏运行方法和装置、存储介质及电子装置。

背景技术

在对游戏的用户交互界面(User Interface，简称为UI)功能进行测试时，需要测试人员根据测试需求在终端设备上(例如，手机)反复操作游戏界面，验证游戏UI的功能。这样的UI测试方式虽然方式简单、重复，但是成本高、时间长。

为了实现游戏UI测试的自动化，相关技术中提出了基于图像匹配的游戏UI自动化方案：将当前UI图像与数据库中的图像逐一进行匹配，找到数据库中与当前UI图像最相似的图像，之后根据对该图像预先配置的操作，完成当前UI图像上的操作。

然而，受游戏UI中有不同特效和分辨率的影响，基于图像匹配的游戏UI自动化方案难以保证图像匹配的鲁棒性，导致自动化过程会卡在某个游戏界面上。

发明内容

本发明实施例中提供了一种游戏运行方法和装置、存储介质及电子装置，以至少解决相关技术的游戏运行方法存在的由于图像匹配鲁棒性差导致的游戏UI自动化过程无法顺利运行的技术问题。

根据本发明实施例的一个方面，提供了一种游戏运行方法，包括：获取目标终端上运行的目标游戏的当前游戏图像；使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域；在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠；在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同；将与特征匹配图像对应的操作指令发送至目标终端，其中，操作指令用于指示目标终端对当前游戏图像的操作区域执行目标操作。

根据本发明实施例的另一方面，还提供了一种游戏运行装置，包括：第一获取单元，用于获取目标终端上运行的目标游戏的当前游戏图像；检测单元，用于使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域；第一确定单元，用于在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠；第二确定单元，用于在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同；发送单元，用于将与特征匹配图像对应的操作指令发送至目标终端，其中，操作指令用于指示目标终端对当前游戏图像的操作区域执行目标操作。

根据本发明实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的方法。

在本发明实施例中，在获取到目标终端上运行的目标游戏的当前游戏图像之后，使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域(可操作区域)，在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠，在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同，并将与特征匹配图像对应的操作指令发送至目标终端，以指示目标终端对当前游戏图像的操作区域执行目标操作，从而实现通过位置匹配(操作区域在空间上重叠)筛选出位置匹配图像，通过位置匹配图像的操作区域与当前游戏图像的对应区域的特征匹配确定出特征匹配图像。由于通过位置匹配来减少特征匹配的计算量，通过特征匹配确定特征匹配图像来减少游戏画面的不同特效和分辨率对匹配结果的影响，解决了相关技术的游戏运行方法存在的由于图像匹配鲁棒性差导致的游戏UI自动化过程无法顺利运行的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种游戏运行方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的游戏运行方法的流程示意图；

图3是根据本发明实施例的一种可选的手机端与电脑端的交互示意图；

图4是根据本发明实施例的一种可选的卷积神经网络的结构示意图；

图5是根据本发明实施例的一种可选的位置匹配的流程示意图；

图6是根据本发明实施例的一种可选的特征匹配的流程示意图；

图7是根据本发明实施例的另一种可选的游戏运行方法的示意图；

图8是根据本发明实施例的一种可选的游戏运行装置的结构示意图；

图9是根据本发明实施例的一种可选的电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种游戏运行方法。可选地，上述游戏运行方法可以但不限于应用于如图1所示的应用环境中。如图1所示，目标终端102上运行有目标游戏，以对目标游戏进行UI自动化测试。服务器106获取(如，通过调用目标游戏的应用程序接口(Application Program Interface，API))目标终端102上运行的目标游戏的当前游戏图像；使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域；在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠；在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同；将与特征匹配图像对应的操作指令通过网络104发送至目标终端102。目标终端102接收操作指令，响应该操作指令，对当前游戏图像的操作区域执行目标操作。

可选地，在本实施例中，上述目标终端可以包括但不限于以下至少之一：手机、平板电脑等。上述网络可以包括但不限于无线网络，其中，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以包括但不限于以下至少之一：PC机及其他用于计算服务的设备。上述只是一种示例，本实施例对此不做任何限定。

可选地，在本实施例中，作为一种可选的实施方式，如图2所示，上述游戏运行方法可以包括：

S202，获取目标终端上运行的目标游戏的当前游戏图像；

S204，使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域；

S206，在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠；

S208，在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同；

S210，将与特征匹配图像对应的操作指令发送至目标终端，其中，操作指令用于指示目标终端对当前游戏图像的操作区域执行目标操作。

可选地，上述游戏运行方法可以但不限于应用于游戏UI的自动化测试过程。上述游戏可以为多人在线战术竞技游戏(Multiplayer Online Battle Arena，简称为MOBA)或者为单人游戏(Single-Player Game，简称为SPG)。在此不做具体限定。需要说明的是，上述游戏应用可以包括但不限于以下至少之一：二维(Two Dimension，简称2D)游戏应用、三维(Three Dimension，简称3D)游戏应用、虚拟现实(Virtual Reality，简称VR)游戏应用、增强现实(Augmented Reality，简称AR)游戏应用、混合现实(Mixed Reality，简称MR)游戏应用。以上只是一种示例，本实施例对此不作任何限定。

例如，在进行游戏人工智能(Artificial Intelligence，简称为AI)在线训练时，经常遇见的问题是游戏会卡在不同的UI上，如，活动界面、关卡选择界面等等，导致游戏AI的训练过程受阻。而通过上述游戏运行方法可以辅助游戏AI的训练过程，自动地完成一系列界面操作，使游戏快速进入特定的关卡，进行在线游戏AI训练。

可选地，可以通过以下步骤实现游戏UI自动化：目标终端(例如，手机端)获取图像数据，经过服务器(例如，电脑端)的图像识别，将得到的操作信息返回到目标终端，从而自动地在目标终端上完成预先配置的一系列游戏UI操作，如图3所示。

下面结合图2所示的步骤对本申请的实施例进行说明。

可选地，在步骤S202中，服务器获取目标终端上运行的目标游戏的当前游戏图像。

上述目标终端可以是移动终端(例如，手机、平板电脑)、固定终端(台式机等)。上述目标游戏为需要进行游戏UI自动化测试的游戏。在该目标游戏中，存在多个需要与用户进行交互的游戏UI(例如，新建角色时需要输入名字、与NPC对话来触发特定的领取任务、在副本入口选择进入的副本等)，对应于游戏UI中的可操作区域(例如，UI图像中的按钮和选项卡)。为了游戏测试的顺利进行，需要对这些游戏UI的可操作区域执行特定的操作。

为了对这些游戏UI的可操作区域执行特定的操作，在获取到当前游戏图像之前，可以执行以下过程：训练网络模型、建立UI数据库以及配置操作流程(准备阶段)。

(1)训练初始网络模型，得到目标网络模型

上述目标网络模型用于检测游戏图像中的操作区域(即，可操作区域)。上述初始网络模型和目标网络模型可以为卷积神经网络，包括多个神经网络层，训练初始网络模型也就是训练卷积神经网络。

为了提高卷积神经网络检测可操作区域的准确性，可以根据UI图像的属性训练出多个卷积神经网络。

例如，可以训练两个基于YOLO-V3(You Only Look Once，基于卷积神经网络的目标检测模型)的卷积神经网络，分别从横屏的游戏UI图像和竖屏的游戏UI图像中检测可操作区域的位置。两个卷积神经网络使用相同的结构，包含25个卷积层、1个池化层、一个全连接层和1个softmax层，叠加了11个残差单元，网络结构如图4所示。

除了基于YOLO-V3的卷积神经网络模型以外，还可以训练其他卷积神经网络模型来进行可操作区域检测。可以在YOLO-V3模型的基础上减少了卷积层层数和特征图数量，在保证准确度不下降的情况下提高了计算速度。

可选地，在本实施例中，训练初始网络模型，得到目标网络模型可以包括：获取训练图像，其中，训练图像中包含有操作区域；获取与训练图像对应的标记信息，其中，标记信息用于标记训练图像的操作区域在训练图像中的位置；使用训练图像和标记信息对初始网络模型进行训练，得到目标网络模型。

可选地，在本实施例中，在获取训练图像之后，可以对训练图像进行尺寸变换，将训练图像的尺寸调整为第一目标尺寸。

在获取与训练图像对应的标记信息之后，可以对训练图像进行尺寸变换，将训练图像的尺寸调整为第二目标尺寸；并将标记信息中的标记值调整为与第二目标尺寸对应的标记值。

下面结合以下示例对训练神经网络进行说明。训练神经网络可以包括以下步骤：

步骤1，收集不同游戏的UI图像。

收集的UI图像的数量可以根据网络模型的大小进行确定，例如，可以在4000张以上。

步骤2，将收集到的UI图像的尺寸调整为第一目标尺寸。

对收集到的UI图像可以按横屏和竖屏分成两个类别，并将横屏UI图像的尺寸统一为1280*720像素，将竖屏UI图像的尺寸统一为720*1280像素。

步骤3，标记(例如，手工标记)UI图像中所有可操作区域的位置。

步骤4，将UI图像的尺寸调整为第二目标尺寸，并将标记的UI图像中所有可操作区域的位置调整为与第二目标尺寸对应的位置。

可以将横屏UI图像的尺寸调整为512*288像素，将竖屏UI图像的尺寸调整为288*512像素，并将标记的位置坐标除以2.5，调整到与第二目标尺寸对应。

步骤5，使用标记好的UI图像对卷积神经网络进行训练。

可以训练两个卷积神经网络，主要的训练参数可以包括：Batch数量设置为8，anchor个数设置为9，初始学习速率设定为10-4，每迭代10000次，学习速率乘以0.1，总共迭代50000次。

在训练完成之后，可以得到目标网络模型。

(2)建立UI数据库(游戏图像数据库)

该UI数据库针对特定手机游戏，并对数据库中每张UI图像标注可操作区域的位置和名称。针对需要使用UI自动化的目标游戏可以建立一个单独的UI数据库。UI数据库中可以包括该游戏中所有的游戏UI界面。

可选地，建立UI数据库可以包括以下步骤：

步骤1，收集目标游戏(例如，特定手机游戏)的所有UI图像。

步骤2，统一图像分辨率(例如，横屏UI图像的尺寸统一为1280*720像素，竖屏UI图像的尺寸统一为720*1280像素)。

步骤3，标记(手工标记)UI图像中所有可操作区域的位置和名称。

此外，服务器还可以计算并保存各UI图像可操作区域的图像特征，例如，ORB(Oriented FAST and Rotated BRIEF，图像特征点)特征。保存的位置可以是UI数据库，也可以是与UI数据库关联的其他数据库。

(3)配置操作流程文件

根据UI测试需求或者AI训练需求来配置游戏界面的操作流程。不同的UI图像可以配置不同的操作流程，一个操作流程可以生成用于控制目标游戏运行的一个或多个操作指令。

可选地，配置操作流程可以包括以下步骤：

步骤1，从前述建立的UI数据库中挑选出需要操作的UI图像，输入图像名称。

步骤2，对每一张UI图像输入界面操作。

不同的UI图像所输入的界面操作是不同的，例如，如果是点击操作，则添加上需要点击的可操作区域名称；如果是拖动操作，则添加上拖动的起始点和终止点；如果是输入操作，则添加上需要输入的文本信息。

可以通过配置不同的操作流程来完成不同的界面操作。对于不同的游戏，只需要建立一个与该游戏对应的UI图像数据库。这样可以在多个目标终端(例如，手机)上同时测试不同目标游戏(例如，手机游戏)的不同UI功能，从而减少测试的成本，使用起来也较为方便。

可选地，可以将训练得到的目标网络模型、建立的UI数据库和配置的操作流程文件部署到本服务器上，也可以部署到一个或多个其他服务器上，本实施例中对此不做限定。

在完成目标网络模型、建立的UI数据库和配置的操作流程文件部署之后，可以获取目标终端上运行的目标游戏的当前游戏图像。获取目标终端上运行的目标游戏的当前游戏图像的方式可以有多种。

作为一种可选的实施方式，可以通过目标终端执行截屏操作，来获取当前游戏图像。

例如，控制目标终端周期性的进行截屏操作，并通过接收目标终端发送的通过截屏得到的数据来获取当前游戏图像。截图周期可以是根据需要进行设定(例如，0.1s、1s、2s、5s等)，本申请对此不做限定。

作为另一种可选的实施方式，可以通过调用目标游戏的API获取当前游戏图像。

例如，服务器可以周期性的执行目标游戏的API的调用操作，从目标终端获取图像数据，调用周期可以是根据需要进行设定(例如，0.1s、1s、2s、5s等)，本申请对此不做限定。

可选地，在获取到当前游戏图像之后，可以对当前游戏图像进行尺寸变换，将当前游戏图像的尺寸调整为第一目标尺寸。

例如，可以对当前游戏图像进行尺度变换，将横屏图像的尺寸统一为1280*720像素，将竖屏图像的尺寸统一为720*1280像素。

通过上述步骤，可以完成图像获取。

在步骤S204中，使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域(区域检测)。

通过图像获取所得到的当前游戏图像可以是UI图像，也可以不是UI图像。可以通过区域检测、位置配置和特征匹配等步骤，最终确定当前游戏图像是否是UI图像，以及是什么UI图像。

区域检测是利用训练的卷积神经网络从当前游戏图像中提取可操作区域的位置。区域检测可以包括以下步骤：

步骤1，调整当前游戏图像的尺寸。

可选地，可以对当前游戏图像进行尺寸变换，将当前游戏图像的尺寸调整为第二目标尺寸。

例如，可以将横屏UI图像的尺寸调整为512*288像素，将竖屏UI图像的尺寸调整为288*512像素。

步骤2，对当前游戏图像进行分块处理，预测每个图像块中包含可操作区域的位置以及置信度。

可选地，可以将当前游戏图像划分为第一目标个数的区域块；使用目标网络模型分别对各区域块进行检测，得到各区域块的检测结果，其中，检测结果包括以下至少之一：用于指示区域块中是否包含操作区域的第一指示信息，用于指示区域块中包含的操作区域的区域位置的第二指示信息，用于指示检测结果的置信度的第三指示信息；根据得到的各区域块的检测结果，确定当前游戏图像的操作区域。

可以利用卷积神经网络检测当前游戏图像中可操作区域的位置，卷积神经网络可以将横屏的当前游戏图像分为16*9个块(每块的尺寸为32*32个像素点)，将竖屏UI图像分为9*16个块(每块的尺寸为32*32个像素点)，对每个块预测一个可操作区域的位置和分值。

在进行可操作区域的位置预测时，包含预测的可操作区域的目标位置点(例如，中心点、特定的顶点)的块的预测结果为包含可操作区域，被预测的可操作区域所覆盖(部分覆盖、完全覆盖等)、但不包含预测的可操作区域的目标位置点的块的预测结果为不包含可操作区域。可操作区域的位置可以包括目标位置点和用于确定可操作区域范围的属性点(目标位置点至上边界的距离和/或至左边界的距离)等。

步骤3，根据分值排除不符合条件的位置。

如果卷积神经网络预测的可操作区域分值大于0.5，则保留该可操作区域，否则排除该可操作区域。

步骤4，将可操作区域的位置恢复到第一目标尺寸时的坐标位置。

例如，可以将可操作区域的位置坐标乘以2.5倍(720/288＝2.5)，从而恢复出1280*720(或，720*1280)尺寸下的位置坐标。

通过上述步骤，可以完成区域检测。

在步骤S206中，在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠(位置匹配)。上述存在重叠可以是指部分重叠、全部重叠。

可选地，在参考游戏图像中确定出位置匹配图像可以包括：从游戏图像数据库中逐个取出游戏图像作为参考游戏图像，其中，游戏图像数据库中存储有包含操作区域的多个游戏图像；在参考游戏图像的操作区域与参考游戏图像的操作区域在空间上存在重叠的情况下，将参考游戏图像作为位置匹配图像输出。

可以将检测到的可操作区域位置与数据库(即，游戏图像数据库)中的UI图像所标注的可操作区域位置进行匹配，挑选出数据库中在相同位置上有可操作区域的UI图像。

位置匹配是将检测到的可操作区域的位置与数据库中UI图像的可操作区域位置进行匹配，找到在相同位置上有可操作区域的UI图像。

可选地，如图5所示，位置匹配可以包括以下步骤：

步骤1，逐个从数据库中取出UI图像(参考游戏图像)，并提取UI图像中可操作区域的位置。

上述提取UI图像中可操作区域的位置可以是通过读取保存有UI图像中可操作区域的位置信息的目标文件中实现的。

步骤2，将当前UI图像的可操作区域与数据库中UI图像的可操作区域进行位置匹配，计算两幅图像中可操作区域的重叠度。

步骤3，如果两幅图像有重叠的可操作区域，则输出数据库的UI图像(位置匹配图像)，否则，返回步骤1，取出数据库中下一张UI图像。

确定位置匹配图像的方式可以是以下之一：有重叠的可操作区域的UI图像即为位置匹配图像；有重叠的可操作区域、且重叠区域的面积大于面积阈值的UI图像即为位置匹配图像。

通过上述步骤，可以完成位置匹配。

在步骤S208中，在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同(特征匹配)。

可以将位置匹配挑选出的UI图像与当前游戏图像进行特征匹配，从而确定当前游戏图像的名称。特征匹配可以使用特征点(例如，ORB、SIFT、SURF等等)或者其他相似度(例如余弦相似度、直方图相似度等等)进行匹配，其中，ORB特征点计算速度较快，并且鲁棒性较好。

可选地，在位置匹配图像中确定出特征匹配图像可以包括：从位置匹配图像中逐个取出图像作为当前匹配图像；获取当前匹配图像的操作区域的第一特征信息，以及当前游戏图像的对应区域的第二特征信息；使用第一特征信息和第二特征信息，计算出当前匹配图像的操作区域和当前游戏图像的对应区域之间的特征相似度；在特征相似度大于目标阈值的情况下，将当前匹配图像作为特征匹配图像输出。

特征匹配是将当前游戏图像与挑选出的数据库UI图像(位置匹配图像)进行特征匹配，匹配的位置是数据库UI图像中标注的可操作区域。

可选地，如图6所示，特征匹配可以包括以下步骤：

步骤1，逐个取出位置匹配的数据库UI图像(当前匹配图像)。

步骤2，提取每张数据库UI图像的可操作区域。

步骤3，计算数据库UI图像中可操作区域的ORB特征。

上述可操作区域和ORB特征也可以保存在预配置的配置文件中。可以通过从配置文件中读取的方式提取可操作区域和计算ORB特征的步骤。

步骤4，根据数据库UI图像的可操作区域，计算当前游戏图像的对应区域的ORB特征。

步骤5，将当前游戏图像的对应区域的ORB特征与数据库UI图像的可操作区域的ORB特征进行匹配，确定特征匹配图像。

可以计算当前游戏图像的对应区域的ORB特征与数据库UI图像的可操作区域的ORB特征进行匹配，计算特征点之间的Hamming距离(汉明距离)。在某个可操作区域中，如果Hamming距离小于30的ORB特征点数量超过50％，那么，两幅图像中该可操作区域的是匹配，否则不匹配。如果两幅图像中匹配的可操作区域数量超过可操作区域数量总数的50％，那么两张UI图像匹配，否则不匹配，返回步骤1，取出下一张数据库UI图像。

通过上述步骤，可以完成特征匹配。

在步骤S210中，服务器将与特征匹配图像对应的操作指令发送至目标终端，其中，操作指令用于指示目标终端对当前游戏图像的操作区域执行目标操作。

可选地，将与特征匹配图像对应的操作指令发送至目标终端可以包括：使用特征匹配图像在预先配置的操作流程文件中进行查询；在查询到与特征匹配图像对应的操作流程的情况下，将操作流程中配置的操作指令发送至目标终端。

在步骤S210之前，可以根据当前UI图像的类别在操作流程配置文件中查找需要进行的界面操作，完成界面操作。

界面操作是根据特征匹配到的UI图像名称，在操作流程中查询界面操作的详情。界面操作可以包括以下步骤：

步骤1，使用匹配的UI图像名称在操作流程中进行查询，如果在操作流程中没有查询到，则不进行界面操作，如果在操作流程中查询到匹配的UI图像名称，则进行步骤2。

步骤2，根据操作流程中配置的界面操作，返回到目标终端执行：

1)如果是点击操作，则返回点击命令和可操作区域的位置；

2)如果是拖动操作，则返回拖动命令、拖动的起始点和终止点；

3)如果是输入操作，则返回输入命令和输入的文本信息。

下面结合具体示例对上述游戏运行方法进行说明。如图7所示，本示例中的游戏运行方法包括两个阶段：准备阶段和使用阶段，下面分别对准备阶段和使用阶段进行说明。

对于准备阶段，在准备阶段完成前述训练网络模型、建立UI数据库以及配置操作流程三个过程。

对于使用阶段，在使用阶段可以完成前述图像获取、区域检测、位置匹配、特征匹配和界面操作等过程。

相关技术还提供了以下游戏UI自动化的方案：

(1)基于脚本语言的游戏UI自动化：基于脚本语言的游戏UI自动化是使用脚本语言控制界面操作，按照固定的流程完成一系列界面上的操作。

然而，基于脚本语言的游戏UI自动化不能获得界面操作是否成功的反馈。一旦在执行过程中遇见界面操作不成功的情况，虽然程序依旧按照脚本设定的流程执行，但是整个自动化过程已经被打断。

(2)基于文字识别的游戏UI自动化：基于文字识别的游戏UI自动化是利用OCR识别当前UI图像中的文字信息，之后在文字信息中寻找是否有预先配置的操作。

然而，基于文字识别的游戏UI自动化不能识别不含文字的按钮，导致该方案在自动化过程中受到限制；并且当在同一界面上出现相同文字时，该方案难以判断点击哪个文字的位置。

而通过本示例所提供的上述技术方案，可以产生以下的有益效果：

(1)整体运行速度较快：可以替代人工测试，实现自动化测试UI的功能，减少测试的成本并且加快测试的速度。

(2)图像识别鲁棒性高：将可操作区域作为位置匹配和特征匹配的区域，可以提高图像匹配的鲁棒性。

(3)操作流程配置便利，通过简单地调整操作配置流程，可以实现不同的UI功能测试。

(4)由于在建立数据集时已经标注了所有可操作区域的位置和名称，因此，可以同时识别UI图像中的文字和图标。

需要说明的是，在相关技术中，游戏UI的自动化测试是通过图像匹配的方式来实现。例如，使用UI图像与数据库中相同场景下的UI图像进行匹配，在匹配成功的情况下按照与匹配得到的UI图像对应的操作流程进行UI功能测试。而受游戏UI中有不同特效和分辨率的影响，采用该方法难以保证图像匹配的鲁棒性，导致自动化过程会卡在某个游戏界面上。

而在本申请中，在获取到目标终端上运行的目标游戏的当前游戏图像之后，使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域，在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠，在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同，并将与特征匹配图像对应的操作指令发送至目标终端，以指示目标终端对当前游戏图像的操作区域执行目标操作，由于通过位置匹配来减少特征匹配的计算量，通过特征匹配确定特征匹配图像来减少游戏画面的不同特效和分辨率对匹配结果的影响，解决了相关技术的游戏运行方法存在的由于图像匹配鲁棒性差导致的游戏UI自动化过程无法顺利运行的问题。

作为一种可选的实施方案，获取目标终端上运行的目标游戏的当前游戏图像包括：

S1，通过调用目标游戏的应用程序接口API获取当前游戏图像；

S2，对当前游戏图像进行尺寸变换，将当前游戏图像的尺寸调整为第一目标尺寸。

通过本实施例，当通过调用目标游戏的API获取当前游戏图像，并调整当前游戏图像的尺寸至目标尺寸，可以提高获取的当前游戏图像的图像质量，并提高图像识别的准确性。

作为一种可选的实施方案，使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域包括：

S1，将当前游戏图像划分为第一目标个数的区域块；

S2，使用目标网络模型分别对各区域块进行检测，得到各区域块的检测结果，其中，检测结果包括以下至少之一：用于指示区域块中是否包含操作区域的第一指示信息，用于指示区域块中包含的操作区域的区域位置的第二指示信息，用于指示检测结果的置信度的第三指示信息；

S3，根据得到的各区域块的检测结果，确定当前游戏图像的操作区域。

可选地，在将当前游戏图像划分为第一目标个数的区域块之前，上述方法还包括：

对当前游戏图像进行尺寸变换，将当前游戏图像的尺寸调整为第二目标尺寸。

通过本实施例，通过对当前游戏图像进行划分，并对划分后的区域块进行检测，可以操作区域检测的准确性。进一步地，通过将当前游戏图像的尺寸调整为第二目标尺寸(第二目标尺寸小于当前游戏图像的当前尺寸)，可以减少目标网络模型处理的复杂度，提高操作区域的检测速度。

作为一种可选的实施方案，在使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域之前，上述方法还包括：

S1，获取训练图像，其中，训练图像中包含有操作区域；

S2，获取与训练图像对应的标记信息，其中，标记信息用于标记训练图像的操作区域在训练图像中的位置；

S3，使用训练图像和标记信息对初始网络模型进行训练，得到目标网络模型。

可选地，在获取训练图像之后，对训练图像进行尺寸变换，将训练图像的尺寸调整为第一目标尺寸。

可选地，在获取与训练图像对应的标记信息之后，对训练图像进行尺寸变换，将训练图像的尺寸调整为第二目标尺寸；将标记信息中的标记值调整为与第二目标尺寸对应的标记值。

通过本实施例，通过使用标记好操作区域的训练图像对初始训练模型，得到目标网络模型，可以生成用于检测操作区域的网络模型。进一步地，将训练图像的尺寸调整为统一尺寸(第一目标尺寸)，可以以统一的尺寸对初始网络模型进行训练，提高目标网络模型的可靠性。进一步地，对第一目标尺寸的训练图像进行标记，使用第二目标尺寸的训练图像进行模型训练，可以提高位置标记的准确性，并较低网络模型训练的复杂度。

作为一种可选的实施方案，在参考游戏图像中确定出位置匹配图像包括：

S1，从游戏图像数据库中逐个取出游戏图像作为参考游戏图像，其中，游戏图像数据库中存储有包含操作区域的多个游戏图像；

S2，在参考游戏图像的操作区域与当前游戏图像的操作区域在空间上存在重叠的情况下，将参考游戏图像作为位置匹配图像输出。

通过本实施例，通过游戏图像数据库中取出游戏图像进行位置匹配，并在参考游戏图像和当前游戏图像的操作区域有重叠时，将参考游戏图像作为位置匹配图像，可以在对游戏图像数据库中的游戏图像进行筛选的同时，避免遗漏可能的匹配图像。

作为一种可选的实施方案，在位置匹配图像中确定出特征匹配图像包括：

S1，从位置匹配图像中逐个取出图像作为当前匹配图像；

S2，获取当前匹配图像的操作区域的第一特征信息，以及当前游戏图像的对应区域的第二特征信息；

S3，使用第一特征信息和第二特征信息，计算出当前匹配图像的操作区域和当前游戏图像的对应区域之间的特征相似度；

S4，在特征相似度大于目标阈值的情况下，将当前匹配图像作为特征匹配图像输出。

通过本实施例，通过对位置匹配图像的操作区域与当前游戏图像的对应区域进行特征匹配，选取出与当前游戏图像匹配的特征匹配图像，减少了UI图像中不同特效和分辨率对图像匹配结果的影响，提高图像匹配的鲁棒性。

作为一种可选的实施方案，将与特征匹配图像对应的操作指令发送至目标终端包括：

S1，使用特征匹配图像在预先配置的操作流程文件中进行查询；

S2，在查询到与特征匹配图像对应的操作流程的情况下，将操作流程中配置的操作指令发送至目标终端。

可选地，操作指令为以下至少之一：

(1)在操作指令指示的操作为点击操作的情况下，操作指令包括点击命令和用于指示点击命令的点击位置的位置信息；

(2)在操作指令指示的操作为拖动操作的情况下，操作指令包括拖动命令和用于指示拖动操作的起始点和终止点的指示信息；

(3)在操作指令指示的操作为输入操作的情况下，操作指令包括输入命令和与用于指示输入操作所输入内容的文本信息。

通过本实施例，通过为UI图像配置匹配的操作流程，可以通过简单的调整操作配置流程，实现不同的UI功能测试。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的又一个方面，还提供了一种游戏运行装置，如图8所示，该装置包括：

(1)第一获取单元802，用于获取目标终端上运行的目标游戏的当前游戏图像；

(2)检测单元804，用于使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域；

(3)第一确定单元806，用于在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠；

(4)第二确定单元808，用于在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游ss戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同；

(5)发送单元810，用于将与特征匹配图像对应的操作指令发送至目标终端，其中，操作指令用于指示目标终端对当前游戏图像的操作区域执行目标操作。

可选地，上述游戏运行装置可以但不限于应用于游戏UI的自动化测试过程。上述游戏可以为MOBA或者为SPG。在此不做具体限定。需要说明的是，上述游戏应用可以包括但不限于以下至少之一：2D游戏应用、3D游戏应用、VR游戏应用、AR游戏应用、MR游戏应用。以上只是一种示例，本实施例对此不作任何限定。

可选地，第一获取单元802可以用于执行上述步骤S202，检测单元804可以用于执行上述步骤S204，第一确定单元806可以用于执行上述步骤S206，第二确定单元808可以用于执行上述步骤S208，发送单元810可以用于执行上述步骤S210。

需要说明的是，在相关技术中，游戏UI的自动化测试是通过图像匹配的方式来实现。例如，使用UI图像与数据库中相同场景下的UI图像进行匹配，在匹配成功的情况下按照与匹配得到的UI图像对应的操作流程进行UI功能测试。而受游戏UI中有不同特效和分辨率的影响，采用该方法难以保证图像匹配的鲁棒性，导致自动化过程会卡在某个游戏界面上。

而在本申请中，在获取到目标终端上运行的目标游戏的当前游戏图像之后，使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域，在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠，在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同，并将与特征匹配图像对应的操作指令发送至目标终端，以指示目标终端对当前游戏图像的操作区域执行目标操作，由于通过位置匹配来减少特征匹配的计算量，通过特征匹配确定特征匹配图像来减少游戏画面的不同特效和分辨率对匹配结果的影响，解决了相关技术的游戏运行方法存在的由于图像匹配鲁棒性差导致的游戏UI自动化过程无法顺利运行的问题。

作为一种可选的实施方案，第一获取单元82包括：

(1)第一获取模块，用于通过调用目标游戏的应用程序接口API获取当前游戏图像；

(2)调整模块，用于对当前游戏图像进行尺寸变换，将当前游戏图像的尺寸调整为第一目标尺寸。

通过本实施例，当通过调用目标游戏的API获取当前游戏图像，并调整当前游戏图像的尺寸至目标尺寸，可以提高获取的当前游戏图像的图像质量，并提高图像识别的准确性。

作为一种可选的实施方案，检测单元84包括：

(1)划分模块，用于将当前游戏图像划分为第一目标个数的区域块；

(2)检测模块，用于使用目标网络模型分别对各区域块进行检测，得到各区域块的检测结果，其中，检测结果包括以下至少之一：用于指示区域块中是否包含操作区域的第一指示信息，用于指示区域块中包含的操作区域的区域位置的第二指示信息，用于指示检测结果的置信度的第三指示信息；

(3)确定模块，用于根据得到的各区域块的检测结果，确定当前游戏图像的操作区域。

可选地，上述装置还包括：

第一调整单元，用于在将当前游戏图像划分为第一目标个数的区域块之前，对当前游戏图像进行尺寸变换，将当前游戏图像的尺寸调整为第二目标尺寸。

通过本实施例，通过对当前游戏图像进行划分，并对划分后的区域块进行检测，可以操作区域检测的准确性。进一步地，通过将当前游戏图像的尺寸调整为第二目标尺寸(第二目标尺寸小于当前游戏图像的当前尺寸)，可以减少目标网络模型处理的复杂度，提高操作区域的检测速度。

作为一种可选的实施方案，上述装置还包括：

(1)第二获取单元，用于在使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域之前，获取训练图像，其中，训练图像中包含有操作区域；

(2)第三获取单元，用于获取与训练图像对应的标记信息，其中，标记信息用于标记训练图像的操作区域在训练图像中的位置；

(3)训练单元，用于使用训练图像和标记信息对初始网络模型进行训练，得到目标网络模型。

可选地，上述装置还包括：

(1)第二调整单元，用于在获取训练图像之后，对训练图像进行尺寸变换，将训练图像的尺寸调整为第一目标尺寸；

(2)第三调整单元，用于在获取与训练图像对应的标记信息之后，对训练图像进行尺寸变换，将训练图像的尺寸调整为第二目标尺寸；

(3)第四调整单元，将标记信息中的标记值调整为与第二目标尺寸对应的标记值。

通过本实施例，通过使用标记好操作区域的训练图像对初始训练模型，得到目标网络模型，可以生成用于检测操作区域的网络模型。进一步地，将训练图像的尺寸调整为统一尺寸(第一目标尺寸)，可以以统一的尺寸对初始网络模型进行训练，提高目标网络模型的可靠性。进一步地，对第一目标尺寸的训练图像进行标记，使用第二目标尺寸的训练图像进行模型训练，可以提高位置标记的准确性，并较低网络模型训练的复杂度。

作为一种可选的实施方案，第一确定单元96包括：

(1)第二获取模块，用于从游戏图像数据库中逐个取出游戏图像作为参考游戏图像，其中，游戏图像数据库中存储有包含操作区域的多个游戏图像；

(2)第一输出模块，用于在参考游戏图像的操作区域与当前游戏图像的操作区域在空间上存在重叠的情况下，将参考游戏图像作为位置匹配图像输出。

通过本实施例，通过游戏图像数据库中取出游戏图像进行位置匹配，并在参考游戏图像和当前游戏图像的操作区域有重叠时，将参考游戏图像作为位置匹配图像，可以在对游戏图像数据库中的游戏图像进行筛选的同时，避免遗漏可能的匹配图像。

作为一种可选的实施方案，第二确定单元98包括：

(1)第三获取模块，用于从位置匹配图像中逐个取出图像作为当前匹配图像；

(2)第四获取模块，用于获取当前匹配图像的操作区域的第一特征信息，以及当前游戏图像的对应区域的第二特征信息；

(3)计算模块，用于使用第一特征信息和第二特征信息，计算出当前匹配图像的操作区域和当前游戏图像的对应区域之间的特征相似度；

(4)第二输出模块，用于在特征相似度大于目标阈值的情况下，将当前匹配图像作为特征匹配图像输出。

通过本实施例，通过对位置匹配图像的操作区域与当前游戏图像的对应区域进行特征匹配，选取出与当前游戏图像匹配的特征匹配图像，减少了UI图像中不同特效和分辨率对图像匹配结果的影响，提高图像匹配的鲁棒性。

作为一种可选的实施方案，发送单元810包括：

(1)查询模块，用于使用特征匹配图像在预先配置的操作流程文件中进行查询；

(2)发送模块，用于在查询到与特征匹配图像对应的操作流程的情况下，将操作流程中配置的操作指令发送至目标终端。

可选地，操作指令为以下至少之一：

(1)在操作指令指示的操作为点击操作的情况下，操作指令包括点击命令和用于指示点击命令的点击位置的位置信息；

(2)在操作指令指示的操作为拖动操作的情况下，操作指令包括拖动命令和用于指示拖动操作的起始点和终止点的指示信息；

(3)在操作指令指示的操作为输入操作的情况下，操作指令包括输入命令和与用于指示输入操作所输入内容的文本信息。

通过本实施例，通过为UI图像配置匹配的操作流程，可以通过简单的调整操作配置流程，实现不同的UI功能测试。

根据本发明的实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取目标终端上运行的目标游戏的当前游戏图像；

S2，使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域；

S3，在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠；

S4，在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同；

S5，将与特征匹配图像对应的操作指令发送至目标终端，其中，操作指令用于指示目标终端对当前游戏图像的操作区域执行目标操作。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，通过调用目标游戏的应用程序接口API获取当前游戏图像；

S2，对当前游戏图像进行尺寸变换，将当前游戏图像的尺寸调整为第一目标尺寸。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，将当前游戏图像划分为第一目标个数的区域块；

S2，使用目标网络模型分别对各区域块进行检测，得到各区域块的检测结果，其中，检测结果包括以下至少之一：用于指示区域块中是否包含操作区域的第一指示信息，用于指示区域块中包含的操作区域的区域位置的第二指示信息，用于指示检测结果的置信度的第三指示信息；

S3，根据得到的各区域块的检测结果，确定当前游戏图像的操作区域。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，对当前游戏图像进行尺寸变换，将当前游戏图像的尺寸调整为第二目标尺寸。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取训练图像，其中，训练图像中包含有操作区域；

S2，获取与训练图像对应的标记信息，其中，标记信息用于标记训练图像的操作区域在训练图像中的位置；

S3，使用训练图像和标记信息对初始网络模型进行训练，得到目标网络模型。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在获取训练图像之后，对训练图像进行尺寸变换，将训练图像的尺寸调整为第一目标尺寸；

S2，在获取与训练图像对应的标记信息之后，对训练图像进行尺寸变换，将训练图像的尺寸调整为第二目标尺寸；将标记信息中的标记值调整为与第二目标尺寸对应的标记值。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，从游戏图像数据库中逐个取出游戏图像作为参考游戏图像，其中，游戏图像数据库中存储有包含操作区域的多个游戏图像；

S2，在参考游戏图像的操作区域与当前游戏图像的操作区域在空间上存在重叠的情况下，将参考游戏图像作为位置匹配图像输出。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，从位置匹配图像中逐个取出图像作为当前匹配图像；

S2，获取当前匹配图像的操作区域的第一特征信息，以及当前游戏图像的对应区域的第二特征信息；

S3，使用第一特征信息和第二特征信息，计算出当前匹配图像的操作区域和当前游戏图像的对应区域之间的特征相似度；

S4，在特征相似度大于目标阈值的情况下，将当前匹配图像作为特征匹配图像输出。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，使用特征匹配图像在预先配置的操作流程文件中进行查询；

S2，在查询到与特征匹配图像对应的操作流程的情况下，将操作流程中配置的操作指令发送至目标终端。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取器(Random Access Memory，简称为RAM)、磁盘或光盘等。

根据本发明实施例的又一个方面，还提供了一种用于实施上述游戏运行方法的电子装置，如图9所示，该电子装置包括：处理器902、存储器904、数据总线906和传输装置908等。上述各部件可以通过数据总线906或者其他用于数据传输的线进行连接。该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取目标终端上运行的目标游戏的当前游戏图像；

S2，使用目标网络模型从当前游戏图像中检测出当前游戏图像的操作区域；

S3，在参考游戏图像中确定出位置匹配图像，其中，位置匹配图像的操作区域与当前游戏图像的操作区域在空间上存在重叠；

S4，在位置匹配图像中确定出特征匹配图像，其中，特征匹配图像的操作区域上的特征与当前游戏图像的对应区域上的特征匹配，对应区域在当前游戏图像中所处的位置与特征匹配图像的操作区域在特征匹配图像中所处的位置相同；

S5，将与特征匹配图像对应的操作指令发送至目标终端，其中，操作指令用于指示目标终端对当前游戏图像的操作区域执行目标操作。

可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置也可以是智能设备、智能手机(如Android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，简称为MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图9中所示更多或者更少的组件(如网络接口等)，或者具有与图9所示不同的配置。

其中，存储器904可用于存储软件程序以及模块，如本发明实施例中的游戏运行方法和装置对应的程序指令/模块，处理器902通过运行存储在存储器904内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述游戏运行方法。存储器904可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器904可进一步包括相对于处理器902远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述的传输装置908用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置908包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置908为射频(RadioFrequency，简称为RF)模块或蓝牙，其用于通过无线方式与互联网进行通讯。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种游戏运行方法，其特征在于，包括：

获取目标终端上运行的目标游戏的当前游戏图像；

使用目标网络模型从所述当前游戏图像中检测出所述当前游戏图像的操作区域；

从游戏图像数据库中逐个取出游戏图像作为参考游戏图像，其中，所述游戏图像数据库中存储有包含操作区域的多个游戏图像，且所述多个游戏图像中每个游戏图像均标注有可操作区域的位置和名称；

在所述参考游戏图像的操作区域与所述当前游戏图像的操作区域在空间上存在重叠的情况下，将所述参考游戏图像作为位置匹配图像输出；

在所述位置匹配图像中确定出特征匹配图像，其中，所述特征匹配图像的操作区域上的特征与所述当前游戏图像的对应区域上的特征匹配，所述对应区域在所述当前游戏图像中所处的位置与所述特征匹配图像的操作区域在所述特征匹配图像中所处的位置相同；

将与所述特征匹配图像对应的操作指令发送至所述目标终端，其中，所述操作指令用于指示所述目标终端对所述当前游戏图像的操作区域执行目标操作。

2.根据权利要求1所述的方法，其特征在于，获取所述目标终端上运行的所述目标游戏的所述当前游戏图像包括：

通过调用所述目标游戏的应用程序接口API获取所述当前游戏图像；

对所述当前游戏图像进行尺寸变换，将所述当前游戏图像的尺寸调整为第一目标尺寸。

3.根据权利要求1所述的方法，其特征在于，使用所述目标网络模型从所述当前游戏图像中检测出所述当前游戏图像的操作区域包括：

将所述当前游戏图像划分为第一目标个数的区域块；

使用所述目标网络模型分别对各区域块进行检测，得到各区域块的检测结果，其中，所述检测结果包括以下至少之一：用于指示区域块中是否包含操作区域的第一指示信息，用于指示区域块中包含的操作区域的区域位置的第二指示信息，用于指示所述检测结果的置信度的第三指示信息；

根据得到的各区域块的所述检测结果，确定所述当前游戏图像的操作区域。

4.根据权利要求3所述的方法，其特征在于，在将所述当前游戏图像划分为所述第一目标个数的所述区域块之前，所述方法还包括：

对所述当前游戏图像进行尺寸变换，将所述当前游戏图像的尺寸调整为第二目标尺寸。

5.根据权利要求1所述的方法，其特征在于，在使用所述目标网络模型从所述当前游戏图像中检测出所述当前游戏图像的操作区域之前，所述方法还包括：

获取训练图像，其中，所述训练图像中包含有操作区域；

获取与所述训练图像对应的标记信息，其中，所述标记信息用于标记所述训练图像的操作区域在所述训练图像中的位置；

使用所述训练图像和所述标记信息对初始网络模型进行训练，得到所述目标网络模型。

6.根据权利要求5所述的方法，其特征在于，

在获取所述训练图像之后，所述方法还包括：对所述训练图像进行尺寸变换，将所述训练图像的尺寸调整为第一目标尺寸；

在获取与所述训练图像对应的所述标记信息之后，所述方法还包括：对所述训练图像进行尺寸变换，将所述训练图像的尺寸调整为第二目标尺寸；将所述标记信息中的标记值调整为与所述第二目标尺寸对应的标记值。

7.根据权利要求1所述的方法，其特征在于，在所述位置匹配图像中确定出所述特征匹配图像包括：

从所述位置匹配图像中逐个取出图像作为当前匹配图像；

获取所述当前匹配图像的操作区域的第一特征信息，以及所述当前游戏图像的对应区域的第二特征信息；

使用所述第一特征信息和所述第二特征信息，计算出所述当前匹配图像的操作区域和所述当前游戏图像的对应区域之间的特征相似度；

在所述特征相似度大于目标阈值的情况下，将所述当前匹配图像作为所述特征匹配图像输出。

8.根据权利要求1至7中任一项所述的方法，其特征在于，将与所述特征匹配图像对应的所述操作指令发送至所述目标终端包括：

使用所述特征匹配图像在预先配置的操作流程文件中进行查询；

在查询到与所述特征匹配图像对应的操作流程的情况下，将所述操作流程中配置的所述操作指令发送至所述目标终端。

9.根据权利要求8所述的方法，其特征在于，所述操作指令为以下至少之一：

在所述操作指令指示的操作为点击操作的情况下，所述操作指令包括点击命令和用于指示所述点击命令的点击位置的位置信息；

在所述操作指令指示的操作为拖动操作的情况下，所述操作指令包括拖动命令和用于指示所述拖动操作的起始点和终止点的指示信息；

在所述操作指令指示的操作为输入操作的情况下，所述操作指令包括输入命令和与用于指示所述输入操作所输入内容的文本信息。

10.一种游戏运行装置，其特征在于，包括：

第一获取单元，用于获取目标终端上运行的目标游戏的当前游戏图像；

检测单元，用于使用目标网络模型从所述当前游戏图像中检测出所述当前游戏图像的操作区域；

第一确定单元，用于在参考游戏图像中确定出位置匹配图像，其中，所述位置匹配图像的操作区域与所述当前游戏图像的操作区域在空间上存在重叠；

第二确定单元，用于在所述位置匹配图像中确定出特征匹配图像，其中，所述特征匹配图像的操作区域上的特征与所述当前游戏图像的对应区域上的特征匹配，所述对应区域在所述当前游戏图像中所处的位置与所述特征匹配图像的操作区域在所述特征匹配图像中所处的位置相同；

发送单元，用于将与所述特征匹配图像对应的操作指令发送至所述目标终端，其中，所述操作指令用于指示所述目标终端对所述当前游戏图像的操作区域执行目标操作；

所述第一确定单元包括：

第二获取模块，用于从游戏图像数据库中逐个取出游戏图像作为所述参考游戏图像，其中，所述游戏图像数据库中存储有包含操作区域的多个游戏图像，且所述多个游戏图像中每个游戏图像均标注有可操作区域的位置和名称；

第一输出模块，用于在所述参考游戏图像的操作区域与所述当前游戏图像的操作区域在空间上存在重叠的情况下，将所述参考游戏图像作为所述位置匹配图像输出。

11.根据权利要求10所述的装置，其特征在于，所述检测单元包括：

划分模块，用于将所述当前游戏图像划分为第一目标个数的区域块；

检测模块，用于使用所述目标网络模型分别对各区域块进行检测，得到各区域块的检测结果，其中，所述检测结果包括以下至少之一：用于指示区域块中是否包含操作区域的第一指示信息，用于指示区域块中包含的操作区域的区域位置的第二指示信息，用于指示所述检测结果的置信度的第三指示信息；

确定模块，用于根据得到的各区域块的所述检测结果，确定所述当前游戏图像的操作区域。

12.根据权利要求10或11所述的装置，其特征在于，所述装置还包括：

第二获取单元，用于在使用所述目标网络模型从所述当前游戏图像中检测出所述当前游戏图像的操作区域之前，获取训练图像，其中，所述训练图像中包含有操作区域；

第三获取单元，用于获取与所述训练图像对应的标记信息，其中，所述标记信息用于标记所述训练图像的操作区域在所述训练图像中的位置；

训练单元，用于使用所述训练图像和所述标记信息对初始网络模型进行训练，得到所述目标网络模型。

13.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。

14.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法。

Images