CN110152290A - 游戏运行方法和装置、存储介质及电子装置 - Google Patents
游戏运行方法和装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN110152290A CN110152290A CN201811419502.2A CN201811419502A CN110152290A CN 110152290 A CN110152290 A CN 110152290A CN 201811419502 A CN201811419502 A CN 201811419502A CN 110152290 A CN110152290 A CN 110152290A
- Authority
- CN
- China
- Prior art keywords
- target
- network model
- game
- attribute
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012360 testing method Methods 0.000 claims abstract description 138
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 110
- 238000001514 detection method Methods 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 230000001537 neural effect Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 17
- 238000007689 inspection Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000032258 transport Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 241000406668 Loxodonta cyclotis Species 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 208000015041 syndromic microphthalmia 10 Diseases 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000549343 Myadestes Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007873 sieving Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种游戏运行方法和装置、存储介质及电子装置。其中，该方法包括：获取到目标终端上当前运行的目标游戏的游戏画面；使用目标网络模型对所述游戏画面进行检测，得到所述游戏画面的检测结果，其中，所述目标网络模型用于检测所述游戏画面中包含的目标对象，所述目标对象的对象类型为预定类型，所述检测结果包括：通过所述目标对象的目标属性的第一属性信息来表示的所述目标对象；将所述游戏画面和所述检测结果输入到人工智能AI控制模型，得到控制指令，其中，所述AI控制模型用于根据所述游戏画面和所述检测结果，控制所述目标游戏的运行，所述控制指令用于控制所述目标游戏执行目标操作；使用所述控制指令，控制所述目标游戏执行所述目标操作。
Description
技术领域
本发明涉及计算机领域，具体而言，涉及一种游戏运行方法和装置、存储介质及电子装置。
背景技术
目前，当需要自动化运行游戏时，从确定自动化运行游戏开始起，截取原游戏画面，并对此画面进行一定比例的缩小，灰度化处理。将处理后的图像作为增强学习算法的输入，将增强学习算法的输出用于控制游戏运行的动作。游戏响应新动作，更新游戏的界面。将更新后的界面(新图像) 再次作为增强学习算法的输入，如此循环下去，使得可以自动化运行游戏。
然而，游戏的界面中包含的信息元素一般比较复杂，丰富绚丽的背景，多种多样的道具元素。这些信息增加了学习算法的复杂性，使得深度学习算法很难甚至无法收敛到一个正确的处理逻辑。
因此，相关技术中的游戏运行方法存在算法复杂，很难甚至无法收敛到一个正确的处理逻辑的问题。
发明内容
本发明实施例提供一种游戏运行方法和装置、存储介质及电子装置，以至少解决相关技术中的游戏运行方法存在算法复杂，很难甚至无法收敛到一个正确的处理逻辑的问题。
根据本发明实施例的一个方面，提供了一种游戏运行方法，包括：获取到目标终端上当前运行的目标游戏的游戏画面；使用目标网络模型对所述游戏画面进行检测，得到所述游戏画面的检测结果，其中，所述目标网络模型用于检测所述游戏画面中包含的目标对象，所述目标对象的对象类型为预定类型，所述检测结果包括：通过所述目标对象的目标属性的第一属性信息来表示的所述目标对象；将所述游戏画面和所述检测结果输入到人工智能AI控制模型，得到控制指令，其中，所述AI控制模型用于根据所述游戏画面和所述检测结果，控制所述目标游戏的运行，所述控制指令用于控制所述目标游戏执行目标操作；使用所述控制指令，控制所述目标游戏执行所述目标操作。
根据本发明实施例的另一方面，还提供了一种游戏运行装置，包括：第一获取单元，用于获取到目标终端上当前运行的目标游戏的游戏画面；检测单元，用于使用目标网络模型对所述游戏画面进行检测，得到所述游戏画面的检测结果，其中，所述目标网络模型用于检测所述游戏画面中包含的目标对象，所述目标对象的对象类型为预定类型，所述检测结果包括：通过所述目标对象的目标属性的第一属性信息来表示的所述目标对象；输入单元，用于将所述游戏画面和所述检测结果输入到人工智能AI控制模型，得到控制指令，其中，所述AI控制模型用于根据所述游戏画面和所述检测结果，控制所述目标游戏的运行，所述控制指令用于控制所述目标游戏执行目标操作；控制单元，用于使用所述控制指令，控制所述目标游戏执行所述目标操作。
根据本发明实施例的另一方面，还提供了一种存储介质，上述存储介质包括存储的程序，其中，上述程序运行时执行上述游戏运行方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在上述存储器上并可在上述处理器上运行的计算机程序，上述处理器通过上述计算机程序执行上述游戏运行方法。
在本发明实施例中，在获取到目标终端上当前运行的目标游戏的游戏画面之后，使用用于对游戏画面中包含的预定类型的目标对象进行检测的目标网络模型对游戏画面进行检测，得到游戏画面的检测结果，其中，检测结果包括：通过目标对象的目标属性的第一属性信息来表示的目标对象；将游戏画面和检测结果输入到AI控制模型，得到用于控制目标游戏执行目标操作的控制指令，并使用控制指令，控制目标游戏执行目标操作，由于除了游戏画面之外，还将通过目标网络模型检测得到的目标对象输入到游戏AI，为游戏AI做出游戏决策提供参考，减少无用的游戏元素对决策结果的影响，降低了游戏AI算法的复杂度，提高了算法收敛的速度，同时，由于目标网络模型仅对预定类型的目标对象进行检测，相对于其他网络模型来说计算复杂度小，网络规模(例如，神经网络层数)小，在检测效果基本同等的条件下，可以提高检测速度，达到实时检测的效果，又减少了计算资源的消耗，从而实现了减少AI控制模型的计算复杂度、提高AI控制模型收敛到正确处理逻辑的速度的技术效果，进而解决了相关技术中的游戏运行方法存在算法复杂，很难甚至无法收敛到一个正确的处理逻辑的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的游戏运行方法的硬件环境的示意图；
图2是根据本发明实施例的一种可选的游戏运行方法的流程图；
图3是根据本申请实施例的一种可选的游戏运行方法的示意图；
图4是根据本申请实施例的一种可选的图像样本标签的示意图；
图5是根据本申请实施例的一种可选的Faster RCNN的anchor策略的示意图；
图6是根据本申请实施例的一种可选的目标区域图像的示意图；
图7是根据本申请实施例的一种可选的测试结果的示意图；
图8是根据本申请实施例的一种可选的检测结果的示意图；
图9是根据本申请实施例的另一种可选的游戏运行方法的流程图；
图10是根据本发明实施例的一种可选的游戏运行装置的结构示意图；
图11是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于理解本发明，本发明涉及的技术术语中如下：
1)AI：Artificial Intelligence，人工智能；
2)API：Application Programming Interface，应用程序接口；
3)CNN：Convolutional Neural Network，卷积神经网络；
4)COCO：Common Objects in Context，语境中的公共对象，是由微软团队提供的图像数据集；
5)CPU，Central Processing Unit，中央处理器；
6)DQN：Deep Q-Learning Network，深度Q-学习网络；
7)ImageNet，是一个计算机视觉系统识别项目名称，是目前世界上图像识别最大的数据库，由美国斯坦福的计算机科学家，模拟人类的识别系统建立的；
8)GPU，Graphic Processing Unit，图形处理器；
9)NMS：Non Maximum Suppression，非极大值抑制；
10)PASCAL：Pattern Analysis,Statistical Modelling and ComputationalLearning，模型分析、统计建模和计算学习；VOC：Visual Object Classes，视觉目标类。PASCAL VOC竞赛提供了自己的图像数据集。
11)VGGNet：由牛津大学的视觉几何组(Visual Geometry Group)提出的网络模型。
12)YOLO：You Only Look Once,Real Time Object Detection，你仅用看一遍，实时目标检测。
在本发明实施例中，提供了一种上述游戏运行方法的实施例。作为一种可选的实施方式，该游戏运行方法可以但不限于应用于如图1所示的应用环境中，在终端102(目标终端)上运行有目标游戏，终端102通过网络104与服务器106连接，获取当前运行的目标游戏的游戏画面，并将该游戏画面发送至服务器106，服务器106响应接收到的游戏画面，使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果，其中，目标网络模型用于检测游戏画面中包含的目标对象，目标对象的对象类型为预定类型，检测结果包括：通过目标对象的目标属性的第一属性信息来表示的目标对象；将游戏画面和检测结果输入到AI控制模型，得到控制指令，其中，AI控制模型用于根据游戏画面和检测结果，控制目标游戏的运行，控制指令用于控制目标游戏执行目标操作；使用控制指令，控制目标游戏执行目标操作。
需要说明的是，上述示例中，使用控制指令，控制目标游戏执行目标操作可以是服务器106通过网络104向终端102发送该控制指令、由终端102执行对目标游戏执行目标操作完成的，也可以是服务器106通过网络 104向目标游戏的服务器发送该控制指令、由目标游戏的服务器执行目标操作完成的，以上仅是一种示例，在此不做任何限定。
可选地，在本实施例中，上述终端102可以包括但不限于以下至少之一：手机、平板电脑、笔记本电脑、台式PC机、数字电视等可以运行目标游戏的终端设备。上述网络104可以包括但不限于有线网络和无线网络，其中，该有线网络可以包括：局域网、城域网、广域网，该无线网络可以包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以包括但不限于以下至少之一：PC机及其他用于进行游戏控制的设备。上述只是一种示例，本实施例中对此不做任何限定。
根据本发明实施例的一方面，提供了一种游戏运行方法，如图2所示，该方法包括：
S202，获取到目标终端上当前运行的目标游戏的游戏画面。
S204，使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果，其中，目标网络模型用于检测游戏画面中包含的目标对象，目标对象的对象类型为预定类型，检测结果包括：通过目标对象的目标属性的第一属性信息来表示的目标对象；
S206，将游戏画面和检测结果输入到AI控制模型，得到控制指令，其中，AI控制模型用于根据游戏画面和检测结果，控制目标游戏的运行，控制指令用于控制目标游戏执行目标操作；
S208，使用控制指令，控制目标游戏执行目标操作。
可选地，在本实施例中，上述游戏运行方法可以但不限于应用于目标游戏自动化运行的过程中，还可以应用于其他根据游戏元素对目标游戏进行控制的场景中。目标游戏可以是多人在线战术竞技游戏(Multiplayer Online Battle Arena，简称为MOBA)或者为单人游戏(Single-Player Game，简称为SPG)等对于自动化运行有需求的游戏应用。
上述游戏运行方法可以应用到游戏的测试阶段，用于模拟玩家的操作，以便对游戏的性能，例如稳定性，进行检测。也可以应用到游戏上线之后游戏玩家在用户终端上运行游戏的过程中，用于完成特定任务。
例如，如图3所示，通过手机或其他设备(目标设备)截取游戏界面 (游戏画面)后，通过目标网络模型识别游戏界面中的英雄位置和门(“门”可以是一个传送阵，通过点击“门”可以触发进入副本入口、进入另一个地图等)的位置，并把原图像和英雄，门的类别位置信息发送给游戏AI，游戏AI根据这些结果控制英雄向门移动，完成一次交互操作。
下面结合附图2对本申请的实施例进行说明。
在步骤S202中，获取到目标终端上当前运行的目标游戏的游戏画面。
游戏开发平台可以提供获取游戏信息的接口API。游戏内置AI可以调用这些接口，获取游戏元素信息(包括各个元素的生存状态，位置关系等)。游戏AI整合这些信息，作为游戏AI的输入，游戏AI根据一定的算法输出动作策略。动作反馈并驱动游戏，使得游戏可以自动玩下去，不需要用户交互。
但是，上述游戏运行方式要依赖游戏开发平台提供的接口函数，然而，很多游戏没有提供这些API接口，或者不会选择公开这些API接口，供再次开发，导致上述游戏运行方法的通用性较差。
本申请中通过获取游戏的当前界面，以游戏原界面作为处理源作为输入进行处理，具有更强的通用性。
目标终端上当前运行有目标游戏，在自动化运行游戏的采集指令被触发之后，目标终端启动采集程序(采集程序可以存储在目标终端的存储器中，由处理器调用并运行该采集程序)实时采集目标游戏当前的游戏画面 (即，游戏界面)，并将采集到的游戏画面发送至服务器，从而服务器可以获取到该游戏画面。
上述采集指令可以是由目标事件发生触发，上述目标事件可以包括但不限于以下之一：目标游戏中的目标按钮(“自动”按钮)被点击，目标游戏或一局游戏被启动，进入目标场景(如，特定副本)，接收到服务器发送的自动运行的命令等。
目标终端可以使用截屏的方式来实时获取当前设备上运行的目标游戏的游戏图像。
在步骤S204中，使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果，其中，目标网络模型用于检测游戏画面中包含的目标对象，目标对象的对象类型为预定类型，检测结果包括：通过目标对象的目标属性的第一属性信息来表示的目标对象。
游戏画面中可以包括多种游戏对象(游戏元素)，可以包括但不限于：前景元素，背景元素，其中，前景元素可以包括但不限于：玩家角色(本终端控制的游戏角色，相同队伍的游戏角色，不同队伍的游戏角色等)、血条、小兵、炮车、超级兵、防御塔，背景元素可以包括但不限于：石头、箱子、草地等。
在获取到游戏画面之后，可以对游戏画面进行多物体检测(检测游戏画面中包含的物体，也即对象)，得到游戏画面中所包含的游戏对象的属性信息。
传统的多物体检测方法，需要手工设计的特征，采用滑动窗口的方法进行全图筛选和对比查找目标物。手工设计的特征鲁棒性差，滑动窗口的方案计算和时间复杂度高。
本申请中使用目标网络模型(目标网络模型可以是CNN)对游戏画面进行多物体检测，通过目标网络模型自动提取游戏图像的特征，与传统的人工提取特征的方法相比，提取的语义层次更深。
基于CNN自动提取图像的特征，并基于不同的特征尺度提取检测多物体的方案，可以得到较好的多物体检测结果。
相关技术中CNN的网络模型一般都是采用公共的自然场景的数据库，如ImageNet(2.2万类别)，PASCAL VOC(20类别)，COCO(91类) 等。为了提取更深层次的特征，适用于大量种类的物体检测，上述网络模型一般都比较庞大，例如，提取特征的网络模型VGGNet一般有16-19层， Darkent-53有53层，再加上很多模型还有一些技巧，会增加更多的层数进行特征层融合等其他处理。最后总的网络模型会更庞大。然而，庞大的网络模型，需要更多的计算资源。高性能的显卡可以加快并行运算速度。但是，现在很多机器是没有高性能的GPU资源的，CPU模式下运算速度很慢，很难达到实时。
为了提高对游戏画面对象提取的速度，本申请基于游戏画面中包含的特定类型的目标对象(预定类型的游戏元素)，设计一个基于经典网络模型进行改进的小网络模型(即，目标网络模型)，并基于此小网络模型，对目标对象进行识别，确定目标类型的目标属性的属性信息。小网络模型用于检测游戏画面中预定类型的目标对象，检测的目标对象通过目标对象的目标属性的属性信息来表示。
需要说明的是，小网络模型的“小”主要体现在网络层数上，由于检测的仅是游戏画面中预定类型的目标对象，减少了网络模型的检测目标，从而可以减少网络模型中神经网络层的层数。使用小网络模型代替大网络模型对特定物体的检测，在效果基本同等的条件下，可以大大的提高速度，既达到了实时的检测效果，又减少了计算资源。上述效果基本相同，是指检测效果基本相同，例如，都能检测到相同的血条个数、血条位置等。
上述目标对象可以是预定类型的游戏元素，预定类型可以是指游戏前景中所包含的游戏对象所对应的对象类型，上述目标属性可以是目标对象的对象类型、对象位置、颜色属性，不同对象可以通过目标属性的不同属性值来标识。
例如，目标属性为对象类型和对象位置，对于游戏中的怪物(人形怪)，其对象类型为：怪物，对象位置为：包含该怪物的矩形框四个顶点的坐标。游戏中的角色元素(英雄)、血条、任务道具可以采用相同的方式来标识。
可选地，在使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果之前，可以获取到训练图像集合，其中，训练图像集合中包括训练图像以及第一数据(训练图像的标签数据)，第一数据包括第一对象的目标属性的第三属性信息，第一对象为训练图像中包含的预定类型的对象；使用训练图像和第一数据对初始网络模型进行训练，得到目标网络模型。
为了获取到目标网络模型，需要首先对初始网络模型，初始网络模型根据应用需求对包括神经网络层数等进行设计得到。在得到初始网络模型之后，可以对初始网络模型模型进行训练、测试，得到目标网络模型。
例如，如表1所示，初始网络模型包括N个神经网络层(layer)，每个神经网络层的卷积核个数(filters)和卷积核大小和步长(size)可以不同，网络输入(input)和网络输出(output)的特征图像的尺度和个数也可以是不同的，其中，size可以表示为X×Y，其中，X为卷积核大小，Y 为步长，input和output可以表示为A×B×C，其中，A×B为一个特征图像的大小(单位可以像素)，C为特征图像的个数。
表1初始网络模型
| layer | filters | size | input | output | |
| 0conv | 16 | 3×3/2 | 640×360×3 | －> | 320×180×16 |
| 1conv | 32 | 3×3/2 | 320×180×16 | －> | 160×90×32 |
| 2conv | 64 | 3×3/2 | 160×90×32 | －> | 80×45×64 |
| 3conv | 128 | 3×3/2 | 80×45×64 | －> | 40×23×128 |
| 4conv | 256 | 3×3/2 | 40×23×128 | －> | 20×12×256 |
| 5conv | 8 | 1×1/1 | 20×12×256 | －> | 20×12×8 |
| 6detection |
在对初始网络模型进行训练时，可以采集大量的游戏样本图像，并人工标记样本图像中所要识别的游戏元素的位置类别和坐标位置(单位像素)，标记出的标签数据可以认为是由目标对象的目标属性的属性信息来表示的一个个的目标对象。
根据样本图像设置训练集合(训练图像集合)和测试集合(测试图像集合)：可以从样本图像中选取出第一目标个数的样本图像作为训练结合，选取出第二目标个数的样本图像作为测试结合，第一目标个数和第二目标个数可以相同，也可以不同。第一目标个数可以大于第二目标个数。
根据需要识别的物体不同，可以采集不同的样本。如需要识别游戏中的血条，需要采集并标定血条的图像样本(如图4所示)。如需要识别游戏中的英雄，需要采集并标定英雄的图像样本。
在进行模型训练时，可以设置训练总次数，采用梯度下降算法，设置学习率等参数。标记好的样本数据作为初始网络模型的输入。
可选地，在本实施例中，使用训练图像和第一数据对初始网络模型进行训练，得到目标网络模型可以包括：获取第M次训练完成之后第一网络模型的训练结果，其中，第一网络模型为对初始网络模型进行前M-1 次训练之后得到的网络模型，M为大于或者等于1的正整数，训练结果包括：第一真实框与第一候选框之间的第一偏移量，第一真实框为第一数据所指示的包含第一对象的第一矩形框(标签数据所述标识的第一对象的真实框)，第一候选框为第一网络模型检测出的包含第一对象的第二矩形框 (网络模型预测的第一对象的预测框)；使用训练结果，调整第一网络模型的模型参数。
初始网络模型的设计可以采用Faster-RCNN中的anchor策略(如图5，即，预先设定候选框的大小，网络的输出参数为真实框和候选框的偏移，而不是直接输出预测框的位置，实验证明anchor策略能提高检测的准确度)。在设计候选框的大小时，可根据检测目标的长宽比特征，设置接近于目标物的候选框的长宽值，例如，如图6所示，“血条”的长宽接近于60×6，anchor设置为(2,0.2)，游戏中的任务可以设置为(1.5,2.3)，(2.3, 1.5)。其他游戏元素的候选框可以采用类似的方式进行设置。
可选地，在本实施例中，在使用训练图像和第一数据对初始网络模型进行训练，得到目标网络模型的过程中，可以获取到测试图像集合，其中，测试图像集合中包括测试图像以及第二数据(测试图像的标签数据)，第二数据包括第二对象的目标属性的第四属性信息，第二对象为测试图像中包含的预定类型的对象；使用测试图像对第二网络模型进行测试，得到测试结果，其中，第二网络模型为对初始网络模型进行N次训练之后得到的网络模型，N为大于或者等于1的正整数，测试结果包括：第二真实框与第二候选框之间的第二偏移量，第二真实框为第二数据所指示的包含第二对象的第三矩形框，第二候选框为第二网络模型检测出的包含第二对象的第四矩形框；在第二偏移量小于或等于目标偏移量的情况下，确定目标网络模型为第二网络模型；在第二偏移量大于目标偏移量的情况下，继续使用训练图像和第一数据对第二网络模型进行训练，得到目标网络模型。
在网络训练一段时间后，可以用测试集合检测网络模型的准确性，以监控训练的过程。在进行测试时，可以根据训练出来的网络权重文件和自定义的网络描述文件，输入一张测试图像，经过一次前向运算过程，输出目标物的位置和类别信息。基于已训练好的模型输入测试图像进行模型测试，输出检测结果的示例可以如图7所示，图7的左半部分为测试图像，图7的右半部分为检测结果。
初始网络模型的训练就是多次模型训练来调整模型参数，从而输出识别效果达到期望的网络模型。达到期望也就是真实框和候选框的偏移在预定偏移范围内。
在得到目标网络模型之后，可以将目标网络模型部署到服务器上。训练模型的服务器和使用模型的服务器可以相同，也可以不同。训练模型的服务器可以是一台服务器，也可以是一个服务器集群。在部署完成之后，可以使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果。
可选地，在本实施例中，使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果可以包括：使用目标网络模型中包含的卷积神经网络对游戏画面进行卷积处理，提取出与游戏画面对应的目标特征图像；在目标特征图像上进行查找，得到候选目标对象的目标属性的第二属性信息；使用目标算法对第二属性信息进行处理，从候选目标对象中筛选出目标对象，得到检测结果，其中，目标算法用于根据第二属性信息从候选目标对象中筛选出满足筛选条件的目标对象。
可以通过目标网络模型进行前向运算，检测游戏画面中前景物体(目标对象)在该游戏画面中的位置，以及前景物体的类别信息。
在进行前向运算时，由于模型规模小，计算速度快，可以达到实时的运行效果。例如，在1070GPU环境下，前向网络时间为2ms左右，在i7-4790 CPU环境下，前向网络时间10ms左右。
经过目标网络模型中的卷积神经网络的CNN卷积处理，提取游戏画面的图像特征，在特征图上回归出候选目标对象的第二属性信息(例如，类别和位置(以像素为单位的矩形框))，并通过目标算法对第二属性信息进行处理，从候选目标对象中筛选出目标对象，从而得到检测结果。
为了适应多目标物检测中目标对象有大有小的情况，可以在不同尺度的特征图(卷积神经网络不同的层卷积后，得到不同的尺度的特征图像) 上去检测目标对象。
可选地，在本实施例中，在目标特征图像上进行查找，得到候选目标对象的目标属性的第二属性信息可以包括：在卷积神经网络包含多个神经网络层的情况下，从多个神经网络层输出的多个特征图像中选取出至少两个特征图像，作为目标特征图像，其中，多个神经网络层中的不同神经网络层输出不同尺度的特征图像；在至少两个特征图像上分别进行查找，得到不同尺度的特征图像上的第二属性信息。
可以在不同尺度的特征图上进行提取候选目标对象的位置，来适用前景物体大小差异大的检测场景。
例如，在不同尺度的特征图上提取目标对象的位置，最后生成了240 个候选结果，经过非极大值抑制算法刷选出重叠度(指预测框的重叠程度) 小于0.4、置信度大于此类别阈值置信度的候选框，最终筛选出的候选框标记了游戏界面所需要的有效物体(目标对象)的类别和位置，图8示出了游戏画面中三种颜色的血条的检测结果。
在步骤S206-208中，将游戏画面和检测结果输入到AI控制模型，得到控制指令，其中，AI控制模型用于根据游戏画面和检测结果，控制目标游戏的运行，控制指令用于控制目标游戏执行目标操作；使用控制指令，控制目标游戏执行目标操作。
在通过目标网络模型得到检测结果(识别出界面中这些游戏元素的类别，位置信息)之后，把检测结果和游戏画面通知游戏AI，游戏AI根据检测结果和原游戏画面，结合自己的AI算法(逻辑规则，增强学习等) 输出相应的动作，并作用于当前游戏画面，完成一次交互。
例如，检测出游戏界面中的重要元素后，把图像检测结果和对应的原图像同时输出给游戏AI。游戏AI根据这些信息，结合一些规则算法(如行为树)或是增强学习算法(如DQN)，做出动作输出，完成一次整体的动作交互过程。
下面结合具体示例对上述游戏运行方法进行说明。如图9所示，本示例中提供的游戏运行方法包括以下步骤：
S902-S904，游戏运行，获取原始游戏画面。
首先通过手机或其他设备实时采集程序采集游戏运行时的界面。图像采集程序可以使用截屏的方式来获取当前设备上面的游戏实时图像。
S906-S908，小网络模型前向运算，检测游戏中的关键物体。
通过预定义的小网络模型的前向运算，检测图像中前景物体所在图像中的位置，以及前景物体的类别信息。
S910-S912，将检测结果和原图像输入AI，AI输出动作反馈到游戏。
把识别结果数据和原图像数据输出给游戏AI，游戏AI输出和游戏界面进行交互的动作，模拟玩家和游戏进行交互，从而自动控制游戏的运行。
通过本实施例，通过在获取到目标终端上当前运行的目标游戏的游戏画面之后，使用用于对游戏画面中包含的预定类型的目标对象进行检测的目标网络模型对游戏画面进行检测，得到游戏画面的检测结果，其中，检测结果包括：通过目标对象的目标属性的第一属性信息来表示的目标对象；将游戏画面和检测结果输入到AI控制模型，得到用于控制目标游戏执行目标操作的控制指令，并使用控制指令，控制目标游戏执行目标操作，解决了相关技术中的游戏运行方法存在算法复杂，很难甚至无法收敛到一个正确的处理逻辑的问题，达到了减少AI控制模型的计算复杂度、提高 AI控制模型收敛到正确处理逻辑的效率的技术效果。
作为一种可选的实施方案，使用目标网络模型对所述游戏画面进行检测，得到所述游戏画面的检测结果包括：
S1，使用目标网络模型中包含的卷积神经网络对游戏画面进行卷积处理，提取出与游戏画面对应的目标特征图像；
S2，在目标特征图像上进行查找，得到候选目标对象的目标属性的第二属性信息；
S3，使用目标算法对第二属性信息进行处理，从候选目标对象中筛选出目标对象，得到检测结果，其中，目标算法用于根据第二属性信息从候选目标对象中筛选出满足筛选条件的目标对象。
可选地，在所述目标特征图像上进行查找，得到所述候选目标对象的目标属性的所述第二属性信息包括：
S21，在卷积神经网络包含多个神经网络层的情况下，从多个神经网络层输出的多个特征图像中选取出至少两个特征图像，作为目标特征图像，其中，多个神经网络层中的不同神经网络层输出不同尺度的特征图像；
S22，在至少两个特征图像上分别进行查找，得到不同尺度的特征图像上的第二属性信息。
通过本实施例，通过在特征图像上查找候选目标对象，得到候选目标对象的目标属性的属性信息，并使用目标算法对第二属性信息进行处理，从候选目标对象中筛选出目标对象，在特征图像上查找，保证了查找结果的完整性，通过对候选目标对象进行筛选，保证了检测结果的准确性。进一步地，在不同尺度的特征图上去检测目标物，适应了多目标对象的检测过程中目标对象有大有小的情况。
作为一种可选的实施方案，在使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果之前，上述方法还包括：
S1，获取到训练图像集合，其中，训练图像集合中包括训练图像以及第一数据，第一数据包括第一对象的目标属性的第三属性信息，第一对象为训练图像中包含的预定类型的对象；
S2，使用训练图像和第一数据对初始网络模型进行训练，得到目标网络模型。
可选地，使用训练图像和第一数据对初始网络模型进行训练，得到目标网络模型包括：
S21，获取第M次训练完成之后第一网络模型的训练结果，其中，第一网络模型为对初始网络模型进行前M-1次训练之后得到的网络模型，M 为大于或者等于1的正整数，训练结果包括：第一真实框与第一候选框之间的第一偏移量，第一真实框为第一数据所指示的包含第一对象的第一矩形框，第一候选框为第一网络模型检测出的包含第一对象的第二矩形框；
S21，使用训练结果，调整第一网络模型的模型参数。
可选地，在使用训练图像和第一数据对初始网络模型进行训练，得到目标网络模型的过程中，上述方法还包括：
S3，获取到测试图像集合，其中，测试图像集合中包括测试图像以及第二数据，第二数据包括第二对象的目标属性的第四属性信息，第二对象为测试图像中包含的预定类型的对象；
S4，使用测试图像对第二网络模型进行测试，得到测试结果，其中，第二网络模型为对初始网络模型进行N次训练之后得到的网络模型，N为大于或者等于1的正整数，测试结果包括：第二真实框与第二候选框之间的第二偏移量，第二真实框为第二数据所指示的包含第二对象的第三矩形框，第二候选框为第二网络模型检测出的包含第二对象的第四矩形框；
S5，在第二偏移量小于或等于目标偏移量的情况下，确定目标网络模型为第二网络模型；
S6，在第二偏移量大于目标偏移量的情况下，继续使用训练图像和第一数据对第二网络模型进行训练，得到目标网络模型。
通过本实施例，通过使用训练图像以及训练图像的标签数据对初始网络模型进行训练，得到目标网络模型，保证了目标网络模型检测目标对象的可靠性。进一步地，在进行训练时，网络模型的输出参数为真实框和候选框的偏移，而不是直接输出预测框的位置，提高检测的准确度。进一步地，通过测试图像和测试图像的标签数据对训练过程进行监控，保证了网络模型检测的准确性，同时也可以缩短训练过程(如果训练过程中的中间网络模型的检测效果达到期望，可以结束训练)。
作为一种可选的实施方案，目标对象包括预定类型的游戏元素，目标属性包括对象类型和对象位置，其中，预定类型包括以下至少之一：游戏中的怪物、游戏中的角色元素、血条、任务道具。
通过本实施例，通过将游戏前景物体设定为目标网络模型检测的目标对象，可以减少网络模型规模，在保证检测效果的条件下，提高检测速度，既达到了实时的检测效果，又减少了计算资源。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的又一个方面，还提供了一种游戏运行装置，如图 10所示，该装置包括：
(1)第一获取单元1002，用于获取到目标终端上当前运行的目标游戏的游戏画面；
(2)检测单元1004，用于使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果，其中，目标网络模型用于检测游戏画面中包含的目标对象，目标对象的对象类型为预定类型，检测结果包括：通过目标对象的目标属性的第一属性信息来表示的目标对象；
(3)输入单元1006，用于将游戏画面和检测结果输入到人工智能AI 控制模型，得到控制指令，其中，AI控制模型用于根据游戏画面和检测结果，控制目标游戏的运行，控制指令用于控制目标游戏执行目标操作；
(4)控制单元1008，用于使用控制指令，控制目标游戏执行目标操作。
可选地，在本实施例中，上述游戏运行装置可以但不限于应用于目标游戏自动化运行的过程中，还可以应用于其他根据游戏元素对目标游戏进行控制的场景中。目标游戏可以是MOBA或者为SPG等对于自动化运行有需求的游戏应用。
上述游戏运行装置可以应用到游戏的测试阶段，用于模拟玩家的操作，以便对游戏的性能，例如稳定性，进行检测。也可以应用到游戏上线之后游戏玩家在用户终端上运行游戏的过程中，用于完成特定任务。
需要说明的是，该实施例中的第一获取单元1002可以用于执行本申请实施例中的步骤S202，该实施例中的检测单元1004可以用于执行本申请实施例中的步骤S204，该实施例中的输入单元1006可以用于执行本申请实施例中的步骤S206，该实施例中的控制单元1008可以用于执行本申请实施例中的步骤S208。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例中所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
通过本实施例，通过在获取到目标终端上当前运行的目标游戏的游戏画面之后，使用用于对游戏画面中包含的预定类型的目标对象进行检测的目标网络模型对游戏画面进行检测，得到游戏画面的检测结果，其中，检测结果包括：通过目标对象的目标属性的第一属性信息来表示的目标对象；将游戏画面和检测结果输入到AI控制模型，得到用于控制目标游戏执行目标操作的控制指令，并使用控制指令，控制目标游戏执行目标操作，解决了相关技术中的游戏运行方法存在算法复杂，很难甚至无法收敛到一个正确的处理逻辑的问题，达到了减少AI控制模型的计算复杂度、提高 AI控制模型收敛到正确处理逻辑的效率的技术效果。
作为一种可选的实施方案，检测单元1004包括：
(1)提取模块，用于使用目标网络模型中包含的卷积神经网络对游戏画面进行卷积处理，提取出与游戏画面对应的目标特征图像；
(2)查找模块，用于在目标特征图像上进行查找，得到候选目标对象的目标属性的第二属性信息；
(3)选取模块，用于使用目标算法对第二属性信息进行处理，从候选目标对象中筛选出目标对象，得到检测结果，其中，目标算法用于根据第二属性信息从候选目标对象中筛选出满足筛选条件的目标对象。
可选地，查找模块包括：
(1)选取子模块，用于在卷积神经网络包含多个神经网络层的情况下，从多个神经网络层输出的多个特征图像中选取出至少两个特征图像，作为目标特征图像，其中，多个神经网络层中的不同神经网络层输出不同尺度的特征图像；
(2)查找子模块，用于在至少两个特征图像上分别进行查找，得到不同尺度的特征图像上的第二属性信息。
可选地，上述装置还包括：
(1)第二获取单元，用于在使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果之前，获取到训练图像集合，其中，训练图像集合中包括训练图像以及第一数据，第一数据包括第一对象的目标属性的第三属性信息，第一对象为训练图像中包含的预定类型的对象；
(2)训练单元，用于使用训练图像和第一数据对初始网络模型进行训练，得到目标网络模型。
通过本实施例，通过在特征图像上查找候选目标对象，得到候选目标对象的目标属性的属性信息，并使用目标算法对第二属性信息进行处理，从候选目标对象中筛选出目标对象，在特征图像上查找，保证了查找结果的完整性，通过对候选目标对象进行筛选，保证了检测结果的准确性。进一步地，在不同尺度的特征图上去检测目标物，适应了多目标对象的检测过程中目标对象有大有小的情况。
作为一种可选的实施方案，训练单元包括：
(1)获取模块，用于获取第M次训练完成之后第一网络模型的训练结果，其中，第一网络模型为对初始网络模型进行前M-1次训练之后得到的网络模型，M为大于或者等于1的正整数，训练结果包括：第一真实框与第一候选框之间的第一偏移量，第一真实框为第一数据所指示的包含第一对象的第一矩形框，第一候选框为第一网络模型检测出的包含第一对象的第二矩形框；
(2)调整模块，用于使用训练结果，调整第一网络模型的模型参数。
可选地，上述装置还包括：
(1)第三获取单元，用于在使用训练图像和第一数据对初始网络模型进行训练，得到目标网络模型的过程中，获取到测试图像集合，其中，测试图像集合中包括测试图像以及第二数据，第二数据包括第二对象的目标属性的第四属性信息，第二对象为测试图像中包含的预定类型的对象；
(2)测试单元，用于使用测试图像对第二网络模型进行测试，得到测试结果，其中，第二网络模型为对初始网络模型进行N次训练之后得到的网络模型，N为大于或者等于1的正整数，测试结果包括：第二真实框与第二候选框之间的第二偏移量，第二真实框为第二数据所指示的包含第二对象的第三矩形框，第二候选框为第二网络模型检测出的包含第二对象的第四矩形框；在第二偏移量小于或等于目标偏移量的情况下，确定目标网络模型为第二网络模型；
(3)训练单元，还用于在第二偏移量大于目标偏移量的情况下，继续使用训练图像和第一数据对第二网络模型进行训练，得到目标网络模型。
通过本实施例，通过使用训练图像以及训练图像的标签数据对初始网络模型进行训练，得到目标网络模型，保证了目标网络模型检测目标对象的可靠性。进一步地，在进行训练时，网络模型的输出参数为真实框和候选框的偏移，而不是直接输出预测框的位置，提高检测的准确度。进一步地，通过测试图像和测试图像的标签数据对训练过程进行监控，保证了网络模型检测的准确性，同时也可以缩短训练过程(如果训练过程中的中间网络模型的检测效果达到期望，可以结束训练)。
作为一种可选的实施方案，目标对象包括预定类型的游戏元素，目标属性包括对象类型和对象位置，其中，预定类型包括以下至少之一：游戏中的怪物、游戏中的角色元素、血条、任务道具。
通过本实施例，通过将游戏前景物体设定为目标网络模型检测的目标对象，可以减少网络模型规模，在保证检测效果的条件下，提高检测速度，既达到了实时的检测效果，又减少了计算资源。
根据本发明的实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取到目标终端上当前运行的目标游戏的游戏画面；
S2，使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果，其中，目标网络模型用于检测游戏画面中包含的目标对象，目标对象的对象类型为预定类型，检测结果包括：通过目标对象的目标属性的第一属性信息来表示的目标对象；
S3，将游戏画面和检测结果输入到人工智能AI控制模型，得到控制指令，其中，AI控制模型用于根据游戏画面和检测结果，控制目标游戏的运行，控制指令用于控制目标游戏执行目标操作；
S4，使用控制指令，控制目标游戏执行目标操作。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，使用目标网络模型中包含的卷积神经网络对游戏画面进行卷积处理，提取出与游戏画面对应的目标特征图像；
S2，在目标特征图像上进行查找，得到候选目标对象的目标属性的第二属性信息；
S3，使用目标算法对第二属性信息进行处理，从候选目标对象中筛选出目标对象，得到检测结果，其中，目标算法用于根据第二属性信息从候选目标对象中筛选出满足筛选条件的目标对象。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，在卷积神经网络包含多个神经网络层的情况下，从多个神经网络层输出的多个特征图像中选取出至少两个特征图像，作为目标特征图像，其中，多个神经网络层中的不同神经网络层输出不同尺度的特征图像；
S2，在至少两个特征图像上分别进行查找，得到不同尺度的特征图像上的第二属性信息。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，在使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果之前，获取到训练图像集合，其中，训练图像集合中包括训练图像以及第一数据，第一数据包括第一对象的目标属性的第三属性信息，第一对象为训练图像中包含的预定类型的对象；
S2，使用训练图像和第一数据对初始网络模型进行训练，得到目标网络模型。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取第M次训练完成之后第一网络模型的训练结果，其中，第一网络模型为对初始网络模型进行前M-1次训练之后得到的网络模型，M 为大于或者等于1的正整数，训练结果包括：第一真实框与第一候选框之间的第一偏移量，第一真实框为第一数据所指示的包含第一对象的第一矩形框，第一候选框为第一网络模型检测出的包含第一对象的第二矩形框；
S2，使用训练结果，调整第一网络模型的模型参数。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，在使用训练图像和第一数据对初始网络模型进行训练，得到目标网络模型的过程中，获取到测试图像集合，其中，测试图像集合中包括测试图像以及第二数据，第二数据包括第二对象的目标属性的第四属性信息，第二对象为测试图像中包含的预定类型的对象；
S2，使用测试图像对第二网络模型进行测试，得到测试结果，其中，第二网络模型为对初始网络模型进行N次训练之后得到的网络模型，N为大于或者等于1的正整数，测试结果包括：第二真实框与第二候选框之间的第二偏移量，第二真实框为第二数据所指示的包含第二对象的第三矩形框，第二候选框为第二网络模型检测出的包含第二对象的第四矩形框；
S3，在第二偏移量小于或等于目标偏移量的情况下，确定目标网络模型为第二网络模型；
S4，在第二偏移量大于目标偏移量的情况下，继续使用训练图像和第一数据对第二网络模型进行训练，得到目标网络模型。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取器(Random Access Memory，简称为RAM)、磁盘或光盘等。
根据本发明实施例的又一个方面，还提供了一种用于实施上述游戏运行方法的电子装置，如图11所示，该电子装置包括：处理器1102、存储器1104、数据总线1106和传输装置1108等。上述各部件可以通过数据总线1106或者其他用于数据传输的线进行连接。该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取到目标终端上当前运行的目标游戏的游戏画面；
S2，使用目标网络模型对游戏画面进行检测，得到游戏画面的检测结果，其中，目标网络模型用于检测游戏画面中包含的目标对象，目标对象的对象类型为预定类型，检测结果包括：通过目标对象的目标属性的第一属性信息来表示的目标对象；
S3，将游戏画面和检测结果输入到人工智能AI控制模型，得到控制指令，其中，AI控制模型用于根据游戏画面和检测结果，控制目标游戏的运行，控制指令用于控制目标游戏执行目标操作；
S4，使用控制指令，控制目标游戏执行目标操作。
可选地，本领域普通技术人员可以理解，图11所示的结构仅为示意，电子装置也可以是智能设备、智能手机(如Android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，简称为MID)、PAD等终端设备。图11其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图11中所示更多或者更少的组件(如网络接口等)，或者具有与图11所示不同的配置。
其中，存储器1104可用于存储软件程序以及模块，如本发明实施例中的游戏运行方法和装置对应的程序指令/模块，处理器1102通过运行存储在存储器1104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述游戏运行方法。存储器1104可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1104可进一步包括相对于处理器1102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1108用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1108 包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1108为射频(Radio Frequency，简称为RF)模块或蓝牙，其用于通过无线方式与互联网进行通讯。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种游戏运行方法，其特征在于，包括：
获取到目标终端上当前运行的目标游戏的游戏画面；
使用目标网络模型对所述游戏画面进行检测，得到所述游戏画面的检测结果，其中，所述目标网络模型用于检测所述游戏画面中包含的目标对象，所述目标对象的对象类型为预定类型，所述检测结果包括：通过所述目标对象的目标属性的第一属性信息来表示的所述目标对象；
将所述游戏画面和所述检测结果输入到人工智能AI控制模型，得到控制指令，其中，所述AI控制模型用于根据所述游戏画面和所述检测结果，控制所述目标游戏的运行，所述控制指令用于控制所述目标游戏执行目标操作；
使用所述控制指令，控制所述目标游戏执行所述目标操作。
2.根据权利要求1所述的方法，其特征在于，使用目标网络模型对所述游戏画面进行检测，得到所述游戏画面的检测结果包括：
使用所述目标网络模型中包含的卷积神经网络对所述游戏画面进行卷积处理，提取出与所述游戏画面对应的目标特征图像；
在所述目标特征图像上进行查找，得到候选目标对象的目标属性的第二属性信息；
使用目标算法对所述第二属性信息进行处理，从所述候选目标对象中筛选出所述目标对象，得到所述检测结果，其中，所述目标算法用于根据所述第二属性信息从所述候选目标对象中筛选出满足筛选条件的所述目标对象。
3.根据权利要求2所述的方法，其特征在于，在所述目标特征图像上进行查找，得到所述候选目标对象的目标属性的所述第二属性信息包括：
在所述卷积神经网络包含多个神经网络层的情况下，从所述多个神经网络层输出的多个特征图像中选取出至少两个特征图像，作为所述目标特征图像，其中，所述多个神经网络层中的不同神经网络层输出不同尺度的特征图像；
在所述至少两个特征图像上分别进行查找，得到不同尺度的特征图像上的所述第二属性信息。
4.根据权利要求1所述的方法，其特征在于，在使用所述目标网络模型对所述游戏画面进行检测，得到所述游戏画面的所述检测结果之前，所述方法还包括：
获取到训练图像集合，其中，所述训练图像集合中包括训练图像以及第一数据，所述第一数据包括第一对象的目标属性的第三属性信息，所述第一对象为所述训练图像中包含的所述预定类型的对象；
使用所述训练图像和所述第一数据对初始网络模型进行训练，得到所述目标网络模型。
5.根据权利要求4所述的方法，其特征在于，使用所述训练图像和所述第一数据对所述初始网络模型进行训练，得到所述目标网络模型包括：
获取第M次训练完成之后第一网络模型的训练结果，其中，所述第一网络模型为对所述初始网络模型进行前M-1次训练之后得到的网络模型，M为大于或者等于1的正整数，所述训练结果包括：第一真实框与第一候选框之间的第一偏移量，所述第一真实框为所述第一数据所指示的包含所述第一对象的第一矩形框，所述第一候选框为所述第一网络模型检测出的包含所述第一对象的第二矩形框；
使用所述训练结果，调整所述第一网络模型的模型参数。
6.根据权利要求4所述的方法，其特征在于，在使用所述训练图像和所述第一数据对所述初始网络模型进行训练，得到所述目标网络模型的过程中，所述方法还包括：
获取到测试图像集合，其中，所述测试图像集合中包括测试图像以及第二数据，所述第二数据包括第二对象的目标属性的第四属性信息，所述第二对象为所述测试图像中包含的所述预定类型的对象；
使用所述测试图像对第二网络模型进行测试，得到测试结果，其中，所述第二网络模型为对所述初始网络模型进行N次训练之后得到的网络模型，N为大于或者等于1的正整数，所述测试结果包括：第二真实框与第二候选框之间的第二偏移量，所述第二真实框为所述第二数据所指示的包含所述第二对象的第三矩形框，所述第二候选框为所述第二网络模型检测出的包含所述第二对象的第四矩形框；
在所述第二偏移量小于或等于目标偏移量的情况下，确定所述目标网络模型为所述第二网络模型；
在所述第二偏移量大于目标偏移量的情况下，继续使用所述训练图像和所述第一数据对所述第二网络模型进行训练，得到所述目标网络模型。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述目标对象包括所述预定类型的游戏元素，所述目标属性包括对象类型和对象位置，其中，所述预定类型包括以下至少之一：游戏中的怪物、游戏中的角色元素、血条、任务道具。
8.一种游戏运行装置，其特征在于，包括：
第一获取单元，用于获取到目标终端上当前运行的目标游戏的游戏画面；
检测单元，用于使用目标网络模型对所述游戏画面进行检测，得到所述游戏画面的检测结果，其中，所述目标网络模型用于检测所述游戏画面中包含的目标对象，所述目标对象的对象类型为预定类型，所述检测结果包括：通过所述目标对象的目标属性的第一属性信息来表示的所述目标对象；
输入单元，用于将所述游戏画面和所述检测结果输入到人工智能AI控制模型，得到控制指令，其中，所述AI控制模型用于根据所述
游戏画面和所述检测结果，控制所述目标游戏的运行，所述控制指令用于控制所述目标游戏执行目标操作；
控制单元，用于使用所述控制指令，控制所述目标游戏执行所述目标操作。
9.根据权利要求8所述的装置，其特征在于，所述检测单元包括：
提取模块，用于使用所述目标网络模型中包含的卷积神经网络对所述游戏画面进行卷积处理，提取出与所述游戏画面对应的目标特征图像；
查找模块，用于在所述目标特征图像上进行查找，得到候选目标对象的目标属性的第二属性信息；
选取模块，用于使用目标算法对所述第二属性信息进行处理，从所述候选目标对象中筛选出所述目标对象，得到所述检测结果，其中，所述目标算法用于根据所述第二属性信息从所述候选目标对象中筛选出满足筛选条件的所述目标对象。
10.根据权利要求9所述的装置，其特征在于，所述查找模块包括：
选取子模块，用于在所述卷积神经网络包含多个神经网络层的情况下，从所述多个神经网络层输出的多个特征图像中选取出至少两个特征图像，作为所述目标特征图像，其中，所述多个神经网络层中的不同神经网络层输出不同尺度的特征图像；
查找子模块，用于在所述至少两个特征图像上分别进行查找，得到不同尺度的特征图像上的所述第二属性信息。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于在使用所述目标网络模型对所述游戏画面进行检测，得到所述游戏画面的所述检测结果之前，获取到训练图像集合，其中，所述训练图像集合中包括训练图像以及第一数据，所述第一数据包括第一对象的目标属性的第三属性信息，所述第一对象为所述训练图像中包含的所述预定类型的对象；
训练单元，用于使用所述训练图像和所述第一数据对初始网络模型进行训练，得到所述目标网络模型。
12.根据权利要求11所述的装置，其特征在于，所述训练单元包括：
获取模块，用于获取第M次训练完成之后第一网络模型的训练结果，其中，所述第一网络模型为对所述初始网络模型进行前M-1次训练之后得到的网络模型，M为大于或者等于1的正整数，所述训练结果包括：第一真实框与第一候选框之间的第一偏移量，所述第一真实框为所述第一数据所指示的包含所述第一对象的第一矩形框，所述第一候选框为所述第一网络模型检测出的包含所述第一对象的第二矩形框；
调整模块，用于使用所述训练结果，调整所述第一网络模型的模型参数。
13.根据权利要求11所述的装置，其特征在于，所述装置还包括：
第三获取单元，用于在使用所述训练图像和所述第一数据对所述初始网络模型进行训练，得到所述目标网络模型的过程中，获取到测试图像集合，其中，所述测试图像集合中包括测试图像以及第二数据，所述第二数据包括第二对象的目标属性的第四属性信息，所述第二对象为所述测试图像中包含的所述预定类型的对象；
测试单元，用于使用所述测试图像对第二网络模型进行测试，得到测试结果，其中，所述第二网络模型为对所述初始网络模型进行N次训练之后得到的网络模型，N为大于或者等于1的正整数，所述测试结果包括：第二真实框与第二候选框之间的第二偏移量，所述第二真实框为所述第二数据所指示的包含所述第二对象的第三矩形框，所述第二候选框为所述第二网络模型检测出的包含所述第二对象的第四矩形框；在所述第二偏移量小于或等于目标偏移量的情况下，确定所述目标网络模型为所述第二网络模型；
所述训练单元，还用于在所述第二偏移量大于目标偏移量的情况下，继续使用所述训练图像和所述第一数据对所述第二网络模型进行训练，得到所述目标网络模型。
14.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至7任一项中所述的方法。
15.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811419502.2A CN110152290A (zh) | 2018-11-26 | 2018-11-26 | 游戏运行方法和装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811419502.2A CN110152290A (zh) | 2018-11-26 | 2018-11-26 | 游戏运行方法和装置、存储介质及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110152290A true CN110152290A (zh) | 2019-08-23 |
Family
ID=67645127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811419502.2A Pending CN110152290A (zh) | 2018-11-26 | 2018-11-26 | 游戏运行方法和装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110152290A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260039A (zh) * | 2020-05-06 | 2020-06-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于辅助任务学习的视频游戏决策方法 |
| CN111753855A (zh) * | 2020-07-30 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、设备及介质 |
| CN111744187A (zh) * | 2020-08-10 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 一种游戏数据处理方法、装置、计算机及可读存储介质 |
| CN111760276A (zh) * | 2020-07-16 | 2020-10-13 | 腾讯科技（深圳）有限公司 | 游戏行为控制方法、装置、终端、服务器和存储介质 |
| CN111803956A (zh) * | 2020-07-22 | 2020-10-23 | 网易（杭州）网络有限公司 | 游戏外挂行为的确定方法、装置、电子设备及存储介质 |
| CN112492346A (zh) * | 2019-09-12 | 2021-03-12 | 上海哔哩哔哩科技有限公司 | 确定游戏视频中精彩时刻的方法和游戏视频的播放方法 |
| CN112827168A (zh) * | 2021-02-26 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 一种目标跟踪的方法、装置及存储介质 |
| CN113436126A (zh) * | 2021-07-13 | 2021-09-24 | 上海艾为电子技术股份有限公司 | 图像饱和度增强方法和系统、电子设备 |
| CN115193031A (zh) * | 2022-05-07 | 2022-10-18 | 网易（杭州）网络有限公司 | 目标对象的确定方法、装置和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030072640A (ko) * | 2002-03-06 | 2003-09-19 | 주식회사 제타웨이브 | 싸이버클론이 활동하는 게임시스템 및 게임방법 |
| CN108090561A (zh) * | 2017-11-09 | 2018-05-29 | 腾讯科技(成都)有限公司 | 存储介质、电子装置、游戏操作的执行方法和装置 |
| CN108434740A (zh) * | 2018-03-23 | 2018-08-24 | 腾讯科技（深圳）有限公司 | 一种策略信息确定的方法及装置 |
| US20210133518A1 (en) * | 2017-04-07 | 2021-05-06 | Intel Corporation | Joint training of neural networks using multi-scale hard example mining |
-
2018
- 2018-11-26 CN CN201811419502.2A patent/CN110152290A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030072640A (ko) * | 2002-03-06 | 2003-09-19 | 주식회사 제타웨이브 | 싸이버클론이 활동하는 게임시스템 및 게임방법 |
| US20210133518A1 (en) * | 2017-04-07 | 2021-05-06 | Intel Corporation | Joint training of neural networks using multi-scale hard example mining |
| CN108090561A (zh) * | 2017-11-09 | 2018-05-29 | 腾讯科技(成都)有限公司 | 存储介质、电子装置、游戏操作的执行方法和装置 |
| CN108434740A (zh) * | 2018-03-23 | 2018-08-24 | 腾讯科技（深圳）有限公司 | 一种策略信息确定的方法及装置 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112492346A (zh) * | 2019-09-12 | 2021-03-12 | 上海哔哩哔哩科技有限公司 | 确定游戏视频中精彩时刻的方法和游戏视频的播放方法 |
| CN111260039B (zh) * | 2020-05-06 | 2020-08-07 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于辅助任务学习的视频游戏决策方法 |
| CN111260039A (zh) * | 2020-05-06 | 2020-06-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于辅助任务学习的视频游戏决策方法 |
| CN111760276B (zh) * | 2020-07-16 | 2022-06-14 | 腾讯科技（深圳）有限公司 | 游戏行为控制方法、装置、终端、服务器和存储介质 |
| CN111760276A (zh) * | 2020-07-16 | 2020-10-13 | 腾讯科技（深圳）有限公司 | 游戏行为控制方法、装置、终端、服务器和存储介质 |
| CN111803956A (zh) * | 2020-07-22 | 2020-10-23 | 网易（杭州）网络有限公司 | 游戏外挂行为的确定方法、装置、电子设备及存储介质 |
| CN111803956B (zh) * | 2020-07-22 | 2024-02-09 | 网易（杭州）网络有限公司 | 游戏外挂行为的确定方法、装置、电子设备及存储介质 |
| CN111753855B (zh) * | 2020-07-30 | 2021-06-08 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、设备及介质 |
| CN111753855A (zh) * | 2020-07-30 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、设备及介质 |
| CN111744187A (zh) * | 2020-08-10 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 一种游戏数据处理方法、装置、计算机及可读存储介质 |
| CN111744187B (zh) * | 2020-08-10 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 一种游戏数据处理方法、装置、计算机及可读存储介质 |
| CN112827168A (zh) * | 2021-02-26 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 一种目标跟踪的方法、装置及存储介质 |
| CN112827168B (zh) * | 2021-02-26 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 一种目标跟踪的方法、装置及存储介质 |
| CN113436126A (zh) * | 2021-07-13 | 2021-09-24 | 上海艾为电子技术股份有限公司 | 图像饱和度增强方法和系统、电子设备 |
| CN113436126B (zh) * | 2021-07-13 | 2022-06-10 | 上海艾为电子技术股份有限公司 | 图像饱和度增强方法和系统、电子设备 |
| CN115193031A (zh) * | 2022-05-07 | 2022-10-18 | 网易（杭州）网络有限公司 | 目标对象的确定方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110152290A (zh) | 游戏运行方法和装置、存储介质及电子装置 | |
| US12070693B2 (en) | System and method for toy recognition | |
| US10799798B2 (en) | Systems and methods for automatically measuring a video game difficulty | |
| CN108090561B (zh) | 存储介质、电子装置、游戏操作的执行方法和装置 | |
| CN109847366B (zh) | 用于游戏的数据处理方法和装置 | |
| CN110363286A (zh) | 神经网络模型的生成方法及装置 | |
| CN109464807A (zh) | 检测游戏外挂的方法、装置和终端 | |
| CN110489340B (zh) | 一种游戏地图平衡性测试方法、装置、设备及存储介质 | |
| CN110339569B (zh) | 控制游戏场景中虚拟角色的方法及装置 | |
| CN108171266A (zh) | 一种多目标深度卷积生成式对抗网络模型的学习方法 | |
| CN109999496A (zh) | 虚拟对象的控制方法、装置和电子装置 | |
| CN109408384A (zh) | 软件应用的测试方法、装置、处理器及电子装置 | |
| CN106462725A (zh) | 监测游戏场所的活动的系统和方法 | |
| CN110516677A (zh) | 一种神经网络识别模型、目标识别方法及系统 | |
| CN108256404A (zh) | 行人检测方法和装置 | |
| Kunanusont et al. | General video game ai: Learning from screen capture | |
| CN109464808A (zh) | 检测游戏外挂的方法、装置和终端 | |
| CN109815846A (zh) | 图像处理方法、装置、存储介质和电子装置 | |
| CN110251942A (zh) | 控制游戏场景中虚拟角色的方法及装置 | |
| CN110162454A (zh) | 游戏运行方法和装置、存储介质及电子装置 | |
| CN110163201A (zh) | 图像测试方法和装置、存储介质及电子装置 | |
| CN109740567A (zh) | 关键点定位模型训练方法、定位方法、装置及设备 | |
| CN112742029B (zh) | 一种模拟操作的方法、游戏测试的方法以及相关装置 | |
| CN113032268A (zh) | 软件测试方法、装置及存储介质 | |
| CN110598853B (zh) | 一种模型训练的方法、信息处理的方法以及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |