CN110141861A - 控制方法、装置及终端 - Google Patents
控制方法、装置及终端 Download PDFInfo
- Publication number
- CN110141861A CN110141861A CN201910086405.4A CN201910086405A CN110141861A CN 110141861 A CN110141861 A CN 110141861A CN 201910086405 A CN201910086405 A CN 201910086405A CN 110141861 A CN110141861 A CN 110141861A
- Authority
- CN
- China
- Prior art keywords
- location information
- current screen
- screen image
- operation object
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000033001 locomotion Effects 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 21
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010977 unit operation Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种控制方法、装置及终端，其中方法可包括：获取终端的当前屏幕图像；获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息；根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数；在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述目标对象运动。采用本发明实施例，实现了根据终端中屏幕图像的实时变化，有针对性地生成用于控制操作对象运动的控制参数，可提高运动控制的准确性。
Description
技术领域
本发明涉及电子技术领域，尤其涉及一种控制方法、装置及终端。
背景技术
随着信息时代的快速发展，人们的生活越来越趋于智能化，随之应运而生了多种多样的应用程序，比如用于娱乐的游戏应用、用于网上购物的购物应用以及用于线上支付或转账的支付应用等。各个应用程序在运行过程中，可能应用程序中的某些功能需要借助某个对象的精准位移来实现，比如在游戏应用的新手指引功能中，为了向用户展示游戏中的近距离攻击功能，需要准确地控制操作对象由当前位置移动到可攻击位置。
目前常用的实现位移的方法是录制脚本回放法，所述录制脚本回放法是指预先录制并测试好一个可实现位移的脚本，该脚本中包括某个应用程序的所有操作对象和目标对象，当某个应用程序需要实现位移时回放该脚本，以识别当前场景中的操作对象和目标对象所处的位置，进而可控制操作对象移动。但是此种方法中，由于录制的脚本的固定性，脚本回放环境的可变性，可能导致无法识别当前场景图像，进而导致操作对象移动存在偏差。因此，在需要实现精准位移的领域中，如何提高运动控制的准确性成为研究的热点问题。
发明内容
本发明实施例提供一种控制方法、装置及终端，可提高运动控制的准确性。
一方面，本发明实施例提供了一种控制方法，包括：
获取终端的当前屏幕图像；
获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息；
根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数；
在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述目标对象运动。
另一方面，本发明实施例还提供了一种控制装置，包括获取单元和处理单元：
获取单元，用于获取终端的当前屏幕图像；
获取单元，还用于获取当前屏幕图像中操作对象的位置信息和目标对象的位置信息；
处理单元，用于根据操作对象的位置信息和目标对象的位置信息确定操作对象的控制参数；
处理单元，还用于在当前屏幕图像中按照控制参数控制操作对象沿目标对象运动。
可选的，所述获取单元在获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息时，执行如下操作：
调用物体识别模型识别所述当前屏幕图像中的操作对象和目标对象；
获取识别到的所述操作对象的位置信息和所述目标对象的位置信息。
可选的，所述获取单元在获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息时，执行如下操作：
向服务器发送识别请求，所述识别请求中携带所述当前屏幕图像，所述识别请求用于指示所述服务器调用物体识别模型识别所述当前屏幕图像中的操作对象的位置信息和目标对象的位置信息；
接收所述服务器发送的所述操作对象的位置信息和所述目标对象的位置信息。
可选的，所述控制参数包括运动幅度及运动方向；所述处理单元在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述目标对象运动时，执行如下操作：
在所述当前屏幕图像中控制所述操作对象按照所述运动方向，并且以所述运动幅度为步长沿所述目标对象运动。
可选的，所述终端包括第一线程及第二线程，所述获取单元通过所述第一线程获取终端的当前屏幕图像以及获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息；
所述处理单元通过所述第一线程根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数；
所述处理单元通过所述第二线程在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述目标对象运动。
可选的，所述当前屏幕图像包括游戏动画的当前场景图像，所述游戏动画包括动态跟踪对应的游戏动画、所述准星瞄准对应的游戏动画或所述定点位移对应的游戏动画中的任意一种。
可选的，所述处理单元还用于：
当获取单元获取到所述终端的新的屏幕图像时，或者，所述当前屏幕图像中所述操作对象所处的位置满足预设位置条件时，清空所述共享队列中包括的与所述当前屏幕图像相关的控制参数。
可选的，所述处理单元还用于：
调用物体识别模型识别出当前屏幕图像中包括的各个对象，并获取所述各个对象对应的类别；
输出选择操作对象和目标对象的提示信息，所述提示信息用于提示根据所述各个对象对应的类别从所述各个对象中确定操作对象和目标对象；
根据用户响应所述提示信息输入的选择操作，确定所述当前屏幕图像中的操作对象和目标对象。
又一方面，本发明实施例提供了一种终端，包括：处理器、显示设备和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述控制方法。
相应地，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行上述控制方法。
本发明实施例中，在获取到终端的当前屏幕图像时，可以确定出当前屏幕图像中操作对象的位置信息以及与操作对象相关的目标对象的位置信息，并且可以根据操作对象的位置信息和目标对象的位置信息确定出操作对象的控制参数，并以该控制参数控制操作对象在当前屏幕图像中沿目标对象移动，由于控制参数是根据当前屏幕图像中检测到的操作对象的位置信息和目标对象的位置信息生成的，因此，如果当前屏幕图像中操作对象的位置信息和/或目标对象的位置信息发生变化，控制参数也随之改变，实现了根据终端中屏幕图像的实时变化，有针对性地生成用于控制操作对象运动的控制参数，提高了运动控制的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种控制方法的应用场景图；
图2是本发明实施例提供的一种控制方法的流程示意图；
图3是本发明实施例提供的另一种控制方法的流程示意图；
图4a是本发明实施例提供的一种准星瞄准的示意图；
图4b是本发明实施例提供的一种动态跟踪的示意图；
图5是本发明实施例提供的又一种控制方法的示意图；
图6是本发明实施例提供的一种控制装置的结构示意图；
图7是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例在对实现精准位移的研究中发现，录制脚本回放法由于录制的脚本的固定性，以及脚本回放环境的可变性，容易出现脚本回放不成功的情况，这样一来，导致运动控制不准确。针对这一问题，本发明实施例提供了一种控制方法，可以实时获取终端的当前屏幕图像，并基于当前屏幕图像中操作对象的位置信息和目标对象的位置信息生成控制参数，以使得终端基于所述控制参数控制当前屏幕图像中的操作对象运动，实现了有针对性地生成用于控制操作对象运动的控制参数，避免了由于脚本回放不成功而导致操作对象的运动存在偏差的问题，提高了运动控制的准确性。
本发明实施例提供的控制方法可以应用于任何需要实现精准位移的应用中，比如射击类游戏应用、竞技类游戏应用等。参考图1，以应用在第一人称射击类游戏应用中为例，描述本发明实施例提供的控制方法。如图1所示，本发明实施例提供的控制方法可以应用在射击类游戏应用的新手指引中，新手指引是通过终端控制游戏应用运行以展示各种游戏功能，达到指引用户如何进行游戏操作的目的，新手指引功能有助于用户快速的了解并开始游戏。
在图1中，假设初次启动某射击类游戏应用时，终端可在该游戏应用的初始界面中显示新手指引的选项和开启游戏的选项。如果用户在初始界面中输入对新手指引的选项的选择操作，则终端运行与新手指引相对应的游戏画面。应当理解的，射击类游戏中的主要功能是准星瞄准，因此，假设在图1中运行的与新手指引相对应的游戏动画是准星瞄准对应的游戏动画。其中，在射击类游戏中，所述准星瞄准是指控制第一人称操作对象对应的枪上的准星向敌人瞄准，如此以便于执行后续的射击操作。在准星瞄准对应的游戏动画中，假设屏幕下方出现枪的位置是第一人称对象100，左上角处的对象101为第一人称对象的敌人，右上角处的对象102为第一人称对象的队友，第一人称对象100通过与第一人称对象对应的准星103向敌人瞄准。为了准星103准确地瞄准敌人，首先需要准确的识别出敌人101的位置和准星103的位置，然后根据两者的位置信息确定控制参数，以控制参数控制准星103向敌人101瞄准。由上述描述可知，在图1的游戏应用中，终端控制准星103向敌人瞄准101，准星103可以理解为终端或者第一人称对象100的用户可控制的对象，敌人101是与准星103相关的对象，在本发明实施例中，将终端或者第一人称对象的用户可控制的对象称作操作对象，将与操作对象相关的对象称为目标对象。
为了保证第一人称对象对应的准星准确的瞄准敌人，首先需要获取终端的当前屏幕图像，即获取终端中正在运行的准星瞄准对应的游戏画面的当前场景图像；确定出当前屏幕图像中操作对象(在图1中操作对象是指准星103)的位置信息和目标对象(敌人101)的位置信息；进一步的，根据操作对象的位置信息和目标对象的位置信息生成控制参数，以该控制参数在当前屏幕图像中控制操作对象沿目标对象运动。
游戏动画可以看做是由多帧屏幕图像组成的图像集合，当前屏幕图像是指当前帧游戏动画对应的图像，当终端以操作对象对应的控制参数在当前屏幕图像中控制操作对象沿目标对象运动后，终端继续获取游戏动画中新的一帧屏幕图像，并基于操作对象对应的新的控制参数在新的一帧屏幕图像中控制操作对象进行运动。以此类推，基于本发明提供的控制方法可以实现以操作对象在各帧屏幕图像中对应的控制参数，分别控制操作对象在各帧屏幕图像中进行运动。
由上述描述可知，本发明实施例提供的控制方法用于实现精准位移时，可包括如图2所示的各个步骤。参考图2，为本发明实施例提供的一种控制方法的流程示意图，所述控制方法可以由终端执行，具体可由终端的处理器执行。所述终端可包括手机、平板电脑、笔记本以及其他可运行游戏应用的设备中的一种或多种，如图2所述的控制方法可包括以下步骤：
S201、获取终端的当前屏幕图像。
在一个实施例中，终端的当前屏幕图像可以指终端屏幕中当前时刻正在显示的图像或者当前时刻正在运行的动画的画面截图。具体地，如果终端屏幕中当前时刻正在显示静态图像，则终端直接读取该静态图像作为获取到的当前屏幕图像；如果终端屏幕中正在运行动画，则终端可截取当前时刻动画中的画面图像作为获取到的当前屏幕图像。在一个实施例中，如果终端屏幕中正在运行动画，终端可通过截图工具来截取当前时刻动画中的画面图像，例如，假设终端屏幕中正在运行游戏动画，终端可以通过截图工具(minicap或其他)截取当前时刻游戏动画中的画面图像作为当前屏幕图像。
在一个实施例中，获取终端的当前屏幕图像可以是当终端检测到图像获取指令时执行的，其中，图像获取指令可以是服务器按照预设规则向终端发送的，也可以是终端按照所述预设规则自动生成的。其中，所述预设规则可以包括时间规则，服务器按照时间规则向终端发送图像获取指令可以是：服务器根据终端的图像处理能力设定每隔一定时间比如30ms向终端发送图像获取指令。或者，服务器按照时间规则向终端发送图像获取指令也可以是：服务器根据终端中当前运行的画面对实时性要求的高低，向终端设备发送图像获取指令，比如如果终端中当前运行的画面对实时性要求较高，服务器可以以较短的时间间隔向终端发送图像获取指令；如果终端中当前运行的画面对实时性要求较低，服务器可以以稍长的时间间隔向终端设备发送图像获取指令。在其他实施例中，终端也可以按照上述规则自动生成图像获取指令，在此不再赘述。
S202、获取当前屏幕图像中操作对象的位置信息和目标对象的位置信息。
在一个实施例中，操作对象是指当前屏幕图像包括的各个图像元素中可供用户控制的图像元素，目标对象是指当前屏幕图像包括的各个图像元素中与操作对象相关的图像元素。比如，假设当前屏幕图像为图1中所示的射击类游戏动画的当前场景图像，操作对象为当前场景图像中第一人称角色对应的准星，目标对象可以是当前场景图像中第一人称对象的敌人角色，此处的目标对象可以理解为操作对象待瞄准的对象；再如，假设当前屏幕图像为竞技类游戏动画的当前场景图像，比如当前屏幕图像为动态跟踪对应的游戏动画的当前场景图像，动态跟踪是指A对象跟随着B对象的运动而运动，此时操作对象可以为当前场景图像中执行跟踪操作的A对象，目标对象可以是当前场景图像中被跟踪的B对象。
在一个实施例中，操作对象的位置信息能够反映操作对象在当前屏幕图像中所处的位置，目标对象的位置信息能够反映目标对象在当前屏幕图像中所处的位置，操作对象的位置信息可以通过所述操作对象的中心点位置信息表示，目标对象的位置信息同样如此。操作对象的中心点是位于操作对象上的点，随着操作对象的移动而移动，因此，操作对象中心点的位置能够反映出操作对象所在的位置，同理的，目标对象的中心点的位置能够反映出目标对象所在的位置。因此，步骤S202中所述的获取当前屏幕图像中操作对象的位置信息和目标对象的位置信息，实际上是获取操作对象的中心点位置和目标对象的中心点位置。
在一个实施例中，获取操作对象的中心点位置和目标对象的中心点位置的方式可以为：获取到终端的当前屏幕图像之后，识别出当前屏幕图像中包括的操作对象和目标对象；分别确定操作对象和目标对象的中心点在当前屏幕图像中的位置。在一个实施例中，操作对象的中心点和目标对象的中心点均是当前屏幕图像中的像素点，操作对象的中心点位置和目标对象的中心点位置可以用各自的中心点在当前屏幕图像中的像素坐标表示，或者也可以用中心点在当前屏幕图像中的地理坐标表示。
S203、根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数。
在一个实施例中，控制参数是用于控制操作对象运动的参数，控制参数可包括运动幅度和运动方向，运动幅度指每运行一步的基本距离，在本发明实施例中运动幅度是以像素为单位表示，比如运动幅度为3个像素。
由上述描述可知，目标对象是与操作对象相关的对象，控制操作对象运动是指控制操作对象进行与目标对象有关的运动，比如跟踪目标对象、瞄准目标对象等，因此在控制操作对象运动时需要根据操作对象的位置信息和目标对象的位置信息来确定控制参数。在一个实施例中，根据操作对象的位置信息和目标对象的位置信息确定操作对象的控制参数的方式可以为：确定出操作对象的位置信息和目标对象的位置信息之后，可以以操作对象的位置为原点建立一个方向坐标系，确定目标对象相对于操作对象的方向比如北偏东60度，然后根据确定的方向生成控制参数。应当理解的，上述只是本发明实施例列举的一种获取操作对象的位置信息和目标对象的位置信息的方法，对于具体如何获取操作对象的位置信息和目标对象的位置信息，本发明实施例中不做具体限定。
S204、在当前屏幕图像中按照控制参数控制操作对象沿目标对象运动。
在一个实施例中，控制操作对象沿目标对象运动可以指控制操作对象沿目标对象进行移动，或者，控制操作对象沿目标对象运动还可以指控制操作对象瞄准目标对象。例如，对于游戏应用来说，假设当前屏幕图像是动态跟踪对应的游戏动画中的当前场景图像，此时控制操作对象沿目标对象运动是指控制操作对象沿目标对象移动；再如，假设当前屏幕图像是准星瞄准对应的游戏动画的当前场景图像，此时控制操作对象沿目标对象运动是指控制操作对象瞄准目标对象。
在一个实施例中，由上述描述可知，控制参数可包括运动幅度和运动方向，所述在当前屏幕图像中按照控制参数控制操作对象沿目标对象运动的实现方式可以为：在所述当前屏幕图像中控制操作对象按照所述运动方向，并且以所述运动幅度为步长沿目标对象运动。例如，假设运动方向为北偏西30度，运动幅度为3像素，在当前屏幕图像中按照控制参数控制操作对象沿目标对象运动是指控制操作对象以每步前进3像素的幅度沿着北偏西30度方向移动。
本发明实施例中，在获取到终端的当前屏幕图像后，确定出当前屏幕图像中操作对象的位置信息以及与所述操作对象相关的目标对象的位置信息，进一步，可根据操作对象的位置信息和目标对象的位置信息确定出操作对象的控制参数，并以所述控制参数控制操作对象在当前屏幕图像中沿目标对象移动，由于控制参数是根据当前屏幕图像中操作对象的位置信息和目标对象的位置信息生成的，因此，如果当前屏幕图像发生变化，控制参数也随之改变，实现了根据终端的当前屏幕图像的实时变化，有针对性地生成用于控制操作对象运动的控制参数，提高了运动控制的准确性。
请参考图3，为本发明实施例提供的另一种控制方法的流程示意图，图3所示的控制方法可以由终端执行，具体可由终端的处理器执行。图3所述的控制方法可包括以下步骤：
S301、通过第一线程获取终端的当前屏幕图像。
在一个实施例中，图3所示的控制方法可以应用在游戏应用中以实现精准位移，此时当前屏幕图像包括游戏动画的当前场景图像，游戏动画是指终端屏幕中正在运行的游戏应用的某个游戏功能相关的动画，对于大多数游戏应用来说主要包括动态跟踪、准星瞄准和定点位移三个游戏功能中任意一种或多种，因此，所述游戏动画可包括动态跟踪对应的游戏动画、准星瞄准对应的游戏动画以及定点位移对应的游戏动画中的任意一个。
其中，所述准星瞄准一般是指在射击类游戏中，第一人称对象通过操作对象(准星)向目标对象瞄准，所述准星瞄准对应的游戏动画是指包含有准星瞄准的游戏画面，例如，准星瞄准对应的游戏动画可如图4a所示，其中，枪是由第一人称对象控制的，在图4a中用圆点表示第一人称对象对应的准星401，黑色框框出了操作对象的队友402，灰色框框出了敌人403，假设终端识别出在图4a所示的游戏动画中敌人403为目标对象，准星401为操作对象，箭头表示准星401的瞄准方向，扇形区域表示准星401的滑动范围，准星401在扇形区域内沿着瞄准方向向敌人403瞄准，当准星401处于扇形区域的某个能射击到敌人403的位置时，可触发射击操作。
所述动态跟踪是指操作对象跟随着目标对象的移动而移动，所述动态跟踪对应的游戏动画是指包含有动态跟踪的游戏画面，例如，参考图4b为动态跟踪对应的游戏动画，假设获取到图4b中黑色框中的游戏角色表示操作对象404，灰色框中的游戏角色表示目标对象405，箭头表示控制操作对象404移动的方向。在图4b中，终端分别确定出操作对象404和目标对象405的位置信息，并根据两者的位置信息生成控制参数，基于所述控制参数在图4b所示的游戏动画中，控制操作对象404沿着目标对象405的方向跟随着405移动而移动，也即若目标对象405在原地不动，则可控制操作对象404也可保持在原地不动，若目标对象405移动，则可控制操作对象404沿着目标对象405所在的方向进行移动。当操作对象404移动到目标对象405的一定范围内时，可触发操作对象404执行攻击操作。
所述定点位移是指操作对象从一个位置运动到另一位置，例如，在图4b中，假设为了躲避目标对象405的攻击，可以控制操作对象404从A位置移动到B位置，从A移动B的过程称为定点位移。
本发明实施提供的控制方法能够实现实时地获取当前屏幕图像，并获取当前屏幕图像中操作对象的位置信息和目标对象的位置信息，并基于操作对象的位置信息和目标对象的位置信息有针对性的生成控制参数，进而基于控制参数在当前屏幕图像中控制操作对象沿目标对象进行运动。
在一个实施例中，由于终端在基于控制参数控制操作对象沿目标对象进行运动需要一定时间，如果检测到获取新的屏幕图像的时间到达，但是当前基于控制参数在当前屏幕图像中控制操作对象沿目标对象运动的步骤没有执行结束，也就是说，操作对象的位置和目标对象的位置已经发生改变，但动作执行依然是根据上一屏幕图像中操作对象的控制参数来执行，如此会导致操作对象的移动产生偏差，因此，本发明实施中终端可通过两个线程分别执行步骤S301-S303和步骤S304。
具体地，终端包括第一线程和第二线程，所述第一线程用于执行S301-S303的步骤，充当生产者的角色，即获取终端的当前屏幕图像以及获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息，并根据操作对象的位置信息和目标对象的位置信息确定操作对象的控制参数；所述第二线程用于执行S304的步骤，充当消费者的角色，即在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿目标对象运动。应当理解的，通过两个线程分别执行步骤S301-S303和步骤S304，可以保证各个步骤之间互不影响，提高了终端运行效率。
S302、通过第一线程获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息。
当获取到当前屏幕图像之后，为了对操作对象进行运动控制，首先需要确定在当前屏幕图像中操作对象的位置信息以及与操作对象相关的目标对象的位置信息。在一个实施例中，获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息可以是终端基于物体识别模型实现的，也可以是终端接收服务器基于物体识别模型获取到上述位置信息之后发送给终端的。应当理解的，终端通过基于物体识别模型获取操作对象的位置信息和目标对象的位置信息，可以减少终端与服务器之间的交互，节省通信资源。终端接收服务器基于物体识别模型获取到的操作对象的位置信息和目标对象的位置信息，可以节省终端的部分功耗开销。在实际应用中，可以根据实际需求从上述两种获取操作对象的位置信息和目标对象的位置信息的方法中选择合适的方法。
在一个实施例中，终端基于物体识别模型获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息的实施方式可以为：调用物体识别模型识别当前屏幕图像中的操作对象和目标对象；获取识别到的操作对象的位置信息和目标对象的位置信息。再一个实施例中，终端接收服务器发送的操作对象的位置信息和目标对象的位置信息的实施方式可以为：向服务器发送识别请求，所述识别请求中可携带有当前屏幕图像，所述识别请求用于指示服务器调用物体识别模型识别当前屏幕图像中操作对象的位置信息和目标对象的位置信息；接收服务器发送的操作对象的位置信息和目标对象的位置信息。
其中，服务器获取当前屏幕图像中操作对象的位置信息和目标对象的位置信息的方式可以为：接收终端发送的识别请求，并获取识别请求中携带的当前屏幕图像，调用物体识别模型识别当前屏幕图像中的操作对象和目标对象，获取识别到的操作对象的位置信息和目标对象的位置信息。
由上述可知，无论是终端还是服务器，在确定操作对象的位置信息和目标对象的位置信息时都需要调用物体识别模型，调用物体识别模型的目的是为了识别出当前屏幕图像中的操作对象和目标对象。由此可知，所述物体识别模型是用于物体识别检测的模型，所述物体识别模型是基于训练集和深度学习的物体检测识别网络训练得到的。
在一个实施例中，所述基于深度学习的物体检测识别的网络可以分为两种：twostage比如基于卷积神经网络(Region-CNN，R-CNN)和one stage比如(You Only LookOnce，YOLO)，其中，two stage算法在物体检测识别时首先需要生成一个有可能包含待检测物体的预选框，然后对预选框内包含的待检测物体进行特征提取以确定其类别和位置，onestage算法则会直接在网络中提取特征来预测待检测物体的类别和位置，因此，one stage算法相比于two stage算法识别速度较快。在本发明实施例中，为了节省识别时间，可选用one stage算法来训练物体识别模型，经实践证明，one stage算法中的YOLO能够在保证物体检测效果的同时具有最快的检测速度，本发明实施例中可选用YOLO的YOLOV3-tiny网络作为物体检测识别网路。
在确定了用于物体检测识别网络之后，进一步需要获取用于训练物体识别模型的训练集，然后基于物体检测识别网络和训练集训练物体识别模型。其中，所述训练集可包括原始图像集和原始图像集中各个原始图像对应的标签信息，任意一个原始图像对应的标签信息是通过对该图像进行标注后得到的，每个原始图像对应的标签信息包括原始图像中各个对象的类别、所述各个对象的位置以及所述各个对象的标注框的大小等。
在一个实施例中，可以调用标注软件对原始图像集中各个原始图像进行标注，具体地，启动标注软件并在标注软件的用户界面上依次显示原始图像集中的各个原始图像，以便于用户对各个原始图像进行标注；然后根据用户对各个原始图像的标注生成每个原始图像对应的标签信息，所述标签信息可包括该原始图像中包括的各个对象的标注框的大小、各个对象的类别以及各个对象的位置信息。其中，各个对象的标注框的大小可以等于相应对象的大小，也可以大于相应对象的大小，总而言之，各个对象的标注框的要保证将相应对象完整的包括在框内。为各个对象添加标注框是为了在调用训练成功的物体识别模型识别物体时，保证完整的识别到物体的每一部分。例如，假设各个对象中的任意一个对象为敌人，如果其对应的标注框内只包括了敌人的腿部，则当调用训练成功后的物体识别模式进行物体识别时，只能识别出敌人腿部，这样一来，不利于操作对象对敌人进行射击等操作。
所述各个对象的类别是指某个对象在其对应的原始图像中的角色或者名称。比如，假设原始图像为图4b，对象404的类别可以标注为亚瑟，对象405的类别可标注为蒙奇；再如，假设原始图像为图4a，对象401的类别可以标注为准星，对象402的类别可以标注为队友，对象403的类别可以标注为敌人。此外，每个类别可以包括一个或多个对象，例如在图4a中，敌人类别中包括了4030和4031两个对象。
应当理解的，在基于物体检测识别网络开始训练物体识别模型时，在对每一张原始图像进行识别训练过程中，需要读取该原始图像对应的标签信息以根据标签信息不断练习识别直至识别结果与标签信息相同或相似度满足相似度阈值，因此，为了方便物体识别模型的训练和保证物体识别模型训练的准确性，各个原始图像对应的标签信息和原始图像集需要放置在同一个文件夹中。
在确定了物体检测识别网络，并获取到训练集之后，进一步的可基于物体检测识别网络和训练集进行物体识别模型的训练，具体地，首先设置YOLOV3-tiny网络的网络参数和配置项，例如，将YOLOV3-tiny网络中用于训练的训练参数设置为开启状态，用于验证的参数设置为关闭状态，设置学习率为0.001，迭代次数为50000次；然后基于设置的网络参数和配置项在深度学习框架darknet下开始训练，在训练过程中如果训练参数中损失函数小于预设值或者训练次数达到最大迭代次数则停止训练。
在一个实施例中，物体识别模型训练结束后，为了验证训练好的物体识别的识别效果和普适性，可以基于测试集和测试集中各个测试图像对应的标签信息对训练好的物体识别模型进行测试，如果测试通过，则确定物体识别模型训练成功，可以用来进行物体识别了；如果测试未通过，则确定物体识别模型训练未成功，需要重新训练直到测试通过为止。
在物体识别模式测试通过后，终端或服务器便可以调用所述物体识别模型获取当前屏幕图像中的操作对象的位置信息和目标对象的位置信息。其中，由上述描述可知，所述终端或服务器调用物体识别模型获取当前屏幕图像中的操作对象的位置信息和目标对象的位置信息的实现方式是：调用物体识别模式识别出当前屏幕图像中的操作对象和目标对象，然后获取所述操作对象的位置信息和所述目标对象的位置信息。其中，终端或服务器调用物体识别模式识别出当前屏幕图像中的操作对象和目标对象的实施方式相似，下面以终端为例，介绍如何调用物体识别模式识别当前屏幕图像中的操作对象和目标对象。
在一个实施例中，所述调用物体识别模式识别出当前屏幕图像中的操作对象和目标对象的具体实施方式可以为：调用物体识别模型识别出当前屏幕图像中包括的各个对象，并获取所述各个对象对应的类别；输出选择操作对象和目标对象的提示信息，所述提示信息用于提示根据所述各个对象对应的类别从所述各个对象中确定操作对象和目标对象；根据用户响应所述提示信息输入的选择操作，确定所述当前屏幕图像中的操作对象和目标对象。终端利用上述验证通过的物体识别模型可以识别出当前屏幕图像中包括的各个对象以及各个对象对应的类别，然后终端输出选择操作对象和目标对象的提示信息，所述提示信息中可包括各个对象对应的类别，所述提示信息用于提示用户从各个对象中选择出操作对象和目标对象。用户在查看到提示信息后，可以选择哪个类别对应的对象为操作对象，哪个或哪几个类别对应的对象为目标对象。
例如，假设当前屏幕图像如图4a所示，终端调用物体识别模型识别出图4a中包括的各个对象分别为401、402以及403，并获取到401对应的类别为准星，402对应的类别为队友，403对应的类别为敌人。终端输出选择操作对象和目标对象的提示信息，假设用户响应提示信息输入的选择操作是：选择准星为操作对象、选择敌人为目标对象，终端根据用户的选择操作可确定在图4a中准星401为操作对象，敌人403为目标对象。
再如，假设当前屏幕图像如图4b所示，终端调用物体识别模型识别出图4b中包括的各个对象分别为404和405，并获取到404对应的类别为亚瑟，405对应的类别为蒙奇。终端输出选择操作对象和目标对象的提示信息，假设用户响应所述提示信息输入的选择操作是：选择亚瑟为操作对象，选择蒙奇为目标对象，终端根据用户的选择操作可确定在图4b中亚瑟为操作对象，蒙奇为目标对象。
S303、通过第一线程根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数。
S304、通过第二线程在所述当前屏幕图像中控制操作对象按照所述运动方向，并且以所述运动幅度为步长沿所述目标对象运动。
在一个实施例中，由于终端在执行步骤S304时要使用步骤S303中生成的控制参数，又因为步骤S304和步骤S301-S303是在不同线程中执行的，为了保证步骤S304能够获取到运动控制所需要的控制参数，所述终端将步骤S303中生成的控制参数按序上传到第一线程与第二线程的共享队列中，以便于在S304终端通过第二线程从所述共享队列中按序读取控制参数以执行在当前屏幕图像中对操作对象进行运动控制的步骤。
本发明实施例通过第一线程、第二线程和共享队列进行运动控制的示意图如图5所示。在图5中，终端通过第一线程获取到当前屏幕图像后，通过第一线程向服务器发送携带有当前屏幕图像的识别请求，服务器接收到识别请求后，调用物体识别模型获取当前屏幕图像中的操作对象的位置信息和目标对象的位置信息，并向终端发送当前屏幕图像中的操作对象的位置信息和目标对象的位置信息。终端通过第一线程根据接收到的操作对象的位置信息和目标对象的位置信息后，根据所述位置信息生成控制参数，并通过第一线程将控制参数上传至共享对队列中。其中，所述控制参数可以是方向向量，或者是其他形式的参数。进一步的，终端通过第二线程从共享队列中获取控制参数，并基于控制参数在当前屏幕图像中控制操作对象沿目标对象运动。
在一个实施例中，为了高效准确的实现运动控制，共享队列中的控制参数存取需要遵循先进先出的原则，所述先进先出是指将先存储的控制参数，先提供给第二线程。举例来说，假设共享队列中按照顺序依次存储了第一控制参数、第二控制参数和第三控制参数，共享队列将存储的各个控制参数提供给第二线程的顺序依次是第一控制参数、第二控制参数和第三控制参数。
在一个实施例中，在某些对实时性要求较高的场景中，可能会出现当新的屏幕图像到来时，针对当前屏幕图像的运动控制还没有执行完，也就是说，终端通过第一线程已经获取到了新的屏幕图像，并生成了新的屏幕图像中操作对象对应的控制参数，此时如果终端继续通过第二线程按照当前屏幕图像得到的操作对象的控制参数将操作对象的运动控制执行完，会造成操作对象在屏幕中的混乱移动，影响用户的使用体验。例如，在射击类游戏应用运行准星瞄准功能中，由于准星瞄准功能对实时性要求较高，当通过第一线程获取到新的屏幕图像时，通过第二线程针对当前屏幕图像的运动控制还没有执行完，这就造成了在当前屏幕图像中操作对象也即准星在目标对象周围来回振荡滑动，不能瞄准目标对象。
因此，为了满足实时性的需求，避免操作对象的混乱移动，在执行针对当前屏幕图像的运动控制过程中需要一些截断操作，具体地，以射击类游戏应用的准星瞄准场景为例，当获取到终端的新的屏幕图像，或者当屏幕图像中所述操作对象所处的位置满足预设位置条件时，清空共享队列中包括的与当前屏幕图像相关的控制参数，以使得终端停止在当前屏幕图像中对操作对象进行运动控制的步骤，开启在新的屏幕图像中对操作对象进行运动控制的步骤。其中，所述操作对象所处的位置满足预设位置条件是指所述操作对象所处的位置在预设位置范围内，所述预设位置范围中的任一位置都能满足：当所述操作对象处于该位置时能够射击到所述目标对象。
本发明实施例中，在通过第一线程获取到终端的当前屏幕图像后，再通过第一线程确定出当前屏幕图像中操作对象的位置信息和与操作对象相关的目标对象的位置信息，并且可根据操作对象的位置信息和目标对象的位置信息确定出操作对象的控制参数，进一步的，通过第二线程以该控制参数控制操作对象在当前屏幕图像中沿目标对象移动，由于控制参数是根据当前屏幕图像中操作对象的位置信息和目标对象的位置信息生成的，因此，如果当前屏幕图像发生变化，控制参数也随之改变，实现了根据终端的当前屏幕图像的实时变化，有针对性地生成用于控制操作对象运动的控制参数，提高了运动控制的准确性。另外，本发明实施例中由于控制参数生成的操作和基于所述控制参数控制操作对象运动的操作是通过两个线程执行的，保证了各个操作之间互不影响，提高了终端运行效率。
基于上述方法实施例的描述，本发明实施例还提供了一种如图6所示的控制装置的结构示意图。如图6所示，本发明实施例中的控制装置可包括获取单元601和处理单元602，图6所述的控制装置可以配置于终端内。
在一个实施例中，所述获取单元601用于获取终端的当前屏幕图像；所述获取单元601还用于获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息；所述处理单元602用于根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数；所述处理单元602还用于在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述目标对象运动。
在一个实施例中，所述获取单元601在用于获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息时，执行如下操作：调用物体识别模型识别所述当前屏幕图像中的操作对象和目标对象；获取识别到的所述操作对象的位置信息和所述目标对象的位置信息。
在一个实施例中，所述获取单元601在用于获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息时，执行如下操作：向服务器发送识别请求，所述识别请求中携带所述当前屏幕图像，所述识别请求用于指示所述服务器调用物体识别模型识别所述当前屏幕图像中的操作对象的位置信息和目标对象的位置信息；接收所述服务器发送的所述操作对象的位置信息和所述目标对象的位置信息。
在一个实施例中，所述控制参数包括运动幅度及运动方向；所述处理单元602在用于在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述对象运动时，执行如下操作：在所述当前屏幕图像中控制操作对象按照所述运动方向，并且以所述运动幅度为步长沿所述目标对象运动。
在一个实施例中，所述终端包括第一线程及第二线程；所述获取单元601用于通过第一线程获取终端的当前屏幕图像以及获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息，所述处理单元602通过第一线程根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数；所述处理单元602通过所述第二线程在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述目标对象运动。
在一个实施例中，所述终端还包括共享队列，所述共享队列用于接收所述第一线程上传的控制参数，并按序存储所述控制参数；且用于按序为所述第二线程提供所述控制参数。
在一个实施例中，所述当前屏幕图像包括游戏动画的当前场景图像，所述游戏动画包括动态跟踪对应的游戏动画、准星瞄准对应的游戏动画或定点位移对应的游戏动画中任意一种。
在一个实施例中，所述处理单元602还用于：当所述获取单元601获取到所述终端的新的屏幕图像时，或者所述当前屏幕图像中所述操作对象所处的位置满足预设位置条件时，清空所述共享队列中包括的与所述当前屏幕图像相关的控制参数。
在一个实施例中，所述物体识别模型是基于训练集和深度学习的物体检测识别网络训练得到的，所述训练集包括原始图像集和所述原始图像集中各个原始图像对应的标签信息，每个原始图像对应的标签信息包括原始图像中包括的各个对象的位置、所述各个对象的类别以及所述各个对象的标注框的大小。
在一个实施例中，所述处理单元602还用于：调用物体识别模型识别出所述当前屏幕图像中包括的各个对象，并获取所述各个对象对应的类别；输出选择操作对象和目标对象的提示信息，所述提示信息用于提示根据所述各个对象对应的类别从所述各个对象中确定操作对象和目标对象；根据用户响应所述提示信息输入的选择操作，确定所述当前屏幕图像中的操作对象和目标对象。
本发明实施例中获取单元601获取到终端的当前屏幕图像后，还可以确定出所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息，处理单元602可以根据操作对象的位置信息和目标对象的位置信息确定出操作对象的控制参数，进一步的，处理单元602还用于以控制参数控制操作对象在当前屏幕图像中沿目标对象移动，由于控制参数是根据当前屏幕图像中检测到的操作对象的位置信息和目标对象的位置信息生成的，因此，如果当前屏幕图像中操作对象的位置信息和/或目标对象的位置信息发生变化，控制参数也随之改变，实现了根据终端中屏幕图像的实时变化，有针对性地生成用于控制操作对象运动的控制参数，提高了运动控制的准确性。
请参见图7，为本发明实施例提供的一种终端的结构示意图，如图7所示的终端可包括：一个或多个处理器701、一个或多个存储器702和显示设备703，所述处理器701、存储器702和所述显示设备703通过总线704相连，存储器702用于存储计算机程序，所述计算机程序包括程序指令，处理器701用于执行所述存储器702存储的程序指令。
所述显示设备703可包括显示屏，用于显示终端中运行的当前屏幕图像。
所述存储器702可以包括易失性存储器(volatile memory)，如随机存取存储器(random-access memory，RAM)；存储器702也可以包括非易失性存储器(non-volatilememory)，如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储器702还可以包括上述种类的存储器的组合。
所述处理器701可以是中央处理器(Central Processing Unit，CPU)。所述处理器701还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。所述处理器701也可以为上述结构的组合。
本发明实施例中，所述存储器702用于存储计算机程序，所述计算机程序包括程序指令，所述处理器701用于执行存储器702存储的程序指令，用来实现上述控制方法实施例中的相应方法的步骤。
在一个实施例中，所述处理器701被配置调用所述程序指令用于：获取终端的当前屏幕图像；获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息；根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数；
在一个实施例中，所述处理器701在用于获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息时，执行如下操作：调用物体识别模型识别所述当前屏幕图像中的操作对象和目标对象；获取识别到的所述操作对象的位置信息和所述目标对象的位置信息。
在一个实施例中，所述处理器701在用于获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息时，执行如下操作：向服务器发送识别请求，所述识别请求中携带所述当前屏幕图像，所述识别请求用于指示所述服务器调用物体识别模型识别所述当前屏幕图像中的操作对象的位置信息和目标对象的位置信息；接收所述服务器发送的所述操作对象的位置信息和所述目标对象的位置信息。
在一个实施例中，所述控制参数包括运动幅度及运动方向；所述处理器701在用于在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述对象运动时，执行如下操作：在所述当前屏幕图像中控制操作对象按照所述运动方向，并且以所述运动幅度为步长沿所述目标对象运动。
在一个实施例中，终端包括第一线程及第二线程；所述处理器701通过所述第一线程执行：获取终端的当前屏幕图像以及获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息，并根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数；所述处理器701通过所述第二线程在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述目标对象运动。
在一个实施例中，所述终端还包括共享队列，所述共享队列用于接收所述处理器701通过第一线程上传的控制参数，并按序存储所述控制参数；且用于按序为所述第二线程提供所述控制参数。
在一个实施例中，所述当前屏幕图像包括游戏动画的当前场景图像，所述游戏动画包括动态跟踪对应的游戏动画、所述准星瞄准对应的游戏动画或所述定点位移对应的游戏动画中任意一种。
在一个实施例中，所述处理器701被配置调用所述程序指令时还用于：当获取到所述终端的新的屏幕图像时，或者，所述当前屏幕图像中所述操作对象所处的位置满足预设位置条件时，清空所述共享队列中包括的与所述当前屏幕图像相关的控制参数。
在一个实施例中，所述物体识别模型是基于训练集和深度学习的物体检测识别网络训练得到的，所述训练集包括原始图像集和所述原始图像集中各个原始图像对应的标签信息，每个原始图像对应的标签信息包括原始图像中包括的各个对象的位置、所述各个对象的类别以及所述各个对象的标注框的大小。
在一个实施例中，所述处理器701被配置调用所述程序指令时还用于：调用物体识别模型识别出所述当前屏幕图像中包括的各个对象，并获取所述各个对象对应的类别；输出选择操作对象和目标对象的提示信息，所述提示信息用于提示根据所述各个对象对应的类别从所述各个对象中确定操作对象和目标对象；根据用户响应所述提示信息输入的选择操作，确定所述当前屏幕图像中的操作对象和目标对象。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (13)
1.一种控制方法，其特征在于，包括：
获取终端的当前屏幕图像；
获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息；
根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数；
在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述目标对象运动。
2.如权利要求1所述的方法，其特征在于，所述获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息，包括：
调用物体识别模型识别所述当前屏幕图像中的操作对象和目标对象；
获取识别到的所述操作对象的位置信息和所述目标对象的位置信息。
3.如权利要求1所述的方法，其特征在于，所述获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息，包括：
向服务器发送识别请求，所述识别请求中携带所述当前屏幕图像，所述识别请求用于指示所述服务器调用物体识别模型识别所述当前屏幕图像中的操作对象的位置信息和目标对象的位置信息；
接收所述服务器发送的所述操作对象的位置信息和所述目标对象的位置信息。
4.如权利要求1所述的方法，其特征在于，所述控制参数包括运动幅度及运动方向；所述在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述目标对象运动，包括：
在所述当前屏幕图像中控制所述操作对象按照所述运动方向，并且以所述运动幅度为步长沿所述目标对象运动。
5.如权利要求1所述的方法，其特征在于，所述终端包括第一线程及第二线程；
所述第一线程用于执行获取终端的当前屏幕图像以及获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息，并根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数的步骤；
所述第二线程用于执行在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述目标对象运动的步骤。
6.如权利要求5所述的方法，其特征在于，所述终端还包括共享队列，所述共享队列用于接收所述第一线程上传的控制参数，并按序存储所述控制参数；且用于按序为所述第二线程提供所述控制参数。
7.如权利要求1-6任一项所述的方法，其特征在于，所述当前屏幕图像包括游戏动画的当前场景图像，所述游戏动画包括动态跟踪对应的游戏动画、所述准星瞄准对应的游戏动画或所述定点位移对应的游戏动画中的任意一种。
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
当获取到所述终端的新的屏幕图像时，或者，所述当前屏幕图像中所述操作对象所处的位置满足预设位置条件时，清空所述共享队列中包括的与所述当前屏幕图像相关的控制参数。
9.如权利要求2或3所述的方法，其特征在于，所述物体识别模型是基于训练集和深度学习的物体检测识别网络训练得到的，所述训练集包括原始图像集和所述原始图像集中各个原始图像对应的标签信息，每个原始图像对应的标签信息包括原始图像中包括的各个对象的位置、所述各个对象的类别以及所述各个对象的标注框的大小。
10.如权利要求9所述的方法，其特征在于，所述方法还包括：
调用所述物体识别模型识别出所述当前屏幕图像中包括的各个对象，并获取所述各个对象对应的类别；
输出选择操作对象和目标对象的提示信息，所述提示信息用于提示根据所述各个对象对应的类别从所述各个对象中确定操作对象和目标对象；
根据用户响应所述提示信息输入的选择操作，确定所述当前屏幕图像中的操作对象和目标对象。
11.一种控制装置，其特征在于，包括：
获取单元，用于获取终端的当前屏幕图像；
所述获取单元，还用于获取所述当前屏幕图像中操作对象的位置信息和目标对象的位置信息；
处理单元，用于根据所述操作对象的位置信息和所述目标对象的位置信息确定所述操作对象的控制参数；
所述处理单元，还用于在所述当前屏幕图像中按照所述控制参数控制所述操作对象沿所述目标对象运动。
12.一种终端，其特征在于，包括处理器、显示设备和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-10任一项所述的控制方法。
13.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如权利要求1-10任一项所述的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910086405.4A CN110141861B (zh) | 2019-01-29 | 2019-01-29 | 控制方法、装置及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910086405.4A CN110141861B (zh) | 2019-01-29 | 2019-01-29 | 控制方法、装置及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110141861A true CN110141861A (zh) | 2019-08-20 |
| CN110141861B CN110141861B (zh) | 2023-10-24 |
Family
ID=67589575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910086405.4A Active CN110141861B (zh) | 2019-01-29 | 2019-01-29 | 控制方法、装置及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110141861B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111744187A (zh) * | 2020-08-10 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 一种游戏数据处理方法、装置、计算机及可读存储介质 |
| CN113209622A (zh) * | 2021-05-28 | 2021-08-06 | 北京字节跳动网络技术有限公司 | 动作的确定方法、装置、可读介质和电子设备 |
| CN113840091A (zh) * | 2021-10-29 | 2021-12-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040046787A1 (en) * | 2001-06-01 | 2004-03-11 | Attachmate Corporation | System and method for screen connector design, configuration, and runtime access |
| CN108090561A (zh) * | 2017-11-09 | 2018-05-29 | 腾讯科技(成都)有限公司 | 存储介质、电子装置、游戏操作的执行方法和装置 |
-
2019
- 2019-01-29 CN CN201910086405.4A patent/CN110141861B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040046787A1 (en) * | 2001-06-01 | 2004-03-11 | Attachmate Corporation | System and method for screen connector design, configuration, and runtime access |
| CN108090561A (zh) * | 2017-11-09 | 2018-05-29 | 腾讯科技(成都)有限公司 | 存储介质、电子装置、游戏操作的执行方法和装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111744187A (zh) * | 2020-08-10 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 一种游戏数据处理方法、装置、计算机及可读存储介质 |
| CN111744187B (zh) * | 2020-08-10 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 一种游戏数据处理方法、装置、计算机及可读存储介质 |
| CN113209622A (zh) * | 2021-05-28 | 2021-08-06 | 北京字节跳动网络技术有限公司 | 动作的确定方法、装置、可读介质和电子设备 |
| CN113840091A (zh) * | 2021-10-29 | 2021-12-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110141861B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330917B (zh) | 移动目标的跟踪拍摄方法和跟踪设备 | |
| CN108197589B (zh) | 动态人体姿态的语义理解方法、装置、设备和存储介质 | |
| CN110141861A (zh) | 控制方法、装置及终端 | |
| CN104854539B (zh) | 一种对象搜索方法及装置 | |
| WO2016165615A1 (zh) | 一种即时视频中的表情特效动画加载方法和电子设备 | |
| CN107526443A (zh) | 一种增强现实方法、装置、系统、电子设备及存储介质 | |
| CN103501287B (zh) | 一种游戏运行中确定动作命中对象的方法和设备 | |
| KR20180013984A (ko) | 가상 타깃과의 상호작용을 제어하는 방법, 단말기, 및 저장 매체 | |
| CN107911338B (zh) | 一种数据验证方法、相关设备和系统 | |
| CN106294166A (zh) | 一种游戏数据监控方法和装置 | |
| KR20170097638A (ko) | 주의 중심점을 기반으로 한 가이드식 지문등록 | |
| CN106331178B (zh) | 一种信息共享方法及移动终端 | |
| CN109445465A (zh) | 基于无人机的追踪方法、系统、无人机及终端 | |
| US20210260478A1 (en) | Object control method and apparatus, storage medium, and electronic apparatus | |
| CN108744516A (zh) | 获取定位信息的方法和装置、存储介质及电子装置 | |
| CN109618236A (zh) | 视频评论处理方法和装置 | |
| CN109858230A (zh) | 滑块验证方法、装置、计算机设备及存储介质 | |
| CN109145809A (zh) | 一种记谱处理方法和装置以及计算机可读存储介质 | |
| US11058948B1 (en) | Predictive modeling for multiplayer gaming | |
| CN114972958B (zh) | 关键点检测方法、神经网络的训练方法、装置和设备 | |
| CN110162454A (zh) | 游戏运行方法和装置、存储介质及电子装置 | |
| CN109145783A (zh) | 用于生成信息的方法和装置 | |
| CN103520922B (zh) | 一种通过移动互联网进行游戏控制的方法、系统及装置 | |
| CN111291668A (zh) | 活体检测方法、装置、电子设备及可读存储介质 | |
| CN107645555A (zh) | 一种推荐方法、服务器及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |