CN112827168A - 一种目标跟踪的方法、装置及存储介质 - Google Patents

一种目标跟踪的方法、装置及存储介质 Download PDF

Info

Publication number
CN112827168A
CN112827168A CN202110218472.4A CN202110218472A CN112827168A CN 112827168 A CN112827168 A CN 112827168A CN 202110218472 A CN202110218472 A CN 202110218472A CN 112827168 A CN112827168 A CN 112827168A
Authority
CN
China
Prior art keywords
game image
candidate
frame
target
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110218472.4A
Other languages
English (en)
Other versions
CN112827168B (zh
Inventor
廖彩明
徐东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110218472.4A priority Critical patent/CN112827168B/zh
Publication of CN112827168A publication Critical patent/CN112827168A/zh
Application granted granted Critical
Publication of CN112827168B publication Critical patent/CN112827168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8076—Shooting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于人工智能领域的目标跟踪方法、装置及存储介质。包括：获取待识别游戏图像以及历史游戏图像，其中，待识别游戏图像为历史游戏图像相邻的下一帧图像。若待识别游戏图像以及历史游戏图像之间满足帧差变化条件，则从待识别游戏图像中获取至少两个候选框。获取至少两个候选框中每个候选框所对应的空间特征，其中，空间特征包括候选框在待识别游戏图像中的位置信息以及候选框所对应的色差图；将每个候选框所对应的空间特征输入至分类器，通过分类器输出所述每个候选框所对应的概率分值；根据每个候选框所对应的概率分值，从至少两个候选框中确定目标框；其中，目标框的概率分值为所述至少两个候选框对应的概率分值中的最大值。

Description

一种目标跟踪的方法、装置及存储介质
技术领域
本申请涉及计算机视觉领域，尤其涉及一种目标跟踪的方法、装置及存储介质。
背景技术
第一人称射击游戏(first-person shooting game，FPS)是一种以玩家为主观视角来进行的射击游戏；玩家不需要操纵屏幕中的虚拟人物来进行操作，而是身临其境的体验游戏；由于FPS能带给玩家极大的视觉冲击，能大大增强游戏的主动性和真实感，因此得到迅速发展，深受用户喜爱。
现有的，当用户玩FPS游戏时，需要先识别射击目标在游戏画面上的位置，然后针对该位置发送相关操作指令，以达到对射击目标的射击目的；而在某些场景下，用户需要游戏系统自动追踪某一射击目标，并且完成对该目标的自动射击，因此，游戏系统需要拥有自动追踪和识别某些射击目标的能力。
现有的一些目标追踪的模型，例如卡尔漫滤波算法，由于卡尔漫滤波是根据轮廓特征来识别目标的，当射击目标被遮挡或者射击目标发生形变时，无法识别射击目标，所以不能应用于游戏中；因此，游戏系统如何获取更精准的跟踪识别算法，成为亟需解决的问题。
发明内容
本申请实施例提供了一种目标跟踪的方法、装置及存储介质，可以根据待识别游戏图像和历史游戏图像的侦差变化，来确定待识别游戏图像中的多个候选框，再根据多个候选框中的空间特征来识别包含有目标对象的候选框，最终完成对目标对象的识别跟踪，通过空间特征进行识别跟踪可以提高目标对象的识别准确度，从而更精准的预测目标对象所在的位置。
有鉴于此，本申请一方面提供一种目标跟踪的方法，包括：
获取待识别游戏图像以及历史游戏图像，其中，待识别游戏图像为历史游戏图像相邻的下一帧图像；
若待识别游戏图像以及历史游戏图像之间满足帧差变化条件，则从待识别游戏图像中获取至少两个候选框；
获取至少两个候选框中每个候选框所对应的空间特征，其中，空间特征包括候选框在待识别游戏图像中的位置信息以及候选框所对应的色差图；
根据每个候选框所对应的空间特征，从所述至少两个候选框中确定目标框。
本申请另一方面提供一种目标跟踪的方法，包括：
根据待跟踪的目标对象，获取关于目标对象的待识别游戏图像和历史游戏图像；其中，待识别游戏图像为历史游戏图像相邻的下一帧图像；
根据待识别游戏图像和历史游戏图像之间的帧差变化，从待识别游戏图像中获取至少两个候选框；
根据至少两个候选框中每个候选框所对应的空间特征，从至少两个候选框中确定目标框；
根据目标框对应的位置信息确定为目标对象的位置信息；
根据目标对象的位置信息向终端发送操作指令；操作指令用于指示终端对跟踪对象执行相关操作。
本申请另一方面提供了一种目标跟踪装置，目标跟踪装置包括：
获取单元，用于获取待识别游戏图像以及历史游戏图像，其中，待识别游戏图像为历史游戏图像相邻的下一帧图像；
确定单元，用于若待识别游戏图像以及历史游戏图像之间满足帧差变化条件，则从待识别游戏图像中获取至少两个候选框；
获取单元，还用于获取至少两个候选框中每个候选框所对应的空间特征，其中，空间特征包括候选框在待识别游戏图像中的位置信息以及候选框所对应的色差图；
所述确定单元，用于根据每个候选框所对应的空间特征，从所述至少两个候选框中确定目标框。
在一个可能的设计中，目标跟踪装置还包括处理单元，用于将每个候选框所对应的空间特征输入至分类器，通过分类器输出所述每个候选框所对应的概率分值；
确定单元，还用于根据所述每个候选框所对应的概率分值，从至少两个候选框中确定目标框；其中，目标框的概率分值为至少两个候选框对应的概率分值中的最大值。
在一种可能的设计中，确定单元，具体用于确定历史游戏图像中跟踪目标的像素点个数；根据跟踪目标的像素点个数确定至少两个候选框的范围大小；根据至少两个候选框的范围大小，确定候选框在待识别游戏图像中的位置信息；其中，每个候选框包括的像素点个数和历史游戏图像中跟踪对象的像素点个数相同。
在一种可能的设计中，获取单元，具体用于利用第一卷积算子对待识别游戏图像进行卷积特征提取，得到待识别游戏图像的卷积特征；对待识别游戏图像的卷积特征进行池化处理，得到待识别游戏图像的池化特征；根据至少两个候选框的位置信息，确定通用池化特征中的目标池化特征；根据目标池化特征确定至少两个候选框中每个候选框所对应的色差图。
在一种可能的设计中，获取单元，具体用于利用跟踪目标对应的第二卷积算子对目标池化特征进行卷积特征提取，得到至少两个候选框中每个候选框所对应的第二卷积特征；利用第三卷积算子对每个候选框所对应的第二卷积特征进行重构处理，得到每个候选框对应的色差图。
在一种可能的设计中，获取单元，还用于从色差图中获取多个候选特征，并分别确定每个候选特征的权重值；
处理单元，具体用于将每个候选特征的权重值输入至分类器，通过分类器获取每个候选框对应的概率分值。
在一种可能的设计中，确定单元，还用于若目标框对应的概率分值大于预设阈值，则根据目标框对应的位置信息确定跟踪目标在待识别游戏图像中的位置。
在一种的可能的设计中，获取单元，还用于获取待训练游戏图像中正样本；正样本为跟踪对象在待训练游戏图像中所在的候选框；根据正样本对应的空间特征集合和历史游戏图像中正样本的空间特征集合，确定第一损失值；
处理单元，还用于根据第一损失值，对待训练分类器的运算参数进行更新；当满足分类器更新条件时，根据待训练分类器的更新后的运算参数，得到分类器。
在一种可能的设计中，获取单元，获取待训练游戏图像中正样本和负样本；正样本为跟踪对象在待训练游戏图像中所在的候选框，负样本为不包括跟踪图像的候选框；根据正样本对应的空间特征集合、负样本对应的空间特征集合和历史游戏图像的空间特征集合，确定第二损失值；
确定单元，还用于根据第二损失值，对待训练分类器的运算参数进行更新；当满足分类器更新条件时，根据待训练分类器的更新后的运算参数，得到分类器。
在一种可能的设计中，处理单元，具体用于将待识别游戏图像中每个候选框对应的空间特征输入至更新后的分类器中，根据更新后的运算参数，确定待识别游戏图像中每个候选框所对应的概率分值。
本申请另一方面提供了一种目标跟踪装置，目标跟踪装置包括：
获取单元，用于根据待跟踪的目标对象，获取关于目标对象的待识别游戏图像和历史游戏图像；其中，待识别游戏图像为历史游戏图像相邻的下一帧图像；
确定单元，用于根据待识别游戏图像和历史游戏图像之间的帧差变化，从待识别游戏图像中获取至少两个候选框；
确定单元，还用于根据至少两个候选框中每个候选框所对应的空间特征，从至少两个候选框中确定目标框；
确定单元，还用于根据目标框对应的位置信息确定为目标对象的位置信息；
执行单元，用于根据目标对象的位置信息向终端发送操作指令；操作指令用于指示终端对跟踪对象执行相关操作。
本申请的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种目标跟踪方法，通过待识别游戏图像和历史游戏图像之间的帧差变化，从待识别游戏图像中确定多个候选框，然后提取每个候选框的空间特征，根据该空间特征来确定每个候选框中包含有目标对象的概率，最后根据每个候选框的概率分值来确定目标候选框，并确定该目标候选框所在的位置为目标对象所在的位置；通过上述方法，可以更加精准的实现对目标对象的识别，更准确的识别目标对象所在的位置，完成对目标对象的跟踪。
附图说明
图1为本申请实施例中目标追踪方法的一个环境示意图；
图2为本申请实施例提供的一种目标跟踪方法的系统架构图；
图3为本申请实施例提供的一种目标追踪模型的结构示意图；
图4为本申请实施例中模型训练的方法一个实施例示意图；
图5为本申请实施例中目标追踪的方法一个实施例示意图；
图6为本申请实施例提供的一种获取空间特征的网络示意图；
图7为本申请实施例提供的一种特殊卷积层获取空间特征的网络示意图；
图8为本申请实施例提供的一种色差图的实施例示意图；
图9为本申请实施例提供的另一种目标跟踪方法的流程示意图；
图10为本申请实施例提供的一种分类器参数优化的流程示意图；
图11为本申请实施例提供的一种目标跟踪装置的结构示意图；
图12为本申请实施例提供的另一种目标跟踪装置的结构示意图；
图13为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
本申请实施例提供了一种目标跟踪的方法、装置及存储介质，可以根据待识别游戏图像和历史游戏图像的侦差变化，来确定待识别游戏图像中的多个候选框，再根据多个候选框中的空间特征来识别包含有目标对象的候选框，最终完成对目标对象的识别跟踪，通过空间特征进行识别跟踪可以提高目标对象的识别准确度，从而更精准的预测目标对象所在的位置。
本申请实施例涉及计算机视觉领域，其中，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请可以应用于射击类游戏，例如FPS，FPS是一种以玩家主观视角来进行射击的游戏，玩家需要追踪射击目标，执行操作对目标对象进行射击，当打中目标对象时，即可得分。然而，在某些场景下，用户需要服务器自动追踪目标对象完成射击，此时服务器就需要在游戏视频画面中识别并追踪目标对象，确定目标对象所处的位置，最后基于该位置自动完成对目标对象的射击。
现有的一些目标追踪的方法，主要应用于监控系统或者交通系统，示例性的，包括均值漂移算法和卡尔曼滤波等。其中，均值漂移算法是基于核密度估计的算法，无需任何先验知识，而是依靠特征空间中的样本点去计算概率密度分布，通过不断迭代来收敛到概率密度的最优解。在目标跟踪中，主要使用颜色直方图的统计来计算概率分布，然后进行迭代获得最优解，最终找到目标。由于其主要利用颜色特征来追踪目标，所以无法对相似目标进行区分，由于游戏画面的颜色较为统一，因此均值漂移算法无法应用到游戏场景中来。而卡尔曼滤波主要是利用状态转移的方式估算下一目标位置的，一般使用目标运动的中心点以及外接矩形框作为初始特征，然后在下一帧中进行预测匹配从而得到目标，由于其主要依靠目标对象的轮廓来进行位置预测，在复杂场景下，比如目标被遮挡、形变时则无法识别，因此也无法应用到游戏场景中来；这样，游戏系统如何获取更精准的跟踪识别算法，并利用该跟踪识别算法自动完成对目标物体的跟踪识别成为亟需解决的问题。
为了解决游戏中自动追踪目标对象的问题，本申请提出了一种目标追踪的方法，该方法应用于图1所示的游戏系统中，请参阅图1，图1为本申请实施例中目标追踪方法的一个环境示意图，如图所示，游戏系统中包括服务器和终端设备，服务器侧用于根据游戏画面追踪目标对象，并针对目标对象发送操作指令，终端则用于执行该操作指令。
需要说明的是，图1中的服务器可以是一台服务器或多台服务器组成的服务器集群或云计算中心等，具体此处均不限定。客户端具体部署与终端设备，终端设备可以为图1中示出的平板电脑、笔记本电脑、掌上电脑、手机、个人电脑(personal computer，PC)及语音交互设备。
终端设备和服务器之间可以通过无线网络、有线网络或可移动存储介质进行通信。其中，上述的无线网络使用标准通信技术和/或协议。无线网络通常为因特网、但也可以是任何网络，包括但不限于蓝牙、局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，可以使用定制或专用数据通信技术取代或者补充上述数据通信技术。可移动存储介质可以为通用串行总线(Universal Serial Bus，USB)闪存盘、移动硬盘或其他可移动存储介质等。
虽然图1中仅示出了五个终端设备和一个服务器，但应当理解，图1中的示例仅用于理解本方案，具体终端设备和服务器的数量均应当结合实际情况灵活确定。
图2为本申请实施例提供的一种目标跟踪方法的系统架构图，如图2所示，目标跟踪方法可以应用于FPS的自动化产品上。具体的，FPS游戏系统包括游戏客户端和服务端，当用户需要游戏系统自动识别追踪目标对象时，就可以通过游戏客户端发送请求，并对游戏视频进行截帧，将游戏视频对应的视频帧画面依次传输至服务端。服务端则对接收到的视频帧画面进行识别，跟踪视频帧画面中目标对象的位置，并基于该目标对象的位置向游戏客户端下发指令，如瞄准开枪、投放炸弹等指示，游戏客户端则接收该指令，执行对目标对象的射击等操作，最终实现自动识别跟踪目标对象。
由于本申请实施例可以基于人工智能领域的方法来实现，在对本申请实施例提供的目标追踪的方法开始介绍之前，先对人工智能领域的一些基础概念进行介绍。AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步，人工智能技术在多种方向展开研究，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例服务器基于目标追踪模型来实现对目标对象的识别和追踪，下面先对该目标追踪模型的整体结构进行描述：
图3为本申请实施例提供的一种目标追踪模型的结构示意图，如图3所示，该目标追踪模型包括运动模型、空间聚焦模型、分类器以及时序聚焦模型。
其中，运动模型用于利用游戏视频中前后两帧游戏图像的帧差，来圈出运动物体。由于游戏画面是连续的，目标对象的运动也是连续的，因此，前后两帧游戏图像的帧差一般是由于目标对象的运动行为而造成的，通过对比前后两帧游戏图像，就可以圈出变化物体。然后仅对变化物体进行识别即可，这样就可以缩小识别范围，提高识别目标对象的效率。
通过运动模型可以识别游戏画面中产生变化的图像，基于该变化图像就可以确定游戏画面中的多个候选框，然后对候选框对应的图像特征提取，最终通过图像特征比对确定需要追踪的目标对象究竟处于哪个候选框内。空间聚焦模型就是用来提取候选框对应的图像特征，得到最有利于识别目标对象的图像特征。
分类器则用于对图像特征进行运算，判断候选框中的图像是否为目标对象。示例性的，分类器可以输出每个候选框中图像是目标对象的概率，根据分类器输出的每个候选框的概率分值，来确定目标对象所在的目标候选框。可以理解的，分类器需要根据不同特征的权重，来分析某一候选框中的图像是否为目标对象，因此需要不断调整分类器的运算参数，来调整每个图像特征在目标识别中所占的比重，即分类器需要利用最有效的图像特征来进行目标识别，这样，就可以不断提高图像识别的准确度。
时序聚焦模型则是利用当前待识别游戏图像中的候选框的特征以及历史识别游戏图像中候选框的特征，来确定更能预测下一帧游戏图像中目标对象的图像特征，并根据该图像特征调整分类器运算各特征的权重，提高分类器对下一帧游戏图像的识别精度。可以理解的，时序聚焦模型可以不断的从历史待识别游戏图像的识别结果中学习经验，得到与下一帧游戏图像中目标对象识别最相关的图像特征，并不断调整该最相关的图像特征的权重，提高分类器对下一帧游戏图像的识别和追踪准确度。
基于上述对目标追踪模型的各模块的介绍，下面介绍目标追踪模型的训练过程，其中，训练过程可以包括以下几个步骤：
步骤S1中，获取游戏录制样本，例如，录制第一人称射击类游戏的视频，在该视频中包括需要服务器自动识别并跟踪的游戏角色。
步骤S2中，将步骤S1所获取的游戏录制样本的游戏视频帧画面作为待训练目标追踪模型的输入，其中，待训练目标追踪模型中的分类器输出预测样本，预测样本包括该游戏帧画面中多个预测框的特征集合以及每个预测框对应的图像是待跟踪的游戏角色的概率分值。
步骤S3中，将步骤S2获取的预测样本作为时序聚焦模型的输入，时序聚焦模型还需要获取该游戏帧之前的历史游戏帧对应的预测样本，通过时序聚焦模型对应的损失函数输出损失值。
步骤S4中，利用步骤S2获取的损失值对分类器的运算参数进行训练。当步骤S4对应的训练完成后，获得新的分类器参数，从而得到目标追踪模型。
结合上述对目标追踪模型介绍，下面将对本申请中目标追踪的方法进行介绍，请参阅图5，图5为本申请实施例中目标追踪的方法一个实施例示意图，如图所示，本申请实施例中目标追踪的方法一个实施例包括：
501、服务器获取待识别游戏图像以及历史游戏图像。
其中，待识别游戏图像为历史游戏图像相邻的下一帧图像，当服务器接收到追踪某一目标对象的指示时，就需要获取当前游戏视频帧对应的游戏画面，并将其作为待识别游戏图像输入至上述目标追踪模型中。同时还需要获取历史游戏视频帧，由于游戏视频画面是连续的，目标对象的运动轨迹也是连续的，因此历史游戏视频帧是服务器识别目标对象在当前待识别游戏图像中的位置的前提，可以通过历史游戏视频帧中的目标对象来预测当前游戏画面中目标对象所在的位置。
502、服务器根据待识别游戏图像和历史游戏图像的帧差变化，确定待识别游戏图像中的多个候选框。
可以理解的，目标对象的运动会造成历史游戏视频图像与待识别游戏图像存在帧差，当连续帧的像素之间产生明显变化时，就可以利用连续帧之间的帧差确定变化区域，然后根据对变化区域进行识别，这样可以缩小服务器识别区域，从而减少图像特征，这样将减少目标追踪模型的计算量，提高识别跟踪的效率。
503、服务器获取至少两个候选框中每个候选框所对应的空间特征。
当服务器确定好待识别游戏图像中的几个候选框后，就需要提取每个候选框中图像的空间特征，可以理解的，空间特征用来反应图像基本信息，是识别目标对象的基础，通过分析每个候选框中图像的空间特征，例如颜色特征、轮廓特征等，最终确定哪一个候选框中的图像为目标对象，然后根据确定的目标框的位置信息来完成对目标对象的追踪。
504、服务器将每个候选框对应的空间特征输入至分类器，得到每个候选框对应的概率分值。
分类器根据每个候选框对应的空间特征，来对每个候选框进行分类，即基于多个图像特征，对每个候选框进行分类评分，得到每个候选框对应的图像是目标对象的概率分值，然后输出每个候选框的概率分值，便有后续根据概率分值来最终确定识别结果，即确定对应图像是目标对象的目标框。
505、服务器根据每个候选框对应的概率分值，确定目标框。
分类器输出每个候选框的概率分值之后，就需要判断每个候选框的概率分值是否超过预设阈值，如果所有候选框的概率分值均未超过预设阈值，那么就说明并未识别到目标对象，目标追踪模型对目标对象的追踪失败。如果有多个候选框的概率分值均超过预设阈值，那么就需要选择概率均值最大的候选框作为最终的识别结果，即该候选框对应的图像被识别为目标对象，这样，服务器就可以根据候选框的位置锁定目标对象，完成对目标对象的追踪，最终对目标对象执行相关操作。
本申请实施例提供了一种目标跟踪方法，通过获取待识别游戏图像和历史游戏图像之间的帧差变化，从待识别游戏图像中确定多个候选框，然后提取每个候选框的空间特征，再根据空间特征来确定每个候选框对应图像为目标对象的概率，根据每个候选框的概率分值来确定最后的目标候选框，该目标候选框所在的位置即为目标对象所在的位置；通过上述方法，可以实现在游戏画面中对目标对象的识别和跟踪，利用候选框包围的游戏画面的空间特征来达到对不同目标对象的识别，这样，无需用户手动操作，服务器就可以对目标对象执行相关操作，实现了目标识别的自动化。
下面对获取候选框的空间特征的过程进行详细的介绍；图6为本申请实施例提供的一种获取空间特征的网络示意图，包括多个卷积层。
其中，服务器需要将待识别游戏图像输入至第一卷积层，来提取其对应的卷积特征，可以理解的，第一卷积层包括通用的卷积算子，任何待识别图像均可以通过该卷积层得到高维卷积特征映射图，由于高卷积特征映射图对应的卷积特征种类丰富，所以为提取与识别对象相关的特征提供了前提，保证了目标识别的可靠性。
当获得待识别游戏图像的高维卷积特征映射图后，就对大量的卷积特征进行处理，即需要通过收敛层来对第一卷积特征进行池化处理；池化处理会将大小不一的卷积特征收敛至相同的长度，得到其对应的池化特征，可以理解的，可以根据候选框的位置来获取其对应的池化特征，缩小特征处理范围。卷积特征经池化处理后会明显的差异，例如不同区域的图像会在色彩和轮廓上的表现不一致，一般的，背景图像比较平滑，且色彩变化较少，而目标对象则轮廓凸起交多，色彩也更加多变；为了更直观的表现不同区域图像的差异，以得到更精准的目标对象的位置，需要进一步将特征差异放大，即仍然需要进一步的对池化特征进行处理。
具体的，需要将待识别游戏图像对应的池化特征输入至特殊目标卷积层再次进行特征提取，图7为本申请实施例提供的一种特殊卷积层获取空间特征的网络示意图，如图7所示，该特殊目标卷积层与需要追踪的目标对象是一一对应的，不同的追踪对象对应不同的特殊目标卷积层；为了进一步将背景图像与目标对象的差异方法，需要基于目标对象的特征设计专门的卷积层来对待识别游戏图像进行二次卷积特征提取，获取与目标对象更相关的特征；此时待识别游戏图像的特征会变得更加丰富。
接着，可以利用全连接层将特殊目标卷积层获得的第二卷积特征串联起来，然后使用一个特定的低频卷积算子(第三卷积层)进行卷积重构，重构成可视化的图像，进一步扩大空间差异性，最终，得到色差图，该色差图如图8所示。可以看出，在某一候选框内，目标对象和背景对应的色差有很明显的区别，很容易将目标对象与背景图区分开来，示例性的，服务器根据前后游戏画面的帧差确定出候选框，候选框中包括有待追踪的人物以及遮挡人物的木箱，通过多次卷积运算得到的色差图中，人物、木箱以及游戏画面背景所对应的色差明显不同，很容易针对具体的对象，例如人物对应的图像进行候选特征的采集，这样就可以基于色差图进行空间信息提取，使用空间聚焦核进行卷积处理，提取对应的空间差异信息。
空间聚焦的目的就是将卷积后的图的色彩值差别进一步拉大，最终容易的区分出目标对象和背景，即便是被遮挡的目标对象也能被标记；空间聚焦使用可视化重构图来得到候选框对应的候选特征，通过对色差图进行空间信息处理，得到候选框对应的候选特征，并将候选特征输入至分类器，便于分类器根据候选特征对每个候选框进行评分，得到每个候选框包含有目标对象的概率分值。
结合上述描述，图9为本申请实施例提供的另一种目标跟踪方法的流程示意图，如图9所示，该方法包括：
901、服务器获取待识别游戏图像以及历史游戏图像。
其中，待识别游戏图像为历史游戏图像相邻的下一帧图像，当服务器接收到对某一目标对象的追踪指示时，就需要获取当前游戏视频帧对应的游戏画面，并将其作为待识别游戏图像输入至上述目标追踪模型中。同时服务器还要获取历史游戏视频帧，由于游戏视频画面是连续的，目标对象的运动轨迹也是连续的，因此历史游戏视频帧是服务器识别当前待识别游戏图像中追踪目标的前提，可以通过历史游戏视频帧的画面来预测当前游戏画面中目标对象所在的位置。
902、服务器根据历史游戏图像中跟踪目标的像素点个数，确定候选框的范围大小。
可以理解的，在游戏视频中，跟踪目标虽然会发生形变，但是其所占画面大小基本保持一致，因此可以利用前一帧历史游戏图像中跟踪目标的大小，即所占像素点的个数，来确定候选框的范围大小。这样，可以进一步减少待识别范围，减少候选框包括的图像特征的个数，更有针对性的识别目标对象，减少整个模型的运算，提高识别效率。
903、服务器根据待识别游戏图像和历史游戏图像的帧差变化和候选框的范围大小，确定待识别游戏图像中的多个候选框。
目标对象的运动会造成历史游戏视频图像与待识别游戏图像存在帧差，当连续帧的像素之间产生明显变化时，就可以利用连续帧之间的帧差确定变化区域，示例性的，服务器在变化区域内获取的多个候选框，可以有重合区域，也可以不重合，具体不做限定。然后服务器对候选框内的图像进行识别，就可以缩小识别区域，可以理解的，在某变化区域内确定多个有重合区域的候选框，当服务器对每个候选框的图像进行识别时，可以更加精准的确定目标对象所在的位置，提高目标跟踪的精确度。
904、服务器利用第一卷积算子对待识别游戏图像进行卷积特征提取，得到待识别游戏图像的卷积特征；
具体的，服务器需要将待识别游戏图像输入至第一卷积层，来提取其对应的卷积特征，可以理解的，第一卷积层包括通用的卷积算子，任何待识别图像均可以通过该卷积层来获取高维卷积特征，通过卷积算子提取的卷积特征种类丰富，所以可以为准确提取与识别对象相关的特征提供了前提，保证了目标识别的可靠性。
905、服务器对待识别游戏图像的卷积特征进行池化处理，得到待识别游戏图像的池化特征；
当获得待识别游戏图像的第一卷积特征后，就需要对第一卷积特征进行筛选和处理，可以通过池化层来对第一卷积特征进行池化处理；即将提取到的大小不一的卷积特征收敛至相同的长度，得到其对应的池化特征；卷积特征经池化处理后则有了明显的差异，不同区域的图像在色彩和轮廓上的表现则不一致，一般的，背景图像比较平滑，且色彩变化较少，而目标对象则轮廓凸起交多，色彩也更加多变；为了更直观的表现不同区域图像的差异，将目标对象与其他图像加以区分，需要进一步将特征差异放大，即仍然需要进一步对池化特征进行处理。
906、服务器利用跟踪目标对应的第二卷积算子对池化特征进行卷积特征提取，得到每个候选框对应的第二卷积特征；
具体的，需要将待识别游戏图像对应的池化特征输入至特殊目标卷积层再次进行特征提取，该特殊目标卷积层与需要追踪的目标对象是一一对应的，即不同的追踪对象有不同的特殊目标卷积层。为了进一步将背景图像与目标对象的差异放大，需要基于目标对象的特征设计专门的卷积层来对待识别游戏图像进行二次卷积特征提取，获取与目标对象更相关的特征，此时待识别游戏图像的特征会变得更加丰富。
907、服务器利用第三卷积算子对每个候选框所对应的第二卷积特征进行重构处理，得到候选框对应的色差图；
接着，可以利用全连接层将特殊目标卷积层获得的第二卷积特征串联起来，然后使用一个特定的低频卷积算子(第三卷积层)进行卷积重构，重构成可视化的图像，即色差图，进一步扩大图像差异性。最终，得到候选框的色差图重构后的图片在色彩上有了很明显的区别，能够很容易将目标对象与背景图区分开来。
908、服务器从每个候选框色差图中获取多个候选特征，输入至分类器；
服务器可以利用色差图来得到候选框对应的候选特征，通过对可视化重构图进行空间信息处理，得到候选框对应的候选特征，并将候选特征输入至分类器，便于分类器根据候选特征对每个候选框进行评分，得到每个候选框包含有目标对象的概率分值。
909、服务器通过分类器获取每个候选框对应的概率分值，并根据每个候选框的概率分值确定目标框。
具体的，分类器可以通过卷积层和全连接卷积层对每个候选框对应的候选特征进行运算，得到每个候选框包含有目标对象的概率分值。同时可以通过交叉熵作为损失函数来对分类结果进行评价。其中，P表示某候选框中包含有目标对象的真实概率值，Q为分类器输出的预测概率值，交叉熵可以用来衡量P与Q之间的相似度，并通过该相似度对分类器的运算参数进行调整，不断优化分类器的分类结果。同时，交叉熵在一定程度上反映了目标对象被遮挡的情况，通过交叉熵可以对目标对象的运动状态进行了解。
分类器输出每个候选框的概率分值之后，服务器还需要判断其是否超过预设阈值，如果所有候选框的概率分值均未超过预设阈值，那么就说明并未识别到目标对象，目标追踪模型对目标对象的追踪失败。如果有多个候选框的概率分值均超过来预设阈值，那么就需要选择概率均值最大的候选框作为目标追踪模型的输出结果，即该候选框为目标追踪模型确定的包含有目标对象的候选框，这样，服务器就可以根据候选框的位置锁定目标对象，完成对目标对象的追踪，最终实现对目标对象执行相关操作。
本申请实施例中，提供了一种目标跟踪方法，通过获取待识别游戏图像和历史游戏图像之间的帧差变化，从待识别游戏图像中确定多个候选框，然后通过多次卷积运算，来扩大待识别游戏图像的图像特征差异，根据色差图提取每个候选框的候选特征，然后根据候选特征比对来确定每个候选框对应的图像为目标对象的概率，最后根据每个候选框的概率分值来确定目标候选框，并将该目标候选框所在的位置即为目标对象所在的位置；通过上述方法，可以扩大待识别游戏图像中各区域图像的特征差异，更加清晰精准的实现对目标对象的识别，提高目标识别的精确度，更有利于确定目标对象所在的位置，完成对目标对象的跟踪。
可以理解的，当完成对待识别图像的识别追踪后，就需要把该待识别图像加入到历史图像序列当中，利用该待识别图像的识别结果来学习与目标识别相关的特征，然后利用该特征然后对分类器的运算参数进行修改，不断优化分类器，提高分类器对下一帧图像的识别精度，如图10所示，图10为本申请实施例提供的一种分类器参数优化的流程示意图，该优化过程包括：
1001、服务器获取待训练游戏图像中正样本和负样本；
当分类器输出当前待识别图像中多个候选框的概率分值后，就可以根据该概率分值来确定出目标对象所在的位置；具体的，概率分值最高的候选框则为目标对象所在的位置；即目标对象所在的候选框为正样本，其他候选框则为负样本。目标追踪模型可以从正样本和负样本中学习经验，通过当前待识别图像的输出结果确定与下一帧游戏图像中目标对象更相关的特征；由于与目标对象识别最相关的特征主要取决于与之相邻的前一帧游戏图像中目标对象，因此，当分类器在对某一待训练视频图像分类完之后，就需要根据该待训练视频图像的正样本和负样本特征，来调整分类器的参数，提高最相关特征的权重，这样分类器就可以更精准的对该待训练视频图像的下一视频帧图像进行分类识别。
1002、服务器根据正样本对应的空间特征集合、负样本对应的空间特征集合和历史游戏图像的空间特征集合，确定损失值；
示例性的，可以获取正样本(目标对象所在的候选框)和负样本对应的图像的空间特征集合，获取其对应的损失值，然后结合历史游戏图像的空间特征集合，得到总损失值；具体的，正样本对应的图像的相关特征将成为下一帧待识别游戏图像识别过程中最相关的特征，因此提高分类器中与该特征相关的运算权重，负样本则从反面反应下一帧待识别游戏图像识别过程中最相关的特征，正样本和负样本都可以作为对分类器的相关运算参数进行调整的参照。
1003、服务器根据损失值，对待训练分类器的运算参数进行更新；
示例性的，可以通过以下公式计算分类器对应的损失值：
Figure BDA0002954881080000111
其中，loss指损失函数值，n为候选框图像中的n个像素点，i则代表第i个像素点的特征，ypre则为分类器对第i个像素点的分类结果，ytruth则为第i个像素点的实际结果，通过上述公式，就可以对分类器输出的概率分值进行评价，然后结合分类器损失值对对正样本、负样本以及历史样本对应的特征集合进行分析，得到与下一帧图像最相关的特征，并通过改变分类器参数来提高该最相关特征在目标识别中的权重，这样，分类器就可以更加精准的对下一帧待识别图像中的目标对象进行识别和跟踪。
1004、服务器根据更新后的运算参数，确定下一帧待识别游戏图像中每个候选框所对应的概率分值。
可以理解的，服务器每识别一次游戏图像，就需要根据该游戏图像中的正样本和负样本图像特征对分类器的参数进行一次调整，这样分类器就可以根据上一帧游戏图像中的目标对象状态在下一帧游戏图像中更好的预测目标对象所在的位置。可以理解的，目标对象的运动轨迹是连续的，与待识别图像相邻的前一帧图像中目标对象的状态直接决定了待识别图像中目标对象的分布，因此服务器需要不断调整分类器的参数，提高相关特征的权重，这样才能更好的预测目标对象的运动轨迹，实现对目标图像的跟踪。
示例性的，在前一帧游戏图像中，目标对象被某一物体遮挡了一小部分，目标跟踪模型就可以根据历史游戏图像中目标对象的特征预测到目标对象在下一帧游戏图像中将被物体遮挡一大部分，那么此时，分类器就需要提高色彩特征的权重，降低轮廓特征的权重，这样，分类器在识别下一帧游戏图像时，就可以利用色彩特征来确定目标对象所在的位置，即使目标对象被遮挡一大部分，也能识别其位置。
示例性的，目标对象为人物，身着绿色衣服，在前一帧游戏图像中，目标对象将要步入丛林，目标跟踪模型根据历史游戏图像可以判断该人物在下一帧游戏图像中将进入丛林，此时目标对象与背景图像的颜色特征将趋于一致，那么此时，分类器就需要提高轮廓特征的权重，降低颜色特征的权重，这样，分类器在识别下一帧游戏图像时，就可以利用轮廓特征来识别目标对象，确定该目标对象所在的位置。
因此，分类器对某一游戏图像识别完后，就需要将其添加至历史游戏图像中，作为预测下一帧游戏图像的前提，这样，整个目标识别过程将会是连续的，服务器就可以根据多个特征来识别和跟踪目标对象，避免依靠单一特征进行识别时无法识别的问题。
本申请实施例中，当分类器对当前待识别图像中多个候选框的概率分值后，就需要将当前获得的正样本和负样本对应的特征集合添加到历史特征集合中，通过正样本和负样本对应的特征集合以及历史特征集合，获得损失值，再根据损失值调整分类器的运算参数，目的是为了从正样本和负样本特征集合中学习到与下一帧游戏图像中目标图像最相关的特征，并指示分类器提高相关特征的权重，更加精准的对下一帧待识别游戏图像进行识别分类。图11为本申请实施例提供的一种目标跟踪装置的结构示意图，该目标跟踪装置包括：
获取单元1101，用于获取待识别游戏图像以及历史游戏图像，其中，待识别游戏图像为历史游戏图像相邻的下一帧图像；
确定单元1102，用于若待识别游戏图像以及历史游戏图像之间满足帧差变化条件，则从待识别游戏图像中获取至少两个候选框；
获取单元1101，还用于获取至少两个候选框中每个候选框所对应的空间特征，其中，空间特征包括候选框在待识别游戏图像中的位置信息以及候选框所对应的色差图；
确定单元1102，用于根据每个候选框所对应的空间特征，从至少两个候选框中确定目标框。
在一个可能的设计中，目标跟踪装置还包括处理单元1103，其中，处理单元1103，用于将每个候选框所对应的空间特征输入至分类器，通过分类器输出每个候选框所对应的概率分值；
确定单元1102，还用于根据每个候选框所对应的概率分值，从至少两个候选框中确定目标框。其中，目标框的概率分值为至少两个候选框对应的概率分值中的最大值。
在一种可能的设计中，确定单元1102，具体用于确定历史游戏图像中跟踪目标的像素点个数；根据跟踪目标的像素点个数确定至少两个候选框的范围大小；根据至少两个候选框的范围大小，确定候选框在所待识别游戏图像中的位置信息；其中，每个候选框包括的像素点个数和历史游戏图像中跟踪对象的像素点个数相同。
在一种可能的设计中，获取单元1101，具体用于利用第一卷积算子待识别游戏图像进行卷积特征提取，得到待识别游戏图像的卷积特征；对待识别游戏图像的卷积特征进行池化处理，得到待识别游戏图像的池化特征；根据至少两个候选框的位置信息，确定通用池化特征中的目标池化特征；根据目标池化特征确定至少两个候选框中每个候选框所对应的色差图。
在一种可能的设计中，获取单元1101，具体用于利用跟踪目标对应的第二卷积算子对目标池化特征进行卷积特征提取，得到至少两个候选框中每个候选框所对应的第二卷积特征；利用第三卷积算子对每个候选框所对应的第二卷积特征进行重构处理，得到每个候选框对应的色差图。
在一种可能的设计中，获取单元1101，还用于从色差图中获取多个候选特征，并分别确定每个候选特征的权重值；
处理单元1103，具体用于将每个候选特征的权重值输入至分类器，通过分类器获取每个候选框对应的概率分值。
在一种可能的设计中，确定单元1102，还用于若目标框对应的概率分值大于预设阈值，则根据目标框对应的位置信息确定跟踪目标在待识别游戏图像中的位置。
在一种的可能的设计中，获取单元1101，还用于获取待训练游戏图像中正样本；正样本为跟踪对象在待训练游戏图像中所在的候选框；根据正样本对应的空间特征集合和历史游戏图像中正样本的空间特征集合，确定第一损失值；
处理单元1103，还用于根据第一损失值，对待训练分类器的运算参数进行更新；当满足分类器更新条件时，根据待训练分类器的更新后的运算参数，得到分类器。
在一种可能的设计中，获取单元1101，获取待训练游戏图像中正样本和负样本；正样本为跟踪对象在待训练游戏图像中所在的候选框，负样本为不包括跟踪图像的候选框；根据正样本对应的空间特征集合、负样本对应的空间特征集合和历史游戏图像的空间特征集合，确定第二损失值；
确定单元1102，还用于根据第二损失值，对待训练分类器的运算参数进行更新；当满足分类器更新条件时，根据待训练分类器的更新后的运算参数，得到分类器。
在一种可能的设计中，处理单元1103，具体用于将待识别游戏图像中每个候选框对应的空间特征输入至更新后的分类器中，根据更新后的运算参数，确定待识别游戏图像中每个候选框所对应的概率分值。
图12为本申请实施例提供的另一种目标跟踪装置的结构示意图，该目标跟踪装置包括：
获取单元1201，用于根据待跟踪的目标对象，获取关于目标对象的待识别游戏图像和历史游戏图像；其中，待识别游戏图像为历史游戏图像相邻的下一帧图像；
确定单元1202，用于根据待识别游戏图像和历史游戏图像之间的帧差变化，从待识别游戏图像中获取至少两个候选框；
确定单元1202，还用于根据至少两个候选框中每个候选框所对应的空间特征，从至少两个候选框中确定目标框；
确定单元1202，还用于根据目标框对应的位置信息确定为目标对象的位置信息；
执行单元1203，用于根据目标对象的位置信息向终端发送操作指令；操作指令用于指示终端对跟踪对象执行相关操作。
本申请实施例还提供了另一种目标跟踪装置，目标跟踪装置可以部署于服务器，请参阅图13，图13为本申请实施例中服务器一个实施例示意图，如图所示，该服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)1322(例如，一个或一个以上处理器)和存储器1332，一个或一个以上存储应用程序1342或数据1344的存储介质1330(例如一个或一个以上海量存储设备)。其中，存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1322可以设置为与存储介质1330通信，在服务器1300上执行存储介质1330中的一系列指令操作。
服务器1300还可以包括一个或一个以上电源1326，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1358，和/或，一个或一个以上操作系统1341，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图13所示的服务器结构。
在本申请实施例中，该服务器所包括的CPU 1322用于如下步骤：
获取待识别游戏图像以及历史游戏图像，其中，待识别游戏图像为历史游戏图像相邻的下一帧图像；
若待识别游戏图像以及历史游戏图像之间满足帧差变化条件，则从待识别游戏图像中获取至少两个候选框；
获取至少两个候选框中每个候选框所对应的空间特征，其中，空间特征包括候选框在待识别游戏图像中的位置信息以及候选框所对应的色差图；
将每个候选框所对应的空间特征输入至分类器，通过分类器输出每个候选框所对应的概率分值；
根据每个候选框所对应的概率分值，从至少两个候选框中确定目标框；其中，目标框的概率分值为至少两个候选框对应的概率分值中的最大值。
在本申请实施例中，该服务器所包括的CPU 1322还用于如下步骤：
根据待跟踪的目标对象，获取关于目标对象的待识别游戏图像和历史游戏图像；其中，待识别游戏图像为历史游戏图像相邻的下一帧图像；
根据所述待识别游戏图像和历史游戏图像之间的帧差变化，从待识别游戏图像中获取至少两个候选框；
根据至少两个候选框中每个候选框所对应的空间特征，从至少两个候选框中确定目标框；
根据目标框对应的位置信息确定为目标对象的位置信息；
根据目标对象的位置信息向终端发送操作指令；操作指令用于指示终端对跟踪对象执行相关操作。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如前述图5至图10所示实施例描述的方法中服务器所执行的步骤。
本申请实施例中还提供一种包括程序的计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图5至图10所示实施例描述的方法中服务器所执行的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种目标跟踪的方法，其特征在于，所述方法包括：
获取待识别游戏图像以及历史游戏图像，其中，所述待识别游戏图像为所述历史游戏图像相邻的下一帧图像；
若所述待识别游戏图像以及所述历史游戏图像之间满足帧差变化条件，则从所述待识别游戏图像中获取至少两个候选框；
获取所述至少两个候选框中每个候选框所对应的空间特征，其中，所述空间特征包括候选框在所述待识别游戏图像中的位置信息以及候选框所对应的色差图；
根据每个候选框所对应的空间特征，从所述至少两个候选框中确定目标框。
2.根据权利要求1所述的方法，其特征在于，所述根据每个候选框所对应的空间特征，从所述至少两个候选框中确定目标框，包括：
将每个候选框所对应的空间特征输入至分类器，通过所述分类器输出所述每个候选框所对应的概率分值；
根据所述每个候选框所对应的概率分值，从所述至少两个候选框中确定目标框；其中，所述目标框的概率分值为所述至少两个候选框对应的概率分值中的最大值。
3.根据权利要求1所述的方法，其特征在于，所述从所述待识别游戏图像中获取至少两个候选框，包括：
确定所述历史游戏图像中跟踪目标的像素点个数；
根据所述跟踪目标的像素点个数确定所述至少两个候选框的范围大小；
根据所述至少两个候选框的范围大小，确定所述候选框在所述待识别游戏图像中的位置信息；其中，每个候选框包括的像素点个数和所述历史游戏图像中跟踪对象的像素点个数相同。
4.根据权利要求3所述的方法，其特征在于，所述获取所述至少两个候选框中每个候选框所对应的空间特征，包括：
利用第一卷积算子对所述待识别游戏图像进行卷积特征提取，得到所述待识别游戏图像的卷积特征；
对所述待识别游戏图像的卷积特征进行池化处理，得到所述待识别游戏图像的池化特征；
根据所述至少两个候选框的位置信息，确定所述通用池化特征中的目标池化特征；
根据所述目标池化特征确定所述至少两个候选框中每个候选框所对应的色差图。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标池化特征确定所述至少两个候选框中每个候选框所对应的色差图，包括：
利用所述跟踪目标对应的第二卷积算子对所述目标池化特征进行卷积特征提取，得到所述至少两个候选框中每个候选框所对应的第二卷积特征；
利用第三卷积算子对所述每个候选框所对应的第二卷积特征进行重构处理，得到所述每个候选框对应的色差图。
6.根据权利要求2所述的方法，其特征在于，所述将每个候选框所对应的空间特征输入至分类器，通过所述分类器输出所述每个候选框所对应的概率分值，包括：
从所述色差图中获取多个候选特征，并分别确定每个候选特征的权重值；
将所述每个候选特征的权重值输入至所述分类器，通过所述分类器获取所述每个候选框对应的所述概率分值。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述目标框对应的概率分值大于预设阈值，则根据所述目标框对应的位置信息确定所述跟踪目标在所述待识别游戏图像中的位置。
8.根据权利要求1所述的方法，其特征在于，所述将每个候选框所对应的空间特征输入至分类器，通过所述分类器输出所述每个候选框所对应的概率分值之前，所述方法还包括：
获取待训练游戏图像中正样本；所述正样本为跟踪对象在所述待训练游戏图像中所在的候选框；
根据所述正样本对应的空间特征集合和所述历史游戏图像中正样本的空间特征集合，确定第一损失值；
根据所述第一损失值，对待训练分类器的运算参数进行更新；
当满足分类器更新条件时，根据所述待训练分类器的更新后的运算参数，得到所述分类器。
9.根据权利要求1所述的方法，其特征在于，所述将每个候选框所对应的空间特征输入至分类器，通过所述分类器输出所述每个候选框所对应的概率分值之前，所述方法还包括：
获取待训练游戏图像中正样本和负样本；所述正样本为跟踪对象在所述待训练游戏图像中所在的候选框，所述负样本为不包括所述跟踪图像的候选框；
根据所述正样本对应的空间特征集合、所述负样本对应的空间特征集合和所述历史游戏图像的空间特征集合，确定第二损失值；
根据所述第二损失值，对待训练分类器的运算参数进行更新；
当满足分类器更新条件时，根据所述待训练分类器的更新后的运算参数，得到所述分类器。
10.根据权利要求8或9所述的方法，其特征在于，所述将每个候选框所对应的空间特征输入至分类器，通过所述分类器输出所述每个候选框所对应的概率分值，包括：
将待识别游戏图像中每个候选框对应的空间特征输入至更新后的所述分类器器中，根据更新后的运算参数，确定所述待识别游戏图像中每个候选框所对应的概率分值。
11.一种目标跟踪的方法，其特征在于，所述方法包括：
根据待跟踪的目标对象，获取关于所述目标对象的待识别游戏图像和历史游戏图像；其中，所述待识别游戏图像为所述历史游戏图像相邻的下一帧图像；
根据所述待识别游戏图像和所述历史游戏图像之间的帧差变化，从所述待识别游戏图像中获取至少两个候选框；
根据所述至少两个候选框中每个候选框所对应的空间特征，从所述至少两个候选框中确定目标框；
根据所述目标框对应的位置信息确定为所述目标对象的位置信息；
根据所述目标对象的位置信息向所述终端发送操作指令；所述操作指令用于指示所述终端对所述跟踪对象执行相关操作。
12.一种目标跟踪装置，其特征在于，所述目标跟踪装置包括：
获取单元，用于获取待识别游戏图像以及历史游戏图像，其中，所述待识别游戏图像为所述历史游戏图像相邻的下一帧图像；
确定单元，用于若所述待识别游戏图像以及所述历史游戏图像之间满足帧差变化条件，则从所述待识别游戏图像中获取至少两个候选框；
所述获取单元，还用于获取所述至少两个候选框中每个候选框所对应的空间特征，其中，所述空间特征包括候选框在所述待识别游戏图像中的位置信息以及候选框所对应的色差图；
所述确定单元，用于根据每个候选框所对应的空间特征，从所述至少两个候选框中确定目标框；
所述确定单元，还用于根据所述每个候选框所对应的概率分值，从所述至少两个候选框中确定目标框；其中，所述目标框的概率分值为所述至少两个候选框对应的概率分值中的最大值。
13.一种目标跟踪装置，其特征在于，所述目标跟踪装置包括：
获取单元，用于根据待跟踪的目标对象，获取关于所述目标对象的待识别游戏图像和历史游戏图像；其中，所述待识别游戏图像为所述历史游戏图像相邻的下一帧图像；
确定单元，用于根据所述待识别游戏图像和所述历史游戏图像之间的帧差变化，从所述待识别游戏图像中获取至少两个候选框；
所述确定单元，还用于根据所述至少两个候选框中每个候选框所对应的空间特征，从所述至少两个候选框中确定目标框；
所述确定单元，还用于根据所述目标框对应的位置信息确定为所述目标对象的位置信息；
执行单元，用于根据所述目标对象的位置信息向所述终端发送操作指令；所述操作指令用于指示所述终端对所述跟踪对象执行相关操作。
14.一种服务器，其特征在于，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，以实现权利要求1至10中任一项所述的方法，或实现权利要求11所述的方法；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
15.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至9中任一项所述的方法，或，执行如权利要求10所述的方法。
CN202110218472.4A 2021-02-26 2021-02-26 一种目标跟踪的方法、装置及存储介质 Active CN112827168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110218472.4A CN112827168B (zh) 2021-02-26 2021-02-26 一种目标跟踪的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110218472.4A CN112827168B (zh) 2021-02-26 2021-02-26 一种目标跟踪的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112827168A true CN112827168A (zh) 2021-05-25
CN112827168B CN112827168B (zh) 2022-11-18

Family

ID=75933784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110218472.4A Active CN112827168B (zh) 2021-02-26 2021-02-26 一种目标跟踪的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112827168B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113426136A (zh) * 2021-07-06 2021-09-24 网易（杭州）网络有限公司 异常告警方法、装置、计算机设备及存储介质
CN114615520A (zh) * 2022-03-08 2022-06-10 北京达佳互联信息技术有限公司 字幕定位方法、装置、计算机设备及介质
WO2022269326A1 (en) * 2021-06-24 2022-12-29 Sensetime International Pte. Ltd. Game monitoring
CN116129432A (zh) * 2023-04-12 2023-05-16 成都睿瞳科技有限责任公司 基于图像识别的多目标跟踪标注方法、系统和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960266A (zh) * 2017-05-22 2018-12-07 阿里巴巴集团控股有限公司 图像目标检测方法及装置
US20190236371A1 (en) * 2018-01-30 2019-08-01 Deluxe Entertainment Services Group Inc. Cognitive indexing of images in digital video content
CN110152290A (zh) * 2018-11-26 2019-08-23 深圳市腾讯信息技术有限公司 游戏运行方法和装置、存储介质及电子装置
US20200210768A1 (en) * 2018-12-18 2020-07-02 Slyce Acquisition Inc. Training data collection for computer vision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960266A (zh) * 2017-05-22 2018-12-07 阿里巴巴集团控股有限公司 图像目标检测方法及装置
US20190236371A1 (en) * 2018-01-30 2019-08-01 Deluxe Entertainment Services Group Inc. Cognitive indexing of images in digital video content
CN110152290A (zh) * 2018-11-26 2019-08-23 深圳市腾讯信息技术有限公司 游戏运行方法和装置、存储介质及电子装置
US20200210768A1 (en) * 2018-12-18 2020-07-02 Slyce Acquisition Inc. Training data collection for computer vision

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022269326A1 (en) * 2021-06-24 2022-12-29 Sensetime International Pte. Ltd. Game monitoring
CN113426136A (zh) * 2021-07-06 2021-09-24 网易（杭州）网络有限公司 异常告警方法、装置、计算机设备及存储介质
CN113426136B (zh) * 2021-07-06 2024-04-09 网易（杭州）网络有限公司 异常告警方法、装置、计算机设备及存储介质
CN114615520A (zh) * 2022-03-08 2022-06-10 北京达佳互联信息技术有限公司 字幕定位方法、装置、计算机设备及介质
CN114615520B (zh) * 2022-03-08 2024-01-02 北京达佳互联信息技术有限公司 字幕定位方法、装置、计算机设备及介质
CN116129432A (zh) * 2023-04-12 2023-05-16 成都睿瞳科技有限责任公司 基于图像识别的多目标跟踪标注方法、系统和存储介质
CN116129432B (zh) * 2023-04-12 2023-06-16 成都睿瞳科技有限责任公司 基于图像识别的多目标跟踪标注方法、系统和存储介质

Also Published As

Publication number Publication date
CN112827168B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN112827168B (zh) 一种目标跟踪的方法、装置及存储介质
US11794110B2 (en) System and method for toy recognition
US11532172B2 (en) Enhanced training of machine learning systems based on automatically generated realistic gameplay information
CN111444828B (zh) 一种模型训练的方法、目标检测的方法、装置及存储介质
Li et al. An intelligent optimization method of motion management system based on BP neural network
CN108090561B (zh) 存储介质、电子装置、游戏操作的执行方法和装置
CN110339569B (zh) 控制游戏场景中虚拟角色的方法及装置
US11551479B2 (en) Motion behavior pattern classification method, system and device
Hu Design and implementation of abnormal behavior detection based on deep intelligent analysis algorithms in massive video surveillance
CN109847366B (zh) 用于游戏的数据处理方法和装置
Gupta et al. Online detection and classification of dynamic hand gestures with recurrent 3d convolutional neural networks
CN111783650A (zh) 模型训练方法、动作识别方法、装置、设备以及存储介质
CN113822254B (zh) 一种模型训练方法及相关装置
CN113238972B (zh) 一种图像检测方法、装置、设备及存储介质
CN112884868B (zh) 三维网格顶点特征确定方法、骨骼蒙皮方法及相关装置
CN103020885A (zh) 深度图像压缩
CN111931654A (zh) 一种人员跟踪智能监测方法、系统和装置
CN112232258A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN112742029B (zh) 一种模拟操作的方法、游戏测试的方法以及相关装置
US11450010B2 (en) Repetition counting and classification of movements systems and methods
Li et al. Video-based table tennis tracking and trajectory prediction using convolutional neural networks
CN112742031B (zh) 模型训练方法、游戏测试方法、ai角色训练方法及装置
WO2021147473A1 (zh) 一种模型训练方法、内容生成方法以及相关装置
CN112231220B (zh) 一种游戏测试方法和装置
CN116824686A (zh) 一种动作识别方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40043497

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant