CN116309726A - 基于ar互动游戏场景的多目标实时跟踪方法及装置 - Google Patents

基于ar互动游戏场景的多目标实时跟踪方法及装置 Download PDF

Info

Publication number
CN116309726A
CN116309726A CN202310364722.4A CN202310364722A CN116309726A CN 116309726 A CN116309726 A CN 116309726A CN 202310364722 A CN202310364722 A CN 202310364722A CN 116309726 A CN116309726 A CN 116309726A
Authority
CN
China
Prior art keywords
target
frame
target point
lost
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310364722.4A
Other languages
English (en)
Inventor
李海洋
李华威
侯永弟
马捷径
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deck Intelligent Technology Co ltd
Original Assignee
Beijing Deck Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deck Intelligent Technology Co ltd filed Critical Beijing Deck Intelligent Technology Co ltd
Priority to CN202310364722.4A priority Critical patent/CN116309726A/zh
Publication of CN116309726A publication Critical patent/CN116309726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于AR互动游戏场景的多目标实时跟踪方法和装置，所述方法包括：在存在多个目标点的待检测视频流中，对不同目标帧中的同一目标点进行目标关联；针对至少一个目标点，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪；在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记。该方法能够及时保存丢失人员的当前状态并做标记，以便在后续再次检测到出现的新目标时，能够与丢失目标进行相似度匹配，从而解决现有技术中多目标场景下目标易丢失的技术问题。

Description

基于AR互动游戏场景的多目标实时跟踪方法及装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于AR互动游戏场景的多目标实时跟踪方法及装置。
背景技术
随着AI技术的不断发展，目标跟踪技术在现实生活中得到了广泛的应用，如视频监控领域可以利用目标跟踪技术实时追踪行人、车辆等目标，识别异常事件；自动驾驶领域利用该技术实时追踪交通标识、车辆、行人和障碍物，以帮自动驾驶做出正确决策；AR领域可以实现虚拟和现实的互动等。然而在对于多目标跟踪过程中经常由于目标的交叉、目标的缺失、目标的外观变化等原因造成跟踪丢失，对辅助决策和用户的体验都产生很大的影响。
在一些现有技术中，采用基于高斯混合模型或隐马尔可夫随机场的方式进行多目标跟踪。该种多目标跟踪方法通过建立高斯混合模型或隐马尔可夫随机场模型以构建生成外观模型，然后使用基于贝叶斯理论的模型或基于局部/全局数据关联的模型进行持续的目标跟踪。但是，该种方法通常在处理复杂场景下容易出现目标模型混淆，对于目标交叉、遮挡、缩放等问题处理效果较差，且对于多目标场景下的长时间跟踪效果不佳，不适合多人运动场景。
因此，提供一种基于AR互动游戏场景的多目标实时跟踪方法及装置，以期解决现有技术中多目标场景下目标易丢失的技术问题，就成为本领域技术人员亟待解决的问题。
发明内容
为此，本发明实施例提供一种基于AR互动游戏场景的多目标实时跟踪方法及装置，以期解决现有技术中多目标场景下目标易丢失的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
本发明提供了一种基于AR互动游戏场景的多目标实时跟踪方法，所述方法包括：
在存在多个目标点的待检测视频流中，对不同目标帧中的同一目标点进行目标关联；
针对至少一个所述目标点，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪；
在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记。
在一些实施例中，对不同目标帧中的同一目标进行目标关联，具体包括：
分别获取第一目标帧和第二目标帧中多个目标的位置信息和特征向量；
基于所述位置信息和所述特征向量，分别计算各所述目标在所述第一目标帧和所述第二目标帧中的相似度，以得到各所述目标的相似度的度量得分；
根据所述度量得分进行目标关联。
在一些实施例中，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪，具体包括：
(1)利用yolox模型进行目标检测，获取前后帧目标位置信息和特征向量；
(2)利用余弦相似算法进行前后帧目标相似度的计算，获取所有目标之间的相似度度量得分d；
(3)基于得分d和相似阈值判断前后帧目标的关联和丢失；
(4)根据前后帧关联的目标和已有的编号ID进行目标的跟踪。
在一些实施例中，在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记，之后还包括：
在检测到所述待检测视频流中存在新增目标点的情况下，判断所述新增目标点是否为丢失目标点；
在所述新增目标点为丢失目标点的情况下，消除所述丢失状态的标记，并将所述丢失目标点的位置信息、特征信息和关联信息赋予所述新增目标点。
在一些实施例中，判断所述新增目标点是否为丢失目标点，之后还包括：
在所述新增目标点不为丢失目标点的情况下，则以首次出现所述新增目标点的当前帧作为所述待检测视频流的第一帧。
在一些实施例中，在检测到所述待检测视频流中存在新增目标点的情况下，判断所述新增目标点是否为丢失目标点，具体包括：
提取所述新增目标点的特征信息；
计算所述新增目标点的特征与所述丢失目标点的特征信息的相似度；
在所述相似度达到预设值的情况下，则确定所述新增目标点为所述丢失目标点。
在一些实施例中，所述目标帧中的前一帧为所述待检测视频流中的第一帧，所述目标帧中的后一帧为所述待检测视频流中与所述第一帧相邻的第二帧。
本发明还提供一种基于AR互动游戏场景的多目标实时跟踪装置，所述装置包括：
数据关联单元，用于在存在多个目标点的待检测视频流中，对不同目标帧中的同一目标点进行目标关联；
目标跟踪单元，用于针对至少一个所述目标点，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪；
结果生成单元，用于在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明所提供的基于AR互动游戏场景的多目标实时跟踪方法，通过在存在多个目标点的待检测视频流中，对不同目标帧中的同一目标点进行目标关联；针对至少一个所述目标点，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪；在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记。这样，在游戏场景中，当出现人员遮挡、交叉跟踪丢失时，该方法能够及时保存丢失人员的当前状态并做标记，以便在后续再次检测到出现的新目标时，能够与丢失目标进行相似度匹配，从而解决现有技术中多目标场景下目标易丢失的技术问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于AR互动游戏场景的多目标实时跟踪方法的流程图之一；
图2为本发明所提供的基于AR互动游戏场景的多目标实时跟踪方法的流程图之二；
图3为本发明所提供的基于AR互动游戏场景的多目标实时跟踪方法的流程图之三；
图4为本发明所提供的基于AR互动游戏场景的多目标实时跟踪方法的流程图之四；
图5为本发明所提供的基于AR互动游戏场景的多目标实时跟踪装置的结构示意图；
图6为本发明所提供的电子设备的实体结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的基于AR互动游戏场景的多目标实时跟踪方法的流程图之一。
在一种具体实施方式中，本发明所提供的基于AR互动游戏场景的多目标实时跟踪方法包括以下步骤：
S110：在存在多个目标点的待检测视频流中，对不同目标帧中的同一目标点进行目标关联；
S120：针对至少一个所述目标点，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪。从理论上来讲，在进行相似度计算时，需要进行相似度计算的两帧目标帧可以是相邻帧，也可以是间隔一定时间的两个帧，在时间维度上，前一帧位于后一帧之前。例如，所述目标帧中的前一帧为所述待检测视频流中的第一帧，所述目标帧中的后一帧为所述待检测视频流中与所述第一帧相邻的第二帧。
S130：基于前后两帧所有目标点之间相似度以及相似阈值的判断，在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记。例如，针对某一个目标点来讲，当该目标点在前后两帧之间的相似度低于相似阈值时，则确定该目标点丢失。
如图2所示，在上述步骤S110中，对不同目标帧中的同一目标进行目标关联，具体包括以下步骤：
S210：分别获取第一目标帧和第二目标帧中多个目标点的位置信息和特征向量，即通过yolox模型，利用Anchor free方式和CSPDarknet53主干网络，经过卷积、池化和残差块等组件以及Neck部分，获取各目标位置信息和特征向量。以AR游戏使用场景中多个人物目标检测为例，在进行目标检测时，采用yolox模型，利用Anchorfree方式和CSPDarknet53主干网络，经过卷积、池化和残差块等组件进行AR游戏大屏前多人目标检测，确定目标点(该实施例中为目标人物，理论上也可以是其他可移动的目标点，例如目标车辆等)在摄像头所采集到的待检测视频流的第一帧的位置(x1，y1，x2，y2)、目标置信度(obj_conf)，类别置信度(class_conf)、类别(class)和编号(ID)。而后通过特征提取得到特征向量，也就是说，该方法会保存通过Neck部分采用的FPN结构获取每个人融合后的特征向量，通常包括颜色、纹理、形状等底层特征以及人员高级抽象特征。
S220：基于所述位置信息和所述特征向量，分别计算各所述目标在所述第一目标帧和所述第二目标帧中的相似度，以得到各所述目标的相似度的度量得分。在该使用场景中，该方法在每个游戏人员的第二帧中用步骤S210和S220的方法获取目标位置和特征向量，然后利用余弦相似算法进行相似度度量d的计算，根据度量d得分进行人员的关联。例如，第一目标帧中某个目标位置为(xi，yi)，特征向量为(fi1、fi2、fi3…fin)，第二目标帧中某个目标位置为(xj，yj)，特征向量为(fj1、fj2、fj3…fjn)，以得到各所述目标相似度的度量得分，即
Figure BDA0004166292300000081
S230：根据所述度量得分从高到底进行排序以及设定的相似阈值进行目标关联，即前后两帧相似度d最高、且d大于相似阈值的两个目标可认定为同一目标。
在步骤S120中，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪，也就是说，根据上一帧中的目标位置和当前帧中的相似度度量得分d，利用多目标跟踪算法进行人员跟踪；具体包括：
(1)利用yolox模型进行目标检测，获取前后帧目标位置信息和特征向量；
(2)利用余弦相似算法进行前后帧目标相似度的计算，获取所有目标之间的相似度度量得分d；
(3)基于得分d和相似阈值判断前后帧目标的关联和丢失；
(4)根据前后帧关联的目标和已有的编号ID进行目标的跟踪。
在确定了某一个目标点丢失之后，可能会在后续的图像中重新出现，为了提高跟踪效果，如图3所示，在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记，之后还包括：
S310：在检测到所述待检测视频流中存在新增目标点的情况下，判断所述新增目标点是否为丢失目标点。具体地，首先提取所述新增目标点的特征信息，而后计算所述新增目标点的特征与所述丢失目标点的特征信息的相似度；在所述相似度达到预设值的情况下，则确定所述新增目标点为所述丢失目标点。
S320：在所述新增目标点为丢失目标点的情况下，消除所述丢失状态的标记，并将所述丢失目标点的位置信息、特征信息和关联信息赋予所述新增目标点；在所述相似度未达到预设值的情况下，则确定所述新增目标点不为所述丢失目标点。该预设值例如可以为相似度达到80％、85％或90％等。
S330：在所述新增目标点不为丢失目标点的情况下，则以首次出现所述新增目标点的当前帧作为所述待检测视频流的第一帧，并返回步骤S120。
在上述具体使用场景中，跟踪丢失处理：基于前后两帧所有目标之间相似度以及相似阈值判断目标跟踪是否丢失。当AR游戏大屏前多人人机交互时经常会出现遮挡现象，当被遮挡的人重新进入画面时，常规算法会丢掉该人前面所有信息，当做新人来计算，这样会给游戏玩家带来很不好的体验，该方法会保存因遮挡或交叉丢失的前一帧所有特征信息、位置信息(x1,y1,x2,y2)、编号信息(ID)和游戏进度信息(gmsg)，并标识为丢失状态(flag＝loss)。
当有人员再进入画面时，该算法首先会根据检测的人员特征和丢失人员特征进行相似度d计算，如果相似度d不低于80％，则认为是丢失人员返场，消除丢失状态(flag＝active)，该算法会将原来的编号信息(ID)、游戏进度信息(gmsg)赋给他；反之，则认为新人入场，当前为第一帧，目标追踪按照前面的步骤进行。
进一步地，为了提高跟踪的准确性，通过yolox模型和卡尔曼滤波重新检测目标和利用历史特征数据对跟踪目标人员状态进行修正。
总的来讲，如图4所示，该发明所提供的方法首先利用yolox算法进行AR游戏大屏前多人目标检测，确定其在摄像头视频流第一帧的位置和大小，然后进行特征的提取，获取每个人的特征向量，在第二帧中用前面同样的方法获取目标位置和特征向量，然后利用余弦相似算法进行相似度的度量，根据度量得分进行人员的关联，接着利用卡尔曼滤波对每个人员状态进行预测，并将预测值和当前帧中的检测结果进行融合，得到每个人的新的状态。当出现人员遮挡、交叉跟踪丢失时，该改进算法会保存丢失人员的当前状态，包括特征向量，后面再检测到的人员会跟丢失人员进行相似度匹配，如果匹配上，则恢复前面的状态(如游戏人员ID号)，如果匹配不上，则为新人员，创建新的人员状态信息。通过以上方法能够较好的解决AR游戏大屏前多人目标检测和跟踪丢失问题，大大提高了AR游戏的体验效果。
在上述具体实施方式中，本发明所提供的基于AR互动游戏场景的多目标实时跟踪方法，通过在存在多个目标点的待检测视频流中，对不同目标帧中的同一目标点进行目标关联；针对至少一个所述目标点，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪；在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记。这样，在游戏场景中，当出现人员遮挡、交叉跟踪丢失时，该方法能够及时保存丢失人员的当前状态并做标记，以便在后续再次检测到出现的新目标时，能够与丢失目标进行相似度匹配，从而解决现有技术中多目标场景下目标易丢失的技术问题。
除了上述方法，本发明还提供一种基于AR互动游戏场景的多目标实时跟踪装置，如图5所示，所述装置包括：
数据关联单元510，用于在存在多个目标点的待检测视频流中，对不同目标帧中的同一目标点进行目标关联；
目标跟踪单元520，用于针对至少一个所述目标点，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪；
结果生成单元530，用于在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记。
在一些实施例中，对不同目标帧中的同一目标进行目标关联，具体包括：
分别获取第一目标帧和第二目标帧中多个目标的位置信息和特征向量；
基于所述位置信息和所述特征向量，分别计算各所述目标在所述第一目标帧和所述第二目标帧中的相似度，以得到各所述目标的相似度的度量得分；
根据所述度量得分进行目标关联。
在一些实施例中，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪，具体包括：
(1)利用yolox模型进行目标检测，获取前后帧目标位置信息和特征向量；
(2)利用余弦相似算法进行前后帧目标相似度的计算，获取所有目标之间的相似度度量得分d；
(3)基于得分d和相似阈值判断前后帧目标的关联和丢失；
(4)根据前后帧关联的目标和已有的编号ID进行目标的跟踪。
在一些实施例中，在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记，之后还包括：
在检测到所述待检测视频流中存在新增目标点的情况下，判断所述新增目标点是否为丢失目标点；
在所述新增目标点为丢失目标点的情况下，消除所述丢失状态的标记，并将所述丢失目标点的位置信息、特征信息和关联信息赋予所述新增目标点。
在一些实施例中，判断所述新增目标点是否为丢失目标点，之后还包括：
在所述新增目标点不为丢失目标点的情况下，则以首次出现所述新增目标点的当前帧作为所述待检测视频流的第一帧。
在一些实施例中，在检测到所述待检测视频流中存在新增目标点的情况下，判断所述新增目标点是否为丢失目标点，具体包括：
提取所述新增目标点的特征信息；
计算所述新增目标点的特征与所述丢失目标点的特征信息的相似度；
在所述相似度达到预设值的情况下，则确定所述新增目标点为所述丢失目标点。
在一些实施例中，所述目标帧中的前一帧为所述待检测视频流中的第一帧，所述目标帧中的后一帧为所述待检测视频流中与所述第一帧相邻的第二帧。
在上述具体实施方式中，本发明所提供的基于AR互动游戏场景的多目标实时跟踪装置，通过在存在多个目标点的待检测视频流中，对不同目标帧中的同一目标点进行目标关联；针对至少一个所述目标点，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪；在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记。这样，在游戏场景中，当出现人员遮挡、交叉跟踪丢失时，该装置能够及时保存丢失人员的当前状态并做标记，以便在后续再次检测到出现的新目标时，能够与丢失目标进行相似度匹配，从而解决现有技术中多目标场景下目标易丢失的技术问题。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述方法。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于AR互动游戏场景的多目标实时跟踪方法，其特征在于，所述方法包括：
在存在多个目标点的待检测视频流中，对不同目标帧中的同一目标点进行目标关联；
针对至少一个所述目标点，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪；
在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记。
2.根据权利要求1所述的基于AR互动游戏场景的多目标实时跟踪方法，其特征在于，对不同目标帧中的同一目标进行目标关联，具体包括：
分别获取第一目标帧和第二目标帧中多个目标的位置信息和特征向量；
基于所述位置信息和所述特征向量，利用余弦相似算法分别计算各所述目标在所述第一目标帧和所述第二目标帧中的相似度，以得到各所述目标相似度的度量得分；
根据所述度量得分d从高到底进行排序以及设定的相似阈值进行目标关联。
3.根据权利要求2所述的基于AR互动游戏场景的多目标实时跟踪方法，其特征在于，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪，具体包括：利用yolox模型进行目标检测，获取前后帧目标位置信息和特征向量；利用余弦相似算法进行前后帧目标相似度的计算，获取所有目标之间的相似度度量得分d；
基于得分d和相似阈值判断前后帧目标的关联和丢失；
根据前后帧关联的目标和已有的编号ID进行目标的跟踪。
4.根据权利要求1所述的基于AR互动游戏场景的多目标实时跟踪方法，其特征在于，在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记，之后还包括：
在检测到所述待检测视频流中存在新增目标点的情况下，判断所述新增目标点是否为丢失目标点；
在所述新增目标点为丢失目标点的情况下，消除所述丢失状态的标记，并将所述丢失目标点的位置信息、特征信息和关联信息赋予所述新增目标点。
5.根据权利要求4所述的基于AR互动游戏场景的多目标实时跟踪方法，其特征在于，判断所述新增目标点是否为丢失目标点，之后还包括：
在所述新增目标点不为丢失目标点的情况下，则以首次出现所述新增目标点的当前帧作为所述待检测视频流的第一帧。
6.根据权利要求4所述的基于AR互动游戏场景的多目标实时跟踪方法，其特征在于，在检测到所述待检测视频流中存在新增目标点的情况下，判断所述新增目标点是否为丢失目标点，具体包括：
提取所述新增目标点的特征信息；
计算所述新增目标点的特征与所述丢失目标点的特征信息的相似度；
在所述相似度达到预设值的情况下，则确定所述新增目标点为所述丢失目标点。
7.根据权利要求1所述的基于AR互动游戏场景的多目标实时跟踪方法，其特征在于，所述目标帧中的前一帧为所述待检测视频流中的第一帧，所述目标帧中的后一帧为所述待检测视频流中与所述第一帧相邻的第二帧。
8.一种基于AR互动游戏场景的多目标实时跟踪装置，其特征在于，所述装置包括：
数据关联单元，用于在存在多个目标点的待检测视频流中，对不同目标帧中的同一目标点进行目标关联；
目标跟踪单元，用于针对至少一个所述目标点，根据所述目标点在所述目标帧中的前一帧中的位置信息，以及所述目标点在所述目标帧中的后一帧中的相似度，利用多目标跟踪算法进行跟踪；
结果生成单元，用于在确定所述后一帧中存在目标丢失的情况下，保存所述前一帧中所述目标点的位置信息、特征信息和关联信息，并在所述前一帧中对丢失状态进行标记。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202310364722.4A 2023-04-07 2023-04-07 基于ar互动游戏场景的多目标实时跟踪方法及装置 Pending CN116309726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310364722.4A CN116309726A (zh) 2023-04-07 2023-04-07 基于ar互动游戏场景的多目标实时跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310364722.4A CN116309726A (zh) 2023-04-07 2023-04-07 基于ar互动游戏场景的多目标实时跟踪方法及装置

Publications (1)

Publication Number Publication Date
CN116309726A true CN116309726A (zh) 2023-06-23

Family

ID=86803289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310364722.4A Pending CN116309726A (zh) 2023-04-07 2023-04-07 基于ar互动游戏场景的多目标实时跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN116309726A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985162A (zh) * 2018-06-11 2018-12-11 平安科技（深圳）有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN110378195A (zh) * 2019-05-27 2019-10-25 浙江工业大学 基于直方图缓存法的多目标跟踪方法
CN111882580A (zh) * 2020-07-17 2020-11-03 元神科技(杭州)有限公司 一种视频多目标跟踪方法及系统
CN113763431A (zh) * 2021-09-15 2021-12-07 深圳大学 一种目标跟踪方法、系统、电子装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985162A (zh) * 2018-06-11 2018-12-11 平安科技（深圳）有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
WO2019237536A1 (zh) * 2018-06-11 2019-12-19 平安科技（深圳）有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN110378195A (zh) * 2019-05-27 2019-10-25 浙江工业大学 基于直方图缓存法的多目标跟踪方法
CN111882580A (zh) * 2020-07-17 2020-11-03 元神科技(杭州)有限公司 一种视频多目标跟踪方法及系统
CN113763431A (zh) * 2021-09-15 2021-12-07 深圳大学 一种目标跟踪方法、系统、电子装置及存储介质

Similar Documents

Publication Publication Date Title
CN111627045B (zh) 单镜头下的多行人在线跟踪方法、装置、设备及存储介质
US20210287381A1 (en) Object tracking method, tracking processing method, corresponding apparatus, and electronic device
US8284238B2 (en) Image processing apparatus and method
CN103093198B (zh) 一种人群密度监测方法及装置
CN112669349A (zh) 一种客流统计方法、电子设备及存储介质
CN114677554A (zh) 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法
WO2020037881A1 (zh) 运动轨迹绘制方法、装置、设备和存储介质
CN109308456B (zh) 目标对象的信息确定方法、装置、设备及存储介质
CN111144314B (zh) 一种篡改人脸视频检测方法
CN108830204B (zh) 面对目标的监控视频中异常检测方法
CN109145906B (zh) 目标对象的图像确定方法、装置、设备及存储介质
CN115497056B (zh) 基于深度学习的区域内遗失物品检测方法
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN111821693A (zh) 游戏的透视外挂检测方法、装置、设备及存储介质
JP7096175B2 (ja) オブジェクト抽出方法および装置
CN114783037A (zh) 目标重识别方法、目标重识别装置和计算机可读存储介质
CN111091583A (zh) 长期目标跟踪方法
CN113762229A (zh) 一种建筑场地内建筑器材的智能识别方法及系统
CN112686107A (zh) 隧道入侵物体检测方法及装置
CN116309726A (zh) 基于ar互动游戏场景的多目标实时跟踪方法及装置
CN117115412A (zh) 一种基于加权得分标签分配的小目标检测方法
CN115100565B (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
CN114463664B (zh) 一种用于冰球运动的新型冰球追踪方法
CN111860261A (zh) 一种客流值的统计方法、装置、设备及介质
CN111291692B (zh) 视频场景识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination