CN115100244B - 一种目标跟踪方法、装置、存储介质及电子装置 - Google Patents

一种目标跟踪方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN115100244B
CN115100244B CN202210780846.6A CN202210780846A CN115100244B CN 115100244 B CN115100244 B CN 115100244B CN 202210780846 A CN202210780846 A CN 202210780846A CN 115100244 B CN115100244 B CN 115100244B
Authority
CN
China
Prior art keywords
target
feature
association
description
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210780846.6A
Other languages
English (en)
Other versions
CN115100244A (zh
Inventor
林亦宁
陈庆
倪华健
赵之健
彭垚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Supremind Intelligent Technology Co Ltd
Original Assignee
Shanghai Supremind Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Supremind Intelligent Technology Co Ltd filed Critical Shanghai Supremind Intelligent Technology Co Ltd
Priority to CN202210780846.6A priority Critical patent/CN115100244B/zh
Publication of CN115100244A publication Critical patent/CN115100244A/zh
Application granted granted Critical
Publication of CN115100244B publication Critical patent/CN115100244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种目标跟踪方法、装置、存储介质及电子装置，所述目标跟踪方法通过目标向量特征在关联帧图像中进行目标跟踪，让目标跟踪的精确度更高，相比现有方法，具有更强的鲁棒性，可以适用于更多的复杂环境，解决了目标特征不足时目标容易跟丢和跟错的问题。

Description

一种目标跟踪方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及计算机技术领域，具体而言，涉及一种目标跟踪方法、装置、存储介质及电子装置。
背景技术
目标跟踪一直是计算机视觉领域的基础课题之一，其广泛应用于智能视频监控、自动驾驶、目标行为分析、摄影摄像等领域。目标跟踪分为单目标跟踪和多目标跟踪，单目标跟踪是指始终维护对指定目标对跟踪，多目标跟踪是指维护整个画面中每个目标，使其都有唯一ID。不论是单目标跟踪还是多目标跟踪，都会受到目标遮挡、背景变化、光照等各种因素导致跟踪出错或者中断。
当前的目标跟踪方法主要存在以下问题：基于检测的跟踪方法受检测效果影响较大，呈现跟踪不稳定的情况，且在目标交叉时会容易出现跟错目标的情况；基于特征提取的跟踪方法，受图像质量影响较大，且在目标逐渐被遮挡时容易出现目标跟错和跟丢的情况；而基于上述多种方式融合的跟踪方法，仍然在多个目标拥挤、图像光照变化大等情况下，同样面临目标跟踪准确度较低的问题。
发明内容
有鉴于此，本发明实施例提供一种目标跟踪方法、装置、存储介质及电子装置，以至少部分解决上述问题。
根据本发明实施例的第一方面，提供一种目标跟踪方法，包括：
获取待检测图像，并基于所述待检测图像提取初始图像特征；
基于所述初始图像特征，得到目标对象的目标位置信息和目标描述特征；
通过预设的特征属性对照表，获取与所述目标描述特征对应的目标向量特征；
基于所述目标位置信息和所述目标向量特征，对所述目标对象进行目标关联匹配，得到目标关联关系，根据所述目标关联关系得到目标跟踪结果。
根据一示例性实施例，获取待检测图像，并基于所述待检测图像提取初始图像特征，包括：
在所述待检测图像中获取每个目标对象的初始候选区域；
基于所述每个目标对象的所述初始候选区域，确定所述每个目标对象对应的所述初始图像特征。
根据一示例性实施例，基于所述初始图像特征，得到目标对象的目标位置信息和目标描述特征，包括：
基于所述初始图像特征，得到所述目标对象的所述目标位置信息；
基于所述初始图像特征和所述目标位置信息，确定所述目标对象的所述目标描述特征。
根据一示例性实施例，通过预设的特征属性对照表，获取与所述目标描述特征对应的目标向量特征，包括：
将所述目标描述特征分解为多个子目标描述特征；
通过预设的特征属性对照表，分别为每个子目标描述特征分配对应的特征类别属性；
从所述特征类别属性中为所述每个子目标描述特征获取对应的目标属性值，其中所述特征属对照性表中的每个所述特征类别属性预设一目标属性范围；
将所述多个子目标描述特征的所有所述目标属性值作为所述目标描述特征的所述目标向量特征。
根据一示例性实施例，基于所述目标位置信息和所述目标向量特征，对所述目标对象进行目标关联匹配，得到目标关联关系，根据所述目标关联关系得到目标跟踪结果，包括：
基于所述目标位置信息，确定目标关联区域；
基于所述目标关联区域和所述目标向量特征对所述目标对象进行目标关联匹配，得到目标关联关系；
根据所述目标关联关系，得到所述目标跟踪结果。
根据一示例性实施例，基于所述目标位置信息和所述目标向量特征，对所述目标对象进行目标关联匹配，得到目标关联关系，根据所述目标关联关系得到目标跟踪结果，包括：
基于所述目标位置信息，确定目标关联区域,基于所述目标关联区域和所述初始图像特征对所述目标对象进行初次目标关联匹配，得到初次目标关联结果；
基于所述初次目标关联结果，通过所述目标向量特征对所述目标对象进行二次目标关联匹配，得到目标关联关系；
根据所述目标关联关系，得到所述目标跟踪结果。
根据一示例性实施例，基于所述目标关联区域和所述目标向量特征对所述目标对象进行目标关联匹配，得到目标关联关系，包括：
基于所述目标关联区域，确定所述目标关联区域中所有关联对象；
基于所述目标向量特征和所述所有关联对象进行目标关联匹配，得到多组关联关系；
基于所述多组关联关系确定所述目标关联关系。
根据本发明实施例的第二方面，提供一种目标跟踪装置，包括：
第一特征获取模块，用于获取待检测图像，并基于所述待检测图像提取初始图像特征；
第二特征获取模块，用于基于所述初始图像特征，得到目标对象的目标位置信息和目标描述特征；
第三特征获取模块，用于通过预设的特征属性对照表，获取与所述目标描述特征对应的目标向量特征；
目标跟踪模块，用于基于所述目标位置信息和所述目标向量特征，对所述目标对象进行目标关联匹配，得到目标关联关系，根据所述目标关联关系得到目标跟踪结果。
根据本发明实施例的第三方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明实施例的第四方面，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明实施例提供的一种目标跟踪方法，通过目标向量特征在关联帧图像中进行目标跟踪，让目标跟踪的精确度更高，相比现有方法，具有更强的鲁棒性，可以适用于更多的复杂环境，解决了目标特征不足时目标容易跟丢和跟错的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图
图1是根据本发明实施例的一种目标跟踪方法的移动终端的硬件结构框图；
图2是根据本发明实施例的一种目标跟踪方法的流程图；
图3是根据本发明实施例的一种目标跟踪装置的结构框图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种目标跟踪方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种目标跟踪方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
为了更好的解决上述背景技术中提出的问题，本发明公开了一种目标跟踪方法、装置、存储介质及电子装置，下面的实施例中将逐一进行详细说明。
参见图2，图2示出了根据本说明书一个实施例提供的一种目标跟踪方法的流程图，具体包括以下步骤：
S202，获取待检测图像，并基于所述待检测图像提取初始图像特征；
根据本发明一实施例，所述步骤S202包括，从摄像端获取待检测视频流，并将该视频流进行解码和分帧处理，得到一定数量的视频帧图像。可以知道的是，所述视频帧图像基于时间顺序可以建立关联。
目前，现阶段对目标物的跟踪主要是基于视觉的目标检测识别与跟踪处理，目标的检测识别主要是对目标物进行定位和分类，目标跟踪处理则是对同样的目标物持续赋予同样的ID。
在本发明其中一实施例中，提供一个二阶段的深度学习网络，一阶段网络为特征提取网络，用来提取待检测图像的所述初始图像特征，二阶段网络为目标检测和目标描述特征获取网络，用于目标位置信息和目标描述特征的获取以用于进一步的目标跟踪。
在本发明其中一实施例中，步骤S202包括：
S2022，在所述待检测图像中获取每个目标对象的初始候选区域；
S2024，基于所述每个目标对象的所述初始候选区域，确定所述每个目标对象对应的所述初始图像特征。
具体的，在本发明其中一实施例中，基于Region Proposal网络的R-CNN系算法，例如R-CNN、Fast R-CNN或者Faster R-CNN等二级目标检测算法，先使用启发式方法（selective search）或者CNN网络（RPN）产生候选框（Region Proposal），即所述每个目标对象的初始候选区域。然后，对每个目标对象的候选框即初始候选区域，进行ROI-Align操作得到每个候选框对应的所述初始图像特征。
通过步骤S202中对目标对象进行初始区域的确定和初始特征的提取，有利于后续进一步确定目标对象的具体坐标位置和获取更加精细化的特征。
S204，基于所述初始图像特征，得到目标对象的目标位置信息和目标描述特征；
根据本发明一实施例，步骤S204，基于所述初始图像特征，得到目标对象的目标位置信息和目标描述特征，包括：
S2042，基于所述初始图像特征，得到所述目标对象的所述目标位置信息；
S2044，基于所述初始图像特征和所述目标位置信息，确定所述目标对象的所述目标描述特征。
在本发明其中一实施例中，具体的，在步骤S202得到的候选框Region Proposal上做分类与回归，从而进一步得到目标对象的坐标位置及目标对象的目标描述特征，其中，通过预训练的深度学习网络，可以将处于所述目标位置上的目标对象的所述初始图像特征转化为图像描述语言即所述目标描述特征，例如， “一只趴在路上的黄色狗”或“一辆在路上行驶的紫色车”。
其中，以“一只趴在路上的黄色狗”为例，输入为一包含目标物体狗的图片，通过步骤202得到初始图像特征，并初步确定该目标对象为狗，基于所述初始图像特征，在该图像上的获取到“目标物：狗”的坐标位置，根据该目标对象的坐标位置和所述初始图像特征确定对应的目标描述特征为“一只趴在路上的黄色狗”。
值得一提的是，通过所述初始图像特征可以确定目标对象具体的目标位置，有利于得到每个目标对象的文本描述信息。
值得一提的是，通过得到目标对象的具体位置信息可以表明目标对象在图中的具体位置，便于后续将当前帧图像的目标对象和关联帧图像的目标对象进行目标匹配和跟踪。其中，所述目标位置信息在图中可显示为一坐标框，根据该坐标框，可对目标对象进行第一层初匹配，该坐标框可作为后续特征匹配的约束条件，有效避免了全图环境下的信息干扰，降低了目标跟踪错误的概率。
S206，通过预设的特征属性对照表，获取与所述目标描述特征对应的目标向量特征；
根据本发明一实施例，步骤S206，通过预设的特征属性对照表，获取与所述目标描述特征对应的目标向量特征，包括：
S2062，将所述目标描述特征分解为多个子目标描述特征；
S2064，通过预设的特征属性对照表，分别为每个子目标描述特征分配对应的特征类别属性；
S2066，从所述特征类别属性中为所述每个子目标描述特征获取对应的目标属性值，其中所述特征属对照性表中的每个所述特征类别属性预设一目标属性范围；
S2068，将所述多个子目标描述特征的所有所述目标属性值作为所述目标描述特征的所述目标向量特征。
具体的，以文本描述“一只趴在路上的黄色狗”为例，首先将该目标描述特征分解为:扒着、在路上、黄色、狗4个子目标描述特征；根据所述预设的特征属性对照表，分别为上述4个子目标描述特征分配行为类别属性、环境类别属性、颜色类别属性以及对象类别属性4种特征类别属性；其中，在所述特征属性对照表中预设多种特征类别属性并且每种特征类别属性预设一目标属性范围，在本例中，行为类别属性的目标属性范围为：静止、行走、奔跑、爬行、趴着、躺着、行驶、跳跃八种，即对应属性值1到8；环境类别属性的目标属性范围为：在车上、在草坪上、在路上三种，即对应属性值1到3；颜色类别属性的目标属性范围为：赤、橙、黄、绿、青、蓝、紫七种，即对应属性值1到7；对象类别属性的目标属性范围为：人、机动车、非机动车、猫、狗五种，即对应属性值1到5，因此，通过从所述特征类别属性中为扒着、在路上、黄色、狗4个子目标描述特征分别获取对应的目标属性值，即5、3、3、5，则得到所述目标描述特征的所述目标向量特征为[5,3,3,5]。
值得一提的是，所述特征属性对照表的内容包括特征类别属性和目标属性范围，可以根据需要描述的目标对象进行不断扩充和修改，以不断丰富和细化目标描述特征对应的所述目标向量特征，从而给目标对象更具体且唯一的特征，该精细化的目标向量特征使得后续的目标跟踪更加精准，提高了目标跟踪的准确率。
S208，基于所述目标位置信息和所述目标向量特征，对所述目标对象进行目标关联匹配，得到目标关联关系，根据所述目标关联关系得到目标跟踪结果。
根据本发明一实施例，步骤S208包括：
S2082，基于所述目标位置信息，确定目标关联区域；
S2084，基于所述目标关联区域和所述目标向量特征对所述目标对象进行目标关联匹配，得到目标关联关系；
S2086，根据所述目标关联关系，得到所述目标跟踪结果。
根据本发明一实施例，步骤S2082，基于所述目标位置信息，确定目标关联区域，包括：根据所述目标对象的当前位置，确定关联帧图像中所述目标对象的所述目标关联区域。
根据本发明一实施例，步骤S2084，基于所述目标关联区域和所述目标向量特征对所述目标对象进行目标关联匹配，得到目标关联关系，包括：
S20842，基于所述目标关联区域，确定所述目标关联区域中所有关联对象；
S20844，基于所述目标向量特征和所述所有关联对象进行目标关联匹配，得到多组关联关系；
S20846，基于所述多组关联关系确定所述目标关联关系。
具体的，在单目标跟踪的应用场景中，基于当前帧图像中的目标对象的所述目标位置信息，在关联帧图像上同样的坐标位置周围获取一定倍数大小的矩形对比图像，例如，在历史帧图像上抠取两倍大小的矩形对比图像，通过上述步骤S202~S206，同样获取该矩形对比图像中的目标向量特征（一个或多个）作为对比目标向量特征，通过对比目标向量特征和多个对比目标向量特征，得到多组所述目标关联关系，从所述多组所述目标关联关系中选取匹配程度最高的一组为目标关联关系，则对应的所述目标跟踪结果为目标关联关系中的两个目标对象为同一目标对象，赋予同一对象ID。值得一提的是，单目标跟踪的场景下只用对指定目标对象进行跟踪，通常情况下，该目标对象前后帧移动距离有限，就目标关联区域进行搜索，可以降低跟踪时间，同时可以避免远处相似物体的干扰。
根据本发明另一实施例，步骤S208包括：
S2082a，基于所述目标位置信息，确定目标关联区域,基于所述目标关联区域和所述初始图像特征对所述目标对象进行初次目标关联匹配，得到初次目标关联结果；
S2084a，基于所述初次目标关联结果，通过所述目标向量特征对所述目标对象进行二次目标关联匹配，得到目标关联关系；
S2086a，根据所述目标关联关系，得到所述目标跟踪结果。
其中，在多目标跟踪的应用场景中，可以用关联帧图像中目标对象坐标框之间的IoU（Intersection over Union）做初次关联匹配，用目标向量特征对目标对象做二次关联匹配，来完成多目标对象的跟踪。具体的，初次关联匹配是基于检测的跟踪方法中的通用匹配方式，用前后帧的目标框计算IoU，用匈牙利算法来做匹配，从而确定当前帧检测框和历史帧跟踪框的初步对应关系；二次关联匹配是对初次关联匹配中不确定的关联关系再通过目标向量特征计算距离，进行二次确认，以得到匹配度和准确度较高的目标关联关系。
本发明的实施例中提供的目标跟踪方法，通过目标向量特征在关联帧图像中进行目标跟踪，让目标跟踪的精确度更高，相比现有方法，具有更强的鲁棒性，可以适用于更多的复杂环境，解决了目标特征不足时目标容易跟丢和跟错的问题。
根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
在本实施例中还提供了一种目标跟踪装置，该装置用于实现前述多个方法实施例中相应的目标跟踪方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外本实施例的数据处理装置的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
根据本发明另一实施例，参考图3，提供一种目标跟踪装置，包括：
第一特征获取模块30，用于获取待检测图像，并基于所述待检测图像提取初始图像特征；
根据本发明一实施例，所述第一特征获取模块30，包括：
第一区域获取单元302，用于在所述待检测图像中获取每个目标对象的初始候选区域；
第一特征获取单元304，用于基于所述每个目标对象的所述初始候选区域，确定所述每个目标对象对应的所述初始图像特征。
根据本发明一实施例，所述目标跟踪装置还包括一第二特征获取模块40，用于基于所述初始图像特征，得到目标对象的目标位置信息和目标描述特征；
根据本发明一实施例，所述第二特征获取模块40，包括：
第二位置获取单元402，用于基于所述初始图像特征，得到所述目标对象的所述目标位置信息；
第二特征获取单元404，用于基于所述初始图像特征和所述目标位置信息，确定所述目标对象的所述目标描述特征。
根据本发明一实施例，所述目标跟踪装置还包括一第三特征获取模块50，用于通过预设的特征属性对照表，获取与所述目标描述特征对应的目标向量特征；
根据本发明一实施例，所述第三特征获取模块50，包括：
特征分解单元502，用于将所述目标描述特征分解为多个子目标描述特征；
特征分类单元504，用于通过预设的特征属性对照表，分别为每个子目标描述特征分配对应的特征类别属性；
特征赋值单元506，用于从所述特征类别属性中为所述每个子目标描述特征获取对应的目标属性值，其中所述特征属对照性表中的每个所述特征类别属性预设一目标属性范围；
目标向量特征获取单元508，用于将所述多个子目标描述特征的所有所述目标属性值作为所述目标描述特征的所述目标向量特征。
根据本发明一实施例，所述目标跟踪装置还包括一目标跟踪模块60，用于基于所述目标位置信息和所述目标向量特征，对所述目标对象进行目标关联匹配，得到目标关联关系，根据所述目标关联关系得到目标跟踪结果。
根据本发明一实施例，所述目标跟踪模块60，包括：
目标关联区域确定单元602，用于基于所述目标位置信息，确定目标关联区域；
目标关联关系获取单元604，用于基于所述目标关联区域和所述目标向量特征对所述目标对象进行目标关联匹配，得到目标关联关系；
跟踪结果确认单元606，用于根据所述目标关联关系，得到所述目标跟踪结果。
其中，在本发明一实施例中，所述目标关联关系获取单元604，包括：
关联对象获取子单元6042，用于基于所述目标关联区域，确定所述目标关联区域中所有关联对象；
目标关联匹配子单元6044，用于基于所述目标向量特征和所述所有关联对象进行目标关联匹配，得到多组关联关系；
目标关联关系获取子单元6046，用于基于所述多组关联关系确定所述目标关联关系。
根据本发明另一实施例，所述目标跟踪模块60，包括：
初次目标关联匹配单元602a，用于基于所述目标位置信息，确定目标关联区域,基于所述目标关联区域和所述初始图像特征对所述目标对象进行初次目标关联匹配，得到初次目标关联结果；
二次目标关联匹配单元604a，用于基于所述初次目标关联结果，通过所述目标向量特征对所述目标对象进行二次目标关联匹配，得到目标关联关系；
跟踪结果确认单元606a，用于根据所述目标关联关系，得到所述目标跟踪结果。
本发明的实施例中提供的目标跟踪装置，通过目标向量特征在关联帧图像中进行目标跟踪，让目标跟踪的精确度更高，相比现有方法，具有更强的鲁棒性，可以适用于更多的复杂环境，解决了目标特征不足时目标容易跟丢和跟错的问题。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种目标跟踪方法，其特征在于，包括：
获取待检测图像，并基于所述待检测图像提取初始图像特征；
基于所述初始图像特征，得到目标对象的目标位置信息和目标描述特征；
通过预设的特征属性对照表，获取与所述目标描述特征对应的目标向量特征；
基于所述目标位置信息和所述目标向量特征，对所述目标对象进行目标关联匹配，得到目标关联关系，根据所述目标关联关系得到目标跟踪结果；
其中，通过预设的特征属性对照表，获取与所述目标描述特征对应的目标向量特征，包括：
将所述目标描述特征分解为多个子目标描述特征；
通过预设的特征属性对照表，分别为每个子目标描述特征分配对应的特征类别属性；
从所述特征类别属性中为所述每个子目标描述特征获取对应的目标属性值，其中所述特征属性对照表中的每个所述特征类别属性预设一目标属性范围；
将所述多个子目标描述特征的所有所述目标属性值作为所述目标描述特征的所述目标向量特征。
2.根据权利要求1所述的方法，其特征在于，获取待检测图像，并基于所述待检测图像提取初始图像特征，包括：
在所述待检测图像中获取每个目标对象的初始候选区域；
基于所述每个目标对象的所述初始候选区域，确定所述每个目标对象对应的所述初始图像特征。
3.根据权利要求1所述的方法，其特征在于，基于所述初始图像特征，得到目标对象的目标位置信息和目标描述特征，包括：
基于所述初始图像特征，得到所述目标对象的所述目标位置信息；
基于所述初始图像特征和所述目标位置信息，确定所述目标对象的所述目标描述特征。
4.根据权利要求1所述的方法，其特征在于，基于所述目标位置信息和所述目标向量特征，对所述目标对象进行目标关联匹配，得到目标关联关系，根据所述目标关联关系得到目标跟踪结果，包括：
基于所述目标位置信息，确定目标关联区域；
基于所述目标关联区域和所述目标向量特征对所述目标对象进行目标关联匹配，得到目标关联关系；
根据所述目标关联关系，得到所述目标跟踪结果。
5.根据权利要求1所述的方法，其特征在于，基于所述目标位置信息和所述目标向量特征，对所述目标对象进行目标关联匹配，得到目标关联关系，根据所述目标关联关系得到目标跟踪结果，包括：
基于所述目标位置信息，确定目标关联区域,基于所述目标关联区域和所述初始图像特征对所述目标对象进行初次目标关联匹配，得到初次目标关联结果；
基于所述初次目标关联结果，通过所述目标向量特征对所述目标对象进行二次目标关联匹配，得到目标关联关系；
根据所述目标关联关系，得到所述目标跟踪结果。
6.根据权利要求4所述的方法，其特征在于，基于所述目标关联区域和所述目标向量特征对所述目标对象进行目标关联匹配，得到目标关联关系，包括：
基于所述目标关联区域，确定所述目标关联区域中所有关联对象；
基于所述目标向量特征和所述所有关联对象进行目标关联匹配，得到多组关联关系；
基于所述多组关联关系确定所述目标关联关系。
7.一种目标跟踪装置，其特征在于，包括：
第一特征获取模块，用于获取待检测图像，并基于所述待检测图像提取初始图像特征；
第二特征获取模块，用于基于所述初始图像特征，得到目标对象的目标位置信息和目标描述特征；
第三特征获取模块，用于通过预设的特征属性对照表，获取与所述目标描述特征对应的目标向量特征；
目标跟踪模块，用于基于所述目标位置信息和所述目标向量特征，对所述目标对象进行目标关联匹配，得到目标关联关系，根据所述目标关联关系得到目标跟踪结果；
其中，所述第三特征获取模块，包括：
特征分解单元，用于将所述目标描述特征分解为多个子目标描述特征；
特征分类单元，用于通过预设的特征属性对照表，分别为每个子目标描述特征分配对应的特征类别属性；
特征赋值单元，用于从所述特征类别属性中为所述每个子目标描述特征获取对应的目标属性值，其中所述特征属性对照表中的每个所述特征类别属性预设一目标属性范围；
目标向量特征获取单元，用于将所述多个子目标描述特征的所有所述目标属性值作为所述目标描述特征的所述目标向量特征。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
CN202210780846.6A 2022-07-05 2022-07-05 一种目标跟踪方法、装置、存储介质及电子装置 Active CN115100244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210780846.6A CN115100244B (zh) 2022-07-05 2022-07-05 一种目标跟踪方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210780846.6A CN115100244B (zh) 2022-07-05 2022-07-05 一种目标跟踪方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN115100244A CN115100244A (zh) 2022-09-23
CN115100244B true CN115100244B (zh) 2023-04-07

Family

ID=83296199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210780846.6A Active CN115100244B (zh) 2022-07-05 2022-07-05 一种目标跟踪方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN115100244B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910422A (zh) * 2019-11-13 2020-03-24 北京环境特性研究所 目标跟踪方法、装置、电子设备和可读存储介质
CN113177972A (zh) * 2021-05-20 2021-07-27 杭州华橙软件技术有限公司 一种对象跟踪方法、装置、存储介质及电子装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146921B (zh) * 2018-07-02 2021-07-27 华中科技大学 一种基于深度学习的行人目标跟踪方法
CN111161320B (zh) * 2019-12-30 2023-05-19 浙江大华技术股份有限公司 一种目标跟踪方法、目标跟踪装置及计算机可读介质
CN112528812A (zh) * 2020-12-04 2021-03-19 京东方科技集团股份有限公司 行人跟踪的方法、行人跟踪装置以及行人跟踪系统
CN114170545A (zh) * 2021-11-12 2022-03-11 上海闪马智能科技有限公司 一种数据处理方法、装置、存储介质及电子装置
CN114155408A (zh) * 2021-12-08 2022-03-08 中国电信股份有限公司 图像生成方法、装置与电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910422A (zh) * 2019-11-13 2020-03-24 北京环境特性研究所 目标跟踪方法、装置、电子设备和可读存储介质
CN113177972A (zh) * 2021-05-20 2021-07-27 杭州华橙软件技术有限公司 一种对象跟踪方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN115100244A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN111190939B (zh) 一种用户画像构建方法及装置
CN110378235B (zh) 一种模糊人脸图像识别方法、装置及终端设备
CN111212303B (zh) 视频推荐方法、服务器和计算机可读存储介质
CN110147722A (zh) 一种视频处理方法、视频处理装置及终端设备
US20190272645A1 (en) Systems and methods for performing instance segmentation
CN112614187A (zh) 回环检测方法、装置、终端设备和可读存储介质
CN112380955B (zh) 动作的识别方法及装置
CN113723176B (zh) 一种目标对象确定方法、装置、存储介质和电子装置
CN115100244B (zh) 一种目标跟踪方法、装置、存储介质及电子装置
CN112434049A (zh) 表格数据存储方法、装置、存储介质及电子装置
CN115563069B (zh) 基于人工智能的数据共享处理方法、系统及云平台
CN111191065A (zh) 一种同源图像确定方法及装置
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN114724011B (zh) 一种行为的确定方法、装置、存储介质及电子装置
CN113536111B (zh) 保险知识内容的推荐方法、装置和终端设备
CN113591767A (zh) 图像识别评估值的确定方法及装置、存储介质、电子装置
CN113469130A (zh) 一种遮挡目标检测方法、装置、存储介质及电子装置
CN112580750A (zh) 图像识别方法、装置、电子设备及存储介质
CN111860344A (zh) 确定图像中目标对象数量的方法及装置
CN111832369A (zh) 一种图像识别方法、装置及电子设备
CN111340092B (zh) 一种目标关联处理方法及装置
CN114038197B (zh) 场景状态的确定方法、装置、存储介质及电子装置
CN111898462B (zh) 对象属性的处理方法、装置、存储介质以及电子装置
CN111145212B (zh) 一种目标追踪处理方法及装置
CN111832559B (zh) 目标检测方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant