CN114170269B - 一种基于时空相关性的多目标跟踪方法、设备及存储介质 - Google Patents

一种基于时空相关性的多目标跟踪方法、设备及存储介质 Download PDF

Info

Publication number
CN114170269B
CN114170269B CN202111368993.4A CN202111368993A CN114170269B CN 114170269 B CN114170269 B CN 114170269B CN 202111368993 A CN202111368993 A CN 202111368993A CN 114170269 B CN114170269 B CN 114170269B
Authority
CN
China
Prior art keywords
pedestrian
target
frame image
image
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111368993.4A
Other languages
English (en)
Other versions
CN114170269A (zh
Inventor
尼秀明
张卡
何佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Qingxin Internet Information Technology Co ltd
Original Assignee
Anhui Qingxin Internet Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Qingxin Internet Information Technology Co ltd filed Critical Anhui Qingxin Internet Information Technology Co ltd
Priority to CN202111368993.4A priority Critical patent/CN114170269B/zh
Publication of CN114170269A publication Critical patent/CN114170269A/zh
Application granted granted Critical
Publication of CN114170269B publication Critical patent/CN114170269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明的一种基于时空相关性的多目标跟踪方法、设备及存储介质，包括以下步骤，对于任意给出的一帧行人图像，组成运动图像对送入训练好的深度神经网络跟踪模型，直接输出行人目标在当前帧图像和前一帧图像中的位置，以此循环执行，实现多行人目标的连续跟踪；所述深度神经网络跟踪模型包括特征提取模块backbone module、检测跟踪模块detect‑track module，更新模块update module，其中，更新模块update module不参与训练，只在测试时起作用；本发明借助一个具有自适应时空相关性的深度神经网络模型，直接端对端的完成多目标跟踪过程，通用性强，实时性高，误差来源更少，可长时间跟踪，跟踪效果鲁棒性强。

Description

一种基于时空相关性的多目标跟踪方法、设备及存储介质
技术领域
本发明涉及目标跟踪技术领域，具体涉及一种基于时空相关性的多目标跟踪方法、设备及存储介质。
背景技术
目标跟踪是指根据感兴趣目标在前一帧图像中的边界位置，依据时空关联性确定该目标在当前帧图像中边界位置，它是计算机视觉领域的核心技术，应用领域非常广泛，是许多下游应用的必备技术，例如，动作分析、行为识别、监控和人机交互等。
目前，目标跟踪技术主要分为2大类，具体如下：
1、基于传统技术的目标跟踪技术，代表技术主要有卡尔曼滤波跟踪、光流法跟踪、模板匹配跟踪，TLD跟踪、CT跟踪、KCF跟踪等，该类技术的优点是原理简单，运行速度较快，在较简单场景下可以取得不错的效果，适合短时跟踪，其不足的地方是鲁棒性较差，在稍微复杂些的场景下易跟丢目标和跟错目标，无法适应长时间跟踪
2、基于深度学习技术的目标跟踪技术，该类技术主要采用目标检测加目标匹配的策略完成目标跟踪过程，其过程是借助强大的基于深度学习目标检测框架(如：faster-rcnn、ssd、yolo)先定位出每帧图像中的目标位置，然后借助最近邻匹配算法或特征向量匹配算法进行前后帧图像的相同目标的关联，进而完成目标跟踪过程。该类技术的优点是鲁棒性较强，能够进行较长时间的跟踪，其缺点是过度依赖目标检测框架、目标运行速度不能太快、两步算法叠加较耗时。
针对当前的目标跟踪技术的不足，本发明另辟蹊径，在基于深度学习的目标检测框架中，融入目标匹配策略，在几乎不增加任何计算代价下，能够实现端到端的目标检测跟踪。
发明内容
本发明提出的一种基于时空相关性的多目标跟踪方法、设备及存储介质，可至少解决上述技术问题之一。
为实现上述目的，本发明采用了以下技术方案：
一种基于时空相关性的多目标跟踪方法，包括：
对于任意给出的一帧行人图像，组成运动图像对送入训练好的深度神经网络跟踪模型，直接输出行人目标在当前帧图像和前一帧图像中的位置，以此循环执行，实现多行人目标的连续跟踪；
所述深度神经网络跟踪模型包括特征提取模块backbone module、检测跟踪模块detect-track module，更新模块update module，其中，更新模块update module不参与训练，只在测试时起作用；
其中，特征提取模块backbone module，用于获取输入图像对的满足设定要求的高层特征；所述特征提取网络的输入是运动图像对，该运动图像对是由2幅图像分辨率为320×320的3通道RGB图像组成，其中，一幅图像是当前帧图像，一幅是前一帧图像；concat是拼接层，作用是把输入的2幅3通道RGB图像按照通道维度拼接成一幅相同分辨率的6通道图像；backbone是yolov4-tiny的主干网络，FPN是特征金字塔网络，用来融合不同尺度的特征，具体网络结构和yolov4-tiny相同；out_feature1、out_feature2是特征提取模块的输出特征层，用于后续的行人目标的检测和跟踪，其中，out_feature1的特征图尺寸是20x20x384，out_feature2的特征图尺寸是10x10x256；
检测跟踪模块detect-track module是在特征提取模块输出特征图的基础上，预测出当前帧图像中的行人目标位置以及该行人目标在上一帧图像中的位置；具体网络结构包括dtconv1_0,dtconv2_0均是核尺寸为3x3,跨度为1x1的卷积层，dtconv1_1,dtconv2_1均是核尺寸为1x1,跨度为1x1的卷积层；dtyolo层是行人目标信息解析层，用于提取有效的行人目标信息，只在测试时起作用，dtyolo层的特征图分辨率是Nx11，其中，N表示检测到行人目标数目，11表示每个行人目标用11维特征向量表示，其中前5维特征值和yolov4-tiny中输出的目标位置信息定义相同，表示当前帧图像中存在行人目标的概率以及该行人目标的位置；第6维特征值到第10维特征值也和yolov4-tiny中输出的目标位置信息定义相同，表示前一帧图像中存在行人目标的概率以及该行人目标的位置；第11维特征值表示当前帧图像中的行人目标和前一帧图像中相对应的行人目标的关联程度；
更新模块update module是根据检测跟踪模块的输出信息，获取前一帧图像中的行人目标和当前帧图像中的行人目标的相关联程度，以此更新跟踪记录。
进一步的，所述更新模块update module的具体步骤如下：
S131、获取运动图像对中行人目标的跟踪状态，根据检测跟踪模块输出的每个运动图像对的预测信息，判断当前帧图像中每个行人目标是新出现的目标，还是前一帧图像中已有目标；具体的方法是：对于运动图像对的每一个输出行人目标预测信息，根据当前帧图像中行人目标存在的概率probc、前一帧图像中对应的行人目标存在的概率probb、以及当前帧图像中的行人目标和前一帧图像中相对应的行人目标的关联程度simcb，联合判断当前帧图像中每个行人目标的跟踪状态，具体判断方法是，当probc、probb、simcb公式(1)的关系时，表示当前行人目标是前一帧图像中的已有目标，即当前行人目标被成功跟踪；当probc、probb、simcb公式(2)的关系时，表示当前行人目标是新出现的新有目标；当probc、probb、simcb公式(3)的关系时，表示前一帧图像中的行人目标消失在视频画面中，即该行人目标在当前帧图像中消失了；
其中，Tobj、Tsim分别表示行人目标存在的阈值和运动图像对中存在相同行人目标的阈值；
S132、更新跟踪记录，根据步骤S131中获取的当前帧图像中的每个行人目标的跟踪状态，对于被成功跟踪的行人目标和新出现的行人目标，更新该行人目标位置信息的跟踪记录，对于消失在当前帧图像中的行人目标，应删除相应的跟踪记录。
进一步的，所述深度神经网络跟踪模型的训练步骤如下：
S21、收集行人视频，具体收集各种场景，各种光线、各种角度下的行人视频；
S22、标注行人运动位置信息，具体标注视频中每一帧图像中的行人位置信息以及不同帧运动图像对之间的关联信息；
S23、训练深度神经网络模型，把整理好的运动图像对集合送入定义好的深度神经网络模型，学习相关的模型参数；
网络模型训练时的损失函数L如公式(4)所示，Lcloc表示运动图像对中后一帧图像中行人目标位置的损失函数，Lbloc表示运动图像对中前一帧图像中行人目标位置的损失函数，Lcloc和Lbloc的意义和yolov4-tiny中的损失函数意义保持相同，Ls表示运动图像对中行人目标的关联程度损失函数，该损失函数采用的是均方差损失函数，α、β表示加权系数；
L＝α(Lcloc+Lbloc)/2+βLs (4)
进一步的，所述S22、标注行人运动位置信息，具体步骤如下：
S221、标注行人目标位置信息，使用现有的基于深度学习的行人检测框架获取视频中每一帧图像中的行人位置作为行人位置信息；
S222、组建运动图像对，把视频变成图像序列，在任意连续的120帧图像内，任意选择两幅图像作为当前帧图像或称为后一帧图像和前一帧图像，一起组成运动图像对；
S223、获取运动图像对中行人目标的关联性信息，对于每一个运动图像对进行人工审核，判断该运动图像对的前后帧图像中是否存在相同的行人目标，如果存在相同的行人目标，则计算该行人目标在前后帧图像中的位置关联度，该关联度表示方法采用相似性度量函数；
S224、获取行人运动位置信息，合并运动图像对中每一个行人目标在前后两帧图像中的位置信息以及关联性信息，最终每一个行人目标的位置运动信息由一个9维的特征向量表示，其中，前4维特征值表示行人目标在当前帧图像中的位置矩形信息，和yolov4-tiny的每个目标的标注信息意义相同，第5维特征值到第8维特征值也和yolov4-tiny中的每个目标的标注信息意义相同，表示行人目标在前一帧图像中的位置矩形信息，第9维特征值表示当前帧图像中的行人目标和前一帧图像中相对应的行人目标的关联程度，采用IOU度量方法。
进一步的，步骤S224中对于每一个行人目标的位置运动信息，如果该目标只在运动图像对的某一幅图像中出现，那么该目标在另外一幅图像中的位置矩形信息均标注为0，相应的关联程度也设为0。
进一步的，所述深度神经网络跟踪模型的使用步骤如下：
S31、选择初始跟踪图像，任意选择一帧行人图像，作为前一帧图像；
S32、预测当前帧图像的行人位置运动信息，把前一帧图像和当前帧图像组成运动图像对，送入深度神经网络模型，直接预测出当前帧图像中的所有行人目标位置以及该行人目标在前一帧图像中的位置信息；
S33、更新待跟踪行人目标位置，根据步骤S32中预测的行人目标位置信息，借助更新模块update module，获取新的前一帧图像及新的已有行人目标；
S34、持续跟踪，重复步骤S32到S34，实现行人目标的持续跟踪。
另一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述方法的步骤。
再一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
由上述技术方案可知，本发明的基于时空相关性的多目标跟踪方法具有以下有益效果：
本发明借助一个具有自适应时空相关性的深度神经网络模型，直接端对端的完成多目标跟踪过程，无需外部人工干预，模型自适应的发掘输入图像的运动相关性，自动完成跟踪过程，通用性强，实时性高，误差来源更少，可长时间跟踪，跟踪效果鲁棒性强。
附图说明
图1是本发明深度神经网络模型总体结构图；
图2是特征提取模块的网络结构图；
图3是检测跟踪模块的网络结构图；
其中，每一个神经网络结构层图形左侧的标识，表示该网络结构的输出特征图尺寸：特征图宽度×特征图高度×特征图通道数。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1所示，本实施例所述的基于时空相关性的多目标跟踪方法，包括以下步骤：
S1、设计深度神经网络模型，本发明设计的深度神经网络模型，其主要作用是借助一个具有自适应时空相关性的深度神经网络模型，直接完成每帧图像中行人目标的检测跟踪，由于不再刻意区分行人检测定位和行人关联匹配等步骤，使得整个行人跟踪系统运算速度更快，误差来源更少，跟踪效果更加鲁棒。本发明采用的是卷积神经网络(CNN)，为了方便叙述本发明，定义一些术语：特征图分辨率指的是特征图高度×特征图宽度，特征图尺寸指的是特征图宽度×特征图高度×特征图通道数，核尺寸指的是核宽度×核高度，跨度指的是宽度方向跨度×高度方向跨度，另外，每一个卷积层后面均带有批量归一化层和非线性激活层。如图1所示，本发明所设计的深度神经网络模型包含三个模块：特征提取模块backbone module、检测跟踪模块detect-track module，更新模块update module，其中，更新模块update module不参与训练，只在测试时起作用。具体设计步骤如下：
S11、特征提取模块backbone module，特征提取模块主要用于获取输入图像对的具有高度抽象和丰富表达能力的高层特征，高层特征提取的质量直接影响后续行人目标跟踪的性能。特征提取模块可以采用任何一个常用的经典网络结构，为方便叙述，本发明采用和yolov4-tiny相同的特征提取模块，如图2所示，该特征提取网络的输入是运动图像对，该运动图像对是由2幅图像分辨率为320×320的3通道RGB图像组成，其中，一幅图像是当前帧图像，一幅是前一帧图像。concat是拼接层，主要作用是把输入的2幅3通道RGB图像按照通道维度拼接成一幅相同分辨率的6通道图像。backbone是yolov4-tiny的主干网络，FPN是特征金字塔网络，主要用来融合不同尺度的特征，具体网络结构和yolov4-tiny相同。out_feature1、out_feature2是特征提取模块的输出特征层，用于后续的行人目标的检测和跟踪，其中，out_feature1的特征图尺寸是20x20x384，out_feature2的特征图尺寸是10x10x256。
S12、检测跟踪模块detect-track module,检测跟踪模块主要是在特征提取模块输出特征图的基础上，预测出当前帧图像中的行人目标位置以及该行人目标在上一帧图像中的位置。本发明在yolov4-tiny的检测模块的基础上进行改进，具体网络结构如图3所示，dtconv1_0,dtconv2_0均是核尺寸为3x3,跨度为1x1的卷积层，dtconv1_1,dtconv2_1均是核尺寸为1x1,跨度为1x1的卷积层。dtyolo层是行人目标信息解析层，用于提取有效的行人目标信息，只在测试时起作用，dtyolo层的特征图分辨率是Nx11，其中，N表示检测到行人目标数目,11表示每个行人目标用11维特征向量表示，其中前5维特征值和yolov4-tiny中输出的目标位置信息定义相同，表示当前帧图像中存在行人目标的概率以及该行人目标的位置；第6维特征值到第10维特征值也和yolov4-tiny中输出的目标位置信息定义相同，表示前一帧图像中存在行人目标的概率以及该行人目标的位置；第11维特征值表示当前帧图像中的行人目标和前一帧图像中相对应的行人目标的关联程度。
S13、更新模块update module，更新模块主要是根据检测跟踪模块的输出信息，获取前一帧图像中的行人目标和当前帧图像中的行人目标的相关联程度，以此更新跟踪记录，具体的步骤如下：
S131、获取运动图像对中行人目标的跟踪状态，主要是根据检测跟踪模块输出的每个运动图像对的预测信息，判断当前帧图像中每个行人目标是新出现的目标，还是前一帧图像中已有目标。具体的方法是：对于运动图像对的每一个输出行人目标预测信息，根据当前帧图像中行人目标存在的概率probc、前一帧图像中对应的行人目标存在的概率probb、以及当前帧图像中的行人目标和前一帧图像中相对应的行人目标的关联程度simcb，联合判断当前帧图像中每个行人目标的跟踪状态，具体判断方法是，当probc、probb、simcb公式(1)的关系时，表示当前行人目标是前一帧图像中的已有目标，即当前行人目标被成功跟踪；当probc、probb、simcb公式(2)的关系时，表示当前行人目标是新出现的新有目标；当probc、probb、simcb公式(3)的关系时，表示前一帧图像中的行人目标消失在视频画面中，即该行人目标在当前帧图像中消失了。
其中，Tobj、Tsim分别表示行人目标存在的阈值和运动图像对中存在相同行人目标的阈值。
S132、更新跟踪记录，主要是根据步骤S131中获取的当前帧图像中的每个行人目标的跟踪状态，对于被成功跟踪的行人目标和新出现的行人目标，更新该
行人目标位置信息的跟踪记录，对于消失在当前帧图像中的行人目标，应删除相应的跟踪记录。
S2、训练深度神经网络模型，设计完成深度神经网络模型后，接下来就是收集各种情景下的行人视频图像，送入深度神经网络模型，学习相关的模型参数，具体步骤如下：
S21、收集行人视频，主要是收集各种场景，各种光线、各种角度下的行人视频。
S22、标注行人运动位置信息，主要是标注视频中每一帧图像中的行人位置信息以及不同帧运动图像对之间的关联信息，具体步骤如下：
S221、标注行人目标位置信息，主要方法是使用现有的基于深度学习的行人检测框架获取视频中每一帧图像中的行人位置作为行人位置信息。
S222、组建运动图像对，主要是把视频变成图像序列，在任意连续的120帧图像内，任意选择两幅图像作为当前帧图像(或称为后一帧图像)和前一帧图像，一起组成运动图像对。
S223、获取运动图像对中行人目标的关联性信息，主要方法是对于每一个运动图像对进行人工审核，判断该运动图像对的前后帧图像中是否存在相同的行人目标，如果存在相同的行人目标，则计算该行人目标在前后帧图像中的位置关联度，该关联度表示方法可以采用任意的相似性度量函数，本实施例中采用的是常用的IOU函数；
S224、获取行人运动位置信息，合并运动图像对中每一个行人目标在前后两帧图像中的位置信息以及关联性信息，最终每一个行人目标的位置运动信息由一个9维的特征向量表示，其中，前4维特征值表示行人目标在当前帧图像中的位置矩形信息，和yolov4-tiny的每个目标的标注信息意义相同，第5维特征值到第8维特征值也和yolov4-tiny中的每个目标的标注信息意义相同，表示行人目标在前一帧图像中的位置矩形信息，第9维特征值表示当前帧图像中的行人目标和前一帧图像中相对应的行人目标的关联程度，采用IOU度量方法。需要说明的是，对于每一个行人目标的位置运动信息，如果该目标只在运动图像对的某一幅图像中出现，那么该目标在另外一幅图像中的位置矩形信息均标注为0，相应的关联程度也设为0。
S23、训练深度神经网络模型，把整理好的运动图像对集合送入定义好的深度神经网络模型，学习相关的模型参数。网络模型训练时的损失函数L如公式(4)所示，Lcloc表示运动图像对中后一帧图像中行人目标位置的损失函数，Lbloc表示运动图像对中前一帧图像中行人目标位置的损失函数，Lcloc和Lbloc的意义和yolov4-tiny中的损失函数意义保持相同，Ls表示运动图像对中行人目标的关联程度损失函数，该损失函数采用的是均方差损失函数，α、β表示加权系数。
L＝α(Lcloc+Lbloc)/2+βLs (4)
S3、使用深度神经网络模型，训练完深度神经网络模型后，接下来就是在实际环境中进行模型使用进行行人跟踪，对于任意给出的一帧行人图像，组成运动图像对送入训练好的深度神经网络模型，直接输出行人目标在当前帧图像和前一帧图像中的位置，以此循环执行，实现多行人目标的连续跟踪，具体步骤如下：
S31、选择初始跟踪图像，主要是任意选择一帧行人图像，作为前一帧图像。
S32、预测当前帧图像的行人位置运动信息，主要方法是把前一帧图像和当前帧图像组成运动图像对，送入深度神经网络模型，直接预测出当前帧图像中的所有行人目标位置以及该行人目标在前一帧图像中的位置信息。
S33、更新待跟踪行人目标位置，主要是根据步骤S32中预测的行人目标位置信息，借助更新模块update module，获取新的前一帧图像及新的已有行人目标。
S34、持续跟踪，重复步骤S32到S34，实现行人目标的持续跟踪。
综上所述，本发明实施例借助一个具有自适应时空相关性的深度神经网络模型，直接端对端的完成多目标跟踪过程，通用性强，实时性高，误差来源更少，可长时间跟踪，跟踪效果鲁棒性强。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述基于时空相关性的多目标跟踪方法；
上述电子设备提到的通信总线可以是外设部件互连标准(英文：PeripheralComponent Interconnect，简称：PCI)总线或扩展工业标准结构(英文：Extended IndustryStandard Architecture，简称：EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(英文：Random Access Memory，简称：RAM)，也可以包括非易失性存储器(英文：Non-Volatile Memory，简称：NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(英文：Central ProcessingUnit，简称：CPU)、网络处理器(英文：Network Processor，简称：NP)等；还可以是数字信号处理器(英文：Digital Signal Processing，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field-Programmable Gate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于时空相关性的多目标跟踪方法，其特征在于，包括以下步骤，
对于任意给出的一帧行人图像，组成运动图像对送入训练好的深度神经网络跟踪模型，直接输出行人目标在当前帧图像和前一帧图像中的位置，以此循环执行，实现多行人目标的连续跟踪；
所述深度神经网络跟踪模型包括特征提取模块backbone module、检测跟踪模块detect-track module，更新模块update module，其中，更新模块update module不参与训练，只在测试时起作用；
其中，特征提取模块backbone module，用于获取输入图像对的满足设定要求的高层特征；所述特征提取网络的输入是运动图像对，该运动图像对是由2幅图像分辨率为320×320的3通道RGB图像组成，其中，一幅图像是当前帧图像，一幅是前一帧图像；concat是拼接层，作用是把输入的2幅3通道RGB图像按照通道维度拼接成一幅相同分辨率的6通道图像；backbone是yolov4-tiny的主干网络，FPN是特征金字塔网络，用来融合不同尺度的特征，具体网络结构和yolov4-tiny相同；out_feature1、out_feature2是特征提取模块的输出特征层，用于后续的行人目标的检测和跟踪，其中，out_feature1的特征图尺寸是20x20x384，out_feature2的特征图尺寸是10x10x256；
检测跟踪模块detect-track module是在特征提取模块输出特征图的基础上，预测出当前帧图像中的行人目标位置以及该行人目标在上一帧图像中的位置；具体网络结构包括dtconv1_0,dtconv2_0均是核尺寸为3x3,跨度为1x1的卷积层，dtconv1_1,dtconv2_1均是核尺寸为1x1,跨度为1x1的卷积层；dtyolo层是行人目标信息解析层，用于提取有效的行人目标信息，只在测试时起作用，dtyolo层的特征图分辨率是Nx11，其中，N表示检测到行人目标数目，11表示每个行人目标用11维特征向量表示，其中前5维特征值和yolov4-tiny中输出的目标位置信息定义相同，表示当前帧图像中存在行人目标的概率以及该行人目标的位置；第6维特征值到第10维特征值也和yolov4-tiny中输出的目标位置信息定义相同，表示前一帧图像中存在行人目标的概率以及该行人目标的位置；第11维特征值表示当前帧图像中的行人目标和前一帧图像中相对应的行人目标的关联程度；
更新模块update module是根据检测跟踪模块的输出信息，获取前一帧图像中的行人目标和当前帧图像中的行人目标的相关联程度，以此更新跟踪记录。
2.根据权利要求1所述的基于时空相关性的多目标跟踪方法，其特征在于：所述更新模块update module的具体步骤如下：
S131、获取运动图像对中行人目标的跟踪状态，根据检测跟踪模块输出的每个运动图像对的预测信息，判断当前帧图像中每个行人目标是新出现的目标，还是前一帧图像中已有目标；具体的方法是：对于运动图像对的每一个输出行人目标预测信息，根据当前帧图像中行人目标存在的概率probc、前一帧图像中对应的行人目标存在的概率probb、以及当前帧图像中的行人目标和前一帧图像中相对应的行人目标的关联程度simcb，联合判断当前帧图像中每个行人目标的跟踪状态，具体判断方法是，当probc、probb、simcb公式(1)的关系时，表示当前行人目标是前一帧图像中的已有目标，即当前行人目标被成功跟踪；当probc、probb、simcb公式(2)的关系时，表示当前行人目标是新出现的新有目标；当probc、probb、simcb公式(3)的关系时，表示前一帧图像中的行人目标消失在视频画面中，即该行人目标在当前帧图像中消失了；
其中，Tobj、Tsim分别表示行人目标存在的阈值和运动图像对中存在相同行人目标的阈值；
S132、更新跟踪记录，根据步骤S131中获取的当前帧图像中的每个行人目标的跟踪状态，对于被成功跟踪的行人目标和新出现的行人目标，更新该行人目标位置信息的跟踪记录，对于消失在当前帧图像中的行人目标，应删除相应的跟踪记录。
3.根据权利要求2所述的基于时空相关性的多目标跟踪方法，其特征在于：所述深度神经网络跟踪模型的训练步骤如下：
S21、收集行人视频，具体收集各种场景，各种光线、各种角度下的行人视频；
S22、标注行人运动位置信息，具体标注视频中每一帧图像中的行人位置信息以及不同帧运动图像对之间的关联信息；
S23、训练深度神经网络模型，把整理好的运动图像对集合送入定义好的深度神经网络模型，学习相关的模型参数；
网络模型训练时的损失函数L如公式(4)所示，Lcloc表示运动图像对中后一帧图像中行人目标位置的损失函数，Lbloc表示运动图像对中前一帧图像中行人目标位置的损失函数，Lcloc和Lbloc的意义和yolov4-tiny中的损失函数意义保持相同，Ls表示运动图像对中行人目标的关联程度损失函数，该损失函数采用的是均方差损失函数，α、β表示加权系数；
L＝α(Lcloc+Lbloc)/2+βLs (4)。
4.根据权利要求3所述的基于时空相关性的多目标跟踪方法，其特征在于：
所述S22、标注行人运动位置信息，具体步骤如下：
S221、标注行人目标位置信息，使用现有的基于深度学习的行人检测框架获取视频中每一帧图像中的行人位置作为行人位置信息；
S222、组建运动图像对，把视频变成图像序列，在任意连续的120帧图像内，任意选择两幅图像作为当前帧图像或称为后一帧图像和前一帧图像，一起组成运动图像对；
S223、获取运动图像对中行人目标的关联性信息，对于每一个运动图像对进行人工审核，判断该运动图像对的前后帧图像中是否存在相同的行人目标，如果存在相同的行人目标，则计算该行人目标在前后帧图像中的位置关联度，该关联度表示方法采用相似性度量函数；
S224、获取行人运动位置信息，合并运动图像对中每一个行人目标在前后两帧图像中的位置信息以及关联性信息，最终每一个行人目标的位置运动信息由一个9维的特征向量表示，其中，前4维特征值表示行人目标在当前帧图像中的位置矩形信息，和yolov4-tiny的每个目标的标注信息意义相同，第5维特征值到第8维特征值也和yolov4-tiny中的每个目标的标注信息意义相同，表示行人目标在前一帧图像中的位置矩形信息，第9维特征值表示当前帧图像中的行人目标和前一帧图像中相对应的行人目标的关联程度，采用IOU度量方法。
5.根据权利要求4所述的基于时空相关性的多目标跟踪方法，其特征在于：
步骤S224中对于每一个行人目标的位置运动信息，如果该目标只在运动图像对的某一幅图像中出现，那么该目标在另外一幅图像中的位置矩形信息均标注为0，相应的关联程度也设为0。
6.根据权利要求5所述的基于时空相关性的多目标跟踪方法，其特征在于：所述深度神经网络跟踪模型的使用步骤如下：
S31、选择初始跟踪图像，任意选择一帧行人图像，作为前一帧图像；
S32、预测当前帧图像的行人位置运动信息，把前一帧图像和当前帧图像组成运动图像对，送入深度神经网络模型，直接预测出当前帧图像中的所有行人目标位置以及该行人目标在前一帧图像中的位置信息；
S33、更新待跟踪行人目标位置，根据步骤S32中预测的行人目标位置信息，借助更新模块update module，获取新的前一帧图像及新的已有行人目标；
S34、持续跟踪，重复步骤S32到S34，实现行人目标的持续跟踪。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
CN202111368993.4A 2021-11-18 2021-11-18 一种基于时空相关性的多目标跟踪方法、设备及存储介质 Active CN114170269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111368993.4A CN114170269B (zh) 2021-11-18 2021-11-18 一种基于时空相关性的多目标跟踪方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111368993.4A CN114170269B (zh) 2021-11-18 2021-11-18 一种基于时空相关性的多目标跟踪方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114170269A CN114170269A (zh) 2022-03-11
CN114170269B true CN114170269B (zh) 2024-04-12

Family

ID=80479585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111368993.4A Active CN114170269B (zh) 2021-11-18 2021-11-18 一种基于时空相关性的多目标跟踪方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114170269B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294176B (zh) * 2022-09-27 2023-04-07 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种双光多模型长时间目标跟踪方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563313A (zh) * 2017-08-18 2018-01-09 北京航空航天大学 基于深度学习的多目标行人检测与跟踪方法
CN111460926A (zh) * 2020-03-16 2020-07-28 华中科技大学 一种融合多目标跟踪线索的视频行人检测方法
CN111898504A (zh) * 2020-07-20 2020-11-06 南京邮电大学 一种基于孪生循环神经网络的目标跟踪方法及系统
CN112085767A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于深度光流跟踪的客流统计方法及系统
CN112750147A (zh) * 2020-12-31 2021-05-04 鹏城实验室 一种行人多目标跟踪方法、装置、智能终端及存储介质
US11048277B1 (en) * 2018-01-24 2021-06-29 Skydio, Inc. Objective-based control of an autonomous unmanned aerial vehicle
EP3869223A1 (en) * 2020-02-22 2021-08-25 Origin Wireless, Inc. System and method for wireless material sensing based on multipath channel information

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11340345B2 (en) * 2015-07-17 2022-05-24 Origin Wireless, Inc. Method, apparatus, and system for wireless object tracking
US10797863B2 (en) * 2017-12-28 2020-10-06 Intel Corporation Multi-domain cascade convolutional neural network
US10719744B2 (en) * 2017-12-28 2020-07-21 Intel Corporation Automated semantic inference of visual features and scenes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563313A (zh) * 2017-08-18 2018-01-09 北京航空航天大学 基于深度学习的多目标行人检测与跟踪方法
US11048277B1 (en) * 2018-01-24 2021-06-29 Skydio, Inc. Objective-based control of an autonomous unmanned aerial vehicle
EP3869223A1 (en) * 2020-02-22 2021-08-25 Origin Wireless, Inc. System and method for wireless material sensing based on multipath channel information
CN111460926A (zh) * 2020-03-16 2020-07-28 华中科技大学 一种融合多目标跟踪线索的视频行人检测方法
CN111898504A (zh) * 2020-07-20 2020-11-06 南京邮电大学 一种基于孪生循环神经网络的目标跟踪方法及系统
CN112085767A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于深度光流跟踪的客流统计方法及系统
CN112750147A (zh) * 2020-12-31 2021-05-04 鹏城实验室 一种行人多目标跟踪方法、装置、智能终端及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种基于CNN-AE特征提取的目标跟踪方法;殷鹤楠;佟国香;;软件导刊;20180529(06);全文 *
基于卷积神经网络检测的单镜头多目标跟踪算法;闵召阳;赵文杰;;舰船电子工程;20171220(12);全文 *
残差深度特征和漂移检测的核相关滤波跟踪;胡昭华;郑伟;钱坤;;控制理论与应用;20190409(04);全文 *

Also Published As

Publication number Publication date
CN114170269A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
CN108960090B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
WO2021087985A1 (zh) 模型训练方法、装置、存储介质及电子设备
CN110598558B (zh) 人群密度估计方法、装置、电子设备及介质
Kalsotra et al. Background subtraction for moving object detection: explorations of recent developments and challenges
WO2023010758A1 (zh) 一种动作检测方法、装置、终端设备和存储介质
CN110717881A (zh) 晶圆缺陷识别方法、装置、存储介质和终端设备
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN112150450A (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
Jiang et al. A self-attention network for smoke detection
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN112084952B (zh) 一种基于自监督训练的视频点位跟踪方法
CN112926531A (zh) 特征信息提取方法、模型训练方法、装置及电子设备
CN111414910B (zh) 基于双重卷积神经网络的小目标增强检测方法和装置
CN114170269B (zh) 一种基于时空相关性的多目标跟踪方法、设备及存储介质
CN115410030A (zh) 目标检测方法、装置、计算机设备及存储介质
CN111325181A (zh) 一种状态监测方法、装置、电子设备及存储介质
CN114170271B (zh) 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质
CN111753775B (zh) 鱼的生长评估方法、装置、设备及存储介质
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
CN113888604A (zh) 一种基于深度光流的目标跟踪方法
CN112084371A (zh) 一种电影多标签分类方法、装置、电子设备以及存储介质
Li et al. Deep video foreground target extraction with complex scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant