CN113034548B - 一种适用于嵌入式终端的多目标跟踪方法及其系统 - Google Patents

一种适用于嵌入式终端的多目标跟踪方法及其系统 Download PDF

Info

Publication number
CN113034548B
CN113034548B CN202110447750.3A CN202110447750A CN113034548B CN 113034548 B CN113034548 B CN 113034548B CN 202110447750 A CN202110447750 A CN 202110447750A CN 113034548 B CN113034548 B CN 113034548B
Authority
CN
China
Prior art keywords
target
network
frame
tracking
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110447750.3A
Other languages
English (en)
Other versions
CN113034548A (zh
Inventor
万森
程腾
刘子龙
张海涛
黄凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Keda Qingtian Technology Co ltd
Original Assignee
Anhui Keda Qingtian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Keda Qingtian Technology Co ltd filed Critical Anhui Keda Qingtian Technology Co ltd
Priority to CN202110447750.3A priority Critical patent/CN113034548B/zh
Publication of CN113034548A publication Critical patent/CN113034548A/zh
Application granted granted Critical
Publication of CN113034548B publication Critical patent/CN113034548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉领域，特别是一种适用于嵌入式终端的多目标跟踪方法及其系统。该方法包括如下步骤：S1：对视频进行分帧得到目标图像；S2：构建包括检测器和跟踪器多目标跟踪神经网络模型；检测器将骨干网络的特征提取网络替换为ShuffleNetV1；跟踪器采用Deep‑SORT网络作为基础网络，并使用ShuffleNetV1网络提取的特征作为部分输入；S3：对目标图像进行目标检测，获得目标检测框的集合；S4：对跟踪对象进行状态预测，获得目标跟踪框；S5：根据跟踪器和检测器的结果计算运动匹配度和特征匹配度，构建关联成本代价矩阵；S6：对关联代价进行级联匹配，确定跟踪结果，实现多目标跟踪过程。该方法解决了现有的多目标跟踪方法受到硬件设备限制，无法达到实时跟踪效果的问题。

Description

一种适用于嵌入式终端的多目标跟踪方法及其系统
技术领域
本发明涉及计算机视觉领域，特别是一种适用于嵌入式终端的多目标跟踪方法及其系统。
背景技术
在计算机视觉中，目标检测与目标跟踪属于交叉领域，目标检测是在图像和视频中扫描和搜寻目标，在一个场景中对目标进行定位和识别；而目标跟踪则是在给定了目标的初始状态后，对目标之后的位置和大小进行准确的预测，从而得到物体的运动状态。近些年，随着深度学习的不断发展，卷积神经网络被广泛用于目标检测和目标跟踪领域，并取得了很好的效果。
目标检测主要采用深度学习神经网络来完成，其中，YOLO系列算法和SSD算法是其中的代表；YOLOv4是YOLO系列算法的第四版本，经过了前三代的迭代，目前采用了最新的CSP和PANet的网络结构，拥有了更高的准确率，能达到接进于Two-Stage的精确度，且保证了一定的速度优势。多目标跟踪(Multiple Object Tracking,MOT)主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持他们的ID、记录他们的轨迹。随着深度学习的兴起，目标检测的准确性越来越高，基于深度学习的目标检测算法(Tracking ByDetecting)在实际工程落地也越来越广泛。多假设跟踪和联合概率数据关联过滤器引入单摄像机多目标跟踪，这些方法进行逐帧的数据关联，但是其复杂度较大，不易实现。随后，简单的在线和实时跟踪SORT算法被提出，它使用匈牙利算法衡量预测轨迹与跟踪目标之间的联系，并用关联度作为衡量边界框重叠的标准。SORT算法相对之前的算法在性能方面获得了较大提升，但是SORT算法的依然存在身份转换数量较多的缺点。
目前使用的各类基于目标检测的目标跟踪算法实现过程的计算量极大，模型的运行成本高昂。在基于检测的多目标跟踪方法中，需要对每帧画面进行检测，才能得到目标的运动轨迹。目标的位置是通过检测器得到的，对目标检测器的精确度要求极高，不能出现误检、漏检等情况，同时要求检测速度要快，能够在实时的视频流中得到精准的结果，并用于之后的追踪。
其中，以目前的YOLOv4为例，其采用CSPDarkNet53作为骨干网络，该网络包含53层卷积层，27.6M参数量，模型文件大小已经达到246M，复杂度很高。而基于检测的多目标跟踪方法Deep-SORT中，目标的位置是通过检测器得到的，而用于跟踪器的特征则是需要另外的卷积神经网络来提取，这也增加了计算的成本，降低了检测效率。基于上述原因，现有的各类多目标跟踪方法的模型通常非常庞大，虽然在具有高性能GPU的系统上可以达到较好的工程效果，但是模型的实时性依然存在不足，无法较好地完成对象的实时跟踪。此外，这些追踪方法通常也很难在基于ARM等架构的低性能的嵌入式终端设备上运行和实现，这极大地限制了多目标跟踪算法的应用。
发明内容
为克服现有技术中的问题，本发明提供一种改进的多目标跟踪方法，解决了现有的多目标跟踪方法受到硬件设备限制，无法达到实时跟踪效果的问题。
本发明的提供的技术方案如下：
一种适用于嵌入式终端的多目标跟踪方法，该多目标跟踪方法包括如下步骤：
S1：对监控跟踪对象的视频进行分帧得到若干连续帧图像，将获取的连续帧图像作为用于进行处理的目标图像；
S2：构建改进的多目标跟踪神经网络模型，多目标跟踪神经网络模型包括检测器和跟踪器；检测器采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征；
S3：使用改进后的检测器对目标图像进行目标检测，获得目标检测框的集合；
S4：在跟踪器中使用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框；
S5：根据跟踪器预测的轨迹状态和检测器中ShuffleNetV1网络提取到的特征，计算所有目标检测框和目标跟踪框之间的运动匹配度和特征匹配度，构建目标检测框和目标跟踪框之间的关联成本代价矩阵；
S6：对关联成本代价矩阵中的关联代价进行级联匹配，确定跟踪结果，实现多目标跟踪过程。
进一步地，ShuffleNetV1网络的结构包括依次连接的Stage1-Stage6阶段，其中，Stage1阶段包括依次连接的3×3卷积层和最大池化层；Stage2阶段包括依次连接的一层ShuffleNet unit1和三层ShuffleNet unit2；Stage3阶段包括依次连接的一层ShuffleNetunit1和七层ShuffleNet unit2；Stage4阶段包括依次连接的一层ShuffleNet unit1和三层ShuffleNet unit2；Stage5阶段包括全局池化层；Stage6阶段包括全连接层。
改进后的检测器中，使用ShuffleNetV1中的Stage2-3阶段的输出，替代原始骨干网络中CSPDarkNet53中的tage3-5阶段的输出；同时，将该输出结果做为YOLOv4中多尺度颈部网络SPP+PAN网络结构的输入，并保留做为预测结果部分的YOLO检测头部分。
进一步地，ShuffleNetV1网络中，ShuffleNet unit1是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层输入经过一次平均池化层后的输出进行Concat操作完成的；ShuffleNet unit2是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层的输入进行Add操作完成的。
进一步地，步骤S3中，目标检测框的获取过程包括如下步骤：
S31：将提取到的目标图像经过ShuffleNet网络处理，获得检测目标的三种不同分辨率的特征图；
S32：将获取的三种不同分辨率的特征图输入端YOLOv4网络中多尺度网络结构的特征金字塔模块中；Stage3阶段的特征图经过空间金字塔池化SPP网络输出，再将输出的结果与Stage1-2一起进入到路径汇聚PANet网络中，输出三个阶段中各层输出经过多尺度融合后的输出结果；
S33：针对多尺度融合后输出的不同尺度的特征，将低层次特征图的候选框设置为小尺寸候选框；将高层次特征图的候选框设置为大尺寸候选框；
S34：在YOLOv4网络的检测头部分，基于上步骤根据分辨率差异设置的候选框的尺寸；在不同尺度的特征图上进行目标位置回归和分类，从而得到目标检测框的集合。
进一步地，步骤S4中，获取目标跟踪框的过程包括如下步骤：
S41：使用改进后的YOLOv4网络获取到第一帧目标图像对应的目标检测框集合；
S42：为获取的目标检测框集合中的每个目标检测框分配一个卡尔曼滤波器；
S43：根据目标检测框中的目标状态信息，通过对应的卡尔曼滤波器依次对后一时刻帧的目标状态进行先验估计，进而获得当前时刻帧下目标跟踪框；当前时刻帧下目标跟踪框的获取过程包括状态估计和轨迹处理两个部分，其处理步骤如下：
S431：定义一个8维空间(u,v,r,h,x',y',r',h')，以所述8维空间表示对应目标所处的轨迹状态；
其中，u,v,r,h分别表示目标矩形框的中心点位置，且u,v表示目标中心点坐标，r是长宽比，h是高；x',y',r',h'四个参数分别代表目标对应的速度，即表示运动目标分别在u,v,r,h四个参数下的运动速度；
S432：使用卡尔曼滤波器对相应目标预测更新轨迹，完成所述状态估计过程；
其中，所述卡尔曼滤波器采用匀速模型和线性观测模型对目标进行轨迹更新，卡尔曼滤波器的观测变量为参数u、v、r和h；
S433：定义一个阈值a；使用阈值a记录轨迹从上一次成功匹配到当前时刻的时长；
S434：判断阈值a的时长与最大运行阈值Amax的关系：
(1)当a≤Amax，则认为该轨迹能够进行匹配，继续这段轨迹；
(2)当a＞Amax，则认为长时间匹配不上的轨迹已经结束，终止这段轨迹；
S435：将检测到的目标与轨迹进行首次试探性的匹配，标记在匹配过程中产生的冗余的新轨迹；
S436：观察对应目标在接下来连续的几帧内是否能够连续匹配成功，并作出判断：
(1)当能够匹配成功，则认为新轨迹产生，将其标注为confirmed；
(2)当不能连续匹配成功，则认为未产生新轨迹，将其标注为deleted；
完成所述轨迹处理部分。
进一步地，步骤S5中目标检测框和目标跟踪框之间的关联成本代价矩阵的构建过程包括如下步骤：
S51：设计运动匹配度和特征匹配度两种度量方式，对当前有效轨迹和当前检测到的目标之间的轨迹进行匹配；
S52：考虑到跟踪的目标ID的频繁交换现象，将运动匹配度定义为目标检测框和目标跟踪框之间的马氏距离，运动匹配度d(1)(i,j)计算公式如下：
Figure BDA0003037584570000041
上式中，d(1)(i,j)表示第j个检测框和第i条轨迹之间的运动匹配度；yi表示在当前时刻的预测观测量；dj表示检测到的目标当前轨迹状态；i表示轨迹；上标T为转置操作符；
S53：使用改进后YOLOv4网络中的骨干网络ShuffleNetV1提取的特征作为目标的特征向量，将特征匹配度定义为特征向量间的最小余弦距离，特征匹配度d(2)(i,j)的计算公式如下：
Figure BDA0003037584570000042
上式中，d(2)(i,j)表示第j个检测框和第i条轨迹之间的特征匹配度；Dj为对当前视频帧进行目标检测时，检测出的每一个目标检测框dj对应的特征向量；Yj为第i个卡尔曼滤波器上一次跟踪成功的目标跟踪框yj的特征向量；
S54：将两种度量方式结合，采用运动匹配度和表观相似度的线性叠加的总的关联代价作为最终关联度量相似度；关联代价di,j的计算公式如下：
di,j＝λd(1)(i,j)+(1-λ)d(2)(i,j)
上式中，λ表示用于调整两种相似度的权重的超参数；d(1)(i,j)表示运动匹配度；d(2)(i,j)表示特征匹配度。
进一步地，步骤S6中，关联代价的级联匹配过程包括如下步骤：
S61：根据跟踪器的设计，设置相似度阈值的确定值；
S62：比较相似度阈值与关联成本代价矩阵中的关联代价的值，做出如下判断：
(1)当相似度阈值大于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为一组跟踪结果；
(2)当相似度阈值小于等于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为不同组跟踪结果。
进一步地，多目标跟踪的全过程中，针对每一帧目标图像进行跟踪时，均会重新计算卡尔曼滤波器的增益，并将其更新至跟踪到的状态信息和协方差矩阵中。
本发明还包括一种适用于嵌入式终端的多目标跟踪系统，该系统采用如前述的适用于嵌入式终端的多目标跟踪方法，基于视频分帧后得到的连续的目标图像，对目标对象进行识别检测和连续跟踪；并对检测和跟踪的目标对象进行匹配和关联；该多目标跟踪系统包括：视频预处理模块、多目标跟踪神经网络模块、关联成本代价矩阵构建模块，以及级联匹配模块。
视频预处理模块用于对用于监控跟踪对象的视频进行分帧处理，将分帧处理后得到的连续帧图像作为进行多目标跟踪的目标图像，构成样本数据集。
多目标跟踪神经网络模块包括检测器子模块和跟踪器子模块；所述检测器子模块采用采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；所述跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征；所述检测器子模块用于对样本数据中连续的目标图像进行目标检测，获得目标检测框的集合；所述跟踪器用于采用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框。
关联成本代价矩阵构建模块用于构建目标检测框和目标跟踪框之间的关联成本代价矩阵；关联成本代价矩阵的构建过程中，首先根据跟踪器子模块预测的轨迹状态和检测器子模块中ShuffleNetV1网络提取到的特征进行计算获得目标检测框和目标跟踪框之间的运动匹配度和特征匹配度；然后根据运动匹配度和特征匹配度构建目标检测框和目标跟踪框之间的关联成本代价矩阵。
级联匹配模块用于根据匈牙利算法对关联成本代价矩阵中的关联代价进行级联匹配，得到当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标的关系，进而确定跟踪结果，实现多目标跟踪。
其中，本发明在提供的多目标跟踪系统既可以在采用GPU图形处理技术的通用计算机系统及其终端上完成开发、部署和运行；也可以在基于ARM架构的专用计算机系统及其嵌入式终端上完成开发、部署和运行。
本发明提供的一种适用于嵌入式终端的多目标跟踪方法及其系统，具有如下有益效果：
1、本发明改进了YOLOv4目标检测算法的骨干网络，将YOLO网络结构特征提取部分替换为轻量化网络ShuffleNetV1；有效地的降低了模型的参数计算的成本，提高算法的检测速度。由于改进后的方法的模型参数和处理过程中的计算规模明显降低，因此该方法可以在性能更低的终端设备上实现，系统该方法对系统的硬件性能更低，从而降低了设备的部署成本和运行成本，提高了工程实现的价值。
2、本发明还通过使用改进的YOLOv4目标检测网络骨干网络ShuffleNetV1提取到的特征，替代Deep-SORT中卷积神经网络进行特征提取；这进一步降低了系统的复杂度和处理计算量，减少本发明方法的计算成本，提升了整体算法的速度。
3、本发明提供的方法对于ARM架构的嵌入式系统也具有很好的适应性，能够这类非通用计算终端中运行，同时还能保持较高的实时性，这使得多目标跟踪算法在大量现有设备或系统的中应用带来了可能，能够在现有系统中完成升级和部署。具有更高的实用性和市场推广价值。
附图说明
图1是本实施例1中提供的一种适用于嵌入式终端的多目标跟踪方法的流程图；
图2是本实施例1中用于改进YOLOv4骨干网络的ShuffleNetV1网络模型的结构图表；
图3是本实施例1的ShuffleNetV1网络中ShuffleNet unit模块的结构示意图(图中左半部分为ShuffleNet unit2单元的结构示意图，图中左半部分为ShuffleNet unit1单元的结构示意图)；
图4是本实施例1中跟踪目标的运动轨迹预测图；
图5是本实施例2中提供的一种适用于嵌入式终端的多目标跟踪系统的模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种适用于嵌入式终端的多目标跟踪方法，该多目标跟踪方法包括如下步骤：
S1：对监控跟踪对象的视频进行分帧得到若干连续帧图像，将获取的连续帧图像作为用于进行处理的目标图像；
S2：构建改进的多目标跟踪神经网络模型，多目标跟踪神经网络模型包括检测器和跟踪器；检测器采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征。
传统的YOLOv4算法中的CSPDarkNet53骨干网络主要是作为一个图像分类网络而存在的，用于提取目标物体的特征，例如边缘信息、轮廓信息等。但是该骨干网络的规模太大，针对本实施例的技术问题性能和模块显得过于冗余，对检测器的性能提升作用不大；因此为降低模型的参数计算的成本，提高算法的检测速度，本实施例对YOLOv4的骨干网络进行改进。
其中如图2所示，替换后的ShuffleNetV1网络的结构具体包括依次连接的Stage1-Stage6阶段，其中，Stage1阶段包括依次连接的3×3卷积层和最大池化层；Stage2阶段包括依次连接的一层ShuffleNet unit1和三层ShuffleNet unit2；Stage3阶段包括依次连接的一层ShuffleNet unit1和七层ShuffleNet unit2；Stage4阶段包括依次连接的一层ShuffleNet unit1和三层ShuffleNet unit2；Stage5阶段包括全局池化层；Stage6阶段包括全连接层。
ShuffleNet网络是在ResNet的基础上，采用通道洗牌、逐点群卷积和深度可分离卷积方法来修改原来的ResNet单元。其中，作为算法核心的ShuffleNet unit和逐点群卷积解决特征局限问题；深度可分离卷积方法则用来降低参数量，解决了YOLOv4模型在很难在ARM等嵌入式终端设备上运行，导致算法也无法在嵌入式终端设备上实现的问题。
改进后的检测器中，使用ShuffleNetV1中的Stage2-3阶段的输出，替代原始骨干网络中CSPDarkNet53中的tage3-5阶段的输出；同时，将该输出结果做为YOLOv4中多尺度颈部网络SPP+PAN网络结构的输入，并保留做为预测结果部分的YOLO检测头部分。
如图3所示，ShuffleNetV1网络中，ShuffleNet unit1是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层输入经过一次平均池化层后的输出进行Concat操作完成的；ShuffleNet unit2是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层的输入进行Add操作完成的。
S3：使用改进后的检测器对目标图像进行目标检测，获得目标检测框的集合；
其中，目标检测框的获取过程包括如下步骤：
S31：将提取到的目标图像经过ShuffleNet网络处理，获得检测目标的三种不同分辨率的特征图；
S32：将获取的三种不同分辨率的特征图输入端YOLOv4网络中多尺度网络结构的特征金字塔模块中；Stage3阶段的特征图经过空间金字塔池化SPP网络输出，再将输出的结果与Stage1-2一起进入到路径汇聚PANet网络中，输出三个阶段中各层输出经过多尺度融合后的输出结果；
S33：针对多尺度融合后输出的不同尺度的特征，将低层次特征图的候选框设置为小尺寸候选框；将高层次特征图的候选框设置为大尺寸候选框；
S34：在YOLOv4网络的检测头部分，基于上步骤根据分辨率差异设置的候选框的尺寸；在不同尺度的特征图上进行目标位置回归和分类，从而得到目标检测框的集合。
S4：在跟踪器中使用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框；
其中，获取目标跟踪框的过程包括如下步骤：
S41：使用改进后的YOLOv4网络获取到第一帧目标图像对应的目标检测框集合；
S42：为获取的目标检测框集合中的每个目标检测框分配一个卡尔曼滤波器；
S43：根据目标检测框中的目标状态信息，通过对应的卡尔曼滤波器依次对后一时刻帧的目标状态进行先验估计，进而获得当前时刻帧下目标跟踪框；当前时刻帧下目标跟踪框的获取过程包括状态估计和轨迹处理两个部分，其处理步骤如下：
S431：定义一个8维空间(u,v,r,h,x',y',r',h')，以所述8维空间表示对应目标所处的轨迹状态；
其中，u,v,r,h分别表示目标矩形框的中心点位置，且u,v表示目标中心点坐标，r是长宽比，h是高；x',y',r',h'四个参数分别代表目标对应的速度，即表示运动目标分别在u,v,r,h四个参数下的运动速度；
S432：使用卡尔曼滤波器对相应目标预测更新轨迹，完成所述状态估计过程；
其中，所述卡尔曼滤波器采用匀速模型和线性观测模型对目标进行轨迹更新，卡尔曼滤波器的观测变量为参数u、v、r和h；
S433：定义一个阈值a；使用阈值a记录轨迹从上一次成功匹配到当前时刻的时长；
S434：判断阈值a的时长与最大运行阈值Amax的关系：
(1)当a≤Amax，则认为该轨迹能够进行匹配，继续这段轨迹；
(2)当a＞Amax，则认为长时间匹配不上的轨迹已经结束，终止这段轨迹；
S435：将检测到的目标与轨迹进行首次试探性的匹配，标记在匹配过程中产生的冗余的新轨迹，将其标注为tentative；
S436：观察对应目标在接下来连续的几帧内是否能够连续匹配成功，并作出判断：
(1)当能够匹配成功，则认为新轨迹产生，将其标注为confirmed；
(2)当不能连续匹配成功，则认为未产生新轨迹，将其标注为deleted；
完成所述轨迹处理部分。
S5：根据跟踪器预测的轨迹状态和检测器中ShuffleNetV1网络提取到的特征，计算所有目标检测框和目标跟踪框之间的运动匹配度和特征匹配度，构建目标检测框和目标跟踪框之间的关联成本代价矩阵；
其中，目标检测框和目标跟踪框之间的关联成本代价矩阵的构建过程包括如下步骤：
S51：设计运动匹配度和特征匹配度两种度量方式，对当前有效轨迹和当前检测到的目标之间的轨迹进行匹配；
S52：考虑到跟踪的目标ID的频繁交换现象，将运动匹配度定义为目标检测框和目标跟踪框之间的马氏距离，运动匹配度d(1)(i，j)计算公式如下：
Figure BDA0003037584570000091
上式中，d(1)(i，j)表示第j个检测框和第i条轨迹之间的运动匹配度；yi表示在当前时刻的预测观测量；dj表示检测到的目标当前轨迹状态；i表示轨迹；上标T为转置操作符；
S53：使用改进后YOLOv4网络中的骨干网络ShuffleNetV1提取的特征作为目标的特征向量，在本实施例中，追踪器无需单独使用另外的卷积神经网络来提取取目标特征。将特征匹配度定义为特征向量间的最小余弦距离，特征匹配度d(2)(i，j)的计算公式如下：
Figure BDA0003037584570000092
上式中，d(2)(i，j)表示第j个检测框和第i条轨迹之间的特征匹配度；Dj为对当前视频帧进行目标检测时，检测出的每一个目标检测框dj对应的特征向量；Yj为第i个卡尔曼滤波器上一次跟踪成功的目标跟踪框yj的特征向量；
S54：将两种度量方式结合，采用运动匹配度和表观相似度的线性叠加的总的关联代价作为最终关联度量相似度；关联代价di，j的计算公式如下：
di，j＝λd(1)(i,j)+(1-λ)d(2)(i，j)
上式中，λ表示用于调整两种相似度的权重的超参数；d(1)(i,j)表示运动匹配度；d(2)(i,j)表示特征匹配度。
S6：对关联成本代价矩阵中的关联代价进行级联匹配，确定跟踪结果，实现多目标跟踪过程。其中，关联代价的级联匹配过程包括如下步骤：
S61：根据跟踪器的设计，设置相似度阈值的确定值；
S62：比较相似度阈值与关联成本代价矩阵中的关联代价的值，做出如下判断：
(1)当相似度阈值大于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为一组跟踪结果；
(2)当相似度阈值小于等于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为不同组跟踪结果。
本实施例中，多目标跟踪的全过程中，针对每一帧目标图像进行跟踪时，均会重新计算卡尔曼滤波器的增益，并将其更新至跟踪到的状态信息和协方差矩阵中。
图4为本实施例中跟踪目标的运动轨迹预测图。
实施例2
如图5所示，本实施还提供一种适用于嵌入式终端的多目标跟踪系统，该系统采用如前述的适用于嵌入式终端的多目标跟踪方法，基于视频分帧后得到的连续的目标图像，对目标对象进行识别检测和连续跟踪；并对检测和跟踪的目标对象进行匹配和关联；该多目标跟踪系统包括：视频预处理模块、多目标跟踪神经网络模块、关联成本代价矩阵构建模块，以及级联匹配模块。
视频预处理模块用于对用于监控跟踪对象的视频进行分帧处理，将分帧处理后得到的连续帧图像作为进行多目标跟踪的目标图像，构成样本数据集。
多目标跟踪神经网络模块包括检测器子模块和跟踪器子模块；所述检测器子模块采用采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；所述跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征；所述检测器子模块用于对样本数据中连续的目标图像进行目标检测，获得目标检测框的集合；所述跟踪器用于采用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框。
关联成本代价矩阵构建模块用于构建目标检测框和目标跟踪框之间的关联成本代价矩阵；关联成本代价矩阵的构建过程中，首先根据跟踪器子模块预测的轨迹状态和检测器子模块中ShuffleNetV1网络提取到的特征进行计算获得目标检测框和目标跟踪框之间的运动匹配度和特征匹配度；然后根据运动匹配度和特征匹配度构建目标检测框和目标跟踪框之间的关联成本代价矩阵。
级联匹配模块用于根据匈牙利算法对关联成本代价矩阵中的关联代价进行级联匹配，得到当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标的关系，进而确定跟踪结果，实现多目标跟踪。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种适用于嵌入式终端的多目标跟踪方法，其特征在于，所述多目标跟踪方法包括如下步骤：
S1：对监控跟踪对象的视频进行分帧得到若干连续帧图像，将获取的连续帧图像作为用于进行处理的目标图像；
S2：构建改进的多目标跟踪神经网络模型，所述多目标跟踪神经网络模型包括检测器和跟踪器；所述检测器采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；所述跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征；
所述ShuffleNetV1网络的结构包括依次连接的Stage1-Stage6阶段，所述Stage1阶段包括依次连接的3×3卷积层和最大池化层；所述Stage2阶段包括依次连接的一层ShuffleNetunit1和三层ShuffleNet unit2；所述Stage3阶段包括依次连接的一层ShuffleNet unit1和七层ShuffleNet unit2；所述Stage4阶段包括依次连接的一层ShuffleNet unit1和三层ShuffleNetunit2；所述Stage5阶段包括全局池化层；所述Stage6阶段包括全连接层；
所述改进后的检测器中，使用ShuffleNetV1中的Stage2-3阶段的输出，替代原始骨干网络中CSPDarkNet53中的tage3-5阶段的输出；同时，将该输出结果做为YOLOv4中多尺度颈部网络SPP+PAN网络结构的输入，并保留做为预测结果部分的YOLO检测头部分；
所述ShuffleNetV1网络中，ShuffleNet unit1是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层输入经过一次平均池化层后的输出进行Concat操作完成的；ShuffleNet unit2是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层的输入进行Add操作完成的；
S3：使用改进后的检测器对目标图像进行目标检测，获得目标检测框的集合；目标检测框的获取过程包括如下步骤：
S31：将提取到的目标图像经过ShuffleNet网络处理，获得检测目标的三种不同分辨率的特征图；
S32：将获取的三种不同分辨率的特征图输入端YOLOv4网络中多尺度网络结构的特征金字塔模块中；所述Stage3阶段的特征图经过空间金字塔池化SPP网络输出，再将输出的结果与Stage1-2一起进入到路径汇聚PANet网络中，输出三个阶段中各层输出经过多尺度融合后的输出结果；
S33：针对多尺度融合后输出的不同尺度的特征，将低层次特征图的候选框设置为小尺寸候选框；将高层次特征图的候选框设置为大尺寸候选框；
S34：在YOLOv4网络的检测头部分，基于上步骤根据分辨率差异设置的候选框的尺寸；在不同尺度的特征图上进行目标位置回归和分类，从而得到目标检测框的集合；
S4：在跟踪器中使用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框；过程如下：
S41：使用改进后的YOLOv4网络获取到第一帧目标图像对应的目标检测框集合；
S42：为获取的目标检测框集合中的每个目标检测框分配一个卡尔曼滤波器；
S43：根据目标检测框中的目标状态信息，通过对应的卡尔曼滤波器依次对后一时刻帧的目标状态进行先验估计，进而获得当前时刻帧下目标跟踪框；所述当前时刻帧下目标跟踪框的获取过程包括状态估计和轨迹处理两个部分，其处理步骤如下：
S431：定义一个8维空间(u,v,r,h,x',y',r',h')，以所述8维空间表示对应目标所处的轨迹状态；
其中，u,v,r,h分别表示目标矩形框的中心点位置，且u,v表示目标中心点坐标，r是长宽比，h是高；x',y',r',h'四个参数分别代表目标对应的速度，即表示运动目标分别在
u,v,r,h四个参数下的运动速度；
S432：使用卡尔曼滤波器对相应目标预测更新轨迹，完成所述状态估计过程；
其中，所述卡尔曼滤波器采用匀速模型和线性观测模型对目标进行轨迹更新，卡尔曼滤波器的观测变量为参数u、v、r和h；
S433：定义一个阈值a；使用阈值a记录轨迹从上一次成功匹配到当前时刻的时长；
S434：判断阈值a的时长与最大运行阈值Amax的关系：
(1)当a≤Amax，则认为该轨迹能够进行匹配，继续这段轨迹；
(2)当a＞Amax，则认为长时间匹配不上的轨迹已经结束，终止这段轨迹；
S435：将检测到的目标与轨迹进行首次试探性的匹配，标记在匹配过程中产生的冗余的新轨迹；
S436：观察对应目标在接下来连续的几帧内是否能够连续匹配成功，并作出判断：
(1)当能够匹配成功，则认为新轨迹产生，将其标注为confirmed；
(2)当不能连续匹配成功，则认为未产生新轨迹，将其标注为deleted；
完成所述轨迹处理部分；
S5：根据跟踪器预测的轨迹状态和检测器中ShuffleNetV1网络提取到的特征，计算所有目标检测框和目标跟踪框之间的运动匹配度和特征匹配度，构建目标检测框和目标跟踪框之间的关联成本代价矩阵；
S6：对关联成本代价矩阵中的关联代价进行级联匹配，确定跟踪结果，实现多目标跟踪过程。
2.如权利要求1所述的适用于嵌入式终端的多目标跟踪方法，其特征在于：步骤S5中目标检测框和目标跟踪框之间的关联成本代价矩阵的构建过程包括如下步骤：
S51：设计运动匹配度和特征匹配度两种度量方式，对当前有效轨迹和当前检测到的目标之间的轨迹进行匹配；
S52：考虑到跟踪的目标ID的频繁交换现象，将运动匹配度定义为目标检测框和目标跟踪框之间的马氏距离，所述运动匹配度d(1)(i,j)计算公式如下：
Figure FDA0004194186960000031
上式中，d(1)(i,j)表示第j个检测框和第i条轨迹之间的运动匹配度；yi表示在当前时刻的预测观测量；dj表示检测到的目标当前轨迹状态；Si表示轨迹；上标T为转置操作符；
S53：使用改进后YOLOv4网络中的骨干网络ShuffleNetV1提取的特征作为目标的特征向量，将特征匹配度定义为特征向量间的最小余弦距离，所述特征匹配度d(2)(i,j)的计算公式如下：
Figure FDA0004194186960000032
上式中，d(2)(i,j)表示第j个检测框和第i条轨迹之间的特征匹配度；Dj为对当前视频帧进行目标检测时，检测出的每一个目标检测框dj对应的特征向量；Yj为第i个卡尔曼滤波器上一次跟踪成功的目标跟踪框yj的特征向量；
S54：将两种度量方式结合，采用运动匹配度和表观相似度的线性叠加的总的关联代价作为最终关联度量相似度；所述关联代价di,j的计算公式如下：
di,j＝λd(1)(i,j)+(1-λ)d(2)(i,j)
上式中，λ表示用于调整两种相似度的权重的超参数；d(1)(i,j)表示运动匹配度；d(2)(i,j)表示特征匹配度。
3.如权利要求2所述的适用于嵌入式终端的多目标跟踪方法，其特征在于：步骤S6中，关联代价的级联匹配过程包括如下步骤：
S61：根据跟踪器的设计，设置相似度阈值的确定值；
S62：比较相似度阈值与关联成本代价矩阵中的关联代价的值，做出如下判断：
(1)当相似度阈值大于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为一组跟踪结果；
(2)当相似度阈值小于等于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为不同组跟踪结果。
4.如权利要求1所述的适用于嵌入式终端的多目标跟踪方法，其特征在于：所述多目标跟踪的全过程中，针对每一帧目标图像进行跟踪时，均会重新计算卡尔曼滤波器的增益，并将其更新至跟踪到的状态信息和协方差矩阵中。
5.一种适用于嵌入式终端的多目标跟踪系统，其特征在于，其采用如权利要求1-4任意一项所述的适用于嵌入式终端的多目标跟踪方法，基于视频分帧后得到的连续的目标图像，对目标对象进行识别检测和连续跟踪；并对检测和跟踪的目标对象进行匹配和关联；所述多目标跟踪系统包括：
视频预处理模块，其用于对用于监控跟踪对象的视频进行分帧处理，将分帧处理后得到的连续帧图像作为进行多目标跟踪的目标图像，构成样本数据集；
多目标跟踪神经网络模块，其包括检测器子模块和跟踪器子模块；所述检测器子模块采用采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；所述跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征；所述检测器子模块用于对样本数据中连续的目标图像进行目标检测，获得目标检测框的集合；所述跟踪器用于采用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框；
关联成本代价矩阵构建模块，其用于构建目标检测框和目标跟踪框之间的关联成本代价矩阵；所述关联成本代价矩阵的构建过程中，首先根据跟踪器子模块预测的轨迹状态和检测器子模块中ShuffleNetV1网络提取到的特征进行计算获得目标检测框和目标跟踪框之间的运动匹配度和特征匹配度；然后根据运动匹配度和特征匹配度构建目标检测框和目标跟踪框之间的关联成本代价矩阵；以及
级联匹配模块，其用于根据匈牙利算法对关联成本代价矩阵中的关联代价进行级联匹配，得到当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标的关系，进而确定跟踪结果，实现多目标跟踪。
6.如权利要求5所述的适用于嵌入式终端的多目标跟踪系统，其特征在于：所述系统既可以在采用GPU图形处理技术的通用计算机系统及其终端上完成开发、部署和运行；也可以在基于ARM架构的专用计算机系统及其嵌入式终端上完成开发、部署和运行。
CN202110447750.3A 2021-04-25 2021-04-25 一种适用于嵌入式终端的多目标跟踪方法及其系统 Active CN113034548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110447750.3A CN113034548B (zh) 2021-04-25 2021-04-25 一种适用于嵌入式终端的多目标跟踪方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110447750.3A CN113034548B (zh) 2021-04-25 2021-04-25 一种适用于嵌入式终端的多目标跟踪方法及其系统

Publications (2)

Publication Number Publication Date
CN113034548A CN113034548A (zh) 2021-06-25
CN113034548B true CN113034548B (zh) 2023-05-26

Family

ID=76457850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110447750.3A Active CN113034548B (zh) 2021-04-25 2021-04-25 一种适用于嵌入式终端的多目标跟踪方法及其系统

Country Status (1)

Country Link
CN (1) CN113034548B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313708B (zh) * 2021-06-30 2022-10-18 安徽工程大学 基于深度神经网络的水果检测方法及系统
CN113674317B (zh) * 2021-08-10 2024-04-26 深圳市捷顺科技实业股份有限公司 一种高位视频的车辆跟踪方法及装置
CN113674318A (zh) * 2021-08-16 2021-11-19 支付宝(杭州)信息技术有限公司 一种目标跟踪方法、装置及设备
CN113674321B (zh) * 2021-08-25 2024-05-17 燕山大学 一种基于云端的监控视频下多目标跟踪的方法
CN113792631B (zh) * 2021-08-31 2023-01-10 电子科技大学 一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法
CN113744316A (zh) * 2021-09-08 2021-12-03 电子科技大学 一种基于深度神经网络的多目标跟踪方法
CN113983737A (zh) * 2021-10-18 2022-01-28 海信（山东）冰箱有限公司 冰箱及冰箱的食材定位方法
CN114022812B (zh) * 2021-11-01 2024-05-10 大连理工大学 一种基于轻量化SSD的DeepSort水面漂浮物多目标跟踪方法
CN114170271B (zh) * 2021-11-18 2024-04-12 安徽清新互联信息科技有限公司 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质
CN115690545B (zh) * 2021-12-03 2024-06-11 北京百度网讯科技有限公司 训练目标跟踪模型和目标跟踪的方法和装置
CN114663808A (zh) * 2022-03-18 2022-06-24 南京邮电大学 基于视频检测技术的分拣中心异常识别方法
CN114972418B (zh) * 2022-03-30 2023-11-21 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN114821795B (zh) * 2022-05-05 2022-10-28 北京容联易通信息技术有限公司 一种基于ReID技术的人员跑动检测和预警方法及系统
CN115035280A (zh) * 2022-05-10 2022-09-09 华南农业大学 基于yolo的柑橘花朵花苞识别方法及轻量级计算系统
CN115330759B (zh) * 2022-10-12 2023-03-10 浙江霖研精密科技有限公司 一种基于豪斯多夫距离计算距离损失的方法及装置
CN116245916B (zh) * 2023-05-11 2023-07-28 中国人民解放军国防科技大学 一种面向无人艇的红外舰船目标跟踪方法及装置
CN116453103B (zh) * 2023-06-15 2023-08-18 松立控股集团股份有限公司 一种车辆跨镜跟踪车牌识别方法、系统及电子设备
CN117495917B (zh) * 2024-01-03 2024-03-26 山东科技大学 基于jde多任务网络模型的多目标跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476826A (zh) * 2020-04-10 2020-07-31 电子科技大学 一种基于ssd目标检测的多目标车辆跟踪方法
CN112036367A (zh) * 2020-09-16 2020-12-04 南通天成现代农业科技有限公司 一种yolo卷积神经网络的人数检测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784162B (zh) * 2018-12-12 2021-04-13 成都数之联科技有限公司 一种行人行为识别及轨迹跟踪方法
CN109726652B (zh) * 2018-12-19 2020-11-13 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
CN110009662B (zh) * 2019-04-02 2021-09-17 北京迈格威科技有限公司 人脸跟踪的方法、装置、电子设备及计算机可读存储介质
CN112149463B (zh) * 2019-06-27 2024-04-23 京东方科技集团股份有限公司 图像处理方法和装置
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
CN110490104A (zh) * 2019-08-05 2019-11-22 唐山哈船科技有限公司 一种减少流浪者冲突的监测系统及监测方法
CN110458868A (zh) * 2019-08-15 2019-11-15 湖北经济学院 基于sort的多目标跟踪识别展示系统
CN111126404B (zh) * 2019-12-11 2023-08-22 杭州电子科技大学 一种基于改进YOLO v3的古文字及字体识别方法
CN111191546A (zh) * 2019-12-20 2020-05-22 广西柳州联耕科技有限公司 基于机器视觉识别的产品智能装配方法
CN116129387A (zh) * 2020-03-17 2023-05-16 阿波罗智联(北京)科技有限公司 用于识别分歧路口的方法和装置
CN111626194B (zh) * 2020-05-26 2024-02-02 佛山市南海区广工大数控装备协同创新研究院 一种使用深度关联度量的行人多目标跟踪方法
CN111860282B (zh) * 2020-07-15 2022-12-16 中国电子科技集团公司第三十八研究所 地铁断面客流量统计和行人逆行检测方法及系统
CN112257612B (zh) * 2020-10-23 2023-06-02 华侨大学 一种基于边缘智能的无人机视频帧过滤方法及装置
CN112422897B (zh) * 2020-10-26 2023-06-23 北京嘀嘀无限科技发展有限公司 确定消毒的处理方法、装置、设备及存储介质
CN112418290B (zh) * 2020-11-17 2024-03-26 中南大学 实时oct图像的roi区域预测方法及显示方法
CN112509032A (zh) * 2020-11-24 2021-03-16 江苏大学 一种基于汽车分布式感知平台的前方感知模块的设计方法
CN112507896B (zh) * 2020-12-14 2023-11-07 大连大学 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476826A (zh) * 2020-04-10 2020-07-31 电子科技大学 一种基于ssd目标检测的多目标车辆跟踪方法
CN112036367A (zh) * 2020-09-16 2020-12-04 南通天成现代农业科技有限公司 一种yolo卷积神经网络的人数检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SS-YOLO: An Object Detection Algorithm based on YOLOv3 and ShuffleNet;Yong Li et al;《2020 IEEE 4th Information Technology,Networking,Electronic and Automation Control Conference (ITNEC 2020)》;第769-772页 *

Also Published As

Publication number Publication date
CN113034548A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113034548B (zh) 一种适用于嵌入式终端的多目标跟踪方法及其系统
CN101853511B (zh) 一种抗遮挡目标轨迹预测跟踪方法
CN111161315B (zh) 一种基于图神经网络的多目标跟踪方法和系统
CN112785628B (zh) 一种基于全景视角检测跟踪的轨迹预测方法及系统
CN112507845B (zh) 基于CenterNet与深度关联矩阵的行人多目标跟踪方法
CN108564598B (zh) 一种改进的在线Boosting目标跟踪方法
CN108520203A (zh) 基于融合自适应多外围框与十字池化特征的多目标特征提取方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
CN111739053A (zh) 一种复杂场景下的在线多行人检测跟踪方法
CN116403139A (zh) 一种基于目标检测的视觉跟踪定位方法
Wang et al. Multi-target pedestrian tracking based on yolov5 and deepsort
CN114926859A (zh) 一种结合头部跟踪的密集场景下行人多目标跟踪方法
Tsoukalas et al. Deep learning assisted visual tracking of evader-UAV
Yang et al. A method of pedestrians counting based on deep learning
CN114648557A (zh) 一种基于高空视角与地面视角的多目标协同跟踪方法
CN109215059B (zh) 一种航拍视频中运动车辆跟踪的局部数据关联方法
Cai et al. A target tracking method based on KCF for omnidirectional vision
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
Hongpeng et al. A robust object tracking algorithm based on surf and Kalman filter
CN112767438B (zh) 结合时空运动的多目标跟踪方法
CN114663835A (zh) 一种行人跟踪方法、系统、设备及存储介质
Liu et al. Online multi-object tracking under moving unmanned aerial vehicle platform based on object detection and feature extraction network
Kumar et al. Person tracking with re-identification in multi-camera setup: a distributed approach
Sujatha et al. An innovative moving object detection and tracking system by using modified region growing algorithm
CN112465867A (zh) 一种基于卷积神经网络的红外点目标实时检测跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wan Sen

Inventor after: Cheng Teng

Inventor after: Liu Zilong

Inventor after: Zhang Haitao

Inventor after: Huang Ling

Inventor before: Liu Zilong

Inventor before: Wan Sen

Inventor before: Cheng Teng

Inventor before: Zhang Haitao

Inventor before: Huang Ling

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant