CN113674307B - 一种目标检测跟踪方法、装置及设备 - Google Patents

一种目标检测跟踪方法、装置及设备 Download PDF

Info

Publication number
CN113674307B
CN113674307B CN202111219405.0A CN202111219405A CN113674307B CN 113674307 B CN113674307 B CN 113674307B CN 202111219405 A CN202111219405 A CN 202111219405A CN 113674307 B CN113674307 B CN 113674307B
Authority
CN
China
Prior art keywords
detection
tracking
preset
algorithm
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111219405.0A
Other languages
English (en)
Other versions
CN113674307A (zh
Inventor
邓元望
许庆金
朱浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202111219405.0A priority Critical patent/CN113674307B/zh
Publication of CN113674307A publication Critical patent/CN113674307A/zh
Application granted granted Critical
Publication of CN113674307B publication Critical patent/CN113674307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标检测跟踪方法，考虑到图像中的检测目标数量越多，对于跟踪算法来说预测难度就越大，因此本申请在通过预设检测算法进行检测后，首先根据对应关系确定出检测目标的第一数量对应的跟踪帧数，然后控制跟踪算法对跟踪帧数个图像进行预测，通过合理地设置检测目标数量与跟踪帧数的对应关系，便可以精确地控制跟踪算法针对不同的检测目标数量对相应帧数图像进行检测目标的预测，有利于在保障预测精度的基础上提升了检测速度。本发明还公开了一种目标检测跟踪装置及设备，具有如上目标检测跟踪方法相同的有益效果。

Description

一种目标检测跟踪方法、装置及设备
技术领域
本发明涉及图像检测领域，特别是涉及一种目标检测跟踪方法，本发明还涉及一种目标检测跟踪装置及设备。
背景技术
很多领域均具有对视频流中出现的检测目标（例如行人或者汽车等）进行检测的需求，现有技术中可以利用检测算法对单帧图片中的检测目标进行检测，然而现有的各种检测算法的运算量较大且检测速度较慢，而目标跟踪算法可以对检测算法检测出的检测目标进行跟踪检测，且其具有运算量小且检测速度快的优点，然而现有技术中缺少一种成熟的将检测算法以及跟踪算法进行结合的方案，导致现有的目标检测过程无法很好地平衡目标检测的检测精度以及检测速度。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本发明的目的是提供一种目标检测跟踪方法，通过合理地设置检测目标数量与跟踪帧数的对应关系，便可以精确地控制跟踪算法针对不同的检测目标数量对相应帧数图像进行检测目标的预测，有利于在保障预测精度的基础上提升了检测速度；本发明的另一目的是提供一种目标检测跟踪装置及设备，通过合理地设置检测目标数量与跟踪帧数的对应关系，便可以精确地控制跟踪算法针对不同的检测目标数量对相应帧数图像进行检测目标的预测，有利于在保障预测精度的基础上提升了检测速度。
为解决上述技术问题，本发明提供了一种目标检测跟踪方法，包括：
利用预设检测算法检测视频流的最新一帧图像中的各个检测目标；
根据检测目标数量与跟踪帧数的对应关系，确定出最新一帧图像中的所述检测目标的第一数量对应的跟踪帧数；
判断当前的累计帧数是否达到所述跟踪帧数；
若未达到，则利用预设跟踪算法预测所述视频流的下一帧图像中的各个检测目标，并将初始值为零的所述累计帧数加一；
判断所述视频流是否存在后续图像，若存在，则执行所述判断当前的累计帧数是否达到所述跟踪帧数的步骤，否则终止；
若达到，则将所述累计帧数清零并执行所述利用预设检测算法检测出视频流中的最新一帧图像中的各个检测目标的步骤。
优选地，所述利用预设跟踪算法预测所述视频流的下一帧图像中的各个检测目标并将初始值为零的所述累计帧数加一具体为：
预先利用最新一帧图像中的各个所述检测目标的位置信息对预设跟踪算法进行初始化；
利用预设跟踪算法预测所述视频流的下一帧图像中的各个检测目标，并利用预测结果对所述预设跟踪算法进行更新；
判断最新预测到的所述检测目标的第二数量是否与所述第一数量相等；
若是，则显示预测效果并并将初始值为零的所述累计帧数加一；
若否，则将所述累计帧数清零并执行所述利用预设检测算法检测出视频流中的最新一帧图像中的各个检测目标的步骤。
优选地，所述利用预设检测算法检测视频流的最新一帧图像中的各个检测目标之前，该目标检测跟踪方法还包括：
根据预设数据集以及在指定场景中实际采集的图片集，确定出带有各个预设检测目标的标注信息的图片训练集；
利用所述图片训练集中的各个所述标注信息，采用预设聚类算法得到各个所述预设检测目标对应的预设数量个具有代表性的尺寸参数；
利用所述图片训练集以及所述尺寸参数对预设检测算法进行训练。
优选地，所述检测目标数量与跟踪帧数的对应关系具体为：
当所述检测目标数量为1时，所述跟踪帧数为20帧；
当所述检测目标数量大于1且小于4时，所述跟踪帧数为10帧；
当所述检测目标数量大于3时，所述跟踪帧数为0帧。
优选地，所述预设检测算法为YOLO检测模型。
优选地，所述YOLO检测模型中的主干特征提取网络为EfficientNet卷积神经网络。
优选地，所述主干特征提取网络的有效特征层的数量为4个。
优选地，所述预设跟踪算法为核相关KCF滤波算法。
为解决上述技术问题，本发明还提供了一种目标检测跟踪装置，包括：
检测模块，用于利用预设检测算法检测视频流的最新一帧图像中的各个检测目标；
确定模块，用于根据检测目标数量与跟踪帧数的对应关系，确定出最新一帧图像中的所述检测目标的第一数量对应的跟踪帧数；
第一判断模块，用于判断当前的累计帧数是否达到所述跟踪帧数，若未达到，则触发预测模块，若达到，则触发清零模块；
所述预测模块，用于利用预设跟踪算法预测所述视频流的下一帧图像中的各个检测目标，并将初始值为零的所述累计帧数加一；
第二判断模块，用于判断所述视频流是否存在后续图像，若存在，则触发所述第一判断模块，否则触发终止模块；
所述终止模块，用于终止；
所述清零模块，用于将所述累计帧数清零并执行所述利用预设检测算法检测出视频流中的最新一帧图像中的各个检测目标的步骤。
为解决上述技术问题，本发明还提供了一种目标检测跟踪设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述目标检测跟踪方法的步骤。
本发明提供了一种目标检测跟踪方法，考虑到图像中的检测目标数量越多，对于跟踪算法来说预测难度就越大，因此本申请在通过预设检测算法进行检测后，首先根据对应关系确定出检测目标的第一数量对应的跟踪帧数，然后控制跟踪算法对跟踪帧数个图像进行预测，通过合理地设置检测目标数量与跟踪帧数的对应关系，便可以精确地控制跟踪算法针对不同的检测目标数量对相应帧数图像进行检测目标的预测，有利于在保障预测精度的基础上提升了检测速度。
本发明还提供了一种目标检测跟踪装置及设备，具有如上目标检测跟踪方法相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种目标检测跟踪方法的流程示意图；
图2为本发明提供的另一种目标检测跟踪算法的流程示意图；
图3为本发明提供的一种目标检测跟踪装置的结构示意图；
图4为本发明提供的一种目标检测跟踪设备的结构示意图。
具体实施方式
本发明的核心是提供一种目标检测跟踪方法，通过合理地设置检测目标数量与跟踪帧数的对应关系，便可以精确地控制跟踪算法针对不同的检测目标数量对相应帧数图像进行检测目标的预测，有利于在保障预测精度的基础上提升了检测速度；本发明的另一核心是提供一种目标检测跟踪装置及设备，通过合理地设置检测目标数量与跟踪帧数的对应关系，便可以精确地控制跟踪算法针对不同的检测目标数量对相应帧数图像进行检测目标的预测，有利于在保障预测精度的基础上提升了检测速度。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明提供的一种目标检测跟踪方法的流程示意图，该目标检测跟踪方法包括：
S101：利用预设检测算法检测视频流的最新一帧图像中的各个检测目标；
考虑到上述背景技术中的技术问题，并结合考虑到图像中的检测目标数量越多，对于跟踪算法来说预测难度就越大，因此可以从“根据图像中检测目标的数量对跟踪算法处理图像的帧数进行动态调整”这个角度出发，来平衡整个目标检测跟踪算法的准确性以及检测速度，因此本发明实施例中首先可以利用预设检测算法检测视频流的最新一帧图像中的各个检测目标，并将其作为后续步骤的数据基础。
其中，检测目标可以为多种类型，其取决于视频流所对应的场景是什么，例如在行人与车辆的检测场景下，检测目标通常可以包括行人、自行车、小汽车、摩托车以及巴士等，本发明实施例在此不做限定。
S102：根据检测目标数量与跟踪帧数的对应关系，确定出最新一帧图像中的检测目标的第一数量对应的跟踪帧数；
具体的，本发明实施例可以预先设置检测目标数量与跟踪帧数的对应关系，如此一来在通过预设检测算法确定出图像中的检测目标的第一数量后，便可以通过该对应关系确定出对应的跟踪帧数，以便开展“根据图像中检测目标的数量对跟踪算法处理图像的帧数进行动态调整”的工作。
其中，确定出的跟踪帧数可以作为后续步骤的数据基础。
S103：判断当前的累计帧数是否达到跟踪帧数；
具体的，由于前述步骤中已经确定出了跟踪帧数，因此在通过预设跟踪算法对图像中的检测目标进行预测的过程中，可以在每次执行预设跟踪算法前判断判断当前的累计帧数是否达到跟踪帧数，从而根据判断结果来指导是否需要继续执行预设跟踪算法。
其中，累计帧数的初始值可以为零，每当执行过一次预设跟踪算法后可以将其数值加一，并且在累计帧数达到跟踪帧数的时候将累计帧数清零，以便开展对于下一个新的跟踪帧数（与清零后的累计帧数）的对比工作。
S104：若未达到，则利用预设跟踪算法预测视频流的下一帧图像中的各个检测目标，并将初始值为零的累计帧数加一；
具体的，在未达到的情况下，说明执行预设跟踪算法的次数还未达到跟踪帧数的次数，因此可以继续执行预设跟踪算法，预设跟踪算法的执行同样可以用于检测目标的确定，其特点是运算量小，处理速度快，但是精度略小于预设检测算法。
S105：判断视频流是否存在后续图像，若存在，则执行判断当前的累计帧数是否达到跟踪帧数的步骤；
S106：若不存在则终止；
具体的，考虑到视频流中的图像并不是没有终点的，因此每次在执行预设跟踪算法后，便可以判断视频流是否存在后续图像，以便在存在的时候返回执行判断当前的累计帧数是否达到跟踪帧数的步骤，当然，在不存在后续图像的情况下，显示需要终止。
S107：若达到，则将累计帧数清零并执行利用预设检测算法检测出视频流中的最新一帧图像中的各个检测目标的步骤。
具体的，在累计帧数达到跟踪帧数的情况下，说明对于第一数量个检测目标的跟踪预测的次数已经达到了跟踪帧数对应的次数，此时若继续执行预设跟踪算法那么便可能导致检测精度损失太多，因此在该情况下便可以重新利用预设检测算法检测出视频流中的最新一帧图像中的各个检测目标，以便保障整个检测算法的精度。
本发明提供了一种目标检测跟踪方法，考虑到图像中的检测目标数量越多，对于跟踪算法来说预测难度就越大，因此本申请在通过预设检测算法进行检测后，首先根据对应关系确定出检测目标的第一数量对应的跟踪帧数，然后控制跟踪算法对跟踪帧数个图像进行预测，通过合理地设置检测目标数量与跟踪帧数的对应关系，便可以精确地控制跟踪算法针对不同的检测目标数量对相应帧数图像进行检测目标的预测，有利于在保障预测精度的基础上提升了检测速度。
作为一种优选的实施例，利用预设跟踪算法预测视频流的下一帧图像中的各个检测目标并将初始值为零的累计帧数加一具体为：
预先利用最新一帧图像中的各个检测目标的位置信息对预设跟踪算法进行初始化；
利用预设跟踪算法预测视频流的下一帧图像中的各个检测目标，并利用预测结果对预设跟踪算法进行更新；
判断最新预测到的检测目标的第二数量是否与第一数量相等；
若是，则显示预测效果并并将初始值为零的累计帧数加一；
若否，则将累计帧数清零并执行利用预设检测算法检测出视频流中的最新一帧图像中的各个检测目标的步骤。
具体的，考虑到预设跟踪算法在执行之前需要进行初始化，也即在执行之前预先利用最新一帧图像中的各个检测目标的位置信息对预设跟踪算法进行初始化，以便预设跟踪算法对这些检测目标进行跟踪预测，并且每次执行预设跟踪算法后，需要利用预测结果对预设跟踪算法中的分类器进行更新以便进行下一次的跟踪预测。
其中，考虑到在利用预设跟踪算法进行跟踪预测的过程中，预设跟踪算法可能会出现跟丢目标的情况，导致预测出的检测目标的数量不等同于预设检测算法检测出的检测目标的第一数量，因此本发明实施例可以在每次执行预设跟踪算法后判断最新预测到的检测目标的第二数量是否与第一数量相等，在不相等的情况下将累计帧数清零并执行利用预设检测算法检测出视频流中的最新一帧图像中的各个检测目标的步骤，在相等的情况下便可以显示预测效果并并将初始值为零的累计帧数加一，能够进一步地提高检测精度。
具体的，预先利用最新一帧图像中的各个检测目标的位置信息对预设跟踪算法进行初始化具体可以为：
预设跟踪算法需要基样本来完成初始化的操作，其中的基样本就是检测目标的位置信息，通过将预设检测算法检测得到的位置信息
Figure DEST_PATH_IMAGE001
处理成
Figure DEST_PATH_IMAGE002
，传入到预设跟踪算法当中即可完成初始化操作。
作为一种优选的实施例，利用预设检测算法检测视频流的最新一帧图像中的各个检测目标之前，该目标检测跟踪方法还包括：
根据预设数据集以及在指定场景中实际采集的图片集，确定出带有各个预设检测目标的标注信息的图片训练集；
利用图片训练集中的各个标注信息，采用预设聚类算法得到各个预设检测目标对应的预设数量个具有代表性的尺寸参数；
利用图片训练集以及尺寸参数对预设检测算法进行训练。
具体的，为了获取更全面精准的图片训练集，本发明实施例中可以根据预设数据集以及在指定场景中实际采集的图片集，确定出带有各个预设检测目标的标注信息的图片训练集。
其中，预设数据集可以包括多种类型，例如可以为VOC2007数据集以及COCO2017数据集等，其中包含各种各样的场景下的各种检测目标的标注信息，本发明实施例在此不做限定。
具体的，本发明还可以根据在指定场景中实际采集的图片集，确定出带有各个预设检测目标的标注信息的部分图片训练集，作为总的图片训练集的一部分，在指定场景中实际采集的图片集可以为多种类型，例如可以采集校园接到以及城市交通主干道中的行人与车辆图片，然后利用LabelImg工具对采集到的图片进行标注得到标注信息，之后可以将图片按一定的比例进行训练集和测试集的划分。
具体的，考虑到对于预设检测算法进行训练的过程中需要用到Anchor Box，也即各个预设检测目标对应的预设数量个具有代表性的尺寸参数，因此本发明实施例中可以利用图片训练集中的各个标注信息，采用预设聚类算法得到各个预设检测目标对应的预设数量个具有代表性的尺寸参数，以便开展对于预设检测算法的预训练。
其中，在执行预设聚类算法前，还可以对图片训练集中的各个标注信息进行筛选，以便将其中的无效标注信息剔除，保留有效的标注信息，以便提高训练得到的预设检测算法的精度，并提高训练速度。
具体的，进行标注信息筛选的过程可以为：
为每一种预设检测目标设置高宽比阈值；
确定出图片训练集中各个检测目标的标注信息反应出的真实框的高宽比；
通过与预设高宽比阈值进行对比，对图片训练集中各个检测目标的标注信息进行筛选剔除。
具体的，进行标注信息筛选的具体实例可以为，统计图片训练集中检测目标真实框的高宽比分布情况，如下表1所示，对每一种检测目标分别设置阈值，其中对于person类将高宽比小于0.5以及大于3的标注信息视为无效，对于bicycle类以及motorbike类将高宽比小于0.3以及大于3.5的标注信息视为无效标注信息，对于car类将高宽比大于2的标注信息视为无效的标注信息，对于bus类将高宽比小于0.5以及大于5的标注信息视为无效的标注信息。筛选出无效的标注信息，以便提高后续信息聚类结果的精度。
表1
Figure DEST_PATH_IMAGE003
具体的，预设聚类算法可以为多种类型，例如可以为K-means++聚类算法等，本发明实施例在此不做限定。
为了更好地对本发明实施例进行说明，请参考图2，图2为本发明提供的另一种目标检测跟踪算法的流程示意图，作为一种优选的实施例，检测目标数量与跟踪帧数的对应关系具体为：
当检测目标数量为1时，跟踪帧数为20帧；
当检测目标数量大于1且小于4时，跟踪帧数为10帧；
当检测目标数量大于3时，跟踪帧数为0帧。
具体的，图2中的改进YOLOv4模型指的是经过上述的猪肝特征提取网络的替换以及有效特征层数量的修改的YOLOv4模型，漏检指的是第二数量不等于第一数量。
具体的，上述对应关系能够很好地平衡整个目标跟踪检测算法的精度与检测速度，从中可以看出检测目标数量与跟踪帧数大体上成负相关关系。
当然，除了上述具体形式外，对应关系还可以为其他具体形式，本发明实施例在此不做限定。
作为一种优选的实施例，预设检测算法为YOLO检测模型。
具体的，YOLO（You Only Look Once，你只看一次）检测模型具体检测速度快以及精度高等优点，尤其是YOLOv4检测模型。
当然，除了YOLO检测模型外，预设检测算法还可以为其他多种类型，本发明实施例在此不做限定。
作为一种优选的实施例，YOLO检测模型中的主干特征提取网络为EfficientNet卷积神经网络。
具体的，考虑到原YOLOv4模型的主干特征提取网络CSPDarkNet-53结构复杂、参数众多，拖慢了模型的检测速度，因此选择使用结构简单、参数较少的EfficientNet卷积神经网络来替换，从而提高检测速度。
其中，由于EfficientNet卷积神经网络包含7个版本分别是B0-B6，随着版本的增加，网络的结构逐渐复杂，从平衡检测速度与检测精度的角度出发，本发明实施例中选择使用EfficientNet-B2网络作为改进模型的主干特征提取网络。
当然，除了EfficientNet卷积神经网络外，YOLO检测模型中的主干特征提取网络还可以为其他多种类型，本发明实施例在此不做限定。
作为一种优选的实施例，主干特征提取网络的有效特征层的数量为4个。
具体的，为了使得算法可以获得更浅层的特征，本发明实施例将主干特征提取网络的有效特征层的数量扩充为4个，从而有利于提高检测精度。
当然，除了4个外，主干特征提取网络的有效特征层的数量还可以为其他具体数值，本发明实施例在此不做限定。
作为一种优选的实施例，预设跟踪算法为核相关KCF滤波算法。
具体的，KCF（Kernel Correlation Filter，核相关滤波算法）具有预测精度高以及处理速度快等优点。
当然，除了KCF外，预设跟踪算法还可以为其他多种类型，本发明实施例在此不做限定。
请参考图3，图3为本发明提供的一种目标检测跟踪装置的结构示意图，该目标检测跟踪装置包括：
检测模块31，用于利用预设检测算法检测视频流的最新一帧图像中的各个检测目标；
确定模块32，用于根据检测目标数量与跟踪帧数的对应关系，确定出最新一帧图像中的检测目标的第一数量对应的跟踪帧数；
第一判断模块33，用于判断当前的累计帧数是否达到跟踪帧数，若未达到，则触发预测模块34，若达到，则触发清零模块37；
预测模块34，用于利用预设跟踪算法预测视频流的下一帧图像中的各个检测目标，并将初始值为零的累计帧数加一；
第二判断模块35，用于判断视频流是否存在后续图像，若存在，则触发第一判断模块33，否则触发终止模块36；
终止模块36，用于终止；
清零模块37，用于将累计帧数清零并执行利用预设检测算法检测出视频流中的最新一帧图像中的各个检测目标的步骤。
对于本发明实施例提供的目标检测跟踪装置的介绍请参照前述的目标检测跟踪方法的实施例，本发明实施例在此不再赘述。
请参考图4，图4为本发明提供的一种目标检测跟踪设备的结构示意图，该目标检测跟踪设备包括：
存储器41，用于存储计算机程序；
处理器42，用于执行计算机程序时实现如前述实施例中目标检测跟踪方法的步骤。
对于本发明实施例提供的目标检测跟踪设备的介绍请参照前述的目标检测跟踪方法的实施例，本发明实施例在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种目标检测跟踪方法，其特征在于，包括：
利用预设检测算法检测视频流的最新一帧图像中的各个检测目标；
根据检测目标数量与跟踪帧数的对应关系，确定出最新一帧图像中的所述检测目标的第一数量对应的跟踪帧数；
判断当前的累计帧数是否达到所述跟踪帧数；
若未达到，则利用预设跟踪算法预测所述视频流的下一帧图像中的各个检测目标，并将初始值为零的所述累计帧数加一；
判断所述视频流是否存在后续图像，若存在，则执行所述判断当前的累计帧数是否达到所述跟踪帧数的步骤，否则终止；
若达到，则将所述累计帧数清零并执行所述利用预设检测算法检测出视频流中的最新一帧图像中的各个检测目标的步骤；
所述利用预设跟踪算法预测所述视频流的下一帧图像中的各个检测目标并将初始值为零的所述累计帧数加一具体为：
预先利用最新一帧图像中的各个所述检测目标的位置信息对预设跟踪算法进行初始化；
利用预设跟踪算法预测所述视频流的下一帧图像中的各个检测目标，并利用预测结果对所述预设跟踪算法进行更新；
判断最新预测到的所述检测目标的第二数量是否与所述第一数量相等；
若是，则显示预测效果并将初始值为零的所述累计帧数加一；
若否，则将所述累计帧数清零并执行所述利用预设检测算法检测出视频流中的最新一帧图像中的各个检测目标的步骤。
2.根据权利要求1所述的目标检测跟踪方法，其特征在于，所述利用预设检测算法检测视频流的最新一帧图像中的各个检测目标之前，该目标检测跟踪方法还包括：
根据预设数据集以及在指定场景中实际采集的图片集，确定出带有各个预设检测目标的标注信息的图片训练集；
利用所述图片训练集中的各个所述标注信息，采用预设聚类算法得到各个所述预设检测目标对应的预设数量个具有代表性的尺寸参数；
利用所述图片训练集以及所述尺寸参数对预设检测算法进行训练。
3.根据权利要求1所述的目标检测跟踪方法，其特征在于，所述检测目标数量与跟踪帧数的对应关系具体为：
当所述检测目标数量为1时，所述跟踪帧数为20帧；
当所述检测目标数量大于1且小于4时，所述跟踪帧数为10帧；
当所述检测目标数量大于3时，所述跟踪帧数为0帧。
4.根据权利要求1所述的目标检测跟踪方法，其特征在于，所述预设检测算法为YOLO检测模型。
5.根据权利要求4所述的目标检测跟踪方法，其特征在于，所述YOLO检测模型中的主干特征提取网络为EfficientNet卷积神经网络。
6.根据权利要求5所述的目标检测跟踪方法，其特征在于，所述主干特征提取网络的有效特征层的数量为4个。
7.根据权利要求1至6任一项所述的目标检测跟踪方法，其特征在于，所述预设跟踪算法为核相关KCF滤波算法。
8.一种目标检测跟踪装置，其特征在于，包括：
检测模块，用于利用预设检测算法检测视频流的最新一帧图像中的各个检测目标；
确定模块，用于根据检测目标数量与跟踪帧数的对应关系，确定出最新一帧图像中的所述检测目标的第一数量对应的跟踪帧数；
第一判断模块，用于判断当前的累计帧数是否达到所述跟踪帧数，若未达到，则触发预测模块，若达到，则触发清零模块；
所述预测模块，用于利用预设跟踪算法预测所述视频流的下一帧图像中的各个检测目标，并将初始值为零的所述累计帧数加一；
第二判断模块，用于判断所述视频流是否存在后续图像，若存在，则触发所述第一判断模块，否则触发终止模块；
所述终止模块，用于终止；
所述清零模块，用于将所述累计帧数清零并执行所述利用预设检测算法检测出视频流中的最新一帧图像中的各个检测目标的步骤；
所述预测模块包括：
初始化模块，用于预先利用最新一帧图像中的各个所述检测目标的位置信息对预设跟踪算法进行初始化；
更新模块，用于利用预设跟踪算法预测所述视频流的下一帧图像中的各个检测目标，并利用预测结果对所述预设跟踪算法进行更新；
第三判断模块，用于判断最新预测到的所述检测目标的第二数量是否与所述第一数量相等，若是，则触发显示模块，若否，则触发清零模块；
所述显示模块，用于显示预测效果并将初始值为零的所述累计帧数加一。
9.一种目标检测跟踪设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述目标检测跟踪方法的步骤。
CN202111219405.0A 2021-10-20 2021-10-20 一种目标检测跟踪方法、装置及设备 Active CN113674307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111219405.0A CN113674307B (zh) 2021-10-20 2021-10-20 一种目标检测跟踪方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111219405.0A CN113674307B (zh) 2021-10-20 2021-10-20 一种目标检测跟踪方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113674307A CN113674307A (zh) 2021-11-19
CN113674307B true CN113674307B (zh) 2022-02-11

Family

ID=78550651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111219405.0A Active CN113674307B (zh) 2021-10-20 2021-10-20 一种目标检测跟踪方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113674307B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422696A (zh) * 2023-11-08 2024-01-19 河北工程大学 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647694A (zh) * 2018-04-24 2018-10-12 武汉大学 基于上下文感知和自适应响应的相关滤波目标跟踪方法
CN112422772A (zh) * 2020-10-23 2021-02-26 深圳市优必选科技股份有限公司 图像获取方法、图像获取装置、终端设备及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008078736A1 (ja) * 2006-12-27 2008-07-03 Nec Corporation 同一性判定装置、同一性判定方法および同一性判定用プログラム
US10275669B2 (en) * 2015-09-09 2019-04-30 Lightmetrics Technologies Pvt. Ltd. System and method for detecting objects in an automotive environment
CN106778712B (zh) * 2017-03-01 2020-04-14 扬州大学 一种多目标检测与跟踪方法
CN110706266B (zh) * 2019-12-11 2020-09-15 北京中星时代科技有限公司 一种基于YOLOv3的空中目标跟踪方法
CN112184770A (zh) * 2020-09-28 2021-01-05 中国电子科技集团公司第五十四研究所 一种基于YOLOv3和改进KCF的目标跟踪方法
CN112532984B (zh) * 2020-11-20 2022-04-15 北京浑元数字科技有限公司 自适应运动向量检测系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647694A (zh) * 2018-04-24 2018-10-12 武汉大学 基于上下文感知和自适应响应的相关滤波目标跟踪方法
CN112422772A (zh) * 2020-10-23 2021-02-26 深圳市优必选科技股份有限公司 图像获取方法、图像获取装置、终端设备及可读存储介质

Also Published As

Publication number Publication date
CN113674307A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
US10212397B2 (en) Abandoned object detection apparatus and method and system
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109800682B (zh) 驾驶员属性识别方法及相关产品
CN112435215A (zh) 一种基于图像的车辆定损方法、移动终端、服务器
CN109241938B (zh) 道路拥堵检测方法及终端
CN114155284A (zh) 基于多目标行人场景的行人跟踪方法、装置、设备及介质
CN110147731B (zh) 车辆类型识别方法及相关产品
CN111222409A (zh) 车辆品牌的标注方法、装置及系统
CN112132130B (zh) 一种面向全场景的实时性车牌检测方法及系统
CN111524164A (zh) 一种目标跟踪方法、装置及电子设备
CN113221750A (zh) 车辆追踪方法、装置、设备及存储介质
CN115546705B (zh) 目标识别方法、终端设备及存储介质
CN113674307B (zh) 一种目标检测跟踪方法、装置及设备
CN110969864A (zh) 一种车速检测方法、车辆行驶事件检测方法及电子设备
CN110796230A (zh) 卷积神经网络的训练及使用方法、设备及存储介质
CN115830002A (zh) 一种红外图像质量评价方法及装置
CN111914845A (zh) 一种车牌中字符分层方法、装置及电子设备
CN110414544B (zh) 一种目标状态分类方法、装置及系统
CN117218622A (zh) 路况检测方法、电子设备及存储介质
CN110619255B (zh) 一种目标检测方法及其装置
CN112447060A (zh) 识别车道的方法、装置及计算设备
JP7264428B2 (ja) 道路標識認識装置及びそのプログラム
CN113095345A (zh) 数据匹配方法、装置和数据处理设备
CN112784817B (zh) 车辆所在车道检测方法、装置、设备及存储介质
CN113435350A (zh) 一种交通标线检测方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant