CN110111363A - 一种基于目标检测的跟踪方法及设备 - Google Patents

一种基于目标检测的跟踪方法及设备 Download PDF

Info

Publication number
CN110111363A
CN110111363A CN201910349262.1A CN201910349262A CN110111363A CN 110111363 A CN110111363 A CN 110111363A CN 201910349262 A CN201910349262 A CN 201910349262A CN 110111363 A CN110111363 A CN 110111363A
Authority
CN
China
Prior art keywords
target
detection block
tracking
picture frame
tracking box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910349262.1A
Other languages
English (en)
Inventor
陈海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Blue Technology Shanghai Co Ltd
Original Assignee
Deep Blue Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Blue Technology Shanghai Co Ltd filed Critical Deep Blue Technology Shanghai Co Ltd
Priority to CN201910349262.1A priority Critical patent/CN110111363A/zh
Publication of CN110111363A publication Critical patent/CN110111363A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测的跟踪方法及设备，利用间隔图像帧进行目标检测的方法每间隔图像帧重新确定一次目标的位置，保证长期进行目标跟踪时，目标不易丢失，提高了目标跟踪的性能。该方法包括：利用目标检测模型对设定间隔的图像帧进行目标检测，得到包括目标类别及目标位置的检测框；利用目标跟踪算法，对得到检测框的图像帧之后的连续图像帧中的目标位置进行跟踪，得到包括目标位置的跟踪框；每隔所述设定间隔，利用同一图像帧的跟踪框对检测框进行校正，根据校正的检测框重置跟踪的目标。

Description

一种基于目标检测的跟踪方法及设备
技术领域
本发明涉及人工智能领域，尤其涉及一种基于目标检测的跟踪方法及设备。
背景技术
现有技术中，目标跟踪是对图像帧序列的每一帧图像中的目标位置进行持续预测的过程，通过在每一帧图像中定位目标位置，能够生成所述目标的运动轨迹，目标跟踪的前提是定位了目标的位置，利用当前定位后的目标在后续图像帧中找到与所述定位的目标最佳匹配的目标的位置，侧重于目标在后续帧中的匹配。
目标跟踪能够应用于人工智能的各个领域，实现对视频帧(图像帧)序列中的动态目标进行跟踪，由于目标跟踪基于对定位的目标进行跟踪，一般的，在目标跟踪开始时刻定位目标位置后不再重新定位目标位置，并且由于目标跟踪的运动目标的不确定性，长期进行目标跟踪容易导致目标丢失的问题。
发明内容
本发明提供了一种基于目标检测的跟踪方法及设备，利用间隔图像帧进行目标检测的方法每间隔图像帧重新确定一次目标的位置，保证长期进行目标跟踪时，目标不易丢失，提高了目标跟踪的性能，改善了目标跟踪时丢失目标的问题。
第一方面，本发明提供一种基于目标检测的跟踪方法，该方法包括：
利用目标检测模型对设定间隔的图像帧进行目标检测，得到包括目标类别及目标位置的检测框；
利用目标跟踪算法，对得到检测框的图像帧之后的连续图像帧中的目标位置进行跟踪，得到包括目标位置的跟踪框；
每隔所述设定间隔，利用同一图像帧的跟踪框对检测框进行校正，根据校正的检测框重置跟踪的目标。
作为一种可选的实施方式，利用同一图像帧的跟踪框对检测框进行校正，包括：
确定同一图像帧的跟踪框及检测框之间的代价函数值；
根据所述代价函数值，确定所述跟踪框及检测框中目标位置所占区域的匹配结果；
根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正。
作为一种可选的实施方式，确定同一图像帧的跟踪框及检测框之间的代价函数值，包括：
确定同一图像帧的跟踪框及检测框之间的交并比IOU。
作为一种可选的实施方式，根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正，包括：
所述代价函数值大于预设阈值时，确定同一图像帧的跟踪框及检测框中目标位置所占的区域匹配；
对所述跟踪框及检测框分别进行加权运算并求和，得到校正的检测框。
作为一种可选的实施方式，根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正，还包括：
所述代价函数值不大于预设阈值时，确定所述跟踪框及检测框的位置区域不匹配，丢弃所述跟踪框。
作为一种可选的实施方式，根据匹配结果利用同一图像帧的跟踪框对检测框进行校正，包括：
得到同一图像帧的跟踪框且未得到检测框，丢弃所述跟踪框。
作为一种可选的实施方式，所述目标检测模型是基于深度学习的模型，包括以下任一种：
基于区域的全卷积网络R-FCN模型；
基于区域的卷积神经网络R-CNN模型；
更快的基于区域的卷积神经网络Faster R-CNN模型；
单步多框检测SSD模型。
作为一种可选的实施方式，所述目标跟踪算法包括以下任一种：
光流算法；
模板匹配算法；
卡尔曼滤波算法。
第二方面，本发明提供一种基于目标检测的跟踪设备，该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器用于执行如下步骤：
利用目标检测模型对设定间隔的图像帧进行目标检测，得到包括目标类别及目标位置的检测框；
利用目标跟踪算法，对得到检测框的图像帧之后的连续图像帧中的目标位置进行跟踪，得到包括目标位置的跟踪框；
每隔所述设定间隔，利用同一图像帧的跟踪框对检测框进行校正，根据校正的检测框重置跟踪的目标。
作为一种可选的实施方式，所述处理器具体用于：
确定同一图像帧的跟踪框及检测框之间的代价函数值；
根据所述代价函数值，确定所述跟踪框及检测框中目标位置所占区域的匹配结果；
根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正。
作为一种可选的实施方式，所述处理器具体用于：
确定同一图像帧的跟踪框及检测框之间的交并比IOU。
作为一种可选的实施方式，所述处理器具体用于：
所述代价函数值大于预设阈值时，确定同一图像帧的跟踪框及检测框中目标位置所占的区域匹配；
对所述跟踪框及检测框分别进行加权运算并求和，得到校正的检测框。
作为一种可选的实施方式，所述处理器具体还用于：
所述代价函数值不大于预设阈值时，确定所述跟踪框及检测框的位置区域不匹配，丢弃所述跟踪框。
作为一种可选的实施方式，所述处理器具体用于：
得到同一图像帧的跟踪框且未得到检测框，丢弃所述跟踪框。
作为一种可选的实施方式，所述目标检测模型是基于深度学习的模型，包括以下任一种：
基于区域的全卷积网络R-FCN模型；
基于区域的卷积神经网络R-CNN模型；
更快的基于区域的卷积神经网络Faster R-CNN模型；
单步多框检测SSD模型。
作为一种可选的实施方式，所述目标跟踪算法包括以下任一种：
光流算法；
模板匹配算法；
卡尔曼滤波算法。
第三方面，本发明提供另一种基于目标检测的跟踪设备，该设备包括：检测模块、跟踪模块、校正模块，其中：
检测模块，用于利用目标检测模型对设定间隔的图像帧进行目标检测，得到包括目标类别及目标位置的检测框；
跟踪模块，用于利用目标跟踪算法，对得到检测框的图像帧之后的连续图像帧中的目标位置进行跟踪，得到包括目标位置的跟踪框；
校正模块，用于每隔所述设定间隔，利用同一图像帧的跟踪框对检测框进行校正，根据校正的检测框重置跟踪的目标。
作为一种可选的实施方式，所述校正模块具体用于：
确定同一图像帧的跟踪框及检测框之间的代价函数值；
根据所述代价函数值，确定所述跟踪框及检测框中目标位置所占区域的匹配结果；
根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正。
作为一种可选的实施方式，所述校正模块具体用于：
确定同一图像帧的跟踪框及检测框之间的交并比IOU。
作为一种可选的实施方式，所述校正模块具体用于：
所述代价函数值大于预设阈值时，确定同一图像帧的跟踪框及检测框中目标位置所占的区域匹配；
对所述跟踪框及检测框分别进行加权运算并求和，得到校正的检测框。
作为一种可选的实施方式，所述校正模块具体还用于：
所述代价函数值不大于预设阈值时，确定所述跟踪框及检测框的位置区域不匹配，丢弃所述跟踪框。
作为一种可选的实施方式，所述校正模块具体用于：
得到同一图像帧的跟踪框且未得到检测框，丢弃所述跟踪框。
作为一种可选的实施方式，所述目标检测模型是基于深度学习的模型，包括以下任一种：
基于区域的全卷积网络R-FCN模型；
基于区域的卷积神经网络R-CNN模型；
更快的基于区域的卷积神经网络Faster R-CNN模型；
单步多框检测SSD模型。
作为一种可选的实施方式，所述目标跟踪算法包括以下任一种：
光流算法；
模板匹配算法；
卡尔曼滤波算法。
第四方面，本发明提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面所述方法的步骤。
本发明提供的一种基于目标检测的跟踪方法及设备，具有以下有益效果：
能够利用间隔的对图像帧序列进行目标检测的方法，确定当前检测的图像帧中所要跟踪的目标的位置，利用间隔图像帧进行目标检测的方法每间隔图像帧重新确定一次目标的位置，利用当前定位后的目标在后续图像帧中找到与所述定位的目标最佳匹配的目标的位置，保证长期进行目标跟踪时，目标不易丢失，提高了目标跟踪的性能，改善了目标跟踪时丢失目标的问题。
附图说明
图1为本发明实施例提供的一种基于目标检测的跟踪方法流程图；
图2为本发明实施例提供的一种基于目标检测的跟踪方法具体流程图；
图3为本发明实施例提供的一种基于目标检测的跟踪设备示意图；
图4为本发明实施例提供的另一种基于目标检测的跟踪设备示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例基于目标检测模型对目标进行定位，从而基于定位的目标实现目标的跟踪，目前，可以利用目标检测模型定位目标的位置，目标检测大多是基于深度学习实现的，根据获取的每一帧图像，对所述图像中的目标进行检测，确定所述目标的分类以及所述目标在所述图像中的位置。
现有技术中，也可以利用目标检测模型实现类似对目标的“跟踪”(伪跟踪)效果，但所述目标检测的“跟踪”的实质是对每一图像帧进行检测，并且，由于所述目标检测模型基于深度学习的模型，将消耗大量计算机资源，因此，在嵌入式设备上无法兼顾性能与实时性，对每一图像帧目标检测的耗时较长，检测帧率较低。综上，利用目标检测实现目标的“跟踪”不能满足实时性要求。
另外，由于目标跟踪基于对定位的目标进行跟踪，一般的在目标跟踪开始时刻定位目标位置后不再重新定位目标位置，并且由于目标跟踪的运动目标的不确定性，长期进行目标跟踪容易导致目标丢失的问题，因此，本发明实施例提供了一种基于目标检测的跟踪方法，利用间隔图像帧进行目标检测的方法每间隔图像帧重新确定一次目标的位置，保证长期进行目标跟踪时，目标不易丢失，提高了目标跟踪的性能。
本发明实施例提供的方法的整体思想是，获取图像帧序列，相隔设定的图像帧进行一次目标检测，同时对检测到的目标进行若干次跟踪，对该过程不断重复，在某时刻，根据同一图像帧中检测的目标及跟踪的目标，确定保留的目标及舍弃的目标，从而重置待跟踪的目标。
如图1所示，该方法具体实施步骤如下：
步骤10：利用目标检测模型对设定间隔的图像帧进行目标检测，得到包括目标类别及目标位置的检测框。
获取图像帧序列后，利用目标检测模型对设定间隔的图像帧进行目标检测，所述设定间隔可以根据实际情况进行调整，保证调整后的设定间隔既要起到目标跟踪的效果又不影响目标跟踪的结果。利用所述目标检测模型检测到的所述图像帧中的目标可能是一个也可能是多个，得到的上述检测框可能是一个也可能是多个，该检测框检测出的当前图像帧中的目标的数量，与该当前图像帧中实际的目标数量以及该目标检测模型(算法)的性能有关。
所述检测框包括目标类型及目标位置，并且，所述目标位置包括：位置坐标，宽度及高度，即根据所述检测框能够确定目标在对应的图像帧的位置区域。
本发明对所述目标检测模型不作过多限定，该目标检测模型基于深度学习，能够实现对图像帧中的目标的定位，具体的目标检测模型可以包括以下任一种：
基于区域的全卷积网络R-FCN模型；基于区域的卷积神经网络R-CNN模型；更快的基于区域的卷积神经网络Faster R-CNN模型；单步多框检测SSD模型。
步骤11：利用目标跟踪算法，对得到检测框的图像帧之后的连续图像帧中的目标位置进行跟踪，得到包括目标位置的跟踪框。
上述目标跟踪开始的时刻为利用上述目标检测模型得到的检测框的图像帧之后的连续图像帧中的第一帧图像，检测框定位了所要跟踪的目标后，利用目标跟踪算法，对连续图像帧中的目标位置进行跟踪，利用当前定位的目标在之后的连续图像帧中找到与所述定位的目标最佳匹配的目标的位置。
所述跟踪框包括目标位置，所述目标位置包括：位置坐标，宽度及高度，即根据所述跟踪框能够确定目标在对应的图像帧预测的位置区域。
由于所述目标跟踪算法，主要用于在之后的连续图像帧中找到与所述定位的目标最佳匹配的目标的位置，侧重于目标位置的匹配算法，因此，本发明实施例提供的目标跟踪算法包括以下任一种：
光流算法；模板匹配算法；卡尔曼滤波算法。
步骤12：每隔所述设定间隔，利用同一图像帧的跟踪框对检测框进行校正，根据校正的检测框重置跟踪的目标。
由于本发明实施例通过每隔所述设定间隔重置一次跟踪的目标，能够利用目标检测模型，有效防止长时间进行目标跟踪时丢失目标的问题。
具体的，利用同一图像帧的跟踪框对检测框进行校正，具体步骤如下：
步骤1：确定同一图像帧的跟踪框及检测框之间的代价函数值；
由于计算所述代价函数值即对上述同一图像帧的跟踪框及检测框所占的位置区域进行匹配，因此，可以根据计算同一图像帧的跟踪框及检测框之间的交并比IOU，来确定同一图像帧的跟踪框及检测框之间的代价函数值。
本发明实施例也可以采用其他的区域匹配方法，计算同一图像帧的跟踪框及检测框之间的代价函数值，本实例不作过多限定。
步骤2：根据所述代价函数值，确定所述跟踪框及检测框中目标位置所占区域的匹配结果；
步骤3：根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正。
根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正，包括以下任一种情况：
1)所述代价函数值大于预设阈值时：
确定同一图像帧的跟踪框及检测框中目标位置所占的区域匹配；对所述跟踪框及检测框分别进行加权运算并求和，得到校正的检测框。
其中，利用第一权重对所述跟踪框进行加权运算，利用第二权重对所述检测框进行加权运算，所述第一权重与第二权重的取值根据跟踪框及检测框匹配的程度可以进行调整，此处不作过多限定。
2)所述代价函数值不大于预设阈值时：
确定所述跟踪框及检测框的位置区域不匹配，丢弃所述跟踪框。
当上述跟踪框及检测框的位置区域不匹配时，说明当前目标跟踪的目标已丢失，丢弃所述跟踪框，根据所述检测框定位的目标，重新对该目标进行目标跟踪，生成新的跟踪框。
另外，根据检测框与跟踪框中至少一个未得到时，有以下几种实施方式：
3)得到同一图像帧的跟踪框且未得到检测框，丢弃所述跟踪框。
未得到检测框说明当前未检测到目标，无需进行目标跟踪，可以丢弃所述跟踪框，待再次检测到目标生成检测框后，可以继续对检测到的目标进行目标跟踪。
4)得到同一图像帧的检测框且未得到跟踪框，保留所述检测框。
未得到跟踪框，可能是由于跟踪的目标丢失，未生成跟踪框，可以保留所述检测框，利用所述检测框定位的目标，重新对该目标进行目标跟踪，生成新的跟踪框。
如图2所示，下面以上述设定时间间隔为4帧图像且该图像帧中的目标分别为目标A、目标B、目标C，对本发明提供的一种基于目标检测的跟踪方法进行具体说明：
步骤21：获取图像帧。
具体的，可以连续获取图像帧，也可以间隔获取图像帧。
步骤22：利用目标检测模型对每间隔4帧图像的图像帧进行目标检测，得到包括目标类别及目标位置的检测框。
具体的，对第1帧图像进行目标检测，得到目标A的检测框A1、目标B的检测框B1、目标C的检测框C1；
步骤23：利用目标跟踪算法，对上述得到检测框的图像帧之后的连续图像帧中的目标位置进行跟踪，得到包括目标位置的跟踪框。
具体的，对第1帧图像之后的连续4帧图像中的目标位置进行跟踪，得到连续4帧图像中每帧图像的跟踪框，分别得到第2帧、第3帧、第4帧以及第5帧图像中的目标A、目标B、目标C的跟踪框，其中第5帧图像中目标A、B、C的跟踪框分别为跟踪框A2，跟踪框B2，跟踪框C2。
步骤24：判断是否相隔4帧图像，如果是执行步骤25，否则执行步骤23。
步骤25：计算同一图像帧的跟踪框与检测框之间的IOU；
具体的，计算第5帧图像的跟踪框A2与检测框A1之间的A-IOU、跟踪框B2与检测框B1之间的B-IOU、跟踪框C2与检测框C1之间的C-IOU。
步骤26：确定IOU是否大于预设阈值，如果是执行步骤27，否则执行步骤28；
步骤27：对所述跟踪框及检测框分别进行加权运算并求和，得到校正的检测框，根据校正的检测框重置跟踪的目标。
步骤28：丢弃所述跟踪框。
实施例二
基于相同的发明构思，本发明实施例二还提供了一种基于目标检测的跟踪设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
如图3所示，该设备包括：处理器30以及存储器31，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器30执行时，使得所述处理器30用于执行如下步骤：
利用目标检测模型对设定间隔的图像帧进行目标检测，得到包括目标类别及目标位置的检测框；
利用目标跟踪算法，对得到检测框的图像帧之后的连续图像帧中的目标位置进行跟踪，得到包括目标位置的跟踪框；
每隔所述设定间隔，利用同一图像帧的跟踪框对检测框进行校正，根据校正的检测框重置跟踪的目标。
作为一种可选的实施方式，所述处理器30具体用于：
确定同一图像帧的跟踪框及检测框之间的代价函数值；
根据所述代价函数值，确定所述跟踪框及检测框中目标位置所占区域的匹配结果；
根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正。
作为一种可选的实施方式，所述处理器30具体用于：
确定同一图像帧的跟踪框及检测框之间的交并比IOU。
作为一种可选的实施方式，所述处理器30具体用于：
所述代价函数值大于预设阈值时，确定同一图像帧的跟踪框及检测框中目标位置所占的区域匹配；
对所述跟踪框及检测框分别进行加权运算并求和，得到校正的检测框。
作为一种可选的实施方式，所述处理器30具体还用于：
所述代价函数值不大于预设阈值时，确定所述跟踪框及检测框的位置区域不匹配，丢弃所述跟踪框。
作为一种可选的实施方式，所述处理器30具体用于：
得到同一图像帧的跟踪框且未得到检测框，丢弃所述跟踪框。
作为一种可选的实施方式，所述目标检测模型是基于深度学习的模型，包括以下任一种：
基于区域的全卷积网络R-FCN模型；
基于区域的卷积神经网络R-CNN模型；
更快的基于区域的卷积神经网络Faster R-CNN模型；
单步多框检测SSD模型。
作为一种可选的实施方式，所述目标跟踪算法包括以下任一种：
光流算法；
模板匹配算法；
卡尔曼滤波算法。
实施例三
基于相同的发明构思，本发明实施例还提供了另一种基于目标检测的跟踪设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
如图4所示，该设备包括：检测模块40、跟踪模块41、校正模块42，其中：
检测模块40，用于利用目标检测模型对设定间隔的图像帧进行目标检测，得到包括目标类别及目标位置的检测框；
跟踪模块41，用于利用目标跟踪算法，对得到检测框的图像帧之后的连续图像帧中的目标位置进行跟踪，得到包括目标位置的跟踪框；
校正模块42，用于每隔所述设定间隔，利用同一图像帧的跟踪框对检测框进行校正，根据校正的检测框重置跟踪的目标。
作为一种可选的实施方式，所述校正模块42具体用于：
确定同一图像帧的跟踪框及检测框之间的代价函数值；
根据所述代价函数值，确定所述跟踪框及检测框中目标位置所占区域的匹配结果；
根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正。
作为一种可选的实施方式，所述校正模块42具体用于：
确定同一图像帧的跟踪框及检测框之间的交并比IOU。
作为一种可选的实施方式，所述校正模块42具体用于：
所述代价函数值大于预设阈值时，确定同一图像帧的跟踪框及检测框中目标位置所占的区域匹配；
对所述跟踪框及检测框分别进行加权运算并求和，得到校正的检测框。
作为一种可选的实施方式，所述校正模块42具体还用于：
所述代价函数值不大于预设阈值时，确定所述跟踪框及检测框的位置区域不匹配，丢弃所述跟踪框。
作为一种可选的实施方式，所述校正模块42具体用于：
得到同一图像帧的跟踪框且未得到检测框，丢弃所述跟踪框。
作为一种可选的实施方式，所述目标检测模型是基于深度学习的模型，包括以下任一种：
基于区域的全卷积网络R-FCN模型；
基于区域的卷积神经网络R-CNN模型；
更快的基于区域的卷积神经网络Faster R-CNN模型；
单步多框检测SSD模型。
作为一种可选的实施方式，所述目标跟踪算法包括以下任一种：
光流算法；
模板匹配算法；
卡尔曼滤波算法。
实施例四
本发明提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下方法的步骤：
利用目标检测模型对设定间隔的图像帧进行目标检测，得到包括目标类别及目标位置的检测框；
利用目标跟踪算法，对得到检测框的图像帧之后的连续图像帧中的目标位置进行跟踪，得到包括目标位置的跟踪框；
每隔所述设定间隔，利用同一图像帧的跟踪框对检测框进行校正，根据校正的检测框重置跟踪的目标。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于目标检测的跟踪方法，其特征在于，该方法包括：
利用目标检测模型对设定间隔的图像帧进行目标检测，得到包括目标类别及目标位置的检测框；
利用目标跟踪算法，对得到检测框的图像帧之后的连续图像帧中的目标位置进行跟踪，得到包括目标位置的跟踪框；
每隔所述设定间隔，利用同一图像帧的跟踪框对检测框进行校正，根据校正的检测框重置跟踪的目标。
2.根据权利要求1所述的方法，其特征在于，利用同一图像帧的跟踪框对检测框进行校正，包括：
确定同一图像帧的跟踪框及检测框之间的代价函数值；
根据所述代价函数值，确定所述跟踪框及检测框中目标位置所占区域的匹配结果；
根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正。
3.根据权利要求2所述的方法，其特征在于，确定同一图像帧的跟踪框及检测框之间的代价函数值，包括：
确定同一图像帧的跟踪框及检测框之间的交并比IOU。
4.根据权利要求2所述的方法，其特征在于，根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正，包括：
所述代价函数值大于预设阈值时，确定同一图像帧的跟踪框及检测框中目标位置所占的区域匹配；
对所述跟踪框及检测框分别进行加权运算并求和，得到校正的检测框。
5.根据权利要求4所述的方法，其特征在于，根据匹配结果利用同一图像帧的跟踪框对所述检测框进行校正，还包括：
所述代价函数值不大于预设阈值时，确定所述跟踪框及检测框的位置区域不匹配，丢弃所述跟踪框。
6.根据权利要求2所述的方法，其特征在于，根据匹配结果利用同一图像帧的跟踪框对检测框进行校正，包括：
得到同一图像帧的跟踪框且未得到检测框，丢弃所述跟踪框。
7.根据权利要求1所述的方法，其特征在于，所述目标检测模型是基于深度学习的模型，包括以下任一种：
基于区域的全卷积网络R-FCN模型；
基于区域的卷积神经网络R-CNN模型；
更快的基于区域的卷积神经网络Faster R-CNN模型；
单步多框检测SSD模型。
8.根据权利要求1所述的方法，其特征在于，所述目标跟踪算法包括以下任一种：
光流算法；
模板匹配算法；
卡尔曼滤波算法。
9.一种基于目标检测的跟踪设备，其特征在于，该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1～8任一所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～8任一所述方法的步骤。
CN201910349262.1A 2019-04-28 2019-04-28 一种基于目标检测的跟踪方法及设备 Pending CN110111363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910349262.1A CN110111363A (zh) 2019-04-28 2019-04-28 一种基于目标检测的跟踪方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910349262.1A CN110111363A (zh) 2019-04-28 2019-04-28 一种基于目标检测的跟踪方法及设备

Publications (1)

Publication Number Publication Date
CN110111363A true CN110111363A (zh) 2019-08-09

Family

ID=67487193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910349262.1A Pending CN110111363A (zh) 2019-04-28 2019-04-28 一种基于目标检测的跟踪方法及设备

Country Status (1)

Country Link
CN (1) CN110111363A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688896A (zh) * 2019-08-23 2020-01-14 北京正安维视科技股份有限公司 一种行人徘徊检测方法
CN111126235A (zh) * 2019-12-18 2020-05-08 浙江大华技术股份有限公司 一种船只违章停泊检测处理方法及装置
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN111340847A (zh) * 2020-02-25 2020-06-26 杭州涂鸦信息技术有限公司 视频中人形跟踪方法以及人形跟踪系统和存储介质
CN111354021A (zh) * 2020-02-14 2020-06-30 广东工业大学 一种基于目标识别及像素标记的目标跟踪方法
CN111798482A (zh) * 2020-06-16 2020-10-20 浙江大华技术股份有限公司 一种目标跟踪方法及设备
CN111982296A (zh) * 2020-08-07 2020-11-24 中国农业大学 基于热红外视频的运动目标体表温度快速检测方法及系统
CN112184770A (zh) * 2020-09-28 2021-01-05 中国电子科技集团公司第五十四研究所 一种基于YOLOv3和改进KCF的目标跟踪方法
CN112488982A (zh) * 2019-09-11 2021-03-12 磅客策(上海)机器人有限公司 一种超声图像检测方法及装置
CN112750145A (zh) * 2019-10-30 2021-05-04 中国电信股份有限公司 目标检测与跟踪的方法、装置和系统
CN112991393A (zh) * 2021-04-15 2021-06-18 北京澎思科技有限公司 目标检测与跟踪方法、装置、电子设备及存储介质
CN113034541A (zh) * 2021-02-26 2021-06-25 北京国双科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN113052870A (zh) * 2019-12-26 2021-06-29 华为技术有限公司 目标跟踪方法、目标检测方法和装置
CN113052019A (zh) * 2021-03-10 2021-06-29 南京创维信息技术研究院有限公司 目标跟踪方法及装置、智能设备和计算机存储介质
CN113936039A (zh) * 2021-10-15 2022-01-14 北京爱笔科技有限公司 一种对象跟踪方法、装置及系统
WO2022193990A1 (zh) * 2021-03-17 2022-09-22 腾讯科技（深圳）有限公司 检测跟踪方法、装置、设备、存储介质及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875425A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种基于深度学习的多目标追踪系统及实现方法
CN107330922A (zh) * 2017-07-04 2017-11-07 西北工业大学 基于运动信息和区域特征的航拍视频运动目标检测方法
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108564598A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 一种改进的在线Boosting目标跟踪方法
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875425A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种基于深度学习的多目标追踪系统及实现方法
CN107330922A (zh) * 2017-07-04 2017-11-07 西北工业大学 基于运动信息和区域特征的航拍视频运动目标检测方法
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108564598A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 一种改进的在线Boosting目标跟踪方法
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688896A (zh) * 2019-08-23 2020-01-14 北京正安维视科技股份有限公司 一种行人徘徊检测方法
CN112488982A (zh) * 2019-09-11 2021-03-12 磅客策(上海)机器人有限公司 一种超声图像检测方法及装置
CN112750145A (zh) * 2019-10-30 2021-05-04 中国电信股份有限公司 目标检测与跟踪的方法、装置和系统
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN111126235A (zh) * 2019-12-18 2020-05-08 浙江大华技术股份有限公司 一种船只违章停泊检测处理方法及装置
CN111126235B (zh) * 2019-12-18 2023-06-16 浙江大华技术股份有限公司 一种船只违章停泊检测处理方法及装置
CN113052870A (zh) * 2019-12-26 2021-06-29 华为技术有限公司 目标跟踪方法、目标检测方法和装置
CN111354021A (zh) * 2020-02-14 2020-06-30 广东工业大学 一种基于目标识别及像素标记的目标跟踪方法
CN111340847A (zh) * 2020-02-25 2020-06-26 杭州涂鸦信息技术有限公司 视频中人形跟踪方法以及人形跟踪系统和存储介质
CN111798482A (zh) * 2020-06-16 2020-10-20 浙江大华技术股份有限公司 一种目标跟踪方法及设备
CN111982296A (zh) * 2020-08-07 2020-11-24 中国农业大学 基于热红外视频的运动目标体表温度快速检测方法及系统
CN112184770A (zh) * 2020-09-28 2021-01-05 中国电子科技集团公司第五十四研究所 一种基于YOLOv3和改进KCF的目标跟踪方法
CN113034541A (zh) * 2021-02-26 2021-06-25 北京国双科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN113052019A (zh) * 2021-03-10 2021-06-29 南京创维信息技术研究院有限公司 目标跟踪方法及装置、智能设备和计算机存储介质
CN113052019B (zh) * 2021-03-10 2024-08-20 南京创维信息技术研究院有限公司 目标跟踪方法及装置、智能设备和计算机存储介质
WO2022193990A1 (zh) * 2021-03-17 2022-09-22 腾讯科技（深圳）有限公司 检测跟踪方法、装置、设备、存储介质及计算机程序产品
CN112991393A (zh) * 2021-04-15 2021-06-18 北京澎思科技有限公司 目标检测与跟踪方法、装置、电子设备及存储介质
CN113936039A (zh) * 2021-10-15 2022-01-14 北京爱笔科技有限公司 一种对象跟踪方法、装置及系统

Similar Documents

Publication Publication Date Title
CN110111363A (zh) 一种基于目标检测的跟踪方法及设备
CN105405154B (zh) 基于颜色-结构特征的目标对象跟踪方法
CN109859239B (zh) 一种目标追踪的方法及设备
St-Charles et al. A self-adjusting approach to change detection based on background word consensus
JP6065427B2 (ja) オブジェクト追跡方法及びオブジェクト追跡装置
Shen et al. Exemplar-based human action pose correction and tagging
CN106875425A (zh) 一种基于深度学习的多目标追踪系统及实现方法
CN103514441B (zh) 基于移动平台的人脸特征点定位跟踪方法
CN107292911A (zh) 一种基于多模型融合和数据关联的多目标跟踪方法
CN107563313A (zh) 基于深度学习的多目标行人检测与跟踪方法
CN109344717B (zh) 一种多阈值动态统计的深海目标在线检测识别方法
CN104091349B (zh) 基于支持向量机的鲁棒目标跟踪方法
CN106780557A (zh) 一种基于光流法和关键点特征的运动目标跟踪方法
CN104899561A (zh) 一种并行化的人体行为识别方法
CN103914685B (zh) 一种基于广义最小团图和禁忌搜索的多目标跟踪方法
CN111553274A (zh) 一种基于轨迹分析的高空抛物检测方法及装置
CN109272509A (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN110222769A (zh) 一种基于YOLOV3-tiny的改进目标检测方法
WO2021051526A1 (zh) 多视图3d人体姿态估计方法及相关装置
CN110287907A (zh) 一种对象检测方法和装置
CN103593679A (zh) 一种基于在线机器学习的视觉人手跟踪方法
CN106067001A (zh) 一种动作识别方法及系统
CN111354022B (zh) 基于核相关滤波的目标跟踪方法及系统
CN112287906B (zh) 一种基于深度特征融合的模板匹配跟踪方法及系统
CN109902619A (zh) 图像闭环检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190809

RJ01 Rejection of invention patent application after publication