CN112184767A - 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 - Google Patents

对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112184767A
CN112184767A CN202011002598.XA CN202011002598A CN112184767A CN 112184767 A CN112184767 A CN 112184767A CN 202011002598 A CN202011002598 A CN 202011002598A CN 112184767 A CN112184767 A CN 112184767A
Authority
CN
China
Prior art keywords
bdbox
frame
object target
target frame
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011002598.XA
Other languages
English (en)
Inventor
宋开银
叶春雨
刘显标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyan Artificial Intelligence Technology Shenzhen Co ltd
Original Assignee
Shenyan Artificial Intelligence Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyan Artificial Intelligence Technology Shenzhen Co ltd filed Critical Shenyan Artificial Intelligence Technology Shenzhen Co ltd
Priority to CN202011002598.XA priority Critical patent/CN112184767A/zh
Publication of CN112184767A publication Critical patent/CN112184767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了对运动物体进行轨迹跟踪的方法、装置、设备及存储介质，选取视频流中相邻或相近的图片帧A和图片帧B；将图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；将图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；在物体目标框bdbox_A上叠加光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；计算预测位置bdbox_B’所包含的物体目标框与物体目标框bdbox_B的交并比；将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。本发明提高了跟踪效果的稳定性和准确性。

Description

对运动物体进行轨迹跟踪的方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉领域，特别涉及对运动物体进行轨迹跟踪的方法、装置、设备及存储介质。
背景技术
目标跟踪技术为计算机视觉研究领域中的研究热点之一，目标跟踪技术在诸如智能监控、军事侦察、机器人视觉导航、三维重建等领域具有广泛的研究及应用前景。目标的不定向运动改变了目标和场景的外观模式，非刚性目标结构、目标间及目标与场景间的遮挡、摄像机的运动等情况使目标跟踪任务变得更加困难。
跟踪可简单地定义为估计物体围绕一个场景运动时在图像平面中的轨迹，即一个跟踪系统给同一个视频中不同帧的跟踪目标分配一致的标签。随着高性能计算机的增多，物美价廉摄影机的普及，对自动视频分析与日俱增的需求引起人们对目标跟踪技术的浓厚兴趣。
以智能监控应用场景为例，良好的目标跟踪技术可提供更为可靠的物体数量，物体流量及物体密度等信息，同时也能为更高级的计算机视觉算法在实际场景中的应用提供准确的目标框。传统的目标跟踪技术通常会根据图像帧中的纹理，颜色信息以及这些具有一定组织规律的信息在帧间的像素运动信息来进行目标跟踪检测。但现有技术的跟踪效果在稳定性和准确性等方面还有待提高。
发明内容
本发明的目的是提供对运动物体进行轨迹跟踪的方法、装置、设备及存储介质，旨在解决现有目标跟踪技术在稳定性和准确性方面有待提高的问题。
第一方面，本发明实施例提供一种对运动物体进行轨迹跟踪的方法，其中，包括；
选取视频流中相邻或相近的图片帧A和图片帧B；
将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；
将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；
在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；
计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；
将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。
优选的，所述交并比为IoU，所述计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比，包括：
采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的IoU：
Figure BDA0002694849090000021
其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域。
优选的，所述交并比为GIoU，所述计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比，包括：
采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的GIoU：
Figure BDA0002694849090000022
其中，
Figure BDA0002694849090000023
其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域，C表示可包围所述物体目标框bdbox_A和所述物体目标框bdbox_B的最小方框。
优选的，所述在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’，包括：
获取所述物体目标框bdbox_A上的所有子目标框；
将所有子目标框均叠加所述光流场矩阵，得到对应的叠加光流场矩阵的多个子目标框；
将叠加光流场矩阵的多个子目标框作为图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’。
优选的，所述计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比，包括：
获取所述物体目标框bdbox_B上的所有子目标框；
将所述预测位置bdbox_B’包含的所有子目标框与所述物体目标框bdbox_B上的所有子目标框进行两两之间的配对，并计算所有配对的两个子目标框的交并比；
当计算出的交并比大于预设阈值时，则判定两个子目标框中的物体为同一物体。
优选的，所述目标检测模型为Yolo目标检测模型、SSD目标检测模型、Mask-RCNN目标检测模型、Fast-RCNN目标检测模型或Faster-RCNN目标检测模型。
优选的，所述光流模型为Farneback光流模型或金字塔LK光流模型。
第二方面，本发明实施例提供一种对运动物体进行轨迹跟踪的装置，其中，包括：
选取单元，用于选取视频流中相邻或相近的图片帧A和图片帧B；
光流场矩阵计算单元，用于将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；
目标检测单元，用于将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；
预测单元，用于在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；
相似度计算单元，用于计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；
轨迹追踪单元，用于将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。
第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如第一方面所述的对运动物体进行轨迹跟踪的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如第一方面所述的对运动物体进行轨迹跟踪的方法。
本发明实施例提供了对运动物体进行轨迹跟踪的方法、装置、设备及存储介质，选取视频流中相邻或相近的图片帧A和图片帧B；将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。本发明实施例的方法通过光流计算、物体目标检测推理、交并比计算及阀值判定来完成视频中物体跟踪，提高了跟踪效果的稳定性和准确性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的对运动物体进行轨迹跟踪的方法的流程示意图；
图2为本发明实施例中在物体目标框bdbox_A上叠加所述光流场矩阵的原理图；
图3为本发明实施例中交并比计算的原理图；
图4为本发明实施例提供的对运动物体进行轨迹跟踪的装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的一种对运动物体进行轨迹跟踪的方法的流程示意图，包括步骤S101～S106；
S101、选取视频流中相邻或相近的图片帧A和图片帧B；
S102、将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；
S103、将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；
S104、在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；
S105、计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；
S106、将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。
本发明实施例的方法通过光流计算、物体目标检测推理、交并比计算及阀值判定来完成视频中物体跟踪，提高了跟踪效果的稳定性和准确性。
在所述步骤S101中，先选取视频流中相邻或相近的图片帧A和图片帧B。
其中，所述图片帧A和图片帧B可以是相邻的图片帧，也可以是不相邻的图片帧，即本发明实施例提供的方法可以针对不连续的视频帧进行目标跟踪。例如本发明可以进行连续抽帧，即抽取相邻的图片帧，从而对相邻帧的图片帧进行目标跟踪，也可以进行间隔抽帧，即抽取不相邻的图片帧，例如每5帧视频帧中抽取一帧作为图片帧，然后对抽取到的图片帧进行检测。
在所述步骤S102中，将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵。
其中的光流模型可以是Farneback光流模型或金字塔LK光流模型，或其他基于深度学习的光流模型。
光流模型的原理是基于：当人的眼睛与被观察物体发生相对运动时，物体的影像在视网膜平面上形成一系列连续变化的图像，这一系列变化的图像信息不断"流过"视网膜，类似一种光的“流”，所以称为光流。光流是基于像素点定义的，所有光流的集合称为光流场。通过对光流场进行分析，可以得到物体相对观察者的运动场。
Farneback光流模型是基于物体移动的光学特性的两个假设：1.运动物体的灰度在很短的间隔时间内保持不变；2.给定邻域内的速度向量场变化是缓慢的。Farneback光流模型的计算过程包括：1.读取雷达拼图数据并初始化；2.计算求解点的灰度梯度；3.设定速度平滑权重系数(一般设为1)，初始速度(一般设为0)，迭代误差等；4.计算k-1次速度平均值；5.计算k次迭代的速度值；6.计算两次迭代光流值的误差，如果小于给定误差阈值，或者者迭代次数超过迭代次数，则计算过程结束，否则进行k+1次迭代。
金字塔LK光流模型(简称LK光流模型)的计算过程包括：假设光流在像素点的邻域是一个常数，然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程。通过结合几个邻近像素点的信息，能够消除光流方程里的多义性。而且，与逐点计算的方法相比，金字塔LK光流模型对图像噪声不敏感。
基于深度学习亦可建立光流模型。首先要设计合适的神经网络，同时采集或制作一定数量的样本，每个样本内容包含两帧图片以及相应的正确的光流场矩阵，运用这些样本对神经网络进行训练，使其具备计算光流场矩阵的能力。
通过所述光流模型可以得到图片帧A到图片帧B上的x、y方向的光流场矩阵。即光流模型可对两帧图片帧A、B计算获得光流场矩阵，该光流场矩阵即起始图像像素点在x、y方向估算出的运动信息。
在所述步骤S103中，利用目标检测模型对所述图片帧A和图片帧B分别进行推理，即将所述图片帧A和图片帧B分别输入至目标检测模型中。
这样可以利用所述目标检测模型分别输出图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B。
在一实施例中，所述目标检测模型为Yolo目标检测模型。所述Yolo目标检测模型可端到端训练且完全基于深度学习，图像帧输入Yolo目标检测模型后推理出预设目标物体在图像中存在与否及位置信息。Yolo目标检测模型采用卷积网络来提取特征，然后使用全连接层来得到预测值。Yolo目标检测模型网络结构包含24个卷积层和2个全连接层，对于卷积层，主要使用1x1卷积来进行降维，然后接着3x3卷积。对于卷积层和全连接层，采用ReLU激活函数，最后一层采用线性激活函数。所述目标检测模型也可以是其他目标检测模型，例如SSD目标检测模型、Mask-RCNN目标检测模型、Fast-RCNN目标检测模型或Faster-RCNN目标检测模型。
在本发明实施例中，所述物体目标框bdbox_A可能包含多个子目标框，所述物体目标框bdbox_B同样可能包含多个子目标框，即一个图片帧中可能仅包含一个需要跟踪的目标，也可能同时包含多个需要跟踪的目标。
在所述步骤S104中，在所述物体目标框bdbox_A上叠加所述光流场矩阵，这样可以得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’。
该预测位置bdbox_B’实际上表示了物体目标框bdbox_A在图片帧B上的估计位置，通过这样的方式，即可进行后续的比对，即将bdbox_B’包含的物体目标框与物体目标框bdbox_B进行比对。
在一实施例中，所述步骤S104包括：
S201、获取所述物体目标框bdbox_A上的所有子目标框；
S202、将所有子目标框均叠加所述光流场矩阵，得到对应的叠加光流场矩阵的多个子目标框；
S203、将叠加光流场矩阵的多个子目标框作为图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’。
本实施例中，如图2所示，物体目标框bdbox_A中包含有多个子目标框，先获取所有的子目标框，然后针对每一个子目标框，均叠加上述的光流场矩阵，从而得到对应的多个叠加光流场矩阵后的多个子目标框。然后将叠加光流场矩阵后的子目标框作为图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’。
也就是说，本发明实施例会针对每一个子目标框，均估算得到其在图片帧B的预测位置。
本发明实施例提到的交并比可以是各种IoU算法得到的结果，即本发明实施例中的交并比可以是简单IoU、IoU、GIoU、DIoU、CIoU等等。
在一实施例中，所述交并比为IoU，所述步骤S105包括：
采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的IoU：
Figure BDA0002694849090000081
其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域。
在另一实施例中，所述交并比是GIoU，所述步骤S105包括：
采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的GIoU：
Figure BDA0002694849090000082
其中，
Figure BDA0002694849090000083
其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域，C表示可包围所述物体目标框bdbox_A和所述物体目标框bdbox_B的最小方框。
本发明实施例中，GIoU是Generalized Intersection overUnion的简称，GIoU在IoU的基础上减去并集相对全集的补集比全集。
IoU，即Intersection overUnion的简称，表示在全集中两个子集的交集与其并集的比值，用于反应两个集合的相似性程度。在图像领域中，IoU表示平面图像中两个物体的相交面积与其并集面积的比值，表示平面图像中两个物体的重合程度。IoU的表达式为：
Figure BDA0002694849090000084
本发明实施例中优选采用GIoU作为物体目标重合度计算方式，对原来的IoU进行了修正使得物体外形相似度更小的目标的重合度相对而言更小，而外形相近物体重合度相对更大，所以可以更好地对视频中物体目标进行跟踪。
在一实施例中，所述步骤S105包括：
S301、获取所述物体目标框bdbox_B上的所有子目标框；
S302、将所述预测位置bdbox_B’包含的所有子目标框与所述物体目标框bdbox_B上的所有子目标框进行两两之间的配对，并计算所有配对的两个子目标框的交并比；
S303、当计算出的交并比大于预设阈值时，则判定两个子目标框中的物体为同一物体。
如图3所示，本实施例中，是将所述预测位置bdbox_B’包含的所有子目标框与所述物体目标框bdbox_B上的所有子目标框进行两两之间的配对，这样可能会计算出多组两个子目标框的交并比，同时将所计算出的交并比与阈值进行比较，如果交并比大于阈值，则认为两个子目标框中的物体为同一物体，如果交并比小于或等于预设阈值，则认为两个子目标框中的物体不是同一物体，这样既可实现目标跟踪。
另外，可能出现的情况还有所述预测位置bdbox_B’中有两个或两个以上的子目标框与所述物体目标框bdbox_B上的某个子目标框两两之间配对的交并比均大于阈值，针对这种情况，可以对交并比进行排序，选取其中最高的交并比，并将其对应的两个子目标框中的物体作为同一物体。
另外，可能出现的情况还有所述物体目标框bdbox_B上有两个或两个以上子目标框与所述预测位置bdbox_B’中的某个子目标框两两之间配对的交并比均大于阈值，针对这种情况，也可以对交并比进行排序，选取其中最高的交并比，并将其对应的两个子目标框中的物体作为同一物体。
即本发明实施例可以结合得分排序以及阈值判断的方式来进行目标跟踪，提高跟踪准确率。
请参阅图4，图4为本发明实施例提供的一种对运动物体进行轨迹跟踪的装置400的示意性框图，其包括：
选取单元401，用于选取视频流中相邻或相近的图片帧A和图片帧B；
光流场矩阵计算单元402，用于将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；
目标检测单元403，用于将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；
预测单元404，用于在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；
相似度计算单元405，用于计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；
轨迹追踪单元406，用于将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。
在一实施例中，所述交并比为IoU，所述所述相似度计算单元405包括：
第一计算单元，用于采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的IoU：
Figure BDA0002694849090000101
其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域。
在一实施例中，所述相似度计算单元405包括：
第二计算单元，用于采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的GIoU：
Figure BDA0002694849090000102
其中，
Figure BDA0002694849090000103
其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域，C表示可包围所述物体目标框bdbox_A和所述物体目标框bdbox_B的最小方框。
在一实施例中，所述预测单元404包括：
第一获取单元，用于获取所述物体目标框bdbox_A上的所有子目标框；
叠加单元，用于将所有子目标框均叠加所述光流场矩阵，得到对应的叠加光流场矩阵的多个子目标框；
第一判定单元，用于将叠加光流场矩阵的多个子目标框作为图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’。
在一实施例中，所述相似度计算单元405包括：
第二获取单元，用于获取所述物体目标框bdbox_B上的所有子目标框；
配对计算单元，用于将所述预测位置bdbox_B’包含的所有子目标框与所述物体目标框bdbox_B上的所有子目标框进行两两之间的配对，并计算所有配对的两个子目标框的交并比；
第二判定单元，用于当计算出的交并比大于预设阈值时，则判定两个子目标框中的物体为同一物体。
在一实施例中，所述目标检测模型为Yolo目标检测模型、SSD目标检测模型、Mask-RCNN目标检测模型、Fast-RCNN目标检测模型或Faster-RCNN目标检测模型。
在一实施例中，所述光流模型为Farneback光流模型或金字塔LK光流模型。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的对运动物体进行轨迹跟踪的方法。
本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的对运动物体进行轨迹跟踪的方法。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种对运动物体进行轨迹跟踪的方法，其特征在于，包括；
选取视频流中相邻或相近的图片帧A和图片帧B；
将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；
将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；
在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；
计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；
将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。
2.根据权利要求1所述的对运动物体进行轨迹跟踪的方法，其特征在于，所述交并比为IoU，所述计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比，包括：
采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的IoU：
Figure FDA0002694849080000011
其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域。
3.根据权利要求1所述的对运动物体进行轨迹跟踪的方法，其特征在于，所述交并比为GIoU，所述计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比，包括：
采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的GIoU：
Figure FDA0002694849080000012
其中，
Figure FDA0002694849080000013
其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域，C表示可包围所述物体目标框bdbox_A和所述物体目标框bdbox_B的最小方框。
4.根据权利要求1所述的对运动物体进行轨迹跟踪的方法，其特征在于，所述在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’，包括：
获取所述物体目标框bdbox_A上的所有子目标框；
将所有子目标框均叠加所述光流场矩阵，得到对应的叠加光流场矩阵的多个子目标框；
将叠加光流场矩阵的多个子目标框作为图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’。
5.根据权利要求1所述的对运动物体进行轨迹跟踪的方法，其特征在于，所述计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比，包括：
获取所述物体目标框bdbox_B上的所有子目标框；
将所述预测位置bdbox_B’包含的所有子目标框与所述物体目标框bdbox_B上的所有子目标框进行两两之间的配对，并计算所有配对的两个子目标框的交并比；
当计算出的交并比大于预设阈值时，则判定两个子目标框中的物体为同一物体。
6.根据权利要求1所述的对运动物体进行轨迹跟踪的方法，其特征在于，所述目标检测模型为Yolo目标检测模型、SSD目标检测模型、Mask-RCNN目标检测模型、Fast-RCNN目标检测模型或Faster-RCNN目标检测模型。
7.根据权利要求1所述的对运动物体进行轨迹跟踪的方法，其特征在于，所述光流模型为Farneback光流模型或金字塔LK光流模型。
8.一种对运动物体进行轨迹跟踪的装置，其特征在于，包括：
选取单元，用于选取视频流中相邻或相近的图片帧A和图片帧B；
光流场矩阵计算单元，用于将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；
目标检测单元，用于将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；
预测单元，用于在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；
相似度计算单元，用于计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；
轨迹追踪单元，用于将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的对运动物体进行轨迹跟踪的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的对运动物体进行轨迹跟踪的方法。
CN202011002598.XA 2020-09-22 2020-09-22 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 Pending CN112184767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011002598.XA CN112184767A (zh) 2020-09-22 2020-09-22 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011002598.XA CN112184767A (zh) 2020-09-22 2020-09-22 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112184767A true CN112184767A (zh) 2021-01-05

Family

ID=73956719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011002598.XA Pending CN112184767A (zh) 2020-09-22 2020-09-22 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112184767A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033479A (zh) * 2021-04-20 2021-06-25 超级视线科技有限公司 一种基于多层感知的泊位事件识别方法及系统
CN113421302A (zh) * 2021-06-09 2021-09-21 浙江大华技术股份有限公司 一种光流标注方法及装置
CN114049396A (zh) * 2021-11-05 2022-02-15 北京百度网讯科技有限公司 训练图像的标注及目标跟踪方法、装置、电子设备和介质
CN116597417A (zh) * 2023-05-16 2023-08-15 北京斯年智驾科技有限公司 一种障碍物运动轨迹确定方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961019A (zh) * 2019-02-28 2019-07-02 华中科技大学 一种时空行为检测方法
CN110276305A (zh) * 2019-06-25 2019-09-24 广州众聚智能科技有限公司 一种动态商品识别方法
CN110415277A (zh) * 2019-07-24 2019-11-05 中国科学院自动化研究所 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置
CN111161309A (zh) * 2019-11-19 2020-05-15 北航航空航天产业研究院丹阳有限公司 一种车载视频动态目标的搜索与定位方法
CN111460968A (zh) * 2020-03-27 2020-07-28 上海大学 基于视频的无人机识别与跟踪方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961019A (zh) * 2019-02-28 2019-07-02 华中科技大学 一种时空行为检测方法
CN110276305A (zh) * 2019-06-25 2019-09-24 广州众聚智能科技有限公司 一种动态商品识别方法
CN110415277A (zh) * 2019-07-24 2019-11-05 中国科学院自动化研究所 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置
CN111161309A (zh) * 2019-11-19 2020-05-15 北航航空航天产业研究院丹阳有限公司 一种车载视频动态目标的搜索与定位方法
CN111460968A (zh) * 2020-03-27 2020-07-28 上海大学 基于视频的无人机识别与跟踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陕硕 等: "《基于实例分割的多目标跟踪》", 《中国体视学与图像分析》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033479A (zh) * 2021-04-20 2021-06-25 超级视线科技有限公司 一种基于多层感知的泊位事件识别方法及系统
CN113033479B (zh) * 2021-04-20 2024-04-26 超级视线科技有限公司 一种基于多层感知的泊位事件识别方法及系统
CN113421302A (zh) * 2021-06-09 2021-09-21 浙江大华技术股份有限公司 一种光流标注方法及装置
CN114049396A (zh) * 2021-11-05 2022-02-15 北京百度网讯科技有限公司 训练图像的标注及目标跟踪方法、装置、电子设备和介质
CN116597417A (zh) * 2023-05-16 2023-08-15 北京斯年智驾科技有限公司 一种障碍物运动轨迹确定方法、装置、设备及存储介质
CN116597417B (zh) * 2023-05-16 2024-08-13 北京斯年智驾科技有限公司 一种障碍物运动轨迹确定方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111311666B (zh) 一种融合边缘特征和深度学习的单目视觉里程计方法
Guo et al. Learning monocular depth by distilling cross-domain stereo networks
CN107545582B (zh) 基于模糊逻辑的视频多目标跟踪方法及装置
CN109146921B (zh) 一种基于深度学习的行人目标跟踪方法
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及系统
CN112184767A (zh) 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质
EP3857440A1 (en) Method and apparatus for processing video stream
CN110998594A (zh) 检测动作的方法和系统
CN111402294A (zh) 目标跟踪方法、装置、计算机可读存储介质和计算机设备
WO2017150032A1 (en) Method and system for detecting actions of object in scene
CN108447078A (zh) 基于视觉显著性的干扰感知跟踪算法
WO2007056711A2 (en) Tracking using an elastic cluster of trackers
CN111931603B (zh) 基于竞合网络的双流卷积网络的人体动作识别系统及方法
Wechsler et al. Motion estimation using statistical learning theory
Zhang et al. A swarm intelligence based searching strategy for articulated 3D human body tracking
CN114429555A (zh) 由粗到细的图像稠密匹配方法、系统、设备及存储介质
CN110569706A (zh) 一种基于时间和空间网络的深度集成目标跟踪算法
Coelho et al. EM-based mixture models applied to video event detection
CN110827320A (zh) 基于时序预测的目标跟踪方法和装置
CN112686952A (zh) 一种图像光流计算系统、方法及应用
CN115482556A (zh) 关键点检测模型训练及虚拟角色驱动的方法和对应的装置
Kadim et al. Deep-learning based single object tracker for night surveillance.
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
CN105096343B (zh) 一种移动目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Lin Picheng

Inventor after: Song Kaiyin

Inventor after: Ye Chunyu

Inventor after: Liu Xianbiao

Inventor before: Song Kaiyin

Inventor before: Ye Chunyu

Inventor before: Liu Xianbiao

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105