CN110415277A - 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 - Google Patents
基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 Download PDFInfo
- Publication number
- CN110415277A CN110415277A CN201910669359.0A CN201910669359A CN110415277A CN 110415277 A CN110415277 A CN 110415277A CN 201910669359 A CN201910669359 A CN 201910669359A CN 110415277 A CN110415277 A CN 110415277A
- Authority
- CN
- China
- Prior art keywords
- target
- target area
- moment
- detection
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000001914 filtration Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 96
- 238000005259 measurement Methods 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 238000011524 similarity measure Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 11
- 230000001419 dependent effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于智能驾驶领域，具体涉及一种基于光流和卡尔曼滤波的多目标追踪方法、系统、装置，旨在解决多目标追踪过分依赖于检测及匹配难度大的问题。本系统方法包括获取输入视频中t时刻的图像帧；对图像帧进行多目标检测，构建检测目标的目标区域集合；根据t‑1时刻追踪到的目标，通过预设的追踪模型分别预测目标在t时刻图像帧中对应的目标区域，构建预测目标的目标区域集合；对检测目标、预测目标的目标区域集合，通过区域相似度，以及匈牙利算法获取两个目标区域集合中目标区域匹配关系；将检测目标的目标区域集合中匹配成功的目标区域作为t时刻追踪到的目标区域。本发明实现多目标的准确预测，提高了多帧目标的位置匹配及追踪的准确率。
Description
技术领域
本发明属于智能驾驶领域，具体涉及一种基于光流和卡尔曼滤波的多目标追踪方法、系统、装置。
背景技术
多目标追踪是智能驾驶感知的一个重要环节，通过识别并追踪本车周围的目标包括车辆、行人和交通标志等，为智能驾驶后端控制单元提供信息。
现有的多目标追踪方法大都是基于目标检测的追踪方法，将检测的结果和之前追踪到的目标相关联匹配，得到最后的目标追踪轨迹。在面对各种天气情况和复杂的道路环境，基于图像的多目标检测追踪方法是一种有效且低成本的方法，尤其是基于卡尔曼滤波的多目标追踪方法，快速实时。目前已有的基于卡尔曼滤波的多目标追踪方法的瓶颈在于：追踪结果过分依赖于检测的精度，而且卡尔曼滤波假设目标匀速慢变，增加了目标多帧之间关联匹配的难度。因此有必要提出一种新的多目标检测追踪方法，获取驾驶员行驶过程中的障碍物目标，同时对速度变化大的目标做出准确的预测，提高多目标在多帧之间匹配关联的准确率，实现对多目标持续稳定的跟踪。
发明内容
为了解决现有技术中的上述问题，即为了解决多目标追踪过分依赖于检测结果及匹配难度大的问题，本发明第一方面，提出了一种基于光流和卡尔曼滤波的多目标追踪方法，该方法包括：
步骤S10，获取输入视频中t时刻的图像帧，作为输入图像；
步骤S20，对所述输入图像进行多目标检测，获取多个检测目标分别对应的区域作为检测目标的目标区域，构建检测目标的目标区域集合；
步骤S30，若t大于等于2，根据t-1时刻追踪到的目标，通过预设的追踪模型分别预测t-1时刻各追踪到的目标在t时刻图像帧中对应的目标区域作为预测目标的目标区域，构建预测目标的目标区域集合；若t小于2，将所述检测目标的目标区域集合作为预测目标的目标区域集合；所述追踪模型为融合光流网络的卡尔曼追踪模型；
步骤S40，对所述检测目标的目标区域集合、所述预测目标的目标区域集合，通过区域相似度，以及匈牙利算法获取两个目标区域集合中目标区域匹配关系；将所述检测目标的目标区域集合中匹配成功的目标区域作为t时刻追踪到的目标区域。
在一些优选的实施方式中，在步骤S40之后还包括所述追踪模型的参数更新步骤：
基于步骤S30中预测目标的目标区域、步骤S40中追踪到的目标区域对所述追踪模型进行参数更新。
在一些优选的实施方式中，步骤S20中“对所述输入图像进行多目标检测，获取多个检测目标分别对应的区域作为检测目标的目标区域”，其方法为：基于卷积神经网络提取所述输入图像的特征得到多个检测目标，将多个检测目标分别对应的区域作为检测目标的目标区域。
在一些优选的实施方式中，步骤S40中“通过区域相似度，以及匈牙利算法获取两个目标区域集合中目标区域匹配关系”，其方法为：计算所述检测目标的目标区域集合、所述预测目标的目标区域集合中目标区域之间的深度相似性度量、距离相似性度量及综合度量；根据所述综合度量，采用匈牙利算法获取两个目标区域集合中目标区域匹配关系。
在一些优选的实施方式中，在步骤S40中还包括所述检测目标的目标区域集合中出现新增目标区域的处理步骤：
将新增的目标区域初始化并增入待确定追踪目标的目标区域集合；所述初始化其定义的参数包括ID号、出现次数、间隔次数；
在t+1时刻及之后各时刻对应的图像帧，若所述待确定追踪目标的目标区域与检测目标的目标区域匹配成功，出现次数加1，否则间隔次数加1；
当出现次数等于3且为连续时，将所述待确定追踪目标的目标区域增入追踪目标的目标区域集合；当出现次数大于等于1且间隔次数大于等于1时，将出现次数设置为0；当间隔次数大于10时，从待确定追踪目标的目标区域集合中将其删除。
在一些优选的实施方式中，步骤S30中“根据t-1时刻追踪到的目标，通过预设的追踪模型分别预测t-1时刻各追踪到的目标在t时刻图像帧中对应的目标区域作为预测目标的目标区域”，所述追踪模型其计算方法为：
其中，A为转移矩阵，wt-1为t-1时刻的系统预测误差，为，为在t-1时刻追踪到的第j个目标区域，为t时刻经过卡尔曼滤波预测得到的第j个目标区域，j为参数，x为状态值。
在一些优选的实施方式中，所述深度相似性度量其计算方法为：
将两个目标区域即图像块，缩放至预设大小；
提取缩放后的图像块的深度特征；
通过计算两个图像块的深度特征的余弦距离获取两图像块的深度相似性度量。
本发明的第二方面，提出了一种基于光流和卡尔曼滤波的多目标追踪系统，该系统包括获取模块、检测模块、预测模块、匹配模块；
所述的获取模块，配置为获取输入视频中t时刻的图像帧，作为输入图像；
所述的检测模块，配置为对所述输入图像进行多目标检测，获取多个检测目标分别对应的区域作为检测目标的目标区域，构建检测目标的目标区域集合；
所述的预测模块，配置为若t大于等于2，根据t-1时刻追踪到的目标，通过预设的追踪模型分别预测t-1时刻各追踪到的目标在t时刻图像帧中对应的目标区域作为预测目标的目标区域，构建预测目标的目标区域集合；若t小于2，将所述检测目标的目标区域集合作为预测目标的目标区域集合；所述追踪模型为融合光流网络的卡尔曼追踪模型；
所述的匹配模块，配置为对所述检测目标的目标区域集合、所述预测目标的目标区域集合，通过区域相似度，以及匈牙利算法获取两个目标区域集合中目标区域匹配关系；将所述检测目标的目标区域集合中匹配成功的目标区域作为t时刻追踪到的目标区域。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于光流和卡尔曼滤波的多目标追踪方法。
本发明的第四方面，提出了一种处理设置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于光流和卡尔曼滤波的多目标追踪方法。
本发明的有益效果：
本发明实现多目标的准确预测，提高了多帧目标位置匹配及追踪的准确率。本发明利用卡尔曼滤波作为追踪的基本框架，引入光流方法考虑目标的运动信息，即用光流预测目标的速度和位移，减弱卡尔曼滤波预测目标位置所带来的误差；同时，通过检测网络得到目标的检测结果，利用卡尔曼滤波融合预测结果和检测结果得到追踪目标，增加了目标检测和预测的数据关联程度，实现多目标的准确预测和多帧目标之间的位置匹配，提高目标追踪的准确率。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于光流和卡尔曼滤波的多目标追踪方法的流程示意图；
图2是本发明一种实施例的基于光流和卡尔曼滤波的多目标追踪系统的框架示意图；
图3是本发明一种实施例的基于深度特征和距离特征的目标匹配流程的实例图；
图4是本发明一种实施例的基于光流和卡尔曼滤波的多目标追踪模型的逻辑流程的实例图；
图5是本发明一种实施例的基于光流和卡尔曼滤波的多目标追踪方法与传统追踪方法的效果对比示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于光流和卡尔曼滤波的多目标追踪方法，如图1所示，包括以下步骤：
步骤S10，获取输入视频中t时刻的图像帧，作为输入图像；
步骤S20，对所述输入图像进行多目标检测，获取多个检测目标分别对应的区域作为检测目标的目标区域，构建检测目标的目标区域集合；
步骤S30，若t大于等于2，根据t-1时刻追踪到的目标，通过预设的追踪模型分别预测t-1时刻各追踪到的目标在t时刻图像帧中对应的目标区域作为预测目标的目标区域，构建预测目标的目标区域集合；若t小于2，将所述检测目标的目标区域集合作为预测目标的目标区域集合；所述追踪模型为融合光流网络的卡尔曼追踪模型；
步骤S40，对所述检测目标的目标区域集合、所述预测目标的目标区域集合，通过区域相似度，以及匈牙利算法获取两个目标区域集合中目标区域匹配关系；将所述检测目标的目标区域集合中匹配成功的目标区域作为t时刻追踪到的目标区域。
为了更清晰地对本发明基于光流和卡尔曼滤波的多目标追踪方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
步骤S10，获取输入视频中t时刻的图像帧，作为输入图像。
本发明属于智能驾驶领域，一般是从当前实时的视频中获取目标追踪的图像。
在训练测试阶段，本发明使用的是智能驾驶数据集KITTI和多任务追踪数据集MOT。KITTI是公开数据集，是通过采用安装有高清摄像头和64线激光雷达的旅行车来收集信息。KITTI数据集包含了行人、车辆、非机动车辆等目标信息。经过筛选，剔除和补充，得到最后的包含目标类别、目标检测框和目标ID信息的道路场景下的6000张单目图像。同样，从MOT数据集中挑选符合条件的35000张图片，并将两类数据将混合分为训练集，验证集和测试集，三者比例为：5:3:2。
本发明中考虑交通中常见的三类目标：车辆，行人和非机动车辆，分别表示为：{c1,c2,c3}，c表示类别。每个目标连续3帧同时出现，确定其为可追踪的一个目标，其ID记为di，对应的检测框位置其中，代表检测框左上角的坐标，代表检测框右下角的坐标。
步骤S20，对所述输入图像进行多目标检测，获取多个检测目标分别对应的区域作为检测目标的目标区域，构建检测目标的目标区域集合。
在本实施例中，基于卷积神经网络提取所述输入图像的特征得到多个检测目标，将多个检测目标分别对应的区域作为检测目标的目标区域。卷积神经网络由多个卷积层堆叠构成，为了提取更有效的特征和减少训练时间，采用公开数据集ImageNet训练网络Oxford VGGNetwork作为初始网络进行特征提取，在初始网络后面又增加6层卷积，因此提取特征的CNN网络包含19个卷积层(Convolution)和5个池化层(Pooling)。CNN网络提取特征结构如表1所示：
表1
其中，conv为卷积核，stride为卷积核移动步长，max pooling为最大池化操作。
图像经过CNN提取特征得到一系列二维图像特征图，包含丰富的目标特征信息。对于一个给定的输入图像为正实数集合，m为图像宽，n为图像高，由CNN提取图像特征图z，如公式(1)所示：
z＝cnnfpvgg(x,θvgg) (1)
其中，cnnfpvgg是CNN前向传播，θvgg表示CNN的网络参数。
本发明从所有的特征图中选取7层特征图来提取候选检测框。因为存在池化层，池化操作使特征图变小，不同层的特征图中的每个像素点对于与原图的区域不同，即感受野不同，经过的池化层越多，感受野越大。在不同的特征图中提取候选检测框可以检测到不同大小的物体。基于多个检测目标区域构建检测目标的目标区域集合。
步骤S30，若t大于等于2，根据t-1时刻追踪到的目标，通过预设的追踪模型分别预测t-1时刻各追踪到的目标在t时刻图像帧中对应的目标区域作为预测目标的目标区域，构建预测目标的目标区域集合；若t小于2，将所述检测目标的目标区域集合作为预测目标的目标区域集合；所述追踪模型为融合光流网络的卡尔曼追踪模型。
在本实施例中，定义了目标(输入图像)的状态其中，x,y表示目标区域的中心点坐标，γ，h表示目标区域的长宽比和高度，分别表示x,y，γ，h的变化率。
预设的追踪模型即融合光流网络的基于卡尔曼滤波的追踪模型，其原理为：根据t-1时刻追踪器输出的目标追踪结果的状态预测得到t时刻该目标的状态如公式(2)所示：
其中，A为转移矩阵，为在t-1时刻追踪到的第j个目标，为在t时刻经过卡尔曼滤波预测得到的第j个目标，j为参数，wt-1为t-1时刻的系统预测误差符合正态分布的随机噪声，wt-1∈N(0,Q)，Q为t-1时刻的协方差矩阵。
由步骤S20检测得到的检测目标区域得到t时刻目标的检测状态预测状态和目标的真实状态即检测状态直接关系如公式(3)所示：
其中，H是系统的预测矩阵，预测误差为vt，符合正态分布的随机噪声vt∈N(0,R)，R为t时刻的协方差矩阵，为在t时刻检测到的第i个目标，i为参数。为在t时刻追踪到的第j个目标，由于公式(2)假设目标是匀速慢变的，在实际的交通环境中难以满足快速移动的目标。因此引入光流信息，得到更准确的目标位置预测。采用Lucas-Kanade光流方法获得目标中心点的位置变化(Δx，Δy)，从而得到各预测目标区域的中心点，求解过程如公式(4)所示：
其中，xt、yt为t时刻目标在图像的中心点，xt-1、yt-1为t-1时刻目标图像的中心点。
基于Lucas-Kanade光流的得到的t时刻的各预测目标的中心点及t-1时刻的各目标追踪结果中各目标预测区域的长宽比和高度，得到的目标t时刻的各预测目标区域，根据多个预测目标区域构建预测目标的目标区域集合。当前时刻位于初始帧(t小于2)的情况下，直接将检测目标的目标区域集合作为预测目标的目标区域集合。
统计每个目标区域对应的ID出现的次数，若次数等于3且连续时，将预测目标区域放入已追踪目标集合，若小于3，将其放入待确定追踪目标集合。
步骤S40，对所述检测目标的目标区域集合、所述预测目标的目标区域集合，通过区域相似度，以及匈牙利算法获取两个目标区域集合中目标区域匹配关系；将所述检测目标的目标区域集合中匹配成功的目标区域作为t时刻追踪到的目标区域。
在本实施例中，计算所述检测目标的目标区域集合、所述预测目标的目标区域集合中目标区域之间的深度相似性度量、距离相似性度量及综合度量。根据所述综合度量，采用匈牙利算法获取两个目标区域集合中目标区域匹配关系。
确定的目标我们就叫做已经追踪到的目标，即连续3帧检测结果中都出现的目标。新检测的目标就叫做检测目标。在新一帧中，检测到了一个新目标，先匹配之前已经追踪到的目标，若匹配上，则两个匹配的目标利用卡尔曼融合跟新，得到新时刻的追踪结果。如果没匹配上，检测到的目标会初始化，赋予一个ID号，并记录下他出现的次数1，间隔次数0，进入待确定追踪目标。
下一帧，检测目标区域，与已追踪到的目标和待确定追踪目标匹配。如果匹配上已追踪目标，则更新追踪结果，如果匹配上待确定追踪目标，则更新待确定追踪目标的次数，次数+1，判断次数是否等于3且为连续，如果是，进入已追踪目标集合。对于没有检测结果与之匹配的那些待确定追踪目标，间隔次数+1。当间隔次数大于10的时候，就删除该目标，之后也不会与之匹配。若待确定追踪目标的次数大于等于1且间隔次数大于等于1，将待确定追踪目标的次数设置为0。
检测目标的目标区域集合和预测目标的目标区域集合之间需要进行数据匹配。如图3所示，本实施例中考虑两种匹配的度量，一种是目标的深度特征相似性，表示目标的外观特征；另一种是目标的位置距离，表示了目标的空间特征。分别从图中提取检测网络得到的检测目标区域，和卡尔曼滤波预测目标区域。两个区域分别提取深度特征和距离特征，两个区域的特征进行相似度匹配，得到两个相似性的度量，根据这两个度量利用匈牙利算法得到多个目标区域之间的最优匹配。下面具体介绍深度特征相似性度量和目标位置相似性度量。
其中，深度特征相似性度量具体步骤如下：
采用暹罗网络对比两个图像块的相似度。如图3所示，暹罗网络由几层卷积神经网络构成，输入两个图像块(检测得到的目标区域和卡尔曼滤波预测的目标区域)，将图像块缩放到固定尺寸宽32，高128，经过几层卷积提取特征得到两个1x128维深度特征：和通过求取两个特征之间的余弦距离来判断两个图像块的相似性d(1)，如公式(5)所示：
其中，
距离相似性度量的求解过程具体如下：
目标不会在像素空间产生巨大的位移，因此目标连续帧的位置可以作为目标关联的考虑因素。交并比(IoU)通常用来衡量两个目标位置重叠的程度。目标的检测框采用左上角点和右下角点表示，同理目标的检测框表示为两个目标的交并比如公式(6)所示：
其中，表示和重叠区域的面积，分别表示和的面积。
本实施例通过计算两个目标的IoU来获得两个目标的位置相似性度量。根据公式(6)可知，IoU越大，两个物体的距离越近，距离相似性越大。因此距离的相似性度量d(2)表示如公式(7)所示：
其中，
判断前后两帧两个目标是否为同一个目标，要同时考虑深度特征相似性度量d(1)和距离相似性度量d(2)，同时满足d(1)<Th1和d(2)<Th2，其中Th1，Th2分别为预设的两种度量阈值。本实施例中将两种度量加权组合得到综合的度量指标，如公式(8)所示：
其中，λ为两种度量所占权重的系数，本实施例中优选λ＝0.7。根据Dist采用匈牙利算法，找到预测目标集合和检测目标集合中的最优区域匹配对，并构建最优区域匹配对集合。
在步骤S40之后还包括所述追踪模型的参数更新步骤：基于步骤S30中预测目标的目标区域、步骤S40中追踪到的目标区域对所述追踪模型进行参数更新。具体步骤如下：
采用卡尔曼滤波方法对目标检测结果和目标预测结果进行更新。卡尔曼滤波预测得到的目标状态可以被认为是‘先验’包含目标的运动信息。新检测得到的结果z(Dt)认为是目标状态的‘似然’，根据先验和似然得到目标状态的‘后验’x(Tt)。此外，在‘先验’和‘后验’过程中存在误差，分别记为：和Pt。卡尔曼滤波更新公式如(9)(10)(11)(12)所示：
其中，x(Tt)为在t图像帧时追踪器输出的目标的状态，Kt为卡尔曼滤波增益矩阵，AT为系统参数矩阵，T为表示所追踪的目标，表示t时刻j个目标，I为单位矩阵。
通过公式(9)-(12)不断地更新，得到追踪器DK-Flow-tracking的输出结果，如图4所示，其中Tt-1为t-1时刻的追踪的目标，为t时刻预测得到的目标，Dt为t时刻检测得到的目标。
在应用过程中，采集到的视频图像输入到追踪器中，得到每帧的多目标的位置和ID信息，其中根据目标在图像中的位置可以制作可视化界面，标出目标在图像中的具体位置。图5展示了追踪的可视化效果图，其中DK-tracking是传统的基于卡尔曼滤波的多目标追踪方法，DK-Flow-tracking是本实施例提出的基于光流和卡尔曼滤波的多目标追踪方法。图中利用光流(或位移公式)预测得到的下一帧的目标为利用检测网络检测得到的目标为Dt，用卡尔曼滤波融合融合预测结果和检测结果得到的目标为Tt，本实施例分别用不同的虚线框表示它们的位置。从图中t-1时刻到t时刻的追踪结果可以看出，DK-tracking可能会丢掉追踪的目标，尤其是目标运动速度变化大的情况下，不能满足DK-tracking所提的匀速慢变的假设。我们提出的方法可以避免丢失掉追踪的目标，可以达到长时间稳定的追踪。
本发明第二实施例的一种基于光流和卡尔曼滤波的多目标追踪系统，如图2所示，包括：获取模块100、检测模块200、预测模块300、匹配模块400；
获取模块100，配置为获取输入视频中t时刻的图像帧，作为输入图像；
提取检测模块200，配置为对所述输入图像进行多目标检测，获取多个检测目标分别对应的区域作为检测目标的目标区域，构建检测目标的目标区域集合；
预测模块300，配置为若t大于等于2，根据t-1时刻追踪到的目标，通过预设的追踪模型分别预测t-1时刻各追踪到的目标在t时刻图像帧中对应的目标区域作为预测目标的目标区域，构建预测目标的目标区域集合；若t小于2，将所述检测目标的目标区域集合作为预测目标的目标区域集合；所述追踪模型为融合光流网络的卡尔曼追踪模型；
匹配模块400，配置为对所述检测目标的目标区域集合、所述预测目标的目标区域集合，通过区域相似度，以及匈牙利算法获取两个目标区域集合中目标区域匹配关系；将所述检测目标的目标区域集合中匹配成功的目标区域作为t时刻追踪到的目标区域。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考签署方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于光流和卡尔曼滤波的多目标追踪系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于光流和卡尔曼滤波的多目标追踪方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于光流和卡尔曼滤波的多目标追踪方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考签署方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (11)
1.一种基于光流和卡尔曼滤波的多目标追踪方法，其特征在于，该方法包括：
步骤S10，获取输入视频中t时刻的图像帧，作为输入图像；
步骤S20，对所述输入图像进行多目标检测，获取多个检测目标分别对应的区域作为检测目标的目标区域，构建检测目标的目标区域集合；
步骤S30，若t大于等于2，根据t-1时刻追踪到的目标，通过预设的追踪模型分别预测t-1时刻各追踪到的目标在t时刻图像帧中对应的目标区域作为预测目标的目标区域，构建预测目标的目标区域集合；若t小于2，将所述检测目标的目标区域集合作为预测目标的目标区域集合；所述追踪模型为融合光流网络的卡尔曼追踪模型。
步骤S40，对所述检测目标的目标区域集合、所述预测目标的目标区域集合，通过区域相似度，以及匈牙利算法获取两个目标区域集合中目标区域匹配关系；将所述检测目标的目标区域集合中匹配成功的目标区域作为t时刻追踪到的目标区域。
2.根据权利要求1所述的基于光流和卡尔曼滤波的多目标追踪方法，其特征在于，在步骤S40之后还包括所述追踪模型的参数更新步骤：
基于步骤S30中预测目标的目标区域、步骤S40中追踪到的目标区域对所述追踪模型进行参数更新。
3.根据权利要求1所述的基于光流和卡尔曼滤波的多目标追踪方法，其特征在于，步骤S20中“对所述输入图像进行多目标检测，获取多个检测目标分别对应的区域作为检测目标的目标区域”，其方法为：基于卷积神经网络提取所述输入图像的特征得到多个检测目标，将多个检测目标分别对应的区域作为检测目标的目标区域。
4.根据权利要求1所述的基于光流和卡尔曼滤波的多目标追踪方法，其特征在于，步骤S40中“通过区域相似度，以及匈牙利算法获取两个目标区域集合中目标区域匹配关系”，其方法为：计算所述检测目标的目标区域集合、所述预测目标的目标区域集合中目标区域之间的深度相似性度量、距离相似性度量及综合度量；根据所述综合度量，采用匈牙利算法获取两个目标区域集合中目标区域匹配关系。
5.根据权利要求1所述的基于光流和卡尔曼滤波的多目标追踪方法，其特征在于，在步骤S40中还包括所述检测目标的目标区域集合中出现新增目标区域的处理步骤：
将新增的目标区域初始化并增入待确定追踪目标的目标区域集合；所述初始化其定义的参数包括ID号、出现次数、间隔次数；
在t+1时刻及之后各时刻对应的图像帧，若所述待确定追踪目标的目标区域与检测目标的目标区域匹配成功，出现次数加1，否则间隔次数加1；
当出现次数等于3且为连续时，将所述待确定追踪目标的目标区域增入追踪目标的目标区域集合；当出现次数大于等于1且间隔次数大于等于1时，将出现次数设置为0；当间隔次数大于10时，从待确定追踪目标的目标区域集合中将其删除。
6.根据权利要求1所述的基于光流和卡尔曼滤波的多目标追踪方法，其特征在于，步骤S30中“根据t-1时刻追踪到的目标，通过预设的追踪模型分别预测t-1时刻各追踪到的目标在t时刻图像帧中对应的目标区域作为预测目标的目标区域”，所述追踪模型其计算方法为：
其中，A为转移矩阵，wt-1为t-1时刻的系统预测误差，为，为在t-1时刻追踪到的第j个目标区域，为t时刻经过卡尔曼滤波预测得到的第j个目标区域，j为参数，x为状态值。
7.根据权利要求4所述的基于光流和卡尔曼滤波的多目标追踪方法，其特征在于，步骤S40中“深度相似性度量”，其计算方法为：
将两个目标区域即图像块，缩放至预设大小；
提取缩放后的图像块的深度特征；
通过计算两个图像块的深度特征的余弦距离获取两图像块的深度相似性度量。
8.根据权利要求4所述的基于光流和卡尔曼滤波的多目标追踪方法，其特征在于，所述距离相似性度量其计算方法为：通过两个目标区域即图像块的面积交并比获取两图像块的距离相似性度量。
9.一种基于光流和卡尔曼滤波的多目标追踪系统，其特征在于，该系统包括获取模块、检测模块、预测模块、匹配模块；
所述的获取模块，配置为获取输入视频中t时刻的图像帧，作为输入图像；
所述的检测模块，配置为对所述输入图像进行多目标检测，获取多个检测目标分别对应的区域作为检测目标的目标区域，构建检测目标的目标区域集合；
所述的预测模块，配置为若t大于等于2，根据t-1时刻追踪到的目标，通过预设的追踪模型分别预测t-1时刻各追踪到的目标在t时刻图像帧中对应的目标区域作为预测目标的目标区域，构建预测目标的目标区域集合；若t小于2，将所述检测目标的目标区域集合作为预测目标的目标区域集合；所述追踪模型为融合光流网络的卡尔曼追踪模型；
所述的匹配模块，配置为对所述检测目标的目标区域集合、所述预测目标的目标区域集合，通过区域相似度，以及匈牙利算法获取两个目标区域集合中目标区域匹配关系；将所述检测目标的目标区域集合中匹配成功的目标区域作为t时刻追踪到的目标区域。
10.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-8任一项所述的基于光流和卡尔曼滤波的多目标追踪方法。
11.一种处理设置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-8任一项所述的基于光流和卡尔曼滤波的多目标追踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910669359.0A CN110415277B (zh) | 2019-07-24 | 2019-07-24 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910669359.0A CN110415277B (zh) | 2019-07-24 | 2019-07-24 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110415277A true CN110415277A (zh) | 2019-11-05 |
| CN110415277B CN110415277B (zh) | 2022-03-08 |
Family
ID=68362767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910669359.0A Active CN110415277B (zh) | 2019-07-24 | 2019-07-24 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110415277B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992403A (zh) * | 2019-12-18 | 2020-04-10 | 中山大学 | 一种实时水面船只视觉跟踪系统及其方法 |
| CN111476826A (zh) * | 2020-04-10 | 2020-07-31 | 电子科技大学 | 一种基于ssd目标检测的多目标车辆跟踪方法 |
| CN111488795A (zh) * | 2020-03-09 | 2020-08-04 | 天津大学 | 应用于无人驾驶车辆的实时行人跟踪方法 |
| CN112085767A (zh) * | 2020-08-28 | 2020-12-15 | 安徽清新互联信息科技有限公司 | 一种基于深度光流跟踪的客流统计方法及系统 |
| CN112184767A (zh) * | 2020-09-22 | 2021-01-05 | 深研人工智能技术(深圳)有限公司 | 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 |
| CN113077495A (zh) * | 2020-01-06 | 2021-07-06 | 广州汽车集团股份有限公司 | 在线多目标跟踪方法、系统、计算机设备及可读存储介质 |
| CN113129333A (zh) * | 2020-01-16 | 2021-07-16 | 舜宇光学（浙江）研究院有限公司 | 多目标实时跟踪方法及其系统和电子设备 |
| CN113158909A (zh) * | 2021-04-25 | 2021-07-23 | 中国科学院自动化研究所 | 基于多目标跟踪的行为识别轻量化方法、系统、设备 |
| CN113191368A (zh) * | 2020-01-14 | 2021-07-30 | 北京地平线机器人技术研发有限公司 | 一种标志物的匹配方法及装置 |
| CN113191353A (zh) * | 2021-04-15 | 2021-07-30 | 华北电力大学扬中智能电气研究中心 | 一种车速确定方法、装置、设备和介质 |
| CN114049771A (zh) * | 2022-01-12 | 2022-02-15 | 华砺智行(武汉)科技有限公司 | 基于双模态的交通异常检测方法、系统和存储介质 |
| TWI790957B (zh) * | 2022-04-06 | 2023-01-21 | 淡江大學學校財團法人淡江大學 | 一種多目標追蹤的高速數據關聯方法 |
| WO2024000558A1 (zh) * | 2022-07-01 | 2024-01-04 | 京东方科技集团股份有限公司 | 目标跟踪方法、目标跟踪系统和电子设备 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043964A (zh) * | 2010-12-30 | 2011-05-04 | 复旦大学 | 基于云台摄像头的飞行器起降跟踪算法及跟踪系统 |
| US20110135150A1 (en) * | 2009-12-08 | 2011-06-09 | Texas Instruments Incorporated | Method and apparatus for tracking objects across images |
| CN104156976A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种抗遮挡目标检测的多特征点跟踪方法 |
| CN104200494A (zh) * | 2014-09-10 | 2014-12-10 | 北京航空航天大学 | 一种基于光流的实时视觉目标跟踪方法 |
| CN106203423A (zh) * | 2016-06-26 | 2016-12-07 | 广东外语外贸大学 | 一种融合上下文探测的弱结构感知视觉目标跟踪方法 |
| CN106446922A (zh) * | 2015-07-31 | 2017-02-22 | 中国科学院大学 | 一种人群异常行为分析方法 |
| CN106683121A (zh) * | 2016-11-29 | 2017-05-17 | 广东工业大学 | 一种融合检测过程的鲁棒目标追踪方法 |
| CN106803265A (zh) * | 2017-01-06 | 2017-06-06 | 重庆邮电大学 | 基于光流法和卡尔曼滤波的多目标跟踪方法 |
| CN106846355A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于提升直觉模糊树的目标跟踪方法及装置 |
| US9760806B1 (en) * | 2016-05-11 | 2017-09-12 | TCL Research America Inc. | Method and system for vision-centric deep-learning-based road situation analysis |
| CN107292911A (zh) * | 2017-05-23 | 2017-10-24 | 南京邮电大学 | 一种基于多模型融合和数据关联的多目标跟踪方法 |
| CN108090921A (zh) * | 2016-11-23 | 2018-05-29 | 中国科学院沈阳自动化研究所 | 单目视觉和imu融合的自适应室内定位方法 |
| CN108154118A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 |
| US20190007674A1 (en) * | 2011-08-04 | 2019-01-03 | Trx Systems, Inc. | Mapping and tracking system with features in three-dimensional space |
| CN109191497A (zh) * | 2018-08-15 | 2019-01-11 | 南京理工大学 | 一种基于多种信息融合的实时在线多目标跟踪方法 |
| CN109785363A (zh) * | 2018-12-29 | 2019-05-21 | 中国电子科技集团公司第五十二研究所 | 一种无人机航拍视频运动小目标实时检测与跟踪方法 |
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及系统 |
-
2019
- 2019-07-24 CN CN201910669359.0A patent/CN110415277B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110135150A1 (en) * | 2009-12-08 | 2011-06-09 | Texas Instruments Incorporated | Method and apparatus for tracking objects across images |
| CN102043964A (zh) * | 2010-12-30 | 2011-05-04 | 复旦大学 | 基于云台摄像头的飞行器起降跟踪算法及跟踪系统 |
| US20190007674A1 (en) * | 2011-08-04 | 2019-01-03 | Trx Systems, Inc. | Mapping and tracking system with features in three-dimensional space |
| CN104156976A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种抗遮挡目标检测的多特征点跟踪方法 |
| CN104200494A (zh) * | 2014-09-10 | 2014-12-10 | 北京航空航天大学 | 一种基于光流的实时视觉目标跟踪方法 |
| CN106446922A (zh) * | 2015-07-31 | 2017-02-22 | 中国科学院大学 | 一种人群异常行为分析方法 |
| US9760806B1 (en) * | 2016-05-11 | 2017-09-12 | TCL Research America Inc. | Method and system for vision-centric deep-learning-based road situation analysis |
| CN106203423A (zh) * | 2016-06-26 | 2016-12-07 | 广东外语外贸大学 | 一种融合上下文探测的弱结构感知视觉目标跟踪方法 |
| CN108090921A (zh) * | 2016-11-23 | 2018-05-29 | 中国科学院沈阳自动化研究所 | 单目视觉和imu融合的自适应室内定位方法 |
| CN106683121A (zh) * | 2016-11-29 | 2017-05-17 | 广东工业大学 | 一种融合检测过程的鲁棒目标追踪方法 |
| CN106846355A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于提升直觉模糊树的目标跟踪方法及装置 |
| CN106803265A (zh) * | 2017-01-06 | 2017-06-06 | 重庆邮电大学 | 基于光流法和卡尔曼滤波的多目标跟踪方法 |
| CN107292911A (zh) * | 2017-05-23 | 2017-10-24 | 南京邮电大学 | 一种基于多模型融合和数据关联的多目标跟踪方法 |
| CN108154118A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 |
| CN109191497A (zh) * | 2018-08-15 | 2019-01-11 | 南京理工大学 | 一种基于多种信息融合的实时在线多目标跟踪方法 |
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及系统 |
| CN109785363A (zh) * | 2018-12-29 | 2019-05-21 | 中国电子科技集团公司第五十二研究所 | 一种无人机航拍视频运动小目标实时检测与跟踪方法 |
Non-Patent Citations (6)
| Title |
|---|
| NICOLAI WOJKE ET AL.: "Simple online and realtime tracking with a deep association metric", 《HTTPS://ARXIV.ORG/ABS/1703.07402》 * |
| SHANTAIYA ET AL.: "Multiple object tracking using kalman filter and optical flow", 《EUROPEAN JOURNAL OF ADVANCES IN ENGINEERING AND TECHNOLOGY》 * |
| YARAN CHEN ET AL.: "Multi-task learning for dangerous object detection in autonomous driving", 《INFORMATION SCIENCES》 * |
| 梅立雪 等: "一种邻帧匹配与卡尔曼滤波相结合的多目标跟踪算法", 《科学技术与工程》 * |
| 王岩 等: "《无线传感器网络能耗均衡路由及非视距移动节点定位研究》", 31 May 2017, 东北大学出版社 * |
| 石龙伟 等: "基于光流法和卡尔曼滤波的多目标跟踪", 《计算机应用》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992403A (zh) * | 2019-12-18 | 2020-04-10 | 中山大学 | 一种实时水面船只视觉跟踪系统及其方法 |
| CN110992403B (zh) * | 2019-12-18 | 2022-05-10 | 中山大学 | 一种实时水面船只视觉跟踪系统及其方法 |
| CN113077495A (zh) * | 2020-01-06 | 2021-07-06 | 广州汽车集团股份有限公司 | 在线多目标跟踪方法、系统、计算机设备及可读存储介质 |
| CN113191368B (zh) * | 2020-01-14 | 2023-08-01 | 北京地平线机器人技术研发有限公司 | 一种标志物的匹配方法及装置 |
| CN113191368A (zh) * | 2020-01-14 | 2021-07-30 | 北京地平线机器人技术研发有限公司 | 一种标志物的匹配方法及装置 |
| CN113129333A (zh) * | 2020-01-16 | 2021-07-16 | 舜宇光学（浙江）研究院有限公司 | 多目标实时跟踪方法及其系统和电子设备 |
| CN111488795B (zh) * | 2020-03-09 | 2022-12-02 | 天津大学 | 应用于无人驾驶车辆的实时行人跟踪方法 |
| CN111488795A (zh) * | 2020-03-09 | 2020-08-04 | 天津大学 | 应用于无人驾驶车辆的实时行人跟踪方法 |
| CN111476826A (zh) * | 2020-04-10 | 2020-07-31 | 电子科技大学 | 一种基于ssd目标检测的多目标车辆跟踪方法 |
| CN112085767A (zh) * | 2020-08-28 | 2020-12-15 | 安徽清新互联信息科技有限公司 | 一种基于深度光流跟踪的客流统计方法及系统 |
| CN112184767A (zh) * | 2020-09-22 | 2021-01-05 | 深研人工智能技术(深圳)有限公司 | 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 |
| CN113191353A (zh) * | 2021-04-15 | 2021-07-30 | 华北电力大学扬中智能电气研究中心 | 一种车速确定方法、装置、设备和介质 |
| CN113158909A (zh) * | 2021-04-25 | 2021-07-23 | 中国科学院自动化研究所 | 基于多目标跟踪的行为识别轻量化方法、系统、设备 |
| CN114049771A (zh) * | 2022-01-12 | 2022-02-15 | 华砺智行(武汉)科技有限公司 | 基于双模态的交通异常检测方法、系统和存储介质 |
| TWI790957B (zh) * | 2022-04-06 | 2023-01-21 | 淡江大學學校財團法人淡江大學 | 一種多目標追蹤的高速數據關聯方法 |
| WO2024000558A1 (zh) * | 2022-07-01 | 2024-01-04 | 京东方科技集团股份有限公司 | 目标跟踪方法、目标跟踪系统和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110415277B (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110415277A (zh) | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 | |
| Gurghian et al. | Deeplanes: End-to-end lane position estimation using deep neural networksa | |
| CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
| CN110837778A (zh) | 一种基于骨架关节点序列的交警指挥手势识别方法 | |
| CN110531376B (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
| CN107576960A (zh) | 视觉雷达时空信息融合的目标检测方法及系统 | |
| CN111797716A (zh) | 一种基于Siamese网络的单目标跟踪方法 | |
| CN109059954A (zh) | 支持高精度地图车道线实时融合更新的方法和系统 | |
| Zhang et al. | A longitudinal scanline based vehicle trajectory reconstruction method for high-angle traffic video | |
| CN107808123A (zh) | 图像可行域检测方法、电子设备、存储介质、检测系统 | |
| CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
| CN112241969A (zh) | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 | |
| CN106228570A (zh) | 一种真值数据确定方法和装置 | |
| Hinz et al. | Car detection in aerial thermal images by local and global evidence accumulation | |
| CN112833883A (zh) | 一种基于多相机的室内移动机器人定位方法 | |
| CN106504274A (zh) | 一种基于红外摄像头下的视觉跟踪方法及系统 | |
| CN114280611A (zh) | 一种融合毫米波雷达与摄像头的路侧感知方法 | |
| Liang et al. | LineNet: A zoomable CNN for crowdsourced high definition maps modeling in urban environments | |
| Li et al. | Enhancing 3-D LiDAR point clouds with event-based camera | |
| CN114689038A (zh) | 基于机器视觉的果实检测定位与果园地图构建方法 | |
| CN115147644A (zh) | 图像描述模型的训练和描述方法、系统、设备及存储介质 | |
| Kloeker et al. | High-precision digital traffic recording with multi-lidar infrastructure sensor setups | |
| Lin et al. | Vehicle detection and tracking using low-channel roadside LiDAR | |
| Xing et al. | Improved yolov5-based uav pavement crack detection | |
| Liu et al. | Comparison of 2D image models in segmentation performance for 3D laser point clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |