CN110310305A - 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 - Google Patents
一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 Download PDFInfo
- Publication number
- CN110310305A CN110310305A CN201910452129.9A CN201910452129A CN110310305A CN 110310305 A CN110310305 A CN 110310305A CN 201910452129 A CN201910452129 A CN 201910452129A CN 110310305 A CN110310305 A CN 110310305A
- Authority
- CN
- China
- Prior art keywords
- target
- bssd
- tracking
- detection
- kalman filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 238000001914 filtration Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 239000007788 liquid Substances 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 abstract description 3
- 230000007774 longterm Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于BSSD检测与卡尔曼滤波的目标跟踪方法与装置。本发明针对传统的基于卡尔曼滤波的目标跟踪方法难以应对目标尺度变化，跟踪准确率低等问题，将BSSD检测方法与卡尔曼滤波方法相结合，提高跟踪准确率与鲁棒性。在起始阶段，采用BSSD方法和ResNet‑18分类方法初始化跟踪目标，避免人工干预；在跟踪阶段，在使用卡尔曼滤波进行目标位置预测后，通过位置修正的方式对预测结果的位置进行修正，提高运动状态估计的准确性。与此同时，在满足一定触发条件的情况下，重新运行BSSD方法与ResNet‑18方法进行目标检测，并对检测结果与跟踪目标进行数据关联，以对新出现的目标进行跟踪，提高跟踪准确率，实现长期、准确的目标跟踪。
Description
技术领域
本发明涉及一种基于BSSD(Bidirection Single Shot Multibox Detector)检测与卡尔曼滤波的目标跟踪方法，用于实现对目标进行快速、准确的跟踪，属于计算机视觉处理技术领域。
背景技术
目标跟踪是计算机视觉领域最热门且最具挑战性的研究任务之一，在视频分析场景中具有非常广泛的应用，如智能视频监控、无人驾驶、人机交互和虚拟现实等。然而，现实场景复杂多变，目标本身在运动过程中会出现形变、尺度变换等，并且当目标运动速度过快时会出现运动模糊。因此，目标跟踪面临诸多困难，是一个极具挑战性的任务。
当前目标跟踪方法主要分为传统目标跟踪方法、基于相关滤波的目标跟踪方法和基于深度学习的目标跟踪方法。其中传统的目标跟踪方法跟踪速度快但跟踪准确度较低。基于相关滤波的目标跟踪方法跟踪准确度较高，且随着相关研究的深入，准确度提升明显，但是极大地牺牲了跟踪速度。基于深度学习的目标跟踪方法精度最高，但是跟踪速度非常慢，该领域还处于研究阶段，不具有实用价值。在无人驾驶应用场景中，要求目标跟踪方法具备实时性，因而不能使用复杂的、速度慢的目标跟踪方法。传统的目标跟踪方法具有简单、跟踪速度快的优点，能够较好地满足无人驾驶的实时性要求，其中基于卡尔曼滤波的目标跟踪方法是常用的传统目标跟踪方法之一。卡尔曼滤波是一种基于均方误差最小化的线性滤波方法，可以从一组包含噪声和干扰的视频序列中，预测出目标的位置坐标及速度。在噪声符合高斯分布的前提下，卡尔曼滤波使用线性动态系统去解决线性最优化估计的问题，其根据观测方程与目标状态转移方程，通过迭代的形式对跟踪目标的状态进行预测与更新。
基于卡尔曼滤波的目标跟踪方法能够较好的处理遮挡问题，且跟踪速度较快。但是基于卡尔曼滤波的目标跟踪方法对目标运动速度改变的适应性较差，且方法未引入尺度自适应策略，在跟踪的过程中，难以应对跟踪目标的尺度变换问题，容易出现累计误差而导致最终跟踪失败。
发明内容
发明目的：针对现有技术中存在的问题和不足，本发明提供一种基于BSSD检测与卡尔曼滤波的目标跟踪方法与装置，用于解决传统的基于卡尔曼滤波的目标跟踪方法难以应对目标尺度与速度变化的问题。
技术方案：为实现上述发明目的，本发明所述的一种基于BSSD检测与卡尔曼滤波的目标跟踪方法，该方法将BSSD目标检测方法融入到卡尔曼滤波跟踪方法中，并引入去误检模块和位置修正策略，能够很好地解决传统的基于卡尔曼滤波的目标跟踪方法的弊端，提高目标跟踪的准确性。该方法主要包含如下步骤：
(1)跟踪目标初始化：使用BSSD检测模型检测出视频序列第一帧图像中的目标，随后利用ResNet-18分类器对检测结果进行二次分类，去除误检目标，得到初始跟踪目标；
(2)运动状态估计：使用卡尔曼滤波方法估计跟踪目标的运动状态；
(3)目标位置修正：将卡尔曼滤波方法的估计结果作为初选框输入到BSSD检测模型中进行边框回归，如果BSSD将边框归类为背景，则不对滤波器进行更新；如果BSSD将边框归类为非背景类别，则使用BSSD的回归结果替换滤波器的预测结果，并对滤波器进行更新；
(4)目标检测：跟踪过程中，在满足一定触发条件的情况下，重新使用BSSD检测模型进行目标检测，并使用ResNet-18分类器去除误检目标，对新出现的目标进行初始化；
(5)数据关联：利用目标的深度外观信息、形状信息、运动信息及IOU(Intersection Over Union，交并比)距离构建关联矩阵，并计算检测目标与跟踪目标之间的对应关系，得到跟踪结果。
作为优选，所述BSSD检测模型基于SSD模型构建，通过线性插值将相对较低的高层特征层与其之前的SSD用于检测最小目标的特征层进行融合，并通过passthrough的方法将相对较高的低层特征层与融合后的特征层进行拼接得到用于小目标检测的特征层。
作为优选，训练BSSD检测模型以及ResNet-18分类器模型的正负样本比例为1:3。
作为优选，所述关联矩阵中第i个预测目标predi和第j个检出目标detj间的关联关系值为：
aff(predi,detj)＝1-w3*affapp(predi,detj)*affshp(predi,detj)
*affmot(predi,detj)*affiou(predi,detj)
其中，
表示ResNet-18对第i个预测目标predi提取的外观特征，表示ResNet-18对第j个检测目标提取的外观特征，cosine为余弦距离，表示第i个预测目标的高度，表示第j个检出目标的高度，表示第i个预测目标的宽度，表示第j个检出目标的宽度，表示第i个预测目标的x坐标，表示第j个检测目标的y坐标，表示第i个预测目标的x坐标，表示第j个检测目标的y坐标，为第i个预测目标的边界框，为第j个检出目标的边界框，w1、w2、w3为权重参数。
作为优选，步骤(5)中使用Kuhn–Munkres方法进行数据关联能得到预测目标与检测目标之间的对应关系，若检测目标与预测目标关联成功，则将该检测目标标记为相应的跟踪目标；否则，检测目标为新出现的目标，将其标记为新的跟踪目标。
基于相同的发明构思，本发明所述的一种基于BSSD检测与卡尔曼滤波的目标跟踪装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于BSSD检测与卡尔曼滤波的目标跟踪方法。
有益效果：与现有技术相比，本发明具有如下优点：
1.本发明将BSSD目标检测方法融入到传统的卡尔曼滤波跟踪方法中，能够避免手工初始化跟踪目标，并且在后续的跟踪过程中能够实现对新出现目标的跟踪，从而减少遗漏跟踪目标的情况发生。
2.本发明在传统的卡尔曼滤波跟踪方法中引入了位置修正策略，能够有效解决卡尔曼滤波方法难以应对目标尺度与速度变化的问题，提高卡尔曼滤波位置估计的准确性。
3.本发明对BSSD检测结果及卡尔曼滤波估计结果进行关联，能够有效提高目标跟踪的准确性。
附图说明
图1为本发明基于BSSD检测与卡尔曼滤波的目标跟踪方法流程图。
图2为本发明采样的正负样本示例图。
图3为本发明构建的BSSD模型结构图。
图4为本发明构建的ResNet-18模型结构图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，本发明实施例公开的一种基于BSSD检测与卡尔曼滤波的目标跟踪方法，在起始阶段，采用BSSD方法和ResNet-18分类方法初始化跟踪目标，避免人工干预；在跟踪阶段，在使用卡尔曼滤波进行目标位置预测后，通过位置修正的方式对预测结果的位置进行修正，提高运动状态估计的准确性。与此同时，在满足一定触发条件的情况下，重新运行BSSD方法与ResNet-18方法进行目标检测，并对检测结果与跟踪目标进行数据关联，以对新出现的目标进行跟踪，提高跟踪准确率，实现长期、准确的目标跟踪。下面首先对本发明实施例的使用的数据集及涉及到的网络模型做说明。
数据集制作。为了方便本发明方法与其他目标跟踪方法的对比，本实施例选用PASCAL VOC及2DMOT2015数据集。在具体的应用场景中，如无人驾驶场景，可采用与场景相关的数据集。首先从PASCAL VOC2007及PASCAL VOC2012数据集中采样正负样本，对于正样本，本实施例将PASCAL VOC中的真实边界框从原始图像中截取出来作为正样本。对于负样本，在每幅图像的每个真实边界框的一定邻域内截取一定数量的负样本，保证每个负样本与真实边界框之间的IOU小于0.3，最终正负样本的比例为1:3。正负样本示例如图2所示。对于2DMOT2015中的训练集与测试集，分别采用如上的方法采样正负样本，以生成数据集。
BSSD检测模型构建与训练。BSSD方法是对传统SSD方法的改进，其在传统SSD方法的基础上引入了特征融合策略，其模型结构如图3所示。BSSD网络模型通过线性插值将相对较低的高层特征层与其之前的SSD用于检测最小目标的特征层进行融合，并通过passthrough的方法将相对较高的低层特征层与融合后的特征层进行拼接得到用于小目标检测的特征层。SSD使用Conv4_3(第四个卷积模块的第三个特征层)检测小目标，但是该层缺乏高层的语义信息，考虑到小目标可能在高特征层已失去相关信息，本实施例选择相对较低的高层特征Conv7(第七个特征层)作为与Conv4_3融合的高层特征。与此同时，图片中极小的目标可能在Conv4_3已经失去相关信息，考虑到低特征层存在特征提取不充分的问题，本实施例选择相对较高的低层特征Conv3_3(第三个卷积模块的第三个特征层)作为与Conv4_3拼接的低层特征。首先利用双线性插值算法(Bilinear Up-sampling)将SSD中的Conv7特征层上采样到与Conv4_3同样的大小，并通过按位相加(Element-wise Sum)的方式与Conv4_3特征层进行融合，得到Conv_tmp特征层；然后通过passthrough的方法对Conv3_3特征层的结构进行修改，拼接到Conv_tmp后，得到用于小目标检测的低特征层Conv_conc。
与此同时，BSSD方法对传统SSD方法默认框的设置方式及数据扩增策略进行改进，能够检测出更多的小目标。BSSD使用K-means聚类算法对PASCAL VOC数据集中的真实框进行聚类，并根据聚类结果及交叉验证的方式确定BSSD中默认框的尺度及长宽比。并且相比于SSD增加了0.1以下的采样比例。
本实施例首先使用ImageNet数据集对BSSD网络中的VGG16基础网络进行预训练，随后使用PASCAL VOC数据集对BSSD网络进行训练，接着利用2DMOT2015提供的标准值作为数据集的标签信息，将2DMOT2015的数据集转化成标准的PASCAL VOC格式，使用2DMOT2015的训练集作为对BSSD模型进行微调的数据集。在完成对BSSD检测模型的微调后，使用2DMOT2015的测试集验证BSSD模型最终的检测效果。
ResNet-18模型构建与训练。ResNet-18(He K,Zhang X,Ren S,et al.DeepResidual Learning for Image Recognition[C].IEEE Conference on Computer Visionand Pattern Recognition.IEEE,2015)以经典的残差网络作为基本的网络单元，以求获得较高的分类准确率。在训练ResNet-18模型时，首先使用PASCAL VOC数据集对该模型进行预训练，随后在2DMOT2015数据集上对该模型进行微调。该步骤实施过程分为2个子步骤：
(1)ResNet-18模型构建。由于BSSD在检测过程中可能会产生误检目标，即将背景类别标记为感兴趣类别。为此，本实施例构建ResNet-18分类模型用于去除BSSD检测结果中的误检目标。为简化分类任务，提高分类速度，ResNet-18仅对图像进行二分类：前景和背景。如图4所示，ResNet-18以大小为64×64的图像作为输入，其内部的网络层大都采用3×3的卷积核，并使用步长为2的卷积层替代大部分的池化层以缩小特征图的尺寸。ResNet-18在卷积层的末尾添加一个全局池化层和一个全连接层，并在网络的末端添加一个逻辑回归单元，以实现对图像的分类。
(2)ResNet-18模型训练。对于ResNet-18模型，本实施例首先使用根据PASCAL VOC数据集构建的训练样本对ResNet-18模型进行预训练，随后使用根据2DMOT2015训练集构建的数据集对ResNet-18模型进行微调。其目标损失函数如公式(1)所示：
其中：m表示所有的训练集，y(i)表示网络对第i个图像的分类结果，y(i)表示第i个图像对应的真实标签。y(i)的计算公式如下：
y＝Sigmoid(wTx+b)＝σ(wTx+b) (2)
其中：y表示目标为前景的置信度，w是与逻辑回归单元连接的权重，wT表示w的转置，b是对应的偏置，sigmoid函数的定义如下式所示：
其中：z是sigmoid函数的输入。
本实施例根据公式(1)定义的目标损失函数，通过标准的反向传播方法对ResNet-18分类模型进行训练。
在前述准备工作的基础上，本发明实施例公开的一种基于BSSD检测与卡尔曼滤波的目标跟踪方法，主要实施步骤如下：
步骤1，跟踪目标初始化。基于检测的目标跟踪方法需要在跟踪的起始阶段初始化视频序列第一帧图像内的跟踪目标，首先使用BSSD目标检测方法检出图像内的目标，随后使用ResNet-18分类方法对BSSD的检测结果进行二次分类，去除检测结果中的误检目标，防止跟踪方法对误检目标进行跟踪，将剩下的目初始化为跟踪目标。
步骤2，运动状态估计。使用卡尔曼滤波方法估计跟踪目标的运动状态，将其作为跟踪目标在下一帧图像内的初始位置，此时不对卡尔曼滤波器进行更新。
步骤3，目标位置修正。将卡尔曼滤波方法的估计结果作为初选框输入到BSSD检测方法中进行边框回归。在检测的过程中，如果BSSD方法将边框归类为背景，则说明该边框对应的跟踪目标因为遮挡而无法检出，此时不对该目标的滤波器进行更新；如果BSSD方法将边框归类为非背景类别(即识别为跟踪目标)，则使用BSSD方法的回归结果替换滤波器的预测结果，并对滤波器进行更新。
步骤4，目标检测。跟踪过程中，在满足触发条件的情况下(本实施例定义为每隔5帧)，重新使用BSSD方法进行目标检测，并通过ResNet-18方法去除误检目标，从而对新出现的目标进行初始化。
步骤5,数据关联。数据关联是基于检测的跟踪方法的重点，其本质上是一种多对多的线性指派问题。本实施例首先综合使用目标的深度外观特征信息、形状信息、运动信息和IOU距离来构建关联矩阵，随后使用Kuhn–Munkres方法计算检测目标与预测目标之间的对应关系。
本实施例使用ResNet-18的最后一个卷积层提取目标的外观特征，为了适应ResNet-18的输入尺寸，需要对检测或预测目标的图像块进行缩放。为了尽可能保留图像块的原有信息，防止产生形变，本实施例对图像块进行等比例缩放，使得最短边的尺度大于64像素。为了使不同大小的图像输入产生相同大小的特征输出，本实施例在ResNet-18的最后一个卷积层后附加一个ROI池化层。将ResNet-18对第i个预测目标predi提取的外观特征表示为则第i个预测目标predi与第j个检出目标detj间的外观关系系数affapp(predi,detj)如公式(4)所示：
其中：表示ResNet-18对第j个检测目标提取的外观特征，cosine为余弦距离，向量x和y之间的余弦距离定义如公式(5)所示：
预测目标与检出目标间的形状关系系数affshp(predi,detj)如公式(6)所示：
其中：w1表示权重参数，表示第i个预测目标的高度，表示第j个检出目标的高度，表示第i个预测目标的宽度，表示第j个检出目标的宽度。
预测目标与检出目标间的运动关系系数affmot(predi,detj)如公式(7)所示：
其中：w2为权重参数，表示第i个预测目标的x坐标，表示第j个检测目标的y坐标，表示第i个预测目标的x坐标，表示第j个检测目标的y坐标。
预测目标与检出目标间的IOU距离(预测目标边界框与检出目标边界框的交并比，即交集的面积比并集的面积)affiou(predi,detj)如公式(8)所示：
其中：为第i个预测目标的边界框，为第j个检出目标的边界框。
综合上述四种信息，构建如公式(9)所示的关联矩阵：
其中：w3为权重参数。
得到关联矩阵后使用Kuhn–Munkres方法(Munkres,James.Algorithms for theAssignment and Transportation Problems[J].Journal of the Society forIndustrial and Applied Mathematics,1957)进行数据关联，Kuhn–Munkres方法的求解过程如下：
(1)找到关联矩阵中每一行值最小的元素，并使每一行的所有元素减去该行的最小值。
(2)找到关联矩阵中每一列值最小的元素，并使每一列的所有元素减去该列的最小值。
(3)用尽可能少的行或列标记覆盖矩阵中的所有0，若此时标记的总数等于关联矩阵的行数或列数，则完成数据关联，否则执行下一步。
(4)找到未被行或列标记覆盖的元素的最小值，所有未被行或列标记覆盖的行元素减去该最小值，所有未被覆盖的列元素加上该最小值，转到(3)。
使用Kuhn–Munkres方法进行数据关联即能得到预测目标与检测目标之间的对应关系，若检测目标与预测目标关联成功，则将该检测目标标记为相应的跟踪目标。否则，检测目标为新出现的目标，将其标记为新的跟踪目标，最终实现对目标长期、准确的跟踪。
基于相同的发明构思，本发明实施例公开的一种基于BSSD检测与卡尔曼滤波的目标跟踪装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述基于BSSD检测与卡尔曼滤波的目标跟踪方法。
本发明提出的一种基于BSSD检测与卡尔曼滤波的目标跟踪方法，具有较高的跟踪精度以及较好的鲁棒性，并且跟踪速度较快，能够较好地满足无人驾驶高跟踪精度及高实时性的应用需求。
Claims (6)
1.一种基于BSSD检测与卡尔曼滤波的目标跟踪方法，其特征在于，包括如下步骤：
(1)跟踪目标初始化：使用BSSD检测模型检测出视频序列第一帧图像中的目标，随后利用ResNet-18分类器对检测结果进行二次分类，去除误检目标，得到初始跟踪目标；
(2)运动状态估计：使用卡尔曼滤波方法估计跟踪目标的运动状态；
(3)目标位置修正：将卡尔曼滤波方法的估计结果作为初选框输入到BSSD检测模型中进行边框回归，如果BSSD将边框归类为背景，则不对滤波器进行更新；如果BSSD将边框归类为非背景类别，则使用BSSD的回归结果替换滤波器的预测结果，并对滤波器进行更新；
(4)目标检测：跟踪过程中，在满足一定触发条件的情况下，重新使用BSSD检测模型进行目标检测，并使用ResNet-18分类器去除误检目标，对新出现的目标进行初始化；
(5)数据关联：利用目标的深度外观信息、形状信息、运动信息及IOU距离构建关联矩阵，并计算检测目标与跟踪目标之间的对应关系，得到跟踪结果。
2.根据权利要求1所述的基于BSSD检测与卡尔曼滤波的目标跟踪方法，其特征在于，所述BSSD检测模型基于SSD模型构建，通过线性插值将相对较低的高层特征层与其之前的SSD用于检测最小目标的特征层进行融合，并通过passthrough的方法将相对较高的低层特征层与融合后的特征层进行拼接得到用于小目标检测的特征层。
3.根据权利要求1所述的基于BSSD检测与卡尔曼滤波的目标跟踪方法，其特征在于，训练BSSD检测模型以及ResNet-18分类器模型的正负样本比例为1:3。
4.根据权利要求1所述的基于BSSD检测与卡尔曼滤波的目标跟踪方法，其特征在于，所述关联矩阵中第i个预测目标predi和第j个检出目标detj间的关联关系值为：
aff(predi,detj)＝1-w3*affapp(predi,detj)*affshp(predi,detj)*affmot(predi,detj)*affiou(predi,detj)
其中，
表示ResNet-18对第i个预测目标predi提取的外观特征，表示ResNet-18对第j个检测目标提取的外观特征，cosine为余弦距离，表示第i个预测目标的高度，表示第j个检出目标的高度，表示第i个预测目标的宽度，表示第j个检出目标的宽度，表示第i个预测目标的x坐标，表示第j个检测目标的y坐标，表示第i个预测目标的x坐标，表示第j个检测目标的y坐标，为第i个预测目标的边界框，为第j个检出目标的边界框，w1、w2、w3为权重参数。
5.根据权利要求1所述的基于BSSD检测与卡尔曼滤波的目标预测方法，其特征在于，步骤(5)中使用Kuhn–Munkres方法进行数据关联能得到预测目标与检测目标之间的对应关系，若检测目标与预测目标关联成功，则将该检测目标标记为相应的跟踪目标；否则，检测目标为新出现的目标，将其标记为新的跟踪目标。
6.一种基于BSSD检测与卡尔曼滤波的目标跟踪装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-5任一项所述的基于BSSD检测与卡尔曼滤波的目标跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910452129.9A CN110310305B (zh) | 2019-05-28 | 2019-05-28 | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910452129.9A CN110310305B (zh) | 2019-05-28 | 2019-05-28 | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110310305A true CN110310305A (zh) | 2019-10-08 |
| CN110310305B CN110310305B (zh) | 2021-04-06 |
Family
ID=68075232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910452129.9A Active CN110310305B (zh) | 2019-05-28 | 2019-05-28 | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110310305B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311647A (zh) * | 2020-01-17 | 2020-06-19 | 长沙理工大学 | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 |
| CN111563918A (zh) * | 2020-03-30 | 2020-08-21 | 西北工业大学 | 一种多卡尔曼滤波器数据融合的目标跟踪方法 |
| CN111562915A (zh) * | 2020-06-15 | 2020-08-21 | 厦门大学 | 前端代码生成模型的生成方法和装置 |
| CN113392678A (zh) * | 2020-03-12 | 2021-09-14 | 杭州海康威视数字技术股份有限公司 | 行人检测方法、设备和存储介质 |
| CN114494179A (zh) * | 2022-01-24 | 2022-05-13 | 深圳闪回科技有限公司 | 一种基于图像识别的手机背部破损点检测方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107369166B (zh) * | 2017-07-13 | 2020-05-08 | 深圳大学 | 一种基于多分辨率神经网络的目标跟踪方法及系统 |
| CN108022258B (zh) * | 2017-10-20 | 2020-07-03 | 南京邮电大学 | 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法 |
| CN108053427B (zh) * | 2017-10-31 | 2021-12-14 | 深圳大学 | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 |
| CN109785368B (zh) * | 2017-11-13 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 一种目标跟踪方法和装置 |
| CN108073690A (zh) * | 2017-11-30 | 2018-05-25 | 江西洪都航空工业集团有限责任公司 | 一种视频目标检索方法 |
| CN108376246A (zh) * | 2018-02-05 | 2018-08-07 | 南京蓝泰交通设施有限责任公司 | 一种多人脸识别及跟踪系统及方法 |
| CN109146921B (zh) * | 2018-07-02 | 2021-07-27 | 华中科技大学 | 一种基于深度学习的行人目标跟踪方法 |
| CN109522793B (zh) * | 2018-10-10 | 2021-07-23 | 华南理工大学 | 基于机器视觉的多人异常行为检测与识别方法 |
-
2019
- 2019-05-28 CN CN201910452129.9A patent/CN110310305B/zh active Active
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311647A (zh) * | 2020-01-17 | 2020-06-19 | 长沙理工大学 | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 |
| CN111311647B (zh) * | 2020-01-17 | 2023-07-14 | 长沙理工大学 | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 |
| CN113392678A (zh) * | 2020-03-12 | 2021-09-14 | 杭州海康威视数字技术股份有限公司 | 行人检测方法、设备和存储介质 |
| CN111563918A (zh) * | 2020-03-30 | 2020-08-21 | 西北工业大学 | 一种多卡尔曼滤波器数据融合的目标跟踪方法 |
| CN111563918B (zh) * | 2020-03-30 | 2022-03-04 | 西北工业大学 | 一种多卡尔曼滤波器数据融合的目标跟踪方法 |
| CN111562915A (zh) * | 2020-06-15 | 2020-08-21 | 厦门大学 | 前端代码生成模型的生成方法和装置 |
| CN114494179A (zh) * | 2022-01-24 | 2022-05-13 | 深圳闪回科技有限公司 | 一种基于图像识别的手机背部破损点检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110310305B (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310305B (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
| CN110059558B (zh) | 一种基于改进ssd网络的果园障碍物实时检测方法 | |
| CN109829893B (zh) | 一种基于注意力机制的缺陷目标检测方法 | |
| CN111027493B (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| CN111126359B (zh) | 基于自编码器与yolo算法的高清图像小目标检测方法 | |
| CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN109977997B (zh) | 基于卷积神经网络快速鲁棒的图像目标检测与分割方法 | |
| CN111080693A (zh) | 一种基于YOLOv3的机器人自主分类抓取方法 | |
| CN112364931B (zh) | 一种基于元特征和权重调整的少样本目标检测方法及网络系统 | |
| CN114677554A (zh) | 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法 | |
| CN113052873B (zh) | 一种在线自监督学习场景适应的单目标跟踪方法 | |
| CN109948593A (zh) | 基于结合全局密度特征的mcnn人群计数方法 | |
| CN111091101B (zh) | 基于一步法的高精度行人检测方法、系统、装置 | |
| CN112906794A (zh) | 一种目标检测方法、装置、存储介质及终端 | |
| CN110298248A (zh) | 一种基于语义分割的多目标跟踪方法及系统 | |
| CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN112200056A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN113537085A (zh) | 基于两次迁移学习和数据增广的船舶目标检测方法 | |
| CN116486288A (zh) | 基于轻量级密度估计网络的航拍目标计数与检测方法 | |
| CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及系统 | |
| CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
| CN113379789A (zh) | 一种复杂环境下运动目标跟踪方法 | |
| CN114519853A (zh) | 一种基于多模态融合的三维目标检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |