CN108364305A - 基于改进型dsst的车载摄像视频目标跟踪方法 - Google Patents

基于改进型dsst的车载摄像视频目标跟踪方法 Download PDF

Info

Publication number
CN108364305A
CN108364305A CN201810120426.9A CN201810120426A CN108364305A CN 108364305 A CN108364305 A CN 108364305A CN 201810120426 A CN201810120426 A CN 201810120426A CN 108364305 A CN108364305 A CN 108364305A
Authority
CN
China
Prior art keywords
target
frame image
dsst
scale
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810120426.9A
Other languages
English (en)
Other versions
CN108364305B (zh
Inventor
黄立勤
朱飘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810120426.9A priority Critical patent/CN108364305B/zh
Publication of CN108364305A publication Critical patent/CN108364305A/zh
Application granted granted Critical
Publication of CN108364305B publication Critical patent/CN108364305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于改进型DSST的车载摄像视频目标跟踪方法，其方法包括以下步骤：1：对第一帧图像确定目标位置和尺度信息；2：训练得到位置滤波器和尺度滤波器的初始参数；3：预测下一帧图像中的目标位置和尺度，读取下一帧图像；4：计算位置滤波的最大响应，确定为该帧图像的目标位置，并更新目标位置；5：提取多尺度图像块；6：计算尺度滤波的最大响应，确定目标的尺度信息，并更新目标的尺度信息；7：重新训练位置滤波器和尺度滤波器的参数，并更新参数；8：重复3至7，直至跟踪结束。本发明通过加入更多的背景信息和更加合理的尺度调整策略来处理前景和背景快速变化的跟踪问题，以在交通环境下准确的估计出目标的位置及尺度。

Description

基于改进型DSST的车载摄像视频目标跟踪方法
技术领域
本发明属于计算机视觉和图像处理领域，尤其涉及一种基于改进型DSST的车载摄像视频目标跟踪方法。
背景技术
目标跟踪是计算机视觉领域一个核心的研究课题。在通常的视觉跟踪任务中，目标跟踪是指根据已知目标的初始位置信息来得到在整个视频序列中该目标的运动轨迹的技术。目前，相关滤波（Correlation Filter， CF） 跟踪模型由于具有较好的跟踪性能和计算效率而成为当前目标跟踪领域的研究热点。核相关滤波跟踪算法的基础是MOSSE（Minimum Output Sum of Squared Error，MOSSE）跟踪器，MOSSE跟踪器通过学习一个判别式相关滤波器来对下一帧图像目标定位。
目前应用于交通环境下的跟踪方法中，DSST是比较好的一种。DSST中采用了两个相关滤波器，一个滤波器估计目标位置，另外一个则估计目标尺寸，两个滤波器相互独立。首先DSST估计目标位置，使用带有HOG特征的DCF训练的平移相关滤波估计目标中心的平移，这个过程中只利用到目标周围少量的背景信息。然后使用尺度滤波器，采用固定权重的金字塔对目标进行多尺度估计。最终， 得到目标在下一帧的位置及尺度大小。
如上所述，将DSST跟踪方法应用于交通环境中存在两个问题：一是没有充分利用目标以外的背景信息，在下几帧中会将干扰物或者背景误识别为目标，所以在目标快速运动、遮挡和背景混淆时易引起跟踪漂移；二是相关滤波器采用固定比例尺度的金字塔模型，各层权重递减叠加且具有一定间隔性会导致真实目标尺度响应减弱和目标尺度估计出现较大偏差。
发明内容
为了解决现有技术存在的空白和不足，本发明旨在对DSST算法进行进一步改进，解决适于复杂环境的目标跟踪问题，并提出一种在跟踪过程中准确的估计出目标位置和尺寸的变化的策略，具体采用以下技术方案：
一种基于改进型DSST的车载摄像视频目标跟踪方法，其特征在于，包括以下步骤：
步骤1：对第一帧图像确定目标位置和尺度信息；
步骤2：根据第一帧图像的灰度信息训练得到位置滤波器和尺度滤波器的初始参数；
步骤3：预测下一帧图像中的目标位置和尺度，读取下一帧图像；
步骤4：计算位置滤波的最大响应，确定为该帧图像的目标位置，并更新目标位置；
步骤5：提取多尺度图像块；
步骤6：计算尺度滤波的最大响应，确定目标的尺度信息，并更新目标的尺度信息；
步骤7：根据更新后的目标位置和尺度信息重新训练位置滤波器和尺度滤波器的参数，并更新参数；
步骤8：重复步骤3至步骤7，直至跟踪结束。
优选地，所述位置滤波器在每一帧图像中，围绕目标(其中代表整个图像)抽K个背景图像块，分别对应的循环矩阵和，则位置滤波器的代价函数为：，其中和为正则项系数，w为位置滤波器，y为最大相关滤波器响应得分。
优选地，在训练过程中，所在项回归至零。
优选地，所述尺度滤波器的尺度变化因子a根据当前帧和下一帧尺度估计两者的差值进行动态的调整。
优选地，所述尺度滤波器的尺度变化因子a的计算公式为：
其中和分别表示的是t+1和t时刻的估计尺度级，范围为[1,33]，的取值范围为[1.01,1.1]。
优选地，在步骤2中，训练检测区域大小为目标大小的3倍，HOG特征的元细胞大小为4*4Pixel，统计梯度方向数为9，正则化参数为，，，学习速率，尺度数S=33，尺度变化因子初始值a=1.01。
现有的目前能够应用于复杂环境下的跟踪方法普遍存在两个问题：一是没有充分利用上下帧信息，在目标快速运动、遮挡和背景混淆时易引起跟踪漂移；二是采用固定尺度的滤波模板，不能适应目标尺度变化。因此本发明提出一种应用于移动摄影视频目标跟踪，尤其是车载视频上的，基于背景信息的尺度自适应相关滤波跟踪算法。在特征预测目标下一帧位置时，在滤波器中加入更多的背景信息以提高复杂环境中目标跟踪精度，然后根据预测位置选取图像块进行目标检测，最后结合动态尺度比例金字塔模型估计目标尺度，提高目标尺度估计精度。
本发明通过加入更多的背景信息和更加合理的尺度调整策略来处理前景和背景快速变化的跟踪问题，以在交通环境下准确的估计出目标的位置及尺度。
相比于现有技术，本发明及优选方案有如下优点：
1、现有的跟踪方法测试环境多为固定摄像头下拍摄的视频，且场景复杂度低。
本提案中的跟踪方法测试环境为车载摄像头下（移动摄像头），且环境复杂度高。应用性和适用性都要优于前者。
2、现有的多尺度跟踪方法采用固定比例的金字塔模型，导致真实目标尺度响应减弱，出现尺度估计偏差较大的问题。
本专利优选方案中使用的是动态尺度比例的金字塔模型，可有效解决金字塔策略中权重配比和尺度估计不精确的问题。
3、现有跟踪器没有充分利用上下文信息，尽管引入更强的特征，在目标快速运动、遮挡和背景混淆时仍易引起跟踪漂移。
本专利优选方案中在相关滤波跟踪器加入上下文信息，增强CF模型的判别力，有效的减少了跟踪漂移问题。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1是本发明实施例方法总体流程示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
如图1所示，本发明实施例应用于通过车载视频实现目标跟踪的场景，从车载视频中提取按照时间顺序的各帧图像之后，包括以下步骤：
步骤1：对第一帧图像确定目标位置和尺度信息；
步骤2：根据第一帧图像的灰度信息训练得到位置滤波器和尺度滤波器的初始参数，包括初始化外观模板和系数；
步骤3：预测下一帧图像中的目标位置和尺度，读取下一帧图像；
步骤4：计算位置滤波的最大响应，确定为该帧图像的目标位置，并更新目标位置；
步骤5：提取多尺度图像块；
步骤6：计算尺度滤波的最大响应，确定目标的尺度信息，并更新目标的尺度信息；
步骤7：根据更新后的目标位置和尺度信息重新训练位置滤波器和尺度滤波器的参数，并更新两个滤波器的参数；
步骤8：重复步骤3至步骤7，直至跟踪结束。
在本实施例中，位置滤波器在每一帧图像中，围绕目标抽K个背景图像块，分别对应的循环矩阵和，这些背景图像块被看做是难负样本，里面包含着两种全局背景信息（一是干扰物，二是各种各样的背景）。简单来说，我们想要经过学习后的滤波器能够对目标图像块有着高响应得分，而对于背景图像块的响应得分要尽可能的接近于0。本实施例中将背景信息放在标准公式的正则项中，（对所有context块加约束，使得他们回归到0。），则位置滤波器的代价函数为：，其中和为正则项系数，w为位置滤波器，y为最大相关滤波器响应得分。
在训练过程中，所在项回归至零。
而现有技术中（DSST），位置滤波器的代价函数为，其缺少对背景信息的处理，劣于本实施例提供的处理方法。
在本实施例中，由于尺度因子为底数大于1的指数函数，所以33种尺度不是线性增长的。比当前尺度越大的尺度级，步长越大，比当前尺度越小的尺度级，步长越小，即对较大的尺度进行粗检测，对较小的尺度进行细检测。所以为了对尺度较大的物体实现细检测，从而设计为：尺度滤波器的尺度变化因子a根据当前帧和下一帧尺度估计两者的差值进行动态的调整。
尺度滤波器的尺度变化因子a的计算公式为：
其中和分别表示的是t+1和t时刻的估计尺度级，范围为[1,33]，的取值范围为[1.01,1.1]。
而在现有技术中（DSST），尺度因子a是一个固定的系数，而非可变参数，其对细部的检测精度劣于本实施例提供的尺度变化因子的方案。
在步骤2中，训练检测区域大小为目标大小的3倍，HOG特征的元细胞大小为4*4Pixel，统计梯度方向数为9，正则化参数为，，，学习速率，尺度数S=33，尺度变化因子初始值a=1.01。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于改进型DSST的车载摄像视频目标跟踪方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (6)

1.一种基于改进型DSST的车载摄像视频目标跟踪方法，其特征在于，包括以下步骤：
步骤1：对第一帧图像确定目标位置和尺度信息；
步骤2：根据第一帧图像的灰度信息训练得到位置滤波器和尺度滤波器的初始参数；
步骤3：预测下一帧图像中的目标位置和尺度，读取下一帧图像；
步骤4：计算位置滤波的最大响应，确定为该帧图像的目标位置，并更新目标位置；
步骤5：提取多尺度图像块；
步骤6：计算尺度滤波的最大响应，确定目标的尺度信息，并更新目标的尺度信息；
步骤7：根据更新后的目标位置和尺度信息重新训练位置滤波器和尺度滤波器的参数，并更新参数；
步骤8：重复步骤3至步骤7，直至跟踪结束。
2.根据权利要求1所述的基于改进型DSST的车载摄像视频目标跟踪方法，其特征在于：所述位置滤波器在每一帧图像中，围绕目标抽K个背景图像块，分别对应的循环矩阵和，则位置滤波器的代价函数为：，其中和为正则项系数，w为位置滤波器，y为最大相关滤波器响应得分。
3.根据权利要求2所述的基于改进型DSST的车载摄像视频目标跟踪方法，其特征在于：在训练过程中，所在项回归至零。
4.根据权利要求1所述的基于改进型DSST的车载摄像视频目标跟踪方法，其特征在于：所述尺度滤波器的尺度变化因子a根据当前帧和下一帧尺度估计两者的差值进行动态的调整。
5.根据权利要求4所述的基于改进型DSST的车载摄像视频目标跟踪方法，其特征在于：所述尺度滤波器的尺度变化因子a的计算公式为：
其中和分别表示的是t+1和t时刻的估计尺度级，范围为[1,33]，的取值范围为[1.01,1.1]。
6.根据权利要求1所述的基于改进型DSST的车载摄像视频目标跟踪方法，其特征在于：在步骤2中，训练检测区域大小为目标大小的3倍，HOG特征的元细胞大小为4*4Pixel，统计梯度方向数为9，正则化参数为，，，学习速率，尺度数S=33，尺度变化因子初始值a=1.01。
CN201810120426.9A 2018-02-07 2018-02-07 基于改进型dsst的车载摄像视频目标跟踪方法 Active CN108364305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810120426.9A CN108364305B (zh) 2018-02-07 2018-02-07 基于改进型dsst的车载摄像视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810120426.9A CN108364305B (zh) 2018-02-07 2018-02-07 基于改进型dsst的车载摄像视频目标跟踪方法

Publications (2)

Publication Number Publication Date
CN108364305A true CN108364305A (zh) 2018-08-03
CN108364305B CN108364305B (zh) 2021-05-18

Family

ID=63004962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810120426.9A Active CN108364305B (zh) 2018-02-07 2018-02-07 基于改进型dsst的车载摄像视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108364305B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161321A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于背景感知的相关滤波跟踪方法
CN112750146A (zh) * 2020-12-31 2021-05-04 浙江大华技术股份有限公司 目标对象跟踪方法和装置、存储介质及电子设备
CN113298851A (zh) * 2021-07-07 2021-08-24 沈阳航空航天大学 一种基于多尺度多特征的目标图像跟踪方法
CN114529587A (zh) * 2022-04-21 2022-05-24 广东欧谱曼迪科技有限公司 一种视频目标跟踪方法、装置、电子设备及存储介质
CN114862916A (zh) * 2022-07-05 2022-08-05 华砺智行(武汉)科技有限公司 基于ConvNeXt网络和DSST算法的交通车辆跟踪方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100382650B1 (ko) * 2001-01-12 2003-05-09 삼성전자주식회사 비디오신호 처리 시스템에서의 스케일 움직임 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치
US6710784B1 (en) * 1999-12-21 2004-03-23 Intel Corporation Method and apparatus for performing a vertical scale filter function in a graphics device using a single line buffer
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
CN104851112A (zh) * 2015-04-28 2015-08-19 北京理工大学 一种基于数据集补偿的运动目标检测跟踪算法的评估方法
CN106683120A (zh) * 2016-12-28 2017-05-17 杭州趣维科技有限公司 追踪并覆盖动态贴纸的图像处理方法
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN107316316A (zh) * 2017-05-19 2017-11-03 南京理工大学 基于多特征自适应融合和核相关滤波技术的目标跟踪方法
CN107358623A (zh) * 2017-07-12 2017-11-17 武汉大学 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6710784B1 (en) * 1999-12-21 2004-03-23 Intel Corporation Method and apparatus for performing a vertical scale filter function in a graphics device using a single line buffer
KR100382650B1 (ko) * 2001-01-12 2003-05-09 삼성전자주식회사 비디오신호 처리 시스템에서의 스케일 움직임 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
CN104851112A (zh) * 2015-04-28 2015-08-19 北京理工大学 一种基于数据集补偿的运动目标检测跟踪算法的评估方法
CN106683120A (zh) * 2016-12-28 2017-05-17 杭州趣维科技有限公司 追踪并覆盖动态贴纸的图像处理方法
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN107316316A (zh) * 2017-05-19 2017-11-03 南京理工大学 基于多特征自适应融合和核相关滤波技术的目标跟踪方法
CN107358623A (zh) * 2017-07-12 2017-11-17 武汉大学 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MATTHIAS MUELLER ET AL: "Context-Aware Correlation Filter Tracking", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
刘鹏举: "基于判别学习的单目标跟踪系统研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
顾培婷: "基于核相关滤波的视觉跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161321A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于背景感知的相关滤波跟踪方法
CN112750146A (zh) * 2020-12-31 2021-05-04 浙江大华技术股份有限公司 目标对象跟踪方法和装置、存储介质及电子设备
CN112750146B (zh) * 2020-12-31 2023-09-12 浙江大华技术股份有限公司 目标对象跟踪方法和装置、存储介质及电子设备
CN113298851A (zh) * 2021-07-07 2021-08-24 沈阳航空航天大学 一种基于多尺度多特征的目标图像跟踪方法
CN113298851B (zh) * 2021-07-07 2023-09-26 沈阳航空航天大学 一种基于多尺度多特征的目标图像跟踪方法
CN114529587A (zh) * 2022-04-21 2022-05-24 广东欧谱曼迪科技有限公司 一种视频目标跟踪方法、装置、电子设备及存储介质
CN114529587B (zh) * 2022-04-21 2022-09-13 广东欧谱曼迪科技有限公司 一种视频目标跟踪方法、装置、电子设备及存储介质
CN114862916A (zh) * 2022-07-05 2022-08-05 华砺智行(武汉)科技有限公司 基于ConvNeXt网络和DSST算法的交通车辆跟踪方法及系统

Also Published As

Publication number Publication date
CN108364305B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112270249B (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN108364305A (zh) 基于改进型dsst的车载摄像视频目标跟踪方法
CN109949375B (zh) 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN109635685A (zh) 目标对象3d检测方法、装置、介质及设备
CN103473542B (zh) 多线索融合的目标跟踪方法
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN107038713A (zh) 一种融合光流法和神经网络的运动目标捕捉方法
CN110472542A (zh) 一种基于深度学习的红外图像行人检测方法及检测系统
CN110276264A (zh) 一种基于前景分割图的人群密度估计方法
CN104200494A (zh) 一种基于光流的实时视觉目标跟踪方法
CN111881790A (zh) 一种高精度地图制作中道路人行横道自动化提取方法和装置
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN110070565A (zh) 一种基于图像叠加的船舶轨迹预测方法
CN109493300A (zh) 基于fpga卷积神经网络的航拍图像实时去雾方法及无人机
CN110378210A (zh) 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法
CN115393712B (zh) 基于动态混合池化策略的sar图像道路提取方法及系统
CN116486288A (zh) 基于轻量级密度估计网络的航拍目标计数与检测方法
CN103942786B (zh) 无人机可见光和红外图像的自适应团块目标检测方法
CN112907557A (zh) 道路检测方法、装置、计算设备及存储介质
CN116503725A (zh) 红外弱小目标实时检测方法及装置
CN116129386A (zh) 可行驶区域检测方法、系统及计算机可读介质
CN103985139B (zh) 基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN116188550A (zh) 一种基于几何约束的自监督深度视觉里程计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant