CN110298867A - 一种视频目标跟踪方法 - Google Patents

一种视频目标跟踪方法 Download PDF

Info

Publication number
CN110298867A
CN110298867A CN201910541036.3A CN201910541036A CN110298867A CN 110298867 A CN110298867 A CN 110298867A CN 201910541036 A CN201910541036 A CN 201910541036A CN 110298867 A CN110298867 A CN 110298867A
Authority
CN
China
Prior art keywords
target
frame
information
video
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910541036.3A
Other languages
English (en)
Other versions
CN110298867B (zh
Inventor
吴斌
贠周会
谢吉朋
王欣欣
应艳丽
叶超
王旭
黄江林
贾楠
陈栢栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Hongdu Aviation Industry Group Co Ltd
Original Assignee
Jiangxi Hongdu Aviation Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Hongdu Aviation Industry Group Co Ltd filed Critical Jiangxi Hongdu Aviation Industry Group Co Ltd
Priority to CN201910541036.3A priority Critical patent/CN110298867B/zh
Publication of CN110298867A publication Critical patent/CN110298867A/zh
Application granted granted Critical
Publication of CN110298867B publication Critical patent/CN110298867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频目标跟踪方法，包括以下步骤：S1、对视频流进行解码获取图像数据；S2、将解码后的图像数据选取当前帧输入到SSD模型中，进行多目标识别，提取图像中的各类目标类别信息、目标位置框信息和目标图像框面积信息；S3、初始化卡尔曼滤波器，根据前一帧图像中的目标位置框信息预测下一帧目标位置框信息；S4、利用改进的匈牙利算法对步骤S2提取到的目标位置框信息与步骤S3预测的目标位置框信息进行最优匹配；S5、获取下一帧图像数据，重复步骤S2、S3，实现多连续帧视频中的多目标跟踪。该方法克服了多目标运动交叠、部分遮挡、形变等情况，实现对视频多目标的有效跟踪，速度快、效率高，可广泛应用于实战中。

Description

一种视频目标跟踪方法
技术领域
本发明涉及计算机视觉技术领域，具体是一种视频目标跟踪方法。
背景技术
视觉目标跟踪是计算机视觉领域中非常具有挑战性的问题之一。视觉目标跟踪的任务是在视频序列中给定目标在初始帧的状态(即位置、尺寸等信息)的情况下，估计目标在后续帧的状态，而视频多目标跟踪是指需要对同一场景下的多类目标进行跟踪。视频多目标跟踪包括目标检测和目标跟踪两个步骤：其中，常见的目标检测方法有光流法、帧间差分法、背景减差法和基于深度学习的目标检测方法等；比较成熟目标跟踪方法有卡尔曼滤波器算法、Meanshift算法和Camshift算法。虽然近年来视觉目标跟踪技术发展迅速，但是由于在跟踪过程中多种目标、多目标间交替遮挡、外观形变、快速运动、光照变化、尺度变化和背景复杂等因素的影响，视觉目标跟踪技术的应用仍然困难重重。。
发明内容
为解决上述问题，本发明提供一种视频目标跟踪方法。
本发明采用的技术方案是：一种视频目标跟踪方法，包括以下步骤：
S1、对视频流进行解码获取图像数据；
S2、将步骤S1解码后的图像数据选取一帧输入到SSD模型中，进行多目标识别，提取图像中的各类目标类别信息、目标位置框信息和目标图像框面积信息；
S3、初始化卡尔曼滤波器，根据前一帧图像中的目标位置框信息预测下一帧目标位置框信息；
S4、利用改进的匈牙利算法对步骤S2提取到的目标信息与步骤S3预测的目标信息进行最优匹配；由于卡尔曼滤波预测是基于上一帧的目标位置预测下一帧的目标位置，所以预测目标的信息数据(除了目标框位置信息以外的其他信息数据，比如目标类别、目标面积框信息等)即为上一帧的目标的信息数据；
S5、获取S1解码的下一帧图像数据，重复步骤S2、S3，实现多连续帧视频中的多目标跟踪。
进一步地，所述步骤S1中，利用ffmpeg、cuda对实时视频流或者本地视频文件进行硬解码、图像转换，得到能进行计算的图像数据。
进一步地，所述步骤S1中，利用OpenCV的函数进行实时视频流或者本地视频文件读取，得到能进行计算的图像数据。
进一步地，所述步骤S2中，需要先在ubuntu下配置caffe环境，对caffe中的SSD算法的C++进行重新编译，然后将步骤S1解码后的图像数据输入到SSD模型中，进行多目标识别。
进一步地，所述步骤S2中，包括获取目标RGB颜色直方图，利用视频结构化获取目标的更多信息。
进一步地，所述步骤S2中，目标的更多信息包括针对行人获取性别、年龄、衣着特征，针对车辆获取车牌号、车辆类别、颜色、品牌信息。
进一步地，所述步骤S2中，目标类别包括人，自行车，小车，大巴车，摩托车，动物。
进一步地，所述步骤S4中，将步骤S2提取到的目标位置框信息、目标类别信息、目标图像框面积信息以及步骤S3预测的目标位置框信息，进行归一化处理，计算欧式距离
其中
x1表示提取到的目标位置框中心点位置，x2表示预测的目标位置框中心点位置；
y1表示提取到的目标类别，y2表示预测的目标类别；
z1表示提取到的目标图像框面积，z1表示预测的目标图像框面积，a、b、c分别为目标位置框中心点位置、目标类别、目标图像框面积的权重系数。
本发明的有益效果是：本发明提供的基于多特征融合的视频多目标跟踪方法，将多目标识别、多目标跟踪、目标特征提取、视频目标结构化、目标最优匹配进行有效集成，该方法通过基于并行的多目标检测有效提高检测效率，并将目标特征信息进行提取，结合多目标结构化、多目标跟踪和基于特征的最优匹配方法，克服多目标运动交叠、部分遮挡、形变等情况，实现对视频多目标的有效跟踪，具有速度快、效率高的优点，可广泛应用于实战中，能够创造一定的经济效益和使用价值。
附图说明
图1为本发明视频多目标跟踪方法的具体流程图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
实施例
一种视频目标跟踪方法，包括以下步骤：
S1、对视频流进行解码获取图像数据
利用ffmpeg、cuda对实时视频流或者本地视频文件进行硬解码、图像转换，得到能进行计算的图像数据，也可以利用OpenCV的函数进行实时视频流或者本地视频文件读取，得到能进行计算的图像数据。
S2、先在ubuntu下配置caffe环境，对caffe中的SSD算法的C++进行重新编译；然后将步骤S1解码后的图像数据选取当前帧输入到SSD模型中，进行多目标识别，提取图像中的各类目标类别信息(其中目标类别包括人，自行车，小车，大巴车，摩托车，猫，狗等，目标种类可通过重新训练算法进行更改)、目标位置框信息(目标在图像中的位置坐标x[横坐标,纵坐标]，例如[50,60])；根据各目标类别信息y，检测目标的图像框面积信息z，也可以通过算法获取目标RGB颜色直方图，利用视频结构化获取目标的更多信息(比如针对行人获取性别、年龄、衣着特征等，针对车辆获取车牌号、车辆类别、颜色、品牌等)。
S3、初始化卡尔曼滤波器，将步骤2中的多个目标位置框信息输入到基于卡尔曼滤波的目标跟踪算法中，使得系统能够在当前场景下对目标位置进行预测；即根据前一帧图像中的目标位置框信息预测下一帧目标位置框信息；
S4、利用改进的匈牙利算法对步骤S2提取到的目标信息与步骤S3预测的目标信息进行最优匹配(距离最近)；
针对图像数据：未改进前的匈牙利算法是根据目标检测的各目标图像框的中心点坐标x1与预测的各目标图像框的中心点x2，利用欧式距离或者余弦相似度，求取最佳匹配。
改进后的匈牙利算法为：将步骤S2提取到的目标图像框的特征数据与预测的目标图像框的特征数据中，由于卡尔曼滤波预测是基于上一帧的目标位置预测下一帧的目标位置，所以预测目标的信息数据(除了目标框位置信息以外的其他信息数据，比如目标类别、目标面积框信息等)即为上一帧的目标的信息数据，选取目标类别、目标框图像面积等(包括但不限于可选取步骤S2中的更多的目标类别属性)，按照一定的比例系数(例如选定中心点坐标x、目标类别y、目标框图像面积z三个因素，对数据进行归一化处理，按照权重系数a:b:c(例如0.3:0.4:0.3)，利用欧式距离
其中
x1表示提取到的目标位置框中心点位置，x2表示预测的目标位置框中心点位置；
y1表示提取到的目标类别，y2表示预测的目标类别；
z1表示提取到的目标图像框面积，z1表示预测的目标图像框面积，a、b、c分别为目标位置框中心点位置、目标类别、目标图像框面积的权重系数。
S5、对步骤S4得到的各目标的欧式距离，利用匈牙利算法进行最优匹配，完成检测目标与预测目标之间的匹配，获取S1解码的下一帧图像数据，重复步骤S2、S3，实现多连续帧视频中的多目标跟踪，克服多目标运动交叠、部分遮挡、形变等情况。
系统环境需求：本例使用工作站，显卡GTX1080；系统：ubuntu；软件：cuda、ffmpeg、caffe、OpenCV。
本发明提出的视频多目标跟踪方法，基于多目标检测和多特征匹配：利用目标检测方法将视频画面中的目标检测出来、标定坐标、提取目标特征信息，然后利用目标跟踪算法和改进的匈牙利算法对目标进行跟踪与匹配。当出现多目标交叠、部分遮挡、形变等情况时，利用该方法，可实现对多目标的正确跟踪。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种视频目标跟踪方法，其特征在于，包括以下步骤：
S1、对视频流进行解码获取图像数据；
S2、将步骤S1解码后的图像数据选取一帧输入到SSD模型中，进行多目标识别，提取图像中的各类目标类别信息、目标位置框信息和目标图像框面积信息；
S3、初始化卡尔曼滤波器，根据前一帧图像中的目标位置框信息预测下一帧目标位置框信息；
S4、利用改进的匈牙利算法对步骤S2提取到的目标信息与步骤S3预测的目标信息进行最优匹配；
S5、获取S1解码的下一帧图像数据，重复步骤S2和S3，实现多连续帧视频中的多目标跟踪。
2.根据权利要求1所述的一种视频目标跟踪方法，其特征在于，所述步骤S1中，利用ffmpeg、cuda对实时视频流或者本地视频文件进行硬解码、图像转换，得到能进行计算的图像数据。
3.根据权利要求1所述的一种视频目标跟踪方法，其特征在于，所述步骤S1中，利用OpenCV的函数进行实时视频流或者本地视频文件读取，得到能进行计算的图像数据。
4.根据权利要求1所述的一种视频目标跟踪方法，其特征在于，所述步骤S2中，需要先在ubuntu下配置caffe环境，对caffe中的SSD算法的C++进行重新编译，然后将步骤S1解码后的图像数据输入到SSD模型中，进行多目标识别。
5.根据权利要求1所述的一种视频目标跟踪方法，其特征在于，所述步骤S2中，包括获取目标RGB颜色直方图，利用视频结构化获取目标的更多信息。
6.根据权利要求5所述的一种视频目标跟踪方法，其特征在于，所述步骤S2中，目标的更多信息包括针对行人获取性别、年龄以及衣着特征，针对车辆获取车牌号、车辆类别、颜色以及品牌信息。
7.根据权利要求1所述的一种视频目标跟踪方法，其特征在于，所述步骤S2中，目标类别包括人、自行车、小车、大巴车、摩托车和动物。
8.根据权利要求1所述的一种视频目标跟踪方法，其特征在于，所述步骤S4中，将步骤S2提取到的目标位置框信息、目标类别信息、目标图像框面积信息以及步骤S3预测的目标位置框信息，进行归一化处理，计算欧式距离
其中x1表示提取到的目标位置框中心点位置，x2表示预测的目标位置框中心点位置；
y1表示提取到的目标类别，y2表示预测的目标类别；
z1表示提取到的目标图像框面积，z1表示预测的目标图像框面积，a、b、c分别为目标位置框中心点位置、目标类别、目标图像框面积的权重系数。
CN201910541036.3A 2019-06-21 2019-06-21 一种视频目标跟踪方法 Active CN110298867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910541036.3A CN110298867B (zh) 2019-06-21 2019-06-21 一种视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910541036.3A CN110298867B (zh) 2019-06-21 2019-06-21 一种视频目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110298867A true CN110298867A (zh) 2019-10-01
CN110298867B CN110298867B (zh) 2023-05-02

Family

ID=68028559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910541036.3A Active CN110298867B (zh) 2019-06-21 2019-06-21 一种视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110298867B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093077A (zh) * 2019-12-31 2020-05-01 深圳云天励飞技术有限公司 一种视频编码方法、装置、电子设备及存储介质
CN111476826A (zh) * 2020-04-10 2020-07-31 电子科技大学 一种基于ssd目标检测的多目标车辆跟踪方法
CN112257502A (zh) * 2020-09-16 2021-01-22 深圳微步信息股份有限公司 一种监控视频行人识别与跟踪方法、装置及存储介质
CN112580477A (zh) * 2020-12-12 2021-03-30 江西洪都航空工业集团有限责任公司 一种共享单车乱停乱放检测方法
CN112862864A (zh) * 2021-03-05 2021-05-28 上海有个机器人有限公司 多行人追踪方法、装置、电子设备及存储介质
WO2021142741A1 (zh) * 2020-01-17 2021-07-22 深圳大学 目标跟踪方法、装置及终端设备
CN112862864B (zh) * 2021-03-05 2024-07-02 上海有个机器人有限公司 多行人追踪方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413330A (zh) * 2013-08-30 2013-11-27 中国科学院自动化研究所 一种复杂场景下可靠的视频摘要生成方法
US20180114072A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking Using Tracklets
CN108073690A (zh) * 2017-11-30 2018-05-25 江西洪都航空工业集团有限责任公司 一种视频目标检索方法
CN109859239A (zh) * 2019-05-05 2019-06-07 深兰人工智能芯片研究院（江苏）有限公司 一种目标追踪的方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413330A (zh) * 2013-08-30 2013-11-27 中国科学院自动化研究所 一种复杂场景下可靠的视频摘要生成方法
US20180114072A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking Using Tracklets
CN108073690A (zh) * 2017-11-30 2018-05-25 江西洪都航空工业集团有限责任公司 一种视频目标检索方法
CN109859239A (zh) * 2019-05-05 2019-06-07 深兰人工智能芯片研究院（江苏）有限公司 一种目标追踪的方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
季露等: "基于模型融合和特征关联的视频目标跟踪算法", 《计算机技术与发展》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093077A (zh) * 2019-12-31 2020-05-01 深圳云天励飞技术有限公司 一种视频编码方法、装置、电子设备及存储介质
WO2021142741A1 (zh) * 2020-01-17 2021-07-22 深圳大学 目标跟踪方法、装置及终端设备
CN111476826A (zh) * 2020-04-10 2020-07-31 电子科技大学 一种基于ssd目标检测的多目标车辆跟踪方法
CN112257502A (zh) * 2020-09-16 2021-01-22 深圳微步信息股份有限公司 一种监控视频行人识别与跟踪方法、装置及存储介质
CN112580477A (zh) * 2020-12-12 2021-03-30 江西洪都航空工业集团有限责任公司 一种共享单车乱停乱放检测方法
CN112862864A (zh) * 2021-03-05 2021-05-28 上海有个机器人有限公司 多行人追踪方法、装置、电子设备及存储介质
CN112862864B (zh) * 2021-03-05 2024-07-02 上海有个机器人有限公司 多行人追踪方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110298867B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110298867A (zh) 一种视频目标跟踪方法
TWI750498B (zh) 視訊流的處理方法和裝置
Zhang et al. Real-time multiple human perception with color-depth cameras on a mobile robot
KR100958379B1 (ko) 복수 객체 추적 방법과 장치 및 저장매체
CN110427905A (zh) 行人跟踪方法、装置以及终端
CN101520849B (zh) 基于图像特征点提取与随机树分类的增强现实方法及系统
CN105913459B (zh) 基于高分辨率连拍图像的运动目标检测方法
CN101551732A (zh) 带有交互功能的增强现实的方法及其系统
Nie et al. Single/cross-camera multiple-person tracking by graph matching
Uchiyama et al. Deformable random dot markers
CN112861808B (zh) 动态手势识别方法、装置、计算机设备及可读存储介质
CN106952312B (zh) 一种基于线特征描述的无标识增强现实注册方法
US20220262093A1 (en) Object detection method and system, and non-transitory computer-readable medium
Fan et al. Semi-supervised video object segmentation via learning object-aware global-local correspondence
Shiraki et al. Spatial temporal attention graph convolutional networks with mechanics-stream for skeleton-based action recognition
Donoser et al. Robust planar target tracking and pose estimation from a single concavity
Haggui et al. Centroid human tracking via oriented detection in overhead fisheye sequences
Afif et al. Vision-based tracking technology for augmented reality: a survey
Li et al. A hybrid pose tracking approach for handheld augmented reality
Wang et al. PRB-FPN+: Video analytics for enforcing motorcycle helmet laws
Schneider Visual hull
Li et al. RaP-Net: A region-wise and point-wise weighting network to extract robust features for indoor localization
CN201374082Y (zh) 基于图像特征点提取与随机树分类的增强现实系统
Hamidia et al. Markerless tracking using interest window for augmented reality applications
Mathes et al. Robust non-rigid object tracking using point distribution manifolds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant