CN111145216A - 一种视频图像目标的跟踪方法 - Google Patents

一种视频图像目标的跟踪方法 Download PDF

Info

Publication number
CN111145216A
CN111145216A CN201911372616.0A CN201911372616A CN111145216A CN 111145216 A CN111145216 A CN 111145216A CN 201911372616 A CN201911372616 A CN 201911372616A CN 111145216 A CN111145216 A CN 111145216A
Authority
CN
China
Prior art keywords
frame
filter
target
response
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911372616.0A
Other languages
English (en)
Other versions
CN111145216B (zh
Inventor
王成栋
黄齐
马运超
罗壹航
杨冬辰
王成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911372616.0A priority Critical patent/CN111145216B/zh
Publication of CN111145216A publication Critical patent/CN111145216A/zh
Application granted granted Critical
Publication of CN111145216B publication Critical patent/CN111145216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频图像目标的跟踪方法。跟踪前，在初始帧视频图像中人工设定跟踪的目标位置和大小，然后在设定区域的图像范围内提取快速方向梯度直方图特征，计算滤波器的初始系数。后续帧中，以上一帧的目标位置为中心，将目标范围扩大1.5倍作为目标搜索区域，计算相关滤波器响应和峰值旁瓣比，以响应最大值所对应的位置作为新的目标位置，并根据滤波器响应的峰值裕度判断是否更新相关滤波器系数，重复此过程，直到最后一帧结束。本发明采用相关滤波的方法跟踪目标，将时域中的卷积计算转换到频域中进行计算，减小了计算量，对遮挡、运动模糊、光照等问题有很强的适应性，跟踪效果良好。

Description

一种视频图像目标的跟踪方法
技术领域
本发明属于计算机视觉领域，涉及一种基于相关滤波的视觉目标跟踪方法。
背景技术
计算机视觉目标跟踪的任务是从连续的图像序列中跟踪指定的目标，常采用判别式方法，将目标作为正样本，背景作为负样本，训练分类器来区分目标和背景，因此在处理复杂的场景时具有较好的健壮性。其中基于相关滤波的目标跟踪方法，利用循环矩阵的性质，通过傅里叶变换将时域的卷积计算转换为频域中的乘积计算，跟踪速度快。由于相关滤波使用上一帧的跟踪结果训练下一帧的滤波模板，遮挡、运动模糊、光照变化等因素会污染相关滤波的模板，影响目标跟踪效果，因此传统的相关滤波目标跟踪方法容易出现跟踪漂移进而丢失目标。
发明内容
本发明的目的在于提供一种视频图像目标的跟踪方法，提取图像快速方向梯度直方图特征，并根据相关滤波器响应峰值裕度判断是否需要更新模板，提高跟踪方法对遮挡、运动模糊、光照等问题的适应性，达到实时准确跟踪的效果。
本发明公开了一种视频图像目标的跟踪方法，具体步骤包括：
步骤一，在初始视频图像中输入矩形框，初步设定跟踪目标的初始位置P1和大小Sp；
步骤二，记初始帧为第一帧，以第一帧图像的目标位置P1为中心，获取大小为Sp的图像块X1，提取图像块X1的快速方向梯度特征，并根据快速方向梯度直方图特征计算得到滤波器的初始系数α1；
步骤三，记初始帧之后的第一帧为第二帧，以第二帧图像中的P1为中心，以比Sp范围大的图像块Z2作为目标搜索区域，并根据Z2和滤波器的初始系数α1，计算滤波器的相关响应f2及其峰值旁瓣比
Figure BDA0002337635010000011
步骤四，寻找滤波器响应f2的最大值，并以最大值所对应的位置作为当前帧的目标位置P2，再以P2为中心获取大小为Sp的图像块X2，提取图像块X2的快速方向梯度特征，以快速方向梯度直方图特征为输入特征，计算得到更新后的滤波器系数α2；
步骤五，以第i帧的Pi-1为中心，以比Sp范围大的图像块Zi作为目标搜索区域，其中i≥3，并根据Zi和上一帧的滤波器系数αi-1，计算滤波器的相关响应fi及其峰值旁瓣比
Figure BDA0002337635010000021
步骤六，寻找滤波器响应fi的最大值，并以最大值所对应的位置作为当前帧目标位置Pi，根据滤波器相关响应的峰值旁瓣比判断响应否可信；若可信，以Pi为中心获取大小为Sp的图像块Xi，提取图像块Xi的快速方向梯度特征，并以快速方向梯度直方图特征为输入特征，计算得到更新后的滤波器系数αi；否则，保持原滤波器系数不变；
步骤七，判断当前帧是否为待跟踪图像序列的最后一帧，若是最后一帧，则结束跟踪；否则令i＝i+1，重复执行步骤五。
上述步骤六中，判断第i帧滤波器相关响应fi是否可信的准则为：比较当前帧峰值旁瓣比
Figure BDA0002337635010000022
和过去每帧的峰值旁瓣比的均值
Figure BDA0002337635010000023
若
Figure BDA0002337635010000024
则认为该响应不可信，且在后续Mr计算中舍弃
Figure BDA0002337635010000025
其中or为设定参数；否则，认为响应可信。
附图说明
图1是本发明提出的视频图像目标的跟踪方法流程图
图2是本发明实施例目标选取示意图
图3是本发明实施例目标位置更新流程示意图
图4是本发明实施例目标跟踪轨迹图
具体实施方式
下面结合具体实施例对本发明进行进一步说明。本实施例所述实验使用摄像头OV7670采集图像序列，其分辨率640*480，帧率为30fps，所采集的图像序列在一台处理器主频3.2Ghz内存4GB的PC机上，在python环境中完成跟踪。
本发明公开的一种视频图像目标的跟踪方法的流程如图1所示，具体的跟踪步骤如下：
步骤一，在初始视频图像中输入矩形框，如图2所示，矩形框中心像素坐标(117,217)即目标初始位置P1，矩形框宽79像素、高108像素即目标初始大小Sp；
步骤二，记初始帧为第一帧，以第一帧图像的目标位置P1为中心，获取大小为Sp的图像块X1，提取图像块X1的快速方向梯度特征，并根据快速方向梯度直方图特征计算得到滤波器的初始系数α1；
步骤三，记初始帧之后的第一帧为第二帧，以第二帧图像中的P1为中心，以比Sp范围大1.5倍的图像块Z2作为目标搜索区域，并根据Z2和滤波器的初始系数α1，计算滤波器的相关响应f2及其峰值旁瓣比
Figure BDA0002337635010000031
步骤四，寻找滤波器响应f2的最大值，并以最大值所对应的位置作为当前帧的目标位置P2，再以P2为中心获取大小为Sp的图像块X2，提取图像块X2的快速方向梯度特征，以快速方向梯度直方图特征为输入特征，计算得到更新后的滤波器系数α2；
步骤五，以第i帧的Pi-1为中心，以比Sp范围大1.5倍的图像块Zi作为目标搜索区域，其中i≥3，并根据Zi和上一帧的滤波器系数αi-1，计算滤波器的相关响应fi及其峰值旁瓣比
Figure BDA0002337635010000032
步骤六，寻找滤波器响应fi的最大值，并以最大值所对应的位置作为当前帧目标位置Pi，比较其峰值旁瓣比
Figure BDA0002337635010000033
和每帧的峰值旁瓣比的均值
Figure BDA0002337635010000034
若
Figure BDA0002337635010000035
则认为该响应不可信，在后续Mr计算中舍弃
Figure BDA0002337635010000036
其中or为设定参数；否则，认为响应可信，以Pi为中心获取大小为Sp的图像块Xi，提取图像块Xi的快速方向梯度特征，以快速方向梯度直方图特征为输入特征，计算得到更新后的滤波器系数αi；
步骤七，判断当前帧是否为待跟踪图像序列的最后一帧，若是最后一帧，则结束跟踪；否则令i＝i+1，重复执行步骤五。
本实施例目标位置更新过程如图3所示，当前帧为第i帧，Pi-1即第i-1帧目标位置，在当前帧，以Pi-1为中心，以比Sp范围大1.5倍的图像块Zi作为搜索区域，计算得到相关滤波器响应fi，滤波器响应fi的最大值点即当前帧的目标位置Pi。
本实施例目标跟踪轨迹如图4所示，目标为图中人物头部，其运动轨迹为图中曲线，跟踪得到的目标位置在图中矩形框中心，跟踪器处理帧率为142fps。

Claims (2)

1.一种视频图像目标的快速跟踪方法，其特征在于，包括以下步骤：
步骤一，在初始视频图像中输入矩形框，初步设定跟踪目标的初始位置P1和大小Sp；
步骤二，记初始帧为第一帧，以第一帧图像的目标位置P1为中心，获取大小为Sp的图像块X1，提取图像块X1的快速方向梯度特征，并根据快速方向梯度直方图特征计算得到滤波器的初始系数α1；
步骤三，记初始帧之后的第一帧为第二帧，以第二帧图像中的P1为中心，以比Sp范围大的图像块Z2作为目标搜索区域，并根据Z2和滤波器的初始系数α1，计算滤波器的相关响应f2及其峰值旁瓣比
Figure FDA0002337635000000011
步骤四，寻找滤波器响应f2的最大值，并以最大值所对应的位置作为当前帧的目标位置P2，再以P2为中心获取大小为Sp的图像块X2，提取图像块X2的快速方向梯度特征，以X2的快速方向梯度直方图特征为输入特征，计算得到更新后的滤波器系数α2；
步骤五，以第i帧的Pi-1为中心，以比Sp范围大的图像块Zi作为目标搜索区域，其中i≥3，并根据Zi和上一帧的滤波器系数αi-1，计算滤波器的相关响应fi及其峰值旁瓣比
Figure FDA0002337635000000012
步骤六，寻找滤波器响应fi的最大值，并以最大值所对应的位置作为当前帧目标位置Pi，根据滤波器相关响应的峰值旁瓣比判断响应否可信；若可信，以Pi为中心获取大小为Sp的图像块Xi，并提取图像块Xi的快速方向梯度特征，以Xi的快速方向梯度直方图特征为输入特征，计算得到更新后的滤波器系数αi；否则，保持原滤波器系数不变；
步骤七，判断当前帧是否为待跟踪图像序列的最后一帧，若是最后一帧，则结束跟踪；否则令i＝i+1，重复执行步骤五。
2.根据权利要求1所述的一种视频图像目标的跟踪方法，其特征在于，所述步骤六中判断第i帧滤波器相关响应fi是否可信的准则为：比较当前帧峰值旁瓣比
Figure FDA0002337635000000013
和过去每帧的峰值旁瓣比的均值
Figure FDA0002337635000000014
若
Figure FDA0002337635000000015
则认为该响应不可信，且在后续Mr计算中舍弃
Figure FDA0002337635000000016
其中or为设定参数；否则，认为响应可信。
CN201911372616.0A 2019-12-26 2019-12-26 一种视频图像目标的跟踪方法 Active CN111145216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911372616.0A CN111145216B (zh) 2019-12-26 2019-12-26 一种视频图像目标的跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911372616.0A CN111145216B (zh) 2019-12-26 2019-12-26 一种视频图像目标的跟踪方法

Publications (2)

Publication Number Publication Date
CN111145216A true CN111145216A (zh) 2020-05-12
CN111145216B CN111145216B (zh) 2023-08-18

Family

ID=70520860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911372616.0A Active CN111145216B (zh) 2019-12-26 2019-12-26 一种视频图像目标的跟踪方法

Country Status (1)

Country Link
CN (1) CN111145216B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435280A (zh) * 2020-11-13 2021-03-02 桂林电子科技大学 一种无人机视频的运动目标检测与跟踪方法
CN112927261A (zh) * 2021-03-08 2021-06-08 电子科技大学 一种融合位置预测与相关滤波的目标跟踪方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180053307A1 (en) * 2016-08-22 2018-02-22 Ulsee Inc. Image Target Tracking Method and System Thereof
US20180268559A1 (en) * 2017-03-16 2018-09-20 Electronics And Telecommunications Research Institute Method for tracking object in video in real time in consideration of both color and shape and apparatus therefor
CN108876816A (zh) * 2018-05-31 2018-11-23 西安电子科技大学 基于自适应目标响应的目标跟踪方法
US20190005655A1 (en) * 2017-06-29 2019-01-03 Sogang University Research Foundation Method and system of tracking an object based on multiple histograms
WO2019028761A1 (en) * 2017-08-10 2019-02-14 Beijing Airlango Technology, Co., Ltd. TRACKING OBJECT USING DEPTH INFORMATION
CN109410251A (zh) * 2018-11-19 2019-03-01 南京邮电大学 基于稠密连接卷积网络的目标跟踪方法
CN110009665A (zh) * 2019-03-12 2019-07-12 华中科技大学 一种遮挡环境下的目标检测跟踪方法
CN110211157A (zh) * 2019-06-04 2019-09-06 重庆邮电大学 一种基于相关滤波的目标长时跟踪方法
CN110223323A (zh) * 2019-06-02 2019-09-10 西安电子科技大学 基于深度特征自适应相关滤波的目标跟踪方法
US20190287264A1 (en) * 2018-03-14 2019-09-19 Tata Consultancy Services Limited Context based position estimation of target of interest in videos

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180053307A1 (en) * 2016-08-22 2018-02-22 Ulsee Inc. Image Target Tracking Method and System Thereof
US20180268559A1 (en) * 2017-03-16 2018-09-20 Electronics And Telecommunications Research Institute Method for tracking object in video in real time in consideration of both color and shape and apparatus therefor
US20190005655A1 (en) * 2017-06-29 2019-01-03 Sogang University Research Foundation Method and system of tracking an object based on multiple histograms
WO2019028761A1 (en) * 2017-08-10 2019-02-14 Beijing Airlango Technology, Co., Ltd. TRACKING OBJECT USING DEPTH INFORMATION
US20190287264A1 (en) * 2018-03-14 2019-09-19 Tata Consultancy Services Limited Context based position estimation of target of interest in videos
CN108876816A (zh) * 2018-05-31 2018-11-23 西安电子科技大学 基于自适应目标响应的目标跟踪方法
CN109410251A (zh) * 2018-11-19 2019-03-01 南京邮电大学 基于稠密连接卷积网络的目标跟踪方法
CN110009665A (zh) * 2019-03-12 2019-07-12 华中科技大学 一种遮挡环境下的目标检测跟踪方法
CN110223323A (zh) * 2019-06-02 2019-09-10 西安电子科技大学 基于深度特征自适应相关滤波的目标跟踪方法
CN110211157A (zh) * 2019-06-04 2019-09-06 重庆邮电大学 一种基于相关滤波的目标长时跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435280A (zh) * 2020-11-13 2021-03-02 桂林电子科技大学 一种无人机视频的运动目标检测与跟踪方法
CN112927261A (zh) * 2021-03-08 2021-06-08 电子科技大学 一种融合位置预测与相关滤波的目标跟踪方法

Also Published As

Publication number Publication date
CN111145216B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN110310310B (zh) 一种针对航空影像配准的改进方法
CN108230367A (zh) 一种对灰度视频中既定目标的快速跟踪定位方法
CN110728697A (zh) 基于卷积神经网络的红外弱小目标检测跟踪方法
CN112257569B (zh) 一种基于实时视频流的目标检测和识别方法
US20160086342A1 (en) Region detection device, region detection method, image processing apparatus, image processing method, program, and recording medium
CN110378195B (zh) 基于直方图缓存法的多目标跟踪方法
CN108257153B (zh) 一种基于方向梯度统计特征的目标跟踪方法
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN111145216A (zh) 一种视频图像目标的跟踪方法
CN108596947B (zh) 一种适用于rgb-d相机的快速目标跟踪方法
CN110827321A (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN109978908B (zh) 一种适应大尺度形变的单目标快速跟踪定位方法
CN110276782B (zh) 一种结合空谱特征和相关滤波的高光谱目标跟踪方法
CN109064497B (zh) 一种基于颜色聚类补充学习的视频跟踪方法
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
CN116193103A (zh) 一种视频画面抖动等级评估的方法
CN110706254A (zh) 一种目标跟踪模板自适应更新方法
CN113470074B (zh) 一种基于分块判别的自适应时空正则化目标跟踪方法
CN113160271B (zh) 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法
CN113066077B (zh) 火焰检测方法及装置
CN111860161B (zh) 一种目标遮挡检测方法
CN114820718A (zh) 一种视觉动态定位跟踪算法
CN111127311B (zh) 基于微重合区域的图像配准方法
CN109934853B (zh) 基于响应图置信区域自适应特征融合的相关滤波跟踪方法
CN113362390A (zh) 一种基于椭圆检测的快速圆形目标定位视频处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant