CN110580711A - 一种采用粒子滤波的视频跟踪方法 - Google Patents

一种采用粒子滤波的视频跟踪方法 Download PDF

Info

Publication number
CN110580711A
CN110580711A CN201910785704.7A CN201910785704A CN110580711A CN 110580711 A CN110580711 A CN 110580711A CN 201910785704 A CN201910785704 A CN 201910785704A CN 110580711 A CN110580711 A CN 110580711A
Authority
CN
China
Prior art keywords
target
particle
state transition
layer
sampling state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910785704.7A
Other languages
English (en)
Inventor
史再峰
唐锐
曹清洁
罗韬
高静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910785704.7A priority Critical patent/CN110580711A/zh
Publication of CN110580711A publication Critical patent/CN110580711A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种采用粒子滤波的视频跟踪方法，结合背景提取目标表示特征；从视频图像中抽取N个位置点建立粒子群，建立第一层采样状态转移模型；从第一层采样状态转移模型中提取M个粒子选取权重最高的粒子，建立第二层采样状态转移模型；计算第一层采样状态转移模型和第二层采样状态转移模型中每个粒子进行归一化处理；输出目标的位置期望本发明充分利用了粒子滤波的优势，提高了跟踪的准确性。

Description

一种采用粒子滤波的视频跟踪方法
技术领域
本发明涉及图像处理和视频处理领域，尤其涉及一种采用粒子滤波的视频跟踪方法。
背景技术
目标跟踪一直是研究的热门，其应用领域很宽，无论是在工业界的自动化生产，还是民用界的监控系统，甚至国防安全领域。目前，目标跟踪的方法大致可以分为三大类：传统算法、相关滤波和深度学习。相关滤波缺点在于难以解决遮挡问题，深度学习则在实时方面有待提高。对于遮挡、形变等问题，粒子滤波是很好的解决办法，加上其支持目标非线性运动，使得粒子滤波一直是该领域的热门方法。
粒子滤波是基于蒙特卡洛的贝叶斯滤波器，利用粒子集来表示概率，并且引入了重要性采样手法解决了目标运动非线性、噪声非高斯的情况。序贯重要性采样的提出，利用了视频信息前后的关联性和权重的传递性，降低了计算量，但是容易导致粒子匮乏的现象。于是有学者提出了重采样技术，复制较高权重的粒子，解决了粒子匮乏的问题，但是降低了粒子多样性，不利于粒子滤波跟踪的鲁棒性。近来，粒子滤波又出现了很多改进方法，比如：马尔科夫链蒙特卡洛MCMC方法和无迹粒子滤波UPF等等。粒子滤波在视频跟踪领域由于其特有的优势，一直被广泛应用，本发明在粒子滤波的基础上进行了优化，并将其应用到视频目标的跟踪。
发明内容
本发明属于目标跟踪领域，提出了一种判别式的跟踪方法，充分利用背景的信息，来选择最佳的跟踪特征，提高视频跟踪的鲁棒性；并且利用分层采样的方式，优化粒子的采样分布，来实现快速稳定的视频跟踪。
为了解决现有技术存在问题，本发明采用如下技术方案：
一种采用粒子滤波的视频跟踪方法，包括如下步骤：
Step1：判断提取视频图像帧数k是否第一帧，如果满足进入步骤Step2；否则进入步骤Step3；
Step2：选定目标提取目标表示特征；
Step3：从视频图像中抽取N个位置点建立粒子群，建立第一层采样状态转移模型；
Step4：计算第一层采样状态转移模型中每个粒子的权重其中：p(i)代表i粒子区域的直方图特征向量，代表目标的直方图特征向量的转置；
Step5：从第一层采样状态转移模型中提取M个粒子选取权重最高的粒子，建立第二层采样状态转移模型；
Step6：计算第二层采样状态转移模型中每个粒子的权重
Step7：计算第一层采样状态转移模型和第二层采样状态转移模型中每个粒子按照如下公式进行归一化处理：
Step8：判断图像帧数k最后一帧，如果满足条件，则输出目标的位置期望即跟踪的结果；否则，返回步骤Step3。
所述状态转移目标为：
其中，表示目标的位置坐标，k代表帧数，代表目标的速度，是随机高斯分布。
所述Step2步骤中选定目标提取最佳表示特征过程：
2.1、确定跟踪目标；令为初始状态；
2.2、提取跟踪目标邻域特征参数，即r＝[r'1,r'2,…,r'n]；
2.3、通过计算目标邻域特征参数相似度建立特征观测模型，即min{ρa,ρb}；
2.4、从观测模型中提取目标表示特征Z。
有益效果
本发明提出了一种判别式分层采样粒子滤波算法。一方面利用背景的特征选择，不仅关注于目标的自身特征，还充分考虑了目标的应用场景(背景)，提高了观测模型的自适应性和跟踪特征的鲁棒性。另一方面提出的分层次采样，保证粒子多样性的同时，降低了粒子分布的方差，提高了重要性采样的效率。综合而言，本发明充分利用了粒子滤波的优势，提高了跟踪的准确性，并且有合理的利用了计算量。解决了目标跟踪中背景多样，目标的遮挡、目标形变等工程问题，又优化了粒子滤波中粒子匮乏和多样性降低的学术问题。
附图说明
图1本发明的算法流程图；
图2结合背景选择特征；
图3状态转移方程与粒子采样。
具体实施方式
下面结合附图对本发明做出详细说明
本发明所提出判别式分层采样粒子滤波的最佳实施方式：首先，是状态转移模型，本文采用的是通用的随机游走模型，应用到具体的跟踪场景，可以结合一些先验信息，制定专门的状态转移模型。观测模型中，候选颜色域需要根据实际应用场景来选择，在光照变化较多时，最佳使用HVS色域，常规场景选用RGB就行；HOG方面，传统的HOG特征不抗旋转，因此需要在做HOG特征匹配前，先确定各区域梯度方向的主方向(统计值最大的方向)，然后将主方向平移到0°，再做特征匹配。其次，第一帧可以结合别的自动检测算法来确定目标，达到及时的自动跟踪，也可以手动的方式来自定义跟踪目标。候选特征方面，除了本申请提到的颜色直方图和HOG作为特征描述以外，在具体实施过程中，使用者还可以添加别的候选特征。此外，有部分参数如运动模型、观测模型的噪声数值、step3中二维高斯分布参数、以及具体的粒子数，这些需要通过几次测试视频集来训练，拟合达到最佳参数值。最后，视频跟踪不同于目标检测，它主要是利用视频图像的前后关联性，所以在实施本发明时，应确保是视频的连续性。
如图1所示，本发明为一种采用粒子滤波的视频跟踪方法，包括如下步骤：
Step1：判断提取视频图像帧数k是否第一帧，如果满足进入步骤Step2；否则进入步骤Step3；
Step2：选定目标提取目标表示特征；
利用背景判别获得最佳的特征，如图2所示，选定目标，并初始化初始状态然后提取周围8个面积相等的邻域背景，如果超出边界，则只统计界内像素。分别对8个邻域提取颜色特征和梯度特征，并用直方图r＝[r'1,r'2,…,r'n]进行表示与描述，最后做归一化处理。然后利用巴氏系数计算公式与目标区域做相似度计算，rj代表j背景领域的特征向量，rM代表目标模型的特征向量，分别获得对应的颜色相似度ρa和梯度相似度ρb，选择相似度最低min{ρa,ρb}的特征作为观测模型，并提取目标特征记为Z。
即如下步骤:
2.1、确定跟踪目标；令为初始状态；
2.2、提取跟踪目标邻域特征参数，即r＝[r'1,r'2,…,r'n]；
2.3、通过计算目标邻域特征参数相似度建立特征观测模型，即min{ρa,ρb}；
2.4、从观测模型中提取目标表示特征Z。
Step3：从视频图像中抽取N个位置点建立粒子群，建立第一层采样状态转移模型；在图像中抽取N个位置点作为粒子群，粒子群服从参数为的二维高斯分布,是初始位置，σ1,σ2分别是初始位置x方向和y方向的噪声，ρ代表结合紧密程度。
Step4：计算第一层采样状态转移模型中每个粒子的权重其中：p(i)代表i粒子区域的直方图特征向量，代表目标的直方图特征向量的转置；
Step5：从第一层采样状态转移模型中提取M个粒子选取权重最高的粒子，建立第二层采样状态转移模型；
Step6：计算第二层采样状态转移模型中每个粒子的权重
Step7：计算第一层采样状态转移模型和第二层采样状态转移模型中每个粒子按照如下公式进行归一化处理：
如图3所示,第一层采样利用状态转移模型抽取N个粒子，计算每个粒子的权重p(i)代表i粒子区域的直方图特征向量，代表目标的直方图特征向量的转置；选取权重最高的3个粒子，对其周围实行二层采样，采样M个粒子，然后计算所有粒子的权重并将其归一化
Step8：判断图像帧数k最后一帧，如果满足条件，则输出目标的位置期望即跟踪的结果；否则，返回步骤Step3。

Claims (3)

1.一种采用粒子滤波的视频跟踪方法，其特征在于，包括如下步骤：
Step1：判断提取视频图像帧数k是否第一帧，如果满足进入步骤Step2；否则进入步骤Step3；
Step2：选定目标提取目标表示特征；
Step3：从视频图像中抽取N个位置点建立粒子群，建立第一层采样状态转移模型；
Step4：计算第一层采样状态转移模型中每个粒子的权重其中：p(i)代表i粒子区域的直方图特征向量，代表目标的直方图特征向量的转置；
Step5：从第一层采样状态转移模型中提取M个粒子选取权重最高的粒子，建立第二层采样状态转移模型；
Step6：计算第二层采样状态转移模型中每个粒子的权重
Step7：计算第一层采样状态转移模型和第二层采样状态转移模型中每个粒子按照如下公式进行归一化处理：
Step8：判断图像帧数k最后一帧，如果满足条件，则输出目标的位置期望即跟踪的结果；否则，返回步骤Step3。
2.根据权利要求1所述的一种采用粒子滤波的视频跟踪方法，其特征在于，所述状态转移目标为：
其中，表示目标的位置坐标，k代表帧数，代表目标的速度，是随机高斯分布。
3.根据权利要求1所述的一种采用粒子滤波的视频跟踪方法，其特征在于,
所述Step2步骤中选定目标提取最佳表示特征过程：
2.1、确定跟踪目标；令为初始状态；
2.2、提取跟踪目标邻域特征参数，即r＝[r'1,r'2,…,r'n]；
2.3、通过计算目标邻域特征参数相似度建立特征观测模型，即min{ρa,ρb}；
2.4、从观测模型中提取目标表示特征Z。
CN201910785704.7A 2019-08-23 2019-08-23 一种采用粒子滤波的视频跟踪方法 Pending CN110580711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910785704.7A CN110580711A (zh) 2019-08-23 2019-08-23 一种采用粒子滤波的视频跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910785704.7A CN110580711A (zh) 2019-08-23 2019-08-23 一种采用粒子滤波的视频跟踪方法

Publications (1)

Publication Number Publication Date
CN110580711A true CN110580711A (zh) 2019-12-17

Family

ID=68812108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910785704.7A Pending CN110580711A (zh) 2019-08-23 2019-08-23 一种采用粒子滤波的视频跟踪方法

Country Status (1)

Country Link
CN (1) CN110580711A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982556A (zh) * 2012-11-01 2013-03-20 江苏科技大学 基于流形上粒子滤波算法的视频目标跟踪方法
US20130188827A1 (en) * 2012-01-19 2013-07-25 Electronics And Telecommunications Research Institute Human tracking method and apparatus using color histogram
CN104616318A (zh) * 2015-01-22 2015-05-13 重庆邮电大学 一种视频序列图像中的运动目标跟踪方法
CN106780567A (zh) * 2016-11-24 2017-05-31 红河学院 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法
CN107909008A (zh) * 2017-10-29 2018-04-13 北京工业大学 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法
CN108320300A (zh) * 2018-01-02 2018-07-24 重庆信科设计有限公司 一种融合粒子滤波的时空上下文视觉跟踪方法
CN109949346A (zh) * 2019-03-04 2019-06-28 天津科技大学 基于方向梯度直方图粒子滤波的焊缝跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188827A1 (en) * 2012-01-19 2013-07-25 Electronics And Telecommunications Research Institute Human tracking method and apparatus using color histogram
CN102982556A (zh) * 2012-11-01 2013-03-20 江苏科技大学 基于流形上粒子滤波算法的视频目标跟踪方法
CN104616318A (zh) * 2015-01-22 2015-05-13 重庆邮电大学 一种视频序列图像中的运动目标跟踪方法
CN106780567A (zh) * 2016-11-24 2017-05-31 红河学院 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法
CN107909008A (zh) * 2017-10-29 2018-04-13 北京工业大学 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法
CN108320300A (zh) * 2018-01-02 2018-07-24 重庆信科设计有限公司 一种融合粒子滤波的时空上下文视觉跟踪方法
CN109949346A (zh) * 2019-03-04 2019-06-28 天津科技大学 基于方向梯度直方图粒子滤波的焊缝跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAI THANH NHAT TRUONG等: "Single object tracking using particle filter framework and saliency-based weighted color histogram", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
邹卫军等: "自适应分层采样辅助粒子滤波在视频跟踪中的应用研究", 《光子学报》 *

Similar Documents

Publication Publication Date Title
CN110427839B (zh) 基于多层特征融合的视频目标检测方法
CN109753975A (zh) 一种训练样本获得方法、装置、电子设备和存储介质
CN104616308A (zh) 一种基于核模糊聚类的多尺度水平集图像分割方法
CN113610087B (zh) 一种基于先验超分辨率的图像小目标检测方法及存储介质
CN111340842A (zh) 一种基于联合模型的相关滤波目标跟踪算法
CN107609571A (zh) 一种基于lark特征的自适应目标跟踪方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN114898403A (zh) 一种基于Attention-JDE网络的行人多目标跟踪方法
Li et al. Visual object tracking using spatial context information and global tracking skills
CN112489088A (zh) 一种基于记忆单元的孪生网络视觉跟踪方法
CN114926826A (zh) 场景文本检测系统
Yuan et al. Enhanced target tracking algorithm for autonomous driving based on visible and infrared image fusion
Qiao Image Processing Technology Based on Machine Learning
CN114049503A (zh) 一种基于非端到端深度学习网络的显著性区域检测方法
Yang et al. No-reference image quality assessment focusing on human facial region
Chen et al. SRCBTFusion-Net: An Efficient Fusion Architecture via Stacked Residual Convolution Blocks and Transformer for Remote Sensing Image Semantic Segmentation
CN106815852A (zh) 基于四元数极谐变换的彩色图像取证方法
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法
CN110580711A (zh) 一种采用粒子滤波的视频跟踪方法
Liu et al. [Retracted] Mean Shift Fusion Color Histogram Algorithm for Nonrigid Complex Target Tracking in Sports Video
Qu et al. An intelligent vehicle image segmentation and quality assessment model
CN115311327A (zh) 融合共现统计与fhog梯度特征的目标跟踪方法及系统
Xiong et al. Domain adaptation of object detector using scissor-like networks
Wu et al. Efficient visual saliency detection via multi-cues
Wang et al. DBSD: DUAL branches network using semantic and detail information for infrared and visible image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191217

WD01 Invention patent application deemed withdrawn after publication