CN105023277B - 基于复杂动态场景的卡尔曼粒子滤波跟踪方法 - Google Patents
基于复杂动态场景的卡尔曼粒子滤波跟踪方法 Download PDFInfo
- Publication number
- CN105023277B CN105023277B CN201410151747.7A CN201410151747A CN105023277B CN 105023277 B CN105023277 B CN 105023277B CN 201410151747 A CN201410151747 A CN 201410151747A CN 105023277 B CN105023277 B CN 105023277B
- Authority
- CN
- China
- Prior art keywords
- particle
- target
- frame image
- kth
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种基于复杂动态场景的卡尔曼粒子滤波跟踪方法。该方法通过灰度投影算法快速实现图像粗配准，消除背景运动过快的影响，然后将标准粒子滤波和卡尔曼滤波得到的粒子权重进行比较，得到有效的粒子来进行预测跟踪，最后可以有效实现复杂动态场景中运动目标的稳健跟踪。
Description
技术领域
本发明属于图像探测与处理领域，具体涉及一种基于复杂动态场景的卡尔曼粒子滤波跟踪方法。
背景技术
目标跟踪的主要任务是从图像序列中检测、识别并跟踪运动目标，甚至能够理解并描述目标的行为。目标跟踪被广泛应用于人体运动识别、视频监控、视频检索、虚拟现实和人机交互等方面。
针对运动目标的跟踪，国外提出了名称为无迹卡尔曼滤波方法(UKF)(杨柏胜,姬红兵.基于无迹卡尔曼滤波的被动多传感器融合跟踪[J].控制与决策,2008,23(4):460-463.)的目标跟踪方法，该方法对非线性函数的概率密度分布进行近似，用一系列确定样本来逼近状态的后验概率密度，可以有效解决由系统非线性的加剧而引起的滤波发散问题，但UKF仍是用高斯分布来逼近系统状态的后验概率密度，所以在系统状态的后验概率密度是非高斯的情况下，目标跟踪结果会有极大的误差；Fukunaga提出了均值偏移理论mean-shift(彭宁嵩,杨杰,刘志,等.Mean-Shift跟踪算法中核函数窗宽的自动选取[J].软件学报,2005,16(9):1542-1550.)，其采用核函数直方图对目标建模，但对运动目标部分遮挡、目标的旋转、变形以及背景运动都不敏感，针对尺度变化的目标或者严重遮挡的目标，在模型更新方面有所不足，以至难以跟踪高速运动的目标。相比上述两种方法，标准粒子滤波(胡士强,敬忠良.粒子滤波算法综述[J].2005)能够更好的解决非线性、非高斯运动目标跟踪问题，但是粒子滤波在复杂场景中易受背景噪声干扰影响，并且如果背景运动过于复杂会严重影响粒子滤波中状态的准确预测。
发明内容
本发明提出一种基于复杂动态场景的卡尔曼粒子滤波跟踪方法，该方法能消除背景运动剧烈对目标跟踪带来的影响，从而能够更准确的预测跟踪目标。
通过灰度投影算法快速实现图像粗配准，消除背景运动过快的影响，然后将标准粒子滤波和卡尔曼滤波得到的粒子权重进行比较，得到有效的粒子来进行预测跟踪，最后可以有效实现复杂动态场景中运动目标的稳健跟踪。
为了解决上述技术问题，本发明提供一种基于复杂动态场景的卡尔曼粒子滤波跟踪方法，包括以下步骤：
步骤一：在第1帧图像中，手动选取目标区域G1，将目标区域G1等效为目标，将目标区域G1的中心位置设为目标的初始状态x0；根据目标区域G1的颜色分布，计算目标的颜色直方图p；然后在目标区域G1内随机选取数量为N的粒子，粒子初始权值均为1/N；
步骤二：在处理第k帧图像时，k>＝2，计算第k帧图像和第k-1帧图像的相位偏移对第k帧图像进行图像补偿；然后使用时间序列模型对粒子的状态进行传播，使用第k-1帧图像中粒子的状态获得第k帧图像粒子状态
步骤三：根据步骤二中得到的第k帧图像上的粒子状态以每个粒子为中心选取与目标区域G1大小相同的区域P1，计算区域P1内的颜色直方图q；然后计算区域P1颜色直方图平q与目标区域G1颜色直方图p的巴氏距离d(y)；根据巴氏距离计算每个粒子的权重使用归一化权重计算第k帧图像中目标的位置信息zk；
步骤四：使用目标在第k帧图像的位置信息zk和第k-1帧图像中的位置信息zk-1计算目标的相对位移然后根据帧频计算目标在第k帧图像中的运动速度将第k帧图像得到的位置信息zk、第k-1帧图像中的位置信息zk-1和在第k帧图像中的运动速度代入卡尔曼公式计算获得目标的状态值及协方差Pk；状态值即为目标在第k帧图像中的位置信息；
步骤五：以目标状态值为中心选取与目标区域G1大小相同的区域G2，随机采样数量为N的粒子，然后计算粒子的颜色直方图与目标的颜色直方图的巴氏距离进一步计算粒子的权重并归一化得到
步骤六：将步骤三获得的归一化粒子权重和步骤五得到的归一化粒子权重大小进行比较，选取值大的作为第k帧图像中目标的有效粒子；
步骤七：对步骤六中求得的N个粒子进行重采样，粒子的权重设为1/N，作为下一帧的初始粒子，然后转至步骤二重复计算，直到视频全部处理完成。
本发明与现有技术相比，其显著优点在于：(1)通过灰度投影算法快速计算背景位移现图像粗配准，从而消除背景运动剧烈对目标跟踪带来的影响；(2)将标准粒子滤波和卡尔曼滤波得到的粒子权重进行比较，得到有效的粒子来进行预测跟踪，从而能够更准确的预测跟踪目标。
附图说明
图1是本发明流程图。
图2是图像补偿处理图。
图3是使用本发明方法跟踪目标图。
图4是仿真实验中使用标准粒子滤波算法的跟踪目标图。
图5是跟踪方法比较图。
具体实施方式
如图1所示，本发明基于复杂动态场景的卡尔曼粒子滤波跟踪方法的具体实施步骤如下：
步骤一：在第1帧图像中，手动选取目标区域G1，将目标区域G1等效为目标，将目标区域G1的中心位置设为目标的初始状态x0；根据目标区域G1的颜色分布，计算目标的颜色直方图p；然后在目标区域G1内随机选取数量为N的粒子，粒子初始权值均为1/N。
步骤二：在处理第k(k>＝2)帧图像时，首先计算第k帧图像和第k-1帧图像的相位偏移对第k帧图像进行图像补偿，图像补偿后第k帧图像和第k-1帧图像的坐标系被统一到同一坐标系中。计算第k帧图像和第k-1帧图像的相位偏移的方法有灰度投影法、相位配准法、块匹配算法等。
然后使用时间序列模型(AutoRegressive,AR模型)，AutoRegressive,AR模型详见文献(李远征,卢朝阳,高全学,等.基于多特征融合的均值迁移粒子滤波跟踪算法[J].电子与信息学报,2010,32(2):411-415.)对粒子的状态进行传播，使用第k-1帧图像中粒子的状态获得第k帧图像粒子状态 表示第k帧图像中第i个粒子状态，i∈N。AR模型传播式如式(1)所示
公式(1)中A为4阶单位阵，为高斯白噪声；
步骤三：根据步骤二中得到的第k帧图像上的粒子状态以每个粒子为中心选取与目标区域G1大小相同的区域P1，计算区域P1内的颜色直方图q；然后计算区域P1颜色直方图平q与目标区域G1颜色直方图p的Bhattacharyya巴氏距离d(y)，Bhattacharyya巴氏距离d(y)的概念详见文献(宣国荣,柴佩琪.基于巴氏距离的特征选择[J].模式识别与人工智能,1996,9(4):324-329.)，巴氏距离计算公式如式(2)所示
式(2)中，p代表目标区域G1颜色直方图，q代表粒子区域P1颜色直方图；
根据巴氏距离计算每个粒子的权重 计算方法如式(3)
式(3)中σ表示方差；
计算完成后将权重值归一化得到并计算第k帧图像中目标的位置信息zk，位置信息zk计算方法如式(4)
步骤四：使用目标在第k帧图像的位置信息zk和第k-1帧图像中的位置信息zk-1计算目标的相对位移然后根据帧频计算目标在第k帧图像中的运动速度将第k帧图像得到的位置信息zk、第k-1帧图像中的位置信息zk-1和在第k帧图像中的运动速度代入卡尔曼公式计算获得目标的状态值及协方差Pk；状态值为目标在第k帧图像中的位置信息，卡尔曼公式具体详见文献(永元，洪钺，自动化技术研究者等.卡尔曼滤波与组合导航原理[M].西北工业大学出版社，1998)。
步骤五：以目标状态值为中心选取与目标区域G1大小相同的区域G2，随机采样数量为N的粒子，然后利用式(2)计算粒子的颜色直方图与目标的颜色直方图的Bhattacharyya巴氏距离并利用式(3)计算粒子的权重归一化得到
步骤六：将步骤二得到的归一化粒子权重和步骤五得到的归一化粒子权重大小进行比较，选取值大的作为第k帧图像中目标的有效粒子。
步骤七：根据设定的权重阈值，对步骤六中求得的N个粒子进行重采样，重采样算法详见文献(邹国辉,敬忠良,胡洪涛.基于优化组合重采样的粒子滤波算法[J].2006.)，粒子的权重设为1/N，作为下一帧的初始粒子，然后转至步骤二，直到采样视频全部处理完成。
本发明的效果可以通过以下仿真实验作进一步说明：
本仿真实验采用大小为480*640的视频图像，跟踪目标是图像中骑摩托车的人，取粒子数为200。本仿真实验分别使用本发明方法和背景技术中介绍的标准粒子滤波算法对图像进行处理，对处理结果进行了对比比较。
图2是本仿真实验在步骤二获得的灰度投影算法补偿图，可以看出利用灰度投影法可以准确的求出图像的相位偏移Δx，可以对图像进行准确的初步补偿。
图3是采用本发明方法对视频进行目标跟踪的结果示意图。其中图3(a)是目标经过路灯的跟踪效果图，可以看出，因为路灯对目标遮挡部分不多，本发明方法能够很好的跟踪到目标；图3(b)是目标经过电线杆影子时的跟踪效果图，虽然目标背景发生了剧烈变化，跟踪框有点偏移目标，但是可以看出本发明方法仍能够很好跟踪上目标；图3(c)是目标经过电线杆时的跟踪效果图，虽然电线杆基本遮挡住了目标，但是本发明方法也能对目标进行准确地跟踪。
图4是采用背景技术中介绍的标准粒子滤波算法对视频进行目标跟踪的结果示意图。其中，图4(a)是目标经过路灯的跟踪效果图，可以看出，在路灯这种遮挡不太严重的情况，标准粒子滤波算法也能跟踪目标，但是跟踪框明显向路灯偏移；图4(b)是目标经过电线杆影子时的跟踪效果图，在这种背景突变的情况下，标准粒子滤波算法虽也能跟踪目标，但是明显跟踪已经产生很大的误差，有跟丢目标的可能；图4(c)是目标经过电线杆时的跟踪效果图，在这种遮挡严重的情况下，可以明显看到标准的粒子滤波算法已经将目标跟丢。
图5是本发明算法和标准粒子滤波算法跟踪目标轨迹图，可以看出，本发明的跟踪算法跟踪目标的轨迹和目标的真实轨迹基本一致；而标准粒子滤波算法在无遮挡物时，因为目标移动时背景也在移动导致粒子递推过程中产生了误差，所以跟踪轨迹与真实轨迹有小浮动移动，而当遇到遮挡物时(x＝211，y＝214)目标被跟丢。
Claims (1)
1.基于复杂动态场景的卡尔曼粒子滤波跟踪方法，其特征在于，包括以下步骤：
步骤一：在第1帧图像中，手动选取目标区域G1，将目标区域G1等效为目标，将目标区域G1的中心位置设为目标的初始状态x0；根据目标区域G1的颜色分布，计算目标的颜色直方图p；然后在目标区域G1内随机选取数量为N的粒子，粒子初始权值均为1/N；
步骤二：在处理第k帧图像时，k>＝2，计算第k帧图像和第k-1帧图像的相位偏移对第k帧图像进行图像补偿；然后使用时间序列模型对粒子的状态进行传播，使用第k-1帧图像中粒子的状态获得第k帧图像粒子状态
步骤三：根据步骤二中得到的第k帧图像上的粒子状态以每个粒子为中心选取与目标区域G1大小相同的区域P1，计算区域P1内的颜色直方图q；然后计算区域P1颜色直方图q与目标区域G1颜色直方图p的巴氏距离d(y)；根据巴氏距离计算每个粒子的权重使用归一化权重计算第k帧图像中目标的位置信息zk；
步骤四：使用目标在第k帧图像的位置信息zk和第k-1帧图像中的位置信息zk-1计算目标的相对位移然后根据帧频计算目标在第k帧图像中的运动速度将第k帧图像得到的位置信息zk、第k-1帧图像中的位置信息zk-1和在第k帧图像中的运动速度代入卡尔曼公式计算获得目标的状态值及协方差Pk；状态值即为目标在第k帧图像中的位置信息；
步骤五：以目标状态值为中心选取与目标区域G1大小相同的区域G2，随机采样数量为N的粒子，然后计算粒子的颜色直方图与目标的颜色直方图的巴氏距离进一步计算粒子的权重并归一化得到
步骤六：将步骤三获得的归一化粒子权重和步骤五得到的归一化粒子权重大小进行比较，选取值大的作为第k帧图像中目标的有效粒子；
步骤七：对步骤六中求得的N个粒子进行重采样，粒子的权重设为1/N，作为下一帧的初始粒子，然后转至步骤二重复计算，直到视频全部处理完成；
步骤二中时间序列模型传播式如式(1)所示
公式(1)中A为4阶单位阵，为高斯白噪声；
所述巴氏距离计算公式如式(2)所示
式(2)中，p代表目标区域G1颜色直方图，q代表粒子区域P1颜色直方图；所述权重的计算方法如式(3)
式(3)中σ表示方差；
所述第k帧图像中目标的位置信息zk的计算方法如式(4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410151747.7A CN105023277B (zh) | 2014-04-15 | 2014-04-15 | 基于复杂动态场景的卡尔曼粒子滤波跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410151747.7A CN105023277B (zh) | 2014-04-15 | 2014-04-15 | 基于复杂动态场景的卡尔曼粒子滤波跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105023277A CN105023277A (zh) | 2015-11-04 |
| CN105023277B true CN105023277B (zh) | 2018-10-12 |
Family
ID=54413218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410151747.7A Expired - Fee Related CN105023277B (zh) | 2014-04-15 | 2014-04-15 | 基于复杂动态场景的卡尔曼粒子滤波跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105023277B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106950976B (zh) * | 2017-02-28 | 2020-04-03 | 北京天恒长鹰科技股份有限公司 | 基于卡尔曼和粒子滤波的室内飞艇三维定位装置及方法 |
| CN113160281A (zh) * | 2021-04-29 | 2021-07-23 | 宁波智能装备研究院有限公司 | 基于卡尔曼滤波和粒子滤波的目标位置计算方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165688A (ja) * | 2003-12-02 | 2005-06-23 | Fuji Xerox Co Ltd | 複数対象物追跡方法及びシステム |
| CN101339655A (zh) * | 2008-08-11 | 2009-01-07 | 浙江大学 | 基于目标特征和贝叶斯滤波的视觉跟踪方法 |
| CN101609588A (zh) * | 2008-06-16 | 2009-12-23 | 云南正卓信息技术有限公司 | 全自动无人值守别墅防入侵智能视频监控报警系统 |
| CN101644758A (zh) * | 2009-02-24 | 2010-02-10 | 中国科学院声学研究所 | 一种目标定位跟踪系统及方法 |
| CN102497494A (zh) * | 2011-12-09 | 2012-06-13 | 首都师范大学 | 基于fpga的高速稳像系统中的运动估计模块 |
-
2014
- 2014-04-15 CN CN201410151747.7A patent/CN105023277B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165688A (ja) * | 2003-12-02 | 2005-06-23 | Fuji Xerox Co Ltd | 複数対象物追跡方法及びシステム |
| CN101609588A (zh) * | 2008-06-16 | 2009-12-23 | 云南正卓信息技术有限公司 | 全自动无人值守别墅防入侵智能视频监控报警系统 |
| CN101339655A (zh) * | 2008-08-11 | 2009-01-07 | 浙江大学 | 基于目标特征和贝叶斯滤波的视觉跟踪方法 |
| CN101644758A (zh) * | 2009-02-24 | 2010-02-10 | 中国科学院声学研究所 | 一种目标定位跟踪系统及方法 |
| CN102497494A (zh) * | 2011-12-09 | 2012-06-13 | 首都师范大学 | 基于fpga的高速稳像系统中的运动估计模块 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105023277A (zh) | 2015-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084831B (zh) | 基于YOLOv3多伯努利视频多目标检测跟踪方法 | |
| Chen et al. | Enhancing detection model for multiple hypothesis tracking | |
| CN105335986B (zh) | 基于特征匹配和MeanShift算法的目标跟踪方法 | |
| Hu et al. | Active contour-based visual tracking by integrating colors, shapes, and motions | |
| WO2017185688A1 (zh) | 一种在线目标跟踪方法及装置 | |
| CN110837768B (zh) | 一种面向珍稀动物保护的在线检测与识别方法 | |
| CN101867699B (zh) | 基于分块的非特定目标实时跟踪方法 | |
| CN109434251B (zh) | 一种基于粒子滤波的焊缝图像跟踪方法 | |
| CN110766676B (zh) | 基于多源传感器融合的目标检测方法 | |
| CN104820997B (zh) | 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法 | |
| CN102142085B (zh) | 一种林区监控视频中运动火焰目标的鲁棒跟踪方法 | |
| CN106952293B (zh) | 一种基于非参数在线聚类的目标跟踪方法 | |
| CN101408983A (zh) | 基于粒子滤波和活动轮廓模型的多目标跟踪方法 | |
| CN111369597A (zh) | 一种基于多特征融合的粒子滤波目标跟踪方法 | |
| CN110827262B (zh) | 一种基于连续有限帧红外图像的弱小目标检测方法 | |
| CN106780567B (zh) | 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法 | |
| CN107798691A (zh) | 一种基于视觉的无人机自主着陆地标实时检测跟踪方法 | |
| Zhang | Detection and tracking of human motion targets in video images based on camshift algorithms | |
| CN104156976A (zh) | 一种抗遮挡目标检测的多特征点跟踪方法 | |
| CN104036526A (zh) | 一种基于自适应窗的灰度目标跟踪方法 | |
| CN111402303A (zh) | 一种基于kfstrcf的目标跟踪架构 | |
| Zhang et al. | Detection and tracking of human track and field motion targets based on deep learning | |
| CN102063625A (zh) | 一种用于多视角下多目标追踪的改进型粒子滤波方法 | |
| CN105654518A (zh) | 一种基于方差估计的跟踪模板自适应方法 | |
| Qing et al. | A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181012 Termination date: 20210415 |