CN102142085A - 一种林区监控视频中运动火焰目标的鲁棒跟踪方法 - Google Patents

一种林区监控视频中运动火焰目标的鲁棒跟踪方法 Download PDF

Info

Publication number
CN102142085A
CN102142085A CN 201110120821 CN201110120821A CN102142085A CN 102142085 A CN102142085 A CN 102142085A CN 201110120821 CN201110120821 CN 201110120821 CN 201110120821 A CN201110120821 A CN 201110120821A CN 102142085 A CN102142085 A CN 102142085A
Authority
CN
China
Prior art keywords
target
tracking
forest
flame
forest fires
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110120821
Other languages
English (en)
Other versions
CN102142085B (zh
Inventor
赵俭辉
熊露
章登义
袁志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Wande chi new Polytron Technologies Inc
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN2011101208215A priority Critical patent/CN102142085B/zh
Publication of CN102142085A publication Critical patent/CN102142085A/zh
Application granted granted Critical
Publication of CN102142085B publication Critical patent/CN102142085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及森林防火和数字图像处理领域，尤其涉及一种林区监控视频中运动火焰目标的鲁棒跟踪方法。本发明包括提出了使用相关元素共同决定权值的多特征融合模型来表征跟踪目标；提出了使用跟踪区域内基于目标概率的元素权值调整来处理区域内部的不连续性问题；提出了使用基于高斯混合模型概率的改进MeanShift窗口自适应算法获得当前帧中林火目标的形状变化；提出了使用基于区域内火焰像素比例的改进粒子滤波跟踪算法得到当前帧中林火目标的新位置；提出了使用结合改进粒子滤波和改进MeanShift的新跟踪算法实现林火目标的鲁棒跟踪；提出了对林区火焰在运动过程中的合并与分裂行为进行识别以实现多个林火目标的跟踪。本发明在保证实时性的前提下，相比于现有的针对林火目标的跟踪算法具有更高的跟踪精度和更好的鲁棒性。

Description

一种林区监控视频中运动火焰目标的鲁棒跟踪方法
技术领域
本发明涉及森林防火和数字图像处理技术领域，尤其涉及一种林区监控视频中运动火焰目标的鲁棒跟踪方法。
背景技术
林区火焰自动识别是森林防火视频监控系统的核心科研问题，动态特征是判断林火目标与分析林火行为的重要依据，而动态特征的计算取决于视频图像序列中林火的准确跟踪。林区火焰除了场景复杂、形状不定、持续变化、遮挡笼罩等特点外，还可能随着燃烧而发生分裂、合并等行为。另外，林火还有一个独特性质：目标区域内部并不连续，火焰中夹杂着因燃烧不充分而导致的非火焰的离散像素。因此，相对于低熵与中熵视觉模式，林火类的高熵视觉模式跟踪难度更大，例如借助先验知识的基于模型的物体跟踪有较好的稳健性，但无法用于模型结构不确定的林火目标。现有文献大多假设图像中只存在唯一的主要林火对象，基于连续帧的分割区域进行运动分析，事实上避开了跟踪问题。现有运动跟踪算法大致分为基于区域、轮廓、特征、模型、运动估计等类型，已有文献开始将这些方法用于林火的自动跟踪，但却存在实用性差、精度不够等缺点。
在针对林火的跟踪算法中，MeanShift是较为实用的一种。MeanShift是基于核密度估计的非参数算法，有计算简单的优点，同时由于采用核函数直方图建模而对边缘遮挡、目标变形和背景运动等不敏感。但单一的颜色直方图是比较弱的对目标特征的描述，当背景和目标的颜色分布相似时效果欠佳。另外，因为收敛于最近的概率密度函数稳态点而容易陷入局部最优，从而导致跟踪精度较低，鲁棒性不好。林区火焰运动是一个非线性、非高斯、多模态问题，高精度的跟踪需借助更加复杂的算法，如粒子滤波。粒子滤波是求解贝叶斯概率最优估计的实用算法，采用非参数化的蒙特卡罗方法来递推贝叶斯滤波，且滤波结果可逼近最优估计，即当样本数目足够大时，这种估计可近似于后验概率分布。粒子滤波的跟踪精度与粒子数目密切相关，粒子数目越大，跟踪精度越高，但实时性也相应越低。在对目标进行多特征融合描述时，基本原则是：特征候选模板与目标模板间相似度越大，则特征权值越大。通常使用的方法是基于最大巴氏系数计算特征权值，该方法中每个特征的权值只片面考虑了巴氏系数最大的元素，即单个像素或粒子的情况，而单个元素无法反映所有元素，尤其是相似度较大元素的整体情况。对于林火目标运动跟踪，还必须处理目标区域内的不连续问题。如果处理得好，即使初始区域不够准确，跟踪过程也会逐渐逼近真实的林火目标；否则，火焰中夹杂的非火焰散乱像素会导致跟踪逐渐偏离真正目标。
因此，针对林区火焰的特点，应该设计专门的运动跟踪算法，才能够高精度且实时性地跟踪目标区域。在此基础上计算其动态特征，为林火目标判断与林火行为分析等后续处理提供可靠的依据。
发明内容
针对上述存在的技术问题，本发明的目的是提供一种林区监控视频中运动火焰目标的鲁棒跟踪方法，以高精度且实时性地跟踪森林火灾中林火的动态变化。
为达到上述目的，本发明采用如下的技术方案：
(1) 使用相关元素共同决定权值的多特征融合模型来表征跟踪目标；
(2) 使用跟踪区域内基于目标概率的元素权值调整来处理区域内部的不连续性问题；
(3) 使用基于高斯混合模型(GMM)概率的改进MeanShift窗口自适应算法获得当前帧中林火目标的形状变化；
(4) 使用基于区域内火焰像素比例的改进粒子滤波跟踪算法得到当前帧中林火目标的新位置；
(5) 使用结合改进粒子滤波和改进MeanShift的新跟踪算法实现林火目标的鲁棒跟踪；
(6) 对林区火焰在运动过程中的合并与分裂行为进行识别以实现多个林火目标的跟踪。
所述步骤(1)中使用相关元素共同决定权值的多特征融合模型来表征跟踪目标，包括以下子步骤：
① 求出每个特征对应的所有元素巴氏系数的平均值，得到巴氏系数大于平均值的相关元素的集合；
② 计算相关元素的巴氏系数均值，作为特征的权值；
③ 基于归一化后的特征权值，通过加权求和的方式实现多特征融合。
所述步骤(2)中使用跟踪区域内基于目标概率的元素权值调整来处理区域内部的不连续性问题，包括以下子步骤：
① 求出跟踪区域内元素属于林火目标的概率；
② 根据目标概率调整元素的权值，目标概率越大的元素，其在区域跟踪中发挥的作用越大，对于小概率元素，则削弱其对跟踪的影响。
所述步骤(3)中使用基于高斯混合模型(GMM)概率的改进MeanShift窗口自适应算法获得当前帧中林火目标的形状变化，包括以下子步骤：
① 求出跟踪窗口区域内像素颜色值对应的高斯混合模型概率，作为像素的目标概率；
② 基于元素目标概率权值调整的改进MeanShift窗口自适应算法计算林火目标新的窗口形状。
所述步骤(4)中使用基于区域内火焰像素比例的改进粒子滤波跟踪算法得到当前帧中林火目标的新位置，包括以下子步骤：
① 求出粒子对应区域内火焰像素个数所占的比例，作为粒子的目标概率；
② 基于元素目标概率权值调整的改进粒子滤波跟踪算法计算林火目标的新位置。
所述步骤(5)中使用结合改进粒子滤波和改进MeanShift的新跟踪算法实现林火目标的鲁棒跟踪，包括以下子步骤：
① 使用改进粒子滤波算法得到当前帧中林火目标的新位置；
② 使用改进MeanShift窗口自适应算法获得当前帧中林火目标的新形状；
③ 以当前帧窗口为下一帧目标候选区域并在区域内采样新粒子，循环处理至跟踪结束。
所述步骤(6)中对林区火焰在运动过程中的合并与分裂行为进行识别以实现多个林火目标的跟踪，包括以下子步骤：
① 通过多个林火目标之间的位置关系判断它们之间是否出现合并现象，若出现，则将满足合并条件的林火目标合并为一个；
② 通过连通域标记方法判断林火区域中是否存在分裂的火焰区域，若存在，则将满足分裂条件的火焰区域作为新的林火目标进行跟踪。
本发明具有以下优点和积极效果：
(1) 本发明使用相关元素共同决定权值的多特征融合模型，使得对跟踪目标的表征更加合理，能够更好地区分目标和背景，提高了算法的跟踪精度；
(2) 本发明使用跟踪区域内基于目标概率的元素权值调整，使得目标元素对跟踪的影响变大，非目标元素对跟踪的影响变小，克服了目标区域内部的不连续性问题；
(3) 本发明使用结合改进粒子滤波和改进MeanShift的新跟踪算法，与传统MeanShift相比，因为目标位置的更新基于粒子滤波的后验概率估计，采用多模态的概率信息传播方式，保持了目标的多种可能性，从而减少了局部最优的概率；
(4) 本发明使用结合改进粒子滤波和改进MeanShift的新跟踪算法，与传统粒子滤波相比，因为MeanShift的自适应窗口估计使得形变物体运动跟踪成为可能，因为只在目标区域内采样高质量粒子而减少了对粒子数量的要求，使得算法效率得到提高；
(5) 本发明对林区火焰在运动过程中的合并与分裂行为进行识别，使得算法能够实现多个林火目标的自动跟踪。
附图说明
图1是本发明提供的结合改进粒子滤波和改进MeanShift的林火目标跟踪算法的流程图。
具体实施方式
下面以具体实施例结合附图对本发明作进一步说明：
1、使用相关元素共同决定权值的多特征融合模型来表征跟踪目标
本发明使用颜色特征、形状特征和纹理特征来构建多特征融合模型，在特征权值计算中考虑相关元素的共同作用，即找到大于该特征候选模板与目标模板间巴氏系数平均值的所有元素，然后基于这些元素计算特征权值，过程为：
                                     (1)
其中
Figure 2011101208215100002DEST_PATH_IMAGE002
为第
Figure 2011101208215100002DEST_PATH_IMAGE003
个特征对应的元素个数，
Figure 2011101208215100002DEST_PATH_IMAGE004
为第
Figure 778663DEST_PATH_IMAGE003
个特征第
Figure 620717DEST_PATH_IMAGE005
个元素的巴氏系数，
Figure 2011101208215100002DEST_PATH_IMAGE006
为第
Figure 78243DEST_PATH_IMAGE003
个特征所有元素的巴氏系数平均值，
Figure 892616DEST_PATH_IMAGE007
表示大于该平均值的相关元素巴氏系数之和。
Figure 2011101208215100002DEST_PATH_IMAGE008
                                                        (2)
其中
Figure 839712DEST_PATH_IMAGE009
为归一化前的第个特征权值，
Figure 2011101208215100002DEST_PATH_IMAGE010
为第
Figure 430279DEST_PATH_IMAGE011
个特征巴氏系数大于平均值的元素个数。
Figure 2011101208215100002DEST_PATH_IMAGE012
                                                             (3)
其中
Figure 158545DEST_PATH_IMAGE013
为参与融合的特征个数，
Figure 2011101208215100002DEST_PATH_IMAGE014
为归一化后的第
Figure 214226DEST_PATH_IMAGE003
个特征的权值。
Figure 30872DEST_PATH_IMAGE015
                                                             (4)
其中
Figure 2011101208215100002DEST_PATH_IMAGE016
为多特征融合模型，
Figure 830201DEST_PATH_IMAGE017
为参与融合的第
Figure 415903DEST_PATH_IMAGE003
个特征。
2、使用跟踪区域内基于目标概率的元素权值调整来处理区域内部的不连续性问题
本发明针对林火区域内部不连续性问题，考虑区域内元素属于目标的概率，并通过目标概率调整该元素在评价函数中的权值，即：元素为目标的概率越大，则其在区域跟踪中发挥的作用越大；对于小概率元素，则削弱其对跟踪的影响。
粒子滤波中常用的粒子权值公式为：
Figure 2011101208215100002DEST_PATH_IMAGE018
                                          (5)
其中
Figure 970381DEST_PATH_IMAGE019
为当前帧中第
Figure 212007DEST_PATH_IMAGE003
个粒子的权值，
Figure 2011101208215100002DEST_PATH_IMAGE020
为前一帧中第
Figure 614694DEST_PATH_IMAGE003
个粒子的权值，
Figure 258165DEST_PATH_IMAGE021
为第个粒子与目标模板之间的相似性度量，
Figure 2011101208215100002DEST_PATH_IMAGE022
为粒子模板，
Figure 509203DEST_PATH_IMAGE023
为目标模板，
Figure 2011101208215100002DEST_PATH_IMAGE024
为常数。
考虑粒子的目标概率，目标后验估计公式改为：
Figure 712651DEST_PATH_IMAGE025
                                                             (6)
其中
Figure 2011101208215100002DEST_PATH_IMAGE026
为当前帧中目标的位置，为第个粒子的权值，
Figure 2011101208215100002DEST_PATH_IMAGE028
为第
Figure 179252DEST_PATH_IMAGE003
个粒子的位置，
Figure 124074DEST_PATH_IMAGE029
为粒子个数，
Figure 2011101208215100002DEST_PATH_IMAGE030
即第
Figure 538875DEST_PATH_IMAGE031
个粒子是否为目标的概率。
MeanShift中常用的像素权值公式为：
Figure 2011101208215100002DEST_PATH_IMAGE032
                                                 (7)
其中
Figure 543740DEST_PATH_IMAGE033
为第
Figure 43992DEST_PATH_IMAGE003
个像素的权值，
Figure 2011101208215100002DEST_PATH_IMAGE034
为目标模板，
Figure 589243DEST_PATH_IMAGE035
为候选模板，
Figure 2011101208215100002DEST_PATH_IMAGE036
为候选目标中心，
Figure 127059DEST_PATH_IMAGE037
为Kronecker Delta函数，函数：
Figure 302825DEST_PATH_IMAGE039
把一个像素
Figure 2011101208215100002DEST_PATH_IMAGE040
映射到相应特征空间的箱格
Figure 352690DEST_PATH_IMAGE041
中,而
Figure 2011101208215100002DEST_PATH_IMAGE042
为核函数直方图级数，为
Figure 763128DEST_PATH_IMAGE042
中的一个值。
考虑像素的目标概率，像素权值公式改为：
                                                                 (8)
其中
Figure 109796DEST_PATH_IMAGE014
为更新后的第
Figure 584640DEST_PATH_IMAGE003
个像素的权值，为第
Figure 853609DEST_PATH_IMAGE003
个像素是否为目标的概率。
3、使用基于高斯混合模型(GMM)概率的改进MeanShift窗口自适应算法获得当前帧中林火目标的形状变化
本发明使用林区火焰图像样本数据进行训练学习，得到林火的高斯混合颜色模型。对于任一像素
Figure 105598DEST_PATH_IMAGE003
，以其颜色值作为模型概率密度函数的输入，从而计算出像素
Figure 5421DEST_PATH_IMAGE003
属于火焰目标的概率，然后通过下式对MeanShift算法中的像素权值进行更新：
Figure 633849DEST_PATH_IMAGE045
                                                             (9)
其中
Figure 997834DEST_PATH_IMAGE033
为MeanShift算法中像素
Figure 358408DEST_PATH_IMAGE003
的权值，
Figure 2011101208215100002DEST_PATH_IMAGE046
为像素
Figure 870161DEST_PATH_IMAGE003
的颜色值对应的高斯混合模型概率值。
本发明提出的基于高斯混合模型概率的改进MeanShift算法描述如下：
(1) 在视频序列的初始帧，选取初始目标区域，并根据下式：
Figure 302279DEST_PATH_IMAGE047
                                                        (10)
计算目标模板
Figure 2011101208215100002DEST_PATH_IMAGE048
，将目标区域的中心作为下一帧候选区域的初始位置
Figure 255192DEST_PATH_IMAGE036
，其中
Figure 117493DEST_PATH_IMAGE049
为定义在目标区域上规范化的像素位置，
Figure 2011101208215100002DEST_PATH_IMAGE050
为高斯核函数，
Figure 788646DEST_PATH_IMAGE051
为区域内像素个数，
Figure 2011101208215100002DEST_PATH_IMAGE052
为标准化常量系数。
(2) 将迭代次数
Figure 24455DEST_PATH_IMAGE053
初始化为0。
(3) 根据下式：
Figure 2011101208215100002DEST_PATH_IMAGE054
                                        (11)
得到候选模型
Figure 159770DEST_PATH_IMAGE055
，其中
Figure 2011101208215100002DEST_PATH_IMAGE056
为候选区域窗口宽度，
Figure 190043DEST_PATH_IMAGE057
为标准化常量系数。
(4) 根据下式：
Figure 348492DEST_PATH_IMAGE032
                                                       (12)
求得像素
Figure 122413DEST_PATH_IMAGE003
的权值，并使用公式(9)更新权值为
Figure 987601DEST_PATH_IMAGE014
。
(5) 根据下式：
Figure 2011101208215100002DEST_PATH_IMAGE058
                                                                (13)
得到目标候选区域的质心
Figure 271600DEST_PATH_IMAGE059
，其中
Figure 2011101208215100002DEST_PATH_IMAGE060
。
(6) 通过
Figure 917345DEST_PATH_IMAGE061
，得到目标模板和候选模板之间的距离
Figure 2011101208215100002DEST_PATH_IMAGE062
，将赋值给
Figure 276968DEST_PATH_IMAGE036
；若
Figure 649043DEST_PATH_IMAGE063
最小距离阈值或者
Figure 2011101208215100002DEST_PATH_IMAGE064
最大迭代次数，则转到步骤7，否则转到步骤3。
(7) 基于MeanShift权值图像获取二阶矩特征，将二阶矩转换成二阶中心矩并构造协方差矩阵，对协方差矩阵进行奇异值分解并计算其特征值，进而得到所跟踪区域的两个主轴方向与大小，即目标窗口的宽度、高度和方向；以
Figure 782084DEST_PATH_IMAGE036
为中心的目标窗口作为当前帧的目标跟踪结果，如果当前帧为视频最后一帧则算法结束，否则将作为下一帧目标候选区域的初始中心位置，转到步骤2继续跟踪。
4、使用基于区域内火焰像素比例的改进粒子滤波跟踪算法得到当前帧中林火目标的新位置
粒子滤波算法中每个粒子都有一个权值，用于表征其对当前帧目标位置的贡献程度。本发明对于每个粒子所在的图像区域，通过高斯混合颜色模型概率计算得到该粒子区域中火焰像素所占的比例。比例越大，粒子区域与林区火焰越相似，林火目标在当前帧中处于该粒子位置上的可能性也越大，相应地赋予粒子较大的权值。
粒子区域内像素
Figure 737588DEST_PATH_IMAGE065
是否为火焰，通过判断，即：
Figure 345811DEST_PATH_IMAGE067
                                 (14)
其中
Figure 2011101208215100002DEST_PATH_IMAGE068
为像素
Figure 700569DEST_PATH_IMAGE065
的颜色值对应的高斯混合模型概率值，
Figure 619984DEST_PATH_IMAGE069
为火焰目标概率阈值。
对于粒子
Figure 314270DEST_PATH_IMAGE050
，使用下式统计该粒子区域中火焰像素所占的比例：
Figure 2011101208215100002DEST_PATH_IMAGE070
                                                   (15)
其中
Figure 90465DEST_PATH_IMAGE071
、
Figure 135782DEST_PATH_IMAGE051
分别为粒子区域的长度与宽度。
使用火焰像素比例对粒子
Figure 593308DEST_PATH_IMAGE050
权值进行如下调整：
Figure 2011101208215100002DEST_PATH_IMAGE072
                                                            (16)
其中、
Figure 2011101208215100002DEST_PATH_IMAGE074
分别为调整前与调整后的粒子权值。
本发明提出的基于火焰像素比例的改进粒子滤波跟踪算法描述如下：
(1) 粒子初始化
在视频序列的初始帧，选取大小为
Figure 414163DEST_PATH_IMAGE075
的初始目标区域
Figure 2011101208215100002DEST_PATH_IMAGE076
，
Figure 743514DEST_PATH_IMAGE077
，以及目标的初始运动参数
Figure 2011101208215100002DEST_PATH_IMAGE078
，其中
Figure 4731DEST_PATH_IMAGE079
和
Figure 2011101208215100002DEST_PATH_IMAGE080
分别为目标中心点的
Figure 532664DEST_PATH_IMAGE026
坐标和
Figure 791607DEST_PATH_IMAGE081
坐标。分别计算出目标区域的颜色模型、边缘模型和纹理模型，得到初始目标模板。设粒子数为，粒子
Figure 407582DEST_PATH_IMAGE003
权值
Figure 930967DEST_PATH_IMAGE027
初始化为1，每个粒子具有两个参数，
Figure 488375DEST_PATH_IMAGE083
，且粒子参数初始化为：
                                                                 (17)
其中
Figure 589055DEST_PATH_IMAGE085
为
Figure 2011101208215100002DEST_PATH_IMAGE086
内的随机数，
Figure 192075DEST_PATH_IMAGE087
、为常数。
(2) 重采样
设置阈值
Figure 897863DEST_PATH_IMAGE002
和，当权值低于的粒子个数超过
Figure 224786DEST_PATH_IMAGE002
时，进行重采样，生成一组新的粒子
Figure 2011101208215100002DEST_PATH_IMAGE090
，重采样过程如下：
计算粒子的标准累积概率，即
Figure 785080DEST_PATH_IMAGE091
；
生成一组服从均匀分布的随机数；
找到最小的
Figure 353465DEST_PATH_IMAGE005
，使得
Figure 632000DEST_PATH_IMAGE093
；
令
Figure 2011101208215100002DEST_PATH_IMAGE094
。
(3) 状态预测
使用如下的系统状态转移方程对每个粒子进行状态预测与传播：
Figure 576822DEST_PATH_IMAGE095
                                                                (18)
其中
Figure 2011101208215100002DEST_PATH_IMAGE096
、
Figure 53940DEST_PATH_IMAGE097
为常数，
Figure 2011101208215100002DEST_PATH_IMAGE098
为
Figure 58805DEST_PATH_IMAGE086
内的随机数。
(4) 权值更新
各个粒子传播后可对其进行观测，分别计算出每个粒子的颜色模型、边缘模型和纹理模型，以巴氏系数作为衡量相似程度的工具，即对粒子使用下式：
Figure 44920DEST_PATH_IMAGE099
                                                              (19)
分别计算出粒子
Figure 579806DEST_PATH_IMAGE003
与初始目标模板在颜色特征、边缘特征和纹理特征上的相似程度值，其中
Figure 489993DEST_PATH_IMAGE083
，
Figure 477541DEST_PATH_IMAGE101
为初始目标特征模板，
Figure DEST_PATH_IMAGE102
第个粒子的特征模板。
定义观测概率密度函数为：
Figure 153559DEST_PATH_IMAGE103
                                                                (20)
其中
Figure DEST_PATH_IMAGE104
为常数，使用公式(4)得到粒子
Figure 500227DEST_PATH_IMAGE003
的多特征混合模型
Figure 972141DEST_PATH_IMAGE105
。
根据下式对粒子
Figure 734560DEST_PATH_IMAGE003
权值进行更新：
Figure DEST_PATH_IMAGE106
                                                                      (21)
使用公式(16)基于火焰像素比例调整粒子
Figure 40777DEST_PATH_IMAGE003
权值为
Figure 496029DEST_PATH_IMAGE107
。
归一化后得到粒子的新权值：
Figure DEST_PATH_IMAGE108
                                                                                    (22)
(5) 后验概率计算
目标的后验估计计算公式如下：
Figure 86596DEST_PATH_IMAGE109
                                                                                         (23)
返回步骤2继续处理，直到跟踪完视频中所有的帧。
5、使用结合改进粒子滤波和改进MeanShift的新跟踪算法实现林火目标的鲁棒跟踪
为了更好地对林区火焰进行跟踪，本发明提出了结合改进粒子滤波和改进MeanShift的林火目标跟踪算法，使用改进的粒子滤波算法跟踪林火目标的位置，使用改进的MeanShift算法估计林火目标的尺寸变化，并把粒子滤波跟踪结果作为MeanShift候选区域的初始中心位置。算法流程图如图1所示。
6、对林区火焰在运动过程中的合并与分裂行为进行识别以实现多个林火目标的跟踪
要识别林火合并与分裂等行为，必须先确定跟踪窗口中火焰像素的位置。使用公式(14)来判断区域内某像素是否属于火焰，并用
Figure DEST_PATH_IMAGE110
表示，其中
Figure 247319DEST_PATH_IMAGE050
表示第
Figure 873472DEST_PATH_IMAGE050
个火焰目标，
Figure 322908DEST_PATH_IMAGE065
表示该像素在跟踪区域中的位置。
本发明提出的火焰合并识别算法步骤如下：
(1) 判断任意2个目标(目标
Figure 492377DEST_PATH_IMAGE071
和目标
Figure 648552DEST_PATH_IMAGE051
)的跟踪窗口
Figure 507923DEST_PATH_IMAGE111
与
Figure DEST_PATH_IMAGE112
是否相交，若不相交则算法结束，否则执行步骤(2)。
(2) 计算
Figure 179076DEST_PATH_IMAGE071
、
Figure 414886DEST_PATH_IMAGE051
两个窗口区域之间相交的火焰像素的个数，即当
Figure DEST_PATH_IMAGE114
且
Figure 518157DEST_PATH_IMAGE115
时，
Figure DEST_PATH_IMAGE116
。
(3)  若满足
Figure 676606DEST_PATH_IMAGE117
，即
Figure 184947DEST_PATH_IMAGE113
达到
Figure 398539DEST_PATH_IMAGE071
和
Figure 537396DEST_PATH_IMAGE051
中较小区域火焰像素个数的
Figure DEST_PATH_IMAGE118
(比例值，如0.1)时，合并
Figure 245458DEST_PATH_IMAGE071
、，即找到包含两个目标所有火焰像素的最小窗口，并取代
Figure 542764DEST_PATH_IMAGE071
与作为新的跟踪目标。
本发明提出的火焰分裂识别算法描述如下：
(1) 对于每个林火目标跟踪窗口内的图像，使用公式(14)逐一判断像素是否为火焰，得到转换后的二值图像。
(2) 对二值图像进行连通域标记，以区分跟踪窗口中互不连通的火焰区域，若连通域的个数为1，表示没有分裂而算法结束，否则执行步骤(3)。
(3) 若连通域的个数大于1，则统计每个连通域内的像素个数，如果连通域
Figure 985564DEST_PATH_IMAGE003
的像素个数
Figure 101288DEST_PATH_IMAGE119
满足条件
Figure DEST_PATH_IMAGE120
(个数阈值，如100)，则将连通域
Figure 3385DEST_PATH_IMAGE003
作为一个新的火焰目标进行跟踪。
实验结果表明，通过本技术方案，可以对林区监控视频中的运动火焰目标进行跟踪，同时对林火目标的合并与分裂行为进行识别，在保证实时性的前提下，相比于现有的针对林火目标的跟踪算法具有更高的跟踪精度和更好的鲁棒性。
以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以作出各种变换或变型，因此所有等同的技术方案，都落入本发明的保护范围。

Claims (7)

1.一种林区监控视频中运动火焰目标的鲁棒跟踪方法，其特征在于，包括：
(1) 使用相关元素共同决定权值的多特征融合模型来表征跟踪目标；
(2) 使用跟踪区域内基于目标概率的元素权值调整来处理区域内部的不连续性问题；
(3) 使用基于高斯混合模型(GMM)概率的改进MeanShift窗口自适应算法获得当前帧中林火目标的形状变化；
(4) 使用基于区域内火焰像素比例的改进粒子滤波跟踪算法得到当前帧中林火目标的新位置；
(5) 使用结合改进粒子滤波和改进MeanShift的新跟踪算法实现林火目标的鲁棒跟踪；
(6) 对林区火焰在运动过程中的合并与分裂行为进行识别以实现多个林火目标的跟踪。
2.根据权利要求1所述的林区监控视频中运动火焰目标的鲁棒跟踪方法，其特征在于：
所述步骤(1)中使用相关元素共同决定权值的多特征融合模型来表征跟踪目标，包括以下子步骤：
① 求出每个特征对应的所有元素巴氏系数的平均值，得到巴氏系数大于平均值的相关元素的集合；
② 计算相关元素的巴氏系数均值，作为特征的权值；
③ 基于归一化后的特征权值，通过加权求和的方式实现多特征融合。
3.根据权利要求1所述的林区监控视频中运动火焰目标的鲁棒跟踪方法，其特征在于：
所述步骤(2)中使用跟踪区域内基于目标概率的元素权值调整来处理区域内部的不连续性问题，包括以下子步骤：
① 求出跟踪区域内元素属于林火目标的概率；
② 根据目标概率调整元素的权值，目标概率越大的元素，其在区域跟踪中发挥的作用越大，对于小概率元素，则削弱其对跟踪的影响。
4.根据权利要求1所述的林区监控视频中运动火焰目标的鲁棒跟踪方法，其特征在于：
所述步骤(3)中使用基于高斯混合模型(GMM)概率的改进MeanShift窗口自适应算法获得当前帧中林火目标的形状变化，包括以下子步骤：
① 求出跟踪窗口区域内像素颜色值对应的高斯混合模型概率，作为像素的目标概率；
② 基于元素目标概率权值调整的改进MeanShift窗口自适应算法计算林火目标新的窗口形状。
5.根据权利要求1所述的林区监控视频中运动火焰目标的鲁棒跟踪方法，其特征在于：
所述步骤(4)中使用基于区域内火焰像素比例的改进粒子滤波跟踪算法得到当前帧中林火目标的新位置，包括以下子步骤：
① 求出粒子对应区域内火焰像素个数所占的比例，作为粒子的目标概率；
② 基于元素目标概率权值调整的改进粒子滤波跟踪算法计算林火目标的新位置。
6.根据权利要求1所述的林区监控视频中运动火焰目标的鲁棒跟踪方法，其特征在于：
所述步骤(5)中使用结合改进粒子滤波和改进MeanShift的新跟踪算法实现林火目标的鲁棒跟踪，包括以下子步骤：
① 使用改进粒子滤波算法得到当前帧中林火目标的新位置；
② 使用改进MeanShift窗口自适应算法获得当前帧中林火目标的新形状；
③ 以当前帧窗口为下一帧目标候选区域并在区域内采样新粒子，循环处理至跟踪结束。
7.根据权利要求1所述的林区监控视频中运动火焰目标的鲁棒跟踪方法，其特征在于：
所述步骤(6)中对林区火焰在运动过程中的合并与分裂行为进行识别以实现多个林火目标的跟踪，包括以下子步骤：
① 通过多个林火目标之间的位置关系判断它们之间是否出现合并现象，若出现，则将满足合并条件的林火目标合并为一个；
② 通过连通域标记方法判断林火区域中是否存在分裂的火焰区域，若存在，则将满足分裂条件的火焰区域作为新的林火目标进行跟踪。
CN2011101208215A 2011-05-11 2011-05-11 一种林区监控视频中运动火焰目标的鲁棒跟踪方法 Active CN102142085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011101208215A CN102142085B (zh) 2011-05-11 2011-05-11 一种林区监控视频中运动火焰目标的鲁棒跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011101208215A CN102142085B (zh) 2011-05-11 2011-05-11 一种林区监控视频中运动火焰目标的鲁棒跟踪方法

Publications (2)

Publication Number Publication Date
CN102142085A true CN102142085A (zh) 2011-08-03
CN102142085B CN102142085B (zh) 2012-11-21

Family

ID=44409583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101208215A Active CN102142085B (zh) 2011-05-11 2011-05-11 一种林区监控视频中运动火焰目标的鲁棒跟踪方法

Country Status (1)

Country Link
CN (1) CN102142085B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903119A (zh) * 2012-05-22 2013-01-30 北京国铁华晨通信信息技术有限公司 一种目标跟踪方法和装置
CN104616318A (zh) * 2015-01-22 2015-05-13 重庆邮电大学 一种视频序列图像中的运动目标跟踪方法
CN105654510A (zh) * 2015-12-29 2016-06-08 江苏精湛光电仪器股份有限公司 适用于夜间场景下的基于特征融合的自适应目标跟踪方法
JP2017191544A (ja) * 2016-04-15 2017-10-19 ホーチキ株式会社 火災検知装置及び火災検知方法
CN107657628A (zh) * 2017-09-20 2018-02-02 中国科学院长春光学精密机械与物理研究所 一种实时彩色目标跟踪方法
CN107705321A (zh) * 2016-08-05 2018-02-16 南京理工大学 基于嵌入式系统的运动目标检测与跟踪方法
CN111223152A (zh) * 2019-11-18 2020-06-02 燕山大学 一种火源的识别方法及系统
CN111553214A (zh) * 2020-04-20 2020-08-18 哈尔滨工程大学 一种驾驶员吸烟行为检测方法及系统
CN113033505A (zh) * 2021-05-20 2021-06-25 南京甄视智能科技有限公司 基于动态分类检测的火焰检测方法、装置、系统与服务器
CN113298048A (zh) * 2021-07-08 2021-08-24 环球数科集团有限公司 一种基于计算机视觉的森林火灾检测及预警系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840571A (zh) * 2010-03-30 2010-09-22 杭州电子科技大学 一种基于视频图像的火焰检测方法
CN101968913A (zh) * 2010-08-13 2011-02-09 清华大学 一种森林火灾区域的火焰跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840571A (zh) * 2010-03-30 2010-09-22 杭州电子科技大学 一种基于视频图像的火焰检测方法
CN101968913A (zh) * 2010-08-13 2011-02-09 清华大学 一种森林火灾区域的火焰跟踪方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903119B (zh) * 2012-05-22 2016-01-20 通号通信信息集团有限公司 一种目标跟踪方法和装置
CN102903119A (zh) * 2012-05-22 2013-01-30 北京国铁华晨通信信息技术有限公司 一种目标跟踪方法和装置
CN104616318A (zh) * 2015-01-22 2015-05-13 重庆邮电大学 一种视频序列图像中的运动目标跟踪方法
CN104616318B (zh) * 2015-01-22 2017-06-16 重庆邮电大学 一种视频序列图像中的运动目标跟踪方法
CN105654510A (zh) * 2015-12-29 2016-06-08 江苏精湛光电仪器股份有限公司 适用于夜间场景下的基于特征融合的自适应目标跟踪方法
JP2017191544A (ja) * 2016-04-15 2017-10-19 ホーチキ株式会社 火災検知装置及び火災検知方法
CN107705321A (zh) * 2016-08-05 2018-02-16 南京理工大学 基于嵌入式系统的运动目标检测与跟踪方法
CN107657628A (zh) * 2017-09-20 2018-02-02 中国科学院长春光学精密机械与物理研究所 一种实时彩色目标跟踪方法
CN111223152A (zh) * 2019-11-18 2020-06-02 燕山大学 一种火源的识别方法及系统
CN111223152B (zh) * 2019-11-18 2023-09-26 燕山大学 一种火源的识别方法及系统
CN111553214A (zh) * 2020-04-20 2020-08-18 哈尔滨工程大学 一种驾驶员吸烟行为检测方法及系统
CN113033505A (zh) * 2021-05-20 2021-06-25 南京甄视智能科技有限公司 基于动态分类检测的火焰检测方法、装置、系统与服务器
CN113298048A (zh) * 2021-07-08 2021-08-24 环球数科集团有限公司 一种基于计算机视觉的森林火灾检测及预警系统

Also Published As

Publication number Publication date
CN102142085B (zh) 2012-11-21

Similar Documents

Publication Publication Date Title
CN102142085B (zh) 一种林区监控视频中运动火焰目标的鲁棒跟踪方法
CN105405151B (zh) 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法
Deguchi et al. Object tracking by the mean-shift of regional color distribution combined with the particle-filter algorithms
CN103530893B (zh) 相机抖动场景下基于背景差和运动信息的前景检测方法
Fu et al. Centroid weighted Kalman filter for visual object tracking
CN104200485A (zh) 一种面向视频监控的人体跟踪方法
CN104574439A (zh) 一种融合卡尔曼滤波与tld算法的目标跟踪方法
CN104616318A (zh) 一种视频序列图像中的运动目标跟踪方法
CN113011367A (zh) 一种基于目标轨迹的异常行为分析方法
CN109919053A (zh) 一种基于监控视频的深度学习车辆停车检测方法
CN102722702B (zh) 多特征融合的粒子滤波视频目标跟踪方法
Mikami et al. Memory-based particle filter for face pose tracking robust under complex dynamics
CN106815563B (zh) 一种基于人体表观结构的人群数量预测方法
Zhang et al. A swarm intelligence based searching strategy for articulated 3D human body tracking
CN102063625B (zh) 一种用于多视角下多目标追踪的改进型粒子滤波方法
CN106780567B (zh) 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法
CN102903121A (zh) 基于运动目标跟踪的融合算法
CN111402303A (zh) 一种基于kfstrcf的目标跟踪架构
CN105321188A (zh) 基于前景概率的目标跟踪方法
CN101877134B (zh) 一种机场监视视频目标鲁棒跟踪方法
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
CN103985139B (zh) 基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法
CN105096343B (zh) 一种移动目标跟踪方法及装置
Li et al. Tracking algorithm of multiple pedestrians based on particle filters in video sequences
CN116342645A (zh) 一种针对游泳馆场景下的多目标跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: WUHAN YINKE TECHNOLOGY DEVELOPMENT CO., LTD.

Free format text: FORMER OWNER: WUHAN UNIVERSITY

Effective date: 20150721

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150721

Address after: 430079, room two, 5-902 laurel garden, 428 male Chu street, Hongshan District, Hubei, Wuhan

Patentee after: Wuhan inkoo Technology Development Co. Ltd.

Address before: 430072 Hubei Province, Wuhan city Wuchang District of Wuhan University Luojiashan

Patentee before: Wuhan University

ASS Succession or assignment of patent right

Owner name: WUHAN WANDE ZHIXIN TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: WUHAN YINKE TECHNOLOGY DEVELOPMENT CO., LTD.

Effective date: 20150825

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150825

Address after: 430070, No. 18, No. 1-112, Qingling Road, Wuhan Youth Industrial Zone, Hongshan District, Hubei

Patentee after: Wuhan Wande chi new Polytron Technologies Inc

Address before: 430079, room two, 5-902 laurel garden, 428 male Chu street, Hongshan District, Hubei, Wuhan

Patentee before: Wuhan inkoo Technology Development Co. Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A robust tracking method of moving flame target in forest monitoring video

Effective date of registration: 20220331

Granted publication date: 20121121

Pledgee: Bank of China Limited Wuhan Qingshan sub branch

Pledgor: WUHAN WONDNET TECHNOLOGY CO.,LTD.

Registration number: Y2022420000092

PE01 Entry into force of the registration of the contract for pledge of patent right