CN102339390A - 一种视频监控系统目标模板的更新方法及系统 - Google Patents

Abstract

本发明适用于视频监控领域，提供了一种视频监控系统目标模板的更新方法及系统，该方法通过当前帧mean shift迭代的位置下特征通道直方图与目标直方图模板的对比，确定是否发生了光照剧变，若发生了光照剧变，则重新计算目标模板更新速度参数，将新的目标模板更新速度参数引入到选择性子模型更新策略，以新的更新速度参数更新目标模板以及各特征通道模板，这样在选择性子模型更新方法的基础上，可以在光照剧变发生的情况下，及时的调整目标模板更新速度，适应光照剧烈情况下目标模板的快速更新需求，相比传统的选择性子模型更新方法，可以更好的适应外界场景的变化，完成更持续的跟踪效果。

Description

一种视频监控系统目标模板的更新方法及系统

技术领域

本发明属于视频监控领域，尤其涉及一种视频监控系统目标模板的更新方法及系统。 

背景技术

随着智能监控技术的不断发展和图像处理技术的日益成熟，原有的采用人力进行可疑目标监控已经满足不了需求，而以人工智能和视频分析等技术为主的智能安防系统很大程度上能弥补人力不足的问题。智能安防系统优势在于保安人员无需实地巡逻，便可以通过监控系统传回的视频获得现场的实际情况，以便于迅速做出决策，因此有着广阔的发展空间和巨大的潜在市场。它们主要是利用图像处理的方法，在现实场景中自动检测目标入侵，使计算机具有某种理解和分析视频的能力，从而对目标入侵等行为进行报警。 

目标的跟踪是数字视频技术中的一个重要的研究方向，其应用十分地广泛，从工业检测到安全监视，从医学图像到军事应用等等，许多领域都有涉及，例如交通流量的检测、重要场所的保安、航空和汽车的自动驾驶或辅助驾驶，军事中的武器制导和控制的方面。由于跟踪目标形态的多样性和目标特征变化的不确定性，如何实现各种环境下有效的目标跟踪一直是研究的热点。 

对于一般视频序列目标跟踪算法，由于采用单一更新速度参数来控制模板特征更新，若更新速度参数初始设置偏小，那么在目标所处环境变化比较剧烈(如：光照突然增强或减弱)的情况下，由于目标特征变化比较快，出现目标模板特征更新跟不上目标特征变化的速度，从而引起目标丢失的现象，若更新 速度参数初始设置偏大，虽然可以适应光照剧烈变化的情况，但是当目标被遮挡时，容易将非目标物信息更新到模板中来，从而引起跟错的现象，大大限制了跟踪的有效性。 

发明内容

本发明实施例的目的在于提供一种视频监控系统目标模板的更新方法及系统，旨在解决对于一般视频序列目标跟踪算法，由于采用单一更新速度参数来控制模板特征更新，若更新速度参数初始设置偏小，那么在目标所处环境变化比较剧烈的情况下，由于目标特征变化比较快，出现目标模板特征更新跟不上目标特征变化的速度，从而引起目标丢失的现象，若更新速度参数初始设置偏大，虽然可以适应光照剧烈变化的情况，但是当目标被遮挡时，容易将非目标物信息更新到模板中来，从而引起跟错目标等的问题。 

本发明实施例是这样实现的，一种视频监控系统目标模板的更新方法，该更新方法包括： 

提取目标在当前帧mean shift迭代的位置下若干种特征通道下的直方图，与目标直方图模板相比较，确定是否发生光照剧变； 

若发生光照剧变，重新计算目标模板更新速度参数； 

将新的目标模板更新速度参数引入到选择性子模型更新策略，以新的更新速度参数更新目标模板以及各特征通道模板。 

本发明实施例的另一目的在于提供一种视频监控系统目标模板的更新系统，该系统包括： 

光照剧变判定模块，用于提取目标在当前帧mean shift迭代的位置下若干种特征通道下的直方图，与目标直方图模板相比较，确定是否发生光照剧变； 

速度参数计算模块，用于若发生光照剧变，重新计算目标模板更新速度参 数； 

模板更新模块，将新的目标模板更新速度参数引入到选择性子模型更新策略，以新的更新速度参数更新目标模板以及各特征通道模板。 

本发明通过当前帧mean shift迭代的位置下特征通道直方图与目标直方图模板的对比，确定是否发生了光照剧变，若发生了光照剧变，则重新计算目标模板更新速度参数，将新的目标模板更新速度参数引入到选择性子模型更新策略，以新的更新速度参数更新目标模板以及各特征通道模板，这样在选择性子模型更新方法的基础上，可以在光照剧变发生的情况下，及时的调整目标模板更新速度，适应光照剧烈情况下目标模板的快速更新需求，相比传统的选择性子模型更新方法，可以更好的适应外界场景的变化，完成更持续的跟踪效果。 

附图说明

图1是本发明实施例提供的视频监控系统目标模板的更新方法的流程图； 

图2是本发明实施例提供的视频监控系统目标模板的更新系统的结构框图； 

图3是本发明实施例提供的跟踪算法的流程图； 

图4是本发明实施例提供的选择性子模型更新策略的流程图。 

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 

图1示出了本发明实施例提供的视频监控系统目标模板的更新方法的实现流程。 

一种视频监控系统目标模板的更新方法，该更新方法包括： 

在步骤S101中，提取目标在当前帧mean shift迭代的位置下若干种特征 通道下的直方图，与目标直方图模板相比较，确定是否发生光照剧变； 

在步骤S102中，若发生光照剧变，重新计算目标模板更新速度参数； 

在步骤S103中，将新的目标模板更新速度参数引入到选择性子模型更新策略，以新的更新速度参数更新目标模板以及各特征通道模板。 

在本发明实施例中，特征通道选取的是R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道。 

在本发明实施例中，确定是否发生光照剧变的方法为： 

将R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道直方图进行垂直投影和水平投影处理； 

若R、G、B、亮度((R+G+B)/3)4个通道与目标原始各通道模板的匹配值相比前一帧发生明显减少，而色调通道的匹配系数变化不明显，并且R、G、B、亮度((R+G+B)/3)4个通道直方图中心的偏移方向一致； 

当前帧各个通道直方图的水平投影生成的直方图与各通道模板直方图水平投影生成的直方图的相似程度大于设定的阈值且各个通道的直方图重心在按照各通道模板直方图的重心对齐后，与各模板直方图的相似程度大于设定的阈值，则发生光照剧变。 

在本发明实施例中，目标模板更新速度的增益大小是由目标各个通道下的模板漂移尺度和漂移持续的帧数共同决定的，设σ为当前模板与目标直方图模板重心的差值，t为光照突变的持续帧数，速度因子按照下式计算， 

a＝(min(abs(σ))，0.3)+min((t-1)³，9)*0.2*min(abs(σ)/0.5，1))/3。 

在本发明实施例中，将新的目标模板更新速度参数引入到选择性子模型更新策略，以新的更新速度参数更新目标模板以及各特征通道模板的实现方法为： 

统计当前位置坐标下的目标直方图，记为p，与目标模板直方图q匹配得到 巴氏系数ρ，若ρ＞0.9，表示跟踪结果没有受到剧烈干扰，可以更新模板，否则，可以理解为有遮挡现象发生或其他干扰，不应更新模板。 

设p_u表示当前帧目标直方图的子模型，q_u表示目标模板直方图子模型，遍历目标模板直方图的的所有子模型q_u，分别对q_u进行更新，最后再进行归一化，得到新的目标模板直方图。 

本发明实施例的另一目的在于提供一种视频监控系统目标模板的更新系统，该系统包括： 

光照剧变判定模块11，用于提取目标在当前帧mean shift迭代的位置下若干种特征通道下的直方图，与目标直方图模板相比较，确定是否发生光照剧变； 

速度参数计算模块12，用于若发生光照剧变，重新计算目标模板更新速度参数； 

模板更新模块13，将新的目标模板更新速度参数引入到选择性子模型更新策略，以新的更新速度参数更新目标模板以及各特征通道模板。 

在本发明实施例中，光照剧变判定模块11包括： 

直方图计算单元111，用于获得R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道直方图； 

投影处理单元112，用于对获得的R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道直方图进行投影处理； 

光照剧变判定单元113，用于若R、G、B、亮度((R+G+B)/3)4个通道与目标原始各通道模板的匹配值相比前一帧发生明显减少，而色调通道的匹配系数变化不明显，并且R、G、B、亮度((R+G+B)/3)4个通道直方图中心的偏移方向一致并且当前帧各个通道直方图的水平投影生成的直方图与各通道模板直方图水平投影生成的直方图的相似程度大于设定的阈值且各个通道的直方图重心 在按照各通道模板直方图的重心对齐后，与各模板直方图的相似程度大于设定的阈值，则发生光照剧变的判定；否则不认为目标发生了光照剧变。 

在本发明实施例中，投影处理单元112包括： 

垂直投影处理子单元，用于对获得的R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道直方图进行垂直投影处理； 

水平投影处理子单元，用于对获得的R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道直方图进行水平投影处理。 

在本发明实施例中，模板更新模块13包括： 

巴氏系数计算单元131，用于统计当前位置坐标下的目标直方p，并与目标模板直方图q匹配得到巴氏系数ρ； 

模板更新判定单元132，用于判定是否应当更新目标模板，巴氏系数ρ大于0.9，表示跟踪结果没有受到剧烈干扰，可以更新目标模板，否则，可以理解为有遮挡现象发生或其他干扰，不应更新目标模板； 

子模型更新单元133，遍历目标模板直方图的的所有子模型q_u，按照子模型更新规则分别对q_u进行更新，进行归一化，得到新的目标模板直方图。 

下面结合附图及具体实施例对本发明的应用原理作进一步描述。 

本实施例的说明将按照由整体到局部的关系进行展开说明，它们的关系是：图4对应的是图3的步骤304。 

本实施例将按照图3、图4的顺序依次展开进行讲解。 

第1部分，阐述本实施例中以mean shift为核心的跟踪算法的整体框架，具体实现步骤按照图3所示流程阐述。 

第2部分，叙述本发明的一种新的目标模板更新方法，具体实现步骤将按照图4所示流程阐述。 

第3部分，阐述传统的固定速度因子的选择性子模型模板更新策略。 

图3示出了本发明提供跟踪算法整体框架流程图。步骤如下： 

在步骤S301中，启动跟踪算法模块，初始化目标彩色模板，目标模板选用RGB通道的彩色模板，维数取8*8*8，提取目标R、G、B、亮度、色调五种特征通道并建立维数为32的直方图模板。 

在步骤S302中，用mean shift算法在目标的RGB模板上进行搜索迭代，迭代的终止位置作为当前帧的目标位置。具体算法描述可参考相关文献，如：《基于均值漂移的视觉目标跟踪方法综述》——计算机工程。 

在步骤S303中，重新调整目标窗口大小，本实施例选用简单的窗口大小调整方法，即正负浮动10％，以巴氏系数最大的窗口作为新的窗口。 

在步骤S304中，更新目标模板，本实施例是在传统的子模型更新策略的基础上进行改进，加入更新速度调整因子。更新完毕转向步骤S302。 

本发明带有更新速度增益控制的新的模板更新方法，主要思想是利用若干个颜色通道的直方图变化关系，准确的区分目标模板变化是由于遮挡还是光照突变造成，进而计算调节模板更新速度的增益大小，以达到实时更新模板的目的。 

如图4示，具体步骤如下； 

在步骤S401中，计算R、G、B、亮度、色调五个特征通道下的直方图。 

在步骤S402中，判断当前模板剧变是否是由光照剧变引起的，主要是依据R、G、B、亮度，色调五种通道直方图经过垂直投影和水平投影处理后，按照光照剧变时它们在理论上所具有的特性决定的。 

特性1：若R、G、B、亮度4个通道与目标原始各通道模板的匹配值相比前一帧发生明显减少，而色调通道的匹配系数变化不明显，并且R、G、B、亮度4个通道直方图重心的偏移方向一致。 

特性2：当前帧各个通道直方图的水平投影生成的直方图与各通道模板直方图水平投影生成的直方图的相似程度大于设定的阈值。且各个通道的直方图重心在按照各通道模板直方图的重心对齐后，与各模板直方图的相似程度大于设定的阈值。按行分类分别为普通状态下，光照降低状态下，光照增强状态下的特征通道直方图、水平投影、以及投影产生的直方图，可以看出，在光照剧变发生时，变化后的直方图模板在水平方向投影生成的直方图具备较高的相似度，垂直方向上经过水平校正同样具有较高的相似度。当目标被遮挡时，将不会达到较高的相似度。计算相似度是用巴氏系数计算的。设定的相似阈值为0.9。 

若满足前两种特性，证明当前的模板变化是由光照剧变发生引起的。 

在步骤S403中，计算更新速度因子，主要原则就是由目标各个通道下的模板权重漂移尺度和漂移持续的帧数共同决定。设σ为当前模板与目标直方图模板重心的差值，t为光照突变的持续帧数，速度因子按照下式计算，此公式由大量测试数据推出。 

a＝(min(abs(σ))，0.3)+min((t-1)³，9)*0.2*min(abs(σ)/0.5，1))/3     (1) 

在步骤S404中，将新获得的速度因子a，带入到公式(3)，本发明的创新之处就在于将速度因此改为一个动态的参数，使其能够适应光照剧变的环境。 

下面阐述传统的选择性子模型更新策略，传统的选择性子模型更新策略的主要思想是：首先采用巴氏系数衡量跟踪结果的有效性(巴氏系数是判定两个模板相似程度的计算方法，范围是0～1，值为1时表示相似程度最高)，如果巴氏系数值小于一定的阈值，说明本次跟踪结果受到了剧烈干扰，这一帧不应该进行模板更新，仍在原始目标模板的基础上进行跟踪；如果巴氏系数值大于一定阈值，则对每个子模型(子模型是指目标直方图的一个分量，例如：若目标直方图是32维，那么子模型的个数就是32个)按照贡献度(贡献度是指：每个直方图分量对生成巴氏系数的影响程度)排序，前几个贡献度较高的子模型表示当前模型与目标模型较吻合，为避免过度更新造成的模型偏移，对贡献度较高的子模型不进行更新，仅对贡献度较小即当前模型中与目标模型吻合较差的子模型进行更新。 

更新目标模板具体步骤如下： 

统计当前位置坐标下的目标直方图，记为p，与目标模板直方图q匹配得到巴氏系数ρ，若ρ＞0.9，表示跟踪结果没有受到剧烈干扰，可以更新模板，否则，可以理解为有遮挡现象发生或其他干扰，不应更新模板。 

开始进行选择性子模型更新，具体如下： 

p_u表示当前帧目标直方图的子模型，q_u表示目标模板直方图子模型，遍历目标模板直方图的的所有子模型q_u，分别对q_u进行更新，最后再进行归一化，得到新的目标模板直方图。子模型更新规则如下： 

1)q_u＝p_u＝0，表示当前帧目标直方图和目标模板直方图中均未出现该子模型，对其不予更新，更新公式为式(2)； 

2)q_u＞0，p_u＝0，表示目标模板直方图中存在该子模型而在当前帧目标直方 图中不存在该子模型，这通常对应于目标外观变化的情况，此时应更新子模型，但为了避免目标模板对变化过于敏感，此时应采用一定比例进行加权，更新公式为式(3)； 

3)q_u＝0，p_u＞0，表示目标模板直方图中不存在该子模型而在当前帧目标直方图中存在该子模型，这通常对应于非目标遮挡发生的情况，此时也应更新子模型，并同样采用一定比例进行加权，更新公式为式(3)； 

4)q_u＞0，p_u＞0，且子模型的贡献值β_u小于设定阈值k，本实施例中设置β_u＝0.5为贡献度大小的阈值，此时应根据其匹配贡献大小进行加权更新，贡献度大小按照公式(6)计算，更新公式为式(5)； 

5)q_u＞0，p_u＞0，且子模型的贡献值β_u大于设定阈值k，表示该子模型是较为稳定的，此时不应更新子模型，更新公式为式(4)； 

具体更新公式如下： 

$q_u^t=c_q\left[q_u^{t-1}\right],{\mathrm{\β}}_u=0,(p_u^t+q_u^t)==0---\left(2\right)$

$q_u^t=C_q\left[q_u^{t-1}\right],{\mathrm{\β}}_u>k,(p_u^t*q_u^t!=0)---\left(4\right)$

$q_u^t=C_q\left[{{\mathrm{\&beta;}}_u*p_u^t+(1-{\mathrm{\&beta;}}_u)q}_u^{t-1}\right],{0<\mathrm{\&beta;}}_u<k,(p_u^t*q_u^t!=0)---\left(5\right)$

式中a为模型更新速度因子，通常取值0.1，C_q为归一化系数。 

其中β_u即为匹配度贡献值，按公式(6)计算 

${\mathrm{\&beta;}}_u=\frac{\sqrt{p_u{q}_u}}{\mathrm{\&rho;}}=\frac{\sqrt{p_u{q}_u}}{\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{p_u{q}_u}}---\left(6\right)$

公式(3)中的a为更新速度因子，它是一个静态参数，范围是0至1，因此不能适应光照剧变情况下模板更新要求。 

因此，本发明的对传统模板更新方法的改进在于：将a该为一个动态的参数 以适应外界光照的变化，因为β_u在光照剧变时，所以也应该相应的增加权重，改为β_u＝min(1，β_u+a)。 

最后总结：传统选择性子模型更新方法是将速度因子a设置为常量，本方明在此基础上，利用光照剧变条件下相关通道直方图特性关系，将a和β_u改为受σ(当前模板与目标直方图模板重心的差值)与t(光照突变的持续帧数)影响的变量(公式(1)所示)，能够适应场景需求，当光照变化剧烈时，它们的值相应的增大，加快模板的更新速度，光照变化平缓时，它们的值减少，降低模板更新速度，达到自适应的模板更新效果，最终实现更持续的跟踪效果。 

本发明通过当前帧mean shift迭代的位置下特征通道直方图与目标直方图模板的对比，确定是否发生了光照剧变，若发生了光照剧变，则重新计算目标模板更新速度参数，将新的目标模板更新速度参数引入到选择性子模型更新策略，以新的更新速度参数更新目标模板以及各特征通道模板，这样在选择性子模型更新方法的基础上，可以在光照剧变发生的情况下，及时的调整目标模板更新速度，适应光照剧烈情况下目标模板的快速更新需求，相比传统的选择性子模型更新方法，可以更好的适应外界场景的变化，完成更持续的跟踪效果。 

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。 

Claims (9)

1.一种视频监控系统目标模板的更新方法，其特征在于，包括以下步骤：

提取目标在当前帧mean shift迭代的位置下若干种特征通道下的直方图，与目标直方图模板相比较，确定是否发生光照剧变；

若发生光照剧变，重新计算目标模板更新速度参数；

将新的目标模板更新速度参数引入到选择性子模型更新策略，以新的更新速度参数更新目标模板以及各特征通道模板。

2.如权利要求1所述的更新方法，其特征在于，所述特征通道选取的是R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道。

3.如权利要求2所述的更新方法，其特征在于，所述确定是否发生光照剧变的方法为：

将R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道直方图进行垂直投影和水平投影处理；

若R、G、B、亮度((R+G+B)/3)4个通道与目标原始各通道模板的匹配值相比前一帧发生明显减少，而色调通道的匹配系数变化不明显，并且R、G、B、亮度((R+G+B)/3)4个通道直方图中心的偏移方向一致；

当前帧各个通道直方图的水平投影生成的直方图与各通道模板直方图水平投影生成的直方图的相似程度大于设定的阈值且各个通道的直方图重心在按照各通道模板直方图的重心对齐后，与各模板直方图的相似程度大于设定的阈值，则发生光照剧变。

4.如权利要求1所述的更新方法，其特征在于，所述目标模板更新速度的增益大小是由目标各个通道下的模板漂移尺度和漂移持续的帧数共同决定的，设σ为当前模板与目标直方图模板重心的差值，t为光照突变的持续帧数，速度因子按照下式计算，

a＝(min(abs(σ))，0.3)+min((t-1)³，9)*0.2*min(abs(σ)/0.5，1))/3。

5.如权利要求1所述的更新方法，其特征在于，所述将新的目标模板更新速度参数引入到选择性子模型更新策略，以新的更新速度参数更新目标模板以及各特征通道模板的实现方法为：

统计当前位置坐标下的目标直方图，记为p，与目标模板直方图q匹配得到巴氏系数ρ，若ρ＞0.9，表示跟踪结果没有受到剧烈干扰，可以更新模板，否则，可以理解为有遮挡现象发生或其他干扰，不应更新模板；

设p_u表示当前帧目标直方图的子模型，q_u表示目标模板直方图子模型，遍历目标模板直方图的的所有子模型q_u，分别对q_u进行更新，最后再进行归一化，得到新的目标模板直方图。

6.一种视频监控系统目标模板的更新系统，其特征在于，该系统包括：

光照剧变判定模块，用于提取目标在当前帧mean shift迭代的位置下若干种特征通道下的直方图，与目标直方图模板相比较，确定是否发生光照剧变；

速度参数计算模块，用于若发生光照剧变，重新计算目标模板更新速度参数；

模板更新模块，将新的目标模板更新速度参数引入到选择性子模型更新策略，以新的更新速度参数更新目标模板以及各特征通道模板。

7.如权利要求6所述的更新系统，其特征在于，所述光照剧变判定模块包括：

直方图计算单元，用于获得R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道直方图；

投影处理单元，用于对获得的R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道直方图进行投影处理；

光照剧变判定单元，用于若R、G、B、亮度((R+G+B)/3)4个通道与目标原始各通道模板的匹配值相比前一帧发生明显减少，而色调通道的匹配系数变化不明显，并且R、G、B、亮度((R+G+B)/3)4个通道直方图中心的偏移方向一致并且当前帧各个通道直方图的水平投影生成的直方图与各通道模板直方图水平投影生成的直方图的相似程度大于设定的阈值且各个通道的直方图重心在按照各通道模板直方图的重心对齐后，与各模板直方图的相似程度大于设定的阈值，则发生光照剧变的判定；否则不认为目标发生了光照剧变。

8.如权利要求7所述的更新系统，其特征在于，所述投影处理单元包括：

垂直投影处理子单元，用于对获得的R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道直方图进行垂直投影处理；

水平投影处理子单元，用于对获得的R、G、B、亮度((R+G+B)/3)、色调(H)五种特征通道直方图进行水平投影处理。

9.如权利要求6所述的更新系统，其特征在于，所述模板更新模块包括：

巴氏系数计算单元，用于统计当前位置坐标下的目标直方p，并与目标模板直方图q匹配得到巴氏系数ρ；

模板更新判定单元，用于判定是否应当更新目标模板，巴氏系数ρ大于0.9，表示跟踪结果没有受到剧烈干扰，可以更新目标模板，否则，可以理解为有遮挡现象发生或其他干扰，不应更新目标模板；

子模型更新单元，遍历目标模板直方图的的所有子模型q_u，按照子模型更新规则分别对q_u进行更新，进行归一化，得到新的目标模板直方图。

Images