CN107240118B - 一种基于rgb颜色直方图的判别式跟踪方法 - Google Patents

Abstract

本发明提供一种基于RGB颜色直方图的判别式跟踪方法，该方法包括：首先，预先估计出目标概率图，降低在搜索区域内搜索目标时的计算量；其次，在当前搜索区域内滑动窗口依次计算候选窗口被认为是目标的得分，选取得分最高的候选窗口作为新的目标位置；最后，根据新的目标位置更新概率图，标定目标。本方案与其他基于颜色直方图的跟踪方法的不同之处在于优化了干扰抑制项，对目标周围出现的相似的区域有较好的抵抗力；针对机场场景较大目标可能由远及近或由近及远的运动造成目标尺度变化较大的情况，在算法中加入尺度估计的功能，可根据目标物大小自动调整大小。

Description

一种基于RGB颜色直方图的判别式跟踪方法

技术领域

本发明涉及图像处理与计算机模式识别相关领域，尤其是涉及一种基于RGB颜色直方图的判别式跟踪方法。

背景技术

机场的安全问题越来越重要，目前机场中常常使用摄像机监视系统监视机场中重要区域，但机场场景较大单个摄像机难以覆盖整个目标区域，因此需要多个摄像机同时监控目标不同的区域。现有的分割独立式窗口布局，通常只针对重点区域，获取的场景信息散乱且不完整，不利于工作人员观看。随着图像拼接技术的出现及成熟，越来越多的机场等大尺度场景采用全景监控。在如此的大场景监控，如果仅依赖于人工查看，工作量十分巨大而且操作人员易出现疲劳，可能错过监控区域内的很多重要细节。

单摄像机跟踪或多路分散摄像机视频跟踪，由于全景视频监控范围较大，运动目标可能会由远及近或由近及远的运动造成目标尺度变化较大；其次全景图像是由多帧图像拼接生成，可能存在拼接缝，运动目标在拼接缝处可能出现断裂，传统的跟踪算法没有考虑这些问题，因此不能将传统的跟踪算法直接用于全景视频跟踪中。

单摄像机跟踪研究较多，已经产生了许多经典的算法，例如，基于区域的跟踪算法：使用视频图像的灰度信息、颜色信息、运动信息、帧间变化信息等在帧间做目标区域匹配；基于轮廓的跟踪算法：通过对目标的轮廓进行描述达到跟踪的目的；基于特征的跟踪算法：根据目标的局部特征，而不关心目标大小、轮廓等整体特征，提取的目标特征需要具备容易计算、平移、旋转以及尺度不变性等特点，本方法对目标中有部分遮挡情况具有较强抵抗力，但对噪声和环境的变化较为敏感；基于生成式模型的跟踪算法：利用最小重构误差描述目标，从帧图像中搜索与模型最相似的区域确定目标，使用一个线下的子空间模型表示感兴趣的目标区域；基于判别式模型的跟踪算法：将目标跟踪看作是二值分类问题，通过寻找能够区分目标与背景的边界来检测目标。与生成式模型相比，判别式模型仅适用目标的外观信息进行建模，在跟踪过程中目标与背景都可能发生变化，因此分类器需要对目标和背景外观的变化具有自适应性。

图1是判别式模型跟踪框架，在图像完成特征提取后，特征经过分类器判别就可以确定目标的空间位置，而不再需要对目标外观模型进行复杂的建模。因此，基于判别式模型的跟踪方法越来越受关注。

发明内容

本发明的目的在于：针对现有技术存在的问题，提供一种基于RGB颜色直方图的判别式跟踪方法，解决现有跟踪方法在跟踪运动目标时，会在拼接缝处出现断裂的问题。

本发明的发明目的通过以下技术方案来实现：

一种基于RGB颜色直方图的判别式跟踪方法，其特征在于，该方法包括：预先估计出目标概率图；在当前搜索区域内滑动窗口，并依次计算候选窗口被认为是目标的得分，选取得分最高的候选窗口作为新的目标位置；根据新的目标位置更新概率图，标定目标。

进一步，预先估计出目标概率图的方法为：采用贝叶斯分类器，对于跟踪的目标O，设定其外接矩形区域为R，其周围背景区域为A，用

表示区域U上RGB颜色值为rgb_x的像素点个数，则根据贝叶斯规则，图像I上像素点x在目标O上的概率为

公式中的“其他”表示：未出现的RGB颜色向量。

进一步，将目标周围的相似区域考虑进来，假设当前的相似区域集合为D，定义基于相似区域的目标概率为：

将P(x∈O|O,R,A,rgb_x)和P(x∈O|O,R,D,rgb_x)结合获得最终的目标概率图如下：

其中PA_x＝P(x∈O|O,R,A,rgb_x)，PD_x＝P(x∈O|O,R,D,rgb_x)。

进一步，计算当前帧的P(x∈O|rgb_x)，然后和上一帧的P_t-1(x∈O|rgb_x)进行加权求和获得当前帧的概率图为：P_t(x∈O|rgb_x)＝αP(x∈O|rgb_x)+(1-α)P_t-1(x∈O|rgb_x)。

进一步，搜索区域的大小根据上一帧中目标尺寸决定，水平步长和垂直步长由重叠阈值确定，滑动窗口的大小为上一帧中目标尺寸的75％。

进一步，得分的计算公式如下：

其中，c_t-1是t-1帧中目标中心点坐标。

进一步，得分最高的滑动窗口作为新的目标位置的计算公式为：

根据计算出来的

当O_t,i符合

时将其定义为新的干扰区域。

进一步，设P为概率图，分别计算区域O、D上的累计直方图

和

根据前述两式计算自适应阈值

得到的T是一个向量，取T中最小的元素作为阈值，调整当前目标区域

首先定义

内部的75％作为一个安全的目标区域，然后从安全区域的四个方向向外依次计算每行和每列的概率值之和S_p，若S_p＞λT则判定当前行或列为目标区域的一部分，否则，判定其为背景。

与现有技术相比，本发明具有以下优点：

(1)该方法基于目标的颜色直方图，因此对目标在全景图像拼接缝处可能出现的断裂情况有很好的抵抗力。

(2)该方法对运动目标由远及近或由近及远的运动造成目标尺寸变化有较好的适应能力。

(3)当在搜索区域内检测目标时，可以使用预先计算好的概率图和积分直方图，因此处理速度较快，可以达到实时的要求。

(4)针对基于颜色模型的跟踪器在目标周围出现相似物体时，容易出现目标跟踪丢失或目标估计尺寸变大等，本方法引入干扰项，可以抑制目标周围相似区域对跟踪结果的影响。

附图说明

图1为判别模型跟踪框架；

图2为未引入干扰项抑制概率图；

图3为引入干扰项抑制概率图；

图4为搜索窗口示意图；

图5为目标尺尺寸更新示意图；

图6为全景效果较差情况下跟踪效果图

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明提出了一种改进的基于RGB颜色直方图的判别式目标跟踪方法，其主要用于全景视频，首先，预先估计出目标概率图，降低在搜索区域内搜索目标时的计算量；其次，在当前搜索区域内滑动窗口依次计算候选窗口被认为是目标的得分，选取得分最高的候选窗口作为新的目标位置；最后，根据新的目标位置更新概率图，标定目标。本方案与其他基于颜色直方图的跟踪方法的不同之处在于优化了干扰抑制项，对目标周围出现的相似的区域有较好的抵抗力。针对机场场景较大目标可能由远及近或由近及远的运动造成目标尺度变化较大的情况，在算法中加入尺度估计的功能，可根据目标物大小自动调整大小。

本发明包括以下几个部分：

1、建立预估计目标概率图

本发明基于判别式的目标跟踪方法将目标跟踪视为目标与背景，利用上一帧目标位置的局部区域抽样，从当前帧图像的背景中区分出目标的区域。而目标跟踪的准确性和稳定性也在很大程度上依赖于目标与背景的可分性。采用贝叶斯分类器，对于跟踪的目标O，设定其外接矩形区域为R，其周围背景区域为A。根据贝叶斯规则，图像I上像素点x在目标O上的概率为

其中rgb_x表示像素点x处的RGB颜色值向量。然后使用RGB颜色直方图估计似然项

其中

表示区域U上RGB颜色值为rgb_x的像素点个数，|·|为集合的势，先验概率P(x∈O)≈|R|/(|O|+|R|+|A|)。代入上式(1)可得

对于未出现的RGB颜色向量，设在下一帧目标区域出现的概率和不在下一帧目标区域出现的概率是相同的，因此，此处赋值为0.5。

基于颜色的跟踪器最大的问题是当目标周围出现相似区域时，可能把相似区域误判成目标或目标的一部分。为了解决这个问题，将目标周围的相似区域考虑进来，假设当前的相似区域集合为D，类似于公式(1)，定义基于相似区域的目标概率为：

将P(x∈O|O,R,A,rgb_x)和P(x∈O|O,R,D,rgb_x)结合获得最终的目标概率图如下：

其中PA_x＝P(x∈O|O,R,A,rgb_x)，PD_x＝P(x∈O|O,R,D,rgb_x)。

图2中仅考虑目标区域(黑色矩形框区域)，利用公式(3)计算所得的概率图如图2中第二幅图像所示。从此图中可以看出干扰项(白色矩形框区域)处的概率较高，可能影响目标的跟踪。图3中加入了干扰项(黑色矩形框区域)抑制，利用公式(5)计算所得概率图如图3中的第二幅图像所示。在加入干扰项抑制后，计算所得概率图干扰项处的值明显得到了抑制，降低了对真实目标的干扰。

由于目标在不断运动和外界条件的变化(光照，雾，霾等)，目标的外观可能不断的发生变化，因此需要不断的更新概率图。首先，使用公式(5)计算P(x∈O|rgb_x)，然后和上一帧的P_t-1(x∈O|rgb_x)进行加权求和获得当前帧的概率图为

P_t(x∈O|rgb_x)＝αP(x∈O|rgb_x)+(1-α)P_t-1(x∈O|rgb_x) (6)

式(6)计算所得的概率图考虑到了目标前N帧的属性值，因此本算法在跟踪目标时对目标局部被短暂遮挡的情况有较强的抵抗力。

2、位置更新

视频中的目标是连续移动的，因此目标在t帧的位置O_t一定在t-1帧位置O_t-1的附近。定义一个搜索区域和一个滑动窗口，从搜索区域左上角开始，从左到右，从上至下计算当前滑动窗口是目标新位置的得分情况，如图4所示。搜索区域的大小根据上一帧中目标尺寸决定，水平步长和垂直步长由重叠阈值确定，滑动窗口的大小为上一帧中目标尺寸的75％。

定义当前滑动窗口得分的计算公式如下：

其中，c_t-1是t-1帧中目标中心点坐标。然后，求取得分最高的滑动窗口作为新的目标位置

当真实的目标周围出现与目标相似的区域时，会干扰对目标的跟踪，因此在计算概率图时引入了干扰项。因为目标可能不断在发生变化，干扰项也随之变化，因此需要重新检测当前的干扰区域。根据计算出来的

当O_t,i符合

时将其定义为新的干扰区域。

3、尺寸更新

目标运动可能是从远到近或从近到远，因此目标的尺寸可能发生较大改变需要重新估计目标在当前帧中的尺寸。首先在新的一帧中定位目标，然后进行尺寸估计。通过对P(x∈O|rgb_x)阈值化分割出感兴趣区域，但是固定的阈值由于目标背景的复杂性和光照的快速变化可能影响尺度的正确估计，因此阈值需要是动态变化的。设P为概率图，分别计算区域O,D上的累计直方图

根据式(9)(10)计算自适应阈值

得到的T是一个向量，取T中最小的元素作为阈值。

调整当前目标区域

首先定义一个安全的目标区域为

内部的75％，然后从安全区域的四个方向向外依次计算每行和每列的概率值之和S_p，如图5所示。若S_p＞λT则判定当前行或列为目标区域的一部分，否则，判定其为背景。

使用本发明提出的跟踪方法在四路全景视频中的跟踪结果如图6中的黑色方框区域所示，可见本发明可以很好的跟踪运动物体。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于RGB颜色直方图的判别式跟踪方法，其特征在于，该方法包括：

预先估计出目标概率图；

在当前搜索区域内滑动窗口，并依次计算候选窗口被认为是目标的得分，选取得分最高的候选窗口作为新的目标位置；

根据新的目标位置更新概率图，标定目标；

预先估计出目标概率图的方法为：采用贝叶斯分类器，对于跟踪的目标O，设定其外接矩形区域为R，其周围背景区域为A，用

表示区域U上RGB颜色值为rgb_x的像素点个数，则根据贝叶斯规则，图像I上像素点x在目标O上的概率为

公式中的“其他”表示：未出现的RGB颜色向量；

将目标周围的相似区域考虑进来，假设当前的相似区域集合为D，定义基于相似区域的目标概率为：

将P(x∈O|O,R,A,rgb_x)和P(x∈O|O,R,D,rgb_x)结合获得最终的目标概率图如下：

其中PA_x＝P(x∈O|O,R,A,rgb_x)，PD_x＝P(x∈O|O,R,D,rgb_x)。

2.根据权利要求1所述的一种基于RGB颜色直方图的判别式跟踪方法，其特征在于，计算当前帧的P(x∈O|rgb_x)，然后和上一帧的P_t-1(x∈O|rgb_x)进行加权求和获得当前帧的概率图为：P_t(x∈O|rgb_x)＝αP(x∈O|rgb_x)+(1-α)P_t-1(x∈O|rgb_x)。

3.根据权利要求1所述的一种基于RGB颜色直方图的判别式跟踪方法，其特征在于，搜索区域的大小根据上一帧中目标尺寸决定，水平步长和垂直步长由重叠阈值确定，滑动窗口的大小为上一帧中目标尺寸的75％。

4.根据权利要求1所述的一种基于RGB颜色直方图的判别式跟踪方法，其特征在于，得分的计算公式如下：

其中，c_t-1是t-1帧中目标中心点坐标。

5.根据权利要求4所述的一种基于RGB颜色直方图的判别式跟踪方法，其特征在于，得分最高的滑动窗口作为新的目标位置的计算公式为：

根据计算出来的

当O_t,i符合

时将其定义为新的干扰区域。

6.根据权利要求5所述的一种基于RGB颜色直方图的判别式跟踪方法，其特征在于，设P为概率图，分别计算区域O、D上的累计直方图

和

根据前述两式计算自适应阈值

得到的T是一个向量，取T中最小的元素作为阈值，调整当前目标区域

首先定义

内部的75％作为一个安全的目标区域，然后从安全区域的四个方向向外依次计算每行和每列的概率值之和S_p，若S_p>λT，则判定当前行或列为目标区域的一部分，否则，判定其为背景。

Images