CN101727672A - 一种物体滞留/偷窃事件的检测、跟踪、识别方法 - Google Patents

Abstract

一种物体滞留/偷窃事件的检测、跟踪、识别方法，包括：1)运动目标检测。建立自适应背景模型，利用背景差分提取运动目标，再通过形态学和阴影处理以获得更完整、更准确的运动目标状态。2)运动目标跟踪。通过对运动目标的状态进行估计、观测和校正的递归过程，实现帧间运动目标匹配，跟踪运动目标的运动轨迹。3)事件识别。对物体滞留/偷窃事件给出清晰的界定，根据运动目标的特征及运动轨迹判定事件的发生，如果事件发生，区分滞留和偷窃两种事件。对识别到的滞留和偷窃事件抓取证据图片，并且提供声音报警。

Description

一种物体滞留/偷窃事件的检测、跟踪、识别方法

(一)技术领域

本发明属于智能化视频监控技术领域，特别涉及物体滞留/偷窃事件的检测、跟踪和识别。

(二)背景技术

智能化视频监控系统是近几年来计算机视觉领域的一个新兴研究方向，它是利用计算机视觉技术对摄像机采集的视频数据进行分析、理解，并以此为基础对视频监控系统进行控制，从而使视频监控系统具有象人一样的智能，主要涉及模式识别、图像处理、计算机视觉、人工智能等方面的科学知识。这一技术包括了运动目标的检测、运动目标跟踪、目标分类、行为理解及描述等方面，是一个具有挑战性的问题。近年来随着视觉监视系统所需的硬件设备(如摄像机、云台等)成本的日益降低，监控系统在我国开始步入普及阶段，广泛应用于诸如银行、宾馆、超级市场、机场、车站等公共场所，在公共安全领域发挥着日益重要的作用。但是目前监控系统的功能往往比较单一，常常要求监控人员持续的监视屏幕，通过解释获得的视频信息，然后做出相应的决策。但让监控人员长期盯着众多的电视监视器是一项繁重而乏味的工作，特别是当监控点较多时，监控人员几乎无法做到全面完整的监控。同时，由于大多数监视场景出现异常的情况毕竟为少数，这样人工监控不仅造成巨大的人力浪费，而且很容易使得监控人员思想松懈从而导致漏报，这在许多不容闪失的重要场所(如银行金库、军用仓库等场合)是不能容忍的。鉴于此，目前在国内外学术界及工业部门都开始着眼于研究新一代的具有智能化视觉监视功能的监控系统，这类系统的核心问题就是要对进入监控视场的运动目标(诸如人)进行实时的检测、跟踪和行为理解，并由此做出相应的判断和处理。

滞留与偷窃物体检测是智能视频监控系统的重要功能之一，在安防领域具有很强的实用价值。滞留物检测常用于机场，地铁，交通关口等可疑的包裹或遗留的行李检测，预防恐怖炸弹袭击。偷窃物体常用于博物馆，画廊，或其他安全区域的珍贵物品的防盗检测。滞留/偷窃物体的检测与识别属于智能视觉监控的范畴，主要是利用图像处理和分析的方法，在现实场景中自动检测和跟踪运动目标，根据运动目标的运动轨迹检测静态物体，再通过滞留/偷窃分类算法来区分滞留和偷窃事件，最后报警和抓取证据图片；使计算机具有某种理解和分析视频能力，从而对危险事件具有主动监测、防范和预警的功能。

(三)发明内容

本发明要解决的技术问题在于：1)找出一种有效的检测、跟踪、识别物体滞留/偷窃事件的方法。目前针对目标检测与跟踪有许多方法，我们针对滞留/偷窃事件的特点，采用适当的检测、跟踪方法，并且结合特有的事件识别处理，实现现实场景下的滞留/偷窃事件的实时识别。2)在室外监控环境比较复杂的情况下能消除噪声的影响，实现准确的运动目标检测。主要的噪声影响包括树叶晃动等。3)多运动目标的实时跟踪，能解决短时间阻挡情况下的跟踪问题。在滞留/偷窃物体被短时间阻挡的情况下能获得正确的运动轨迹。4)根据运动目标的运动轨迹检测可疑静态物体。5)在静态物体的识别上添加分裂判断，一方面建立物体和其拥有者之间的对应关系，一方面可用于区分光照产生的伪静态物体和真实的滞留/偷窃物体。6)物体滞留/偷窃事件都会产生场景的静态改变，我们采用两种方法来区分滞留/偷窃事件：基于颜色直方图的巴氏距离判定方法，基于轮廓判断方法。

本发明重点研究摄像机固定情况下的运动目标检测与跟踪技术，滞留/偷窃事件识别方法。本发明的目的是这样实现的：

1、运动目标检测。建立自适应背景模型，利用背景差分提取运动目标，再通过形态学和阴影处理以获得更完整、更准确的运动目标状态。

2、运动目标跟踪。通过对运动目标的状态进行估计、观测和校正的递归过程，实现帧间运动目标匹配，跟踪运动目标的运动轨迹。

3、事件识别。对物体滞留/偷窃事件给出清晰的界定，根据运动目标的特征及运动轨迹判定事件的发生，如果事件发生，区分滞留和偷窃两种事件。对识别到的滞留和偷窃事件抓取证据图片，并且提供声音报警。

本发明有以下技术特征：

1、背景模型采用自适应背景方法更新背景，利用每个像素的主特征来描述背景，根据贝叶斯规则判定像素点是前景点或背景点。阈值计算采用分块的自适应阈值方法，分别计算差分图像中每个块的阈值，而且对变化区域和背景区域采取不同的策略计算其阈值，最后采用全部阈值的平均值作为整体阈值，获得自适应的无参阈值。

2、为了获得更完整的运动目标区域和填补运动目标区域的内部空洞，形态学处理采用两次膨胀三次腐蚀一次膨胀的方法。

3、采用了HSV空间阴影检测方法。基本原理是同一物体在阴影区和非阴影区的色调是近似一致的，阴影主要使该区域内亮度有变化，而且阴影部分一定比背景的亮度要低。

4、结合粒子滤波和卡尔曼滤波两种跟踪方法实现运动目标跟踪，在阻挡时采用基于颜色特征的粒子滤波方法，在非阻挡情况下采用基于卡尔曼滤波的连通区域匹配方法。

5、判断阻挡发生的条件是：第k帧中是否存在一个前景区域与第k-1帧中的一个以上的运动目标的预测位置存在交叉。

6、基于卡尔曼滤波的连通区域匹配方法是先利用卡尔曼滤波预测第k帧的运动目标状态，然后在预测状态和第k帧检测到的前景连通区域间求最佳匹配，求得的最佳匹配即为第k帧的运动目标状态，并以此校正卡尔曼滤波的参量。

7、基于颜色模型的粒子滤波方法是在第k帧根据前一帧的运动目标状态进行随机的均匀采样，用颜色相似性求采样点权值，用权值大的采样点的均值估计第k帧运动目标状态。

8、物体滞留/偷窃事件的界定：1)滞留/偷窃物体在一段时间内位置没有发生变化。2)滞留/偷窃物体一定有拥有者，即是有人将它丢弃的，所以在物体被丢弃前一定发生了运动目标分裂。3)滞留/偷窃物体和其拥有者间存在一定距离；如果这个物体的拥有者离它很近，物体就没有被丢弃。

9、在静态物体判断过程中添加了运动目标分裂判断，目的在于1)建立物体和其拥有者之间的对应关系。2)没有被分裂过的物体可能是光照突变产生的噪声，所以用物体分裂区分光照变化和真实的滞留/偷窃物体。运动目标分裂判断是将第k帧以前的m帧的运动目标的信息记录下来，发现静态物体后，在静态物体被创建的前q帧里去找相应位置的匹配运动物体。静态物体由父物体分裂产生，所以在产生它之前的第m帧，在物体质心所在位置一定能找到一个比它大，能将其包括的物体，即它的父物体。条件再严格一点，可以计算静态物体和候选父物体之间的颜色直方图距离，取颜色最相近的作为父物体。

10、根据滞留和偷窃物体会造成与周围场景颜色或纹理的不一致的特点，采用两种分类方法来区分滞留/偷窃事件：基于颜色直方图的巴氏距离判定方法，基于轮廓判断方法。基于颜色直方图的方法是根据当前帧与背景图像的前景点与非前景点的颜色直方图的相似性来区分滞留和偷窃物体，直方图采用降维的彩色直方图。基于轮廓的方法是提取当前帧和前景二值图像的边缘，利用边缘图像的空间相似性和连通性来辨别滞留物体和偷窃物体。

与现有技术相比，本发明的优点在于：

1、采用基于主特征的自适应背景模型，利用每个像素的主特征来描述背景，根据贝叶斯规则判定像素点是前景点或背景点。阈值计算采用分块的自适应阈值方法，分别计算差分图像中每个块的阈值，而且对变化区域和背景区域采取不同的策略计算其阈值，最后采用全部阈值的平均值作为整体阈值，获得自适应的无参阈值。

2、为了获得更完整的运动目标区域和填补运动目标区域的内部空洞，形态学处理采用两次膨胀三次腐蚀一次膨胀的方法。为了获得准确的运动目标区域需要去除阴影的部分，我们采用了HSV的方法来去除阴影。

3、结合粒子滤波和卡尔曼滤波两种跟踪方法实现运动目标跟踪，在阻挡时采用基于颜色特征的粒子滤波方法，在非阻挡情况下采用基于卡尔曼滤波的连通区域匹配方法。

4、对滞留/偷窃事件给出界定：1)滞留/偷窃物体在一段时间内位置没有发生变化。2)滞留/偷窃物体一定有拥有者，即是有人将它丢弃的，所以在物体被丢弃前一定发生了运动目标分裂。3)滞留/偷窃物体和其拥有者间存在一定距离；如果这个物体的拥有者离它很近，物体就没有被丢弃。

5、在静态物体判断过程中添加了运动目标分裂判断，目的在于1)建立物体和其拥有者之间的对应关系。2)没有被分裂过的物体可能是光照突变产生的噪声，所以用物体分裂区分光照变化和真实的滞留/偷窃物体。

6、根据滞留和偷窃物体会造成与周围场景颜色或纹理的不一致的特点，采用两种分类方法来区分滞留/偷窃事件：基于颜色直方图的巴氏距离判定方法，基于轮廓判断方法。基于颜色直方图的方法是采用降维的彩色直方图代替原有的灰度直方图方法，获得更好的分类效果。基于轮廓的方法是在原有利用边缘图像的空间相似性的基础上，添加了轮廓的连通性判断。

7、结合以上的检测、跟踪和事件识别算法，实现实时物体滞留/偷窃事件识别。

(四)附图说明

图1为智能视频监控系统体系结构示意图

图2为运动目标检测算法流程图

图3为运动目标跟踪算法流程图

图4为滞粒子滤波处理流程图

图5为滞留/偷窃事件识别方法流程图

(五)具体实施方式

下面结合具体实施例和附图进一步详细说明：

实施例1：

图1所示为智能视频监控系统体系结构示意图。智能视频监控系统包括视频采集单元，智能事件分析处理单元，报警单元三个部分。视频采集单位包括若干摄像头，通过图像采集卡输入视频到智能监控管理服务器，智能监控管理服务器同时对多路视频进行分析和处理，检测到报警事件后，生成报警信息输出到报警系统进行语音报警，同时将报警信息和证据图片等信息保存到磁盘中。

实施例2：

图2为运动目标检测的处理流程图。处理步骤如下：1)前景提取。前景提取采用背景差分的方法，背景建模采用基于主特征的自适应背景模型。2)像素级预处理。前景检测出的区域包含很多噪声点，因此要对像素进行进一步的处理，主要包括噪声点去除，阴影去除。3)连通区域分析，主要解决前景区域融合和分割。4)区域预处理。使用形态学去除空洞和噪声，去除很小的前景目标，因为小的前景目标可能是环境影响造成的噪声点。最后对运动目标进行标识。5)特征提取。特征提取主要是提取每个运动目标的位置，大小，质心，轮廓，颜色直方图，为以后的处理阶段提供特征信息。

(1)基于主特征的自适应背景模型主要是利用每个像素的主特征来描述背景。主特征是指在一个像素点上所观察到的最显著最常见的特征。像素点的特征有三种：光谱(即颜色)、空间(即纹理)和时间(颜色共生)特征。主特征是找出这三种特征的主要特征值。

通过简单的背景差分和帧间差分，把当前帧中未改变的像素过滤掉。根据帧间差分，检测出的变化点被划分为静态的变化点和动态的变化点，如果点x在帧间差分中是前景点，则x点被判定为动态的点，否则是静态的点。

对于每一种特征，对于一个像素点x都建立一个用于记录它的主要特征向量的统计表：

$T_v\left(x\right)=\{p_v^t\left(b\right),{\left\{S_v^t\left(i\right)\right\}}_{i=1}^{N\left(v\right)}\}$

其中，p_v ^t(b)是在像素点x在观察到特征向量v的条件下是背景的概率。S_v ^t(i)是记录了像素点x的前N(v)个最常见的特征向量的统计数据。每个S_v ^t(i)包括3个部分：

$S_v^t\left(i\right)=\left\{\begin{array}{c}{p}_{v_i}^t=p_x\left(v_i\right)\\ p_{v_i|b}^t=p_x\left(v_i\right|b)\\ v_i={(v_{i1},...,v_{\mathrm{iD}\left(v\right)})}^T\end{array}\right.$

其中，D(v)是特征向量v的维数。

是在像素点x观察到特征向量v的先验概率，

是在像素点x已经是背景点的条件下观察到特征向量v的条件概率。

S_v ^t(i)在表T_v(s)中以

的值按降序排列。因此T_v(s)表中的前N(v)个元素就被看作是主要特征。光谱(颜色)特征和空间(纹理)特征用于静态物体，时间(颜色共生)特征用于动态物体。颜色特征向量c_t＝[R_t，G_t，B_t]^T，共生颜色的特征向量定义为cc_t＝[R_t-1，G_t-1，B_t-1，R_t，G_t，B_t]^T，纹理特征是用Sobel算子获得的梯度

像素点根据贝叶斯规则被判定是前景点或背景点。假设像素点x点时刻t观察到特征向量v_t。

对于一个静态像素点，判断该点是背景点的贝叶斯判定条件是：

2P_x(c_t|b)P_x(e_t|b)P_x(b)＞P_x(c_t)P_x(e_t)

对于一个动态像素点，判断该点是背景点的贝叶斯判定条件是：

2P_x(cc_t|b)P_x(b)＞P_x(cc_t)

背景模型用两种策略进行更新。首先，每个像素的主要特征和其统计值逐渐更新。每个统计表中的更新后的值依旧按

降序进行排列，以保证前N(v)个是像素点的主要特征。当像素点x的一些新的特征成为主要特征时，它们会在背景中体现出来。

为了获得准确的背景差分，需要建立一个参照背景图像，并且不断更新它。设x是t时刻最终分割结果的一个点，如果它在变化检测步骤中被判定为一个未改变的背景点，则参考背景图像按以下公式进行平滑更新：

B_C(x，t+1)＝(1-β)B_C(x，t)+ββI_C(x，t)

基于主特征的自适应背景模型是一种自适应的背景模型，在检测中能消除树晃等噪声。

(2)阴影出除主要采用采用了HSV空间阴影检测方法。这种方法的基本原理：同一物体在阴影区和非阴影区的色调是近似一致的，阴影主要使该区域内亮度有变化，而且阴影部分一定比背景的亮度要低。

设Hnew，Snew，Vnew表示待检测的运动区域上某一像素点的色度(H)、饱和度(S)、亮度(V)的三个分量，Hmodel，Smodel，Vmodel表示该区域对应背景像素点的色度、饱和度、亮度的三个分量。具体算法如下：

式中，Ts、TH、γ、β分别表示饱和度，色度分量，亮度的阈值。我们取阈值β＝0.65，γ＝0.4，Ts＝0.1，TH＝0.1。这个方法的关键就在于根据场景调整以上阈值。

(3)形态学主要用来处理差分前景图像的空洞与噪声，我们形态学的方法是两次膨胀三次腐蚀一次膨胀。这种方法在不改变运动目标大小的情况下，能比较好的填补空洞。

实施例3：

图3为运动目标跟踪的处理流程图。跟踪算法首先用卡尔曼滤波来预测是否会发生阻挡。在目标间没有发生阻挡的情况下，采用基于卡尔曼滤波的连通部件跟踪方法；在目标间存在阻挡的情况下，采用粒子滤波跟踪方法。卡尔曼滤波只能解决非线性非高斯的系统，在非阻挡情况下，相邻两帧图像时间间隔足够短，可以假设目标在单位时间内是匀速运动，因此可以用卡尔曼滤波实现跟踪。在阻挡情况下，跟踪过程的后验概率分布往往是非线性非高斯的，适合用粒子滤波来完成。

判断阻挡发生的条件是：第k帧中是否存在一个前景连通区域与第k-1帧中的一个以上的运动目标的预测位置存在交叉，如果存在则发生阻挡。

基于卡尔曼滤波的连通部件跟踪方法的主要思想：由k-1帧的目标信息用卡尔曼滤波预测第k帧运动目标位置，然后在第k帧的前景连通区域和预测运动目标位置间找最佳匹配。找最佳匹配的方法是计算运动目标和第k帧中可能存在匹配关系的运动目标的颜色巴氏距离，取巴氏距离最短的目标作为最佳匹配。

基于颜色的粒子滤波跟踪方法的主要思想：根据每个运动目标的初始状态定义若干采样粒子，每一个粒子可看作是对该目标状态的一个假设(候选位置)。由参照目标信息初始并预测粒子信息；然后通过计算各个粒子与参照目标颜色模型之间的颜色巴氏距离来获得粒子的权重；然后进行重采样保留权重大的粒子，去除权重小的粒子。运动目标最后的状态等于重采样后粒子的按权重所求得的均值。最后用求得的均值更新参照目标的颜色模型。

图4为粒子滤波的处理流程，基于粒子滤波的跟踪的步骤如下：

(1)粒子初始：一个粒子主要包括目标信息(x，y，width，height)和权重。在目标被发现时，i)根据目标的初始状态，初始生成N个粒子s⁽ⁿ⁾的一个集合，每个粒子是对下一时刻目标状态的假设，权重都为1。ii)计算参照目标的颜色模型，用于以后和各粒子计算颜色巴氏距离。

(2)粒子预测

在帧与帧之间，目标的位置和大小都会发生变化，所以要在上一帧粒子情况的基础上做一些预测。以上一帧目标的重采样粒子信息为初始，对粒子的位置和大小进行一定范围的随机变动，将这些变动后的粒子作为预测粒子。预测阶段很重要，应该根据上一帧目标的信息，对下一帧可能的目标信息作出适当的预测。

(3)计算粒子权值

i)对每个粒子建立颜色模型：

设{x_i ^*}_i＝1，...n是一个粒子包含的像素点，粒子的质心在像素点y。定义一个函数b：R²→{1...m}，b(x_i ^*)求得像素点x_i ^*的RGB颜色所对应的颜色直方图的颜色柱，m是直方图的灰度级(512级)。

$b\left(x_i^{*}\right)=(I_r>>5)+((I_g>>5)<<3)+((I_b>>5)<<6)$

以y为中心点的粒子的颜色模型p(y)＝{p(y)^(u)}_u＝1...m按以下公式计算：

${p\left(y\right)}^{\left(u\right)}=f\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}k\left(\frac{\left|\right|y-x_i\left|\right|}{a}\right)\mathrm{\&delta;}[b\left(x_i\right)-u]$

其中：y为粒子中心点位置，x_i是粒子所包含的第i个像素点的位置。

离中心点越远的像素点对颜色分布的影响越小

f是标准化因子，以确保

$f=\frac{1}{\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}k\left(\frac{\left|\right|y-x_i\left|\right|}{a}\right)}$

H_x，H_y是粒子椭圆半轴的长度。

ii)计算第n个粒子的权重：

权重 ${\mathrm{\&pi;}}^{\left(n\right)}=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{-\frac{d^2}{{2\mathrm{\&sigma;}}^2}}$

其中：d是两个颜色模型的巴氏距离，q是参照目标的颜色模型，s⁽ⁿ⁾是第n个粒子的颜色模型。σ²＝0.2。

其中：

代表颜色模型的灰度级别，(s⁽ⁿ⁾)^(u)表示第n个粒子第u级所占(s^(u))的比重。q^(u)表示参照目标第u级所占q的比重。

(4)重采样

将粒子权重进行叠加，所有粒子的权重之和为1，在[0，1]区间取随机数落在叠加权重的那个区域，就复制相应粒子作为重采样粒子，每个粒子的权重置为1。这样能去除权值小的粒子，而保留权值大的粒子。

(5)计算均值

对重采样后的粒子，按权值求粒子状态的均值以获得目标的跟踪位置。

其中s⁽ⁿ⁾表示第n个粒子的状态(x，y，width，height)，π⁽ⁿ⁾表示第n个粒子的权重。

(6)更新参照目标的颜色模型q。

(7)下一帧，重复(2)到(6)，直至图像序列结束。

实施例4：

图5为物体滞留/偷窃事件识别的处理流程，主要包括三个阶段：运动目标检测，运动目标跟踪，事件识别。运动目标检测主要采用背景差分技术获得前景图像，然后利用阴影处理和形态学进行去噪。运动目标跟踪阶段，对于发生阻挡的运动目标采用粒子滤波进行跟踪，对于没有发生阻挡的运动目标采用基于卡尔曼滤波的连通区域匹配方法进行跟踪。事件识别，首先根据运动目标轨迹找出静态物体。如果物体在一段时间内位置没有发生变化则为一个静态物体。然后判断静态物体是否发生过分裂，并且找出分裂它的父运动目标。最后是滞留和偷窃事件的区分。

我们对滞留/偷窃事件给出界定：1)滞留/偷窃物体在一段时间内位置没有发生变化。2)滞留/偷窃物体一定有拥有者，即是有人将它丢弃的，所以在物体被丢弃前一定发生了运动目标分裂。3)滞留/偷窃物体和其拥有者间存在一定距离；如果这个物体的拥有者离它很近，物体就没有被丢弃.

根据上述条件，我们采用以下方法识别一个滞留(偷窃)事件的发生：

1)根据运动目标的跟踪结果，我们可以获得每个运动目标的跟踪轨迹，可以判定运动目标的静止时间。一个静态物体的满足以下条件：

在一定连续的帧数(60～300帧)内，物体的质心位置变化和大小的变化都小于一定阈值T，T是一个很小的值。说明物体在连续一定时间内没有发生运动；

2)物体被丢弃前一定发生了运动目标分裂，所以对静态物体进行分裂判断，对没有发生过分裂的物体被认为是光照产生的变化。

滞留/偷窃物体都是静态物体，在检测过程中很容易和动态物体区分。但是突然的光照变化也属于静态变化，所以光照变化难以和放置和偷窃物体区分开来。我们利用分裂原则来区分光照和真实的滞留/偷窃，如果是放置和偷窃物体，则必定存在人为因素，一定会发生物体和人分裂的情景，而光照变化却一般不会发生分裂现象。光照变化会用于背景模型的更新。

将当前帧以前的m帧的运动目标的信息记录下来，发现静态物体b后，在静态物体b被创建的前q帧里去找相应的匹配运动物体。静态物体由父物体c分裂产生，所以在产生它之前的第m帧(20帧)，在物体质心所在位置一定能找到一个比它大，能将其包括的物体。这个物体就是它的父物体。这样就在静态物体b和父物体c间建立了联系。这时，还可以用第m帧作为丢弃物体的证据存放起来。如果条件再严格一点，可以计算静态物体b和候选父物体c之间的颜色直方图距离。

3)确定物体是否被丢弃的标准是其父运动目标与其之间的距离。首先判断父运动目标是否还在场景中，如果父运动目标已经消失了，静态物体的停滞时间开始记数。如果父运动目标还在场景中，计算父运动目标与当前运动目标之间的距离，如果大于一定阈值(300像素)表明被丢弃，静态物体的停滞时间开始记数。如果距离很近，表明没有被丢弃，静态物体的停滞时间为0。最后判断物体的停滞时间大于一定阈值(150s～600s)，开始报警。

实施例5：

在确定发生了滞留或偷窃事件后，我们需要区分滞留与偷窃事件。根据滞留和偷窃物体会造成与周围场景颜色或纹理的不一致，所以本文研究了两种分类方法：基于颜色直方图的巴氏距离判定方法，基于轮廓判断方法。

(1)基于颜色直方图的巴氏距离判定方法是利用当前帧与背景图像，物体方框内的前景点与非前景点的颜色直方图的相似度来区分滞留和偷窃物体。如果是物体滞留，当前帧的前景点与非前景点的颜色差别比较大，而背景帧的前景点与非前景点的颜色差别比较小。如果是物体偷窃，则情况相反。我们的颜色直方图采用了降维(32维)的彩色直方图，与灰度直方图相比能获得更好的分类效果。

具体实现过程：根据静态物体的轮廓，计算静态物体边框。根据物体边框，对当前帧、背景图像和二值图像分别提取感兴趣区域(ROI)，得到当前帧ROI、背景图像ROI和二值图像ROI。在感兴趣区域ROI基础上，定义四种区域。假设：N：在二值ROI图像中被检测为前景的像素。

：在二值图像中被检测为背景的像素。区域A：满足条件N的当前帧ROI区域。区域B：满足条件

的当前帧ROI区域。区域C：满足条件N的背景图像ROI区域。区域D：满足条件

背景图像ROI区域。分别计算这四种区域的灰度直方图，利用巴氏距离进行直方图比较。如果是滞留物体，区域A和区域B的巴氏距离较大，而区域C和区域D的巴氏距离较小。

(2)基于轮廓判断方法提取当前帧和二值图像的边缘，利用边缘图像的空间相似性来辨别滞留物体和偷窃物体，如果当前帧与二值图像间能进行轮廓匹配，则判断为滞留物体，否则是偷窃物体。我们的轮廓比较，不仅考虑轮廓的空间相似性，还添加了轮廓连通性比较。

具体实现过程：根据静态物体的轮廓，计算静态物体边框。对于当前帧和二值图像，根据静态物体的边框分别提取感兴趣区域(ROI)，得到二值图像ROI和当前帧ROI。对二值图像ROI和当前帧ROI运用相同的边缘算子求取边缘。对二值图像轮廓和当前帧轮廓进行轮廓比较。以二值图像的轮廓为基准，在当前帧轮廓中寻找取对应的轮廓点。如果轮廓点在空间上有很大的相似性，并且具有一定的连通性，则判断为滞留，否则为偷窃。

Claims (9)

1.一种物体滞留/偷窃事件的检测、跟踪、识别方法，其特征在于：

(1)运动目标检测。建立自适应背景模型，利用背景差分提取运动目标，再通过形态学和阴影处理以获得更完整、更准确的运动目标状态。

(2)运动目标跟踪。通过对运动目标的状态进行估计、观测和校正的递归过程，实现帧间运动目标匹配，跟踪运动目标的运动轨迹。

(3)事件识别。对物体滞留/偷窃事件给出清晰的界定，根据运动目标的特征及运动轨迹判定事件的发生，如果事件发生，区分滞留和偷窃两种事件。对识别到的滞留和偷窃事件抓取证据图片，并且提供声音报警。

2.根据权利要求1.1所述的背景模型，

(1)采用自适应背景方法更新背景，其特征在于：利用每个像素的主特征来描述背景，根据贝叶斯规则判定像素点是前景点或背景点。阈值计算采用分块的自适应阈值方法，分别计算差分图像中每个块的阈值，而且对变化区域和背景区域采取不同的策略计算其阈值，最后采用全部阈值的平均值作为整体阈值，获得自适应的无参阈值。

(2)形态学处理。其特征在于：为了获得更完整的运动目标区域和填补运动目标区域的内部空洞，采用两次膨胀三次腐蚀一次膨胀的方法。

(3)阴影处理，其特征在于：采用了HSV空间阴影检测方法。基本原理是同一物体在阴影区和非阴影区的色调是近似一致的，阴影主要使该区域内亮度有变化，而且阴影部分一定比背景的亮度要低。

3.根据权利要求1.2所述的运动目标跟踪，其特征在于：结合粒子滤波和卡尔曼滤波两种跟踪方法实现运动目标跟踪，在阻挡时采用基于颜色特征的粒子滤波方法，在非阻挡情况下采用基于卡尔曼滤波的连通区域匹配方法。

4.根据权利要求3所述的阻挡，判断阻挡发生的条件是：第k帧中是否存在一个前景区域与第k-1帧中的一个以上的运动目标的预测位置存在交叉。

5.根据权利要求3所述的基于卡尔曼滤波的连通区域匹配方法，其特征在于：用卡尔曼滤波预测第k帧的运动目标状态，然后在预测状态和第k帧检测到的前景连通区域间求最佳匹配，求得的最佳匹配即为第k帧的运动目标状态，并以此校正卡尔曼滤波的参量。

6.根据权利要求3所述的基于颜色模型的粒子滤波方法，其特征在于：在第k帧，根据第k-1帧的运动目标状态进行随机的均匀采样，用颜色相似性求采样点权值，用权值大的采样点的均值估计第k帧运动目标状态。

7.根据权利要求1.3所述的物体滞留/偷窃事件的界定，其特征在于：1)滞留/偷窃物体在一段时间内位置没有发生变化。2)滞留/偷窃物体一定有拥有者，即是有人将它丢弃的，所以在物体被丢弃前一定发生了运动目标分裂。3)滞留/偷窃物体和其拥有者间存在一定距离；如果这个物体的拥有者离它很近，物体就没有被丢弃。

8.根据权利要求1.3所述的运动目标分裂，目的在于，

(1)建立物体和其拥有者之间的对应关系

(2)没有被分裂过的物体可能是光照突变产生的噪声，所以用物体分裂区分光照变化和真实的滞留/偷窃物体。

9.根据权利要求1.3所述的区分滞留和偷窃两种事件，其特征在于：根据滞留和偷窃物体会造成与周围场景颜色或纹理的不一致的特点，采用两种分类方法：基于颜色直方图的巴氏距离判定方法，基于轮廓判断方法。基于颜色直方图的方法是根据当前帧与背景图像的前景点与非前景点的颜色直方图的相似性来区分滞留和偷窃物体，直方图采用降维的彩色直方图。基于轮廓的方法是提取当前帧和前景二值图像的边缘，利用边缘图像的空间相似性和连通性来辨别滞留物体和偷窃物体。

Images