CN102722700A - 视频监控中遗留物品检测的方法和系统 - Google Patents

Abstract

本发明公开了一种应用于视频监控的遗留物品检测方法和系统，包括：(1)对每个像素，以队列数据结构记录其处于静止状态时的像素值，若像素表现为静止→运动→静止，且队列中的灰度值在像素处于运动状态之前和之后表现出明显的变化，则判定该像素为候选像素；(2)以邻接元素标记的方式将候选像素合并成连通区域，根据遗留物品应该在图像中占据一定的长度和宽度，以及区域的形状应该比较规则这两条准则，在区域的层面上作进一步的过滤处理；(3)为每个像素设置一个计数器，若像素属于运动目标，则重置对应的计数器，否则逐帧作累加，由该计数器触发背景队列的进队操作和候选像素检测模块，以及对队尾元素的更新操作。本发明所公开的通过分析队列数据检测候选像素的方法，能很好地捕捉像素由静止转为运动，再由运动转为静止的过程中，由于遗留物品融入到背景图像所产生的像素灰度值变化；另外，引入计数器计数像素处于静止状态的帧数，不仅能有效地避免由于不可靠的背景信息而产生的误判别，而且为候选像素判别模块提供了触发器。

Description

视频监控中遗留物品检测的方法和系统

技术领域

本发明涉及视频图像处理领域，特别涉及应用于视频监控系统的遗留物品检测方法和系统。

背景技术

遗留物品是运行于火车、地铁、机场等公共场合的视频监控系统所重点关注的一类非正常事件，对于这些场合的监控系统，自动地检测遗留物品(如背包、手提箱、行李箱等)是一个有关公共安全的非常重要而且迫切需要的功能。PETS 2006从三个方面给出了判定遗留物品的规则，(1)语境规则：一件行李由行人携带进入场景，到某个时间点，该行李不再与其所有者物理接触；(2)空间规则：行李与其所有者之间的距离超过3米，处于无人照看的状态；(3)时间规则：行李连续处于无人照看的状态超过30秒。

遗留物体在视频序列中的表现有其特殊性，进入场景的时候，它表现为运动目标；被遗留之后，它将融合在背景图像中，成为背景的一部分。

文献“Abandoned Object Detection in Crowded Places”(Guler S.等，Proc.9th IEEEInternational Workshop on PETS，2006)提出一种基于运动目标跟踪的遗留物品检测方法，认为遗留物品的过程是行人将物品放置在地面的过程。所以，跟踪模块重点关注被跟踪对象的分裂事件，当观察到潜在的放置动作，一个基于计数的静止物体检测模块随之启动。若目标跟踪、对象分裂和放置、及静止物体检测这三个模块输出的结果一致，则判定发生遗留事件。需要指出的是，当场景中存在较多的运动对象，遮挡、运动不连续等情况时有发生。更有甚者，行人将物品遗留在场景中的过程往往是不连贯的，如将物品放置在地面后，可能会在其周围来回地运动较长的时间，然后离开。在此过程中，遗留的物品可能被遮挡。这一切，对目标跟踪，以及检测对象分裂是非常严峻的挑战。

文献“Robust Abandoned Object Detection Using Dual Foregrounds”(Porikli F.等，EURASIP Journal on Advances in Signal Processing，2008(1)：1-11)提出使用两个背景图像：短时背景和长时背景。在每一帧估计与上述两个背景图像对应的前景区域，其结果是对应时间域变化部分的二值化掩模。对每一个像素，分析其在长时前景和短时前景中的表现，将其归类为以下四种中的一种：运动像素、由运动转为静止的像素、由被遮挡转为可见的背景像素、背景像素。以上述判定结果更新一个被称作为“证据”的图像，若证据值大于一个预先设定的阈值，则该像素被判定为属于遗留物品。基于多个背景的方法，很大程度上依赖于背景模型的可靠性。在视频监控系统中，行人等运动目标可能会短时间地由运动转为静止状态，背景更新模块难于避免将这种短时静止像素作为背景来对待。而不可靠的背景信息，不仅无助于遗留物品检测，而且会引入误判别。

发明内容

本发明所要解决的技术问题是提供一种应用于视频监控系统，检测是否出现无人照看的遗留物品的方法和系统，具体地说，在基于本发明的一个实施例中，使用固定安装的摄像机观察场景，以采集所得的彩色图像序列作为输入，若系统检测到发生遗留事件，则向监控中心给出告警信息。

在视频监控应用中，通常摄像机和场景之间没有相对运动。在一个时间段内，视频图像中的像素可归类为以下四类：(1)属于背景区域，在该段时间内，不被前景对象遮挡，但存在由于缓慢的光照变化和噪声而产生的像素值变化；(2)属于运动目标，在该段时间内始终表现为具有较明显的时间域变化；(3)由运动转为静止，即前面的若干帧表现为运动像素，由于运动目标离开该区域等原因转为静止状态；(4)由静止转为运动，如背景像素被新近进入该区域的运动目标遮挡，或原先静止对象重新进入运动状态。

在一个相对较长的时间范围内，发生遗留物品事件的图像区域，较多的像素将表现为由状态(4)向(3)转化的过程，即静止→运动→静止。

在视频监控系统中，行人等运动目标可能会短时间地由运动转为静止状态，背景更新模块难于避免将这种短时静止像素作为背景来对待，而且不可靠的静止像素信息不仅无助于遗留物品检测，而且可能会引入误判别。本发明寻求获取可靠的静止像素信息，在以卡尔曼滤波方法更新背景图像的同时，使用一个计时器C_s记录像素由活动转为静止后，保持静止状态的帧数。具体地，当像素(x，y)被标记为运动目标，则置C_s(x，y)＝0；否则C_s(x，y)←C_s(x，y)+1。

图像序列中，如果某个像素在时间方向表现为静止→运动→静止，并且，前后两次处于静止状态时，像素值发生了明显的变化，则可将它归类为对应遗留物品的候选像素。本发明以队列形式的数据结构记录像素处于静止状态时的像素值，通过检测队列中的数据是否表现为从大到小或从小到大的跳变，能判定对应的像素是否为候选像素。

考虑到遗留物品在图像中表现为一定尺寸的区域，本发明以邻接点标记算法将那些相互邻接的候选像素标记为连通区域，滤除太小和不规则的区域，从而在区域的层面提高检测的可靠性。

本发明的有益技术效果在于：所公开的以计时器计数像素保持静止状态的帧数，使得进入和保存在队列的背景信息更为可靠；由队列中保存的灰度值能很好地检测运动目标进入之前和离开之后，像素值是否发生了明显变化；最后，将发生明显变化的像素标记成区域，在区域的层面上作进一步的过滤，从而有效且可靠地实现遗留物检测。

具体实施方式

在发生遗留物品事件的图像区域，将伴随像素由静止状态转为运动状态，在保持一段时间的运动状态后，由运动状态转变为静止状态。而且前后两次处于静止状态时，其像素值发生明显变化。为了捕捉这种动态变化的过程，本发明的一个实施例采用队列记录像素处于静止状态时的灰度值。当像素由运动状态转为静止状态，则当前背景灰度值作为新的元素进入队列；若像素保持静止状态，则以背景值更新队尾元素。

在单个像素的层面上，若对应队列中的数据存在明显从小到大或从大到小的跳变，则判定该像素为一个候选像素。考虑到遗留物品在图像中表现为一个区域，而不会是单个或很少的几个像素，本发明标记那些连通的候选像素，在区域的层面上作进一步的检测。

图1示出了本发明具体实施方式的框图，包括以下几个步骤。

(1)步骤101运动目标检测，以规范化帧差之和作为依据，将像素归为背景或运动，且将那些连通的运动像素标记为对象。

(2)步骤102根据运动目标检测的结果更新静止状态计数器，根据计数器值更新背景队列，更新背景图像。

(3)步骤103，以背景队列为依据，在场景中检测遗留物品。

图2示出了依照本发明的一个较佳实施例的运动检测实施流程，具体技术方案如下。

(1)步骤202由输入当前帧I_t(200)和前一帧I_t-1(201)计算帧差图像d(x，y)＝I_t(x，y)-I_t-1(x，y)。

(2)由摄像机等成像设备所获取的视频信号可以建模成理想信号叠加了噪声信号，噪声项通常可假设为独立于信号、均值为零、方差为

的高斯白噪声。由于存在噪声，简单地以|d(x，y)|是否大于某个阈值来判定该像素是运动像素还是背景像素往往是不可靠的。在假设像素属于背景区域，即零假设的前提下，帧差d(x，y)服从均值为零，方差为

的高斯分布。为了使检测更为可靠，步骤203计算如下的规范化帧差之和作为判断的依据

${\mathrm{\Δ}}_{x,y}=\underset{p\∈W(x,y)}{\mathrm{\Σ}}\frac{d^2\left(p\right)}{{\mathrm{\σ}}^2}$

其中W(x，y)是以(x，y)为中心的一个观察窗口，

零假设使得d(·)/σ服从标准正态分布N(0，1)，作为这些随机变量的平方之和，Δ_x，y服从度为n_w的χ²分布，其中n_w等于W(x，y)内的像素数目。检测过程中，将所有Δ的可能值区分成两个部分：可接受零假设的部分和拒绝零假设的部分。由于χ²分布的分布密度(即p(Δ|H₀))已知，所以可以在以下显著性测试的框架下得到用于判定某个像素是否是运动像素的阈值：

α＝Pr(Δ_x，y＞t_s|H₀)

其中α是一个预先设定的显著性等级。

(3)在上述检测步骤中，噪声方差

显著性等级α、窗口W(x，y)的大小等都将影响检测的结果。视频图像的噪声强度很难被准确地估计，非此即彼的运动像素判定往往存在一些误差。所以，步骤204按下式计算与运动有关的强度等级图：

其中

代表不小于a的整数，S为一个预先设定的步长，将决定等级数。

(4)步骤205对图像L作灰阶数学形态学处理，先作膨胀，后作腐蚀，即闭运算。膨胀和腐蚀运算分别采用行列分离的1-D最大值和最小值滤波。

(5)步骤205的结果可看作一个灰阶图像，某个像素，其L值越大，则该像素属于运动目标的可能性越大；反之，越小则属于运动目标的可能性越小。步骤206作对应目标的区域生长。根据用户设定的灵敏度参数确定两个阈值，L₁和L₂，且L₁＜L₂。若L(x，y)＞＝L₂，则将(x，y)作为种子像素。以种子像素为起点，将种子像素邻域内，满足L(x，y)＞＝L₁的像素合并到种子像素所在的区域中。新近合并的像素作为新的种子像素，重复上述合并过程，直到所有满足L(x，y)＞＝L₁的像素被合并进该区域。

前述步骤205的膨胀和腐蚀运算分别采用行列分离的1-D最大值和最小值滤波。为了便于对本发明实施例的理解，图3以算法流程的形式对行方向1-D最小值滤波作详细的描述(1-D最大值滤波与此类似)。

(1)设输入数据为{f(i)|i＝1，2，…，N}，输出为滤波结果{g(i)|i＝1，2，…，N}，滤波核的长度为k，是个奇数。

(2)步骤301对行形式的输入数据(300)分段，每段的长度为k。

(3)步骤302，对每一段的边界点，即i＝1，k+1，...，置t_l(i)＝t_r(i)＝f(i)，其中t_l和t_r是两个用来缓存数据的行缓冲。

(4)步骤303，对每一段中除了边界点之外的位置，即下标为i＝2，…，k；k+2，…，2k；…的点，从左到右计算t_l(i)＝min{t_l(i-1)，f(i)}。

(5)步骤304，对每一段中除了边界点之外的位置，即下标为i＝N-1，…，N-k+1；N-k-1，…，N-2k+1；…的点，从右到左计算t_r(i)＝min{t_r(i+1)，f(i)}。

(6)步骤305，在行的范围内，置滤波结果为

通过运动目标检测，将输入图像分割为运动对象和背景区域。对于位于背景区域的像素，本发明的一个实施例采用卡尔曼滤波的方法更新其背景图像I_b。用一个有限维的动态系统表示像素随时间变化的特性，估计的背景像素值对应系统状态，输入灰度图像I对应观察值，以如下的系统方程建模背景像素的动态变化

I_b(k+1，x)＝I_b(k，x)+v₁(k，x)

I(k，x)＝I_b(k，x)+v₂(k，x)

其中v₁(k，x)是对应模型误差的噪声项，v₂(k，x)是对应测量误差的噪声项，它们分别服从正态分布N(0，Q_k)和N(0，R_k)，Q_k和R_k为噪声方差。

设是k-1时刻系统状态的估计值，k时刻的系统预测值按下式计算：

${\hat{I}}_b^{-}(k,x)={\hat{I}}_b(k-1,x)$

代表预测误差的噪声项，其方差的预测值为

滤波器增益按下式计算：

设k时刻的观察值为I(k，x)，按下式计算k时刻的最优滤波结果，且以此值作为背景图像I_b的估计值

${\hat{I}}_b(k,x)={\hat{I}}_b^{-}(k,x)+K(I(k,x)-{\hat{I}}_b^{-}(k,x))$

修正方差

为： $P_k=(1-K)P_k^{-}$

用一个字节的无符号数计数像素保持静止状态的帧数，按下式逐帧更新其值：

$C_s(x,y)=\left\{\begin{array}{cc}\min [C_s(x,y)+\mathrm{1,255}]& \mathrm{if}(x,y)\mathrm{isbackground}\\ 0& \mathrm{otherwise}\end{array}\right.$

计时器C_s的值反映了像素的状态，当C_s是一个较小的值，则像素刚从运动状态转为静止状态；相反地，则像素已持续了一段时间的静止状态。考虑到不可靠的静止像素信息不仅无助于遗留物品检测，而且可能会引入误判别，本发明只将那些较为可靠的背景信息保存在背景队列，一个较佳的实施例采用如下的方法对队列进行更新。

(1)置与静止帧数有关的阈值T_c，本发明的一个较佳实施例取T_c＝50；

(2)若C_s(x，y)≥T_c，转(3)，否则作下一像素的判断；

(3)设像素(x，y)对应的背景队列为q_x，y(head..tail)，若C_s(x，y)＞T_c，则按下式更新队尾元素。

q_x，y(tail)＝ηq_x，y(tail)+(1-η)I_b(x，y)

其中η∈(0，1)是一个控制更新速度的权值。

(4)当C_s(x，y)＝T_c，且队列未满，则执行入队操作。具体地，tail←tail+1，I_b(x，y)送tail所指的数组元素；当C_s(x，y)＝T_c，且队列满，则head所指的队首元素出队，以环形队列的形式执行进队操作。

在出现遗留物品的区域，单个像素对应的背景队列中的数据，将表现出明显的从小到大或从大到小的突变。图4示出了依据本发明的一个较佳实施例的候选像素检测实施流程，具体实施步骤如下：

输入：背景队列q_x，y(400)，输出：标记图像A(405)，候选像素A(x，y)＝1，其余A(x，y)＝0。

(1)步骤401判断队列长度是否小于2，是则A(x，y)＝0，输出；否则，转(2)。

(2)步骤402，i＝head...tail-1迭代，以i为分界点，将队列分成前后两部分，分别计算队列元素q_x，y(head...i)和q_x，y(i+1...tail)的均值，记作u^l-和u^l+，且取 $i^{*}=\arg \underset{i}{\max }\left(\right|u^{i-}-u^{i+}\left|\right).$

(3)步骤403计算均值差的绝对值的最大值，即

(4)步骤404，若Δ_u大于一个预先设定的阈值，则置A(x，y)＝1，否则A(x，y)＝0。

在二值图像A中，候选像素被标记为1，其余像素被标记为0。本发明的一个实施例以A为输入图像，采用区域生长算法将连通的候选像素分别合并成区域，在区域的层面作进一步的过滤。具体地，若某个区域满足以下条件之一，则忽略该区域。

(1)区域在水平或垂直方向的尺寸过小；

(2)设a_o为以像素数目计的区域面积，a_r为区域最小外接矩形的面积，比值

小于某个阈值。

以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。

Claims (4)

1.一种应用于视频监控的遗留物品检测方法和系统，其特征在于：对每个像素，以队列数据结构记录其处于静止状态时的像素值，若像素表现为静止→运动→静止，且队列中的灰度值在像素处于运动状态之前和之后表现出明显的变化，则判定该像素为候选像素；以邻接元素标记的方式将候选像素合并成区域，在区域的层面按一定的准则作进一步的判定，以滤除那些由误判像素组成的区域。

2.如权利要求1所述的以队列记录像素处于静止状态时的图像灰度，其特征在于：计数像素由运动转为静止后，保持静止状态的帧数，当计数值达到某个预设值，则背景图像值作为新的元素进入背景队列；计数值大于该预设值，则以队尾元素和背景值的加权平均的形式更新队尾元素。

3.如权利要求1所述的遗留物品检测方法，其特征在于，单个像素的层面上，若对应的背景队列中的数据存在明显从小到大或从大到小的跳变，则判定该元素为一个候选像素，处理步骤包括：

(1)将输入的背景队列划分成前后两部分，分别计算它们的均值，以最大化两部分的均值之差为目标，寻求一个最佳的划分；

(2)若上述最佳划分所产生的均值差超过阈值，则判定该像素为候选像素。

4.如权利要求1所述的遗留物品检测方法，其特征在于，将连通的候选像素合并成区域，在区域的层面上按以下准则作进一步过滤：

(1)遗留物品对应的区域在水平和垂直方向应该占有一定大小的范围，若以像素计的尺寸太小，则忽略该区域；

(2)遗留物品应该具有较为规则的形状，设a_o为以像素数目计的区域面积，a_r为区域最小外接矩形的面积，若比值

小于某个阈值，则忽略该区域。

Images