CN102004920A - 一种监控视频分割及索引方法 - Google Patents

Abstract

本发明公开了一种监控视频分割及索引方法，具体为通过人脸检测和跟踪、移动轨迹聚类分析人群检测实现的监控视频分割，并根据监控设置点位置信息，对监控视频片断进行关联度分析，提高视频检索速度和理解度的方法，可广泛应用于小区物业监控、商场展厅监控、地铁交通监控等应用场景。

Description

一种监控视频分割及索引方法

技术领域

本发明涉及一种监控视频分割及索引方法，尤其涉及一种通过人脸检测和跟踪、移动轨迹聚类分析人群检测实现的监控视频分割，并根据监控设置点位置信息，对监控视频片断进行关联度分析，提高视频检索速度和理解度的方法，可广泛应用于小区物业监控、商场展厅监控、地铁交通监控等应用场景，属于视频监控数据检索技术领域。

背景技术

视频监控是监控领域的重要内容和技术手段，近年来，随着微电子技术、视频压缩处理技术、网络技术的飞速发展，视频监控成本日益降低，应用场景日益增加，广泛应用于大到国防哨卡、治安联防、铁路公路监控，小到ATM取款机、家居安防、小区物业监控等各个领域，产生了良好的经济效益和社会效益。

视频监控数据量大，针对在邻近区域内部署的多台视频摄像机，传输和存储的视频数据量更是巨大，长期积累的视频监控数据，如果没有经过处理，通过人工快进的方法检索，既费时又容易出错。对视频监控数据进行必要的预处理，并对邻近摄像机的视频数据进行关联度分析，可以大大提高检索的命中率，和查全率。

目前，对视频数据进行分析的技术，首先必须进行场景检测，或者称为视频分割，即：将长时间的大量连续的视频数据，分割成代表不同场景镜头的视频片断，每一段视频片断都具有一定的独立性。

大多数类型的视频数据，都是由不同场景的视频片断剪辑而成的，例如：影视作品、私人录像、电视新闻等，这些类型的视频片断其特点是视频的前景和背景都发生了改变，因此可以通过计算一定的参数变化来判断视频边界，例如：相邻帧的像素灰度差。

中国专利“用于对视频序列的场景进行语义分段的方法和系统”(专利号：ZL 200580009646.5)公开了一种比较全面的从低级至高级的镜头级、事件级、场景级的分割模型和方法。

而视频监控数据的背景往往是不发生变化的，除了白天/黑夜的交替引起的背景光照强度的变化，或者云台运动引起摄像机转动外，背景景物大多数情况是固定不变的，变化的是镜头中的前景，即人员、车辆等物体。因此，采用通用的视频场景检测方法对视频监控数据具有很大的局限性。

另一方面，在一个由多个邻近摄像机组组成的视频监控系统中，视频监控数据往往存在着一定的关联性，例如，一个人在一个摄像机中出现，在离开该摄像机的视野之后，一般情况下，将会沿着固定的道路，在一定的时间内，到达另一个摄像机的视野中，如果原先另一个摄像机为静止画面，而在跟踪到目标后，在某种程度上，可以认为这两个视频场景存在着关联性，视频场景的关联性可以很好地应用于视频的理解、检索等应用中，减少了人工遍历的时间和精力，并使视频数据有结构地组织起来。

因此，摄像机的位置基本上是固定不变的，摄像机视野也基本上可以和实际的方位相对应，而在一般情况下，人员、车辆的运行轨迹也有很强的规律性，例如存在道路、轨道等，在这样的情况下，多个摄像机的视频场景形成关联的可能性大大增强。

然而，在实际的应用中，监控视频场景中，往往会有复杂的情况产生，例如多个人员、车辆的情况，同时存在向多个方向移动的目标等，这为监控视频场景的分割、关联、索引带来了技术难度。

中国专利“视频监控系统的视频分析、存档和报警方法和设备”(专利号：ZL 200510106772.4)公开了一种管理视频轨迹的方法，而其管理的视频轨迹包括独立的人类、车辆等物体，该方法功能复杂全面，主要应用于实时视频监控分析人员的形势探知，但是一般的监控应用场景，突发事件毕竟少数，大多数情况下都是事后回溯，因此需要更合适的存储和检索方法。

本发明一种监控视频分割及索引方法，通过人脸检测和跟踪、移动轨迹聚类分析人群检测实现的监控视频分割，并根据监控设置点位置信息，对监控视频片断进行关联度分析，提高视频检索速度和理解度的方法，具有操作简单、硬件系统要求低、成本低、适用面广泛等优点，具有良好的经济效益和市场前景。

发明内容

本发明一种监控视频分割及索引方法，主要应用于具有位置相关的多个监控摄像机之间的监控视频数据的分割及索引建立，有利于监控视频数据的结构化存储和回溯，具体步骤如下：

(1)输入视频图像和背景图像；

(2)计算背景差图像，更新背景；

(3)以运动和肤色信息为线索，增强人脸区；

(4)对候选运动肤色区作基于Adaboost的检测；

(5)作目标匹配，对失配的区域作基于多特征的跟踪；

(6)将多帧人脸目标移动轨迹进行编号；

(7)对初始帧人脸目标进行聚类分析，粗分人群区域；

(8)对人脸目标轨迹进行聚类分析，确定人群移动；

(9)以人群区域进入视野-离开视野时刻为分界分割视频数据；

(10)根据摄像机位置-视野对应关系，确定人群区域的下一个关联摄像机；

(11)和下一个关联摄像机上的经过一定延时后的视频片断作关联；

(12)建立索引；

(13)将索引数据以链表形式存储。

本发明的有益技术效果是：以人脸检测和跟踪、移动轨迹聚类分析人群检测实现的监控视频分割，根据监控设置点位置信息，对监控视频片断进行关联，提高视频检索速度和理解度的方法，具有操作简单、硬件系统要求低、成本低、适用面广泛等优点，具有良好的经济效益和市场前景。

附图说明

图1是本发明一种监控视频分割及索引方法的摄像机部署结构图；

图2是本发明一种监控视频分割及索引方法的总体流程图；

图3是本发明一种监控视频分割及索引方法的背景差方法运动检测流程图；

图4是本发明一种监控视频分割及索引方法的人脸跟踪流程图；

图5是本发明一种监控视频分割及索引方法的人群跟踪流程图；

图6是本发明一种监控视频分割及索引方法的摄像机视野-摄像机位置关系示意图；

图7是本发明一种监控视频分割及索引方法的视频片断关联链表。

具体实施方式

参考附图，下面对本发明进行详细描述。

如图1所示，本发明的一个实施例的监控摄像机部署，建筑物(100)之间的通道(101)部署有多个监控摄像机，监控视频数据通过网络连接传输至中心机房的磁盘阵列(105)进行存储，并在监控中心的大屏幕监视器(108)上实时显示，监控人员除了应对突发事件外，视频监控数据还被用于取证、事后回溯、检索等用途。而事实上，一般情况下，突发事件发生的概率较小，而视频回溯和检索却经常发生，未加处理的监控视频数据，采用人工快进方式进行检索，效率低、出错率高，因此需要对其进行初步处理，建立索引并结构化存储，以便提高检索的效率。视频服务器(106)提供相应的服务，视频工作站(107)用于视频检索。对于摄像机B(103)的监控视频数据来说，其视野内人员移动的下一个关联摄像机很有可能是摄像机A(102)或摄像机C(104)，因此根据监控设置点位置信息进行关联度分析，将有利于索引的建立。

如图2所示，本发明一种监控视频分割及索引方法的具体步骤如下：

(1)输入视频图像和背景图像(200)；

(2)计算背景差图像，更新背景(201)；

(3)以运动和肤色信息为线索，增强人脸区(202)；

(4)对候选运动肤色区作基于Adaboost的检测(203)；

(5)作目标匹配(204)，对失配的区域作基于多特征的跟踪(205)；

(6)将多帧人脸目标移动轨迹进行编号(206)；

(7)对初始帧人脸目标进行聚类分析(207)，粗分人群区域；

(8)对人脸目标轨迹进行聚类分析(208)，确定人群移动；

(9)以人群区域进入视野-离开视野时刻为分界分割视频数据(209)；

(10)根据摄像机位置-视野对应关系，确定人群区域的下一个关联摄像机(210)；

(11)和下一个关联摄像机上的经过一定延时后的视频片断作关联(211)；

(12)建立索引(212)；

(13)将索引数据以链表形式存储(213)。

如图3所示，由于大多数情况下，视频监控主要适用固定摄像机对场景进行监控，存在固定场景，因此使用背景差方法作运动目标检测。设某时刻的背景图像为B，当前帧图像为I_k，则背景差图像为：

o(x，y)＝|I_k(x，y)-B(x，y)|

如果o(x，y)大于某个阈值，则判定该像素属于运动目标；反之，该像素属于背景。由于实际环境存在噪声和运动的多样性，通常处理将更复杂。

背景差方法运动检测主要包括建立背景模型(305)、输入图像和背景模型(305)求差获得背景差图像(300)。建立背景模型(305)是对背景进行初始化，根据当前输入图像修正背景模型(305)及时反映环境的变化；背景差图像(300)是将当前帧和背景模型相比较，实现运动目标检测。

在现实监控场合，场景中的背景很复杂，存在各种各样的干扰，且随时间不断变化，背景模型要能反映这些变化，如：背景随时间的缓慢变化，最常见的就是一天中不同时间里的光照变化；背景物体发生变化；一些大的扰动，如树叶晃动、显示器屏幕闪烁等；光照的突然变化；运动目标的阴影等。

背景模型(305)更新方法按下式迭代实现：

B_k(x，y)＝α_x，yI_k(x，y)+(1-α_x，y)B_k-1(x，y)

其中α_x，y是一个系数，有：

α_x，y＝1/(1+K_x，y)

而

表示不小于a的一个整数，σ_n是视频图像的噪声标准差，可估计得到。

噪声方差检测(301)对运动估计的性能是至关重要的，由于噪声是一种随机信号，只能通过包含噪声的观察视频来估计噪声信号的数学特征(如方差)。由于场景包含随时间缓慢变化的背景和运动目标，在运动估计的结果比较可靠的前提下，那些不含运动目标的宏块的SAD(Sum of Absolute Difference)值可以认为是由噪声引起的。以公式表示为：

${\mathrm{SAD}}_g^{(x^{*},y^{*})}\≈\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\left|v(i,j,k)\right|$

这些宏块的SAD值反映了噪声强度的大小，根据|v(·)|的概率密度，容易得到公式：

${\mathrm{SAD}}_g^{(x^{*},y^{*})}\≈N^2\mathrm{\σ}\sqrt{\frac{2}{\mathrm{\π}}}$

其中σ是噪声信号的标准差，要估计噪声方差σ²，可以采用对那些不包含运动对象的宏块进行统计，计算它们在最佳匹配处的SAD值的均值，设为

则噪声标准差的估计值为：

$\widehat{\mathrm{\σ}}=\sqrt{\mathrm{\π}/2}\·\stackrel{\‾}{\mathrm{MAD}}$

其中 $\stackrel{\‾}{\mathrm{MAD}}=\stackrel{\‾}{\mathrm{SAD}}/N^2$

计算差分图像之后，对其进行增强，由于图像往往由一些灰度近似一致的区域组成的，如果差分图像中，某个像素的邻域多数是负值的，则该像素是负值的概率应该比较大；反之，某个像素的邻域多数是正值，则该像素为正值的概率比较大，因此可以用于对时间差分图像进行增强，而其余的像素被抑制。

由于监控对象对人脸更感兴趣，因此对类似人脸的区域作增强处理，而对其它区域作抑制，这些人脸区域可以是正面图像或者侧面图像，采用公式：

$D_k^f(x,y)=D_k^e(x,y)\·\frac{b+{\mathrm{num}}_{\mathrm{face}}(x,y)}{b+{\mathrm{num}}_{\mathrm{nonface}}(x,y)}$

其中，b∈[3，8]，设当前的Cb分量和Cr分量图像为

和

num_face(x，y)是(x，y)的邻域像素内

的像素数目，num_nonface(x，y)是(x，y)的邻域像素内

的像素数目，而θ是一个阈值，则是人脸统计概率分布函数。

后处理(302)是对检测出的运动目标进行修正，得到更精确的结果。对检测目标对象进行自适应阈值(303)选取，以形成对象分割(304)之后的候选区域。

如图4所示，人脸检测输出为O(k)(400)，对候选区域进行Adaboost检测。Viola将Adaboost应用于人脸检测，取得了很好的效果，其思想即通过多个弱分类器级联形成强分类器，经过对其进行训练，得到人脸检测分类器。

判断是第一帧吗？(401)，是(Y)则继续输入图像并处理，否(N)，则(O(k)和O(k-1)对象匹配)(402)。匹配的对象特征包括：对象的标号、人脸区的中心、大小、人脸区的平均灰度、梯度方向分布的直方图、CbCr图像直方图，以及运动向量。

对失配对象进行处理更新对象特征(403)，至少有两种情况产生失配的对象：场景中新出现人脸对象，或前一帧的人脸目标，由于遮挡、转动等原因在当前帧没有被检测成人脸。

对于新出现的人脸对象，将它加入到当前的人脸目标库中，且在后续帧中对该对象进行持续的跟踪；而对于后一种情况，采用多特征的跟踪方法：

(a)对失配目标所在的方形区域作块匹配运动估计，以投票的方式确定主运动向量(mv_x，mv_y)；

(b)若主运动向量|mv_x|和|mv_y|都很小，直接更新失配对象的对象特征，否则，转至(c)；

(c)以估计所得的(mv_x，mv_y)作为相对偏移，更新失配对象的中心坐标；

(d)设定当前中心位置周围一定范围内的像素作为候选搜索位置，以多特征作为相似性度量，包括：对象的标号、人脸区的中心、大小、人脸区的平均灰度、梯度方向分布的直方图、CbCr图像直方图，以及运动向量；以Mean-Shift计算最佳匹配位置，且重新确定失配对象的特征。

如图5所示，一般情况下，监控视频视野中往往是以人群形式存在，人群的划分对于视频场景的分割具有十分重要的意义。输入目标区域，各目标区域中心坐标生成移动轨迹(500)，并对移动轨迹进行编号(501)，找到一个初始帧，对初始帧目标聚类(502)，选择任一个坐标方向作为距离(|Δx|或|Δy|)，可以简化计算，确定距离小于初始阈值τ的为一个人群目标，划分多个人群区域，并确定各自的人群中心位置。

推测下一帧人群中心位置，后续帧移动轨迹聚类(503)，计算原先帧的人群区域编号与此帧人群中心位置的距离是否小于阈值，则仍然认为是一个人群。以人群区域进入视野-离开视野时刻为分界进行视频分割(504)，生成视频片断。

如图6所示，主摄像机(601)在位置上和下一摄像机A(600)及下一摄像机B(602)关联，从主摄像机视野(611)上可以看到真实道路(620)的道路图像(621)，在一个时刻内，进入视野人群(630)经过一段时间后，到达移出视野人群(631)位置，而根据主摄像机(601)的关联位置，这样的运动矢量应该和下一摄像机B(602)关联，因此在下一摄像机A视野(610)上没有后续人群出现，而在下一摄像机B视野(612)上，经过一段时间后出现下一视野人群(632)。

如图7所示，上一个视频片断(700)和下一个视频片断(701)建立链表关系。实际监控下，情况更复杂，因此每一帧视频数据不一定只隶属于一个视频片断，一个上一个视频片断(700)也不一定只对应一个下一个视频片断(701)，这些复杂情况并不降低这种方法的易用性和实用性，恰恰相反，多重关联增加了关联检索的命中率。

Claims (1)

1.一种监控视频分割及索引方法，应用于具有位置相关的多个监控摄像机之间的监控视频数据的分割及索引建立，有利于监控视频数据的结构化存储和回溯，具体步骤如下：

(1)输入视频图像和背景图像；

背景差图像计算公式为：o(x，y)＝|I_k(x，y)-B(x，y)|；

(2)计算背景差图像，更新背景；

背景模型更新公式为：B_k(x，y)＝α_x，yI_k(x，y)+(1-α_x，y)B_k-1(x，y)；噪声方差检测公式为：

(3)以运动和肤色信息为线索，增强人脸区；

人脸区增强公式为：

(4)对候选运动肤色区作基于Adaboost的检测；

通过多个弱分类器级联形成强分类器，经过对其进行训练，得到人脸检测分类器；

(5)作目标匹配，对失配的区域作基于多特征的跟踪；

匹配的对象特征包括：对象的标号、人脸区的中心、大小、人脸区的平均灰度、梯度方向分布的直方图、CbCr图像直方图，以及运动向量；

对失配对象进行处理更新对象特征，至少有两种情况产生失配的对象：场景中新出现人脸对象，或前一帧的人脸目标，由于遮挡、转动等原因在当前帧没有被检测成人脸；

对于新出现的人脸对象，将它加入到当前的人脸目标库中，且在后续帧中对该对象进行持续的跟踪；而对于后一种情况，采用多特征的跟踪方法：

(a)对失配目标所在的方形区域作块匹配运动估计，以投票的方式确定主运动向量(mv_x，mv_y)；

(b)若主运动向量|mv_x|和|mv_y|都很小，直接更新失配对象的对象特征，否则，转至(c)；

(c)以估计所得的(mv_x，mv_y)作为相对偏移，更新失配对象的中心坐标；

(d)设定当前中心位置周围一定范围内的像素作为候选搜索位置，以多特征作为相似性度量，包括：对象的标号、人脸区的中心、大小、人脸区的平均灰度、梯度方向分布的直方图、CbCr图像直方图，以及运动向量；以Mean-Shift计算最佳匹配位置，且重新确定失配对象的特征；

(6)将多帧人脸目标移动轨迹进行编号；

(7)对初始帧人脸目标进行聚类分析，粗分人群区域；

找到一个初始帧，对初始帧目标聚类，选择任一个坐标方向作为距离(|Δx|或|Δy|)，可以简化计算，确定距离小于初始阈值τ的为一个人群目标，划分多个人群区域，并确定各自的人群中心位置；

(8)对人脸目标轨迹进行聚类分析，确定人群移动；

推测下一帧人群中心位置，后续帧移动轨迹聚类，计算原先帧的人群区域编号与此帧人群中心位置的距离是否小于阈值，则仍然认为是一个人群；

(9)以人群区域进入视野-离开视野时刻为分界分割视频数据；

(10)根据摄像机位置-视野对应关系，确定人群区域的下一个关联摄像机；

(11)和下一个关联摄像机上的经过一定延时后的视频片断作关联；

(12)建立索引；

(13)将索引数据以链表形式存储。

Images