CN101188743A - 一种基于视频的智能数人系统及其处理方法 - Google Patents

Abstract

本发明公开了一种基于视频的智能数人系统及其处理方法，其包括一图像获取模块，用于监控一指定区域；一人员数目估计模块，其对从所述图像获取模块获得的图像进行处理，并包括背景估计、基于前景块检测的人员数目估计、基于头部检测的人员数目估计和综合检测结果四个模块，所述四个模块设置采用一通用计算机实现，用于实时采集指定区域的视频图像并根据每帧图像，结合基于前景块检测的人员数目估计和基于头部检测的人员数目估计方式计算指定区域的人员数目。本发明系统及其处理方法通过结合采用摄像装置和计算处理装置，可以自动实现对预定区域内人数的统计和计算，对指定区域的人数进行监控。

Description

一种基于视频的智能数人系统及其处理方法

技术领域

本发明涉及一种智能处理系统及处理方法，尤其涉及的是一种基于视频的智能数人系统及其处理方法。

背景技术

自动的对进入特定区域的人数进行统计，具有重要、广泛的应用价值，例如：在一些特定的场所，通道或入口，每次只允许特定数目的人员进入，当超过特定数目的人员进入该区域是不合理或非法的。具体比如：一些公司，小区，实验室或一些非常重要的区域，必须经过身份验证后才能进入。

但有时，不法人员会利用前一合法人员经过身份验证后打开门的时机进入指定区域。现有技术中在这些区域安装的摄像装置，需要人工监控，会由于人工的监控疏忽，导致安全性降低。

因此，现有技术存在缺陷，而有待于改进和发展。

发明内容

本发明的目的在于提供一种基于视频的智能数人系统及其处理方法，利用该系统可对指定区域的人员数目自动进行估计。

本发明的技术方案包括：

一种基于视频的智能数人系统，其包括一图像获取模块，用于监控一指定区域，其中，还包括一人员数目估计模块，其对从所述图像获取模块获得的图像进行处理，并包括背景估计、基于前景块检测的人员数目估计、基于头部检测的人员数目估计和综合检测结果四个模块，所述四个模块设置采用一通用计算机实现，用于实时采集指定区域的视频图像并根据每帧图像，结合基于前景块检测的人员数目估计和基于头部检测的人员数目估计方式计算指定区域的人员数目。

所述的智能数人系统，其中，所述图像获取模块包括一摄像头，垂直于所述被监控的指定区域固定设置；以及一视频采集卡，连接控制所述摄像头，用于实时获取所述摄像头的监控图像并处理成数字视频图像。

本发明还提供一种基于视频的智能数人的处理方法，其包括以下步骤：

A、图像获取模块实时获取数字视频图像，并输入通用计算机；

B、在获得每帧数字视频图像后，采用人员数目估计模块估计该帧图像中的人员数目，并具体包括：

B1、对数字视频图像中进行背景估计，确定实时监控的数字视频图像的前景和背景；

B2、基于前景块检测进行人员数目估计；

B3、基于头部检测进行人员数目估计；

B4、对步骤B2和步骤B3的检测结果进行综合，对连续三帧得到的人员数目取均值得到当前帧的人员数目估计；

C、对步骤B4所得结果与预先设置的人员数目阈值进行比对，确定是否报警。

所述的方法，其中，所述步骤B2还包括：

B21、把实时的数字视频图像的当前帧图像和当前的背景图像相减，同时把当前帧图像和前一帧的图像相减；

B22、对相减得到的两幅图像进行与操作，得到当前的前景图像；

B23、利用数学形态学方法对前景图像进行去噪声处理；

B24、对前景图像进行连通区域标注，得到前景块检测数目；

B25、根据前景块的面积估计前景块检测数目中含有的人员数目。

所述的方法，其中，所述步骤B3还包括：

B31、通过图像获取模块采集多个垂直照射的头部样本，根据这些样本得到头部的色调、饱和度模板即色调、饱和度直方图；

B32、根据色调、饱和度直方图得到当前帧的反投射(back projection)图像；

B33、在反投射图像被前景所限定的区域中标注连通区域，并用椭圆拟合各个连通区域；

B34、统计符合一定长短轴比例的区域数目，作为检测到的头部数目，即头部检测的人员数目估计。

所述的方法，其中，所述步骤B1还包括：

B11、对指定区域的背景建立初始的高斯模型，即通过采集一段时间的背景视频图像后，计算每个象素点灰度值的均值和方差得到每个象素点的高斯模型；

B12、在系统运行过程中，根据当前采集到的数字视频图像对高斯模型的均值进行更新，以适应背景光照等因素引起的背景变化。

所述的方法，其中，所述步骤B12还包括：

B121、当系统开始运行时，在视野内更换背景和增加不活动的物体时，当前帧与初始背景的灰度值差值超过高斯模型方差，同时相邻帧的差值均为0，当前帧与初始背景的灰度值差值不被判断为前景；

B122、系统将当前帧累加到背景样本视频中，重新建立该点的高斯模型。

本发明所提供的一种基于视频的智能数人系统及其处理方法，通过结合采用摄像装置和计算处理装置，可以自动实现对预定区域内人数的统计和计算，防止了不法人员利用前一合法人员经过身份验证后打开门的时机进入指定区域，并可对指定区域的人数进行监控。

附图说明

图1为本发明基于视频的智能数人系统的系统框图；

图2为本发明基于视频的智能数人系统及其处理方法的图像获取模块框图；

图3为本发明基于视频的智能数人系统及其处理方法的人员数目估计模块框图；

图4为本发明基于视频的智能数人系统及其处理方法中基于前景块检测的人员数目估计环节流程图；

图5为本发明基于视频的智能数人系统及其处理方法中基于头部检测的人员数目估计环节的流程图。

其中，

1图像获取模块

11摄像头

12视频采集卡

2人员数目估计模块

21背景估计环节

22基于前景块检测的人员数目估计环节

221相邻两帧相减估计运动前景图像

222根据背景模型估计前景图像

223与操作

224预处理

225连通前景块标注

226根据前景块的数目和面积估计人员数目

23基于头部检测的人员数目估计环节

231采集样本

232建立色调、饱和度模板

233计算反投射图像

234预处理

235连通区域标注

236统计符合要求的连通区域数目

24综合检测结果环节

具体实施方式

下面结合附图，将详细描述本发明的各较佳实施例。

本发明基于视频的智能数人系统中，如图1所示的，包括一图像获取模块1和一人员数目估计模块2，由所述图像获取模块1对一预先设置的指定区域进行监控，并按照一定频率获取指定区域的数字视频图像，并传输给所述人员数目估计模块2进行人员数目的计数。

所述图像获取模块1中包括有摄像头11和视频采集卡12，如图2所示的，首先采用摄像头11采集视频图像；接着用视频采集卡12得到数字化的图像，并输入所述人员数目估计模块2，可以是一通用计算机上运行的特有处理程序；然后所述人员数目估计模块2根据每帧图像，采用基于前景块检测的人员数目估计和基于头部检测的人员数目估计相结合的方法估计指定区域的人员数目。

本发明的人员数目估计模块至少包括背景估计21、基于前景块检测的人员数目估计22、基于头部检测的人员数目估计23和综合检测结果24四个环节，如图3所示。其主要流程为：

首先将摄像头固定安装在指定区域的正上方，摄像头光轴垂直向下，即摄像头垂直向下捕捉指定区域的图像；接着，采用视频采集卡得到数字视频图像并输入通用计算机。在得到每帧数字视频图像后，采用人员数目估计模块估计该帧图像中的人员数目。

在基于前景块检测的人员数目估计数目环节，如图4所示，本发明首先在步骤221中把当前帧的图像和当前的背景图像相减，同时在步骤222中把当前帧的图像和前一帧的图像相减；接着，对相减得到的两幅图像进行步骤223的与操作，得到当前前景图像；然后在步骤224利用数学形态学方法对前景图像进行去噪声处理；最后，在步骤225中对前景图像进行连通区域标注，得到前景块数目，然后在步骤226根据前景块的面积估计前景块中含有的人员数目。由于摄像头固定安装在待监控的指定区域内，其捕捉到的人员图像即前景块的面积是有预定范围的，因此，通过前景块的面积和数量可以检测估计人员数目。

在基于头部检测的人员数目估计环节，如图5所述的，本发明首先在步骤231采集多个垂直照射的头部样本，根据这些样本在步骤232得到头部的色调、饱和度模板(色调、饱和度直方图)；接着，根据色调、饱和度直方图在步骤233得到当前帧的反投射(back projection)图像；然后，在步骤234在反投射图像被前景所限定的区域中标注连通区域，并在步骤235用椭圆拟合各个连通区域；最后，在步骤236统计符合一定长短轴比例的区域数目，作为检测到的头部数目。

在综合检测结果环节中，本发明处理方法将基于前景块检测的人员数目估计和基于头部检测的人员数目估计两个环节中得到的人员数目综合起来，并对连续三帧得到的人员数目取均值得到当前帧的人员数目。然后根据检测结果与预先设置的人员数目阈值进行比对，如果超过预定的人员数目，则进行报警提示，这样就能够实现对指定区域的监控。

本发明基于视频的智能数人系统及其处理方法中，所述图像获取模块1建立的目的是获取指定监控区域的数字视频图像，为后续的人员数目估计模块2提供需要处理的数据，该图像获取模块中的摄像头11采用彩色监控摄像头。当彩色监控摄像头输出的信号为模拟信号时，视频采集卡12将把模拟信号转换为数字信号(很多视频采集卡可实时的对图像信号进行压缩)，即得到数字视频图像，供人员数目估计模块2处理。

本发明所述人员数目估计模块2通过基于前景块检测的人员数目估计数目22和基于头部检测的人员数目估计23对输入的数字视频中的人员数目进行估计，然后综合步骤22、23的检测结果24得到最后的人员估计数目。其中背景估计21首先对指定区域的背景建立初始的高斯模型，即通过采集一段时间的背景视频图像后，计算每个象素点灰度值的均值和方差得到每个象素点的高斯模型。然后，在系统运行过程中，背景估计21将根据当前采集到的数字视频图像对高斯模型的均值进行更新，以适应背景光照等因素引起的背景变化。

本发明中的背景是以在摄像机所监控拍摄的区域内，无任何活动物体及正常照明的状态。以此为背景，当有活动物体时，则可通过当前帧与背景的差别提取物体的轮廓作进一步判断。本发明所述背景并非一幅固定的背景图像，而是通过对预定时间内的正常背景图像进行统计，根据高斯概率模型建立的背景中每个像素点的概率模型。此模型用来判断像素的何种状态是属于背景的正常状态，何为异常。

相应的，本发明中所采集到的当前帧的图像是背景与前景混合在一起的图像，而将其与背景图像相减则可得到差值图；当前帧的图像和前一帧的图像相减得到另一差值图；对这两幅差值图像进行象素之间的“与操作”，则得到最终的当前前景图像；制作前景图像是为了发现并提取出摄像范围内的活动物体的外形轮廓，结合后面的人头发颜色模型检测功能23，即可识别活动物体中是否有人的头部特征，否则可判断此活动物体并非人体。

其中对指定区域的背景建立初始的高斯模型过程是现有技术图像处理中已经存在的技术，一般包括步骤：

首先，采集一段时间内光照稳定无干扰的背景区域样本视频。

其次，设此样本视频为100帧，并计算所有帧对应的像素点的灰度值的分布情况。其中对所有像素求和平均得到该像素点的平均值，以灰度值在均值周围的分布则可得到方差，由均值和方差则可建立起每个像素点的灰度高斯模型。

最后，当有物体出现在某个像素点，若此物体在该点的灰度值与模型的均值之差如超过模型方差，则认为，该点灰度值的变化属于外来活动物体。

建立高斯模型的优点在于可以抵抗摄像头自身的压缩过程、编解码过程、传输过程中的系统噪声，以及外界环境里的干扰，使系统具有一定的鲁棒性(robustness：控制系统在其特性或参数发生摄动时仍可使品质指标保持不变的性能，对干扰不敏感性)，不至于对干扰过于敏感。

本发明的背景模型的自适应升级更新过程是为防止背景中图像被改变后，监控计算进行误报的情况，其包括以下步骤：

在系统启动后的700帧约30秒内，有一个连续累加的过程，主要用于系统启动之初的新背景更新。在正常运行过程中，当无前景块出现时，则系统自动进行累加建模，其目的在于使系统适应环境光线的缓慢变化。当系统开始运行时，若视野内有不活动的物体，或更换了背景。则此时当前帧与初始背景的灰度值差值是超过高斯模型方差的，但由于背景不活动，所以相邻帧的差值为均0，因此，当前帧与初始背景的灰度值差值不被判断为前景。

此时，系统将当前帧累加到背景样本视频中，如原样本视频为100帧，则此时增加为101帧，只要背景不活动，则均需要累加。

背景自适应升级模块在累加一帧后开始工作，即，计算此101帧图像的每个像素点的均值和方差，重新建立该点的高斯模型。也就是说，每累加一帧均要重新建立模型，对于无前景块出现时的每一帧都要用于高斯背景模型的建立。

因此，在有一个不活动物体出现时，如果在系统启动之前便存在于视野之内，则系统启动之后将此物体作为新背景的一部分，并逐步更新背景，在背景图像中该物体是逐渐出现，而非突然出现，这种方式也使系统具备一定的鲁棒性。

基于前景块检测的人员数目估计22在当前背景的基础上，提取出前景图像，然后根据前景图像中连通区域的数目和面积估计当前图像中的人员数目。该环节包括以下步骤：

(1)运用相邻两帧相减估计运动前景图像221，即把当前帧图像每个象素点的灰度值和前一帧图像每个象素点的灰度值相减并取绝对值，当该绝对值大于预设阀值时，就记为前景点。

(2)根据背景模型估计前景图像222。在步骤21中本发明估计了背景的高斯模型，即建立了背景图像每一象素点的高斯分布，根据这一高斯分布的均值和方差，可以计算得到当前帧图像每一象素点属于背景的概率，当该概率小于预设概率阀值时即象素点的当前值与均值的差别超过设定的要求，就记为前景点。

(3)与操作。该步骤对步骤221得到的前景图像和步骤222得到的前景图像进行与操作，得到综合后的前景图像。对每个象素点而言，如果属于两个前景图像中的任何一个将其标记为前景点，则该象素点就被标记为前景点。

(4)预处理。由于前一步骤得到的前景图像存在大量的噪声，独立的前景区域中也存在很多空洞。因此本发明需要对前景图像进行预处理。首先，用数学形态学方法对前景图像进行腐蚀操作，这样可以去掉很多噪声点；接着，用数学形态学方法对前景图像进行膨胀操作，这样可以填充独立的前景区域中存在的部分空洞。然后，估计各个前景区域的外轮廓，并对外轮廓的内部区域进行填充，这样可以进一步去除独立前景区域中的空洞得到较好的前景连通块。

其中的腐蚀操作、膨胀操作也是数字视频图像处理技术中二值图像形态学处理方面的已有技术，用于降噪和空洞填充，其具体处理过程在此不再赘述。

(5)连通前景块标注。这一步骤根据前一步骤得到的预处理后的前景图像进行连通块(区域)标注，并根据连通区域的面积去掉面积小于一定阀值的前景块(区域)。

(6)根据前景块的数目和面积估计人员数目。对前一步骤得到的每一前景块，将前景块的面积除以预设的单个人可能占据的前景面积，即可得到每个前景块中可能存在的人员数目。对每个前景块的人员数目估计后累加即可得到当前区域的人员数目。

本发明基于头部检测的人员数目估计23通过寻找和头发颜色相似并且符合一定椭圆长短轴比例的区域来估计当前场景中头部的数目。该环节由以下几个步骤组成：

(1)采集样本231。通过图像获取模块1采集多个头部图像的样本，并手工将头部区域剪切出来作为建立头部颜色模板的训练样本。

(2)建立色调、饱和度模板232。该步骤将根据231得到的训练样本建立头部颜色模板。首先，将各个训练样本从RGB颜色空间转换到HSV空间，提取H(色调)分量和S(饱和度)分量，将色调和饱和度的取值范围均分为多个区间，然后统计落在各个区间的像素点的数目得到色调、饱和度直方图。

(3)计算反向投射(back projection)图像233。首先，把当前帧图像转换到HSV空间；接着，提取出当前图像的色调和饱和度分量；然后，根据每个像素点的色调和饱和度检索其在色调、饱和度直方图中的数值，经过比例变换后得到该像素点在当前像素点在反投射图像中的值。

其中反向投影BackProject是根据像素的色调、饱和度直方图对图像中的物体进行定位的一种技术，是现有技术常见的处理方式，其一般包括步骤：

首先，根据物体样本，如本例中的人头发，建立色调、饱和度的直方图，这将表示头发颜色的一个概率分布状态；此直方图的数据与样本的采集选取有关，可根据情况自行定制。

其次，对图像的色调、饱和度通道中每个像素的值，确定其在直方图中对应的值。直方图中的值为归一化的值(0，1之间)，假设图像包含该物体，则直方图有可能有极值，经过比例变换后，反投射到原图上。

最后，设定阈值经过二值化处理即可得到图像中指定物体所在的像素，进行预处理和连通区域标注等处理后则得到一个物体的轮廓区域。

(4)预处理234。首先，用数学形态学方法对反投射图像进行腐蚀操作，这样可以去掉很多噪声点；接着，用数学形态学方法对反投射图像进行膨胀操作。然后，提取反投射图像的外轮廓，并对外轮廓的内部区域进行填充。最后，对反投射图像进行二值化处理。即大于一定阀值的像素点的灰度值设为255，小于一定阀值的像素点的灰度值设为0。

(5)连通区域标注。这一步骤根据前一步骤得到的二值化图像进行连通块(区域)标注，并去掉面积小于一定阀值的连通块(区域)。

(6)统计符合要求的连通区域数目。因为垂直拍摄到的头部图像的形状大多为椭圆，而且椭圆的长短轴比例在一定范围内。该步骤中本发明用椭圆来拟合前一步骤得到的连通区域。然后，统计长短轴比例在一定范围内的连通区域数目，作为最终检测到的头部数目。

在本发明的综合检测结果环节24，把基于前景块检测的人员数目估计22和基于头部检测的人员数目估计23得到的人员数目估计结果，以及最近连续三帧人员数目估计结果取均值得到当前的人员数目估计结果。

本发明的上述处理过程中，前景图像需步骤221与步骤222得到的图像进行“与操作”，目的是为了区分判断镜头内的物体是否活动，如一直不活动，则将其判断为背景，并通过自适应的背景升级功能将其逐步作为背景的一部分。仅用步骤221或步骤222则不会具备此功能，从而会导致误判。

单独使用相邻两帧相减的方法即步骤221估计的前景图像得到的是当前运动物体的轮廓；单独使用背景模型估计的前景图像即步骤222得到的是与背景相差较大的物体图像。将两者得到的前景图像结合起来可提高前景图像的检测准确性。

须注意的是，上述各具体步骤的处理技术为现有技术的现代机器视觉领域中的常见技术，例如：颜色直方图和反向投射技术被广泛的应用于基于颜色的视觉跟踪中。在这里本发明将这六个环节的现有技术组合起来实现了基于头部估计人员数目的新功能，并且其检测准确性非常高，因此可用于安全性要求较高的检测摄影区域监控。

本发明数人系统可设置在一些有特殊安全要求的区域，先安装摄像装置，利用数人系统自动的对进入该区域的人数进行统计，当进入区域的人数超过预设人数时发出警报，引起保安人员的注意，就可以减少非法人员进入指定区域的情况发生。

该功能可给公司、实验室、存放重要物品的仓库等区域的门禁系统提供辅助监测的功能，当有人利用前一打卡人打开门的时机，紧随其后进入公司时，基于视频的数人系统检测到的人数会比打卡机记录到的人数要多，这时就有可能发生有未经许可的人员进入该区域的情况。

另外，该功能还可用于对指定区域的人口密集度进行大致的估计，如果指定区域的人口密集度大于一定的阀值，系统就发出报警信号，引起管理人员的注意，从而采取相应措施防止因过度拥挤而引起的踩踏等恶性事件的发生。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于视频的智能数人系统，其包括一图像获取模块，用于监控一指定区域，其特征在于，还包括一人员数目估计模块，其对从所述图像获取模块获得的图像进行处理，并包括背景估计、基于前景块检测的人员数目估计、基于头部检测的人员数目估计和综合检测结果四个模块，所述四个模块设置采用一通用计算机实现，用于实时采集指定区域的视频图像并根据每帧图像，结合基于前景块检测的人员数目估计和基于头部检测的人员数目估计方式计算指定区域的人员数目。

2.根据权利要求1所述的智能数人系统，其特征在于，所述图像获取模块包括一摄像头，垂直于所述被监控的指定区域固定设置；以及一视频采集卡，连接控制所述摄像头，用于实时获取所述摄像头的监控图像并处理成数字视频图像。

3.一种如权利要求1所述系统的处理方法，其包括以下步骤：

A.图像获取模块实时获取数字视频图像，并输入通用计算机；

B.在获得每帧数字视频图像后，采用人员数目估计模块估计该帧图像中的人员数目，并具体包括：

B1、对数字视频图像中进行背景估计，确定实时监控的数字视频图像的前景和背景；

B2、基于前景块检测进行人员数目估计；

B3、基于头部检测进行人员数目估计；

B4、对步骤B2和步骤B3的检测结果进行综合，对连续三帧得到的人员数目取均值得到当前帧的人员数目估计；

C、对步骤B4所得结果与预先设置的人员数目阈值进行比对，确定是否报警。

4.根据权利要求3所述的方法，其特征在于，所述步骤B2还包括：

B21、把实时的数字视频图像的当前帧图像和当前的背景图像相减，同时把当前帧图像和前一帧的图像相减；

B22、对相减得到的两幅图像进行与操作，得到当前的前景图像；

B23、利用数学形态学方法对前景图像进行去噪声处理；

B24、对前景图像进行连通区域标注，得到前景块检测数目；

B25、根据前景块的面积估计前景块检测数目中含有的人员数目。

5.根据权利要求3所述的方法，其特征在于，所述步骤B3还包括：

B31、通过图像获取模块采集多个垂直照射的头部样本，根据这些样本得到头部的色调、饱和度模板即色调、饱和度直方图；

B32、根据色调、饱和度直方图得到当前帧的反投射(back projection)图像；

B33、在反投射图像被前景所限定的区域中标注连通区域，并用椭圆拟合各个连通区域；

B34、统计符合一定长短轴比例的区域数目，作为检测到的头部数目，即头部检测的人员数目估计。

6.根据权利要求3所述的方法，其特征在于，所述步骤B1还包括：

B11、对指定区域的背景建立初始的高斯模型，即通过采集一段时间的背景视频图像后，计算每个象素点灰度值的均值和方差得到每个象素点的高斯模型；

B12、在系统运行过程中，根据当前采集到的数字视频图像对高斯模型的均值进行更新，以适应背景光照等因素引起的背景变化。

7.根据权利要求6所述的方法，其特征在于，所述步骤B12还包括：

B121、当系统开始运行时，在视野内更换背景和增加不活动的物体时，当前帧与初始背景的灰度值差值超过高斯模型方差，同时相邻帧的差值均为0，当前帧与初始背景的灰度值差值不被判断为前景；

B122、系统将当前帧累加到背景样本视频中，重新建立该点的高斯模型。

Images