CN103986910A

CN103986910A - 一种基于智能分析摄像机的客流统计方法和系统

Info

Publication number: CN103986910A
Application number: CN201410213387.9A
Authority: CN
Inventors: 王飞跃; 胡斌; 李逸岳; 熊刚; 田秋常; 田滨; 刘思益
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2014-05-20
Filing date: 2014-05-20
Publication date: 2014-08-13

Abstract

本发明公开了一种基于智能分析摄像机的客流统计方法，该方法包括以下步骤：获取视频序列图像，并进行灰度化处理，得到相应的灰度图像；设定图像检测区域，并对图像检测区域在统计方向上设置触发计数的标识线；确定视频序列图像中运动目标位置区域；对运动目标区域进行目标检测，对于识别得到的目标，存储其位置信息；对检测得到的目标进行运动预测和跟踪，并根据目标运动轨迹和标识线触发进行客流量的统计。本发明还公开了一种基于智能分析摄像机的客流统计系统。本发明通过机器学习训练得到分类器来检测目标，有效地解决了识别率低及漏检、误检等问题，并且运算开销较小，可以满足实时性的需要，适用于各种场景下的客流量统计应用。

Description

一种基于智能分析摄像机的客流统计方法和系统

技术领域

本发明涉及图像处理和视频智能分析技术领域，具体涉及一种用于多场景下的基于智能分析摄像机的客流统计方法和系统。

背景技术

随着现代技术的不断成熟和进步，“平安城市”、“智慧城市”等概念的提出，视频监控系统的应用场合越来越广泛，功能也越来越强大，并且朝着智能化、自动化的方向发展。客流检测和统计属于视频智能分析的范畴，基于监控视频的客流统计分析在很多不同场合都有着重要的实用意义，在商业应用上，对于大型商场、超市、体育馆、旅游景点等场所，不同时间段及不同区域的客流统计数据可以作为经营者和管理者进行市场研究和分析的重要依据。对于地铁站、公交车站台等公共交通场所，统计各个站点乘客进出的数量，通过决策分析，合理调配和利用公共交通资源，能够在一定程度上缓解交通拥塞问题。

传统的客流统计方式主要有两种，一是靠监控工作人员人工点数来实现；二是使用红外光电传感器来统计通过某一固定位置的客流数。利用人工或视频监控辅助人工观测来进行客流统计的方式不仅耗费人力成本，而且长时间工作人眼容易疲劳，当客流量密集时，观测者反应不过来，统计的准确率较低；用红外对射遮挡触发来统计人数的方法往往受制于现场环境，设备不易安装，不能区别人和物体，当出现多人并行通过或者交叉进出时，都会产生统计上的误差。因此，无论在统计准确率还是安装使用便利性上，基于视频的客流统计较之传统的客流统计都有很大的优势，基于视频的客流人数统计可以根据应用场合的不同来调整检测范围，硬件设备安装方便，并且有存储回放功能，可以更好地应用于各种复杂场合。

基于视频的客流量统计主要是分析视频中的行人运动轨迹，累计进入和离开两个方向上的客流人数，目前基于视频分析的客流统计技术上还存在一些问题和不足，主要是鲁棒性不够好，受环境、光线条件的影响，可能在某些场合中有较好的效果，但在某些场合下的统计精度达不到要求。对于行人带帽子、白头发、背包以及地板背景较黑等特殊情况没有很好的区分能力，产生统计上的误差。此外，基于视频的客流统计主要是依靠后端的视频分析服务器来对视频图像进行处理分析，视频监控点越多，后台服务器同时分析多路视频时的运算压力越大，甚至需要增加服务器设备，从而加大了成本投入，且不易扩展。

发明内容

有鉴于此，本发明提出一种基于智能分析摄像机的客流统计方法和系统。根据本发明的一方面，提出一种基于智能分析摄像机的客流统计方法，该方法包括以下步骤：

步骤1，获取视频序列图像，并对其中的每一帧图像数据进行灰度化处理，得到相应的灰度图像；

步骤2，设定所述视频序列图像中的图像检测区域，并对图像检测区域在统计方向上设置触发计数的标识线；

步骤3，确定所述视频序列图像中运动目标的位置区域；

步骤4，对所述视频序列图像中的运动目标区域进行目标检测，对于识别得到的目标，存储其位置信息；

步骤5，对检测得到的目标进行运动预测和跟踪，并根据目标运动轨迹和标识线触发进行客流量的统计。

根据本发明的另一方面，还提出一种基于智能分析摄像机的客流统计系统，该系统包括智能分析设备、服务器和客户端，其中：

所述智能分析设备用于获取视频，并对其进行智能分析，并将视频数据和智能分析结果传输至服务器；

所述服务器用于保存所述视频数据和智能分析结果并对其进行处理，并提供查询；

所述客户端用于进行人机交互，并在客流量统计结果符合报警条件时提示预警。

客流统计的准确率主要与目标的识别准确率和跟踪的准确率有关。本发明通过机器学习训练得到分类器来检测目标，不需要考虑人头的不同特征而加入对应的识别算法组合，有效地解决了识别率低及漏检、误检等问题，并且运算开销较小，可以满足实时性的需要，适用于各种场景下的客流量统计应用，并可移植到嵌入式平台上实时运行。另外，本发明提出的客流统计方法可以在前端设备上实现，每一个摄像机设备都是一个独立的视频处理单元，其可实时地将统计数据反馈回数据库服务器生成数据报表做进一步的细化分析，大大减轻了后台服务器的处理压力；同时，针对具体应用场合可以对于摄像机设备进行灵活的安装布局，没有数量上的限制，这种分布式的结构方便大型客流统计系统的集成和扩展。

附图说明

图1是根据本发明一实施例的基于智能分析摄像机的客流统计方法流程图；

图2是根据本发明一实施例的基于智能分析摄像机的客流统计系统的结构示意图。

图3是根据本发明一实施例的客流统计客户端的界面示意图。

图4是根据本发明一实施例的客流统计数据库服务器的查询界面示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

客流统计的前提条件是摄像机处于垂直放置的状态，以解决遮挡和重叠问题实现精确计数；使用短焦距广角镜头，使得检测的视野范围尽可能大。在硬件配置方面，可采用海思Hi3516SOC嵌入式平台，其能够支持高清1080P30fps视频输入和编码处理，处理器内核采用ARM Cortex A9架构，主频最高达800MHz，计算能力强大并具有硬件级图像处理加速模块。

图1是本发明基于智能分析摄像机的客流统计方法流程图，如图1所示，所述基于智能分析摄像机的客流统计方法包括以下步骤：

该步骤中，还对获取的视频序列图像进行存储，以方便后续进行回放和查询。为了节省视频的存储空间且方便检索，该步骤通过客流统计监测，把客流进入场景到离开场景这段时间的视频数据，利用rtp协议通过网络接口传输给后台服务器进行保存。

步骤2，设定所述视频序列图像中的图像检测区域，并对图像检测区域在统计方向上，比如进出两个方向上，设置触发计数的标识线，即为所述图像检测区域设置绊线功能；

其中，用户可在客户端上对于所述标识线进行设置和更改，所述标识线可以是直线，也可以是曲线，需要说明的是，标识线的手动设置需要遵循一定的规则，比如如果设定为曲线，则需通过最小二乘法拟合出曲线方程，当目标经过标识线时即产生触发信号。

步骤3，确定所述视频序列图像中运动目标的位置区域；

所述步骤3具体为利用帧间差除法对所述视频序列图像中的运动目标前景进行提取，以确定客流区域，为下一步的人头目标检测做准备，同时缩小图像搜索范围以减少运算量。

为了消除常规帧间差除法提取前景目标时出现的“双影”现象，本发明对所述视频序列图像进行三帧差分处理，所述三帧差分处理具体为：

步骤31，对于所述视频序列图像中三帧分别相邻N帧间距的图像做双差分运算，即两次差分运算，得到两幅差分图像；

步骤32，利用预设阈值对于所述差分图像进行二值化处理，得到与所述差分图像大小相同的二值掩码图像；

步骤33，通过对二值掩码图像进行相与比较，提取得到准确完整的运动目标前景；

其中，所述运动目标前景图像D_k(x,y)表示为：

D_{k} (x, y) = \{\begin{matrix} 1 & if | I_{k} (x, y) - I_{k - n} (x, y) | > Thand | I_{k} (x, y) - I_{k - 2 n} (x, y) | > Th \\ 0 & otherwise \end{matrix},

其中，I_k(x,y)表示第k帧图像的灰度图，I_k-n(x,y)表示第k-n帧图像的灰度图，Th表示二值化阈值，I_k-2n(x,y)表示第k-2n帧图像的灰度图。

所述步骤3进一步包括步骤34，对于得到的运动目标前景图像，进行中值滤波和形态学上的先腐蚀后膨胀滤波处理，以去除二值掩码图像中的噪声和干扰，提取得到运动目标大致所在的区域，也就是场景中行人的大致区域位置，从而缩小人头目标的检测范围，为人头目标的快速检测打下基础。

步骤4，对所述视频序列图像中的运动目标区域进行目标(人头)检测，对于识别得到的目标，将其外接矩形加入到目标跟踪列表，并存储其位置信息；

其中，本发明利用预先训练好的级联分类器对所述视频序列图像中的运动目标区域进行目标检测，所述级联分类器中，每层分类器所包含的特征数目并不相同，位置越靠前的分类器越简单，包含的特征数目越少，用于排除大量容易排除的非人脸窗口，位置越靠后的分类器越复杂，包含的特征数目越多，用于进行精细排除。这样就可以利用级联分类器的特性，在最开始阶段过滤掉大量不包含人头区域的图像区域，对前面分类器检测得到的候选窗口再进行下一步的判断，在其中任意一级分类器对当前检测窗口的检测结果为非人头时，级联分类器就将其判定为非目标区域，即执行一票否决机制，这样就可以在开始阶段快速过滤掉大量不包含目标区域的图像区域，从而达到加速检测的目的。

在本发明一实施例中，采用基于线性SVM强分类器组合成的级联分类器和滑动窗口检测方法来进行目标的检测，训练分类器时，需要对大量的人头正样本和负样本提取不同维数的特征向量来进行训练，最终得到若干SVM强分类器并将其组合成级联分类器。在足够多的样本支持下，机器学习得到的分类器表现出良好的性能，不需要应对特殊的情况加入各种分类器。所述级联分类器基于HOG特征。在采用HOG特征来描述目标特性时，对于不同级别的SVM分类器，可对归一化图像进行不同大小的子块单元的划分和不同维度方向直方图统计得到不同维数的HOG特征进行输入训练，其中，位置靠前的SVM分类器特征向量维数较少，用于快速排除大量容易排除的非目标窗口，位置靠后的SVM分类器特征维数越多，具有更强的分类能力。

需要特别说明的是，为了保证检测速度和尽量减少漏检现象，在使用基于滑动窗口检测方法检测目标时，本发明引入多尺度检测机制，即合理设置检测窗口之间的间隔和放大系数逐步放大检测窗口进行检测，因为如果扫描间距和放大系数设置过小，就会造成检测窗口过多，但如果扫描窗口间距和放大系数过大，则有可能会错过目标区域，造成目标的漏检。

这样，利用级联分类器对图像进行多尺度扫描检测后会在不同位置、不同尺度的检测窗口中得到多个检测结果，而实际上，在这些结果中，只有一个是最需要、最可信的。因此，在检测到目标后还需要对得到的目标检测结果进行融合。

因此，所述步骤4还包括对于目标检测结果进行融合的步骤，该步骤具体为：

首先，计算多个检测结果窗口的重叠面积和重叠个数，定义窗口的重叠面积阈值T1和窗口数量阈值T2，如果在某区域位置内多个检测结果窗口的重叠面积和个数大于对应的阈值，就认为检测到了一个目标，否则，认为该窗口对应的是错检的目标，予以剔除，从而达到提高检测率，降低误报率的目的；

然后，对属于同一目标的一系列重叠的检测结果窗口进行合并，得到最合适的一个检测结果窗口。

该步骤中，较为简单的合并处理是对属于同一目标的所有检测到的目标区域的位置和尺寸求取平均，最终合并得到一个目标区域。

所述步骤5进一步包括以下步骤：

步骤51，利用Kalman滤波器对于目标进行状态预测；

所述步骤51具体为：

首先，对于检测得到的目标，建立并初始化目标的Kalman滤波器；

其中，所述Kalman滤波器的状态转移矩阵F和观测模型H分别表示为：

F = [\begin{matrix} 1 & 0 & 1 & 0 \\ 0 & 1 & 0 & 1 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{matrix}],

H = [\begin{matrix} 1 & 0 \\ 0 & 1 \\ 0 & 0 \\ 0 & 0 \end{matrix}];

然后，将目标检测结果对应的初始检测结果窗口Rect、初始检测结果窗口的中心点位置和颜色直方图信息作为描述目标的对象存入目标跟踪列表ObjList[]中；

然后，对于目标进行运动预测，其中，将在视频序列图像中相邻两帧间隔时间内的运动看作匀速运动。

步骤52，在该目标的最近邻局部区域内进行目标特征匹配，以实现目标的跟踪；

该步骤中，对运动预测得到的结果的近邻局部区域范围内进行目标特征匹配和更新，即在近邻局部区域搜索范围内，使用直方图数组Hist[]归一化积相关度量比较得到的局部最大值来确定目标当前所在的位置，并对目标跟踪列表ObjList[]中存储的目标数据进行更新。

另外，该步骤还根据目标跟踪列表中更新后的目标区域大小和位置信息，建立反向掩码矩阵mask，以动态调整检测图像的范围，并在mask矩阵为0的位置上不再重复检测；

其中，在目标跟踪和位置更新的过程中会出现目标之间重叠遮挡的情况，因此，该步骤还包括合并重叠目标的步骤，具体为：首先，计算目标矩形重叠的面积CrossArea，如果CrossArea>RectArea_min×thD，其中，RectArea_min表示单个目标矩形的面积值，thD表示面积阈值系数，则将所重叠的矩形合并成一个矩形，将其余的目标从列表中删除，并更新数据，待目标分裂再次被检测为目标时重新加入跟踪列表，以避免重复计数。

步骤53，当跟踪的目标经过所述标识线时进行触发计数，计算得到该目标初始检测结果窗口的中心点位置与当前位置之间的直线运动距离S和运动方向θ，如果直线运动距离S大于某一既定阈值且运动方向θ符合客流的运动方向，即满足设定的方向条件，则相应客流计数加1，比如，如果判断为行人进入状况，则进入计数变量Entrance加1，如果判断为行人离开状况，则离开计数变量Exit加1，从而增加目标计数的防抖动功能，之后将该将目标从目标跟踪列表中删除。

所述客流统计方法可在智能网络摄像机端实现，每个智能网络摄像机设备都是一个独立的检测单元。

根据本发明的另一方面，还提出一种基于智能分析摄像机的客流统计系统，如图2所示，所述基于智能分析摄像机的客流统计系统包括智能分析设备、服务器和客户端，其中：

所述智能分析设备用于获取视频，并对其进行智能分析，并将视频数据和智能分析结果传输至后台服务器；

为了减少传输数据量，所述智能分析设备对于所述视频数据和智能分析结果进行编码后再传输至后台服务器。

所述服务器用于保存所述视频数据和智能分析结果并对其进行处理，所述服务器具有检索查询功能，使用户能够根据具体时间及设备号等信息通过客户端进行查询和回放；

所述服务器进一步包括数据库服务器、系统管理服务器和控制服务器，其中：

所述数据库服务器用于保存所述视频数据和智能分析结果，并对其进行进一步的细化分析，生成小时、日、周、月、年等需要时间段内各个监控点进出客流量统计报表和曲线图，以及任何时间段内的历史同期客流量统计对比报表。

所述控制服务器用于在客流量统计结果符合报警条件时，比如单位时间内的客流量超过场所设定能承受的最大负荷，控制所述客户端提示预警，以便管理人员适时做出科学的决策。

所述系统管理服务器用于对于所述客流统计系统进行管理，提供对每一路摄像机相关参数的设置、连接断开以及实时画面查看等管理功能，以便管理人员对于整个系统进行综合管理。

图3是根据本发明一实施例的客流统计客户端的界面示意图；图4是根据本发明一实施例的客流统计数据库服务器的查询界面示意图。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于智能分析摄像机的客流统计方法，其特征在于，该方法包括以下步骤：

步骤3，确定所述视频序列图像中运动目标的位置区域；

2.根据权利要求1所述的方法，其特征在于，所述步骤3利用帧间差除法对所述视频序列图像中的运动目标前景进行提取。

3.根据权利要求2所述的方法，其特征在于，所述步骤3进一步包括以下步骤：

步骤33，通过对二值掩码图像进行相与比较，提取得到准确完整的运动目标前景。

4.根据权利要求3所述的方法，其特征在于，所述步骤3进一步包括步骤34，对于得到的运动目标前景图像，进行中值滤波和形态学上的先腐蚀后膨胀滤波处理，以去除噪声和干扰。

5.根据权利要求1所述的方法，其特征在于，所述步骤4利用级联分类器和一票否决机制对于所述视频序列图像中的运动目标区域进行目标检测，所述级联分类器中，位置在前的分类器包含的特征数目少于位置在后的分类器包含的特征数目。

6.根据权利要求5所述的方法，其特征在于，所述步骤4还利用多尺度检测机制进行目标检测。

7.根据权利要求1所述的方法，其特征在于，所述步骤4还包括对于目标检测结果进行融合的步骤。

8.根据权利要求1所述的方法，其特征在于，所述步骤5进一步包括以下步骤：

步骤51，利用Kalman滤波器对于目标进行状态预测；

步骤52，在该目标的最近邻局部区域内进行目标特征匹配，以对目标进行跟踪；

步骤53，当跟踪的目标经过所述标识线时进行触发计数，计算得到该目标初始位置与当前位置之间的直线运动距离S和运动方向θ，如果所述直线运动距离S大于某一既定阈值且运动方向θ符合客流的运动方向，则相应客流计数加1。

9.一种基于智能分析摄像机的客流统计系统，其特征在于，该系统包括智能分析设备、服务器和客户端，其中：

10.根据权利要求9所述的系统，其特征在于，所述服务器进一步包括数据库服务器、系统管理服务器和控制服务器，其中：

所述数据库服务器用于保存所述视频数据和智能分析结果，并对其进行细化分析；

所述控制服务器用于在客流量统计结果符合报警条件时，控制所述客户端提示预警；

所述系统管理服务器用于对于所述系统进行管理。