CN102169543B - 基于多源信息融合和在线学习的人头计数方法 - Google Patents

Abstract

本发明公开了基于多源信息融合和在线学习的人头计数方法，它是在数字摄像机作为传感器以及数字信号处理芯片的支持下实现的，其特征在于：其包括以下步骤：利用所述数字摄像机采集行人的数字图像；应用Adaboost级联分类器检测出具有人头纹理特征的人体区域；应用SVM分类器进行筛选，筛选出具有头部和肩部特殊组合形状的人体区域作为最终人体对象并统计其数量。本发明结合纹理特征和形状特征，并且采用两级检测器结构，第一级检测器用来快速排除非人头区域，第二级检测器精确定位人头区域，降低虚警率。本方法还通过在线学习方式，极大增强本方法的环境适应能力。

Description

基于多源信息融合和在线学习的人头计数方法

技术领域

本发明属于视频检测方法，尤其是应用人头检测技术的基于视频的客流计数方法。

背景技术

客流统计是一项重要的市场研究手段，国外几乎所有大型商场和连锁商业网点在进行市场和管理决策前都必须进行的环节。随着商业竞争加剧，商业模式逐步由传统坐商向极具主动性的行商转变，对客流数据的获取以及分析显得尤为重要。客流统计系统是通过对商场、连锁店客流量进行连续精确检测，获取客流量随时间的变化趋势和不同网点间的对比统计，揭示客流量与商场营运策略、营销技术和内部管理间的内在关系，客观评价已有推广效益，规划未来的市场策略，为管理决策者提供极有价值的信息。当前市场上，已经有各种各样的客流统计系统来满足不同使用群体的需求，主要包括红外传感器扫描计数，压力踏板式自动计数，人工统计等统计方式。这几种客流统计方式为客流的管理起到了一定的积极作用，但各自都存在着多种缺点。

其中，红外传感器扫描计数的缺点是不能区分单人还是多人，不能辨别行人的行进方向；同时对于环境温度、日光照射等比较敏感，受外在因素影响大，计数误差大。人工统计是一项非常繁琐和耗费人力、财力的工作，在实际操作过程中，要做到经常性、实时性、系统性基本不可能实现。压力踏板式自动计数不能判别客人的进出方向，客流量大时容易混乱，物理装置易损坏，安装位精度要求高，可维护性差，计数误差太大。

目前基于视频分析的人头检测方法是客流统计领域的研究热门，它的基本原理是利用人头的圆形特征、头发色彩特征等进行检测。

发明内容

本发明提供了一种解决上述问题的方案，提供一种性能更好、鲁棒性更强的基于视频分析的人头计数方法。

本发明的技术方案是提供基于多源信息融合和在线学习的人头计数方法，该方法是在以数字摄像机作为传感器以及数字信号处理芯片的支持下实现的，其特征在于：该方法包括以下步骤：

1）利用所述数字摄像机垂直向下连续拍摄指定区域，采集该指定区域内行人的数字视频；

2）将1）中所述数字视频转换成多帧连续的数字图像；

3）应用Adaboost级联分类器检测2）中所述数字图像，得到具有人头纹理特征的人体区域；

4）应用SVM分类器对3）中所述人体区域进行筛选，筛选出具有头部和肩部特殊组合形状的人体区域作为人体对象，并统计其数量作为最后结果。

优选的，步骤3）中所述Adaboost级联分类器为双纹理特征的组合分类器，前置分类器应用Haar特征进行训练，后置分类器应用局部二元模式LBP特征进行训练。

优选的，步骤4）中所述SVM分类器为基于纹理特征和形状特征的组合特征向量进行训练的验证器。

优选的，步骤3）中所述Adaboost级联分类器和步骤4）中所述SVM分类器要进行在线学习，所述在线学习包括以下步骤：

a）通过步骤1）到步骤4）获取指定区域的所述最后结果；

b）通过a）中得到的所述最后结果和步骤2）中所述数字图像中实际的人头数进行比较；

c）如果b）的比较结果不一致，则调整步骤3）中所述Adaboost级联分类器和步骤4）中所述SVM分类器的参数；

d）重复a）、b）和c），最终获得精度最高时的所述Adaboost级联分类器和所述SVM分类器的参数。

本发明的基于多源信息融合和在线学习的人头计数方法结合纹理特征和形状特征，通过统计学习的方法训练人头检测器，采用两级检测器结构，第一级检测器主要利用人头纹理特征训练得到分类器，用来快速排除非人头区域；第二级采用纹理和形状特征，精确定位人头区域，降低虚警率。为了减轻不同应用场合环境变换的影响，本方法还应用了在线学习技术，通过在线收集人头样本进行训练并相应调整分类器参数，从而大大改进检测器对各种环境：不同摄像头、不同架设角度、不同环境光线下的适应性能。

附图说明

图1是本发明的基于多源信息融合和在线学习的人头计数方法的算法原理框图。

具体实施方式

下面对本发明的具体实施方式作进一步详细的描述。

如图1所示，本发明的基于多源信息融合和在线学习的人头计数方法方法首先进行视频采集，采集到的视频信息依次经过Adaboost级联分类器和SVM分类器，最终得到检测结果。

本发明的基于多源信息融合和在线学习的人头计数方法是在数字摄像机作为传感器的支持下实现的，人头检测原理主要利用了人头纹理特征、头部与肩部的组合形状等特性进行分析。以下结合附图1所示的算法原理图，详细说明本方法的具体实施方式。

 首先采用数字摄像机作为传感器连续采集定点区域图像形成数字视频流作为信号源，数字摄像机采用CCD或者CMOS等A/D芯片；视频图像采集装置垂直安装在待监测区的正上方，与地面的距离保持在2.2～4.8米之间；

 将

中所述数字视频转换成多帧连续的数字图像；

 应用Adaboost级联分类器检测

中所述数字图像，快速得到具有人头纹理特征的人体区域。Adaboost级联分类器为双纹理特征的组合分类器，前置分类器优选Haar特征进行训练，后置分类器优选局部二元模式LBP特征进行训练。

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特征，将注意力放在关键的训练数据上面。

Adaboost训练过程如下： 

　 1. 先通过对N个训练样本的学习得到第一个弱分类器； 

　 2. 将分错的样本和其他的新数据一起构成一个新的N个的训练样本，通过对这个样本的学习得到第二个弱分类器 ； 

　 3. 将1和2都分错了的样本加上其他的新样本构成另一个新的N个的训练样本，通过对这个样本的学习得到第三个弱分类器； 

4. 最终经过提升得到强分类器 。

训练分类器需要先选择特征，基于不同纹理特征描述符对纹理描述能力的不同以及实际应用测试结果，选择Haar特征训练分类器作为前置分类器，选择局部二元模式LBP训练分类器作为后置分类器。以下分别阐明这两个分类器：

Haar对宏观结构纹理特征描述能力较强，因此选择Haar特征训练分类器作为前置分类器，主要用于快速排除非人头区域，为后续筛选保留了较小的候选区域集。Haar特征有如下几种，应用积分图像来快速计算Haar特征。

Haar特征适合于宏观结构纹理特征描述，但抗光照不均的能力较差，对微观纹理特征描述能力不稳定，因此选择具备抗光照不均能力的局部二元模式LBP训练分类器作为后置分类器，增强纹理描述子的细节区分能力，排除更难区分的负样本区域，抗光照不均能力很强，效果很好。LBP算子如下图所示，选取某一个像素为中心，将中心点像素的灰度值作为阀值并与3x3临域的像素灰度值进行数值大小比较，并把大于阀值的点置为1，反之置为0，然后逆时针方向得到一个8位的二进制编码10000011，这就是该像素的LBP特征值。扩展的LBP算子有MB-LBP等。MB-LBP叫宏块局部二元模式,以宏块为最小单元进行计算，宏块直径是可调的，当宏块直径为1时就是经典的基于像素的LBP，因此，MB-LBP能很好的描述细纹理又能很好的描述粗纹理。

   

 应用支持向量机SVM对

中所述人头区域进行严格筛选，筛选出具有头部和肩部特殊组合形状的人体区域作为最终人体对象，进一步降低虚警率。

支持向量机SVM以组合纹理特征和形状特征而成的特征向量进行训练。纹理特征应用Haar纹理特征和LBP纹理特征；形状特征包括人头面积大小和圆形度等，具体计算过程如下：

1） 利用边缘检测算子进行边缘特征提取，边缘检测算子优选Canny或者Sobel。

2） 提取轮廓，抽取形状信息，包括 ：

人头面积大小 ；

周长的平方与面积的比值；

各边缘点到中心的距离方差。

以下简述支持向量机SVM：

支持向量机SVM方法建立在统计学习理论的VC维理论和结构风险最小原理的基础上，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳的折衷，以期获得最好的推广能力（或称泛化能力）。SVM的解是全局唯一的最优解。SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其它机器学习问题中。支持向量机SVM应用方向有支持向量分类SVC和支持向量回归SVR等。

SVM主要思想概括为以下两点：

 针对线性可分情况进行分析，对于线性不可分情况则通过非线性映射算法将低维输入空间线性不可分样本转化为高维特征空间使其线性可分；

 基于结构风险最小原理，在高维特征空间中构建最优化分割超平面，使得学习器获得全局最优化，并且使其期望风险满足可控上界。

SVM用于分类的一般特征：

 SVM学习过程是一个凸二次规划问题，可利用已知的有效算法发现目标函数的全局最小值；而如人工神经网络等其它分类方法都是基于贪心学习策略来搜索假设空间，这种方法一般只能获得局部最优解；

 SVM通过最大化决策边界的边缘来控制模型的能力；

 SVM对数据中每个分类属性引入一个哑变量；

 SVM可处理多类问题；

 SVM应用核函数巧妙的解决了从低维样本空间向高维特征空间映射带来的“维数灾难”问题；常用的核函数有下面几种： 

　　(1)线性核函数K(x,y)=x·y； 

　　(2)多项式核函数K(x,y)=[(x·y)+1]d； 

　　(3)径向基函数K(x,y)=exp(-|x-y|^2/d^2) 

(4)二层神经网络核函数K(x,y)=tanh(a(x·y)+b)。

SVM训练过程：

   给定一个n组关系未知样本的数据集H={(xi,yi)}i=1,…n，其中xi是输入向量，yi是期望值，n是数据点的总数。SVM可以利用一个非线性映射,将数据x映射到高维特征空间H,并在这个空间中进行线性逼近。由统计学习理论可知,该函数具有以下形式：

                        (1)

最优的分类函数是通过在一定的约束条件下最小化结构风险：

                    (2)

其中

使得函数更为平坦，称为规则化项；第二项为经验风险泛函，可由不同的损失函数确定，常数C>0，惩罚函数，控制对超出误差的样本的惩罚程度。本文采用的

-不敏感损失函数：

对于

，若估计输出f(xi)与期望输出yi的偏差的绝对值小于时候，它等于0；否则，它等于偏差的绝对值减去，通过引入非负的松弛变量

，

，则上面的等式可转换为：

引入拉格朗日函数，我们最终可以得到：

由此可得，                         

引入核函数K(xi,xj),上面式子可以变为：

K(xi,xj)是向量xi,xj在特征空间(xi)和(xj)上的内积，即K(xi,xj)=(xi) (xj)。通过核函数所有的运算都可以直接在输入空间上计算，核函数的选择对支持向量机非常重要。

 进行在线学习，通过将本发明得到的人头数的最终结果和实际人头数进行反复比较，逐步调整3）所述的Adaboost级联分类器和4）中所述的SVM分类器的参数，使得两者最终相同。在线学习极大增强本方法的环境适应能力，提高了本发明的鲁棒性，减少了虚警率。

到此，一个人头检测器已经实现。本方法融合了包括Haar纹理特征、LBP纹理特征、人头面积、人头圆形度等多源信息，采用了Adaboost分类器和SVM分类器，即达到快速检测又保证了低虚警率，并通过在线学习以提高环境适应能力。

以上实施例仅为本发明其中的一种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。 

Claims (3)

1.基于多源信息融合和在线学习的人头计数方法，该方法是在以数字摄像机作为传感器以及数字信号处理芯片的支持下实现的，其特征在于：该方法包括以下步骤：

1）利用所述数字摄像机垂直向下连续拍摄指定区域，采集该指定区域内行人的数字视频；

2）将1）中所述数字视频转换成多帧连续的数字图像；

3）应用Adaboost级联分类器检测2）中所述数字图像，得到具有人头纹理特征的人体区域；

4）应用SVM分类器对3）中所述人体区域进行筛选，筛选出具有头部和肩部特殊组合形状的人体区域作为人体对象，并统计其数量作为最后结果；所述SVM分类器为基于纹理特征和形状特征的组合特征向量进行训练的验证器。

2.根据权利要求1所述的基于多源信息融合和在线学习的人头计数方法，其特征在于：步骤3）中所述Adaboost级联分类器为双纹理特征的组合分类器，前置分类器应用Haar特征进行训练，后置分类器应用局部二元模式LBP特征进行训练。

3.根据权利要求1所述的基于多源信息融合和在线学习的人头计数方法，其特征在于：步骤3）中所述Adaboost级联分类器和步骤4）中所述SVM分类器要进行在线学习，所述在线学习包括以下步骤：

a）通过步骤1）到步骤4）获取指定区域的所述最后结果；

b）通过a）中得到的所述最后结果和步骤2）中所述数字图像中实际的人头数进行比较；

c）如果b）的比较结果不一致，则调整步骤3）中所述Adaboost级联分类器和步骤4）中所述SVM分类器的参数；

d）重复a）、b）和c），最终获得精度最高时的所述Adaboost级联分类器和所述SVM分类器的参数。

Images