CN104298969B

CN104298969B - 基于颜色与haar特征融合的人群规模统计方法

Info

Publication number: CN104298969B
Application number: CN201410500290.6A
Authority: CN
Inventors: 陈雷霆; 蒲晓蓉; 万艾学; 邱航; 蔡洪斌; 崔金钟; 卢光辉; 曹跃
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2014-09-25
Filing date: 2014-09-25
Publication date: 2018-06-26
Anticipated expiration: 2034-09-25
Also published as: CN104298969A

Abstract

本发明公开了一种基于颜色与HAAR特征融合的人群规模统计方法，该方法包括以下步骤：数据预处理；特征提取；Adaboost构建目标模型；行人检测以及人数统计。本发明融合颜色特征和Haar特征的方法，将颜色这种先验知识作为Haar特征权值进行目标判断，再通过adaboost训练分类器进行人群中个体的检测与识别。本发明首先训练Haar模型，通过加权基于人脸肤色的颜色属性构建分类器用于人脸检测，将人脸子窗口进行K‑NN分类，分类结果即为行人个数。本发明能避免光线过弱、目标集中、目标过小等因素造成的影响。

Description

基于颜色与HAAR特征融合的人群规模统计方法

技术领域

本发明涉及一种规模统计方法，具体涉及一种基于颜色与HAAR特征融合的人群规模统计方法。

背景技术

视频人群规模统计运用视频图像分析技术进行人群流量统计。从视频流中分析统计出人群规模(即人数)是一个非常复杂且挑战性的计算机视觉与计算智能问题。人群规模统计能为大型商场、购物中心、连锁店、广场、街道、机场、车站、博物馆、展览馆等公共场所的管理和决策提供有效的数据支撑。用户可以在掌握监控区域动态信息的同时，能及时得到目标区域中准确的人数规模和人群流量数据，有利于提升管理水平和效率。实现视频人群规模统计涉及到目标检测、目标识别和对象聚类技术等计算机技术。

本发明基于目标检测，对视频监控目标区域的人流量进行自动统计。目标检测是近年来计算机视觉领域的研究热点，它在基于内容的图像检索、智能交通、智能视频监控、高级人机交互等领域具有广泛的应用前景。由于目标外观形状的不确定性，应用场景的复杂性，目标之间以及目标与其它物体之间的相互遮挡等原因导致目标检测成为一个极具挑战性的问题。目标检测是自动目标识别的基础和关键环节。早期的目标识别研究主要针对具有较强约束条件的目标图像(如，无背景的图像)，往往假设目标位置已知或很容易获得。因此，目标检测问题并未受到重视。近几年，随着电子商务等应用的发展，目标识别已逐渐成为最具潜力的生物身份验证手段，这种应用背景要求自动目标识别系统能够对一般环境图像具有一定的适应能力。由此所面临的一系列问题使得目标检测开始作为一个独立的课题受到研究者的重视。

目前，已提出了一些常用的、有效的目标检测方法，其中基于特征提取的目标检测方法，如基于Haar特征的目标检测方法表现出较好的性能。不过，Haar特征的应用存在较大的局限性，不能应对图像中目标过小、光线影响严重、对象数量集中、对比度不足等诸多实际环境，这些环境中无法获取可靠的Haar特征，导致很难区分每个独立对象。

为此，有研究通过融合一些全局特征来改进Haar特征，可以解决某些对比度过弱无法获取有意义特征的问题，如果使用恰当的特征还可以克服光线对目标的影响问题。但是，通过局部或全局特征融合，很难区分相近特征，容易造成误检现象。

北京中星微电子有限公司黄英的专利《基于视频监控的人数统计方法和系统》，于2009年01月7日向中国国家知识产权局申请专利并获得批准，于2009年01月8日公开，公开号为：CN101477641，该专利主要是使用跟踪统计人流量，当人流过多时，会出现如下问题：第一，多目标跟踪过程中容易出现单体之间的重合、遮挡等问题，无法确保跟踪所需的单体特征获取，从而无法检测跟踪；第三，多目标跟踪需要大量的计算，花费时间很难估量。

刘子源和蒋承志2011年8月在辽宁科技大学学报上发表论文《基于OpenCV和Haar特征分类器的图像人数检测》。研究了一种基于OpenCV和Haar特征检测固定区域图像中人数的方法。通过选取大量含有人的Haar特征的样本图片，利用OpenCV训练出分类器，并通过实验深入分析选取的样本对分类器识别性能(即检测效果)的影响，最终选取人的头肩部上半身样本训练分类器，并在1500张640pi×480pix待检图像(共计人数17294人)的检测实验中达到93.9％的识别准确率，平均检测时间小于323ms。

此文通过Haar特征统计图像中的人数，但是该文章采用的实验用样本与视频监控获取的图像有差异，单纯使用Haar特征统计监控中人数会出现漏检、误检现象，同时此文没有针对视频中出现的重复的计数策略。

发明内容

为解决上述问题，我们提出融合颜色特征和Haar特征的方法，将颜色这种先验知识作为Haar特征权值进行目标判断，再通过adaboost训练分类器进行人群中个体的检测与识别。本发明首先训练Haar模型，通过加权基于人脸肤色的颜色属性构建分类器用于人脸检测，将人脸子窗口进行K-NN分类，分类结果即为行人个数。

本发明的具体技术方案如下：

一种基于颜色与HAAR特征融合的人群规模统计方法，包括以下步骤：

步骤1数据预处理

针对不同场景，一般可以采用以下几种处理方式：直方图均衡化、灰度拉伸、同态滤波等。本发明采用灰度拉伸增强对比度。

步骤1.1采集视频图像序列集合，假设选取N个样本进行采样；

步骤1.2对每一个图像像素进行灰度拉伸：每个图像的像素的灰度值为x，上下阈值分别为x₁，x₂

当

步骤2特征提取

特征提取是目标检测的关键环节。本发明主要针对大型商场、户外广场、街道、机场、车站等公共场所的监控系统，这些环境的摄像头大都悬挂于较高的上空，获取的画面目标相对较小且目标特征不太明显。Haar特征作为常用人体特征具有诸多优点，但很难处理画面中目标过小的问题。现有其它视频目标检测方法，大多也会出现漏检、重复、误检等现象。本发明将颜色属性作为Haar特征的加权值，能较好解决上述问题。增加颜色特征以后，当检测窗口出现颜色波动，且检测到疑似目标特征时，即可判断为目标。肤色是人脸最重要的特征之一，不依赖于面部的细节特征，对于旋转、表情等变化情况都适应，具有相对的稳定性并且与大多数背景物体的颜色相区别。我们采用基于人脸肤色范围的颜色属性进一步缩小误差，我们使用检测肤色像素性能最好HSV色彩空间，使用H和S就足够将肤色和背景分割开，其对光照和阴影的影响也有较高的稳定性。根据不同场景下通过实验获取H和S的阈值区间用于分配CN向量，具体步骤如下：

步骤2.1HSV中阈值区间获取

HSV空间是RGB空间的非线性变换，它将原本相关性很强的R、G、B值转换为相关性较弱的H、S、V，值，H和S分量与人感受色彩的方式相一致。在HSV空间中彩色图像的每一个均匀性色彩区域都对应一个相对一致的色调(Hue)，使得色调(Hue)能够单独用来进行彩色区域的分割。

V＝max(R,G,B)

δ＝V-min(R,G,B)

令

H取值依赖以下情况：

V＝R且min(R,G,B)＝B则

V＝R且min(R,G,B)＝G则

V＝G且min(R,G,B)＝R则

V＝G且min(R,G,B)＝B则

V＝B且min(R,G,B)＝G则

V＝B且min(R,G,B)＝R则

步骤2.2颜色属性权值

CN是一个向量，记录了图像中每一区域被标示为某种颜色属性名时的概率

CN＝{(cn₁|R),P(cn₂|R)，P(cn₃|R)，.......P(cn₁₁|R)}

其中，cn_i表示颜色属性名，CN向量区间来源于步骤2.1中的HSV区间，我们构造H、S的颜色向量区间，大体可分为10---100分量，其中cn_i表示图像区域的H、S值包含于此范围的概率；若标注100种颜色属性名，cn_i表示图像颜色属性名空间{1…100}；

步骤2.2.1根据现有图像数据库，计算每一张图像的颜色属性概率P(cn|f(x))；

步骤2.2.2获取颜色属性描述子，定义x为图像区域P立体坐标，然后计算图像R中区域P对应的P(cn_i|f(x))。

步骤2.3 Haar特征

采用积分图获取每一张样本的Haar特征，具体步骤如下：

步骤2.3.1令s(i，j)表示行方向的累加和，初始化s(i，-1)＝0；

步骤2.3.2令ii(i，j)表示一个积分图像，初始化ii(-1，j)＝0；

步骤2.3.3自左向右，自上向下，逐行扫描图像，逐一计算每个像素f(i，j)行方向的累加和s(i，j)和积分图像s(i，j)的值

s(i，j)＝s(i，j-1)+f(i，j)

ii(i，j)＝ii(i-1，j)+s(i，j)

步骤2.3.4完整扫描图像一遍，当到达图像右下角的最后一个像素时，积分矩阵ii就构造好了；

步骤2.3.5计算积分矩阵和D＝ii(α)+ii(β)-ii(γ)+ii(δ)；

步骤2.3.6得到特征：Haar＝D_i-D_j。

步骤2.4将Haar特征加权颜色属性，得到图像的最终特征

图像的最终特征集C(1，2，...n)：获取窗口R的Haar特征、得到对应的颜色属性向量，然后加权得到C_i＝[Haar_i：CN_i]。

步骤3 Adaboost构建目标模型

步骤3.1构建Adaboost创建弱分类器，根据训练子窗口中的矩形特征数量和特征值，需要对每一个区域x的特征f，训练一个弱分类器h(x，f，p，θ)，θ是阈值，p是不等号方向

步骤3.1.1对于不同窗口不同位置都有对应的特征f，计算所有训练样本的特征值，并将样本库中每个样本对应位置的特征值进行升序排序；

步骤3.1.2扫描一遍排好序的特征值，对排好序的表中的每个元素，计算下面四个值：

全部目标样本的权重和t₁

全部非目标样本的权重和t₀

在此元素之前的目标样本的权重和S₁

在此元素之前的非目标样本的权重和S₀；

步骤3.1.3选取当前元素的特征值F_i和它前一个特征值F_i-1之间的数作为阈值，该阈值的分类误差为r

r＝min(S₁+(t₀-S₀)，S₀+(t₁-S₁))

选取具有最小分类误差对应阈值，该阈值作为弱分类器阈值。

步骤3.2 Adaboost创建强分类器

步骤3.2.1设定每层需达到的最小检测率d，最大误识率f，以及最终级联分类器的误识率F_t；

步骤3.2.1令P＝目标训练样本，N＝非目标训练样本，D₀＝1.0，F₀＝1.0；

步骤3.2.3 i＝0；

步骤3.2.4 for：F_i＞F_t

i++；N_i＝0；F_i＝F_i-1

for:F_i＞f*F_i-1

++N_i

利用AdaBoost算法在正P负N样本集具有n_i个弱分类器的强分类器；衡量当前级联分类器的检测率D_i和误识率F_i；

for：D_i＜d*S_i-1；降低第i层的强分类器阈值；衡量当前级联分类器的检测率D_i和误识率F_i；初始化利用当前的级联分类器检测非目标图像，将误识的图像放入非目标训练样本集N中。

步骤4行人检测

本发明的重要贡献之一即改进了目标检测策略。将滑动窗口法与积分图相结合，用于加速检测，避免固定步长带来的漏检，对窗口特征进行加权，能显著提高检测准确率。

步骤4.1结合积分图，设定某固定大小的窗口，令其在图像尺度空间内(即缩放后得到的图像)依次滑动。利用预先训练好的分类器判断每一个滑动窗口内是否包含目标。通过窗口的滑动对图像进行遍历。

步骤4.2获取窗口特征加权颜色特征C_i＝[Haar_i：CN_i]

步骤4.3记录分类器获取的检测成功窗口T(1，2，...m)

步骤5人数统计

现有的人数统计方法主要包括：1)跟踪法。检测视频中的每一行人，并且进行跟踪。但当人流密集时，很难发挥作用；2)直接计数法。直接计算人头数，该方法不适用视频人数统计，因其易重复计数。本发明改进了单页分类，并用于标定人群中的行人数量。

步骤5.1获取目标窗口数据集T(1，2，...m)

步骤5.2F_i＝||T_i||₂

步骤5.3循环计算E_ij＝NN(F_i，F_j)，当E_ij＜e(e为阈值)时，目标窗口数减一，此时目标窗口数仅为计数使用，则最后m的值即为该视频的最终人数。

本发明的有益效果在于：本发明采用基于颜色属性加权Haar特征构建分类器实现视频中的人群计数，能避免光线过弱、目标集中、目标过小等因素造成的影响。

应用计算机视觉是视频监控系统发展的必然趋势。通过智能人流统计分析技术，对客运大巴、公交车、校车、广场、办公楼、商场等场所进行人数统计，可满足数字化城市智能生活的需求。

众所周知，交通安全、交通拥堵以及环境污染是困扰当今城市交通领域的三大难题，尤其以交通安全问题最为严重。据专家研究，采用智能交通技术提高道路管理水平以后，每年仅交通事故死亡人数就可减30％以上，并能提高交通工具的使用效率50％以上。为此，世界各发达国家竞相投入大量资金和人力，进行大规模的智能交通技术研究试验。在智能交通中，客流量统计充当了重要角色，对车流量、人流量进行实时的监测和反馈，给调度中心以分析作参考制定相应的解决方案，为缓解交通压力和智能化交通建设有极其重要的意义。

本发明能够为智能交通提供大量的聚集人群规模估计数据，通过对这些数据的分析可以得到实际可行的结论。此外，本发明还能够为大型商场、购物中心、连锁店、机场、车站、博物馆、展览馆等公共场所在管理和决策提供人群规模方面的基础数据。

具体实施方式

步骤1数据预处理

步骤1.1采集视频图像序列集合，假设选取N个样本进行采样；

步骤1.2对每一个图像像素进行灰度拉伸：每个图像的像素的灰度值为x，上下阈值分别为x₁,x₂

当

步骤2特征提取

步骤2.1 HSV中阈值区间获取

V＝max(R,G,B)

δ＝V-min(R,G,B)

令

H取值依赖以下情况：

V＝R且min(R,G,B)＝B则

V＝R且min(R,G,B)＝G则

V＝G且min(R,G,B)＝R则

V＝G且min(R,G,B)＝B则

V＝B且min(R,G,B)＝G则

V＝B且min(R,G,B)＝R则

步骤2.2颜色属性权值

CN＝{(cn₁|R)，P(cn₂|R)，P(cn₃|R)，......P(cn₁₁|R)}

步骤2.3 Haar特征

采用积分图获取每一张样本的Haar特征，具体步骤如下：

步骤2.3.1令s(i，j)表示行方向的累加和，初始化s(i，-1)＝0；

步骤2.3.2令ii(i，j)表示一个积分图像，初始化ii(-1，j)＝0；

s(i，j)＝s(i，j-1)+f(i，j)

ii(i，j)＝ii(i-1，j)+s(i，j)

步骤2.3.5计算积分矩阵和D＝ii(α)+ii(β)-ii(γ)+ii(δ)；

步骤2.3.6得到特征：Haar＝D_i-D_j。

步骤2.4将Haar特征加权颜色属性，得到图像的最终特征

步骤3 Adaboost构建目标模型

全部目标样本的权重和t₁

全部非目标样本的权重和t₀

在此元素之前的目标样本的权重和S₁

在此元素之前的非目标样本的权重和S₀；

r＝min(S₁+(t₀-S₀)，S₀+(t₁-S₁))

步骤3.2 Adaboost创建强分类器

步骤3.2.3 i＝0；

步骤3.2.4 for：F_i＞F_t

i++；N_i＝0；F_i＝F_i-1

for：F_i＞f*F_i-1

++N_i

for：D_i＜d*S_i-1；降低第i层的强分类器阈值；衡量当前级联分类器的检测率D_i和误识率F_i；初始化利用当前的级联分类器检测非目标图像，将误识的图像放入N。

步骤4行人检测

步骤4.2获取窗口特征加权颜色特征C_i＝[Haar_i：CN_i]

步骤4.3记录分类器获取的检测成功窗口T(1，2，...m)

步骤5人数统计

步骤5.1获取目标窗口数据集T(1，2，...m)

步骤5.2F_i＝||T_i||₂

Claims

1.一种基于颜色与HAAR特征融合的人群规模统计方法，包括以下步骤：

步骤1 数据预处理：

步骤1.1 采集视频图像序列集合，假设选取N个样本进行采样；

步骤1.2 对每一个图像像素进行灰度拉伸：每个图像的像素的灰度值为x，上下阈值分别为x₁,x₂

当x＜x₁:

当x₁≤x≤x₂:

当x＞x₂:

步骤2 特征提取：

步骤2.1 HSV中阈值区间获取

在HSV空间中彩色图像的每一个均匀性色彩区域都对应一个相对一致的色调Hue，使得色调Hue能够单独用来进行彩色区域的分割；

V＝max(R,G,B)

δ＝V-min(R,G,B)

令

H取值依赖以下情况：

V＝R且min(R,G,B)＝B则

V＝R且min(R,G,B)＝G则

V＝G且min(R,G,B)＝R则

V＝G且min(R,G,B)＝B则

V＝B且min(R,G,B)＝G则

V＝B且min(R,G,B)＝R则

其中，R,G,B分别为像素点在红、绿、蓝空间上的灰度值，H,S,V分别为转换后得到的色彩、纯度、明度值；

步骤2.2 颜色属性权值

CN＝{(cn₁|R)，P(cn₂|R)，P(cn₃|R)，......P(cn₁₁|R)}

其中，cn_i表示颜色属性名，CN向量区间来源于步骤2.1中的HSV区间；

步骤2.2.1 根据现有图像数据库，计算每一张图像的颜色属性概率P(cn|f(x))；

步骤2.2.2 获取颜色属性描述子，定义x为图像区域P立体坐标，然后计算图像R中区域P对应的P(cn_i|f(x))；

步骤2.3 Haar特征

采用积分图获取每一张样本的Haar特征，具体步骤如下：

步骤2.3.1 令s(i，j)表示行方向的累加和，初始化s(i，-1)＝0；

步骤2.3.2 令ii(i，j)表示一个积分图像，初始化ii(-1，j)＝0；

步骤2.3.3 自左向右，自上向下，逐行扫描图像，逐一计算每个像素f(i，j)行方向的累加和s(i，j)和积分图像s(i，j)的值

s(i，j)＝s(i，j-1)+f(i，j)

ii(i，j)＝ii(i-1，j)+s(i，j)；

步骤2.3.4 完整扫描图像一遍，当到达图像右下角的最后一个像素时，积分矩阵ii就构造好了；

步骤2.3.5 计算积分矩阵和D＝ii(α)+ii(β)-ii(γ)+ii(δ)；

步骤2.3.6 得到特征：Haar＝D_i-D_j；

步骤2.4 将Haar特征加权颜色属性，得到图像的最终特征

图像的最终特征集C(1，2，...n)：获取窗口R的Haar特征、得到对应的颜色属性向量，然后加权得到C_i＝[Haar_i：CN_i]；

步骤3 Adaboost构建目标模型：

步骤3.1 构建Adaboost创建弱分类器，根据训练子窗口中的矩形特征数量和特征值，需要对每一个区域x的特征f，训练一个弱分类器h(x，f，p，θ)，θ是阈值，p是不等号方向

步骤3.1.1 对于不同窗口不同位置都有对应的特征f，计算所有训练样本的特征值，并将样本库中每个样本对应位置的特征值进行升序排序；

步骤3.1.2 扫描一遍排好序的特征值，对排好序的表中的每个元素，计算下面四个值：

全部目标样本的权重和t₁

全部非目标样本的权重和t₀

在此元素之前的目标样本的权重和S₁

在此元素之前的非目标样本的权重和S₀；

步骤3.1.3 选取当前元素特征值对应的误识率F_i和它前一个特征值对应的误识率F_i-1之间的数作为阈值，该阈值的分类误差为r

r＝min(S₁+(t₀-S₀)，S₀+(t₁-S₁))

选取具有最小分类误差对应阈值，该阈值作为弱分类器阈值；

步骤3.2 Adaboost创建强分类器

步骤3.2.1 设定每层需达到的最小检测率d，最大误识率f，以及最终级联分类器的误识率F_t；

步骤3.2.1 令P＝目标训练样本，N＝非目标训练样本，D₀＝1.0，F₀＝1.0；

步骤3.2.3 i＝0；

步骤3.2.4 for：F_i＞F_t

i++；N_i＝0；F_i＝F_i-1

for：F_i＞f*F_i-1

++N_i

for：D_i＜d*S_i-1；降低第i层的强分类器阈值；衡量当前级联分类器的检测率D_i和误识率F_i；初始化利用当前的级联分类器检测非目标图像，将误识的图像放入非目标训练样本集N中；

步骤4 行人检测：

步骤4.1 结合积分图，设定某固定大小的窗口，令其在图像尺度空间内即缩放后得到的图像依次滑动，利用预先训练好的分类器判断每一个滑动窗口内是否包含目标，通过窗口的滑动对图像进行遍历；

步骤4.2 获取窗口特征加权颜色特征C_i＝[Haar_i：CN_i]；

步骤4.3 记录分类器获取的检测成功窗口T(1，2，...m)；

步骤5 人数统计：

步骤5.1 获取目标窗口数据集T(1，2，...m)；

步骤5.2 F_i＝||T_i||₂；

步骤5.3 循环计算E_ij＝NN(F_i，F_j)，当E_ij＜e(e为阈值)时，目标窗口数减一，此时目标窗口数仅为计数使用，则最后m的值即为该视频的最终人数。