CN108256462A - 一种商场监控视频中的人数统计方法 - Google Patents

Abstract

本发明涉及一种商场监控视频中的人数统计方法。本发明结合机器学习等算法，实现商场监控视频中的实时人数统计。首先，制作商场场景下行人样本库，提取样本库中正、负样本的梯度方向直方图特征并存储；其次，采用支持向量机对正、负样本的梯度方向直方图特征进行学习，得到商场场景下的行人分类器；再次，输入待检测的视频，对某一帧图像运用光流法提取感兴趣区域；最后，提取某一帧图像的梯度方向直方图特征，应用训练好的分类器进行商场行人目标识别，判定分类器是否检测到目标。本方法较于传统方法识别率高、计数速度快、且虚警率低。

Description

一种商场监控视频中的人数统计方法

技术领域

本发明涉及一种商场监控视频中的人数统计方法，属于计算机视觉领域。

背景技术

近些年，随着社会的快速发展和经济的持续增长，人们的物质生活水平逐步提升以 及城市化进程的不断加速，人口在城市中的比例不断增大，不可避免地会产生由人口密集而产生的各种各样的矛盾，甚至会出现各种各样的危险现象，视频监控应运而生。然 而随着数据的逐渐丰富，数据量的不断增长，传统的人工监控方法由于效率低、价格昂 贵、浪费资源，更重要的是准确性会受主观判断的影响，因而不能满足社会进步以及经 济增长的需求。与此同时，随着计算机技术飞速发展，以计算机为工具的视频图像处理、 计算机视觉等领域如雨后春笋般兴起，完成以计算机为工具的智能监控与检测已是大势 所趋，视频监控图像中的人数统计成为计算机视觉领域的热点与难点之一。

迄今为止，基于视频图像处理的人数统计技术方法有：Marana提出了基于纹理特征提 取进行人数统计的分析方法；D.M.GaVirla等通过随机优化的方法针对目标轮廓建立分层 模板，实现了行人的检测；Shobhit Saxena等提出了对特定人群情景进行建模的算法，并用 扩展场景识别引擎(SRE)的方法实现了快速建模，同时也增加了检测的可靠性；Chen等人提 出由两部分组成的韦伯特征(Weber local descriptor)，充分利用人类视觉机制韦伯定理， 降低了行人检测中明暗变化对检测结果的干扰。

除以上方法外，近年来公开发表的文献中对行人检测与识别的研究也比较多。

然而，采用传统的几何特征方法来进行检测和计数的结果依赖于预处理的好坏，而且往 往难以分割出目标，且当人群数量较多或者遮挡严重、背景复杂时会产生较大误差。

发明内容

本发明的技术解决问题是：针对商场监控视频中人数统计的情况，克服了背景复杂、 光照不均的问题，提供一种实时性更好且检测准确率高的商场监控视频中的人数统计方法， 能够在视频监控图像中快速、准确地检测出人数的，实现实时获得人数拥挤状况信息的商 场提供技术支持和指导。

为了解决上述技术问题，本发明所采用的技术解决方案如下所述。

一种商场监控视频中的人数统计方法，包括以下步骤：首先，制作商场场景下行人样本库，提取样本库中样本的梯度方向直方图(HOG)特征并存储；其次，采用支持向量 机(SVM)对样本的HOG特征进行线下学习，得到商场场景下的行人分类器；再次，输入 待检测的视频，对某一帧图像运用光流法提取感兴趣区域(ROI)；最后，应用训练好的 行人分类器进行商场行人目标识别，判定行人分类器是否检测到目标。

第一步，制作商场场景下行人样本库，提取样本库中样本的梯度方向直方图(HOG)特征并存储；

(1)获取商场视频，从商场待检测的视频中截取图像制作正、负样本，正样本为 商场场景下行人区域图像，负样本为商场场景下非行人区域图像；

(2)将各个正、负样本由RGB图像转化为灰度图像，转化公式为：

Gray＝0.3*R+0.59*G+0.11*B

其中，Gray为灰度图像中各像素点的灰度值，R、G、B为彩色图像中各像素点的 三个通道的分量；

(3)对图像中任一像素点(x,y)进行Gamma校正，具体公式为：

H(x,y)＝I(x,y)^gamma

其中，H(x,y)为Gamma校正后图像中像素点(x,y)处的像素值，I(x,y)为输入图像中 像素点(x,y)处的像素值，gamma为Gamma校正系数，通常取值范围是0.35-0.55；

(4)计算图像Gamma校正后灰度图像中任一像素点(x,y)的梯度，计算公式为：

其中，G_x(x,y)，G_y(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度和垂直 方向梯度；

(5)计算像素点(x,y)处的梯度幅度和梯度方向，计算公式为：

其中，G(x,y)为该点的梯度幅值，α(x,y)为该点的梯度方向；

(6)利用步骤(5)中求得的各像素点的梯度方向α(x,y)来构建梯度方向的直方图，接着将Gamma校正后灰度图像划分成若干个单元cells，统计每个cell中的梯度方向的维度， 再接着将连续的几个cell组成一个块block，一个block内所有cell的特征描述符串联起来 便得到该block的HOG特征描述符，最后将图像内的所有block的HOG特征描述符串联起 来就可以得到水平方向和垂直方向的HOG特征。

第二步，采用支持向量机(SVM)对第一步中提取到的正、负样本的HOG特征进行训练，得到商场场景下的行人分类器；

支持向量机SVM(Support Vector Machine)是一个有监督的学习模型，是一种分类算 法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小 化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的；其中训练数据是多维数据，它们按照其分类聚集在不同的区域，分类边界就是空间中的面，称为超 平面，超平面比空间少一维，基于分类边界的分类算法的目标是，通过训练，找到这些 分类之间的边界，进一步得到分类器；

支持向量机的非线性变换是通过组合核函数完成的。

通过组合核函数，对第一步中提取到的正、负样本的HOG特征进行非线性变换：

K＝β₁K_glo_bal+β₂K_rbf

其中：

K_global＝[(x·x_i)+1]^d

K_rbf＝exp(-||x-x_i||²/σ²)

K为组合核函数，K_glo_bal为多项式核函数，K_rbf为径向基核函数；β₁和β₂表示两个核函 数各自所占比例，β₁,β₂＞0且β₁+β₂＝1；x∈Rⁿ表示超平面纬度，x_i∈Rⁿ表示正、负样本 的梯度方向直方图特征；d为阶数，σ为径向基核函数的影响范围。

第三步，输入待检测的视频，提取待检测的视频的某一帧图像并进行预处理，再对预处理后的某一帧图像，运用光流法提取感兴趣区域(ROI)，具体实现过程如下：

(1)假设图像上一个像素点(x,y)，在t时刻的亮度为E(x,y,t)，该点光流在水平和垂直方向上的移动分量如下：

其中，u为图像上像素点光流在水平方向上的移动分量，v为图像上像素点光流在垂直 方向上的移动分量，d(x)表示图像上像素点在水平方向上的变化量，d(y)表示图像上像 素点在垂直方向上的变化量，d(t)表示时间的变化量。

(2)经过一段时间间隔Δt后该点对应点亮度为E(x+Δx,y+Δy,t+Δt)，其中Δx为该 像素点在水平方向上的偏移量，Δy为该像素点在垂直方向上的偏移量。

当Δt很小趋近于0时，可以认为该点亮度不变：

E(x,y,t)＝E(x+Δx,y+Δy,t+Δt)

当该点的亮度有变化时，将移动后点的亮度由泰勒公式展开：

其中，ε为二阶及高阶无穷小分量，表示图像中像素点灰度沿x，y，t方向的梯度；

Δt趋近于0时，ε忽略不计，并且有则可以得到基本的光流 约束方程：

(3)令得：

E_xu+E_yv＝-E_t

即

(4)假设在(u,v)的一个局部领域内，亮度是恒定的，那么：

其中，E_x＝[E_x1 E_x2 …]，E_y＝[E_y1 E_y2 …]，E_t＝[E_t1 E_t2 …]。

记

则上述公式可以简化为

光流计算的目的，就是寻找使最小的区域，即为ROI区域。

第四步，用步骤一中的HOG特征提取方法计算ROI区域内的HOG特征，再通过步骤二中训练好的分类器进行商场行人目标识别。

第五步，判定分类器是否检测到目标，若检测到行人目标，则标记某一帧图像中相应的目标矩形区域。

第六步，判定某一帧图像是否为最后一帧，若不是，则进入下一帧并重复第三步到第六步；否则，结束商场监控视频中的人数统计。

本发明与现有技术相比的优点在于：

(1)本发明商场监控视频中的人数统计方法区别于传统人数统计方法，具有实时性高，计数准确等特点；采用传统的几何特征方法来进行检测和计数难以分割出目标，且当人群数量较多或者遮挡严重、背景复杂时会产生较大误差；本发明设计的人数统计方法采用提取行人样本进行训练的方法实现，得到商场场景下的行人分类器，识别精度较高，同时采用光流法提取了感兴趣区域，大大缩短识别时间；本发明设计的人数统计方法通 过大量商场内视频样本测试表明，虚警率低，可靠性高。

(2)目前相关方面的人数统计方法1.根据特征识别；2.训练+识别，本发明通过光流法寻找并提取感兴趣区域，再训练和识别，可以增加准确率，减少计算时间。

(3)本发明通过光流法能得到感兴趣区域，随后在此区域内进行识别与统计，能缩短 时间，提高精度。

附图说明

图1为本发明商场监控视频中的人数统计方法流程图；

图2为HOG特征提取算法的实现过程流程图；

图3为样本库正、负样本图像；其中(a)为正样本，(b)为负样本；

图4为动态场景获取的ROI区域效果图；其中(a)为第12帧获取的ROI区域；(b) 第76帧获取的ROI区域；

图5为动态场景行人目标检测及人数统计效果图，即第151帧行人目标检测结果；

图6为应用本发明方法进行商场监控视频中的人数统计结果图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明具体实现步骤如下：

第一步，制作商场场景下行人样本库，提取样本库中样本的梯度方向直方图(HOG)特征并存储。

具体地，HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述 子，它通过计算和统计图像局部区域的梯度方向直方图来构成特征，能够很好地描述人体的边缘。与其他的特征描述方法相比，HOG特征应用于行人检测拥有更大的优势，因 为HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很 好的不变性，这两种形变只会出现在更大的空间领域上；而且在粗的空域抽样、精细的 方向抽样以及较强的局部光学归一化等条件下，只要行人大体上能够保持直立的姿势， 可以容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果， HOG特征提取算法的实现过程如图2所示，包括以下几个步骤：

(1)获取商场视频，从商场待检测的视频中截取图像制作正、负样本，正样本为 商场场景下行人区域图像，负样本为商场场景下非行人区域图像，本实例的正、负样本 如图3所示，(a)中各图像为制作的正样本，(b)中各图像为制作的负样本，再将正、负样 本大小统一归一化为16*16；

(2)将各个正、负样本由RGB图像转化为灰度图像，转化公式为：

Gray＝0.3*R+0.59*G+0.11*B

其中，Gray为灰度图像中各像素点的灰度值，R、G、B为彩色图像中各像素点的 三个通道的分量；

(3)对图像中任一像素点(x,y)进行Gamma校正，具体公式为：

H(x,y)＝I(x,y)^gamma

其中，H(x,y)为Gamma校正后图像中像素点(x,y)处的像素值，I(x,y)为输入图像中 像素点(x,y)处的像素值，gamma为Gamma校正系数，本发明经过反复试验确定为0.35-0.55， 本发明实施例中gamma取0.5。

(4)计算Gamma校正后灰度图像中任一像素点(x,y)的梯度，计算公式为：

其中，G_x(x,y)，G_y(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度和垂直 方向梯度；

(5)计算像素点(x,y)处的梯度幅度和梯度方向，计算公式为：

其中，G(x,y)为该点的梯度幅值，α(x,y)为该点的梯度方向；

(6)利用步骤(5)中求得的各像素点的梯度方向α(x,y)来构建梯度方向的直方图，接着将Gamma校正后灰度图像划分成若干个单元cells，本发明实施例将16*16窗口图像划分成8*8个cells，每个cell有9个梯度方向的维度，再接着将连续4*4个cell组成一个块block， 总共有5*5个block，一个block内所有cell的特征描述符串联起来便得到该block的HOG特 征描述符，最后将图像内的所有block的HOG特征描述符串联起来就可以得到该通道分量 的HOG特征，本实例中得到的HOG特征向量维数为4×4×9×5×5＝3600。

第二步，采用支持向量机(SVM)对步骤一中提取到的正、负样本的HOG特征进行线下训练，得到商场场景下的行人分类器；

具体地，支持向量机SVM(Support Vector Machine)是一个有监督的学习模型，是一 种分类算法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的；其 中训练数据是多维数据，它们按照其分类聚集在不同的区域，分类边界就是空间中的面， 称为超平面，超平面比空间少一维，基于分类边界的分类算法的目标是，通过训练，找 到这些分类之间的边界；

支持向量机的非线性变换是通过组合核函数完成的。

通过组合核函数，对第一步中提取到的正、负样本的HOG特征进行非线性变换：

K＝β₁K_global+β₂K_rbf

其中：

K_glo_bal＝[(x·x_i)+1]^d

K_rbf＝exp(-||x-x_i||²/σ²)

K为组合核函数，K_global为多项式核函数，K_rbf为径向基核函数；β₁和β₂表示两个核函数各自所占比例，β₁,β₂＞0且β₁+β₂＝1；x∈Rⁿ表示超平面纬度，x_i∈Rⁿ表示正、负样本 的梯度方向直方图特征；d为阶数，σ为径向基核函数的影响范围，本发明经过大量试验 确定d取1，σ取0.1；

本发明实例中多维数据是第1步得到的正、负样本的3600维HOG特征向量，通过组合核函数对其进行非线性变换后，再进行训练，得到商场场景下的行人分类器。

第三步，输入待检测的视频，提取待检测的视频的某一帧图像并进行预处理，再对预处理后的某一帧图像运用光流法提取感兴趣区域(ROI)，如图4所示，(a)，(b)分别表 示视频中某一帧图像，其中的框即为采用光流法提取的感兴趣区域，行人全部都被框住， 为下一步行人检测打下基础。

具体实现过程如下：

(1)假设图像上一个像素点(x,y)，在t时刻的亮度为E(x,y,t)，该点光流在水平和垂直方向上的移动分量如下：

其中，u为图像上像素点光流在水平方向上的移动分量，v为图像上像素点光流在垂直 方向上的移动分量，d(x)表示图像上像素点在水平方向上的变化量，d(y)表示图像上像 素点在垂直方向上的变化量，d(t)表示时间的变化量。

(2)经过一段时间间隔Δt后该点对应点亮度为E(x+Δx,y+Δy,t+Δt)，其中Δx为该 像素点在水平方向上的偏移量，Δy为该像素点在垂直方向上的偏移量。

当Δt很小趋近于0时，可以认为该点亮度不变：

E(x,y,t)＝E(x+Δx,y+Δy,t+Δt)

当该点的亮度有变化时，将移动后点的亮度由泰勒公式展开：

其中，ε为二阶及高阶无穷小分量，表示图像中像素点灰度沿x，y，t方向的梯度。Δt趋近于0时，ε忽略不计，并且有则可以得到基 本的光流约束方程：

(3)令得：

E_xu+E_yv＝-E_t

即

(4)假设在(u,v)的一个局部领域内，亮度是恒定的，那么：

其中，E_x＝[E_x1 E_x2 …]，E_y＝[E_y1 E_y2 …]，E_t＝[E_t1 E_t2 …]。

记

则上述公式可以简化为

光流计算的目的，就是寻找使最小的区域，即为ROI区域。

第四步，用第一步中的HOG特征提取方法计算ROI区域内的HOG特征，再通过第二步中训练好的分类器进行商场行人目标识别。

第五步，判定分类器是否检测到目标，若检测到行人目标，则标记某一帧图像中相应的目标矩形区域，本实例测试出的商场人数如图5所示，表示视频中的某一帧图像， 其中的小框即为识别到的行人，可以看出图像中大多数行人都被识别出来，精度较高。

第六步，判定某一帧图像是否为最后一帧，若不是，则进入下一帧并重复第三步到第六步；否则，结束商场监控视频中的人数统计。

如图6所示，在发明本实施例中，应用本发明方法进行商场监控视频中的人数统计， 精度较高，可以达到90％左右。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的 范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应 涵盖在本发明的范围之内。

Claims (4)

1.一种商场监控视频中的人数统计方法，其特征在于，包括以下步骤：

第一步，制作待检测商场视频监控中行人样本库，选取商场中行人区域图像为正样本，非行人区域图像为负样本，提取行人样本库中样本的梯度方向直方图特征并存储；

第二步，采用支持向量机对第一步中提取到的正、负样本的梯度方向直方图特征进行训练，得到商场场景下的训练好的分类器；

第三步，提取待检测的商场监控视频的某一帧图像并进行预处理，再对预处理后的某一帧图像采用光流法提取感兴趣区域；

第四步，采用第一步的梯度方向直方图特征提取方法，计算所述感兴趣区域内的梯度方向直方图特征，再通过第二步中训练好的分类器进行商场中行人目标识别，判定分类器是否检测到行人目标；

第五步，若分类器检测到行人目标，则标记某一帧图像中行人目标区域；

第六步，判定待检测的商场监控视频中的图像是否为最后一帧图像，若不是，则进入下一帧图像并重复第三步到第六步；否则，结束商场监控视频中的人数统计。

2.根据权利要求1所述的商场监控视频中的人数统计方法，其特征在于：所述第一步中，提取行人样本库中样本的梯度方向直方图特征具体如下：

(1)从待检测商场视频监控中截取图像制作正、负样本，正样本为行人区域图像，负样本为非行人区域图像；

(2)将各个正、负样本由RGB图像转化为灰度图像；

(3)对所述灰度图像中任一像素点(x,y)进行Gamma校正，Gamma校正后灰度图像中像素点(x,y)处的像素值为H(x,y)；

(4)计算Gamma校正后灰度图像中任一像素点(x,y)的水平方向梯度G_x(x,y)和垂直方向梯度G_y(x,y)；

(5)根据步骤(4)得到的G_x(x,y)，G_y(x,y)，计算像素点(x,y)处的梯度幅度G(x,y)和梯度方向α(x,y)；

(6)利用步骤(5)中α(x,y)构建梯度方向的直方图，将Gamma校正后的灰度图像划分成若干个单元cells，统计每个cell中的梯度方向的维度，再将连续的几个cell组成一个块block，一个block内所有cell的特征描述符串联起来得到所述block的HOG特征描述符，最后将图像内的所有block的梯度方向直方图特征描述符串联起来，即得到水平方向和垂直方向的梯度方向直方图特征。

3.根据权利要求1所述的商场监控视频中的人数统计方法，其特征在于：所述第二步中，得到商场场景下的训练好的分类器的过程如下：

(1)通过组合核函数，对提取到的正、负样本的梯度方向直方图特征进行非线性变换；

(2)将非线性变换后的正、负样本的梯度方向直方图特征进行训练，得到商场场景下的训练好的分类器。

4.根据权利要求1所述的商场监控视频中的人数统计方法，其特征在于：所述第三步中，采用光流法提取感兴趣区域的公式如下：

其中E_x1，E_x2…表示商场视频某一帧图像中像素点灰度沿水平x方向的梯度，E_y1，E_y2…表示商场视频某一帧图像中像素点灰度沿垂直y方向的梯度，u为商场视频某一帧图像中像素点光流在水平方向上的移动分量，v为商场视频某一帧图像中像素点光流在垂直方向上的移动分量，E_t1，E_t2…表示商场视频某一帧图像中像素点灰度沿时间t方向的梯度，

记

则上式简化为光流计算的目的，就是寻找使最小的区域，即为某一帧图像中的感兴趣区域。