CN103077423B - 基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法 - Google Patents

Abstract

一种基于视频流的人群数量估计方法，包括：将视频流进行预处理得到前景图像，所述前景图像为人群图像；根据下述公式计算所述前景图像的图像势能E_p，式中，m_ij为像素质量，m_ij∈{0，1}，像素质量为1表示该像素为前景，像素质量为0表示该像素为背景；X为图像的宽度，单位为像素；Y为图像的高度，单位为像素；g_img为势能系数，g_img为常量；y_ij为像素的Y轴坐标；H为场景中物体离摄像头的最近距离，将所述前景图像的图像势能E_p除以单个行人的平均图像势能获得人群估计数量。此外还提供一种局部人群聚集状态检测方法和一种人群跑动状态的检测方法。

Description

基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法

【技术领域】

本发明涉及图像处理，尤其涉及基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法。

【背景技术】

近年来，由于视频监控设备价格的降低，我们的城市布设了成千上万的摄像头，并产生了大量的视频数据；然而，我们并没有也不可能有足够多的人员来处理呈爆炸式增长的视频信息。另一方面，图像和视觉领域涌现了许多有效的新技术，并迅猛发展。基于以上两方面原因，世界各国的研究者开始采用计算机视觉的方法对视频数据进行分析和处理。

准确地估计公共场景中的人群数量对于智能视频应用至关重要。例如，商场中准确、及时的人群数量信息能够帮助管理人员做出及时、正确的决策；地铁站台里准确的人群数量估计有利于优化运行时刻表；十字路口的信号可以根据人群数量自动进行信号切换。

视频流中的人群异常检测方法，有广泛的应用前景。如公共区域的安保系统、煤矿监控系统和智能视频分析。人群异常的自动化检测将极大地改善视频分析的效率，节约大量的人力物力。

关于场景中的人群数量估计目前主要有两大类的方法，一类是基于映射的方法，另一类是基于物体分割和跟踪的方法。基于映射的方法从统计学角度建立人群数量与图像前景像素等特征的映射关系，并通过训练的方法进行实现，训练方法通常有神经网络法(NN)，支持向量机(SVM)，Adaboost等。Hou等人采用大量训练数据并采用神经网络进行学习，确定前景与人群数量的关系。Yang等人采用传感器网络估计人群数量，每个传感器分别提取出场景中的物体，最后进行平面映射并提出一种基于几何关系的算法。Lin等人运用单张图片估计人群密度，首先采用小波变换的方法提取头部区域的特征，随后运用支持向量机(SVM)进行训练和分类。基于分割和跟踪的方法通过采用跟踪、合并和分割，大部分研究者运用一些先验知识检测和跟踪视频流中的行人。PrahladKilambi等人提出了一种基于形状的层次结构方法估计人群中组的数目，进一步将组看成一个实体并用扩展的卡尔曼滤波器进行跟踪。Chen和Hsu提出了一种二方向人数估计方法处理彩色图像。Rabaud等人采用Kanade-Lucas-Tomasi跟踪框架跟踪行人，并进取一些扩展的特征确定场景中的运动物体数量。Zhao等人采用了人体形状的先验知识，并在贝叶斯框架下分割前景物体。

现在越来越多的公司和政府机构采用复杂的监控系统监视场景的异常情况，以避免损失和伤害。场景中的群体异常行为检测也可以分为两大类的方法。一类是基于机器学习的方法，另一类是基于阈值分析的方法。近年来，机器学习被越来越多地用到人群活动分析中，如主成分分析(PCA)，K-均值和隐马尔可夫模型(HMM)等。许多论文中的时空表达式都假设图像的局部区域的运动模式是均匀分布的。Kratz等人采用局部时空运动模式的变化构建运动模式，并推导出了基于分布的HMM。Kim和Benezeth等人采用时空马尔可夫随机场(MRF)检测异常活动。Zhong等人提出了一种非监督的技术进行异常检测。Yin等人基于动态条件随机场模型，提出了一种新的时空综合建模的异常检测方法。Wu等人采用支持向量机(SVM)对人类行为进行分类。另一些研究者采用阈值分析的方法检测人群的异常活动。Chen等人提出了一种两步的层次聚类方法将光流特征分组，并采用场模型检测异常。Lu等人采用一种非监督的聚类方法将视频流分成时空小方格，并使用时空形状表达和光流相互关系检测异常活动。Mehran等人提出一种社会力模型检测人群异常。Sharif和Ihaddadene等人同时考虑了人群密度和方向进行异常检测。钟志等人基于运动特征定义出人群能量估计人群密度和检测异常。曹添等人综合动能、运动变化和方向变化进行异常检测。

但是这些人群数量估计方法中基于映射的不但需要大量训练数据，且算法复杂度高，结果粗糙。基于物体分割和跟踪的人群数量估计方法，运算时间长，很难应用到实时系统中，并且当场景复杂或人群数量过多(超过10人)时，这类方法将彻底失效。

现有的人群聚集和跑动的检测方法主要针对单个人或少部分运动物体，如丢包、逗留、翻墙等。但是当场景复杂的时候，这些方法很难处理遮挡问题，所有的跟踪、检测和分割都将失效。

【发明内容】

基于此，有必要提供一种可靠、运算复杂度低的基于视频流的人群数量估计方法。

一种基于视频流的人群数量估计方法，包括以下步骤：

将视频流进行预处理得到前景图像，所述前景图像为人群图像；

根据下述公式计算所述前景图像的图像势能E_p，

$E_p={\mathrm{\Σ}}_{i=1}^X{\mathrm{\Σ}}_{j=1}^Y{m}_{\mathrm{ij}}{g}_{\mathrm{img}}(H+Y-y_{\mathrm{ij}})$

式中，m_ij为像素质量，m_ij∈{0，1}，像素质量为1表示该像素为前景，像素质量为0表示该像素为背景；X为图像的宽度，单位为像素；Y为图像的高度，单位为像素；g_img为势能系数，g_img为常量；y_ij为像素的Y轴坐标；H为场景中物体离摄像头的最近距离，H的选取使场景中单个行人的图像势能不随距离镜头的距离发生预设幅度变化；

将所述前景图像的图像势能E_p除以单个行人的平均图像势能获得人群估计数量。

优选地，所述将视频流进行预处理得到前景图像的步骤具体包括：

利用高斯混合模型获取当前处理帧的背景；

将当前处理帧减去所述背景获得前景图像。

优选地，在所述将视频流进行预处理得到前景图像的步骤之后还包括：

将所述前景图像进行二值化，并利用数学形态方法对前景图像进行去噪声处理。

优选地，所述H选取的步骤包括：取单个行人在场景中的n帧图像；

计算所有图像的图像势能，并求出所有图像的图像势能方差；

最小化训练图像的图像势能方差即可获得最优估计的参数H。

优选地，还包括根据重叠系数对人群数量进行修正的步骤：具体为将人群数量乘以重叠系数。

此外，还有必要提供一种能适应不同程度的人群密度、且能保证实时性的局部人群聚集状态检测方法。

一种局部人群聚集状态检测方法，包括以下步骤：

采用如权利要求1所述的人群数量估计方法估计图像中的人群数量N；

根据分布熵公式计算图像中的人群散度D：

D＝H(X)*H(Y)；

$H\left(X\right)={\mathrm{\Σ}}_{i=1}^{n_1}{p}_x\left(i\right)\log \left(\frac{1}{p_x\left(i\right)}\right),p_x\left(i\right)\≠0$

$H\left(Y\right)={\mathrm{\Σ}}_{i=1}^{n_1}{p}_y\left(i\right)\log \left(\frac{1}{p_y\left(i\right)}\right),p_y\left(i\right)\≠0$

式中，H(X)表示水平分布熵，p_x(i)代表水平前景直方图第i帧的概率分布，H(Y)表示水平分布熵，p_y(i)代表垂直前景直方图第i帧的概率分布；

根据所述人群数量N和人群散度D计算人群分布指数CDI，

$\mathrm{CDI}=\frac{N^2}{D^3}$

设定人群分布指数阈值，根据所述人群分布指数阈值检测人群聚集状态，当人群分布指数大于阈值时，则判定人群为聚集状态。

优选地，在所述根据分布熵公式计算图像中的人群散度D的步骤之前还包括：

将图像向水平和垂直方向投影，构建水平和垂直方向的图像直方图；

根据所述构建的图像直方图，计算概率分布；

根据所述概率分布计算水平方向和垂直方向上的分布熵。

另外，还有必要提供一种能适应不同程度的人群密度、且能保证实时性的人群跑动状态检测方法。

一种人群跑动状态检测方法，包括以下步骤：

采用如权利要求1所述的人群数量估计方法估计图像中的人群数量N；

根据分布熵公式计算图像中的人群散度D：

D＝H(X)*H(Y)；

$H\left(X\right)={\mathrm{\Σ}}_{i=1}^{n_1}{p}_x\left(i\right)\log \left(\frac{1}{p_x\left(i\right)}\right),p_x\left(i\right)\≠0$

$H\left(Y\right)={\mathrm{\Σ}}_{i=1}^{n_1}{p}_y\left(i\right)\log \left(\frac{1}{p_y\left(i\right)}\right),p_y\left(i\right)\≠0$

式中，H(X)表示水平分布熵，p_x(i)代表水平前景直方图第i帧的概率分布，H(Y)表示水平分布熵，p_y(i)代表垂直前景直方图第i帧的概率分布；

根据所述人群数量N和人群散度D计算人群分布指数CDI，

$\mathrm{CDI}=\frac{N^2}{D^3}$

根据图像光流速度和人群分布指数计算图像动能：

$E_k=\mathrm{CDI}\·{\mathrm{\Σ}}_{i=1}^X{V_i}^2$

式中，E_k为图像动能，X为检测到的光流特征点个数，V_i为图像中第i个光流特征点的光流速度，CDI为人群分布指数；

设定图像动能阈值，根据所述图像动能阈值检测人群跑动状态，当所述图像动能大于阈值时，则判定人群为跑动状态。

优选地，在所述根据分布熵公式计算图像中的人群散度D的步骤之前还包括：

将图像向水平和垂直方向投影，构建水平和垂直方向的图像直方图；

根据所述构建的图像直方图，计算概率分布；

根据所述概率分布计算水平方向和垂直方向上的分布熵。

优选地，计算所述图像光流速度的步骤包括：

提取图像中的Harris角点作为特征，由Lucas-Kanade光流法进行跟踪特征计算光流；

根据所述光流计算所述图像光流速度。

上述人群数量估计方法通过将视频流进行处理得到前景图像，计算前景图像的图像势能，将整体图像势能除以单个行人的平均图像势能获得人群估计数量。由于采用计算图像势能来获得人群估计数量，使得估计人群数量的运算简单且可靠。

上述人群聚集状态检测方法基于人群数量估计方法，通过设定人群分布指数阈值来检测人群聚集状态将整体图像势能除以单个行人的平均图像势能获得人群估计数量，使得人群聚集状态的检测能够适应不同密度的人群。

上述人群跑动状态检测方法基于人群数量估计方法，通过计算图像动能，并设定图像动能阈值来检测人群跑动状态，使得人群跑动状态的检测能够适应不同密度的人群，且灵敏性高。

【附图说明】

图1为基于视频流的人群数量估计方法的流程图；

图2为小孔成像模型示意图；

图3为物体的图像势能变化曲线示意图；

图4为局部人群聚集状态检测方法的流程图；

图5为人群跑动状态检测方法的流程图；

图6为人群数量估计、人群聚集状态检测、人群跑动状态检测的整体结构示意图。

【具体实施方式】

如图1所示，为一种基于视频流的人群数量估计方法的流程图，该方法包括以下步骤：

步骤S110，将视频流进行预处理得到前景图像，所述前景图像为人群图像。

在场景中，运动的人即为前景。

在本实施例中，将视频流进行预处理得到前景图像的步骤具体包括：

利用高斯混合模型获取当前处理帧的背景；

将当前处理帧减去所述背景获得前景图像。

其中，高斯混合模型是用高斯概率密度函数精确地量化事物，将一个事物分解为若干的基本高斯概率密度函数形成的模型。

在本实施例中，将视频流进行预处理得到前景图像的步骤之后还包括：

将所述前景图像进行二值化，并利用数学形态方法对前景图像进行去噪声处理。

其中，数学形态学的基本思想是用具有一定形态的结构元素去量度和提取图像中的对应形状以达到对图像分析和识别的目的。基于数学形态学的基本运算膨胀(或扩张)、腐蚀(或侵蚀)、开启和闭合，可以进行图像形状和结构的分析及处理，包括上述对前景图像进行去噪声处理。

基于上述实施例，获取前景图像不需要进行跟踪和分割，直接利用高斯混合模型获取当前处理帧的背景，然后将当前处理帧减去背景获得前景图像。由于通过高斯混合模型获取的前景图像有许多噪点，因此采用先腐蚀后膨胀的数学形态学方法处理前景图像的噪点。

当然，在其他实施例中，获取图像前景还可以采用其他方式，例如，单高斯模型，并不局限于上述的高斯混合模型法。

步骤S112，根据下述公式计算所述前景图像的图像势能E_p，

$E_p={\mathrm{\Σ}}_{i=1}^X{\mathrm{\Σ}}_{j=1}^Y{m}_{\mathrm{ij}}{g}_{\mathrm{img}}(H+Y-y_{\mathrm{ij}})$

式中，m_ij为像素质量，m_ij∈{0，1}，像素质量为1表示该像素为前景，像素质量为0表示该像素为背景；X为图像的宽度，单位为像素；Y为图像的高度，单位为像素；g_img为势能系数，g_img为常量；y_ij为像素的Y轴坐标；H为场景中物体离摄像头的最近距离，H的选取使场景中单个行人的图像势能不随距离镜头的距离发生预设幅度变化。

在本实施例中，图像势能E_p的公式通过以下方式建立的：

动能和势能是两种最常见的能量形式。势能的种类很多，包括重力势能、弹性势能和电势能，这些能量都与位置和距离有关。因此参照重力势能的公式，在图像中定义图像势能。从而需要从图像中获取可定义势能的位置和距离等信息。在处理前景图像时，利用三维重建的方法，可以恢复出其深度信息，深度信息可以用来定义势能，但是三维重建的方法复杂，且不能做到实时应用。因而在从多个实验方向中，确定从小孔成像模型中得到的两个重要特征，用于代替深度信息。

如图2所示为小孔成像模型示意图。从图中可以得到以下两个特征：

①物体在图像平面中的大小决定于它离摄像头的距离，在小孔成像模型中，用高度表示物体的大小(另一维度的宽度通常与高度成比例缩放)。例如，成像平面上B’、C’高度相同，然而，事实上物体C的高度只是物体B的高度一半；

②越远的物体在成像平面上的像离原点越近，即Y轴方向上物体成像的Y轴坐标越小。例如，A和B离摄像头的距离是C离摄像头距离的2倍，在成像平面上，A’和B’比C’离原点更近。

基于以上两个特征，参考重力势能公式E＝mgh定义图像势能公式：

$E_p={\mathrm{\Σ}}_{i=1}^X{\mathrm{\Σ}}_{j=1}^Y{m}_{\mathrm{ij}}{g}_{\mathrm{img}}(H+Y-y_{\mathrm{ij}})$

式中，m_ij为像素质量，m_ij∈{0，1}，像素质量为1表示该像素为前景，像素质量为0表示该像素为背景；X为图像的宽度，单位为像素；Y为图像的高度，单位为像素；g_img为势能系数，g_img为常量；y_ij为像素的Y轴坐标；H为场景中物体离摄像头的最近距离。

从上式中可以得出，当物体离摄像头越远的时候，其对应的前景像素越少，y_ij也越小，因此图像势能公式可使单个像素的势能变大，补偿了物体越远，在成像平面上像素越少的缺点。

上述公式中，参数H需要估计，其目的是使物体不论在场景的任何位置，其对应的图像势能基本不变。因此，取一段训练视频，让单个行人在场景中由最远处走到最近处。假设训练视频中，有n帧图像，设定第1帧图像的H为0.1m，每帧图像的参数H依次变化0.1m，即第n帧图像的H为(0.1n)m。H的最大值在场景范围内。E_pi表示第i帧的图像势能，因此能够计算出所有视频图像势能的平均值再求所有帧图像的图像势能方差σ。由此，我们可知方差σ：

${\mathrm{\σ}}^2=\frac{{\mathrm{\Σ}}_{i=1}^n{(E_{\mathrm{pi}}-\stackrel{\‾}{E_p})}^2}{n}$

最小化训练视频的图像势能方差σ即可获得参数H的最优估计。

采用最优参数H计算图像势能，具有一个显著的特征：物体的图像势能几乎不随物体离摄像头的远近而变化。如图3所示，为物体的图像势能变化曲线示意图。因此，定义的图像势能与物体离摄像头的距离几乎无关。

步骤S114，将所述前景图像的图像势能E_p除以单个行人的平均图像势能获得人群估计数量。

在人群聚集时，由于H的选取使得单个个体的图像势能保持基本不变，而人群图像的图像势能可以视为多个个体的图像势能的总和。因此要获得人群数量，就可以用人群图像的图像势能除以单个行人平均图像势能。

由于还要考虑单个个体在场景中的图像重叠，因此在本实施例中，在获得人群估计数量之后，还包括根据重叠系数对人群数量进行修正的步骤：具体为将人群数量乘以重叠系数。重叠系数大于1，经验值为1.1。

上述基于视频流的人群数量估计方法通过定义图像势能，不需要跟踪和分割，因而对阴影和重叠的适应性更好，且模型简单，计算量小，能完全做到实时人群数量的估计。

如4图所示，为一实施例的局部人群聚集状态检测方法的流程图，包括以下步骤：

步骤S120，采用上述实施例的人群数量估计方法估计图像中的人群数量N。

步骤S122，根据分布熵公式计算图像中的人群散度D：

D＝H(X)*H(Y)；

$H\left(X\right)={\mathrm{\Σ}}_{i=1}^{n_1}{p}_x\left(i\right)\log \left(\frac{1}{p_x\left(i\right)}\right),p_x\left(i\right)\≠0$

$H\left(Y\right)={\mathrm{\Σ}}_{i=1}^{n_1}{p}_y\left(i\right)\log \left(\frac{1}{p_y\left(i\right)}\right),p_y\left(i\right)\≠0$

式中，H(X)表示水平分布熵，p_x(i)代表水平前景直方图第i帧的概率分布，H(Y)表示垂直分布熵，p_y(i)代表垂直前景直方图第i帧的概率分布。

在本实施例中，根据分布熵公式计算图像中的人群散度D的步骤之前还包括：

将图像向水平和垂直方向投影，构建水平和垂直方向的图像直方图；

根据所述构建的图像直方图，计算概率分布；

根据所述概率分布计算水平方向和垂直方向上的分布熵。

在本实施例中，构建分布熵公式的具体步骤如下：

在前景图像的水平和垂直方向投影，构建前景图像直方图公式，如下所示，

h_x(i)＝{k_i，0＜i≤n₁}

h_y(i)＝{q_j，0＜i≤n₂}

n₁表示水平方向直方图的帧个数，n₂表示垂直方向直方图的帧个数，k_i表示投影到水平方向直方图第i帧的前景像素个数，q_j表示投影到垂直方向直方图第j帧的前景像素个数。优选地，n₁＝20，n₂＝12。

依据前景直方图，按下列公式计算前景概率分布：

$p_x\left(i\right)=\frac{h_x\left(i\right)}{m},0<i\&le;n_1,i\&Element;N$

$p_y\left(j\right)=\frac{h_y\left(j\right)}{m},0<j\&le;n_2,j\&Element;N$

m代表前景像素总数。

在上述公式基础上，参照信息论中熵的定义，构建水平和垂直方向上人群分布熵公式：

$H\left(X\right)={\mathrm{\&Sigma;}}_{i=1}^{n_1}{p}_x\left(i\right)\log \left(\frac{1}{p_x\left(i\right)}\right),p_x\left(i\right)\&NotEqual;0$

$H\left(Y\right)={\mathrm{\&Sigma;}}_{i=1}^{n_1}{p}_y\left(i\right)\log \left(\frac{1}{p_y\left(i\right)}\right),p_y\left(i\right)\&NotEqual;0$

式中，H(X)表示水平分布熵，p_x(i)代表水平前景直方图第i帧的概率分布，H(Y)表示水平分布熵，p_y(i)代表垂直前景直方图第i帧的概率分布。

上述公式能够准确的反映场景中水平和垂直方向的人群分布疏密程度。例如，如果第i帧的概率为1，则其分布熵为H＝1*log(1)＝0；如果是均匀分布的，则H＝n*1/n*log(1/(1/n))＝log(n)。因此，如果人群越聚集，则其分布熵越小；越分散，其分布熵越大。

基于上述实施例，定义人群散度计算公式，散度即表示人群分散的程度：

D＝H(X)*H(Y)；

上述公式中，人群散度D是通过水平分布熵和垂直分布熵相乘得到。

当场景中人群很少时，H(X)或H(Y)可能为0，为使其归一化，对人群分散度作如下约束：当散度小于1时，对其赋值为1。

步骤S124，根据所述人群数量N和人群散度D计算人群分布指数CDI，

$\mathrm{CDI}=\frac{N^2}{D^3}$

步骤S126，设定人群分布指数阈值，根据所述人群分布指数阈值检测人群聚集状态，当人群分布指数大于阈值时，则判定人群为聚集状态。

在本实施例中，当人群数量多，聚集在一个小范围时，CDI会变得很大。通过设定阈值，检测场景中的局部人群聚集异常。当CDI大于阈值时，则表示人群为聚集状态。优选地，为减小检测错误率，需连续10帧图像的CDI大于阈值，才检测为聚集状态，否则不做处理。

上述局部人群聚集状态检测方法基于人群数量估计，并引入人群分布指数，减小人群重叠的影响，使检测结果误报率减低。

如5图所示，为一实施例的人群跑动状态检测方法的流程图，包括以下步骤：

步骤S130：采用人群数量估计方法估计图像中的人群数量N。

步骤S132：根据分布熵公式计算图像中的人群散度D：

D＝H(X)*H(Y)；

$H\left(X\right)={\mathrm{\&Sigma;}}_{i=1}^{n_1}{p}_x\left(i\right)\log \left(\frac{1}{p_x\left(i\right)}\right),p_x\left(i\right)\&NotEqual;0$

$H\left(Y\right)={\mathrm{\&Sigma;}}_{i=1}^{n_1}{p}_y\left(i\right)\log \left(\frac{1}{p_y\left(i\right)}\right),p_y\left(i\right)\&NotEqual;0$

式中，H(X)表示水平分布熵，p_x(i)代表水平前景直方图第i帧的概率分布，H(Y)表示水平分布熵，p_y(i)代表垂直前景直方图第i帧的概率分布。

在本实施例中，根据分布熵公式计算图像中的人群散度D的步骤之前还包括：

将图像向水平和垂直方向投影，构建水平和垂直方向的图像直方图；

根据所述构建的图像直方图，计算概率分布；

根据所述概率分布计算水平方向和垂直方向上的分布熵。

在本实施例中，构建分布熵公式的具体步骤如下：

在前景图像的水平和垂直方向投影，构建前景图像直方图公式，如下所示，

h_x(i)＝{k_i，0＜i≤n₁}

h_y(i)＝{q_j，0＜i≤n₂}

n₁表示水平方向直方图的帧个数，n₂表示垂直方向直方图的帧个数，k_i表示投影到水平方向直方图第i帧的前景像素个数，q_j表示投影到垂直方向直方图第j帧的前景像素个数。优选地，n₁＝20，n₂＝12。

依据前景直方图，按下列公式计算前景概率分布：

$p_x\left(i\right)=\frac{h_x\left(i\right)}{m},0<i\&le;n_1,i\&Element;N$

$p_y\left(j\right)=\frac{h_y\left(j\right)}{m},0<j\&le;n_2,j\&Element;N$

m代表前景像素总数。

在上述公式基础上，参照信息论中熵的定义，构建水平和垂直方向上人群分布熵公式：

$H\left(X\right)={\mathrm{\&Sigma;}}_{i=1}^{n_1}{p}_x\left(i\right)\log \left(\frac{1}{p_x\left(i\right)}\right),p_x\left(i\right)\&NotEqual;0$

$H\left(Y\right)={\mathrm{\&Sigma;}}_{i=1}^{n_1}{p}_y\left(i\right)\log \left(\frac{1}{p_y\left(i\right)}\right),p_y\left(i\right)\&NotEqual;0$

式中，H(X)表示水平分布熵，p_x(i)代表水平前景直方图第i帧的概率分布，H(Y)表示水平分布熵，p_y(i)代表垂直前景直方图第i帧的概率分布。

上述公式能够准确的反映场景中水平和垂直方向的人群分布疏密程度。例如，如果第i帧的概率为1，则其分布熵为H＝1*log(1)＝0；如果是均匀分布的，则H＝n*1/n*log(1/(1/n))＝log(n)。因此，如果人群越聚集，则其分布熵越小；越分散，其分布熵越大。

基于上述实施例，定义人群散度计算公式：

D＝H(X)*H(Y)；

上述公式中，人群散度D是通过水平分布熵和垂直分布熵相乘得到。

当场景中人群很少时，H(X)或H(Y)可能为0，为使其归一化，对人群分散度作如下约束：当散度小于1时，对其赋值为1。

步骤S134：根据所述人群数量N和人群散度D计算人群分布指数CDI，

$\mathrm{CDI}=\frac{N^2}{D^3}$

步骤S136：根据图像光流速度和人群分布指数计算图像动能：

$E_k=\mathrm{CDI}\&CenterDot;{\mathrm{\&Sigma;}}_{i=1}^X{V_i}^2$

式中，E_k为图像动能，X为检测到的光流特征点个数，V_i为图像中第i个光流特征点的光流速度，CDI为人群分布指数；

在本实施例中，计算所述图像光流速度的步骤包括：

提取图像中的Harris角点作为特征，由Lucas-Kanade光流法进行跟踪特征点计算光流；

根据所述光流计算所述图像光流速度。

其中，Harris角点是指利用Harris角点检测算法提取的特征角点。Harris角点检测算法是角点特征提取算子，这种算子受信号处理中自相关函数的启发，给出与自相关函数相联系的矩阵。该矩阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是角点特征。

光流是空间运动物体在观测成像平面上的像素运动的瞬时速度。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。一般情况下，光流由相机运动、场景中目标运动或者两者的共同运动产生。

因此，根据Lucas-Kanade光流法计算提取的Harris角点特征的光流，再根据光流计算被提取特征的图像光流速度。

步骤S138设定图像动能阈值，根据所述图像动能阈值检测人群跑动状态，当所述图像动能大于阈值时，则判定人群为跑动状态。

在本实施例中，从图像中提取Harris角点作为特征点，并通过Lucas-Kanade光流法跟踪特征点，计算光流。为减小计算量，使用前景区域作为掩膜，只提取和跟踪前景区域的特征点。人群动能定义如下：

$E_k=\mathrm{CDI}\&CenterDot;{\mathrm{\&Sigma;}}_{i=1}^X{V_i}^2$

E_k为图像动能，X为检测到的光流特征点个数，V_i为图像光流速度，CDI为人群分布指数。同样的，为减小检测错误率，当动能连续10帧大于设定的阈值时，则人群为跑到状态，否则不做处理。

上述人群跑动状态检测方法基于人群数量估计，引入人群分布指数和图像动能，不需要大量的训练数据，因此容易实现，且运算量小，准确性高。

基于上述所有实施例，如图6所示，为人群数量估计、人群聚集状态检测、人群跑动状态检测的整体结构示意图。视频流通过的高斯混合模型(GMM)进行图像预处理得到前景，依据图像势能公式计算前景的图像势能，并对应的进行人群数量估计。在图像预处理之后，依据前景定义人群分布熵，并计算人群散度，结合人群数量就能够计算出人群分布指数，从而根据人群分布指数检测人群聚集状态。对视频流进行光流计算，并结合人群分布指数检测人群跑动状态。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于视频流的人群数量估计方法，包括以下步骤：

将视频流进行预处理得到前景图像，所述前景图像为人群图像；

根据下述公式计算所述前景图像的图像势能E_p，

$E_p={\mathrm{\&Sigma;}}_{i=1}^X{\mathrm{\&Sigma;}}_{j=1}^Y{m}_{\mathrm{ij}}{g}_{\mathrm{img}}(H+Y-y_{\mathrm{ij}})$

式中，m_ij为像素质量，m_ij∈{0，1}，像素质量为1表示该像素为前景，像素质量为0表示该像素为背景；X为图像的宽度，单位为像素；Y为图像的高度，单位为像素；g_img为势能系数，g_img为常量；y_ij为像素的Y轴坐标；H为场景中物体离摄像头的最近距离，H的选取使场景中单个行人的图像势能不随距离镜头的距离发生预设幅度变化；

将所述前景图像的图像势能E_p除以单个行人的平均图像势能获得人群估计数量。

2.根据权利要求1所述的人群数量估计方法，其特征在于，所述将视频流进行预处理得到前景图像的步骤具体包括：

利用高斯混合模型获取当前处理帧的背景；

将当前处理帧减去所述背景获得前景图像。

3.根据权利要求1所述的人群数量估计方法，其特征在于，在所述将视频流进行预处理得到前景图像的步骤之后还包括：

将所述前景图像进行二值化，并利用数学形态方法对前景图像进行去噪声处理。

4.根据权利要求1所述的人群数量估计方法，其特征在于，所述H选取的步骤包括：

取单个行人在场景中的n帧图像；

计算所有图像的图像势能，并求出所有图像的图像势能方差；

最小化训练图像的图像势能方差即可获得最优估计的参数H。

5.根据权利要求1所述的人群数量估计方法，其特征在于，还包括根据重叠系数对人群数量进行修正的步骤：具体为将人群数量乘以重叠系数。

6.一种局部人群聚集状态检测方法，包括以下步骤：

采用如权利要求1所述的人群数量估计方法估计图像中的人群数量N；

根据分布熵公式计算图像中的人群散度D：

D＝H(X)*H(Y)；

$H\left(X\right)={\mathrm{\&Sigma;}}_{i=1}^{n_1}{p}_x\left(i\right)\log \left(\frac{1}{p_x\left(i\right)}\right),p_x\left(i\right)\&NotEqual;0$

$H\left(Y\right)={\mathrm{\&Sigma;}}_{i=1}^{n_1}{p}_y\left(i\right)\log \left(\frac{1}{p_y\left(i\right)}\right),p_y\left(i\right)\&NotEqual;0$

式中，H(X)表示水平分布熵，p_x(i)代表水平前景直方图第i帧的概率分布，H(Y)表示垂直分布熵，p_y(i)代表垂直前景直方图第i帧的概率分布；

根据所述人群数量N和人群散度D计算人群分布指数CDI，

$\mathrm{CDI}=\frac{N^2}{D^3}$

设定人群分布指数阈值，根据所述人群分布指数阈值检测人群聚集状态，当人群分布指数大于阈值时，则判定人群为聚集状态。

7.根据权利要求6所述的局部人群聚集状态检测方法，其特征在于，在所述根据分布熵公式计算图像中的人群散度D的步骤之前还包括：

将图像向水平和垂直方向投影，构建水平和垂直方向的图像直方图；

根据所述构建的图像直方图，计算概率分布；

根据所述概率分布计算水平方向和垂直方向上的分布熵。

8.一种人群跑动状态检测方法，包括以下步骤：

采用如权利要求1所述的人群数量估计方法估计图像中的人群数量N；

根据分布熵公式计算图像中的人群散度D：

D＝H(X)*H(Y)；

$H\left(X\right)={\mathrm{\&Sigma;}}_{i=1}^{n_1}{p}_x\left(i\right)\log \left(\frac{1}{p_x\left(i\right)}\right),p_x\left(i\right)\&NotEqual;0$

$H\left(Y\right)={\mathrm{\&Sigma;}}_{i=1}^{n_1}{p}_y\left(i\right)\log \left(\frac{1}{p_y\left(i\right)}\right),p_y\left(i\right)\&NotEqual;0$

式中，H(X)表示水平分布熵，p_x(i)代表水平前景直方图第i帧的概率分布，H(Y)表示垂直分布熵，p_y(i)代表垂直前景直方图第i帧的概率分布；

根据所述人群数量N和人群散度D计算人群分布指数CDI，

$\mathrm{CDI}=\frac{N^2}{D^3}$

根据图像光流速度和人群分布指数计算图像动能：

$E_k=\mathrm{CDI}\&CenterDot;{\mathrm{\&Sigma;}}_{i=1}^X{V_i}^2$

式中，E_k为图像动能，X为检测到的光流特征点个数，V_i为图像中第i个光流特征点的光流速度，CDI为人群分布指数；

设定图像动能阈值，根据所述图像动能阈值检测人群跑动状态，当所述图像动能大于阈值时，则判定人群为跑动状态。

9.根据权利要求8所述的人群跑动状态检测方法，其特征在于，在所述根据分布熵公式计算图像中的人群散度D的步骤之前还包括：

将图像向水平和垂直方向投影，构建水平和垂直方向的图像直方图；

根据所述构建的图像直方图，计算概率分布；

根据所述概率分布计算水平方向和垂直方向上的分布熵。

10.根据权利要求8所述的人群跑动状态检测方法，其特征在于，计算所述图像光流速度的步骤包括：

提取图像中的Harris角点作为特征，由Lucas-Kanade光流法进行跟踪特征计算光流；

根据所述光流计算所述图像光流速度。