CN101727573B - 一种视频图像中人群密度估计的方法和装置 - Google Patents

Abstract

本发明提供了一种视频图像中人群密度估计的方法，首先在视频图像样本中选择一个感兴趣区域，并依据透视模型对其进行图像块的划块分析；针对所述每个图像块求取多尺度纹理特征；对于视频图像样本进行聚类分析，建立图像块密度等级和纹理特征关系的分类器模型；根据分类器模型确定目标视频图像中每个图像块的密度等级；根据感兴趣区域中所有图像块的密度等级，获取所述目标视频区域的总体密度等级。本发明建立了在不同场景、不同摄像机角度、不同位置下图像块密度等级的统一、明确的划分标准，使得该方法可以适应不同场景，给出可信的密度等级估计。

Description

一种视频图像中人群密度估计的方法和装置

技术领域

本发明涉及图像处理领域，特别涉及一种估计视频图像中人群密度的方法及一种估计视频图像中人群密度的装置。

背景技术

人群密度估计指的是借助于数字图像处理技术对某一指定区域的人群进行监控，从而得到量化的人群密度等级。根据所获得的人群密度粗略地知道人群整体所处的状态，从而对人群的行为做出判断。传统的人群监控是靠闭路电视通过监视某一场景实现的，需要用户自身对场景图像做出判断。这种方法主观性很强，不能进行定量分析。现代数字图像处理技术的发展，为解决上述问题提供了途径。将图像处理、模式识别、计算机视觉等技术应用在人群监控中，可以达到对人群的自动、客观、实时的分析。

目前常用的人群密度估计方法主要包括以下两类：

第一类：基于行人检测的方法

基于行人检测的方法利用已有的行人检测以及人脸检测算子，从图像中检测单个行人，结合运动检测和跟踪技术，分析人群密度的变化。这种方法依赖于行人检测算子的效果，在人群密度较大、遮挡严重或者图像质量较低、单个行人不能可靠检测的情况下性能无法保证。

第二类：基于整体特征分析的方法

这种方法通过提取图像帧中人群相关的特征并进行有监督学习，得到特征量与人群密度之间的关系。最早的应用是Davies等通过提取前景区域面积以及边缘长度并与人群密度建立起线性关系，对利物浦街火车站的人群图像进行分析。具体可参考S.A.Velastin,J.H.Yin,A.C.Davies,M.A.Vicencio-Silva,R.E.Allsop,A.Penn.1993年8月在Proc.IEE ColloquiumImage Processing for Transport Applications上发表的文献Analysis ofcrowd movements and densities in built-up environments using imageprocessing.。这种方法计算简单，易于实现，但是无法解决遮挡问题，随着人群密度增大，估计误差增加。

A.N.Marana,L.F.Cos ta,R.A.Lotufo,S.A.Velastin.1998年在Proc.Computer Graphics，Image Processing，and Vision，Brazil上发表的文献On the efficacy of texture analysis for crowd monitoring.第354-361页的内容。这种方法指出纹理特征与人群密度之间存在对应关系，即高密度的人群在纹理上表现为细模式，低密度的人群在纹理上表现为粗模式。据此，纹理描述符如灰度共生矩阵、傅立叶频谱以及分形维数等均可以应用到人群密度估计中。但是这些原始的纹理特征的区分度有限，且对噪声敏感。因此，这种方法仅在背景纹理非常简单的情况下才能取得较好效果。

发明内容

本发明所要解决的技术问题是提供一种视频图像中人群密度估计的方法和装置。该方法可以适用于不同场景获取可信的人群密度等级估计。

本发明解决技术问题所采用的技术方案是，提供一种视频图像中人群密度估计的方法，包括如下步骤：

在视频图像样本中选择一个感兴趣区域，并依据透视模型对所述感兴趣区域进行图像块的划块分析；其中，所述依据透视模型对所述感兴趣区域进行图像块的划块分析包括：设置最多能容纳的人数相同的图像块；指定最小块和最大块图像块的尺寸；通过线性差值来近似透视比例模型得到中间块的尺寸；

针对每个图像块求取多尺度纹理特征，并采用双直方图LBP特征描述图像特征；其中，所述求取多尺度纹理特征的步骤包括：步骤1）：对视频图像样本进行某一确定尺度的平均划分获得该确定尺度的均值图像块；步骤2）：获得图像块均值矩阵；步骤3）：确定n×n邻域子矩阵，提取该确定尺度块均值的图像块纹理特征；步骤4）：根据不同尺度多次平均划分视频图像样本获得不同尺度的均值图像块，采取步骤2）和步骤3），计算获得不同尺度的图像块纹理特征；步骤5）：组合所述不同尺度下的图像块纹理特征，获得图像块的多尺度纹理特征；所述双直方图包括白弧长度的直方图和白弧起点的直方图；其中，所述白弧长度由统一LBP模式特征码中特征码为1的弧组成的长度，所述白弧起点为统一LBP模式特征码中特征码为1组成的弧的起点，所述统一LBP模式为由一段黑弧和一段白弧构成的整圆；

对于视频图像样本进行聚类分析，建立图像块密度等级和纹理特征关系的分类器模型；

根据分类器模型确定目标视频图像中每个图像块的密度等级；

根据感兴趣区域中所有图像块的密度等级，获取所述目标视频区域的总体密度等级。

优选的，所述图像块具有不同的密度等级，密度等级由图像块中人数和图像块中人群所占面积的比例确定。

优选的，提取图像块纹理特征时，对图像块进行二值化，二值化的阈值取n×n邻域子矩阵元素的均值。

优选的，通过双直方图降低多尺度纹理特征的特征维数。

优选的，所述聚类分析，是对同一密度等级下的视频图像样本图像块在该图像块的纹理特征空间中进行聚类分析，以获得该密度等级在该纹理特征空间的分布形式。

优选的，所述确定目标视频图像中每个图像块的密度等级的步骤如下：

依据透视模型对目标视频图像进行图像块的划块分析；

针对每个图像块进行多尺度的块分类；

比较分类器模型和所述块分类，确定图像块与分类器模型中距离最近的聚类；

根据所述聚类估计图像块的密度等级。

本发明还提供一种视频图像中人群密度估计的装置，包括：

图像块生成装置，用以在视频图像样本中选择一个感兴趣区域，并依据透视模型对所述感兴趣区域进行图像块的划块分析；所述图像块生成装置包括：图像块设置模块，用以设置最多能容纳的人数相同的图像块；图像块尺寸指定模块，用以指定最小块和最大块图像块的尺寸；中间块尺寸获取模块，用以通过线性差值来近似透视比例模型得到中间块的尺寸；

多尺度纹理特征提取装置，用以针对每个图像块求取多尺度纹理特征，并采用双直方图LBP特征描述图像特征；所述多尺度纹理特征提取装置包括：确定尺度的均值图像块获得模块，用以对视频图像样本进行某一确定尺度的平均划分获得该确定尺度的均值图像块；图像块均值矩阵获得模块，用以获得图像块均值矩阵；确定尺度的图像块纹理特征提取模块，用以确定n×n邻域子矩阵，提取该确定尺度块均值的图像块纹理特征；不同尺度的均值图像块获得模块，用以根据不同尺度多次平均划分视频图像样本获得不同尺度的均值图像块；不同尺度的图像块纹理特征获得模块，用以根据图像块均值矩阵获得模块和确定尺度的图像块纹理特征提取模块计算获得不同尺度的图像块纹理特征；图像块的多尺度纹理特征获得模块，用以组合所述不同尺度下的图像块纹理特征，获得图像块的多尺度纹理特征；所述双直方图包括白弧长度的直方图和白弧起点的直方图，所述白弧长度由统一LBP模式特征码中特征码为1的弧组成的长度，所述白弧起点为统一LBP模式特征码中特征码为1组成的弧的起点，所述统一LBP模式为由一段黑弧和一段白弧构成的整圆；

分类器模型建立装置，用以对视频图像样本进行聚类分析，建立图像块密度等级和纹理特征关系的分类器模型；

每个图像块密度等级获取装置，用以获得目标视频图像中每个图像块的密度等级；

总体密度等级估算装置，用以根据感兴趣区域中所有图像块的密度等级，获取所述目标视频区域的总体密度等级。

本发明的有益效果有以下三点：

1、建立了在不同场景、不同摄像机角度、不同位置下图像块密度等级的统一、明确的划分标准，使得该方法可以适应不同场景，给出可信的密度等级估计。

2、将局部二值化模式（LBP）这种纹理特征描述符进行改进并引入到人群密度估计中，从而大大提高了纹理特征的区分度以及鲁棒性。

3、实现了由图像块密度等级估计总体密度等级的技术。

附图说明

图1是本发明的视频图像中人群密度估计方法的流程图；

图2是本发明的图像块密度等级划分标准的一实施例的表格；

图3是本发明的图像块人群密度手工标定样本的示意图；

图4是本发明提取单层图像块纹理特征的示意图；

图5是本发明在图像块多尺度划分时，对图像块大小的选择进行特征参数优化的流程图；

图6是本发明提取的图像块纹理特征用双直方图进行表征的表格；

图7是应用本发明在地铁站监控人群密度的截图；

图8是应用本发明在广场监控人群密度的截图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明的基本方案是：基于透视模型对视频图像样本和目标视频图像区域进行图像块划分，以视频图像样本的图像块为单位提取纹理特征并进行局部密度估计，从而得到密度分布图；再对目标视频图像区域进行分类，与视频图像样本的密度分布图进行比较，获得目标视频图像块的密度等级，最后综合块密度估计的结果得出目标视频区域的总体密度等级。

参考图1，示出了本发明的视频图像中人群密度估计方法的流程图，具体可以包括以下步骤：

步骤1：首先在视频图像样本中选择一个感兴趣区域，并依据透视模型对其进行图像块的划块分析。

对视频图像样本的人群密度估计是为了建立局部纹理特征和密度等级之间的关系。对于在不同场景、不同摄像机角度、不同位置下的图像块的统一、明确的密度等级标准的确定，本实施例是基于透视模型来确定的。所谓透视模型，是当利用二维图像来展现三维空间信息时，会产生视角变形，即远处的物体比近处的物体看起来要小一些。这种三维到二维的透视模型通常可以用一个线性变换来近似：

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=H\×\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$

其中，H为透视变换矩阵。H的精确求解需要利用到摄像机标定的信息，在实际操作中，可以通过指定最近处和最远处的块尺寸，然后对中间块进行插值得到块尺寸。这一步可以看做是对视角变形的矫正，保证同一场景下图像块代表的实际区域面积基本相同。

本实施例中，基于透视模型划分不同密度等级的图像块的原理就是通过设置图像块的大小，使得不同的图像块具有大致相同的“容量”，即最多能够容纳的人数。具体步骤包括：首先指定最小块和最大块图像块的尺寸；通过线性差值来近似透视比例模型得到中间块的尺寸。

本实施例密度等级的划分标准如图2所示，主要考虑两个因素：一是图像块中人数，二是图像块中人群所占面积的比例。这两者之间存在关联，且都直接影响着人对于密度的主观感知。目前划分的密度等级有五类，分别是很低、低、中等、高、很高。图3为某一场景下图像块人群密度手工标定的样本。

步骤2：针对所述每个图像块求取多尺度纹理特征；

本发明主要改进之一是将局部二值化即LBP这种纹理特征描述符进行改进后引入到人群密度估计中。LBP算子是一种有效的纹理描述算子，具有旋转不变性和灰度不变性等显著优点，已经广泛地应用于纹理分类、图像检索、人脸图像分析等领域。原始的LBP算子通过计算图像中每个像素与其局部邻域点在灰度上的二值关系形成局部二值模式，然后采用多区域直方图序列作为图像的特征描述。

LBP模式计算公式表示如下：

${\mathrm{LBP}}_{P,R}=\underset{p=0}{\overset{P}{\mathrm{\Σ}}}u(g_p-g_c)2^p$

其中，g_c代表中心元素灰度值，g_p代表邻域元素灰度值。对于3×3邻域的LBP算子，模式种类为256类，可见，原始LBP的特征维数是较高的。

当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP对应的模式类就称为一个统一模式类，如00000000，11111111，10001111都是统一模式类，除统一模式类以外的模式都归为另一类，称为混合模式类。通过这样的改进，LBP模式的种类大大减少。由于统一模式类占总模式中绝大多数，利用这些统一模式类和混合模式类的直方图，可提取更能代表图像本质特性的特征。

基于上述原理，本发明在提取图像块纹理特征时，是在多尺度的块平均系数级上提取的，而且采用双直方图描述序列描述图像特征，有效降低了LBP特征的维数。

如图4为本发明提取单层图像块纹理特征的示意图。具体步骤是：对视频图像样本根据某一确定尺度平均划分成图像块，获得图像块均值矩阵，然后选择3×3邻域子矩阵计算LBP模式，获得该尺度图像块均值的LBP统计特征。计算LBP模式时，二值化的阈值取九个元素的均值，而非中心元素值，以增强LBP特征的鲁棒性。

获得某一尺度块均值的LBP特征后，通过不断改变图像块的划分尺度，以上述方式计算不同尺度下的LBP特征，并进行组合，得到多尺度下的LBP特征，计算公式如下：

Multi_BFV＝[α₁×BFV₁,α₂×BFV₂…α_n×BFV_n]

其中，BFV_i是第i尺度块均值上提取的LBP特征，α_i是对于不同尺度下LBP特征的权重。

图像块尺度的选择是根据图5所示的特征参数优化的方式进行实现的。

对于目标视频图像多尺度纹理特征的提取，可以采用与上述提取视频图像样本多尺度纹理特征相同的方式。

多尺度分析有助于提高特征的区分性能，但是同时也使得特征维数增加。通过引入一种新的LBP特征表示方法——双直方图LBP特征，可以有效地降低特征的维数。统一LBP模式可以看作由一段黑弧和一段白弧构成的整圆，黑弧由特征码中的“0”组成，白弧由特征码中的“1”组成。因此，统一LBP特征码可以由两个参数唯一确定：白弧的长度L以及白弧的起始位置C。据此，可以利用这两个参数的直方图来间接表征统一LBP特征，即双直方图包括白弧长度的直方图和白弧起点的直方图。另外，由于全“0”码和全“1”码出现的概率很小，可以与非统一LBP合并为一类。双直方图LBP特征可以在不损失特征包含信息的前提下，将原始的256维特征降到16维，其组成如图6所示。

双直方图LBP特征维数是原始LBP特征维数的6.25%，是统一LBP特征维数的27%，从而大大降低了运算复杂度，节省了存储空间。

步骤3：对于视频图像样本进行聚类分析，建立图像块密度等级和纹理特征关系的分类器模型。

聚类分析，是对同一密度等级下的视频图像样本图像块在该图像块的纹理特征空间中进行K均值聚类，得到K个聚类，K个聚类就代表了该密度等级在该纹理特征空间的分布形式。不同的密度等级，K值不一定相同，K指聚类个数。聚类所使用的聚类中心和聚类半径分别用如下公式计算：

聚类中心： $m_i=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{x}_k$

聚类半径： $R_i\left(b\right)=\frac{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|x_k\left(b\right)-m_i\left(b\right)|}{n}$

根据上述聚类分析的结果，建立图像块密度等级和纹理特征关系的分类器模型。

步骤4：根据分类器模型确定目标视频图像中每个图像块的密度等级。

获得了视频图像样本的分类器模型，可以通过对目标视频图像的图像块进行分类，将分类结果与分类器模型中的聚类进行比较，根据图像块与最近聚类之间的距离，确定图像块属于某一密度等级的隶属度。

目标视频图像的图像块x_i与某一聚类之间的距离由以下公式计算：

$D(i,j)=\underset{b=1}{\overset{d}{\mathrm{\Σ}}}\frac{|x_i\left(b\right)-m_j\left(b\right)|}{R_j\left(b\right)}$

其中，m_i为聚类中心，R_i为聚类半径。

传统的硬分类方法是基于最近邻算法，即将目标视频图像划分到与之最接近的聚类所属的类别中。而密度等级的划分本身是一个模糊分类问题，相邻类之间没有绝对的界限，是一个“渐变”的过程。因此，硬分类的方法不符合实际需求，作为对其的改进，本发明提出基于“隶属度”的软分类方法。

定义目标视频图像块属于某一密度等级的隶属度为：

$C(i,j)=\frac{\exp (-\min D(i,k))}{C},k=1\·\·\·K$

即为图像块与该密度等级中最近聚类的距离的负E指数。其中，C是一个比例系数，用于将隶属度之和归一化到1。硬分类方法实际上是上述软分类的一个特例：即对于归属的类别C(i,j)＝1，其它类别C(i,j)＝0。

根据获得的隶属度确定目标视频图像的图像块所处的密度等级。

步骤5：根据感兴趣区域中所有图像块的密度等级，获取所述目标视频区域的总体密度等级。

目标视频图像中的总体密度等级可以由其中图像块的密度等级计算得出。本发明采用两种方法计算总体密度等级。

一是均值估计：是指定义总体密度等级为其中所有图像块密度等级的期望值。具体计算公式如下：

$\mathrm{TCD}=\frac{\underset{i=0}{\overset{4}{\mathrm{\Σ}}}i\×s\left(i\right)}{N}$

其中，TCD为总体密度等级，s(i)为属于密度等级i的图像块数目，N为监控区域中包含图像块的总数。

另一种方法是最大值估计，定义总体密度等级为s(i)最大的那个等级。

通过选取合适的估计方法，即可得到监控区域内总体密度等级的估计值。图7、图8分别是本发明应用于地铁站和广场监控人群密度的截图。

本发明提供了一种基于多尺度纹理特征和软分类的人群密度估计方法，可以根据估计的人群密度，实现更安全、有效的人群管理，例如运动场、广场、娱乐场地、会议中心、购物中心等易发生短期、高密度人群集中的场合。除了人群管理外，还可用于：1)更合理地安排各个时段的在岗工作人员数。例如：机场、车站、银行等从事程序化工作的场合；2)更有效地管理人群流动繁忙场合的交通。例如十字、丁字路口，建筑物出入口等；3)更快速、精确地进行市场调查。例如商品或者娱乐、餐饮等商业场所的受欢迎度等。

Claims (7)

1.一种视频图像中人群密度估计的方法，其特征在于，包括如下步骤：

在视频图像样本中选择一个感兴趣区域，并依据透视模型对所述感兴趣区域进行图像块的划块分析；其中，所述依据透视模型对所述感兴趣区域进行图像块的划块分析包括：设置最多能容纳的人数相同的图像块；指定最小块和最大块图像块的尺寸；通过线性差值来近似透视比例模型得到中间块的尺寸；

针对每个图像块求取多尺度纹理特征，并采用双直方图LBP特征描述图像特征；其中，所述求取多尺度纹理特征的步骤包括：步骤1）：对视频图像样本进行某一确定尺度的平均划分获得该确定尺度的均值图像块；步骤2）：获得图像块均值矩阵；步骤3）：确定n×n邻域子矩阵，提取该确定尺度块均值的图像块纹理特征；步骤4）：根据不同尺度多次平均划分视频图像样本获得不同尺度的均值图像块，采取步骤2）和步骤3），计算获得不同尺度的图像块纹理特征；步骤5）：组合所述不同尺度下的图像块纹理特征，获得图像块的多尺度纹理特征；所述双直方图包括白弧长度的直方图和白弧起点的直方图，所述白弧长度由统一LBP模式特征码中特征码为1的弧组成的长度，所述白弧起点为统一LBP模式特征码中特征码为1组成的弧的起点，所述统一LBP模式为由一段黑弧和一段白弧构成的整圆；

对于视频图像样本进行聚类分析，建立图像块密度等级和纹理特征关系的分类器模型；

根据分类器模型确定目标视频图像中每个图像块的密度等级；

根据感兴趣区域中所有图像块的密度等级，获取所述目标视频区域的总体密度等级。

2.根据权利要求1所述的方法，其特征在于，所述图像块具有不同的密度等级，密度等级由图像块中人数和图像块中人群所占面积的比例确定。

3.根据权利要求1所述的方法，其特征在于，提取图像块纹理特征时，对图像块进行二值化，二值化的阈值取n×n邻域子矩阵元素的均值。

4.根据权利要求1所述的方法，其特征在于，通过双直方图降低多尺度纹理特征的特征维数。

5.根据权利要求1所述的方法，其特征在于，所述聚类分析，是对同一密度等级下的视频图像样本图像块在该图像块的纹理特征空间中进行聚类分析，以获得该密度等级在该纹理特征空间的分布形式。

6.根据权利要求1所述的方法，其特征在于，所述确定目标视频图像中每个图像块的密度等级的步骤如下：

依据透视模型对目标视频图像进行图像块的划块分析；

针对每个图像块进行多尺度的块分类；

比较分类器模型和所述块分类，确定图像块与分类器模型中距离最近的聚类；

根据所述聚类估计图像块的密度等级；

7.一种视频图像中人群密度估计的装置，其特征在于，包括：

图像块生成装置，用以在视频图像样本中选择一个感兴趣区域，并依据透视模型对所述感兴趣区域进行图像块的划块分析；所述图像块生成装置包括：图像块设置模块，用以设置最多能容纳的人数相同的图像块；图像块尺寸指定模块，用以指定最小块和最大块图像块的尺寸；中间块尺寸获取模块，用以通过线性差值来近似透视比例模型得到中间块的尺寸；

多尺度纹理特征提取装置，用以针对每个图像块求取多尺度纹理特征，并采用双直方图LBP特征描述图像特征；所述多尺度纹理特征提取装置包括：确定尺度的均值图像块获得模块，用以对视频图像样本进行某一确定尺度的平均划分获得该确定尺度的均值图像块；图像块均值矩阵获得模块，用以获得图像块均值矩阵；确定尺度的图像块纹理特征提取模块，用以确定n×n邻域子矩阵，提取该确定尺度块均值的图像块纹理特征；不同尺度的均值图像块获得模块，用以根据不同尺度多次平均划分视频图像样本获得不同尺度的均值图像块；不同尺度的图像块纹理特征获得模块，用以根据图像块均值矩阵获得模块和确定尺度的图像块纹理特征提取模块计算获得不同尺度的图像块纹理特征；图像块的多尺度纹理特征获得模块，用以组合所述不同尺度下的图像块纹理特征，获得图像块的多尺度纹理特征；所述双直方图包括白弧长度的直方图和白弧起点的直方图，所述白弧长度由统一LBP模式特征码中特征码为1的弧组成的长度，所述白弧起点为统一LBP模式特征码中特征码为1组成的弧的起点，所述统一LBP模式为由一段黑弧和一段白弧构成的整圆；

分类器模型建立装置，用以对视频图像样本进行聚类分析，建立图像块密度等级和纹理特征关系的分类器模型；

每个图像块密度等级获取装置，用以获得目标视频图像中每个图像块的密度等级；

总体密度等级估算装置，用以根据感兴趣区域中所有图像块的密度等级，获取所述目标视频区域的总体密度等级。

Images