CN104123569A - 一种基于有监督学习的视频人数信息统计方法 - Google Patents

Abstract

本发明提供一种基于有监督学习的视频人数信息统计方法，首先对目标视频中的全部图像进行区域人数标注，生成训练数据、测试数据及对应区域人数标注数据；针对训练数据的多类融合特征进行区域密度估计，并经参数训练得到区域线性变换参数；利用训练数据区域线性变换参数，对测试数据区域融合特征进行区域密度估计并算出区域人数估计值；将该测试数据区域人数估计值与通过测试数据的区域人数标注数据求得的区域人数真实值比较，获得测试数据每个区域的估计错误率；根据该估计错误率评估系统性能。本发明体现了不同特征在不同区域的特性，可提高视频人数信息统计正确率，改善传统方法中由于假设不符合实际情况引起误差问题以及计算代价较大的缺陷。

Description

一种基于有监督学习的视频人数信息统计方法

技术领域

本发明涉及视频监控技术领域，具体涉及一种对视频人数信息统计技术。

背景技术

人数信息统计系统有多种分类方式，按照监控摄像头的角度以及应用场景可以分为垂直角度场景和斜角场景两种；从适用环境来划分可分为断面式和区域式，断面式系统对一个二维断面内通过的不同方向的人数进行统计，适用于商店、车站等公共场所的出入口、室内或者室外的人行通道等场合；区域式系统则是可以实时地统计出一个指定区域内的总人数或者进行密度估计，区域式系统可以用于统计较小范围内或者较大范围内的人数，一般也称为人群监测统计系统。

人群监测统计系统在商业信息采集、公共安全监控等方面具有重要意义。传统的人工监控及统计方式费时费力，不但资源人力成本高，而且人在长时间工作的状态下，难免出现精力不集中等原因导致的疏忽。基于计算机的视觉人数信息统计技术越来越多地受到人们的关注。

目前基于计算机的视觉人数信息统计方法主要有三种方式：

一、探测计数(counting by detection)：用各种尺度的探测器进行重复探测，当人群发生重叠时探测计数法的精度不高；

二、聚类计数(counting by clustering)：聚类假设人群是由若干具有独立模式的部分组成，对这些部分进行聚类，这种只有在数据达到一定规模、能预测获得可靠的模型数据时才有效；

三、回归计数(counting by regression)：在特征和人数统计之间建立直接映射，不需要分割或者跟踪个体；

其中回归计数方法主要通过建立模型来实现人数统计，具体分为两种情况：

1)建立全局单一模型实现人数统计：

从全部图像中学习一个在图像特征之间的单一的回归函数，当计算全局特征时不考虑空间信息。全局单一模型需要假设无论特征是哪里提取的，对其的加权都一样。

2)建立多个独立模型进行局部密度估计，并根据密度估计值进行人数统计：

局部模型放松了对全局假设的限制，将图像分成细化的区域，每个细化区域用一个回归函数来来表征，细化的区域可以有不同的分辨率用于补偿镜头的几何误差。不同于全局方法，局部模型的目标是根据局部人群结构对特征加不同的权。

在上述三种方式中，前面探测计数和聚类计数两种方法都依靠明确的对象分割或特征点跟踪，不适合拥挤杂乱的背景和频繁的对象间遮挡的场景。

通过建立全局单一模型的回归计数技术实现人数统计的方法，需要假设无论特征是从哪里提取的，对其的加权都一样。但是这种假设并不符合实际情况，例如人群的形状和结构千变万化，不同的特征在不同的空间位置起到不同的重要性。此外全局回归模型不能提供空间局部的人数统计信息，这种信息在某些应用中很需要。

通过建立多个独立模型进行局部密度估计的回归计数技术实现人数统计的方法，需要很多个回归模型，增加了计算代价。

可见，上述现有方法存在假设不符合实际情况以及计算代价较大等缺陷。

发明内容

本发明的目的是提供一种基于有监督学习的视频人数信息统计方法，该发明能够紧密结合实际情况进行人数统计，并且计算过程简单，不需要很大代价。

本发明通过如下技术方案实现：

本发明提供了一种基于有监督学习的视频人数信息统计方法，其包括：

对采集到的全部图像进行区域人数标注，并生成训练数据、测试数据及对应的区域人数标注数据；

根据训练数据对应的区域人数标注数据来计算训练数据的区域真实密度；根据测试数据对应的区域人数标注数据来统计测试数据的区域人数真实值；

对全部测试数据和训练数据进行初始化，得到去除图像背景数据后的测试数据和训练数据；

对去除图像背景数据后的训练数据和测试数据进行区域特征提取和融合，分别得到训练数据和测试数据中每个图像的区域融合特征；

针对训练数据的区域融合特征进行区域密度估计，并经过参数训练得到区域人数密度估计值，计算该区域人数密度估计值与所述区域人数真实密度之间的误差，根据该误差不大于设定误差门限的原则，得到训练数据的区域线性变换参数；

利用所述训练数据的区域线性变换参数，对测试数据的区域融合特征进行区域密度估计并计算出测试数据的区域人数估计值；

根据统计得到的测试数据的区域人数真实值以及测试数据的区域人数估计值，计算测试数据每个区域的估计错误率，用于评估系统性能。

更进一步地，所述的一种基于有监督学习的视频人数信息统计方法，其特征在于，所述一种基于有监督学习的视频人数信息统计方法还包括：

采集图像。

更进一步地，所述训练数据中的图像个数大于测试数据中的图像个数。

更进一步地，所述根据训练数据对应的区域人数标注数据来计算训练数据的区域真实密度的过程，具体包括：

采用如下公式计算训练数据的区域真实密度：

$F\left(p\right)=\underset{p\∈I_{\mathrm{train}}^j}{\mathrm{\Σ}}N(p;\mathrm{\μ}(x,y),{\mathrm{\σ}}^2(x,y))$

其中p代表一个像素；代表全部训练图像的第j个区域且j＝1,2,...K，其中K为整数；参数μ(x,y)为在第j个区域中的(x,y)的均值；σ²(x,y)为在第j个区域中的x和y的协方差矩阵。

更进一步地，所述针对训练数据的区域融合特征进行区域密度估计，并经过参数训练得到区域人数密度估计值，计算该区域人数密度估计值与所述区域人数真实密度之间的误差，根据该误差不大于设定误差门限的原则，得到训练数据的区域线性变换参数的过程，包括：

针对训练数据的区域融合特征，通过如下区域人数密度估计函数计算得到区域人数密度估计值：

D(p|w)＝w^TZ

其中D是某个区域的人数密度估计函数；p为这个区域上的一个像素；Z为训练图像中这个区域的融合特征；w是本区域的线性变换参数，其表达式如下：

$w=\underset{w}{\arg \min }(w^{T}w+\mathrm{\λ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}G(F,D))$

其中λ为正则化因子，用于控制模型中正则化的强度；G代表该区域人数真实密度函数F和区域人数密度估计函数D的误差；则G的计算公式为：

$G(F,D)=\max \underset{p\∈S}{\mathrm{\Σ}}|F_i\left(p\right)-D_i\left(p\right)|$

其中，i＝1,2,...N_train代表第i个训练图像，S为训练图像中该区域的所有像素构成的集合，F为用来计算区域真实密度的函数；

初始化线性变换参数w为单位矩阵，代入区域人数密度估计函数中得到初始的区域人数密度估计值，将此区域人数密度估计值代入G(F,D)函数中计算得到该区域的区域人数真实密度值和区域人数密度估计值之间的误差，将此误差代入所述单位矩阵中得到更新后的本区域的线性变换参数w，将此线性变换参数w再次代入所述区域人数密度估计函数，按照这种方法循环计算，当误差不大于给定的误差门限时停止计算，得到最终的区域线性变换参数w。

更进一步地，利用所述训练数据的区域线性变换参数，对测试数据的区域融合特征进行区域密度估计并计算出测试数据的区域人数估计值的过程，包括：

利用如下公式对对测试数据的区域融合特征进行区域密度估计：

$\hat{D}\left(\hat{p}\right|w)=w^T\hat{Z}$

其中表示测试数据某个区域的人数密度估计函数；为区域上的一个像素；w是线性变换参数；为测试数据中这个区域的融合特征；

在每个测试数据的区域上对其进行积分，利用如下公式计算得到每个测试数据在每个区域的人数估计值：

$\hat{T}=({\hat{T}}_{N_{\mathrm{train}}+1}^1,{\hat{T}}_{N_{\mathrm{train}}+1}^2,...,{\hat{T}}_N^K)$

其中，表示第N_train+1个图像数据的第1个区域的人数标注个数之和的估计，表示第N个图像数据的第K个连续区域的人数标注个数之和的估计。

由上述发明的技术方案可以看出，本发明通过学习得到一个函数来描述图像密度，对空间任何区域的密度求和都可以获得该区域内全部目标人数的个数；并且通过提取多种特征训练，对不同特征实现多维结构化输出，体现了不同特征在不同空间位置的特性，可提高视频人群监测统计的正确率，改善了传统方法中由于假设不符合实际情况引起的误差问题以及计算代价较大等缺陷；并且计算过程简单，不需要很大代价。

附图说明

图1为本发明第一实施例的流程图。

具体实施方式

本发明提出一种基于有监督学习的视频人数信息统计方法，用于分析视频监控系统中的人数信息并进行人群监测统计。本发明针对某个图像中的像素建立一个真实密度函数F，对该图像的真实密度函数F在某个区域积分可以获得此区域中的人数，在该图像的全部区域内进行积分可以获得该图像中的全部人数统计信息。具体描述为，假设图像中的每个像素p都用一个特征矢量x_p来表示，通过线性变换x_p:D(p)＝w^Tx_p对密度函数D(p)建模，其中w为通过对训练数据进行有监督学习获得的参数矢量，通过学习使得密度函数D(p)逼近真实密度。

为使本发明更为清晰，下面结合附图对本发明进行详细地说明。

本发明第一实施例提供一种基于有监督学习的视频人数信息统计方法，其处理过程如图1所示，包括以下步骤：

步骤S101，采集图像

为了分析视频监控系统中的人数信息并进行人群监测统计，需要采集图像信号。具体情况如下：

在视频监控系统中，通过传感器采集全部图像信号。本发明不局限于任何已知的视频监控系统，也可以是任何基于视频的目标行为识别系统。

如果已经有采集好的图像，这一步骤S101也可以去掉。

步骤S102，对采集到的全部图像进行区域人数标注，并生成训练数据、测试数据及对应的区域人数标注数据。具体实施过程如下：

针对步骤S101中采集到的全部图像进行区域人数标注，具体区域人数标注方法为，假设一共有N个图像I₁,I₂,...I_N，首先将N个图像I₁,I₂,...,I_N中的每个图像均分成K(K≥1)个连续区域，并记为根据每个图像中的每个区域中的人数，记录每个图像的每个区域中出现的每个人的头部中心点在图像中的坐标，作为这个图像的区域人数标注数据，其对应的标注形式为其中x和y分别代表头部中心点在图像中的横坐标和纵坐标。

从全部N个图像中随机选取部分数据作为训练数据，其它数据作为测试数据，为了获得更为精确的视频人数统计值，在此限定训练数据中的图像个数N_train要大于测试数据中的图像个数N_test，且N_train+N_test＝N。训练数据记为则其对应的区域人数标注数据为测试数据记为则测试数据对应的区域人数标注数据为其中N_train为训练数据中的图像的个数，K为区域个数。

步骤S103，根据训练数据对应的区域人数标注数据来计算训练数据的区域真实密度。

针对步骤S102得到的训练数据对应的区域人数标注数据其中N_train为训练数据中的图像的个数，K为区域个数。假设x和y服从二维高斯分布，则对每个区域都定义区域真实密度函数为：

$F\left(p\right)=\underset{p\∈I_{\mathrm{train}}^j}{\mathrm{\Σ}}N(p;\mathrm{\μ}(x,y),{\mathrm{\σ}}^2(x,y))$ ......................公式1

其中p代表一个像素；代表全部训练图像的第j个区域且j＝1,2,...K，其中K为整数；参数μ(x,y)为在第j个区域中的(x,y)的均值；σ²(x,y)为在第j个区域中的x和y的协方差矩阵。

根据上述公式1所示的区域真实密度函数表达式可以计算出训练数据的区域真实密度。

步骤S104，根据测试数据对应的区域人数标注数据来统计测试数据的区域人数真实值。

针对步骤S102得到的测试数据对应的区域人数标注数据其中K为区域个数。统计测试数据中每个测试图像的每个区域中一共出现多少次标注，将其记录为：

$T=(T_{N_{\mathrm{train}}+1}^1,T_{N_{\mathrm{train}}+1}^2,...,T_N^K)$ ..............................公式2

其中，表示第N_train+1个图像数据的第1个区域的人数标注个数之和，表示第N个图像数据的第K个连续区域的人数标注个数之和。

根据公式2计算得到的T即是每个测试数据的所有区域中人数。

步骤S105，对全部测试数据和训练数据进行初始化，得到去除图像背景数据后的测试数据和训练数据。

在初始化过程中，将全部测试数据和训练数据中的图像转化为灰度图并进行归一化处理，然后用中值滤波法来统计图像背景数据，最后针对每个图像都减掉图像背景数据。

步骤S106，对去除图像背景数据后的训练数据和测试数据进行区域特征提取和融合，得到每个图像每个区域的融合特征。

针对步骤S105中得到的初始化后的训练数据和测试数据进行特征提取和特征融合。具体实施过程如下：

对初始化后的测试数据和训练数据，其每个图像的每个区域都提取相同维度的如下三种图像特征矢量：边缘方向直方图、灰度共生矩阵和局部特征描述子，分别用表示，其中i＝1,2,...N,j＝1,2,...K，其中的N,K均为整数。

针对提取出的每个图像的特征矢量，利用如下公式计算并得到其融合特征：

$x_i=[Z_i^1,Z_i^2,...,Z_i^j]$

                              ...............................公式3

公式3中，x_i代表第i个图像的融合特征，其中i＝1,2,...N； $Z_i^j=\left[\begin{array}{ccc}{\left(f_1\right)}_i^j& {\left(f_2\right)}_i^j& {\left(f_3\right)}_i^j\end{array}\right]$ 代表第i个图像的第j个区域的融合特征，其中i＝1,2,...N,j＝1,2,...K，其中的N,K均为整数。

步骤S107，针对训练数据的区域融合特征进行区域密度估计函数的参数训练，训练得到区域人数真实密度值和区域人数密度估计值之间的误差，并根据该误差控制在设定误差门限的原则，得到区域线性变换参数。

通过步骤S106得到训练数据的区域融合特征后，对每个训练数据中的图像的每个区域的每个像素p，通过如下方法学习到一种区域特征上的线性变换计算人数密度估计值。具体如下：

区域人数密度估计值通过如下函数计算得到：

D(p|w)＝w^TZ.....................................公式4

其中D是某个区域的人数密度估计函数；p为这个区域上的一个像素；Z为训练图像中这个区域的融合特征；w是本区域的线性变换参数，其表达式如下：

$w=\underset{w}{\arg \min }(w^{T}w+\mathrm{\λ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}G(F,D))$ ........................公式5

其中λ为正则化因子，用于控制模型中正则化的强度；G代表该区域人数真实密度函数F和区域人数密度估计函数D的误差；则G的计算公式为：

$G(F,D)=\max \underset{p\∈S}{\mathrm{\Σ}}|F_i\left(p\right)-D_i\left(p\right)|$ ........................公式6

公式6中，i＝1,2,...N_train代表第i个训练图像，S为训练图像中该区域的所有像素构成的集合，F为步骤103中用来计算区域真实密度的函数。

在具体计算时，首先初始化公式5中的线性变换参数w为单位矩阵，代入公式4得到初始的区域人数密度估计值，将此区域人数密度估计值代入公式6中计算得到该区域的区域人数真实密度值和区域人数密度估计值之间的误差，将此误差代入公式5中得到更新后的本区域的线性变换参数w，将此线性变换参数w再次代入公式4，按照这种方法循环计算，当误差小于给定的误差门限时停止计算，得到最终的区域线性变换参数w。

步骤S108，针对测试数据的区域融合特征，利用区域线性变换参数，进行区域密度估计并得到区域人数密度估计值。

在通过步骤S106得到测试数据的区域融合特征后，对每个测试数据的每个区域的每个像素p，每个测试数据的每个区域的区域人数密度估计值仍然通过公式7获得。

D'(p'|w)＝(w)^TZ'...............................公式7

其中D'表示测试数据某个区域的人数密度估计函数；p'为本区域上的一个像素；w是步骤S107中最终得到的线性变换参数；Z'为测试数据中这个区域的融合特征。

利用公式7得到每个测试数据的某个区域人数密度估计值后，在每个测试数据的每个区域上对其进行积分，如公式8，可以计算得到每个测试数据的每个区域的人数估计值：

$\hat{T}=({\hat{T}}_{N_{\mathrm{train}}+1}^1,{\hat{T}}_{N_{\mathrm{train}}+1}^2,...,{\hat{T}}_N^K)$ ............................公式8

其中，表示第N_train+1个图像数据的第1个区域的人数标注个数之和的估计，表示第N个图像数据的第K个连续区域的人数标注个数之和的估计。

步骤S109，根据步骤S104统计得到的测试数据的每个区域的人数以及步骤S108计算得到的测试数据的区域人数估计值，计算每个区域的估计错误率，用于评估系统性能。

将步骤S104中通过区域人数标注统计得到的测试数据的区域人数与步骤S108中得到的测试数据的区域人数估计值相减，可以得到该测试数据的每个区域的估计错误率，用于评估系统性能。

由上述本发明的具体实施方案可以看出，本发明通过学习得到一个函数来描述图像密度，对空间任何区域的密度求和都可以获得该区域内全部目标人数的个数；并且通过提取多种特征训练，对不同特征实现多维结构化输出，体现了不同特征在不同空间位置的特性，可提高视频人群监测统计的正确率，改善了传统方法中由于假设不符合实际情况引起的误差问题以及计算代价较大等缺陷；并且计算过程简单，不需要很大代价。

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (6)

1.一种基于有监督学习的视频人数信息统计方法，其特征在于，所述的一种基于有监督学习的视频人数信息统计方法包括：

对采集到的视频中的全部图像进行区域人数标注，并生成训练数据、测试数据及对应的区域人数标注数据；

根据训练数据对应的区域人数标注数据来计算训练数据的区域真实密度；根据测试数据对应的区域人数标注数据来统计测试数据的区域人数真实值；

对全部测试数据和训练数据进行初始化，得到去除图像背景数据后的测试数据和训练数据；

对去除图像背景数据后的训练数据和测试数据进行区域特征提取和融合，分别得到训练数据和测试数据中每个图像的区域融合特征；

针对训练数据的区域融合特征进行区域密度估计，并经过参数训练得到区域人数密度估计值，计算该区域人数密度估计值与所述区域人数真实密度之间的误差，根据该误差不大于已设定的误差门限的原则，得到训练数据的区域线性变换参数；

利用所述训练数据的区域线性变换参数，对测试数据的区域融合特征进行区域密度估计并计算出测试数据的区域人数估计值；

根据统计得到的测试数据的区域人数真实值以及测试数据的区域人数估计值，计算测试数据每个区域的估计错误率，用于评估系统性能。

2.根据权利要求1所述的一种基于有监督学习的视频人数信息统计方法，其特征在于，所述一种基于有监督学习的视频人数信息统计方法还包括：

采集图像。

3.根据权利要求1或2所述的一种基于有监督学习的视频人数信息统计方法，其特征在于，所述训练数据中的图像个数大于测试数据中的图像个数。

4.根据权利要求3所述的一种基于有监督学习的视频人数信息统计方法，其特征在于，所述根据训练数据对应的区域人数标注数据来计算训练数据的区域真实密度的过程，具体包括：

采用如下公式计算训练数据的区域真实密度：

$F\left(p\right)=\underset{p\∈I_{\mathrm{train}}^j}{\mathrm{\Σ}}N(p;\mathrm{\μ}(x,y),{\mathrm{\σ}}^2(x,y))$

其中p代表一个像素；代表全部训练图像的第j个区域且j＝1,2,...K，其中K为整数；参数μ(x,y)为在第j个区域中的(x,y)的均值；σ²(x,y)为在第j个区域中的x和y的协方差矩阵。

5.根据权利要求3所述的一种基于有监督学习的视频人数信息统计方法，其特征在于，所述针对训练数据的区域融合特征进行区域密度估计，并经过参数训练得到区域人数密度估计值，计算该区域人数密度估计值与所述区域人数真实密度之间的误差，根据该误差不大于已设定的误差门限的原则，得到训练数据的区域线性变换参数的过程，包括：

针对训练数据的区域融合特征，通过如下区域人数密度估计函数计算得到区域人数密度估计值：

D(p|w)＝w^TZ

其中D是训练数据某个区域的人数密度估计函数；p为这个区域上的一个像素；Z为训练图像中这个区域的融合特征；w是本区域的线性变换参数，其表达式如下：

$w=\underset{w}{\arg \min }(w^{T}w+\mathrm{\λ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}G(F,D))$

其中λ为正则化因子，用于控制模型中正则化的强度；G代表该区域人数真实密度函数F和区域人数密度估计函数D的误差；则G的计算公式为：

$G(F,D)=\max \underset{p\∈S}{\mathrm{\Σ}}|F_i\left(p\right)-D_i\left(p\right)|$

其中，i＝1,2,...N_train代表第i个训练图像，S为训练图像中该区域的所有像素构成的集合，F为用来计算区域真实密度的函数；

初始化线性变换参数w为单位矩阵，代入区域人数密度估计函数中得到初始的区域人数密度估计值，将此区域人数密度估计值代入G(F,D)函数中计算得到该区域的区域人数真实密度值和区域人数密度估计值之间的误差，将此误差代入所述单位矩阵中得到更新后的本区域的线性变换参数w，将此线性变换参数w再次代入所述区域人数密度估计函数，按照这种方法循环计算，当误差不大于给定的误差门限时停止计算，得到最终的区域线性变换参数w。

6.根据权利要求3所述的一种基于有监督学习的视频人数信息统计方法，其特征在于，利用所述训练数据的区域线性变换参数，对测试数据的区域融合特征进行区域密度估计并计算出测试数据的区域人数估计值的过程，包括：

利用如下公式对对测试数据的区域融合特征进行区域密度估计：

$\hat{D}\left(\hat{p}\right|w)=w^T\hat{Z}$

其中表示测试数据某个区域的人数密度估计函数；为区域上的一个像素；w是线性变换参数；为测试数据中这个区域的融合特征；

在每个测试数据的区域上对其进行积分，利用如下公式计算得到每个测试数据在每个区域的人数估计值：

$\hat{T}=({\hat{T}}_{N_{\mathrm{train}}+1}^1,{\hat{T}}_{N_{\mathrm{train}}+1}^2,...,{\hat{T}}_N^K)$

其中，表示第N_train+1个图像数据的第1个区域的人数标注个数之和的估计，表示第N个图像数据的第K个连续区域的人数标注个数之和的估计。