CN110414301B - 一种基于双摄头的列车车厢人群密度估计方法 - Google Patents

Abstract

本发明公开一种基于双摄头的列车车厢人群密度估计方法，包括：提出多视角人群密度估计网络，该网络由两部分组成，一部分是参数共享的卷积神经网络，另一部分是全连接层，该网络能区分当前列车车厢的人群密度等级。模型训练阶段，使用具有5类密度等级的样本进行迭代优化；模型应用阶段，依照地铁实际运行情况有规律抽样估计。本发明基于深度学习方法估计人群密度，采用卷积神经网络自动学习特征来取代以往手工设计的特征，以提高人群密度估计的准确率和鲁棒性。

Description

一种基于双摄头的列车车厢人群密度估计方法

技术领域

本发明涉及人群密度估计技术领域，特别涉及一种基于双摄头的列车车厢人群密度估计方法。

背景技术

已有的人群密度估计技术尚存在很多不足。基于像素的方法简单容易实现，但只能适用于人群密度较低的场景。基于纹理分析的方法虽然效果不错，但是运算繁杂，在实际应用中往往达不到实时性。而基于目标检测的方法能够在相对拥挤的情况下得到可靠的结果，但在人群重叠度高的场景中失去应用能力。

现有的人群密度估计技术主要有以下几类：

1)基于像素统计的方法[1]。统计人群总面积和人群边缘的像素，根据得出的像素作为特征和总人数之间的线性关系进行人群密度估计。该方法通过背景减除和边缘检测技术，获得图像中的前景、背景以及边缘像素数。该方法主要应用在人群分布比较稀疏的场景。

2)基于纹理分析的方法[2]。通过灰度共生矩阵和小波包分解的方法提取图像纹理特征，然后用支持向量机、adaboost和神经网络作为分类模型对这些特征进行学习训练。该方法主要应用在人群分布比较密集的场景。

3)基于目标检测的方法[3]。通过基于haar-like和haar小波变换的头部检测器，利用SVM分类器判别是否为头部，最后估计出整体人群的密度。

发明内容

本发明的主要目的是提出一种基于双摄头的列车车厢人群密度估计方法，旨在克服以上问题。

为实现上述目的，一种基于双摄头的列车车厢人群密度估计方法，包括如下步骤：

S10准备训练样本：建立包含4个参数共享的卷积层和5个全连接层的神经网络，输入同一车厢内相同时刻的两个不同视角的视频帧，训练具有密度等级的标签的样本，其中卷积层用于提取视频的特征向量，全连接层用于将卷积层所提取出的特征向量按密度等级进行分类；

S20神经网络训练：数次迭代优化训练神经网络；

S30应用阶段：截取双摄头拍摄的当前列车车厢的视频帧分别输入至优化后的神经网络，得到当前列车车厢的图像分类结果。

优选地，所述S10中所述4个卷积层包括第一Conv层、第二Conv层、第三Conv层和第四Conv层，所述第一Conv层的卷积核大小为9×9，步长为1，卷积核数目是16个，图像输入第一Conv层生成16个特征图，接上线性整流函数Relu层和最大值池化Max-pooling层后，输出大小为288×464× 16的特征图。

优选地，所述第二Conv层的卷积核大小为7×7，步长为1，卷积核数目是32个，图像输入第二Conv层生成32个特征图，接上Relu层和Max-pooling 层，输出大小为144×232×32的特征图。

优选地，所述第三Conv层的卷积核大小为7×7，步长为1，卷积核数目是16个，图像输入第三Conv层生成16个特征图，再接上Relu层和 Max-pooling层，输出大小为72×116×16的特征图。

优选地，所述第四个Conv层的卷积核大小为7×7，步长为1，卷积核数目是8个，图像输入第四Conv层生成8个特征图，接上Relu层和Max-pooling 层，输出大小为36×58×8的特征图。

优选地，所述5个全连接层包括FC5、FC6、FC7、FC8和Softmax层，第五个Conv层输出双摄头的两张36×58×8的特征图，分别输入到全连接层 FC5_0和FC5_1，得到两组1024维的特征向量；两组向量分别输入到FC6_0 层和FC6_1层得到两组512维的特征向量，接着两组512维的特征向量进行相加操作得到新的一组512维特征向量；该新的一组512维特征向量输入到 FC7层得到256维的特征向量；再将该256维的特征向量输入到FC8层得到 128维的特征向量；最后将该128维的特征向量输入到Softmax层得到一组5 维的概率向量。

优选地，所述密度等级包括ex-low、low、medium、high、ex-high，所述ex-low的样本标签为[1，0，0，0，0]，所述low的样本标签为[0，1，0，0，0]，所述medium的样本标签为[0，0，1，0，0]，所述high的样本标签为[0，0，0，1，0]，所述ex-high的样本标签为[0，0，0，0，1]，根据最后一层输出值大小判定图像的人群密度等级。

优选地，所述20具体包括：

S201设置神经网络的每个batch为一预定值，每次迭代输入该预定值数的样本；

S202采用gaussian初始化神经网络卷积层的参数，采用xavier方法初始化全连接层参数，所述gaussian″是高斯分布初始化为 W～N(μ，σ²)，其中μ＝0，σ²＝0.01，所述xavier是将参数以均匀分布的方式初始化，具体为

其中n表示参数所在层的输入维度，m则表示输出维度；

S203使用Adam算法进行优化训练，其中Adam算法的公式如下：

参数更新规则：

上式中，

表示第t次迭代的梯度，β₁，β₂是超参数，一般设置为 0.9和0.999，∈是一个很小的数值以防分母为零，一般设置成10^-8，m_t近似看做是对/>

的期望，v_t近似看做对/>

的期望，而/>

和/>

则分别是对m_t和v_t的无偏差估计；

S204利用损失函数Softmax迭代神经网络数次，直至达到最优，所述损失函数Softmax的公式如下：

其中，左项是交叉熵代价函数，[f₁，f₂，…，f_K]为网络的输出向量，在本任务中K＝5，y_i表示为此次迭代中第i个样本所对应的等级密度，右项 R(W)是正则项，W表示网络参数，

λ是超参数，设置为0.0002。

优选地，所述30中将两视频帧进行加权融合，得到当前列车车厢的图像分类结果的计算公式如下：

class＝argmax{[F(X₁；θ)+F(X₂；θ)]/2}

其中F(X_i；θ)为网络模型的输出，X₁，X₂分别为两个摄像头输入的图像，θ为收敛模型的参数。

本发明为一种基于深度学习的多视角人群的人群密度估计方法，采用卷积神经网络自动学习特征来取代以往手工设计的特征，得到更加鲁棒的模型，并针对地铁车厢特殊环境提出了双端摄像头输入，从而能极端情况下处理严重遮挡的问题，提高人群密度估计的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明基于双摄头的列车车厢人群密度估计方法的方法流程图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

如图1所示，图1本发明基于双摄头的列车车厢人群密度估计方法的方法流程图，(a)为训练阶段，(b)为应用阶段，训练阶段中使用反向传播(Back Propagation，简称BP)算法迭代优化模型参数；测试阶段采用概率向量融合的方法提高分类准确率。

一种基于双摄头的列车车厢人群密度估计方法，包括如下步骤：

S10准备训练样本：建立包含4个参数共享的卷积层和5个全连接层的神经网络，输入同一车厢内相同时刻的两个不同视角的视频帧，训练具有密度等级的标签的样本，其中卷积层用于提取视频的特征向量，全连接层用于将卷积层所提取出的特征向量按密度等级进行分类；

S20神经网络训练：数次迭代优化训练神经网络；

S30应用阶段：截取双摄头拍摄的当前列车车厢的视频帧分别输入至优化后的神经网络，得到当前列车车厢的图像分类结果。

优选地，所述S10中所述5个卷积层包括第一Conv层、第二Conv层、第三Conv层、第四Conv层和第五Conv层，所述第一Conv层的卷积核大小为9×9，步长为1，卷积核数目是16个，图像输入第一Conv层生成16个特征图，接上线性整流函数Relu层和最大值池化Max-pooling层后，输出大小为288×464×16的特征图。

优选地，所述第二Conv层的卷积核大小为7×7，步长为1，卷积核数目是32个，图像输入第二Conv层生成32个特征图，接上Relu层和Max-pooling 层，输出大小为144×232×32的特征图。

优选地，所述第三Conv层的卷积核大小为7×7，步长为1，卷积核数目是16个，图像输入第三Conv层生成16个特征图，再接上Relu层和 Max-pooling层，输出大小为72×116×16的特征图。

优选地，所述第四个Conv层的卷积核大小为7×7，步长为1，卷积核数目是8个，图像输入第四Conv层生成8个特征图，接上Relu层和Max-pooling 层，输出大小为36×58×8的特征图。

优选地，所述5个全连接层包括FC5、FC6、FC7、FC8和Softmax层，第五个Conv层输出双摄头的两张36×58×8的特征图，分别输入到全连接层 FC5_0和FC5_1，得到两组1024维的特征向量；两组向量分别输入到FC6_0 层和FC6_1层得到两组512维的特征向量，接着两组512维的特征向量进行相加操作得到新的一组512维特征向量；该新的一组512维特征向量输入到 FC7层得到256维的特征向量；再将该256维的特征向量输入到FC8层得到 128维的特征向量；最后将该128维的特征向量输入到Softmax层得到一组5 维的概率向量。

优选地，所述密度等级包括ex-low、low、medium、high、ex-high，所述ex-low的样本标签为[1，0，0，0，0]，所述low的样本标签为[0，1，0，0，0]，所述medium的样本标签为[0，0，1，0，0]，所述high的样本标签为[0，0，0，1，0]，所述ex-high的样本标签为[0，0，0，0，1]，根据最后一层输出值大小判定图像的人群密度等级。

优选地，所述20具体包括：

S201设置神经网络的每个batch为一预定值，每次迭代输入该预定值数的样本；

S202采用gaussian初始化神经网络卷积层的参数，采用xavier方法初始化全连接层参数，所述gaussian″是高斯分布初始化为 W～N(μ，σ²)，其中μ＝0，σ²＝0.01，所述xavier是将参数以均匀分布的方式初始化，具体为

其中n表示参数所在层的输入维度，m则表示输出维度；

S203使用Adam算法进行优化训练，其中Adam算法的公式如下：

参数更新规则：

上式中，

表示第t次迭代的梯度，β₁，β₂是超参数，一般设置为 0.9和0.999，∈是一个很小的数值以防分母为零，一般设置成10，mt近似看做是对/>

的期望，v_t近似看做对/>

的期望，而/>

和/>

则分别是对m_t和v_t的无偏差估计；

S204利用损失函数Softmax迭代神经网络数次，直至达到最优，所述损失函数Softmax的公式如下：

其中，左项是交叉熵代价函数，[f₁，f₂，…，f_K]为网络的输出向量，在本任务中K＝5，y_i表示为此次迭代中第i个样本所对应的等级密度，右项 R(W)是正则项，W表示网络参数，

λ是超参数，设置为0.0002。

优选地，所述30中将两视频帧进行加权融合，得到当前列车车厢的图像分类结果的计算公式如下：

class＝argmax{[F(X₁；θ)+F(X₂；θ)]/2}

其中F(X_i；θ)为网络模型的输出，X₁，X₂分别为两个摄像头输入的图像，θ为收敛模型的参数。

在本发明实施例中，本发明提出一个包含5个卷积层的分类神经网络。将地铁人群图片及其分类标签输入网络，利用损失函数Softmax不断迭代训练优化网络参数；本发明还提出多摄像头输入来解决遮挡问题，其最终预测结果为各个输入结果的融合，提高分类准确率。

相对于以前的人群密度估计技术，本发明具有以下的优点：

1、能够在地铁车厢从稀疏到极端拥挤的环境下达到满意的效果，有更好的鲁棒性；

2、端到端完成训练，与传统方法相比，没有繁杂的运算过程，并且能在实际应用中达到实时性。

本发明的基础在于能够在地铁车厢等密集场所中准确估计出人群密度等级，并且具有鲁棒性，实时性等效果。因此，任何基于本发明提出的人群密度等级分类应用技术都包含在本发明之内，如视频智能监控等。

Claims (7)

1.一种基于双摄头的列车车厢人群密度估计方法，其特征在于，包括如下步骤：

S10准备训练样本：建立包含4个参数共享的卷积层和5个全连接层的神经网络，输入同一车厢内相同时刻的两个不同视角的视频帧，训练具有密度等级的标签的样本，其中卷积层用于提取视频的特征向量，全连接层用于将卷积层所提取出的特征向量按密度等级进行分类；

所述5个全连接层包括FC5、FC6、FC7、FC8和Softmax层，第四个Conv层输出双摄头的两张36×58×8的特征图，分别输入到全连接层FC5_0和FC5_1，得到两组1024维的特征向量；两组向量分别输入到FC6_0层和FC6_1层得到两组512维的特征向量，接着两组512维的特征向量进行相加操作得到新的一组512维特征向量；该新的一组512维特征向量输入到FC7层得到256维的特征向量；再将该256维的特征向量输入到FC8层得到128维的特征向量；最后将该128维的特征向量输入到Softmax层得到一组5维的概率向量；

S20神经网络训练：数次迭代优化训练神经网络；

S30应用阶段：截取双摄头拍摄的当前列车车厢的视频帧分别输入至优化后的神经网络，将两视频帧进行加权融合，得到当前列车车厢的图像分类结果，计算公式如下：

class＝argmax{[F(X₁；θ)+F(X₂；θ)]/2}

其中F(X_i；θ)为网络模型的输出，X₁,X₂分别为两个摄像头输入的图像，θ为收敛模型的参数。

2.如权利要求1所述的基于双摄头的列车车厢人群密度估计方法，其特征在于，所述S10中所述4个参数共享的卷积层包括第一Conv层、第二Conv层、第三Conv层和第四Conv层，所述第一Conv层的卷积核大小为9×9，步长为1，卷积核数目是16个，图像输入第一Conv层生成16个特征图，接上线性整流函数Relu层和最大值池化Max-pooling层后，输出大小为288×464×16的特征图。

3.如权利要求2所述的基于双摄头的列车车厢人群密度估计方法，其特征在于，所述第二Conv层的卷积核大小为7×7，步长为1，卷积核数目是32个，图像输入第二Conv层生成32个特征图，接上Relu层和Max-pooling层，输出大小为144×232×32的特征图。

4.如权利要求2所述的基于双摄头的列车车厢人群密度估计方法，其特征在于，所述第三Conv层的卷积核大小为7×7，步长为1，卷积核数目是16个，图像输入第三Conv层生成16个特征图，再接上Relu层和Max-pooling层，输出大小为72×116×16的特征图。

5.如权利要求2所述的基于双摄头的列车车厢人群密度估计方法，其特征在于，所述第四个Conv层的卷积核大小为7×7，步长为1，卷积核数目是8个，图像输入第四Conv层生成8个特征图，接上Relu层和Max-pooling层，输出大小为36×58×8的特征图。

6.如权利要求1所述的基于双摄头的列车车厢人群密度估计方法，其特征在于，所述密度等级包括ex-low、low、medium、high、ex-high，所述ex-low的样本标签为[1,0,0,0,0]，所述low的样本标签为[0,1,0,0,0]，所述medium的样本标签为[0,0,1,0,0]，所述high的样本标签为[0,0,0,1,0]，所述ex-high的样本标签为[0,0,0,0,1]，根据最后一层输出值大小判定图像的人群密度等级。

7.如权利要求1所述的基于双摄头的列车车厢人群密度估计方法，其特征在于，所述S20具体包括：

S201设置神经网络的每个batch为一预定值，每次迭代输入该预定值数的样本；

S202采用gaussian初始化神经网络卷积层的参数，采用xavier方法初始化全连接层参数，所述gaussian"是高斯分布初始化为W～N(μ,σ²),其中μ＝0,σ²＝0.01，所述xavier是将参数以均匀分布的方式初始化，具体为

其中n表示参数所在层的输入维度，m则表示输出维度；

S203使用Adam算法进行优化训练，其中Adam算法的公式如下：

参数更新规则：

上式中，

表示第t次迭代的梯度，β₁，β₂是超参数，一般设置为0.9和0.999，∈是一个很小的数值以防分母为零，一般设置成10^-8，m_t近似看做是对/>

的期望,v_t近似看做对/>

的期望，而/>

和/>

则分别是对m_t和v_t的无偏差估计；

S204利用损失函数Softmax迭代神经网络数次，直至达到最优，所述损失函数Softmax的公式如下：

其中，左项是交叉熵代价函数，[f₁,f₂,…,f_K]为网络的输出向量，在本任务中K＝5,y_i表示为此次迭代中第i个样本所对应的等级密度，右项R(W)是正则项，W表示网络参数，

λ是超参数，设置为0.0002。

Images