CN110598630A - 基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，包括：获取轨道交通车厢内视频监控图像，对获取的图像进行预处理；将收集到的图像分成训练样本集和测试样本集，通过人工标注确定每张图像中乘客拥挤程度等级；构建卷积神经网络模型，通过训练样本集对卷积神经网络模型进行训练；乘客拥挤程度检测，将测试样本集输入到卷积神经网络模型，按照检测分类策略对轨道交通车厢内的乘客拥挤程度进行估计；上述方案克服了现有技术中效率低、分辨率低和不稳定性的缺点，实现了对城市轨道交通乘客拥挤程度的准确估计。

Description

基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法

技术领域

本发明涉及乘客拥挤程度检测方法，具体涉及一种基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法。

背景技术

城市轨道交通大大方便了人们的出行，针对上下班时间段及节假日乘客流量剧增，为了合理利用轨道交通车厢的资源，提高乘客的出行体验感，应实时检测出每一节车厢的乘客拥挤程度，方便提示乘客在哪一节车厢站台候车更合理更舒适。

现阶段，传统的研究方法主要可以分为两种，一种是基于检测的方法，另一种是基于回归的方法。检测法的核心思想是通过检测对应场景下的每个乘客，对乘客人数进行统计，具体方法有：采用梯度方向直方图HOG(Histograms Of Oriented Gradients)特征进行检测、提取乘客的外观特征和运动特征进行检测。基于回归的方法又被称作基于映射的方法，核心思想是将乘客看成一个整体，通过回归模型求出乘客特征与乘客数之间的函数或者利用分类器将乘客特征映射到对应的拥挤程度等级从而判定乘客拥挤程度。但是，传统研究方法在乘客拥挤程度估计领域还存在着效率低、分辨率低和不稳定性的缺点。

因此，设计一种有效、分辨率高、稳定的城市轨道交通乘客拥挤程度检测方法，成为目前亟需解决的问题。

发明内容

本发明针对目前的技术问题，提供了一种城市轨道交通乘客拥挤程度检测方法。该方法克服了现有技术中效率低、分辨率低和不稳定性的缺点，进而实现对城市轨道交通乘客拥挤程度的准确估计。

本发明的技术方案是：基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于，包括以下步骤：

步骤S1，获取轨道交通车厢内视频监控图像，对所获取的图像进行预处理；

步骤S2，将收集到的图像分成训练样本集和测试样本集，通过人工标注确定每张图像中乘客拥挤程度等级；

步骤S3，构建卷积神经网络模型，通过训练样本集对卷积神经网络模型进行训练；

步骤S4，乘客拥挤程度检测，将测试样本集输入到卷积神经网络模型，按照检测分类策略对轨道交通车厢内的乘客拥挤程度进行估计。

其中，所述步骤S3包括步骤S31-S33：

步骤S31，构建预分类器；首先，采用预设尺寸，对预处理后的车厢图像进行划分，获得多个车厢图像块；然后，根据乘客拥挤程度，将多个车厢图像块分为四类，分别为1类、2类、3类和4类，其中1类表示车厢宽松、2类表示拥挤适中、3类表示一般拥挤和4类表示非常拥挤；

预分类器由3个卷积层、2个最大池化层、1个全连接层以及1个softmax层构成，其中C1，C2，C3为卷积层，并在C1和C2层之后分别设置一个最大池化层S4和S5；第一个卷积层C1采用8个7×7×6的卷积核；第二个层卷积层C2采用5个7×7×4的卷积核，提取上一个最大池化层S4的组合特征；第三个卷积层C3采用3个7×7×2的卷积核；

每个卷积核的卷积公式表示为：

式中，为第i层第j个特征图像素点(x,y,z)的卷积输出，Pi×Qi×Ri为卷积核大小，f()为激活函数，b_ij为第i层卷积层第j个特征图的偏置值，为与第i-1层第m个特征图相连的卷积核在(p,q,r)像素点的值；

每个最大池化层的最大池化公式表示为：

T_x,y,z＝max(u_{x×s,y×t,z×r})

式中，T_x,y,z为在像素点(x,y,z)池化后的输出，u_{x×s,y×t,z×r}为在像素点(x×s,y×t,z×r)的输入向量，s、t、r为移动步长。

步骤S32，构建四个CNN通道，每个CNN通道由3个卷积层和2个最大池化层组成。其中在通道1中，第一个卷积层有12个大小为11×11的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为24个大小为9×9的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为12个大小为9×9的卷积核；在通道2中，第一个卷积层有16个大小为9×9的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为32个大小为7×7的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为16个大小为7×7的卷积核；在通道3中，第一个卷积层有20个大小为7×7的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为40个大小为5×5的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为20个大小为5×5的卷积核；在通道4中，第一个卷积层有24个大小为5×5的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为48个大小为3×3的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为24个大小为3×3的卷积核；

步骤S33，将训练样本集输入到卷积神经网络模型，对其进行训练；

所述步骤S4包括步骤S41-S43：

步骤S41，预分类器接收测试样本集，对其进行预分类；

步骤S42，四个CNN通道接收预分类器输出的四类车厢图像块，进行特征提取；其中，通道1对第4类车厢图像块进行特征提取，通道2对第3类车厢图像块进行特征提取，通道3对第2类车厢图像块进行特征提取，通道4对第1类车厢图像块进行特征提取；

步骤S43，对四个CNN通道输出的特征进行合并，通过两个大小为3×3、1×1的两个卷积层，估算出乘客拥挤程度，得到至少12个拥挤程度等级。

所述步骤S1包括如下步骤S11-S15：

步骤S11，针对获取的车厢图像可能存在的角度差异，需要进行旋转操作，使图像处于水平状态，其中旋转操作公式定义为：

式中，Lx、Ly为初始坐标，L’x、L’y为旋转后的坐标，θ为旋转角度。

步骤S12，对旋转后的图像，设置一个噪声处理器，进行去噪处理。

步骤S13，去噪后的图像经归一化和矢量化后，被划分处理为一定大小的不重叠的n个小块；在预设检索范围内对n个小块进行相似匹配，并转换为向量，合成得到相似矩阵；

步骤S14，对相似矩阵进行主成分分解优化，得到高噪声图像矩阵A和有效图像矩阵B；

步骤S15，基于高噪声图像矩阵A和有效图像矩阵B，构建优化公式L:

式中，D表示相似矩阵，‖·‖表示范数运算，<·>表示数量积运算，α、β为控制系数。

对优化公式L进行最优化求解，得到优化后的相似矩阵，重构得到完整车厢图像。

本发明的有益效果是：

(1)本发明的城市轨道交通乘客拥挤程度检测方法，克服了现有技术中效率低、分辨率低和不稳定性的缺点，实现了对城市轨道交通乘客拥挤程度的准确估计。

(2)本发明采用预分类器和四个CNN通道，构建了卷积神经网络模型，提高了乘客拥挤程度的识别精度。

(3)本发明在图像预处理阶段，通过选择、去噪、分解和重构，提高了后续乘客拥挤程度检测的可靠性。

附图说明

图1是本发明基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法的流程示意图。

图2是本发明预分类器的结构示意图。

图3是本发明四个CNN通道的结构示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

图1为本发明提供的一种基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法。

如图1所示，本发明提供了一种基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，所述方法包括：

步骤S1，获取轨道交通车厢内视频监控图像，对所获取的图像进行预处理；

步骤S2，将收集到的图像分成训练样本集和测试样本集，通过人工标注确定每张图像中乘客拥挤程度等级；

步骤S3，构建卷积神经网络模型，通过训练样本集对卷积神经网络模型进行训练；

步骤S4，乘客拥挤程度检测，将测试样本集输入到卷积神经网络模型，按照检测分类策略对轨道交通车厢内的乘客拥挤程度进行估计。

在一些说明性实施例中，所述步骤S1中所述获取到的图像为不同时间段，不同车厢所监控的视频。

进一步地，所述步骤S1包括如下步骤S11-S15：

步骤S11，针对收集的车厢图像中可能存在的角度差异，需要进行旋转操作，使图像处于水平状态，其中旋转操作公式定义为：

式中，Lx、Ly为初始坐标，L’x、L’y为旋转后的坐标，θ为旋转角度。

步骤S12，对旋转后的图像，设置一个噪声处理器，进行去噪处理。

步骤S13，去噪后的图像经归一化和矢量化后，被划分处理为一定大小的不重叠的n个小块；在预设检索范围内对n个小块进行相似匹配，并转换为向量，合成得到相似矩阵；

步骤S14，对相似矩阵进行主成分分解优化，得到高噪声图像矩阵A和有效图像矩阵B；

步骤S15，基于高噪声图像矩阵A和有效图像矩阵B，构建优化公式L:

式中，D表示相似矩阵，‖·‖表示范数运算，<·>表示数量积运算，α、β为控制系数。

对优化公式L进行最优化求解，得到优化后的相似矩阵，重构得到完整车厢图像。

进一步地，所述步骤S3包括如下步骤S31-S33：

步骤S31，构建预分类器；首先，采用预设尺寸，对预处理后的车厢图像进行划分，获得多个车厢图像块；然后，根据乘客拥挤程度，将多个车厢图像块分为四类，分别为1类、2类、3类和4类，其中1类表示车厢宽松、2类表示拥挤适中、3类表示一般拥挤和4类表示非常拥挤；

如图2所示，预分类器由3个卷积层、2个最大池化层、1个全连接层以及1个softmax层构成，其中C1，C2，C3为卷积层，并在C1和C2层之后分别设置一个最大池化层S4和S5。第一个卷积层C1采用8个不同7×7×6的卷积核，第二个层卷积层C2采用5个7×7×4的卷积核，提取上一个最大池化层S4的组合特征，第三个卷积层C3采用3个7×7×2的卷积核。

其中每个卷积核的卷积公式表示为：

式中，为第i层第j个特征图像素点(x,y,z)的卷积输出，Pi×Qi×Ri为卷积核大小，f()为激活函数，b_ij为第i层卷积层第j个特征图的偏置值，为与第i-1层第m个特征图相连的卷积核在(p,q,r)像素点的值。

其中每个最大池化层的最大池化公式表示为：

T_x,y,z＝max(u_{x×s,y×t,z×r})

式中，T_x,y,z为在像素点(x,y,z)池化后的输出，u_{x×s,y×t,z×r}为在像素点(x×s,y×t,z×r)的输入向量，s、t、r为移动步长。

步骤S32，构建四个CNN通道，如图3所示，每个CNN通道由3个卷积层和2个最大池化层组成。其中在通道1中，第一个卷积层有12个大小为11×11的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为24个大小为9×9的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为12个大小为9×9的卷积核；在通道2中，第一个卷积层有16个大小为9×9的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为32个大小为7×7的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为16个大小为7×7的卷积核；在通道3中，第一个卷积层有20个大小为7×7的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为40个大小为5×5的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为20个大小为5×5的卷积核；在通道4中，第一个卷积层有24个大小为5×5的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为48个大小为3×3的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为24个大小为3×3的卷积核；

步骤S33，将训练样本集输入到卷积神经网络模型，对其进行训练；

所述步骤S4包括步骤S41-S43：

步骤S41，预分类器接收测试样本集，对其进行预分类；

步骤S42，四个CNN通道接收预分类器输出的四类车厢图像块，进行特征提取；其中，通道1对第4类车厢图像块进行特征提取，通道2对第3类车厢图像块进行特征提取，通道3对第2类车厢图像块进行特征提取，通道4对第1类车厢图像块进行特征提取；

由于较大卷积感受野的CNN通道对拥挤程度较大的车厢图像块特征提取更有效，因此基于第4类车厢图像块中乘客比较拥挤，采用较大积感受野的CNN通道1对其进行特征提取。

步骤S43，对四个CNN通道输出的特征进行合并，通过两个大小为3×3、1×1的两个卷积层，估算出乘客拥挤程度，得到至少12个拥挤程度等级。

为了能够定量的评价所提出的卷积神经网络估计的结果，定义损失函数如下，根据损失函数E，在每一次训练的迭代过程中更新整个网络的参数，直到E的值收敛。

式中，c为拥挤程度等级个数，N为训练样本个数，表示实际拥挤程度等级，表示卷积神经网络输出的拥挤程度等级。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (2)

1.一种基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于，包括以下步骤：

步骤S1，获取轨道交通车厢内视频监控图像，对所获取的图像进行预处理；

步骤S2，将预处理后的车厢图像分成训练样本集和测试样本集，通过人工标注确定每张图像中乘客拥挤程度等级；

步骤S3，构建卷积神经网络模型，通过训练样本集对卷积神经网络模型进行训练；

步骤S4，乘客拥挤程度检测，将测试样本集输入到卷积神经网络模型，按照检测分类策略对轨道交通车厢内的乘客拥挤程度进行估计；

其中，所述步骤S3包括步骤S31-S33：

步骤S31，构建预分类器；首先，采用预设尺寸，对预处理后的车厢图像进行划分，获得多个车厢图像块；然后，根据乘客拥挤程度，将多个车厢图像块分为四类，分别为1类、2类、3类和4类，其中1类表示车厢宽松、2类表示拥挤适中、3类表示一般拥挤和4类表示非常拥挤；

预分类器由3个卷积层、2个最大池化层、1个全连接层以及1个softmax层构成，其中C1，C2，C3为卷积层，并在C1和C2层之后分别设置一个最大池化层S4和S5；第一个卷积层C1采用8个7×7×6的卷积核；第二个层卷积层C2采用5个7×7×4的卷积核，提取上一个最大池化层S4的组合特征；第三个卷积层C3采用3个7×7×2的卷积核；

每个卷积核的卷积公式表示为：

式中，为第i层第j个特征图像素点(x,y,z)的卷积输出，Pi×Qi×Ri为卷积核大小，f()为激活函数，b_ij为第i层卷积层第j个特征图的偏置值，为与第i-1层第m个特征图相连的卷积核在(p,q,r)像素点的值；

每个最大池化层的最大池化公式表示为：

T_x,y,z＝max(u_{x×s,y×t,z×r})

式中，T_x,y,z为在像素点(x,y,z)池化后的输出，u_{x×s,y×t,z×r}为在像素点(x×s,y×t,z×r)的输入向量，s、t、r为移动步长；

步骤S32，构建四个CNN通道，每个CNN通道由3个卷积层和2个最大池化层组成；其中在通道1中，第一个卷积层有12个大小为11×11的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为24个大小为9×9的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为12个大小为9×9的卷积核；在通道2中，第一个卷积层有16个大小为9×9的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为32个大小为7×7的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为16个大小为7×7的卷积核；在通道3中，第一个卷积层有20个大小为7×7的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为40个大小为5×5的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为20个大小为5×5的卷积核；在通道4中，第一个卷积层有24个大小为5×5的卷积核，第一个最大池化层的池化大小为2×2；第二个卷积层为48个大小为3×3的卷积核，第二个最大池化层的池化大小为2×2；第三个卷积层为24个大小为3×3的卷积核；

步骤S33，将训练样本集输入到卷积神经网络模型，对其进行训练；

所述步骤S4包括步骤S41-S43：

步骤S41，预分类器接收测试样本集，对其进行预分类；

步骤S42，四个CNN通道接收预分类器输出的四类车厢图像块，进行特征提取；其中，通道1对第4类车厢图像块进行特征提取，通道2对第3类车厢图像块进行特征提取，通道3对第2类车厢图像块进行特征提取，通道4对第1类车厢图像块进行特征提取；

步骤S43，对四个CNN通道输出的特征进行合并，通过两个大小为3×3、1×1的两个卷积层，估算出乘客拥挤程度，得到至少12个拥挤程度等级。

2.根据权利要求1所述的方法，其特征在于：所述步骤S1包括如下步骤S11-S15：

步骤S11，针对获取的车厢图像可能存在的角度差异，需要进行旋转操作，使图像处于水平状态，其中旋转操作公式定义为：

式中，Lx、Ly为初始坐标，L’x、L’y为旋转后的坐标，θ为旋转角度；

步骤S12，对旋转后的图像，设置一个噪声处理器，进行去噪处理；

步骤S13，去噪后的图像经归一化和矢量化后，被划分处理为一定大小的不重叠的n个小块；在预设检索范围内对n个小块进行相似匹配，并转换为向量，合成得到相似矩阵；

步骤S14，对相似矩阵进行主成分分解优化，得到高噪声图像矩阵A和有效图像矩阵B；

步骤S15，基于高噪声图像矩阵A和有效图像矩阵B，构建优化公式L:

式中，D表示相似矩阵，‖·‖表示范数运算，<·>表示数量积运算，α、β为控制系数；

对优化公式L进行最优化求解，得到优化后的相似矩阵，重构得到完整车厢图像。