CN109117788A - 一种融合ResNet和LSTM的公交车厢拥挤度检测方法 - Google Patents

Abstract

发明涉及本发明属于深度学习中的模式识别技术领域，公开了一种基于深度学习框架和ResNet_LSTM深度神经网络模型以实时检测公交车车厢拥挤度的方法。主要通过结合Tensorflow深度学习框架设计ResNet_LSTM深度神经网络模型解决公交车公司不能实时掌握运行中的公交车车厢内的拥挤度，不能合理的调度车辆问题。本发明融合了残差神经网络(ResNet)和长短期记忆网络(LSTM)，首先通过公交车监控系统截取实时图片，通过残差神经网络提取图片特征，进行初次分类，然后将提取到的图片特征输入到长短期记忆网络，长短期神经网络根据图像特征标注图片中乘客头像位置，以统计车厢内乘客数目再次分类。最后结合两种神经网络的分类结果，根据拥挤度评价标准，生成公交车车厢拥挤度。该方法充分考虑了实际场景中出现的问题，同时结合新型的深度神经网络模型，实现了对公交车车厢内乘客拥挤度的检测。

Description

一种融合ResNet和LSTM的公交车厢拥挤度检测方法

技术领域

本发明涉及本发明属于深度学习中的模式识别技术领域，具体涉及到一种拥挤度检测方法。

背景技术

随着城市现代化的推进，交通在城市中的角色越来越重要，交通是一座城市发展的基础。现在城市公交行业在快速发展，公交信息化的水平在不断的提高，截止到2016年底，全国公共车保有量为60.9万辆，而且各大中城市的公交车保有量在不断提高，公交车已经成为公众的主要出行工具。而公交车内乘客拥挤，乘车体验饱受市民诟病。这就需要公交企业掌握实时客流状况，并能够面向公众发布公交车内拥挤度信息，使乘客在能够在有选择的情况下乘坐合适的车辆出行。近年来，虽然各个城市均在大力推进智能公交系统的建设，智能车载终端也已经逐渐成为公交车的标配，并实现了公交车实时定位，无线通信，视频监控等功能，但是一直缺乏有效的对车厢内人群拥挤度检测的手段。

目前，深度卷积神经网络算法已经应用到包括计算机视觉，语音识别在内的诸多人工智能应用，并且在很多人工智能应用之中表现出了当前最佳的准确度，使深度卷积神经网络的的应用量有了迅速的增长。深度卷积神经网络算法被大量应用在无人驾驶汽车，癌症检测，游戏AI等方面，并且在许多领域的准确性已经超过了人类，与早期的专家手动提取特征或制定规则不同，深度卷积神经网络的优越性能来自于在大量数据上使用统计学习方法，从原始数据中提取高级特征的能力，从而对输入空间进行有效的表示。

发明内容

有鉴于此，本发明提供一种融合ResNet和LSTM的公交车厢拥挤度检测方法，利用公交车视频监控系统，部署深度卷积神经网络算法，可实时准确检测出公交车车厢人群拥挤度。

本发明的目的是通过以下技术方案来实现的：

一种融合ResNet和LSTM的公交车厢拥挤度检测方法，该方法包括以下步骤：

S1：部署Tensorflow深度学习框架，对历史公交车厢图像进行预处理，将预处理后的历史公交车厢图像构造为Bus_pic数据集；标注Bus_pic数据集的图像中的人脸区域，构造Bus_pic_brain数据集；

S2：基于构造的Bus_pic数据集，此数据集是S1中预处理后得到的，部署ResNet网络，提取Bus_pic数据集中图像的全局特征，训练ResNet网络；

S3：基于Bus_pic_brain数据集，此数据集是在Bus_pic数据集的基础上，对数据集中每张图片进行人物头像标注，部署LSTM网络，根据数据集中人脸标注，训练LSTM网络；

S4：读取公交车厢图像；

S5：使用S2中训练好的ResNet网络对公交车厢拥挤度进行分类；

S6：使用S3中训练好的LSTM网络对图片中的人脸进行检测，统计乘客个数；

S7：综合步骤S5和S6的检测结果，根据权重，完成公交车厢拥挤度的检测。

进一步，所述步骤S1中，对历史公交车厢图像进行预处理包括数字图像点运算、转换为灰度图像，然后将灰度图像转换为二值图像。

进一步，数字图像点运算的计算公式为：f'(x,y)＝G[f(x,y)],其中F(x,y)为输入图像F在点(x,y)的像素值，f’(x,y)为输出图像f’在点(x,y)的像素值，G是对F(x,y)的映射函数；

通过灰度直方图转换为灰度图像：统计图像中灰度级出现的次数，直方图离散函数表示为：h(r_i)＝n_i i＝0,1,......,L-1,其中r_i表示图像的第i级灰度，n_i表示图像中灰度级为r_i的像素点个数，h是灰度直方图的映射函数；

转换为二值图像采用灰度阈值变换方法。

进一步，所述步骤S2中，ResNet神经网络采用了ResNet101网络结构，卷积层和全连接层共101层网络，其中卷积层共五部分，卷积层设计卷积核大小为1*1，3*3两种，步长为2，个数共有100层，最后有个fc层用于分类，用于分类的函数为：y＝Softmax(x)其中x为经过卷积层得到的一维向量，y为得到的分类结果；

对于ResNet神经网络中的卷积层的各个部分，定义公式为y＝F(x,{W_i})+x；其中x是输入的特征图，y为经过参数W_i计算的输出特征图，F(x,{W_i})表示为需要训练的残差映射函数；

使用Bus_pic数据集，其中将5000张图片用作训练，800张图片用于测试训练过程，设置迭代次数为8000，训练方式为端到端，对ResNet网络的参数进行优化。

进一步，所述步骤S3中，采用步骤S2中100层卷积产生的高维特征作为LSTM神经网络的输入。

进一步，其特征在于，所述步骤S3中，在LSTM神经网络的训练中，使用学习率e＝0.2进行训练，每1000次迭代将学习率降低为0.8倍，在10000次迭代达到收敛，并且在LSTM输出上使用概率为0.15的随机失活(dropout)；目标损失函数为：

其中：

l_pos＝||b_pos-d_pos||；

b_pos是数据集中边界框的位置，d_pos为模型产生的候选边界框，M,N分别为真实框和候选框的集合。

进一步，所述步骤S6具体包括如下步骤：加载步骤S3获得的LSTM模型参数文件，构建LSTM网络，输出结果为图片中目标图像框位置:

d_{_pos}＝{d_{_x},d_{_y},b_{_w},b_{_h}}；

由这四个点即可确定一个目标框，每个框代表一个人数；

统计经过LSTM网络产生的目标框个数，得到图像中人数，根据人数对数据集中的拥挤度进行划分。

进一步，根据以下公式获得公交车厢拥挤度的检测结果：

C(L,R)＝α₁L+α₂R；

其中α₁，α₂分别为ResNet和LSTM分类结果的权重，L，R分别为ResNet和LSTM分类的结果。

由于采用了上述技术方案，本发明具有如下的优点：

发明提出的将深度卷积神经网络与检测公交车拥挤度相结合。利用公交车视频监控系统，部署深度卷积神经网络算法，实时准确检测出公交车车厢人群拥挤度。为公交企业和公众提供公交车实时拥挤度信息。为公众的出行选择，公交企业的公交运力安排，线网规划，动态调度提供数据支撑，提升公交车乘客的满意度和乘车体验。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述：

图1是融合ResNet和LSTM的公交车厢拥挤度检测方法的流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

参见图1，本发明提供一种融合ResNet和LSTM的公交车厢拥挤度检测方法，该方法包括以下步骤：

S1：部署Tensorflow深度学习框架，对历史公交车厢图像进行预处理，标注重点特征区域；所述预处理包括数字图像点运算、转换为灰度图像，然后将灰度图像转换为二值图像。

数字图像点运算的计算公式为：f'(x,y)＝G[f(x,y)],其中F(x,y)为输入图像F在点(x,y)的像素值，f’(x,y)为输出图像f’在点(x,y)的像素值，G是对F(x,y)的映射函数；

通过灰度直方图转换为灰度图像：统计图像中灰度级出现的次数，直方图离散函数表示为：h(r_i)＝n_i i＝0,1,......,L-1,其中r_i表示图像的第i级灰度，n_i表示图像中灰度级为r_i的像素点个数，h是灰度直方图的映射函数；

转换为二值图像采用灰度阈值变换方法。

将预处理后的历史公交车厢图像构造为Bus_pic数据集；标注Bus_pic数据集的图像中的人脸区域，并构造Bus_pic_brain数据集；

S2：基于构造的Bus_pic数据集，此数据集是S1中预处理后得到的，部署ResNet网络，提取Bus_pic数据集中图像的全局特征，训练ResNet网络；

ResNet神经网络采用了ResNet101网络结构，卷积层和全连接层共101层网络，其中卷积层共五部分，卷积层设计卷积核大小为1*1，3*3两种，步长为2，个数共有100层，最后有个fc层用于分类，用于分类的函数为：y＝Softmax(x)其中x为经过卷积层得到的一维向量，y为得到的分类结果；

对于ResNet神经网络中的卷积层的各个部分，定义公式为y＝F(x,{W_i})+x；其中x是输入的特征图，y为经过参数W_i计算的输出特征图，F(x,{W_i})表示为需要训练的残差映射函数；

使用Bus_pic数据集，其中将5000张图片用作训练，800张图片用于测试训练过程，设置迭代次数为8000，训练方式为端到端，对ResNet网络的参数进行优化。

S3：基于Bus_pic_brain数据集，此数据集是在Bus_pic数据集的基础上，对数据集中每张图片进行人物头像标注，部署LSTM网络，根据数据集中人脸标注，训练LSTM网络；采用步骤S2中100层卷积产生的高维特征作为LSTM神经网络的输入。

在LSTM神经网络的训练中，使用学习率e＝0.2进行训练，每1000次迭代将学习率降低为0.8倍，在10000次迭代达到收敛，并且在LSTM输出上使用概率为0.15的随机失活(dropout)；目标损失函数为：

其中：

l_pos＝||b_pos-d_pos||；

b_pos是数据集中边界框的位置，d_pos为模型产生的候选边界框，M,N分别为真实框和候选框的集合。

使用Bus_pic_brain数据集训练搭建好的LSM神经网络模型，训练方式为端到端，对LSTM网络的参数进行优化。

S4：读取公交车厢图像；

S5：使用S2中训练好的ResNet网络对公交车厢拥挤度进行分类；

加载S2中训练完成的ResNet-101模型产生的参数文件model.ckpt-8000文件，用于构建网络模型，对bus_pic数据集进行分类。

S6：使用S3中训练好的LSTM网络对图片中的人脸进行检测，统计乘客个数；

具体包括如下步骤：加载步骤S3获得的LSTM模型参数文件model.ckpt-10000，用于构建网络模型，输出结果为图片中目标图像框位置:

d_{_pos}＝{d_{_x},d_{_y},b_{_w},b_{_h}}；

由这四个点即可确定一个目标框，每个框代表一个人数；

统计经过LSTM网络产生的目标框个数，得到图像中人数，根据人数对数据集中的拥挤度进行划分。

S7：综合步骤S5和S6的检测结果，根据以下公式获得公交车厢拥挤度的检测结果：

C(L,R)＝α₁L+α₂R；

其中α₁，α₂分别为ResNet和LSTM分类结果的权重，L，R分别为ResNet和LSTM分类的结果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (8)

1.一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，该方法包括以下步骤：

S1：部署Tensorflow深度学习框架，对历史公交车厢图像进行预处理，将预处理后的历史公交车厢图像构造为Bus_pic数据集；标注Bus_pic数据集的图像中的人脸区域，构造Bus_pic_brain数据集；

S2：基于构造的Bus_pic数据集，部署ResNet网络，提取Bus_pic数据集中图像的全局特征，训练ResNet网络；

S3：基于Bus_pic_brain数据集，部署LSTM网络，根据数据集中人脸标注，训练LSTM网络；

S4：读取公交车厢图像；

S5：使用S2中训练好的ResNet网络对公交车厢拥挤度进行分类；

S6：使用S3中训练好的LSTM网络对图片中的人脸进行检测，统计乘客个数；

S7：综合步骤S5和S6的检测结果，根据权重，完成公交车厢拥挤度的检测。

2.根据权利要求1所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，所述步骤S1中，对历史公交车厢图像进行预处理包括数字图像点运算、转换为灰度图像，然后将灰度图像转换为二值图像。

3.根据权利要求2所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，数字图像点运算的计算公式为：f'(x,y)＝G[f(x,y)],其中F(x,y)为输入图像F在点(x,y)的像素值，f’(x,y)为输出图像f’在点(x,y)的像素值，G是对F(x,y)的映射函数；

通过灰度直方图转换为灰度图像：统计图像中灰度级出现的次数，直方图离散函数表示为：h(r_i)＝n_ii＝0,1,......,L-1,其中r_i表示图像的第i级灰度，n_i表示图像中灰度级为r_i的像素点个数，h是灰度直方图的映射函数；

转换为二值图像采用灰度阈值变换方法。

4.根据权利要求1-3中任一项所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，所述步骤S2中，ResNet神经网络采用了ResNet101网络结构，卷积层和全连接层共101层网络，其中卷积层共五部分，卷积层设计卷积核大小为1*1，3*3两种，步长为2，个数共有100层，最后有个fc层用于分类，用于分类的函数为：y＝Softmax(x)其中x为经过卷积层得到的一维向量，y为得到的分类结果；

对于ResNet神经网络中的卷积层的各个部分，定义公式为y＝F(x,{W_i})+x；其中x是输入的特征图，y为经过参数W_i计算的输出特征图，F(x,{W_i})表示为需要训练的残差映射函数；

使用Bus_pic数据集，其中将5000张图片用作训练，800张图片用于测试训练过程，设置迭代次数为8000，训练方式为端到端，对ResNet网络的参数进行优化。

5.根据权利要求4所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，所述步骤S3中，采用步骤S2中100层卷积产生的高维特征作为LSTM神经网络的输入。

6.根据权利要求5所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，所述步骤S3中，在LSTM神经网络的训练中，使用学习率e＝0.2进行训练，每1000次迭代将学习率降低为0.8倍，在10000次迭代达到收敛，并且在LSTM输出上使用概率为0.15的随机失活(dropout)；目标损失函数为：

其中：

l_pos＝||b_pos-d_pos||；

b_pos是数据集中边界框的位置，d_pos为模型产生的候选边界框，M,N分别为真实框和候选框的集合。

7.根据权利要求6所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，所述步骤S6具体包括如下步骤：加载步骤S3获得的LSTM模型参数文件，构建LSTM网络，输出结果为图片中目标图像框位置:

d_{_pos}＝{d_{_x},d_{_y},b_{_w},b_{_h}}；

由这四个点即可确定一个目标框，每个框代表一个人数；

统计经过LSTM网络产生的目标框个数，得到图像中人数，根据人数对数据集中的拥挤度进行划分。

8.根据权利要求7所述的一种融合ResNet和LSTM的公交车厢拥挤度检测方法，其特征在于，根据以下公式获得公交车厢拥挤度的检测结果：

C(L,R)＝α₁L+α²R；

其中α₁，α₂分别为ResNet和LSTM分类结果的权重，L，R分别为ResNet和LSTM分类的结果。