CN111145169A - 基于多列异步神经网络的地铁站乘客数量调度系统及方法 - Google Patents

基于多列异步神经网络的地铁站乘客数量调度系统及方法 Download PDF

Info

Publication number
CN111145169A
CN111145169A CN201911414756.XA CN201911414756A CN111145169A CN 111145169 A CN111145169 A CN 111145169A CN 201911414756 A CN201911414756 A CN 201911414756A CN 111145169 A CN111145169 A CN 111145169A
Authority
CN
China
Prior art keywords
column
neural network
carriage
real
people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911414756.XA
Other languages
English (en)
Inventor
刘明哲
陈薪羽
蒋雪瑶
张弘
任俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Univeristy of Technology
Original Assignee
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Univeristy of Technology filed Critical Chengdu Univeristy of Technology
Priority to CN201911414756.XA priority Critical patent/CN111145169A/zh
Publication of CN111145169A publication Critical patent/CN111145169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61C—LOCOMOTIVES; MOTOR RAILCARS
    • B61C17/00—Arrangement or disposition of parts; Details or accessories not otherwise provided for; Use of control gear and control systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61D—BODY DETAILS OR KINDS OF RAILWAY VEHICLES
    • B61D19/00—Door arrangements specially adapted for rail vehicles
    • B61D19/02—Door arrangements specially adapted for rail vehicles for carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/04—Automatic systems, e.g. controlled by train; Change-over to manual control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Abstract

本发明公开了基于多列异步神经网络的地铁站乘客数量调度方法及系统，该系统分为车厢视频帧画面实时采集模块、多列异步神经网络模块、各车厢实时人数与安全阈值比较模块、地铁开关门提前制动模块。各车厢在开关门的固定区域采集人头画面，并将实时帧画面送入多列异步神经网络，神经网络输出实时画面预估人数，并将预估人数与车厢安全阈值比较，若超过阈值则将制动信号提前送入开关门控制器，控制关门警报响起并将对应的车门关闭，待全部车门关闭后并到达地铁规定停留时间，地铁则继续驶入下一站。本发明可有效预防高峰时，由于地铁车厢过度拥挤而导致的人员冲突以及突发疾病等安全事故的发生，保障公众安全，具有很高的实际应用价值。

Description

基于多列异步神经网络的地铁站乘客数量调度系统及方法
技术领域
本发明属于公共安全领域，具体涉及一种基于多列异步神经网络的人群计数及控制车门自动关闭的智能安全系统及方法。
背景技术
随着人口持续增长、城市化进程加剧，使得早、晚高峰期地铁车厢出现人流分布不均或者过于拥挤的状况。这一状况导致一系列车厢安全事故的发生频率不断提升，如：人流的对冲，乘客之间的踩踏推挤冲突，儿童走失，各类呼吸心脏疾病的突发。目前，地铁高峰时段人流分布不均以及过于拥挤的解决方案是：增加语音文字提示以及人工引导客流。然而在科学技术发展飞速的今天，大多数乘客在候车时的注意力大多都集中在个人手机上，无法确保语音文字提示和人工引导的有效性。
因此，现有的方法并不能从本质上解决车厢安全事故的发生，如有乘客在高峰时段突发心脏类或呼吸类疾病，患者急需空旷的环境进行救治，然而拥挤的车厢显然不利于进行救治，严重的话可能会造成患者抢救无效死亡。由此可见，发明一个既能够对乘客进行人数统计又能够真实有效控制高峰时段地铁上车人数的方法显得尤为重要。
卷积神经网络是近年来广受欢迎的一种深度学习算法。卷积神经网络是一种前馈神经网络，基本结构由输入层、卷积层、池化层、全连接层及输出层构成。在卷积神经网络中，多列结构由于其能加快学习的速度、使模型更快收敛的优势，逐渐在神经网络众多模型中脱颖而出，本发明正是利用多列结构并加入异步更新参数方法学习不同尺度特征，选用ELU激活函数保证输入信息小于0时也有信息通过神经元，提升模型的整体性能，从而能快速输出车厢固定区域的人数，并与阈值比较判断是否提前关闭车门控制车厢内人数，该方法能极大地避免高峰时期人员过度拥挤造成的安全事故，为人们的出行安全提供保障。
发明内容
本发明的目的在于提供一种基于多列异步神经网络的地铁站乘客数量调度系统及方法，主要解决现有技术中语音文字提示以及人工引导客流的方法无法有效解决乘客数量的调度问题，致使拥挤车厢仍可能存在安全隐患。
为了实现上述目的，本发明采用的技术方案如下：
基于多列异步神经网络的地铁站乘客数量调度系统，它包括车厢视频帧画面实时采集模块、多列异步神经网络模块、各车厢实时人数与安全阈值比较模块、地铁开关门提前制动模块；
所述车厢视频帧画面实时采集模块用于实现车厢人头画面的采集和图像预处理；
所述多列异步神经网络模块用于画面人头计数模型训练及实现实时输出视频画面中人群数目；
所述各车厢实时人数与安全阈值比较模块用于比较车厢实际人数是否达到了安全阈值，能够对车厢人数是否存在安全隐患进行分析判断；
所述地铁开关门提前制动模块用于在车厢人数到达安全阈值时，提前发出关门警报并关闭对应车厢车门，避免车厢内人员过度拥挤。
基于多列异步神经网络的地铁站乘客数量调度方法，它包括如下步骤，
(S1)通过各车厢位于车门处的监控摄像头，在地铁到达每一站时采集实时帧的人头画面；
(S2)将采集到的实时帧人头画面进行滤波和图像预处理后，送入多列异步神经网络；
(S3)多列异步神经网络通过模型训练不断优化参数，达到最优模型后，对实时帧人头画面进行深度学习，输出预估人群数目；
(S4)将各车厢输出预估人数与车厢固定区域的人数安全阈值进行比较，若超过安全阈值，则提前控制该节车厢警报响起并关闭车门。
所述步骤(S2)中对采集到的实时帧人头画面的预处理步骤包括：通过高斯滤波除去白噪声；通过双三次插值进行图像缩放，缩放尺寸统一为500×500；将图像的RGB三通道分量分别进行正则化，即将该分量中所有元素减去均值并除以标准差。
所述步骤(S3)中搭建的多列异步神经网络模型具有三列结构，每一列包括两个卷积层、两个最大池化层、全连接层及输出层，每一列的第一个卷积层用于图像低级特征的提取，第一个池化层对浅层特征进行降维处理；第二个卷积层将学习图像的更深层更复杂的特征，第二个池化层对提取的特征作进一步特征降维处理，，激活函数选用ELU激活函数，其表达式为：
Figure BDA0002350902540000031
所述步骤(S3)中的多列异步神经网络采用的是异步更新每列权重参数的方法，每一列与其他两列都具有交互信息，交互信息能够表征两列之间的关联程度，通过减少交互信息，能够使每列更多地学习图像的不同尺度或分辨率，同时，在更新参数时，每列根据该列与其他列之间最新的交互信息依次进行异步更新每列权重参数。
与现有技术相比，本发明具有以下有益效果：
(1)本发明采用的多列异步结构更新参数，而现有的多列结构采用同步更新参数造成了大量的参数冗余甚至过拟合，而多列异步更新参数方式，能够交替更新每一列参数，加快了模型的收敛速度，减少了参数冗余，极大程度避免了过拟合的发生。
(2)本发明在列之间加入了交互信息，交互信息能够反映每两列之间的关联性程度，通过不断减少交互信息，能够降低列之间的相关性，使得不同列能够更多地学习图像的不同尺度或分辨率，加快对图像的不同特征学习，有利于提升模型的运算速度和整体性能。
(3)本发明采用ELU激活函数，它比目前常采用的RELU激活函数训练用的时间少，而且测试指标高，主要表现在它能给卷积神经网络提供非线性建模能力，同时保证在输入信息小于0的时候也有信息通过神经元，使得神经元不至于死，增强模型的鲁棒性。
(4)本发明采用多列异步神经网络与地铁开关门控制器相结合的配合方式，当多列异步神经网络输出预估人数后，与安全阈值进行比较，若超过安全阈值则提前触发关门警报响起，控制开关门提前关闭。本发明利用卷积神经网络与实际开关控制器的配合控制，将深度学习有效地应用在了实际的公共安全领域。
附图说明
图1为本发明所提供的基于多列异步神经网络的地铁站乘客数量调度及方法流程图；
图2为本发明中的多列异步神经网络结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
基于多列异步神经网络的地铁站乘客数量调度系统，它包括车厢视频帧画面实时采集模块、多列异步神经网络模块、各车厢实时人数与安全阈值比较模块、地铁开关门提前制动模块。
(1)车厢视频帧画面实时采集模块，该模块具有如下功能：
当地铁到达站点时，首先通过各车厢位于车门边的摄像头采集车门附近固定区域的实时人群画面，完成图像实时采集工作。将采集的实时人群图像送入多列异步神经网络模型前，先进行滤波和预处理，具体为通过高斯滤波除去图像白噪声，然后通过双三次插值进行图像缩放，缩放尺寸统一为500×500。最后将图像的RGB三通道分量分别进行正则化，即将该分量中所有元素减去均值并除以标准差。预处理之后的人群图像送入卷积神经网络模型进行人头识别和目标计数。
(2)多列异步神经网络模块，该模块具有如下功能：
多列卷积神经网络模型由于它的多列结构能够更多的学习图像的不同特征，加快模型的运算速度，成为了目前广泛使用的一种神经网络结构。本发明的开发平台硬件实现环境：处理器为Intel(R)Core(TM)i7-3770 CPU、显卡为NVIDIA GeForce GTX 1060 6GB、内存为8.00GB RAM；运行实现环境：操作系统选用ubuntu16.04、编程软件选择Python3.6和Matlab2016a、配置选择CUDA8.0和CUDNN6.0、使用开源计算机视觉库Opencv2.0、深度学习框架选用Facebook开源的动态神经网络框架PyTorch。
在多列异步神经网络模型搭建前，首先导入需要的包和库，并定义网络参数。根据代码实际的运行效果，定义学习效率参数λ＝0.004，防止过拟合参数dropout＝0.8，动量参数momentum＝0.9。
接下来构建多列异步神经网络模型。搭建的多列异步神经网络模型具有三列结构，每一列包括两个卷积层、两个最大池化层、全连接层及输出层。每一列的第一个卷积层用于图像低级特征的提取，主要为图形的边缘、线条和角等层级的浅层特征；第一个池化层利用图像局部相关性的原理，对图像进行子抽样，完成对低级特征的降维处理；第二个卷积层能在低级特征上进行迭代提取学习到图像更深层更复杂的特征，第二个池化层对提取的复杂特征作进一步降维处理，进一步缩小最后全连接层中节点的个数，降低网络训练参数及过拟合程度，从而提升模型整体性能。
激活函数在卷积神经网络模型中起着至关重要的作用，如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，则失去了神经网络深层学习特征的目的。本发明激活函数选用ELU激活函数，其表达式为：
Figure BDA0002350902540000061
式中，α为该激活函数的斜率参数，z为输入信息，它比目前常采用的RELU激活函数训练用的时间少，而且测试指标高。关于ELU激活函数中参数的选择，通常设置为1，也可以根据实际应用情况进行取值设置。整个函数是平滑的，在z＝0时会加速梯度下降，因为在z＝0的左右不用跳跃。使用该激活函数的优势在于，它能给卷积神经网络提供非线性建模能力，同时保证在输入信息小于0的时候也有信息通过神经元，使得神经元不至于死，并且使用了指数函数，使得训练时收敛更快，增强了模型的鲁棒性，满足本发明的设计要求。
接下来进行多列异步神经网络模型的具体设计。首先设计了三列结构，第一列结构中，定义卷积层1，共16个卷积核，核大小为9×9，步幅strides为1，进行低级特征的提取，当输入图片与卷积核不匹配时把设置边界填充padding全部为0，因为对图片扩展并补0不会丢失任何信息，激活函数选用ELU函数，将卷积核对应权值相乘求和再加上偏差后的值送入激活函数中，输出卷积特征平面，定义最大池化层1的核大小为3×3，步幅strides为2，对卷积后的特征平面进行降维处理；接下来定义卷积层2，共16个卷积核，核大小为7×7，步幅strides为1，将上面经过第一个池化层后的输出作为卷积层2的输入，进行更复杂特征的提取，并设置边界填充padding为0，同样将卷积核对应权值相乘求和再加上偏差后的值送入卷积层2的ELU激活函数中，输出卷积特征平面，将该特征平面作为池化层2的输入，并定义最大池化层2的核大小为3×3，步幅strides为1，对输入特征降维并进一步缩小最后全连接层中节点的个数，降低网络参数；最后定义全连接层、dropout层及输出层，输出层核大小1×1。
第二列结构为卷积层1，共20个卷积核，核大小为7×7，步幅strides为1，设置边界填充padding为0，激活函数选用ELU函数，定义最大池化层1的核大小为2×2，步幅strides为2；接下来定义卷积层2，共20个卷积核，核大小为5×5，步幅strides为1，设置边界填充padding为0，定义最大池化层2的核大小为2×2，步幅strides为1，最后定义全连接层、dropout层参数及输出层，输出层核大小1×1。第三列结构为卷积层1，共24个卷积核，核大小为5×5，步幅strides为1，设置边界填充padding为0，激活函数选用ELU函数，定义最大池化层1的核大小为2×2，步幅strides为1；接下来定义卷积层2，共24个卷积核，核大小为3×3，步幅strides为1，设置边界填充padding为0，定义最大池化层2的核大小为2×2，步幅strides为1，最后定义全连接层、dropout层参数及输出层，输出层核大小1×1。
接下来进行列之间交互信息的具体设计。交互信息共有三列，第一列与第二列之间的交互信息的卷积层1，共1个卷积核，核大小为5×5，步幅strides为2，卷积层2，共1个卷积核，核大小为2×2，步幅strides为1；第二列与第三列之间的交互信息的卷积层1，共1个卷积核，核大小为4×4，步幅strides为2，卷积层2，共1个卷积核，核大小为3×3，步幅strides为1；第一列与第三列之间的交互信息的卷积层1，共1个卷积核，核大小为5×5，步幅strides为2，卷积层2，共1个卷积核，核大小为2×2，步幅strides为1。
交互信息
Figure BDA0002350902540000081
通过全连接层不断进行更新，并异步作用于各列，使得各列完成权重参数的交替更新。例如在第一列更新参数时，需要用到第一列分别与第二、三列之间的交互信息进行列之间关联性的分析，从而尽可能减少第一列与其他两列对图像的相同特征学习，增大学习不同特征的能力。当第一列根据与当前其余两列的交互信息更新权重参数时，其余两列保持当前学习能力不变，当第一列更新参数完成后，进行第二列权重参数的更新。由于此时第一列更新参数后，第一列与第二列的关联性发生变化，即第一列与第二列的交互信息发生了变化，由于第二、三列还没有更新参数，此时第二列与第三列的交互信息没有发生变化，所以第二列在更新参数时，根据第二列与第一列之间变化的交互信息以及第二列与第三列还未变化的交互信息进行第二列的权重更新。当第二列更新完成后，第三列按照相同的更新方式进行异步更新，以此不断循环进行三列参数的不断异步更新，直到整个模型达到收敛。
接下来训练及评估模型。首先将人群计数公开数据库分为两部分，一部分作为训练集，剩余部分作为测试集。接下来定义代价函数和优化器。代价函数选用交叉熵函数，优化器选用Adam，其优化算法为：定义初始化参数向量为θ，学习效率为λ，矩估计的指数衰减速率ρ1和ρ2在区间[0，1)内，为避免分母为0，设小参数δ为一个较小值，一般取10-7，初始化一阶和二阶矩变量s＝0，r＝0，初始化时间步t＝0，t+1→t。更新偏一阶矩估计：
Figure BDA0002350902540000082
更新偏二阶矩估计：
Figure BDA0002350902540000091
修正一阶矩偏差
Figure BDA0002350902540000092
修正二阶矩偏差
Figure BDA0002350902540000093
计算参数更新
Figure BDA0002350902540000094
更新参数为：θ+Δθ→θ(其中
Figure BDA0002350902540000095
为t时间步的梯度，修正一阶、二阶矩偏差中的t是ρ1、ρ2的幂)。
Adam优化器能利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习速率，使得经过偏置校正后，每一次迭代学习速率都有个确定的范围，参数相对较平稳。模型训练时，在搭建的平台上首先初始化各网络参数，设置批量epoch及代价函数loss值输出次数，直到loss值降到最低时完成模型的训练。最后在测试集上进行模型的测试，查看多列异步神经网络模型的输出效果并进行实际应用。
(3)实时人数与安全阈值比较及开关门提前制动模块，该模块具有如下功能：
多列异步神经网络模型输出的密度图通过积分，能够得到实时采集画面中的人数，将实时输出的人数信息与车厢设置的安全阈值进行比较，若在安全阈值内，则按照系统规定时间关门，若超过安全阈值，则将此信息作为触发信号，传送至该节车厢的开关门控制器，开关门控制器提前触发该节车厢警报响起，提示车门外人员即将关闭车门需要注意安全后，关闭车门不再让车门外人员进入车厢，避免了车厢内人员过度拥挤而引发的一系列安全事故。
如图1所示，基于多列异步神经网络的地铁站乘客数量调度方法，它包括如下步骤，
(S1)通过各车厢位于车门处的监控摄像头，在地铁到达每一站时采集实时帧的人头画面；
其具体过程如下：
当地铁到达站点时，首先通过各车厢位于车门边的摄像头采集车门附近固定区域的实时人群画面，完成图像实时采集工作。
(S2)将采集到的实时帧人头画面进行滤波和图像预处理后，送入多列异步神经网络；所述步骤(S2)中对采集到的实时帧人头画面的预处理步骤包括：通过高斯滤波除去白噪声；通过双三次插值进行图像缩放，缩放尺寸统一为500×500；将图像的RGB三通道分量分别进行正则化，即将该分量中所有元素减去均值并除以标准差。
其具体过程如下：将采集的实时人群图像送入多列异步神经网络模型前，先进行滤波和预处理，具体为通过高斯滤波除去图像白噪声，然后通过双三次插值进行图像缩放，缩放尺寸统一为500×500。最后将图像的RGB三通道分量分别进行正则化，即将该分量中所有元素减去均值并除以标准差。预处理之后的人群图像送入卷积神经网络模型进行人头识别和目标计数。
(S3)多列异步神经网络通过模型训练不断优化参数，达到最优模型后，对实时帧人头画面进行深度学习，输出预估人群数目；
所述步骤(S3)中搭建的多列异步神经网络模型具有三列结构，每一列包括两个卷积层、两个最大池化层、全连接层及输出层，每一列的第一个卷积层用于图像低级特征的提取，第一个池化层对浅层特征进行降维处理；第二个卷积层将学习图像的更深层更复杂的特征，第二个池化层对提取的特征作进一步特征降维处理，，激活函数选用ELU激活函数，其表达式为：
Figure BDA0002350902540000101
所述步骤(S3)中的多列异步神经网络采用的是异步更新每列权重参数的方法，每一列与其他两列都具有交互信息，交互信息能够表征两列之间的关联程度，通过减少交互信息，能够使每列更多地学习图像的不同尺度或分辨率，同时，在更新参数时，每列根据该列与其他列之间最新的交互信息依次进行异步更新每列权重参数。
其具体过程如下：
在多列异步神经网络模型搭建前，首先导入需要的包和库，并定义网络参数。根据代码实际的运行效果，定义学习效率参数λ＝0.004，防止过拟合参数dropout＝0.8，动量参数momentum＝0.9。
接下来构建多列异步神经网络模型。搭建的多列异步神经网络模型具有三列结构，每一列包括两个卷积层、两个最大池化层、全连接层及输出层。每一列的第一个卷积层用于图像低级特征的提取，主要为图形的边缘、线条和角等层级的浅层特征；第一个池化层利用图像局部相关性的原理，对图像进行子抽样，完成对低级特征的降维处理；第二个卷积层能在低级特征上进行迭代提取学习到图像更深层更复杂的特征，第二个池化层对提取的复杂特征作进一步降维处理，进一步缩小最后全连接层中节点的个数，降低网络训练参数及过拟合程度，从而提升模型整体性能。
激活函数在卷积神经网络模型中起着至关重要的作用，如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，则失去了神经网络深层学习特征的目的。本发明激活函数选用ELU激活函数，其表达式为：
Figure BDA0002350902540000111
它比目前常采用的RELU激活函数训练用的时间少，而且测试指标高。关于ELU激活函数中参数的选择，通常设置为1，也可以根据实际应用情况进行取值设置。整个函数是平滑的，在z＝0时会加速梯度下降，因为在z＝0的左右不用跳跃。使用该激活函数的优势在于，它能给卷积神经网络提供非线性建模能力，同时保证在输入信息小于0的时候也有信息通过神经元，使得神经元不至于死，并且使用了指数函数，使得训练时收敛更快，增强了模型的鲁棒性，满足本发明的设计要求。
接下来进行多列异步神经网络模型的具体设计。首先设计了三列结构，第一列结构中，定义卷积层1，共16个卷积核，核大小为9×9，步幅strides为1，进行低级特征的提取，当输入图片与卷积核不匹配时把设置边界填充padding全部为0，因为对图片扩展并补0不会丢失任何信息，激活函数选用ELU函数，将卷积核对应权值相乘求和再加上偏差后的值送入激活函数中，输出卷积特征平面，定义最大池化层1的核大小为3×3，步幅strides为2，对卷积后的特征平面进行降维处理；接下来定义卷积层2，共16个卷积核，核大小为7×7，步幅strides为1，将上面经过第一个池化层后的输出作为卷积层2的输入，进行更复杂特征的提取，并设置边界填充padding为0，同样将卷积核对应权值相乘求和再加上偏差后的值送入卷积层2的ELU激活函数中，输出卷积特征平面，将该特征平面作为池化层2的输入，并定义最大池化层2的核大小为3×3，步幅strides为1，对输入特征降维并进一步缩小最后全连接层中节点的个数，降低网络参数；最后定义全连接层、dropout层及输出层，输出层核大小1×1。
第二列结构为卷积层1，共20个卷积核，核大小为7×7，步幅strides为1，设置边界填充padding为0，激活函数选用ELU函数，定义最大池化层1的核大小为2×2，步幅strides为2；接下来定义卷积层2，共20个卷积核，核大小为5×5，步幅strides为1，设置边界填充padding为0，定义最大池化层2的核大小为2×2，步幅strides为1，最后定义全连接层、dropout层参数及输出层，输出层核大小1×1。第三列结构为卷积层1，共24个卷积核，核大小为5×5，步幅strides为1，设置边界填充padding为0，激活函数选用ELU函数，定义最大池化层1的核大小为2×2，步幅strides为1；接下来定义卷积层2，共24个卷积核，核大小为3×3，步幅strides为1，设置边界填充padding为0，定义最大池化层2的核大小为2×2，步幅strides为1，最后定义全连接层、dropout层参数及输出层，输出层核大小1×1。
接下来进行列之间交互信息的具体设计。交互信息共有三列，第一列与第二列之间的交互信息的卷积层1，共1个卷积核，核大小为5×5，步幅strides为2，卷积层2，共1个卷积核，核大小为2×2，步幅strides为1；第二列与第三列之间的交互信息的卷积层1，共1个卷积核，核大小为4×4，步幅strides为2，卷积层2，共1个卷积核，核大小为3×3，步幅strides为1；第一列与第三列之间的交互信息的卷积层1，共1个卷积核，核大小为5×5，步幅strides为2，卷积层2，共1个卷积核，核大小为2×2，步幅strides为1。
交互信息
Figure BDA0002350902540000131
通过全连接层不断进行更新，并异步作用于各列，使得各列完成权重参数的交替更新。例如在第一列更新参数时，需要用到第一列分别与第二、三列之间的交互信息进行列之间关联性的分析，从而尽可能减少第一列与其他两列对图像的相同特征学习，增大学习不同特征的能力。当第一列根据与当前其余两列的交互信息更新权重参数时，其余两列保持当前学习能力不变，当第一列更新参数完成后，进行第二列权重参数的更新。由于此时第一列更新参数后，第一列与第二列的关联性发生变化，即第一列与第二列的交互信息发生了变化，由于第二、三列还没有更新参数，此时第二列与第三列的交互信息没有发生变化，所以第二列在更新参数时，根据第二列与第一列之间变化的交互信息以及第二列与第三列还未变化的交互信息进行第二列的权重更新。当第二列更新完成后，第三列按照相同的更新方式进行异步更新，以此不断循环进行三列参数的不断异步更新，直到整个模型达到收敛。
接下来训练及评估模型。首先将人群计数公开数据库分为两部分，一部分作为训练集，剩余部分作为测试集。接下来定义代价函数和优化器。代价函数选用交叉熵函数，优化器选用Adam，其优化算法为：定义初始化参数向量为θ，学习效率为λ，矩估计的指数衰减速率ρ1和ρ2在区间[0,1)内，为避免分母为0，设小参数δ为一个较小值，一般取10-7，初始化一阶和二阶矩变量s＝0，r＝0，初始化时间步t＝0，t+1→t。更新偏一阶矩估计：
Figure BDA0002350902540000141
更新偏二阶矩估计：
Figure BDA0002350902540000142
修正一阶矩偏差
Figure BDA0002350902540000143
修正二阶矩偏差
Figure BDA0002350902540000144
计算参数更新
Figure BDA0002350902540000145
更新参数为：θ+Δθ→θ(其中
Figure BDA0002350902540000146
为t时间步的梯度，修正一阶、二阶矩偏差中的t是ρ1、ρ2的幂)。
Adam优化器能利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习速率，使得经过偏置校正后，每一次迭代学习速率都有个确定的范围，参数相对较平稳。模型训练时，在搭建的平台上首先初始化各网络参数，设置批量epoch及代价函数loss值输出次数，直到loss值降到最低时完成模型的训练。最后在测试集上进行模型的测试，查看多列异步神经网络模型的输出效果并进行实际应用。
(S4)将各车厢输出预估人数与车厢固定区域的人数安全阈值进行比较，若超过安全阈值，则提前控制该节车厢警报响起并关闭车门。
其具体过程如下：多列异步神经网络模型输出的密度图通过积分，能够得到实时采集画面中的人数，将实时输出的人数信息与车厢设置的安全阈值进行比较，若在安全阈值内，则按照系统规定时间关门，若超过安全阈值，则将此信息作为触发信号，传送至该节车厢的开关门控制器，开关门控制器提前触发该节车厢警报响起，提示车门外人员即将关闭车门需要注意安全后，关闭车门不再让车门外人员进入车厢，避免了车厢内人员过度拥挤而引发的一系列安全事故。
本发明中地铁各车厢关闭车门的时间不再统一，而是根据各车厢实际的人数与安全阈值比较后，根据比较情况进行下一步操作。若该节车厢人数没有超过阈值，则依然按原本规定的时间关闭车门；若该节车厢人数超过阈值，则提前控制车门关闭，等全部车厢门关闭后，并等到达规定停留时间后继续行驶。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而做出的变化，均应属于本发明的保护范围之内。

Claims (5)

1.基于多列异步神经网络的地铁站乘客数量调度系统，其特征在于：它包括车厢视频帧画面实时采集模块、多列异步神经网络模块、各车厢实时人数与安全阈值比较模块、地铁开关门提前制动模块；
所述车厢视频帧画面实时采集模块用于实现车厢人头画面的采集和图像预处理；
所述多列异步神经网络模块用于画面人头计数模型训练及实现实时输出视频画面中人群数目；
所述各车厢实时人数与安全阈值比较模块用于比较车厢实际人数是否达到了安全阈值，能够对车厢人数是否存在安全隐患进行分析判断；
所述地铁开关门提前制动模块用于在车厢人数到达安全阈值时，提前发出关门警报并关闭对应车厢车门，避免车厢内人员过度拥挤。
2.基于多列异步神经网络的地铁站乘客数量调度方法，其特征在于：它包括如下步骤，
(S1)通过各车厢位于车门处的监控摄像头，在地铁到达每一站时采集实时帧的人头画面；
(S2)将采集到的实时帧人头画面进行滤波和图像预处理后，送入多列异步神经网络；
(S3)多列异步神经网络通过模型训练不断优化参数，达到最优模型后，对实时帧人头画面进行深度学习，输出预估人群数目；
(S4)将各车厢输出预估人数与车厢固定区域的人数安全阈值进行比较，若超过安全阈值，则提前控制该节车厢警报响起并关闭车门。
3.根据权利要求2所述的基于多列异步神经网络的地铁站乘客数量调度方法，其特征在于：所述步骤(S2)中对采集到的实时帧人头画面的预处理步骤包括：通过高斯滤波除去白噪声；通过双三次插值进行图像缩放，缩放尺寸统一为500×500；将图像的RGB三通道分量分别进行正则化，即将该分量中所有元素减去均值并除以标准差。
4.根据权利要求2所述的基于多列异步神经网络的地铁站乘客数量调度方法，其特征在于：所述步骤(S3)中搭建的多列异步神经网络模型具有三列结构，每一列包括两个卷积层、两个最大池化层、全连接层及输出层，每一列的第一个卷积层用于图像低级特征的提取，第一个池化层对浅层特征进行降维处理；第二个卷积层将学习图像的更深层更复杂的特征，第二个池化层对提取的特征作进一步特征降维处理，，激活函数选用ELU激活函数，其表达式为：
Figure FDA0002350902530000021
5.根据权利要求2所述的基于多列异步神经网络的地铁站乘客数量调度方法，其特征在于：所述步骤(S3)中的多列异步神经网络采用的是异步更新每列权重参数的方法，每一列与其他两列都具有交互信息，交互信息能够表征两列之间的关联程度，通过减少交互信息，能够使每列更多地学习图像的不同尺度或分辨率，同时，在更新参数时，每列根据该列与其他列之间最新的交互信息依次进行异步更新每列权重参数。
CN201911414756.XA 2019-12-31 2019-12-31 基于多列异步神经网络的地铁站乘客数量调度系统及方法 Pending CN111145169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911414756.XA CN111145169A (zh) 2019-12-31 2019-12-31 基于多列异步神经网络的地铁站乘客数量调度系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911414756.XA CN111145169A (zh) 2019-12-31 2019-12-31 基于多列异步神经网络的地铁站乘客数量调度系统及方法

Publications (1)

Publication Number Publication Date
CN111145169A true CN111145169A (zh) 2020-05-12

Family

ID=70522769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911414756.XA Pending CN111145169A (zh) 2019-12-31 2019-12-31 基于多列异步神经网络的地铁站乘客数量调度系统及方法

Country Status (1)

Country Link
CN (1) CN111145169A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329974A (zh) * 2020-09-03 2021-02-05 中国人民公安大学 基于lstm-rnn的民航安保事件行为主体识别与预测方法及系统
CN113989406A (zh) * 2021-12-28 2022-01-28 成都理工大学 一种基于稀疏张量字典学习的层析γ扫描图像重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017166586A1 (zh) * 2016-03-30 2017-10-05 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法、系统和电子设备
CN109255869A (zh) * 2018-08-28 2019-01-22 深圳市有钱科技有限公司 控制地铁车厢乘客数量的方法、存储介质及计算机设备
CN110427896A (zh) * 2019-08-07 2019-11-08 成都理工大学 一种基于卷积神经网络的垃圾分类智能系统
CN110598630A (zh) * 2019-09-12 2019-12-20 江苏航天大为科技股份有限公司 基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017166586A1 (zh) * 2016-03-30 2017-10-05 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法、系统和电子设备
CN109255869A (zh) * 2018-08-28 2019-01-22 深圳市有钱科技有限公司 控制地铁车厢乘客数量的方法、存储介质及计算机设备
CN110427896A (zh) * 2019-08-07 2019-11-08 成都理工大学 一种基于卷积神经网络的垃圾分类智能系统
CN110598630A (zh) * 2019-09-12 2019-12-20 江苏航天大为科技股份有限公司 基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YINGYING ZHANG .ETC: ""Single-Image Crowd Counting via Multi-Column Convolutional Neural Network"", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
ZHI-QI CHENG .ETC: ""Improving the Learning of Multi-column Convolutional Neural Network for Crowd Counting"", 《MM "19: PROCEEDINGS OF THE 27TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
王起全: "《基于SHEL模型的地铁拥挤踩踏事故神经网络安全评估分析》", 《中国职业安全健康协会2016年学术年会论文集》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329974A (zh) * 2020-09-03 2021-02-05 中国人民公安大学 基于lstm-rnn的民航安保事件行为主体识别与预测方法及系统
CN112329974B (zh) * 2020-09-03 2024-02-27 中国人民公安大学 基于lstm-rnn的民航安保事件行为主体识别与预测方法及系统
CN113989406A (zh) * 2021-12-28 2022-01-28 成都理工大学 一种基于稀疏张量字典学习的层析γ扫描图像重建方法
CN113989406B (zh) * 2021-12-28 2022-04-01 成都理工大学 一种基于稀疏张量字典学习的层析γ扫描图像重建方法

Similar Documents

Publication Publication Date Title
US20200302180A1 (en) Image recognition method and apparatus, terminal, and storage medium
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN112784798B (zh) 一种基于特征-时间注意力机制的多模态情感识别方法
CN110287805B (zh) 基于三流卷积神经网络的微表情识别方法及系统
CN106407889B (zh) 基于光流图深度学习模型在视频中人体交互动作识别方法
CN111652903B (zh) 一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法
CN109902546A (zh) 人脸识别方法、装置及计算机可读介质
CN109034119A (zh) 一种基于优化的全卷积神经网络的人脸检测方法
CN110059587A (zh) 基于时空注意力的人体行为识别方法
CN110287777B (zh) 一种自然场景下的金丝猴躯体分割算法
CN109325440A (zh) 人体动作识别方法及系统
CN111145169A (zh) 基于多列异步神经网络的地铁站乘客数量调度系统及方法
CN112801040A (zh) 嵌入高阶信息的轻量级无约束人脸表情识别方法及系统
CN110363114A (zh) 一种人员工作状态检测方法、装置及终端设备
CN114360067A (zh) 一种基于深度学习的动态手势识别方法
CN113128360A (zh) 基于深度学习的司机驾驶行为检测与识别方法
CN111401261B (zh) 基于gan-cnn框架的机器人手势识别方法
CN115527271A (zh) 电梯轿厢乘客异常行为检测系统及方法
CN111401116B (zh) 基于增强卷积和空时lstm网络的双模态情感识别方法
CN111160327B (zh) 一种基于轻量化卷积神经网络的表情识别方法
CN110210399A (zh) 一种基于不确定性量化概率卷积神经网络的人脸识别方法
CN116543289A (zh) 一种基于编码器-解码器及Bi-LSTM注意力模型的图像描述方法
CN111950373A (zh) 一种基于光流输入的迁移学习用于微表情识别的方法
CN110163049B (zh) 一种人脸属性预测方法、装置及存储介质
Guo et al. Dynamic facial expression recognition based on ResNet and LSTM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200512

RJ01 Rejection of invention patent application after publication