CN114565910A - 一种监测地铁站内乘客行走实时位姿状态的办法 - Google Patents

一种监测地铁站内乘客行走实时位姿状态的办法 Download PDF

Info

Publication number
CN114565910A
CN114565910A CN202210207740.7A CN202210207740A CN114565910A CN 114565910 A CN114565910 A CN 114565910A CN 202210207740 A CN202210207740 A CN 202210207740A CN 114565910 A CN114565910 A CN 114565910A
Authority
CN
China
Prior art keywords
passenger
monitoring
subway station
real
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210207740.7A
Other languages
English (en)
Inventor
王庆
张文康
阳媛
张波
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210207740.7A priority Critical patent/CN114565910A/zh
Publication of CN114565910A publication Critical patent/CN114565910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种监测地铁站内乘客行走实时位姿状态的办法，其中的基本步骤如下，(1)在车站的上下车站台处设立的摄像头对进出车站的人群进行视频监控。(2)读取视频信息，对其中的乘客的位置，姿态进行实时的分析。(3)使用OPENOPSE算法，提取出乘客在行进时的运动骨架，进行运动分析。(4)根据乘客实时的运动情况，对其运动时的姿势进行判断，如果发生跌倒或者踩踏事故，可以向地铁站的工作人员进行及时的预警，避免人员的受伤。该专利通过对地铁站口的监控视频分析，能够实现防止乘客摔倒，对踩踏事故进行预警。

Description

一种监测地铁站内乘客行走实时位姿状态的办法
技术领域
本发明基于卷积神经网络在视觉识别与姿态估计的领域，配合地铁处监控，可以实现对地铁乘客行走时的姿态识别，防止发生跌倒或者踩踏事故，特别是涉及一种监测地铁站内乘客行走实时位姿状态的办法。
背景技术
在城市大型轨道交通快速发展的现在，人们越来越倾向于乘坐地铁来到达自己的目的地。而地铁运营的压力则随之而增大，在较大的客流量的冲击之下，很有可能会发生踩踏事故，最终酿成无法挽回的惨案。但是，现有的地铁管理方案往往只能够采用最原始的地铁工作人员现场管理的方案，该方案无法实现全方位，不间断，无死角的对地铁站的监测，而基于卷积神经网络的视觉识别系统能够与地铁站已有的监控设备进行结合，可以做到全方位，实时监测着地铁站的每个角落，及时发现问题，发出预警，最终避开踩踏事故的发生。
发明内容
针对以上问题，本发明旨在提供一种监测地铁站内乘客行走实时位姿状态的办法，其目的在于防止地铁站发生的踩踏事故，提供一个判断地铁站内乘客的危险程度以及出现危险情况时及时采取预警的措施。
本发明提供一种监测地铁站内乘客行走实时位姿状态的办法，具体步骤如下，其特征在于：
步骤1：分析监控摄像头所得到的监控视频，读取车站内出入口与站台监控摄像头视频流，并采用GPU硬解成图像帧；
步骤2：使用OPEN OPSE技术，利用CPU或者GPU对所获得的图像进行人物的位置与姿势的监测；
步骤3：进行深度学习，使用训练好神经网络，让机器能够判断正常的步行姿势与跌倒等异常的姿势；
步骤4：建立危险系数，危险系数为
Figure BDA0003529861350000011
其中，D为危险系数，S为单个乘客的安全系数，N为视频中的所有乘客的数量，F为判定为跌倒的动作后危险程度，即跌倒系数；
步骤5：对所得的图像处理后的结果进行实时分析，如果视频中的乘客危险系数已经到达了危险的程度时，则机器判断到有乘客做出了摔倒或者踩踏，同时会向地铁站的工作人员进行预警，让其能够及时的出动，对跌倒的乘客进行及时的帮助与救治。
作为本发明进一步改进，步骤1中，监控视频格式为MP4格式。
作为本发明进一步改进，步骤2中OPEN OPSE技术使用CPU或者显卡中的CUDA模块。
作为本发明进一步改进，步骤2中对视频的处理步骤分为以下几步：(1)提取人体所作动作时的姿态；(2)生成骨架图的热图堆叠；(3)基于卷积神经网络，完成姿态的分类与识别。
作为本发明进一步改进，所述步骤4危险系数计算公式，S恒定为1，当乘客是安全时，跌倒系数为1；当乘客被判定为跌倒时，安全系数为0；
当D为0时，则为安全情况；当D为1时则为跌倒事件；当D远大于1时，则判定为踩踏事故；
Figure BDA0003529861350000021
当处于危险状态时，会向附近的工作人员发出预警，以达到保障乘客安全的目的。
本发明提供了一种监测地铁站内乘客行走实时位姿状态的办法，其中的基本步骤如下，(1)在车站的上下车站台处设立的摄像头对进出车站的人群进行视频监控。(2)读取视频信息，对其中的乘客的位置，姿态进行实时的分析。(3)使用OPEN OPSE算法，提取出乘客在行进时的运动骨架，进行运动分析。(4)根据乘客实时的运动情况，对其运动时的姿势进行判断，如果发生跌倒或者踩踏事故，可以向地铁站的工作人员进行及时的预警，避免人员的受伤。该专利通过对地铁站口的监控视频分析，能够实现防止乘客摔倒，对踩踏事故进行预警。
附图说明
图1为工作架构图；
图2为OPEN POSE工作界面图；
图3为OPEN POSE工作流程图；
图4为OPEN POSE主要网络示意图；
图5为危险系数的计算流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
实施例1
如图1所示，本实例中的防止地铁站内乘客发生踩踏事故的预警系统，首先要读取到地铁站口的监控摄像头所录制的监控视频，并且可以使用CPU进行图像的分析与计算。如果使用英伟达公司生产的GPU显卡进行图像处理，则可以加速处理进程。当系统判定到地铁站乘客有发生踩踏事故的风险时，会向地铁站的相关工作人员进行及时的预警，来达到防止事故发生的目的。具体的实现方式如下：
步骤1：分析监控摄像头所得到的监控视频。读取车站内出入口与站台监控摄像头视频流，并采用GPU硬解成图像帧；
步骤2：如图2所示，使用OPEN OPSE技术，利用CPU或者GPU对所获得的图像进行人物的位置与姿势的监测；
步骤3：进行深度学习，使用训练好神经网络，让机器能够判断正常的步行姿势与跌倒等异常的姿势。
步骤4：建立危险系数，危险系数为
Figure BDA0003529861350000031
其中，D为危险系数，S为单个乘客的安全系数，N为视频中的所有乘客的数量，F为判定为跌倒的动作后危险程度，即跌倒系数。
步骤5：对所得的图像处理后的结果进行实时分析，如果视频中的乘客危险系数已经到达了危险的程度时，则机器判断到有乘客做出了摔倒或者踩踏，同时会向地铁站的工作人员进行预警。让其能够及时的出动，对跌倒的乘客进行及时的帮助与救治。
监控视频所保存的格式推荐为MP4格式。在视频的处理上，可以仅使用CPU对视频进行处理，如果使用英伟达公司生产的显卡，则处理速度可以得到提升。
视频的具体的处理手段主要是采用开源的OPEN POSE，即人体姿态识别项目。其基本的工作原理是bottom-up(由下而上)的方式，采用PAF(Part Affinity Fields)技术,对图像上的人物由下而上的估计人体的实时姿态。
具体的处理过程如图3所示：
(a)输入待分析处理的图像帧；
(b)经过深度学习神经网络处理，得到人体关键点，生成热图；
(c)经过PAF(Part Affinity Fields)，即部件关联场的处理，进行集合；
(d)通过二分图匹配，进行解析；
(e)最后输出解析之后的结果。
OPEN OPSE的主要网络示意图如图4所示，该网络为two-branch multi-stageCNN，即双分支多级卷积神经网络。其中一个分支用于预测打分图confidence maps(S)，另外一个分支用于预测Part Affinity Fields(L)。
对于危险系数的计算，如图5所示，危险系数计算公式，S恒定为1，当乘客是安全时，跌倒系数为1；当乘客被判定为跌倒时，安全系数为0。当D为0时，则为安全情况；当D为1时则为跌倒事件；当D远大于1时，则判定为踩踏事故。
Figure BDA0003529861350000041
当处于危险状态时，会向附近的工作人员发出预警，以达到保障乘客安全的目的。
以上所述，仅是本发明的较佳实施个例而已，并非是对本发明作任何其他形式的限制，而是依据本发明的技术实质所作的任何修改或等同变化，仍然属于本发明所要求保护的范围。

Claims (5)

1.一种监测地铁站内乘客行走实时位姿状态的办法，具体步骤如下，其特征在于：
步骤1：分析监控摄像头所得到的监控视频，读取车站内出入口与站台监控摄像头视频流，并采用GPU硬解成图像帧；
步骤2：使用OPEN OPSE技术，利用CPU或者GPU对所获得的图像进行人物的位置与姿势的监测；
步骤3：进行深度学习，使用训练好神经网络，让机器能够判断正常的步行姿势与跌倒等异常的姿势；
步骤4：建立危险系数，危险系数为
Figure FDA0003529861340000011
其中，D为危险系数，S为单个乘客的安全系数，N为视频中的所有乘客的数量，F为判定为跌倒的动作后危险程度，即跌倒系数；
步骤5：对所得的图像处理后的结果进行实时分析，如果视频中的乘客危险系数已经到达了危险的程度时，则机器判断到有乘客做出了摔倒或者踩踏，同时会向地铁站的工作人员进行预警，让其能够及时的出动，对跌倒的乘客进行及时的帮助与救治。
2.根据权利要求1所述一种监测地铁站内乘客行走实时位姿状态的办法，其特征在于，步骤1中，监控视频格式为MP4格式。
3.根据权利要求1所述一种监测地铁站内乘客行走实时位姿状态的办法，其特征在于，步骤2中OPEN OPSE技术使用CPU或者显卡中的CUDA模块。
4.根据权利要求3所述一种监测地铁站内乘客行走实时位姿状态的办法，其特征在于，步骤2中对视频的处理步骤分为以下几步：(1)提取人体所作动作时的姿态；(2)生成骨架图的热图堆叠；(3)基于卷积神经网络，完成姿态的分类与识别。
5.根据权利要求1所述一种监测地铁站内乘客行走实时位姿状态的办法，其特征在于，所述步骤4危险系数计算公式，S恒定为1，当乘客是安全时，跌倒系数为1；当乘客被判定为跌倒时，安全系数为0；
当D为0时，则为安全情况；当D为1时则为跌倒事件；当D远大于1时，则判定为踩踏事故；
Figure FDA0003529861340000012
当处于危险状态时，会向附近的工作人员发出预警，以达到保障乘客安全的目的。
CN202210207740.7A 2022-03-03 2022-03-03 一种监测地铁站内乘客行走实时位姿状态的办法 Pending CN114565910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210207740.7A CN114565910A (zh) 2022-03-03 2022-03-03 一种监测地铁站内乘客行走实时位姿状态的办法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210207740.7A CN114565910A (zh) 2022-03-03 2022-03-03 一种监测地铁站内乘客行走实时位姿状态的办法

Publications (1)

Publication Number Publication Date
CN114565910A true CN114565910A (zh) 2022-05-31

Family

ID=81717317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210207740.7A Pending CN114565910A (zh) 2022-03-03 2022-03-03 一种监测地铁站内乘客行走实时位姿状态的办法

Country Status (1)

Country Link
CN (1) CN114565910A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115051990A (zh) * 2022-06-28 2022-09-13 慧之安信息技术股份有限公司 一种基于边缘计算的地铁站监控方法
CN118230502A (zh) * 2024-05-24 2024-06-21 河北锐景能源科技有限公司 基于毫米波雷达的摔倒防护智能报警方法
CN118230254A (zh) * 2024-05-20 2024-06-21 深圳市巨龙科教网络有限公司 拥挤判断方法、装置、终端及可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115051990A (zh) * 2022-06-28 2022-09-13 慧之安信息技术股份有限公司 一种基于边缘计算的地铁站监控方法
CN118230254A (zh) * 2024-05-20 2024-06-21 深圳市巨龙科教网络有限公司 拥挤判断方法、装置、终端及可读存储介质
CN118230502A (zh) * 2024-05-24 2024-06-21 河北锐景能源科技有限公司 基于毫米波雷达的摔倒防护智能报警方法
CN118230502B (zh) * 2024-05-24 2024-07-16 河北锐景能源科技有限公司 基于毫米波雷达的摔倒防护智能报警方法

Similar Documents

Publication Publication Date Title
CN114565910A (zh) 一种监测地铁站内乘客行走实时位姿状态的办法
CN111144263B (zh) 一种建筑工人高坠事故预警方法及装置
CN105070053B (zh) 一种识别车辆违规运动模式的智能交通监控摄像机
CN105260705B (zh) 一种适用于多姿态下的驾驶人员接打电话行为检测方法
CN113688736B (zh) 一种对患者健康状况进行分析监测的方法
JP2007128513A (ja) シーン解析
Choi et al. Driver drowsiness detection based on multimodal using fusion of visual-feature and bio-signal
CN114255537A (zh) 一种基于生物识别的智能安检闸机一体化系统及方法
CN110147738A (zh) 一种驾驶员疲劳监测预警方法及系统
CN111680613A (zh) 一种实时检测手扶电梯乘客摔倒行为的方法
CN113537019B (zh) 基于关键点识别变电站人员安全帽佩戴的检测方法
CN114092922A (zh) 一种基于特异性的驾驶员情绪识别及行为干预方法
CN111062238B (zh) 基于人体骨架信息及多目标跟踪的扶梯流量监测方法及系统
CN111310635A (zh) 基于TensorFlow的安检违禁品识别系统及方法
CN111144174A (zh) 利用神经网络与传统算法识别视频中老人跌倒行为的系统
JP2022176876A (ja) 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
Huang et al. Skeleton-based automatic assessment and prediction of intrusion risk in construction hazardous areas
Ananthi et al. Drivers Drowsiness Detection using Image Processing and I-Ear Techniques
CN113408435B (zh) 一种安全监控方法、装置、设备和存储介质
CN117746311B (zh) 一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法
Billah et al. Tracking-based detection of driving distraction from vehicular interior video
CN116434145A (zh) 一种基于图像识别的电扶梯乘客危险行为分析监控系统
Crawford et al. Detecting destabilizing wheelchair conditions for maintaining seated posture
CN115148336A (zh) 一种ai识别辅助下的心理疾病患者治疗效果的评估系统
CN113609937A (zh) 一种城市轨道交通的应急处理方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination