CN112766192A - 一种智能列车监控系统 - Google Patents
一种智能列车监控系统 Download PDFInfo
- Publication number
- CN112766192A CN112766192A CN202110098810.5A CN202110098810A CN112766192A CN 112766192 A CN112766192 A CN 112766192A CN 202110098810 A CN202110098810 A CN 202110098810A CN 112766192 A CN112766192 A CN 112766192A
- Authority
- CN
- China
- Prior art keywords
- image data
- edge calculation
- calculation module
- monitoring system
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 58
- 230000008447 perception Effects 0.000 claims abstract description 45
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 230000006399 behavior Effects 0.000 claims description 49
- 238000010586 diagram Methods 0.000 claims description 30
- 210000000988 bone and bone Anatomy 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 9
- 238000000034 method Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种智能列车监控系统，包括安装在列车的车厢内的多台感知摄像头、边缘计算模块、控制模块和站台主机，感知摄像头对车厢内进行图像数据采集获得车厢内的图像数据信息之后发送到边缘计算模块，边缘计算模块对图像数据信息中的人物的行为状态进行识别并向控制模块输出人物行为识别结果，控制模块控制感知摄像头采集图像数据信息以及接收边缘计算模块输出的人物行为识别结果并在判定人物行为识别结果为异常行为后，向站台主机以及列车的司机室发送警报信息。通过设置感知摄像头采集乘客的图像数据信息，经过边缘计算模块事先乘客的人物行为识别结果，实现对乘客异常情况影响自身及他人安全时的有效及时反馈，提高乘客的乘车安全型。
Description
技术领域
本发明涉及轨道交通列车乘客服务领域，特别是涉及一种智能列车监控系统。
背景技术
随着经济社会的快速发展和物质文化需求的日益增长，人民群众对交通出行的要求已经由“走得了”向“走得好”转变。国内轨道交通发展更多关注设施的供给，更重视轨道交通设施的空间规划和布局，而对使用者即乘客智慧感知服务缺乏足够的重视，当乘客出现异常情况影响自身及他人安全时，不能得将情况有效及时的反馈，乘客未能享受到智能化带来的乘车安全保护。
由于地铁的人员流动性很大，为提高地铁列车智能化主动感知水平，减轻车辆安全员工作强度，维护地铁列车车厢内安全，在车厢设置传感器，如摄像头来实现对车厢的监控等。
但是，现有系统存在以下缺点：
目前国内轨道交通列车所搭载摄像头仅提供车厢环境监控，未有面向乘客行为识别主动感知能力；
现有车厢摄像头图像采集区存在死角，难以全方位对乘客进行监控；
车厢乘客出现异常行为时，首先通过安全员通过对讲告知安全员班长，再由班长将情况反馈给司机，再由司机将车厢情况推送至站台流程繁琐，反馈不及时智能化水平低，人员工作强度大，乘客服务水平较低；
目前列车搭载摄像头难以对后续功能扩展，未来随着图像识别智能化发展，将逐步被主动感知设备取代。
发明内容
本发明的目的是提供一种智能列车监控系统，实现对内乘客行为感知识别反馈，提高乘客乘车安全性。
为解决上述技术问题，本发明实施例提供了一种智能列车监控系统，包括安装在列车的车厢内的多台感知摄像头、边缘计算模块、控制模块和站台主机，所述感知摄像头对所述车厢内进行图像数据采集获得所述车厢内的图像数据信息之后发送到所述边缘计算模块，所述边缘计算模块对所述图像数据信息中的人物的行为状态进行识别并向所述控制模块输出人物行为识别结果，所述控制模块控制所述感知摄像头采集所述图像数据信息以及接收所述边缘计算模块输出的人物行为识别结果并在判定所述人物行为识别结果为异常行为后，向所述站台主机以及所述列车的司机室发送警报信息。
其中，所述感知摄像头的水平视角大于等于160度，垂直视角大于等于100度。
其中，每节所述车厢内的所述感知摄像头的数量大于等6，所述边缘计算模块的数量大于等于2，每个所述边缘计算模块对应的所述感知摄像头的数量小于等于3。
其中，所述边缘计算模块通过POE对所述感知摄像头进行所述图像数据信息数据水位采集与供电。
其中，所述感知摄像头、所述边缘计算模块设置在所述车厢的客室活动门。
其中，所述控制模块将所述图像数据信息、所述人物行为识别结果、所述警报信息通过通信模块发送到所述司机室、所述站台主机以及云端服务器。
其中，所述控制模块将所述图像数据信息、所述人物行为识别结果、所述警报信息通过有线通信模块发送到所述司机室，通过4G通信模块或5G通信模块发送到所述站台主机以及云端服务器。
其中，还包括设置在所述列车的司机室的活动门的司机室显示屏以及设置在所述司机室的驾驶台的喇叭，所述司机室显示屏用于显示从所述控制模块获得的图像数据信息、所述人物行为识别结果、所述警报信息，所述喇叭用于根据所述警报信息发出声音警报。
其中，所述边缘计算模块包括：
数据采集及标定单元，用于接收所述感知摄像头获得的所述图像数据信息，对所述图像数据信息的图像按照预设规则进行标定；
OpenPose数据预处理单元，对所述图像数据信息的图像通过OpenPose标注人体的关节，连接成骨骼，提取人体关键点，生成骨骼特征图；
数据分类单元，根据分类指令将人物行为分为倒地、呼救、正常；
模型训练单元，对所述图像数据信息进行姿态估计并在骨骼序列上构建时空图，应用ST-GCN模块并在所述骨骼特征图上生成高级特征图，利用标准的Softmax分类器，将所述高级特征图分类到相应的操作类别中，并进行正则化再输入到batch normalization，通过训练获得训练模型；
人脸及行为综合分析判定单元，用于对所述高级特征图进行人脸识别后判定并给与唯一ID，将识别到人脸特征中心点及骨骼框架中心点结合最小欧式距离判定，使得所述高级特征图中内的行为与发生所述行为的人的ID对应；
识别单元，根据所述训练模型对所述高级特征图中人物进行人体动作识别进行输出人物行为识别结果。
其中，所述ST-GCN模型由九层时空图卷积组成。前三层输出64通道数，中间三层输出128通道，后三层输出256层通道数。
本发明实施例所提供的智能列车监控系统，与现有技术相比，具有以下优点：
本发明实施例提供的智能列车监控系统，通过设置感知摄像头采集乘客的图像数据信息，经过边缘计算模块事先乘客的人物行为识别结果，实现对乘客异常情况影响自身及他人安全时的有效及时反馈，提高乘客的乘车安全型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的智能列车监控系统的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例提供的智能列车监控系统的一个实施例的结构示意图。
在一种具体实施方式中，所述智能列车监控系统，包括安装在列车的车厢内的多台感知摄像头10、边缘计算模块20、控制模块30和站台主机40，所述感知摄像头10对所述车厢内进行图像数据采集获得所述车厢内的图像数据信息之后发送到所述边缘计算模块20，所述边缘计算模块20对所述图像数据信息中的人物的行为状态进行识别并向所述控制模块30输出人物行为识别结果，所述控制模块30控制所述感知摄像头10采集所述图像数据信息以及接收所述边缘计算模块20输出的人物行为识别结果并在判定所述人物行为识别结果为异常行为后，向所述站台主机40以及所述列车的司机室发送警报信息。
通过设置感知摄像头10采集乘客的图像数据信息，经过边缘计算模块20事先乘客的人物行为识别结果，实现对乘客异常情况影响自身及他人安全时的有效及时反馈，提高乘客的乘车安全型。
本申请中需要通过感知摄像头10实时获取图像数据信息，对于感知摄像头10的数量、类型以及具体参数不做限定，所述感知摄像头10可以采用现有的摄像头，也可以采用特殊加工的摄像头，而且对于感知摄像头10的安装位置不做限定。
为了减少感知摄像头10的使用，减少出现由于单个感知摄像头10的拍摄范围较小使得需要进行图片拼接的情况，或者由于单个感知摄像头10的拍摄范围较小，使得需要处理的图片太多的情况，一般所述感知摄像头10的水平视角大于等于160度，垂直视角大于等于100度。
由于列车中的车厢的长度较长，为了实现监控需要一般需要对车厢实现全面覆盖，本申请对于感知摄像头10的数量以及设置位置不做限定。
一般每节所述车厢内的所述感知摄像头10的数量大于等6，所述边缘计算模块20的数量大于等于2，每个所述边缘计算模块20对应的所述感知摄像头10的数量小于等于3。
如在一个实施例中，每节所述车厢内的所述感知摄像头10的数量为6，所述边缘计算模块20的数量为2，每个所述边缘计算模块20对应3个所述感知摄像头10。
由于在本申请中需要采用边缘计算模块20处理感知摄像头10产生的图片或视频，对于数据传输方式等不做限定，在一个实施例中，所述边缘计算模块20通过POE对所述感知摄像头10进行所述图像数据信息数据水位采集与供电。
POE(Power Over Ethernet)指的是在现有的以太网Cat.5布线基础架构不作任何改动的情况下，在为一些基于IP的终端(如IP电话机、无线局域网接入点AP、网络摄像机等)传输数据信号的同时，还能为此类设备提供直流供电的技术。POE技术能在确保现有结构化布线安全的同时保证现有网络的正常运作，最大限度地降低成本。
即通采用POE技术，边缘计算模块20可以直接对感知摄像头10进行供电以及数据采集，对于感知摄像头10无需另外设置电源以及其它布线，使得边缘计算模块20与对应的感知摄像头10可以采用一体化设置，大大降低了安装成本与维护成本。
需要指出的，本申请中对于边缘计算模块20与感知摄像头10的对应数量以及连接关系不做限定，可以采用包括但是不局限于上述POE的连接方式。
本申请中对于感知摄像头10的安装位置不做限定，一般所述感知摄像头10、所述边缘计算模块20设置在所述车厢的客室活动门。
需要指出的是，虽然感知摄像头10、所述边缘计算模块20设置在所述车厢的客室活动门，但是主要适用于感知人物的行为，因此不能将其安装的高度过低，而且在客室活动门的移动中不能有遮挡或者损坏。
除此之外，在本申请中还可以将感知摄像头10安装在车厢侧壁的顶部，这样能够采用俯视的角度进行观察，而且不同的感知摄像头10可以安装在不同的位置，实现组合后就能够对指定的一片区域全覆盖，本申请对此不作限定。
在本申请中通过感知摄像头10进行数据采集后通过边缘计算模块20进行分析，但是分析的结果需要达到司机室，使得工作人员实施能够获取后采取措施，甚至是及时通知站台采取相应的操作，如在判断乘客发生打架斗殴之后需要通知警察，在发生意外晕倒等疾病之后，需要及时通过医生进行治疗等，在一个实施例中，所述控制模块30将所述图像数据信息、所述人物行为识别结果、所述警报信息通过通信模块发送到所述司机室、所述站台主机40以及云端服务器。
本申请对于通信模块的类型不做限定，由于需要通知的对象不同，因此可以采用不同的通信方式，而在信息发送的时候，可以采用同时向不同节点发送信息，即控制模块30同时向司机室和站台主机40发送信息，也可以是控制模块30先向司机室发送信息，然后司机室发生转发等，本申请对此不作限定，在一个实施例中，所述控制模块30将所述图像数据信息、所述人物行为识别结果、所述警报信息通过有线通信模块发送到所述司机室，通过4G通信模块或5G通信模块发送到所述站台主机40以及云端服务器。
由于在司机室工作人员不可能主动的实时查看控制模块30发送来的信息，否则工作量会过大，工作效率较低，为了解决这一技术问题，在一个实施例中，所述智能列车监控系统还包括设置在所述列车的司机室的活动门的司机室显示屏以及设置在所述司机室的驾驶台的喇叭，所述司机室显示屏用于显示从所述控制模块30获得的图像数据信息、所述人物行为识别结果、所述警报信息，所述喇叭用于根据所述警报信息发出声音警报。
通过设置司机室显示屏以及喇叭，工作人员获取异常行为的方式变得简单，如在某一节车厢发生异常行为之后，可以通过提示的方式，将其中对应的人物进行锁定和放大，同时喇叭也可以根据对应的判定的异常行为等级控制对应的声音输出量，如乘客一直对着摄像头说话、常客晕倒、乘客打架斗殴等，可以按照危险程度设置不同的级别，从而对应不同的显影措施。
本申请包括但不局限于采用上述的方式向驾驶员、监控人员以及站台工作人员进行异常行为的获取。
在本申请中，核心在于感知摄像头10获取图像信息，然后边缘计算模块20进行计算识别并输出识别结果，之后控制模块30根据识别结果发出不同的响应信息等，本申请对于边缘计算模块20的计算过程、采用的计算模型等不做限定，在一个实施例中，所述边缘计算模块20包括：
数据采集及标定单元，用于接收所述感知摄像头10获得的所述图像数据信息，对所述图像数据信息的图像按照预设规则进行标定；
OpenPose数据预处理单元，对所述图像数据信息的图像通过OpenPose标注人体的关节，连接成骨骼，提取人体关键点，生成骨骼特征图；
数据分类单元，根据分类指令将人物行为分为倒地、呼救、正常；
模型训练单元，对所述图像数据信息进行姿态估计并在骨骼序列上构建时空图，应用ST-GCN模块并在所述骨骼特征图上生成高级特征图，利用标准的Softmax分类器，将所述高级特征图分类到相应的操作类别中，并进行正则化再输入到batch normalization，通过训练获得训练模型；
人脸及行为综合分析判定单元，用于对所述高级特征图进行人脸识别后判定并给与唯一ID，将识别到人脸特征中心点及骨骼框架中心点结合最小欧式距离判定，使得所述高级特征图中内的行为与发生所述行为的人的ID对应；
识别单元，根据所述训练模型对所述高级特征图中人物进行人体动作识别进行输出人物行为识别结果。
优选的，所述ST-GCN模型由九层时空图卷积组成。前三层输出64通道数，中间三层输出128通道，后三层输出256层通道数。
在本申请的一个实施例中，车载设备中，客室内每节车厢安装6台感知摄像头10，2台边缘计算模块20，边缘计算模块20采用1托3的方式通过POE完成对感知摄像头10数据的采集与供电。每节车厢安装一台一体化控制单元的控制模块30完成数据的采集，通过有线的方式将数据发送至司机室屏幕及喇叭。除此之外，控制模块30通过4G的方式将数据推送至云端记录并转发至站务终端进行信息提示。
边缘计算模块20的识别包括：客室车厢内可完成乘客倒地行为识别，触发报警并将异常行为图片发送至司机室屏幕及云端及站台移动端；客室车厢内可完成乘客呼救行为识别，触发报警并将异常行为图片发送至司机室屏幕及云端及站台移动端。
感知摄像头10：航空插头连接的带POE供电的以太网接口；
边缘计算模块20：航空插头连接的以太网接口；
一体化控制单元的控制模块30：航空插头连接的以太网接口；DVI视频输出；音频输出；4G天线；
云端：阿里云通用型g6 2核8G。
车厢乘客异常行为检测系统，配备车厢图像采集和处理功能，单个视频图水平视角大于等于160°，垂直视角大于等于100°，视频图像采集延迟时间小于200ms，视频图像采集帧率大于等于20fps，支持同时48路视频的目标检测，技术方案主要包括数据采集标定、数据预处理、数据分类、模型训练、业务逻辑及数据显示部分。
数据采集及标定：车厢内搭载48台感知摄像头，实时进行数据采集，每头获取2T的数据，并在列车运行时分多人、多时段模拟异常倒地及呼救行为，车厢内异常情况数据与单帧图像数据相互独立，按照分钟高峰时刻300组每组100张，平峰时段共100组每组100张进行标定，累计标记数据供40000张。
OpenPose数据预处理：将采集的图片通过OpenPose标注人体的关节(颈部，肩膀，肘部等)，连接成骨骼，提取人体关键点，生成骨骼特征图。
数据分类：标签分为倒地(在摄像头可观测区肉眼可区分倒地情况)、呼救(乘客对准摄像头双手张开呼救)、正常行为(除上述情况外的其他行为)三种情况，结合OpenPose实际图像进行数据根类标定。
模型训练：分别将数据分为训练集、验证集、测试集，采用ST-GCN模型完成对人体行为识别的主题模型架构。
模型训练如下：
首先对视频进行姿态估计，并在骨骼序列上构建时空图。
之后其应用多层时空图卷积操作(ST-GCN)，并逐渐在图像上生成更高级的特征图。然后，利用标准的Softmax分类器，能将其分类到相应的操作类别中。同时将数据进行正则化在输入到batch normalization。ST-GCN模型由九层时空图卷积组成。
前三层输出64通道数，中间三层输出128通道，后三层输出256层通道数。一共有9个时间卷积核，在每一个ST-GCN使用残差链接，使用dropout进行特征正则化处理，将一半的神经元进行dropout处理。第4、7层的时间卷积层设置为poling层。
最后将输出的256个通道数的输出进行全局pooling,并由softmax进行分类。是由SGD进行优化，学习率设置为0.01，并每10个epoch迭代减小0.01。
由于地铁车厢环境较为复杂，高分期人群密度较大，容易出现误识别情况。为提升模型识别准确率降低误报造成的误识别影响，进行人脸行为综合分析身份绑定算法提升算法准确率。
首先进行人脸识别判定并给与唯一ID，并将识别到人脸特征中心点及骨骼框架中心点结合最小欧式距离判定，确定该行为与发生该动作的人为同一人同一ID，防止由于车厢密度较大造成的误识别情况具体情况如下：
通过感知摄像头将感知区域通过哈尔级联人脸定位器进行定位，并将识别人脸给与唯一ID。
结合人脸识别定位点，获取定位点矩形框四个角点(x1,y1),(x1,y2),(x2,y1),(x2,y2)的坐标中心计算点计算公式:
同时构建人体行为识别模型，人体关节点坐标，并根据在二维图像中所有关键点x，y极值，构建虚拟矩形框，并计算中心点坐标，公式同上。
计算完成后，将人脸识别中心点坐标，与所有人体结构中心点坐标进行欧式距离进行计算，获取距离最小值即为同一人，欧式距离计算公式如下：
将获取到的最小值的两点左边绑定为同一ID，降低误识别情况，提高识别精度。
识别流程中，在提取人体骨骼之后，使用每一帧每一个人体骨骼的2D坐标来表示骨骼序列。根据骨骼序列特征生成时空图，使用两步构建骨骼序列的时空图。
第一步，帧与帧之间的边表示人体对应骨骼点的时序关系；
第二步，在每一帧内部，按照人体的自然骨架连接关系构造空间图。
最后将时空图输入ST-GCN网络进行行为预测。通过ST-GCN网络对骨骼时空图进行预测，识别人体动作。
数据指标如下表格：
| 序号 | 性能指标 | 具体参数 |
| 1 | 图像采集延迟时间 | 小于200ms |
| 2 | 图像采集帧率 | 大于等于20fps |
| 3 | 异常行为识别准确率 | 无遮挡前提下大于99％ |
| 4 | 总体运算能力 | 不低于720tops |
一体化控制单元的控制模块负责全车异常行为信息汇总、分发、综合逻辑处理、控制流程触发。边缘计算模块使用英伟达公司芯片，为系统提供大容量运算能力。系统数据存储容量不低于8TB。边缘计算模块将识别结果通过UDP协议分发至一体化控制单元，分发数据包包括摄像头ID、图片信息、警报数据，通过DVI连接司机是屏幕完成数据显示，同时系统提供统一的车地和车间传输网络将数据通过4G发送至站务人员管理端，车地网络平均传输延时不超过3s。
综上所述，本发明实施例提供的智能列车监控系统，通过设置感知摄像头采集乘客的图像数据信息，经过边缘计算模块事先乘客的人物行为识别结果，实现对乘客异常情况影响自身及他人安全时的有效及时反馈，提高乘客的乘车安全型。
以上对本发明所提供的智能列车监控系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种智能列车监控系统，其特征在于，包括安装在列车的车厢内的多台感知摄像头、边缘计算模块、控制模块和站台主机，所述感知摄像头对所述车厢内进行图像数据采集获得所述车厢内的图像数据信息之后发送到所述边缘计算模块，所述边缘计算模块对所述图像数据信息中的人物的行为状态进行识别并向所述控制模块输出人物行为识别结果，所述控制模块控制所述感知摄像头采集所述图像数据信息以及接收所述边缘计算模块输出的人物行为识别结果并在判定所述人物行为识别结果为异常行为后，向所述站台主机以及所述列车的司机室发送警报信息。
2.如权利要求1所述智能列车监控系统，其特征在于，所述感知摄像头的水平视角大于等于160度，垂直视角大于等于100度。
3.如权利要求2所述智能列车监控系统，其特征在于，每节所述车厢内的所述感知摄像头的数量大于等6，所述边缘计算模块的数量大于等于2，每个所述边缘计算模块对应的所述感知摄像头的数量小于等于3。
4.如权利要求3所述智能列车监控系统，其特征在于，所述边缘计算模块通过POE对所述感知摄像头进行所述图像数据信息数据水位采集与供电。
5.如权利要求4所述智能列车监控系统，其特征在于，所述感知摄像头、所述边缘计算模块设置在所述车厢的客室活动门。
6.如权利要求5所述智能列车监控系统，其特征在于，所述控制模块将所述图像数据信息、所述人物行为识别结果、所述警报信息通过通信模块发送到所述司机室、所述站台主机以及云端服务器。
7.如权利要求6所述智能列车监控系统，其特征在于，所述控制模块将所述图像数据信息、所述人物行为识别结果、所述警报信息通过有线通信模块发送到所述司机室，通过4G通信模块或5G通信模块发送到所述站台主机以及云端服务器。
8.如权利要求7所述智能列车监控系统，其特征在于，还包括设置在所述列车的司机室的活动门的司机室显示屏以及设置在所述司机室的驾驶台的喇叭，所述司机室显示屏用于显示从所述控制模块获得的图像数据信息、所述人物行为识别结果、所述警报信息，所述喇叭用于根据所述警报信息发出声音警报。
9.如权利要求8所述智能列车监控系统，其特征在于，所述边缘计算模块包括：
数据采集及标定单元，用于接收所述感知摄像头获得的所述图像数据信息，对所述图像数据信息的图像按照预设规则进行标定；
OpenPose数据预处理单元，对所述图像数据信息的图像通过OpenPose标注人体的关节，连接成骨骼，提取人体关键点，生成骨骼特征图；
数据分类单元，根据分类指令将人物行为分为倒地、呼救、正常；
模型训练单元，对所述图像数据信息进行姿态估计并在骨骼序列上构建时空图，应用ST-GCN模块并在所述骨骼特征图上生成高级特征图，利用标准的Softmax分类器，将所述高级特征图分类到相应的操作类别中，并进行正则化再输入到batch normalization，通过训练获得训练模型；
人脸及行为综合分析判定单元，用于对所述高级特征图进行人脸识别后判定并给与唯一ID，将识别到人脸特征中心点及骨骼框架中心点结合最小欧式距离判定，使得所述高级特征图中内的行为与发生所述行为的人的ID对应；
识别单元，根据所述训练模型对所述高级特征图中人物进行人体动作识别进行输出人物行为识别结果。
10.如权利要求9所述智能列车监控系统，其特征在于，所述ST-GCN模型由九层时空图卷积组成。前三层输出64通道数，中间三层输出128通道，后三层输出256层通道数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110098810.5A CN112766192A (zh) | 2021-01-25 | 2021-01-25 | 一种智能列车监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110098810.5A CN112766192A (zh) | 2021-01-25 | 2021-01-25 | 一种智能列车监控系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112766192A true CN112766192A (zh) | 2021-05-07 |
Family
ID=75707234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110098810.5A Pending CN112766192A (zh) | 2021-01-25 | 2021-01-25 | 一种智能列车监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766192A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205056A (zh) * | 2021-05-12 | 2021-08-03 | 延边国泰新能源汽车有限公司 | 一种基于公共安全问题的主动图像识别预警系统及其处理方法 |
| CN113435368A (zh) * | 2021-06-30 | 2021-09-24 | 青岛海尔科技有限公司 | 监控数据的识别方法和装置、存储介质及电子装置 |
| CN113765216A (zh) * | 2021-07-21 | 2021-12-07 | 深圳供电局有限公司 | 配电设备的监测方法、装置、系统和存储介质 |
| CN114137634A (zh) * | 2021-12-07 | 2022-03-04 | 中兴飞流信息科技有限公司 | 一种基于雷达视频融合的站台端头入侵检测方法及系统 |
| CN114627575A (zh) * | 2022-03-01 | 2022-06-14 | 广东车卫士信息科技有限公司 | 一种具有事故报警系统的多功能行车记录仪 |
| CN115051990A (zh) * | 2022-06-28 | 2022-09-13 | 慧之安信息技术股份有限公司 | 一种基于边缘计算的地铁站监控方法 |
| CN115641570A (zh) * | 2022-12-26 | 2023-01-24 | 中国汽车技术研究中心有限公司 | 驾驶行为确定方法、装置、电子设备和存储介质 |
| CN116740821A (zh) * | 2023-08-16 | 2023-09-12 | 南京迅集科技有限公司 | 基于边缘计算的智能车间控制方法和系统 |
| TWI838085B (zh) * | 2023-01-16 | 2024-04-01 | 神達數位股份有限公司 | 用於提升使用者搭乘安全性之智慧交通載具 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597974A (zh) * | 2020-05-14 | 2020-08-28 | 哈工大机器人（合肥）国际创新研究院 | 一种基于tof相机车厢内人员活动的监控方法及系统 |
| CN111652124A (zh) * | 2020-06-02 | 2020-09-11 | 电子科技大学 | 一种基于图卷积网络的人体行为识别模型的构建方法 |
| CN111754368A (zh) * | 2020-01-17 | 2020-10-09 | 天津师范大学 | 一种高校教学评估方法及基于边缘智能的高校教学评估系统 |
| CN112001514A (zh) * | 2020-08-19 | 2020-11-27 | 交控科技股份有限公司 | 智能乘客服务系统 |
| CN112183317A (zh) * | 2020-09-27 | 2021-01-05 | 武汉大学 | 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法 |
| CN112183153A (zh) * | 2019-07-01 | 2021-01-05 | 中国移动通信集团浙江有限公司 | 一种基于视频分析的对象行为检测方法及装置 |
-
2021
- 2021-01-25 CN CN202110098810.5A patent/CN112766192A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183153A (zh) * | 2019-07-01 | 2021-01-05 | 中国移动通信集团浙江有限公司 | 一种基于视频分析的对象行为检测方法及装置 |
| CN111754368A (zh) * | 2020-01-17 | 2020-10-09 | 天津师范大学 | 一种高校教学评估方法及基于边缘智能的高校教学评估系统 |
| CN111597974A (zh) * | 2020-05-14 | 2020-08-28 | 哈工大机器人（合肥）国际创新研究院 | 一种基于tof相机车厢内人员活动的监控方法及系统 |
| CN111652124A (zh) * | 2020-06-02 | 2020-09-11 | 电子科技大学 | 一种基于图卷积网络的人体行为识别模型的构建方法 |
| CN112001514A (zh) * | 2020-08-19 | 2020-11-27 | 交控科技股份有限公司 | 智能乘客服务系统 |
| CN112183317A (zh) * | 2020-09-27 | 2021-01-05 | 武汉大学 | 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周成尧等: "城市轨道交通智能列车乘客服务系统研究", 《现代城市轨道交通》, pages 20 - 26 * |
| 聂玮;曹悦;朱冬雪;朱艺璇;黄林毅;: "复杂监控背景下基于边缘感知学习网络的行为识别算法", 计算机应用与软件, no. 08 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205056A (zh) * | 2021-05-12 | 2021-08-03 | 延边国泰新能源汽车有限公司 | 一种基于公共安全问题的主动图像识别预警系统及其处理方法 |
| CN113205056B (zh) * | 2021-05-12 | 2023-08-22 | 延边国泰新能源汽车有限公司 | 一种基于公共安全问题的主动图像识别预警系统及其处理方法 |
| CN113435368A (zh) * | 2021-06-30 | 2021-09-24 | 青岛海尔科技有限公司 | 监控数据的识别方法和装置、存储介质及电子装置 |
| CN113435368B (zh) * | 2021-06-30 | 2024-03-22 | 青岛海尔科技有限公司 | 监控数据的识别方法和装置、存储介质及电子装置 |
| CN113765216A (zh) * | 2021-07-21 | 2021-12-07 | 深圳供电局有限公司 | 配电设备的监测方法、装置、系统和存储介质 |
| CN114137634A (zh) * | 2021-12-07 | 2022-03-04 | 中兴飞流信息科技有限公司 | 一种基于雷达视频融合的站台端头入侵检测方法及系统 |
| CN114627575A (zh) * | 2022-03-01 | 2022-06-14 | 广东车卫士信息科技有限公司 | 一种具有事故报警系统的多功能行车记录仪 |
| CN115051990A (zh) * | 2022-06-28 | 2022-09-13 | 慧之安信息技术股份有限公司 | 一种基于边缘计算的地铁站监控方法 |
| CN115641570A (zh) * | 2022-12-26 | 2023-01-24 | 中国汽车技术研究中心有限公司 | 驾驶行为确定方法、装置、电子设备和存储介质 |
| TWI838085B (zh) * | 2023-01-16 | 2024-04-01 | 神達數位股份有限公司 | 用於提升使用者搭乘安全性之智慧交通載具 |
| CN116740821A (zh) * | 2023-08-16 | 2023-09-12 | 南京迅集科技有限公司 | 基于边缘计算的智能车间控制方法和系统 |
| CN116740821B (zh) * | 2023-08-16 | 2023-10-24 | 南京迅集科技有限公司 | 基于边缘计算的智能车间控制方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766192A (zh) | 一种智能列车监控系统 | |
| CN111507308B (zh) | 一种基于视频识别技术的变电站安全监控系统及方法 | |
| CN108216252B (zh) | 一种地铁司机车载驾驶行为分析方法、车载终端及系统 | |
| EP4105101A1 (en) | Monitoring system, monitoring method, and monitoring device for railway train | |
| CN112686090B (zh) | 一种公交车内异常行为智能监控系统 | |
| CN108629963A (zh) | 基于卷积神经网络的交通事故上报方法及系统、车载终端 | |
| CN109935080B (zh) | 一种交通线路上的车流量实时计算的监测系统及方法 | |
| CN103294775A (zh) | 基于地理时空约束的警务云图像识别车辆管控系统 | |
| CN110110960A (zh) | 一种商用车智能风控平台 | |
| CN107316542A (zh) | 一种应用于驾考、驾培的车载控制装置及系统 | |
| CN104835007A (zh) | 一种网格化智能联动型校园安全管理整合系统 | |
| CN113705372A (zh) | 一种应用于配网作业现场违章的ai识别系统 | |
| CN108549862A (zh) | 异常场景检测方法及装置 | |
| CN111488803A (zh) | 一种融合目标检测和目标跟踪的机场目标行为理解系统 | |
| CN105427582A (zh) | 一种公交线路的智能管理方法 | |
| CN112911233A (zh) | 一种智能列车系统 | |
| CN107395757A (zh) | 基于acp方法和社会物理信息系统的平行车联网系统 | |
| CN112686130B (zh) | 一种智慧渔船监管决策系统 | |
| CN113788050B (zh) | 一种轨道交通行车指挥系统及二三维数据呈现方法 | |
| CN113922502B (zh) | 一种智能视频运维管理系统及管理方法 | |
| CN113955594A (zh) | 一种电梯控制方法、装置、计算机设备和存储介质 | |
| CN109887303A (zh) | 随意变更车道行为预警系统及方法 | |
| CN116893386B (zh) | 基于深度学习图像识别的电能表装接工艺检测装置及方法 | |
| CN113256247A (zh) | 一种基于三维实景的智慧园区管理系统及计算机存储介质 | |
| CN111241918A (zh) | 一种基于人脸识别的车用防跟踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |