CN112686090B - 一种公交车内异常行为智能监控系统 - Google Patents
一种公交车内异常行为智能监控系统 Download PDFInfo
- Publication number
- CN112686090B CN112686090B CN202011218770.5A CN202011218770A CN112686090B CN 112686090 B CN112686090 B CN 112686090B CN 202011218770 A CN202011218770 A CN 202011218770A CN 112686090 B CN112686090 B CN 112686090B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- abnormal
- behavior
- detection
- abnormal behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 103
- 238000012544 monitoring process Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 101
- 230000002159 abnormal effect Effects 0.000 claims abstract description 90
- 230000005856 abnormality Effects 0.000 claims abstract description 24
- 238000007405 data analysis Methods 0.000 claims abstract description 10
- 230000006399 behavior Effects 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 5
- 206010048232 Yawning Diseases 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 241001282135 Poromitra oscitans Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供了一种公交车内异常行为智能监控系统，包括以下步骤：S1、构建车辆异常行为库和异常物品库；S2、构建视频数据采集模块；S3、构建视频数据分析模块；S4、构建车辆异常预警模块。本发明通过在公交车车厢内安装摄像头获取车内的视频信息，并基于此信息实现人脸检测、人数估计、异常行为检测、异常物品检测、异常警报等，有效地解决了传统视频监控系统不能够实时监控并判别异常行为的问题。
Description
技术领域
本发明涉及一种公交车内异常行为智能监控系统，属于智能车联网技术领域。
背景技术
面对公交车内的突发安全事件，仅依靠驾驶员或乘客主动报警是不够完善的。对于驾驶员的危害公共安全行为和乘客的妨碍安全驾驶行为，需对其进行实时监督并适时发出警报。然而，传统的视频监控系统仅具备简单的监控、存储等功能，需要在视频上传后人工对其进行观看，这极大地消耗了人力和资源，而且人工观看监控难免会出现遗漏和失误。若能够利用智能视频监控技术并配合通讯技术进行自动报警，便能够大大降低事故发生的风险，更快速地处理紧急突发事件，有效保证驾驶员和群众的生命财产安全。
综上所述，如何提出一种实时的车载智能监控系统判别车内人员出现的异常行为并进行有效的预警，是目前本领域亟待解决的问题。
发明内容
1、发明要解决的技术问题
针对现有技术中公交车内车载视频监控的不足，本发明提供一种公交车内异常行为智能监控系统，以解决现有技术中不能实时自动识别公交车内异常行为和根据异常情况主动报警的问题。
2、技术方案
为解决上述问题，本发明提供的技术方案为：
一种公交车内异常行为智能监控系统，包括
车载终端；
对象层，包括有车辆异常行为库和异常物品库；
采集层，包括有视频数据采集模块，所述视频数据采集模块用于根据车辆车厢内的空间信息建立模型，划分区域并安装摄像头，通过角度调整和相机标定采集车厢内各个位置的视频数据；
分析层，包括有视频数据分析模块，所述视频数据分析模块利用深度神经网络对采集的视频数据进行人脸检测、人头检测、异常行为检测，获取车辆内异常行为信息；
终端决策层，包括有车辆异常预警模块，所述车辆异常预警模块结合车辆行驶信息，对车辆内异常行为进行分级预警，对于不同的预警级别发出不同的提示信息并做出紧急报警措施；
云端决策层，包括有终端服务器和车辆异常事件响应模块，所述车辆异常事件响应模块检测到车辆内异常行为后，对车辆下发紧急处理指令。
其中，对象层中，异常行为库和异常物品库可以根据实际情况进行拓展，通过在训练异常检测算法的过程中增加异常行为的样本，以此增加可以判别的异常行为的种类；
采集层中，单个摄像头可对目标进行异常检测和定位，多个摄像头可对同一目标联合检测并跟踪，多角度地采集了车内的视频信息，有效提升了异常行为检测的准确率；
分析层中，多个异常检测算法被应用于不同的摄像头，全方位的监测了车厢内各类人员和物品的实时信息；
终端决策层中，通过结合车速信息、路况信息、路况信息等，通过当前出现的异常行为计算当前车辆的异常积分，再根据制定的异常预警规则，判别当前车辆的异常警报等级，做出相应的异常响应；
云端决策层中，在接收到了终端报警信号后，经过人工商讨并决策做出异常事件紧急处理，下发相应的紧急处理指令。
优选地，所述视频数据采集模块根据车辆车厢内的空间信息进行建模，设计车厢内多个摄像头的安装位置和角度；通过相机标定技术，实现世界坐标系与图像坐标系之间的转换，并对车厢空间进行区域划分；通过应用嵌入式设备，实现单帧图像在视频流中的提取，进而采集车厢内各个位置的视频数据。
优选地，所述视频数据分析模块功能包括：通过对输入视频流的人脸检测并跟踪，筛选出最佳质量的人脸图片，并上传人脸图片进行保存；训练乘客异常行为检测网络，通过提取车厢空间内乘客的特征进行分类，从而获得乘客行为的类别；训练驾驶员异常行为检测网络，通过采集驾驶员正常驾驶时的行为的图片并制作标签对图像数据进行标注，利用标注数据对网络进行训练，网络对输入的视频流进行提取关键帧检测，实现驾驶员的行为识别；训练可疑物品检测网络，通过采集违禁物品的图片，对目标检测网络进行训练，在应用时将视频流输入可疑物品检测网络，判断每帧图片中是否包含可疑物品，若检测到可疑物品，则输出物品所在位置信息和类别置信度；异常视频的保存与上传，建立异常行为视频记录库和异常报警记录库。
优选地，车辆异常预警模块结合车辆行驶信息设计积分预警机制，构造车辆危险指数函数；根据计算出的危险指数和异常检测结果，对车辆内异常行为进行分级预警，不同级别警报对应不同的提醒方式和处理策略。
优选地，所述异常积分预警机制包括：
采集当前车辆的行驶速度、车辆所属的地理位置、驾驶员的异常行为、乘客的异常行为和可疑物品的出现情况；
对采集的路况和行为信息进行量化，对车内的异常检测情况进行评估，构建车辆危险指数函数；
对车辆内的异常情况划分等级进行报警，对于不同级别的警报，做出不同的响应方式。
优选地，计算车辆的危险指数函数包括：
其中，R表示某一时刻车辆的危险指数；v表示车辆当前时刻的运行速度；r表示车辆当前行驶的路况所对应的积分；Dactivityi表示驾驶员的第i种行为所对应的异常得分；Pactivityj表示乘客的第j种行为的异常得分；α为车辆速度的权重；β为车辆行驶路况的权重；η为驾驶员异常得分的权重；μ为乘客异常得分的权重。
优选地，所述车辆异常事件响应模块包括如下功能：
接收到车载终端发出的报警指令，并根据情况发出异常事件处理指令；
指令通过交互服务器传送到车载终端，由车载终端发出控制信号，连接车辆厢内的软硬件设备执行下发的减速迫停指令、远程破窗指令和远程开门指令；
在执行完下发的指令后，车载终端通过服务器向平台端发出反馈信号，确认任务完成。
有益效果
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
通过在公交车车厢内安装摄像头获取车内的视频信息，并基于此信息实现人脸检测、人数估计、异常行为检测、异常物品检测、异常警报等，有效地解决了传统视频监控系统不能够实时监控并判别异常行为的问题。此外，本发明提出的车辆异常行为预警机制有效地解决了异常行为判别中出现的误检和漏检情况，提升了异常行为报警的准确率，降低了异常事件的误报率，更好地规避了车辆行驶中异常行为带来的风险。
附图说明
图1为本发明的框架图；
图2为视频采集模块的流程图；
图3为视频分析模块的示意图；
图4为视频检测算法的流程图；
图5为人脸检测算法的流程图；
图6为目标检测算法的流程图；
图7为乘客异常行为检测算法的流程图；
图8为车辆异常预警机制示意图。
具体实施方式
为进一步了解本发明的内容，结合附图1-8及实施例对本发明作详细描述。
本发明提供一种公交车内异常行为智能监控系统及方法，其中方法主要包括以下步骤：
S1、建立车辆异常行为库和异常物品库；
S2、构建视频数据采集模块：根据车辆(公交车)车厢内的空间信息建立模型，划分区域并安装摄像头，通过角度调整和相机标定采集车厢内各个位置的视频数据；
S3、构建视频数据分析模块：利用深度神经网络对采集的视频数据进行人脸检测、人头检测、异常行为检测，获取车辆内异常行为信息；
S4、构建车辆异常预警模块：结合车辆行驶信息，对车辆内异常行为进行分级预警，对于不同的预警级别发出不同的提示信息并做出紧急报警措施；
S5、构建公交异常事件响应模块：检测到车辆内异常行为后，对车辆下发紧急处理指令。
优选的，车辆异常行为库包括乘客异常行为库和驾驶员异常行为库。
优选的，构建乘客异常行为库时，乘客异常行为包括：区域入侵、徘徊、越界、快速移动、打斗、摔倒、聚集。
优选的，构建驾驶员异常行为库时，驾驶员异常行为包括：驾驶员在公共交通工具行驶过程中，抽烟、打电话、超速驾驶、闭眼超过T1秒、T2分钟内打哈欠超过X次、与乘客厮打、违规操作、擅离职守。
优选的，构建异常物品库时，异常物品包括管制刀具、枪支、体积过于巨大的物品、尖锐物品。
优选的，构建视频数据采集模块时，包括：
S21、根据车辆车厢内的空间信息进行建模，设计车厢内多个摄像头的安装位置和角度；
S22、通过相机标定技术，实现世界坐标系与图像坐标系之间的转换，同时，对车厢空间进行区域划分；
S23、通过应用嵌入式设备，实现单帧图像在视频流中的提取，进而采集车厢内各个位置的视频数据。
优选的，构建视频数据分析模块时，包括：
S31、训练人脸检测网络，对输入视频流的人脸检测并跟踪，筛选出最佳质量的人脸图片，并上传人脸图片进行保存；
S32、训练乘客异常行为检测网络，通过提取车厢空间内乘客的特征进行分类，获得乘客行为的类别；
S33、训练驾驶员异常行为检测网络，通过采集驾驶员正常驾驶和抽烟、喝水、打哈欠等行为的图片并制作标签对图像数据进行标注，利用标注数据对网络进行训练，网络对输入的视频流进行提取关键帧检测，实现驾驶员的行为识别；
S34、训练可疑物品检测网络，通过采集多种违禁物品的图片，对目标检测网络进行训练，在应用时将视频流输入可疑物品检测网络，判断每帧图片中是否包含可疑物品，若检测到可疑物品，则输出物品所在位置信息和类别置信度；
S35、异常视频的保存与上传，建立异常行为视频记录库和异常报警记录库。
优选的，构建车辆异常预警模块时，包括：
S41、结合车辆行驶信息设计积分预警机制，构造车辆危险指数函数；
S42、根据计算出的危险指数和异常检测结果，对车辆内异常行为进行分级预警，不同级别警报对应不同的提醒方式和处理策略。
优选的，车辆的异常积分预警机制包括：
采集当前车辆的行驶速度、车辆所属的地理位置、驾驶员的异常行为、乘客的异常行为和可疑物品的出现情况；
对采集的路况和行为信息进行量化，对车内的异常检测情况进行评估，构建车辆危险指数函数；
对车内的异常情况划分等级进行报警，分为一级警报、二级警报和三级警报。对于不同级别的警报，终端的响应方式不同，一级警报，仅提醒驾驶员注意车内存在异常情况；二级警报，提醒驾驶员同时提示其是否需要报警；三级警报，不用征求驾驶员意见直接报警。
优选的，计算车辆的危险指数函数包括：
其中，R表示某一时刻车辆的危险指数，该值越高，车辆内出现风险的可能性越大。v表示车辆当前时刻的运行速度，r表示车辆当前行驶的路况所对应的积分，Dactivityi表示驾驶员的第i种行为所对应的异常得分，Pactivityj表示乘客的第j种行为的异常得分，α为车辆速度的权重，β为车辆行驶路况的权重，η为驾驶员异常得分的权重，μ为乘客异常得分的权重。考虑不同环境不同异常事件的影响不同，可视情况对α、β、η、μ进行取值。
优选的，车辆异常事件响应模块，包括：
S51、接收到车载终端发出的报警指令，并根据情况发出异常事件处理指令；
S52、指令通过交互服务器传送到车载终端，由车载终端发出控制信号，连接车辆厢内的软硬件设备执行下发的减速迫停指令、远程破窗指令和远程开门指令等。
S53、在执行完下发的指令后，车载终端通过服务器向平台端发出反馈信号，确认任务完成。
本发明的一种公交车内异常行为智能监控装置，组成如下：
对象层，包括异常行为库及异常物品库：对公交车内的乘客异常行为、驾驶员异常行为及可疑物品等进行定义，建立公交车异常行为库和异常物品库；
其中，乘客异常行为主要包括：在公共交通工具行驶过程中，抢夺方向盘、变速杆等操纵装置，殴打、拉拽驾驶人员；随意殴打其他乘客，追逐、辱骂他人，或者起哄闹事等。结合这些行为引发的后果并落实到具体的动作可对乘客异常行为做出如下定义，即乘客异常行为库包括：区域入侵、徘徊、越界行为、快速移动行为、打斗行为、摔倒行为、聚集行为等。
对于驾驶员异常行为做出如下定义，驾驶员异常行为库包括：驾驶人员在公共交通工具行驶过程中，抽烟、打电话、超速驾驶、闭眼超过2秒、5分钟内打哈欠超过3次、与乘客厮打、互殴、违规操作或者擅离职守等。
异常物品包括枪支、弹药、管制刀具或者爆炸性、易燃性、放射性、毒害性、腐蚀性物品。异常物品库包括：管制刀具、枪支、体积过于巨大物品和尖锐物品等。
以上异常行为库和异常物品库可以根据实际环境的需要进行改进和扩充。
视频数据采集模块：根据公交车车厢内的空间信息进行建模，设计车内多个摄像头的安装位置和角度，通过相机标定，多相机联合的方式共同对车厢内的人、物进行检测；并将采集的视频数据送入车载终端，利用嵌入式设备的计算和处理功能，对获取的图像数据进行分析和识别。
具体的，在获取公交车厢的形状、大小、空间等信息后，对车辆内部空间进行建模，针对车厢空间将车内划分为多个区域，包括驾驶员操作区、乘客上车区、乘客下车区、车厢前部、车厢后部。分别在这五个区域内安装摄像头，本发明采用的是单目红外可见光摄像头，经过多次调整摄像机的角度后，为确定车厢内目标表面某点的三维几何位置与其在图像中对应点之间的相互关系，需分别对每个摄像机进行标定，利用张正友标定法分别对相机进行标定，建立相机成像的几何模型，获取相机的内部和外部参数和畸变系数，从而建立世界坐标系与图像坐标系之间的转换关系。
车厢内每个摄像头均可对其视野范围内的目标进行检测和识别。基于单摄像头的多目标跟踪系统由于自身的局限性，不可避免的存在摄像头视野有限、不能对目标进行全程跟踪、难以解决目标遮挡等问题。而基于多摄像头的多目标跟踪系统可以利用多摄像头的优势较好的解决这些问题。多摄像头协同跟踪阶段，采用基于平面单应性、极线几何约束和摄像机重叠区域约束的目标一致性标定方法，对不同摄像头之间的目标进行映射，从而方便地实现多摄像头融合和协同跟踪。此外，借助于目标检测网络与典型人员数据库，对多摄像头中的目标进行匹配，可大大提高再识别的精度。
将摄像头采集的视频数据分别输入到车载终端Jetson Xavier NX进行处理，将视频流分别输入相应的异常行为检测网络，以获取异常检测的结果。
对于单帧图像，嵌入式设备通过调用底层V4L2驱动库实现从图像采集卡中读取视频流。算法设计从内存分配的角度出发，构建临时FIFO队列用于存储视频流的每一帧图像。由底层V4L2库传递的视频流，首先进行标号，伸缩变换尺寸，转换帧格式等步骤，然后存入队列中，等待检测网络的读取。因为检测网络的处理速度(12帧每秒)小于视频流的帧率(30帧每秒)，所以采用隔帧抽取的方法，适当丢弃多余帧，以保证队列不会溢出。
视频数据分析模块：
①人脸检测与人数估计算法：通过摄像头采集人体面部信息，并利用人脸检测算法和跟踪算法筛选出最佳质量的人脸图片，保存并上传终端服务器，将人脸图片与终端内的人脸数据库进行对比判断是否有可疑人员，同时计算出上车人数。
具体的，可以将乘客上车处摄像头采集的视频数据输入人脸检测网络，对于输入的每一帧图片，在通用目标检测方法的基础上，利用改进的one-stage人脸检测框架对图像中的人脸检测和定位；在检测到人脸后，利用检测出的方框进一步检测出人脸的5个关键点，包括两眼中心、鼻尖和两个嘴角，之后利用关键点提取人体的面部特征，实现对人脸信息进行质量判断，并利用核相关滤波算法实现人脸跟踪，以便筛选出这个目标人员最优的人脸图片，保存并上传到交互服务器用于与平台的人脸数据库对比和上车乘客的记录。同时，监测上车的人数，为车厢内的人数估计奠定基础。利用目标检测网络训练人头目标的相关图片，从而获得人头检测网络，将乘客下车处摄像头采集的视频数据输入人头检测网络，用于检测下车的人数。根据检测到的上下车的人数来估计车厢内现有的人数。
②异常行为检测算法：该部分包括乘客异常行为检测算法、驾驶员异常行为检测算法和异常物品的检测算法，利用异常行为检测算法对输入视频流进行检测，获得检测目标的异常情况；
具体的，包含3个部分：
第一部分为驾驶员异常行为检测。本实施例中，驾驶员行为检测部分包括疲劳驾驶检测和注意力分散检测，例如采集驾驶员正常驾驶和抽烟、喝水、打哈欠等行为的图片，对每张图片中的驾驶员、香烟、水瓶、手机等通讯设备进行标注并制作标签，用于深度神经网络模型的训练，将10万张经过处理的图片输入yolo目标检测网络，通过预处理、推断、计算损失等步骤对检测网络进行训练，获得较为合适的模型参数；在测试阶段将视频流输入训练好的网络中，检测图像中是否存在训练的物品，从而获得驾驶员的位置信息和行为信息。
第二部分为乘客异常行为检测。本实施例中，乘客异常检测部分包括乘客的跌倒行为检测、快速移动行检测、人群聚集行为检测及打斗行为检测等，例如收集乘客摔倒、聚集、快速移动、打斗等行为的视频，经过处理和筛选后制作数据集，并划分出训练集和测试集，在输入图像序列后，应用自下而上的人体姿态估计算法检测出每个人体目标的18个骨骼关键点，对于连续多帧图像，构造骨骼关键点序列，利用卷积神经网络构造异常检测网络学习骨骼序列的特征，并实现这些行为的分类判别。在应用阶段，通过人体姿态估计算法检测多个目标乘客，并通过目标跟踪算法对人体目标进行跟踪，之后利用异常检测算法，判别乘客是否发生打斗、摔倒、快速移动等行为。由于输入视频帧频率足够高、实时性强，为满足公交车内算法实时检测的要求，此处跟踪算法选择IOU tracker，通过计算前后两帧检测框的重合度判断二者是否为同一目标，并对连续多帧图像中的骨骼点进行匹配，获取多人的骨骼序列和编号。最后，分别将多个人体目标的骨骼序列输入训练好的卷积神经网络进行异常行为的判别，输出异常行为的种类和具体的异常人员的编号。
第三部分为可疑物品检测，通过采集多种违禁物品的图片，对这些图片进行标注和制作标签，将处理后的图片输入yolo目标检测网络，对yolo进行训练，获得合适的模型参数。在应用时将视频流输入可疑物品检测网络，判断每帧图片中是否包含可疑物品，若检测到可疑物品，则输出物品所在位置信息和所属种类的概率，即类别置信度。
③异常视频存储与上传：将包含异常行为的视频截取并存储，自动上传到服务器；建立异常警报数据库，记录车辆的异常报警日志。
具体的，可以在检测到视频内出现异常情况后，保留出现异常的帧和视频段并通过交互服务器上传到平台，告知有关部门。在平台端建立异常警报数据库，用于记录车辆的异常信息和报警日志。
车辆异常预警模块：结合车辆行驶信息(包括车速、位置、路况等信息)，设计积分预警机制，对车内异常行为进行分级预警，对于不同的预警级别发出不同的提示信息并做出紧急报警措施；
具体的，在通过前述检测模块之后，根据车厢内的视频分析情况对公交车的危险性进行评分包括：采集当前车辆的行驶速度、车辆所属的地理位置、驾驶员的异常行为、乘客的异常行为和可疑物品的出现情况。同时，需要将路况信息量化，如正常路段对应积分60，事故高发路段对应积分90，根据一般事故发生的实际情况对公交车的风险进行评估，若公交车运行一个周期的时间为[T1,T2]，公交车的危险指数表示为：
其中，R表示某一时刻公交车的危险指数，该值越高，公交车内出现风险的可能性越大。v表示车辆当前时刻的运行速度，r表示车辆当前行驶的路况所对应的积分，Dactivityi表示驾驶员的第i种行为所对应的异常得分，Pactivityj表示乘客的第j种行为的异常得分，α为车辆速度的权重，β为车辆行驶路况的权重，η为驾驶员异常得分的权重，μ为乘客异常得分的权重。考虑不同环境不同异常事件的影响不同，可视情况对α、β、η、μ进行取值。
由于刀具、枪支类异常物品具有较大的危险性，因此对于异常物品模块进行单独预警，若检测到的异常物品的类别置信度大于设置的阈值，则直接发出警报。
为节约人力和准确判断公交车内出现的情况，可将车厢内的异常情况划分等级，并实现多等级多方式的异常报警，根据计算出的危险指数，设置一级警报、二级警报和三级警报。对于不同级别的警报，终端的响应方式不同，一级警报，仅提醒驾驶员注意车内存在异常情况；二级警报，提醒驾驶员同时提示其是否需要报警；三级警报，不用驾驶员同意直接报警。
车辆异常事件响应模块：在检测到公交车内异常行为后，云端平台通过交互服务器可以对车辆下发无线指令，迫使车辆破窗、开门、紧急停车等。
具体的，当平台端收到车载终端发出的报警信号后，根据情况发出异常事件处理指令，指令通过交互服务器传送到车载终端，再由车载终端发出控制信号，连接公交车厢内的软硬件设备执行下发指令，主要包括减速迫停指令、远程破窗指令和远程开门指令。在执行完下发的指令后，车载终端通过服务器向平台端发出反馈信号，确认任务完成。
本实施例中，视频采集设备是单目红外可见光摄像头，多个摄像头分布在车厢的各个位置，在车载终端中将多个视频流中的数据进行融合，利用多摄像头同时追踪车厢内同一个目标的运动，多角度地实现目标的异常行为判别。
本实施例中，由于在边缘端处理视频数据需要强大的计算能力，因此车载终端选择外形较小的人工智能超级计算机，如Jetson Xavier NX，该设备在嵌入式系统和边缘系统的应用极大地提升了处理视频数据的速度。同时，设备具有大容量存储能力，能够实现检测数据的本地存储，设备具有无线通信和应急通信能力，可保证报警信号和云端指令的实时传输。
本实施例具有以下优点：
在对象层中，异常行为库和异常可以根据实际情况进行拓展，通过在训练异常检测算法的过程中增加异常行为的样本，以此增加可以判别的异常行为的种类。
采集层中，单个摄像头可对目标进行异常检测和定位。此外，多个摄像头可对同一目标联合检测并跟踪，多角度地采集了车内的视频信息，有效提升了异常行为检测的准确率。
分析层中，多个异常检测算法被应用于不同的摄像头，全方位的监测了车厢内各类人员和物品的实时信息。
终端决策层中，通过结合车速信息、路况信息、路况信息等，通过当前出现的异常行为计算当前车辆的异常积分，再根据制定的异常预警规则，判别当前车辆的异常警报等级，做出相应的异常响应。
云端决策层中，在接收到了终端报警信号后，经过人工商讨并决策做出异常事件紧急处理，下发相应的紧急处理指令，包括一键破窗、一键迫停、一键开门等。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (3)
1.一种公交车内异常行为智能监控系统，其特征在于，包括
车载终端；
对象层，包括有车辆异常行为库和异常物品库；
采集层，包括有视频数据采集模块，所述视频数据采集模块用于根据车辆车厢内的空间信息建立模型，划分区域并安装摄像头，通过角度调整和相机标定采集车厢内各个位置的视频数据；
分析层，包括有视频数据分析模块，所述视频数据分析模块利用深度神经网络对采集的视频数据进行人脸检测、人头检测、异常行为检测，获取车辆内异常行为信息；
终端决策层，包括有车辆异常预警模块，所述车辆异常预警模块结合车辆行驶信息，对车辆内异常行为进行分级预警，对于不同的预警级别发出不同的提示信息并做出紧急报警措施；
云端决策层，包括有终端服务器和车辆异常事件响应模块，所述车辆异常事件响应模块检测到车辆内异常行为后，对车辆下发紧急处理指令，
其中，对象层中，异常行为库和异常物品库根据实际情况进行拓展，通过在训练异常检测算法的过程中增加异常行为的样本，以此增加判别的异常行为的种类；
采集层中，单个摄像头对目标进行异常检测和定位，多个摄像头对同一目标联合检测并跟踪，多角度地采集了车内的视频信息，有效提升了异常行为检测的准确率；
分析层中，多个异常检测算法被应用于不同的摄像头，全方位的监测了车厢内各类人员和物品的实时信息；
终端决策层中，通过结合车速信息、路况信息、驾驶员的异常行为、乘客的异常行为和可疑物品的出现情况，通过当前出现的异常行为计算当前车辆的异常积分，再根据制定的异常预警规则，判别当前车辆的异常警报等级，做出相应的异常响应；
云端决策层中，在接收到了终端报警信号后，经过人工商讨并决策做出异常事件紧急处理，下发相应的紧急处理指令；
所述视频数据分析模块功能包括：通过对输入视频流的人脸检测并跟踪，筛选出最佳质量的人脸图片，并上传人脸图片进行保存；训练乘客异常行为检测网络，通过提取车厢空间内乘客的特征进行分类，从而获得乘客行为的类别；训练驾驶员异常行为检测网络，通过采集驾驶员正常驾驶时的行为的图片并制作标签对图像数据进行标注，利用标注数据对网络进行训练，网络对输入的视频流进行提取关键帧检测，实现驾驶员的行为识别；训练可疑物品检测网络，通过采集违禁物品的图片，对目标检测网络进行训练，在应用时将视频流输入可疑物品检测网络，判断每帧图片中是否包含可疑物品，若检测到可疑物品，则输出物品所在位置信息和类别置信度；异常视频的保存与上传，建立异常行为视频记录库和异常报警记录库；
所述车辆异常预警模块功能包括：采集当前车辆的行驶速度、车辆所属的地理位置、驾驶员的异常行为、乘客的异常行为和可疑物品的出现情况；对采集的路况和行为信息进行量化，对车内的异常检测情况进行评估，构建车辆危险指数函数；对车辆内的异常情况划分等级进行报警，对于不同级别的警报，做出不同的响应方式，
其中计算车辆的危险指数函数包括：
其中，R表示某一时刻车辆的危险指数；v表示车辆当前时刻的运行速度；r表示车辆当前行驶的路况所对应的积分；Dactivityi表示驾驶员的第i种行为所对应的异常得分；Pactivityj表示乘客的第j种行为的异常得分；α为车辆速度的权重；β为车辆行驶路况的权重；η为驾驶员异常得分的权重；μ为乘客异常得分的权重。
2.根据权利要求1所述的一种公交车内异常行为智能监控系统，其特征在于，所述视频数据采集模块根据车辆车厢内的空间信息进行建模，设计车厢内多个摄像头的安装位置和角度；通过相机标定技术，实现世界坐标系与图像坐标系之间的转换，并对车厢空间进行区域划分；通过应用嵌入式设备，实现单帧图像在视频流中的提取，进而采集车厢内各个位置的视频数据。
3.根据权利要求1所述的一种公交车内异常行为智能监控系统，其特征在于，所述车辆异常事件响应模块包括如下功能：接收到车载终端发出的报警指令，并根据情况发出异常事件处理指令；指令通过交互服务器传送到车载终端，由车载终端发出控制信号，连接车辆厢内的软硬件设备执行下发的减速迫停指令、远程破窗指令和远程开门指令；在执行完下发的指令后，车载终端通过服务器向平台端发出反馈信号，确认任务完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011218770.5A CN112686090B (zh) | 2020-11-04 | 2020-11-04 | 一种公交车内异常行为智能监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011218770.5A CN112686090B (zh) | 2020-11-04 | 2020-11-04 | 一种公交车内异常行为智能监控系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686090A CN112686090A (zh) | 2021-04-20 |
| CN112686090B true CN112686090B (zh) | 2024-02-06 |
Family
ID=75445889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011218770.5A Active CN112686090B (zh) | 2020-11-04 | 2020-11-04 | 一种公交车内异常行为智能监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686090B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113974998A (zh) * | 2021-07-08 | 2022-01-28 | 北京理工华汇智能科技有限公司 | 一种智行助行器、意识状态监测方法及系统 |
| CN113715766B (zh) * | 2021-08-17 | 2022-05-24 | 厦门星图安达科技有限公司 | 一种车内人员检测方法 |
| CN113794756B (zh) * | 2021-08-26 | 2022-09-06 | 北京邮电大学 | 一种支持移动设备的多视频流卸载方法及系统 |
| CN113807587B (zh) * | 2021-09-18 | 2022-07-26 | 西安未来国际信息股份有限公司 | 一种基于多梯核深度神经网络模型积分预警方法以及系统 |
| CN113920660B (zh) * | 2021-09-30 | 2023-04-18 | 中国工商银行股份有限公司 | 适用于安全存储设备的安全监控方法及系统 |
| CN114475623A (zh) * | 2021-12-28 | 2022-05-13 | 阿波罗智联(北京)科技有限公司 | 车辆的控制方法、装置、电子设备及存储介质 |
| CN117041503A (zh) * | 2023-10-10 | 2023-11-10 | 四川科泰智能电子有限公司 | 高性能闪存阵列视频识别设备及方法 |
| CN117610932A (zh) * | 2023-12-04 | 2024-02-27 | 中国雄安集团交通有限公司 | 一种基于人工智能的公交运营风险管控系统 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204229598U (zh) * | 2014-11-15 | 2015-03-25 | 青岛三利中德美水设备有限公司 | 一种智能公交安全系统 |
| CN105898239A (zh) * | 2016-06-03 | 2016-08-24 | 北京中电万联科技股份有限公司 | 一种公交车司机行为异常监测系统及监测方法 |
| CN106017552A (zh) * | 2016-05-17 | 2016-10-12 | 长安大学 | 一种公交车危险物品监测系统 |
| CN205793046U (zh) * | 2016-06-03 | 2016-12-07 | 北京中电万联科技股份有限公司 | 一种公交车司机行为异常监测系统 |
| CN106790367A (zh) * | 2016-11-15 | 2017-05-31 | 山东省科学院自动化研究所 | 大数据处理的车辆安全隐患预警和事故重现系统及方法 |
| CN106934752A (zh) * | 2017-03-07 | 2017-07-07 | 高剑 | 一种基于公交车的信息化管理系统 |
| KR20180059153A (ko) * | 2016-11-25 | 2018-06-04 | 주식회사 에스위너스 | 철도운송 컨테이너 화물의 상태 센싱 및 정보전달을 위한 화차 모니터링 시스템 및 방법 |
| CN109101898A (zh) * | 2018-07-23 | 2018-12-28 | 南京邮电大学 | 公交车载人数实时监测系统及其监测方法 |
| CN109919134A (zh) * | 2019-03-25 | 2019-06-21 | 王奕然 | 一种基于视觉的运营车辆人员异常行为检测方法 |
| CN110084197A (zh) * | 2019-04-28 | 2019-08-02 | 苏州清研微视电子科技有限公司 | 基于深度学习的公交车客流量统计方法和系统 |
| CN110146661A (zh) * | 2019-06-26 | 2019-08-20 | 杭州律橙电子科技有限公司 | 一种危险品检测系统及其检测方法 |
| CN110610309A (zh) * | 2019-09-10 | 2019-12-24 | 江苏航天大为科技股份有限公司 | 一种基于三维结构的地铁站实时监控方法及应急处理预演方法 |
| CN110816551A (zh) * | 2019-11-28 | 2020-02-21 | 广东新时空科技股份有限公司 | 一种车辆运输安全主动防控系统 |
| CN110852147A (zh) * | 2019-09-23 | 2020-02-28 | 北京海益同展信息科技有限公司 | 一种安防报警方法、装置、服务器及计算机可读存储介质 |
| CN110866427A (zh) * | 2018-08-28 | 2020-03-06 | 杭州海康威视数字技术股份有限公司 | 一种车辆行为检测方法及装置 |
| CN111027478A (zh) * | 2019-12-10 | 2020-04-17 | 青岛农业大学 | 一种基于深度学习的司机、乘客行为分析与预警系统 |
| WO2020083355A1 (en) * | 2018-10-25 | 2020-04-30 | Shanghai Truthvision Information Technology Co., Ltd. | Systems and methods for intelligent video surveillance |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030171939A1 (en) * | 2002-01-23 | 2003-09-11 | Millennium Information Systems Llc | Method and apparatus for prescreening passengers |
| US11812258B2 (en) * | 2013-10-04 | 2023-11-07 | Sol Mingso Li | Systems and methods for programming, controlling and monitoring wireless networks |
-
2020
- 2020-11-04 CN CN202011218770.5A patent/CN112686090B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204229598U (zh) * | 2014-11-15 | 2015-03-25 | 青岛三利中德美水设备有限公司 | 一种智能公交安全系统 |
| CN106017552A (zh) * | 2016-05-17 | 2016-10-12 | 长安大学 | 一种公交车危险物品监测系统 |
| CN105898239A (zh) * | 2016-06-03 | 2016-08-24 | 北京中电万联科技股份有限公司 | 一种公交车司机行为异常监测系统及监测方法 |
| CN205793046U (zh) * | 2016-06-03 | 2016-12-07 | 北京中电万联科技股份有限公司 | 一种公交车司机行为异常监测系统 |
| CN106790367A (zh) * | 2016-11-15 | 2017-05-31 | 山东省科学院自动化研究所 | 大数据处理的车辆安全隐患预警和事故重现系统及方法 |
| KR20180059153A (ko) * | 2016-11-25 | 2018-06-04 | 주식회사 에스위너스 | 철도운송 컨테이너 화물의 상태 센싱 및 정보전달을 위한 화차 모니터링 시스템 및 방법 |
| CN106934752A (zh) * | 2017-03-07 | 2017-07-07 | 高剑 | 一种基于公交车的信息化管理系统 |
| CN109101898A (zh) * | 2018-07-23 | 2018-12-28 | 南京邮电大学 | 公交车载人数实时监测系统及其监测方法 |
| CN110866427A (zh) * | 2018-08-28 | 2020-03-06 | 杭州海康威视数字技术股份有限公司 | 一种车辆行为检测方法及装置 |
| WO2020083355A1 (en) * | 2018-10-25 | 2020-04-30 | Shanghai Truthvision Information Technology Co., Ltd. | Systems and methods for intelligent video surveillance |
| CN109919134A (zh) * | 2019-03-25 | 2019-06-21 | 王奕然 | 一种基于视觉的运营车辆人员异常行为检测方法 |
| CN110084197A (zh) * | 2019-04-28 | 2019-08-02 | 苏州清研微视电子科技有限公司 | 基于深度学习的公交车客流量统计方法和系统 |
| CN110146661A (zh) * | 2019-06-26 | 2019-08-20 | 杭州律橙电子科技有限公司 | 一种危险品检测系统及其检测方法 |
| CN110610309A (zh) * | 2019-09-10 | 2019-12-24 | 江苏航天大为科技股份有限公司 | 一种基于三维结构的地铁站实时监控方法及应急处理预演方法 |
| CN110852147A (zh) * | 2019-09-23 | 2020-02-28 | 北京海益同展信息科技有限公司 | 一种安防报警方法、装置、服务器及计算机可读存储介质 |
| CN110816551A (zh) * | 2019-11-28 | 2020-02-21 | 广东新时空科技股份有限公司 | 一种车辆运输安全主动防控系统 |
| CN111027478A (zh) * | 2019-12-10 | 2020-04-17 | 青岛农业大学 | 一种基于深度学习的司机、乘客行为分析与预警系统 |
Non-Patent Citations (7)
| Title |
|---|
| "Development of an efficient system for vehicle accident warning";O. Rizwan;《2013 IEEE 9th International Conference on Emerging Technologies (ICET)》;第1-6页 * |
| "基于异常行为辨识的智能监控技术研究";钟志;《中国博士学位论文全文数据库信息科技辑》(第12期);I140-42 * |
| "基于图像处理的公交车内人群异常情况检测";沈铮;《计算机工程与设计》;第39卷(第1期);第165-171页 * |
| "基于视频的人体异常行为识别与检测方法综述";张晓平等;《控制与决策》;第37卷(第1期);第14-27页 * |
| "视频监控中人群密度估计和人群异常行为识别";孙敏;《中国优秀硕士学位论文全文数据库 信息科技辑》(第4期);I136-182 * |
| X. Wu."Abnormal driving behavior detection for bus based on the Bayesian classifier".《2018 Tenth International Conference on Advanced Computational Intelligence (ICACI)》.2018,第266-272页. * |
| 刘潇."基于深度学习的人体行为识别技术的研究与应用".《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,(第8期),I138-871. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686090A (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112686090B (zh) | 一种公交车内异常行为智能监控系统 | |
| CN112633057B (zh) | 一种公交车内异常行为智能监控方法 | |
| CN108791299B (zh) | 一种基于视觉的驾驶疲劳检测及预警系统及方法 | |
| JP6867153B2 (ja) | 異常監視システム | |
| EP4105101A1 (en) | Monitoring system, monitoring method, and monitoring device for railway train | |
| CN108647582A (zh) | 一种复杂动态环境下目标行为识别与预测方法 | |
| CN108764034A (zh) | 一种基于驾驶室近红外相机的分神驾驶行为预警方法 | |
| CN110867046A (zh) | 一种基于云计算的智能洗车机视频监控预警系统 | |
| CN109360362A (zh) | 一种铁路视频监控识别方法、系统和计算机可读介质 | |
| CN113676702B (zh) | 基于视频流的目标追踪监测方法、系统、装置及存储介质 | |
| CN111488803A (zh) | 一种融合目标检测和目标跟踪的机场目标行为理解系统 | |
| CN110780356A (zh) | 地铁站台间隙异物检测系统 | |
| CN108583592A (zh) | 一种地铁乘务作业信息采集智能检测方法 | |
| CN113484858A (zh) | 一种入侵检测方法和系统 | |
| CN112597965A (zh) | 一种驾驶行为识别方法、装置和计算机可读存储介质 | |
| Gao et al. | Predicting hazardous driving events using multi-modal deep learning based on video motion profile and kinematics data | |
| CN116416281A (zh) | 一种粮库ai视频监管分析方法及系统 | |
| CN114360210A (zh) | 一种车辆疲劳驾驶预警系统 | |
| CN115083088A (zh) | 铁路周界入侵预警方法 | |
| CN111564020A (zh) | 一种驾驶安全防控系统、存储介质以及计算机设备 | |
| CN114118847A (zh) | 化工园区危险源在线监测平台 | |
| CN116665155B (zh) | 一种基于图像处理技术的地下无轨人车的下车预警安全管理系统 | |
| CN112541656A (zh) | 一种具有风险隐患预测能力的智能安防集成平台 | |
| CN110065867B (zh) | 基于音视频的电梯舒适度评价的方法和系统 | |
| CN202904792U (zh) | 一种智能可视化报警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |