CN112289031A - 一种公交行驶过程中异常情况检测与报警的方法及装置 - Google Patents

Abstract

本发明提供一种公交行驶过程中异常情况检测与报警的方法及装置，方法包括如下步骤：获取司机和乘客的实际行为；根据设定公交车司机和乘客的异常行为，对所述实际行为进行分析，并判断乘客和司机的行为是否异常；根据判断的结果，若为异常行为，则输出报警和语音提醒信息，并将异常行为上传记录，以供查看和监督。装置包括公交异常检测终端以及报警系统。本发明，能够实时监测司机和乘客的行为，当车内出现异常情况或者司机影响正常行驶的危险行为，就会报警并语音通知司机和乘客注意，并将异常行为上传公交终端服务给监督部门，可以规范公交的不文明行为，及时采取措施，避免意外的发生，将损失与危害降至最低。

Description

一种公交行驶过程中异常情况检测与报警的方法及装置

技术领域

本发明涉及异常情况检测技术领域，具体为一种公交行驶过程中异常情况检测与报警的方法及装置。

背景技术

为了便于司机观察乘客下车情况，现有的公交车内都会安装一般的视频监控设备，而一般的大部分事故都发生在公交车行驶过程，现有的公交车视频监控一般都安置在公交车的后门，以便于在停车时可以观察乘客是否下车，但是这样安装方式，是没有办法监控公交车内部的情况，一旦司机和乘客在行驶过程中发生异常行为，也无法有效实时的监测，并进行异常行为提醒警告。

发明内容

本发明的目的在于提供一种公交行驶过程中异常情况检测与报警的方法及装置，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种公交行驶过程中异常情况检测与报警的方法，包括如下步骤：

获取司机和乘客的实际行为；

根据设定公交车司机和乘客的异常行为，对所述实际行为进行分析，并判断乘客和司机的行为是否异常；

根据判断的结果，若为异常行为，则输出报警和语音提醒信息，并将异常行为上传记录，以供查看和监督。

优选的，所述异常行为包括行驶日期异常、司机行为异常和乘客行为异常，其中所述行驶日期异常依据为：根据司机签到信息，判断该司机的身份信息是否为所属公交公司管辖以及所属公交公司是否为其排班，所述司机行为异常包括在驾驶过程中存在的打电话，抽烟以及喝水，所述乘客行为异常包括摔倒以及快速移动。

优选的，所述摔倒的检测包括如下步骤：

获取乘客的图片；

对所述图片分批次处理，将图片缩放至固定大小；

对所述图片进行特征提取，从图像数据中获取关键点位置以及关键点的置信度；

从各个候选关键点中得到异类关键点与候选肢体的置信度值，将关键点信息组成feature输入层通过resnet18网络进行分类输出摔倒与正常状态两类。

优选的，所述快速移动包括乘客的位置检测以及移动判断，其中，所述位置检测包括如下步骤：

获取车内的区域图像，

对所述区域图像划分危险区域；

通过标定方式获取位置信息；

根据所述位置信息，与所述危险区域对比判断是否具有交集，

根据判断结果分析人员行为是否危险；

所述移动判断包括如下步骤：

获取乘客车内视频画面；

根据所述视频画面，输出乘客在车内矩形框；

通过估算目标检测结果，结合标定参数得出物体移动距离信息，从而计算出乘客实际移动速度；

根据设定阈值判断乘客是否快速移动。

优选的，所述司机行为异常的检测包括如下步骤：

获取车内司机相应的动作视频；

根据司机动作，采用目标检测算法检测分析，得到分析数据；

将所述分析数据与预设的数据集对比分析，判断司机行为是否异常。

为实现上述目的，本发明还提供如下技术方案：

一种公交行驶过程中异常情况检测与报警的装置，包括公交异常检测终端，所述公交异常检测终端包括：

图像采集模块，用于获取司机和乘客的实际行为；

图像处理模块，用于根据设定公交车司机和乘客的异常行为，对所述实际行为进行分析，并判断乘客和司机的行为是否异常；以及

通信模块，用于根据判断的结果，若为异常行为，则输出报警和语音提醒信息，并将异常行为上传记录，以供查看和监督。

优选的，所述公交异常检测终端还包括：

报警模块，用于根据所述通信模块输出报警和语音提醒信息对司机和乘客进行报警和语音提醒；

CPU，用于将图像处理模块分析处理的数据传送到通信模块；以及

RFID模块，用于读取的司机的身份信息。

优选的，所述报警模块基于报警系统，报警系统包括语音模块，所述通信模块包括GSM模块。

优选的，所述装置还包括：

公交终端服务器，用于记录管辖区域内公交车司机的身份信息，设定异常行为规范以及记录异常行为情况，并根据公交异常检测终端上传的信息，记录司机和乘客的异常行为，如存在异常行为将会向监督部门反馈信息，方便处置。

优选的，所述装置还包括：

服务器，用于设定公交车司机和乘客的异常行为规程，存储所述的司机的身份信息和出现异常行为的司机和乘客信息，并向所述公交终端服务器发送所述的信息。

与现有技术相比，本发明的有益效果是：

本发明的方法及装置，利用公交车内的视频监控，通过公交异常检测终端监测司机和乘客的行为，一旦出现车内异常情况或者司机影响正常行驶的危险行为，就会报警并语音通知司机和乘客注意，并将异常行为上传公交终端服务给监督部门，可以规范公交的不文明行为，及时采取措施，避免意外的发生，将损失与危害降至最低。

附图说明

图1为本发明实施例提供的一种公交行驶过程中异常情况检测与报警的方法流程示意图；

图2为本发明实施例提供的公交异常检测终端模块示意图；

图3为本发明实施例提供的一种公交行驶过程中异常情况检测与报警的装置结构示意图；

图4为本发明实施例提供的司机在公交异常检测终端签到以及实时检测司机(和乘客的)行为进行分析示意图；

图5为本发明实施例提供的公交异常检测终端的具体模块示意图；

图6为本发明实施例提供的公交车车内异常事检测的具体流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

请参阅图1至图6，本发明提供一种技术方案：

一种公交行驶过程中异常情况检测与报警的方法，包括如下步骤：

步骤S101、获取司机和乘客的实际行为；

步骤S102、根据设定公交车司机和乘客的异常行为，对所述实际行为进行分析，并判断乘客和司机的行为是否异常；

步骤S103、根据判断的结果，若为异常行为，则输出报警和语音提醒信息，并将异常行为上传记录，以供查看和监督。

具体的，该方法包括司机危险动作识别、人群异常聚集检测、乘客摔倒以及乘客快速移动等危险动作的检测和报警。本发明的步骤包括如下步骤：首先通过服务器设定公交车司机和乘客的异常行为规程，用于检测乘客和司机的行为是否符合要求。其次，通过给每位司机下发“RFID身份卡”来确定其身份，在每个公交车上部署公交异常检测终端设备，该设备包括远程读卡器、异常行为的语音提醒和报警系统，当司机和乘客出现异常行为时会进行报警和语音提醒，并将异常行为上传服务器进行记录，可供监督人员、司机、公交公司进行查看。本实施例中司机和乘客的异常行为检测分为(1)针对公交车行驶过程中，检测司机危险动作的算法，包括司机在驾驶过程中存在的打电话，抽烟，喝水等危险动作。(2)检测公交在行驶过程中存在的乘客行为、移动等行为；(3)检测公交行驶过程中存在的乘客摔倒的危险行为。

具体的，该方法利用附有公交车司机姓名、单位的射频卡以及司机和乘客异常行为规范来维护公交行驶安全的方法；存储所述的司机的信息和出现异常行为的乘客信息；向(公交)终端服务器发送所述的信息以供监督。所述公交异常行为信息包括行驶日期、司机行为和乘客行为。司机和乘客的异常行为通过GPRS传送到终端服务器，并显示司机的信息和异常行为乘客的照片，供给相关监督部门进行查询。所述的终端服务器用于：第一、记录管辖区域内公交车司机的身份信息；第二、设定异常行为规范；第三、记录异常行为情况；终端服务器通过公交异常检测终端上传的信息，记录司机和乘客的异常行为，如存在异常行为终端服务器会向监督部门反馈信息，方便处置。当遇到异常情况时，公交异常检测终端以语音形式的通知提醒异常行为人员注意，服务器(终端)会记录异常行为，发短信提醒司机，将乘客的异常行为上传并网络公示，如果次数较多将加入黑名单。

具体的，如图5所示，所述的公交异常检测终端包括CPU、RFID模块、语音模块、图像处理模块、通信模块。所述的公交异常检测终端还包括RFID(读写)模块，所述RFID模块读取的司机的身份信息并通过GPRS传送到公交终端服务器。所述的公交异常检测终端还包括图像处理模块，所述图像处理模块用于处理视频监控设备采集的图像信息并处理分析，分析是否为异常行为。

具体的，图像处理模块对司机和乘客的行为检测采用算法包括：

第一、乘客摔倒检测算法由CNN算法和人体关键点检测算法组合实现，人体关键点算法采用openpose算法，该算法准确度高，鲁棒性强等特点。

第二、乘客快速移动检测分为乘客检测与移动判断。乘客检测算法采用yoloV5算法检测乘客，输出乘客在车内矩形框。当前状态处于进行中快速移动判断快速移动判断是基于标定原理对摄像头外距离进行标定，通过目标检测结果结合标定参数得出物体移动距离信息。

第三、YOLO算法：采用YOLO算法来检测人脸，香烟，手机以及水瓶四大类。

如图4所示的，首先，公交司机在汽车要行驶时手持自己的身份卡在公交异常检测终端签到，在行驶过程中公交异常检测终端会实时检测司机和乘客的行为进行分析，如出现公交服务终端规定的异常行为则进行报警和语音提醒，通过GPRS上传司机和乘客的异常行为到公交服务器终端，服务器终端会发送短信给司机和相关监督人员，乘客的异常行为会留存给监管部门作相应处理。

图5为公交异常检测终端的具体模块图，也是整个方法的核心，该模块图包括：

CPU模块、RFID模块、语音模块、图像处理模块。该模块的核心是异常情况检测算法。针对传统公交行驶过程中不能处理的车内异常事故，以及公交车厢环境的异常型，本实施例将公交出现的异常事故分为三类：(1)乘客摔倒检测。公交行驶过程乘客摔倒检测，本系统采用Mask R-CNN算法实现，具体流程如附图6所示，首先根据摄像图提供的图片分批次处理图片的的大小，将图片缩放至固定大小；然后对图片进行特征提取，然后从图像数据中获取关键点位置以及关键点的置信度，关键点联系模块用来从各个候选关键点中得到异类关键点与候选肢体的置信度值，肢体匹配模块是将关键点信息组成feature输入层通过resnet18网络进行分类输出摔倒与正常状态两类，如发生摔倒事件进行报警，通知司机进行后期的处理。(2)乘客快速移动检测分为乘客检测与移动判断。①乘客的位置检测分为三个部分：公交车上的危险区域、乘客关键姿态的定位以及结合上述给出的危险行为的判断。该系统先通过视频监控设备识别危险区域，然后通过openpose算法估算目标检测和人体关键点的识别，然后通过人体姿态信息与公交车危险区域信息，分析人员行为是否危险，决定是否进行报警和语音提示。②乘客的快速移动检测。通常在发生异常行为时，人会本能地远离危险点，表现在人的快速移动。本系统以人的快速跑步和正常走路的速度作为界线来检测乘客的快速移动，并提示是否报警。人体的快速移动本文采用yoloV5算法来实现，首先通过视频监控检测乘客，然后输出乘客在车内矩形框，在乘客快速移动时采用目标检测结果结合跟踪算法，对行为人位移进行分析，摄像头在采集图片时采用摔倒检测算法摄像，取其图像进行人员检测以及跟踪；通过标定方式获取位置信息，结合跟踪结果设定阈值判断人员是否快速移动。如果出现乘客的移动速度超过正常的车内行走速度，将进行报警提醒乘客和司机。(3)采用YOLO算法来检测司机人脸，香烟，手机以及水瓶等危害正常行驶的行为。司机的危险动作，使用公交车或者车载摄像头监控司机的相应动作视频，包括司机的人脸检测，香烟检测，手机检测，水瓶检测等，采用YOLO为主要的目标检测算法，然后人工组织训练数据集。当司机出现影响正常的危险行为，可通过公交驾驶语音平台进行语音提醒。

本发明，利用公交车内的视频监控，通过公交异常检测终端监测司机和乘客的行为，一旦出现车内异常情况或者司机影响正常行驶的危险行为，就会报警并语音通知司机和乘客注意，并将异常行为上传公交终端服务给监督部门，可以规范公交的不文明行为，及时采取措施，避免意外的发生，将损失与危害降至最低。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种公交行驶过程中异常情况检测与报警的方法，其特征在于，包括如下步骤：

获取司机和乘客的实际行为；

根据设定公交车司机和乘客的异常行为，对所述实际行为进行分析，并判断乘客和司机的行为是否异常；

根据判断的结果，若为异常行为，则输出报警和语音提醒信息，并将异常行为上传记录，以供查看和监督。

2.根据权利要求1所述的一种公交行驶过程中异常情况检测与报警的方法，其特征在于，所述异常行为包括行驶日期异常、司机行为异常和乘客行为异常，其中所述行驶日期异常依据为：根据司机签到信息，判断该司机的身份信息是否为所属公交公司管辖以及所属公交公司是否为其排班，所述司机行为异常包括在驾驶过程中存在的打电话，抽烟以及喝水，所述乘客行为异常包括摔倒以及快速移动。

3.根据权利要求2所述的一种公交行驶过程中异常情况检测与报警的方法，其特征在于，所述摔倒的检测包括如下步骤：

获取乘客的图片；

对所述图片分批次处理，将图片缩放至固定大小；

对所述图片进行特征提取，从图像数据中获取关键点位置以及关键点的置信度；

从各个候选关键点中得到异类关键点与候选肢体的置信度值，将关键点信息组成feature输入层通过resnet18网络进行分类输出摔倒与正常状态两类。

4.根据权利要求2所述的一种公交行驶过程中异常情况检测与报警的方法，其特征在于，所述快速移动包括乘客的位置检测以及移动判断，其中，所述位置检测包括如下步骤：

获取车内的区域图像，

对所述区域图像划分危险区域；

通过标定方式获取位置信息；

根据所述位置信息，与所述危险区域对比判断是否具有交集，

根据判断结果分析人员行为是否危险；

所述移动判断包括如下步骤：

获取乘客车内视频画面；

根据所述视频画面，输出乘客在车内矩形框；

通过估算目标检测结果，结合标定参数得出物体移动距离信息，从而计算出乘客实际移动速度；

根据设定阈值判断乘客是否快速移动。

5.根据权利要求2所述的一种公交行驶过程中异常情况检测与报警的方法，其特征在于，所述司机行为异常的检测包括如下步骤：

获取车内司机相应的动作视频；

根据司机动作，采用目标检测算法检测分析，得到分析数据；

将所述分析数据与预设的数据集对比分析，判断司机行为是否异常。

6.一种公交行驶过程中异常情况检测与报警的装置，其特征在于，包括公交异常检测终端，所述公交异常检测终端包括：

图像采集模块，用于获取司机和乘客的实际行为；

图像处理模块，用于根据设定公交车司机和乘客的异常行为，对所述实际行为进行分析，并判断乘客和司机的行为是否异常；以及

通信模块，用于根据判断的结果，若为异常行为，则输出报警和语音提醒信息，并将异常行为上传记录，以供查看和监督。

7.根据权利要求6所述的一种公交行驶过程中异常情况检测与报警的装置，其特征在于，

所述公交异常检测终端还包括：

报警模块，用于根据所述通信模块输出报警和语音提醒信息对司机和乘客进行报警和语音提醒。

CPU，用于将图像处理模块分析处理的数据传送到通信模块；以及

RFID模块，用于读取的司机的身份信息。

8.根据权利要求7所述的一种公交行驶过程中异常情况检测与报警的装置，其特征在于，所述报警模块基于报警系统，报警系统包括语音模块，所述通信模块包括GSM模块。

9.根据权利要求6至8中任意一项所述的一种公交行驶过程中异常情况检测与报警的装置，其特征在于，所述装置还包括：

公交终端服务器，用于记录管辖区域内公交车司机的身份信息，设定异常行为规范以及记录异常行为情况，并根据公交异常检测终端上传的信息，记录司机和乘客的异常行为，如存在异常行为将会向监督部门反馈信息，方便处置。

10.根据权利要求9所述的一种公交行驶过程中异常情况检测与报警的装置，其特征在于，所述装置还包括：

服务器，用于设定公交车司机和乘客的异常行为规程，存储所述的司机的身份信息和出现异常行为的司机和乘客信息，并向所述公交终端服务器发送所述的信息。

Images