CN110341594B - 一种客车乘员安全态势监控系统及方法 - Google Patents

Abstract

本发明公开了一种客车乘员安全态势监控系统及方法，该系统包括安装于运营车辆上的RGB‑D深度相机、模式识别及决策单元、移动数据通讯模块、驾驶员终端、数据存储模块和GPS定位模块，RGB‑D深度相机用于采集车内的连续多帧RGB‑D图像及深度图像；模式识别及决策单元对RGB‑D图像及深度图像进行三维重建，自动识别运营车辆内的乘员个体信息，将识别的乘员个体信息发送给驾驶员终端；并且模式识别及决策单元基于对乘员个体动作幅度及移动趋势的识别，判定当前车内的安全态势，在监测到乘员处于异常状态时向驾驶员终端发送报警信息。该系统能够保证客车乘员的安全性。本发明同时公开了客车乘员安全态势监控方法。

Description

一种客车乘员安全态势监控系统及方法

技术领域

本发明涉及一种交通监控系统及方法，具体是指一种客车乘员安全态势监控系统及方法。

背景技术

人们在市内、城际出行或者旅游过程中，离不开大中型公路客车这种重要的交通工具。出行安全一直都是交通运输业的重中之重，尤其当搭载乘客的车辆离开出发站场后，在行驶途中如何确保安全运营是每个运输企业与交通主管部门极为关注的；而在行驶途中的车辆上一般只有一名驾驶员，其主要任务是驾驶车辆，无法兼顾维护车内整体安全有序的任务，甚至在极端情况下，驾驶员本身的人身安全也可能受到侵犯。

另外，公路客车因超载而发生的大小运营事故数量更多，多数不容易被及时制止。当前客车内部普遍安装了监控摄像，有些视频影像可以实时上传监控中心；有些是车辆回到基地后，工作人员用移动存储介质离线复制视频录像，再由工作人员播放回看。实时上传方案因为涉及视频数据量大，考虑到移动数据流量成本及人工成本等原因，多用于随机抽查，并不能保证及时发现问题。同时为了监控审核车内的安全运营状况，客运企业原则上对视频录像需要回看，而人工回看核查成本高，工作压力大。且因为是运营结束后核查，所以很多安全或运营漏洞到发现时，可能已经造成了不良的后果。例如前述的重庆公交坠江事件，就是事故后通过视频录像确认了当时的情况，但该视频监控对于事故本身没能起到及时制止的作用。另外，因为我国人口多，公交客运运营班次密度大，所以视频核查量大，工作人员也难免有疏漏之处。

前述的车内监控录像系统，拍摄的是普通视频，此类视频尽管也可以用一些图像识别算法切割分离出平面人像，但辨识度低，只能做一些简单的人数统计，且误差很大；要做一些复杂实时的乘员行为模式识别、高精度的乘员统计，二维平面人像信息量不够，导致深度学习、人工智能算法的应用受到限制。

目前市场上也有一些用于监控运营车辆本身运行参数，例如车速、经纬坐标、油耗、发动机数据等，的客车信息化系统，比较典型的是G-BOS客车运营系统。前述系统可以采集行驶中客车当前主要硬件运行参数，并上传监控平台。但该类产品也仍然无法解决车辆内部涉及乘客层面的安全及其他运营漏洞。

市场上还有一些客车全景辅助驾驶录像系统，但该类系统主要采集、拍摄客车车身近距离周边的影像，提供给驾驶员观看。该类系统可起到辅助驾驶的作用，但无法对客车内部运营状况起到监控和分析的作用。

综上所述，当前基于车内普通视频监控的技术及系统，已经无法满足“实时安全”、“及时反应”的公路营运车辆乘员安全态势监控的要求。

发明内容

本发明的目的之一是提供一种客车乘员安全态势监控系统，保证客车乘员的安全性。

本发明的这一目的通过如下技术方案来实现的：一种客车乘员安全态势监控系统，其特征在于：该系统包括安装于运营车辆上的RGB-D深度相机、模式识别及决策单元、移动数据通讯模块、驾驶员终端、数据存储模块和GPS定位模块，其中，

所述RGB-D深度相机用于采集运营车辆车内的连续多帧RGB-D图像及深度图像，并且将所采集到的RGB-D图像及深度图像传输给所述的模式识别及决策单元；

所述模式识别及决策单元接收所述RGB-D深度相机传输的多帧RGB-D图像及深度图像，对接收的RGB-D图像及深度图像进行三维重建，自动识别运营车辆内的乘员个体信息，将识别的乘员个体信息发送给所述的驾驶员终端；并且所述模式识别及决策单元基于对乘员个体动作幅度及移动趋势的识别，判定当前车内的安全态势，在监测到乘员处于异常状态时向所述的驾驶员终端发送报警信息；

所述移动数据通讯模块与所述模式识别及决策单元相连，所述移动数据通讯模块接入移动互联网，通过互联网将所述模式识别及决策单元获得的车内安全态势信息与外部进行通讯；

所述驾驶员终端与所述模式识别及决策单元相连，用于接收模式识别及决策单元传输来的乘员个体信息和报警信息；

所述数据存储模块与所述模式识别及决策单元相连，用于接收和保存RGB-D图像及深度图像，并且存储所述模式识别及决策单元所发出的安全态势信息；

所述GPS定位模块与所述模式识别及决策单元相连，用于定位车辆当前的位置坐标，将车辆当前的位置坐标信息传输给所述的模式识别及决策单元。

本发明可以做如下改进：所述系统还包括位于车载外的具备远程监控的监控中心平台，所述监控中心平台接入互联网，通过互联网与所述的移动数据通讯模块进行通讯，通过所述移动数据通讯模块获得所述模式识别及决策单元识别的车内安全态势信息，所述监控中心平台具备接收存储信息、系统整体管理及监控功能。

本发明的运营车辆可以为长途客车或者城市公交车或者旅游巴士等公共运输交通工具。所述模式识别及决策单元采用现有BundleFusion开源算法软件对接收的RGB-D图像及深度图像进行三维重建。

当运营车辆为长途客车时，所述模式识别及决策单元对接收的RGB-D图像及深度图像进行三维重建后，通过运用头肩算法模型、人体骨骼跟踪算法模型来算出车内司乘人员所在位置、车内实际乘员数量、并识别乘客动作幅度及移动趋势；若实际乘员数量超载或者有乘客在行驶途中处于站立或走动状态，均判定为乘员处于异常状态；此时模式识别及决策单元向驾驶员终端发送警报信息；所述警报信息包括当前车内乘员数量、乘员异常状态的类型；同时该警报信息、RGB-D图像信息、当前车辆的坐标信息也将通过移动数据通讯模块发送至监控中心平台及所述数据存储模块，并且保存到数据存储模块。

当运营车辆为城市公交车时，所述模式识别及决策单元接收到RGB-D图像及深度图像后，对驾驶员重点识别范围内进行三维重建，运用头肩算法模型、人体骨骼跟踪算法模型判定驾驶员重点识别范围内乘客的姿态、动作幅度以及与驾驶员相对位置的变化趋势；若在重点识别范围内有乘员向驾驶员方向走动、或者乘客的躯干重心位置与驾驶员躯干重心位置的距离小于预设的安全距离，则判定为乘员处于异常状态，此时模式识别及决策单元向驾驶员终端发送警报信息，同时该警报信息、RGB-D图像信息、当前车辆的坐标信息也将通过移动数据通讯模块发送至监控中心平台及所述数据存储模块，并且保存到数据存储模块；若在重点识别范围内车内乘员的躯干或肢体与驾驶员的躯干或肢体极度接近，甚至发生接触，则判定为车辆处于紧急状态，此时模式识别及决策单元向车辆发出紧急制动指令。

本发明中的头肩算法模型、人体骨骼跟踪算法模型均为现有的算法软件模型，直接应用即可。

本发明可以做如下改进：所述的运营车辆为具备AEBS(自主紧急制动系统)的车辆，所述系统还包括安装在车辆内的AEBS，所述模式识别及决策单元与AEBS通过CAN总线进行协议通讯，所述模式识别及决策单元在监测到乘员安全态势处于紧急状态下向所述AEBS发出紧急制动指令，通过AEBS对车辆实施紧急制动。

本发明的系统可作为AEBS所附带传感系统的补充传感源，提供车内环境感知信息，必要时可以经由AEBS向车辆制动装置发出制动指令，在车内模式识别及决策单元判断存在紧急状况的时候，通过立即向AEBS发出指定指令，即可实现对车辆实施紧急制动。

本发明的目的之二是提供一种客车乘员安全态势监控方法，用于监控行车安全。

本发明的这一目的通过如下技术方案来实现的：一种客车乘员安全态势监控方法，其特征在于，该方法包括如下步骤：

步骤1：在营运车辆的前部安装RGB-D深度相机，该RGB-D深度相机具有广角拍摄的特性，拍摄区域可覆盖驾驶员座位及乘客区的车内完整范围，所述车辆内部还安装有模式识别及决策单元、移动数据通讯模块、驾驶员终端、数据存储模块和GPS定位模块，其中，模式识别及决策单元分别与所述RGB-D深度相机、移动数据通讯模块、驾驶员终端、数据存储模块和GPS定位模块相连；

步骤2：在运营车辆整个行驶过程中，RGB-D深度相机按照预设时间间隔，采集连续多帧RGB-D图像及深度图像，图像数据流实时传送到模式识别及决策单元；

步骤3：车内模式识别及决策单元根据收到的连续多帧RGB-D图像及深度图像，对车内场景进行实时三维重建，自动识别运营车辆内的乘员个体信息，将识别的乘员个体信息发送给所述的驾驶员终端；并且所述模式识别及决策单元基于对乘员个体动作幅度及移动趋势的识别，判定当前车内的安全态势，在监测到乘员处于异常状态时向所述的驾驶员终端发送报警信息；

步骤4：经系统运算判定的车内当前乘员安全态势信息，将实时显示在驾驶员信息显示终端；各个监控采样时点乘员数量信息及对应车辆坐标信息这些运营参数将同步发送到移动数据通讯模块及数据存储模块；移动数据通讯模块通过互联网可同步将接收的运营参数信息发送到车载外的具备远程监控的监控中心平台；监控中心平台及数据存储模块将存储收到的运营参数；

步骤5：若车内模式识别及决策单元通过运算识别出车内乘客行为异常，则驾驶员终端会显示相应警报提示；并同步将警报信息、当前采样时点完整RGB-D图像、车辆当前坐标信息通过数据通讯模块发送到监控中心平台及数据存储模块，监控中心平台及数据存储模块收到后可及时保存；驾驶员收到警报提示进行处理；监控中心平台收到警报信息后，相关工作人员可及时调看所有信息，并可向对应车辆的模式识别及决策单元远程发送执行指令以介入决策过程，或向驾驶员终端远程发送处理建议信息，为驾驶员现场处置提供必要的协助；当发现乘员处于异常情况后，模式识别及决策单元将控制RGB-D深度相机进行连续拍摄，进行更高频度的安全态势感知和监控，直至异常情况解除。

本发明的运营车辆可以为长途客车或者城市公交车等公共运输交通工具。

当运营车辆为长途客车时，所述步骤3中，模式识别及决策单元通过运用头肩算法模型、人体骨骼跟踪算法模型来算出车内司乘人员所在位置、车内实际乘员数量、并识别乘客动作幅度及移动趋势；若实际乘员数量超载或者有乘客在行驶途中处于站立或走动状态，均判定为乘员处于异常状态。

当运营车辆为城市公交车时，所述步骤3中，模式识别及决策单元对驾驶员重点识别范围内进行三维重建，运用头肩算法模型、人体骨骼跟踪算法模型判定驾驶员重点识别范围内乘客的姿态、动作幅度以及与驾驶员相对位置的变化趋势；若在重点识别范围内有乘员向驾驶员方向走动、或者乘客的躯干重心位置与驾驶员躯干重心位置的距离小于预设的安全距离，则判定为乘员处于异常状态；若在重点识别范围内车内乘员的躯干或肢体与驾驶员的躯干或肢体极度接近，甚至发生接触，则判定为车辆处于紧急状态，此时模式识别及决策单元向车辆发出紧急制动指令。

作为优选实施方案，本发明步骤1中，所述RGB-D深度相机可以根据实际应用需要，被灵活设定为拍摄运营车辆内特定区域或范围的RGB-D图像。

作为优选实施方案，本发明步骤4中，正常运营情况下，除了发送当前客运车辆重要的乘员安全态势信息外，RGB-D深度相机获取的图像也可以根据设定的时间间隔发送到监控中心平台；设定的常规发送时间间隔大于RGB-D深度相机的监控采样间隔，这样可减少图像数据流量，节省大量的移动数据网络费用，同时也降低了监控中心的数据存储量和维护工作量，提升监控中心的工作效率；当出现异常状态时，则设定的发送时间间隔小于RGB-D深度相机的监控采样间隔，进入高频度安全态势监控，直至警报解除。

作为优选实施方案，本发明步骤5中，驾驶员终端具有触摸式显示屏，具备触摸屏交互功能，除了可以实时显示提示信息和警报信息，也可以在某些情况下，由驾驶员点击屏幕按钮，触发相关流程，实施现场处置，或提供决策辅助；驾驶员终端同时还具有扬声器，具备语音功能，可以发出相应的语音提醒驾驶员，或者对乘客发出必要的提示语音。

作为优选实施方案，本发明步骤5中，车辆内设置有AEBS，模式识别及决策单元与AEBS通过CAN总线进行协议通讯，所述模式识别及决策单元在监测到乘员安全态势处于紧急状态下向所述AEBS发出紧急制动指令，通过AEBS对车辆实施紧急制动。

本发明通过模式识别及决策单元提供车内环境感知信息，必要时可以经由AEBS向车辆制动装置发出制动指令，在车内模式识别及决策单元判断存在紧急状况的时候，通过立即向AEBS发出指定指令，即可实现对车辆实施紧急制动。

与现有技术相比，本发明的客车乘员安全态势监控系统及方法能够满足“实时安全”、“及时反应”的公路营运车辆乘员安全态势监控的要求，保证客车乘员的安全性。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细说明。

图1是本发明客车乘员安全态势监控系统及方法实施例一的整体结构示意图；

图2是本发明客车乘员安全态势监控系统及方法实施例一中RGB-D深度相机的安装位置示意图；

图3是本发明客车乘员安全态势监控系统及方法实施例一的流程图；

图4是本发明客车乘员安全态势监控系统及方法实施例二的整体结构示意图；

图5是本发明客车乘员安全态势监控系统及方法实施例二的流程图。

具体实施方式

实施例1：长途客车乘员安全态势监控

在城际出行中，长途客车是重要的交通工具类型之一。根据运营法规规定，长途客车上实际乘客数量不可超过该型客车核定乘员数，且车辆行驶途中，每位乘客需要就座，不可站立搭乘。所以实际运营中，如何避免乘客超载及保证行程安全，如何实现运力的均衡调度，是所有的长途客运运营者、政府相关监管部门共同关心的重要课题。

本实施例中，如图1所示的客车乘员安全态势监控系统，系统的组成包括RGB-D深度相机、模式识别及决策单元、GPS定位模块、驾驶员终端、数据存储模块、移动数据通讯模块、接收移动数据通讯模块所传输信息的监控中心平台，该平台通过互联网与移动数据通讯模块实现数据通讯。

其中，RGB-D深度相机用于采集运营车辆车内的连续多帧RGB-D图像及深度图像，并且将所采集到的RGB-D图像及深度图像传输给模式识别及决策单元；

模式识别及决策单元接收RGB-D深度相机传输的多帧RGB-D图像及深度图像，对接收的RGB-D图像及深度图像进行三维重建，自动识别运营车辆内的乘员个体信息，将识别的乘员个体信息发送给驾驶员终端；并且模式识别及决策单元基于对乘员个体动作幅度及移动趋势的识别，判定当前车内的安全态势，在监测到乘员处于异常状态时向驾驶员终端发送报警信息；其中，模式识别及决策单元采用现有BundleFusion开源算法软件对接收的RGB-D图像及深度图像进行三维重建；

移动数据通讯模块与模式识别及决策单元相连，移动数据通讯模块接入移动互联网，通过互联网将模式识别及决策单元获得的车内安全态势信息与外部进行通讯；

驾驶员终端与模式识别及决策单元相连，用于接收模式识别及决策单元传输来的乘员个体信息和报警信息；

数据存储模块与模式识别及决策单元相连，用于接收和保存RGB-D图像及深度图像，并且存储模式识别及决策单元所发出的安全态势信息；

GPS定位模块与模式识别及决策单元相连，用于定位车辆当前的位置坐标，将车辆当前的位置坐标信息传输给模式识别及决策单元；

监控中心平台接入互联网，通过互联网与移动数据通讯模块进行通讯，通过移动数据通讯模块获得模式识别及决策单元识别的车内安全态势信息，监控中心平台具备接收存储信息、系统整体管理及监控功能。

本实施例中，运营车辆为长途客车，模式识别及决策单元对接收的RGB-D图像及深度图像进行三维重建后，通过运用头肩算法模型、人体骨骼跟踪算法模型来算出车内司乘人员所在位置、车内实际乘员数量、并识别乘客动作幅度及移动趋势；若实际乘员数量超载或者有乘客在行驶途中处于站立或走动状态，均判定为乘员处于异常状态；此时模式识别及决策单元向驾驶员终端发送警报信息；警报信息包括当前车内乘员数量、乘员异常状态的类型；同时该警报信息、RGB-D图像信息、当前车辆的坐标信息也将通过移动数据通讯模块发送至监控中心平台及数据存储模块，并且保存到数据存储模块。

图2是RGB-D深度相机在本实施例中的安装位置说明图：在长途客车平面顶视图中，驾驶员所在位置为车辆的左前方，在车辆的右前方车顶位置安装RGB-D深度相机，该深度相机具有广角的特性，视场角至少为90度；其视场可以覆盖客车内部所有位置。

图3是本实施例的系统流程图。

客车行驶途中，该RGB-D广角深度相机按照灵活设置的时间间隔(例如每5分钟)，采集车内连续多帧的RGB-D图像及深度图像，并将其发送到模式识别及决策单元。后者通过收到的RGB-D图像及深度图像实现三维重建，并运用头肩模型、人体骨骼跟踪算法判定当前的乘客数量及姿态，并与事先登记的该型客车核定乘员数量进行比对。

若模式识别及决策单元判断当前车内乘员数量在该型客车核定乘员数量之内，且乘员都处于就座的正常状态，则发送客车内乘员数量信息到驾驶员终端；该乘员数量信息、RGB-D图像信息、对应采样时刻客车的坐标信息通过移动数据通讯模块也将被发送到监控中心平台及数据存储模块，监控中心平台及数据存储模块都将同步保存上述所有信息；在实际运营中，为节省移动数据通信费用，城际客运企业也可以选择在车内运营态势正常的情况下，把监控中心平台接收信息的频率设置为低于车内安全态势监控采样间隔。例如在车内运营态势正常的情况下，每间隔5分钟，系统完成一次车内态势分析，而系统每间隔15分钟才向监控中心平台发送一次最新的信息。

若系统判定存在车辆超载，或有乘客在行驶途中处于站立或走动的异常状态，则向驾驶员终端发送警报信息；警报信息包括当前乘员异常状态的类型及客车内乘员数量；同时该警报信息、RGB-D图像信息、当前客车的坐标信息也将通过移动数据通讯模块被发送到监控中心平台及数据存储模块，监控中心平台及数据存储模块都将同步保存上述所有信息；若该情况下，驾驶员认为态势不严重或者不倾向于介入干预的话，可继续驾驶，交由监控中心进行跟进判断；监控中心平台收到警报信息后，其相关工作人员可及时调看所有信息，若判断情况可控，则可以向模式识别及决策单元远程发送“警报解除”的计算机指令，则报警状态将被解除；若驾驶员或监控中心任何一方判断车内安全态势情况较为严重，则可选择进入现场处置模式，现场处置措施包括路边停车，按章维持车内秩序，联系政府执法部门等措施；驾驶员完成现场处置后，可点击驾驶员终端，解除警报；只要警报未解除，模式识别及决策单元将控制RGB-D深度相机提升拍摄监控频次，例如每隔15秒，进入更高频度安全态势感知和监控，直到警报解除；

实施例2：城市公交驾驶员安全辅助及应急处理

城市公交驾驶员能够在营运过程中安全地驾驶，才能够保障全车乘客的生命财产安全。本实施例是本发明在城市公交驾驶员安全辅助及应急处理方面的应用。在本实施例中，系统重点监控公交车乘客可能对驾驶员实施的具有风险性的侵害行为。

我国交通部2016年底发布了交通运输行业标准《营运客车安全技术条件》(JT/T1094-2016)，文件规定在指定日期后，对车长大于9米的营运客车新车，需实施自动紧急制动系统(AEBS)的前撞预警功能。根据行业发展趋势，预期AEBS在客车行业未来将得以较大规模地推进实施。本实施例中，将结合客车车辆AEBS，在本发明系统判定客车车内出现危及驾驶员及乘客的情况时，借助AEBS，实现车辆的自动紧急制动。

本实施例中，如图4所示的客车乘员安全态势监控系统，系统的组成包括RGB-D深度相机、模式识别及决策单元、GPS定位模块、驾驶员终端、数据存储模块、移动数据通讯模块、接收移动数据通讯模块传输信息的监控中心平台，该平台通过互联网与移动数据通讯模块实现数据通讯；该公交车已安装AEBS(自主紧急制动系统)，本发明系统与AEBS通过CAN总线协议通讯。

其中，RGB-D深度相机用于采集运营车辆车内的连续多帧RGB-D图像及深度图像，并且将所采集到的RGB-D图像及深度图像传输给模式识别及决策单元；

模式识别及决策单元接收RGB-D深度相机传输的多帧RGB-D图像及深度图像，对接收的RGB-D图像及深度图像进行三维重建，自动识别运营车辆内的乘员个体信息，将识别的乘员个体信息发送给驾驶员终端；并且模式识别及决策单元基于对乘员个体动作幅度及移动趋势的识别，判定当前车内的安全态势，在监测到乘员处于异常状态时向驾驶员终端发送报警信息；

移动数据通讯模块与模式识别及决策单元相连，移动数据通讯模块接入移动互联网，通过互联网将模式识别及决策单元获得的车内安全态势信息与外部进行通讯；

驾驶员终端与模式识别及决策单元相连，用于接收模式识别及决策单元传输来的乘员个体信息和报警信息；

数据存储模块与模式识别及决策单元相连，用于接收和保存RGB-D图像及深度图像，并且存储模式识别及决策单元所发出的安全态势信息；

GPS定位模块与模式识别及决策单元相连，用于定位车辆当前的位置坐标，将车辆当前的位置坐标信息传输给模式识别及决策单元；

监控中心平台接入互联网，通过互联网与移动数据通讯模块进行通讯，通过移动数据通讯模块获得模式识别及决策单元识别的车内安全态势信息，监控中心平台具备接收存储信息、系统整体管理及监控功能；

AEBS安装在车辆内的，模式识别及决策单元与AEBS通过CAN总线进行协议通讯，模式识别及决策单元在监测到乘员安全态势处于紧急状态下向AEBS发出紧急制动指令，通过AEBS对车辆实施紧急制动。

本实施例中，运营车辆为城市公交车，模式识别及决策单元接收到RGB-D图像及深度图像后，对驾驶员重点识别范围内进行三维重建，运用头肩算法模型、人体骨骼跟踪算法模型判定驾驶员重点识别范围内乘客的姿态、动作幅度以及与驾驶员相对位置的变化趋势；若在重点识别范围内有乘员向驾驶员方向走动、或者乘客的躯干重心位置与驾驶员躯干重心位置的距离小于预设的安全距离，则判定为乘员处于异常状态，此时模式识别及决策单元向驾驶员终端发送警报信息，同时该警报信息、RGB-D图像信息、当前车辆的坐标信息也将通过移动数据通讯模块发送至监控中心平台及数据存储模块，并且保存到数据存储模块；若在重点识别范围内车内乘员的躯干或肢体与驾驶员的躯干或肢体极度接近，甚至发生接触，则判定为车辆处于紧急状态，此时模式识别及决策单元向车辆发出紧急制动指令。

本实施例中，RGB-D深度相机的安装位置和实施例一相同，如图2所示，在城市公交车平面顶视图中，驾驶员所在位置为车辆的左前方，在车辆的右前方车顶位置安装RGB-D深度相机，该深度相机具有广角的特性，视场角至少为90度；其视场可以覆盖车辆内部所有位置。

图5是本实施例的系统流程图。

城市公交车在班次执行途中，GPS定位模块将实时获得车辆当前位置坐标与车速信息，并将当前坐标与已知并预设的沿途站点坐标进行对比；若判断车辆位于某个沿途站点，且处于静止停靠情况下，系统在模式识别及决策单元控制下暂停图像采样及态势识别工作；若GPS定位模块判断车辆处于站与站之间行驶途中，RGB-D深度相机按照可灵活设置的较频密的时间间隔，例如每5秒，采集车内连续帧数的RGB-D图像及深度图像，并将其发送到模式识别及决策单元；后者通过收到的图像信息，对驾驶员附近内实现三维重建，该重点识别范围是以驾驶员躯干重心位置为圆心、识别半径为5米的圆形区域范围，并运用头肩模型、人体骨骼跟踪等算法判定重点识别半径范围内乘客的姿态、动作幅度，及与驾驶员相对位置的变化趋势；

若模式识别及决策单元判断重点识别半径范围内，车内乘员处于正常的站立或者就座的状态，不存在非必要的走动趋势，则发送“正常”状态信息到驾驶员终端；该状态信息、对应采样时刻客车的坐标信息也将被发送到数据存储模块并保存；每间隔1分钟，最新一次的“正常”状态信息及客车的坐标信息通过移动数据通讯模块也将被发送到监控中心平台，监控中心可以及时了解车辆位置及当前状态，并保存收到的数据信息；

若模式识别及决策单元判断重点识别半径范围内，有车内乘员向驾驶员方向走动，或其躯干重心位置与驾驶员距离小于预设的安全距离，例如安全距离为0.5米，则模式识别及决策单元将发送“异常”状态信息到驾驶员终端；同时该“异常”状态信息、RGB-D图像信息、当前客车的坐标信息也将通过移动数据通讯模块被发送到监控中心平台及数据存储模块，监控中心平台及数据存储模块都将同步保存上述所有信息；若该情况下，驾驶员认为态势不严重或者不倾向于介入干预的话，可继续驾驶，交由监控中心进行跟进判断；监控中心平台收到警报信息后，其相关工作人员可及时调看所有信息，若判断情况可控，则可以向模式识别及决策单元远程发送“警报解除”的计算机指令，则报警状态将被解除；若驾驶员或监控中心任何一方认为车内安全态势情况较为严重，则可选择进入现场处置模式，现场处置措施包括路边停车，按章维持车内秩序，联系政府执法部门等措施，驾驶员完成现场处置后，可点击驾驶员终端，解除警报；只要警报未解除，模式识别及决策单元将控制RGB-D深度相机提升拍摄监控频次，例如每隔1秒，进入更高频度安全态势感知和监控，直到情况恢复正常。

若模式识别及决策单元判断重点识别半径范围内，有车内乘员的躯干或肢体与驾驶员躯干或肢体极度接近，例如小于0.1米，甚至发生接触，则模式识别及决策单元将发送“紧急”状态信息到驾驶员终端，且驾驶员终端上的扬声器发出持续高音量警报声；同时该“紧急”状态信息、RGB-D图像信息、当前客车的坐标信息也将通过移动数据通讯模块被发送到监控中心平台及数据存储模块，监控中心平台及数据存储模块都将同步保存上述所有信息；驾驶员收到“紧急”状态信息后，若判断情况可控，则必须在2秒内点击驾驶员终端屏幕上的“警报解除”按钮，否则系统将判定驾驶员受到车内乘员侵犯，已无法自主控制车辆；基于该判定，模式识别及决策单元将立即通过客车CAN总线通讯机制，向车载AEBS发出紧急制动指令；AEBS收到后，将立刻自动操作车辆制动装置，对车辆实施制动；在制动完成车辆停止后，驾驶员与监控中心应立即根据应急预案，启动相关应急措施，确保驾驶员及全车乘客的安全。

本实施例中的自动紧急制动系统(AEBS)也可以安装在实施例一的长途客车中，应用原理和功能均相同。

本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。

Claims (10)

1.一种客车乘员安全态势监控系统，其特征在于：该系统包括安装于运营车辆上的RGB-D深度相机、模式识别及决策单元、移动数据通讯模块、驾驶员终端、数据存储模块和GPS定位模块，其中，

所述RGB-D深度相机用于采集运营车辆车内的连续多帧RGB-D图像及深度图像，并且将所采集到的RGB-D图像及深度图像传输给所述的模式识别及决策单元；

所述模式识别及决策单元接收所述RGB-D深度相机传输的多帧RGB-D图像及深度图像，对接收的RGB-D图像及深度图像进行三维重建，自动识别运营车辆内的乘员个体信息，将识别的乘员个体信息发送给所述的驾驶员终端；并且所述模式识别及决策单元基于对乘员个体动作幅度及移动趋势的识别，判定当前车内的安全态势，在监测到乘员处于异常状态时向所述的驾驶员终端发送报警信息；

所述移动数据通讯模块与所述模式识别及决策单元相连，所述移动数据通讯模块接入移动互联网，通过互联网将所述模式识别及决策单元获得的车内安全态势信息与外部进行通讯；

所述驾驶员终端与所述模式识别及决策单元相连，用于接收模式识别及决策单元传输来的乘员个体信息和报警信息；

所述数据存储模块与所述模式识别及决策单元相连，用于接收和保存RGB-D图像及深度图像，并且存储所述模式识别及决策单元所发出的安全态势信息；

所述GPS定位模块与所述模式识别及决策单元相连，用于定位车辆当前的位置坐标，将车辆当前的位置坐标信息传输给所述的模式识别及决策单元。

2.根据权利要求1所述的客车乘员安全态势监控系统，其特征在于：所述系统还包括位于车载外的具备远程监控的监控中心平台，所述监控中心平台接入互联网，通过互联网与所述的移动数据通讯模块进行通讯，通过所述移动数据通讯模块获得所述模式识别及决策单元识别的车内安全态势信息，所述监控中心平台具备接收存储信息、系统整体管理及监控功能。

3.根据权利要求2所述的客车乘员安全态势监控系统，其特征在于：所述运营车辆为长途客车，所述模式识别及决策单元对接收的RGB-D图像及深度图像进行三维重建后，通过运用头肩算法模型、人体骨骼跟踪算法模型来算出车内司乘人员所在位置、车内实际乘员数量、并识别乘客动作幅度及移动趋势；若实际乘员数量超载或者有乘客在行驶途中处于站立或走动状态，均判定为乘员处于异常状态；此时模式识别及决策单元向驾驶员终端发送警报信息；所述警报信息包括当前车内乘员数量、乘员异常状态的类型；同时该警报信息、RGB-D图像信息、当前车辆的坐标信息也将通过移动数据通讯模块发送至监控中心平台及所述数据存储模块，并且保存到数据存储模块。

4.根据权利要求2所述的客车乘员安全态势监控系统，其特征在于：所述运营车辆为城市公交车，所述模式识别及决策单元接收到RGB-D图像及深度图像后，对驾驶员重点识别范围内进行三维重建，运用头肩算法模型、人体骨骼跟踪算法模型判定驾驶员重点识别范围内乘客的姿态、动作幅度以及与驾驶员相对位置的变化趋势；若在重点识别范围内有乘员向驾驶员方向走动、或者乘客的躯干重心位置与驾驶员躯干重心位置的距离小于预设的安全距离，则判定为乘员处于异常状态，此时模式识别及决策单元向驾驶员终端发送警报信息，同时该警报信息、RGB-D图像信息、当前车辆的坐标信息也将通过移动数据通讯模块发送至监控中心平台及所述数据存储模块，并且保存到数据存储模块；若在重点识别范围内车内乘员的躯干或肢体与驾驶员的躯干或肢体极度接近，甚至发生接触，则判定为车辆处于紧急状态，此时模式识别及决策单元向车辆发出紧急制动指令。

5.根据权利要求3或4所述的客车乘员安全态势监控系统，其特征在于：所述的运营车辆为具备AEBS的车辆，所述系统还包括安装在车辆内的AEBS，所述模式识别及决策单元与AEBS通过CAN总线进行协议通讯，所述模式识别及决策单元在监测到乘员安全态势处于紧急状态下向所述AEBS发出紧急制动指令，通过AEBS对车辆实施紧急制动。

6.一种客车乘员安全态势监控方法，其特征在于，该方法包括如下步骤：

步骤1：在营运车辆的前部安装RGB-D深度相机，该RGB-D深度相机具有广角拍摄的特性，拍摄区域可覆盖驾驶员座位及乘客区的车内完整范围，所述车辆内部还安装有模式识别及决策单元、移动数据通讯模块、驾驶员终端、数据存储模块和GPS定位模块，其中，模式识别及决策单元分别与所述RGB-D深度相机、移动数据通讯模块、驾驶员终端、数据存储模块和GPS定位模块相连；

步骤2：在运营车辆整个行驶过程中，RGB-D深度相机按照预设时间间隔，采集连续多帧RGB-D图像及深度图像，图像数据流实时传送到模式识别及决策单元；

步骤3：车内模式识别及决策单元根据收到的连续多帧RGB-D图像及深度图像，对车内场景进行实时三维重建，自动识别运营车辆内的乘员个体信息，将识别的乘员个体信息发送给所述的驾驶员终端；并且所述模式识别及决策单元基于对乘员个体动作幅度及移动趋势的识别，判定当前车内的安全态势，在监测到乘员处于异常状态时向所述的驾驶员终端发送报警信息；

步骤4：经系统运算判定的车内当前乘员安全态势信息，将实时显示在驾驶员信息显示终端；各个监控采样时点乘员数量信息及对应车辆坐标信息这些运营参数将同步发送到移动数据通讯模块及数据存储模块；移动数据通讯模块通过互联网可同步将接收的运营参数信息发送到车载外的具备远程监控的监控中心平台；监控中心平台及数据存储模块将存储收到的运营参数；

步骤5：若车内模式识别及决策单元通过运算识别出车内乘客行为异常，则驾驶员终端会显示相应警报提示；并同步将警报信息、当前采样时点完整RGB-D图像、车辆当前坐标信息通过移动 数据通讯模块发送到监控中心平台及数据存储模块，监控中心平台及数据存储模块收到后可及时保存；驾驶员收到警报提示进行处理；监控中心平台收到警报信息后，相关工作人员可及时调看所有信息，并可向对应车辆的模式识别及决策单元远程发送执行指令以介入决策过程，或向驾驶员终端远程发送处理建议信息，为驾驶员现场处置提供必要的协助；当发现乘员处于异常情况后，模式识别及决策单元将控制RGB-D深度相机进行连续拍摄，进行更高频度的安全态势感知和监控，直至异常情况解除。

7.根据权利要求6所述的客车乘员安全态势监控方法，其特征在于：所述运营车辆为长途客车，所述步骤3中，模式识别及决策单元通过运用头肩算法模型、人体骨骼跟踪算法模型来算出车内司乘人员所在位置、车内实际乘员数量、并识别乘客动作幅度及移动趋势；若实际乘员数量超载或者有乘客在行驶途中处于站立或走动状态，均判定为乘员处于异常状态。

8.根据权利要求6所述的客车乘员安全态势监控方法，其特征在于：所述运营车辆为城市公交车，所述步骤3中，模式识别及决策单元对驾驶员重点识别范围内进行三维重建，运用头肩算法模型、人体骨骼跟踪算法模型判定驾驶员重点识别范围内乘客的姿态、动作幅度以及与驾驶员相对位置的变化趋势；若在重点识别范围内有乘员向驾驶员方向走动、或者乘客的躯干重心位置与驾驶员躯干重心位置的距离小于预设的安全距离，则判定为乘员处于异常状态；若在重点识别范围内车内乘员的躯干或肢体与驾驶员的躯干或肢体极度接近，甚至发生接触，则判定为车辆处于紧急状态，此时模式识别及决策单元向车辆发出紧急制动指令。

9.根据权利要求6至8任一项所述的客车乘员安全态势监控方法，其特征在于：所述步骤4中，正常运营情况下，RGB-D深度相机获取的图像根据设定的时间间隔发送到监控中心平台，设定的常规发送时间间隔大于RGB-D深度相机的监控采样间隔；当出现异常状态时，则设定的发送时间间隔小于RGB-D深度相机的监控采样间隔，进入高频度安全态势监控，直至警报解除。

10.根据权利要求6至8任一项所述的客车乘员安全态势监控方法，其特征在于：所述步骤5中，驾驶员终端具有触摸式显示屏和扬声器；所述车辆内设置有AEBS，模式识别及决策单元与AEBS通过CAN总线进行协议通讯，所述模式识别及决策单元在监测到乘员安全态势处于紧急状态下向所述AEBS发出紧急制动指令，通过AEBS对车辆实施紧急制动。

Images