CN103280108A

CN103280108A - 基于视觉感知和车联网的客车安全预警系统

Info

Publication number: CN103280108A
Application number: CN2013101872493A
Authority: CN
Inventors: 谢剑斌; 闫玮; 刘通; 李沛秦
Original assignee: CHANGSHA JIAFENG ELECTRONIC TECHNOLOGY Co Ltd; National University of Defense Technology
Current assignee: CHANGSHA JIAFENG ELECTRONIC TECHNOLOGY Co Ltd; National University of Defense Technology
Priority date: 2013-05-20
Filing date: 2013-05-20
Publication date: 2013-09-04
Anticipated expiration: 2033-05-20
Also published as: CN103280108B

Abstract

本发明涉及一种基于视觉感知和车联网的客车安全预警系统。包括车载系统（101）、监控中心软件（102）、RFID通信模块（103）、检查站软件（104）、驾驶员RFID卡（105），车载系统负责采集和存储车内外视频图像，车辆载客人数统计、驾驶员疲劳状态检测、车内异常状态检测、手动报警信息检测、车辆行驶信息采集等工作。本发明的客车安全预警系统通过采集车门口处的视频图像，采用基于区域运动矢量聚类的人数检测方法实现上下车人数的精确统计；通过采集驾驶员的面部视频图像，采用自模板匹配的疲劳检测方法，实现对疲劳驾驶的准确检测，达到客车安全行驶的作用。该系统使用基于智能视频分析的超载检测技术，检测精度高，检测结果可以通过3G通信传输到监控中心、通过RFID传输到检查站，发现超载后自动报警，方便监管。

Description

基于视觉感知和车联网的客车安全预警系统

技术领域

本发明涉及基于视觉感知和车联网的客车安全预警系统。

背景技术

长途客车是一种常用的公共交通运输方式，随着我国汽车数量的增加和国家公路网的建设，城市间的往来日益频繁。受经济利益的驱使，长途客运市场普遍存在超员、超速、随意上下客、疲劳驾驶等问题，由此造成的重特大交通事故逐年增加，已严重威胁了人民群众的生命和财产安全；另外由于载客人数众多，偷窃、抢劫等犯罪行为屡有发生。目前，针对超载、超速、疲劳驾驶等问题，客运交通监管部门制定了多项规章制度，但缺乏相应的技术监管手段，主要采用设立检查站和路上巡检的传统方法检测客车是否超员，这些方法耗费人力物力，自动化程度不高，管理落后而且检测精度很低。

目前长途客车行驶中存在的安全隐患主要包括超载、超速、车内打斗、疲劳驾驶、无照驾驶、高速上下客等，应用于长途客车的车辆安全预警系统应当能够实时检测到上述问题，并通过无线通信将报警信息发送到相关监管部门。现有的专利和产品仅仅具备少数几项功能，不能满足实际应用需求。

专利【公路客车安全辅助监控管理系统--客车黑匣子.200610164461.8】使用激光对射探头上下车人数进行统计，这种方法易受乘客拥挤的影响造成误判；使用拍摄速度表画面进行超速监测，这种方法的适用性较差；使用计时器进行疲劳驾驶检测，不能实时判断驾驶员的驾驶状态；另外只具备本地检测功能，不具备远程报警、车内异常情况监测、GPS车辆定位。

专利【长途客车安全监视系统.200810038249.6】使用摄像机进行上下车人数统计，仅实现了超载检测功能，不具备疲劳驾驶检测，不具备车内异常情况检测、超速检测、远程检测、GPS车辆定位。

专利【客车疲劳驾驶及超载运输的远程监控装置.200420072961.5】使用远程拍照进行人数统计，系统实时性差；使用IC卡刷卡实现疲劳驾驶检测，不能防止一人多卡的情况；不具备车内异常情况检测、超速检测、GPS车辆定位。

专利【一种客车超载监控装置.201120535176.9】、【一种基于单片机的客车超载监控装置.201120492430.1】使用红外对射进行上下车人数统计，仅实现了超载检测功能，且这种方法易受乘客拥挤的影响造成误判；不具备疲劳驾驶检测，不具备车内异常情况检测，不具备超速检测、远程检测、GPS车辆定位。

文献【远程无线智能车载监控系统.国防科技大学工程硕士学位论文.2008.10】使用红外对射进行上下车人数统计，这种方法易受乘客拥挤的影响造成误判；使用GPRS传输车辆载客信息和车载GPS信息，不能实时上传车内视频，不具备疲劳驾驶检测、车内异常情况检测。

发明内容

为解决现有客车安全监控面临的问题，本发明提出了一种基于视觉感知和车联网的客车安全预警系统。

本发明的技术方案如下：

1、客车安全预警系统包括车载系统101、监控中心软件102、RFID通信模块103、检查站软件104、驾驶员RFID卡105，各部分关系如图1所示，其中，车载系统101通过3G通信方式与监控中心软件102通信，车载系统101通过RFID通信方式与驾驶员RFID卡105通信，车载系统101通过RFID通信方式与RFID通信模块103通信，RFID通信模块103与检查站软件104相连接。

车载系统101负责采集和存储车内外视频图像，车辆载客人数统计、驾驶员疲劳状态检测、车内异常状态检测、手动报警信息检测、车辆行驶信息采集等工作；车载系统101通过RFID通信读取驾驶员RFID卡105中的驾驶员身份信息；车载系统101通过3G通信将车辆行驶信息和异常报警信息发送到监控中心软件102；车载系统101通过RFID通信将车辆实时情况发送至检查站的RFID通信模块103上，进而显示在检查站软件104上。

监控中心软件102通过3G通信接收车载系统101的车辆信息，根据需要将所需的视频数据进行记录保存；记录车辆的运行轨迹；记录车辆的异常报警数据；当接收到异常报警数据后以声光方式提醒监视人员注意。

2、车载系统101包括：车载系统主机201、近场RFID模块202、远程RFID模块203、手动报警按钮204、3G通信系统天线205、卫星定位系统天线206、人数统计摄像机A207、车门开闭传感器A208、疲劳检测摄像机209、车内情况摄像机210、车前情况摄像机211、人数统计摄像机B212、车门开闭传感器B213，其中，近场RFID模块202、远程RFID模块203、手动报警按钮204、3G通信系统天线205、卫星定位系统天线206、人数统计摄像机A207、车门开闭传感器A208、疲劳检测摄像机209、车内情况摄像机210、车前情况摄像机211、人数统计摄像机B212、车门开闭传感器B213均与车载系统主机201相连，如图2所示。

车载系统主机201负责所有的数据分析处理与流程控制；近场RFID模块202用于读取驾驶员身份验证卡；远程RFID模块203用于将车辆当前状态传输至车外检查站；手动报警按钮204用于驾驶员在紧急情况下手动报警；3G通信系统天线205用于3G通讯信号收发；卫星定位系统天线206用于接收卫星定位信号；疲劳检测摄像机209用于采集驾驶员面部画面；车内情况摄像机210用于采集车厢内实时画面；车前情况摄像机211用于采集车辆行驶前方实时画面；人数统计摄像机B212用于采集副车门的上下客画面；车门开闭传感器B213用于判断副车门的开闭状态。

3、车载系统主机201包括：ARM中心控制模块301、DSP智能视频分析模块302、SOC音视频编码存储传输模块303、车载电源模块304、外部电源接口305、RS232接口306、近场RFID接口307、远程RFID接口308、车门传感器接口A309、车门传感器接口B310、摄像机电源接口A311、摄像机电源接口B312、摄像机电源接口C313、摄像机电源接口D314、摄像机电源接口E315、四合一视频合成模块316、视频分配模块A317、视频分配模块B318、输入视频接口A319、输入视频接口B320、输入视频接口C321、输入视频接口D322、输入视频接口E323、输出视频接口324、3G天线接口325、卫星定位天线接口326、报警按钮接口327、SD卡接口328、USB接口329，如图3所示，其中：外部电源接口305与车载电源模块304连接；车载电源模块304与ARM中心控制模块301连接；DSP智能视频分析模块302、SOC音视频编码存储传输模块303、RS232接口306、近场RFID接口307、远程RFID接口308、车门传感器接口A309、车门传感器接口B310分别与ARM中心控制模块301连接；ARM中心控制模块301与摄像机电源接口A311、摄像机电源接口B312、摄像机电源接口C313、摄像机电源接口D314、摄像机电源接口E315连接；3G天线接口325、卫星定位天线接口326、报警按钮接口327、SD卡接口328及USB接口329分别与SOC音视频编码存储传输模块303连接；输入视频接口C321连接到视频分配模块A317；输入视频接口D322连接到视频分配模块B318；视频分配模块A317、视频分配模块B318、输入视频接口A319及输入视频接口B320分别连接到四合一视频合成模块316；四合一视频合成模块316连接到DSP智能视频分析模块302；视频分配模块A317、视频分配模块B318、输入视频接口E323及输出视频接口324分别与SOC音视频编码存储传输模块303连接。

外部电源接口305用于和车辆电瓶相连接，供电给车载电源模块304；车载电源模块304将接收到的电源转换为稳定的DC12V输出给ARM中心控制模块301。

ARM中心控制模块301负责协调系统各模块的运行，包括给系统内部各模块提供工作电源；根据实际需要通过摄像机电源接口A311、摄像机电源接口B312、摄像机电源接口C313、摄像机电源接口D314、摄像机电源接口E315为外部摄像机提供工作电源；ARM中心控制模块301通过RS232接口306进行系统参数调节；ARM中心控制模块301通过近场RFID接口307与近场RFID模块202通信；ARM中心控制模块301通过远程RFID接口308与远程RFID模块203通信；ARM中心控制模块301通过车门传感器接口A309、车门传感器接口B310与车门传感器通信；ARM中心控制模块301与DSP智能视频分析模块302进行数据交换；ARM中心控制模块301与SOC音视频编码存储传输模块303进行数据交换。

输入视频接口A319用于和人数统计摄像机A207连接，将视频数据送入四合一视频合成模块316；输入视频接口B320用于和人数统计摄像机B212连接，将视频数据送入四合一视频合成模块316；输入视频接口C321用于和疲劳检测摄像机209连接，将视频数据送入视频分配模块A317；输入视频接口D322用于和车内情况摄像机210连接，将视频数据送入视频分配模块B318；输入视频接口E323用于和车前情况摄像机211连接，将视频数据送入SOC音视频编码存储传输模块303；视频分配模块A317、视频分配模块B318将接收到的视频数据分为两路，一路传送给四合一视频合成模块316，另一路传送给SOC音视频编码存储传输模块303；四合一视频合成模块316将4路输入视频合成1路送至DSP智能视频分析模块302。

DSP智能视频分析模块302在ARM中心控制模块301的控制下，通过分析四合一视频合成模块316传来的视频数据，进行上下车人数统计、驾驶员疲劳状态检测、车厢内异常情况检测的工作，并将处理结果发送给ARM中心控制模块301。

SOC音视频编码存储传输模块303和ARM中心控制模块301进行通信，接收异常情况报警信号；将接收到的视频数据进行编码，SOC音视频编码存储传输模块303通过SD卡接口328将数据存储在SD卡上；SOC音视频编码存储传输模块303通过输出视频接口324提供环路输出功能；SOC音视频编码存储传输模块303通过USB接口329可连接U盘、鼠标等通用USB设备；SOC音视频编码存储传输模块303通过报警按钮接口327接收驾驶员手动报警信号；SOC音视频编码存储传输模块303通过卫星定位天线接口326接收卫星定位信号，实现车辆定位；SOC音视频编码存储传输模块303通过3G天线接口325和管理中心实现高速无线通信，进行报警信号、车内视频数据的实时上传。

4、监控中心软件102包括：3G数据转发模块401、车辆数据解码模块402、视频数据解码模块403、信息综合显示模块404、数据库管理模块405，如图4所示。其中3G数据转发模块401负责接收车载系统101传来的3G通信数据包，并将车辆信息数据包转发给车辆数据解码模块402，将视频信息数据包转发给视频数据解码模块403；车辆数据解码模块402负责解码车辆信息数据包，获取车辆载客数量、当前位置、行驶速度、驾驶员状况、异常情况报警信号等数据，并将数据传输给信息综合显示模块404；视频数据解码模块403负责解码视频信息数据包，并将解码后的视频数据传输给信息综合显示模块404；信息综合显示模块404负责显示接收到的车辆状况信息和车内视频信息，接收到报警信号后，以声光提示方式提醒监控人员注意，并将信息传递给数据库管理模块405；数据库管理模块405负责将车辆运行信息记录入数据库，用于后期查询。

监控中心软件102的功能包括3G通信数据接收与转发、压缩视频数据解码与显示、车辆行驶数据接收与电子地图显示、异常报警数据接收与主动提示、车辆行驶信息的记录与检索。

5、车载系统101与驾驶员RFID卡105、RFID通信模块103和检查站软件104交换信息的流程如下：

Step1：车辆启动后，车载系统101通过近场RFID模块202读取驾驶员RFID卡105获取车辆注册信息，通过视频分析获取车辆实际载客信息；

Step2：车辆行驶至有远程RFID读取设备的检查站附近时，远程RFID模块203被激活，车载系统101通过RFID向外传输车辆实时信息；

Step3：RFID通信模块103接收到车载系统101的信号，并将数据转发给检查站软件104；

Step4：检查站软件104通过分析接收到的车辆实时信息，判断车辆是否存在超载等违规驾驶情况。

本发明的客车安全预警系统通过采集车门口处的视频图像，采用基于区域运动矢量聚类的人数检测方法实现上下车人数的精确统计；通过采集驾驶员的面部视频图像，采用自模板匹配的疲劳检测方法，实现对疲劳驾驶的准确检测，达到客车安全行驶的作用。

1、基于区域运动矢量聚类的人数检测方法

传统的基于视频分析的人数检测方法需要将整个运动人体完整的分割出来，只适用于开阔场景的人数统计。对于车载系统而言，由于车门区域狭小且上下车乘客存在拥挤，使用传统的运动区域分割方法会把多个目标误认为一个，导致计数出错。

本发明首先对检测到的运动区域进行颜色聚类，将大运动区域划分为数个小运动区域，然后计算每一个小运动区域的运动矢量，然后将运动矢量相似且空间分布相邻的小区域重新组合为大区域，这样得到的大区域即为单个乘客的分割结果，通过统计这种大区域的运动趋势，即可实现上下车人数统计，方法流程如下：

（1）单个乘客目标分割方法

Step1、连续采集相邻3帧彩色视频图像I₁、I₂、I₃，将其转换为灰度视频图像G₁、G₂、G₃，对这3帧灰度视频图像使用3帧差法提取运动区域D_i，这里i的取值为1~N，N为提取到的运动区域总数；

Step2、对I₂中每一个D_i对应的区域进行颜色聚类，根据聚类结果将该区域划分为小区域t_2ij,这里t_2ij中的2表示第2帧，i的含义和D_i中的i相同，j的取值为1~m，m为聚类后分割的子区域总数；

Step3、对于每一个t_2ij，使用模板匹配法在I₁、I₃中定位相匹配的区域t_1ij、t_3ij，这里t_1ij的1对应第1帧，t_3ij的3对应第3帧，i、j和t_2ij中的i、j含义相同；

Step4、对于每一对t_1ij、t_3ij，根据质心坐标求取t_3ij的运动矢量mv_ij，这里mv_ij中的i、j和t_3ij中的i、j含义相同；

Step5、对于所有的t_3ij，考察相邻两个区域的运动矢量差值的模值，并将模值小于1的区域合并为一个新的区域，新区域的运动矢量为参与合并的两个区域的运动矢量的均值；

Step6、重复执行Step5，直至没有区域可以满足合并的要求，此时得到的区域即为单个乘客目标区域T_k，这里k的取值范围为1~L，L为本次分割得到的单个乘客目标区域总数；

（2）乘客计数方法

Step2.1、连续采集相邻3帧彩色视频图像，使用单个乘客目标分割方法得到单个乘客目标区域

，这里t为采集的时间点；

Step2.2、再次连续采集相邻3帧彩色视频图像，使用单个乘客目标分割方法得到单个乘客目标区域

；

Step2.3、使用模板匹配法在

和中查找相匹配的目标区域，并记录区域的运动轨迹；

Step2.4、重复执行Step2.1~ Step2.3，如果单个乘客目标区域初始位置为车门外侧，则当其完全处于车门内侧时车载乘客数加1，如果单个乘客目标区域初始位置为车门内侧，则当其完全处于车门外侧时车载乘客数减1。

2、使用自模板匹配的疲劳检测方法

本发明在系统启动后，首先在车辆启动后行驶的前分钟一段时间内持续获取若干采集驾驶员面部视频画面，并从中选取质量最好的一幅画面作为模板，然后在后续驾驶过程中，使用该模板对驾驶员的驾驶时间和驾驶状态进行实时监测，方法流程如下：

（1）驾驶员人脸模板初始化

Step1、采集驾驶员头部视频图像，并使用Adaboost方法定位驾驶员面部区域，并划分眼睛和鼻子区域；

Step2、根据两眼中心连线的中点和鼻子区域的中点划定驾驶员面部中线，并对两侧区域分别提取harris角点，并统计两侧角点的总数JD₁和JD₂，如果JD₁和JD₂的差值超过JD₁和JD₂中较小值的50%，如下式所示，则转入Step1，否则转入Step3；

\frac{abs ({JD}_{1} - {JD}_{2})}{\min ({JD}_{1}, {JD}_{2})} > 0.5

Step3、对于JD₁和JD₂中较小值对应的区域中的每一个角点jd_i，这里i为角点的编号，找到其关于驾驶员面部中线的镜像对称点jd_i＇，在以jd_i＇为中心、D(jd_i, jd_i＇)/20为半径的区域内如果存在和jd_i对应的像素点的灰度差值小于20的提取到的harris角点对应的像素点，则称角点jd_i存在对称点，如果存在对称点的harris角点数量超过该区域harris角点总数的70%，则判定该人脸区域具有对称性，转入Step4，否则转入Step1，这里D(jd_i, jd_i＇)表示jd_i和jd_i＇间的欧氏距离；

Step4、使用canny算子对人脸区域进行边缘检测，以检测结果二值图中边缘像素点总数与区域像素点总数之比作为当前人脸区域的清晰度指标，如果该指标高于之前的最佳人脸区域清晰度指标，则将当前人脸区域作为最佳人脸区域；

Step5、持续重复执行Step3.1~ Step3.4满足系统模板初始化时间Time_TH_1，此时保留下来的最佳人脸区域即为驾驶员人脸模板，其中Time_TH_1的单位为分钟，取值通常为5。

（2）驾驶员疲劳驾驶检测

Step1、驾驶员人脸模板初始化，驾驶员连续驾驶时间t_cd清零，驾驶员更换持续时间t_dc清零，其中t_cd和t_dc的单位为分钟。

Step2、每分钟采集一次驾驶员面部视频图像，并使用Adaboost方法定位驾驶员面部区域；

Step3、使用SIFT匹配方法衡量当前驾驶员面部画面和驾驶员模板画面的匹配程度，如果匹配，转入Step4，否则转入Step5；

Step4、驾驶员连续驾驶时间t_cd加1，驾驶员更换持续时间t_dc清零，如果t_cd超过疲劳驾驶时间阈值Time_TH_2，则发出疲劳驾驶状态报警，否则转入Step2，其中Time_TH_2的单位为分钟，取值通常为240；

Step5、驾驶员更换持续时间t_dc加1，如果t_dc超过驾驶员更换时间阈值Time_TH_3，则说明驾驶员已经更换，转入Step1，否则转入Step2，Time_TH_3的单位为分钟，取值通常为5。

本发明的主要优点如下：

（1）使用基于智能视频分析的超载检测技术，检测精度高，检测结果可以通过3G通信传输到监控中心、通过RFID传输到检查站，发现超载后自动报警，方便监管。

（2）使用基于卫星导航定位的车速检测技术，检测结果精确可靠，不会被篡改，检测结果可以通过3G通信传输到监控中心、通过RFID传输到检查站，发现超速后自动报警，方便监管。

（3）使用基于智能视频分析技术的疲劳检测技术，实时判定驾驶员的疲劳状态，检测结果更可靠，发现疲劳驾驶后主动进行本地报警和远程报警，杜绝安全隐患。

（4）使用基于卫星导航定位的车辆位置实时检测技术，结合监控中心的行驶轨迹记录功能，可以检测驾驶员是否按照规定路线行驶，一旦发现私自更改行车线路的问题，系统将自动报警。

（5）使用基于智能视频分析技术的司机驾驶状态检测技术，实时判定驾驶员是否存在边开车边打手机的情况，检测结果可靠，发现问题后主动进行本地报警和远程报警，杜绝安全隐患。

（6）使用基于智能视频分析技术的司机驾驶状态检测技术，实时判定驾驶员是否存在边开车边吃东西的情况，检测结果可靠，发现问题后主动进行本地报警和远程报警，杜绝安全隐患。

（7）使用基于智能视频分析技术的司机驾驶状态检测技术，实时判定驾驶员是否存在开车时打牌、不看路等不专注驾驶情况，检测结果可靠，发现问题后主动进行本地报警和远程报警，杜绝安全隐患。

（8）使用基于智能视频分析技术的车内异常情况检测技术，实时判定车厢内是否存在扒窃、斗殴等异常情况，检测结果可靠，发现问题后主动进行本地报警和远程报警，杜绝安全隐患。

（9）支持手动报警功能，方便驾驶员在紧急情况下手动远程报警，提高各级相关部门应对突发状况的反应速度。

（10）设备便于安装、可靠性高，系统功能完备，符合长途客运对行车安全监管的需求。

附图说明

图1 客车安全预警系统结构图；

图2 车载系统结构图；

图3 车载系统主机结构图；

图4 监控中心软件结构图。

具体实施方式

下面对本发明的具体实施方式进行说明，该说明只表明本发明的一种可能实施方式，不作为权利要求的限定。

1、系统安装

（1）根据客车驾驶台的实际情况将车载系统主机101安装在适当的位置，并从车辆电瓶上引电源接到车载系统主机101。

（2）将近场RFID模块102安装在距离驾驶员较近的位置，并与车载系统主机101相连。

（3）将远程RFID模块103安装在距离车辆外壳较近的位置，并与车载系统主机101相连。

（4）将手动报警按钮104安装在驾驶员可以方便使用且较为隐蔽的位置，并与车载系统主机101相连。

（5）将3G通信系统天线105和卫星定位系统天线106安装在距离车辆外壳较近的位置，并与车载系统主机101相连。

（6）将人数统计摄像机A107安装在主车门上方能够拍摄车门进出人员的位置，将车门开闭传感器A108安装在主车门和门框上，并将二者与车载系统主机101相连。

（7）将疲劳检测摄像机109安装在驾驶台附近可以拍摄驾驶员面部的位置，并与车载系统主机101相连。

（8）将车内情况摄像机110安装在车顶、靠近驾驶员一侧、能够拍摄整个车厢画面的位置，并与车载系统主机101相连。

（9）将车前情况摄像机111安装在前挡风玻璃附近可以拍摄车辆前方画面的位置，并与车载系统主机101相连。

（10）将人数统计摄像机B112安装在副车门上方能够拍摄车门进出人员的位置，将车门开闭传感器B113安装在副车门和门框上，并将二者与车载系统主机101相连。对于没有副车门的中型客车，此步骤可以省略。

（11）建立具备互联网接入能力的监视中心，运行监视中心软件102。

（12）在检查站安装RFID通信模块103和检查站软件104。

（13）给驾驶员配备驾驶员RFID卡105。

2、系统运行

（1）当系统检测到车辆停止且车门打开时，车载系统主机101通过分析人数统计摄像机A107和人数统计摄像机B112采集的乘客上下车的视频画面，来统计上下车的人数，进而判断客车载客人数；当车门关闭且车辆开始运行时，车载系统主机101将客车载客人数通过3G网络发送到监控中心。监控中心的平台软件一旦判定车辆处于超载状态，一方面提醒监控人员注意，另一方面通过3G网回传提示信息警告驾驶员。

（2）当车门关闭且车辆开始运行时，车载系统主机101通过分析疲劳检测摄像机109的视频画面，判断司机是否处于疲劳驾驶状态，一旦发现异常，立即以声光报警提示驾驶员，同时通过3G网络将报警信息发送到监控中心。

（3）当车门关闭且车辆开始运行时，车载系统主机101通过分析车内情况摄像机110的视频画面，判断车厢内状态，一旦发现异常，立即以声光报警提示驾驶员，同时通过3G网络将报警信息发送到监控中心。

（4）当车门关闭且车辆开始运行时，驾驶员一旦按下手动报警按钮104，车载系统主机101通过3G网络将报警信息发送到监控中心。

（5）当车门关闭且车辆开始运行时，车载系统主机101持续接收卫星定位信息，并将车辆的运行参数通过3G网络发送到监控中心。监控中心的平台软件一旦判定车辆处于超速状态，一方面提醒监控人员注意，另一方面通过3G网回传提示信息警告驾驶员。

（6）当车门关闭且车辆开始运行时，车载系统主机101将疲劳检测摄像机109、车内情况摄像机110、车前情况摄像机111的数据编码后存储在SD卡中，便于后期查阅。监控人员使用监控中心的平台软件，通过3G网络与车载系统主机101建立连接后，可浏览疲劳检测摄像机109、车内情况摄像机110、车前情况摄像机111的实时画面和历史记录。

（7）当车辆行驶到有远程RFID读取设备的检查站附近时，车载系统主机101通过远程RFID模块将车辆的相关信息传输至检查站，实现快速不停车检测。

Claims

1.基于视觉感知和车联网的客车安全预警系统，通过采集车门口处的视频图像，采用基于区域运动矢量聚类的人数检测方法实现上下车人数的精确统计；通过采集驾驶员的面部视频图像，采用自模板匹配的疲劳检测方法，实现对疲劳驾驶的准确检测，其特征在于，

所述基于区域运动矢量聚类的人数检测方法，首先对检测到的运动区域进行颜色聚类，将大运动区域划分为数个小运动区域，然后计算每一个小运动区域的运动矢量，然后将运动矢量相似且空间分布相邻的小区域重新组合为大区域，这样得到的大区域即为单个乘客的分割结果，通过统计这种大区域的运动趋势，即可实现上下车人数统计；

所述自模板匹配的疲劳检测方法，首先在车辆启动后的一段时间内持续采集驾驶员面部视频画面，并从中选取质量最好的一幅画面作为模板，然后在后续驾驶过程中，使用该模板对驾驶员的驾驶时间和驾驶状态进行实时监测。

2.根据权利要求1所述的基于视觉感知和车联网的客车安全预警系统，其特征在于，所述基于区域运动矢量聚类的人数检测方法，具体流程如下：

（1）单个乘客目标分割方法

Step1.1、连续采集相邻3帧彩色视频图像

、

、

，将其转换为灰度视频图像

、、

，对这3帧灰度视频图像使用3帧差法提取运动区域，这里的取值为

，

为提取到的运动区域总数；

Step1.2、对中每一个对应的区域进行颜色聚类，根据聚类结果将该区域划分为小区域

,这里

中的2表示第2帧，

的含义和

中的

相同，

的取值为

，

为聚类后分割的子区域总数；

Step1.3、对于每一个

，使用模板匹配法在

、

中定位相匹配的区域

、

，这里

的1对应第1帧，

的3对应第3帧，

、

和

中的、含义相同；

Step1.4、对于每一对

、

，根据质心坐标求取的运动矢量

，这里中的

、和

中的、

含义相同；

Step1.5、对于所有的

，考察相邻两个区域的运动矢量差值的模值，并将模值小于1的区域合并为一个新的区域，新区域的运动矢量为参与合并的两个区域的运动矢量的均值；

Step1.6、重复执行Step1.5，直至没有区域可以满足合并的要求，此时得到的区域即为单个乘客目标区域

，这里k的取值范围为

，

为本次分割得到的单个乘客目标区域总数；

（2）乘客计数方法

，这里

为采集的时间点；

Step2.2、再次连续采集相邻3帧彩色视频图像，使用单个乘客目标分割方法得到单个乘客目标区域；

Step2.3、使用模板匹配法在

和

中查找相匹配的目标区域，并记录区域的运动轨迹；

3.根据权利要求1所述的基于视觉感知和车联网的客车安全预警系统，其特征在于，所述自模板匹配的疲劳检测方法，具体流程如下：

（1）驾驶员人脸模板初始化

Step3.1、采集驾驶员头部视频图像，并使用Adaboost方法定位驾驶员面部区域，并划分眼睛和鼻子区域；

Step3.2、根据两眼中心连线的中点和鼻子区域的中点划定驾驶员面部中线，并对两侧区域分别提取harris角点，并统计两侧角点的总数

和

，如果

和的差值超过和

中较小值的50%，如下式所示，则转入Step3.1，否则转入Step3.3；

Step3.3、对于和

中较小值对应的区域中的每一个角点

，这里

为角点的编号，找到其关于驾驶员面部中线的镜像对称点

，在以为中心、

为半径的区域内如果存在和

对应的像素点的灰度差值小于20的提取到的harris角点对应的像素点，则称角点

存在对称点，如果存在对称点的harris角点数量超过该区域harris角点总数的70%，则判定该人脸区域具有对称性，转入Step3.4，否则转入Step3.1，这里

表示

和

间的欧氏距离；

Step3.4、使用canny算子对人脸区域进行边缘检测，以检测结果二值图中边缘像素点总数与区域像素点总数之比作为当前人脸区域的清晰度指标，如果该指标高于之前的最佳人脸区域清晰度指标，则将当前人脸区域作为最佳人脸区域；

Step3.5、持续重复执行Step3.1~ Step3.4满足系统模板初始化时间

，此时保留下来的最佳人脸区域即为驾驶员人脸模板，其中

的单位为分钟，取值通常为5；

（2）驾驶员疲劳驾驶检测

Step4.1、驾驶员人脸模板初始化，驾驶员连续驾驶时间

清零，驾驶员更换持续时间

清零，其中

和

的单位为分钟；

Step4.2、每分钟采集一次驾驶员面部视频图像，并使用Adaboost方法定位驾驶员面部区域；

Step4.3、使用SIFT匹配方法衡量当前驾驶员面部画面和驾驶员模板画面的匹配程度，如果匹配，转入Step4.4，否则转入Step4.5；

Step4.4、驾驶员连续驾驶时间加1，驾驶员更换持续时间

清零，如果

超过疲劳驾驶时间阈值，则发出疲劳驾驶状态报警，否则转入Step4.2，其中

的单位为分钟，取值通常为240；；

Step4.5、驾驶员更换持续时间加1，如果

超过驾驶员更换时间阈值

，则说明驾驶员已经更换，转入Step4.1，否则转入Step4.2，

的单位为分钟，取值通常为5。