CN102097003A

CN102097003A - 基于人况识别的智能交通安全系统

Info

Publication number: CN102097003A
Application number: CN 201010620675
Authority: CN
Inventors: 李智斌; 李明航
Original assignee: BEIJING XINGHE YIDA TECHNOLOGY Co Ltd
Current assignee: BEIJING XINGHE YIDA TECHNOLOGY Co Ltd
Priority date: 2010-12-31
Filing date: 2010-12-31
Publication date: 2011-06-15
Anticipated expiration: 2030-12-31
Also published as: CN102097003B

Abstract

本发明公开了一种基于人况识别的智能交通安全系统，由支持云计算的服务器、多个安装在汽车上的电子终端及安装在交通基础设施上的电子终端组成；其中，服务器作为云计算平台，为整个智能交通安全系统提供基础计算和管理功能；云计算平台与各电子终端之间通过广域无线网和/或有线网进行连接，各电子终端之间通过无线网络进行连接；安装在汽车上的电子终端用于识别包括驾驶员的疲劳状态、驾驶员的受胁迫状态、驾驶员的饮酒状态、是否为合法驾驶员在内的人况信息。本智能交通安全系统综合应用云计算技术和物联网技术，为智能交通事业的发展提供了强有力的技术支持。

Description

基于人况识别的智能交通安全系统

技术领域

本发明涉及一种智能交通安全系统，尤其涉及一种基于人况(包括但不限于驾驶员疲劳状态、驾驶员受胁迫状态、驾驶员饮酒状态、是否为合法驾驶员等)识别的智能交通安全系统，属于智能交通技术领域。

背景技术

我国的机动车数量一直处于快速增长状态，目前保有量已接近2亿辆。与此同时，交通安全问题也日渐突出。有关统计表明，绝大多数的交通事故都是碰撞类事故，而其中80％以上的碰撞都是双车或多车碰撞。虽然有安全气囊、安全带作为保护措施，但这些保护措施仅仅是在车辆已经发生碰撞之后的被动保护，而在碰撞发生前就及时发现前后车辆，避免碰撞才是减少此类交通事故的重点。

在申请号为PCT/US2004/010736的PCT国际申请中，描述了收集、分析和发布与交通基础设施和状况相关的信息的中央设备和智能车辆云计算平台，其收集、分析和发布的“相关信息”包含了车辆、路况信息，如：车辆行为、性能、操作，道路行驶安全性、通行能力等。这些信息无外乎来自两类载体，即交通基础设施(路况信息)和车辆本身(车况信息)。然而，以该专利为代表的现有技术普遍忽略了驾驶员本人的因素，即所谓的人况信息。在车辆高速行驶的情况下，及时发现驾驶员个人状态的变化并随时纠正驾驶员的错误是预防碰撞类事故发生的有效途径。

发明人经过深入研究，认为与交通安全密切相关的人况信息主要包括驾驶员的疲劳状态、驾驶员的受胁迫状态、驾驶员的饮酒状态、是否为合法驾驶员等。但是，现有技术中涉及人况识别的技术解决方案并不多，而且普遍只涉及其中的一个方面。例如在识别驾驶员的疲劳状态方面，专利号为ZL 200810161653.2的中国发明专利公开了一种疲劳驾驶实时检测系统，经由图像处理、算法分析、检测眼睛位置、眼睛闭合程度，并依据PERCLOS算法进行计算，确定驾驶员的疲劳程度。但是眼睛闭合程度仅仅是反映疲劳程度多种表现形式的一种。中国实用新型专利ZL 200820023177.3提出了一种基于高速单片机计算眼睛闭合百分比PERCLOS值的无接触式疲劳判断方案，但仅仅考虑单个疲劳特征具有较大的片面性，容易导致漏判或误判。中国发明专利ZL 200610031817.0和发明专利申请200910038613.3分别提出利用多种疲劳特征进行判断，但需要新安装的多种仪表和设备，反而会影响系统的可靠性，尤其是为了进行驾驶员视线跟踪，要求在前挡风玻璃上安装矩形红外LED光源模块，极可能因为影响驾驶员视觉而导致新的安全隐患。

在判断驾驶员的受胁迫状态以及是否为合法驾驶员方面，申请号为200810232645.2的中国发明专利申请提出了一种车辆远程监控防盗系统，当有人进入车内时，车载系统能够检测到红外热释电信号，并将汽车位置和车内图像通过公共通信模块发给手机。又如在申请号为200610144025.4的中国发明专利申请中，公开了一种具有异地控制功能的无线汽车防盗装置，遇到异常情况时，利用无线通讯特别是3G手机通讯技术，传输现场状况的图像，并进行音频传输，从而达到记录犯罪分子特征以及震慑犯罪分子，防止汽车被开走的目的。而申请号为200810059492.6的中国发明专利申请则提出了一种基于全景成像技术的汽车无线防盗监控系统，当运动传感装置接受到外界运动信号时，车载主机自动开启摄像装置，通过安装在车顶的两个全景镜头获得汽车周围360°范围内的图像，并在主机中的视频处理装置处理后通过视频发送装置、3G通信模块发送给3G手机等。

在判断驾驶员的饮酒状态方面，专利号为ZL 200720071302.3的中国实用新型专利提出了一种汽车酒精检测熄火装置，其包括酒精浓度感应器，熄火控制器，其中酒精浓度感应器与熄火控制器相连，向熄火控制器传输控制信号，熄火控制装置与汽车的启动器相连，控制启动器的开闭。但该技术方案存在显著的局限性，具体表现在：未饮酒的人员(甚至可能不会开车)可以代替醉饮者接受酒精浓度测试，并帮助启动汽车后，再换醉饮者来驾驶，这样仍可以蒙混过关。

总体而言，现有技术中对与交通安全密切相关的人况信息的识别和处理是不完整、不全面的，仍然需要进一步加以改进。

发明内容

本发明所要解决的技术问题在于提供一种基于人况识别的智能交通安全系统。该系统可以对影响交通安全的各类人况信息进行准确识别并进行相应处理。

为实现上述的发明目的，本发明采用以下的技术方案：

一种基于人况识别的智能交通安全系统，其特征在于：

所述智能交通安全系统由支持云计算的服务器、多个安装在汽车上的电子终端及安装在交通基础设施上的电子终端组成；其中，

所述服务器作为云计算平台，为整个智能交通安全系统提供基础计算和管理功能；所述云计算平台与各所述电子终端之间通过广域无线网和/或有线网进行连接，各所述电子终端之间通过无线网络进行连接；

安装在汽车上的电子终端用于识别包括驾驶员的疲劳状态、驾驶员的受胁迫状态、驾驶员的饮酒状态、是否为合法驾驶员在内的人况信息。

其中，各所述电子终端之间采用ZigBee方式搭建无线网络。

所述电子终端中包括中央处理器、疲劳驾驶检测模块、非法驾驶检测模块、酒精测试模块、导航定位模块和广域网无线传输模块；

所述疲劳驾驶检测模块、所述非法驾驶检测模块、所述酒精测试模块、所述导航定位模块和所述广域网无线传输模块分别连接所述中央处理器；

所述中央处理器通过所述广域网无线传输模块接入所述云计算平台。

安装在某台汽车上的所述电子终端通过无线网络发送表示自身所处状况的数据包，安装在附近汽车上的所述电子终端接收到所述数据包后，根据所述数据包的内容采取必要的应对手段。

一种基于图像信息综合评判的驾驶员疲劳监测电子终端，用在上述的智能交通安全系统中，其特征在于：

所述驾驶员疲劳监测电子终端包括摄像头、云台、前端嵌入式系统和前端应用模块；其中，

所述摄像头和所述云台分别与所述前端嵌入式系统进行连接，所述前端嵌入式系统连接所述前端应用模块，所述前端应用模块用于执行对眼睛开合状态、打哈欠状态、头部运动状态的检测，并做出综合判断；

所述摄像头安装在所述云台上面，所述云台安装在汽车前挡风玻璃驾驶员外侧的框架上。

所述前端嵌入式系统包括前端嵌入式中心单元、视频接口及模数变换电路和云台控制电路，所述前端嵌入式中心单元分别连接所述视频接口及模数变换电路和所述云台控制电路；

所述视频接口及模数变换电路连接所述摄像头，所述云台控制电路连接所述云台。

所述前端应用模块进一步包括人脸检测模块、人脸特征点定位模块、眼睛开合检测模块、打哈欠检测模块、头部运动跟踪模块和综合评判模块；其中，

所述人脸检测模块与所述人脸特征点定位模块相连接，并分别连接所述眼睛开合检测模块、所述打哈欠检测模块和所述头部运动跟踪模块，所述眼睛开合检测模块、所述打哈欠检测模块和所述头部运动跟踪模块分别与所述综合评判模块相连接。

一种基于模式识别的汽车防盗抢电子终端，用在上述的智能交通安全系统中，其特征在于：

所述汽车防盗抢电子终端包括热释电传感器、云台、摄像头、前端嵌入式系统和前端检测模块；其中，

所述前端嵌入式系统中包括前端嵌入式中心单元、热释电接口电路、云台控制电路和视频输入处理接口，所述前端嵌入式中心单元分别连接所述热释电接口电路、所述云台控制电路和所述视频输入处理接口，并与用于执行识别驾驶员身份信息的模式识别方法的前端检测模块进行连接；

所述热释电传感器、所述云台和所述摄像头安装在汽车前挡风玻璃驾驶员外侧的框架上，分别与所述热释电接口电路、所述云台控制电路和所述视频输入处理接口进行连接。

所述汽车防盗抢电子终端中还包括拾音器，所述拾音器与所述前端嵌入式系统中的音频输入处理接口连接，所述音频输入处理接口连接所述前端嵌入式中心单元。

一种实现酒精检测功能的电子终端，用在上述的智能交通安全系统中，其特征在于：

所述电子终端包括驾驶员感应器、可视吹管、声光发生器、现场嵌入式服务器和至少一个远程无线监控终端；

所述驾驶员感应器、所述可视吹管和所述声光发生器分别与所述现场嵌入式服务器进行连接，所述现场嵌入式服务器与所述远程无线监控终端进行远程无线通讯；

所述驾驶员感应器安装在汽车内的驾驶员座椅下面。

本发明所提供的智能交通安全系统综合应用云计算技术和物联网技术提供交通安全的智能保障。该系统不仅可以对路况信息、车况信息进行检测，还可以对包括驾驶员的疲劳状态、驾驶员的受胁迫状态、驾驶员的饮酒状态、是否为合法驾驶员等在内的人况信息进行准确识别并进行相应处理，从而为智能交通事业的发展提供了强有力的技术支持。

附图说明

下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为本发明所提供的智能交通安全系统的整体架构示意图；

图2为应用本智能交通安全系统之后，某一路段的无线网络分布示意图；

图3为本智能交通安全系统中，电子终端的整体架构示例图；

图4为驾驶员疲劳监测电子终端的组成原理示意图；

图5为摄像头及云台的安装点示意图；

图6为PERCLOS值的测量原理示意图；

图7为眼睛开合检测模块的工作模式示意图；

图8为打哈欠检测模块的工作模式示意图；

图9为头部运动跟踪模块的工作模式示意图；

图10为防盗抢电子终端的组成原理示意图；

图11为判断是否为合法驾驶员的工作模式示意图；

图12为防抢劫功能模块的工作模式示意图；

图13为用于实现酒精检测功能的电子终端的组成原理示意图。

具体实施方式

本发明所提供的智能交通安全系统是基于云计算平台和无线网络(包括无线局域网和广域无线网)等技术支撑手段实现的。下面对此展开详细的说明。

如图1所示，本智能交通安全系统由支持云计算的服务器、若干个安装在汽车上的电子终端(或其它移动终端)以及安装在交通基础设施上的电子终端组成。其中，服务器作为云计算平台，为整个智能交通安全系统提供基础计算；提供管理功能；提供海量数据的统计、存储、共享、发布功能。云计算平台与各电子终端之间通过广域无线网和/或有线网进行连接，各电子终端相互之间均通过无线网络进行连接。

云计算平台具备针对电子终端的数据采集、存储、计算、传输功能和管理功能，并能提供良好的网络接入和安全保障能力，有效克服了电子终端存储容量小、计算能力弱等缺点。该云计算平台能够通过电子终端采集车辆驾驶员的视频信息，提取面部特征，通过疲劳驾驶算法进行计算，以判断驾驶员是否处在疲劳驾驶状态、疲劳程度；判断驾驶员是否受到不法分子的威胁劫持；车辆是否被非法人员所驾驶、盗抢等。后文对此还有进一步的详细说明。

对于云计算而言，每一个电子终端都是一个云计算终端，服务器就是云计算平台。电子终端通过无线网络接入到云计算平台，每一个电子终端有一个ID号码，且具有唯一性；用户名和密码由用户首次接入时指定，在以后登录过程中做验证使用。每一次电子终端和云计算平台断开后，再次连接均需接受接入性验证，过程如下：

电子终端把预先指定的个人登录用户名、密码、终端ID，以“用户名+密码+ID”的编码方式，发送到云计算平台。

由云计算平台在数据库中进行检索，确定存在该用户和电子终端之后，建立网络连接；否则拒绝。

云计算平台为每一个电子终端开辟了独立的存储空间，可以存储车辆信息，具体有：电子终端的用户信息、设备ID、从电子终端采集的视频文件和图片、电子终端通过CAN总线采集的车辆状态和历史信息、车辆位置、疲劳驾驶报警信息、非法驾驶报警信息、酒精测试记录等。

图2为应用本智能交通安全系统之后，某一路段的无线网络分布示意图。该无线网络采用局域网和广域网相融合的方式，车辆与车辆周围的交通基础设施组成一个无线局域网。在行驶很多辆车的时候，每一辆车可能会同时存在于多个局域网内，无线局域网的组网是自适应的。

在本发明中，无线局域网的搭建优选采用ZigBee方式。ZigBee是一种物联网组网技术，具有以下特点：

(1)具有极强的自组织能力和自愈能力

无需人工干预，网络节点能够感知其他节点，并与之组成网络；在一个已有网络下，增加或者删除一个节点，位置发生变动时，网络都能自我修复，并对网络拓补结构进行相应的调整，使得网络仍能够正常工作。

(2)组网模式灵活

可以组成mesh型网络，即多点对多点的。网络内任意两台设备都可以交换数据。

(3)网络安全性高

ZigBee网络支持AES-128加密算法。

(4)网络容量大

一个ZigBee网络可以容纳最多254个从设备和一个主设备，同一地区最多可以同时存在200多个ZigBee网络。

关于ZigBee技术的进一步说明，可以参阅其官方网站(www.zigbee.org)中的相关技术文档，在此就不赘述了。

各个电子终端所组成的无线局域网的功能主要在于相邻车辆的安全性提醒。安装在某台汽车上的电子终端通过无线网络发送表示自身所处状况的数据包，安装在附近汽车上的其它电子终端接收到该数据包后，根据数据包的内容采取必要的应对手段。具体而言，当一辆车发生或发现了紧急情况或要进行某种车辆操作，为了避免对其他车辆也造成影响需要向其他车辆提前告知本车辆所处状态或将要进行的操作，该车辆上的电子终端向其他车辆发送数据信息；或者当一个车内的驾驶员被监测到有酒驾、疲劳驾驶、受到劫持等危险状态，也会向相邻车辆和服务器发送信号以便警示或求救。由于路上车辆众多，每一辆车可能同时存在于多个局域网当中，当车辆从一个局域网内接收到警示或求救信息时，将会向其他局域网络内的车辆进行传送。

局域网的组网是根据电子终端内置的导航定位模块测得的车辆所在绝对位置而计算出的相对位置和车辆行进方向来确定的。由多个电子终端的导航定位模块的测量数据，可以间接得到该车与周围车辆的相对距离，并推算出行进方向。在高速公路和乡村路段，只有在行进方向相同并且车间直线距离在300米以内的车辆间才建立局域网通信。对于交通基础设施也是在与车辆距离小于300米时才建立局域网通信；但在城镇密集路段，只有在行进方向相同并且车间直线距离在100米以内的车辆间才建立局域网通信。对于交通基础设施也是在与车辆距离小于100米时才建立局域网通信。采用不断发展的虚拟现实及增强现实技术，为驾驶员防碰撞安全驾驶提供人性化的多媒体操控环境。

每一个从车辆上的电子终端发送的数据包都要根据不同的情况进行编码，可以采用“数据头+终端设备ID+车牌号码+所处状态+验证位+停止位”的结构，所处状态表示五大状态，具体包括：疲劳驾驶、酒后驾车、受到劫持、超车请求、停车请求。具体到用数字表示：

状态一：疲劳驾驶：00(无疲劳)，01(轻度疲劳)，10(中度疲劳)，11(重度疲劳)。

状态二：酒后驾车：00(无饮酒)，01(饮酒)。

状态三：受到劫持：00(正常状态，无劫持)，01(受到了歹徒劫持)。

状态四：超车请求：00(无请求)，01(左路超车请求)，10(右路超车请求)。

状态五：停车请求：00(无请求)，01(停车请求)。

这样，通过将状态一至状态五进行顺序编码，用不同的数字表示各自对应的状态，其他车辆上的电子终端就能够通过数据包辨别出本车辆和驾驶员所处的是何状态，以便采取必要的应对手段。

配合导航定位模块，由不同车辆组成的ZigBee网络可以相互知晓相对位置和相对速度，在停车、超车、绕行操作的时候，相互发送警示信息，避免碰撞。这种智能交通安全模式几乎不受天气、地形影响，在雾雨雪等极端天气，也可以正常工作。

利用上述的云计算平台和无线网络，本智能交通安全系统可以实现车辆、人、设施三大要素相互交换信息。云计算平台和各电子终端之间交换的信息包括路况、车况、人况三大类信息。

路况信息是指路边基础设施向其路段上的车辆发布的关于道路的维修状态、畅通程度、天气情况等信息，以及停车场入口设施向其发布临近停车场的经度、纬度、空位信息。

车况信息直接由车载的电子终端进行采集，如：车辆行驶速度、车辆超车请求、车辆停车请求、车辆所在处的地理坐标、车辆遇险、车型、车牌号码等信息，这些信息间接地来自驾驶员的操作。

人况信息包括驾驶员的疲劳状态、驾驶员的受胁迫状态、驾驶员的饮酒状态、是否为合法驾驶员等。该人况信息的识别是由安装在汽车上的各种电子终端实现的。图3所示为该电子终端的整体架构示例图。在该电子终端中，中央处理器可以选用TI达芬奇处理器或其他嵌入式处理器，以满足视频编解码、视频采集、算法处理的要求。中央处理器通过广域网无线传输模块接入云计算平台，并与其它广域网终端设备实现通信。视频/音频采集模块采集驾驶员的人况信息，分别送入与中央处理器连接的疲劳驾驶检测模块、非法驾驶检测模块等进行进一步的分析判断。酒精测试模块直接采集驾驶员的呼气信号，判断驾驶员是否饮酒，并将检测结果直接送入中央处理器中。此外，该电子终端中还具有局域网无线传输模块、显示模块、存储模块和导航定位模块(GPS/北斗2)等，这些模块分别与中央处理器进行连接，在此就不详细说明了。

图3所示的电子终端整体架构只是一个概要设计。针对采集、识别不同人况信息的需要，该电子终端会有多种不同的具体实施方式。下面分别进行详细的说明。

1.基于图像信息综合评判的驾驶员疲劳监测电子终端

如图4所示，驾驶员疲劳监测电子终端包括如下的组成部分：摄像头、云台、声光发生器、前端嵌入式系统和前端应用模块。其中，前端嵌入式系统以前端嵌入式中心单元为中心，进一步包括电源输入模块、视频接口及模数变换电路、云台控制电路、数模转换及视频处理电路、声光发生器接口、汽车操纵接口、无线通讯模块及天线、导航定位模块及天线。该前端嵌入式中心单元分别连接电源输入模块、视频接口及模数变换电路、云台控制电路、数模转换及视频处理电路、声光发生器接口、汽车操纵接口、无线通讯模块及天线、导航定位模块及天线。同时，前端嵌入式中心单元也与前端应用模块进行连接。该前端应用模块用于执行对眼睛开合状态、打哈欠状态、头部运动状态的检测算法，并做出综合判断。

前端嵌入式中心单元包括处理器硬件及相应的驱动程序和操作系统软件。它安装在汽车内的适当位置，可采用ARM系列芯片、FPGA、DSP或单片机等来实现，并具有自带时钟。云台控制电路用于提供云台运动和摄像头镜头伸缩驱动命令，以确保得到足够大且完整的驾驶员头部视频图像。汽车操纵接口连接汽车本身的操纵装置，用于对汽车自身的制动、喇叭等进行操纵。汽车蓄电池的输出直接与电源输入接口相连，为本驾驶员疲劳监测电子终端中的有关设备供电。无线通讯模块及天线用于实现广域网无线通信，如采用GSM/GPRS/3G通信模块及相应的SIM/USIM卡等。导航定位模块及天线可以支持接收美国GPS、俄罗斯GNNS、欧洲伽利略、中国北斗2等卫星信息或惯性导航系统进行导航定位，能够实时获知汽车所处的经度、纬度，便于在需要求援时将具体位置通过服务器告知预设的客户端。

如图5所示，摄像头优选为红外摄像头，它安装在云台上面。云台安装在前挡风玻璃驾驶员外侧的框架上，确保不影响驾驶员视线且处于与驾驶员头部高度相当的位置。摄像头和云台分别与前端嵌入式系统相连接，并由前端嵌入式系统供电。摄像头将驾驶员头部视频图像传送到前端嵌入式系统中的视频接口及模数变换电路。前端嵌入式系统通过云台控制电路提供云台运动和摄像头镜头伸缩驱动命令，以确保得到足够大且完整的驾驶员头部视频图像。如果自然光能确保成像要求，则关闭红外灯；否则，打开红外灯。

声光发生器连接声光发生器接口。声光发生器可以包括声音发生器、灯光(可发出红、橙、黄、绿等灯光)或视频显示器等。

如图4所示，本驾驶员疲劳监测电子终端中的前端应用模块进一步包括人脸检测模块、人脸特征点定位模块、眼睛开合检测模块、打哈欠检测模块、头部运动跟踪模块和综合评判模块。其中，人脸检测模块与人脸特征点定位模块相连接，它们分别连接眼睛开合检测模块、打哈欠检测模块和头部运动跟踪模块。眼睛开合检测模块、打哈欠检测模块和头部运动跟踪模块分别与综合评判模块相连接，将从不同角度检测到的驾驶员疲劳程度信息送入综合评判模块中进行最终的评价。

人脸检测模块用于对输入的单帧图像数据，找到图像中人脸的位置，并将人脸的位置用矩形框表示。人脸特征点定位模块用于对输入的单帧图像数据，得到人脸的五官位置，五官位置用多个点的坐标序列表示。这些功能模块是基于现有的模式识别方法，以软件或者固件方式实现的。例如基于LGBP的人脸识别方法(参见http://www.jdl.ac.cn/project/faceId/articles/ICCV-wczhang-LGBP.pdf)、基于AdaBoost的Gabor特征选择及判别分析方法(参见http://www.jdl.ac.cn/project/face Id/articles/FRJDL-FG-BoostedGabor-Yang.pdf)、基于SV的Kernel判别分析方法(参见http://www.jdl.ac.cn/project/faceId/articles/FRJDL-baochangzhang-CVPR.pdf)和基于特定人脸子空间的人脸识别方法(参见http://www.jdl.ac.cn/project/faceId/articles/FRJDL-Shah-ICASSP.pdf)等，在此就不详细赘述了。

眼睛开合检测模块采用PERCLOS算法检测驾驶员眼睛的开合程度。PERCLOS是Percent Eye Close的缩写，指在一定的时间内眼睛闭合所占的时间比例。在具体实验中，有P70、P80、EM三种测量方式，其中P80被认为最能反映人的疲劳程度。图6为PERCLOS值的测量原理图。图中曲线为一次眼睛闭合和睁开过程中眼睛开合度变化曲线图，可根据此曲线得到所需测量的眼睛的某个程度的闭合或睁开所持续的时间，从而计算出PERCLOS值。在图6中，t1为眼睛完全睁开到闭合20％的时间；t2为眼睛完全睁开到闭合80％的时间；t3为眼睛完全睁开到下一次睁开20％的时间；t4为眼睛完全睁开到下一次睁开80％的时间。通过测量t1到t4的值就可以得到PERCLOS的值f。

f = \frac{t_{3} - t_{2}}{t_{4} - t_{1}}

f为眼睛闭合时间所占某一特定时间的百分率。对于P80测量方式来说，可以认为当f＞0.15时，驾驶员处于疲劳状态。

基于上述的PERCLOS值的测量原理，眼睛开合检测模块的工作模式如图7所示。对于输入的单帧图像数据，经过人脸检测模块和人脸特征点定位模块处理之后，可以得到人脸的五官位置。然后，对于每帧图像调用眼睛开合度主函数，并结合五官的定位结果，可以得到眼睛的开合度数值。将多帧图像数据的图像序列结果累积起来，结合多帧图像的眼睛开合度数值就可以得到疲劳与否的判断。

图8显示了打哈欠检测模块的工作模式。对于输入的单帧图像数据，经过人脸检测模块和人脸特征点定位模块处理之后，可以得到人脸的五官位置。在得到人脸的五官位置之后，对于每帧图像调用嘴巴开合判断主函数，并结合五官的定位结果，可以得到嘴巴的开合情况，结合多帧图像计算嘴巴张开时间，可以得到是否疲劳的判断。

图9显示了头部运动跟踪模块的工作模式。对于输入的单帧图像数据，经过人脸检测模块和人脸特征点定位模块处理之后，可以得到人脸的五官位置。在得到人脸五官位置之后，对于每帧图像分别计算其头部位置，并结合五官的定位结果，可以得到头部运动轨迹。结合多帧图像计算点头频率，可以得到是否疲劳的判断。

综合评判模块对眼睛开合检测模块、打哈欠检测模块和头部运动跟踪模块所获得的检测结果进行加权运算。基于对眼睛开合状态、打哈欠状态、头部运动状态等三种疲劳特征监测的综合评判，将驾驶员疲劳程度划分为四个等级：绿色-清醒、黄色-轻度疲劳、橙色-中度疲劳、红色-高度疲劳。

当眼睛开合检测模块、打哈欠检测模块或头部运动跟踪模块这三个模块均未检测到异常时，综合评价模块输出检测结果为清醒。允许汽车正常行驶，在车载嵌入式设备屏幕上的疲劳程度指示灯显示为绿色。

当眼睛开合检测模块、打哈欠检测模块或头部运动跟踪模块三个模块中有且仅有一个模块检测到异常时，综合评价模块检测结果为轻度疲劳。允许汽车正常行驶。声光发生器上的疲劳程度指示灯显示为黄色不断闪烁，并向驾驶员发出报警声。

当眼睛开合检测模块、打哈欠检测模块或头部运动跟踪模块三个模块中有且仅有两个模块检测到异常时，综合评价模块检测结果为中度疲劳。声光发生器上的疲劳程度指示灯显示为橙色不断闪烁，并同时向驾驶员、远端的服务器和预设的客户端发出报警声，建议驾驶员靠边停车。

当眼睛开合模块检测、打哈欠检测模块或头部运动跟踪模块三个模块均检测到异常时，综合评价模块检测结果为高度疲劳。声光发生器上的疲劳程度指示灯显示为红色不断闪烁，自动亮起警示灯以警示周围车辆及行人，数秒钟后自动减速并熄火，同时向远端的服务器和预设的客户端发出持续报警并报告汽车所处的位置，要求救援。

2.基于模式识别的防盗抢电子终端

如图10所示，防盗抢电子终端由如下几部分组成：热释电传感器、云台、摄像头、拾音器、声光发生器、前端嵌入式系统和前端检测模块。其中，前端嵌入式系统以前端嵌入式中心单元为中心，进一步包括电源输入模块、热释电接口电路、云台控制电路、视频输入处理接口、音频输入处理接口、视频输出处理接口、声光发生器接口、汽车操纵接口、无线通讯模块及天线、导航定位模块及天线和WLAN模块及天线。该前端嵌入式中心单元分别与电源输入模块、热释电接口电路、云台控制电路、视频输入处理接口、音频输入处理接口、视频输出处理接口、声光发生器接口、汽车操纵接口、无线通讯模块及天线、导航定位模块及天线和WLAN模块及天线进行连接，同时还与前端检测模块进行连接。该前端检测模块用于执行识别人脸等驾驶员身份信息的模式识别方法。

上述的前端嵌入式中心单元包括处理器硬件及相应的驱动程序和操作系统软件。它安装在汽车内的适当位置，可采用ARM系列芯片、FPGA、DSP或单片机等来实现，并具有自带时钟。云台控制电路用于提供云台运动和摄像头镜头伸缩驱动命令，以确保得到足够大且完整的驾驶员头部视频图像。汽车操纵接口连接汽车本身的操纵装置，用于对汽车自身的制动、喇叭等进行操纵。汽车蓄电池的输出直接与电源输入接口相连，为本防盗抢电子终端中的有关设备供电。无线通讯模块及天线用于实现广域网无线通信，如采用GSM/GPRS/3G通信模块及相应的SIM/USIM卡等。导航定位模块及天线可以支持接收美国GPS、俄罗斯GNNS、欧洲伽利略、中国北斗2等卫星信息或惯性导航系统进行导航定位，能够实时获知汽车所处的经度、纬度，便于在需要求援时将具体位置通过服务器告知预设的客户端。WLAN模块及天线用于实现局域网无线通信。当多辆汽车都安装了本防盗抢电子终端时，可实现车与车之间的通信；而当路网基础设施也安装了本防盗抢电子终端的相应功能模块时，可实现车与路直接的通信。当一个车内的驾驶员受到劫持，可以自动向相邻车辆发送信号以便警示或求救。

如图5所示，热释电传感器、摄像头、云台及拾音器也安装在前挡风玻璃驾驶员外侧的框架上，确保不影响驾驶员视线且处于与驾驶员头部高度相当的位置。

热释电接口电路连接热释电传感器。当驾驶员位置无人时，热释电传感器一直在工作，而整个防盗抢电子终端处于休眠状态。一旦驾驶员位置出现人，热释电传感器能够第一时间检测到驾驶员位置人体的红外热释电信号，防盗抢电子终端自动从休眠状态恢复到正常工作状态。

云台控制电路连接云台，视频输入处理接口连接摄像头。它们负责将驾驶员头部的视频图像传送到前端嵌入式系统。前端嵌入式系统提供云台运动和摄像头镜头伸缩驱动命令，以确保得到足够大且完整的驾驶员头部视频图像。如果自然光能确保成像要求，则关闭红外灯；否则，打开红外灯。如果正常行驶过程中汽车遭到非法抢劫，驾驶员自然发出的异常表情通过摄像头传送到前端嵌入式系统，前端嵌入式系统将通过无线通讯模块及天线接入无线网络，向服务器及附近装有同类防盗抢电子终端的汽车报警。

音频输入处理接口连接拾音器。如果正常行驶过程中汽车遭到非法抢劫，驾驶员自然发出的异常声音便通过拾音器传送到前端嵌入式系统，前端嵌入式系统将通过无线通讯模块及天线接入无线网络，向服务器及附近装有同类防盗抢电子终端的汽车报警。

声光发生器接口连接声光发生器。声光发生器也包括声音发生器、灯光(可发出红、橙、黄、绿等灯光)或视频显示器等。

如图10所示，本防盗抢电子终端中的前端检测模块进一步包括人脸检测模块、人脸特征点定位模块、活性鉴别模块、人脸识别模块和防抢劫功能模块。其中，人脸检测模块和人脸特征点定位模块相连接，这两个功能模块分别连接活性鉴别模块、人脸识别模块和防抢劫功能模块。人脸检测模块用于对输入的单帧图像数据，找到图像中人脸的位置，并将人脸的位置用矩形框表示。人脸特征点定位模块用于对输入的单帧图像数据，得到人脸的五官位置，五官位置用多个点的坐标序列表示。活性鉴别模块对于输入的单帧图像数据，区别登陆者是否照片，以此判断该继续进行人脸识别还是拒绝照片登陆。人脸识别模块对于输入的单帧图像数据，通过与人脸库中注册过的人脸图像比对，对于库中注册过的人脸予以放行，对于库中没有注册过的人脸予以拒绝。

图11显示了判断是否为合法驾驶员的具体工作模式。在电子终端中预存驾驶员面部图像，在车辆启动之前，采取图像验证方式，通过采集主驾位置上的人的面部图像，通过比对来发现是否是该车合法的驾驶员。如不合法，则将图片或声音资料连同本车号码、位置信息上传至云计算平台，存储并报警。

图12显示了防抢劫功能模块的具体工作模式。摄像头和拾音器分别将采集的驾驶员图像和声音数据输入前端检测模块之中。对于输入的图像帧，由人脸检测模块和人脸特征点定位模块分别进行图像定位和特征识别，并由人脸识别模块进行人脸特征比对，从而产生人脸特征识别结果。同样地，对于拾音器输入的声音数据，由防抢劫功能模块中内置的声音识别子模块(图中未示)进行相应的识别判断。如果结果正常，则允许驾驶员操纵车辆；如果结果不正常，则一方面通过汽车操纵接口控制汽车操纵装置，使汽车不能正常发动和行驶，另一方面则由防抢劫功能模块通过LAN(局域网)和WAN(广域网)方式进行网络报警。

利用本防盗抢电子终端，当有人进入驾驶位置时，该系统会自动启动。当合法驾驶员处于离车状态，非法人员进入驾驶位置时，防盗抢电子终端检测出其身份不合法。如果驾驶员身份不合法时，汽车不能被启动，车内喇叭会报警。同时，远程客户端(包括合法驾驶员的手机等)会得到报警示意被盗，附近装有与本车同类防盗抢电子终端的汽车也会得到报警示意被盗，并报告汽车特征信息与地理位置。如果合法驾驶员正常行驶过程中遇到非法分子抢劫时，防抢劫功能模块会从驾驶员自然的异常表情和声音做出遇劫的正确判断。防抢劫功能模块认为汽车遇劫时，及时向远端的服务器报警示意被抢劫，同时向附近装有与本车同类防盗抢电子终端的汽车报警示意被抢劫，并报告汽车特征信息与地理位置。

另外，驾驶员可以预先设定眼部状态作为报警暗号，如眼睛交替闭合等，在云计算平台处预置驾驶员预先拍摄的“报警暗号”，云计算平台根据电子终端上传的视频，通过提取驾驶员的面部表情图像数据，与预先存储的数据进行比对，通过图像拟合如果发现具有极高的相似性，则说明驾驶员当前处于被劫持状态，则云计算平台会发送本车号码、位置信息到周围车辆和公安部门，进行报警求救。

3.实现酒精检测功能的电子终端

所述酒精检测功能，意在要求驾驶员在启动车辆之前必须要经过酒精检测，确定没有饮酒之后才能发动车辆；配合广域网无线传输，可以支持有关人员或管理部门远程地实时监控驾驶员的酒精测试过程；也能够通过检索存储在云计算平台上的酒精测试过程，及时发现问题并纠正。

用于实现酒精检测功能的电子终端如图13所示，包括驾驶员感应器、可视吹管、声光发生器、现场嵌入式服务器和至少一个远程无线监控终端。该电子终端以现场嵌入式服务器为中心，驾驶员感应器、可视吹管和声光发生器分别与该现场嵌入式服务器进行连接。现场嵌入式服务器中设置有远程无线通讯接口和相应的天线，以便与远程无线监控终端进行远程无线通讯。

驾驶员感应器安装在汽车内的驾驶员座椅下面，具体可由称重计实现。当驾驶员坐到驾驶座椅上时，由于座椅上承载的重量显著增加，驾驶员感应器能感受到并通过通讯线路发送给现场嵌入式服务器。

可视吹管由吹管、云台与摄像头组成。声光发生器包括声音发生器、灯光(可以发出红、黄、绿三种颜色)或视频显示器(即液晶显示屏)。它们之间的电路连接关系是电子技术领域的普通技术人员所熟知的，在此就不详细赘述了。

现场嵌入式服务器由硬件部分和相应的现场处理软件组成。其中，该硬件部分以嵌入式中心处理单元为中心，其余的电源输入接口、驾驶员感应器接口、云台控制电路、视频接口及模数变换电路、可视吹管气路接口、酒精敏感电路、数模变换及视频处理电路、声光发生器接口、汽车启动开关接口、导航定位电路及天线、远程无线通讯接口及天线等分别与该嵌入式中心处理单元进行连接。

当驾驶员按要求将自己嘴里的气吹到可视吹管气路接口之后，酒精敏感电路将基于上述的酒精度检测方式进行处理，包括信号放大、将模拟信号转换成数字信号等。

在现场处理软件中，根据醉饮相应的酒精度指标进行了判据预置(一般不能更改)。微饮判据也根据经验预置，但可以在一定范围内更改(上限不能更改)。当现场处理软件判断检测的结果属于未饮时，将会通过数模变换及视频处理电路、声光发生器接口驱动声光发生器报告结果(若未配置液晶显示器则指示灯持续亮绿灯)，并通过汽车启动开关接口允许驾驶员正常操作汽车启动开关；如果现场处理软件判断检测的结果属于微饮时，将会通过数模变换及视频处理电路、声光发生器接口驱动声光发生器报告结果(若未配置液晶显示器则指示灯持续亮黄灯)，也通过汽车启动开关接口允许驾驶员正常操作汽车启动开关，但同时要通过远程无线通讯接口及天线向远程无线监控终端报告驾驶员属于微饮状态，同时也向其报告导航定位电路及天线获取的汽车实时位置；现场处理软件判断检测的结果属醉饮时，将会通过数模变换及视频处理电路、声光发生器接口驱动声光发生器报告结果(若未配置液晶显示器则指示灯持续亮红灯)，并通过汽车启动开关接口阻断驾驶员正常操作汽车启动开关，同时也通过远程无线通讯接口及天线向远程无线监控终端报告驾驶员属于微饮状态，同时也向其报告导航定位电路及天线获取的汽车实时位置。

远程无线监控终端可以与远程无线通讯接口及天线之间进行数据、声音和视频通信。这样在汽车运行过程中，现场嵌入式服务器可以定时要求(可以设定，如夜间行驶每隔小时一次)抽查驾驶员的酒精度，远程监控终端也可以随时抽查驾驶员的酒精度，当查出确属过饮时可以强制熄火。

上面对本发明所提供的基于人况识别的智能交通安全系统进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims

1.一种基于人况识别的智能交通安全系统，其特征在于：

2.如权利要求1所述的智能交通安全系统，其特征在于：

各所述电子终端之间采用ZigBee方式搭建无线网络。

3.如权利要求1所述的智能交通安全系统，其特征在于：

4.如权利要求1所述的智能交通安全系统，其特征在于：

5.一种基于图像信息综合评判的驾驶员疲劳监测电子终端，用在如权利要求1所述的智能交通安全系统中，其特征在于：

6.如权利要求5所述的驾驶员疲劳监测电子终端，其特征在于：

7.如权利要求5所述的驾驶员疲劳监测电子终端，其特征在于：

8.一种基于模式识别的汽车防盗抢电子终端，用在如权利要求1所述的智能交通安全系统中，其特征在于：

9.如权利要求8所述的汽车防盗抢电子终端，其特征在于：

10.一种实现酒精检测功能的电子终端，用在如权利要求1所述的智能交通安全系统中，其特征在于：

所述驾驶员感应器安装在汽车内的驾驶员座椅下面。