CN204332007U - 一种基于信息融合的驾驶行为预警车载终端 - Google Patents

Abstract

本实用新型公开了一种基于信息融合的驾驶行为预警车载终端，包括脸部图像采集分析单元、驾驶操作信息采集分析单元、信息融合分析器、预警判决控制器、车内预警单元、远程报警单元；其中，所述的脸部图像采集分析单元和驾驶操作信息采集分析单元分别与信息融合分析器连通；所述信息融合分析器与预警判决控制器连通；所述预警判决控制器又与车内预警单元和远程报警单元分别连通。本实用新型针对危险驾驶行为进行监测、分析、预警，且兼容性好、扩展性强，可方便地与其它车辆信息记录系统、车辆监控系统集成应用。

Description

一种基于信息融合的驾驶行为预警车载终端

技术领域

本实用新型涉及一种车辆主动安全预警装置，尤其涉及一种基于信息融合的驾驶行为预警车载终端，属于智能交通领域。

背景技术

随着机动车辆的不断增加，道路交通安全事故问题凸显。根据公安部统计数据分析，引发交通安全事故的主导原因是驾驶员的危险驾驶行为，包括超速驾驶、疲劳驾驶、违规驾驶等不安全行为。

交通运输部特别对公共交通系统、危货品车辆营运系统中的危险驾驶行为预警提出相应的要求和解决思路，由此市面衍生出一系列如车辆卫星定位终端、车辆视频监控终端、车辆行驶特征采集终端、视频分析的驾驶员行为识别终端等多种设备或系统。

然而，大部分产品针对车辆行驶轨迹与车箱里视频进行监控预警，没有对驾驶员行为进行实质性分析；另一部分产品涉及驾驶行为的安全预警技术，但由于单一信息来源分析算法难度大等技术瓶颈，难以针对驾驶行为做出较为精确的判断，或驾驶行为分析指标不全。

在同类技术领域的专利成果方面，专利ZL200910110643.0 提出车辆预警分析处理方法和系统，在车辆危险状态明确的前提下描述车辆监控预警的方法；专利ZL200810040704.6 利用GPS智能车载终端实现车辆监控调度系统，实现车辆监控预警；专利ZL201110210735.3利用摄像头采集包含驾驶员手部与方向盘的图像，再对图像的处理与识别来判断驾驶员行为；专利ZL201010244609.5涉及汽车驾驶员操作行为监测技术，说明一种驾驶操作特征分析方法；这些类似专利并未涉及基于驾驶员脸部图像和驾驶员操作信息融合的驾驶行为预警车载终端及方法。

因此，解决以上问题可从以下三方面采取措施：

（1）充分利用车载设备多源数据，从驾驶员脸部图像和驾驶员操作特征两种检测手段，提取驾驶行为相关的各个参数；

（2）采取多源信息融合方法，克服单一数据源分析的低精确度等问题，提升驾驶行为分析预警的可靠性；

（3）增强接口兼容性和互通性，使终端不仅成为驾驶行为检测分析的车内监控预警设备，而且可为远程车辆监管实时上传预警报文。

       因此，本实用新型提出一种基于信息融合的驾驶行为预警车载终端及方法，并以此区别于已有的终端产品或方案。

实用新型内容

为解决现有技术的不足，本实用新型提供一种基于信息融合的驾驶行为预警车载终端，通过提取驾驶员脸部图像和驾驶操作两个层面的特征，将特征进行融合分析，从而获得驾驶行为的安全性评价并执行警示动作，实现车辆行驶安全的精确、全面预警。

本实用新型所采用的技术方案为：

一种基于信息融合的驾驶行为预警车载终端，其特征在于：包括脸部图像采集分析单元、驾驶操作信息采集分析单元、信息融合分析器、预警判决控制器、车内预警单元、远程报警单元；其中，所述的脸部图像采集分析单元和驾驶操作信息采集分析单元分别与信息融合分析器连通；所述信息融合分析器与预警判决控制器连通；所述预警判决控制器又与车内预警单元和远程报警单元分别连通。

其中，所述的脸部图像采集分析单元包括顺序连接的高清图像摄像头、图像分析处理器；所述的驾驶操作信息采集分析单元包括踏板采集子模块、方向盘控制采集子模块，及与所述踏板采集子模块、方向盘控制采集子模块连接的驾驶操作信息分析处理器。

进一步，所述的信息融合分析器包括嵌入式处理子模块；且在所述嵌入式处理子模块内预设特征级融合算法和决策级融合算法；所述的预警判决控制器包括顺序连接的微控制单元子模块、按键；且预警判决控制器的设定模式包括人工设定模式和自动设定模式；并且，上述的信息融合分析器和预警判决控制器由一块嵌入式处理器构成，且所述嵌入式处理器具有多个控制接口。

进一步，所述的车内预警单元为报警器，且所述的报警器为声音报警器、文字图标提醒报警器、灯光闪烁报警器中的至少一种；所述的远程报警单元通过2G或3G的无线泛在网络进行远程传输。

利用上述的基于信息融合的驾驶行为预警车载终端的预警方法，步骤如下：

（一）启动脸部图像采集分析单元的图像采集功能，实时获取驾驶员的面部清晰图像；提取用于疲劳检测的驾驶员的面部特征、用于驾驶员注意力分散检测的面部特征；对各特征值进行主因子量化，并分配特征值的量化权重，通过各种特征的评价指标获得驾驶员疲劳、驾驶员注意力分散检测结果；用等级量化值表示检测结果，并将结果与各个检测特征值以数字信号输出到信息融合分析器；

（二）启动驾驶操作信息采集分析单元的驾驶操作特征采集功能，实时获取驾驶员对踏板、方向盘的多种操作特征；将操作特征进行主因子量化，并分配特征值的量化权重，通过各种特征的评价指标获得基于驾驶操作的安全性检测结果；用等级量化值表示检测结果，并将结果与各个检测特征值以数字信号输出到信息融合分析器；

（三）信息融合分析器接收到脸部图像采集分析单元和驾驶操作信息采集分析单元的多源驾驶行为信息，根据预设的融合分析算法进行数据相关和融合推理；信息融合分析器分析后的结果为驾驶危险行为类别与安全系数值，将结果输出到预警判决控制器。

（四）预警判决控制器接收到信息融合分析器输出的驾驶危险行为相关信息后，将安全系数与之设定的安全阈值作比较；若低于安全阈值，则执行车内预警单元动作；所述的车内预警单元受预警判决控制器的控制驱动，且所述的车内预警单元采用声音报警器、文字图标提醒报警器、灯光闪烁报警器中的至少一种方式报警；

（五）预警判决控制器接收到信息融合分析器输出的驾驶危险行为相关信息后，若安全系数值低于安全阈值，且根据安全性等级要求需上传预警报文，则将预警信息上传至车辆运营监管部门。所述的远程报警单元受预警判决控制器的控制驱动，且所述的远程报警单元利用2G或3G的无线泛在网络，将预警信息的报文传输至远程车辆监管平台服务器，实现车辆的远程监管。

其中，上述步骤（一）中所述的脸部图像采集分析单元提取用于疲劳检测的驾驶员的面部特征包括眼睛大小、眼睛眨动频率、头部姿态、瞳孔直径、眼球转动速度、眼睛闭合时间长短；提取用于驾驶员注意力分散检测的面部特征包括眼睛与嘴巴组成的特征三角形、头部姿态、头部位置、视线偏离时间、视线偏离区。

进一步，上述步骤（二）中所述的驾驶操作信息采集分析单元提取驾驶员对踏板、方向盘的操作特征包括驾驶员下肢对油门踩踏、离合器踩踏、刹车踩踏的力度、速度和频率，以及驾驶员上肢对方向盘转向、方向盘转速、方向盘转动的力度、速度和频率。

进一步，上述步骤（三）中所述的信息融合分析器内部预设有特征级融合算法和决策级融合算法，包括Bayes 理论分析法、D-S论据的融合方法、模糊神经网络的融合方法、Kalman 滤波的融合方法、粗糙集理论的融合方法、模糊理论的融合方法。

进一步，上述步骤（四）中所述的预警判决控制器的设定模式包括人工设定模式和自动设定模式；所述人工设定模式设定阈值由按键设定或后端管理软件设定；所述自动设定模式设定阈值根据融合分析结果自动确定。

进一步，上述步骤（四）中所述的声音报警器对预警信息的预警方式包括播放的次数、播放的声音、播放的音量；所述的文字图标提醒报警器对预警信息的预警方式包括文字、图标的显示亮度、显示时间及文字或图标的滚动显示方式；所述的灯光闪烁报警器对预警信息的预警方式包括灯光强度、颜色、闪烁的周期变化方式。

进一步，上述步骤（五）中所述的预警信息的报文包括帧头、功能码、信息码、校验码、帧尾。

本实用新型的有益效果在于：能对车辆事故隐患进行主动预防，尤其针对危险驾驶行为进行监测、分析、预警；充分采集挖掘多源驾驶行为特征信息，融合分析后给出较为精确、全面的判别与预警结论，提高车辆自身驾驶安全性，为车辆运行提供安全保障，也可为车辆运营监管部门对车辆安全驾驶行为的监管提供监管执法依据的一种有效手段；本实用新型涉及的各工作组件模块化工作，兼容性好、扩展性强，可方便地与其它车辆信息记录系统、车辆监控系统集成应用，从而有效提高车辆主动安全预防水平，保障车辆安全驾驶，提高道路交通安全水平。

附图说明：

图1为本实用新型结构示意图；

图2为本实用新型工作流程图；

图3为本实用新型信息融合流程图；

图4为本实用新型的一种实现方式具体结构图。

具体实施方式：

下面结合附图对本实用新型做具体的介绍。

实施例一：一种基于信息融合的驾驶行为预警车载终端

如图1-3所示：包括为了获取驾驶员的面部清晰图像的脸部图像采集分析单元，且所述的脸部图像采集分析单元包括顺序连接的高清图像摄像头、图像分析处理器；为了获取驾驶员对踏板、方向盘的多种操作特征的驾驶操作信息采集分析单元，且所述的驾驶操作信息采集分析单元包括踏板采集子模块、方向盘控制采集子模块，及与所述踏板采集子模块、方向盘控制采集子模块连接的驾驶操作信息分析处理器；同时，本实施例还包括对上述两种方式采集来的信息进行融合和处理的融合分析器和预警判决控制器，且所述融合分析器包括内预设特征级融合算法和决策级融合算法的嵌入式处理子模块；所述的预警判决控制器的设定模式包括人工设定模式和自动设定模式；而上述的信息融合分析器和预警判决控制器由一块嵌入式处理器构成，且所述嵌入式处理器具有多个控制接口；本实施例还包括车内预警单元和远程报警单元；所述的车内预警单元为报警器，且所述的报警器为声音报警器、文字图标提醒报警器、灯光闪烁报警器中的至少一种；所述的远程报警单元通过2G或3G的无线泛在网络进行远程传输。其中，所述的脸部图像采集分析单元和驾驶操作信息采集分析单元分别与信息融合分析器连通；所述信息融合分析器与预警判决控制器连通；所述预警判决控制器又与车内预警单元和远程报警单元分别连通。

    实施例二：一种基于信息融合的驾驶行为预警车载终端的预警方法，步骤如下：

启动脸部图像采集分析单元的图像采集功能，实时获取驾驶员的面部清晰图像；首先，提取用于疲劳检测的驾驶员的面部特征、用于驾驶员注意力分散检测的面部特征；其中，所述的脸部图像采集分析单元提取用于疲劳检测的驾驶员的面部特征包括眼睛大小、眼睛眨动频率、头部姿态、瞳孔直径、眼球转动速度、眼睛闭合时间长短；其次，提取用于驾驶员注意力分散检测的面部特征包括眼睛与嘴巴组成的特征三角形、头部姿态、头部位置、视线偏离时间、视线偏离区；当上述信息采集完成后，由图像采集分析单元对各特征值进行主因子量化，并分配特征值的量化权重，通过各种特征的评价指标获得驾驶员疲劳、驾驶员注意力分散检测结果；用等级量化值表示检测结果，并将结果与各个检测特征值以数字信号输出到信息融合分析器。

启动驾驶操作信息采集分析单元的驾驶操作特征采集功能，实时获取驾驶员对踏板、方向盘的多种操作特征；且所述的驾驶员对踏板、方向盘的多种操作特征包括驾驶员下肢对油门踩踏、离合器踩踏、刹车踩踏的力度、速度和频率，以及驾驶员上肢对方向盘转向、方向盘转速、方向盘转动的力度、速度和频率；当上述信息采集完成后，由驾驶操作信息采集分析单元，将操作特征进行主因子量化，并分配特征值的量化权重，通过各种特征的评价指标获得基于驾驶操作的安全性检测结果；用等级量化值表示检测结果，并将结果与各个检测特征值以数字信号输出到信息融合分析器。

信息融合分析器接收到脸部图像采集分析单元和驾驶操作信息采集分析单元输出的多源驾驶行为信息，其中，在信息融合分析器内部预设有特征级融合算法和决策级融合算法，包括Bayes 理论分析法、D-S论据的融合方法、模糊神经网络的融合方法、Kalman 滤波的融合方法、粗糙集理论的融合方法、模糊理论的融合方法；所述信息融合分析器根据预设的融合分析算法进行数据相关和融合推理；而分析后的结果为驾驶危险行为类别与安全系数值，同时，信息融合分析器将结果输出到预警判决控制器。

预警判决控制器接收到信息融合分析器输出的驾驶危险行为相关信息后，与之设定的判决阈值作比较；其中，所述的预警判决控制器的设定模式包括人工设定模式和自动设定模式；所述人工设定模式设定阈值由按键设定或后端管理软件设定；所述自动设定模式设定阈值根据融合分析结果自动确定；所述的车内预警单元受预警判决控制器的控制驱动，且所述的车内预警单元采用下列三种报警方式中至少一种方式报警，以警示驾驶员谨慎操作；三种报警方式如下：

1、声音报警器，且所述的声音报警器对预警信息的预警方式包括播放的次数、播放的声音、播放的音量；

2、文字图标提醒报警器，且所述的文字图标提醒报警器对预警信息的预警方式包括文字、图标的显示亮度、显示时间及文字或图标的滚动显示方式；

3、灯光闪烁报警器，且所述的灯光闪烁报警器对预警信息的预警方式包括灯光强度、颜色、闪烁的周期变化方式；

若预警判决控制器接收到信息融合分析器输出的驾驶危险行为安全系数值低于安全阈值，则执行车内预警动作；若预警判决控制器接收到信息融合分析器输出的驾驶危险行为安全系数值低于安全阈值，且根据安全性等级要求需上传预警报文，则需要将预警信息上传至车辆运营监管部门；所述的远程报警单元受预警判决控制器的控制驱动，且所述远程报警单元利用2G或3G的无线泛在网络，将包括帧头、功能码、信息码、校验码、帧尾的预警信息的报文传输至远程车辆监管平台服务器，最终实现车辆的远程监管。

实施例三：一种基于信息融合的驾驶行为预警车载终端的各单元部分选用的器件实施例

如图4所示：

1、脸部图像采集分析单元的高清图像摄像头采用800万相素的CCD传感器，拍摄频率50Hz，选用TMS320DM642数字图像处理芯片为图像分析处理器；TMS320DM642的SPI接口与信息融合分析器通过SPI接口连接；

2、驾驶操作信息采集分析单元中踏板采集子模块采用制动踏板力和位移传感器检测踩踏板的力度和速度，输出电压信号；方向盘控制采集子模块采用相对值转角传感器，输出方波信号；驾驶操作信息分析处理器采用低成本STM32F101C8T6处理芯片；STM32F101C8T6与信息融合分析器通过SPI接口连接；

3、信息融合分析器和预警判决控制器采用一块嵌入式处理器实现，嵌入式处理器为ARM芯片s3c2440，配置主频为 400MHz，内存扩展至128M，芯片外围电路包括立体声音频输出接口电路和液晶屏接口电路；s3c2440与脸部图像采集分析单元与驾驶操作信息采集分析单元均通过SPI接口连接；s3c2440与车内预警单元通过立体声音频输出接口、液晶屏接口、GPIO接口连接；s3c2440与远程报警单元通过串口连接；

4、车内预警单元包括用于声音播报的语音芯片和喇叭、用于文字和图像显示的3.5寸TFT全彩显示屏、用于闪烁的高亮红、黄、绿三色LED灯，这三个组件分别与s3c2440的立体声音频输出接口、液晶屏接口、GPIO接口连接；

5、远程报警单元包括用于发送报文的无线数传模块，实现2G或3G无线通信传输，支持通过短信或TCP/IP方式透明传输；无线数传模块与s3c2440的串口相连接；

6、以上所有模块采用12V直流电源供电，经过稳压后为芯片和外围电路提供电源。

以上所述仅是本实用新型专利的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型专利原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本实用新型专利的保护范围。

Claims (7)

1.一种基于信息融合的驾驶行为预警车载终端，其特征在于：包括脸部图像采集分析单元、驾驶操作信息采集分析单元、信息融合分析器、预警判决控制器、车内预警单元、远程报警单元；其中，所述的脸部图像采集分析单元和驾驶操作信息采集分析单元分别与信息融合分析器连通；所述信息融合分析器与预警判决控制器连通；所述预警判决控制器又与车内预警单元和远程报警单元分别连通。

2.根据权利要求1所述的一种基于信息融合的驾驶行为预警车载终端，其特征在于，所述的脸部图像采集分析单元包括顺序连接的高清图像摄像头、图像分析处理器；所述的驾驶操作信息采集分析单元包括踏板采集子模块、方向盘控制采集子模块，及与所述踏板采集子模块、方向盘控制采集子模块连接的驾驶操作信息分析处理器。

3.根据权利要求1所述的一种基于信息融合的驾驶行为预警车载终端，其特征在于，所述的信息融合分析器包括嵌入式处理子模块。

4.根据权利要求1所述的一种基于信息融合的驾驶行为预警车载终端，其特征在于，所述的预警判决控制器包括顺序连接的微控制单元子模块、按键。

5.根据权利要求1所述的一种基于信息融合的驾驶行为预警车载终端，其特征在于，所述的车内预警单元为报警器，且所述的报警器为声音报警器、文字图标提醒报警器、灯光闪烁报警器中的至少一种。

6.根据权利要求1所述的一种基于信息融合的驾驶行为预警车载终端，其特征在于，所述的远程报警单元通过2G或3G的无线泛在网络进行远程传输。

7.根据权利要求1所述的一种基于信息融合的驾驶行为预警车载终端，其特征在于，所述的信息融合分析器和预警判决控制器由一块嵌入式处理器构成，且所述嵌入式处理器具有多个控制接口。