CN114852088A - 一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统及方法 - Google Patents

Abstract

一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统及方法，无需收集正常驾驶特征和已知危险驾驶特征，亦不需要训练检测模型，降低了实现成本，且更具通用性；结合路况、驾驶员状态、车辆行驶特征三方面因素，并且具有自适应的调整机制，契合不同驾驶员的驾驶风格，使得驾驶行为的判断更为全面，更具参考价值，使得检测更为准确有效；兼顾了危险行为的及时预警发现及难以发现的疲劳驾驶行为检测，可以有效辅助驾驶员进行安全驾驶；对驾驶员产生的干扰小，有效地避免危险及疲劳驾驶所导致的交通事故，帮助驾驶员发现缓慢变化的驾驶行为，在驾驶员驾驶水平和决策水平降低时，使驾驶员及时意识到危险，因而可以有效辅助驾驶员进行安全驾驶。

Description

一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统及 方法

技术领域

本发明属于车辆驾驶辅助技术领域，具体涉及一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统及方法。

背景技术

随着汽车市场规模的日益增长，城市道路、高速公路的运载负荷的压力也不断增加，致使交通拥堵和交通事故日益严重，造成了严重的人员伤亡和经济损失。但与此同时，智慧城市、车联网、自动驾驶的发展也吸引了众多的目光，作为智能车辆第二层次的驾驶员辅助被纳入研究。通过对传感器获得的车辆信息、驾驶员信息或者路况信息进行统计分析，对驾驶员的行为进行符合逻辑的判决，最终对驾驶员行为进行监督和辅助，实现更安全的驾驶。现实中，诸多危险行为在短时间内进行，并且威胁到其他道路使用者的安全，但目前这种违规行为大多无法追踪，其中有很多行为只有在交通事故发生后才得以纠正。

以危险驾驶为考察对象，现有许多技术(专利号CN106611169A、CN110171426B、CN112043280A、CN113762213A、CN110991353A、CN113033261A)研究工作主要利用机器学习方法来检测驾驶员的危险行为。在上述技术中，为保证检测模型的有效性，需要收集大量的危险驾驶数据，并且需要实时的采集对比，不管是图像还是数据序列比对，成本都较高，实现代价大。同时，由于绝大多数只考虑了少数危险驾驶情形，受到识别精度、驾驶员生理习惯、穿戴物、照明光线等影响较大，有效性存在一定的约束，并且采集的数据一般限于车辆数据或驾驶员数据，没有进行一个综合的考察，使得判决结果具有片面性，适用场景有限。最后，现有研究绝大部分都集中于短期的数据判别，而对于长期数据没有纳入考虑，大部分包含疲劳驾驶的研究都只将疲劳驾驶作为危险驾驶的一种类型，使得其检测不具有针对性，疲劳驾驶作为一种较难察觉的驾驶行为，在长期的驾驶数据中才能有所体现。

发明内容

为弥补现有技术的不足，本发明提供了一种基于模糊推理的驾驶员危险驾驶及疲劳驾驶行为的识别及警告方法，检测成本低，能够区分短期内的危险驾驶行为以及长期判决才能发现的疲劳驾驶行为，兼顾了危险行为的及时预警发现及难以发现的疲劳驾驶行为检测。

一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统，包括依次连接的传感器层、感知层、认知层、警告执行层和驱动控制层，其中驱动控制层与认知层连接；

传感器层通过传感器感知收集车辆行为、驾驶员状况、路况信息；

感知层对传感器所获得的初始信息进行处理，形成车辆对应的低维特征向量；

认知层中设有模糊推理系统，对车辆特征信息进行短期的实时判断是否为危险驾驶，如短期内无危险驾驶行为，则对短期的驾驶数据进行长期行为的判断，包括针对长期跟车距离变化及驾驶员本身状况进行判断，如果符合疲劳驾驶特征则判定为疲劳驾驶；

警告执行层基于认知层的判断，判断为紧急危险驾驶，则向周边车辆、行人发出高频声音提示，对目标车辆发出高频声音、高速震动、画面提示的警告，若为紧急危险驾驶则反馈驱动控制层调整阈值，若为普通危险驾驶，则对目标车辆驾驶人进行警告，若判断为疲劳驾驶，则发出画面及语音提示，提醒驾驶员注意休息及驾驶注意力集中；

驱动控制层根据驾驶员对于自身驾驶特征的判断以及紧急情况的发生，对系统的假阳性及假阴性判断做出选择，实现危险及疲劳驾驶判断阈值的自适应调整。

进一步地，所述传感器层包括方向盘角度传感器、北斗卫星导航系统、车辆惯性测量单元、穿戴加速度计及心率计、雷达和计算设备。

一种识别并警告危险及疲劳驾驶行为的驾驶员辅助方法，包括如下步骤：

步骤1，通过传感器感知车辆行为、驾驶员状况、路况信息；

步骤2，对传感器所获得的初始信息进行处理，形成车辆对应的低维特征向量；

步骤3，对车辆特征信息进行短期的实时判决，如果短期内具有符合特征的紧急危险驾驶行为，则立即向驾驶员、周边车辆、路上行人进行高频声音、高速震动以及画面图像的警告；

步骤4，使用模糊推理系统，对车辆特征信息进行短期的实时判决，如果具有符合特征的普通危险驾驶行为，则立即向驾驶员进行高频声音、高速震动以及画面图像的警告；

步骤5，短期内无危险驾驶行为，对短期的驾驶数据进行长期行为的判断，主要针对长期跟车距离及驾驶员本身状况进行判断，如符合疲劳驾驶特征则通过震动和画面对驾驶员发出休息提醒；

步骤6，如果产生驾驶员确认的误报，进行不影响安全的小范围内自适应的调整，如果发生紧急危险状况则重置门限，驾驶员也可以重置门限以适配不同驾驶员的驾驶风格。

进一步地，步骤1中，获得方向盘角度变化信息、车辆相对于道路的横纵坐标、车辆加速度变化信息、驾驶员动作摆动及心率状况、前车距离信息和路况信息。

进一步地，所述步骤2具体包括如下步骤：

步骤2-1，使用方向盘角度变化信息的角度序列获取车辆横向摇摆特征；对数秒内方向盘角度序列{θ_n}，其中n代表时间相关的流数据序列标号，进行快速傅里叶变换，获取其功率谱密度：

F(x)＝FFT{θ_n}

然后对其进行振幅求和，获取对应的摆动程度值S：

S作为反映车辆横向移动幅度和频率的车辆横向摇摆特征，其数值越大，说明车辆的横向摆动越频繁，幅度越大，即驾驶状态越不稳定；

步骤2-2，使用车辆相对于道路的横纵坐标求解平行于道路的纵向速度信息以及垂直于道路的横向速度信息，在与步骤2-1同样的时间长度内取平均；

步骤2-3，对车辆的加速度划分一定的范围，以不同大小及不同方向划分加速度的范围，划分前后左右四个直角扇区，并确定三个加速度大小范围，形成16个加速度扇区，使用4bit进行编号，分别确定前后左右四个方向的最大安全加速度值a_fm、a_bm、a_lm、a_rm，并根据此数值的三分之一为步长均分，确定四个加速度扇区范围，在车辆行驶过程途中形成一系列数值序列，前后的加速度阈值不同，左右的加速度阈值相同，即a_fm>a_bm>a_lm＝a_rm；

步骤2-4，根据驾驶员平静时心率测定目前心率与常规心率的百分比差值，获得驾驶员心率偏差，作为驾驶员摆动特征；

步骤2-5，对获取的跟车距离进行平均，并每分钟保存一次平均跟车距离；

步骤2-6，获取路况信息，判断道路的拥堵与否，根据天气状况判断路面干湿程度，推断摩擦力情况，交通越拥堵、道路摩擦力越低，危险程度越高，则此数值越高。

进一步地，步骤2中，以<F1，F2，F3，F4，F5，F6，F7，F8>，即各特征对应数值的顺序排列构成待检测驾驶状态特征，进行下一步的判决；其中，F1为车辆横向摇摆特征；F2为车辆绝对速度信息；F3为车辆横向速度信息；F4为车辆加速度区块；F5为驾驶员摆动特征；F6为驾驶员心率偏差；F7为车辆短时前向跟车距离；F8为路况系数。

进一步地，所述步骤3具体包括如下步骤：

步骤3-1，实时跟踪判断跟车距离，不同速度区间具有不同的警告门限，标准划为三层相对速度15-20m/s时，碰撞门限3.5s，10-15m/s时为3s，少于10m/s对应2.5s，如果在门限提示范围内，则直接判定为紧急危险驾驶；

步骤3-2，对车辆加速度区块进行分析，若分区为后向且加速度数值大于最大后向安全加速度值a_bm，即在后四区内，则判断驾驶员采取急刹车行为，若为左右四区则为急转弯，前四区为急加速，均判定为紧急危险驾驶；

步骤3-3，除上述异常情况，将<F1，F2，F4，F5，F6，F7>均纳入模糊推理框架，进行特征不明显的危险驾驶行为判断，对此六个特征，取数秒内的平均，再根据F8道路拥挤状况、天气状况、道路湿滑程度进行加权处理，然后根据周边车辆对应特征属性的最大值进行归一化处理；

步骤3-4，根据危险驾驶指数判断是否有危险驾驶行为，若其超过门限值则判定为普通危险驾驶；

步骤3-5，以1min为单位收集平均跟车距离及车辆横向摇摆特征，如果在十组数据内，平均跟车距离持续走低，且车辆横向摇摆持续升高，则判定驾驶员有疲劳驾驶行为；

步骤3-6，收集10min之内的危险驾驶指数，如果平均值大于一定的门限或所有数值均小于危险驾驶门限，则判定为疲劳驾驶。

进一步地，步骤3-3中，使用基于Mamdani的模糊推理框架，包括依次连接的模糊产生器、模糊推理机、模糊消除器和与模糊推理机连接的模糊规则库；

模糊推理框架中，为F1，F2，F4，F5，F6，F7对应属性分别赋予合适的模糊语言变量及对应的隶属度函数，每个属性对应高低两个隶属度函数，再对六个元素之间的关系编写模糊逻辑规则，车辆横向摇摆多，绝对速度快，加速度数值大，驾驶员摆动大，心率偏差多，跟车较为接近，对于危险驾驶指数增加均为正向的贡献，模糊推理而得的危险驾驶几率高，即得到判断结果为驾驶员存在危险驾驶行为的概率大，反之六个属性的降低对于危险驾驶指数增加有负向的贡献，判断驾驶员驾驶相对稳定安全，由此确定2⁶即64条模糊推理规则，对危险驾驶指数进行对应，危险驾驶指数分为高中低三部分隶属度函数；

根据模糊规则进行模糊推理判断，其中模糊逻辑中，对于任意论域上的元素μ(u)交运算为：

μ_A∩B(u)＝min{μ_A(u),μ_B(u)}

其中u表示论域中的参数，A、B分别代表不同的模糊推理输入的元素类型，同理并运算与补运算分别为：

μ_A∪B(u)＝max{μ_A(u),μ_B(u)}

μ_A(u)＝1-μ_A(u)

使用常用模糊关系合成运算，设X，Y，Z为论域，x，y，z为对应论域中的参数，R是X×Y上的模糊关系，S是Y×Z上的模糊关系，T是R到S的合成，记为

其隶属度函数定义如下：

这里用∪表示对所有y取最大值，×是二项乘积算子；

再使用重心法进行去模糊化，最后得到[0,1]之间的输出；<F1，F2，F4，F5，F6，F7>作为输入，输出即为[0,1]之间的危险驾驶指数，指数越接近1，危险程度越高。

进一步地，所述步骤5具体包括如下步骤：

步骤5-1，系统做出危险驾驶判断后，若驾驶员认为其驾驶行为相对安全则选择判断为系统假阳性，出现了误报，驾驶员手动提高危险驾驶门限；

步骤5-2，系统做出疲劳驾驶判断后若驾驶员认为其并无疲劳状态则选择判断为系统假阳性，出现了误报，驾驶员手动提高疲劳驾驶门限；

步骤5-3，如驾驶员认为门限过高，驾驶员可以手动选择重置驱动控制层的驾驶门限至初始值0.5，以监督自己进行安全驾驶；

步骤5-4，如出现步骤3-1、步骤3-2、步骤3-5中任一提醒，即紧急危险驾驶行为或明显的疲劳驾驶行为，则系统认为出现了假阴性判断，也会反馈给驱动控制层，自动重置驾驶门限。

本发明与现有技术相比，具有以下有益效果：

1)无需收集大量正常驾驶特征和已知危险驾驶特征，亦不需要训练检测模型，保证了运行速度，并且无需视频输入设备等昂贵的设备，降低了实现成本，且更具通用性；

2)方法结合路况、驾驶员状态、车辆行驶特征三方面因素，分析车辆的横向移动及纵向跟车距离，并且具有自适应的调整机制，契合不同驾驶员的驾驶风格，使得驾驶行为的判断更为全面，更具参考价值，使得检测更为准确有效；

3)区分短期内的危险驾驶行为以及长期判决才能发现的疲劳驾驶行为，根据实际危险状况特点，考虑到多种紧急情况的判别，兼顾了危险行为的及时预警发现及难以发现的疲劳驾驶行为检测，因而可以有效辅助驾驶员进行安全驾驶，具有重要实用价值；

4)对驾驶员产生的干扰小，提高了驾驶员危险行为识别的准确率和疲劳驾驶的发现率，有效地避免危险及疲劳驾驶所导致的交通事故，帮助驾驶员发现缓慢变化的驾驶行为，在驾驶员驾驶水平和决策水平降低时，使驾驶员及时意识到危险，因而可以有效辅助驾驶员进行安全驾驶，具有重要实用价值。

附图说明

图1为本发明实施例中所述的驾驶员辅助系统整体的架构图。

图2为本发明实施例中所述的车辆加速度扇区划分示意图。

图3为本发明实施例中所述的基于Mamdani模糊系统建模方式的模糊推理系统模型示意图。

图4为本发明实施例中所述的基于模糊推理的驾驶员危险驾驶及疲劳驾驶行为的识别及警告方法的详细流程图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

本发明提供了一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统及方法，方法包括如下步骤：(1)通过传感器感知车辆行为、驾驶员状况、路况信息；(2)对传感器所获得的初始信息进行处理，形成车辆对应的低维特征向量；(3)对车辆特征信息进行短期的实时判决，如果短期内具有符合特征的紧急危险驾驶行为，则立即向驾驶员、周边车辆、路上行人进行高频声音、高速震动以及画面图像的警告；(4)使用模糊推理系统，对车辆特征信息进行短期的实时判决，如果具有符合特征的普通危险驾驶行为，则立即向驾驶员进行高频声音、高速震动以及画面图像的警告；(5)短期内无危险驾驶行为，对短期的驾驶数据进行长期行为的判断，主要针对长期跟车距离及驾驶员本身状况进行判断，如符合疲劳驾驶特征则通过震动和画面对驾驶员发出休息提醒；(6)如果产生驾驶员确认的误报，进行不影响安全的小范围内自适应的调整，如果发生紧急危险状况则重置门限，驾驶员也可以重置门限以适配不同驾驶员的驾驶风格。

一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统，如图1所示的层次结构，其中包括：

传感器层：通过传感器感知收集车辆行为、驾驶员状况、路况信息；

感知层：对传感器所获得的初始信息进行处理，形成车辆对应的低维特征向量；

认知层：使用模糊推理系统，对车辆特征信息进行短期的实时判决，如果短期内具有符合特征的危险驾驶行为则判定为危险驾驶，短期内无危险驾驶行为，对短期的驾驶数据进行长期行为的判断，主要针对长期跟车距离变化及驾驶员本身状况进行判断，如符合疲劳驾驶特征则判定为疲劳驾驶；

警告执行层：基于认知层的判断，判断为紧急危险驾驶，则向周边车辆、行人发出高频声音提示，对目标车辆发出高频声音、高速震动、画面提示的警告，若为紧急危险驾驶则反馈驱动控制层调整阈值，若为普通危险驾驶，则对目标车辆驾驶人进行上述相应的警告，若判断为疲劳驾驶，则发出画面及语音提示，提醒驾驶员注意休息及驾驶注意力集中；

驱动控制层：根据驾驶员对于自身驾驶特征的判断以及紧急情况的发生，对系统的假阳性及假阴性判断做出选择，实现危险及疲劳驾驶判断阈值的自适应调整；

本发明为实现上述发明目的采用如下方法步骤：

(1)对于目标车辆进行信息的收集。

使用方向盘角度传感器、北斗卫星导航系统、车辆惯性测量单元(加速度计、陀螺仪、磁力计)，可穿戴加速度计及心率计(如智能手环)，电子扫描雷达或毫米波雷达、车载电脑或工业计算机(道路状况获得)，具体过程如下。

(1-1)使用方向盘角度传感器获得方向盘角度变化信息；

(1-2)使用北斗卫星导航系统获取车辆相对于道路的横纵坐标；

(1-3)使用车辆惯性测量单元获取准确车辆加速度变化信息；

(1-4)通过可穿戴加速度计及心率计获得驾驶员动作摆动及心率状况；

(1-5)通过毫米波雷达获取前车距离信息；

(1-6)通过车载电脑获取路况信息。

(2)对初始信息进行处理，形成车辆对应的低维特征向量。

所述步骤(2)具体包括如下步骤：

(2-1)使用方向盘角度序列获取车辆横向摇摆特征。

对数秒内方向盘角度序列{θ_n}，其中n代表时间相关的流数据序列标号，进行快速傅里叶变换，获取其功率谱密度：

F(x)＝FFT{θ_n}

然后对其进行振幅求和，获取对应的摆动程度值S：

S即作为可以反映车辆横向移动幅度和频率的车辆横向摇摆特征，其数值越大，说明车辆的横向摆动越频繁，幅度越大，即驾驶状态越不稳定。

(2-2)使用车辆相对于道路的横纵坐标求解平行于道路的纵向速度信息以及垂直于道路的横向速度信息，在与(2-1)同样的时间长度内取平均。

(2-3)对加速度划分一定的范围，以不同大小及不同方向划分加速度的范围，划分前后左右四个直角扇区，并确定三个加速度大小范围，形成16个加速度扇区，使用4bit进行编号，分别确定前后左右四个方向的最大安全加速度值a_fm、a_bm、a_lm、a_rm，并根据此数值的三分之一为步长均分，确定四个加速度扇区范围，在车辆行驶过程途中形成一系列数值序列，其划分方式如图2所示，中间矩形表示车辆，箭头指示了车辆的前进方向，前后的加速度阈值不同，左右的加速度阈值相同，即a_fm>a_bm>a_lm＝a_rm，故划分的扇区大小范围大概如示意图所示。

(2-4)对驾驶员摆动幅度进行与(2-1)相同的处理，作为驾驶员摆动特征，根据驾驶员平静时心率测定目前心率与常规心率的百分比差值，获得驾驶员心率偏差。

(2-5)对获取的跟车距离进行平均，并每分钟保存一次平均跟车距离，需要保存至少十组以上的数据。

(2-6)获取基础路况信息，判断道路的拥堵与否，根据天气状况判断路面干湿程度，推断摩擦力情况，道路摩擦力越低，危险程度越高，则此数值越高。根据已有研究，平均事故次数雪天>雨天>晴天、雾天>阴天>大风天气，路面的附着系数结冰路面<积雪路面<融雪后干路面<潮路面<湿路面<高温路面<干燥路面，故我们根据当时的天气状况及路面的干湿程度，确定天气系数，大风干燥路面系数为0.9，而随着天气对应事故次数的增加及路面附着系数的减少，此系数逐渐升高，直至最高的雪天结冰路面的系数为1.2。同时根据目标车辆周围的车辆密度，确定从低到高的密度系数，系数随着密度增加而增加，范围同样为[0.9,1.2]。最后将两系数相乘得到最终的路况系数，根据上述过程系数最低不低于0.81，最高不超过1.44。

在步骤(2)中，本实施例以<车辆横向摇摆特征，车辆纵向速度信息，车辆横向速度信息，车辆加速度区块，驾驶员状态摆动特征，驾驶员心率偏差，车辆短时前向跟车距离，路况信息>八元组为流标记，提取待检测车辆的流数据，通过流数据进行下一步的判决。

生成车辆流特征。使用的车辆流特征包括：

F1：车辆横向摇摆特征；

F2：车辆绝对速度信息；

F3：车辆横向速度信息；

F4：车辆加速度区块；

F5：驾驶员摆动特征；

F6：驾驶员心率偏差；

F7：车辆短时前向跟车距离；

F8：路况系数。

最终，<F1，F2，F3，F4，F5，F6，F7，F8>，即各特征对应数值的顺序排列构成待检测驾驶状态特征。

(3)使用模糊推理系统，对短期危险行为及长期疲劳驾驶行为进行判决。

所述步骤(3)具体包括如下步骤：

(3-1)实时跟踪判断跟车距离，不同速度区间具有不同的警告门限，标准划为三层相对速度15-20m/s时，碰撞门限3.5s，10-15m/s时为3s，少于10m/s对应2.5s，如果在门限提示范围内，则直接判定为紧急危险驾驶。

(3-2)对车辆加速度区块进行分析，若分区为后向且加速度数值大于最大后向安全加速度值a_bm，即在后四区内，则判断驾驶员采取急刹车行为，若为左右四区则为急转弯，前四区为急加速，均判定为紧急危险驾驶。

(3-3)除上述异常情况，将<F1，F2，F4，F5，F6，F7>均纳入模糊推理框架，进行特征不明显的危险驾驶行为判断，对此六个特征，取数秒内的平均(加速度使用扇区中值代替)，再根据F8道路拥挤状况、天气状况、道路湿滑程度进行加权处理，然后根据周边车辆对应特征属性的最大值进行归一化处理，这样可以考虑到综合路况信息。

本发明使用如图3所示的Mamdani模糊系统建模方式进行模糊推理。为F1，F2，F4，F5，F6，F7对应属性分别赋予合适的模糊语言变量及对应的隶属度函数，每个属性对应高低两个隶属度函数，再对六个元素之间的关系编写模糊逻辑规则，车辆横向摇摆多，绝对速度快，加速度数值大，驾驶员摆动大，心率偏差多，跟车较为接近，对于危险驾驶指数增加均为正向的贡献，模糊推理而得的危险驾驶几率高，即可判断结果为驾驶员存在危险驾驶行为的概率大，反之六个属性的降低对于危险驾驶指数增加有负向的贡献，可以判断驾驶员驾驶相对稳定安全，由此可以确定2⁶，即64条模糊推理规则，对危险驾驶指数(分为高中低三部分隶属度函数)进行对应。其中隶属度函数根据各自属性的特点选取合适的高斯型、三角型、Z型、S型的隶属度函数进行模糊推理。

根据模糊规则进行模糊推理判断，其中模糊逻辑中，对于任意论域上的元素μ(u)交运算为：

μ_A∩B(u)＝min{μ_A(u),μ_B(u)}

其中u表示论域中的参数，A、B分别代表不同的模糊推理输入的元素类型，同理并运算与补运算分别为：

μ_A∪B(u)＝max{μ_A(u),μ_B(u)}

μ_A(u)＝1-μ_A(u)

使用常用模糊关系合成运算，设X，Y，Z为论域，x，y，z为对应论域中的参数，R是X×Y上的模糊关系，S是Y×Z上的模糊关系，T是R到S的合成，记为

其隶属度函数定义如下：

这里用∪表示对所有y取最大值，×是二项乘积算子，可以定义为取最小值或代数积。最常用的合成为最大—最小合成，其计算公式为：

再使用重心法进行去模糊化，最后得到[0,1]之间的输出。

在本发明的应用环境下<F1，F2，F4，F5，F6，F7>作为输入域的元素，输出即为[0,1]之间的危险驾驶指数，指数越接近1，危险程度越高，初始门限值确定为0.5。

(3-4)根据危险驾驶指数判断是否有危险驾驶行为，若其超过一定的门限值(门限值介于[0.5,0.8]之间，初始门限为0.5)则判定为普通危险驾驶。

(3-5)以1min为单位收集平均跟车距离及车辆横向摇摆特征，如果在十组数据内，平均跟车距离持续走低，且车辆横向摇摆持续升高，则判定驾驶员有疲劳驾驶行为。

(3-6)收集10min之内的危险驾驶指数，如果平均值大于一定的门限(所有数值均小于危险驾驶门限)，则判定为疲劳驾驶。

(4)向目标车辆以及周边车辆、行人发出相应的危险警告。

(4-1)判断为紧急危险驾驶，向周边车辆、行人发出高频声音提示，对目标车辆发出高频声音、高速震动、画面提示的警告。

(4-2)判断为普通危险驾驶，对目标车辆发出声音、画面提示危险行为。

(4-3)判断为疲劳驾驶，发出画面及语音提示，提醒驾驶员注意休息及驾驶注意力集中。

(5)根据驾驶员对于自身驾驶特征的判断，实现危险及疲劳驾驶判断阈值的自适应调整。

所述步骤(5)具体包括如下步骤：

(5-1)系统做出危险驾驶判断后，若驾驶员认为其驾驶行为相对安全则可以选择判断为系统假阳性，出现了误报，驾驶员可以手动提高危险驾驶门限(调整步长为0.02)，门限具有不可改变的最高安全值。

(5-2)系统做出疲劳驾驶判断后若驾驶员认为其并无疲劳状态则可以选择判断为系统假阳性，出现了误报，驾驶员可以手动提高疲劳驾驶门限(调整步长为0.05)，门限具有不可改变的最高安全值。

(5-3)如驾驶员认为门限过高，驾驶员可以手动选择重置驱动控制层的驾驶门限至初始值0.5，以监督自己进行安全驾驶；

(5-4)如出现(3-1)、(3-2)、(3-5)中任一提醒，即紧急危险驾驶行为或明显的疲劳驾驶行为，则系统认为出现了假阴性判断，也会反馈给驱动控制层，自动重置驾驶门限。

技术方案整体流程如图4所示。

下文根据具体使用场景，给出六个具体的实施示例。

实施例一：

车辆方向盘安装角度传感器、毫米波雷达、可接入车联网的车载电脑，车载北斗卫星导航系统、车辆载惯性测量单元(加速度计、陀螺仪、磁力计)，驾驶员穿戴智能手环(含心率计、加速度计)。

步骤1：通过上述传感器收集车辆的方向盘角度、车辆相对于道路的横纵坐标、车辆加速度变化信息、跟前车的距离信息，道路的路况及周围车辆大体速度及密集程度，驾驶员心率及动作摆动信息。

步骤2：处理上述数据，得到低维驾驶特征向量，将对应数据作为模糊推理系统的输入，纳入模糊推理系统，根据模糊规则和模糊隶属度函数进行判决，持续地输出并保存驾驶员危险驾驶指数值。并使用路况系数对其进行加权处理。

步骤3：驾驶员碰到紧急危险情况，采取了急刹车、快打方向的行为。驾驶员辅助系统检测瞬时加速度数值超过了相应的安全门限，立即判定驾驶人碰到紧急危险状况。

步骤4：使用车载扬声器向驾驶人和周围车辆行人发出高频声音警告、在驾驶员佩戴的智能手环和手机发出高速振动、在车载电脑上出现画面提示。警告时长为10秒。

步骤5：警告结束后，将由驱动控制层反馈给认知层，将自适应调整的危险及疲劳驾驶门限恢复至初始最低值。

实施例二：

车辆方向盘安装角度传感器、毫米波雷达、可接入车联网的车载电脑，车载北斗卫星导航系统、车辆载惯性测量单元(加速度计、陀螺仪、磁力计)，驾驶员穿戴智能手环(含心率计、加速度计)。

步骤1：通过上述传感器收集车辆的方向盘角度、车辆相对于道路的横纵坐标、车辆加速度变化信息、跟前车的距离信息，道路的路况及周围车辆大体速度及密集程度，驾驶员心率及动作摆动信息。

步骤2：处理上述数据，得到低维驾驶特征向量，将对应数据作为模糊推理系统的输入，纳入模糊推理系统，根据模糊规则和模糊隶属度函数进行判决，持续地输出并保存驾驶员危险驾驶指数值。并使用路况系数对其进行加权处理。

步骤3：驾驶员跟车不专心，在紧急情况出现时，采取急刹车或者在根据驾驶员当前速度前方车距过近的情况，立即判断驾驶员出现紧急危险驾驶行为。

步骤4：使用车载扬声器向驾驶人和周围车辆行人发出高频声音警告、在驾驶员佩戴的智能手环和手机发出高速振动、在车载电脑上出现画面提示。警告时长为10秒。

步骤5：警告结束后，将由驱动控制层反馈给认知层，将自适应调整的危险及疲劳驾驶门限恢复至初始最低值。

实施例三：

车辆方向盘安装角度传感器、毫米波雷达、可接入车联网的车载电脑，车载北斗卫星导航系统、车辆载惯性测量单元(加速度计、陀螺仪、磁力计)，驾驶员穿戴智能手环(含心率计、加速度计)。

步骤1：通过上述传感器收集车辆的方向盘角度、车辆相对于道路的横纵坐标、车辆加速度变化信息、跟前车的距离信息，道路的路况及周围车辆大体速度及密集程度，驾驶员心率及动作摆动信息。

步骤2：处理上述数据，得到低维驾驶特征向量，将对应数据作为模糊推理系统的输入，纳入模糊推理系统，根据模糊规则和模糊隶属度函数进行判决，持续地输出并保存驾驶员危险驾驶指数值。并使用路况系数对其进行加权处理。

步骤3：驾驶员出现驾驶方向摇摆、前向速度不稳定等危险驾驶习惯，驾驶员辅助系统的模糊推理系统输出的危险驾驶指数值会增加，超过危险驾驶的判决门限值。判定驾驶员具有危险驾驶行为习惯。

步骤4：车载扬声器发出声音、车载电脑出现画面提示驾驶员存在危险驾驶行为，警告时长为10秒。

步骤5：警告结束后，车载电脑弹出阈值调整画面，若驾驶员认为其刚刚行为出于自己的驾驶习惯，而且相对安全，则点击确认进行系统阈值调整，由驱动控制层将调整信息反馈给认知层，危险驾驶门限即按固定步长增高一次，门限有不可改变的最高安全值。若其判断自己确实有危险行为，则及时改正自身行为，不对阈值进行调整，以监督自身的驾驶行为。

实施例四：

车辆方向盘安装角度传感器、毫米波雷达、可接入车联网的车载电脑，车载北斗卫星导航系统、车辆载惯性测量单元(加速度计、陀螺仪、磁力计)，驾驶员穿戴智能手环(含心率计、加速度计)。

步骤1：通过上述传感器收集车辆的方向盘角度、车辆相对于道路的横纵坐标、车辆加速度变化信息、跟前车的距离信息，道路的路况及周围车辆大体速度及密集程度，驾驶员心率及动作摆动信息。

步骤2：处理上述数据，得到低维驾驶特征向量，将对应数据作为模糊推理系统的输入，纳入模糊推理系统，根据模糊规则和模糊隶属度函数进行判决，持续地输出并保存驾驶员危险驾驶指数值。并使用路况系数对其进行加权处理。

步骤3：对长时间(10min)内的驾驶员危险驾驶指数值进行判断。在长时间内，驾驶员平均跟车距离持续走低，车辆横向摇摆幅度和频率增加、心率异常，系统判定驾驶员有严重的疲劳驾驶行为。

步骤4：车载扬声器发出声音、车载电脑出现画面提示驾驶员存在疲劳驾驶行为，提醒驾驶员立即寻找周边的停车区域进行休息，警告时长为10秒。

步骤5：警告结束后，将由驱动控制层反馈给认知层，将自适应调整的疲劳驾驶门限恢复至初始最低值。

实施例五：

车辆方向盘安装角度传感器、毫米波雷达、可接入车联网的车载电脑，车载北斗卫星导航系统、车辆载惯性测量单元(加速度计、陀螺仪、磁力计)，驾驶员穿戴智能手环(含心率计、加速度计)。

步骤1：通过上述传感器收集车辆的方向盘角度、车辆相对于道路的横纵坐标、车辆加速度变化信息、跟前车的距离信息，道路的路况及周围车辆大体速度及密集程度，驾驶员心率及动作摆动信息。

步骤2：处理上述数据，得到低维驾驶特征向量，将对应数据作为模糊推理系统的输入，纳入模糊推理系统，根据模糊规则和模糊隶属度函数进行判决，持续地输出并保存驾驶员危险驾驶指数值。并使用路况系数对其进行加权处理。

步骤3：驾驶员出现困倦、分心、情绪等疲劳和类似疲劳驾驶行为，短期危险驾驶指数不会出现异常，而长时间的模糊推理输出的平均值将增大至高于疲劳驾驶门限，系统判定驾驶员存在疲劳驾驶行为。

步骤4：车载扬声器发出声音、车载电脑出现画面提示驾驶员存在疲劳驾驶行为，提醒驾驶员在驾驶过程中注意力集中并建议驾驶员进行休息，警告时长为10秒。

步骤5：警告结束后，车载电脑弹出阈值调整画面，若驾驶员认为自己并不疲劳或已经集中注意力进行驾驶，则可以点击确认进行系统阈值调整，由驱动控制层将调整信息反馈给认知层，疲劳驾驶门限即按固定步长增高一次，门限有不可改变的最高安全值。若其判断自己确实有疲劳驾驶行为，则及时改正自身行为，不对阈值进行调整，以监督自身的驾驶行为

实施例六：

车辆方向盘安装角度传感器、毫米波雷达、可接入车联网的车载电脑，车载北斗卫星导航系统、车辆载惯性测量单元(加速度计、陀螺仪、磁力计)，驾驶员穿戴智能手环(含心率计、加速度计)。

步骤1：通过上述传感器收集车辆的方向盘角度、车辆相对于道路的横纵坐标、车辆加速度变化信息、跟前车的距离信息，道路的路况及周围车辆大体速度及密集程度，驾驶员心率及动作摆动信息。

步骤2：处理上述数据，得到低维驾驶特征向量，将对应数据作为模糊推理系统的输入，纳入模糊推理系统，根据模糊规则和模糊隶属度函数进行判决，持续地输出并保存驾驶员危险驾驶指数值。并使用路况系数对其进行加权处理。

步骤3：驾驶员想要监督自己进行更加平稳规范的驾驶或者车辆进行了驾驶员的更换。

步骤4：在任何时刻，驾驶员若想重置危险及疲劳驾驶判决门限都可以操作系统界面，进行手动重置，由驱动控制层将调整信息反馈给认知层，以适应不同的驾驶人或监督驾驶人进行安全规范驾驶。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (9)

1.一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统，其特征在于：所述系统包括依次连接的传感器层、感知层、认知层、警告执行层和驱动控制层，其中驱动控制层与认知层连接；

传感器层通过传感器感知收集车辆行为、驾驶员状况、路况信息；

感知层对传感器所获得的初始信息进行处理，形成车辆对应的低维特征向量；

认知层中设有模糊推理系统，对车辆特征信息进行短期的实时判断是否为危险驾驶，如短期内无危险驾驶行为，则对短期的驾驶数据进行长期行为的判断，包括针对长期跟车距离变化及驾驶员本身状况进行判断，如果符合疲劳驾驶特征则判定为疲劳驾驶；

警告执行层基于认知层的判断，判断为紧急危险驾驶，则向周边车辆、行人发出高频声音提示，对目标车辆发出高频声音、高速震动、画面提示的警告，若为紧急危险驾驶则反馈驱动控制层调整阈值，若为普通危险驾驶，则对目标车辆驾驶人进行上述相应的警告，若判断为疲劳驾驶，则发出画面及语音提示，提醒驾驶员注意休息及驾驶注意力集中；

驱动控制层根据驾驶员对于自身驾驶特征的判断以及紧急情况的发生，对系统的假阳性及假阴性判断做出选择，实现危险及疲劳驾驶判断阈值的自适应调整。

2.根据权利要求1所述的一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统，其特征在于：所述传感器层包括方向盘角度传感器、北斗卫星导航系统、车辆惯性测量单元、穿戴加速度计及心率计、雷达和计算设备。

3.一种识别并警告危险及疲劳驾驶行为的驾驶员辅助方法，其特征在于：所述方法包括如下步骤：

步骤1，通过传感器感知车辆行为、驾驶员状况、路况信息；

步骤2，对传感器所获得的初始信息进行处理，形成车辆对应的低维特征向量；

步骤3，对车辆特征信息进行短期的实时判决，如果短期内具有符合特征的紧急危险驾驶行为，则立即向驾驶员、周边车辆、路上行人进行高频声音、高速震动以及画面图像的警告；

步骤4，使用模糊推理系统，对车辆特征信息进行短期的实时判决，如果具有符合特征的普通危险驾驶行为，则立即向驾驶员进行高频声音、高速震动以及画面图像的警告；

步骤5，短期内无危险驾驶行为，对短期的驾驶数据进行长期行为的判断，主要针对长期跟车距离及驾驶员本身状况进行判断，如符合疲劳驾驶特征则通过震动和画面对驾驶员发出休息提醒；

步骤6，如果产生驾驶员确认的误报，进行不影响安全的小范围内自适应的调整，如果发生紧急危险状况则重置门限，驾驶员也可以重置门限以适配不同驾驶员的驾驶风格。

4.根据权利要求3所述的一种识别并警告危险及疲劳驾驶行为的驾驶员辅助方法，其特征在于：步骤1中，获得方向盘角度变化信息、车辆相对于道路的横纵坐标、车辆加速度变化信息、驾驶员动作摆动及心率状况、前车距离信息和路况信息。

5.根据权利要求3所述的一种识别并警告危险及疲劳驾驶行为的驾驶员辅助方法，其特征在于：所述步骤2具体包括如下步骤：

步骤2-1，使用方向盘角度变化信息的角度序列获取车辆横向摇摆特征；对数秒内方向盘角度序列{θ_n}，其中n代表时间相关的流数据序列标号，进行快速傅里叶变换，获取其功率谱密度：

F(x)＝FFT{θ_n}

然后对其进行振幅求和，获取对应的摆动程度值S：

S作为反映车辆横向移动幅度和频率的车辆横向摇摆特征，其数值越大，说明车辆的横向摆动越频繁，幅度越大，即驾驶状态越不稳定；

步骤2-2，使用车辆相对于道路的横纵坐标求解平行于道路的纵向速度信息以及垂直于道路的横向速度信息，在与步骤2-1同样的时间长度内取平均；

步骤2-3，对车辆的加速度划分一定的范围，以不同大小及不同方向划分加速度的范围，划分前后左右四个直角扇区，并确定三个加速度大小范围，形成16个加速度扇区，使用4bit进行编号，分别确定前后左右四个方向的最大安全加速度值a_fm、a_bm、a_lm、a_rm，并根据此数值的三分之一为步长均分，确定四个加速度扇区范围，在车辆行驶过程途中形成一系列数值序列，前后的加速度阈值不同，左右的加速度阈值相同，即a_fm>a_bm>a_lm＝a_rm；

步骤2-4，根据驾驶员平静时心率测定目前心率与常规心率的百分比差值，获得驾驶员心率偏差，作为驾驶员摆动特征；

步骤2-5，对获取的跟车距离进行平均，并每分钟保存一次平均跟车距离；

步骤2-6，获取路况信息，判断道路的拥堵与否，根据天气状况判断路面干湿程度，推断摩擦力情况，交通越拥堵、道路摩擦力越低，危险程度越高，则此数值越高。

6.根据权利要求5所述的一种识别并警告危险及疲劳驾驶行为的驾驶员辅助方法，其特征在于：步骤2中，以<F1，F2，F3，F4，F5，F6，F7，F8>，即各特征对应数值的顺序排列构成待检测驾驶状态特征，进行下一步的判决；其中，F1为车辆横向摇摆特征；F2为车辆绝对速度信息；F3为车辆横向速度信息；F4为车辆加速度区块；F5为驾驶员摆动特征；F6为驾驶员心率偏差；F7为车辆短时前向跟车距离；F8为路况系数。

7.根据权利要求3所述的一种识别并警告危险及疲劳驾驶行为的驾驶员辅助方法，其特征在于：所述步骤3具体包括如下步骤：

步骤3-1，实时跟踪判断跟车距离，不同速度区间具有不同的警告门限，标准划为三层相对速度15-20m/s时，碰撞门限3.5s，10-15m/s时为3s，少于10m/s对应2.5s，如果在门限提示范围内，则直接判定为紧急危险驾驶；

步骤3-2，对车辆加速度区块进行分析，若分区为后向且加速度数值大于最大后向安全加速度值a_bm，即在后四区内，则判断驾驶员采取急刹车行为，若为左右四区则为急转弯，前四区为急加速，均判定为紧急危险驾驶；

步骤3-3，除上述异常情况，将<F1，F2，F4，F5，F6，F7>均纳入模糊推理框架，进行特征不明显的危险驾驶行为判断，对此六个特征，取数秒内的平均，再根据F8道路拥挤状况、天气状况、道路湿滑程度进行加权处理，然后根据周边车辆对应特征属性的最大值进行归一化处理；

步骤3-4，根据危险驾驶指数判断是否有危险驾驶行为，若其超过门限值则判定为普通危险驾驶；

步骤3-5，以1min为单位收集平均跟车距离及车辆横向摇摆特征，如果在十组数据内，平均跟车距离持续走低，且车辆横向摇摆持续升高，则判定驾驶员有疲劳驾驶行为；

步骤3-6，收集10min之内的危险驾驶指数，如果平均值大于一定的门限且所有数值均小于危险驾驶门限，则判定为疲劳驾驶。

8.根据权利要求7所述的一种识别并警告危险及疲劳驾驶行为的驾驶员辅助方法，其特征在于：步骤3-3中，使用基于Mamdani的模糊推理框架，包括依次连接的模糊产生器、模糊推理机、模糊消除器和与模糊推理机连接的模糊规则库；

模糊推理框架中，为F1，F2，F4，F5，F6，F7对应属性分别赋予合适的模糊语言变量及对应的隶属度函数，每个属性对应高低两个隶属度函数，再对六个元素之间的关系编写模糊逻辑规则，车辆横向摇摆多，绝对速度快，加速度数值大，驾驶员摆动大，心率偏差多，跟车较为接近，对于危险驾驶指数增加均为正向的贡献，模糊推理而得的危险驾驶几率高，即得到判断结果为驾驶员存在危险驾驶行为的概率大，反之六个属性的降低对于危险驾驶指数增加有负向的贡献，判断驾驶员驾驶相对稳定安全，由此确定2⁶即64条模糊推理规则，对危险驾驶指数进行对应，危险驾驶指数分为高中低三部分隶属度函数；

根据模糊规则进行模糊推理判断，其中模糊逻辑中，对于任意论域上的元素μ(u)交运算为：

μ_A∩B(u)＝min{μ_A(u),μ_B(u)}

其中u表示论域中的参数，A、B分别代表不同的模糊推理输入的元素类型，同理并运算与补运算分别为：

μ_A∪B(u)＝max{μ_A(u),μ_B(u)}

μ_A(u)＝1-μ_A(u)

使用常用模糊关系合成运算，设X，Y，Z为论域，x，y，z为对应论域中的参数，R是X×Y上的模糊关系，S是Y×Z上的模糊关系，T是R到S的合成，记为

其隶属度函数定义如下：

这里用∪表示对所有y取最大值，×是二项乘积算子；

再使用重心法进行去模糊化，最后得到[0,1]之间的输出；<F1，F2，F4，F5，F6，F7>作为输入，输出即为[0,1]之间的危险驾驶指数，指数越接近1，危险程度越高。

9.根据权利要求3所述的一种识别并警告危险及疲劳驾驶行为的驾驶员辅助方法，其特征在于：所述步骤5具体包括如下步骤：

步骤5-1，系统做出危险驾驶判断后，若驾驶员认为其驾驶行为相对安全则选择判断为系统假阳性，出现了误报，驾驶员手动提高危险驾驶门限；

步骤5-2，系统做出疲劳驾驶判断后若驾驶员认为其并无疲劳状态则选择判断为系统假阳性，出现了误报，驾驶员手动提高疲劳驾驶门限；

步骤5-3，如驾驶员认为门限过高，驾驶员可以手动选择重置驱动控制层的驾驶门限至初始值0.5，以监督自己进行安全驾驶；

步骤5-4，如出现步骤3-1、步骤3-2、步骤3-5中任一提醒，即紧急危险驾驶行为或明显的疲劳驾驶行为，则系统认为出现了假阴性判断，也会反馈给驱动控制层，自动重置驾驶门限。

Images