CN112874515B - 利用驾驶姿态对驾驶辅助系统进行安全提醒的系统和方法 - Google Patents

Abstract

本发明属于交通安全领域，公开了一种利用驾驶姿态对驾驶辅助系统进行安全提醒的系统和方法，该装置包括：车载摄像机、激光雷达、车速传感器、驾驶辅助系统、方向盘转角传感器、加速踏板位置传感器、制动踏板位置传感器、第一压力传感器、第二压力传感器和数据处理器；本发明基于驾驶人在放松驾驶和紧张驾驶时的驾驶姿态和操作的不同，采用车载摄像机来识别驾驶人驾驶姿态，结合方向盘、踏板操作行为，识别驾驶人是否发生突然的姿态改变；结合前方雷达和摄像头，识别前方道路场景中是否出现交通紊乱，让车载辅助驾驶系统实现提前警觉，在前方发生交通紊乱时可以更早地进行控制决策，极大地提高行车安全性。

Description

利用驾驶姿态对驾驶辅助系统进行安全提醒的系统和方法

技术领域

本发明涉及交通安全技术领域，具体涉及一种利用驾驶姿态对驾驶辅助系统进行安全提醒的系统和方法。

背景技术

随着自适应巡航控制、车道偏离预警和车道变道辅助等车载驾驶辅助系统的快速发展，汽车的安全性、经济性和驾乘舒适性得到了大幅提升。然而，当交通环境出现异常时，单依赖车辆自身的传感器并无法准确感知这些异常，从而导致驾驶辅助系统无法提前预知而作出合理的决策控制，进而危害交通安全。

在实际车辆驾驶过程中，雷达、摄像头和声波传感器是车辆进行环境感知的重要器件，为车载驾驶辅助系统的决策控制行为提供依据。但是，当前方道路场景中出现交通紊乱情况时(例如事故、异常情况等)，单凭现有的车载传感器是无法准确感知道路异常的，因此，驾驶辅助系统对前方道路出现交通紊乱情况的及时获知，对于驾驶辅助系统在前方出现交通紊乱情况下的辅助驾驶安全性尤为重要。

发明内容

针对现有技术中存在的问题，本发明的目的在于提出一种利用驾驶姿态对驾驶辅助系统进行安全提醒的系统和方法，针对行驶中的车辆，当前方道路场景出现交通紊乱异常情况时，能够提前获知该异常情况并通知车载驾驶辅助系统，使其能够提前进行决策控制，大大提高行车安全性。

为了达到上述目的，本发明采用以下技术方案予以实现。

技术方案一：

利用驾驶姿态对驾驶辅助系统进行安全提醒的系统，包括：车载摄像机、激光雷达、车速传感器、驾驶辅助系统、方向盘转角传感器、加速踏板位置传感器、制动踏板位置传感器、第一压力传感器、第二压力传感器和数据处理器；其中，所述车载摄像机安装在车辆仪表盘处，朝向驾驶人的眼部位置，用于采集驾驶人的眼部图像；

所述激光雷达安装于车顶，用于识别并提取前方障碍物的位置和速度信息；

所述方向盘转角传感器安装在方向盘下方的方向柱内，用于采集方向盘的转角信息；

所述加速踏板位置传感器和制动踏板位置传感器分别用于采集驾驶人的加速和制动操作信息；

所述第一压力传感器安装在方向盘上，用于检测驾驶人手部对方向盘的压力；

所述第二压力传感器安装在驾驶座椅下方，用于检测驾驶人对座椅的压力；

所述数据处理器接收和处理所述车载摄像机、激光雷达、方向盘转角传感器、加速踏板位置传感器、制动踏板位置传感器、第一压力传感器和第二压力传感器所采集的数据，并向驾驶辅助系统发出相应提示指令。

本发明技术方案一的特点和进一步的改进在于：

进一步的，所述车速传感器为车辆自带，用于采集自车的速度。

进一步的，所述驾驶辅助系统包含自适应巡航控制系统、车道偏离预警系统和车道变道辅助系统。

进一步的，所述车载摄像机采用AI高清摄像机，用于实时地监测识别驾驶人的眼睛瞳孔变化。

进一步的，还包括摄像头，所述摄像头安装在车头前部位，用于采集前方道路的图像信息，进而获取前方车道线信息。

进一步的，所述激光雷达为Innoviz Pro的高分辨率固态激光雷达。

进一步的，所述数据处理器为ARM处理器、单片机或工控机，安装在车辆内部。

技术方案二：

利用驾驶姿态对驾驶辅助系统进行安全提醒的方法，包括以下步骤：

步骤1，车载摄像机实时采集驾驶人的眼部图像；第一压力传感器和第二压力传感器分别实时监测驾驶人手部对方向盘的压力和身体对座椅的压力信息；方向盘转角传感器、加速踏板位置传感器和制动踏板位置传感器分别实时采集车辆的转向信息、加/减速操作信息；

步骤2，根据步骤1采集的数据，判断驾驶人的驾驶姿态是否发生突变，若是，则转入步骤3；

步骤3，判断车辆的转向信息或加/减速操作信息是否存在异常，若是，则判断驾驶人处于紧张状态，转入步骤4；

步骤4，激光雷达采集前方道路场景中的障碍物的位置和速度信息，数据处理器据此判断前方道路是否出现交通紊乱情况，若是，则向驾驶辅助系统发出相应提示指令。

本发明技术方案二的特点和进一步的改进在于：

进一步的，所述判断驾驶人的驾驶姿态是否发生突变，具体为判断驾驶人的驾驶姿态是否满足以下条件：

(1)驾驶人的手部由单手握方向盘或双手轻握方向盘转变为双手紧握方向盘，即驾驶人的手部对方向盘的压力超过预设阈值A1；

(2)驾驶人的上半身对座椅靠背的压力减轻或直接离开靠背，对座椅底部的压力增大，即驾驶人身体对座椅的压力超过预设阈值A2；

(3)驾驶人的眼睛瞳孔处于紧张状态；

当驾驶人的驾驶姿态满足上述任意两条，认为驾驶姿态发生突变。

更进一步地，所述驾驶人的眼睛瞳孔处于紧张状态的判断方法为：

(a)将驾驶人实车驾驶的历史眼睛瞳孔数据作为训练样本，对每个训练样本进行状态标注，制成训练数据集；

(b)采用训练数据集对BP神经网络模型进行训练，得到训练好的BP神经网络；

(c)将实时采集的驾驶人的眼部图像输入所述训练好的BP神经网络，输出当前驾驶人的眼睛瞳孔状态；

其中，眼睛瞳孔状态分为放松状态和紧张状态。

更进一步地，所述BP神经网络模型为三层全连接层结构，其包含两层隐含层和一个预测层，每层分别为全连接层结构；前两个全连接层分别采用ReLU激活函数；最后一层预测层采用softmax激活函数。

进一步地，所述判断车辆的转向信息或加/减速操作信息是否存在异常，具体为：

(3.1)若车辆的转向角度超过预设的角度阈值，则判断车辆的转向信息存在异常；

(3.2)若相邻时刻车辆的加速踏板的位置变化量超过预设阈值A3，或者相邻时刻车辆的制动踏板的位置变化量超过预设阈值A4，判断车辆的加/减速操作信息存在异常。

进一步的，所述判断前方道路是否出现交通紊乱情况，具体为：

在距离自车200m范围以内，若前方障碍物的速度V_f与自车速度V满足关系：

则认为前方出现交通紊乱情况；

其中，a代表自车的制动减速度，且0≤a≤2m/s²。

与现有技术相比，本发明的有益效果为：

本发明基于驾驶人在放松驾驶和紧张驾驶时的驾驶姿态和操作的不同，采用车载摄像机来识别驾驶人驾驶姿态，结合方向盘、踏板等操作行为，来识别驾驶人是否发生了突然的姿态改变。如果驾驶人发生突然的姿势改变，结合前方雷达和摄像头，识别前方道路场景中是否出现了交通紊乱情况，包括事故、异常情况等。这样，驾驶辅助系统便可以在车载雷达视觉传感器处于早期异常状态时，进行提前的控制决策。利用本发明的安全提醒方法，可以让车载辅助驾驶系统实现提前警觉，在前方发生交通紊乱时可以更早地进行控制决策，极大地提高行车安全性。

附图说明

下面结合附图和具体实施例对本发明做进一步详细说明。

图1为本发明实施例的一种利用驾驶姿态对驾驶辅助系统进行安全提醒的系统的信号传输示意图；

图2为本发明实施例的一种利用驾驶姿态对驾驶辅助系统进行安全提醒的方法的实现流程示意图；

图3为本发明的BP神经网络结构示意图。

具体实施方式

下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。

实施例1

参考图1，本发明提供一种利用驾驶姿态对驾驶辅助系统进行安全提醒的系统，包括：车载摄像机、激光雷达、车速传感器、驾驶辅助系统、方向盘转角传感器、加速踏板位置传感器、制动踏板位置传感器、第一压力传感器、第二压力传感器和数据处理器；其中，所述车载摄像机安装在车辆仪表盘处，朝向驾驶人的眼部位置，用于采集驾驶人的眼部图像；

所述激光雷达安装于车顶，用于识别并提取前方障碍物的位置和速度信息；

所述方向盘转角传感器安装在方向盘下方的方向柱内，用于采集方向盘的转角信息；

所述加速踏板位置传感器和制动踏板位置传感器分别用于采集驾驶人的加速和制动操作信息；

所述第一压力传感器安装在方向盘上，用于检测驾驶人手部对方向盘的压力；

所述第二压力传感器安装在驾驶座椅下方，用于检测驾驶人对座椅的压力；

所述数据处理器接收和处理所述车载摄像机、激光雷达、方向盘转角传感器、加速踏板位置传感器、制动踏板位置传感器、第一压力传感器和第二压力传感器所采集的数据，并向驾驶辅助系统发出相应提示指令。

以上实施例中，车速传感器直接应用车辆上自带的安装在变速器上的车速传感器，用于采集自车的速度。所述驾驶辅助系统包含自适应巡航控制系统、车道偏离预警系统和车道变道辅助系统等，用于协助驾驶人对车辆进行控制决策。

本发明实施例中，车载摄像机采用AI高清摄像机，通过神经网络进行强化学习能够准确识别驾驶人眼睛瞳孔的变化。设置在汽车仪表盘处，面对着驾驶人眼部位置进行安装。用于实时地监测识别驾驶人的眼睛瞳孔变化。

本发明实施例中，还包括摄像头，安装在车头前部位，用于采集前方道路的图像信息，进而获取前方车道线信息，用于为驾驶辅助系统提供自车及障碍物的车道信息，使其做出减速、换道、转向等操作。

本发明实施例中，所述激光雷达采用具体型号为Innoviz Pro的高分辨率的固态激光雷达，固定安装在车顶上部，能够快速识别并提取前方障碍物(包括车辆、行人和其他大件物体)的位置和速度信息。

本发明实施例中，所述数据处理器为ARM处理器、单片机或工控机，安装在车辆内部。

实施例2

参考图2，利用驾驶姿态对驾驶辅助系统进行安全提醒的方法，包括以下步骤：

步骤1，车载摄像机实时采集驾驶人的眼部图像；第一压力传感器和第二压力传感器分别实时监测驾驶人手部对方向盘的压力和身体对座椅的压力信息；方向盘转角传感器、加速踏板位置传感器和制动踏板位置传感器分别实时采集车辆的转向信息、加/减速操作信息；并将数据实时传递到数据处理器。

步骤2，根据步骤1采集的数据，判断驾驶人的驾驶姿态是否发生突变，若是，则转入步骤3；

判断驾驶人的驾驶姿态是否发生突变，具体为判断驾驶人的驾驶姿态是否满足以下条件：

(1)驾驶人的手部由单手握方向盘或双手轻握方向盘转变为双手紧握方向盘，即驾驶人的手部对方向盘的压力超过预设阈值A1；

(2)驾驶人的上半身对座椅靠背的压力减轻或直接离开靠背，对座椅底部的压力增大，即驾驶人身体对座椅的压力超过预设阈值A2；

(3)驾驶人的眼睛瞳孔处于紧张状态；

当驾驶人的驾驶姿态满足上述任意两条，认为驾驶姿态发生突变。将突变信号传递给数据处理器。

上述驾驶人的眼睛瞳孔处于紧张状态的判断方法为：

(a)将驾驶人实车驾驶的历史眼睛瞳孔数据作为训练样本，对每个训练样本进行状态标注，制成训练数据集；

(b)采用训练数据集对BP神经网络模型进行训练，得到训练好的BP神经网络；

(c)将实时采集的驾驶人的眼部图像输入所述训练好的BP神经网络，输出当前驾驶人的眼睛瞳孔状态；

其中，眼睛瞳孔状态分为放松状态和紧张状态。

由于眼睛瞳孔状态的分为两类，分类任务简单，因而采用简单的三层全连接层结构的神经网络模型(BP神经网络)，如图3所示，可以保证实时性，提高辅助驾驶的效率。网络包含两层隐含层和最后的预测层，都是全连接结构。第一层全连接层神经元个数为16，第二层全连接层神经元个数为8，激活函数均采用ReLU激活函数；最后一层类别预测层节点个数为2，分别表示放松状态和紧张状态，采用的是softmax激活函数。

网络的训练过程首先采用kaiming初始化网络的权值，再采用梯度下降算法更新网络权值。

通过车内摄像机采集的大量实车驾驶时驾驶员的眼睛瞳孔的数据，然后对数据进行状态标注(即放松和紧张状态)，制作成训练数据集，输入到搭建好的BP神经网络中进行训练。

在预测阶段，车内摄像头实时获取驾驶员眼部瞳孔图像，然后把图像输入到训练好的网络中，得到预测结果(即放松或者紧张)。

步骤3，判断车辆的转向信息或加/减速操作信息是否存在异常，若是，则判断驾驶人处于紧张状态，转入步骤4；

(3.1)若车辆的转向角度超过预设的角度阈值，则判断车辆的转向信息存在异常；

(3.2)若相邻时刻车辆的加速踏板的位置变化量超过预设阈值A3，或者相邻时刻车辆的制动踏板的位置变化量超过预设阈值A4，判断车辆的加/减速操作信息存在异常。

驾驶人驾驶姿态发生由放松驾驶到紧张驾驶的改变时，通常除了身体姿态发生改变，驾驶操作行为也会发生改变，具体表现为突然地进行转向操作或加减速操作。当驾驶人姿势发生由放松到紧张的改变，且同时任一驾驶操作信息表现出异常时，认为驾驶人发生由放松到紧张的驾驶姿势改变。

步骤4，激光雷达采集前方道路场景中的障碍物的位置和速度信息，数据处理器据此判断前方道路是否出现交通紊乱情况，若是，则向驾驶辅助系统发出相应提示指令。

判定交通紊乱：摄像头识别出前方道路的车道线信息；激光雷达实时监测前方障碍物(包括车辆、行人等)与自车的距离S和障碍物的速度Vf。摄像头和激光雷达将所采集的数据传递给数据处理器进行分析处理。处理方法为：距离自车200m以内，若前方障碍物V_f与自车速度V满足关系：

时，认为前方出现交通异常或紊乱。其中，a代表车辆的制动减速度，为确保驾驶辅助系统有足够的反应时间且保证乘客的乘坐舒适度，设置0≤a≤2m/s²。

当出现交通紊乱时，本发明能够提前获知，从而对驾驶辅助系统发出提示指令，使其提前做出控制决策，控制车辆进行减速、换道、转向等操作，提高车辆行驶的安全性。

本发明利用驾驶人驾驶姿态对驾驶辅助系统进行安全提醒，利用驾驶人的驾驶姿态和加/减速操作信息判断驾驶姿态是否突变；结合前方道路信息，在前方发生交通紊乱时可以让车载辅助驾驶系统实现提前警觉，可以更早地进行控制决策，极大地提高行车安全性。

虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.利用驾驶姿态对驾驶辅助系统进行安全提醒的方法，该方法基于利用驾驶姿态对驾驶辅助系统进行安全提醒的系统，所述利用驾驶姿态对驾驶辅助系统进行安全提醒的系统包括：车载摄像机、激光雷达、车速传感器、驾驶辅助系统、方向盘转角传感器、加速踏板位置传感器、制动踏板位置传感器、第一压力传感器、第二压力传感器和数据处理器；其中，所述车载摄像机安装在车辆仪表盘处，朝向驾驶人的眼部位置，用于采集驾驶人的眼部图像；

所述激光雷达安装于车顶，用于识别并提取前方障碍物的位置和速度信息；

所述方向盘转角传感器安装在方向盘下方的方向柱内，用于采集方向盘的转角信息；

所述加速踏板位置传感器和制动踏板位置传感器分别用于采集驾驶人的加速和制动操作信息；

所述第一压力传感器安装在方向盘上，用于检测驾驶人手部对方向盘的压力；

所述第二压力传感器安装在驾驶座椅下方，用于检测驾驶人对座椅的压力；

所述数据处理器接收和处理所述车载摄像机、激光雷达、方向盘转角传感器、加速踏板位置传感器、制动踏板位置传感器、第一压力传感器和第二压力传感器所采集的数据，并向驾驶辅助系统发出相应提示指令；其特征在于，包括以下步骤：

步骤1，车载摄像机实时采集驾驶人的眼部图像；第一压力传感器和第二压力传感器分别实时监测驾驶人手部对方向盘的压力和身体对座椅的压力信息；方向盘转角传感器、加速踏板位置传感器和制动踏板位置传感器分别实时采集车辆的转向信息、加/减速操作信息；

步骤2，根据步骤1采集的数据，判断驾驶人的驾驶姿态是否发生突变，若是，则转入步骤3；

步骤3，判断车辆的转向信息或加/减速操作信息是否存在异常，若是，则判断驾驶人处于紧张状态，转入步骤4；

步骤4，激光雷达采集前方道路场景中的障碍物的位置和速度信息，数据处理器据此判断前方道路是否出现交通紊乱情况，若是，则向驾驶辅助系统发出相应提示指令，使其提前做出控制决策，控制车辆进行减速、换道、转向等操作；

所述判断驾驶人的驾驶姿态是否发生突变，具体为判断驾驶人的驾驶姿态是否满足以下条件：

(1)驾驶人的手部由单手握方向盘或双手轻握方向盘转变为双手紧握方向盘，即驾驶人的手部对方向盘的压力超过预设阈值A1；

(2)驾驶人的上半身对座椅靠背的压力减轻或直接离开靠背，对座椅底部的压力增大，即驾驶人身体对座椅的压力超过预设阈值A2；

(3)驾驶人的眼睛瞳孔处于紧张状态；

当驾驶人的驾驶姿态满足上述任意两条，认为驾驶姿态发生突变。

2.根据权利要求1所述的利用驾驶姿态对驾驶辅助系统进行安全提醒的方法，其特征在于，所述车载摄像机采用AI高清摄像机，用于实时地监测识别驾驶人的眼睛瞳孔变化。

3.根据权利要求1所述的利用驾驶姿态对驾驶辅助系统进行安全提醒的方法，其特征在于，还包括摄像头，所述摄像头安装在车头前端，用于采集前方道路的图像信息，进而获取前方车道线信息。

4.根据权利要求1所述的利用驾驶姿态对驾驶辅助系统进行安全提醒的方法，其特征在于，所述驾驶辅助系统包含自适应巡航控制系统、车道偏离预警系统和车道变道辅助系统。

5.根据权利要求1所述的利用驾驶姿态对驾驶辅助系统进行安全提醒的方法，其特征在于，所述驾驶人的眼睛瞳孔处于紧张状态的判断方法为：

(a)将驾驶人实车驾驶的历史眼睛瞳孔数据作为训练样本，对每个训练样本进行状态标注，制成训练数据集；

(b)采用训练数据集对BP神经网络模型进行训练，得到训练好的BP神经网络；

(c)将实时采集的驾驶人的眼部图像输入所述训练好的BP神经网络，输出当前驾驶人的眼睛瞳孔状态；

其中，眼睛瞳孔状态分为放松状态和紧张状态。

6.根据权利要求5所述的利用驾驶姿态对驾驶辅助系统进行安全提醒的方法，其特征在于，所述BP神经网络模型为三层全连接层结构，其包含两层隐含层和一个预测层，每层分别为全连接层结构；前两个全连接层分别采用ReLU激活函数；最后一层预测层采用softmax激活函数。

7.根据权利要求1所述的利用驾驶姿态对驾驶辅助系统进行安全提醒的方法，其特征在于，所述判断车辆的转向信息或加/减速操作信息是否存在异常，具体为：

(3.1)若车辆的转向角度超过预设的角度阈值，则判断车辆的转向信息存在异常；

(3.2)若相邻时刻车辆的加速踏板的位置变化量超过预设阈值A3，或者相邻时刻车辆的制动踏板的位置变化量超过预设阈值A4，判断车辆的加/减速操作信息存在异常。

8.根据权利要求1所述的利用驾驶姿态对驾驶辅助系统进行安全提醒的方法，其特征在于，所述判断前方道路是否出现交通紊乱情况，具体为：

在距离自车200m范围以内，若前方障碍物的速度V_f与自车速度V满足关系：

则认为前方出现交通紊乱情况；

其中，a代表自车的制动减速度，且0≤a≤2m/s²。

Images