CN112926404B - 一种主动交互式人车通行系统及方法 - Google Patents

Abstract

本发明公开一种主动交互式人车通行系统及方法，通行系统包括有行人检测模块、驾驶员意图识别模块和人车交互模块，其中行人检测模块、驾驶员意图识别模块和人车交互模块依次连接，行人检测模块、驾驶员意图识别模块和人车交互模块均装配在机动车的车体上，行人检测模块、驾驶员意图识别模块和人车交互模块均与车内的主控制器相连接，人车通行方法，包括的步骤有：第一步、基于HOG和SVM算法的行人检测；第二步、基于多源信息融合的驾驶员意图识别；第三步、人车信息交互模块的启动。本发明的有益效果：行人根据车外显示模块及时并且准确知晓车内驾驶员意图，在最大程度上保证汽车和行人的安全的同时，也保证了汽车的舒适性和驾驶员开车的连续性。

Description

一种主动交互式人车通行系统及方法

技术领域

本发明涉及一种人车通行系统及方法，特别涉及一种主动交互式人车通行系统及方法。

背景技术

目前，随着智能辅助驾驶技术的发展，汽车的智能化程度也不断提高。针对在路口行人出现在行驶路径上的工况，正常情况下车辆会采取制动的措施来避免碰撞的发生，但由于车与行人之间无法进行直接信息交换，所以经常会出现车与人互相等待的尴尬局面，更危险的是假如车与人都不愿意礼让，极容易导致交通事故发生，给彼此都带来极大的不方便，同时僵持局面也会加剧路口的拥堵程度。

现有车辆礼让行人方法是由驾驶员手动打开提示，是一种驾驶员与车辆的被动式交互，在操作过程中驾驶员视线需要从路面上移开，不仅带来不安全的隐患，过程也十分的低效。

基于此，如今机动车有必要搭载一种可以实现与车外行人实时的主动交互系统，让车外行人及时并准确知晓车内驾驶员意图，如本车正在前行、已停车等待行人通过等，从而行人可以及时避让或者放心通行以克服上述问题。

鉴于上述分析，本发明旨在建立一种可以搭载于机动车上的主动交互式人车通行系统及方法，当行人出现在车辆行驶路径上，系统自动识别出驾驶员意图，无需驾驶员手动打开提示，即可对行人提示当前车辆状态，很好地解决驾驶员与外部行人沟通的问题，方便双方通行，从而提高道路通行效率,改善交通礼仪，加强行车安全。

发明内容

本发明的目的是为了让车外行人及时并准确知晓车内驾驶员意图，很好地解决驾驶员与外部行人沟通的问题，以方便双方通行，从而提高道路通行效率而提供的一种主动交互式人车通行系统及方法。

本发明提供的主动交互式人车通行系统包括有行人检测模块、驾驶员意图识别模块和人车交互模块，其中行人检测模块、驾驶员意图识别模块和人车交互模块依次连接，行人检测模块、驾驶员意图识别模块和人车交互模块均装配在机动车的车体上，当行人检测模块输出自车与车外行人的距离小于预设的安全距离时，触发驾驶员意图识别模块进行工作，当驾驶员意图被实时输出时，触发人车交互模块进行工作，行人检测模块、驾驶员意图识别模块和人车交互模块均与车内的主控制器相连接，行人检测模块、驾驶员意图识别模块和人车交互模块由车内的主控制器控制工作，车内的主控制器与车内的CAN主线连接。

行人检测模块内设置有前视摄像头和毫米波雷达，前视摄像头安装于车内中控台上，毫米波雷达安装在车辆前保险杠上，前视摄像头和毫米波雷达均与主控制器相连接，前视摄像头和毫米波雷达能够把获取的数据实时传输给主控制器。

驾驶员意图识别模块内设置有方向盘握力传感器、驾驶员眼动及头动特征数据采集设备、网络通信设备、车载GPS和驾驶员足动数据采集设备，其中方向盘握力传感器安装在方向盘上，驾驶员眼动及头动特征数据采集设备内设置有三个摄像头，三个摄像头分别安装在仪表盘的三个位置上以360度捕捉驾驶员的头动及眼动数据；驾驶员足动数据采集设备内设置的用于捕捉足部特征的摄像头安装于踏板正上方处，握力传感器、驾驶员眼动及头动特征数据采集设备、车载GPS和网络通信设备均与主控制器相连接，握力传感器、驾驶员眼动及头动特征数据采集设备、车载GPS和网络通信设备能够把获得的数据实时传输给主控制器，驾驶员眼动及头动特征数据采集设备的型号为Smart Eye Pro驾驶眼动追踪系统。

人车交互模块内设置有车内语音播报单元、车内显示单元和车外显示单元，车内语音播报单元安装在仪表盘上，车内显示单元由LED显示屏、电子显示屏和挡风玻璃投影灯组成，车内显示单元安装在仪表盘上或挡风玻璃上，车外显示单元由LED显示屏或电子显示屏构成，车外显示单元安装在车前部车牌处，车内语音播报单元、车内显示单元和车外显示单元均与主控制器相连接并由主控制器控制工作，人车交互模块内设置的电路由两条支路组成，人车交互模块内装配两个开关分别控制两条支路以控制三个输出终端的不同输出形式，两个开关并联连接，每个开关均与车内语音播报单元、车内显示单元及车外显示单元均串联连接，第一支路用来提示行人“本车已停车，您可以通行”；第二支路用来提示行人“本车保持前行，请您注意避让”，两条支路均与主控制器串联连接。

上述的行人检测模块、驾驶员意图识别模块、人车交互模块和主控制器均为现有设备的组装，因此，具体型号和规格没有进行赘述。

本发明提供的主动交互式人车通行系统工作原理如下：

本发明提供的系统输入信号由模拟量信号输入、开关量信号输入和数字量信号输入组成。开关量信号主要有启动开关、人车交互辅助通行系统开关、意图识别开关等。模拟量信号主要包括加速踏板信号、制动踏板信号、横摆角速度信号、车速信号、方向盘握力信号等。数字量信号主要由眼动特征信号、头动特征信号。输入的信号经过处理后，集成到CAN总线上，传送到系统主程序中，输出终端有车内播报单元、车内显示单元、车外显示单元。CAN通讯具有较强实时性、较强的传输距离、较强抗电磁干扰能力、成本低等有点，是主要的通讯方式，还有RS232通讯主要负责与上位机通讯，对于不支持CAN通讯的可以使用RS485通讯。

本发明的硬件系统主要包括：主控芯片最小系统模块、电源模块、信号输入模块、CAN通讯模块、RS485/RS232模块。微处理器由单片机实现，通过外部计算机通信接口向微处理器写入处理算法程序。本发明选用飞思卡尔MC9S12XS系列单片机作为控制器的主控芯片MCU，其是一款针对汽车电子市场的高性能16位单片机，具有高速度、较强功能、低成本、低功耗等特点。

本发明提供的主动交互式人车通行方法，包括以下步骤：

第一步、基于HOG和SVM算法的行人检测：

当人车交互辅助通行模式打开时，根据车载前视摄像头所采集的图像，应用基于方向梯度直方图和线性支持向量机算法实时检测分析车辆前进路径上内是否存在行人，此算法常用于高精度的目标分类器；

当上述算法检测到车辆前进路径上存在行人时，毫米波雷达实时检测路径上的行人与车辆之间的距离，当其小于所预设的安全距离时，行人检测车内语音播报模块会语音提升驾驶员注意行人，并且开启驾驶员意图识别模块；

第二步、基于多源信息融合的驾驶员意图识别：

当车辆前进路径上的行人与车辆之间距离小于预设的安全距离时，车辆驾驶员意图辨识模块开启，根据采集的驾驶员行为特征、车辆运动参数和交通环境信息，做信息融合后识别驾驶员的驾驶意图，是停车礼让还是保持前进状态；

车辆CAN总线获取驾驶员操作信息特征参数，包括加速踏板位移、制动踏板位移、方向盘转角和变速器档位，通过车载传感器获得车辆的状态特征参数，包括车速、加速度、位置信息和横摆角速度，通过布设在车上的设备传感器采集驾驶员行为特征参数，包括方向盘握力大小、驾驶员眼动特征、头动特征、足动特征，通过摄像头和通信设备获得交通环境信息特征参数，包括周围车辆的速度、加速度、道路曲率、交通标志和红绿灯状态；

眼动特征信号的采集：将驾驶员视野划分为六个区域：正前方道路、仪表盘、左后视镜、左侧区域、右侧区域和其他区域，分别设为序号1-6，记录驾驶员视点转移路径，由驾驶眼动追踪系统获取；

足动特征信号的采集：将足部状态分为：正在踩踏制动踏板、正在踩踏油门踏板、松开制动踏板朝向油门踏板以及松开油门踏板朝向制动踏板，由用于捕捉足部特征的摄像头获取；

从驾驶眼动追踪系统获得驾驶员头部水平旋转角度作为头动特征信号；

眼动及头动数据采集设备为Smart Eye Pro驾驶眼动追踪系统；

将上述驾驶员操作信息特征参数、车辆状态特征参数、驾驶员行为特征参数、交通环境特征参数在预设的分类器进行分类训练，根据分类器的分类结果，实时识别出驾驶员意图；

建立预设的分类器，具体步骤如下：

采集预设时间内的所需要进行分类训练的数据，主要包括驾驶员操作信息、车辆状态信息、驾驶员行为信息和交通信息；

从上述采集信息进行训练特征参数提取，训练特征参数包括与驾驶员操作信息对应的操作特征参数，与驾驶员行为信息对应的行为特征参数，与车辆状态信息所对应的状态特征参数以及与交通环境对应的交通特征参数；

对不同的特征参数使用聚类的方法标注标签，对应当时的驾驶员的驾驶意图，是停车礼让还是保持前行状态，对不同标签下的特征参数进行学习、训练，形成预设的分类器，其精度保证在98％以上；

由此，车辆在驾驶过程中，以时间窗为单位时间向预设分类器输入所有特征参数，分类器准确并实时地输出驾驶员的意图，为后续车与行人信息交互工作奠定基础；

第三步、人车信息交互模块的启动：

当驾驶员意图输出模块输出驾驶员意图为停车礼让行人时，驾驶员即踩踏制动踏板，同时，第一个开关闭合，第二个开关打开，待车停止后，车内显示单元提示“已停车礼让行人”，目的是为了让车内驾驶员确定此时驾驶员意图被正确识别，而车外显示单元显示绿色字体的“本车已停车，请您放心通过”，此时，车外行人得到此信息后即可用放心通过路口，待行人全部通过后，驾驶员意图重新被识别为保持前进状态，驾驶员轻踩油门踏板，同时，第一个开关打开，第二个开关重新闭合，车内显示单元显示“请低速通行，注意行人”，车外显示单元显示红色字体的“注意来车，小心避让”，车辆再低速通过路口；

当驾驶员意图输出模块输出驾驶员意图为保持前行时，第一个开关闭合，第二个开关打开，车内显示单元提示“请低速通行，注意行人”，目的是为了让车内驾驶员确定此时驾驶员意图被正确识别，而车外显示单元提示红色字体的“注意来车，小心避让”，此时，驾驶员仍需低速通过路口，注意避让行人。

第一步中基于HOG和SVM算法的行人检测的步骤如下：

步骤一、图像预处理：对图像进行裁剪，缩放到固定尺寸，灰度处理后计算每个像素的最大梯度值。然后进行伽马校正，调节图像对比度，减少对光照影响，伽马校正公式如下：

f(x)＝x^γ；

步骤二、计算梯度直方图：把步骤一中预处理后的图像划分为数个8x8的小单元，称为cell,计算每个cell的梯度直方图，每个像素点都包括梯度的大小和方向,将8x8的小单元用长度为9的数组来表示，即为梯度直方图；

步骤三、Block归一化处理：把2x2个cell作为一组，称为Block，为了适应亮度变化，以及前景与背景对比度的变化，以Block为单位进行归一化；

步骤四、计算HOG特征向量：把所有Block向量组合在一起，生成特征向量；

步骤五、训练SVM分类器：根据采集的实验数据进行学习和训练，利用训练数据训练分类器，使用测试数据对分类器测试并优化，使测试精度达到98％以上。

本发明的有益效果：

本发明提供的技术方案作为一种可搭载于机动车上可实现与车外行人实时的主动交互的系统，根据车载摄像头捕捉画面及行人检测识别算法，检测车辆前进路径上是否存在行人；当行人与自车距离小于安全距离时，触发驾驶员意图识别系统，对驾驶员操作信息、车辆状态信息、交通环境信息、驾驶员行为信息进行提取，并输入到预设分类器中，输出驾驶员实时意图；驾驶员意图再作为人车交互模块的输入，停车让行和保持前进两种意图分别对应两种不同的信息输出，驾驶员根据车内显示模块确认意图识别的正确性，行人根据车外显示模块及时并且准确知晓车内驾驶员意图，从而行人可以及时避让或者放心通过道路。

本发明是一种主动交互式的系统，不同于现有的被动交互系统，主动式交互以车本身为起点，主动输出执行结果给驾驶员，即在操作过程中驾驶员正常驾驶即可，交互系统不会干扰驾驶员正常驾驶行为，也就是无感知交互，在最大程度上保证汽车和行人的安全的同时，也保证了汽车的舒适性和驾驶员开车的连续性。

附图说明

图1为本发明所述系统的整体结构框图。

图2为本发明所述系统架构示意图。

图3为本发明所述主控制器连接关系结构框图。

图4为本发明所述行人检测模块工作流程框图。

图5为本发明所述驾驶员意图识别模块的工作流程框图。

图6为本发明所述人车交互模块的工作流程框图。

图7为本发明所述人车交互模块结构原理框图。

上图中的标注如下：

1、行人检测模块 2、驾驶员意图识别模块 3、人车交互模块

4、主控制器。

具体实施方式

请参阅图1至图7所示：

本发明提供的主动交互式人车通行系统包括有行人检测模块1、驾驶员意图识别模块2和人车交互模块3，其中行人检测模块1、驾驶员意图识别模块2和人车交互模块3依次连接，行人检测模块1、驾驶员意图识别模块2和人车交互模块3均装配在机动车的车体上，当行人检测模块1输出自车与车外行人的距离小于预设的安全距离时，触发驾驶员意图识别模块2进行工作，当驾驶员意图被实时输出时，触发人车交互模块3进行工作，行人检测模块1、驾驶员意图识别模块2和人车交互模块3均与车内的主控制器4相连接，行人检测模块1、驾驶员意图识别模块2和人车交互模块3由车内的主控制器4控制工作，车内的主控制器4与车内的CAN主线连接。

行人检测模块1内设置有前视摄像头和毫米波雷达，前视摄像头安装于车内中控台上，毫米波雷达安装在车辆前保险杠上，前视摄像头和毫米波雷达均与主控制器相连接，前视摄像头和毫米波雷达能够把获取的数据实时传输给主控制器4。

驾驶员意图识别模块2内设置有方向盘握力传感器、驾驶员眼动及头动特征数据采集设备、网络通信设备、车载GPS和驾驶员足动数据采集设备，其中方向盘握力传感器安装在方向盘上，驾驶员眼动及头动特征数据采集设备内设置有三个摄像头，三个摄像头分别安装在仪表盘的三个位置上以360度捕捉驾驶员的头动及眼动数据；驾驶员足动数据采集设备内设置的用于捕捉足部特征的摄像头安装于踏板正上方处，握力传感器、驾驶员眼动及头动特征数据采集设备、车载GPS和网络通信设备均与主控制器4相连接，握力传感器、驾驶员眼动及头动特征数据采集设备、车载GPS和网络通信设备能够把获得的数据实时传输给主控制器4，驾驶员眼动及头动特征数据采集设备的型号为Smart Eye Pro驾驶眼动追踪系统。

人车交互模块3内设置有车内语音播报单元、车内显示单元和车外显示单元，车内语音播报单元安装在仪表盘上，车内显示单元由LED显示屏、电子显示屏和挡风玻璃投影灯组成，车内显示单元安装在仪表盘上或挡风玻璃上，车外显示单元由LED显示屏或电子显示屏构成，车外显示单元安装在车前部车牌处，车内语音播报单元、车内显示单元和车外显示单元均与主控制器4相连接并由主控制器4控制工作，人车交互模块3内设置的电路由两条支路组成，人车交互模块3内装配两个开关分别控制两条支路以控制三个输出终端的不同输出形式，两个开关并联连接，每个开关均与车内语音播报单元、车内显示单元及车外显示单元均串联连接，第一支路用来提示行人“本车已停车，您可以通行”；第二支路用来提示行人“本车保持前行，请您注意避让”，两条支路均与主控制器4串联连接。

上述的行人检测模块1、驾驶员意图识别模块2、人车交互模块3和主控制器4均为现有设备的组装，因此，具体型号和规格没有进行赘述。

本发明提供的主动交互式人车通行系统工作原理如下：

本发明提供的系统输入信号由模拟量信号输入、开关量信号输入和数字量信号输入组成。开关量信号主要有启动开关、人车交互辅助通行系统开关、意图识别开关等。模拟量信号主要包括加速踏板信号、制动踏板信号、横摆角速度信号、车速信号、方向盘握力信号等。数字量信号主要由眼动特征信号、头动特征信号。输入的信号经过处理后，集成到CAN总线上，传送到系统主程序中，输出终端有车内播报单元、车内显示单元、车外显示单元。CAN通讯具有较强实时性、较强的传输距离、较强抗电磁干扰能力、成本低等有点，是主要的通讯方式，还有RS232通讯主要负责与上位机通讯，对于不支持CAN通讯的可以使用RS485通讯。

本发明的硬件系统主要包括：主控芯片最小系统模块、电源模块、信号输入模块、CAN通讯模块、RS485/RS232模块。微处理器由单片机实现，通过外部计算机通信接口向微处理器写入处理算法程序。本发明选用飞思卡尔MC9S12XS系列单片机作为控制器的主控芯片MCU，其是一款针对汽车电子市场的高性能16位单片机，具有高速度、较强功能、低成本、低功耗等特点。

本发明提供的主动交互式人车通行方法，包括以下步骤：

第一步、基于HOG和SVM算法的行人检测：

当人车交互辅助通行模式打开时，根据车载前视摄像头所采集的图像，应用基于方向梯度直方图和线性支持向量机算法实时检测分析车辆前进路径上内是否存在行人，此算法常用于高精度的目标分类器；

当上述算法检测到车辆前进路径上存在行人时，毫米波雷达实时检测路径上的行人与车辆之间的距离，当其小于所预设的安全距离时，行人检测车内语音播报模块会语音提升驾驶员注意行人，并且开启驾驶员意图识别模块2；

第二步、基于多源信息融合的驾驶员意图识别：

当车辆前进路径上的行人与车辆之间距离小于预设的安全距离时，车辆驾驶员意图辨识模块2开启，根据采集的驾驶员行为特征、车辆运动参数和交通环境信息，做信息融合后识别驾驶员的驾驶意图，是停车礼让还是保持前进状态；

车辆CAN总线获取驾驶员操作信息特征参数，包括加速踏板位移、制动踏板位移、方向盘转角和变速器档位，通过车载传感器获得车辆的状态特征参数，包括车速、加速度、位置信息和横摆角速度，通过布设在车上的设备传感器采集驾驶员行为特征参数，包括方向盘握力大小、驾驶员眼动特征、头动特征、足动特征，通过摄像头和通信设备获得交通环境信息特征参数，包括周围车辆的速度、加速度、道路曲率、交通标志和红绿灯状态；

眼动特征信号的采集：将驾驶员视野划分为六个区域：正前方道路、仪表盘、左后视镜、左侧区域、右侧区域和其他区域，分别设为序号1-6，记录驾驶员视点转移路径，由驾驶眼动追踪系统获取；

足动特征信号的采集：将足部状态分为：正在踩踏制动踏板、正在踩踏油门踏板、松开制动踏板朝向油门踏板以及松开油门踏板朝向制动踏板，由用于捕捉足部特征的摄像头获取；

从驾驶眼动追踪系统获得驾驶员头部水平旋转角度作为头动特征信号；

眼动及头动数据采集设备为Smart Eye Pro驾驶眼动追踪系统；

将上述驾驶员操作信息特征参数、车辆状态特征参数、驾驶员行为特征参数、交通环境特征参数在预设的分类器进行分类训练，根据分类器的分类结果，实时识别出驾驶员意图；

建立预设的分类器，具体步骤如下：

采集预设时间内的所需要进行分类训练的数据，主要包括驾驶员操作信息、车辆状态信息、驾驶员行为信息和交通信息；

从上述采集信息进行训练特征参数提取，训练特征参数包括与驾驶员操作信息对应的操作特征参数，与驾驶员行为信息对应的行为特征参数，与车辆状态信息所对应的状态特征参数以及与交通环境对应的交通特征参数；

对不同的特征参数使用聚类的方法标注标签，对应当时的驾驶员的驾驶意图，是停车礼让还是保持前行状态，对不同标签下的特征参数进行学习、训练，形成预设的分类器，其精度保证在98％以上；

由此，车辆在驾驶过程中，以时间窗为单位时间向预设分类器输入所有特征参数，分类器准确并实时地输出驾驶员的意图，为后续车与行人信息交互工作奠定基础；

第三步、人车信息交互模块的启动：

当驾驶员意图输出模块输出驾驶员意图为停车礼让行人时，驾驶员即踩踏制动踏板，同时，第一个开关闭合，第二个开关打开，待车停止后，车内显示单元提示“已停车礼让行人”，目的是为了让车内驾驶员确定此时驾驶员意图被正确识别，而车外显示单元显示绿色字体的“本车已停车，请您放心通过”，此时，车外行人得到此信息后即可用放心通过路口，待行人全部通过后，驾驶员意图重新被识别为保持前进状态，驾驶员轻踩油门踏板，同时，第一个开关打开，第二个开关重新闭合，车内显示单元显示“请低速通行，注意行人”，车外显示单元显示红色字体的“注意来车，小心避让”，车辆再低速通过路口；

当驾驶员意图输出模块输出驾驶员意图为保持前行时，第一个开关闭合，第二个开关打开，车内显示单元提示“请低速通行，注意行人”，目的是为了让车内驾驶员确定此时驾驶员意图被正确识别，而车外显示单元提示红色字体的“注意来车，小心避让”，此时，驾驶员仍需低速通过路口，注意避让行人。

第一步中基于HOG和SVM算法的行人检测的步骤如下：

步骤一、图像预处理：对图像进行裁剪，缩放到固定尺寸，灰度处理后计算每个像素的最大梯度值，然后进行伽马校正，调节图像对比度，减少对光照影响，伽马校正公式如下：

f(x)＝x^γ；

步骤二、计算梯度直方图：把步骤一中预处理后的图像划分为数个8x8的小单元，称为cell,计算每个cell的梯度直方图，每个像素点都包括梯度的大小和方向,将8x8的小单元用长度为9的数组来表示，即为梯度直方图；

步骤三、Block归一化处理：把2x2个cell作为一组，称为Block，为了适应亮度变化，以及前景与背景对比度的变化，以Block为单位进行归一化；

步骤四、计算HOG特征向量：把所有Block向量组合在一起，生成特征向量；

步骤五、训练SVM分类器：根据采集的实验数据进行学习和训练，利用训练数据训练分类器，使用测试数据对分类器测试并优化，使测试精度达到98％以上。

Claims (4)

1.一种主动交互式人车通行方法，其特征在于：包括以下步骤：

第一步、基于HOG和SVM算法的行人检测：

当人车交互辅助通行模式打开时，根据车载前视摄像头所采集的图像，应用基于方向梯度直方图和线性支持向量机算法实时检测分析车辆前进路径上内是否存在行人，此算法常用于高精度的目标分类器；

当上述算法检测到车辆前进路径上存在行人时，毫米波雷达实时检测路径上的行人与车辆之间的距离，当其小于所预设的安全距离时，行人检测车内语音播报模块会语音提升驾驶员注意行人，并且开启驾驶员意图识别模块；

基于HOG和SVM算法的行人检测的步骤如下：

步骤一、图像预处理：对图像进行裁剪，缩放到固定尺寸，灰度处理后计算每个像素的最大梯度值，然后进行伽马校正，调节图像对比度，减少对光照影响，伽马校正公式如下：

f(x)＝x^γ；

步骤二、计算梯度直方图：把步骤一中预处理后的图像划分为数个8x8的小单元，称为cell,计算每个cell的梯度直方图，每个像素点都包括梯度的大小和方向,将8x8的小单元用长度为9的数组来表示，即为梯度直方图；

步骤三、Block归一化处理：把2x2个cell作为一组，称为Block，为了适应亮度变化，以及前景与背景对比度的变化，以Block为单位进行归一化；

步骤四、计算HOG特征向量：把所有Block向量组合在一起，生成特征向量；

步骤五、训练SVM分类器：根据采集的实验数据进行学习和训练，利用训练数据训练分类器，使用测试数据对分类器测试并优化，使测试精度达到98％以上；

第二步、基于多源信息融合的驾驶员意图识别：

当车辆前进路径上的行人与车辆之间距离小于预设的安全距离时，车辆驾驶员意图辨识模块开启，根据采集的驾驶员行为特征、车辆运动参数和交通环境信息，做信息融合后识别驾驶员的驾驶意图，是停车礼让还是保持前进状态；

车辆CAN总线获取驾驶员操作信息特征参数，包括加速踏板位移、制动踏板位移、方向盘转角和变速器档位，通过车载传感器获得车辆的状态特征参数，包括车速、加速度、位置信息和横摆角速度，通过布设在车上的设备传感器采集驾驶员行为特征参数，包括方向盘握力大小、驾驶员眼动特征、头动特征、足动特征，通过摄像头和通信设备获得交通环境信息特征参数，包括周围车辆的速度、加速度、道路曲率、交通标志和红绿灯状态；

眼动特征信号的采集：将驾驶员视野划分为六个区域：正前方道路、仪表盘、左后视镜、左侧区域、右侧区域和其他区域，分别设为序号1-6，记录驾驶员视点转移路径，由驾驶眼动追踪系统获取；

足动特征信号的采集：将足部状态分为：正在踩踏制动踏板、正在踩踏油门踏板、松开制动踏板朝向油门踏板以及松开油门踏板朝向制动踏板，由用于捕捉足部特征的摄像头获取；

从驾驶眼动追踪系统获得驾驶员头部水平旋转角度作为头动特征信号；

眼动及头动数据采集设备为Smart Eye Pro驾驶眼动追踪系统；

将上述驾驶员操作信息特征参数、车辆状态特征参数、驾驶员行为特征参数、交通环境特征参数在预设的分类器进行分类训练，根据分类器的分类结果，实时识别出驾驶员意图；

建立预设的分类器，具体步骤如下：

采集预设时间内的所需要进行分类训练的数据，主要包括驾驶员操作信息、车辆状态信息、驾驶员行为信息和交通信息；

从上述采集信息进行训练特征参数提取，训练特征参数包括与驾驶员操作信息对应的操作特征参数，与驾驶员行为信息对应的行为特征参数，与车辆状态信息所对应的状态特征参数以及与交通环境对应的交通特征参数；

对不同的特征参数使用聚类的方法标注标签，对应当时的驾驶员的驾驶意图，是停车礼让还是保持前行状态，对不同标签下的特征参数进行学习、训练，形成预设的分类器，其精度保证在98％以上；

由此，车辆在驾驶过程中，以时间窗为单位时间向预设分类器输入所有特征参数，分类器准确并实时地输出驾驶员的意图，为后续车与行人信息交互工作奠定基础；

第三步、人车信息交互模块的启动：

当驾驶员意图输出模块输出驾驶员意图为停车礼让行人时，驾驶员即踩踏制动踏板，同时，第一个开关闭合，第二个开关打开，待车停止后，车内显示单元提示“已停车礼让行人”，目的是为了让车内驾驶员确定此时驾驶员意图被正确识别，而车外显示单元显示绿色字体的“本车已停车，请您放心通过”，此时，车外行人得到此信息后即可用放心通过路口，待行人全部通过后，驾驶员意图重新被识别为保持前进状态，驾驶员轻踩油门踏板，同时，第一个开关打开，第二个开关重新闭合，车内显示单元显示“请低速通行，注意行人”，车外显示单元显示红色字体的“注意来车，小心避让”，车辆再低速通过路口；

当驾驶员意图输出模块输出驾驶员意图为保持前行时，第一个开关闭合，第二个开关打开，车内显示单元提示“请低速通行，注意行人”，目的是为了让车内驾驶员确定此时驾驶员意图被正确识别，而车外显示单元提示红色字体的“注意来车，小心避让”，此时，驾驶员仍需低速通过路口，注意避让行人。

2.应用权利要求1所述的一种主动交互式人车通行方法的系统，其特征在于：行人检测模块、驾驶员意图识别模块和人车交互模块依次连接，行人检测模块、驾驶员意图识别模块和人车交互模块均装配在机动车的车体上，当行人检测模块输出自车与车外行人的距离小于预设的安全距离时，触发驾驶员意图识别模块进行工作，当驾驶员意图被实时输出时，触发人车交互模块进行工作，行人检测模块、驾驶员意图识别模块和人车交互模块均与车内的主控制器相连接，行人检测模块、驾驶员意图识别模块和人车交互模块由车内的主控制器控制工作，车内的主控制器与车内的CAN主线连接，驾驶员意图识别模块内设置有方向盘握力传感器、驾驶员眼动及头动特征数据采集设备、网络通信设备、车载GPS和驾驶员足动数据采集设备，其中方向盘握力传感器安装在方向盘上，驾驶员眼动及头动特征数据采集设备内设置有三个摄像头，三个摄像头分别安装在仪表盘的三个位置上以360度捕捉驾驶员的头动及眼动数据；驾驶员足动数据采集设备内设置的用于捕捉足部特征的摄像头安装于踏板正上方处，握力传感器、驾驶员眼动及头动特征数据采集设备、车载GPS和网络通信设备均与主控制器相连接，握力传感器、驾驶员眼动及头动特征数据采集设备、车载GPS和网络通信设备能够把获得的数据实时传输给主控制器，驾驶员眼动及头动特征数据采集设备的型号为Smart Eye Pro驾驶眼动追踪系统。

3.根据权利要求2所述的一种主动交互式人车通行系统，其特征在于：所述的行人检测模块内设置有前视摄像头和毫米波雷达，前视摄像头安装于车内中控台上，毫米波雷达安装在车辆前保险杠上，前视摄像头和毫米波雷达均与主控制器相连接，前视摄像头和毫米波雷达能够把获取的数据实时传输给主控制器。

4.根据权利要求2所述的一种主动交互式人车通行系统，其特征在于：所述的人车交互模块内设置有车内语音播报单元、车内显示单元和车外显示单元，车内语音播报单元安装在仪表盘上，车内显示单元由LED显示屏、电子显示屏和挡风玻璃投影灯组成，车内显示单元安装在仪表盘上或挡风玻璃上，车外显示单元由LED显示屏或电子显示屏构成，车外显示单元安装在车前部车牌处，车内语音播报单元、车内显示单元和车外显示单元均与主控制器相连接并由主控制器控制工作，人车交互模块内设置的电路由两条支路组成，人车交互模块内装配两个开关分别控制两条支路以控制三个输出终端的不同输出形式，两个开关并联连接，每个开关均与车内语音播报单元、车内显示单元及车外显示单元均串联连接，第一支路用来提示行人“本车已停车，您可以通行”；第二支路用来提示行人“本车保持前行，请您注意避让”，两条支路均与主控制器串联连接。

Images