CN107323459A - 一种驾驶员行为识别传感装置及其识别方法 - Google Patents

Abstract

一种驾驶员行为识别传感装置及其识别方法，该装置包括摄像头、图像处理器、意图识别处理器和电源模块，摄像头与图像处理器相连接，图像处理器与意图识别处理器相连接，意图识别处理器通过CAN总线与整车CAN总线相连接，摄像头安装在驾驶员座椅位置前上方，摄像头的主光轴与水平面的夹角为30度～60度，摄像头镜头朝下；该方法将驾驶员意图分为加速、跟车、制动和转向四种，通过基于转头角度和频率、转向灯和方向盘转角进行转向意图识别，基于油门开度、油门开启速度和档位的进行加速和跟车意图识别，基于制动开关、油门踏板释放速度和档位进行制动意图识别。能够有效解决单个信号出现异常带来的错误识别问题，提高识别准确性。

Description

一种驾驶员行为识别传感装置及其识别方法

技术领域

本发明涉及一种传感装置，更具体地说涉及一种驾驶员行为识别传感装置及其识别方法，属于汽车驾驶辅助系统技术领域。

背景技术

汽车驾驶员辅助系统(ADAS)会在危险发生前对驾驶员进行警示或直接控制车辆，这就需要对驾驶员的意图进行识别以便进行合理的干预。如果不能有效识别驾驶员意图，系统会发生错误的警示和制动，这将会使驾驶员感到厌烦，甚至可能会导致事故发生；随着ADAS应用越来越广泛，准确获取驾驶员的驾驶意图信息成为一个亟需解决的问题。

目前，现有的驾驶员识别功能都是集成在不同的ADAS控制器中，往往是通过转向灯信号、制动开关信号等单一的信号对驾驶员意图进行识别。但是，由于采用信号少、识别方法简单，往往导致会错误判断，从而影响系统的性能；例如有的驾驶员在转向或换道过程中并不一定开启转向灯，这种情况下无法正确识别到驾驶员的转向意图。同时，由于各个ADAS系统独立判断驾驶员意图，可能会出现不一致的情况，不利于整车的协调控制。

发明内容

本发明针对当前车辆中驾驶员行为识别效果准确性差、由于各系统独立判断导致的车辆协调控制困难等问题，提供一种驾驶员行为识别传感装置及其识别方法。

为实现上述目的，本发明的技术解决方案是：一种驾驶员行为识别传感装置，包括摄像头、图像处理器、意图识别处理器和电源模块，所述的摄像头与图像处理器相连接，所述的图像处理器与意图识别处理器相连接，所述的意图识别处理器通过CAN总线与整车CAN总线相连接，所述的电源模块分别与摄像头、图像处理器和意图识别处理器相连接，所述的摄像头安装在驾驶员座椅位置前上方，摄像头的主光轴与水平面的夹角为30度～60度，摄像头镜头朝下。

所述的图像处理器与意图识别处理器之间通过串口相连接。

一种驾驶员意图识别传感器装置的识别方法，包括下面的步骤：

步骤一，转向意图识别：首先摄像头采集驾驶员头部的原始图像并传给图像处理器，图像处理器对原始图像进行二值化和边缘检测进行预处理，根据眼睛的瞳孔圆形特征识别到眼睛位置，通过双眼位置连线中点计算出双眼中心，通过头部边缘的半圆形特征计算出头部中心，图像处理器通过双眼中心和头部中心的连线与竖直方向的夹角计算转头角度，转头角度α的计算公式为：α＝arctan[(Y1-Y2)/(X1-X2)]*β，其中X1、Y1为头部中心所在像素的位置，X2、Y2为双眼中心所在像素的位置，β为图像转换系数，然后图像处理器将驾驶员转头角度传给意图识别处理器；

步骤二，转向意图识别：意图识别处理器得到驾驶员转头角度值后统计驾驶员转头的频率，左转头角度超过30度记为左转头1次，右转头角度超过40度记为右转头1次，当转头的持续时间大于2s或在6s内转头频率大于3次即可判断驾驶员有转向意图，然后对转向灯和方向盘转角进行判断，当转向灯启动或当方向盘转角大于预定角度可判断为驾驶员有转向意图，意图识别处理器通过CAN总线将驾驶员转向意图识别结果发送到整车CAN总线上，此处的预定角度角度值跟车辆速度和转向传动比相关；

步骤三，加速意图或跟车意图识别：意图识别处理器通过CAN总线获取当前油门开度值并对油门开度微分计算油门的开启速度，当油门开度值大于80％的最大开度或者油门的开启速度大于(100％╳最大开度值)/s时可判断驾驶员具有加速意图，同时意图识别处理器通过CAN总线获取档位值，当档位增加时判断驾驶员具有加速意图，意图识别处理器通过CAN总线将驾驶员加速意图识别结果发送到整车CAN总线上，如果油门开度小于80％的最大开度，同时油门开启速度小于(100％╳最大开度值)/s并且档位不变时则判断当前时刻驾驶员具有跟车意图，意图识别处理器通过CAN总线将驾驶员跟车意图识别结果发送到整车CAN总线上；

步骤四，制动意图识别：意图识别处理器通过CAN总线获取制动开关值并计算油门的释放速度，当制动开关开启、或者油门踏板释放速度大于(100％╳最大开度值)/s可判断驾驶员具有制动意图，同时意图识别处理器对档位值进行判断，当档位下降时也可判断驾驶员具有制动意图，意图识别处理器通过CAN总线将驾驶员制动意图识别结果发送到整车CAN总线上。

与现有技术相比较，本发明的有益效果是：

1、本发明通过基于视觉的驾驶员操作信息和车辆行驶状态信息来综合判断驾驶员意图，能够有效解决单个信息出现异常带来的错误识别问题，提高识别的准确性。

2、本发明通过采用视觉识别驾驶员转头信息，相比于仅通过方向盘转角信息，更能提早识别判断出驾驶员的转向意图。

3、本发明通过CAN总线将结果发送到整车CAN总线上，共用驾驶员意图信息，保证了各个ADAS系统控制的协调性，从而提升了整车的安全性。

附图说明

图1是本发明结构框图。

图2是本发明中驾驶员正前方直视图。

图3是本发明中驾驶员左转头示意图。

图4是本发明中驾驶员右转头示意图。

图中：头部中心1，双眼中心2。

具体实施方式

以下结合附图说明和具体实施方式对本发明作进一步的详细描述。

参见图1，一种驾驶员行为识别传感装置，其专门用于识别驾驶员行驶意图，为驾驶员辅助系统提供信息，从而减少对驾驶员的干扰，提高驾驶员辅助系统的性能和市场接受度；其包括摄像头、图像处理器、意图识别处理器和电源模块。所述的摄像头与图像处理器相连接，所述的摄像头安装在驾驶员座椅位置前上方能够拍摄驾驶员的头部，摄像头的主光轴与水平面的夹角为30度～60度，摄像头镜头朝下；摄像头用于采集驾驶员脸部的原始图像，并通过视频线传给图像处理器；摄像头通常要求动态范围到达110dB以上、像素值到达300万以上。所述的图像处理器与意图识别处理器相连接；图像处理器用于对驾驶员头部图像进行图像处理，计算出驾驶员转头角度，并将计算结果传给意图识别处理器。所述的意图识别处理器通过CAN总线与整车CAN总线相连接；意图识别处理器通过CAN总线获取车速、油门踏板开度、制动踏板开关、转向灯、档位、方向盘转角等车辆状态信号，并结合转头角度信号进行驾驶员意图判断，再通过CAN总线将驾驶员意图识别结果发送到整车CAN总线上。所述的电源模块分别与摄像头、图像处理器和意图识别处理器相连接；电源模块采用12V或24V电压，通过DC-DC电压转换模块转换为5V、3.3V和2.8V，分别供电给意图识别处理器、图像处理器和摄像头。

参见图1，所述的图像处理器与意图识别处理器之间通过串口相连接。

参见图1，本传感装置通过摄像头获取驾驶员头部图像，通过图像处理器计算驾驶员转头信息并通过串口发送给意图识别处理器。意图识别处理器通过CAN总线获取车速、油门踏板开度、制动踏板开关、转向灯、档位、方向盘转角等信号，实时计算分析驾驶员的加速、跟车、制动和转向意图，并将识别意图结果发到整车CAN总线上。即本传感装置采集基于视觉的驾驶员操作信息和各种车辆行驶信息进行综合分析来识别驾驶员行驶意图，通过多种信息的融合判断，提升了驾驶员意图识别的准确性；同时，能够将驾驶员意图信息发到车辆总线上，为不同的ADAS控制器提供驾驶员意图信息；保证了各个ADAS控制器信息的一致性，有助于协同工作，提升汽车的安全性。

参见图2至图4，一种驾驶员意图识别传感器装置的识别方法，其将驾驶员意图分为加速、跟车、制动和转向四种，通过基于转头角度和频率、转向灯、方向盘转角进行转向意图识别，基于油门开度、油门开启速度和档位的加速和跟车意图识别，基于制动开关、油门踏板释放速度和档位的制动意图识别；具体包括下面的步骤：

步骤一，转向意图识别：首先摄像头采集驾驶员头部的原始图像并传给图像处理器，图像处理器对原始图像进行二值化和边缘检测进行预处理，根据眼睛的瞳孔圆形特征识别到眼睛位置，通过双眼位置连线中点计算出双眼中心，通过头部边缘的半圆形特征计算出头部中心；图像处理器通过双眼中心和头部中心的连线与竖直方向的夹角计算转头角度，转头角度α的计算公式为：α＝arctan[(Y1-Y2)/(X1-X2)]*β，其中X1、Y1为头部中心所在像素的位置，X2、Y2为双眼中心所在像素的位置，β为图像转换系数，然后图像处理器将驾驶员转头角度传给意图识别处理器。

步骤二，转向意图识别：意图识别处理器得到驾驶员转头角度值后统计驾驶员转头的频率，左转头角度超过30度记为左转头1次，右转头角度超过40度记为右转头1次，当转头的持续时间大于2s或在6s内转头频率大于3次即可判断驾驶员有转向意图，然后对转向灯和方向盘转角进行判断，当转向灯启动或当方向盘转角大于预定角度可判断为驾驶员有转向意图。意图识别处理器通过CAN总线将驾驶员转向意图识别结果发送到整车CAN总线上。此处的预定角度角度值跟车辆速度和转向传动比相关。

步骤三，加速意图或跟车意图识别：意图识别处理器通过CAN总线获取当前油门开度值并对油门开度微分计算油门的开启速度，当油门开度值大于80％的最大开度或者油门的开启速度大于(100％╳最大开度值)/s时可判断驾驶员具有加速意图，同时意图识别处理器通过CAN总线获取档位值，当档位增加时判断驾驶员具有加速意图。意图识别处理器通过CAN总线将驾驶员加速意图识别结果发送到整车CAN总线上；

如果油门开度小于80％的最大开度，同时油门开启速度小于(100％╳最大开度值)/s并且档位不变时则判断当前时刻驾驶员具有跟车意图。意图识别处理器通过CAN总线将驾驶员跟车意图识别结果发送到整车CAN总线上。

步骤四，制动意图识别：意图识别处理器通过CAN总线获取制动开关值并计算油门的释放速度，当制动开关开启、或者油门踏板释放速度大于(100％╳最大开度值)/s可判断驾驶员具有制动意图，同时意图识别处理器对档位值进行判断，当档位下降时也可判断驾驶员具有制动意图。意图识别处理器通过CAN总线将驾驶员制动意图识别结果发送到整车CAN总线上。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，上述结构都应当视为属于本发明的保护范围。

Claims (3)

1.一种驾驶员行为识别传感装置，其特征在于：包括摄像头、图像处理器、意图识别处理器和电源模块，所述的摄像头与图像处理器相连接，所述的图像处理器与意图识别处理器相连接，所述的意图识别处理器通过CAN总线与整车CAN总线相连接，所述的电源模块分别与摄像头、图像处理器和意图识别处理器相连接，所述的摄像头安装在驾驶员座椅位置前上方，摄像头的主光轴与水平面的夹角为30度～60度，摄像头镜头朝下。

2.根据权利要求1所述的一种驾驶员意图识别传感器装置，其特征在于：所述的图像处理器与意图识别处理器之间通过串口相连接。

3.根据权利要求1所述的一种驾驶员意图识别传感器装置的识别方法，其特征在于，包括下面的步骤：

步骤一，转向意图识别：首先摄像头采集驾驶员头部的原始图像并传给图像处理器，图像处理器对原始图像进行二值化和边缘检测进行预处理，根据眼睛的瞳孔圆形特征识别到眼睛位置，通过双眼位置连线中点计算出双眼中心，通过头部边缘的半圆形特征计算出头部中心，图像处理器通过双眼中心和头部中心的连线与竖直方向的夹角计算转头角度，转头角度α的计算公式为：α＝arctan[(Y1-Y2)/(X1-X2)]*β，其中X1、Y1为头部中心所在像素的位置，X2、Y2为双眼中心所在像素的位置，β为图像转换系数，然后图像处理器将驾驶员转头角度传给意图识别处理器；

步骤二，转向意图识别：意图识别处理器得到驾驶员转头角度值后统计驾驶员转头的频率，左转头角度超过30度记为左转头1次，右转头角度超过40度记为右转头1次，当转头的持续时间大于2s或在6s内转头频率大于3次即可判断驾驶员有转向意图，然后对转向灯和方向盘转角进行判断，当转向灯启动或当方向盘转角大于预定角度可判断为驾驶员有转向意图，意图识别处理器通过CAN总线将驾驶员转向意图识别结果发送到整车CAN总线上，此处的预定角度角度值跟车辆速度和转向传动比相关；

步骤三，加速意图或跟车意图识别：意图识别处理器通过CAN总线获取当前油门开度值并对油门开度微分计算油门的开启速度，当油门开度值大于80％的最大开度或者油门的开启速度大于(100％╳最大开度值)/s时可判断驾驶员具有加速意图，同时意图识别处理器通过CAN总线获取档位值，当档位增加时判断驾驶员具有加速意图，意图识别处理器通过CAN总线将驾驶员加速意图识别结果发送到整车CAN总线上，

如果油门开度小于80％的最大开度，同时油门开启速度小于(100％╳最大开度值)/s并且档位不变时则判断当前时刻驾驶员具有跟车意图，意图识别处理器通过CAN总线将驾驶员跟车意图识别结果发送到整车CAN总线上；

步骤四，制动意图识别：意图识别处理器通过CAN总线获取制动开关值并计算油门的释放速度，当制动开关开启、或者油门踏板释放速度大于(100％╳最大开度值)/s可判断驾驶员具有制动意图，同时意图识别处理器对档位值进行判断，当档位下降时也可判断驾驶员具有制动意图，意图识别处理器通过CAN总线将驾驶员制动意图识别结果发送到整车CAN总线上。