CN102490646B - 具有驾驶员目光跟随功能的智能车灯系统及其控制方法 - Google Patents

Abstract

一种具有驾驶员目光跟随功能的智能车灯系统及其控制方法，属于汽车主动安全技术领域。系统：包括车灯电机，驾驶员图像采集设备经串口通讯数据线与控制系统相连；控制系统经CAN总线分别与电机控制器和信号采集单元相连，车灯电机与电机控制器相连；角度传感器设置在车灯电机的输出轴上，角度传感器与信号采集单元相连。方法：获取面部图像，进行图像滤波、降噪；对图像进行二值化分割，剔除背景图像，对图像进行边缘检测，定位面部与双目轮廓；计算面部转角，进行瞳孔定位，确定眼球和目光转角；根据车灯转角的实测反馈值与驾驶员目光转角之间的偏差，基于PI控制实时地修正控制信号，确保车灯的实际转角与驾驶员目光转角吻合。

Description

具有驾驶员目光跟随功能的智能车灯系统及其控制方法

技术领域

本发明属于汽车主动安全技术领域，特别是涉及一种具有驾驶员目光跟随功能的智能车灯系统及其控制方法，该系统通过使车灯灯光智能跟随驾驶员目光来消除视觉盲区，提高车辆夜间行驶的安全性。

背景技术

夜间行车时，驾驶员需要依靠车灯来辨别路面环境，从而控制车辆的安全行驶；但是现代汽车上安装的普通车灯的灯光多数只能笔直投向前方，只有一个固定的照射范围。而车辆行驶在陌生的交叉路口时，驾驶员更关注的往往是车辆侧面的行人和路面环境；另外，在昏暗而且狭小的停车场等环境中也会发生类似的情况，如图1所示。在这些情况下，笔直投向前方的灯光显然无法满足驾驶员的观察需求，驾驶员只能依靠微弱的散射余光来摸索路面状况，存在严重的安全隐患。

发明内容

针对现有技术存在的问题，本发明提供一种具有驾驶员目光跟随功能的智能车灯系统及其控制方法。该系统的车灯照明方向总是跟随驾驶员的目光，保证了驾驶员总是能够看清楚自己希望观察的区域，从而提高了夜间车辆行驶的安全性。

为了实现上述目的，本发明采用如下技术方案，一种具有驾驶员目光跟随功能的智能车灯系统，包括驾驶员图像采集设备、控制系统、信号采集单元、角度传感器以及设置在车灯下方的车灯电机，所述驾驶员图像采集设备经串口通讯数据线与控制系统相连接；所述控制系统经CAN总线分别与电机控制器和信号采集单元相连接，所述车灯电机与电机控制器相连接；所述车灯电机的输出轴与车灯固定连接，所述角度传感器设置在车灯电机的输出轴上，所述角度传感器与信号采集单元相连接。

所述信号采集单元包括AD转换器、光耦隔离器、第一单片机及第一CAN收发器，所述AD转换器的输入端与角度传感器的信号输出端相连接，所述AD转换器的输出端经第一光耦隔离器与第一单片机相连接；所述第一单片机经第二光耦隔离器、第三光耦隔离器与第一CAN收发器相连接，所述第一CAN收发器与CAN总线相连接。

所述控制系统包括RS232接口、RS232收发器、光耦隔离器、第二单片机及第二CAN收发器，所述RS232接口与RS232收发器的输入端相连接，RS232收发器的输出端经第四光耦隔离器与第二单片机相连接；所述第二单片机经第五光耦隔离器、第六光耦隔离器与第二CAN收发器相连接，所述第二CAN收发器与CAN总线相连接。

所述驾驶员图像采集设备采用具有图像后处理功能，且能够在低光照或无光照情况下工作的红外摄像头。

一种具有驾驶员目光跟随功能的智能车灯系统的控制方法，包括如下步骤：

步骤一：通过驾驶员图像采集设备获取驾驶员面部图像；

步骤二：进行图像滤波、降噪；

步骤三：基于Otsu算法对图像进行二值化分割；

步骤四：基于灰度直方图剔除图像中的背景图像；

步骤五：基于Sobel算子对图像进行边缘检测，识别并定位驾驶员面部轮廓与双目轮廓；

步骤六：根据驾驶员面部轮廓的识别结果拟合出中心线A-A₁，并计算出面部宽度L；

步骤七：计算双目中心点C点到A-A₁的距离d；

步骤八：计算驾驶员面部转角ξ；

步骤九：在双目轮廓范围内基于区域生长法进行驾驶员瞳孔定位；

步骤十：根据双目轮廓与瞳孔位置，基于BP神经网络确定驾驶员眼球转角β；

步骤十一：根据面部转角ξ与眼球转角β确定驾驶员目光转角α₁；

步骤十二：基于PI控制计算车灯电机的电流控制信号，并通过CAN总线将所述电流控制信号发送给电机控制器，所述PI控制的输入为驾驶员目光转角α₁与反馈的车灯转角α₂的差值；

步骤十三：电机控制器根据所接收的电流控制信号控制车灯电机，使其带动车灯转动，改变照明方向；

步骤十四：通过角度传感器测量车灯转角α₂；

步骤十五：判断驾驶员目光转角α₁是否等于车灯转角α₂，若是，则执行步骤十六；否则，将车灯转角α₂作为反馈信号，返回执行步骤十二；

步骤十六：结束。

步骤十一中所述的根据面部转角ξ与眼球转角β确定驾驶员目光转角α₁，其具体过程如下：

首先，设定一个转角阈值Ψ，如果驾驶员面部转角ξ超过转角阈值Ψ，则说明驾驶员头部发生转动，此时，令α₁＝ξ；如果驾驶员面部转角ξ低于转角阈值Ψ，则说明驾驶员头部没有发生转动，然后进一步判断眼球转角β是否超过转角阈值Ψ，如果眼球转角β超过转角阈值Ψ，则说明此时虽然驾驶员头部没有转动，但是眼睛在向侧面斜视，此时，令α₁＝β；如果眼球转角β低于转角阈值Ψ，则认为此时是驾驶员头部的自然轻微晃动，并非有意观察侧面区域，此时，令α₁＝0。

本发明的有益效果：

汽车行驶过程中，驾驶员目光指向的方向是驾驶员最希望观察清楚的区域，因此该方向也是车灯灯光最理想的照射方向。本发明的智能车灯系统的车灯能够根据驾驶员的视觉意图来自动地调节照明角度，使车灯的投射方向总是跟随驾驶员的视线，如图2所示；这样就可以有效地消除传统车灯笔直投向前方的灯光的照射盲区。保证了驾驶员总是能够清楚的辨别自己希望观察的区域路况，从而极大地提高了驾驶员夜间行车的安全性。

附图说明

图1为现有普通车灯的视觉盲区示意图；

图2为本发明的具有驾驶员目光跟随功能的智能车灯系统的控制效果示意图；

图3为本发明的具有驾驶员目光跟随功能的智能车灯系统的结构示意图；

图4为本发明的信号采集单元的电路原理框图；

图5为本发明的信号采集单元的电路原理图；

图6为本发明的控制系统的电路原理框图；

图7为本发明的控制系统的电路原理图；

图8为本发明的具有驾驶员目光跟随功能的智能车灯系统的控制方法的程序流程图；

图9为驾驶员面部转角计算的几何关系图；

图3中，1-驾驶员图像采集设备，2-串口通讯数据线，3-控制系统，4-CAN总线，5-信号采集单元，6-电机控制器，7-车灯电机，8-角度传感器，9-车灯；

图4中，10-AD转换器，11-第一光耦隔离器，12-第一单片机，13-第二光耦隔离器，14-第三光耦隔离器，15-第一CAN收发器；

图6中，16-RS232收发器，17-第四光耦隔离器，18-第二单片机，19-第五光耦隔离器，20-第六光耦隔离器，21-第二CAN收发器。

具体实施方式

如图3所示，一种具有驾驶员目光跟随功能的智能车灯系统，包括驾驶员图像采集设备1、控制系统3、信号采集单元5、角度传感器8以及设置在车灯9下方的车灯电机7，所述驾驶员图像采集设备1经串口通讯数据线2与控制系统3相连接；所述控制系统3经CAN总线4分别与电机控制器6和信号采集单元5相连接，所述车灯电机7与电机控制器6相连接；所述车灯电机7的输出轴与车灯9固定连接，所述角度传感器8设置在车灯电机7的输出轴上，所述角度传感器8与信号采集单元5相连接。

所述驾驶员图像采集设备1采用具有图像后处理功能，且能够在低光照或无光照情况下工作的红外摄像头，所述红外摄像头采用的是恒丰威视公司生产的红外CCD摄像头，其型号为：HF-6540S。所述角度传感器8采用的是安格创电子有限公司生产的旋转编码器，其型号为：Angtron-RE-38，用于测量车灯的实际转角值，并将测得的实际转角值转化为电压信号。所述车灯电机7采用的是无刷直流电机，其型号为：57BL52-230。所述电机控制器6的型号为：ZD-6716-V2，其具备CAN收发功能，能够接收控制系统3发出的控制指令，并控制车灯电机7带动车灯9转动。

如图4所示，所述信号采集单元5包括AD转换器10、光耦隔离器、第一单片机12及第一CAN收发器15，所述AD转换器10的输入端与角度传感器8的信号输出端相连接，所述AD转换器10的输出端经第一光耦隔离器11与第一单片机12相连接；所述第一单片机12经第二光耦隔离器13、第三光耦隔离器14与第一CAN收发器15相连接，所述第一CAN收发器15与CAN总线4相连接。其具体电路连接关系如图5所示。

如图6所示，所述控制系统3采用嵌入式控制器，包括RS232接口、RS232收发器16、光耦隔离器、第二单片机18及第二CAN收发器21，所述RS232接口与RS232收发器16的输入端相连接，RS232收发器16的输出端经第四光耦隔离器17与第二单片机18相连接；所述第二单片机18经第五光耦隔离器19、第六光耦隔离器20与第二CAN收发器21相连接，所述第二CAN收发器21与CAN总线4相连接。其具体电路连接关系如图7所示。

一种具有驾驶员目光跟随功能的智能车灯系统的控制方法，其控制过程可分为三部分：一是图像获取，二是图像识别，三是控制与执行，如图8所示，其具体包括如下步骤：

步骤一：通过红外摄像头获取驾驶员面部图像；

步骤二：将获取的驾驶员面部图像转化成灰度图像，并进行图像滤波、降噪；

步骤三：基于Otsu算法对图像进行二值化分割；

步骤四：利用红外人脸图像区域亮度较高，而背景图像亮度偏黑的特点，基于灰度直方图剔除图像中的背景图像；

步骤五：基于Sobel算子对图像进行边缘检测，识别并定位驾驶员面部轮廓；以驾驶员面部轮廓上部三分之一的区域为感兴趣区域，在感兴趣区域内采用Sobel算子提取眼部边缘信息，识别并定位驾驶员双目轮廓；

步骤六：根据驾驶员面部轮廓的识别结果拟合出中心线A-A₁，并计算出面部宽度L；

步骤七：计算双目中心点C点到A-A₁的距离d；

步骤八：计算驾驶员面部转角ξ；

步骤九：以驾驶员双目轮廓为感兴趣区域，选择双目轮廓的几何中心点作为种子点，基于像素间灰度值相似性准则，在双目轮廓范围内基于区域生长法进行驾驶员瞳孔定位；

步骤十：根据双目轮廓与瞳孔位置，基于BP神经网络确定驾驶员眼球转角β；

步骤十一：根据面部转角ξ与眼球转角β确定驾驶员目光转角α₁；

步骤十二：基于PI控制计算车灯电机的电流控制信号，并通过CAN总线将所述电流控制信号发送给电机控制器，所述PI控制的输入为驾驶员目光转角α₁与车灯转角α₂的差值；

步骤十三：电机控制器根据所接收的电流控制信号控制车灯电机，使其带动车灯转动，改变照明方向；

步骤十四：通过角度传感器测量车灯转角α₂；

步骤十五：判断驾驶员目光转角α₁是否等于车灯转角α₂，若是，则执行步骤十六；否则，将车灯转角α₂作为反馈信号，返回执行步骤十二；

步骤十六：结束。

下面结合附图说明本发明的一次工作过程：

本发明的红外摄像头设置于驾驶员前下方。使用时，首先通过红外摄像头获取驾驶员面部图像，红外摄像头将获取的物理图像转换成数字图像，并通过串口通讯数据线实时地将驾驶员数字图像传输至控制系统。在控制系统中带有图像处理单元模块和控制单元模块两部分程序，在图像处理单元模块中，首先将采集到的驾驶员数字图像转化成灰度图像，并进行图像滤波、降噪；然后基于Otsu算法对图像进行二值化分割，利用红外人脸图像区域亮度较高，而背景图像亮度偏黑的特点，基于灰度直方图剔除图像中的背景图像；在灰度直方图中像素会分布为两部分区域，通过设置一个合理的阈值，即可剔除图像中的背景图像，而得到驾驶员面部区域。在驾驶员面部区域内，基于Sobel算子对图像进行边缘检测，识别并定位驾驶员面部轮廓；以驾驶员面部轮廓上部三分之一的区域为感兴趣区域，在感兴趣区域内采用Sobel算子提取眼部边缘信息，识别并定位驾驶员双目轮廓。

在得到双目轮廓之后，以驾驶员双目轮廓为感兴趣区域，首先选择双目轮廓的几何中心点作为种子点，然后规定一个像素间灰度值相似性准则，基于区域生长法进行驾驶员瞳孔定位。例如基于像素灰度值的准则，如果相邻两像素之间的灰度值之差的绝对值小于给定的阈值，则认为它们是相似的。从眼睛几何中心的种子点出发，逐次检查种子点周围的全部点，如果一个点类似于种子点，则被划归于该种子区域，在整个双目轮廓内重复这一过程，即可实现驾驶员瞳孔定位。

图像处理单元模块识别并定位驾驶员面部轮廓与双目轮廓后，控制单元模块根据图像处理结果计算驾驶员面部转角。所述驾驶员面部转角的计算过程，如图9所示，具体包括如下步骤：

首先根据驾驶员面部轮廓的识别结果拟合出一条面部轮廓的中心线A-A₁，并计算出面部宽度L；根据驾驶员双目轮廓拟合出双目中心点C点，计算双目中心点C点到面部轮廓中心线A-A₁的距离d；然后根据面部宽度L和d计算驾驶员面部转角ξ，其计算公式如下：

$\mathrm{\ξ}=\arctan \left(\frac{2d}{L}\right)$

式中，d-双目中心点到面部轮廓中心线的距离；

L-面部宽度。

根据图像处理单元模块提取的双目轮廓与瞳孔位置，基于BP神经网络确定驾驶员眼球转角β；使用瞳孔在双目轮廓中的位置作为训练输入数据，驾驶员眼球转角β作为网络输出，如下式所示：

$\mathrm{\β}=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}f(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{x}_i-a_j)w_{\mathrm{jk}}-b_k$

式中，β-驾驶员眼球转角；

x_i-瞳孔在双目轮廓中的位置坐标；

l-神经网络输入层节点数；

n-神经网络隐含层节点数；

w_ij-神经网络隐含层连接权值；

w_jk-神经网络输出层连接权值；

a_j-神经网络隐含层阈值；

b_k-神经网络输出层阈值；

在使用BP神经网络进行眼球转角预测之前，首先需要进行网络训练，即通过一部分已知的瞳孔位置与眼球转角测试数据来进行权值和阈值的更新，如下式所示：

$\left\{\begin{array}{c}{w}_{\mathrm{ij}}=w_{\mathrm{ij}}+\mathrm{\η}{H}_j(1-H_j)x_i\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{jk}}{e}_k\\ w_{\mathrm{jk}}=w_{\mathrm{jk}}+\mathrm{\η}{H}_j{e}_k\\ a_j=a_j+\mathrm{\η}{H}_j(1-H_j)x_i\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{jk}}{e}_k\\ b_k=b_k+e_k\end{array}\right.$

式中，w_ij-神经网络隐含层连接权值；

w_jk-神经网络输出层连接权值；

a_j-神经网络隐含层阈值；

b_k-神经网络输出层阈值；

η-神经网络学习速率；

H_j-神经网络隐含层第j个节点的输出；

e_k-神经网络预测误差；

m-神经网络输出层节点数；

x_i-瞳孔在双目轮廓中的位置坐标。

根据驾驶员面部转角ξ与眼球转角β确定驾驶员目光转角α₁，其具体过程如下：

首先，设定一个转角阈值Ψ，Ψ可以取为3°，即0.05rad。如果驾驶员面部转角ξ超过转角阈值Ψ，则说明驾驶员头部发生转动，此时，令α₁＝ξ；如果驾驶员面部转角ξ低于转角阈值Ψ，则说明驾驶员头部没有发生转动，然后进一步判断眼球转角β是否超过转角阈值Ψ，如果眼球转角β超过转角阈值Ψ，则说明此时虽然驾驶员头部没有转动，但是眼睛在向侧面斜视，此时，令α₁＝β；如果眼球转角β低于转角阈值Ψ，则认为此时是驾驶员头部的自然轻微晃动，并非有意观察侧面区域，此时，令α₁＝0。

在确定了驾驶员目光转角α₁之后，基于PI控制计算车灯电机的电流控制信号，并通过CAN总线将所述电流控制信号发送给电机控制器，所述PI控制的输入为驾驶员目光转角α₁与车灯转角α₂的差值α₁-α₂，其计算公式如下：

I_m＝P_D(α₁-α₂)+P_I∫(α₁-α₂)dt

式中，I_m-电机电流控制信号；

P_D-PI控制的比例系数；

P_I-PI控制的积分系数；

α₁-驾驶员目光转角；

α₂-车灯转角。

电机控制器根据所接收的电流控制信号控制车灯电机，使其带动车灯转动，改变照明方向。设置在车灯电机轴上的角度传感器将车灯转角信号转化为0～5V的电压信号，信号采集单元采集该电压信号，并将该电压信号转化为车灯转角α₂；然后，通过CAN总线发送给控制系统。控制单元模块根据车灯转角的实测反馈值与驾驶员目光转角之间的偏差，基于PI控制实时地修正电流控制信号，确保车灯的实际转角与驾驶员目光转角吻合，从而使车灯电机的转角能够跟随驾驶员的目光，即使车灯灯光照射方向跟随驾驶员视线。

Claims (2)

1.一种具有驾驶员目光跟随功能的智能车灯系统的控制方法，所述智能车灯系统包括驾驶员图像采集设备、控制系统、信号采集单元、角度传感器以及设置在车灯下方的车灯电机，所述驾驶员图像采集设备经串口通讯数据线与控制系统相连接；所述控制系统经CAN总线分别与电机控制器和信号采集单元相连接，所述车灯电机与电机控制器相连接；所述车灯电机的输出轴与车灯固定连接，所述角度传感器设置在车灯电机的输出轴上，所述角度传感器与信号采集单元相连接；其特征在于，所述智能车灯系统的控制方法，包括如下步骤：

步骤一：通过驾驶员图像采集设备获取驾驶员面部图像；

步骤二：进行图像滤波、降噪；

步骤三：基于Otsu算法对图像进行二值化分割；

步骤四：基于灰度直方图剔除图像中的背景图像；

步骤五：基于Sobel算子对图像进行边缘检测，识别并定位驾驶员面部轮廓与双目轮廓；

步骤六：根据驾驶员面部轮廓的识别结果拟合出中心线A-A₁，并计算出面部宽度L；

步骤七：计算双目中心点C点到A-A₁的距离d；

步骤八：计算驾驶员面部转角ξ，具体包括如下步骤：

首先根据驾驶员面部轮廓的识别结果拟合出一条面部轮廓的中心线A-A₁，并计算出面部宽度L；根据驾驶员双目轮廓拟合出双目中心点C点，计算双目中心点C点到面部轮廓中心线A-A₁的距离d；然后根据面部宽度L和d计算驾驶员面部转角ξ，其计算公式如下：

$\mathrm{\ξ}=\arctan \left(\frac{2d}{L}\right)$

式中，d—双目中心点到面部轮廓中心线的距离；

L—面部宽度；

步骤九：在双目轮廓范围内基于区域生长法进行驾驶员瞳孔定位；

步骤十：根据双目轮廓与瞳孔位置，基于BP神经网络确定驾驶员眼球转角β，使用瞳孔在双目轮廓中的位置作为训练输入数据，驾驶员眼球转角β作为网络输出，如下式所示：

$\mathrm{\β}=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}f(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{x}_i-a_j)w_{\mathrm{jk}}-b_k$

式中，β—驾驶员眼球转角；

x_i—瞳孔在双目轮廓中的位置坐标；

l—神经网络输入层节点数；

n—神经网络隐含层节点数；

w_ij—神经网络隐含层连接权值；

w_jk—神经网络输出层连接权值；

a_j—神经网络隐含层阈值；

b_k—神经网络输出层阈值；

在使用BP神经网络进行眼球转角预测之前，首先需要进行网络训练，即通过一部分已知的瞳孔位置与眼球转角测试数据来进行权值和阈值的更新，如下式所示：

$\left\{\begin{array}{c}{w}_{\mathrm{ij}}=w_{\mathrm{ij}}+{\mathrm{\ηH}}_j(1-H_j)x_i\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{jk}}{e}_k\\ w_{\mathrm{jk}}=w_{\mathrm{jk}}+{\mathrm{\ηH}}_j{e}_k\\ a_j=a_j+{\mathrm{\ηH}}_j(1-H_j)x_i\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{jk}}{e}_k\\ b_k=b_k+e_k\end{array}\right.$

式中，w_ij—神经网络隐含层连接权值；

w_jk—神经网络输出层连接权值；

a_j—神经网络隐含层阈值；

b_k—神经网络输出层阈值；

η—神经网络学习速率；

H_j—神经网络隐含层第j个节点的输出；

e_k—神经网络预测误差；

m—神经网络输出层节点数；

x_i—瞳孔在双目轮廓中的位置坐标；

步骤十一：根据面部转角ξ与眼球转角β确定驾驶员目光转角α₁；

步骤十二：基于PI控制计算车灯电机的电流控制信号，并通过CAN总线将所述电流控制信号发送给电机控制器，所述PI控制的输入为驾驶员目光转角α₁与反馈的车灯转角α₂的差值；

步骤十三：电机控制器根据所接收的电流控制信号控制车灯电机，使其带动车灯转动，改变照明方向；

步骤十四：通过角度传感器测量车灯转角α₂；

步骤十五：判断驾驶员目光转角α₁是否等于车灯转角α₂，若是，则执行步骤十六；否则，将车灯转角α₂作为反馈信号，返回执行步骤十二；

步骤十六：结束。

2.根据权利要求1所述的一种具有驾驶员目光跟随功能的智能车灯系统的控制方法，其特征在于步骤十一中所述的根据面部转角ξ与眼球转角β确定驾驶员目光转角α₁，其具体过程如下：

首先，设定一个转角阈值Ψ，如果驾驶员面部转角ξ超过转角阈值Ψ，则说明驾驶员头部发生转动，此时，令α₁=ξ；如果驾驶员面部转角ξ低于转角阈值Ψ，则说明驾驶员头部没有发生转动，然后进一步判断眼球转角β是否超过转角阈值Ψ，如果眼球转角β超过转角阈值Ψ，则说明此时虽然驾驶员头部没有转动，但是眼睛在向侧面斜视，此时，令α₁=β；如果眼球转角β低于转角阈值Ψ，则认为此时是驾驶员头部的自然轻微晃动，并非有意观察侧面区域，此时，令α₁=0。

Images