CN103192758B - 基于机器视觉的前照灯随动转向控制方法 - Google Patents

Abstract

本发明针对车辆夜晚行驶中的道路照明盲区问题，提供了一种基于机器视觉的前照灯随动转向控制方法。本发明方法首先识别夜间车道线，确定当前控制周期的预瞄距离以及对应在当前帧图像中的纵向距离；然后在当前帧图像中确定道路的预瞄分析区域，将预瞄分析区域内的车道线进行图像横向校正处理；确定车辆航向与道路的夹角、道路宽度和车载摄像头距左、右车道线的横向距离；最后辨识预瞄分析区域内的道路情况并确定前照灯转角。本发明有效扩大了预瞄距离内道路照明面积，实时消除车辆前方道路照明盲区，且前照灯转向角度不受车辆航向影响，实现了前照灯随动转向的智能主动控制，保证了驾驶者的无道路视野盲区安全驾驶。

Description

基于机器视觉的前照灯随动转向控制方法

技术领域

本发明属于汽车照明技术领域，具体涉及一种基于机器视觉的前照灯随动转向控制方法。

背景技术

研究统计表明，夜晚交通事故发生概率远远高于白天。其中由于夜晚照明光线不足而产生的视野盲区，导致驾驶者无法感知和预判前方道路危险，是造成夜晚交通事故的重要原因。

通常汽车上安装的普通大灯无论亮度高低，都只有一定的照明范围，所以在道路照明设施照明亮度低甚至无照明情况时，由于普通前照大灯固定，前方道路必然出现无照明的视野盲区，尤其在车辆在弯道及交叉口行驶时，导致驾驶员无法观测“盲区”内道路及行人、车辆等障碍物，极易发生交通事故。

目前的已存自适应前照明系统(AFS)，虽然在一定程度上缓解了上述问题，但该系统主要以方向盘转角作为控制输入参数，计算前照灯转动角度。而方向盘受驾驶员控制，所以目前的自适应前照明系统中，驾驶者成为了闭环控制系统的重要组成部分，在本质上，是由驾驶者控制前照灯转动，所以目前的自适应前照明系统可谓一种前照灯的被动控制，由于人为因素的影响，存在控制滞后、智能程度低、无主动性等不足。

发明内容

本发明针对车辆夜晚行驶中的道路照明盲区问题，现有自适应前照明系统存在控制滞后、智能程度低、无主动性等不足，提供了一种基于机器视觉的前照灯随动转向控制方法。

本发明提供的一种基于机器视觉的前照灯随动转向控制方法，通过将车载摄像头固定在车辆中轴线上采集图像，在每个控制周期内进行如下步骤：

步骤1，夜间车道线形状位置识别；对采集到的当前帧图像先进行基于光密度差的对数Prewitt边缘检测，再进行Hough变换，检测出拟合为直线的车道线；

步骤2，确定当前控制周期的预瞄距离S；从车辆仪表盘的CAN(Controller Area Network，控制器局域网络)总线中提取当前车速V，确定当前控制周期的预瞄距离S：

$S=\frac{V\·T}{3.6}$

其中，T表示预瞄时间，设定为1.5s；设当前车载摄像头光心垂直于地面所在的位置为S₀，则在道路上沿车辆行驶方向(纵向)上，距离位置S₀长度为S的位置为预瞄位置S₁；

步骤3，确定预瞄距离在当前帧图像中距离成像平面中心O′的纵向距离R：

$R=\frac{(h-S\·\tan \mathrm{\γ})\·p}{S+h\·\tan \mathrm{\γ}}$

其中，h为车载摄像头的光心O与地面的垂直距离；γ为车载摄像头的俯角；p为成像平面与摄像头光心的垂直距离；根据得到的纵向距离R，在图像中找到相应的预瞄位置S₂；

步骤4，在当前帧图像中确定道路的预瞄分析区域：在图像中预瞄位置S₂处沿靠近车辆方向选取宽度d的区域作为预瞄分析区域，预瞄分析区域的宽度为图像的宽度；

步骤5，将预瞄分析区域内的车道线端点进行图像横向校正处理；

步骤6，确定车辆航向与道路的夹角δ、道路宽度D_R以及车载摄像头距左、右车道线的横向距离L_L、L_R；在当前帧图像中选择对应从车载摄像头所在位置开始沿车辆行驶方向五米内的区域，获取车辆所在车道的左、右两侧车道线该区域内的端点，对获取的端点进行图像横向校正处理，最后得到左、右近端车道线，近端车道线与图像中轴线的夹角就是车辆航向与道路的夹角δ；根据左、右近端车道线，得到道路宽度D_R以及车载摄像头距左、右车道线的横向距离L_L、L_R；

步骤7，预瞄分析区域内道路情况的辨识；计算步骤5拟合的车道线与步骤6中近端车道线的夹角，若夹角大于30°，则预瞄分析区域内的道路为弯道，否则为直道；若预瞄分析区域内检测到人行横道线，则预瞄分析区域内的道路为交叉口；

步骤8，确定前照灯转角。设沿近端车道线方向，距离S₀长度为S_D的位置为S₃，S₁和S₃的连线与近端车道线方向互相垂直，S_D＝S·cosδ，然后分情况确定前照灯转角：

(1)当预瞄分析区域内为直道时，右前照灯转向角和左前照灯转向角分别为：

其中，D表示左前照灯和右前照灯的中心距；

(2)当预瞄分析区域内为弯道时，右前照灯转向角和左前照灯转向角分别为：

其中，θ表示散射光束边线夹角；

(3)当预瞄分析区域内为交叉口时，右前照灯转向角和左前照灯转向角分别为：

其中， $D_3{N}_1=\tan (\frac{\mathrm{\θ}}{2}-{\mathrm{\β}}_1)\·(S_D-\frac{D}{2}\sin \mathrm{\δ})+(L_R-\frac{D}{2}\cos \mathrm{\δ}),{\mathrm{\β}}_1=\arctan \left[\frac{L_R-\frac{D}{2}\cos \mathrm{\δ}}{S_D-\frac{D}{2}\sin \mathrm{\δ}}\right];$

(4)当预瞄分析区域内未检测到车道线时，则保持前一控制周期的前照灯转角。

本发明的前照灯随动转向控制方法的优点和积极效果在于：

(1)利用机器视觉代替驾驶者感知前方道路情况，实现前照灯随动转向的主动控制，而非被动控制；

(2)根据车速变化，仿照实际驾驶者预瞄距离随车速变化规律，采取可变预瞄距离的方式对前方道路情况进行辨识，提前为驾驶者照亮前方道路；

(3)针对预瞄位置弯道、直道、交叉口三种道路情况，考虑了当前车路相对位置，分别设计了三种路况的左右前照灯转角计算方法：在车辆直线行驶时，增加自车车道及相邻车道的道路照明区域范围；在车辆转弯行驶时，提前控制前照灯转角，消除道路内侧照明盲区，实现车辆转弯全程无道路盲区；识别交叉口，增大交叉口照明区域；

总之，本发明提供的前照灯随动转向控制方法，有效扩大了车辆位置至预瞄位置间道路照明面积，减小照明盲区，且前照灯转向角度不受车辆航向影响，实现了前照灯随动转向的智能主动控制，几乎不受人因因素影响，实时消除车辆前方道路照明盲区，保证驾驶者的无道路视野盲区安全驾驶。

附图说明

图1是本发明的前照灯随动转向控制方法所应用的物理设备连接框图；

图2是本发明的前照灯随动转向控制方法的流程示意图；

图3是本发明的步骤3中所建立的纵向距离估算模型的示意图；

图4是本发明的步骤4中确定分析区域的示意图；

图5是本发明的步骤5中图像校正的示意图；

图6是本发明的步骤5中所建立的摄像头横向成像模型的示意图；

图7是车辆航向与道路夹角的计算示意图；

图8是直道照明的效果示意图；

图9是弯道照明的效果示意图；

图10是交叉口照明的效果示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明以车载摄像头作为前方道路感知设备，结合车速，识别一定距离内的照明区内车道线，根据每帧图像中的车道线在的形状、位置以及照明区域来控制左右前照灯转动角度，增大预瞄距离内的道路照明区。

如图1所示，本发明提供的基于机器视觉的前照灯随动转向方法所涉及的物理设备，包括：车载摄像头1、车速仪表盘2、DSP处理器3、直流伺服电机控制电路4、直流伺服电机5以及前照灯及其转向执行机构6。

设左、右前照灯的中心距为D；前照灯光束由直射光和散射光组成，设散射光束边线夹角为θ；车辆航向与车道线夹角为δ；定义前照灯目标转角为前照灯光束中心线与车辆航向的夹角，前照灯右转为正，设定左前照灯目标转角右前照灯目标转角为

如图2所示，本发明提供的基于机器视觉的前照灯随动转向方法，具体包括如下步骤。

步骤1：夜间车道线形状位置识别。车载摄像头1固定在车辆中轴线上，首先对车载摄像头1采集到的当前控制周期内的单帧图像进行基于光密度差的对数Prewitt边缘检测，再进行Hough变换，检测出拟合为直线的车道线。

步骤2：确定当前控制周期的预瞄距离。从车辆仪表盘2的CAN总线中提取当前车速V(单位为km/h)，已知正常车辆驾驶者的反应时间为1.5s以内，所以将预瞄时间T确定为1.5s，则可依据下式确定不同车速下的预瞄距离S。

$S=\frac{V\·T}{3.6}$

一般车辆行驶的最高车速为120km/h，则预瞄距离变化范围为0～50m。

如图3所示，设当前车载摄像头光心垂直于地面所在的位置为S₀，则在道路上沿车辆行驶方向上，距离位置S₀长度为S的位置为预瞄位置S₁。

步骤3：确定预瞄距离在当前帧图像中的纵向距离和位置。

本发明方法中假设道路平坦，估算预瞄距离在当前帧图像中的纵向位置，确定方法如下。

首先，根据摄像头成像原理建立纵向距离估算模型，如图3所示。

图3中O为车载摄像头光心位置，距地面的垂直高度为h，MN为成像平面，与摄像头光心的垂直距离为p，S₀表示当前车载摄像头光心垂直于地面所在的位置，S₁为当前的预瞄位置，S₀S₁长度为预瞄距离S，S₂为预瞄位置S₁在图像中对应的位置，O′为成像平面中心，与光心O相对应，Q是地面上无穷远处物体成像位置，即地平线的所在，角γ为车载摄像头的镜头光轴与水平面之间的夹角，也就是车载摄像头的俯角。X表示镜头光轴与水平地面的交点。O′S₂就是预瞄距离在图像中对应的纵向距离R。预瞄距离S所对应的纵向位置S₁与摄像头光心O的连线，与垂直地面的平面的夹角为β。预瞄距离S所对应的纵向位置S₁与摄像头光心O的连线，与车载摄像头的镜头光轴之间的夹角为α，则根据直角三角形关系有：

$\tan \mathrm{\β}=\frac{S_0{S}_1}{h}=\frac{S}{h}$

$\tan \mathrm{\α}=\frac{O^{\′}{S}_2}{p}=\frac{R}{p}$

且由于：

α+β+γ＝90°

所以有：

tan(α+β)·tanγ＝1

由以上四式可解得预瞄距离S在当前帧图像中的纵向距离R：

$R=O^{\′}{S}_2=\frac{(h-S\·\tan \mathrm{\γ})\·p}{S+h\·\tan \mathrm{\γ}}$

其中，车载摄像头安装高度h、车载摄像头俯角γ和镜头到成像平面距离p均为已知，则当确定了当前预瞄距离S，就可估算出预瞄位置S₁在当前帧图像中的位置S₂。

步骤4：在当前帧图像中确定道路的预瞄分析区域。

在图像中预瞄位置S₂处沿靠近车辆方向选取一定长度d的区域，设定d的大小为纵向长度(像素)的该区域的宽度为图像的宽度，所选的区域如图4所示，该区域就是预瞄分析区域。分析该区域内的车道线形状。本发明实施例中，宽度d设置为图像宽度的0.1倍，此距离适合将图像中分析区域内车道线还原并拟合成直线。

步骤5：将预瞄分析区域内的车道线端点进行图像横向校正处理。由于车载摄像头俯角的存在，使得图像出现梯形畸变，即图像下方(近处)物体宽、大，图像上方(远处)物体窄、小。此梯形畸变会对前照灯转角计算造成严重误差，需要进行校正，将图像变换为摄像头朝正下方俯拍所得的形状，如图5所示，需要将左侧的图像校正成右侧的图像，图中白色线条表示车道线。

建立摄像头横向成像模型，如图6所示。

图中，O为车载摄像头的光心，AF为沿图像宽度方向的线段，AF的长度等于图像的宽度，CE为对应AF的实际道路的线段，CE的长度等于摄入道路的实际宽度，I为地面上CE所在线上任意一点，K为CE中点，I对应的成像点为J，OK与CE垂直，OK长度为目标CE距车载摄像头光心的实际纵向距离，Q为AF的中点，QO与AF垂直，QO长度为成像平面与车载摄像头光心的垂直距离p，已知图像中JQ长度，由三角形相似可得：

$\mathrm{KI}=\frac{\mathrm{CE}}{\mathrm{AF}}\·\mathrm{JQ}$

其中AF、JQ长度已知，其中：

$\mathrm{CE}=\mathrm{AF}\·\frac{\mathrm{OK}}{\mathrm{QO}}$

根据步骤3纵向距离估算模型，可从图像中估计OK实际长度，由此可求得CE长度。

综上，由图像中JQ长度可估算KI的实际长度，如下式：

$\mathrm{JQ}=\mathrm{KI}\·\frac{\mathrm{AF}}{\mathrm{CE}}$

在预瞄区域内经霍夫变换得到两侧车道线拟合直线及其端点，将端点作为J点代入上面KI和CE的求解式子，得到对应的实际车道线位置，实现对摄像头图像的横向校正。

步骤6：确定车辆航向与道路夹角δ、道路宽度D_R以及摄像头距左右车道线的横向距离L_L、L_R。图像纵向中心对称线与车辆航向重合，从当前帧图像中选择从车载摄像头所在位置开始沿车辆行驶方向前五米内的区域，该区域中检测到的车辆所在车道的左、右两侧车道线经步骤1的霍夫变换，得到拟合的直线，获取左右两侧车道线在该区域内的端点e、f、c和d。依据步骤5对得到的车道线端点进行横向校正，进而得到图像校正后的拟合直线，然后计算车道线拟合直线与图像中轴线(车辆航向)夹角，来得到车辆航向与道路的夹角δ，如图7所示。图7中的航向与道路方向之差δ<0，即车辆航向相对于道路方向偏右。

根据左、右近端两车道线拟合直线，也可求得道路宽度D_R，即两条拟合直线cd与ef之间距离，以及摄像头距左右车道线的横向距离L_L、L_R，即O点距ef和cd的距离。

步骤7：预瞄分析区域道路情况辨识。分析步骤4确定的预瞄分析区域中车道线特征，通过步骤5得到预瞄分析区域内的进行直线拟合的车道线，计算所得到的拟合车道线与步骤6中近端车道线(就是步骤6图像中摄像头前五米内的区域拟合得到的车道线)的夹角，若夹角大于30°，则认为前方预瞄分析区域内的道路为弯道，否则为直道。若预瞄分析区域内检测到人行横道线，即多条平行线条，则认为前方预瞄分析区域内的道路为交叉口。当预瞄分析区域内未检测到车道线时，则保持前一控制周期的前照灯转角。

步骤8：确定前照灯转角。前照灯转动控制目的为增大车辆当前位置至预瞄位置道路的照明区域，减少道路盲区，实现直道上自车与相邻车道的照明，弯道内侧照明、交叉口横向扩大照明范围，以尽早发现潜在危险。根据步骤7辨识得到的弯道、直道、交叉口制定不同的前照灯控制策略。由步骤6可得道路宽度D_R、车辆横向位置、车辆航向与道路夹角δ。认定车辆按右侧通行规则行驶。已定义左、右前照灯目标转角为前照灯光束中心线与车辆航向的夹角，当 为前照灯右转。

当预瞄分析区域道路为直道时，为了减少相邻车道照明盲区，兼顾保证车前近处及远处照明范围，通过控制前照灯转角实现的照明效果如图8所示。

如图8所示，已知预瞄距离S，M₁N₁为预瞄位置S₁所在的道路线段，M₁N₁垂直于当前车辆近端车道线，设沿近端车道线方向，距离S₀长度为S_D的位置为S₃，S₁和S₃的连线与近端车道线方向互相垂直，M₁N₁与S₀S₃相互垂直，可知S₀S₃的长度S_D为S·cosδ，A₁为车辆的左前照灯，B₁为车辆的右前照灯。图9、图10中相应点、线与图8中的定义相同。

当预瞄分析区域内为直道时，使左前照灯光束中心线经过M₁N₁上的D₁点，D₁为车辆所在车道左边界与M₁N₁的交点，令右前照灯光束中心线与当前车道线平行，设C₁为右前照灯光束中心线与M₁N₁的交点，则B₁C₁垂直于M₁N₁，考虑车辆航向与近端道路的夹角，可得右前照灯转向角和左前照灯转向角分别为：

当预瞄分析区域道路为弯道时，为了减少内侧相邻弯道照明盲区，通过控制前照灯转角实现的照明效果如图9所示。

如图9所示，预瞄分析区域为弯道时，令左前照灯光束右边线与当前车道线平行，也就是使左前照灯光束的右边线垂直于M₁N₁，设左前照灯光束的右边线与M₁N₁的交点为D₂，图中A₁D₂与M₁N₁相互垂直。令右前照灯光束中心线与当前车道线平行，也就是右前照灯光束的中心线垂直于M₁N₁，即B₁C₁垂直于M₁N₁。考虑车辆航向与近端道路的夹角，可得右前照灯转向角和左前照灯转向角分别为：

当预瞄分析区域为交叉口时，为了消除道路内以及道路外一定范围的照明盲区达到避免碰撞行人的目的，通过控制前照灯转角实现的照明效果如图10所示。

如图10所示，预瞄分析区域为交叉口时，令右前照灯光束中心线经过预瞄位置与车辆所在车道右车道线的交点，即令右侧前照灯光束中心线经过C₂点，C₂点为M₁N₁与车辆所在车道右边界的交点，本发明实施例中点C₂与点N₁重合，令左前照灯光束的右边线与右前照灯光束的左边线交于一点D₃，且该交点D₃在M₁N₁上，则可得右前照灯转角为

令 $\arctan \left[\frac{L_R-\frac{D}{2}\cos \mathrm{\&delta;}}{S_D-\frac{D}{2}\sin \mathrm{\&delta;}}\right]={\mathrm{\&beta;}}_1,$ 则有

$D_3{N}_1=\tan (\frac{\mathrm{\&theta;}}{2}-{\mathrm{\&beta;}}_1)\&CenterDot;(S_D-\frac{D}{2}\sin \mathrm{\&delta;})+(L_R-\frac{D}{2}\cos \mathrm{\&delta;})$

则进一步得到左前照灯转向角

控制过程中，记录上一控制周期前照灯转角值，若本控制周期未识别出道路情况，则保持前照灯转角不变；若本控制周期计算得到的转角值与前一周期相差大于2°，则输出新的转角值，以此方法防止前照灯控制抖动。

根据计算得到的左右前照灯转角，推导相应的PWM脉冲的占空比，控制驱动电机，驱动前照灯转向机构实现前照灯转角的精确控制。

本发明提出的前照灯随动转向控制方法，与当前的AFS系统相比，采用基于机器视觉的方式确定了当前车辆及道路相对位置以及预瞄区域道路情况，实现了车辆夜间行驶前照大灯的随动转向，相对于当前AFS系统有较好的控制提前性，且相对于当前AFS系统的被动控制，本发明方法利用摄像头作为感知设备，代替驾驶者感知前方道路，实现了真正意义的前照灯主动随动转向。

Claims (3)

1.一种基于机器视觉的前照灯随动转向控制方法，其特征在于，将车载摄像头固定在车辆中轴线上采集图像，在每个控制周期内进行如下步骤：

步骤1，夜间车道线形状位置识别；对采集到的当前帧图像先进行基于光密度差的对数Prewitt边缘检测，再进行Hough变换，检测出车道线；

步骤2，确定当前控制周期的预瞄距离S；从车辆仪表盘的控制器局域网络总线中提取当前车速V，确定当前控制周期的预瞄距离S：

$S=\frac{V\&CenterDot;T}{3.6}$

其中，T表示预瞄时间，设定为1.5s；设当前车载摄像头光心垂直于地面所在的位置为S₀，则在道路上沿车辆行驶方向上，距离位置S₀长度为S的位置为预瞄位置S₁；

步骤3，确定预瞄距离在当前帧图像中距离成像平面中心O′的纵向距离R：

$R=\frac{(h-S\&CenterDot;\tan \mathrm{\&gamma;})\&CenterDot;p}{S+h\&CenterDot;\tan \mathrm{\&gamma;}}$

其中，h为车载摄像头的光心O与地面的垂直距离；γ为车载摄像头的俯角；p为成像平面与摄像头光心的垂直距离；根据得到的纵向距离R，在图像中找到相应的预瞄位置S₂；

步骤4，在当前帧图像中确定道路的预瞄分析区域：在图像中预瞄位置S₂处沿靠近车辆方向选取宽度d的区域作为预瞄分析区域，预瞄分析区域的宽度为图像的宽度；

步骤5，将预瞄分析区域内的车道线端点进行图像横向校正处理，并得到处理后的预瞄分析区域内的车道线；

步骤6，确定车辆航向与道路夹角、道路宽度以及车载摄像头距左、右车道线的横向距离L_L、L_R；在当前帧图像中选择对应从车载摄像头所在位置开始沿车辆行驶方向五米内的区域，获取车辆所在车道的左、右两侧车道线该区域内的端点，对获取的端点进行图像横向校正处理，最后得到左、右两侧近端车道线，近端车道线与图像中轴线的夹角就是车辆航向与道路的夹角δ；根据左、右近端车道线，得到道路宽度D_R以及车载摄像头距左、右车道线的横向距离L_L、L_R；

步骤7，预瞄分析区域内道路情况的辨识；计算步骤5得到的车道线与步骤6中近端车道线的夹角，若夹角大于30°，则预瞄分析区域内的道路为弯道，否则为直道；若预瞄分析区域内检测到人行横道线，则预瞄分析区域内的道路为交叉口；

步骤8，确定前照灯转角，设沿近端车道线方向，距离S₀长度为S_D的位置为S₃，S₁和S₃的连线与近端车道线方向互相垂直，S_D=S·cosδ，然后分情况确定前照灯转角：

（1）当预瞄位置为直道时，右前照灯转向角和左前照灯转向角分别为：

其中，D表示左前照灯和右前照灯的中心距；

（2）当预瞄分析区域内为弯道时，右前照灯转向角和左前照灯转向角分别为：

其中，θ表示散射光束边线夹角；

（3）当预瞄分析区域内为交叉口时，右前照灯转向角和左前照灯转向角分别为：

其中， $D_3{N}_1=\tan (\frac{\mathrm{\&theta;}}{2}-{\mathrm{\&beta;}}_1)\&CenterDot;(S_D-\frac{D}{2}\sin \mathrm{\&delta;})+(L_R-\frac{D}{2}\cos \mathrm{\&delta;}),{\mathrm{\&beta;}}_1=\arctan \left[\frac{L_R-\frac{D}{2}\cos \mathrm{\&delta;}}{S_D-\frac{D}{2}\sin \mathrm{\&delta;}}\right];$

（4）当预瞄分析区域内未检测到车道线时，则保持前一控制周期的前照灯转角。

2.根据权利要求1所述的前照灯随动转向控制方法，其特征在于，步骤4中所述的宽度d，设置为图像宽度的0.1倍。

3.根据权利要求1所述的前照灯随动转向控制方法，其特征在于，所述的步骤8中确定前照灯转角，具体确定方法是：设M₁N₁为预瞄位置S₁所在的道路线段，M₁N₁垂直于当前车辆近端车道线，M₁N₁垂直于S₀S₃，则：

（1）当预瞄分析区域内为直道时，令左前照灯光束中心线经过M₁N₁与车辆所在车道的左侧车道线的交点，令右前照灯光束中心线与当前车道线平行，然后确定前照灯转角；

（2）当预瞄分析区域内为弯道时，令左前照灯光束右边线与当前车道线平行，令右前照灯光束中心线与当前车道线平行，然后确定前照灯转角；

（3）当预瞄分析区域内为交叉口时，令右前照灯光束中心线经过预瞄位置与车辆所在车道右车道线的交点，令左前照灯光束右边线与右前照灯左边线在预瞄位置处交于一点且该交点位于M₁N₁上，然后确定前照灯转角。