CN1945207A - 驾驶员车道保持辅助方法及装置 - Google Patents

Abstract

驾驶员车道保持辅助方法及装置，涉及交通运输工程技术领域。具体方案为：摄像头在车辆行进过程直接拍摄车道图像，并传送到处理器中；采集到的图像信号由控制主板中内置的图像处理程序进行处理，计算图像亮度函数的梯度矢量值，建立边缘分布函数(EDF)并生成直方图，确定该直方图的最大值位置以及对称轴位置，将计算获得的EDF的局部最大值位置以对称轴位置交由控制单元进行处理，将实验获得参数ρ与预设阈值ξ进行比较，进行判断车辆是否发生偏离车道的情况。本发明提出利用EDF函数的局部最大值与对称轴分析车辆行驶方向，不受光学镜头，车道宽度、车型、车道线定位等参数的影响，简化了识别过程，提高了效率。

Description

驾驶员车道保持辅助方法及装置

技术领域

本发明涉及交通运输工程技术领域，特指一种驾驶员车道保持辅助方法及装置，即通过监控驾实时地道路图像变化来了解车辆的姿态，判断是否有发生车道偏离的趋势，并发出预警信息，保障行驶安全。

背景技术

驾驶员在疲劳驾驶、被周围事物吸引而走神、接听手机或者照顾车上的未成年人时，经常失去对车辆方向的控制，造成驾驶姿态的变化，显著特点是发生车道偏离。根据这一特点，王荣本，余天洪等在汽车工程第27卷第4期2005年11月发表的《基于机器视觉的车道偏离警告系统研究综述》中介绍了多个基于机器视觉的车道偏离警告系统，根据对安装与车辆上的摄像装置所摄取的道路图像的变化进行监视分析，从图像中读取车道信息，如宽度、方向角、车辆与车道线的侧间距等，判断车辆的实时姿态。作者取车辆正常行驶、侧偏离开行驶车道及蛇形运动3种状态进行分析。但是，由于方法的限制，不良的天气情况和道路环境可能使得该方案的适应性不好，同时准确率不高。

发明内容

针对以上问题，本发明采用相对以往更简单的基于车道图像边缘分布函数EDF的算法分析识别实时图像，降低运算时间的问题。提出利用EDF函数的局部最大值与对称轴分析车辆行驶方向，不受光学镜头，车道宽度、车型、车道线定位等参数的影响，简化了识别过程，提高了效率。利用神经网络的学习方法，训练系统对无效图像的识别，降低错误报警率。

本方案提出基于车载摄像装置、车道图像的边缘分布函数、递归滤波器、神经网络的方法，并设计出系统原型，试验表明，完全可以满足以上三点要求。

主要技术方案：

1)获取实时图像

获取实时图像的装置主要由摄像头，控制主板及相应软件部分组成。摄像头安装在车辆驾驶室顶部前端，与车辆中轴线重合，不影响司机的视野。

摄像头在车辆行进过程直接拍摄车道图像，并传送到处理器中，完成图像采集过程。

2)图像处理和计算

采集到的图像信号由控制主板中内置的图像处理程序进行处理，并借助神经网络辅助SUI评价图像质量，去除图像噪声，同时计算图像亮度函数的梯度矢量值，建立边缘分布函数(EDF)并生成直方图，确定该直方图的最大值位置以及对称轴位置；直方图的最大值位置通过极值搜索算法计算，对称轴位置xx按照以下方法确定：

根据Zielke的理论，将图像轮廓的亮度分布看作是一个连续的一维函数，也就是本申请所述的边缘分布函数EDF。任何一个函数f(x)可以表示成一个偶函数F_e与一个奇函数F_o的和，将EDF函数表达式F(d)在区间ω内关于x_s的奇函数与偶函数：

$F_e(x_s+x)=\left\{\begin{array}{c}\frac{F\left(d\right)+F(-d)}{2}\\ 0\end{array}\right.,\begin{array}{c}d\∈(0,\mathrm{\ω}/2)\\ d\∉(0,\mathrm{\ω}/2)\end{array}---\left(1\right)$

$F_o(x_s+x)=\left\{\begin{array}{c}\frac{F\left(d\right)-F(-d)}{2}\\ 0\end{array}\right.\begin{array}{c}d\∈(0,\mathrm{\ω}/2)\\ d\∉(0,\mathrm{\ω}/2)\end{array}---\left(2\right)$

利用代换x＝d-x_s，可以将F(d)的原点切换到任意点x_s，在以ω为宽度的对称区间中，可以利用x_s指出对称轴的位置，经过变换可得：

偶函数 $F_e(d,x_s,\mathrm{\&omega;})=\left\{\begin{array}{c}\frac{1}{2}(F(x_s+d)+F(x_s-d))\\ 0\end{array},\left\{\begin{array}{c}0\&le;d\&le;\mathrm{\&omega;}/2\\ d<0\&cup;d>\mathrm{\&omega;}/2\end{array}\right.\right.---\left(3\right)$

奇函数 $F_o(d,x_s,\mathrm{\&omega;})=\left\{\begin{array}{c}\frac{1}{2}(F(x_s+d)-F(x_s-d))\\ 0\end{array},\left\{\begin{array}{c}0\&le;d\&le;\mathrm{\&omega;}/2\\ d<0\&cup;d>\mathrm{\&omega;}/2\end{array}\right.\right.---\left(4\right)$

对于任何x_s和d取定值的函数，其偶函数部分与奇函数部分的作用都通过它们各自的能量含量Energy[f(x)]所表达，能量含量的定义如下：

Energy[f(x)]＝∫f(x)²dx                                            (5)通过奇偶函数各自的能量比较来展现函数的对称性。构造一个均值为0的偶函数：

${F_e}^{\&prime;}(d,x_s,\mathrm{\&omega;})=F_e(d,x_s,\mathrm{\&omega;})-\frac{1}{\mathrm{\&omega;}}{\&Integral;}_{-\mathrm{\&omega;}/2}^{\mathrm{\&omega;}/2}{F}_e(h,x_s,\mathrm{\&omega;})\mathrm{dh}---\left(6\right)$

利用函数E_n和0，通过一个比较函数C(a，b)＝(a-b)/(a+b)，对函数的对称性进行量度。对称性的量度S(x_s，ω)是一个有两个变量的函数；不论x_s位置在何处，在区间ω内，有下式成立：

$S(x_s,\mathrm{\&omega;})=\frac{{\&Integral;F^{\&prime;}}_e{(d,x_s,\mathrm{\&omega;})}^2\mathrm{dx}-{\&Integral;F}_o{(d,x_s,\mathrm{\&omega;})}^2\mathrm{dx}}{{{\&Integral;F}^{\&prime;}}_e{(u,x_s,\mathrm{\&omega;})}^2\mathrm{dx}+{\&Integral;F}_o{(d,x_s,\mathrm{\&omega;})}^2\mathrm{dx}},---\left(7\right)$

-1≤S(x_s，ω)≤1，                                           (8)

因为能量值始终为正，所以设定当S取最大值1时，对称评价函数S(x_s，ω)出现最大值时，x_s的取值

将作为F(d)的对称轴。

3)匹配评价

将计算获得的EDF的局部最大值位置以对称轴位置交由控制单元进行处理，将实验获得参数ρ与预设阈值ξ进行比较，进行判断车辆是否发生偏离车道的情况；

寻找出EDF函数中两个峰值d_l ^*、d_r ^*，根据Lunenberger关于局部最大值的定义，用下式计算车道偏离程度，ξ是通过实验确定的判断车道偏离程度的阈值。

$\mathrm{\&xi;}=\frac{d_l^{*}-x_c}{x_c-d_r^{*}}---\left(9\right)$

d_l ^*，d_r ^*是表示左右车道边界梯度角θ₁和θ₂对应的EDF函数的局部峰值。如果ξ的值接近1，可以认为车辆行驶在车道的中央；如果ξ≥η₁或ξ≤η₂，η₁是一个大于1的常数，η₂是一个小于1的常数，两者的值都通过实验确定；就将与车道偏离的状况相比较，令 $\mathrm{\&rho;}=\widehat{|x}-x_c|,$ x_c＝90°                                      (10)

是计算所得到的EDF图像的实际对称轴位置，x_c是保持车辆行驶在车道中央时EDF图像的对称轴位置。理论上，x_c应该是90°，将ρ≥ε时定义为发生了车道偏离。

驾驶员车道保持辅助装置包括一个CCD摄像机、一个电控制部件(ECU)和一个报警部件，CCD摄像机用于对道路的车道照相并输出图像信号，电控单元(ECU)从CCD摄像机接收图像信号并且根据预置逻辑处理以判定车辆是否移离车道，而报警部件用于根据ECU发送的信号输出警告信号。

由于摄像装置安装在驾驶室顶部或后视镜的背面，一方面不会影响到驾驶员的驾驶操作；另一方面，通过对摄取的道路图像的分析计算，能在车辆偏离出车道之前就发出警告，有预警的作用，对提高车辆行驶安全性有很大益处。通过建立一个图片质量评价系统SUI(Scene understanding index)，加入神经网络训练，通过设定判断阈值，将质量较差的图片去除，同时进行噪声处理，不进行分析计算，避免错误的产生。

附图说明

图1系统组成及流程框图

图2驾驶辅助系统实现流程

图3EDF测量原理，车辆处于车道正中央时的情况

具体实施方式

驾驶员车道保持辅助装置包括一个CCD摄像机、一个电控制部件(ECU)和一个报警部件，CCD摄像机用于对道路的车道照相并输出图像信号，电控单元(ECU)从CCD摄像机接收图像信号并且根据预置逻辑处理以判定车辆是否移离车道，而报警部件用于根据ECU发送的信号输出警告信号。

车辆行驶状态监视技术中，基本要素是要在车辆偏离车道时实时地输出警告信号。延迟的警告信号可能造成意想不到的结果。在系统设计中，图像处理的实时性与状态识别的准确性是一对矛盾的统一体，图像信号数据需要强大的计算能力以便实时地处理图像信号，而降低误报率减轻系统对驾驶人的干扰也是一个不可忽视的问题，偏移趋势检测部分由相应算法通过ECU来实现。

首先，利用图像传感器采集道路图像，通过视频解码芯片将模拟视频信号转换为数字视频信号。CPLD作为采样控制器，完成数字视频数据的存储和时序控制。利用DSP进行实时的图像处理，通过计算图像亮度函数的梯度矢量值，从道路图像中识别车道标示线，获取判断车道偏离所需要的参数信息，根据这些信息计算代表偏离程度的指标值。

图像的亮度函数其实是离散的，每个象素都有各自的亮度以及亮度对应的梯度；通过累计相同梯度方向的象素个数的梯度值，由此建立边缘分布函数(EDF)并生成直方图，确定该直方图的最大值位置以及对称轴位置；直方图的最大值位置通过极值搜索算法计算，对称轴位置x_s按照以下方法确定：

根据Zielke的理论，将图像轮廓的亮度分布看作是一个连续的一维函数，也就是本申请所述的边缘分布函数EDF。任何一个函数f(x)可以表示成一个偶函数F_e与一个奇函数F_o的和，将EDF函数表达式F(d)在区间ω内关于x_s的奇函数与偶函数：

$F_e(x_s+x)=\left\{\begin{array}{c}\frac{F\left(d\right)+F(-d)}{2}\\ 0\end{array}\right.,\begin{array}{c}d\&Element;(0,\mathrm{\&omega;}/2)\\ d\&NotElement;(0,\mathrm{\&omega;}/2)\end{array}---\left(1\right)$

$F_o(x_s+x)=\left\{\begin{array}{c}\frac{F\left(d\right)-F(-d)}{2}\\ 0\end{array}\right.\begin{array}{c}d\&Element;(0,\mathrm{\&omega;}/2)\\ d\&NotElement;(0,\mathrm{\&omega;}/2)\end{array}---\left(2\right)$

利用代换x＝d-x_s，可以将F(d)的原点切换到任意点x_s，在以ω为宽度的对称区间中，可以利用x_s指出对称轴的位置，经过变换可得：

偶函数 $F_e(d,x_s,\mathrm{\&omega;})=\left\{\begin{array}{c}\frac{1}{2}(F(x_s+d)+F(x_s-d))\\ 0\end{array},\left\{\begin{array}{c}0\&le;d\&le;\mathrm{\&omega;}/2\\ d<0\&cup;d>\mathrm{\&omega;}/2\end{array}\right.\right.---\left(3\right)$

奇函数 $F_o(d,x_s,\mathrm{\&omega;})=\left\{\begin{array}{c}\frac{1}{2}(F(x_s+d)-F(x_s-d))\\ 0\end{array},\left\{\begin{array}{c}0\&le;d\&le;\mathrm{\&omega;}/2\\ d<0\&cup;d>\mathrm{\&omega;}/2\end{array}\right.\right.---\left(4\right)$

对于任何x_s和d取定值的函数，其偶函数部分与奇函数部分的作用都通过它们各自的能量含量Energy[f(x)]所表达，能量含量的定义如下：

Energy[f(x)]＝∫f(x)²dx                                             (5)通过奇偶函数各自的能量比较来展现函数的对称性。构造一个均值为0的偶函数：

${F_e}^{\&prime;}(d,x_s,\mathrm{\&omega;})=F_e(d,x_s,\mathrm{\&omega;})-\frac{1}{\mathrm{\&omega;}}{\&Integral;}_{-\mathrm{\&omega;}/2}^{\mathrm{\&omega;}/2}{F}_e(h,x_s,\mathrm{\&omega;})\mathrm{dh}---\left(6\right)$

利用函数E_n和0，通过一个比较函数C(a，b)＝(a-b)/(a+b)，对函数的对称性进行量度。对称性的量度S(x_s，ω)是一个有两个变量的函数；不论x_s位置在何处，在区间ω内，有下式成立：

$S(x_s,\mathrm{\&omega;})=\frac{{\&Integral;F^{\&prime;}}_e{(d,x_s,\mathrm{\&omega;})}^2\mathrm{dx}-{\&Integral;F}_o{(d,x_s,\mathrm{\&omega;})}^2\mathrm{dx}}{{{\&Integral;F}^{\&prime;}}_e{(u,x_s,\mathrm{\&omega;})}^2\mathrm{dx}+{\&Integral;F}_o{(d,x_s,\mathrm{\&omega;})}^2\mathrm{dx}},---\left(7\right)$

-1≤S(x_s，ω)≤1，                                                (8)

因为能量值始终为正，所以设定当S取最大值1时，对称评价函数S(x_s，ω)出现最大值时，x_s的取值

将作为F(d)的对称轴。

将计算获得的EDF的局部最大值位置以对称轴位置交由控制单元进行处理，将实验获得参数ρ与预设阈值ε的进行比较，进行判断车辆是否发生偏离车道的情况。

令 $\mathrm{\&rho;}=|\hat{x}-x_c|,$ x_c＝90°                                                    (9)

是计算所得到的EDF图像的实际对称轴位置，x_c是保持车辆行驶在车道中央时EDF图像的对称轴位置。理论上，x_c应该是90°。将ρ≥ε时定义为发生了车道偏离，ε是通过实验确定的判断车道偏离程度的阈值，其按照以下方法确定：

寻找出EDF函数中两个峰值d_l ^*、d_r ^*，根据Lunenberger关于局部最大值的定义，用下式计算车道偏离程度：

$\mathrm{\&xi;}=\frac{d_l^{*}-x_c}{x_c-d_r^{*}}---\left(10\right)$

d_l ^*，d_r ^*是表示左右车道边界梯度角θ₁和θ₂对应的EDF函数的局部峰值。ξ是通过实验确定的判断车道偏离程度的阈值。如果ξ的值接近1，可以认为车辆行驶在车道的中央；如果ξ≥η₁或ξ≤η₂，就将与车道偏离的状况相比较，η₁时一个大于1的常数，η₂是一个小于1的常数。两者的值都通过实验确定。

如果通过与阈值的对比发现确定车辆在正常车道内行驶，则不触发任何警报；如果确定车辆偏离了车道，则触发相应的声音报警信号或者LCD警示信号，提醒驾驶员进行矫正操作，避免汽车偏离其行驶车道。

Claims (5)

1、驾驶员车道保持辅助方法，其特征在于：装在车辆驾驶室顶部前端的摄像头在车辆行进过程直接拍摄车道图像，并传送到处理器中；采集到的图像信号由控制主板中内置的图像处理程序进行处理，计算图像亮度函数的梯度矢量值，建立边缘分布函数(EDF)并生成直方图，确定该直方图的最大值位置以及对称轴位置，将计算获得的EDF的局部最大值位置以对称轴位置交由控制单元进行处理，将实验获得参数ρ与预设阈值ξ进行比较，进行判断车辆是否发生偏离车道的情况，其中

$\mathrm{\&xi;}=\frac{d_1^{*}-x_c}{x_c-d_r^{*}}$

d_l ^*，d_r ^*是表示左右车道边界梯度角对应的EDF函数的局部峰值，x_c等于90°；当ξ的值接近1，可以认为车辆行驶在车道的中央；如果ξ≥η₁或ξ≤η₂，就将ε与ρ相比较，η₁时一个大于1的常数，η₂是一个小于1的常数，两者的值都通过实验确定；

是计算所得到的EDF图像的实际对称轴位置，当ρ≥ε时就视为发生了车道偏离。

2、根据权利要求1所述的驾驶员车道保持辅助方法，其特征在于：利用神经网络辅助SUI评价图像质量，去除图像噪声。

3、根据权利要求1所述的驾驶员车道保持辅助方法，其特征在于：直方图的最大值位置通过极值搜索算法计算。

4、根据权利要求1所述的驾驶员车道保持辅助方法，其特征在于：对称轴位置x_s按照以下方法确定：根据Zielke的理论，将图像轮廓的亮度分布看作是一个连续的一维函数，也就是本申请所述的边缘分布函数EDF。任何一个函数f(x)可以表示成一个偶函数F_e与一个奇函数F_o的和，将EDF函数表达式F(d)在区间ω内关于x_s的奇函数与偶函数：

$F_e(x_s+x)=\left\{\begin{array}{c}\frac{F\left(d\right)+F(-d)}{2}\\ 0\end{array}\right.,\begin{array}{c}d\&Element;(0,\mathrm{\&omega;}/2)\\ d\&NotElement;(0,\mathrm{\&omega;}/2)\end{array}$

$F_o(x_s+x)=\left\{\begin{array}{c}\frac{F\left(d\right)-F(-d)}{2}\\ 0\end{array}\right.,\begin{array}{c}d\&Element;(0,\mathrm{\&omega;}/2)\\ d\&NotElement;(0,\mathrm{\&omega;}/2)\end{array}$

利用代换x＝d-x_s，可以将F(d)的原点切换到任意点x_s，在以ω为宽度的对称区间中，可以利用x_s指出对称轴的位置，经过变换可得：

偶函数 $F_e(d,x_s,\mathrm{\&omega;})=\left\{\begin{array}{c}\frac{1}{2}(F(x_s+d)+F(x_s-d))\\ 0\end{array}\right.,\left\{\begin{array}{c}0\&le;d\&le;\mathrm{\&omega;}/2\\ d<0\&cup;d>\mathrm{\&omega;}/2\end{array}\right.$

奇函数 $F_o(d,x_s,\mathrm{\&omega;})=\left\{\begin{array}{c}\frac{1}{2}(F(x_s+d)+F(x_s-d))\\ 0\end{array}\right.,\left\{\begin{array}{c}0\&le;d\&le;\mathrm{\&omega;}/2\\ d<0\&cup;d>\mathrm{\&omega;}/2\end{array}\right.$

对于任何x_s和d取定值的函数，其偶函数部分与奇函数部分的作用都通过它们各自的能量含量Energy[f(x)]所表达，能量含量的定义如下：

Energy[f(x)]＝∫f(x)²dx

通过奇偶函数各自的能量比较来展现函数的对称性。构造一个均值为0的偶函数：

${F_e}^{\&prime;}(d,x_s,\mathrm{\&omega;})=F_e(d,x_s,\mathrm{\&omega;})-\frac{1}{\mathrm{\&omega;}}{\&Integral;}_{-\mathrm{\&omega;}/2}^{\mathrm{\&omega;}/2}{F}_e(h,x_s,\mathrm{\&omega;})\mathrm{dh}$

利用函数E_n和0，通过一个比较函数C(a，b)＝(a-b)/(a+b)，对函数的对称性进行量度。对称性的量度S(x_s，ω)是一个有两个变量的函数；不论x_s位置在何处，在区间ω内，有下式成立：

$S(x_s,\mathrm{\&omega;})=\frac{{\&Integral;F^{\&prime;}}_e{(d,x_s,\mathrm{\&omega;})}^2\mathrm{dx}-{\&Integral;F}_o{(d,x_s,\mathrm{\&omega;})}^2\mathrm{dx}}{{{\&Integral;F}^{\&prime;}}_e{(u,x_s,\mathrm{\&omega;})}^2\mathrm{dx}+{\&Integral;F}_o{(d,x_s,\mathrm{\&omega;})}^2\mathrm{dx}},$

-1≤S(x_s，ω)≤1，

因为能量值始终为正，所以设定当S取最大值1时，对称评价函数S(x_s，ω)出现最大值时，x_s的取值

将作为F(d)的对称轴。

5、驾驶员车道保持辅助装置，其特征在于：包括一个CCD摄像机、一个电控制部件(ECU)和一个报警部件，CCD摄像机用于对道路的车道照相并输出图像信号，电控单元(ECU)从CCD摄像机接收图像信号并且根据预置逻辑处理以判定车辆是否移离车道，而报警部件用于根据ECU发送的信号输出警告信号。

Images