CN107491722A

CN107491722A - 一种基于车道线图像处理实现驾驶员疲劳判别的方法

Info

Publication number: CN107491722A
Application number: CN201710458837.4A
Authority: CN
Inventors: 华国栋; 许长勇; 严加权; 杨木贵
Original assignee: Nanjing Oak Traffic Interconnection Technology Co Ltd
Current assignee: Nanjing Oak Traffic Interconnection Technology Co Ltd
Priority date: 2017-06-16
Filing date: 2017-06-16
Publication date: 2017-12-19

Abstract

本发明公开一种基于车道线图像处理实现驾驶员疲劳判别的方法。首先设定参数θ_th和Nmax，同时设置参数count，并初始化为0。采用中值滤波、边缘检测、二值化处理和膨胀形态学处理等预处理方法处理由图像采集卡采集到的车道图像，突出图中的车道线部分。接着，分别通过2次hough变换，检测出左、右车道的车道线倾斜角，计算2个倾斜角之和的绝对值，依据该值判定车辆是否处于行道线中间，从而统计数据判定驾驶员是否处于疲劳状态。本发明方法结合现有检测算法，能提高提高判别驾驶员疲劳状况的准确率。

Description

一种基于车道线图像处理实现驾驶员疲劳判别的方法

技术领域

本发明属于数字图像处理领域，涉及一种通过图像处理判断驾驶员是否疲劳的方法。

背景技术

交通事故是当今世界危害人类生命安全的第一大公害，每年至少有50万人死于交通事故。其中，驾驶员疲劳驾驶是造成交通死亡事故的重要原因之一。目前随着我国高速公路的迅速发展和车辆速度的普遍提高，汽车驾驶员的疲劳检测问题已经成为汽车安全驾驶的重要一环;

在早期，驾驶疲劳测评主要是从医学角度出发的，借助医疗器件来进行的，这种检测方法实时性较差，操作不方便。1998年，周鹏分析了驾驶员疲劳事故发生的原因，分别从人体生理学、现代神经学、电子工程学的角度提出了消除疲劳事故隐患的方法，即消除司机长时间开车时产生的异常疲劳及大脑麻痹的方法。2000年，石坚、吴鹏远、卓斌等人发现疲劳程度与方向盘的操纵情况有关，他们判别驾驶员驾驶安全因素的方法是利用传感器测量踏板、方向盘等装置的运动参数来判断，如果方向盘一段时间内处于不动的状态，则说明驾驶员处于疲劳状态，注意力不集中，或者在打瞌睡。2001年，李增勇，王城焘从人机工程学角度研究了防止以及缓解驾驶疲劳的有效方案。现阶段，一段时间内眼睛闭合时间所占的百分率(Percentage of Eyelid Closure Over the Pupil Over Time，简称PERCLOS)被认为是最为有效最具有实时性的有关驾驶疲劳的一项评测措施，很多研究人员依据PERCLOS开发了很多种驾驶员疲劳检测的算法，但是这些算法还不能完全准确地判别驾驶员的疲劳状况。

发明内容

本发明的目的是：提出一种基于车道线图像处理实现驾驶员疲劳判别的方法，结合现有的驾驶员疲劳检测算法，提高判别的准确率。

本发明要解决的技术问题是提出一种基于车道线图像处理实现驾驶员疲劳判别的方法，包括：首先设定参数θ_th和Nmax，同时设置参数count，并初始化为0，然后执行以下步骤:

步骤1，预处理由图像采集卡采集到的车道图像，突出图中的车道线部分。通常，采集到的车道图像上半部分往往是天空或者高楼等景物，车道线主要处在图像的下半部分，因此先从原图中截取下半幅图，并将之转换成灰度图像，再依次开展中值滤波、边缘检测、二值化处理和膨胀形态学处理;

步骤2，将膨胀后的结果，分别通过2次hough变换，检测出左、右车道的车道线倾斜角。具体步骤如下：

(1)检测右车道线。对图像作hough变换，θ角范围为20°到70°。在hough变换的结果中提取最亮的10个点，并计算在灰度图像中对应的直线，求取这些直线的平均倾斜角的θ₁;

(2)检测左车道线。对图像作hough变换，θ角范围为-70°到-20°。在hough变换的结果中提取最亮的10个点，并计算在灰度图像中对应的直线，求取这些直线的平均倾斜角θ₂;

步骤3，判断车辆是否处于行道线中间，根据统计数据判定驾驶员疲劳状况。如果θ₁与θ₂之和的绝对值小于θ_th，那么认为车辆在行道线中间，参数count设置为0，转入步骤1。如果θ₁与θ₂之和的绝对值大于θ_th，认为车辆靠近左右一方的行道线，或者压线，参数count增加1。如果此时count小于Nmax，转入步骤1。否则，认为驾驶员疲劳，系统发出警报.

与现有技术相比，本发明具有如下的特点：(1)通过测量车辆行进中的行道线倾斜角偏离正常范围的频率，作为判断驾驶员的疲劳状况的补充手段，提高判别准确率。(2)本发明提供的方法主要工作在于计算左、右车道线的倾斜角，运算量小。

附图说明

图1是本发明流程图;

图2是实例一原图;

图3是实例一中值滤波结果图;

图4是实例一边缘检测和二值化处理后的结果图;

图5是实例一膨胀后的结果图;

图6是实例一考虑左车道时的hough变换结果图;

图7是实例一考虑右车道时的hough变换结果图;

图8是实例一左右车道线检测结果图;

图9是实例二原图;

图10是实例二中值滤波结果图;

图11是实例二边缘检测和二值化处理后的结果图;

图12是实例二膨胀后的结果图;

图13是实例二考虑左车道时的hough变换结果图;

图14是实例二考虑右车道时的hough变换结果图;

图15是实例二左右车道线检测结果图。

具体实施方式

本发明的基本思想是，当驾驶员疲劳的时候，车辆往往会频繁变更车道，汽车不再处于左右两侧的车道线中间。为此，通过检测车道图像中左右车道线的倾斜角，判断车辆是否改变车道，根据车辆非正常行驶的频率判别驾驶员是否疲劳。本发明提出的一种基于车道线图像处理实现驾驶员疲劳判别的方法，包括：

首先，根据驾驶员疲劳判别思想，设定参数θ_th和Nmax。其中θ_th为左右车道线倾斜角之和的绝对值的上限阈值，当大于该值时，汽车严重偏离左右车道线的中间位置。θ_th值与车辆摄像头的位置、高度有关。Nmax表示连续偏离左右车道线中间位置的帧数，根据图像采集的速率，可以此确定非正常驾驶的频率。同时设置参数count，用于计算连续偏离左右车道线中间位置的次数，初始化count为0，然后执行以下步骤。

步骤1，预处理由图像采集卡采集到的车道图像，突出图中的车道线部分。通常，采集到的车道图像上半部分往往是天空或者高楼等景物，车道线主要处在图像的下半部分，因此先从原图中截取下半幅图，并将之转换成灰度图像，再依次开展中值滤波、边缘检测、二值化处理和膨胀形态学处理。

步骤2，将膨胀后的结果，分别通过2次hough变换，检测出左、右车道的车道线倾斜角。hough变换检测直线的基本原理描述如下。

设原图像的坐标平面为x--y平面，其中的直线可以表示为

y=k*x+b (1)

其中k和b分别是斜率和截距。如果采用另外直线与x轴的夹角θ(倾斜角)、坐标原点到直线的距离ρ来表示该直线时，公式(1)表示为

ρ=xcos(θ)+ysin(θ)(2)

对于x--y平面上的一条直线，ρ和θ为常数，那么在ρ--θ平面上，公式(2)表示为1个点。公式(2)即称为hough变换。

对于图像中过某一点的所有直线的参数都会满足

ρ=x ₀cos(θ)+y ₀sin(θ)(3)

即点确定了一族直线。此时，在ρ--θ平面上，公式(3)表示为一条正弦或余弦曲线。

根据以上分析可知，x--y平面上一条直线经过hough变换，成为ρ--θ平面上的1个点。x--y平面上一个点经过hough变换，成为ρ--θ平面上的一条曲线。

由于车道线是直线，因此车道图像经过hough变换，ρ--θ平面上有很多的亮点。直线越长，亮点像素值越高。因此，求出ρ--θ平面上的最亮几个点，根据它们的ρ、θ值，根据公式(2)，可得到x--y平面上的这些直线。

检测出左、右车道车道线倾斜角的具体步骤如下：

(1)检测右车道线。对图像作hough变换，θ角范围为20°到70°。在hough变换的结果中提取最亮的10个点，并计算在灰度图像中对应的直线，求取这些直线的平均倾斜角的θ₁。

(2)检测左车道线。对图像作hough变换，θ角范围为-70°到-20°。在hough变换的结果中提取最亮的10个点，并计算在灰度图像中对应的直线，求取这些直线的平均倾斜角θ₂。

步骤3，判断车辆是否处于行道线中间，根据统计数据判定驾驶员疲劳状况。如果θ₁与θ₂之和的绝对值小于θ_th，那么认为车辆在行道线中间，参数count设置为0，转入步骤1。如果θ₁与θ₂之和的绝对值大于θ_th，认为车辆靠近左右一方的行道线，或者压线，参数count增加1。如果此时count小于Nmax，转入步骤1。否则，认为驾驶员疲劳，系统发出警报。

下面结合附图及实施例对本发明作进一步描述。

实施例一

如图2所示，采集得到的一幅车道图片，路面存在多个车道，最明显的两个车道线表示当前车辆所在的车道，可见此时车辆略为偏向左边。转换为灰度图片后截取其中下半部分，经过中值滤波处理结果如图3所示，再经过边缘检测并作二值化处理结果如图4所示，可见图中突出了左右车道线。进一步作膨胀处理后，得到图5。

接着，检测左车道线。对图像作hough变换，θ角范围为20°到70°，得到的hough变换图如图6所示。当取θ角范围为-70°到-20°，得到的hough变换图如图7所示。分别选取两图中的最亮的10个点，计算它们在图5中对应的直线，检测结果如图8中黑色粗线所示。左车道线的平均倾斜角为20.10°，右车道线的平均倾斜角为-40.68°，它们和的绝对值为20.58°。当选择θ_th为20°时，可以判定，此时车辆偏离车道中间位置，参数count增加1。

实施例二

图9为车辆在桥面上行驶时采集得到的一幅车道图片，此时车辆靠最左边的一个车道行驶，但基本处于该车道的中间位置。转换为灰度图片后截取其中下半部分，经过中值滤波处理结果如图10所示，再经过边缘检测并作二值化处理结果如图11所示。进一步作膨胀处理后，得到图12，其中车道线非常清晰，但图中其他物体的边缘也呈现为直线型状。

接着，检测左车道线。对图像作hough变换，θ角范围为20°到70°，得到的hough变换图如图13所示。当取θ角范围为-70°到-20°，得到的hough变换图如图14所示。分别选取两图中的最亮的10个点，计算它们在图12中对应的直线，检测结果如图15中黑色粗线所示。左车道线的平均倾斜角为65.10°，右车道线的平均倾斜角为-51.30°，它们和的绝对值为13.80°。当选择θ_th为20°时，可以判定，此时车辆位于车道中间位置，参数count为0，驾驶员正常驾驶，没有表现出疲劳。

Claims

1.一种基于车道线图像处理实现驾驶员疲劳判别的方法，其特征在于它包括如下步骤，首先设定参数θ_th和Nmax，同时设置参数count，并初始化为0，然后执行以下步骤：

步骤1，预处理由图像采集卡采集到的车道图像，突出图中的车道线部分；

通常，采集到的车道图像上半部分往往是天空或者高楼等景物，车道线主要处在图像的下半部分，因此先从原图中截取下半幅图，并将之转换成灰度图像，再依次开展中值滤波、边缘检测、二值化处理和膨胀形态学处理；

步骤2，将膨胀后的结果，分别通过2次hough变换，检测出左、右车道的车道线倾斜角：

具体步骤如下：

(1)检测右车道线：

对图像作hough变换，θ角范围为20°到70°、

在hough变换的结果中提取最亮的10个点，并计算在灰度图像中对应的直线，求取这些直线的平均倾斜角的θ₁，

(2)检测左车道线、

对图像作hough变换，θ角范围为-70°到-20°，

在hough变换的结果中提取最亮的10个点，并计算在灰度图像中对应的直线，求取这些直线的平均倾斜角θ₂；

步骤3，判断车辆是否处于行道线中间，根据统计数据判定驾驶员疲劳状况，

如果θ₁与θ₂之和的绝对值小于θ_th，那么认为车辆在行道线中间，参数count设置为0，转入步骤1；如果θ₁与θ₂之和的绝对值大于θ_th，认为车辆靠近左右一方的行道线，或者压线，参数count增加1，如果此时count小于Nmax，转入步骤1，否则，认为驾驶员疲劳，系统发出警报。

2. 根据权利要求1所述的一种基于车道线图像处理实现驾驶员疲劳判别的方法，其特征在于步骤1中hough变换检测直线的基本原理描述如下:

设原图像的坐标平面为x--y平面，其中的直线可以表示为

y=k*x+b (1)

其中k和b分别是斜率和截距,

如果采用另外直线与x轴的夹角θ(倾斜角)、坐标原点到直线的距离ρ来表示该直线时，公式(1)表示为

ρ=xcos(θ)+ysin(θ) (2)

对于x--y平面上的一条直线，ρ和θ为常数，那么在ρ--θ平面上，公式(2)表示为1个点,

公式(2)即称为hough变换;

对于图像中过某一点的所有直线的参数都会满足

ρ=x ₀ cos(θ)+y ₀sin(θ) (3)

即点确定了一族直线,

此时，在ρ--θ平面上，公式(3)表示为一条正弦或余弦曲线;

根据以上分析可知，x--y平面上一条直线经过hough变换，成为ρ--θ平面上的1个点,

x--y平面上一个点经过hough变换，成为ρ--θ平面上的一条曲线,

由于车道线是直线，因此车道图像经过hough变换，ρ--θ平面上有很多的亮点,

直线越长，亮点像素值越高,

因此，求出ρ--θ平面上的最亮几个点，根据它们的ρ、θ值，根据公式(2)，可得到x--y平面上的这些直线。