CN104598892B - 一种危险驾驶行为预警方法及系统 - Google Patents

Abstract

本发明提供一种危险驾驶行为预警方法及系统，所述方法分别从两个方面进行预警，首先通过对车道线进行检测，判断车辆是否压车道线，如果车辆压车道线则发出报警；另外通过在SURF特征点中选取运动点，提取局部纹理特征和局部运动特征组成ST特征向量，将ST特征向量输入到预先训练过的分类器，判断驾驶员是否危险驾驶，如果危险驾驶则发出报警，因此本发明能够准确检测当前是否处于危险驾驶状态，进而发出警报，从而尽可能避免交通意外的发生。本发明危险驾驶行为预警系统是上述方法实现的硬件基础，所述系统和方法结合实现了危险驾驶行为的预警。

Description

一种危险驾驶行为预警方法及系统

技术领域

本发明涉及车辆安全系统领域，更具体地，涉及一种危险驾驶行为预警方法及系统。

背景技术

当今社会，危险驾驶行为已经成为社会安全的一颗毒瘤，它们每时每刻都在威胁着驾驶员、乘客以及行人的生命安全。危险的驾驶行为包括：酒后驾驶、疲劳驾驶等。世界卫生组织2008年调查显示，大约50％～60％的交通事故与酒后驾驶有关，酒后驾驶已经被列为车祸死亡的主要原因。在中国，每年由于酒后驾车引发的交通事故数达万起；而造成死亡的事故中，50％以上都与酒后驾驶有关，酒后驾车的危害触目惊心，已成为交通事故的第一大“杀手”。疲劳驾驶同样也是导致事故频发的原因之一。目前车辆已经走近千家万户，但是目前仍然没有很好的办法准确检测驾驶员是否正在疲劳驾驶或者酒后驾驶，

发明内容

本发明旨在至少在一定程度上解决上述技术问题。

本发明的首要目的是克服现有技术无法准确检测驾驶员是否危险驾驶的缺陷，提供一种能够准确检测驾驶员是否危险驾驶的危险驾驶行为预警方法。

本发明的进一步目的是提供一种能够准确检测驾驶员是否危险驾驶的危险驾驶行为预警系统。

为解决上述技术问题，本发明的技术方案如下：

一种危险驾驶行为预警方法，所述方法包括以下步骤：

S1：采集驾驶员视频图像；

S2：对驾驶员视频图像提取特征点并构造特征点的描述子；

S3：根据特征点描述子对特征点进行匹配；

S4：根据特征点的匹配结果，在特征点中选取运动点，提取局部纹理特征和局部运动特征组成ST特征向量；

S5：将ST特征向量输入到预先训练过的分类器，判断驾驶员是否危险驾驶，如果危险驾驶则发出报警。

一种危险驾驶行为预警方法系统，所述系统包括：

摄像头：用于采集驾驶员视频图像；

SURF特征点提取模块：用于对驾驶员视频图像提取SURF特征点并构造SURF特征点的描述子；

SURF特征点匹配模块：用于根据SURF特征点描述算子对SURF特征点进行匹配；

ST特征向量生成模块：根据SURF特征点的匹配结果，在SURF特征点中选取运动点，提取局部纹理特征和局部运动特征组成ST特征向量；

分类器：用于根据输入的ST特征向量判断驾驶员是否危险驾驶；

报警模块：用于在车辆是压车道线或者驾驶员危险驾驶时，发出报警信号。

技术相比，本发明技术方案的有益效果是：本发明危险驾驶行为预警方法，采集驾驶员视频图像，通过在特征点中选取运动点，提取局部纹理特征和局部运动特征组成ST特征向量，将ST特征向量输入到预先训练过的分类器，判断驾驶员是否危险驾驶，如果危险驾驶则发出报警，因此本发明能够准确检测当前是否处于危险驾驶状态，进而发出警报，从而尽可能避免交通意外的发生。

本发明危险驾驶行为预警系统是上述方法实现的硬件基础，所述系统和方法结合实现了危险驾驶行为的预警。

附图说明

图1为本发明的方法流程图。

图2为逆透视变换坐标。

图3为水平方向、竖直方向的Harr特征向量示意图。

图4为本发明的系统示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

一种危险驾驶行为预警方法，如图1所示，所述方法包括以下步骤：

S1：采集驾驶员视频图像；

S2：对驾驶员视频图像提取特征点并构造特征点的描述子；

S3：根据特征点描述子对特征点进行匹配；

S4：根据特征点的匹配结果，在特征点中选取运动点，提取局部纹理特征和局部运动特征组成ST特征向量；

S5：将ST特征向量输入到预先训练过的分类器，判断驾驶员是否危险驾驶，如果危险驾驶则发出报警。

本发明危险驾驶行为预警方法，采集驾驶员视频图像，通过在特征点中选取运动点，提取局部纹理特征和局部运动特征组成ST特征向量，将ST特征向量输入到预先训练过的分类器，判断驾驶员是否危险驾驶，如果危险驾驶则发出报警，因此本发明能够准确检测当前是否处于危险驾驶状态，进而发出警报，从而尽可能避免交通意外的发生。

在具体实施过程中，所述方法还包括：采集车辆前方视频图像，对车道线进行检测，判断车辆是否压车道线，如果车辆压车道线则发出报警。

在具体实施过程中，所述特征点为SURF特征点，对车道线进行检测的具体方法包括以下步骤：

A.对车辆前方视频图像做逆透视变换；

车道线的识别主要是通过前方摄像头来对前方的道路线进行识别。目前车道线的识别方法很多，本发明采用基于逆透视变换的方法。该方法有以下好处：可以去除相机的透视效应，这样，车道线看起来就像是两条平行的直线(前提是道路平滑)；使我们只关注感兴趣区域，可以减少运算的复杂度。

为了得到相机的逆透视变换图，假定道路为平滑的，根据相机的内参数(相机的焦距和光学中心)和外参数(俯角、仰角以及相机距离地面的高度)即可得到该变换图。

首先，定义世界坐标系{F_w}＝{X_w,Y_w,Z_w}，以相机的光学中心为坐标原点，相机坐标系{F_c}＝{X_c,Y_c,Z_c}，图像坐标系{F_i}＝{u,v}，如图2所示的逆透视变换坐标，左边为世界、相机和图像坐标系，右边为相机俯角和仰角的定义，假定相机坐标系的X_c位于世界坐标系的X_wY_w平面上。相机的俯角和仰角分别为α,β，相机距离地面的高度为h。假定图像坐标上的任一点ⁱP＝{u,v,1,1}，它投影到地面坐标^εP的矩阵为：

其中，{f_u,f_v}分别为水平和垂直焦距长度，{c_u,c_v}为光学中心的坐标，c₁＝cosα，c₂＝cosβ，s₁＝sinα，s₂＝sinβ。本专利采用多组点进行计算，以得到更加精确的结果。逆透视变换的反变换公式如下：

其中，地面点为^εP＝{x_ε,y_ε,-h,1}。

B.对车辆前方视频图像进行滤波及二值化；

经过逆透视变换后，采用二维高斯核对图像进行滤波。竖直方向为平滑高斯，其σ_y根据车道线的长度来设定：水平方向为2阶高斯插分，其σ_x根据车道线的宽度来设定：针对不同的方向采用不同的高斯核，要比对所有方向采用同样的高斯核要快很多。滤波后的图像为灰度图像，像素值为0～255，然后对其进行二值化操作，本发明设定一个阈值q％，对于我们只取(1-q％)的像素值，将其二值为255，其他的则为0。

C.对车辆前方视频图像进行直线的检测，从而识别出车道线。

在图像进行二值化后，采用Hough变换进行直线的检测。Hough变换是图像处理中的一个检测直线、圆等简单几何形状的方法。对于图像中的一条直线而言，利用直角坐标系，可以表示为：y＝kx+b的形式。那么，该直线上任意一点(x,y)变换到k-b参数空间将变成一个“点”。也就是说，将图像中所有的非零像素转换到k-b参数空间，那么它们将聚焦在一个点上。如此一来，参数空间中的一个局部峰值点就很有可能对应着原图像空间中的一条直线。由于直线的斜率可能为无穷大和无穷小，那么，在k-b参数空间就不便于对直线进行刻画和描述。所以，采用极坐标参数空间进行直线检测。在极坐标中，直线可以表述为以下形式：

ρ＝xcos(θ)+ysin(θ)

具体步骤如下：

(1)找到图片中的“白点”，也就是需要处理的车道线，假设某点在直角坐标系下的坐标为(x,y)，将其进行ρ＝xcos(θ)+ysin(θ)的坐标变换。在实际操作中，θ要转变为离散的数组，θ₁,θ₂,...,θ_j，ρ相应的也有ρ₁,ρ₂,...,ρ_j。

(2)找到与数据元素对应的(ρ_j,θ_j)，然后将该组数组元素加1。

(3)最后比较参数空间数组元素值的大小，最大值对应的(ρ_j,θ_j)即为所求的直线方程。

在具体实施过程中，步骤S2中，提取SURF特征点的方法为：

假设函数f(x,y)，Hessian矩阵H是由函数偏导数组成，首先定义图像中某个像素点的Hessian矩阵的定义为：

从而每一个像素点都可以求出一个Hessian矩阵，Hessian矩阵判别式为：

判别式的值是H矩阵的特征值，可以利用判定结果的符号将所有点分类，根据判别式取值正负，从而判断该点是不是极值点。然后选用二阶标准高斯函数作为滤波器。通过特定核间的卷积计算二阶偏导数，这样就能计算出H矩阵的三个矩阵元素L_xx，L_xy，L_yy，从而计算出H矩阵公式如下：

它的行列式的值为：

然后，对图像斑点进行检测，主要有以下两步：

(1)高斯滤波：使用不同的σ生成或模板，对图像进行卷积运算。

(2)在图像的位置空间和尺度空间中搜索相应的峰值。这里要引入图像堆的概念，就是一组大小相同的图像，这些图像都是根据不同大小高斯滤波二阶导模板。按照模板大小从小到大沿z轴方向排布，这样中间层的每个像素点的领域就为3×3×3(包括上下两层)。若该点的特征值α为这27个点中的最大值，那么可以认为该点为SURF特征点。

在具体实施过程中，步骤S2中，构造SURF特征点的描述子的具体方法为：

在SURF特征点周围取一个边长为8像素的正方形框，将其分割为4个边长为4像素的正方形区域T1、T2、T3和T4，

分别计算T1、T2、T3和T4的水平方向的Harr特征向量harrx和竖直方向的Harr特征向量harry，如图3所示，水平方向的Harr特征向量harrx即为左侧白色区域的像素灰度值减去右侧黑色区域的像素灰度值所得的方向向量，竖直方向的Harr特征向量harry即为上侧白色区域的像素灰度值减去下侧黑色区域的像素灰度值所得的方向向量,然后分别计算T1、T2、T3和T4的Harr特征向量的方向角angle，公式为：

angle＝arctan(harry/harrx)；

根据就近原则将所述方向角归并到上、下、左、右、左上、左下、右上和右下8个方向上，得到由32个特征矢量组成的SURF特征点的描述子。

在具体实施过程中，步骤S3中，对SURF特征点进行匹配的具体方法为：计算两个SURF特征点的描述子的内积，若内积最大值大于预设的阈值，则这两个SURF特征点匹配，否则这两个SURF特征点不匹配。

在具体实施过程中，步骤S4中，在SURF特征点中选取运动点的方法为：以视频图像中每N帧为一个单位，通过LK光流法计算每个SURF特征点的运动向量，然后选取运动点。

光流的概念由Gibson在1950年提出，它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧与当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的方法。

LK光流法实际是通过检测图像像素点的强度随时间变化进而推断出物体移动速度和方向的方法。每一个时刻均有一个二维或多维的向量集合，如(x,y,t)，表示制定坐标在t点的瞬时速度。设I(x,y,t)为t时刻(x,y)点的强度，在很短的时间Δt内，x，y分别增加Δx，Δy，可得：

假设物体在时刻t位于(x,y)点，在t+Δt时刻位于(x+Δx,y+Δy)点，那么有下式：

I(x+Δx,y+Δt,t+Δt)＝I(x,y,t)

因此

假设那么：I_xu+I_yu＝-I_t，即假设在(u,v)的一个小的局部领域内，亮度是恒定的，那么：即：

光流计算的目的，就是使得最小，求出的最小值，就是光流的方向和大小。

由于只需要从运动物体中提取出ST特征，因此通过LK光流法来计算每个SURF特征点的运动向量，然后选取运动点。光流特征主要从N帧中的第1帧到第N/2帧中计算得到，得到运动点。

在具体实施过程中，步骤S4中，提取运动点的局部纹理特征和局部运动特征组成特征向量，其具体方法包括以下步骤：

S4.1：提取运动点的局部纹理特征，采用Delaunay三角的三个SURF特征点的SURF描述子作为局部纹理特征，该三个SURF特征点的SURF描述子按照其绝对值的递减顺序来组合，由于SURF特征点的描述子为64维，因此，局部纹理特征的维度为64×3＝192维；

本实施例采用Delaunay三角规则来对运动点进行限制，这样就可以从一组运动点而不是一个独立的运动中来提取特征。每三个运动点就可以形成一个三角区域，将该区域作为一个单位来进行特征的提取。

S4.2：提取运动点的局部运动特征，包括以下步骤：

(1)从N帧中的M-1帧中每一个运动点提取光流特征，根据光流特征来对每一个运动点进行跟踪；

(2)采用5维特征向量来表示每个视频片段中的运动点的运动特征，(M-1)个帧间隔中共得到(M-1)×5维的特征向量，所述的5维特征向量包括x+、x-、y+、y-和x0，其中x+表示x轴正向的度量，x-表示x轴负向的度量，y+表示y轴正向的度量，y-表示y轴负向的度量，x0表示无光流量；

(3)对每个视频片段的特征向量进行归一化，使得所有的分量的和都为近似为1，对(M-1)×5维特征向量按照其绝对值的递减顺序组合成一个局部运动特征；

S4.3：将局部纹理特征和局部运动特征进行组合，构成ST特征向量，本实施例中取M＝N＝5，ST特征向量的维度为＝192+(M-1)×15+(M-1)＝256。

在具体实施过程中，步骤S5中，预先选取驾驶员行为的样本数据，使用SVM高斯核函数对样本数据进行离线训练，将ST特征向量输入到预先训练过的SVM分类器，判断驾驶员是否危险驾驶，如果危险驾驶则发出报警。

本专利主要采用支持向量机(SVM)方法来进行特征的分类，该方法是从统计学理论发展而来，主要针对小样本数据进行学习、分类和预测。SVM是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的推广能力。

本专利采用离线的方法训练行为数据，将训练的结果保存，这样在线识别的时候只需要将特征向量输入到SVM中，与已有的数据进行比较，即可得到分类的结果。

目前有三类使用较多的内积核函数，本专利采用径向基函数，也称作高斯核函数：

假设一堆训练数据的正负样本，标记为{x_i,y_i},i＝1,...,l，y_i∈{-1,1},x_i∈R^d，假设有一个超平面H:w·x+b＝0，可以把这些样本正确无误的分割开来，同时存在两个平行于H的超平面H1和H2：

H1:w·x+b＝1

H2:w·x+b＝-1

使离H最近的正负样本刚好落在H1和H2上，这样的样本就是支持向量。那么其他所有的训练样本都将位于H1和H2之外，也就是满足如下约束：

w·x_i+b≥1,y_i＝1

w·x_i+b≤-1,y_i＝-1

写成统一的式子就是：

y_i(w·x_i+b)-1≥0。

SVM算法的主要步骤如下：

给定训练集T＝{(x₁,y₁),(x₂,y₂)...(x_n,y_n)}，求解二次规划问题：

其中解出

计算计算参数w，并选取一个正分量计算b，公式为：

构造判决边界：g(x)＝(w^*·x)+b^*＝0，由此求得决策函数：

f(x)＝sgn(g(x))。

离线训练：首先根据用户想要识别的行为，选取N个场景的数据，另外，选取一些不包括这些行为的场景，对样本视频进行底层运动特征以及SURF特征提取处理后，进行聚类，生成视频向量，依次对所有的视频样本进行上述操作，每一幅都会得到一组视频矢量，所有样本图像进行svm高斯核函数训练。

在线识别：对输入的视频数据进行特征提取，然后生成ST特征向量，经过分类器，判断属于某个行为，即判断驾驶员是否危险驾驶，如果危险驾驶则发出报警。

在具体实施过程中，如果车辆压车道线，可能为一些人为驾驶情况，发出轻度报警；根据驾驶员行为识别的结果，眨眼的频度以及点头的频度，如果眨眼小于阈值，或者点头的频度大于阈值，则表明驾驶员处于危险驾驶行为中，提示中度报警；如果同时出现轻度报警和中度报警，则提示严重报警。

一种危险驾驶行为预警方法系统，如图4所示，所述系统包括：

第二摄像头：用于采集驾驶员视频图像；

特征点提取模块：用于对驾驶员视频图像提取特征点并构造特征点的描述子；

特征点匹配模块：用于根据特征点描述算子对特征点进行匹配；

ST特征向量生成模块：根据特征点的匹配结果，在特征点中选取运动点，提取局部纹理特征和局部运动特征组成ST特征向量；

分类器：用于根据输入的ST特征向量判断驾驶员是否危险驾驶；

报警模块：用于在车辆是压车道线或者驾驶员危险驾驶时，发出报警信号。

本发明危险驾驶行为预警系统是上述方法实现的硬件基础，所述系统和方法结合实现了危险驾驶行为的预警。

在具体实施过程中，所述系统还包括：

第二摄像头：用于采集车辆前方视频图像；

车道线检测模块：用于根据车辆前方视频图像对车道线进行检测，判断车辆是否压车道线。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种危险驾驶行为预警方法，其特征在于，所述方法包括以下步骤：

S1：采集驾驶员视频图像；

S2：对驾驶员视频图像提取特征点并构造特征点的描述子；具体方法为：

S2.1：在SURF特征点周围取一个边长为P像素的正方形框，将其分割为4个边长为P/2像素的正方形区域T1、T2、T3和T4；

S2.2：分别计算T1、T2、T3和T4的水平方向的Harr特征向量harrx和竖直方向的Harr特征向量harry，并分别计算T1、T2、T3和T4的Harr特征向量的方向角angle，公式为：

angle＝arctan(harry/harrx)；

S2.3根据就近原则将所述方向角归并到上、下、左、右、左上、左下、右上和右下8个方向上，得到由32个特征矢量组成的SURF特征点的描述子；

S3：根据特征点描述子对特征点进行匹配；具体方法为：计算两个SURF特征点的描述子的内积，若内积最大值大于预设的阈值，则这两个SURF特征点匹配，否则这两个SURF特征点不匹配；

S4：根据特征点的匹配结果，在特征点中选取运动点，提取局部纹理特征和局部运动特征组成ST特征向量；具体方法包括以下步骤：

S4.1：提取运动点的局部纹理特征，采用Delaunay三角的三个SURF特征点的SURF描述子作为局部纹理特征，该三个SURF特征点的SURF描述子按照其绝对值的递减顺序来组合；

S4.2：提取运动点的局部运动特征，包括以下步骤：

(1)从N帧中的M-1帧中每一个运动点提取光流特征，根据光流特征来对每一个运动点进行跟踪，M、N为正整数；

(2)采用5维特征向量来表示每个视频片段中的运动点的运动特征，(M-1)个帧间隔中共得到(M-1)×5维的特征向量，所述的5维特征向量包括x+、x-、y+、y-和x0，其中x+表示x轴正向的度量，x-表示x轴负向的度量，y+表示y轴正向的度量，y-表示y轴负向的度量，x0表示无光流量；

(3)对每个视频片段的特征向量进行归一化，使得所有的分量的和都为近似为1，对(M-1)×5维特征向量按照其绝对值的递减顺序组合成一个局部运动特征,局部运动特征的维度就是(M-1)×5；

S4.3：将局部纹理特征和局部运动特征进行组合，构成ST特征向量；

S5：将ST特征向量输入到预先训练过的分类器，判断驾驶员是否危险驾驶，如果危险驾驶则发出报警。

2.根据权利要求1所述的危险驾驶行为预警方法，其特征在于，所述方法还包括：采集车辆前方视频图像，对车道线进行检测，判断车辆是否压车道线，如果车辆压车道线则发出报警。

3.根据权利要求2所述的危险驾驶行为预警方法，其特征在于，所述方法还包括：如果车辆压车道线发出轻度报警，如果驾驶员危险驾驶发出中度报警，如果车辆压车道线且驾驶员危险驾驶则发出严重报警。

4.根据权利要求2所述的危险驾驶行为预警方法，其特征在于，对车道线进行检测的具体方法包括以下步骤：

对车辆前方视频图像做逆透视变换；

对车辆前方视频图像进行滤波及二值化；

对车辆前方视频图像进行直线的检测，从而识别出车道线。

5.根据权利要求1所述的危险驾驶行为预警方法，其特征在于，步骤S5中，预先选取驾驶员行为的样本数据，使用SVM高斯核函数对样本数据进行离线训练，将ST特征向量输入到预先训练过的SVM分类器，判断驾驶员是否危险驾驶，如果危险驾驶则发出报警。