CN106295583A - 一种提醒用户驾驶方式的方法及装置 - Google Patents

Abstract

本发明公开了一种提醒用户驾驶方式的方法及装置。该方法包括：使用两个平行摄像头进行双目测距，实时获取双目测距的图像；根据所述图像获取驾驶用户的信息和/或周围环境信息；其中，所述驾驶用户的信息包括用户驾驶的疲劳状态，所述周围环境信息包括路上行人信息以及车距信息；根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息。

Description

一种提醒用户驾驶方式的方法及装置

技术领域

本发明实施例涉及移动视频监控的技术领域，尤其涉及一种提醒用户驾驶方式的方法及装置。

背景技术

随着人民群众生活水平的普遍提高，越来越多的用户拥有私家车。这样容易造成交通拥堵、交通事故的发生。为了明确事故责任，车载移动视频监控设备应运而生。

现有的车载移动视频监控设备大多是单纯录像功能，通常用在事故发生之后，调取录像来划定交通事故责任人，这对安全驾驶没有起到预防作用。

随着摄像头技术的发展，图像质量越来越高，使得机器视觉成为可能。在采集到的图像中，运用智能算法分析，得到驾驶员精神状态，并结合车身周围路况，给以驾驶员相应提示，使得驾驶更安全。

发明内容

本发明实施例的目的在于提出一种提醒用户驾驶方式的方法及装置，旨在解决如何有效预防交通事故发生的问题。

为达此目的，本发明实施例采用以下技术方案：

第一方面，一种提醒用户驾驶方式的方法，所述方法包括：

使用两个平行摄像头进行双目测距，实时获取双目测距的图像；

根据所述图像获取驾驶用户的信息和/或周围环境信息；其中，所述驾驶用户的信息包括用户驾驶的疲劳状态，所述周围环境信息包括路上行人信息以及车距信息；

根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；

若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息。

优选地，所述根据所述图像获取车距信息，包括：

根据车辆的前后、左右方向的双摄像头拍摄的图像和预设计算车距算法获取车距信息；其中，所述预设计算车距算法包括根据双目图像的对极几何特点和双目系统的三角测量原理设置的算法。

优选地，所述根据所述图像获取驾驶用户的信息，包括：

根据预设算法和所述图像获取所述驾驶用户的身体状态；

根据所述身体状态的变化情况获取所述驾驶用户的信息。

优选地，所述根据预设算法和所述图像获取所述驾驶用户的身体状态，包括：

通过Adaboost算法训练强分类器进行级联，并在底层特征中提取高效率的矩形特征；

通过提取的高效率的矩阵特征和积分图的方法建立haar分类器；

通过所述haar分类器检测所述驾驶用户的人脸，再将人脸图像二值化后进行水平投影定位至所述驾驶用户的预设身体部位，并获取所述预设身体部位的状态。

优选地，所述根据所述身体状态的变化情况获取所述驾驶用户的信息，包括：

若所述预设身体部位为眼睛，当眼睑上下距离持续5秒小于正常眼睑距离的预设阈值时，则获取到的所述驾驶用户的信息为疲劳驾驶。

优选地，所述根据所述图像获取周围环境信息，包括：

运用Lucas-kanade算法和所述图像的数据建立多个方程，使用最小二乘法计算稠密光流；

根据所述稠密光流获取周围环境中行人的行走方向。

第二方面，一种提醒用户驾驶方式的装置，所述装置包括：

测距模块，用于使用两个平行摄像头进行双目测距；

第一获取模块，用于实时获取双目测距的图像；

第二获取模块，用于根据所述图像获取驾驶用户的信息和/或周围环境信息；其中，所述驾驶用户的信息包括用户驾驶的疲劳状态，所述周围环境信息包括路上行人信息以及车距信息；

确定模块，用于根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；

发送模块，用于若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息。

优选地，所述第二获取模块，具体用于：

根据车辆的前后、左右方向的双摄像头拍摄的图像和预设计算车距算法获取车距信息；其中，所述预设计算车距算法包括根据双目图像的对极几何特点和双目系统的三角测量原理设置的算法。

优选地，所述第二获取模块，包括：

第一获取单元，用于根据预设算法和所述图像获取所述驾驶用户的身体状态；

第二获取单元，用于根据所述身体状态的变化情况获取所述驾驶用户的信息。

优选地，所述第一获取单元，具体用于：

通过Adaboost算法训练强分类器进行级联，并在底层特征中提取高效率的矩形特征；

通过提取的高效率的矩阵特征和积分图的方法建立haar分类器；

通过所述haar分类器检测所述驾驶用户的人脸，再将人脸图像二值化后进行水平投影定位至所述驾驶用户的预设身体部位，并获取所述预设身体部位的状态。

优选地，所述第二获取单元，具体用于：

若所述预设身体部位为眼睛，当眼睑上下距离持续5秒小于正常眼睑距离的预设阈值时，则获取到的所述驾驶用户的信息为疲劳驾驶。

优选地，所述第二获取模块，具体用于：

运用Lucas-kanade算法和所述图像的数据建立多个方程，使用最小二乘法计算稠密光流；

根据所述稠密光流获取周围环境中行人的行走方向。

本发明实施例提供一种提醒用户驾驶方式的方法及装置，使用两个平行摄像头进行双目测距，实时获取双目测距的图像；根据所述图像获取驾驶用户的信息和/或周围环境信息；其中，所述驾驶用户的信息包括用户驾驶的疲劳状态，所述周围环境信息包括路上行人信息以及车距信息；根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息。

附图说明

图1是本发明实施例提供的一种提醒用户驾驶方式的方法的流程示意图；

图2是本发明实施例提供的另一种提醒用户驾驶方式的方法的流程示意图；

图3是本发明实施例提供的一种二维双摄像头测距的几何原理示意图；

图4是本发明实施例提供的一种三维双摄像头测距的几何原理示意图；

图5是本发明实施例提供的一种级几何的示意图；

图6是本发明实施例提供的另一种提醒用户驾驶方式的方法的流程示意图；

图7是本发明实施例提供的一种haar-like示意图；

图8是本发明实施例提供的一种积分示意图；

图9是本发明实施例提供的另一种提醒用户驾驶方式的方法的流程示意图；

图10是本发明实施例提供的一种提醒用户驾驶方式的装置的功能模块示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

参考图1，图1是本发明实施例提供的一种提醒用户驾驶方式的方法的流程示意图。

如图1所示，所述提醒用户驾驶方式的方法包括：

步骤101，使用两个平行摄像头进行双目测距，实时获取双目测距的图像；

具体的，可以在车辆的前后、左右方向安装双摄像头，并通过该双摄像头进行双目测距。

步骤102，根据所述图像获取驾驶用户的信息和/或周围环境信息；其中，所述驾驶用户的信息包括用户驾驶的疲劳状态，所述周围环境信息包括路上行人信息以及车距信息；

具体的，可以根据不同的算法对所述图像进行处理，得到驾驶用户的信息和/或周围环境信息。

其中，所述驾驶用户的信息包括驾驶用户的疲劳状态、是否醉驾和/或是否有不安全操作。

其中，所述周围环境信息包括该驾驶车辆和周围车辆的行车距离、周围行人的拥挤情况、周围路况是否在施工或者维修状态，和/或是否有特殊事件发生，例如地震、优先级较高的事件如警车和/或医疗紧急车辆经过。

同时，不仅仅可以通过图像获取上述驾驶用户的信息和/或周围环境信息，也可以通过在车辆上安装喇叭检测周围环境的声音信号，对该声音信号进行处理得到相应的数据。

另外，除了通过摄像头获取图像、通过喇叭获取周围环境信息，还可以通过传感器获取特定数据例如用户呼出的气体等。

步骤103，根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；

具体的，确定的方式包括但不限于：可以设置安全阈值，再判断当前的驾驶用户的信息或者周围环境信息是否超过该安全阈值。

例如，疲劳驾驶的状态是否超过驾驶员安全疲劳驾驶状态阈值。周围路况的拥挤程度是否达到调整当前驾驶速度的拥挤阈值。

步骤104，若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息。

具体的，提示的方式包括但不限于：向驾驶用户显示提示信息，或者通过语音播放该提示信息。

提示的内容包括但不限于：提醒用户的驾驶情况，该驾驶情况包括驾驶用户本身的情况以及周围环境的情况。同时，还可以提示用户进行相应的安全操作。

例如，若检测到用户处于疲劳驾驶，则可以向驾驶用户推送预先设置的或者根据所述驾驶用户历史数据统计分析得到的广播、电台、听书或者音乐等相关内容，通过该相关内容，通过相关内容达到提高用户兴趣的目的。

本发明实施例提供一种提醒用户驾驶方式的方法，使用两个平行摄像头进行双目测距，实时获取双目测距的图像；根据所述图像获取驾驶用户的信息和/或周围环境信息；其中，所述驾驶用户的信息包括用户驾驶的疲劳状态，所述周围环境信息包括路上行人信息以及车距信息；根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息。

参考图2，图2是本发明实施例提供的另一种提醒用户驾驶方式的方法的流程示意图。

如图2所示，所述提醒用户驾驶方式的方法包括：

步骤201，使用两个平行摄像头进行双目测距，实时获取双目测距的图像；

步骤202，根据车辆的前后、左右方向的双摄像头拍摄的图像和预设计算车距算法获取车距信息；其中，所述预设计算车距算法包括根据双目图像的对极几何特点和双目系统的三角测量原理设置的算法；

具体的，如图3和图4所示，图3是本发明实施例提供的一种二维双摄像头测距的几何原理示意图。图4是本发明实施例提供的一种三维双摄像头测距的几何原理示意图。

如图3、图4所示，两台摄像机的像平面精确位于同一平面上，光轴严格平行(光轴是从投影中心O朝主点c方向引出的一条射线，也称为主光线)，距离一定，焦距相同f_l＝f_r。

利用相似三角形原理就可以推导出：

$\frac{T-(x^l-x^r)}{Z-f}=\frac{T}{Z}\⇒Z=\frac{fT}{x^l-x^r}$

以上，是理想的状态，现实世界，摄像机几乎不可能像前面图片所示那样的严格向前平行对准。所以要通过数学方法计算投影图和畸变图，从而将左右图像校正成为向前平行对准。目标是将摄像机在数学上对准(而不是物理对准)到同一个观察平面上，从而使得摄像机之间的像素行是严格互相对准的。

怎么样才能让现实世界中的摄像机设备映射到理想安排的几何状态，这就用到了对极几何。对极几何是立体成像的基本几何学。从本质上说，对极几何就是将两个针孔模型(每个摄像机就是一个针孔)和一些感想兴趣的点结合起来。这些感兴趣的点，称它为极点，如图5所示，图5是本发明实施例提供的一种级几何的示意图。

如图5所示，每台摄像的投影中心分别为O_l，O_r，物理世界在投影平面的投影点为P_l，P_r，极点e_l和e_r。P_l和e_l，以及P_r和e_r确定的线，叫极线。观察可以发现在一个成像仪上看到的所有可能位置的点都是穿过另一台成像仪的极点和对应点的直线图像。所以一旦知道立体图像的对极几何之后，对两幅图像间匹配特征的二维搜索就转变成了沿着极线的一维搜索。计算极线需要用到两个因素，本征矩阵E和基础矩阵F。E包含在物理空间中两个摄像头相关的旋转和平移信息。F除了包含E的信息外还包含了两个摄像头的内参数。

1、P_l，P_r表示P在两个成像仪上所成的像在左右两个摄像机坐标系下的坐标。

2、P_l，P_r表示点P在左右两个摄像机坐标系下的坐标。

给定点P，将要推导点P在两个成像仪的观测位置P_l，P_r之间的关系，P_l，P_r是在两个摄像机坐标系中观察到的点的物理坐标。利用对极几何可以将它们联系起来。

知道点P_l是点P在左摄像机O_l为中心的坐标系下的坐标。P_r是P点在右摄像机O_r为中心的坐标系下的坐标。

令左摄像机O_l为坐标系的中心，O_r相对于O_l的坐标为T，R表示旋转矩阵，那么P_r＝R(P_l-T)。

P_r为3×1的列向量(相对于中心点),R为3×3的旋转矩阵，P_l为3×1的列向量，T也是3×1的列向量。(因为P_l，P_r,T都是三维点)。

知道描述一个空间平面可以用点法式来确定即平面的法向量和平面上的所有点x表示如下：

(x-a)·n＝0

a表示平面内的一个定点，x表示平面内的任意一点，n是该平面的法向量。(上面a,x,n每一个都是一个向量，中间是点积)

选取左摄像机的投影中心O_l为坐标系的中心，即O_l为原点(0,0,0)，那么点P_l和点T，就可以表示为相对于O_l的向量。那么极面上就有向量Pl和T,知道右手准则，与P_l和T相垂直的向量和法向量同相，并且为P_l和T的叉乘。那么通过点T的所有可能点P_l,以及包含这两个向量的方程表示如下：

(p_l-T)^T(T×p_l)＝0

将公式P_r＝R(P_l-T)即P_l-T＝(R-1)P_r，并且R-1＝RT(R是正交阵)得：

(R^TP_r)(T×P_l)＝0

总是可以将叉积写成矩阵相乘的形式，故定义矩阵S为:

$T\×P_l={\mathrm{SP}}_l\⇒s=\left[\begin{array}{ccc}0& -T_z& T_y\\ T_z& 0& -T_x\\ -T_y& T_x& 0\end{array}\right]$

这样就推导出了第一个结果，将上式带入到叉积公式中，得到：

(P_r)^TRSP_l＝0

乘积RS就是的定义的本征矩阵，可以写成下面的简洁形式：

(P_r)^TEP_l＝0

本征矩阵E包含两台摄像机相关的所有几何信息，但不包括摄像机本身的任何信息。

在实际应用中，通常只对像素坐标感兴趣。为了将像素坐标和极线联系起来，即必须将两台摄像机的内参入信息引入进来，

q＝MQ,

即相机内参数将相机坐标系下的坐标和图像坐标系下的坐标关联起来。

用p(像素坐标)代替本征矩阵公式中的q,已知q＝Mp,即p＝M-1q，那么关于本征矩阵E的公式变为：

$q_r^T{\left(M_r^{-1}\right)}^T{\mathrm{EM}}_l^{-1}{q}_l=0$

定义基础矩阵F为：

$F={\left(M_r^{-1}\right)}^T{\mathrm{EM}}_l^{-1}$

最终推导得到

$q_r^T{\mathrm{Fq}}_l=0$

步骤203，根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；

步骤204，若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息。

参考图6，图6是本发明实施例提供的另一种提醒用户驾驶方式的方法的流程示意图。

如图6所示，所述提醒用户驾驶方式的方法包括：

步骤601，使用两个平行摄像头进行双目测距，实时获取双目测距的图像；

步骤602，通过Adaboost算法训练强分类器进行级联，并在底层特征中提取高效率的矩形特征；通过提取的高效率的矩阵特征和积分图的方法建立haar分类器；通过所述haar分类器检测所述驾驶用户的人脸，再将人脸图像二值化后进行水平投影定位至所述驾驶用户的预设身体部位，并获取所述预设身体部位的状态；若所述预设身体部位为眼睛，当眼睑上下距离持续5秒小于正常眼睑距离的预设阈值时，则获取到的所述驾驶用户的信息为疲劳驾驶；

其中，该预设阈值可以为80％。

人脸识别使用了Haar分类器方法，包含了Adaboost算法，稍候会对这一算法做详细介绍。所谓分类器，在这里就是指对人脸和非人脸进行分类的算法。在AdaBoost算法的基础上，使用Haar-like小波特征和积分图方法进行人脸检测，并对AdaBoost训练出的强分类器进行级联。

所谓haar-like特征就是如下图7所示，图7是本发明实施例提供的一种haar-like示意图。如图7所示：

矩形坐标信息由矩形的一个顶点以及长宽确定，在程序语言，矩形可以描述为：

rect(lelt,top,width,height)；

特征值描述为：

$Feture\left(k\right)\underset{i=1}{\overset{N}{\Σ}}{w}_i*sum\mathrm{Re}ct\left(r_i\right)$

其中，ω_i为r_i的权值，是矩阵的内像素积分，而N则是组成特征的Feature(k)的矩形数量。

将上面的任意一个矩形放到人脸区域上，然后，将白色区域的像素和减去黑色区域的像素和，得到的值暂且称之为人脸特征值，如果你把这个矩形放到一个非人脸区域，那么计算出的特征值应该和人脸特征值是不一样的，而且越不一样越好，所以这些方块的目的就是把人脸特征量化，以区分人脸和非人脸。

使用积分图(Integral Image)对Haar-like特征求值进行加速,它是Haar分类器能够实时检测人脸的保证。Haar-like分类器的训练和检测过程，你会看到无论是训练还是检测，每遇到一个图片样本，每遇到一个子窗口图像，都面临着如何计算当前子图像特征值的问题，一个Haar-like特征在一个窗口中怎样排列能够更好的体现人脸的特征，这是未知的，所以才要训练，而训练之前只能通过排列组合穷举所有这样的特征，仅以前面提到的最基本四个特征为例，在一个24×24size的窗口中任意排列至少可以产生数以10万计的特征，对这些特征求值的计算量是非常大的。

而积分图就是只遍历一次图像就可以求出图像中所有区域像素和的快速算法，大大的提高了图像特征值计算的效率。

积分图是一种能够描述全局信息的矩阵表示方法。积分图的构造方式是位置(i,j)处的值ii(i,j)是原图像(i,j)左上角方向所有像素的和：

$ii(i,j)=\underset{k\≤i,l\≤j}{\Σ}f(k,l)$

积分图构建算法：

1)用s(i,j)表示行方向的累加和，初始化s(i,-1)＝0；

2)用ii(i,j)表示一个积分图像，初始化ii(-1,i)＝0；

3)逐行扫描图像，递归计算每个像素(i,j)行方向的累加和s(i,j)和积分图像ii(i,j)的值

s(i,j)＝s(i,j-1)+f(i,j)

ii(i,j)＝ii(i-1,j)+s(i,j)

4)扫描图像一遍，当到达图像右下角像素时，积分图像ii就构造好了。

积分图构造好之后，图像中任何矩阵区域的像素累加和都可以通过简单运算得到如图8所示，图8是本发明实施例提供的一种积分示意图。

设D的四个顶点分别为α、β、γ、δ，则D的像素和可以表示为

Dsum＝ii(α)+ii(β)-(ii(γ)+ii(δ))；

而Haar-like特征值无非就是两个矩阵像素和的差，同样可以在常数时间内完成。

为了增加区分度，可以对多个矩形特征计算得到一个区分度更大的特征值，那么什么样的矩形特征怎么样的组合到一块可以更好的区分出人脸和非人脸呢，这就是AdaBoost算法要做的事了利用AdaBoost算法可以帮助选择更好的矩阵特征组合，其实这里提到的矩阵特征组合就是之前提到的分类器，分类器将矩阵组合以二叉决策树的形式存储起来。

接着运用AdaBoost进行强分类器的构造。很多矩形特征组合起来可以构成一个弱分类器。所以可以认为一个弱分类器h_j(x)由标识不等号方向的数p_j(1或-1)、特征f_j和阈值θ_j构成:

$h_j\left(x\right)=\left\{\begin{array}{cc}1,& \begin{array}{cc}if& P_j{f}_j\left(x\right)<P_j{\mathrm{\&theta;}}_j\end{array}\\ 0,& otherwise\end{array}\right.$

在式中，x是待检图片。根据实际情况，待检图片可以替换为指定的特征以及待检的目标。在定义了弱分类器之后，根据所采集的人脸样本对其进行训练。在训练的过程中，首先要定义特征函数和阈值，对于每一个人脸样本，如果经过特征函数输出的结果低于阈值，那么可以认为这是一个人脸，即正样本，反之，认为其是非人脸，即负样本。所以，关键在于特征函数的选取和阈值的设定。这里遵循的原则是，对于特征函数的选取，一定要是能够最大限度地描述正常人脸的五官特征，而对于阈值的选取，在迭代的过程中，权重的选取至关重要，既要考虑人脸本身的几何特性，又要考虑外部环境的影响。

AdaBoost算法的初始输入特征函数是一个先验特征函数，然后在通过这个函数对人脸样本集进行迭代。其具体实现的过程程定义如下：

(x¹,y¹),(x²,y²),...(xⁱ,yⁱ),...,(xⁿ,yⁿ),

其中，yⁱ＝1表示正样本(人脸)，yⁱ＝0表示负样本(非人脸)；设n个样本中有p个正样本和以及q＝n-p个负样本。

初始化对于正，负样本，权重分别初始为：

经过下面的T次循环迭代，权值标准正交化：

$D^{t,i}\&LeftArrow;\frac{D_{t,i}}{\underset{j=1}{\overset{n}{\&Sigma;}}{D}_{t,j}}$

对于任意特征的j,训练分类器h^j,与D^t,i相符的错误率为：

${\mathrm{\&epsiv;}}_l=P_{D_l}\&lsqb;h_j\left(x_i\right)\&NotEqual;y_i\&rsqb;=\underset{i:h_j\left(x_i\right)\&NotEqual;y_i}{\&Sigma;}{\mathrm{\&omega;}}_j\left(i\right)=\underset{i}{\&Sigma;}{D}_{l,j}|h_j\left(x_i\right)-y_i|$

令

若分类达到要求时，h_j(x_i)＝y_i，e_i＝0；而分类不符合要求时,h_j(x_i)≠y_i，eⁱ＝1。

最后把迭代的弱分类器线进行性组合，从而得到一个强分类器：

$H\left(x\right)=\mathrm{sgn}\left(\underset{l=1}{\overset{T}{\&Sigma;}}{\mathrm{\&alpha;}}_l{h}_l\right(x\left)\right)=\left\{\begin{array}{cc}1,& \underset{t=1}{\overset{T}{\&Sigma;}}{\mathrm{\&alpha;}}_l{h}_l\left(x\right)\&GreaterEqual;\frac{1}{2}\underset{n=l}{\overset{T}{\&Sigma;}}{\mathrm{\&alpha;}}_n\\ 0,& otherwise\end{array}\right.$

最后，通过训练得出的强分类器对目标图像进行检测，其过程是，对组成强分类器的弱分类器进行循环问询，对于每一个弱分类都有一个对应的特征函数和阈值，那么输出必然也有一个结果，然后对输出的结果集在弱分类器上的权值进行加权，最后得到的就是最终的判断值，如果这个判断值小于强分类器的阈值，那么可以认为人脸，反之，认为是非人脸。

接着在人脸中找眼睛，将彩色的人脸灰度化。

在色彩空间RGB模型中，若红、绿、蓝三个分量相等时，则彩色表示一种灰度颜色，那么这个相同的值就是灰度值，所以，在计算机中，灰度图像的每一个像素用一个字节就可以存储，其范围为0-255。

灰度图的基础上进行二值化，使用的方法是OTSU算法。OTSU算法选择类间方差最大的灰度值为阈值，具有很好的效果。

计算图像灰度平均值avgValue,计算直方图的零阶W[i]和一级矩U[i]，计算并找到最大的类间方差(between-class，variance)：

Variance[i]＝(avgValue*w[i]-u[i])*(avgValue*w[i]-ui[i])/(w[i]*(1-w[i]))

对应次最大方差的灰度值即为目标阈值。

在二值图中人眼定位。本系统中人眼的定位依靠水平投影，根据眼睛的特点，在横坐标上，眉毛和眼睛的横坐标大致相同，这样的话，在水平投影上，波谷最多的区域基本上可以确定为眼部的横坐标区域；同样的道理，由于，在垂直投影上，波谷最多的那个区域可以认为是眼部的纵坐标。

步骤603，根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；

步骤604，若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息。

参考图9，图9是本发明实施例提供的另一种提醒用户驾驶方式的方法的流程示意图。

如图9所示，所述提醒用户驾驶方式的方法包括：

步骤901，使用两个平行摄像头进行双目测距，实时获取双目测距的图像；

步骤902，运用Lucas-kanade算法和所述图像的数据建立多个方程，使用最小二乘法计算稠密光流；根据所述稠密光流获取周围环境中行人的行走方向；

首先是假设条件：

(1)、亮度恒定，就是同一点随着时间的变化，其亮度不会发生改变。这是基本光流法的假定(所有光流法变种都必须满足)，用于得到光流法基本方程；

(2)、小运动，这个也必须满足，就是时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导(换句话说，小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数)，这也是光流法不可或缺的假定；

(3)、空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。这是Lucas-Kanade光流法特有的假定，因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。假定特征点邻域内做相似运动，就可以连立n多个方程求取x，y方向的速度(n为特征点邻域总点数，包括该特征点)。

第一点假设：亮度恒定，指对跟踪部分像素不随时间变化：

f(x,t)＝I(x(t),t)＝I(x(t+dt),t+dt)

很简单，公式的意思是被跟踪像素的灰度不随时间变化而变化：

$\frac{\&part;f\left(x\right)}{\&part;t}=0$

第二点假设：时间连续，指相邻帧之间的运动较小。换句话，可以将运动的变化看成是亮度对时间的导数。一维空间的情况：

$\frac{\&part;I}{\&part;x}{|}_t\left(\frac{\&part;x}{\&part;t}\right)+\frac{\&part;I}{\&part;t}{|}_{x\left(t\right)}=0$

设I_x是图像的偏导数I_t是图像随时间的导数v是要求的速度

$v=-\frac{I_x}{I_t}$

扩展到二维的情况：

I_xu+I_yv+I_t＝0

这个等式对于任意一个像素都含有两个未知量。所以对于单个像素，无法得到该点的二维运动的定解。这时就需要利用光流的最后一个假设，若一个局部区域的像素运动是一致的，则可以建立邻域像素的系统方程来求解中心像素的运动。例如，如果用当前像素5X5邻域的像素亮度值来计算该像素的运动，则可以建立如下25个方程。

2、方程求解

多个方程求两个未知变量，又是线性方程，很容易就想到用最小二乘法，其中，最小误差平方和为最优化指标。

利用线性代数的矩阵求解，最终答案：

$\left[\begin{array}{c}u\\ v\end{array}\right]={\left(A^{T}A\right)}^{-1}{A}^{T}b$

3、前面说到了小运动这个假定，就需要解决目标速度很快的情况下的目标跟踪。幸运的是多尺度能解决这个问题。首先，对每一帧建立一个高斯金字塔，最大尺度图片在最顶层，原始图片在底层。然后，从顶层开始估计下一帧所在位置，作为下一层的初始位置，沿着金字塔向下搜索，重复估计动作，直到到达金字塔的底层。这样搜索不仅可以解决大运动目标跟踪，也可以一定程度上解决孔径问题(相同大小的窗口能覆盖大尺度图片上尽量多的角点，而这些角点无法在原始图片上被覆盖)。

步骤903，根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；

步骤904，若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息。

参考图10，图10是本发明实施例提供的一种提醒用户驾驶方式的装置的功能模块示意图。

如图10所示，所述提醒用户驾驶方式的装置包括：

测距模块1001，用于使用两个平行摄像头进行双目测距；

第一获取模块1002，用于实时获取双目测距的图像；

第二获取模块1003，用于根据所述图像获取驾驶用户的信息和/或周围环境信息；其中，所述驾驶用户的信息包括用户驾驶的疲劳状态，所述周围环境信息包括路上行人信息以及车距信息；

确定模块1004，用于根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；

发送模块1005，用于若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息。

优选地，所述第二获取模块1003，具体用于：

根据车辆的前后、左右方向的双摄像头拍摄的图像和预设计算车距算法获取车距信息；其中，所述预设计算车距算法包括根据双目图像的对极几何特点和双目系统的三角测量原理设置的算法。

优选地，所述第二获取模块1003，包括：

第一获取单元，用于根据预设算法和所述图像获取所述驾驶用户的身体状态；

第二获取单元，用于根据所述身体状态的变化情况获取所述驾驶用户的信息。

优选地，所述第一获取单元，具体用于：

通过Adaboost算法训练强分类器进行级联，并在底层特征中提取高效率的矩形特征；

通过提取的高效率的矩阵特征和积分图的方法建立haar分类器；

通过所述haar分类器检测所述驾驶用户的人脸，再将人脸图像二值化后进行水平投影定位至所述驾驶用户的预设身体部位，并获取所述预设身体部位的状态。

优选地，所述第二获取单元，具体用于：

若所述预设身体部位为眼睛，当眼睑上下距离持续5秒小于正常眼睑距离的预设阈值时，则获取到的所述驾驶用户的信息为疲劳驾驶。

优选地，所述第二获取模块1003，具体用于：

运用Lucas-kanade算法和所述图像的数据建立多个方程，使用最小二乘法计算稠密光流；

根据所述稠密光流获取周围环境中行人的行走方向。

本发明实施例提供一种提醒用户驾驶方式的装置，使用两个平行摄像头进行双目测距，实时获取双目测距的图像；根据所述图像获取驾驶用户的信息和/或周围环境信息；其中，所述驾驶用户的信息包括用户驾驶的疲劳状态，所述周围环境信息包括路上行人信息以及车距信息；根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息。

以上结合具体实施例描述了本发明实施例的技术原理。这些描述只是为了解释本发明实施例的原理，而不能以任何方式解释为对本发明实施例保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明实施例的其它具体实施方式，这些方式都将落入本发明实施例的保护范围之内。

Claims (10)

1.一种提醒用户驾驶方式的方法，其特征在于，所述方法包括：

使用两个平行摄像头进行双目测距，实时获取双目测距的图像；

根据所述图像获取驾驶用户的信息和/或周围环境信息；其中，所述驾驶用户的信息包括用户驾驶的疲劳状态，所述周围环境信息包括路上行人信息以及车距信息；

根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；

若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息；

所述根据所述图像获取周围环境信息，包括：

运用Lucas-kanade算法和所述图像的数据建立多个方程，使用最小二乘法计算稠密光流；

根据所述稠密光流获取周围环境中行人的行走方向。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像获取车距信息，包括：

根据车辆的前后、左右方向的双摄像头拍摄的图像和预设计算车距算法获取车距信息；其中，所述预设计算车距算法包括根据双目图像的对极几何特点和双目系统的三角测量原理设置的算法。

3.根据权利要求1所述的方法，其特征在于，所述根据所述图像获取驾驶用户的信息，包括：

根据预设算法和所述图像获取所述驾驶用户的身体状态；

根据所述身体状态的变化情况获取所述驾驶用户的信息。

4.根据权利要求3所述的方法，其特征在于，所述根据预设算法和所述图像获取所述驾驶用户的身体状态，包括：

通过Adaboost算法训练强分类器进行级联，并在底层特征中提取高效率的矩形特征；

通过提取的高效率的矩阵特征和积分图的方法建立haar分类器；

通过所述haar分类器检测所述驾驶用户的人脸，再将人脸图像二值化后进行水平投影定位至所述驾驶用户的预设身体部位，并获取所述预设身体部位的状态。

5.根据权利要求3所述的方法，其特征在于，所述根据所述身体状态的变化情况获取所述驾驶用户的信息，包括：

若所述预设身体部位为眼睛，当眼睑上下距离持续5秒小于正常眼睑距离的预设阈值时，则获取到的所述驾驶用户的信息为疲劳驾驶。

6.一种提醒用户驾驶方式的装置，其特征在于，所述装置包括：

测距模块，用于使用两个平行摄像头进行双目测距；

第一获取模块，用于实时获取双目测距的图像；

第二获取模块，用于根据所述图像获取驾驶用户的信息和/或周围环境信息；其中，所述驾驶用户的信息包括用户驾驶的疲劳状态，所述周围环境信息包括路上行人信息以及车距信息；

确定模块，用于根据所述驾驶用户的信息以及所述周围环境信息确定是否需要向所述驾驶用户发送提示信息，所述提示信息用于提示所述驾驶用户注意驾驶安全和/或调整驾驶方式；

发送模块，用于若根据所述驾驶用户的信息以及所述周围环境信息确定需要向所述驾驶用户发送提示信息，则向所述驾驶用户发送所述提示信息；

所述第二获取模块，具体用于：

运用Lucas-kanade算法和所述图像的数据建立多个方程，使用最小二乘法计算稠密光流；

根据所述稠密光流获取周围环境中行人的行走方向。

7.根据权利要求6所述的装置，其特征在于，所述第二获取模块，具体用于：

根据车辆的前后、左右方向的双摄像头拍摄的图像和预设计算车距算法获取车距信息；其中，所述预设计算车距算法包括根据双目图像的对极几何特点和双目系统的三角测量原理设置的算法。

8.根据权利要求6所述的装置，其特征在于，所述第二获取模块，包括：

第一获取单元，用于根据预设算法和所述图像获取所述驾驶用户的身体状态；

第二获取单元，用于根据所述身体状态的变化情况获取所述驾驶用户的信息。

9.根据权利要求8所述的装置，其特征在于，所述第一获取单元，具体用于：

通过Adaboost算法训练强分类器进行级联，并在底层特征中提取高效率的矩形特征；

通过提取的高效率的矩阵特征和积分图的方法建立haar分类器；

通过所述haar分类器检测所述驾驶用户的人脸，再将人脸图像二值化后进行水平投影定位至所述驾驶用户的预设身体部位，并获取所述预设身体部位的状态。

10.根据权利要求8所述的装置，其特征在于，所述第二获取单元，具体用于：

若所述预设身体部位为眼睛，当眼睑上下距离持续5秒小于正常眼睑距离的预设阈值时，则获取到的所述驾驶用户的信息为疲劳驾驶。