CN104573658B - 一种基于支持向量机的盲驾检测方法 - Google Patents

Abstract

本发明公开了一种基于支持向量机的盲驾检测方法，本发明采用视频图像识别技术，监控驾驶员脸部几何关系的畸变特征，基于SVM（支持向量机）分类器判断是否处于低头状态，依据驾驶员处于低头状态时间的长短实时判断是否存在盲驾行为，具有监控准确度高，漏检误检少，受环境影响小，速度快，成本低等特点。

Description

一种基于支持向量机的盲驾检测方法

技术领域

本发明涉及安全驾驶技术领域，特别是盲驾检测技术领域。

背景技术

随着汽车保有量的快速增长，人们在享受到交通的便利和快捷的同时，也伴随着各类交通事故的频发，造成巨大的人员和经济损失。造成交通事故的因素很多，其中驾驶员低头玩弄手机或手持终端造成的“盲驾”是一个重要的诱发原因，因为它不像饮酒驾驶或者接打电话驾驶那样被交通法规明令禁止，因此它也是人们普遍忽视的因素，然而，它造成的危害远远超过饮酒驾驶或者接打电话驾驶，具体体现在当驾驶员玩手机时，一般都需要低头或者俯视，视线严重偏离正前方，失去了对路面情况和周边环境的有效观察，一旦遇到紧急情况或突发情况，将会大大削弱驾驶员的应变能力，极易造成交通事故。当车速在65km/h时，低头看手机2秒，相当于盲开36米，一旦遇到紧急情况，刹车至少需20米，用智能手机打开并阅读一条微博需要12秒的话，相当于汽车盲开约216米。另外，玩手机驾驶易导致错过交通信号或看不到公告栏和其他标志等。

对于盲驾引起的交通事故，由于无法实时监控驾驶员的驾驶行为，一些客运和货运企业的监管部门只能以事后的推断作为划分责任的依据，无法进行事前的监控和预防。因此，实时监控驾驶员的盲驾行为，并及时反馈给运输企业监管部门，对于预防重大交通事故，有着重要的作用。

支持向量机(SVM)是一种有监督学习算法，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，该方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折中，以期获得最好的推广能力(或称泛化能力)。

发明内容

针对上述问题，本发明要解决的技术问题在于提供一种盲驾检测方法。

具体技术方案如下：

一种基于支持向量机的盲驾检测方法，包括以下步骤：

11)检测开始前，加载现有的人脸检测分类器文件和主动表观模型的脸部模型，并基于支持向量机原理训练驾驶员低头俯视的人脸分类器文件；

12)检测开始，实时采集驾驶员的头部图像，并变换成灰度图像；

13)基于步骤11)加载的人脸检测分类器文件以及步骤12)所得到的灰度图像，判断当前帧中人脸是否存在，如是，则基于步骤11)加载的主动表观模型的脸部模型，准确定位驾驶员的脸部轮廓特征点；如否，则直接进入步骤14)；

14)如人脸不存在，则基于人脸消失的时间特征判断驾驶员是否处于盲驾状态；如人脸存在，则基于步骤11)训练得到的驾驶员低头俯视的人脸分类器文件以及步骤13)得到的驾驶员的脸部轮廓特征点，判断驾驶员是否长时间处于低头状态，如果是，则判断驾驶员处于盲驾状态；

15)当驾驶员处于盲驾状态时，向驾驶员发出警报或向远程监控的服务器发送驾驶员处于盲驾状态时的实时视频。

进一步，所述步骤12)按照公式[1]，变换成灰度图像；

f(x,y)＝0.299r(x,y)+0.587g(x,y)+0.114b(x,y) [1]

其中，是变换图像中像素(x,y)处的灰度值，r(x,y)、g(x,y)、b(x,y)是原图中像f(x,y)素(x,y)处的红、绿、蓝三通道的值。

进一步，所述步骤13)包括以下步骤：

31)获取人脸检测的有效区域，如上一帧没有得到正确的人脸位置，则人脸检测的有效区域为全图区域；如上一帧存在正确的人脸位置，则有效区域为在原有人脸矩形区域的基础上，向左右各扩展半个人脸的矩形宽度，向上下各扩展半个人脸的矩形高度，形成的人脸检测的有效区域；

32)基于adaboost分类器，进行人脸检测；

33)判断人脸是否存在，如果是，清空时间戳列表，进入步骤34)，如果否，把当前帧时间戳放入时间戳列表，进入步骤14)；

34)基于人脸的“三庭五眼”的布局规律，按照公式[2]、公式[3]，分别获取左、右眼睛的位置区域rect_left、rect_right，按照公式[4]获取嘴巴的位置区域rect_mouth；

其中，rect_face是图像中的人脸位置区域；

35)获取眼睛特征点，即找出左、右眼睛的内眼角点；

36)获取嘴巴特征点，即找出嘴角点；

37)初始化主动表观模型参数，具体做法为，以左、右内眼角点和嘴角点为基础，把主动表观模型的平均脸模型放在当前人脸位置，通过缩放平移旋转等运算操作，使得主动表观模型的左、右内眼角点、嘴角点与当前帧的相关特征点完全重合；

38)获取人脸的最优轮廓特征点，具体方法为，通过多次迭代优化运算，获取主动表观模型的最优位置，此时主动表观模型上的特征点位置就是当前帧的最优人脸轮廓特征点位置。

进一步，所述步骤35)具体包括以下步骤：

41)获取左眼睛的内角点，先进行图像模糊处理，采用滤波模板式[5]进行中值滤波；

42)基于改进的Laplace算子模板式[6]，获取眼睛的边缘特征，基于最大类间距算法进行二值化处理；

43)获取眼睛连通区域，具体做法为，先进行形态学闭运算，把相邻的边缘连接起来形成连通区域，然后去除面积较小的连通区域，选择最大面积的连通区域作为眼睛的候选连通区域，最后判断在候选连通区域的相近高度上是否存在其他的连通区域，如果是，则合并到候选连通区域内，形成最后的眼睛连通区域；

44)获取连通区域的最右侧前景目标点，作为左眼睛的内角点位置；

45)获取右眼角的内角点，参照步骤351)-353)进行，获取连通区域最左侧的前景目标点，作为右眼睛的内角点位置。

进一步，所述步骤36)具体包括以下步骤：

51)参照步骤351)和352)，获取嘴巴的边缘特征；

52)获取嘴巴的连通区域，具体方法为，先进行形态学闭运算，把相邻的边缘连接起来形成连通区域，选择最大面积的连通区域作为嘴巴连通区域；

53)获取连通区域的最左侧和最右侧前景目标点，作为嘴巴的嘴角点。

进一步，所述步骤14)包括以下步骤：

61)判断当前帧中驾驶员人脸是否处于消失状态，具体方法为，依据时间戳列表中人脸消失的时间戳个数，如果时间戳个数大于0，则进入步骤62)；否，则进入步骤63)；

62)按照公式[7]，基于人脸消失的时间特征判断驾驶员是否处于盲驾状态，

其中，exist＝1说明驾驶员处于盲驾状态，timestamp_begin是时间戳列表中人脸消失开始的时间戳，timestamp_end是时间戳列表中人脸消失结尾的时间戳，T_n是时间戳间隔阈值，表示驾驶员人脸严重偏离正前方的时间持续多久算是处于盲驾状态；

63)判断当前帧中驾驶员是否处于低头状态；

64)在单位时间T内，按照公式[9]，统计驾驶员处于低头状态的帧数，按照公式[10]，判断驾驶员是否处盲驾状态，

其中，exist＝1表示驾驶员处于盲驾状态，N是单位时间内的总帧数，N_R是单位时间内处于低头状态的帧数，r[i]＝1表示驾驶员在第i帧是处于低头状态。

进一步，所述步骤63)包括以下步骤：

71)选择关键特征点，在脸部轮廓特征点中，选择2个眉毛中心特征点，2个内眼角特征点，2个颧骨特征点，2个下颚特征点，1个鼻子特征点，2个嘴角特征点，1个下巴特征点；

72)对于每一个关键特征点，按照公式[8]，计算剩下特征点和它之间的距离dis(i,j)，按顺序放入向量v[i]中，并进行归一化处理；

其中，point[i]是第i个关键特征点，point[j]是剩余的特征点；

73)获取当前帧中，头部状态特征向量v，具体方法为，串联每一个关键特征点向量；

74)把头部状态特征向量送入驾驶员低头俯视的人脸分类器文件，预测驾驶员是否处于低头状态，于列表中记录驾驶员处于低头状态的帧数。

本发明的有益效果在于：本发明采用视频图像识别技术，监控驾驶员脸部几何关系的畸变特征，基于SVM(支持向量分类机)分类器判断是否处于低头状态，依据驾驶员处于低头状态时间的长短实时判断是否存在盲驾行为，具有监控准确度高，漏检误检少，受环境影响小，速度快，成本低等特点。

附图说明

图1本发明系统方法的逻辑流程图；

图2检测模块工作流程图；

图3判断模块工作流程图；

图4脸部轮廓特征点定位效果图；

图5基于主动表观模型算法的人脸最优轮廓特征点效果图；

图6人脸关键特征点效果图；

图7关键特征点向量计算示意图。

具体实施方式

为了更加清晰地理解本发明的技术方案，以下将结合附图和实施例对本发明作进一步的说明。

参照图1所示，基于整个盲驾检测系统对本实施例的方法进行说明，该系统包含初始化模块、采集模块、检测模块、判断模块、语音通信模块，具体实施步骤如下：

S1、执行初始化模块；

初始化模块的功能是，系统启动时，加载必需的分类器学习文件，主要步骤如下：

S11、加载已有的人脸检测分类器文件；

S12、加载AAM(主动表观模型)的脸部模型；

S13、加载驾驶员低头俯视的人脸分类器文件，其具体训练过程是收集盲驾时低头俯视的人脸图像作为正样本，正常驾驶时向前看的人脸图像作为负样本，基于svm理论训练驾驶员低头俯视的人脸分类器文件。

S2、执行采集模块；

采集模块的功能是，实时采集驾驶员的驾驶状态图像，主要是驾驶员的头部图像，按照公式[1]，变换成灰度图像；

f(x,y)＝0.299r(x,y)+0.587g(x,y)+0.114b(x,y) [1]

其中，f(x,y)是变换图像中像素(x,y)处的灰度值，r(x,y)、g(x,y)、b(x,y)是原图中像素(x,y)处的红、绿、蓝三通道的值；

S3、执行检测模块；

检测模块的功能是，在图像中准确找到驾驶员的脸部轮廓特征点，首先获取脸部的关键点如内眼角点和嘴角点等，以此为基础，精确寻找剩下的特征点，为判断模块作准备，如图2所示，具体的步骤如下：

S31、获取人脸检测有效区域，具体做法是如果上一帧没有得到正确的人脸位置，则有效检测区域是全图区域，如果上一帧存在正确的人脸位置，则有效检测区域是在原有的人脸矩形区域基础上，向左右各扩展半个人脸矩形宽度，向上下各扩展半个人脸矩形高度，形成的区域；

S32、基于adaboost分类器，进行人脸检测；

S33、判断人脸是否存在，如果存在，清空时间戳列表，进入步骤S34，否则，把当前帧时间戳放入时间戳列表，进入步骤S4；

S34、基于人脸的“三庭五眼”布局规律，按照公式[2]、公式[3]，分别获取左、右眼睛的位置区域rect_left、rect_right，按照公式[4]获取嘴巴的位置区域rect_mouth；

其中，rect_face是图像中的人脸位置区域；

S35、获取眼睛特征点，主要是找出左、右眼睛的内眼角点，下面以左眼睛内角点定位为例叙述定位过程，右眼睛内角点定位过程与之类似，效果如图4，具体步骤如下：

S351、图像模糊处理，因为眼脸的边缘特征相对很明显，进行模糊处理，能够在保留眼脸边缘特征的情况下，去除部分细小边缘的影响，如皮肤毛孔和睫毛等，本发明采用滤波模板式[5]进行中值滤波；

S352、基于改进的Laplace算子模板式[6]，获取眼睛的边缘特征，基于最大类间距算法进行二值化处理；

S353、获取眼睛连通区域，具体方法是首先进行形态学闭运算，把相邻的边缘连接起来形成连通区域，然后去除面积较小的连通区域，选择最大面积的连通区域作为眼睛的候选连通区域，最后判断在候选连通区域的相近高度上是否存在其他的连通区域，如果存在，合并到候选连通区域内，形成最后的眼睛连通区域；

S354、获取连通区域的最右侧前景目标点，作为眼睛的内角点位置；

S36、获取嘴巴特征点，主要是找出嘴角点，效果如图4，具体步骤如下：

S361、类型步骤S351和S352，获取嘴巴的边缘特征；

S362、获取嘴巴连通区域，具体方法是首先进行形态学闭运算，把相邻的边缘连接起来形成连通区域，选择最大面积的连通区域作为嘴巴连通区域；

S363、获取连通区域的最左侧、最右侧前景目标点，作为嘴巴的嘴角点；

S37、初始化AAM模型参数，具体做法是以左、右内眼角点和嘴角点为基础，把AAM平均脸模型放在当前人脸位置，通过缩放平移旋转等运算操作，使得AAM模型的眼睛、嘴巴特征点和当前帧的相关特征点完全重合；

S38、获取人脸的最优轮廓特征点，具体方法是通过多次迭代优化运算，获取AAM模型的最优位置，此时模型上的特征点位置就是当前帧的最优人脸轮廓特征点位置，效果如图5，更加具体的实现可以参看AAM文献：Active Appearance Models，T.Cootes，G.Edwards，C.Taylor，5th European Conference on Computer Vision，Vol.2，pp.484-498，Springer，Freiburg，Germany，1998。

S4、执行判断模块；

判断模块的功能是，判断驾驶员是否长时间处于低头状态，如果是，说明驾驶员正在低头看东西，处于盲驾状态，如图3所示，具体步骤如下：

S41、判断当前帧中驾驶员人脸是否处于消失状态，具体方法是依据时间戳列表中的时间戳个数，如果时间戳个数大于0，说明驾驶员人脸处于消失状态，进入步骤S42，否则，进入步骤S43；

S42、按照公式[7]，基于人脸消失的时间特征判断驾驶员是否处于盲驾状态，同时退出当前模块；

其中，exist＝1说明驾驶员处于盲驾状态，timestamp_begin是时间戳列表中开始时间戳，timestamp_end是时间戳列表中结尾时间戳，T_n是时间戳间隔阈值，表示驾驶员人脸严重偏离正前方的时间持续多久算是处于盲驾状态，本实施例中，T_n＝2秒；

S43、判断当前帧中驾驶员是否处于低头状态，具体方法如下：

S431、选择关键特征点，如图6所示，在脸部轮廓特征点中，选择2个眉毛中心特征点，2个内眼角特征点，2个颧骨特征点，2个下颚特征点，1个鼻子特征点，2个嘴角特征点，1个下巴特征点；

S432、如图7所示，对于每一个关键特征点，按照公式[8]，计算剩下特征点和它之间的距离dis(i,j)，按顺序放入向量v[i]中，并进行归一化处理；

其中，point[i]是第i个关键特征点，point[j]是剩余的特征点；

S433、获取当前帧中，头部状态特征向量v，具体方法是串联每一个关键特征点向量；

S434、把头部状态特征向量送入SVM分类器，预测所属类别，把预测结果放入结果列表R中；

S44、基于预测结果判断驾驶员是否处盲驾状态，具体方法是在单位时间T内，按照公式[9]，统计驾驶员处于低头状态的帧数，按照公式[10]，判断驾驶员是否处盲驾状态，本实施例中，T的取值范围是1.5秒到3秒；

其中，exist＝1表示驾驶员处于盲驾状态，N是单位时间内的总帧数，N_R是单位时间内处于低头状态的帧数，r[i]＝1表示驾驶员在第i帧是处于低头状态；

S45、更新模块参数，依据当前帧的脸部轮廓特征点位置和盲驾状态判断情况，调整模块中的相关状态参数值。

S5、执行语音通讯模块；

语音通讯模块的功能是，当驾驶员处于盲驾状态时，该模块及时发出报警声，提醒驾驶员已处于盲驾状态，或者向远程服务器发送处于盲驾状态时的实时视频，此时运输企业监管部门可以通过该视频进行及时的处理，如果需要和驾驶员通话，还可以通过该模块接受远程命令。

以上所述，仅为本发明较佳的具体实施方式，但本发明保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此本发明保护范围以权利要求书的保护范围为准。

Claims (5)

1.一种基于支持向量机的盲驾检测方法，其特征在于，包括以下步骤：

11)检测开始前，加载现有的人脸检测分类器文件和主动表观模型的脸部模型，并基于支持向量机原理训练驾驶员低头俯视的人脸分类器文件；

12)检测开始，实时采集驾驶员的头部图像，并变换成灰度图像；

13)基于步骤11)加载的人脸检测分类器文件以及步骤12)所得到的灰度图像，判断当前帧中人脸是否存在，如是，则基于步骤11)加载的主动表观模型的脸部模型，准确定位驾驶员的脸部轮廓特征点；如否，则直接进入步骤14)；

14)如人脸不存在，则基于人脸消失的时间特征判断驾驶员是否处于盲驾状态；如人脸存在，则基于步骤11)训练得到的驾驶员低头俯视的人脸分类器文件以及步骤13)得到的驾驶员的脸部轮廓特征点，判断驾驶员是否长时间处于低头状态，如果是，则判断驾驶员处于盲驾状态；

15)当驾驶员处于盲驾状态时，向驾驶员发出警报或向远程监控的服务器发送驾驶员处于盲驾状态时的实时视频；

所述步骤13)包括以下步骤：

31)获取人脸检测的有效区域，如上一帧没有得到正确的人脸位置，则人脸检测的有效区域为全图区域；如上一帧存在正确的人脸位置，则有效区域为在原有人脸矩形区域的基础上，向左右各扩展半个人脸的矩形宽度，向上下各扩展半个人脸的矩形高度，形成的人脸检测的有效区域；

32)基于adaboost分类器，进行人脸检测；

33)判断人脸是否存在，如果是，清空时间戳列表，进入步骤34)，如果否，把当前帧时间戳放入时间戳列表，进入步骤14)；

34)基于人脸的“三庭五眼”的布局规律，按照公式[2]、公式[3]，分别获取左、右眼睛的位置区域rect_left、rect_right，按照公式[4]获取嘴巴的位置区域rect_mouth；

其中，rect_face是图像中的人脸位置区域；

35)获取眼睛特征点，即找出左、右眼睛的内眼角点；

36)获取嘴巴特征点，即找出嘴角点；

37)初始化主动表观模型参数，具体做法为，以左、右内眼角点和嘴角点为基础，把主动表观模型的平均脸模型放在当前人脸位置，通过缩放平移旋转等运算操作，使得主动表观模型的左、右内眼角点、嘴角点与当前帧的相关特征点完全重合；

38)获取人脸的最优轮廓特征点，具体方法为，通过多次迭代优化运算，获取主动表观模型的最优位置，此时主动表观模型上的特征点位置就是当前帧的最优人脸轮廓特征点位置；

所述步骤35)具体包括以下步骤：

41)获取左眼睛的内角点，先进行图像模糊处理，采用滤波模板式[5]进行中值滤波；

42)基于改进的Laplace算子模板式[6]，获取眼睛的边缘特征，基于最大类间距算法进行二值化处理；

43)获取眼睛连通区域，具体做法为，先进行形态学闭运算，把相邻的边缘连接起来形成连通区域，然后去除面积较小的连通区域，选择最大面积的连通区域作为眼睛的候选连通区域，最后判断在候选连通区域的相近高度上是否存在其他的连通区域，如果是，则合并到候选连通区域内，形成最后的眼睛连通区域；

44)获取连通区域的最右侧前景目标点，作为左眼睛的内角点位置；

45)获取右眼角的内角点，参照步骤41)-43)进行，获取连通区域最左侧的前景目标点，作为右眼睛的内角点位置。

2.根据权利要求1所述的一种基于支持向量机的盲驾检测方法，其特征在于，所述步骤12)按照公式[1]，变换成灰度图像；

f(x,y)＝0.299r(x,y)+0.587g(x,y)+0.114b(x,y) [1]

其中，是变换图像中像素(x,y)处的灰度值，r(x,y)、g(x,y)、b(x,y)是原图中像f(x,y)素(x,y)处的红、绿、蓝三通道的值。

3.根据权利要求1所述的一种基于支持向量机的盲驾检测方法，其特征在于，所述步骤36)具体包括以下步骤：

51)参照步骤41)和42)，获取嘴巴的边缘特征；

52)获取嘴巴的连通区域，具体方法为，先进行形态学闭运算，把相邻的边缘连接起来形成连通区域，选择最大面积的连通区域作为嘴巴连通区域；

53)获取连通区域的最左侧和最右侧前景目标点，作为嘴巴的嘴角点。

4.根据权利要求1所述的一种基于支持向量机的盲驾检测方法，其特征在于，所述步骤14)包括以下步骤：

61)判断当前帧中驾驶员人脸是否处于消失状态，具体方法为，依据时间戳列表中人脸消失的时间戳个数，如果时间戳个数大于0，则进入步骤62)；否，则进入步骤63)；

62)按照公式[7]，基于人脸消失的时间特征判断驾驶员是否处于盲驾状态，

其中，exist＝1说明驾驶员处于盲驾状态，timestamp_begin是时间戳列表中人脸消失开始的时间戳，timestamp_end是时间戳列表中人脸消失结尾的时间戳，T_n是时间戳间隔阈值，表示驾驶员人脸严重偏离正前方的时间持续多久算是处于盲驾状态；

63)判断当前帧中驾驶员是否处于低头状态；

64)在单位时间T内，按照公式[9]，统计驾驶员处于低头状态的帧数，按照公式[10]，判断驾驶员是否处盲驾状态，

其中，exist＝1表示驾驶员处于盲驾状态，N是单位时间内的总帧数，N_R是单位时间内处于低头状态的帧数，r[i]＝1表示驾驶员在第i帧是处于低头状态。

5.根据权利要求4所述的一种基于支持向量机的盲驾检测方法，其特征在于，所述步骤63)包括以下步骤：

71)选择关键特征点，在脸部轮廓特征点中，选择2个眉毛中心特征点，2个内眼角特征点，2个颧骨特征点，2个下颚特征点，1个鼻子特征点，2个嘴角特征点，1个下巴特征点；

72)对于每一个关键特征点，按照公式[8]，计算剩下特征点和它之间的距离dis(i,j)，按顺序放入向量v[i]中，并进行归一化处理；

其中，point[i]是第i个关键特征点，point[j]是剩余的特征点；

73)获取当前帧中，头部状态特征向量v，具体方法为，串联每一个关键特征点向量；

74)把头部状态特征向量送入驾驶员低头俯视的人脸分类器文件，预测驾驶员是否处于低头状态，于列表中记录驾驶员处于低头状态的帧数。