CN108596064A - 基于多信息融合的驾驶人低头操作手机行为检测方法 - Google Patents

Abstract

本发明属于驾驶辅助安全技术领域，公开了一种基于多信息融合的驾驶人低头操作手机行为检测方法，通过检测驾驶人手部图像里的手机、操作手机行为和头部低头动作来综合判断驾驶人在开车过程中是否存在低头操作手机行为，能够对驾驶人行车过程中低头操作手机行为进行准确的检测，具有检测准确度高、鲁棒性强的优点，且能有效减少因驾驶人行车中低头操作手机而造成的交通事故，从而提高了汽车行驶安全性。

Description

基于多信息融合的驾驶人低头操作手机行为检测方法

技术领域

本发明属于驾驶辅助安全技术领域，尤其涉及一种基于多信息融合的驾驶人低头操作手机行为检测方法。

背景技术

近年来，随着“互联网+”时代的到来，手机在人们日常生活中扮演的角色越来越重要，而驾驶人在驾驶过程中使用手机(接打电话、发短信、玩微信、刷微博等)也越来越频繁，成为了一种新型危险驾驶行为，该行为可导致驾驶人负荷增加、注意力分散和车辆操作水平下降等后果，已经迅速成为当今交通事故发生的主要原因之一。

各国只是针对驾驶人接打电话行为制定了相应的法律制度；但并没有法律制度明确禁止驾驶人驾驶过程中发短信、玩微信、刷微博等低头操作手机行为，而随着QQ、微信、微博等社交软件的流行以及驾驶人安全意识淡薄，驾驶人开车过程中低头操作手机行为也是极其普遍，低头操作手机行为由于视线偏离前方道路，其危险性甚至高于接打电话行为。因此，对驾驶人行车中低头操作手机行为进行有效地检测预警已经迫在眉睫，对提高汽车主动安全和道路交通安全具有重要的现实意义。

目前，国内外对驾驶人行车中使用手机的行为和危害研究较多，对驾驶人接打电话行为检测方法也有一些研究，但目前尚未发现对驾驶人行车中低头操作手机行为检测方法的研究。

发明内容

针对上述问题，本发明的目的在于提供一种基于多信息融合的驾驶人低头操作手机行为检测方法，通过检测驾驶人手部图像里的手机、操作手机行为和头部低头行为来综合判断驾驶人在行车中是否存在低头操作手机行为，有效减少驾驶人行车中低头操作手机的行为，以防止驾驶人因低头操作手机行为而造成的交通安全事故，提高汽车驾驶安全性。

为达到上述目的，本发明采用如下技术方案予以实现。

一种基于多信息融合的驾驶人低头操作手机行为检测方法，所述方法包括如下步骤：

步骤1，获取方向盘周围预设区域内的驾驶人手部图像，以及获取头部预设区域内的驾驶人人脸图像；并对所述驾驶人手部图像和所述驾驶人人脸图像分别进行双边滤波和直方图均衡化处理，得到预处理后的手部图像和预处理后的人脸图像；

步骤2，根据所述预处理后的人脸图像，获取驾驶人脸部区域，从而确定由驾驶人的左右眼睛和嘴巴的中心点组成的人脸三角形；

步骤3，根据所述预处理后的手部图像，获取所述手部图像的HOG特征，并根据所述预处理后的手部图像检测手机线条轮廓，得到手机线条轮廓检测结果；

步骤4，根据所述手机线条轮廓检测结果判断所述预处理后的手部图像中是否存在手机；根据所述手部图像的HOG特征判断驾驶人是否存在操作手机行为；并设定驾驶人正常驾驶时对应的正常人脸三角形，将所述步骤2中得到的人脸三角形与所述正常人脸三角形进行比较，判断驾驶人头部是否存在低头行为；

步骤5，当所述预处理后的手部头像中存在手机，且驾驶人存在操作手机行为，且驾驶人头部存在低头行为，则确定驾驶人处于低头操作手机状态；否则确定驾驶人处于正常驾驶状态。

本发明技术方案的特点和进一步的改进为：

(1)所述步骤3中，根据所述预处理后的手部图像，获取所述手部图像的HOG特征，具体包括：

(3a)将所述预处理后的手部图像的RGB颜色空间转换为YCgCr颜色空间，根据肤色在YCgCr颜色空间和CgCr子空间的聚类特性，得到椭圆肤色模型；

(3b)根据所述椭圆肤色模型对预处理后的手部图像中的肤色进行检测，得到驾驶人手部肤色区域的二值化图像；

(3c)获取所述驾驶人手部肤色区域的二值化图像的HOG特征。

(2)所述步骤3中，根据所述预处理后的手部图像检测手机线条轮廓，得到手机线条轮廓检测结果，具体包括：

获取训练好的手机轮廓模板，采用所述训练好的手机轮廓模板和粗精结合的匹配算法，在所述预处理后的手部图像中检测手机线条轮廓。

(3)所述步骤4中，根据所述手部图像的HOG特征判断驾驶人是否存在操作手机行为，具体包括：

(4a)预先获取训练样本，所述训练样本包括由驾驶人正常驾驶时的手部图像组成的正样本和由驾驶人操作手机时的手部图像组成的负样本，并分别提取所述训练样本的HOG特征，利用所述训练样本的HOG特征对SVM分类器进行训练，得到训练好的SVM分类器；

(4b)将所述手部图像的HOG特征输入所述训练好的SVM分类器，得到所述手部图像的分类结果，所述手部图像的分类结果为驾驶人正常驾驶时的手部图像或者驾驶人操作手机时的手部图像。

(4)所述子步骤(3a)具体为：

将所述预处理后的手部图像的RGB颜色空间转换为YCgCr颜色空间，其转换公式为：

根据肤色在YCgCr颜色空间和CgCr子空间的聚类特性，得到椭圆肤色模型为：

其中，x和y分别为像素点转换成Cg和Cr的两个坐标值，a₀和b₀分别为椭圆方程的长短轴，ec_x和ec_y分别为椭圆中心的横纵坐标点，θ为椭圆的倾斜弧度，c_b0和c_r0为椭圆在CgCr平面上的圆心，Cg和Cr分别为绿色色度分量和红色色度分量。

(5)所述子步骤(3b)具体为：

根据所述椭圆肤色模型对预处理后的手部图像中的肤色进行检测，对于所述预处理后的手部图像中的每个像素点(x，y)，如果满足方程时，即认为该像素点为肤色，从而得到驾驶人手部肤色区域的二值化图像。

本发明提供的一种基于多信息融合的驾驶人低头操作手机行为检测方法，通过检测驾驶人手部图像里的手机、操作手机行为和头部低头动作来综合判断驾驶人在开车过程中是否存在低头操作手机行为，能够对驾驶人行车过程中低头操作手机行为进行准确的检测，具有检测准确度高、鲁棒性强的优点，且能有效减少因驾驶人行车中低头操作手机而造成的交通事故，从而提高了汽车行驶安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于多信息融合的驾驶人低头操作手机行为检测方法的流程示意图；

图2为本发明实施例提供的驾驶人正常驾驶和低头时人脸特征三角形变化原理示意图；

图3为本发明实施例提供的驾驶人低头操作手机行为判断流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一种基于多信息融合的驾驶人低头操作手机行为检测方法流程图如图1所示。包括步骤为S1-S5，具体步骤为：

S1，利用固定安装在驾驶人头顶正上方的摄像头实时采集方向盘附近区域手部图像；同时，通过安装在驾驶室仪表盘上的摄像头实时采集驾驶人脸部图像；具体内容为：

对采集的驾驶人手部图像和脸部图像进行预处理：对驾驶人手部图像和脸部图像进行双边滤波和直方图均衡化处理，以去除图像中的噪声，使图像质量更高、更清晰，提高图像有效信息的可识别性。

S2，对采集的驾驶人手部图像和脸部图像进行检测，获取脸部区域，再根据人脸五官结构特征确定眼睛和嘴部ROI区域(region of interest，感兴趣区域)；

进一步地，所述步骤S2，具体包括如下步骤：

S21，对采集的驾驶人手部图像进行检测的具体步骤为：

S211，将驾驶人手部图像的RGB颜色空间转换为YCgCr颜色空间，肤色像素在YCgCr颜色空间和CgCr子空间的聚类性好，RGB颜色空间转换为YCgCr颜色空间，具体转换公式为：

S212，完成步骤S211中的颜色空间转换后，亮度对肤色聚类性的影响较小，根据肤色在YCgCr颜色空间和CgCr子空间的聚类特性，肤色在色彩空间CgCr平面上的分布形状近似于一个椭圆，则椭圆肤色模型可以用以下公式表示：

其中，x和y分别为像素点转换成Cg和Cr的两个坐标值，a₀和b₀分别为椭圆方程的长短轴，ec_x和ec_y分别为椭圆中心的横纵坐标点，θ为椭圆的倾斜弧度，c_b0和c_r0为椭圆在CgCr平面上的圆心，Cg和Cr分别为绿色色度分量和红色色度分量，其值通过统计肤色点在CgCr平面上统计得到，c_b0＝109，c_b0＝152，θ＝2.5，ec_x＝1.6，ec_y＝2.4，a₀＝26.4，b₀＝14。

S213，利用步骤S212中建立的椭圆肤色模型对驾驶人手部肤色进行检测，对于驾驶人手部图像中的每个像素点，如果满足方程时，即认为该像素点为肤色，从而得到手部肤色区域。对检测出的手部肤色区域的二值化图像采用数学形态学进行处理，即用开运算(对原图像先腐蚀后膨胀)对手部肤色图像进行处理，筛选出驾驶人手部肤色区域，具体开运算为：其中A代表原图像，B代表核元素，E代表A经过开运算后的效果图。

需要补充的是，当光照十分强烈时，采用椭圆肤色模型进行肤色分割会漏检大量手部肤色像素，当手部肤色分割率不在阈值范围6％-10％(根据大量实验所得)之内时，采用OTSU(最大类间方差法)自适应阈值分割算法再次进行肤色分割，获得最终的手部肤色区域。

手部肤色分割率表示给定区域中肤色像素点数目占区域中总像素数目的百分比，具体公式为：

其中，S为肤色分割率，A为图像总像素数，A_skin为肤色像素点数。

OTSU自适应阈值分割算法基本原理为：

设图像像素点总数为N，灰度值变化范围为[0，L-1]，且灰度级为i的像素点数有个n_i，则灰度级i概率为p_i：

p_i＝n_i/N

其中，

用阈值T将图像的像素点灰度值分成C0和C1两类，灰度值在[0，T]范围内的像素点集合用C0表示，在[T+1，L-1]范围内的像素点的集合用C1表示，则整幅图像的灰度均值为下式：

则C0和C1的均值分别为：

其中：

可以得到：

u＝w₀u₀+w₁u₁

类间方差为：

让T依次在[0，L-1]范围取值，使得类间方差达到最大的T值就是OTSU方法选取的最佳阈值。

S22，对采集的驾驶人脸部图像进行检测，获取驾驶人脸部区域、眼睛和嘴部ROI区域的具体步骤为：

S221，采用基于haar-like矩形特征的Adaboost算法获得Adaboost强分类器，对驾驶人脸部图像进行检测，获得人脸区域；基于Haar矩形特征是由图像的边缘特征、线性特征和特定方向特征组成，将图像上两个以上(包括两个)大小相同矩形内部的所有像素点的灰度值的差值作为每个特征模板的特征值，Haar矩形特征的特征值采用积分图的方法可以提高了计算速度；获得Adaboost强分类器的步骤如下：

(1)S＝{(x_i，y_i)|i＝1，2，...，n}为样本训练集，(x₁，y₁)，(x₂，y₂)，...，(x_n，y_n)为训练样本，其中y_i＝1表示样本为正样本(人脸)，y_i＝-1表示为负样本(非人脸)，n为训练样本的个数；

(2)n个样本的权值(w_1i＝D₁(i))初始化，w_ti＝D_t(i)表示在第t轮迭代中赋给样本(x_i，y_i)的权值；

(3)t＝1...T，T为训练次数

首先，归一化权值

然后，对于每一个特征j训练出一个相应的弱分类器h_j(x)→{-1，1}；

再计算该弱分类器的加权错误率将本轮的最佳的弱分类器h_j(x)(即拥有最小错误率(minξ_j))添加到最终强分类器中；

最后，根据本轮选中的弱分类器分类结果更新下一轮样本权值：

其中

(4)最终的强分类器为：

S222，再根据人脸五官结构特征确定眼睛和嘴部ROI区域，具体内容为：在步骤S221中获得驾驶人脸区域的基础上，再根据人脸五官结构特征的“三庭五眼”原则，人脸长度是由发际到眉毛、眉毛到鼻尖、鼻尖到下巴的距离组成，人脸宽度是由五个眼睛宽度组成，通过人脸中间1/3处和各占1/5的左右两个眼睛的宽度可以确定眼睛ROI区域，人脸下1/3处可以确定嘴部ROI区域。

S3，根据手部图像特征的数据信息，提取手部图像的HOG特征和手机线条轮廓特征；同时对驾驶人眼睛和嘴部ROI区域进行分割、投影等处理，定位出驾驶人左、右眼睛和嘴部的中心点，再将三个中心点构成一个人脸三角形；具体步骤为：

S31，对步骤S21中获得的手部二值化图像进行HOG特征提取，具体步骤为：

S311，采用Gamma压缩处理来对获得的手部区域二值化图像进行处理，Gamma压缩处理具体公式为：I(x，y)＝I(x，y)^gamma。

S312，计算手部图像的梯度，具体内容为：先用模板分别从水平和竖直两个方向上对手部图像进行卷积运算，常用一维中心对称模板对手部图像进行卷积后，需要对每个像素点都分别计算一次梯度幅值和梯度方向值。图像中像素点(x，y)的梯度、梯度幅值和梯度方向分别为：

其中，G_x(x，y)，G_y(x，y)，H(x，y)，G(x，y)，分别为输入图像中像素点(x，y)处水平方向梯度、垂直方向梯度、像素值、梯度幅值和梯度方向。

S313，计算每个细胞单元(cell)梯度直方图，具体内容为：将手部图像分成一个个4*4大小的细胞单元cells，统计cell中每个像素点的梯度方向，为该方向上的直方图通道进行加权投票，前人研究表明梯度方向在角度为[0，180]，且直方图的通道为9bin时，检测效果最好，再对cell内每个像素用梯度方向在直方图中进行加权投影，就可以得到该cell的梯度方向直方图了，即为cell对应的9维特征向量。

S314，对每一个block进行归一化处理；为了减少噪声的影响，需要对局部细胞单元进行归一化处理，即将几个相邻的cell组合形成block块，采用矩形区间进行划分，划分出的block与block之间是会相互重叠的，再对每一个重叠的block采用归一化函数L2-norm进行归一化处理，具体归一化函数为：

其中v是标准化前的特征向量，||v||₂表示v的二范数，ε为一个很小的常数，目的是为了保证分母不为零。

S315，最后把所有block内的特征向量合并组合，即获得正常驾驶行为和操作手机行为的手部图像HOG特征。

S32，根据手部图像特征的数据信息，采用模板匹配方法来检测手机线条轮廓特征，再通过粗精结合方法对匹配点位置区域进行检测，具体为：通过使用训练好的手机轮廓模板和粗精结合的匹配算法对手部图像进行匹配，可提取出手部图像中手机线条轮廓特征。

粗精结合的算法内容为：对每3个像素点匹配一次，当匹配率大于70％时，即为匹配区域，再进一步对此区域周围进行检测得到最优匹配点。大约搜集2000张驾驶人开车过程中操作手机的图片，把驾驶人操作手机的线条轮廓形状特征进行拟合，再对模板进行训练，得到训练好的手机线条轮廓模板。

S33，对驾驶人眼睛和嘴部ROI区域进行分割、投影等处理，定位出驾驶人左、右眼睛和嘴部的中心点，再将三个中心点构成一个人脸三角形；具体步骤为：

S331，对步骤S22中获得的驾驶人眼睛和嘴部ROI区域灰度图像进行二值化和阈值分割，可获得眼睛和嘴部ROI区域的二值化图像，阈值分割的公式为：

其中，f(i，j)为输入图像(眼睛ROI区域和嘴部ROI区域)的灰度值，g(i，j)为输出的二值化图像，T为分割阈值。

分割阈值T的确定对眼睛和嘴部ROI区域分割的效果是至关重要的，本发明采用步骤S214中的OTSU(最大类间方差法)自适应阈值分割算法来对眼睛和嘴部ROI区域进行分割得到准确的二值化图像。

S332，对步骤S331中的眼睛和嘴部ROI二值化图像采用步骤S213中的开运算方法进行处理，可以去除眼睛和嘴部ROI二值化图像中的毛刺、噪声等，获得更加准确的眼睛和嘴部ROI区域二值化图像。

S333，根据眼睛ROI区域二值化图像的灰度特征，对眼睛ROI区域内像素的灰度进行水平积分投影，可以确定眼睛中心点的垂直位置坐标；再对眼睛ROI区域进行垂直积分投影，可以确定眼睛中心点的水平位置坐标，通过垂直位置坐标和水平位置坐标可以准确确定左右眼睛中心点位置坐标。

水平积分投影函数为：

垂直积分投影函数为：

其中，I(x，y)表示像素(x，y)处的灰度值，H(y)表示I(x，y)在区间[x₁，x₂]上的水平积分投影，v(x)表示I(x，y)在区间[y₁，y₂]上的垂直积分投影。

同理，根据嘴部ROI区域二值化图像的灰度特征，对嘴部ROI区域内的像素的灰度进行水平和垂直积分投影可准备确定嘴部的中心点位置坐标。

S334，将步骤S333中确定的左右眼睛中心点和嘴部中心点连接可构成一个驾驶人脸三角形。

S4：判断驾驶人手部图像里是否存在手机；并利用SVM分类器对手部图像进行分类，判断驾驶人手部图像是否处于操作手机行为；将确定的人脸三角形与预先设定的人脸三角形比较，判断驾驶人头部是否处于低头行为，具体包括以下步骤：

S41，通过步骤S3中手机线条轮廓特征的检测结果可以判断驾驶人手部图像里是否存在手机；

S42，利用SVM分类器对手部图像进行分类，以此来判断驾驶人是否存在操作手机行为。具体内容为：

预先获取驾驶人手部训练样本图像(正样本为正常驾驶手部，负样本为操作手机手部)HOG特征向量，根据训练样本图像HOG特征向量对SVM分类器进行训练，得到训练好的SVM分类器。其中SVM分类器的基本原理是：

SVM是一种监督式学习方法，在解决小样本、非线性及高维模式识别中表现出许多特有的优势。其对于线性可分的样本，可以在特征向量空间中寻找一个可以将两类尽可能好的分开的最优分割超平面，使得分类器得到全局最优化；对于非线性的样本，使用核函数，将输入的特征向量从低维空间映射到高维空间构造最优超平面，使其线性可分。从而使得分类器可以在高维特征空间采用线性算法对样本的非线性特征进行线性分析。

1)线性问题

假设最优超平面H的方程为wx+b＝0，其中x是超平面上的点，w是垂直于超平面的向量，用矩形和圆形代表两类样本，设训练样本集{(x_i，y_i)，i＝1，2，...，n}是线性可分的，其中x_i是训练样本的特征输入，y_i＝{1，-1}分别表示正负样本，H₁和H₂过各类样本中离H最近的样本点，且平行于H，则分类间隔为H₁与H₂之间的距离2/w||。

为了让分类间隔最大，就是让||w||最小，求解最优超平面问题就转化成了求解最小化函数φ(w)问题。具体公式如下：

由上式可知，函数φ(w)是二次的，这里引入拉格朗日函数：

其中，α_i＞0是拉格朗日系数，以上问题就转化为计算^L的最小值。

使上式中w，α_i和b的偏微分为0，并引入Karush-Kuhn-Tucher(KKT)条件来解决上述对偶问题，即等价于求解α_i泛函的max：

其中约束条件为：对于i＝1，2，...l解得α^*＝(α₁，...，α_l)^T

解得：

以上是线性可分的理想状态，但是大多数情况图像数据会存在噪声点，使得线性可分变得难分，此时需要引入松弛变量ξ_i＞0，并在原最小化函数φ(w)后增加一项，则为：

其中，C是一个预先设定的常数参数(惩罚因子)，控制着复杂度与误差的折中，其值越小误差越大。

2)非线性问题

驾驶人手部特征就是一个非线性问题，采用高斯(径向基)核函数将映射到高维空间的特征向量变得线性可分，其中，参数d控制着支持向量的个数，其值越小精度越低。

3)选择SVM参数

以上可知，高斯核函数中的参数d和惩罚因子C是SVM分类器中非常重要的两项参数，如何求取两项参数的最佳组合显得十分重要，这里采用Matlab中“libsvm”工具箱对参数进行优选，其“grid.py”工具采用网格搜索法进行寻优，最后将寻优计算结果C＝8，作为SVM分类器两项参数的最佳组合。

S43，将步骤S31中得到的手部图像的HOG特征向量输入训练好的SVM分类器进行分类，得到驾驶人行车过程中“正常驾驶行为”和“操作手机行为”的分类结果。

S44，将确定的人脸三角形与预先设定的人脸三角形比较，判断驾驶人头部是否处于低头行为，驾驶人正常驾驶和低头时人脸特征三角形变化原理图如图2所示。具体步骤为：

S441，当驾驶人正常驾驶时，即驾驶人脸部正视正前方，驾驶人脸左右眼睛和嘴部中心特征点构成一个等腰三角形ABC(如图2左一所示)，AB的长为l，高CH为h，将此人脸三角形作为预先设定的正脸三角形；当驾驶人低头操作手机时，人脸三角形ABC也会发生一定的变化，其在摄像头成像平面上的投影为三角形A₁B₁C₁，高CH的投影为C₁H₁＝h₁，A₁B₁的长为l₁。

S442，驾驶人低头行为判断流程图如图3所示，具体步骤为：

1)对采集的驾驶人正常驾驶时正脸图像，通过步骤S442之前的方法获取正脸特征三角形ABC并求出r＝l∶h的值；

2)假设驾驶人头部出现俯仰运动是绕x轴的，当驾驶人行车中头部出现俯仰动作，通过步骤S442之前的方法可以获取正脸三角形ABC在摄像头成像平面上的投影三角形A₁B₁C₁，并求出此时r₁＝l₁∶h₁；

3)若r₁＞r，则可判断驾驶人头部有俯仰动作(绕x轴旋转)；否则驾驶人头部没有俯仰动作；

4)若已判断驾驶人头部有绕x轴旋转的俯仰动作，再判断人脸中心点是否下移，若人脸中心点下移，则驾驶人头部处于低头行为；否则驾驶人头部处于抬头行为。

S5：当所述步骤S4的判断结果满足三个条件：驾驶人头部处于“低头行为”状态，手部图像处于“操作手机行为”且还“存在手机”；则判定驾驶人处于“操作手机行为”，否则，驾驶人处于“正常驾驶行为”。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于多信息融合的驾驶人低头操作手机行为检测方法，其特征在于，所述方法包括如下步骤：

步骤1，获取方向盘周围预设区域内的驾驶人手部图像，以及获取头部预设区域内的驾驶人人脸图像；并对所述驾驶人手部图像和所述驾驶人人脸图像分别进行双边滤波和直方图均衡化处理，得到预处理后的手部图像和预处理后的人脸图像；

步骤2，根据所述预处理后的人脸图像，获取驾驶人脸部区域，从而确定由驾驶人的左右眼睛和嘴巴的中心点组成的人脸三角形；

步骤3，根据所述预处理后的手部图像，获取所述手部图像的HOG特征，并根据所述预处理后的手部图像检测手机线条轮廓，得到手机线条轮廓检测结果；

步骤4，根据所述手机线条轮廓检测结果判断所述预处理后的手部图像中是否存在手机；根据所述手部图像的HOG特征判断驾驶人是否存在操作手机行为；并设定驾驶人正常驾驶时对应的正常人脸三角形，将所述步骤2中得到的人脸三角形与所述正常人脸三角形进行比较，判断驾驶人头部是否存在低头行为；

步骤5，当所述预处理后的手部头像中存在手机，且驾驶人存在操作手机行为，且驾驶人头部存在低头行为，则确定驾驶人处于低头操作手机状态；否则确定驾驶人处于正常驾驶状态。

2.根据权利要求1所述的一种基于多信息融合的驾驶人低头操作手机行为检测方法，其特征在于，所述步骤3中，根据所述预处理后的手部图像，获取所述手部图像的HOG特征，具体包括：

(3a)将所述预处理后的手部图像的RGB颜色空间转换为YCgCr颜色空间，根据肤色在YCgCr颜色空间和CgCr子空间的聚类特性，得到椭圆肤色模型；

(3b)根据所述椭圆肤色模型对预处理后的手部图像中的肤色进行检测，得到驾驶人手部肤色区域的二值化图像；

(3c)获取所述驾驶人手部肤色区域的二值化图像的HOG特征。

3.根据权利要求1所述的一种基于多信息融合的驾驶人低头操作手机行为检测方法，其特征在于，所述步骤3中，根据所述预处理后的手部图像检测手机线条轮廓，得到手机线条轮廓检测结果，具体包括：

获取训练好的手机轮廓模板，采用所述训练好的手机轮廓模板和粗精结合的匹配算法，在所述预处理后的手部图像中检测手机线条轮廓。

4.根据权利要求1所述的一种基于多信息融合的驾驶人低头操作手机行为检测方法，其特征在于，所述步骤4中，根据所述手部图像的HOG特征判断驾驶人是否存在操作手机行为，具体包括：

(4a)预先获取训练样本，所述训练样本包括由驾驶人正常驾驶时的手部图像组成的正样本和由驾驶人操作手机时的手部图像组成的负样本，并分别提取所述训练样本的HOG特征，利用所述训练样本的HOG特征对SVM分类器进行训练，得到训练好的SVM分类器；

(4b)将所述手部图像的HOG特征输入所述训练好的SVM分类器，得到所述手部图像的分类结果，所述手部图像的分类结果为驾驶人正常驾驶时的手部图像或者驾驶人操作手机时的手部图像。

5.根据权利要求2所述的一种基于多信息融合的驾驶人低头操作手机行为检测方法，其特征在于，所述子步骤(3a)具体为：

将所述预处理后的手部图像的RGB颜色空间转换为YCgCr颜色空间，其转换公式为：

根据肤色在YCgCr颜色空间和CgCr子空间的聚类特性，得到椭圆肤色模型为：

其中，x和y分别为像素点转换成Cg和Cr的两个坐标值，a₀和b₀分别为椭圆方程的长短轴，ec_x和ec_y分别为椭圆中心的横纵坐标点，θ为椭圆的倾斜弧度，c_b0和c_r0为椭圆在CgCr平面上的圆心，Cg和Cr分别为绿色色度分量和红色色度分量。

6.根据权利要求5所述的一种基于多信息融合的驾驶人低头操作手机行为检测方法，其特征在于，所述子步骤(3b)具体为：

根据所述椭圆肤色模型对预处理后的手部图像中的肤色进行检测，对于所述预处理后的手部图像中的每个像素点(x，y)，如果满足方程时，即认为该像素点为肤色，从而得到驾驶人手部肤色区域的二值化图像。