CN104156717A - 基于图像处理技术的驾驶员驾车打电话违章识别方法 - Google Patents

Abstract

本发明是一种基于图像处理技术的驾驶员驾车打电话违章识别的方法。本发明配合交通视频监控系统，先从采集到的视频图像中分割出驾驶员的位置，通过建立高斯肤色模型的方法对人体肤色进行分割，判断出人脸位置，然后建构BP神经网络对人体肤色块进行分类，进而判断驾驶员是否打电话的情况。

Description

基于图像处理技术的驾驶员驾车打电话违章识别方法

技术领域：

本发明涉及图像处理技术领域，具体的说是一种基于图像处理技术的驾驶员驾车打电话违章识别的方法。

背景技术：

驾驶员驾车时，违章打电话很容易引发交通事故。目前，国内外学者对驾驶员的驾驶行为检测主要有三大类方法：基于测量生理信号方法、基于传感器测量车辆参数的方法、基于计算机视觉检测方法。

基于生理信号的测量方法主要是利用相关电子设备测量驾驶员的脑电信号、心电信号、肌电信号的参数从而达到对驾驶员的驾驶状态判断的过程；基于传感器检测车辆参数的方法主要是利用传感器技术监测车辆的方向盘转角度、方向盘的受压力度大小以及力矩的大小、车辆的速度以及加速度等的参数；基于计算机视觉的驾驶员行为检测方法是一种非接触式的检测方法，该方法主要从采集的视频图像中检测感兴趣的人体的一个或若干个区域的状态，从而达到对驾驶员的驾驶状态的判断。目前，基于机器视觉的传统检测方法大部分集中在人脸识别的疲劳驾驶检测上，针对驾驶员眼部、嘴部、脸部的活动状态的识别来判断有无违章。本专利配合交通视频监控系统，先从采集到的视频图像中分割出驾驶员的位置，通过建立高斯肤色模型的方法对人体肤色进行分割，然后建构BP神经网络对人体肤色块进行分类，进而判断驾驶员是否打电话的情况。

发明内容：

本发明的目的是提供一种速度快和精度高的驾驶员驾车打电话违章识别方法。为了实现上述目的，本发明采用的技术方案是：

第一步：采集N张关于人的不同肤色图像，对其肤色像素点进行统计，研究其在YC_bC_r颜色空间上的分布；

第二步：设x＝[C_b,C_r]表示每一像素点处对应色度值C_b,C_r组成的矩阵，对上述N张肤色图像的像素点的色度值进行统计，然后按(1)式求出均值矩阵；

m＝E(x)            (1)

第三步：按照公式(2)计算色度矩阵的协方差矩阵，并由此建立肤色的二维高斯分布模型；

c＝E{(x-m)(x-m)^T}             (2)

第四步：获取驾车司机的位置图像I，设图像的长、宽分别为M、N，按如下步骤判断图像中每一个像素点是否属于人脸；

第五步：利用公式(3)计算第四步采集图像中的像素点的肤色似然度，通过设定似然度的阈值P_TH可以把肤色从图像中分割出来；

P(C_b,C_r)＝exp[-0.5(x-m)^Tc^-1(x-m)]        (3)

第六步：按照阈值P_TH对位置图像I进行二值化，大于阈值P_TH的像素赋值1小于阈值的像素赋值0得到二值化图像I_D，I_D中白色区域代表人肤色区域，为了去除噪声影响，将白色区域中像素个数小于阈值W_TH区域变为黑色区域，图像中剩下的为头部和手部以及与肤色比较相似的大块区域，得到去噪图像I_DN；

第七步：对二值化图像I_DN进行闭操作处理得到I_DNC，将I_DNC中的白色连通区域分别标记为L₁，L₂，…；

第八步：从按照第四步方法获取的图像库中随机选取K幅驾驶员的位置图像，测量每一张图像的尺寸和质心，设选取的K幅图像中第j幅图像的长、宽分别为m_j、n_j，第j幅图像的人脸质心坐标为(x_j,y_j),将第j幅图像按照人脸肤色处像素置1，其它像素置0进行二值化得到图像I_Dj，利用公式(4)可以计算出第j幅图像的人脸肤色块的质心坐标；

$x_j=\frac{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{x}_l{I}_{\mathrm{Dj}}(x_l,y_l)}{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{I}_{\mathrm{Dj}}(x_l,y_l)},y_j=\frac{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{y}_l{I}_{\mathrm{Dj}}(x_l,y_l)}{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{I}_{\mathrm{Dj}}(x_l,y_l)}---\left(4\right)$

其中I_Dj(x_l,y_l)为图像I_Dj在(x_l,y_l)坐标处的灰度值；

第九步：按照公式(5)计算质心坐标因子(α，β)；

$(\mathrm{\α},\mathrm{\β})=(\frac{1}{K}\mathrm{\Σ}\frac{x_j}{m_j},\frac{1}{K}\mathrm{\Σ}\frac{y_j}{n_j})---\left(5\right)$

第十步：计算图像I_DNC的人脸经验质心坐标(x₀,y₀),按照公式(6)计算图像I_DNC的人脸质心经验坐标；

(x₀,y₀)＝(αM,βN)         (6)

第十一步：判断图像I_DNC中的肤色标记块是否为人脸，如果I_DNC中检测到一个肤色块标记时，则认为该肤色块中包含人脸并把肤色块分割出来，如果检测到两个或者两个以上肤色块时，则按照公式(7)计算每个肤色块的质心坐标，并按照公式(8)计算每个肤色块的质心坐标到人脸经验的质心坐标(x₀,y₀)的距离，距离最小的肤色块则为包含人脸在内的肤色块；

$\begin{array}{cc}{x}_i=\frac{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}{x}_{i}I(x_i,y_i)}{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}I(x_i,y_i)}& y_i=\frac{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}{y}_{i}I(x_i,y_i)}{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}I(x_i,y_i)}\end{array}---\left(7\right)$

其中T_i为二值化图像I_DNC中包含第i块肤色块的最小外接矩形区域，I(x_i,y_i)为二值化图像I_DNC中坐标点(x_i,y_i)坐标处的灰度值；

$d_i=\sqrt{{(x_i-x_0)}^2+{(y_i-y_0)}^2}---\left(8\right)$

第十二步：对包含头部的肤色块二值化图像I_DNC进行尺寸归一化，归一化后的尺寸统一为H*H。然后采取了基于像素数量的粗网格特征的方法将二值化图像分成O等分，然后统计每个单元格里面的白色像素个数作为特征，可以得到O个特征值，然后再对每条分割线上的白色像素个数统计，得到P个特征值，再计算整幅图像的白色像素得到一个特征值，从而可以得到Q个特征值。

第十三步：建立双隐层的BP神经网络，该神经网络结构包含Q个输入，两个隐层，3个输出(分为不打电话，右手打电话，左手打电话三种输出情况)，然后利用BP神经网络对提取的特征进行归类。

为验证本专利的有效性，我们选取了400组样本模板作为训练数据训练网络，200组数据作为测试BP神经网络的测试能力。网络训练的目标误差为0.01，最大迭代次数为2000次，学习率为0.01。通过对测试样本的识别，目标识别率达到94.5％，得到比较理想的结果。

附图说明

图1(a)、(b)、(c)、(d)、(e)、(f)为原始摄取图像。

图2(a)、(b)、(c)、(d)、(e)、(f)分别为相应的肤色分割二值化图像。

图3(a)、(b)、(c)、(d)、(e)、(f)分别为相应的肤色块的标记。

具体实施方式：

下面结合具体实例对本发明做详细说明。

本实例是针对彩色图像进行代码定位的，具体过程如下所示。

第一步：采集100张关于人的不同肤色图像，对其肤色像素点进行统计，研究其在YC_bC_r颜色空间上的分布；

第二步：设x＝[C_b,C_r]表示每一像素点处对应色度值C_b,C_r组成的矩阵，对上述N张肤色图像的像素点的色度值进行统计，然后按(1)式求出均值矩阵；

m＝E(x)         (1)

第三步：按照公式(2)计算色度矩阵的协方差矩阵，并由此建立肤色的二维高斯分布模型；

c＝E{(x-m)(x-m)^T}            (2)

第四步：获取驾车司机的位置图像I，设图像的长、宽分别为M、N，按如下步骤判断图像中每一个像素点是否属于人脸；

第五步：利用公式(3)计算第四步采集图像中的像素点的肤色似然度，通过设定似然度的阈值P_TH＝0.75可以把肤色从图像中分割出来；

P(C_b,C_r)＝exp[-0.5(x-m)^Tc^-1(x-m)]        (3)

第六步：按照阈值P_TH对位置图像I进行二值化，大于阈值P_TH的像素赋值1小于阈值的像素赋值0得到二值化图像I_D，I_D中白色区域代表人肤色区域，为了去除噪声影响，将白色区域中像素个数小于阈值W_TH＝200区域变为黑色区域，图像中剩下的为头部和手部以及与肤色比较相似的大块区域，得到去噪图像I_DN；

第七步：对二值化图像I_DN进行闭操作处理得到I_DNC，将I_DNC中的白色连通区域分别标记为L₁，L₂，…；

第八步：从按照第四步方法获取的图像库中随机选取K幅驾驶员的位置图像，测量每一张图像的尺寸和质心，设选取的K幅图像中第j幅图像的长、宽分别为m_j、n_j，第j幅图像的人脸质心坐标为(x_j,y_j),将第j幅图像按照人脸肤色处像素置1，其它像素置0进行二值化得到图像I_Dj，利用公式(4)可以计算出第j幅图像的人脸肤色块的质心坐标；

$x_j=\frac{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{x}_l{I}_{\mathrm{Dj}}(x_l,y_l)}{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{I}_{\mathrm{Dj}}(x_l,y_l)},y_j=\frac{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{y}_l{I}_{\mathrm{Dj}}(x_l,y_l)}{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{I}_{\mathrm{Dj}}(x_l,y_l)}---\left(4\right)$

其中I_Dj(x_l,y_l)为图像I_Dj在(x_l,y_l)坐标处的灰度值；

第九步：按照公式(5)计算质心坐标因子(α,β)；

$(\mathrm{\α},\mathrm{\β})=(\frac{1}{K}\mathrm{\Σ}\frac{x_j}{m_j},\frac{1}{K}\mathrm{\Σ}\frac{y_j}{n_j})---\left(5\right)$

第十步：计算图像I_DNC的人脸经验质心坐标(x₀,y₀)，按照公式(6)计算图像I_DNC的人脸质心经验坐标；

(x₀,y₀)＝(αM,βN)         (6)

第十一步：判断图像I_DNC中的肤色标记块是否为人脸，如果I_DNC中检测到一个肤色块标记时，则认为该肤色块中包含人脸并把肤色块分割出来，如果检测到两个或者两个以上肤色块时，则按照公式(7)计算每个肤色块的质心坐标，并按照公式(8)计算每个肤色块的质心坐标到人脸经验的质心坐标(x₀,y₀)的距离，距离最小的肤色块则为包含人脸在内的肤色块；

$\begin{array}{cc}{x}_i=\frac{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}{x}_{i}I(x_i,y_i)}{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}I(x_i,y_i)}& y_i=\frac{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}{y}_{i}I(x_i,y_i)}{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}I(x_i,y_i)}\end{array}---\left(7\right)$

其中T_i为二值化图像I_DNC中包含第i块肤色块的最小外接矩形区域，I(x_i,y_i)为二值化图像I_DNC中坐标点(x_i,y_i)坐标处的灰度值；

$d_i=\sqrt{{(x_i-x_0)}^2+{(y_i-y_0)}^2}---\left(8\right)$

第十二步：对包含头部的肤色块二值化图像进行尺寸归一化，归一化后的尺寸统一为H*H，其中H＝32。然后采取了基于像素数量的粗网格特征的方法将二值化图像分成O＝64等分，然后统计每个单元格里面的白色像素个数作为特征，可以得到64个特征值，然后再对每条分割线上的白色像素个数统计，得到P＝14个特征值，再计算整幅图像的白色像素得到一个特征值，从而可以得到Q＝64+14+1＝79个特征值。

第十三步：建立双隐层的BP神经网络，该神经网络结构包含79个输入，两个隐层，第一个隐层的节点个数为108个，第二个隐层的节点数为45个，3个输出(分为不打电话，右手打电话，左手打电话三种输出情况)，然后利用BP神经网络对提取的特征进行归类。其中，隐含层的激活函数采用Sigmoid网络函数，输出层的激活函数为线性网络函数。

Claims (1)

1.基于图像处理技术的驾驶员驾车打电话违章识别方法，其特征在于如下步骤：

第一步：采集N张关于人的不同肤色图像，对其肤色像素点进行统计，研究其在YC_bC_r颜色空间上的分布；

第二步：设x＝[C_b,C_r]表示每一像素点处对应色度值C_b,C_r组成的矩阵，对上述N张肤色图像的像素点的色度值进行统计，然后按(1)式求出均值矩阵；

m＝E(x)                (1)

第三步：按照公式(2)计算色度矩阵的协方差矩阵，并由此建立肤色的二维高斯分布模型；

c＝E{(x-m)(x-m)^T}              (2)

第四步：获取驾车司机的位置图像I，设图像的长、宽分别为M、N，按如下步骤判断图像中每一个像素点是否属于人脸；

第五步：利用公式(3)计算第四步采集图像中的像素点的肤色似然度，通过设定似然度的阈值P_TH可以把肤色从图像中分割出来；

P(C_b,C_r)＝exp[-0.5(x-m)^Tc^-1(x-m)]         (3)

第六步：按照阈值P_TH对位置图像I进行二值化，大于阈值P_TH的像素赋值1小于阈值的像素赋值0得到二值化图像I_D，I_D中白色区域代表人肤色区域，为了去除噪声影响，将白色区域中像素个数小于阈值W_TH区域变为黑色区域，图像中剩下的为头部和手部以及与肤色比较相似的大块区域，得到去噪图像I_DN；

第七步：对二值化图像I_DN进行闭操作处理得到I_DNC，将I_DNC中的白色连通区域分别标记为L₁，L₂，…；

第八步：从按照第四步方法获取的图像库中随机选取K幅驾驶员的位置图像，测量每一张图像的尺寸和质心，设选取的K幅图像中第j幅图像的长、宽分别为m_j、n_j，第j幅图像的人脸质心坐标为(x_j,y_j),将第j幅图像按照人脸肤色处像素置1，其它像素置0进行二值化得到图像I_Dj，利用公式(4)可以计算出第j幅图像的人脸肤色块的质心坐标；

$x_j=\frac{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{x}_l{I}_{\mathrm{Dj}}(x_l,y_l)}{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{I}_{\mathrm{Dj}}(x_l,y_l)},y_j=\frac{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{y}_l{I}_{\mathrm{Dj}}(x_l,y_l)}{\underset{(x_l,y_l)\∈I_{\mathrm{Dj}}}{\mathrm{\Σ}}{I}_{\mathrm{Dj}}(x_l,y_l)}---\left(4\right)$

其中I_Dj(x_l,y_l)为图像I_Dj在(x_l,y_l)坐标处的灰度值；

第九步：按照公式(5)计算质心坐标因子(α，β)；

$(\mathrm{\α},\mathrm{\β})=(\frac{1}{K}\mathrm{\Σ}\frac{x_j}{m_j},\frac{1}{K}\mathrm{\Σ}\frac{y_j}{n_j})---\left(5\right)$

第十步：计算图像I_DNC的人脸经验质心坐标(x₀,y₀),按照公式(6)计算图像I_DNC的人脸质心经验坐标；

(x₀,y₀)＝(αM,βN)           (6)

第十一步：判断图像I_DNC中的肤色标记块是否为人脸，如果I_DNC中检测到一个肤色块标记时，则认为该肤色块中包含人脸并把肤色块分割出来，如果检测到两个或者两个以上肤色块时，则按照公式(7)计算每个肤色块的质心坐标，并按照公式(8)计算每个肤色块的质心坐标到人脸经验的质心坐标(x₀,y₀)的距离，距离最小的肤色块则为包含人脸在内的肤色块；

$\begin{array}{cc}{x}_i=\frac{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}{x}_{i}I(x_i,y_i)}{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}I(x_i,y_i)}& y_i=\frac{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}{y}_{i}I(x_i,y_i)}{\underset{(x_i,y_i)\∈T_i}{\mathrm{\Σ}}I(x_i,y_i)}\end{array}---\left(7\right)$

其中T_i为二值化图像I_DNC中包含第i块肤色块的最小外接矩形区域，I(x_i,y_i)为二值化图像I_DNC中坐标点(x_i,y_i)坐标处的灰度值；

$d_i=\sqrt{{(x_i-x_0)}^2+{(y_i-y_0)}^2}---\left(8\right)$

第十二步：对包含头部的肤色块二值化图像I_DNC进行尺寸归一化，归一化后的尺寸统一为H*H。然后采取了基于像素数量的粗网格特征的方法将二值化图像分成O等分，然后统计每个单元格里面的白色像素个数作为特征，可以得到O个特征值，然后再对每条分割线上的白色像素个数统计，得到P个特征值，再计算整幅图像的白色像素得到一个特征值，从而可以得到Q个特征值。

第十三步：建立双隐层的BP神经网络，该神经网络结构包含Q个输入，两个隐层，3个输出(分为不打电话，右手打电话，左手打电话三种输出情况)，然后利用BP神经网络对提取的特征进行归类。