CN106022242A - 智能交通系统中的驾驶员接打电话识别方法 - Google Patents

Abstract

本发明涉及智能交通系统中的驾驶员接打电话识别方法。本发明配合智能交通违章检测系统，利用交通卡口或交通十字路口视频监控获取图像，从中分割出驾驶员位置并进行人脸定位，获得人脸图像。以人脸像素点作为样本点，构建形如Mahalanobis距离的肤色分割模型。对驾驶员图像进行肤色分割，并提取人手图像，计算人手图像的质心和倾角。参考人脸的长度和高度设定违法区域。判断人手图像的倾角范围和质心与违法区域的关系，来判别驾驶员是否在驾驶车辆时接打电话。

Description

智能交通系统中的驾驶员接打电话识别方法

技术领域：

本发明属于数字图像处理技术领域，具体的说是一种针对驾驶员在驾车过程中接打电话的识别方法。

背景技术：

由于社会经济快速发展，生活质量也不断的提高，汽车已经成为日常出行的必备工具。而汽车的保有量也急剧增加，随之而来的是交通事故频发。随着交通运输业的发展，交通事故已经成为危害人类生命的最主要因素之一。而引发交通事故的原因中，人为因素又是主要诱因。在驾车过程中遇到紧急情况时，如果驾驶员在接打电话，他的反应速度会比集中注意力时慢30％以上。反应速度过慢可能会引起连续的操作失误，最终将会酿成惨痛的后果。因此，这就要求我们研究一种对驾驶过程中驾驶员接打电话进行自动检测的方法，对驾驶员起到威慑作用，从而杜绝驾驶过程中接打电话行为。

目前，对驾驶员接打电话的检测可以分为两类：(1)基于手机信号检测的方法。此类方法通过在车辆的固定区域安装手机信号检测器，然后根据接收到的信号的特征判断手机是否处于通话状态。(2)基于机器视觉的方法。此类方法是一种非接触式检测方法，主要是通过对采集到的视频图像进行处理，对感兴趣区域进行分类识别，从而判断驾驶员的驾驶状态。

发明内容：

本发明的目的是提供一种基于智能交通的驾驶员接打电话识别方法。本发明配合智能交通违章检测系统，利用交通卡口或交通十字路口视频监控获取图像，从中分割出驾驶员位置并进行人脸定位，以此来构建肤色模型，对人手肤色进行分割。并对分割结果进行判别，进而判断驾驶员是否在驾驶车辆时接打电话。本算法具有精度高、计算量小、检测快、不受光照影响等特点。本发明采用的技术方案是：

第一步：读取驾驶员图像I，其大小为M×N；

第二步：利用Viola-Jones人脸检测算法检测人脸，确定人脸在图像I中的区域，区域的左上角顶点坐标用(faceX，faceY)表示，高度、宽度分别用faceH、faceW表示，其单位为像素，并截取此区域存成图像I_face；

第三步：以I_face的像素点作为样本点，计算I_face的像素均值m，由于彩色图像具有RGB三个分量，因此m是具有三个分量的向量，各分量的计算方法如公式(1)；

$\begin{array}{cc}{m}_k=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{z}_k& k\∈\{R,G,B\}\end{array}---\left(1\right)$

第四步：计算人脸图像I_face中像素的协方差矩阵C，C是3×3的矩阵，其计算方法如公式(2)，其中z为I_face的像素值；

C＝E{(z-m)(z-m)^T}，z∈I_face (2)

第五步：设协方差矩阵C的对角元素为C₁₁、C₂₂、C₃₃，则人脸图像I_face的RGB分量的标准差D_R、D_G、D_B分别为D_R＝C₁₁，D_G＝C₂₂，D_B＝C₃₃，并且取RGB分量的标准差的最大值作为肤色模型的阈值并设为T，则T＝max{D_R，D_G，D_B}，并设置肤色分割伸缩因子λ，其值为常数；

第六步：按照公式(3)构造基于Mahalanobis距离的肤色模型，其中z′为I的像素值，满足公式(3)的那些像素点为肤色像素点；

${\[{(z^{\′}-m)}^T{C}^{-1}(z^{\′}-m)\]}^{\frac{1}{2}}\≤\mathrm{\λ}T,z^{\′}\∈I---\left(3\right)$

第七步：利用第六步构造的肤色模型对图像I进行肤色分割，判断原始图像的每个像素点是否满足公式(3)，如果满足公式(3)则认为该点为肤色点，其值设为1，否则为背景像素点，其值设为0，得到二值图像I_skin；

第八步：去掉图像I_skin中像素点较少的连通区域，其阈值T_h取值范围在1/25×M×N～1/35×M×N之间；

第九步：通过第八步的处理后，I_skin中像素为1的区域绝大部分为人手和人脸，而现在仅需要对人手进行判断来确定是否打电话，因此需要去掉人脸区域，按照第二步在图像I中确定的人脸位置，将I_skin中相同位置的像素值设为0，即可去掉I_skin中人脸的大部分区域；

第十步：通过第九步的处理后，可以去掉I_skin中人脸的大部分区域，但是可能会遗留人脸的边缘像素，这些像素可能会对后续的操作产生影响，因此去掉小于阈值T_h′的连通区域，其中阈值T_h′取1/50×M×N～1/70×M×N范围内的值，即可消除可能存在的干扰；

第十一步：在I_skin中设定位于人脸左侧的违法区域，违法区域的右边界与人脸图像的边界相接，并且左上角顶点坐标为(faceX-faceW，faceY+0.25*faceH)，违法区域宽度为faceW个像素，违法区域高度为1.5*faceH个像素；

第十二步：在I_skin中设定位于人脸右侧的违法区域，违法区域的左边界与人脸图像的边界相接，并且左上角顶点坐标为(faceX+faceW，faceY+0.25*faceH)，违法区域宽度为faceW个像素，违法区域高度为1.5*faceH个像素；

第十三步：对第十步处理后的图像进行连通区域标记，分别标记为L₁，L₂，…L_n，n为连通区域个数，并计算每个连通区域的质心，计算公式如公式(4)，其中I(r_i，c_i)为经过标记的二值肤色分割图像在(r_i，c_i)处的像素值；

$\begin{array}{cc}{r}_{0j}=\frac{\underset{(r_i,c_i)\∈L_j}{\Σ}{r}_{i}I(r_i,c_i)}{\underset{(r_i,c_i)\∈L_j}{\Σ}I(r_i,c_i)},c_{0j}=\frac{\underset{(r_i,c_i)\∈L_j}{\Σ}{c}_{i}I(r_i,c_i)}{\underset{(r_i,c_i)\∈L_j}{\Σ}I(r_i,c_i)}& j=1,2,\mathrm{...}n\end{array}---\left(4\right)$

第十四步：选取一个连通区域L_j，判断连通区域的质心是否处于第十一和第十二步标记的违法区域内，如果质心处于违法区域内则转到第十五步，否则舍弃此连通区域，重新选取连通区域；

第十五步：计算连通区域L_j的二阶中心矩，其中行的二阶中心矩μ_rr的计算方法如公式(5)，列的二阶中心矩μ_cc的计算方法如公式(6)，混合二阶中心矩μ_rc的计算方法如公式(7)，N为连通区域L_j内的像素数，(r_0j，c_0j)为连通区域L_j的质心；

${\mathrm{\μ}}_{rr}=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{(r_i-r_{0j})}^2---\left(5\right)$

${\mathrm{\μ}}_{cc}=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{c}_i-c_{0j}{)}^2---\left(6\right)$

${\mathrm{\μ}}_{rc}=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}(r_i-r_{0j})(c_i-c_{0j})---\left(7\right)$

第十六步：将连通区域的二阶中心矩作为椭圆的二阶中心矩构造椭圆，所得椭圆如公式(8)；

$\frac{1}{4({\mathrm{\μ}}_{rr}{\mathrm{\μ}}_{cc}-{{\mathrm{\μ}}_{rc}}^2)}{\left(\begin{array}{c}r-r_{0j}\\ c-c_{0j}\end{array}\right)}^T\left(\begin{array}{cc}{\mathrm{\μ}}_{rr}& -{\mathrm{\μ}}_{rc}\\ -{\mathrm{\μ}}_{rc}& {\mathrm{\μ}}_{cc}\end{array}\right)\left(\begin{array}{c}r-r_{0j}\\ c-c_{0j}\end{array}\right)=1---\left(8\right)$

第十七步：计算椭圆的长轴与水平方向的夹角，作为连通区域的倾角θ，如果μ_rr>μ_cc，则计算方法如公式(9)，否则计算方法如公式(10)；

$\mathrm{\θ}={\tan }^{-1}\frac{{\mathrm{\μ}}_{rr}-{\mathrm{\μ}}_{cc}+\sqrt{{({\mathrm{\μ}}_{rr}-{\mathrm{\μ}}_{cc})}^2+4{{\mathrm{\μ}}_{rc}}^2}}{2{\mathrm{\μ}}_{rc}}---\left(9\right)$

$\mathrm{\θ}={\tan }^{-1}\frac{2{\mathrm{\μ}}_{rc}}{{\mathrm{\μ}}_{cc}-{\mathrm{\μ}}_{rr}+\sqrt{{({\mathrm{\μ}}_{cc}-{\mathrm{\μ}}_{rr})}^2+4{{\mathrm{\μ}}_{rc}}^2}}---\left(10\right)$

第十八步：判断连通区域L_j的倾角θ，如果连通区域的质心在人脸左侧违法区域内并且角度θ介于15～75度之间，或者连通区域在右侧违法区域内并且角度θ介于-15～-75度之间则判定驾驶员在打电话，并停止执行输出结果，否则转到第十四步重新选取连通区域；

第十九步：如果所有连通区域都不满足第十四和第十八步的要求，则判定驾驶员没有接打电话。

附图说明

图1本发明方法流程图；

图2驾驶员图像；

图3人脸检测图像；

图4肤色模型；

图5肤色分割图像I_skin；

图6去除干扰连通区域后结果；

图7人脸残留边界图像；

图8分离的手部图像；

图9违法区域；

图10角度θ计算方法示意图；

具体实施方式：

下面结合附图和具体实例对本发明做详细说明。具体过程如下所示：

第一步：读取附图2所示的驾驶员图像I，其大小为M×N，其中M＝188，N＝180；

第二步：利用Viola-Jones人脸检测算法检测人脸，确定人脸在原图像I中的区域，其左上角顶点坐标为(59，23)，区域高度、宽度均为51，其单位为像素，并截取此区域存成图像I_face；

第三步：以I_face的像素点作为样本点，利用公式(1)计算I_face的像素均值，m＝[63.66，58.12，48.74]^T；

$\begin{array}{cc}{m}_k=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{z}_k& k\∈\{R,G,B\}\end{array}---\left(1\right)$

第四步：利用公式(2)计算人脸图像I_face中像素的协方差矩阵，C＝[243.75，216.99，196.96；216.99，203.83，184.08；196.96，184.08，176.08]，为3×3的矩阵；

C＝E{(z-m)(z-m)^T}，z∈I_face (2)

第五步：取人脸图像I_face的RGB分量的标准差的最大值作为肤色模型的阈值，T＝max{D_R，D_G，D_B}，其中D_R＝243.75，D_G＝203.83，D_B＝176.08，并设置肤色分割伸缩因子λ＝5；

第六步：按照公式(3)构造基于Mahalanobis距离的肤色模型，其中z′为I的像素值，满足公式(3)的那些像素点为肤色像素点，λT＝1218.75；

${\[{(z^{\′}-\left(\begin{array}{c}63.66\\ 58.12\\ 48.74\end{array}\right))}^T{\left(\begin{array}{ccc}243.75& 261.99& 196.96\\ 216.99& 203.83& 184.08\\ 196.96& 184.08& 176.08\end{array}\right)}^{-1}(z^{\′}-\left(\begin{array}{c}63.66\\ 58.12\\ 48.74\end{array}\right))\]}^{\frac{1}{2}}\≤\mathrm{\λ}T,z^{\′}\∈I---\left(3\right)$

第七步：利用第六步构造的肤色模型对原始图像I进行肤色分割，即判断原始图像的每个像素点是否满足公式(3)，如果某个像素点公式(3)则认为该点为肤色像素点，其值设为1，否则为背景像素点，其值设为0，因此肤色分割后的图像为二值图像，记为I_skin；

第八步：去掉肤色分割图像I_skin中的较小连通区域，由于肤色分割图像共33840个像素，因此其阈值T_h取1000像素；

第九步：利用第二步确定的人脸位置，获得I_skin中人脸的左边界和右边界的列坐标分别为L＝59和R＝110，将I_skin中列为59到110之间区域的像素设为0，即可去掉I_skin中人脸的大部分区域；

第十步：去掉小于阈值T_h的连通区域，其中阈值T_h取500像素，即可消除可能存在的人脸边缘的干扰如图8；

第十一步：在I_skin中设定两个分别位于人脸左右两侧的违法区域，其中左侧违法区域的左上角顶点坐标为(8，35)，宽度为51，高度为77，右侧违法区域的左上角顶点坐标为(110，35)，宽度为51，高度为77；

第十二步：对第七步处理后的图像进行连通区域标记，此例只有一个连通区域，标记为L₁，并计算此连通区域的质心，计算公式如公式(4)，质心坐标为(58.47，131.56)；

$\begin{array}{cc}{r}_{0j}=\frac{\underset{(r_i,c_i)\∈L_j}{\Σ}{r}_{i}I(r_i,c_i)}{\underset{(r_i,c_i)\∈L_j}{\Σ}I(r_i,c_i)},c_{0j}=\frac{\underset{(r_i,c_i)\∈L_j}{\Σ}{c}_{i}I(r_i,c_i)}{\underset{(r_i,c_i)\∈L_j}{\Σ}I(r_i,c_i)}& j=1,2,\mathrm{...}n\end{array}---\left(4\right)$

第十三步：连通区域L₁的质心为(58.47，131.56)，由此可知处于右侧违法区域，执行第十四步；

第十四步：计算连通区域L₁的二阶中心矩，其中行的二阶中心矩μ_rr的计算方法如公式(5)，列的二阶中心矩μ_cc的计算方法如公式(6)，混合二阶中心矩μ_rc的计算方法如公式(7)，计算结果为μ_rr＝86.61，μ_cc＝142.24，μ_rc＝-80.23；

${\mathrm{\μ}}_{rr}=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{(r_i-r_{0j})}^2---\left(5\right)$

${\mathrm{\μ}}_{cc}=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{c}_i-c_{0j}{)}^2---\left(6\right)$

${\mathrm{\μ}}_{rc}=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}(r_i-r_{0j})(c_i-c_{0j})---\left(7\right)$

第十五步：将连通区域的二阶中心矩作为椭圆的二阶中心矩构造椭圆，所得椭圆如公式(8)；

$\frac{1}{23530.23}{\left(\begin{array}{c}r-131.56\\ c-58.47\end{array}\right)}^T\left(\begin{array}{cc}86.61& 80.23\\ 80.23& 142.23\end{array}\right)\left(\begin{array}{c}r-131.56\\ c-58.47\end{array}\right)=1---\left(8\right)$

第十六步：计算椭圆的长轴与水平方向的夹角，作为连通区域的倾角θ，如果μ_rr>μ_cc，则计算方法如公式(10)，否则计算方法如公式(11)，计算结果为θ＝-35.44；

$\mathrm{\θ}={\tan }^{-1}\frac{{\mathrm{\μ}}_{rr}-{\mathrm{\μ}}_{cc}+\sqrt{{({\mathrm{\μ}}_{rr}-{\mathrm{\μ}}_{cc})}^2+4{{\mathrm{\μ}}_{rc}}^2}}{2{\mathrm{\μ}}_{rc}}---\left(9\right)$

$\mathrm{\θ}={\tan }^{-1}\frac{2{\mathrm{\μ}}_{rc}}{{\mathrm{\μ}}_{cc}-{\mathrm{\μ}}_{rr}+\sqrt{{({\mathrm{\μ}}_{cc}-{\mathrm{\μ}}_{rr})}^2+4{{\mathrm{\μ}}_{rc}}^2}}---\left(10\right)$

第十七步：由于连通区域L₁的倾角θ＝-35.44度，此连通区域满足其质心在右侧违法区域内并且角度θ介于-15～-75度之间，因此判定驾驶员接打电话。

Claims (1)

1.智能交通系统中的驾驶员接打电话识别方法，其特征在于如下步骤：

第一步：读取驾驶员图像I，其大小为M×N；

第二步：利用Viola-Jones人脸检测算法检测人脸，确定人脸在图像I中的区域，区域的左上角顶点坐标用(faceX，faceY)表示，高度、宽度分别用faceH、faceW表示，其单位为像素，并截取此区域存成图像I_face；

第三步：以I_face的像素点作为样本点，计算I_face的像素均值m，由于彩色图像具有RGB三个分量，因此m是具有三个分量的向量，各分量的计算方法如公式(1)；

$m_k=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{z}_k,k\∈\{R,G,B\}---\left(1\right)$

第四步：计算人脸图像I_face中像素的协方差矩阵C，C是3×3的矩阵，其计算方法如公式(2)，其中z为I_face的像素值；

C＝E{(z-m)(z-m)^T}，z∈I_face (2)

第五步：设协方差矩阵C的对角元素为C₁₁、C₂₂、C₃₃，则人脸图像I_face的RGB分量的标准差D_R、D_G、D_B分别为D_R＝C₁₁，D_G＝C₂₂，D_B＝C₃₃，并且取RGB分量的标准差的最大值作为肤色模型的阈值并设为T，则T＝max{D_R，D_G，D_B}，并设置肤色分割伸缩因子λ，其值为常数；

第六步：按照公式(3)构造基于Mahalanobis距离的肤色模型，其中z′为I的像素值，满足公式(3)的那些像素点为肤色像素点；

${\[{(z^{\′}-m)}^T{C}^{-1}(z^{\′}-m)\]}^{\frac{1}{2}}\≤\mathrm{\λ}T,z^{\′}\∈I---\left(3\right)$

第七步：利用第六步构造的肤色模型对图像I进行肤色分割，判断原始图像的每个像素点是否满足公式(3)，如果满足公式(3)则认为该点为肤色点，其值设为1，否则为背景像素点，其值设为0，得到二值图像I_skin；

第八步：去掉图像I_skin中像素点较少的连通区域，其阈值T_h取值范围在1/25×M×N～1/35×M×N之间；

第九步：通过第八步的处理后，I_skin中像素为1的区域绝大部分为人手和人脸，而现在仅需要对人手进行判断来确定是否打电话，因此需要去掉人脸区域，按照第二步在图像I中确定的人脸位置，将I_skin中相同位置的像素值设为0，即可去掉I_skin中人脸的大部分区域；

第十步：通过第九步的处理后，可以去掉I_skin中人脸的大部分区域，但是可能会遗留人脸的边缘像素，这些像素可能会对后续的操作产生影响，因此去掉小于阈值T_h′的连通区域，其中阈值T_h′取1/50×M×N～1/70×M×N范围内的值，即可消除可能存在的干扰；

第十一步：在I_skin中设定位于人脸左侧的违法区域，违法区域的右边界与人脸图像的边界相接，并且左上角顶点坐标为(faceX-faceW，faceY+0.25*faceH)，违法区域宽度为faceW个像素，违法区域高度为1.5*faceH个像素；

第十二步：在I_skin中设定位于人脸右侧的违法区域，违法区域的左边界与人脸图像的边界相接，并且左上角顶点坐标为(faceX+faceW，faceY+0.25*faceH)，违法区域宽度为faceW个像素，违法区域高度为1.5*faceH个像素；

第十三步：对第十步处理后的图像进行连通区域标记，分别标记为L₁，L₂，…L_n，n为连通区域个数，并计算每个连通区域的质心，计算公式如公式(4)，其中I(r_i，c_i)为经过标记的二值肤色分割图像在(r_i，c_i)处的像素值；

$r_{0j}=\frac{\underset{(r_i,c_i)\∈L_j}{\Σ}{r}_{i}I(r_i,c_i)}{\underset{(r_i,c_i)\∈L_j}{\Σ}I(r_i,c_i)},c_{0j}=\frac{\underset{(r_i,c_i)\∈L_j}{\Σ}{c}_{i}I(r_i,c_i)}{\underset{(r_i,c_i)\∈L_j}{\Σ}I(r_i,c_i)},j=1,2,\mathrm{...}n---\left(4\right)$

第十四步：选取一个连通区域L_j，判断连通区域的质心是否处于第十一和第十二步标记的违法区域内，如果质心处于违法区域内则转到第十五步，否则舍弃此连通区域，重新选取连通区域；

第十五步：计算连通区域L_j的二阶中心矩，其中行的二阶中心矩μ_rr的计算方法如公式(5)，列的二阶中心矩μ_cc的计算方法如公式(6)，混合二阶中心矩μ_rc的计算方法如公式(7)，N为连通区域L_j内的像素数，(r_0j，c_0j)为连通区域L_j的质心；

${\mathrm{\μ}}_{rr}=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{(r_i-r_{0j})}^2---\left(5\right)$

${\mathrm{\μ}}_{cc}=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{c}_i-c_{0j}{)}^2---\left(6\right)$

${\mathrm{\μ}}_{rc}=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}(r_i-r_{0j})(c_i-c_{0j})---\left(7\right)$

第十六步：将连通区域的二阶中心矩作为椭圆的二阶中心矩构造椭圆，所得椭圆如公式(8)；

$\frac{1}{4({\mathrm{\μ}}_{rr}{\mathrm{\μ}}_{cc}-{{\mathrm{\μ}}_{rc}}^2)}{\left(\begin{array}{c}r-r_{0j}\\ c-c_{0j}\end{array}\right)}^T\left(\begin{array}{cc}{\mathrm{\μ}}_{rr}& -{\mathrm{\μ}}_{rc}\\ -{\mathrm{\μ}}_{rc}& {\mathrm{\μ}}_{cc}\end{array}\right)\left(\begin{array}{c}r-r_{0j}\\ c-c_{0j}\end{array}\right)=1---\left(8\right)$

第十七步：计算椭圆的长轴与水平方向的夹角，作为连通区域的倾角θ，如果μ_rr>μ_cc，则计算方法如公式(9)，否则计算方法如公式(10)；

$\mathrm{\θ}={\tan }^{-1}\frac{{\mathrm{\μ}}_{rr}-{\mathrm{\μ}}_{cc}+\sqrt{{({\mathrm{\μ}}_{rr}-{\mathrm{\μ}}_{cc})}^2+4{{\mathrm{\μ}}_{rc}}^2}}{2{\mathrm{\μ}}_{rc}}---\left(9\right)$

$\mathrm{\θ}={\tan }^{-1}\frac{2{\mathrm{\μ}}_{rc}}{{\mathrm{\μ}}_{cc}-{\mathrm{\μ}}_{rr}+\sqrt{{({\mathrm{\μ}}_{cc}-{\mathrm{\μ}}_{rr})}^2+4{{\mathrm{\μ}}_{rc}}^2}}---\left(10\right)$

第十八步：判断连通区域L_j的倾角θ，如果连通区域的质心在人脸左侧违法区域内并且角度θ介于15～75度之间，或者连通区域在右侧违法区域内并且角度θ介于-15～-75度之间则判定驾驶员在打电话，并停止执行输出结果，否则转到第十四步重新选取连通区域；

第十九步：如果所有连通区域都不满足第十四和第十八步的要求，则判定驾驶员没有接打电话。