CN102214296A - 一种基于空间比例的驾驶人姿态特征提取方法 - Google Patents

Abstract

一种基于空间比例的驾驶人姿态特征提取方法，包括步骤：1)采集车内驾驶人姿态图像，并进行预处理；2)提取驾驶人姿态图像中的肤色区域，并归一化；3)对经过归一化处理后的驾驶人姿态图像进行阈值处理，来识别肤色区域；4)经过阈值处理后的驾驶人姿态图像中只包括驾驶人体的肤色区域，提取驾驶人姿态图像中的肤色区域的边缘；5)求近似质心坐标；6)求得两肤色区域的近似质心之间的距离；7)：求得驾驶人姿态特征。与现有技术相比，本技术方案以一种基于空间比例的驾驶人姿态特征提取方法来提取驾驶人信息，为以驾驶人为中心的新一代辅助驾驶系统可有效地解决交通事故、交通拥堵等交通问题提供了重要的参数依据。

Description

一种基于空间比例的驾驶人姿态特征提取方法

一、技术领域

本发明专利涉及智能交通研究领域，尤其是汽车的智能辅助驾驶系统的研究。

二、背景技术

全球交通事故年度统计报告表明交通事故多数是由人为因素造成的，例如疲劳驾驶、注意力不集中等。为研发新一代智能车辆辅助驾驶系统——以驾驶人为中心的辅助驾驶系统，该系统由多传感器系统、信息处理系统和物联网组成，既能实时监控行驶环境和车辆状态，又能实时监控驾驶人的驾驶行为。以驾驶人为中心的新一代辅助驾驶系统可有效地解决交通事故、交通拥堵等交通问题。

自动理解并识别驾驶人的驾驶行为是以人为中心的新一代汽车辅助驾驶系统的关键技术之一。驾驶人的行为反映了其驾驶状态，如专注情况、疲劳程度和其它不可预知的分散注意力的因素。不安全的驾驶行为，如驾驶过程中的疲劳、吃东西和打电话，将降低驾驶人对周围环境的警惕性，从而分散驾驶人的注意力。Nadeau等对两组在驾驶过程中使用和不使用手机的驾驶人做了对比研究，其结论为驾驶过程中经常使用手机的驾驶人发生交通事故的概率是不使用手机驾驶人的两倍。近年来，对驾驶人姿态的研究主要集中在驾驶人身体的转向，例如前转、后转、左转和右转，而对于驾驶人操作方向盘、操作档位、吃东西和打电话等复杂驾驶姿态的研究却较少。自动理解并识别驾驶人驾驶行为的关键是采用有效的方法提取驾驶人姿态特征。目前，尚未有出现基于空间比例的驾驶人姿态特征提取方法。

三、发明内容

本发明专利所要解决的问题是有效地提取驾驶人驾驶姿态特征，以用于以人为中心的辅助驾驶系统中的驾驶人行为的理解和识别。为解决上述技术问题，本发明专利采用如下技术方案：

一种基于空间比例的驾驶人姿态特征提取方法，包括步骤：

1)采集车内驾驶人姿态图像，并进行预处理即滤波；

2)提取驾驶人姿态图像中的肤色区域，并归一化；

3)对经过归一化处理后的驾驶人姿态图像进行阈值处理，来识别肤色区域；

4)经过阈值处理后的驾驶人姿态图像中只包括驾驶人体的肤色区域，提取驾驶人姿态图像中的肤色区域的边缘；

5)：令

和

1≤i≤n，分别为驾驶人姿态图像中的第i个连通区域的横坐标最小值、横坐标最大值、纵坐标最小值和纵坐标最大值，则第i个连通区域的近似质心坐标为

$\left\{\begin{array}{c}{x}_i=\frac{x_{\max }^i-x_{\min }^i}{2}\\ y_i=\frac{y_{\max }^i-y_{\min }^i}{2}\end{array}\right.---\left(1\right)$

6)令(x₁，y₁)、(x₂，y₂)、……(x_n，y_n)分别为采用公式(1)计算的驾驶人姿态图像中第一、第二、……第n肤色区域的近似质心坐标，则

第二肤色区域和第一肤色区域的近似质心之间的距离l₁为：

$l_1=\sqrt{{(x_2-x_1)}^2+{(y_2-y_1)}^2}---\left(2\right)$

第三肤色区域和第二肤色区域的近似质心之间的距离l₂为：

$l_2=\sqrt{{(x_3-x_2)}^2+{(y_3-y_2)}^2}---\left(3\right)$

以式(2)、(3)类推，则

第n肤色区域和第n-1肤色区域的近似质心之间的距离l_n-1为：

$l_{n-1}=\sqrt{{(x_n-x_{n-1})}^2+{(y_n-y_{n-1})}^2}---\left(4\right)$

第1肤色区域和第n肤色区域的近似质心之间的距离l_n为：

$l_n=\sqrt{{(x_1-x_n)}^2+{(y_1-y_n)}^2}---\left(5\right)$

7)：当驾驶人出现动作时，各个肤色区域之间距离的空间比例将发生变化，则驾驶人姿态特征为：

$\mathrm{feature}1=\frac{l_2}{l_1},$ $\mathrm{feature}2=\frac{l_3}{l_1},\·\·\·,$ $\mathrm{featuren}-1=\frac{l_{n-1}}{l_1},$ $\mathrm{featuren}=\frac{l_n}{l_1}.$

所述步骤1)中，采用同态滤波器对采集到的驾驶人图像进行预处理：

令采集的车内驾驶人姿态图像为f(x，y)，即

$\left\{\begin{array}{c}f(x,y)=f_i(x,y)\&CenterDot;f_r(x,y)\\ 0<f_i(x,y)<\&infin;,0<f_r(x,y)<1\end{array}\right.---\left(6\right)$

其中，f_i(x，y)为照明函数，f_r(x，y)为反射函数。对式(6)取对数并进行傅立叶变换得

F_ln(u，v)＝F_i，ln(u，v)+F_r，ln(u，v)                    (7)

照明函数F_i，ln(u，v)的频谱特性主要集中在低频段，而反射F_r，ln(u，v)的频谱特性主要集中在高频段。由于照明不均，则图像上各部分的平均亮度会有起伏。通与同态滤波器函数H(u，v)相乘，则可以在频域上削弱照明函数的成分，同时增强反射函数的频谱成分，以达到增加图像对比度的目的，即

G_ln(u，v)＝F_i，ln(u，v)·H(u，v)+F_r，ln(u，v)·H(u，v)                (8)

对式(8)进行傅立叶反变换，则得同态滤波器预处理后的驾驶人图像，即

g(x，y)＝exp{F^-1{G_ln(u，v)}}                    (9)

根据不同的图像特性，选择不同的同态滤波器函数H(u，v)，本专利中采用高斯型高通滤波器函数作为同态滤波器函数。

所述步骤2)中，提取驾驶人姿态图像中的肤色区域，并归一化，现有技术中，归一化方法主要有线性函数转换、对数函数转换和反余切函数转换三种，本技术方案中的图像归一化采用线性函数转换，具体来说，

采用公式(10)将驾驶人姿态图像中的肤色和非肤色像素从RGB空间(r，g，b)归一化到空间(r′，g′，b′)，即：

$r^{\&prime;}=\frac{255r}{r+g+b},$ $g^{\&prime;}=\frac{255g}{r+g+b},$ $b^{\&prime;}=\frac{255b}{r+g+b}---\left(10\right)$

所述步骤3)中，设阀值为A，则，

$\left\{\begin{array}{c}{r}^{\&prime;}>95,g^{\&prime;}>45,b^{\&prime;}>20\\ \max \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}-\min \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}>A\\ r^{\&prime;}-g^{\&prime;}>15,r^{\&prime;}>b^{\&prime;}\end{array}\right..$

步骤4)中，区域边缘常用的方法有哈夫变换和Canny算子，本技术方案中肤色区域的边缘提取采用Canny算子，方法是，采用Canny算法提取驾驶人姿态图像中的肤色区域边缘：

令E(x，y)为Canny边缘检测后的二值图像，采用8邻域算法删除连通区小于2的区域，并令处理后的二值图像为M(x，y)。

所述驾驶人姿态图像中的肤色区域包括驾驶人的脸部区域、右手区域和左手区域。

与现有技术相比，本技术方案以一种基于空间比例的驾驶人姿态特征提取方法来提取驾驶人信息，为以驾驶人为中心的新一代辅助驾驶系统可有效地解决交通事故、交通拥堵等交通问题提供了重要的参数依据。

具体实施方式

下面结合具体实施方式对本技术方案作进一步说明：

第一步：采用同态滤波器对Logitech C905 CCD摄影机获取的驾驶人图像进行预处理，以消除光照不稳定对驾驶人姿态特征提取的影响。同态滤波器首先将二维驾驶人图像变换成对数形式，在频域里对低频和高频信息进行处理，然后通过Fourier反变换将处理后的驾驶人图像恢复到时域。

第二步：提取驾驶人姿态图像中的肤色区域，例如驾驶人的脸部区域、右手区域和左手区域。采用公式(6)将驾驶人姿态图像中的肤色和非肤色像素从RGB空间(r，g，b)归一化到空间(r′，g′，b′)，即：

$r^{\&prime;}=\frac{255r}{r+g+b},$ $g^{\&prime;}=\frac{255g}{r+g+b},$ $b^{\&prime;}=\frac{255b}{r+g+b}.$

第三步：对经过归一化处理后的驾驶人姿态图像进行阈值处理，以识别肤色区域，即

$\left\{\begin{array}{c}{r}^{\&prime;}>95,g^{\&prime;}>45,b^{\&prime;}>20\\ \max \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}-\min \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}>15\\ r^{\&prime;}-g^{\&prime;}>15,r^{\&prime;}>b^{\&prime;}\end{array}\right..$

第四步：经过阈值处理后的驾驶人姿态图像中只包括脸部区域、右手区域和左手区域，采用Canny算法提取驾驶人姿态图像中的肤色区域边缘，令E(x，y)为Canny边缘检测后的二值图像，删除小连通区域后的二值图像为M(x，y)。

第五步：令

and1≤i≤3，分别为驾驶人姿态图像中的第i个连通区域上的横坐标最小值、横坐标最大值、纵坐标最小值和纵坐标最大值，则第i个连通区域的近似质心坐标如下：

$\left\{\begin{array}{c}{x}_i=\frac{x_{\max }^i-x_{\min }^i}{2}\\ y_i=\frac{y_{\max }^i-y_{\min }^i}{2}\end{array}\right..$

第六步：令(x₁，y₁)，(x₂，y₂)和(x₃，y₃)分别为采用公式(3)计算的驾驶人姿态图像中头部区域、左手区域和右手区域的近似质心坐标，则左手区域和头部区域的近似质心之间的距离l₁为：

$l_1=\sqrt{{(x_2-x_1)}^2+{(y_2-y_1)}^2}.$

左手区域和右手区域的近似质心之间的距离l₂为：

$l_2=\sqrt{{(x_3-x_2)}^2+{(y_3-y_2)}^2}.$

头部区域和右手区域的近似质心之间的距离l₃为：

$l_3=\sqrt{{(x_1-x_3)}^2+{(y_1-y_3)}^2}.$

第七步：当驾驶人操作方向盘、操作档位、吃东西和打电话时，驾驶人头部、左手和右手之间距离的空间比例将发生变化，因此，基于空间比例的驾驶人姿态特征计算公式如下

$\left\{\begin{array}{c}\mathrm{feature}1=\frac{l_2}{l_1}\\ \mathrm{feature}2=\frac{l_3}{l_1}\end{array}\right.---\left(7\right)$

Claims (7)

1.一种基于空间比例的驾驶人姿态特征提取方法，其特征是包括步骤：

1)采集车内驾驶人姿态图像，并进行预处理；

2)提取驾驶人姿态图像中的肤色区域，并归一化；

3)对经过归一化处理后的驾驶人姿态图像进行阈值处理，来识别肤色区域；

4)经过阈值处理后的驾驶人姿态图像中只包括驾驶人体的肤色区域，提取驾驶人姿态图像中的肤色区域的边缘；

5)：令和

1≤i≤n，分别为驾驶人姿态图像中的第i个连通区域的横坐标最小值、横坐标最大值、纵坐标最小值和纵坐标最大值，则第i个连通区域的近似质心坐标为

$\left\{\begin{array}{c}{x}_i=\frac{x_{\max }^i-x_{\min }^i}{2}\\ y_i=\frac{y_{\max }^i-y_{\min }^i}{2}\end{array}\right.---\left(1\right)$

6)令(x₁，y₁)、(x₂，y₂)、……(x_n，y_n)分别为采用公式(1)计算的驾驶人姿态图像中第一、第二、……第n肤色区域的近似质心坐标，则

第二肤色区域和第一肤色区域的近似质心之间的距离l₁为：

$l_1=\sqrt{{(x_2-x_1)}^2+{(y_2-y_1)}^2}---\left(2\right)$

第三肤色区域和第二肤色区域的近似质心之间的距离l₂为：

$l_2=\sqrt{{(x_3-x_2)}^2+{(y_3-y_2)}^2}---\left(3\right)$

以式(2)、(3)类推，则

第n肤色区域和第n-1肤色区域的近似质心之间的距离l_n-1为：

$l_{n-1}=\sqrt{{(x_n-x_{n-1})}^2+{(y_n-y_{n-1})}^2}---\left(4\right)$

第1肤色区域和第n肤色区域的近似质心之间的距离l_n为：

$l_n=\sqrt{{(x_1-x_n)}^2+{(y_1-y_n)}^2}---\left(5\right)$

7)：当驾驶人出现动作时，各个肤色区域之间距离的空间比例将发生变化，则驾驶人姿态特征为：

$\mathrm{feature}1=\frac{l_2}{l_1},$ $\mathrm{feature}2=\frac{l_3}{l_1},\&CenterDot;\&CenterDot;\&CenterDot;,$ $\mathrm{featuren}-1=\frac{l_{n-1}}{l_1},$ $\mathrm{featuren}=\frac{l_n}{l_1}.$

2.根据权利要求1所述的基于空间比例的驾驶人姿态特征提取方法，其特征是所述步骤1)中，采用同态滤波器对采集到的驾驶人图像进行预处理：

令采集的车内驾驶人姿态图像为f(x，y)，即

$\left\{\begin{array}{c}f(x,y)=f_i(x,y)\&CenterDot;f_r(x,y)\\ 0<f_i(x,y)<\&infin;,0<f_r(x,y)<1\end{array}\right.---\left(6\right)$

其中，f_i(x，y)为照明函数，f_r(x，y)为反射函数；对式(6)取对数并进行傅立叶变换得

F_ln(u，v)＝F_i，ln(u，v)+F_r，ln(u，v)                        (7)

照明函数F_i，ln(u，v)的频谱特性主要集中在低频段，而反射F_r，ln(u，v)的频谱特性主要集中在高频段；由于照明不均，则图像上各部分的平均亮度会有起伏；通与同态滤波器函数H(u，v)相乘，则可以在频域上削弱照明函数的成分，同时增强反射函数的频谱成分，以达到增加图像对比度的目的，即

G_ln(u，v)＝F_i，ln(u，v)·H(u，v)+F_r，ln(u，v)·H(u，v)                    (8)

对式(8)进行傅立叶反变换，则得同态滤波器预处理后的驾驶人图像，即

g(x，y)＝exp{F^-1{G_ln(u，v)}}                    (9)。

3.根据权利要求1所述的基于空间比例的驾驶人姿态特征提取方法，其特征是所述步骤2)中，提取驾驶人姿态图像中的肤色区域，并归一化：

采用公式(10)将驾驶人姿态图像中的肤色和非肤色像素从RGB空间(r，g，b)归一化到空间(r′，g′，b′)，即：

$r^{\&prime;}=\frac{255r}{r+g+b},$ $g^{\&prime;}=\frac{255g}{r+g+b},$ $b^{\&prime;}=\frac{255b}{r+g+b}---\left(10\right)$

4.根据权利要求1所述的基于空间比例的驾驶人姿态特征提取方法，其特征是所述步骤3)中，设阀值为A，则，

$\left\{\begin{array}{c}{r}^{\&prime;}>95,g^{\&prime;}>45,b^{\&prime;}>20\\ \max \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}-\min \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}>A\\ r^{\&prime;}-g^{\&prime;}>15,r^{\&prime;}>b^{\&prime;}\end{array}\right..$

5.根据权利要求1所述的基于空间比例的驾驶人姿态特征提取方法，其所述步骤4)中，采用Canny算法提取驾驶人姿态图像中的肤色区域边缘：

令E(x，y)为Canny边缘检测后的二值图像，采用8邻域算法删除连通区小于2的区域，并令处理后的二值图像为M(x，y)。

6.根据权利要求1所述的基于空间比例的驾驶人姿态特征提取方法，其特征是所述驾驶人姿态图像中的肤色区域包括驾驶人的脸部区域、右手区域和左手区域。

7.根据权利要求2所述的基于空间比例的驾驶人姿态特征提取方法，其特征是式(9)中，采用高斯型高通滤波器函数作为同态滤波器函数。