CN102610057A - 车载信息智能处理系统和方法 - Google Patents

Abstract

本发明涉及一种车载信息智能处理系统，其中包括疲劳判断模块以及数据采集处理模块，所述数据采集处理模块包括采集驾驶员脸部图像的第一视频子模块、将所述驾驶员脸部图像发送给所述疲劳判断模块的输出子模块以及根据所述疲劳判断模块的疲劳提示进行报警的报警子模块；所述疲劳判断模块包括存储疲劳判断算法的数据库以及根据所述驾驶员脸部图像和所述疲劳判断算法进行疲劳判断、得到所述疲劳提示的判断子模块。本发明还涉及一种车载信息智能处理方法，本发明的车载信息智能处理系统和方法采用视频非接触检测、体积小、成本低，并且可以准确的对驾驶员的疲劳驾驶进行检测和声光警示。

Description

车载信息智能处理系统和方法

技术领域

本发明涉及车载控制领域，更具体地说，涉及一种车载信息智能处理系统和方法。

背景技术

当今社会，车祸已成为全世界引起死亡和伤害的主要原因之一，据统计，每年我国因交通事故而死亡人数都要超过10万人，交通安全问题已成为制约我国社会和谐发展的焦点问题。安全行车取决于多方面的因素，除了车况、路况等自然因素外，起决定作用的还是驾驶员的人为因素，大量的分析研究表明驾驶员疲劳驾驶是引发交通事故的主要原因之一。

目前，国内外有一些汽车厂商和研究机构投入大量人力、物力开展驾驶员疲劳检测的研究工作。典型的有，VOLVO汽车公司推出的“驾驶员警示系统”，该系统可根据行车状况及时地在驾驶员进入睡眠前给予警示；有的驾驶员疲劳检测装置依据压力传感器、图像传感器或酒精传感器获取驾驶员状态信号，再由微控制器判断驾驶员是否进入疲劳状态或者酒后开车，最后确定是否报警；有的驾驶员疲劳检测装置通过检测生物体信号数据，依据信号波形的变化来检测疲劳状态，可以定量分析驾驶员的疲劳程度；有的驾驶员疲劳检测装置通过由单片机控制的反射式红外线传感器自动距离检测方法，来检测驾驶员在常规坐姿下的头部位置，判断驾驶员是否在疲劳驾驶状态中，如果检测驾驶员的确处于疲劳状态，则输出报警信号以此警醒驾驶员注意；还有的驾驶员疲劳检测装置通过检测人眼状态来判断驾驶员是否在疲劳驾驶状态中，结合FPGA的硬件设计实现低成本、实时的疲劳状态检测与报警。

尽管上述已公开的驾驶员疲劳检测技术方案为减少交通事故发挥了一定的作用，但是现有技术有的采用接触式检测方法而干扰驾驶员的正常行为；有的系统复杂或体积庞大而不便于实现车载；有的系统价格昂贵而不便于推广应用；有的系统功能过于单一导致实用性能差；有的系统实时性或准确性不高造成系统的检测率过低，在实际应用过程中经常出现误检、漏检现象。

发明内容

本发明要解决的技术问题在于，针对现有技术的车载系统的驾驶员疲劳检测装置的采用接触式检测、体积大、价格昂贵以及准确性不高的缺陷，提供一种基于Davinci平台具有对疲劳驾驶发出警示的车载信息智能处理系统和方法。

本发明解决其技术问题所采用的技术方案是：构造一种车载信息智能处理系统，其中包括疲劳判断模块以及数据采集处理模块，所述数据采集处理模块包括采集驾驶员脸部图像的第一视频子模块；所述疲劳判断模块包括存储疲劳判断算法的数据库以及根据所述驾驶员脸部图像和所述疲劳判断算法进行疲劳判断、得到疲劳提示的判断子模块；所述数据采集处理模块还包括根据所述疲劳提示进行报警的报警子模块。

在本发明所述的车载信息智能处理系统中，所述判断子模块包括：对所述驾驶员脸部图像的亮度进行亮度归一化处理的光照归一化单元；对亮度归一化处理后的驾驶员脸部图像进行图像边缘化处理的边缘化处理单元；对图像边缘化处理后的驾驶员脸部图像进行人脸检测、得到人脸图像的人脸检测单元；对所述人脸图像进行图像归一化处理的人脸归一化单元；对图像归一化处理后的人脸图像进行特征定位提取的特征定位提取单元；以及根据提取的人脸图像特征进行疲劳判断的疲劳判断单元。

在本发明所述的车载信息智能处理系统中，所述疲劳判断单元包括通采用支持向量机对样本特征进行学习的支持向量机学习子单元、将所述提取的人脸图像特征输入到样本特征学习后的支持向量机中进行分类的支持向量机分类子单元以及根据分类结果进行疲劳判断的疲劳判断子单元。

在本发明所述的车载信息智能处理系统中，所述提取的人脸图像特征包括左眼特征、右眼特征以及嘴巴特征。

在本发明所述的车载信息智能处理系统中，所述报警子模块包括接收所述疲劳提示的接收单元、检测所述疲劳提示的频率的检测单元以及根据所述检测单元的检测结果进行报警的报警单元。

在本发明所述的车载信息智能处理系统中所述数据采集处理模块还包括：采集周围环境图像的第二视频子模块；采集周围环境声音的音频子模块；实时获取汽车的速度、加速度以及方向信息的车况检测子模块；以及存储所述第一视频子模块、所述第二视频子模块、所述音频子模块以及所述车况检测子模块采集的数据的存储子模块；所述车况检测子模块分别与所述第二视频子模块、所述音频子模块以及所述存储子模块连接。

在本发明所述的车载信息智能处理系统中，所述数据采集处理模块还包括实时接收GPS数据、检测汽车位置的GPS子模块，所述GPS子模块与所述存储子模块连接。

本发明还涉及一种车载信息智能处理方法，其中包括步骤：S1、采集驾驶员脸部图像；S2、根据所述驾驶员脸部图像和疲劳判断算法进行疲劳判断、得到疲劳提示；S3、根据所述疲劳提示进行报警。

在本发明所述的车载信息智能处理方法中，所述步骤S2包括步骤：S21、对所述驾驶员脸部图像的亮度进行亮度归一化处理；S22、对亮度归一化处理后的驾驶员脸部图像进行图像边缘化处理；S23、对图像边缘化处理后的驾驶员脸部图像进行人脸检测、得到人脸图像；S24、对所述人脸图像进行图像归一化处理；S25、对图像归一化处理后的人脸图像进行特征定位提取；S26、根据提取的人脸图像特征进行疲劳判断。

在本发明所述的车载信息智能处理方法中，所述步骤S26包括步骤：S261、采用支持向量机对样本特征进行学习；S262、将所述提取的人脸图像特征输入到样本特征学习后的支持向量机中进行分类；S263、根据分类结果进行疲劳判断；所述提取的人脸图像特征包括左眼特征、右眼特征以及嘴巴特征。

实施本发明的车载信息智能处理系统和方法，具有以下有益效果：采用视频非接触检测、体积小、成本低，并且可以准确的对驾驶员的疲劳驾驶进行检测和警示。

采用多种疲劳判断算法使得提取的特征更加准确。采用支持向量机进行学习判断使得检测结果更加准确。通过检测疲劳提示的频率进行报警判断能够有效的避免误报警。对车体周围环境和车况的检测和存储为事故分析提供了必要的证据。通过车况检测子模块自动启动视频装置和存储装置，更加方便和节能。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明车载信息智能处理系统的第一优选实施例的结构示意图；

图2是本发明车载信息智能处理系统的优选实施例的判断子模块的结构示意图；

图3是本发明车载信息智能处理系统的优选实施例的疲劳判断子单元的结构示意图；

图4是本发明车载信息智能处理系统的第二优选实施例的结构示意图；

图5是本发明车载信息智能处理系统的第三优选实施例的结构示意图；

图6是本发明车载信息智能处理系统的第四优选实施例的结构示意图；

图7是本发明车载信息智能处理系统的第五优选实施例的结构示意图；

图8是本发明车载信息智能处理系统的疲劳检测方法的流程图；

图9是本发明车载信息智能处理系统的优选实施例的工作流程图；

图10是本发明车载信息智能处理方法的第一优选实施例的流程图；

图11是本发明车载信息智能处理方法的第二优选实施例的流程图；

图12是本发明车载信息智能处理方法的第三优选实施例的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在图1所示的本发明车载信息智能处理系统的第一优选实施例的结构示意图中，所述车载信息智能处理系统包括疲劳判断模块2以及数据采集处理模块1，数据采集处理模块1包括第一视频子模块11以及报警子模块12，第一视频子模块11用于采集驾驶员脸部图像，报警子模块12用于根据所述疲劳判断模块2的疲劳提示进行报警；疲劳判断模块2包括数据库21以及判断子模块22，数据库21用于存储疲劳判断算法，判断子模块22用于根据所述驾驶员脸部图像和所述疲劳判断算法进行疲劳判断、得到所述疲劳提示。本发明的车载信息智能处理系统基于Davinci DM6446实现，Davinci系统由DSP处理器和ARM处理器双核组成，其中，DSP处理器负责方法处理工作，即疲劳判断模块2；ARM处理器负责操作系统运行工作，即数据采集处理模块1。在DSP处理器端，疲劳检测方法、视频编码方法和音频编码方法被封装成库，然后集成到可执行程序codec server中；在ARM处理器端，首先加载codec server，然后依据codec engine机制调用DSP处理器端的各个方法模块，实现疲劳状态检测和音视频编码功能。同时，ARM处理器负责车载信息智能处理系统的各个外围模块，包括第一视频子模块11、报警子模块12等。该车载信息智能处理系统工作时，由第一视频子模块11采集驾驶员脸部图像的视频数据传递给疲劳判断模块2的判断子模块22，判断子模块22通过数据库21和驾驶员脸部图像来检测驾驶员的是否疲劳驾驶，并将结果反馈给报警子模块12，报警子模块12接收到反馈后，如果存在疲劳状态，则驱动报警，否则重复上面的检测步骤。

在图2所示的本发明车载信息智能处理系统的优选实施例的判断子模块22的结构示意图中，判断子模块22包括光照归一化单元221、边缘化处理单元222、人脸检测单元223、人脸归一化单元224、特征定位提取单元225以及疲劳判断单元226。光照归一化单元221用于对所述驾驶员脸部图像的亮度进行亮度归一化处理，边缘化处理单元222用于对亮度归一化处理后的驾驶员脸部图像进行图像边缘化处理，人脸检测单元223用于对图像边缘化处理后的驾驶员脸部图像进行人脸检测、得到人脸图像，人脸归一化单元224用于对所述人脸图像进行图像归一化处理，特征定位提取单元225用于对图像归一化处理后的人脸图像进行特征定位提取，疲劳判断单元226用于根据提取的人脸图像特征进行疲劳判断。所述提取的人脸图像特征包括左眼特征、右眼特征以及嘴巴特征。

判断子模块22工作的详细步骤如图8所示：

(1)图像采集

第一视频子模块11通过I2C操作摄像机，采集人脸灰度图像，然后将图像数据传递给判断子模块22。

(2)图像预处理

预处理阶段主要包括两个方面的工作：

第一、光照归一化处理

光照归一化单元221依据图像灰度均值和方差将图像的亮度进行归一化，避免光源强度不同对疲劳检测效果的影响。设图像的标准灰度均值和方差分别为M0、V0，当前图像的灰度均值和方差分别为M、V，归一化前后的像素灰度为f0、f，则归一化公式为：

$f=M_0+(f_0-M)\×\sqrt{V_0/V}$

本发明中，设定M0＝130、V0＝37。

第二、图像边缘化处理

边缘化处理单元222采用的Canny方法是基于最优化思想推出的边缘检测算子，力求在边缘定位和噪声抑制两方面取得平衡。但由于图像采集和传输过程存在噪声，导致Canny算子经常检测到虚假边缘，为此，在边缘化处理单元222中增加了Butterworth低通滤波步骤，滤除图像噪声，同时增加了线性变换步骤，作用是增大图像灰度分布的动态变换范围，提高边缘灰度的变换速率，从而增强边缘细节，这样改进后的方法细节提取能力更强，具体步骤如下：

Step1：用二阶Butterworth低通滤波器对原图像f(x，y)进行滤波，得到新图像f1(x，y)。设图像的宽度和高度分别为W和H，选择滤波器的传递函数为：

$H(u,v)=\frac{1}{1+(\sqrt{2}-1){[D(u,v)/50]}^4}$

其中， $D(u,v)=\sqrt{{(u-W/2)}^2+{(v-H/2)}^2}$

滤波过程用公式描述如下：

$G(u,v)=\frac{1}{H\×W}\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}f(x,y)e^{-j2\mathrm{\π}(\mathrm{ux}/W+\mathrm{vy}/H)}$

G₁(u，v)＝G(u，v)×H(u，v)

$f_1(x,y)=\underset{u=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{H-1}{\mathrm{\Σ}}}{G}_1(u,v)e^{j2\mathrm{\π}(\mathrm{ux}/W+\mathrm{vy}/H)}$

Step2：选择合适的高斯函数G(x，y)平滑图像f1(x，y)，得到的图像为I(x，y)，用公式描述为：

$G(x,y)=\frac{1}{2\mathrm{\π}}{e}^{-2(x^2+y^2)}$

I(x，y)＝G(x，y)*f₁(x，y)，其中*表示卷积运算

Step3：对I(x，y)进行线性变换，得到图像I1(x，y)，用公式描述为：

I₁(x，y)＝(I(x，y)-min)*255/(max-min)

其中，min和max分别为图像I(x，y)中的灰度最小值和最大值；

Step4：求图像I1(x，y)中每个像素点的梯度，包括幅度M(i，j)和方向θ(i，j)，用公式描述为：

g_x(i，j)＝(I₁(i，j+1)-I₁(i，j)+I₁(i+1，j+1)-I₁(i+1，j))/2

g_y(i，j)＝(I₁(i，j)-I₁(i+1，j)+I₁(i，j+1)-I₁(i+1，j+1))/2

$M(i,j)=\sqrt{g_x^2(i,j)+g_y^2(i,j)}$

θ(i，j)＝arctan(g_y(i，j)/g_x(i，j))

Step5：对梯度图像进行非极大值抑制，即在图像I1(x，y)的每个像素点的8邻域内按梯度方向比较梯度幅度，如果在梯度方向上的两个像素的幅值均小于I1(x，y)的幅值，则其有可能是边缘像素，否则肯定不是边缘像素，将其梯度幅度置为0。

Step6：按照所求取的角度θ追踪边缘，边缘追踪采用双阈值追踪法，若M≥T2，则该点判为边缘；若M＜T1，则该点为非边缘点；若T1≤M＜T2，考察其邻域是否有强边缘点的存在，若有，该点判为边缘点，若没有，该点判为非边缘点。本发明中设定T1＝0.4，T2＝0.8。

(3)人脸检测

人脸检测单元223采用广义Hough变换，检测人脸椭圆区域。椭圆可以由5个参数描述：中心(x0，y0)，长轴长度a，短轴长度b，长轴与x轴正方向的夹角θ，其参数空间为(x0，y0，a，b，θ)。人脸椭圆检测步骤为：首先在边缘图的二维平面上，计算图像上每一点与边缘点的最大距离，所有点中最大距离最小的点即是椭圆中心(x0，y0)，该最大距离即是椭圆长轴长度a。然后将每一个边缘点的数值和得到的3个椭圆参数代入椭圆方程：

$\frac{{[(x-x_0)\cos \mathrm{\θ}+(y-y_0)\sin \mathrm{\θ}]}^2}{a^2}+\frac{{[-(x-x_0)\sin \mathrm{\θ}+(y-y_0)\cos \mathrm{\θ}]}^2}{b^2}=1$

在二维参数空间上对参数b、θ进行统计，得到峰值超过一定阈值的一组参数即为人脸椭圆参数。

(4)人脸裁剪

人脸归一化单元224对于检测到的人脸，对其进行裁剪和归一化，步骤如下：

Step1：以椭圆中心为中心，将图像逆时针旋转90°-θ；

Step2：设图像旋转后短轴的两个端点坐标分别为(x1，y0)、(x2，y0)，则裁剪人脸矩形窗的四个顶点坐标为(x1，y0-0.6b)、(x2，y0-0.6b)、(x1，y0+b)、(x2，y0+b)，依据该矩形窗裁剪人脸；

Step3：依据双线性插值方法，将裁剪后的人脸尺寸缩放到统一的尺寸，本发明中缩放后的人脸尺寸为120×192。

同时，为了后续检测人眼的需要，将人脸的边缘图按照相同的方法裁剪。由于两幅图像在裁剪时所有的变换关系一致，不同的只是各坐标位置对应的灰度值，故边缘图的裁剪只增加少量的运算时间。

(5)人眼定位与嘴巴定位

由于瞳孔是圆形，所以特征定位提取单元225可以依据Hough圆检测方法检测人眼。圆的参数空间是三维空间，有圆心纵坐标y0、圆心横坐标x0、半径r三个参数。圆的方程为：

(x-x₀)²+(y-y₀)²＝r²

由于人眼只存在与人脸的上半部分，所以人眼检测过程只在归一化后的边缘图的上半部分进行。检测方法是：首先在参数空间里建立一个三维的累加器组A，其元素为A(x0，y0，r)；然后对于参数x0、y0，结合图像中边缘点(x，y)，根据圆的方程计算对应的r值，并对A(x0，y0，r)进行累加，A(x0，y0，r)的值即为在(x0，y0，r)处共圆的像素点数；最后根据A(x0，y0，r)的值判定点(x0，y0)处是否存在圆，本发明中设定共圆点数超过20则判定该位置存在圆，否则判定该处不存在圆。

事实上，人脸边缘图中经常存在其他的圆，譬如鼻孔、眼镜的反光光斑等，因此，对于检测到的圆，需进行验证才能确定其是否为人眼。验证的标准有三条：

第一，人眼所在圆的半径在3～7之间；

第二，人眼所在圆的灰度均值小于120，方差大于7；

第三，左右两眼的半径之差小于3，两眼水平间距在40～80之间，两眼垂直间距小于20。

依据上述标准，定位准确的人眼位置。

特征定位提取单元225检测到左右两眼后，依据“三停五眼”的比例关系，大致确定嘴巴的位置。假定左右人眼的位置分别为(ELx，ELy)、(ERx，ERy)，则嘴巴的位置(Mx，My)为：

$\left\{\begin{array}{c}\mathrm{Mx}=\frac{\mathrm{ELx}+\mathrm{ERx}}{2}\\ \mathrm{My}=\frac{\mathrm{ELy}+\mathrm{ERy}}{2}+\mathrm{ERx}-\mathrm{ELx}\end{array}\right.$

定位到两眼和嘴巴后，按设定的尺寸裁剪两眼图像和嘴巴图像，本发明选择的人眼尺寸为32×16，嘴巴尺寸为32×32，对于裁剪后的三幅图像，特征定位提取单元225分别采用Gabor变换提取特征，选用的Gabor函数的实部和虚部分别为：

$G_r(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\δ}}^2}{e}^{-\frac{x^2+y^2}{{2\mathrm{\δ}}^2}}\cos \left[\frac{\mathrm{\πf}}{3\mathrm{\δ}}(x\cos \mathrm{\θ}+y\sin \mathrm{\θ})\right]$

$G_i(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\δ}}^2}{e}^{-\frac{x^2+y^2}{{2\mathrm{\δ}}^2}}\sin \left[\frac{\mathrm{\πf}}{3\mathrm{\δ}}(x\cos \mathrm{\θ}+y\sin \mathrm{\θ})\right]$

由Gabor函数对图像进行滤波，设原图像为I(x，y)，则滤波后图像I1(x，y)为：

其中*表示卷积运算对于滤波后的图像，计算其均值和方差，将其作为Gabor特征，一幅滤波图像可以得到2个Gabor特征。

本发明所选用的Gabor参数为：δ＝π，f＝2，4，8共三个尺度，θ＝0°，45°，90°，135°共四个方向，这样可以构造12个Gabor滤波器组。对于一幅图像，特征定位提取单元225可以得到12幅滤波图像，共计24个Gabor特征。这样，左眼、右眼、嘴巴图像共可提取72个Gabor特征。

在图3所示的本发明车载信息智能处理系统的优选实施例的疲劳判断子单元2263的结构示意图中疲劳判断单元226包括支持向量机学习子单元2261、支持向量机分类子单元2262以及疲劳判断子单元2263，支持向量机学习子单元2261用于采用支持向量机对样本特征进行学习，支持向量机分类子单元2262用于将所述提取的人脸图像特征输入到样本特征学习后的支持向量机中进行分类，疲劳判断子单元2263用于根据分类结果进行疲劳判断。如图8所示，本发明采用SVM法(support vector machine：支持向量机)进行特征分类进而进行疲劳判断。首先，在训练阶段，支持向量机学习子单元2261选取足够多的正样本(疲劳状态)和负样本(非疲劳状态)，提取两眼和嘴巴区域的Gabor特征，分别进行SVM训练，SVM训练采用一对一的分类方法，选择径向基函数作为SVM的核函数，训练阶段共计得到3个SVM分类器，分别是左眼分类器、右眼分类器和嘴巴分类器。其中分类器输出1表示疲劳状态，0表示非疲劳状态；在疲劳识别阶段，支持向量机分类子单元2262提取当前帧人脸图像两眼和嘴巴区域的Gabor特征，分别送入对应的SVM分类器，得到左眼、右眼和嘴巴的分类结果，三个分类结果采用“或运算”融合，得到最终的分类结果，疲劳判断子单元2263根据分类结果进行疲劳判断。

在图4所示的本发明车载信息智能处理系统的第二优选实施例的结构示意图中，报警子模块12包括接收单元121、检测单元122以及报警单元123，接收单元121用于接收所述疲劳提示，检测单元122用于检测所述疲劳提示的频率，报警单元123用于根据所述检测单元122的检测结果进行报警。报警单元123包括语音报警器和LED指示灯。接收单元121接收到疲劳检测结果后，检测单元122可以选择对检测结果进行时间域滤波，如在连续的1秒时间内，如果检测到5次疲劳状态，则报警单元123驱动报警信号；否则，报警单元123不驱动报警。通过检测单元122检测疲劳提示的频率进行报警判断能够有效的避免误报警。可采用语音报警和LED指示灯报警双重报警方式确保对驾驶者的有效刺激。

在图5、6、7所示的本发明车载信息智能处理系统的优选实施例的结构示意图中，数据采集处理模块1还包括第二视频子模块13、音频子模块14、存储子模块16、车况检测子模块15以及GPS子模块16，第二视频子模块13用于采集周围环境图像，音频子模块14用于采集周围环境声音，车况检测子模块15用于实时获取汽车的速度、加速度以及方向信息，存储子模块16用于存储第一视频子模块11、第二视频子模块13、音频子模块14以及车况检测子模块15采集的数据，GPS子模块17用于实时接收GPS数据、检测汽车位置。车况检测子模块15、第二视频子模块13、音频子模块14以及GPS子模块17分别于存储子模块16连接。车况检测子模块15分别与第二视频子模块13、音频子模块14以及存储子模块16连接。本发明的车载信息智能处理系统使用时，存储子模块16随时记录GPS子模块17和车况检测子模块15的车况信息，存储介质可为SD存储卡等。当发现车况出现异常时，如加速度过大，速度过快等，就会自动打开第二视频子模块13和音频子模块14采集记录汽车周围的环境信息，为事故分析提供了必要的证据。通过车况检测子模块15自动启动视频装置和存储装置，使得视频装置和存储装置不用长时间处于开启状态，更加方便和节能。

下面通过图9具体说明本发明的车载信息智能处理系统的工作流程，

(1)汽车启动后，首先对数据采集处理模块1的各子模块进行初始化，包括GPS子模块17、车况检测子模块15、存储子模块16、视频子模块、音频子模块15、语音报警器和LED指示灯的初始化。

(2)数据采集处理模块1通过I2C总线控制音视频采集子模块的各项参数，然后获取两路视频数据和一路音频数据。其中，

采集到的驾驶员头部图像的视频数据传递给DSP处理器的判断子模块22，判断子模块22通过数据库21和驾驶员脸部图像来检测驾驶员的是否疲劳驾驶，并将结果反馈给报警子模块12，报警子模块12接收到反馈后，如果存在疲劳状态，则驱动声光报警，否则重复上面的检测步骤。

采集到的车辆周围状态的视频数据和音频数据传递给DSP处理器的视频编码方法模块和音频编码方法模块，分别进行视频编码和音频编码，编码后的数据封装为AVI格式反馈给数据采集处理模块1，数据采集处理模块1将音视频数据存储在存储子模块16中。

(3)数据采集处理模块1利用UART串口接收GPS子模块17和车况检测子模块15的数据，并操作存储子模块16，将GPS信息和车况检测信息存储在存储子模块16中。

为了保证音视频录像含有尽可能多的关键帧图像，同时减少系统资源的消耗，本发明采用MJPEG标准视频编码方法和G.711标准音频编码方法，对于编码后的视频流和音频流，按照AVI多媒体格式封装成多媒体数据流，存储在存储子模块16中。

本发明还涉及一种车载信息智能处理方法，在图10所示的本发明车载信息智能处理方法的第一优选实施例的流程图中，所述车载信息智能处理方法开始于步骤1000；随后到下一步骤1001，采集驾驶员脸部图像；随后到下一步骤1002，根据所述驾驶员脸部图像和疲劳判断算法进行疲劳判断、得到疲劳提示；随后到下一步骤1003，根据所述疲劳提示进行报警；最后该方法结束于步骤1004。具体的方法实施流程和效果与车载信息智能处理系统的第一优选实施例相同。

在图11所示的本发明车载信息智能处理方法的第二优选实施例的流程图中所述车载信息智能处理方法开始于步骤1100；随后到下一步骤1101，采集驾驶员脸部图像；随后到下一步骤1102，对所述驾驶员脸部图像的亮度进行亮度归一化处理；随后到下一步骤1103，对亮度归一化处理后的驾驶员脸部图像进行图像边缘化处理；随后到下一步骤1104，对图像边缘化处理后的驾驶员脸部图像进行人脸检测、得到人脸图像；随后到下一步骤1105，对所述人脸图像进行图像归一化处理；随后到下一步骤1106，对图像归一化处理后的人脸图像进行特征定位提取；随后到下一步骤1107，根据提取的人脸图像特征进行疲劳判断；随后到下一步骤1108，根据所述疲劳提示进行报警；最后该方法结束于步骤1109。具体的方法实施流程和效果与车载信息智能处理系统的第二优选实施例相同。

在图12所示的本发明车载信息智能处理方法的第三优选实施例的流程图中所述车载信息智能处理方法开始于步骤1200；随后到下一步骤1201，采集驾驶员脸部图像；随后到下一步骤1202，对所述驾驶员脸部图像的亮度进行亮度归一化处理；随后到下一步骤1203，对亮度归一化处理后的驾驶员脸部图像进行图像边缘化处理；随后到下一步骤1204，对图像边缘化处理后的驾驶员脸部图像进行人脸检测、得到人脸图像；随后到下一步骤1205，对所述人脸图像进行图像归一化处理；随后到下一步骤1206，对图像归一化处理后的人脸图像进行特征定位提取；随后到下一步骤1207，采用支持向量机对样本特征进行学习；随后到下一步骤1208，将所述提取的人脸图像特征输入到样本特征学习后的支持向量机中进行分类；随后到下一步骤1209，根据分类结果进行疲劳判断；随后到下一步骤1210，根据分类结果进行疲劳判断；随后到下一步骤1211，根据所述疲劳提示进行报警；最后该方法结束于步骤1212。具体的方法实施流程和效果与车载信息智能处理系统的第三优选实施例相同。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种车载信息智能处理系统，其特征在于，包括疲劳判断模块(2)以及数据采集处理模块(1)，

所述数据采集处理模块(1)包括采集驾驶员脸部图像的第一视频子模块(11)；

所述疲劳判断模块(2)包括存储疲劳判断算法的数据库(21)以及根据所述驾驶员脸部图像和所述疲劳判断算法进行疲劳判断、得到疲劳提示的判断子模块(22)；

所述数据采集处理模块(1)还包括根据所述疲劳提示进行报警的报警子模块(12)。

2.根据权利要求1所述的车载信息智能处理系统，其特征在于，所述判断子模块(22)包括：

对所述驾驶员脸部图像的亮度进行亮度归一化处理的光照归一化单元(221)；

对亮度归一化处理后的驾驶员脸部图像进行图像边缘化处理的边缘化处理单元(222)；

对图像边缘化处理后的驾驶员脸部图像进行人脸检测、得到人脸图像的人脸检测单元(223)；

对所述人脸图像进行图像归一化处理的人脸归一化单元(224)；

对图像归一化处理后的人脸图像进行特征定位提取的特征定位提取单元(225)；以及根据提取的人脸图像特征进行疲劳判断的疲劳判断单元(226)。

3.根据权利要求2所述的车载信息智能处理系统，其特征在于，所述疲劳判断单元(226)包括采用支持向量机对样本特征进行学习的支持向量机学习子单元(2261)、将所述提取的人脸图像特征输入到样本特征学习后的支持向量机中进行分类的支持向量机分类子单元(2262)以及根据分类结果进行疲劳判断的疲劳判断子单元(2263)。

4.根据权利要求2所述的车载信息智能处理系统，其特征在于，所述提取的人脸图像特征包括左眼特征、右眼特征以及嘴巴特征。

5.根据权利要求1所述的车载信息智能处理系统，其特征在于，所述报警子模块(12)包括接收所述疲劳提示的接收单元(121)、检测所述疲劳提示的频率的检测单元(122)以及根据所述检测单元(122)的检测结果进行报警的报警单元(123)。

6.根据权利要求1所述的车载信息智能处理系统，其特征在于，所述数据采集处理模块(1)还包括：

采集周围环境图像的第二视频子模块(13)；

采集周围环境声音的音频子模块(14)；

实时获取汽车的速度、加速度以及方向信息的车况检测子模块(15)；以及存储所述第一视频子模块(11)、所述第二视频子模块(13)、所述音频子模块(14)以及所述车况检测子模块(15)采集的数据的存储子模块(16)；

所述车况检测子模块(15)分别与所述第二视频子模块(13)、所述音频子模块(14)以及所述存储子模块(16)连接。

7.根据权利要求1所述的车载信息智能处理系统，其特征在于，所述数据采集处理模块(1)还包括实时接收GPS数据、检测汽车位置的GPS子模块(17)，所述GPS子模块(17)与所述存储子模块(16)连接。

8.一种车载信息智能处理方法，其特征在于，包括步骤：

S1、采集驾驶员脸部图像；

S2、根据所述驾驶员脸部图像和疲劳判断算法进行疲劳判断、得到疲劳提示；

S3、根据所述疲劳提示进行报警。

9.根据权利要求8所述的车载信息智能处理方法，其特征在于，所述步骤S2包括步骤：

S21、对所述驾驶员脸部图像的亮度进行亮度归一化处理；

S22、对亮度归一化处理后的驾驶员脸部图像进行图像边缘化处理；

S23、对图像边缘化处理后的驾驶员脸部图像进行人脸检测、得到人脸图像；

S24、对所述人脸图像进行图像归一化处理；

S25、对图像归一化处理后的人脸图像进行特征定位提取；

S26、根据提取的人脸图像特征进行疲劳判断。

10.根据权利要求9所述的车载信息智能处理方法，其特征在于，所述步骤S26包括步骤：

S261、采用支持向量机对样本特征进行学习；

S262、将所述提取的人脸图像特征输入到样本特征学习后的支持向量机中进行分类；

S263、根据分类结果进行疲劳判断；

所述提取的人脸图像特征包括左眼特征、右眼特征以及嘴巴特征。

Images