CN105632104A - 一种疲劳驾驶检测系统和方法 - Google Patents

Abstract

本发明公开了一种疲劳驾驶检测系统和方法。其中系统包括：图像采集单元，用于采集驾驶员的图像视频流；图像处理单元，用于从驾驶员的图像视频流中提取多个图像帧，并从中分析得到驾驶员的面部特征参数；存储单元，用于存储面部特征标准参数；疲劳评价单元，用于根据驾驶员的面部特征标准参数和面部特征实时参数，或根据驾驶员的面部特征实时参数计算出驾驶员的疲劳评价值；报警单元，用于在疲劳评价值达到或超过疲劳驾驶阈值时发出报警提示。该技术方案可以实时、可靠、高效地进行疲劳驾驶检测，及时发现驾驶员的疲劳驾驶行为并进行警示，大大提升了驾驶员驾驶的安全性。

Description

一种疲劳驾驶检测系统和方法

技术领域

本发明涉及疲劳驾驶检测领域，特别涉及一种疲劳驾驶检测系统和方法。

背景技术

随着交通运输业的发展，交通事故已成为当前各国所面临的严重问题。据世界卫生组织统计，全世界每年因交通事故导致的死亡人数达60万，直接经济损失约125亿美元，在所有的交通事故中，因疲劳驾驶而造成的交通事故占总数的20％左右，占特大交通事故的40％以上。正因如此，研究疲劳驾驶检测设备和消除疲劳驾驶具有重要的现实意义。现有技术中，多采用检测车辆行驶过程中的行为表现等方式来实现疲劳驾驶检测，而少有直接对驾驶员是否处于疲劳驾驶状态的检测。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的疲劳驾驶检测系统和方法

依据本发明的一个方面，提供了一种疲劳驾驶检测系统，包括：

图像采集单元，用于采集驾驶员的初始面部图像视频流；

图像处理单元，用于从驾驶员的初始面部图像视频流中抽样提取多个图像帧，并从中分析得到驾驶员的面部特征标准参数；

存储单元，用于存储所述面部特征标准参数；

所述图像采集单元，还用于在车辆行驶过程中采集驾驶员的实时面部图像视频流；

所述图像处理单元，还用于以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数；

该系统还包括：疲劳评价单元，用于根据驾驶员的面部特征标准参数和面部特征实时参数，或根据驾驶员的面部特征实时参数计算出驾驶员的疲劳评价值；

报警单元，用于在疲劳评价值达到或超过疲劳驾驶阈值时发出报警提示。

可选地，所述面部特征标准参数包括如下的一种或多种：驾驶员的最大上下眼睑高度h，驾驶员的初始眨眼频率v，驾驶员的初始面部长度l；

当所述面部特征标准参数包括驾驶员的最大上下眼睑高度h时，所述面部特征实时参数包括：驾驶员的实时上下眼睑高度H；所述疲劳评价单元包括眼睛开合度评价模块和/或眼睛持续闭合时间评价模块；

所述眼睛开合度评价模块，用于计算驾驶员的实时眼睛开合度H/h×100％；以及统计在采样时间T内，驾驶员眼睛开合度小于预设开合度的时间t，并计算t/T×100％，将得到的值记为y₁；若y₁小于第一预设值，则令f₁＝0；若y₁大于或等于第一预设值，则令f₁＝1；其中f₁即为与驾驶员的眼睛开合度相应的疲劳评价单项值；

所述眼睛持续闭合时间评价模块，用于计算驾驶员的实时眼睛开合度H/h×100％；当实时眼睛开合度小于第二预设值时，判定驾驶员眼睛处于闭合状态；统计驾驶员眼睛处于连续闭合状态的时间y₂，若y₂小于第三预设值，则令f₂＝0；若y₂大于或等于第三预设值，则令f₂＝1；其中f₂即为与驾驶员的眼睛持续闭合时间相应的疲劳评价单项值；

当所述面部特征标准参数包括驾驶员的初始眨眼频率v时，所述面部特征实时参数包括：驾驶员的实时眨眼频率y₃；所述疲劳评价单元包括眨眼频率评价模块；

所述眨眼频率评价模块，用于在y₃小于2v时，令f₃＝0；在y₃大于或等于2v时，令f₃＝1；其中f₃即为与驾驶员的眨眼频率相应的疲劳评价单项值；

当所述面部特征实时参数包括驾驶员实时的嘴张开高度H_m和驾驶员实时的嘴宽度W时，所述疲劳评价单元包括打哈欠时间评价模块；

所述打哈欠时间评价模块，用于计算H_m/W的值，统计采样时间T内该值连续大于第四预设值的时间y_4,，若y₄小于第五预设值，则令f₄＝0；若y₄大于或等于第五预设值，则令f₄＝1；其中f₄即为与驾驶员的打哈欠时间相应的疲劳评价单项值；

当所述面部特征标准参数包括驾驶员的初始面部长度l时，所述面部特征实时参数包括：驾驶员的实时面部长度L；所述疲劳评价单元包括坐姿评价模块；

所述坐姿评价模块，用于统计L连续大于l的时间y_3,，若y₅小于第六预设值，则令f₅＝0；若y₃大于或等于第六预设值，则令f₅＝1；其中f₅即为与驾驶员的坐姿相应的疲劳评价单项值；

当所述疲劳评价单元包括一个以上的上述评价模块时，该单元还包括：加权求和模块，用于对各疲劳评价单项值进行加权求和。

可选地，该系统进一步包括：

速度检测单元，用于采集当前的行驶速度；当采集到的行驶速度小于第七预设值时，使所述图像采集单元不执行在车辆行驶过程中采集驾驶员的实时面部图像视频流的步骤，使所述图像处理单元不执行以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数的步骤，还使所述疲劳评价单元和所述报警单元处于休眠状态。

可选地，所述图像处理单元，进一步用于在从驾驶员的初始面部图像视频流和实时面部图像视频流中提取图像帧后，先对所述图像帧进行中值滤波和二值化的处理。

可选地，所述图像处理单元进一步用于确定驾驶员的眼睛和嘴在图像帧中的位置，根据确定的位置分析得到驾驶员的面部特征标准参数和面部特征实时参数。

依据本发明的另一方面，提供了一种疲劳驾驶检测方法，包括：

采集驾驶员的初始面部图像视频流；从驾驶员的初始面部图像视频流中抽样提取多个图像帧，并从中分析得到驾驶员的面部特征标准参数；存储所述面部特征标准参数；

在车辆行驶过程中，采集驾驶员的实时面部图像视频流；以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数；

根据驾驶员的面部特征标准参数和面部特征实时参数，或根据驾驶员的面部特征实时参数计算出驾驶员的疲劳评价值；

在疲劳评价值达到或超过疲劳驾驶阈值时发出报警提示。

可选地，所述面部特征标准参数包括如下的一种或多种：驾驶员的最大上下眼睑高度h，驾驶员的初始眨眼频率v，驾驶员的初始面部长度l；

当所述面部特征标准参数包括驾驶员的最大上下眼睑高度h时，所述面部特征实时参数包括：驾驶员的实时上下眼睑高度H；所述根据驾驶员的面部特征标准参数和面部特征实时参数计算出与驾驶员的疲劳评价值包括：

计算驾驶员的实时眼睛开合度H/h×100％；以及统计在采样时间T内，驾驶员眼睛开合度小于预设开合度的时间t，并计算t/T×100％，将得到的值记为y₁；若y₁小于第一预设值，则令f₁＝0；若y₁大于或等于第一预设值，则令f₁＝1；其中f₁即为与驾驶员的眼睛开合度相应的疲劳评价单项值；

和/或，

计算驾驶员的实时眼睛开合度H/h×100％；当实时眼睛开合度小于第二预设值时，判定驾驶员眼睛处于闭合状态；统计驾驶员眼睛处于连续闭合状态的时间y₂，若y₂小于第三预设值，则令f₂＝0；若y₂大于或等于第三预设值，则令f₂＝1；其中f₂即为与驾驶员的眼睛持续闭合时间相应的疲劳评价单项值；

当所述面部特征标准参数包括驾驶员的初始眨眼频率v时，所述面部特征实时参数包括：驾驶员的实时眨眼频率y₃；所述根据驾驶员的面部特征标准参数和面部特征实时参数计算出与驾驶员的疲劳评价值包括；

在y₃小于2v时，令f₃＝0；在y₃大于或等于2v时，令f₃＝1；其中f₃即为与驾驶员的眨眼频率相应的疲劳评价单项值；

当所述面部特征实时参数包括驾驶员实时的嘴张开高度H_m和驾驶员实时的嘴宽度W时，所述根据驾驶员的面部特征实时参数计算出与驾驶员的疲劳评价值包括；

计算H_m/W的值，统计采样时间T内该值连续大于第四预设值的时间y_4,，若y₄小于第五预设值，则令f₄＝0；若y₄大于或等于第五预设值，则令f₄＝1；其中f₄即为与驾驶员的打哈欠时间相应的疲劳评价单项值；

当所述面部特征标准参数包括驾驶员的初始面部长度l时，所述面部特征实时参数包括：驾驶员的实时面部长度L；所述根据驾驶员的面部特征标准参数和面部特征实时参数计算出与驾驶员的疲劳评价值包括；

统计L连续大于l的时间y_3,，若y₅小于第六预设值，则令f₅＝0；若y₃大于或等于第六预设值，则令f₅＝1；其中f₅即为与驾驶员的坐姿相应的疲劳评价单项值；

当得到多个疲劳评价单项值时，进一步对各疲劳评价单项值进行加权求和。

可选地，该方法进一步包括：

采集当前的行驶速度；当采集到的行驶速度小于第七预设值时，不执行从采集驾驶员的实时面部图像视频流开始的所有步骤。

可选地，该方法进一步包括：

在从驾驶员的初始面部图像视频流和实时面部图像视频流中提取图像帧后，先对所述图像帧进行中值滤波和二值化的处理。

可选地，该方法进一步包括：确定驾驶员的眼睛和嘴在图像帧中的位置，根据确定的位置分析得到驾驶员的面部特征标准参数和面部特征实时参数。

由上述可知，本发明的技术方案，通过设立疲劳评价阈值，当计算得到的疲劳评价值超过该阈值时，判断驾驶员处于疲劳驾驶状态，具体地，根据驾驶员的面部特征标准参数和面部特征实时参数，或只根据驾驶员的面部特征实时参数计算出与驾驶员的疲劳评价值，其中，由图像采集单元采集驾驶员的初始面部图像视频流，图像处理单元从驾驶员的初始面部图像视频流中抽样提取多个图像帧，并从中分析得到驾驶员的面部特征标准参数，并存储于存储单元；以及图像采集单元在车辆行驶过程中采集驾驶员的实时面部图像视频流，图像处理单元以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数。在疲劳评价值达到或超过疲劳驾驶阈值时，由报警单元发出报警提示。该技术方案可以实时、可靠、高效地进行疲劳驾驶检测，及时发现驾驶员的疲劳驾驶行为并进行警示，大大提升了驾驶员驾驶的安全性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种疲劳驾驶检测系统的结构示意图；

图2示出了实现中值滤波的算法流程图；

图3-a示出了原始图像与对原始图像进行二值化处理后得到的图像的对比图；

图3-b示出了二值化处理的流程图；

图4示出了人面部“三庭五眼”的几何分布示意图；

图5示出了根据本发明一个具体实施例的疲劳驾驶系统的结构框图；

图6示出了根据本发明一个实施例的一种疲劳驾驶检测方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的一种疲劳驾驶检测系统的结构示意图，如图1所示，疲劳驾驶检测系统100包括：

图像采集单元110，用于采集驾驶员的初始面部图像视频流；以及用于在车辆行驶过程中采集驾驶员的实时面部图像视频流。

具体地，可以采用面阵CCD摄像机作为面部图像视频流的采集，CCD能够将光学信号转换为数字信号，所以可以直接将摄像机输出的电信号传输到图像处理单元进行处理。初始面部图像视频流的采集是为了进一步通过图像处理单元得到驾驶员的面部特征标准参数，也可以认为是驾驶员在清醒状态(非疲劳驾驶状态)下的面部特征参数。在疲劳评价单元不需要利用面部特征标准参数计算疲劳评价值时，也可以不采集驾驶员的初始面部图像视频流。特别地，可以在驾驶员启动汽车后的五分钟内进行驾驶员的初始面部图像视频流的采集，这样可以确保之后在行驶过程中得到的面部特征实时参数与已得到的面部特征标准参数为同一人。因为汽车可能会在不同的时间段更换驾驶员，因此仅进行一次驾驶员的初始面部图像视频流是不够的。

图像处理单元120，用于从驾驶员的初始面部图像视频流中抽样提取多个图像帧，并从中分析得到驾驶员的面部特征标准参数；以及用于以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数。

目前常用的数字图像处理技术都应用于PC机上，若用于车载检测便利性很差，虽然采用单片机或DSP的处理系统便利性较好，但由于其结构特点导致实时性较差且集成度不高，所以可以采用搭建基于FPGA(Field－ProgrammableGateArray，现场可编程门阵列)的“软核+硬核”作为图像处理单元的核心部分。FPGA具有硬件集成度高、处理速度快、移植性好、开发周期短的优点，由于其特殊的可编程逻辑单元结构，可以在硬件层使用Verilog语言按照一定的时序和功能进行设计。这样的在功能上相当于用硬件逻辑单元搭建起来的电路，可以实现对前期低级图像的并行处理，处理速度要比在软件中要高效的多。

在一优选实施例中，在从驾驶员的初始面部图像视频流和实时面部图像视频流中提取图像帧后，先对图像帧进行中值滤波和二值化的处理。这是由于系统处理的数据量比较大，需要对图像作前期的预处理在此过程中，需要将FPGA的一部分逻辑门电路通过硬件编程语言连接成图像采集单元，对CCD摄像机的时序和曝光进行控制，将视频信号转换成每一帧的图像信号，同时再对图像进行噪声去除、滤波处理等操作，为后期的特征识别提供支持。

下面简要介绍中值滤波和二值化处理的流程：

中值滤波对于某些类型的随机噪声具有非常理想的降噪能力，其本质是一种统计排序滤波器。对于原图像中某点(i，j)，中值滤波是以该点为中心的邻域内的所有像素的统计排序中值作为(i，j)点的响应。中值不同于均值，是指排序队列中位于中间位置的元素得值。例如，图2示出了实现中值滤波的算法流程图。

二值化处理，可以对采集的人脸图像进行对比度增强处理，使人脸区域和背景分开。所谓对比度增强，就是使图像“亮处”更亮，“暗处”更暗。如果以灰度值m为阈值，则图像中灰度值小于m的点使其灰度值变小，灰度值大于m的点使其灰度值变大，因此在极限的情况下，结果输出只有两个灰度值，这种情况也叫二值化形态学处理。例如，图3-a示出了原始图像与对原始图像进行二值化处理后得到的图像的对比图，图3-b示出了二值化处理的流程图。其中阈值m的确定方法如下：

对于图像I(x,y)，前景(即目标)和背景的分割阈值记作m，属于前景的像素点数占整幅图像的比例记为ω₀，其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁，其平均灰度为μ₁。图像的总平均灰度记为μ，类间方差记为g。设图像的大小为M×N，图像中像素的灰度值小于阈值m的像素个数记作N₀，像素灰度大于阈值m的像素个数记作N₁，则有：

ω₀＝N₀/M×N(1)

ω₁＝N₁/M×N(2)

N₀+N₁＝M×N(3)

ω₀+ω₁＝1(4)

μ＝ω₀×μ₀+ω₁×μ₁(5)

g＝ω₀(μ₀-μ)^2+ω₁(μ₁-μ)^2(6)

将式(5)代入式(6),得到等价公式:

g＝ω₀ω₁(μ₀-μ₁)^2

采用遍历的方法得到使类间方差g最大的阈值m，即为所求。

存储单元130，用于存储面部特征标准参数。在面部特征标准参数根据需要在系统启动后进行采集的情况下，可以将其存储在内存RAM中，方便快速调取。

疲劳评价单元140，用于根据驾驶员的面部特征标准参数和面部特征实时参数，或根据驾驶员的面部特征实时参数计算出驾驶员的疲劳评价值。

报警单元150，用于在疲劳评价值达到或超过疲劳驾驶阈值时发出报警提示。例如，发出报警音(特别地，可以为报警语音)，或者红光提示。

可见，图1所示的系统，通过设立疲劳评价阈值，当计算得到的疲劳评价值超过该阈值时，判断驾驶员处于疲劳驾驶状态，具体地，根据驾驶员的面部特征标准参数和面部特征实时参数，或只根据驾驶员的面部特征实时参数计算出与驾驶员的疲劳评价值，其中，由图像采集单元采集驾驶员的初始面部图像视频流，图像处理单元从驾驶员的初始面部图像视频流中抽样提取多个图像帧，并从中分析得到驾驶员的面部特征标准参数，并存储于存储单元；以及图像采集单元在车辆行驶过程中采集驾驶员的实时面部图像视频流，图像处理单元以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数。在疲劳评价值达到或超过疲劳驾驶阈值时，由报警单元发出报警提示。该技术方案可以实时、可靠、高效地进行疲劳驾驶检测，及时发现驾驶员的疲劳驾驶行为并进行警示，大大提升了驾驶员驾驶的安全性。

在本发明的一个实施例中，图像处理单元120，进一步用于确定驾驶员的眼睛和嘴在图像帧中的位置，根据确定的位置分析得到驾驶员的面部特征标准参数和面部特征实时参数。

人脸面部器官分布遵循一定的几何规律，即“三庭五眼”。“三庭”是指从发际线到下颌可以分为三等份；“五眼”就是从左耳到右耳看，水平线上有五个眼睛的宽度。嘴部定位是在左眼定位的基础上根据人脸器官分布规则来进行的。左眼定位时得到左眼内眼角坐标，以内眼角为起点，纵坐标向下延伸1/3人脸高度，横坐标不变，在此像素周围5个像素范围内搜索左嘴角位置。例如，图4示出了人面部“三庭五眼”的几何分布示意图。

面部特征标准参数包括如下的一种或多种：驾驶员的最大上下眼睑高度h，驾驶员的初始眨眼频率v，驾驶员的初始面部长度l。其中，由于眼睛的对称性，可以仅获取左眼或右眼的相关标准参数。

当面部特征标准参数包括驾驶员的最大上下眼睑高度h时，面部特征实时参数包括：驾驶员的实时上下眼睑高度H；疲劳评价单元包括眼睛开合度评价模块和/或眼睛持续闭合时间评价模块。

疲劳程度与眼睛的状态有极大的相关性，当驾驶员疲劳时，驾驶员睁眼程度下降。随着驾驶员疲劳程度的进一步加深，驾驶员的平均睁眼程度更是会持续下降。因此可以设立眼睛开合度评价模块，用于计算驾驶员的实时眼睛开合度H/h×100％；以及统计在采样时间T内，驾驶员眼睛开合度小于预设开合度的时间t，并计算t/T×100％，将得到的值记为y₁；若y₁小于第一预设值，则令f₁＝0；若y₁大于或等于第一预设值，则令f₁＝1；其中f₁即为与驾驶员的眼睛开合度相应的疲劳评价单项值。实验证明，当眼睛的开合度小于80％与疲劳的相关性最大，则可以将预设开合度设置为80％。同样根据实验，可以将第一预设值设置为40％。

有时候驾驶员疲劳时会长时间闭眼睛，因此眼睛持续闭合时间可以作为判断驾驶员是否处于疲劳状态的重要依据之一。因此可以设立眼睛持续闭合时间评价模块，用于计算驾驶员的实时眼睛开合度H/h×100％；当实时眼睛开合度小于第二预设值时，判定驾驶员眼睛处于闭合状态；统计驾驶员眼睛处于连续闭合状态的时间y₂，若y₂小于第三预设值，则令f₂＝0；若y₂大于或等于第三预设值，则令f₂＝1；其中f₂即为与驾驶员的眼睛持续闭合时间相应的疲劳评价单项值。同样根据实验，可以将第二预设值设为80％，第三预设值设置为2s。

驾驶员在疲劳驾驶时还经常出现的一种状况是眨眼动作相当频繁，因此当面部特征标准参数包括驾驶员的初始眨眼频率v时，面部特征实时参数包括：驾驶员的实时眨眼频率y₃；疲劳评价单元包括眨眼频率评价模块；眨眼频率评价模块，用于在y₃小于2v时，令f₃＝0；在y₃大于或等于2v时，令f₃＝1；其中f₃即为与驾驶员的眨眼频率相应的疲劳评价单项值。

其中，也可以根据驾驶员的最大上下眼睑高度h获取驾驶员的初始眨眼频率v，以及根据驾驶员的实时上下眼睑高度H获取驾驶员的实时眨眼频率V。具体地，当图像帧中驾驶员的眼睑高度与h的比值小于第二预设值时，判定驾驶员眼睛处于闭合状态；统计驾驶员在清醒状态下的面部图像视频流中抽样提取多个图像帧，将图像帧总数记为A，其中驾驶员眼睛处于闭合状态的图像帧总数记为a，则令v＝a/A。y₃则为采样时间T内驾驶员眼睛处于闭合状态的图像帧总数与该采样时间T内的图像帧总数的比值。类似地，第二预设值也可以为80％。

从日常生活常识中我们可以发现，当一个人出现疲劳的时候，就会不自觉的打哈欠，因此对嘴巴的检测也成了判断驾驶员是否处于疲劳状态的重要依据之一。当面部特征实时参数包括驾驶员实时的嘴张开高度H_m和驾驶员实时的嘴宽度W时，疲劳评价单元包括打哈欠时间评价模块；打哈欠时间评价模块，用于计算H_m/W的值，统计采样时间T内该值连续大于第四预设值的时间y_4,，若y₄小于第五预设值，则令f₄＝0；若y₄大于或等于第五预设值，则令f₄＝1；其中f₄即为与驾驶员的打哈欠时间相应的疲劳评价单项值。人打哈欠时最明显的表现是嘴巴的张大，但是人说话、笑、和哭时也会张开嘴，因此仅凭嘴巴的张大不能判断人是否由于疲劳而打哈欠。但是打哈欠有更明显的特征，嘴张开的幅度很大，而且嘴角向中间靠拢，嘴张开的高度与宽度的比值明显增大且大于2。因此可以将第四预设值设置为2。虽然有时候人说话时嘴也会张开很大，但是持续时间很短，因此根据实验，第五预设值设置为3s。

将CCD设置于方向盘或仪表盘附近，则可以采集驾驶员的面部长度，当驾驶员正常目视前方时，采集到的驾驶员面部长度自然小于驾驶员低头时采集到的驾驶员面部长度，而驾驶员长时间低头说明驾驶员很可能处于疲劳驾驶状态，因此，当面部特征标准参数包括驾驶员的初始面部长度l时，面部特征实时参数包括：驾驶员的实时面部长度L；疲劳评价单元包括坐姿评价模块；坐姿评价模块，用于统计L连续大于l的时间y_3,，若y₅小于第六预设值，则令f₅＝0；若y₃大于或等于第六预设值，则令f₅＝1；其中f₅即为与驾驶员的坐姿相应的疲劳评价单项值。同样根据实验，可以将第六预设值设置为2s。

当疲劳评价单元包括一个以上的上述评价模块时，该单元还包括：加权求和模块，用于对各疲劳评价单项值进行加权求和。在一优选实施例中，疲劳评价单元包括上述所有评价模块，则疲劳驾驶阈值可以设置为10。

在本发明的一个实施例中，图1所示的系统进一步包括：速度检测单元，用于采集当前的行驶速度；当采集到的行驶速度小于第七预设值时，使所述图像采集单元不执行在车辆行驶过程中采集驾驶员的实时面部图像视频流的步骤，使所述图像处理单元不执行以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数的步骤，还使所述疲劳评价单元和所述报警单元处于休眠状态。

驾驶员在高速疲劳驾驶时造成的危害远大于低速疲劳驾驶，所以把疲劳检测系统与速度关联具有很大的意义。为更合理、高效地利用资源，可以在采集到的行驶速度达到预设值时再进行疲劳驾驶的检测。但需要保证存储单元中已经存储了驾驶员的面部特征标准参数后，再使其他单元处于休眠状态。其中第七预设值可以根据车辆的型号、路况信息等进行设置，也可以是动态的数值。优选地，可以将其设置为40km/h。

进一步地，也可以根据车辆的行驶速度改变从驾驶员的实时面部视频流中提取图像帧的频率和/或报警提示的方式。例如，设定三个速度值V₁、V₂、V₃(V₃>V₂>V₁>V₀)，在V₀-V₁内图像帧提取频率为r₁、在V₁-V₂内图像帧提取频率为r₂、在V₂-V₃内图像帧提取频率为r₃、在速度大于V₃时图像帧提取频率为r₄，且频率r₄>r₃>r₂>r₁。并且当驾驶员疲劳驾驶时，随着图像抽样频率的增大报警声越来越急促，当频率为r₄时报警方式除了声音提示外还伴随有警示光提示。

车辆行驶速度既可以通过仪表盘直接读取，也可以通过GPS系统进行计算。在目标车辆上安装GPS，然后测量目标载体上的GPS信号，从而由所获得的GPS信号进一步计算得到运动目标的的行驶速度。由GPS系统得到采样时间两端点时刻车辆的地理坐标，通过这两点的坐标值计算得到两点之间的距离，再通过这两点之间的时间，就能计算得到这段时间内的平均速度。当这两点之间的时间足够小时，就能认为这微小时间段内的平均速度为这个时刻的瞬时速度。公式表示为：

$V_i=\frac{\sqrt{{(X_{i+1}-X_i)}^2+{(Y_{i+1}-Y_i)}^2}}{\mathrm{\Δ}t}$

在一优选实施例中，疲劳驾驶检测系统包括前述所有实施例中的全部技术特征。在车辆内部安装疲劳驾驶检测系统，其中，图像采集单元由CCD摄像机实现，安装在仪表盘附近，在车辆启动后五分钟内采集驾驶员的初始面部视频流，并在车辆行驶速度达到40km/h时采集驾驶员的实时面部视频流。图像处理单元、疲劳评价单元采用FPGA+CPU的“硬核+软核”设计，具体地，FPGA可以像MCU(MicrocontrollerUnit，微控制单元)一样，实现在C/C++软件层的设计方式。例如使用SOPC(System-on-a-Programmable-Chip，可编程片上系统)的开发工具构建芯片的处理系统，包括特定型号的处理器、特定大小的内存储器、一个或多个定时器或是中断。这样，得到了符合该实施例需求的FPGA，相当于一块“特制”的MCU，可以在这片特制的处理器实现对复杂的图像处理进行软件算法的开发，如根据前文所述，从初始面部视频流中提取图像帧并分析得到面部特征标准参数，从实时面部视频流中提取图像帧并分析得到面部特征实时参数等等。整个疲劳驾驶检测系统由车辆的点烟器供电，由于输出电压为12V，与FPGA芯片所需要的3.3V和1.2V的电压不符，因此需要外围电源转换电路将12电压转换为3.3V和1.2V的FPGA的IO核心电压。此外，FPGA还需要外接RAM和报警电路。综上，图5示出了根据本发明一个具体实施例的疲劳驾驶系统的结构框图。该系统具有对驾驶员无接触、准确率较高、鲁棒性强、体积小、功耗小、成本低的优点。

图6示出了根据本发明一个实施例的一种疲劳驾驶检测方法的流程图，如图6所示，该方法包括：

步骤S610，采集驾驶员的初始面部图像视频流。

步骤S620，从驾驶员的初始面部图像视频流中抽样提取多个图像帧，并从中分析得到驾驶员的面部特征标准参数。

步骤S630，存储面部特征标准参数。

步骤S640，在车辆行驶过程中，采集驾驶员的实时面部图像视频流。

步骤S650，以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数。

步骤S660，根据驾驶员的面部特征标准参数和面部特征实时参数，或根据驾驶员的面部特征实时参数计算出驾驶员的疲劳评价值。

步骤S670，在疲劳评价值达到或超过疲劳驾驶阈值时发出报警提示。

在本发明的一个实施例中，图6所示的方法中，面部特征标准参数包括如下的一种或多种：驾驶员的最大上下眼睑高度h，驾驶员的初始眨眼频率v，驾驶员的初始面部长度l；当面部特征标准参数包括驾驶员的最大上下眼睑高度h时，面部特征实时参数包括：驾驶员的实时上下眼睑高度H；根据驾驶员的面部特征标准参数和面部特征实时参数计算出与驾驶员的疲劳评价值包括：计算驾驶员的实时眼睛开合度H/h×100％；以及统计在采样时间T内，驾驶员眼睛开合度小于预设开合度的时间t，并计算t/T×100％，将得到的值记为y₁；若y₁小于第一预设值，则令f₁＝0；若y₁大于或等于第一预设值，则令f₁＝1；其中f₁即为与驾驶员的眼睛开合度相应的疲劳评价单项值；和/或，计算驾驶员的实时眼睛开合度H/h×100％；当实时眼睛开合度小于第二预设值时，判定驾驶员眼睛处于闭合状态；统计驾驶员眼睛处于连续闭合状态的时间y₂，若y₂小于第三预设值，则令f₂＝0；若y₂大于或等于第三预设值，则令f₂＝1；其中f₂即为与驾驶员的眼睛持续闭合时间相应的疲劳评价单项值；当面部特征标准参数包括驾驶员的初始眨眼频率v时，面部特征实时参数包括：驾驶员的实时眨眼频率y₃；根据驾驶员的面部特征标准参数和面部特征实时参数计算出与驾驶员的疲劳评价值包括；在y₃小于2v时，令f₃＝0；在y₃大于或等于2v时，令f₃＝1；其中f₃即为与驾驶员的眨眼频率相应的疲劳评价单项值；当面部特征实时参数包括驾驶员实时的嘴张开高度H_m和驾驶员实时的嘴宽度W时，根据驾驶员的面部特征实时参数计算出与驾驶员的疲劳评价值包括；计算H_m/W的值，统计采样时间T内该值连续大于第四预设值的时间y_4,，若y₄小于第五预设值，则令f₄＝0；若y₄大于或等于第五预设值，则令f₄＝1；其中f₄即为与驾驶员的打哈欠时间相应的疲劳评价单项值；当面部特征标准参数包括驾驶员的初始面部长度l时，面部特征实时参数包括：驾驶员的实时面部长度L；根据驾驶员的面部特征标准参数和面部特征实时参数计算出与驾驶员的疲劳评价值包括；统计L连续大于l的时间y_3,，若y₅小于第六预设值，则令f₅＝0；若y₃大于或等于第六预设值，则令f₅＝1；其中f₅即为与驾驶员的坐姿相应的疲劳评价单项值；当得到多个疲劳评价单项值时，进一步对各疲劳评价单项值进行加权求和。

在本发明的一个实施例中，图1所示的方法进一步包括：采集当前的行驶速度；当采集到的行驶速度小于第七预设值时，不执行从采集驾驶员的实时面部图像视频流开始的所有步骤，即步骤S640-步骤S670。

在本发明的一个实施例中，图1所示的方法进一步包括：在从驾驶员的初始面部图像视频流和实时面部图像视频流中提取图像帧后，先对图像帧进行中值滤波和二值化的处理。

在本发明的一个实施例中，图1所示的方法进一步包括：确定驾驶员的眼睛和嘴在图像帧中的位置，根据确定的位置分析得到驾驶员的面部特征标准参数和面部特征实时参数。

需要说明的是，上述各方法实施例的具体实施方式与前述系统实施例的具体实施方式相同，在此不再赘述。

综上所述，本发明的技术方案，通过设立疲劳评价阈值，当计算得到的疲劳评价值超过该阈值时，判断驾驶员处于疲劳驾驶状态，具体地，根据驾驶员的面部特征标准参数和面部特征实时参数，或只根据驾驶员的面部特征实时参数计算出与驾驶员的疲劳评价值，其中，由图像采集单元采集驾驶员的初始面部图像视频流，图像处理单元从驾驶员的初始面部图像视频流中抽样提取多个图像帧，并从中分析得到驾驶员的面部特征标准参数，并存储于存储单元；以及图像采集单元在车辆行驶过程中采集驾驶员的实时面部图像视频流，图像处理单元以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数。在疲劳评价值达到或超过疲劳驾驶阈值时，由报警单元发出报警提示。该技术方案可以实时、可靠、高效地进行疲劳驾驶检测，及时发现驾驶员的疲劳驾驶行为并进行警示，大大提升了驾驶员驾驶的安全性。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的疲劳驾驶检测系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种疲劳驾驶检测系统，其特征在于，该系统包括：

图像采集单元，用于采集驾驶员的初始面部图像视频流；

图像处理单元，用于从驾驶员的初始面部图像视频流中抽样提取多个图像帧，并从中分析得到驾驶员的面部特征标准参数；

存储单元，用于存储所述面部特征标准参数；

所述图像采集单元，还用于在车辆行驶过程中采集驾驶员的实时面部图像视频流；

所述图像处理单元，还用于以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数；

该系统还包括：疲劳评价单元，用于根据驾驶员的面部特征标准参数和面部特征实时参数，或根据驾驶员的面部特征实时参数计算出驾驶员的疲劳评价值；

报警单元，用于在疲劳评价值达到或超过疲劳驾驶阈值时发出报警提示。

2.如权利要求1所述的系统，其特征在于，

所述面部特征标准参数包括如下的一种或多种：驾驶员的最大上下眼睑高度h，驾驶员的初始眨眼频率v，驾驶员的初始面部长度l；

当所述面部特征标准参数包括驾驶员的最大上下眼睑高度h时，所述面部特征实时参数包括：驾驶员的实时上下眼睑高度H；所述疲劳评价单元包括眼睛开合度评价模块和/或眼睛持续闭合时间评价模块；

所述眼睛开合度评价模块，用于计算驾驶员的实时眼睛开合度H/h×100％；以及统计在采样时间T内，驾驶员眼睛开合度小于预设开合度的时间t，并计算t/T×100％，将得到的值记为y₁；若y₁小于第一预设值，则令f₁＝0；若y₁大于或等于第一预设值，则令f₁＝1；其中f₁即为与驾驶员的眼睛开合度相应的疲劳评价单项值；

所述眼睛持续闭合时间评价模块，用于计算驾驶员的实时眼睛开合度H/h×100％；当实时眼睛开合度小于第二预设值时，判定驾驶员眼睛处于闭合状态；统计驾驶员眼睛处于连续闭合状态的时间y₂，若y₂小于第三预设值，则令f₂＝0；若y₂大于或等于第三预设值，则令f₂＝1；其中f₂即为与驾驶员的眼睛持续闭合时间相应的疲劳评价单项值；

当所述面部特征标准参数包括驾驶员的初始眨眼频率v时，所述面部特征实时参数包括：驾驶员的实时眨眼频率y₃；所述疲劳评价单元包括眨眼频率评价模块；

所述眨眼频率评价模块，用于在y₃小于2v时，令f₃＝0；在y₃大于或等于2v时，令f₃＝1；其中f₃即为与驾驶员的眨眼频率相应的疲劳评价单项值；

当所述面部特征实时参数包括驾驶员实时的嘴张开高度H_m和驾驶员实时的嘴宽度W时，所述疲劳评价单元包括打哈欠时间评价模块；

所述打哈欠时间评价模块，用于计算H_m/W的值，统计采样时间T内该值连续大于第四预设值的时间y_4,，若y₄小于第五预设值，则令f₄＝0；若y₄大于或等于第五预设值，则令f₄＝1；其中f₄即为与驾驶员的打哈欠时间相应的疲劳评价单项值；

当所述面部特征标准参数包括驾驶员的初始面部长度l时，所述面部特征实时参数包括：驾驶员的实时面部长度L；所述疲劳评价单元包括坐姿评价模块；

所述坐姿评价模块，用于统计L连续大于l的时间y_3,，若y₅小于第六预设值，则令f₅＝0；若y₃大于或等于第六预设值，则令f₅＝1；其中f₅即为与驾驶员的坐姿相应的疲劳评价单项值；

当所述疲劳评价单元包括一个以上的上述评价模块时，该单元还包括：加权求和模块，用于对各疲劳评价单项值进行加权求和。

3.如权利要求1所述的系统，其特征在于，该系统进一步包括：

速度检测单元，用于采集当前的行驶速度；当采集到的行驶速度小于第七预设值时，使所述图像采集单元不执行在车辆行驶过程中采集驾驶员的实时面部图像视频流的步骤，使所述图像处理单元不执行以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数的步骤，还使所述疲劳评价单元和所述报警单元处于休眠状态。

4.如权利要求1所述的系统，其特征在于，

所述图像处理单元，进一步用于在从驾驶员的初始面部图像视频流和实时面部图像视频流中提取图像帧后，先对所述图像帧进行中值滤波和二值化的处理。

5.如权利要求1所述的系统，其特征在于，所述图像处理单元进一步用于确定驾驶员的眼睛和嘴在图像帧中的位置，根据确定的位置分析得到驾驶员的面部特征标准参数和面部特征实时参数。

6.一种疲劳驾驶检测方法，其特征在于，该方法包括：

采集驾驶员的初始面部图像视频流；从驾驶员的初始面部图像视频流中抽样提取多个图像帧，并从中分析得到驾驶员的面部特征标准参数；存储所述面部特征标准参数；

在车辆行驶过程中，采集驾驶员的实时面部图像视频流；以特定频率从驾驶员的实时面部图像视频流中提取图像帧，并从中分析得到驾驶员的面部特征实时参数；

根据驾驶员的面部特征标准参数和面部特征实时参数，或根据驾驶员的面部特征实时参数计算出驾驶员的疲劳评价值；

在疲劳评价值达到或超过疲劳驾驶阈值时发出报警提示。

7.如权利要求6所述的方法，其特征在于，

所述面部特征标准参数包括如下的一种或多种：驾驶员的最大上下眼睑高度h，驾驶员的初始眨眼频率v，驾驶员的初始面部长度l；

当所述面部特征标准参数包括驾驶员的最大上下眼睑高度h时，所述面部特征实时参数包括：驾驶员的实时上下眼睑高度H；所述根据驾驶员的面部特征标准参数和面部特征实时参数计算出与驾驶员的疲劳评价值包括：

计算驾驶员的实时眼睛开合度H/h×100％；以及统计在采样时间T内，驾驶员眼睛开合度小于预设开合度的时间t，并计算t/T×100％，将得到的值记为y₁；若y₁小于第一预设值，则令f₁＝0；若y₁大于或等于第一预设值，则令f₁＝1；其中f₁即为与驾驶员的眼睛开合度相应的疲劳评价单项值；

和/或，

计算驾驶员的实时眼睛开合度H/h×100％；当实时眼睛开合度小于第二预设值时，判定驾驶员眼睛处于闭合状态；统计驾驶员眼睛处于连续闭合状态的时间y₂，若y₂小于第三预设值，则令f₂＝0；若y₂大于或等于第三预设值，则令f₂＝1；其中f₂即为与驾驶员的眼睛持续闭合时间相应的疲劳评价单项值；

当所述面部特征标准参数包括驾驶员的初始眨眼频率v时，所述面部特征实时参数包括：驾驶员的实时眨眼频率y₃；所述根据驾驶员的面部特征标准参数和面部特征实时参数计算出与驾驶员的疲劳评价值包括；

在y₃小于2v时，令f₃＝0；在y₃大于或等于2v时，令f₃＝1；其中f₃即为与驾驶员的眨眼频率相应的疲劳评价单项值；

当所述面部特征实时参数包括驾驶员实时的嘴张开高度H_m和驾驶员实时的嘴宽度W时，所述根据驾驶员的面部特征实时参数计算出与驾驶员的疲劳评价值包括；

计算H_m/W的值，统计采样时间T内该值连续大于第四预设值的时间y_4,，若y₄小于第五预设值，则令f₄＝0；若y₄大于或等于第五预设值，则令f₄＝1；其中f₄即为与驾驶员的打哈欠时间相应的疲劳评价单项值；

当所述面部特征标准参数包括驾驶员的初始面部长度l时，所述面部特征实时参数包括：驾驶员的实时面部长度L；所述根据驾驶员的面部特征标准参数和面部特征实时参数计算出与驾驶员的疲劳评价值包括；

统计L连续大于l的时间y_3,，若y₅小于第六预设值，则令f₅＝0；若y₃大于或等于第六预设值，则令f₅＝1；其中f₅即为与驾驶员的坐姿相应的疲劳评价单项值；

当得到多个疲劳评价单项值时，进一步对各疲劳评价单项值进行加权求和。

8.如权利要求1所述的方法，其特征在于，该方法进一步包括：

采集当前的行驶速度；当采集到的行驶速度小于第七预设值时，不执行从采集驾驶员的实时面部图像视频流开始的所有步骤。

9.如权利要求1所述的方法，其特征在于，该方法进一步包括：

在从驾驶员的初始面部图像视频流和实时面部图像视频流中提取图像帧后，先对所述图像帧进行中值滤波和二值化的处理。

10.如权利要求1所述的方法，其特征在于，该方法进一步包括：确定驾驶员的眼睛和嘴在图像帧中的位置，根据确定的位置分析得到驾驶员的面部特征标准参数和面部特征实时参数。