CN117734707A - 一种驾驶员疲劳状态检测系统及方法 - Google Patents

Abstract

本发明公开了一种检测驾驶员疲劳状态的系统，包括：三维视线跟踪模块、头部位姿测量模块、车载电源模块、车载数据处理单元和报警提示模块。其中，视线跟踪模块固定在驾驶员头部，用于测量驾驶员凝视点相对于驾驶员头部的三维坐标，头部位姿测量模块用于测量驾驶员头部相对于车体的位置和姿态角，在此基础上可确定驾驶员凝视点相对于车体的三维坐标。此外，本发明还公开了一种检测驾驶员疲劳状态的方法。该方法是通过计算最近一段时间内驾驶员注视点的数量，以及在时间上相邻的注视点之间的距离的平均值来确定驾驶员是否处于疲劳状态。

Description

一种驾驶员疲劳状态检测系统及方法

技术领域

本发明涉及计算机视觉领域，尤其涉及驾驶员疲劳状态检测技术领域。

背景技术

近些年，驾驶辅助系统取得了很大的进步，并且逐渐在汽车中得到应用。驾驶员疲劳驾驶检测系统是驾驶辅助系统中的重要组成部分，因为驾驶员疲劳驾驶是导致交通事故的主要原因之一。通过使用驾驶员疲劳驾驶检测系统，能够及时识别驾驶员的疲劳状态，并向驾驶员发出报警提示，进而可以避免交通事故的发生。

现有的驾驶员疲劳驾驶检测系统所采用的驾驶员疲劳状态检测方法主要有三大类：基于视频图像的疲劳状态检测方法；基于生理信号的疲劳状态检测方法；基于汽车行驶状态的疲劳状态检测方法。

(一)基于视频图像的疲劳状态检测方法

使用摄像机实时拍摄驾驶员的面部图像，然后利用数字图像处理和人工智能技术检测驾驶员的眨眼频率和视线方向，识别驾驶员打哈欠和点头等行为，进而确定驾驶员是否处于疲劳状态。

(二)基于生理信号的疲劳状态检测方法

驾驶员在疲劳状态下，一些生理指标会偏离正常的数值范围。因此，通过实时采集、记录、检测和分析驾驶员的生理信号，是可以确定驾驶员是否处于疲劳状态的。可用的生理信号有脑电信号、心电信号、肌电信号、眼电信号和脉搏信号等。

(三)基于汽车行驶状态的疲劳状态检测方法

当驾驶员呈现疲劳状态时，在一定程度上会影响其驾驶汽车的行为。比如，操纵方向盘的幅度、对方向盘施加的力度、车辆速度变化情况、以及车身摇摆状态等。因此通过传感器实时测量方向盘转角、驾驶员对方向盘施加的扭力、汽车运动加速度等物理量的数值，也是可以识别驾驶员是否处于疲劳状态的。

现有的驾驶员疲劳状态检测方法各有优点和缺点。比如，基于视频图像的疲劳状态检测方法简单、容易实现，但是准确率无法保障；基于生理信号的疲劳状态检测方法准确率较高，但是使用不方便，因为需要把生理信号传感器安装在驾驶员的身体上；基于汽车行驶状态的疲劳状态检测方法受驾驶员驾驶习惯的影响比较大。

发明内容

当驾驶员处于疲劳状态时，最显著的一个特点是眼球移动缓慢，其注视点(fixation point)相对于车体的分布范围小。因此本发明的目的是提供一种基于注视点三维坐标测量的驾驶员疲劳状态检测系统及其方法，即根据驾驶员三维注视点相对于车体的分布情况判断驾驶员是否处于疲劳状态。

实现本发明目的之一采用的技术方案是：一种驾驶员疲劳状态检测系统，包括：三维视线跟踪模块、头部位姿测量模块、车载电源模块、车载数据处理单元和报警提示模块，所述三维视线跟踪模块固定在驾驶员头部，所述三维视线跟踪模块包括三维视线跟踪器和固定装置。

优选地，所述三维视线跟踪器包括：2个或2个以上的摄像机，2个或2个以上的点光源，所述2个或2个以上的点光源都指向驾驶员的眼部，所述2个或2个以上的摄像机都指向驾驶员的眼部，所述2个或2个以上的摄像机构成1个或1个以上的立体视觉测量系统。

优选地，所述头部位姿测量模块包括：3个或3个以上的指示标记和1个立体视觉测量系统，所述指示标记固定在驾驶员头部，所述立体视觉测量系统安装在车体上并指向所述指示标记，所述立体视觉测量系统通过导线与所述车载数据处理单元电连接。

优选地，所述车载数据处理单元包括：用于确定驾驶员凝视点相对于驾驶员头部的三维坐标的凝视点坐标获得模块；用于确定相对于车体的驾驶员头部位姿参数数值的头部位姿参数获得模块；用于将所述驾驶员凝视点相对于驾驶员头部的三维坐标转换为相对于车体的三维坐标的凝视点坐标变换模块；用于计算驾驶员注视点三维坐标的注视点坐标计算模块；用于根据注视点三维坐标分析驾驶员疲劳状态的驾驶员疲劳状态分析模块。

优选地，所述凝视点坐标获得模块包括：用于在所述摄像机拍摄的驾驶员眼部图像中，分别确定包含左眼和右眼的图像区域的位置和大小的人眼检测模块；用于分别在所述包含左眼和右眼的图像区域中确定瞳孔中心位置的瞳孔定位模块；用于分别在所述包含左眼和右眼的图像区域中确定普尔钦亮斑中心位置的普尔钦亮斑定位模块；用于根据所述左眼和右眼的瞳孔中心和普尔钦亮斑中心在所述眼部图像中的坐标，计算驾驶员凝视点相对于驾驶员头部的三维坐标的凝视点坐标计算模块。

优选地，所述头部位姿测量模块包括：头载惯性测量模块和车载惯性测量模块，所述头载惯性测量模块固定于驾驶员头部，所述车载惯性测量模块固定于车体上，所述头载惯性测量模块包括1个三轴陀螺仪和1个三轴加速度计，所述车载惯性测量模块包括1个三轴陀螺仪和1个三轴加速度计。

优选地，所述的驾驶员疲劳状态检测系统，还包括头载数据处理模块，所述头载数据处理模块包括可充电电池、数据处理电路、射频信号发送和接收电路，所述可充电电池通过导线与所述数据处理电路、射频信号发送和接收电路、三维视线跟踪模块电连接，所述数据处理电路通过导线与所述三维视线跟踪模块电连接，所述射频信号发送和接收电路通过导线与所述数据处理电路电连接，所述车载数据处理单元包含射频信号发送和接收电路。

实现本发明目的之二采用的技术方案是：一种驾驶员疲劳状态检测方法，包括以下步骤：

步骤801：测量驾驶员凝视点相对于车体的三维坐标；

步骤802：如果已测量的所述驾驶员凝视点三维坐标的数量小于N，执行步骤801，否则执行步骤803。其中N是一个人为设定的整数；

步骤803：由最新测量的N个所述驾驶员凝视点的三维坐标，确定最近一段时间内驾驶员注视点的数量，以及所述注视点的三维坐标；

步骤804：如果所述驾驶员注视点的数量大于M，执行步骤805，否则执行步骤809，其中M是一个人为设定的整数；

步骤805：计算时间上相邻的注视点之间的距离；

步骤806：计算所述时间上相邻注视点距离的平均值；

步骤807：如果所述时间上相邻注视点距离的平均值大于D，执行步骤808，否则执行步骤809，其中D是一个人为设定的整数；

步骤808：认为驾驶员没有处于疲劳状态；

步骤809：认为驾驶员处于疲劳状态。

优选地，所述测量驾驶员凝视点相对于车体的三维坐标，具体包括以下步骤：

步骤1001：使用视线跟踪模块，测量驾驶员凝视点相对于驾驶员头部的三维坐标；

步骤1002：使用头部位姿测量模块，测量驾驶员头部相对于车体的位置和姿态角；

步骤1003：由所述驾驶员凝视点相对于驾驶员头部的三维坐标和驾驶员头部相对于车体的位置和姿态角，计算驾驶员凝视点相对于车体的三维坐标。

优选地，所述用视线跟踪模块测量驾驶员凝视点相对于驾驶员头部的三维坐标，具体包括以下步骤：

步骤1101：用视线跟踪模块中的点光源照射驾驶员的左眼和右眼，在每个眼睛的角膜上形成2个或2个以上的普尔钦亮斑；

步骤1102：使用视线跟踪模块中的立体视觉测量系统，分别测量所述普尔钦亮斑中心、左右眼瞳孔中心的三维坐标；

步骤1103：由所述普尔钦亮斑中心、瞳孔中心和视线跟踪模块中的点光源的三维坐标，确定驾驶员左、右眼视线相对于驾驶员头部的直线方程；

步骤1104：将驾驶员左、右眼视线的公垂线的中点近似看作驾驶员的凝视点，由所述驾驶员左、右眼视线的直线方程，确定驾驶员凝视点相对于驾驶员头部的三维坐标。

附图说明

图1示出的是本发明第一实施例所提供的驾驶员疲劳状态检测系统的示意图；

图2示出的是本发明第一实施例中所提供的视线跟踪器的结构示意图；

图3示出的是本发明第一实施例中所提供的驾驶员三维视线方位测量方法中使用的普尔钦亮斑示意图；

图4示出的是本发明第一实施例中所提供的驾驶员凝视点三维坐标测量方法示意图；

图5示出的是本发明第一实施例中所提供的车载数据处理单元的方框图；

图6示出的是本发明第一实施例中所提供的头载数据处理模块的方框图；

图7示出的是本发明第一实施例中所提供的固定支架的另一种结构的示意图；

图8示出的是本发明第二实施例所提供的驾驶员疲劳状态检测系统的示意图；

图9示出的是本发明第三实施例所提供的驾驶员疲劳状态检测方法的流程图；

图10示出的是本发明第三实施例中所提供的通过检测注视点的方式确定驾驶员疲劳状态的实例示意图；

图11示出的是本发明第三实施例中所提供的测量驾驶员凝视点相对于车体的三维坐标的方法流程图；

图12示出的是本发明第三实施例中所提供的用视线跟踪模块测量驾驶员凝视点相对于驾驶员头部的三维坐标的方法流程图。

具体实施方式

结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明第一实施例提供的驾驶员疲劳状态检测系统的示意图。该驾驶员疲劳状态检测系统包含：

三维视线跟踪模块：用于测量驾驶员16左、右眼视线相对于驾驶员16头部的方位；

头部位姿测量模块：用于测量驾驶员16头部相对于车体17的位置和姿态角；

车载数据处理单元14：用于从三维视线跟踪模块和头部位姿测量模块采集数据，计算驾驶员16凝视点(gaze point)相对于车体17的三维坐标，确定驾驶员16注视点相对于车体17的三维坐标，判断驾驶员16是否处于疲劳状态；

报警提示模块15：用于接收车载数据处理单元14发送的指令并播放报警音，提示驾驶员16已处于疲劳状态；

车载电源模块13：用于为三维视线跟踪模块、头部位姿测量模块、车载数据处理单元14和报警提示模块15供电。

进一步地，三维视线跟踪模块包含：三维视线跟踪器10和固定装置12。固定装置12用于将三维视线跟踪器10固定在驾驶员16的头部，使三维视线跟踪器10相对于驾驶员16的头部保持不动。在图1示出的本发明第一实施例中，固定装置12包含头盔121、支架122和头盔固定带123。支架122由金属(或非金属)杆制作而成，它的一端固定在头盔121上，另一端用于安装固定三维视线跟踪器10。

图2示出了本发明第一实施例提供的三维视线跟踪器10的结构示意图。三维视线跟踪器10包含2个或2个以上的摄像机101，和2个或2个以上的点光源102。在测量驾驶员左、右眼视线的方位时，需要将摄像机101和点光源102指向驾驶员的眼部。将一个点光源发出的光照射到人的眼部，会在人眼角膜上生成1个普尔钦亮斑，参见文献：基于瞳孔轴测量的活体人脸检测方法及其设备，中国发明专利，申请号201810086130.X。因此如图3所示，如果将3个点光源发出的光同时照射到驾驶员的左眼30和右眼31，就会在驾驶员的左眼角膜上生成3个普尔钦亮斑301a～301c，在驾驶员的右眼角膜上也会生成3个普尔钦亮斑311a～311c。

由三维视线跟踪器10中的2个或2个以上的摄像机101，可构建1个或1个以上的立体视觉测量系统。使用这些立体视觉测量系统，可以直接测量出：(1)驾驶员左眼瞳孔302中心的三维坐标；(2)在驾驶员左眼角膜上生成的普尔钦亮斑301a～301c中心的三维坐标；(3)驾驶员右眼瞳孔312中心的三维坐标；(4)在驾驶员右眼角膜上生成的普尔钦亮斑311a～311c中心的三维坐标。由于三维视线跟踪器10中的点光源102不在摄像机101的视场中，所以不能用三维视线跟踪器10中的立体视觉测量系统直接测量点光源102的三维坐标，但是可以利用反射平面镜间接测量出点光源102的三维坐标，参见文献：A Novel Approachto 3-D Gaze Tracking Using Stereo Cameras.IEEE TRANSACTIONS ON SYSTEMS，MAN，AND CYBERNETICS-PART B：CYBERNETICS，2004，34(1)：234-245。

为了便于测量驾驶员16左、右眼视线的方位，将瞳孔轴近似看作视轴。一旦测量出左眼瞳孔302中心、左眼普尔钦亮斑301～301c中心和点光源102的三维坐标，就可以确定左眼30瞳孔轴的直线方程，即确定了驾驶员左眼30视线的方位，该方法在本领域是已知的，参见文献：基于瞳孔轴测量的活体人脸检测方法及其设备，中国发明专利，申请号201810086130.X。使用同样的方法，也能够确定驾驶员16右眼31视线的方位(直线方程)。如前所述，三维视线跟踪器10固定在驾驶员16的头部。所以，使用三维视线跟踪器10测量的驾驶员16左眼30和右眼31视线的方位，是相对于驾驶员16头部的三维视线的方向和位置。

图4示出了本发明第一实施例所提供的驾驶员凝视点(gaze point)三维坐标测量方法的示意图。通常情况下，驾驶员16的左眼30瞳孔轴303和右眼31瞳孔轴313是不相交的。因此，将左眼30瞳孔轴303和右眼31瞳孔轴313的公垂线321的中点322，近似看作驾驶员16的凝视点。由左眼瞳孔轴303的直线方程和右眼瞳孔轴313的直线方程，可确定其公垂线321的直线方程，参见文献：马金江，张凤然.求解两异面直线间的距离与公垂线方程的方法.高师理科学刊，2007，27(5)：73-75。假设，左眼瞳孔轴303的点法式直线方程为：

式中，(x₀，y₀，z₀)是左眼瞳孔轴303上的某一点(比如瞳孔中心)的三维坐标，(X₀，Y₀，Z₀)是左眼瞳孔轴303的方向向量。

右眼瞳孔轴313的直线方程为：

式中，(x₁，y₁，z₁)是右眼瞳孔轴313上的某一点(比如瞳孔中心)的三维坐标，(X₁，Y₁，Z₁)是右眼瞳孔轴313的方向向量。

则公垂线321的直线方程为：

式中，

由公式(1)和(3)，可建立一个线性方程组：

求解公式(4)，得到的结果就是驾驶员左眼瞳孔轴303与公垂线321交点304的三维坐标。使用同样的方法，也能确定驾驶员右眼瞳孔轴313与公垂线321交点314的三维坐标。假设：驾驶员左眼瞳孔轴303与公垂线321交点304的三维坐标为(x₀₄，y₀₄，z₀₄)，驾驶员右眼瞳孔轴313与公垂线321交点314的三维坐标为(x₁₄，y₁₄，z₁₄)，则公垂线321中点322的三维坐标(x₂₂，y₂₂，z₂₂)为：

x₂₂＝(x₀₄+x₁₄)/2

y₂₂＝(y₀₄+y₁₄)/2 (5)

z₂₂＝(z₀₄+z₁₄)/2

如前所述，使用三维视线跟踪器10测量的驾驶员16左眼30和右眼31三维视线的方位，是相对于驾驶员16头部的三维视线方向和位置。所以，使用三维视线跟踪器10测量的驾驶员16凝视点三维坐标，也是相对于驾驶员16头部的。

头部位姿测量模块用于测量驾驶员16的头部相对于车体17的位置和姿态角(偏航角、俯仰角和滚转角)。在此基础上，由驾驶员16凝视点相对于驾驶员16头部的三维坐标，可计算出驾驶员16凝视点相对于车体17的三维坐标。

在图1示出的本发明第一实施例中，头部位姿测量模块包含3个或3个以上的指示标记112a～112c和一个立体视觉测量系统111。其中，指示标记112a～112c设置于固定支架112上或者视线跟踪器10壳体面向立体视觉测量系统111的那一侧，可以将发光二极管或反光标签用作指示标记112a～112c。如果将反光标签用作指示标记112a～112c，需要在立体视觉测量系统111中配置光源1112，并将光源1112发出的光照射在反光标签上。立体视觉测量系统111包含2个或2个以上的摄像机1111a～1111b，摄像机1111a～1111b指向指示标记112a～112c，用于测量指示标记112a～112c相对于车体17的三维坐标。根据指示标记112a～112c相对于车体17的三维坐标，可计算出驾驶员16的头部相对于车体17的位置和姿态角。立体视觉测量系统111通过导线与数据处理单元14和车载电源模块13电连接。

三维视线跟踪器10和指示标记112a～112c可以通过导线与电源模块13和数据处理单元14连接，进而从电源模块13获取供电，也能把测量的驾驶员16三维视线的方位数据发送给数据处理单元14。

图5示出了本发明第一实施例中所提供的车载数据处理单元14的方框图。车载数据处理单元14包含凝视点坐标获得模块141、头部位姿参数获得模块142、凝视点坐标变换模块143、注视点坐标计算模块144和驾驶员疲劳状态分析模块145。其中，凝视点坐标获得模块141用于确定驾驶员凝视点相对于驾驶员16头部的三维坐标的数值；头部位姿参数获得模块142用于确定驾驶员16头部相对于车体17的位姿参数的数值；凝视点坐标变换模块143用于将驾驶员凝视点相对于驾驶员16头部的三维坐标转换为驾驶员凝视点相对于车体17的三维坐标；注视点坐标计算模块144用于计算驾驶员16注视点相对于车体的三维坐标；驾驶员疲劳状态分析模块145用于根据注视点三维坐标的数值分析驾驶员16的疲劳状态。

进一步地，凝视点坐标获得模块141包含人眼检测模块1411、瞳孔定位模块1412、普尔钦亮斑定位模块1413和凝视点坐标计算模块1414。其中人眼检测模块1411用于在摄像机101拍摄的眼部图像中，分别确定包含左眼和右眼的图像区域的位置和大小。瞳孔定位模块1412用于分别在包含左眼的图像区域和包含右眼的图像区域中确定瞳孔中心的位置。普尔钦亮斑定位模块1413用于分别在包含左眼的图像区域和包含右眼的图像区域中确定普尔钦亮斑中心的位置。凝视点坐标计算模块1414用于根据左眼、右眼瞳孔中心和普尔钦亮斑中心在摄像机101拍摄的眼部图像中的坐标，计算驾驶员凝视点相对于驾驶员16头部的三维坐标的数值。

为了便于使用，可以在头盔121上配置头载数据处理模块18。图6示出了本发明实施例所提供的头载数据处理模块18的方框图。头载数据处理模块18包含可充电电池181、数据处理电路182、射频信号发送和接收电路183。其中，可充电电池181通过导线与三维视线跟踪器10、数据处理电路182和射频信号发送和接收电路183电连接，进而能够为三维视线跟踪器10、数据处理电路182和射频信号发送和接收电路183供电。数据处理电路182通过导线与三维视线跟踪器10电连接，用于从三维视线跟踪器10采集数据。数据处理电路182通过导线与射频信号发送和接收电路183电连接，通过射频信号发送和接收电路183将采集的数据发送给车载数据处理单元14。在这种情况下，车载数据处理单元14也包含射频信号发送和接收电路(未示出)，用于接收头载数据处理模块18发送的数据，并把控制命令发送给头载数据处理模块18。

图7示出了固定支架12的另一种结构的示意图。视线跟踪器10也可以通过一个硬度较高的金属杆122安装在一个眼镜架125上。这种情况下，视线跟踪器10中的摄像机101需要采用体积小、重量轻的微型摄像机。这样才能通过眼镜架125和金属杆122，将视线跟踪器10固定在驾驶员16的头部。

图8示出了本发明第二实施例提供的驾驶员疲劳状态检测系统的示意图。与第一实施例相比，最大的区别在于：在第二实施例中，使用头载惯性测量模块19和车载惯性测量模块20，测量驾驶员16的头部相对于车体17的位置和姿态角。头载惯性测量模块19安装在固定支架12上，车载惯性测量模块20安装在车体17上。车载惯性测量模块20包含1个三轴陀螺仪(未示出)和1个三轴加速度计(未示出)，分别用于测量车体17相对于参考坐标系(如地球坐标系)的运动加速度和姿态角。头载惯性模块19也包含1个三轴陀螺仪(未示出)和1个三轴加速度计(未示出)，分别用于测量驾驶员16的头部相对于参考坐标系(如地球坐标系)的运动加速度和姿态角。在此基础上，可计算出驾驶员16头部相对于车体17的位置和姿态角。

图9示出了本发明第三实施例提供的驾驶员疲劳状态检测方法的流程图。包括以下步骤：

步骤801：测量驾驶员凝视点相对于车体的三维坐标；

步骤802：如果已测量的驾驶员凝视点三维坐标的数量小于N，执行步骤801，否则执行步骤803。其中N是一个人为设定的整数；

步骤803：由最新测量的N个驾驶员凝视点三维坐标，确定最近一段时间内驾驶员注视点的数量，以及这些注视点的三维坐标；

注视点(fixation point)是一段时间内(比如100ms)人眼持续凝视的点。人眼注视点的位置可以根据一段时间内人眼凝视点(gaze point)在空间中的分布情况来确定。参见文献：S.Weber，R.S.Schubert，S.Vogt，B.M.Velichkovsky&S.Pannasch.Gaze3DFix：Detecting 3D fixations with an ellipsoidal bounding volume.Behavior ResearchMethods，50：2004-2015(2018).

步骤804：如果驾驶员注视点的数量大于M，执行步骤805，否则执行步骤809，其中M是一个人为设定的整数；

步骤805：计算时间上相邻的注视点之间的距离；

步骤806：计算时间上相邻注视点距离的平均值；

步骤807：如果时间上相邻注视点距离的平均值大于D，执行步骤808，否则执行步骤809，其中D是一个人为设定的整数；

步骤808：认为驾驶员没有处于疲劳状态；

步骤809：认为驾驶员处于疲劳状态。

图10示出了本发明第三实施例提供的通过检测注视点的方式确定驾驶员疲劳状态的实例。在图10中，由最新测量的N个驾驶员凝视点三维坐标，共检测出了5个注视点901～905。其中，注视点901的发生时刻为t₁，注视点902的发生时刻为t₂，注视点903的发生时刻为t₃，注视点904的发生时刻为t₄，注视点905的发生时刻为t₅，而且t₁＜t₂＜t₃＜t₄＜t₅。这些时间上相邻的注视点(这些注视点在时间上先后发生)的距离分别为d₁、d₂...d₄。在此基础上，可计算出这些时间上相邻注视点距离的平均值为d＝(d₁+d₂+d₃+d₄)/4。

图11示出了本发明第三实施例提供的测量驾驶员凝视点相对于车体的三维坐标的方法流程图。包括以下步骤：

步骤1001：使用视线跟踪模块，测量驾驶员凝视点相对于驾驶员头部的三维坐标；

步骤1002：使用头部位姿测量模块，测量驾驶员头部相对于车体的位置和姿态角；

步骤1003：由驾驶员凝视点相对于驾驶员头部的三维坐标和驾驶员头部相对于车体的位置和姿态角，计算驾驶员凝视点相对于车体的三维坐标。

图12示出了本发明第三实施例提供的使用视线跟踪模块测量驾驶员凝视点相对于驾驶员头部的三维坐标的方法流程图。包括以下步骤：

步骤1101：用视线跟踪模块中的点光源照射驾驶员的左眼和右眼，在每个眼睛的角膜上形成2个或2个以上的普尔钦亮斑：

步骤1102：使用视线跟踪模块中的立体视觉系统，分别测量普尔钦亮斑中心、左右眼瞳孔中心的三维坐标；

步骤1103：由普尔钦亮斑中心、瞳孔中心和视线跟踪模块中的点光源的三维坐标，确定驾驶员左、右眼视线相对于驾驶员头部的直线方程；

步骤1104：将驾驶员左、右眼视线的公垂线的中点近似看作驾驶员的凝视点，由驾驶员左、右眼视线的直线方程，确定驾驶员凝视点相对于驾驶员头部的三维坐标。

Claims (10)

1.一种驾驶员疲劳状态检测系统，其特征在于，包括：三维视线跟踪模块、头部位姿测量模块、车载电源模块、车载数据处理单元和报警提示模块，所述三维视线跟踪模块固定在驾驶员头部，所述三维视线跟踪模块包括三维视线跟踪器和固定装置。

2.根据权利要求1所述的驾驶员疲劳状态检测系统，其特征在于，所述三维视线跟踪器包括：2个或2个以上的摄像机，2个或2个以上的点光源，所述2个或2个以上的点光源都指向驾驶员的眼部，所述2个或2个以上的摄像机都指向驾驶员的眼部，所述2个或2个以上的摄像机构成1个或1个以上的立体视觉测量系统。

3.根据权利要求1所述的驾驶员疲劳状态检测系统，其特征在于，所述头部位姿测量模块包括：3个或3个以上的指示标记和1个立体视觉测量系统，所述指示标记固定在驾驶员头部，所述立体视觉测量系统安装在车体上并指向所述指示标记，所述立体视觉测量系统通过导线与所述车载数据处理单元电连接。

4.根据权利要求1所述的驾驶员疲劳状态检测系统，其特征在于，所述车载数据处理单元包括：用于确定驾驶员凝视点相对于驾驶员头部的三维坐标的凝视点坐标获得模块；

用于确定相对于车体的驾驶员头部位姿参数数值的头部位姿参数获得模块；

用于将所述驾驶员凝视点相对于驾驶员头部的三维坐标转换为相对于车体的三维坐标的凝视点坐标变换模块；

用于计算驾驶员注视点三维坐标的注视点坐标计算模块；

用于根据注视点三维坐标分析驾驶员疲劳状态的驾驶员疲劳状态分析模块。

5.根据权利要求4所述的驾驶员疲劳状态检测系统，其特征在于，所述凝视点坐标获得模块包括：用于在所述摄像机拍摄的驾驶员眼部图像中，分别确定包含左眼和右眼的图像区域的位置和大小的人眼检测模块；

用于分别在所述包含左眼和右眼的图像区域中确定瞳孔中心位置的瞳孔定位模块；

用于分别在所述包含左眼和右眼的图像区域中确定普尔钦亮斑中心位置的普尔钦亮斑定位模块；

用于根据所述左眼和右眼的瞳孔中心和普尔钦亮斑中心在所述眼部图像中的坐标，计算驾驶员凝视点相对于驾驶员头部的三维坐标的凝视点坐标计算模块。

6.根据权利要求1所述的驾驶员疲劳状态检测系统，其特征在于，所述头部位姿测量模块包括：头载惯性测量模块和车载惯性测量模块，所述头载惯性测量模块固定于驾驶员头部，所述车载惯性测量模块固定于车体上，所述头载惯性测量模块包括1个三轴陀螺仪和1个三轴加速度计，所述车载惯性测量模块包括1个三轴陀螺仪和1个三轴加速度计。

7.根据权利要求1所述的驾驶员疲劳状态检测系统，其特征在于，还包括头载数据处理模块，所述头载数据处理模块包括可充电电池、数据处理电路、射频信号发送和接收电路，所述可充电电池通过导线与所述数据处理电路、射频信号发送和接收电路、三维视线跟踪模块电连接，所述数据处理电路通过导线与所述三维视线跟踪模块电连接，所述射频信号发送和接收电路通过导线与所述数据处理电路电连接，所述车载数据处理单元包含射频信号发送和接收电路。

8.一种驾驶员疲劳状态检测方法，其特征在于，包括以下步骤：

步骤801：测量驾驶员凝视点相对于车体的三维坐标；

步骤802：如果已测量的所述驾驶员凝视点三维坐标的数量小于N，执行步骤801，否则执行步骤803。其中N是一个人为设定的整数；

步骤803：由最新测量的N个所述驾驶员凝视点的三维坐标，确定最近一段时间内驾驶员注视点的数量，以及所述注视点的三维坐标；

步骤804：如果所述驾驶员注视点的数量大于M，执行步骤805，否则执行步骤809，其中M是一个人为设定的整数；

步骤805：计算时间上相邻的注视点之间的距离；

步骤806：计算所述时间上相邻注视点距离的平均值；

步骤807：如果所述时间上相邻注视点距离的平均值大于D，执行步骤808，否则执行步骤809，其中D是一个人为设定的整数；

步骤808：认为驾驶员没有处于疲劳状态；

步骤809：认为驾驶员处于疲劳状态。

9.根据权利要求8所述的驾驶员疲劳状态检测方法，其特征在于，所述测量驾驶员凝视点相对于车体的三维坐标，具体包括以下步骤：

步骤1001：使用视线跟踪模块，测量驾驶员凝视点相对于驾驶员头部的三维坐标；

步骤1002：使用头部位姿测量模块，测量驾驶员头部相对于车体的位置和姿态角；

步骤1003：由所述驾驶员凝视点相对于驾驶员头部的三维坐标和驾驶员头部相对于车体的位置和姿态角，计算驾驶员凝视点相对于车体的三维坐标。

10.根据权利要求9所述的驾驶员疲劳状态检测方法，其特征在于，所述用视线跟踪模块测量驾驶员凝视点相对于驾驶员头部的三维坐标，具体包括以下步骤：

步骤1101：用视线跟踪模块中的点光源照射驾驶员的左眼和右眼，在每个眼睛的角膜上形成2个或2个以上的普尔钦亮斑；

步骤1102：使用视线跟踪模块中的立体视觉测量系统，分别测量所述普尔钦亮斑中心、左右眼瞳孔中心的三维坐标；

步骤1103：由所述普尔钦亮斑中心、瞳孔中心和视线跟踪模块中的点光源的三维坐标，确定驾驶员左、右眼视线相对于驾驶员头部的直线方程；

步骤1104：将驾驶员左、右眼视线的公垂线的中点近似看作驾驶员的凝视点，由所述驾驶员左、右眼视线的直线方程，确定驾驶员凝视点相对于驾驶员头部的三维坐标。