CN101658423B - 识别和/或检测人的工作负荷的方法 - Google Patents

Abstract

本发明公开了一种通过检测和评估人的头部运动来识别和/或检测人的工作负荷的方法，其中，基于包括前后摆动，左右摆动，转动在内的三个头部转动分量和/或分别位于三个垂直方向之一的三个头部移动分量中的至少一个的数量和/或其对时间的导数来检测和评估人的头部运动。

Description

识别和/或检测人的工作负荷的方法

本申请是第200380110764.6号(PCT/EP03/13480)发明专利申请的分案申请。原申请的申请日为2003年11月30日，发明名称为“用于识别驾驶员机能障碍的方法和系统”。

技术领域

本发明涉及一种通过检测和评估人的头部运动，识别和/或检测人的机能障碍和/或疏忽的方法和系统，特别是针对车辆的驾驶员，并且特别是针对由睡意、分心和/或工作负荷引起的机能障碍和/或疏忽。

背景技术

根据美国的一项研究(Treat，1979)，大多数的交通事故一大约90％是由于驾驶员的失误造成。驾驶员的疏忽是产生碰撞最主要的原因，估计由此产生25-55％的撞车事故(根据CDS数据库的一份国家公路交通安全局(NHTSA)的研究，每年有超过250万起需要拖车的撞车事故-Wang等人，1996)。基本上，下列三个方面中的至少一个造成了驾驶员的疏忽：睡意、分心和/或工作负荷。由疏忽造成的通常的碰撞类型和场所为后部碰撞，发生在十字路口的碰撞、发生在车道变化/并线处的碰撞、发生在道路变更处的碰撞，同样，还包括发生在低速限制道路上的单个车辆的碰撞。

更详细地说，由睡意造成的碰撞是一个非常严重的公路安全问题。在被调查的驾驶员中，57％的人说他们曾在昏昏欲睡的状态下进行驾驶，23％的人说当他们曾经在驾驶时实际上已经入睡(Johnson，1998)。驾驶员不能确实地说出何时他们会由于疲劳而出现机能障碍，到达严重的警戒丧失点或不受控制的睡眠影响点(Wylie等，1996；Brown，1997)。睡眠的低警戒阶段和稍后的阶段削弱驾驶员的警觉和判断，并且因此影响驾驶能力(Williamson等人，2001)。据估计，所有碰撞中的2％-23％涉及疲劳(Knipling & Wang，1995)。这些碰撞更多是发生在深夜或下午三点左右。典型地，他们涉及在没有指示出驾驶员试图避免出现意外情况下，单个车辆以高速滑移出车道或道路(NHTSA，1998)。碰撞时的损伤通常是非常严重的。磕睡的驾驶员还经常涉及在后部和头部的碰撞(参见前面引用的文献)。这些统计数据很可能对实际的问题估计不足，因为驾驶员倾向于不愿意认可或承认瞌睡是引发其碰撞的一个因素(Stutts，Wilkens & Vaughn，1999)。

此外，驾驶员经常注意与驾驶无关的事物。此类事物经常引起另外的任务，并且是引起分心的潜在原因。不幸的是，驾驶员通常不知道分心影响着他们的驾驶任务(Boase等人，1988；Stern等人，1996)。因此，已经发现，分心(包括视觉上的分心和思想上的分心，即视而不见)引起至少22.9％的碰撞(Wang等人，1996)。从1996年开始，新的信息系统飞速发展并进入市场，并且它们可以被应用于车辆内，如移动电话，导航辅助设备，互联网络，e-服务。这类干扰可极大程度地吸收驾驶员的注意力，因此增加了由于分心而引起碰撞的潜在可能性。

一般地，当驾驶员的注意力被与驾驶状况无关的信息吸引，达到如下的程度时，辅助任务变成引起注意力分散的原因(包括视觉上的，听觉上的，思想上的，认知上的及生物力学上的分心)，其中所述程度为：

(a)没有足够的注意力用于驾驶过程中的主要控制任务，和/或

(b)兼顾驾驶能力(例如，车道保持或速度控制)和安全性。

最后，工作负荷表示驾驶员的忙碌程度和驾驶员需要用手执行任务的努力程度。当需要做很多的事情(″高工作负荷″)时，形成大量的注意力消耗(即高度的知觉需要)和大量的执行动作(即高度的动作需要)。例如，驾驶员的工作负荷既随主要的驾驶任务命令(例如由公路和环境条件、交通、驾驶方式等引起)而增加，又随如上所述的辅助任务的执行(注意力分散)而增加。因此，高工作负荷状态增加了使驾驶员注意力分散的可能性。

WO01/60254 A1公开一种用于监控驾驶员警觉状况的方法和装置，当车辆行驶时，通过一个或多个致动器施加一脉冲到方向盘或车辆的其它的部件，驾驶员主动地与前述的部件进行交互作用，实现所述监控。通过一个或多个传感器检测驾驶员对于此脉冲的自发反应，并将其与所述脉冲本身进行比较，以得出关于驾驶员的精神状况的结论。然而，给予一脉冲到车辆的任何部件上被认为是有害的。此外，驾驶员的警觉状况不能被连续地监控，监控仅能在施加脉冲的时候进行。

用于决定驾驶员警觉状况的另一种方法是Spericon Ltd.的″驾驶员警觉状况指示系统″(DAISY)，其公开于2002年6月出版的论文″工作原理与系统可行性(Principles of operation and system feasibility)″中。对于此系统，检测施加于车辆上的外力的积累作用以及对车辆沿着其路径的运动的干扰，分析保持车辆处于道路上的驾驶员的动作。对驾驶模式与干扰模式的之间的分析允许对驾驶员的警觉状况水平进行连续测定。然而，考虑到车辆的转向系统内的游隙和延时，必须评估来源于驾驶员的运动(其起源于方向盘)和由于外界干扰引起的运动(其起源于车轮)这两者之间必要的差别，从而需要密集的使用数学和工程技术，需要采用复杂的算法。

US-PS 5,691,693公开了一种″受影响的交通车辆操作者的系统″及相关方法，其中驾驶员的头部位置和头部运动通过三个电容耦合传感器进行检测。通过一个微处理器对传感器输出信号进行分析，所述微处理器记录、跟踪和比较操作者的头部运动数据与所存储的正常头部运动轮廓和机能障碍时的头部运动轮廓，以检测任何表征操作者机能障碍的头部运动。然而，此系统和方法不能检测和定量何种类型的头部运动属于正常情况，何种类型的头部运动属于机能障碍时的范围。

发明内容

本发明的一个目的是提供一种用于检测或识别人的机能障碍和/或疏忽(特别是由睡意、分心和/或工作负荷造成的)的方法和系统，例如，监控某种操作的人，如驾驶车辆的司机，所述机能障碍和/或疏忽可能降低驾驶时的安全性。

本发明的另一个目的是提供一种用于对人的机能障碍和/或疏忽的级别进行定量的方法和系统，特别是车辆驾驶员。

此外，本发明的一个目的是提供一种用于检测或识别人的机能障碍和/或疏忽的方法和系统，特别是车辆驾驶员，所述方法和系统用于基于头部运动模式对人的机能障碍和/或疏忽的级别进行定量。

本发明的又一个目的在于提供一种识别和/或检测人的工作负荷的方法，该方法通过检测和评估人的头部运动来实现。其中，基于包括前后摆动，左右摆动，转动在内的三个头部转动分量和/或根据具有x，y和z轴的笛卡尔座标系统的三个头部移动分量中的至少一个的数量和/或其对时间的导数来检测和评估人的头部运动。

附图说明

通过参照附图阅读下列对本发明的示例性实施例的描述，本发明进一步的细节、特点和优点将显而易见，附图中示意地示出了：

图1头部运动的正常区域和正常区域外部的示意图；

图2处于头部运动的外部正常区域内的子区域的示意图；

图3警觉的驾驶员的水平和垂直方向上的头部转动密度的曲线图；

图4困倦的驾驶员的水平和垂直方向上的头部转动密度的曲线图；

图5警觉的驾驶员的垂直头部转动的一次功率谱密度的曲线图，其与困倦的驾驶员情况相比较；

图6警觉的驾驶员的垂直头部转动的二次功率谱密度的曲线图，其与困倦的驾驶员情况相比较；

图7警觉的驾驶员的水平(高度)头部位置的三次功率谱密度的曲线图，其与困倦的驾驶员情况相比较；

图8根据本发明的方法的第一实施例的示意性流程图；和

图9根据本发明的方法的第二实施例的示意性流程图。

具体实施方式

在下文中，将首先对用于识别瞌睡的优选方法和系统进行描述。

本发明的方法和系统的基础是，当人变得困倦时，肌肉进入松弛状态。例如，疲劳和/或酒精和/或药物和/或药品和/或中毒等原因可引起这样的困倦。作为背景技术的是，骨骼肌的状态完全受到来自于脊髓的神经脉冲的影响。这些骨骼肌依次部分地受到从大脑传递来的脉冲的控制，并且部分地受到来自位于所述肌肉本身内的肌梭的脉冲的控制。肌梭脉冲向神经系统提供来自各肌肉的连续的信息反馈，给出在各瞬间各肌肉的状态，所述状态为肌肉的长度、张力以及长度或张力的变化有多快。因此，在困倦时肌肉张力通常放松。由于肌肉紧张性的丧失，特别是颈部肌肉，以及对于干扰反应上的迟钝，头部开始更频繁地移动，并且具有更大的运动幅度。这一头部运动的变化可以通过根据本发明的方法和系统进行定量。

下面对困倦的测量可以全部被当作绝对或相对值使用。作为绝对值时，所述测量用于指示从警觉到入睡这一范围内困倦所处的水平。作为相对值时，所述测量用于指示与驾驶员处于警觉状态的驾驶部分进行比较时的差异。由于不同人之间的头部运动可能存在差异，所述方法可以有一个起始阶段，在此阶段对正常或警觉的行为进行记录和/或分析和定量，并被用来作为比较的物体。与此正常或警觉行为之间的偏差程度然后被用于指示困倦状况。

一般地，需要区分从单独的头部运动检测困倦(本发明的第一实施例)和通过比较头部运动和干扰检测困倦(本发明的第二实施例)。

现在更详细地描述上述的第一实施例。

头部运动通常被描述为三个头部转动部分(前后摆动，左右摆动和转动)，以及根据具有x，y和z轴的笛卡尔座标系统的三个头部移动部分(Pos_x，Pos_y，Pos_z)。这六个部分可以合成为一个完整地描述头部运动的头部运动信息HMOVE。

优选地，六个信息分量中的每一个都进行前处理以去除测量噪音和驾驶员长期的姿势变化。实现此目的的一个方法是采用高通滤波器以去除长期的姿势变化，所述变化本质上具有低频特性，并且采用一低通滤波器以抑制或至少减少信号噪声。当然，这两者也可以通过一个适当的带通滤波器来实现。

经过这样的前处理后，例如，总的头部运动HMOVE的总量可以根据等式(1.1)被表示和计算为所述6个自由度及他们对时间的第一和第二阶导数的函数：

(1.1)

对于不同的应用，可以对此通用的函数或模型进行不同的选择和调整。例如，可以根据等式(1.2)限定总的头部运动量：

(1.2) $\mathrm{HMove}=\sqrt{A*{\mathrm{pitch}}^2+B*{\mathrm{yaw}}^2+C*{\mathrm{roll}}^2+D*{{\mathrm{Pos}}_x}^2+E*{{\mathrm{Pos}}_y}^2+F*{{\mathrm{Pos}}_z}^2}$

其中A至F是加权因子，其决定不同种类的头部运动的灵敏度，并决定所述测量的灵敏度。

为从头部运动信息HMOVE中检测出困倦情况，本发明的方法和系统基于并且利用正常区域中点(NRCP)X或正常区域(NR)的一个(第一)参考算法。参照图1，其示出了这样的一个被NR环绕的NRCP。此外，第一、第二和第三外部正常区域ONR1、ONR2、ONR3以环绕NR的同心圆的方式示出。(尽管图1示出了一个二维区域(例如前后和左右运动)，其可以被应用和扩展至例如如上所述的全部六维)。

首先，在驾驶开始的数分钟(例如三分钟)内或在一定的环境中驾驶开始的数分钟(例如三分钟)内，如图1所示的NRCP用于计算每一个如上所述地进行测量的头部转动和头部移动信号分量。这样的计算的示例性结果显示在图3和4中。

图3示出了与多个警觉的驾驶员的水平和垂直头部转动相关的信号分量的最终密度的曲线图，而图4示出的是多个困倦的驾驶员的这一密度。在这两张图的X轴上，示出了垂直转动的信号分量(头部前后运动的程度)，在Y轴上示出了水平转动的信号分量(头部左右运动的程度)，在Z轴上以百分比示出了每个面元或集合的这些运动的密度。根据图1和2的NRCP与点x＝0且y＝0相对应。

图3示出了在他们相应的驾驶过程的优选的第一个三分钟内，12个警觉的驾驶员的头部转动信号的这样的第一参考算法的结果。与此相比，图4示出了12个处于困倦状态的驾驶员的第二算法(如下所述)的结果。

对于警觉和困倦的驾驶员这两者来说，所述信号分量的密度具有一个独特的顶点，所述顶点被认为是NRCP(X)。通过比较图3和4可明显地发现，NRCP并不依赖于驾驶员是否处于警觉状态，因为NRCP与驾驶员的机能障碍和/或疏忽状态无关。

第二，评估在图3和4中不同区域之间的信号分量的密度分布的何种变化可以被分类为困倦状态。为了将当前的分布情况与另一分布情况相比较，对于每个司机限定一个基本低谷。所述基本低谷建立在驾驶的第一个数分钟内(或在特殊环境下的第一个数分钟内)的头部运动的基础上。因此，对于相对的测量，基于基本低谷，必须假定驾驶员处于警觉状态，并且在此校准的最初几分钟内，假定驾驶员没有受到药物的影响。对于绝对测量，预先设定一个阈值，无需校准时段。

一般地，基本低谷可以被限定成基于多个警觉的驾驶员，以便对于任何驾驶员来说可作为一个与驾驶员无关的标准使用，或者基本低谷是针对各个特定的(警觉的)驾驶员而单独地建立，其中所述的驾驶员被相关的系统监测。

用于这些测量的传感器是例如基于一个或两个照相机的头和眼睛的跟踪器，和用于处理所述照相机(一个或多个)的输出信号的计算机软件。特别地，传感器以三维坐标测量头部的位置和方向。当然，也可同样地使用其它的测量技术或其他的传感器(例如红外传感器)。

为了计算头部运动在区域内的分布(例如根据图1的NRCP和NR和ONR)，各信号分量(在各头部运动信息)被计入其相应的区域。某一区域内的信号分量(如Pos_x和Pos_y)越多，则这个区域的值越高，其它区域的值越低(对于各头部运动信息，全部区域的总合为100％)。如果图1所示的区域放置在图3和4的x/y平面内，他们将指示出处于各个区域内(处于正常区域NR中的运动最多)的水平和垂直的头部运动的数量。从图3和4可明显看出，对于警觉和困倦的驾驶员，在各区域之间运动的分布情况明显不同。

所述区域具有分格的(根据图3和4的矩形、环形，或另外的形状)料斗/漏斗的形式，对于信号分量，基于所述料斗/漏斗的尺寸，分布为标准直方图。例如，假定对于一个特定的信号分量，第一区域在0和1之间，第二区域在1和2之间，第三区域在2和3之间，五个所述信号分量的样本值为0，5；1，1；2，4；0，9和0，3。最终的分布将分别为，区域1内的值为60％，区域2和3内各为20％。然而，根据本发明，以这样的方式进行评估直方图/分布图多达六维，并且假定这些分布的特定″形状″指示出困倦状态。

对于各头部转动和头部移动信号分量，各样本被加入一个相关的(旋转和移动)漏斗，例如，其中可以使用0.98X0.98度的漏斗尺寸(对于正前方，或零点的+/-30度为128X128)。然后，对于各转动和移动信号分量，各漏斗的模式(样本极频繁地出现在一个漏斗中)被设定为一个正常区域中心点(NRCP)X，并且将其存储。

随后，上述第一(参考)算法(通过所述算法计算出NRCP或NR)优选地周期性重复进行，与多个第二算法一样，具有预定的时间间隔。随后的第二算法的各结果与第一算法的结果进行比较。如果两者之间的差异超过一预定值，那么假定驾驶员是困倦的，并且输出一信号或激活一报警装置。需要指出的是，此处连续地计算分布情况。为此，采用一个活动式时间窗口，其使得可以聚焦于驾驶过程的过去的数分钟或另一个时段，而不管此时段前发生过什么。然后，将连续计算的分布与参考分布相比较(或与预定的″警觉″分布比较)。当差异超过预定的阈值，或当连续计算的分布偏离预定的参考形状或特定的预定形状时，假定驾驶员是困倦的。

在本说明书中，″活动式时间窗口″是指沿着信号进行滑动的窗口。当加入新的样本时，处于时间窗内最早的样本将被删去。全部的测量是基于活动式时间窗口内的样本进行计算。

如图2所示，外部正常区域ONR1 ONR2，ONR3可以被进一步分别分成子区域2到9，10到17，18到25(区域1作为正常区域NR)。为此，料斗/漏斗的标号及他们的形状与尺寸可以不同于图1所示的分法。这可优选地用于相对于一定的信号分量评估和比较一定的分布(例如，就图3和4来说，是相对于水平和垂直的头部转动)。

对于评估一百分比正常区域(PNR)测量，首先，基于一个正常区域标准，将位于一个活动式时间窗口内的各样本(例如，具有60HZ更新频率的一分钟的时间窗)分类为″1″，即处于正常区域(NR)内，或″0″，即位于正常区域外部(ONR)。例如，通过考虑与正常区域中心点X之间的距离并设定阈值，计算所述正常区域标准。例如，对于头部转动位置为5度和/或对于头部移动位置为5厘米，形成一个环绕所述正常区域中心点X的半径，如图1所示，例如，已指示出第一正常区域NR。

当然，可以建立多个具有不同阈值的正常区域标准，形成第二正常区域NR2，第三正常区域NR3，第四正常区域NR4等等，各区域的半径对应于相关的阈值。

例如，截止阈值(一个或多个)也可以被限定为处于正常区域中心点X的某一标准差内的数据，或者通过聚类算法进行识别，从而允许正常区域(一个或多个)NR为非圆形。

在另一方面，那些属于截止阈值内的样本被分类为″位于相关正常区域内(NR)″，那些超出范围的样本被分类为″位于相关正常区域外(ONR)″。

在下一步骤中，通过将位于相关正常区域NR内的数据点数除以位于时间窗口内的总的数据点数，计算百分比，例如，将结果乘以100，以便得到百分比正常区域测量(PNR)。

除百分比正常区域测量(PNR)之外，从模路面中心(SD_MRC)至正常区域中心点(SD_DNRC)的距离的标准差也可以在如上所述的时间窗口内根据标准偏差确定公式计算，不同之处是平均值被模替代：

更详细地说，计算位于NRCP和当前信号值(称为DNRC)之间的距离的标准差(SD)。然而，通常用于SD公式中的平均值需要用模，即NRCP替换。所述计算是在一组位于活动式时间窗口内的数据上进行。因此，它变成DNRC的RMS(均方根)。例如，将阈值设定为警觉的驾驶员的SD的两倍，并且达到所述阈值或超过所述阈值时，假定驾驶员是困倦的：

(1.3) $\mathrm{DNRC}=\sqrt{{(\mathrm{HMove}-\mathrm{NRCP})}^2}\mathrm{HMOVE},\mathrm{NRCP}\∈R^N$

(1.4) $\mathrm{SD}\_\mathrm{DNRC}=\sqrt{\frac{\mathrm{\Σ}{\mathrm{DNRC}}^2}{\mathrm{WindowLength}}}\mathrm{DNRC}\∈R$

公式(1.3)中R^N是维数N的实数(不是复数)，其中N＝1，2，3，4，5，6，7，8，……，这取决于有多少信号分量被用于HMOVE和NRCP。因此，公式(1.4)中的R(或R¹)是一维实数。

在公式(1.3)中，例如，HMOVE可以根据公式(1.5)进行限定：

(1.5)HMOVE＝(A*Pos_X，B*Pos_Y，C*Pos_Z，D*Pitch，E*Yaw，F*Roll)

HMOVE∈R⁶

其中A到F为加权因子。

然后，基于对位于正常区域NR，NR1，NR2，……和/或外部正常区域ONR1，ONR2，……和区间2，3，……25之间的头部运动的分布的模式识别(例如神经网络或统计)，计算困倦情况。在根据图1或2的区域内，警觉的驾驶员的分布情况与困倦的驾驶员不同。

更详细地说，对于各瞬间及对于各驾驶员，在所述不同的区域NR，ONR内，将存在唯一的头部运动分布。各分布指示出驾驶员在过去的X分钟内(取决于活动式时间窗口的长度)如何移动其头部。假定困倦的驾驶员的分布与警觉的驾驶员的分布明显不同(再次参见图3和4)。为了将驾驶员分类为具有困倦的驾驶员分布情况，采用了模式识别方法。与根据图3警觉的驾驶员的情况相比，根据图4的困倦的驾驶员的信号分量的密度分布更加模糊。

在一个非常简单的例子中，困倦可以被限定为在一预定的圆外具有头部运动的一个预定值X％(其在图3和4中处于x/y平面内)。然而，图3和4仅仅显示了二维空间，但是所述分布和识别可以在N维空间(信号分量)进行，例如，分析头部位置和头部转动，对于头部运动的速度或角速度来说也是如此。

图5示出了困倦的驾驶员(曲线B)与警觉的驾驶员(曲线A)相比较时，其垂直头部转动(前后运动)相对于频率Hertz(在X轴上表示)的功率谱密度的曲线图(在Y轴上表示)。

图6示出了困倦的驾驶员(曲线B)的垂直头部位置(平移运动)的这样的功率谱密度曲线图，其与警觉的驾驶员(曲线A)进行比较。而图7示出了水平(高度)头部位置(平移运动)的这样的功率谱密度曲线图，优选地包括前后方向上的运动分量，同样也是将困倦的驾驶员(曲线B)与警觉的驾驶员(曲线A)进行比较。在图6和7中，仍然是Y轴表示功率谱密度，图5和6中的X轴仍然以Hertz表示频率。

图5至7示出了困倦的驾驶员头部运动的通常的增加情况。更详细地说，曲线A示出了各自驾驶20分钟的12个警觉的驾驶员的头部运动的频率组成。在图5到7中，警觉的驾驶员在通过全部频率的范围内表现出较少的头部运动。

困倦的驾驶员的数据分别在20分钟的时段内进行测量(例如，困倦时段(DB)，1表示所有的12个困倦的驾驶员的第一个20分钟，困倦时段(DB)2表示第二个20分钟，等等)。来自这样的DB1到DB4的数据的趋势(在此示例中，在DB1结束40分钟后开始，并持续20分钟)表明困倦的驾驶员受到时间任务的影响。由于驾驶员的驾驶时间相应较长，测量结果中，从DB1至DB4头部运动通常会增加。然而，有时趋势是相反的，DB4比DB3稍低，但还是比DB2高。其原因可能是驾驶员预料行程将要结束，因此变得对行程的结束部分稍许更加警觉。图5至7中的曲线B表示的功率谱密度曲线为这样的困倦时段1至4(DB1到DB4)的总和。在图5至7中，这些困倦时段的曲线表示为虚线。

多个DB中的数据表明了随着困倦的增加头部运动增加的趋势。所示的曲线B示出了功率谱密度，其内容对应于图3和4示出的相同的数据。

功率谱密度数据提供了强有力的证据，其表明，当驾驶员变得越来越困倦时，实际上头部运动会增加。

另一个可选的方案是实时地测量功率谱密度数据，使得可以对困倦状态进行实时监测。为此，可以实时地计算功率谱密度数据，或者是位于例如图5到7所示的频率范围，或者位于这些频率的一个区间范围。

根据本发明的方法和系统的第二实施例提出，通过比较受到干扰时的头部运动检测困倦情况，其将在下文进行更详细的描述。

一般地，驾驶员越是困倦，其对头部运动的矫正控制就越少，意味着在这种情况下，头部运动设法抑制干扰。干扰可以是侧风、坑洼的路面或由车辆本身引起的简单运动(一般是在卡车中)。基本原理是测量干扰和驾驶员的矫正的头部运动。这些信号之间的差异(干扰和反应)的测量是估计驾驶员在多大程度上很好地对干扰进行了补偿，其中所述信号是头部运动反应(HMR)。警觉的驾驶员反应更为迅速、精确、缓和，而困倦的驾驶员反应迟缓，精确度较低，并且草率，位移时具有较大的振幅(类似于橡皮套管)。因此，对于困倦的驾驶员来说，干扰和反应之间的差异更大。

首先，所述干扰本身必须进行测量。这一工作可以通过例如如下所述的多种方法(或这些方法的组合)来实现：

-在相机的视野内测量物体的动态性能，例如身体动作或相对于背景活动的物体；

-通过一个加速度传感器测量作用于驾驶员的力(例如设置于座位内)；

-与卡车的其它部分比较，测量驾驶室的空气悬浮力和倾角；

-测量方向盘的运动。

对干扰的反应表现于头部运动中(头部运动可以是刺激-驱动[反应]或目标-驱动[故意行为])。对于干扰的头部运动反应(HMR)可以通过多种方法进行识别或过滤，例如：

-可根据干扰信号设定阈值触发器。只对值大于某一阈值的干扰进行反应计算。因此，所述测量基于试探进行(试探即为干扰)，并且其不是一个连续的信号；

-只有当车辆非常直地向前行驶预定的时段，并且位于预定的速度阈值上时，头部运动才可以被使用，即，没有转到新的道路上、迂回行驶或在城市中行驶；

-当表示变换车道时，头部运动应被忽视。

最后，全球定位系统(GPS)和地图匹配数据和/或统计模式识别数据的组合可用于限定环境，并评估车辆是否前进或将要非常直地向前行驶，并评估何时可以使用干扰或干扰必须被使用，何时不能这样做。

如上所述，HMR测量是干扰和反应的函数：

(2.1)

干扰是施加至驾驶员的作用力，并且就驾驶员的头部运动而言，反应是驾驶员对此作出的反应。例如，HMR函数可以被限定为：

-所述反应和正常区域中心点(NRCP)X之间的差异(例如相对于位移而言)。对于困倦的驾驶员，此差异大于警觉的驾驶员；

-所述反应和正常区域中心点(NRCP)X之间的差异的RMS(均方根)值。同样，低的RMS值表示头部运动受到了很好的控制，驾驶员处于警觉状态。高的RMS值表示困倦的驾驶员；

-HMR的模式识别；

-用于响应干扰的头部运动的参考模型与响应同样干扰的测量得到的头部运动之间的偏差。所述偏差表现困倦的程度。警觉的驾驶员响应干扰的头部运动可以例如是位于两个杆顶部的质点质量的物理模型，其中所述杆在底部连接一个上部接点和一个下部接点，其实际上是头和脊柱的简单模型。下部接点表示座椅与驾驶员相接触，下部杆表示躯干，上部接点表示颈部，质点质量表示头部。测量驾驶环境中的干扰(载重汽车驾驶室)，并且将其输入所述模型，所述模型形成模型化的头部运动，其然后与测量的头部运动进行比较。所述模型被调节成作为处于警觉状态的驾驶员产生反应。可以使用诸如碰撞实验中的假人之类的模型。

根据本发明的方法和系统的第三实施例，驾驶员的注意力分散可以通过采用上述方法以下列方式进行识别：

特别是卡车、公共汽车和火车，即使是小型汽车也是这样，当驾驶员与位于驾驶室或工作间内的集成系统相互作用时，有时需要较大程度的眼部运动(在道路中心和系统之间来自回运动)，其间经常伴随有在相同方向上来回的较小幅度的头部运动。对于侧视镜检查和侧安全道检查也是如此。此头部运动可以被识别和分类为分散注意力的任务，并且可进行如上所述的检测和评估。

根据本发明的方法和系统的第四实施例，驾驶员工作负荷可以通过应用上述的方法进行识别，其中所述方法考虑到这样的事实，即工作负荷可以根据头部运动的数量进行定量。下面是两个示例性的等式：

(4.1)SD(HMOVE)

(4.2) $\mathrm{RMS}\left(\frac{\∂}{\∂t}\left(\mathrm{HMOVE}\right)\right)$

SD表示标准差，RMS表示均方根，HMOVE可以由等式(1.2)限定。

等式(4.1)和(4.2)是在一个具有数秒钟(例如4)的活动式时间窗口内进行计算。这些测量形成对工作负荷的连续量化。一个阈值可用于优选地获得一个布尔量，即工作负荷的高或低，并且一个从高到低的工作负荷延迟被用于防止所述值的抖动。对绝对值使用高的加权因子(等式1.1)，使得所述估计在多个参数同时改变时更为敏感，其中所述参数用于描述头部运动，例如朝向中控台的定向运动，其包括前后和左右运动，并且对于由道路曲率造成的头部运动的敏感性降低，其主要是左右运动。通过调整时间窗口的长度和/或加权因子的大小，可以调节所述信号的动态性能。相应地，不是采用一个阈值和一个布尔量，而是可以采用多个阈值来获得工作负荷的多个级别。

头部位置和头部转动与对时间的导数还可用于以相类似的方式检测工作负荷。例如，快速的头部运动将表明，此时的工作负荷比缓慢的头部运动时高。

本发明不仅适合于车辆驾驶员，而且适合于飞机架驶员、空中交通管制员、司机或必须不能入睡并且相当程度地静坐、在大多数时间内注意同一方向的任何人。

在本申请中描述的所有测量可以通过将单个特定的数据(例如对于一定的警觉状况，一定的头部运动信息分量的密度的分布情况)单独地保存在一个驾驶员识别芯片上，例如智能卡。

图8示出了根据本发明的方法的第一实施例的示意性流程图，其用于通过将信号密度的警觉分布情况(或这样的密度的预存的分布情况)与头部运动的相关信号密度的当前分布情况进行比较，以检测出困倦情况。

图8中的各部分表示如下：

箭头H：驾驶员头部运动信号的输入(如上所述的全部六个分量)；

1：前处理阶段，其包括姿态结果的噪声抑制和去除；

2：初始化以及匹配处理模块，其用于初始化系统参数，所述参数根据驾驶员进行特定的设置(这可以包括一个连续的匹配处理过程)；

3：对于警觉的初始时期的头部运动分布计算(或警觉的驾驶员的预定头部运动分布的匹配)。在经过预定的时段后，此步骤暂停，然后作为警觉的驾驶员的参考分布情况；

箭头E：当初始化已经结束时启动困倦计算；

4：基于驾驶员的经过前处理的头部运动信息，连续地计算头部运动信息分布情况，其通过部分1传送驾驶过程的最后预定的X分钟(″活动式时间窗口″)；

5：比较当前的头部运动信息分布和警觉的驾驶员的头部运动信息分布。此部分包含确定驾驶员将被认为处于困倦状态的标准和/或阈值；

箭头O：连续或离散的困倦值的输出。

图9示出了根据本发明的方法的第二实施例的示意性流程图，其用于通过在受到干扰时比较头部运动反应来检测出困倦情况。

图9中的各部分表示如下：

箭头H：驾驶员头部运动信号的输入(如上所述的全部六个分量)；

1：前处理阶段，其包括姿态结果的噪声抑制和去除；

2：初始化以及匹配处理模块，其用于初始化系统参数，所述参数根据驾驶员进行特定的设置(这可以包括一个连续的匹配处理过程)；

箭头E：当初始化已经结束时启动困倦计算；

箭头D：干扰信号的输入(例如加速度计的信号)；

3：探测触发器和/或驾驶员的简单参考模型。所决定的是哪种干扰足够大(并超过一预定值)，以至可以使用，其被输入比较部分5。同样，部分3包括一个驾驶员的简单参考模型(例如如上所述的力学模型)。干扰D被输入模型，其输出(模拟的头部运动)然后被送入比较部分5；

箭头P：触发信号，其表示何时比较和/或计算测量情况；

4：对最后的预定的X分钟驾驶过程进行连续的头部运动量(包括头部运动分布)计算；

5：比较当前的头部运动量和模型化的头部运动分布。此部分包含确定驾驶员何时将被认为处于困倦状态的标准和/或阈值，其基于这种比较以及头部运动量和干扰量的值；

箭头O：连续或离散的困倦值的输出。

Claims (7)

1.通过检测和评估车辆驾驶员的头部运动来识别和/或检测驾驶员的工作负荷的方法，其中，基于包括前后摆动、左右摆动、转动在内的三个头部转动分量中的至少一个分量和/或基于三个头部移动分量中的至少一个分量来检测和评估驾驶员的头部运动，所述三个头部移动分量分别位于具有x,y和z轴的笛卡尔座标系统的三个垂直方向之一上，所述方法包括如下步骤：

-在一个活动式时间窗口内计算所述至少一个分量的大小的标准偏差和/或所述至少一个分量的对时间的导数的标准偏差，

-在所述活动式时间窗口内计算所述至少一个分量的大小的均方根值和/或所述至少一个分量对时间的导数的均方根值，以产生对驾驶员的工作负荷的连续量化；以及

-将量化的工作负荷与至少一个预设的阈值进行比较，如果其差值超过所述至少一个预设的阈值中的一个或多个，则输出信号以获得工作负荷的一个或多个级别。

2.根据权利要求1的方法，

其中，根据如下等式（1.2）来计算由所述三个头部转动分量和所述三个头部移动分量描述的、总的头部运动HMOVE的总量：

$\left(1.2\right),\mathrm{HMOVE}=\sqrt{A*{\mathrm{pitch}}^2+B*{\mathrm{yaw}}^2+C*{\mathrm{roll}}^2+D*{{\mathrm{Pos}}_x}^2+E*{{\mathrm{Pos}}_y}^2+F*{{\mathrm{Pos}}_z}^2}$

其中A至F是加权因子，pitch、yaw、roll分别是所述三个头部转动分量中的前后摆动、左右摆动和转动，Pos_x，Pos_y,Pos_z是根据具有x,y和z轴的笛卡尔座标系统的所述三个头部移动分量。

3.根据权利要求1的方法，

其中，由所述三个头部转动分量和所述三个头部移动分量描述的、总的头部运动HMOVE的总量根据如下等式（1.1）被表示和计算为所述三个头部转动分量和所述三个头部移动分量及它们对时间的第一和

第二阶导数的函数：

$\left(1.1\right),\mathrm{HMOVE}=F({\mathrm{Pos}}_x,{\mathrm{Pos}}_y,{\mathrm{Pos}}_z,\mathrm{pitch},\mathrm{yaw},\mathrm{roll},\frac{\∂}{\∂t}{\mathrm{Pos}}_x,\frac{\∂}{\∂t}{\mathrm{Pos}}_y,\frac{\∂}{\∂t}{\mathrm{Pos}}_z,$

$\frac{\∂}{\∂t}\mathrm{pitch},\frac{\∂}{\∂t}\mathrm{yaw},\frac{\∂}{\∂t}\mathrm{roll},\frac{{\∂}^2}{{\∂t}^2}{\mathrm{Pos}}_x,\frac{{\∂}^2}{{\∂t}^2}{\mathrm{Pos}}_y,\frac{{\∂}^2}{{\∂t}^2}{\mathrm{Pos}}_z,\frac{{\∂}^2}{{\∂t}^2}\mathrm{pitch},\frac{{\∂}^2}{{\∂t}^2}\mathrm{yaw},\frac{{\∂}^2}{{\∂t}^2}\mathrm{roll})$

其中，pitch、yaw、roll分别是所述三个头部转动分量中的前后摆动、左右摆动和转动，Pos_x，Pos_y,Pos_z是根据具有x,y和z轴的笛卡尔座标系统的所述三个头部移动分量。

4.根据权利要求1的方法，

基于量化的工作负荷来识别和/或检测驾驶员的分心。

5.根据权利要求1的方法，

其中，使用多个阈值用来获得工作负荷的多个级别。

6.根据前述权利要求中任一项的方法，

其中，用于特定驾驶员的数据被单独地保存在驾驶员识别芯片上。

7.根据权利要求6的方法，

其中，所述驾驶员识别芯片是智能卡。

Images