CN110448316A - 数据处理装置及方法、监测系统、唤醒系统以及记录介质 - Google Patents

Abstract

一种数据处理装置及方法、监测系统、唤醒系统以及记录介质，即使在不适合基于前庭动眼反射运动(VOR)算出困倦的状况下也能高精度地算出困倦。该数据处理装置进行用于监测人的数据处理，装备有：算出部，算出所述人的瞳孔运动及头部运动；评估部，评估算出VOR时的状况的适合度；赋予部，对由所述算出部算出的数据，赋予由所述评估部评估的适合度；选择部，基于赋予给所述数据的所述适合度，选择用于基于所述人的VOR算出困倦的第一方法或与该第一方法不同的第二方法；第一困倦算出部，当由该选择部选择了所述第一方法时，基于所述第一方法算出困倦；以及第二困倦算出部，当由所述选择部选择了所述第二方法时，基于所述第二方法算出困倦。

Description

数据处理装置及方法、监测系统、唤醒系统以及记录介质

技术领域

本发明涉及数据处理装置、监测系统、唤醒系统、数据处理方法及数据处理程序。

背景技术

在下述专利文献1中，公开了一种困倦预兆检测装置，其目的在于利用伴随头部运动而引起的前庭动眼反射，检测车辆的驾驶员等在意识到困倦之前的预兆。

专利文献1记载的困倦预兆检测装置包括：头部运动检测单元，检测头部运动；眼球运动检测单元，检测眼球运动；理想眼球运动角速度算出单元，基于由所述头部运动检测单元检测到的头部运动数据来算出理想眼球运动角速度；眼球旋转角速度算出单元，基于由所述眼球运动检测单元检测到的眼球运动数据来算出眼球旋转角速度；以及困倦预兆判定单元，根据理想眼球运动角速度和眼球旋转角速度检测前庭动眼反射(Vestibulo-Ocular Reflex：VOR)，并基于该前庭动眼反射判定困倦的预兆。

在专利文献1中，公开了使用模拟汽车驾驶时的实验系统、即驾驶模拟器系统，在对受试者布置诸如将投影到屏幕上的前方车辆的车牌上部作为注视点而固视等实验任务的状态下进行试验的结果。

然而，使用驾驶模拟器系统的伪实验环境与实际的车辆行驶环境大不相同。本发明人在实际的车辆行驶环境(以下称为实车环境)中进行了验证，结果发现在实车环境中，极难以高精度地取得前庭动眼反射运动。

例如，在眼球运动中，除了前庭动眼反射运动以外，还有扫视运动(也称为冲动性眼球运动)及辐辏运动等。在实验环境中，为了使前庭动眼反射运动易于发生，可固视预先确定的所述注视点，但在实车环境中，车外状况、路面状况、车辆行为及驾驶员的头部和眼睛的动作等并不恒定，前庭动眼反射运动以外的眼球运动也以复合的方式发生。

另外，伴随头部运动而引起前庭动眼反射运动。在实验环境中，使驾驶员座椅振动以引起头部运动，但在实车环境中，未必适宜地发生引起头部运动的振动状态。

因此，存在这样的课题，即在可能发生各种眼球运动的状况、或不易引起前庭动眼反射运动的状况下，即使欲基于前庭动眼反射运动判定困倦，也难以高精度地判定困倦。另外，不限于实车环境，在设备等的操作环境和作业环境等各种现实环境中，也可能产生同样的课题。

现有技术文献

专利文献

专利文献1：日本专利第5255063号公报。

发明内容

本发明是鉴于上述课题研究而成的，其目的在于，提供即使在不适合基于前庭动眼反射运动算出困倦的状况下，也能高精度地算出困倦的数据处理装置、监测系统、唤醒系统、数据处理方法及数据处理程序。

为了实现上述目的，本公开涉及的数据处理装置(1)是进行用于监测人的数据处理的数据处理装置，其特征在于，具备：

算出部，算出所述人的瞳孔运动及头部运动；

评估部，基于所述人的瞳孔运动及头部运动，评估算出前庭动眼反射运动时的状况的适合度；

赋予部，对由所述算出部算出的与所述人的瞳孔运动及头部运动有关的数据，赋予由所述评估部评估的所述适合度；

选择部，基于赋予给所述数据的所述适合度，选择用于基于所述人的前庭动眼反射运动算出困倦的第一方法或者与该第一方法不同的第二方法；

第一困倦算出部，当由该选择部选择了所述第一方法时，所述第一困倦算出部基于所述第一方法算出困倦；以及

第二困倦算出部，当由所述选择部选择了所述第二方法时，所述第二困倦算出部基于所述第二方法算出困倦。

根据上述数据处理装置(1)，由所述评估部评估算出所述前庭动眼反射运动时的状况的适合度，并由所述赋予部对所述数据赋予所述适合度。因此，根据赋予给所述数据的所述适合度，可判别所述数据具有怎样的适合性作为算出所述前庭动眼反射运动时的状况。然后，通过所述选择部，基于所述适合度选择所述第一方法或所述第二方法，并基于该选择的方法算出困倦。由此，即使在不适合用所述第一方法算出困倦的状况，换言之，不适合基于所述人的前庭动眼反射运动算出困倦的状况下，也能通过所述第二方法算出困倦，并能高精度地算出现实环境下的困倦。

另外，本公开涉及的数据处理装置(2)在上述数据处理装置(1)的基础上，其特征在于，

当所述适合度满足规定条件时，所述选择部选择所述第一方法，

当所述适合度不满足所述规定条件时，所述选择部选择所述第二方法。

根据上述数据处理装置(2)，在所述适合度满足规定条件的情况下，换言之，在适合作为算出所述前庭动眼反射运动时的状况的情况下，选择所述第一方法，基于所述人的前庭动眼反射运动算出困倦。

另一方面，即使在所述适合度不满足所述规定条件的情况下，换言之，在不适合作为算出前庭动眼反射运动时的状况的情况下，也通过所述第二方法算出困倦。因此，通过基于所述规定条件，适当地选择所述第一方法或所述第二方法，能提高现实环境下的困倦的算出精度。

另外，本公开涉及的数据处理装置(3)在上述数据处理装置(1)或(2)的基础上，其特征在于，所述第一困倦算出部包括反射运动算出部，该反射运动算出部考虑所述适合度并基于所述数据，算出所述人的前庭动眼反射运动，

所述第一困倦算出部基于由该反射运动算出部算出的所述人的前庭动眼反射运动，算出困倦。

根据上述数据处理装置(3)，通过所述第一困倦算出部，考虑所述适合度并基于所述数据算出所述人的前庭动眼反射运动，并且基于该算出的所述人的前庭动眼反射运动算出困倦。由此，通过使用所述数据中考虑了所述适合度的适当数据，可提高所述人的前庭动眼反射运动的算出精度，并且还能基于所述人的前庭动眼反射运动高精度地算出困倦，另外能高精度地检测现实环境下的所述困倦的预兆。

另外，本公开涉及的数据处理装置(4)在上述数据处理装置(1)或(2)的基础上，其特征在于，所述第二困倦算出部包括扫视运动算出部，该扫视运动算出部算出所述人的扫视运动，

所述第二困倦算出部包括基于由该扫视运动算出部算出的所述人的扫视运动来算出困倦的构成。

根据上述数据处理装置(4)，通过所述第二困倦算出部算出所述人的扫视运动，并基于该算出的所述人的扫视运动算出困倦。所述扫视运动也称为冲动性眼球运动，是在改变视线位置时产生的高速且持续时间短的眼球运动，其特性与低速的所述前庭动眼反射运动的特性大不相同。另外，作为不适合算出所述前庭动眼反射运动的状况，可举出所述扫视运动高频率地发生的状况。因此，即使在不适合作为算出前庭动眼反射运动时的状况的情况下，也能通过基于所述人的扫视运动算出困倦，从而高精度地算出困倦。

另外，本公开涉及的数据处理装置(5)在上述数据处理装置(1)或(2)的基础上，其特征在于，所述第二困倦算出部包括眼睑运动算出部，该眼睑运动算出部算出基于所述人的眼睑运动的指标，

所述第二困倦算出部包括基于由该眼睑运动算出部算出的基于所述眼睑运动的指标来算出困倦的构成。

根据上述数据处理装置(5)，通过所述第二困倦算出部算出基于所述人的眼睑运动的指标，并基于该算出的基于所述眼睑运动的指标算出困倦。基于所述人的眼睑运动的指标例如包括眼睑开度(眼睛的张开程度)、眨眼频率及表示闭眼时间与单位时间的比例的PERCLOS(Percent of the time eyelids are closed：眼睑闭合的时间百分比)中的至少任一方。由此，即使在不适合作为算出前庭动眼反射运动时的状况的情况下，也能通过根据基于所述眼睑运动的指标算出困倦，从而高精度地算出困倦。

另外，本公开涉及的数据处理装置(6)在上述数据处理装置(1)至(5)中的任一方的基础上，其特征在于，所述数据处理装置包括唤醒控制部，所述唤醒控制部基于由所述第一困倦算出部或所述第二困倦算出部算出的所述困倦，进行用于唤醒所述人的控制。

根据上述数据处理装置(6)，通过所述唤醒控制部，基于由所述第一困倦算出部或所述第二困倦算出部算出的所述困倦，进行唤醒所述人的控制，因此能将所述人从困倦中唤醒。

另外，本公开涉及的数据处理装置(7)在上述数据处理装置(1)至(6)中的任一方的基础上，其特征在于，所述评估部基于所述人或该人所操作的物体的状态，评估所述适合度。

根据上述数据处理装置(7)，基于所述人或该人所操作的物体的状态，对所述适合度进行评估。因此，通过考虑所述人或该人所操作的物体的状态，可更准确地评估作为算出所述前庭动眼反射运动时的状况的适合性，并能更准确地评估所述适合度。由此，还能通过所述选择部更适当地进行所述第一方法或所述第二方法的选择，并且能通过所述第一方法或所述第二方法提高困倦的算出精度。

另外，本公开涉及的数据处理装置(8)在上述数据处理装置(7)的基础上，其特征在于，所述物体是车辆，所述人是所述车辆的驾驶员。

根据上述数据处理装置(8)，所述物体是车辆，所述人是驾驶车辆的驾驶员，因此在实车环境中能高精度地算出所述驾驶员的困倦。

另外，本公开涉及的数据处理装置(9)在上述数据处理装置(8)的基础上，其特征在于，

所述评估部基于所述数据中包含的噪声分量、所述驾驶员的视线方向、所述车辆的行驶状态及存在于所述车辆的行进方向上的物体的检测状态中的至少任一方，评估所述适合度。

根据上述数据处理装置(9)，基于所述数据中包含的噪声分量、所述驾驶员的视线方向、所述车辆的行驶状态及存在于所述车辆的行进方向上的物体的检测状态中的至少任一方，对所述适合度进行评估。

例如，在所述噪声分量小的情况下，可评估为所述适合度高。另外，在所述驾驶员的视线方向在前方的一定范围内的情况、所述车辆直线行驶的情况、或者在所述车辆的行进方向上未检测到所述物体的情况下，也可评估为所述适合度高。

因此，通过考虑所述数据中包含的噪声分量、所述驾驶员的视线方向、所述车辆的行驶状态及存在于所述车辆的行进方向上的物体的检测状态中的至少任一方，可更准确地评估实车环境中的所述适合度。由此，能通过所述选择部更适当地进行所述第一方法或所述第二方法的选择，并能通过所述第一方法或所述第二方法提高困倦的算出精度。需要说明的是，所述数据中包含的噪声分量包括妨碍算出所述前庭动眼反射运动的眼球、头部的运动分量，例如，包括所述前庭动眼反射运动以外的眼球运动的分量。

另外，本公开涉及的数据处理装置(10)在上述数据处理装置(8)的基础上，其特征在于，

所述数据处理装置包括用于取得所述车辆的加速度的取得部，

所述评估部基于从所述车辆取得的该车辆的加速度变化与由所述算出部算出的所述驾驶员的头部运动或瞳孔运动之间的关系，评估所述适合度。

根据上述数据处理装置(10)，例如在根据所述车辆的加速度变化，换言之，跟随所述车辆产生的振动，算出所述驾驶员的头部运动或瞳孔运动的情况下，评估为所述适合度高。因此，可确切地评估在实车环境中易于发生所述前庭动眼反射运动的状况，并准确地评估所述适合度。由此，能通过所述选择部更适当地进行所述第一方法或所述第二方法的选择，并能通过所述第一方法或所述第二方法提高困倦的算出精度。

另外，本公开涉及的监测系统(1)，其特征在于，包括：上述数据处理装置(1)至(10)中的任一方数据处理装置；和拍摄装置，拍摄包括所述人的图像，所述数据处理装置的所述算出部使用从所述拍摄装置取得的所述图像，算出所述人的瞳孔运动及头部运动。

根据上述监测系统(1)，被构成为包括上述数据处理装置(1)至(10)中的任一方和所述拍摄装置，因此提供可获得上述数据处理装置(1)至(10)中的任一方的效果的、在各种现实环境下容易导入的系统。

另外，本公开涉及的唤醒系统，其特征在于，被构成为包括：上述数据处理装置(6)；和唤醒装置，由该数据处理装置(6)的所述唤醒控制部进行控制。

根据上述唤醒系统，由所述唤醒控制部控制所述唤醒装置，因此能通过该唤醒装置适当地唤醒所述人。

另外，本公开涉及的数据处理方法是用于监测人的数据处理方法，其特征在于，包括：

算出步骤，算出所述人的瞳孔运动及头部运动；

评估步骤，基于所述人的瞳孔运动及头部运动，评估算出前庭动眼反射运动时的状况的适合度；

赋予步骤，对通过所述算出步骤算出的与所述人的瞳孔运动及头部运动有关的数据，赋予通过所述评估步骤评估的所述适合度；

选择步骤，基于赋予给所述数据的所述适合度，选择用于基于所述人的前庭动眼反射运动算出困倦的第一方法或者与该第一方法不同的第二方法；

第一困倦算出步骤，当通过该选择步骤选择了所述第一方法时，基于所述第一方法算出困倦；以及

第二困倦算出步骤，当通过所述选择步骤选择了所述第二方法时，基于所述第二方法算出困倦。

根据上述数据处理方法，通过所述评估步骤对算出所述前庭动眼反射运动时的状况的适合度进行评估，并通过所述赋予步骤对所述数据赋予所述适合度。因此，根据赋予给所述数据的所述适合度，可判别所述数据具有怎样的适合性作为算出所述前庭动眼反射运动时的状况。然后，通过所述选择步骤，基于所述适合度选择所述第一方法或所述第二方法，并基于该选择的方法算出困倦。由此，即使在不适合用所述第一方法算出困倦的状况，换言之，不适合基于所述人的前庭动眼反射运动算出困倦的状况下，也能通过所述第二方法算出困倦，并高精度地算出现实环境下的困倦。

另外，本公开涉及的记录介质存储用于使至少一个计算机执行用于监测人的数据处理的数据处理程序，其特征在于，

使所述至少一个计算机执行：

算出步骤，算出所述人的瞳孔运动及头部运动；

评估步骤，基于所述人的瞳孔运动及头部运动，评估算出前庭动眼反射运动时的状况的适合度；

赋予步骤，对通过所述算出步骤算出的与所述人的瞳孔运动及头部运动有关的数据，赋予通过所述评估步骤评估的所述适合度；

选择步骤，基于赋予给所述数据的所述适合度，选择用于基于所述人的前庭动眼反射运动算出困倦的第一方法或者与该第一方法不同的第二方法；

第一困倦算出步骤，当通过该选择步骤选择了所述第一方法时，基于所述第一方法算出困倦；以及

第二困倦算出步骤，当通过所述选择步骤选择了所述第二方法时，基于所述第二方法算出困倦。

根据上述数据处理程序，通过所述评估步骤对算出所述前庭动眼反射运动时的状况的适合度进行评估，并通过所述赋予步骤对所述数据赋予所述适合度。因此，根据赋予给所述数据的所述适合度，可判别所述数据具有怎样的适合性作为算出所述前庭动眼反射运动时的状况。然后，通过所述选择步骤，基于所述适合度选择所述第一方法或所述第二方法，并基于该选择的方法算出困倦。由此，能实现如下数据处理装置：即使在不适合用所述第一方法算出困倦的状况，换言之，不适合基于所述人的前庭动眼反射运动算出困倦的状况下，也能通过所述第二方法算出困倦，并可高精度地算出现实环境下的困倦。

附图说明

图1是示意性示出使用了实施方式涉及的数据处理装置的监测系统的一例的图。

图2是示出实施方式涉及的监测系统的硬件构成的一例的框图。

图3是示出实施方式涉及的数据处理装置的功能构成的一例的框图。

图4A是示出实施方式涉及的数据处理装置的控制单元进行的处理动作的一例的流程图。

图4B是示出实施方式涉及的数据处理装置的控制单元进行的处理动作的一例的流程图。

附图标记说明

1 监测系统 2 车辆

3 驾驶员 10 数据处理装置

11 外部接口(外部I/F) 12 控制单元

121 CPU(中央处理单元) 122 RAM(随机存取存取器)

123 ROM(只读存储器) 12a 图像取得部

12b 数据取得部 12c 算出部

12d 适合度评估部(评估部) 12e 赋予部

12f 选择部 12g 第一困倦算出部

12h VOR算出部(反射运动算出部) 12i 第二困倦算出部

12j 扫视运动算出部 12k 眼睑运动算出部

12m 唤醒控制部 13 存储单元

131 图像存储部 132 取得数据存储部

133 算出数据存储部 134 程序

20 相机 30 车载传感器

31 车外传感器 32 加速度传感器

33 陀螺仪传感器 34 转向传感器

40 启动开关 50 导航装置

60 电子控制单元(ECU) 70 唤醒装置。

具体实施方式

以下，基于附图说明本发明涉及的数据处理装置、监测系统、唤醒系统、数据处理方法及数据处理程序的实施方式。

本发明涉及的数据处理装置例如可广泛地应用于监测人(对象者)的系统。例如，除了对车辆、铁路车辆、飞机及船舶等各种移动体的驾驶员(操纵者)进行监测的系统以外，还可应用于诸如以下系统等，即监测对工厂内的机械、装置等各种设备进行操作、监视或执行规定作业的人等。

系统构成例

图1是示意性示出使用了实施方式涉及的数据处理装置的监测系统的一例的图。

监测系统1是搭载于车辆2的驾驶员监测系统，被构成为包括数据处理装置10和相机20。数据处理装置10是进行用于监测车辆2的驾驶员3的数据处理的计算机。相机20是本发明的“拍摄装置”的一例。相机20连接到数据处理装置10，并配置成能拍摄包括驾驶员3的脸部的图像。

车辆2是汽车，但也可以是二轮车等车辆，车辆2的种类没有特别限定。另外，车辆2既可以是美国汽车工程学会(也称为SAE)提出的自动驾驶级别为0(无驾驶自动化)的车辆(所谓的手动驾驶车辆)，也可以是自动驾驶车辆。自动驾驶车辆可以是SAE提出的自动驾驶级别中的1级(驾驶员辅助)、2级(部分自动驾驶)、3级(附带条件的自动驾驶)、4级(高度自动驾驶)及5级(完全自动驾驶)中的任一级别的车辆。

另外，数据处理装置10构成为可与车辆2上所搭载的各种设备例如车载传感器30、启动开关40及导航装置50等连接。另外，数据处理装置10也可构成为可与用于控制车辆2的驱动部、制动部、转向部或悬架部等各部的一个以上的电子控制单元(ECU：ElectronicControl Unit)60连接。启动开关40例如是点火开关。

关于数据处理装置10，将提高作为现实环境的一例的实车环境下的驾驶员3的困倦的算出精度作为目的之一。

如背景技术栏所记载的那样，在实车环境中，车外状况、路面状况、车辆行为及驾驶员的头部和眼睛的活动等不是恒定的。因此，在驾驶员的瞳孔运动及头部运动的数据中，以复合的方式包括有与前庭动眼反射运动的分量(也称为信号分量)不同的运动分量，例如扫视运动、辐辏运动等的分量(也称为噪声分量)。另外，在实车环境中，并非总是发生引起前庭动眼反射运动的头部运动。

其结果，在实车环境中，也发生用于检测前庭动眼反射运动的数据的信号噪声(SN)比降低的状况。在这种状况下，存在即使基于前庭动眼反射运动算出困倦，也难以高精度地算出困倦的课题。需要说明的是，前庭动眼反射运动(以下也称为VOR)是伴随人的头部运动而引起的眼球运动，并且是通过向头部活动的相反方向移动眼球以抑制视网膜图像模糊的不自主的眼球运动。

为了解决相关课题，在实施方式涉及的数据处理装置10中采用以下构成。

数据处理装置10从相机20取得拍摄图像，并根据取得的拍摄图像，至少算出驾驶员3的瞳孔运动及头部运动。另外，数据处理装置10基于驾驶员3的瞳孔运动及头部运动，评估算出前庭动眼反射运动时的状况的适合度。

例如，基于从拍摄图像检测到的驾驶员3的状态、或者由车载传感器30等检测到的车辆2的状态中的至少任一状态，评估该适合度。

驾驶员3的状态包括驾驶员3的视线方向。例如，驾驶员3注视特定方向或特定场所的状态是前庭动眼反射运动以外的眼球运动(例如，扫视运动、辐辏运动等)不易发生的状态，换言之，是前庭动眼反射运动的噪声分量变小、S/N比容易变高的状态。在驾驶员3处于这种状态时，例如判定为具有适合性或者适合性高，并且适合度被评估为较高。

另外，车辆2的状态包括车辆2的行驶状态、或者存在于车辆2的行进方向的物体(人或其他车辆等)的检测状态等。另外，也可基于车辆2的加速度变化与驾驶员3的瞳孔运动或头部运动之间的关系，评估适合度。

例如，当车辆2的状态是驾驶员3的头部在上下、左右或前后方向、或者偏转或俯仰方向上容易移位或振动的状态，换言之，前庭动眼反射运动的信号分量、特别是移位量容易变大的状态时，例如判定为具有适合性或者适合性高，并且适合度被评估为较高。

另外，当车辆2的状态是驾驶员3的前庭动眼反射运动以外的眼球运动(例如，扫视运动、辐辏运动等)不易发生的行驶状态，换言之，前庭动眼反射运动的噪声分量变小的行驶状态，具体而言，是车辆2行驶在直线道路上的状态时，例如判定为具有适合性或者适合性高，并且适合度被评估为较高。

如上所述被评估的适合度表示为计算机可识别的数据。适合度例如既可以用表示算出VOR的适合性的有无或适合性的高低的二值数据来表示，也可以用与适合性的程度相应的(例如，进行分级或加权)多值数据来表示。适合性的程度例如表示作为算出VOR的状态的适合程度。

然后，数据处理装置10对基于拍摄图像算出的与驾驶员3的瞳孔运动及头部运动有关的数据(以下，也称为算出数据)赋予适合度。被赋予适合度的与驾驶员3的瞳孔运动及头部运动有关的数据既可以是驾驶员3的瞳孔运动及头部运动的数据，也可以是根据驾驶员3的瞳孔运动及头部运动的数据算出的值、或者表示驾驶员3的瞳孔运动及头部运动的关联性的值等。数据处理装置10例如可对表示瞳孔运动及头部运动之间的相关关系的系数等值赋予适合度。

进而，数据处理装置10基于对与驾驶员3的瞳孔运动及头部运动有关的数据所赋予的适合度，选择用于基于驾驶员3的前庭动眼反射运动算出困倦的第一方法或者与该第一方法不同的第二方法。需要说明的是，第二方法可包括多种方法，也可从这些多种方法中选择适合规定条件的方法。

例如，在适合度满足规定条件的情况下，数据处理装置10选择第一方法，并基于该第一方法(即，基于驾驶员3的前庭动眼反射运动)算出困倦。

适合度满足规定条件的情况例如，可举出按规定时间存储的算出数据中，适合度被评估为较高的数据(例如，适合度为规定阈值以上的数据、或者被评估为具有作为算出VOR的状况的适合性的数据)为规定比例以上的情况。另外，适合度满足规定条件的情况，还可举出对按规定时间存储的算出数据所赋予的适合度的统计值(平均值、或最频值等)为规定阈值以上的情况等。

另一方面，在适合度不满足规定条件的情况下，数据处理装置10选择第二方法，并基于该第二方法算出困倦。第二方法只要是与基于前庭动眼反射运动算出困倦的第一方法不同的方法，则没有特别限定。优选地，采用即使在不易引起前庭动眼反射运动的状况下，也可高精度地算出困倦的方法。

第二方法例如包括以下方法中的至少任一方：基于扫视运动算出困倦的方法、根据基于驾驶员3的眼睑运动的指标算出困倦的方法、基于从拍摄图像检测到的瞳孔面积的变化算出困倦的方法、以及基于从拍摄图像检测到的瞳孔的纵向直径和横向直径之比的变化算出困倦的方法。基于眼睑运动的指标例如包括眼睑开度(眼睛的张开程度)、眨眼频率及表示闭眼时间与单位时间的比例的PERCLOS中的至少任一方。

由数据处理装置10算出的困倦例如被算出为与从困倦的预兆阶段到瞌睡状态的困倦程度相应的数据(困倦度)，但也可被算出为表示有无困倦的数据。

根据这种数据处理装置10，即使在用第一方法难以高精度地算出困倦的状况，换言之，在基于驾驶员3的前庭动眼反射运动难以高精度地算出困倦的状况下，也可基于第二方法算出困倦。因此，可在发生复杂的眼球运动等的实车环境下始终高精度地算出困倦。

硬件构成例

图2是示出实施方式涉及的监测系统1的硬件构成的一例的框图。

监测系统1被构成为包括数据处理装置10和相机20。

数据处理装置10由电连接有外部接口(也记载为外部I/F)11、控制单元12及存储单元13的计算机构成。

控制单元12被构成为包括作为硬件处理器的CPU(Central Processing Unit：中央处理单元)121、RAM(Random Access Memory：随机存取存取器)122、ROM(Read OnlyMemory：只读存储器)123，并进行与数据处理相应的各种控制。需要说明的是，控制单元12也可包括多个硬件处理器。除了CPU121以外，硬件处理器还可包括微处理器、图形处理单元(GPU)等。

存储单元13例如由RAM、ROM、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、其他非易失性存储器和易失性存储器等可由半导体元件等存储数据的一个以上的存储装置构成。

存储单元13具备图像存储部131、取得数据存储部132及算出数据存储部133。另外，存储单元13中存储有程序134。程序134是包含用于使数据处理装置10执行用于监测驾驶员3的各种数据处理的指令的程序。此外，程序134也可存储在控制单元12的ROM123中。另外，存储单元13的各部也可设置在控制单元12的RAM122中。

外部I/F11是用于与搭载在车辆2上的各种设备连接的接口，并且根据所连接的设备适当地构成。外部I/F11例如经由CAN(Controller Area Network：控制器区域网络)等车载网络与相机20、车载传感器30、启动开关40、导航装置50、电子控制单元60及唤醒装置70连接。此外，外部I/F11也可针对所连接的每个设备进行设置。另外，上述以外的设备也可连接到外部I/F11。

相机20是用于拍摄包括驾驶员3的脸部的图像的装置，包括例如图中没有示出的透镜部、拍摄元件部、光照射部、控制这些各部的控制部等。拍摄元件部例如包括CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)等拍摄元件、滤波器、微透镜等。

除包括能通过接收可见区域的光而形成拍摄图像的部件以外，拍摄元件部还可包括能通过接收紫外线或红外线而形成拍摄图像的CCD、CMOS、或者光电二极管等红外线传感器。

光照射部包括LED(Light Emitting Diode：发光二极管)等发光元件，并且也可使用红外线LED等，使得能不分昼夜地拍摄驾驶员的状态。控制部例如包括CPU、存储器、图像处理电路等。

控制部控制拍摄元件部和光照射部，以进行从该光照射部照射光(例如，近红外线等)并在拍摄元件部中拍摄其反射光的控制等。相机20以规定的帧速率(例如，每秒30至60帧)拍摄图像，并且将由相机20拍摄到的图像数据输出至数据处理装置10并存储在图像存储部131中。

相机20由一台构成，但也可由两台以上构成。另外，相机20既可以与数据处理装置10分开(单独的壳体)构成，也可以与数据处理装置10一体地(同一壳体)构成。另外，相机20既可以是单眼相机，也可以是立体相机。

相机20在车室内的设置位置只要是能拍摄至少包括驾驶员3的脸部的视野的位置，没有特别限定。例如，除了车辆2的仪表盘中央附近以外，也可设置在转向部分、转向柱部分、仪表面板部分、车内后视镜附近位置、A柱部分或导航装置50等。另外，包含相机20的规格(视场角、像素数(纵×横)等)及位置姿势(安装角度、离规定的原点(方向盘中央位置等)的距离等)的信息可存储在相机20或数据处理装置10中。

车载传感器30包括车外传感器31、加速度传感器32、陀螺仪传感器33及转向传感器34等，但也可包括除这些以外的传感器。

车外传感器31是检测存在于车辆2周边的对象物的传感器。除了其他车辆、自行车、人等移动物体以外，对象物还可包括白线等路面标示、护栏、中央隔离带、以及影响车辆2行驶的构造物等。车外传感器31包括前方监视相机、后方监视相机、雷达(Radar)、LIDAR即光检测与测距(Light Detection and Ranging)或激光成像检测与测距(Laser ImagingDetection and Ranging)及超声波传感器中的至少一个。由车外传感器31检测到的对象物的检测数据除了可输出到数据处理装置10以外，还可输出到电子控制单元60。

前方监视相机和后方监视相机可采用立体相机、单眼相机等。雷达将毫米波等电波发送到车辆周围，并通过接收由车辆周围存在的对象物反射的电波，检测对象物的位置、方向、距离等。LIDAR将激光传输到车辆周围，并通过接收由车辆周围存在的对象物反射的光，检测对象物的位置、方向、距离等。

加速度传感器32是检测车辆2的加速度的传感器，既可以使用检测XYZ轴三个方向上的加速度的三轴加速度传感器，也可以使用双轴、单轴加速度传感器。对于三轴加速度传感器，除了静电电容型以外，也可使用压电电阻型等半导体方式的加速度传感器。由加速度传感器32检测到的加速度数据除了可输出到数据处理装置10以外，还可输出到导航装置50或电子控制单元60。

陀螺仪传感器33是检测车辆2的旋转角速度(例如，偏航角速度)的角速度传感器。由陀螺仪传感器33检测到的旋转角速度的信号除了可输出到数据处理装置10以外，还可输出到导航装置50或电子控制单元60。

转向传感器34是检测车辆2相对于转向器的转向量的传感器，例如设置在车辆2的转向轴上，检测由驾驶员3施加给转向器的转向扭矩或转向器的转向角。由转向传感器34检测到的、与驾驶员3的转向操作相应的信号除了可输出到数据处理装置10以外，还可输出到电子控制单元60。

导航装置50被构成为包括图中没有示出的控制部、显示部、声音输出部、操作部、地图数据存储部、GPS接收部等。导航装置50例如基于由GPS接收部等测量的车辆2的位置信息和地图数据存储部的地图信息，推断车辆2行驶的道路、车道，并且算出从车辆2的当前位置到目的地的路径等，并向显示部(图中没有示出)显示该路径，从声音输出部(图中没有示出)输出诸如路径引导等声音。也可构成为，将通过导航装置50得到的车辆2的位置信息、行驶道路信息或行驶预定路径信息等输出给数据处理装置10。

电子控制单元60由控制车辆2的驱动部、制动部、转向部或悬架部等车辆2的各部的一个以上的计算机装置构成。

数据处理装置10将从车载传感器30、导航装置50及电子控制单元60等取得的数据存储到取得数据存储部132。

唤醒装置70是由数据处理装置10控制的装置，基于来自数据处理装置10的控制信号，执行用于将驾驶员3唤醒的动作。唤醒装置70例如可由以声音或光等方式向驾驶员3发出警告的警报装置构成。另外，也可由用于将冷风、暖风、或含有香气成分或臭气成分的气体等吹向驾驶员3的空调装置构成。或者，也可由使转向器、安全带或座椅等振动的振动装置等构成。

功能构成例

图3是示出实施方式涉及的数据处理装置10的控制单元12的功能构成的一例的框图。

数据处理装置10的控制单元12将图2所示的存储单元13中存储的程序134在RAM122中展开。然后，控制单元12通过CPU121解释并执行在RAM122中展开的程序134，并控制各构成要素。

由此，如图3所示，数据处理装置10被构成作为具备图像取得部12a、数据取得部12b、算出部12c、适合度评估部12d、赋予部12e、选择部12f、第一困倦算出部12g、VOR算出部12h、第二困倦算出部12i、扫视运动算出部12j、眼睑运动算出部12k及唤醒控制部12m的计算机。控制单元12中装配的这些各部也可构成为软件模块。

图像取得部12a从相机20取得拍摄图像。由图像取得部12a取得的拍摄图像的数据被输出到算出部12c。此外，也可将由图像取得部12a取得的拍摄图像的数据存储到图像存储部131，并从图像存储部131向算出部12c输出拍摄图像的数据。

数据取得部12b从车载传感器30、启动开关40、导航装置50及电子控制单元60等取得表示车辆2的状态的数据。由数据取得部12b取得的表示车辆2的状态的数据被输出到适合度评估部12d。此外，也可将由数据取得部12b取得的表示车辆2的状态的数据存储到取得数据存储部132，并从取得数据存储部132向适合度评估部12d输出表示车辆2的状态的数据。

算出部12c进行算出驾驶员3的瞳孔运动及头部运动的处理。在本实施方式中，通过对从相机20取得的拍摄图像进行图像分析，算出驾驶员3的瞳孔运动及头部运动。该算出处理例如按拍摄图像的每帧执行，但也可按规定的帧间隔执行。

接着，说明算出部12c进行的瞳孔运动的算出处理的一例。

算出部12c首先通过模板匹配从由相机20拍摄的图像中检测驾驶员3的脸部(例如，脸部区域)。脸部区域的检测可使用预先准备的脸部的模板图像。接着，算出部12c针对从拍摄图像检测到的驾驶员3的脸部区域，通过模板匹配从驾驶员3的脸部区域检测瞳孔的位置。也可使用预先准备的瞳孔的模板图像来检测瞳孔的位置。然后，算出部12c按拍摄图像的每帧检测驾驶员3的瞳孔的位置，并根据这些每帧的瞳孔的位置变化(移动量)算出瞳孔运动(例如，眼球运动角速度)。

接着，说明算出部12c进行的头部运动的算出处理的一例。

算出部12c首先通过模板匹配从由相机20拍摄的图像中检测驾驶员3的脸部(例如，脸部区域)。脸部区域的检测可使用预先准备的脸部的模板图像。另外，也可使用通过上述算出瞳孔运动的处理检测到的驾驶员3的脸部区域的数据。

接着，算出部12c针对从拍摄图像检测到的驾驶员3的脸部区域，通过模板匹配从脸部区域检测眼睛的位置。也可使用预先准备的眼睛的模板图像来检测眼睛的位置。在眼睛的模板图像中，例如预先关联有表示眼尾和眼头的位置的坐标。可根据眼睛的模板图像中的眼尾和眼头的坐标，检测拍摄图像中的驾驶员3的眼尾和眼头的位置。眼尾和眼头的位置通过眨眼等眼睛的开合动作而不移动，因此能推定为眼尾和眼头的位置变化通过头部运动而移动。

然后，算出部12c按拍摄图像的每帧检测驾驶员3的眼尾和眼头的位置，并根据这些每帧的眼尾和眼头的位置变化(移动量)算出头部运动(例如，头部运动角速度)。此外，也可检测眼尾或眼头的位置。

此外，当从拍摄图像检测驾驶员3的眼尾和眼头的位置时，除了使用二维图像数据以外，还可组合包含三维位置信息的距离图像数据来进行检测。

为了取得这样的距离图像数据，例如也可在监测系统1上装配三维图像测量部。三维图像测量部构成为，取得使拍摄图像的各像素具有到对象物的距离的值(与进深相关的信息)的三维图像(距离图像)。这种三维图像测量部例如既可以是诸如立体法等被动型测量部，也可以是投影光学雷达、图案光等的光的方式的主动型测量部。

通过这样组合二维图像和距离图像，可高精度地检测驾驶员3的眼尾和眼头的位置变化是由头部的平行运动(上下或左右方向的运动)引起的，还是由旋转运动(偏转或俯仰方向的运动)引起的。通过这样的构成，可更准确地算出瞳孔运动及头部运动，并且能进一步提高前庭动眼反射运动的监测精度。

此外，驾驶员3的瞳孔运动及头部运动的算出处理不限于上述示例，也可采用公知的各种方法。例如，如国际公开第2006/051607号小册子、日本特开2007-249280号公报中所公开的，也可按图像的每帧检测脸部的各器官(眼睛、嘴、鼻子、耳朵等)的特征点，并且根据脸部各器官的特征点的位置得到脸部的朝向，并根据这些每帧的脸部朝向的变化(移动量)算出头部运动。

另外，除了按每帧算出驾驶员3的瞳孔运动及头部运动的构成以外，算出部12c还包括按每帧算出从拍摄图像检测到的瞳孔的面积(像素数)的构成、或者算出从拍摄图像检测到的瞳孔的纵向直径和横向直径之比(纵向直径/横向直径)的构成。进而，算出部12c还可包括算出与视线的方向及眼睛的开合相关的信息的构成。此外，也可通过对从相机20取得到的拍摄图像进行图像分析来算出驾驶员3的瞳孔运动，并基于从安装于驾驶员3的头部的陀螺仪传感器等取得到的数据，算出驾驶员3的头部运动。

然后，将由算出部12c算出的与驾驶员3的瞳孔运动及头部运动有关的数据(算出数据)输出到赋予部12e和适合度评估部12d。

适合度评估部12d取入由数据取得部12b取得的表示车辆2的状态的数据、以及表示由算出部12c算出的驾驶员3的状态的数据，并且使用这些数据，进行评估算出驾驶员3的前庭动眼反射运动时的状况的适合度的处理。适合度评估部12d例如通过判定驾驶员3的状态、或者车辆2的状态是否处于适合算出前庭动眼反射运动的规定的状态等，进行评估适合度的处理。

上述规定的状态包括驾驶员3的头部容易振动的状态，换言之，前庭动眼反射运动的信号分量、特别是移位量变大的状态。更具体而言，包括驾驶员3的头部在上下、左右或前后方向或者偏转或俯仰方向上容易移位或振动的状态等。

另外，规定的状态包括前庭动眼反射运动以外的眼球运动(例如，扫视运动、辐辏运动等)不易发生的状态，换言之，前庭动眼反射运动的噪声分量变小的状态。更具体而言，包括车辆2在直线道路上行驶的状态，或者驾驶员3注视特定地方的状态等。

接着，说明适合度评估部12d进行的处理的一例。

(1)适合度评估部12d判定是否能由算出部12c算出驾驶员3的瞳孔运动及头部运动。原本，如果不能适当地算出瞳孔运动及头部运动，则不能进行前庭动眼反射运动的算出。

因此，当从算出部12c取得算出数据时，适合度评估部12d通过模板匹配判定从图像中提取出的脸部区域与脸部的模板图像的相似度，或者从图像中提取出的眼睛区域与眼睛的模板图像的相似度。当各个相似度低于规定阈值时，可评估为不能从图像适当地取得头部(眼睛、即眼尾和眼头)的位置或瞳孔的位置，即不适合(例如，无适合性或适合性低)作为算出前庭动眼反射运动的状态。

(2)适合度评估部12d也可判定瞳孔运动的数据是否是包括前庭动眼反射运动以外的许多眼球运动、即扫视运动等噪声分量的数据。

例如，在瞳孔的运动量大于头部的运动量等情况下，当眼球的旋转速度、旋转角等眼球运动大于规定阈值时，或者瞳孔跟随(即，在大致同一方向上)头部的移动或旋转方向而移动或旋转时，瞳孔运动的数据包括扫视运动等许多噪声分量。在这种情况下，可评估为不适合作为算出前庭动眼反射运动的状态。

另外，当脸部朝向大幅变动时驾驶员3未处于欲集中观察一定方向的状态，因此当脸部的旋转速度、旋转角等头部的运动大于规定阈值时，头部运动的数据包括许多噪声分量。在这种情况下，可评估为不适合作为算出前庭动眼反射运动的状态。

(3)适合度评估部12d可根据被取入算出部12c中的拍摄图像的取得周期，经由数据取得部12b取得车速数据，并判定车速数据是否小于规定的速度、或者车速数据是否大于规定的速度。通过该判定，能评估由算出部12c算出的数据是否是适合算出前庭动眼反射运动的数据，即算出前庭动眼反射运动时的状况的适合度(例如，适合性的有无或者适合性的高低等二值判定的适合度、或者适合程度等多值判定的适合度)。

一般来说，当车速较大时，驾驶员3趋于集中观察前方的窄范围。另一方面，当车速较小时，为了确保周边的安全，驾驶员3趋于随意展望宽范围。当算出前庭动眼反射运动时，优选使用驾驶员3集中观察窄范围的状态下的眼球运动和头部运动的数据。

因此，当车速数据小于规定的速度(例如，慢行速度)时，适合度评估部12d评估为不适合作为算出前庭动眼反射运动的状态，并且当车速数据大于规定的速度时，适合度评估部12d可评估为适合作为算出前庭动眼反射运动的状态。

另外，适合度评估部12d也可不是将规定的速度设为阈值，对适合性进行二值判定，而是将根据车速进行加权的加权系数用作适合度。例如，如果由算出部12c算出瞳孔运动及头部运动时的车速为时速0至20km，则将加权系数设为0.2，如果时速为20至40km则将加权系数设为0.5，如果时速为40至60km则将加权系数设为0.8，如果时速为60km以上则将加权系数设为1.0，并且可将这些加权系数用作适合度。

(4)适合度评估部12d可根据被取入算出部12c中的拍摄图像的取得周期，经由数据取得部12b取得转向数据，并判定转向数据是否大于规定的转向角。通过该判定，能评估由算出部12c算出的数据是否是适合算出前庭动眼反射运动的数据，即算出前庭动眼反射运动时的状况的适合度(例如，适合性的有无或者适合性的高低等二值判定的适合度、或者适合程度等多值判定的适合度)。

当算出前庭动眼反射运动时，优选使用驾驶员3集中观察前方窄范围的状态下的眼球运动和头部运动的数据。与在弯道连续的道路上行驶的情况相比，在直线道路上行驶的情况下，驾驶员3集中观察前方窄范围的趋势较高。因此，当转向数据大于规定的转向角时，适合度评估部12d可评估为不适合作为算出前庭动眼反射运动的状态。

(5)适合度评估部12d可根据被取入算出部12c中的拍摄图像的取得周期，经由数据取得部12b取得车辆2的位置数据或行驶道路数据等，并判定车辆2是否处于在直线道路上行驶的过程中。通过该判定，能评估由算出部12c算出的数据是否是适合算出前庭动眼反射运动的数据，即算出前庭动眼反射运动时的状况的适合度(例如，适合性的有无或者适合性的高低等二值判定的适合度、或者适合程度等多值判定的适合度)。从导航装置50取得车辆2的位置数据或行驶道路数据等。

与在弯道连续的道路上行驶的情况相比，在直线道路上行驶的情况下，驾驶员3集中观察前方窄范围的趋势较高。因此，当车辆2未在直线道路上行驶时，适合度评估部12d可评估为不适合作为算出前庭动眼反射运动的状态。

(6)适合度评估部12d可根据被取入算出部12c中的拍摄图像的取得周期，经由数据取得部12b取得由车外传感器31取得的周边监视数据，并判定在车辆2的周边是否存在障碍物或先行车辆等。通过该判定，能评估由算出部12c算出的数据是否是适合算出前庭动眼反射运动的数据，即算出前庭动眼反射运动时的状况的适合度(例如，适合性的有无或者适合性的高低等二值判定的适合度、或者适合程度等多值判定的适合度)。

当存在相对于车辆2相对移动的先行车辆或障碍物等时，驾驶员3趋于用眼睛追踪相对移动的先行车辆或障碍物，驾驶员3的眼睛处于主动地活动的状态。主动移动眼睛的状态不处于适合算出前庭动眼反射运动的状态。因此，当检测到相对于车辆2相对移动的先行车辆或障碍物等时，适合度评估部12d可评估为不适合作为算出前庭动眼反射运动的状态。

(7)适合度评估部12d从算出部12c取得驾驶员3的视线的朝向，并且可基于驾驶员3的视线的朝向，评估由算出部12c算出的数据是否是适合算出前庭动眼反射运动的数据，即算出前庭动眼反射运动时的状况的适合度(例如，适合性的有无或者适合性的高低等二值判定的适合度、或者适合程度等多值判定的适合度)。在根据拍摄驾驶员3的脸部而得到的图像来评估驾驶员3的视线朝向的方法中，采用公知的视线检测方法。

例如，驾驶员3在观察地平线的方向等前方的远处时，很可能集中观察前方，因此例如，当视线的朝向相对于车辆的前方(基准方向)在规定角度(例如，在上下方向上±5度，或者在左右方向上±5度)以内时，可评估为处于集中观察前方的状态、即适合作为算出前庭动眼反射运动的状态。

另外，驾驶员3在观察导航装置50等车内的操作部和显示部时，也很可能注视窄的范围。因此，例如，当驾驶员3的视线朝向是导航装置50等的设置方向时，可评估为适合作为算出前庭动眼反射运动的状态。但是，从安全性的观点出发，根据注视车内装配时的算出数据算出前庭动眼反射运动的情况，优选应用于自动驾驶级别为上述SAE3级以上的自动驾驶车辆等。

(8)适合度评估部12d通过基于由算出部12c算出的头部运动的运动量(平行移动或旋转移动)，判定是否是适合算出前庭动眼反射运动的数据，从而评估算出前庭动眼反射运动时的状况的适合度。

前庭动眼反射运动是只有驾驶员3的头部运动才发生的眼球运动。因此，当由算出部12c算出的头部运动的运动量(平行移动或旋转移动)小于规定的运动量时，适合度评估部12d可评估为不适合作为算出前庭动眼反射运动的状态。

(9)适合度评估部12d可根据被取入算出部12c中的拍摄图像的取得周期，经由数据取得部12b取得车辆的加速度数据，并且通过基于车辆2的加速度数据，判定由算出部12c算出的数据是否是适合算出前庭动眼反射运动的数据，从而可评估算出前庭动眼反射运动时的状况的适合度(例如，适合性的有无或者适合性的高低等二值判定的适合度、或者适合程度等多值判定的适合度)。

当在车辆2的上下、左右或前后方向上产生规定的加速度时，驾驶员3的头部处于在上下、左右或俯仰方向上容易运动的状态。

因此，当车辆2的加速度数据大于驾驶员3的头部运动容易发生的阈值时，适合度评估部12d也可评估为适合作为算出前庭动眼反射运动的状态。

另外，当从车辆2的加速度数据获得的车辆2的振动和头部运动具有在同一方向上以相同频率振动等的一定关系时，适合度评估部12d也可评估为适合作为算出前庭动眼反射运动的状态。

关于车辆2的加速度数据，除了可使用来自车辆2所装配的加速度传感器32的数据以外，还可使用根据与车外传感器31识别出的物体的距离的时序变化得到车辆2的速度，并根据该速度得到的加速度数据。

如此在适合度评估部12d中，当判定为作为算出前庭动眼反射运动的状态，具有适合性或适合性高时，适合度评估部12d将表示具有适合性或适合性高的判定数据作为适合度输出到赋予部12e。

另一方面，在适合度评估部12d中，当判定为作为算出前庭动眼反射运动的状态，不具有适合性或适合性低时，适合度评估部12d例如将表示不具有适合性或适合性低的判定数据作为适合度输出到赋予部12e。

另外，在适合度评估部12d中，当评估作为算出前庭动眼反射运动的状态的适合性的程度时，适合度评估部12d将表示适合性的程度的数据作为适合度输出到赋予部12e。

需要说明的是，适合度评估部12d既可以构成为进行上述(1)至(9)中任一项的评估，也可以构成为根据车辆2或驾驶员3的状态，适宜组合地执行上述(1)至(9)中的两项以上的评估。另外，对算出部12c和适合度评估部12d中的处理定时进行控制，使得针对在算出部12c的算出中所使用的每个图像帧获得适合度。例如，根据算出部12c中的拍摄图像的取入周期，针对每个图像帧评估适合度。

当取得由算出部12c算出的算出数据和由适合度评估部12d评估的适合度时，赋予部12e进行对算出部12c算出的与驾驶员3的瞳孔运动及头部运动有关的数据(各图像帧的算出数据)赋予由适合度评估部12d评估的适合度的处理。

然后，赋予部12e进行以下处理，即，将与驾驶员3的瞳孔运动及头部运动有关的数据和对该数据赋予的适合度，以按每个图像帧相关联的状态存储到算出数据存储部133。

适合度例如既可以是表示有无作为算出VOR的状态的适合性的二值数据，也可以是与适合性程度相应的、换言之加权后的多值数据。当使用与适合性程度相应的多值数据作为适合度时，能通过加权精细地判别作为算出VOR的状态的适合性。

若算出数据存储部133中存储有规定时间量的算出数据，则选择部12f基于对规定时间量的算出数据赋予的适合度，进行选择用于基于驾驶员3的前庭动眼反射运动算出困倦的第一方法或者与第一方法不同的第二方法的处理。

选择部12f例如在适合度满足规定条件时选择第一方法，在适合度不满足规定条件时选择第二方法。

例如，在适合度是表示有无适合性等的二值数据的情况下，作为规定条件，可以以规定时间量的算出数据中被赋予了表示具有适合性的适合度的数据占规定比例(例如，80％)以上为条件进行设定。

另外，在适合度是表示适合性程度(适合程度)的多值数据的情况下，作为规定条件，可以以规定时间量的算出数据中被赋予了表示规定阈值以上的适合程度的适合度的数据占规定比例(例如，80％)以上为条件进行设定。

在选择部12f中，若选择第一方法，则将第一方法的选择信号输出到第一困倦算出部12g。另一方面，在选择部12f中，若选择第二方法，则将第二方法的选择信号输出到第二困倦算出部12i。

当通过选择部12f选择了第一方法时，第一困倦算出部12g基于第一方法进行算出困倦的处理。

更具体而言，第一困倦算出部12g具备考虑适合度并基于算出数据来算出驾驶员3的前庭动眼反射运动的VOR算出部12h，并且基于由VOR算出部12h算出的驾驶员3的前庭动眼反射运动，进行算出困倦的处理。

VOR算出部12h使用从算出数据存储部133读出的、规定时间量的算出数据中适合度满足规定条件的数据，进行算出驾驶员3的前庭动眼反射运动的处理。

规定时间量的算出数据中适合度满足规定条件的数据是指，例如被赋予了表示具有适合性的适合度的数据、表示适合程度的适合度高于规定阈值的数据、或者表示适合程度的适合度较高的规定数量的数据等。

与由VOR算出部12h算出的前庭动眼反射运动相关的算出数据例如包括VOR增益、残差标准偏差及延迟时间中的至少任一方数据(也称为参数)，但优选至少包括VOR增益。

VOR增益原则上是指瞳孔运动(眼球旋转角速度)相对于头部运动(头部旋转角速度)的响应程度，能由瞳孔运动(眼球旋转角速度)/头部运动(头部旋转角速度)来表示。

例如，VOR增益作为等式[1]的回归模型的系数G，能通过等式[2]最小二乘估计求得，等式[1]将目标变量作为眼球旋转角速度e(t)，解释变量作为理想眼球角速度h(t)和常数项dc。其中ε(t)是回归模型的残差。另外，τ是眼球运动相对于理想眼球运动的延迟时间。

眼球旋转角速度e(t)能通过基于由算出部12c算出的瞳孔运动数据得到眼球运动角并对该眼球运动角进行微分处理而求得。理想眼球角速度h(t)能通过基于由算出部12c算出的头部运动数据得到头部运动角并对该头部运动角进行微分处理而求得。需要说明的是，VOR增益只要针对驾驶员3的前后、上下、左右、偏转及俯仰方向中的至少一个方向进行算出即可。

【数1】

e(t)＝Gh(t-τ)+dc+ε(t)

【数2】

另外，残差标准偏差(SDres)能通过等式[3]算出。

【数3】

此外，关于VOR增益和残差标准偏差，可将第一时间(例如，几十秒或规定帧数)的数据设为一个节段，并使其具有与比第一时间短的第二时间的重叠，同时每隔比第二时间短的第三时间算出各节段中的值，以获得足够的估计精度。另外，一般来说，若驾驶员3感到困倦，则VOR增益减小，并且发现残差标准偏差趋于增加。因此，为了高精度地判定困倦的预兆，也可求得VOR增益的减小率等变化率，或者残差标准偏差的增加率等变化率。

第一困倦算出部12g使用与VOR算出部12h算出的前庭动眼反射运动相关的算出数据，算出驾驶员3的困倦。例如，使用VOR增益、残差标准偏差及延迟时间中的至少任一方的参数，进行与规定阈值的比较等，并算出表示驾驶员3的困倦程度的困倦度。第一困倦算出部12g在算出驾驶员3的困倦之后，将驾驶员3的困倦的算出结果例如困倦度输出到唤醒控制部12m。

当通过选择部12f选择了第二方法时，第二困倦算出部12i基于第二方法进行算出困倦的处理。

更具体而言，第二困倦算出部12i包括扫视运动算出部12j和眼睑运动算出部12k，并且包括基于由扫视运动算出部12j算出的驾驶员3的扫视运动来进行算出困倦的处理的构成，和根据基于眼睑运动算出部12k算出的眼睑运动的指标进行算出困倦的处理的构成。

第二困倦算出部12i构成为，例如在规定时间量的算出数据中检测到瞳孔的数据为规定比例(例如，80％)以上时，选择扫视运动算出部12j，另一方面，在小于规定比例(例如，80％)时，选择眼睑运动算出部12k。

扫视运动算出部12j使用从算出数据存储部133读出的规定时间量的算出数据，进行算出驾驶员3的扫视运动的处理。

扫视运动也称为冲动性眼球运动，是在改变视线位置时产生的高速且持续时间短的眼球运动。扫视运动所需的时间通常为20至70毫秒左右的短时间，扫视运动的速度若用视角表示则通常为300至500度/秒左右。另外，扫视运动是前后有眼球停留的直线性眼球运动。

因此，可将眼球运动(换言之，瞳孔运动)的方向在规定时间(例如，20至70毫秒)内连续相同、且该规定时间的平均角速度为规定值以上的眼球运动检测为扫视运动。

在第二困倦算出部12i进行的基于扫视运动的困倦的算出处理中，可应用如下处理例。

在实车环境中，比较觉醒度高的状态和觉醒度开始降低的状态下的扫视运动时，若觉醒度降低，则扫视运动引起的眼球运动的振幅(移动量)及运动速度趋于变小，另外，扫视运动的时间间隔趋于缩短。换言之，当觉醒度降低时，振幅小且时间间隔短的扫视运动趋于高频率地发生。因此，例如，能使用扫视运动的振幅(移动量)、时间间隔及每单位时间的发生频率，作为用于基于扫视运动算出困倦的特征量。

首先，扫视运动算出部12j基于规定时间量的算出数据，对规定时间内发生的扫视运动进行评估，并得到所评估的各个扫视运动的振幅(移动量)、时间间隔及规定时间内的发生次数。

接着，在第二困倦算出部12i中，基于由扫视运动算出部12j算出的、扫视运动的振幅(移动量)、时间间隔及规定时间内的发生次数，算出困倦。例如，既可以得到振幅为规定值以下、且时间间隔为规定时间以下的扫视运动的发生次数并根据发生次数算出表示困倦程度的困倦度，也可以在发生次数为规定次数以上时，判定为困倦度高。

另外，眼睑运动算出部12k根据拍摄图像算出基于人的眼睑运动的指标。

基于人的眼睑运动的指标例如包括眼睑开度(眼睛的张开程度)、眨眼频率及PERCLOS中的至少任一方。

眼睑开度表示眼睛的张开程度(％)，例如能用从拍摄图像检测到的、从上眼睑到下眼睑的距离与虹膜的横向直径之比来表示。

眨眼频率表示规定时间内的眨眼次数，将从拍摄图像检测到的闭眼状态小于一般的眨眼时间(例如，100至300毫秒)的情况作为眨眼进行计数。闭眼状态可检测为小于等于眼睑遮挡瞳孔程度的闭眼状态，例如眼睑开度为规定值以下(例如，20％以下)的状态。

PERCLOS表示闭眼时间与单位时间的比例。闭眼时间能表示为，将小于等于眼睑遮挡瞳孔的程度的闭眼状态，例如眼睑开度为规定值以下(例如，20％以下)的状态、或者瞳孔的纵向直径与横向直径之比(纵向直径/横向直径)为规定值以下(例如，0.8以下)的状态持续规定眨眼时间以上的时间进行累积而得到的时间。

在第二困倦算出部12i进行的、根据基于眼睑运动的指标算出困倦的处理中，可应用如下处理例。

首先，眼睑运动算出部12k基于规定时间量的算出数据或者规定时间量的拍摄图像的数据，算出基于眼睑运动的指标(例如，眼睑开度、眨眼频率及PERCLOS中的至少任一方)。

接着，在第二困倦算出部12i中，根据由眼睑运动算出部12k算出的基于眼睑运动的指标，算出困倦。

例如，当在规定时间内，检测到眼睑开度(％)为规定值以下(例如，20％以下)的状态持续了规定时间时，算出表示困倦程度高的困倦度。另外，当在规定时间内，评估眨眼频率为规定次数以上时，也可算出表示困倦程度高的困倦度。另外，也可根据规定时间内的闭眼时间的比例(PERCLOS)的值(％)算出表示困倦程度的困倦度。

唤醒控制部12m基于从第一困倦算出部12g或第二困倦算出部12i取得的困倦度，进行向唤醒装置70输出用于唤醒驾驶员3的控制信号的处理。

在唤醒装置70例如由以声音或光等方式向驾驶员3发出警告的警报装置构成的情况下，唤醒控制部12m将使警报装置运行规定期间的控制信号输出到警报装置。

另外，在唤醒装置70由用于将冷风、暖风、或含有香气成分或臭气成分的气体等吹向驾驶员3的空调装置构成的情况下，唤醒控制部12m将使空调装置运行规定期间的控制信号输出到空调装置。

另外，在唤醒装置70由用于使转向器、安全带或座席等振动的振动装置构成的情况下，唤醒控制部12m将使振动装置运行规定期间的控制信号输出到振动装置。

另外，也可进行对导航装置50输出用于唤醒驾驶员3的控制信号的处理。在这种情况下，控制信号包括使导航装置50输出用于唤醒驾驶员3的警告声、警告显示的控制信号等。

处理动作例

图4A、图4B是示出实施方式涉及的数据处理装置10中的控制单元12进行的处理动作的一例的流程图。需要说明的是，以下说明的处理动作只是一例，可适宜地进行处理步骤的省略、替换及添加等变更。

(监测系统1的启动)

首先，当驾驶员3接通车辆2的启动开关40时，构成监测系统1的数据处理装置10和相机20被启动，并且数据处理装置10的控制单元12基于程序134开始驾驶员3的监测处理。

在步骤S1中，控制单元12作为图像取得部12a动作，进行从配置成拍摄驾驶员3的脸部的相机20取得拍摄图像的处理。相机20每秒拍摄规定帧数的图像。控制单元12以时序取得这些拍摄图像，并按每帧或规定间隔的每帧执行处理。若取得到拍摄图像，则控制单元12使处理前进到下一步骤S2。

在步骤S2中，控制单元12作为数据取得部12b动作，进行从车载传感器30及导航装置50等取得表示车辆2的状态的数据的处理。例如，既可以从车载传感器30取得各传感器的检测数据，也可以从导航装置50取得包括所行驶的道路的形状(直线、曲线等)等的道路数据。若取得到表示车辆2的状态的数据，则控制单元12使处理前进到下一步骤S3。

在步骤S3中，控制单元12作为算出部12c动作，进行算出驾驶员3的瞳孔运动的处理。在算出部12c进行的瞳孔运动的算出中，采用上述说明的方法。例如，按步骤S1中取得的拍摄图像的每帧，执行算出瞳孔运动的处理。若算出驾驶员3的瞳孔运动，则控制单元12使处理前进到下一步骤S4。另外，在步骤S3中，控制单元12也可在算出瞳孔运动的同时，算出瞳孔的纵向直径和横向直径或面积等瞳孔尺寸。

在步骤S4中，控制单元12作为算出部12c动作，进行算出驾驶员3的头部运动的处理。在算出部12c进行的头部运动的算出中，采用上述说明的方法。例如，按步骤S1中取得的拍摄图像的每帧，执行算出头部运动的处理。若算出驾驶员3的头部运动，则控制单元12使处理前进到下一步骤S5。需要说明的是，也可调换步骤S3、S4的顺序。另外，也可将步骤S2替换到步骤S4之后。

在步骤S5中，控制单元12作为适合度评估部12d动作，基于驾驶员3的瞳孔运动及头部运动，进行评估算出前庭动眼反射运动时的状况的适合度的处理。适合度评估部12d进行的处理，既可以使用上述说明的(1)至(9)中的任一种方法来评估适合度，也可以根据车辆2或驾驶员3的状态，适宜组合上述(1)至(9)中的两种以上的方法来评估适合度。若评估了算出前庭动眼反射运动时的状况的适合度，则控制单元12使处理前进到下一步骤S6。

在步骤S6中，控制单元12作为赋予部12e动作，进行将步骤S5中评估了的适合度赋予给步骤S3、S4中算出的与瞳孔运动及头部运动有关的数据的处理。若对与各图像帧的瞳孔运动及头部运动有关的数据赋予了适合度，则控制单元12使处理前进到下一步骤S7。

在步骤S7中，控制单元12进行将步骤S3、S4中算出的与瞳孔运动及头部运动有关的数据(算出数据)和赋予给该算出数据的适合度相关联，并存储到算出数据存储部133的处理。若进行了向算出数据存储部133的存储处理，则控制单元12使处理前进到下一步骤S8。

此外，在步骤S3中，当算出了算出数据及瞳孔尺寸时，控制单元12将瞳孔尺寸的数据与算出数据一起存储到算出数据存储部133。

在步骤S8中，控制单元12判断算出数据存储部133中是否存储有规定时间(例如，t秒钟：t秒表示几秒至几十秒。例如，40秒钟。)的算出数据。此外，也可判定是否存储有与规定图像帧数而非规定时间相应的量的算出数据。

在步骤S8中，如果判断为算出数据存储部133中未存储有t秒钟量的算出数据，则控制单元12返回到步骤S1的处理，然后执行步骤S1至步骤S7的处理。

另一方面，在步骤S8中，如果判断为算出数据存储部133中存储有t秒钟量的算出数据，则控制单元12使处理前进到图4B所示的下一步骤S9。

在步骤S9中，控制单元12作为选择部12f动作，从算出数据存储部133读出t秒钟量的算出数据及适合度，并且判定t秒钟量的算出数据中被赋予了高于第一阈值的适合度的算出数据的比例是否为n％以上(例如，80％以上)。此外，第一阈值被设定为用于判定有无基于VOR算出困倦的适合性的阈值。

在步骤S9中，如果判断为t秒钟量的算出数据中被赋予了高于第一阈值的适合度的算出数据的比例为n％以上，则控制单元12使处理前进到步骤S10。

在步骤S10中，控制单元12作为VOR算出部12h动作，考虑被赋予给算出数据的适合度，并基于t秒钟量的算出数据，进行算出驾驶员3的前庭动眼反射运动的处理。

例如，使用t秒钟量的算出数据中被赋予了比第二阈值高的适合度的算出数据，算出驾驶员3的前庭动眼反射运动。第二阈值既可以设定为与第一阈值相同的值，也可以设定为与第一阈值不同的值，但从提高VOR的算出精度的观点来看，优选地，将第二阈值设定为比第一阈值大的值。

另外，第二阈值既可以是预先设定的阈值，也可以根据通过对被赋予给t秒钟量的各算出数据的适合度进行统计处理而求得的值例如平均值、中央值、最频值或标准偏差等，进行适宜变更。例如，适合度的平均值、中央值或最频值越高，可设定的阈值就越高。如果适合度的平均值等较高，则即使是少量的算出数据，也可高精度地算出VOR，并且也可提高算出处理的效率。另外，当适合度的标准偏差大时，通过提高阈值并使用被赋予了高适合度的算出数据，可提高VOR的算出精度。

表示步骤S10中算出的前庭动眼反射运动的特征的参数包括上述说明了的VOR增益、残差标准偏差及延迟时间中的至少任一方。若算出驾驶员3的前庭动眼反射运动，则控制单元12使处理前进到下一步骤S11。

在步骤S11中，控制单元12作为第一困倦算出部12g动作，基于步骤S10中算出的驾驶员3的前庭动眼反射运动，进行算出驾驶员3的困倦、例如困倦度的处理。

如上所述，例如，使用VOR增益、残差标准偏差及延迟时间中的至少任一方的参数来算出驾驶员3的困倦度。若进行了驾驶员3的困倦度的算出处理，则控制单元12使处理前进到下一步骤S17。

另一方面，在步骤S9中，如果判断为t秒钟量的算出数据中被赋予了高于第一阈值的适合度的算出数据的比例小于n％，则控制单元12使处理前进到步骤S12。

在步骤S12中，控制单元12作为第二困倦算出部12i动作，判断t秒钟量的算出数据中检测到瞳孔的数据(换言之，表示瞳孔未被遮挡程度的眼睑开度的数据)的比例是否为规定比例(m％)以上(例如，80％以上)。

在步骤S12中，如果控制单元12判断为t秒钟量的算出数据中检测到瞳孔的数据的比例为m％以上，则控制单元12使处理前进到步骤S13。

在步骤S13中，控制单元12作为扫视运动算出部12j动作，进行基于t秒钟量的算出数据算出驾驶员3的扫视运动的处理。表示步骤S13中算出的扫视运动的特征的参数包括t秒钟内发生的扫视运动的振幅(移动量)、时间间隔及t秒钟内的发生次数。若算出了驾驶员3的扫视运动，则控制单元12使处理前进到下一步骤S14。

在步骤S14中，控制单元12作为第二困倦算出部12i动作，进行基于步骤S13中算出的驾驶员3的扫视运动算出驾驶员3的困倦、例如困倦度的处理。

如上所述，例如，基于扫视运动的振幅(移动量)、时间间隔及t秒钟内的发生次数，算出驾驶员3的困倦度。若进行了基于扫视运动算出困倦度的处理，则控制单元12使处理前进到下一步骤S17。

另一方面，在步骤S12中，如果控制单元12判断为t秒钟量的算出数据中检测到瞳孔的数据的比例小于m％，则控制单元12使处理前进到步骤S15。

在步骤S15中，控制单元12作为眼睑运动算出部12k动作，进行基于t秒钟量的算出数据算出基于驾驶员3的眼睑运动的指标的处理。作为基于眼睑运动的指标，可应用上述眼睑开度、眨眼频率及PERCLOS中的至少任一方，但于此对应用了PERCLOS的情况进行说明。

在步骤S15中，控制单元12根据t秒钟量的算出数据或拍摄图像的数据，算出小于等于眼睑遮挡瞳孔程度的闭眼状态的累积时间。闭眼状态例如检测为眼睑开度为规定值以下(例如，20％以下)的状态，或者瞳孔的纵向直径与横向直径之比(纵向直径/横向直径)为规定值以下(例如，0.8以下)的状态。然后，控制单元12根据检测到闭眼状态的图像帧的累积数量算出累积时间，并算出累积时间与t秒钟的比例(累积时间/t秒钟)×100(％))作为PERCLOS的值。之后，控制单元12使处理前进到步骤S16。

在步骤S16中，控制单元12作为第二困倦算出部12i动作，进行根据步骤S15中算出的驾驶员3的PERCLOS的值评估驾驶员3的困倦、例如困倦度的处理。

例如，也可将PERCLOS的值与困倦度相对应的困倦度表、或者表示PERCLOS的值与困倦度的关系的关系式预先存储到ROM123或程序134内，根据困倦度表、或者根据关系式求得与算出的PERCLOS的值对应的困倦度。若基于PERCLOS算出困倦度，则控制单元12使处理前进到步骤S17。

在步骤S17中，控制单元12作为唤醒控制部12m动作，判断步骤S11、S14或S16中算出的困倦度是否小于规定阈值(例如，能判定为产生困倦的阈值)。此外，规定阈值既可以是一个，也可以根据困倦程度(例如，从困倦的预兆阶段开始到瞌睡的状态)设置两个以上的阈值。

在步骤S17中，如果控制单元12判断为困倦度为规定阈值以上(产生困倦)，则控制单元12使处理前进到下一步骤S18。另一方面，在步骤S17中，如果控制单元12判断为困倦度小于规定阈值(未产生困倦)，则控制单元12使处理前进到步骤S19。

在步骤S18中，控制单元12作为唤醒控制部12m动作，进行向唤醒装置70输出用于唤醒驾驶员3的规定的控制信号的处理。若进行了对于驾驶员3的唤醒控制，则控制单元12使处理前进到下一步骤S19。

此外，在步骤S17中，在设置了两个以上的阈值作为规定阈值的情况下，也可输出与各阈值相应的唤醒控制信号。例如，也可在困倦度为困倦的预兆阶段以上且不足困倦的初始阶段的情况下，输出以声音等方式提醒注意的控制信号，另一方面，可在困倦度为困倦的初始阶段以上(瞌睡状态)的情况下，输出以振动等方式进行警告的控制信号。

在步骤S19中，控制单元12判断启动开关40是否断开，如果判断为启动开关40未断开，则控制单元12返回到步骤S1的处理。另一方面，在步骤S19中，如果判断为启动开关40断开，则控制单元12使处理前进到步骤S20。在步骤S20中，控制单元12停止监测动作，然后结束处理。

作用及效果

根据上述实施方式涉及的数据处理装置10，通过适合度评估部12d评估算出前庭动眼反射运动时的状况的适合度，并通过赋予部12e对算出数据赋予适合度(例如，表示适合性的有无的二值数据、或表示适合程度的多值数据)。因此，通过赋予给算出数据的适合度，可判别算出数据作为算出前庭动眼反射运动的状态具有怎样的适合性。

然后，通过选择部12f，基于适合度，选择基于前庭动眼反射运动算出困倦的第一方法、或者基于与扫视运动或眼睑运动相关的指标算出困倦的第二方法，并且基于该选择的方法算出困倦。

例如，在按规定时间存储的算出数据中，被赋予了第一阈值以上的适合度的数据为规定比例(例如，80％)以上的情况下，选择第一方法，基于前庭动眼反射运动算出困倦。

另一方面，即使在存储了规定时间量的算出数据中被赋予了第一阈值以上的适合度的数据小于规定比例(例如，80％)的情况下(换言之，在不适合作为算出VOR时的状况的情况下)，也能通过第二方法算出困倦。

由此，即使在不适合使用第一方法算出困倦的状况，换言之，不适合基于前庭动眼反射运动算出困倦的状况(例如，噪声分量多的状况)下，也能基于第二方法算出困倦，并能稳定且高精度地算出现实环境下的困倦。

另外，根据数据处理装置10，通过第一困倦算出部12g考虑适合度并基于算出数据，算出驾驶员3的前庭动眼反射运动，并且基于该算出的前庭动眼反射运动算出困倦。由此，通过使用算出数据中考虑了适合度的适当数据，可提高前庭动眼反射运动的算出精度，并能基于前庭动眼反射运动高精度地算出困倦，并且，还能高精度地评估现实环境下的困倦的预兆。

另外，根据数据处理装置10，通过第二困倦算出部12i算出扫视运动，并基于该算出的扫视运动算出困倦。由此，在不适合作为算出前庭动眼反射运动时的状况的情况下，能基于扫视运动高精度地算出困倦。

另外，根据数据处理装置10，通过第二困倦算出部12i算出基于PERCLOS等眼睑运动的指标，并基于该算出的基于眼睑运动的指标算出困倦。由此，在不适合作为算出前庭动眼反射运动时的状况的情况下，能根据基于眼睑运动的指标高精度地算出困倦。

另外，根据数据处理装置10的VOR算出部12h，使用算出数据存储部133中存储的t秒钟量的算出数据中被赋予了高于第二阈值的适合度的算出数据，算出驾驶员3的前庭动眼反射运动。

因此，通过将用于VOR算出的算出数据缩选为适合性高的数据，从而能削减VOR算出所需的运算量，并能有效且高精度地算出驾驶员3的前庭动眼反射运动。

另外，根据数据处理装置10，包括第一困倦算出部12g和第二困倦算出部12i，因此能高精度地算出实车环境下的驾驶员3的困倦度，并且，还包括唤醒控制部12m，因此能进行根据困倦度适当唤醒驾驶员3的控制。

另外，根据包括数据处理装置10和相机20的监测系统1，能提供在实车环境下容易导入的驾驶员监测系统。

另外，通过包括数据处理装置10和唤醒装置70的唤醒系统，能提供在实车环境下能适当地唤醒驾驶员3的系统。

其他实施方式例

以上详细说明了本发明的实施方式，但上述说明在所有方面都只是本发明的示例。在不脱离本发明范围的情况下，当然可进行各种改良和变更。

(变形例1)

数据处理装置10的控制单元12不需要包括图3所示的所有各部。在另一实施方式中，控制单元12也可由至少具备算出部12c、适合度评估部12d、赋予部12e、选择部12f、第一困倦算出部12g及第二困倦算出部12i的第一构成、在该第一构成中还具备唤醒控制部12m的第二构成构成。

另外，第二困倦算出部12i包括扫视运动算出部12j和眼睑运动算出部12k，但也可只包括其中的任一方。另外，也可包括对于困倦的算出有效的、另一眼球运动的算出部等。

(变形例2)

关于图4B中所示的控制单元12进行的困倦的算出处理动作，也可构成为，在步骤S9中，判定t秒钟量的算出数据中被赋予了高于第一阈值的适合度的算出数据的比例是否为n％以上。

适合度不限于表示适合性程度的多值数据，也可以是表示适合性的有无或适合性的高低的二值数据。如此，在适合度是二值数据的情况下，在步骤S9中，也可判定在t秒钟量的算出数据中，被赋予了表示具有适合性或适合性高的适合度的算出数据的比例是否为n％以上。

(变形例3)

关于图4B中所示的控制单元12进行的困倦的算出处理，也可构成为，在步骤S10中，使用算出数据存储部133中存储的t秒钟量的算出数据中被赋予了高于第二阈值的适合度的算出数据，算出驾驶员3的VOR。

在另一实施方式中，可构成为，在步骤S10中，使用算出数据存储部133中存储的t秒钟量的算出数据中从适合度最高的一方起规定帧数的算出数据，算出驾驶员3的VOR。根据这种构成，通过将用于VOR算出的算出数据缩选为适合性高的数据，能削减VOR的算出所需的运算量，并能有效且高精度地算出驾驶员3的VOR。

(变形例4)

另外，在上述实施方式中，对将监测系统1及数据处理装置10搭载于车辆2的情况进行了说明，但监测系统1及数据处理装置10并不限于车载使用。

在另一实施方式中，例如，也可将监测系统1及数据处理装置10广泛应用于，设置在工厂内或办公室内，以对操作工厂内所装配的设备的人、在台子上进行规定作业的人等的困倦进行监测的系统等。这种情况下，在工厂内人所操作的物体，例如可举出生产装置等。另外，在办公室内人所操作的物体，例如可举出个人计算机等办公设备等。

附录

本发明的实施方式也可如下述附录那样记载，但并不限于此。

(附录1)

一种数据处理装置(10)，进行用于监测人的数据处理，其特征在于，包括：

算出部(12c)，算出所述人的瞳孔运动及头部运动；

评估部(12d)，基于所述人的瞳孔运动及头部运动，评估算出前庭动眼反射运动时的状况的适合度；

赋予部(12e)，对由所述算出部(12c)算出的与所述人的瞳孔运动及头部运动有关的数据，赋予由所述评估部(12d)评估的所述适合度；

选择部(12f)，基于赋予给所述数据的所述适合度，选择用于基于所述人的前庭动眼反射运动算出困倦的第一方法或者与该第一方法不同的第二方法；

第一困倦算出部(12g)，当由该选择部(12f)选择了所述第一方法时，所述第一困倦算出部(12g)基于所述第一方法算出困倦；以及

第二困倦算出部(12i)，当由所述选择部(12f)选择了所述第二方法时，所述第二困倦算出部(12i)基于所述第二方法算出困倦。

(附录2)

一种监测系统(1)，其特征在于，包括：

数据处理装置(10)；和

拍摄装置(20)，拍摄包括人的图像，

所述数据处理装置(10)的所述算出部(12c)使用从所述拍摄装置(20)取得的所述图像，算出所述人的瞳孔运动及头部运动。

(附录3)

一种数据处理方法，用于监测人，其特征在于，包括：

算出步骤(S3、S4)，算出所述人的瞳孔运动及头部运动；

评估步骤(S5)，基于所述人的瞳孔运动及头部运动，评估算出前庭动眼反射运动时的状况的适合度；

赋予步骤(S6)，对通过所述算出步骤(S3、S4)算出的与所述人的瞳孔运动及头部运动有关的数据，赋予通过所述评估步骤(S5)评估的所述适合度；

选择步骤(S9)，基于赋予给所述数据的所述适合度，选择用于基于所述人的前庭动眼反射运动算出困倦的第一方法或者与该第一方法不同的第二方法；

第一困倦算出步骤(S10、S11)，当通过该选择步骤(S9)选择了所述第一方法时，基于所述第一方法算出困倦；以及

第二困倦算出步骤(S12至S16)，当通过所述选择步骤(S9)选择了所述第二方法时，基于所述第二方法算出困倦。

(附录4)

一种数据处理程序，用于使至少一个计算机(12)执行用于监测人的数据处理，其特征在于，

使所述至少一个计算机(12)执行：

算出步骤(S3、S4)，算出所述人的瞳孔运动及头部运动；

评估步骤(S5)，基于所述人的瞳孔运动及头部运动，评估算出前庭动眼反射运动时的状况的适合度；

赋予步骤(S6)，对通过所述算出步骤(S3、S4)算出的与所述人的瞳孔运动及头部运动有关的数据，赋予通过所述评估步骤(S5)评估的所述适合度；

选择步骤(S9)，基于赋予给所述数据的所述适合度，选择用于基于所述人的前庭动眼反射运动算出困倦的第一方法或者与该第一方法不同的第二方法；

第一困倦算出步骤(S10、S11)，当通过该选择步骤(S9)选择了所述第一方法时，基于所述第一方法算出困倦；以及

第二困倦算出步骤(S12至S16)，当通过所述选择步骤选择了所述第二方法时，基于所述第二方法算出困倦。

Claims (14)

1.一种数据处理装置，进行用于监测人的数据处理，所述数据处理装置的特征在于，包括：

算出部，算出所述人的瞳孔运动及头部运动；

评估部，基于所述人的瞳孔运动及头部运动，评估算出前庭动眼反射运动时的状况的适合度；

赋予部，对由所述算出部算出的与所述人的瞳孔运动及头部运动有关的数据，赋予由所述评估部评估的所述适合度；

选择部，基于赋予给所述数据的所述适合度，选择用于基于所述人的前庭动眼反射运动算出困倦的第一方法或者与所述第一方法不同的第二方法；

第一困倦算出部，当由所述选择部选择了所述第一方法时，所述第一困倦算出部基于所述第一方法算出困倦；以及

第二困倦算出部，当由所述选择部选择了所述第二方法时，所述第二困倦算出部基于所述第二方法算出困倦。

2.根据权利要求1所述的数据处理装置，其特征在于，

当所述适合度满足规定条件时，所述选择部选择所述第一方法，当所述适合度不满足所述规定条件时，所述选择部选择所述第二方法。

3.根据权利要求1或2所述的数据处理装置，其特征在于，

所述第一困倦算出部包括反射运动算出部，所述反射运动算出部考虑所述适合度并基于所述数据，算出所述人的前庭动眼反射运动，

所述第一困倦算出部基于由该反射运动算出部算出的所述人的前庭动眼反射运动，算出困倦。

4.根据权利要求1或2所述的数据处理装置，其特征在于，

所述第二困倦算出部包括扫视运动算出部，所述扫视运动算出部算出所述人的眼睛的扫视运动，

所述第二困倦算出部包括基于由该扫视运动算出部算出的所述人的扫视运动来算出困倦的构成。

5.根据权利要求1或2所述的数据处理装置，其特征在于，

所述第二困倦算出部包括眼睑运动算出部，所述眼睑运动算出部算出基于所述人的眼睑运动的指标，

所述第二困倦算出部包括基于由所述眼睑运动算出部算出的基于所述眼睑运动的指标来算出困倦的构成。

6.根据权利要求1或2所述的数据处理装置，其特征在于，

所述数据处理装置具备唤醒控制部，所述唤醒控制部基于由所述第一困倦算出部或所述第二困倦算出部算出的所述困倦，进行用于唤醒所述人的控制。

7.根据权利要求1或2所述的数据处理装置，其特征在于，

所述评估部基于所述人或所述人所操作的物体的状态，评估所述适合度。

8.根据权利要求7所述的数据处理装置，其特征在于，

所述物体是车辆，所述人是所述车辆的驾驶员。

9.根据权利要求8所述的数据处理装置，其特征在于，

所述评估部基于所述数据中包含的噪声分量、所述驾驶员的视线方向、所述车辆的行驶状态及存在于所述车辆的行进方向上的物体的检测状态中的至少任一方，评估所述适合度。

10.根据权利要求8所述的数据处理装置，其特征在于，

所述数据处理装置包括用于取得所述车辆的加速度的取得部，

所述评估部基于从所述车辆取得的所述车辆的加速度变化与由所述算出部算出的所述驾驶员的头部运动或瞳孔运动之间的关系，评估所述适合度。

11.一种监测系统，其特征在于，包括：

权利要求1至10中任一项所述的数据处理装置；和

拍摄装置，拍摄包括所述人的图像，

所述数据处理装置的所述算出部使用从所述拍摄装置取得的所述图像，算出所述人的瞳孔运动及头部运动。

12.一种唤醒系统，其特征在于，包括：

权利要求6所述的数据处理装置；和

唤醒装置，由所述数据处理装置的所述唤醒控制部进行控制。

13.一种数据处理方法，用于监测人，所述数据处理方法的特征在于，包括：

算出步骤，算出所述人的瞳孔运动及头部运动；

评估步骤，基于所述人的瞳孔运动及头部运动，评估算出前庭动眼反射运动时的状况的适合度；

赋予步骤，对通过所述算出步骤算出的与所述人的瞳孔运动及头部运动有关的数据，赋予通过所述评估步骤评估的所述适合度；

选择步骤，基于赋予给所述数据的所述适合度，选择用于基于所述人的前庭动眼反射运动算出困倦的第一方法或者与所述第一方法不同的第二方法；

第一困倦算出步骤，当通过所述选择步骤选择了所述第一方法时，基于所述第一方法算出困倦；以及

第二困倦算出步骤，当通过所述选择步骤选择了所述第二方法时，基于所述第二方法算出困倦。

14.一种记录介质，存储用于使至少一个计算机执行用于监测人的数据处理的数据处理程序，其特征在于，

使所述至少一个计算机执行：

算出步骤，算出所述人的瞳孔运动及头部运动；

评估步骤，基于所述人的瞳孔运动及头部运动，评估算出前庭动眼反射运动时的状况的适合度；

赋予步骤，对通过所述算出步骤算出的与所述人的瞳孔运动及头部运动有关的数据，赋予通过所述评估步骤评估的所述适合度；

选择步骤，基于赋予给所述数据的所述适合度，选择用于基于所述人的前庭动眼反射运动算出困倦的第一方法或者与所述第一方法不同的第二方法；

第一困倦算出步骤，当通过所述选择步骤选择了所述第一方法时，基于所述第一方法算出困倦；以及

第二困倦算出步骤，当通过所述选择步骤选择了所述第二方法时，基于所述第二方法算出困倦。