CN108394414A - 清醒度判定系统以及清醒度判定方法 - Google Patents

Abstract

本公开涉及清醒度判定系统以及清醒度判定方法，清醒度判定系统具有至少一个第1传感器、至少一个第2传感器以及处理器。处理器取得驾驶模式信息，基于驾驶模式信息来判定选择了手动驾驶模式和自动驾驶模式的哪个模式。在选择了手动驾驶模式时，处理器经由至少一个第1传感器取得驾驶信息，经由至少一个第2传感器取得驾驶员的生物体信息，基于驾驶信息和生物体信息来判定清醒度。在选择了自动驾驶模式时，处理器经由至少一个第2传感器取得生物体信息，不参照驾驶信息而基于生物体信息来判定清醒度。

Description

清醒度判定系统以及清醒度判定方法

技术领域

本公开涉及清醒度判定系统以及清醒度判定方法。本公开特别涉及判定车辆的驾驶员的清醒度的清醒度判定系统以及清醒度判定方法。

背景技术

近年来，自动地进行车辆的加速、转向以及制动等的车辆行驶控制的自动驾驶系统的研究开发正在被广泛地进行。

例如，在专利文献1中公开了如下的清醒度推定装置：在利用自适应巡航控制(ACC)的自动驾驶中，基于由监视驾驶员的驾驶操作的驾驶操作检测传感器检测到的驾驶操作，推定驾驶员的清醒度。此外，清醒度示出表示眼睛清醒的程度的尺度。例如，在驾驶员产生困意的情况下，清醒度降低。

专利文献1所公开的清醒度推定装置，使用与驾驶员的方向盘操作对应的转向角的变动模式来进行驾驶员的清醒度的推定，在推定为驾驶员的清醒度低的情况下，认为驾驶员正在发困，使警报装置等工作来使驾驶员清醒。另外，在警报装置的工作达到了预定次数以上的情况下，使车辆的制动装置工作来使车辆减速、或进一步使车辆强制停止。如此，根据专利文献1所公开的清醒度推定装置，能够实现可靠的安全行驶。

现有技术文献

专利文献1：日本特开平6-171391号公报

专利文献2：日本特开2014-181020号公报

专利文献3：日本特开2016-38768号公报

专利文献4：日本特开2015-219771号公报

发明内容

发明要解决的技术问题

本公开的一个技术方案涉及的清醒度判定系统，能够高精度地判定存在自动驾驶模式和手动驾驶模式的车辆的驾驶员的清醒度。

用于解决问题的技术方案

本公开的一个技术方案的清醒度判定系统，是用于判定车辆的驾驶员的清醒度的系统，所述清醒度判定系统具备至少一个第1传感器、至少一个第2传感器、以及处理器。所述处理器，(A)取得表示所述车辆的驾驶模式的驾驶模式信息，所述车辆能够选择第1模式或第2模式来作为所述驾驶模式，所述第1模式是由所述驾驶员进行所述车辆的行驶控制的模式，所述第2模式是自动地进行所述车辆的所述行驶控制的至少一部分的模式，(B)基于所述驾驶模式信息，判定选择了所述第1模式和所述第2模式的哪个模式，(C)在选择了所述第1模式时，(c1)经由所述至少一个第1传感器，取得表示所述驾驶员的驾驶操作和/或车辆的驾驶状态的驾驶信息，(c2)经由所述至少一个第2传感器，取得所述驾驶员的生物体信息，(c3)基于所述驾驶信息和所述生物体信息来判定所述清醒度，(D)在选择了所述第2模式时，(d1)经由所述至少一个第2传感器，取得所述生物体信息，(d2)不参照所述驾驶信息而基于所述生物体信息来判定所述清醒度。

此外，这些总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或记录介质来实现，也可以通过系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。

发明的效果

根据本公开的一个技术方案的清醒度判定系统，能够高精度地判定存在自动驾驶模式和手动驾驶模式的车辆的驾驶员的清醒度。

附图说明

图1是表示实施方式的驾驶辅助装置的构成的一例的框图。

图2A是表示图1所示的驾驶操作部的详细构成的一例的框图。

图2B是表示图1所示的周边环境识别部的详细构成的一例的框图。

图2C是表示图1所示的本车辆位置检测部的详细构成的一例的框图。

图3是表示图1所示的车辆举动检测部以及第1清醒度认识部的详细构成的一例的框图。

图4是表示图1所示的生物体信息检测部以及第2清醒度认识部的详细构成的一例的框图。

图5是表示实施方式的清醒度推定装置所进行的处理的概要的流程图。

图6是用于说明实施方式的清醒度推定装置所进行的工作的流程图。

图7是表示变形例的驾驶辅助装置的构成的一例的框图。

具体实施方式

(成为本公开的基础的见解)

以下，对成为本公开的基础的见解进行说明。

如上所述，近年来，自动地进行车辆的加速、转向以及制动等的车辆行驶控制的自动驾驶系统的研究开发正在被广泛进行。在自动驾驶系统中，存在自动化等级，广泛使用的自动化等级根据驾驶员和系统的关于驾驶的职责分担的观点来定义。例如，由美国运输部道路交通安全局定义的自动化等级，被分类为5个等级，手动驾驶被分类为等级0，完全自动驾驶被分类为等级4。

当前，很多车辆所搭载的自动驾驶系统的自动化等级是等级1。等级1被定义为不是自动驾驶而是安全驾驶辅助。在等级1下，表示在车辆中独立地使用自适应巡航控制(ACC)或车道保持辅助(LKA)等的状态。因此，在等级1下，自动驾驶系统会进行车辆的前后方向和左右方向的某一方的车辆控制，驾驶员会进行除此以外的车辆控制和交通状况的监视。另外，在等级1下，对于安全驾驶的责任，让驾驶员来承担。

例如，装配有ACC的车辆的自动驾驶系统自动地进行如下的行驶控制：如果不存在先行车，则以预先设定的车速使车辆行驶，在前方检测到先行车的情况下，调整车速以维持预先设定的车间距离。在通过自动驾驶系统自动地进行行驶控制的期间，驾驶员不再需要进行踏板操作，因此驾驶员的驾驶操作仅变为方向盘的操作，操作变得相当单调。因此，驾驶员有可能会从心底放松而进行驾驶以外的工作、清醒度降低(产生困意)。也就是说，对于装配有ACC的车辆的自动驾驶系统，尽管驾驶员担负安全驾驶的责任，但驾驶员有可能会过于相信ACC而疏忽了对周边环境的注意或监视。

如此，在驾驶员对驾驶的意识降低时，在自动驾驶系统突然陷入了功能界限的情况下，认为驾驶员对在驾驶中应注意的对象的反应迟钝、和/或看漏了对象的可能性变高。并且，在最坏的情况下，有可能会引发交通事故。

因此，为了同时满足基于ACC利用的舒适性和驾驶员的安全行驶，提出了如下技术：在利用ACC等自动驾驶功能时，监视驾驶员的状态、特别是清醒度，如果清醒度低于容许值，则提醒驾驶员注意(例如专利文献1)。

在专利文献1中，如上所述，公开了如下的清醒度推定装置：在利用ACC的自动驾驶中，基于由驾驶操作检测传感器检测到的驾驶操作，推定驾驶员的清醒度。具体而言，专利文献1所公开的清醒度推定装置监视驾驶员操作方向盘的转向角的变动模式，基于该模式的频率特征，进行驾驶员的清醒度的推定。在推定为驾驶员的清醒度低的情况下，使警报器等工作，使驾驶员清醒。并且，在警报器的工作达到了预定次数以上的情况下，使制动装置工作来使车辆减速，或进一步使车辆强制停止。如此，专利文献1所公开的清醒度推定装置能够实现可靠的安全行驶。

当前，作为下一代的自动驾驶系统，自动化等级为等级2的自动驾驶系统正在逐渐地局部实用化。对于等级2的自动驾驶系统，因为驱使ACC以及LKA等来进行车辆的前后方向以及左右方向的车辆控制，所以驾驶员不需要进行踏板操作以及方向盘操作。另一方面，等级2的安全驾驶的责任与等级1同样地在于驾驶员，因此驾驶员需要防备自动驾驶系统的功能界限，要一直进行自动驾驶系统以及周边环境的监视。

然而，在等级2下，只要自动驾驶系统正在稳定工作，驾驶员就几乎不需要进行驾驶操作，因此对驾驶的意识或清醒度降低的可能性要高于等级1。例如在自动驾驶系统陷入了功能界限或发生了故障的情况下，驾驶员需要从自动驾驶系统接过驾驶操作。但是，若在驾驶员的清醒度降低时替换到手动驾驶，则驾驶员有可能会对在车辆的驾驶中应注意的对象的反应迟钝或看漏了对象，在最坏的情况下，也有可能会引发交通事故。

因此，为了实现等级2以上的自动驾驶系统，需要监视自动驾驶中的驾驶员的状态、特别是清醒度，在清醒度低于容许值时，提醒驾驶员注意，由此将伴随清醒度降低的事故防患于未然。特别是，高精度地推定自动驾驶中的驾驶员的清醒度的方法是重要的课题。

另一方面，对于专利文献1所公开的清醒度推定装置，如上所述，公开了如下方法：在利用ACC的等级1的自动驾驶中，基于驾驶员的驾驶操作即与驾驶员的方向盘操作对应的转向角的变动模式，推定驾驶员的清醒度。通常，驾驶员在清醒度降低时，不再能准确地进行方向盘操作，将会频繁地进行转向角的急剧修正。因此，使用单位时间内的转向角的变动模式的频率特征，能够检测驾驶员的方向盘操作中的转向角的急剧修正，因此，基于该检测结果，能够进行驾驶员的清醒度的推定。

然而，如上所述，对于专利文献1所公开的清醒度推定装置，存在如下问题：在驾驶员几乎不进行方向盘操作等驾驶操作的、等级2以上的自动驾驶系统中，无法进行清醒度的推定。

与此相对，例如在专利文献2或专利文献3中，公开了使用作为驾驶操作以外的信息的驾驶员的生物体信息来推定驾驶员的清醒度的方法。更具体而言，在专利文献2中，公开了如下方法：根据使用车载摄像头取得的自动驾驶中的驾驶员的面部图像，例如检测驾驶员的眼的睁开程度即睁眼度等驾驶员的状态，推定驾驶员的清醒度。在专利文献3中，公开了如下方法：基于使用可穿戴式的生物体传感器检测到的例如心跳信息和/或脑电波信息等自动驾驶中的驾驶员的生物体信息，推定驾驶员的清醒度。根据专利文献2或专利文献3所公开的方法，能够不使用驾驶员的驾驶操作而推定驾驶员的清醒度。也就是说，即使在驾驶员几乎不进行驾驶操作的、等级2以上的自动驾驶系统中，也能够推定驾驶员的清醒度。

然而，通常而言，存在生物体信息因个人差异产生的不均大、得不到足够的精度这一问题。例如在专利文献2所公开的方法中，驾驶员的眼的睁开程度即睁眼度越小，则推定为驾驶员的困意越强、即清醒度越低。但是，因为存在平时眼就睁得大的驾驶员和平时眼就睁得不大的驾驶员，所以无法根据使用相同基准的睁眼度来高精度地推定针对所有驾驶员的清醒度。同样地，在专利文献3所公开的方法中，使用驾驶员的心跳信息和/或脑电波来推定清醒度，但与自主神经系统以及中枢神经系统关联的这些生物体信息，因个人差异产生的精度的不均要大于睁眼度。因此，为了使用驾驶员的生物体信息来高精度地推定清醒度，需要吸收生物体信息的因个人差异产生的不均的推定方法。

与此相对，作为吸收因驾驶员的个人差异产生的不均的方法，考虑如下方法：使推定清醒度的清醒度推定模型具有学习功能，生成驾驶员个人的清醒度推定模型。具体而言，考虑如下方法：针对驾驶员共同的清醒度推定模型，使用驾驶员个人的教师数据来逐次地进行模型的学习，由此最终生成驾驶员个人的清醒度推定模型。

然而，存在如下问题：对于驾驶中的驾驶员，不知道如何生成驾驶员个人的教师数据才好。当前，作为清醒度推定模型的教师数据，例如最常使用由驾驶员本人的申报得到的主观评价值、或对于驾驶员的面部表情视频由第三人主观进行推定而得到的面部表情评定值。但是，从驾驶中的驾驶员实时地取得这样的数据是非常困难的。

然而，当前，在通常的市区，从驾驶员上车开始驾驶起到到达目的地并结束驾驶为止，一直以等级2以上的自动驾驶模式进行行驶，认为这在技术上是非常困难的。这是因为：需要自动驾驶系统完全认识车辆周边的交通状况，但并没有实现用于完全认识车辆周边的交通状况的基础设施的构建。由此，目前，考虑在市区使用等级0的手动驾驶模式或等级1的安全驾驶辅助模式、在郊外或高速道路使用等级2以上的自动驾驶模式来进行车辆的行驶控制。也就是说，目前，考虑驾驶员会根据周边环境适当地切换手动驾驶模式和自动驾驶模式来进行驾驶。

由此，本申请发明人进行了深入研究的结果是，发现了：在手动驾驶时，使使用了驾驶员的生物体信息的清醒度推定模型，以使用了驾驶员的驾驶操作和/或车辆举动等驾驶信息的清醒度推定模型的推定结果作为教师数据来进行学习，由此，能够吸收使用了生物体信息的清醒度推定模型的因个人差异产生的不均。

本公开的一个技术方案的清醒度推定装置，是推定车辆的驾驶员的清醒度的装置，在所述车辆中，能够切换自动地进行所述车辆的行驶控制的自动驾驶模式和驾驶员进行所述车辆的行驶控制的手动驾驶模式，所述清醒度推定装置具备：车辆举动检测部，其检测所述车辆的驾驶信息；第1清醒度认识部，其根据由所述车辆举动检测部检测到的所述驾驶信息来认识所述驾驶员的第1清醒度；生物体信息检测部，其检测所述驾驶员的一个以上的生物体信息；第2清醒度认识部，其根据由所述生物体信息检测部检测到的所述一个以上的生物体信息来认识所述驾驶员的第2清醒度；以及清醒度推定部，其根据所述第1清醒度认识部所认识的所述第1清醒度和所述第2清醒度认识部所认识的所述第2清醒度的至少一方，推定所述车辆行驶中的所述驾驶员的第3清醒度，所述清醒度推定部在所述手动驾驶模式下，根据所述第1清醒度和所述第2清醒度来推定第3清醒度，在所述自动驾驶模式下，根据所述第2清醒度来推定第3清醒度。

由此，在手动驾驶模式时和自动驾驶模式时，能够选择性地使用用于认识驾驶员的清醒度的认识部，因此能够高精度地推定存在自动驾驶模式和手动驾驶模式的车辆的驾驶员的清醒度。

另外，也可以是，所述清醒度推定部在所述自动驾驶模式下，将所述第2清醒度设为所述第3清醒度，由此根据所述第2清醒度来推定所述第3清醒度。

另外，也可以是，所述清醒度推定部在所述手动驾驶模式下，判定所述第1清醒度以及所述第2清醒度的可靠度是否为阈值以上，将所述可靠度为所述阈值以上的所述第1清醒度和所述第2清醒度的一方设为第3清醒度，由此推定所述第3清醒度。

另外，也可以是，所述清醒度推定部在所述手动驾驶模式下，在所述第1清醒度和所述第2清醒度各自的可靠度为阈值以上、且所述第1清醒度和所述第2清醒度不同的情况下，将所述第1清醒度设为所述第3清醒度，由此推定所述第3清醒度。

另外，也可以是，所述清醒度推定部在所述手动驾驶模式下，在所述第1清醒度和所述第2清醒度不同的情况下，使所述第2清醒度认识部进行学习处理，使得所述第2清醒度认识部使用基于所述第1清醒度生成的教师数据来输出所述第1清醒度作为认识结果。

由此，在手动驾驶模式时，使第2清醒度的推定模型使用根据第1清醒度生成的教师数据来进行学习，由此，能够吸收生物体信息的因个人差异产生的精度的不均。因此，即使在无法利用驾驶员的驾驶信息的等级2以上的自动驾驶系统中，也能够高精度地推定驾驶员的清醒度。

另外，也可以是，在所述学习处理中，表示所述驾驶员的一个以上的生物体信息与所述驾驶员的清醒度的关系的、所述第2清醒度认识的清醒度识别模型，被更新为输出所述第1清醒度作为识别结果。

另外，也可以是，所述第2清醒度认识部具备：生物体特征提取部，其从由所述生物体信息检测部检测到的多个生物体信息各生物体信息中，提取与所述驾驶员的生理状态有关的生物体信息特征；和生物体特征选择部，其从由所述生物体特征提取部提取出的多个生物体信息特征中，选择与根据所述第1清醒度生成的所述教师数据相关性高的生物体信息特征，所述清醒度推定部使所述第2清醒度认识部进行学习处理，使得所述第2清醒度认识部使用由所述生物体特征选择部选择出的生物体信息特征作为教师数据，输出所述第1清醒度作为认识结果。

另外，所述生物体信息也可以是表示所述驾驶员的心跳变动的信息。

另外，所述生物体信息也可以是拍到了所述驾驶员面部的面部图像。

另外，所述生物体信息也可以是表示所述驾驶员的体动的信息。

另外，所述驾驶信息也可以是表示所述车辆的转向角的信息。

另外，所述驾驶信息也可以是表示所述车辆的加速踏板以及制动踏板的位置的信息。

另外，所述驾驶信息也可以是表示所述车辆的加速度的信息。

另外，为了达成上述目的，本公开的一个技术方案的清醒度推定方法是推定车辆的驾驶员的清醒度的方法，在所述车辆中，能够切换自动地进行所述车辆的行驶控制的自动驾驶模式和驾驶员进行所述车辆的行驶控制的手动驾驶模式，所述清醒度推定方法包括：车辆举动检测步骤，检测所述车辆的驾驶信息；第1清醒度认识步骤，根据通过所述车辆举动检测步骤检测到的所述驾驶信息来认识所述驾驶员的第1清醒度；生物体信息检测步骤，检测所述驾驶员的生物体信息；第2清醒度认识步骤，根据通过所述生物体信息检测步骤检测到的所述生物体信息来认识所述驾驶员的第2清醒度；以及清醒度推定步骤，其根据在所述第1清醒度认识步骤中认识的所述第1清醒度和在所述第2清醒度认识步骤中认识的所述第2清醒度的至少一方，推定所述车辆行驶中的所述驾驶员的第3清醒度，在所述清醒度推定步骤中，在所述手动驾驶模式下，根据所述第1清醒度和所述第2清醒度来推定第3清醒度，在所述自动驾驶模式下，根据所述第2清醒度来推定第3清醒度。

此外，本公开不仅可以作为装置来实现，也可以作为具有这样的装置所具备的处理单元的集成电路来实现、作为设构成该装置的处理单元为步骤的方法来实现、作为使计算机执行这些步骤的程序来实现、或者作为表示该程序的信息、数据或信号来实现。并且，这些程序、信息、数据以及信号也可以经由CD-ROM等记录介质和/或互联网等通信介质进行发布。

以下，参照附图对本公开的实施方式进行说明。

此外，以下说明的实施方式都表示总括性或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例，并非限定本发明的意思。另外，关于以下的实施方式中的构成要素中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素来说明。

(实施方式)

以下，对实施方式的驾驶辅助装置进行说明。

[1.驾驶辅助装置1的构成]

图1是表示本实施方式的驾驶辅助装置1的构成的一例的框图。

驾驶辅助装置1搭载于车辆，是如下装置：推定驾驶中的驾驶员的清醒度，如果所推定出的清醒度低于预定值，则提醒驾驶员注意，由此防止驾驶员的瞌睡驾驶。在本实施方式中，设为车辆能够切换自动地进行车辆的行驶控制的自动驾驶模式和通过驾驶员的驾驶操作进行车辆的行驶控制的手动驾驶模式来进行以下说明。

驾驶辅助装置1如图1所示，具备驾驶操作部2、周边环境认识部3、本车辆位置检测部4、目标行驶状态决定部5、驾驶模式选择部6、车辆控制部7、通知部8和清醒度推定装置10。

<驾驶操作部2>

图2A是表示图1所示的驾驶操作部2的详细构成的一例的框图。

驾驶操作部2供驾驶员为了驾驶车辆而操作。驾驶操作部2例如如图2A所示，具备方向盘21、加速踏板22、制动踏板23、变速杆等操纵杆24、和用于选择驾驶模式的驾驶模式选择开关25。此外，驾驶操作部2所具备的踏板不限于加速踏板22和制动踏板23。另外，驾驶操作部2也可以具备上述以外的部件。

<周边环境认识部3>

图2B是表示图1所示的周边环境认识部3的详细构成的一例的框图。

周边环境认识部3具备多个传感器和多个认识部，认识本车辆的周边环境。

多个传感器检测用于对本车辆外部的状况进行监视的各种信息。多个传感器例如如图2B所示，包括摄像头31以及雷达32。摄像头31例如在车辆的外面配置有至少一个以上，拍摄车道、路面、周围的障碍物等车辆外部的环境。雷达32例如是配置在车辆的前部和/或后部的毫米波雷达或激光雷达，测定存在于本车辆周围的车辆或者到障碍物的距离以及位置等。

多个认识部基于从各传感器检测出的信息，认识本车辆的周边环境。多个认识部例如如图2B所示，包括道路形状认识部33、路面状态认识部34以及周边物体认识部35。道路形状认识部33认识本车辆周边的道路形状。道路形状认识部33从摄像头31的拍摄图像中认识道路的白线等车道，检测车道的宽度、曲率等。路面状态认识部34认识本车辆前方的路面状态。路面状态认识部34从摄像头31的拍摄图像中认识积雪或结冰等路面状态。周边物体认识部35认识存在于本车辆周围的物体。周边物体认识部35使用摄像头31的拍摄图像以及雷达32的雷达信息，认识行人、自行车、机动二轮车或周围的其他车辆，检测所认识到的物体的大小、位置、速度或移动方向等。

<本车辆位置检测部4>

图2C是表示图1所示的本车辆位置检测部4的详细构成的一例的框图。

本车辆位置检测部4如图2C所示，具备GPS(Global Positioning System，全球定位系统)41、车辆行驶位置算出部42以及地图数据存储部43，检测本车辆在地图上的位置。GPS41从GPS卫星接收表示本车辆的位置的GPS信息。地图数据存储部43预先存储有地图数据。车辆行驶位置算出部42基于所接收到的GPS信息，算出地图数据存储部43所存储的地图数据中的本车辆的行驶位置。

<目标行驶状态决定部5>

目标行驶状态决定部5决定应作为目标的本车辆的行驶状态即目标行驶状态。在图1所示的例子中，目标行驶状态决定部5基于从周边环境认识部3获得的当前的周边环境信息、从本车辆位置检测部4获得的当前的本车辆的位置、和从车辆举动检测部11获得的当前的本车辆的举动，算出目标行驶状态的信息。此外，行驶状态的信息包含车辆的位置、该位置处的车辆的速度或方向等与车辆的行驶关联的信息。目标行驶状态能够通过已知的方法来算出。因此省略在此的说明。

<驾驶模式选择部6>

驾驶模式选择部6将车辆的驾驶模式切换到自动驾驶模式和手动驾驶模式的某一模式。在图1所示的例子中，驾驶模式选择部6根据由驾驶员对驾驶操作部2的驾驶模式选择开关25进行的操作，将驾驶模式切换到自动驾驶模式和手动驾驶模式的某一模式。

<车辆控制部7>

车辆控制部7例如由与软件合作来实现预定功能的CPU等构成，基于当前选择的驾驶模式来进行车辆的行驶控制。例如，车辆控制部7在自动驾驶模式下，基于从目标行驶状态决定部5获得的目标行驶状态，控制本车辆的加速、转向以及制动用的各种致动器和ECU等。另外，例如，车辆控制部7在手动驾驶模式下，根据驾驶员对驾驶操作部2的操作，控制本车辆的加速、转向以及制动用的各种致动器和ECU等。

<通知部8>

通知部8例如由车载导航等的各种车载显示器、扬声器或内置有振动致动器的驾驶员座椅等构成。通知部8对驾驶员所选择的驾驶模式或表示车辆的当前位置的信息进行通知。另外，通知部8根据由清醒度推定部15推定出的清醒度，向驾驶员通知预先确定的信息。例如，通知部8在驾驶员的清醒度低于预定值时，即在判断为驾驶员产生了预定值以上的困意时，对为了唤醒驾驶员困意的注意提醒或警告进行通知。

<清醒度推定装置10>

清醒度推定装置10是本公开的清醒度推定装置的一例，推定车辆行驶中的驾驶员的清醒度。以下，参照附图对清醒度推定装置10的具体构成等进行说明。

[清醒度推定装置10的构成]

图3是表示图1所示的车辆举动检测部11以及第1清醒度认识部12的详细构成的一例的框图。图4是表示图1所示的生物体信息检测部16以及第2清醒度认识部17的详细构成的一例的框图。

清醒度推定装置10如图1所示，具备车辆举动检测部11、第1清醒度认识部12、清醒度推定部15、生物体信息检测部16和第2清醒度认识部17。此外，清醒度推定装置10所推定的驾驶员的清醒度(困意)，例如被决定为从等级1到等级5的5个等级的某个等级。例如，等级1表示“完全不困的状态”，等级2表示“稍微困的状态”。等级3表示“困的状态”，等级4表示“相当困的状态”。等级5表示“非常困的状态”。

<车辆举动检测部11>

车辆举动检测部11检测驾驶信息。在本实施方式中，车辆举动检测部11由用于对表示驾驶员的驾驶操作以及车辆的举动的驾驶信息进行检测的传感器群构成。该传感器群具有检测驾驶员的驾驶操作的传感器和检测车辆的举动的传感器。

检测驾驶员的驾驶操作的传感器例如如图3所示，包括转向角传感器111、加速踏板位置传感器112和制动踏板位置传感器113。转向角传感器111检测驾驶操作部2中的方向盘21的旋转角度即转向角。加速踏板位置传感器112检测加速踏板22或制动踏板23的位置。制动踏板位置传感器113检测制动踏板23的位置。

另外，检测车辆的举动的传感器包括车速传感器114、加速度传感器115和偏航率传感器116。车速传感器114检测车辆的速度。加速度传感器115检测车辆的前后方向的加速度以及车辆的左右方向的加速度。偏航率传感器116检测车辆相对于铅直方向的旋转角度(偏航率)。

<第1清醒度认识部12>

第1清醒度认识部12根据由车辆举动检测部11检测到的驾驶信息来认识驾驶员的第1清醒度。在此，例如，该驾驶信息既可以是表示车辆的转向角的信息，也可以是表示车辆的加速踏板22以及制动踏板23的位置的信息，还可以是表示车辆的加速度的信息。另外，例如，该驾驶信息既可以是表示车辆的速度的信息，也可以是表示偏航率的信息。在本实施方式中，第1清醒度认识部12如图3所示，具备驾驶信息特征提取部121和第1清醒度识别部122，使用由周边环境认识部3认识到的本车辆的周边环境和由车辆举动检测部11检测到的驾驶信息，认识驾驶员的第1清醒度。

《驾驶信息特征提取部121》

驾驶信息特征提取部121从由周边环境认识部3认识到的本车辆的周边环境和由车辆举动检测部11检测到的驾驶信息中提取驾驶信息特征。

在此，本车辆的周边环境例如是先行车辆与本车辆的车间距离或本车辆与道路的白线等车道之间的距离的信息。另外，驾驶信息如上述那样由车辆举动检测部11所包含的传感器群来检测，例如是表示方向盘21的转向角等驾驶员的驾驶操作或车辆的速度等本车辆的举动的信息。另外，驾驶信息特征是用于识别驾驶员的第1清醒度的特征量，是与驾驶员的驾驶行动关联的特征量。具体而言，驾驶信息特征例如是从一分钟等预定单位时间内的驾驶员所作出的方向盘21的转向角、加速踏板22以及制动踏板23的位置的变动模式、以及与先行车辆之间的车间距离、车辆的横向位移量、车速、车辆的前后左右方向的加速度以及偏航率等的变动模式得到的平均值、标准差等统计上的特征量。

在本实施方式中，驾驶信息特征提取部121具备一个以上的特征提取部，将与驾驶员的驾驶行动关联的至少一个以上的特征量提取为驾驶信息特征。驾驶信息特征提取部121例如在图3所示的例子中，具有车间距离特征提取部131、车辆横向位移量特征提取部132、转向角特征提取部133、加速踏板位置特征提取部134、制动踏板位置特征提取部135、车速特征提取部136、车辆前后方向加速度特征提取部137、车辆左右方向加速度特征提取部138以及偏航率特征提取部139。

车间距离特征提取部131使用从周边环境认识部3获得的先行车辆与本车辆的车间距离，将作为预定单位时间内的车间距离的平均值或标准差等的车间距离特征量提取为驾驶信息特征。

车辆横向位移量特征提取部132从周边环境认识部3取得车道的宽度和/或曲率等道路形状的信息和与道路白线的距离等表示车辆与车道的距离的信息。车辆横向位移量特征提取部132基于从周边环境认识部3获得的道路形状和距离的信息，算出车辆从道路中心线的位移量(以下称为车辆横向位移量)。并且，车辆横向位移量特征提取部132将作为使用它们算出的预定单位时间内的车辆横向位移量的平均值或标准差等的车辆横向位移量特征量提取为驾驶信息特征。此外，车辆横向位移量也可以不是单纯的从中心线起的位移量，而是与在预定单位时间后驾驶员设为目标的行驶位置之间的位移量。另外，驾驶员的目标行驶位置例如如专利文献4所公开的那样，能够基于从车辆举动检测部11获得的方向盘21的转向角、车辆的速度或偏航率来算出。

转向角特征提取部133使用从转向角传感器111获得的方向盘21的转向角，将作为预定单位时间内的转向角的位移量的平均值或标准差的转向角特征量提取为驾驶信息特征。此外，转向角特征提取部133也可以将作为转向角的位移量的频率特征等的转向角特征量提取为驾驶信息特征。

加速踏板位置特征提取部134使用从加速踏板位置传感器112获得的加速踏板22的位置，将作为预定单位时间内的加速踏板的位置的位移量的平均值或标准差等的加速踏板位置特征量提取为驾驶信息特征。

制动踏板位置特征提取部135将使用从制动踏板位置传感器113获得的制动踏板23的位置算出的制动踏板位置特征量提取为驾驶信息特征。在此，制动踏板位置特征量是预定单位时间内的制动踏板的位置的位移量的平均值或标准差以及制动器操作的次数等。

车速特征提取部136使用从车速传感器114获得的车辆速度，将作为预定单位时间内的车速的位移量的平均值或标准差等的车速特征量提取为驾驶信息特征。

车辆前后方向加速度特征提取部137算出从加速度传感器115获得的车辆加速度中的车辆前后方向的加速度。并且，车辆前后方向加速度特征提取部137使用所算出的车辆前后方向的加速度，将作为预定单位时间内的车辆前后方向的加速度的位移量的平均值或标准差等的车辆前后方向加速度特征量提取为驾驶信息特征。

车辆左右方向加速度特征提取部138算出从加速度传感器115获得的车辆加速度中的车辆左右方向的加速度。并且，车辆左右方向加速度特征提取部138使用所算出的车辆左右方向的加速度，将作为预定单位时间内的车辆左右方向的加速度的位移量的平均值或标准差等的车辆左右方向加速度特征量提取为驾驶信息特征。

偏航率特征提取部139使用从偏航率传感器116获得的偏航率，将作为预定单位时间内的偏航率的位移量的平均值或标准差等的偏航率特征量提取为驾驶信息特征

《第1清醒度识别部122》

第1清醒度识别部122使用由驾驶信息特征提取部121提取出的驾驶信息特征，识别驾驶员的第1清醒度。

在本实施方式中，第1清醒度识别部122使用至少一个以上的从驾驶信息特征提取部121的一个以上的特征提取部获得的特征量，识别驾驶员的清醒度，将识别结果作为第1清醒度进行输出。在识别结果中，例如包含表示等级1～等级5的某个等级的清醒度的等级及其可靠度。

在此，对第1清醒度识别部122所进行的第1清醒度的识别方法进行具体说明。

已知：在驾驶中，当驾驶员的清醒度降低(困意变强)时，驾驶员对车辆的驾驶操作会变得单调。例如，对于由驾驶员对方向盘21、加速踏板22或制动踏板23进行的操作，在困意变强时，与困意变强之前相比，所述操作少。另外，在驾驶员的困意变强时，存在驾驶中的车辆摇晃、车辆的横向位移量或车间距离等的变动变大的倾向。例如，在驾驶员的困意暂时变强时，会产生方向盘21的操作减少、车辆大幅摇晃的情况。但是，驾驶员往往会在车辆大幅摇晃的瞬间暂时清醒，为了将车辆修正到应该的行驶状态而采取剧烈操作方向盘21这一行动。并且，在这样的情况下，方向盘21的转向角的位移量或车辆的横向位移量的变动模式例如会呈现如下的特征模式：在一定时间位移量相对变小之后，由于突然的修正，位移量突然发生大幅变化。

因此，通过检测因困意引起的各驾驶信息特征的异常的变动模式，能够检测(识别)驾驶员的困意。更具体而言，如果生成能够使这样的因困意引起的各运动特征的异常的变动模式与此时的清醒度的等级相关联的清醒度识别模型，并使用所生成的清醒度识别模型，则能够识别驾驶员的困意。

在本实施方式中，第1清醒度识别部122使用如此生成的清醒度识别模型，根据驾驶信息特征量来识别第1清醒度，作为识别结果而输出到清醒度推定部15。此外，如上所述，在识别结果中，除了表示例如等级1～等级5的某个等级的清醒度之外，还包含表示该清醒度的概率的可靠度。例如，作为识别结果，输出清醒度：3、可靠度：0.8等。另外，所生成的清醒度识别模型是将选择了从驾驶信息特征提取部121获得的各驾驶信息特征量中的至少一个以上的驾驶信息特征量作为输入数据而输出驾驶员的清醒度的等级的模型。清醒度识别模型能够使用神经网络、支持向量机(support vector machine)、随机森林(randomforest)等以往的机器学习算法来生成。

<生物体信息检测部16>

生物体信息检测部16检测驾驶员的一个以上的生物体信息。在本实施方式中，生物体信息检测部16由用于检测驾驶员的生物体信息的传感器群构成。该传感器群例如如图4所示，具有车内摄像头161、麦克风162、心跳传感器163、血压传感器164和体动传感器165。此外，该传感器群还可以具有检测驾驶员的呼吸变动的呼吸传感器(未图示)、检测驾驶员的皮肤温度的皮肤温度检测传感器(未图示)等。

车内摄像头161配置于车辆内，拍摄车辆的内部。并且，车内摄像头161生成表示拍摄图像的图像数据。例如，车内摄像头161拍摄驾驶中的驾驶员。更具体而言，车内摄像头161在车辆内配置成能够拍摄驾驶座附近，拍摄坐在驾驶座上的驾驶员。

麦克风162收集车内的声音。更具体而言，麦克风162配置在车辆内，收集周围的声音。并且，麦克风162生成表示所收集到的声音的数据(音频数据)。

心跳传感器163检测驾驶员的心跳变动。更具体而言，心跳传感器163测定驾驶员的心跳，生成测定结果的传感器信号。此外，心跳传感器163既可以是安装于耳垂等身体部位的接触型传感器设备，也可以是提取与脉搏波对应的颜色的变化的摄像头等非接触型传感器设备。另外，心跳传感器163也可以替换为脉搏波传感器，检测驾驶员的心跳变动。

血压传感器164测定驾驶员的血压，生成测定结果的传感器信号。在此，血压传感器164例如由可穿戴设备构成，预先安装于应该在手动驾驶模式时进行驾驶的责任者即驾驶员。

体动传感器165检测驾驶员的姿势的变化等体动。更具体而言，体动传感器165例如由配置于驾驶座的靠背或者座面的内部的载荷传感器构成。体动传感器165感知坐在驾驶座上的人的姿势的变化，生成所感知的结果的传感器信号。此外，体动传感器165也可以由加速度传感器或角速度传感器等构成。

<第2清醒度认识部17>

第2清醒度认识部17根据由生物体信息检测部16检测到的一个以上的生物体信息来认识驾驶员的第2清醒度。在此，该生物体信息例如可以是表示驾驶员的心跳变动的信息，也可以是拍到驾驶员面部的面部图像，还可以是表示驾驶员的体动的信息。另外，该生物体信息例如也可以是表示驾驶员的呼吸的信息，还可以是表示驾驶员的血压的信息。在本实施方式中，第2清醒度认识部17如图4所示，具备生物体特征提取部171和第2清醒度识别部172。此外，第2清醒度认识部17在从后述的教师数据生成部152接收到教师数据的情况下，基于该教师数据来进行第2清醒度识别部172的学习。

《生物体特征提取部171》

生物体特征提取部171从由生物体信息检测部16检测到的多个生物体信息的各生物体信息中，提取与驾驶员的生理状态有关的生物体信息特征。

在此，生物体信息特征是用于识别驾驶员的清醒度的特征量，是与驾驶员的生理信息关联的特征量。生理信息是困意或疲劳等表示人的生理状态的指标，例如是视觉系生理信息、自主神经系生理信息或骨格系生理信息等。视觉系生理信息例如是从一分钟等预定单位时间内的表示驾驶员的眼的睁开程度的驾驶员的睁眼度、驾驶员的眨眼的次数或时间、或者驾驶员的头部的位置等的变动模式得到的平均值、标准差等统计上的特征量。另外，自主系生理信息是从预定单位时间内的呼吸数、呼吸的深度、心跳或血压等的变动模式得到的统计上的特征量。另外，骨格系生理信息是从预定单位时间内的身体的重心位置的变动模式得到的统计上的特征量。

在本实施方式中，生物体特征提取部171具备一个以上的特征提取部，提取表示驾驶员的生理状态的至少一个以上的特征量。生物体特征提取部171例如如图4所示，具有面部图像提取部181、睁眼度检测部182、睁眼度特征提取部183、眨眼检测部184、眨眼特征提取部185、头部位置检测部186、头部位置特征提取部187、呼吸声检测部188、呼吸特征提取部189、心跳变动检测部190、心跳变动特征提取部191、血压变动检测部192、血压变动特征提取部193、体动检测部194和体动特征提取部195。

例如，生物体特征提取部171使用面部图像提取部181～头部位置特征提取部187，能够从由车内摄像头161拍摄到的包含驾驶员的图像中提取与驾驶员的视觉系生理信息有关的睁眼度特征量、眨眼特征量或头部位置特征量来作为生物体信息特征。具体而言，面部图像提取部181从车内摄像头161随时取得图像数据，从图像数据中提取驾驶员的面部图像区域。睁眼度检测部182在从由面部图像提取部181提取出的面部图像区域中提取出眼的图像区域之后，检测上下眼睑，根据眼睑形状来检测表示眼睑即眼的睁开程度的睁眼度。睁眼度特征提取部183根据睁眼度检测部182所检测到的睁眼度的变动模式，算出作为预定单位时间内的睁眼度的平均值、标准差、最大值或最小值等的睁眼度特征量。另外，眨眼检测部184在从由面部图像提取部181提取出的面部图像区域中提取出眼的图像区域之后，检测上下眼睑，根据上下眼睑的活动来检测眨眼。眨眼特征提取部185算出作为预定单位时间内的眨眼次数或眨眼时间的平均值或标准差等的眨眼特征量。进而，头部位置检测部186基于由面部图像提取部181提取出的面部图像区域的图像中的位置，检测驾驶员的头部位置的变动模式。头部位置特征提取部187根据头部位置的变动模式，算出作为预定单位时间内的头部位置的平均值、标准差、最大值或最小值等的头部位置特征量。

另外，例如，生物体特征提取部171使用呼吸声检测部188以及呼吸特征提取部189，能够从由车辆内的麦克风162收集到的数据中，提取作为驾驶员的自主神经系生理信息之一的呼吸特征来作为生物体信息特征。具体而言，呼吸声检测部188根据从麦克风162收集到的数据，检测驾驶员的呼吸声模式。呼吸特征提取部189根据呼吸声检测部188所检测到的呼吸声模式，算出作为预定单位时间内的呼吸数或呼吸深度的平均值、标准差或最大值等的呼吸特征量。

另外，例如，生物体特征提取部171使用心跳变动检测部190以及心跳变动特征提取部191，能够从心跳传感器163提取作为驾驶员的自主神经系生理信息之一的心跳变动特征来作为生物体信息特征。具体而言，心跳变动检测部190在从由心跳传感器163获得的心电图波形中检测出作为最高的峰值的R波之后，检测作为该R波的间隔的心跳间隔(RR间隔：RRI)的变动来作为心跳变动模式。心跳变动特征提取部191根据所检测出的心跳变动模式，算出作为预定单位时间内的心跳间隔(RRI)的平均值或标准差等的心跳变动特征量。此外，作为心跳变动特征量，也可以在求出预定单位时间内的心跳变动模式的频谱之后，使用低频成分(LF成分)与高频成分(HF成分)的功率之比或LF成分与HF成分之比(LF/HF比)。

另外，例如，生物体特征提取部171使用血压变动检测部192以及血压变动特征提取部193，能够从血压传感器164提取作为驾驶员的自主神经系生理信息之一的血压变动特征来作为生物体信息特征。具体而言，血压变动检测部192根据从血压传感器164获得的数据，检测驾驶员的血压变动模式。血压变动特征提取部193根据所检测出的血压变动模式，算出作为预定单位时间内的血压的平均值、标准差、最大值或最小值等的血压变动特征量。

另外，例如，生物体特征提取部171使用体动检测部194以及体动特征提取部195，能够从体动传感器165提取作为驾驶员的骨格系生理信息之一的体动特征来作为生物体信息特征。具体而言，体动检测部194根据从体动传感器165获得的数据，检测表示驾驶员的体动的体动模式。体动特征提取部195根据所检测出的体动模式，算出作为预定单位时间内的体动次数或身体的重心位置的变动量(体动变动量)等的平均值、标准差、最大值或最小值等的体动特征量。

《第2清醒度识别部172》

第2清醒度识别部172使用由生物体特征提取部171提取出的生物体信息特征，识别驾驶员的第2清醒度。

在本实施方式中，第2清醒度识别部172使用至少一个以上的从生物体特征提取部171的一个以上的特征提取部获得的特征量，识别驾驶员的清醒度，将识别结果作为第2清醒度进行输出。此外，在识别结果中，包含例如表示等级1～等级5的某个等级的清醒度的等级及其可靠度。

在此，对第2清醒度识别部172所进行的第2清醒度的识别方法进行具体说明。

已知：在驾驶中，当驾驶员的清醒度降低(困意增强)时，驾驶员的睁眼度以及眨眼等视觉系生理信息、心跳以及脉搏波等自主神经系生理信息、以及体动等骨格系生理信息等呈现特定的倾向。首先，关于视觉系生理信息，对因困意引起的特定的倾向进行说明。驾驶员在困意增强时感觉眼睑要闭上，因此会呈现表示眼睑的睁开程度的睁眼度变小这一倾向。另外，驾驶员在困意增强时，每次眨眼的眼睑闭上的眨眼时间变长，会呈现预定单位时间内的眨眼次数减少这一倾向。另外，驾驶员在困意增强时，头的活动也会变得不稳定，因此会呈现头部位置变为不稳定地变动这一倾向。

接着，关于自主神经系生理信息，对因困意引起的特定的倾向进行说明。驾驶员在困意增强时，每一次的呼吸变深，呼吸间隔变长，因此会呈现预定单位时间内的呼吸次数减少这一倾向。另外，驾驶员在困意增强时，心跳数降低，因此会呈现预定单位时间内的心跳间隔(RRI)变大这一倾向。另外，已知：对于心跳变动模式(RRI)的频谱，在活动时，HF(HighFrequency：0.15Hz～0.4Hz)成分变小，在放松时，HF成分变大。因此，经常使用LF(LowFrequency：0.04Hz～0.15Hz)成分与HF成分之比(LF/HF)来作为困意的指标。也就是说，当驾驶员的困意增强时，驾驶员的LF/HF比会呈现变小这一倾向。另外，血压呈现如下倾向：虽然在驾驶员开始感觉到困意时，为了对抗该困意而暂时上升，但当驾驶员的困意进一步增强时，血压会逐渐下降。

最后，关于骨格系生理信息，对因困意引起的特定的倾向进行说明。呈现如下倾向：在驾驶员开始感觉到困意时，为了对抗该困意，体动次数增多，体动变动量也增大。并且，呈现如下倾向：当驾驶员的困意进一步增强时，驾驶员不再能对抗困意，体动次数以及体动变动量会减少。

如此，基于困意的各生物体信息特征，呈现特定的倾向即异常的变动模式。因此，通过检测因困意引起的各生物体信息特征的异常的变动模式，能够检测(识别)驾驶员的困意。更具体而言，如果生成能够使这样的因困意引起的各生物体信息特征的异常的变动模式与此时的清醒度的等级相关联的清醒度识别模型，并使用所生成的清醒度识别模型，则能够识别驾驶员的困意。

在本实施方式中，第2清醒度识别部172使用如此生成的清醒度识别模型，根据生物体信息特征量来识别第2清醒度，作为识别结果而输出到清醒度推定部15。此外，如上所述，在识别结果中，除了例如表示等级1～等级5的某个等级的清醒度之外，还包含表示该清醒度的概率的可靠度。例如，作为识别结果，输出清醒度：3、可靠度：0.8等。另外，所生成的清醒度识别模型是将选择了从生物体特征提取部171获得的各生物体信息特征量中的至少一个以上的生物体信息特征量作为输入数据而输出驾驶员的清醒度的等级的模型。清醒度识别模型能够使用神经网络、支持向量机、随机森林等以往的机器学习算法来生成。

此外，第2清醒度识别部172基于后述的教师数据生成部152所生成的教师数据来进行学习。更具体而言，在第2清醒度识别部172中，当在手动驾驶模式下第1清醒度与第2清醒度不同的情况下，使用教师数据生成部152基于第1清醒度生成的教师数据，进行学习处理。也就是说，在该学习中，示出了驾驶员的一个以上的生物体信息与驾驶员的清醒度的关系，进行模型的更新，使得第2清醒度识别部172的清醒度识别模型根据该教师数据将第1清醒度作为识别结果进行输出。

在本实施方式中，第2清醒度识别部172在从教师数据生成部152取得了教师数据的情况下，使用该教师数据，进行为了识别第2清醒度而使用的清醒度识别模型的学习。此外，作为具体的学习方法，例如，如果清醒度识别模型是阶层神经网络，则使用反向传播(back propagation)法等即可。

<清醒度推定部15>

清醒度推定部15根据第1清醒度认识部12所认识的第1清醒度以及第2清醒度认识部17所认识的第2清醒度的至少一方，推定车辆行驶中的驾驶员的第3清醒度。

在此，也可以是，清醒度推定部15在手动驾驶模式下，根据第1清醒度和第2清醒度来推定第3清醒度，在自动驾驶模式下，根据第2清醒度来推定第3清醒度。更具体而言，也可以是，清醒度推定部15在自动驾驶模式下，将第2清醒度设为第3清醒度，由此根据第2清醒度来推定第3清醒度。另外，也可以是，清醒度推定部15在手动驾驶模式下，判定第1清醒度以及所述第2清醒度的可靠度是否为阈值以上，将可靠度为阈值以上的第1清醒度和第2清醒度的一方设为第3清醒度，由此推定第3清醒度。更详细而言，清醒度推定部15在手动驾驶模式下，在第1清醒度和第2清醒度各自的可靠度为阈值以上、且第1清醒度与第2清醒度不同的情况下，将第1清醒度设为第3清醒度，由此推定第3清醒度即可。

此外，清醒度推定部15在手动驾驶模式下，在第1清醒度与第2清醒度不同的情况下，使用基于第1清醒度生成的教师数据来进行学习处理。

在本实施方式中，清醒度推定部15如图1所示，具备清醒度验证部151和教师数据生成部152。清醒度推定部15基于从第1清醒度认识部12获得的第1清醒度或从第2清醒度认识部17获得的第2清醒度，推定驾驶员的最终的清醒度即第3清醒度。

《清醒度验证部151》

清醒度验证部151验证从第1清醒度认识部12获得的第1清醒度或从第2清醒度认识部17获得的第2清醒度的有效性。在此，对于第1清醒度的有效性的验证方法，如果从第1清醒度识别部122获得的识别结果所包含的清醒度等级的可靠度为预先确定的阈值以上则判定为有效即可。另外，对于第2清醒度的有效性的验证方法，使用与上述的第1清醒度相同的方法即可。

清醒度验证部151基于验证结果和由驾驶模式选择部6选择的驾驶模式，将第1清醒度和第2清醒度的某一方作为驾驶员的最终的清醒度即第3清醒度进行输出。例如，清醒度验证部151在驾驶模式是手动驾驶模式的情况下，在确认了第1清醒度的有效性之后，将第1清醒度作为第3清醒度进行输出即可。另外，例如，清醒度验证部151在驾驶模式是自动驾驶模式的情况下，在确认了第2清醒度的有效性之后，将第2清醒度作为第3清醒度进行输出即可。

另外，清醒度验证部151在驾驶模式是手动驾驶模式的情况下，对第1清醒度的值和第2清醒度的值是否不同进行比较，在不同的情况下，将学习触发信号输出到教师数据生成部152。

《教师数据生成部152》

教师数据生成部152在手动驾驶模式时，根据第1清醒度生成教师数据并输出到第2清醒度认识部17，由此使第2清醒度识别部172进行学习处理。更具体而言，教师数据生成部152在从清醒度验证部151接收到学习触发信号时，使用第1清醒度生成教师数据，并输出到第2清醒度识别部172。此外，教师数据生成部152以符合由第2清醒度识别部172使用的清醒度识别模型的方式生成教师数据。

由此，教师数据生成部152能够使第2清醒度识别部172使用基于第1清醒度生成的教师数据来进行学习处理。此外，对于该学习处理，如上所述，在第2清醒度认识部17从教师数据生成部152取得了(接收到)教师数据时，基于该教师数据，由第2清醒度认识部17来进行。

[清醒度推定装置10的工作]

接着，对如上述那样构成的清醒度推定装置10的工作进行说明。

图5是表示本实施方式的清醒度推定装置10所进行的处理的概要的流程图。

如图5所示，清醒度推定装置10首先检测驾驶信息(S1)。此外，因为详细情况在上面已经叙述，所以省略在此的说明。接着，清醒度推定装置10根据在S1中检测出的驾驶信息来认识驾驶员的第1清醒度(S3)。接着，清醒度推定装置10检测驾驶员的生物体信息(S5)。接着，清醒度推定装置10根据在S5中检测出的生物体信息来认识驾驶员的第2清醒度(S7)。最后，清醒度推定装置10根据在S3中认识的第1清醒度和在S7中认识的第2清醒度的至少一方，推定车辆行驶中的驾驶员的第3清醒度(S9)。在S9中，清醒度推定装置10如上述那样，在手动驾驶模式下，基于第1清醒度和第2清醒度来推定第3清醒度，在自动驾驶模式下，基于第2清醒度来推定第3清醒度。

此外，S5的处理可以在S1的处理以及S3的处理之后进行，但也可以与S1的处理或S3的处理同时或者与S1的处理并行地进行。另外，S7的处理只要是在S5的处理之后即可，也可以与S3的处理并行地进行。

[驾驶辅助装置1的工作]

图6是用于说明本实施方式的驾驶辅助装置1所进行的工作的流程图。此外，如上所述，驾驶辅助装置1能够在驾驶模式选择部6中切换自动地进行车辆的行驶控制的自动驾驶模式和基于驾驶员的手动驾驶模式。另外，驾驶辅助装置1不管驾驶模式如何，都一直通过周边环境认识部3或本车辆位置检测部4监视与先行车辆之间的车间距离等与行驶车辆周围的周边环境有关的信息。

参照图6，首先，以清醒度推定装置10的工作为中心，对在手动驾驶模式时驾驶辅助装置1所进行的工作进行说明。

在S101中，清醒度推定装置10判定是否为手动驾驶模式，设为判定为是手动驾驶模式(S101：是)。更具体而言，在由驾驶模式选择部6选择了手动驾驶模式的情况下，清醒度推定部15判定为是手动驾驶模式。该情况下，驾驶员使用驾驶操作部2，进行车辆的驾驶即车辆的行驶控制。

接着，清醒度推定装置10检测驾驶员的驾驶信息以及生物体信息(S102)。具体而言，在手动驾驶模式下驾驶员正在驾驶的期间，车辆举动检测部11检测基于驾驶员的驾驶操作的驾驶信息，生物体信息检测部16检测驾驶员的生物体信息。

接着，清醒度推定装置10从周边环境以及驾驶信息中提取驾驶信息特征，认识第1清醒度(S103)。具体而言，第1清醒度认识部12使用从周边环境认识部3获得的本车辆的周边环境和从车辆举动检测部11获得的驾驶信息，认识驾驶员的第1清醒度。更详细而言，如上所述，驾驶信息特征提取部121基于本车辆的周边环境和驾驶信息，提取驾驶信息特征，第1清醒度识别部122使用由驾驶信息特征提取部121提取出的驾驶信息特征，识别第1清醒度。

接着，清醒度推定装置10从生物体信息中提取生物体信息特征，认识第2清醒度(S104)。具体而言，第2清醒度认识部17使用从生物体信息检测部16获得的生物体信息，认识第2清醒度。更详细而言，如上所述，生物体特征提取部171基于生物体信息，提取生物体信息特征，第2清醒度识别部172使用由生物体特征提取部171提取出的生物体信息特征，识别第2清醒度。

接着，清醒度推定部15基于第1清醒度和第2清醒度，推定驾驶员的最终的清醒度即第3清醒度(S105～S106)。具体而言，首先，清醒度推定部15的清醒度验证部151验证通过S103认识的第1清醒度的有效性(S105)。此外，对于第1清醒度的有效性的验证方法，如果从第1清醒度识别部122获得的识别结果所包含的清醒度等级的可靠度为预先确定的阈值以上则判定为有效即可。在S105中判定为第1清醒度有效的情况下(S105：是)，将第1清醒度作为推定结果即第3清醒度进行输出(S106)。

接着，清醒度验证部151验证通过S104认识的第2清醒度的有效性(S107)。此外，对于第2清醒度的有效性的验证方法，使用与上述的第1清醒度相同的方法即可。

在S107中判定为第2清醒度有效的情况下(S107：是)，对第1清醒度和第2清醒度进行比较，判定是否不同(S108)。

在S108中清醒度验证部判定为第1清醒度和第2清醒度不同的情况下(S108：是)，将该结果输出到教师数据生成部152。在本实施方式中，清醒度验证部151在对第1清醒度和第2清醒度进行比较而判定为不同的情况下，将学习触发信号输出到教师数据生成部152。

接着，教师数据生成部152根据第1清醒度生成教师数据(S109)，将所生成的教师数据输出到第2清醒度认识部17。在本实施方式中，教师数据生成部152在从清醒度验证部151接收到学习触发信号时，使用第1清醒度生成教师数据，并输出到第2清醒度识别部172。此外，教师数据生成部152以符合由第2清醒度识别部172使用的清醒度识别模型的方式生成教师数据。

接着，第2清醒度认识部17基于从教师数据生成部152获得的教师数据，进行学习处理(S110)。然后，返回到S101的处理来反复进行处理。在本实施方式中，第2清醒度识别部172在从教师数据生成部152取得了教师数据的情况下，使用该教师数据，进行为了识别第2清醒度而使用的清醒度识别模型的学习。然后，返回到S101的处理。

此外，在S107中第2清醒度不为有效的情况下(S107：否)、在S108中第1清醒度和第2清醒度一致的情况下(S108：否)，不进行第2清醒度认识部17的学习处理，返回到S101的处理来反复进行处理。

另外，在S105中未判定为通过S103认识的第1清醒度有效的情况下(S105：否)，清醒度验证部151验证通过S104认识的第2清醒度的有效性(S111)。在S111中判定为通过S104认识的第2清醒度有效的情况下(S111：是)，清醒度验证部151将通过S104认识的第2清醒度作为推定结果即第3清醒度进行输出(S112)。另一方面，在S111中判定为通过S104认识的第2清醒度不为有效的情况下(S111：否)，清醒度验证部151输出无法推定第3清醒度这一错误(S113)，返回到S101的处理。

接着，参照图6，以清醒度推定装置10的工作为中心，对在自动驾驶模式时驾驶辅助装置1所进行的工作进行说明。

在S101中，清醒度推定装置10判定是否为手动驾驶模式，设为判定为不是手动驾驶模式(S101：否)。更具体而言，在由驾驶模式选择部6选择了自动驾驶模式的情况下，清醒度推定部15判定为是自动驾驶模式。该情况下，不需要驾驶员进行驾驶操作，车辆控制部7基于周边环境自动地进行自动驾驶即车辆的行驶控制。

接着，清醒度推定装置10检测驾驶员的生物体信息(S121)。具体而言，在自动驾驶模式下，生物体信息检测部16检测驾驶员的生物体信息。在此，在自动驾驶模式下，由于驾驶员不亲自进行驾驶操作，因此车辆举动检测部11得不到方向盘的转向角等基于驾驶员的驾驶操作的有效驾驶信息。另一方面，生物体信息检测部16即使在自动驾驶中，也可得到驾驶员的有效的生物体信息。

接着，清醒度推定装置10从生物体信息中提取生物体信息特征，认识第2清醒度(S122)。具体而言，第2清醒度认识部17使用从生物体信息检测部16获得的生物体信息，认识第2清醒度。更详细而言，如上所述，生物体特征提取部171基于生物体信息，提取生物体信息特征，第2清醒度识别部172使用由生物体特征提取部171提取出的生物体信息特征，识别第2清醒度。如此，清醒度推定装置10不利用第1清醒度认识部12而使用第2清醒度认识部17，根据驾驶员的生物体信息来认识驾驶员的清醒度。

接着，清醒度推定部15基于第2清醒度，推定驾驶员的最终的清醒度即第3清醒度(S123～S124)。具体而言，首先，清醒度推定部15的清醒度验证部151验证通过S122认识的第2清醒度的有效性(S123)。此外，对于第2清醒度的有效性的验证方法，使用与上述的第1清醒度相同的方法即可。在S123中判定为第2清醒度有效的情况下(S123：是)，将第2清醒度作为推定结果即第3清醒度进行输出(S124)。此外，在S123中判定为第2清醒度不为有效的情况下(S123：否)，清醒度验证部151输出无法推定第3清醒度这一错误(S125)，返回到S101的处理。

[效果等]

如上所述，根据本实施方式，能够实现可高精度地推定存在自动驾驶模式和手动驾驶模式的车辆的驾驶员的清醒度的清醒度推定装置。

更具体而言，本实施方式的清醒度推定装置10在手动驾驶模式时，利用使用驾驶员的驾驶信息认识的第1清醒度和使用驾驶员的生物体信息认识的第2清醒度，推定最终的推定结果即第3清醒度。另一方面，清醒度推定装置10在自动驾驶模式时，将使用驾驶员的生物体信息认识的第2清醒度设为最终的推定结果即第3清醒度。也就是说，在本实施方式的清醒度推定装置10中，在手动驾驶模式时和自动驾驶模式时，对于驾驶员的第3清醒度的推定，适当地切换使用第1清醒度认识部12所认识的第1清醒度和第2清醒度认识部17所认识的第2清醒度。

进而，本实施方式的清醒度推定装置10在手动驾驶模式时，使第2清醒度认识部17使用第1清醒度认识部12的认识结果作为教师数据来进行学习处理。由此，能够吸收因生物体信息的个人差异导致的认识第2清醒度的精度的不均。由此，本实施方式的清醒度推定装置10在自动驾驶模式时，基于驾驶员的生物体信息，能够高精度地推定驾驶员的清醒度。即，即使在无法利用驾驶员的驾驶操作或车辆举动等驾驶信息的等级2以上的自动驾驶时，也能够高精度地推定驾驶员的清醒度。

以上，根据本实施方式的清醒度推定装置10，能够基于驾驶员的生物体信息来高精度地推定驾驶员的清醒度，因此即使在具备等级2以上的自动驾驶模式的自动驾驶系统中，也能够高精度地检测驾驶员的清醒度。

(变形例)

在上述实施方式中，对使用教师数据生成部152生成的教师数据来学习第2清醒度识别部172要使用的清醒度识别模型本身的方法进行了说明，但不限于此。也可以使用作为教师数据的第1清醒度，从自生物体特征提取部171获得的多个生物体信息特征中，选择对第2清醒度的识别有效的生物体信息特征来进行学习处理。将该情况作为变形例来进行以下说明。

图7是表示变形例的驾驶辅助装置的构成的一例的框图。此外，对于与图1同样的内容，记载了相同的语句，省略详细的说明。图7所示的变形例的驾驶辅助装置1相对于上述实施方式的驾驶辅助装置1，清醒度推定装置10A的第2清醒度认识部17A的构成不同。具体而言，变形例的清醒度推定装置10A相对于上述实施方式的第2清醒度认识部17A，追加了生物体信息特征存储部173和生物体特征选择部174，生物体特征提取部171A和第2清醒度识别部172A的构成不同。

<生物体特征提取部171A>

生物体特征提取部171A从由生物体信息检测部16检测出的多个生物体信息的各生物体信息中提取生物体信息特征。生物体特征提取部171A将所提取出的生物体信息特征输出到生物体特征选择部174。此外，生物体特征提取部171A也可以将在自动驾驶模式下提取出的生物体信息特征输出到第2清醒度识别部172A。

<生物体信息特征存储部173>

生物体信息特征存储部173存储从生物体特征提取部171获得的生物体信息特征。生物体信息特征存储部173也可以存储从教师数据生成部152获得的教师数据。

<生物体特征选择部174>

生物体特征选择部174在手动驾驶模式下，从由生物体特征提取部171提取出的多个生物体信息特征中，选择与由教师数据生成部152根据第1清醒度生成的教师数据相关性高的生物体信息特征。

更具体而言，生物体特征选择部174在手动驾驶模式下，将从教师数据生成部152获得的教师数据D(t)(t表示时刻)作为预先确定的时间(m个)、教师数据序列D(1)、D(2)、……、D(m)存储于预定的存储部。在本变形例中，设为教师数据D(t)被存储于生物体信息特征存储部173来进行以下说明。另外，生物体特征选择部174在手动驾驶模式下，将从生物体特征提取部171获得的n种生物体信息特征Bi(t)(i＝1～n)作为预先确定的时间(m个)、生物体信息特征数据序列Bi(1)、Bi(2)、……、Bi(m)存储于生物体信息特征存储部173。

生物体特征选择部174在手动驾驶模式下，例如在生物体信息特征存储部173存储有预先确定的个数的数据序列时，算出生物体信息特征存储部173所存储的教师数据序列D(t)(t＝1，2，……m)和生物体信息特征存储部173所存储的n种生物体信息特征数据序列Bi(t)(t＝1，2，……m)的相关系数。此外，相关系数例如可以利用如下方法等已知方法来算出：通过将D(t)和Bi(t)的协方差除以D(t)的标准差与Bi(t)的标准差的乘法运算值来算出。

生物体特征选择部174在手动驾驶模式下，对所算出的相关系数和预先确定的阈值进行比较，选择相关系数为阈值以上的生物体信息特征，并输出到第2清醒度识别部172A。此外，在自动驾驶模式下，生物体特征选择部174将在手动驾驶模式下选择出的生物体信息特征输出到第2清醒度识别部172A即可。

<第2清醒度识别部172A>

第2清醒度识别部172A在自动驾驶模式以及手动驾驶模式下，使用由生物体特征选择部174选择出的生物体信息特征，识别第2清醒度。

第2清醒度识别部172A在手动驾驶模式下，基于教师数据生成部152所生成的教师数据来进行学习处理。在本变形例中，在第2清醒度认识部17A从教师数据生成部152接收到教师数据的情况下，第2清醒度识别部172A将由生物体特征选择部174选择出的生物体信息特征用作教师数据来进行学习处理。此外，第2清醒度识别部172A在由生物体特征选择部174选择出的、要在第2清醒度的识别中使用的生物体信息特征的种类发生了变更的情况下，需要使用所选择出的生物体信息特征来生成(学习)清醒度识别模型。

[效果等]

如上所述，根据本变形例，能够实现可高精度地推定存在自动驾驶模式和手动驾驶模式的车辆的驾驶员的清醒度的清醒度推定装置。

更具体而言，本变形例的清醒度推定装置10A，在手动驾驶模式时，在生物体特征选择部174中，从自生物体特征提取部171获得的多个种类的生物体信息特征中选择与作为教师数据的第1清醒度相关性高的生物体信息特征。并且，能够使用将所选择出的生物体信息特征作为教师数据进行了学习处理的清醒度识别模型来识别第2清醒度。

如此，根据本变形例的清醒度推定装置10A，能够选择对清醒度的识别有效的生物体信息特征来生成(学习)清醒度识别模型，因此能够进一步吸收因生物体信息的个人差异导致的不均。

进而，根据本变形例，与第2清醒度识别部172A使用从生物体特征提取部171获得的所有生物体信息特征来识别第2清醒度的情况相比，能够削减处理量，因此能够使第2清醒度识别部172A的处理速度高速化。

(其他实施方式)

本公开并不限定于上述实施方式。例如，也可以将任意组合本说明书中记载的构成要素、另外除去几个构成要素而实现的其他实施方式设为本公开的实施方式。另外，在不脱离本公开的主旨即权利要求书所记载的语句所表示的意思的范围内对上述实施方式实施本领域技术人员能想到的各种变形而得到的变形例，也包含在本公开中。

例如，在上述的驾驶辅助装置1中，周边环境认识部3、本车辆位置检测部4、目标行驶状态决定部5、驾驶模式选择部6、车辆控制部7、通知部8、以及清醒度推定装置10所包含的车辆举动检测部11、第1清醒度认识部12、生物体信息检测部16、第2清醒度认识部17以及清醒度推定部15等各部的各构成要素，也可以由专用的硬件构成。另外，也可以通过执行适合于各构成要素的软件程序来实现。另外，各构成要素也可以通过CPU或处理器等程序执行部读出并执行硬盘或半导体存储器等记录介质所记录的软件程序来实现。

另外，本公开进一步也包括以下这样的情况。

(1)具体而言，上述的装置是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在所述RAM或硬盘单元中存储有计算机程序。通过所述微处理器按照所述计算机程序进行工作，各装置实现其功能。在此，计算机程序是为了实现预定的功能而组合多个表示针对计算机的指令的命令代码而构成的。

(2)进而，构成上述装置的构成要素的一部分或全部，也可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成到一个芯片上而制造出的超多功能LSI，具体而言，是包括微处理器、ROM、RAM等而构成的计算机系统。在所述RAM中存储有计算机程序。通过所述微处理器按照所述计算机程序进行工作，系统LSI实现其功能。

(3)构成上述装置的构成要素的一部分或全部也可以由能够装卸于各装置的IC卡或单体模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包括上述的超多功能LSI。微处理器按照计算机程序进行工作，由此所述IC卡或所述模块实现其功能。该IC卡或该模块可以具有防篡改性能。

(4)另外，本公开的一个技术方案也可以是上述所示的方法。另外，也可以是由计算机实现这些方法的计算机程序，还可以是由所述计算机程序形成的数字信号。

(5)另外，本公开的一个技术方案，也可以将所述计算机程序或所述数字信号记录于计算机可读取的记录介质，例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。另外，也可以是记录在这些记录介质中的所述数字信号。

(6)另外，本公开的一个技术方案，也可以将所述计算机程序或所述数字信号经由电通信线路、无线或有线通信线路、以互联网为代表的网络、数据广播等进行传输。

(7)另外，本公开的一个技术方案，也可以是具备微处理器和存储器的计算机系统，所述存储器记录有上述计算机程序，所述微处理器按照所述计算机程序进行工作。

(8)另外，也可以是，通过将所述程序或所述数字信号记录在所述记录介质中并进行移送，或者经由所述网络等将所述程序或所述数字信号进行移送，由此通过独立的其他的计算机系统来实施。

(9)另外，上述中所使用的数字全部是为了具体说明本公开而例示的，本公开并非限定于所例示的数字。

(10)另外，框图中的功能块的分割是一例，也可以将多个功能块作为一个功能块来实现，或将一个功能块分割为多个，或将一部分的功能转移到其他功能块中。另外，也可以是单个硬件或软件以并联或时间分割的方式处理具有类似功能的多个功能块的功能。

(11)另外，上述清醒度推定方法所包含的多个步骤被执行的顺序是为了具体说明本公开而例示的，也可以是上述以外的顺序。另外，上述步骤的一部分也可以与其他步骤同时(并行)地执行。

《补充》

上述的实施方式以及变形例中说明的各种清醒度推定装置分别是本公开涉及的“清醒度判定系统”的一例。上述的实施方式以及变形例中说明的清醒度推定方法分别是本公开涉及的“清醒度判定方法”的一例。

本公开的一个技术方案的清醒度判定装置例如也可以不具备车辆举动检测部和/或生物体信息检测部等传感器，还可以从位于该装置外部的传感器接收驾驶信息和/或生物体信息。该情况下，清醒度判定装置例如具备记录有程序的存储器和处理器，处理器按照从存储器中读出的程序，执行驾驶员的清醒度的判定。进而，本公开的一个技术方案的清醒度判定装置例如也可以从外部的传感器接收根据驾驶信息生成的驾驶特征量和/或根据生物体信息生成的生物体特征量。

本公开的一个技术方案的“第1模式”例如也可以是由驾驶员进行车辆的前后方向以及左右方向这两方的控制的模式，“第2模式”例如也可以是自动地进行车辆的前后方向和左右方向的至少一方的控制的模式。

产业上的可利用性

本公开的一个技术方案的清醒度判定系统以及清醒度判定方法，可以搭载于对驾驶中的驾驶员的清醒度进行推定、并在清醒度低于预定值时提醒驾驶员注意的驾驶辅助系统等。

标号的说明

1 驾驶辅助装置

2 驾驶操作部

3 周边环境认识部

4 本车辆位置检测部

5 目标行驶状态决定部

6 驾驶模式选择部

7 车辆控制部

8 通知部

10、10A 清醒度推定装置

11 车辆举动检测部

12 第1清醒度认识部

15 清醒度推定部

16 生物体信息检测部

17、17A 第2清醒度认识部

21 方向盘

22 加速踏板

23 制动踏板

24 操纵杆

25 驾驶模式选择开关

31 摄像头

32 雷达

33 道路形状认识部

34 路面状态认识部

35 周边物体认识部

41 GPS

42 车辆行驶位置算出部

43 地图数据存储部

111 转向角传感器

112 加速踏板位置传感器

113 制动踏板位置传感器

114 车速传感器

115 加速度传感器

116 偏航率传感器

121 驾驶信息特征提取部

122 第1清醒度识别部

131 车间距离特征提取部

132 车辆横向位移量特征提取部

133 转向角特征提取部

134 加速踏板位置特征提取部

135 制动踏板位置特征提取部

136 车速特征提取部

137 车辆前后方向加速度特征提取部

138 车辆左右方向加速度特征提取部

139 偏航率特征提取部

151 清醒度验证部

152 教师数据生成部

161 车内摄像头

162 麦克风

163 心跳传感器

164 血压传感器

165 体动传感器

171、171A 生物体特征提取部

172、172A 第2清醒度识别部

173 生物体信息特征存储部

174 生物体特征选择部

181 面部图像提取部

182 睁眼度检测部

183 睁眼度特征提取部

184 眨眼检测部

185 眨眼特征提取部

186 头部位置检测部

187 头部位置特征提取部

188 呼吸声检测部

189 呼吸特征提取部

190 心跳变动检测部

191 心跳变动特征提取部

192 血压变动检测部

193 血压变动特征提取部

194 体动检测部

195 体动特征提取部

Claims (18)

1.一种清醒度判定系统，是用于判定车辆的驾驶员的清醒度的系统，

所述清醒度判定系统具备至少一个第1传感器、至少一个第2传感器、以及处理器，

所述处理器，

(A)取得表示所述车辆的驾驶模式的驾驶模式信息，所述车辆能够选择第1模式或第2模式来作为所述驾驶模式，所述第1模式是由所述驾驶员进行所述车辆的行驶控制的模式，所述第2模式是自动地进行所述车辆的所述行驶控制的至少一部分的模式，

(B)基于所述驾驶模式信息，判定选择了所述第1模式和所述第2模式的哪个模式，

(C)在选择了所述第1模式时，执行下述的(c1)～(c3)，

(c1)经由所述至少一个第1传感器，取得表示所述驾驶员的驾驶操作和/或车辆的驾驶状态的驾驶信息，

(c2)经由所述至少一个第2传感器，取得所述驾驶员的生物体信息，

(c3)基于所述驾驶信息和所述生物体信息来判定所述清醒度，

(D)在选择了所述第2模式时，执行下述的(d1)以及(d2)，

(d1)经由所述至少一个第2传感器，取得所述生物体信息，

(d2)不参照所述驾驶信息而基于所述生物体信息来判定所述清醒度。

2.根据权利要求1所述的清醒度判定系统，

所述处理器，

在所述(c3)中，

(c31)根据所述驾驶信息来推定所述清醒度并作为第1清醒度，

(c32)根据所述生物体信息来推定所述清醒度并作为第2清醒度，

(c33)参照所述第1清醒度以及所述第2清醒度来判定所述清醒度，

在所述(d2)中，

(d21)根据所述生物体信息来推定所述清醒度并作为第2清醒度，

(d22)参照所述第2清醒度来判定所述清醒度。

3.根据权利要求2所述的清醒度判定系统，

所述处理器在所述(d22)中，将所述第2清醒度视为所述清醒度。

4.根据权利要求2或3所述的清醒度判定系统，

所述处理器在所述(c33)中，将所述第1清醒度和所述第2清醒度中的一个清醒度选择为所述清醒度。

5.根据权利要求4所述的清醒度判定系统，

所述处理器在所述(c33)中，

(c331)判定所述第1清醒度和所述第2清醒度的可靠度分别是否为阈值以上，

(c332)将所述第1清醒度和所述第2清醒度中的所述可靠度为所述阈值以上的一个清醒度选择为所述清醒度。

6.根据权利要求5所述的清醒度判定系统，

所述处理器在所述(c332)中，在所述第1清醒度和所述第2清醒度的所述可靠度都为所述阈值以上、且互不相同时，将所述第1清醒度视为所述清醒度。

7.根据权利要求2或3所述的清醒度判定系统，

所述处理器在所述(c32)以及(d21)中，按照程序，根据所述生物体信息来推定所述清醒度，

所述处理器在所述(c31)以及(c32)之后，进一步，

(c34)在所述第1清醒度和所述第2清醒度互不相同时，生成教师数据，所述教师数据表示基于所述生物体信息生成的预定特征量与所述第1清醒度的对应关系，

(c35)使所述程序执行使用了所述教师数据的学习处理。

8.根据权利要求7所述的清醒度判定系统，

所述处理器在所述(c35)中，生成或更新表示所述生物体信息与所述清醒度的关系的模型。

9.根据权利要求8所述的清醒度判定系统，

所述模型的更新的结果，使得所述程序根据与通过所述(c2)取得的所述生物体信息相同的生物体信息，输出与通过所述(c31)推定出的所述第1清醒度相同的清醒度。

10.根据权利要求7所述的清醒度判定系统，

所述处理器，

在所述(c34)中，

(c341)在所述第1清醒度和所述第2清醒度互不相同时，算出所述生物体信息所包含的多个生物体特征量的各生物体特征量与所述第1清醒度之间的相关系数，

(c342)根据所述相关系数，将所述多个生物体特征量中的至少一个生物体特征量选择为所述预定特征量，

在所述(c35)中，

生成或更新表示所述预定特征量与所述清醒度的关系的模型。

11.根据权利要求1～3中任一项所述的清醒度判定系统，

所述至少一个第2传感器包括检测所述驾驶员的心跳的心跳传感器。

12.根据权利要求1～3中任一项所述的清醒度判定系统，

所述至少一个第2传感器包括检测所述驾驶员的表情的摄像头。

13.根据权利要求1～3中任一项所述的清醒度判定系统，

所述至少一个第2传感器包括检测所述驾驶员的体动的体动传感器。

14.根据权利要求1～3中任一项所述的清醒度判定系统，

所述至少一个第1传感器包括检测所述车辆的方向盘的转向角的转向角传感器。

15.根据权利要求1～3中任一项所述的清醒度判定系统，

所述至少一个第1传感器包括检测所述车辆的加速踏板和/或制动踏板的位置的位置传感器。

16.根据权利要求1～3中任一项所述的清醒度判定系统，

所述至少一个第1传感器包括检测所述车辆的加速度的加速度传感器。

17.一种清醒度判定方法，是用于判定车辆的驾驶员的清醒度的方法，所述清醒度判定方法包括：

(A)取得表示所述车辆的驾驶模式的驾驶模式信息，所述车辆能够选择第1模式或第2模式来作为所述驾驶模式，所述第1模式是由所述驾驶员进行所述车辆的行驶控制的模式，所述第2模式是自动地进行所述车辆的所述行驶控制的至少一部分的模式，

(B)基于所述驾驶模式信息，判定选择了所述第1模式和所述第2模式的哪个模式，

(C)在选择了所述第1模式时，

(c1)经由至少一个第1传感器，取得表示所述驾驶员的驾驶操作和/或车辆的驾驶状态的驾驶信息，

(c2)经由至少一个第2传感器，取得所述驾驶员的生物体信息，

(c3)基于所述驾驶信息和所述生物体信息来判定所述清醒度，

(D)在选择了所述第2模式时，

(d1)经由所述至少一个第2传感器，取得所述生物体信息，

(d2)不参照所述驾驶信息而基于所述生物体信息来判定所述清醒度。

18.根据权利要求17所述的清醒度判定方法，

在所述(c3)中，

(c31)根据所述驾驶信息来推定所述清醒度并作为第1清醒度，

(c32)根据所述生物体信息来推定所述清醒度并作为第2清醒度，

(c33)参照所述第1清醒度以及所述第2清醒度来判定所述清醒度，

在所述(d2)中，

(d21)根据所述生物体信息来推定所述清醒度并作为第2清醒度，

(d22)参照所述第2清醒度来判定所述清醒度。