CN112041910B - 信息处理装置、移动设备、方法和程序 - Google Patents

Abstract

本发明实现了一种配置，其中驾驶员的生物信息被输入以评估驾驶员的觉醒度。根据本发明，通过应用对驾驶员的眼球和/或瞳孔的运动分析的结果以及特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。数据处理单元使用特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，觉醒状态评估字典是作为基于驾驶员的生物信息的日志数据进行学习处理的结果而生成的。数据处理单元还估计直到驾驶员能够开始安全手动驾驶为止所需的返回时间。用于基于可观察信息进行估计处理的学习设备能够通过持续利用该设备使用多维因素建立驾驶员的可观察眼球运动和驾驶员的觉醒度的相关性。利用辅助信息，还可以从可观察值的长期波动中得出驾驶员大脑中的活动的指数。

Description

信息处理装置、移动设备、方法和程序

技术领域

本公开涉及信息处理装置、移动设备、方法和程序。更具体而言，本公开涉及获取汽车的驾驶员的状态信息并取决于驾驶员的状态执行最佳控制的信息处理装置、移动设备、方法和程序。

背景技术

近年来，驾驶员的睡意和注意力的下降、由呼吸暂停综合症引起的睡意、诸如心脏病发作、脑梗塞等的突发疾病已经引起大量事故。根据该状况，努力通过监视驾驶员的状态来防止这些事故。特别地，研究了将监视系统安装到很有可能引起严重事故的大型车辆。

作为公开了监视驾驶员的状态的系统的相关技术，例如，存在以下文献。

专利文献1(日本专利申请特开2005-168908号公报)公开了一种系统，该系统定期地观察驾驶员的生命信号，将观察结果传送到分析设备，由该分析设备判定是否发生了异常，并且在检测到异常时在驾驶员的座椅中的显示单元上显示警告信息。

另外，专利文献2(日本专利申请特开2008-234009号公报)公开了使用诸如体温、血压、心率、脑电波信息、体重、血糖水平、体脂和身高之类的身体信息进行驾驶员的健康管理的配置。

然而，存在这样的问题，即，即使在现有技术中公开的配置可以用于定期地识别驾驶员的健康状态，这些配置也不能应对在驾驶时发生的突然的身体异常。

引用列表

专利文献

专利文献1：日本专利申请特开2005-168908号公报

专利文献2：日本专利申请特开2008-234009号公报

发明内容

本发明要解决的问题

例如鉴于以上问题而做出了本公开。本公开的目的是提供可以获取汽车的驾驶员的状态、立即判定异常的发生并执行最佳的判定、控制和处理的信息处理装置、移动设备、方法和程序。

问题的解决方案

本公开的第一方面是

一种信息处理装置，包括：

数据处理单元，接收驾驶员的生物信息并评估驾驶员的觉醒度，其中

该数据处理单元

分析驾驶员的眼球或瞳孔中的至少任一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。

此外，本公开的第二方面是

一种移动设备，包括：

生物信息获取单元，获取移动设备的驾驶员的生物信息；和

数据处理单元，接收生物信息并评估驾驶员的觉醒度，其中

该数据处理单元

分析驾驶员的眼球或瞳孔中的至少一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。

此外，本公开的第三方面是

一种由信息处理装置执行的信息处理方法，其中

该信息处理装置包括数据处理单元，该数据处理单元接收驾驶员的生物信息并评估驾驶员的觉醒度，并且

该数据处理单元

分析驾驶员的眼球或瞳孔中的至少一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。

此外，本公开的第四方面是

一种由移动设备执行的信息处理方法，包括：

由生物信息获取单元获取移动设备的驾驶员的生物信息的步骤；和

由数据处理单元接收驾驶员的生物信息并评估自动驾驶期间的车辆中的驾驶员的觉醒度的步骤，其中

该数据处理单元

分析驾驶员的眼球或瞳孔中的至少一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。

此外，本公开的第五方面是

一种用于使信息处理装置执行信息处理的程序，其中

该信息处理装置包括数据处理单元，该数据处理单元接收驾驶员的生物信息并评估驾驶员的觉醒度，并且

该程序使该数据处理单元

分析驾驶员的眼球或瞳孔中的至少一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。

注意，例如，根据本公开的程序可以由存储介质和通信介质来提供，该存储介质和通信介质以计算机可读格式将该程序提供给可以执行各种程序代码的信息处理装置和计算机系统。该信息处理装置和计算机系统可以通过以计算机可读格式提供这样的程序来实现根据程序的处理。

通过基于如稍后描述的本公开的实施例的详细描述和附图，本公开的其它目的、特性和优点将是清楚的。注意，本文中的系统是多个设备的逻辑组配置，并且该配置中的设备不限于容纳在同一壳体中。

发明的效果

根据本公开的一个实施例的配置，实现了接收驾驶员的生物信息并评估驾驶员的觉醒度的配置。

具体而言，例如，包括数据处理单元，该数据处理单元接收驾驶员的生物信息并评估驾驶员的觉醒度。数据处理单元分析驾驶员的眼球或瞳孔中的至少一种的行为，并通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。数据处理单元通过使用作为基于驾驶员的生物信息的日志数据进行学习处理的结果而生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。数据处理单元还执行用于估计直到驾驶员可以开始安全手动驾驶为止的返回时间的处理。

利用该配置，实现了接收驾驶员的生物信息并评估驾驶员的觉醒度的配置。此外，可以估计大脑中的活动量并监视该活动量的时间变化。

注意，本文描述的效果仅是示例性的，并且不限于这些。另外，可能存在其它效果。

附图说明

图1是示出根据本公开的移动设备的示例性配置的图。

图2是用于说明在根据本公开的移动设备的显示单元上显示的数据的示例的图。

图3是用于说明根据本公开的移动设备的示例性配置的图。

图4是用于说明根据本公开的移动设备的示例性配置的图。

图5是用于说明根据本公开的移动设备的示例性传感器配置的图。

图6是示出用于说明觉醒状态评估字典的生成序列的流程图的图。

图7是示出用于说明觉醒状态评估字典的生成序列的流程图的图。

图8是示出驾驶员的视线行为的分析数据的示例的图。

图9是示出驾驶员的视线行为的分析数据的示例的图。

图10是用于说明觉醒状态评估字典的示例性数据结构的图。

图11是用于说明觉醒状态评估字典的示例性数据结构的图。

图12是用于说明觉醒状态评估字典的示例性数据结构的图。

图13是用于说明觉醒状态评估字典的示例性数据结构的图。

图14是示出用于说明基于驾驶员的觉醒状态评估的控制序列的流程图的图。

图15是示出用于说明由根据本公开的信息处理装置执行的学习处理序列的流程图的图。

图16是示出用于说明基于驾驶员的觉醒状态评估的控制序列的流程图的图。

图17是用于说明与观察值相对应的可观察评估值和返回延迟时间(＝手动驾驶可返回时间)的多条关系信息(观察图)的分布示例以及返回成功率的图。

图18是用于说明依据驾驶员在自动驾驶模式下执行的处理(次要任务)的类型的手动驾驶可返回时间的图。

图19是示出用于说明由根据本公开的信息处理装置执行的学习处理序列的流程图的图。

图20是用于说明信息处理装置的示例性硬件配置的图。

具体实施方式

在下文中，将参考附图详细描述根据本公开的信息处理装置、移动设备、方法和程序。注意，将根据以下项目进行描述。

1.移动设备和信息处理装置的配置和处理的概要

2.移动设备的具体配置和处理示例

3.觉醒状态评估字典的生成处理和使用处理的概要以及字典的示例性数据结构

4.(第一实施例)用于基于驾驶员监视执行控制的实施例(SAE定义1级和2级的情况下的控制处理示例)

5.(第二实施例)用于基于驾驶员监视执行控制的实施例(SAE定义3级或更高级的情况下的控制处理示例)

6.信息处理装置的示例性配置

7.根据本公开的配置的总结

[1.移动设备和信息处理装置的配置和处理的概要]

首先，将参考图1和随后的附图来描述移动设备和信息处理装置的配置和处理的概要。

根据本公开的移动设备例如是可以在切换自动驾驶和手动驾驶的同时行驶的汽车。

在有必要在这样的汽车中将自动驾驶模式切换为手动驾驶模式的情况下，请求使驾驶员(驾驶员)开始手动驾驶。

然而，在自动驾驶期间，存在驾驶员的各种状态。例如，存在驾驶员在驾驶时仅因为从方向盘上放开手而观看汽车前方的情况，驾驶员正在读书的情况，或者驾驶员入睡的情况。此外，有可能发生诸如由呼吸暂停综合症、心脏病发作、脑梗塞等引起的睡意之类的突发疾病。

驾驶员的觉醒度(觉醒度(意识水平))基于状态的差异而不同。

例如，当驾驶员入睡时，驾驶员的觉醒度下降。即，觉醒度(意识水平)下降。在觉醒度下降的这种状态下，无法执行正常的手动驾驶。如果在这种状态下将驾驶模式切换为手动驾驶模式，则在最坏的情况下有可能发生事故。

为了确保驾驶安全，有必要使驾驶员以清醒的意识开始手动驾驶。根据本公开的移动设备或可以安装在该移动设备上的信息处理装置获取驾驶员的生物信息和驾驶员的操作信息，基于所获取的信息来判定是否可以安全地开始手动驾驶，并基于判定结果执行控制以开始手动驾驶。

将参考图1和随后的附图来描述根据本公开的移动设备以及可附接到该移动设备的信息处理装置的配置和处理。

图1是示出作为根据本公开的移动设备的示例的汽车10的示例性配置的图。

根据本公开的信息处理装置附接到图1中所示的汽车10。

图1中所示的汽车10是可以在包括手动驾驶模式和自动驾驶模式的两种驾驶模式下驾驶的汽车。

在手动驾驶模式下，基于驾驶员(驾驶员)20的操作、即方向盘(转向)操作、对油门、制动器等的操作进行行驶。

另一方面，在自动驾驶模式下，驾驶员(驾驶员)20的操作是不必要的或部分地不必要的，并且例如，执行基于诸如位置传感器、其它周围信息检测传感器等的传感器信息的驾驶。

位置传感器例如是GPS接收器等，并且周围信息检测传感器例如是相机、超声波传感器、雷达、光检测和测距以及激光成像检测和测距(LiDAR)、声纳等。

注意，图1是用于说明本公开的概要的图，并且示意性地示出了主要组件。稍后将描述详细配置。

如图1中所示，汽车10包括数据处理单元11、驾驶员生物信息获取单元12、驾驶员操作信息获取单元13、环境信息获取单元14、通信单元15以及通知单元16。

驾驶员生物信息获取单元12获取驾驶员的生物信息作为用于判定驾驶员的状态的信息。要获取的生物信息例如是诸如以下各项的生物信息中的至少任一条：开眼率(PERCLOS)相关指数、心率、脉搏率、血流量、呼吸、心身相关性、视觉刺激、脑电波、出汗状态、头部姿势和行为、眼睛、看着、眨眼、跳视、微跳视、注视、漂移、凝视、虹膜的瞳孔响应、根据心率和呼吸估计的睡眠深度、积累的累积疲劳度、睡意指数、疲劳指数、视觉事件的眼球搜索频率、注视延迟特性、注视维持时间等等。

驾驶员操作信息获取单元13例如获取驾驶员的操作信息，驾驶员的操作信息是用于判定驾驶员的状态的另一方面的信息。具体而言，例如，获取与驾驶员可以操作的每个操作单元(方向盘、油门、制动器等)有关的操作信息。

环境信息获取单元14获取汽车10的行驶环境信息。例如，与汽车的前侧、后侧、左侧和右侧有关的图像信息，通过GPS进行的位置信息，来自光检测和测距以及激光成像检测和测距(LiDAR)、声纳等的周围障碍物信息。

数据处理单元11输入由驾驶员生物信息获取单元12和驾驶员操作信息获取单元13获取的驾驶员的信息以及由环境信息获取单元14获取的环境信息，并计算安全指数值，该安全指数值指示自动驾驶期间的汽车中的驾驶员是否可以执行安全手动驾驶或者手动驾驶期间的驾驶员是否正在执行安全驾驶。

此外，例如，在有必要将自动驾驶模式切换为手动驾驶模式的情况下，执行用于经由通知单元16发出用于切换为手动驾驶模式的通知的处理。

另外，数据处理单元11将驾驶员的眼球或瞳孔中的至少一种的行为分析为驾驶员的生物信息，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。稍后将描述觉醒状态评估字典的细节。

通知单元16包括显示单元、声音输出单元或者方向盘或座椅中的发出该通知的振动器。在图2中示出了通知单元16中包括的显示单元上的警告显示的示例。

如图2中所示，显示单元30进行如下显示。

驾驶模式信息＝“自动驾驶中”

警告显示＝“请切换为手动驾驶”

在驾驶模式信息的显示区域中，在自动驾驶模式时显示“自动驾驶期间”，并且在手动驾驶模式时显示“手动驾驶期间”。

警告显示信息的显示区域是在自动驾驶模式下进行自动驾驶时进行如下显示的显示区域。

“请切换为手动驾驶”

注意，如图1中所示，汽车10具有可以经由通信单元15与服务器30进行通信的配置。服务器30可以执行数据处理单元11的一部分处理，例如学习处理等。

[2.移动设备的具体配置和处理示例]

接下来，将参考图3和随后的附图来描述根据本公开的移动设备10的具体配置和处理示例。

图3是移动设备100的示例性配置。注意，在下文中，在将其中设置有移动设备100的车辆与其它车辆区分开的情况下，将移动设备100称为本车辆。

移动设备100包括输入单元101、数据获取单元102、通信单元103、车载设备104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、车身系统控制单元109、车身系统110、存储单元111以及自动驾驶控制单元112。

输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车身系统控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121相互连接。通信网络121例如包括符合可选标准的车载通信网络，例如，控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)、总线等。注意，移动设备100的每个单元可以直接连接而无需通信网络121。

注意，在下文中，在移动设备100的每个单元经由通信网络121进行通信的情况下，省略了对通信网络121的描述。例如，在输入单元101和自动驾驶控制单元112经由通信网络121彼此通信的情况下，简单地描述了输入单元101和自动驾驶控制单元112彼此通信。

输入单元101包括乘员用来输入各种数据、指令等的设备。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关或控制杆之类的操作设备以及可以使用声音、手势等通过除手动操作之外的方法执行输入的操作设备。另外，例如，输入单元101可以是外部连接设备，诸如使用红外线和其它无线电波的遥控设备或是与移动设备100的操作兼容的移动设备或可穿戴设备。输入单元101基于由乘员输入的数据、指令等来生成输入信号，并将该输入信号供应给移动设备100的每个单元。

数据获取单元102包括获取用于移动设备100的处理的数据的各种传感器等，并将获取的数据供应给移动设备100的每个单元。

例如，数据获取单元102包括检测本车辆的状态等的各种传感器。具体而言，例如，数据获取单元102包括：陀螺仪传感器，加速度传感器，惯性测量设备(IMU)，检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、引擎转速、马达转速、车轮转速等的传感器。

另外，例如，数据获取单元102包括检测本车辆外部的信息的各种传感器。具体而言，例如，数据获取单元102包括成像设备，诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机、其它相机等。另外，例如，数据获取单元102包括检测天气、气象现象等的环境传感器以及检测本车辆周围的物体的周围信息检测传感器。环境传感器例如包括雨滴传感器、雾传感器、日照传感器、雪传感器等。周围信息检测传感器例如包括超声波传感器、雷达、光检测和测距以及激光成像检测和测距(LiDAR)、声纳等。

例如，图4示出了用于检测本车辆外部的信息的各种传感器的安装示例。成像设备7910、7912、7914、7916和7918中的每一个被设置在例如车辆7900的前鼻、侧视镜、后保险杠、后门或内部的挡风玻璃的上侧中的至少一个位置中。

设置在前鼻中的成像设备7910和设置在车辆内部的挡风玻璃的上侧的成像设备7918主要获得车辆7900的前侧的图像。设置在侧视镜中的成像设备7912和7914主要获得车辆7900的侧面的图像。设置在后保险杠或后门中的成像设备7916主要获得车辆7900的后侧的图像。设置在车辆内部的挡风玻璃的上侧的成像设备7918主要用于检测在前车辆、行人、障碍物、交通信号灯、交通标志、行车道等。另外，在将来和在自动驾驶中，当车辆右转时，成像设备的使用可以扩展到更宽范围内的右转或左转目的地道路上的行人，并且进一步扩展到接近物体范围的十字路口。

注意，在图4中，示出了各个成像设备7910、7912、7914和7916的示例性拍摄范围。成像范围a指示设置在前鼻中的成像设备7910的成像范围，并且成像范围b和c分别指示设置在侧视镜中的成像设备7912和7914的成像范围。成像范围d指示设置在后保险杠或后门中的成像设备7916的成像范围。例如，通过叠加由成像设备7910、7912、7914和7916成像的图像数据，可以获得从上方观看到的车辆7900的鸟瞰图像，并且此外可以获得被曲面围绕的车辆周边的全方位立体显示图像等。

设置在车辆7900的前面、后面、侧面、角和车辆内部的挡风玻璃的上侧的传感器7920、7922、7924、7926、7928和7930可以例如是超声波传感器或雷达。设置在车辆7900的前鼻、后保险杠、后门和车辆内部的挡风玻璃的上侧的传感器7920、7926和7930可以例如是LiDAR。这些传感器7920至7930主要用于检测在前车辆、行人、障碍物等。这些检测结果可以进一步被应用于改善鸟瞰显示和全方位立体显示中的立体显示。

返回图3，将描述每个组件。数据获取单元102包括检测本车辆的当前位置的各种传感器。具体而言，例如，数据获取单元102包括全球导航卫星系统(GNSS)接收器等，其从GNSS卫星接收GNSS信号。

另外，例如，数据获取单元102包括检测车内信息的各种传感器。具体而言，例如，数据获取单元102包括：对驾驶员进行成像的成像设备，检测驾驶员的生物信息的生物传感器，收集车辆内部的声音的麦克风等等。生物传感器设置在例如座椅表面、方向盘等上，并检测坐在座椅上的乘员的坐状态或握住方向盘的驾驶员的生物信息。作为生命信号，可以使用各种可观察的数据，诸如心率、脉搏率、血流量、呼吸、心身相关性、视觉刺激、脑电波、出汗状态、头部姿势和行为、眼睛、看着、眨眼、跳视、微跳视、注视、漂移、凝视、虹膜的瞳孔响应、根据心率和呼吸估计的睡眠深度、积累的累积疲劳度、睡意指数、疲劳指数、视觉事件的眼球搜索频率、注视延迟特性、注视维持时间等。反映可观察的驾驶状态的生物活动可观察信息被将在稍后描述的安全性判定单元155用于计算返回通知定时，作为特定于驾驶员的返回从返回延迟时间特性延迟的情况的特性，返回延迟时间特性被聚合为通过观察估计的可观察评估值并与评估值的日志相关联。

图5示出了数据获取单元102中包括的用于获得与车辆中的驾驶员有关的信息的各种传感器的示例。例如，数据获取单元102包括ToF相机、立体相机、座椅应变仪等，作为检测驾驶员的位置和姿势的检测器。另外，数据获取单元102包括面部识别设备(面部(头部)识别)、驾驶员眼睛跟踪器(驾驶员眼睛跟踪器)、驾驶员头部跟踪器(驾驶员头部跟踪器)等，作为获得驾驶员的生物活动可观察信息的检测器。

另外，数据获取单元102包括生命信号(生命信号)检测器，作为获得驾驶员的生物活动可观察信息的检测器。另外，数据获取单元102包括驾驶员辨识(驾驶员辨识)单元。注意，作为辨识方法，除了通过使用密码、个人辨识号码等进行的知识辨识之外，还考虑通过使用面部、指纹、瞳孔的虹膜、声纹等进行的生物辨识。

此外，数据获取单元102包括身心不平衡因素计算器，该身心不平衡因素计算器检测驾驶员的眼球行为特性和瞳孔行为特性，并计算驾驶员的交感神经和副交感神经的不平衡评估值。

通信单元103与车载设备104、车辆外部的各种设备、服务器、基站等进行通信。通信单元103传送从移动设备100的每个单元供应的数据，并将接收到的数据供应给移动设备100的每个单元。注意，通信单元103所支持的通信协议不受特别限制。另外，通信单元103可以支持多种类型的通信协议。

例如，通信单元103通过使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车载设备104进行无线通信。另外，例如，通信单元103通过使用通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等经由未示出的连接端子(必要时还有电缆)与车载设备104进行有线通信。

此外，例如，通信单元103经由基站或接入点与存在于外部网络(例如，因特网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)进行通信。另外，例如，通信单元103通过使用对等(P2P)技术与本车辆附近的终端(例如，行人或商店的终端或者机器类型通信(MTC)终端)进行通信。

此外，例如，通信单元103执行V2X通信，诸如车辆到车辆(车辆间)的通信、车辆到基础设施(车辆和基础设施之间)的通信、车辆到家庭(本车辆和家庭之间)的通信以及车辆到行人(车辆和行人之间)的通信。另外，例如，通信单元103包括信标接收单元，接收从安装在道路等上的无线站传送的无线电波或电磁波，并获取包括当前位置、拥塞、交通法规、所需时间等的信息。注意，通信单元可以与在区间中行驶并且可以是领先车辆的在前行驶车辆进行配对，获取由安装在前车辆中的数据获取单元获取的信息作为在前行驶信息，并与本车辆的数据获取单元102的数据互补地使用该信息。具体而言，这可以是当领先车辆领先行驶队列时确保随后队列的安全性的单元。

车载设备104例如包括乘员的移动设备(平板计算机、智能电话等)或可穿戴设备，或者本车辆中携带的或附接到本车辆的信息设备，以及搜索去可选目的地的路线的导航设备等。注意，考虑到依据自动驾驶的广泛使用不一定将乘员固定到座椅固定位置的事实，在将来可以广泛地使用视频播放器、游戏机以及可从车辆拆卸的其它设备。在本实施例中，描述了一个示例，其中需要与驾驶员干预的点有关的信息的人被限于驾驶员。然而，可以将信息提供给行驶队列中的后续车辆等。此外，通过持续地将信息提供给客运共享公共汽车或长途物流商用车辆的操作管理中心，可以与远程行驶支持结合适当地使用该信息。

输出控制单元105控制各种信息向本车辆的乘员或本车辆的外部的输出。例如，输出控制单元105生成包括视觉信息(例如，图像数据)或听觉信息(例如，音频数据)中的至少一种的输出信号，并将所生成的信号供应给输出单元106以控制来自输出单元106的视觉信息和听觉信息的输出。具体而言，例如，输出控制单元105合成由数据获取单元102的不同成像设备成像的多条成像数据，生成鸟瞰图像、全景图像等，并将包括所生成的图像的输出信号供应给输出单元106。另外，例如，输出控制单元105生成包括针对诸如碰撞、接触、进入危险区域等的危险的警告声音、警告消息等的音频数据，并将包括所生成的音频数据的输出信号供应给输出单元106。

输出单元106包括可以将视觉信息或听觉信息输出到本车辆的乘员或车辆外部的设备。例如，输出单元106包括显示设备、仪表板、音频扬声器、头戴式耳机、诸如乘员佩戴的眼镜形状的显示器等的可穿戴设备、投影仪、灯等等。除了具有正常显示的显示器以外，输出单元106中包括的显示设备可以是在驾驶员的视野中显示视觉信息的设备，例如平视显示器、透射型显示器、具有增强现实(AR)显示功能的设备等。

驱动系统控制单元107生成各种控制信号，并将所生成的信号供应给驱动系统108以控制驱动系统108。另外，驱动系统控制单元107在必要时将控制信号供应给除驱动系统108以外的每个单元，并发出对驱动系统108的控制状态的通知等。

驱动系统108包括与本车辆的驱动系统有关的各种设备。例如，驱动系统108包括：诸如内燃机、驱动马达等的生成驱动力的驱动力生成设备，将驱动力传送至车轮的驱动力传送机构，调节转向角的转向机构，生成制动力的制动设备，防抱死制动系统(ABS)，电子稳定控制(ESC)，电动助力转向设备等等。

车身系统控制单元109生成各种控制信号，并将所生成的信号供应给车身系统110以控制车身系统110。另外，车身系统控制单元109在必要时将控制信号供应给除车身系统110以外的每个单元，并发出对车身系统110的控制状态的通知等。

车身系统110包括安装在车身上的各种车身系统设备。例如，车身系统110包括：无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、方向盘、空调、各种灯(例如，前灯、后灯、指示灯、雾灯等)等等。

存储单元111例如包括：诸如只读存储器(ROM)、随机存取存储器(RAM)或硬盘驱动器(HDD)之类的磁存储设备，半导体存储设备，光存储设备，磁光存储设备等等。存储单元111存储由移动设备100的每个单元使用的各种程序、数据等。例如，存储单元111存储诸如以下各项的地图数据：诸如动态地图之类的三维高精度地图，与高精度地图相比覆盖广区域且具有较低精度的全局地图，包括本车辆周围的信息的局部地图等等。

自动驾驶控制单元112控制自动驾驶，诸如自主行驶、驾驶辅助等。具体而言，例如，自动驾驶控制单元112执行协同控制以实现高级驾驶辅助系统(ADAS)的功能，该功能包括：本车辆的碰撞避免或冲击缓和、基于车辆之间的距离的跟随行驶、车速保持行驶、本车辆碰撞警告、本车辆的车道偏离警告等等。另外，例如，自动驾驶控制单元112执行对自动驾驶的协同控制，以在不依赖于驾驶员的操作的情况下自主行驶。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、计划单元134和操作控制单元135。

检测单元131检测控制自动驾驶所需的各种信息。检测单元131包括车辆外部信息检测单元141、车内信息检测单元142和车辆状态检测单元143。

车辆外部信息检测单元141基于来自移动设备100的每个单元的数据或信号来执行用于检测本车辆外部的信息的处理。例如，车辆外部信息检测单元141执行对本车辆周围的物体的检测处理、识别处理和跟踪处理，并执行用于检测到该物体的距离和相对速度的处理。要检测的物体例如包括：车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志、道路标记等等。

另外，例如，车辆外部信息检测单元141执行用于检测本车辆周围的环境的处理。要检测的周围环境包括例如天气、温度、湿度、亮度、路面状态等。车辆外部信息检测单元141将指示检测处理的结果的数据供应给：自身位置估计单元132，状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153，以及操作控制单元135的紧急情况避免单元171等等。

当行驶区间是其中从基础设施供应局部动态地图的区间时，可以主要从基础设施接收由车辆外部信息检测单元141获取的信息，其中通过将该行驶区间设定为其中可以密集地执行使用自动驾驶的行驶的区间来持续地更新该局部动态地图。可替代地，可以通过在进入区间之前从先前在该区间中行驶的车辆或车辆组接收持续更新的信息来进行行驶。另外，在基础设施未将局部动态地图持续地更新为最新地图的情况下，为了特别是在行驶队列中在紧接更安全进入区间之前获得道路信息，可以互补地使用由进入该区间的领先车辆获得的道路环境信息。在许多情况下，该区间是否是可以执行自动驾驶的区间取决于是否已经预先从基础设施提供信息来判定。由基础设施提供的指示是否可以在路线上执行自动驾驶行驶的信息等同于将不可见跟踪提供作为所谓的“信息”。注意，为了方便起见，车辆外部信息检测单元141被示出为假设车辆外部信息检测单元141被安装在本车辆上。然而，通过使用被在前车辆识别为“信息”的信息，可以进一步增强行驶时的可预测性。

车内信息检测单元142基于来自移动设备100的每个单元的数据或信号来执行用于检测车内信息的处理。例如，车内信息检测单元142执行用于认证和识别驾驶员的处理、用于检测驾驶员的状态的处理、用于检测乘员的处理、用于检测车内环境的处理等。要检测的驾驶员的状态包括例如身体条件、觉醒度、集中度、疲劳度、视线方向、详细的眼球行为等。

此外，将来假设与驾驶转向操作完全分离的驾驶员使用自动驾驶。由于驾驶员临时入睡或开始其它工作，因此系统有必要认识到如何恢复返回驾驶所需的意识的觉醒。即，传统上已经考虑的驾驶员监视系统主要包括检测意识的下降、诸如睡意的检测单元。然而，由于驾驶员将来不干预驾驶转向，因此系统不包括从转向设备的转向稳定性等直接观察驾驶员的驾驶干预程度的单元，并且在从驾驶员的正确意识状态为未知的状态观察到驾驶所必需的意识恢复转变并识别出驾驶员的正确内部觉醒状态之后，有必要将对转向的干预从自动驾驶转移到手动驾驶。

因此，车内信息检测单元142主要具有两个主要作用。一个作用是在自动驾驶期间对驾驶员的状态的被动监视，并且另一作用是在系统请求返回觉醒之后并且在车辆到达注意地执行驾驶的区间之前，对驾驶员的周围认知、感知、确定以及对转向设备的操作能力达到可以执行手动驾驶的水平的检测和确定。如在整个车辆的故障自诊断作为控制被进一步执行并且自动驾驶的功能由于自动驾驶的部分功能故障而劣化的情况下，可以在早期阶段提示其返回到由驾驶员进行手动驾驶。这里的被动监视指示不需要来自驾驶员的有意识的响应反应的一种类型的检测单元，并且不排除从设备发射物理无线电波、光等并检测响应信号的检测单元。也就是说，指示对诸如当驾驶员小睡时驾驶员的无意识状态的监视的被动监视和不是驾驶员的认知应答反应的监视被分类为被动方法。不排除分析和评估辐射的无线电波、红外线等的反射和扩散的信号的主动响应设备。相反，假设对于向驾驶员请求响应反应需要有意识的响应的设备是主动的。

要检测的车内环境包括例如温度、湿度、亮度、气味等。车内信息检测单元142将指示检测处理的结果的数据供应给状况分析单元133的状况识别单元153以及操作控制单元135。注意，发现在系统已向驾驶员发出驾驶返回指令之后的适当时段内驾驶员不能实现自动驾驶，并且判定即使在执行自动驾驶时执行了减速控制并且生成了时间延长也来不及从自动驾驶切换为手动驾驶，向系统的紧急情况避免单元171等发出指令，并且开始减速、疏散和停止过程以疏散车辆。也就是说，即使在初始状态相同且切换为时过晚的情况下，也可以通过提前说明车辆的减速来赢得到达切换极限之前的到达时间。由于可以由单个车辆执行由于切换过程的延迟而引起的减速过程，因此这不直接引起问题。然而，在不恰当的减速的情况下，对于在道路区间中行驶的另一跟随车辆存在大量不利影响，诸如路线阻碍、拥塞诱发因素、碰撞危险因素等。因此，这是应当作为异常事件避免而不是作为正常控制的事件。因此，期望将由于切换过程的延迟而引起的减速定义为稍后要描述的惩罚目标，以防止驾驶员的异常使用。

车辆状态检测单元143基于来自移动设备100的每个单元的数据或信号来执行用于检测本车辆的状态的处理。要检测的本车辆的状态例如包括：速度、加速度、转向角、是否发生异常、异常的内容、驾驶操作状态、电动座椅的位置和倾斜度、门锁状态、其它车载设备的状态等等。车辆状态检测单元143将指示检测处理的结果的数据供应给状况分析单元133的状况识别单元153、操作控制单元135的紧急情况避免单元171等。

自身位置估计单元132基于来自移动设备100的诸如车辆外部信息检测单元141、状况分析单元133的状况识别单元153等的每个单元的数据或信号来执行用于估计本车辆的位置、姿势等的处理。另外，自身位置估计单元132在必要时生成用于估计自身位置的局部地图(在下文中，称为自身位置估计地图)。

自身位置估计地图例如是使用诸如同时定位和地图构建(SLAM)之类的技术的具有高精度的地图。自身位置估计单元132将指示估计处理的结果的数据供应给状况分析单元133的地图分析单元151、交通规则识别单元152、状况识别单元153等。自身位置估计单元132使存储单元111存储自身位置估计地图。

状况分析单元133执行用于分析本车辆和周围环境的状况的处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153、状况预测单元154以及安全性判定单元155。

当在必要时使用来自移动设备100的诸如自身位置估计单元132、车辆外部信息检测单元141等的每个单元的数据或信号时，地图分析单元151执行用于分析在存储单元111中存储的各种地图的处理，并构建包括自动驾驶处理所需的信息的地图。地图分析单元151将构建的地图供应给交通规则识别单元152、状况识别单元153、状况预测单元154以及计划单元134的路线计划单元161、动作计划单元162、操作计划单元163等。

交通规则识别单元152基于来自移动设备100的诸如自身位置估计单元132、车辆外部信息检测单元141、地图分析单元151等的每个单元的数据或信号来执行用于识别本车辆周围的交通规则的处理。根据该识别处理，例如，识别出本车辆周围的交通信号灯的位置和状态、本车辆周围的交通法规的内容、本车辆可以行驶于的行车道等。交通规则识别单元152将指示识别处理的结果的数据供应给状况预测单元154等。

状况识别单元153基于来自移动设备100的诸如自身位置估计单元132、车辆外部信息检测单元141、车内信息检测单元142、车辆状态检测单元143、地图分析单元151等的每个单元的数据或信号来执行用于识别本车辆的状况的处理。例如，状况识别单元153执行用于识别本车辆的状况、本车辆周围的状况、本车辆的驾驶员的状况等的处理。另外，状况识别单元153在必要时生成用于识别本车辆周围的状况的局部地图(在下文中，称为状况识别地图)。状况识别地图例如是占用网格地图(占用网格地图)。

要识别的本车辆的状况例如包括：车辆特定或负载特定的条件，诸如本车辆的位置、姿势、移动(例如，速度、加速度、移动方向等)，确定本车辆的运动特性的装载移动和由装载货物引起的车身的重心移动，轮胎压力，取决于制动衬块磨损状况的制动距离移动，防止引起负载移动的货物移动的最大允许减速制动，由装载液体等引起的弯道行驶时的离心缓和极限速度，并且此外还包括路面的摩擦系数、道路弯道、坡度等。即使在完全相同的道路环境下，控制所需的返回开始定时也取决于车辆的特性和负载等而不同。因此，有必要收集和学习各种条件并将所学习的条件反映到执行控制的最佳定时。在取决于车辆的类型和负载来确定控制定时时，状况的内容不是仅仅观察和监视本车辆的是否发生异常等的不足的内容。在运输业中，为了根据特定于负载的特性确保一定的安全性，确定增加期望的返回宽限时间的参数可以被预先设定为固定值，并且没有必要使用用于通过自我累积学习统一确定所有通知定时确定条件的方法。

要识别的本车辆周围的状况例如包括：本车辆周围的静止物体的类型和位置，本车辆周围的移动体的类型，位置和移动(例如，速度、加速度、移动方向等)，本车辆周围的道路的配置和路面的状态，以及本车辆周围的天气、温度、湿度、亮度等。要检测的驾驶员的状态例如包括身体条件、觉醒度、集中度、疲劳度、视线移动、驾驶操作等。为了使车辆安全地行驶，需要对策时的控制状态点根据以下各项而大大不同：在特定状态下安装在车辆上的装载量和安装单元的底盘固定状态、重心的偏差、最大可减速的加速度值、最大可加载离心力、依据驾驶员的状态的返回响应延迟量等等。

状况识别单元153将指示识别处理的结果的数据(必要时包括状况识别地图)供应给自身位置估计单元132、状况预测单元154等。另外，状况识别单元153使存储单元111存储状况识别地图。

状况预测单元154基于来自移动设备100的诸如地图分析单元151、交通规则识别单元152、状况识别单元153等的每个单元的数据或信号来执行用于预测本车辆的状况的处理。例如，状况预测单元154执行用于预测本车辆的状况、本车辆周围的状况、驾驶员的状况等的处理。

要预测的本车辆的状况例如包括本车辆的行为、异常的发生、可行驶的距离等。要预测的车辆周围的状况例如包括：本车辆周围的移动体的行为、交通信号灯的状态的改变、诸如天气之类的环境的改变等等。要预测的驾驶员的状况例如包括驾驶员的行为、身体条件等。

状况预测单元154将指示预测处理的结果的数据与来自交通规则识别单元152和状况识别单元153的数据一起供应给计划单元134的路线计划单元161、动作计划单元162、操作计划单元163等。

安全性判定单元155具有作为学习处理单元的功能，该学习处理单元取决于驾驶员的返回动作模式、车辆特性等来学习最佳返回定时，并将所学习的信息提供给状况识别单元153等。结果，例如，可以向驾驶员呈现最佳定时，该最佳定时是统计地获得的并且是驾驶员以等于或大于预定固定比率的比率正常地从自动驾驶返回到手动驾驶所需的。

路线计划单元161基于来自移动设备100的诸如地图分析单元151、状况预测单元154等的每个单元的数据或信号来计划到目的地的路线。例如，路线计划单元161基于全局地图来设定从当前位置到指定目的地的路线。另外，例如，路线计划单元161基于诸如拥塞、事故、交通法规、建筑工程等的状况、驾驶员的身体条件等来适当地改变路线。路线计划单元161将指示计划路线的数据供应给动作计划单元162等。

动作计划单元162基于来自移动设备100的诸如地图分析单元151、状况预测单元154等的每个单元的数据或信号来计划本车辆的动作，以在计划的时间内安全地行驶由路线计划单元161计划的路线。例如，动作计划单元162制定计划，诸如开始、停止、行驶方向(例如，向前、向后、左转、右转、转弯等)、行驶车道、行驶速度、超车等。动作计划单元162将指示本车辆的计划动作的数据供应给操作计划单元163等。

操作计划单元163基于来自移动设备100的诸如地图分析单元151、状况预测单元154等的每个单元的数据或信号来计划本车辆的操作以实现由动作计划单元162计划的动作。例如，操作计划单元163计划加速度、减速度、行驶轨迹等。操作计划单元163将指示本车辆的计划操作的数据供应给操作控制单元135的加减速控制单元172、方向控制单元173等。

操作控制单元135控制本车辆的操作。操作控制单元135包括紧急情况避免单元171、加减速控制单元172和方向控制单元173。

紧急情况避免单元171基于车辆外部信息检测单元141、车内信息检测单元142和车辆状态检测单元143的检测结果，来执行用于检测诸如碰撞、接触、进入危险区域、驾驶员的异常、车辆的异常等的紧急情况的处理。在检测到发生紧急情况的情况下，紧急情况避免单元171计划本车辆的避免紧急情况的操作，诸如突然停止、突然转弯等。紧急情况避免单元171将指示本车辆的计划操作的数据供应给加减速控制单元172、方向控制单元173等。

加减速控制单元172控制加减速以实现由操作计划单元163或紧急情况避免单元171计划的本车辆的操作。例如，加减速控制单元172计算驱动力生成设备或制动设备的用于实现计划的加速、减速或突然停止的控制目标值，并将指示计算出的控制目标值的控制指令供应给驱动系统控制单元107。注意，存在其中可能发生紧急情况的两种主要情况。也就是说，存在当在作为自动驾驶期间的行驶路线并且在从基础设施获取的局部动态地图等中被认为本来是安全的道路上执行自动驾驶时由于突然原因而发生意外事故并且紧急返回为时已晚的情况，以及驾驶员难以准确地从自动驾驶返回到手动驾驶的情况。

方向控制单元173控制方向以实现由操作计划单元163或紧急情况避免单元171计划的本车辆的操作。例如，方向控制单元173计算转向机构的用于实现由操作计划单元163或紧急情况避免单元171计划的行驶轨迹或突然转弯的控制目标值，并将指示计算出的控制目标值的控制指令供应给驱动系统控制单元107。

[3.觉醒状态评估字典的生成处理和使用处理的概要以及字典的示例性数据结构]

接下来，将描述由根据本公开的移动设备、该移动设备中包括的信息处理装置或与这些设备进行通信的服务器中的任何一个执行的觉醒状态评估字典的生成处理和使用处理的概要以及该字典的示例性数据结构。注意，所生成的觉醒状态评估字典用于评估正在驾驶移动设备的驾驶员的觉醒状态的处理。

觉醒状态评估字典是具有指示特定于驾驶员的觉醒度(意识水平)的降低风险(＝觉醒降低风险)的数据的字典，并且是特定于驾驶员并与每个驾驶员相关联的字典。

将参考图6和图7中所示的流程图来描述觉醒状态评估字典的生成序列。

注意，在对图6和随后的附图中的流程的描述中，流程中的每个步骤中的处理由根据本公开的移动设备、该移动设备中包括的信息处理装置或与这些设备进行通信的服务器来执行。然而，在下面的描述中，为了简化描述，将描述如下设定的示例，其中信息处理装置执行每个步骤中的处理。

(步骤S11)

首先，在步骤S11中，信息处理装置执行用于认证驾驶员的处理。在该认证处理中，信息处理装置利用已预先在存储单元中注册的用户信息(驾驶员信息)来执行核对处理，辨识驾驶员，并获取已经存储在存储单元中的驾驶员的个人数据。

(步骤S12)

接下来，在步骤S12中，确认用于评估已认证驾驶员的觉醒状态的字典(与驾驶员相对应的觉醒状态评估字典)是否作为车辆的本地字典而被保存在信息处理装置的存储单元(车辆中的存储单元)中。

在已认证驾驶员每天使用车辆的情况下，车辆中的存储单元保存与驾驶员相对应的本地字典(觉醒状态评估字典)。本地字典(觉醒状态评估字典)保存学习数据等，诸如对于每个驾驶员可观察到的驾驶员的状态观察值、当驾驶员从自动驾驶返回到手动驾驶时的行为特性等。

通过使用包括特定于驾驶员的返回行为特性的字典数据，系统可以根据观察到的驾驶员的状态观察值来估计觉醒度和直到驾驶员从检测到的状态返回到手动驾驶为止的延迟时间。

例如，基于诸如在驾驶期间监视的驾驶员的脉搏波分析、眼球行为等的一系列转变行为的可观察评估值，来计算驾驶员的返回延迟特性。

注意，同一驾驶员不一定重复使用同一车辆。例如，在汽车共享的情况下，存在单个驾驶员使用多个车辆的情况。在这种情况下，与驾驶员相对应的本地字典(觉醒状态评估字典)有可能未存储在驾驶员所驾驶的车辆中的存储单元中。为了使得可以在这种情况下使用与驾驶员相对应的觉醒状态评估字典，将与每个驾驶员相对应的字典作为远程字典存储在可以与汽车进行通信的外部服务器中，并且每个车辆具有可以在必要时从该服务器获取该远程字典的配置。

注意，远程字典包括与大量驾驶员相对应的觉醒状态评估字典。

(步骤S13)

信息处理装置在步骤S13中确认与驾驶员相对应的觉醒状态评估字典是否作为本地字典存储在当前正在驾驶的车辆的存储单元中。

在存储了觉醒状态评估字典的情况下，过程进入步骤S16。

在未存储觉醒状态评估字典的情况下，过程进入步骤S14。

(步骤S14和S15)

在信息处理装置在步骤S13中判定与驾驶员相对应的觉醒状态评估字典没有作为本地字典存储在当前驾驶的车辆的存储单元中的情况下，信息处理装置在步骤S14和S15中确认与驾驶员相对应的觉醒状态评估字典(远程字典)是否存储在服务器中，并且在存储了觉醒状态评估字典的情况下进一步确认觉醒状态评估字典的新鲜度。

在具有高新鲜度的与驾驶员相对应的觉醒状态评估字典(远程字典)存储在服务器中的情况下，过程进入步骤S16。

在未存储觉醒状态评估字典的情况下，过程进入步骤S14。

注意，在服务器中搜索字典时，驾驶员可以手动指定字典的保存目的地，或者系统可以基于步骤S11中的认证信息对驾驶员执行个人辨识处理并从远程服务器等自动搜索字典的保存目的地。此外，可以将搜索目的地预先注册为：租赁、共享汽车、出租汽车等的会员日志数据，登机卡，以及预设的选择保存信息。

在驾驶员每天重复使用同一车辆的情况下，假设自己完成的使用，以使得在车辆中的本地字典中针对每次使用更新字典。另一方面，关于诸如出租车、共享公共汽车和物流配送车辆之类的商用车辆，存在如下使用形式，其中多个驾驶员交替使用同一车辆以有效地使用车辆。在其中每次确定取决于操作计划指派的车辆和驾驶员的组合的使用形式中，字典被远程存储在远程服务器等中，并且被适当地下载到使用中的车辆中并每当驾驶员使用车辆时被使用，而无需将字典与车辆相关联。

在其中如在诸如出租车之类的商用车辆的情况下驾驶员切换多个车辆的应用中，优选地使用其中驾驶行为特性的学习数据被保存在远程服务器中并且当车辆被使用时根据车辆被在本地下载并被另外学习的形式。具体而言，在其中以高效率操作改变其驾驶员的公共汽车、出租车和卡车的工业中，不是通过一定将驾驶固定到特定车辆来执行驾驶。这将是将来的汽车共享、出租汽车等中的重要使用形式。

当数据由于长时期未使用等而变得过时时，难以适当地判定驾驶员的觉醒状态。因此，在具有高新鲜度的有效字典数据被确认的情况下，在使用字典数据之前将字典带入车辆的本地参考字典，并且使用该字典来判定特定驾驶员的状态。驾驶员的具体信息可以保存在车辆中的记录介质中，并且可以是在如稍后描述的管理包括用户的操作的远程系统中在过去的每次行驶作为学习历史而被另外学习、更新和保存的数据。注意，具有高新鲜度的字典数据指示直到紧接确定日期之前的几天为止通常每天使用车辆。例如，在几个月或几年不驾驶车辆的驾驶员驾驶车辆的情况下，字典的新鲜度低，并且字典数据不适合直接用于觉醒状态的估计。

在步骤S15中，在与驾驶员相对应的觉醒状态评估字典(远程字典)被存储在服务器中的情况下，字典的新鲜度被确认。

在没有字典的用户新近使用车辆的情况下以及在不使用字典的空白时段长的情况下，驾驶员的驾驶特性有可能改变。因此，过程进入步骤S17，生成新字典或刷新现有字典，并判定是否开始新学习驾驶员的特性。

例如，可以识别驾驶员的状态的系统不是在驾驶员要使用的所有车辆中持续地运行。另外，在驾驶员不使用车辆的空白时段长的情况下，驾驶员的特性有可能不同于在学习字典中注册的信息，即，特性发生波动。如果使用这样的旧字典，则难以基于驾驶员的当前可观察觉醒相关信息来准确判定驾驶员的状态。

因此，在现有的已认证人员连续再使用车辆的情况下，有必要确认所保存的字典的新鲜度。在步骤S14和S15中，执行新鲜度判定处理。

在步骤S15中的判定处理中从远程服务器检测到与驾驶员相对应的字典(觉醒状态评估字典(远程字典))的情况下，过程进入步骤S16。

(步骤S16)

在步骤S13中从车辆检测到与驾驶员相对应的字典(觉醒状态评估字典(远程字典))的情况下，或者在步骤S15中从服务器检测到具有高新鲜度的与驾驶员相对应的字典(觉醒状态评估字典(远程字典))的情况下，过程进入步骤S16。

在步骤S16中，信息处理装置从车辆或服务器获取与驾驶员相对应的觉醒状态评估字典。

(步骤S17和S18)

在步骤S13中未从车辆检测到与驾驶员相对应的字典(觉醒状态评估字典(远程字典))的情况下以及在步骤S15中未从服务器检测到具有高新鲜度的与驾驶员相对应的字典(觉醒状态评估字典(远程字典))的情况下，过程进入步骤S17。

在步骤S17和S18中，信息处理装置生成与驾驶员相对应的新字典。注意，在尽管存在与驾驶员相对应的字典但是字典由于长时期未使用而变得过时的情况下，刷新字典。在根据现有字典估计驾驶员的状态的情况下，确认驾驶员在未使用时段中的可观察觉醒相关生物信息以及实际觉醒返回所需的延迟时间是否波动，并执行校准。

通过根据流程执行处理，完成了在流程结束时描述的与驾驶员相对应的觉醒状态评估字典200的获取。与驾驶员相对应的觉醒状态评估词典200被存储在信息处理装置的数据处理单元、特别是执行驾驶员的觉醒状态判定处理的数据处理单元可访问的存储器中。

与驾驶员相对应的觉醒状态评估字典200用于以下处理：基于驾驶员的状态信息(观察值)的驾驶员的觉醒状态判定处理，用于估计返回到手动驾驶之前所需的时间(延迟时间)的处理等等。

信息处理装置定期地监视驾驶员，获取驾驶员的状态信息(生物信息和操作信息)作为监视信息，在预测状态的改变的同时适当地优化观察设备，获取优化的观察结果，并通过使用与驾驶员相对应的觉醒状态评估字典200来执行以下处理：驾驶员的觉醒状态判定处理，用于估计返回到手动驾驶之前所需的时间(延迟时间)的处理等等。

注意，在突然发生将自动驾驶切换为手动驾驶的必要性的情况下，信息处理装置有必要判定驾驶员是否可以立即开始手动驾驶。在这种情况下，观察驱动事件的驾驶员以进行早期判定。通过使用作为驾驶员的学习历史的结果而获得的字典，监视驾驶员的状态，并且以至少包括短范围内的改变和中等范围内的改变的多个不同的间隔观察状态的改变。

有必要以包括短范围内的改变和中等范围内的改变的不同时间间隔观察驾驶员的状态的原因如下。即，驾驶员在其中不需要切换为手动驾驶的诸如高速公路之类的全自动驾驶可能区间中可以完全依靠自动驾驶。在全自动驾驶可能区间继续的情况下，手动驾驶的必要性低，并且驾驶员可以从事与驾驶转向任务大大分开的任务。上面的示例是预计驾驶员在返回之前有足够时间的情况，诸如其中驾驶员离开座椅并在躺下时进入深度睡眠的休息任务或者或者用于移动到后部并针对每个交货目的地分拣包裹的分拣工作。在那种情况下，驾驶员没有必要在短时间段内返回到手动驾驶。因此，在那种情况下，频繁观察驾驶员的状态的必要性低，并且认为长观察间隔不会引起大的问题。

注意，可以从汽车从外部服务器接收的局部动态地图(LDM)中获取指示汽车正行驶于的道路是全自动驾驶可能区间还是其中需要手动驾驶的区间的信息。局部动态地图(LDM)是关于车辆行驶于的道路的行驶地图信息，并且包括区间信息，该区间信息指示地图上的道路处于全自动驾驶可能区间、手动驾驶必要区间等。例如基于诸如拥塞之类的状况改变来顺序地改变和更新区间信息。

另一方面，在切换点(从自动驾驶区间到手动驾驶区间的切换点)在附近或者正在接近其中要求小心行驶的区间的情况下，或者在车辆在具有意外切换风险的区间中行驶的情况下，在驾驶员的返回(返回手动驾驶)之前所需的时间短且受到限制的可能性越来越大。因此，系统有必要准确地识别返回所需的时间以便降低风险。即，有必要获得高度准确的信息，以便系统基于驾驶员的当前状态来预测驾驶员返回所需的时间。在这种状况下，驾驶员需要在某种程度上准备返回，并迅速准备好响应于通知而准备进行切换。假设观察到快速改变的状态，并且从驾驶员接收到通知或警告的点开始具有快速改变的返回工作。因此，期望在通知定时或通知定时之前的一定时间段开始高频观察。另外，对驾驶员的返回状况的识别和返回能力反映在此时的返回开始过程的转变状态上。然后，随后执行诸如视觉信息获取之类的快速操作，以识别在主动转向开始时的最后阶段的状况。为了在发出通知之前预先计算通知定时，系统在通知之前开始日志记录。也就是说，在该初始步骤处，观察响应于通知的驾驶员在通知前后的主动反应特性和转变特性。

有必要逐步适当执行监视以估计返回预测时间。也就是说，关于驾驶员的状态观察的监视周期，有必要通过添加道路的区间接近信息来适当地检查确认下一驾驶员的状态的定时。

接下来，将参考图7中所示的流程图来描述信息处理装置进行的驾驶员的觉醒状态判定处理和用于估计返回到手动驾驶之前所需的时间(延迟时间)的处理的序列。通过使用在先前已经参考图6描述的序列中生成的与驾驶员相对应的觉醒状态评估字典200来执行该处理。

将描述图7中所示的流程中的每个步骤中的处理。

图7示出了附接到汽车的驾驶员状态信息获取和分析单元300。

驾驶员状态信息获取和分析单元300具有以下配置。

作为信息获取单元，包括驾驶员操作信息获取单元301a、驾驶员第一生物信息获取单元301b、驾驶员第二生物信息获取单元301c、驾驶员第三生物信息获取单元301d和驾驶员第四生物信息获取单元301e。

此外，作为信息分析单元，包括驾驶员操作延迟和扰动分析单元302a、基于驾驶员的呼吸和脉搏的睡眠深度分析单元302b、基于驾驶员的眼球行为的意识状态分析单元302c、驾驶员姿势和动作分析单元302d以及驾驶员活动量分析单元302e。另外，驾驶员动作历史分析设备可以是日常佩戴的类似手表的设备。在那种情况下，可以将驾驶员上车之前的部分动作转变信息用作输入判定信息。

驾驶员操作信息获取单元301a获取驾驶员对方向盘、油门、制动器等的操作信息，并且驾驶员操作延迟和扰动分析单元302a输入这些驾驶员操作信息并生成与驾驶员操作的延迟和扰动有关的分析数据。

驾驶员第一生物信息获取单元301b获取作为驾驶员的生物信息的关于呼吸和脉搏的信息，并且基于驾驶员的呼吸和脉搏的睡眠深度分析单元302b基于所获取的信息来分析驾驶员的睡眠深度。

驾驶员第二生物信息获取单元301c获取作为驾驶员的生物信息的驾驶员的眼球行为信息，并且基于驾驶员的眼球行为的意识状态分析单元302c基于所获取的信息来分析驾驶员的意识状态。

驾驶员第三生物信息获取单元301d获取作为驾驶员的生物信息的驾驶员的姿势和动作信息，并且驾驶员姿势和动作分析单元302d基于所获取的信息来分析驾驶员的姿势和动作。

驾驶员第四生物信息获取单元301e获取驾驶员的生物信息，并且驾驶员活动量分析单元302e基于所获取的信息来分析驾驶员的活动量。

包括被配置为信息分析单元的驾驶员操作延迟和扰动分析单元302a、基于驾驶员的呼吸和脉搏的睡眠深度分析单元302b、基于驾驶员的眼球行为的意识状态分析单元302c、驾驶员姿势和动作分析单元302d以及驾驶员活动量分析单元302e内的分析单元生成在下一步骤S21中执行的驾驶员状态总体判定处理所需的状态参数。状态参数的示例取决于设备而变化。这些示例包括：可以根据其判定状态的转向器、油门、制动器等的操作的稳定性的数值，开眼率(PERCLOS)相关指数，根据心率和呼吸估计的睡眠深度，积累的累积疲劳度，睡意指数，疲劳度指数，眼球搜索视觉事件的频率，注视延迟特性，注视维持时间等等。

作为用于分析驾驶员的状态的处理的示例，将参考图8和图9来描述基于由生物信息获取单元301c获取的驾驶员的眼球行为信息的分析示例，即，由基于驾驶员的眼球行为的意识状态分析单元302c执行的用于分析驾驶员的意识状态的处理。

图8是通过分析驾驶员眼睛的移动(即分析眼球的高速行为)并绘制视线方向在一笔画中的转变而获得的数据的示例。驾驶员的视线指向与驾驶有关的信息的方向。此时，眼球通过所谓的跳视操作而高速旋转，在视线指向的方向上的视觉和光学信息作为光在视网膜中被采取，并且大脑中的视觉皮层促进对该信息的理解。视线方向上的注视性眼动对补充视网膜刺激和理解判定起作用。注视性眼动是由眼球行为分析而在注视方向上发生的眼球小移动。当通过参考在注视性眼动的过程中补充的信息和记忆来完成认知时，将视线保持在同一方向上的处理是不必要的。然后，接下来，出现所谓的跳视操作，该跳视操作将视线方向移动到周围环境并将视线方向移动到另一个优先确认事件。图8示出了在用于推进信息认知的过程中从注视性眼动和微跳视到将视线移动到下一注视方向的一系列眼球行为的示例。

眼球的注视中的邻域搜索范围、注视性眼动时的搜索漂移范围、认知之前的邻域停留时间等是通过大脑中的认知和一系列(反射)动作序列定义的范围和时间。这些范围和时间取决于驾驶员的觉醒状态而变化。例如，当驾驶员的觉醒状态不足时，在认知之前发生时间延迟。

然后，在该注视搜索中，诸如认知之前的眼球的波动的宽度和范围之类的搜索行为的范围受到干扰。此外，即使进行注视性眼动，也发生认知之前的延迟。觉醒下降或大脑中的活动降低时的移动和范围相对于觉醒稳定时的移动和范围发生改变。

光学和视觉信息的获取不是通过采取已经纯粹作为光捕获的物理信息来完成的。重复执行具有一系列存储信息的反馈，例如，基于初始视觉信息开始记忆参考认知，并另外获取不足以进行判定的信息。另外，在视觉信息未引起对记忆的参考认知的情况下，这引起使得眼睛移位的效果。因此，如果找到在驾驶员的正常觉醒时的稳定行为状态，则可以通过将找到的状态与驾驶员的眼球行为的每个觉醒水平特定特性进行比较并进行分析来估计驾驶员的觉醒状态。

图9是以1000f/s观察到的在大约0.1秒的短时间内发生的驾驶员的局部视线行为的跟踪数据的示例。由图9中所示的圆包围的范围是执行注视和搜索的眼球的行为范围。然而，在小行为的数量小并且视线立即移动到不同目标的情况下，眼球行为的示例被指示，据此估计，基于存储的信息在短时间内做出了关于单个目标的判定。例如，随着时间的过去观察同一部分，使视线返回到不足以进行状况判定时的方向，并且再次进行详细的注视观察。

使用视线的信息认知能力在很大程度上受驾驶员的经验和记忆影响。在一个示例中，驾驶空出租车的出租车驾驶员显示出更加关注路边的行人的行为的眼球行为，因为出租车驾驶员通过在道路上寻找用户来载客。关于当驾驶员看着交通信号灯时视线注视的停留时间，取决于视力由于疲劳或眼睛疲劳而下降的驾驶员的状态，倾向于花费更多时间来确认交通信号灯的方向和绿灯的灯的方向。另外，作为有经验的拉力赛驾驶员，在驾驶员立即确定各种周围环境信息并且视觉上识别接连改变的周围状况的状况下，即使在普通驾驶员的视线准确地指向道路上的特定物体并进行注视的情况下，眼球方向在短时间内通过跳视从周围的周边视野改变为目标，早期风险被确定，并且视线频繁移动到下一个目标的各种视觉信息。

如上所述，在驾驶员的眼球行为特性中，尤其反映和指示了直接受到利用大脑中的记忆进行的参考认知周期影响的行为，并且强烈地表达了驾驶员的个人特性。因此，关于觉醒的判定在很大程度上受到特定于驾驶员行为的改变影响。眼球的行为之一是中央视野的移动。使中央视野移动以在视觉上确定周边视野中的亮度区分部分的细节。在该亮度区分部分中，根据记忆和记忆的重要性无意识地执行针对要注意者的加权。亮度区分部分是与其中通过加权来增加增益的事件有关的部分。当采取在周边视野中具有改变的视觉信息时，认为在大脑中发生了神经传送的激发，其指示动眼肌(眼外肌)引起用于移动视线的跳视操作。眼球行为响应不是对输入信息的唯一响应。作为抑制和促进引起神经传送的激发的脑内物质的结果而发生眼球行为响应。

通过将到手动驾驶的切换质量与已经预先获取的眼球行为特性相关联，可以获取与自动驾驶的使用以及根据结果的正常或异常结合引起的驾驶员的觉醒状态有关的信息。可以基于所获取的信息来学习根据驾驶员状态的教师数据。从自动驾驶到手动驾驶的正常切换被认为是大脑中的准确且快速的认知行为的结果。另一方面，在正常切换被延迟或失败的情况下，响应因为以下原因而被延迟：驾驶员的心不在蔫，觉醒返回不足或者意识由于吸毒等而降低。通过使用这些信息，可以自动生成各种教师数据。

常规地，无法通过曾进行医学检查或临床实验的有限数量的受试者来掌握眼球行为与大脑中的判定认知行为之间的相关性。即，以上数量被限制为样本数据的数量。通过将受大脑中的活动状态影响的眼球行为用作外部可观察信息的输入值，可以通过学习设备来执行通过在广泛范围内的各种条件下使用人工智能进行的行为相关性学习和长期波动跟踪。

自动驾驶的觉醒状态评估字典支持诸如系统对车辆的切换判定之类的重要功能，并且其次可以计算用户大脑中的活动指数。因此，觉醒状态评估字典可以用作植物神经性共济失调或与大脑中的活动有关的出现症状的其它疾病的先兆指数。

在根据本公开的配置中，基于与每个已认证的驾驶员相对应的字典(觉醒状态评估字典)在每个时间点判定驾驶员的觉醒状态。此外，获取每个驾驶员的中长期的行为转变信息，计算觉醒状态的评估值。即使观察到用于观看每个事件的每个眼球行为，取决于要观看的目标，眼球行为也受到注视所必需的视觉信息的强烈影响。因此，难以直接估计觉醒度。然而，通过对要视觉识别的目标的状况进行多维地分类并通过统计方法对行为进行分析，行为的改变表现为以下各项相对于固定时间的那些的改变：注视停留时间的延长、搜索范围的扩大、跳视频率、注视漂移等等。通过按时间序列分析行为特性，可以监视驾驶员返回到觉醒状态的转变。

基于人体的功能和结构解剖元素来确定眼球行为的特性。因此，基于与每个人的认知有关的经验和记忆以及风险记忆来确定行为，而不是从个体差异得出行为。然而，由于关于亮度、眼睛疲劳等的条件，通过使用视力等执行以理解目标的搜索被添加到延迟和不足，直到眼睛聚焦为止。因此，为了以更高的精度判定觉醒度的水平，最好通过使用多维字典来判定觉醒水平，在该多维字典中，针对每个条件对个体的特性进行分类。因为中长期观察数据直接接收到与大脑中的视觉认知活动有关的影响，因此在中长期观察数据中观察到特定于驾驶员的波动。例如，通过稍后将被描述为字典创建的一部分的学习，诸如植物神经性共济失调等的警告症状之类的转变观察记录被生成为个人特性量。

在这种情况下，作为监视直到驾驶员返回到手动驾驶为止的觉醒状态返回时间转变的过程之一，已经详细描述了用于观察由大脑中的感知判定序列中的神经传送延迟引起的直接影响的眼球行为分析。然而，通过分层次地应用各种其它方法，诸如通过洛伦兹图对心电图的评估以及对呼吸的评估、对转向设备的功能转向稳定性的评估、PERCLOS评估等，可以在返回序列中以高精度监视觉醒状态转变。

(步骤S21和S22)

返回到对图7中的流程的描述，将描述步骤S21和S22中的处理。

在步骤S21和S22中，信息处理装置基于从被配置为包括驾驶员操作延迟和扰动分析单元302a、基于驾驶员的呼吸和脉搏的睡眠深度分析单元302b、基于驾驶员的眼球行为的意识状态分析单元302c、驾驶员姿势和动作分析单元302d以及驾驶员活动量分析单元302e的信息分析单元的分析单元输入的状态参数来执行驾驶员状态总体判定处理。

在该处理中，使用根据参考图6描述的流程生成的与驾驶员相对应的觉醒状态评估字典。

在步骤S21和S22中，基于当时的观察值，执行驾驶员觉醒状态判定处理以及用于估计在返回到手动驾驶之前所需的时间(延迟时间)的处理。

(步骤S23和S28)

在步骤S23中，判定返回到手动驾驶的必要性。在不需要返回到手动驾驶的情况下，执行步骤S24及其之后的处理。在需要返回到手动驾驶的情况下，执行步骤S28中的处理。

在步骤S23中，基于包括与车辆当前行驶于的道路有关的信息的局部动态地图(LDM)的最新数据，在驾驶员进入驾驶返回干预水平是困难的下一个区间的状况之前，在基于在步骤S22中获得的返回时间接近当手动驾驶返回成功率达到预定成功率时的时间的情况下，判定需要返回到手动驾驶，并且过程进入步骤S28。当时间达到返回开始时间时，发出警告和通知，并开始到手动驾驶的返回序列。

(步骤S24)

在步骤S23中判定当前不需要返回到手动驾驶的情况下，在步骤S24中检查观察间隔。

即，基于所获取的驾驶员的觉醒观察信息，总共确认在返回之前的宽限时间和在再次确认状态之前的宽限时间，并且在必要时调节定期观察间隔。通过调节每个观察设备的重复观察等待待机计时器310来设定新的观察间隔。

例如，在当驾驶员在可以在其上连续执行自动驾驶的经维护的高速公路的长途区间中的小睡空间中小睡时的定时，针对每个设备重置监视频率。

道路例如被划分为可以执行自动驾驶的区域和需要手动驾驶的区域。然而，这些区间的状态不是固定的，并且由于天气、灾难、拥塞和事故的发生等而顺序地改变。因此，当由于环境改变等而生成意外的提前返回点(＝从自动驾驶到手动驾驶的切换点)时，与驾驶员此刻不需要驾驶的计划相比，驾驶员需要在更短的时间内开始手动驾驶。例如，在这种情况下，有必要观察返回转变，并且有必要观察一系列的状态转变，例如苏醒、站起来、坐在驾驶员的座椅上、在视觉上识别状况并确定转向所需的状况。

换句话说，观察具有快速改变的状态，有必要将小睡时的正常监视的时间间隔移位为短监视间隔，并且为了更准确的估计而基于被动的心率和呼吸评估来估计睡眠深度。因此，通过在接近切换完成的阶段分析驾驶员的眼球行为的细节，以亚毫秒间隔估计认知判断动作能力，并且系统有必要基于可观察信息来判定驾驶员是否可以通过执行手动驾驶来应对事件。

在步骤S24中，根据驾驶员的状态来设定每个观察设备的观察间隔，并且驾驶员状态信息获取和分析单元300以最佳频率执行监视观察。

(步骤S25)

在下一个观察待命时间之前有宽限时间的情况下，在步骤S25中，检查驾驶员的状态和观察设备的观察间隔，并连续地观察可观察生命信号。

(步骤S26)

在步骤S26中，将指示每个驾驶员的中长期的行为特性和觉醒度的观察值的波动与在过去存储和保存并评估的记录参考值进行相对比较。

存在驾驶员的行为特性随时间过去而改变的情况。例如，在驾驶员习惯于驾驶并且紧张被释放的情况下，驾驶员的行为特性可能由于事故的发生、未引起事故的事件经历等而改变。通过掌握相对于驾驶员过去的行为特性的改变(例如，基线行为改变)和使用中长期分析结果，可以校正当基于观察值来估计返回延迟时间时的精度。

注意，通过使用中长期分析结果，可以检测由于作为驾驶员的植物神经性共济失调的先兆症状的交感神经和副交感神经之间的不平衡而引起的神经传送的延迟等，并且可以在早期掌握诸如认知判断延迟等的异常的发生。

(步骤S27)

步骤S27是用于学习在每次行驶时获得的驾驶员的行为特性以作为中长期特性波动的基线信息的处理，以及用于基于学习结果来生成和更新字典的处理。

可以每当发生事件时就保存学习处理和字典，并且例如，可以使用如下设定，其中通过总结针对每次旅程保存在汽车的本地存储器中的结果，与驾驶员相关联地将学习数据和字典保存在远程服务器中。

注意，用于观察驾驶员的生命信号的频率取决于状况而变化，并且期望取决于状况综合地评估频率。例如，倾向于具有睡眠呼吸暂停综合症的用户具有高的呼吸暂停低通气指数(AHI)系数和感到睡意的高风险。即使在这种情况下，驾驶员也具有突然感到睡意的高风险。因此，基于对短期改变的监视和事件驱动的检测来执行检测。另一方面，在生命信号和观察到的驾驶员的行为中，由诸如逐渐发展的疲劳、功能障碍等的认知判断的下降引起的改变几乎不会作为短期改变出现。为了检测和判定疲劳等，有必要观察长期改变。短期改变触发由系统上的AEBS针对突然的可操纵性丧失(诸如心肌梗塞或中风)执行的紧急事件对策。中期改变检测用作系统的触发信号，以执行用于降低由于疲劳、睡意等引起的认知判断能力的下降而引起的风险的功能。

通过主要监视每次使用车辆时驾驶转向响应的特性的长期改变，可以掌握驾驶员的身体机能和视神经反应的波动。具体而言，检测到与通常时间的正常使用相比在更短时间内的反射操作的延迟量以及突然校正操作，该突然校正操作用于补偿重复操作或转向校正操作的速度相对于车辆的驾驶所必需的转向操作的延迟。然后，通过比较不同使用时段(学习历史值)的改变，可以捕获驾驶员的当前认知、判断和预防动作中的任一种的神经传送路径的长期改变。

图10至图12示出了将根据参考图6和图7描述的处理来生成和更新的与驾驶员相对应的觉醒状态评估字典的示例性配置。

在图10至图12中示出的所有数据都指示与驾驶员相对应的觉醒状态评估字典的配置数据的一部分。如图10至图12中的最左列中所示的，驾驶员的觉醒状态级别被设定为0至8的九个类别。

觉醒状态级别0是最低的觉醒状态，并且是与深度睡眠相对应的水平。

觉醒状态级别9是最高的觉醒状态，并且是与可以执行主动驾驶、即正常的手动驾驶的觉醒状态相对应的水平。

在图10至图12中，分别示出了作为可以从驾驶员获得的驾驶员信息(生物信息和操作信息)的(1)至(12)。这些信息是由图7中所示的上述驾驶员状态信息获取和分析单元300获取的信息(可观察值)。

图10至图12示出了以下可观察信息。

(1)眼球行为

(2)眼电位

(3)面部表情

(4)语音(知识应答和语气和响应特性评估)

(5)体温、体温变化、末端体温(体温分布)

(6)脑电波

(7)心跳和脉搏

(8)动脉血压

(9)呼吸(频率、间隔、呼吸暂停发生)

(10)转向设备的转向稳定性评估、转向和踏板转向速度、频率、小运动量、过度转向量

(11)包括驾驶员的转向相对于环境识别系统的理想转向的误差和延迟量以及对噪声注入的响应评估

(12)使用乘车前的动作历史、逗留因素分类信息的评估加权：睡眠时间、活动量可穿戴日志历史、识别信息

注意，(1)眼球行为被细分为包括以下各项的观察信息：

(1a)跳视频率

(1b)眼睛停留

(1c)微跳视发生频率变化和分类

(1d)眼睑张开度、开眼率

(1e)PERCLOS

(1f)睁眼速度

(1g)瞳孔直径反射

(1h)头部稳定性

(1i)头部移动和跳视相关

(1j)对道路上的准静止体的追求

这些信息(1a)至(1j)至(12)是由图7中所示的上述驾驶员状态信息获取和分析单元300获取的信息(可观察值)。

信息处理装置基于所获取的信息来生成特定于驾驶员的字典(觉醒状态评估字典)，并顺序地更新字典。另外，通过使用该字典来评估驾驶员的觉醒度。即，基于驾驶员的观察值来判定0至9级中的哪一个对应于驾驶员的觉醒度水平。

注意，驾驶员状态信息获取和分析单元300获取图10至图12中所示的观察值(1a)至(12)，作为在图10至图12的下部中示出的观察值至/>

在觉醒度判定处理时，通过使用观察值至/>根据例如以下算术表达式(表达式1)来计算觉醒度评估值。

注意，参考i是索引，并且如图10至图12的下部中所示，对于(1a)至(12)分别满足i＝1至25。

值ω(i)是与每个观察值相对应的权重值。

注意，通过将权重值设定为特定于每个驾驶员的值，可以计算特定于每个驾驶员的觉醒度水平。作为权重值，例如，使用根据监视驾驶员的结果计算出的值。

注意，除了参考图10至图12描述的驾驶员的生成信息和操作信息之外，觉醒状态评估字典可以设定为包括图13中所示的数据。即，如图13中所示，

(A)由环境信息获取单元等获取的驾驶员视野聚焦目标的分布信息(显著性地图)

(B)添加了移动体判定的地图(添加了自行驶相关性判定的显著性地图)

可以具有包括这些数据的配置。

此外，如图13中所示，配置可以包括根据汽车工程师协会(SAE)的自动驾驶定义中的自动驾驶水平的可观察数据的定义。

作为觉醒状态评估字典的示例而被示出的图10至图12中的字典配置是数据结构的示例。与通过使用人工智能的驾驶切换质量相关联地通过自学习来自动或半自动地生成多变量相关关系，并且在系统的自学习计算允许的范围内执行自主学习，从而可以改善复合因素判定性能。可以在自我选择教师数据的同时进行学习，因为在自动驾驶中在每个切换事件处评估切换质量。仅通过在自动驾驶期间的切换时执行学习功能，在没有第三方的数据收集和标记的情况下实际上广泛地学习每个驾驶员的字典。稍后将描述细节。

[4.(第一实施例)用于基于驾驶员监视执行控制的实施例(SAE定义1级和2级的情况下的控制处理示例)]

接下来，作为由根据本公开的移动设备、该移动设备中包括的信息处理装置或与这些设备进行通信的服务器执行的处理的第一实施例，将描述用于基于驾驶员监视执行控制的实施例。

下面描述的第一实施例是在执行汽车工程师协会(SAE)的自动驾驶定义中的大约自动驾驶1级和2级的自动驾驶的情况下的控制处理示例。

在大约1级和2级的自动驾驶中，不允许驾驶员与驾驶转向回路完全分离，并仅允许部分分离。具体而言，驾驶员没有必要操作油门、制动器或方向盘，并且仅需要驾驶员在没有从方向盘放开手的情况下在发生突发事件时操作方向盘。然而，即使在这种状态下，驾驶员也有可能突然无法操作方向盘。在这种情况下，可以通过应用根据本公开的配置来防止事故。

如上所述，近年来，驾驶员的睡意和注意力的下降、由呼吸暂停综合症引起的睡意或诸如心脏病发作、脑梗塞等的突发疾病已经引起大量事故。根据该状况，努力通过监视驾驶员的状态来防止这些事故。具体而言，考虑将驾驶员监视系统安装到很有可能引起严重事故的大型车辆。本公开的配置使得可以实时获取汽车驾驶员的状态并在状态异常时立即执行最佳控制。具体而言，例如，在基于驾驶员状态的检测信息(监视信息)检测到使得驾驶员与正常转向控制分离的风险的情况下，执行用于紧急停车的控制，并防止严重事故。

基于可以从驾驶员获取的生命信号来判定驾驶员的状态。例如，使用对驾驶员的面部朝向和眼睛闭合的状态进行分析的PERCLOS(睁眼率)评估，用于根据驾驶员的心跳特性和呼吸信号等来判定状态的处理等等。

注意，关于所获取的生命信号，基于预定阈值适当地判定异常，并且并行执行添加了在诸如就时间而言从几分钟到几十分钟的时间范围内的转向操作特性变化的分析。然后，通过检测驾驶员的身体和功能异常并引起注意并紧急停车来防止事故。

在本实施例中，除了驾驶员的可观察生物信息之外，还获取驾驶员对车辆的转向、油门、制动器等的转向稳定性信息，分析这些信息的转变和相关性，并在立即和长期跨度上分析驾驶员的状态。长期分析信息用于估计驾驶员的精神状态。

将参考图14中所示的流程图来描述根据第一实施例的控制序列。如上所述，当使用自动驾驶1级和2级时，不允许驾驶员与驾驶转向回路完全分离。当使用自动驾驶2级时，例如，可能发生其中驾驶员需要开始手动驾驶的状况，诸如紧急情况。然而，存在驾驶员未处于可以执行正常手动驾驶的状态的情况。为了安全驾驶，有必要在确认驾驶员处于可以执行正常手动驾驶的状态之后将自动驾驶模式切换为手动驾驶模式。例如，对于用于判定驾驶员是否处于可以执行正常手动驾驶的状态的驾驶员状态判定处理，可以使用使驾驶员与转向工作分离的意识状态下降的观察信息。

注意，当使用不是完全自动驾驶的自动驾驶1级和2级时，或者当使用具有驾驶辅助系统的车辆时，驾驶员有必要至少操作方向盘、制动器等中的任何一个。因此，系统可以连续地监视要由驾驶员操作的设备的转向有效性，并且可以连续地判定驾驶员的意识状态。例如，当驾驶员正在使用使车辆在道路的特定车道中自动行驶的车道保持辅助系统时，驾驶员需要连续地至少控制油门和制动器。另外，在使用自动巡航控制(ACC)时，驾驶员需要控制方向盘。通过监视驾驶员的这些操作，可以连续地判定驾驶员的意识状态。

图14中所示的流程图是例如在执行使用SAE定义中的自动驾驶1级和2级或具有驾驶辅助系统的车辆的驾驶的情况下的控制处理序列。即，流程用于描述在汽车的行驶控制的一部分被自动控制并且行驶控制的一部分由驾驶员执行的情况下，具体而言例如在其中油门和制动器被自动控制并且自动控制和驾驶员的控制用于控制方向盘的驾驶的情况下的控制序列，该控制序列是驾驶员正在执行某个驾驶操作的状态下的控制序列。

将顺序地描述图14中所示的流程中的每个步骤中的处理。

注意，在对图14和随后的附图中的流程的描述中，流程中的每个步骤的处理由根据本公开的移动设备、该移动设备中包括的信息处理装置或与这些设备进行通信的服务器来执行。然而，在以下描述中，为了简化描述，将描述其中信息处理装置执行每个步骤中的处理的示例。

(步骤S101)

根据本公开的信息处理装置在步骤S101中监视驾驶员的状态。要监视的驾驶员状态包括驾驶员的生物信息、驾驶员对汽车的操作信息，例如方向盘的操作信息等。

这些监视驾驶员信息作为日志401而被顺序地存储在存储单元中。

(步骤S102)

接下来，在步骤S102中，信息处理装置基于所获取的日志和使用过去已经获取的学习数据的驾驶员的觉醒度(意识水平)来分析当前的驾驶员信息(生物信息和操作信息)。信息处理装置包括基于驾驶员状态信息的日志执行学习处理的学习处理单元(学习设备)，并且信息处理装置的存储单元存储作为学习结果而生成的学习数据字典。

在步骤S102中，信息处理装置基于已经通过过去的学习处理生成的与驾驶员相对应的学习数据字典来观察驾驶员的响应特性是否长期波动。

注意，当驾驶员开始驾驶汽车时，信息处理装置执行认证处理和个人辨识。信息处理装置将诸如与辨识出的驾驶员相对应的日志等的学习数据存储在存储单元中，并从存储单元获取与驾驶员相对应的学习数据字典。

在步骤S102中，基于根据诸如与驾驶员相对应的过去日志之类的学习数据生成的学习数据字典(即，与驾驶员相对应的觉醒状态评估字典)来观察驾驶者的响应特性是否长期波动。具体而言，例如，基于由特定于辨识出的驾驶员的动作学习设备创建的累积动作的学习数据字典来观察驾驶员的响应特性是否长期波动。注意，尽管上面描述了累积动作学习，但是可以简单地评估累积累计。通过根据状况执行累积分类，可以取决于分类的动作更准确地判定状态。例如，驾驶员的环境识别的动作特性根据状况而极大地改变，诸如日落时间的动作特性，午夜行驶的动作特性，根据由于连续行驶而引起的累积疲劳的动作特性，雨天的白天行驶的动作特性，夜间在市区中逆光行驶的动作特性，在弯曲道路上行驶的动作特性等等。

在这些分类动作学习中，可以通过使用现有的分类来进行学习。然而，实际上存在单独的驾驶员、各种行驶环境及其组合。通过基于系统的输入信息通过人工智能进行自分类学习，执行可以应用于各种状况的分类，以使得可以执行根据状况的优化，诸如特定于驾驶员的特性、车辆或装载货物的运动特性。

因为学习设备和字典在初始使用时没有足够的分类的实际值，因此难以通过使用学习设备和字典来进行判定。然而，随着使用时段延长，判定精度改善。之所以进行这些分类是因为可以表达和反映以下差异：由于驾驶员的年龄而引起的视力的差异、根据亮度环境的焦点调节能力的差异、根据负载的行驶时的慎重的差异或取决于过去的行驶经验的注意行驶的差异。因此，动作表现为个人特性。例如，在将由同一驾驶员进行的通勤时的私人车辆的驾驶与由特定驾驶员进行的大型货运车辆的驾驶进行比较的情况下，在转变为操纵为了商业而驾驶的大型牵引车之后，视线和操作特性被改变。在装载货物或此外耦合牵引车之后驾驶的周围确认操作、操作和制动起始点、距离等与未装载货物时的行驶转向特性极大不同。通过执行包括这些环境的状况分类类型学习，可以根据驾驶员的可观察评估值以高精度判定驾驶员的状态估计。当分类未完成或在不考虑车辆信息和环境条件的情况下将来自驾驶员的可观察生物信息的不同条件下的返回特性统一相加时，返回特性被广泛地分布，并且判定的准确性受到损害。

(步骤S103)

接下来，在步骤S103中，判定驾驶员的觉醒度(意识水平)是否下降。当未观察到觉醒度(意识水平)的下降时，过程返回到步骤S101以继续观察驾驶员的状态，并且重复步骤S101及其之后的处理。也就是说，随着时间过去的驾驶员状态日志被不断地获取并记录在存储单元中。

通过使用在步骤S102中获取的觉醒度(意识水平)的分析结果来执行用于判定驾驶员的觉醒度(意识水平)是否下降的处理。接下来，在步骤S102中，执行用于基于所获取的日志和使用过去已经获取的学习数据的驾驶员的觉醒度(意识水平)来分析当前驾驶员信息(生物信息和操作信息)的处理。学习处理单元(学习设备)执行用于根据分析结果生成字典(用于判定觉醒度(意识水平)的觉醒状态评估字典)并用于将该字典存储在存储单元中的处理，该字典登记了可以用来判定驾驶员的意识下降的阈值。注意，该字典特定于辨识出的驾驶员。在登记了用来判定与当前驾驶员相对应的意识下降的阈值的字典(觉醒状态评估字典)存在于存储单元中的情况下，基于在该字典中登记的阈值进行判定。然而，在与驾驶员相对应的字典不存在于存储单元中的情况下，通过使用在一般化字典中登记的判定阈值进行判定，该一般化字典是基于与大量驾驶员相对应的觉醒状态评估字典通过统计处理而生成的。

注意，在步骤S103中未观察到驾驶员的觉醒度(意识水平)的下降的情况下，继续步骤S101及其之后的处理，并且学习处理单元(学习设备)将此时的驾驶员的状态日志作为指示正常状态的正常时间处的教师数据L(T)402记录在存储单元中。

另一方面，在步骤S103中判定驾驶员的觉醒度(意识水平)下降的情况下，过程进入步骤S104。

(步骤S104)

在步骤S103中判定驾驶员的觉醒度(意识水平)下降的情况下，信息处理装置例如通过发出注意警告、对座椅施加触觉振动、向方向盘施加信号来向驾驶员发出通知，并且提示驾驶员返回到驾驶转向，以便在下一步骤S104中不使意识下降水平相对于当前时间的意识下降水平进一步下降。

当驾驶员的意识下降前进并且取决于包括本车辆的车道偏离警告等的高级驾驶辅助系统(ADAS)功能的临时行驶继续时，驾驶员不可能在临时行驶期间返回驾驶，并且ADAS的自动驾驶系统导致如下状况，该状况在没有有效操作者的状况下在自动驾驶系统超过自动转向的限制的情况下直接导致事故。因此，该状况极为危险。因此，在直到2级的系统中，有必要采取各种措施来防止驾驶员的意识下降。不需要限制用于防止驾驶员的意识下降和干预的方法。

(步骤S105)

此外，在步骤S105中，信息处理装置连续地观察驾驶员的意识下降水平(觉醒水平)，并且开始车辆减速处理和通过自动驾驶进行的驾驶控制强制终止处理。此外，可以执行惩罚发放处理。惩罚的原来目的不是向用户施加惩罚，并且惩罚是为了预先避免驾驶员接收惩罚而提供的功能。因此，逐渐施加惩罚是有效的。系统假设驾驶员的觉醒状态被判定，以允许或拒绝使用。例如，当用户设定对倾向于违反规则的驾驶员激活2级的跟随行驶设定时，发生风险，即驾驶员在觉醒因除跟随行驶以外的功能而下降的状态下无法应对使用。因此，在驾驶员的意识下降到一定水平的状态下拒绝使用是有用的。在判定时，通过增加用来判定驾驶员的觉醒度是足够还是不足的阈值，可以施加限制使用的惩罚。通过增加用来判定觉醒状态的阈值，限制了驾驶员的觉醒度(意识水平)下降的功能的使用。有各种措施来应对惩罚，该惩罚可能是对使用时的违反的惩罚。措施的示例包括：降低最大巡航速度，强制引导到服务区，限制车辆的使用，等等。

注意，SAE定义中的自动驾驶2级是驾驶员负责控制车辆的水平。在步骤S105中开始通过自动驾驶进行的驾驶控制强制终止处理的情况下，驾驶员需要控制车辆。即，驾驶员开始手动驾驶。

此外，在过程到达步骤S105的情况下，紧接该时间之前的驾驶员状态日志是指示驾驶员的觉醒度(意识水平)的下降的日志。因此，学习处理单元将该日志数据作为教师数据存储在存储单元中，该教师数据是意识下降的前兆数据，即异常时间处的教师数据L(F)403。

(步骤S106)

接下来，信息处理装置在步骤S106中分析在步骤S105中开始的手动驾驶的操作信息，验证驾驶员是否执行正常驾驶操作，并基于验证结果判定驾驶员的觉醒度(意识水平)状态是否处于驾驶员可以返回驾驶的水平。

在判定驾驶员的觉醒度(意识水平)状态处于驾驶员可以返回驾驶的水平的情况下，过程返回到步骤S101，并连续观察驾驶员状态的转变，并重复步骤S101及其之后的处理。另一方面，在判定驾驶员的觉醒度(意识水平)状态不处于驾驶员可以返回驾驶的水平的情况下，执行用于降低车速的处理和用于使车辆停止的处理，然后终止处理。

接下来，将参考图15中的流程图来描述由信息处理装置的学习处理单元执行的学习处理的序列。

信息处理装置的学习处理单元输入或生成这些数据

(a)在图14中所示的流程中的步骤S101中获取的日志401

(b)在步骤S103中的判定中判定为“否”的情况下获取的正常时间处的教师数据L(T)402

(c)在步骤S105中获取的异常时间处的教师数据L(F)403。

在流程中的步骤S101中获取的日志401包括：驾驶员的生物信息、驾驶员对汽车的操作信息，例如，包括方向盘操作信息等的驾驶员状态信息(监视驾驶员信息)。

另外，在步骤S103的判定中判定为“否”的情况下获取的正常时间处的教师数据L(T)402是由学习处理单元记录在存储单元中的此时的驾驶员状态日志的数据，作为指示在步骤S103中未观察到驾驶员的觉醒度(意识水平)的下降的情况下的正常状态的正常时间处的教师数据L(T)402。

此外，在步骤S103中观察到驾驶员的觉醒度(意识水平)的下降并且过程进入步骤S105的情况下，在步骤S105中获取的异常时间处的教师数据L(F)403是这样的数据，其中紧接在步骤S105之前的驾驶员状态日志被确定为指示驾驶员的觉醒度(意识水平)的下降的日志，并且学习处理单元将日志数据作为教师数据(其是意识下降的前兆数据，即，异常时间处的教师数据L(F)403)存储在存储单元中。

学习处理单元通过使用这些数据来执行根据图15中所示的流程的处理，并且执行用于更新在图15中的流程结束时指示的觉醒状态评估字典200的处理。

觉醒状态评估字典200是用于判定驾驶员的觉醒度(意识水平)的下降程度的字典。

将描述图15中的流程中的每个步骤中的处理。

(步骤S141)

信息处理装置的学习处理单元(学习设备)首先在步骤S141中判定在图14的流程中的步骤S101中获取的日志401类似于已经在过去的学习处理中生成并存储存储单元中的正常时间处的教师数据(L(T))和异常时间处的教师数据(L(F))中的哪一个，并基于日志数据转变来判定驾驶员是否处于正常手动驾驶可返回范围内。

例如，如下执行用于基于日志数据转变来判定驾驶员是否处于正常手动驾驶可返回范围内的处理。

当指示当前驾驶员状态的日志数据接近于已经在过去的学习处理中生成的正常时间处的教师数据(L(T))时，判定驾驶员处于正常手动驾驶可返回范围内。

另一方面，如果指示当前驾驶员状态的日志数据接近于已经在过去的学习处理中生成的异常时间处的教师数据(L(F))，则判定驾驶员不在正常手动驾驶可返回范围内。

(步骤S142)

接下来，在步骤S142中，信息处理装置的学习处理单元(学习设备)分析日志数据与过去的历史数据之间的差异(移位波动)，并更新与驾驶员相对应的判定字典，即，觉醒状态评估字典200。

具体而言，步骤S141和S142中的处理例如执行以下处理。

在步骤S141中，执行分类处理，该分类处理表明指示驾驶员状态的日志数据接近于指示觉醒度(意识水平)未下降时的先前觉醒状态的正常时间处的教师数据(L(T))，或者接近于指示作为觉醒度(意识水平)下降的状态的觉醒下降时的先前状态的异常时间处的教师数据(L(F))。

在步骤S142中，通过使用步骤S141中的分类结果，执行用于更新判定字典(即，觉醒状态评估字典200)的处理，该判定字典具有指示特定于驾驶员的觉醒度(意识水平)的下降风险(＝觉醒下降风险)的数据。

通过执行步骤S141和S142中的处理，创建了基于重复学习来反映个体特性的字典。例如，生成了反映在状态稳定时间特定于驾驶员的行为特性的日志的学习字典(觉醒状态评估字典)。通过应用该字典，可以在上面参考图14描述的步骤S102中基于特定于驾驶员的长期波动来执行分析。例如，在驾驶员的由于诸如植物神经性共济失调之类的神经失调而发生的反射特性延迟的情况下，可以通过构建通过使用个体特性生成的详细行为字典来将延迟检测为长期行为波动。

以这种方式，从确定根据条件进行分类的状态以及观察针对每个类别观察到的长期状态变化，在本实施例的示例中，可以观察到由驾驶员的实际交感神经和副交感神经之间的不平衡引起的反射响应的延迟，并且可以将该延迟转换为用户的反射指数。

在本实施例中，通过在观察到觉醒度的下降时将驾驶员的监视历史和返回质量相关联并且进行区间分类学习，可以基于驾驶员的个体特性来分析详细的状态区间。然后，通过重复使用车辆来累积地学习驾驶员特性，字典数据被温习和更新。利用该更新，增加了图14中的流程的步骤S102中的判定的准确性，并且可以捕获长期行为波动。

通常，在成为植物神经性共济失调之前，交感神经和副交感神经之间的不平衡开始影响知觉判断反射反应。因此，在识别和判定感知到的信息之前的处理被延迟，并且不稳定的操作(诸如方向盘的转动宽度的增大等)增加，以便恢复转向的犹豫或转向的延迟。结果，可以检测转向感的调制。

在根据本公开的设备中，通过具有用于分析驾驶员的详细眼球行为的功能，可以观察跳视、微跳视、注视和漂移，并且可以根据行为转变直接观察驾驶员的大脑中的知觉反应。具体而言，即使在车辆的主要使用频率大约为1级或2级的行驶区间中，即使在安装了假设3级或4级的行驶的驾驶员状态观察和识别设备并在社会中的各种环境中执行自动驾驶的时候，被设计为假设在其中维持环境的高速公路上进行更高水平的行驶的车辆也可以提供在自动驾驶水平为1级或2级的使用环境中充分有效的驾驶员精神状态观察单元。

以这种方式，根据本公开的信息处理装置的数据处理单元分析驾驶员的眼球或瞳孔中的至少一种的行为，通过应用行为分析结果和已经预先生成的并特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，并进一步计算驾驶员的知觉传送指数。作为对眼球行为的分析，例如，包括对跳视、微跳视、漂移、注视等的分析。在这里，知觉传送指数是指示从影响驾驶员的视觉认知判断的可观察评估值获得的精神状态的评估值。

[5.(第二实施例)用于基于驾驶员监视执行控制的实施例(SAE定义为3级或更高的情况下的控制处理示例)]

接下来，作为由根据本公开的移动设备、该移动设备中包括的信息处理装置或与这些设备进行通信的服务器执行的处理的第一实施例，将描述用于基于驾驶员监视执行控制的实施例。

下面描述的第一实施例是在执行汽车工程师协会(SAE)的自动驾驶定义中的大约自动驾驶3级或以上的自动驾驶的情况下的控制处理示例。

在自动驾驶3级或以上的自动驾驶中，驾驶员可以与几乎所有驾驶操作分离。例如，在4级的行驶可能区间中，驾驶员可以小睡。

然而，在其中需要驾驶员返回驾驶工作的区间或者有可能由于在进入区间之前未预料到的意外事件而在路线上产生该区间的情况下，存在驾驶员无法应对该情况的情况。例如，在即使当警告(警报)被输出时驾驶员也未注意到该警告(警报)并且驾驶员由于驾驶员的突发疾病的发生而无法返回手动驾驶的情况下，系统无法通过使用自动转向来应对该情况，并且这导致事故。下面描述的实施例是可以通过持续监视驾驶员的状态来预先防止发生这种事故的实施例。

以这种方式，在3级的行驶可能区间中允许在持续性注意下的自动驾驶行驶。另外，通过在4级的行驶可能区间中进行完全自动驾驶行驶，在行驶中允许降低对驾驶的注意力。然而，实际上，在3级的自动驾驶行驶时，考虑到人的精神动作特性，认为在人不工作的状态(例如，不驾驶、不读书等的状态)下难以维持注意力。因此，预计到在3级的自动驾驶行驶中驾驶员的注意力降低或驾驶员感到睡意。另外，当不需要应对的事件继续时，知觉认知的视神经反应在认知机制中学习状态，因此，在长期使用期间引起注意力的降低。因此，预测到诸如监视周围状况的效果的降低和感知水平的下降之类的不利影响。因此，可以说3级的自动驾驶行驶不是供人连续使用的适当使用形式。

结果，在其中间歇地设置4级的自动驾驶行驶可能区间的环境中，期望在4级的自动驾驶行驶可能区间之间的短区间中使用3级的自动驾驶行驶。之所以间歇地设置4级的自动驾驶行驶可能区间是因为4级的自动驾驶的连续使用需要基础设施和环境改善。在作为行驶环境的其中4级区间和3级区间彼此稀疏地连接的环境中，假设一种操作形式，其中在中间产生其中需要需要对驾驶的注意力的行驶的区间，在3级或更低发出驾驶员返回请求，并且驾驶员适当地返回驾驶。然后，系统需要自动判定驾驶员的觉醒度已适当地返回，即，认知和判断和应对动作已返回到驾驶员所需的觉醒水平。然后，直到驾驶员在接收到通知或警告之后可以在转向座椅上实际执行转向为止，需要特定于驾驶员的返回延迟时间。在取决于驾驶员的觉醒水平估计在驾驶员的返回之前的时间延迟时间之后，系统需要在估计的时间之前发出通知或警告。此外，系统需要掌握觉醒水平和返回序列的特性。因为驾驶员未明确指示觉醒水平和返回序列的特性，因此系统需要估计觉醒水平和返回序列的特性。如稍后将详细描述的，估计处理的有力候选是眼球或瞳孔的行为分析。

系统难以直接观察大脑中的知觉判断和应对动作。然而，外部世界认知和判断等的信息获取所需的附加视觉信息搜索出现在眼球的行为中。因此，观察到基于从详细观察到认知和判断的信息传送回路的响应，即，能够获取信息以理解大脑(大脑的视觉皮层)中的信息的眼球行为响应。另一方面，从眼球的行为观察大脑中的认知和判断活动意味着观察大脑中的神经传送特性的部分反射结果。作为眼球行为观察的附带，可以估计大脑中的感知所需的神经传送特性。尽管难以进行绝对评估，但是可以通过眼球行为的时间变化来检测神经传送的活动程度的转变。

结果，可以获取由驾驶员的植物神经的不平衡引起的响应反射反应的降低。具体而言，由于通过使用自动驾驶频繁观察驾驶员，因此可以长时间连续地收集信息而驾驶员没有意识，并且可以检测驾驶员状态的波动。因此，期望从精神健康监视的观点进行使用。

注意，将简要描述驾驶员的眼球行为。当人认知环境时的眼球行为，为了有效地进行感知和认知，例如，基于在周边视野中捕获的信息将视线移向要聚焦的方向，顺序地进行基于过去经验的记忆和来自视觉的信息的参考/搜索，并获得作为物体/状况识别的固定判断。此时，重复所需的下一个搜索。作为眼球对搜索视觉信息的响应，可以观察到大脑中的判断过程中的部分响应。通常，在自动驾驶被广泛使用并且驾驶员临时且完全与驾驶转向回路分离之后驾驶员从驾驶员不驾驶并且小睡或者观看视频的状况返回到转向的情况下，驾驶员需要返回到感知、认知和动作判断，而不是返回到驾驶员在做梦的状态。因此，知道在大脑中做出动作判断的外部观察有力单元包括眼球行为分析。将在下面描述细节。

眼球的移动不是眼球本身的行为，也不是由对视觉信息的局部反射引起的行为。即，通过分层次地顺序执行完成大脑中的判断所需的补充信息搜索，一眼瞬时做出判断。然而，在综合轮廓判断之后，将通过中央视野顺序进行做出确定认知的局部搜索。然后，当参考记忆完成判断时，搜索终止。即，过程进行到跳视操作，该跳视操作根据在行为功能知觉判断之前已做出的通过周边视野做出的风险判断使中央视野立即转向周边亮度变化部分，并且过程接下来当中央视野在通过跳视操作进行转向时捕获到目标时进行到注视性眼动，该注视性眼动促进对在中央视野中捕获的信息的理解。然而，在不经由认知操作的情况下促进对在中央视野中捕获的目标的理解的注视眼动是稀疏的，或者变成与对象无关的操作，并且该行为变成向侧面的一瞥。

也就是说，通过将驾驶员的眼球的详细行为用作驾驶员状态的观察单元，可以观察驾驶员大脑中的知觉反应的一方面。具体而言，眼球的行为使中央视野转向信息不足的部分，该部分对于作为人类认知功能的状况识别而言是不足的，并且识别由中央视野捕获的详细图像信息所需的详细特性被掌握。然后，按照参考大脑中的用户体验信息做出判断的顺序，视线反复移动到接下来要识别的具有更高优先级的事件。

在这些认知动作中，根据称为跳视的用于进行高速旋转移动的步骤以及在注视时间中用户的大脑中的认知和知觉判断(其中视线被引导并且详细的搜索被进行)，出现特定行为。注意，已经在医学上定义的注视(注视)是因为眼球在综合观察中被观察为固定到特定方向而被定义的术语。然而，实际上，已经知道眼球围绕该方向以高速执行轻微和精细的波动搜索。

如上面参考图8所述，在通过跳视将视线转向新搜索之后，在视线转向用于信息补充的目标之后所指示的周边方向上观察到的眼球的不稳定行为被称为微跳视。另外，当不执行特定信息附加搜索时，该行为变成作为简单漂移的一瞥行为。注意，关于在注视时出现的微跳视，当通过视觉信息的传送中的到顶叶联合皮层的背侧视觉路径以及到颞联合皮层的腹侧视觉路径的传送被改变时，知觉判断受到影响。

这样，大脑中的活动状况直接影响眼球的详细行为特性。因此，可以通过对眼球行为进行详细分析来了解知觉活动状态。注意，本实施例仅是简化模型的描述，因为本实施例的目的不是描述大脑中的知觉功能。当用户的意识下降时，即使当视线指向目标时，关于内容的状况判断也会稍微延迟。结果，眼球的行为特性根据觉醒状态而改变。然而，作为如上所述参考驾驶员的记忆来进行判断的结果，判断在很大程度上取决于过去经验的记忆以及支配驾驶员个人记忆的无意识记忆。结果，详细的行为表现为特定于驾驶员的特性。因此，存在这样一方面，即除非将详细行为假设为个体特性来进行学习评估，否则无法以高精度进行内部觉醒判定。因此，将描述与自动驾驶的驾驶员手动驾驶返回判断单元有关的实施例的细节，并且使用对在以上处理中获取的驾驶员的眼球行为特性的详细分析，以评估驾驶员的交感神经和副交感神经等之间的不平衡。因此，该结果可以用作关于驾驶员的精神健康的筛查指数或关于精神疾病的筛查指数。

例如，在SAE定义中称为3级的自动驾驶行驶(几乎不需要驾驶员操作的自动驾驶行驶)的中间驾驶员需要开始手动驾驶的情况下，驾驶员需要返回到觉醒状态，在该觉醒状态下，驾驶员可以使用操作能力，驾驶员可以用该操作能力安全地进行手动驾驶行驶。如果系统无法识别恢复状态，则不保证在行驶路线(旅程)上的安全行驶，在该行驶路线中，可以执行自动驾驶的区间以及在驾驶员的监视下进行手动驾驶和自动驾驶的区间(所谓的3级对应区间)被混合。这是不期望的。

当驾驶员将自动行驶转为手动行驶时，期望在不降低速度且不停止的情况下将自动行驶无缝地切换为手动行驶。用于使车辆频繁停止并等待驾驶员自愿返回的处理对于在该车辆周围行驶的其它车辆而言是烦人的，并导致交通拥塞和事故。这造成不便。因此，可以说，用于确定行驶期间到手动驾驶的返回能力的单元(即，连续地评估觉醒度的配置)是至关重要的技术。

在下面将描述的第二实施例中，基本上执行符合上述第一实施例的特定于驾驶员的学习，并且观察驾驶员的状态。然而，在具有包括使用自动驾驶3级或以上的驾驶模式的车辆中，引起这样一种状况，其中驾驶员与驾驶转向完全分离并且系统无法直接观察驾驶员的设备转向能力。即，因为无法观察驾驶员对方向盘和踏板的转向，所以在至少一部分阶段中需要被动观察。作为被动观察之一，使用了驾驶员的眼球行为分析。

将简要描述需要这种处理的背景。

即使将自动驾驶引入现实世界，车辆暂时也难以在各种环境条件下在没有人进行转向的情况下以与常规手动驾驶行驶车辆的速度相同的速度在不同的两点之间移动，其中，车辆可以通过使用通过人工智能的环境识别和判断能力来行驶。因此，通过改善道路基础设施进行没有人为干预的行驶区间的引入被认为是现实的引入过程，在该道路基础设施上可以在没有人为干预的情况下执行通过自动驾驶系统的行驶。另一方面，已经习惯使用的本车辆的形式具有这样的优点，即，尽管在连续连接道路环境的情况下车辆有时会绕行，但是车辆可以沿道路从任何起点移动到目的地。即，认为维持了道路环境，在该道路环境中，车辆可以在没有人为干预的情况下自动行驶的区间和需要人为干预的区间被混合，并且驾驶员在该混合区间中通过在必要时返回驾驶来行驶通过行驶区间。

该想法同样似乎是正当的。然而，简单引入该想法的情况有一个隐患。即，在该机制中未考虑人类动作模式。如上所述，在长期使用自动驾驶区间的驾驶员与驾驶转向回路完全分离并且思维活动与驾驶转向完全分离的情况下，即使当要求驾驶员从自动驾驶返回到手动驾驶或介于中间的驾驶时，驾驶员也有可能无法识别该请求。在最初引入自动驾驶时，认为意识与驾驶转向回路的较大分离是罕见的，这是因为用户难以置信地使用自动驾驶系统。然而，当驾驶员习惯于自动驾驶时，驾驶员有可能错过指示驾驶员需要从自动驾驶返回到手动驾驶的标志。另外，可能发生驾驶员甚至没有意识到返回需要的情况。提出了一种方法，该方法在有错过返回手动驾驶的指令的驾驶员的情况下执行用于紧急停车、减速、放慢和撤离车辆的处理。然而，这种停止处理的频率在一般的道路基础设施上增加，发生拥塞，并且有可能导致社会基础设施功能和经济活动的失败。

回到主题，为了充分利用预计在将来广泛引入的自动驾驶的益处，在准备可以执行自动驾驶的道路和维护环境的同时，在难以实现道路准备和环境维护的区间或地点需要使驾驶员返回安全手动驾驶。

在这种情况下，在车辆从自动驾驶行驶区间进入手动驾驶行驶区间之前，有必要判定驾驶员是否可以返回手动驾驶。也就是说，要求持续地监视驾驶员的状态并且驾驶员的觉醒度在手动驾驶开始定时达到预定的觉醒度。为了实现以上，系统需要观察驾驶员的状态。另外，由于实际的切换工作，可以观察到指示实际切换成功与否以及切换质量(在成功切换时驾驶员状态的程度)的结果。可以收集对和与驾驶员相关联的觉醒度有关的可观察评估值、切换成功与否以及诸如切换返回延迟时间之类的切换质量等的观察作为累积数据，并且系统可以通过对每次发生事件时添加的数据执行相关学习来估计准确的通知定时和觉醒(警告发出)定时。稍后将描述定时估计的细节。另一方面，可以通过将从对驾驶员状态的观察获得的可观察评估值与在每次观察时发生的切换工作的切换成功质量相关联、对可观察评估值的中长期波动进行自学习以及分析时间变化的转变来获得心理健康指数。具体而言，在与正常时间相比持续地观察驾驶员的心理健康指数的持续变化的情况下，极有可能发生交感神经与副交感神经之间的不平衡。认为风险增加，以使得状态的持续使植物神经性共济失调、抑郁等严重。在交感神经与副交感神经之间的不平衡的初始阶段的主观症状是未知的，并且通常在许多情况下，在不平衡变得严重时在医学检查之后发现疾病条件。因此，在大多数情况下，在诊断时，需要强加负担的长期治疗。

这里，当如上所述使用自动驾驶时，持续地观察驾驶员，以便根据控制驾驶员的视觉认知判断的视神经反应的行为特性来估计驾驶员的返回延迟时间。然后，可以从观察结果二次地获得受交感神经和副交感神经之间的不平衡影响的响应特性。该指数与要提供的技术有关。具体而言，可以以高精度计算该指数的技术机制是具有在使用自动驾驶时切换到手动驾驶时使用的返回时间估计器作为核心的部分。将参考图16和后续附图中的流程图来描述该机制。

图16中所示的流程图例如是在SAE定义中的自动驾驶3级以上的水平执行自动驾驶的情况下的控制处理序列。即，该流程用于描述在车辆在驾驶员可以与几乎所有驾驶操作分离的状态下行驶的情况下的控制序列，即，在无法从驾驶员获取驾驶操作信息的情况下的控制序列。

将顺序地描述图16中所示的流程中的每个步骤中的处理。

注意，在对图16和后续附图中的流程的描述中，流程中的每个步骤中的处理由根据本公开的移动设备、该移动设备中包括的信息处理装置或与这些设备进行通信的服务器来执行。然而，在以下描述中，为了简化描述，将描述其中信息处理装置执行每个步骤中的处理的示例。当使用具有自动驾驶行驶模式的车辆时，系统持续地观察驾驶员的行为特性，状态被识别。行为特性的历史被学习为特定于驾驶员的行为特性信息，并且行为特性在字典中被看作是个体特性。

注意，在图16中所示的流程中，在不需要从自动驾驶切换为手动驾驶的情况下，持续地执行步骤S201和S202的循环。然而，例如，在由于外部因素变化等而需要将自动驾驶切换为手动驾驶的情况下，例如，在接收到事件触发的情况下，依据该变化在步骤S202中判定是否开始切换。注意，为了识别在循环中发生变化时的序列转变，在时刻t(n)在步骤S201中观察到驾驶员的状态信息(生物信息)之后并且在未开始步骤S202中切换开始序列时假设将持续观察驾驶员状态的时刻设定为t(n+1)，并且过程返回到步骤S201。

当假设需要从自动驾驶切换为手动驾驶的时候的到达时间是t(ToR_point)(接管请求点)并且计算出的为了以预定切换成功率请求恢复率(RRR)执行回到到达时间的切换的切换预算是Δt最小转变预算时间(MTBT)时，即使在时刻t(n+1)时的观察结果不变的情况下，也要求在到达ToR点的预测时间t(ToR_point)之前{t(ToR_point)-Δt最小转变预算时间(MTBT)}前发出切换通知或警告。因此，当在比时刻t(n)晚Δt的时刻t(n+1)处满足{t(n+1)-{t(ToR_point)-Δt最小转变预算时间(MTBT)}}<0时，过程在时刻t(n)处转移到通知和警告发放过程。

简而言之，在掌握驾驶员状态的监视周期时段内，在可以实现由道路环境提供的局部动态地图(LDM)数据确定的RRR的最小切换延迟允许预算时间比监视周期时段长之前，需要在该时段之前观察到的返回延迟时间发放切换通知或觉醒警告。

将描述图16中所示的流程中的每个步骤中的处理。

(步骤S201)

在步骤S201中，信息处理装置开始持续观察驾驶员的可观察生物信息，并且通过参考记录过去历史的字典，来估计从接收到来自系统的根据驾驶员的可观察评估值预测的通知或觉醒警告到返回手动驾驶所需的特定于驾驶员的切换成功之前的延迟时间分布。

将参考图17描述可观察评估值与返回延迟时间(＝手动驾驶可返回时间)之间的对应关系。图17(a)示出了在对应于观察值的可观察评估值与返回延迟时间(＝手动驾驶可返回时间)之间的多条关系信息(观察图)的分布的示例。该示例对应于某个驾驶员的次要任务类型。为了根据多条关系信息(观察图)来计算返回延迟时间，在与所获取的观察值相对应的评估值方向上具有一定宽度的区域(由虚线矩形框指示)中的关系信息(观察图)被提取。图17(a)中的虚线c指示当通过使用不同驾驶员的观察值而使图17(b)中的返回成功率是0.95时的返回延迟时间的边界线。

通过以比虚线c更长的时间(即，早期延长时间)向驾驶员发出从自动驾驶返回到手动驾驶的通知或警告，在该区域中确保驾驶员从自动驾驶到手动驾驶的等于或高于0.95的返回成功率。注意，驾驶员从自动驾驶正常返回到手动驾驶的目标值(请求恢复率)由道路侧例如基于基础设施的必要性来确定，并被提供给经过该区间的单独车辆。

注意，在即使当车辆停在行驶道路上时车辆也不妨碍周围环境的情况下，仅要求使车辆停止并将速度降低到系统可以应对的速度。通常，在行驶道路上停车在许多情况下不是可取的。因此，期望将高返回率设定为默认设定。存在这样一种情况，其中在特定路线(特别是大都会高速公路等)中，即使未从基础设施给出更新信息，也默认要求很高的返回成功率。

图17(b)示出了通过使用所提取的多条关系信息(观察图)获得的返回延迟时间与返回成功率之间的关系。这里，曲线a指示在每个返回延迟时间的独立成功率，并且曲线b指示在每个返回延迟时间的累积成功率。在这种情况下，基于曲线b，计算返回延迟时间t1以使得成功率是预定率，即，在所示示例中为0.95。

图18是用于说明在驾驶员与驾驶转向工作分离的状态下根据驾驶员在自动驾驶模式下执行的处理(次要任务)的类型的手动驾驶可返回时间的图。

每个分布轮廓对应于基于观察值预测的曲线a，即，图17(b)中所示的驾驶员状态。即，为了完成以必要的返回率从自动驾驶到手动驾驶的切换，参考驾驶员从可以用来评估在每个阶段检测到的驾驶员觉醒度的观察值返回所必需的过去的特性，基于轮廓(图17(b)中的返回成功率轮廓)是期望值的时刻t1，进行监视直到切换完成为止，无论驾驶员的状态在每个返回阶段是否达到实际返回所需的状态。

例如，小睡情况下的初始曲线是在根据在自动驾驶中的小睡期间被动监视的诸如呼吸、脉搏波等的观察信息估计睡眠水平并发出觉醒警告之后驾驶员的返回延迟特性的累积平均分布。每个分布都是根据在驾驶员醒来后的移动返回过程中观察到的驾驶员状态来确定的。观察到图18中所示的“6.在小睡的情况下”，并且确定了觉醒警告及时的正确定时。该过程中间的后续处理是根据预测中间点处的可观察的驾驶员状态评估值预测的返回预算中的返回时间分布。

在途中，继续进行观察以使得不违反直到切换为止顺序地减小的剩余切换时限，并且在存在违反风险的情况下，降低速度，并生成时间延长。注意，例如，“6.在小睡的情况下”，在没有“5.坐着”的步骤的情况下从“4.非驾驶姿势非常规旋转坐着”开始的返回时的分布中，返回处理从初始状况识别开始。因此，即使姿势与作为从“6.在小睡的情况下”开始的处理的中间状态的“4.非驾驶姿势非常规旋转坐着”相同，思考过程也处于返回意识过程的中间。在处理从一开始从“4.非驾驶姿势非常规旋转坐着”中的姿势的状况识别开始的情况下，需要时间来识别状况。

注意，存在这样一种情况，其中可观察评估值与当前正在驾驶的驾驶员的返回延迟时间之间的关系信息未被充分地累积在存储单元中。在这种情况下，可以通过例如使用基于已经作为返回的预期分布信息预先存储在存储单元中的从相同年龄的驾驶员收集的信息而生成的返回特性信息来计算返回延迟时间t1。在返回信息中，尚未充分学习特定于驾驶员的特性。因此，可以基于该信息使用相同的返回率，或者可以设定更高的返回成功率。注意，因为不习惯的用户在人体工程学上更加谨慎，因此预计到在使用初期的提前返回。当用户习惯于使用时，驾驶员根据来自系统的通知来适应动作。注意，在运营大量车辆的物流业、公共汽车和出租车业以及此外的共享汽车和租赁自行车中使用不同的车辆的情况下，对驾驶员进行认证，并且通过远程服务器等集中地或分散地管理和学习驾驶的可观察信息和返回特性。单独车辆不一定保持返回特性的数据，并且可以远程地执行学习处理或保持数据。

另外，由于发出对从自动驾驶到手动驾驶的切换的必要性的通知的通知定时很重要，因此将返回成功率描述为达到统一成功为止的时间。然而，可以进一步进行扩展到返回切换质量的确定，而不将成功限制为包括自动驾驶和手动驾驶的二进制成功。即，还可以将在允许的时间内的返回(诸如在实际确认返回之前的返回过程转变的延迟时间、相对于通知的返回开始延迟、在返回操作中间的停止等)作为返回质量评估值进一步输入到学习设备。

注意，在步骤S201中获取的监视信息(驾驶员状态信息)是驾驶员的生物信息，并且监视驾驶员信息被顺序地存储在存储单元中作为日志421。此外，该日志信息被存储在存储单元中作为平常时间处教师数据L(N)422。

没有必要将在步骤S201中取得的驾驶员的可观察评估值限制为特定生物信息的观察值。存在作为驾驶员的觉醒指数的多个评估值，诸如心率、心率变异性、血流量、血流量波动、皮肤电活动、瞳孔亮度响应特性、睁眼时间、闭眼行为特性、跳视、注视、微跳视、呼吸波动、血压、脑电波、眼电位、呼吸、面部表情评估、头部方向、行为、手势、姿势评估、姿势波动的行为评估、主动手势响应特性、坐姿波动、转向设备设定稳定性评估等。通过使用这些方法中的至少任一种或多种方法来评估驾驶员的状态。另外，同时，同时获取眼球的详细行为的日志。

与参考图14中的流程描述的第一实施例中的自动驾驶1级至2的使用的情况的主要差异在于未获取驾驶员的操作信息。在3级或更高的自动驾驶中，允许驾驶员与转向回路完全分离。因此，无法获取驾驶员的操作信息。在这种状态下，信息处理装置无法持续地获取驾驶员的响应反应。信息处理装置需要仅根据生物信息来识别驾驶员返回驾驶所需的时间(＝在安全手动驾驶的开始之前的时间)。然而，在驾驶员通过使用可穿戴终端、移动设备等定期反馈响应于识别出来自系统的通知的反应的情况下，存在其中使用驾驶员的响应反应的使用形式。

该系统(信息处理装置)需要用于在判断返回驾驶的觉醒度之前的阶段已经识别出驾驶员的简单状态和状态的过程。即，引起对返回的关注的定时取决于诸如驾驶员正在睡觉或未就座之类的状况而不同。系统需要在适当的返回定时发出通知和警告。这是因为，在系统比实际切换所需的时间点早得多地发出通知的情况下，从通知到开始执行实际返回工作的时间的必然性下降。在即使驾驶员没有迅速开始返回也有足够时间的定时发出通知，该通知被视为“喊狼来了”通知，并且用户轻视该通知(早期动作的重要性)。然而，如果在该点之前立即发出通知，则驾驶员有可能未能及时应对该通知。因此，为了实现大量车辆的长期稳定使用，需要从人体工程学的观点根据驾驶员的状态和车辆的控制特性来优化通知定时。为了找到该定时，有必要持续监视驾驶员。对中长期观察有效的生命信号组包括：心率、心率变异性、血流量、血流量波动、皮肤电活动、瞳孔亮度响应特性、睁眼时间、闭眼行为特性、呼吸波动、血压、脑电波、眼电位、呼吸、面部表情评估、头部方向、行为、手势、姿势评估、姿势波动的行为评估、主动手势响应特性、就座姿势波动、转向设备转向稳定性评估(进行转向的情况)等等。然后，由于持续地监视通过持续监视进行优化的定时，因此基于该信息向驾驶员发出返回通知，并且从通知的时间开始驾驶员从次要任务返回。

此外，与上面参考图14描述的第一实施例(自动驾驶1级和2级)在很大程度上不同的主要特性是：有必要确定驾驶员从与驾驶完全分离的状态返回到驾驶所需的意识状态的返回水平。具体而言，系统需要在不直接查看状况的情况下确定大脑中的状况。大脑中的状况指示由于小睡等而处于做梦状态的驾驶员多么准确地识别大脑中的思维活动和行驶车辆前方的现实世界中的状况，从而返回到驾驶。因此，尽管难以直接观察驾驶员大脑中的活动状况，但是眼球的详细行为特性反映了大脑中的活动状况的一部分并且是用于从外部间接观察活动的几个手段。

将视觉信息用作活动所需的信息获取单元的人移动眼球、头部和身体以向通过周边视野捕获的方向补充详细的判断信息作为生存所必需的机制，然后转变为注视状态，其中信息被补充以便通过中央视野理解视觉信息。此外，当完成对内容的智能理解时，视线转移以获取下一信息。通过在无意识地将视觉信息与过去的知识进行比较并综合判断视觉信息和一定判断记忆时进行判断来完成判断。此时判断的触发终止了作为详细信息补充的注视性眼动的活动，并且过程转移到下一信息搜索。

也就是说，搜索旨在从随着驾驶员大脑中的活动而前进的视觉信息(特别是通过中央视野通过重复注视性眼动而获得的详细局部信息的个体信息积累)继续进行到当判断确定时进行的参考大脑中的有经验的记忆信息的判断。结果，交感神经与副交感神经之间的不平衡直接影响到作为注视性眼动的用于搜索的眼球行为，并且提高了判断作用。这里，当驾驶员基于驾驶返回指令开始返回座椅并执行转向时，假设在最终且在视觉上确认前方道路状况至少一次并且通过更直观的视觉感受获取信息之后检查仪表。

换句话说，作为切换过程的一部分的使用驾驶时的个体视觉的信息和特性识别工作是作为眼镜的行为通过没有约束力并且与外部分离的设备对驾驶员的观察。因此，可以间接观察驾驶员大脑中的感知活动的一部分。

根据本实施例，分类器(分类单元)可以将观察值识别为个体特性，并通过对驾驶员的实际可观察值、每种状况下的观察、作为观察状态下的切换的结果而被进一步观察到的驾驶可返回水平之间的相关性进行自学习来进行自完成学习。因为通过车辆的使用来持续执行学习处理，所以可以获取驾驶员在正常时间处的响应特性，并且可以在响应特性改变时进行观察。通过长期监视以可分类的驾驶员的行为特性，可以捕获响应变化特性，并二次地计算不平衡指数。

注意，在传统的驾驶员监视系统中，觉醒下降是驾驶员状态观察中的观察目标。取决于行为特性和在取决于行为进行切换时(即，在觉醒下降的初始时间)的切换质量来停止观察。因此，不需要基于包括觉醒下降的范围的觉醒度质量的详细分类处理。因此，行为特性的变化具有可以分类的可观察值的窄波动宽度，并且仅是观察变化宽度。

在根据本公开的处理中，在步骤S201中获取的生物信息被保持在诸如记录介质之类的存储器中一定时间段。如果驾驶员处于觉醒状态，则保持时间最长可能约为几分钟。然而，在觉醒水平下降的情况下，与短期记录分开保持更长时间的转变历史，以便评估返回延迟时间的长期转变。当转变历史被保存时，不断地记录一定时间段的重复记录，持续取得一定时间段的记录。然后，在状态改变的情况下，提取该时间之前的记录并将其保存为一系列的生物可观察记录日志，此后执行与切换质量相关联的学习处理，以使得可以获得生物可观察变化转变与驾驶员的觉醒和反射水平之间的相关性。

(步骤S202)

接下来，信息处理装置在步骤S202中执行从自动驾驶到手动驾驶的切换的必要性判定以及安全切换可能性判定处理。

参考在步骤S201a中生成的接管请求所请求的时间(TOR切换请求信息＝在从自动驾驶切换为手动驾驶之前请求的时间)来执行该判定处理。

将接管请求所请求的时间(TOR切换请求信息)与返回必要性宽限时间内的剩余预算进行比较，并执行步骤S202中的判定处理。

步骤S202中的处理是针对关于随着行驶进行或时间过去而接连出现的切换点(从自动驾驶到手动驾驶的切换点)的通知、在以上通知之前的通知、觉醒警告点的审查、接近点的审查等而执行的。注意，通知点和觉醒警告点是根据驾驶员的观察状态发出通知或系统发出觉醒警告的定时。

通知定时是在基于以上公式确定的时刻t(n+1)处

{t(n+1)-{t(ToR_point)-Δt最小转变预算时间(MTBT)}}<0。通知定时是在系统基于驾驶员返回特性的学习结果而在计算定时之后发出通知或觉醒警告的情况下，可以确保直到驾驶员可以正常返回到手动驾驶为止的返回转变时间的剩余时间预算没有过剩或不足时的时间。

在步骤S202中，另外考虑根据驾驶员状态的变化和沿着计划行驶路线的行驶的局部动态地图(LDM)的更新信息，并且考虑到更新状况来确认是否可以进行切换(从自动驾驶到手动驾驶的切换可用性状态)。

此步骤可能似乎不必要。然而，例如，在以下状况下，需要该步骤。例如，在计划的切换点未改变的状态下在步骤S202中的确认过程中判定驾驶员充分觉醒并且不需要开始切换的情况下，过程返回步骤S201。即使当驾驶员的觉醒状态的下降在此时发展并且在改变后的觉醒下降状态下发出返回警告时，驾驶员也处于低觉醒状态，在该状态下，返回花费比系统的返回预测时间更多的时间，并且另外，驾驶员有可能由于突然袭击等而处于实际上不预期返回的状态。

另一方面，在计划路线上发生诸如新事故等的事件的情况下，切换点和警告发布点有可能改变。即，当根据状况变化来审查切换点时，包括步骤S201和S202的循环是有效步骤。

注意，关于这里的变化，可能发生从驾驶员感到睡意并且紧接在切换点之前的通知本来是足够的状态到在更早的定时发出觉醒警告的状态的变化。采取了对该变化的对策。当切换发生状态未改变时，过程从步骤S202返回到步骤S201，并且通过观察变化并旋转切换待机循环来形成该循环。注意，如果道路基础设施、天气、行驶环境、车辆的流量等的特性改变，则t(ToR_point)有可能改变。如果驾驶员的次要任务工作内容改变，则返回所需的时间延长(即，Δt最小转变预算时间(MTBT))有可能改变。

监视时的重复间隔(即，Δt的间隔)是可变间隔，并且利用该待机循环持续地进行监视。检测并更新驾驶员的持续状态和状况的变化，并且根据每个改变检测状态来执行步骤S203。在该状态下，再次判定是否需要切换。即，通过参考在发生变化时已经检测到的并用于判定驾驶员的觉醒的一系列可观察评估值以及自学习字典来判定觉醒是否从自动驾驶返回到手动驾驶。如上所述，这里的状态变化是如下情况下的变化：尽管驾驶员因为驾驶员本来向前看而已经处于根据响应于在切换点之前30秒的通知的时间可以进行切换的状况，但是驾驶员突然入睡并且由于驾驶员的意识下降的发展而观察到意识状态的下降。在这种情况下，基于步骤S202中的判定信息来参考在步骤S201a中生成的接管请求(TOR切换请求信息)所请求的时间。在发现接管请求(TOR切换请求信息)所请求的时间短于返回必要性宽限时间中的剩余预算的情况下，开始切换。即，过程进入步骤S203。

另一方面，在根据变化而重新计算的返回必要性宽限时间的剩余预算短于接管请求(TOR切换请求信息)所请求的时间的情况下，过程作为紧急情况序列而进入步骤S205。

在即使另外考虑这些变化也有空闲时间并且有余地来持续确认驾驶员的状态是否进一步改变的情况下，过程进入步骤S201。

注意，在步骤S201中执行的一系列处理不是简单的生物信息检测，并且包括：特定于驾驶员的视觉检测、状况识别、与识别出的信息相对应的判定以及完成实际切换之前所需的延迟时间的预期分布的转换。当由于该处理期间的计划因素或意外因素而作为接管请求(TOR)在步骤S201a中发生从自动驾驶到手动驾驶的切换请求时，系统需要确定向驾驶员发出通知的定时或在必要时执行诸如警告或紧急停车之类的过程。在判定过程S203中，根据在前一阶段中持续估计的驾驶员的返回时间特性，取决于在该时间内是否完成返回来判定是否可以执行切换。

为了简化该流程图中的描述，示出了概括为三个分支的步骤S202中的条件分支。然而，该处理实际上更加复杂，例如，可能通过降低车速以使切换失败的发生最小化(步骤S205)而进一步生成到达切换点时的延迟。这里，在自动驾驶未正常切换为手动驾驶的情况下，学习处理单元在步骤S205中将在切换的开始之前作为驾驶员的可观察数据日志取得的状态数据存储在存储单元中，作为异常时间处的教师数据L(F)424。

步骤S202中的三个分支处理的具体示例例如如下。

(1)从步骤S202返回到步骤S201的情况

尽管已经观察到驾驶员已经醒来并操作诸如平板终端之类的终端设备的状态，但是驾驶员已经随着时间过去而入睡。此外，未接近需要手动驾驶的区间。在这种情况下，可以进一步继续监视变化观察。过程返回到步骤S201，并继续进行监视。

(2)从步骤S202进入步骤S203的情况

尽管已经观察到驾驶员已经醒来并操作诸如平板终端之类的终端设备的状态，但是驾驶员已经随着时间过去而入睡。此外，正在接近需要手动驾驶的区间。在这种情况下，过程进入步骤S203，并且向驾驶员发出觉醒警报和觉醒通知，以提示返回驾驶。

(3)从步骤S202进入步骤S205的情况

尽管已经观察到驾驶员已经醒来并操作诸如平板终端之类的终端设备的状态，但是驾驶员已经随着时间过去而入睡。此外，当由于事故或道路环境的快速变化(例如，诸如由计划行驶道路上的急雨导致的洪水之类的变化)而需要手动驾驶时，在切换开始预测时间之前的点发出意外的提前手动驾驶返回请求。以这种方式，在由于比正常计划行驶更早的定时的突然返回请求，驾驶员响应于警报而恢复觉醒为时已晚的情况下，过程进入步骤S205以执行用于由系统自动执行紧急减速和疏散过程的疏散处理。

(步骤S203)

在步骤S202中的分支处理中需要从自动驾驶到手动驾驶的切换并且判定驾驶员可以安全地开始手动驾驶的情况下执行步骤S203。

系统(信息处理装置)在步骤S203中向驾驶员发出觉醒警报或觉醒通知，并提示驾驶员返回驾驶。

在步骤S203中，驾驶响应于来自系统的实际切换请求而开始切换工作。因为驾驶员处于各种状态，诸如驾驶员响应于切换请求而小睡的情况或驾驶员失去坐姿的情况，所以观察返回序列。观察该时间期间的返回序列是否通过姿势波动的行为评估沿着特定于驾驶员的正常返回过程来执行，或者返回过程花费时间。例如，响应于旋转座椅并在平板终端上执行滑动输入处理的驾驶员的返回请求的驾驶员的返回时间分布的学习字典记录值约为十秒。在甚至在大约20秒后仍未检测到返回开始的状态下，确定驾驶员的返回被明显延迟。另外，躺倒并小睡的驾驶员在正常学习历史时间内没有起床，确定发生延迟。

步骤S203包括驾驶员返回到手动驾驶的一系列过程。因此，例如，从驾驶员躺倒并小睡的时间到完全完成切换的时间，可以获得一系列中间观察值。这些观察值包括：1.起床姿势；2.移动到驾驶员的座椅，向前确认操作，就座转变，系好安全带，眼球详细行为分析和面部表情分析，以及此外的驾驶员实际转向设备转向特性。

(步骤S204)

在步骤S204中，在完成从自动驾驶到手动驾驶的切换之后，每次进行切换时，评估质量，即，切换操作是否顺利进行或者过程延迟。

在步骤S204中判定切换失败的情况下，为了避免由于切换失败而触发事故或交通拥塞，可以降低车辆的速度或者可以缓慢地驾驶和撤离车辆。基本上，切换失败的主要原因是因为驾驶员无法在必要定时适当地进行切换或者驾驶员由于植物神经性共济失调或前兆症状而具有不佳的状况检测和判断能力。当在相对于从系统对驾驶员的请求发生延迟的情况下对驾驶员施加一些惩罚的机制与使用自动驾驶的系统相结合时，驾驶员通常迅速响应于来自系统的返回请求或警告通知而开始返回工作。

然而，驾驶员的觉醒状态不充分的情况和驾驶员的返回由于突然发生事件而太迟的情况都被类似地判定为切换失败。本来，期望驾驶员开始迅速地识别状况并响应于通知而执行所需的返回恢复过程，以便由驾驶员通过使用其中建立了驾驶员迅速返回驾驶的操作的机制来执行预期的返回工作。结果，驾驶员对状况的识别影响了延迟的原因。因此，关于相同的切换故障，在由于意外、突然和提前的切换请求或者计划因素或意外因素而作为接管请求(TOR)在步骤S201a中生成了从自动驾驶到手动驾驶的切换请求的情况下的切换中，对与觉醒度和切换质量相关联的所获取的可观察值日志的相关性应用排除处理。

注意，在步骤201中持续观察和获取的驾驶员的可观察评估值组在被分类为平常时间处的教师数据L(N)422(其是在没有特别进行驾驶切换的情况下的平常时间行为特性的可观察评估值组的日志)、正常时间处的教师数据L(T)423(其是切换成功时的可观察评估值组的日志)和异常时间处的教师数据L(F)424(其是切换失败时的可观察评估值组的日志)之后被存储在存储单元中。

学习处理单元通过使用这些数据来执行根据图19中所示的流程的处理，并且执行用于更新在图19中的流程结束时指示的觉醒状态评估字典200的处理。

觉醒状态评估字典200是用于判定驾驶员的觉醒度(意识水平)的下降程度的字典。

将描述图19中的流程中的每个步骤中的处理。

(步骤S241)

首先，在步骤S241中，信息处理装置的学习处理单元(学习设备)执行学习处理以生成和更新觉醒状态评估字典200。具体而言，例如，通过监视驾驶员，根据通过分析反映觉醒状态的日志数据而生成的觉醒度评价值来生成驾驶员返回成功时间分布数据。

通过执行学习处理，可以获得数据，该数据用于基于通过监视驾驶员而获取的驾驶员状态信息和在可以开始手动驾驶之前的时间(限制允许的延迟时间)来估计驾驶员是否可以正常开始手动驾驶。

步骤S241是用于创建用来执行上面参考图16描述的流程中的步骤S202中的判定处理的觉醒状态评估字典200的学习步骤。用于判定处理的学习设备例如是评估器，该评估器根据驾驶员的可观察活动量评估值来计算在接收到返回通知时直到完成实际返回为止的时间。计算出的时间用于判定是否存在驾驶员返回到手动驾驶所需的宽限时间。然而，实际上，特性因每个驾驶员而异。如果不排除该变化，则有必要设定具有适用于大量驾驶员以发出通知的余裕的宽限时间。

在这种情况下，即使当大量驾驶员接收到通知时，通知定时也为时过早，并且用户在该使用形式中忽略通知。因此，结果，存在系统用户无法执行正常切换的许多情况。针对以上状态的措施是通过根据本公开的处理而生成的与每个驾驶员相对应的字典(觉醒状态评估字典200)。通过为每个驾驶员使用字典，可以依据特定于每个驾驶员的返回特性来发出通知。

为了更准确地估计返回延迟时间，例如，检测驾驶员的大脑中的是否可以做出感知判断的状态。通过执行这样的处理，可以更准确地判定驾驶员的觉醒度，此外，可以改善返回时间估计的准确性。

(步骤S242)

在步骤242中，分析最新的日志数据与过去的历史数据之间的差异(移位波动)，并生成和更新与驾驶员相对应的觉醒状态评估字典200。

具体而言，通过使用保存了其历史的驾驶员日志信息来监视过去的中长期波动量的历史以从在步骤S241中获取的驾驶员的观察值中获得返回延迟时间分布特性，难以在短期观察中检测到的特性波动被分析。

根据安装的检测系统，可以使用可观察评估值组的各种各样的评估值，并且这些评估值包括：心率、心率变异性、血流量、血流量波动、皮肤电活动、瞳孔亮度响应特性、睁眼时间、闭眼行为特性、跳视、注视、微跳视、呼吸波动、血压、脑电波、眼电位、呼吸、面部表情评估、头部方向、行为、手势、姿势评估、姿势波动的行为评估、主动手势响应特性以及坐姿波动。具体而言，关于可观察生命信号中的眼球行为特性和瞳孔行为特性，可以响应于关于驾驶的外部信息的波动而在极短时间内观察到觉醒状态的响应反应。具体而言，眼球的行为(诸如跳视操作、微跳视、漂移、注视或收敛眼球移动)是基于大脑中的目标识别程度在无意识地以感知和反射的方式确定的，以便驾驶员识别外部世界。高速跟踪这些行为的出现和行为的转变，并对每个事件和切换结果执行针对每个条件的多维自完成学习，从而创建特定于驾驶员的眼球行为特性和学习字典。例如，在图9中所示的以1000f/s观察到的约0.1秒的注视性眼动行为中，为了在驾驶员的觉醒度高的状态下理解由中央视野捕获的目标的细节，搜索行为出现在驾驶员观看基本相同的目标的范围内，以便识别并确定视线的目的地的细节。然而，在意识降低的状态下，眼睛没有目标，并且行为变成扫视行为。因此，两种情况下的行为彼此不同。由于以大约30f/s的常规视频观察中的时间分辨率的不足而无法执行分析。然而，通过分析高速的眼睛行为的细节，可以定量地评估在短时间内高速移动的眼睛的局部行为。注意，观察评估包括对一只眼睛或两只眼睛的单独评估、对两只眼睛的相关评估等。因为行为对于每个人而言都不同，因此期望确定组合并执行观察评估以增强准确性。

更详细地，根据已被驾驶员确定为重要的听觉上(通知声音、警报声音、周围车辆的喇叭声等)、视觉上(灯显示、通知显示、警报显示、来自正面的信息、周围应急车辆的闪光灯、移动和可穿戴设备通知等)的初始输入，并且驾驶员在视觉上搜索并获取对驾驶重要的信息。驾驶员首先确认主要输入信息。此外，驾驶员开始执行在大脑中的感知判断的各个确认过程完成时持续生成的与下一事件有关的判定所需的搜索。如果没有接下来要通过完全相同的视线获得的信息，则观察到动态行为，诸如在假设由周边视野确认的方向上引起眼球的跳视操作、用于将视线锁定在已对其执行注视并且已被识别一次的目标上的平滑跟随以及跟踪该目标等。

另外，在根据特定于驾驶员的经历历史引导视线之后不是立即完成信息判定，在该位置附近持续搜索更准确的证据。因此，等待其中出现特定于驾驶员的搜索注视的操作，理解和判断被完成，或者发生用于根据对可能同时发生的另一重要判断事项的搜索必要性加权将视线移动到另一判断项目的跳视操作。在未终止判断和操作的状态下确认下一目标的情况下，可以重复用于将视线返回到相同位置并完成判断的操作。

由于驾驶员的这些高速小移动与和在大脑中识别和判断目标所需的时间相关的操作相关联地发生，因此当失去在控制用户的植物性神经的交感神经与副交感神经之间的平衡时，不平衡影响判断操作，并且在用户无意识地做出的眼球的详细行为中出现影响。个体眼球的移动表现为基于个体经验进行识别所必需的操作。因此，眼球的移动不会表现为统一的行为。例如，因为与交感神经和副交感神经变得活跃的时间带有关的特性在个体之间是不同的，因此引起了被分类为在早晨更活跃的人和在夜间更活跃的人的个人体质特性。

作为步骤S241中的处理而执行的学习处理被执行为用于优化对从驾驶员检测到的可观察评估值的个体行为特性的判定的学习处理。

在步骤242中，执行学习处理，以通过获取反映中长期的个体特性的学习数据并对行为持续进行静态观察来检测在大多数情况下表现为逐渐变化的疾病或疾病的前兆的出现的行为变化。

注意，优选的是，通过使用作为步骤S241和S242中的处理的结果而被生成和更新的觉醒状态评估字典200来计算出的评估值不在一个旅程中被完成，并且被设定为反映行为特性在多天内的变化的观察结果。与在步骤S241中使用的短期判定的使用应用不同，每天持续使用车辆的用户(驾驶员)可以使用该值来计算长期(诸如一周或一个月)的指数。

注意，在作为步骤S241和S242中的处理的结果而被生成和更新的觉醒状态评估字典200中，每当根据驾驶员的目的进行一次旅程时，在该旅程中记录的与行驶期间的觉醒状态有关的观察值的变化被记录为经统计处理的值。每次执行手动驾驶时观察到的个体可观察值是每次做出的对驾驶员的返回的判定所必需的观察值。然而，另一方面，仅通过简单地对评估值进行精确观察，难以判定驾驶员的觉醒状态的水平。因此，每次执行切换(从自动驾驶到手动驾驶的切换)判定过程时，就执行步骤S241和S242中的处理。然后，依据从切换结果获得的切换质量，对在上述图16中的流程中的步骤S201中获取的可观察日志进行重复分类和重新评估。通过针对每种状况重复地执行(学习)一系列分类评估，可以改善觉醒状态判定性能。

另外，例如，当驾驶员的疲劳累积时，无法平稳地操纵方向盘。即，驾驶员的反射操作被延迟，并且该延迟导致小的转向幅度、干扰或延迟。关于与这些个体干扰有关的信息，例如，分析行为的频率，并且分析发生频率分布和幅度分布宽度，并可以将结果记录在字典中。例如，当基于眼球行为来分析驾驶员的觉醒状态时，记录诸如以下各项的一定行为分析值是有效的：关于与道路前侧有关的视觉显著性信息的跳视发生频率，根据行驶及其持续时间的追求跟踪行为，驾驶员通过注视(注视)持续看着目标的时间段，方向稳定性以及在注视期间发生的周边小行为的流动，为了理解视线所指向的目标而执行的邻域搜索行为的幅度和搜索范围，当视线移动到另一目标时的停留时间等等。由于眼球行为由于诸如包括白天、夜间和疲劳的视力状态，特定于每种行驶状态的环境，累积的驾驶疲劳等的不同因素而改变，因此优选将日志记录并保存为多维依赖的波动值。

此外，通过观察单独行程的更长期的变化，可以观察到状况反映特性的变化。例如，在眼球行为分析中，当驾驶员的状况响应不是暂时的延迟而是被中长期地延迟时，这意味着视神经的信息传送功能的下降。可替代地，作为状况判断的延迟的结果，补偿该延迟的快速校正反射反应开始增加，并且从平稳转向，检测到转向角的校正不足和过度校正的发生以及发生频率的增加。每个旅程的行为特性的记录数据用于学习特定行为，并且可以用于处理以将驾驶员的定期行为与中长期行为进行比较并检测行为的变化。

在第二实施例中，特别地，已经描述了基于使用3级或更高的公开的实施例。然而，使用本发明的另一附带作用的功能将被补充。在当今的具有过多压力的社会中，许多人患有植物神经性共济失调，并需要暂时中断社交活动和接受治疗。另一方面，难以掌握正要成为植物神经性共济失调的状态。此外，即使在人患有植物神经性共济失调的情况下，主观症状也不会清楚地出现。即使在患者抱怨健康问题并接受医生的医疗检查的情况下，在许多情况下，患者接受除精神病医生以外的专科医生的医疗检查，并且确定为精神疾病需要时间。因此，可以在早期识别引起植物神经性共济失调的交感神经与副交感神经之间的不平衡或可以指示植物神经性共济失调的前兆的指数是对估计驾驶员的疾病条件有用的技术。在交感神经和副交感神经之间的轻度不平衡的阶段，通过降低在未出现明显的主观症状时的压力，有望在不使疾病条件变得严重的情况下痊愈。通常，交感神经和副交感神经之间的不平衡对于每个个体而言在很大程度上不同，并且难以识别主观症状。因此，难以防止不平衡。原本，交感神经和副交感神经被以平衡的方式调节，并且期望的是，对人类重要的活动(诸如汗水和体温的调节、血压、呼吸、心跳、食物消化等等)平衡地工作。

存在这样一种情况：由于诸如压力之类的特定因素在生活中向神经之一施加过度的负荷，由于某种原因而失去植物性神经的平衡，并且无法调节该平衡。结果，可能出现各种身体和精神疾病，并且这些疾病引起诸如植物神经性共济失调之类的疾病。当交感神经和副交感神经之一继续处于紧张状态时，过度地发生神经的频繁激发，并且紧张状态被维持。患有植物神经性共济失调的大量患者由于症状加重而感到异常变化，并由于疾病而访问与症状相关的科室。本发明涉及对驾驶员的觉醒的判定，这在驾驶员使用自驾驶车辆的自动驾驶功能时是必不可少的。通过使用在判定驾驶员的觉醒时获取的信息，可以获得心理健康指数。因此，本发明还具有可以在疾病变得严重之前容易地应对驾驶员的精神疾病(诸如植物神经性共济失调)的效果。

[6.信息处理装置的示例性配置]

可以通过应用参考图3描述的移动设备的配置来执行上述处理。然而，可以通过例如可从移动设备拆卸的信息处理装置来执行该处理的一部分。

将参考图20描述这种信息处理装置的示例性硬件配置。

图20是示出信息处理装置的示例性硬件配置的图。

中央处理单元(CPU)501用作数据处理单元，其根据在只读存储器(ROM)502或存储单元508中存储的程序执行各种处理。例如，根据在以上实施例中描述的序列的处理被执行。

随机存取存储器(RAM)503存储由CPU 501执行的程序、数据等。CPU 501、ROM 502和RAM 503通过总线504彼此连接。

CPU 501经由总线504连接到输入/输出接口505，并且输入/输出接口505连接到包括各种开关、键盘、触摸面板、鼠标、麦克风和状况数据获取单元(诸如传感器、相机、GPS等)的输入单元506以及包括显示器、扬声器等的输出单元507。

注意，来自传感器521的输入信息被输入到输入单元506。

另外，输出单元507输出关于移动设备的驱动单元522的驱动信息。

CPU 501输入从输入单元506输入的指令、状况数据等，执行各种处理，并将处理结果输出到例如输出单元507。

连接到输入/输出接口505的存储单元508包括例如硬盘等，并且存储由CPU 501执行的程序和各种数据。通信单元509用作用于经由诸如因特网和局域网之类的网络的数据通信的收发器，并且与外部设备进行通信。

连接到输入/输出接口505的驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器(诸如，存储器卡)之类的可移除介质511，并记录或读取数据。

[7.本公开的配置的总结]

已经参考上面的特定实施例详细描述了本公开的实施例。然而，清楚的是，本领域技术人员可以在不脱离本公开的要旨的情况下对实施例进行修改和替换。换句话说，已经以示例的形式公开了本公开，并且没有限制性地解释本公开。为了确定本公开的要旨，应当考虑权利要求。

注意，本说明书中公开的技术可以具有以下配置。

(1)一种信息处理装置，包括：

数据处理单元，被配置为接收驾驶员的生物信息并评估驾驶员的觉醒度，其中

所述数据处理单元

分析驾驶员的眼球或瞳孔中的至少任一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。

(2)根据(1)所述的信息处理装置，其中

所述驾驶员是正在执行自动驾驶的移动设备中的且与驾驶操作完全分开或仅执行部分操作的驾驶员。

(3)根据(1)或(2)所述的信息处理装置，其中所述数据处理单元

通过分析眼球的跳视、微跳视、漂移或注视的行为中的至少一种来评估驾驶员的觉醒度。

(4)根据(1)至(3)中的任一项所述的信息处理装置，其中

所述数据处理单元

通过使用特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，所述觉醒状态评估字典是作为基于驾驶员的生物信息的日志数据进行学习处理的结果而生成的。

(5)根据(1)至(4)中的任一项所述的信息处理装置，其中，所述觉醒状态评估字典具有存储用于基于能够从驾驶员获取的多条生物信息来计算驾驶员的觉醒度的数据的配置。

(6)根据(1)至(5)中的任一项所述的信息处理装置，其中

所述数据处理单元

获取所述驾驶员的生物信息和操作信息，并基于所获取的驾驶员的生物信息和操作信息评估驾驶员的觉醒度。

(7)根据(1)至(6)中的任一项所述的信息处理装置，其中

所述数据处理单元

评估驾驶员的觉醒度并执行用于估计直到驾驶员能够开始安全手动驾驶为止的返回时间的处理。

(8)根据(1)至(7)中的任一项所述的信息处理装置，其中

所述数据处理单元

包括学习处理单元，该学习处理单元通过分析由用于获取驾驶员的生物信息的监视处理获得的日志来执行学习处理，并生成评估驾驶员的觉醒度的特定于驾驶员的觉醒状态评估字典。

(9)根据(8)所述的信息处理装置，其中

所述学习处理单元

基于从自动驾驶返回到手动驾驶时的驾驶员的操作信息来执行学习处理，该学习处理获取并使用作为当能够正常开始手动驾驶时的驾驶员的状态信息的正常时间处的教师数据以及作为当无法正常开始手动驾驶时的驾驶员的状态信息的异常时间处的教师数据。

(10)根据(1)至(9)中的任一项所述的信息处理装置，其中

所述数据处理单元

执行以下功能中的至少一项：通过使用包括从驾驶员获取的驾驶员的生物信息在内的驾驶员的状态信息的中长期数据来评估驾驶员的觉醒度，或者计算驾驶员的知觉传送指数。

(11)根据(1)至(10)中的任一项所述的信息处理装置，其中

所述数据处理单元

执行以下功能中的至少一项：基于通过计算包括从驾驶员获取的驾驶员的当前生物信息在内的驾驶员的状态信息与已获取的驾驶员的状态信息的中长期数据之间的差异而获得的计算出的差异数据来评估驾驶员的觉醒度，或者计算驾驶员的知觉传送指数。

(12)一种移动设备，包括：

生物信息获取单元，被配置为获取移动设备的驾驶员的生物信息；和

数据处理单元，被配置为接收所述生物信息并评估驾驶员的觉醒度，其中

所述数据处理单元

分析驾驶员的眼球或瞳孔中的至少一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。

(13)根据(12)所述的移动设备，其中，所述驾驶员是正在执行自动驾驶的移动设备中的且与驾驶操作完全分开或仅执行部分操作的驾驶员。

(14)根据(12)或(13)所述的移动设备，其中

所述数据处理单元

通过分析眼球的跳视、微跳视、漂移或注视的行为中的至少一种来评估驾驶员的觉醒度。

(15)根据(12)至(14)中的任一项所述的移动设备，其中

所述数据处理单元

通过使用特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，所述觉醒状态评估字典是作为基于驾驶员的生物信息的日志数据进行学习处理的结果而生成的。

(16)根据(12)至(15)中的任一项所述的移动设备，其中

所述数据处理单元

获取所述驾驶员的生物信息和操作信息，并基于所获取的驾驶员的生物信息和操作信息评估驾驶员的觉醒度。

(17)根据(12)至(16)中的任一项所述的移动设备，其中

所述数据处理单元

评估驾驶员的觉醒度并执行用于估计直到驾驶员能够开始安全手动驾驶为止的返回时间的处理。

(18)一种由信息处理装置执行的信息处理方法，其中

该信息处理装置包括数据处理单元，该数据处理单元接收驾驶员的生物信息并评估驾驶员的觉醒度，并且

该数据处理单元

分析驾驶员的眼球或瞳孔中的至少一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。

(19)一种由移动设备执行的信息处理方法，包括：

由生物信息获取单元获取移动设备的驾驶员的生物信息的步骤；和

由数据处理单元接收所述驾驶员的生物信息并评估自动驾驶期间的车辆中的驾驶员的觉醒度的步骤，其中

所述数据处理单元

分析驾驶员的眼球或瞳孔中的至少一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。

(20)一种用于使信息处理装置执行信息处理的程序，其中

所述信息处理装置包括数据处理单元，所述数据处理单元接收驾驶员的生物信息并评估驾驶员的觉醒度，并且

所述程序使所述数据处理单元

分析驾驶员的眼球或瞳孔中的至少一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。

另外，在说明书中描述的一系列处理可以通过硬件、软件或硬件和软件的复合配置来执行。在通过软件执行处理的情况下，其中已经记录了处理序列的程序可以被安装在内置在计算机的专用硬件中的存储器中并被执行，或者可以将该程序安装在可以执行各种处理的通用计算机中，并使该计算机执行该程序。例如，程序可以预先记录在记录介质中。除了将程序从记录介质安装到计算机之外，还可以经由诸如局域网(LAN)或因特网之类的网络接收该程序并将其安装到诸如内置硬盘之类的记录介质。

注意，在本说明书中描述的各种处理不仅根据描述按时间顺序执行，并且可以根据用于执行处理的装置的处理能力或根据需要而被并行地或单独地执行。另外，在本说明书中，系统是多个设备的逻辑组配置，并且该配置中的设备不限于容纳在同一壳体中。

工业适用性

如上所述，根据本公开的一个实施例的配置，实现了输入驾驶员的生物信息并评估驾驶员的觉醒度的配置。

具体而言，例如，包括一种数据处理单元，该数据处理单元接收驾驶员的生物信息并评估驾驶员的觉醒度。数据处理单元分析驾驶员的眼球或瞳孔中的至少一种的行为，并通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度。数据处理单元通过使用特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，该觉醒状态评估字典是作为基于驾驶员的生物信息的日志数据进行学习处理的结果而生成的。数据处理单元还执行用于估计直到驾驶员可以开始安全手动驾驶为止的返回时间的处理。

注意，通过执行根据本公开的处理，中长期地分析通过观察获取的数据，并且当使用自动驾驶时以自完成的方式执行对手动驾驶返回请求的持续监视。该分析信息可以与用于捕获植物性神经疾病等的前兆的高灵敏度心理保健监视数据同时使用，并且期望用来防止疾病变严重。

利用该配置，实现了接收驾驶员的生物信息并评估驾驶员的觉醒度的配置。

附图标记列表

10 汽车

11 数据处理单元

12 驾驶员生物信息获取单元

13 驾驶员操作信息获取单元

14 环境信息获取单元

15 通信单元

16 通知单元

20 驾驶员

30 服务器

100 移动设备

101 输入单元

102 数据获取单元

103 通信单元

104 车载设备

105 输出控制单元

106 输出单元

107 驱动系统控制单元

108 驱动系统

109 车身系统控制单元

110 车身系统

111 存储单元

112 自动驾驶控制单元

121 通信网络

131 检测单元

132 自身位置估计单元

133 状况分析单元

134 计划单元

135 操作控制单元

141 车辆外部信息检测单元

142 车内信息检测单元

143 车辆状态检测单元

151 地图分析单元

152 交通规则识别单元

153 状况识别单元

154 状况预测单元

155 安全性判定单元

161 路线计划单元

162 动作计划单元

163 操作计划单元

171 紧急情况避免单元

172 加减速控制单元

173 方向控制单元

300 驾驶员状态信息获取和分析单元

501 CPU

502 ROM

503 RAM

504 总线

505 输入/输出接口

506 输入单元

507 输出单元

508 存储单元

509 通信单元

510 驱动器

511 可移除介质

521 传感器

522 驱动单元

Claims (20)

1.一种信息处理装置，包括：

数据处理单元，被配置为接收驾驶员的生物信息并评估驾驶员的觉醒度，其中

所述数据处理单元

被配置为分析驾驶员的眼球或瞳孔中的至少任一种的行为，并且被配置为通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，其中所述特定于驾驶员的觉醒状态评估字典是通过涉及分析由用于获取驾驶员的生物信息的监视处理获得的日志的学习处理而生成的字典并且是通过基于从自动驾驶返回到手动驾驶时的驾驶员的操作信息获取并使用作为当能够正常开始手动驾驶时的驾驶员的状态信息的正常时间处的教师数据以及作为当无法正常开始手动驾驶时的驾驶员的状态信息的异常时间处的教师数据的学习处理而生成的字典。

2.根据权利要求1所述的信息处理装置，其中，所述驾驶员是正在执行自动驾驶的移动设备中的且与驾驶操作完全分开或仅执行部分操作的驾驶员。

3.根据权利要求1所述的信息处理装置，其中

所述数据处理单元

被配置为通过分析眼球的跳视、微跳视、漂移或注视的行为中的至少一种来评估驾驶员的觉醒度。

4.根据权利要求1所述的信息处理装置，其中

所述数据处理单元

通过使用特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，所述觉醒状态评估字典是作为基于驾驶员的生物信息的日志数据进行学习处理的结果而生成的。

5.根据权利要求1所述的信息处理装置，其中，所述觉醒状态评估字典具有被配置为存储用于基于能够从驾驶员获取的多条生物信息来计算驾驶员的觉醒度的数据的配置。

6.根据权利要求1所述的信息处理装置，其中

所述数据处理单元

被配置为获取所述驾驶员的生物信息和操作信息，并基于所获取的驾驶员的生物信息和操作信息来评估驾驶员的觉醒度。

7.根据权利要求1所述的信息处理装置，其中

所述数据处理单元

被配置为评估驾驶员的觉醒度并执行用于估计直到驾驶员能够开始安全手动驾驶为止的返回时间的处理。

8.根据权利要求1所述的信息处理装置，其中

所述数据处理单元

包括学习处理单元，该学习处理单元被配置为通过分析由用于获取驾驶员的生物信息的监视处理获得的日志来执行学习处理，并生成评估驾驶员的觉醒度的特定于驾驶员的觉醒状态评估字典。

9.根据权利要求8所述的信息处理装置，其中

所述学习处理单元

被配置为基于从自动驾驶返回到手动驾驶时的驾驶员的操作信息来执行学习处理，该学习处理获取并使用作为当能够正常开始手动驾驶时的驾驶员的状态信息的正常时间处的教师数据以及作为当无法正常开始手动驾驶时的驾驶员的状态信息的异常时间处的教师数据。

10.根据权利要求1所述的信息处理装置，其中

所述数据处理单元

被配置为执行以下功能中的至少一项：通过使用包括从驾驶员获取的驾驶员的生物信息在内的驾驶员的状态信息的中长期数据来评估驾驶员的觉醒度，或者计算驾驶员的知觉传送指数。

11.根据权利要求1所述的信息处理装置，其中

所述数据处理单元

被配置为执行以下功能中的至少一项：基于通过计算包括从驾驶员获取的驾驶员的当前生物信息在内的驾驶员的状态信息与已获取的驾驶员的状态信息的中长期数据之间的差异而获得的计算出的差异数据来评估驾驶员的觉醒度，或者计算驾驶员的知觉传送指数。

12.一种移动设备，包括：

生物信息获取单元，被配置为获取移动设备的驾驶员的生物信息；和

数据处理单元，被配置为接收所述生物信息并评估驾驶员的觉醒度，其中

所述数据处理单元

被配置为分析驾驶员的眼球或瞳孔中的至少一种的行为，并且被配置为通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，其中所述特定于驾驶员的觉醒状态评估字典是通过涉及分析由用于获取驾驶员的生物信息的监视处理获得的日志的学习处理而生成的字典并且是通过基于从自动驾驶返回到手动驾驶时的驾驶员的操作信息获取并使用作为当能够正常开始手动驾驶时的驾驶员的状态信息的正常时间处的教师数据以及作为当无法正常开始手动驾驶时的驾驶员的状态信息的异常时间处的教师数据的学习处理而生成的字典。

13.根据权利要求12所述的移动设备，其中，所述驾驶员是正在执行自动驾驶的移动设备中的且与驾驶操作完全分开或仅执行部分操作的驾驶员。

14.根据权利要求12所述的移动设备，其中

所述数据处理单元

被配置为通过分析眼球的跳视、微跳视、漂移或注视的行为中的至少一种来评估驾驶员的觉醒度。

15.根据权利要求12所述的移动设备，其中

所述数据处理单元

通过使用特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，所述觉醒状态评估字典是作为基于驾驶员的生物信息的日志数据进行学习处理的结果而生成的。

16.根据权利要求12所述的移动设备，其中

所述数据处理单元

被配置为获取所述驾驶员的生物信息和操作信息，并基于所获取的驾驶员的生物信息和操作信息评估驾驶员的觉醒度。

17.根据权利要求12所述的移动设备，其中

所述数据处理单元

被配置为评估驾驶员的觉醒度并执行用于估计直到驾驶员能够开始安全手动驾驶为止的返回时间的处理。

18.一种由信息处理装置执行的信息处理方法，其中

该信息处理装置包括数据处理单元，该数据处理单元接收驾驶员的生物信息并评估驾驶员的觉醒度，并且

该数据处理单元

被配置为分析驾驶员的眼球或瞳孔中的至少一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，其中所述特定于驾驶员的觉醒状态评估字典是通过涉及分析由用于获取驾驶员的生物信息的监视处理获得的日志的学习处理而生成的字典并且是通过基于从自动驾驶返回到手动驾驶时的驾驶员的操作信息获取并使用作为当能够正常开始手动驾驶时的驾驶员的状态信息的正常时间处的教师数据以及作为当无法正常开始手动驾驶时的驾驶员的状态信息的异常时间处的教师数据的学习处理而生成的字典。

19.一种由移动设备执行的信息处理方法，包括：

由生物信息获取单元获取移动设备的驾驶员的生物信息的步骤；和

由数据处理单元接收所述驾驶员的生物信息并评估自动驾驶期间的车辆中的驾驶员的觉醒度的步骤，其中

所述数据处理单元

被配置为分析驾驶员的眼球或瞳孔中的至少一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，其中所述特定于驾驶员的觉醒状态评估字典是通过涉及分析由用于获取驾驶员的生物信息的监视处理获得的日志的学习处理而生成的字典并且是通过基于从自动驾驶返回到手动驾驶时的驾驶员的操作信息获取并使用作为当能够正常开始手动驾驶时的驾驶员的状态信息的正常时间处的教师数据以及作为当无法正常开始手动驾驶时的驾驶员的状态信息的异常时间处的教师数据的学习处理而生成的字典。

20.一种非暂态计算机可读存储介质，其上存储有用于使信息处理装置执行信息处理的程序，其中

所述信息处理装置包括数据处理单元，所述数据处理单元接收驾驶员的生物信息并评估驾驶员的觉醒度，并且

所述程序使所述数据处理单元

分析驾驶员的眼球或瞳孔中的至少一种的行为，并且通过应用行为分析结果和预先生成的特定于驾驶员的觉醒状态评估字典来评估驾驶员的觉醒度，所述特定于驾驶员的觉醒状态评估字典是通过涉及分析由用于获取驾驶员的生物信息的监视处理获得的日志的学习处理而生成的字典并且是通过基于从自动驾驶返回到手动驾驶时的驾驶员的操作信息获取并使用作为当能够正常开始手动驾驶时的驾驶员的状态信息的正常时间处的教师数据以及作为当无法正常开始手动驾驶时的驾驶员的状态信息的异常时间处的教师数据的学习处理而生成的字典。