CN113260547A - 信息处理设备、移动设备、方法和程序 - Google Patents

Abstract

实现一种通过分析尝试解答显示在显示部上的问题的驾驶员的眼球行为来判定驾驶员是否具有能够进行手动驾驶的觉醒度的构成。使得可以基于驾驶员的眼球行为，判定可以按可被切换到自动驾驶和手动驾驶的驾驶模式驾驶的移动设备的驾驶员是否具有足以恢复手动驾驶的觉醒度。包括分析观察显示在显示部上的问题的驾驶员的眼球行为的眼球行为分析部，和基于眼球行为分析部的分析结果来判定驾驶员的觉醒度的觉醒度判定部。觉醒度判定部分析驾驶员是否进行诸如用于解答问题的注视或微跳视之类的眼球行为，并判定驾驶员是否具有足以恢复手动驾驶的觉醒度。

Description

信息处理设备、移动设备、方法和程序

技术领域

本公开涉及一种信息处理设备、移动设备、方法和程序。更具体地，本公开涉及一种检查车辆驾驶员的觉醒状态的信息处理设备、移动设备、方法和程序。

背景技术

最近，与自动驾驶相关的活跃技术发展正在进行中。

自动驾驶技术是通过使用设置到车辆(汽车)的各种传感器，比如位置检测装置，使得能够在道路上自动驾驶的技术，据预测，自动驾驶技术在未来将迅速得到广泛应用。

然而，在目前状态下，自动驾驶还处于发展中，从而认为完全自动驾驶成为可能还需要一段时间，据预测在此期间，通过酌情切换到自动驾驶和驾驶员的手动驾驶来驾驶汽车。

例如，据预测模式切换是必要的，其中当在诸如高速公路之类具有足够道路宽度的笔直道路上进行自动驾驶模式的驾驶时，在汽车已驶出高速公路并且驾驶员想在他/她想停的地方把汽车停在停车场中的情况下，在汽车正行驶在狭窄的山路上的情况下，或者在其他类似情形下，驾驶模式需要切换到手动驾驶模式，汽车由驾驶员进行操作来驾驶。

在车辆进行自动驾驶时，驾驶员不需要将他/她的视线向着作为车辆的行驶方向的前方，而是允许进行自由活动，比如打瞌睡、看电视、读书、或向后坐并与后座上的人交谈。

在以在自动驾驶与手动驾驶之间切换的驾驶模式驾驶的车辆中需要从自动驾驶模式切换到手动驾驶模式的情况下，需要使驾驶员开始手动驾驶。

然而，例如，如果驾驶员在自动驾驶过程中打瞌睡，那么驾驶员的觉醒度就会降低。即，意识水平变低。如果驾驶模式在这种觉醒度降低的状态下被切换到手动驾驶模式，那么无法进行正常手动驾驶，在最坏的情况下，存在驾驶员造成事故的可能性。

为了确保驾驶的安全，需要使驾驶员在驾驶员的觉醒度高，即，驾驶员具有较高意识的状态下开始手动驾驶。

如果汽车在自动驾驶区域之后进入手动驾驶区域，并且在驾驶员的驾驶恢复能力仍然不足的时候暂停自动驾驶功能，那么存在发生事故的可能性，这是危险的。

为了防止这种问题，在将驾驶模式从自动驾驶切换到手动驾驶之前，车辆侧系统(信息处理设备)需要判定驾驶员是否处于足以进行安全手动驾驶的水平。

作为一种判定驾驶员是否处于足以进行安全手动驾驶的水平的技术，存在检查驾驶员的大脑活动状况的处理。

检查驾驶员的大脑活动状况的代表性处理是向驾驶员提出问题并检查对问题的回答的处理。

注意，PTL 1(JP 2008-225537A)公开一种配置，其中从扬声器向驾驶员输出问题，并检查是否可以通过麦克风获取对问题的回答，在不能获取回答的情况下输出警报。

另外，PTL 2(JP 2015-115045A)公开一种配置，其中向驾驶员输出操作特定开关的指令，并通过测量驾驶员按照所述指令进行正确操作之前的时间长度，来判定驾驶员的觉醒状态。

然而，记载在这些文献中的配置需要驾驶员对问题的回答，或者驾驶员响应指令进行操作，从而给驾驶员带来负担。另外，这些处理需要时间来判定驾驶员的觉醒度。因而，存在这些配置在紧急情况下，例如，在驾驶模式必须立即从自动驾驶切换到手动驾驶的情况下，或者在其他类似情况下难以应用的问题。

[引文列表]

[专利文献]

[PTL 1]JP 2008-225537A

[PTL 2]JP 2015-115045A

发明内容

[技术问题]

鉴于例如上述问题产生了本公开，本公开的目的是提供一种使得能够在短时间内判定驾驶员的觉醒状态，而不会给驾驶员带来过多负担的信息处理设备、移动设备、方法和程序。

按照本公开的第一方面在于一种信息处理设备，所述信息处理设备包括显示信息生成部，所述显示信息生成部生成或获取问题，并使显示部显示所述问题；眼球行为分析部，所述眼球行为分析部分析观察显示在所述显示部上的问题的用户的眼球行为；和觉醒度判定部，所述觉醒度判定部基于所述眼球行为分析部的分析结果来判定用户的觉醒度。

此外，按照本公开的第二方面在于一种能够切换到自动驾驶和手动驾驶的移动设备，所述移动设备包括驾驶员信息获取部，所述驾驶员信息获取部获取所述移动设备的驾驶员的驾驶员信息；和数据处理部，所述数据处理部基于驾驶员信息获取部的获取信息判定驾驶员是否具有足以恢复手动驾驶的觉醒度。数据处理部具有显示信息生成部，所述显示信息生成部生成或获取问题，并使显示部显示所述问题；眼球行为分析部，所述眼球行为分析部分析观察显示在所述显示部上的问题的驾驶员的眼球行为；和觉醒度判定部，所述觉醒度判定部基于所述眼球行为分析部的分析结果来判定驾驶员的觉醒度。

此外，按照本公开的第三方面在于一种在信息处理设备中执行的信息处理方法，所述信息处理方法包括由显示信息生成部进行的显示信息生成步骤，所述显示信息生成步骤生成或获取问题，并使显示部显示所述问题；由眼球行为分析部进行的眼球行为分析步骤，所述眼球行为分析步骤分析观察显示在显示部上的问题的用户的眼球行为；和由觉醒度判定部进行的觉醒度判定步骤，所述觉醒度判定步骤基于眼球行为分析部的分析结果来判定用户的觉醒度。

此外，按照本公开的第四方面在于一种在移动设备中执行的信息处理方法，所述移动设备能够切换到自动驾驶和手动驾驶，所述信息处理方法包括由驾驶员信息获取部进行的驾驶员信息获取步骤，所述驾驶员信息获取步骤获取所述移动设备的驾驶员的驾驶员信息；和由数据处理部进行的数据处理步骤，所述数据处理步骤基于驾驶员信息判定驾驶员是否具有足以恢复手动驾驶的觉醒度。所述数据处理步骤包括由显示信息生成部进行的显示信息生成步骤，所述显示信息生成步骤生成或获取问题，并使显示部显示所述问题；由眼球行为分析部进行的眼球行为分析步骤，所述眼球行为分析步骤分析观察显示在显示部上的问题的用户的眼球行为；和由觉醒度判定部进行的觉醒度判定步骤，所述觉醒度判定步骤基于所述眼球行为分析部的分析结果来判定用户的觉醒度。

此外，按照本公开的第五方面在于一种使信息处理设备执行信息处理的程序，所述信息处理包括显示信息生成步骤，所述显示信息生成步骤使显示信息生成部生成或获取问题，并使显示部显示所述问题；眼球行为分析步骤，所述眼球行为分析步骤使眼球行为分析部分析观察显示在所述显示部上的问题的用户的眼球行为；和觉醒度判定步骤，所述觉醒度判定步骤使觉醒度判定部基于所述眼球行为分析部的分析结果，判定用户的觉醒度。

注意，例如，按照本公开的程序是可以由存储介质或通信介质提供的程序，所述存储介质或通信介质向能够执行各种程序代码的信息处理设备或计算机系统提供计算机可读格式的各种程序代码。通过以计算机可读格式提供这样的程序，在信息处理设备或计算机系统上实现按照所述程序的处理。

根据基于下面提及的本公开的实施例和附图的详细说明，本公开的其他目的、特征和优点将变得明显。注意，本说明书中的系统具有多个设备的逻辑集合构成，不限于包括容纳在单一外壳内的各种构成的设备的系统。

[发明的有益效果]

按照本公开的一个实施例的构成，作为用于在驾驶模式从自动驾驶模式切换到手动驾驶模式时，确定驾驶员是否具有足以进行手动驾驶的觉醒度的装置，实现一种分析和确定用他/她的眼球跟踪视觉信息，试图解决显示在显示部上的问题的驾驶员的眼球行为的构成。

具体地，例如，使得可以基于驾驶员的眼球行为，判定可以按可被切换成自动驾驶和手动驾驶的驾驶模式驾驶的移动设备的驾驶员是否具有足以恢复手动驾驶的觉醒度。包括眼球行为分析部，所述眼球行为分析部分析观察显示在显示部上的问题的驾驶员的眼球行为，和觉醒度判定部，所述觉醒度判定部基于眼球行为分析部的分析结果，判定驾驶员的觉醒度。觉醒度判定部分析驾驶员是否进行诸如注视或微跳视之类的眼球行为，以便解决问题，并判定驾驶员是否具有足以恢复手动驾驶的觉醒度。

按照本构成，实现一种通过分析试图解决显示在显示部上的问题的驾驶员的眼球行为，判定驾驶员是否具有足以进行手动驾驶的觉醒度的构成。

注意，记载在本说明书中的优点只是出于举例说明的目的呈现的，而不是用于限制本公开的优点。可以存在另外的优点。

附图说明

图1是用于说明按照本公开的移动设备的一个构成例子的图。

图2是用于说明显示在按照本公开的移动设备的显示部上的数据的一个例子的图。

图3描述用于说明由按照本公开的移动设备执行的处理的各个图。

图4是用于说明按照本公开的移动设备的传感器构成例子的图。

图5是用于描述由按照本公开的移动设备执行的从自动驾驶模式到手动驾驶模式的模式切换的序列的一个例子的图。

图6是用于说明安装在按照本公开的移动设备上的信息处理设备的构成例子的图。

图7是用于说明在呈现要求驾驶员查看某条信息的视觉问题时驾驶员的眼球行为的轨迹的一个例子的图。

图8描述用于说明在呈现要求驾驶员查看信息的视觉问题时驾驶员的眼球行为的轨迹的例子，以及用于说明在不同觉醒状态的情况下行为之间的差异的图。

图9是用于说明要显示的问题的一个例子的图。

图10是用于说明要显示的问题的一个例子的图。

图11是用于说明要显示的问题的一个例子的图。

图12是用于说明要显示的问题的一个例子的图。

图13是用于说明要显示的问题的一个例子的图。

图14是用于说明要显示的问题的一个例子的图。

图15是用于说明要显示的问题的一个例子的图。

图16是用于说明要显示的问题的一个例子的图。

图17是用于说明要显示的问题的一个例子的图。

图18是用于说明要显示的问题的一个例子的图。

图19是用于说明要显示的问题的一个例子的图。

图20是用于说明要显示的问题的一个例子的图。

图21是用于说明要显示的问题的一个例子的图。

图22是用于说明要显示的问题的一个例子的图。

图23是用于说明要显示的问题的一个例子的图。

图24是用于说明要显示的问题的一个例子的图。

图25是描述用于说明由按照本公开的信息处理设备执行的处理序列的一个例子的流程图的图。

图26是描述用于说明由按照本公开的信息处理设备执行的处理序列的一个例子的流程图的图。

图27是用于说明按照本公开的移动设备的构成例子的图。

图28是用于说明按照本公开的移动设备的构成例子的图。

图29是用于说明信息处理设备的硬件构成例子的图。

具体实施方式

下面参考附图，说明按照本公开的信息处理设备、移动设备、方法和程序的细节。注意，所述说明是按照以下项目进行的。

1.关于移动设备和信息处理设备的构成和处理的概况

2.关于从自动驾驶模式到手动驾驶模式的模式切换的序列

3.关于由按照本公开的移动设备和信息处理设备执行的驾驶员觉醒度判定处理

4.关于信息处理设备中的觉醒度判定处理的执行构成

5.关于向驾驶员呈现的用于判定驾驶员的觉醒度的问题的具体例子

6.关于由按照本公开的信息处理设备执行的驾驶员觉醒度判定处理的序列

7.关于移动设备的具体构成和处理例子

8.关于信息处理设备的构成例子

9.按照本公开的构成的总结

[1.关于移动设备和信息处理设备的构成和处理的概况]

就只允许手动驾驶的车辆和其中系统进行部分驾驶辅助的部分自动驾驶车辆而论，驾驶操控的责任基本上由驾驶员承担。近年来，安装驾驶员监控系统的此类车辆的类型不断增加。目前的驾驶员监控系统主要观察驾驶员的驾驶操控工作，以及检测驾驶员脱离操控或异常情况。

尽管据预测能够自动驾驶的自动驾驶汽车将得到更广泛的使用，不过认为在不久的将来，由于道路设施等的缘故，将混合地存在作为允许自动驾驶的道路区域的自动驾驶区域和作为不允许自动驾驶的道路区域的手动驾驶区域。驾驶员在自动驾驶区域中可以进行自动驾驶，但是当他们的汽车将进入手动驾驶区域时，驾驶员必须恢复手动驾驶。

如果在不久的将来，车辆的驾驶辅助以及驾驶控制变得更加先进，并且车辆系统能够在更多的驾驶情况下主动进行车辆的控制，那么在一些情况下，在自动驾驶区域中驾驶员甚至可能入睡。另外，驾驶员甚至可以沉浸于诸如看电视和视频，或玩游戏之类的次要任务。然而，例如如果驾驶员在自动驾驶区域中入睡，那么驾驶员的意识水平或判定水平变低，即，他们的觉醒度变低。如果在不久的将来，可以使用自动驾驶功能来驾驶汽车的区域逐渐扩大，那么会出现即使没有干预车辆的驾驶操控也能够使车辆保持正常安全驾驶的情况。即使在自动驾驶功能的这种使用情况下，在车辆进入手动驾驶区域之前，驾驶员也需要恢复到他们能够以正常的意识驾驶车辆的高度觉醒状态。

然而，就目前的驾驶员监控系统而论，重点放在检测驾驶员的注意力的临时降低，比如觉醒度的降低的功能上。目前的驾驶员监控系统不具备当处于意识已经完全降低的状态的驾驶员从这些低意识状态恢复时，关于恢复水平判定驾驶员的觉醒度的功能。

按照本公开的构成解决了这种当前情况的问题，使得可以判定为驾驶操控所必需的驾驶员的觉醒度，尤其是使得可以判定意识恢复的细节。例如，按照本公开的构成估计驾驶员大脑中的感性认知活动的状态。

具体地，分析驾驶员的眼球的行为，并判定驾驶员的觉醒度。

首先参考图1和后续附图，说明移动设备和信息处理设备的构成和处理的概况。

按照本公开的移动设备例如是能够以在自动驾驶和手动驾驶之间切换的驾驶模式驾驶的汽车。

当在这种汽车中有必要从自动驾驶模式切换到手动驾驶模式时，就需要使驾驶员开始手动驾驶。

然而，存在驾驶员在自动驾驶的执行期间进行的各种处理(次要任务)。

例如，在一些情况下，驾驶员只是不用他们的手握住方向盘，但是凝视汽车前方的空间，如同他们驾驶汽车时一样，而在一些其他情况下，他们在看书或打瞌睡。

由于这些处理之间的差异，驾驶员的觉醒度(意识水平)也不同。

例如，如果驾驶员打瞌睡，那么驾驶员的觉醒度降低。即，意识水平变低。在觉醒度以这种方式降低的状态下，无法进行正常的手动驾驶，并且如果在这种状态下驾驶模式被切换成手动驾驶模式，那么在最坏的情况下，存在驾驶员造成事故的可能性。

为了确保驾驶的安全，需要使驾驶员在驾驶员的觉醒度高，即，驾驶员具有较高意识的状态下开始手动驾驶。

为此，需要按照驾驶员在自动驾驶的执行期间的觉醒度，改变执行从自动驾驶切换到手动驾驶的请求的通知定时。

即，由于在通知之后，驾驶员的觉醒度充分恢复所需的实际时间长度不同，因此需要按照恢复特性改变通知的定时。

例如，在自动驾驶的执行期间，驾驶员向前看并凝视道路的情况下，驾驶员的觉醒度高，即，驾驶员可以随时开始手动驾驶。

这种情况下，在紧临需要手动驾驶的时间之前的定时发出切换到手动驾驶的通知即可。这是因为驾驶员可以立即开始安全的手动驾驶。

然而，在驾驶员在自动驾驶的执行期间打瞌睡的情况下，驾驶员的觉醒度极低。

在这种情况下，如果在紧临需要手动驾驶的时间之前发出切换到手动驾驶的通知，那么驾驶员必然不得不在驾驶员具有较低意识的状态下开始手动驾驶。结果，驾驶员造成事故的可能性增大。因而，在这种觉醒度低的情况下，需要在更早的步骤发出切换到手动驾驶的通知。

在驾驶员的觉醒度低的情况下，需要更早发出切换到手动驾驶的通知，并且进一步地甚至在所述通知之后，需要进行检查驾驶员的觉醒度的转变的处理。

按照本公开的移动设备或者可以安装在所述移动设备上的信息处理设备进行在不给驾驶员带来很大负担的情况下在短时间内判定驾驶员的觉醒度的处理。

基于通过不断监测驾驶员状态而获得的各种可观察状态信息，确定多早发出所述通知。通过使用可观察状态信息进行学习，可以估计特定于驾驶员的恢复特性，包括驾驶员恢复所需的时间长度等。根据可观察状态确定最佳恢复通知定时，并发出通知或者触发警报。需要检查驾驶员的觉醒状态是否足以恢复手动驾驶的定时出现在位于所述通知之后、但是在车辆的操控实际移交给驾驶员之前的步骤。

首先参考图1和后续附图，说明按照本公开的移动设备和可以安装在所述移动设备上的信息处理设备的构成和处理。

图1是描述作为按照本公开的移动设备的一个例子的汽车10的一个构成例子的图。

按照本公开的信息处理设备安装在图1中所示的汽车10上。

图1中所示的汽车10是能够以至少两种驾驶模式驾驶的汽车，所述两种驾驶模式是手动驾驶模式和自动驾驶模式。

在手动驾驶模式下，进行基于驾驶员20的操作(即，方向盘的操作(转向)和加速器、制动器等的操作)的驾驶。

另一方面，在自动驾驶模式下，不需要驾驶员20的操作，而是例如进行基于位置传感器、其他环境信息检测传感器等的传感器信息的驾驶。

位置传感器例如包括GPS接收器等，环境信息检测传感器例如包括摄像机、超声波传感器、雷达、LiDAR(光探测和测距、激光成像探测和测距)、声纳等。这些设备的单元也被称为定位传感器。

注意，图1是用于说明本公开的概况的图，示意描述了主要的组成元件。详细的构成在后面说明。

如图1中所示，汽车10具有数据处理部11、驾驶员信息获取部12、环境信息获取部13、通信部14和通知部15。

驾驶员信息获取部12例如获取用于判定驾驶员的觉醒度的信息、驾驶员的操作信息等。具体地，例如，驾驶员信息获取部12包括用于检测驾驶员的面部以及眼球的运动的摄像机和传感器，操作部(方向盘、加速器、制动器等)的操作信息获取部等。

环境信息获取部13获取汽车10的驾驶环境信息。例如，驾驶环境信息包括在汽车的前后左右的空间的图像的信息；来自GPS的位置信息；来自LiDAR(光探测和测距、激光成像探测和测距)、声纳等的关于周围障碍物的信息；等等。

数据处理部11接收由驾驶员信息获取部12获取的驾驶员信息和由环境信息获取部13获取的环境信息作为输入，并执行觉醒度判定处理，所述觉醒度判定处理判定在自动驾驶期间位于车内的驾驶员是否处于驾驶员能够进行安全的手动驾驶的状态，即，判定驾驶员是否具有高到足以表现出为进行手动驾驶所需的确定能力和体力等的觉醒度。

觉醒度判定处理的具体例子在后面详细说明。

此外，例如，数据处理部11在有必要从自动驾驶模式切换到手动驾驶模式的情况下，例如在当汽车行驶在允许自动驾驶的自动驾驶区域时，正在接近不允许自动驾驶的手动驾驶区域的情况下，或者在其他类似情况下，执行经由通知部15通知驾驶员切换到手动驾驶模式的处理。

例如，所述通知处理的定时是通过接收来自驾驶员信息获取部12和环境信息获取部13的输入而计算的最佳定时。

即，所述定时是允许驾驶员20开始安全的手动驾驶的定时。

具体地，所述处理以这样一种方式进行，即，在驾驶员的觉醒度较高的情况下，紧临开始手动驾驶的时间之前，例如在所述时间之前30秒发出通知，而在驾驶员的觉醒度较低的情况下，在开始手动驾驶的时间之前120秒发出通知，留出额外时间，或者以其他类似地方式进行所述处理。

通知部15包括发出通知的显示部、声音输出部、或者在方向盘或座椅上的振动器。

图2中描述了显示在包括于通知部15中的显示部上的警告显示的例子。

如图2中所示，作为所述显示，显示部30呈现以下信息。

驾驶模式信息＝“自动驾驶”

警告显示＝“切换到手动驾驶”

在驾驶模式信息的显示区中，在执行自动驾驶模式的时候显示“自动驾驶”，而在执行手动驾驶模式的时候显示“手动驾驶”。

警告显示信息的显示区是在汽车以自动驾驶模式执行自动驾驶时显示以下信息的显示区。注意，尽管在本实施例中使用了整个显示屏幕，不过，屏幕的一部分可以用于所述显示。

“切换到手动驾驶”

注意，尽管在本例中说明是用句子陈述的，不过，所述显示不限于这样的文本显示，例如可以包括诸如象形图之类的符号。

注意，汽车10具有如图1中所示能够经由通信部14与服务器30通信的构成。

例如，计算由数据处理部11输出的通知的恰当时间的处理的一部分，具体地训练处理，可以在服务器30进行。

图3描述由按照本公开的移动设备和信息处理设备执行的处理的具体例子的各个图。

图3是描述在汽车以自动驾驶模式执行自动驾驶时，请求切换到手动驾驶的通知的恰当定时的设定例子的图，描述了以下两个例子中的通知处理例子。

(a)自动驾驶的执行期间驾驶员的觉醒度较高的情况下的通知处理

(b)自动驾驶的执行期间驾驶员的觉醒度较低的情况下的通知处理

例子(a)是其中在自动驾驶的执行期间，驾驶员看着前方并且凝视道路的例子。这种情况下，驾驶员的觉醒度较高，即，驾驶员可以随时开始手动驾驶。

在这种情况下，即使切换到手动驾驶的通知是在紧临需要手动驾驶的时间之前的定时发出的，驾驶员也能够立即开始安全的手动驾驶。

在例子(b)中，在驾驶员在自动驾驶的执行期间打瞌睡的情况下，驾驶员的觉醒度极低。

在这种情况下，如果切换到手动驾驶的通知是在紧临需要手动驾驶的时间之前的定时发出的，那么驾驶员必然在驾驶员具有较低意识的状态下开始手动驾驶，从而驾驶员造成事故的可能性增大。因而，在这种觉醒度低的情况下，需要在更早的步骤发出切换到手动驾驶的通知。

如前所述，在开始手动驾驶的时刻，驾驶员需要具有足够高的觉醒度。即，驾驶员需要处于驾驶员能够基于确切的确定能力，进行正确的驾驶操作的状态。在驾驶员的觉醒度较低的情况下，不能开始手动驾驶。

在驾驶员的觉醒度较低的情况下，需要更早地发出切换到手动驾驶的通知，并且进一步地甚至在所述通知之后，需要进行检查驾驶员的觉醒度的转变的处理。

例如，在汽车10行驶在允许自动驾驶的自动驾驶区域中时，数据处理部11通过使用例如由图1中所示的汽车10的驾驶员信息获取部12获取的信息等，执行驾驶员觉醒度判定处理。在判定在汽车10进入手动驾驶区域之前驾驶员的觉醒度不会变得高到足以开始手动驾驶的情况下，数据处理部11使驾驶控制部执行危险避免处理，比如汽车10的紧急停止处理或减速处理。

图4中描述了图1中所示的汽车10的驾驶员信息获取部12的具体构成例子。

图4描述包含在驾驶员信息获取部12中用于获得在车内的驾驶员的信息的各种传感器的例子。例如，驾驶员信息获取部12包括ToF摄像机、立体摄像机、座椅应变仪等，作为用于检测驾驶员的位置和姿态的检测器。另外，数据获取部102包括面部识别部(面部(头部)识别)、驾驶员眼球跟踪部(驾驶员眼球跟踪器)、驾驶员面部跟踪部(驾驶员面部跟踪器)等，作为用于获得驾驶员的生命活动可观察信息的检测器。

驾驶员眼球跟踪部(驾驶员眼球跟踪器)检测驾驶员的眼球的运动。

驾驶员面部跟踪部(驾驶员面部跟踪器)检测驾驶员的面部和头部的运动。

具体地，例如，这些包括摄像机和各种传感器。例如，它们可具有使用诸如测量眼球的电位的EOG(眼电图)传感器之类的传感器的构成。

另外，驾驶员信息获取部12包括生命信号检测器，作为用于获得驾驶员的生命活动可观察信息的检测器。另外，驾驶员信息获取部12包括驾驶员标识部。注意，除了使用密码、PIN号码等基于知识的标识以外，可以使用的标识方法的例子包括使用面部、指纹、瞳孔的虹膜、声纹等的生命标识。

[2.关于从自动驾驶模式到手动驾驶模式的模式切换的序列]

下面，说明从自动驾驶模式到手动驾驶模式的转换的序列。

图5示意描述由图1中所示的汽车10的数据处理部11执行的从自动驾驶模式到手动驾驶模式的模式切换的序列的一个例子。

在步骤S1，驾驶员完全脱离驾驶操控。在这种状态下，例如，驾驶员可以执行次要任务，比如打盹、观看视频、集中精力玩游戏，或者从事使用诸如平板电脑或智能电话机之类的视觉工具的工作。例如，在一些可能的情况下，使用诸如平板电脑或智能电话机之类的视觉工具的工作可以在驾驶员的座椅移位的状态下，或者在驾驶员坐在除驾驶员的座椅以外的座椅的状态下进行。

取决于像这样的驾驶员的状态，预计当汽车接近路线上的要求汽车恢复手动驾驶的区域时，驾驶员恢复手动驾驶所需的时间按照驾驶员此时正在从事的工作内容而大幅变化。在一些情况下，如果在事件即将来临之前发出通知，那么没有足够的时间供驾驶员恢复手动驾驶，或者在一些其他情况下，在试图在事件来临之前留出额外时间而太早发出通知的情况下，直到实际要求驾驶员恢复手动驾驶的定时为止的时间变得太长。结果，如果存在未在正确的定时发出通知的重复情形，那么驾驶员认为系统的通知定时不可靠，从而变得较少注意通知。这导致驾驶员变得不太注意正确的准备。结果，未很好进行转换的风险增大，同时，这也成为阻碍放松地进行次要任务的因素。鉴于此，系统需要优化通知定时，以便让驾驶员能响应通知为恢复驾驶而开始正确的准备。

步骤S2对应于如同前面参考图2所述一样的请求恢复手动驾驶的通知的定时。以通过使用振动器等的动态和触觉的方式，或者可视地或可听地，向驾驶员通知要求驾驶员恢复驾驶。例如，数据处理部11监测驾驶员的稳定状态，把握发出通知的定时，并且通知是在能够在实际需要恢复驾驶的时间之前留出额外时间的定时酌情发出的，从而恢复驾驶将以一定的概率或更高的概率取得成功。即，可取的是在先前的被动监测时段中，始终被动地监测驾驶员执行次要任务的状态，系统可以计算通知的最佳定时，步骤S1的时段中的被动监测连续不断地始终进行，并且按照特定于驾驶员的恢复特性，确定恢复定时和恢复通知。

即，可取的是学习与驾驶员的恢复动作模式、车辆特性等相应的最佳恢复定时，并向驾驶员呈现统计地确定的驾驶员以一定的预置比率或更高比率正常地从自动驾驶恢复手动驾驶所需的最佳定时。这种情况下，在驾驶员在一定长度的时间内未对通知作出响应的情况下，通过警报等发出警告。

在步骤S3，检查驾驶员是否已恢复就座状态。在步骤S4，基于关于跳视(眼球转动)等的面部或眼球行为分析，检查驾驶员的内部觉醒状态。在步骤S5，监测驾驶员的实际操控状况的稳定度。随后，在步骤S6，完成从自动驾驶到手动驾驶的转换。

[3.关于由按照本公开的移动设备和信息处理设备执行的驾驶员觉醒度判定处理]

下面，说明由按照本公开的移动设备和信息处理设备执行的驾驶员觉醒度判定处理。

如前所述，在开始手动驾驶的时刻，驾驶员需要有足够高的觉醒度。即，驾驶员需要处于驾驶员能够基于确切的确定能力进行正确的驾驶操作的状态。在驾驶员的觉醒度较低的情况下，不能开始手动驾驶。在驾驶员的觉醒度较低的情况下，需要更早地发出切换到手动驾驶的通知，并且进一步地甚至在所述通知之后，需要进行检查驾驶员的觉醒度的转变的处理。

本公开使得可以判定驾驶员是否具有为驾驶操控所必需的觉醒度。例如，按照本公开的构成估计驾驶员大脑中的感性认知活动的状态。

具体地，分析驾驶员的眼球的行为，并估计或判定驾驶员的觉醒度。

人类的眼球存在以下两种主要的行为特征。

(a)眼球的运动由三个半规管等感测并且进行用于抵消所述运动的前庭眼运动的特征。

(b)当搜索补充信息并检查细节，以便理解诸如听觉、嗅觉或视觉刺激之类的输入信息时出现的眼球行为特征。

按照本公开的处理通过分析上述(b)中的眼球行为特征，估计或判定驾驶员的觉醒度。

具体地，向驾驶员呈现视觉问题，并分析在驾驶员理解所呈现的问题并回答所述问题时驾驶员的眼球行为。驾驶员进行通过用他/她的眼球捕捉必要的视觉信息以便对问题进行认知理解的过程。观察在中心视野指向目标时，表现为眼球行为的诸如注视、微跳视(眼球微转动)或漂移之类的行为。根据眼球行为的行为分析，估计驾驶员的大脑活动，并判定驾驶员是否已经作出足以对车辆的周围情况进行认知理解的恢复，即，判定觉醒度(觉醒度水平)。

注意，上面说明的将视线指向特定目标的一系列操作被称为扫视。本公开涉及进行觉醒度判定的技术，该技术关注于在通过更详细且分辨率更高地进行扫视中的眼球行为的分析而获得的不同精神/觉醒状态下出现的行为特征之间的差异。

人类通过使用五种感官来认识周围环境的信息。其中，通过视觉手段获得的信息量(比如存在危害物的信息)是非常大的。极其大量的不同信息同时且并行地通过视野进入，需要对这些信息进行处理。

信息处理被粗略地分成有意识确定和无意识确定。在进行有意识确定的情况下，例如，视线的中心视野指向确定目标，中心视野捕捉目标的细节特征，并进行捕捉的目标对象与记忆信息之间的核对。

使中心视野指向目标以捕捉目标的原因是因为难以同时且并行地通过视觉将视野内的全部信息接收到大脑中，并对其进行处理。因而，视觉系统不以相同的方式处理视觉上的外部世界的所有信息，而是通过过滤分层次地将在生物功能方面重要的信息进行分类。此外，视觉系统将中心视野设定到作为确定目标的主体，以便高分辨率地标识对最终动作确定来说重要的部分，并且进行记忆与作为所述主体的特征的特定局部部位的细节之间的核对。

在视野调整处理时，发生眼球的转动行为。注意，在眼球行为不足以移动视点的情况下，头部或身体的旋转运动仅仅表现为补偿延迟操作。因而，作为检测驾驶员的觉醒度的手段，可以说眼球的视觉信息搜索行为的分析是不伴随延迟的最可靠且最有效的手段。

在按照本公开的处理中，向驾驶员呈现需要智能确定的视觉问题，并且分析在理解和处理所述问题时所伴随的眼球行为。通过该处理，主动地检测驾驶员的大脑活动，并判定驾驶员的觉醒度。

如前所述，在汽车行驶在自动驾驶区域内的时候，驾驶员可能沉浸于打盹、观看体育现场直播、或者玩游戏。然而，例如，如果驾驶员在自动驾驶区域内睡着了，那么驾驶员的觉醒度降低。在进行手动驾驶区域之前，驾驶员需要恢复到驾驶员能够清醒地正常驾驶车辆的高度觉醒的状态。

按照本公开的系统判定驾驶员的觉醒度，向驾驶员通知他/她需要恢复手动驾驶，并关于收到通知的驾驶员通过操作操控设备实际开始操控的时间，确定控制转移开始确定。在此之后也判定驾驶员的觉醒度，并在汽车进入手动驾驶区域之前，判定驾驶员是否具有足够的觉醒度来进行手动驾驶。即，通过驾驶员的眼球行为分析，评估驾驶员的大脑感性认知活动。

注意，即使在自动驾驶期间，在一些情况下，驾驶员也关注自动驾驶是否安全地进行。在这种情形下，在一些情况下，驾驶员在系统通知手动驾驶恢复请求之前就意识到恢复的必要性，并主动地等待恢复手动驾驶。为了也分析这种状态，按照本公开的系统允许从驾驶员的状态监控步骤开始的驾驶员的眼球行为特征的分析。

仅仅基于人的眨眼、面部表情等的宏观分析，难以准确把握驾驶员的意识水平，即觉醒度的恢复。

相反，按照本公开的系统进行详细的眼球行为分析，该分析是时序地进行的微观分析。例如，在驾驶员通过凝视问题来理解该问题，并通过核对记忆信息与通过跟随问题而凝视目标所接收的视觉信息进行确定的过程中，进行详细的眼球行为分析。此时，观察诸如针对为了检查细节的中心视野的局部位置校正所进行的微跳视之类的行为。另一方面，已知输入大脑中的控制判定的神经元的信息包括多样的信息，并且，在突触电位随着多样信息的输入超过某一阈值的情况下，会发生用于确定的突触激发。即，在大脑中在觉醒状态下发生的活动开始于甚至在通过中心视野捕捉目标之前在各个神经元中微弱的证据信息的积累，随后在紧临所述激发之前，在对应神经元中继续进行作为确定用线索的附加信息的积累。一旦突触电位超过某个值，就在对应神经元发生确定阈值的激发，并且它触发确定的传递。

即，用于进行确定的信息不一定是具有高确定性的特定唯一信息，相反信息是作为没有充分根据并且不太可能的信息输入的。如果作为信息的总和，控制确定的神经元的突触电位超过某一阈值，这就表现为确定，从而出现确定。在确定所注视的目标是什么的过程中出现的诸如微跳视或漂移之类的眼球行为是为了补偿当时对于确定来说缺失的信息而出现的行为，在大脑内部觉醒度较低的状态下，对搜索行为的刺激变得较弱，其表象不会显现出来。

作为在大脑中完成智能确定处理的过程的一部分，比如搜索为确定所需的细节或者检查答案的准确性，凝视以找出问题的答案的过程表现为诸如将中心视野移动到或者更靠近用于获取视觉信息的目标的跳视、微跳视或注视之类的过程。注意，上面说明的确定的激发包括诸如用于搜索缺失信息的微跳视或漂移之类的行为表象的确定，并且不局限于作为在完成理解的时间点的最终智能理解的确定。

眼球行为分析是在不能直接观察大脑内部活动的状态时，间接观察大脑内部活动的部分状态的手段，是用于估计大脑内部觉醒度的手段，重点在于它可以用作觉醒状态判定的有前景的线索。当呈现视觉问题时，驾驶员进行移动他/她的视线的过程，即眼球行为，以便获得问题的答案。

在驾驶员在驾驶车辆时凝视道路前方空间的状态下，驾驶员的眼球行为取决于道路前方空间的状况而明显不同。在单调的道路区域等中不会出现值得注意的行为，通过简单被动的视线行为分析未必能够把握驾驶员的内部觉醒状态。相反，在按照本公开的处理中，向驾驶员呈现要主动凝视的问题，并进行在驾驶员的内部觉醒度高的情况下预计会出现的视线行为的分析。结果，能够高度精确地判定驾驶员的觉醒度的恢复状态。

由于这有点难以理解，因此通过使用一个例子来说明。

在这里假设的问题中，呈现其特征不是很清晰的多个动物剪影。

在所呈现的问题中，同时呈现多个剪影(图案)，并要求驾驶员从中选择具有不同特征的一个图案。

例如，随机排列两个或更多的食肉动物，此外只排列一个家畜动物，比如牛、羊或猪的剪影。

对于这样的视觉问题，驾驶员需要快速找出可能具有不同特征的图案，并检查该图案与排列在其周围的其他图形有什么不同，同时还检查是否存在具有相似特征的其他图案。因而，驾驶员进行顺序检查各个剪影以便分析各个图案的特征的过程。随着视线的移动，在视线的中心视野的图案的详细的特定部分的局部特征被接收到大脑中。

从将中心视野指向某个图案或事件到完成关于该图案或事件的理解和确定需要获取多少附加特征，这取决于人的参照记忆的能力、确定能力等而变化。

因而，观察行为在一些情况下持续更长的时间，而在一些其他情况下在短时间内完成。对于要求驾驶员判定颜色之间的差异的简单问题，要求驾驶员从具有明显差异的两个东西中选择一个东西的问题等，通过捕捉周边视野中的特征即可简单地完成判定，在一些情况下不会出现眼睛的局部搜索行为。因而，这样的问题不适合作为用于判定驾驶员的大脑活动状态的问题。

在要求驾驶员从多个动物剪影中选择具有不同特征的一个动物剪影的上述问题的情况下，视觉信息的确定过程和记忆参考过程同时并行进行。因而，这种问题对于评估驾驶员的大脑感性认知活动的过程来说是最佳的。

构成本公开的基础的技术在于分析伴随用于解决所呈现的问题的思考确定而出现的驾驶员的行为，具体地，眼球行为。

注意，可以使用的呈现问题的问题输出方式包括各种装置，比如在驾驶员的座位的仪表板、HUD(抬头显示器)、便携式终端或者声音合并呈现。由于驾驶员的行为因使用这些装置中的哪种装置而不同，因此在优选构成中，预先获取特定于驾驶员的特征，作为对应于每种输出装置的训练数据，并通过参考训练数据进行最终的觉醒度判定。

然而，应注意的是如果重复同样的问题，那么有可能发生不伴随思考的反射性操作，即，不需要大脑中的控制确定的活动的反射性操作。因而，在每个场合呈现多个问题中的一个不同问题，并且应避免呈现通过简单的预测即可得到其答案的问题。

人类的视野被分为周边视野和中心视野这两类，周边视野分辨率低，但是对动态变化极其敏感，而面积较小的中心视野可以分辨率高地获取细节信息，这成为确定的重要因素。

中心视野主要用于观察重要的信息，通过参考部分记忆和综合记忆对于观察到的信息进行处理。

在自然环境中，一个人在接收到来自动物或可以是在视线的周边视野中移动的危害物或游戏的其它等的运动的刺激时，就会引导他/她的视线。此时，在许多情况下，出现称为跳视(眼球转动)的眼球行为。然后，更高分辨率的视觉信息获取需要在眼睛的中心视野获取信息。细节信息由具有几度的视角的中心视野捕捉。

在如在上面所述的要求驾驶员从多个动物剪影中选择具有不同特征的一个动物剪影的需要确定的视觉问题的情况中，基于记忆的简单确定是不可能的情况下，捕捉为进行确切的确定所需的信息的视线行为是可能发生的，从而观察到某种行为，比如上面提及的眼球的注视或微跳视(眼球微转动)的可能性增加。

注意，在基于眼球的行为进行估计驾驶员的觉醒状态的处理的情况下，并非所有的驾驶员都必然表现出相同的行为。即，每个驾驶员具有不同的行动体验，并且即使他们看到相同的物体，在理解之前的过程也是不同的。有些人在当他们在其周边视野内捕捉到物体的轮廓的步骤时就完成了确定，而在其中心视野内捕捉目标的其他一些人却在一些情况下即使通过查看目标的细节也无法作出确定。在优选构成中，并不是对于所有的用户都进行相似的处理，而是基于特定于驾驶员的训练字典数据进行处理。这是因为有可能即使他们表现出相同的眼球行为，驾驶经验丰富的驾驶员、以驾驶汽车作为其职业的驾驶员(比如出租车驾驶员)和竞赛型驾驶员也具有与无经验的驾驶员的觉醒状态相比不同的觉醒状态。

因此，优选使用通过针对每个驾驶员的训练处理所生成的训练字典来进行觉醒度判定。

注意，在可能的系统中，例如，通过物理按钮的按压来检测呈现给驾驶员的问题的答案。然而，伴随按钮操作等而来的是繁琐。

按照本公开的处理不要求驾驶员进行操作，比如上面所述的按钮操作。它只通过传感器来分析驾驶员的眼球行为，不会给驾驶员带来输入答案的负担。

驾驶员将他/她的视线移动到呈现问题的信息显示区，感知信息，并与智能认知即记忆进行核对。然而，驾驶员并不仅仅通过引导他/她的眼球使得视觉信息到达他/她的视网膜来完成认知工作，认知工作还需要基于作出确定所必需的记忆来理解和完成。

在这些处理的过程中，由于捕捉缺失的信息或者捕捉视网膜的时间变化的必要性，观察到某种行为，比如上面提及的眼球的注视或微跳视(眼球微转动)。

例如，在重复向驾驶员呈现问题同时通知恢复手动驾驶的处理的情况下，驾驶员记住这是系统进行的觉醒度认知过程。结果，仅仅根据驾驶员已将他/她的视线指向目标的事实，难以利用诸如颜色的选择之类的简单问题来确定大脑中是否已开始足够的目标把握工作。

相反，在需要确定的视觉问题，比如上面提及的要求驾驶员从多个动物剪影中选择一个具有不同特征的动物剪影的问题的情况下，仅仅通过将眼睛的中心视野指向问题目标，未必能够令人满意地获取为确定所需的信息，从而有必要另外获得信息。

作为人类的视觉行为特征，在人将他/她的视线指向目标以看到所述目标的情况下，在通常通过跳视来引导视线的中心视野、理解所看到的目标、并完成确定的过程中，表现出诸如微跳视(眼球微转动)或注视之类的特征捕捉行为，以便进一步捕捉为确定所必需的缺失信息。

注意，如前所述，在通过眼球行为分析进行驾驶员的行为分析的情况下，优选使用通过用特定于驾驶员的行为特征的分析进行训练而获得的分类器。

在按照本公开的处理中，进行视觉信息的呈现，并且分析当人检查所述视觉信息时表现出的眼球行为。当呈现视觉信息，并且驾驶员在不存在他/她的意识的过度操作的情况下凝视所述问题时，出现驾驶员的用于搜索答案的眼球行为，并直接分析所述搜索行为。即，驾驶员视觉上查看所述问题，并且在不进行答案的表达或按钮的操作的独立工作的情况下，根据视线的行为观察可以分析思维活动的状态。

驾驶员开始通过使用他/她的视线凝视问题，通过分析在驾驶员继续进行理解的情况下的眼球行为，可以估计觉醒度水平。以这种方式，按照本公开的处理使得可以从视线的行为观察，判定思维活动的状态，即，驾驶员的觉醒度，而不伴随由按钮操作等引起的繁琐。

例如，当在从自动驾驶到恢复手动驾驶的转变过程中在显示部上显示转换到手动驾驶的通知时，在所述显示部上显示问题。

所述问题显示在驾驶员可以凝视该问题的显示部(界面)，比如控制面板或HUD上，并分析驾驶员的眼球行为。这种处理使能够在短时间内判定驾驶员的觉醒度。

可以使用的问题的例子包括各种各样的问题，比如要求驾驶员在背景中有灌木的情况下找出特定昆虫的问题，要求驾驶员寻找藏在茂密森林中的鸟儿的问题，或者要求驾驶员在一片草地中寻找四叶的三叶草的问题。

注意，为了判定觉醒度或其觉醒度水平，不一定必须获得问题的正确答案。即使在答案不正确的情况下，也存在检测到驾驶员的踩踏踏板等的操作的某种回答或反应的可能性。基于这种反应，可以进行判定驾驶员的觉醒度的处理。注意，在觉醒度很高的情况下，为了继续进行观察以便理解可能存在呈现信息的变化的部分，在视线被指向成为目标的图像组之后，会间歇地出现注视或微跳视操作。在获得这种观察行为信息的情况下，根据特定于行为的分析，可以判定驾驶员的觉醒度高。

如果视觉问题的答案是灯的颜色、简单的数值等，那么不会出现这种搜索行为的表象，因为当在周边视野的轮廓处捕捉到线索的时刻，已经可以预测答案，并且即使不在中心视野内查看各个灯或数值，也可以知道答案。另外，即使在稍微复杂的问题的情况下，印象过于强烈的同样问题和特征的重复会深刻地留在记忆中。通过经由呈现各种问题比如在下面的项目5中说明的问题来随机地进行问题呈现，或者通过由定期远程更新问题来消除相同问题的重复，可以避免搜索行为的表象的退化。

[4.关于信息处理设备中的觉醒度判定处理的执行构成]

下面，说明用于由按照本公开的移动设备和信息处理设备执行觉醒度判定处理的构成。

按照本公开的移动设备或者可以安装在所述移动设备上的信息处理设备进行在不给驾驶员带来很大负担的情况下在短时间内判定驾驶员的觉醒度的处理。

判定驾驶员的觉醒度的处理在图1中所示的汽车10的驾驶员信息获取部12和数据处理部11执行。

参考图6，说明执行判定驾驶员的觉醒度的处理的具体构成的例子。

图6描述数据处理部11、驾驶员信息获取部12、显示部16和显示信息存储部17。

注意，图6是描述安装在按照本公开的移动设备上的信息处理设备的部分构成的图。即，图6是描述应用于下面说明的按照本公开的处理，即，驾驶员的觉醒度判定的所选组成元件的方框图。

驾驶员信息获取部12具有前面参考图4说明的构成，图6中只描述了以下两种构成。

所述两种构成是驾驶员面部跟踪部(驾驶员面部跟踪器)51和驾驶员眼球跟踪部(驾驶员眼球跟踪器)52。

这两种构成例如包括摄像机、面部检测传感器、眼球位置检测传感器等。

由驾驶员面部跟踪部(驾驶员面部跟踪器)51检测的驾驶员的面部和头部的运动信息被输入到数据处理部11的显示部选择部62。

由驾驶员眼球跟踪部(驾驶员眼球跟踪器)52检测的驾驶员的眼球的运动信息被输入到数据处理部11的驾驶员眼球行为分析部63。

尽管这些构成，即图6中所示构成之中的驾驶员面部跟踪部51、眼球跟踪部52和数据处理部11被单独描述成独立的构成，不过，它们的部分或全部功能可以集成和吸收到图像传感器元件中，从而形成单块构成。将需要特别高速处理的处理布置在图像传感器的背面或附近有助于抑制快速信号线的布置，以及抑制噪声生成。

数据处理部11具有显示信息生成部61、显示部选择部62、驾驶员眼球行为分析部63、驾驶员眼球行为学习器64和驾驶员觉醒度判定部65。

显示信息生成部61生成要显示在显示部16上的问题。具体地，显示信息生成部61生成问题，比如上面说明的要求驾驶员从多个动物剪影中选择具有一个不同特征的图案的问题。显示信息存储部17将可用于产生各种问题的数据存储在其中。

注意，问题的具体例子在后面说明。

显示部选择部62选择将显示由显示信息生成部61生成的问题的显示部。

如图中所示，显示部16包括各种形式的显示部，比如显示部A(仪表板)71、显示部B(前窗显示部)72、显示部C(可穿戴式/便携式显示部)73或显示部D(抬头显示器)74。

基于由驾驶员面部跟踪部(驾驶员面部跟踪器)51检测的驾驶员的面部和头部的运动信息，显示部选择部62选择在驾驶员的视线之前的显示部作为将显示由显示信息生成部61生成的问题的显示部，并使所选择的显示部显示该问题。

驾驶员眼球行为分析部63接收由驾驶员眼球跟踪部(驾驶员眼球跟踪器)52检测的驾驶员的眼球的运动信息作为输入，并分析驾驶员的眼球的运动。

当由显示信息生成部61产生的问题被显示在显示部16上时，驾驶员将他/她的视线移动到该问题，以便获取问题的答案。例如，如前所述，需要确定的视觉问题，比如要求驾驶员从多个动物剪影中选择具有一个不同特征的动物剪影的问题被显示在显示部16上。为了获取问题的答案，驾驶员进行眼球行为以便另外获取必要的信息。例如，驾驶员进行诸如眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)之类的眼球行为。

驾驶员眼球行为分析部63分析驾驶员的眼球行为。

通过驾驶员眼球行为分析部63的分析而获得的眼球行为信息被输入到驾驶员觉醒度判定部65。

基于通过驾驶员眼球行为分析部63的分析而获得的眼球行为信息，驾驶员觉醒度判定部65判定驾驶员的觉醒度。

在确认驾驶员正在进行诸如用于解决问题的眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)之类眼球行为的情况下，驾驶员觉醒度判定部65判定驾驶员的觉醒度高。另一方面，在未观察到这些眼球行为的情况下，或者在未充分观察到这些眼球行为的情况下，驾驶员觉醒度判定部65判定驾驶员的觉醒度低。

参考图7，说明由驾驶员眼球行为分析部63分析的眼球行为的具体例子。

眼球行为分析是检查驾驶员的意识恢复的有效手段。注意，通常已知例如通过分析视线指向的方向，可以分析视线。通过使该技术进一步发展并且高速地进行视线行为的分析，更详细的眼球行为检测成为可能。

尽管在详细的眼球行为分析中存在表现为活体形式的反射性行为的一些行为，不过这些行为同时表现出似乎反映大脑中的神经传递和过程的许多现象。因而，诸如大脑的认知之类的活动的结果被反映出来，并成为明显的形式。

通过使用眼球行为反映大脑中的活动这一事实，可以高度准确地估计驾驶员的觉醒度水平。

一个人在他/她进行为采取行动所必需的情况确定的情况下获取的大量外界信息是从视觉信息获得的。当一个人感知视觉信息，识别视觉信息并采取行动时，该人将他/她的视线指向该信息，并进行该信息与他/她的记忆(记录的知识)的比较参考。已知直到一个人理解在他/她的视线之前的信息为止，在保持使他/她的视线朝向能够看到所述信息的部分，或者朝向所述部分附近的同时，他/她会表现出为视觉信息认知所必需的特定眼球行为，比如微注视、微跳视、颤动或漂移。

眼球行为取决于人是处于正常的觉醒状态还是处于低意识/觉醒状态而不同。

图7描述在呈现要求驾驶员查看某条信息的视觉问题时驾驶员的眼球行为的轨迹的一个例子。

在图7中所示的例子中，描述了在人首先凝视在区域a附近的部分之后凝视在区域b附近的部分时的眼球行为的轨迹。

当一个人试图凝视某条信息(问题)并理解内容时，他会进行像图7中描述的行为轨迹一样较大的称为跳视的眼球转动。该人将他/她的眼球指引向预定的凝视部分，并进行伴随预定可视部分附近的注视和作为对局部区域的微眼球转动操作的微跳视的眼球行为。

如上所述，当一个人有意识地从视觉信息中获取必要信息，并进行必要的判定时，为了获得信息，会出现特有的眼球行为。另一方面，如果人的意识降低，并且视觉信息搜索不足，那么会干扰为确定和获取信息的注视所必需的眼球行为。图8描述用于说明在呈现要求驾驶员查看信息的视觉问题时驾驶员的眼球行为的轨迹的例子，以及用于说明在不同觉醒状态的情况下行为之间的差异的图。图8(a)是描述问题的图。

问题＝数小动物

这是所述问题

视线的移动顺序取决于查看该问题的人而不同。存在各种受试对象。一些受试对象首先将他们的视线指向作为问题的问题文本“Q”，一些受试对象查看答案“Ans”，然后查看问题文本“Q”，然后看阵列的整个图画，而一些受试对象扫视答案剪影的信息，然后查看问题。对于大脑中的活动的评估来说重要的是关于评估时作为受试对象的驾驶员是否表现出开始进行搜索/注视的行为的评估，所述搜索/注视对在此时获取并检查答案所需的信息是必要的。

下面以图8(b)和(c)中描述的观察数据为例进行说明。(b)描述当驾驶员在高度觉醒状态下对问题作出反应时所表现出的眼球行为。另一方面，(c)描述在驾驶员的视觉问题处理能力较低时所表现出的眼球行为的轨迹的例子。(c)描述一个例子，其中尽管驾驶员的眼睛是睁开的，但驾驶员在这种状态下不足够觉醒以处理该问题，并且正因为如此，在包括眼球的跳视的视觉信息搜索中，眼球行为明显地表现出所谓的目光漂移的趋势。

由于这受到属于个体的倾向的影响，比如作为行为特征的斜视或优势眼、或者伴随该日的身体状况的视力变化的影响，因此可取的是进行考虑到个体的特征的状态标识来进行觉醒度判定，更好的是通过在标识驾驶员是谁之后考虑到每个个体的特征来进行判定。

例如，为了检查驾驶员在自动驾驶期间是否保持清醒，需要进行定期监控。为了在不过分打扰驾驶员的情况下进行监控，例如，系统向驾驶员呈现需要思考确定的符号，并观察眼球行为。在作为所述观察的结果，观察到驾驶员目前能够利用他/她的视线进行思考检查操作的情况下，推测驾驶员将大脑中的思维活动优先用于进行问题处理，而不再仍然沉浸在另外的次要任务中。

另外，系统可以通过检测驾驶员的视线指向呈现信息，并进一步通过凝视来进行所述检测的认知，从而进行确定认知完成的处理。

注意，基于眼球行为的觉醒度判定处理优选使用特定于驾驶员的训练数据。所述训练数据由驾驶员眼球行为学习器64生成。或者，在另外的可能构成中，所述训练数据可以由外部服务器生成。

驾驶员眼球行为学习器64接收通过驾驶员眼球行为分析部63的分析所获得的眼球行为信息作为输入，接收由驾驶员觉醒度判定部65基于眼球行为信息所判定的驾驶员的觉醒度信息作为输入，此外还接收驾驶员的驾驶操控信息作为输入。

基于输入的信息，驾驶员眼球行为学习器64学习驾驶员的眼球行为与在表现出这些眼球行为时的驾驶员的觉醒度水平之间的正确对应关系，并将所述对应关系作为训练数据存储在存储部中。在另外的可能构成中，这些处理可以由外部服务器执行。

另外，驾驶员眼球行为学习器可以进行与由下面提及的另外的生命传感器获得的驾驶员生命信号的相关性的联锁学习，并输入诸如一天中的使用时段之类的影响因素，以进行适应情况的判定，从而试图提高判定的精确性。

驾驶员觉醒度判定部65接收通过驾驶员眼球行为分析部63的分析所获得的眼球行为信息作为输入，并使用该输入信息和由驾驶员眼球行为学习器64生成的训练数据来进行更精确的觉醒度判定。

注意，在不存在训练数据的情况下，或者在训练数据的量不足的情况下，在另外的可能构成中，可在不使用训练数据的情况下，使用典型眼球行为与觉醒度之间的对应数据(人类的平均数据)来进行觉醒度判定。

注意，如前所述，驾驶员眼球行为分析部63获取诸如作为驾驶员用于解答问题的眼球行为的眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)之类的眼球行为。驾驶员眼球行为学习器64反复接收与驾驶员的觉醒度相应的行为特征作为输入，并进行累积学习，以构建用于根据眼球行为进行觉醒度判定的字典。该字典用于根据新观察到的眼球行为特征，估计用户在观察时的觉醒状态。

[5.关于向驾驶员呈现的用于判定驾驶员的觉醒度的问题的具体例子]

下面，说明向驾驶员呈现的用于判定驾驶员的觉醒度的问题的具体例子。

如上所述，例如，安装在按照本公开的移动设备上的信息处理设备在自动驾驶的执行期间，向用户呈现预定问题，分析作为对问题的反应的驾驶员的眼球行为，并基于眼球行为判定驾驶员的觉醒度。

例如，在从自动驾驶区域进入手动驾驶区域之前的步骤，向驾驶员呈现问题，分析作为对问题的反应的驾驶员的眼球行为，并判定驾驶员的觉醒度。

当按照恢复由驾驶员手动驾驶的程序，重新开始通过方向盘或制动器的实际操控时，应总是伴随根据视觉信息的认知确定。即，大脑的觉醒度的恢复是手动驾驶程序中的基本要求。驾驶员查看物体，并使用视觉上获得的信息来获取操作所必需的信息。

因而，如果能够分析为操作所需的大脑中的感知确定活动，那么可以判定驾驶员是否具有足以进行手动驾驶的确定能力，即，驾驶员是否处于高度觉醒的状态。

按照本公开的信息处理设备在恢复手动驾驶之前，向驾驶员呈现视觉问题，并分析在解答问题时出现的驾驶员的眼球行为。此外，基于眼球行为观察结果，评估驾驶员的觉醒度。

在按照本公开的构成中呈现给驾驶员的视觉问题是使得驾驶员需要进行另外搜索为解答该视觉问题所需的缺失信息的工作的问题。

如果进行这种另外搜索缺失信息的过程，那么会出现诸如眼球的注视或微跳视(眼球微转动)之类的眼球行为。

如前参考图6和图7所述，驾驶员眼球行为分析部63接收由驾驶员眼球跟踪部(驾驶员眼球跟踪器)52检测的驾驶员的眼球的运动信息作为输入，并进行驾驶员的眼球行为分析。

驾驶员眼球行为分析部63进行关于是否观察到作为驾驶员的眼球行为的诸如眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)之类的眼球行为的分析

通过驾驶员眼球行为分析部63的分析所获得的眼球行为信息被输入到驾驶员觉醒度判定部65，并且基于通过驾驶员眼球行为分析部63的分析所获得的眼球行为信息，驾驶员觉醒度判定部65判定驾驶员的觉醒度。

在确认驾驶员进行诸如用于解答问题的眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)之类眼球行为的情况下，驾驶员觉醒度判定部65判定驾驶员的觉醒度高。另一方面，在未观察到这些眼球行为的情况下，或者在未充分观察到这些眼球行为的情况下，驾驶员觉醒度判定部65判定驾驶员的觉醒度低。

下面，说明通过由按照本公开的信息处理设备的数据处理部11的显示信息生成部61生成，或者通过从显示信息存储部17选择并获取而呈现给驾驶员的问题的具体例子。

图9是描述问题的一个例子的图。

在图9中所示的例子中，并排显示多个动物剪影，并以问题句的形式呈现问题“查看具有长尾巴的动物”。

作为动物剪影，显示6种剪影，

(a)羊，

(b)鹿，

(c)熊，

(d)猪，

(e)马，和

(f)长颈鹿。

在呈现作为问题句的问题“查看具有长尾巴的动物”的情况下，如果假设驾驶员的觉醒度足够高，那么预测驾驶员将按照以下步骤(S1～S3)进行眼球行为来解答问题。

(S1)将眼球的视线朝向问题显示部，以便检查问题的跳视(眼球转动)，和阅读该问题时的注视。

(S2)查看每个剪影的行为(扫视并排显示的全部剪影的过程，这是查看整体而不关注特定剪影的视线移动过程)。

(S3)进行将视线指向作为正确答案的目标的特定剪影的跳视(眼球转动)，和分析该特定剪影，并检查该特定剪影的特征部分，比如尾巴和头部的注视的过程。

此外，在出现检查是否存在被忽视信息的操作的情况下，存在作为步骤(S4)，驾驶员产生还使他/她的眼球注视被认为是不正确答案的其他目标的眼球行为的可能性。

特别地，在问题呈现的正确答案的数量不是一个，而是多于一个的情况下，为了进行检查是否存在被忽视信息的处理，很有可能会出现对许多剪影的注视。

当驾驶员完成将他/她的视线指向所有剪影时，可以判定该问题结束，可以呈现下一个问题。

这种情况下，作为步骤(S5)，预测驾驶员的视线跳视移动到下一个问题呈现部分。

例如，预计驾驶员进行上述步骤(S1)～(S5)的眼球行为。然而，应注意的是这些是在驾驶员的觉醒度足够高，并且驾驶员有解答问题的意愿的情况下观察到的行为。

为了搜索解答问题所需的信息，即，为了进行额外的搜索以额外获得缺失的信息，驾驶员将他/她的视点指向特定的图像显示区，进行注视，获取为确定所需的视觉信息，并进行核对获取信息与记忆的处理。此外，驾驶员产生诸如微跳视(眼球微转动)或注视微移动之类的行为，以便搜索另外和周边特征，从而补偿理解的完成。

在观察到此类行为的情况下，表示驾驶员正在尝试解答问题，可以确定驾驶员的觉醒度足够高。

例如，在驾驶员正在尝试通过接收物理且光学地到达视网膜从而进入大脑中的视觉信息来解答问题，并与记忆进行核对的情况下，驾驶员产生上述步骤(S1)～(S3)的相继行为。另一方面，在驾驶员只进行仅仅反射性地将视线指向特征部分的情况下，根本观察不到上述步骤(S1)～(S3)的相继行为，或者发生其中只观察到上述步骤(S1)、上述步骤(S2)或上述步骤(S3)的状态。

在驾驶员的觉醒度高的状态，即，驾驶员有解答问题的意愿的状态和驾驶员的觉醒度低的状态，即，驾驶员没有解答问题的意愿或者所述意愿较弱的状态之间，这样观察到的驾驶员的眼球行为明显不同。

安装在移动设备上的按照本公开的信息处理设备向驾驶员呈现如图9中所示的视觉问题，分析在所述呈现之后驾驶员的眼球行为，并判定驾驶员是否正在进行用于解答问题的眼球行为(例如，上述步骤(S1)～(S3))。如果驾驶员正在进行所述眼球行为，那么判定觉醒度高，如果驾驶员没有进行所述眼球行为，那么判定觉醒度低。

在进行驾驶员的觉醒状态的确定的情况下重要的是驾驶员是否能够参考为在驾驶员的大脑中进行的情况确定所必需的记忆，并且作为其结果，能够进行动作规划，以确定相关的智能部分的恢复状态。

其中，动作规划以及为作为实际驾驶操作的操控所必需的用于移动身体的神经传递和肌肉恢复不能仅仅通过眼球行为分析来观察。然而，为确定所必需的视觉信息的获取需要伴随眼球行为的目视检查。

例如，为了直观地把握危险情况以及把握周围的情况，以避免危险，例如，把握道路上的障碍物、诸如迎面而来的汽车或山丘之类的危险物体、由于没有障碍物从而汽车可以移动到的方向或空间等，需要用于目视检查它们的眼球行为。

尽管例如仅仅通过眼球行为的分析难以完全检查大脑的整个觉醒度，但是有可能确定大脑是否处于在其中为动作规划所必需的大脑活动是可能的的状态，而该动作规划对于手动驾驶是必不可少的，并且，按照本公开的基于问题呈现的驾驶员的眼球行为分析所进行的觉醒度判定，可以说为判定驾驶员是否觉醒到足以进行手动驾驶提供了充分的优势。

然而，应注意的是不可能肯定仅仅根据眼球行为确定的驾驶员的手动驾驶恢复能力完全反映驾驶员的动作确定、神经传递和肌肉恢复。因而，设置在移动设备上的系统(信息处理设备)还在驾驶员开始手动驾驶之后进行操控动作的评估。另外，还评估自从在驾驶员坐在驾驶员座位之前请求驾驶员恢复手动驾驶的通知定时，直到驾驶员坐在驾驶员座位并恢复驾驶姿势为止进行的动作。设置在移动设备上的系统(信息处理设备)使用评估信息来生成用于基于例如眼球行为判定驾驶员的觉醒度的训练数据。注意，所述训练数据优选是作为特定于驾驶员的训练数据生成的。

注意，在一些情况下，驾驶员在驾驶员坐在驾驶员座位上的状态下，即，在驾驶员处于驾驶恢复姿势的状态下接收请求恢复手动驾驶的通知。在这种情况下，诸如返回驾驶员座位的动作之类的恢复手动驾驶的动作几乎根本不会发生。这种情况下关于驾驶员的觉醒度的判定并不存在其中可以观察到驾驶员的恢复动作的许多步骤，可以依据其进行评估的目标动作有限，而从眼球行为的分析得到的信息是可以依据其直接观察驾驶员的觉醒状态的少数观察目标之一。

根据眼球行为分析，估计驾驶员的内部觉醒状态，如果确定驾驶员大脑中的觉醒度较高，且判定满足开始恢复手动驾驶所必需的条件，那么允许驾驶员开始手动驾驶。

在开始手动驾驶之后，在正在完成从自动驾驶到手动驾驶的转换时，在逐渐将已托付给系统的驾驶设备的操控托付给驾驶员的过程中，监控驾驶员的操控。在判定驾驶员施加于方向盘的扭矩或驾驶员施加于转向设备的转向力不适当的情况下，或者在确认其中转向不能被确认的状态或另外的类似状态的情况下，系统(信息处理设备)判定驾驶员的手动驾驶恢复能力不足，并采取诸如紧急减速、慢行、靠边停车、撤离或停车之类的措施。

注意，不仅根据眼球的行为，而且基于比如下面提及的各种处理，进行在驾驶员开始手动驾驶之后的手动驾驶恢复质量的评估。

(1)通过在稳定状态下进行监测的状态评估

(2)关于是否存在对于恢复通知的响应的评估，以及诸如指向和调用之类动态动作的准确性的评估

(3)响应质量的评估

(4)恢复姿势的转变的评估

(5)座位转变和就座姿势的评估

(6)PERCLOS(眼睛的张开程度)评估

(7)按照本公开的通过眼球行为分析的内部觉醒度评估

(8)转向设备等的操控的适当性的评估

(9)操控噪声校正的适当性的评估

连同基于眼球行为的觉醒度评估一起，还进行上述各种评估处理，以评估驾驶员恢复手动驾驶的质量。

以这种方式，按照本公开的信息处理设备不仅在驾驶员的大脑活动的认知步骤判定觉醒状态，而且在随后开始手动驾驶之后，进行手动驾驶恢复质量的评估。

注意，在向驾驶员呈现导致视线行为的出现的问题的情况下，如果重复显示具有相同剪影的图案，或者问题单调，并且使用具有明显差异的图案，那么驾驶员通过使用通过在他/她的周边视野中捕捉问题而获得的信息即可作出确定，从而在不检查细节的情况下就可以简单地得出答案。在这种情况下，驾驶员在不产生以检查细节为目的的眼球行为的情况下，通过回答来完成工作。

下面参考图10，说明其中问题单调，并且使用具有明显差异的图案的具体例子。

在图10中所示的例子中，并排显示两个动物剪影，并且以问题句的形式，呈现问题“查看具有长尾巴的动物”。

作为动物剪影，显示2种动物剪影，

(a)马，和

(b)兔子。

(a)马的图案是其尾巴被清楚地画出的图案。

在呈现作为问题句的问题“查看具有长尾巴的动物”的情况下，几乎所有的应答者都能立即确定图案中哪种动物具有长尾巴，而不用指引视线并且费力和仔细地凝视马尾和兔子图案的细节。

在第一次看到问题的情况下，驾驶员可能会详细查看问题，但这样做并不是因为它是确定答案所必需的。相反，这仅仅是出于对哪种图案用于问题呈现的兴趣而进行的眼球行为。出于兴趣的这种眼球行为最终导致在重复以相同的排列显示相同动物的相同图案之后，在无需在中心视野内捕捉目标的周边视野内捕捉目标的步骤即可作出确定。因而，观察到作为用于检查细节特征的操作而预期的注视，比如微跳视(眼球微转动)为特征的眼球行为的可能性降低。如果出现这种情况，那么难以基于眼球行为来判断驾驶员大脑中的觉醒度。

为了通过使用眼球行为分析来判定驾驶员的觉醒状态，优选总是呈现新的问题。例如，在一种可能的构成中，对于问题可以使用随着时刻变化的驾驶景观的一部分。

例如，在汽车行驶在充满各种风景的市区或类似地方，并且存在当驾驶员进行手动驾驶时，驾驶员会将他/她的视线移动到的大量目标的情况下，在一种可能的构成中，可以进行驾驶员对与驾驶员的视线所指向的驾驶方向的景观对应的地图(显著图)的眼球行为的分析。在这种构成中，还可以不断地判定驾驶员的内部觉醒度。

然而，在单调的高速公路和不会出现特征、前方车辆、信号等的道路驾驶区域中，不太可能进行对于判定驾驶员的觉醒度来说有效的眼球行为。即，这是其中不能稳定地预期驾驶员的行为分析的情况。

在这种情况下重要的是总是稳定地触发与注视搜索对应的眼球行为的信息呈现。为此，有必要抑制重复，并且生成和呈现不会降低敏感性的信息。

为了减少重复，有必要准备多种不同的问题。下面，说明问题的设置例子。

(1)要求驾驶员按照动物体重的降序，查看多种动物剪影的问题

(2)包括在以各种角度单独旋转动物剪影的状态下显示动物剪影，并要求驾驶员查看旋转后的剪影并判定动物类型的过程的问题

(3)其中通过排列来显示相似图案，并且为了确定图案之间的差异，需要通过注视各个图案的特征来检查图案的问题

(4)其中排列多道菜肴，并要求判定每道菜肴是日本料理还是西餐的问题

(5)其中随机显示A、B、C等，并要求顺序查看各个字符的问题

(6)其中家畜被设定为显示图案的问题

(7)其中宠物被设定为显示图案的问题

(8)其中家禽被设定为显示图案的问题

(9)其中鱼类被设定为显示图案的问题

(10)其中昆虫被设定为显示图案的问题

例如，在一种优选构成中，这些许多问题被存储在图6所示的显示信息存储部17中，显示信息生成部61从这些问题中选择并呈现问题，使得不会重复相同的问题。

图11描述问题的一个例子。

尽管在图11中所示的例子中，类似于图9和图10，也并排显示了多种动物剪影，不过以问题句的形式，呈现了问题“选择可以是宠物的动物的数量”。

作为动物剪影，显示了5种动物剪影

(a)秋田犬，

(b)奶牛，

(c)熊，

(d)贵宾犬，和

(e)狮子

并且连同动物剪影一起，在上部显示可选择的数值1～5。

在以问题句的形式，呈现“选择可以是宠物的动物的数量”的情况下，如果假设驾驶员的觉醒度足够高，那么预测驾驶员按照以下步骤(S1和后续步骤)进行眼球行为，以便解答问题。

(S1)检查问题

(S2)把握全部的动物剪影

(S3)检查通过周边视野从整体观察获得的信息与大脑中的记忆之间的相关性，并开始跳视(眼球转动)进行个别注视，以便检查估计为符合宠物条件的目标剪影

(S4)注视动物剪影(a)秋田犬

(S5)进行微跳视(眼球微转动)，检查作为在中心视野内看到的局部部分的特征的头部，以便判定动物剪影(a)是否是狗的剪影

(S6)将视点移动到另外的动物剪影的跳视(眼球转动)

(S7)注视动物剪影(e)狮子

(S8)进行微跳视(眼球微转动)，检查作为在中心视野内看到的局部部分的特征的头部和尾巴，以便判定动物剪影(e)是否是狗的剪影，并确定动物剪影(e)是狮子的剪影

(S9)将视点移动到另外的动物剪影的跳视(眼球转动)

(S10)注视动物剪影(d)贵宾犬

(S11)立即判定动物剪影(d)是狗的剪影，而不进行微跳视(眼球微转动)

(S12)将视线指向在(S2)把握全部的动物剪影时已进入视野，并被暂时判定为不符合宠物条件的动物剪影(b)和(c)，并再次检查他们不符合宠物条件

(S13)将视线移向作为答案选项的数值[2]的跳视(眼球转动)

注意，在驾驶员不自信的情况下，在一些情况下，伴随跳视(眼球转动)，视线可能被移向剪影(b)和(c)，以便检查特征。

安装在移动设备上的按照本公开的信息处理设备例如向驾驶员呈现与图11中所示类似的视觉问题，分析在所述呈现之后驾驶员的眼球行为，并判定驾驶员是否进行用于解答问题的眼球行为(例如，上述步骤(S1)～(S13))。例如，如果进行了近似类似于上述步骤(S1)～(S13)的眼球行为，那么判定觉醒度高，如果没有，则判定觉醒度低。

注意，在信息处理设备的觉醒度判定不需要判定驾驶员的眼球行为是否完全匹配上述步骤(S1)～(S13)。例如，在例证处理中，如果执行了上述步骤(S1)～(S13)中的一半(50％)或更多，那么判定觉醒度高，如果否，则判定觉醒度低。

注意，查看剪影的顺序不限于上述例子中的顺序。例如，可以基于是否对于一种或多种动物剪影进行了用于标识某种动物是符合宠物条件还是不符合宠物条件的微跳视(眼球微转动)，来进行觉醒度评估。

图12描述问题的不同例子。

在图12中所示的例子中，同样并排显示多种动物剪影，不过以问题句的形式，呈现问题“按动物体重的降序，将视线移动到动物上”。

作为动物剪影，显示了5种动物剪影

(a)河马，

(b)马，

(c)蝙蝠，

(d)猪，和

(e)鼠。

在以问题句的形式，呈现“按动物体重的降序，将视线移动到动物上”的情况下，如果假设驾驶员的觉醒度足够高，那么预测驾驶员按照以下步骤(S1和后续步骤)进行眼球行为，以便解答问题。

(S1)检查问题

(S2)把握全部的动物剪影

(S3)检查通过周边视野从整体观察获得的信息与大脑中的记忆之间的相关性。对于难以确定的剪影，通过跳视(眼球转动)将视线移向这种剪影，以便检查特征，并且进行注视或微跳视(眼球微转动)，以便进一步检查局部特征。

(S4)当不再存在无法确定的目标时，从较大的物体顺序进行跳视(眼球转动)，并移动视线。

注意，在确定不明确的情况下，在执行(S4)的视线移动的步骤，有可能发生用于再次检查的注视或微跳视(眼球微转动)。

安装在移动设备上的按照本公开的信息处理设备例如向驾驶员呈现与图12中所示类似的视觉问题，分析在所述呈现之后驾驶员的眼球行为，并判定驾驶员是否进行用于解答问题的眼球行为(例如，上述步骤(S1)～(S4))。例如，如果进行了近似类似于上述步骤(S1)～(S4)的眼球行为，那么判定觉醒度高，如果没有，则判定觉醒度低。

注意，例如，可以基于是否对于一种或多种动物剪影进行了微跳视(眼球微转动)来进行觉醒度评估。

图13描述了另一个问题例子。

图13中所示的例子是其中并排显示多种鱼类、海洋生物类等，并以问题句的形式呈现问题“其中有多少种鱼类”的例子。

作为剪影，显示6种剪影

(a)金枪鱼，

(b)海豚，

(c)金鱼，

(d)鳐鱼，

(e)鲸，和

(f)海马

并且连同动物剪影一起，显示选择1～4。

注意，图中所示的虚线框被描述成例证答案，但是不包含在所显示的问题中。

在以问题句的形式，呈现“其中有多少种鱼类”的情况下，如果假设驾驶员的觉醒度足够高，那么估计作为用于解答问题的眼球行为，驾驶员进行与前面参考图11说明的关于问题“选择可以是宠物的动物的数量”的行为类似的过程。

即，进行与下面所述步骤类似的步骤。

(S1)检查问题

(S2)把握全部的剪影

(S3)检查通过周边视野从整体观察获得的信息与大脑中的记忆之间的相关性，并开始跳视(眼球转动)进行个别注视，以便检查估计为鱼类的目标剪影

(S4)进行依次检查各个剪影的跳视(眼球转动)，并在难以确定的情况下，进行检查各个剪影的局部部分的特征的注视或微跳视(眼球微转动)。

(S5)将视线移向作为答案选项的数值[3]的跳视(眼球转动)

按照本公开的信息处理设备例如向驾驶员呈现与图13中所示类似的视觉问题，分析在所述呈现之后驾驶员的眼球行为，并判定驾驶员是否进行了作为用于解答问题的眼球行为的上述步骤。如果进行了近似类似于上述步骤的眼球行为，那么判定觉醒度高，如果没有，则判定觉醒度低。

注意，尽管图13中所示的问题要求驾驶员回答鱼类的数量，不过，例如，如果该问题被重复呈现，那么视线行为会改变。

在驾驶员第一次看到图13中所示的问题的情况下，可能所有的剪影(a)～(f)看起来都像鱼类。

或者，例如，预计驾驶员会对(d)鳐鱼、(f)海马等产生怀疑，并进行注视或微跳视(眼球微转动)，以便检查细节。

另一方面，在向见过图13中所示问题的驾驶员再次呈现相似问题或相同问题的情况下，存在驾驶员在不查看细节的情况下，在首先用周边视野观察全部的多种剪影的步骤就完成确定的可能性。在这种情况下，存在不进行注视或微跳视(眼球微转动)，以便检查局部特征的可能性。即，就具有某种特征的目标来说，在关于该目标所询问的问题的答案并没有立即与记忆联系起来的情况下，预计会观察到通过用于检查细节的微跳视来查看细节的行为。另一方面，由于海马等的特征过于显著，从而它们在记忆中印象过于强烈。于是，在捕捉它们的剪影的步骤即可完成确定。具有在下面例示的其他情况中描述的各种变化的问题呈现是用于在驾驶员仅用周边视野捕捉概况的步骤抑制可预测性，并且总是提示驾驶员用中心视野进行检查以在大脑中进行确定的巧妙方式的一部分。

然而，应注意的是，由于(b)海豚和(e)鲸的轮廓看起来与鱼类相似，但是它们不是鱼类，因此也存在进行认真查看它们尾部的特征、它们头部的特征等的注视或微跳视(眼球微转动)的可能性。

作为用于检查局部特征的行为的注视或微跳视(眼球微转动)取决于在驾驶员看到成为问题的图案的特征时她/他的经验、记忆等而不同。

图14至图16描述其他问题例子。

图14描述显示多种动物剪影，并要求驾驶员选择食肉动物的数量的问题。

注意，图中所示的虚线框被描述成例证答案，但是不包含在所显示的问题中。

图15描述显示多种厨房用具和食材的剪影，并要求驾驶员选择与日本料理对应的剪影的数量和与西餐对应的剪影的数量的问题。

注意，图中所示的虚线框被描述成例证答案，但是不包含在所显示的问题中。

图16描述显示各种剪影，并要求驾驶员选择颠倒显示的剪影的数量的问题。

下面，说明不使用动物的图像或物体剪影的图像，而是使用字符的问题的例子。

图17描述随机显示其中混合地存在大写字母和小写字母的字母字符，并以问题句的形式呈现问题“将视线移向框中的大写字母”的例子。

驾驶员进行作为眼球行为的跳视(眼球转动)、注视、微跳视(眼球微转动)等，以将他/她的视线移向显示在框中的多个字母中的大写字母。

此外，可以另外进行具有在不同位置的框，并且要求驾驶员将视线指向小写字母的问题。

通过以这种方式改变问题，要求驾驶员进行多种确定。为了解答多个不同的问题，驾驶员需要改变大脑中为进行确定所需的活动区域。因而，通过用这种复合问题来进行眼球行为分析，更精确的觉醒度判定成为可能。

图18描述随机显示其中混合地存在大写字母和小写字母的字母字符，并以问题句的形式呈现问题“将视线按字母顺序(ABC··)移向框中的字符”的例子。

如果呈现要求驾驶员按字母顺序查看字符的这种问题，那么觉醒度高的驾驶员确定字符的顺序，并进行视线移动。

注意，在参考图17和图18说明的例子中，字符的数量有限，在一些情况下，在不通过注视确定特征的情况下，通过参考记忆即可进行确定。如果进行这种确定，那么不太可能观察到诸如注视或微跳视之类的眼球行为。因而，优选的是呈现需要捕捉每个字符的特征，从而触发眼球行为的问题。

图19和后续附图描述其他问题例子。

图19描述显示各种工具和文具的剪影，并呈现问题“选择工具的数量和文具的数量”的例子。

注意，图中所示的虚线框被描述成例证答案，但是不包含在所显示的问题中。

尽管图20也描述了其中呈现问题“选择工具的数量和文具的数量”的例子，不过，它是其中显示的剪影包括工具和文具的剪影，以及不包括在这两者中的剪影(动物)的例子。

注意，图中所示的虚线框被描述成例证答案，但是不包含在所显示的问题中。

图21描述显示各种动物剪影，并且呈现问题“栖息在稀树草原上的动物的数量？”的例子。

注意，图中所示的虚线框被描述成例证答案，但是不包含在所显示的问题中。

图22描述显示变形的字符串，并且呈现问题“其中有多少个6”的例子。

涉及要求驾驶员选择奇数、偶数、元音、辅音、希腊字符等的过程，比如要求驾驶员从如图22中所示的变形字符串中选择特定字符或数字的过程的问题是触发视线移动和眼球行为的有效问题。

此外，图23描述显示字符U、D、R和L，并呈现问题“按照显示的以下顺序(U：上、D：下、R：右、L：左)将视线移向字符”的例子。

驾驶员进行逐一查看这些字符，并将他/她的视线移向与字符一致的方向的过程。

在该过程中，驾驶员进行诸如跳视(眼球转动)、注视或微跳视(眼球微转动)之类的眼球行为。

此外，图24描述显示多种不同动物的剪影，并呈现问题“顺序将视线移向马、狗、猫和长颈鹿”的例子。

驾驶员进行顺序将视线移向马、狗、猫和长颈鹿的过程。

在该过程中，驾驶员进行诸如跳视(眼球转动)、注视或微跳视(眼球微转动)之类的眼球行为。

尽管参考图9-图24说明了各种问题例子，不过，呈现给驾驶员的问题需要是为了解答问题需要另外搜索缺失信息的工作的问题。具体地，这些问题是触发作为用于解决问题的眼球行为的眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)中的至少任意一种眼球行为的问题。

尽管参考图9-图24说明的问题例子包括其中排列动物的物体剪影的问题，其中排列字符的问题等，不过，除了这些剪影和字符以外，可以使用诸如符号、标志或象形图之类的各种显示数据。

以这种方式，按照本公开的信息处理设备向驾驶员呈现各种视觉问题。图6中所示的信息处理设备的数据处理部11的驾驶员行为分析部63分析在问题呈现之后驾驶员的眼球行为。具体地，检测诸如作为眼球行为的跳视(眼球转动)、注视或微跳视(眼球微转动)之类的特定眼球行为的有无。

注意，图9-图24中描述的实例和作为应答者的驾驶员在此时会表现出的预期眼球行为仅仅是例子。应答者表现出什么行为这取决于应答者。在一些情况下，应答者首先检查答案选项，而不查看答案，然后检查问题句，在一些其他情况下，应答者反复检查问题句，等等。重要的不是行为本身的准确性或重复，在驾驶员直接获得正确答案之前的时间长度等，而是伴随问题处理直到驾驶员回答为止，在驾驶员具有觉醒度时观察到的个人特征，比如用于获取必要信息的微跳视或注视的发生程度。

即，基于特征行为，比如在驾驶员具有觉醒度时作为对问题的反应的跳视、微跳视或注视，或类似特征行为的出现率，可以估计驾驶员的内部觉醒度水平。

通过驾驶员行为分析部63的分析而获得的关于跳视(眼球转动)、注视、微跳视(眼球微转动)等的眼球行为观察信息被输入到驾驶员觉醒度判定部65。

基于从驾驶员行为分析部63输入的驾驶员的眼球行为观察信息，驾驶员觉醒度判定部65判定驾驶员是否具有足以进行手动驾驶的高水平的觉醒度。

具体地，判定是否按照用于解答呈现给驾驶员的问题的序列，出现作为驾驶员的眼球行为观察到的诸如跳视(眼球转动)、注视或微跳视(眼球微转动)之类的特定眼球行为。如果眼球行为是按照所述序列出现的，那么判定驾驶员具有确切的问题解答能力，即，驾驶员具有高觉醒度，并且处于他/她能够进行手动驾驶的觉醒状态。另一方面，如果眼球行为不是按照所述序列出现的，那么判定驾驶员的觉醒度低，驾驶员未处于他/她能够进行手动驾驶的觉醒状态。

[6.关于由按照本公开的信息处理设备执行的驾驶员觉醒度判定处理的序列]

下面，说明由按照本公开的信息处理设备执行的驾驶员觉醒度判定处理的序列。

图25和图26是描述用于说明由按照本公开的信息处理设备执行的驾驶员觉醒度判定处理的序列的流程图的图。

注意，按照图25和图26中所示的流程图的处理可以按照存储在信息处理设备的存储部上的程序来执行，并在具有程序执行功能的数据处理部，比如CPU上执行。

下面，依次说明在图25中所示的流程的各个步骤的处理。

(步骤S101)

首先在步骤S101，信息处理设备的数据处理部获取眼球行为特征数据(训练数据)。

该处理由图6中所示的数据处理部11的驾驶员眼球行为分析部63执行，作为从驾驶员眼球行为学习器64中的存储器(存储部)获取特定于驾驶员的眼球行为特征数据(训练数据)的处理。

注意，在一种可能的构成中，训练数据可以由外部服务器生成，并保持在外部服务器中。这种情况下，从外部服务器获取训练数据。

特定于驾驶员的眼球行为特征数据(训练数据)是已通过预先执行的训练处理所获取的数据。

如前所述，个体之间眼球行为存在差异，从而在优选构成中，不对所有驾驶员进行相似的处理，而是基于特定于驾驶员的数据进行处理。

这是因为有可能即使他们表现出相同的眼球行为，驾驶经验丰富的驾驶员和竞赛型驾驶员也具有与无经验的驾驶员的觉醒状态相比不同的觉醒状态。

因而，优选使用由针对每个驾驶员的训练处理所生成的训练字典来进行觉醒度判定。

注意，在没有生成特定于个体的训练数据的情况下，通过使用预先准备的普通人的眼球行为特征数据(训练数据)来进行所述处理。

(步骤S102)

之后，获取驾驶员信息。该处理是由图6中所示的驾驶员信息获取部12执行的处理。

在本步骤S102中获取的驾驶员信息主要是被动信息，驾驶员的面部的运动由图6中所示的驾驶员面部跟踪部(驾驶员面部跟踪器)51获取。

基于获取的驾驶员的面部的运动，判定是否选择将在上面呈现问题的显示部，并进行显示部选择处理等。

(步骤S103)

之后，在步骤S103，基于在步骤S102获取的驾驶员信息，判定是否可以执行将在上面呈现问题的显示部的选择和眼球行为分析处理。

例如，在驾驶员不在存在显示部的位置的情况下，即使问题被显示在显示部上，驾驶员也无法看到该问题。

这种情况下(步骤S103＝否)，例如，进行输出警报，向驾驶员通知问题将呈现在显示部上等等的处理，随后处理返回步骤S102，继续执行驾驶员信息获取处理。

当在步骤S103，基于驾驶员信息，判定能够执行将在上面呈现问题的显示部的选择和眼球行为分析处理时，处理进入步骤S104。

(步骤S104)

生成或选择将显示在驾驶员能够看到的显示部上的显示信息，即，问题。

该处理是由图6中所示的数据处理部11的显示信息生成部61执行的处理。

显示信息生成部61生成要显示在显示部16上的问题。具体地，显示信息生成部61生成诸如上面说明的要求驾驶员从多种动物剪影中选择具有不同特征的一种图案的问题之类的问题。

注意，图6中所示的显示信息存储部17已在其中存储问题，或者可以用于生成各种问题的问题生成用数据，显示信息生成部61选择存储在显示信息存储部17上的问题，或者通过使用存储的数据，生成将显示在显示部16上的问题。

例如，所述问题是与前面参考图9-图24说明的问题类似的问题，是借助其能够观察到诸如跳视(眼球转动)、注视或微跳视(眼球微转动)之类的特定眼球行为作为在驾驶员解答问题的情况下驾驶员的眼球行为的问题。

(步骤S105)

之后，在步骤S105，在步骤S104选择或产生的显示信息(即，问题)被显示在显示部上。

该处理由图6中所示的显示部选择部62执行。

图6中所示的显示部选择部62选择上面将显示由显示信息生成部61生成的问题的显示部。如图中所示，显示部16包括各种显示部，比如显示部A(仪表板)71、显示部B(前窗显示部)72、显示部C(可穿戴式/便携式显示部)73、或显示部D(HUD(抬头显示器))74。

基于由驾驶员面部跟踪部(驾驶员面部跟踪器)51检测的驾驶员的面部和头部的运动信息，显示部选择部62选择在驾驶员的视线之前的显示部，作为上面将显示由显示信息生成部61生成的问题的显示部，并使所选显示部显示问题。

(步骤S106)

接下来，在步骤S106，执行通过眼球行为分析的觉醒度判定处理。

该处理是由图6中所示的驾驶员眼球行为分析部63和驾驶员觉醒度判定部65执行的处理。

图6中所示的驾驶员眼球行为分析部63接收由图6中所示的驾驶员眼球跟踪部(驾驶员眼球跟踪器)52检测的驾驶员的眼球的运动信息作为输入，并分析驾驶员的眼球的运动。

当由显示信息生成部61生成的问题被显示在显示部16上时，驾驶员将他/她的视线移向所述问题，以便获取问题的答案。例如，如前所述，在显示部16上显示需要判定的视觉问题，比如要求驾驶员从多种动物剪影中选择具有不同特征的一种动物剪影的问题。为了获取问题的答案，驾驶员进行用于另外获取必要信息的眼球行为。例如，驾驶员进行诸如眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)之类的眼球行为。

驾驶员眼球行为分析部63分析驾驶员的眼球行为。

通过驾驶员眼球行为分析部63的分析所获得的眼球行为信息被输入到驾驶员觉醒度判定部65中。

基于通过驾驶员眼球行为分析部63的分析所获得的眼球行为信息，驾驶员觉醒度判定部65判定驾驶员的觉醒度。

在确认驾驶员在进行诸如用于解答问题的眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)之类眼球行为的情况下，驾驶员觉醒度判定部65判定驾驶员的觉醒度高。另一方面，在未观察到这些眼球行为的情况下，或者在未充分观察到这些眼球行为的情况下，驾驶员觉醒度判定部65判定驾驶员的觉醒度低。

图26中描述了步骤S106中的处理的详细流程。下面说明在图26中所示的流程的各个步骤的处理。

(步骤S201)

首先，在步骤S201，获取在问题呈现之后驾驶员的眼球行为的观察数据。

该处理是由图6中所示的驾驶员眼球行为分析部63执行的处理。

驾驶员眼球行为分析部63获取由图6中所示的驾驶员眼球跟踪部(驾驶员眼球跟踪器)52检测的驾驶员的眼球的运动的加速度数据。

(步骤S202)

之后，在步骤S202，从在步骤S201获取的观察数据中，获取关于眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)等的眼球行为信息。

该处理也是由图6中所示的驾驶员眼球行为分析部63执行的处理。

当如前所述，问题被显示在显示部上时，驾驶员进行用于获取为解答问题所必需的信息的眼球行为。例如，驾驶员进行诸如眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)之类的眼球行为。驾驶员眼球行为分析部63从观察数据中提取驾驶员眼球行为信息。

(步骤S203)

之后，在步骤S203，驾驶员眼球行为分析部63判定是否可以获取足以判定觉醒度的数据。

具体地，判定从驾驶员观察数据中提取的关于眼球的跳视(眼球转动)、注视、微跳视(眼球微转动)等的眼球行为信息是否是足以判定它是否是与问题解答过程对应的数据的数据。

在判定所述信息足够的情况下，处理进入步骤S204。

另一方面，在判定所述信息不足的情况下，处理进入步骤S205。

(步骤S204)

当在步骤S203，判定从驾驶员观察数据中提取的关于眼球的跳视(眼球转动)、注视、微跳视(眼球微转动)等的眼球行为信息是足以判定它是否是与问题解答过程对应的数据的数据时，处理进入步骤S204。

在步骤S204，基于在问题呈现之后驾驶员的眼球行为的观察数据，判定驾驶员的觉醒度。

该处理是由图6中所示的驾驶员觉醒度判定部65执行的处理。

图6中所示的驾驶员觉醒度判定部65基于在问题呈现之后驾驶员的眼球行为，即，关于跳视(眼球转动)、注视、或微跳视(眼球微转动)等的眼球行为观察信息，进行驾驶员的觉醒度的判定。

驾驶员觉醒度判定部65分析驾驶员是否在进行诸如用于解答问题的眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)之类眼球行为。

在驾驶员觉醒度判定部65确定驾驶员的眼球行为是与用于解答问题的跳视(眼球转动)、注视或微跳视(眼球微转动)等同的眼球行为的情况下，驾驶员觉醒度判定部65判定驾驶员的觉醒度高。

另一方面，当未观察到这些眼球行为的情况下，或者在未充分观察到这些眼球行为的情况下，驾驶员觉醒度判定部65判定驾驶员的觉醒度低。

当完成该觉醒度判定处理时，处理进入图25的流程中的步骤S107。

(步骤S205)

另一方面，当在步骤S203，判定从驾驶员观察数据提取的关于眼球的跳视(眼球转动)、注视、微跳视(眼球微转动)等的眼球行为信息不是足以判定它是否是与问题解答过程对应的数据的数据时，处理进入步骤S205。

在步骤S205，判定是否达到预先规定的觉醒度判定处理的重试次数的上限。

在未达到所述上限的情况下，处理进入图25的步骤S104。这种情况下，呈现新的显示信息(问题)，并再次执行观察驾驶员的眼球行为的处理。

另一方面，在达到所述上限的情况下，处理进入图25的步骤S110。这种情况下，在步骤S110，判定未通过觉醒度评估，即，不能确认驾驶员具有足以恢复手动驾驶的觉醒度，然后处理结束。这种情况下，不允许恢复手动驾驶，并且汽车进行诸如紧急停车之类的处理，以避免进入手动驾驶区域。

返回图25，说明在步骤S107及其之后的处理。

(步骤S107)

在步骤S106完成通过眼球行为分析的觉醒度判定处理之后，执行步骤S107的处理。

在步骤S107，作为步骤S106的通过眼球行为分析的觉醒度判定处理的结果，判定驾驶员的觉醒度是否处于足以进行手动驾驶的水平。

该处理是由图6中所示的驾驶员觉醒度判定部65执行的处理。

如前所述，驾驶员觉醒度判定部65基于在问题呈现之后驾驶员的眼球行为，即，关于跳视(眼球转动)、注视、微跳视(眼球微转动)等的眼球行为观察信息，进行判定驾驶员的觉醒度的处理。

在驾驶员觉醒度判定部65确定驾驶员的眼球行为是与用于解答问题的跳视(眼球转动)、注视或微跳视(眼球微转动)等同的眼球行为的情况下，驾驶员觉醒度判定部65判定驾驶员的觉醒度高，即，驾驶员的觉醒度处于足以进行手动驾驶的水平。

这种情况下，步骤S107的判定结果为是，随后处理进入步骤S108。

另一方面，在未观察到这些眼球行为的情况下，或者在未充分观察到这些眼球行为的情况下，驾驶员觉醒度判定部65判定驾驶员的觉醒度低，未处于足以进行手动驾驶的水平。

这种情况下，步骤S107的判定结果为否，随后处理进入步骤S109。

(步骤S108)

当在步骤S107，判定驾驶员的觉醒度高，并且处于足以进行手动驾驶的水平的情况下，在步骤S108，判定通过了觉醒度评估，从而允许恢复到手动驾驶。

(步骤S109)

另一方面，当在步骤S107，判定驾驶员的觉醒度较低，并且未处于足以进行手动驾驶的水平的情况下，在步骤S109，判定是否达到了预先规定的觉醒度判定处理的重试次数的上限。

在未达到所述上限的情况下，处理进入步骤S104。这种情况下，呈现新的显示信息(问题)，并再次进行观察驾驶员的眼球行为的处理。

另一方面，在达到所述上限的情况下，处理进入步骤S110。

(步骤S110)

当在步骤S109，判定达到了预先规定的觉醒度判定处理的重试次数的上限的情况下，进行步骤S110的处理。

这种情况下，在步骤S110，判定未通过觉醒度评估，即，不能确认驾驶员具有足以恢复到手动驾驶的觉醒度，然后处理结束。这种情况下，不允许恢复手动驾驶，并且汽车进行诸如紧急停车之类的处理，以避免进入手动驾驶区域。

以这种方式，按照本公开的信息处理设备在恢复手动驾驶之前，向驾驶员呈现视觉问题，并分析在解答问题时出现的驾驶员的眼球行为。具体地，通过产生并呈现预期触发诸如用于解答问题的跳视(眼球转动)、注视或微跳视(眼球微转动)之类特定眼球行为作为驾驶员的眼球行为的非一致问题，观察当驾驶员对问题作出反应时实际发生的眼球行为。基于驾驶员特有的训练字典，每次观察到眼球行为时进行驾驶员的内部觉醒度水平的估计，并判定大脑中的内部觉醒状态是否足以开始恢复到手动驾驶。

在根据这些眼球行为的分析判定驾驶员已经充分恢复觉醒度的情况下，判定驾驶员具有高到足以进行手动驾驶的觉醒度，从而允许开始手动驾驶。

另一方面，在判定没有充分出现这些眼球行为的情况下，判定驾驶员不具有高到足以进行手动驾驶的觉醒度，从而不允许开始手动驾驶。这种情况下，进行紧急靠边停车处理，比如在进入手动驾驶区域之前停车的处理。

关于实际问题的从检查视觉信息到获得问题的答案的处理在一些情况下取决于个体特征而显著不同，并且受到各种因素的影响，比如驾驶员当时的状态、相同问题的重复的实现状态、在查看答案选项之后检查问题的动作特征、疲劳、当时的视力和视力疲劳、外界光的干扰、或者走神。因而，为了高度精确地进行判定，优选使用特定于驾驶员的恢复预测字典数据，所述特定于驾驶员的恢复预测字典数据是针对在长期反复使用中的各种情况(正常恢复、延迟恢复、恢复放弃、系统对紧急情况的处理)等下出现的进行转换时的恢复质量，通过训练处理生成的。

可取的是通过使用特定于驾驶员的恢复预测字典数据，基于眼球的行为特征的分析结果，来进行正常恢复预测。通过这些处理，可以开始安全的手动驾驶。

尽管本文中只说明了眼球行为的分析，不过在优选构成中，输入给判定驾驶员是否处于他/她能够开始安全手动驾驶的状态的处理、以及上述学习器的输入数据包括用户车辆信息的状态和历史信息、道路环境信息、和由下面提及的数据获取部102获得的驾驶员生命信号。

如上所述，按照本公开的构成使得可以基于驾驶员的眼球行为，判定能够以可被切换成自动驾驶和手动驾驶的驾驶模式驾驶的移动设备的驾驶员是否具有足以恢复手动驾驶的觉醒度。

注意，尽管在上述实施例中，在从自动驾驶转换到手动驾驶的时候，判定驾驶员大脑中内部觉醒度的恢复，不过，分析眼球行为的技术使得可以分析受试对象的大脑活动的外部可观察反映，并且可以不同地用于除在从自动驾驶转换到手动驾驶的时候判定驾驶员状态以外的各种目的。

上面提到的眼球行为分析技术观察问题和记忆信息之间的关联的结果，并且可以通过观察和判定对所呈现的问题的反应来以各种方式使用。

如果呈现给受试对象的问题是需要所述问题与受试对象的记忆之间的核对的问题，那么获得问题的答案的过程成为反映受试对象的状态和精神状态的过程。因而，眼球行为分析技术也可以应用于例如在报告(比如饮酒报告或过劳报告等)中呈现问题时回答者的真实性判断。

此外，问题呈现不必局限于车辆的操作。例如，问题呈现的使用还可以扩展到各种事件和职业，比如飞机操作、火车操作、起重机操作、空中交通管制员、或者远程自动驾驶控制者，并且可以进一步扩展到其他方面，比如在自我报告时通过心理分析的真实性评估。

注意，已知当受试对象选择为解决某种问题所需的视觉信息时，颞叶的颞上沟变得活跃，当注意力集中于视觉信息时，顶间沟变得活跃，而当移动眼球时，额眶区变得活跃。另外，颞叶内的海马体在人们从记忆中回忆事物时起作用。另外，还已知在发生由所谓的交感神经系统与副交感神经系统之间的相互平衡的异常情况，比如家族性自主神经异常而引起的刺激反射的抑制的情况下，眼球行为发生变化。因而，按照本公开的眼球行为分析处理可以用作检查和监测诸如驾驶员之类的受试对象的精神健康的处理。具体地，例如，通过使用眼球行为分析处理来把握诸如公共汽车、出租车之类交通服务车辆的驾驶员的状态，并管理驾驶员的健康，可以实现安全运行。

[7.关于移动设备的具体构成和处理例子]

下面参考图27和后续附图，说明按照本公开的移动设备的具体构成和处理例子。

图27描述移动设备100的构成例子。注意在下文中，在区分设置有移动设备100的车辆和其他车辆的情况下，前者被称为用户的汽车或者用户的车辆。

移动设备100包括输入部101、数据获取部102、通信部103、车内装置104、输出控制部105、输出部106、驱动系统控制部107、驱动系统108、车身系统控制部109、车身系统110、存储部111和自动驾驶控制部112。

输入部101、数据获取部102、通信部103、输出控制部105、驱动系统控制部107、车身系统控制部109、存储部111和自动驾驶控制部112经由通信网络121互连。通信网络121例如包括符合某种标准，比如CAN(控制器局域网络)、LIN(局部互连网络)、LAN(局域网)或FlexRay(注册商标)的车载通信网络、总线等。注意在一些情况下，移动设备100的各个部直接连接，而不使用通信网络121。

注意，在下文中，在移动设备100的各个部经由通信网络121进行通信的情况下，省略关于通信网络121的描述。例如，在输入部101和自动驾驶控制部112经由通信网络121进行通信的情况下，简单地描述输入部101和自动驾驶控制部112进行通信。

输入部101包括乘员用于输入各种数据、指令等的设备。例如，输入部101包括诸如触摸面板、按钮、麦克风、开关或控制杆之类的操作装置；借助其能够用除手动操作以外的方法、用声音、手势等输入信息的操作装置；等等。另外，例如，输入部101可以是使用红外线或其他无线电波的远程控制设备，或者是支持移动设备100的操作的外部连接装置，比如移动装置或可穿戴式装置。输入部101基于乘员输入的数据、指令等生成输入信号，并将该输入信号提供给移动设备100的各个部。

数据获取部102包括获取供移动设备100的处理之用的数据，并将获取的数据提供给移动设备100的各个部的各种传感器等。

例如，数据获取部102包括用于检测用户汽车的状态的各种传感器等。具体地，例如，数据获取部102包括陀螺仪传感器；加速度传感器；惯性测量单元(IMU)；用于检测加速踏板操作量、制动踏板操作量、方向盘转向角、发动机转速、电动机转速、车轮转速等的传感器；等等。

另外，例如，数据获取部102包括用于检测用户汽车外的信息的各种传感器。具体地，例如，数据获取部102包括ToF(飞行时间)摄像机、立体摄像机、单目摄像机、红外摄像机和诸如摄像机之类的其他图像捕捉单元。另外，例如，数据获取部102包括用于检测气象情况、大气现象等的环境传感器，和用于检测在用户汽车周围的物体的周围环境信息检测传感器。环境传感器例如包括雨滴传感器、雾传感器、日照传感器、雪传感器等。周围环境信息检测传感器例如包括超声波传感器、雷达、LiDAR(光检测和测距，激光成像检测和测距)、声纳等。

例如，图28描述用于检测用户汽车外的信息的各种传感器的安装例子。图像捕捉单元7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠和后门，以及车辆内部的挡风玻璃的上部中的至少一个位置。

设置在前鼻的图像捕捉单元7910和设置在车辆内部的挡风玻璃的上部的图像捕捉单元7918主要获取在车辆7900前方的空间的图像。设置在侧视镜的图像捕捉单元7912和7914主要获取车辆7900的侧方的图像。设置在后保险杠或后门的图像捕捉单元7916主要获取在车辆7900后方的空间的图像。设置在车辆内部的挡风玻璃的上部的图像捕捉单元7918主要用于检测前车、行人、障碍物、交通信号灯、交通标志、车道等。另外，在不久的将来的自动驾驶中，图像捕捉单元的用途可以扩展到在车辆向右或向左转弯时覆盖更宽范围，在车辆向右或向左转弯时覆盖正在前方穿过道路的行人，以及进一步覆盖正在接近人行横道的物体的范围。

注意，图28描述了图像捕捉单元7910、7912、7914和7916的图像捕捉范围的例子。图像捕捉范围a表示设置在前鼻的图像捕捉单元7910的图像捕捉范围，图像捕捉范围b和c表示设置在侧视镜的图像捕捉单元7912和7914的图像捕捉范围，图像捕捉范围d表示设置在后保险杠或后门的图像捕捉单元7916的图像捕捉范围。例如，通过叠加由图像捕捉单元7910、7912、7914和7916捕捉的图像数据，获得从上方看的车辆7900的鸟瞰图像，以及以弯曲平面围绕车辆周边的全方位立体显示图像等。

设置在车辆7900的前面、后面、侧面和角落，以及车辆内部的挡风玻璃的上部的传感器7920、7922、7924、7926、7928和7930例如可以是超声波传感器或者雷达。设置在车辆7900的前鼻、后保险杠和后门，以及车辆内部的挡风玻璃的上部的传感器7920、7926和7930例如可以是LiDAR。这些传感器7920～7930主要用于检测前车、行人、障碍物等。检测结果还可以应用于改进鸟瞰图显示的立体显示或全方位立体显示。

返回图27，继续说明组成元件。数据获取部102包括用于检测用户汽车的当前位置的各种传感器。具体地，例如，数据获取部102包括接收来自GNSS卫星的GNSS信号的GNSS(全球导航卫星系统)接收器等。

另外，例如，数据获取部102包括用于检测车辆内部的信息的各种传感器。具体地，例如，数据获取部102包括捕捉驾驶员的图像的图像捕捉单元、检测驾驶员的生命信息的生命传感器、收集车辆内部的声音的麦克风等。例如，生命传感器设置在座椅表面、方向盘等上，检测坐在座椅上的乘员的就座状态，或者握住方向盘的驾驶员的生命信息。可以使用的生命信号包括各种可观测的数据，比如心率、脉搏率、血流、呼吸、心身相关性、视觉刺激、脑电波、出汗状态、头部姿势行为、眼睛、逼视、眨眼、跳视、微跳视、注视、漂移、凝视或虹膜瞳孔反应。

反映可观测的驾驶状态的生命活动可观测信息被聚合为从观测估计的可观测评估值，并用于根据与评估值的日志关联的恢复延迟时间特性，在下面提及的安全性判定部155计算恢复通知定时，作为对应驾驶员的恢复延迟情况特有特性。

此外，它用于判定驾驶员的觉醒度，还用于关于基于觉醒度判定的结果是否允许恢复手动驾驶的判定处理。

通信部103与车内装置104和车辆外的各种装置、服务器、基站等通信，发送从移动设备100的各个部供给的数据，并将接收的数据提供给移动设备100的每个部。注意，通信部103支持的通信协议无特别限制，通信部103还可以支持多种类型的通信协议。

例如，通信部103通过无线LAN、蓝牙(注册商标)、NFC(近场通信)、WUSB(无线USB)等与车内装置104进行无线通信。另外，例如，通信部103通过USB(通用串行总线)、HDMI(注册商标)(高清多媒体接口)、MHL(移动高清链路)等，经由未图示的连接端子(以及电缆，如果需要的话)与车内装置104进行有线通信。

此外，例如，通信部103经由基站或接入点，与外部网络(例如因特网、云网络或企业经营者专用网络)上的装置(例如，应用服务器或控制服务器)通信。另外，例如，通信部103通过使用P2P(对等)技术，与在用户汽车附近的终端(例如，行人或商店的终端，或者MTC(机器类型通信)终端)通信。

此外，例如，通信部103进行V2X通信，比如车辆对车辆通信、车辆对基础设施通信、车辆对住宅通信、或车辆对行人通信。另外，例如，通信部103包括信标接收部，接收从安装在道路上的无线站等发射的无线电波或电磁波，从而获取关于当前位置交通拥堵、交通管制、所需时间等的信息。注意，通信部可以用于与行驶在区域中的用户车辆前方的车辆(所述车辆可以是前导车)进行配对，并且可以获取从安装在前方车辆上的数据获取部获取的信息，作为预先驾驶信息，并用于补充用户汽车的数据获取部102的数据。特别地，例如，这用作当跟随车辆在前导车辆引导下排队行驶时或在另外的类似情况下，为这些车辆确保更高安全性的手段。

例如，车内装置104包括乘员携带的移动装置(平板电脑、智能电话机等)或可穿戴式装置、带入或附着到用户汽车中的信息装置、进行到达某些目的地的路线搜索的导航设备等。注意，考虑到如果自动驾驶得到更广泛的应用，那么乘员不一定固定坐在固定位置，未来，可以使用的车内装置104可被扩展到视频播放器、游戏机以及可附着到车辆中的安装位置并且可从该安装位置拆卸地使用的其他装置。尽管在本实施例中描述的例子中，只针对对应驾驶员进行关于驾驶员的干预变得必要的地理点的信息呈现，不过，当车辆排队行驶时或者在另外的类似情况下，还可以针对跟随车辆进行所述信息提供，此外通过始终向客运共享公共汽车和长途物流商用车辆的运营管理中心提供信息，它可以适当地与远程驾驶辅助结合地被使用。

输出控制部105控制各种信息向用户的汽车的乘员或者向车辆外部的输出。例如，输出控制部105生成包括视觉信息(例如，图像数据)和/或听觉信息(例如，声音数据)的输出信号，并将它们提供给输出部106，从而控制视觉信息和听觉信息从输出部106的输出。具体地，例如，输出控制部105合成由数据获取部102的不同图像捕捉单元捕捉的图像的数据，生成鸟瞰图像、全景图像等，并将包括生成的图像的输出信号提供给输出部106。另外，例如，输出控制部105生成包括关于诸如碰撞、接触或进入危险地带之类危险的蜂鸣声、警告消息等声音数据，并将包括生成的声音数据的输出信号提供给输出部106。

输出部106包括能够向用户的汽车的乘员或者向车辆外部输出视觉信息或听觉信息的设备。例如，输出部106包括显示设备、仪表板、音频扬声器、耳机、诸如乘员所穿戴的眼镜式显示器之类的可穿戴式装置、投影仪、灯等。除了具有普通显示器的设备以外，例如，包含在输出部106中的显示设备可以是在驾驶员的视野内显示视觉信息的设备，比如抬头显示器、透射式显示器、或具有AR(增强现实)显示功能的设备。

驱动系统控制部107生成各种控制信号，并将控制信号提供给驱动系统108，从而进行驱动系统108的控制。另外，必要时，驱动系统控制部107向除驱动系统108以外的各个部提供控制信号，并通知驱动系统108的控制状态，等等。

驱动系统108包括与用户汽车的驱动系统相关的各种设备。例如，驱动系统108包括诸如内燃机或驱动电机之类用于产生驱动力的驱动力产生设备、用于将驱动力传递给车轮的驱动力传递机构、调整转向角的转向机构、产生制动力的制动设备(包括再生制动)、ABS(防抱死制动系统)、ESC(电子稳定控制)、电动助力转向设备等。

车身系统控制部109生成各种控制信号，并将它们提供给车身系统110，从而进行车身系统110的控制。另外，必要时，车身系统控制部109将控制信号提供给除车身系统110以外的各个部，并通知车身系统110的控制状态等。

车身系统110包括安装在车身上的与车身系统相关的各种设备。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、方向盘、空调设备、各种灯(例如前照灯、尾灯、刹车灯、闪光信号灯、雾灯等)，等等。

例如，存储部111包括诸如ROM(只读存储器)、RAM(随机存取存储器)或HDD(硬盘驱动器)之类的磁存储装置、半导体存储装置、光存储装置、磁-光存储装置等。存储部111存储移动设备100的各个部使用的各种程序、数据等。例如，存储部111存储地图数据，比如诸如动态地图之类的三维高精度地图、精度比高精度地图低但覆盖较大区域的全局地图、或者包括关于用户汽车周围区域的信息的局部地图。

自动驾驶控制部112进行与诸如自主行驶或驾驶辅助之类的自动驾驶相关的控制。具体地，例如，自动驾驶控制部112进行旨在实现ADAS(高级驾驶员辅助系统)的功能的协同控制，ADAS(高级驾驶员辅助系统)的功能包括用户汽车的防撞或冲击减轻、基于车辆间距离的跟随驾驶、车辆定速驾驶、用户汽车的碰撞报警、用户汽车的车道偏离报警等。另外，例如，自动驾驶控制部112进行旨在不依赖于驾驶员的操作地进行自主行驶的自动驾驶等的协同控制。自动驾驶控制部112包括检测部131、当前位置估计部132、状况分析部133、规划部134和操作控制部135。

检测部131进行为自动驾驶的控制所需的各种信息的检测。检测部131包括车辆外部信息检测部141、车辆内部信息检测部142和车辆状态检测部143。

车辆外部信息检测部141基于来自移动设备100的各个部的数据或信号，进行检测关于用户汽车外部的信息的处理。例如，车辆外部信息检测部141进行检测、识别和追踪用户汽车周围的物体的处理，和检测距所述物体的距离和相对速度的处理。例如，作为检测目标的物体包括车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志、道路标记等。

另外，例如，车辆外部信息检测部141进行检测用户汽车周围的环境的处理。例如，作为检测目标的用户汽车周围的环境包括天气、温度、湿度、亮度、路面状况等。车辆外部信息检测部141将表示检测处理的结果的数据提供给当前位置估计部132、状况分析部133的地图分析部151、交通规则识别部152和状况识别部153、以及操作控制部135的紧急避险部171等。

如果用户的汽车行驶在作为优先允许自动驾驶的区域，其中从基础设施提供不断被更新的局部动态地图(LDM)的区域中，那么车辆外部信息检测部141所获取的信息可以主要由基础设施提供。或者，在一些其他可能的情况下，用户的汽车可以一边行驶，一边在进入区域之前不断从较早行驶在对应区域中的车辆或车辆组预先接收更新的信息。另外，在基础设施没有不断更新局部动态地图的情况下或者在其他类似情况下，为了获得紧临在入口区域前的道路信息以提高安全性，尤其是在排队行驶等时，可以进一步补充地使用从已经进入该区域的前导车获得的道路环境信息。在许多情况下，在某个区域中是否允许自动驾驶是基于是否存在从基础设施提供的预先信息来判定的。包含在从基础设施提供的表示在路线上是否允许自动驾驶的信息中的更新的最新局部动态地图(LDM)等同于提供作为所谓的“信息”的无形的轨迹。注意，为了方便起见，作为前提，车辆外部信息检测部141被描述成安装在用户的车辆上，不过通过使用由前车捕捉的信息作为“信息”，可以进一步增强行驶时的预先可预测性。

车辆内部信息检测部142基于来自移动设备100的各个部的数据或信号，进行检测关于车辆内部的信息的处理。例如，车辆内部信息检测部142进行标识和识别驾驶员的处理、检测驾驶员的状态的处理、检测乘员的处理、检测车辆内部的环境的处理等。例如，作为检测目标的驾驶员的状态包括身体状况、觉醒度、专注度、疲劳度、视线方向、详细的眼球行为等。

此外，预计在自动驾驶的未来使用中，驾驶员完全脱离驾驶操控工作，驾驶员暂时打瞌睡，或者开始进行其他任务，从而系统有必要掌握为恢复驾驶所必需的意识的觉醒度已经恢复到了什么程度。即，在传统考虑的驾驶员监控系统中，检测装置主要负责检测意识的衰退，比如睡意，不过在不久的将来，驾驶员将根本不干预驾驶操控。因而，系统将不再具有从转向设备等的转向能力，直接观察驾驶时驾驶员的干预程度的手段，从而系统必须观察从驾驶员的准确意识状态未知的状态到驾驶所需的意识恢复的转变，并且通过掌握驾驶员的准确内部觉醒状态，对从自动驾驶到转向的手动驾驶的转换进行干预。

鉴于此，车辆内部信息检测部142主要在两个主要阶段发挥作用。第一个作用是自动驾驶期间驾驶员的被动监控，第二个作用是在从系统发出恢复请求之后，直到在到达由驾驶员照管的驾驶区域之前达到驾驶员能够进行手动驾驶的水平为止，对驾驶员的周边认知、感知、确定以及转向设备驱使能力的检测确定。作为控制，还可以进行整个车辆的故障的自诊断，并且类似地，在由于自动驾驶的部分功能故障而发生自动驾驶功能下降的情况下，也可以提示驾驶员及早恢复手动驾驶。这里提及的被动监控意味着一种检测手段，这种检测手段不要求并且也不排除驾驶员对装置发出物理无线电波、光等有意识地作出响应和反应，并检测响应信号的物体。即，被动方法意味着在打盹等时无意识的驾驶员的状态监测，并且不涉及驾驶员的认知响应和反应的分类。它不排除分析和评估作为发射无线电波、红外线等的结果的反射或漫射信号的主动响应装置。相反，要求驾驶员有意识地报以响应和反应的监控被称为主动监控。

例如，作为检测目标的车辆内部的环境包括温度、湿度、亮度、气味等。车辆内部信息检测部142将表示检测处理的结果的数据提供给状况分析部133的状况识别部153以及操作控制部135。注意，在发现在系统向驾驶员发出恢复驾驶的指令之后的适当时段内，不能实现驾驶员的手动驾驶，并且确定即使试图通过在保持自动驾驶的同时，进行减速控制来获得额外的时间，转换也会太迟的情况下，向系统的紧急避险部171等发出指令，以开始减速、开到路边和停车以让车辆靠边停下的过程。即，在像其中转换太迟类似的初始状态一样的情况下，通过提早使车辆减速，也可以使直到达到允许进行转换为止的时间变得更长。通过使直到达到允许进行转换为止的时间变得更长，产生供系统处理事件的空闲时间，并且可以采取措施来确保安全。然而，应注意的是这种方法的应用受到限制，因为如下所述，使汽车过度减速或慢下来会增加交通堵塞触发因素和追尾碰撞风险。

车辆状态检测部143基于来自移动设备100的各个部的数据或信号，进行检测用户汽车的状态的处理。例如，作为检测目标的用户汽车的状态包括速度、加速度、转向角、是否存在异常、异常的内容、驾驶操作的状态、电动座椅的位置和倾斜、门锁的状态、其他车内装置的状态等。车辆状态检测部143将表示检测处理的结果的数据提供给状况分析部133的状况识别部153、操作控制部135的紧急避险部171等。

基于来自移动设备100的各个部，比如车辆外部信息检测部141和状况分析部133的状况识别部153的数据或信号，当前位置估计部132进行估计用户汽车的位置和姿态等的处理。另外，必要时，当前位置估计部132生成用于估计当前位置的局部地图(下面称为当前位置估计地图)。

例如，当前位置估计地图是使用诸如SLAM(同时定位与地图构建)之类技术的高度精确的地图。当前位置估计部132将表示估计处理的结果的数据提供给状况分析部133的地图分析部151、交通规则识别部152和状况识别部153等。另外，当前位置估计部132使存储部111存储当前位置估计地图。

状况分析部133进行分析用户汽车及其周围的状况的处理。状况分析部133包括地图分析部151、交通规则识别部152、状况识别部153、状况预测部154和安全性判定部155。

在根据需要使用来自移动设备100的各个部，比如当前位置估计部132或车辆外部信息检测部141的数据或信号的时候，地图分析部151进行分析存储在存储部111中的各种地图的处理，并且构建包含为自动驾驶的处理所需要的信息的地图。地图分析部151将构建的地图提供给交通规则识别部152、状况识别部153、状况预测部154、以及规划部134的路线规划部161、动作规划部162和操作规划部163等。

基于来自移动设备100的各个部，比如当前位置估计部132、车辆外部信息检测部141或地图分析部151的数据或信号，交通规则识别部152进行识别用户汽车周围的交通规则的处理。通过该识别处理，例如，识别用户汽车周围的位置和信号状态、用户汽车周围的交通管制的内容、允许用户汽车行驶的车道等。交通规则识别部152将表示识别处理的结果的数据提供给状况预测部154等。

基于来自移动设备100的各个部，比如当前位置估计部132、车辆外部信息检测部141、车辆内部信息检测部142、车辆状态检测部143或地图分析部151的数据或信号，状况识别部153进行识别与用户汽车相关的状况的处理。例如，状况识别部153进行识别用户汽车的状况、用户汽车周围的状况、用户汽车的驾驶员的状况等的处理。另外，必要时，状况识别部153生成用于识别用户汽车周围的状况的局部地图(下面称为状况识别地图)。例如，状况识别地图是占据栅格地图。

例如，作为识别目标的用户汽车的状况包括用户汽车的位置、姿态和运动(例如速度、加速度、移动方向等)；确定用户汽车的运动特性的特定于车辆以及特定于附加货物装载的状况，比如货物装载量、由于货物装载引起的车身重心的移动、轮胎压力、由于刹车片的磨损状况引起的制动距离移动、防止由负载制动引起的货物移动的最大允许减速制动、当在液体负载下沿弯道行驶时的离心力减小极限速度等；以及特定于道路的状况，比如路面的摩擦系数、道路的弯道、或者道路的坡度。由于即使道路环境完全相同，控制所需的恢复开始定时也取决于车辆本身的特性、附加负载等而不同，因此需要通过收集和学习各种状况，使进行控制的最佳定时反映这些各种状况。在基于车辆的类型和负载确定控制定时的时候，仅仅观察和监控用户车辆是否存在异常、异常的内容等是不够的。确定对于确保一定水平的安全性来说可取的到恢复为止的附加额外时间的参数可以按照物流行业等中的特定于负载的特性，被预先设定为固定值，可能不一定采用其中通过自我累积学习，统一地设定所有通知定时确定条件的方法。

例如，作为识别目标的用户汽车周围的状况包括周围的静止物体的类型和位置；周围的移动物体的类型、位置和运动(例如速度、加速度、移动方向等)；周围道路的布局和路面状况；用户汽车周围的空间的天气、温度、湿度和亮度；等等。例如，作为识别目标的驾驶员的状态包括身体状况、觉醒度、专注度、疲劳度、视线的运动、驾驶操作等。为了车辆的安全行驶，按照不同的特定于车辆的状态，比如装载量、搭载部分的底盘固定状态、重心偏心状态、最大减速可能加速值、最大负载可能离心力、按照驾驶员的状态的恢复响应延迟量等，需要处理的控制开始点大不相同。

状况识别部153将表示识别处理的结果的数据(必要时，包括状况识别地图)提供给当前位置估计部132、状况预测部154等。另外，状况识别部153使存储部111存储状况识别地图。

基于来自移动设备100的各个部，比如地图分析部151、交通规则识别部152或状况识别部153的数据或信号，状况预测部154进行预测与用户汽车相关的状况的处理。例如，状况预测部154进行预测用户汽车的状况、用户汽车周围的状况、驾驶员的状况等的处理。

例如，作为预测目标的用户汽车的状况包括用户汽车的行为、异常的发生、可行驶距离等。例如，作为预测目标的用户汽车周围的状况包括用户汽车周围的移动物体的行为、信号的状态的改变、诸如天气之类的环境的改变等。例如，作为预测目标的驾驶员的状况包括驾驶员的行为和身体状况等。

状况预测部154将表示预测处理的结果的数据，连同来自交通规则识别部152和状况识别部153的数据一起提供给规划部134的路线规划部161、动作规划部162和操作规划部163等。

安全性判定部155按照驾驶员的恢复动作模式、车辆特性等，学习最佳恢复定时，并将学习到的信息提供给状况识别部153等。从而，例如，可以向驾驶员呈现驾驶员以预定比率或更高比率从自动驾驶正常恢复到手动驾驶所需的统计地确定的最佳定时。

基于来自移动设备100的各个部，比如地图分析部151或状况预测部154的数据或信号，路线规划部161规划到目的地的路线。例如，基于全局地图，路线规划部161设置从当前位置到指定目的地的路线。另外，例如，路线规划部161基于交通拥堵、事故、交通管制、诸如施工之类的状况、驾驶员的身体状况等，酌情变更路线。路线规划部161将表示规划的路线的数据提供给动作规划部162等。

基于来自移动设备100的各个部，比如地图分析部151或状况预测部154的数据或信号，动作规划部162规划用于在规划的时间内安全地在路线规划部161规划的路线上行驶的用户汽车的动作。例如，动作规划部162规划起动、停止、行进方向(例如，前进、后退、左转、右转、变更方向等)、行驶车道、行驶速度、超车等。动作规划部162将表示用户汽车的规划的动作的数据提供给操作规划部163等。

基于来自移动设备100的各个部，比如地图分析部151或状况预测部154的数据或信号，操作规划部163规划用于实现由动作规划部162规划的动作的用户汽车的操作。例如，操作规划部163规划加速、减速、行驶轨迹等。操作计划部163将表示用户汽车的规划的操作的数据提供给操作控制部135的加速/减速控制部172和方向控制部173等。

操作控制部135进行用户汽车的操作的控制。操作控制部135包括紧急避险部171、加速/减速控制部172和方向控制部173。

基于车辆外部信息检测部141、车辆内部信息检测部142和车辆状态检测部143的检测结果，紧急避险部171进行检测诸如碰撞、接触、进入危险区域、驾驶员的异常、或车辆的异常之类的紧急情况的处理。在检测到紧急情况的发生的情况下，紧急避险部171规划用于避免紧急情况的用户汽车的操作，比如急停或急转弯。紧急避险部171将表示用户汽车的规划的操作的数据提供给加速/减速控制部172、方向控制部173等。

加速/减速控制部172进行用于实现由操作规划部163或紧急避险部171规划的用户汽车的操作的加速/减速控制。例如，加速/减速控制部172计算用于实现规划的加速、减速或急停的驱动力产生设备或制动设备的控制目标值，并将表示计算的控制目标值的控制命令提供给驱动系统控制部107。注意，存在会发生紧急状况的两种主要情况。即，其中之一是在自动行驶在最初由在自动行驶期间从行驶路线上的基础设施获取的局部动态地图等指示为安全道路的道路上期间，由于意外原因而发生不可预知的意外事件，并且驾驶员的紧急恢复将会太迟的情况。另一种情况是驾驶员难以正确地从自动驾驶恢复手动驾驶的情况。

方向控制部173进行用于实现由操作规划部163或紧急避险部171规划的用户汽车的操作的方向控制。例如，方向控制部173计算用于实现由操作规划部163或紧急避险部171规划的行驶轨迹或急转弯的转向机构的控制目标值，并将表示计算的控制目标值的控制命令提供给驱动系统控制部107。

[8.关于信息处理设备的构成例子]

尽管上述处理可以通过应用参考图27说明的移动设备的构成来执行，不过，例如，一些处理可以在可附着到移动设备和从移动设备拆卸的信息处理设备中执行。

参考图29，说明这种信息处理设备的硬件构成例子。

图29是描述信息处理设备的硬件构成例子的图。

CPU(中央处理器)501起按照存储在ROM(只读存储器)502或存储部508中的程序，执行各种处理的数据处理部的作用。例如，CPU 501执行与在上述实施例中说明的序列相应的处理。

RAM(随机存取存储器)503存储由CPU 501执行的程序、数据等。CPU 501、ROM 502和RAM 503由总线504互连。

CPU 501经由总线504连接到输入/输出接口505，输入/输出接口505与输入部506和输出部507连接，输入部506包括各种开关、键盘、触摸面板、鼠标、麦克风以及诸如传感器、摄像机、GPS之类状况数据获取部等，输出部507包括显示器、扬声器等。

注意，输入部506接收来自传感器521的输入信息作为输入。

另外，输出部507还输出用于移动设备的驱动部522的驱动信息。

例如，CPU 501接收从输入部506输入的命令、状况数据等作为输入，执行各种处理，并将处理结果输出给输出部507。

连接到输入/输出接口505的存储部508例如包括硬盘等，存储由CPU 501执行的程序，以及各种数据。通信部509起经由诸如因特网或局域网之类的网络进行数据通信的发送/接收部的作用，并与外部设备通信。

连接到输入/输出接口505的驱动器510驱动磁盘、光盘、磁光盘、或者诸如半导体存储器(比如存储卡)之类的可拆卸介质511，并进行数据的记录或读取。

[9.按照本公开的构成的总结]

至此，参考具体实施例详细说明了按照本公开的实施例。然而，显然本领域的技术人员可以在不脱离本公开的要旨的范围内，构思实施例的各种修改或替换。即，本发明是以例证形式公开的，不应限制性地解释本发明。为了确定本公开的要旨，应考虑权利要求的范围。

注意，在本说明书中公开的技术可以具有如下所述的构成。

(1)一种信息处理设备，包括：

显示信息生成部，所述显示信息生成部生成或获取问题，并使显示部显示所述问题；

眼球行为分析部，所述眼球行为分析部分析观察显示在所述显示部上的问题的用户的眼球行为；和

觉醒度判定部，所述觉醒度判定部基于所述眼球行为分析部的分析结果来判定用户的觉醒度。

(2)按照(1)所述的信息处理设备，其中所述问题是用户为了解答问题需要另外搜索缺失信息的工作的问题。

(3)按照(1)或(2)所述的信息处理设备，其中所述问题是触发眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)中的至少一种眼球行为作为用户为解答问题而进行的眼球行为的问题。

(4)按照(1)-(3)中任一项所述的信息处理设备，其中所述眼球行为分析部获取能够判定用户是否在进行用于解答问题的眼球行为的数据。

(5)按照(1)-(4)中任一项所述的信息处理设备，其中所述眼球行为分析部获取表示用户是否在进行眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)中的至少一种眼球行为作为用于解答问题的眼球行为的数据。

(6)按照(1)-(5)中任一项所述的信息处理设备，其中所述觉醒度判定部从所述眼球行为分析部接收能够判定用户是否在进行用于解答问题的眼球行为的数据作为输入，并且基于输入的数据判定用户的觉醒度。

(7)按照(1)-(6)中任一项所述的信息处理设备，其中所述觉醒度判定部从所述眼球行为分析部接收表示用户是否在进行眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)中的至少一种眼球行为的数据，作为输入，并且基于输入的数据判定用户的觉醒度。

(8)按照(1)-(7)中任一项所述的信息处理设备，其中所述觉醒度判定部在用户的眼球行为被判定为用于解答问题的眼球行为的情况下，判定用户的觉醒度高，而在用户的眼球行为未被判定为用于解答问题的眼球行为的情况下，判定用户的觉醒度低。

(9)按照(1)-(8)中任一项所述的信息处理设备，其中所述觉醒度判定部在判定用户在进行眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)中的至少一种眼球行为作为用于解答问题的眼球行为的情况下，判定用户的觉醒度高。

(10)按照(1)-(9)中任一项所述的信息处理设备，其中所述觉醒度判定部判定用户是否具有足以进行手动驾驶的觉醒度。

(11)按照(1)-(10)中任一项所述的信息处理设备，其中所述显示信息生成部生成或获取的问题是涉及排列表示物体的多个剪影并且要求视线相对于每个剪影移动以便解答问题的问题。

(12)按照(1)-(10)中任一项所述的信息处理设备，其中所述显示信息生成部生成或获取的问题是涉及排列字符、符号、标志或象形图中的至少任意一个的数据并且要求视线移向每个数据以便解答问题的问题。

(13)一种能够切换到自动驾驶和手动驾驶的移动设备，所述移动设备包括：

驾驶员信息获取部，所述驾驶员信息获取部获取所述移动设备的驾驶员的驾驶员信息；和

数据处理部，所述数据处理部基于所述驾驶员信息获取部的获取信息，判定驾驶员是否具有足以恢复手动驾驶的觉醒度，其中

所述数据处理部具有

显示信息生成部，所述显示信息生成部生成或获取问题，并使显示部显示所述问题，

眼球行为分析部，所述眼球行为分析部分析观察显示在所述显示部上的问题的驾驶员的眼球行为，和

觉醒度判定部，所述觉醒度判定部基于所述眼球行为分析部的分析结果来判定驾驶员的觉醒度。

(14)按照(13)所述的移动设备，其中所述觉醒度判定部从所述眼球行为分析部接收能够判定驾驶员是否在进行用于解答问题的眼球行为的数据作为输入，并且基于输入的数据判定驾驶员是否具有足以恢复手动驾驶的觉醒度。

(15)按照(13)或(14)所述的移动设备，其中所述觉醒度判定部从所述眼球行为分析部接收表示驾驶员是否在进行眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)中的至少一种眼球行为的数据作为输入，并且基于输入的数据判定驾驶员是否具有足以恢复手动驾驶的觉醒度。

(16)按照(13)-(15)中任一项所述的移动设备，其中在所述觉醒度判定部判定驾驶员具有足以恢复手动驾驶的觉醒度的情况下，所述移动设备的控制部允许驾驶员开始手动驾驶，和

在所述觉醒度判定部判定驾驶员不具有足以恢复手动驾驶的觉醒度的情况下，所述移动设备的控制部不允许驾驶员开始手动驾驶，并进行避免侵入手动驾驶区域的处理。

(17)一种在信息处理设备中执行的信息处理方法，所述信息处理方法包括：

由显示信息生成部进行的显示信息生成步骤，所述显示信息生成步骤生成或获取问题，并使显示部显示所述问题；

由眼球行为分析部进行的眼球行为分析步骤，所述眼球行为分析步骤分析观察显示在所述显示部上的问题的用户的眼球行为；和

由觉醒度判定部进行的觉醒度判定步骤，所述觉醒度判定步骤基于所述眼球行为分析部的分析结果，判定用户的觉醒度。

(18)一种在移动设备中执行的信息处理方法，所述移动设备能够切换到自动驾驶和手动驾驶，所述信息处理方法包括：

由驾驶员信息获取部进行的驾驶员信息获取步骤，所述驾驶员信息获取步骤获取所述移动设备的驾驶员的驾驶员信息；和

由数据处理部进行的数据处理步骤，所述数据处理步骤基于所述驾驶员信息，判定驾驶员是否具有能够恢复手动驾驶的觉醒度，其中

所述数据处理步骤包括

由显示信息生成部进行的显示信息生成步骤，所述显示信息生成步骤生成或获取问题，并使显示部显示所述问题，

由眼球行为分析部进行的眼球行为分析步骤，所述眼球行为分析步骤分析观察显示在所述显示部上的问题的用户的眼球行为，和

由觉醒度判定部进行的觉醒度判定步骤，所述觉醒度判定步骤基于所述眼球行为分析部的分析结果来判定用户的觉醒度。

(19)一种使信息处理设备执行信息处理的程序，所述信息处理包括：

显示信息生成步骤，所述显示信息生成步骤使显示信息生成部生成或获取问题，并使显示部显示所述问题；

眼球行为分析步骤，所述眼球行为分析步骤使眼球行为分析部分析观察显示在所述显示部上的问题的用户的眼球行为；和

觉醒度判定步骤，所述觉醒度判定步骤使觉醒度判定部基于所述眼球行为分析部的分析结果来判定用户的觉醒度。

另外，在本说明书中说明的一系列处理可以用硬件、软件或硬件和软件的组合构成来执行。在所述处理用软件执行的情况下，其中记录处理序列的程序可以安装到并入专用硬件中的计算机的存储器中，并在该计算机上执行，或者程序可以安装在能够执行各种类型的处理的通用计算机上，并在该通用计算机上执行。例如，程序可以预先记录在记录介质上。除了从记录介质安装到计算机以外，还可以经由诸如LAN(局域网)或因特网之类的网络接收程序，并将程序安装在诸如硬盘之类的内置记录介质上。

尽管在本说明书中，主要说明了激起主要眼球行为的信息的问题呈现，不过在也可以使用的其他问题中，在需要转换到手动驾驶的时刻，在来自系统的视觉消息信息中可以显示所述转换等情况的原因，并且可以判定是否发生了该消息的认知。即，分析在驾驶员查看该消息时驾驶员的眼球行为，并判定是否发生了该消息的认知。

由于斜视或单视的矫正，眼球行为取决于人而不同，并且在右眼和左眼之间可能存在信息搜索行为的差异。因而，可以进行双眼的分析、按照到问题的距离的单眼分析等。

尽管在本说明书中说明的例子中，眼球行为分析用于在从自动驾驶转换到手动驾驶时的觉醒状态确定，不过，连同驾驶员的其他生命信息和动作信息一起，眼球行为分析的结果可以应用于估计驾驶员的精神状态，计算无序预测系数等，从而可以进行精神健康监测。

注意，记载在本说明书中的各种处理不仅可以按照说明时序地执行，而且可以根据需要或者按照执行处理的设备的处理能力，并行地或者单独地执行。另外，本说明书中的系统具有多个设备的逻辑集合构成，不限于包括容纳在单一外壳内的各种构成的设备的系统。

[工业适用性]

如上所述，按照本公开的一个实施例的构成，实现了通过分析尝试解答显示在显示部上的问题的驾驶员的眼球行为来判定驾驶员是否具有足以进行手动驾驶的觉醒度的构成。

具体地，例如，使得可以基于驾驶员的眼球行为，判定可以按可被切换到自动驾驶和手动驾驶的驾驶模式驾驶的移动设备的驾驶员是否具有足以恢复手动驾驶的觉醒度。包括分析观察显示在显示部上的问题的驾驶员的眼球行为的眼球行为分析部，和基于眼球行为分析部的分析结果来判定驾驶员的觉醒度的觉醒度判定部。觉醒度判定部分析驾驶员是否进行诸如用于解答问题的注视或微跳视之类的眼球行为，并判定驾驶员是否具有足以恢复手动驾驶的觉醒度。

按照本构成，实现了通过分析尝试解答显示在显示部上的问题的驾驶员的眼球行为，来判定驾驶员是否具有足以进行手动驾驶的觉醒度的构成。

[附图标记列表]

10:汽车

11:数据处理部

12:驾驶员信息获取部

13:环境信息获取部

14:通信部

15:通知部

17:显示信息存储部

20:驾驶员

30:服务器

51:驾驶员面部跟踪部(驾驶员面部跟踪器)

52:驾驶员眼球跟踪部(驾驶员眼球跟踪器)

61:显示信息生成部

62:显示部选择部

63:驾驶员眼球行为分析部

64:驾驶员眼球行为学习器

65:驾驶员觉醒度判定部

71-74:显示部

100:移动设备

101:输入部

102:数据获取部

103:通信部

104:车内装置

105:输出控制部

106:输出部

107:驱动系统控制部

108:驱动系统

109:车身系统控制部

110:车身系统

111:存储部

112:自动驾驶控制部

121:通信网络

131:检测部

132:当前位置估计部

133:状况分析部

134:规划部

135:操作控制部

141:车辆外部信息检测部

142:车辆内部信息检测部

143:车辆状态检测部

151:地图分析部

152:交通规则识别部

153:状况识别部

154:状况预测部

155:安全性判定部

161:路线规划部

162:动作规划部

163:操作规划部

171:紧急避险部

172:加速/减速控制部

173:方向控制部

501:CPU

502:ROM

503:RAM

504:总线

505:输入/输出接口

506:输入部

507:输出部

508:存储部

509:通信部

510:驱动器

511:可拆卸介质

521:传感器

522:驱动部

Claims (19)

1.一种信息处理设备，包括：

显示信息生成部，所述显示信息生成部生成或获取问题，并使显示部显示所述问题；

眼球行为分析部，所述眼球行为分析部分析观察显示在所述显示部上的问题的用户的眼球行为；和

觉醒度判定部，所述觉醒度判定部基于所述眼球行为分析部的分析结果来判定用户的觉醒度。

2.按照权利要求1所述的信息处理设备，其中所述问题是用户为了解答问题需要另外搜索缺失信息的工作的问题。

3.按照权利要求1所述的信息处理设备，其中所述问题是触发眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)中的至少任意一种眼球行为作为用户为解答问题而进行的眼球行为的问题。

4.按照权利要求1所述的信息处理设备，其中所述眼球行为分析部获取能够判定用户是否在进行用于解答问题的眼球行为的数据。

5.按照权利要求1所述的信息处理设备，其中所述眼球行为分析部获取表示用户是否在进行眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)中的至少任意一种眼球行为作为用于解答问题的眼球行为的数据。

6.按照权利要求1所述的信息处理设备，其中所述觉醒度判定部从所述眼球行为分析部接收能够判定用户是否在进行用于解答问题的眼球行为的数据作为输入，并且基于输入的数据判定用户的觉醒度。

7.按照权利要求1所述的信息处理设备，其中所述觉醒度判定部从所述眼球行为分析部接收表示用户是否在进行眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)中的至少任意一种眼球行为的数据作为输入，并且基于输入的数据判定用户的觉醒度。

8.按照权利要求1所述的信息处理设备，其中所述觉醒度判定部在用户的眼球行为被判定为用于解答问题的眼球行为的情况下，判定用户的觉醒度高，而在用户的眼球行为未被判定为用于解答问题的眼球行为的情况下，判定用户的觉醒度低。

9.按照权利要求1所述的信息处理设备，其中所述觉醒度判定部在判定用户在进行眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)中的至少任意一种眼球行为作为用于解答问题的眼球行为的情况下，判定用户的觉醒度高。

10.按照权利要求1所述的信息处理设备，其中所述觉醒度判定部判定用户是否具有能够进行手动驾驶的觉醒度。

11.按照权利要求1所述的信息处理设备，其中所述显示信息生成部生成或获取的问题是涉及排列表示物体的多个剪影并且要求视线相对于每个剪影移动以便解答问题的问题。

12.按照权利要求1所述的信息处理设备，其中所述显示信息生成部生成或获取的问题是涉及排列字符、符号、标志或象形图中的至少任意一个的数据并且要求视线移向每个数据以便解答问题的问题。

13.一种能够切换到自动驾驶和手动驾驶的移动设备，所述移动设备包括：

驾驶员信息获取部，所述驾驶员信息获取部获取所述移动设备的驾驶员的驾驶员信息；和

数据处理部，所述数据处理部基于所述驾驶员信息获取部的获取信息，判定驾驶员是否具有足以恢复手动驾驶的觉醒度，其中

所述数据处理部具有

显示信息生成部，所述显示信息生成部生成或获取问题，并使显示部显示所述问题，

眼球行为分析部，所述眼球行为分析部分析观察显示在所述显示部上的问题的驾驶员的眼球行为，和

觉醒度判定部，所述觉醒度判定部基于所述眼球行为分析部的分析结果来判定驾驶员的觉醒度。

14.按照权利要求13所述的移动设备，其中所述觉醒度判定部从所述眼球行为分析部接收能够判定驾驶员是否在进行用于解答问题的眼球行为的数据作为输入，并且基于输入的数据判定驾驶员是否具有足以恢复手动驾驶的觉醒度。

15.按照权利要求13所述的移动设备，其中所述觉醒度判定部从所述眼球行为分析部接收表示驾驶员是否在进行眼球的跳视(眼球转动)、注视或微跳视(眼球微转动)中的至少任意一种眼球行为的数据作为输入，并且基于输入的数据判定驾驶员是否具有足以恢复手动驾驶的觉醒度。

16.按照权利要求13所述的移动设备，其中在所述觉醒度判定部判定驾驶员具有足以恢复手动驾驶的觉醒度的情况下，所述移动设备的控制部允许驾驶员开始手动驾驶，和

在所述觉醒度判定部判定驾驶员不具有足以恢复手动驾驶的觉醒度的情况下，所述移动设备的控制部不允许驾驶员开始手动驾驶，并进行避免侵入手动驾驶区域的处理。

17.一种在信息处理设备中执行的信息处理方法，所述信息处理方法包括：

由显示信息生成部进行的显示信息生成步骤，所述显示信息生成步骤生成或获取问题，并使显示部显示所述问题；

由眼球行为分析部进行的眼球行为分析步骤，所述眼球行为分析步骤分析观察显示在所述显示部上的问题的用户的眼球行为；和

由觉醒度判定部进行的觉醒度判定步骤，所述觉醒度判定步骤基于所述眼球行为分析部的分析结果判定用户的觉醒度。

18.一种在移动设备中执行的信息处理方法，所述移动设备能够切换到自动驾驶和手动驾驶，所述信息处理方法包括：

由驾驶员信息获取部进行的驾驶员信息获取步骤，所述驾驶员信息获取步骤获取所述移动设备的驾驶员的驾驶员信息；和

由数据处理部进行的数据处理步骤，所述数据处理步骤基于所述驾驶员信息判定驾驶员是否具有足以恢复手动驾驶的觉醒度，其中

在所述数据处理步骤中执行：

由显示信息生成部进行的显示信息生成步骤，所述显示信息生成步骤生成或获取问题，并使显示部显示所述问题，

由眼球行为分析部进行的眼球行为分析步骤，所述眼球行为分析步骤分析观察显示在所述显示部上的问题的用户的眼球行为，和

由觉醒度判定部进行的觉醒度判定步骤，所述觉醒度判定步骤基于所述眼球行为分析部的分析结果来判定用户的觉醒度。

19.一种使信息处理设备执行信息处理的程序，所述信息处理包括：

显示信息生成步骤，所述显示信息生成步骤使显示信息生成部生成或获取问题，并使显示部显示所述问题；

眼球行为分析步骤，所述眼球行为分析步骤使眼球行为分析部分析观察显示在所述显示部上的问题的用户的眼球行为；和

觉醒度判定步骤，所述觉醒度判定步骤使觉醒度判定部基于所述眼球行为分析部的分析结果来判定用户的觉醒度。

Images