CN110914884B - 车辆控制器和车辆控制方法 - Google Patents

Abstract

本发明的技术涉及可以更安全地执行从自动驾驶转变为手动驾驶的车辆控制器和车辆控制方法。车辆控制器包括：行驶控制部，该行驶控制部相对于车辆的正常行驶执行偏离行驶控制，这种控制是在驾驶模式从自动驾驶模式切换为手动驾驶模式时执行的；以及驾驶状态检测部，基于驾驶员响应于偏离行驶控制而执行的行驶操作来检测驾驶员的反应性和清醒程度。在驾驶模式从自动驾驶模式切换为车辆由驾驶员操作的手动驾驶模式时，使用驾驶员的所检测的反应性和清醒程度。本技术可以应用于例如控制自动驾驶的车辆控制器。

Description

车辆控制器和车辆控制方法

技术领域

本技术涉及车辆控制器和车辆控制方法，并且尤其涉及能够更安全地从自动驾驶改变为手动驾驶的车辆控制器和车辆控制方法。

背景技术

传统上，已经提出判定驾驶员的姿势不平衡是否归因于驾驶员的习惯，并且在判定姿势不平衡归因于习惯的情况与判定姿势不平衡归因于习惯以外的问题的情况之间以不同的方式告知驾驶员姿势不平衡(例如，参考专利文献1)。

传统上，还提出判定驾驶员是否具有能够在车辆通过自动驾驶开始行驶之前从自动驾驶恢复手动驾驶的驾驶能力，并且在判定驾驶员缺乏这种驾驶能力的情况下，禁止车辆通过自动驾驶开始行驶(例如，参考专利文献2)。

引文列表

专利文献

专利文献1：日本专利特许公开No.2016-38793

专利文献2：日本专利特许公开No.2016-115356

发明内容

技术问题

同时，需要平稳地执行从自动驾驶到手动驾驶的切换。为了满足需要，例如，专利文献2中提到在自动驾驶完成时到手动驾驶的不成功改变的情况下，紧急停止车辆。

然而，不成功的改变导致在交通繁忙的地方的交通拥堵，除非提供临时停放不能改变驾驶模式的车辆的疏散区域并将车辆引导到该区域。

鉴于这样的情况而实现了本技术，并且本技术的目的是使驾驶模式能够更安全地从自动驾驶改变为手动驾驶。

技术手段

根据本技术的一个方面的车辆控制器包括：行驶控制部，在驾驶模式从自动驾驶模式切换为手动驾驶模式时，对偏离车辆的正常行驶的行驶进行控制；和驾驶状态检测部，基于驾驶员对偏离行驶的控制而执行的行驶操作来检测驾驶员的驾驶状态。

车辆控制器可以进一步包括响应于由驾驶状态检测部检测到的驾驶状态来切换驾驶模式的驾驶模式切换部。

在由驾驶状态检测部检测出的驾驶状态表示可以正常行驶的情况下，驾驶模式切换部可以将驾驶模式从自动驾驶模式切换为手动驾驶模式。

行驶控制部可以对偏离行驶进行控制，作为在切换驾驶模式时逐步执行的多个判定处理之中的最终步骤或与最终步骤相一致的处理。

行驶控制部可以对行驶进行控制，来使车辆向偏离行进方向的方向移动，以作为对偏离行驶的控制。

行驶控制部可以对行驶进行控制，来使车辆向作为偏离方向的直角方向移动。

行驶控制部可以对行驶进行控制，来使车辆急加速或急减速，以作为对偏离行驶的控制。

行驶控制部可以在驾驶员被通知驾驶模式的切换之后，对偏离行驶进行控制。

驾驶状态检测部可以在行驶控制部对偏离行驶进行控制之前，被动地检测驾驶员的驾驶状态。

驾驶状态检测部可以在行驶控制部对偏离行驶进行控制之前，被动地或准被动地检测驾驶员的驾驶状态，以及行驶控制部可以基于驾驶员的状态和恢复预测定时来决定通知驾驶员的定时。

驾驶状态检测部可以基于驾驶员对行驶操作设备执行的校正动作来检测驾驶状态。

驾驶状态检测部可以将驾驶员的反应性或清醒程度中的至少一项检测为驾驶状态。

行驶控制部可以允许车辆以限于低速的速度的自动驾驶模式，判定在切换为以等于或高于预定速度的速度行驶时将驾驶模式从自动驾驶切换为手动驾驶，并且在以等于或高于该预定速度的速度行驶时要求驾驶员干预转向操作。

根据本技术的一个方面的车辆控制方法包括以下步骤：在驾驶模式从自动驾驶模式切换为手动驾驶模式时，对偏离车辆的正常行驶的行驶进行控制；以及基于驾驶员对偏离行驶的控制而执行的行驶操作来检测驾驶员的驾驶状态。

根据本技术的一个方面，在驾驶模式从自动驾驶模式切换为手动驾驶模式时，对偏离车辆的正常行驶的行驶进行控制。此外，基于驾驶员对偏离行驶的控制而执行的行驶操作来检测驾驶员的驾驶状态。

本发明的有利效果

根据本技术的一个方面，可以更安全地从自动驾驶改变为手动驾驶。

注意，优点并不总是限于本节中描述的那些，而是可以是本公开中描述的那些中的任何一个。

附图说明

图1是描绘应用了本技术的自动驾驶系统的配置的示例的框图。

图2是描绘驾驶员监视部和车辆控制部的配置的示例的框图。

图3是描绘切换判定部的配置的示例的图。

图4是通过主动反应响应检测的切换判定的说明图。

图5是自动级别的说明图。

图6是描绘驾驶模式切换的转变图。

图7是自动驾驶控制处理的说明流程图。

图8是接着图7的自动驾驶控制处理的说明流程图。

图9是接着图8的自动驾驶控制处理的说明流程图。

图10是LDM数据更新的说明图。

图11是LDM数据更新的说明图。

图12是LDM数据更新的说明图。

图13是描绘总结关于次级任务是否可执行的答案的表格的图。

图14是驾驶模式切换判定处理的说明流程图。

图15是自动驾驶控制处理的另一示例的说明流程图。

图16是接着图15的自动驾驶控制处理的另一示例的说明流程图。

图17是接着图16的自动驾驶控制处理的另一示例的说明流程图。

图18是描绘计算机的配置的示例的图。

具体实施方式

以下，参考附图，将对用于实施本发明的方式(以下，称为“实施例”)进行详细描述。

<自动驾驶系统的配置的示例>

图1描绘了应用了本技术的自动驾驶系统10的配置的示例。

自动驾驶系统10包括车辆控制系统11和移动终端12。

车辆控制系统11包括周围图像捕获部21、周围信息获取部22、位置测量部23、输入部24、车辆信息获取部25、驾驶员监视部26、通信部27、车辆控制部28、显示部29、音频输出部30、发光部31、行驶控制部33、车载设备控制部34和存储部35。

周围图像捕获部21包括例如各种成像设备，诸如单目相机、立体相机、ToF(飞行时间)相机、偏振相机、时间门控相机、多光谱相机、非可见光相机(诸如，红外光相机)。周围图像捕获部21捕获包括车辆的行进方向的车辆周围的图像，并将通过捕获而获得的图像作为周围图像供应给车辆控制部28。

周围信息获取部22包括各种传感器，诸如声纳、雷达、激光雷达、温度传感器、湿度传感器、雨传感器、雪传感器和背光传感器。周围信息获取部22获取周围信息，该周围信息是关于车辆周围的信息。此外，周围信息获取部22可以通过从路边、在主体车辆附近行驶的行驶车辆、行人、自行车等获取信息来获得关于仅由主体车辆测量不能获得的盲区的信息。

例如，周围信息获取部22获取与车辆的周围环境相关联的信息(诸如温度、湿度、天气和路面状况)、与车辆周围的物体相关联的信息(诸如车辆周围的物体的类型和位置)等作为周围信息。周围信息获取部22将所获取的周围信息供应给车辆控制部28。

位置测量部23使用定位系统来测量车辆的当前位置，该定位系统是例如通过使用人造卫星来测量当前位置的卫星导航系统(诸如，GNSS(全球导航卫星系统))和使用高度计、加速度传感器、陀螺仪或图像识别设备等的SLAM(同时定位和制图)所代表的自动定位系统的组合。位置测量部23将测量结果供应给车辆控制部28。

输入部24包括诸如麦克风、按钮、开关、触摸板、方向指示器和手势识别设备之类的输入设备。输入部24接收车辆的包括驾驶员、数据等的指令输入。输入部24将输入指令、数据等供应给车辆控制部28。

车辆信息获取部25获取包括与车辆相关联的各种信息的车辆信息。例如，车辆信息获取部25获取与车辆的运动相关联的信息(诸如车辆的速度、加速度、角速度和行进方向)作为车辆信息。

此外，车辆信息获取部25例如获取与驾驶操作相关联的信息，诸如关于加速器踏板、制动器踏板、转向盘、驻车制动器、变速杆、方向指示杆、电源(点火)开关、灯开关、挡风玻璃刮水器开关等等的操作定时、操作量等。

此外，车辆信息获取部25获取与车辆状况相关联的信息，诸如车辆的组成部分的状态以及故障的存在/不存在。车辆信息获取部25将所获取的车辆信息供应给车辆控制部28。

如稍后参考图2所述的，驾驶员监视部26监视驾驶员并将监视结果供应给车辆控制部28。

通信部27包括符合各种通信方案的通信设备。

通信部27包括例如保持通过DSRC(专用短程通信)的无线通信的通信设备。在这种情况下，通信部27保持与沿道路安装的每个ITS(智能运输系统)地点的通信，并获取LDM(本地动态地图)。

LDM包括例如静态信息、准静态信息、准动态信息以及动态信息，静态信息包含道路表面信息、行车道信息、三维结构信息等，准静态信息包含随时间改变的交通控制信息、关于道路工程的先验信息、关于当前正在进行的道路工程并且指示车辆更接近任一道路工程现场的先验更新信息、广域天气信息等，准动态信息包含最新更新信息、交通事故信息、交通拥堵信息、窄域天气信息等，动态信息包含关于周围车辆和行人的信息、交通信号灯信息等。

在短时近场通信中优先具有更多信息的宽带通信，使得能够有效利用无线通信资源。该宽带通信是有效的手段，特别是对于获取对主体车辆不久将要进行的紧迫和局部行驶而言关键的信息以及主体车辆所获取的到基础设施侧的道路环境信息而言是有效的手段。

另外，通信部27还包括能够进行更多远程通信的通信设备，例如，根据通信标准(3G、4G、LTE(长期演进)等)保持通信，根据该标准蜂窝电话保持通信。在这种情况下，通信部27通过诸如因特网之类的专用或通用网络从服务器等获取诸如广域地图数据或关于远处的旅行点的天气信息之类的各种信息。

通信部27包括信标设备。在这种情况下，通信部27与安装在路边的每个路边机器保持通信，以辅助安全驾驶或路径规划，并获取和交换各种交通信息。

关于车辆规划行驶的环境的环境信息不必限于通过这些特定手段获得的信息。通信部27不仅可以保持下一代蜂窝电话通信标准下的规划基站通信，而且还可以不借助基站而利用行驶区间附近的云服务器进行车辆间中继通信或邻近通信。可替代地，通信部27和通信伙伴可以具有冗余性，从而可以确保鲁棒性以防止特定的通信系统故障。

车辆行进路线上的环境数据更新新鲜度取决于可通信的频段而变化；因此，特别是在主体车辆进入诸如LDM等的更新的新鲜程度非常低的道路区间的情况下，主体车辆通过完全自动驾驶来在该区间行驶所必需的信息的新鲜程度下降。结果，有必要假定在最初被定义为主体车辆可以在没有驾驶员干预的情况下行驶的区间的区间中，要求驾驶员干预驾驶以返回正常车道。

通信部27包括可在车厢中可用的近场通信设备，诸如具有蓝牙(注册商标)能力的通信设备。在这种情况下，通信部27保持与以智能电话或平板终端为代表的移动终端12的通信，并发送和接收各种信息。

通信部27将所获取的信息供应给车辆控制部28。另外，通信部27从车辆控制部28获取要发送到另一通信设备等的信息。

车辆控制部28包括ECU(电子控制单元)等，并且如后文参考图2所述那样控制车辆控制系统11中的各部。

显示部29包括各种显示设备，并且在车辆控制部28的控制下显示各种图像和信息。显示部29例如包括设置在挡风玻璃的一部分上的平视显示器或透射式显示器，并在驾驶员的视野内显示叠加的图像或信息。此外，显示部29包括例如仪表板或汽车导航系统的显示器等。

音频输出部30包括例如扬声器、警报器、蜂鸣器等。音频输出部30在车辆控制部28的控制下输出音频信息、通知声音、警报声音等。

发光部31例如包括诸如LED(发光二极管)或灯的发光设备。发光部31在车辆控制部28的控制下，为了向驾驶员通知各种信息、引起驾驶员的注意等而使灯点亮或闪烁。发光部31的点光源灯不必限于LED等，而是发光部31也可以通过在仪表板的全部或部分上的矩阵阵列显示部，利用字母组合显示向驾驶员呈现详细的消息信息等。

行驶控制部33在车辆控制部28的控制下控制安装在车辆中的各种设备中与车辆行驶相关联的设备。行驶控制部33例如包括控制引擎的致动的引擎控制设备、控制马达的致动的马达控制设备、控制制动器的致动的制动器控制设备以及控制转向的致动的转向控制设备。

车载设备控制部34控制安装在车辆中的各种设备中除与车辆行驶相关联的设备以外的设备。例如，车载设备控制部34控制控制每个座椅的倾斜的致动器、使座椅振动的致动器、使转向盘振动的致动器。

存储部35存储由车辆控制系统11执行的处理所需的程序和数据。存储部35例如存储与车辆行驶等有关的日志，在驾驶员的认证、学习驾驶员的各种特征的结果中使用的面部图像和识别/标识/提取信息，汽车检查信息和车辆交通事故诊断信息。注意，并非所有信息都总是存储在存储部35中，而是例如可以经由通信部27将信息发送到远程服务器等并存储在其中。

<驾驶员监视部26和车辆控制部28的配置的示例>

图2描绘了车辆控制系统11中的驾驶员监视部26和车辆控制部28的配置的示例。

驾驶员监视部26包括驾驶员图像捕获部101、生物信息获取部102、视线检测部103、认证部104。

驾驶员图像捕获部101包括诸如ToF传感器、立体相机、3D相机、3D Flash LIDAR传感器等的成像设备。驾驶员图像捕获部101的图像捕获范围至少包括在驾驶期间驾驶员座椅中的驾驶员腰部的上部，并且可以在更大范围内。注意，驾驶员图像捕获部101的部分功能可以由姿势检测来代替，该姿势检测由设置在座椅中的座椅应变计并且检测身体压力来进行。

驾驶员图像捕获部101还包括能够对驾驶员的眼球进行瞳孔分析或详细分析的高速图像捕获装置，并且该高速图像捕获装置可以具有能够分析眼球的扫视或注视以及诸如伴随注视的轻微移动或漂移之类的脑内感知反应的功能。高速图像捕获装置是指能够以比普通电视信号中使用的60fps(每秒帧)的帧更新速率更快的速率移动图像并且期望以等于或高于250fps的速率对移动图像成像的成像装置。

驾驶员图像捕获部101将通过图像捕获而获得的图像作为驾驶员图像供应给车辆控制部28。为了在捕获驾驶员的图像时获取更准确和特有的信息，可以使用专用光源照亮驾驶员，专用光源例如是发出结构光的光源或发出包括红外光的特定波长的光的光源。

生物信息获取部102包括传感器等，其检测关于驾驶员的各种生物信息。由生物信息获取部102获取的生物信息包括例如脉搏、脉搏波、血压、血流系统、座椅体压、坐姿、脑电波、脑内血流、眼肌电位、心电图、体温、体味、皮肤温度、呼吸、转向盘抓力反应、呼吸状态和酒精量。生物信息获取部102将所获取的生物信息供应给车辆控制部28。虽然很难从这些主要是被动的生物信息中直接掌握驾驶员的判定性清醒度，但是该生物信息与驾驶员的疲劳状态、嗜睡等有松散的相关性。将生物信息与后述的视线动态分析相结合，可以更准确地判定驾驶员的清醒度。另外，这些信息在驾驶员处于坐姿以外的姿势且视线难以检测的状态下，在观察驾驶员的活动量时起到补充作用。

视线检测部103基于驾驶员图像检测(执行视线检测)驾驶员的面部方向、视线方向、眨眼、眼球移动(诸如注视眼睛移动、扫视、微距、漂移和震颤)。注意，可以在视线检测部103中提供基于驾驶员图像执行面部检测的面部检测部以及基于驾驶员图像检测头部移动的头部检测部，面部检测诸如是面部表情的检测和眼睛的睁开/闭合状态的检测。

视线检测部103通过执行视线动态分析来评估驾驶员的关注程度和驾驶员的清醒程度。清醒程度是表示驾驶员的有意识状态的程度。例如，清醒程度高于表示驾驶员的有意识的预定阈值是正常的。视线检测部103将视线的检测结果和关注程度的分析结果等供应给车辆控制部28。

由于视线的行为包括驾驶员特有的许多动态特性，因此稍后将描述的认证部104通常执行的第一件事是掌握视线的行为。

视线移向在关于外界的信息之中的驾驶员引起驾驶员的注意的信息；因此，取决于驾驶员响应于理解和判断的状态而依次观看的内容以及取决于认知判断的进展，来判定驾驶员本人的眼球移动，即视线的移动特性，直到驾驶员基于经验特性和身体特征判断眼睛转向信息。

通过视线的动态分析来判定驾驶员是否处于清醒状态不一定要通过驾驶员是否在眼球的物理方向上准确地关注或注视外界物体来进行。不用说，在驾驶员安全地停下车辆时将眼睛注视在特定主体，观看进入驾驶员的视野内的人的面部以判断该人是谁的情况下，或者在观看广告显示器等并阅读在招牌中描述的内容以对该内容进行认知判断的情况下，驾驶员通常将视线转向特定主体并将眼睛注视并聚焦于该特定主体。

但是，在驾驶员在驾驶普通行驶的车辆并掌握外界的状况的同时驾驶车辆的情况下，驾驶员需要对跑动或其它意外事件做出精确的判断；因此，驾驶员很少将眼睛注视在特定主体上。

此外，通常在偏离视线的中央视野的周围视野中掌握驾驶员关注的主体事件。特别是在那种情况下，周围视野是低分辨率区域；因此，驾驶员通过将中央视野转向主体的方向来开始移动视线以捕获主体，从而来掌握内容。观察到眼球移动，即所谓的扫视。

通常，清醒的驾驶员一旦通过最初的眼球移动完成掌握主体事件，便会重复将视线移至下一个主体，以捕获视野中出现的其它危险因素，而不是将眼睛注视在主体事件上进行观察而不移动视线并进行详细的注视观察。完成主体事件的掌握就是大脑中的认知的完成，并且不一定总是需要在中央视野中捕获该主体并注视该主体。

换句话说，可以将驾驶员关于大脑感知的判断活动的一部分表达出来，同时反映在驾驶员的眼睛扫视或视觉注视的动态特性中。在人们完成与目的相关联的信息的判断时，获得由掌握为视觉感觉的信息进行的刺激与从相关联的存储器信息得到的信息之间的等于或高于一定程度的一致程度，触发认知判断来做出判断并导致判断。然而，在不导致判断的情况下，驾驶员进一步转变到用于确保判断的观察阶段，并且等待触发判断所必需的信息。

驾驶员开始移动视线扫视后不久，大脑中的认知活动即感知和判断就在大脑中开始了。因此，直到在眼睛近似地转向主体的方向并且仍然在中央视野中捕获主体的时间将眼睛聚焦在主体上为止，感知和判断并不总是花费长时间。

视线移动的开始是用于将中央视野转向试图做出详细判断以补充信息的方向的处理的开始，因为只有动力视觉产生的刺激信息才能在不足以区分主体内容的周围视野中捕获主体。因此，在视线移动期间，驾驶员并不总是能够完成观看驾驶员无法做出判断的主体的工作。

例如，在行进方向上存在的蓝色状态的交通信号灯和红色海报栏等进入驾驶员的处于无法区分状态的周围视觉范围内的情况下，驾驶员需要判断穿越十字路口时的交通信号灯的颜色；因此，驾驶员开始转向交通信号灯进行判断。

在驾驶员不一定严格注视红色海报栏并只是通过短暂地窥视海报栏来完成判断的情况下，如果车辆行进无改变，则通常会优先考虑确认行人或自行车是否跑出。此外，即使同一驾驶员在受驾驶员视觉影响的环境中，由于包括亮度、眩光等的综合因素，也会在诸如动态观察过程之类的动态特性上发生改变。

视线检测部103通过以这种方式学习驾驶员响应于环境的特有的视线动态特性，从而响应于驾驶员状态进行动态视线分析，从而可以估计清醒状态，并将视线动态分析的判定结果和诸如关注程度的分析结果供应给车辆控制部28。

认证部104基于例如驾驶员图像和视线分析图像对驾驶员进行认证。此时，认证部104可以经由虹膜认证处理对驾驶员进行认证。认证部104将认证结果供应给车辆控制部28。如上所述，该驾驶员认证处理首先被执行。随后，认证结果与驾驶员特有的特征相关联。

车辆控制部28包括周围监视部121、驾驶员监视部122、自动驾驶控制部123、通知控制部124、日志生成部125和学习部126。

周围监视部121基于来自周围图像捕获部21的周围图像、来自周围信息获取部22的周围信息以及来自通信部27的各种信息来监视车辆的周围。

驾驶员监视部122基于来自车辆信息获取部25的车辆信息、来自驾驶员图像捕获部101的驾驶员图像、来自生物信息获取部102的驾驶员生物信息、视线检测部103的检测结果、认证部104的认证结果、学习部126的学习结果等来监视驾驶员。驾驶员监视部122包括驾驶行为分析部141和驾驶状态检测部142。

驾驶行为分析部141基于驾驶员图像、车辆信息、学习部126的学习结果等，来分析驾驶员的驾驶行为(例如，经认证的驾驶员所特有的特征和特性，诸如驾驶的操作和行为)。

驾驶状态检测部142基于驾驶员图像、驾驶员的生物信息、视线检测部103的检测结果、认证部104的认证结果、学习部126的学习结果等来检测驾驶状态。驾驶状态包括经认证的驾驶员的状态和驾驶员的清醒状态。基于经认证的驾驶员的状态通过多个步骤检测驾驶状态，使得驾驶状态检测部142与传统并且一般地使用提前一维决定的阈值进行判定的情况相比，能够通过固定学习根据驾驶员特有的特性高准确性地判定驾驶员的清醒状态。

自动驾驶控制部123控制自动驾驶。自动驾驶控制部123包括路线设置部151、自动级别设置部152、驾驶辅助控制部153、驾驶模式切换控制部154和切换判定部155。

路线设置部151基于来自车辆信息获取部25的车辆信息中包含的车辆的加速度和角速度，对由位置测量部23测量出的车辆的当前位置进行校正。此外，路线设置部151基于来自周围信息获取部22的周围信息，经由通信部27获取的LDM、地图数据和地图更新信息，存储在存储部35中的地图数据等，来设置经由输入部24输入的目的地的行驶路线。

自动级别设置部152基于来自周围信息获取部22的地面信息以及经由通信部27获取的LDM、交通信息、天气信息、路面信息等，在行驶路线上针对每个行驶区间设置自动级别的分布。此外，自动级别设置部152基于每个路线区间的自动级别的分布、经由输入部24输入的用户设置等来设置自动级别。

这里提到的自动级别指示自动驾驶的级别，即驾驶的自动化程度。稍后将参考图6描述自动级别的细节。

驾驶辅助控制部153响应于所设置的自动级别来控制行驶控制部33，并辅助驾驶员驾驶车辆。驾驶辅助控制部153的辅助实现部分或全部的自动驾驶。驾驶辅助控制部153在例如ACC(自适应巡航控制)、LKAS(车道保持辅助系统)、TJA(交通拥挤辅助)以及AEBS(高级紧急制动器系统)之类的自动级别2中进行具有部分限制功能的驾驶辅助。注意，自动级别的细节将在后面描述。

在自动级别3，驾驶辅助控制部153可以进行复杂的多步控制，包括在普通道路上进行更复杂的环境判断和路径规划，诸如识别道路上的交通信号灯，与主干线合并和离开，通过主干线交叉点，十字路口的优先顺序控制以及人行道和人行优先道路上的车辆控制。

尽管在本说明书中，在自动级别4没有驾驶员干预的完全自动驾驶控制被描述为包括在该驾驶辅助控制部153的功能中，但是驾驶辅助控制部153不辅助驾驶员进行驾驶，而是在严格分类控制的情况下在级别4行驶时，进行完全专用于自动驾驶控制的控制。

此外，驾驶辅助控制部153可以在自动级别3或更高的行驶区间中进行更高级并且更复杂的控制(例如，包括车道改变等的超车)，或者可以通过伴随对市区等的行人和自行车的高级、无人环境判断的自动行驶等来执行驾驶辅助。

此外，为了确保向不提供公共交通服务的地区等移动装置，将可以仅以低速使用的安全走走停停自动驾驶车辆推向社会可以估计为使用自动驾驶车辆的领域，尽管该使用是特殊形式。此时，从便利性的观点出发，估计仅在驾驶员可以正常地手动驾驶车辆的情况下，驾驶员将车辆的使用范围扩大到使用驾驶员的车辆进行的较高速行驶。此时，本技术是判定驾驶员能力的有效功能。注意，该特殊使用形式与在紧急疏散模式下车辆的正常使用形式不同。

尽管可以通过自动驾驶在所有速度范围内安全行驶的车辆需要昂贵的装备，但是只要车辆的功能限于低速、走走停停驾驶的功能，就可以用成本更低的装备来实现自动驾驶车辆。例如，本技术可以应用于特殊的使用形式，其中，行动不便的个体可以在当地人口稀少的地区等中将车辆用作轻型车辆的替代品。

在车辆控制系统11中设置了驾驶模式，该驾驶模式包括对应于所谓的自动级别4或更高级别且可以进行无人正常行驶的自动驾驶模式、对应于自动级别3且驾驶员可以干预驾驶以在适当时恢复手动驾驶的自动驾驶模式、对应于自动级别2或更低且驾驶员主要负责控制和判断的自动驾驶模式以及紧急疏散模式。

自动驾驶模式是通过驾驶辅助控制部153的驾驶辅助实现的模式。

手动驾驶模式是其中驾驶员主要负责驾驶的模式。紧急疏散模式是在紧急情况下将车辆疏散到预定位置的模式。

紧急疏散模式用于例如驾驶员在手动驾驶(手动驾驶模式)期间由于疾病或受伤而无法驾驶车辆的情况，或者用于在从自动化驾驶(自动驾驶模式)切换为手动驾驶时无法确认驾驶员是否清醒的情况。

尽管在本说明书中紧急疏散模式被定义为用于通过降低移动速度的优先级来使车辆移动的手段，但是可以将驾驶模式设置为以下紧急疏散模式，其中在由于驾驶员在使用期间无法将自动驾驶改变为手动驾驶的紧急情况下，将车辆疏散至紧急逃生坡道作为措施。在本说明书的上下文中，在将车辆用作确保没有公共交通装置且生活在僻静地方的行动不便的个体在紧急情况下可以转移到医院等的手段时，紧急逃生坡道与移动优先手段(使行动不便的个体甚至以安全、非常慢的速度移动)的紧急疏散模式之间没有区别。

驾驶模式切换控制部154基于经由通信部27获取的LDM、关于LDM的最新更新信息、天气信息、路面状况、交通信息等来改变确认LDM、交通信息等的确认频率。

此外，驾驶模式切换控制部154监视从自动驾驶模式切换为手动驾驶模式的必要性(即，恢复手动驾驶的必要性)，并且向驾驶员通知恢复手动驾驶的请求或在必要时在自动驾驶模式下的行驶期间向驾驶员通知警告。此时，驾驶模式切换控制部154响应于检测到的驾驶员状态控制切换判定部155进行切换判定。驾驶模式切换控制部154基于切换判定部155的判定结果，执行用于将自动驾驶模式切换为手动驾驶模式的切换处理。

注意，驾驶模式切换控制部154不一定可靠地区分驾驶员被通知了请求还是警告以及掌握在不需要紧急改变驾驶模式的情况下的状态。例如，在车辆通过自动驾驶继续行驶大约一小时然后需要恢复手动驾驶的情况下，驾驶模式切换控制部154可以在检测到环境改变时提早通知驾驶员必要性，并且不一定确认驾驶员准确地识别了通知的内容或确认驾驶员是否掌握了通知。但是，在距离紧急改变只有几分钟的情况下，无法识别通知可能是致命的。因此，有必要确认驾驶员是否识别该通知，以确保驾驶员的识别。

然而，期望驾驶员通过未描绘的最佳通知定时估计器预测的定时来识别通知。因此，在例如估计最佳通知定时是到达改变点的时间之前十分钟的情况下，驾驶模式切换控制部154可以将通知发布给驾驶员并确认驾驶员是否识别该通知。在没有检测到驾驶员对通知的识别的情况下，驾驶模式切换控制部154还可以将警告作为警报通知驾驶员。

切换判定部155基于驾驶状态检测部142对驾驶员的反应性和清醒程度的检测结果，在驾驶模式切换控制部154的控制下，判定是否将驾驶模式从自动驾驶模式切换为手动驾驶模式。稍后将参考图3描述由切换判定部155进行的切换判定。

通知控制部124控制显示部29、音频输出部30和发光部31，以将各种信息通知给驾驶员，警告驾驶员或引起驾驶员的注意等。此外，通知控制部124可以使用例如由车载设备控制部34控制的致动器等来将各种信息通知给驾驶员，警告驾驶员或引起驾驶员的注意等。

可以通过引起驾驶员感到不适的各种因素的产生源来通知驾驶员，这些因素诸如是座椅振动或转向盘振动以模拟减速带路面行驶，面板信息显示，气味，抬高靠背和基于检测到的驾驶员恢复行为的记录通过致动器移动座椅位置。

日志生成部125生成并更新日志，以用于检测到的驾驶员的恢复行为的记录，车辆发生的各种事件的记录，在改变主体车辆的驾驶模式时对周围的通知的响应以及车辆间/车与路与相邻车辆或基础设施的通信。日志生成部125将所生成的日志存储在存储部35中，并适当地更新日志。

学习部126学习由驾驶行为分析部141分析的驾驶员的驾驶行为(例如，驾驶员特有的特征和特性，诸如驾驶操作、恢复顺序、恢复行为)，并存储学习结果。

在分析驾驶员的行为时，学习部126可以通过进一步增加对行驶环境等的依赖性并且根据特定于状况(诸如，背光、夜间或下雪期间的路面状况)的响应，来学习并记录个人的恢复特性。由于驾驶员通常掌握自己的恢复特性，因此可以提供用于将驾驶员的偏移设置为比系统学习中的建议值更早的通知的机制来优先考虑安全性。

此外，据估计，谨慎的驾驶员经常重视安全性，并且倾向于在比车辆控制系统11所呈现的作为通过学习的建议值(即车辆控制系统11所呈现的定时)的定时更早的定时被通知。为了采取估计措施，可以提供一种机制，以使驾驶员优先地提前通知定时，即进行所谓的更早的通知偏移设置。

然而，不期望驾驶员通过设置不提前通知定时而是延迟通知定时而没有及时恢复的情况。如果存在这样的情况，即使是轻微的情况，即驾驶员没有及时恢复并且最终恢复迟到的情况下，车辆的紧急停车频率增加，并且在平稳交通的前提下可能引发交通基础设施交通拥堵的问题，从而导致不期望的使用形式。因此，需要将用户可以根据需要改变的设置限制为使得用户提前通知定时的设置。

另一方面，在驾驶员意识到自己提早恢复并且该恢复在比通过车辆控制系统11的学习通知驾驶员的定时更早的定时的情况下，可以提供使驾驶员在车辆控制系统11发出复杂的通知或警告之前能够提前取消提早通知的机制。

该通知取消等同于例如在警报关闭之前停止警报闹钟。但是，过早的取消导致驾驶员不小心并掉头入睡的情况。为了避免这种危险，仅在提供了用于检测驾驶员的恢复转变的装置并且提供了在车辆迟到过程时紧急返回以返回至手动驾驶的机制的情况下，才可取消提早通知。

<切换判定部的配置的示例>

图3是描绘切换判定部的配置的示例的图。

切换判定部155包括手势识别切换判定部201、扫视信息切换判定部202、语音识别切换判定部203和主动反应响应检测切换判定部204。

以这种方式配置的切换判定部155基于每个信息通过多个步骤执行判定，并且最终基于判定结果判定是否可以将驾驶模式从自动驾驶模式切换为手动驾驶模式。

进行分层判定使得能够更可靠地进行判定。尽管在本实施例中描述了仅基于识别的切换判定，但是可以始终监视驾驶员的状态，可以基于关于监视的信息来发出通知/警告，可以分析动态姿势下的行为，然后在本说明书中可以添加过程，不管是否存在改变的必要性。

·基于手势运动的识别检测反应性和清醒程度

手势识别切换判定部201使驾驶状态检测部142识别手势运动并检测驾驶员的反应性和清醒程度。

手势识别切换判定部201基于在通过驾驶状态检测部142进行的改变通知之后的预定抓握确认运动的检测结果，通过判定驾驶员的恢复内部状态，来判定是否可以将驾驶模式从自动驾驶模式切换为手动驾驶模式。

尽管简单的手指指向作为预定抓握运动的示例，但是重复运动等可以用作需要更多驾驶员的智力判断以增加抓握可能性的运动。

恢复内部状态在此意味着驾驶员的意识状态。判定恢复内部状态对应于判定驾驶员是否有意识，即清醒。

特别是在驾驶员面向前方的手指指向运动中，如果没有反馈大脑的判断以将驾驶员的手和指尖转向基于驾驶员的向前看时的视觉信息的视线范围，则驾驶员难以进行准确的手指指向运动。此外，由于驾驶员的内部意识状态反映在运动的波动或准确性中，因此可以在脑清醒状态下观察到主动反应(稍后描述)。

在自动驾驶期间，驾驶员可以执行驾驶以外的工作或动作(包括小睡)作为次级任务。然而，在需要将驾驶模式从自动驾驶模式切换为手动驾驶模式的情况下，驾驶员需要停止次级任务并将驾驶员的恢复内部状态设置为能够执行作为主要任务的驾驶任务的状态。

尽管在本说明书中没有详细描述，但是特别地，通过被动方案连续观察驾驶员状态，来判定驾驶员是否已经完全离开驾驶员的意识状态(诸如，小睡)，并且在必要的时间发出清醒通知(诸如，警报)以使驾驶员恢复手动驾驶。本技术是由车辆控制系统11执行的处理，以确认驾驶员是否掌握了该通知并且判定当在通知之后处于驾驶员状态的驾驶员显然可以恢复手动驾驶模式时的清醒程度。

通过检测当驾驶员从小睡中清醒时以驾驶员的目光注视车辆前方的手指指向和信号或者呼叫来判定驾驶员的恢复内部状态是否是驾驶员可以执行驾驶任务的状态。在可以正常地检测到手指指向和信号或呼叫而不会摆动的情况下，判定驾驶员的恢复内部状态是能够执行驾驶任务的状态；否则，判定驾驶员的恢复内部状态不是能够执行驾驶任务的状态。在姿势不稳定并且不能正确执行检测的情况下，可以通过重新执行检测来执行重试处理等。

手指指向和信号或呼叫是将一只手臂转向驾驶员要确认的方向，并指向要用抬起的手臂的手指确认的事件的方向的动作，例如，由火车或公交车的指挥者进行。

在本实施例中，在车辆行进的情况下，将手指指向信号假设为确认车辆的前方作为紧急事件，并且驾驶员大致水平地举起一只手臂并向行驶方向前确认作为首先响应于驾驶模式改变的通知而执行的指定的确认过程。

在下文中，将驾驶员看向车辆前方的手指指向信号和呼叫适当地称为“向前手指指向信号和呼叫”。

驾驶状态检测部142将向前手指指向信号和驾驶员的呼叫检测为预定手势运动。驾驶状态检测部142通过使用来自驾驶员图像捕获部101中的三维传感器和二维传感器的信息的组合的计算，判定驾驶员所确认的车辆的前方、驾驶员的主眼或每只眼睛的位置以及手指指向的位置在所检测到的手势运动中是否具有平面位置关系。驾驶状态检测部142由此准确地检测并识别出驾驶员已将手指向前指向，并检测到驾驶员的反应性和清醒程度。

注意，手势运动通常受驾驶员本人的习惯、年轻等的影响。驾驶状态检测部142根据驾驶行为分析部141对驾驶员的驾驶行为的分析结果、学习部126使用该分析结果进行的学习结果等来检测向前手指指向信号和呼叫。

以这种方式，驾驶状态检测部142基于驾驶员图像、驾驶员的生物信息、视线检测结果、驾驶员的驾驶行为的分析结果、驾驶员的认证结果、学习部126的学习结果等，通过检测手势运动来检测驾驶员状态。

此外，取决于驾驶员在次级任务期间是否就座，手势识别切换判定部201可以执行驾驶姿势返回序列跟踪检测，该操作是用于跟踪和检测序列的操作，直到驾驶员的姿势恢复驾驶员可以驾驶车辆的状态为止。手势识别切换判定部201还可以通过执行驾驶员的眼球行为来检测驾驶员的反应性和清醒程度，并且判定是否恢复了驾驶员返回手动驾驶的能力。

手势识别切换判定部201可以通过使用视线、主眼或每只眼睛的位置、指尖的位置、车辆前方的道路、诸如三维ToF传感器的姿势跟踪设备等的组合来判定驾驶员的向前手指指向信号的运动并呼叫。手势识别切换判定部201还可以从判定指尖的位置来判定运动的准确性。

以这种方式，驾驶员的向前手指指向信号和呼叫伴随着驾驶员在大脑中的判断和动作，从而使驾驶员实际上看向车辆的前方并且进一步将手指指向车辆的前方。以这种方式，请求驾驶员执行预定运动手势使得可以确认身体能力，诸如驾驶员可以如何忠实地表达向前手指指向信号和呼叫。如后所述，特别地，通过其它手段的组合通过多步观察驾驶员状态的转变，能够判定驾驶员是否已经能够执行到手动驾驶的正常改变，并且可以采用一种机制，用于基于教师数据判定正常改变时手指指向手势的转变是正常的；因此，无需手动选择、区分和准备正常转变数据。

·基于扫视信息检测反应性和清醒程度

扫视信息切换判定部202通过对驾驶员的眼球扫视行为执行分析，对驾驶员的微距行为进行分析，以及对反映并与大脑中的一系列感知活动相关联的的运动(诸如注视眼的移动和漂移)进行分析，从而使驾驶状态检测部142检测驾驶员的反应性和清醒程度。

在此，在检测特定驾驶员的大脑中的判断活动时，反射响应特性包括可能随时间变化的视力引起的个体行为的改变和大脑中对驾驶员的危险的存在/不存在的反射主动反应。因此，可以通过基于驾驶员的认证的持续特性学习进行学习并响应于行为特性进行判定来做出更准确的判断。

扫视信息切换判定部202基于驾驶状态检测部142的检测结果来判定驾驶员的恢复内部状态，从而判定驾驶模式是否可以从自动驾驶模式切换为手动驾驶模式，并且判定在清醒中途的情况。

·基于语音识别检测反应性和清醒程度

语音识别切换判定部203基于驾驶员的语音响应来使驾驶员做出识别和判断，并使驾驶状态检测部142检测驾驶员的反应性和清醒程度。

例如，将驾驶员没有思考则无法反应的问题呈现为语音，并且驾驶状态检测部142检测对该问题的响应。驾驶状态检测部142基于驾驶员是否可以响应该问题来检测驾驶员的反应性和清醒程度。例如，在驾驶员可以正确地响应问题的情况下，驾驶状态检测部142检测出驾驶员的反应性和清醒程度良好。

另外，在驾驶员对问题的响应有误的情况下，驾驶状态检测部142可以判定驾驶员正处于恢复清醒的中途，并且在改变驾驶模式的点之前有足够的时间时可以重新执行判定。然而，在驾驶员根本不响应的情况下，改变的风险增加；因此，特别在道路环境特别恶化的区间中行驶中，驾驶状态检测部142可以基于LDM信息等进行判定，并且将驾驶模式切换为后述的提早紧急疏散模式。

语音识别切换判定部203基于驾驶状态检测部142的检测结果来判定驾驶员的恢复内部状态，从而判定驾驶模式是否可以从自动驾驶模式切换为手动驾驶模式。

·基于主动反应响应检测来检测反应性和清醒程度

主动反应响应检测切换判定部204基于驾驶员对主动反应的响应，使驾驶状态检测部142检测驾驶员的反应性和清醒程度。

这里的主动反应是指通过向转向盘施加作为噪声的扭矩并有意生成偏离正常行驶的行驶(以下称为“噪声行驶”)来引起转向盘偏离。噪声行驶的示例包括用于使车辆在偏离方向(诸如，与保持在沿着行车道的一般行进方向上的车辆成大致直角方向)上移动的行驶；以及用于使车辆横向移动以将方向改变为横穿行车道的方向的行驶；以及有意地施加急加/减速的行驶。在将侧风吹向车辆的情况下，车辆在不改变方向的情况下在横向稍微偏离的方向上移动。

对主动反应的响应是驾驶员对输入的主动行驶噪声的响应，例如，驾驶员对扭矩的判断，以校正此类噪声行驶的转向操作并增加扭矩，以及踩踏加速器踏板或踩下制动器。驾驶状态检测部142例如检测出驾驶员可以正确地进行用于取消所施加的噪声的响应。

使用诸如转向盘、加速器踏板或制动器之类的行驶操作设备来输入驾驶员的转向操作。行驶控制部33进行控制以例如响应于使用行驶操作设备的驾驶员的操作输入来校正转向操作。

检测驾驶员的反应性和清醒程度的方法的示例在此包括被动监视和主动监视。

被动监视是通过被动观察驾驶员状态来检测驾驶员的反应性和清醒程度的方法。另一方面，主动监视是通过向驾驶员施加视觉、听觉、触觉等的刺激、指令等并且观察驾驶员对施加的刺激、指令等的反应来检测驾驶员的反应性和清醒程度的方法。

例如，在驾驶员正在睡觉或正在执行次级任务并且无需急忙恢复的情况下，可以通过被动监视来检测驾驶员的反应性和清醒程度，从而避免打扰驾驶员。此外，可以执行准被动监视，以通过红外线或其它电磁波信号的照射对反射响应信号进行分析来检测状态。但是，要注意的是，在采用完全被动方案或准被动方案的情况下，不能直接观察驾驶员的响应和反应，并且检测结果的确定性较差。

虽然准被动方案最初对应于主动状态观察装置，但是准被动方案被称为准被动监视，以使其与将在本说明书中稍后描述的驾驶员对输入反应的主动方案进行区别。

以这种方式，在难以通过被动监视来检测反应性和清醒程度的情况下，或者为了增强检测准确性的目的，使用了用于观察反应特性的主动监视。

主动反应响应检测切换判定部204基于驾驶状态检测部142的检测结果，判定驾驶员的恢复内部状态，从而判定是否可以将驾驶模式从自动驾驶模式切换为手动驾驶模式。

注意，为了确保确认驾驶员的驾驶模式的改变并确保安全，期望确认驾驶员恢复到执行正常行驶的转向操作的状态以及转向力和转向操作量是适当的。

具体地，主动反应响应检测切换判定部204确认驾驶员的机车能力(locomotiveablity)(注意，在本说明书中，术语“机车”被用于应用于转向加速器踏板或制动器的能力)和驾驶员对转向盘的转向能力。

此外，主动反应响应检测切换判定部204响应于感知和判断来确认是否已经以适当的量执行了转向操作。

车辆控制系统11安装在装备有用于执行自动驾驶的各种感测设备的车辆中。因此，根据道路状况和行驶环境设置优选的转向操作状况。在车辆控制系统11有意地执行越过行驶车道的行驶或不必要的加速/减速并且驾驶员执行用于校正这种偏离的转向操作(主动转向操作反应)的情况下，可以估计出驾驶员正常地掌握了情况并具有手动驾驶所需的识别能力和物理转向能力。

在本技术中，在将驾驶模式从自动驾驶改变为手动驾驶时的确认过程中，在因为例如驾驶员正在睡着而不观察驾驶员的直接反应的阶段中对驾驶员执行被动监视而不打扰驾驶员，并且在通知定时之后不久执行上述主动监视。车辆控制系统11有意地引起轻微偏离正常行驶的运动，从而使得可以确认驾驶员的认知能力和肌肉能力的恢复。

切换判定部155使用这样的多条信息来判定驾驶员的恢复内部状态(驾驶员是否清醒或清醒程度)。另外，切换判定部155通过检测对主动反应的响应作为切换判定的最后步骤来执行切换判定。

执行这些多步驾驶员的清醒状态判别，使得能够更可靠并且更安全地将驾驶模式从自动驾驶模式切换为手动驾驶模式。此外，同一驾驶员连续并且重复地执行该改变操作，从而以自对准的方式收集正常改变时的教师数据和错误改变时的教师数据；因此，可以响应于使用频率而改善检测准确性。

<通过主动反应响应检测进行切换判定的细节>

现在将描述基于主动反应响应检测来检测反应性和清醒程度的细节。

为了检测对主动反应的响应，车辆控制系统11可以通过有意地增加偏移来对偏离理想转向情况的行驶进行控制，或者可以增加使驾驶员不会感到困惑或不适的轻微噪声行驶。对主动反应的响应的检测是通过监视驾驶员的响应来执行的，诸如驾驶员是否校正了行驶或者驾驶员与正常时间相比是否更慢地校正了行驶。

换句话说，通过执行驾驶员感到不舒服或不适的程度的曲折驾驶或加/减速来执行对主动反应的响应的检测，并响应于所引起的波动来监视驾驶员是否使车辆正常行驶。

注意，曲折驾驶还起到通知后方车辆作为主体车辆的在前车辆不能将驾驶模式从自动驾驶改变为手动驾驶的作用。另外，曲折驾驶还起到以下作用：向后方车辆提示当后方车辆接近主体车辆或主体车辆由于无法改变驾驶模式而从驾驶模式切换为紧急疏散模式并且减速时，行驶突然变得混乱的可能性。

例如，在使车辆横向偏离的情况下(在没有用于校正的转向操作的情况下)，怀疑驾驶员没有干预转向操作。行驶控制部33在监视跟随车辆是否接近的同时，进行控制，以避免在曲折驾驶之后发生追尾碰撞的危险。另外，行驶控制部33反复进行并非平滑减速的减速而是使驾驶员略微感到不适的减速和制动解除，从而进行使驾驶员前后摇动的控制。

另一方面，驾驶员为了避免减速而进行加速油门控制(执行踏板操作以避免紧急减速或停止)。驾驶状态检测部142监视驾驶员的加速油门控制，并且如果车辆不减速而平稳行驶，则将驾驶视为正常。

注意，在踩下加速器踏板以补偿减速时，存在驾驶员在未清醒的、梦幻的状态下瞬间操作加速器踏板的风险。

因此，可以在预定的意识判定之后执行使用加速器踏板激活加速。在这种情况下，例如通过使驾驶员根据向前指示的绿色灯点亮的定时执行踏板踩下操作或者通过使驾驶员以特定的图案重复踩下踏板和不踩踏板，来执行意识判定。在基于这种意识判定可以确认驾驶员是正常意识的情况下，行驶控制部33可以随后与普通踏板操作量成比例地开始线性响应控制。

将更具体地描述这种主动反应响应检测。注意，在此假设主动反应是使用用于通过向驾驶员施加某种主动动作来观察驾驶员的反应的方案以检测驾驶员对反应的响应。

图4描绘了具有平缓的S曲线的道路251。通常穿过道路251的中心的虚线表示理想的行驶路线。在该理想的行驶路线上行驶的转向盘操作被假设为“假定的转向盘操作”。

在检测对主动反应的响应时，增加了微小的偏移以偏离假定的转向盘操作，从而使驾驶员重复转向操作以将偏移校正至驾驶员不会感到不适的程度。在图4中，虚线箭头252表示增加的偏移。

反复增加偏移以使车辆相对于行车道横向摆动以使路线脱轨，使得可以准确地判定驾驶员状态。

·第一修改例

主动反应不限于施加车辆横向摆动类型的偏移以使路线脱轨。车辆到向前车辆的距离比预期的更长的延伸可以施加作为主动反应。在检测对主动反应的响应时，评估驾驶员是否采取动作来踩下加速器踏板以进行校正。可替代地，可以基于眨眼频率的检测、驾驶员闭眼的状态的检测、头部来回摆动的检测等来评估驾驶员状态。

以这种方式，只要使车辆在确保安全性的范围内非自然地行驶，就可以仅施加任何种类的偏离行驶或偏离行驶的感觉或施加作为其它种类的主动反应。

·第二修改例

例如，在驾驶员不操作转向盘的情况下，行驶控制部33通过改变车轮的方向或对车轮施加左右不平衡的制动载荷而不旋转转向盘，来使车辆在预定时间段内曲折行驶。在这种情况下，驾驶状态检测部142基于驾驶员是否操作转向盘以校正曲折驾驶、反应速度等来检测驾驶员的反应性和清醒程度。

注意，车辆曲折的量期望在驾驶员可以无意识地校正曲折驾驶的范围内。

·第三修改例

在车辆正常行驶的情况下，车载设备控制部34施加对应于车辆向转向盘曲折的情况下的伪旋转载荷。在这种情况下，驾驶状态检测部142基于驾驶员是否操作转向盘以停止旋转、反应速度等来检测驾驶员的反应性和清醒程度。

·第四修改例

在由于驾驶员没有反应而继续曲折驾驶的情况下，由于驾驶员的反应性或清醒程度的降低等，可以经由通信部27等通知诸如后方车辆的外部发生了异常。

·第五修改例

行驶控制部33将车辆的行进方向改变为稍微偏离行车线的方向达预定时间段。在驾驶员通常注意前方的情况下，期望驾驶员执行转向操作以校正车辆的方向。然而，取决于与周围车辆的位置关系，无条件地改变车辆的行进方向改变可能导致危险状态的发生。跟随车辆也有可能跟踪主体车辆。

因此，期望在不会不利地影响周围车辆同时全面判定状况(诸如，周围车辆的状态和对驾驶员的心理影响)的范围内，基于驾驶员的响应来检测反应性和清醒程度。

·第六修改例

在ACC有效的情况下，驾驶辅助控制部153将与前行车辆的车距设置为比正常更长。在这种情况下，驾驶状态检测部142基于驾驶员是否操作加速器踏板以使车距回到正常距离以及反应速度来检测驾驶员的反应性和清醒程度。

·第七修改例

行驶控制部33相对于转向盘的转向量将车辆的行进方向的改变量设置为比正常大或小。在这种情况下，驾驶状态检测部142基于驾驶员是否操作转向盘以将行进方向调整至期望方向以及反应速度来检测驾驶员的反应性和清醒程度。

注意，在这种情况下，正常改变量与车辆的行进方向的改变量之间的差异期望在驾驶员可以无意识地校正行进方向的范围内。

另外，在该修改例中，虽然在进行控制以实际上在左右方向上移动车辆时观察驾驶员对反应的响应，但也可以向转向盘添加伪旋转扭矩，或者通过使用VR施加光学错觉来引导驾驶，而不会直接向车辆控制添加噪声，以确认对主动反应的响应作为修改例。可替代地，可以通过使驾驶员响应于语音等的特定扭矩响应请求做出指定运动，诸如操作转向盘以旋转或前后推动或拉动转向盘，来确认响应。

·第八修改例

行驶控制部33相对于加速器踏板的踩踏量将车辆的加速设置为比正常高或低。在这种情况下，驾驶状态检测部142基于驾驶员是否操作加速器踏板以将车速调整为期望速度以及反应速度来检测驾驶员的反应性和清醒程度。

注意，在这种情况下，正常加速与车辆的加速之间的差期望在驾驶员可以无意识地校正加速度的范围内。

·第九修改例

行驶控制部33相对于制动器踏板的踩踏量将车辆的减速设置为比正常高或低。在这种情况下，驾驶状态检测部142基于驾驶员是否操作加速器踏板以将车速调整为期望速度以及反应速度来检测驾驶员的反应性和清醒程度。

注意，在这种情况下，正常减速和车辆的减速之间的差期望在驾驶员可以无意识地校正减速度的范围内。

·第十修改例

在执行自动驾驶并且驾驶员不需要干预驾驶的情况下，驾驶员可以操作移动终端12(信息处理设备)。

当驾驶员正在操作移动终端12时，驾驶状态检测部142经由通信部27在移动终端12的屏幕上显示指示给驾驶员的指令的子窗口。另外，驾驶状态检测部142基于驾驶员是否正常地对指令做出反应、反应速度等来检测驾驶员的反应性和清醒程度。

·优点

例如，在驾驶员正看着前方而驾驶员的意识由于驾驶员对某事的思考等而下降的情况下，仅基于被动监视通常很难检测驾驶员的反应性和清醒程度。如上所述，通过使用主动监视并通过检测对主动反应的响应来执行切换判定，使得能够改善驾驶员的反应性和清醒程度的检测准确性。

<自动级别的示例>

图5描绘了自动级别的示例。在此示出了SAE(汽车工程师协会)定义的自动级别的示例。尽管在本说明书中为了方便起见参考并使用了由SAE定义的自动驾驶级别，但是在实际中广泛使用自动驾驶的情况下的问题和充分性尚未在本领域中被完全研究，并且自动驾驶级别并非总是根据定义的解释来使用。此外，使用形式不一定是用于保证本说明书中描述的内容的使用形式。

自动级别包括从级别0到级别4的五个阶段。

自动级别0被称为“无自动驾驶”级别。在自动级别0，驾驶员负责所有驾驶任务。

自动级别1被称为“驾驶员辅助”级别。在自动级别1，负责自动驾驶的系统(在下文中，简称为“系统”)执行驾驶任务中的与来回或左右车辆控制有关的子任务。

自动级别2被称为“部分自动驾驶”级别。在自动级别2，系统在有限的驾驶任务中执行与来回和左右车辆控制两者有关的子任务。

自动级别3被称为“有条件自动驾驶”级别。在自动级别3，该系统负责有限区域内的所有驾驶任务。尚不清楚在此自动级别实际可以执行多少次级任务。认为驾驶员可以在车辆的驾驶期间执行除驾驶以外的工作和动作，例如，诸如在移动终端12上的操作、交互式电话会议、视频观看、游戏、思考和与其它乘客交谈等的次级任务；但是，有许多与安全相关的挑战需要解决。

换句话说，在该自动级别3的定义范围内，期望驾驶员具有适当的处理，诸如在由于系统故障、行驶环境恶化等的初步处理(应急期间)时，响应于系统请求等，驾驶员执行驾驶操作。换句话说，在此期间，驾驶员需要处于准待机状态以恢复。

自动级别4被称为“高级自动驾驶”级别。在自动级别4，系统负责有限区域内的所有驾驶任务。另外，在自动级别4中，不期望驾驶员在初步处理时(应急期间)具有诸如驾驶员执行驾驶操作等的处理。因此，驾驶员可以在车辆行驶时以真实的意义执行例如次级任务，并且可以根据情况小睡。

因此，从自动级别0到自动级别2，驾驶员执行全部或部分驾驶任务，并且负责与安全驾驶有关的监视和处理的主体是驾驶员。在这三个自动级别，要求驾驶员具有始终根据需要恢复驾驶的能力。因此，除了在行驶期间可能分散注意力或使注意力分散到前方的驾驶之外，不允许驾驶员从事次级任务。

另一方面，在自动级别3和4，系统执行所有驾驶任务，并且负责与安全驾驶有关的监视和处理的主体是系统。但是，需要注意的是，驾驶员经常需要在自动级别3执行驾驶操作。此外，存在行驶路线的一部分中存在其中自动级别3和4不适用的区间的情况。在这些区间中，自动级别被设置为等于或低于驾驶员需要干预驾驶的自动级别2。

由于在自动驾驶时允许次级任务的情况下难以掌握驾驶员的清醒程度，因此法律法规仍然禁止次级任务的执行，并且关于执行的讨论没有进行而是停滞不前。但是，驾驶员是否执行次级任务在向前手指指向信号和呼叫(手势识别)以及对主动反应的响应的检测中非常有效地确认驾驶员返回手动驾驶的能力，以及可以充分预期执行允许次级任务的前景。

即使在自动驾驶期间执行作为汽车制造商的自动驾驶中的最大优势的次级任务，也可以通过在必要的时间确认通知来构造用于确保安全的机制；因此，非常期望成功地允许执行。

<驾驶模式切换>

注意，需要通过驾驶员的干预以某种方式直接受到驾驶员影响的车辆的驾驶在下文中将被称为“手动驾驶”。因此，在自动级别0到2，采用手动驾驶。如图6中所描绘的，将自动级别0至2的驾驶模式称为“手动驾驶模式”。

另一方面，以下将驾驶员完全不需要干预的驾驶称为“自动/自动化驾驶(自动驾驶)”。因此，在自动级别3和4，基本上采用自动驾驶。但是，要注意的是，在自动级别3，经常需要响应于系统请求而采用手动驾驶。换句话说，在自动级别3，需要限制驾驶员退出驾驶操作；因此，要特别注意采用自动驾驶。因此，将自动级别4的驾驶模式称为“自动驾驶模式”，并且将自动级别3的驾驶模式称为“要仔细注意的自动驾驶模式”。

要注意的是，本技术的要旨是基于以下理想：在将驾驶模式定义为要仔细注意的自动驾驶的级别3使用自动驾驶在作为长时间连续使用的驾驶模式时不符合人体工程学。因此，在级别3的自动驾驶中，要求驾驶员在驾驶员不能直接干预驾驶/转向操作以及不能完全、深入地从事次级任务的状态之间继续；因此，取决于使用形式，可以说驾驶员在级别3的行驶区间驾驶车辆是非常痛苦的。

不用说，次级任务可能限于驾驶员可以在短时间内恢复驾驶的任务。即使从实践的角度来看，驾驶员在级别3的次级任务的使用受到限制，但由于人类的生物学特性，当情况继续单调时，驾驶员经常会无意识地昏昏欲睡或不知不觉地深陷于次级任务。

换句话说，执行要仔细注意的自动驾驶的级别3的自动驾驶模式不是假定长时间连续使用的模式。在将驾驶模式设置为自动驾驶模式难以通过区间或自动驾驶模式存在风险的情况下，级别3的自动驾驶模式的使用仅限于在驾驶员处于等待短时准备恢复手动驾驶模式时的使用以及限于在将驾驶模式从自动驾驶模式4切换的缓冲区间中的使用。但是，如果级别3的自动驾驶模式的使用限于例如与用于使驾驶员保持意识和清醒以使驾驶员能够通过操作移动终端设备来观看平板电脑屏幕等而始终恢复到手动驾驶的装置结合的使用，驾驶员可能稳定使用级别3的自动驾驶模式。

在缓冲区间中使用级别3的自动驾驶模式存在以下风险：不足以确认驾驶员清醒并在突然使驾驶员从自动驾驶模式4恢复在手动驾驶模式中驾驶时可以恢复手动驾驶的保证；因此，使用基于以下理想：在切换时，级别3的自动驾驶模式是准备通过缓冲区间的一种。

提供使该模式在缓冲区间中使用并且准确地执行该模式的系统的技术意在避免由于许多车辆在需要在道路基础设施环境中恢复手动驾驶中而未能改变驾驶模式而导致的交通拥堵的发生，并确保健康的道路基础设施环境。

在本技术中，在此判定是否可以将驾驶模式从自动驾驶模式切换为手动驾驶模式，并且响应于手势识别、扫视信息、对主动反应的响应的检测或者使用语音识别检测驾驶员的反应性和清醒程度来适当地执行手动驾驶模式。

从自动驾驶模式切换为手动驾驶模式的示例包括如图6的轮廓箭头#1所示，从自动级别4的自动驾驶模式切换为自动级别3的要仔细注意的自动驾驶模式。因为在自动级别3的要仔细注意的自动驾驶模式，驾驶员干预驾驶操作(如果有的话)。

从自动驾驶模式切换为手动驾驶模式的示例包括如图6的轮廓箭头#2所示，从自动级别3的要仔细注意的自动驾驶模式切换为自动级别0、1或2的手动驾驶模式。

从自动驾驶模式切换为手动驾驶模式的示例包括如图6的轮廓箭头#3所示，从自动级别4的自动驾驶模式切换为自动级别0、1或2的手动驾驶模式。

基本上，这些模式转变被限制在这样的情况下，即，确保驾驶员能够在自动级别4恢复到手动驾驶，并且仅在切换之前未观察到(判定)驾驶员的主动转向能力。因此，驾驶模式可切换的情况限于驾驶员在保证安全而根本不涉及直线风险的道路上驾驶车辆的情况，以及限于可以在如果即使使用LKAS、ACC等也会发生驾驶员的转向能力故障时使用剩余的ADAS功能来处理驾驶员改变驾驶模式的故障的情况。还假定如果判定驾驶员是否响应驾驶员的请求具有手动驾驶能力，然后完成到手动驾驶模式的改变，并且进行控制以使驾驶员在不确定的转向操作检测步骤中干预转向操作，则半睡眠的驾驶员的操作会触发交通事故。

为了解决这种可能性，负责车辆控制的车辆控制部28在车辆在行驶期间进入需要将驾驶模式从自动驾驶模式切换为手动驾驶模式的区间之前，设置采用自动级别3的区间，在设置期间判定驾驶员是否具有恢复手动驾驶的能力，以准备使车辆进入车辆可以行驶并且采用等于或低于最高级别2的自动级别的区间。

在切换为轮廓箭头#1、#2或#3时无法检测驾驶员的反应性和清醒程度的情况下，驾驶模式切换为紧急疏散模式，如粗线箭头#11、#12和#13所示。注意，在诸如驾驶员生病的紧急情况下，驾驶模式从自动级别0、1或2的手动驾驶模式切换为该紧急疏散模式。

尽管在本说明书中没有详细描述紧急疏散模式，但是紧急疏散模式实际上具有两个功能。第一功能是在紧急情况下行驶并将车辆疏散到安全疏散地点，在这种情况下，由于驾驶员的清醒程度或身体状况等的改变，而难以继续假定的正常行驶或改变为车辆执行正常行驶的驾驶模式。

第二功能是即使在驾驶员没有转向能力的状态下也确保移动装置，作为在首先驾驶能力恶化的交通不便区域中紧急移动到医院等的装置。特别地，第二功能是其中降低了移动速度本身的优先级的功能，并且实现了一种自动驾驶模式，该自动驾驶模式旨在确保与远程辅助、在领先车辆中的行驶辅助等组合中的移动。

如图6的实线箭头#21和#22所示，判定是否执行从自动级别0、1或2的手动驾驶模式切换为级别3的要仔细注意的自动驾驶模式或自动级别4的自动驾驶模式，以基于随后要行进的车辆被设置为行驶的道路上的LDM或天气、事件发生信息、关于驾驶员根据需要恢复的可能性的信息等等来响应驾驶员的请求。

特别地，在由实线箭头#21指示的切换中，经常存在以下情况：车辆的驾驶模式从手动驾驶返回到自动驾驶而没有驾驶员的掌握，并且驾驶员不自觉地错误地在使用车辆时进行了自动驾驶。尽管发生这种情况的可能性非常低，但是驾驶员错误地将驾驶模式视为自动驾驶模式，并且在手动驾驶模式下暂时在车辆中执行次级任务，这可能导致驾驶员分心驾驶的危险情况；因此，这种情况是不期望的。

如图6的虚线箭头#31和#32所示，仅在特殊情况下，例如在患者运输的紧急情况下，驾驶模式从紧急疏散模式切换为自动级别3或4。

假定为使用形式的使用情况被认为是以下情况，其中，不能等待高速公路车辆的到达的乘客在可以采用级别4的自动驾驶的区间中使用自动驾驶级别4移动到高速公路的作为中间点的服务区域。在普通用户由于改变失败而转变为紧急疏散模式的情况下，用户在仅经由诸如记录恢复故障的过程(未描绘)之类的预定过程的处理中将驾驶模式恢复手动驾驶模式。

使驾驶员能够在必要的区间中安全且平稳地恢复手动驾驶，使得可以扩展具有可以采用自动驾驶的区间和需要手动驾驶的区间的混合的路线。此外，保护驾驶员免于完全退出干预驾驶操作以确保安全和平稳地恢复手动驾驶，使得可以在行驶路线的主要区间中进行自动驾驶。

此外，引入使驾驶员在从手动驾驶返回到自动驾驶时掌握自动驾驶的恢复的处理，可以防止由于简单地假设处于手动驾驶中途的驾驶员“正在进行自动驾驶”而开始执行次级任务，以及减小由于假设驾驶员处于手动驾驶中途而造成的疏忽大意的交通事故的风险。此外，即使在驾驶员掌握了模式之后，也可以附加地使用模式显示和转向操作干预的退出警告，以进一步防止该假设。

<自动驾驶控制处理>

接下来，将参考图7至图9的流程图描述由车辆控制系统11执行的自动驾驶控制处理。注意，例如，当车辆的电源(点火)开关接通时，开始该处理。

在步骤S1中，驾驶员监视部26对驾驶员进行认证。具体地，驾驶员监视部26中的驾驶员图像捕获部101捕获驾驶员的图像。认证部104在通过捕获获得的驾驶员图像中识别驾驶员的面部。

此外，认证部104通过从存储在存储部35中的面部图像中搜索与驾驶员的面部匹配的面部图像来标识驾驶员。存储部35将例如使用车辆的每个用户的面部图像管理为链接到关于用户的信息(诸如，标识信息)。

认证部104在能够标识驾驶员的情况下判定认证成功，而在不能标识驾驶员的情况下判定认证失败。认证部104将驾驶员的认证结果供应给车辆控制部28。可替代地，诸如指纹认证、指静脉认证或虹膜认证的其它手段可以用作驾驶员认证技术。

在认证驾驶员失败的情况下，可能会禁止驾驶员行驶车辆。在这种情况下，可以通过在保证安全性的环境中执行预定操作并将驾驶员注册为新用户来允许驾驶员行驶车辆。

然而，要注意的是，对驾驶员进行认证的主要目的是使经认证的驾驶员的驾驶操作的特征与驾驶员状态相关，并响应于该相关性来控制车辆。因此，总是需要使用认证结果来控制车辆的行驶的允许或禁止。由此可以允许驾驶员在未授权的状态下、例如在紧急情况下行驶车辆。注意，驾驶员可以通过指示器、车辆间通信等向周围通知驾驶员正在以未授权状态行驶车辆。

在步骤S2中，日志生成部125开始记录日志。

在步骤S3中，车辆控制部28获取目的地。具体地，车辆的乘客(不一定是驾驶员)将目的地输入到输入部24。输入部24将指示所获取的目的地的信息供应给车辆控制部28。

由于基于人工智能的语音识别的发展在未来很有希望，因此可以进行交互式目的地设置或行驶偏好设置。

在步骤S4中，车辆控制系统11开始获取到目的地的假定路线上以及在车辆经过区间时可能影响车辆的行驶的所有相关区间中的天气、事件等以及关于车辆行驶时车辆接近的区间的周围信息。

例如，周围图像捕获部21开始捕获车辆的行进方向和周围环境的图像，并将通过捕获而获得的周围图像供应给车辆控制部28。

周围信息获取部22开始使用毫米波雷达、激光雷达、ToF传感器、声纳、雨滴传感器、外部光传感器、路面状况传感器等来获取与车辆的周围环境、物体等相关联的周围信息，并将周围信息供应给车辆控制部28。

车辆信息获取部25开始获取车辆信息并将车辆信息供应给车辆控制部28。

位置测量部23开始测量车辆的当前位置，并将测量结果供应给车辆控制部28。

通信部27从ITS地点(未描绘)接收LDM(本地动态地图)，并将LDM供应给车辆控制部28。此外，通信部27开始从服务器接收地图数据等(未描绘)并将地图数据等供应给车辆控制部28。注意，地图数据可以提前存储在存储部35中，并且车辆控制部28可以从存储部35获取地图数据。

此外，通信部27开始从各路侧机器(未描绘)接收各种交通信息，并将该交通信息供应给车辆控制部28。特别地，从通信部27获取最新更新信息使得可以更新提前获取的地图信息中发生时间改变的风险改变点。

注意，以下将与地图相关联的信息(诸如LDM和地图数据)统称为“地图信息”。

周围监视部121基于来自周围图像捕获部21的周围图像、来自周围信息获取部22的周围信息以及来自通信部27的各种信息，开始监视车辆的周围。

路线设置部151基于从周围监视部121获取的信息和从车辆信息获取部25供应的车辆信息中包含的车辆的加速度、角速度等来适当地校正车辆的当前位置。校正了例如由于不反映地图信息中的时间改变的信息而导致的车辆的当前位置的估计误差和位置测量部23的检测/判定误差。

在步骤S5中，路线设置部151开始设置行驶路线。具体地，路线设置部151根据驾驶员的驾驶能力等，基于地图信息设置从当前位置或指定位置到目的地的行驶路线。另外，路线设置部151基于诸如时区、到达目的地之前的天气、交通拥堵和交通规则等信息，根据需要改变行驶路线或提出路线选项。

在步骤S6中，自动级别设置部152开始更新自动级别。

具体地，自动级别设置部152基于地图信息、周围信息等，设置行驶路线上的允许的自动级别的分布(以下，称为“允许的自动级别”)。

允许的自动级别在本文中是指可以在每个预期区间中设置的自动级别的最大值。例如，在允许的自动级别为级别3的区间中，车辆可以以被设置为等于或低于自动级别3的自动级别行驶。

例如，自动级别设置部152将行驶路线上的允许的自动级别的分布设置为地图信息等所指示的默认值。另外，自动级别设置部152基于与行驶路线相关联的信息和诸如天气、道路状况、交通事故、建筑工程等的周围信息以及从地图信息和周围信息获得的交通管制，来更新行驶路线上的允许的自动级别在分布。

在由于雪、洪水等而难以识别例如道路上的交通标志(诸如分隔线)、诸如路面上的路钉、油漆和路缘石、符号和字符的区间中，自动级别设置部152将允许的自动级别从原始级别3降低到级别2，或者禁止使用LKAS。

在车辆开始行驶之后，每个区间的状况会取决于各种情况而随时改变，各种情况诸如是雨水的堆积或湿路面上的背光反射掩盖白线。尤其有必要在要求驾驶员在期望车辆通过自动驾驶连续通过的部分区间中返回手动驾驶的条件改变的情况下通知驾驶员，并限制提前执行次级任务。

此外，自动级别设置部152在由于火的烟雾或浓雾等引起的视野差的区域中，将允许的自动级别从原始级别3降低到级别2，或施加最大速度限制。

另外，自动级别设置部152在发生交通事故或检测到坠落物的区间中，将允许的自动级别降低为级别1或级别0。

自动级别设置部152在路面被冻结的区间中或侧风较大的桥上，将速度限制降低或将允许的自动级别降低至级别1或0。

自动级别设置部152基于这样的限制，适当地更新行驶路线上的允许的自动级别的分布。

在步骤S7中，车辆控制系统11开始监视驾驶员。

具体地，驾驶员监视部26中的驾驶员图像捕获部101开始捕获驾驶员图像，并将通过捕获而获得的驾驶员图像供应给车辆控制部28。

生物信息获取部102开始获取关于驾驶员的生物信息，并将该生物信息供应给车辆控制部28。

视线检测部103可以是专用于眼球分析的块，并且基于广域驾驶员图像开始检测驾驶员的面部的方向、视线的方向、眨眼和眼球移动(诸如，注视眼睛移动和扫视)，并将包括这种信息的检测结果供应给车辆控制部28。

驾驶行为分析部141基于驾驶员图像、车辆信息、学习部126的学习结果等开始分析驾驶员的驾驶行为。

驾驶状态检测部142基于驾驶员图像、关于驾驶员的生物信息、视线检测部103的检测结果、认证部104的认证结果、学习部126的学习结果等，开始检测驾驶员状态。

驾驶状态检测部142例如开始检测驾驶员的姿势、行为等。

此外，驾驶状态检测部142例如检测驾驶员的反应性和清醒程度。驾驶状态检测部142将驾驶员的反应性和清醒程度的检测结果供应给切换判定部155。

切换判定部155在需要将驾驶模式从自动驾驶模式切换为手动驾驶模式的情况下，基于这些检测结果中的至少一个，来判定是否将驾驶模式从自动驾驶模式切换为手动驾驶模式。切换判定部155在通知驾驶员驾驶模式的切换后，执行是否将驾驶模式从自动驾驶模式切换为手动驾驶模式的切换判定。

在此，驾驶员的反应性例如基于驾驶员对车辆的行进方向上存在的外部请求、外部指令、外部刺激、障碍物等的反应的有无、反应速度和反应的准确性来定义。驾驶员的反应性不仅在驾驶员的清醒程度低的情况下下降，而且在驾驶员不将其意识集中在驾驶的情况下、驾驶员没有故意做出反应的情况等下也下降。

如上所述，检测驾驶员的反应性和清醒程度的方法的示例包括被动监视和主动监视。

在被动监视中，通过被动地观察驾驶员状态来检测驾驶员的反应性和清醒程度。

在被动监视中，基于驾驶员移动来检测驾驶员的反应性和清醒程度，驾驶员移动例如是面部方向的改变、视线方向的改变、眨眼的频率以及眼球移动的改变。例如，观察与由周围图像捕获部21、周围信息获取部22等获得的真实空间中的视野信息具有相关性的主体的视线的移动、注视等，基于检测结果得到驾驶员特有的学习的眼球行为，并且检测驾驶员的反应性和清醒程度。

驾驶员的清醒程度例如基于诸如驾驶员的心律和体味之类的生物信息来检测。

通过观察驾驶员的驾驶操作的时间顺序转变(诸如转向稳定性和转向盘的操作速度、加速器踏板和制动器踏板的操作稳定性和操作速度)来检测驾驶员的反应性和清醒程度。注意，每个驾驶员的反应都表现出该驾驶员特有的特性；因此，可以响应于驾驶员的状况来学习特性，并且可以基于学习结果来检测驾驶员的反应性和清醒程度。

在主动监视中，通过向驾驶员施加视觉、听觉、触觉等的刺激、指令等，并观察驾驶员对所施加的刺激、指令等的反应(响应)，来检测驾驶员的反应性和清醒程度。

主动监视用于例如通过被动监视难以检测驾驶员的反应性和清醒程度的情况，或者用于增强检测准确性的情况。

例如，在自动级别3或更高级别，存在完全中断驾驶员对行驶操作设备的干预的情况。在这种情况下，即使通过监视行驶操作设备的操作状态，也不再能够通过转向操作设备的操作状态来检测驾驶员的反应。主动监视是即使在这种情况下也可以确保掌握驾驶员状态的有效手段。换句话说，主动监视具有补充被动监视的功能。另外，主动监视用于例如通过施加刺激来使驾驶员清醒。

可以在通知驾驶员切换为手动驾驶模式之后或在使用行驶操作设备进行校正操作时检测驾驶员的反应性和清醒程度。

驾驶状态检测部142可以通过控制显示部29在驾驶员的视野内显示短文字或数字，并使驾驶员大声读取该文字或数字，或显示简单的数字公式，并使驾驶员说出计算结果，从而检测驾驶员的反应性和清醒程度。

此外，驾驶状态检测部142可以通过控制显示部29在驾驶员的视野内显示作为视线目标的伪目标，并跟踪驾驶员的视线移动，来检测驾驶员的反应性和清醒程度。

此外，驾驶状态检测部142可以通过控制音频输出部30向驾驶员输出简单的指令(例如，驾驶员摇头的指令)并观察驾驶员对指令的反应，来检测驾驶员的反应性和清醒程度。

驾驶辅助控制部153根据驾驶状态检测部142的指令控制行驶控制部33，以使车辆在可以确保安全性的范围内非自然地行驶。另外，驾驶状态检测部142基于驾驶员对非自然行驶的反应来检测驾驶员的反应性和清醒程度。

注意，基于驾驶员对车辆的非自然行驶的反应来检测驾驶员的反应性和清醒程度的处理类似于以上关于图4描述的由行驶控制部33、驾驶状态检测部142以及驾驶辅助控制部153等执行的处理。

注意，可以检测诸如意识状态、精神状态、紧张状态或药物的影响程度之类的不同类型的状态，代替检测驾驶员状态。

在步骤S8中，学习部126开始学习处理。

学习部126可以基于例如驾驶行为分析部141的分析结果来开始学习驾驶员的驾驶能力与驾驶员的各种可检测和可观察到的状态或行为之间的相关性。

另外，当驾驶员正常地手动驾驶车辆时，学习部126开始学习生物信息、驾驶员的移动以及驾驶员的驾驶操作的趋势。例如，当车辆稳定地在行车道的中央行驶、在停车信号处稳定地停止或在弯道上适当地减速时，检测到驾驶员正常地手动驾驶车辆。

通过持续学习以下项之间的相关性来执行此学习：驾驶员正常地手动驾驶车辆时驾驶员特有的特性，诸如驾驶员视线的行为、头部的姿势、身体的姿势、脉搏波图案、呼吸状况以及瞳孔对外界光线的反应；和正常的驾驶特性。使用该学习结果，可以改善被动监视的准确性。

学习部126开始学习驾驶员对主动监视的反应特性，从而可以将正常时间的反应特性与异常时间的反应特性区分开。使用该学习结果，可以改善主动监视的准确性。

注意，在学习中，可以使用任意学习方法，诸如简单相关性学习或使用CNN(卷积神经网络)的复杂人工智能学习。

以这种方式，响应于每个状态而学习驾驶员特有的特性使得可以基于驾驶员状态(例如，驾驶员的健康状况或疲劳程度，或由于过去的交通事故或未遂事故的经历，对特定事件的过度关注或敏感的响应反应)准确地检测驾驶员的驾驶能力。

然后，学习部126将学习结果存储在存储部35中。学习结果不仅可以存储在驾驶员使用的车辆中并且可以再利用，而且还可以存储在与车辆分开的电子钥匙、远程服务器等中，以使得学习结果可以被诸如租赁车辆之类的另一车辆使用。此外，可以将先前使用时的学习结果输入到驾驶员重复使用的车辆中，可以判定学习结果是否过时，可以向先前使用时获得的学习词典添加安全裕度，并且在判定时可以将学习词典用作初始数据。注意，当车辆在一定时间段内没有被驾驶时，学习特性在响应特性中改变。因此，可以与使用历史一起适当地更新学习特性，或者可以响应于没有使用历史的时间段来将安全系数添加到学习特性以用于执行判定。

在步骤S9中，驾驶辅助控制部153开始驾驶辅助。换句话说，驾驶辅助控制部153根据当前的自动级别来控制行驶控制部33，从而开始作为行驶控制部33的一部分的驾驶辅助的处理，诸如ACC、LKAS、TJA或AEBS。

在步骤S10(图8)中，驾驶辅助控制部153根据当前的自动级别来控制行驶控制部33，从而控制车辆连续行驶。

在步骤S11中，驾驶模式切换控制部154控制通信部27，以参考行驶路线上的车辆的当前位置，获取车辆所接近的区间中的LDM，并更新LDM。

在步骤S12中，驾驶模式切换控制部154确认LDM和驾驶员状态。这里确认的驾驶员状态包括驾驶员执行次级任务的情况以及驾驶员的反应性和清醒程度。注意，驾驶员的反应性和清醒程度基于驾驶状态检测部142的检测结果被确认。

在此应注意的是，自动级别可能随着行驶路线或驾驶员的状况随时间的改变而改变。驾驶模式切换控制部154需要在行驶期间获取新的信息，并始终继续监视行驶路线和驾驶员。

在图10的示例中，描绘了在开始定时(选择行驶路线)时的理想LDM数据。在图10中，按从顶部起的顺序描绘了各区间、在各区间中设置的允许的自动级别以及在每个区间中稳定的次级任务是否可执行以及其下的在短时间内(也称为“仅短时间”)次级任务是否可执行。

仅短时间指示在从通知控制部124发出通知的情况下，将次级任务限制于在驾驶员可以迅速处理恢复驾驶的状态下的次级任务的内容，将次级任务限于次级任务的任何使用形式不涉及注意力分散的范围，从而可以确保安全。

关于次级任务是否可执行的答案包括以下状态：例如，处于清醒状态且处于范围内姿势为OK、处于清醒状态且处于范围内姿势为NG、处于清醒状态且处于范围外姿势为OK、处于清醒状态且处于范围外姿势为OK、处于清醒状态且处于范围外姿势为NG、处于范围内姿势和处于范围外姿势均为OK(不依赖于清醒程度)以及处于范围内姿势和处于范围外姿势均为NG。

处于清醒状态且处于范围内姿势为OK(处于范围内姿势为OK)的区间是如果驾驶员的坐姿是在以下范围内的姿势，则车辆可以以自动驾驶模式行驶的区间，在该范围内，姿势被定义为驾驶员可以立即恢复手动驾驶的坐姿。

换句话说，处于清醒状态且处于范围内姿势为OK的该区间是车辆可以使用自动驾驶通过的区间，除非发生意外情况否则不会发生问题。因此，基本上可以在稳定使用中以等于或高于级别3的级别在该区间中执行次级任务，或者在操作上和条件上可以使用自动驾驶在短时间内执行仅短时间的次级任务，即使在级别2的区间中。上述定义是否可以实际应用取决于车辆的特性和目标安全性而变化。仅短时间可执行的次级任务可以对应于可能导致前期粗心大意的导航屏幕的主要确认和操作。

处于清醒状态且处于范围内姿势为NG(处于范围内姿势为NG)的区间是即使驾驶员的坐姿是在以下范围内的姿势也禁止在自动驾驶中执行次级任务的区间，在该范围内姿势被定义为驾驶员可以恢复手动驾驶的坐姿。

在仅允许低至级别1的自动驾驶的区间中，限制了自动驾驶级别。另外，在驾驶员在行驶期间操作导航系统或不小心使车辆驶向某种前方物体的情况下，存在引起危险的风险；因此，该区间是不建议执行涉及自动驾驶的所有次级任务的区间。

处于清醒状态且处于范围外姿势为OK(范围外姿势为OK)的区间是即使驾驶员的坐姿是以下范围以外的姿势，车辆也可以在自动驾驶模式下以等于或高于级别3的级别行驶的区间，在该范围内姿势被指定为驾驶员可以恢复手动驾驶的坐姿，并且只要确保返回座椅的延长时间段，就可以在自动驾驶模式下进行暂时次级任务短时间可执行的级别3的允许的行驶区间。

但是，要注意的是，即使处于相同的范围外姿势，离开座椅并进行办公桌工作或小睡的任务的风险也会浮出水面，或者即使通知驾驶员恢复仍需要花费很长时间才能恢复手动驾驶的任务也涉及危险；因此，在本区间中，不建议在稳定离开座椅以伴随自动驾驶时执行次级任务。

处于清醒状态且处于范围外姿势为NG(处于范围外姿势为NG)的区间是即使驾驶员保持足够的清醒来恢复驾驶，也不能以离开座椅的姿势进行自动驾驶的区间，在这种情况下，驾驶员的坐姿在以下范围外，在该范围内姿势被指定为驾驶员可以立即恢复手动驾驶的坐姿。

换句话说，在允许级别3的自动驾驶的区间中，禁止稳定离开座椅的姿势的次级任务。

处于范围内姿势和处于范围外姿势均为OK的区间是这样的区间，其中，在与级别4相对应的级别的自动驾驶中可执行次级任务，而与驾驶员状态无关，因为已经可靠地确认了LDM等的更新以及安全性。

但是，要注意的是，即使车辆在与级别4相对应的级别的区间中具有级别4的自动行驶能力，驾驶员也不能在整个区间中完全从事任意次级任务。

处于范围内姿势和处于范围外姿势均为NG的区间是在自动驾驶中通过道路区间会带来危险并且车辆需要以级别0或1通过的区间，或者是道路的通常允许车辆以级别4行驶但是无论驾驶员状态如何都不允许自动驾驶的区间，因为一些主要原因尚未确认LDM等的更新和安全性。

从执行手动驾驶的确定性的观点来看，在从可以进行正常自动驾驶的区间切换为需要手动驾驶的区间时，突然执行手动驾驶是不优选的。因此，执行控制以在车辆进入降低允许的自动驾驶级别的区间之前，在完全完成手动驾驶的确认之前的延长时间段内，依次降低所允许的请求的自动驾驶级别，并确保处于切换级别的行驶区间。

换句话说，基本上，级别4不会切换为级别2，而是级别4会切换为级别3，然后再切换为级别2或1。

在图10中，在作为开始点的点P1处的LDM数据中，在从点P1到点P2的区间S1中，允许的自动级别被设置为级别0或级别1。另外，在区间S1中，关于次级任务是否可执行的答案被设置为处于范围内姿势时为NG。

在从点P2到点P3的区间S2中，允许的自动级别被设置为级别3。另外，在区间S2中，关于次级任务是否可执行的答案被设置为处于清醒状态且处于范围内姿势时为OK，并且关于仅短时间的次级任务是否可执行的答案被设置为处于清醒状态且处于范围外姿势时为OK。

在从点P3到点P4的区间S3中，允许的自动级别被设置为级别4。另外，在区间S3中，关于次级任务是否可执行的答案被设置为处于范围内姿势和处于范围外姿势均为OK。

在从点P4到点P5的区间S4中，允许的自动级别被设置为级别2。另外，在区间S4中，关于次级任务是否可执行的答案被设置为处于范围内姿势和处于范围外姿势均为NG，并且关于仅短时间的次级任务是否可执行的答案被设置为处于清醒状态且处于范围内姿势时为OK。

然而，在作为级别4的区间的终点的点Q1处，有必要使驾驶员恢复清醒作为延长先前准备，用于车辆进入具有被设置为级别2的自动驾驶级别的上限的后续的自动驾驶区间。因此，系统插入自动驾驶级别3的不可避免的区间(由虚线指示)，并在车辆处于此区间时继续完全将驾驶员恢复手动驾驶。

基于驾驶员的稳定的清醒状态和稳定的姿势状态以及车辆规划行驶所沿着的道路的安全状态等，来判定不涉及恢复延迟风险的定时，并且尽管在本说明书中没有详细描述判定等，但是指定了改变延迟点Q1。在本发明中，通过该行驶区间，以与级别3相对应的级别来主动确认驾驶员的改变。

在图10的示例中，在从点P4到点P5的区间S4中，允许的自动级别被设置为级别2。在该区间S4的级别完全改变为级别3并且后续区间S5(级别3的区间)的级别随着时间的流逝在车辆向上游行进时改变为级别4的情况下，需要解决的一个挑战仍然存在，尽管未描绘改变。换句话说，在包括级别4中断区间、级别3区间和再次的级别4区间且车辆行驶的路线区间中，在穿过车辆中途通过的级别3的区间时原本不需要驾驶员恢复干预要仔细注意的有条件的驾驶；然而，在这种情况下，根本不执行驾驶员对设备转向操作的干预。

结果，难以判定驾驶员是否可以根据需要恢复手动驾驶。因此，可以在判定驾驶员的恢复能力的同时判定在沿着上述级别4的一半处的临时级别3处的恢复状况，并且可以有意地确认临时驾驶中的主动转向反应，使得车辆控制系统11可以掌握和检测甚至在级别3的区间中的驾驶员的反应。

返回参考图10，在从点P5到点P6的区间S5中，将允许的自动级别设置为级别3。另外，在区间S5中，关于次级任务是否可执行的答案被设置为处于清醒状态且处于范围内姿势时为OK(如果驾驶员可以恢复稳定驾驶并且处于恢复驾驶所需的清醒状态，则次级任务是可执行的)，并且关于仅短时间的次级任务是否可执行的答案被设置为处于清醒状态且处于范围外姿势时为OK(即使驾驶员的姿势在范围外时，在清醒状态下仅短时间的次级任务也是可执行的)。

在从点P6到点P7的区间S6中，允许的自动级别被设置为级别0或级别1。另外，在区间S6中，关于次级任务是否可执行的答案被设置为处于范围内姿势和处于范围外姿势均NG(在区间S6中，即使在导航系统上进行操作，也不允许执行次级任务，因为即使驾驶员可以立即恢复驾驶并且处于足够的清醒状态，离开谨慎驾驶也会带来风险)。注意，点P7也用作到达点。

在此，在作为区间S3的终点的点P4处，将允许的自动级别从级别4切换为级别2，并且关于次级任务是否可执行的答案从处于范围内姿势和处于范围外姿势均OK切换为处于范围内姿势和处于范围外姿势均NG。此外，在作为区间S5的终点的点P6处，将允许的自动级别从级别3切换为级别1(级别0)，并且将关于次级任务是否可执行的答案从处于范围内姿势和处于范围外姿势均OK切换为处于范围内姿势和处于范围外姿势均NG。

进入区间之前的该切换控制是驾驶员完成进入该区间之前的下一进入区间所需的状态的切换所需的时间段的切换延长。在从自动驾驶区间进入手动驾驶区间或进入允许要仔细注意的自动驾驶的区间时，在进入该区间之前的切换控制特别重要。

驾驶模式切换控制部154将该允许的自动级别和/或关于次级任务是否可执行的答案切换的点之前的预定距离的点设置为规划的改变开始点。例如，车辆经过规划的改变开始点的定时是通知驾驶员驾驶模式从自动驾驶模式切换为手动驾驶模式的定时。

换句话说，驾驶模式切换控制部154将作为区间S3的终点的点P4之前指示的点Q1和作为区间S5的终点的点P6之前指示的点Q5设置为规划的改变开始点。车辆经过点Q1和点Q5中的每一个的定时是向驾驶员通知驾驶模式从自动驾驶模式切换为手动驾驶模式的定时。

实际上，在开始之后，如图11的气球所示，情况有所改变。因此，通常有必要修改开始时(选择行驶路线)设置的规划的改变开始点。

在图11中，从点P11到点P12的区间S11对应于图10中从点P1到点P2的区间S1。在区间S11中，允许的自动级别是级别0或1，并且关于次级任务是否可执行的答案是处于范围外姿势为NG。

这里假设在从点P12到点P13的区间S12中，由于雪等，道路之间的分界变得不清楚，并且作为改变1产生了可能不适合自动驾驶的情况的改变。在这种情况下，在区间S12中，将允许的自动级别改变为级别2(由虚线表示)，并且关于次级任务是否可执行的答案是处于范围内姿势和处于范围外姿势均为NG，或者答案是处于清醒状态且处于范围内姿势都不OK，并且不再稳定地允许次级任务；因此，将情况改变为在处于清醒状态且处于范围内姿势下仅短时间允许次级任务的情况。图11中的区间S12对应于其中允许的自动级别为级别3的区间S2，即，图10中的开始之前的区间S2。

在情况已经改变的情况下，各区间的设置也会适当地改变。

在图11的示例中，将由改变1引起的情况结束之后的从点P13到点P14的区间S13设置为允许的自动级别为级别4并且关于次级任务是否可执行的答案是处于范围内姿势和处于范围外姿势均为OK的区间，类似于图10的区间S3。

此外，在此假设在图11的从点P14到点P15的区间S14中，将由于建筑工程等而可能需要手动行驶的情况的改变生成为改变2。在这种情况下，在区间S14中，将允许的自动级别改变为级别1(由虚线指示)，并且关于次级任务是否可执行的答案改变为处于范围内姿势和范围外姿势均为NG。图11的区间S14是包括图10的其中允许的自动级别是级别4的区间S3的后半部分和图10的级别2的区间S4的前半部分的区间。

然而，与图10的点Q1类似，在作为级别4的区间的终点的点Q11处，有必要使驾驶员恢复清醒作为对车辆进入自动驾驶级别的上限被设置为级别1的后续自动驾驶区间的先前准备的延长。因此，车辆控制系统11插入自动驾驶级别3(用虚线指示)的不可避免的区间，并在车辆在此区间时，继续使驾驶员完全恢复手动驾驶。

在图11的示例中，将由改变2引起的情况结束之后的从点P15到点P16的区间S15设置为以下区间，其中允许的自动级别为级别2，并且关于次级任务是否可执行的答案是处于范围内姿势和处于范围外姿势均为NG，并且关于仅短时间次级任务是否可执行的答案是处于清醒状态且处于范围内姿势为OK。

这里假设在从点P16到点P17的区间S16中，由于雪等，道路之间的分界变得不清楚，并且作为改变3生成了可能不适合自动驾驶的情况的改变。在这种情况下，在区间S16中，将允许的自动级别改变为级别2(由虚线指示)，并且关于次级任务是否可执行的答案是处于未清醒状态且处于范围内姿势和处于范围外姿势均为NG，或者答案是处于清醒状态且处于范围内姿势时都不OK，并且不再稳定地允许次级任务；因此，将情况改变为在处于清醒状态且处于范围内姿势下仅短时间允许次级任务的情况。

在图11的示例中，将从改变3的状态结束的点P17到点P18的区间S17设置为允许的自动级别为级别0或1并且关于次级任务是否可执行的答案是处于范围内姿势和处于范围外姿势均为NG的区间，类似于图10的区间S6。

随情况的这种改变，允许的自动级别的设置以及关于次级任务是否可执行的答案也随之改变。驾驶模式切换控制部154响应于改变的设置而改变规划的改变开始点，并且改变(重置)通知驾驶员驾驶模式从自动驾驶模式切换为手动驾驶模式的定时。

换句话说，驾驶模式切换控制部154将区间S14中的点P14之前指示的点Q11设置为规划的改变开始点。车辆经过点Q11的定时是向驾驶员通知驾驶模式从自动驾驶模式切换为手动驾驶模式的定时。

以这种方式，行驶路线和驾驶员的情况从开始行驶随时间改变。在图12的示例中，描绘了从开始行驶起经过一定时间后的点N的最新LDM数据。开始行驶后，如图12的气球所示，情况发生改变。

在图12的示例中，车辆当前在从点P23到点P24的区间S23中从点P23到点N行驶。

因此，从点P21到点P22的区间S21是允许的自动级别被设置为级别0或1的区间，并且车辆已经在区间S21中以被设置为级别1的允许的自动级别行驶。区间S21对应于图11的区间S11。注意，在区间S21中，关于次级任务是否可执行的答案被设置为处于范围内姿势和处于范围外姿势均为NG，并且车辆已经通过了区间S21。

在区间S21之后且从点P22到点P23的范围内的区间S22是将允许的自动级别设置为级别2的区间，并且基于该设置，车辆已经在区间S22中行驶。区间S22对应于图11的区间S12。在区间S22中，关于次级任务是否可执行的答案被设置为处于范围内姿势和处于范围外姿势均为NG，并且关于仅短时间次级任务是否可执行的答案被设置为处于清醒状态且处于范围内姿势为OK。

接下来，在其中车辆当前在点N上行驶并且从点P23到点P24的范围的区间S23中，车辆以被设置为级别4的允许的自动级别行驶。换句话说，由于车辆以完全自动驾驶模式行驶，驾驶模式切换控制部154控制车辆行驶，同时获取关于至少由箭头R1指示的区间的最新LDM的更新数据。箭头R1所示的区间是驾驶员可以可靠地从次级任务恢复驾驶前方一定时间段的规划的行驶区间(无需驾驶员干预的状态)。

例如，如果在假定驾驶员长时间离开座椅以睡觉或移到货摊的次级任务中使用用于获取该先前的LDM信息的最短信息获取区间，则有必要定义至少最短时间段，在此最短时间段中，驾驶员可以一定的余量从次级任务恢复驾驶，并继续更新最短时间段。这里假设例如通过在那时更新区间来获取到先前信息的改变信息。

那时，在车辆到达点N时通过关于最新LDM的更新数据加上关于改变21的信息的情况下，可以通过一直监视从监视驾驶员直到驾驶员恢复驾驶所需的预测时间，来计算出从掌握驾驶员状态直到驾驶员恢复驾驶所需的临时时间。请求驾驶员恢复干预的级别被更新以伴随改变21，在区间S24中将允许的自动级别改变为级别1，该区间S24不包含在初始行驶时段的信息或关于点N之间的点的信息中，并且在从点P24到点P25的范围，并且在该区间中关于次级任务是否可执行的答案是处于范围内姿势和处于范围外姿势均为NG。

因此，驾驶模式切换控制部154计算恢复所需的预测定时，并将在区间S24中的点P24之前指示的点Q21改变为规划的改变开始点。

注意，基于学习驾驶员的恢复特性、车辆的载荷/制动动态特性、道路的安全特性等，根据特性来计算和计算预测定时。车辆经过点Q21的定时是通知驾驶员驾驶模式从自动驾驶模式切换为手动驾驶模式的定时。

此外，从点P24到点P25，驾驶模式切换控制部154将允许的自动级别设置为级别1，并且将关于次级任务是否可执行的答案设置为处于范围内姿势和处于范围外姿势均为NG。例如，驾驶模式切换控制部154取决于诸如对入睡的驾驶员的预警或向就座并操作智能电话的驾驶员短时间屏幕通知注意前方之类的情况来计算定时。

在暂时将驾驶员在驾驶时的干预模式从级别0切换为级别3的情况下(将不进行详细描述)，期望构造防止在驾驶员没有掌握的情况下以再次恢复驾驶而无缝切换为较高级别的自动驾驶模式的机制。另外，为了恢复级别3或级别4的自动驾驶，车辆控制系统11需要具有用于反映驾驶员的恢复请求的有意的输入反映装置。

尽管车辆控制系统11没有实际上将驾驶模式恢复为自动驾驶模式，但是驾驶员请求装置在本文中是指一种功能，其防止驾驶员无意识地无缝地恢复到自动驾驶模式，并且防止由于驾驶员的误解而引起的驾驶员的错觉。提供该功能是因为担心驾驶员在行驶期间在系统最初不将驾驶模式恢复到自动驾驶模式的区间中错误地假设连续使用自动驾驶，从而在没有使驾驶员掌握恢复至较高的自动驾驶级别的功能的情况下执行控制序列从而触发交通事故。

例如，驾驶员错误地假设，即使在直线道路延伸的区间中，自动行驶仍在继续，这可能带来以下风险：当车辆随后在弯道等上行驶并且驾驶员意识到不受控制的状态时，驾驶员会感到困惑而导致交通事故。

接下来，从图12的点P25到点P26，将允许的自动级别设置为级别4，并且关于次级任务是否可执行的答案是处于范围内姿势和处于范围外姿势均OK，与图11中的从点P13到点P14的区间S13类似。

这里，如果作为图11的改变2的施工作业规划没有被更新并且规划没有改变，则在图12的示例中，点Q11被假定为规划的改变开始点。但是，在图12的示例中，从图11中的点P14到点P15，由改变2指示的施工作业规划发生改变22，施工作业区间信息被更新，并且在从点P26到点P27的区间S26中，施工作业被改变减小。在区间S26中，允许的自动级别是级别1，并且关于次级任务是否可执行的答案是处于范围内姿势和处于范围外姿势均为NG。

因此，驾驶模式切换控制部154将规划的改变开始点从点Q11改变为在区间S26中的点P26之前指示的点Q22。车辆经过点Q22的定时是通知驾驶员驾驶模式从自动驾驶模式切换为手动驾驶模式的定时。

此时，在作为级别4的区间的终点的点Q22处，有必要使驾驶员恢复清醒，作为对车辆进入自动驾驶级别的上限被设置为级别1的后续的自动驾驶区间的先前准备的延长。因此，车辆控制系统11插入自动驾驶级别3的不可避免的区间(由虚线指示)，并且在车辆在此区间中时，继续使驾驶员完全恢复手动驾驶。

接下来，在图12的从点P27到点P28的区间S27中，允许的自动级别是级别2，并且关于次级任务是否可执行的答案是处于范围内姿势和处于范围外姿势均为NG，并且关于仅短时间次级任务是否可执行的答案是处于清醒状态且处于范围内姿势为OK，类似于图11中的从点P15到点P16的区间S15。

如图12中所描绘的，在从点P28到点P29的下一个区间S28中，存在改变23，在改变23中，天气晴朗，道路之间的分界变得清楚，并且道路环境得到改善。作为该改变23的结果，在图12的区间S28中，允许的自动级别从图11中的级别2改变为级别3，关于次级任务是否可执行的答案从处于范围外姿势为NG或处于清醒状态且处于范围内姿势为OK改变为处于清醒状态且处于范围内姿势为OK，并且关于仅短时间内次级任务是否可执行的答案改变为处于清醒状态且处于范围外姿势为OK。

此外，在图12的示例中，在从改变23结束的点P29到点P30的区间S29中，将允许的自动级别设置为级别0或1，并且关于次级任务是否可执行的答案被设置为处于范围内姿势和处于范围外姿势均为NG，与图12的区间S29和图11的区间S17类似。

如上所述，即使在相同的允许的自动级别下，请求驾驶员恢复驾驶的推荐时间(通知或警告驾驶员的定时)也取决于该定时(或进入该区间的假定时间)的行驶环境、驾驶员状态、车辆载荷或制动特性等而随时改变。换句话说，请求驾驶员恢复驾驶的定时取决于关于LDM的地图信息、环境信息、诸如交通事故、跑动、降雪和侧风的气象因素等而导致的时间改变风险以及还有驾驶员状态而主动地改变。

注意，将驾驶员的意识恢复到可以执行正常行驶的状态的速度表示为通过使用驾驶员的特性学习而获得的本征函数。这种本征函数表达为与例如眼球扫视或微距行为/注视眼睛移动、瞳孔反射特性、眨眼特性等相关联的函数。

可替代地，本征函数可以被表达为与关于各种生物信号的可观察信息相关联的函数，所述生物信号诸如是上述的脉搏、呼吸和脑电波。每当发生从自动驾驶改变为手动驾驶的事件时，便观察这些可观察的评估值，并且获得后续的稳定改变与改变的失败或延迟之间的直接相关性；因此，将正常改变情况下的值用作教师数据，并且取决于教师数据的使用来改善从可观察值判定驾驶员是否恢复清醒的判定元件的性能。

图13是描绘总结次级任务是否可执行的表格的图。

如上所述，在该表格中的能够在转向驾驶员的座椅中恢复驾驶的坐姿中，“范围内姿势”表示驾驶员可以在转向驾驶员的座椅中恢复驾驶的坐姿。“范围外姿势”表示该坐姿不是驾驶员可以立即在转向驾驶员的座椅中恢复驾驶的坐姿。

在表格中能够进行周围环境识别和避免行为的清醒状态下，“清醒”表示驾驶员处于能够进行周围环境识别和避免行为的清醒状态中，而“未清醒”表示驾驶员不在能够进行识别周围环境和避免行为的清醒状态中。

尽管典型的未清醒状态是入睡状态，但是未清醒状态的其它示例包括视频观看状态、意在玩游戏的状态、在移动期间在车厢中举行远程交互式电话会议的状态以及深入从事邮件或浏览的状态。尽管为了避免复杂性的目的而没有描述各个分类，但实际上，进一步有必要考虑物理转向功能。例如，由于次级任务而导致的关于麻木的肢体的所谓机车能力用作决定通知定时和决定自动驾驶的允许使用范围的因素。

从顶部开始按顺序进行描述。在级别4，驾驶员可以执行稳定的次级任务，而不管其处于范围内姿势还是范围外姿势以及驾驶员是否清醒。

在级别3或更低级别，无论处于范围内姿势还是处于范围外姿势以及驾驶员是否清醒，驾驶员都无法执行稳定的次级任务。级别3基本上不可用于长时间连续离开转向操作。这是因为在这种情况下，在始终请求驾驶员恢复而无需驾驶员直接干预转向的状态下，难以连续监视/注意自动驾驶状态用于长时间驾驶。如果级别3的使用持续等于或大于一定时间的时间，则期望采用间歇性地请求驾驶员恢复并间歇性地施加改变的使用形式。

在级别4，可以执行各种次级任务，而不管处于范围内姿势还是处于范围外姿势以及驾驶员是否清醒。

在级别3或更高级别，如果驾驶员处于范围内姿势并且清醒，则可以执行驾驶员可以提早恢复的仅短时间的次级任务。如上所述，不假定级别3在长时间没有驾驶员干预的情况下用于自动驾驶中。在这种情况下，使用级别3的前提是，即使驾驶员分心驾驶，驾驶员也规则地反复并连续地确认对情况的监视。因此，在驾驶员入睡或意图观看视频或玩游戏并且发生恢复延迟的情况下，对驾驶员施加延迟的惩罚，从而可以抑制分心的发生。

在级别2或更高级别，如果驾驶员清醒且处于范围外姿势(在受限的休息姿势范围内的可以在短时间内使驾驶员恢复驾驶的休息姿势的程度)时，驾驶员可以执行仅短时间的次级任务。在保证一定的安全驾驶但不能保证完全自动驾驶的区间中，可以假定可以执行处于略微休息姿势的次级任务范围内的所有传统禁止的操作类型，诸如导航系统上的操作。

在级别3或更低级别，当处于范围外姿势时，无论驾驶员是否清醒，驾驶员也无法执行即使为仅短时间的次级任务的次级任务。

返回参考图8，在步骤S13中，驾驶模式切换控制部154基于LDM(有关更新信息)和由驾驶状态检测部142检测到的驾驶员状态，判定情况是否已经改变，如参考图10至图12所述。

在步骤S13中判定情况已经改变的情况下，处理进入步骤S14。

在步骤S14中，驾驶模式切换控制部154重置(改变)通知定时。驾驶模式切换控制部154还适当地重置LDM和驾驶员确认的频率。

另一方面，在步骤S13中判定情况没有改变的情况下，跳过步骤S14中的处理。

在步骤S15中，驾驶模式切换控制部154判定当前时间是否为所设置的通知定时之前的一定时间。

这里定义的一定时间指示通过驾驶员返回手动驾驶所需的特有学习从稳定观察中估计的恢复时间，并且是可以以一定的成功可能性正常地执行手动驾驶的预测时间。在本说明书中将不详细描述学习方案。

从驾驶员接收到改变所需的通知直到实际改变正常完成为止所需的时间取决于各个驾驶员变化，并且还取决于迄今采取的姿势状态和行为等而变化。

因此，如果不能掌握该驾驶员的恢复特性则基于驾驶员总体的统计恢复特性分布，或者响应于期望的100％改变成功率或如果不能为100％则为目标改变成功率作为通知时间，设置实现所设置的目标改变成功率所需的一定时间，并且在该通知时间通知驾驶员可以确保成功率，从而可以将驾驶主体正常地改变为驾驶员。该一定时间是应用于驾驶员以确保该一定成功率的限制通知延长定时。

在步骤S15中判定当前时间尚未到达通知定时之前的一定时间的情况下，处理返回到步骤S10，并且重复随后的处理。

这里，以低频稳定观察通知定时并随着情况改变切换为高频检测的原因如下。由于稳定观察的失败，驾驶员或用户通常仅执行可以立即返回手动驾驶的次级任务，在清醒后随着时间的流逝，驾驶员会感到困倦，并有可能转变为离开驾驶员座椅的状态，诸如更深的睡眠。

在这种情况下，即使驾驶员通过上次通知通常具有足够的时间段延长，也可能发生驾驶员进一步入睡的情况并且情况改变为其中驾驶员比最初规划提早通知的情况。为了避免伴随这些时间改变的情况，以长的时间间隔执行规则且稳定的监视和采样。此外，为了改善改变定时的准确性，并且通过在改变点越近的地方以较高的采样频率进行高频采样从而防止延迟，来改变采样频率。

尽管在本实施例中假设指定了采样频率，但是可以结合高灵敏度检测装置和敏感检测装置来检测驾驶员的正常姿势和稳定的生物信号的观察的改变以观察驾驶员的改变，并且可以执行事件驱动的通知定时重新计算以检测改变。此外，可以向驾驶员通知某种情况，并且可以取决于次级任务的内容规则地识别通知。

另一方面，在步骤S15中判定当前时间是通知定时之前的一定时间的情况下，处理进入步骤S16。

在步骤S16中，驾驶模式切换控制部154将LDM和驾驶员的确认频率重置为比以前更高的频率。

在步骤S17中，驾驶模式切换控制部154判定当前时间是否为通知定时。例如，判定当前时间是车辆经过规划的改变开始点时的通知定时。

在步骤S17中判定当前时间不是通知定时的情况下，处理进入步骤S18。

在步骤S18中，路线设置部151判定车辆是否已经到达设置的目的地。

在步骤S18中判定车辆尚未到达目的地的情况下，处理返回至步骤S10，并且重复随后的处理。

另一方面，在步骤S18中判定车辆已经到达目的地的情况下，自动驾驶处理开始结束过程。

在步骤S17中判定当前时间为通知定时的情况下，处理进入步骤S19(图9)。

在步骤S19中，驾驶模式切换控制部154判定驾驶员是否处于清醒下降状态。该判定基于驾驶状态检测部142检测到的驾驶员的反应性和清醒程度。

例如，在驾驶员的反应性和清醒程度低于预先设置为阈值的值的情况下，驾驶员被判定为处于清醒下降状态。在驾驶员的反应性和清醒程度高于预先设置为阈值的值的情况下，判定驾驶员不处于清醒下降状态。

作为此处提到的阈值，可以使用为驾驶员总体特有定义的固定值。在这种情况下，一些驾驶员会响应于个人特性急于立即恢复，而其它驾驶员则需要一些时间才能恢复。因此，为了根据每个驾驶员特有的恢复特性来改善准确性，可以响应于能够观察到驾驶员状态的观察值预先(规则地)学习并定义驾驶员特有的学习特性。

在驾驶员难以指定阈值的情况下，可以使用基于恢复所需的普通驾驶员总体的统计值。需要提早通知每个驾驶员，以确保安全改变驾驶模式。但是，提早几分钟或几十分钟稳定重复通知可能会降低通知驾驶员恢复所需的风险意识，并会导致疏忽恢复的风险；因此，决定提早通知定时可能不是很期望。

在步骤S19中判定驾驶员处于清醒下降状态的情况下，处理进入步骤S20。

在步骤S20中，驾驶模式切换控制部154使驾驶员被通知将驾驶模式切换为手动驾驶模式。将驾驶模式切换为手动驾驶模式的通知是为了通知驾驶员，将自动驾驶模式切换为手动驾驶模式，并且在例如通知控制部124的控制下发出该通知。

例如，显示部29在通知控制部124的控制下在驾驶员的视野内显示用于引起注意的通知画面等。在驾驶员正在操作移动终端12的情况下，通知画面等可以显示在移动终端12的屏幕上。

此时，可以以移动终端12转变为待机状态或者强制关闭移动终端12的屏幕的方式进行控制，从而可以强制存储操作状态并且可以从相同状态恢复操作。从而可以防止驾驶员响应于通知屏幕的显示而急于操作移动终端12。

可以通过除屏幕显示之外的方法向驾驶员通知驾驶模式要切换为手动驾驶模式。

例如，音频输出部30可以在通知控制部124的控制下输出语音消息、警报、蜂鸣、蜂鸣声、仅车厢中可听见的来自随后的车辆的伪车喇叭(klaxon)等。

可替代地，发光部31可以在通知控制部124的控制下打开或闪烁灯等。

车载设备控制部34可以在通知控制部124的控制下执行诸如驾驶员座椅或转向盘的振动或安全带的拉动之类的触觉反馈。注意，与车辆越过减速带或路钉时生成的振动类似的振动可以通过使座椅振动而传播给驾驶员。

通过行驶控制部33对转向盘的控制，可以将与车辆越过减速带或路钉时生成的振动类似的振动传播给驾驶员。

在步骤S21中，驾驶模式切换控制部154控制切换判定部155执行驾驶模式切换判定处理。在驾驶模式切换判定处理中，手势识别切换判定部201、扫视信息切换判定部202、语音识别切换判定部203和主动反应响应检测切换判定部204中的每一个判定是否可以切换驾驶模式。稍后将参考图14的流程图描述步骤S21中的驾驶模式切换判定处理。

在步骤S22中，切换判定部155基于配置切换判定部155的判定部的判定结果，判定是否可以将自动驾驶模式切换为手动驾驶模式。

在步骤S22中判定可以将自动驾驶模式切换为手动驾驶模式的情况下，处理进入步骤S23。

在步骤S23中，驾驶模式切换控制部154将自动驾驶模式切换为手动驾驶模式，并且将状态切换为作为主体的驾驶员进行控制的状态，即驾驶员主动驾驶的状态，然后完成自动驾驶控制处理。

另一方面，在步骤S19中判定驾驶员处于清醒下降状态的情况下，处理进入步骤S24。

在步骤S24中，驾驶模式切换控制部154控制通知控制部124发出警告以进行唤醒。例如，通知控制部124输出响亮的声音、强烈的振动等以作为警告将人唤醒。

步骤S24中输出的警告与步骤S20中输出的通知不同并且更强大。例如，以比通知的音量大的音量输出语音消息、警报、蜂鸣、蜂鸣声、伪喇叭等。此外，输出比通知的更令人不适的音调(诸如不和谐音)。灯等可以发射比通知的发射强度更高的发射强度的光，或者可以以比通知的强度更高的强度执行触觉反馈。

在步骤S25中，驾驶模式切换控制部154判定是否已经确认驾驶员恢复确认姿势。例如，在基于驾驶状态检测部142的清醒程度的检测结果，标识驾驶员要采取与通常时的姿势相同的姿势的情况下，判定能够确认恢复清醒姿势。允许姿势移动或离开座椅工作的系统可以包括通过跟踪来判定驾驶员在车辆中的姿势的移动/平衡移动并且可以执行判定的设备。

在步骤S25中判定尚未确认驾驶员恢复清醒姿势的情况下，处理进入步骤S26。

在步骤S26中，驾驶模式切换控制部154参考结合的计时器，并且判定例如从通知定时起是否已经经过了改变完成的预定延长时间段。

在步骤S26中判定还没有经过预定时间的情况下，处理返回到步骤S24，并且重复随后的处理。预定的经过时间例如是允许唤醒睡眠中的驾驶员直到驾驶员清醒的时间。预定的经过时间对于唤醒心情不好的经认证的驾驶员设置得较长，而对于唤醒心情好的驾驶员来说则设置为较短，并且该时间被设置为个人信息。

另一方面，在步骤S26中判定经过了预定时间的情况下，则驾驶模式切换控制部154放弃使驾驶员恢复清醒的工作，并且处理进入步骤S27。同样，在步骤S22中未判定可以将自动驾驶模式切换为手动驾驶模式的情况下，处理进入步骤S27。

在步骤S27中，日志生成部125记录用于切换为手动驾驶模式的NG。例如，日志生成部125生成表示切换为手动驾驶模式不成功的日志，并记录该日志。

在步骤S28中，驾驶模式切换控制部154激活并执行紧急疏散模式。执行紧急疏散模式使得控制能够例如使由驾驶员驾驶的车辆减速并慢下来以根据行驶道路的周围情况移动到侧带，并且将车辆紧急疏散至路肩等。但是要注意，即使在紧急情况下，在路肩上停车也不是优选的使用形式。期望地，将车辆移动到可以用作不会阻碍运输的点并且可以将车辆疏散然后停放的位置。原因如下。如果自动驾驶变得普遍并且伴随着发生交通拥堵等而发生车流不畅，则所有行车道上都充满了自动驾驶车辆而干扰紧急车辆的通过；因此，使路肩空置对于运输基础设施的正常操作非常重要。

以这种方式，在紧急疏散模式下执行用于使车辆强制停止的处理。在紧急情况下，路线设置部151例如基于地图信息在行驶路线上搜索最近的强制停止位置，并且执行用于将车辆停止在搜索到的强制停止位置的处理。搜索到的强制停车位置的示例包括紧急停车位、交通岛和商店停车场。根据行驶道路的周围情况紧急停止车辆的原因如下。如果车辆减速并且在没有路肩的单行车道中交通繁忙的时区中紧急停在单行车道上，则会导致道路上的交通拥堵。

在非紧急情况下，路线设置部151可以基于地图信息搜索最近的停车场或服务区域。在停车场或服务区域位于预定范围内并且车辆可以在不需要经由请求手动驾驶的路线的情况下到达该停车场或服务区域的情况下，路线设置部151设置该停车场或服务区域为强制停止位置。在预定范围内不存在停车场或服务区域的情况下，或者在没有经由请求手动驾驶的路线的情况下车辆无法到达停车场或服务区域的情况下，则路线设置部151可以通过与紧急情况下使用的方法类似的方法来搜索并设置强制停止位置。

驾驶辅助控制部153控制行驶控制部33等，以使车辆停止在设置的强制停止位置。此时，根据需要使车辆减速或慢下来。此外，作为阻止驾驶员恢复的因素而发生驾驶员疾病状况的突然恶化，可以在检测时或在车辆停止之后与事件通知一起发出SOS。

还假定驾驶员在车辆自动停止在强制停止位置之前，将驾驶模式强制切换为手动驾驶并强制恢复驾驶。在这种情况下，由于存在驾驶员未充分清醒的可能性，因此可以将驾驶模式逐步切换至手动驾驶。

接下来，将参考图14的流程图描述在图9的步骤S21中执行的驾驶模式切换判定处理。

在步骤S101中，手势识别切换判定部201使驾驶状态检测部142使用手势识别来检测反应性和清醒程度。

手势识别切换判定部201通过基于驾驶状态检测部142的检测结果来判定驾驶员的恢复内部状态，来判定是否可以将驾驶模式从自动驾驶模式切换为手动驾驶模式。

在步骤S102中，扫视信息切换判定部202通过执行驾驶员的眼球行为的分析，例如扫视分析，来使驾驶状态检测部142检测驾驶员的反应性和清醒程度。

扫视信息切换判定部202基于驾驶状态检测部142的检测结果，通过判定驾驶员的恢复内部状态，来判定是否可以将驾驶模式从自动驾驶模式切换为手动驾驶模式。

在步骤S103中，使驾驶状态检测部142通过语音识别驾驶员的响应，并检测驾驶员的反应性和清醒程度。

语音识别切换判定部203基于驾驶状态检测部142的检测结果，通过判定驾驶员的恢复内部状态，来判定是否可以将驾驶模式从自动驾驶模式切换为手动驾驶模式。

在步骤S104中，主动反应响应检测切换判定部204基于驾驶员对主动反应的响应，使驾驶状态检测部142检测驾驶员的反应性和清醒程度。

主动反应响应检测切换判定部204基于驾驶状态检测部142的检测结果和作为驾驶员对作用于驾驶的动作的认知响应而出现的反应结果，通过判定驾驶员的恢复内部状态，判定是否可以将驾驶模式从自动驾驶模式切换为手动驾驶模式。

注意，从自动驾驶模式到手动驾驶模式的切换判定处理不限于经由这四个阶段的判定处理执行的处理。例如，作为图14中所描绘的四个判定处理的替代，可以执行另一判定处理，或者可以添加判定处理。

此外，图14中所描绘的四个判定处理的顺序可以任意改变。在此将描述作用在驾驶员上的优点。在此，关于作用于驾驶员的效果，在取决于认知判断的观察的检测仅取决于驾驶员的被动手段的情况下，在由于单调道路而驾驶员不需要特别关注的道路区间中通过被动观察驾驶员不会出现特殊的特征，从而难以判定恢复清醒状态。另一方面，通过车辆控制系统11主动作用于驾驶员，可以有利地使判定恢复清醒所需的可观察状态观察值的辨别更加明显。

图9的步骤S22中的是否可以切换驾驶模式的判定可以基于图14中所描绘的四个判定处理的所有判定结果来执行，或者可以基于判定处理中的至少任何一个的判定结果来执行。

<自动驾驶控制处理>

接下来，将参考图15至图17的流程图描述由车辆控制系统11执行的自动驾驶控制处理的另一示例。

由于图15中的步骤S201至S209的处理与图7中的步骤S1至S9的处理类似，因此将省略其描述。如果适当，将省略重复的描述。

在步骤S201中，执行驾驶员认证，并且在步骤S202中，开始日志记录。在步骤S203中，获取目的地，并且在步骤S204中，开始周围信息的获取。

在步骤S205中，开始行驶路线的设置，并且在步骤S206中，开始自动级别的更新。在步骤S207中，开始对驾驶员的监视，并且在步骤S208中，开始学习处理。另外，在步骤S209中，开始驾驶辅助。

在图16的步骤S210中，驾驶模式切换控制部154基于经由通信部27获取的LDM、交通信息等，监视恢复手动驾驶的必要性。注意，从自动驾驶模式切换为手动驾驶模式的含义与恢复手动驾驶的含义相同。从自动驾驶模式到手动驾驶模式的切换(切换)在下文中将适当地称为“恢复手动驾驶”。

在情况已经如参考图10至图12所描述的那样改变的情况下，例如，在监视恢复手动驾驶的必要性期间，驾驶模式切换控制部154对规划的改变开始点等进行重置。

在步骤S211中，驾驶模式切换控制部154判定是否需要恢复手动驾驶。

在步骤S211中判定不需要恢复手动驾驶的情况下，处理返回到步骤S210，并且重复后续的处理。

另一方面，在步骤S211中判定需要恢复手动驾驶的情况下，处理进入步骤S212。

在步骤S212中，驾驶模式切换控制部154控制通知控制部124，以将恢复手动驾驶的必要性通知给驾驶员。这里发出的通知是类似于图9的步骤S20中的通知的切换为手动驾驶模式的通知。

在取决于恢复必要性的通知不能期望驾驶员恢复清醒的情况下，可以将与图9的步骤S24中的警告类似的警告重复预定次数。

在步骤S213中，驾驶模式切换控制部154判定是否可以期望驾驶员恢复清醒。

例如，切换判定部155中的判定部可以判定是否可以切换驾驶模式，并且驾驶模式切换控制部154可以基于判定部的判定结果来判定是否可以期望驾驶员恢复清醒。注意，可以基于四个判定处理中的至少任何一个的判定结果来执行关于是否可以期望驾驶员恢复清醒的判定。

在步骤S213中判定可以期望驾驶员恢复清醒的情况下，处理进入步骤S214。

在步骤S214中，驾驶模式切换控制部154开始驾驶恢复过程，以控制驾驶状态检测部142执行作为姿势恢复的跟踪的驾驶姿势恢复序列跟踪。驾驶姿势恢复序列跟踪是响应于在次级任务时驾驶员是否就座并且直到驾驶员的姿势恢复到驾驶员可以驾驶车辆的姿势为止来跟踪序列的运动。

在步骤S215中，驾驶模式切换控制部154监视恢复到能够驾驶的姿势。作为恢复能够驾驶的姿势的监视，基于驾驶员的移动来执行监视，移动诸如是面部方向的转变、视线方向的转变、眨眼的频率以及眼球移动的转变，并且检测驾驶员的反应性和清醒程度。

在步骤S216中，驾驶模式切换控制部154基于步骤S215中的恢复监视的结果，判定是否已经检测到驾驶员使用行驶操作设备开始转向操作的可能性。

在步骤S216中判定已经检测到驾驶员使用行驶操作设备开始转向操作的可能性的情况下，处理进入图17的步骤S218。

在步骤S213中未判定可以期望驾驶员恢复清醒的情况下，或者在步骤S216中未判定可以检测到驾驶员使用行驶操作设备开始转向操作的可能性的情况下，则处理进入步骤S217。

在步骤S217中，驾驶模式切换控制部154与图9的步骤S28类似地激活并执行紧急疏散模式。执行紧急疏散模式导致车辆被强制停止，然后自动驾驶控制处理结束。

在图17的步骤S218至S220中，执行通过主动反应响应检测进行的切换处理。

换句话说，在步骤S218中，主动反应响应检测切换判定部204使行驶控制部33对偏离正常行驶的合理偏离行驶(诸如噪声行驶等)进行控制。合理的偏离控制包括向转向盘施加扭矩的控制、有意的转向操作误差的控制、曲折转向操作的控制、急加/减速的控制等。

应当注意的是，合理的偏离控制是在不施加失去控制感的情况下期望的控制。例如，期望将偏离保持在以下范围内，该范围内是将瞬时偏离施加到转向盘以使得转向盘由于侧风或覆盖路面上的孔而略微滑出驾驶员的手的程度。

在步骤S219中，主动反应响应检测切换判定部204使驾驶状态检测部142监视驾驶员对噪声行驶等的合理偏离控制的校正操作。监视校正操作使得例如可以检测到驾驶员可以正确地发送对主动反应的响应以消除噪声行驶。

在步骤S220中，主动反应响应检测切换判定部204基于驾驶状态检测部142的检测结果来评估驾驶员状态。主动反应响应检测切换判定部204在此评估驾驶员是否可以恢复到驾驶员可以正常地执行转向操作的状态。

在步骤S221中，主动反应响应检测切换判定部204基于步骤S220中的评估结果，判定驾驶员是否已经恢复到驾驶员可以正常地执行转向操作的状态。

在步骤S221中判定驾驶员已经恢复到驾驶员可以正常地执行转向操作的状态的情况下，处理进入步骤S222。

在步骤S222中，驾驶模式切换控制部154将正常转向操作的权限逐步地移交给驾驶员。换句话说，驾驶模式切换控制部154将驾驶模式从自动驾驶模式逐步切换为手动驾驶模式。

注意，即使检测到驾驶员的转向操作，驾驶员也可能在梦游状态下执行转向操作或匆忙地反身地执行转向操作。因此，期望不一次移交权限，而是当转向盘根据驾驶员的意图旋转时，通过给予权重来逐步控制从行驶偏离的行驶或向转向盘施加强反作用力扭矩的载荷来逐步移交权限。

在步骤S223中，驾驶模式切换控制部154通过连续查看驾驶状态检测部142对驾驶员的反应性和清醒程度的检测结果，来判定是否执行与稳定的手动驾驶相对应的驾驶/转向操作。这里期望的是，当驾驶员通过普通手动驾驶来驾驶车辆时，与稳定的手动驾驶相对应的驾驶/转向操作是参考驾驶运动特性来判定的。

在步骤S223中判定执行与稳定的手动驾驶相对应的驾驶/转向操作的情况下，自动驾驶控制处理结束。

另一方面，在步骤S221中判定驾驶员没有恢复到驾驶员可以正常地执行转向操作的状态的情况下，或者在步骤S223中判定不执行与稳定的手动驾驶相对应的驾驶/转向操作的情况下，处理返回到图16的步骤S217，并且重复后续的处理。

如上所述，在本技术中，有意地进行控制以使驾驶员感到转向操作校正操作的必要性作为在使用清醒程度等的检测结果来判定驾驶员的恢复内部状态的过程中的最终步骤处理。

另外，基于对这种控制的响应，判定驾驶员的意识是否恢复到使得驾驶员具有正常的转向能力来用肌肉力量对设备执行转向操作的程度，然后驾驶模式从自动驾驶模式切换为手动驾驶模式；因此，可以更安全地将自动驾驶改变为手动驾驶。

此外，通过按照序列执行手势确认、视线移动跟踪确认、语音识别确认等，从而可以准确地判定驾驶员的恢复能力并最终更可靠地将自动驾驶模式改变为手动驾驶模式。

因此，可以更安全地从自动驾驶切换为手动驾驶。

注意，车辆控制系统11可以实现用于确认自动自身位置以校正相对于环境的相对位置并且仍使用诸如SLAM(同时定位和绘图)的技术来创建关于所获取的地图数据的校正数据的准确性的改善。

基于将车辆可以响应于道路环境而行驶的自动驾驶级别分类为不允许使用自动驾驶的级别0和允许自动驾驶的级别来描述本技术，允许自动驾驶的级别包括需要驾驶员干预的级别、更高级的自动驾驶级别4和级别5。

另一方面，在车辆控制系统11以低速行驶为使用前提来解释自动驾驶的情况下(尽管在当前的道路交通法下仍不允许低速自动驾驶)，并不一定总是进行识别和判定以及行驶规划(诸如行驶环境状况识别和短期路径规划)以补偿正常高速安全行驶所需的多个主要风险，目前已对此进行了广泛讨论。此外，在将行驶限于低速行驶的自动驾驶/全自动化驾驶车辆假定为超轻型车辆的情况下，因此非常有利于将这种车辆用于低速自动驾驶，该超轻型车辆被认为是处于放松管制之后引入的低速驾驶车辆和通过了现有的/传统的类型认证的轻型车辆之间。

换句话说，在假定使用速度限制为低速的车辆和自动驾驶系统无法进行短期判定的情况下，系统可能需要花费一些时间来在通过使用时间轴并使车辆减速来停止车辆而有意地延迟了到达临界点的时间的同时来掌握车辆行进所需的情况。如果速度进一步降低，则系统可能需要花费时间来判断行驶路径，结果，可以通过使车辆减速和行进来补偿低速。换句话说，即使缺乏与传统的高速自动行驶所必需的并且总是被更新的被称为LDM的“不可见轨迹”相对应的地图信息，也可以通过将使用限制为低速使用来安全地行驶车辆。

注意，临界点指示地图上的最终改变点，例如，通过提前获取的诸如LDM之类的信息来完成驾驶改变。临界点是在请求驾驶员在车辆通过该点时恢复手动驾驶或响应于来自车辆控制系统11的请求要求驾驶员恢复手动驾驶的情况下可能引起危险的点，并且不能处理手动驾驶。

取决于车辆控制系统11请求驾驶员执行手动驾驶的因素，在驾驶员还没有恢复手动驾驶的情况下，该点并不总是直接涉及危险。临界点是车辆控制系统11确认驾驶员是否已经因为发生了无法判定情况的危险或某种事件而完成恢复手动驾驶的点。

临界点是因为车辆控制系统11无法作出决定或者车辆控制系统11对于以普通巡航速度进行的自动驾驶不确定而由车辆控制系统11判定的点。因此，当车辆经过临界点时，实际上，在许多情况下，驾驶员在经过该临界点之前不能识别使主体车辆恢复手动驾驶的必要性。

因此，在临界点上经常发生粗心的驾驶员对驾驶模式改变的疏忽；因此，在发生实际超出车辆控制系统11的判定的危险事件并结合偶然发生的情形的情况下，该事件包含最终可能导致严重事故的风险。因此，临界点可以用作当改变延迟或改变延迟开始时对驾驶员施加惩罚的标准点，以防止当驾驶员无法确认在临界点的驾驶模式的改变时驾驶员忽略驾驶模式的改变。

另一方面，由于存在许多阻碍因素，例如道路基础设施上的交通拥堵，从而影响了基础设施的功能，因此不适合在处于高速行驶环境和低速行驶环境的混合的高速公路环境中使用仅在低速下可用的自动驾驶系统。

换句话说，即使具有更加有限的周围识别功能，也可以实现低速专用自动驾驶车辆的安全移动和行驶。虽然将低速专用自动驾驶车辆原样应用于高速驾驶需要诸如选择最佳故障避免路线路径的高速处理，但是自动驾驶车辆难以通过要求车辆高速行驶的路线。这是因为自动驾驶车辆不能执行安全自动驾驶所必需的远程识别和高速处理判定。

为了解决该问题，不管驾驶员在低速下的手动驾驶能力如何，都允许以限于低速的速度使用自动驾驶。另外，可以设想以下情况，其中仅当期望以等于或高于特定速度的速度通过区间的驾驶员恢复干预驾驶以进行手动驾驶时，通过增加行驶速度来允许车辆以自动驾驶级别3或2通过高速行驶区间。这使得能够更实际地使用相同的移动装置并确保安全性，并且在防止由于低速车辆进入道路基础设施而导致的交通拥堵等的发生方面进一步是有利的。

换句话说，虽然本技术主要集中于当驾驶员在取决于行驶区间而随时间变化的每个道路区间适当地将驾驶模式从自动驾驶模式切换为手动驾驶模式时判定驾驶员恢复手动驾驶的能力，但是在以允许低速的自动驾驶的形式的车辆以高速移动的情况下，本技术可以广泛地用于判定驾驶员恢复手动驾驶的能力。

尽管上面描述了用于确认驾驶员对控制的主动反应的主要实施例的配置的示例，但是该配置可以具有除控制以外的功能，以将噪声行驶具体且直接地应用于车辆的行驶中。例如，可以通过虚拟现实效果等使用视觉效果，可以通过将转向与车辆控制分开来生成转向的伪旋转和伪扭矩，或者可以通过依赖于振动而不旋转转向的触觉方案增加旋转感。

本技术适用于能够使驾驶的至少一部分自动化的各种车辆，而与车辆的动力源和能量供给源无关。例如，本技术可应用于汽油动力车辆、混合动力车辆、插电式混合动力车辆、电动动力车辆、燃料电池车辆等。除了普通汽车之外，本技术还适用于公共汽车、卡车、两轮车等。本技术尤其在应用于能够在自动/自动化驾驶和手动驾驶之间切换驾驶的各种车辆的情况下展现出更大的优点。

<计算机的配置的示例>

可以通过硬件或软件来执行上述一系列处理。当通过软件执行一系列处理时，将配置软件的程序安装到计算机中。这里，计算机的类型包括结合到专用硬件中的计算机以及作为例如能够通过将各种程序安装到计算机中来执行各种功能的通用个人计算机的计算机。

图18是描绘用于使上述一系列处理由程序执行的计算机的硬件的配置的示例的框图。

在计算机中，CPU(中央处理单元)401、ROM(只读存储器)402和RAM(随机存取存储器)403通过总线404相互连接。

输入/输出接口405也连接到总线404。输入部406、输出部407、记录部408、通信部409和驱动器410连接到输入/输出接口405。

输入部406包括输入开关、按钮、麦克风、成像元件等。输出部407包括显示器、扬声器等。记录部408包括硬盘、非易失性存储器等。通信部409包括网络接口等。驱动器410驱动可移除介质411，诸如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，CPU 401经由输入/输出接口405和总线404将记录在例如记录部408中的程序加载到RAM 403，并执行该程序，由此执行以上所述的一系列处理。

例如，可以通过将程序记录在用作包装介质等的可移除介质411中来提供由计算机(CPU 401)执行的程序。可替代地，可以经由有线或无线传输介质(诸如局域网、因特网或数字卫星服务)来提供程序。

在计算机中，通过将可移除介质411附着到驱动器410，可以经由输入/输出接口405将程序安装到记录部408中。可替代地，可以由通信部409经由有线或无线传输介质来接收程序，并将程序安装在记录部408中。在另一个替代实施例中，程序可以提前安装在ROM402或记录部408中。

由计算机执行的程序可以是用于以本说明书中描述的顺序按时间顺序执行处理的程序，或者可以是用于并行地或者在诸如呼叫的定时之类的必要定时执行处理的程序。

而且，本技术的实施例不限于上述实施例，并且在不脱离本技术的精神的情况下可以进行各种改变和修改。

例如，本技术可以采用云计算配置，用于使多个装置以共享或协作的方式处理一个功能。

此外，以上流程图中描述的每个步骤不仅可以由一个装置执行，而且可以以共享的方式由多个装置执行。

此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理不仅可以由一个装置执行，而且可以以共享的方式由多个装置执行。

<配置的组合的示例>

可以如下配置本技术。

(1)一种车辆控制器，包括：

行驶控制部，在驾驶模式从自动驾驶模式切换为手动驾驶模式时，对偏离车辆的正常行驶的行驶进行控制；和

驾驶状态检测部，基于驾驶员对偏离行驶的控制而执行的行驶操作来检测驾驶员的驾驶状态。

(2)根据(1)所述的车辆控制器，还包括：

驾驶模式切换部，响应于由驾驶状态检测部检测到的驾驶状态来切换驾驶模式。

(3)根据(2)所述的车辆控制器，其中

在由驾驶状态检测部检测出的驾驶状态表示能够正常行驶的情况下，驾驶模式切换部将驾驶模式从自动驾驶模式切换为手动驾驶模式。

(4)根据(1)至(3)中的任一项所述的车辆控制器，其中

行驶控制部对偏离行驶进行控制作为在切换驾驶模式时逐步执行的多个判定处理之中的最终步骤或与最终步骤相一致的处理。

(5)根据(1)至(4)中的任一项所述的车辆控制器，其中

行驶控制部对行驶进行控制，来使车辆向偏离行进方向的方向移动，以作为对偏离行驶的控制。

(6)根据(5)所述的车辆控制器，其中

行驶控制部对行驶进行控制，来使车辆向作为偏离方向的直角方向移动。

(7)根据(1)至(6)中的任一项所述的车辆控制器，其中

行驶控制部对行驶进行控制，来使车辆急加速或急减速，以作为对偏离行驶的控制。

(8)根据(1)至(7)中的任一项所述的车辆控制器，其中

行驶控制部在驾驶员被通知驾驶模式切换之后，对偏离行驶进行控制。

(9)根据(1)至(8)中的任一项所述的车辆控制器，其中

驾驶状态检测部在行驶控制部对偏离行驶进行控制之前，被动地检测驾驶员的驾驶状态。

(10)根据(1)至(9)中的任一项所述的车辆控制器，其中

驾驶状态检测部在行驶控制部对偏离行驶进行控制之前，被动地或准被动地检测驾驶员的驾驶状态，以及

行驶控制部基于驾驶员的状态和恢复预测定时来决定通知驾驶员的定时。

(11)根据(1)至(10)中的任一项所述的车辆控制器，其中

驾驶状态检测部基于驾驶员对行驶操作设备执行的校正动作来检测驾驶状态。

(12)根据(1)至(11)中的任一项所述的车辆控制器，其中

驾驶状态检测部将驾驶员的反应性或清醒程度中的至少一项检测为驾驶状态。

(13)根据(1)至(11)中的任一项所述的车辆控制器，其中

行驶控制部允许车辆以限于低速的速度的自动驾驶模式，判定在切换到以等于或高于预定速度的速度行驶时将驾驶模式从自动驾驶切换为手动驾驶，并且在以等于或高于预定速度的速度行驶时要求驾驶员干预转向操作。

(14)一种车辆控制方法，包括以下步骤：

在驾驶模式从自动驾驶模式切换为手动驾驶模式时，对偏离车辆的正常行驶的行驶进行控制；以及

基于驾驶员对偏离行驶的控制而执行的行驶操作来检测驾驶员的驾驶状态。

附图标记列表

10：自动驾驶系统

11：车辆控制系统

12：移动终端

21：周围图像捕获部

22：周边信息获取部

23：位置测量部

24：输入部

25：车辆信息获取部

26：驾驶员监视部

27：通信部

28：车辆控制部

29：显示部

30：音频输出部

31：发光部

33：行驶控制部

34：车载设备控制部

35：存储部

101：驾驶员图像捕获部

102：生物信息获取部

103：视线检测部

104：认证部

121：周围监视部

122：驾驶员监视部

123：自动驾驶控制部

124：通知控制部

125：日志生成部

126：学习部

141：驾驶行为分析部

142：驾驶员状态检测部

151：路线设置部

152：自动级别设置部

153：驾驶辅助控制部

154：驾驶模式切换控制部

155：切换判定部

201：手势识别切换判定部

202：扫视信息切换判定部

203：语音识别切换判定部

204：主动反应响应检测切换判定部

Claims (10)

1.一种车辆控制器，包括：

行驶控制部，在驾驶模式从自动驾驶模式切换为手动驾驶模式时，对偏离车辆的正常行驶的行驶进行控制；和

驾驶状态检测部，基于驾驶员对偏离行驶的控制而执行的行驶操作来检测驾驶员的驾驶状态，

其中，行驶控制部对偏离行驶进行控制作为在切换驾驶模式时逐步执行的多个判定处理之中的最终步骤或与最终步骤相一致的处理，所述多个判定处理包括基于驾驶员的手势识别的判定处理、基于驾驶员的眼球扫视的判定处理、基于驾驶员的语音识别的判定处理和基于驾驶员的主动反应响应的判定处理，

行驶控制部允许车辆以限于低速的速度的自动驾驶模式，判定在切换到以等于或高于预定速度的速度行驶时将驾驶模式从自动驾驶切换为手动驾驶，并且在以等于或高于预定速度的速度行驶时要求驾驶员干预转向操作，

驾驶状态检测部在行驶控制部对偏离行驶进行控制之前，被动地或准被动地检测驾驶员的驾驶状态，以及

行驶控制部基于驾驶员的状态和恢复预测定时来决定通知驾驶员的定时，恢复预测定时是基于学习驾驶员的恢复特性、车辆的载荷/制动动态特性、道路的安全特性而计算出的。

2.根据权利要求1所述的车辆控制器，还包括：

驾驶模式切换部，响应于由驾驶状态检测部检测到的驾驶状态来切换驾驶模式。

3.根据权利要求2所述的车辆控制器，其中

在由驾驶状态检测部检测出的驾驶状态表示能够正常行驶的情况下，驾驶模式切换部将驾驶模式从自动驾驶模式切换为手动驾驶模式。

4.根据权利要求1所述的车辆控制器，其中

行驶控制部对行驶进行控制，来使车辆向偏离行进方向的方向移动，以作为对偏离行驶的控制。

5.根据权利要求4所述的车辆控制器，其中

行驶控制部对行驶进行控制，来使车辆向作为偏离方向的直角方向移动。

6.根据权利要求1所述的车辆控制器，其中

行驶控制部对行驶进行控制，来使车辆急加速或急减速，以作为对偏离行驶的控制。

7.根据权利要求1所述的车辆控制器，其中

行驶控制部在驾驶员被通知驾驶模式切换之后，对偏离行驶进行控制。

8.根据权利要求1所述的车辆控制器，其中

驾驶状态检测部基于驾驶员对行驶操作设备执行的校正动作来检测驾驶状态。

9.根据权利要求1所述的车辆控制器，其中

驾驶状态检测部将驾驶员的反应性或清醒程度中的至少一项检测为驾驶状态。

10.一种车辆控制方法，包括以下步骤：

在驾驶模式从自动驾驶模式切换为手动驾驶模式时，对偏离车辆的正常行驶的行驶进行控制，基于驾驶员的状态和恢复预测定时来决定通知驾驶员的定时，恢复预测定时是基于学习驾驶员的恢复特性、车辆的载荷/制动动态特性、道路的安全特性而计算出的；以及

基于驾驶员对偏离行驶的控制而执行的行驶操作来检测驾驶员的驾驶状态，在对偏离行驶进行控制之前，被动地或准被动地检测驾驶员的驾驶状态，

其中，对偏离行驶进行控制作为在切换驾驶模式时逐步执行的多个判定处理之中的最终步骤或与最终步骤相一致的处理，所述多个判定处理包括基于驾驶员的手势识别的判定处理、基于驾驶员的眼球扫视的判定处理、基于驾驶员的语音识别的判定处理和基于驾驶员的主动反应响应的判定处理，

允许车辆以限于低速的速度的自动驾驶模式，判定在切换到以等于或高于预定速度的速度行驶时将驾驶模式从自动驾驶切换为手动驾驶，并且在以等于或高于预定速度的速度行驶时要求驾驶员干预转向操作。

Images