CN112644507A - 驾驶者状态判定装置 - Google Patents

Abstract

一种驾驶者状态判定装置，提早进行驾驶者的异常判定。驾驶者状态判定装置具备：自主功能识别部(401，402)，识别驾驶者的自主功能是否正常地发挥功能；以及非自主功能识别部(403)，识别非自主功能是否正常地发挥功能。驾驶者状态判定装置在识别为驾驶者的自主功能没有正常地发挥功能的情况下，缩短用于非自主功能识别部识别是否正常地发挥功能的规定时间。

Description

驾驶者状态判定装置

技术领域

在此公开的技术涉及一种例如判定驾驶汽车的驾驶者的状态的驾驶者 状态判定装置。

背景技术

近来，从国家层面正在推进自动驾驶系统的开发。

本申请的申请人认为在当前时间点自动驾驶系统大致分为存在两个方 向性。

第一方向性是汽车成为主体而无需驾驶者的操作就将乘客送到目的地 的系统即所谓的汽车的完全自动行驶。例如在专利文献1中公开了通过由 乘客进行规定的操作来将驾驶的主体变更为汽车的自动驾驶技术。

第二方向性是如“提供能够享受汽车的驾驶的环境”那样以始终由人进 行驾驶为前提的自动驾驶系统。在第二方向性的自动驾驶系统中，例如设 想在发生了驾驶者产生疾病等而难以进行正常的驾驶的状况的情况等下汽 车自动地代替乘客来进行自动驾驶。

在专利文献2中公开了基于从由摄像部进行摄像得到的影像的分析结 果得到的驾驶者的驾驶姿势、睁眼程度判定驾驶者对车辆的驾驶状态的适 当与否的技术。在专利文献3中公开了设定驾驶者的清醒程度的判断基准 且使用检测出的驾驶者的头部的行为和所设定的判断基准来判断驾驶者的 清醒状态的技术。另外，在非专利文献1中进行了在驾驶中发生了意识障 碍发作的病例的研究。

专利文献1：日本特开2019-119373号公报

专利文献2：日本特开2019-79328号公报

专利文献3：日本特开2010-128649号公报

非专利文献1：篠原一彰、其它7名、“運転中に意識障害発作を発症 した症例の検討”、汽车技术会论文集、2014年11月、Vol.45、No.6、p1105-1110

发明要解决的问题

例如，已知如下技术：如专利文献2所记载的那样，在驾驶者不能驾 驶而蹲坐的情况下，驾驶者产生了功能障碍、疾病的可能性高，判定为驾 驶状态不适当。例如在专利文献3中，识别驾驶者的头部、身体的活动， 基于其识别结果进行所谓的死人(deadman)判定。而且，在识别出驾驶者无 法继续驾驶的状态的情况下，能够代替驾驶者来使本车辆退避到安全的场 所。

这样，从提高驾驶者的救生率、确保包括周围在内的安全的观点来看， 如何提早发现驾驶者产生了异常、特别是驾驶者产生了功能障碍、疾病是 极其重要的。特别是在上述第二方向性的自动驾驶系统中，由于驾驶者成 为主体而进行驾驶，因此，如何提早发现驾驶者的异常以对驾驶者自身及 周围的人们提供安心、安全是极其重要的课题。

发明内容

在此公开的技术是鉴于上述情况而完成的，其目的在于尽可能缩短直 到判定出驾驶者的异常为止的时间。

用于解决问题的方案

为了解决所述问题，在此公开的技术中，以搭载于汽车的驾驶者状态 判定装置为对象，设为如下结构，即具备：自主功能识别部，为了探测驾 驶者表现出异常的预兆而识别驾驶者的自主功能是否正常地发挥功能；以 及非自主功能识别部，基于非自主功能持续规定时间以上地处于异常状态， 来识别该非自主功能是否正常地发挥功能，在识别为所述自主功能没有正 常地发挥功能的情况下，缩短用于所述非自主功能识别部识别是否正常地发挥功能的所述规定时间。

此外，本发明的装置中的识别高级、低级的自主功能、非自主功能是 否发挥功能是指，在通过提早进行驾驶者的异常判定来救生和确保安全这 样的意义上的识别，在装置硬件上还包括估计、判断之类的方式。另外， 本发明的装置中的识别是不同于医疗从事者检查人体来判断它们是否发挥 功能的概念。

根据该结构，基于驾驶者的自主功能是否正常地发挥功能来探测驾驶 者表现出异常的预兆，在识别为自主功能没有正常地发挥功能的情况下， 缩短用于非自主功能识别部识别是否正常地发挥功能的规定时间。由此， 与仅基于非自主功能进行判断的情况相比，能够尽可能确保驾驶者的异常 判定的精度，并且使直到判断出异常为止的时间提早。

作为所述驾驶者状态判定装置的一个实施方式，也可以设为如下，即 高级自主功能识别部，识别相对高级的自主功能即高级自主功能是否正常 地发挥功能；以及低级自主功能识别部，识别比高级自主功能低级的自主 功能即低级自主功能是否正常地发挥功能，在所述高级自主功能识别部识 别为没有正常地发挥功能的情况下，变更所述低级自主功能识别部和/或所 述非自主功能识别部的判定基准，在所述低级自主功能识别部识别为没有 正常地发挥功能的情况下，变更所述非自主功能识别部的判定基准。

根据该结构，在非自主功能受损之前，根据高级自主功能与低级自主 功能的正常/异常的组合进行异常判定的条件变更(例如判定时间的缩短)。 由此，能够更提早进行驾驶者的异常判定，或者能够提高涉及异常判定的 预见的精度。

作为所述驾驶者状态判定装置的一个实施方式，也可以设为如下，即 在识别为所述高级自主功能和所述低级自主功能中的至少一方没有正常地 发挥功能的情况下，变更实施面向驾驶者的激励(actuation)的激励实施部的 激励的方法。

这样，通过进行对驾驶者的询问、注意唤起，能够提高驾驶者的异常 判定的精度或者促使驾驶者进行安全的行动。

发明的效果

如以上说明的那样，基于在此公开的技术，能够提早进行驾驶者的异 常判定。

附图说明

图1是用于说明驾驶者主体型自动驾驶系统的概念图。

图2是表示疾病的细目和对驾驶的影响的图。

图3是关于疾病发病后的驾驶者的状态恶化示出时间上的变化的图。

图4是用于说明事后探测和预兆探测的图。

图5A是表示汽车用运算系统的功能结构的框图。

图5B是表示汽车用运算系统的功能结构的框图。

图6是表示驾驶者状态判定装置的动作的一例的流程图。

图7是用于说明驾驶者状态判定装置的动作的图。

具体实施方式

-概要-

本公开的技术特别是在前述的第二方向性的自动驾驶系统、即以人进 行驾驶为前提的自动驾驶系统(以下称为驾驶者主体型自动驾驶系统)中发 挥真正的价值。

另外，完全自动驾驶是用于确保高龄者的移动自由的选项之一，是非 常重要的技术。另一方面，本申请的申请人认为并非只有完全自动驾驶是 下一代所寻求的自动驾驶系统(技术)。

本申请的申请人认为，在以人应该如何为中心来考虑的情况下，通过 自由移动来实现生活的充实是在下一代作为搭载有自动驾驶技术的个人汽 车所应有的姿态。即，本申请的申请人认为寻求一种支持人自己活动、享 受并维持提高能力的姿态、并帮助恢复作为人的本来的姿态的技术。本申 请的申请人认为通过人愉快地操作汽车来活化身心是汽车本来的效用。本 申请的申请人认为，在人发挥能力且活跃的背后，汽车可靠地掌握人和本车辆的运动、周围的环境等来做好能够应对的准备。由于汽车跟随人的感 觉，一起乘坐的人也能够自然地感觉到汽车的运动，不会感到不快，能够 安心地乘坐。探求人能够体会到拥有这样的汽车且无论到哪里都能够一起 继续行驶这样的“心的满足”这种行驶的喜悦的同时兼顾安全、安心。这是本 申请的申请人所认为的安全思想，是本申请的申请人的自动驾驶技术的有 效利用的方法。

图1是示意性地表示上述说明的概要的图。

如图1所示，驾驶者通过眼睛、耳朵等五感来识别汽车的行驶环境信 息。驾驶者基于识别出的行驶环境信息判断如何使汽车运动，基于其判断 结果对方向盘、加速器、制动器等进行操作。例如，驾驶者在判断为有可 能发生与车外的障碍物的碰撞、车道的偏离的情况下，决定用于避免该情 形的行驶路径(例如目标位置、加减速等)，执行用于该目的的操作。于是， 汽车的各致动器类AC(参照图6)工作，从而反映到汽车的行驶。驾驶者重 复如下动作：将因操作产生的车辆的行驶状态作为反馈来接收，与行驶环 境信息的识别结果结合起来进行判断，进行基于该判断的操作。在此，行 驶环境信息例如是指包含本车辆的外部环境信息的、汽车的行驶环境的信 息。外部环境信息中例如包含将标识、建筑物等的信息和中央分隔带、电 线杆等的道路信息包括在内的静止体的信息以及其它车辆(自动四轮车)、自 动二轮车、自行车、步行者等运动体的信息。致动器类AC中例如包括发动 机系统81、变速器、制动器82、转向器83等(参照图6)。

在搭载有驾驶者主体型自动驾驶系统的汽车中，通常(平常状态)是由驾 驶者驾驶汽车。驾驶者主体型自动驾驶系统在平常状态下，在驾驶者正在 驾驶的背后掌握本车辆、外部环境、驾驶者的状态来执行虚拟驾驶。换言 之，驾驶者主体型自动驾驶系统作为备用系统进行动作。具体地说，驾驶 者主体型自动驾驶系统与驾驶者同样地识别行驶环境信息，并且识别本车 辆信息的状态、驾驶者的状态。在驾驶者主体型自动驾驶系统中，与驾驶者的驾驶并行地执行如下处理：基于上述的识别结果判断使汽车如何运动， 决定汽车的目标运动。而且，驾驶者主体型自动驾驶系统在判断为驾驶者 产生了功能障碍、疾病的情况下，代替驾驶者来使本车辆动作以确保包括 周围在内的安全，或者补全驾驶者的认知、判断、操作中劣化的功能。

在驾驶者主体型自动驾驶系统中，以如上述那样的动作为前提，因此 如何能够提早发现驾驶者产生了功能低下、功能障碍、疾病等异常(以下称 为驾驶者异常)是极其重要的。

-作为本申请发明的前提的见解-

另外，驾驶者的状态大致区分为健康的正常状态和产生了功能障碍、 疾病的异常状态。正常状态中，如果从清醒的程度高的状态起按顺序记载 则包括最大限度地集中于驾驶的流状态、驾驶集中状态、放松驾驶状态、 心不在焉驾驶状态、漫不经心驾驶状态、清醒低下状态、瞌睡状态。疾病 中存在各种疾病，基于图2所示的非专利文献1的见解，作为明显在驾驶 中发生了意识障碍发作的代表性病例，可列举癫痫、中风、心肌梗塞、低 血糖。

发明人们得出如下见解：驾驶者从正常状态(健康状态)起发生成为导致 意识障碍发作的原因的疾病后直到变成无法驾驶的状态为止的驾驶者的状 态变化汇总为3个模式。图3示出了上述的驾驶者的状态恶化的3个模式(事 例)。在图3中，示出了相对于横轴的时间的、纵轴的驾驶能力的变化，示 出了如果低于无法驾驶线则驾驶者无意识而变成无法驾驶的状态。

在图3中，事例A是如果发病则几乎没有任何先兆而直接失去意识的 模式。事例A以整体的55％左右的比例产生。事例A例如是多见于癫痫的 模式，心肌梗塞、脑疾病也相当于其一部分。事例B是如果发病则并非一 下子失去意识而一边感觉到哪里奇怪、即相对良好的状态和差的状态以起 伏的方式反复、一边在整体上状态逐渐恶化的模式。事例B以整体的22％ 左右的比例产生，是多见于脑疾病的模式。事例C是如果发病则状态缓慢 且逐渐恶化而直接失去意识的模式。事例C以整体的23％左右的比例产生， 是多见于低血糖症的模式。

在这三个模式中的任一种模式中都可以这样说：在用于在能够搭载于 一般的汽车的水平的范围内进行驾驶者的状态探测的当前时间点的技术水 准下，处于直到达到无法驾驶线才能识别为疾病的状况。这是因为，非常 难以判别驾驶者是处于虽然是健康的状态但是漫不经心的状态、还是处于 疲劳累积的状态、还是处于发生疾病的状态。另外，由于有时驾驶者虽然 是健康状态但会闭着眼睛或者姿势走样，因此驾驶者异常的判定需要根据 姿势走样、一直睁眼的状态或一直闭眼的状态是否持续了固定时间来进行 判断。即，在以往技术中，存在如下问题：如果想要提高发现疾病的准确 度则在判定中花费时间，如果想要缩短疾病的判定时间则疾病的误判定增 加。

因此，发明人们着眼于疾病中存在驾驶者的功能按顺序逐渐丧失这样 的机制。换言之，发明人们着眼于疾病表现的预兆的存在，想出使用该预 兆的检测结果来判定驾驶者异常的表现。由此，能够更提早且更高精度地 判定驾驶者异常的表现。

一般来说，作为判定驾驶者异常的方法，已知一种探测在与驾驶者的 意思无关地成立的功能即所谓的非自主功能上产生了异常的技术。作为非 自主功能的异常检测方法，例如已知如下方法：基于由摄像部进行摄像得 到的影像对驾驶者的驾驶姿势走样、驾驶者的睁眼程度进行分析，判断驾 驶者的疾病。在着眼于脑功能来考虑的情况下，作为相对于非自主功能而 言的功能，存在作为人的自主性功能的自主功能。近年，正在进行关于该 自主功能进行检测的各个技术开发。本申请的发明人们进一步探讨了关于 该自主功能着眼于脑功能进行分类。具体地说，分类为作为自主功能中的 接近管理生命维持的功能的自主功能的、在接近无意识的区域中处理的自 主功能(以下称为“低级自主功能”)以及与低级自主功能相比人有意识地考 虑来处理的自主功能(以下称为“高级自主功能”)。高级自主功能是指，例如 对能否进行所谓的“也许是○○的驾驶”产生影响的功能。而且，发明人们得 出如下见解：如果这样进行分类，则存在在驾驶者异常表现之后高级自主 功能先丧失而低级自主功能留到最后的倾向。

图4是关于表示如图3的事例B、C所示的行为的驾驶者异常示出了在 哪个时机发生何种预兆或现象与这些预兆、现象表现的时间点的救生率的 关系的概念图。在图4中，设相对于驾驶者失去意识的时间，时间轴是趋 向右侧来追溯的时间。

在图4的右侧示出了在驾驶者异常表现之后变得不能驾驶的数分钟左 右前检测的预兆(以下称为数分钟前预兆)的一例。在数分钟前预兆中，存在 特别是在驾驶者的意识水平相对高的行为、即高级自主功能中产生变样的 倾向。因此，在数分钟前预兆中，为了探测数分钟前预兆已表现，着眼于 高级自主功能是否正常地发挥功能。关于高级自主功能的变样，例如基于 对于显著性的扫视眼动反应、紧急操作的频度等指标来进行探测。

具体地说，在数分钟前预兆中，例如作为驾驶行动来看，存在认知功 能低下或运动功能低下的倾向。在数分钟前预兆中，例如作为眼球运动来 看，存在眼球的追踪性下降的倾向。在数分钟前预兆中，例如作为驾驶姿 势来看，存在运动功能低下的倾向。在数分钟前预兆中，例如作为生物体 反应，驾驶者的内部状态、生命(Vital)产生异常，存在驾驶者的心率紊 乱的倾向。因而，例如通过判断上述的生命异常、各种功能低下，能够探 测数分钟前预兆。在数分钟前预兆的探测中例如使用车辆操纵模型、驾驶 操作模型、追踪性眼球模型、协调性动作模型等。此外，作为数分钟前预 兆，未必是上述的全部都表现，还有时其一部分表现。关于数分钟前预兆 的具体的探测方法的例子，稍后进行说明。在数分钟前预兆的阶段，驾驶 者有时处于能够继续驾驶的状态。如果是数分钟前预兆的阶段，则救生率为约85％左右。

在图4的中央示出了在驾驶者异常表现之后变得不能驾驶的数秒至十 数秒左右前检测的预兆(以下称为10秒前预兆)的一例。在10秒前预兆中， 存在在驾驶者的实质上无意识的行为中产生变样的倾向。即，在从驾驶者 异常的表现起经过某一程度的时间而相对接近无法驾驶线的阶段即10秒前 预兆的阶段，存在除了高级自主功能以外低级自主功能也变样的倾向。因 此，为了探测10秒前预兆已表现，着眼于低级自主功能是否正常地发挥功 能。关于低级自主功能是否正常地发挥功能，例如能够基于前庭眼反射、 头部的内稳态、转向的晃动、速度的稳定性等指标来进行探测。在10秒前 预兆的探测中例如能够使用反射性眼球运动模型、上肢姿势控制模型、头 部固定振动模型、车辆行为的检测结果等。

具体地说，在10秒前预兆中，例如存在如下倾向：在前庭眼反射能力 上产生异常，在头摇晃的情况下无法继续看固定的场所(例如前方)。另外， 在10秒前预兆中，例如存在在头部的内稳态上产生异常的倾向。作为头部 的内稳态的异常，例如有相对于汽车的摇晃无法维持头部的内稳态而过度 摇晃，或者在肌肉僵硬的情况下与健康人相比相对于汽车的摇晃而头部的 活动大幅减少。在10秒前预兆中，例如存在产生转向的晃动、或者速度变得不稳定的倾向。因而，能够基于驾驶者的头、眼睛的状态、汽车的行为 的变化来探测10秒前预兆。此外，作为10秒前预兆，未必是上述的全部 都表现，还有时其一部分表现。关于10秒前预兆的具体的探测方法的例子， 稍后进行说明。如果是10秒前预兆的阶段，则救生率为约63％左右。

在图4的左侧示出了事后探测驾驶者的意识丧失(以下称为事后探测) 的一例。如前所述，关于事后探测，能够基于驾驶者的驾驶姿势走样、长 时间的闭眼状态/睁眼状态的持续、无瞳孔的反应等来进行检测。在通常驾 驶时，也会产生驾驶者的暂时性的驾驶姿势走样、闭眼/睁眼。因此，一般 来说，关于事后探测，基于其状态是否持续发生固定时间来判定异常。因 而，存在直到判定出异常为止花费规定的判定时间这样的问题。在事后探 测中例如能够使用偏离姿势模型、摄像机等对驾驶者的摄影结果等。

-实施方式-

图5A、图5B是表示具有本实施方式所涉及的驾驶者状态判定装置的 驾驶者主体型自动驾驶系统CU的功能结构例的框图。此外，在以下的说明 中，设将图5A和图5B汇总来仅称为图5。

首先，本公开所涉及的驾驶者主体型自动驾驶系统CU(以下仅称为自 动驾驶系统CU)在功能上被分为认知系统块B1、判断系统块B2以及操作 系统块B3。认知系统块B1是用于认知车外环境、车内环境(包括驾驶者的 状态)的结构。判断系统块B2是用于基于认知系统块B1中的认知结果来判 断各种状态、状况等并决定汽车的动作的结构。操作系统块B3是用于基于 判断系统块B2中的决定来生成具体地传递到致动器类的信号、数据等的结 构。

另外，自动驾驶系统CU具备：(1)主运算部200，由用于实现通常驾驶 时的自动驾驶的认知系统块B1、判断系统块B2以及操作系统块B3构成； 以及(2)安全功能部300，主要具有补全主运算部200的认知系统块B1和判 断系统块B2的功能。

对于自动驾驶系统CU，作为输入信号提供由获取汽车的车内外环境的 信息的信息获取单元10获取的数据。另外，作为对自动驾驶系统CU的输 入信号，也可以如云计算那样输入来自连接于车外网络(例如因特网等)的系 统、服务的信息(在图5中记载为“外部输入”)。

作为信息获取单元10，例如例示：(1)设置于汽车1的车身等且对车外 环境进行摄影的多个车外摄像机11；(2)设置于汽车1的车身等且探测车外 的物标等的多个雷达12；(3)包括GPS等定位系统的位置传感器13；(4)上 述的来自车外的网络等的外部输入14；(5)安装于汽车的机械传感器15；(6) 接收来自驾驶者的输入操作的驾驶员输入部16；(7)设置于汽车的车内后视 镜、仪表盘等的车内摄像机17等。车内摄像机17构成为例如能够对驾驶者的姿势、表情、眼的睁眼状态、视线、车内环境等进行摄影。机械传感 器15包括用于检测汽车的绝对速度的车速传感器。驾驶员输入部16包括 检测驾驶者对加速踏板、制动踏板、转向器、各种开关等各种操作对象物 所进行的操作的传感器。具体地说，驾驶员输入部16例如包括检测加速踏 板的踩踏量的加速器开度传感器、检测方向盘的旋转角度(转向角)的转向角 传感器、检测制动踏板的踩踏量的制动器传感器(油压传感器)等。

-1-1.主运算部(1)-

在此，关于主运算部200的结构，结合主运算部200使用深度学习生 成路径的例子来进行说明。

在主运算部200的认知系统块B1和判断系统块B2中，使用通过利用 神经网络的深度学习来构建的各种模型来执行处理。通过进行这样的使用 模型的处理，能够实现基于车辆状态、车外环境、驾驶者的状态等的综合 性判断来进行的驾驶控制，即能够实时地协调大量的输入信息来进行控制。

具体地说，主运算部200具备识别车外的物体的物体识别部201、地图 生成部202、外部环境估计部203、外部环境模型204、路径搜索部205、 路径生成部206以及车辆状态检测部207。

物体识别部201接收由车外摄像机11进行摄像得到的车外的图像(包括 影像)，基于接收到的图像识别车外的物体。由物体识别部201识别出的结 果被送到地图生成部202。

在地图生成部202中，进行将本车辆的周围分为多个区域(例如前方、 左右方向、后方)并制作每个该区域的地图的处理。具体地说，在地图生成 部202中，针对各个区域，将由车外摄像机11识别出的物标信息和由雷达 12识别出的物体信息进行合并反映到地图。

由地图生成部202生成的地图和车辆状态检测部207中的检测结果在 外部环境估计部203中通过使用了深度学习的图像识别处理来被使用于车 外环境的估计。具体地说，在外部环境估计部203中，通过基于利用深度 学习来构建的外部环境模型204所实施的图像识别处理，来生成表示车外 环境的3D地图。在深度学习中，使用多层神经网络(DNN：DeepNeural Network)。作为多层神经网络，例如存在CNN(Convolutional Neural Network：卷积神经网络)。

更具体地说，在外部环境估计部203中，(1)将每个区域的地图相结合， 生成表示本车辆的周围的合并地图，(2)针对该合并地图内的运动体物，预 测与本车辆的距离、方向、相对速度的位移，(3)其结果被编入外部环境模 型204。并且，在外部环境估计部203中，(4)根据从车内或车外取入的高 精度地图信息、由GPS等获取的位置信息/车速信息/6轴信息的组合，估计 合并地图上的本车辆的位置，并且(5)进行前述的路径成本的计算，(6)其结 果与由各种传感器获取的本车辆的运动信息一起被编入外部环境模型204。 通过上述的(1)～(6)的处理，在外部环境估计部203中，外部环境模型204 被随时更新并被使用于由后述的路径生成部206进行的路径生成。

GPS等定位系统的信号、从车外网络发送的例如汽车导航用的数据被 送到路径搜索部205。路径搜索部205使用GPS等定位系统的信号、从车 外网络发送的例如导航用的数据来搜索车辆的广域路径。

在路径生成部206中，基于前述的外部环境模型204和路径搜索部205 的输出来生成车辆的行驶路径。关于行驶路径，例如将安全性、燃料消耗 量等进行分数化，生成至少一个其分数小的行驶路径。另外，路径生成部 206也可以构成为例如生成如上述行驶路径和根据驾驶者的操作量调整后 的行驶路径那样基于多个观点的行驶路径。与由该路径生成部206生成的 行驶路径有关的信息包含在外部环境数据中。

-1-2.安全功能部-

在此，关于安全功能部300的结构，结合安全功能部300生成规则库 的路径的例子来进行说明。

安全功能部300具有如下功能：通过由主运算部200执行的深度学习， 设想导出导致偏离某特定的容许范围的判断、处理(以下仅称为偏离处理) 的可能性，并监视这样的偏离处理。

例如，在安全功能部300中构成为：

(1)基于以往以来在汽车等中采用的物标等的认定方法，识别位于车外 的物体(以下有时称为对象物)；

(2)利用以往以来在汽车等中采用的方法，设定车辆能够安全通过的安 全区域，将通过该安全区域的路径设定为汽车应该通过的行驶路径。

具体地说，安全功能部300具备对车外的物体进行图形识别的物体识 别部301、分类部302、预处理部303、自由空间搜索部304以及路径生成 部305。

物体识别部301基于由车外摄像机11进行摄像得到的车外的图像(包括 影像)以及由雷达12检测出的反射波的峰值列表，识别车外的物体。

在分类部302、预处理部303中，不使用深度学习等，而基于由物体识 别部301识别出的结果，利用基于规定规则的规则库的方法，估计外部环 境。具体地说，在分类部302中，接收物体识别部252对物体的识别结果， 将识别出的物体分类为运动体和静止物。更具体地说，在分类部302中，(1) 将本车辆的周围分为多个区域(例如前方、左右方向、后方)，(2)针对各区域， 将由车外摄像机11识别出的物体信息与由雷达12识别出的物体信息进行 合并，(3)生成针对各区域的运动体和静止物的分类信息。

在预处理部303中，将在分类部302中生成的每个区域的分类结果进 行合并。将合并得到的信息例如作为本车辆周边的运动体和静止物的分类 信息而在网格图(省略图示)上进行管理。另外，针对运动体物，预测与本车 辆的距离、方向、相对速度，其结果作为运动体物的附属信息被编入。并 且，在预处理部303中，将从车内外获取的高精度地图信息、位置信息、 车速信息、6轴信息等进行组合来估计本车辆相对于运动体、静止物的位置。

自由空间搜索部304搜索能够避免与由预处理部303估计出位置的运 动体、静止物(以下还称为对象物)的碰撞的自由空间。例如，自由空间搜索 部304基于视为不可回避范围等规定的规则来设定对象物的周围数m。在 对象物为运动体的情况下，自由空间搜索部304考虑移动速度来设定自由 空间。自由空间是指，例如道路上的不存在其它车辆、步行者等动态障碍 物以及中央分隔体、电线杆等静态障碍物的区域。自由空间也可以包括能够紧急停车的路肩的空间。

路径生成部305计算通过由自由空间搜索部304搜索出的自由空间的 路径。关于路径生成部305计算路径的方法，不特别限定，例如生成通过 自由空间的多个路径，从该多个路径中选择路径成本最小的路径。由路径 生成部305计算出的路径输出到后述的目标运动决定部214。

此外，上述中说明的安全功能部300的功能是将以往以来在汽车等中 采用的物标等的认定方法及其回避方法适用于规则库而成的。

-1-3.主运算部(2)-

主运算部200除了在前述的“1-1.主运算部(1)”中说明的块以外，还具备 危险状态判断部210、第一车辆模型211、第二车辆模型212、路径决定部 213、目标运动决定部214、车辆动能设定部215、能量管理部216、驾驶员 操作识别部217、图像处理部218以及选择器220。图像处理部218对由车 内摄像机17进行摄像得到的图像进行规定的图像处理。

在危险状态判断部210中，在基于外部环境模型204判断为有可能发 生与对象物的碰撞、车道的偏离的情况下，设定用于避免该情形的行驶路 径(例如目标位置和车速)。

驾驶员操作识别部217识别驾驶者的操作量、操作方向来作为用于决 定行驶路径的信息。具体地说，驾驶员操作识别部217基于驾驶员输入部 16的输出来识别驾驶者的操作量、操作方向，将识别结果输出到路径决定 部213。

在路径决定部213中，基于由路径生成部206设定的行驶路径、由安 全功能部300的路径生成部305设定的行驶路径以及驾驶员操作识别部217 中的识别结果，决定车辆的行驶路径。关于该行驶路径的决定方法，不特 别限定，例如在通常行驶时也可以使由路径生成部206设定的行驶路径最 优先。另外，在由路径生成部206设定的行驶路径不通过由自由空间搜索 部304搜索出的自由空间的情况下，也可以选择由安全功能部300的路径 生成部305设定的行驶路径。另外，也可以根据驾驶者的操作量、操作方 向对所选择的行驶路径施加调整或者使驾驶者的操作优先。

在目标运动决定部214中，例如针对由路径决定部213决定的行驶路 径决定6轴的目标运动(例如加速度、角速度等)。目标运动决定部214在决 定6轴的目标运动时也可以使用规定的第一车辆模型211。车辆6轴模型是 将行驶中的车辆的“前后”“左右”“上下”这3轴方向的加速度和“纵倾”“侧 倾”“横摆”这3轴方向的角速度进行模型化所得到的。即，是将车辆的运动 不是仅在传统的车辆运动工程学的平面上(仅在车辆的前后左右(X-Y移动)和横摆运动(Z轴)上)捕捉、而是使用经由悬架载于4个车轮上的车身的纵倾 (Y轴)、侧倾(X轴)运动以及Z轴的移动(车身的上下运动)这合计6轴来再 现车辆的行为的数值模型。第一车辆模型211是例如基于预先设定的车辆 的基本运动功能、车内外的环境信息等生成并被适当更新。

在车辆动能设定部215中，针对由目标运动决定部214决定的6轴的 目标运动，计算对驱动系统、转向系统、制动系统要求的转矩。驱动系统 例如是指发动机系统、马达、变速器。转向系统例如是转向器。制动系统 例如是制动器。

能量管理部216以在达成由目标运动决定部214决定的目标运动的基 础上使能量效率最高的方式计算致动器类AC的控制量。具体例示则：能量 管理部216计算在达成由目标运动决定部214决定的发动机扭矩的基础上 最提高燃料消耗率的、吸排气阀(省略图示)的开闭时机、喷射器(省略图示) 的燃料喷射时机等。能量管理部216在进行能量管理时，也可以使用规定 的第二车辆模型212。第二车辆模型212是表示车辆的能量消耗的模型。具体地说，是表示相对于车辆的致动器类AC的动作的燃料消耗率、电费的模 型。更详细地说，第二车辆模型212是例如将在输出规定量的发动机扭矩 的基础上最提高燃料消耗率的、吸排气阀(省略图示)的开闭时机、喷射器(省 略图示)的燃料喷射时机、排气回流系统的阀开闭时机等进行模型化所得到 的。第二车辆模型212是例如在车辆的行驶中生成并被适当更新。

这样，在本实施方式中，自动驾驶系统CU与由驾驶者驾驶汽车并行地 掌握本车辆、外部环境、驾驶者的状态来执行虚拟驾驶。自动驾驶系统CU 在掌握驾驶者的状态且判断为驾驶者产生了功能障碍、疾病的情况下，基 于来自上述的车辆动能设定部215和能量管理部216的输出，使用于使汽 车动作的致动器类AC工作。

这样的切换动作例如能够由用于前述的自动驾驶的结构、驾驶员状态 识别部400、自动驾驶切换部410以及选择器220来实现。

驾驶员状态识别部400基于信息获取单元10所获取的信息、前述的各 块中的处理结果等，识别驾驶员的状态，基于其识别结果掌握高级自主功 能、低级自主功能、非自主功能的状态。例如，驾驶员状态识别部400基 于由物体识别部201、301、驾驶员操作识别部217识别出的结果、车内摄 像机17中的摄像信息(图像处理部218中的图像处理结果)和/或来自外部环 境估计部203的输出信息等，识别驾驶员的状态。在图5B中，设驾驶员状 态识别部400接收来自预处理部303、驾驶员操作识别部217、图像处理部 218以及外部环境估计部203的输出，但是不限定于此，也可以基于来自其 它块的信息识别高级自主功能、低级自主功能、非自主功能的状态。

如图5B所示，驾驶员状态识别部400具备高级自主功能识别部401、 低级自主功能识别部402以及非自主功能识别部403。

高级自主功能识别部401识别驾驶者的高级自主功能是否正常地发挥 功能。具体例示则：高级自主功能识别部401例如基于由外部环境估计部 203估计出的外部环境、由驾驶员操作识别部217识别出的加速踏板、转向 器的操作状况、来自机械传感器15的输出，确认是否进行了基于驾驶者的 高级自主功能的操作。更具体地说，高级自主功能识别部401在通过如拐 角、交叉路口那样人有可能突然跳出的场所的情况下，识别驾驶者采取什 么样的行动。发明人们通过实证实验的结果得出如下见解：在高级自主功 能正常地发挥功能的情况下，即在人健康的状态下，随着接近拐角、交叉 路口而进行减速来确保安全，与此相对，如果存在中风的疾病的可能性， 则预测危险的功能丧失，例如存在不进行减速等而通过的倾向。根据发明 人们的见解可知，在这样的状态的驾驶者的情况下，在通常的闲散的道路 上，有时能够追踪车道来行驶。该追踪车道来行驶是在接近无意识的区域 中也能够处理的自主功能，是在发明人们的分类中属于低级自主功能的区 域的功能。即，意味着有时即使高级自主功能受损，低级自主功能也正常 地发挥功能。

因此，在高级自主功能识别部401中，关于是否正常地进行与通过的 场所相应的驾驶操作、特别是设想了危险的预兆的驾驶行动、所谓的“也许 是○○”驾驶，基于前述的外部环境估计部203、驾驶员操作识别部217和/ 或机械传感器15的识别结果、检测结果来进行判定。关于汽车是否处于需 要“也许是○○”驾驶的行驶环境，例如能够通过将从GPS等得到的地图信息 (例如建筑物信息等物标信息)和对于各个物标的行驶风险信息进行定量化 来进行识别。而且，高级自主功能识别部401在尽管行驶风险升高、但如 驾驶者突然踩踏加速器或者突然转向这样的紧急操作连续地产生的情况 下，识别为高级自主功能没有正常地发挥功能。另外，高级自主功能识别 部401也可以基于对于显著性的扫视眼动反应、在存在物影的情况下视线 是否准确地移动到该处等驾驶者的视线的移动来识别高级自主功能是否正 常地发挥功能。另外，以与其它指标的组合为前提，高级自主功能识别部401也可以对车内摄像机后视镜的确认次数进行计数，将后视镜的确认次数 极少或者减少幅度变大的情形使用于高级自主功能的识别。另外，如前所 述，在高级自主功能不再正常地发挥功能的状况下，在自律神经指标等指 标上出现变化，因此也可以参照这样的自律神经指标(例如心率)以掌握高级 自主功能的变化的征兆。

此外，一般来说，高级自主功能存在与低级自主功能、非自主功能相 比难以识别的倾向。因此，高级自主功能识别部401既可以(1)将多个指标 进行组合来识别高级自主功能是否正常地发挥功能，也可以(2)在估计为高 级自主功能没有正常地发挥功能的情况下，使激励(Actuation)实施部50实 施面向驾驶者的激励来确认驾驶者的反应，基于其结果识别高级自主功能 是否正常地发挥功能。关于激励实施部50的结构，不特别限定，既可以设 置专门的装置，也可以例如利用汽车导航系统(省略图示)、平视显示器(省 略图示)的画面、喇叭、扬声器等声音产生装置。高级自主功能识别部401 是自主功能识别部的一例。

低级自主功能识别部402识别低级自主功能是否正常地发挥功能。具 体例示则：低级自主功能识别部402例如根据由物体识别部201、301、驾 驶员操作识别部217识别出的结果掌握转向的晃动、速度的不稳定性的有 无，确认是否进行了基于驾驶者的低级自主功能的操作。更具体地说，例 如基于由物体识别部201、301、驾驶员操作识别部217识别出的结果，来 确认汽车的行驶是否相对于车道存在晃动。另外，低级自主功能识别部402 例如确认是否进行了使与前方车辆的车间距离接近或远离的行驶。另外， 如前所述，低级自主功能识别部402基于车内摄像机17中的摄像结果确认 前庭眼反射是否正常、是否保持了头部的内稳态。例如，低级自主功能识 别部402基于车内摄像机17的影像，对驾驶员的头的活动和驾驶员的视线 的移动进行分析，由此确认是否正常地进行前庭眼反射。另外，低级自主 功能识别部402基于机械传感器15的输出和车内摄像机17的影像，对相 对于汽车的摇晃而言的驾驶员的头的摇晃的程度进行分析，由此确认是否 正常地保持了头部的内稳态。低级自主功能识别部402是自主功能识别部 的一例。

非自主功能识别部403基于非自主功能持续规定时间以上地处于异常 状态，来识别非自主功能是否正常地发挥功能。例如，基于车内摄像机17 中的摄像结果对驾驶者的驾驶姿势走样、驾驶者的睁眼程度进行分析，判 断驾驶者的疾病。更具体地说，非自主功能识别部403例如在驾驶者的驾 驶姿势走样的状态和/或驾驶者的睁眼状态/闭眼状态持续了2秒的情况下， 识别为驾驶者已表现出疾病。

驾驶员状态识别部400在识别为驾驶者已表现出疾病的情况下，向自 动驾驶切换部410输出识别结果。

自动驾驶切换部410基于驾驶员状态识别部400的输出，向选择器220 输出控制信号。

选择器220具有切换是否将由自动驾驶系统CU运算的用于虚拟驾驶的 控制信号实际传递到致动器类AC的功能。从车辆动能设定部215和能量管 理部216对选择器220输入用于使致动器类AC工作的控制信号。选择器 220构成为在通常动作时即在驾驶员处于能够正常地驾驶的状态的情况下 不输出虚拟驾驶的控制信号。另一方面，在由驾驶员状态识别部400识别 出驾驶员的疾病等异常的情况下，接收来自自动驾驶切换部410的控制信 号，从车辆动能设定部215和能量管理部216输出用于使致动器类AC工作 的控制信号(以下称为自动驾驶控制信号)。在各致动器类AC(包括用于使致 动器动作的ECU)中，在从选择器220输出了自动驾驶控制信号的情况下， 代替来自驾驶者的操作信号，切换为基于自动驾驶控制信号的自动驾驶。

这样，根据本实施方式的结构，在由驾驶员状态识别部400识别为驾 驶者已表现出疾病的情况下，向自动驾驶切换部410通知识别结果，自动 驾驶切换部410控制选择器220。由此，能够代替驾驶者来使本车辆动作以 确保包括周围在内的安全，或者能够补全驾驶者的认知、判断、操作中劣 化的功能。

在此，本公开的技术的特征在于，由驾驶员状态识别部400分别检测 驾驶中的驾驶员的高级自主功能、低级自主功能、非自主功能，通过各功 能的正常/异常的判断的组合，来缩短用于最终的驾驶员异常判定的判定时 间。

以下，参照图6、图7来具体进行说明。图6是表示驾驶者状态判定装 置的动作的一例的流程图，图7是用于说明驾驶者状态判定装置的动作的 图。

如图3所示，驾驶者的疾病有时以作为阶段1在高级自主功能中确认 出异常、作为阶段2在低级自主功能中确认出异常、之后作为阶段3在非 自主功能中确认出异常的方式进行阶段性的变化。另外，还有时在驾驶者 中疾病已表现之后立即在非自主功能中表现出异常。另外，有时最初确认 出低级自主功能的异常、之后在非自主功能中确认出异常。

因此，在图6中，将高级自主功能(阶段1)的异常判定、低级自主功能 (阶段2)的异常判定以及非自主功能(阶段3)的异常判定并行地进行处理。

在步骤S11中，判定高级自主功能是否正常地发挥功能。在步骤S21 中，判定低级自主功能是否正常地发挥功能。在步骤S31中，判定非自主 功能是否正常地发挥功能。

在图7的事例1中，示出了识别为高级自主功能正常地发挥功能、且 低级自主功能正常地发挥功能的情况的例子。即，示出了步骤S11和步骤 S21为OK判定的情况的例子。此时，步骤S31中的判定使用默认状态的设 定。例如，非自主功能识别部403在非自主功能的异常状态持续了规定的 判定时间的情况下，判断为非自主功能中存在异常。关于规定的判定时间， 不特别限定，在图7中示出了规定的判定时间为2秒的例子。在图5B的结 构的情况下，当驾驶员状态识别部400识别为驾驶者中疾病已表现时，其 识别结果被输出到自动驾驶切换部410。自动驾驶切换部410控制选择器 220，将原来进行虚拟驾驶的自动驾驶系统的输出输出到致动器类AC，切 换为自动驾驶。

在图7的事例2中，示出了识别为高级自主功能正常地发挥功能、且 识别为低级自主功能没有正常地发挥功能的情况的例子。即，示出了步骤 S11为OK判定、且步骤S21为NG判定的情况的例子。此时，非自主功能 识别部403缩短用于识别是否正常地发挥功能的判定时间。在图7的例子 中，示出了将判定时间从2秒缩短为1秒的例子。由此，在非自主功能识 别部403中，在驾驶者的非自主功能的异常持续了1秒的情况下，判断为 非自主功能中存在异常。

在图7的事例3中，示出了识别为高级自主功能没有正常地发挥功能 的情况的例子。即，示出了步骤S11为NG判定的情况的例子。在该情况 下，在步骤S12中，例如，低级自主功能识别部402变更用于判定低级自 主功能是否正常地发挥功能的判定条件。在图7的例子中，低级自主功能 识别部402降低用于判定为低级自主功能的异常的阈值，使得容易判定出 异常。并且，当步骤S21为NG判定时，在步骤S22中，在非自主功能识 别部403中缩短用于识别是否正常地发挥功能的判定时间。在图7的例子 中，示出了将判定时间缩短为0.5秒的例子。此外，在步骤S11为NG判定 的情况下，也可以针对低级自主功能识别部402和非自主功能识别部403 这两方变更判定条件。例如，也可以降低低级自主功能识别部402的阈值， 且将非自主功能识别部403的判定时间缩短为1秒。另外，低级自主功能 的异常判定条件的变更不限定于降低阈值。例如，也可以使用于驾驶者的 异常检测的判定基准、判定阈值高精度化。由此，能够实质上缩短用于异 常判定的时间或者提高异常判定精度。

如以上，根据本实施方式，设置识别自主功能是否正常地发挥功能的 自主功能识别部(高级自主功能识别部401、低级自主功能识别部402)，在 识别为自主功能没有正常地发挥功能的情况下，缩短用于非自主功能识别 部识别是否正常地发挥功能的判定时间。即，在本实施方式中，在由自主 功能识别部探测产生驾驶者异常之前的预兆，并探测出该预兆的情况下， 缩短用于非自主功能识别部识别是否正常地发挥功能的判定时间。由此，在由于疾病等而驾驶者的驾驶功能受损的情况下，能够提早进行驾驶者的 异常判定，能够提早且可靠地启动自动驾驶/自动停车等安全控制。

另外，在本实施方式中，得出如下见解：如果将自主功能分类为高级 自主功能和低级自主功能，则存在在驾驶者异常表现之后高级自主功能先 丧失而低级自主功能留到最后的倾向。因此，在非自主功能受损之前，根 据高级自主功能与低级自主功能的正常/异常的组合进行异常判定的条件变 更、判定时间的缩短。由此，能够更提早进行驾驶者的异常判定，或者能 够提高涉及异常判定的预见的精度。

此外，在本公开中，缩短时间是指，除了如图7所示那样直接缩短用 于判定的时间这样的概念以外，还包括通过放宽用于异常判定的阈值、或 者使判定阈值高精度化来间接地缩短用于异常判定的时间的概念。

<其它实施方式>

在上述的实施方式中，在步骤S11、S21中进行了NG判定的情况下， 在步骤S12、S22中变更其后的各功能的判定条件(例如判定时间)，但是也 可以设置重置该变更后的判定条件的工序。例如，也可以在步骤S11和/或 步骤S21中进行了NG判定之后持续规定的时间地维持了正常的状态的情 况下，例如在步骤S11、S21、S31中均维持了OK判定的状态的情况下， 进入步骤S40，将各功能的判定条件重置为默认值。

在上述实施方式中，自动驾驶系统CU也可以在图6的流程中在变更判 定条件的前后，对驾驶者询问“不要紧吧”、“是否要稍微休息”，根据其结果 来变更处理。例如，自动驾驶系统CU也可以在进行了上述询问的情况下存 在来自驾驶者的迅速且适当的应答时，不变更步骤S12和/或步骤S22中的 判定条件。

这样，通过实施对驾驶者的询问、注意唤起等激励，能够提高驾驶者 的异常判定的精度或者促使驾驶者进行安全的行动。

产业上的可利用性

在此公开的技术作为搭载于汽车的驾驶者状态判定装置有用。

附图标记说明

401：高级自主功能识别部

402：低级自主功能识别部

403：非自主功能识别部

Claims (3)

1.一种驾驶者状态判定装置，搭载于汽车，其特征在于，具备：

自主功能识别部，为了探测驾驶者表现出异常的预兆而识别驾驶者的自主功能是否正常地发挥功能；以及

非自主功能识别部，基于非自主功能持续规定时间以上地处于异常状态，来识别该非自主功能是否正常地发挥功能，

在识别为所述自主功能没有正常地发挥功能的情况下，缩短用于所述非自主功能识别部识别是否正常地发挥功能的所述规定时间。

2.根据权利要求1所述的驾驶者状态判定装置，其特征在于，

所述自主功能识别部具备：

高级自主功能识别部，识别相对高级的自主功能即高级自主功能是否正常地发挥功能；以及

低级自主功能识别部，识别比高级自主功能低级的自主功能即低级自主功能是否正常地发挥功能，

在所述高级自主功能识别部识别为没有正常地发挥功能的情况下，变更所述低级自主功能识别部和/或所述非自主功能识别部的判定基准，在所述低级自主功能识别部识别为没有正常地发挥功能的情况下，变更所述非自主功能识别部的判定基准。

3.根据权利要求2所述的驾驶者状态判定装置，其特征在于，

在识别为所述高级自主功能和所述低级自主功能中的至少一方没有正常地发挥功能的情况下，变更实施面向驾驶者的激励的激励实施部的激励的方法。

Images