CN109421733A - 驾驶者状态掌握装置、驾驶者状态掌握系统及方法 - Google Patents

Abstract

本申请提供了驾驶者状态掌握装置、驾驶者状态掌握系统及方法。该驾驶者状态掌握装置能够根据驾驶者的手握持物体的状态，正确地判断在自动驾驶期间驾驶者是否处于能够迅速接续驾驶操作尤其是方向盘操作的状态。驾驶者状态掌握装置用于掌握具备自动驾驶系统的车辆的驾驶者的状态，具备：图像获取部，获取由拍摄驾驶者的相机拍摄到的图像；手检测部，从由图像获取部获取的图像中检测驾驶者的手；物体握持状态检测部，检测由手检测部检测到的驾驶者的手对物体的握持状态；以及速应判断部，基于由物体握持状态检测部检测到的物体的握持状态，判断在自动驾驶期间驾驶者的手是否处于能够立即操作车辆的方向盘的状态。

Description

驾驶者状态掌握装置、驾驶者状态掌握系统及方法

技术领域

本发明涉及驾驶者状态掌握装置、驾驶者状态掌握系统及方法，更详细地，涉及用于掌握可自动驾驶的车辆的驾驶者状态的驾驶者状态掌握装置、驾驶者状态掌握系统及驾驶者状态掌握方法。

背景技术

近年来，车辆自动驾驶技术的开发取得广泛进展。此外，正在推进有关自动驾驶车辆的技术标准的国际性研究。例如，针对有关自动方向盘操作的国际标准，目前正在对与以下技术相关的国际标准的修订进行讨论：在时速超过10km且握持方向盘的状态下的自动方向盘操作技术(汽车车道保持和汽车车道变更等)。

今后还计划对与以下技术相关的国际标准进行研究：在时速超过10km且未握持方向盘的状态下的自动方向盘操作技术(汽车车道保持和连续自动操作等)。当制定与上述未握持方向盘的状态下的自动方向盘操作技术相关的标准时，必须考虑到各种要素。作为这些要素中的一个，例如，正在研究由所述系统侧监视驾驶者的状态等，以便在自动驾驶系统发出请求时能够顺利地进行从自动驾驶向手动驾驶的接续。

作为监视驾驶者状态的技术之一，在下述专利文献1中公开了如下技术：在驾驶者驾驶车辆期间，基于驾驶者的方向盘握持信息及驾驶者的视线方向信息，判断驾驶者是否进行便携式终端的操作，当判断为驾驶者进行便携式终端的操作时，限制该便携式终端的功能。根据专利文献1记载的技术，通过限制便携式终端在车辆驾驶期间的操作功能，能够避免妨碍安全驾驶。

然而，在自动驾驶期间驾驶者进行便携式终端操作的状况下，自动驾驶系统发生异常或故障而突然进行向手动驾驶的接续请求时，驾驶者不易于立刻接续驾驶操作。

因此，可以考虑应用专利文献1记载的技术，作为掌握驾驶者在可自动驾驶车辆中的状态的技术。然而，关于专利文献1记载的技术，当驾驶者双手未握持方向盘且驾驶者视线未朝向前方时，判断为驾驶者进行便携式终端的操作。即，专利文献1记载的技术中根本无法掌握在驾驶者未握持方向盘时驾驶者实际上手的状态。

在无需握持方向盘的自动驾驶期间，设想驾驶者除了手持便携式终端进行操作以外，还手持各种物体采取行动。在这些行为中，例如也包括使用双手进行饮食等驾驶者难以立刻接续驾驶操作的行为。专利文献1记载的技术中，存在如下问题：无法适当地掌握在自动驾驶期间设想的驾驶者使用手的各种行为，并且无法正确地掌握驾驶者的手是否处于能够迅速接续方向盘操作的状态。

专利文献1：日本特开2014-106573号公报

发明内容

本发明鉴于上述问题，目的在于提供能够正确掌握在自动驾驶期间驾驶者的手的状态是否处于能够迅速接续方向盘操作的状态的驾驶者状态掌握装置、驾驶者状态掌握系统及驾驶者状态掌握方法。

为了实现上述目的，本发明的驾驶者状态掌握装置用于掌握具备自动驾驶系统的车辆的驾驶者状态，其特征在于，所述驾驶者状态掌握装置具备：图像获取部，获取由拍摄所述驾驶者的相机拍摄到的图像；手检测部，从由所述图像获取部获取的所述图像中检测所述驾驶者的手；物体握持状态检测部，检测由所述手检测部检测到的所述驾驶者的手对物体的握持状态；以及速应判断部，基于由所述物体握持状态检测部检测到的所述物体的握持状态，判断在自动驾驶期间所述驾驶者的手是否处于能够立即操作所述车辆的方向盘的状态，所述物体是由所述驾驶者用手操作的与所述车辆的装备件不同的物体。

根据上述驾驶者状态掌握装置，从所述图像中检测到所述驾驶者的手，并检测到该驾驶者的手握持所述物体的状态，并且基于该物体的握持状态，判断在自动驾驶期间所述驾驶者的手是否处于能够立即操作所述车辆的方向盘的状态。由此，能够正确地掌握在自动驾驶期间所述驾驶者的手的状态是否处于能够迅速接续所述方向盘操作的状态，并且即使在自动驾驶期间所述自动驾驶系统发生故障等时，也可以适当地进行辅助，使得能够迅速且顺利地进行从自动驾驶向手动驾驶的接续，特别是所述方向盘操作的接续。

此外，在本发明的驾驶者状态掌握装置中，所述物体握持状态检测部可以从所述图像中检测与所述驾驶者的手一起活动的区域部分的特征，并且基于从所述图像中检测到的与所述驾驶者的手一起活动的区域部分的特征，检测所述驾驶者是否处于握持所述物体的状态。

根据上述驾驶者状态掌握装置，从所述图像中，检测与所述驾驶者的手一起活动的区域部分的特征，并基于从所述图像中检测到的与所述驾驶者的手一起活动的区域部分的特征，检测所述驾驶者是否处于握持所述物体的状态。当由所述驾驶者的手握持所述物体时，该物体与所述驾驶者的手一起活动，因此通过分析所述图像中与所述驾驶者的手一起活动的区域部分即与所述驾驶者的手相邻的区域部分的特征，能够正确地检测所述驾驶者是否处于握持所述物体的状态。与所述驾驶者的手一起活动的区域部分的特征既可以是该区域部分的大小或形状，也可以是颜色信息或亮度信息，还可以是它们的组合。

此外，在本发明的驾驶者状态掌握装置中，当通过所述物体握持状态检测部检测到所述驾驶者是双手均未握持所述物体的预定状态时，所述速应判断部判断为在自动驾驶期间所述驾驶者处于能够立即操作所述方向盘的状态。

根据上述驾驶者状态掌握装置，当检测到所述驾驶者为双手均未握持所述物体的预定状态时，判断为在自动驾驶期间所述驾驶者处于能够立即操作所述方向盘的状态。所述驾驶者双手均未握持所述物体的预定状态，例如既可以是所述驾驶者双手均未握持所述物体的状态持续预定时间的状态，也可以是所述驾驶者双手均未握持所述物体的状态在一定时间内被检测到预定次数的状态等。由此，可以正确地判断所述驾驶者处于能够用双手立即操作所述方向盘的状态。

此外，在本发明的驾驶者状态掌握装置中，当通过所述物体握持状态检测部检测到所述驾驶者是至少单手握持所述物体的预定状态时，所述速应判断部判断为在自动驾驶期间所述驾驶者未处于能够立即操作所述方向盘的状态。

根据上述驾驶者状态掌握装置，当检测到所述驾驶者至少单手握持所述物体的预定状态时，判断为在自动驾驶期间所述驾驶者未处于能够立即操作所述方向盘的状态。所述驾驶者至少单手握持所述物体的预定状态，例如既可以是所述驾驶者至少单手握持所述物体的状态持续预定时间的状态，也可以是所述驾驶者至少单手握持所述物体的状态在一定时间内被检测到预定次数的状态等。由此，可以适当地判断所述驾驶者未处于能够用双手立即操作所述方向盘的状态。

此外，在本发明的驾驶者状态掌握装置中，当通过所述物体握持状态检测部检测到所述物体的握持状态时，所述速应判断部基于所述物体的大小，判断在自动驾驶期间所述驾驶者的手是否处于能够立即操作所述车辆的方向盘的状态。

根据上述驾驶者状态掌握装置，基于所述物体的大小判断在自动驾驶期间所述驾驶者的手是否处于能够立即操作所述车辆的方向盘的状态，因此例如，当所述物体的大小为不妨碍握持所述方向盘的大小时，可以判断为存在速应性。

此外，本发明的驾驶者状态掌握装置具备方向盘握持状态检测部，所述方向盘握持状态检测部检测所述驾驶者对所述方向盘的握持状态，

所述速应判断部可以基于由所述物体握持状态检测部检测到的所述物体的握持状态及由所述方向盘握持状态检测部检测到的所述方向盘的握持状态，判断在自动驾驶期间所述驾驶者是否处于能够立即操作所述方向盘的状态。

根据上述驾驶者状态掌握装置，基于所述物体的握持状态及所述方向盘的握持状态，判断在自动驾驶期间所述驾驶者是否处于能够立即操作所述方向盘的状态。由此，能够防止将握持所述方向盘的状态误检测为握持除方向盘以外的其他物体的状态，能够高精度地判断所述驾驶者是否处于握持除方向盘以外的物体的状态。其结果，能够提高判断在自动驾驶期间所述驾驶者的手是否处于能够立即操作所述车辆的方向盘的状态的准确性。

此外，本发明的驾驶者状态掌握装置具备传感器信号获取部，所述传感器信号获取部从设置于所述方向盘的传感器获取基于所述驾驶者的手的接触的传感器信号，

所述方向盘握持状态检测部基于由所述传感器信号获取部获取的所述传感器信号，检测所述驾驶者握持所述方向盘的状态。

根据上述驾驶者状态掌握装置，基于设置于所述方向盘的所述传感器获取的所述传感器信号，检测所述驾驶者握持所述方向盘的状态。因此，通过从设置于所述方向盘的所述传感器获取所述传感器信号，可以直接检测所述驾驶者握持所述方向盘的状态。

此外，在本发明的驾驶者状态掌握装置中，所述方向盘握持状态检测部可以从所述图像中，检测所述驾驶者握持所述方向盘的状态。

根据上述驾驶者状态掌握装置，可以在所述方向盘上不设置传感器等的情况下，从所述图像中检测所述驾驶者握持所述方向盘的状态。例如，当从所述图像中检测到的所述驾驶者的手的活动与使所述方向盘旋转的方向相同时，可以判断为所述驾驶者握持该方向盘。此外，当从所述图像中检测到的所述驾驶者的手的活动与使所述方向盘旋转的方向不同时，可以判断为所述驾驶者未握持该方向盘。此外，通过从所述图像中检测所述驾驶者的手是否在所述方向盘上，可以检测所述驾驶者握持所述方向盘的状态。此外，可以根据所述驾驶者手臂延伸的方法等，检测所述方向盘的握持状态。

此外，本发明的驾驶者状态掌握装置可以具备辅助执行部，当通过所述速应判断部判断为所述驾驶者的手未处于能够立即操作所述方向盘的状态时，所述辅助执行部执行对所述驾驶者的辅助。

根据上述驾驶者状态掌握装置，当判断为所述驾驶者的手未处于能够立即操作所述方向盘的状态时，对所述驾驶者执行辅助。由此，可以辅助督促所述驾驶者优化手的状态，以便即使在自动驾驶期间也保持能够立即操作所述方向盘的手的状态。

此外，本发明的驾驶者状态掌握装置具备从所述自动驾驶系统获取自动驾驶期间的信息的信息获取部，

所述辅助执行部可以基于所述速应判断部的判断结果和由所述信息获取部获取的所述自动驾驶期间的信息，进行针对所述驾驶者的通知处理。

根据上述驾驶者状态掌握装置，根据所述速应判断部的判断结果和由所述信息获取部获取的所述自动驾驶期间的信息，对所述驾驶者进行通知处理。由此，可以根据所述自动驾驶系统的状况，无需对驾驶者进行不必要的多种通知，并减少通知所需的电力和处理。

此外，在本发明的驾驶者状态掌握装置中，所述自动驾驶期间的信息中包含用于判断所述车辆周围是否是安全状态的信息，

在通过所述速应判断部判断为所述驾驶者的手未处于能够立即操作所述方向盘的状态时，所述辅助执行部根据所述车辆周围是否是安全状态，改变用于督促所述驾驶者采取恰当的手的状态的通知等级来进行通知处理。

根据上述驾驶者状态掌握装置，当判断为所述驾驶者的手未处于能够立即操作所述方向盘的状态时，可以根据所述车辆周围是否是安全状态改变用于督促所述驾驶者采取恰当的手的状态的通知等级来进行通知处理。用于判断所述车辆周围是否是安全状态的信息，例如，优选包括所述车辆周围的监视信息。所述车辆周围的监视信息，例如既可以是其他车辆急速接近本车辆附近的信息，也可以是在狭窄道路的急转弯等系统功能限制所设想的道路上行驶的信息等。

当所述车辆周围未是安全状态时，优选例如提高所述通知等级，以便采取手能够立即接续所述方向盘操作的状态，进行引起更强烈注意的通知，例如组合了显示、声音、振动等的通知。此外，当所述车辆周围是安全状态时，优选降低所述通知等级，例如进行仅通过显示的轻度通知。

此外，在本发明的驾驶者状态掌握装置中，所述自动驾驶期间的信息中包含从自动驾驶转到手动驾驶的接续请求信息，

当通过所述速应判断部判断为所述驾驶者的手未处于能够立即操作所述方向盘的状态且通过所述信息获取部获取到所述接续请求信息时，所述辅助执行部进行用于督促所述驾驶者接续方向盘操作的通知处理。

根据上述驾驶者状态掌握装置，在判断为所述驾驶者的手为未处于能够立即操作所述方向盘的状态的情况下获取到所述接续请求信息时，可以进行用于督促所述驾驶者接续方向盘操作的通知处理。所述接续请求信息例如既可以是从自动驾驶切换到手动驾驶的接续区间的信息，也可以是所述自动驾驶系统的一部分发生异常或故障的信息等。当获取到所述接续请求信息时，由于实际上需要操作方向盘，例如期望快速地进行握持所述方向盘的通知。

此外，本发明的驾驶者状态掌握系统可以具备上述驾驶者状态掌握装置中的任一个；以及用于拍摄所述驾驶者的相机。

根据上述驾驶者状态掌握系统，由所述驾驶者状态掌握装置和用于拍摄所述驾驶者的相机构成该系统。由此，即使在自动驾驶期间，也能够适当地掌握所述驾驶者的手是否处于能够迅速接续所述方向盘操作的状态，并且即使在自动驾驶期间所述自动驾驶系统发生故障等时，也能够构建如下系统：能够适当地进行辅助，使得能够迅速且顺利地进行从自动驾驶向手动驾驶的接续。

此外，本发明的驾驶者状态掌握方法，用于掌握具备自动驾驶系统的车辆的驾驶者状态，其特征在于，所述驾驶者状态掌握方法包括以下步骤：获取由拍摄所述驾驶者的相机拍摄到的图像；将获取的所述图像存储在所述存储部中；从所述图像存储部读取所述图像；从读取的所述图像中检测所述驾驶者的手；检测所检测到的所述驾驶者的手对物体的握持状态；以及基于检测到的所述物体的握持状态，判断在自动驾驶期间所述驾驶者的手是否处于能够立即操作所述车辆的方向盘的状态，所述物体是由所述驾驶者用手操作的与所述车辆的装备件不同的物体。

根据上述驾驶者状态掌握方法，从所述图像中检测所述驾驶者的手，并检测该驾驶者的手对所述物体的握持状态，并且基于该物体的握持状态，判断在自动驾驶期间所述驾驶者的手是否处于能够立即操作所述车辆的方向盘的状态。由此，能够正确地掌握在自动驾驶期间所述驾驶者的手是否处于能够迅速接续所述方向盘操作的状态，并且即使在自动驾驶期间所述自动驾驶系统发生故障等时，也能够适当地进行辅助，使得能够迅速且顺利地进行从自动驾驶向手动驾驶的接续，特别是所述方向盘操作的接续。

附图说明

图1是示出包括本发明实施方式(1)的驾驶者状态掌握装置的自动驾驶系统的主要部分结构的框图。

图2是示出搭载有实施方式(1)的驾驶者状态掌握系统的车辆的驾驶座周边的侧视图。

图3是示出实施方式(1)的驾驶者状态掌握装置的硬件结构的框图。

图4是示出实施方式(1)的驾驶者状态掌握装置中的控制部进行的处理动作的流程图。

图5是示出包括实施方式(2)的驾驶者状态掌握装置的自动驾驶系统的主要部分结构的框图。

图6是示出搭载有实施方式(2)的驾驶者状态掌握系统的车辆的驾驶座周边的侧视图。

图7是示出实施方式(2)的驾驶者状态掌握装置的硬件结构的框图。

图8是示出实施方式(2)的驾驶者状态掌握装置中的控制部进行的处理动作的流程图。

附图标记说明

1…自动驾驶系统；10、10A…驾驶者状态掌握系统；20、20A…驾驶者状态掌握装置；21…外部I/F；22、22A…控制部；22a…图像获取部；22b…手检测部；22c…物体握持状态检测部；22d、22h…速应判断部；22e、22j…通知处理部；22f…传感器信号获取部；22g…方向盘握持状态检测部；22i…信息获取部；23…CPU；24…RAM；25…ROM；26、26A…存储部；26a…图像存储部；26b…手检测方法存储部；26c…物体握持状态检测方法存储部；26d、26e…判断方法存储部；27…程序；31…相机；32…方向盘传感器；40…导航装置；50…自动驾驶控制装置；60…周边监视传感器；61…声音输出部；62…显示部。

具体实施方式

以下，基于附图，说明本发明的驾驶者状态掌握装置、驾驶者状态掌握系统及驾驶者状态掌握方法的实施方式。另外，以下所述的实施方式是本发明适宜的具体例，虽然在技术上附加有各种限定，但本发明的范围不限定于这些方式，除非在以下说明中存在特别限定本发明的记载。

图1是示出包括实施方式(1)的驾驶者状态掌握装置20的自动驾驶系统1的主要部分结构的框图。

自动驾驶系统1包括驾驶者状态掌握装置20、相机31、导航装置40、自动驾驶控制装置50、周边监视传感器60、声音输出部61及显示部62，这些部分由总线70连接。

自动驾驶系统1具备以系统为主体自动进行包括车辆加速、转向及制动的行驶控制中的至少一部分的自动驾驶模式和驾驶者进行驾驶操作的手动驾驶模式，并能够切换这些模式的系统。

在本实施方式的自动驾驶模式中，自动驾驶系统1自动地进行所有的加速、转向及制动，并且当从自动驾驶系统1发出请求时，设想与驾驶者对应的模式(相当于所谓3级以上的自动化水平)，但本发明的应用不限于该自动化水平。此外，在自动驾驶期间自动驾驶系统1请求向手动驾驶接续时是指例如包括当系统发生异常或故障时、限制系统的功能时、自动驾驶区间结束时等。

驾驶者状态掌握装置20是用于掌握具备自动驾驶系统1的车辆的驾驶者状态的装置，并且是如下装置：通过掌握驾驶者手的状态，即使在自动驾驶期间，也能够判断驾驶者是否处于能够立即操作方向盘的状态，从而当从自动驾驶系统1发出向手动驾驶的接续请求时，进行辅助以使驾驶者能够立即接续手动驾驶特别是方向盘操作。

驾驶者状态掌握装置20包括外部接口(外部I/F)21、控制部22及存储部26。控制部22构成为包括中央处理单元(CPU)23、随机存取存储器(RAM)24及只读存储器(ROM)25。

存储部26构成为闪速存储器、硬盘驱动器、固态驱动器、其他非易失性存储器和易失性存储器等包括通过半导体元件存储数据的存储装置。在存储部26中存储有由驾驶者状态掌握装置20执行的程序27等。另外，可以将程序27的一部分或全部存储在控制部22的ROM25等中。

相机31是用于拍摄就座于驾驶座上的驾驶者的装置。相机31构成为包括未图示的透镜部、摄像元件部、光照射部、输入输出部以及控制这些部分的控制部等。所述摄像元件部构成为包括CCD或CMOS等摄像元件、滤光器、微透镜等。所述光照射部包括LED等发光元件，此外，也可以是红外线LED等，以便无论昼夜都能够拍摄驾驶者的状态。所述控制部例如包括CPU、RAM、ROM，也可以包括图像处理电路。所述控制部控制所述摄像元件部和所述光照射部，从该光照射部照射光(例如，近红外线等)并进行由所述摄像元件部拍摄其反射光的控制等。

图2是示出搭载有实施方式(1)的驾驶者状态掌握系统10的车辆2的驾驶座周边的侧视图。

相机31在车厢内的安装位置只要是能够拍摄就座于驾驶座3的驾驶者4的上半身的位置即可，没有特别限定，但优选安装在能够拍摄从方向盘5到驾驶座3的空间部分的位置。例如，如图2所示，优选室内镜附近位置等。此外，作为其他安装位置，除了方向盘内A、仪表面板部分B、仪表板上C、方向盘5的管柱部分D、A柱部分E以外，还可以是导航装置40等。

相机31的数量既可以是一台，也可以是两台以上。相机31既可以与驾驶者状态掌握装置20分开(不同壳体)构成，也可以与驾驶者状态掌握装置20一体地(同一壳体)构成。此外，相机31的种类没有特别限定，既可以是可见光相机，也可以是近红外线相机或远红外线相机，还可以是它们的组合。此外，既可以是单眼相机，也可以是单眼3D相机，还可以是立体相机等。所述单眼3D相机具备距离测量图像芯片作为摄像元件，并且构成为能够识别监视对象物的有无、大小、位置、姿势等。由这种相机31拍摄的图像数据被发送到驾驶者状态掌握装置20。驾驶者状态掌握系统10构成为包括驾驶者状态掌握装置20和相机31。驾驶者状态掌握装置20和相机31既可以通过有线连接，也可以通过无线连接。

图1所示的导航装置40是用于对驾驶者引导本车辆的当前位置及从该当前位置到目的地的行驶路线等信息的装置，构成为包括未图示的控制部、显示部、声音输出部、操作部及地图数据存储部等。此外，构成为能够获取来自未图示的GPS接收机、陀螺仪传感器、车速传感器等的信号。

导航装置40基于由所述GPS接收机等测量的车辆的位置信息和所述地图数据存储部的地图信息，推断出本车辆行驶的道路和车道等信息，并将当前位置显示在所述显示部。此外，导航装置40计算从车辆的当前位置到目的地的路线等，将该路线信息等显示在所述显示部上，并从所述声音输出部进行路线引导等的声音输出。

此外，向自动驾驶控制装置50输出由导航装置40计算的车辆的位置信息、行驶道路的信息及预定行驶路线的信息等。预定行驶路线的信息可以是自动驾驶区间的开始结束地点的信息、从自动驾驶向手动驾驶的接续区间的信息等包括与自动驾驶和手动驾驶之间的切换控制相关联的信息。

自动驾驶控制装置50是执行与车辆自动驾驶相关的各种控制的装置，由具备未图示的控制部、存储部及输入输出部等的电子控制单元构成。自动驾驶控制装置50还与未图示的转向控制装置、动力源控制装置、制动控制装置、转向传感器、加速踏板传感器、制动踏板传感器等连接。这些控制装置及传感器可以包括在自动驾驶系统1的结构中。

自动驾驶控制装置50基于从自动驾驶系统1所包含的各部获取的信息，向各控制装置输出用于进行自动驾驶的控制信号，并进行车辆的自动行驶控制(自动转向控制、自动速度调整控制、自动制动控制等)，此外，也进行自动驾驶模式与手动驾驶模式之间的切换控制。

所谓自动驾驶是指通过自动驾驶控制装置50进行的控制使得车辆沿道路自动行驶，而位于驾驶座的驾驶者不进行驾驶操作。例如，根据到预先设定的目的地的路线、基于车外的状况或地图信息自动生成的行驶路线等包括使车辆自动行驶的驾驶状态。而且，当满足预先确定的自动驾驶的解除条件时，自动驾驶控制装置50可以结束(解除)自动驾驶。例如，当判断为自动驾驶中的车辆到达了预先确定的自动驾驶的结束地点时，自动驾驶控制装置50可以进行结束自动驾驶的控制。此外，当驾驶者进行了自动驾驶解除操作(例如，自动驾驶解除按钮的操作、由驾驶者进行的方向盘、加速器或制动器的操作等)时，自动驾驶控制装置50可以进行结束自动驾驶的控制。手动驾驶是指驾驶者作为进行驾驶操作的主体来使车辆行驶的驾驶。

周边监视传感器60是检测存在于车辆周边的对象物的传感器。除了汽车、自行车、人等移动物体之外，在所述对象物中，还可以包括路面标示(白线等)、护栏、中央隔离带、影响其他车辆行驶的结构物等。周边监视传感器60包括前方监视相机、后方监视相机、雷达(Radar)、激光雷达即光检测和测距或激光成像检测和测距(LIDAR)及超声波传感器中的至少一个。由周边监视传感器60检测到的对象物的检测数据被输出至自动驾驶控制装置50等。前方监视相机和后方监视相机可以采用立体相机和单眼相机等。雷达向车辆周围发送毫米波等电波，接收由存在于车辆周围的对象物反射的电波，从而检测对象物的位置、方向、距离等。激光雷达向车辆周围发送激光，接收由存在于车辆周围的对象物反射的光，从而检测对象物的位置、方向、距离等。

声音输出部61构成为包括扬声器等基于来自驾驶者状态掌握装置20的指示利用语音或声音输出各种通知等的装置。

显示部62是基于来自驾驶者状态掌握装置20等的指示，通过文字和图形显示，或者通过点亮和熄灭灯等来显示各种通知和引导的装置，构成为包括各种显示器或显示灯等。

图3是示出实施方式(1)的驾驶者状态掌握装置20的硬件结构的框图。

驾驶者状态掌握装置20构成为包括外部I/F21、控制部22及存储部26。除了相机31以外，外部I/F21构成为还能够与自动驾驶控制装置50、周边监视传感器60、声音输出部61、显示部62等自动驾驶系统1的各部连接，并且由用于在这些部分之间进行信号收发的接口电路和连接器等构成。

控制部22包括图像获取部22a、手检测部22b、物体握持状态检测部22c及速应判断部22d，还可以包括通知处理部22e。通知处理部22e是辅助执行部的一例。存储部26包括图像存储部26a、手检测方法存储部26b、物体握持状态检测方法存储部26c及判断方法存储部26d。

在图像存储部26a中，存储有由图像获取部22a获取的相机31的图像数据。在手检测方法存储部26b中，存储有由控制部22的手检测部22b执行的手检测程序和执行该程序所需的数据等。

在物体握持状态检测方法存储部26c中，存储有由控制部22的物体握持状态检测部22c执行的检测驾驶者的手握持物体的状态的物体握持状态检测程序和执行该程序所需的数据等。

在判断方法存储部26d中，存储有由控制部22的速应判断部22d执行的判断驾驶者的手是否处于能够立即操作方向盘的状态的判断程序和执行该程序所需的数据等。

控制部22是如下装置：与存储部26协作，以读取在存储部26中存储各种数据的处理和存储在存储部26中的各种数据和各种程序，并利用CPU23执行这些程序，从而实现图像获取部22a、手检测部22b、物体握持状态检测部22c、速应判断部22d及通知处理部22e等的功能。

构成控制部22的图像获取部22a进行获取由相机31拍摄的驾驶者的图像的处理，并进行将获取的图像数据存储在图像存储部26a中的处理。驾驶者的图像既可以是静止图像，也可以是动态图像。驾驶者图像的获取例如在驾驶者状态掌握装置20启动之后以预定间隔(帧速率)进行即可。

手检测部22b从图像存储部26a读取图像数据，并基于从手检测方法存储部26b读取的程序，对图像数据实施预定的图像处理，进行从图像中检测驾驶者的手的处理。驾驶者的手只要包括从手腕开始的部分即可，也可以包括手臂。

对于手检测部22b中的处理，可以采用处理由相机31拍摄的图像并检测呈现驾驶者的手的坐标及其区域的各种图像处理。例如，可以进行如下图像处理：当在相机31中使用可见光相机拍摄的图像是彩色图像时，从各像素的RGB值等颜色信息中提取肤色区域，并根据提取到的肤色区域的大小、形状等特征，检测驾驶者的手。

此外，也可以进行如下图像处理：当在相机31中使用近红外线相机，拍摄的图像是近红外线图像时，从各像素的亮度值等信息中提取与肤色对应的亮度区域，并根据提取到的亮度区域的大小、形状等特征，检测驾驶者的手。

此外，也可以进行如下图像处理：当在相机31中使用远红外线相机，拍摄的图像是远红外线图像时，基于从图像得到的驾驶者的肌肤温度信息，提取肌肤温度区域，并根据提取到的肌肤温度区域的大小、形状等特征检测驾驶者的手。此外，当在相机31中使用单眼3D相机时，可以使用由该单眼3D相机检测到的驾驶者各部位的检测位置、姿势等获取信息，检测驾驶者的手的位置。

物体握持状态检测部22c进行检测由手检测部22b检测到的驾驶者的手握持物体状态的处理，具体而言，进行检测驾驶者是否处于握持与驾驶者手动操作车辆2的装备件不同的物体的状态的处理等。由驾驶者手动操作车辆2的装备件包括方向盘5、变速杆(未图示)等。

对于物体握持状态检测部22c中的处理，可以采用处理由相机31拍摄的图像并检测驾驶者的手握持物体的状态的各种图像处理。例如，可以进行如下处理：从由相机31拍摄的图像中，检测与驾驶者的手一起活动的区域部分，即与驾驶者的手相邻的区域部分的特征，并且基于检测到的与驾驶者的手一起活动的区域部分的特征，检测驾驶者是否处于握持物体的状态。

与所述驾驶者的手一起活动的区域部分的特征既可以是该区域部分的大小、形状，也可以是颜色信息、亮度信息，此外，还可以是它们的组合。

根据该处理，检测驾驶者的手的移动，当与驾驶者手相邻的区域在驾驶者手的移动前后的颜色信息大致相同时，可以判断为该颜色信息大致相同的区域是表示驾驶者握持物体的区域，并且检测为驾驶者处于握持物体的状态。

此外，基于所述颜色信息大致相同的区域的大小或形状，可以检测驾驶者是否处于握持物体的状态。根据这种结构，当所述颜色信息大致相同的区域的大小、形状是不妨碍握持方向盘的大小或形状时，换言之，当驾驶者握持的物体较小，例如是香烟、车钥匙等小物体时，可以检测为驾驶者未握持物体的状态。

速应判断部22d进行如下处理：基于由物体握持状态检测部22c检测到的物体的握持状态，判断自动驾驶期间驾驶者的手是否处于能够立即操作车辆的方向盘的状态，即判断对方向盘操作的速应性是否高。

例如，当通过物体握持状态检测部22c检测到驾驶者双手均未握持物体的预定状态时，可以判断为对方向盘操作的速应性高。驾驶者双手均未握持物体的预定状态，例如既可以是驾驶者双手均未握持物体的状态持续预定时间的状态，也可以是驾驶者双手均未握持物体的状态在一定时间内被检测到预定次数的状态等。

所谓方向盘操作的速应性，是指当自动驾驶系统1由于某些原因而不运作、无法继续自动驾驶时，驾驶者能够操作方向盘5的迅速性。因此，方向盘操作的速应性高的状态是指，如果驾驶者想要操作方向盘，则只要能够立即操作即可，而不需要握持方向盘。

此外，当通过物体握持状态检测部22c检测到驾驶者至少单手握持物体的预定状态时，可以判断为对方向盘操作的速应性低。驾驶者至少单手握持物体的预定状态，例如既可以是驾驶者至少单手握持物体的状态持续预定时间的状态，也可以是驾驶者至少单手握持物体的状态在一定时间内被检测到预定次数的状态等。

当由速应判断部22d判断为驾驶者的手未处于能够立即操作方向盘的状态，即对方向盘操作的速应性低时，通知处理部22e进行用于在声音输出部61和显示部62上进行督促采取手能够立即操作方向盘的状态的声音输出和显示输出的通知处理。此外，通知处理部22e也可以输出通知自动驾驶控制装置50继续自动驾驶而不解除自动驾驶的信号。

图4是示出实施方式(1)的驾驶者状态掌握装置20中的控制部22进行的处理动作的流程图。这里，说明自动驾驶系统1被设定为自动驾驶模式的状态，即车辆处于以自动驾驶控制来行驶的状态。在自动驾驶模式期间，反复执行本处理动作。

首先，在步骤S1中，进行获取由相机31拍摄的驾驶者的图像数据的处理。图像数据既可以从相机31中一次一帧地获取，也可以在多个帧或一定时间段内集中获取。在接下来的步骤S2中，进行将获取的图像数据存储在图像存储部26a中的处理，然后前进到步骤S3。

在步骤S3中，读取存储在图像存储部26a中的图像数据，然后前进到步骤S4。图像数据既可以从图像存储部26a中一次一帧地读取，也可以在多个帧或一定时间段内集中读取。在步骤S4中，进行根据读取的图像数据检测驾驶者的手的处理，例如进行检测在图像中驾驶者的手的坐标位置和手的区域的处理，然后前进到步骤S5。

在步骤S4中执行的根据图像数据检测驾驶者的手的处理中，可以应用根据相机31的特性的各种图像处理。

例如，当在相机31中使用可见光相机，拍摄的图像是彩色图像时，可以从各像素的RGB值等颜色信息中提取肤色区域，并根据提取到的肤色区域的大小、形状等特征检测驾驶者的手，并且输出驾驶者的手在图像中的坐标数据或区域数据。

此外，当在相机31中使用近红外线相机，拍摄的图像是近红外线图像时，可以从各像素的亮度值等信息中提取与肤色对应的亮度区域，并根据提取到的亮度区域的大小、形状等特征检测驾驶者的手，并且输出驾驶者的手在图像中的坐标数据或区域数据。

此外，当在相机31中使用远红外线相机，拍摄的图像是远红外线图像时，可以基于从图像数据得到的驾驶者的肌肤温度信息，提取肌肤温度区域，并根据提取到的肌肤温度区域的大小、形状等特征检测驾驶者的手，并且输出驾驶者的手在图像中的坐标数据或区域数据。

此外，当在相机31中使用单眼3D相机时，可以使用由该单眼3D相机检测到的驾驶者各部位的检测位置、姿势等获取信息，检测驾驶者的手在图像中的位置，并输出检测到的数据。

在步骤S5中，判断是否检测到驾驶者的手。在步骤S5中，既可以判断是否持续预定时间而未检测到驾驶者的手，也可以判断驾驶者的手是否在一定时间内未被检测到预定次数。未检测到驾驶者的手的情况是指，由于在相机31的拍摄区域内没有驾驶者的手的状态、驾驶者的手在某个物体后面的状态等，驾驶者的手未呈现在图像上的情况。

在步骤S5中，如果判断为未检测到驾驶者的手，则前进到步骤S9。另一方面，在步骤S5中，如果判断为检测到驾驶者的手，则前进到步骤S6。在步骤S6中，进行检测驾驶者的手握持物体的状态的处理，然后前进到步骤S7。在步骤S6中执行的检测驾驶者的手握持物体的状态的处理中，也可以应用各种图像处理。这里的物体是与由驾驶者手动操作的车辆2的装备件(例如，方向盘、变速杆等)不同的物体。

例如，也可以进行如下处理：从图像中检测与驾驶者的手一起活动的区域部分(与手相邻的区域部分)的特征，并基于检测到的与驾驶者的手一起活动的区域部分的特征，检测驾驶者是否处于握持物体的状态。

与所述驾驶者的手一起活动的区域部分的特征既可以是该区域部分的大小、形状，也可以是颜色信息、亮度信息，此外，还可以是它们的组合。

例如，检测驾驶者的手的移动，当与驾驶者手相邻的区域在驾驶者的手移动前后的颜色信息和亮度信息大致相同时，可以判断为该颜色信息和亮度信息大致相同的区域是表示驾驶者握持物体的区域，并且检测为驾驶者处于握持物体的状态。此外，也可以基于驾驶者手的移动前后的所述颜色信息和亮度信息大致相同的区域的大小或形状，检测驾驶者是否处于握持物体的状态。

作为步骤S6中的检测处理的结果，在步骤S7中，判断是否检测到驾驶者至少单手握持物体的预定状态，如果判断为检测到驾驶者至少单手握持物体的预定状态，则前进到步骤S8。驾驶者至少单手握持物体的预定状态既可以是驾驶者至少单手握持物体的状态持续预定时间的状态，也可以是驾驶者至少单手握持物体的状态在一定时间内被检测到预定次数的状态。

另外，代替步骤S7的处理，也可以采用判断是否检测到驾驶者的双手均未握持物体的预定状态的处理。在这种情况下，当判断为未检测到驾驶者的双手均未握持物体的预定状态时，前进到步骤S8，另一方面，当判断为检测到驾驶者的双手均未握持物体的预定状态时，只要前进到步骤S10即可。

在步骤S8中，判断驾驶者握持的物体的大小是否为不妨碍握持方向盘的大小，即判断驾驶者握持的物体是否小，如果判断为驾驶者握持的物体不小，即为妨碍握持方向盘的大小，则前进到步骤S9。另外，步骤S8不一定是必需的，如果在步骤S7中判断为检测到驾驶者至少单手握持物体的预定状态，则也可以前进到步骤S9。

在步骤S9中，将用于判断自动驾驶期间驾驶者的手是否处于能够立即操作车辆的方向盘的状态的速应性标志f设定为0，然后前进到步骤S11。速应性标志f为0，表示未处于能够立即操作方向盘的状态，即处于对方向盘操作的速应性低的状态。

另一方面，在步骤S7中，如果判断为未检测到驾驶者至少单手握持物体的预定状态，换言之，如果判断为检测到驾驶者双手均未握持物体的状态，则前进到步骤S10。

此外，在步骤S8中，如果判断为驾驶者握持的物体的大小是不妨碍握持方向盘的大小，即驾驶者握持的物体较小，则前进到步骤S10。关于是否妨碍握持方向盘，例如也可以以驾驶者握持物体时拇指与拇指以外手指能否接触为基准。作为大小不妨碍握持方向盘的物体，例如可列举出香烟、车钥匙等可用大约两根手指握住的小物体。另一方面，作为大小妨碍握持方向盘的物体，例如可列举出汉堡包等大小等于或大于手掌的食物、塑料瓶等饮料容器、智能电话等便携式终端或者杂志、书籍等大小若不使用整个手则难以握住的物体。

在步骤S10中，将用于判断自动驾驶期间驾驶者的手是否处于能够立即操作车辆的方向盘的状态的速应性标志f设定为1，然后前进到步骤S11。速应性标志f为1，表示处于能够立即操作方向盘的状态，即处于对方向盘操作的速应性高的状态。

在步骤S11中，判断速应性标志f是否为1，如果判断为速应性标志f为1，即如果处于对方向盘操作的速应性高的状态，则结束其后处理。另外，在其他实施方式中，也可以进行用于告知驾驶者其手处于速应性高的状态的通知处理，例如以在显示部62上设置适当姿势通知灯并点亮该适当姿势通知灯。此外，也可以对自动驾驶控制装置50输出通知处于能够立即操作方向盘的状态即适于继续自动驾驶的状态的信号。

另一方面，在步骤S11中，如果判断为速应性标志f为0而不为1，即处于对方向盘操作的速应性低的状态，则前进到步骤S12。在步骤S12中，对驾驶者进行通知处理。

作为所述通知处理，既可以进行从声音输出部61输出预定声音的处理，也可以在显示部62上进行预定显示。所述通知处理是用于督促驾驶者在自动驾驶系统1发生故障等情况下，注意采取手能够立即操作方向盘的状态的处理。例如，也可以输出“请将手持的物品放下”的声音，或者进行用于督促手不要握住物体的显示。此外，在步骤S12中，也可以对自动驾驶控制装置50输出通知继续自动驾驶而不解除自动驾驶的信号。

根据上述实施方式(1)的驾驶者状态掌握装置20，通过手检测部22b从由相机31拍摄的图像中检测驾驶者的手，通过物体握持状态检测部22c检测驾驶者的手握持物体的状态，并且通过速应判断部22d，基于所述物体的握持状态，判断自动驾驶期间驾驶者的手是否处于能够立即操作车辆的方向盘的状态。由此，能够正确地掌握自动驾驶期间驾驶者的手的状态是否为能够迅速接续方向盘操作的状态，并且即使在自动驾驶期间自动驾驶系统1发生故障等情况下，也能够适当地进行辅助，使得能够迅速且顺利地进行从自动驾驶向手动驾驶的接续，特别是方向盘操作的接续。

此外，根据驾驶者状态掌握装置20，通过物体握持状态检测部22c分析图像中与驾驶者的手一起活动的区域部分的特征，因此能够正确地检测驾驶者是否处于握持与驾驶者手动操作车辆的装备件不同的物体的状态。此外，在与驾驶者的手一起活动的区域部分的大小或形状为不妨碍握持方向盘的大小或形状的情况下，也可以检测为驾驶者是未握持物体的状态，也可以进行是否处于握持对方向盘的操作有妨碍的物体的状态等符合实际方向盘操作的检测。

此外，根据驾驶者状态掌握装置20，当通过速应判断部22d检测到驾驶者是至少单手握持物体的预定状态时，判断为速应性处于低的状态。由此，可以适当地判断驾驶者未处于能够用双手立即操作方向盘的状态。

此外，根据驾驶者状态掌握装置20，当通过速应判断部22d检测到驾驶者是双手均未握持物体的预定状态时，判断为速应性处于高的状态。由此，能够正确地判断驾驶者处于能够用双手立即操作方向盘的状态。

此外，根据驾驶者状态掌握装置20，当通过速应判断部22d判断为驾驶者的手未处于能够立即操作车辆的方向盘的状态时，通过通知处理部22e进行通知驾驶者的处理。由此，即使在自动驾驶期间也保持手能够立即操作方向盘的状态，可以督促驾驶者优化手的状态。

图5是示出包括实施方式(2)的驾驶者状态掌握装置20A的自动驾驶系统1的主要部分结构的框图。对具有与图1所示自动驾驶系统1相同功能的结构部件标注相同的符号，并在这里省略其说明。

在实施方式(1)的驾驶者状态掌握系统10中，使用了相机31，而在实施方式(2)的驾驶者状态掌握系统10A中，有很大区别的点是装备有相机31以及方向盘传感器32。

图6是示出搭载有实施方式(2)的驾驶者状态掌握系统10A的车辆2的驾驶座周边的侧视图。

方向盘传感器32只要是设置于车辆2的方向盘5且能够检测触摸到方向盘5的手的传感器即可，没有特别限定。方向盘传感器32例如，既可以是静电电容式传感器、压力传感器等，也可以是从触摸到方向盘5的手检测心跳或脉搏等生物体信息的生物体传感器等。

所述静电电容式传感器是检测设置于方向盘5的电极部与手之间产生的静电容量的变化，并检测对方向盘5的接触的传感器。所述压力传感器是根据设置于方向盘5的电极部与检测部的接触面积(电阻值)的变化，检测握持方向盘5时的压力，并检测对方向盘5的接触的传感器。方向盘传感器32可以在方向盘5的圆周上或辐条部分上设置多个，使得也能够检测手与方向盘5的接触位置。由方向盘传感器32检测到的信号被输出到驾驶者状态掌握装置20A。

图7是示出实施方式(2)的驾驶者状态掌握装置20A的硬件结构的框图。另外，对具有与图3所示的驾驶者状态掌握装置20相同功能的结构部件标注相同的符号，并在这里省略其说明。

实施方式(2)的驾驶者状态掌握装置20A与实施方式(1)的驾驶者状态掌握装置20的不同之处在于，控制部22A还具备传感器信号获取部22f、方向盘握持状态检测部22g及信息获取部22i，伴随追加的这些部件，由速应判断部22h及通知处理部22j执行的处理也不同。

控制部22A构成为包括图像获取部22a、手检测部22b、物体握持状态检测部22c、传感器信号获取部22f、方向盘握持状态检测部22g、速应判断部22h、信息获取部22i及通知处理部22j。通知处理部22j是辅助执行部的一例。存储部26A构成为包括图像存储部26a、手检测方法存储部26b、物体握持状态检测方法存储部26c及判断方法存储部26e。

在图像存储部26a中，存储有由图像获取部22a获取的相机31的图像数据。在手检测方法存储部26b中，存储有由控制部22A的手检测部22b执行的手检测程序和执行该程序所需的数据等。在物体握持状态检测方法存储部26c中，存储有由控制部22A的物体握持状态检测部22c执行的物体握持状态检测程序和执行该程序所需的数据等。

在判断方法存储部26e中，存储有由控制部22A的速应判断部22h执行的判断驾驶者的手是否处于能够立即操作方向盘的状态的判断程序和执行该程序所需的数据等。

构成控制部22A的图像获取部22a进行获取由相机31拍摄的驾驶者的图像的处理，并进行将获取的图像数据存储在图像存储部26a中的处理。

手检测部22b从图像存储部26a读取图像数据，基于从手检测方法存储部26b读取的程序，对图像数据实施预定的图像处理，并进行检测图像中的驾驶者的手的处理。

物体握持状态检测部22c进行检测由手检测部22b检测到的驾驶者的手握持物体的状态的处理，例如进行检测驾驶者是否处于握持物体的状态的处理等。

传感器信号获取部22f进行获取由方向盘传感器32检测到的传感器信号的处理。方向盘握持状态检测部22g基于由传感器信号获取部22f获取的传感器信号，进行检测驾驶者握持方向盘的状态的处理。另外，方向盘的握持状态不仅可以包括用手握住方向盘的状态，而且可以包括手与方向盘接触(手附着到方向盘)的状态。

速应判断部22h基于由物体握持状态检测部22c检测到的物体的握持状态及由方向盘握持状态检测部22g检测到的方向盘的握持状态，进行判断在自动驾驶期间驾驶者的手是否处于能够立即操作方向盘的状态的处理。

例如，当通过方向盘握持状态检测部22g检测到未握持方向盘的状态，且通过物体握持状态检测部22c检测到驾驶者双手均未握持物体的状态时，也可以判断为在自动驾驶期间驾驶者处于能够立即操作方向盘的状态。

此外，当通过方向盘握持状态检测部22g检测到未握持方向盘的状态，且通过物体握持状态检测部22c检测到驾驶者至少单手握持物体的状态时，也可以判断为在自动驾驶期间驾驶者未处于能够立即操作方向盘的状态。

此外，当通过方向盘握持状态检测部22g检测到方向盘被双手握持的状态时，与物体握持状态检测部22c的检测状态无关，可以判断为在自动驾驶期间驾驶者处于能够立即操作方向盘的状态。

信息获取部22i从自动驾驶系统1的各部获取自动驾驶期间的信息。该自动驾驶期间的信息包括由周边监视传感器60检测到的车辆周围的监视信息及从自动驾驶控制装置50发送的从自动驾驶向手动驾驶的接续请求信息中的至少任意一个。

当由速应判断部22h判断为驾驶者未处于能够立即操作方向盘的状态时，通知处理部22j根据由信息获取部22i获取的自动驾驶期间的信息，在声音输出部61和显示部62上进行用于督促采取手能够立即操作方向盘的状态的声音输出和显示输出的处理。此外，通知处理部22j也可以不对自动驾驶控制装置50解除自动驾驶，输出通知继续自动驾驶的信号。

图8是示出实施方式(2)的驾驶者状态掌握装置20A中的控制部22A进行的处理动作的流程图。与图4所示流程图的处理动作的不同之处在于，在步骤S6与步骤S7之间插入步骤S21、S22，代替步骤S12而插入到步骤S31～S36。对与图4所示流程图的处理动作相同内容的处理动作标注相同的符号，并省略其说明。

首先，在步骤S1中，进行获取由相机31拍摄的驾驶者的图像的处理，在接下来的步骤S2中，进行将获取的图像存储在图像存储部26a中的处理。在步骤S3中，从图像存储部26a读取图像，在接下来的步骤S4中，进行根据读取的图像数据检测驾驶者的手的处理，然后前进到步骤S5。

在步骤S5中，判断是否检测到驾驶者的手。在步骤S5中，如果判断为未检测到驾驶者的手，则前进到步骤S9，另一方面，在步骤S5中，如果判断为检测到驾驶者的手，则前进到步骤S6。在步骤S6中进行检测驾驶者的手握持物体的状态的处理，然后前进到步骤S21。

在步骤S21中，进行从方向盘传感器32获取传感器信号的处理，在接下来的步骤S22中，基于获取的传感器信号，判断是否双手握持方向盘。当传感器信号是表示存在两处接触位置的信号时，判断为双手握持方向盘。

在步骤S22中，当判断为未双手握持方向盘，即单手握持或双手均未握持时，前进到步骤S7。

在步骤S7中，对步骤S6中的检测处理的结果判断是否检测到驾驶者为至少单手握持物体的预定状态，如果判断为检测到驾驶者为至少单手握持物体的预定状态，则前进到步骤S8。

在步骤S8中，判断驾驶者握持的物体的大小是否为不妨碍握持方向盘的大小，即，驾驶者握持的物体是否小，如果判断为驾驶者握持的物体不小，即，为不妨碍握持方向盘的大小，则前进到步骤S9。另外，步骤S8不一定是必需的，如果在步骤S7中判断为检测到驾驶者至少单手握持物体的预定状态，则也可以前进到步骤S9。

在步骤S9中，将速应性标志f设定为0，然后前进到步骤S11。速应性标志f为0表示未处于能够立即操作方向盘的状态，即处于对方向盘操作的速应性低的状态。

另一方面，在步骤S22中，当判断为双手握持方向盘时，前进到步骤S10。

此外，在步骤S7中，如果判断为检测到驾驶者至少单手握持物体的预定状态，换言之，检测到驾驶者双手均未握持物体的状态，则前进到步骤S10。

进一步地，在步骤S8中，如果判断为驾驶者握持的物体的大小是不妨碍握持方向盘的大小，即，驾驶者握持的物体较小，则前进到步骤S10。

在步骤S10中，将速应性标志f设定为1，然后前进到步骤S11。速应性标志f为1表示处于能够立即操作方向盘的状态，即处于对方向盘操作的速应性高的状态。

在步骤S11中，判断速应性标志f是否为1，如果判断为速应性标志f为1，即处于对方向盘操作的速应性高的状态，则然后结束处理。另一方面，在步骤S11中，如果判断为速应性标志f为0而不为1，即处于对方向盘操作的速应性低的状态，则前进到步骤S31。

在步骤S31中，从自动驾驶系统1获取信息，前进到步骤S32。所述信息包括由周边监视传感器60检测到的周边监视信息、从自动驾驶控制装置50输出的向手动驾驶的接续请求信息。该接续请求信息包括例如，系统的异常(故障)发生信号、系统的功能限制信号或者进入接续区间的信号等。

在步骤S32中，基于从周边监视传感器60获取的周边监视信息，判断车辆周围是否是安全状态。在步骤S32中，如果判断为车辆周围未是安全状态，例如获取到在车辆周围(前方、侧方及后方中的任意一个)的一定范围内检测到其他车辆、人、其他障碍物的信息、其他车辆急速接近的信息、在狭窄道路的急转弯等设想限制系统功能的道路上行驶的信息等，则前进到步骤S34的重度通知处理。在步骤S34中，进行重度通知处理，以便迅速采取手能够立即操作方向盘的状态，然后结束处理。在重度通知处理中，优选地组合显示和声音进行通知。此外，也可以组合向驾驶座等赋予振动等通过显示和声音以外的通知。此外，在步骤S34中，也可以不对自动驾驶控制装置50解除自动驾驶，而输出通知继续自动驾驶的信号。

另一方面，在步骤S32中，如果判断为车辆周围是安全状态，则前进到步骤S33。在步骤S33中，判断是否从自动驾驶控制装置50获取向手动驾驶的接续请求信息，即是否有接续请求。

在步骤S33中，如果判断为没有接续请求，则前进到步骤S35的轻度通知处理。在步骤S35中，进行轻度通知处理，以便采取手能够握持方向盘的状态，然后结束处理。在轻度通知处理中，优选仅进行显示的通知等对驾驶者来说较温和的通知，以实现自动驾驶与驾驶者之间的协调。

另一方面，在步骤S33中，如果判断为有接续请求，则前进到步骤S36。在步骤S36中，通过声音和显示进行接续的通知，以便立即握持方向盘而接续驾驶，结束该处理。

根据上述实施方式(2)的驾驶者状态掌握装置20A，基于由物体握持状态检测部22c检测到的物体的握持状态及由方向盘握持状态检测部22g检测到的方向盘的握持状态，判断在自动驾驶期间驾驶者是否处于能够立即操作方向盘的状态。由此，能够防止将握持方向盘的状态误检测为握持除方向盘以外的其他物体的状态，能够高精度地判断驾驶者是否处于握持除方向盘以外的物体的状态。其结果，能够提高判断在自动驾驶期间驾驶者的手是否处于能够立即操作方向盘的状态的准确性。

此外，根据驾驶者状态掌握装置20A，通过通知处理部22j，根据由信息获取部22i获取的自动驾驶期间的信息，对驾驶者进行通知处理。当获取到表示车辆周围未是安全状态的周边监视信息时，能够提高由通知处理部22j进行的通知的等级，通过重度通知引起强烈的注意，以便采取手能够立即接续方向盘操作的状态。此外，在车辆周围安全且没有接续请求的状态下，通过轻度通知，能够易于督促驾驶者优化手的状态。此外，当有接续请求时，可以通知驾驶者立即采取接续姿势。

由此，根据自动驾驶系统1的状况，可以无需对驾驶者进行不必要的各种通知，并减少该通知所需的电力和处理。此外，在系统发生故障时或限制系统运作时，或者在请求接续手动驾驶时等，能够缩短驾驶者握持方向盘直到完成接续驾驶操作为止的应对时间，能够迅速且顺利地进行接续。此外，根据自动驾驶系统1的状况，可以对驾驶者进行简单、适当的通知。

另外，在实施方式(1)的驾驶者状态掌握装置20中设置信息获取部22i，代替图4的步骤S12，也可以执行与图8的步骤S31～S36相同的处理，即根据由信息获取部22i获取的自动驾驶期间的信息执行对驾驶者的各种通知处理等对驾驶者的辅助。

此外，上述实施方式(2)的驾驶者状态掌握装置20A构成为从方向盘传感器32获取传感器信号，基于获取的传感器信号检测方向盘的握持状态，但在其他实施方式中，也可以在不设置方向盘传感器32的情况下，从由相机31拍摄的图像中检测驾驶者是否处于握持方向盘的状态。

例如，当方向盘呈现在由相机31拍摄的图像上时，只要基于肌肤的颜色信息、亮度信息等检测方向盘上的手即可。此外，当方向盘未呈现在图像上时，也可以根据驾驶者的手臂是否沿方向盘的某个方向延伸等图像信息，检测是否握持方向盘。

Claims (14)

1.一种驾驶者状态掌握装置，用于掌握具备自动驾驶系统的车辆的驾驶者状态，其特征在于，所述驾驶者状态掌握装置具备：

图像获取部，获取由拍摄所述驾驶者的相机拍摄到的图像；

手检测部，从由所述图像获取部获取的所述图像中检测所述驾驶者的手；

物体握持状态检测部，检测由所述手检测部检测到的所述驾驶者的手对物体的握持状态；以及

速应判断部，基于由所述物体握持状态检测部检测到的所述物体的握持状态，判断在自动驾驶期间所述驾驶者的手是否处于能够立即操作所述车辆的方向盘的状态，

所述物体是由所述驾驶者用手操作的与所述车辆的装备件不同的物体。

2.根据权利要求1所述的驾驶者状态掌握装置，其特征在于，

所述物体握持状态检测部从所述图像中检测与所述驾驶者的手一起活动的区域部分的特征，并且基于从所述图像中检测到的与所述驾驶者的手一起活动的区域部分的特征，检测所述驾驶者是否处于握持所述物体的状态。

3.根据权利要求1或2所述的驾驶者状态掌握装置，其特征在于，

当通过所述物体握持状态检测部检测到所述驾驶者是双手均未握持所述物体的预定状态时，所述速应判断部判断为在自动驾驶期间所述驾驶者处于能够立即操作所述方向盘的状态。

4.根据权利要求1或2所述的驾驶者状态掌握装置，其特征在于，

当通过所述物体握持状态检测部检测到所述驾驶者是至少单手握持所述物体的预定状态时，所述速应判断部判断为在自动驾驶期间所述驾驶者未处于能够立即操作所述方向盘的状态。

5.根据权利要求1或2所述的驾驶者状态掌握装置，其特征在于，

当通过所述物体握持状态检测部检测到所述物体的握持状态时，所述速应判断部基于所述物体的大小，判断在自动驾驶期间所述驾驶者的手是否处于能够立即操作所述车辆的方向盘的状态。

6.根据权利要求1或2所述的驾驶者状态掌握装置，其特征在于，

所述驾驶者状态掌握装置具备方向盘握持状态检测部，所述方向盘握持状态检测部检测所述驾驶者对所述方向盘的握持状态，

所述速应判断部基于由所述物体握持状态检测部检测到的所述物体的握持状态及由所述方向盘握持状态检测部检测到的所述方向盘的握持状态，判断在自动驾驶期间所述驾驶者是否处于能够立即操作所述方向盘的状态。

7.根据权利要求6所述的驾驶者状态掌握装置，其特征在于，

所述驾驶者状态掌握装置具备传感器信号获取部，所述传感器信号获取部从设置于所述方向盘的传感器获取基于所述驾驶者的手的接触的传感器信号，

所述方向盘握持状态检测部基于由所述传感器信号获取部获取的所述传感器信号，检测所述驾驶者对所述方向盘的握持状态。

8.根据权利要求6所述的驾驶者状态掌握装置，其特征在于，

所述方向盘握持状态检测部从所述图像中，检测所述驾驶者对所述方向盘的握持状态。

9.根据权利要求1或2所述的驾驶者状态掌握装置，其特征在于，

所述驾驶者状态掌握装置具备辅助执行部，当通过所述速应判断部判断为所述驾驶者的手未处于能够立即操作所述方向盘的状态时，所述辅助执行部执行对所述驾驶者的辅助。

10.根据权利要求9所述的驾驶者状态掌握装置，其特征在于，

所述驾驶者状态掌握装置具备从所述自动驾驶系统获取自动驾驶期间的信息的信息获取部，

所述辅助执行部基于所述速应判断部的判断结果和由所述信息获取部获取的所述自动驾驶期间的信息，进行针对所述驾驶者的通知处理。

11.根据权利要求10所述的驾驶者状态掌握装置，其特征在于，

所述自动驾驶期间的信息中包含用于判断所述车辆周围是否是安全状态的信息，

在通过所述速应判断部判断为所述驾驶者的手未处于能够立即操作所述方向盘的状态时，所述辅助执行部根据所述车辆周围是否是安全状态，改变用于督促所述驾驶者采取恰当的手的状态的通知等级来进行通知处理。

12.根据权利要求10所述的驾驶者状态掌握装置，其特征在于，

所述自动驾驶期间的信息中包含从自动驾驶转到手动驾驶的接续请求信息，

当通过所述速应判断部判断为所述驾驶者的手未处于能够立即操作所述方向盘的状态且通过所述信息获取部获取到所述接续请求信息时，所述辅助执行部进行用于督促所述驾驶者接续方向盘操作的通知处理。

13.一种驾驶者状态掌握系统，其特征在于，具备：

权利要求1至12中任一项所述的驾驶者状态掌握装置；以及

相机，拍摄所述驾驶者。

14.一种驾驶者状态掌握方法，用于掌握具备自动驾驶系统的车辆的驾驶者状态，其特征在于，

所述驾驶者状态掌握方法包括以下步骤：

获取由拍摄所述驾驶者的相机拍摄到的图像；

将获取的所述图像存储在所述存储部中；

从所述图像存储部读取所述图像；

从读取的所述图像中检测所述驾驶者的手；

检测所检测到的所述驾驶者的手对物体的握持状态；以及

基于检测到的所述物体的握持状态，判断在自动驾驶期间所述驾驶者的手是否处于能够立即操作所述车辆的方向盘的状态，

所述物体是由所述驾驶者用手操作的与所述车辆的装备件不同的物体。