CN111710190A - 驾驶员的驾驶不能状态检测装置 - Google Patents

Abstract

驾驶员的驾驶不能状态检测装置具备：头部检测部(61)，其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部；以及出画状态检测部(71)，其在车辆(10)的行驶中，由头部检测部(61)检测出的头部从图像的规定范围脱离的情况下，检测驾驶员为驾驶不能状态。驾驶员的驾驶不能状态检测装置具备头部检测部(61)、根据由头部检测部(61)检测出的头部的位置来获取头部的轨迹的轨迹获取部(62)、以及出画状态检测部(71)。

Description

驾驶员的驾驶不能状态检测装置

本申请是国家申请号为201580033574.1，进入中国国家阶段日期为2016年12月21日，发明名称为“驾驶员的驾驶不能状态检测装置”的发明专利申请的分案申请。

技术领域

本申请是基于2014年6月23日申请的日本国专利申请2014-128387号、2015年2月16日申请的日本国专利申请2015-28001号的申请，在此通过参照引用其记载内容。

本公开涉及检测驾驶员成为驾驶不能的状态的驾驶员的驾驶不能状态检测装置。

背景技术

存在在车辆的驾驶中，在驾驶员因急病等陷入驾驶不能状态的情况下，导致事故的可能性。因此，提出检测这样的驾驶员的驾驶不能状态，防止事故。

在专利文献1所记载的紧急避让装置中，从驾驶员的拍摄图像识别驾驶员的视线信息、眨眼信息、脸朝向信息等，并且测量驾驶员的心率信息、呼吸信息、脑波信息等。并且，在专利文献1所记载的装置中，使用获取的各种信息来识别驾驶员的意识的降低度、清醒度、姿势等驾驶员的状态，并在驾驶员的状态降低的情况下，进行紧急避让支援。

本申请发明者们发现，由于专利文献1所记载的装置获取各种信息来识别驾驶员的状态，因此，用于检测驾驶员的驾驶不能状态的处理较复杂。

专利文献1：日本公开专利公报2014-19301号

本公开的主要目的在于提供一种能够简单地检测驾驶员成为驾驶不能状态的驾驶员的驾驶不能状态检测装置。

发明内容

根据本公开的第一方式，驾驶员的驾驶不能状态检测装置具备：头部检测部，其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部；以及出画状态检测部，其在上述车辆的行驶中，由上述头部检测部检测出的上述头部从上述图像的规定范围脱离的情况下，检测上述驾驶员为驾驶不能状态。

根据驾驶员的驾驶不能状态检测装置，基于拍摄驾驶席得到的图像来逐次检测驾驶员的头部。在驾驶员正常驾驶车辆的情况下，驾驶员的头部收纳于驾驶席的图像的规定范围的情况较多。与此相对，若急病病发导致驾驶员失去意识，则存在驾驶员的头部从规定范围脱离的情况。由此，通过在头部从规定范围脱离的情况下，检测驾驶员为驾驶不能状态，能够简单地检测驾驶员的驾驶不能状态。

根据本公开的第二方式，驾驶员的驾驶不能状态检测装置具备：头部检测部，其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部；轨迹获取部，其根据由上述头部检测部检测出的上述头部的位置来获取上述头部的轨迹；以及状态检测部，其基于由上述轨迹获取部获取的上述轨迹来检测上述驾驶员为驾驶不能状态。

根据驾驶员的驾驶不能状态检测装置，基于拍摄驾驶席得到的图像来逐次检测驾驶员的头部，并且根据检测出的头部的位置来获取头部的轨迹。若急病病发而成为驾驶员的驾驶不能状态，则驾驶员的头部从驾驶时的位置移动，不返回至驾驶时的位置的情况较多。因而，能够简单地基于驾驶员的头部的轨迹来检测驾驶员的驾驶不能状态。

附图说明

关于本公开的上述以及其他的目的、特征、优点，根据参照附图的下述详细的说明变得更加明确。在附图中，

图1是表示驾驶不能状态检测装置的构成的框图。

图2是表示搭载驾驶不能状态检测装置的车室内的图。

图3是表示搭载驾驶不能状态检测装置的车辆的驾驶席的图。

图4是表示控制装置的功能的框图。

图5A是表示通常驾驶时的姿势的图。

图5B是表示急病病发，发生姿势走形(FA内)时的姿势的图。

图5C是表示急病病发，发生姿势走形(FA外)时的姿势的图。

图6是表示取物品时的姿势的图。

图7A是表示通常驾驶时的姿势的图。

图7B是表示急病病发时的姿势的图。

图8是表示往旁边看时的姿势的图。

图9是表示取物品时的姿势的图。

图10A是表示通常驾驶时的脸朝向的图。

图10B是表示急病病发时的脸朝向的图。

图11是表示往旁边看时的脸朝向的变化的图。

图12是表示伴随外力的产生的头部的摆动的图。

图13是表示判断为驾驶不能状态的头部的摆动的振幅范围的图。

图14A是表示通常驾驶时的表情的图。

图14B是表示急病病发时的表情的图。

图15A是表示通常的状态的图。

图15B是表示翻白眼的状态的图。

图15C是表示完全翻白眼的状态的图。

图16A是表示检测驾驶不能状态的处理顺序的流程图。

图16B是图16A的后续，是表示检测驾驶不能状态的处理顺序的流程图。

图17是表示检测姿势走形的处理顺序的子流程。

图18是表示向驾驶员报告姿势走形等级的形态的图。

图19是表示变形例一所涉及的出画判断的屏幕的范围的图。

图20是表示变形例二所涉及的出画判断的屏幕的范围的图。

图21是表示变形例三所涉及的出画判断的屏幕的范围的图。

图22是表示变形例四所涉及的出画判断的屏幕的范围的图。

图23是表示第二实施方式所涉及的出画判断的屏幕的范围以及判断时间的图。

具体实施方式

以下，参照附图对将驾驶员的驾驶不能状态检测装置具体化的实施方式进行说明。应予说明，在本实施方式中，驾驶员的驾驶不能状态包括：驾驶员急病病发失去意识，不能够进行驾驶操作的状态；以及驾驶员心脏病发作等急病病发，虽然有意识但由于不能够使身体动作而不能够进行驾驶操作的状态。应予说明，在以下的各实施方式相互中，对相互同一或等同的部分在图中标注相同符号，对于同一符号的部分引用其说明。

(第一实施方式)

首先，参照图1～3对本实施方式所涉及的检测装置100(驾驶员的驾驶不能状态检测装置)的构成进行说明。检测装置100具备控制装置50、驾驶员状态识别装置20、车辆信息识别装置30、行驶环境识别装置40、HMI(Human Machine Interface)80、以及存储装置52，检测驾驶员的驾驶不能状态。并且，检测装置100在向驾驶员确认驾驶员是驾驶不能状态并没有响应的情况下，将使车辆安全停止的指令发送给车辆控制装置90。

驾驶员状态识别装置20具备多个驾驶员摄像机21、安全带传感器22、以及座面传感器23。驾驶员摄像机21与拍摄装置对应，安全带传感器22与量检测部对应，座面传感器23与座压检测部对应。驾驶员摄像机21例如是CCD摄像机，拍摄被近红外LED等照明装置照射的驾驶席。驾驶员摄像机21如图2以及3所示那样，分别朝向驾驶员搭载于仪表盘14、后视镜16的下端的大致中央、左右的A支柱17。也可以代替仪表盘14，在仪表台13上(以虚线表示)、转向柱设置驾驶员摄像机21。另外，也可以代替后视镜16的下端，设置于后视镜16的左端、右端(以虚线表示)。这4个驾驶员摄像机21构成驾驶员状态监视器，从正面侧1秒拍摄数十个坐在驾驶席的座椅11上的驾驶员的上半身图像。

安全带传感器22是检测安全带12的抽出量的传感器。具体地说，安全带传感器22是检测进行安全带12的送出以及卷绕的马达的旋转角度的编码器。座面传感器23是检测驾驶席的座椅11的座部11a的压力分布的传感器。

车辆信息识别装置30具备车速传感器31、舵角传感器32、加速器传感器33、以及制动器传感器34。车速传感器31是检测车辆10的速度的传感器。舵角传感器32是检测方向盘15的操舵角的传感器。加速器传感器33是检测加速器开度即加速器踏板的操作量的传感器。制动器传感器34是检测制动器踏板的操作量的传感器。

行驶环境识别装置40具备前方、后方摄像机41、前方、后方传感器42、车辆导航装置43、以及G传感器44。前方、后方摄像机41是拍摄包括道路的白线的车辆10的前方的摄像机、拍摄车辆10的后方以及后侧方的摄像机。前方、后方传感器42是超声波传感器、激光雷达、毫米波雷达等传感器，检测车辆10的前方、后方的物体，获取车辆10与前方、后方的物体的距离。基于由前方、后方传感器42获取的车辆10与前方车辆、后方车辆的距离，能够计算出与前方车辆、后方车辆的相对速度。

车辆导航装置43使用由GPS接收机接收到的GPS信号、由包括G传感器的各种传感器获取的信息计算出车辆10的当前位置，并计算出从当前位置至目的地的引导路径。G传感器44例如设置于座椅11，是检测车辆10的前后、左右、上下的三维的加速度的传感器。另外，G传感器44也可以是车辆导航装置43具备的传感器，在车辆10具备车辆运行管理系统(AVOS)的情况下，G传感器44也可以是AVOS具备的传感器。即，在有以其它的用途设置的装置、系统的情况下，共享G传感器44即可。

控制装置50是具备CPU、ROM、RAM以及I/O等的微型计算机，从驾驶员状态识别装置20、车辆信息识别装置30、行驶环境识别装置40、存储装置52、以及HMI80获取各种信息。控制装置50与各种装置通过CAN等有线通信、LAN、Bluetooth(注册商标)等无线通信连接。另外，控制装置50通过CPU执行存储于ROM的各种程序来实现图像解析部60、学习部51、状态检测部70的功能，检测驾驶员的驾驶不能状态。后面叙述关于各部的详细的说明。

HMI80(姿势报告部，确认部)具备显示器81、扬声器82、以及取消开关83。显示器81是车辆导航装置43的显示器、设置在仪表盘14内的车载显示器。显示器81也可以是具备液晶面板、有机EL面板的触摸显示器。显示器81基于从图像检测出的驾驶员的姿势报告驾驶员的姿势的走形程度。详细而言，显示器81以5个等级显示驾驶员的姿势的状态。走形程度最高的姿势走形等级5是驾驶员急病病发而不能够维持驾驶姿势的状态，即被判断为驾驶不能状态的等级。由于驾驶员能够观察显示于显示器81的姿势的状态，确认自己的驾驶姿势，因此，在姿势走形等级接近5的情况下，能够在被判断为驾驶不能状态前修正驾驶姿势。

扬声器82是与车辆导航装置43、音频装置等共用的车载扬声器。扬声器82在检测到驾驶员的驾驶不能状态的情况下，通过声音向驾驶员确认是否是驾驶不能状态。应予说明，显示器81也可以显示确认驾驶不能状态的画面。另外，扬声器82也可以通过声音报告驾驶员的姿势走形等级。

取消开关83是中止驾驶不能状态的检测的开关。若取消开关83被操作1次，则在1个单行程的期间，驾驶不能状态的检测被中止。另外，在单行程中操作了取消开关83的情况下，在操作取消开关83的期间、或者从操作开始经由一定时间(几秒左右)，驾驶不能状态的检测被中止。因而，在驾驶员进行取物品的动作时，若预先操作取消开关83，则即使驾驶员的姿势走形，也不存在误检测为是驾驶不能状态的可能性。

接下来，参照图4对控制装置50实现的各种功能进行说明。图像解析部60包括头部检测部61、轨迹获取部62、痉挛检测部63、倾斜检测部64、脸朝向检测部65、眼白检测部66。

头部检测部61基于由驾驶员摄像机21拍摄的驾驶席的图像逐次检测比驾驶员的脖子靠上的头部。详细而言，头部检测部61在每次由驾驶员摄像机21拍摄驾驶席的图像时，从驾驶席的图像提取表现驾驶员的头部的轮廓的边缘，并检测被提取出的边缘围起的区域作为头部。

轨迹获取部62根据由头部检测部61逐次检测出的驾驶员的头部的位置获取驾驶员的头部的轨迹。轨迹获取部62例如将在各图像中检测出的驾驶员的头部的中心作为头部的位置，并将各图像中的头部的位置相连来获取头部的轨迹。

痉挛检测部63检测驾驶员的痉挛，即检测比驾驶员的头部以及脖子靠下的躯体部的肌肉的不自主的收缩。详细而言，痉挛检测部63在各图像中提取表现驾驶员的头部以及躯体部的轮廓的边缘，在连续的图像中提取出的边缘规则性(周期性)地振动的情况下，检测出驾驶员痉挛。

倾斜检测部64基于驾驶席的图像来检测相对于驾驶员的躯体部的头部的倾斜θ。详细而言，倾斜检测部64检测被表现头部以及躯体部的轮廓的边缘围起的区域分别作为头部以及躯体部，并且检测头部以及躯体部的中心轴线。并且，倾斜检测部64将相对于躯体部的中心轴线的头部的中心轴线的倾斜作为头部的倾斜θ。对于躯体部的中心轴线，进行预先准备的躯体部的朝向的图案与检测出的躯体部的朝向的匹配来确定躯体部的朝向，并根据确定了朝向的躯体部来检测。另外，对于头部的中心轴线，提取头部所包括的脸的眼睛、鼻、嘴等特征点，并根据脸的特征点的三维的配置来检测。在头部向前方倾斜的情况下，脸的特征点与车辆前方的距离接近，在头部后仰的情况下，脸的特征点与车辆前方的距离远离。在检测头部的中心轴线时，也可以使用车辆的前后方向的脸的特征点的距离。

或者，倾斜检测部64从驾驶席的图像检测驾驶席的安全带12，并根据安全带12与头部的位置关系检测相对于躯体部的头部的倾斜θ。由于驾驶员的躯体部被安全带12拘束，因此，能够根据安全带12的位置推断出躯体部的位置。

脸朝向检测部65基于驾驶席的图像来检测相对于车辆10的前方的驾驶员的脸的朝向。脸朝向检测部65检测相对于与车辆10的前面对置的垂直平面的脸面的倾斜作为脸朝向。

]眼白检测部66包括表情检测部67以及眼白程度计算部68，检测驾驶员翻白眼的状态。在此，翻白眼的状态不限于图15C所示那样完全翻白眼的状态，也包括图15B所示那样眼黑区域比规定量小的状态。即，翻白眼的状态是指由于眼黑偏斜导致视野比规定范围窄的状态。

表情检测部67基于驾驶席的图像来检测驾驶员的眼睛的轮廓以及眼黑区域。在此，驾驶员的眼睛的轮廓是眼睑与眼睛的分界线。另外，眼黑区域是在眼睛的轮廓的内侧的区域，与眼白相比明度较低的区域，并不局限于黑色，是带有蓝色、茶色、灰色等颜色的区域。另外，表情检测部67根据提取出的表现嘴的轮廓的边缘来检测驾驶员的嘴的张开。

眼白程度计算部68基于由表情检测部67检测出的眼睛的轮廓以及眼黑区域来计算驾驶员的眼睛的眼白程度。

具体地说，眼白程度计算部68根据被眼睛的轮廓围起的区域的纵向的长度Lw+Lb与眼黑区域的纵向的长度Lb的比来计算眼白程度(参照图15A至图15C)。相对于长度Lw+Lb的长度Lb越小，眼白程度越大。或者，眼白程度计算部68基于从眼睛的轮廓的上部至眼黑区域的最下部的距离Lb来计算眼白程度。距离Lb越小，眼白程度越大。或者，眼白程度计算部68基于从被眼睛的轮廓围起的眼睛整体的区域的面积去除眼黑区域的面积而得的眼白区域的面积与眼黑区域的面积的比来计算眼白程度。相对于眼白区域的面积的眼黑区域的面积越小，眼白程度越大。

或者，眼白程度计算部68基于眼黑区域的扁平率来计算眼白程度。在翻白眼的状态，由于眼黑区域朝向上侧，因此，眼黑区域的扁平率在外观上变大，眼黑区域的扁平率越大，眼白程度越大。或者，眼白程度计算部68基于从成为被眼睛的轮廓围起的区域的纵向的中心的中心线至眼黑区域的最下部的距离Lc来计算眼白程度。

学习部51在驾驶员不是驾驶不能状态的情况下，学习由倾斜检测部64检测出的头部的倾斜θ。另外，学习部51在驾驶员不是驾驶不能状态的情况下，学习由脸朝向检测部65检测出的脸的朝向。并且，学习部51在驾驶员不是驾驶不能状态的情况下，学习由头部检测部61检测出的头部的摆动的振幅。即，学习部51学习驾驶员的驾驶姿势的癖好。在驾驶车辆10的驾驶员有多人的情况下，按照各驾驶员学习驾驶姿势的癖好。

状态检测部70包括出画状态检测部71、姿势走形状态检测部72、朝向走形状态检测部73、摆动状态检测部74、以及眼白状态检测部75。

出画状态检测部71在车辆10的行驶中判断出画，在出画的情况下，检测驾驶员为驾驶不能状态。详细而言，出画状态检测部71在由头部检测部61检测出的驾驶员的头部从图像的范围FA脱离的情况下，检测检测驾驶员为驾驶不能状态。在此，范围FA是由驾驶员摄像机21拍摄的图像中的规定的范围。在通常的驾驶时，不存在驾驶员的头部从范围FA脱离的情况。也可以使范围FA为被拍摄的图像的整体。

在驾驶员正常驾驶车辆10的情况下，即使如图6所示那样，驾驶员进行取物品的动作，驾驶员的头部也多收纳于图像的范围FA。与此相对，若急病病发，驾驶员失去意识，则如图5A至图5C所示那样，存在驾驶员的头部从范围FA脱离的情况。因而，出画状态检测部71在驾驶员的头部从图像的范围FA脱离的情况下检测驾驶员为驾驶不能状态。

此时，出画状态检测部71若考虑在头部从范围FA脱离前由轨迹获取部62获取的轨迹，则能够使检测驾驶员的驾驶不能状态的精度提高。由于通过使用头部的轨迹能够辨别由图像的不清晰等导致在范围FA内检测不到驾驶员的头部的情况、和驾驶员的头部移动而在范围FA内检测不到的情况，因此，驾驶员的驾驶不能状态的检测精度提高。

此外，在驾驶员暂时使头部移动的情况、由于图像的不清晰等导致成为头部的无法检测的情况下，在轨迹的最终位置附近能够再次检测到头部的情况较多。因而，在由头部检测部61检测不到头部的情况下，头部检测部61在由轨迹获取部62获取的轨迹的最终位置附近搜索。这样，即使在驾驶员的头部成为无法检测的情况下，也能够使用头部的轨迹来高效地进行再次的头部检测。

姿势走形状态检测部72在车辆10的行驶中进行驾驶员的姿势走形的判断，在姿势走形的情况下，检测驾驶员为驾驶不能状态。详细而言，姿势走形状态检测部72在由倾斜检测部64检测到的头部的倾斜θ比阈值Th1(相对倾斜阈值)大的情况下，检测驾驶员为驾驶不能状态。

通常，由于驾驶员的躯体部被驾驶席的座椅11、安全带12拘束，因此，即使驾驶员失去意识，躯体部也比较不易动作。另一方面，由于驾驶员的头部不被拘束的情况较多，因此，需要以驾驶员的意思维持头部的位置。因此，若急病病发，驾驶员失去意识，则驾驶员不能够维持头部的位置，如图7A和图7B所示那样，头部相对于躯体部向任意的方向较大地倾斜的情况较多。

与此相对，在行驶中驾驶员往旁边看时，驾驶员一般转头观察，因此如图8所示那样，相对于躯体部的头部的倾斜较小的情况较多。另外，在驾驶员取远离驾驶席的位置的物品时，驾驶员一般有意识地使躯体部倾斜，因此，如图9所示那样，相对于躯体部的头部的倾斜θ较小的情况较多。因此，姿势走形状态检测部72在头部的倾斜θ比阈值Th1大的情况下，检测驾驶员为驾驶不能状态。此时，姿势走形状态检测部72若进一步将驾驶员的脸未朝向车辆10的前方作为条件来检测驾驶员为驾驶不能状态，则能够抑制驾驶不能状态的误检测。

朝向走形状态检测部73在车辆10的行驶中进行驾驶员的脸朝向的走形的判断，在脸朝向走形的情况下，检测驾驶员为驾驶不能状态。详细而言，朝向走形状态检测部73在由脸朝向检测部65检测出的相对于车辆10的前方的脸的朝向超过时间T2(朝向走形判断时间)比阈值Th2(脸朝向阈值)大的情况下，检测驾驶员为驾驶不能状态。

一般而言，若急病病发，则驾驶员不能够维持脸的朝向，如图10A和图10B所示那样，成为相对于车辆10的前方的脸的朝向走形持续的状态。与此相对，在行驶中驾驶员往旁边看时，一般即使驾驶员改变脸的朝向也立即回复的情况较多。因而，朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。

或者，朝向走形状态检测部73在由脸朝向检测部65检测出的相对于车辆10的前方的脸的朝向比阈值Th2大且驾驶员放开方向盘15的情况下，检测驾驶员为驾驶不能状态。对于驾驶员是否放开方向盘15，可以根据图像检测，也可以由设置于方向盘15的压力传感器等来检测。

一般而言，若急病病发，则驾驶员不能够维持脸的朝向，如图10A和图10B所示那样，相对于车辆10的前方的脸的朝向走形并且驾驶员放开方向盘15的情况较多。与此相对，在行驶中驾驶员往旁边看时，如图11所示那样，一般而言，驾驶员在把持方向盘15的状态下改变脸的朝向的情况较多。另外，在驾驶员往旁边看时，也存在不倾斜头部，仅转动脖子改变脸朝向的情况。因而，朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。

或者，朝向走形状态检测部73在由脸朝向检测部65检测出的脸的朝向比阈值Th2大且加速器开度比规定开度大的情况下，检测驾驶员为驾驶不能状态。

一般而言，在行驶中驾驶员往旁边看时，在安全方面不较大地踩踏加速器的情况较多。因此，在相对于车辆10的前方的脸的朝向比阈值Th2大且加速器开度比规定开度大的情况下，不是由于往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因而，朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。

或者，朝向走形状态检测部73在由脸朝向检测部65检测出的脸的朝向比阈值Th2大且在比时间T3(操作判断时间)长的时间未进行加速器操作以及制动器操作的情况下，检测驾驶员为驾驶不能状态。

一般而言，若急病病发，则相对于车辆10的前方的脸的朝向走形，并且在比时间T3长的时间不进行加速器操作以及制动器操作。与此相对，在行驶中驾驶员往旁边看时，一般而言，驾驶员改变脸的朝向并且在时间T3内进行加速器操作或者制动器操作的情况较多。因而，朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。

摆动状态检测部74在车辆10的行驶中判断伴随外力的驾驶员的头部的摆动状态，在头部进行与通常不同的摆动的情况下，检测驾驶员为驾驶不能状态。详细而言，摆动状态检测部74在从对车辆10施加外力至经过时间T5(摆动判断时间)的期间，由头部检测部61检测出的头部的摆动的振幅比振幅Am1(第一振幅)小的情况下，或者比振幅Am2(第二振幅)大的情况下，检测驾驶员为驾驶不能状态。振幅Am2是比振幅Am1大的值。

若如图12所示那样，对车辆10施加外力，则在规定的时间差后，振动传递至驾驶员。通常，在驾驶员有意识的情况下，在对车辆10施加外力(详细而言是上下方向的外力)时，如图13所示那样，驾驶员的头部以振幅Am1至振幅Am2的范围内的振幅摆动。与此相对，若驾驶员急病病发，身体僵直，则头部的摆动的振幅比正常时小。另外，若驾驶员急病病发，身体弛缓，则头部的摆动的振幅比正常时大。因而，摆动状态检测部74在上述的情况下检测驾驶员的驾驶不能状态。

应予说明，时间T5是从对车辆10施加外力至驾驶员的动作成为与外力无关系的动作的时间。另外，振幅Am1以及振幅Am2是时间的函数，图13示出其1个例子。在摆动状态的判断中，也可以简单地将从施加外力至时间T5经过的期间的振幅Am1的最小值以及振幅Am2的最大值作为阈值。

眼白状态检测部75在车辆10的行驶中进行眼白的判断，在由眼白检测部66检测到翻白眼的状态的情况下，检测驾驶员为驾驶不能状态。详细而言，眼白状态检测部75在由眼白程度计算部68计算出的眼白程度比阈值Th3(眼白阈值)大的情况下，检测驾驶员为驾驶不能状态。

通常，在驾驶员能够驾驶的状态的情况下，不存在驾驶员翻白眼的情况。与此相对，若驾驶员急病病发，则如图14A和图14B所示那样，存在驾驶员翻白眼的情况。因而，眼白状态检测部75在检测到翻白眼的状态的情况下，检测驾驶员为驾驶不能状态。

在存储装置52(存储部)存储有被各状态检测部使用的各阈值以及各判断值。并且，在存储装置52存储由学习部51学习到的头部的倾斜θ、脸的朝向以及头部的摆动的振幅。另外，在存储装置52登录有包括驾驶员的病历以及年龄的个人信息。在驾驶员有多人的情况下，登录各驾驶员的个人信息。另外，在存储装置52登录有不判断为驾驶不能状态的驾驶员的姿势、以及判断为驾驶不能状态的驾驶员的姿势。不判断为驾驶不能状态的驾驶员的姿势例如是通常的驾驶姿势、在驾驶中经常进行的姿势。判断为驾驶不能状态的驾驶员的姿势例如是有老病的驾驶员发作时进行的姿势。驾驶员预先在驾驶席利用驾驶员摄像机21拍摄欲登录的姿势，并登录于存储装置52。

接下来，参照图16A和图16B的流程图对检测驾驶员的驾驶不能状态的处理顺序进行说明。控制装置50执行本处理顺序。

首先，判断车辆10的车速是否在V以下(S10)。V可以是0km/h(停车)，或是充分低至能够视作停车的程度的速度(例如1km/h)。在车速为V以下(S10：是)的情况下，反复执行S10的判断，直至判断为车速比V高。在车速比V高的情况(S10：否)下，判断为在行驶中，开始驾驶员的驾驶不能状态的检测处理，最初进行出画的判断。

在此，在S10的判断中，也可以也判断驾驶员是否在进行驾驶操作，在进行驾驶操作的情况下，反复执行S10的判断，在行驶中且未进行驾驶操作的情况下，开始驾驶员的驾驶不能状态的检测处理。例如，判断车辆10的车速是否为V2(例如50km/h)以上、或者由舵角传感器32检测出的操舵角是否为规定的角度以上、或者操舵角速度是否为规定的角速度以上。V2是能够视作驾驶员进行加速器踏板的操作的值，规定的角度、以及规定的角速度是能够视作驾驶员进行方向盘操作的值。在满足上述3个条件的至少一个条件的情况下，作为驾驶员进行驾驶操作，不开始驾驶员的驾驶不能状态的检测处理。

在出画的判断中，首先，从驾驶席的图像检测驾驶员的头部以及躯体部(S11)。此时，检测驾驶员的头部所包括的脸的特征点，进行驾驶员的认证。应予说明，驾驶员的认证可以预先通过与智能电话等便携终端的通信来进行，也可以通过与登录了个人信息的车辆10的钥匙的通信来进行。

接下来，判断是否能够检测到头部位置(S12)。在不能够检测到头部位置的情况下(S12：否)，根据在下述的S19的处理中记录的头部位置获取头部的轨迹信息，并判断轨迹信息是否表示出画(S13)。即，判断头部位置的无法检测是由头部超出到拍摄范围外引起的无法检测、还是由图像的不清晰等引起的无法检测。

在头部的轨迹信息不表示出画的情况下(S13：否)，判断为是由暂时的图像的不清晰等引起的无法检测，返回至S10的处理。另一方面，在头部的轨迹信息表示出画的情况下(S13：是)，判断为头部超出到拍摄范围外。在该情况下，获取为了确认头部存在于拍摄范围外而辅助使用的、安全带传感器22以及座面传感器23的信息(S14)。

接下来，判断是否是持续时间T0(出画判断时间)以上出画的状态(S15)。详细而言，判断是否是持续时间T0以上，头部位置从范围FA脱离，且安全带12的抽出量比在安全带12的佩戴时检测出的抽出量多至超出第一抽出量，且在座部11a的压力分布中高压部分偏于座部11a的端部。并且，在满足上述3个条件的情况下，判断为是超过时间T0出画的状态。此时，也可以进一步将由安全带传感器22检测出的量检测时间平均的抽出量即安全带12的抽出速度比第二抽出量多作为条件。

应予说明，也可以不使用安全带传感器22以及座面传感器23的信息。即，也可以不执行S14的处理，仅在S15的处理中判断是否持续时间T0以上，头部位置从范围FA脱离。

在此，时间T0基于登录于存储装置52的个人信息来设定。例如，年龄大的人与年龄小的人相比，使时间T0较短。另外，有特定的病历的人与没有特定的病历的人相比，使时间T0较短。并且，时间T0根据驾驶员的状态、行驶环境变更。在显现出驾驶员成为驾驶不能状态的征兆的状态、驾驶员为驾驶不能状态的可能性较高的状态、驾驶员成为驾驶不能状态的情况下，碰撞的可能性较高的行驶环境中，缩短时间T0容易检测到驾驶员的驾驶不能状态。

具体地说，在S19的处理中记录的头部位置以比规定振幅大的振幅振动的情况下，即在头部摇摇晃晃摆动的情况下，成为驾驶不能状态的概率较高，因此缩短时间T0。另外，头部的移动速度越大，不是取物品时的姿势走形而是由急病引起的姿势走形的可能性较高。因而，在获取的头部的轨迹信息中，头部位置的移动速度越大，越使时间T0较短。另外，在由急病引起的姿势走形的情况下，头部越接近范围FA的边端，头部的移动速度越大的情况较多。因而，在头部越接近范围FA的边端，头部的移动速度越大的情况下，不是取物品时的姿势走形而是由急病引起的姿势走形的可能性较高。因此，在记录的头部位置越接近范围FA的边端，头部的移动速度越大的情况下，越使时间T0较短。另外，在检测到痉挛的情况下，成为驾驶不能状态的概率较高，因此，缩短时间T0。

另外，为了避免碰撞，车速越快越需要较早地开始适当的车辆控制，因此，车辆10的车速越高越使时间T0较短。另外，为了避免碰撞，将与先行车辆的车间距离除以与先行车辆的相对速度而得的TTC(碰撞充裕时间)越短，越需要较早地开始适当的车辆控制，因此，TTC越短越使时间T0较短。另外，在车辆10中执行ACC(Adaptive Cruise Control)、LKA(Lane Keep Assist)等驾驶支援控制的情况下，存在驾驶员长时间使姿势走形的情况，因此延长时间T0。并且，也可以在统计出来的心脏病发作等急病容易病发的星期、时间段缩短时间T0。

在不是持续时间T0以上出画的状态的情况下(S15：否)，进入至S21的处理。在是持续时间T0以上出画的状态的情况下(S15：是)，检测驾驶员为驾驶不能状态，并向驾驶员确认是否是驾驶不能状态。详细而言，通过来自扬声器82的声音、在显示器81上的显示、指示灯(未图示)的闪烁等来通过驾驶不能状态的检测，并判断是否在规定的时间内从驾驶员有响应(S16)。

在规定的时间内检测到驾驶员的对触摸显示器的接触、驾驶员的声音、方向盘15、制动器等的车辆10的操作、特定的开关的操作等的任意一个的情况下，判断为从驾驶员有响应(S16：否)。在上述都未检测到的情况下，判断为从驾驶员无响应(S16：是)。

并且，在判断为从驾驶员有响应的情况下，通过来自扬声器82的声音、或者在显示器81上的显示等通知识别为能够进行由驾驶员进行的驾驶(S17)。另一方面，在判断为从驾驶员无响应的情况下，向车辆控制装置90发出指示，以便进行适当的制动以及操舵，安全停车。另外，为了向周围的车辆报告状况，向车辆控制装置90发出头灯的灯光以及喇叭的鸣响的指示(S18)。并且，也向车辆10的其它的搭乘者报告状况。

接下来，在S12的处理中判断为能够检测到头部位置的情况下(S12：是)，记录头部以及躯体部的位置(S19)。能够根据在各图像中记录的头部的位置获取头部的轨迹信息。

接着，判断头部位置是否超出到预先设定的范围FA外(S20)。在即使头部位置在拍摄范围内也超出到范围FA外的情况下(S20：是)，进入至S15的处理，进行出画的判断。

接着，基于头部以及躯体部的位置关系判断驾驶员的姿势是否是预先登录于存储装置52的判断为驾驶不能状态的姿势(S21)。在驾驶员的姿势是判断为驾驶不能状态的姿势的情况下(S21：是)，检测驾驶员为驾驶不能状态，进入S16的确认处理。

在驾驶员的姿势不是判断为驾驶不能状态的姿势的情况下(S21：否)，判断驾驶员的姿势是否是预先登录于存储装置52的不判断为驾驶不能状态的姿势(S22)。在驾驶员的姿势是不判断为驾驶不能状态的姿势的情况下(S22：是)，返回至S10的处理。在驾驶员的姿势与不判断为驾驶不能状态的姿势不同的情况下(S22：否)，接下来进行姿势走形的判断。

首先，判断是否检测到姿势走形(S23)。详细而言，通过图17的子流程的处理来检测姿势走形。首先，计算头部的倾斜以及头部的倾斜的方向(S231)。接着，计算躯体部的倾斜以及躯体部的倾斜的方向(S232)。接着，计算计算出的躯体部的倾斜与头部的倾斜所形成的角度、即相对于躯体部的头部的倾斜θ(S233)。在未检测到驾驶员的驾驶不能状态的情况下学习计算出的头部的倾斜θ。并且，在计算出的头部的倾斜θ比阈值Th1(相对倾斜阈值)大的情况下，检测姿势走形(S234)。并且，在未检测到姿势走形的情况下(S23：否)，进入S25的脸朝向走形的判断。

在检测到姿势走形的情况下(S23：是)，判断是否持续时间T1以上，头部的倾斜θ比阈值Th1大，且脸未朝向车辆10的前方(S24)。

此时，也可以简单地将持续时间T1以上，仅头部的倾斜θ比阈值Th1大，或者仅将脸未朝向车辆10的前方作为条件。另外，此时，也可以进一步将持续时间T1以上，计算出的头部的倾斜的方向以及躯体部的倾斜的方向不变动，即头部的位置以及躯体部的位置在范围UA(不动判断范围)内作为条件。范围UA是能够视作头部以及躯体部不动作的范围。另外，也可以将计算出的头部的倾斜θ比学习到的头部的倾斜大至超过判断值D1(倾斜判断值)作为条件。另外，也可以将比时间T3(操作判断时间)长的时间未操作方向盘15作为条件。

在此，时间T1与时间T0相同，基于登录于存储装置52的个人信息来设定，根据车速、TTC、驾驶支援控制的执行的有无来变更。另外，阈值Th1在检测到痉挛的情况下减小。并且，与时间T0相同，在统计出的心脏病发作等急病容易病发的星期、时间段，也可以缩短时间T1。

在超过时间T1，头部的倾斜θ比阈值Th1大且脸未朝向车辆10的前方的情况下(S24：是)，检测驾驶员为驾驶不能状态，进入至S16的确认处理。另外，在不是持续时间T1以上，头部的倾斜θ比阈值Th1大、或者脸朝向车辆的前方的情况下(S24：否)，接下来进行脸朝向走形的判断。

首先，判断是否检测到脸朝向的走形(S25)。详细而言，检测相对于车辆的前方的驾驶员的脸的朝向。并且，在检测出的脸的朝向比阈值Th2(脸朝向阈值)大的情况下，检测脸朝向的走形。在未检测到脸朝向的走形的情况下(S25：否)，进入至S28的摆动状态的判断。应予说明，在未检测到驾驶员的驾驶不能状态的情况下学习检测出的脸的朝向。

在检测到脸朝向的走形的情况下(S25：是)，判断是否持续时间T2(朝向走形判断时间)以上，脸朝向比阈值Th2大(S26)。

在此，时间T2与时间T0相同，基于登录于存储装置52的个人信息来设定，根据车速、TTC、驾驶支援控制的执行的有无来变更。并且，与时间T0相同，也可以在统计出的心脏病发作等急病容易病发的星期、时间段缩短时间T2。另外，阈值Th2在检测到痉挛的情况下减小。

在持续时间T2以上，脸朝向比阈值Th2大的情况下(S26：是)，检测驾驶员为驾驶不能状态，进入至S16的确认处理。

在不是持续时间T2以上，脸朝向比阈值Th2大的情况下(S26：否)，接下来，判断是否持续时间T3以上，驾驶员释放方向盘15或者加速器开度比规定开度大或者没有加速器操作以及制动器操作(S27)。在满足S27的处理中的3个条件的至少一个条件的情况下(S27：是)，检测驾驶员为驾驶不能状态，进入至S16的确认处理。在S27的处理中的3个条件都不满足的情况下(S27：否)，接下来进行摆动状态的判断。

在此，在S26的判断中，也可以进一步将满足S27的处理中的3个条件的至少一个作为条件。另外，在S26以及S27的判断中，也可以进一步将检测出的脸的朝向比学习到的脸的朝向大至超过判断值D1(倾斜判断值)作为条件。另外，一般而言，由于在驾驶员的手持续处于比驾驶员的脖子靠上的状态下不存在成为驾驶不能状态的情况，因此，也可以将驾驶员的手处于比驾驶员的脖子靠下作为条件。

接下来，在摆动状态的判断中，判断是否检测到相对于外力与通常不同的头部的摇晃(S28)。详细而言，判断在从对车辆10施加外力至时间T5(摆动判断时间)经过的期间，头部的摆动的振幅是否比振幅Am1(第一振幅)小、或者比振幅Am2(第二振幅)大。

此时，也可以进一步将在从对车辆10施加外力至时间T5经过的期间，头部以与通常不同的振幅振动，在时间T5经过后，头部的位置处在范围UA内作为条件。即，也可以将头部随着外力振动，且在外力的影响消失后头部的位置不变动作为条件。另外，也可以在未检测到驾驶员为驾驶不能状态的情况下，学习头部的摆动的振幅，将检测到的头部的摆动的振幅比学习到的头部的摆动的振幅大至超过判断值D2(振幅判断值)作为条件。另外，也可以将持续时间T3以上未操作方向盘15作为条件。

在检测到相对于外力与通常不同的头部的摇晃的情况下(S28：是)，检测驾驶员为驾驶不能状态，进入至S16的确认处理。在未检测到相对于外力与通常不同的头部的摇晃的情况下(S28：否)，接下来进行眼白状态的判断。

首先，判断是否检测到翻白眼的状态(S29)。详细而言，在计算出的眼白程度比阈值Th3(眼白阈值)大的情况下，判断为检测到翻白眼的状态。在此，分别计算驾驶员的两眼的眼白程度，将两眼的眼白程度分别比阈值Th3大作为条件，判断为检测到翻白眼的状态。但是，在仅检测到单方的眼睛的情况下、简单地检测翻白眼的状态的情况下，也可以仅以单方的眼睛的眼白程度来判断翻白眼的状态的检测。

在判断为未检测到翻白眼的状态的情况下(S29：否)，由于在出画判断、姿势走形判断、脸朝向走形判断、摆动状态判断、以及眼白状态判断的全部的判断中未检测到驾驶员为驾驶不能状态，因此，返回至S10的处理。

在判断为检测到翻白眼的状态的情况下(S29：是)，判断是否持续时间T4(眼白判断时间)以上，眼白程度比阈值Th3大(S30)。此时，也可以进一步将持续时间T3以上未操作方向盘15作为条件。

在此，时间T4与时间T0相同，基于登录于存储装置52的个人信息来设定，根据车速、TTC变更。另外，阈值Th3在检测到痉挛的情况下减小。并且，与时间T0相同，也可以在统计出的心脏病发作等急病容易病发的星期、时间段缩短时间T4。

在不是持续时间T4以上，眼白程度比阈值Th3大的情况下(S30：否)，返回至S10的处理。在持续时间T4以上，眼白程度比阈值Th3大的情况下(S30：是)，检测驾驶员的驾驶不能状态，进入至S16的确认处理。通过上述结束本处理。

应予说明，基于检测出的相对于躯体部的头部的倾斜θ、检测出的脸的朝向、检测出的头部的位置，如图18所示那样，将驾驶员的姿势走形程度显示于显示器81。检测出的头部的倾斜θ越大，使姿势走形等级越高。另外，检测出的脸的朝向越大，使姿势走形等级越高。另外，检测出的头部的位置越远离驾驶时的标准位置，使姿势走形等级越高。驾驶时的标准位置为车辆10的起动时的头的位置、或者未检测到驾驶员为驾驶不能状态时的头部的平均位置。

根据以上说明的本实施方式，起到以下的效果。

通过在驾驶员的头部从范围FA脱离的情况下，检测驾驶员为驾驶不能状态，能够简单地检测驾驶员的驾驶不能状态。并且，若考虑直至头部从范围FA脱离的轨迹，则能够使检测驾驶员的驾驶不能状态的精度提高。

在驾驶员取远离驾驶席的位置的物品时，即使头部暂时地远离范围FA也返回至范围FA的情况较多。因而，通过将超过时间T0，驾驶员的头部从范围FA脱离作为条件，能够抑制驾驶员的驾驶不能状态的误检测。

若将范围FA设为图像的整体，则在图像中不存在驾驶员的头部的情况下，检测驾驶员为驾驶不能状态，因此，能够使检测处理更加简单。

认为在由于急病导致驾驶员的姿势走形的情况下，安全带12的抽出量比佩戴时的抽出量大至超过第一抽出量。另外，即使在驾驶员的头部成为无法检测的情况下，在安全带12的抽出量比佩戴时的抽出量多至超出第一抽出量时，也知道驾驶员的头部存在于从拍摄范围脱离的位置。因而，通过将安全带12的抽出量比佩戴时的抽出量大至超过第一抽出量作为条件，能够高精度地检测驾驶员的驾驶不能状态。

在急病病发时与取物品时相比，驾驶员的姿势急剧地走形的情况较多。因此，在急病病发时与取物品时相比，安全带12被急剧地抽出的情况较多。因而，通过将量检测时间平均的安全带12的抽出量比第二抽出量多作为条件，能够抑制驾驶员的驾驶不能状态的误检测。

认为在由于急病导致驾驶员的姿势走形的情况下，驾驶席的座部11a的压力分布中的高压部分偏于座部11a的端部。另外，即使在驾驶员的头部成为无法检测的情况下，在驾驶席的座部11a的压力分布中的高压部分偏于座部的端部时，也知道驾驶员的头部存在于从拍摄范围脱离的位置。因而，通过将座部11a的压力分布中的高压部分偏于座部11a的端部作为条件，能够高精度地检测驾驶员的驾驶不能状态。

通过在检测到比规定振幅大的头部的振动的情况下，即头部摇晃摆动的情况下，缩短时间T0，能够缩短驾驶员的驾驶不能状态的判断所需要的时间。进而，能够较早地开始驾驶员的驾驶不能状态时的车辆控制的执行。

通过头部的移动速度越大，越使时间T0较短，能够缩短驾驶员的驾驶不能状态的判断所需要的时间。

通过在头部越接近范围FA的边端，头部的移动速度越大的情况下，缩短驾驶不能状态的判断所需要的时间，能够缩短驾驶员的驾驶不能状态的判断所需要的时间。

在相对于躯体部的头部的倾斜θ比阈值Th1大的情况下，不是取物品时等的姿势走形而是由于急病引起的姿势走形的可能性较高。因此，通过在相对于躯体部的头部的倾斜θ比阈值Th1大的情况下，检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。

认为在行驶中，驾驶员有意识地进行相对于躯体部使头部较大地倾斜的动作的情况下，在安全方面，驾驶员保持使脸朝向车辆10的前方的状态。因而，通过将脸未朝向车辆10的前方作为条件，能够抑制误检测驾驶员的驾驶不能状态。

认为在行驶中，驾驶员有意识地进行相对于躯体部使头部较大地倾斜的动作的情况下，在安全方面，驾驶员使头部的位置立即返回至原来的位置。因而，通过将超过时间T1，头部相对于躯体部较大地倾斜作为条件，能够抑制误检测驾驶员的驾驶不能状态。

通过将超过时间T1，头部相对于躯体部一直较大地倾斜，且头部与躯体部的位置不变动作为条件，能够抑制误检测驾驶员的驾驶不能状态。

通过将检测出的头部的倾斜θ比学习到的头部的倾斜大至超过判断值D1作为条件，即使在驾驶员有使头部相对于躯体部倾斜的姿势的癖好的情况下，也能够抑制误检测驾驶员的驾驶不能状态。

在相对于车辆10的前方的脸的朝向超过时间T2比阈值Th2大的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过在上述情况下检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。

在相对于车辆10的前方的脸的朝向比阈值Th2大，且驾驶员释放方向盘15的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过在上述情况下检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。

在相对于车辆10的前方的脸的朝向比阈值Th2大，且加速器开度比规定开度大的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过在上述情况下检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。

在相对于车辆10的前方的脸的朝向比阈值Th2大，且在比时间T3长的时间未进行加速器以及制动器的操作的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过在上述情况下检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。

一般而言，若驾驶员是能够驾驶的状态，则在时间T3内进行方向盘操作。因而，通过将在比时间T3长的时间未进行方向盘操作作为条件，能够抑制误检测驾驶员的驾驶不能状态。

一般而言，若驾驶员是能够驾驶的状态，则不存在在比时间T3长的时间持续地大幅度地踩踏加速器的情况。因而，通过将在比时间T3长的时间，加速器开度比规定开度大作为条件，能够抑制误检测驾驶员的驾驶不能状态。

认为在行驶中，驾驶员有意识地进行改变相对于车辆10的前方的脸的朝向的动作的情况下，在安全方面，驾驶员立即将脸的朝向恢复至正面。因而，通过将超过时间T2，相对于车辆10的正面的脸的朝向比阈值Th2大作为条件，能够抑制误检测驾驶员的驾驶不能状态。

一般而言，在驾驶员急病病发的情况下，不存在驾驶员的手一直处于比驾驶员的脖子靠上的的状态下成为驾驶不能状态的情况。因而，通过将驾驶员的手处于比驾驶员的脖子靠下作为条件，能够抑制误检测驾驶员的驾驶不能状态。

通过在从对车辆施加外力至时间T5经过的期间，头部的摆动的振幅比振幅Am1小或者比振幅Am2大的情况下，检测驾驶员为驾驶不能状态，能够简单地检测驾驶员的驾驶不能状态。

一般而言，在驾驶员没有意识的情况下，头部随着外力振动，若外力的影响消失，则头部不动。与此相对，在驾驶员因为癖好而使头部振动的情况下，与外力的影响无关地头部振动。因而，通过将头部随着外力振动，且在外力的影响消失后头部的位置不变动作为条件，能够抑制误检测驾驶员的驾驶不能状态。

通过将检测出的头部的摆动的振幅比学习到的头部的摆动的振幅大至超过判断值D2作为条件，即使在驾驶员有使头晃动的癖好的情况下，也能够抑制误检测驾驶员的驾驶不能状态。

通过在检测到翻白眼的状态的情况下，检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。

基于图像检测驾驶员的眼睛的轮廓以及眼黑区域。然后，基于检测出的眼睛的轮廓以及眼黑区域来计算眼白程度，在眼白程度比阈值Th3大的情况下，检测驾驶员为驾驶不能状态。因而，能够高精度地检测驾驶员翻眼白的状态，进而能够高精度地检测驾驶员的驾驶不能状态。

在驾驶员能够驾驶的状态的情况下，即使存在使视线朝上，眼白的程度暂时变大的情况，也不存在成为眼白的程度一直变大的状态的情况。因而，通过将超过时间T4，眼白程度比阈值Th3大作为条件，能够抑制误检测驾驶员的驾驶不能状态。

通过将两面的眼白程度分别比阈值Th3大作为条件，即使在单眼佩戴眼罩、单眼为义眼而被误检测为翻白眼的状态，在另一方的眼睛不翻白眼的情况下，也不会检测出驾驶员的驾驶不能状态。因而，能够抑制误检测驾驶员的驾驶不能状态。

由于眼睛的纵向的长度Lw+Lb与眼黑区域的纵向的长度Lb的比和相对于眼睛的整个区域的眼白的区域的比率存在相关，因此，能够根据眼睛的纵向的长度Lw+Lb与眼黑区域的纵向的长度Lb的比来计算眼白程度。

从眼睛的轮廓的上部至眼黑区域的最下部的距离Lb越小，眼白程度越大。因而，能够根据从眼睛的轮廓的上部至眼黑区域的最下部的距离Lb来计算眼白程度。

能够根据眼白区域的面积与眼黑区域的面积的比来计算眼白程度。

在翻白眼的状态，由于眼黑区域朝向上侧，因此，眼黑区域的扁平率在外观上变大。因而，能够根据眼黑区域的扁平率来计算眼白程度。

从眼睛的整体的纵向的中心线至眼黑区域的最下部的距离Lc越大，眼黑区域越小，眼白程度越大。因而，能够根据从中心线至眼黑区域的最下部的距离Lc来计算眼白程度。

一般而言，在驾驶员产生痉挛的情况下，与未产生痉挛的情况相比，成为驾驶不能的状态的概率较高。因而，通过在检测到痉挛的情况下缩小阈值Th1、Th2，能够容易检测出驾驶员的驾驶不能状态。

通过车速越高，使时间T0、T1、T2、T4越短，车速越高，驾驶员的驾驶不能状态的判断所需要的时间变短，能够较早地开始适当的车辆控制的执行。

通过TTC越短，使时间T0、T1、T2、T4越短，TTC越短，驾驶员的驾驶不能状态的判断所需要的时间变短，能够较早地开始适当的车辆控制的执行。

通过基于包括驾驶员的病历、年龄的个人信息设定时间T0、T1、T2、T4，能够使驾驶不能状态的判断所需要的时间为与驾驶员个人的特性相应的时间。

通过在车辆中执行驾驶支援控制的情况下，延长时间T0、T1、T2，能够抑制驾驶不能状态的误检测。

通过将驾驶员的姿势的走形程度报告给驾驶员，驾驶员能够识别自己的姿势。因此，即使驾驶姿势走形，驾驶员也能够将姿势修正为不被检测为驾驶不能状态。由此，能够抑制驾驶不能状态的误检测。

通过在检测到驾驶员的驾驶不能状态的情况下，向驾驶员确认是否是驾驶不能，能够在误检测驾驶员的驾驶不能状态的情况下，避免用于使车辆安全停止的车辆控制的执行。

(第一实施方式的变形例一)

在基于出画状态检测部71的出画判断中，也可以使作为规定的范围的范围FA的形状为以图19所示那样的椭圆形状。该椭圆形状为车辆10的宽度方向为长轴、车辆10的高度方向为短轴的形状。

若观察驾驶中的多个驾驶员的头部的动作，则驾驶员的头部在右转弯时以及左转弯时向右方向以及左方向移动，因此，在将左右方向作为长轴的椭圆形状的范围内动作。因而，通过使范围FA的形状为上述椭圆形状，即使驾驶员因通常的驾驶动作使头部移动，也能够抑制误检测为驾驶不能状态。

(第一实施方式的变形例二)

检测装置100也可以具备与包括驾驶员的用户的意图、或者与驾驶员相关的驾驶员信息相应地使范围FA变形的变形部。变形部作为状态检测部70具备的功能实现即可。变形包括范围FA的放大、缩小、以及形状的变更。变形部与由用户进行的HMI80的输入操作相应地使范围FA变形。HMI80也可以具备放大开关、缩小开关，显示器81也可以是触摸显示器。

在如图20所示那样，驾驶员具有从标准位置偏离的驾驶姿势的癖好的情况下、欲成为不易检测到驾驶不能状态的情况下，驾驶员可以操作放大开关等，使范围FA放大至范围FAa。

另外，在驾驶员为高龄、有老病的人的情况下，驾驶员自身、驾驶员的家人等为了容易检测驾驶不能状态，操作缩小开关等，将范围FA缩小至范围FAb即可。另外，在驾驶员为公交、出租车的司机的情况下，公交、出租车的管理者为了容易检测驾驶不能状态，操作缩小开关等，使范围FA缩小至范围FAb即可。应予说明，在图20中，使范围FA、FAa、FAb的形状为椭圆形状，但也可以为方形。

另外，变形部也可以与用户的意图无关，而与驾驶员信息相应地放大、缩小范围FA。驾驶员信息是包括驾驶员的年龄、病历以及驾驶姿势的癖好的至少一个的信息，存储于存储装置52。对于驾驶姿势的癖好，可以通过学习部51学习驾驶员的头部的位置得到，也可以通过驾驶员预先拍摄驾驶姿势并登录得到。

变形部例如在驾驶员有驾驶姿势的癖好的情况下，使范围FA放大至范围FAa，在驾驶员为高龄、有病历的情况下，使范围FA缩小至范围FAb。另外，变形部也可以与车速、TTC、驾驶支援控制的有无相应地放大或者缩小范围FA，也可以在统计出的心脏病发作等急病容易病发的星期、时间段缩小范围FA。

应予说明，变形部与用户的意图以及驾驶员信息的至少一方相应地使范围FA变化，也可以与用户的意图以及驾驶员信息的两方相应地使范围FA变化。另外，变形部也可以仅进行范围FA的放大以及缩小的任意一方。另外，变形部也可以与用户的意图、驾驶员信息相应地使范围FA的形状变化。

通过像这样，范围FA与用户的意图或者驾驶员信息相应地变形，能够实施与用户的意图或者驾驶员信息相应的驾驶不能状态的检测。例如，在成为驾驶不能状态的可能性比较高的情况下，能够容易检测驾驶不能状态。另外，在驾驶员有驾驶姿势从标准位置偏离的癖好的情况下，通过与癖好相应地使范围FA变形，能够抑制驾驶不能状态的误检测。

(第一实施方式的变形例三)

检测装置100具备与包括驾驶员的用户的意图、或者与驾驶员相关的驾驶员信息相应地使范围FA在图像上移动的移动部。移动部作为状态检测部70具备的功能实现即可。移动部与由用户进行的HMI80的输入操作、例如在触摸显示器上的拖动操作相应地使范围FA移动。即，相对于与用户的意图或者驾驶员信息相应地使范围FA变形，使范围FA移动这一点与变形例二不同。

如图21所示那样，在驾驶员有驾驶姿势从标准位置偏离的癖好的情况下，通过使范围FA移动至与癖好相应的位置，并为范围FAc，能够抑制驾驶不能状态的误检测。应予说明，在图21中，使范围FA的形状为方形，但也可以是椭圆形状。另外，也可以组合变形例二和变形例三，使范围FA移动，并且使范围FA变形。

(第一实施方式的变形例四)

驾驶员摄像机21包括立体摄像机。并且，如图22所示那样，使范围FA为不仅在车辆10的宽度方向，在前后方向也具有广阔空间的、被三维设定的范围。立体摄像机例如设置于后视镜16的左右的端部。范围FA并不局限于立方体形状，也可以是椭圆球形状等。在使范围FA为椭圆球形状的情况下，使椭圆球形状的长轴为车辆10的宽度方向。另外，也可以对变形例四应用变形例二或者三。

通过使用立体摄像机，能够以三维获取驾驶员的头部的位置。即，不仅能够获取车辆10的宽度方向的头部的位置，还能够获取车辆10的前后方向的头部的位置。因而，通过三维设定范围FA，不仅在驾驶员成为驾驶不能状态而向左右方向倒下的情况下，即使在驾驶员成为驾驶不能状态而向前方倒下的情况下，也能够通过出画判断来检测驾驶员的驾驶不能状态。

(第二实施方式)

以下，对于第二实施方式所涉及的检测装置100，对与第一实施方式所涉及的检测装置100不同的点进行说明。在第二实施方式所涉及的的检测装置100中，基于出画状态检测部71的出画判断的方法与第一实施方式所涉及的检测装置100不同。

在本实施方式中，作为出画判断中的规定范围的范围FA，出画状态检测部71设定范围FA1(第一规定范围)、范围FA2(第二规定范围)、范围FA3的3个范围。范围FA1是最小的范围。范围FA2比范围FA1大，包括范围FA1以及比范围FA1靠外侧(图像的端侧)的范围。另外，范围FA3比范围FA2大，包括范围FA2以及比范围FA2靠外侧的范围。在本实施方式中，范围FA1、范围FA2、范围FA3的中心为共用的中心。在本实施方式中，作为出画判断中的规定范围，设定3个范围，但设定至少2个范围即可。

另外，出画状态检测部71按照各规定范围设定出画判断时间。即，出画状态检测部71对于范围FA1、范围FA2、范围FA3的各范围，作为出画判断时间设定时间T01、T02、T03。

并且，出画状态检测部71将驾驶员的头部从至少一个规定范围超过与规定范围对应的出画判断时间脱离作为条件，检测驾驶员为驾驶不能状态。

即，在本实施方式中，有(1)驾驶员的头部从范围FA1超过时间T01脱离，(2)驾驶员的头部从范围FA2超过时间T02脱离，(3)驾驶员的头部从范围FA3超过时间T03脱离，这三个条件。出画状态检测部71在上述(1)～(3)的三个条件中的至少一个条件成立的情况下，检测驾驶员为驾驶不能状态。

因而，在图16A和图16B的流程图中，代替在S15的处理中判断是否是持续时间T0以上从范围FA脱离的状态，判断上述(1)～(3)的三个条件中的至少一个条件是否成立。在至少一个条件成立的情况下，进入至S16的处理，在三个条件均不成立的情况下进入至S21的处理。

一般而言，在驾驶员取远离驾驶席的位置的物品时等，在安全方面，越远离通常的驾驶位置，使停留时间越短。因此，出画状态检测部71在出画判断时间越为与较宽的规定范围对应的时间，越将其设定得较短。即，出画状态检测部71将出画判断时间以成为时间T01＞时间T02＞时间T03的方式进行设定。

例如，在将时间T01设为3秒、将时间T02设为1秒的情况下，即使在驾驶员的头部从范围FA1脱离后未经过3秒，在驾驶员的头部从范围FA2脱离后经过1秒的时刻，也检测出驾驶员的驾驶不能状态。

应予说明，时间T01、T02、T03与时间T0相同，基于登录于存储装置52的个人信息来设定，并与车速、TTC、驾驶支援控制的执行的有无相应地变更。并且，时间T01、T02、T03与时间T0相同，也可以在统计出的心脏病发作等急病容易病发的星期、时间段缩短。并且，时间T01、T02、T03与时间T0相同，也可以与头部位置的振幅、头部的移动速度、痉挛的检测相应地缩短。

另外，在图23中，使范围FA1、范围FA2、范围FA3的形状为椭圆形状，但也可以使范围FA1、范围FA2、范围FA3的形状为方形。并且，也可以应用第一实施方式的变形例二、变形例三，分别使范围FA1、范围FA2、范围FA3变形、移动。另外，也可以应用第一实施方式的变形例四，三维设定范围FA1、范围FA2、范围FA3。

根据以上说明的第二实施方式，设定多个范围不同且中心部重合的规定范围，并按照各规定范围设定出画判断时间。即，与从通常的驾驶位置的脱离程度相应地设定出画判断时间。因而，能够与从通常的驾驶位置的脱离程度相应地检测驾驶员的驾驶不能状态。

并且，由于从通常的驾驶位置的脱离程度越大，越将出画判断时间设定得较短，因此，抑制驾驶不能状态的误检测，并且在驾驶员成为驾驶不能状态的情况下，能够尽早检测。

(其它的实施方式)

驾驶员摄像机21也可以是搭载于车室内的4个摄像机中的一部。驾驶员摄像机21最低限度有一个即可。

出画状态检测部71也可以基于由轨迹获取部62获取的轨迹来检测驾驶员为驾驶不能状态。若急病病发导致驾驶员成为驾驶不能状态，则驾驶员的头部从驾驶时的位置移动，不返回至驾驶时的位置的情况较多，因此，能够基于头部的轨迹来检测驾驶员的驾驶不能状态。

朝向走形状态检测部73也可以进一步在驾驶员的脸比阈值Th2d(朝下阈值)大地朝向下侧、或者比阈值Th2u(朝上阈值)大地朝向上侧的情况下，检测驾驶员为驾驶不能状态。一般而言，若急病病发导致驾驶员失去意识，则驾驶员的脸比阈值Th2d大地朝向下侧、比阈值Th2u大地朝向上侧的情况较多。因而，能够在驾驶员的脸的朝向在下侧较大、或者在上侧较大的情况下，检测驾驶员为驾驶不能状态。

摆动状态检测部74也可以在车辆10的行驶中，对车辆10施加了外力时，由头部检测部61检测出的头部超过时间T6(复原判断时间)向外力的方向倾斜的情况下，检测驾驶员为驾驶不能状态。通常，在驾驶员有意识的情况下，对车辆10施加了外力(详细而言为左右方向以及前后方向的外力)时，即使驾驶员的头部向外力方向倾斜，也在时间T6内返回至原来的场所。与此相对，在驾驶员急病病发失去意识，则驾驶员的头部对于外力抵抗减小，成为超过时间T6向外力的方向倾斜的状态。因而，摆动状态检测部74能够在上述的情况下检测驾驶员的驾驶不能状态。

眼白状态检测部75还可以在由表情检测部67检测出的嘴的张开(详细而言为纵向的张开)比张开判断量大的情况下，检测驾驶员为驾驶不能状态。在驾驶员急病病发而翻白眼的情况下，成为嘴张开的状态的情况较多。因而，也可以在驾驶员的嘴的张开比张开判断量大的情况下，也检测驾驶员为驾驶不能状态。

虽然若出画判断、姿势走形判断、脸朝向走形判断、摆动状态判断、以及眼白状态判断全部执行，则驾驶员的驾驶不能状态的检测精度最高，但进行至少一个判断即可。另外，也可以组合任意数量的判断来执行。在该情况下，可以按照出画判断、姿势走形判断、脸朝向走形判断、摆动状态判断、眼白状态判断的顺序优先执行。

例如，在组合姿势走形判断和摆动状态判断的2个情况下，在姿势走形判断中未检测为驾驶员为驾驶不能状态的情况下若进行摆动状态判断，则能够高精度地检测驾驶员的驾驶不能状态。

另外，在组合脸朝向走形判断和摆动状态判断的2个的情况下，在脸朝向走形判断中未检测为驾驶员为驾驶不能状态的情况下若进行摆动状态判断，则能够高精度地检测驾驶员的驾驶不能状态。

另外，在组合摆动状态判断和眼白状态判断的2个的情况下，在摆动状态判断中未检测为驾驶员为驾驶不能状态的情况下若进行眼白状态判断，则能够高精度地检测驾驶员的驾驶不能状态。

学习部51也可以学习误检测驾驶员为驾驶不能状态的情况下的驾驶员的姿势。即，也可以学习虽然检测驾驶员为驾驶不能状态，但从驾驶员有响应的情况下的驾驶员的姿势。并且，也可以将学习到的姿势作为不判断为驾驶不能状态的姿势。

可以将各阈值以及各判断值的统计值存储于存储装置52，并将它们作为初始值使用。各阈值以及各判断值的统计值是统计与多个车辆的驾驶员的每一个对应的各阈值以及各判断值而得的值。另外，可以从车辆10向信息中心发送与驾驶员对应设定的各阈值以及各判断值，在信息中心统计。

也可以在向驾驶员确认是否是驾驶不能状态，并从驾驶员有响应的情况下，在之后一定的时间识别为驾驶员是能够驾驶的状态。另外，也可以以驾驶员设定的时间间隔(例如每1小时1次)进行检测驾驶员的驾驶不能状态的处理。

对车辆10施加的外力除可以由G传感器44以外，例如也可以由座面传感器23检测。

根据第一方式，驾驶员的驾驶不能状态检测装置具备：头部检测部，其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部；以及出画状态检测部，其在上述车辆的行驶中，由上述头部检测部检测出的上述头部从上述图像的规定范围脱离的情况下，检测上述驾驶员为驾驶不能状态。

根据驾驶员的驾驶不能状态检测装置，基于拍摄驾驶席得到的图像来逐次检测驾驶员的头部。在驾驶员正常驾驶车辆的情况下，驾驶员的头部收纳于驾驶席的图像的规定范围的情况较多。与此相对，若急病病发导致驾驶员失去意识，则存在驾驶员的头部从规定范围脱离的情况。因此，通过在头部从规定范围脱离的情况下，检测驾驶员为驾驶不能状态，能够简单地检测驾驶员的驾驶不能状态。

根据第二方式，驾驶员的驾驶不能状态检测装置具备：头部检测部，其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部；轨迹获取部，其根据由上述头部检测部检测出的上述头部的位置来获取上述头部的轨迹；以及状态检测部，其基于由上述轨迹获取部获取的上述轨迹来检测上述驾驶员为驾驶不能状态。

根据驾驶员的驾驶不能状态检测装置，基于拍摄驾驶席得到的图像来逐次检测驾驶员的头部，并且根据检测出的头部的位置获取头部的轨迹。若急病病发导致成为驾驶员的驾驶不能状态，则驾驶员的头部从驾驶时的位置移动，不返回至驾驶时的位置的情况较多。因而，能够基于驾驶员的头部的轨迹简单地检测驾驶员的驾驶不能状态。

该申请所记载的流程图、或者流程图的处理由多个步骤(或者说成部分)构成，各步骤例如表现为S10。并且，各步骤能够分割为多个子步骤，另一方面，也能够合并多个步骤使其为一个步骤。

以上，例示了驾驶员的驾驶不能状态检测装置的实施方式、构成、形态，但驾驶员的驾驶不能状态检测装置所涉及的实施方式、构成、形态并不局限于上述的各实施方式、各构成、各形态。例如，对于适当地组合不同的实施方式、构成、形态中分别记载的技术部得到的实施方式、构成、方式，也包括于驾驶员的驾驶不能状态检测装置所涉及的实施方式、构成、形态的范围。

Claims (4)

1.一种驾驶员的驾驶不能状态检测装置，其中，具备：

头部检测部(61)，其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来三维检测比驾驶员的脖子靠上的头部的位置；

脸朝向检测部(65)，其基于上述驾驶席的图像来检测相对于上述车辆的前方的驾驶员的脸的朝向；以及

状态检测部(70，71，73)，在上述车辆的行驶中，在由上述头部检测部检测出的上述头部的位置从规定范围脱离、且由上述脸朝向检测部检测出的相对于上述车辆的前方的上述驾驶员的脸的朝向与阈值(Th2d)相比朝向下侧的情况下，检测上述驾驶员为驾驶不能状态。

2.根据权利要求1所述的驾驶员的驾驶不能状态检测装置，其中，

上述状态检测部将上述头部的位置超过判断时间(T0)从上述规定范围脱离、且相对于上述车辆的前方的上述脸的朝向超过朝向走形判断时间比上述阈值大作为条件，检测上述驾驶员为驾驶不能状态。

3.一种驾驶员的驾驶不能状态检测装置，其中，具备：

头部检测部(61)，其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来三维检测比驾驶员的脖子靠上的头部的位置；

脸朝向检测部(65)，其基于上述驾驶席的图像来检测相对于上述车辆的前方的驾驶员的脸的朝向；以及

状态检测部(70，71，73)，在上述车辆的行驶中，在由上述头部检测部检测出的上述头部的位置从规定范围脱离、且由上述脸朝向检测部检测出的相对于上述车辆的前方的上述驾驶员的脸的朝向与阈值(Th2u)相比朝向上侧的情况下，检测上述驾驶员为驾驶不能状态。

4.根据权利要求3所述的驾驶员的驾驶不能状态检测装置，其中，

上述状态检测部将上述头部的位置超过判断时间(T0)从上述规定范围脱离、且相对于上述车辆的前方的上述脸的朝向超过朝向走形判断时间比上述阈值大作为条件，检测上述驾驶员为驾驶不能状态。

Images