CN106471556A - 驾驶员的驾驶不能状态检测装置 - Google Patents

驾驶员的驾驶不能状态检测装置 Download PDF

Info

Publication number
CN106471556A
CN106471556A CN201580033603.4A CN201580033603A CN106471556A CN 106471556 A CN106471556 A CN 106471556A CN 201580033603 A CN201580033603 A CN 201580033603A CN 106471556 A CN106471556 A CN 106471556A
Authority
CN
China
Prior art keywords
mentioned
driver
unable
driving
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580033603.4A
Other languages
English (en)
Other versions
CN106471556B (zh
Inventor
坂野大翔
山高大乘
宗冈丰
塩谷武司
大见拓宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014128388A external-priority patent/JP6379720B2/ja
Priority claimed from JP2014128389A external-priority patent/JP6361312B2/ja
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN106471556A publication Critical patent/CN106471556A/zh
Application granted granted Critical
Publication of CN106471556B publication Critical patent/CN106471556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1101—Detecting tremor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

驾驶员的驾驶不能状态检测装置具备：头部检测部(61)，其基于由搭载于车辆(10)的拍摄装置(21)拍摄的驾驶席的图像检测驾驶员的头部；以及摆动状态检测部(74)，其在车辆(10)的行驶中，从对车辆(10)施加外力后至摆动判断时间(T5)经过的期间，由头部检测部(61)检测出的头部的摆动的振幅比第一振幅(Am1)小、或者比比第一振幅大的第二振幅(Am2)大的情况下，检测驾驶员为驾驶不能状态。

Description

驾驶员的驾驶不能状态检测装置
技术领域
本申请是基于2014年6月23日申请的日本国专利申请2014-128389号、2014年6月23日申请的日本国专利申请2014-128388号的申请，在此通过参照引用其记载内容。
本公开涉及检测驾驶员成为驾驶不能的状态的驾驶员的驾驶不能状态检测装置。
背景技术
以往，存在在车辆的驾驶中，在驾驶员因急病等陷入驾驶不能状态的情况下，导致事故的可能性。因此，提出检测这样的驾驶员的驾驶不能状态，防止事故。
在专利文献1所记载的紧急避让装置中，从生理测量装置、视线、脸朝向测量装置等获取各种信息，识别驾驶员的意识的降低度、清醒度、姿势等驾驶员状态，在驾驶员状态降低的情况下，进行紧急避让支援。生理测量装置测量驾驶员的心率信息、呼吸信息、脑波信息等。视线、脸朝向测量装置利用驾驶员摄像机拍摄驾驶员，并根据该拍摄图像识别驾驶员的视线信息、眨眼信息、脸朝向信息等。
本申请发明者们发现下述情况。在专利文献1所记载的装置中，为了识别驾驶员状态，使用驾驶员的心率信息、呼吸信息、脑波信息等，但为了在车辆内测量驾驶员的心率信息、呼吸信息、脑波信息等，需要复杂的装置，存在实现困难的可能性。
并且，本申请发明者们发现下述情况。预想在驾驶中驾驶员的急病等病发的情况下，驾驶员的脸朝向走形。然而，在驾驶员在驾驶中往旁边看等的情况下，驾驶员的脸朝向也走形。在专利文献1所记载的装置中，由于未考虑由意识降低、急病等以外的主要原因引起的脸朝向的走形，因此，存在搞错驾驶员的驾驶不能状态的检测的可能性。
专利文献1：日本国公开专利公报2014-19301号
发明内容
本公开的目的在于提供一种能够简单地检测驾驶员成为驾驶不能状态的驾驶员的驾驶不能状态检测装置。
根据本公开的一方式所涉及的驾驶员的驾驶不能状态检测装置，驾驶员的驾驶不能状态检测装置具备：头部检测部，其基于利用搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来检测驾驶员的头部；以及摆动状态检测部，其在上述车辆的行驶中，从对上述车辆施加外力后至摆动判断时间经过的期间，在由上述头部检测部检测出的上述头部的摆动的振幅比第一振幅小、或者比比上述第一振幅大的第二振幅大的情况下，检测上述驾驶员为驾驶不能状态。
根据驾驶员的驾驶不能状态检测装置，基于拍摄驾驶席得到的图像检测驾驶员的头部。通常，在驾驶员有意识的情况下，在对车辆施加了外力时，驾驶员的头部以从第一振幅至第二振幅的范围内的振幅摆动。与此相对，若驾驶员急病病发，身体僵直，则与正常时相比，头部的摆动的振幅变小。另外，若驾驶员急病病发，身体弛缓，则与正常时相比，头部的摆动的振幅变大。
因而，通过在从对车辆施加外力后至摆动判断时间经过的期间，在头部的摆动的振幅比第一振幅小或者比第二振幅大的情况下，检测驾驶员为驾驶不能状态，能够简单地检测驾驶员的驾驶不能状态。
附图说明
关于本公开的上述以及其他的目的、特征、优点，根据参照附图的下述详细的说明变得更加明确。在附图中，
图1是表示驾驶不能状态检测装置的构成的框图。
图2是表示搭载驾驶不能状态检测装置的车室内的图。
图3是表示搭载驾驶不能状态检测装置的车辆的驾驶席的图。
图4是表示控制装置的功能的框图。
图5A是表示通常驾驶时的姿势的图。
图5B是表示急病病发，发生姿势走形(FA内)时的姿势的图。
图5C是表示急病病发，发生姿势走形(FA外)时的姿势的图。
图6是表示取物品时的姿势的图。
图7A是表示通常驾驶时的姿势的图。
图7B是表示急病病发时的姿势的图。
图8是表示往旁边看时的姿势的图。
图9是表示取物品时的姿势的图。
图10A是表示通常驾驶时的脸朝向的图。
图10B是表示急病病发时的脸朝向的图。
图11是表示往旁边看时的脸朝向的变化的图。
图12是表示伴随外力的产生的头部的摆动的图。
图13是表示判断为驾驶不能状态的头部的摆动的振幅范围的图。
图14A是表示通常驾驶时的表情的图。
图14B是表示急病病发时的表情的图。
图15A是表示通常的状态的图。
图15B是表示翻白眼的状态的图。
图15C是表示完全翻白眼的状态的图。
图16A是表示检测驾驶不能状态的处理顺序的流程图。
图16B是图16A的后续，是表示检测驾驶不能状态的处理顺序的流程图。
图17是表示检测姿势走形的处理顺序的子流程。
图18是表示向驾驶员报告姿势走形等级的形态的图。
具体实施方式
以下，参照附图对将驾驶员的驾驶不能状态检测装置具体化的实施方式进行说明。应予说明，在本实施方式中，驾驶员的驾驶不能状态包括：驾驶员急病病发失去意识，不能够进行驾驶操作的状态；以及驾驶员心脏病发作等急病病发，虽然有意识但由于不能够使身体动作而不能够进行驾驶操作的状态。
首先，参照图1～3对本实施方式所涉及的检测装置100(驾驶员的驾驶不能状态检测装置)的构成进行说明。检测装置100具备控制装置50、驾驶员状态识别装置20、车辆信息识别装置30、行驶环境识别装置40、HMI(Human Machine Interface)80、以及存储装置52，检测驾驶员的驾驶不能状态。并且，检测装置100在向驾驶员确认驾驶员是驾驶不能状态而没有响应的情况下，将使车辆安全停止的指令发送给车辆控制装置90。
驾驶员状态识别装置20具备多个驾驶员摄像机21、安全带传感器22、以及座面传感器23。驾驶员摄像机21与拍摄装置对应，安全带传感器22与量检测部对应，座面传感器23与座压检测部对应。驾驶员摄像机21例如是CCD摄像机，拍摄被近红外LED等照明装置照射的驾驶席。驾驶员摄像机21如图2以及3所示那样，分别朝向驾驶员搭载于仪表盘14、后视镜16的下端的大致中央、左右的A支柱17。也可以代替仪表盘14，在仪表台13上(以虚线表示)、转向柱设置驾驶员摄像机21。另外，也可以代替后视镜16的下端，设置于后视镜16的左端、右端(以虚线表示)。这4个驾驶员摄像机21构成驾驶员状态监视器，从正面侧1秒拍摄数十个坐在驾驶席的座椅11上的驾驶员的上半身图像。
安全带传感器22是检测安全带12的抽出量的传感器。具体地说，安全带传感器22是检测进行安全带12的送出以及卷绕的马达的旋转角度的编码器。座面传感器23是检测驾驶席的座椅11的座部11a的压力分布的传感器。
车辆信息识别装置30具备车速传感器31、舵角传感器32、加速器传感器33、以及制动器传感器34。车速传感器31是检测车辆10的速度的传感器。舵角传感器32是检测方向盘15的操舵角的传感器。加速器传感器33是检测加速器开度即加速器踏板的操作量的传感器。制动器传感器34是检测制动器踏板的操作量的传感器。
行驶环境识别装置40具备前方、后方摄像机41、前方、后方传感器42、车辆导航装置43、以及G传感器44。前方、后方摄像机41是拍摄包括道路的白线的车辆10的前方的摄像机、拍摄车辆10的后方以及后侧方的摄像机。前方、后方传感器42是超声波传感器、激光雷达、毫米波雷达等传感器，检测车辆10的前方、后方的物体，获取车辆10与前方、后方的物体的距离。基于由前方、后方传感器42获取的车辆10与前方车辆、后方车辆的距离，能够计算出与前方车辆、后方车辆的相对速度。
车辆导航装置43使用由GPS接收机接收到的GPS信号、由包括G传感器的各种传感器获取的信息计算出车辆10的当前位置，并计算出从当前位置至目的地的引导路径。G传感器44例如设置于座椅11，是检测车辆10的前后、左右、上下的三维的加速度的传感器。另外，G传感器44也可以是车辆导航装置43具备的传感器，在车辆10具备车辆运行管理系统(AVOS)的情况下，G传感器44也可以是AVOS具备的传感器。即，在有以其它的用途设置的装置、系统的情况下，共享G传感器44即可。
控制装置50是具备CPU、ROM、RAM以及I/O等的微型计算机，从驾驶员状态识别装置20、车辆信息识别装置30、行驶环境识别装置40、存储装置52、以及HMI80获取各种信息。控制装置50与各种装置通过CAN等有线通信、LAN、Bluetooth(注册商标)等无线通信连接。另外，控制装置50通过CPU执行存储于ROM的各种程序来实现图像解析部60、学习部51、状态检测部70的功能，检测驾驶员的驾驶不能状态。后面叙述关于各部的详细的说明。
HMI80(姿势报告部，确认部)具备显示器81、扬声器82、以及取消开关83。显示器81是车辆导航装置43的显示器、设置在仪表盘14内的车载显示器。显示器81可以是具备液晶面板、有机EL面板的触摸显示器。显示器81基于从图像检测出的驾驶员的姿势报告驾驶员的姿势的走形程度。详细而言，显示器81以5个等级显示驾驶员的姿势的状态。走形程度最高的姿势走形等级5是驾驶员急病病发而不能够维持驾驶姿势的状态，即被判断为驾驶不能状态的等级。由于驾驶员能够观察显示于显示器81的姿势的状态，确认自己的驾驶姿势，因此，在姿势走形等级接近5的情况下，能够在被判断为驾驶不能状态前修正驾驶姿势。
扬声器82是与车辆导航装置43、音频装置等共用的车载扬声器。扬声器82在检测到驾驶员的驾驶不能状态的情况下，通过声音向驾驶员确认是否是驾驶不能状态。应予说明，显示器81也可以显示确认驾驶不能状态的画面。另外，扬声器82也可以通过声音报告驾驶员的姿势走形等级。
取消开关83是中止驾驶不能状态的检测的开关。若取消开关83被操作1次，则在1个单行程的期间，驾驶不能状态的检测被中止。另外，在单行程中操作了取消开关83的情况下，在操作取消开关83的期间、或者从操作开始经由一定时间(几秒左右)，驾驶不能状态的检测被中止。因而，在驾驶员进行取物品的动作时，若预先操作取消开关83，则即使驾驶员的姿势走形，也不存在误检测为是驾驶不能状态的可能性。
接下来，参照图4对控制装置50实现的各种功能进行说明。图像解析部60包括头部检测部61、轨迹获取部62、痉挛检测部63、倾斜检测部64、脸朝向检测部65、眼白检测部66。
头部检测部61基于由驾驶员摄像机21拍摄的驾驶席的图像逐次检测比驾驶员的脖子靠上的头部。详细而言，头部检测部61在每次由驾驶员摄像机21拍摄驾驶席的图像时，从驾驶席的图像提取表现驾驶员的头部的轮廓的边缘，并检测被提取出的边缘围起的区域作为头部。
轨迹获取部62根据由头部检测部61逐次检测出的驾驶员的头部的位置获取驾驶员的头部的轨迹。轨迹获取部62例如将在各图像中检测出的驾驶员的头部的中心作为头部的位置，并将各图像中的头部的位置相连来获取头部的轨迹。
痉挛检测部63检测驾驶员的痉挛，即检测比驾驶员的头部以及脖子靠下的躯体部的肌肉的不自主的收缩。详细而言，痉挛检测部63在各图像中提取表现驾驶员的头部以及躯体部的轮廓的边缘，在连续的图像中提取出的边缘规则性(周期性)地振动的情况下，检测出驾驶员痉挛。
倾斜检测部64基于驾驶席的图像来检测相对于驾驶员的躯体部的头部的倾斜θ。详细而言，倾斜检测部64检测被表现头部以及躯体部的轮廓的边缘围起的区域分别作为头部以及躯体部，并且检测头部以及躯体部的中心轴线。并且，倾斜检测部64将相对于躯体部的中心轴线的头部的中心轴线的倾斜作为头部的倾斜θ。对于躯体部的中心轴线而言，进行预先准备的躯体部的朝向的图案与检测出的躯体部的朝向的匹配来确定躯体部的朝向，并根据确定了朝向的躯体部来检测。另外，对于头部的中心轴线，提取头部所包括的脸的眼睛、鼻、嘴等特征点，并根据脸的特征点的三维的配置来检测。在头部向前方倾斜的情况下，脸的特征点与车辆前方的距离接近，在头部后仰的情况下，脸的特征点与车辆前方的距离远离。在检测头部的中心轴线时，也可以使用车辆的前后方向的脸的特征点的距离。
或者，倾斜检测部64从驾驶席的图像检测驾驶席的安全带12，并根据安全带12与头部的位置关系检测相对于躯体部的头部的倾斜θ。由于驾驶员的躯体部被安全带12拘束，因此，能够根据安全带12的位置推断出躯体部的位置。
脸朝向检测部65基于驾驶席的图像来检测相对于车辆10的前方的驾驶员的脸的朝向。脸朝向检测部65检测相对于与车辆10的前面对置的垂直平面的脸面的倾斜作为脸朝向。
]眼白检测部66包括表情检测部67以及眼白程度计算部68，检测驾驶员翻白眼的状态。在此，翻白眼的状态不限于图15C所示那样完全翻白眼的状态，也包括图15B所示那样眼黑区域比规定量小的状态。即，翻白眼的状态是指由于眼黑偏斜导致视野比规定范围窄的状态。
表情检测部67基于驾驶席的图像来检测驾驶员的眼睛的轮廓以及眼黑区域。在此，驾驶员的眼睛的轮廓是眼睑与眼睛的分界线。另外，眼黑区域是在眼睛的轮廓的内侧的区域，与眼白相比明度较低的区域，并不局限于黑色，是带有蓝色、茶色、灰色等颜色的区域。另外，表情检测部67根据提取出的表现嘴的轮廓的边缘来检测驾驶员的嘴的张开。
眼白程度计算部68基于由表情检测部67检测出的眼睛的轮廓以及眼黑区域来计算驾驶员的眼睛的眼白程度。
具体地说，眼白程度计算部68根据被眼睛的轮廓围起的区域的纵向的长度Lw+Lb与眼黑区域的纵向的长度Lb的比来计算眼白程度(参照图15A至图15C)。相对于长度Lw+Lb的长度Lb越小，眼白程度越大。或者，眼白程度计算部68基于从眼睛的轮廓的上部至眼黑区域的最下部的距离Lb来计算眼白程度。距离Lb越小，眼白程度越大。或者，眼白程度计算部68基于从被眼睛的轮廓围起的眼睛整体的区域的面积去除眼黑区域的面积而得的眼白区域的面积与眼黑区域的面积的比来计算眼白程度。相对于眼白区域的面积的眼黑区域的面积越小，眼白程度越大。
或者，眼白程度计算部68基于眼黑区域的扁平率来计算眼白程度。在翻白眼的状态下，由于眼黑区域朝向上侧，因此，眼黑区域的扁平率在外观上变大，眼黑区域的扁平率越大，眼白程度越大。或者，眼白程度计算部68基于从成为被眼睛的轮廓围起的区域的纵向的中心的中心线至眼黑区域的最下部的距离Lc来计算眼白程度。
学习部51学习在驾驶员不是驾驶不能状态的情况下，由倾斜检测部64检测出的头部的倾斜θ。另外，学习部51学习在驾驶员不是驾驶不能状态的情况下，由脸朝向检测部65检测出的脸的朝向。并且，学习部51学习在驾驶员不是驾驶不能状态的情况下，由头部检测部61检测出的头部的摆动的振幅。即，学习部51学习驾驶员的驾驶姿势的癖好。在驾驶车辆10的驾驶员有多人的情况下，按照各驾驶员学习驾驶姿势的癖好。
状态检测部70包括出画状态检测部71、姿势走形状态检测部72、朝向走形状态检测部73、摆动状态检测部74、以及眼白状态检测部75。
出画状态检测部71在车辆10的行驶中判断出画(frame out)，在出画的情况下，检测出驾驶员为驾驶不能状态。详细而言，出画状态检测部71在由头部检测部61检测出的驾驶员的头部从图像的范围FA脱离的情况下，检测检测驾驶员为驾驶不能状态。在此，范围FA是由驾驶员摄像机21拍摄的图像中的规定的范围。在通常的驾驶时，不存在驾驶员的头部从范围FA脱离的情况。也可以使范围FA为被拍摄的图像的整体。
在驾驶员正常驾驶车辆10的情况下，即使如图6所示那样，驾驶员进行取物品的动作，驾驶员的头部也多收纳于图像的范围FA。与此相对，若急病病发，驾驶员失去意识，则如图5A至图5C所示那样，存在驾驶员的头部从范围FA脱离的情况。因而，出画状态检测部71在驾驶员的头部从图像的范围FA脱离的情况下检测驾驶员为驾驶不能状态。
此时，出画状态检测部71若考虑在头部从范围FA脱离前由轨迹获取部62获取的轨迹，则能够使检测驾驶员的驾驶不能状态的精度提高。由于通过使用头部的轨迹能够辨别由图像的不清晰等导致在范围FA内检测不到驾驶员的头部的情况、和驾驶员的头部移动而在范围FA内检测不到的情况，因此，驾驶员的驾驶不能状态的检测精度提高。
此外，在驾驶员暂时使头部移动的情况、由于图像的不清晰等导致成为头部的无法检测的情况下，在轨迹的最终位置附近能够再次检测到头部的情况较多。因而，在由头部检测部61检测不到头部的情况下，头部检测部61在由轨迹获取部62获取的轨迹的最终位置附近搜索。这样，即使在驾驶员的头部成为无法检测的情况下，也能够使用头部的轨迹来高效地进行再次的头部检测。
姿势走形状态检测部72在车辆10的行驶中进行驾驶员的姿势走形的判断，在姿势走形的情况下，检测驾驶员为驾驶不能状态。详细而言，姿势走形状态检测部72在由倾斜检测部64检测到的头部的倾斜θ比阈值Th1(相对倾斜阈值)大的情况下，检测驾驶员为驾驶不能状态。
通常，由于驾驶员的躯体部被驾驶席的座椅11、安全带12拘束，因此，即使驾驶员失去意识，躯体部也比较不易动作。另一方面，由于驾驶员的头部不被拘束的情况较多，因此，需要以驾驶员的意思维持头部的位置。因此，若急病病发，驾驶员失去意识，则驾驶员不能够维持头部的位置，如图7A和图7B所示那样，头部相对于躯体部向任意的方向较大地倾斜的情况较多。
与此相对，在行驶中驾驶员往旁边看时，驾驶员一般转头观察，因此如图8所示那样，相对于躯体部的头部的倾斜较小的情况较多。另外，在驾驶员取远离驾驶席的位置的物品时，驾驶员一般有意识地使躯体部倾斜，因此，如图9所示那样，相对于躯体部的头部的倾斜θ较小的情况较多。因此，姿势走形状态检测部72在头部的倾斜θ比阈值Th1大的情况下，检测驾驶员为驾驶不能状态。此时，姿势走形状态检测部72若进一步将驾驶员的脸未朝向车辆10的前方作为条件来检测驾驶员为驾驶不能状态，则能够抑制驾驶不能状态的误检测。
朝向走形状态检测部73在车辆10的行驶中进行驾驶员的脸朝向的走形的判断，在脸朝向走形的情况下，检测驾驶员为驾驶不能状态。详细而言，朝向走形状态检测部73在由脸朝向检测部65检测出的相对于车辆10的前方的脸的朝向超过时间T2(朝向走形判断时间)比阈值Th2(脸朝向阈值)大的情况下，检测驾驶员为驾驶不能状态。
一般而言，若急病病发，则驾驶员不能够维持脸的朝向，如图10A和图10B所示那样，成为相对于车辆10的前方的脸的朝向走形持续的状态。与此相对，在行驶中驾驶员往旁边看时，一般即使驾驶员改变脸的朝向也立即回复的情况较多。因而，朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。
或者，朝向走形状态检测部73在由脸朝向检测部65检测出的相对于车辆10的前方的脸的朝向比阈值Th2大且驾驶员放开方向盘15的情况下，检测驾驶员为驾驶不能状态。对于驾驶员是否放开方向盘15，可以从图像检测，也可以由设置于方向盘15的压力传感器等来检测。
一般而言，若急病病发，则驾驶员不能够维持脸的朝向，如图10A和图10B所示那样，相对于车辆10的前方的脸的朝向走形并且驾驶员放开方向盘15的情况较多。与此相对，在行驶中驾驶员往旁边看时，如图11所示那样，一般而言，驾驶员在把持方向盘15的状态下改变脸的朝向的情况较多。另外，在驾驶员往旁边看时，也存在不倾斜头部，仅转动脖子改变脸朝向的情况。因而，朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。
或者，朝向走形状态检测部73在由脸朝向检测部65检测出的脸的朝向比阈值Th2大且加速器开度比规定开度大的情况下，检测驾驶员为驾驶不能状态。
一般而言，在行驶中驾驶员往旁边看时，在安全方面不较大地踩踏加速器的情况较多。因此，在相对于车辆10的前方的脸的朝向比阈值Th2大且加速器开度比规定开度大的情况下，不是由于往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因而，朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。
或者，朝向走形状态检测部73在由脸朝向检测部65检测出的脸的朝向比阈值Th2大且在比时间T3(操作判断时间)长的时间未进行加速器操作以及制动器操作的情况下，检测驾驶员为驾驶不能状态。
一般而言，若急病病发，则相对于车辆10的前方的脸的朝向走形，并且在比时间T3长的时间不进行加速器操作以及制动器操作。与此相对，在行驶中驾驶员往旁边看时，一般而言，驾驶员改变脸的朝向并且在时间T3内进行加速器操作或者制动器操作的情况较多。因而，朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。
摆动状态检测部74在车辆10的行驶中判断伴随外力的驾驶员的头部的摆动状态，在头部进行与通常不同的摆动的情况下，检测驾驶员为驾驶不能状态。详细而言，摆动状态检测部74在从对车辆10施加外力后经过时间T5(摆动判断时间)为止的期间，由头部检测部61检测出的头部的摆动的振幅比振幅Am1(第一振幅)小的情况下，或者比振幅Am2(第二振幅)大的情况下，检测驾驶员为驾驶不能状态。振幅Am2是比振幅Am1大的值。
若如图12所示那样，对车辆10施加外力，则在规定的时间差后，振动传递至驾驶员。通常，在驾驶员有意识的情况下，在对车辆10施加外力(详细而言是上下方向的外力)时，如图13所示那样，驾驶员的头部以振幅Am1至振幅Am2的范围内的振幅摆动。与此相对，若驾驶员急病病发，身体僵直，则头部的摆动的振幅比正常时小。另外，若驾驶员急病病发，身体弛缓，则头部的摆动的振幅比正常时大。因而，摆动状态检测部74在上述的情况下检测驾驶员的驾驶不能状态。
应予说明，时间T5是从对车辆10施加外力后至驾驶员的动作成为与外力无关系的动作的时间。另外，振幅Am1以及振幅Am2是时间的函数，图13示出其1个例子。在摆动状态的判断中，也可以简单地将从施加外力后至时间T5经过的期间的振幅Am1的最小值以及振幅Am2的最大值作为阈值。
眼白状态检测部75在车辆10的行驶中进行眼白的判断，在由眼白检测部66检测到翻白眼的状态的情况下，检测驾驶员为驾驶不能状态。详细而言，眼白状态检测部75在由眼白程度计算部68计算出的眼白程度比阈值Th3(眼白阈值)大的情况下，检测驾驶员为驾驶不能状态。
通常，在驾驶员能够驾驶的状态的情况下，不存在驾驶员翻白眼的情况。与此相对，若驾驶员急病病发，则如图14A和图14B所示那样，存在驾驶员翻白眼的情况。因而，眼白状态检测部75在检测到翻白眼的状态的情况下，检测驾驶员为驾驶不能状态。
在存储装置52(存储部)存储有被各状态检测部使用的各阈值以及各判断值。并且，在存储装置52存储由学习部51学习到的头部的倾斜θ、脸的朝向以及头部的摆动的振幅。另外，在存储装置52登录有包括驾驶员的病历以及年龄的个人信息。在驾驶员有多人的情况下，登录各驾驶员的个人信息。另外，在存储装置52登录有不判断为驾驶不能状态的驾驶员的姿势、以及判断为驾驶不能状态的驾驶员的姿势。不判断为驾驶不能状态的驾驶员的姿势例如是通常的驾驶姿势、在驾驶中经常进行的姿势。判断为驾驶不能状态的驾驶员的姿势例如是有老病的驾驶员发作时进行的姿势。驾驶员预先在驾驶席利用驾驶员摄像机21拍摄欲登录的姿势，并登录于存储装置52。
接下来，参照图16A和图16B的流程图对检测驾驶员的驾驶不能状态的处理顺序进行说明。控制装置50执行本处理顺序。
首先，判断车辆10的车速是否在V以下(S10)。V可以是0km/h(停车)，或是充分低至能够视作停车的程度的速度(例如1km/h)。在车速为V以下(S10：是)的情况下，反复执行S10的判断，直至判断为车速比V高。在车速比V高的情况(S10：否)下，判断为在行驶中，开始驾驶员的驾驶不能状态的检测处理，最初进行出画的判断。
在此，在S10的判断中，也可以也判断驾驶员是否在进行驾驶操作，在进行驾驶操作的情况下，反复执行S10的判断，在行驶中且未进行驾驶操作的情况下，开始驾驶员的驾驶不能状态的检测处理。例如，判断车辆10的车速是否为V2(例如50km/h)以上、或者由舵角传感器32检测出的操舵角是否为规定的角度以上、或者操舵角速度是否为规定的角速度以上。V2是能够视作驾驶员进行加速器踏板的操作的值，规定的角度、以及规定的角速度是能够视作驾驶员进行方向盘操作的值。在满足上述3个条件的至少一个条件的情况下，视为驾驶员进行驾驶操作，不开始驾驶员的驾驶不能状态的检测处理。
在出画的判断中，首先，根据驾驶席的图像检测驾驶员的头部以及躯体部(S11)。此时，检测驾驶员的头部所包括的脸的特征点，进行驾驶员的认证。应予说明，驾驶员的认证可以预先通过与智能电话等便携终端的通信来进行，也可以通过与登录了个人信息的车辆10的钥匙的通信来进行。
接下来，判断是否能够检测到头部位置(S12)。在不能够检测到头部位置的情况下(S12：否)，根据在下述的S19的处理中记录的头部位置获取头部的轨迹信息，并判断轨迹信息是否表示出画(S13)。即，判断头部位置的无法检测是由头部超出到拍摄范围外引起的无法检测、还是由图像的不清晰等引起的无法检测。
在头部的轨迹信息不表示出画的情况下(S13：否)，判断为是由暂时的图像的不清晰等引起的无法检测，返回至S10的处理。另一方面，在头部的轨迹信息表示出画的情况下(S13：是)，判断为头部超出到拍摄范围外。在该情况下，获取为了确认头部存在于拍摄范围外而辅助使用的、安全带传感器22以及座面传感器23的信息(S14)。
接下来，判断是否是持续时间T0(出画判断时间)以上出画的状态(S15)。详细而言，判断是否是持续时间T0以上，头部位置从范围FA脱离，且安全带12的抽出量比在安全带12的佩戴时检测出的抽出量多至超出第一抽出量，且在座部11a的压力分布中高压部分偏于座部11a的端部。并且，在满足上述3个条件的情况下，判断为是超过时间T0出画的状态。此时，也可以进一步将由安全带传感器22检测出的量检测时间平均的抽出量、即安全带12的抽出速度比第二抽出量多作为条件。
应予说明，也可以不使用安全带传感器22以及座面传感器23的信息。即，也可以不执行S14的处理，仅在S15的处理中判断是否持续时间T0以上，头部位置从范围FA脱离。
在此，时间T0基于登录于存储装置52的个人信息来设定。例如，年龄大的人与年龄小的人相比，使时间T0较短。另外，有特定的病历的人与没有特定的病历的人相比，使时间T0较短。并且，时间T0根据驾驶员的状态、行驶环境变更。在显现出驾驶员成为驾驶不能状态的征兆的状态、驾驶员为驾驶不能状态的可能性较高的状态、驾驶员成为驾驶不能状态的情况下，碰撞的可能性较高的行驶环境中，缩短时间T0从而容易检测到驾驶员的驾驶不能状态。
具体地说，在S19的处理中记录的头部位置以比规定振幅大的振幅振动的情况下，即在头部摇摇晃晃摆动的情况下，成为驾驶不能状态的概率较高，因此缩短时间T0。另外，头部的移动速度越大，不是取物品时的姿势走形而是由急病引起的姿势走形的可能性较高。因而，在获取的头部的轨迹信息中，头部位置的移动速度越大，使时间T0越短。另外，在由急病引起的姿势走形的情况下，头部越接近范围FA的边端，头部的移动速度越大的情况较多。因而，在头部越接近范围FA的边端，头部的移动速度越大的情况下，不是取物品时的姿势走形而是由急病引起的姿势走形的可能性较高。因此，在记录的头部位置越接近范围FA的边端，头部的移动速度越大的情况下，越使时间T0较短。另外，在检测到痉挛的情况下，成为驾驶不能状态的概率较高，因此，缩短时间T0。
另外，为了避免碰撞，车速越快越需要较早地开始适当的车辆控制，因此，车辆10的车速越高越使时间T0较短。另外，为了避免碰撞，将与先行车辆的车间距离除以与先行车辆的相对速度而得的TTC(碰撞充裕时间)越短，越需要较早地开始适当的车辆控制，因此，TTC越短越使时间T0较短。另外，在车辆10中执行ACC(Adaptive Cruise Control)、LKA(Lane Keep Assist)等驾驶支援控制的情况下，存在驾驶员长时间使姿势走形的情况，延长时间T0。并且，也可以在统计出来的心脏病发作等急病容易病发的星期、时间段缩短时间T0。
在不是持续时间T0以上出画的状态的情况下(S15：否)，进入至S21的处理。在是持续时间T0以上出画的状态的情况下(S15：是)，检测驾驶员为驾驶不能状态，并向驾驶员确认是否是驾驶不能状态。详细而言，通过来自扬声器82的声音、在显示器81上的显示、指示灯(未图示)的闪烁等来通过驾驶不能状态的检测，并判断是否在规定的时间内从驾驶员有响应(S16)。
在规定的时间内检测到驾驶员的对触摸显示器的接触、驾驶员的声音、方向盘15、制动器等的车辆10的操作、特定的开关的操作等的任意一个的情况下，判断为从驾驶员有响应(S16：否)。在未检测到上述的任意一个的情况下，判断为从驾驶员无响应(S16：是)。
并且，在判断为从驾驶员有响应的情况下，通过来自扬声器82的声音、或者在显示器81上的显示等通知识别为能够进行由驾驶员进行的驾驶(S17)。另一方面，在判断为从驾驶员无响应的情况下，向车辆控制装置90发出指示，以便进行适当的制动以及操舵，安全停车。另外，为了向周围的车辆报告状况，向车辆控制装置90发出头灯的灯光以及喇叭的鸣响的指示(S18)。并且，也向车辆10的其它的搭乘者报告状况。
接下来，在S12的处理中判断为能够检测到头部位置的情况下(S12：是)，记录头部以及躯体部的位置(S19)。能够根据在各图像中记录的头部的位置获取头部的轨迹信息。
接着，判断头部位置是否超出到预先设定的范围FA外(S20)。在即使头部位置在拍摄范围内也超出到范围FA外的情况下(S20：是)，进入至S15的处理，进行出画的判断。
接着，基于头部以及躯体部的位置关系判断驾驶员的姿势是否是预先登录于存储装置52的判断为驾驶不能状态的姿势(S21)。在驾驶员的姿势是判断为驾驶不能状态的姿势的情况下(S21：是)，检测驾驶员为驾驶不能状态，进入S16的确认处理。
在驾驶员的姿势不是判断为驾驶不能状态的姿势的情况下(S21：否)，判断驾驶员的姿势是否是预先登录于存储装置52的不判断为驾驶不能状态的姿势(S22)。在驾驶员的姿势是不判断为驾驶不能状态的姿势的情况下(S22：是)，返回至S10的处理。在驾驶员的姿势与不判断为驾驶不能状态的姿势不同的情况下(S22：否)，接下来进行姿势走形的判断。
首先，判断是否检测到姿势走形(S23)。详细而言，通过图17的子流程的处理来检测姿势走形。首先，计算头部的倾斜以及头部的倾斜的方向(S231)。接着，计算躯体部的倾斜以及躯体部的倾斜的方向(S232)。接着，计算计算出的躯体部的倾斜与头部的倾斜所形成的角度、即相对于躯体部的头部的倾斜θ(S233)。在未检测到驾驶员的驾驶不能状态的情况下学习计算出的头部的倾斜θ。并且，在计算出的头部的倾斜θ比阈值Th1(相对倾斜阈值)大的情况下，检测出姿势走形(S234)。并且，在未检测到姿势走形的情况下(S23：否)，进入S25的脸朝向走形的判断。
在检测到姿势走形的情况下(S23：是)，判断是否持续时间T1以上，头部的倾斜θ比阈值Th1大，且脸未朝向车辆10的前方(S24)。
此时，也可以简单地将持续时间T1以上，仅头部的倾斜θ比阈值Th1大，或者仅将脸未朝向车辆10的前方作为条件。另外，此时，也可以进一步将持续时间T1以上，计算出的头部的倾斜的方向以及躯体部的倾斜的方向不变动，即头部的位置以及躯体部的位置在范围UA(不动判断范围)内作为条件。范围UA是能够视作头部以及躯体部不动作的范围。另外，也可以将计算出的头部的倾斜θ大至比学习到的头部的倾斜超过判断值D1(倾斜判断值)作为条件。另外，也可以将比时间T3(操作判断时间)长的时间未操作方向盘15作为条件。
在此，时间T1与时间T0相同，基于登录于存储装置52的个人信息来设定，根据车速、TTC、驾驶支援控制的执行的有无来变更。另外，阈值Th1在检测到痉挛的情况下减小。并且，与时间T0相同，在统计出的心脏病发作等急病容易病发的星期、时间段，也可以缩短时间T1。
在超过时间T1，头部的倾斜θ比阈值Th1大且脸未朝向车辆10的前方的情况下(S24：是)，检测驾驶员为驾驶不能状态，进入至S16的确认处理。另外，在不是持续时间T1以上，头部的倾斜θ比阈值Th1大、或者脸朝向车辆的前方的情况下(S24：否)，接下来进行脸朝向走形的判断。
首先，判断是否检测到脸朝向的走形(S25)。详细而言，检测相对于车辆的前方的驾驶员的脸的朝向。并且，在检测出的脸的朝向比阈值Th2(脸朝向阈值)大的情况下，检测出脸朝向的走形。在未检测到脸朝向的走形的情况下(S25：否)，进入至S28的摆动状态的判断。应予说明，在未检测到驾驶员的驾驶不能状态的情况下学习检测出的脸的朝向。
在检测到脸朝向的走形的情况下(S25：是)，判断是否持续时间T2(朝向走形判断时间)以上，脸朝向比阈值Th2大(S26)。
在此，时间T2与时间T0相同，基于登录于存储装置52的个人信息来设定，根据车速、TTC、驾驶支援控制的执行的有无来变更。并且，与时间T0相同，也可以在统计出的心脏病发作等急病容易病发的星期、时间段缩短时间T2。另外，阈值Th2在检测到痉挛的情况下减小。
在持续时间T2以上，脸朝向比阈值Th2大的情况下(S26：是)，检测驾驶员为驾驶不能状态，进入至S16的确认处理。
在不是持续时间T2以上，脸朝向比阈值Th2大的情况下(S26：否)，接下来，判断是否持续时间T3以上，驾驶员释放方向盘15或者加速器开度比规定开度大或者没有加速器操作以及制动器操作(S27)。在满足S27的处理中的3个条件的至少一个条件的情况下(S27：是)，检测驾驶员为驾驶不能状态，进入至S16的确认处理。在S27的处理中的3个条件都不满足的情况下(S27：否)，接下来进行摆动状态的判断。
在此，在S26的判断中，也可以进一步将满足S27的处理中的3个条件的至少一个作为条件。另外，在S26以及S27的判断中，也可以进一步将检测出的脸的朝向比学习到的脸的朝向大至超过判断值D1(倾斜判断值)作为条件。另外，一般而言，由于在驾驶员的手持续处于比驾驶员的脖子靠上的状态下不存在成为驾驶不能状态的情况，因此，也可以将驾驶员的手处于比驾驶员的脖子靠下作为条件。
接下来，在摆动状态的判断中，判断是否检测到相对于外力与通常不同的头部的摇晃(S28)。详细而言，判断在从对车辆10施加外力至时间T5(摆动判断时间)经过的期间，头部的摆动的振幅是否比振幅Am1(第一振幅)小、或者比振幅Am2(第二振幅)大。
此时，也可以进一步将在从对车辆10施加外力至时间T5经过的期间，头部以与通常不同的振幅振动，在时间T5经过后，头部的位置处在范围UA内作为条件。即，也可以将头部随着外力振动，且在外力的影响消失后头部的位置不变动作为条件。另外，也可以在未检测到驾驶员为驾驶不能状态的情况下，学习头部的摆动的振幅，将检测到的头部的摆动的振幅比学习到的头部的摆动的振幅大至超过判断值D2(振幅判断值)作为条件。另外，也可以将持续时间T3以上未操作方向盘15作为条件。
在检测到相对于外力与通常不同的头部的摇晃的情况下(S28：是)，检测驾驶员为驾驶不能状态，进入至S16的确认处理。在未检测到相对于外力与通常不同的头部的摇晃的情况下(S28：否)，接下来进行眼白状态的判断。
首先，判断是否检测到翻白眼的状态(S29)。详细而言，在计算出的眼白程度比阈值Th3(眼白阈值)大的情况下，判断为检测到翻白眼的状态。在此，分别计算驾驶员的两眼的眼白程度，将两眼的眼白程度分别比阈值Th3大作为条件，判断为检测到翻白眼的状态。但是，在仅检测到单方的眼睛的情况下、简单地检测翻白眼的状态的情况下，也可以仅以单方的眼睛的眼白程度来判断翻白眼的状态的检测。
在判断为未检测到翻白眼的状态的情况下(S29：否)，由于在出画判断、姿势走形判断、脸朝向走形判断、摆动状态判断、以及眼白状态判断的全部的判断中未检测到驾驶员为驾驶不能状态，因此，返回至S10的处理。
在判断为检测到翻白眼的状态的情况下(S29：是)，判断是否持续时间T4(眼白判断时间)以上，眼白程度比阈值Th3大(S30)。此时，也可以进一步将持续时间T3以上未操作方向盘15作为条件。
在此，时间T4与时间T0相同，基于登录于存储装置52的个人信息来设定，根据车速、TTC变更。另外，阈值Th3在检测到痉挛的情况下减小。并且，与时间T0相同，也可以在统计出的心脏病发作等急病容易病发的星期、时间段缩短时间T4。
在不是持续时间T4以上，眼白程度比阈值Th3大的情况下(S30：否)，返回至S10的处理。在持续时间T4以上，眼白程度比阈值Th3大的情况下(S30：是)，检测出驾驶员的驾驶不能状态，进入至S16的确认处理。通过上述结束本处理。
应予说明，基于检测出的相对于躯体部的头部的倾斜θ、检测出的脸的朝向、检测出的头部的位置，如图18所示那样，将驾驶员的姿势走形程度显示于显示器81。检测出的头部的倾斜θ越大，使姿势走形等级越高。另外，检测出的脸的朝向越大，使姿势走形等级越高。另外，检测出的头部的位置越远离驾驶时的标准位置，使姿势走形等级越高。驾驶时的标准位置为车辆10的起动时的头的位置、或者未检测到驾驶员为驾驶不能状态时的头部的平均位置。
根据以上说明的本实施方式，起到以下的效果。
通过在驾驶员的头部从范围FA脱离的情况下，检测驾驶员为驾驶不能状态，能够简单地检测驾驶员的驾驶不能状态。并且，若考虑直至头部从范围FA脱离的轨迹，则能够使检测驾驶员的驾驶不能状态的精度提高。
在驾驶员取远离驾驶席的位置的物品时，即使头部暂时地远离范围FA也返回至范围FA的情况较多。因而，通过将超过时间T0，驾驶员的头部从范围FA脱离作为条件，能够抑制驾驶员的驾驶不能状态的误检测。
若将范围FA设为图像的整体，则在图像中不存在驾驶员的头部的情况下，检测驾驶员为驾驶不能状态，因此，能够使检测处理更加简单。
认为在由于急病导致驾驶员的姿势走形的情况下，安全带12的抽出量比佩戴时的抽出量大至超过第一抽出量。另外，知道即使在驾驶员的头部成为无法检测的情况下，在安全带12的抽出量比佩戴时的抽出量大至超出第一抽出量时，驾驶员的头部也存在于从拍摄范围脱离的位置。因而，通过将安全带12的抽出量比佩戴时的抽出量大至超过第一抽出量作为条件，能够高精度地检测驾驶员的驾驶不能状态。
在急病病发时与取物品时相比，驾驶员的姿势急剧地走形的情况较多。因此，在急病病发时与取物品时相比，安全带12被急剧地抽出的情况较多。因而，通过将量检测时间平均的安全带12的抽出量比第二抽出量多作为条件，能够抑制驾驶员的驾驶不能状态的误检测。
认为在由于急病导致驾驶员的姿势走形的情况下，驾驶席的座部11a的压力分布中的高压部分偏于座部11a的端部。另外，知道即使在驾驶员的头部成为无法检测的情况下，在驾驶席的座部11a的压力分布中的高压部分偏于座部的端部时，驾驶员的头部也存在于从拍摄范围脱离的位置。因而，通过将座部11a的压力分布中的高压部分偏于座部11a的端部作为条件，能够高精度地检测驾驶员的驾驶不能状态。
通过在检测到比规定振幅大的头部的振动的情况下，即头部摇晃摆动的情况下，缩短时间T0，能够缩短驾驶员的驾驶不能状态的判断所需要的时间。进而，能够较早地开始驾驶员的驾驶不能状态时的车辆控制的执行。
通过头部的移动速度越大，越使时间T0较短，能够缩短驾驶员的驾驶不能状态的判断所需要的时间。
通过在头部越接近范围FA的边端，头部的移动速度越大的情况下，缩短驾驶不能状态的判断所需要的时间，能够缩短驾驶员的驾驶不能状态的判断所需要的时间。
在相对于躯体部的头部的倾斜θ比阈值Th1大的情况下，不是取物品时等的姿势走形而是由于急病引起的姿势走形的可能性较高。因此，通过在相对于躯体部的头部的倾斜θ比阈值Th1大的情况下，检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。
认为在行驶中，驾驶员有意识地进行相对于躯体部使头部较大地倾斜的动作的情况下，在安全方面，驾驶员保持使脸朝向车辆10的前方的状态。因而，通过将脸未朝向车辆10的前方作为条件，能够抑制误检测驾驶员的驾驶不能状态。
认为在行驶中，驾驶员有意识地进行相对于躯体部使头部较大地倾斜的动作的情况下，在安全方面，驾驶员使头部的位置立即返回至原来的位置。因而，通过将超过时间T1，头部相对于躯体部较大地倾斜作为条件，能够抑制误检测驾驶员的驾驶不能状态。
通过将超过时间T1，头部相对于躯体部一直较大地倾斜，且头部与躯体部的位置不变动作为条件，能够抑制误检测驾驶员的驾驶不能状态。
通过将检测出的头部的倾斜θ比学习到的头部的倾斜大至超过判断值D1作为条件，即使在驾驶员有使头部相对于躯体部倾斜的姿势的癖好的情况下，也能够抑制误检测驾驶员的驾驶不能状态。
在相对于车辆10的前方的脸的朝向超过时间T2比阈值Th2大的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过在上述情况下检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。
在相对于车辆10的前方的脸的朝向比阈值Th2大，且驾驶员释放方向盘15的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过在上述情况下检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。
在相对于车辆10的前方的脸的朝向比阈值Th2大，且加速器开度比规定开度大的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过在上述情况下检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。
在相对于车辆10的前方的脸的朝向比阈值Th2大，且在比时间T3长的时间未进行加速器以及制动器的操作的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过在上述情况下检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。
一般而言，若驾驶员是能够驾驶的状态，则在时间T3内进行方向盘操作。因而，通过将在比时间T3长的时间未进行方向盘操作作为条件，能够抑制误检测驾驶员的驾驶不能状态。
一般而言，若驾驶员是能够驾驶的状态，则不存在在比时间T3长的时间持续地大幅度地踩踏加速器的情况。因而，通过将在比时间T3长的时间，加速器开度比规定开度大作为条件，能够抑制误检测驾驶员的驾驶不能状态。
认为在行驶中，驾驶员有意识地进行改变相对于车辆10的前方的脸的朝向的动作的情况下，在安全方面，驾驶员立即将脸的朝向恢复至正面。因而，通过将超过时间T2，相对于车辆10的正面的脸的朝向比阈值Th2大作为条件，能够抑制误检测驾驶员的驾驶不能状态。
一般而言，在驾驶员急病病发的情况下，不存在驾驶员的手一直处于比驾驶员的脖子靠上的状态下成为驾驶不能状态的情况。因而，通过将驾驶员的手处于比驾驶员的脖子靠下作为条件，能够抑制误检测驾驶员的驾驶不能状态。
通过在从对车辆施加外力至时间T5经过的期间，头部的摆动的振幅比振幅Am1小或者比振幅Am2大的情况下，检测驾驶员为驾驶不能状态，能够简单地检测驾驶员的驾驶不能状态。
一般而言，在驾驶员没有意识的情况下，头部随着外力振动，若外力的影响消失，则头部不动。与此相对，在驾驶员因为癖好而使头部振动的情况下，与外力的影响无关，头部振动。因而，通过将头部随着外力振动，且在外力的影响消失后头部的位置不变动作为条件，能够抑制误检测驾驶员的驾驶不能状态。
通过将检测出的头部的摆动的振幅比学习到的头部的摆动的振幅大至超过判断值D2作为条件，即使在驾驶员有使头晃动的癖好的情况下，也能够抑制误检测驾驶员的驾驶不能状态。
通过在检测到翻白眼的状态的情况下，检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。
基于图像检测驾驶员的眼睛的轮廓以及眼黑区域。然后，基于检测出的眼睛的轮廓以及眼黑区域来计算眼白程度，在眼白程度比阈值Th3大的情况下，检测驾驶员为驾驶不能状态。因而，能够高精度地检测驾驶员翻眼白的状态，进而能够高精度地检测驾驶员的驾驶不能状态。
在驾驶员能够驾驶的状态的情况下，即使存在使视线朝上，眼白的程度暂时变大的情况，也不存在成为眼白的程度一直变大的状态的情况。因而，通过将超过时间T4，眼白程度比阈值Th3大作为条件，能够抑制误检测驾驶员的驾驶不能状态。
通过将两面的眼白程度分别比阈值Th3大作为条件，即使在单眼佩戴眼罩、单眼为义眼而被误检测为翻白眼的状态，在另一方的眼睛不翻白眼的情况下，也不会检测出驾驶员的驾驶不能状态。因而，能够抑制误检测驾驶员的驾驶不能状态。
由于眼睛的纵向的长度Lw+Lb与眼黑区域的纵向的长度Lb的比和相对于眼睛的整个区域的眼白的区域的比率存在相关，因此，能够根据眼睛的纵向的长度Lw+Lb与眼黑区域的纵向的长度Lb的比来计算眼白程度。
从眼睛的轮廓的上部至眼黑区域的最下部的距离Lb越小，眼白程度越大。因而，能够根据从眼睛的轮廓的上部至眼黑区域的最下部的距离Lb来计算眼白程度。
能够根据眼白区域的面积与眼黑区域的面积的比来计算眼白程度。
在翻白眼的状态，由于眼黑区域朝向上侧，因此，眼黑区域的扁平率在外观上变大。因而，能够根据眼黑区域的扁平率来计算眼白程度。
从眼睛的整体的纵向的中心线至眼黑区域的最下部的距离Lc越大，眼黑区域越小，眼白程度越大。因而，能够根据从中心线至眼黑区域的最下部的距离Lc来计算眼白程度。
一般而言，在驾驶员产生痉挛的情况下，与未产生痉挛的情况相比，成为驾驶不能的状态的概率较高。因而，通过在检测到痉挛的情况下缩小阈值Th1、Th2，能够容易检测出驾驶员的驾驶不能状态。
通过车速越高，使时间T0、T1、T2、T4越短，车速越高，驾驶员的驾驶不能状态的判断所需要的时间变短，能够较早地开始适当的车辆控制的执行。
通过TTC越短，使时间T0、T1、T2、T4越短，TTC越短，驾驶员的驾驶不能状态的判断所需要的时间变短，能够较早地开始适当的车辆控制的执行。
通过基于包括驾驶员的病历、年龄的个人信息设定时间T0、T1、T2、T4，能够使驾驶不能状态的判断所需要的时间为与驾驶员个人的特性相应的时间。
通过在车辆中执行驾驶支援控制的情况下，延长时间T0、T1、T2，能够抑制驾驶不能状态的误检测。
通过将驾驶员的姿势的走形程度报告给驾驶员，驾驶员能够识别自己的姿势。因此，即使驾驶姿势走形，驾驶员也能够将姿势修正为不被检测为驾驶不能状态。由此，能够抑制驾驶不能状态的误检测。
通过在检测到驾驶员的驾驶不能状态的情况下，向驾驶员确认是否是驾驶不能，能够在误检测驾驶员的驾驶不能状态的情况下，避免用于使车辆安全停止的车辆控制的执行。
(其它的实施方式)
驾驶员摄像机21可以是搭载于车室内的4个摄像机中的一部。驾驶员摄像机21最低限度有一个即可。
出画状态检测部71也可以基于由轨迹获取部62获取的轨迹来检测驾驶员为驾驶不能状态。一旦急病病发而导致驾驶员成为驾驶不能状态，则驾驶员的头部从驾驶时的位置移动，不返回至驾驶时的位置的情况较多，因此，能够基于头部的轨迹来检测驾驶员的驾驶不能状态。
朝向走形状态检测部73还可以在驾驶员的脸比阈值Th2d(朝下阈值)大地朝向下侧、或者比阈值Th2u(朝上阈值)大地朝向上侧的情况下，也检测驾驶员为驾驶不能状态。一般而言，一旦急病病发而导致驾驶员失去意识，则驾驶员的脸比阈值Th2d大地朝向下侧、或比阈值Th2u大地朝向上侧的情况较多。因而，能够在驾驶员的脸的朝向在下侧较大、或者在上侧较大的情况下检测驾驶员为驾驶不能状态。
摆动状态检测部74也可以在车辆10的行驶中，对车辆10施加了外力时，由头部检测部61检测出的头部超过时间T6(复原判断时间)向外力的方向倾斜的情况下，检测驾驶员为驾驶不能状态。通常，在驾驶员有意识的情况下，即使在对车辆10施加了外力(详细而言为左右方向以及前后方向的外力)时，驾驶员的头部向外力方向倾斜，在时间T6内也返回至原来的位置。与此相对，若驾驶员急病病发而失去意识，则驾驶员的头部对于外力抵抗减少，成为超过时间T6向外力的方向倾斜的状态。因而，摆动状态检测部74能够在上述的情况下检测出驾驶员的驾驶不能状态。
眼白状态检测部75还可以在由表情检测部67检测出的嘴的张开(详细而言为纵向的张开)比张开判断量大的情况下，检测驾驶员为驾驶不能状态。在驾驶员急病病发而翻白眼的情况下，成为嘴张开的状态的情况较多。因而，也可以在驾驶员的嘴的张开比张开判断量大的情况下，也检测驾驶员为驾驶不能状态。
虽然若出画判断、姿势走形判断、脸朝向走形判断、摆动状态判断、以及眼白状态判断全部执行，则驾驶员的驾驶不能状态的检测精度最高，但进行至少一个判断即可。另外，也可以组合任意数量的判断来执行。在该情况下，可以按照出画判断、姿势走形判断、脸朝向走形判断、摆动状态判断、眼白状态判断的顺序优先执行。
例如，在组合姿势走形判断和摆动状态判断的2个情况下，在姿势走形判断中未检测为驾驶员为驾驶不能状态的情况下若进行摆动状态判断，则能够高精度地检测驾驶员的驾驶不能状态。
另外在组合脸朝向走形判断和摆动状态判断的2个的情况下，在脸朝向走形判断中未检测为驾驶员为驾驶不能状态的情况下若进行摆动状态判断，则能够高精度地检测驾驶员的驾驶不能状态。
另外，在组合摆动状态判断和眼白状态判断的2个的情况下，在摆动状态判断中未检测为驾驶员为驾驶不能状态的情况下若进行眼白状态判断，则能够高精度地检测驾驶员的驾驶不能状态。
学习部51也可以学习误检测驾驶员为驾驶不能状态的情况下的驾驶员的姿势。即，也可以学习虽然检测驾驶员为驾驶不能状态，但从驾驶员有响应的情况下的驾驶员的姿势。并且，也可以将学习到的姿势作为不判断为驾驶不能状态的姿势。
可以将各阈值以及各判断值的统计值存储于存储装置52，并将它们作为初始值使用。各阈值以及各判断值的统计值是统计与多个车辆的驾驶员的每一个对应的各阈值以及各判断值而得的值。另外，可以从车辆10向信息中心发送与驾驶员对应设定的各阈值以及各判断值，在信息中心统计。
也可以在向驾驶员确认是否是驾驶不能状态，并从驾驶员有响应的情况下，识别为在之后一定的时间驾驶员是能够驾驶的状态。另外，也可以以驾驶员设定的时间间隔(例如每1小时1次)进行检测驾驶员的驾驶不能状态的处理。
对车辆10施加的外力除可以由G传感器44以外，例如也可以由座面传感器23检测。
根据本公开的一方式所涉及的驾驶员的驾驶不能状态检测装置，驾驶员的驾驶不能状态检测装置是驾驶员的驾驶不能状态检测装置，具备：头部检测部，其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来检测驾驶员的头部；以及摆动状态检测部，其在上述车辆的行驶中，在从对上述车辆施加外力后至摆动判断时间经过的期间，由上述头部检测部检测出的上述头部的摆动的振幅比第一振幅小、或者比比上述第一振幅大的第二振幅大的情况下，检测上述驾驶员为驾驶不能状态。
根据驾驶员的驾驶不能状态检测装置，基于拍摄驾驶席而得的图像检测驾驶员的头部。通常，在驾驶员有意识的情况下，在对车辆施加外力时，驾驶员的头部以从第一振幅至第二振幅的范围内的振幅摆动。与此相对，若驾驶员急病病发而导致身体僵直，则与正常时相比，头部的摆动的振幅变小。另外，若驾驶员急病病发而导致身体弛缓，则与正常时相比，头部的摆动的振幅变大。
因而，通过在从对车辆施加外力至摆动判断时间经过的期间，头部的摆动的振幅比第一振幅小或者比第二振幅大的情况下，检测驾驶员为驾驶不能状态，能够简单地检测驾驶员的驾驶不能状态。
驾驶员的驾驶不能状态检测装置具备：头部检测部，其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来检测驾驶员的头部；以及摆动状态检测部，其在上述车辆的行驶中，在对上述车辆施加了外力时，由上述头部检测部检测出的上述头部超过复原判断时间向上述外力的方向倾斜的情况下，检测上述驾驶员为驾驶不能状态。
根据驾驶员的驾驶不能状态检测装置，基于拍摄驾驶席而得的图像检测驾驶员的头部。通常，在驾驶员有意识的情况下，即使在对车辆施加了外力时，驾驶员的头部向外力方向倾斜，在复原判断时间内也返回至原来的位置。与此相对，若驾驶员急病病发而失去意识，则驾驶员的头部对于外力抵抗减小，超过复原判断时间为向外力的方向倾斜的状态。
因而，通过在对车辆施加了横向的外力时，驾驶员的头部超过复原判断时间向外力的方向倾斜的情况下，检测驾驶员为驾驶不能状态，能够简单地检测驾驶员的驾驶不能状态。
驾驶员的驾驶不能状态检测装置具备：脸朝向检测部，其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像检测相对于上述车辆的前方的驾驶员的脸的朝向；以及朝向走形状态检测部，其在上述车辆的行驶中，由上述脸朝向检测部检测出的上述脸的朝向超过朝向走形判断时间比脸朝向阈值大的情况下，检测上述驾驶员为驾驶不能状态。
根据上述的驾驶员的驾驶不能状态检测装置，基于拍摄驾驶席得到的图像检测相对于车辆的前方的驾驶员的脸的朝向。一般而言，一旦急病病发，则驾驶员不能够维持脸的朝向，成为相对于车辆的前方的脸的朝向一直走形的状态。与此相对，在行驶中驾驶员往旁边看时，一般而言，驾驶员在改变脸的朝向后立即返回的情况较多。
因而，在相对于车辆的前方的脸的朝向超过朝向走形判断时间比脸朝向阈值大的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过在相对于车辆的前方的脸朝向超过朝向走形判断时间比脸朝向阈值大的情况下，检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。
驾驶员的驾驶不能状态检测装置具备：脸朝向检测部，其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来检测相对于上述车辆的前方的驾驶员的脸的朝向；以及朝向走形状态检测部，其在上述车辆的行驶中，由上述脸朝向检测部检测到的上述脸的朝向比脸朝向阈值大，且上述驾驶员放开上述车辆的方向盘的情况下，检测上述驾驶员为驾驶不能状态。
根据上述的驾驶员的驾驶不能状态检测装置，基于拍摄驾驶席得到的图像检测相对于车辆的前方的驾驶员的脸的朝向。一般而言，一旦急病病发，则驾驶员不能够维持脸的朝向，相对于车辆的前方的脸的朝向走形，并且驾驶员放开方向盘的情况较多。与此相对，在行驶中驾驶员往旁边看时，一般而言，驾驶员在把持方向盘的状态下改变脸的朝向的情况较多。
因而，在相对于车辆的前方的脸的朝向比脸朝向阈值大，且驾驶员放开方向盘的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过在相对于车辆的前方的脸的朝向比脸朝向阈值大，且驾驶员放开方向盘的情况下，检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。
驾驶员的驾驶不能状态检测装置具备：脸朝向检测部，其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像检测相对于上述车辆的前方的驾驶员的脸的朝向；以及朝向走形状态检测部，其在上述车辆的行驶中，由上述脸朝向检测部检测出的上述脸的朝向比脸朝向阈值大，且加速器开度比规定开度大的情况下，检测上述驾驶员为驾驶不能状态。
根据上述的驾驶员的驾驶不能状态检测装置，基于拍摄驾驶席得到的图像检测相对于车辆的前方的驾驶员的脸的朝向。一般而言，在行驶中驾驶员往旁边看时，在安全方面不会大幅踩踏加速器的情况较多。因而，在相对于车辆的前方的脸的朝向比脸朝向阈值大，且加速器开度比规定开度大的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过相对于车辆的前方的脸的朝向比脸朝向阈值大，且加速器开度比规定开度大的情况下，检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。
驾驶员的驾驶不能状态检测装置具备：脸朝向检测部，其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来检测相对于车辆的前方的驾驶员的脸的朝向；以及朝向走形状态检测部，其在上述车辆的行驶中，由上述脸朝向检测部检测到的上述脸的朝向比脸朝向阈值大，且在比操作判断时间长的时间未进行加速器操作以及制动器操作的情况下，检测上述驾驶员为驾驶不能状态。
根据上述的驾驶员的驾驶不能状态检测装置，基于拍摄驾驶席得到的图像检测相对于车辆的前方的驾驶员的脸的朝向。一般而言，一旦急病病发，则相对于车辆的前方的脸的朝向走形，并且在比操作判断时间长的时间不进行加速器操作以及制动器操作。与此相对，在行驶中驾驶员往旁边看时，一般而言，驾驶员改变脸的朝向并且在操作判断时间内进行加速器操作或者制动器操作的情况较多。
因而，在相对于车辆的前方的脸的朝向比脸朝向阈值大，且在比操作判断时间长的时间未进行加速器以及制动器的操作的情况下，不是由往旁边看等引起的脸朝向的走形，而是由急病引起的脸朝向的走形的可能性较高。因此，通过在相对于车辆的前方的脸的朝向比脸朝向阈值大，且在比操作判断时间长的时间未进行加速器操作以及制动器操作的情况下，检测驾驶员为驾驶不能状态，能够高精度地检测驾驶员的驾驶不能状态。
该申请所记载的流程图、或者流程图的处理由多个步骤(或者说成部分)构成，各步骤例如表现为S10。并且，各步骤能够分割为多个子步骤，另一方面，也能够合并多个步骤使其为一个步骤。
以上，例示了驾驶员的驾驶不能状态检测装置的实施方式、构成、形态，但实施方式、构成、形态不限于上述的各实施方式、各构成、各形态。例如，对于适当地组合在不同的实施方式、构成、形态中分别公开的技术部得到的实施方式、构成、形态，也包括于驾驶员的驾驶不能状态检测装置所涉及的实施方式、构成、形态的范围。

Claims (25)

1.一种驾驶员的驾驶不能状态检测装置，其中，具备：
头部检测部(61)，其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来检测驾驶员的头部；以及
摆动状态检测部(74)，其在上述车辆(10)的行驶中，在从对上述车辆(10)施加外力后经过摆动判断时间(T5)为止的期间，由上述头部检测部(61)检测出的上述头部的摆动的振幅小于第一振幅(Am1)、或者大于比上述第一振幅(Am1)大的第二振幅(Am2)的情况下，检测出上述驾驶员为驾驶不能状态。
2.一种驾驶员的驾驶不能状态检测装置，其中，具备：
头部检测部(61)，其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来检测驾驶员的头部；以及
摆动状态检测部(74)，其在上述车辆(10)的行驶中，对上述车辆(10)施加了外力时，由上述头部检测部(61)检测到的上述头部超过复原判断时间(T6)向上述外力的方向倾斜的情况下，检测出上述驾驶员为驾驶不能状态。
3.根据权利要求1所述的驾驶员的驾驶不能状态检测装置，其中，
上述摆动状态检测部(74)将从对上述车辆(10)施加外力后经过上述摆动判断时间(T5)为止的期间上述头部振动，且在上述摆动判断时间(T5)经过后上述头部的位置处在不动判断范围内作为条件，检测出上述驾驶员为驾驶不能状态。
4.根据权利要求1或者3所述的驾驶员的驾驶不能状态检测装置，其中，
具备学习部(51)，该学习部(51)在上述驾驶员不是驾驶不能状态的情况下，学习由上述头部检测部(61)检测到的上述头部的摆动的振幅，
上述摆动状态检测部(74)将由上述头部检测部(61)检测到的上述头部的摆动的振幅比由上述学习部(51)学习到的上述头部的摆动的振幅大至超过振幅判断值(D2)作为条件，检测出上述驾驶员为驾驶不能。
5.根据权利要求1～4中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，
上述摆动状态检测部(74)将在比操作判断时间(T3)长的时间未操作上述车辆(10)的方向盘(15)作为条件，检测出上述驾驶员为驾驶不能状态。
6.根据权利要求1～5中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，具备：
表情检测部(67)，其基于上述图像检测上述驾驶员的眼睛的轮廓以及眼黑区域；
眼白程度计算部(68)，其基于由上述表情检测部(67)检测出的上述眼睛的轮廓以及上述眼黑区域来计算驾驶员的眼睛的眼白程度；以及
眼白状态检测部(75)，其在未由上述摆动状态检测部(74)检测为上述驾驶员为驾驶不能状态的情况下，在由上述眼白程度计算部(68)计算出的上述眼白程度比眼白阈值(Th3)大时，检测出上述驾驶员为驾驶不能状态。
7.根据权利要求1～6中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，
具备姿势报告部(80)，该姿势报告部(80)基于由上述头部检测部(61)检测出的上述头部的位置，将上述驾驶员的姿势的走形程度报告给上述驾驶员。
8.根据权利要求1～7中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，
具备确认部(80)，该确认部(80)在检测出驾驶员的驾驶不能状态的情况下，向上述驾驶员确认是否是驾驶不能。
9.根据权利要求1～8中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，
上述驾驶不能状态是上述驾驶员急病病发的状态。
10.根据权利要求1所述的驾驶员的驾驶不能状态检测装置，其中，具备：
脸朝向检测部(65)，其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来检测相对于上述车辆(10)的前方的驾驶员的脸的朝向；以及
朝向走形状态检测部(73)，其在未由上述摆动状态检测部(74)检测为上述驾驶员为驾驶不能状态的情况下，在上述车辆(10)的行驶中，在由上述脸朝向检测部检测出的上述脸的朝向超过朝向走形判断时间(T2)比脸朝向阈值(Th2)大的情况下，检测出上述驾驶员为驾驶不能状态。
11.根据权利要求1所述的驾驶员的驾驶不能状态检测装置，其中，具备：
脸朝向检测部(65)，其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来检测相对于上述车辆(10)的前方的驾驶员的脸的朝向；以及
朝向走形状态检测部(73)，其在未由上述摆动状态检测部(74)检测为上述驾驶员为驾驶不能状态的情况下，在上述车辆(10)的行驶中，由上述脸朝向检测部(65)检测出的上述脸的朝向比脸朝向阈值(Th2)大，且上述驾驶员放开了上述车辆(10)的方向盘(15)的情况下，检测出上述驾驶员为驾驶不能状态。
12.根据权利要求1所述的驾驶员的驾驶不能状态检测装置，其中，具备：
脸朝向检测部(65)，其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来检测相对于上述车辆(10)的前方的驾驶员的脸的朝向；以及
朝向走形状态检测部(73)，其在未由上述摆动状态检测部(74)检测为上述驾驶员为驾驶不能状态的情况下，在上述车辆(10)的行驶中，由上述脸朝向检测部(65)检测出的上述脸的朝向比脸朝向阈值(Th2)大，且加速器开度比规定开度大的情况下，检测出上述驾驶员为驾驶不能状态。
13.根据权利要求1所述的驾驶员的驾驶不能状态检测装置，其中，具备：
脸朝向检测部(65)，其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来检测相对于上述车辆(10)的前方的驾驶员的脸的朝向；以及
朝向走形状态检测部(73)，其在未由上述摆动状态检测部(74)检测为上述驾驶员为驾驶不能状态的情况下，在上述车辆(10)的行驶中，由上述脸朝向检测部(65)检测出的上述脸的朝向比脸朝向阈值(Th2)大，且在比操作判断时间(T3)长的时间未进行加速器操作以及制动器操作的情况下，检测出上述驾驶员为驾驶不能状态。
14.根据权利要求11所述的驾驶员的驾驶不能状态检测装置，其中，
上述朝向走形状态检测部(73)将在比操作判断时间(T3)长的时间，上述驾驶员放开了上述方向盘(15)作为条件，检测出上述驾驶员为驾驶不能状态。
15.根据权利要求12所述的驾驶员的驾驶不能状态检测装置，其中，
上述朝向走形状态检测部(73)将在比操作判断时间(T3)长的时间，上述加速器开度比上述规定开度大作为条件，检测出上述驾驶员为驾驶不能状态。
16.根据权利要求11所述的驾驶员的驾驶不能状态检测装置，其中，
上述朝向走形状态检测部(73)将上述脸的朝向比上述脸朝向阈值(Th2)大的情况超过朝向走形判断时间(T2)作为条件，检测出上述驾驶员为驾驶不能状态。
17.根据权利要求16所述的驾驶员的驾驶不能状态检测装置，其中，
上述朝向走形状态检测部(73)还在上述脸比朝下阈值(Th2d)大地朝向下侧、或者比朝上阈值(Th2u)大地朝向上侧的情况下，也检测出上述驾驶员为驾驶不能状态。
18.根据权利要求10所述的驾驶员的驾驶不能状态检测装置，其中，
上述朝向走形状态检测部(73)将上述驾驶员的手处于比上述驾驶员的脖子靠下作为条件，检测出上述驾驶员为驾驶不能状态。
19.根据权利要求10、16～18中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，
具备学习部(51)，该学习部(51)在上述驾驶员不是驾驶不能状态的情况下，学习由上述脸朝向检测部(65)检测出的上述脸的朝向，
上述朝向走形状态检测部(73)将由上述脸朝向检测部(65)检测出的上述脸的朝向比由上述学习部(51)学习到的上述脸的朝向大至超过倾斜判断值(D1)作为条件，检测出上述驾驶员为驾驶不能。
20.根据权利要求10、16～19中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，
具备痉挛检测部(63)，该痉挛检测部(63)检测上述驾驶员的痉挛；
在由上述痉挛检测部(63)检测到上述痉挛的情况下，缩小上述脸朝向阈值(Th2)。
21.根据权利要求10、16～20中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，
上述车辆(10)的车速越高，使上述朝向走形判断时间(T2)越短。
22.根据权利要求10、16～21中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，
将与先行车辆的车间距离除以与上述先行车辆的相对速度而得的碰撞充裕时间越短，使上述朝向走形判断时间(T2)越短。
23.根据权利要求10、16～22中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，
具备登录了包括上述驾驶员的病历以及年龄的个人信息的存储部(52)，
基于登录于上述存储部(52)的个人信息来设定上述朝向走形判断时间(T2)。
24.根据权利要求10、16～23中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，
在上述车辆(10)中执行驾驶支援控制的情况下，延长上述朝向走形判断时间(T2)。
25.根据权利要求10～24中任意一项所述的驾驶员的驾驶不能状态检测装置，其中，
具备基于由上述脸朝向检测部(65)检测出的上述脸的朝向，向上述驾驶员报告上述驾驶员的姿势的走形程度的姿势报告部(80)。
CN201580033603.4A 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置 Active CN106471556B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014128388A JP6379720B2 (ja) 2014-06-23 2014-06-23 ドライバの運転不能状態検出装置
JP2014-128388 2014-06-23
JP2014-128389 2014-06-23
JP2014128389A JP6361312B2 (ja) 2014-06-23 2014-06-23 ドライバの運転不能状態検出装置
PCT/JP2015/002865 WO2015198542A1 (ja) 2014-06-23 2015-06-08 ドライバの運転不能状態検出装置

Publications (2)

Publication Number Publication Date
CN106471556A true CN106471556A (zh) 2017-03-01
CN106471556B CN106471556B (zh) 2021-11-16

Family

ID=54937653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580033603.4A Active CN106471556B (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置

Country Status (4)

Country Link
US (2) US10430676B2 (zh)
CN (1) CN106471556B (zh)
DE (1) DE112015002948T5 (zh)
WO (1) WO2015198542A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109674482A (zh) * 2018-12-28 2019-04-26 浙江大学 一种高速公路行车心理分析的实验设备及其方法
CN110192224A (zh) * 2017-03-14 2019-08-30 欧姆龙株式会社 驾驶员状态推断装置以及驾驶员状态推断方法
CN110235178A (zh) * 2017-03-14 2019-09-13 欧姆龙株式会社 驾驶员状态推定装置以及驾驶员状态推定方法
CN110329267A (zh) * 2018-03-28 2019-10-15 马自达汽车株式会社 驾驶员状态判定装置
CN110580436A (zh) * 2018-06-08 2019-12-17 丰田自动车株式会社 驾驶员监视装置
CN110869260A (zh) * 2017-07-04 2020-03-06 株式会社电装 控制装置
CN112740302A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置
CN113044044A (zh) * 2019-12-27 2021-06-29 马自达汽车株式会社 驾驶员状态估计装置和驾驶员状态估计方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6372388B2 (ja) * 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
US10430676B2 (en) 2014-06-23 2019-10-01 Denso Corporation Apparatus detecting driving incapability state of driver
US10503987B2 (en) * 2014-06-23 2019-12-10 Denso Corporation Apparatus detecting driving incapability state of driver
JP6226920B2 (ja) * 2015-07-10 2017-11-08 本田技研工業株式会社 緊急時車両制御装置
JP6228581B2 (ja) * 2015-10-21 2017-11-08 本田技研工業株式会社 停車制御装置
US10445603B1 (en) * 2015-12-11 2019-10-15 Lytx, Inc. System for capturing a driver image
JP6531719B2 (ja) 2016-05-23 2019-06-19 株式会社デンソー ドライバ状態検知装置、ドライバ状態検知方法
US10133942B2 (en) * 2016-07-05 2018-11-20 Nauto Global Limited System and method for automatic driver identification
JP6323511B2 (ja) * 2016-08-26 2018-05-16 マツダ株式会社 運転者体調検知装置及び方法
JP6323510B2 (ja) * 2016-08-26 2018-05-16 マツダ株式会社 運転者体調検知装置及び方法
JP6540663B2 (ja) * 2016-11-18 2019-07-10 トヨタ自動車株式会社 車両システム
WO2018117631A1 (en) * 2016-12-21 2018-06-28 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
JP6686868B2 (ja) * 2016-12-22 2020-04-22 株式会社デンソー 車両用運転者状態判定装置
JP6627787B2 (ja) 2017-01-17 2020-01-08 トヨタ自動車株式会社 ドライバ状態検出装置
JP6693427B2 (ja) 2017-01-18 2020-05-13 トヨタ自動車株式会社 ドライバ状態検出装置
DE102017201405B4 (de) * 2017-01-30 2018-12-13 Audi Ag Verfahren zum Betreiben eines Kraftfahrzeugs
JP6963899B2 (ja) * 2017-02-01 2021-11-10 株式会社デンソーテン 自動運転支援装置及び自動運転支援方法
JP6809262B2 (ja) 2017-02-08 2021-01-06 トヨタ自動車株式会社 ドライバ状態検出装置
JP2018128974A (ja) * 2017-02-10 2018-08-16 トヨタ自動車株式会社 ドライバ状態監視装置
US10457165B2 (en) * 2017-02-27 2019-10-29 Toyota Motor Engineering & Manufacturing North America Inc. Providing a notification to an occupant using a vehicle seat
JP7223753B2 (ja) * 2017-07-03 2023-02-16 ジーピー ネットワーク アジア ピーティーイー． リミテッド 支払処理
JP6720951B2 (ja) * 2017-11-15 2020-07-08 オムロン株式会社 運転者状態判定装置とその方法およびプログラム
US11465631B2 (en) * 2017-12-08 2022-10-11 Tesla, Inc. Personalization system and method for a vehicle based on spatial locations of occupants' body portions
EP3540710A1 (en) * 2018-03-14 2019-09-18 Honda Research Institute Europe GmbH Method for assisting operation of an ego-vehicle, method for assisting other traffic participants and corresponding assistance systems and vehicles
US11091168B2 (en) 2019-01-31 2021-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous driving support systems including vehicle headrest monitoring devices and methods incorporating the same
JP7318475B2 (ja) * 2019-10-10 2023-08-01 マツダ株式会社 運転者状態判定装置
WO2022201732A1 (ja) * 2021-03-22 2022-09-29 パナソニックＩｐマネジメント株式会社 眠気判定システム、及び眠気判定方法
DE102021117327A1 (de) 2021-07-05 2023-01-05 Ford Global Technologies, Llc Verfahren zum Betrieb eines Kraftfahrzeugs
US20230026074A1 (en) * 2021-07-26 2023-01-26 Ubtech North America Research And Development Center Corp Human abnormal behavior response method and mobility aid robot using the same

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003070093A1 (en) * 2002-02-19 2003-08-28 Volvo Technology Corporation System and method for monitoring and managing driver attention loads
CN1849233A (zh) * 2003-08-28 2006-10-18 罗伯特·博世有限公司 驾驶员警告装置
CN1879135A (zh) * 2003-11-30 2006-12-13 沃尔沃技术公司 用于识别驾驶员机能障碍的方法和系统
CN101153798A (zh) * 2006-09-28 2008-04-02 高田株式会社 乘员检测系统、警报系统、制动系统和车辆
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法
CN102985302A (zh) * 2011-07-11 2013-03-20 丰田自动车株式会社 车辆的紧急避险装置
CN102982655A (zh) * 2012-12-06 2013-03-20 南京邮电大学 手机平台汽车驾驶疲劳预警方法

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60152904A (ja) 1984-01-20 1985-08-12 Nippon Denso Co Ltd 車両運転者位置認識装置
JPH01158579A (ja) 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
JP2583335B2 (ja) 1990-03-12 1997-02-19 日産自動車株式会社 先行車両接近警報装置
US8604932B2 (en) 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
JPH06169994A (ja) * 1992-12-04 1994-06-21 Mitsubishi Cable Ind Ltd 居眠り警告装置
US5353013A (en) 1993-05-13 1994-10-04 Estrada Richard J Vehicle operator sleep alarm
JP3115457B2 (ja) 1993-08-16 2000-12-04 三菱電機株式会社 運転者異常事態発生警報装置
JP3433554B2 (ja) 1995-02-17 2003-08-04 マツダ株式会社 自動車の走行制御装置
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
FR2773521B1 (fr) 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
JP3622533B2 (ja) 1998-10-23 2005-02-23 株式会社デンソー 車間制御装置
DE10121192A1 (de) 2000-05-09 2001-11-15 Denso Corp Klimaanlage mit kontaktfreiem Temperatursensor
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
JP3943367B2 (ja) * 2001-10-31 2007-07-11 株式会社デンソー 車両用乗員頭部検出装置
US7044742B2 (en) * 2001-12-26 2006-05-16 Kabushikikaisha Equos Research Emergency reporting apparatus
US6937745B2 (en) 2001-12-31 2005-08-30 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
WO2004004320A1 (en) 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
JP4551766B2 (ja) 2002-10-15 2010-09-29 ボルボ テクノロジー コーポレイション 被験者の頭及び目の動きを分析する方法及び装置
KR100527466B1 (ko) 2003-07-28 2005-11-09 현대자동차주식회사 운전자 머리 위치 측정방법 및 장치
US7508979B2 (en) * 2003-11-21 2009-03-24 Siemens Corporate Research, Inc. System and method for detecting an occupant and head pose using stereo detectors
JP4059224B2 (ja) 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
JP4622544B2 (ja) 2005-01-27 2011-02-02 アイシン精機株式会社 車両の運転支援装置
JP4735310B2 (ja) 2005-04-15 2011-07-27 株式会社デンソー 走行支援装置
US7860280B2 (en) 2006-06-09 2010-12-28 Samsung Electronics Co., Ltd. Facial feature detection method and device
JP5036814B2 (ja) 2006-06-11 2012-09-26 ボルボ テクノロジー コーポレイション 視覚的関心場所の決定および分析のための方法および装置
US8050453B2 (en) 2006-06-15 2011-11-01 Omron Corporation Robust object tracking system
JP4420002B2 (ja) 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
US20080204239A1 (en) 2007-02-28 2008-08-28 Christopher Marszalek Apparatus, system and/or method for wirelessly securing and/or for wirelessly monitoring an article
JP2008269496A (ja) 2007-04-24 2008-11-06 Takata Corp 乗員情報検出システム、乗員拘束システム、車両
JP4332813B2 (ja) 2007-07-23 2009-09-16 株式会社デンソー 自動車用ユーザーもてなしシステム
JP4582137B2 (ja) 2007-10-11 2010-11-17 株式会社デンソー 眠気度判定装置
JP4941678B2 (ja) 2008-05-30 2012-05-30 トヨタ自動車株式会社 警報制御装置
US20100014711A1 (en) 2008-07-16 2010-01-21 Volkswagen Group Of America, Inc. Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor
US8538072B2 (en) 2008-08-27 2013-09-17 Imprivata, Inc. Systems and methods for operator detection
WO2010032424A1 (ja) 2008-09-18 2010-03-25 学校法人中部大学 眠気予兆検出装置
JP4666062B2 (ja) 2008-11-17 2011-04-06 株式会社デンソー 画像撮影装置および方法
JP5326521B2 (ja) 2008-11-26 2013-10-30 日産自動車株式会社 覚醒状態判断装置及び覚醒状態判断方法
US8063786B2 (en) 2009-02-24 2011-11-22 Panasonic Automotive Systems Company Of America Division Of Panasonic Corporation Of North America Method of detecting drowsiness of a vehicle operator
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
EP2564765B1 (en) * 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
JP2013069184A (ja) 2011-09-26 2013-04-18 Nippon Seiki Co Ltd 車両運転者状態判定装置及び車両運転者状態判定方法
KR101283304B1 (ko) 2011-12-12 2013-07-12 기아자동차주식회사 운전자의 눈부심 검출 장치 및 그 방법과 이를 이용한 눈부심 차단 시스템 및 그 방법
US9274597B1 (en) 2011-12-20 2016-03-01 Amazon Technologies, Inc. Tracking head position for rendering content
JP5505434B2 (ja) 2012-02-09 2014-05-28 株式会社デンソー 脇見判定装置
US20130257620A1 (en) * 2012-03-30 2013-10-03 Utechzone Co., Ltd. Device and method for detecting driver's attention through interactive voice questioning
DE102012206725A1 (de) * 2012-04-24 2013-10-24 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Versetzen eines autonom fahrenden Kraftfahrzeugs in einen sicheren Zustand
JP6047318B2 (ja) * 2012-07-06 2016-12-21 矢崎総業株式会社 ドライバ状態検出装置及びドライバ状態報知装置
US9412136B2 (en) 2012-07-09 2016-08-09 Facebook, Inc. Creation of real-time conversations based on social location information
US20140019167A1 (en) * 2012-07-16 2014-01-16 Shuli Cheng Method and Apparatus for Determining Insurance Risk Based on Monitoring Driver's Eyes and Head
JP2014019301A (ja) 2012-07-18 2014-02-03 Toyota Motor Corp 緊急退避装置
EP2860960B1 (en) 2012-07-25 2020-10-14 Denso Corporation State monitoring device
WO2014057309A1 (en) 2012-10-10 2014-04-17 Freescale Semiconductor, Inc. Method and apparatus for determining a risk level in manually operated systems
CN105144199B (zh) * 2013-02-21 2019-05-28 Iee国际电子工程股份公司 支持多种功能的基于成像装置的乘坐者监控系统
US20150009010A1 (en) * 2013-07-03 2015-01-08 Magna Electronics Inc. Vehicle vision system with driver detection
US9330305B2 (en) 2013-12-29 2016-05-03 Google Technology Holdings LLC Method and device for detecting a seating position in a vehicle
CN103770733B (zh) 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
US9721173B2 (en) 2014-04-04 2017-08-01 Conduent Business Services, Llc Machine learning approach for detecting mobile phone usage by a driver
WO2015192980A1 (de) 2014-06-20 2015-12-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, verfahren und computerprogramm zur detektion eines sekundenschlafs
JP6372388B2 (ja) 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
US10503987B2 (en) * 2014-06-23 2019-12-10 Denso Corporation Apparatus detecting driving incapability state of driver
US10430676B2 (en) 2014-06-23 2019-10-01 Denso Corporation Apparatus detecting driving incapability state of driver

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003070093A1 (en) * 2002-02-19 2003-08-28 Volvo Technology Corporation System and method for monitoring and managing driver attention loads
CN1849233A (zh) * 2003-08-28 2006-10-18 罗伯特·博世有限公司 驾驶员警告装置
CN1879135A (zh) * 2003-11-30 2006-12-13 沃尔沃技术公司 用于识别驾驶员机能障碍的方法和系统
CN101153798A (zh) * 2006-09-28 2008-04-02 高田株式会社 乘员检测系统、警报系统、制动系统和车辆
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法
CN102985302A (zh) * 2011-07-11 2013-03-20 丰田自动车株式会社 车辆的紧急避险装置
CN102982655A (zh) * 2012-12-06 2013-03-20 南京邮电大学 手机平台汽车驾驶疲劳预警方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110192224A (zh) * 2017-03-14 2019-08-30 欧姆龙株式会社 驾驶员状态推断装置以及驾驶员状态推断方法
CN110235178A (zh) * 2017-03-14 2019-09-13 欧姆龙株式会社 驾驶员状态推定装置以及驾驶员状态推定方法
CN110235178B (zh) * 2017-03-14 2023-05-23 欧姆龙株式会社 驾驶员状态推定装置以及驾驶员状态推定方法
CN110869260A (zh) * 2017-07-04 2020-03-06 株式会社电装 控制装置
CN110329267A (zh) * 2018-03-28 2019-10-15 马自达汽车株式会社 驾驶员状态判定装置
CN110580436A (zh) * 2018-06-08 2019-12-17 丰田自动车株式会社 驾驶员监视装置
CN110580436B (zh) * 2018-06-08 2023-01-10 丰田自动车株式会社 驾驶员监视装置
CN112740302A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置
CN109674482A (zh) * 2018-12-28 2019-04-26 浙江大学 一种高速公路行车心理分析的实验设备及其方法
CN113044044A (zh) * 2019-12-27 2021-06-29 马自达汽车株式会社 驾驶员状态估计装置和驾驶员状态估计方法

Also Published As

Publication number Publication date
WO2015198542A1 (ja) 2015-12-30
US10572746B2 (en) 2020-02-25
US20190034744A1 (en) 2019-01-31
CN106471556B (zh) 2021-11-16
US10430676B2 (en) 2019-10-01
US20170140232A1 (en) 2017-05-18
DE112015002948T5 (de) 2017-03-09

Similar Documents

Publication Publication Date Title
CN106663377B (zh) 驾驶员的驾驶不能状态检测装置
CN106471556A (zh) 驾驶员的驾驶不能状态检测装置
CN106463065A (zh) 驾驶员的驾驶不能状态检测装置
CN105547318B (zh) 一种智能头戴设备和智能头戴设备的控制方法
JP6379720B2 (ja) ドライバの運転不能状態検出装置
JP6364997B2 (ja) ドライバの運転不能状態検出装置
JPWO2017195405A1 (ja) 画像処理装置及び画像処理方法、並びに移動体
JP6361312B2 (ja) ドライバの運転不能状態検出装置
KR20200113202A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
JP6331751B2 (ja) ドライバの運転不能状態検出装置
WO2020145161A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP2016045714A (ja) 車載制御装置
JP2016502165A (ja) 運転者注意力検出方法および装置
JP2019195377A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP6256433B2 (ja) 運転者状態検出装置
US20210195981A1 (en) System and method for monitoring a cognitive state of a rider of a vehicle
JP2019195376A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP6607287B2 (ja) ドライバの運転不能状態検出装置
JP6614286B2 (ja) ドライバの運転不能状態検出装置
US20150371519A1 (en) Information Processing Device and Information Processing Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant