CN109784135A - 驾驶员状态判断装置及其方法以及存储介质 - Google Patents

驾驶员状态判断装置及其方法以及存储介质 Download PDF

Info

Publication number
CN109784135A
CN109784135A CN201811300296.3A CN201811300296A CN109784135A CN 109784135 A CN109784135 A CN 109784135A CN 201811300296 A CN201811300296 A CN 201811300296A CN 109784135 A CN109784135 A CN 109784135A
Authority
CN
China
Prior art keywords
driver
face
statistical information
vehicle
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811300296.3A
Other languages
English (en)
Inventor
田中将士
松浦义朗
横田启辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109784135A publication Critical patent/CN109784135A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)

Abstract

一种驾驶员状态判断装置及其方法以及存储介质，能进行不考虑驾驶员各自的个体差异的安全且精度高的驾驶员状态判断。判断旁视等驾驶员的状态的驾驶员状态判断装置(10)的统计运算部(14)基于从驾驶员监视传感器(21)输出的包括车辆的驾驶员的图像的第一传感数据来判断驾驶员的面部或视线的方向，运算相对于车辆的正面方向驾驶员将面部或视线保持为正面的方向上的统计信息，基于该统计信息，相对于被设定为车辆的正面方向的基准方向来校正所判断的驾驶员的面部或视线的方向。并且，驾驶员状态判断部(15)基于该校正后的驾驶员的面部或视线的方向距离基准方向的偏离度来判断驾驶员的状态。

Description

驾驶员状态判断装置及其方法以及存储介质
技术领域
本发明的实施方式涉及例如判断车辆的驾驶员的旁视状态的驾驶员状态判断装置及其方法以及存储介质。
背景技术
近年来，在客车等车辆行驶时用于辅助驾驶员的各种装置搭载于车辆。其中之一已知检测车辆的驾驶员的特定的状态、例如驾驶员的面部的方向或视线方向并判断驾驶员是否处于旁视、若是旁视状态则发出警告的旁视驾驶判断装置。一般当驾驶员的面部的方向或视线方向从正面方向偏离规定角度以上时会判断为处于旁视。然而，该驾驶员的正面方向未必与车辆的正面方向一致，存在个体差异。即，已知驾驶员将面部或视线保持为正面的方向根据个人的不同会有几度到几十度的差异。
因此，例如在专利文献1中提出了根据判断为旁视的频率与判断为不是旁视的频率之比来变更旁视判断的基准值的旁视驾驶判断装置。该装置能通过设定适合该驾驶员的基准值来补正驾驶员各自的个体差异并进行不会由于驾驶员的个体差异而变化的精度高的旁视判断。
现有技术文献
专利文献
专利文献1：日本特开平8-207617号公报
发明内容
专利文献1所记载的技术根据驾驶员来变更是否是旁视的判断基准值。但是该变更对于旁视多的驾驶员会放宽判断基准，虽然能根据驾驶员的个体差异来保证驾驶员的状态判断的精度，但是从安全性的观点来看不是优选的。
本发明着眼于上述情况，其目的之一是要提供能进行不考虑驾驶员各自的个体差异的安全且精度高的驾驶员状态判断的驾驶员状态判断装置及其方法以及存储介质。
用于解决问题的方案
为了解决上述问题，本发明的第一方式的驾驶员状态判断装置包括：运算部，其基于从第一传感器输出的包括车辆的驾驶员的图像的第一传感数据来判断上述驾驶员的面部或视线的方向，反复运算相对于车辆的正面方向上述驾驶员将面部或视线保持为正面的方向上的统计信息；校正部，其基于由上述运算部运算的上述统计信息，校正相对于被设定为上述车辆的正面方向的基准方向由上述运算部判断的上述驾驶员的面部或视线的方向、或者校正上述基准方向；第一判断部，其基于由上述校正部校正的上述驾驶员的面部或视线的方向距离上述基准方向的偏离度、或者基于由上述运算部判断的上述驾驶员的面部或视线的方向距离由上述校正部校正的上述基准方向的偏离度，来判断上述驾驶员的状态；以及输出部，其将上述第一判断部的判断结果对上述驾驶员输出。
根据本发明的第一方式，在驾驶员状态判断装置中，由运算部基于从第一传感器输出的第一传感数据来判断驾驶员的面部或视线的方向，反复运算相对于车辆的正面方向驾驶员将面部或视线保持为正面的方向上的统计信息，由校正部基于该运算的统计信息，来校正相对于被设定为车辆的正面方向的基准方向判断的驾驶员的面部或视线的方向、或者校正基准方向。即，进行用于使驾驶员识别为正面的方向(对该驾驶员而言为0°)与作为被设定为车辆的正面方向的基准方向的驾驶员状态判断装置上的正面方向(0°)一致的校正。作为该校正，既可以校正基于第一传感数据的驾驶员的面部或视线的方向的判断值，也可以校正被设定为车辆的正面方向的基准方向。并且，由第一判断部基于该校正后的驾驶员的面部或视线的方向距离基准方向的偏离度、或者判断后的驾驶员的面部或视线的方向距离校正后的基准方向的偏离度来判断驾驶员的状态，由输出部将其判断结果对驾驶员输出。因而，例如能在将根据驾驶员各人的不同而不同的、该驾驶员的面部或视线的方向的0°相对于作为驾驶员状态判断装置的规定的基准方向的、例如车辆的正面方向0°进行了校正后，判断驾驶员的状态例如是否是旁视状态。即，若该驾驶员感觉是正面的方向与装置的0°不同，则将该驾驶员的正面方向处理为装置的0°。由此，无需根据驾驶员的不同而放宽例如旁视驾驶的判断基准，能进行不考虑驾驶员各自的个体差异的安全且精度高的驾驶员状态判断。
本发明的第二方式是，在上述第一方式中，上述第一判断部基于从第二传感器输出的、表示车辆的状态的第二传感数据来决定是否判断上述驾驶员的状态、或者是否通过上述输出部输出判断结果。
根据本发明的第二方式，由第一判断部基于从第二传感器输出的、表示车辆的状态的第二传感数据来决定是否判断驾驶员的状态或者是否将判断结果通过上述输出部输出。即，能根据车辆的状态来决定是否判断驾驶员的状态。例如在作为驾驶员的状态判断旁视状态时，在处于弯道的道路上正在行驶时或者进行左右转的车道变更时，为了确保安全，驾驶员有时会进行与旁视同样的行为，因此能不将该行为判断为旁视。另外，当车辆处于没有移动的停车时，即使驾驶员进行旁视也不成为问题的情况较多，特别是在使车辆从停车状态起动时，为了确保安全，驾驶员进行与旁视同样的行为，因此在车辆停车状态时、以及起动后到规定时间的期间或者直至行驶规定距离为止或直至达到规定的车速为止，可以不进行旁视判断。另外，即使进行驾驶员的状态的判断本身，若不输出其判断结果，则也能得到同样的效果。
本发明的第三方式是，在上述第二方式中，上述运算部包括：第一学习部，其在满足将错误学习主要因素排除的第一条件时，反复运算上述统计信息；以及第二学习部，其在满足包括上述错误学习主要因素的第二条件时，反复运算上述统计信息，上述校正部对由上述第二学习部运算的上述统计信息进行比由上述第一学习部运算的上述统计信息低的加权，校正上述驾驶员的面部或视线的方向或者校正上述基准方向。
根据本发明的第三方式，通过运算部除了进行第一学习部的满足将错误学习主要因素排除的第一条件的、精度高但次数少的统计信息运算以外，还并行进行第二学习部的满足包括上述错误学习主要因素的第二条件的、精度低但次数多的统计信息运算，由此，第一判断部能在从刚开始车辆的驾驶后较早的阶段判断驾驶员的状态。另外，校正部使精度低的统计信息的权重低于精度高的统计信息的权重来进行校正，由此能使校正结果具有某种程度以上的精度。
本发明的第四方式是，在上述第三方式中，上述运算部在上述第一学习部的上述统计信息的运算进行了规定次数时，将上述第二学习部的上述统计信息的运算结束。
根据本发明的第四方式，若第一学习部的统计信息的运算进行规定次数，则能得到足够高的精度的统计信息，因此仅进行第一学习部的统计信息的运算。因而，能省去进行不必要的运算的浪费。
本发明的第五方式是，在上述第三或第四方式中，还包括存储部，上述存储部存储过去运算的多个驾驶员各自的统计信息，上述运算部在上述存储部中存储有与上述第二学习部的上述统计信息的运算结果近似的统计信息时，将上述第二学习部的上述统计信息的运算结束。
根据本发明的第五方式，若在存储部中存储有与由第二学习部运算的统计信息的运算结果近似的统计信息，即过去运算过与由第二学习部运算的统计信息的运算结果近似的统计信息，则不再进行第二学习部的统计信息的运算。因而，若正在驾驶车辆的当前的驾驶员是已经运算过的驾驶员，则通过将由第一学习部运算的统计信息设为正确的信息，能仅进行第一学习部的统计信息的运算。
本发明的第六方式是，在上述第五方式中，上述第一学习部在产生了驾驶员替换的可能性时，使上述存储部存储到此时为止上述运算部运算的上述统计信息，上述运算部在产生了驾驶员替换的可能性时，开始新的上述第一学习部和第二学习部的上述统计信息的运算。
根据本发明的第六方式，在产生了驾驶员替换的可能性时，使存储部存储到此为止由第一学习部运算的统计信息，之后开始新的第一学习部和第二学习部的统计信息的运算。通常在车辆的动力源被关断之前，车辆成为已经完全停止的停车状态，因此，由此判断为有驾驶员替换的可能性，到此为止由第一学习部运算的统计信息存储到存储部。因而，能使存储部可靠地存储运算的统计信息。特别是在开始了关于新的驾驶员的统计信息的运算的情况下，能可靠地存储其运算结果。
本发明的第七方式是，在上述第六方式中，还包括第二判断部，上述第二判断部基于上述第一传感数据或第二传感数据来判断上述驾驶员替换的可能性的有无。
根据本发明的第七方式，由第二判断部基于第一传感数据或第二传感数据来判断是否产生了驾驶员替换的可能性。例如第二判断部通过作为第二传感器的车速传感器的传感数据判断车辆已完全停止，通过作为第二传感器的档位选择传感器和/或停车制动传感器的传感数据判断已成为停车状态，从而判断为有驾驶员已替换的可能性。另外，例如第二判断部在基于来自作为第一传感器的驾驶照相机的第一传感数据而检测出驾驶员从监视图像中暂时消失后再次出现在监视图像中、或者暂时不能进行基于第一传感数据的驾驶员的面部或视线的检测后能再次检测的情况下，判断为有驾驶员已替换的可能性。因而，能基于第一传感数据或第二传感数据容易地判断驾驶员替换的可能性。另外，上述第二判断部为了判断上述驾驶员替换的可能性的有无，无需进行面部识别等复杂的个人认证处理，或者即使驾驶员不进行如自己申请驾驶员替换那样的特别的操作，也能简单地判断驾驶员替换的可能性。而且，不进行个人认证处理，因此无需提高程序的安全等级。
本发明的第八方式是，在上述第一至第七方式中的任意一个中，上述统计信息包括相对于车辆的正面方向上述驾驶员将面部或视线保持为正面的方向的、规定时间内的平均值和偏差量。
根据本发明的第八方式，运算例如相对于规定时间内的车辆的正面方向驾驶员将面部或视线保持为正面的方向的平均值和偏差量作为统计信息。因而，能容易地求出统计信息。
另外，为了解决上述问题，本发明的第九方式是驾驶员状态判断方法，上述驾驶员状态判断方法是判断车辆的驾驶员的状态的驾驶员状态判断装置所执行的，上述驾驶员状态判断方法包括如下过程：上述驾驶员状态判断装置基于从第一传感器输出的、包括车辆的驾驶员的图像的第一传感数据来判断上述驾驶员的面部或视线的方向，反复运算作为相对于车辆的正面方向上述驾驶员将面部或视线保持为正面的方向的保持方向上的统计信息；上述驾驶员状态判断装置基于上述运算的上述统计信息，校正相对于被设定为上述车辆的正面方向的基准方向上述判断后的上述驾驶员的面部或视线的方向、或者校正上述基准方向；上述驾驶员状态判断装置基于上述校正后的上述驾驶员的面部或视线的方向距离上述基准方向的偏离度、或者基于上述判断后的上述驾驶员的面部或视线的方向距离上述校正后的上述基准方向的偏离度，来判断上述驾驶员的状态；以及上述驾驶员状态判断装置将上述驾驶员的状态的判断结果对上述驾驶员输出。
根据本发明的第九方式，能与上述第一方式同样地，例如将根据驾驶员各人的不同而不同的、该驾驶员的面部或视线的方向的0°相对于作为驾驶员状态判断装置的规定的基准方向的、例如车辆的正面方向0°校正后判断驾驶员的状态是否是例如旁视状态，能不考虑驾驶员各自的个体差异地进行安全且精度高的驾驶员状态判断。
另外，为了解决上述问题，本发明的第十方式是存储有驾驶员状态判断程序的存储介质，上述驾驶员状态判断程序使计算机作为上述第一至第八方式中的任意的驾驶员状态判断装置所包括的各部发挥功能。
根据本发明的第十方式，能利用计算机实现上述第一至第八方式。
即，根据本发明的各方式，能提供能不考虑驾驶员各自的个体差异地进行安全且精度高的驾驶员状态判断的驾驶员状态判断装置及其方法以及存储介质。
附图说明
图1是说明本发明的实施方式的驾驶员状态判断装置的一应用例的框图。
图2是例示了第一实施方式的包括驾驶员状态判断装置的驾驶员状态判断系统的构成的框图。
图3是由第一实施方式的驾驶员状态判断系统的学习数据存储部存储的学习结果的一例的图。
图4是表示第一实施方式的驾驶员状态判断系统的处理步骤和处理内容的一例的流程图。
图5是表示第一实施方式的依照处理步骤的学习内容和运算的个体差异补正值的一例的时序图。
图6A是第二实施方式的包括驾驶员状态判断装置的驾驶员状态判断系统的学习数据存储部中构成的非易失性学习值表的一例的图。
图6B是表示第二实施方式的学习数据存储部中构成的易失性学习值表的一例的图。
图6C是表示第二实施方式的学习数据存储部中构成的易失性学习值表的另一例的图。
图6D是表示新追加了学习过的精度优先学习值的非易失性学习值表的一例的图。
图7是表示第二实施方式的驾驶员状态判断系统的处理步骤和处理内容的一例的流程图。
图8是表示第二实施方式的依照处理步骤的学习内容和运算的个体差异补正值的一例的时序图。
图9是第二实施方式的变形例的驾驶员状态判断系统的处理步骤和处理内容的一例的流程图。
附图标记说明
10：驾驶员状态判断装置、11：监视数据获取部、12：车辆信息获取部、13：获取信息存储部、14：统计运算部、15：驾驶员状态判断部、16：输出部、17：统计存储部、18：驾驶员替换可能性判断部、21：驾驶员监视传感器、22：车辆状态传感器、30：驾驶员状态判断装置、31：输入输出接口单元、32：控制单元、33：存储单元、41：驾驶照相机、42：车速传感器、43：转向传感器、44：转向指示灯传感器、45：档位选择传感器、46：停车制动传感器、50：判断结果输出装置、321：硬件处理器、322：程序存储器、331：监视数据存储部、332：车辆信息存储部、333：学习数据存储部、3211：监视数据获取部、3212：车辆信息获取部、3213：个体差异学习装置、3214：驾驶员状态判断部、3215：信号输出部、3331：非易失性学习值表、3332：易失性学习值表。
具体实施方式
以下，参照附图说明本发明的实施方式。
[应用例]
首先，说明本发明的实施方式的判断车辆的驾驶员的状态的驾驶员状态判断装置的一个应用例。
图1示意性地示出该应用例的驾驶员状态判断装置的构成例。
驾驶员状态判断装置10包括：监视数据获取部11、车辆信息获取部12、获取信息存储部13、运算部(第一学习部和第二学习部)及作为校正部的统计运算部14、作为第一判断部的驾驶员状态判断部15、输出部16、作为存储部的统计存储部17、以及作为第二判断部的驾驶员替换可能性判断部18。
监视数据获取部11从相对于驾驶员设置于车辆内的规定位置的、作为第一传感器的驾驶员监视传感器21导入第一传感数据，上述驾驶员监视传感器21检测驾驶员的行为、例如作为相对于车辆的正面方向驾驶员将面部或视线保持为正面的方向的保持方向等。例如驾驶员监视传感器21是设置于能拍摄驾驶员的面部的部位的、例如配置于仪表板上、方向盘中央、速度计旁、前柱等来拍摄包括驾驶员的面部的上半身的照相机。该照相机既可以是在1秒间拍摄多张驾驶员的静止图像的静态照相机，也可以是拍摄驾驶员的动态图像的摄像机。监视数据获取部11将来自该照相机的图像信号进行数字化处理而作为包括驾驶员的图像的第一传感数据导入。监视数据获取部11使获取信息存储部13存储该导入的第一传感数据。
获取信息存储部13例如使用HDD(Hard Disk Drive：硬盘驱动器)或SSD(SolidState Drive：固态硬盘)等能随时进行写入和读出的非易失性存储器和RAM等易失性存储器作为存储介质。
车辆信息获取部12从配置于车辆的各规定位置的作为第二传感器的车辆状态传感器22导入作为表示车辆的状态的第二传感数据的车辆信息。车辆状态传感器22是检测驾驶员替换可能性判断部18为了判断是否有驾驶员的替换而使用的信息的传感器。驾驶员的替换通常可设想为在车辆已经完全停止的停车状态下进行。因而，车辆状态传感器22可以包括例如检测车辆的速度的车速传感器、检测停车制动的状态的停车制动传感器、检测自动变速车的档位选择的停车位置的档位选择传感器等。车辆状态传感器22可以这样包括多个传感器。车辆信息获取部12将由该车辆状态传感器22检测出的检测信息进行数字化处理后作为表示车辆的状态的第二传感数据导入。车辆状态传感器22使上述获取信息存储部13存储该导入的第二传感数据。
统计运算部14根据作为车辆的动力源的发动机和/或电动机的启动期间中、由获取信息存储部13存储的驾驶员的图像数据来判断驾驶员的面部或视线的方向等的特征量。并且，统计运算部14按每一规定时间来运算作为相对于上述规定时间内的车辆的正面方向驾驶员将面部或视线保持为正面的方向的保持方向的平均值和偏差量等统计信息。如后所述，该按每一规定时间运算的统计信息被更新存储到统计存储部17。即，学习统计信息。此外，上述规定时间例如是数秒(X秒)。
在此，统计运算部14的特征量的统计信息的运算包括：在满足将错误学习主要因素排除的第一条件时进行的精度优先学习；以及在满足包括上述错误学习主要因素的第二条件时进行的机会优先学习这两个。在本说明书中，错误学习意味着本来不应学习的、运算并存储与其它运算结果偏离的统计信息。即，是指由后述的驾驶员状态判断部15学习有可能导致错误判断结果的、精度不高的统计信息。
第一条件例如设为车辆的速度是80km/h以上且以直线持续X秒以上、没有转向指示灯、并且上述X秒间的上述特征量的偏差量为规定值以内、例如驾驶员的面部或视线的方向的偏差量为Y°以内。即，在直线道路上以高速行驶且也不进行车道变更、面部或视线的方向不摇晃时，获取统计信息。由此，能获取精度高的统计信息。不过，获取次数变少。
对此，第二条件例如设为车辆的速度为20km/h以上且以直线持续X秒以上、没有转向指示灯。由此，能获取多个统计信息。但是，车辆速度低的情况与车辆速度高的情况相比，驾驶员进行旁视的可能性较高。因此，只能获取精度不怎么高的统计信息。
因而，统计运算部14在进行上述的校正时，针对该精度不高但获取多个的统计信息进行比获取量少但精度高的统计信息低的加权，来补正驾驶员的面部或视线的方向的判断值或基准方向。此外，上述统计运算部14能在进行了规定次数的上述精度优先学习的统计信息的运算时将上述机会优先学习的统计信息的运算结束。
驾驶员状态判断部15基于由统计运算部14运算的统计信息来校正相对于被设定为车辆的正面方向的基准方向而判断的驾驶员的面部或视线的方向、或者校正基准方向。即，进行用于使驾驶员识别为正面的方向(对该驾驶员而言为0°)与作为被设定为车辆的正面方向的基准方向的驾驶员状态判断装置上的正面方向(0°)一致的校正。作为该校正，既可以补正基于第一传感数据的驾驶员的面部或视线的方向的判断值，也可以补正被设定为车辆的正面方向的基准方向。
并且，驾驶员状态判断部15基于该校正后的驾驶员的面部或视线的方向距离基准方向的偏离度、或者由统计运算部14判断的驾驶员的面部或视线的方向距离校正后的基准方向的偏离度、以及作为由获取信息存储部13存储的第二传感数据的车辆信息，来判断驾驶员的状态例如旁视的状态。
输出部16对驾驶员输出驾驶员状态判断部15的判断结果。输出部16例如具有扬声器和警告灯显示器，通过警告音或警告灯的点亮对驾驶员输出驾驶员状态判断部15的判断结果。输出部16也可以包括扬声器和警告灯显示器中的一方。另外，也能利用车辆所包括的导航系统的声音输出功能或图像显示功能来发出警告音或进行警告显示，在该情况下，输出部16也可以向导航系统输出表示驾驶员状态判断部15的判断结果的状态判断结果信息。
统计存储部17例如将HDD或SSD等能随时进行写入和读出的非易失性存储器和RAM等易失性存储器组合后使用作为存储介质。统计存储部17的非易失性存储器能存储过去学习过的关于各驾驶员的行为的特征量的统计信息、例如相对于车辆的正面方向的驾驶员的面部或视线的保持方向的平均值和偏差量等统计信息。另外，统计存储部17的易失性存储器能临时存储每次用统计运算部14运算的上述精度优先学习的统计信息和上述机会优先学习的统计信息以及各自的运算次数。上述统计运算部14也可以在该统计存储部17的非易失性存储器中存储有与上述机会优先学习的统计信息的运算结果近似的统计信息时，将该机会优先学习的统计信息的运算结束。
驾驶员替换可能性判断部18基于作为由获取信息存储部13存储的第二传感数据的车辆信息来判断驾驶员替换的可能性。例如驾驶员替换可能性判断部18在车辆已经完全停止并成为了停车状态的情况下，判断为有驾驶员已替换的可能性。另外，驾驶员替换可能性判断部18还能基于由获取信息存储部13存储的作为第一传感数据的监视数据来判断驾驶员替换的可能性。例如，驾驶员替换可能性判断部18在暂时无法检测出驾驶员之后能再次检测出驾驶员的情况下，判断为有驾驶员已替换的可能性。上述统计运算部14也可以在由驾驶员替换可能性判断部18判断为有驾驶员替换的可能性时，使统计存储部17的非易失性存储器存储到此为止运算的上述精度优先学习的统计信息。而且，上述统计运算部14也可以开始新的上述精度优先学习和机会优先学习的统计信息的运算。
由于是如上所示的构成，所以在驾驶员状态判断装置10中由统计运算部14基于从作为第一传感器的驾驶员监视传感器21输出的作为第一传感数据的监视数据，来判断驾驶员的面部或视线的方向，反复运算相对于车辆的正面方向驾驶员将面部或视线保持为正面的方向上的统计信息。并且，由驾驶员状态判断部15基于该运算的统计信息来校正相对于被设定为车辆的正面方向的基准方向判断的驾驶员的面部或视线的方向、或者校正基准方向。即，进行用于使驾驶员识别为正面的方向(对该驾驶员而言为0°)与作为被设定为车辆的正面方向的基准方向的驾驶员状态判断装置上的正面方向(0°)一致的校正。作为该校正，既可以补正基于第一传感数据的驾驶员的面部或视线的方向的判断值，也可以补正被设定为车辆的正面方向的基准方向。并且，由驾驶员状态判断部15基于该校正后的驾驶员的面部或视线的方向距离基准方向的偏离度、或者基于判断后的驾驶员的面部或视线的方向距离校正后的基准方向的偏离度来判断驾驶员的状态，由输出部16对驾驶员输出其判断结果。因而，例如能在将根据驾驶员各人的不同而不同的、该驾驶员的面部或视线的方向的0°相对于作为驾驶员状态判断装置的规定的基准方向的、例如车辆的正面方向0°进行了校正后，判断驾驶员的状态例如是否是旁视状态。即，若该驾驶员感觉是正面的方向与装置的0°不同，则将该驾驶员的正面方向处理为装置的0°。由此，无需根据驾驶员的不同而放宽例如旁视驾驶的判断基准，能进行不考虑驾驶员各自的个体差异的安全且精度高的驾驶员状态判断。
另外，在驾驶员状态判断装置10中，由驾驶员状态判断部15基于表示车辆的状态的第二传感数据来决定是否判断驾驶员的状态或者是否由上述输出部输出判断结果。即，能根据车辆的状态来决定是否判断驾驶员的状态。例如在作为驾驶员的状态判断旁视状态时，在处于弯道的道路上正在行驶时或者进行左右转的车道变更时，为了确保安全，驾驶员有时会进行与旁视同样的行为，因此能不将该行为判断为旁视。另外，当车辆处于没有移动的停车时，即使驾驶员进行旁视也不成为问题的情况较多，特别是在使车辆从停车状态起动时，为了确保安全，驾驶员进行与旁视同样的行为，因此在车辆停车状态时、以及起动后到规定时间的期间或直至行驶规定距离为止、或者直至达到规定的车速为止，可以不进行旁视判断。另外，即使进行驾驶员的状态的判断本身，若不输出其判断结果，则也能得到同样的效果。
另外，在驾驶员状态判断装置10中，通过统计运算部14除了进行满足将错误学习主要因素排除的第一条件的、精度高但次数少的精度优先学习以外，还并行进行满足包括上述错误学习主要因素的第二条件的、精度低但次数多的机会优先学习，由此，驾驶员状态判断部15能在刚开始车辆的驾驶后较早的阶段判断驾驶员的状态。在该情况下，驾驶员状态判断部15使精度低的机会优先学习的统计信息的权重低于精度高的精度优先学习的统计信息的权重来进行校正，由此能使校正结果具有某种程度以上的精度。
另外，在驾驶员状态判断装置10中，若用统计运算部14进行规定次数的精度优先学习的统计信息的运算，则能得到足够高的精度的统计信息，因此机会优先学习结束后仅进行精度优先学习的统计信息的运算。因而，能省去进行不必要的运算的浪费。
另外，在驾驶员状态判断装置10中，若在统计存储部17的非易失性存储器中存储有与在统计运算部14中通过机会优先学习运算的统计信息的运算结果近似的统计信息，则能不再进行机会优先学习的统计信息的运算。即，若正在驾驶车辆的当前的驾驶员是已经运算的驾驶员，则能以此时通过精度优先学习运算的统计信息为正确的信息而结束机会优先学习。
在此，在驾驶员状态判断装置10中，在由驾驶员替换可能性判断部18判断为有驾驶员替换的可能性时，使统计存储部17的非易失性存储器存储到此为止通过精度优先学习运算的统计信息，之后开始新的基于精度优先学习的统计信息的运算和基于机会优先学习的统计信息的运算。通常在车辆的动力源被关断之前，车辆为已经完全停止的停车状态，因此，由此驾驶员替换可能性判断部18能判断为有可能替换驾驶员，到此为止的基于精度优先学习的统计信息存储到统计存储部17的非易失性存储器。因而，能设为能使统计存储部17的非易失性存储器可靠地存储运算的统计信息，能将该信息用于下次以后的上述近似的统计信息的存储有无判断。特别是在开始了关于新驾驶员的统计信息的运算的情况下，能可靠地存储其运算结果。
此外，在驾驶员状态判断装置10中，由驾驶员替换可能性判断部18进行的是否产生了驾驶员替换的可能性的判断是能基于由获取信息存储部13存储的第一传感数据或第二传感数据来进行判断的。例如驾驶员替换可能性判断部18通过作为车辆状态传感器22的车速传感器的传感数据判断车辆已经完全停止，通过作为车辆状态传感器22的档位选择传感器和/或停车制动传感器的传感数据判断已成为停车状态，从而判断为有驾驶员已替换的可能性。另外，例如驾驶员替换可能性判断部18在基于来自作为驾驶员监视传感器21的驾驶照相机的监视数据检测出驾驶员从监视图像中暂时消失后再次出现在监视中、或者暂时不能进行基于监视数据的驾驶员的面部或视线的检测后能再次检测出的情况下，能判断为有驾驶员已替换的可能性。因而，驾驶员替换可能性判断部18能基于由获取信息存储部13存储的传感数据容易地判断驾驶员替换的可能性。另外，驾驶员替换可能性判断部18为了判断上述驾驶员替换的可能性的有无，无需进行面部识别等复杂的个人认证处理，或者即使驾驶员不进行如自己申请驾驶员替换那样的特别的操作，也能简单地判断驾驶员替换的可能性。而且，不进行个人认证处理，因此无需提高程序的安全等级。
另外，在驾驶员状态判断装置10中，统计运算部14例如运算相对于规定时间内的车辆的正面方向驾驶员将面部或视线保持为正面的方向的平均值和偏差量作为统计信息。因而，能容易地求出统计信息。
[第一实施方式]
下面，说明本发明的第一实施方式。
(构成)
(1)系统
图2是表示本发明的第一实施方式的包括驾驶员状态判断装置的驾驶员状态判断系统的整体构成的一例的图。
驾驶员状态判断系统包括第一实施方式的驾驶员状态判断装置30、各种的传感器41～46以及判断结果输出装置50。
(2)传感器
在该第一实施方式中，作为传感器，例如包括作为驾驶员监视传感器的驾驶照相机41和作为车辆状态传感器的车速传感器42、转向传感器43、转向指示灯传感器44、档位选择传感器45及停车制动传感器46。当然这是一例，也可以包括其它传感器。
驾驶照相机41是设置于能拍摄驾驶员的面部的部位的、例如配置于仪表板上、方向盘中央、速度计旁、前柱等来拍摄包括驾驶员的面部的上半身的照相机。该驾驶照相机41既可以是在1秒间拍摄多张静止图像的静态照相机，也可以是拍摄动态图像的摄像机。
车速传感器42检测车辆的移动速度。转向传感器43检测方向盘的转向角。该转向传感器43既可以是检测驾驶员对方向盘的操作本身的传感器，也可以是检测能通过方向盘操作改变方向的车轮的转向角的传感器。转向指示灯传感器44检测转向指示灯的操作。该转向指示灯传感器44既可以是检测驾驶员对转向指示灯操纵杆的操作本身的传感器，也可以是检测根据转向指示灯操纵杆操作而闪烁的转向指示灯的闪烁控制信号的传感器。
另外，档位选择传感器45检测自动变速车的档位选择的停车位置。该档位选择传感器45既可以是检测驾驶员对档位选择的选择操作本身的传感器，也可以是检测显示被选择的位置的指示器的点亮控制信号的传感器。停车制动传感器46检测停车制动的状态。该停车制动传感器46既可以是检测驾驶员对停车制动操纵杆的操作本身的传感器，也可以是检测驱动停车制动的驱动控制信号的传感器。无需一定包括档位选择传感器45和停车制动传感器46两者。例如在搭载有自动变速器的车辆中，也可以不包括停车制动传感器46，而仅是档位选择传感器45。在搭载有手动变速器的车辆中，也可以仅是停车制动传感器46。
(3)驾驶员状态判断装置
驾驶员状态判断装置30包括控制单元32、输入输出接口单元31以及存储单元33。
输入输出接口单元31接收从驾驶照相机41输出的图像信号后将其转换为数字数据并输入到控制单元32。输入输出接口单元31还接收车速传感器42、转向传感器43、转向指示灯传感器44、档位选择传感器45和停车制动传感器46各自的传感数据并将它们输入到控制单元32。输入输出接口单元31还将从控制单元32输出的驾驶员状态判断结果信息转换为输出控制信号后向判断结果输出装置50输出。
存储单元33使用例如SSD或HDD等能进行随时写入和读出的非易失性存储器和RAM等易失性存储器作为存储介质。存储单元33作为为了实施本实施方式而使用的存储区域包括：监视数据存储部331，其存储驾驶员的监视数据；车辆信息存储部332，其存储车辆的状态；以及学习数据存储部333，其将包括统计信息和学习次数的学习结果存储为学习数据。
图3是表示由学习数据存储部333存储的学习数据的一例的图。在该第一实施方式中，学习数据存储部333存储作为精度优先学习的统计信息的精度优先学习值及其学习次数；以及作为机会优先学习的统计信息的机会优先学习值及其学习次数。统计信息包括作为相对于车辆的正面方向驾驶员将面部或视线保持为正面的方向的保持方向的平均值和偏差量。在图3的例子中，在将作为被设定为车辆的正面方向的基准方向的驾驶员状态判断装置上的正面方向设为0°时，示出精度优先学习的驾驶员的面部或视线的保持方向的平均值是+5.1°，驾驶员的面部或视线的保持方向的偏差量是1.1°，学习次数是3次。另外，示出机会优先学习的驾驶员的面部或视线的保持方向的平均值是+4.8°，驾驶员的面部或视线的保持方向的偏差量是1.3°，学习次数是8次。此外，在此，示出相对于基准方向将左右方向存储为+-方向的例子，但也可以相对于基准方向将上下方向存储为+-方向，也可以将两者都存储为+-方向。而且，也可以存储头的倾斜度等。
控制单元32具有CPU(Central Processing Unit：中央处理单元)等硬件处理器321和程序存储器322。控制单元32作为通过由硬件处理器321执行在程序存储器322中存储的程序来实现的、为了实施本实施方式所需的软件构成而包括监视数据获取部3211、车辆信息获取部3212、个体差异学习装置3213、驾驶员状态判断部3214以及信号输出部3215。此外，这些软件构成的各部也可以包括专用的硬件。
监视数据获取部3211从驾驶照相机41获取驾驶员的监视图像。即，监视数据获取部3211从输入输出接口单元31导入作为从驾驶照相机41输出的驾驶员的图像信号的数字数据的传感数据，将该导入的传感数据作为驾驶员的监视数据存储到存储单元33的监视数据存储部331。
车辆信息获取部3212分别从车速传感器42、转向传感器43、转向指示灯传感器44、档位选择传感器45以及停车制动传感器46获取车辆信息。即，车辆信息获取部3212从输入输出接口单元31导入从这些各传感器输出的传感数据，将该导入的传感数据作为车辆信息存储到存储单元33的车辆信息存储部332。
个体差异学习装置3213学习驾驶员各自的个体差异。例如，个体差异学习装置3213在作为车辆的动力源的发动机和/或电动机的启动期间中，按每一规定时间例如按每数秒运算作为相对于该规定时间内的车辆的正面方向驾驶员将面部或视线保持为正面的方向的保持方向的平均值和偏差量等统计信息。此外，驾驶员的面部或视线的当前的方向由驾驶员状态判断部3214基于在监视数据存储部331中存储的监视数据来判断，从驾驶员状态判断部3214输入到个体差异学习装置3213。个体差异学习装置3213基于该被输入的驾驶员的面部或视线的方向来运算相对于作为规定时间内的驾驶员的特征量的车辆的正面方向驾驶员将面部或视线保持为正面的方向的保持方向的统计值。
此外，在进行该统计信息的运算时，设置车速或转向角、转向指示灯的有无等两种条件，仅在满足各个条件的情况下进行运算。用于精度优先学习的第一条件例如设为车辆的速度为80km/h以上且以直线持续X秒以上、没有转向指示灯、并且上述X秒间的上述特征量的偏差量为规定值以内、例如驾驶员的面部或视线的方向的偏差量为Y°以内。由此，能排除错误学习主要因素，能获取精度高的统计信息。不过，获取次数变少。另外，用于机会优先学习的第二条件设为例如车辆的速度为20km/h以上且以直线持续X秒以上、没有转向指示灯。在该情况下，无法排除错误学习主要因素，因此统计信息的精度不怎么高。但是，能获取多个统计信息。
此外，由个体差异学习装置3213运算的统计信息不仅使用上述规定时间内在驾驶员的面部或视线的保持方向上运算的平均值或偏差量，还使用到此为止运算(学习)了的统计信息、即运算还考虑了到此为止运算的统计信息的统计信息。
个体差异学习装置3213使学习数据存储部333存储作为精度优先学习的统计信息的精度优先学习值及其学习次数，并且使学习数据存储部333存储作为机会优先学习的统计信息的机会优先学习值及其学习次数。
另外，在个体差异学习装置3213的精度优先学习和机会优先学习中，在上述规定时间内运算由驾驶员状态判断部3214判断的驾驶员的面部或视线的保持方向的统计信息，将其存储到学习数据存储部333。
此外，包括个体差异学习装置3213的硬件处理器321当车辆的驱动源开启时开始动作，随着驱动源的关闭而结束动作。
驾驶员状态判断部3214从学习数据存储部333读入分别运算并使学习数据存储部333存储的、即进行了精度优先学习和机会优先学习的学习数据，基于该学习数据来校正相对于被设定为车辆的正面方向的基准方向判断的驾驶员的面部或视线的方向。或者个体差异学习装置3213基于学习数据校正基准方向。即，进行用于使驾驶员识别为正面的方向(对该驾驶员而言为0°)与作为被设定为车辆的正面方向的基准方向的驾驶员状态判断装置上的正面方向(0°)一致的校正。作为该校正，既可以补正基于第一传感数据的驾驶员的面部或视线的方向的判断值，也可以补正被设定为车辆的正面方向的基准方向。
此外，在该第一实施方式中，如后述详细内容所示，该校正是通过由个体差异学习装置3213基于学习数据算出个体差异补正值、由驾驶员状态判断部3214使用该个体差异补正值来补正驾驶员的面部或视线的方向或基准方向而进行的。
驾驶员状态判断部3214还从车辆信息存储部332读入转向传感器43或转向指示灯传感器44的传感数据。并且，驾驶员状态判断部3214基于校正后的驾驶员的面部或视线的方向距离基准方向的偏离度、或者基于判断后的驾驶员的面部或视线的方向距离校正后的基准方向的偏离度来判断驾驶员的状态例如是否是旁视状态。此时，驾驶员状态判断部3214根据转向传感器43或转向指示灯传感器44的传感数据来决定是否进行该判断本身、或者是否输出判断结果。其原因是，在处于弯道的道路上正在行驶时或者进行左右转的车道变更时，为了确保安全，驾驶员有时会进行与旁视同样的行为，因此希望不将该行为判断为旁视。
信号输出部3215将驾驶员状态判断部3214的表示驾驶员状态的判断结果的驾驶员状态判断结果信息经由输入输出接口单元31向判断结果输出装置50输出。
(4)判断结果输出装置
判断结果输出装置50例如具有扬声器和警告灯显示器，通过警告音或警告灯的点亮将从驾驶员状态判断装置30输出的驾驶员状态判断结果信息输出给驾驶员。判断结果输出装置50也可以包括扬声器和警告灯显示器中的一方。判断结果输出装置50也可以构成为使用车辆包括的导航系统的声音输出功能或图像显示功能。另外，该判断结果输出装置50也可以构成为包含于驾驶员状态判断装置30，由信号输出部3215控制。
(动作)
下面，说明如上所示构成的驾驶员状态判断系统的动作。
图4是表示图2所示的驾驶员状态判断系统的处理步骤和处理内容的一例的流程图，图5是表示图2所示的驾驶员状态判断系统的依照处理步骤的学习内容和所运算的个体差异补正值的一例的时序图。
(1)传感数据导入
在车辆的驱动源开启时，驾驶员状态判断装置30和作为驾驶员监视传感器的驾驶照相机41以及作为车辆状态传感器的各传感器42～46开始动作。驾驶员状态判断装置30通过监视数据获取部3211获取来自驾驶照相机41的传感数据，将其作为监视数据存储到监视数据存储部331。另外，驾驶员状态判断装置30通过车辆信息获取部3212获取来自车速传感器42、转向传感器43、转向指示灯传感器44、档位选择传感器45以及停车制动传感器46各自的传感数据，将其作为车辆信息存储到车辆信息存储部332。反复实施这些传感数据的获取和存储直至车辆的驱动源关闭为止。
(2)统计信息学习
驾驶员状态判断装置30与上述传感数据的导入动作并行地在步骤S11中开始机会优先学习的统计信息的学习，并且在步骤S12中开始精度优先学习的统计信息的学习。
即，驾驶员状态判断装置30首先使驾驶员状态判断部3214基于由监视数据存储部331存储的监视数据判断驾驶员的面部或视线的方向。并且，驾驶员状态判断装置30使个体差异学习装置3213根据该驾驶员的面部或视线的方向运算作为相对于车辆的正面方向驾驶员将面部或视线保持为正面的方向的保持方向的平均值和偏差量。此时，驾驶员状态判断装置30在精度优先学习中满足第一条件、例如车辆的速度为80km/h以上且以直线持续X秒以上、没有转向指示灯并且上述X秒间的上述特征量的偏差量为规定值以内、例如驾驶员的面部或视线的方向的偏差量为Y°以内的情况下，运算统计信息。另外，在机会优先学习中，在满足比上述第一条件宽松的第二条件、例如车辆的速度为20km/h以上且以直线持续X秒以上、没有转向指示灯的情况下，运算统计信息。个体差异学习装置3213将这些机会优先学习和精度优先学习的运算结果作为学习数据存储到学习数据存储部333。
(3)算出个体差异补正值、判断驾驶员状态
(3-1)精度优先学习不充分时
下面，驾驶员状态判断装置30使驾驶员状态判断部3214算出为了用于驾驶员的状态的判断的个体差异补正值。
即，个体差异学习装置3213首先在步骤S13中判断在学习数据存储部333中存储的学习数据的精度优先学习次数是否成为规定的N次以上。在此，N是任意的整数，只要是能得到足够高的精度的学习结果的次数即可。
在上述第一条件和上述第二条件中，先满足作为比第一条件宽松的条件的第二条件。因而，在开始了驾驶的初始阶段，与精度优先学习相比较多地执行机会优先学习。因而，在上述步骤S13中，判断为精度优先学习次数还未达到N次。在该情况下，个体差异学习装置3213在步骤S14中基于在学习数据存储部333中存储的学习数据、即机会优先学习结果和精度优先学习结果来算出补正值。并且，个体差异学习装置3213在步骤S15中决定将上述算出的补正值采用为个体差异补正值。
此外，在上述步骤S14的个体差异的算出中，例如进行如下所示的运算。即，在将精度优先学习值设为Lh、将精度优先学习次数设为Nh、将机会优先学习值设为Ll、将机会优先学习次数设为Nl、将加权常数设为M时，通过
Lc＝(Lh×Nh+Ll×(Nl/M))/(Nh+(Nl/M))
求出补正值Lc。其中，加权常数M是任意的整数。即，机会优先学习值Ll仅精度优先学习值Lh的1/M有权重，M次量的机会优先学习值Ll与1次量的精度优先学习值Lh被同等地处理。
此外，车辆的驱动源在车辆已经完全停止的停车状态下被开启。因而，如图5所示，在车辆的驱动源被开启的时刻t0，即使在上述步骤S11和步骤S12中开始学习，也不进行实际的统计信息的运算。因此，精度优先学习值Lh、精度优先学习次数Nh、机会优先学习值Ll以及机会优先学习次数Nl均为0，补正值Lc成为0。此外，在图5中，用虚线表示规定时间(X秒)的划分，另外，在精度优先学习和机会优先学习中未附有影线的部分表示不进行实际的学习。
下面，驾驶员状态判断装置30由驾驶员状态判断部3214在步骤S16中实施基于该个体差异补正值的驾驶员的状态的判断。例如，驾驶员状态判断部3214利用上述个体差异补正值来补正基于在监视数据存储部331中存储的监视数据而判断的驾驶员的面部或视线的当前的方向，从而校正驾驶员的面部或视线的方向。并且，将该校正后的驾驶员的面部或视线的方向与规定的基准方向进行比较，由此基于校正后的驾驶员的面部或视线的方向距离基准方向的偏离度来判断例如是否是旁视状态等驾驶员状态。
不过，在个体差异补正值为0时，根据上述第一条件和第二条件，作为车辆处于停车时、车辆刚起动后进行转弯行驶时、左右转或车道变更时的概率高，因此希望驾驶员状态判断部3214不实施驾驶员的状态判断。
并且，在步骤S17中，驾驶员状态判断部3214通过信号输出部3215将表示驾驶员状态的判断结果的驾驶员状态判断结果信息向判断结果输出装置50输出。由此，驾驶员状态判断结果信息通过判断结果输出装置50作为警告音或警告灯的点亮而呈现给驾驶员。
之后，驾驶员状态判断装置30从上述步骤S11起反复进行处理。
(3-2)精度优先学习充分时
这样反复进行步骤S11到步骤S17，如图5所示，在时刻t1，在进行第N次的精度优先学习时，在上述步骤S13中判断为精度优先学习次数成为了N次以上。在该情况下，个体差异学习装置3213在步骤S18中决定将精度优先学习值Lh采用为个体差异补正值。
下面，驾驶员状态判断装置30由驾驶员状态判断部3214在步骤S19中实施基于该个体差异补正值的驾驶员的状态的判断。例如，驾驶员状态判断部3214利用上述个体差异补正值补正基于在监视数据存储部331中存储的监视数据而判断的驾驶员的面部或视线的当前的方向，从而校正驾驶员的面部或视线的方向。并且，将该校正后的驾驶员的面部或视线的方向与规定的基准方向进行比较，从而基于校正后的驾驶员的面部或视线的方向距离基准方向的偏离度来判断例如是否是旁视状态等驾驶员状态。
并且，在步骤S20中，驾驶员状态判断部3214通过信号输出部3215将表示驾驶员状态的判断结果的驾驶员状态判断结果信息向判断结果输出装置50输出。由此，驾驶员状态判断结果信息通过判断结果输出装置50作为警告音或警告灯的点亮而呈现给驾驶员。
之后，驾驶员状态判断装置30从上述步骤S12起反复进行处理。即，之后不进行机会优先学习，仅实施精度优先学习。
此外，在该情况下，也是在个体差异补正值为0时，根据上述第一条件，作为车辆处于停车时、车辆刚起动后进行转弯行驶时、左右转或车道变更时的概率高，因此希望驾驶员状态判断部3214不实施驾驶员的状态判断。
(第一实施方式的效果)
如上所述，在第一实施方式中，在驾驶员状态判断装置30中，通过驾驶员状态判断部3214基于在监视数据存储部331中存储的监视数据来判断驾驶员的面部或视线的方向，通过个体差异学习装置3213反复运算相对于车辆的正面方向驾驶员将面部或视线保持为正面的方向上的统计信息。并且，通过该个体差异学习装置3213基于该运算的统计信息来校正相对于被设定为车辆的正面方向的基准方向判断的驾驶员的面部或视线的方向、或者校正基准方向。即，进行用于使驾驶员识别为正面的方向(对该驾驶员而言为0°)与被设定为车辆的正面方向的基准方向的驾驶员状态判断装置上的正面方向(0°)一致的校正。作为该校正，既可以补正基于第一传感数据的驾驶员的面部或视线的方向的判断值，也可以补正被设定为车辆的正面方向的基准方向。并且，通过驾驶员状态判断部3214基于该校正后的驾驶员的面部或视线的方向距离基准方向的偏离度、或者判断后的驾驶员的面部或视线的方向距离校正后的基准方向的偏离度来判断驾驶员的状态，由判断结果输出装置50对驾驶员输出该判断结果。因而，例如能在将由于驾驶员各人的不同而不同的、该驾驶员的面部或视线的方向的0°相对于作为驾驶员状态判断装置30的规定的基准方向的、例如车辆的正面方向0°进行了校正后，判断驾驶员的状态例如是否是旁视状态。即，若该驾驶员感觉是正面的方向与装置的0°不同，则将该驾驶员的正面方向处理为装置的0°。由此，无需根据驾驶员的不同而放宽例如旁视驾驶的判断基准，能进行不考虑驾驶员各自的个体差异的安全且精度高的驾驶员状态判断。
另外，在驾驶员状态判断装置30中，驾驶员状态判断部3214基于表示车辆的状态的车辆信息来决定是否判断驾驶员的状态或者是否由判断结果输出装置50输出判断结果。即，能根据车辆的状态来决定是否判断驾驶员的状态。例如在作为驾驶员的状态判断旁视状态时，在处于转弯的道路上正在行驶时或者进行左右转的车道变更时，为了确保安全，驾驶员有时会进行与旁视同样的行为，因此能不将该行为判断为旁视。另外，当车辆处于没有移动的停车时，即使驾驶员进行旁视也不成为问题的情况较多，特别是在使车辆从停车状态起动时，为了确保安全，驾驶员进行与旁视同样的行为，因此在车辆停车状态时、以及起动后到规定时间的期间或者直至行驶规定距离为止或直至达到规定的车速为止，可以不进行旁视判断。另外，即使进行驾驶员的状态的判断本身，若不输出其判断结果，则也能得到同样的效果。
另外，在驾驶员状态判断装置30中，除了由个体差异学习装置3213进行满足将错误学习主要因素排除的第一条件的、精度高但次数少的精度优先学习以外，还并行进行满足包括上述错误学习主要因素的第二条件的、精度低但次数多的机会优先学习，由此，驾驶员状态判断部3214能在刚开始车辆的驾驶后较早的阶段判断驾驶员的状态。在该情况下，个体差异学习装置3213进行使精度低的机会优先学习的统计信息的权重低于精度高的精度优先学习的统计信息的权重的校正，由此能使校正结果具有某种程度以上的精度。
例如在专利文献1中公开的现有的技术中，无法实施某种程度的次数的补正直至判断为旁视为止。若是普通的驾驶员，则成为这种被判断为旁视的驾驶员状态的次数受到限制。因而，设想会非常花费时间直至能实施精度高的旁视判断。另一方面，在构成将判断旁视驾驶的旁视驾驶判断装置等驾驶员状态判断装置与驾驶辅助装置或自动驾驶装置等其它装置组合后的系统时，车辆行驶多远才能从驾驶员状态判断装置得到精度良好的结果是不确定的，因此进行系统构筑是非常困难的。在该第一实施方式中，通过机会优先学习，能从刚开始驾驶后较早的阶段得到具有某种程度的精度的判断结果，因此从系统构筑方面来看也是有利的。
另外，在驾驶员状态判断装置30中，若通过个体差异学习装置3213进行规定次数(N次)的精度优先学习的统计信息的运算，则能得到足够高的精度的统计信息，因此机会优先学习结束后仅进行精度优先学习的统计信息的运算。因而，能省去进行不必要的运算的浪费。
另外，在驾驶员状态判断装置30中，个体差异学习装置3213例如运算相对于规定时间内的车辆的正面方向驾驶员将面部或视线保持为正面的方向的平均值和偏差量作为统计信息。因而，能容易地求出统计信息。
[第二实施方式]
下面，说明本发明的第二实施方式。
(构成)
本发明的第二实施方式的包括驾驶员状态判断装置的驾驶员状态判断系统的整体构成与图2所示的第一实施方式的驾驶员状态判断系统同样地包括驾驶员状态判断装置30、各种传感器41～46以及判断结果输出装置50。以下，针对与第一实施方式的驾驶员状态判断系统同样的构成部分，省略其说明，说明与第一实施方式不同的构成部分。
该第二实施方式的驾驶员状态判断装置30与上述第一实施方式的驾驶员状态判断装置30的不同之处在于以下方面。
即，在该第二实施方式中，存储单元的学习数据存储部333包括：非易失性学习值表3331，其非易失性地存储图6A所示的学习数据；以及易失性学习值表3332，其易失性地存储图6B所示的学习数据。
在此，如图6A所示，非易失性学习值表3331存储通过过去的精度优先学习得到的每一驾驶员的精度优先学习值。即，将精度优先学习值与表示驾驶员的标识符一起存储，上述精度优先学习值是每一驾驶员的、作为相对于车辆的正面方向驾驶员将面部或视线保持为正面的方向的保持方向上的、规定时间内的平均值和偏差量等统计信息。在图6A的例子中，非易失性学习值表3331包括与3名驾驶员有关的精度优先学习值。即，在将作为被设定为车辆的正面方向的基准方向的驾驶员状态判断装置上的正面方向设为0°时，用驾驶员编号1的标识符特定的驾驶员的面部或视线的保持方向的平均值是-2.8°，驾驶员的面部或视线的保持方向的偏差量是1.8°。用驾驶员编号2的标识符特定的驾驶员的面部或视线的保持方向的平均值是+5.0°，偏差量是1.0°，用驾驶员编号3的标识符特定的驾驶员的面部或视线的保持方向的平均值是+0.5°，偏差量是2.0°。此外，在此，示出相对于基准方向将左右方向存储为+-方向的例子，但也可以相对于基准方向将上下方向存储为+-方向，也可以将两者都存储为+-方向。而且，也可以存储头的倾斜度等。
如图6B所示，易失性学习值表3332存储作为精度优先学习的统计信息的精度优先学习值及其学习次数；以及作为机会优先学习的统计信息的机会优先学习值及其学习次数。在图6B的例子中，示出在将基准方向设为0°时，精度优先学习的驾驶员的面部或视线的保持方向的平均值是+5.1°，驾驶员的面部或视线的保持方向的偏差量是1.1°并且学习次数是3次。另外，示出机会优先学习的驾驶员的面部或视线的保持方向的平均值是+4.8°，偏差量是1.3°并且学习次数是4次。在此，关于+-方向，与在非易失性学习值表3331中存储的精度优先学习值相同。
另外，个体差异学习装置3213与上述第一实施方式同样地进行精度优先学习和机会优先学习这两种学习，但在该第二实施方式中，还在非易失性学习值表3331中存储有与通过机会优先学习运算的统计信息近似的统计信息时，将机会优先学习结束。因此，个体差异学习装置3213在产生了驾驶员替换的可能性时，将到此为止通过精度优先学习运算的统计信息存储到上述非易失性学习值表3331，之后开始新的基于机会优先学习和精度优先学习的统计信息的运算。
此外，能由驾驶员状态判断部3214基于在车辆信息存储部332中存储的车辆信息来判断驾驶员替换可能性的有无。例如通过车速传感器42的传感数据判断车辆已经完全停止、并通过档位选择传感器45和/或停车制动传感器46的传感数据判断已经成为停车状态，由此能判断为有驾驶员已替换的可能性。或者驾驶员状态判断部3214还能基于在监视数据存储部331中存储的监视数据判断驾驶员替换的可能性。例如在驾驶员从监视图像中暂时消失后再次出现在监视图像中的情况或者在暂时不能进行基于监视数据的驾驶员的面部或视线的检测后能再次检测的情况下，能判断为有驾驶员已替换的可能性。驾驶员状态判断部3214在这样判断为有驾驶员已替换的可能性时，将驾驶员替换触发信号输出给个体差异学习装置3213。
(动作)
下面，说明如上所示构成的驾驶员状态判断系统的动作。
图7是表示该第二实施方式的驾驶员状态判断系统的处理步骤和处理内容的一例的流程图，图8是表示第二实施方式的依照处理步骤的学习内容和所运算的个体差异补正值的一例的时序图。
(1)导入传感数据
在车辆的驱动源开启时，与上述第一实施方式同样地，驾驶员状态判断装置30、作为驾驶员监视传感器的驾驶照相机41以及作为车辆状态传感器的各传感器42～46开始动作，将监视数据存储到监视数据存储部331，将车辆信息存储到车辆信息存储部332。能反复实施这些传感数据的获取和存储，直至车辆的驱动源被关闭为止。
(2)学习统计信息
驾驶员状态判断装置30与上述传感数据的导入动作并行地在步骤S11中开始基于机会优先学习的统计信息的运算，并且在步骤S12中开始基于精度优先学习的统计信息的运算。该步骤S11和S12如在上述第一实施方式中说明的。个体差异学习装置3213将这些机会优先学习和精度优先学习的运算结果作为学习数据存储到学习数据存储部333的易失性学习值表3332。
(3)算出个体差异补正值、判断驾驶员状态
(3-1)精度优先学习不充分时
(3-1-1)过去没有学习的情况
下面，驾驶员状态判断装置30使驾驶员状态判断部3214算出为了在驾驶员的状态的判断中使用的个体差异补正值。
即，个体差异学习装置3213首先在步骤S13中判断在学习数据存储部333中存储的学习数据的精度优先学习次数是否成为规定的N次以上。并且，在判断为精度优先学习次数还未达到N次的情况下，个体差异学习装置3213在步骤S21中对通过机会优先学习运算并存储到学习数据存储部333的易失性学习值表3332的机会优先学习值和存储到学习数据存储部333的非易失性学习值表3331的关于各驾驶员的精度优先学习值进行比较。并且，个体差异学习装置3213在步骤S22中判断是否有与机会优先学习值近似的精度优先学习值、即过去是否进行了学习。在该情况下，例如通过不仅使用驾驶员的面部或视线的保持方向的平均值还使用偏差量来降低错误判断的概率。
在判断为没有与机会优先学习值近似的精度优先学习值的情况下，个体差异学习装置3213与上述第一实施方式同样地在步骤S14中基于由易失性学习值表3332存储的学习数据、即机会优先学习结果和精度优先学习结果来算出补正值，在步骤S15中，决定将该算出的补正值采用为个体差异补正值。下面，驾驶员状态判断装置30通过驾驶员状态判断部3214在步骤S16中实施基于该个体差异补正值的驾驶员的状态的判断。并且，在步骤S17中，驾驶员状态判断部3214通过信号输出部3215将表示驾驶员状态的判断结果的驾驶员状态判断结果信息向判断结果输出装置50输出。由此，驾驶员状态判断结果信息通过判断结果输出装置50作为警告音或警告灯的点亮而呈现给驾驶员。
之后，驾驶员状态判断装置30通过个体差异学习装置3213在步骤S23中判断是否从驾驶员状态判断部3214输入了驾驶员替换触发信号。并且，若没有输入驾驶员替换触发信号，则驾驶员状态判断装置30从上述步骤S11起反复进行处理。
因而，在非易失性学习值表3331中没有存储与运算的机会优先学习值近似的精度优先学习值，若也没有输入驾驶员替换触发信号，则驾驶员状态判断装置30进行与上述第一实施方式同样的动作。
此外，车辆的驱动源是在车辆已经完全停止的停车状态下开启的。因而，如图5所示，在车辆的驱动源被开启的时刻t0，输入驾驶员替换触发信号。但是，在该时刻t0，由于仍是上述步骤S11开始前，因此不会对该流程图所示的动作带来影响。
另一方面，在其后按每一规定时间反复进行的步骤S11至S23的动作中，当输入驾驶员替换触发信号时，个体差异学习装置3213对该信号在步骤S23中进行判断。在该情况下，个体差异学习装置3213在步骤S24中将由学习数据存储部333的易失性学习值表3332存储的学习数据、即机会优先学习结果和精度优先学习结果重置。之后，驾驶员状态判断装置30从上述步骤S11起反复进行处理。
(3-1-2)过去有学习的情况
另一方面，例如如图6B所示，当存在与上述运算的机会优先学习值(平均值+4.8°、偏差量1.3°)近似的精度优先学习值(与用驾驶员编号2的标识符特定的驾驶员对应的平均值+5.0°、偏差量1.0°)时，在图8的时刻t11，通过上述步骤S22判断为有近似精度优先学习值。在该情况下，个体差异学习装置3213判断为该近似的精度优先学习值的驾驶员是当前正在驾驶车辆的驾驶员。在该情况下，个体差异学习装置3213在步骤S18中决定将该近似的精度优先学习值采用为个体差异补正值。下面，驾驶员状态判断装置30通过驾驶员状态判断部3214在步骤S19中实施基于该个体差异补正值的驾驶员的状态的判断。并且，在步骤S20中，驾驶员状态判断部3214通过信号输出部3215将表示驾驶员状态的判断结果的驾驶员状态判断结果信息向判断结果输出装置50输出。由此，驾驶员状态判断结果信息通过判断结果输出装置50作为警告音或警告灯的点亮而呈现给驾驶员。
之后，驾驶员状态判断装置30通过个体差异学习装置3213在步骤S25中判断是否从驾驶员状态判断部3214输入了驾驶员替换触发信号。并且，若没有输入驾驶员替换触发信号，则驾驶员状态判断装置30在步骤S26中通过个体差异学习装置3213仅进行精度优先学习。其后，驾驶员状态判断装置30从上述步骤S18起反复进行处理。
因而，若在非易失性学习值表3331中存储有与运算的机会优先学习值近似的精度优先学习值，则只要还未输入驾驶员替换触发信号，驾驶员状态判断装置30就能进行与在上述第一实施方式中精度优先学习次数成为规定的N次以上时同样的动作。
并且，在其后按每一规定时间反复进行的步骤S18至S20、S25以及S23的动作中，如在图8中用时刻t12所示的，当输入驾驶员替换触发信号时，个体差异学习装置3213对该信号在步骤S25中进行判断。在该情况下，个体差异学习装置3213在步骤S27中将由学习数据存储部333的易失性学习值表3332存储的学习数据中的精度优先学习值更新存储到学习数据存储部333的非易失性学习值表3331。并且，在上述步骤S24中，驾驶员状态判断装置30在将由易失性学习值表3332存储的学习数据、即机会优先学习结果和精度优先学习结果重置后，从上述步骤S11起反复进行处理。
此外，在上述步骤S27中使非易失性学习值表3331更新存储易失性学习值表3332的精度优先学习值时，通过覆盖存储到在上述步骤S22中判断的、近似的精度优先学习值，从而更新关于该驾驶员的精度优先学习值。在上述步骤S22中进行判断时，通过预先保存表示驾驶员的标识符，从而能判断只要覆盖非易失性学习值表3331的哪一精度优先学习值即可。
(3-2)精度优先学习充分时
例如如图8所示，在从时刻t12开始的、步骤S11到步骤S23的反复动作中，在时刻t13进行第N次精度优先学习时，如图6C所示，学习数据存储部333的易失性学习值表3332存储精度优先学习次数N次。由此，在上述步骤S13中，判断为精度优先学习次数成为了N次以上。在该情况下，个体差异学习装置3213在步骤S28中如图6D所示使非易失性学习值表3331存储新的易失性学习值表3332的精度优先学习值。
之后，进入上述步骤S18，进行如上所述的动作。
此外，在步骤S25中，判断为输入了驾驶员替换触发信号，在步骤S27中，在使非易失性学习值表3331更新存储易失性学习值表3332的精度优先学习值时，通过覆盖存储到在上述步骤S28中新存储的精度优先学习值，从而更新关于该驾驶员的精度优先学习值。在上述步骤S28中进行新的存储时，通过预先保存表示驾驶员的标识符，能判断只要覆盖到非易失性学习值表3331的哪一精度优先学习值即可。
(第二实施方式的效果)
如以上详述的，在第二实施方式中，在驾驶员状态判断装置30中能起到与上述第一实施方式同样的效果。
而且，在该第二实施方式中，在驾驶员状态判断装置30中，在使非易失性学习值表3331预先存储过去运算的多个驾驶员各自的精度优先学习值、使非易失性学习值表3331存储与通过个体差异学习装置3213的机会优先学习运算的机会优先学习值近似的精度优先学习值时，将个体差异学习装置3213的机会优先学习结束。即，若与机会优先学习值近似的精度优先学习值在过去被运算过，则不再进行机会优先学习。因而，若正在驾驶车辆的当前的驾驶员是已经运算的驾驶员，则由个体差异学习装置3213通过精度优先学习运算的统计信息即使还不到能得到足够高的精度的次数，也将其设为正确的信息，由此能仅进行精度优先学习。
另外，在驾驶员状态判断装置30中，在产生了驾驶员替换的可能性时，使非易失性学习值表3331存储在个体差异学习装置3213中到此为止运算的精度优先学习值后开始新的个体差异学习装置3213的机会优先学习和精度优先学习。通常在车辆的动力源被关闭前，车辆成为已经完全停止的停车状态，因此，由此判断为有可能替换驾驶员，通过到此为止的精度优先学习运算的精度优先学习值存储到非易失性学习值表3331。因而，能使非易失性学习值表3331可靠地存储运算的精度优先学习值。特别是在开始了关于新的驾驶员的精度优先学习的运算的情况下，能可靠地存储作为其运算结果的精度优先学习值。
另外，在驾驶员状态判断装置30中，由驾驶员状态判断部3214基于在监视数据存储部331中存储的监视数据或在车辆信息存储部332中存储的车辆信息来判断驾驶员替换的可能性的有无，将驾驶员替换触发信号输入到个体差异学习装置3213。例如，驾驶员状态判断部3214通过作为车辆信息的车速传感器的传感数据判断车辆已经完全停止、通过作为车辆信息的档位选择传感器和/或停车制动传感器的传感数据来判断已经成为停车状态，从而判断为有驾驶员已替换的可能性。另外，例如驾驶员状态判断部3214基于来自作为驾驶员监视传感器21的驾驶照相机的监视数据检测出驾驶员从监视图像中暂时消失后再次在监视图像中出现、或者暂时不能进行基于监视数据的驾驶员的面部或视线的检测后能再次进行检测的情况下，判断为有驾驶员已替换的可能性。因而，能基于监视数据或车辆信息容易地判断驾驶员替换的可能性。另外，驾驶员状态判断部3214为了判断上述驾驶员替换的可能性的有无，无需进行面部识别等复杂的个人认证处理，或者即使驾驶员不进行自己申请驾驶员替换那样的特别的操作，也能简单地判断驾驶员替换的可能性。而且，不进行个人认证处理，因此无需提高程序的安全等级。
[变形例]
以上详细地说明了本发明的实施方式，但到上述为止的说明在所有方面不过是本发明的示例。当然能不脱离本发明的范围地进行各种改良或变形。即，当实施本发明时，可以适当地采用与实施方式相应的具体的构成。
(1)例如在上述第二实施方式中，将通过机会优先学习得到的机会优先学习值与在学习数据存储部333的非易失性学习值表3331中存储的精度优先学习值进行比较，从而判断是否有近似的精度优先学习值。也可以不将机会优先学习值而将使用机会优先学习值和精度优先学习值运算的补正值与在非易失性学习值表3331中存储的精度优先学习值进行比较，从而判断是否有近似的精度优先学习值。
图9是表示该变形例的驾驶员状态判断系统的处理步骤和处理内容的一例的流程图。
在该情况下，在步骤S13中，在判断为精度优先学习次数还未达到N次的情况下，个体差异学习装置3213在步骤S14中基于在易失性学习值表3332中存储的学习数据、即机会优先学习结果和精度优先学习结果来算出补正值。并且，在步骤S29中，个体差异学习装置3213将该算出的补正值与在非易失性学习值表3331中存储的精度优先学习值进行比较。并且，个体差异学习装置3213在步骤S22中判断是否有与补正值近似的精度优先学习值、即过去是否进行了学习。在判断为没有与算出的补正值近似的精度优先学习值的情况下，个体差异学习装置3213在步骤S15中决定将该算出的补正值采用为个体差异补正值。而在判断为有与算出的补正值近似的精度优先学习值的情况下，个体差异学习装置3213在步骤S18中决定将该近似的精度优先学习值采用为个体差异补正值。
其它内容与第二实施方式相同。
即使这样也能得到与上述第二实施方式同样的作用效果。而且，补正值的精度比机会优先学习值的精度更好，因此能判断更正确的近似精度优先学习值。
(2)另外，在上述第一和第二实施方式中，将精度优先学习和机会优先学习的规定时间设为相同，但它们也可以相互不同。
(3)另外，在上述第一和第二实施方式中说明了如下例子：在进行驾驶员状态的判断时，通过利用个体差异补正值来补正基于在监视数据存储部331中存储的监视数据判断的驾驶员的面部或视线的当前的方向，从而校正了驾驶员的面部或视线的方向，之后基于通过将上述当前的方向与规定的基准方向进行比较而校正了的驾驶员的面部或视线的方向距离基准方向的偏离度，来判断例如是否是旁视状态等驾驶员状态。即，使基准方向固定并基于个体差异补正值来补正驾驶员的面部或视线的当前的方向，对两者进行比较，从而判断驾驶员状态。如在上述第一和第二实施方式中简单记载的，也可以相反地基于个体差异补正值来补正基准方向，对该补正后的基准方向和驾驶员的面部或视线的当前的方向进行比较，从而判断驾驶员状态。由此，也能得到与上述第一和第二实施方式同样的作用效果。
(4)另外，例如在上述第二实施方式中，通过驾驶员状态判断部3214判断驾驶员替换可能性的有无，但也可以由个体差异学习装置3213基于在监视数据存储部331中存储的监视数据或在车辆信息存储部332中存储的车辆信息进行判断。或者可以设置专用的驾驶员替换可能性判断部。由此，也能得到与上述第二实施方式同样的作用效果。
另外，关于驾驶员的面部或视线的方向，也可以由监视数据获取部3211基于来自驾驶照相机41的传感数据进行判断，将其判断结果预先存储到监视数据存储部331。
总之，本发明不限于上述各实施方式，能在实施阶段在不脱离其宗旨的范围内将构成要素变形并实现具体化。另外，能通过上述各实施方式所公开的多个构成要素的适当的组合而形成各种发明。例如可以从各实施方式所示的全部构成要素删除若干构成要素。而且，还可以适当地组合不同的实施方式中的构成要素。
[备注]
上述实施方式的一部分或全部能记载为以下备注所示的内容，但不限于此。
(备注1)
一种驾驶员状态判断装置10、30，包括：
运算部14、3213，其基于从第一传感器21、41输出的、包括车辆的驾驶员的图像的第一传感数据来判断上述驾驶员的面部或视线的方向，反复运算相对于车辆的正面方向上述驾驶员将面部或视线保持为正面的方向上的统计信息；
校正部14、3213，其基于由上述运算部运算的上述统计信息，校正相对于被设定为上述车辆的正面方向的基准方向由上述运算部判断的上述驾驶员的面部或视线的方向、或者校正上述基准方向；
第一判断部15、3214，其基于由上述校正部校正的上述驾驶员的面部或视线的方向距离上述基准方向的偏离度或者由上述运算部判断的上述驾驶员的面部或视线的方向距离由上述校正部校正的上述基准方向的偏离度来判断上述驾驶员的状态；以及
输出部16、3215、50，其将上述第一判断部的判断结果对上述驾驶员输出。
(备注2)
一种驾驶员状态判断方法，是判断车辆的驾驶员的状态的驾驶员状态判断装置10、30执行的，上述驾驶员状态判断方法包括如下过程：
上述驾驶员状态判断装置基于从第一传感器21、41输出的、包括车辆的驾驶员的图像的第一传感数据来判断上述驾驶员的面部或视线的方向，反复运算作为相对于车辆的正面方向上述驾驶员将面部或视线保持为正面的方向的保持方向上的统计信息；
上述驾驶员状态判断装置基于上述运算的上述统计信息，校正相对于被设定为上述车辆的正面方向的基准方向上述判断后的上述驾驶员的面部或视线的方向、或者校正上述基准方向；
上述驾驶员状态判断装置基于上述校正后的上述驾驶员的面部或视线的方向距离上述基准方向的偏离度、或者上述判断后的上述驾驶员的面部或视线的方向距离上述校正后的上述基准方向的偏离度来判断上述驾驶员的状态；以及
上述驾驶员状态判断装置将上述驾驶员的状态的判断结果对上述驾驶员输出。
(备注3)
一种驾驶员状态判断装置30，包括硬件处理器321和存储器33，
上述硬件处理器
基于从第一传感器41输出的、包括车辆的驾驶员的图像的第一传感数据来判断上述驾驶员的面部或视线的方向，反复运算作为相对于车辆的正面方向上述驾驶员将面部或视线保持为正面的方向的保持方向上的统计信息，
基于上述运算的上述统计信息，校正相对于被设定为上述车辆的正面方向的基准方向上述判断后的上述驾驶员的面部或视线的方向、或者校正上述基准方向，
基于上述校正后的上述驾驶员的面部或视线的方向距离上述基准方向的偏离度、或者基于上述判断后的上述驾驶员的面部或视线的方向距离上述校正后的上述基准方向的偏离度来判断上述驾驶员的状态，
将上述驾驶员的状态的判断结果对上述驾驶员输出。
(备注4)
一种驾驶员状态判断方法，是具有硬件处理器321和存储器33的装置执行的，上述驾驶员状态判断方法包括如下过程：
上述硬件处理器基于从第一传感器41输出的、包括车辆的驾驶员的图像的第一传感数据来判断上述驾驶员的面部或视线的方向，反复运算作为相对于车辆的正面方向上述驾驶员将面部或视线保持为正面的方向的保持方向上的统计信息；
上述硬件处理器基于上述运算的上述统计信息，校正相对于被设定为上述车辆的正面方向的基准方向上述判断后的上述驾驶员的面部或视线的方向、或者校正上述基准方向；
上述硬件处理器基于上述校正后的上述驾驶员的面部或视线的方向距离上述基准方向的偏离度、或者基于上述判断后的上述驾驶员的面部或视线的方向距离上述校正后的上述基准方向的偏离度来判断上述驾驶员的状态；
上述硬件处理器将上述驾驶员的状态的判断结果对上述驾驶员输出。

Claims (10)

1.一种驾驶员状态判断装置，其特征在于，包括：
运算部，基于包括车辆的驾驶员的图像的第一传感数据来判断所述驾驶员的面部或视线的方向，并反复运算相对于车辆的正面方向所述驾驶员将面部或视线保持为正面的方向上的统计信息，所述第一传感数据从第一传感器输出；
校正部，基于由所述运算部运算的所述统计信息，校正相对于被设定为所述车辆的正面方向的基准方向由所述运算部判断的所述驾驶员的面部或视线的方向、或者校正所述基准方向；
第一判断部，基于由所述校正部校正的所述驾驶员的面部或视线的方向距离所述基准方向的偏离度、或者基于由所述运算部判断的所述驾驶员的面部或视线的方向距离由所述校正部校正的所述基准方向的偏离度，来判断所述驾驶员的状态；以及
输出部，将所述第一判断部的判断结果对所述驾驶员输出。
2.根据权利要求1所述的驾驶员状态判断装置，其特征在于，
所述第一判断部基于表示车辆的状态的第二传感数据来决定是否判断所述驾驶员的状态、或者是否通过所述输出部输出判断结果，所述第二传感数据从第二传感器输出。
3.根据权利要求2所述的驾驶员状态判断装置，其特征在于，
所述运算部包括：
第一学习部，在满足将错误学习主要因素排除的第一条件时，反复运算所述统计信息；以及
第二学习部，在满足包括所述错误学习主要因素的第二条件时，反复运算所述统计信息，
所述校正部对由所述第二学习部运算的所述统计信息进行比由所述第一学习部运算的所述统计信息低的加权，校正所述驾驶员的面部或视线的方向或者校正所述基准方向。
4.根据权利要求3所述的驾驶员状态判断装置，其特征在于，
所述运算部在所述第一学习部的所述统计信息的运算进行了规定次数时，将所述第二学习部的所述统计信息的运算结束。
5.根据权利要求3或4所述的驾驶员状态判断装置，其特征在于，
所述驾驶员状态判断装置还包括存储部，所述存储部存储过去运算的多个驾驶员各自的统计信息，
所述运算部在所述存储部中存储有与所述第二学习部的所述统计信息的运算结果近似的统计信息时，将所述第二学习部的所述统计信息的运算结束。
6.根据权利要求5所述的驾驶员状态判断装置，其特征在于，
所述第一学习部在产生了驾驶员替换的可能性时，使所述存储部存储到此时为止所述运算部运算的所述统计信息，
所述运算部在产生了驾驶员替换的可能性时，开始新的所述第一学习部和第二学习部的所述统计信息的运算。
7.根据权利要求6所述的驾驶员状态判断装置，其特征在于，
所述驾驶员状态判断装置还包括第二判断部，所述第二判断部基于所述第一传感数据或第二传感数据来判断所述驾驶员替换的可能性的有无。
8.根据权利要求1所述的驾驶员状态判断装置，其特征在于，
所述统计信息包括相对于车辆的正面方向所述驾驶员将面部或视线保持为正面的方向的、规定时间内的平均值和偏差量。
9.一种驾驶员状态判断方法，是判断车辆的驾驶员的状态的驾驶员状态判断装置所执行的，所述驾驶员状态判断方法的特征在于，包括如下过程：
所述驾驶员状态判断装置基于包括车辆的驾驶员的图像的第一传感数据来判断所述驾驶员的面部或视线的方向，反复运算作为相对于车辆的正面方向所述驾驶员将面部或视线保持为正面的方向的保持方向上的统计信息，所述第一传感数据从第一传感器输出；
所述驾驶员状态判断装置基于所运算的所述统计信息，校正相对于被设定为所述车辆的正面方向的基准方向所判断的所述驾驶员的面部或视线的方向、或者校正所述基准方向；
所述驾驶员状态判断装置基于所校正的所述驾驶员的面部或视线的方向距离所述基准方向的偏离度、或者基于所判断的所述驾驶员的面部或视线的方向距离所校正的所述基准方向的偏离度，来判断所述驾驶员的状态；以及
所述驾驶员状态判断装置将所述驾驶员的状态的判断结果对所述驾驶员输出。
10.一种存储介质，其特征在于，记录有驾驶员状态判断程序，所述驾驶员状态判断程序使计算机作为权利要求1至8中任一项所述的驾驶员状态判断装置所包括的各部发挥功能。
CN201811300296.3A 2017-11-15 2018-11-02 驾驶员状态判断装置及其方法以及存储介质 Pending CN109784135A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017219876A JP6720951B2 (ja) 2017-11-15 2017-11-15 運転者状態判定装置とその方法およびプログラム
JP2017-219876 2017-11-15

Publications (1)

Publication Number Publication Date
CN109784135A true CN109784135A (zh) 2019-05-21

Family

ID=66335420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811300296.3A Pending CN109784135A (zh) 2017-11-15 2018-11-02 驾驶员状态判断装置及其方法以及存储介质

Country Status (4)

Country Link
US (1) US11062158B2 (zh)
JP (1) JP6720951B2 (zh)
CN (1) CN109784135A (zh)
DE (1) DE102018127163B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909718A (zh) * 2019-12-11 2020-03-24 深圳市锐明技术股份有限公司 驾驶状态识别方法、装置及车辆

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10849543B2 (en) * 2018-06-08 2020-12-01 Ford Global Technologies, Llc Focus-based tagging of sensor data
KR20200057891A (ko) * 2018-11-16 2020-05-27 현대자동차주식회사 차량 주행 보조 제어 장치, 그를 포함한 시스템 및 그 방법
US11377114B2 (en) * 2019-03-14 2022-07-05 GM Global Technology Operations LLC Configuration of in-vehicle entertainment based on driver attention
US20220237929A1 (en) * 2019-06-11 2022-07-28 Nec Corporation Image processing device, image processing method, and recording medium
JP7264789B2 (ja) * 2019-10-15 2023-04-25 トヨタ自動車株式会社 車両及び遠隔操作システム
KR102672095B1 (ko) * 2020-07-06 2024-06-04 주식회사 씽크아이 차량에 설치되는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
US20050102246A1 (en) * 2003-07-24 2005-05-12 Movellan Javier R. Weak hypothesis generation apparatus and method, learning apparatus and method, detection apparatus and method, facial expression learning apparatus and method, facial expression recognition apparatus and method, and robot apparatus
JP2007280375A (ja) * 2006-03-14 2007-10-25 Omron Corp 検出装置および方法、記録媒体、並びに、プログラム
US7421114B1 (en) * 2004-11-22 2008-09-02 Adobe Systems Incorporated Accelerating the boosting approach to training classifiers
US20110310006A1 (en) * 2008-12-22 2011-12-22 Timothy James Henry Edwards Automatic Calibration Of A Gaze Direction Algorithm From User Behavior
CN102510480A (zh) * 2011-11-04 2012-06-20 大连海事大学 驾驶员视线自动校准和跟踪系统
US20150077323A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US20170140232A1 (en) * 2014-06-23 2017-05-18 Denso Corporation Apparatus detecting driving incapability state of driver

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3319201B2 (ja) 1995-02-08 2002-08-26 トヨタ自動車株式会社 脇見運転判定装置
JP2002002325A (ja) 2000-06-27 2002-01-09 Nissan Motor Co Ltd 車両用警報装置
JP4858516B2 (ja) 2008-09-11 2012-01-18 トヨタ自動車株式会社 顔向き検出装置
DE102014100352B4 (de) 2013-01-18 2020-07-23 Carnegie Mellon University Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen
US9405982B2 (en) 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
JP6364627B2 (ja) * 2013-11-01 2018-08-01 パナソニックＩｐマネジメント株式会社 視線方向検出装置および視線方向検出方法
DE102015214116A1 (de) 2015-07-27 2017-02-02 Robert Bosch Gmbh Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
DE102015215994A1 (de) 2015-08-21 2017-02-23 Bayerische Motoren Werke Aktiengesellschaft System zur Kalibrierung der Blickrichtungserfassung
US10140515B1 (en) * 2016-06-24 2018-11-27 A9.Com, Inc. Image recognition and classification techniques for selecting image and audio data
DE102017214546B4 (de) 2017-08-21 2023-02-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
US10572745B2 (en) * 2017-11-11 2020-02-25 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
US20050102246A1 (en) * 2003-07-24 2005-05-12 Movellan Javier R. Weak hypothesis generation apparatus and method, learning apparatus and method, detection apparatus and method, facial expression learning apparatus and method, facial expression recognition apparatus and method, and robot apparatus
US7421114B1 (en) * 2004-11-22 2008-09-02 Adobe Systems Incorporated Accelerating the boosting approach to training classifiers
JP2007280375A (ja) * 2006-03-14 2007-10-25 Omron Corp 検出装置および方法、記録媒体、並びに、プログラム
US20110310006A1 (en) * 2008-12-22 2011-12-22 Timothy James Henry Edwards Automatic Calibration Of A Gaze Direction Algorithm From User Behavior
CN102510480A (zh) * 2011-11-04 2012-06-20 大连海事大学 驾驶员视线自动校准和跟踪系统
US20150077323A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US20170140232A1 (en) * 2014-06-23 2017-05-18 Denso Corporation Apparatus detecting driving incapability state of driver

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909718A (zh) * 2019-12-11 2020-03-24 深圳市锐明技术股份有限公司 驾驶状态识别方法、装置及车辆
CN110909718B (zh) * 2019-12-11 2024-04-19 深圳市锐明技术股份有限公司 驾驶状态识别方法、装置及车辆

Also Published As

Publication number Publication date
JP6720951B2 (ja) 2020-07-08
JP2019091272A (ja) 2019-06-13
DE102018127163A1 (de) 2019-05-16
US20190147274A1 (en) 2019-05-16
DE102018127163B4 (de) 2021-09-09
US11062158B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
CN109784135A (zh) 驾驶员状态判断装置及其方法以及存储介质
US10710457B2 (en) Gesture and facial expressions control for a vehicle
JP5987922B2 (ja) ドライバ感情に基づく運転支援装置
JP4650028B2 (ja) 運転評価装置および運転評価システム
CN110114810A (zh) 信息处理系统、信息处理方法以及程序
CN104246850B (zh) 蛇行判定装置
CN107531244A (zh) 信息处理系统、信息处理方法、以及程序
Deng et al. Prediction performance of lane changing behaviors: a study of combining environmental and eye-tracking data in a driving simulator
DE102014206623A1 (de) Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug
US20150262484A1 (en) Method and system for providing a tutorial message to a driver of a vehicle
CN113378771B (zh) 驾驶员状态确定方法、装置、驾驶员监控系统、车辆
EP2833290A2 (en) Sign information output apparatus
CN109562763A (zh) 自动驾驶车辆的控制方法及控制装置
JP6090340B2 (ja) ドライバ感情推定装置
CN106157661A (zh) 车辆的限制速度显示装置
CN103492252A (zh) 车辆用信息提供装置
CN106796646A (zh) 识别装置和识别方法
JP7374001B2 (ja) 学習モデルの生成方法、プログラム及び情報処理装置
CN106143308A (zh) 基于智能后视镜的车道偏离预警系统
JP2015128989A (ja) ドライバ感情に基づく運転支援装置
CN106203267A (zh) 基于机器视觉的车辆防碰撞方法
CN110065438A (zh) 车辆用显示装置及车辆
CN109774722A (zh) 信息处理装置、方法和程序、驾驶员监控系统及保存媒体
JP6149842B2 (ja) ドライバ感情推定装置及び方法
JP6834578B2 (ja) 車両用健康診断装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190521