CN109784136A - 驾驶员判定装置、驾驶员状态判定装置、驾驶员判定方法 - Google Patents

驾驶员判定装置、驾驶员状态判定装置、驾驶员判定方法 Download PDF

Info

Publication number
CN109784136A
CN109784136A CN201811305900.1A CN201811305900A CN109784136A CN 109784136 A CN109784136 A CN 109784136A CN 201811305900 A CN201811305900 A CN 201811305900A CN 109784136 A CN109784136 A CN 109784136A
Authority
CN
China
Prior art keywords
driver
statistical information
statistical
vehicle
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811305900.1A
Other languages
English (en)
Inventor
田中将士
松浦义朗
横田启辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109784136A publication Critical patent/CN109784136A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809Driver authorisation; Driver identical check
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Abstract

本发明提供了驾驶员判定装置、驾驶员状态判定装置、驾驶员判定方法,其能够容易地判定正在驾驶车辆的驾驶员。个人判定部(17)对第一统计信息与第二统计信息进行比较,并在存在近似于第二统计信息的第一统计信息时,判定车辆的所述当前的驾驶员为对应于该第一统计信息的驾驶员,该第一统计信息是指:存储于统计存储部(16)中的、由第一统计运算部(15)根据从驾驶员监视传感器(21)输出的包括车辆的驾驶员的图像的第一感测数据运算出的、关于该驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向即保持方向的统计信息,该第二统计信息是指:在第一统计运算部(15)中同样运算出的、关于车辆的当前的驾驶员的保持方向的统计信息。

Description

驾驶员判定装置、驾驶员状态判定装置、驾驶员判定方法
技术领域
本发明的实施方式涉及例如判定车辆的驾驶员的驾驶员判定装置、驾驶员判定方法和驾驶员状态判定方法以及记录介质。
背景技术
近年来,车辆上搭载有用于在乘用车等车辆行驶时辅助驾驶员的各种装置。作为其中之一,已知有一种旁视驾驶判定装置,其检测驾驶员的脸部方向或视线方向,判定驾驶员是否旁视,并在旁视状态时发出警告。在驾驶员的脸部方向或视线方向从正面方向偏离了规定角度以上时,通常会判定为旁视。但是,该驾驶员的正面方向未必一定与车辆的正面方向一致,存在个人差异。即,已知驾驶员将脸部或视线保持为正面的方向,根据个人而存在几度至十几度的差异。
因此,例如在专利文献1中,提出了根据判定为旁视的频率与未判定为旁视的频率之比变更旁视判定的基准值的旁视驾驶判定装置。在该装置中,通过设定与该驾驶员相符的基准值,能够对驾驶员各自的个人差异进行校正,从而能够进行不会因为驾驶员的个人差异而变化的高精度的旁视判定。
【现有技术文献】
【专利文献】
专利文献1:日本专利特开平8-207617号公报
在专利文献1所记载的技术中,虽说通过根据个人变更旁视判定的基准值来校正个人差异,但这并非特定个人并根据该个人进行校正。因此,当该车辆的驾驶员发生替换时,会引用相对于前一位驾驶员的旁视判定的基准值,从而无法进行高精度的旁视判定。另外,即使是同一位驾驶员,根据该日的身体状况、驾驶时间的长短的不同,旁视判定的基准值也未必一定合适。
因此,需要变更为与驾驶员相符的基准值,期望能够容易地判定驾驶员是谁、或者驾驶员的状态如何。即使是同一位驾驶员,若状态不同,则也可以视为替换为别的驾驶员。
发明内容
本发明着眼于上述情况,其目的之一在于,提供能够容易地判定正在驾驶车辆的驾驶员的驾驶员判定装置和包括该驾驶员判定装置的驾驶员状态判定装置、驾驶员判定方法、驾驶员状态判定方法以及记录介质。
为了解决上述问题,本发明的第一方面的驾驶员判定装置包括:第一运算部,根据从第一传感器输出的包括车辆的驾驶员的图像的第一感测数据,运算第一统计信息,所述第一统计信息是关于该驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的统计信息;存储部,将运算出的所述第一统计信息与表示驾驶员的标识符一起进行存储;以及第一判定部,利用所述第一运算部根据从所述第一传感器输出的包括当前的车辆的驾驶员的图像的第一感测数据,运算关于车辆的当前的驾驶员的所述保持方向的统计信息、即第二统计信息,并将运算出的所述第二统计信息与所述存储部中存储的所述第一统计信息进行比较,在从所述存储部发现近似于所述第二统计信息的所述第一统计信息时,判定车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员。
根据本发明的第一方面,在驾驶员判定装置中,通过第一运算部运算出各驾驶员的第一统计信息并存储至存储部中,通过第一运算部对于当前的驾驶员同样运算第二统计信息,通过第一判定部将该运算出的第二统计信息与所存储的第一统计信息进行比较,在从存储部发现近似于第二统计信息的第一统计信息时,判定车辆的当前的驾驶员为对应于该近似的第一统计信息的驾驶员。因此,当正在驾驶车辆的当前的驾驶员是已经运算出第一统计信息的驾驶员时,能够容易地判定该驾驶员。
根据上述第一方面,在本发明的第二方面中,所述驾驶员判定装置还包括第二判定部,所述第二判定部根据从第二传感器输出的表示车辆的状态的第二感测数据或者所述第一感测数据,判定有无车辆的所述当前的驾驶员已替换的可能性,所述第一运算部在通过所述第二判定部判定为存在驾驶员已替换的可能性时,开始进行所述第二统计信息的运算。
根据本发明的第二方面,通过第二判定部根据第一或第二感测数据判定有无驾驶员替换的可能性,并在通过该第二判定部判定为存在驾驶员已替换的可能性时,第一运算部开始进行第二统计信息的运算。例如,第二判定部根据作为第二传感器的车速传感器的感测数据判定车辆完全停止,根据档位选择器传感器和/或驻车制动器传感器的感测数据判定成为驻车状态,从而判定为存在驾驶员已替换的可能性。另外,例如第二判定部根据来自作为第一传感器的驾驶员相机的第一感测数据,在检测到驾驶员暂时从监视图像中消失后再次出现在监视图像中的情况、或者暂时无法根据第一感测数据检测驾驶员的脸部或视线之后再次能够检测到的情况时,判定为存在驾驶员已替换的可能性。因此,可以根据第一或第二感测数据容易地判定驾驶员替换的可能性。并且,在存在驾驶员已替换的可能性的情况下,运算第二统计信息,并根据其运算结果通过第一判定部进行驾驶员的判定。因此,在存在驾驶员的替换的情况下,能够在刚开始运转后迅速地判定驾驶员。
根据上述第一或第二方面,在本发明的第三方面中,所述第一判定部在即使所述第一运算部进行了规定次数的所述第二统计信息的运算,也未发现近似于所述第二统计信息的所述第一统计信息时,使所述第二统计信息存储至所述存储部中作为与新的驾驶员对应的第一统计信息。
根据本发明的第三方面,在即使进行了规定次数的第二统计信息的运算也未发现近似于第二统计信息的第一统计信息的情况下,通过第一判定部使运算出的第二统计信息存储至存储部中作为新的驾驶员的第一统计信息。因此,可以追加新的驾驶员的第一统计信息。
根据上述第一至第三方面的任一方面,在本发明的第四方面中,所述第一运算部根据所述第一感测数据判定所述驾驶员的所述保持方向,所述第一统计信息及所述第二统计信息是规定时间内的所述判定出的所述保持方向的平均值及偏差量。
根据本发明的第四方面,在第一运算部中,根据第一感测数据判定驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向,并运算该保持方向的统计信息、例如保持方向的平均值及偏差量作为第一及第二统计信息。因此,不需要脸部识别等复杂的个人认证处理,另外,即使驾驶员未进行自己申请替换驾驶员这样的特别操作,也可以根据统计信息容易地判定正在驾驶车辆的驾驶员。另外,由于不进行个人认证处理,因而不需要提高程序的安全等级。
本发明的第五方面的驾驶员状态判定装置包括:上述第一、第三或第四方面的驾驶员判定装置;第二运算部,根据存储于所述存储部中的所述第一统计信息和所述第一感测数据运算新的第一统计信息;第三判定部,根据所述第一感测数据和通过所述第二运算部运算出的所述新的第一统计信息判定所述驾驶员的状态;以及输出部,对所述驾驶员输出所述第三判定部的判定结果,所述第二运算部在通过所述第一判定部判定出的驾驶员与利用该第二运算部运算所述第一统计信息的驾驶员相同时,继续直接进行所述新的第一统计信息的运算,在与利用该第二运算部运算所述第一统计信息的驾驶员不同时,将所述新的第一统计信息的运算切换为以所述判定出的驾驶员的存储于所述存储部中的所述第一统计信息为对象的运算。
根据本发明的第五方面,驾驶员状态判定装置通过第二运算部根据存储于存储部中的第一统计信息和第一感测数据,运算新的第一统计信息,通过第三判定部根据第一感测数据和该新的第一统计信息判定驾驶员的状态,并通过输出部将其判定结果对驾驶员输出,其中,当驾驶员状态判定装置的第一判定部判定出的驾驶员与利用第二运算部运算第一统计信息的驾驶员相同时,继续直接进行新的第一统计信息的运算。因此,当与通过第二运算部正在运算的新的第一统计信息相关的驾驶员为当前的驾驶员时,继续直接进行新的第一统计信息的运算,从而能够使用也加入了存储于存储部中的第一统计信息的、准确的第一统计信息来判定驾驶员的状态。另外,当驾驶员状态判定装置的第一判定部判定出的驾驶员与利用第二运算部运算第一统计信的驾驶员不同时,将新的第一统计信息的运算切换为以判定出的驾驶员的存储于存储部中的第一统计信息为对象的运算。因此,在与通过第二运算部正在运算的新的第一统计信息相关的驾驶员与当前的驾驶员不对应的情况下,由于截至目前运算出的新的第一统计信息中加入了存储于存储部中的对应于其他驾驶员的第一统计信息,从而成为对于当前的驾驶员来说不准确的统计信息,因而能够防止将其用于驾驶员的状态判定。而且,将新的第一统计信息的运算切换为以判定出的驾驶员的存储于存储部中的第一统计信息为对象的运算,运算与当前的驾驶员对应的新的第一统计信息,从而能够使用准确的第一统计信息来判定驾驶员的状态。因此,能够不受各个驾驶员的个人差异影响地进行高精度的驾驶员状态判定。
根据上述第五方面,在本发明的第六方面中,所述驾驶员判定装置还包括第二判定部,所述第二判定部根据从第二传感器输出的表示车辆的状态的第二感测数据或者所述第一感测数据,判定有无车辆的所述当前的驾驶员已替换的可能性,所述第一运算部在通过所述第二判定部判定为存在驾驶员已替换的可能性时,开始进行所述第二统计信息的运算,所述第二运算部在通过所述第二判定部判定为存在驾驶员已替换的可能性时,使所述新的第一统计信息存储于所述存储部。
根据本发明的第六方面,通过第二判定部根据第一或第二感测数据判定有无驾驶员已替换的可能性,在通过该第二判定部判定为存在驾驶员已替换的可能性时,第一运算部开始进行第二统计信息的运算。因此,可以根据第一或第二感测数据容易地判定驾驶员已替换的可能性。并且,在存在驾驶员已替换的可能性的情况下,运算第二统计信息,并根据其运算结果通过第一判定部进行驾驶员的判定。因此,在存在驾驶员的替换的情况下,能够在刚开始运转后迅速地判定驾驶员。另外,第二运算部在通过第二判定部判定为存在驾驶员已替换的可能性时,使截至目前运算出的新的第一统计信息存储至存储部中。由此,能够通过第一判定部利用反复运算后变准确的新的第一统计信息进行驾驶员的判定。
根据上述第五或第六方面,在本发明的第七方面中,在即使所述第一运算部进行了规定次数的所述第二统计信息的运算,所述第一判定部也未发现近似于所述第二统计信息的所述第一统计信息时,所述第一运算部使所述第二统计信息存储至所述存储部中作为与新的驾驶员对应的第一统计信息之后,结束所述第二统计信息的运算,所述第二运算部将所述新的第一统计信息的运算切换为以由所述第一运算部存储于所述存储部中的所述新的驾驶员的所述第一统计信息为对象的运算。
根据本发明的第七方面,在即使进行了规定次数的第二统计信息的运算也未发现近似于第二统计信息的第一统计信息的情况下,使通过第一运算部运算出的第二统计信息存储至存储部中作为新的驾驶员的第一统计信息,第二运算部将该新的第一统计信息的运算切换为以该存储部中存储的新的驾驶员的第一统计信息为对象的运算。因此,能够追加新的驾驶员的第一统计信息,并开始进行驾驶员的状态判定。
根据上述第五至第七方面的任一方面,在本发明的第八方面中,所述第一运算部与利用所述第二运算部的所述新的第一统计信息的运算并行地运算所述第二统计信息,并在所述第一判定部判定车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员时,结束所述第二统计信息的运算。
根据本发明的第八方面,与利用第二运算部进行的新的第一统计信息的运算并行地通过第一运算部运算第二统计信息,并在第一判定部判定出车辆的当前的驾驶员时结束。因此,可以仅在必要时,实施利用第一运算部的第二统计信息的运算。
另外,为了解决上述问题,本发明的第九方面是判定驾驶员的驾驶员判定装置所执行的驾驶员判定方法,包括:所述驾驶员判定装置根据从第一传感器输出的包括车辆的驾驶员的图像的第一感测数据,运算第一统计信息,所述第一统计信息是关于该驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的统计信息的步骤;所述驾驶员判定装置将运算出的所述第一统计信息与表示驾驶员的标识符一起进行存储的步骤;所述驾驶员判定装置根据从所述第一传感器输出的包括当前的车辆的驾驶员的图像的第一感测数据,运算第二统计信息的步骤,所述第二统计信息是关于车辆的当前的驾驶员的所述保持方向的统计信息;以及所述驾驶员判定装置将运算出的所述第二统计信息与所述存储的所述第一统计信息进行比较,在存储有近似于所述第二统计信息的所述第一统计信息时,判定车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员的步骤。
根据本发明的第九方面,与上述第一方面同样地,当正在驾驶车辆的当前的驾驶员是已运算出了第一统计信息的驾驶员时,能够容易地判定该驾驶员。
另外,为了解决上述问题,本发明的第十方面是应用了上述第九方面的驾驶员判定方法的驾驶员状态判定装置所执行的驾驶员状态判定方法,包括:所述驾驶员状态判定装置根据所述存储的所述第一统计信息和所述第一感测数据运算新的第一统计信息的步骤;所述驾驶员状态判定装置根据所述运算出的所述新的第一统计信息判定所述驾驶员的状态的步骤;以及所述驾驶员状态判定装置将所述驾驶员的状态的判定结果相对于驾驶员输出的步骤;在运算所述新的第一统计信息的步骤中,在所述判定车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员的步骤中判定出的驾驶员与运算所述新的第一统计信息的驾驶员相同时,继续直接进行所述新的第一统计信息的运算,与运算所述新的第一统计信息的驾驶员不同时,将所述新的第一统计信息的运算切换为以所述判定出的驾驶员的所述存储的所述第一统计信息为对象的运算。
根据本发明的第十方面,与上述第五方面同样地,能够使用准确的第一统计信息判定驾驶员的状态,能够不受驾驶员各自的个人差异影响地进行高精度的驾驶员状态判定。另外,能够防止将对于当前的驾驶员来说不准确的第一统计信息用于驾驶员的状态判定中。
另外,为了解决上述问题,本发明的第十一方面的记录介质,记录使计算机作为上述第一至第四方面的任一方面中的驾驶员判定装置所具备的各部发挥作用的驾驶员判定程序。
根据本发明的第十一方面,能够利用计算机实现上述第一至第四方面。
另外,为了解决上述问题,本发明的第十二方面的记录介质,记录使计算机作为上述第五至第八方面的任一方面中的驾驶员状态判定装置所具备的各部发挥作用的驾驶员状态判定程序。
根据本发明的第十二方面,能够利用计算机实现上述第五至第八方面。
发明效果
即,根据本发明的各方面,可以提供能够容易地判定正在驾驶车辆的驾驶员的驾驶员判定装置和具备该装置的驾驶员状态判定装置、驾驶员判定方法、驾驶员状态判定方法以及记录介质。
附图说明
图1是说明本发明的一实施方式涉及的驾驶员判定装置以及驾驶员状态判定装置的一个应用例的框图。
图2是例示具备本发明的一实施方式涉及的驾驶员判定装置以及驾驶员状态判定装置的驾驶员状态判定系统的构成的框图。
图3A是表示在图2中的学习数据存储部中构成的非易失性统计值表的一例的图。
图3B是表示图2中的学习数据存储部中构成的易失性统计值表的一例的图。
图3C是表示图2中的学习数据存储部中构成的易失性统计值表的另一例的图。
图3D是表示作为新的第一统计值而追加了学习到的第二统计值的非易失性统计值表的一例的图。
图4是表示图2所示的驾驶员状态判定系统中的处理步骤和处理内容的一例的流程图。
图5是表示按照图2所示的驾驶员状态判定系统中的处理步骤的统计值学习内容的一例的时序图。
具体实施方式
以下,参照附图,对本发明涉及的实施方式进行说明。
[适用例]
首先,对本发明的一实施方式涉及的驾驶员判定装置及驾驶员状态判定装置的一个适用例进行说明。
图1是示意性地表示该适用例中的驾驶员判定装置及驾驶员状态判定装置的构成例的图。
驾驶员判定装置10包括:作为存储处理部的监视数据获取部11、车辆信息获取部12及获得信息存储部13、作为第二判定部的驾驶员替换可能性判定部14、作为第一运算部的第一统计运算部15、作为存储部的统计存储部16、以及作为第一判定部的个人判定部17。在该驾驶员判定装置10连接有作为第一传感器的驾驶员监视传感器21和作为第二传感器的车辆状态传感器22。驾驶员状态判定装置30包括上述驾驶员判定装置10、作为第二运算部的第二统计运算部31、以及作为第三判定部的状态判定部32以及输出部33。
监视数据获取部11从作为第一传感器的驾驶员监视传感器21获取第一感测数据,该驾驶员监视传感器21相对于驾驶员设置于车辆内的规定位置处,检测驾驶员的举止,例如驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向等。例如,驾驶员监视传感器21是设置在能够拍摄驾驶员的脸部的部位,例如配置在仪表盘上、方向盘中央、速度表旁边、前柱等上,拍摄驾驶员的包含脸部在内的上半身的相机。该相机既可以是1秒内拍摄多张驾驶员的静态图像的静物相机,也可以是拍摄驾驶员的动态图像的摄像机。监视数据获取部11对来自该相机的图像信号进行数字化处理,并获取该图像信号作为包含驾驶员的图像的第一感测数据。监测数据获取单元11将该获取的第一感测数据存储至获得信息存储部13中。
获得信息存储部13使用例如HDD(Hard Disk Drive、硬盘驱动器)或SSD(SolidState Drive、固态硬盘)等能够随时写入和读出的非易失性存储器和RAM等的易失性存储器作为存储介质。
车辆信息获取部12从配置在车辆的各规定位置处的作为第二传感器的车辆状态传感器22获取车辆的信息。车辆状态传感器22是检测为了在驾驶员替换可能性判定部14中判定驾驶员是否已替换所使用的信息的传感器。可以想到驾驶员的替换通常是在车辆完全停止的驻车状态下进行的。因此,车辆状态传感器22例如可以包含检测车辆的速度的车速传感器、检测驻车制动器的状态的驻车制动器传感器、检测自动档车中的档位选择器的停止位置的档位选择器传感器等。车辆状态传感器22可以像这样包括多个传感器。车辆信息获取部12对通过该车辆状态传感器22检测出的检测信息进行数字化处理,并获取该检测信息作为表示车辆的状态的第二感测数据。车辆状态传感器22使该获取的第二感测数据存储至上述获得信息存储部13中。
驾驶员替换可能性判定部14根据存储于获得信息存储部13中的车辆信息,判定驾驶员替换的可能性。例如,驾驶员替换可能性判定部14在车辆完全停止成为驻车状态的情况下,判定为存在驾驶员已替换的可能性。另外,驾驶员替换可能性判定部14也能够根据存储于获得信息存储部13中的第一感测数据,判定驾驶员替换的可能性。例如,驾驶员替换可能性判定部14在暂时无法检测到驾驶员后,再次能够检测到驾驶员的情况下,判定为存在驾驶员已替换的可能性。
统计存储部16组合使用例如HDD或SSD等能够随时写入和读出的非易失性存储器和RAM等的易失性存储器作为存储介质。统计存储部16的非易失性存储器,将各驾驶员的举止、例如关于驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的第一统计信息、例如关于上述驾驶员的脸部或视线的保持方向的平均值及偏差量,与表示驾驶员的标识符一起进行存储。该第一统计信息是过去通过第一统计运算部15运算出的信息。另外,统计存储部16的易失性存储器暂时存储同样通过第一统计运算部15运算出的下述第二统计信息、和通过第二统计运算部31运算出的下述新的第一统计信息。
第一统计运算部15在作为车辆的动力源的发动机和/或电动机启动(ON)期间中,根据存储于获得信息存储部13中的包含驾驶员的图像的第一感测数据,检测例如驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向。然后,从通过上述驾驶员替换可能性判定部14判定为存在驾驶员已替换的可能性的时间点起,每隔规定时间,反复运算该规定时间内例如上述驾驶员的脸部或视线的保持方向的平均值及偏差量等的第二统计信息,并将其更新存储至统计存储部16的易失性存储器中。即,不断学习第二统计信息。另外,在该第二统计信息的运算中,也可以通过对根据第一感测数据运算出的规定时间内的统计信息、和暂时存储于统计存储部16的易失性存储器中的第二统计信息进行例如平均或加权平均等而求出。
另外,在该第二统计信息的运算时,优选设置基于车速或转向角、转向灯的有无等的条件,仅在满足条件时进行运算。例如,通过将以60Km以上时速直线行驶且未打转向灯等情况作为条件,在驾驶员观察正面的状况下,运算驾驶员的脸部或视线所面向的方向的平均值及偏差量。即,不进行使用驾驶员未朝向正面时的驾驶员的脸部、视线的朝向的平均值或偏差量的运算,能够确保得到的第二统计信息的准确性。
个人判定部17在通过上述驾驶员替换可能性判定部14判定为存在驾驶员已替换的可能性时,通过对利用第一统计运算部15运算出且存储于统计存储部16的非易失性存储器中的第二统计信息、例如当前的驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向即保持方向的平均值及偏差量、与存储于统计存储部16的非易失性存储器中的各驾驶员的第一统计信息、例如驾驶员的脸部或视线的保持方向的平均值及偏差量进行比较,从而判定当前的驾驶员为哪位驾驶员。即,个人判定部17在从统计存储部16的非易失性存储器中发现近似于第二统计信息的第一统计信息时,判定车辆的当前的驾驶员为对应于该近似的第一统计信息的驾驶员。这样,当通过个人判定部17判定出当前的驾驶员时,第一统计运算部15结束第二统计信息的运算。
此外,在即使第一统计运算部15进行了规定次数的第二统计信息的运算,也未从统计存储部16的非易失性存储器中发现近似于第二统计信息的第一统计信息时、即当前的驾驶员并非所存储的任一位驾驶员时,个人判定部17将利用第一统计运算部15运算出且存储于统计存储部16的易失性存储器中的第二统计信息,存储于统计存储部16的非易失性存储器中作为对应于新的驾驶员的第一统计信息。另外,第一统计运算部15结束该第二统计信息的运算。
驾驶员状态判定装置30的第二统计运算部31,在作为车辆的动力源的发动机和/或电动机启动期间中,从存储于获得信息存储部13中的包含驾驶员的图像的第一感测数据,检测例如驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向。然后,每隔规定时间,运算出该规定时间内例如上述驾驶员的脸部或视线的保持方向的平均值及偏差量等的统计信息作为新的第一统计信息,并将其更新存储至统计存储部16的易失性存储器中。即,不断学习新的第一统计信息。这样,第二统计运算部31在作为车辆的动力源的发动机和/或电动机启动期间中,连续不断地反复运算(学习)新的第一统计信息。第一统计运算部15在存在驾驶员已替换的可能性时,与该第二统计运算部31的新的第一统计信息的运算(学习)并行地进行第二统计信息的运算。
另外,在该第二统计运算部31中的新的第一统计信息的运算中,通过对根据第一感测数据运算出的规定时间内的统计信息、存储于统计存储部16的非易失性存储器中的第一统计信息、以及暂时存储于统计存储部16的易失性存储器中的新的第一统计信息进行例如平均或者加权平均等而求出。另外,在该新的第一统计信息的运算时,也优选设置基于车速或转向角、转向灯的有无等的条件,且仅在满足条件时进行运算。例如,通过将以60Km以上时速直线行驶且未打转向灯等情况作为条件,在驾驶员观察正面的状况下,运算驾驶员的脸部或视线所面向的方向的平均值及偏差量。即,不进行使用驾驶员未朝向正面时的驾驶员的脸部或视线的朝向的、平均值或偏差量的运算,从而能够确保得到的新的第一统计信息的准确性。
进而,第二统计运算部31在通过上述驾驶员替换可能性判定部14判定为存在驾驶员已替换的可能性时,将之前运算出并暂时存储于上述统计存储部16的易失性存储器中的上述新的第一统计信息,存储至上述统计存储部16的非易失性存储器中作为该驾驶员的第一统计信息。这样,在统计存储部16的非易失性存储器中,存储各驾驶员的第一统计信息、例如驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的平均值及偏差量。
另外,在即使第一统计运算部15进行了规定次数的第二统计信息的运算,也未从统计存储部16的非易失性存储器中发现近似于第二统计信息的第一统计信息时、即当前的驾驶员并非所存储的任一位驾驶员时,如上所述,个人判定部17将利用第一统计运算部15运算出且存储于统计存储部16的易失性存储器中的第二统计信息,存储至统计存储部16的非易失性存储器中作为对应于新的驾驶员的第一统计信息。另外,此时,第二统计运算部31将新的第一统计信息的运算切换为以存储于该统计存储部16的易失性存储器中的新的驾驶员的第一统计信息作为对象的运算。
状态判定部32根据存储于获得信息存储部13中的包含驾驶员的图像的第一感测数据和通过第二统计运算部31运算出的新的第一统计信息,判定驾驶员的状态。例如,状态判定部32从第一感测数据检测驾驶员的脸部或视线所面向的方向,并将该检测出的方向根据运算出的新的第一统计信息、即驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向即保持方向的平均值进行校正之后,与规定的判定基准值进行比较。状态判定部32也可以将上述判定基准值设为恒定,并将从第一感测数据检测出的驾驶员的脸部或视线所面向的方向根据运算出的新的第一统计信息进行校正之后,与判定基准值进行比较。状态判定部32通过这样的比较来判定驾驶员的状态、例如是否为旁视状态。
另外,此时,状态判定部32也可以根据存储于获得信息存储部13中的表示车辆的状态的第二感测数据、例如转向传感器或转向灯传感器的感测数据,来决定是否进行该驾驶员状态的判定本身、或者是否输出判定结果。这是因为,在行驶于弯曲的道路上时、或者进行左右转弯、车道变更时,为了安全确认,驾驶员有时会进行与旁视同样的举止,因而优选不将其判定为旁视并发出警告。
输出部33对驾驶员输出状态判定部32的判定结果。输出部33例如具有扬声器和警告灯显示器,通过警告声或警告灯的点亮将状态判定部32的判定结果相对于驾驶员输出。输出部33也可以由扬声器和警告灯显示器中的一方构成。另外,警告声或警告显示也可以利用车辆所具备的导航系统的声音输出功能或图像显示功能,该情况下,输出部33也可以向导航系统输出表示状态判定部32的判定结果的状态判定结果信息。
由于是以上那样的构成,因此,在驾驶员判定装置10中,通过第一统计运算部15运算各驾驶员的第一统计信息,并将其与表示驾驶员的标识符一起存储至统计存储部16的非易失性存储器中,通过第一统计运算部15对于当前的驾驶员同样地运算第二统计信息,通过个人判断部17将该运算出的第二统计信息与存储于非易失性存储器中的第一统计信息进行比较,在从非易失性存储器中发现近似于第二统计信息的第一统计信息时,判定车辆的当前的驾驶员为对应于该近似的第一统计信息的驾驶员。即,通过个人判定部17将运算出的第二统计信息与非易失性地存储于统计存储部16中的各驾驶员的第一统计信息进行比较,从而能够判定当前的驾驶员为所存储的哪位驾驶员。因此,当正在驾驶车辆的当前的驾驶员是已经运算出第一统计信息的驾驶员时,能够容易地判定该驾驶员。
另外,在驾驶员判定装置10中,通过驾驶员替换可能性判定部14根据第一或第二感测数据判定有无驾驶员已替换的可能性,在通过该驾驶员替换可能性判定部14判定为存在驾驶员已替换的可能性时,第一统计运算部15开始进行第二统计信息的运算。因此,可以根据第一或第二感测数据容易地判定驾驶员替换的可能性。并且,在存在驾驶员更换的可能性的情况下,运算第二统计信息,并根据该运算结果由个人判定部17进行驾驶员的判定。在通过个人判定部17判定为车辆的当前的驾驶员是对应于近似的第一统计信息的驾驶员时,若该对应于近似的第一统计信息的驾驶员与通过驾驶员替换可能性判定部14判定为存在驾驶员已替换的可能性之前的驾驶员相同,则个人判定部17可以判定为不存在驾驶员的替换。另外,若判定出的驾驶员与通过驾驶员替换可能性判定部14判定为存在驾驶员已替换的可能性之前的驾驶员不同,则个人判定部17可以容易地判定出存在驾驶员的替换、以及替换后的当前的驾驶员为哪位驾驶员。因此,在存在驾驶员的替换的情况下,能够在刚开始运转后迅速地判定驾驶员。
另外,在驾驶员判定装置10中,在即使进行了规定次数的第二统计信息的运算也未发现近似于第二统计信息的第一统计信息的情况下,通过个人判定部17将运算出的第二统计信息存储至统计存储部16的非易失性存储器中作为新的驾驶员的第一统计信息。因此,可以追加新的驾驶员的第一统计信息。
另外,在驾驶员判定装置10中,第一统计运算部15根据第一感测数据判定驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向,并运算该驾驶员的脸部或视线的保持方向的统计信息、例如驾驶员的脸部或视线的保持方向的平均值及偏差量作为第一及第二统计信息。因此,不需要脸部识别等复杂的个人认证处理,另外,即使驾驶员未进行自己申请替换驾驶员这样的特别操作,也可以根据统计信息容易地判定正在驾驶车辆的驾驶员。另外,由于不进行个人认证处理,因而不需要提高程序的安全等级。
另外,在驾驶员状态判定装置30中,通过第二统计运算部31根据存储于统计存储部16的非易失性存储器中的第一统计信息和第一感测数据来运算新的第一统计信息,通过状态判定部32根据第一感测数据和该新的第一统计信息来判定驾驶员的状态,并通过输出部33将其判定结果相对于驾驶员输出。而且,当由个人判定部17判定出的驾驶员与利用第二统计运算部31运算第一统计信息的驾驶员相同时,第二统计运算部31继续直接进行新的第一统计信息的运算。因此,当与通过第二统计运算部31正在运算的新的第一统计信息相关的驾驶员为当前的驾驶员时,继续直接进行新的第一统计信息的运算。因此,在驾驶员状态判定装置30中,当在状态判定部32中根据第一感测数据和新的第一统计信息判定驾驶员的状态时,能够使用也加入了对应于与新的第一统计信息相关的驾驶员的存储于统计存储部16中的第一统计信息的、准确的第一统计信息,判定驾驶员的状态。
相对于此,在该驾驶员状态判定装置30中,当个人判定部17判定出的驾驶员与利用第二统计运算部31运算第一统计信息的驾驶员不同时,第二统计运算部31将新的第一统计信息的运算切换为以判定出的驾驶员的存储于统计存储部16的非易失性存储器中的第一统计信息为对象的运算。因此,当与通过第二统计运算部31正在运算的新的第一统计信息相关的驾驶员与当前的驾驶员不对应时,由于截至目前运算出的新的第一统计信息中加入了存储于统计存储部16的非易失性存储器中对应于其他驾驶员的第一统计信息,从而成为对于当前的驾驶员来说不准确的信息,因而能够防止将其用于驾驶员的状态判定。因此,第二统计运算部31将新的第一统计信息的运算切换为以判定出的驾驶员的存储于统计存储部16的非易失性存储器中的第一统计信息为对象的运算,并运算对应于当前的驾驶员的新的第一统计信息,从而能够使用准确的第一统计信息来判定驾驶员的状态。
因此,在驾驶员状态判定装置30中,由于能够使用与各个驾驶员对应的第一统计信息来判定驾驶员的状态,因此,能够不受驾驶员各自的个人差异影响地进行高精度的驾驶员状态判定。
另外,在驾驶员状态判定装置30中,通过驾驶员替换可能性判定部14根据第一或第二感测数据判定有无驾驶员已替换的可能性,在通过该驾驶员替换可能性判定部14判定为存在驾驶员已替换的可能性时,第二统计运算部31将截至目前运算出的新的第一统计信息存储至统计存储部16的非易失性存储器中。由此,能够通过个人判定部17利用反复运算后变准确的新的第一统计信息进行驾驶员的判定。
另外,在驾驶员状态判定装置30中,在即使进行了规定次数的第二统计信息的运算也未发现近似于第二统计信息的第一统计信息的情况下,将通过第一统计运算部15运算出的第二统计信息存储至统计存储部16的非易失性存储器中作为新的驾驶员的第一统计信息,第二统计运算部31将该新的第一统计信息的运算切换为以存储于该统计存储部16的非易失性存储器中的新的驾驶员的第一统计信息为对象的运算。因此,能够追加新的驾驶员的第一统计信息,并开始进行驾驶员的状态判定。
另外,在驾驶员状态判定装置30中,当与利用第二统计运算部31的新的第一统计信息的运算并行地进行了利用第一统计运算部15的第二统计信息的运算,且由个人判定部17判定出车辆的当前的驾驶员时结束。因此,能够仅在必要时实施利用第一统计运算部15的第二统计信息的运算。
[一实施方式]
接着,对本发明的一实施方式进行说明。
(构成)
(1)系统
图2是表示具备本发明的一实施方式涉及的驾驶员判定装置以及具有该驾驶员判定装置的驾驶员状态判定装置的驾驶员状态判定系统的整体构成的一例的图。
驾驶员状态判定系统包括:具有一实施方式涉及的驾驶员判定装置的驾驶员状态判定装置40、各种传感器51~56以及判定结果输出装置60。
(2)传感器
在本一实施方式中,作为传感器,例如包括作为驾驶员监视传感器的驾驶员相机51、和作为车辆状态传感器的车速传感器52、转向传感器53、转向灯传感器54、档位选择器传感器55以及驻车制动器传感器56。当然,这只是一例,也可以包含其他的传感器。
驾驶员相机51是设置在能够拍摄驾驶员的脸部的部位,例如配置在仪表盘上、方向盘中央、速度表附近、前柱等上,拍摄包含驾驶员的脸部的上半身的相机。该驾驶员相机51既可以是1秒钟拍摄多张静态图像的静物相机,也可以是拍摄动态图像的摄像机。
车速传感器52检测车辆的移动速度。转向传感器53检测方向盘的转向角。该转向传感器53既可以是检测驾驶员对方向盘的操作本身的传感器,也可以是检测通过转向操作改变了朝向的车轮的舵角的传感器。转向灯传感器54检测转向灯的操作。该转向灯传感器54既可以是检测驾驶员对转向灯杆的操作本身的传感器,也可以是检测响应转向灯杆操作而闪烁的转向灯的闪烁控制信号的传感器。
另外,档位选择器传感器55检测自动档车中的档位选择器的停止位置。该档位选择器传感器55既可以是检测驾驶员对档位选择器的选择操作本身的传感器,也可以是检测显示所选择的位置的指示器的点亮控制信号的传感器。驻车制动器传感器56检测驻车制动器的状态。该驻车制动器传感器56既可以是检测驾驶员对驻车制动器杆的操作本身的传感器,也可以是检测驱动驻车制动器的驱动控制信号的传感器。档位选择器传感器55和驻车制动器传感器56并非必须具备两者。例如,在搭载自动档的车辆中,也可以不具备驻车制动器传感器56,而仅是档位选择器传感器55。在搭载手动档的车辆中,也可以仅是驻车制动器传感器56。
(3)驾驶员状态判定装置
驾驶员状态判定装置40包括:控制单元42、输入输出接口单元41以及存储单元43。
输入输出接口单元41接收从驾驶员相机51输出的图像信号并转换为数字数据,并输入至控制单元42。输入输出接口单元41还接收车速传感器52、转向传感器53、转向灯传感器54、档位选择器传感器55以及驻车制动器传感器56各自的感测数据,并将它们输入控制单元42。输入输出接口单元41还将从控制单元42输出的驾驶员状态判定结果信息转换为输出控制信号并输出至判定结果输出装置60。
存储单元43使用例如SSD或HDD等能够随时写入和读出的非易失性存储器和RAM等的易失性存储器作为存储介质。存储单元43具备存储驾驶员的监视数据的监视数据存储部431、存储车辆的状态的车辆信息存储部432、存储用于校正个人差异的统计信息作为学习数据的学习数据存储部433,作为用于实施本实施方式的存储区域。在学习数据存储部433中,构成有非易失性地存储学习数据的例如图3A所示那样的非易失性统计值表4331、和易失性地存储学习数据的例如图3B所示那样的易失性统计值表4332。
图3A是表示学习数据存储部433中构成的非易失性统计值表4331的一例的图。在本一实施方式中,非易失性统计值表4331将通过个人差异学习装置4213过去学习到的各驾驶员的、驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向即保持方向的平均值及偏差量之类的统计信息作为第一统计信息,与表示驾驶员的标识符一起进行存储。进而,非易失性统计值表4331存储表示当前的驾驶员的驾驶员标志。在图3A的例子中,非易失性统计值表4331包括3名驾驶员的第一统计值。即,在将车辆的正面方向设为0°时,由驾驶员编号1的标识符确定的驾驶员的脸部或视线的保持方向的平均值为-2.8°,驾驶员的脸部或视线的保持方向的偏差量为1.8°。由驾驶员编号2的标识符确定的驾驶员的脸部或视线的保持方向的平均值为+5.0°,偏差量为1.0°,由驾驶员编号3的标识符确定的驾驶员的脸部或视线的保持方向的平均值为+0.5°,偏差量为2.0°。对于当前的驾驶员、即由驾驶员编号1的标识符确定的驾驶员设置了驾驶员标志。另外,此处示出了相对于车辆的正面方向将左右方向作为+-方向进行存储的例子,但也可以相对于车辆的正面方向将上下方向作为+-方向进行存储,还可以将两者都进行存储。进而,也可以存储头部的倾斜度等。另外,也可以不在非易失性统计值表4331中设置驾驶员标志,而在学习数据存储部433或者与其不同的存储部中,非易失性地存储表示当前的驾驶员的信息。
图3B是表示在学习数据存储部433中构成的易失性统计值表4332的一例的图。在本一实施方式中,易失性统计值表4332针对通过个人差异学习装置4213正在学习的当前的驾驶员,暂时存储驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的平均值及偏差量之类的统计信息作为第一及第二统计值。在此,第一统计值是如下所述由个人差异学习装置4213根据在学习数据存储部433的非易失性统计值表4331中设置了驾驶员标志的驾驶员的第一统计值、和当前的驾驶员的脸部或视线的保持方向学习到的新的第一统计值。第二统计值是如下所述由个人差异学习装置4213根据当前的驾驶员的脸部或视线的保持方向学习到的统计值。
控制单元42具有CPU(Central Processing Unit、中央处理器)等的硬件处理器421和程序存储器422。控制单元42具备监视数据获取部4211、车辆信息获取部4212、个人差异学习装置4213、驾驶员状态判定部4214以及信号输出部4215,作为通过由硬件处理器421执行存储于程序存储器422中的程序而实现的、为了实施本实施方式所需的软件构成。需要说明的是,这些软件构成的各部分也可以通过专用的硬件构成。
监视数据获取部4211从驾驶员相机51获取驾驶员的监视图像。即,监视数据获取部4211从输入输出接口单元41获取从驾驶员相机51输出的驾驶员的图像信号的数字数据、即感测数据,并将该获得的感测数据存储至存储单元43的监视数据存储部431中作为驾驶员的监视数据。
车辆信息获取部4212从车速传感器52、转向传感器53、转向灯传感器54、档位选择器传感器54以及驻车制动器传感器56分别获取车辆信息。即,车辆信息获取部4212从输入输出接口单元41获取从这些各个传感器输出的感测数据,并将该获得的感测数据存储至存储单元43的车辆信息存储部432中作为车辆信息。
个人差异学习装置4213学习各个驾驶员的个人差异。例如,个人差异学习装置4213在作为车辆的动力源的发动机和/或电动机启动期间中,每隔规定时间运算该规定时间内驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的平均值及偏差量这样的统计信息。但是,在该统计信息的运算时,设置基于车速或转向角、转向灯的有无等的条件,且仅在满足条件时进行学习。例如,通过将以60Km以上的时速直线行驶且未打转向灯等情况作为条件,在驾驶员观察正面的状况下,学习驾驶员的脸部或视线的朝向(保持方向)的平均值及偏差量。即,不进行使用驾驶员未朝向正面时的保持方向的学习,从而能够确保学习结果的准确性。
另外,驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向,可以通过驾驶员状态判定部4214根据存储于监视数据存储部431中的监视数据进行检测。
并且,个人差异学习装置4213根据该运算出的统计信息和暂时存储于上述学习数据存储部433的易失性统计值表4332中的第一统计值、例如驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向即保持方向的平均值及偏差量等的统计信息,运算新的第一统计值。该新的第一统计值通过对上述学习(运算)到的统计信息、和暂时存储于易失性统计值表4332中的统计信息进行例如平均或者加权平均等而求出。然后,个人差异学习装置4213将该运算出的新的第一统计值以将暂时存储于易失性统计值表4332中的第一统计值覆盖的方式予以保存。这样,个人差异学习装置4213每隔规定时间不断学习新的第一统计值作为新的第一统计信息。
另外,除了该第一统计值以外,个人差异学习装置4213在存在驾驶员已替换的可能性时,运算从判定为存在该可能性的时间点起的规定期间、例如同样为上述规定时间内的驾驶员的脸部或视线的保持方向的平均值及偏差量等的第二统计信息。然后,个人差异学习装置4213将该运算出的第二统计信息更新存储至上述易失性统计值表4332中作为第二统计值。但是,在该情况下,也与第一统计值的学习同样地设置基于车速或转向角、转向灯的有无等的条件,在驾驶员观察正面的状况下,运算驾驶员的脸部或者视线的保持方向的平均值及偏差量。这样,个人差异学习装置4213每隔规定时间不断学习第二统计值作为第二统计信息。
另外,包括个人差异学习装置4213的硬件处理器421在车辆的驱动源启动后开始动作,并随着驱动源的断开而结束动作。
驾驶员状态判定部4214除了上述的驾驶员的脸部或视线的保持方向的判定之外,还判定有无驾驶员替换的可能性。即,驾驶员状态判定部4214可以根据车辆信息存储部432中存储的车辆信息,判定驾驶员替换的可能性。例如,驾驶员状态判定部4214通过根据车速传感器52的感测数据判定车辆已完全停止,根据档位选择器传感器55和/或驻车制动器传感器56的感测数据判定已变为驻车状态,从而能够判定为存在驾驶员已替换的可能性。或者,驾驶员状态判定部4214也可以根据存储于监视数据存储部431中的监视数据来判定驾驶员替换的可能性。例如,在驾驶员从监视图像中暂时消失之后,再次出现在监视图像中的情况下、或者暂时无法根据监视数据检测到驾驶员的脸部或视线之后,再次能够检测到的情况下,可以判定为存在驾驶员已替换的可能性。驾驶员状态判定部4214在这样判定为存在驾驶员已替换的可能性时,向个人差异学习装置4213输出驾驶员替换触发信号。
个人差异学习装置4213响应上述驾驶员替换触发信号的输入,将之前运算出且暂时存储于上述易失性统计值表4332中的上述新的第一统计值,相对于在上述学习数据存储部433的非易失性统计值表4331中设置了驾驶员标志的驾驶员予以覆盖保存作为该驾驶员的第一统计值。这样,在非易失性统计值表4331中,不断存储各驾驶员的第一统计值、例如驾驶员的脸部或者视线的保持方向的平均值及偏差量。这样,通过个人差异学习装置4213不断学习第一统计值。
驾驶员状态判定部4214判定驾驶员的状态。例如,驾驶员状态判定部4214对于根据存在驾驶员已替换的可能性的判定而通过个人差异学习装置4213运算出且暂时存储于学习数据存储部433的易失性统计值表4332中的第二统计值、例如当前的驾驶员的脸部或视线的保持方向的平均值及偏差量,与存储于学习数据存储部433的非易失性统计值表4331中的各驾驶员的第一统计值、例如驾驶员的脸部或视线的保持方向的平均值及偏差量进行比较,从而判定当前的驾驶员是非易失性统计值表4331中存储的哪位驾驶员。然后,驾驶员状态判定部4214使上述个人差异学习装置4213运算判定出的驾驶员的新的第一统计值。另外,在判定为当前的驾驶员并非非易失性统计值表4331中存储的任一位驾驶员的情况下,驾驶员状态判定部4214使上述个人差异学习装置4213运算新的驾驶员的新的第一统计值,从而开始进行相对于该新的驾驶员的第一统计值的学习。
另外,驾驶员状态判定部4214以预先设定的时间间隔从监视数据存储部431读入监视数据,并判定驾驶员的脸部或视线所面向的方向。另外,从学习数据存储部433的易失性统计值表4332读入设置了驾驶员标志的当前的驾驶员的第一统计值。进而,驾驶员状态判定部4214从车辆信息存储部432读入车辆信息、例如转向传感器53、转向灯传感器54的感测数据。接着,每当读入监视数据及第一统计值时,驾驶员状态判定部4214将根据监视数据判定出的驾驶员的脸部或视线所面向的方向,根据第一统计值所包含的校正值、即驾驶员的脸部或视线的方向的平均值进行校正之后,与规定的判定基准值进行比较。由此,能够判定驾驶员的状态、例如是否为旁视状态。此时,驾驶员状态判定部4214根据转向传感器53或转向灯传感器54的感测数据,来决定是否进行该判定本身、或者是否输出判定结果。这是因为,在行驶于弯曲的道路上时、或者进行左右转弯、车道变更时,为了安全确认,驾驶员有时会进行与旁视同样的举止,因而优选不将其判定为旁视。
信号输出部4215将表示驾驶员状态判定部4214中的驾驶员的状态的判定结果的驾驶员状态判定结果信息,经由输入输出接口单元41输出至判定结果输出装置60。
(4)判定结果输出装置
判定结果输出装置60例如具有扬声器和警告灯显示器,通过警告声或警告灯的点亮而将从驾驶员状态判定装置40输出的驾驶员状态判定结果信息相对于驾驶员输出。判定结果输出装置60也可以由扬声器和警告灯显示器中的一方构成。判定结果输出装置60也可以利用车辆所具备的导航系统的声音输出功能、图像显示功能而构成。另外,该判定结果输出装置60也可以构成为包含在驾驶员状态判定装置40中,并通过信号输出部4215进行控制。
(动作)
接着,对以上那样构成的驾驶员状态判定系统的动作进行说明。
图4是表示图2所示的驾驶员状态判定系统中的处理步骤和处理内容的一例的流程图,图5是表示按照图2所示的驾驶员状态判定系统中的处理步骤的统计值学习内容的一例的时序图。
(1)感测数据的获取
当车辆的驱动源启动后,驾驶员状态判定装置40和作为驾驶员监视传感器的驾驶员相机51及作为车辆状态传感器的各传感器52~56开始动作。驾驶员状态判定装置40通过监视数据获取部4211获取来自驾驶员相机51的感测数据,并将其存储至监视数据存储部431中作为监视数据。另外,驾驶员状态判定装置40通过车辆信息获取部4212获取分别来自车速传感器52、转向传感器53、转向灯传感器54、档位选择器传感器55以及驻车制动器传感器56的感测数据,并将其存储于至车辆信息存储部432中作为车辆信息。反复实施这些感测数据的获取及存储,直到车辆的驱动源断开为止。
(2)统计值的学习
(2-1)无驾驶员替换
与上述感测数据的获取动作并行地,驾驶员状态判定装置40使个人差异学习装置4213开始进行第一统计值和第二统计值的学习。
即,首先,个人差异学习装置4213在步骤S11中判定是否从驾驶员状态判定部4214输入了驾驶员替换触发信号。车辆的驱动源在车辆完全停止的驻车状态下启动。因此,如图5所示,在车辆的驱动源启动了的时刻t0,判定为从驾驶员状态判定部4214输入了驾驶员替换触发信号。
当输入了驾驶员替换触发信号时,个人差异学习装置4213在步骤S12中,将即将输入驾驶员替换触发信号之前求出且暂时存储于学习数据存储部433的易失性统计值表4332中的新的第一统计值,以将在学习数据存储部433的非易失性统计值表4331中设置了驾驶员标志的当前的驾驶员的第一统计值覆盖的方式予以保存作为学习结果。另外,在车辆的驱动源启动后首次的该步骤S12的处理时,由于尚未求出新的第一统计值,因而在该步骤S12的处理中不进行任何处理。在车辆的驱动源启动后进行了两次以上的驾驶员替换触发信号的输入的情况下,将该新的第一统计值存储至学习数据存储部433的非易失性统计值表4331中。
然后,个人差异学习装置4213在步骤S13中进行新的第一统计值及第二统计值的学习。另外,个人差异学习装置4213中的第一及第二统计值的学习是指每隔规定时间运算该规定时间内的第一及第二统计信息,图5中用虚线表示该规定时间的分割。第一统计值的学习和第二统计值的学习例如以相同的时间间隔实施。通过该步骤S13的学习处理,在学习数据存储部433的易失性统计值表4332中,每隔上述规定时间便更新存储新的第一统计值和第二统计值。即,在新的第一统计值的学习中,根据学习数据存储部433的易失性统计值表4332中存储的上一次的第一统计值、和通过驾驶员状态判定部4214判定出的规定时间内本次驾驶员的脸部或视线的保持方向的平均值及偏差量等的统计信息,运算新的第一统计值。另外,在车辆的驱动源启动后首次的该步骤S13的处理时,由于学习数据存储部433的易失性统计值表4332中尚未存储上一次的第一统计值,因此,存储于学习数据存储部433的非易失性统计值表4331中的、输入驾驶员替换触发信号之前的驾驶员、即由驾驶员标志表示的当前的驾驶员的第一统计值,被暂时存储于学习数据存储部433的易失性统计值表4332中进行利用。由此,例如如图5所示,开始进行由驾驶员编号1的标识符确定的驾驶员的第一统计值的学习。另外,在第二统计值的学习中,运算通过驾驶员状态判定部4214判定出的规定时间内本次驾驶员的脸部或视线的保持方向的平均值及偏差量等的统计信息作为第二统计值。
每隔上述规定时间,个人差异学习装置4213在步骤S14中,对暂时存储于易失性统计值表4332中的第二统计值与学习数据存储部433的非易失性统计值表4331中存储的各驾驶员的第一统计值进行比较。然后,个人差异学习装置4213在步骤S15中判定是否存在近似于第二统计值的第一统计值。在第二统计值的学习初期时,难以控制为稳定的统计信息。在判定为没有近似于第二统计值的第一统计值时,个人差异学习装置4213在步骤S16中判定是否学习了规定量(N次)的第二统计值。作为该规定量,设定为足以控制为稳定的统计信息的时间(次数)。当规定量的第二统计值的学习尚未结束时,个人差异学习装置4213在步骤S17中判定是否从驾驶员状态判定部4214输入了驾驶员替换触发信号。然后,当尚未输入驾驶员替换触发信号时,驾驶员状态判定装置40实施步骤S13中的第一及第二统计值的学习,并重复上述处理。
例如,在存在近似于第二统计值的第一统计值时,在上述步骤S15中判定为存在近似统计值。该情况下,个人差异学习装置4213判定该近似的第一统计值的驾驶员为当前正在驾驶车辆的驾驶员。即,个人差异学习装置4213在步骤S19中将该近似的第一统计值确定为驾驶员状态判定部4214中的驾驶员状态判定处理中应使用、即应学习的第一统计值。由此,个人差异学习装置4213以表示该确定的第一统计值的驾驶员的方式重新设置非易失性统计值表4331的驾驶员标志。但是,此时,当已经设置了与该确定的第一统计值的驾驶员对应的非易失性统计值表4331的驾驶员标志时,由于不存在驾驶员的替换,因而不需要重新设置标志。然后,个人差异学习装置4213在步骤S19中结束第二统计值的学习,并从上述步骤S11的处理开始重复进行。
在这样返回到步骤S11的处理时,在判定为尚未从驾驶员状态判定部4214输入驾驶员替换触发信号的情况下,在步骤S20中,进行新的第一统计值的学习。
(2-2)存在驾驶员替换:已知驾驶员
另一方面,例如如图3B所示,当存在近似于第二统计值(平均值+4.8°、偏差量1.4°)的第一统计值(驾驶员编号2的平均值+5.0°、偏差量1.0°)时,在图5的时刻t1,在上述步骤S15中判定为存在近似统计值。该情况下,个人差异学习装置4213判定该近似的第一统计值的驾驶员为当前正在驾驶车辆的驾驶员。即,个人差异学习装置4213在步骤S21中将该近似的第一统计值确定为驾驶员状态判定部4214中的驾驶员状态判定处理中应使用、即应学习的第一统计值。由此,个人差异学习装置4213以表示该确定的第一统计值的驾驶员的方式重新设置非易失性统计值表4331的驾驶员标志。然后,个人差异学习装置4213在步骤S19中结束第二统计值的学习,并从上述步骤S11的处理开始重复进行。
然后,当从步骤S11进入步骤S20时,进行新的第一统计值的学习,但这次进行所确定的第一统计值、例如由驾驶员编号2的标识符确定的驾驶员的新的第一统计值的学习。此时,暂时存储于易失性统计值表4332中的第二统计值也可以利用于该新的第一统计值的学习中。
(2-3)存在驾驶员替换:新的驾驶员
另一方面,也存在未发现近似的第一统计值,且在上述步骤S16中判定为学习了规定量(N次)的第二统计值的情况。
例如,当在图5中时刻t2输入了驾驶员替换触发信号时,在上述步骤S11中判定为输入了驾驶员替换触发信号,个人差异学习装置4213在步骤S12中,将即将输入驾驶员替换触发信号之前求出并暂时存储于学习数据存储部433的易失性统计值表4332中的新的第一统计值,以将学习数据存储部433的非易失性统计值表4331的当前的驾驶员的第一统计值覆盖的方式予以保存作为学习结果。在该例子中,从易失性统计值表4332读出相对于当前的驾驶员、即驾驶员编号2的驾驶员的新的第一统计值,并覆盖在非易失性统计值表4331的由驾驶员编号2的标识符确定的驾驶员的第一统计值上。然后,在步骤S13中,进行第一及第二统计值的学习。当之后的步骤S14的统计值比较的结果是未发现近似统计值时,经过步骤S15~步骤S17,继续进行步骤S13中的驾驶员编号2的驾驶员的第一及第二统计值的学习。
然后,当在步骤S16中判定为在例如时刻t3学习了规定量(N次)的第二统计值时,个人差异学习装置4213在步骤S21中将暂时存储于易失性统计值表4332中的第二统计值,确定为驾驶员状态判定部4214中的驾驶员状态判定处理中应使用、即应学习的第一统计值。由此,个人差异学习装置4213在非易失性统计值表4331中确保新的驾驶员用的区域,并将存储于易失性统计值表4332中的第二统计值与表示该新的驾驶员的标识符一起存储至该区域中作为第一统计值。然后,将非易失性统计值表4331的驾驶员标志重新设置为表示该新存储的第一统计值的驾驶员。
例如,当存储于易失性统计值表4332中的第二统计值如图3C所示为平均值+3.2°、偏差量1.3°时,非易失性统计值表4331中未存储有近似的第一统计值。因此,该情况下,如图3D所示,将该第二统计值另存在非易失性统计值表4331中,作为由驾驶员编号4的标识符确定的驾驶员的第一统计值。
然后,个人差异学习装置4213在步骤S19中结束第二统计值的学习,并从上述步骤S11的处理开始重复进行。
然后,当从步骤S11进入步骤S20时,进行新的第一统计值的学习,但这次进行所确定的第一统计值、例如由驾驶员编号4的标识符确定的驾驶员的新的第一统计值的学习。此时,由于是新的学习,且学习中利用的数据越多越好,因而优选将暂时存储于易失性统计值表4332中的第二统计值也利用于该新的第一统计值的学习中。
(2-4)第二统计值学习中的驾驶员替换触发信号的输入
另外,当在第二统计值的学习中、即上述步骤S16中,在规定量(N次)的第二统计值的学习结束之前,输入了新的驾驶员替换触发信号时,在步骤S17中判定为输入了新的驾驶员替换触发信号。该情况下,个人差异学习装置4213在步骤S22中将截至目前学习并暂时存储于易失性统计值表4332中的第二统计值清除。然后,进入上述步骤S12,将存储于易失性统计值表4332中的即将输入驾驶员替换触发信号之前求出的新的第一统计值,以将非易失性统计值表4331的当前的驾驶员的第一统计值覆盖的方式予以保存作为学习结果,然后进入步骤S13,开始进行新的第一统计值的学习和新的第二统计值的学习。
(2-5)车辆动力源的断开(OFF)
通常,在车辆的动力源断开之前,成为车辆完全停止的驻车状态。因此,在上述步骤S11或上述步骤S17中,判定为输入了驾驶员替换触发信号,在步骤S12中,将存储于易失性统计值表4332中的即将输入驾驶员替换触发信号之前求出的新的第一统计值,以将非易失性统计值表4331的当前的驾驶员的第一统计值覆盖的方式予以保存作为学习结果。由此,在下一次车辆的动力源启动时,读出并利用该非易失性地存储于非易失性统计值表4331中的当前的驾驶员的第一统计值。
(3)驾驶员状态的判定
在上述步骤S20中进行了新的第一统计值的学习之后,驾驶员状态判定部4214在步骤S23中,利用基于暂时存储于学习数据存储部433的易失性统计值表4332中的新的第一统计值的校正值进行状态判定。即,根据正在学习的当前的驾驶员的新的第一统计值所包含的校正值、即驾驶员的脸部或视线的保持方向的平均值,对根据存储于监视数据存储部431的监视数据判定出的驾驶员的脸部或视线的方向进行校正。然后,通过将该校正后的驾驶员的脸部或视线的方向与规定的判定基准值进行比较,从而判定驾驶员的状态、例如是否为旁视状态。
然后,在步骤S24中,驾驶员状态判定部4214通过信号输出部4215将表示驾驶员的状态的判定结果的驾驶员状态判定结果信息输出至判定结果输出装置60。由此,通过判定结果输出装置60将驾驶员状态判定结果信息以警告声或警告灯的点亮的方式呈现给驾驶员。
(一实施方式的效果)
如以上所详述那样,在一实施方式中,在驾驶员状态判定装置40中,通过个人差异学习装置4213运算作为各驾驶员的第一统计信息的第一统计值,并将其与表示驾驶员的标识符一起存储至学习数据存储部433的非易失性统计值表格4331中,通过个人差异学习装置4213针对当前的驾驶员同样地运算作为第二统计信息的第二统计值,通过个人差异学习装置4213将该运算出的第二统计值与存储于非易失性统计值表4331中的第一统计信息进行比较,在从非易失性统计值表4331中发现近似于第二统计值的第一统计信息时,判定车辆的当前的驾驶员为对应于该近似的第一统计信息的驾驶员。
即,通过个人差异学习装置4213将运算出的第二统计值与存储于学习数据存储部433的非易失性统计值表4331中的各驾驶员的第一统计值进行比较,从而能够判定当前的驾驶员为所存储的哪位驾驶员。因此,当正在驾驶车辆的当前的驾驶员为已经运算出第一统计值的驾驶员时,能够容易地判定该驾驶员。
另外,在驾驶员状态判定装置40中,通过驾驶员状态判定部4214根据第一或第二感测数据判定有无驾驶员替换的可能性,并在通过该驾驶员状态判定部4214判定为存在驾驶员已替换的可能性时,个人差异学习装置4213开始进行第二统计值的运算。
因此,可以根据第一或第二感测数据容易地判定驾驶员替换的可能性。而且,在存在驾驶员已替换的可能性的情况下,运算第二统计值,并根据该运算结果通过个人差异学习装置4213进行驾驶员的判定。在通过个人差异学习装置4213判定为车辆的当前的驾驶员是对应于近似的第一统计值的驾驶员时,若对应于该近似的第一统计值的驾驶员与通过驾驶员状态判定部4214判定为存在驾驶员已替换的可能性之前的驾驶员相同,则个人差异学习装置4213可以判定为不存在驾驶员的替换。另外,若判定出的驾驶员与通过驾驶员状态判定部4214判定为存在驾驶员已替换的可能性之前的驾驶员不同,则个人差异学习装置4213能够容易地判定存在驾驶员的替换、以及替换后的当前的驾驶员为哪位驾驶员。因此,在存在驾驶员的替换的情况下,能够在刚开始运转后迅速地判定驾驶员。
另外,在驾驶员状态判定装置40中,在即使进行了规定次数的第二统计值的运算也未发现近似于第二统计值的第一统计值的情况下,通过个人差异学习装置4213将运算出的第二统计值存储至学习数据存储部433的非易失性统计值表4331中作为新的驾驶员的第一统计值。
因此,能够在学习数据存储部433的非易失性统计值表4331中追加新的驾驶员的第一统计值。因此,在该新的驾驶员再次驾驶该车辆时,能够迅速地判定该驾驶员。
另外,在驾驶员状态判定装置40中,个人差异学习装置4213根据第一感测数据判定驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向,并运算该驾驶员的脸部或视线的保持方向的统计信息、例如驾驶员的脸部或视线的保持方向的平均值及偏差量作为第一及第二统计值。
因此,不需要脸部识别等复杂的个人认证处理,另外,即使驾驶员未进行自己申请替换驾驶员这样的特别操作,也可以根据统计信息容易地判定正在驾驶车辆的驾驶员。另外,由于不进行个人认证处理,因而不需要提高程序的安全等级。
另外,在驾驶员状态判定装置40中,通过个人差异学习装置4213根据存储于学习数据存储部433的非易失性统计值表4331中的第一统计值和第一感测数据,运算新的第一统计值,通过驾驶员状态判定部4214根据第一感测数据和该新的第一统计值判定驾驶员的状态、例如旁视状态,并使其判定结果通过信号输出部4215经由判定结果输出装置60相对于驾驶员输出。然后,当由个人差异学习装置4213判定出的驾驶员与利用个人差异学习装置4213运算第一统计值的驾驶员相同时,个人差异学习装置4213继续进行新的第一统计值的运算。
因此,当与通过个人差异学习装置4213正在运算的新的第一统计值相关的驾驶员为当前的驾驶员时,继续进行新的第一统计值的运算。因此,在驾驶员状态判定装置40中,在驾驶员状态判定部4214中根据第一感测数据和新的第一统计值判定驾驶员的状态时,能够使用也加入了对应于新的第一统计值的驾驶员且存储于学习数据存储部433的非易失性统计值表4331中的第一统计值的、准确的第一统计值,判定驾驶员的状态。
相对于此,在该驾驶员状态判定装置40中,当由个人差异学习装置4213判定出的驾驶员与利用个人差异学习装置4213运算第一统计值的驾驶员不同时,个人差异学习装置4213将新的第一统计值的运算切换为以判定出的驾驶员的存储于学习数据存储部433的非易失性统计值表4331中的第一统计值为对象的运算。
因此,当与通过个人差异学习装置4213正在运算的新的第一统计值相关的驾驶员与当前的驾驶员不对应时,由于截至目前运算出的新的第一统计值中加入了存储于学习数据存储部433的非易失性统计值表4331中对应于其他驾驶员的第一统计值,从而成为对于当前的驾驶员来说不准确的统计值,因而能够防止将其用于驾驶员的状态判定中。因此,个人差异学习装置4213将新的第一统计值的运算切换为以判定出的驾驶员的存储于学习数据存储部433的非易失性统计值表4331中的第一统计值为对象的运算,运算出对应于当前的驾驶员的新的第一统计值,从而能够使用准确的第一统计值来判定驾驶员的状态。
因此,在驾驶员状态判定装置40中,能够使用与各个驾驶员对应的第一统计值来判定驾驶员的状态,因此,能够不受驾驶员各自的个人差异影响地进行高精度的驾驶员状态判定。
另外,在驾驶员状态判定装置40中,通过驾驶员状态判定部4214根据第一或第二感测数据判定有无驾驶员替换的可能性,在通过该驾驶员状态判定部4214判定为存在驾驶员已替换的可能性时,个人差异学习装置4213使截至目前运算出的新的第一统计值存储至学习数据存储部433的非易失性统计值表4331。
由此,能够通过个人差异学习装置4213利用反复运算后变准确的新的第一统计值进行驾驶员的判定。
另外,在驾驶员状态判定装置40中,在即使进行了规定次数的第二统计值的运算也未发现近似于第二统计值的第一统计值的情况下,使通过个人差异学习装置4213运算出的第二统计值存储至学习数据存储部433的非易失性统计值表4331中作为新的驾驶员的第一统计值,个人差异学习装置4213将该新的第一统计值的运算切换为以存储于该学习数据存储部433的非易失性统计值表4331中的新的驾驶员的第一统计值为对象的运算。
因此,能够追加新的驾驶员的第一统计值,并开始进行驾驶员的状态判定。因此,在该新的驾驶员再次驾驶该车辆时,能够进行与该新的驾驶员个人对应的驾驶员状态判定。
另外,在驾驶员状态判定装置40中,与利用个人差异学习装置4213的新的第一统计值的运算并行地进行利用个人差异学习装置4213的第二统计值的运算,在个人差异学习装置4213判定出车辆的当前的驾驶员时结束。
因此,可以仅在必要时实施利用个人差异学习装置4213的第二统计值的运算。
[变形例]
以上,详细说明了本发明的实施方式,但上述说明在所有方面均仅为本发明的例示。当然,能够在不脱离本发明的范围的情况下进行各种改良和变形。即,在实施本发明时,也可以适当采用与实施方式对应的具体构成。
(1)例如,在上述一实施方式中,通过驾驶员状态判定部4214判定有无驾驶员替换的可能性,但是,也可以是在个人差异学习装置4213中,根据存储于监视数据存储部431中的监视数据或存储于车辆信息存储部432中的车辆信息进行判定。另外,也可以设置专用的驾驶员替换可能性判定部。这样,也能够得到与上述一实施方式相同的作用效果。
另外,关于驾驶员的脸部或视线的方向,也可以通过监视数据获取部4211根据来自驾驶员相机51的感测数据进行检测,并将其检测结果存储于监视数据存储部431中。
(2)另外,在上述一实施方式中,在进行驾驶员的状态的判定时,将根据存储于监视数据存储部431中的监视数据判定出的驾驶员的脸部或视线的方向,根据正在学习的当前的驾驶员的第一统计值所包含的校正值、即驾驶员的脸部或视线的保持方向的平均值进行校正之后,与规定的判定基准值进行比较,从而判定驾驶员的状态、例如是否为旁视状态。即,将判定基准值设为恒定,根据新的第一统计值所包含的校正值对驾驶员的脸部或视线的方向进行校正,并对两者进行比较,从而判定驾驶员的状态。反之,也可以根据校正值对判定基准值进行校正,并对该校正后的基准值与驾驶员的脸部或视线的方向进行比较,从而判定驾驶员的状态。这样,也能够得到与上述一实施方式相同的作用效果。
总之,本发明并不限于上述各实施方式,在实施阶段能够在不脱离其主旨的范围内对构成要素进行变形并使其具体化。另外,通过上述各实施方式所公开的多个构成要素的适当组合,能够形成各种发明。例如,也可以从各实施方式所示出的全部构成要素中删除几个构成要素。进而,也可以适当组合不同实施方式中的构成要素。
[附录]
上述实施方式的一部分或全部能够如以下附录所示那样进行记载,但并不限于此。
(附录1)
一种驾驶员判定装置(10)包括:第一运算部(15),根据从第一传感器(21)输出的包括车辆的驾驶员的图像的第一感测数据,运算第一统计信息,所述第一统计信息是关于该驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的统计信息;存储部(16),将运算出的所述第一统计信息与表示驾驶员的标识符一起进行存储;以及第一判定部(17),利用所述第一运算部根据从所述第一传感器输出的包括当前的车辆的驾驶员的图像的第一感测数据,运算关于车辆的当前的驾驶员的所述保持方向的统计信息、即第二统计信息,并将运算出的所述第二统计信息与所述存储部中存储的所述第一统计信息进行比较,在从所述存储部发现近似于所述第二统计信息的所述第一统计信息时,判定车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员。
(附录2)
一种驾驶员状态判定装置(30)包括:上述附录1所述的驾驶员判定装置;第二运算部(31),根据存储于所述存储部中的所述第一统计信息和所述第一感测数据运算新的第一统计信息;第三判定部(32),根据所述第一感测数据和通过所述第二运算部运算出的所述新的第一统计信息,判定所述驾驶员的状态;以及输出部(33),对所述驾驶员输出所述第三判定部的判定结果,所述第二运算部在通过所述第一判定部判定出的驾驶员,与利用该第二运算部运算所述第一统计信息的驾驶员相同时,继续直接进行所述新的第一统计信息的运算,在与利用该第二运算部运算所述第一统计信息的驾驶员不同时,将所述新的第一统计信息的运算切换为以所述判定出的驾驶员的存储于所述存储部中的所述第一统计信息为对象的运算。
(附录3)
一种驾驶员判定方法,由判定驾驶员的驾驶员判定装置(10)执行驾驶员判定方法,包括:所述驾驶员判定装置根据从第一传感器(21)输出的包括车辆的驾驶员的图像的第一感测数据,运算第一统计信息的步骤,所述第一统计信息是关于该驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的统计信息;所述驾驶员判定装置将运算出的所述第一统计信息与表示驾驶员的标识符一起进行存储的步骤;所述驾驶员判定装置根据从所述第一传感器输出的包括当前的车辆的驾驶员的图像的第一感测数据运算第二统计信息的步骤,所述第二统计信息是关于车辆的当前的驾驶员的所述保持方向的统计信息;以及所述驾驶员判定装置将运算出的所述第二统计信息与所述存储的所述第一统计信息进行比较,在存储有近似于所述第二统计信息的所述第一统计信息时,判定车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员的步骤。
(附录4)
一种驾驶员状态判定方法,由应用了上述附录3所述的驾驶员判定方法的驾驶员状态判定装置(30)执行驾驶员状态判定方法,包括:所述驾驶员状态判定装置根据所述存储的所述第一统计信息和所述第一感测数据运算新的第一统计信息的步骤;所述驾驶员状态判定装置根据所述运算出的所述新的第一统计信息判定所述驾驶员的状态的步骤;以及所述驾驶员状态判定装置对驾驶员输出所述驾驶员的状态的判定结果的步骤,在运算所述新的第一统计信息的步骤中,在判定所述车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员的步骤中判定出的驾驶员与运算所述新的第一统计信息的驾驶员相同时,继续直接进行所述新的第一统计信息的运算,与运算所述新的第一统计信息的驾驶员不同时,将所述新的第一统计信息的运算切换为以所述判定出的驾驶员的所述存储的所述第一统计信息为对象的运算。
(附录5)
一种驾驶员判定装置,具有硬件处理器(421)和存储器(43),其中,所述硬件处理器根据从第一传感器(51)输出的包括车辆的驾驶员的图像的第一感测数据运算第一统计信息,所述第一统计信息是关于该驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的统计信息;将运算出的所述第一统计信息与表示驾驶员的标识符一起存储至所述存储器中;根据从所述第一传感器输出的包括当前的车辆的驾驶员的图像的第一感测数据运算第二统计信息,所述第二统计信息是关于车辆的当前的驾驶员的所述保持方向的统计信息;将运算出的所述第二统计信息与所述存储器中存储的所述第一统计信息进行比较,在存储有近似于所述第二统计信息的所述第一统计信息时,判定车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员。
(附录6)
一种驾驶员状态判定装置,具有硬件处理器(421)和存储器(43),其中,所述硬件处理器除了上述附录5的驾驶员判定装置的动作之外,根据所述存储的所述第一统计信息和所述第一感测数据运算新的第一统计信息;根据所述第一感测数据和所述运算出的所述新的第一统计信息判定所述驾驶员的状态;对驾驶员输出所述驾驶员的状态的判定结果;在所述新的第一统计信息的运算中,当在判定所述车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员的步骤中判定出的驾驶员与运算所述新的第一统计信息的驾驶员相同时,继续直接进行所述新的第一统计信息的运算,与运算所述新的第一统计信息的驾驶员不同时,将所述新的第一统计信息的运算切换为以所述判定出的驾驶员的存储于所述存储器中的所述第一统计信息为对象的运算。
(附录7)
一种驾驶员判定方法,由具有硬件处理器(421)和存储器(43)的装置执行驾驶员判定方法,包括:所述硬件处理器根据从第一传感器(51)输出的把空旷车辆的驾驶员的图像的第一感测数据运算第一统计信息的步骤,所述第一统计信息是关于该驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的统计信息;所述硬件处理器将运算出的所述第一统计信息与表示驾驶员的标识符一起存储至所述存储器中的步骤;所述硬件处理器根据从所述第一传感器输出的包括当前的车辆的驾驶员的图像的第一感测数据运算第二统计信息的步骤,所述第二统计信息是关于车辆的当前的驾驶员的所述保持方向的统计信息;以及所述硬件处理器将运算出的所述第二统计信息与所述存储器中存储的所述第一统计信息进行比较,在存储有近似于所述第二统计信息的所述第一统计信息时,判定车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员的步骤。
(附录8)
一种驾驶员状态判定方法,由具有硬件处理器(421)和存储器(43)的装置执行驾驶员状态判定方法,除了上述附录7的驾驶员判定方法的步骤之外,还包括:所述硬件处理器根据存储于所述存储器中的所述第一统计信息和所述第一感测数据运算新的第一统计信息的步骤;所述硬件处理器根据所述第一感测数据和所述运算出的所述新的第一统计信息判定所述驾驶员的状态的步骤;所述硬件处理器对所述驾驶员输出所述驾驶员的状态的判定结果的步骤,在运算所述新的第一统计信息的步骤中,在判定所述车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员的步骤中判定出的驾驶员与运算所述新的第一统计信息的驾驶员相同时,继续直接进行所述新的第一统计信息的运算,在与运算所述新的第一统计信息的驾驶员不同时,将所述新的第一统计信息的运算切换为以所述判定出的驾驶员的存储于所述存储器中的所述第一统计信息为对象的运算。
附图标记说明
10…驾驶员判定装置、11…监视数据获取部、12…车辆信息获取部、13…获得信息存储部、14…驾驶员替换可能性判定部、15…第一统计运算部、16…统计存储部、17…个人判定部、21…驾驶员监视传感器、22…车辆状态传感器、30…驾驶员状态判定装置、31…第二统计运算部、32…状态判定部、33…输出部、40…驾驶员状态判定装置、41…输入输出接口单元、42…控制单元、43…存储单元、51…驾驶员相机、52…车速传感器、53…转向传感器、54…转向灯传感器、55…档位选择器传感器、56…驻车制动器传感器、60…判定结果输出装置、421…硬件处理器、422…程序存储器、431…监视数据存储部、432…车辆信息存储部、433…学习数据存储部、4211…监视数据获取部、4212…车辆信息获取部、4213…个人差异学习装置、4214…驾驶员状态判定部、4215…信号输出部、4331…非易失性统计值表、4332…易失性统计值表。

Claims (12)

1.一种驾驶员判定装置,其特征在于,包括:
第一运算部,根据从第一传感器输出的包括车辆的驾驶员的图像的第一感测数据,运算第一统计信息,所述第一统计信息是关于该驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的统计信息;
存储部,将运算出的所述第一统计信息与表示驾驶员的标识符一起进行存储;以及
第一判定部,利用所述第一运算部根据从所述第一传感器输出的包括当前的车辆的驾驶员的图像的第一感测数据,运算关于车辆的当前的驾驶员的所述保持方向的统计信息、即第二统计信息,并将运算出的所述第二统计信息与所述存储部中存储的所述第一统计信息进行比较,在从所述存储部发现近似于所述第二统计信息的所述第一统计信息时,判定车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员。
2.根据权利要求1所述的驾驶员判定装置,其特征在于,
所述驾驶员判定装置还包括第二判定部,所述第二判定部根据从第二传感器输出的表示车辆的状态的第二感测数据或者所述第一感测数据,判定有无车辆的所述当前的驾驶员已替换的可能性,
所述第一运算部在通过所述第二判定部判定为存在驾驶员已替换的可能性时,开始进行所述第二统计信息的运算。
3.根据权利要求1所述的驾驶员判定装置,其特征在于,
所述第一判定部在即使所述第一运算部进行了规定次数的所述第二统计信息的运算,也未发现近似于所述第二统计信息的所述第一统计信息时,使所述第二统计信息存储至所述存储部中作为与新的驾驶员对应的第一统计信息。
4.根据权利要求1至3中任一项所述的驾驶员判定装置,其特征在于,所述第一运算部根据所述第一感测数据判定所述驾驶员的所述保持方向,
所述第一统计信息及所述第二统计信息是规定时间内的所述判定出的所述保持方向的平均值及偏差量。
5.一种驾驶员状态判定装置,其特征在于,包括:
权利要求1、3或4所述的驾驶员判定装置;
第二运算部,根据存储于所述存储部中的所述第一统计信息和所述第一感测数据,运算新的第一统计信息;
第三判定部,根据所述第一感测数据和通过所述第二运算部运算出的所述新的第一统计信息,判定所述驾驶员的状态;以及
输出部,对所述驾驶员输出所述第三判定部的判定结果,
所述第二运算部
在通过所述第一判定部判定出的驾驶员与利用该第二运算部运算所述第一统计信息的驾驶员相同时,继续直接进行所述新的第一统计信息的运算,
在与利用该第二运算部运算所述第一统计信息的驾驶员不同时,将所述新的第一统计信息的运算切换为以判定出的所述驾驶员的存储于所述存储部中的所述第一统计信息为对象的运算。
6.根据权利要求5所述的驾驶员状态判定装置,其特征在于,
所述驾驶员判定装置还包括第二判定部,所述第二判定部根据从第二传感器输出的表示车辆的状态的第二感测数据或者所述第一感测数据,判定有无车辆的所述当前的驾驶员已替换的可能性,
所述第一运算部在通过所述第二判定部判定为存在驾驶员已替换的可能性时,开始进行所述第二统计信息的运算,
所述第二运算部在通过所述第二判定部判定为存在驾驶员已替换的可能性时,使所述新的第一统计信息存储于所述存储部。
7.根据权利要求5所述的驾驶员状态判定装置,其特征在于,
在即使所述第一运算部进行了规定次数的所述第二统计信息的运算且所述第一判定部也未发现近似于所述第二统计信息的所述第一统计信息时,
所述第一运算部使所述第二统计信息存储至所述存储部中作为与新的驾驶员对应的第一统计信息之后,结束所述第二统计信息的运算,
所述第二运算部将所述新的第一统计信息的运算切换为以由所述第一运算部存储于所述存储部中的所述新的驾驶员的所述第一统计信息为对象的运算。
8.根据权利要求5至7中任一项所述的驾驶员状态判定装置,其特征在于,
所述第一运算部
与利用所述第二运算部的所述新的第一统计信息的运算并行地运算所述第二统计信息,
在所述第一判定部判定车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员时,结束所述第二统计信息的运算。
9.一种驾驶员判定方法,由判定驾驶员的驾驶员判定装置执行驾驶员判定方法,所述驾驶员判定方法的特征在于,包括:
所述驾驶员判定装置根据从第一传感器输出的包括车辆的驾驶员的图像的第一感测数据,运算第一统计信息的步骤,所述第一统计信息是关于该驾驶员相对于车辆的正面方向将脸部或视线保持为正面的方向、即保持方向的统计信息;
所述驾驶员判定装置将运算出的所述第一统计信息与表示驾驶员的标识符一起进行存储的步骤;
所述驾驶员判定装置根据从所述第一传感器输出的包括当前的车辆的驾驶员的图像的第一感测数据,运算第二统计信息的步骤,所述第二统计信息是关于车辆的当前的驾驶员的所述保持方向的统计信息;以及
所述驾驶员判定装置将运算出的所述第二统计信息与所述存储的所述第一统计信息进行比较,在存储有近似于所述第二统计信息的所述第一统计信息时,判定车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员的步骤。
10.一种驾驶员状态判定方法,由应用了权利要求9所述的驾驶员判定方法的驾驶员状态判定装置执行驾驶员状态判定方法,所述驾驶员状态判定方法的特征在于,包括:
所述驾驶员状态判定装置根据所述存储的所述第一统计信息和所述第一感测数据,运算新的第一统计信息的步骤;
所述驾驶员状态判定装置根据所述运算出的所述新的第一统计信息,判定所述驾驶员的状态的步骤;以及
所述驾驶员状态判定装置对驾驶员输出所述驾驶员的状态的判定结果的步骤,
在运算所述新的第一统计信息的步骤中,
在判定所述车辆的所述当前的驾驶员为对应于所述近似的所述第一统计信息的驾驶员的步骤中判定出的驾驶员
与运算所述新的第一统计信息的驾驶员相同时,继续直接进行所述新的第一统计信息的运算,
与运算所述新的第一统计信息的驾驶员不同时,将所述新的第一统计信息的运算切换为以所述判定出的驾驶员的所述存储的所述第一统计信息为对象的运算。
11.一种记录介质,其特征在于,
存储使计算机作为权利要求1至4中任一项所述的驾驶员判定装置所具备的各部发挥作用的驾驶员判定程序。
12.一种记录介质,其特征在于,
存储使计算机作为权利要求5至8中任一项所述的驾驶员状态判定装置所具备的各部发挥作用的驾驶员状态判定程序。
CN201811305900.1A 2017-11-15 2018-11-02 驾驶员判定装置、驾驶员状态判定装置、驾驶员判定方法 Pending CN109784136A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-219796 2017-11-15
JP2017219796A JP6687006B2 (ja) 2017-11-15 2017-11-15 運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラム

Publications (1)

Publication Number Publication Date
CN109784136A true CN109784136A (zh) 2019-05-21

Family

ID=66335451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811305900.1A Pending CN109784136A (zh) 2017-11-15 2018-11-02 驾驶员判定装置、驾驶员状态判定装置、驾驶员判定方法

Country Status (4)

Country Link
US (1) US20190147271A1 (zh)
JP (1) JP6687006B2 (zh)
CN (1) CN109784136A (zh)
DE (1) DE102018127161A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428620A (zh) * 2019-07-30 2019-11-08 江苏驭道数据科技有限公司 一种驾驶风险行为数据采集和分析系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200057891A (ko) * 2018-11-16 2020-05-27 현대자동차주식회사 차량 주행 보조 제어 장치, 그를 포함한 시스템 및 그 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022579A (ja) * 2010-07-15 2012-02-02 Fujitsu Ltd 顔方向検出装置、顔方向検出プログラムおよび顔方向検出方法
US20130073114A1 (en) * 2011-09-16 2013-03-21 Drivecam, Inc. Driver identification based on face data
CN103425962A (zh) * 2012-05-24 2013-12-04 现代摩比斯株式会社 车辆用脸部认证装置及方法
JP2014234016A (ja) * 2013-05-31 2014-12-15 株式会社デンソー 情報表示制御装置
CN204821476U (zh) * 2015-08-20 2015-12-02 绍兴市敏智传感网技术研究院有限公司 一种机动车驾驶信息识别系统
CN106184223A (zh) * 2016-09-28 2016-12-07 北京新能源汽车股份有限公司 一种自动驾驶控制方法、装置及汽车
CN106428015A (zh) * 2016-09-12 2017-02-22 惠州Tcl移动通信有限公司 一种智能行车辅助方法及装置
CN107004128A (zh) * 2017-02-16 2017-08-01 深圳市锐明技术股份有限公司 一种驾驶员身份识别方法及装置
CN107194381A (zh) * 2017-07-06 2017-09-22 重庆邮电大学 基于Kinect的驾驶员状态监测系统
CN107215307A (zh) * 2017-05-24 2017-09-29 清华大学深圳研究生院 基于车辆传感器校正数据的驾驶员身份识别方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
JP4894572B2 (ja) * 2006-03-14 2012-03-14 オムロン株式会社 検出装置および方法、記録媒体、並びに、プログラム
EP2891589A3 (en) * 2014-01-06 2017-03-08 Harman International Industries, Incorporated Automatic driver identification
JP2017052470A (ja) * 2015-09-11 2017-03-16 クラリオン株式会社 駐車支援装置
JP2017126151A (ja) * 2016-01-13 2017-07-20 アルプス電気株式会社 視線検出装置および視線検出方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022579A (ja) * 2010-07-15 2012-02-02 Fujitsu Ltd 顔方向検出装置、顔方向検出プログラムおよび顔方向検出方法
US20130073114A1 (en) * 2011-09-16 2013-03-21 Drivecam, Inc. Driver identification based on face data
CN103425962A (zh) * 2012-05-24 2013-12-04 现代摩比斯株式会社 车辆用脸部认证装置及方法
JP2014234016A (ja) * 2013-05-31 2014-12-15 株式会社デンソー 情報表示制御装置
CN204821476U (zh) * 2015-08-20 2015-12-02 绍兴市敏智传感网技术研究院有限公司 一种机动车驾驶信息识别系统
CN106428015A (zh) * 2016-09-12 2017-02-22 惠州Tcl移动通信有限公司 一种智能行车辅助方法及装置
CN106184223A (zh) * 2016-09-28 2016-12-07 北京新能源汽车股份有限公司 一种自动驾驶控制方法、装置及汽车
CN107004128A (zh) * 2017-02-16 2017-08-01 深圳市锐明技术股份有限公司 一种驾驶员身份识别方法及装置
CN107215307A (zh) * 2017-05-24 2017-09-29 清华大学深圳研究生院 基于车辆传感器校正数据的驾驶员身份识别方法及系统
CN107194381A (zh) * 2017-07-06 2017-09-22 重庆邮电大学 基于Kinect的驾驶员状态监测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428620A (zh) * 2019-07-30 2019-11-08 江苏驭道数据科技有限公司 一种驾驶风险行为数据采集和分析系统

Also Published As

Publication number Publication date
JP6687006B2 (ja) 2020-04-22
US20190147271A1 (en) 2019-05-16
JP2019091259A (ja) 2019-06-13
DE102018127161A1 (de) 2019-05-16

Similar Documents

Publication Publication Date Title
US11021165B2 (en) Driving assistance device, driving assistance system, program, and control method for driving assistance device
JP5311793B2 (ja) 脇見状態判定装置
US8849474B2 (en) Rider characteristic determining apparatus, and a saddle riding type vehicle having the same
US10147005B2 (en) Sign display apparatus
US8552851B2 (en) Operation state judgement method and system
JP2010508611A (ja) 運転手の状態を識別するための方法および装置
CN109784135A (zh) 驾驶员状态判断装置及其方法以及存储介质
CN102729996B (zh) 用于运行机动车的方法、装置
JP5774847B2 (ja) 車両走行再現評価装置
JP5987923B2 (ja) ドライバ感情に基づく運転支援装置
CN109795409A (zh) 旁视判定装置、旁视判定方法以及记录介质
CN109784136A (zh) 驾驶员判定装置、驾驶员状态判定装置、驾驶员判定方法
CN109690654A (zh) 集中度判定装置、集中度判定方法及用于集中度判定的程序
CN109774469A (zh) 旁视判定装置、旁视判定方法以及存储介质
CN109544955A (zh) 一种交通信号灯的状态获取方法及系统
JP6375873B2 (ja) ドライバ状態診断装置
US20210086773A1 (en) Driving behavior evaluation device, method, and computer-readable storage medium
CN114728584A (zh) 用于在机动车的人机接口上显示信息的方法、计算机程序产品、人机接口以及机动车
CN110770107B (zh) 用于评估车辆的乘员的疲劳度的方法和装置
JP4646937B2 (ja) ナビゲーション装置、ナビゲーション方法およびプログラム
JP2011000278A (ja) 視認行動情報提示装置
SE0950384A1 (sv) Metod och system för visning av information relaterat till hur ett fordon framförs
JP6112294B2 (ja) 車両の加速度検知、評価装置
CN114644012A (zh) 车辆及其控制方法、存储介质和电子设备
CN106157662A (zh) 车辆的限制速度显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190521

WD01 Invention patent application deemed withdrawn after publication