CN110555366A - 驾驶员监视装置 - Google Patents

驾驶员监视装置 Download PDF

Info

Publication number
CN110555366A
CN110555366A CN201910472053.6A CN201910472053A CN110555366A CN 110555366 A CN110555366 A CN 110555366A CN 201910472053 A CN201910472053 A CN 201910472053A CN 110555366 A CN110555366 A CN 110555366A
Authority
CN
China
Prior art keywords
driver
safety confirmation
behavior
monitoring device
driver monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910472053.6A
Other languages
English (en)
Inventor
福见公孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN110555366A publication Critical patent/CN110555366A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Abstract

本发明提供一种驾驶员监视装置，其包括：驾驶员监视用照相机，其对驾驶员的面部进行拍摄；检测部，其基于由驾驶员监视用照相机拍摄到的驾驶员的面部图像检测与驾驶员的安全确认行为相关的安全确认行为信息；以及判定部，其基于由检测部检测到的安全确认行为信息判定驾驶员是否怠慢了安全确认行为。

Description

驾驶员监视装置
技术领域
本发明涉及一种在车辆等移动体的行驶时，促使驾驶员进行安全确认行为的驾驶员监视装置。
背景技术
例如，交通事故的近九成是由人为的驾驶过失而引起的。其中作为较大的主要原因，可以认为是以驾驶员的斜视驾驶、打盹驾驶等危险驾驶行为、驾驶员的经验不足、注意力下降(不注意)等为主要原因的安全确认行为的怠慢。一直以来，已知有一种驾驶员监视装置，其中，为了降低这样的人为的驾驶过失，近年来通过以驾驶员监视为目的的车载照相机等拍摄装置，对驾驶员的面部进行拍摄，基于拍摄到的图像，对驾驶员的面部的朝向、眼睑的开度等面部信息进行检测，从而在判定为驾驶员实施了斜视驾驶、打盹驾驶等危险驾驶行为的情况下，发出警告来促使驾驶员避免危险驾驶行为。
例如，日本专利特开2011-43961号公报中公开了一种基于驾驶员的眼睑的闭眼状态，对驾驶员是否打盹进行判定的驾驶员监视装置。此外，日本专利特开2010-23626号公报中公开了一种通过实现驾驶员的面部的特征点检测的精度提高，来良好地实施驾驶员的打盹、斜视等监视的驾驶员监视装置。
然而，所述的现有技术对于抑制由驾驶员的斜视驾驶、打盹驾驶等危险驾驶行为引起的人为的驾驶过失是有效的，但对于由以驾驶员的经验不足、注意力下降等为主要原因的安全确认行为的怠慢引起的人为的驾驶过失没有效果。
因此，本发明的目的在于，提供一种能够降低由以驾驶员的经验不足、注意力下降等为主要原因的安全确认行为的怠慢引起的人为的驾驶过失的驾驶员监视装置。
发明内容
(1)本发明的一个实施方式为一种驾驶员监视装置，其中，包括：驾驶员监视用照相机，其对驾驶员的面部进行拍摄；检测部，其基于由所述驾驶员监视用照相机拍摄到的所述驾驶员的面部图像检测与所述驾驶员的安全确认行为相关的安全确认行为信息；以及判定部，其基于由所述检测部检测到的所述安全确认行为信息对所述驾驶员是否怠慢所述安全确认行为进行判定。
(2)此外，本发明的某实施方式为驾驶员监视装置，在所述(1)的结构的基础上，还具备朝向所述驾驶员的面部照射红外线的光源，所述驾驶员监视用照相机对被来自所述光源的所述红外线照射的所述驾驶员的面部进行拍摄。
(3)此外，本发明的某实施方式为驾驶员监视装置，在所述(1)的结构或所述(2)的结构的基础上，所述安全确认行为信息包含根据面部的方向和/或视线的方向计算出的信息。
(4)此外，本发明的某实施方式为驾驶员监视装置，在所述(1)的结构至所述(3)的结构中任一结构的基础上，由所述判定部实施的是否怠慢所述安全确认行为的判定，在左转弯或右转弯时、车道变更时、以及起步时中的至少一个之时实施。
(5)此外，本发明的某实施方式为驾驶员监视装置，在所述(1)的结构至所述(4)的结构中任一结构的基础上，所述判定部在从方向指示器的动作的开始时间点到转向装置的朝向变化为预先设定的规定的角度以上为止未实施所述安全确认行为的情况下，判定为怠慢了所述安全确认行为。
(6)此外，本发明的某实施方式为驾驶员监视装置，在所述(1)的结构至所述(5)的结构中任一结构的基础上，所述安全确认行为包含：通过车室内镜的安全确认行为、通过侧视镜的安全确认行为、以及通过目视的直接的安全确认行为中的至少一个安全确认行为。
(7)此外，本发明的某实施方式为驾驶员监视装置，在所述(1)的结构至所述(6)的结构中任一结构的基础上，在由所述判定部判定为所述驾驶员怠慢了所述安全确认行为的情况下，向所述驾驶员实施警告。
(8)此外，本发明的某实施方式为驾驶员监视装置，在所述(7)结构的基础上，所述警告通过声音来实施。
(9)此外，本发明的某实施方式为驾驶员监视装置，在所述(7)结构或所述(8)的结构的基础上，所述警告通过光来实施。
(10)此外，本发明的某实施方式为驾驶员监视装置，在所述(1)的结构至所述(9)的结构中任一结构的基础上，通过方向指示器的动作来切换驾驶员监视的目的。
(11)此外，本发明的某实施方式为驾驶员监视装置，在所述(1)的结构至所述(10)的结构中任一结构的基础上，在方向指示器的动作中不进行向所述驾驶员通知实施了危险驾驶行为的警告。
(12)本发明的其他实施方式是一种驾驶员监视装置，具备：驾驶员监视用照相机，其对驾驶员的面部进行拍摄；检测部，其基于由所述驾驶员监视用照相机拍摄到的所述驾驶员的面部图像检测与所述驾驶员的危险驾驶行为相关的危险驾驶行为信息；以及判定部，其基于由所述检测部检测到的所述危险驾驶行为信息判定所述驾驶员是否实施了所述危险驾驶行为，所述驾驶员监视装置的特征在于，在方向指示器的动作中，不进行向所述驾驶员通知实施了危险驾驶行为的警告。
发明效果
根据本发明，能够降低由以驾驶员的经验不足、注意力下降等为主要原因的安全确认行为的怠慢引起的人为的驾驶过失。
附图说明
图1为表示驾驶员监视装置的概要结构的系统结构图。
图2为表示驾驶员监视装置搭载于车辆的情形的概要图。
图3为表示左转弯或向左侧的车道变更时的安全确认行为的概要图。
图4为表示右转弯或向右侧的车道变更时的安全确认行为的概要图。
图5A为表示驾驶员监视装置中方向指示器不工作时的处理例的流程图。
图5B为表示驾驶员监视装置中方向指示器工作时的处理例的流程图。
图6为用于说明人的瞳孔以及浦肯野图像的说明图。
图7为用于说明人的瞳孔与浦肯野图像的位置关系的说明图。
图8为表示驾驶中的安全确认行为的怠慢的次数以及危险驾驶行为的次数的时间变化的图表。
具体实施方式
以下，参照附图说明本发明所涉及的实施方式。在以下的说明中，对相同部件标注相同附图标记。它们的名称以及功能也是相同的。因此，不重复它们的详细的说明。另外，各图为用于理解本发明的简略图，安全确认行为、驾驶员监视用照相机21、光源22等的搭载位置以及搭载数只不过是一个示例。此外，在本实施方式中，以右侧驾驶的车辆为例进行说明，左侧驾驶的车辆也是同样的。
<第一实施方式>
(驾驶员监视装置)
首先，参照图1以及图2说明驾驶员监视装置20的概要的结构。
图1为表示驾驶员监视装置20的概要结构的系统结构图，图2为表示驾驶员监视装置20搭载于车辆10的情形的概要图。
驾驶员监视装置20具备驾驶员监视用照相机21和面部识别系统23，从而构成驾驶员监视系统。面部识别系统23包含检测部23a、判定部23b以及存储部23c。
驾驶员监视用照相机21搭载于车辆10并对驾驶车辆10的驾驶员30的面部进行拍摄。检测部23a基于由驾驶员监视用照相机21拍摄到的驾驶员30的面部图像检测与驾驶员30的安全确认行为相关的安全确认行为信息。判定部23b基于由检测部23a检测到的安全确认行为信息判定驾驶员30是否怠慢安全确认行为。在此，作为驾驶员30的安全确认行为的怠慢的主要原因，例如可列举出经验不足、注意力下降(不注意)等。
驾驶员监视用照相机21为具有CMOS图像传感器等拍摄元件的拍摄装置。作为驾驶员监视用照相机21的搭载位置，可例示能够实现仪表、转向管柱上部、A柱等驾驶员30的面部的拍摄的位置。
根据驾驶员监视装置20，由检测部23a基于由驾驶员监视用照相机21拍摄到的驾驶员30的面部图像检测安全确认行为信息，通过判定部23b基于由检测部23a检测到的安全确认行为信息判定驾驶员30是否怠慢安全确认行为。由此，能够降低由以驾驶员30的经验不足、注意力下降等为主要原因的安全确认行为的怠慢引起的人为的驾驶过失。
在本实施方式中，驾驶员监视装置20还具备朝向驾驶员30的面部照射红外线的光源22。驾驶员监视用照相机21对被来自光源22的红外线照射的驾驶员30的面部进行拍摄。此外，驾驶员监视用照相机21为了仅拍摄被从光源22照射的红外线照亮的区域，而搭载有仅供特定的波长通过的带通滤波器，特定的波长根据从光源22照射的波长来确定。通过如此设置，能够减小太阳光等干扰光的影响。并且，由于红外线为人类的眼睛无法识别的波长，因此即使在朝向驾驶员30的面部照射的情况下也不会感到晃眼。因此，能够避免对驾驶的影响且是有效的。作为红外线，优选使用近红外线(例如700nm～2500nm程度的波长且具有峰值的近红外线)。光源22也与驾驶员监视用照相机21同样地配置于能够朝向仪表、转向管柱上部、A柱等驾驶员30的面部实施红外线的照射的位置。在该例中，光源22使用射出近红外线(波长940nm)的部件。
在本实施方式中，安全确认行为信息包含根据面部的方向和/或视线的方向(眼球的朝向)计算出的信息。即，检测部23a基于由驾驶员监视用照相机21拍摄到的驾驶员30的面部图像计算出驾驶员30的面部的方向和/或视线的方向。通过如此设置，检测部23a能够容易地计算出安全确认行为信息。
在本实施方式中，由判定部23b实施的是否怠慢安全确认行为的判定在车辆10的左转弯或右转弯时、车道变更时、以及起步时中的至少一个之时来实施。通过如此设置，能够监视左转弯或右转弯时、车道变更时、以及起步时中的至少一个之时的安全确认行为的有无。
驾驶员监视装置20还具备角度感测部26。在该例中，角度感测部26为感测设置于车辆10的转向装置16的朝向(操作角度)的转向装置角度测量器。转向装置角度测量器能够使用以往公知的装置，在此省略详细的说明。
在本实施方式中，判定部23b在从设置于车辆10的方向指示器11、12的动作的开始时间点到角度感测部26感测到的转向装置16的朝向(操作角度)变化为预先设定的规定的角度(例如20°)以上为止未实施安全确认行为的情况下，判定为怠慢了安全确认行为。通过如此设置，能够可靠地判定安全确认行为的有无。
在本实施方式中，安全确认行为包含：通过车室内镜13的安全确认行为、通过侧视镜14、15的安全确认行为、以及通过目视的直接的安全确认行为中的至少一个安全确认行为。通过如此设置，能够在适当的时期判定安全确认行为的有无。
在本实施方式中，驾驶员监视装置20还具备警告装置24。在判定部23b判定为驾驶员30怠慢了安全确认行为的情况下，由警告装置24实施向驾驶员30通知怠慢了安全确认行为的警告。通过如此设置，能够向驾驶员30通知怠慢了安全确认行为的情况，由此，能够可靠地降低由以驾驶员30的经验不足、注意力下降等为主要原因的安全确认行为的怠慢引起的人为的驾驶过失。
详细而言，如图1所示，驾驶员监视装置20将由驾驶员监视用照相机21拍摄到的驾驶员30的面部图像引入面部识别系统23，对面部的方向(朝向)和/或视线(目线)进行分析，在判定为驾驶员30怠慢了以经验不足、注意力下降等为主要原因的安全驾驶行为的情况下，由警告装置24发出与状况相应的警告。通过如此设置，能够避免安全驾驶行为的怠慢。
在通常行驶时〔直行过程中等、方向指示器11、12停止状态(断开状态)〕，检测部23a基于由驾驶员监视用照相机21拍摄到的驾驶员30的面部图像检测与驾驶员30的危险驾驶行为相关的危险驾驶行为信息。在此，作为危险驾驶行为，例如可列举出打盹驾驶、斜视驾驶等。判定部23b基于由检测部23a检测到的危险驾驶行为信息判定驾驶员30是否实施了危险驾驶行为。由此，能够降低由驾驶员30的打盹驾驶、斜视驾驶等危险驾驶行为引起的人为的驾驶过失。
在本实施方式中，在判定部23b判定为驾驶员30实施了危险驾驶行为的情况下，由警告装置24进行向驾驶员30通知实施了危险驾驶行为的警告。通过如此设置，能够向驾驶员30通知实施了危险驾驶行为的情况，由此，能够可靠地降低由驾驶员30的打盹驾驶、斜视驾驶等危险驾驶行为引起的人为的驾驶过失。
在本实施方式中，警告通过声音(例如语音)和/或光来实施。通过如此设置，在实施向驾驶员通知怠慢了安全驾驶行为的警告、进而向驾驶员30通知实施了危险驾驶行为的警告的情况下，能够向驾驶员可靠地通知实施了驾驶行为危险驾驶行为的情况。
针对由语音实施的警告，通过电子音、或根据状况通过“醒一醒”、“斜视请注意”、“请进行安全确认”、“请警惕”等语音消息来实施警告。此外，针对由光实施的警告，通过将使LED等发光元件闪烁、点亮或者对它们进行组合后的光对驾驶员30发出来实施警告。通过如此设置，能够促使避免以驾驶员30的经验不足、注意力下降等为主要原因的安全确认行为的怠慢，进而能够促使避免斜视驾驶、打盹驾驶等危险驾驶行为。
图3为表示左转弯或向左侧的车道变更时的安全确认行为的概要图，此外，图4为表示右转弯或向右侧的车道变更时的安全确认行为的概要图。
在本实施方式中，驾驶员监视装置20通过设置于车辆10的方向指示器11、12的动作，切换驾驶员监视的目的。通过如此设置，能够根据方向指示器11、12的动作切换驾驶员监视的目的。
详细而言，驾驶员监视装置20在驾驶员30的斜视驾驶、打盹驾驶等危险驾驶行为的有无的监视、与以驾驶员30的经验不足、注意力下降等为主要原因的安全确认行为的有无的监视之间切换驾驶员监视的目的。作为切换驾驶员监视的目的的方式可设为，在方向指示器11、12不工作的状态下监视危险驾驶行为的有无，在方向指示器11、12工作时根据危险驾驶行为的有无的监视切换为安全确认行为的有无的监视，另一方面，在方向指示器11、12成为不工作时根据安全确认行为的有无的监视切换为危险驾驶行为的有无的监视的方式。
再者，在实施左转弯或者右转弯时或车道变更时的安全确认行为时，会误识别为斜视驾驶等危险驾驶行为。
对于这一点，在本实施方式中，驾驶员监视装置20在车辆10所设置的方向指示器11、12的动作中，不向驾驶员30通知实施了斜视驾驶等危险驾驶行为的警告。通过如此设置，在左转弯或者右转弯时或实施了车道变更时的安全确认行为时，能够避免斜视驾驶等危险驾驶行为这样的误识别。
此外，驾驶员监视装置20在车辆行驶中，对驾驶员30的眼睑的开度和/或面部的方向(朝向)进行分析，在判定为驾驶员30实施了斜视驾驶、打盹驾驶等危险驾驶行为的情况下，通过警告装置24发出与状况相应的警告。通过如此设置，能够避免危险。
接着，参照图5A以及图5B，说明本实施方式所涉及的驾驶员监视装置20的处理。
图5A为表示驾驶员监视装置20中方向指示器11、12不工作时的处理例的流程图，图5B为表示驾驶员监视装置20中方向指示器11、12工作时的处理例的流程图。
如图5A所示，驾驶员监视装置20对方向指示器11、12是否工作进行判定(S1)，在判定为方向指示器11、12未工作的情况下(S1：否)，检测部23a获取由驾驶员监视用照相机21拍摄到的驾驶员30的面部图像(S2)。接着，检测部23a基于驾驶员30的面部图像计算出驾驶员30的眼睛的开度(S3)，计算出面部的方向(S4)，计算出视线的方向(S5)。接着，判定部23b对驾驶员30是否正在打盹进行判定(S6)。
在判定部23b判定为驾驶员30正在打盹的情况(S6：是)下，由警告装置24发出驾驶员30正在打盹的主旨的警告(S8)，并进入S1。另一方面，在判定部23b判定为驾驶员30没有打盹的情况(S6：否)下，进入S7。接着，判定部23b判定驾驶员30是否正在进行斜视(S7)，在驾驶员30判定为正在进行斜视的情况(S7：是)下，由警告装置24发出驾驶员30正在进行斜视的主旨的警告(S9)，并进入S1。另一方面，在判定部23b判定为驾驶员30未进行斜视的情况(S7：否)下，进入S1。通过如此设置，能够促使驾驶员30避免危险驾驶行为。
另一方面，在从通常行驶实施左转弯或者右转弯或车道变更时，使左侧或者右侧的方向指示器11进行动作。通过如此设置，能够将驾驶员监视的目的从驾驶员30的斜视驾驶、打盹驾驶等危险驾驶行为的有无的监视，向以驾驶员30的经验不足、注意力下降等为主要原因的安全确认行为的有无的监视切换。
接着，参照图5B、图3以及图4，说明由判定部23b实施的安全确认行为的怠慢的判定。
通常，作为左转弯时的安全行为过程，如图3所示，使车辆10的左侧的方向指示器11动作，在通过车室内镜13进行后方确认、通过左侧的侧视镜14进行车辆10的左侧的后方确认、进而通过目视进行车辆10的左侧的确认之后，建议进行左转弯。在未实施上述一系列的安全确认行为时通过警告装置24利用声音(例如语音)和/或光向驾驶员发出警告。通过如此设置，能够促使安全确认行为。
另一方面，作为右转弯时的安全行为过程，如图4所示，使车辆10的右侧的方向指示器12动作，在通过车室内镜13进行后方确认、通过右侧的侧视镜15进行车辆10的右侧的后方确认、进而通过目视进行车辆10的右侧的确认之后，建议进行右转弯。在未实施上述一系列的安全确认行为时通过警告装置24利用声音(例如语音)和/或光向驾驶员发出警告。通过如此设置，能够促使安全确认行为。
如图5A所示，在驾驶员监视装置20中，在判定为左侧或右侧的方向指示器11、12正在工作的情况下(S1：是)，如图5B所示，检测部23a获取由驾驶员监视用照相机21拍摄到的驾驶员30的面部图像(S10)。接着，检测部23a基于驾驶员30的面部图像计算出驾驶员30的面部的方向(S11)，计算出视线的方向(S12)。接着，判定部23b判定驾驶员30是否使视线朝向车室内镜13而实施了安全确认(S13)。
在判定部23b判定为驾驶员30未进行车室内镜13的安全确认的情况(S13：否)下，判定是否实施了转向装置16的操作(S14)。在判定部23b判定为实施了转向装置16的操作的情况下(S14：是)，识别为未通过车室内镜13进行安全确认行为并通过警告装置24利用声音(例如语音)和/或光向驾驶员30发出未通过车室内镜13进行安全确认的主旨的警告(S15)。通过如此设置，能够促使通过车室内镜13的安全确认行为。在此，对于转向装置16的操作的判定，在使转向装置16向左侧或右侧旋转了20°以上的情况下判定为实施了转向装置16的操作。由此，能够避免由转向装置16的抖动引起的误识别。此外，判定部23b预先被设定为，在由警告装置24发出警告时直至规定时间(例如数秒间)停止警告。通过如此设置，完成左转弯或者右转弯或车道变更，直至左侧或右侧的方向指示器11、12停止为止，能够有效地防止通过警告装置24使由声音(例如语音)和/或光产生的警告持续工作。如上所述，在后述的侧视镜的确认、目视的确认的情况也是同样的。
在判定部23b判定为驾驶员30进行了通过车室内镜13的安全确认的情况下(S13：是)，接着，判定部23b判定驾驶员30是否通过左侧或右侧的侧视镜14、15进行了车辆10的左侧后方或右侧后方确认(S16)。
在判定部23b判定为驾驶员30未通过左侧或右侧的侧视镜14、15进行安全确认的情况(S16：否)下，判定是否实施了转向装置16的操作(S17)。在判定部23b判定为实施了转向装置16的操作的情况下(S17：是)，识别为未通过侧视镜14、15进行安全确认行为并由警告装置24利用声音(例如语音)和/或光向驾驶员发出未通过侧视镜14、15进行安全确认的主旨的警告(S18)。通过如此设置，能够促使通过侧视镜14、15的安全确认行为。
在判定部23b判定为驾驶员30进行了通过左侧或右侧的侧视镜14、15进行了安全确认的情况下(S16：是)，接着，判定部23b判定驾驶员30是否通过目视的车辆10的左侧或右侧进行确认(S19)。
在判定部23b判定为驾驶员30未通过目视进行安全确认的情况(S19：否)下，判定是否实施了转向装置16的操作(S20)。在判定部23b判定为实施了转向装置16的操作的情况下(S20：是)，识别为未通过目视进行安全确认行为并通过警告装置24利用声音(例如语音)和/或光向驾驶员30发出未通过目视进行安全确认的主旨的警告(S21)。通过如此设置，能够促使通过目视的安全确认行为。
之后，驾驶员30进入到向左转弯行为或者右转弯行为或车道变更行为，完成左转弯或者右转弯或车道变更并使左侧或右侧的方向指示器11、12停止(S22)，进入图5A所示的S1。
如以上说明那样，不会将以驾驶员30的经验不足、注意力下降等为主要原因的安全确认行为的怠慢误识别为斜视驾驶、打盹驾驶等危险驾驶行为，而能够监视驾驶员30的斜视驾驶、打盹驾驶等危险驾驶行为。对于安全确认行为的习惯养成也是有效的。
并且，驾驶员监视装置20通过在左转弯或者右转弯或车道变更时，利用检测部23a对驾驶员30的面部的方向(朝向)和/或视线进行分析，从而驾驶员监视装置20利用判定部23b判定是否怠慢了通过车室内镜13的确认、通过侧视镜14、15的确认、向车辆10的侧面的通过目视的安全确认行为。此外，驾驶员监视装置20在由判定部23b判定为怠慢了安全确认行为时，利用警告装置24发出警告，从而向驾驶员30促使注意。
此外，能够在左转弯或右转弯时、车道变更时、以及起步时中的至少一个之时，向驾驶员30促使进行安全确认行为，从而能够安全地行驶。
此外，在通常行驶时(直行过程中等、方向指示器为断开状态)，通过左转弯或右转弯时以及车道变更时切换监视目的，从而不会将驾驶员30的安全确认行为误识别为斜视驾驶，而能够监视驾驶员30的斜视驾驶、打盹驾驶等危险驾驶行为。
此外，再次能够将驾驶员监视的目的从以驾驶员30的经验不足、注意力下降等为主要原因的安全确认行为的有无的监视，向驾驶员30的斜视驾驶、打盹驾驶等危险驾驶行为的有无的监视切换。
图6为用于说明人的瞳孔31以及浦肯野图像32的说明图，图7为用于说明人的瞳孔31与浦肯野图像32的位置关系的说明图。
检测部23a在驾驶员30的视线的方向上，根据瞳孔31与浦肯野图像32(角膜表面的反射图像)的位置关系进行计算。
如图2所示，当使使用了近红外线的光源22从驾驶员30的正面附近朝向驾驶员30的面部进行照射时，如图6所示，在角膜表面映射被称作的浦肯野图像32的反射图像。该浦肯野图像32在角膜(眼球)表面进行反射，因此即使在视线的方向改变的情况下，也会映射于相同的位置。如图7所示，以该浦肯野图像32为基准，对与瞳孔31的位置关系进行比较。通过如此设置，检测部23a能够容易地计算出视线的朝向。
判定部23b根据由检测部23a计算出的驾驶员30的视线的方向，对安全确认行为的有无进行判定。事前将驾驶员30的安全确认行为时的瞳孔与浦肯野图像的位置关系记录于面部识别系统23的存储部23c。并且，安全确认行为的有无的判定通过对预先记录于存储部23c的安全确认行为时的视线的方向与驾驶时的视线的方向进行比较来实施。
<第二实施方式>
在第一实施方式中，将本实施方式所涉及的驾驶员监视装置20应用于车辆10，但也可以应用于飞行体、船舶等人所操纵的移动体。因此，在此所说的“驾驶”为，不仅包含车辆还包含操纵飞行体、船舶等移动体的情况的概念。在该情况下，驾驶员也被称作操纵者。
<第三实施方式>
参照图1以及图8说明本发明所涉及的第三实施方式。
图8为表示驾驶中的安全确认行为的怠慢的次数以及危险驾驶行为的次数的时间的变化的图表。另外，在图8所示的图表中作为危险驾驶行为例示了斜视驾驶以及打盹驾驶。
第三实施方式所涉及的驾驶员监视装置20与第一实施方式以及第二实施方式中说明的驾驶员监视装置20相比，在将判定结果记录于存储装置〔具体而言驾驶记录器25(参照图1)〕这一点上不同。通过如此设置，能够实施驾驶员自身的驾驶时的状况、安全驾驶技术确认。
第三实施方式所涉及的驾驶员监视装置20通过将以驾驶员30的经验不足、注意力下降等为主要原因的安全驾驶行为的次数以及斜视驾驶、打盹驾驶等危险驾驶行为的次数与驾驶时间进行比较，如图8所示，从而能够对驾驶中的安全确认行为的怠慢的程度和危险驾驶行为的程度、以及驾驶员的健康状况的变化(疲劳的程度等)进行分析，根据状况通过警告装置24促使驾驶员30休息。
该结构不仅能够应用于实际的移动体的驾驶时、操纵时，还能够应用于驾驶模拟器、飞行模拟器等。通过如此设置，能够实现对移动体的操作技术、安全确认技术提高。
本发明并不限定于以上说明的实施方式，还能够以其他各种方式来实施。因此，上述实施方式的所有的方面只不是简单的例示，并不用于限定性地解释本发明。本发明的范围通过权利要求书示出，并不受到说明书正文的任何限制。而且，属于权利要求书的等同范围的变形、变更全部包含于本发明的范围内。

Claims (12)

1.一种驾驶员监视装置，其特征在于，包括：
驾驶员监视用照相机，其对驾驶员的面部进行拍摄；
检测部，其基于由所述驾驶员监视用照相机拍摄到的所述驾驶员的面部图像，检测与所述驾驶员的安全确认行为相关的安全确认行为信息；以及
判定部，其基于由所述检测部检测到的所述安全确认行为信息对所述驾驶员是否怠慢所述安全确认行为进行判定。
2.根据权利要求1所述的驾驶员监视装置，其特征在于，
还包括朝向所述驾驶员的面部照射红外线的光源，
所述驾驶员监视用照相机对被来自所述光源的所述红外线照射的所述驾驶员的面部进行拍摄。
3.根据权利要求1所述的驾驶员监视装置，其特征在于，
所述安全确认行为信息包含根据面部的方向和/或视线的方向计算出的信息。
4.根据权利要求1所述的驾驶员监视装置，其特征在于，
由所述判定部实施的是否怠慢所述安全确认行为的判定，在左转弯或右转弯时、车道变更时、以及起步时中的至少一个时刻实施。
5.根据权利要求1所述的驾驶员监视装置，其特征在于，
所述判定部在从方向指示器的动作的开始时间点到转向装置的朝向变化为预先设定的规定的角度以上为止未实施所述安全确认行为的情况下，判定为怠慢了所述安全确认行为。
6.根据权利要求1所述的驾驶员监视装置，其特征在于，
所述安全确认行为包含：通过车室内镜的安全确认行为、通过侧视镜的安全确认行为、以及通过目视的直接的安全确认行为中的至少一个安全确认行为。
7.根据权利要求1所述的驾驶员监视装置，其特征在于，
在由所述判定部判定为所述驾驶员怠慢了所述安全确认行为的情况下，对所述驾驶员实施警告。
8.根据权利要求7所述的驾驶员监视装置，其特征在于，
所述警告通过声音来实施。
9.根据权利要求7所述的驾驶员监视装置，其特征在于，
所述警告通过光来实施。
10.根据权利要求1所述的驾驶员监视装置，其特征在于，
通过方向指示器的动作来切换驾驶员监视的目的。
11.根据权利要求1所述的驾驶员监视装置，其特征在于，
在方向指示器的动作中不进行向所述驾驶员通知实施了危险驾驶行为的警告。
12.一种驾驶员监视装置，包括：
驾驶员监视用照相机，其对驾驶员的面部进行拍摄；
检测部，其基于由所述驾驶员监视用照相机拍摄到的所述驾驶员的面部图像，检测与所述驾驶员的危险驾驶行为相关的危险驾驶行为信息；以及
判定部，其基于由所述检测部检测到的所述危险驾驶行为信息判定所述驾驶员是否实施了所述危险驾驶行为，
所述驾驶员监视装置的特征在于，
在方向指示器的动作中，不进行向所述驾驶员通知实施了危险驾驶行为的警告。
CN201910472053.6A 2018-06-04 2019-05-31 驾驶员监视装置 Pending CN110555366A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862680085P 2018-06-04 2018-06-04
US62/680085 2018-06-04

Publications (1)

Publication Number Publication Date
CN110555366A true CN110555366A (zh) 2019-12-10

Family

ID=68695044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910472053.6A Pending CN110555366A (zh) 2018-06-04 2019-05-31 驾驶员监视装置

Country Status (2)

Country Link
US (1) US20190367038A1 (zh)
CN (1) CN110555366A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260882A (zh) * 2020-02-04 2020-06-09 上海博泰悦臻电子设备制造有限公司 一种驾驶行为的提醒方法、系统及服务器
CN114787454A (zh) * 2020-01-24 2022-07-22 住友重机械工业株式会社 施工机械、信息处理装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112937559B (zh) * 2019-11-22 2022-12-20 荷兰移动驱动器公司 行车警示方法及车载装置
DE102021101805A1 (de) 2021-01-27 2022-07-28 Bayerische Motoren Werke Aktiengesellschaft Fahrerüberwachungssystem für kraftfahrzeug
DE102021104917A1 (de) 2021-03-02 2022-09-08 Bayerische Motoren Werke Aktiengesellschaft Fahrerüberwachungssystem für kraftfahrzeug
JP7415990B2 (ja) 2021-03-18 2024-01-17 トヨタ自動車株式会社 走行制御装置および走行制御方法
CN114212093B (zh) * 2021-12-08 2024-03-12 浙江大学 一种安全驾驶监控方法、系统及可存储介质
DE102022127124A1 (de) 2022-10-17 2024-04-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erzeugung eines Prüfdatensatzes für die Beurteilung einer Blockage eines LIDAR-Sensors für ein Fahrassistenzsystem eines Kraftfahrzeugs
DE102022127122A1 (de) 2022-10-17 2024-04-18 Bayerische Motoren Werke Aktiengesellschaft LIDAR-System für ein Fahrassistenzsystem
DE102022127121A1 (de) 2022-10-17 2024-04-18 Bayerische Motoren Werke Aktiengesellschaft LIDAR-System für ein Fahrassistenzsystem eines Kraftfahrzeugs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015079657A1 (ja) * 2013-11-27 2015-06-04 株式会社デンソー 視認領域推定装置
CN105711588A (zh) * 2016-01-20 2016-06-29 奇瑞汽车股份有限公司 一种车道保持辅助系统和车道保持辅助方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5573820B2 (ja) * 2011-11-10 2014-08-20 株式会社デンソー 状態監視装置
DE112014000934T5 (de) * 2013-02-21 2016-01-07 Iee International Electronics & Engineering S.A. Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung
WO2017154213A1 (ja) * 2016-03-11 2017-09-14 三菱電機株式会社 車載装置、警報出力方法及び警報出力プログラム
CN110326289B (zh) * 2017-02-28 2020-09-01 三菱电机株式会社 车辆用拍摄控制装置及方法、驾驶员监控装置
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
DE102018127756A1 (de) * 2017-11-15 2019-05-16 Omron Corporation Fahrerüberwachungsvorrichtung, verfahren und programm
JP2019091254A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 警報制御装置、警報制御方法、および警報制御のためのプログラム
JP2019095892A (ja) * 2017-11-20 2019-06-20 シャープ株式会社 車両用運転支援装置、および車両用運転支援プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015079657A1 (ja) * 2013-11-27 2015-06-04 株式会社デンソー 視認領域推定装置
US20170169302A1 (en) * 2013-11-27 2017-06-15 Denso Corporation Viewing area estimation device
CN105711588A (zh) * 2016-01-20 2016-06-29 奇瑞汽车股份有限公司 一种车道保持辅助系统和车道保持辅助方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114787454A (zh) * 2020-01-24 2022-07-22 住友重机械工业株式会社 施工机械、信息处理装置
CN111260882A (zh) * 2020-02-04 2020-06-09 上海博泰悦臻电子设备制造有限公司 一种驾驶行为的提醒方法、系统及服务器

Also Published As

Publication number Publication date
US20190367038A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
CN110555366A (zh) 驾驶员监视装置
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
CN110550042B (zh) 用于辅助驾驶员预防性驾驶的方法和系统
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US9117358B2 (en) Method for classification of eye closures
US10417512B2 (en) Driver abnormality detection device and driver abnormality detection method
US10023199B2 (en) Method and device for ascertaining a state of drowsiness of a driver
CN103927848A (zh) 一种基于生物识别技术的安全驾驶辅助系统
US20180201276A1 (en) Driver condition detection system
CN109969195B (zh) 一种驾驶员面部行为异常报警系统及方法和基于其的车辆
KR20160091585A (ko) 차량용 보행자 인지 표시 장치
EP3525186A1 (en) Driver monitoring system and driver monitoring method for a motor vehicle
JP2015207163A (ja) 状態推定装置、および状態推定プログラム
US20220076040A1 (en) Device and method for detecting the distraction of a driver of a vehicle
JP2013105263A (ja) 車両の覚醒度検出装置及び車両の警報装置
JP2017219885A (ja) 乗員状態監視装置
KR20150086911A (ko) 음주운전 판단방법, 그를 이용한 음주운전 방지장치 및 그의 제어방법
JP2005108033A (ja) 運転者状況判定装置および運転者状況判定方法
JPH0796768A (ja) 前方注視度検知装置
CN115667044A (zh) 用于确定反应能力的方法
WO2009060172A1 (en) Detecting driver impairment
US11741727B2 (en) Driver monitoring system for judging distracted driving
WO2009064227A1 (en) A vehicle safety system
CN114312826B (zh) 自动驾驶系统
JP7014680B2 (ja) 注視対象物検知装置、注視対象物検知方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191210

WD01 Invention patent application deemed withdrawn after publication