CN110580436A - 驾驶员监视装置 - Google Patents

驾驶员监视装置 Download PDF

Info

Publication number
CN110580436A
CN110580436A CN201910490333.XA CN201910490333A CN110580436A CN 110580436 A CN110580436 A CN 110580436A CN 201910490333 A CN201910490333 A CN 201910490333A CN 110580436 A CN110580436 A CN 110580436A
Authority
CN
China
Prior art keywords
face
driver
detection
unit
cause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910490333.XA
Other languages
English (en)
Other versions
CN110580436B (zh
Inventor
原健一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110580436A publication Critical patent/CN110580436A/zh
Application granted granted Critical
Publication of CN110580436B publication Critical patent/CN110580436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

本发明使用拍摄装置对驾驶员的饮食动作进行检测。驾驶员监视装置具备：拍摄装置，对车辆的驾驶员的面部进行拍摄而生成图像；面部检测部，根据图像对驾驶员的面部进行检测；面部朝向推断部，在由面部检测部检出面部的情况下基于图像来推断驾驶员的面部朝向；以及原因判定部，在未由面部检测部检出面部的情况下，判定未检出面部的原因。面部检测部从图像中抽出面部的特征点从而对面部进行检测。原因判定部，在面部的检测状态从检出变化至未检出时，在检测状态从检出变化为未检出为止的规定量的图像中，在由面部朝向推断部推断出的面部朝向为正面且未由面部检测部抽出面部的下方区域的特征点的情况下，判定为未检出面部的原因是驾驶员的饮食动作。

Description

驾驶员监视装置
技术领域
本发明涉及驾驶员监视装置。
背景技术
以往，公知有为了检测驾驶员的异常(打盹、斜视、离座等)，使用设置于车辆的拍摄装置对车辆的驾驶员进行监视的装置(例如专利文献1)。在这种装置中，根据由拍摄装置生成的驾驶员的图像对驾驶员的面部进行检测，基于检出的面部来推断驾驶员的面部朝向等。
然而，在驾驶员为异常的情况下，例如在驾驶员观看智能手机等的情况、驾驶员离开座位的情况下等，未检出驾驶员的面部。在该情况下，为了使驾驶员的状态变得正常，向驾驶员发出警报。
专利文献1：日本特开2008－217693号公报
另外，存在驾驶员在车辆的行驶中进行饮食的情况。若由驾驶员进行饮食，则存在驾驶员的面部被饮食物遮挡，从而未检出驾驶员的面部的情况。然而，若因驾驶员的饮食而判定为驾驶员异常并向驾驶员发出警报，则存在使驾驶员感到不适的担忧。
发明内容
鉴于上述课题，本发明的目的在于使用拍摄装置来检测驾驶员的饮食动作。
本公开的要旨如下。
(1)一种驾驶员监视装置，其中，具备：拍摄装置，对车辆的驾驶员的面部进行拍摄而生成图像；面部检测部，根据上述图像而检测上述面部；面部朝向推断部，在由上述面部检测部检出上述面部的情况下，基于上述图像而推断上述驾驶员的面部朝向；以及原因判定部，在未由上述面部检测部检出上述面部的情况下，判定未检出该面部的原因，上述面部检测部从上述图像中抽出上述面部的特征点，从而检测上述面部，对于上述原因判定部而言，在上述面部的检测状态从检出变化至未检出时，在该检测状态从检出变化为未检出为止的规定量的上述图像中，在由上述面部朝向推断部推断出的上述面部朝向为正面且未由上述面部检测部抽出上述面部的下方区域的特征点的情况下，判定为上述原因是上述驾驶员的饮食动作。
(2)根据上述(1)所记载的驾驶员监视装置，其中，还具备向上述驾驶员发出警报的警报部，在判定为上述原因是上述驾驶员的饮食动作的情况下，与判定为上述原因是上述驾驶员的饮食动作以外的情况相比，上述警报部抑制针对上述驾驶员的警报。
(3)根据上述(2)所记载的驾驶员监视装置，其中，上述警报部在上述面部的检测状态为未检出的状态持续了阈值时间的情况下向上述驾驶员发出警报，对于上述警报部而言，在判定为上述原因是上述驾驶员的饮食动作的情况下，与判定为上述原因是上述驾驶员的饮食动作以外的情况相比，使上述阈值时间变长。
根据本发明，能够使用拍摄装置来检测驾驶员的饮食动作。
附图说明
图1是表示本发明的第一实施方式所涉及的驾驶员监视装置的结构的框图。
图2是示意地表示搭载有驾驶员监视装置的车辆的内部的图。
图3是按照时序表示驾驶员进行饮食时的图像的图。
图4是表示第一实施方式中的面部检测处理的控制程序的流程图。
图5是表示第一实施方式中的面部朝向推断处理的控制程序的流程图。
图6是表示第一实施方式中的原因判定处理的控制程序的流程图。
图7是表示第一实施方式中的警报处理的控制程序的流程图。
图8是表示第二实施方式中的警报处理的控制程序的流程图。
附图标记的说明
1...驾驶员监视装置；2...拍摄装置；3...ECU；10...车辆；31...面部检测部；32...面部朝向推断部；33...原因判定部；34...警报部。
具体实施方式
以下，参照附图对本发明的实施方式进行详细的说明。此外，在以下的说明中，对于相同的构成要素标注相同的参照编号。
＜第一实施方式＞
以下，参照图1～图7对本发明的第一实施方式进行说明。
＜驾驶员监视装置的结构＞
图1是表示本发明的第一实施方式所涉及的驾驶员监视装置的结构的框图。驾驶员监视装置1具备拍摄装置2以及ECU(电子控制单元)3，对车辆的驾驶员进行监视。
图2是示意地表示搭载了驾驶员监视装置1的车辆的内部的图。车辆10例如是能够进行自动行驶的自动驾驶车辆。拍摄装置2对车辆10的驾驶员的面部进行拍摄而生成图像。拍摄装置2是所谓的驾驶员监视照相机。
拍摄装置2设置于车辆10的内部。具体而言，如图2所示，拍摄装置2设置于车辆10的转向柱11的上部。在图2中，以虚线示出了拍摄装置2的投影范围。此外，拍摄装置2可以设置于车辆10的方向盘12、车内后视镜、仪表板、仪表罩等。
拍摄装置2具备照相机以及投光器。照相机包括透镜以及拍摄元件，例如是CMOS(互补型金属氧化膜半导体)照相机或者CCD(电荷耦合元件)照相机。投光器是LED(发光二极管)，例如是配置于照相机的两侧的两个近红外LED。通过向驾驶员照射近红外光，从而即使在夜间等的低照度时，也能够不给驾驶员带来不适感地对驾驶员的面部进行拍摄。另外，将近红外光以外的波长成分的光除去的带通滤波器设置于照相机的内部，将从近红外LED照射的红色波长成分的光除去的可见光截止滤波器设置于投光器的前表面。
拍摄装置2的动作由ECU3控制。例如，拍摄装置2在车辆10的点火开关接通时，以规定间隔反复对驾驶员的面部进行拍摄。由拍摄装置2生成的图像(以下，简称为“图像”)从拍摄装置2向ECU3发送。
＜驾驶员监视装置的控制＞
ECU3是设置于车辆10的微型计算机，执行各种控制。ECU3具备ROM(只读存储器)以及RAM(随机存取存储器)那样的存储器、CPU(中央运算装置)、电源电路、输入接口、输出接口、通信模块等。在本实施方式中，CPU执行存储于存储器的计算机程序，从而ECU3作为面部检测部31、面部朝向推断部32、原因判定部33以及警报部34发挥功能。此外，在本实施方式中，设置有一个ECU3，但也可以针对每个功能而设置多个ECU。
面部检测部31从拍摄装置2接收图像，根据图像对驾驶员的面部进行检测。基本上，在驾驶员的状态正常的情况下、即在驾驶员正履行行驶中的车辆10的周围的监视义务的情况下，驾驶员的面部进入拍摄装置2的照相机的视角内，对驾驶员的面部进行检测。另一方面，在驾驶员异常的情况下，例如在驾驶员因自己的身体或者所有物而封堵了拍摄装置2的透镜的情况下、驾驶员观看智能手机等的情况下、驾驶员离开座位的情况下等，无法检出驾驶员的面部。
面部检测部31从图像中抽出驾驶员的面部的特征点，从而检测驾驶员的面部。例如，对于面部检测部31而言，当能够抽出的特征点的数量在规定值以上的情况下，检出驾驶员的面部，当能够抽出的特征点的数量不足规定值的情况下，未检出驾驶员的面部。另外，面部检测部31也可以根据面部的特征点来检测面部器官，在能够检出规定的面部器官(例如眼以及鼻)的情况下检出驾驶员的面部，在不能检出规定的面部器官的情况下未检出驾驶员的面部。
面部朝向推断部32在由面部检测部31检出驾驶员的面部的情况下，基于图像来推断驾驶员的面部朝向。面部朝向推断部32根据图像来计算驾驶员的面部的角度，在驾驶员的面部的角度为规定值以下的情况下，推断出驾驶员的面部朝向为正面。例如，在面部的偏转角以及俯仰角为±10～30度以内的情况下，面部朝向推断部32推断出驾驶员的面部朝向为正面。面部的偏转角是驾驶员使面部向左右摆动的方向的角度，面部的俯仰角是驾驶员使面部向上下摆动的方向的角度。
面部朝向推断部32例如以如下的方式根据图像来计算驾驶员的面部的角度。面部朝向推断部32进行驾驶员的面部的角度为0度时的面部形状数据和图像的面部区域的匹配。面部形状数据可以是一般的人的面部的数据，也可以针对每个驾驶员而取得。面部形状数据存储于ECU3的存储器。面部朝向推断部32以使面部形状数据与图像的面部区域的一致率为最大的方式使图像的面部区域旋转，将一致率为最大时的旋转角度作为驾驶员的面部的角度来计算。
此外，面部朝向推断部32也可以通过公知的其他方法来推断驾驶员的面部朝向。例如，面部朝向推断部32也可以大量学习朝向正面的驾驶员的面部图像，并通过深度学习等手法来推断驾驶员的面部朝向。
在由面部检测部31未检出驾驶员的面部的情况下，原因判定部33判定未检出面部的原因。图3是按照时序表示驾驶员进行饮食时的图像的图。在图3中，示出了四个图像，按照图像的编号依次生成了图像。各图像所示的黑圆的标记表示面部的特征点。此外，这些特征点是一个例子，特征点的位置以及数量也可以与图3所示的位置以及数量不同。
由图3的4号图像可知，若驾驶员使饮食物(在该例中为罐装果汁)在面部的正面附近移动，则驾驶员的面部的大部分被饮食物遮挡。其结果是，在第4号的图像中，由面部检测部31未检出驾驶员的面部。因此，作为未检出驾驶员的面部的原因，除了上述的驾驶员的异常之外，也考虑驾驶员的饮食动作。
在车辆10的行驶中，驾驶员进行饮食的情况下，驾驶员存在朝向正面的趋势。因此，在驾驶员正欲进行饮食时检出驾驶员的面部的情况下，驾驶员正朝向正面的可能性较高。另外，通常驾驶员使饮食物从下向上移动。因此，在驾驶员进行饮食时，在面部的全部的特征点中的面部的下方区域的特征点不可能被先抽出。
因此，在本实施方式中，对于原因判定部33而言，在驾驶员的面部的检测状态从检出变化为未检出时，在过去的图像中，由面部朝向推断部32推断出的面部朝向为正面且未由面部检测部31抽出面部的下方区域的特征点的情况下，判定为未检出面部的原因在于驾驶员的饮食动作。过去的图像是驾驶员的面部的检测状态从检出变化为未检出为止的规定量的图像。另外，面部的下方区域是图像的面部区域中的下半部分的区域，例如是嘴的区域。根据上述的控制，能够使用拍摄装置2来检测驾驶员的饮食动作。
警报部34经由设置于车辆10的HMI(人机界面(Human Machine Interface))等而向驾驶员发出警报。另外，对于警报部34而言，在判定为未检出驾驶员的面部的原因是驾驶员的饮食动作的情况下，与判定为该原因是驾驶员的饮食动作以外的情况相比，抑制针对驾驶员的警报。由此，能够减少因饮食时发出警报而引起的驾驶员的不适感。
例如，对于警报部34而言，在判定为未检出驾驶员的面部的原因是驾驶员的饮食动作的情况下不向驾驶员发出警报，在判定为该原因是驾驶员的饮食动作以外的情况下向驾驶员发出警报。另外，对于警报部34而言，也可以在判定为未检出驾驶员的面部的原因是驾驶员的饮食动作的情况下，与判定为该原因是驾驶员的饮食动作以外的情况相比，减小警报的强度(例如音量、文字的大小等)。
＜面部检测处理＞
以下，参照图4～图7的流程图对驾驶员监视装置1的控制详细地进行说明。图4是表示第一实施方式中的面部检测处理的控制程序的流程图。本控制程序是由ECU3以规定的执行间隔反复执行的。规定的执行间隔例如是从拍摄装置2向ECU3发送图像的间隔。
首先，在步骤S101中，面部检测部31从拍摄装置2接收图像。接着，在步骤S102中，面部检测部31从图像抽出驾驶员的面部的特征点。
接着，在步骤S103中，面部检测部31判定是否满足检出条件。例如，对于面部检测部31而言，在步骤S103中抽出的特征点的数量为规定值以上的情况下判定为满足检出条件，在不是这样的情况下判定为不满足检出条件。另外，对于面部检测部31而言，也可以根据在步骤S103中抽出的特征点对面部器官进行检测，在能够检出规定的面部器官(例如眼以及鼻)的情况下判定为满足检出条件，在不是这样的情况下判定为不满足检出条件。
在步骤S103中判定为满足检出条件的情况下，本控制程序进入步骤S104。在该情况下，能够进行驾驶员的面部的检测，在步骤S104中，面部检测部31检出驾驶员的面部。即，面部的检测状态为检出。
另一方面，在步骤S103中判定为不满足检出条件的情况下，本控制程序跳过步骤S103而进入步骤S105。在该情况下，不能检测出驾驶员的面部，面部检测部31未检出驾驶员的面部。即，面部的检测状态为未检出。
在步骤S105中，面部检测部31将面部的检测信息存储于ECU3的存储器。具体而言，面部检测部31针对在步骤S101中接收到的图像，将面部的检测状态和非抽出的面部的特征点的位置存储于ECU3的存储器。在ECU3的存储器中，以使与这些信息对应的图像的总数在规定量以下的方式，将所存储的信息从旧的图像中依次削除。
＜面部朝向推断处理＞
图5是表示第一实施方式中的面部朝向推断处理的控制程序的流程图。本控制程序是通过ECU3以规定的执行间隔反复执行的。规定的执行间隔例如是从拍摄装置2向ECU3发送图像的间隔。
首先，在步骤S201中，面部朝向推断部32判定是否由面部检测部31检出了驾驶员的面部。在判定为检出驾驶员的面部的情况下，本控制程序进入步骤S202。在步骤S202中，面部朝向推断部32通过上述任意一种方法来推断驾驶员的面部朝向。
另一方面，在步骤S201中判定为未检出驾驶员的面部的情况下，本控制程序跳过步骤S202而进入步骤S203。在步骤S203中，面部朝向推断部32将已在步骤S202中推断出的面部朝向存储于ECU3的存储器。在ECU3的存储器中，以使存储有面部朝向的图像的总数在规定量以下的方式，将所存储的信息从旧图像中依次削除。此外，在未推断出驾驶员的面部朝向的情况(跳过了步骤S202的情况)下，作为驾驶员的面部朝向，将正面以外的规定的面部朝向存储于ECU3的存储器。
＜原因判定处理＞
图6是表示第一实施方式中的原因判定处理的控制程序的流程图。本控制程序是通过ECU3以规定的执行间隔反复执行的。规定的执行间隔例如是从拍摄装置2向ECU3发送图像的间隔。
首先，在步骤S301中，原因判定部33基于存储于ECU3的存储器的检测信息，判定面部的检测状态是否从检出变化至未检出。在判定为面部的检测状态未从检出变化至未检出的情况下，结束本控制程序。另一方面，在判定为面部的检测状态从检出变化至未检出的情况下，本控制程序进入步骤S302。
在步骤S302中，原因判定部33基于存储于ECU3的存储器的面部朝向的信息，判定在过去的图像中由面部朝向推断部32推断出的驾驶员的面部朝向是否为正面。过去的图像是驾驶员的面部的检测状态从检出变化至未检出为止的规定量的图像。此外，规定量也可以为1。即，过去的图像也可以是驾驶员的面部的检测状态变化为未检出紧前的一个图像。
在步骤S302中判定为在过去的图像中驾驶员的面部朝向为正面的情况下，本控制程序进入步骤S303。在步骤S303中，原因判定部33基于存储于ECU3的存储器的检测信息，判定在过去的图像中是否未由面部检测部31抽出面部的下方区域的特征点。
在步骤S303中判定为在过去的图像中未抽出面部的下方区域的特征点的情况下，本控制程序进入步骤S304。在步骤S304中，原因判定部33判定为未检出驾驶员的面部的原因是驾驶员的饮食动作。在步骤S304之后，结束本控制程序。
另一方面，在步骤S302中判定为在过去的图像中面部朝向为正面以外的情况下、或者在步骤S303中判定为在过去的图像中抽出了面部的下方区域的特征点的情况下，本控制程序进入步骤S305。在步骤S305中，原因判定部33判定为未检出驾驶员的面部的原因是驾驶员的异常。在步骤S305之后，结束本控制程序。
＜警报处理＞
图7是表示第一实施方式中的警报处理的控制程序的流程图。本控制程序是由ECU3以规定的执行间隔反复执行的。规定的执行间隔例如是从拍摄装置2向ECU3发送图像的间隔。
首先，在步骤S401中，警报部34判定是否由面部检测部31检出驾驶员的面部。在判定为未检出驾驶员的面部的情况下，本控制程序进入步骤S402。
在步骤S402中，警报部34判定由原因判定部33判定出的原因是否是驾驶员的饮食动作。在判定为由原因判定部33判定出的原因是驾驶员的饮食动作以外的情况下，本控制程序进入步骤S403。在步骤S403中，警报部34经由HMI等向驾驶员发出警报。在步骤S403之后，结束本控制程序。
另一方面，在步骤S401中判定为检出驾驶员的面部的情况下、或者在步骤S402中判定为由原因判定部33判定出的原因是驾驶员的饮食动作的情况下，不向驾驶员发出警报，而结束本控制程序。
此外，对于警报部34而言，也可以在步骤S402中判定为由原因判定部33判定出的原因是驾驶员的饮食动作的情况下，与在步骤S402中判定为由原因判定部33判定出的原因是驾驶员的饮食动作以外的情况相比，使警报的强度(例如音量，文字的大小等)较小。
＜第二实施方式＞
第二实施方式所涉及的驾驶员监视装置的结构以及控制除了以下说明的点外，基本上与第一实施方式所涉及的驾驶员监视装置的结构以及控制相同。因此，以下，针对本发明的第二实施方式，以与第一实施方式不同的部分为中心进行说明。
若驾驶员的饮食持续长时间，则存在驾驶员的注意力降低、进而车辆10的安全性降低的担忧。因此，在驾驶员的饮食持续了长时间的情况下，优选向驾驶员督促饮食的中止。
在第二实施方式中，对于警报部34而言，在驾驶员的面部的检测状态为未检出的状态持续阈值时间以上的情况下，向驾驶员发出警报。另外，对于警报部34而言，在判定为未检出驾驶员的面部的原因是驾驶员的饮食动作的情况下，与判定为该原因是驾驶员的饮食动作以外的情况相比，抑制针对驾驶员的警报。具体而言，对于警报部34而言，在判定为未检出驾驶员的面部的原因是驾驶员的饮食动作的情况下，与判定为该原因是驾驶员的饮食动作以外的情况相比，使阈值时间变长。由此，既能够减少在饮食时发出警报而引起的驾驶员的不适感，又能够抑制长时间的饮食。
＜警报处理＞
在第二实施方式中，与第一实施方式相同地执行图4～图6的控制程序。另外，在第二实施方式中，代替图7的控制程序地执行图8的控制程序。图8是表示第二实施方式中的警报处理的控制程序的流程图。本控制程序是由ECU3反复执行的。
首先，在步骤S501中，警报部34判定是否由面部检测部31检出驾驶员的面部。在判定为检出驾驶员的面部的情况下，结束本控制程序。在判定为未检出驾驶员的面部的情况下，本控制程序进入步骤S502。
在步骤S502中，警报部34判定由原因判定部33判定出的原因是否是驾驶员的饮食动作。在判定为由原因判定部33判定出的原因是驾驶员的饮食动作以外的情况下，本控制程序进入步骤S503。在步骤S503中，警报部34将阈值时间设定为预先决定的初始值。
另一方面，在步骤S502中判定为原因是驾驶员的饮食动作的情况下，本控制程序进入步骤S504。在步骤S504中，警报部34将阈值时间设定为比初始值长的值。比初始值长的值是被预先决定的。
在步骤S503或者步骤S504之后，在步骤S505中，警报部34判定驾驶员的面部的检测状态为未检出的状态是否持续了阈值时间。在判定为驾驶员的面部的检测状态为未检出的状态没有持续阈值时间的情况下，结束本控制程序。
另一方面，在步骤S505中判定为驾驶员的面部的检测状态为未检出的状态持续了阈值时间的情况下，本控制程序进入步骤S506。在步骤S506中，警报部34经由HMI等而向驾驶员发出警报。在步骤S506之后，结束本控制程序。
以上，对本发明所涉及的优选的实施方式进行了说明，但本发明并不限定于这些实施方式，能够在权利要求书的记载内实施各种修正以及变更。

Claims (3)

1.一种驾驶员监视装置，其中，具备：
拍摄装置，对车辆的驾驶员的面部进行拍摄而生成图像；
面部检测部，根据所述图像而检测所述面部；
面部朝向推断部，在由所述面部检测部检出所述面部的情况下，基于所述图像而推断所述驾驶员的面部朝向；以及
原因判定部，在未由所述面部检测部检出所述面部的情况下，判定未检出该面部的原因，
所述面部检测部从所述图像中抽出所述面部的特征点，从而检测所述面部，
在所述面部的检测状态从检出变化至未检出时，当在该检测状态从检出变化为未检出为止的规定量的所述图像中，由所述面部朝向推断部推断出的所述面部朝向为正面且未由所述面部检测部抽出所述面部的下方区域的特征点的情况下，所述原因判定部判定为所述原因是所述驾驶员的饮食动作。
2.根据权利要求1所述的驾驶员监视装置，其中，
还具备向所述驾驶员发出警报的警报部，
在判定为所述原因是所述驾驶员的饮食动作的情况下，与判定为所述原因是所述驾驶员的饮食动作以外的情况相比，所述警报部抑制针对所述驾驶员的警报。
3.根据权利要求2所述的驾驶员监视装置，其中，
所述警报部在所述面部的检测状态为未检出的状态持续了阈值时间的情况下向所述驾驶员发出警报，
在判定为所述原因是所述驾驶员的饮食动作的情况下，与判定为所述原因是所述驾驶员的饮食动作以外的情况相比，所述警报部使所述阈值时间变长。
CN201910490333.XA 2018-06-08 2019-06-06 驾驶员监视装置 Active CN110580436B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018110478A JP6870660B2 (ja) 2018-06-08 2018-06-08 ドライバ監視装置
JP2018-110478 2018-06-08

Publications (2)

Publication Number Publication Date
CN110580436A true CN110580436A (zh) 2019-12-17
CN110580436B CN110580436B (zh) 2023-01-10

Family

ID=68765105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910490333.XA Active CN110580436B (zh) 2018-06-08 2019-06-06 驾驶员监视装置

Country Status (3)

Country Link
US (1) US10853622B2 (zh)
JP (1) JP6870660B2 (zh)
CN (1) CN110580436B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
JP7232008B2 (ja) * 2018-09-27 2023-03-02 株式会社アイシン 乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラム
CN111661059B (zh) * 2019-03-08 2022-07-08 虹软科技股份有限公司 分心驾驶监测方法、系统及电子设备
US11205083B2 (en) * 2019-04-02 2021-12-21 Magna Electronics Inc. Vehicular driver monitoring system
JP2022185937A (ja) * 2021-06-03 2022-12-15 株式会社デンソー シート制御装置、シート制御プログラム、状態推定装置、及び状態推定プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151350A1 (en) * 2003-01-30 2004-08-05 Fujitsu Limited Face orientation detection apparatus, face orientation detection method, and computer memory product
JP2015133050A (ja) * 2014-01-15 2015-07-23 みこらった株式会社 自動運転車
CN106471556A (zh) * 2014-06-23 2017-03-01 株式会社电装 驾驶员的驾驶不能状态检测装置
WO2017040519A1 (en) * 2015-08-31 2017-03-09 Sri International Method and system for monitoring driving behaviors
JP6245398B2 (ja) * 2016-06-02 2017-12-13 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217693A (ja) 2007-03-07 2008-09-18 Toyota Motor Corp 顔向き警告装置、顔向き警告装置の警告方法
JP5109922B2 (ja) * 2008-10-16 2012-12-26 株式会社デンソー ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP5018926B2 (ja) * 2010-04-19 2012-09-05 株式会社デンソー 運転補助装置、及びプログラム
JP6641916B2 (ja) * 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
WO2018144537A1 (en) * 2017-01-31 2018-08-09 The Regents Of The University Of California Machine learning based driver assistance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151350A1 (en) * 2003-01-30 2004-08-05 Fujitsu Limited Face orientation detection apparatus, face orientation detection method, and computer memory product
JP2015133050A (ja) * 2014-01-15 2015-07-23 みこらった株式会社 自動運転車
CN106471556A (zh) * 2014-06-23 2017-03-01 株式会社电装 驾驶员的驾驶不能状态检测装置
WO2017040519A1 (en) * 2015-08-31 2017-03-09 Sri International Method and system for monitoring driving behaviors
JP6245398B2 (ja) * 2016-06-02 2017-12-13 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Also Published As

Publication number Publication date
US20190377933A1 (en) 2019-12-12
JP6870660B2 (ja) 2021-05-12
US10853622B2 (en) 2020-12-01
JP2019212226A (ja) 2019-12-12
CN110580436B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN110580436B (zh) 驾驶员监视装置
US9888875B2 (en) Driver monitoring apparatus
US10089543B2 (en) System and method for detecting distraction and a downward vertical head pose in a vehicle
US20120050516A1 (en) Pupil detection device and pupil detection method
JP2009274482A (ja) 運転支援装置、運転支援方法
JP2008065776A (ja) 居眠り検知装置、居眠り検知方法
US20180232588A1 (en) Driver state monitoring device
JP5077128B2 (ja) 覚醒度判定装置
JP2008204107A (ja) 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム
JP7328089B2 (ja) 閉眼判定装置
CN107169481A (zh) 一种提醒方法及装置
US20190156133A1 (en) Vehicle driving support apparatus and vehicle driving support program
JP2020194227A (ja) 顔遮蔽判定装置、顔遮蔽判定方法、顔遮蔽判定プログラム及び乗員監視システム
CN113879321B (zh) 驾驶员监视装置及驾驶员监视方法
US11983941B2 (en) Driver monitor
JP7081844B2 (ja) 検出システム
JP4692447B2 (ja) 居眠り検知装置、居眠り検知方法
JP4781292B2 (ja) 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム
JP2021196941A (ja) ドライバ監視システム
KR101993189B1 (ko) 영상 처리를 이용한 졸음 운전 방지 장치 및 그 구동 방법
JP2010009093A (ja) 人物状態判定装置
CN110557558B (zh) 物体监视装置
JP2019079285A (ja) 安全運転促進装置及び安全運転促進方法
CN114103991B (zh) 行驶控制装置以及行驶控制方法
JP2018143285A (ja) 生体状態判定装置、生体状態判定システム、及び、生体状態判定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant