JP2019212226A - ドライバ監視装置 - Google Patents

ドライバ監視装置 Download PDF

Info

Publication number
JP2019212226A
JP2019212226A JP2018110478A JP2018110478A JP2019212226A JP 2019212226 A JP2019212226 A JP 2019212226A JP 2018110478 A JP2018110478 A JP 2018110478A JP 2018110478 A JP2018110478 A JP 2018110478A JP 2019212226 A JP2019212226 A JP 2019212226A
Authority
JP
Japan
Prior art keywords
face
driver
detection
cause
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018110478A
Other languages
English (en)
Other versions
JP6870660B2 (ja
Inventor
健一郎 原
Kenichiro Hara
健一郎 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018110478A priority Critical patent/JP6870660B2/ja
Priority to US16/430,528 priority patent/US10853622B2/en
Priority to CN201910490333.XA priority patent/CN110580436B/zh
Publication of JP2019212226A publication Critical patent/JP2019212226A/ja
Application granted granted Critical
Publication of JP6870660B2 publication Critical patent/JP6870660B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Mechanical Engineering (AREA)
  • Physiology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

【課題】撮像装置を用いてドライバの飲食動作を検出する。【解決手段】ドライバ監視装置1は、車両のドライバの顔を撮影して画像を生成する撮像装置2と、画像からドライバの顔を検出する顔検出部31、顔検出部によって顔が検出された場合に画像に基づいてドライバの顔向きを推定する顔向き推定部32及び顔検出部によって顔が検出されない場合に、顔が検出されない原因を判定する原因判定部33を有するECU3と、を備える。顔検出部は、画像から顔の特徴点を抽出することによって顔を検出する。原因判定部は、顔の検出状態が検出から非検出に変化したときに、検出状態が検出から非検出に変化するまでの所定数の画像において、顔向き推定部によって推定された顔向きが正面であり且つ顔検出部によって顔の下方領域の特徴点が抽出されていない場合には、顔が検出されない原因がドライバの飲食動作であると判定する。【選択図】図1

Description

本発明はドライバ監視装置に関する。
従来、ドライバの異常(居眠り、脇見、離席等)を検出すべく、車両に設けられた撮像装置を用いて車両のドライバを監視する装置が知られている(例えば特許文献1)。斯かる装置では、撮像装置によって生成されたドライバの画像からドライバの顔が検出され、検出された顔に基づいてドライバの顔向き等が推定される。
しかしながら、ドライバが異常である場合、例えば、ドライバがスマートフォン等を見ている場合、ドライバが離席している場合等には、ドライバの顔が検出されない。この場合、ドライバの状態を正常にすべく、ドライバに警報が与えられる。
特開2008−217693号公報
ところで、ドライバは車両の走行中に飲食を行うことがある。ドライバによって飲食が行われると、飲食物によってドライバの顔が隠され、ドライバの顔が検出されない場合がある。しかしながら、ドライバの飲食によってドライバが異常であると判定されてドライバに警報が与えられると、ドライバが不快に感じるおそれがある。
上記課題に鑑みて、本発明の目的は、撮像装置を用いてドライバの飲食動作を検出することにある。
本開示の要旨は以下のとおりである。
(1)車両のドライバの顔を撮影して画像を生成する撮像装置と、前記画像から前記顔を検出する顔検出部と、前記顔検出部によって前記顔が検出された場合に前記画像に基づいて前記ドライバの顔向きを推定する顔向き推定部と、前記顔検出部によって前記顔が検出されない場合に、該顔が検出されない原因を判定する原因判定部とを備え、前記顔検出部は、前記画像から前記顔の特徴点を抽出することによって前記顔を検出し、前記原因判定部は、前記顔の検出状態が検出から非検出に変化したときに、該検出状態が検出から非検出に変化するまでの所定数の前記画像において、前記顔向き推定部によって推定された前記顔向きが正面であり且つ前記顔検出部によって前記顔の下方領域の特徴点が抽出されていない場合には、前記原因が前記ドライバの飲食動作であると判定する、ドライバ監視装置。
(2)前記判定部は、前記状況が発生したときに、前記所定期間において前記画像が不鮮明であることが検出された回数又は頻度が所定値以上である場合に、前記原因が前記撮像装置にあると判定する、上記(1)に記載のドライバ監視装置。
(3)前記警報部は、前記顔の検出状態が未検出である状態が閾値時間継続した場合に前記ドライバに警報を与え、前記警報部は、前記原因が前記ドライバの飲食動作であると判定された場合には、前記原因が前記ドライバの飲食動作以外であると判定された場合に比べて、前記閾値時間を長くする、上記(2)に記載のドライバ監視装置。
本発明によれば、撮像装置を用いてドライバの飲食動作を検出することができる。
図1は、本発明の第一実施形態に係るドライバ監視装置の構成を示すブロック図である。 図2は、ドライバ監視装置を搭載した車両の内部を概略的に示す図である。 図3は、ドライバが飲食を行うときの画像を時系列に示す図である。 図4は、第一実施形態における顔検出処理の制御ルーチンを示すフローチャートである。 図5は、第一実施形態における顔向き推定処理の制御ルーチンを示すフローチャートである。 図6は、第一実施形態における原因判定処理の制御ルーチンを示すフローチャートである。 図7は、第一実施形態における警報処理の制御ルーチンを示すフローチャートである。 図8は、第二実施形態における警報処理の制御ルーチンを示すフローチャートである。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
<第一実施形態>
以下、図1〜図7を参照して、本発明の第一実施形態について説明する。
<ドライバ監視装置の構成>
図1は、本発明の第一実施形態に係るドライバ監視装置の構成を示すブロック図である。ドライバ監視装置1は、撮像装置2及びECU(電子制御ユニット)3を備え、車両のドライバを監視する。
図2は、ドライバ監視装置1を搭載した車両の内部を概略的に示す図である。車両10は、例えば自動走行が可能な自動運転車両である。撮像装置2は、車両10のドライバの顔を撮影して画像を生成する。撮像装置2はいわゆるドライバモニタカメラである。
撮像装置2は車両10の内部に設けられる。具体的には、図2に示すように、撮像装置2は車両10のステアリングコラム11の上部に設けられる。図2には、撮像装置2の投影範囲が破線で示されている。なお、撮像装置2は、車両10のステアリング12、ルームミラー、メータパネル、メータフード等に設けられてもよい。
撮像装置2はカメラ及び投光器を備える。カメラは、レンズ及び撮像素子を含み、例えばCMOS(相補型金属酸化膜半導体)カメラ又はCCD(電荷結合素子)カメラである。投光器は、LED(発光ダイオード)であり、例えばカメラの両側に配置された二個の近赤外LEDである。ドライバに近赤外光を照射することによって、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができる。また、近赤外以外の波長成分の光を除去するするバンドパスフィルタがカメラの内部に設けられ、近赤外LEDから照射される赤色波長成分の光を除去する可視光カットフィルタが投光器の前面に設けられる。
撮像装置2の動作はECU3によって制御される。例えば、撮像装置2は、車両10のイグニッションスイッチがオンであるときに、所定間隔で繰り返しドライバの顔を撮影する。撮像装置2によって生成された画像(以下、単に「画像」と称する)は撮像装置2からECU3に送信される。
<ドライバ監視装置の制御>
ECU3は、車両10に設けられたマイクロコンピュータであり、各種制御を実行する。ECU3は、ROM(読み出し専用メモリ)及びRAM(ランダムアクセスメモリ)のようなメモリ、CPU(中央演算装置)、電源回路、入力ポート、出力ポート、通信モジュール等を備える。本実施形態では、メモリに記憶されたコンピュータプロフラムをCPUが実行することによって、ECU3は、顔検出部31、顔向き推定部32、原因判定部33及び警報部34として機能する。なお、本実施形態では、一つのECU3が設けられているが、機能毎に複数のECUが設けられてもよい。
顔検出部31は、画像を撮像装置2から受信し、画像からドライバの顔を検出する。基本的には、ドライバの状態が正常である場合、すなわち走行中の車両10の周囲の監視義務をドライバが果たしている場合には、ドライバの顔が撮像装置2のカメラの画角内に入り、ドライバの顔が検出される。一方、ドライバが異常である場合に、例えば、ドライバが自分の体又は所有物によって撮像装置2のレンズを塞いでいる場合、ドライバがスマートフォン等を見ている場合、ドライバが離席している場合等には、ドライバの顔が検出不可能となる。
顔検出部31は画像からドライバの顔の特徴点を抽出することによってドライバの顔を検出する。例えば、顔検出部31は、抽出可能な特徴点の数が所定値以上である場合にはドライバの顔を検出し、抽出可能な特徴点の数が所定値未満である場合には、ドライバの顔を検出しない。また、顔検出部31は、顔の特徴点から顔部品を検出し、所定の顔部品(例えば眼及び鼻)が検出可能である場合にはドライバの顔を検出し、所定の顔部品が検出不可能である場合にはドライバの顔を検出しなくてもよい。
顔向き推定部32は、顔検出部31によってドライバの顔が検出された場合に画像に基づいてドライバの顔向きを推定する。顔向き推定部32は、画像からドライバの顔の角度を算出し、ドライバの顔の角度が所定値以下である場合に、ドライバの顔向きが正面であると推定する。顔向き推定部32は、例えば、顔のヨー角及びピッチ角が±10〜30度以内である場合に、ドライバの顔向きが正面であると推定する。顔のヨー角は、ドライバが顔を左右に振る方向の角度であり、顔のピッチ角は、ドライバが顔を上下に振る方向の角度である。
顔向き推定部32は、例えば以下のように画像からドライバの顔の角度を算出する。顔向き推定部32は、ドライバの顔の角度が0度であるときの顔形状データと、画像の顔領域とのマッチングを行う。顔形状データは、一般的な人間の顔のデータであっても、ドライバ毎に取得されてもよい。顔形状データはECU3のメモリに記憶される。顔向き推定部32は、顔形状データと画像の顔領域との一致率が最大となるように画像の顔領域を回転させ、一致率が最大となるときの回転角度をドライバの顔の角度として算出する。
なお、顔向き推定部32は、公知の他の方法によってドライバの顔向きを推定してもよい。例えば、顔向き推定部32は、正面を向いているドライバの顔画像を大量に学習し、ディープラーニング等の手法によってドライバの顔向きを推定してもよい。
原因判定部33は、顔検出部31によってドライバの顔が検出されない場合に、顔が検出されない原因を判定する。図3は、ドライバが飲食を行うときの画像を時系列に示す図である。図3には、4枚の画像が示され、画像の番号の順に画像が生成されている。各画像に示される黒丸の印は、顔の特徴点を示している。なお、これら特徴点は一例であり、特徴点の位置及び数は、図3に示される位置及び数と異なっていてもよい。
図3の4番の画像から分かるように、ドライバが飲食物(この例では缶ジュース)を顔の正面付近に移動させると、飲食物によってドライバの顔の大部分が隠される。この結果、4番目の画像では、顔検出部31によってドライバの顔が検出されない。したがって、ドライバの顔が検出されない原因として、上述したドライバの異常に加えて、ドライバの飲食動作も考えられる。
車両10の走行中にドライバが飲食を行う場合、ドライバは正面を向く傾向にある。このため、ドライバが飲食を行おうとしているときにドライバの顔が検出されている場合には、ドライバが正面を向いている可能性が高い。また、通常、ドライバは下から上に飲食物を移動させる。このため、ドライバが飲食を行うとき、顔の全ての特徴点の中で顔の下方領域の特徴点が先に抽出不可能となる。
そこで、本実施形態では、原因判定部33は、ドライバの顔の検出状態が検出から非検出に変化したときに、過去の画像において、顔向き推定部32によって推定された顔向きが正面であり且つ顔検出部31によって顔の下方領域の特徴点が抽出されていない場合には、顔が検出されない原因がドライバの飲食動作であると判定する。過去の画像は、ドライバの顔の検出状態が検出から非検出に変化するまでの所定数の画像である。また、顔の下方領域は、画像の顔領域における下半分の領域であり、例えば口の領域である。上記の制御によれば、撮像装置2を用いてドライバの飲食動作を検出することができる。
警報部34は、車両10に設けられたHMI(ヒューマン・マシン・インターフェース(Human Machine Interface))等を介して、ドライバに警報を与える。また、警報部34は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定された場合には、この原因がドライバの飲食動作以外であると判定された場合に比べて、ドライバへの警報を抑制する。このことによって、飲食時に警報が与えられることによるドライバの不快感を低減することができる。
例えば、警報部34は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定された場合にはドライバに警報を与えず、この原因がドライバの飲食動作以外であると判定された場合にはドライバに警報を与える。また、警報部34は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定された場合には、この原因がドライバの飲食動作以外であると判定された場合に比べて、警報の強度(例えば音量、文字の大きさ等)を小さくしてもよい。
<顔検出処理>
以下、図4〜図7のフローチャートを参照して、ドライバ監視装置1の制御について詳細に説明する。図4は、第一実施形態における顔検出処理の制御ルーチンを示すフローチャートである。本制御ルーチンはECU3によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、撮像装置2からECU3に画像が送信される間隔である。
最初に、ステップS101において、顔検出部31は撮像装置2から画像を受信する。次いで、ステップS102において、顔検出部31は画像からドライバの顔の特徴点を抽出する。
次いで、ステップS103において、顔検出部31は、検出条件が満たされるか否かを判定する。例えば、顔検出部31は、ステップS103において抽出された特徴点の数が所定値以上である場合には検出条件が満たされると判定し、そうでなければ検出条件が満たされないと判定する。また、顔検出部31は、ステップS103において抽出された特徴点から顔部品を検出し、所定の顔部品(例えば眼及び鼻)が検出可能である場合には検出条件が満たされると判定し、そうでなければ検出条件が満たされないと判定してもよい。
ステップS103において検出条件が満たされると判定された場合、本制御ルーチンはステップS104に進む。この場合、ドライバの顔の検出が可能であるため、ステップS104では、顔検出部31はドライバの顔を検出する。すなわち、顔の検出状態が検出となる。
一方、ステップS103において検出条件が満たされないと判定された場合、本制御ルーチンはステップS103をスキップしてステップS105に進む。この場合、ドライバの顔が検出不可能であるため、顔検出部31はドライバの顔を検出しない。すなわち、顔の検出状態が非検出となる。
ステップS105では、顔検出部31は顔の検出情報をECU3のメモリに記憶する。具体的には、顔検出部31は、ステップS101において受信された画像について、顔の検出状態と、非抽出の顔の特徴点の位置とをECU3のメモリに記憶する。ECU3のメモリでは、これら情報に対応する画像の総数が所定数以下になるように、記憶された情報が古い画像から順に削除される。
<顔向き推定処理>
図5は、第一実施形態における顔向き推定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはECU3によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、撮像装置2からECU3に画像が送信される間隔である。
最初に、ステップS201において、顔向き推定部32は、顔検出部31によってドライバの顔が検出されたか否かを判定する。ドライバの顔が検出されたと判定された場合、本制御ルーチンはステップS202に進む。ステップS202では、顔向き推定部32は上記のいずれかの方法によってドライバの顔向きを推定する。
一方、ステップS201においてドライバの顔が検出されなかったと判定された場合、本制御ルーチンはステップS202をスキップしてステップS203に進む。ステップS203では、顔向き推定部32は、ステップS202において推定された顔向きをECU3のメモリに記憶する。ECU3のメモリでは、顔向きが記憶された画像の総数が所定数以下になるように、記憶された情報が古い画像から順に削除される。なお、ドライバの顔向きが推定されなかった場合(ステップS202がスキップされた場合)には、ドライバの顔向きとして正面以外の所定の顔向きがECU3のメモリに記憶される。
<原因判定処理>
図6は、第一実施形態における原因判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはECU3によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、撮像装置2からECU3に画像が送信される間隔である。
最初に、ステップS301において、原因判定部33は、ECU3のメモリに記憶された検出情報に基づいて、顔の検出状態が検出から非検出に変化したか否かを判定する。顔の検出状態が検出から非検出に変化しなかったと判定された場合、本制御ルーチンは終了する。一方、顔の検出状態が検出から非検出に変化したと判定された場合、本制御ルーチンはステップS302に進む。
ステップS302では、原因判定部33は、ECU3のメモリに記憶された顔向きの情報に基づいて、過去の画像において顔向き推定部32によって推定されたドライバの顔向きが正面であるか否かを判定する。過去の画像は、ドライバの顔の検出状態が検出から非検出に変化するまでの所定数の画像である。なお、所定数は1であってもよい。すなわち、過去の画像は、ドライバの顔の検出状態が非検出に変化する直前の一つの画像であってもよい。
ステップS302において過去の画像においてドライバの顔向きが正面であると判定された場合、本制御ルーチンはステップS303に進む。ステップS303では、原因判定部33は、ECU3のメモリに記憶された検出情報に基づいて、過去の画像において顔検出部31によって顔の下方領域の特徴点が抽出されていないか否かを判定する。
ステップS303において過去の画像において顔の下方領域の特徴点が抽出されていないと判定された場合、本制御ルーチンはステップS304に進む。ステップS304では、原因判定部33は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定する。ステップS304の後、本制御ルーチンは終了する。
一方、ステップS302において過去の画像において顔向きが正面以外であると判定された場合、又はステップS303において過去の画像において顔の下方領域の特徴点が抽出されたと判定された場合、本制御ルーチンはステップS305に進む。ステップS305では、原因判定部33は、ドライバの顔が検出されない原因がドライバの異常であると判定する。ステップS305の後、本制御ルーチンは終了する。
<警報処理>
図7は、第一実施形態における警報処理の制御ルーチンを示すフローチャートである。本制御ルーチンはECU3によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、撮像装置2からECU3に画像が送信される間隔である。
最初に、ステップS401において、警報部34は、顔検出部31によってドライバの顔が検出されたか否かを判定する。ドライバの顔が検出されなかったと判定された場合、本制御ルーチンはステップS402に進む。
ステップS402では、警報部34は、原因判定部33によって判定された原因がドライバの飲食動作であるか否かを判定する。原因判定部33によって判定された原因がドライバの飲食動作以外であると判定された場合、本制御ルーチンはステップS403に進む。ステップS403では、警報部34はHMI等を介してドライバに警報を与える。ステップS403の後、本制御ルーチンは終了する。
一方、ステップS401においてドライバの顔が検出されたと判定された場合、又はステップS402において原因判定部33によって判定された原因がドライバの飲食動作であると判定された場合、ドライバに警報が与えられることなく、本制御ルーチンは終了する。
なお、警報部34は、ステップS402において原因判定部33によって判定された原因がドライバの飲食動作であると判定された場合には、ステップS402において、原因判定部33によって判定された原因がドライバの飲食動作以外であると判定された場合に比べて、警報の強度(例えば音量、文字の大きさ等)を小さくしてもよい。
<第二実施形態>
第二実施形態に係るドライバ監視装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。
ドライバによる飲食が長時間継続されると、ドライバの注意力が低下し、ひいては車両10の安全性が低下するおそれがある。このため、ドライバによる飲食が長時間継続された場合には、飲食の中止をドライバに促すことが望ましい。
第二実施形態では、警報部34は、ドライバの顔の検出状態が未検出である状態が閾値時間以上継続した場合に、ドライバへ警報を与える。また、警報部34は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定された場合には、この原因がドライバの飲食動作以外であると判定された場合に比べて、ドライバへの警報を抑制する。具体的には、警報部34は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定された場合には、この原因がドライバの飲食動作以外であると判定された場合に比べて、閾値時間を長くする。このことによって、飲食時に警報が与えられることによるドライバの不快感を低減しつつ、長時間の飲食を抑制することができる。
<警報処理>
第二実施形態においても、第一実施形態と同様に図4〜図6の制御ルーチンが実行される。また、第二実施形態では、図7の制御ルーチンの代わりに図8の制御ルーチンが実行される。図8は、第二実施形態における警報処理の制御ルーチンを示すフローチャートである。本制御ルーチンはECU3によって繰り返し実行される。
最初に、ステップS501において、警報部34は、顔検出部31によってドライバの顔が検出されたか否かを判定する。ドライバの顔が検出されたと判定された場合、本制御ルーチンは終了する。ドライバの顔が検出されなかったと判定された場合、本制御ルーチンはステップS502に進む。
ステップS502では、警報部34は、原因判定部33によって判定された原因がドライバの飲食動作であるか否かを判定する。原因判定部33によって判定された原因がドライバの飲食動作以外であると判定された場合、本制御ルーチンはステップS503に進む。ステップS503では、警報部34は、予め定められた初期値に閾値時間を設定する。
一方、ステップS502において原因がドライバの飲食動作であると判定された場合、本制御ルーチンはステップS504に進む。ステップS504では、警報部34は、閾値時間を初期値よりも長い値に設定する。初期値よりも長い値は予め定められる。
ステップS503又はステップS504の後、ステップS505において、警報部34は、ドライバの顔の検出状態が未検出である状態が閾値時間継続したか否かを判定する。ドライバの顔の検出状態が未検出である状態が閾値時間継続していないと判定された場合、本制御ルーチンは終了する。
一方、ステップS505においてドライバの顔の検出状態が未検出である状態が閾値時間継続したと判定された場合、本制御ルーチンはステップS506に進む。ステップS506では、警報部34はHMI等を介してドライバに警報を与える。ステップS506の後、本制御ルーチンは終了する。
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。
1 ドライバ監視装置
2 撮像装置
3 ECU
10 車両
31 顔検出部
32 顔向き推定部
33 原因判定部
34 警報部

Claims (3)

  1. 車両のドライバの顔を撮影して画像を生成する撮像装置と、
    前記画像から前記顔を検出する顔検出部と、
    前記顔検出部によって前記顔が検出された場合に前記画像に基づいて前記ドライバの顔向きを推定する顔向き推定部と、
    前記顔検出部によって前記顔が検出されない場合に、該顔が検出されない原因を判定する原因判定部と
    を備え、
    前記顔検出部は、前記画像から前記顔の特徴点を抽出することによって前記顔を検出し、
    前記原因判定部は、前記顔の検出状態が検出から非検出に変化したときに、該検出状態が検出から非検出に変化するまでの所定数の前記画像において、前記顔向き推定部によって推定された前記顔向きが正面であり且つ前記顔検出部によって前記顔の下方領域の特徴点が抽出されていない場合には、前記原因が前記ドライバの飲食動作であると判定する、ドライバ監視装置。
  2. 前記ドライバに警報を与える警報部を更に備え、
    前記警報部は、前記原因が前記ドライバの飲食動作であると判定された場合には、前記原因が前記ドライバの飲食動作以外であると判定された場合に比べて、前記ドライバへの警報を抑制する、請求項1に記載のドライバ監視装置。
  3. 前記警報部は、前記顔の検出状態が未検出である状態が閾値時間継続した場合に前記ドライバに警報を与え、
    前記警報部は、前記原因が前記ドライバの飲食動作であると判定された場合には、前記原因が前記ドライバの飲食動作以外であると判定された場合に比べて、前記閾値時間を長くする、請求項2に記載のドライバ監視装置。
JP2018110478A 2018-06-08 2018-06-08 ドライバ監視装置 Active JP6870660B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018110478A JP6870660B2 (ja) 2018-06-08 2018-06-08 ドライバ監視装置
US16/430,528 US10853622B2 (en) 2018-06-08 2019-06-04 Driver monitoring device
CN201910490333.XA CN110580436B (zh) 2018-06-08 2019-06-06 驾驶员监视装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018110478A JP6870660B2 (ja) 2018-06-08 2018-06-08 ドライバ監視装置

Publications (2)

Publication Number Publication Date
JP2019212226A true JP2019212226A (ja) 2019-12-12
JP6870660B2 JP6870660B2 (ja) 2021-05-12

Family

ID=68765105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018110478A Active JP6870660B2 (ja) 2018-06-08 2018-06-08 ドライバ監視装置

Country Status (3)

Country Link
US (1) US10853622B2 (ja)
JP (1) JP6870660B2 (ja)
CN (1) CN110580436B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022255075A1 (ja) * 2021-06-03 2022-12-08 株式会社デンソー シート制御装置、シート制御プログラム、状態推定装置、及び状態推定プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
JP7232008B2 (ja) * 2018-09-27 2023-03-02 株式会社アイシン 乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラム
CN111661059B (zh) * 2019-03-08 2022-07-08 虹软科技股份有限公司 分心驾驶监测方法、系统及电子设备
US11205083B2 (en) * 2019-04-02 2021-12-21 Magna Electronics Inc. Vehicular driver monitoring system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2011227663A (ja) * 2010-04-19 2011-11-10 Denso Corp 運転補助装置、及びプログラム
JP2015133050A (ja) * 2014-01-15 2015-07-23 みこらった株式会社 自動運転車
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4204336B2 (ja) * 2003-01-30 2009-01-07 富士通株式会社 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム
JP2008217693A (ja) 2007-03-07 2008-09-18 Toyota Motor Corp 顔向き警告装置、顔向き警告装置の警告方法
WO2015198542A1 (ja) * 2014-06-23 2015-12-30 株式会社デンソー ドライバの運転不能状態検出装置
EP3345127A4 (en) * 2015-08-31 2019-08-21 SRI International METHOD AND SYSTEM FOR MONITORING DRIVING BEHAVIORS
JP6641916B2 (ja) * 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
WO2018144537A1 (en) * 2017-01-31 2018-08-09 The Regents Of The University Of California Machine learning based driver assistance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2011227663A (ja) * 2010-04-19 2011-11-10 Denso Corp 運転補助装置、及びプログラム
JP2015133050A (ja) * 2014-01-15 2015-07-23 みこらった株式会社 自動運転車
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022255075A1 (ja) * 2021-06-03 2022-12-08 株式会社デンソー シート制御装置、シート制御プログラム、状態推定装置、及び状態推定プログラム

Also Published As

Publication number Publication date
CN110580436B (zh) 2023-01-10
US10853622B2 (en) 2020-12-01
CN110580436A (zh) 2019-12-17
JP6870660B2 (ja) 2021-05-12
US20190377933A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
JP6870660B2 (ja) ドライバ監視装置
JP6915502B2 (ja) ドライバ状態検出装置
KR101386823B1 (ko) 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
WO2016038784A1 (ja) ドライバ状態判定装置
US10970572B2 (en) Driver condition detection system
US9888875B2 (en) Driver monitoring apparatus
JP4793269B2 (ja) 眠気検知装置
US20180197030A1 (en) Driver abnormality detection device and driver abnormality detection method
JP2008199515A (ja) 同乗者着座姿勢検出・判定装置及び方法
US20180232588A1 (en) Driver state monitoring device
EP2860665A2 (en) Face detection apparatus, and face detection method
JP4742921B2 (ja) 覚醒度推定装置
US20180201276A1 (en) Driver condition detection system
WO2015079657A1 (ja) 視認領域推定装置
JP2008171065A (ja) 眠気検知装置
JP2008065776A (ja) 居眠り検知装置、居眠り検知方法
KR20110062651A (ko) 차선 이탈 경보 방법
CN107169481A (zh) 一种提醒方法及装置
JP7024332B2 (ja) ドライバモニタシステム
JP2021196941A (ja) ドライバ監視システム
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
JP6962141B2 (ja) ドライバ状態検出装置
JP4692447B2 (ja) 居眠り検知装置、居眠り検知方法
JPWO2020255238A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP6852407B2 (ja) ドライバ状態検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210329

R151 Written notification of patent or utility model registration

Ref document number: 6870660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151