JP2013152700A - ドライバモニタ装置 - Google Patents

ドライバモニタ装置 Download PDF

Info

Publication number
JP2013152700A
JP2013152700A JP2012219531A JP2012219531A JP2013152700A JP 2013152700 A JP2013152700 A JP 2013152700A JP 2012219531 A JP2012219531 A JP 2012219531A JP 2012219531 A JP2012219531 A JP 2012219531A JP 2013152700 A JP2013152700 A JP 2013152700A
Authority
JP
Japan
Prior art keywords
driver
information
monitor device
reference information
changing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012219531A
Other languages
English (en)
Other versions
JP5549721B2 (ja
Inventor
Kenichi Wakiyama
賢一 脇山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012219531A priority Critical patent/JP5549721B2/ja
Priority to US13/723,681 priority patent/US8907797B2/en
Publication of JP2013152700A publication Critical patent/JP2013152700A/ja
Application granted granted Critical
Publication of JP5549721B2 publication Critical patent/JP5549721B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/26Incapacity

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)
  • Studio Devices (AREA)

Abstract

【課題】どのような車両に設置しても、ドライバの脇見を的確に判定して警報することができるドライバモニタ装置を提供する
【解決手段】ドライバモニタ装置が設置される車両の種別に関する情報や、運転席の位置に関する情報などの操作情報を、外部操作装置やディップスイッチを操作することにより得て、この操作情報に基づいて、ドライバの脇見を判定するための閾値となる基準情報を設定している(S16,S18)。そして、運転者の視線が、正面方向に対して閾値以上にずれている場合に脇見をしていると判定して警報を行う(S25)。つまり、このドライバモニタ装置は、外部操作装置又はディップスイッチを操作することにより、ドライバの脇見を判定する基準となる基準情報を各車両に合わせて自由に変更できるので、どのような車両に設置しても、ドライバの脇見を的確に判定して警報することができる。
【選択図】図2

Description

本発明は、ドライバの脇見や居眠り等を監視するドライバモニタ装置に関する。
モニタ装置は、ドライバの顔を撮像し、その撮像した画像を解析してドライバの開眼度、視線の向きや顔向きを認識し、この認識結果に基づいて、ドライバが居眠りや脇見をしていないか監視する装置である(例えば、特許文献1参照)。
そして、このドライバモニタ装置は、ドライバが居眠りや脇見をしていると判断すると、警報音を発してドライバに注意喚起するよう構成されている。
そのため、このドライバモニタ装置を備える車両では、ドライバの居眠りや脇見を減少させることができるので、これらを原因とする事故を未然に防ぐことができる。
特許第4725254号公報
しかし、従来のドライバモニタ装置は、各車両に最適化された設定がなされているため、他の車両に付け替えようとしても、正確な監視をすることができなかった。これは、車幅等が異なるため、脇見の基準も車両ごとに異なってしまうことに起因する。
具体的には、左右方向の脇見についてサイドミラーを見る角度を基準として、この角度よりも深い角度に視線が移動したときに脇見と判定する場合、ドライバがサイドミラーを見る角度が車両の車幅によって異なるので、ある車両に最適化したドライバモニタ装置を他の車両に設置しても、基準となる角度が浅すぎて、サイドミラーを見るたびに警報がなされたり、あるいは、基準となる角度が深すぎて、サイドミラーを見る角度よりも深い角度に視線を向けても一向に警報がなされないということが考えられる。
同型車でも着座位置が異なる場合も同様である。
そこで、本発明は、どのような車両に設置しても、ドライバの脇見を的確に判定して警報することができるドライバモニタ装置を提供することを目的とする。
上記目的を達成するためなされた、請求項1に記載の発明であるドライバモニタ装置は、ドライバの顔向き又は視線方向のうち少なくとも一方を検出する検出手段と、この検出手段によって検出された検出情報を、ドライバの脇見を判定する基準となる基準情報と比較し、ドライバが脇見をしていると判定された場合、警報を発する警報手段を備えるものである。
そして、このドライバモニタ装置は、基準情報を変更する操作を受け付け、この操作の受付前の基準情報を、この操作に対応する基準情報に変更する変更操作手段を備えている。
つまり、本発明のドライバモニタ装置では、変更操作手段を操作することにより、ドライバの脇見を判定する基準となる基準情報を各車両に合わせて自由に変更することができるのである。
従って、本発明のドライバモニタ装置を用いると、どのような車両に設置しても、その車両に適合した基準情報により、ドライバの脇見を的確に判定して警報することができる。
次に、請求項2に記載の発明であるドライバモニタ装置のように、変更操作手段は、複数のスイッチを備えているものでもよい。
そして、このドライバモニタ装置のように、各スイッチに対する操作によって、スイッチが操作される前の各スイッチの操作状態の組合せに対応した基準情報を、スイッチが操作された後の各スイッチの操作状態の組合せに対応した基準情報に変更するよう構成してもよい。
つまり、本発明のドライバモニタ装置は、例えばディップスイッチなどのような複数のスイッチからなる変更手段を備え、これらスイッチをさまざまな組合せで操作することにより基準情報を様々に変更することができるようしてもよい。
従って、本発明のドライバモニタ装置を用いると、スイッチの操作状態がすなわち基準情報となるので、スイッチの操作状態を見れば、基準情報がどのようなものか一目で確認することができる。
次に、請求項3に記載の発明であるドライバモニタ装置のように、基準情報を記憶する記憶手段を備え、変更操作手段が、基準情報を変更する操作を受け付ける受付手段と、記憶手段及び受付手段を通信可能に接続する通信接続手段とを備えるようにしてもよい。
このドライバモニタ装置では、受付手段で基準情報を変更する操作が受け付けられると、受付手段に対する操作を受け付ける前に記憶手段に記憶された基準情報を、この操作に対応した基準情報に変更している。
つまり、本発明のドライバモニタ装置では、通信接続手段を介して受付手段を記憶手段に接続し、受付手段を操作すれば、記憶手段に記憶された基準情報を自由に変更することができる。
従って、本発明のドライバモニタ装置を用いると、受付手段と記憶手段とを接続し、受付手段を操作するだけで、記憶手段に記憶された基準情報を、ドライバの脇見を判定するための各車両に最適なものに自由に変更することができる。
尚、通信接続手段としては、無線によるものでもよいし、有線によるものでもよい。
基準情報を変更する構成としては、請求項2や3のような構成を両方備えていてもよいし、いずれか一方の構成を複数備えていても良い。
次に、請求項4に記載したように、検出手段について、ドライバの顔に近赤外線を照射するライトと、このライトで照らされたドライバの顔を撮像するカメラと、ライト及びカメラの明るさ及びズーム率を指定する撮像情報に基づいて、ライトで照らされたドライバの顔をカメラで撮像した画像を解析する解析手段と、を備える構成としてもよい。そして、この解析手段で解析したドライバの顔から、ドライバの顔向き又は視線方向のうち少なくとも一方を検出するようにしてもよい。
また、検出手段をこのように構成した場合、本発明のドライバモニタ装置は、解析手段による解析結果に基づいて、撮像情報を、この解析結果よりも精度のよい解析結果を得ることが可能な撮像情報に変更する撮像情報変更手段を備えてもよい。
このようにすると、撮像情報変更手段が、解析手段を用いてドライバの顔を解析するための最適な明るさ及びズーム率となるようカメラ及びライトを調整しているので、本発明のドライバモニタ装置をどのような車種の車両に付け替えても、また、ドライバがどのような姿勢を取っても、さらに、外部の明るさ等にどのように影響されても、ドライバの顔を常に正確に解析することができる。
尚、請求項5に記載したように、撮像情報は、カメラを設置する仰角についても指定する情報であってもよい。
次に、請求項6に記載したように、変更操作手段は、基準情報を変更する操作として受け付けた操作を、撮像情報を変更する操作としても受け付け、この操作に対応する撮像情報に変更するようにしてもよい。
このようにすると一つの操作で基準情報と撮像情報を変更できるので、これらを変更する操作をシンプルなものとすることができる。操作は、車種に対応するものでもよい。もちろん、撮像情報の変更は、基準情報と別に行ってもよい。
次に、請求項7に記載したように、変更操作手段は、基準情報を変更する操作として、当該ドライバモニタ装置を設置する車両の車種情報を変更する操作を受け付け、この操作の受付前の基準情報を、この操作に対応する車種情報に応じた基準情報に変更するものとしてもよい。
このようにすると当該ドライバモニタ装置を設置する車種(小型車(軽自動車)、普通車、トラック等の種別や、右ハンドル車か左ハンドル車等の種別等、各種の車両の種別)が分かれば、単にそれに合わせて変更操作手段を操作すれば基準情報を変更することができるので、当該ドライバモニタ装置を車両に設置する際の設定作業を非常にシンプルなものとすることができる。
本実施形態のドライバモニタ装置のブロック図である。 本実施形態の中央制御回路で実行される脇見監視処理のフローチャートである。 本実施形態でのドライバモニタ装置で設定される基準情報について説明する説明図である。 本実施形態でのドライバモニタ装置で設定される撮像情報について説明する説明図である。 カメラで運転者を撮像した画像の模式図で、(a)は、ズーム率を小型車の設定にしたままトラックに設置されたカメラで撮影した画像を示し、(b)は、ズーム率を小型車の設定にして小型車に設置されたカメラで撮影した画像を示している。 カメラで運転者を撮像した画像の模式図で、(a)は、近赤外線の明るさを普通車の設定にしたまま小型車に設置されたカメラで撮影した画像を示し、(b)は、近赤外線の明るさを普通車の設定にしてトラックに設置されたカメラで撮影した画像を示している。 カメラで運転者を撮像した画像の模式図で、(a)は、仰角20°で小型車に設置されたカメラでドライバを撮像したときの目と鼻の位置を示す図で、(b)は、仰角30°でトラックに設置されたカメラでドライバを撮像したときの目と鼻の位置を示す図である。 撮像情報のうち仰角、及び、上下方向の脇見について説明する説明図である。
尚、図8(a)の写真は、http//lexus.jp/models/ls600h/l#select/l#select/index.
htmlからの引用、図8(b)の写真は、http://www.hino.co.jp/profia/ca/index.htmlからの引用である。
本実施形態の外部操作装置を操作して、外部メモリに記憶された操作情報を更新する操作情報送信処理外部のタイムチャートである。
以下に本発明の実施形態を図面と共に説明する。
[全体構成]
本実施形態のドライバモニタ装置1は、図1に示すように、本体装置2と外部操作装置3と、カメラ4と、ライト5とを備えている。
本体装置2は、CPU20a、RAM20b、ROM20c等を備えたコンピュータ装置からなる中央制御装置20と、外部メモリを脱着可能に構成され、外部メモリを取り付けると、中央制御装置20と外部メモリとを通信可能に接続する外部メモリ装着部21とを備えている。
尚、RAM20bは、揮発性の性質を有する部分と不揮発性の性質を有する部分とで構成されており、後述する基準情報及び撮像情報は不揮発性の性質を有する部分に記憶される。
また、ROM20cには、車種(小型車(軽自動車)、普通車、トラック等の種別や、右ハンドル車か左ハンドル車等の種別等、各種の車両の種別)に関する情報と、後述する基準情報及び撮像情報とが予め関連付けられた情報や、後述する脇見処理を実行するためのプログラムが記憶されている。
また、本体装置2は、本体装置2を構成する図示しない筐体上に配置された複数のスイッチからなるディップスイッチ22と、外部操作装置3と無線により通信する通信用IC23と、図示しない車両のバッテリーから供給された電力を、本体装置2内の各装置、及び、カメラ4、ライト5に配電する電源IC24とを備えている。
ディップスイッチ22は、本実施形態のドライバモニタ装置1を設置する車両の車種を指定するスイッチである。
外部操作装置3は、通信用IC23から予め定められた通信範囲内に位置すると、この通信用IC23を介して、本体装置2と無線により通信することが可能となる装置である。この外部操作装置3も、本実施形態のドライバモニタ装置1を設置する車両の車種を指定するための装置である。
カメラ4は、CMOSカメラであり、ハンドルコラム上に設置され、ドライバが運転席に座ったときに一般的にドライバの顔が位置すると考えられる位置を向くように光軸を合わせて設置される。
このカメラ4は、ドライバの顔を撮像する撮像部40と、中央制御装置20からの指示によって撮像部40からのレンズ位置を変更するなどの手段で撮像部40で撮像される画像の倍率を変更する倍率変更装置41を備えている。
ライト5は、IR−LED50を備え、このIR−LED50から照射された近赤外線をドライバの顔に向かって照射する装置である。このライト5は、カメラ4と一体に構成されている。
また、このライト5は、IR−LED50の輝度を中央制御装置20からの指示によって変更する輝度変更装置51を備えている。
[脇見監視処理]
次に、中央制御装置20のCPU21で実行される脇見監視処理について、図2を用いて説明する。
以下では、特に説明がない限り、脇見監視処理がステップ番号の昇順に行われるものとして説明する。
S10に示すように、この脇見監視処理は、イグニッションスイッチがオンされるまで待機する処理が実行されている。
S12では、S10でイグニッションスイッチがオンされたと判定されると(S10:YES)、脇見監視処理を実行するためのプログラムをROM20cが読み込まれ、このプログラムに基づいて以下の処理が実行される。
S14では、車種の指定先を判定する処理が実行される。本実施形態では、ディップスイッチ22又は外部操作装置3のいずれかを操作することにより、車種を指定することができるので、S14では、いずれを操作して車種を指定するかが判定される。
この判定の基礎となる判定情報は、外部メモリ装着部21に装着された外部メモリに記憶されているので、S14での判定は、この外部メモリに記憶された判定情報に基づいて行われる。この判定情報は、後述する操作情報送信処理において、外部メモリに記憶される。
尚、この判定(S14)は、本体装置2の筐体にスイッチを設けるなどして、そのスイッチ操作の有無で行ってもよいし、その他どのような方法で行ってもよい。
S14で、外部操作装置3を操作することにより車種を指定すると判定されたら(S14:メモリ)、次にS16の処理を実行する。また、ディップスイッチ22を操作することにより、車種を指定すると判定されたら(S14:スイッチ)、次にS18の処理を実行する。
S16では、外部メモリ装着部21に装着された外部メモリに、外部操作装置3を操作することによって入力された操作情報であって、本実施形態のドライバモニタ装置1が設置される車両の車種に関する情報が記憶されているので、この情報が示す車種に対応する基準情報及び撮像情報をROM20cに記憶された情報から検索し、この基準情報及び撮像情報をRAM20bに記憶する処理が実行される。
S18では、ディップスイッチ22を構成する各スイッチが操作されることによって、その操作状態の組合せにより、本実施形態のドライバモニタ装置1が設置される車両の車種が指定されるので、これらスイッチの操作状態の組合せが示す車種に対応する基準情報及び撮像情報をROM20cに記憶された情報から検索し、この基準情報及び撮像情報をRAM20bに記憶する処理が実行される。
これらS16、S18を実行するとき、RAM20bにすでに基準情報及び撮像情報が記憶されている場合、それを消去して、新しい基準情報及び撮像情報を登録する。
ここで、基準情報について説明すると、基準情報とは、図3に示すように、運転席に座っているドライバの正面方向に対して、ドライバの視線が左右方向に何度振れているかを検出するための閾値に関する情報である。
この閾値としては、例えば、右ハンドル車の場合、右方向に27°振れた方向がすべての車種に適用される。一方、左方向は、小型車であれば49°傾いた方向、普通車であれば58°傾いた方向、トラックであれば65°傾いた方向が適用される。
次に、撮像情報について説明すると、撮像情報とは、図4に示すように、小型車、普通車、トラック等に応じて適用されるカメラ4のズーム率、ライト5の明るさ、カメラ4を各車両に設置したときに想定される仰角に関する情報である。
カメラ4のズーム率は、小型車が最も小さく、トラックが最も大きくなるように、その倍率を、例えば、小型車1.5倍、普通車2倍、トラック2.5倍などとする。
ライト5の明るさは、小型車が最も暗く、トラックが最も明るくなるように、その明るさを、例えば、小型車1.5A、普通車2A、トラック2.5Aなどとする。
カメラの仰角は、小型車が最も浅く、トラックが最も深くなるように、その仰角を、例えば、小型車20°、普通車25°、トラック30°などとする。
このような撮像情報を脇見監視処理の開始時に設定する理由は、以下のような理由による。
カメラ4のズーム率を、例えば小型車にのみ合わせてしまうと、小型車の場合は、図5(b)に示すように、カメラ4でドライバを撮像するときに画像中に表示されることが想定される範囲を示す想定顔サイズαと、ほぼ同じ範囲にドライバの顔が撮像される。
しかし、トラックの場合(図5(a))、カメラ4を小型車に設置した場合に比べ(図5(b))、一般にカメラとの距離が遠くなってしまうので、画像中の運転者の顔が小さくなり、想定顔サイズαに対して、ドライバの顔が撮像される範囲が非常に小さくなってしまう。
このように、カメラ4で撮像された画像中で、ドライバの顔が撮像される範囲が狭すぎると、S20以下の処理において、運転者の顔の輪郭(目や鼻、顔全体等の輪郭)を識別し難くなり、運転者の顔を解析する精度が落ちてしまう。また、逆に、ドライバの顔が撮像される範囲が広すぎても、同様である。
また、S20以下の処理では、ズーム率の調整が行われているが、ズーム率が違いすぎると、その調整に長時間を要してしまうという不具合もある。
そのため、本実施形態では、車種に応じて基本となるズーム率をS20以下の処理が行われる前に設定している。
次に、ライト5の明るさについては、例えばこれを普通車にのみ合わせたものとしてしまうと、図6(a)に示すように、小型車の場合は、普通車に比べてライト5とドライバとの距離が短くなるので、ドライバに当たる近赤外線が明るすぎて、ドライバの顔の輪郭がぼやけてしまう、いわゆる白抜きが発生する。
一方、トラックの場合は、図6(b)に示すように、普通車に比べてライト5とドライバとの距離が遠くなるので、ドライバに当たる近赤外線が暗すぎて、ドライバの顔の輪郭がまぎれてしまう。
このように、近赤外線の明るさもカメラ4での撮像が可能なように適切な明るさとしないと、S20以下の処理において、運転者の顔の輪郭(目や鼻、顔全体等の輪郭)を識別し難くなり、運転者の顔を解析する精度が落ちてしまう。
また、S20以下の処理では、近赤外線の明るさの調整が行われているが、明るさがが違いすぎると、その調整に長時間を要してしまうという不具合もある。
そのため、本実施形態では、車種に応じて基本となる近赤外線の明るさをS20以下の処理が行われる前に設定している。
次に、カメラ4でドライバを撮像した場合、その画像中でのドライバの目や鼻の位置は、設定された仰角に基づいて推測されるが、仰角の設定がない、あるいは、誤っていると、目や鼻の位置の検出に時間がかかってしまうという不具合が発生する。
ここで、図7(a)は小型車に搭乗したドライバの目や鼻の位置関係を示し、図7(b)はトラックに搭乗したドライバの目や鼻の位置関係を示しているが、車種によって目と鼻との位置関係が異なるのは、各車両にカメラ4を設置した場合、図8に示すように、小型車の仰角よりも、トラックの仰角のほうが深くなるからである。
このように、ドライバの目や鼻の位置関係が把握し難くなると、S20以下の処理において、運転者の顔の輪郭(目や鼻、顔全体等の輪郭)を識別し難くなり、運転者の顔を解析する精度が落ちてしまう。
そのため、本実施形態では、車種に応じて仰角に関する情報をS20以下の処理が行われる前に設定しているのである。
次に、図2に戻り、S20では、カメラ4,ライト5を用いて、ドライバの顔を撮像する処理が実行される。以下のS20〜S29の処理は、ドライバの監視及びズーム率調整及びライト5の明るさ調整のため、約33msもしくは撮影フレーム毎に実行される。
S21では、S20で撮像した画像の解析が行われ、まず、画像中の想定顔サイズα内でのドライバの鼻の位置が特定され、仰角の情報を用いて鼻の位置から目の位置が推定され、その推定された位置の周囲で目が特定される。そして、特定された目と鼻の位置の周囲の画像からドライバの目、鼻の輪郭が解析され、さらに、特定された目と鼻の位置の全体の周囲から顔の輪郭及び、その輪郭内の明るさなどの情報の抽出が行われる。
S22では、S21での解析で、ドライバの目、鼻の輪郭、顔の輪郭が抽出できたか否かが判定され、これらが抽出できなかった場合は(S22:NO)、次にS28の処理が実行され、抽出できた場合は(S22:YES)、次にS23の処理が実行される。
S23では、S21で抽出されたドライバの目、鼻の輪郭、顔の輪郭の情報から、ドライバのドライバの視線方向、及び、ドライバの目の開眼度を検出する処理が実行される。
S24では、S23で検出された視線方向に関する検出情報と、基準情報とを比較し、ドライバの視線方向の角度が基準情報が示す閾値となる角度を越えているか否かを判定する処理が実行される。このS24の処理で、ドライバの視線方向が閾値を越えていると判定された場合、S25の処理が実行され、越えていないと判定された場合、S26の処理が実行される。
S25では、ドライバに対し、図示しないスピーカーやブザーを介して、脇見をしていることを警報出力する処理が実行される。
S26では、S22で算出されたドライバの開眼度が、予め定められた開眼度よりも大きいか否かが判定され、小さいと判定されるとS27が実行され、大きいと判定されるとS28が実行される
S27では、ドライバに対し、図示しないスピーカーやブザーを介して、長時間の閉眼、あるいは居眠りをしていることを警報出力する処理が実行される。
S28では、S21での解析により抽出されたドライバの顔の輪郭の大きさの情報に基づいて、ドライバの顔の輪郭の大きさが、想定顔サイズαと比較して、この想定顔サイズα内での最大の大きさとなっているか否か(すなわち、ドライバの目、鼻の輪郭、顔の輪郭を判定するのに適当な大きさか否か)が判定される。
また、S28では、S21での解析の結果抽出されたドライバの顔の輪郭内の明るさの情報に基づいて、ドライバの顔の輪郭内の明るさが、上述したドライバの視線や顔向きを判定するために適正な明るさか否か(すなわち、ドライバの目、鼻の輪郭、顔の輪郭を判定するのに適当な明るさか否か)が判定される。
ここでは、適正か否かの基準となる明るさが予め決められており、その明るさに対して、S20で撮像した画像中のドライバの顔の輪郭内の明るさが、所定の範囲内(撮像された範囲が暗すぎず、白飛びしない範囲)に収まっていれば適正と判断している。
S29では、S28の判定処理において、ドライバの顔の大きさが適当でないと判定された場合は、ズーム率を変更(ドライバの顔が小さい場合はズーム率を一段上げ、ドライバの顔が大きい場合はズーム率を一段下げる)する指示がカメラ4に対してなされて、カメラ4では、その指示に従って、ズーム率を変更する処理が実行される。
本実施形態では、ズーム率が細かく複数段階に分けられ、S29では、ズーム率を上下させる場合、1段階ずつズーム率を変更する処理が実行される。
また、S29では、S28の判定処理において、ドライバの顔の輪郭内の明るさが適当でないと判定された場合は、近赤外線の輝度を変更(ドライバの顔が明るい場合は輝度を一段下げ、ドライバの顔が暗い場合は輝度を一段上げる)する指示がライト5に対してなされて、ライト5では、その指示に従って輝度を上げる、又は、下げる指示が実行される。
本実施形態では、輝度が細かく複数段階に分けられ、S29では、輝度を上下させる場合、1段階ずつ輝度を上下する処理が実行される。
このように、S28,S29での処理により、S21での解析結果に基づいて、より精度のよい解析結果を得られるよう、カメラ4のズーム率及びライト5の明るさの調整を適宜行っているので、本実施形態のドライバモニタ装置1を異なる車種の車両に付け替えたときはもちろん、外部環境の明暗やドライバの姿勢などによって、ドライバの顔の明暗やドライバとカメラとの距離が変化しても、それらに合わせた適正なズーム率及び明るさで、ドライバの顔を撮像して解析することが可能となる。
S30では、イグニッションスイッチがオフされているか否かを判定する処理が実行され、オフされていなければ、再度S20以下の処理が実行され、オフされていると、本処理を終了する。
[操作情報送信処理]
次に、本実施形態の外部操作装置3を操作して、外部メモリに記憶された操作情報を更新する操作情報送信処理について説明する。
ここで、図9は、この操作情報送信処理のタイムチャートである。
この操作情報送信処理は、外部操作装置3が通信用IC23との間で通信が可能になったときに実行される処理である。
この操作情報送信処理は、外部操作装置3から本体装置2に認証キーが送信されることによって開始される。
本実施形態では、外部操作装置3が通信用IC23と通信可能となると、外部操作装置3の図示しないモニター上に通信可能であることが表示されるので、このときに、外部操作装置3の図示しない操作ボタン等を操作して認証キーを入力し、外部操作装置3の図示しない送信ボタンを押下すると、外部操作装置3から本体装置2に認証キーが送信される。
この認証キーについては、これを認証する機能が本体装置2側に備えられているので、本体装置2が通信用IC23を介して認証キーを受信し、これを認証すると、以下の通信により、外部メモリに記憶された操作情報を更新する処理を許可する認証キーACK(肯定応答)に関する信号が本体装置2から、外部操作装置3に送信される。
この認証キーACKを受信した後、操作情報の書き換えを実行するため、これを通知するための操作を外部操作装置3の図示しないボタンに対して行うと、操作情報の書き換えを通知する信号が、外部操作装置3から本体装置2に送信される。
この通知信号を本体装置2が受信すると、本体装置2から外部操作装置3に、書き換え許可ACKに関する信号が送信される。
そして、この書き換え許可ACKを外部操作装置3が受信すると、外部メモリに記憶された操作情報を書き換えるための情報を、外部操作装置3から本体装置2に送信する処理が以後実行される。
まず、外部操作装置3の図示しないボタンを操作して第1車種情報を入力し、送信を指示すると、第1車種情報が本体装置2に送信される。そして本体装置2の中央制御装置20は、外部メモリに記憶されている操作情報のうち第1車種情報を、新たに受信した第1車種情報に更新する処理を実行する。すると、本体装置2からメモリ書き込み完了通知が外部操作装置3に送信される。
次に、外部操作装置3の図示しないボタンを操作して第2車種情報(右ハンドル車か、左ハンドル車か)を入力し、送信を指示すると、第2車種情報が本体装置2に送信される。そして本体装置2の中央制御装置20は、外部メモリに記憶されている操作情報のうち第2車種情報を、新たに受付た第2車種情報に更新する処理を実行する。すると、本体装置2からメモリ書き込み完了通知が外部操作装置3に送信される。
次に、外部操作装置3の図示しないボタンを操作して判定情報(外部操作装置3を操作したことによる基準情報を利用することを選択するか、ディップスイッチ22を操作したことによる基準情報を利用することを選択するための情報)を入力し、送信を指示すると、判定情報が本体装置2に送信される。
そして本体装置2の中央制御装置20は、外部メモリに記憶されている判定情報を、新たに受信した判定情報に更新する処理を実行する。すると、本体装置2からメモリ書き込み完了通知が外部操作装置3に送信される。
その後、操作情報の書き換えを終了することを指示する操作を、外部操作装置3の図示しない操作ボタン等に対して行うと、外部操作装置3から本体装置2に終了通知に関する信号が送信される。
そして、この終了通知に関する信号を本体装置2が受信すると、操作情報を更新する処理の終了を了解する終了通知ACKに関する信号が本体装置2から、外部操作装置3に送信される。
以上の操作を行うことにより、外部操作装置3に対する操作の受付前の操作情報を、操作後の操作情報に書き換えることが可能となる。
[上記実施形態のドライバモニタ装置の特徴]
本実施形態のドライバモニタ装置1は、外部操作装置3又はディップスイッチ22のいずれかを操作して、本実施形態のドライバモニタ装置1が設置される車両の車種を指定することにより、ドライバの脇見を判定する基準となる基準情報及び撮像情報を各車両に合わせて自由に変更することができる。
従って、本実施形態のドライバモニタ装置1を用いると、どのような車両に設置しても、その車両に適合した基準情報及び撮像情報により、ドライバの脇見を的確に判定して警報することができる。
また、本実施形態のドライバモニタ装置1では、ディップスイッチ22を操作して基準情報及び撮像情報を設定した場合、ディップスイッチ22がいずれの車種を示すものになっているかを判断することで、基準情報及び撮像情報がこのドライバモニタ装置1が設置された車両の車種に適合するものか一目で確認することができる。
また、本実施形態のドライバモニタ装置1では、ドライバモニタ装置1の本体装置2に触れなくても、外部操作装置3を操作するだけで、基準情報及び撮像情報を書き換えることもできる。そのため、ドライバモニタ装置1の本体装置2を、外部から取り出しにくい位置に設置してしまったとしても、基準情報及び撮像情報を自由に書き換えることができる。
また、本実施家板のドライバモニタ装置1では、脇見監視処理のS20以下の処理が開始される前に、この装置1が設置される車種に合わせて撮像情報が設定され、車種に合わせた適正に近い明るさの近赤外線でドライバの顔が照らされ、また、適正に近いズーム率でドライバの顔がカメラ4で撮像される。
そのため、本実施形態では、S20以下での調整を行う処理で(S28,S29)、カメラ4のズーム率やライト5の近赤外線の明るさを素早く最適なものとすることができるので、本実施形態のドライバモニタ装置1を用いれば、異なる車種の車両に設置し直したすぐ後でも、その車両において、ドライバのよそ見等の監視を素早く開始することができる。
(対応関係)
本実施形態のカメラ4,ライト5、及び、中央制御装置20で実行されるS21,S23の処理が、本発明の検出手段に相当する。
S23で算出された視線に関する情報が、本発明の検出情報に相当する。
中央制御装置20で実行されるS24、S25の処理が、本発明の警報手段に相当する。
外部操作装置3及びディップスイッチ22及び中央制御装置20で実行されるS16、S18の処理が、本発明の変更操作手段に相当する。
RAM20bが本発明の記憶手段に相当し、外部操作装置3が受付手段に相当し、通信用IC23が通信接続手段に相当する。
本実施形態のS21の処理が解析手段に相当し、S28、S29の処理が本発明の撮像情報変更手段に相当する。
(その他の実施形態)
外部操作装置3は、本実施形態のドライバモニタ装置1の専用の装置でもよいし、携帯電話等であってもよい。外部操作装置3が携帯電話である場合、基準情報設定用のプログラムは、特定のサイトからダウンロードしてインストールしてもよいし、その他どのような方法でインストールしてもよい。
また、上記実施形態では、外部操作装置3と本体装置2とで無線通信が行われるものについて説明したが、有線通信が行われるよう構成してもよい。
カメラ4としては、CMOSカメラについて説明したがCCDカメラ等、運転者の視線や顔向きの監視に用いるものであればどのようなものでもよい。
上記実施形態では、ドライバの視線を検出して脇見を判定していたが、ドライバの顔向きにより脇見を判定してもよいし、ドライバの顔向き及び視線を総合的に判定して脇見を判定してもよいことはもちろんである。
上記実施形態では、外部メモリに記憶された操作情報から、基準情報として、ドライバの左右方向の脇見を判定するための閾値(具体的にはサイドミラーを見る角度)を設定する例について説明したが、仰角情報(図8)その他により、上下方向の脇見を判定するための閾値を設定してもよい。
この場合、図8(a)に示すように、小型車や普通車については、正面方向に対して仰角情報と同じ20°(メーターを見ることが想定される角度)に設定し、図8(b)に示すように、トラックについては、30°に設定してもよいが、これに限られるものではない。
小型車及び普通車と、トラックとで閾値に差があるのは、トラックの場合、小型車や普通車に比べ、運転者の顔の位置が、インパネに設置されたメーターからの高さが高い位置にあることが通常だからである。
また、上記実施形態では、車種として、トラック、普通車、小型車という分け方をしたが、普通車でも大型車、小型車、トラックでも大型トラック、中型トラック等でわけてもよいし、より細かく分けてもよいことはもちろんである。
また、本発明は、特許請求の範囲に記載された発明の趣旨に合致するものであればよく、上述の実施形態に限定されるものではない。
1…ドライバモニタ装置、2…本体装置、3…外部操作装置、4…カメラ、5…ライト
20…中央制御装置、20a…CPU、20b…RAM、20c…ROM、
21…外部メモリ装着部、22…ディップスイッチ、23…通信用IC、
24…電源IC、40… 撮像部、41… 倍率変更装置、50…IR−LED
51… 輝度変更装置

Claims (7)

  1. ドライバの脇見を判定するドライバモニタ装置であって、
    ドライバの顔向き又は視線方向のうち少なくとも一方を検出する検出手段と、
    該検出手段によって検出された検出情報を、ドライバの脇見を判定する基準となる基準情報と比較し、ドライバが脇見をしていると判定された場合、警報を発する警報手段と、
    前記基準情報を変更する操作を受け付け、該操作の受付前の前記基準情報を、該操作に対応する前記基準情報に変更する変更操作手段と、
    を備えることを特徴とするドライバモニタ装置。
  2. 請求項1に記載のドライバモニタ装置において、
    前記変更操作手段は、
    複数のスイッチを備え、
    前記各スイッチに対する操作によって、前記スイッチが操作される前の前記各スイッチの操作状態の組合せに対応した前記基準情報を、前記スイッチが操作された後の前記各スイッチの操作状態の組合せに対応した前記基準情報に変更することを特徴とするドライバモニタ。
  3. 請求項1に記載のドライバモニタ装置において、
    前記基準情報を記憶する記憶手段を備え、
    前記変更操作手段は、
    前記基準情報を変更する操作を受け付ける受付手段と、
    前記記憶手段及び前記受付手段を通信可能に接続する通信接続手段と
    を備え、
    前記受付手段で前記基準情報を変更する操作が受け付けられると、該操作が受け付けられる前に前記記憶手段に記憶された前記基準情報を、受け付けられた前記操作に対応する前記基準情報に変更することを特徴とするドライバモニタ装置。
  4. 請求項1〜3のいずれか1項に記載のドライバモニタ装置において、
    前記検出手段は、
    ドライバの顔に近赤外線を照射するライトと、
    このライトで照らされたドライバの顔を撮像するカメラと、
    前記ライト及び前記カメラの明るさ及びズーム率を指定する撮像情報に基づいて、前記ライトで照らされたドライバの顔を前記カメラで撮像し、この撮像された画像を解析する解析手段と、
    を備え、
    前記解析手段で解析した画像から、ドライバの顔向き又は視線方向のうち少なくとも一方を検出し、
    前記解析手段による解析結果に基づいて、前記撮像情報を、該解析結果よりも精度のよい解析結果を得ることが可能な前記撮像情報に変更する撮像情報変更手段
    を備えることを特徴とするドライバモニタ装置。
  5. 請求項4に記載のドライバモニタ装置において、
    前記撮像情報は、前記カメラを設置する仰角についても指定する情報であることを特徴とするドライバモニタ装置。
  6. 請求項4,5のいずれか1項に記載のドライバモニタ装置において、
    前記変更操作手段は、
    前記基準情報を変更する操作として受け付けた操作を、前記撮像情報を変更する操作としても受け付け、該操作に対応する前記撮像情報に変更する
    ことを特徴とするドライバモニタ装置。
  7. 請求項1〜6のいずれか1項に記載のドライバモニタ装置において、
    前記変更操作手段は、
    前記基準情報を変更する操作として、当該ドライバモニタ装置を設置する車両の車種を変更する操作を受け付け、該操作の受付前の前記基準情報を、該操作に対応した車種の前記基準情報に変更する
    ことを特徴とするドライバモニタ装置。
JP2012219531A 2011-12-26 2012-10-01 ドライバモニタ装置 Active JP5549721B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012219531A JP5549721B2 (ja) 2011-12-26 2012-10-01 ドライバモニタ装置
US13/723,681 US8907797B2 (en) 2011-12-26 2012-12-21 Driver monitoring apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011283890 2011-12-26
JP2011283890 2011-12-26
JP2012219531A JP5549721B2 (ja) 2011-12-26 2012-10-01 ドライバモニタ装置

Publications (2)

Publication Number Publication Date
JP2013152700A true JP2013152700A (ja) 2013-08-08
JP5549721B2 JP5549721B2 (ja) 2014-07-16

Family

ID=48654135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012219531A Active JP5549721B2 (ja) 2011-12-26 2012-10-01 ドライバモニタ装置

Country Status (2)

Country Link
US (1) US8907797B2 (ja)
JP (1) JP5549721B2 (ja)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015191559A (ja) * 2014-03-28 2015-11-02 Kddi株式会社 電子機器、制御方法及びプログラム
JP2016207174A (ja) * 2015-04-28 2016-12-08 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置
EP3208167A1 (en) 2016-02-16 2017-08-23 Toyota Jidosha Kabushiki Kaisha A vehicle control apparatus
DE102017107894A1 (de) 2016-04-13 2017-10-19 Toyota Jidosha Kabushiki Kaisha Fahrzeugfahrsteuerungsvorrichtung
EP3235698A1 (en) 2016-04-13 2017-10-25 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
CN107331123A (zh) * 2017-08-31 2017-11-07 合肥风生水起信息科技有限公司 一种基于太阳能的车辆疲劳驾驶预警系统及方法
JP2017201539A (ja) * 2017-06-08 2017-11-09 Kddi株式会社 電子機器、制御方法及びプログラム
JP2017201537A (ja) * 2017-06-08 2017-11-09 Kddi株式会社 電子機器、制御方法及びプログラム
DE102017113823A1 (de) 2016-06-24 2017-12-28 Toyota Jidosha Kabushiki Kaisha Fahrzeugfahrsteuervorrichtung
DE102017113824A1 (de) 2016-06-24 2017-12-28 Toyota Jidosha Kabushiki Kaisha Fahrzeugfahrsteuervorrichtung
DE102017114308A1 (de) 2016-06-30 2018-01-04 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuerungsvorrichtung
EP3279884A1 (en) 2016-08-04 2018-02-07 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
DE102017117471A1 (de) 2016-08-04 2018-02-08 Toyota Jidosha Kabushiki Kaisha Fahrzeugfahrsteuerungsvorrichtung
DE102017117244A1 (de) 2016-08-04 2018-02-08 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuergerät
DE102017112105A1 (de) 2016-08-08 2018-02-08 Toyota Jidosha Kabushiki Kaisha Fahrzeugfortbewegungssteuergerät
DE102017117472A1 (de) 2016-08-04 2018-02-08 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuervorrichtung
EP3281816A1 (en) 2016-08-08 2018-02-14 Toyota Jidosha Kabushiki Kaisha Vehicle traveling control apparatus
WO2018047374A1 (ja) * 2016-09-09 2018-03-15 アルプス電気株式会社 画像処理装置および画像処理方法
US10000236B2 (en) 2016-08-04 2018-06-19 Toyota Jidosha Kabushiki Kaisha Vehicle control device
JP2018163561A (ja) * 2017-03-27 2018-10-18 日産自動車株式会社 ドライバモニタ方法及びドライバモニタ装置
JP2019091469A (ja) * 2018-12-28 2019-06-13 Kddi株式会社 電子機器、制御方法及びプログラム
US10676025B2 (en) 2016-05-25 2020-06-09 Denso Corporation Safe driving assistance device and safe driving assistance program product
JP2021014227A (ja) * 2019-07-16 2021-02-12 株式会社Subaru 車両の乗員保護システム
US11110934B2 (en) 2019-07-16 2021-09-07 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
DE102021124920A1 (de) 2020-09-29 2022-03-31 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuerungsgerät
US11299153B2 (en) 2019-03-22 2022-04-12 Toyota Jidosha Kabushiki Kaisha Vehicle traveling control apparatus
DE102023106171A1 (de) 2022-03-14 2023-09-14 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuerungsgerät
US11787435B2 (en) 2020-06-19 2023-10-17 Toyota Jidosha Kabushiki Kaisha Vehicle control device
US11897507B2 (en) 2020-06-19 2024-02-13 Toyota Jidosha Kabushiki Kaisha Vehicle control device
US11932272B2 (en) 2021-10-21 2024-03-19 Toyota Jidosha Kabushiki Kaisha Vehicle abnormality handling support device

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
HK1181255A2 (en) * 2013-07-18 2013-11-01 Leung Spencer Yu Cheong Monitor system and method for smart device
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
US9889862B2 (en) * 2014-04-01 2018-02-13 Ford Global Technologies, Llc Workload estimation for mobile device feature integration
CN104077568A (zh) * 2014-06-23 2014-10-01 北京理工大学珠海学院 一种高精度的驾驶员行为识别与监控方法及系统
JP6330601B2 (ja) * 2014-09-18 2018-05-30 株式会社デンソー 運転負荷推定装置、運転負荷推定方法
CN105590410A (zh) * 2014-10-22 2016-05-18 鸿富锦精密工业(武汉)有限公司 安全驾驶监控系统及安全驾驶监控方法
US20160362111A1 (en) * 2015-06-12 2016-12-15 Jaguar Land Rover Limited Driver awareness sensing and indicator control
WO2018165901A1 (zh) * 2017-03-15 2018-09-20 廖建强 一种驾驶员状态的监测装置和监测方法
US10268903B2 (en) * 2017-06-11 2019-04-23 Jungo Connectivity Ltd. Method and system for automatic calibration of an operator monitor
JP6676084B2 (ja) * 2018-02-01 2020-04-08 株式会社Subaru 車両の乗員監視装置
CN108364476B (zh) * 2018-03-26 2021-01-26 京东方科技集团股份有限公司 获取车联网信息方法及其装置
CN110826369A (zh) * 2018-08-10 2020-02-21 北京魔门塔科技有限公司 一种驾驶员驾驶时注意力检测方法和系统
DE102018214935B4 (de) * 2018-09-03 2023-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Ermitteln einer Aufmerksamkeit eines Fahrers eines Fahrzeuges
CN112401887B (zh) * 2020-11-10 2023-12-12 恒大新能源汽车投资控股集团有限公司 一种驾驶员注意力监测方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233477A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 車両用警報装置
JP2009009244A (ja) * 2007-06-26 2009-01-15 Toyota Motor Corp 余所見判定装置
JP2009015548A (ja) * 2007-07-04 2009-01-22 Omron Corp 運転支援装置および方法、並びに、プログラム
JP2009294753A (ja) * 2008-06-03 2009-12-17 Toyota Motor Corp 画像処理装置および画像処理方法
JP2010137778A (ja) * 2008-12-12 2010-06-24 Toyota Motor Corp 操舵支援装置
JP2010186251A (ja) * 2009-02-10 2010-08-26 Toyota Motor Corp ドライバ状態監視装置、及び衝突制御システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06262959A (ja) 1993-03-15 1994-09-20 Aisin Seiki Co Ltd 脇見運転警報装置
JP3319201B2 (ja) 1995-02-08 2002-08-26 トヨタ自動車株式会社 脇見運転判定装置
US6822573B2 (en) * 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
JP4466571B2 (ja) * 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
JP4725254B2 (ja) 2005-09-05 2011-07-13 トヨタ自動車株式会社 脇見判定装置
US7649445B2 (en) * 2006-06-15 2010-01-19 The Yokohama Rubber Co., Ltd. Apparatus and method for evaluating driving skill and apparatus and method for informing efficiency of driver's physical load to driving operation
JP5005413B2 (ja) * 2007-04-09 2012-08-22 株式会社東海理化電機製作所 車載機器制御装置
JP2009244959A (ja) 2008-03-28 2009-10-22 Toyota Motor Corp 運転支援装置、運転支援方法
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233477A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 車両用警報装置
JP2009009244A (ja) * 2007-06-26 2009-01-15 Toyota Motor Corp 余所見判定装置
JP2009015548A (ja) * 2007-07-04 2009-01-22 Omron Corp 運転支援装置および方法、並びに、プログラム
JP2009294753A (ja) * 2008-06-03 2009-12-17 Toyota Motor Corp 画像処理装置および画像処理方法
JP2010137778A (ja) * 2008-12-12 2010-06-24 Toyota Motor Corp 操舵支援装置
JP2010186251A (ja) * 2009-02-10 2010-08-26 Toyota Motor Corp ドライバ状態監視装置、及び衝突制御システム

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015191559A (ja) * 2014-03-28 2015-11-02 Kddi株式会社 電子機器、制御方法及びプログラム
JP2016207174A (ja) * 2015-04-28 2016-12-08 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置
US10336344B2 (en) 2016-02-16 2019-07-02 Toyota Jidosha Kabushiki Kaisha Vehicle control apparatus
EP3208167A1 (en) 2016-02-16 2017-08-23 Toyota Jidosha Kabushiki Kaisha A vehicle control apparatus
EP3235698A1 (en) 2016-04-13 2017-10-25 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
DE102017107894A1 (de) 2016-04-13 2017-10-19 Toyota Jidosha Kabushiki Kaisha Fahrzeugfahrsteuerungsvorrichtung
EP4067189A2 (en) 2016-04-13 2022-10-05 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
EP4049909A1 (en) 2016-04-13 2022-08-31 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
US10597030B2 (en) 2016-04-13 2020-03-24 Toyota Jidosha Kabushiki Kaisha Vehicle running control apparatus
US10994724B2 (en) 2016-04-13 2021-05-04 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
US10676025B2 (en) 2016-05-25 2020-06-09 Denso Corporation Safe driving assistance device and safe driving assistance program product
US11052883B2 (en) 2016-06-24 2021-07-06 Toyota Jidosha Kabushiki Kaisha Vehicle traveling control apparatus
US11643057B2 (en) 2016-06-24 2023-05-09 Toyota Jidosha Kabushiki Kaisha Vehicle traveling control apparatus
US10836365B2 (en) 2016-06-24 2020-11-17 Toyota Jidosha Kabushiki Kaisha Vehicle traveling control apparatus
DE102017113824B4 (de) * 2016-06-24 2020-08-20 Toyota Jidosha Kabushiki Kaisha Fahrzeugfahrsteuervorrichtung
DE102017113824A1 (de) 2016-06-24 2017-12-28 Toyota Jidosha Kabushiki Kaisha Fahrzeugfahrsteuervorrichtung
DE102017113823A1 (de) 2016-06-24 2017-12-28 Toyota Jidosha Kabushiki Kaisha Fahrzeugfahrsteuervorrichtung
US10351109B2 (en) 2016-06-24 2019-07-16 Toyota Jidosha Kabushiki Kaisha Vehicle traveling control apparatus
DE102017114308A1 (de) 2016-06-30 2018-01-04 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuerungsvorrichtung
DE102017117471A1 (de) 2016-08-04 2018-02-08 Toyota Jidosha Kabushiki Kaisha Fahrzeugfahrsteuerungsvorrichtung
DE102017117472A1 (de) 2016-08-04 2018-02-08 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuervorrichtung
US10220825B2 (en) 2016-08-04 2019-03-05 Toyota Jidosha Kabushiki Kaisha Vehicle control apparatus
EP3279884A1 (en) 2016-08-04 2018-02-07 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
DE102017117244A1 (de) 2016-08-04 2018-02-08 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuergerät
US10000236B2 (en) 2016-08-04 2018-06-19 Toyota Jidosha Kabushiki Kaisha Vehicle control device
US10377366B2 (en) 2016-08-04 2019-08-13 Toyota Jidosha Kabushiki Kaisha Vehicle control device
US10589743B2 (en) 2016-08-04 2020-03-17 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
EP3281816A1 (en) 2016-08-08 2018-02-14 Toyota Jidosha Kabushiki Kaisha Vehicle traveling control apparatus
DE102017112105A1 (de) 2016-08-08 2018-02-08 Toyota Jidosha Kabushiki Kaisha Fahrzeugfortbewegungssteuergerät
US10239537B2 (en) 2016-08-08 2019-03-26 Toyota Jidosha Kabushiki Kaisha Vehicle traveling control apparatus
WO2018047374A1 (ja) * 2016-09-09 2018-03-15 アルプス電気株式会社 画像処理装置および画像処理方法
JP2018163561A (ja) * 2017-03-27 2018-10-18 日産自動車株式会社 ドライバモニタ方法及びドライバモニタ装置
JP2017201537A (ja) * 2017-06-08 2017-11-09 Kddi株式会社 電子機器、制御方法及びプログラム
JP2017201539A (ja) * 2017-06-08 2017-11-09 Kddi株式会社 電子機器、制御方法及びプログラム
CN107331123A (zh) * 2017-08-31 2017-11-07 合肥风生水起信息科技有限公司 一种基于太阳能的车辆疲劳驾驶预警系统及方法
JP2021106005A (ja) * 2018-12-28 2021-07-26 Kddi株式会社 電子機器、制御方法及びプログラム
JP2019091469A (ja) * 2018-12-28 2019-06-13 Kddi株式会社 電子機器、制御方法及びプログラム
JP7069374B2 (ja) 2018-12-28 2022-05-17 Kddi株式会社 電子機器、制御方法及びプログラム
US11299153B2 (en) 2019-03-22 2022-04-12 Toyota Jidosha Kabushiki Kaisha Vehicle traveling control apparatus
US11110934B2 (en) 2019-07-16 2021-09-07 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
JP2021014227A (ja) * 2019-07-16 2021-02-12 株式会社Subaru 車両の乗員保護システム
JP7285155B2 (ja) 2019-07-16 2023-06-01 株式会社Subaru 車両の乗員保護システム
US11679777B2 (en) 2019-07-16 2023-06-20 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
US11787435B2 (en) 2020-06-19 2023-10-17 Toyota Jidosha Kabushiki Kaisha Vehicle control device
US11897507B2 (en) 2020-06-19 2024-02-13 Toyota Jidosha Kabushiki Kaisha Vehicle control device
DE102021124920B4 (de) 2020-09-29 2023-05-04 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuerungsgerät
DE102021124920A1 (de) 2020-09-29 2022-03-31 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuerungsgerät
US11932272B2 (en) 2021-10-21 2024-03-19 Toyota Jidosha Kabushiki Kaisha Vehicle abnormality handling support device
DE102023106171A1 (de) 2022-03-14 2023-09-14 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuerungsgerät

Also Published As

Publication number Publication date
US8907797B2 (en) 2014-12-09
US20130162794A1 (en) 2013-06-27
JP5549721B2 (ja) 2014-07-16

Similar Documents

Publication Publication Date Title
JP5549721B2 (ja) ドライバモニタ装置
US10011216B1 (en) Auto turn signal initiation based on lane change and driver history
US10298741B2 (en) Method and device for assisting in safe driving of a vehicle
JP5761074B2 (ja) 撮像制御装置及びプログラム
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
JP6605615B2 (ja) 画像処理装置、撮像装置、カメラモニタシステム、および画像処理方法
US20180201276A1 (en) Driver condition detection system
JP2017016568A (ja) 運転者異常検出装置
KR20120074820A (ko) 얼굴 인식 기능을 이용한 차량 제어 시스템
JP2017222271A (ja) 車両用表示制御装置
JP2017219885A (ja) 乗員状態監視装置
JP6717330B2 (ja) 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム
KR20150061668A (ko) 졸음운전 경보 장치 및 그 방법
US11881054B2 (en) Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle
JP4888382B2 (ja) 異常検出装置および方法、並びに、プログラム
JP2019095892A (ja) 車両用運転支援装置、および車両用運転支援プログラム
US11807264B2 (en) Driving assistance apparatus, driving assistance method, and medium
WO2020179656A1 (ja) 運転者監視装置
KR20130131719A (ko) 차량용 얼굴인증 장치 및 방법
KR101844243B1 (ko) 스마트폰 카메라를 이용한 운전자 상태 확인시스템 및 그 방법
JP2019087017A (ja) ドライバ状態検出装置
JP6950597B2 (ja) 車載機、運転評価システム、情報処理方法、及びプログラム
TWI501759B (zh) 盲人行動記錄分析與導航系統
TWI430901B (zh) 車輛管理監控系統及其方法
TWI741892B (zh) 車內駕駛監測系統

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140505

R151 Written notification of patent or utility model registration

Ref document number: 5549721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250