JP2008181327A - 居眠り防止装置及び方法 - Google Patents

居眠り防止装置及び方法 Download PDF

Info

Publication number
JP2008181327A
JP2008181327A JP2007014135A JP2007014135A JP2008181327A JP 2008181327 A JP2008181327 A JP 2008181327A JP 2007014135 A JP2007014135 A JP 2007014135A JP 2007014135 A JP2007014135 A JP 2007014135A JP 2008181327 A JP2008181327 A JP 2008181327A
Authority
JP
Japan
Prior art keywords
time
alarm
eye
driver
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007014135A
Other languages
English (en)
Other versions
JP4400624B2 (ja
Inventor
Satoshi Nakakoshi
聡 中越
Kenji Kimura
賢治 木村
Okombi Bertin
ベルタン オコンビ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2007014135A priority Critical patent/JP4400624B2/ja
Priority to AT08702299T priority patent/ATE540615T1/de
Priority to PCT/IB2008/000150 priority patent/WO2008090451A2/en
Priority to US12/524,431 priority patent/US8537000B2/en
Priority to EP08702299A priority patent/EP2117432B1/en
Priority to CN2008800029727A priority patent/CN101588757B/zh
Publication of JP2008181327A publication Critical patent/JP2008181327A/ja
Application granted granted Critical
Publication of JP4400624B2 publication Critical patent/JP4400624B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Abstract

【課題】車両前方物体と自車との衝突危険状態が検出された場合に出力される警報の出力タイミングを適切に変化させること。
【解決手段】本発明による居眠り防止装置は、車両前方物体と自車との衝突危険状態が検出された場合に、ブザー240を介して警報を出力するPCS・ECU230と、警報の出力タイミングが通常モード時よりも早められる警報前出しモードを形成する警報制御ECU110と、運転者の眼の状態を監視するドライバモニターカメラ212及びドライバモニターECU210とを備え、警報制御ECU110は、運転者の閉眼時間dが第1閾値dTh以上となった場合に、前記警報前出しモードを形成し、その後の閉眼発生時の運転者の閉眼時間dが前記第1閾値dThよりも小さい第2閾値ldThより小さくなるまで、前記警報前出しモードを維持することを特徴とする、
【選択図】図1

Description

本発明は、車両前方物体と自車との衝突危険状態が検出された場合に出力される警報の出力タイミングを適切に変化させることが可能な居眠り防止装置及び方法に関する。
従来から、自車両の運転速度を検出する自車車速検出手段と、先行車両の運転速度を検出する先行車車速検出手段と、自車両と先行車両との間の車間距離を検出する車間距離検出手段と、前記車間距離に対して、先行車に対する自車両の相対速度が予め定めた許容相対速度以上になったとき、前記運転者に警報を発する警報発生手段と、前記運転者のわき見運転や居眠り運転を検出する運転状態検出手段と、を備え、わき見運転や居眠り運転が検出されたときは前記許容相対速度を低く補正し、その補正許容相対速度以上になったとき前記警報を発するようにしたことを特徴とする先行車両接近警報装置が知られている(例えば、特許文献1参照)。この特許文献1に記載の発明では、居眠り運転が検出された場合、許容相対速度が低く補正されることで、警報の出力タイミングが通常モード時よりも早められる警報前出しモードが形成されることになる。
特許第2583335号公報
特許文献1に記載の発明では、脇見状態及び居眠り状態を同列的に扱い、脇見状態や居眠り状態が検出されると、警報前出しモードが形成されるが、その後、当該脇見状態や居眠り状態が検出されなくなった際に、直ちに警報前出しモードが解除されて通常モードに復帰する構成となっている。
しかしながら、脇見状態及び居眠り状態は本来的に特性の異なるものであり、居眠り状態が検出されなくなった場合でも、眠気が継続していて警報前出しモードを維持すべき状況がありうる。即ち、一般的に、居眠り状態が一旦検出されると、その後居眠り状態が検出されなくなった場合でも、実際には強い眠気に襲われているのに何とか眼を開けている可能性があるので、かかる点を考慮して警報の出力タイミングを適切に変化させることが望ましい。他方、居眠り状態が一旦検出された後、長期間にわたって警報前出しモードを維持すると、警報が必要以上に早めに出力されてしまい、運転者に警報の煩わしさを与えてしまう虞がある。
そこで、本発明は、車両前方物体と自車との衝突危険状態が検出された場合に出力される警報の出力タイミングを適切に変化させることが可能な居眠り防止装置及び方法の提供を目的とする。
上記目的を達成するため、第1の発明に係る居眠り防止装置は、車両前方物体と自車との衝突危険状態が検出された場合に、警報を出力する警報出力手段と、
前記警報出力手段による警報の出力タイミングが通常モード時よりも早められる警報前出しモードを形成する警報タイミング変更手段と、
運転者の眼の状態を監視し、運転者の眼の閉じられている時間を計測する閉眼時間測定手段とを備え、
前記警報タイミング変更手段は、前記閉眼時間測定手段により計測される閉眼時間が第1閾値以上となった場合に、前記警報前出しモードを形成し、その後の閉眼発生時に前記閉眼時間測定手段により計測される閉眼時間(以下、「後続閉眼時間」という)が前記第1閾値よりも小さい第2閾値より小さくなるまで、前記警報前出しモードを維持することを特徴とする。
第2の発明は、第1の発明に係る居眠り防止装置において、
前記後続閉眼時間は、所定期間において前記閉眼時間測定手段により計測された閉眼時間の最大値であることを特徴とする。
第3の発明は、第2の発明に係る居眠り防止装置において、
前記所定期間は可変値とされ、車両が高速道路を走行している際の前記所定期間の方が、車両が一般道路を走行している際の前記所定期間よりも長いことを特徴とする。
第4の発明は、車両前方物体と自車との衝突危険状態が検出された場合に出力される警報の出力タイミングを変化させる居眠り防止方法であって、
運転者の眼の状態を監視して、運転者の眠気度合いを表すことが可能な第1指標値の時系列を出力する第1指標値出力段階と、
前記第1指標値に対する第1閾値を設定する段階と、
前記第1指標値出力段階にて出力される第1指標値が前記第1閾値を超えた場合に、前記警報の出力タイミングが通常モード時よりも早められる警報前出しモードを形成する警報前出しモードを形成する段階と、
前記前出し状態形成段階後に運転者の眼の状態を監視して、運転者の眠気度合いを表すことが可能な第2指標値の時系列を出力する第2指標値出力段階と、
前記第2指標値に対する閾値であって、前記第1閾値に比べて低い運転者の眠気度合いを検出することが可能な閾値を、第2閾値として設定する段階と、
前記第2指標値出力段階にて出力される第2指標値が前記第2閾値をより小さくなるまで、前記警報前出しモードを維持する段階とを備えることを特徴とする。
第5の発明は、第4の発明に係る居眠り防止方法において、
前記第1指標値は、閉眼時間、現時点から所定時間前までの所定期間に亘る閉眼時間の積算時間、該所定期間に対する該積算時間の割合、及び、現時点から所定時間前までの所定期間における閉眼時間が所定閾値を超える閉眼の発生回数、のうちのいずれか1つであることを特徴とする。
第6の発明は、第4又は5の発明に係る居眠り防止方法において、
前記第2指標値は、閉眼時間、現時点から所定時間前までの所定期間における閉眼時間の積算時間、該所定期間に対する該積算時間の割合、及び、現時点から所定時間前までの所定期間における閉眼時間が所定閾値を超える閉眼の発生回数、のうちのいずれか1つであることを特徴とする。
本発明によれば、車両前方物体と自車との衝突危険状態が検出された場合に出力される警報の出力タイミングを適切に変化させることが可能な居眠り防止装置及び方法が得られる。
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
図1は、本発明の一実施例に係る居眠り防止装置を含む警報システムの主要構成を例示的に示すシステム構成図である。本実施例の居眠り防止装置は、警報制御ECU110、ドライバモニターECU210、ドライバモニターカメラ212、PCS(pre-crash safety)・ECU230、及びブザー240を含む。
警報制御ECU110は、ハードウェア構成としては、適切なプロセッサないしマイクロコンピューターを中心に構成され、以下で説明する各種処理を行うCPUや、以下で説明する各種処理を行うために用いられるプログラム及びデータが格納されたROM、演算結果等を格納する読書き可能なRAM、タイマ、カウンタ、入力インターフェイス、及び出力インターフェイス等を有する。尚、他のECU210、230についてもハードウェア構成は同様であってよいが、当然ながら、ROMに記憶されるプログラムやデータの内容(ソフトウェア構成)については、処理内容に相違に応じて異なる。
警報制御ECU110には、適切なバスを介してドライバモニターECU210が接続され、ドライバモニターECU210には、ドライバモニターカメラ212が接続される。また、警報制御ECU110には、例えばCAN(controller area network)に準拠したバスを介して、PCS・ECU230が接続され、PCS・ECU230には、レーダセンサ280及びブザー240が接続される。また、警報制御ECU110には、例えばCANに準拠したバスを介して、ブレーキECU250が接続されてよく、この場合、ブレーキECU250には、ブレーキアクチュエータ260及び車輪側センサ270が接続される。尚、これらの接続態様は、必ずしも有線である必要はなく、一部若しくは全部が無線通信路により実現されてもよい。また、各ECU110、210、230は、便宜上別々のユニットに構成されているが、あるECUの機能の一部若しくは全部が他のECUにより実現されてもよいし、あるECUの機能の一部が新たな別のECUにより実現されてもよい。
レーダセンサ280は、例えば車両のフロントグリル付近に若しくはフロントバンパ内部に車両前方物体を監視するように配設されてよい。レーダセンサ280は、検出波を放射し、その放射された検出波のうち、レーダセンサ280の検出ゾーン内の車両前方物体(典型的には、先行車)によって反射した検出波を受けることにより、車両前方物体の自車からの距離と、車両前方物体の自車に対する相対的な方向とを検知する。レーダセンサ280が放射する検出波としては、光波(例えば、レーザ波)や電波(例えば、ミリ波)、音波(例えば、超音波)であってよい。また、レーダセンサ280は、車両後方及び/又は車両側方を監視するように複数配設されてもよい。また、レーダセンサ280に代えて又はそれに加えて、画像センサを用いて車両前方及び/又は車両後方及び/又は車両側方を監視してもよい。
PCS・ECU230は、レーダセンサ280から所定周期毎に供給される車両前方物体の情報に基づいて、車両前方物体と自車との相対関係を監視し、車両前方物体と自車との衝突危険状態を検出する。本例では、PCS・ECU230は、所定周期毎に、レーダセンサ280からの車両前方物体の情報に基づいて、車両前方物体と自車との車間時間を算出・監視し、当該算出した車間時間が所定閾値Th(以下、「プリクラッシュ判定閾値」という)を下回った場合に、車両前方物体と自車との衝突危険状態を検出する。ここで、車間時間とは、現時点から車両前方物体と自車との衝突が生じると予測される衝突予測時点までの時間であり、簡易的には、車両前方物体と自車との車間距離を、車両前方物体と自車との相対速度で除算して算出されてよい。プリクラッシュ判定閾値Thは、通常モード時には(即ち、後述の警報前出しモード時でない場合には)、デフォルト値T0が用いられる。デフォルト値T0は、好ましくは、衝突予測時点よりも十分手前であって警報出力の意義が高い時間範囲内に設定され、例えば衝突不可避時点から衝突予測時点までの時間よりも長い時間とされてよい。かかるデフォルト値T0の設定態様は、衝突不可避状態が検出された時点でブレーキECU250により強制的に急制動や図示しない自動操舵機構により衝突回避操舵を行うような構成に好適である。この場合には、衝突不可避状態を警告により運転者に通知しても、運転者自身により衝突回避操作は意味を成さず、警報出力の意義が少ないためである。但し、デフォルト値T0は、衝突不可避時点から衝突予測時点までの時間であってもよい。
尚、衝突危険状態の検出条件には、他の条件が付加されてもよい。例えば、車両前方物体と自車との速度ベクトルのなす角度が所定角度以内であることや、車両前方物体と自車との横方向のずれ量(自車の進行方向に垂直な方向の相対距離)が所定値以内であることや、自車の速度が所定値以上であること等が、他の条件として付加されてもよい。
PCS・ECU230は、車両前方物体と自車との衝突危険状態を検出すると、ブザー240を介して衝突危険警報を出力する。尚、衝突危険警報の出力形態は、音声に限られず、例えばシートやステアリングハンドルに埋設された振動体を振動させたり、シートやステアリングハンドルに埋設された温度変化手段(例えばヒータやペルチェ素子)により熱的な刺激を付与したり、エアコンの吹き出し口から急激に多量の風量の風を送風したり、運転者に向けて光を自動的に照射して注意を喚起したり、ブレーキECU250によりブレーキアクチュエータ260を駆動させて強制的な制動により注意を喚起したりすることを含んでよい。尚、PCS・ECU230は、衝突危険警報を出力している間、その旨を知らせる信号を警報制御ECU110に供給する。これにより、警報制御ECU110は、現在の衝突危険警報の出力状態(ON又はOFF状態)を把握することができる。
ドライバモニターカメラ212は、例えばカラー又は赤外線感応CCD(charge-coupled device)センサアレイを備える。ドライバモニターカメラ212は、運転者の前面(例えば運転者の顔部を前方から)を捕捉可能なように、車両の適切な箇所に設けられる。例えば、ドライバモニターカメラ212は、車両のインストルメントパネルのダッシュボード、ステアリングコラムやルームミラー等に設置される。ドライバモニターカメラ212は、車両走行中にリアルタイムに運転者の顔部の画像(以下、「顔画像」という)を取得し、典型的には30fps(frame per second)のストリーム形式で、ドライバモニターECU210に供給するものであってよい。
ドライバモニターECU210は、ドライバモニターカメラ212から随時入力される顔画像を画像処理して、運転者の瞼の開き量(瞼開度)に基づいて、運転者の眼が閉じられているか否かを検出する。画像処理に基づいて運転者の眼が閉じられているか否かを検出する手法は、多種多様であり、任意の適切な手法が利用されてよい。例えば、顔画像に対して、アファイン変換等のより顔向きや顔大きさを補正し、次いでエッジ処理後、顔部の各パーツ(口、鼻、目)のマッチング処理により、顔部の各パーツが特定される。次いで、目のパーツの特徴量、即ち、本例ではまぶたの境界線の座標列に基づいて、上下の瞼間の最大距離(瞼開度)を得る。そして、瞼開度が所定基準値以下の場合には、運転者の眼が閉じられていると判定する。尚、この場合、所定基準値は運転者毎に適合される値であってよい。即ち、所定基準値は、官能評価を行うことで予め導出しておき、運転者毎にデータベース化しておく。ドライバモニターECU210は、各画像フレームに対して上記の判定を行い、或いは、所定数の連続した画像フレーム毎(但し、通常の瞬き間の時間よりも短い分解能の周期毎)に上記の判定を行い、判定周期ΔT毎に、判定結果を警報制御ECU110に供給する。本例では、ドライバモニターECU210は、運転者の眼が閉じられていると判定した判定周期毎に、その旨を表すトリガ信号(以下、「閉眼トリガ」という)を、警報制御ECU110に供給するものとする。
次に、本実施例による警報制御ECU110の特徴的な構成について説明していく。
警報制御ECU110は、ドライバモニターECU210から随時入力される閉眼トリガに基づいて、運転者の眼の閉じられている閉眼時間d[sec]をリアルタイムに算出する。具体的には、警報制御ECU110は、ある判定周期で閉眼トリガが入力されると、閉眼カウンタ値C(初期値ゼロ)をインクリメントし、その後の判定周期で閉眼トリガが入力される毎に、閉眼カウンタ値Cをインクリメントしていく。警報制御ECU110は、基本的には、連続した判定周期で入力される閉眼トリガをカウントアップしていくが、一定の瞬時的な閉眼トリガの不連続が生じた場合にも閉眼カウンタ値Cを保持するフィルタを有していてもよい。そして、警報制御ECU110は、閉眼カウンタ値Cに判定周期ΔTを乗算することで、運転者の閉眼状態の継続時間、即ち閉眼時間d[sec]を算出する。
警報制御ECU110は、算出した閉眼時間dが所定閾値dTh(以下、「第1閾値dTh」という)を超えた場合には、プリクラッシュ判定閾値Thを、デフォルト値T0から、PCS・ECU230により衝突危険状態が検出され易くなる値に変更する。具体的には、警報制御ECU110は、プリクラッシュ判定閾値Thをデフォルト値T0より大きい値T1(例えばT0+1.5[sec])に変更する。第1閾値dThは、例えば1〜3[sec]の範囲内の適切な値であってよい。
従って、本実施例では、運転者の閉眼時間が第1閾値dThを超えた場合には、プリクラッシュ判定閾値TがT0からT1へと増加されることになるので、その分だけ、車間時間がプリクラッシュ判定閾値Thを下回わるタイミングが早くなる。即ち、警報の出力タイミングが通常モード時に比べて早くなる、いわゆる警報前出しモードが形成される。尚、警報前出しモードが形成された場合であっても、PCS・ECU230により衝突危険状態が検出されない限り、衝突危険警報が出力されることはない。
このような警報前出しモードが形成されると、通常モード時に比べて早めに衝突危険警報が出力されるので、実際にPCS・ECU230により衝突危険状態が検出されて衝突危険警報が出力された際には、運転者は、当該衝突危険警報により覚醒するまである程度時間がかかったとしても、覚醒後に、当該衝突危険状態を回避するための適切な危険回避操作を行う時間的な余裕を持つことができる。
警報制御ECU110は、また、上述の如く算出した閉眼時間dの時系列に基づいて、所定の時間幅ΔTwの時間ウインドウを用いて、現時点から時間ΔTw前までの区間における最長の閉眼時間ld[sec](以下、これを単に「最長閉眼時間ld」という)を算出する。時間幅ΔTwは、例えば5〜35[sec]の間の適切な値が用いられてよい。
警報制御ECU110は、算出した最長閉眼時間ldが所定閾値ldTh(以下、「第2閾値ldTh」という)未満となった場合には、プリクラッシュ判定閾値Thを、デフォルト値T0に変更又は維持する。第2閾値ldThは、ゼロより大きく第1閾値dThより小さい値であり、例えば1[sec]であってよい。
従って、本実施例では、運転者の閉眼時間dが第1閾値dThを超えて警報前出しモードが形成されると、その後、最長閉眼時間ldが所定閾値ldThを下回るまで、警報前出しモードが維持される。そして、最長閉眼時間ldが所定閾値ldThを下回った時点で初めて、プリクラッシュ判定閾値Thがデフォルト値T0に戻される。即ち、警報前出しモードから通常モードに復帰する。
図2は、閉眼時間dの時系列の一例を示すと共に、本実施例により実現される警報前出しモードと通常モードとの間の遷移態様を示す図である。
図2に示す例では、時刻t=t1にて、時刻t=t0から継続する閉眼時間d(計測開始時から3番目の閉眼の閉眼時間d)が第1閾値dThを超えて、通常モードから警報前出しモードに遷移する。本実施例では、時刻t=t1以後、時刻t=t2で閉眼時間dが第1閾値dThを下回るにも拘らず、時刻t=t3となるまでは、最長閉眼時間ldが第2閾値ldThを下回ることがないことから、警報前出しモードが維持される。時刻t=t3では、最長閉眼時間ldが第2閾値ldThを下回り、警報前出しモードから通常モードに復帰する。
このように本実施例によれば、閉眼時間dが第1閾値dThを超えるような事象が検出された場合には、以後、閉眼時間dが第1閾値dThを下回ったとしても(即ち、眼が開けられた場合でも)、最長閉眼時間ldが第2閾値ldThを下回らない限り、実際には強い眠気に襲われているのに何とか眼を開けている可能性があると判断して(本来の正常な覚醒状態に復帰していないと判断して)、警報前出しモードが維持される。これにより、運転者の眠気が依然として継続しているときに警報前出しモードから通常モードに復帰してしまう可能性を適切に低減することができる。
また、本実施例によれば、閉眼時間dが第1閾値dThを超えるような事象が検出された場合であって、その後、最長閉眼時間ldが第2閾値ldThを下回った際に、警報前出しモードから通常モードに復帰するので、警報前出しモードが無用に長時間継続することを防止することができる。即ち、本実施例によれば、最長閉眼時間ldが第2閾値ldThを下回った場合には、本来の正常な覚醒状態に復帰したと判断して、警報前出しモードから通常モードに復帰するので、運転者が正常な覚醒状態にあるときに警報前出しモードが形成されてしまう可能性を適切に低減することができる。
次に、本実施例による警報制御ECU110の具体的な主要動作の一例を、図3及び図4のフローチャートを参照して説明する。図3及び図4に示す処理は、車両のイグニッションスイッチがオンにされてからオフにされるまでの間、所定周期毎(典型的には、上述のドライバモニターECU210の判定周期ΔT毎)に繰り返し実行される。また、図3及び図4に示す処理は、PCS・ECU230による衝突危険警報の出力状態がオフ状態である間、実行されるものとする。これは、PCS・ECU230による衝突危険警報が出力されているオン状態では、警報前出しモードと通常モードとの間でモードを切り替えても意味をなさないからである。
ステップ10では、警報制御ECU110は、各種フラグを初期化する。ここでは、オンセットフラグ、リセットフラグ及び状態フラグの3つのフラグが用いられ、初期化により、オンセットフラグがオフにセットされ、リセットフラグがオンにセットされ、状態フラグが“通常”にセットされる。尚、実際には、フラグの状態は、“0”、“1”の2値により表現されてよい。また、警報制御ECU110は、閉眼カウンタ値Cについてもゼロに初期化する。本ステップ10の処理は、初回の周期だけ実行される。
続くステップ12では、警報制御ECU110は、最新の運転者の閉眼状態を表す情報を取得する。具体的には、警報制御ECU110は、今回周期でのドライバモニターECU210からの閉眼トリガの入力の有無をチェックする。
続くステップ14では、警報制御ECU110は、今回周期でのドライバモニターECU210からの閉眼トリガの入力の有無に応じて、閉眼時間dを算出すると共に、算出した閉眼時間dの時系列に基づいて、最長閉眼時間ldを算出する。具体的には、警報制御ECU110は、今回周期でドライバモニターECU210から閉眼トリガが入力された場合には、閉眼カウンタ値Cをインクリメントし、その結果得られる閉眼カウンタ値Cに基づいて、今回周期(i)での閉眼時間d(i)を算出する。今回周期でドライバモニターECU210から閉眼トリガが入力されない場合には、警報制御ECU110は、今回周期の閉眼時間d(i)をゼロとし、メモリ(図示せず)に記憶する。このようにして、メモリには、各周期で算出された閉眼時間dの時系列が蓄積・記憶されていく。警報制御ECU110は、メモリ内の閉眼時間dの時系列に基づいて、今回周期から時間幅ΔTw前までの各周期における閉眼時間dの最大値を、今回周期(i)での最長閉眼時間ld(i)として算出(抽出)する。
続くステップ16では、警報制御ECU110は、上記のステップ14にて得られた今回周期(i)の閉眼時間d(i)が第1閾値dThを超えたか否かを判定する。今回周期(i)の閉眼時間d(i)が第1閾値dThを超えた場合には、ステップ18に進み、それ以外の場合には、ステップ20に進む。
ステップ18では、警報制御ECU110は、オンセットフラグをオンにセットし、ステップ22に進む。
ステップ20では、警報制御ECU110は、オンセットフラグをオフにセットし、ステップ22に進む。
ステップ22では、警報制御ECU110は、上記のステップ14にて得られた今回周期(i)の最長閉眼時間ld(i)が第2閾値ldThを下回ったか否かを判定する。今回周期(i)の最長閉眼時間ld(i)が第2閾値ldThを下回った場合には、ステップ24に進み、それ以外の場合には、ステップ26に進む。
ステップ24では、警報制御ECU110は、リセットフラグをオンにセットし、図4のステップ28に進む。
ステップ26では、警報制御ECU110は、リセットフラグをオフにセットし、ステップ28に進む。
ステップ28では、警報制御ECU110は、現在の状態フラグの状態を参照する。今回周期(i)での状態フラグが“通常”である場合には(ステップ30)、ステップ32に進む。一方、今回周期(i)での状態フラグが“前出し”である場合には(ステップ36)、ステップ38に進む。
ステップ32では、警報制御ECU110は、オンセットフラグがオンであり、且つ、リセットフラグがオフであるか否かを判定する。オンセットフラグがオンであり、且つ、リセットフラグがオフである場合には、ステップ34に進み、いずれかが満たさない場合には、図3のステップ12に戻り、次回周期(i+1)ではステップ12の処理から開始する。
ステップ34では、警報制御ECU110は、状態フラグを“通常”にセットする。これに伴い、プリクラッシュ判定閾値Thが、デフォルト値T0に設定され、PCS・ECU230は、デフォルト値T0を用いて通常モードで動作することになる。
ステップ38では、警報制御ECU110は、リセットフラグがオンであり、且つ、オンセットフラグがオフであるか否かを判定する。リセットフラグがオンであり、且つ、オンセットフラグがオフである場合には、ステップ40に進み、いずれかが満たさない場合には、図3のステップ12に戻り、次回周期(i+1)ではステップ12の処理から開始する。
ステップ40では、警報制御ECU110は、状態フラグを“前出し”にセットする。これに伴い、プリクラッシュ判定閾値Thが、デフォルト値T0より大きい値T1に設定され、PCS・ECU230は、値T1を用いて警報前出しモードで動作することになる。
次に、本実施例による居眠り防止装置を用いた実際の試験結果について説明する。
ここでは、比較例との対比により、本実施例による居眠り防止装置の有用性を説明する。この比較例では、PERCLOSと呼ばれる指標値Pを用いて通常モードと警報前出しモードが切り替えられる。即ち、指標値Pが所定閾値(本例では0.08)を超えた場合に、警報前出しモードが実現され、指標値Pが該所定閾値を下回った場合に、通常モードが実現されるものとする。指標値Pは、以下の式で表される。
Figure 2008181327
ここで、dは、i番目の閉眼に係る閉眼時間dを表す。wは、時間ウインドウの時間幅を表し、ここでは60[sec]が用いられる。従って、指標値Pは、現時点から60秒前までの区間における閉眼時間dの積算値を、wで除した値、即ち、単位時間当たりの閉眼時間の比率を表している。
図5(A)は、試験時の被験者の眠気レベルの変化を示す。ここでは、眠気レベルは、D0からD4の5段階で評価されており、眠気レベルD0は、運転者が覚醒している正常な状態を表し、眠気レベルD2は、運転者が弱い眠気を感じている状態を表し、眠気レベルD4は、運転者が強い眠気を感じている状態を表す。ここでは、眠気レベルがD3からD4にある場合に(特にD4にある場合に)警報前出しモードが形成され、且つ、眠気レベルがD3未満である場合に通常モードが形成されることが、理想的な試験結果であるとする。図5(A)に示す試験結果は、被験者の覚醒度(眠気レベル)を把握した状態で行った試験(官能評価試験)の結果であり、被験者の眠気レベルが、試験中、継続して眠気レベルがD3からD4の範囲にあったことを示している。
図5(B)は、同試験時の指標値P(PERCLOS)の時系列を示し、図5(C)は、同試験時の閉眼時間dの時系列を示し、図5(D)は、同試験時の最長閉眼時間ldの時系列を示す。尚、図5(C)では、横軸のスケールの関係上、閉眼毎の閉眼時間dが時系列で示されている。また、最長閉眼時間ldは、比較的長い時間幅ΔTw(本例では30sec)の時間ウインドウを用いて算出されている。
図6(A)は、同試験時の本実施例によるオンセットフラグの状態の時系列を示し、図6(B)は、同試験時の本実施例によるリセットフラグの状態の時系列を示し、図6(C)は、同試験時の比較例によるリセットフラグの状態の時系列を示し、図6(C)は、同試験時の本実施例による状態フラグの状態の時系列を示し、図6(E)は、同試験時の比較例による状態フラグの状態の時系列を示す。尚、比較例によるリセットフラグは、指標値Pが所定閾値(本例では0.08)を超えた場合に、“0”にセットされ、指標値Pが該所定閾値を下回った場合に、“1”にセットされるものとする。また、比較例による状態フラグは、リセットフラグの状態に応じて変化し、リセットフラグが“0”にセットされると、“1”にセットされる。状態フラグが“1”にセットされると、警報前出しモードが実現されることとする。
本実施例では、オンセットフラグは、図5(C)及び図6(A)に示すように、閉眼時間dが第1閾値dThを超えた時刻t=t1で、一回目のオン状態となり(即ちオンセットフラグが0から1に変更された状態となり)、以後、同様に計7回、オンセットフラグがオンされている。一方、リセットフラグは、図5(D)及び図6(B)に示すように、最長閉眼時間ldが試験中の全区間に亘って第2閾値ldThを下回っているので、オフ状態に維持されている。これに伴い、状態フラグは、図6(D)に示すように、時刻t=t1でのオンセットフラグのオンに対応して、時刻t=t1で“前出し”(即ち、値1)にセットされ、以後、“前出し”に維持されたままである。従って、本実施例では、時刻t=t1から警報前出しモードが継続的に維持されることになる。
比較例では、リセットフラグは、図5(B)及び図6(C)に示すように、指標値Pが所定閾値を超えた時刻t=t2で“0”にセットされる。その後、リセットフラグは、指標値Pが所定閾値を上回ったままとなるので、“0”に維持されている。これに伴い、状態フラグは、図6(E)に示すように、時刻t=t2でのオンセットフラグのオンに対応して、時刻t=t2で“前出し”(即ち、値1)にセットされ、以後、“前出し”に維持されたままである。従って、比較例では、時刻t=t2から警報前出しモードが継続的に維持されることになる。
図7は、比較的短い時間幅ΔTw(本例では10sec)の時間ウインドウを用いて場合における試験結果を示し、図7(A)は、同試験時の最長閉眼時間ldの時系列を示し、図7(B)は、同試験時の本実施例によるリセットフラグの状態の時系列を示し、図7(B)は、同試験時の本実施例による状態フラグの状態の時系列を示す。尚、他の試験結果については、図5(A),図5(C)及び図6(A)と同じである。
時間幅ΔTwを短く設定した場合には、リセットフラグは、図7(A)及び図7(B)に示すように、最長閉眼時間ldが第2閾値ldThを下回った時刻t=t3で、オンされている。状態フラグは、図7(C)に示すように、時刻t=t1でのオンセットフラグのオンに対応して、時刻t=t1で“前出し”(即ち、値1)にセットされ、以後、時刻t=t3でのリセットフラグのオンに対応して、時刻t=t3で“通常”(即ち、値0)にセットされる。従って、比較的短い時間幅ΔTw(本例では10sec)の時間ウインドウを用いて場合、本実施例では、時刻t=t1から警報前出しモードが形成され、時刻t=t3で通常モードに復帰されている。
この試験結果から、本実施例によれば、時間幅ΔTwを長く設定した場合及び時間幅ΔTwを短く設定した場合のいずれの場合でも、比較例に比べて精度良く眠気レベルがD3からD4の範囲に対応して、警報前出しモードを形成することができていることが理解できる。
図8乃至図10は、図5乃至図7で示した試験結果とは別の試験結果を示し、図8の各図は、図5の各図に対応し、図9の各図は、図6の各図に対応し、図10の各図は、図7の各図に対応している。
この別の試験では、被験者の眠気レベルは、図8(A)に示すように、試験中、継続して眠気レベルがD3からD4の範囲にあるが、時刻t=t4から時刻t=t5の区間で眠気レベルがD2まで低下している。
この別の試験結果から、本実施例によれば、時間幅ΔTwを長く設定した場合では、図9(D)に示すように、時刻t=t4から時刻t=t5の区間で通常モードに復帰できていないものの、眠気レベルがD3からD4の範囲に精度良く対応して、警報前出しモードを形成することができていることが理解できる。また、時間幅ΔTwを短く設定した場合では、図10(C)に示すように、眠気レベルがD3からD4の範囲に精度良く対応して、警報前出しモードを形成しつつ、眠気レベルがD2の範囲に精度良く対応して、通常モードを形成することができていることが理解できる。
図11は、図5乃至図10に示したような試験結果をまとめた表図である。図11において、標本数とは、官能試験と試験結果との整合性を確認した標本の個数を示し、本例では、眠気レベルがD3からD4の範囲に598個の標本があり、眠気レベルがD0からD2の範囲に881個の標本があった。
図11の最上段は、本実施例において時間幅ΔTwを長く設定した場合の試験結果を示す。本実施例において時間幅ΔTwを長く設定した場合、527/598(=88.13%)の確率で、眠気レベルがD0からD2の範囲にあることを予測できており、659/881(=74.8%)の確率で、眠気レベルがD3からD4の範囲にあることを予測できている。
図11の上から2段目は、本実施例において時間幅ΔTwを短く設定した場合の試験結果を示す。本実施例において時間幅ΔTwを短く設定した場合、574/598(=95.99%)の確率で、眠気レベルがD0からD2の範囲にあることを予測できており、598/881(=67.88%)の確率で、眠気レベルがD3からD4の範囲にあることを予測できている。
図11の上から3段目は、比較例1による試験結果を示す。ここで、比較例1とは、閉眼時間dが第1閾値dThを超えた場合に、眠気レベルがD3からD4の範囲にあると判断して警報前出しモードを形成し、閉眼時間dが第1閾値dThを下回った場合に、眠気レベルがD0からD2の範囲にあると判断して通常モードを形成する構成である。比較例1では、554/598(=92.64%)の確率で、眠気レベルがD0からD2の範囲にあることを予測できているが、451/881(=51.19%)という50%強の確率でしか、眠気レベルがD3からD4の範囲にあることを予測できていない。
図11の上から4段目(最下段)は、比較例2による試験結果を示す。ここで、比較例2とは、指標値P(PERCLOS)が所定閾値(本例では0.08)を超えた場合に、眠気レベルがD3からD4の範囲にあると判断して警報前出しモードを形成し、指標値Pが該所定閾値を下回った場合に、眠気レベルがD0からD2の範囲にあると判断して通常モードを形成する構成である。比較例1では、592/598(=99%)という高確率で、眠気レベルがD0からD2の範囲にあることを予測できているが、431/881(=48.92%)という50%を切る低確率でしか、眠気レベルがD3からD4の範囲にあることを予測できていない。
図11に示す試験結果のまとめからは、本実施例によれば、比較例1及び2に比して、眠気レベルがD3からD4の範囲に精度良く対応して、警報前出しモードを形成することができることがわかる。本実施例では、D3からD4の範囲の正解率は、時間幅ΔTwを短く設定した場合でも、67.88%であり、2/3を超える高確率であり、時間幅ΔTwを長く設定した場合では、74.8%であり、他の例の同正解率を大幅に上回っている。また、本実施例によれば、眠気レベルがD0からD2の範囲にも精度良く対応して、通常モードを形成することができることがわかる。本実施例において時間幅ΔTwを短く設定した場合では、D3からD4の範囲の正解率は、95.99%と非常に高く、時間幅ΔTwを長く設定した場合でも、88.13%であり、非常に高い確率が維持されている。
このように、本実施例によれば、上述の如く、一旦閉眼時間dが第1閾値dThを超えた場合には、その後、最長閉眼時間ldが第2閾値ldThを下回るまで、眠気レベルがD3からD4の範囲にあると判断することで、D0からD2の範囲の正解率とD3からD4の範囲の正解率の双方を高確率とすることができる。これにより、実際の運転者の眠気レベルに精度良く整合する態様で、警報前出しモードと通常モードを切り替えることができる。
ところで、図11に示す試験結果のまとめからも分かるように、最長閉眼時間ldの算出方法が相違すると(即ち、時間ウインドウの時間幅ΔTwを変化させると)、D0からD2の範囲の正解率とD3からD4の範囲の正解率は、高い確率を維持しながらも有意に変化する。従って、本実施例において、車両の走行状態や、運転者の状態、周囲環境の状態等に応じて、時間ウインドウの時間幅ΔTwを変化させることも有用となる。
例えば、本実施例において、警報制御ECU110は、例えばナビゲーションECU290からの自車位置情報と地図情報に基づいて、車両が高速道路を走行している状況であると判断した場合には、時間ウインドウの時間幅ΔTwを長い時間幅(例えば30sec)に設定し、車両が一般道路を走行している状況であると判断した場合には、時間ウインドウの時間幅ΔTwを短い時間幅(例えば10sec)に設定することとしてもよい。これは、高速道路走行中の方が一般道路走行中に比べて単調な運転となりやすく、その分だけ眠気が継続的に維持される可能性が高いからである。この場合、車両が走行している道路の種別は、ナビゲーションECU290から情報に限らず、車載カメラ(図示せず)による周囲環境の画像認識結果に基づく情報や、路車間通信等で得られる情報に基づいて判断されてもよい。また、車両が高速道路を走行している状況は、車輪速センサ270等のような車速を検出できるセンサからの情報に基づいて判断されてもよい。例えば、日本では一般的に高速道路の法定速度は、80km/hであるので、車速が70km/hを超えた場合には、時間ウインドウの時間幅ΔTwを長い時間幅(例えば30sec)に設定し、車速が70km/hを下回った場合には、時間ウインドウの時間幅ΔTwを短い時間幅(例えば10sec)に設定することとしてもよい。
尚、本実施例においては、添付の特許請求の範囲における「警報出力手段」は、PCS・ECU230及びブザー240により協働的に実現され、同特許請求の範囲における「閉眼時間測定手段」は、ドライバモニターカメラ212、ドライバモニターECU210及び警報制御ECU110により協働的に実現され、同特許請求の範囲における「警報タイミング変更手段」は、警報制御ECU110により実現されており、同特許請求の範囲における「所定期間」は、時間幅ΔTwに対応する。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例では、閉眼時間dが第1閾値dThを超えた場合に、警報前出しモードを形成し、その後、最長閉眼時間ldが第2閾値ldThを下回るまで、警報前出しモードを維持しているが、本発明はこれに限られず、閉眼時間dに代えて、運転者の眠気度合いを表すことが可能な他の指標値を用いてもよい。即ち、他の指標値が所定閾値Th2を超えた場合に、警報前出しモードを形成し、その後、最長閉眼時間ldが第2閾値ldThを下回るまで、警報前出しモードを維持することとしてもよい。この場合、他の指標値としては、現時点から所定時間前までの所定期間における閉眼時間の積算時間、該所定期間に対する該積算時間の割合(上述のPERCLOSに相当)、及び、現時点から所定時間前までの所定期間における閉眼時間が所定閾値を超える閉眼の発生回数(例えば所定時間当たりの、閉眼時間dが第1閾値dThを超える閉眼の頻度)が用いられてもよい。但し、この場合、他の指標値に対する所定閾値Th2は、最長閉眼時間ldに対する第2閾値ldThよりも実質的に高い眠気レベルを検出する値に設定される。
また、上述の実施例では、閉眼時間dが第1閾値dThを超えた場合に、警報前出しモードを形成し、その後、最長閉眼時間ldが第2閾値ldThを下回るまで、警報前出しモードを維持しているが、本発明はこれに限られず、最長閉眼時間ldに代えて、運転者の眠気度合いを表すことが可能な他の指標値を用いてもよい。即ち、閉眼時間dが第1閾値dThを超えた場合に、警報前出しモードを形成し、その後、他の指標値が所定閾値Th3を下回るまで、警報前出しモードを維持することとしてもよい。この場合、他の指標値としては、現時点から所定時間前までの所定期間における閉眼時間の積算時間、該所定期間に対する該積算時間の割合(上述のPERCLOSに相当)、及び、現時点から所定時間前までの所定期間における閉眼時間が所定閾値を超える閉眼の発生回数(例えば所定時間当たりの、閉眼時間dが第1閾値dThを超える閉眼の頻度)が用いられてもよい。但し、この場合、他の指標値に対する所定閾値Th3は、閉眼時間dに対する第1閾値dThよりも実質的に低い眠気レベルを検出する値に設定される。
また、上述の実施例では、簡易的な構成を実現するために、運転者の眠気度合いを表すことが可能な指標値として、閉眼時間に関連するものだけを用いているが、警報前出しモードを形成する条件又は通常モードに復帰する条件に、あくびの数や、脳波や心拍等のような各種生理的な特徴量に係る指標値を追加的に併用してもよい。
また、例えば、上述の実施例では、衝突危険状態は、簡易的に車間時間と所定閾値Thの関係に基づいて検出されているが、他の方法で検出されてもよい。例えば車両前方物体と自車との車間距離と、車両前方物体と自車との相対速度とで規定された2次元マップを用いて、検出されてもよい。この場合、2次元マップには、例えば衝突危険状態領域と非衝突危険状態領域とを区分ける閾値曲線が規定され、検出された現在の車間距離と相対速度が、閾値曲線で区分けされた衝突危険状態領域に属した場合に、衝突危険状態が検出されることとしてもよい。この場合、警報前出しモードは、通常モード時の閾値曲線を敏感な方向に(衝突危険状態領域が拡大する方向に)変更することで実現されてよい。また、衝突危険状態は、車間距離や相対速度のような物理量以外にも、加速度(減速度)等のような他の物理量を用いて検出されてもよい。
また、上述の実施例では、車両前方物体と自車との相対関係を表わす情報を、レーダセンサ280から取得しているが、車両前方物体が双方向通信可能な通信機を備えている場合には、当該通信(例えば車車間通信)を介して同様の情報を取得してもよい。
本発明の一実施例に係る居眠り防止装置を含む警報システムの主要構成を例示的に示すシステム構成図である。 閉眼時間dの時系列の一例を示すと共に、本実施例により実現される警報前出しモードと通常モードとの間の遷移態様を示す図である。 警報制御ECU110の具体的な主要動作の一例を示すフローチャート(その1)である。 警報制御ECU110の具体的な主要動作の一例を示すフローチャート(その2)である。 試験結果の各種データの時系列を示す図である。 試験結果の各種データの時系列を示す図である。 試験結果の各種データの時系列を示す図である。 試験結果の各種データの時系列を示す図である。 試験結果の各種データの時系列を示す図である。 試験結果の各種データの時系列を示す図である。 試験結果をまとめた表図である。
符号の説明
110 警報制御ECU
210 ドライバモニターECU
212 ドライバモニターカメラ
230 PCS・ECU
240 ブザー
250 ブレーキECU
260 ブレーキアクチュエータ
270 車輪側センサ
280 レーダセンサ
290 ナビゲーションECU

Claims (6)

  1. 車両前方物体と自車との衝突危険状態が検出された場合に、警報を出力する警報出力手段と、
    前記警報出力手段による警報の出力タイミングが通常モード時よりも早められる警報前出しモードを形成する警報タイミング変更手段と、
    運転者の眼の状態を監視し、運転者の眼の閉じられている時間を計測する閉眼時間測定手段とを備え、
    前記警報タイミング変更手段は、前記閉眼時間測定手段により計測される閉眼時間が第1閾値以上となった場合に、前記警報前出しモードを形成し、その後の閉眼発生時に前記閉眼時間測定手段により計測される閉眼時間(以下、「後続閉眼時間」という)が前記第1閾値よりも小さい第2閾値より小さくなるまで、前記警報前出しモードを維持することを特徴とする、居眠り防止装置。
  2. 前記後続閉眼時間は、所定期間において前記閉眼時間測定手段により計測された閉眼時間の最大値である、請求項1に記載の居眠り防止装置。
  3. 前記所定期間は可変値とされ、車両が高速道路を走行している際の前記所定期間の方が、車両が一般道路を走行している際の前記所定期間よりも長い、請求項2に記載の居眠り防止装置。
  4. 車両前方物体と自車との衝突危険状態が検出された場合に出力される警報の出力タイミングを変化させる居眠り防止方法であって、
    運転者の眼の状態を監視して、運転者の眠気度合いを表すことが可能な第1指標値の時系列を出力する第1指標値出力段階と、
    前記第1指標値に対する第1閾値を設定する段階と、
    前記第1指標値出力段階にて出力される第1指標値が前記第1閾値を超えた場合に、前記警報の出力タイミングが通常モード時よりも早められる警報前出しモードを形成する警報前出しモードを形成する段階と、
    前記前出し状態形成段階後に運転者の眼の状態を監視して、運転者の眠気度合いを表すことが可能な第2指標値の時系列を出力する第2指標値出力段階と、
    前記第2指標値に対する閾値であって、前記第1閾値に比べて低い運転者の眠気度合いを検出することが可能な閾値を、第2閾値として設定する段階と、
    前記第2指標値出力段階にて出力される第2指標値が前記第2閾値をより小さくなるまで、前記警報前出しモードを維持する段階とを備えることを特徴とする、居眠り防止方法。
  5. 前記第1指標値は、閉眼時間、現時点から所定時間前までの所定期間に亘る閉眼時間の積算時間、該所定期間に対する該積算時間の割合、及び、現時点から所定時間前までの所定期間における閉眼時間が所定閾値を超える閉眼の発生回数、のうちのいずれか1つである、請求項4に記載の居眠り防止方法。
  6. 前記第2指標値は、閉眼時間、現時点から所定時間前までの所定期間における閉眼時間の積算時間、該所定期間に対する該積算時間の割合、及び、現時点から所定時間前までの所定期間における閉眼時間が所定閾値を超える閉眼の発生回数、のうちのいずれか1つである、請求項4又は5に記載の居眠り防止方法。
JP2007014135A 2007-01-24 2007-01-24 居眠り防止装置及び方法 Expired - Fee Related JP4400624B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007014135A JP4400624B2 (ja) 2007-01-24 2007-01-24 居眠り防止装置及び方法
AT08702299T ATE540615T1 (de) 2007-01-24 2008-01-24 Vorrichtung und verfahren gegen einschlummern
PCT/IB2008/000150 WO2008090451A2 (en) 2007-01-24 2008-01-24 Anti-drowsing device and anti-drowsing method
US12/524,431 US8537000B2 (en) 2007-01-24 2008-01-24 Anti-drowsing device and anti-drowsing method
EP08702299A EP2117432B1 (en) 2007-01-24 2008-01-24 Anti-drowsing device and anti-drowsing method
CN2008800029727A CN101588757B (zh) 2007-01-24 2008-01-24 防止瞌睡的装置和防止瞌睡的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007014135A JP4400624B2 (ja) 2007-01-24 2007-01-24 居眠り防止装置及び方法

Publications (2)

Publication Number Publication Date
JP2008181327A true JP2008181327A (ja) 2008-08-07
JP4400624B2 JP4400624B2 (ja) 2010-01-20

Family

ID=39537992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007014135A Expired - Fee Related JP4400624B2 (ja) 2007-01-24 2007-01-24 居眠り防止装置及び方法

Country Status (6)

Country Link
US (1) US8537000B2 (ja)
EP (1) EP2117432B1 (ja)
JP (1) JP4400624B2 (ja)
CN (1) CN101588757B (ja)
AT (1) ATE540615T1 (ja)
WO (1) WO2008090451A2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014511301A (ja) * 2011-02-18 2014-05-15 本田技研工業株式会社 運転者の挙動に応答するシステムおよび方法
KR101500010B1 (ko) * 2009-11-27 2015-03-09 현대자동차주식회사 운전자 졸음 및 피로 감지 시스템
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US10001777B2 (en) 2014-04-25 2018-06-19 Nissan Motor Co., Ltd. Information presenting apparatus and information presenting method
WO2018179631A1 (ja) * 2017-03-30 2018-10-04 パナソニックIpマネジメント株式会社 居眠り防止装置、居眠り防止方法、およびプログラム
JP2018172028A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0914388A2 (pt) * 2008-10-30 2015-10-20 Ford Global Tech Llc "veículo e método para avisar um condutor de um veículo"
JP5270415B2 (ja) * 2009-03-19 2013-08-21 トヨタ自動車株式会社 眠気判定装置及びプログラム
SE534980C2 (sv) 2009-08-26 2012-03-06 Svenska Utvecklings Entreprenoeren Susen Ab Metod för att väcka en insomnad motorfordonsförare
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US9491420B2 (en) 2009-09-20 2016-11-08 Tibet MIMAR Vehicle security with accident notification and embedded driver analytics
DE102010049351A1 (de) * 2010-10-23 2012-04-26 Daimler Ag Verfahren zum Betreiben einer Bremsassistenzvorrichtung und Bremsassistenzvorrichtung für ein Fahrzeug
EP2497670B1 (en) * 2011-03-11 2015-07-01 Johnson Controls Automotive Electronics GmbH Method and apparatus for monitoring the alertness of the driver of a vehicle
US8963724B2 (en) * 2011-09-20 2015-02-24 Honda Motor Co., Ltd. System and method for arousing a drowsy driver without drowsiness detection
GB2500690B (en) * 2012-03-30 2015-07-29 Jaguar Land Rover Ltd Driver assistance system
US8831836B2 (en) 2012-05-14 2014-09-09 Honda Motor Co., Ltd. Thermal grill for body cooling and driver alertness
US20130307686A1 (en) * 2012-05-18 2013-11-21 James C. Frauenthal Blood-chemistry imbalance determination by means of reflex reaction time measurements
CN102715912A (zh) * 2012-05-25 2012-10-10 苏州市职业大学 一种驾驶员异常状态检测装置
US8917182B2 (en) 2012-06-06 2014-12-23 Honda Motor Co., Ltd. System and method for detecting and preventing drowsiness
US8981942B2 (en) 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
US8930269B2 (en) 2012-12-17 2015-01-06 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
CN103895512B (zh) * 2012-12-26 2017-08-04 比亚迪股份有限公司 一种行车安全警示方法及其系统
US8952819B2 (en) * 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness
DE112014000934T5 (de) * 2013-02-21 2016-01-07 Iee International Electronics & Engineering S.A. Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung
US8876535B2 (en) 2013-03-15 2014-11-04 State Farm Mutual Automobile Insurance Company Real-time driver observation and scoring for driver's education
US9734685B2 (en) 2014-03-07 2017-08-15 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
EP3345542B1 (en) * 2014-04-04 2022-06-08 Autoliv Development AB Passenger information sensing device
US9135803B1 (en) * 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
US9283847B2 (en) 2014-05-05 2016-03-15 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment
US10223479B1 (en) 2014-05-20 2019-03-05 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature evaluation
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10185999B1 (en) 2014-05-20 2019-01-22 State Farm Mutual Automobile Insurance Company Autonomous feature use monitoring and telematics
US10319039B1 (en) 2014-05-20 2019-06-11 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9262924B2 (en) 2014-07-09 2016-02-16 Toyota Motor Engineering & Manufacturing North America, Inc. Adapting a warning output based on a driver's view
US10540723B1 (en) 2014-07-21 2020-01-21 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and usage-based insurance
US9669759B2 (en) * 2014-09-12 2017-06-06 Yazaki Corporation In-vehicle device
DE102014220759B4 (de) 2014-10-14 2019-06-19 Audi Ag Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs
US20210118249A1 (en) 2014-11-13 2021-04-22 State Farm Mutual Automobile Insurance Company Autonomous vehicle salvage and repair
JP6344254B2 (ja) * 2015-02-12 2018-06-20 トヨタ自動車株式会社 眠気検知装置
DE102015206211A1 (de) * 2015-04-08 2016-10-13 Bayerische Motoren Werke Aktiengesellschaft Warneinheit in einem Fahrzeug zum Warnen des Fahrers bei einer drohenden Gefahr
US9805601B1 (en) 2015-08-28 2017-10-31 State Farm Mutual Automobile Insurance Company Vehicular traffic alerts for avoidance of abnormal traffic conditions
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US10308246B1 (en) 2016-01-22 2019-06-04 State Farm Mutual Automobile Insurance Company Autonomous vehicle signal control
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
JP6477529B2 (ja) * 2016-02-02 2019-03-06 株式会社デンソー 走行支援装置
FR3047713A1 (fr) * 2016-02-11 2017-08-18 Valeo Comfort & Driving Assistance Dispositif et methode anti-collision pour un vehicule automobile
DE102016205311A1 (de) * 2016-03-31 2017-10-05 Robert Bosch Gmbh Verfahren zum Bereitstellen eines Warnsignals und Verfahren zum Generieren eines Vorsekundenschlafmusters zum Erkennen eines drohenden Sekundenschlafs für ein Fahrzeug
US10262219B2 (en) 2016-04-21 2019-04-16 Hyundai Motor Company Apparatus and method to determine drowsiness of a driver
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
JP6701951B2 (ja) * 2016-05-20 2020-05-27 アイシン精機株式会社 運転支援装置
US10227003B1 (en) 2016-06-13 2019-03-12 State Farm Mutual Automobile Insurance Company Systems and methods for notifying individuals who are unfit to operate vehicles
US10909476B1 (en) 2016-06-13 2021-02-02 State Farm Mutual Automobile Insurance Company Systems and methods for managing instances in which individuals are unfit to operate vehicles
CN106611481B (zh) * 2016-11-02 2018-12-25 纳智源科技(唐山)有限责任公司 疲劳驾驶监控装置及可穿戴设备
CN107505836A (zh) * 2017-08-31 2017-12-22 合肥京东方显示光源有限公司 一种基于模糊控制调节色温的方法及装置
JP6965727B2 (ja) * 2017-12-21 2021-11-10 株式会社デンソー 居眠り警報装置
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法
JP6586685B2 (ja) * 2017-12-27 2019-10-09 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7008814B2 (ja) * 2018-05-31 2022-01-25 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理システム
JP2021174436A (ja) * 2020-04-30 2021-11-01 株式会社デンソー 制御装置
KR102672095B1 (ko) * 2020-07-06 2024-06-04 주식회사 씽크아이 차량에 설치되는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법
US20240087458A1 (en) * 2022-09-08 2024-03-14 Bendix Commercial Vehicle Systems Llc Systems and method for integrating driver facing imaging device with a vehicle blind spot detection system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2583335B2 (ja) 1990-03-12 1997-02-19 日産自動車株式会社 先行車両接近警報装置
JPH07156682A (ja) 1993-12-03 1995-06-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP3379247B2 (ja) 1994-11-17 2003-02-24 トヨタ自動車株式会社 居眠り警報装置
JPH0939603A (ja) 1995-07-31 1997-02-10 Toyota Motor Corp 居眠り判定装置
JPH09293180A (ja) 1996-04-24 1997-11-11 Nittan Co Ltd 火災感知器
JPH10123262A (ja) 1996-10-17 1998-05-15 Nec Eng Ltd 気象予測サブシステム
JP3642662B2 (ja) 1997-09-12 2005-04-27 日産ディーゼル工業株式会社 車間距離警報装置
AU767533B2 (en) * 1999-01-27 2003-11-13 Compumedics Limited Vigilance monitoring system
JP4628596B2 (ja) 2001-06-28 2011-02-09 富士重工業株式会社 車両用運転支援装置
US7202793B2 (en) 2002-10-11 2007-04-10 Attention Technologies, Inc. Apparatus and method of monitoring a subject and providing feedback thereto
JP3915655B2 (ja) 2002-10-25 2007-05-16 マツダ株式会社 車両用運転支援システム
US7202792B2 (en) 2002-11-11 2007-04-10 Delphi Technologies, Inc. Drowsiness detection system and method
JP2004216966A (ja) 2003-01-10 2004-08-05 Nissan Motor Co Ltd 車間距離警報装置
JP2006130010A (ja) * 2004-11-04 2006-05-25 Denso Corp 視覚認識支援装置
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
US8344894B2 (en) * 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500010B1 (ko) * 2009-11-27 2015-03-09 현대자동차주식회사 운전자 졸음 및 피로 감지 시스템
US9873437B2 (en) 2011-02-18 2018-01-23 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US9475502B2 (en) 2011-02-18 2016-10-25 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US10875536B2 (en) 2011-02-18 2020-12-29 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US11377094B2 (en) 2011-02-18 2022-07-05 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9440646B2 (en) 2011-02-18 2016-09-13 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9505402B2 (en) 2011-02-18 2016-11-29 Honda Motor Co., Ltd. System and method for responding to driver behavior
JP2014511301A (ja) * 2011-02-18 2014-05-15 本田技研工業株式会社 運転者の挙動に応答するシステムおよび方法
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US9855945B2 (en) 2011-02-18 2018-01-02 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9296382B2 (en) 2011-02-18 2016-03-29 Honda Motor Co., Ltd. System and method for responding to driver behavior
US10780891B2 (en) 2013-03-15 2020-09-22 Honda Motor Co., Ltd. System and method for responding to driver state
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US11383721B2 (en) 2013-03-15 2022-07-12 Honda Motor Co., Ltd. System and method for responding to driver state
US10246098B2 (en) 2013-03-15 2019-04-02 Honda Motor Co., Ltd. System and method for responding to driver state
US10308258B2 (en) 2013-03-15 2019-06-04 Honda Motor Co., Ltd. System and method for responding to driver state
US10752252B2 (en) 2013-03-15 2020-08-25 Honda Motor Co., Ltd. System and method for responding to driver state
US10759437B2 (en) 2013-03-15 2020-09-01 Honda Motor Co., Ltd. System and method for responding to driver state
US10759438B2 (en) 2013-03-15 2020-09-01 Honda Motor Co., Ltd. System and method for responding to driver state
US10759436B2 (en) 2013-03-15 2020-09-01 Honda Motor Co., Ltd. System and method for responding to driver state
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
US10001777B2 (en) 2014-04-25 2018-06-19 Nissan Motor Co., Ltd. Information presenting apparatus and information presenting method
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
US10768617B2 (en) 2015-11-19 2020-09-08 Sony Corporation Drive assistance device and drive assistance method, and moving body
US10899356B2 (en) 2017-03-30 2021-01-26 Panasonic Intellectual Property Management Co., Ltd. Drowsiness prevention device, drowsiness prevention method, and recording medium
JP2018169906A (ja) * 2017-03-30 2018-11-01 パナソニックIpマネジメント株式会社 居眠り防止装置、居眠り防止方法、およびプログラム
WO2018179631A1 (ja) * 2017-03-30 2018-10-04 パナソニックIpマネジメント株式会社 居眠り防止装置、居眠り防止方法、およびプログラム
JP2018172028A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Also Published As

Publication number Publication date
WO2008090451A3 (en) 2008-12-31
US8537000B2 (en) 2013-09-17
CN101588757A (zh) 2009-11-25
EP2117432B1 (en) 2012-01-11
ATE540615T1 (de) 2012-01-15
US20100214087A1 (en) 2010-08-26
CN101588757B (zh) 2011-04-13
JP4400624B2 (ja) 2010-01-20
EP2117432A2 (en) 2009-11-18
WO2008090451A2 (en) 2008-07-31

Similar Documents

Publication Publication Date Title
JP4400624B2 (ja) 居眠り防止装置及び方法
EP2407947B1 (en) On-board warning apparatus and warning method
JP4274225B2 (ja) 車載警告装置
US9007198B2 (en) Adaptive Actuator interface for active driver warning
EP2143585A1 (en) Adaptive Driver Warning Methodology
JP4788624B2 (ja) 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム
KR20160055969A (ko) 운전자 거동에 응답하는 시스템 및 방법
JP6730096B2 (ja) 乗員状態監視装置
JP4725254B2 (ja) 脇見判定装置
JP4182131B2 (ja) 覚醒度判定装置及び覚醒度判定方法
JP2013089250A (ja) 運転者の状態を評価及び通信するための車両システム及び方法
JP4297155B2 (ja) 車載警告装置
JP5447335B2 (ja) 報知システム
JP2006231963A (ja) 車両用警報装置
JP2008065380A (ja) 運転支援装置
WO2009060172A1 (en) Detecting driver impairment
JP4743278B2 (ja) 車載警告装置
JP2023072268A (ja) 運転者状態判定方法及びその装置
JPH1178592A (ja) 車間距離警報装置
JP2023072270A (ja) 運転者状態判定方法及びその装置
JP2023072271A (ja) 運転者状態判定方法及びその装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R151 Written notification of patent or utility model registration

Ref document number: 4400624

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091019

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees