JP2019074791A - 車両用運転支援装置 - Google Patents

車両用運転支援装置 Download PDF

Info

Publication number
JP2019074791A
JP2019074791A JP2017198467A JP2017198467A JP2019074791A JP 2019074791 A JP2019074791 A JP 2019074791A JP 2017198467 A JP2017198467 A JP 2017198467A JP 2017198467 A JP2017198467 A JP 2017198467A JP 2019074791 A JP2019074791 A JP 2019074791A
Authority
JP
Japan
Prior art keywords
driver
sleepiness
depth
vehicle
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017198467A
Other languages
English (en)
Other versions
JP2019074791A5 (ja
Inventor
慎 磯崎
Makoto Isozaki
慎 磯崎
吉田　一郎
Ichiro Yoshida
一郎 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017198467A priority Critical patent/JP2019074791A/ja
Priority to DE112018004487.4T priority patent/DE112018004487T5/de
Priority to PCT/JP2018/031750 priority patent/WO2019073708A1/ja
Publication of JP2019074791A publication Critical patent/JP2019074791A/ja
Publication of JP2019074791A5 publication Critical patent/JP2019074791A5/ja
Priority to US16/822,603 priority patent/US20200216095A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/56—Heating or ventilating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Anesthesiology (AREA)
  • Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】運転者が眠気を催したときに、運転者に確実に警告し、また、運転者を覚醒させ、また、安全性を十分に高める。【解決手段】本実施形態の車両用運転支援装置は、ドライバの状態をモニタするドライバモニタ部１２と、モニタされたドライバの状態に基づいてドライバの眠気深度または居眠りの度合を検出する眠気検出部９と、ドライバを覚醒させるための複数の処理の中から、検出されたドライバの眠気深度または居眠りの度合のレベルに対応する処理を選択して実行する制御部３とを備えたものである。【選択図】図２

Description

本発明は、車両用運転支援装置に関する。
特許文献１には、車載カメラで撮影した運転者の画像を認識して、運転者の眠気を判定し、運転者の眠気が強くなったときに、音と振動を発生させることにより、運転者の覚醒を促すシステムが記載されている。
特開２０１２−６８８４１号公報
しかし、上記従来構成の場合、音や振動で運転者が覚醒することもあるが、音や振動だけでは、運転者が覚醒しない場合もあるから、安全性が十分であるとは言えなかった。また、音や振動が発生しても、運転者は何が起こったか分からないことがあり、どのように対応したらよいか分からず、混乱するおそれもあった。
本発明の目的は、運転者が眠気を催したときに、運転者に確実に警告することができ、また、運転者を覚醒させることができ、また、安全性を十分に高めることができる車両用運転支援装置を提供することにある。
請求項１の発明は、ドライバの状態をモニタするドライバモニタ部１２と、モニタされたドライバの状態に基づいてドライバの眠気深度または居眠りの度合を検出する眠気検出部９と、ドライバを覚醒させるための複数の処理の中から、検出されたドライバの眠気深度または居眠りの度合のレベルに対応する処理を選択して実行する制御部３とを備えた車両用運転支援装置である。
第１実施形態を示す車両システムのブロック図 眠気深度の検出制御及び眠気深度に応じて実行する制御のフローチャート 眠気深度の定義の表を示す図 眠気警告アドバイスの表示例を示す図（その１） 眠気警告アドバイスの表示例を示す図（その２） 眠気警告アドバイスの表示例を示す図（その３） 処理１の制御のフローチャート 処理２の制御のフローチャート 処理３の制御のフローチャート 第２実施形態を示すもので、開眼度の定義の表を示す図
（第１実施形態）
以下、第１実施形態について、図１ないし図９を参照して説明する。図１は、本実施形態の車両システム１の全体概略構成を示すブロック図である。この車両システム１は、車両用運転支援装置を構成する。車両システム１は、車両の走行を制御する車両走行制御部２と、各種の車載装置間で通信される情報を制御する車載情報制御部３とを備えている。
車両走行制御部２は、車外撮影カメラ４と、位置計測装置５と、レーダ６と、走行制御装置７と、ＤＳＭ用データ処理部８とを備えている。車外撮影カメラ４は、車両の周辺を撮影し、撮影した車外画像を走行制御装置７へ出力する。位置計測装置５は、ＧＰＳ受信機等で構成され、車両の現在位置を検出して、検出した現在位置信号を走行制御装置７へ出力する。
レーダ６は、車両の周辺に存在する他車両を検出し、検出した他車両の情報、即ち、他車両の位置を特定する情報例えば位置情報や距離情報や角度情報等を走行制御装置７へ出力する。走行制御装置７は、上記各検出信号と、ＤＳＭ用データ処理部８から出力される信号とを入力し、カーナビゲーション装置としての機能と、車両のエンジン、ブレーキ、ステアリング等を駆動制御することにより車両を自動運転制御する機能とを有している。ＤＳＭ用データ処理部８は、車外撮影カメラ４からの画像データと、情報制御部３の危険度判定装置９からの指示情報とを入力し、走行制御装置７へ運転切替信号を出力する。
情報制御部３は、情報報知装置１０と、ＨＭＩ操作器１１と、ＤＳＭ車内撮影カメラ１２と、危険度判定装置９と、通信制御装置１４と、ＨＭＩ制御装置１５とを備えている。情報報知装置１０は、例えば表示器や音声出力装置等で構成されており、ＨＭＩ制御装置１５から受け取ったデータやメッセージ等を表示したり、音声で出力したりする装置である。
ＨＭＩ操作器１１は、ユーザ、即ち、乗員が操作する装置であり、表示器の画面のタッチパネルや各種のスイッチ等で構成されており、操作した結果、即ち、操作信号をＨＭＩ制御装置１５に送信する。ＤＳＭ車内撮影カメラ１２は、ドライバの状態を監視する装置、即ち、ＤＳＭ（ドライバステータスモニタ）としての機能と、車内を撮影するカメラとしての機能を有しており、このＤＳＭ車内撮影カメラ１２により得られたＤＳＭ情報と、車内やドライバ等を撮影した画像データとは、危険度判定装置９に送信される。ＤＳＭ車内撮影カメラ１２は、ドライバモニタ部としての機能を有する。
危険度判定装置９は、ＤＳＭ車内撮影カメラ１２からの情報と、ＤＳＭ用データ処理部８からの情報と、通信制御装置１４からの情報とを入力し、これら情報に基づいて、ドライバによる車両走行の危険度、具体的には、ドライバの眠気深度を演算、即ち、検出して判定する機能を有する。この場合、危険度判定装置９は、眠気深度演算部または眠気検出部としての機能を有する。
通信制御装置１４は、ＤＣＭ（データコミュニケーションモジュール）としての機能を有し、車車間通信、路車間通信、ＶＩＣＳ(登録商標)通信、携帯電話網通信等を実行可能な通信機器で構成されている。通信制御装置１４は、上記各種の通信により得られた通信情報を、危険度判定装置９に送信する。また、通信制御装置１４は、危険度判定装置９から出力された情報を上記各種の通信を介して送信する。ＨＭＩ制御装置１５は、画面表示または音声出力のためのデータを生成または制御、即ち、編集する機能を有し、生成または編集したデータを情報報知装置１０に送信する。
次に、上記構成の動作、即ち、ドライバの眠気深度を検出し、検出した眠気深度に応じて実行する制御について、図２ないし図９を参照して説明する。まず、図２のフローチャートは、情報制御部３の制御の内容を示す。
この図２のステップＳ１０においては、危険度判定装置１３の眠気深度検出部は、ＤＳＭ車内撮影カメラ１２からの情報と、ＤＳＭ用データ処理部８からの情報と、通信制御装置１４からの情報とを入力し、これら情報に基づいて、ドライバの眠気深度ｎを演算して求める。この場合、眠気深度ｎは、０〜５までの数値が定義されており、定義内容を図３の表に示す。
図３に示すように、眠気深度０は、ドライバが全く眠くなさそうな状態であり、ドライバの顔の表情の動作としては、視線の移動が早く、頻繁である、目の瞬きの周期は安定している、動きが活発で身体の動きを伴う、というような動作状態である。眠気深度１は、ドライバがやや眠そうな状態であり、ドライバの顔の表情の動作としては、唇が開いている、視線移動の動きが遅い、というような動作状態である。
眠気深度２は、ドライバが眠そうな状態であり、ドライバの顔の表情や身体の動作としては、瞬きはゆっくりと頻発、口の動きがある、座り直しがある、顔に手をやる、というような動作状態である。
眠気深度３は、ドライバがかなり眠そうな状態であり、ドライバの顔の表情や身体の動作としては、意識的と思わる瞬きがある、瞬きも視線の動きも遅い、頭を振る、肩の上下運動などの無用な身体の動きがある、あくびは頻発し、深呼吸も見られる、というような動作状態である。
眠気深度４は、ドライバが非常に眠そうな状態であり、ドライバの顔の表情や身体の動作としては、瞼を数秒間閉じる、頭が前に傾く、頭が後ろに倒れる、というような動作状態である。
眠気深度５は、ドライバが眠っている状態であり、ドライバの顔の表情の動作としては、瞼を数秒間閉じる、というような表情動作状態である。そして、本実施形態では、車内撮影カメラ１２からの情報、例えばドライバの顔や身体等の画像データ、例えば連続的に撮影された動画情報と図３の表に基づいて、ドライバの眠気深度を検出、即ち、判定するように構成されている。尚、眠気深度ｎとしては、０から５までの整数値だけではなく、整数値間を例えば１０等分した小数値で表現されるようにもなっている。また、眠気深度ｎを、０から５までの６段階に設定するように構成したが、これに限られるものではなく、３段階以上５段階以下、または、７段階以上に設定するように構成しても良い。
続いて、ステップＳ２０へ進み、危険度判定装置１３は、演算結果、即ち、検出された眠気深度ｎをＨＭＩ制御装置１５へ送信する。続いて、ステップＳ３０では、ＨＭＩ制御装置１５は、受信した眠気深度ｎに基づいて眠気警告アドバイス、例えば図４、図５、図６に示すような眠気警告アドバイスのメッセージを生成する。更に、ステップＳ４０へ進み、ＨＭＩ制御装置１５は、上記生成した眠気警告アドバイスのメッセージを情報報知装置１０に送信する。
この後、ステップＳ５０へ進み、眠気深度ｎが、２≦ｎ＜３であるか否かを判断する。このステップＳ５０で、眠気深度が２、即ち、眠気深度が低レベルであれば（ＹＥＳ）、ステップＳ６０へ進み、処理１を実行する。この処理１の内容については、後述する。処理１を実行完了すると、本制御を終了する。
また、上記ステップＳ５０において、眠気深度ｎが、２≦ｎ＜３でないときには（ＮＯ）、ステップＳ７０へ進み、眠気深度ｎが、３≦ｎ＜４であるか否かを判断する。このステップＳ７０で、眠気深度が３、即ち、眠気深度が中レベルであれば（ＹＥＳ）、ステップＳ８０へ進み、処理２を実行する。この処理２の内容については、後述する。処理２を実行完了すると、本制御を終了する。
また、上記ステップＳ７０において、眠気深度ｎが、３≦ｎ＜４でないときには（ＮＯ）、ステップＳ９０へ進み、眠気深度ｎが、４≦ｎであるか否かを判断する。このステップＳ９０で、眠気深度が４、即ち、眠気深度が高レベルであれば（ＹＥＳ）、ステップＳ１００へ進み、処理３を実行する。この処理３の内容については、後述する。処理３を実行完了すると、本制御を終了する。
また、上記ステップＳ９０において、眠気深度ｎが、４≦ｎでないとき、即ち、眠気深度が２未満のときには、ドライバは全く眠くなさそう、または、やや眠そうであるから、「ＮＯ」へ進み、何も実行しないで、本制御を終了する。
次に、上記ステップＳ６０の処理１の制御、即ち、眠気深度ｎが２のときの制御について、図７のフローチャートを参照して説明する。図７は、処理１を実行するサブルーチンの制御内容を示すフローチャートである。まず、図７のステップＳ２１０において、眠気深度ｎが、ｎ≧２であるか否かを判断する。
ここで、眠気深度ｎが２であるから（ＹＥＳ）、ステップＳ２２０へ進み、情報制御部３の情報報知装置１０は、図４に示すように、表示器の画面に眠気警告アドバイスのメッセージ例えば「眠気が検知されました」という警告メッセージを表示し、ドライバに覚醒すること、例えば休憩をとることを促す。ドライバは、この警告メッセージを視認することにより、覚醒するために休憩を取ろうとするようになる。
また、助手席に座っている乗員は、上記警告メッセージを視認することにより、休憩を取ることを、ドライバに促すことができる。尚、上記ステップＳ２２０を実行完了すると、本制御を終了する。尚、上記ステップＳ２１０において、眠気深度ｎが２未満であるときには、「ＮＯ」へ進み、本制御を終了する。
また、前記ステップＳ８０の処理２の制御、即ち、眠気深度ｎが３のときの制御について、図８のフローチャートを参照して説明する。図８は、処理２を実行するサブルーチンの制御内容を示すフローチャートである。まず、図８のステップＳ３１０において、眠気深度ｎが、ｎ≧３であるか否かを判断する。
ここで、眠気深度ｎが３であるから（ＹＥＳ）、ステップＳ３２０へ進み、情報制御部３の情報報知装置１０は、図５に示すように、表示器の画面に警告メッセージ例えば「眠気のため、安全運転に支障があります（あわせて、何らかの５感刺激を与えて覚醒を狙う）」というメッセージを表示する。続いて、ステップＳ３３０へ進み、情報制御部３は、ドライバの５感を刺激する処理を実行し、ドライバを覚醒させる。この場合、５感を刺激する処理として、次の通りの刺激を実行する。
まず、第１の刺激処理としては、エアコンの風量を強にし、皮膚の温度を下げることで覚醒を促す。第２の刺激処理としては、大きな警告音または大きな警告音声等を出力し、覚醒を促す。この場合、警告音声としては、例えば「眠気深度が高いので運転に注意してください等の音声メッセージ」を出力する。
第３の刺激処理としては、ステアリング等に高電圧電流を流すことによりドライバの手に高電圧電流を印加して、触覚を刺激し、覚醒を促す。第４の刺激処理としては、運転席のシートヒータを強にして、高熱をドライバに与え、即ち、ドライバの皮膚温度を高め、覚醒を促す。尚、シート冷却装置が設けられている車両の場合には、シート冷却装置を強にして、冷熱をドライバに与え、即ち、ドライバの皮膚温度を低下させ、覚醒を促すように構成しても良い。第５の刺激処理としては、刺激臭をステアリング等から発生させて、ドライバの嗅覚を刺激し、覚醒を促す。
尚、上記した５つの刺激処理を、上記ステップＳ３３０において、全て実行するように構成しても良いし、５つの刺激処理の中から１ないし４つを適宜選択して実行するように構成しても良い。
そして、本実施形態の場合、上記した刺激処理が実行されて、ドライバが覚醒した場合、ドライバは、刺激を受けて、かなり驚くが、表示器に表示された警告メッセージを視認することにより、ドライバの覚醒を促すための刺激処理が実行されたことが容易に分かるようになり、安心感が得られ、戸惑うことがなくなる。また、ドライバは、上記警告メッセージを視認することにより、休憩を取ろうかと思うようになる。また、助手席に座っている乗員は、上記警告メッセージを視認することにより、休憩を取ることを、ドライバに促すことができる。上記ステップＳ３３０を実行完了すると、本制御を終了する。
尚、上記ステップＳ３１０において、眠気深度ｎが３未満であるときには、「ＮＯ」へ進み、本制御を終了する。
また、前記ステップＳ１００の処理３の制御、即ち、眠気深度ｎが４のときの制御について、図９のフローチャートを参照して説明する。図９は、処理３を実行するサブルーチンの制御内容を示すフローチャートである。まず、図９のステップＳ４１０において、眠気深度ｎが、ｎ≧４であるか否かを判断する。
ここで、眠気深度ｎが４であることから（ＹＥＳ）、ステップＳ４２０へ進み、情報制御部３の情報報知装置１０は、図６に示すように、表示器の画面に警告メッセージ例えば「運転が危険です。退避モードに変更します。（あわせて、警報音を出し、手動運転モードから自動運転モードに変更する。運転モード変更を周辺車両に報知する）」というメッセージを表示する。
続いて、ステップＳ４３０へ進み、情報制御部３は、退避モード、即ち、自動運転モードに切り替える。この場合、情報制御部３の危険度判定装置９は、自動運転モードに切り替えるように指示する指示情報を、走行制御部２の走行制御装置７へ送信する。走行制御装置７は、上記指示情報を入力して、自動運転モードに切り替え、自動運転を実行する。また、走行制御装置７は、自動運転に切り替えたことを示す情報を情報制御部３の危険度判定装置９へ送信する。
そして、ステップＳ４４０へ進み、情報制御部３の危険度判定装置９は、運転モードが退避モードに変更されたか否か、即ち、走行制御装置７から自動運転モードに切り替えたことを示す情報を受信したか否かを判断する。このステップＳ４４０で、退避モードに変更されたときには（ＹＥＳ）、ステップＳ４５０へ進み、情報制御部３の危険度判定装置９は、通信制御装置１４を介して、運転モードが退避モード、即ち、自動運転モードに変更されたことを示す情報を、車車間通信を介して周辺車両へ送信する、即ち、報知する。尚、上記ステップＳ４４０にて、退避モードに変更されなかったときには（ＮＯ）、ステップＳ４３０へ戻り、上述した制御を繰り返し実行する。
この後、ステップＳ４６０からステップＳ４９０までの制御は、自動運転モードに切り替えられた後の制御、即ち、走行制御部２の走行制御装置７による制御を示している。まず、ステップＳ４６０においては、走行制御装置７は、車両の現在位置の周辺に安全に停止できるエリア、即ち、地点があるか否かを判断する。ここで、安全に停止できるエリアがないときには（ＮＯ）、ステップＳ４６０の処理を繰り返し実行する。
上記ステップＳ４６０において、安全に停止できるエリアがあったとき、即ち、安全に停止できるエリアが発見されたときには（ＹＥＳ）、ステップＳ４７０へ進み、走行制御装置７は、安全に停止できるエリアを目的地として該エリアに向かって走行する。尚、将来的には、高速道路上においても、安全に停止できるエリアが設置されるようになっている。
続いて、ステップＳ４８０へ進み、走行制御装置７は、安全に停止できるエリアに向かって走行しながら、徐々に車速を減速していく。そして、ステップＳ４９０へ進み、走行制御装置７は、安全に停止できるエリアで車両を停止させる。これにより、本制御を終了する。
尚、上記ステップＳ４１０において、眠気深度ｎが４未満であるときには、「ＮＯ」へ進み、本制御を終了する。
このような構成の本実施形態においては、車内撮影カメラ１２によりドライバの状態をモニタし、危険度判定装置９により上記モニタされたドライバの状態に基づいてドライバの眠気深度を検出し、情報制御部３によりドライバを覚醒させるための複数の処理の中から、検出されたドライバの眠気深度のレベルに対応する処理を選択して実行するように構成した。この構成によれば、ドライバが眠気を催したときに、ドライバの眠気の程度、即ち、眠気深度のレベルに応じて、運転者に確実に警告することができ、また、運転者を覚醒させることができ、また、安全性を十分に高めることができる。
また、上記実施形態では、情報制御部３によって、眠気深度が低レベルであるときには、画面に警告メッセージを表示する処理を実行し、眠気深度が中レベルであるときには、ドライバの５感を刺激する処理を実行し、眠気深度が高レベルであるときには、運転モードを退避モードに切り替え、車両を自動的に停車させる処理を実行するように構成した。この構成によれば、ドライバの眠気深度のレベルに応じて、ドライバを覚醒させたり、安全性を高くしたり、最適な眠気対策を実行することができる。
更に、上記実施形態によれば、ドライバの５感を刺激する処理として、エアコンの風量を強にして皮膚の温度を下げる制御、警告音または警告音声を出力する制御、手に高電圧電流を印加する制御、シートヒータを強にして皮膚の温度を高める制御、または、刺激臭を発生させて嗅覚を刺激する制御を実行するように構成した。この構成によれば、ドライバの眠気深度３のときに、上記各５感を刺激する処理を実行することにより、ドライバを覚醒させることが可能になる。
また、上記実施形態では、眠気深度を検出するに際して、ドライバの顔の表情や身体の動作を車内撮影カメラ１２で撮影し、撮影した画像情報に基づいて３段階以上のレベルに分けて検出するように構成した。この構成によれば、３つ以上の制御の中から、眠気深度のレベルに応じて適切な制御を選択して実行することができる。
また、上記実施形態では、情報制御部３によって、運転モードを退避モードに切り替えたときには、退避モードに切り替えたことを、周辺の車両に報知するように構成した。この構成によれば、周辺の車両は、運転モードが退避モードに切り替えられた車両、即ち、ドライバの眠気深度ｎが４以上である車両を明確に認識することができるから、当該車両の運転に注意することができ、安全性を高めることができる。
（第２実施形態）
図１０は、第２実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第１実施形態では、ドライバの眠気深度ｎを検出し、ドライバの居眠り判定を、眠気深度ｎの値に応じて３段階に分けて判定するように構成したが、これに代えて、第２実施形態では、ドライバの眼の開眼度と開眼時間に基づいて、ドライバの居眠り度合を、３段階に分けて判定するように構成した。
まず、眼の開眼度の定義について、図１０の表も参照して説明する。まず、眼の開度をドライバの眼形状に合せてパーセント単位で出力するものを開眼度として定義する。開眼度としては、左右それぞれの眼、および、左右それぞれの眼の開眼度から代表値を求める。閉眼判定及び眠気判定には、この開眼度代表値を用いる。開眼度は、閉眼判定の感度を調整できるように例えば１％の高分解能で出力されるようになっている。また、笑顔や防眩表情に対して、閉眼誤判定をしないような処置がなされている。更に、眼の開き度合いを正規化し、開眼度１００％、０％、１２０％を、図１０の表に示すように定義している。
図１０に示すように、開眼度１００％は、運転初期の平均的な眼の開度、即ち、通常状態の眼の開度である。開眼度０％は、眼を閉じている状態の眼の開度である。開眼度１２０％は、通常状態の眼の開度、即ち、開眼度１００％から更に見開いた状態の眼の開度である。そして、開眼度の域値は、０〜１２０（％）であり、分解能は１（％）である。
第２実施形態において、ドライバの居眠り度合の判定としては、開眼度と開眼時間に基づいて、次の３段階、即ち、レベル１、レベル２、レベル３を判定する、即ち、検出するように構成した。まず、居眠り度合のレベル１を判定するに際しては、例えば、開眼度０％である眼の状態が１秒〜２秒の時間継続することが、３０秒間に２回以上起きる頻度となったら、居眠り度合がレベル１であると判定する。
また、例えば、開眼度０％である眼の状態が２秒前後の時間継続することが、１回でも起きたら、居眠り度合がレベル２であると判定する。また、例えば、開眼度０％である眼の状態が４秒前後の時間継続することが、１回でも起きたら、居眠り度合がレベル３であると判定する。
そして、ドライバの居眠り度合がレベル１であると判定された場合、第１実施形態で説明した処理１を実行するようになっている。また、ドライバの居眠り度合がレベル２であると判定された場合、第１実施形態で説明した処理２を実行するようになっている。更に、ドライバの居眠り度合がレベル３であると判定された場合、第１実施形態で説明した処理３を実行するようになっている。
尚、上述した以外の第２実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第２実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。
また、上記各実施形態では、ドライバの居眠り度合を３段階に分けて判定するように構成したが、これに限られるものではなく、２段階に分けて判定するように構成しても良いし、４段階以上に分けて判定するように構成しても良い。
また、上記各実施形態では、ＤＳＭ用データ処理部８を車両走行制御部２側に設けるように構成したが、これに代えて、ＤＳＭ用データ処理部８を情報制御部３側に設けるように構成しても良い。
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
図面中、１は車両システム、２は走行制御部、３は情報制御部（制御部）、５は位置計測装置、７は走行制御装置、８はＤＳＭ用データ処理部、９は危険度判定装置（眠気検出部）、１０は情報報知装置、１２は車内撮影カメラ（ドライバモニタ部）、１４は通信制御装置である。

Claims (5)

  1. ドライバの状態をモニタするドライバモニタ部（１２）と、
    モニタされたドライバの状態に基づいてドライバの眠気深度または居眠りの度合を検出する眠気検出部（９）と、
    ドライバを覚醒させるための複数の処理の中から、検出されたドライバの眠気深度または居眠りの度合のレベルに対応する処理を選択して実行する制御部（３）と
    を備えた車両用運転支援装置。
  2. 前記制御部は、眠気深度が低レベルであるときには、画面に警告メッセージを表示する処理を実行し、眠気深度が中レベルであるときには、ドライバの５感を刺激する処理を実行し、眠気深度が高レベルであるときには、運転モードを退避モードに切り替え、車両を自動的に停車させる処理を実行するように構成された請求項１記載の車両用運転支援装置。
  3. ドライバの５感を刺激する処理は、エアコンの風量を強にして皮膚の温度を下げる制御、警告音または警告音声を出力する制御、手に高電圧電流を印加する制御、シートヒータを強にして皮膚の温度を高める制御、または、刺激臭を発生させて嗅覚を刺激する制御である請求項１または２記載の車両用運転支援装置。
  4. 眠気深度は、ドライバの顔の表情や身体の動作をカメラで撮影し、撮影した画像情報に基づいて３段階以上のレベルに分けて検出されるように構成された請求項１から３のいずれか一項記載の車両用運転支援装置。
  5. 前記制御部は、運転モードを退避モードに切り替えたときには、退避モードに切り替えたことを、周辺の車両に報知するように構成された請求項２記載の車両用運転支援装置。
JP2017198467A 2017-10-12 2017-10-12 車両用運転支援装置 Pending JP2019074791A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017198467A JP2019074791A (ja) 2017-10-12 2017-10-12 車両用運転支援装置
DE112018004487.4T DE112018004487T5 (de) 2017-10-12 2018-08-28 Fahrzeug-fahrassistenzvorrichtung
PCT/JP2018/031750 WO2019073708A1 (ja) 2017-10-12 2018-08-28 車両用運転支援装置
US16/822,603 US20200216095A1 (en) 2017-10-12 2020-03-18 Vehicle driving assistance apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017198467A JP2019074791A (ja) 2017-10-12 2017-10-12 車両用運転支援装置

Publications (2)

Publication Number Publication Date
JP2019074791A true JP2019074791A (ja) 2019-05-16
JP2019074791A5 JP2019074791A5 (ja) 2020-01-30

Family

ID=66101395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017198467A Pending JP2019074791A (ja) 2017-10-12 2017-10-12 車両用運転支援装置

Country Status (4)

Country Link
US (1) US20200216095A1 (ja)
JP (1) JP2019074791A (ja)
DE (1) DE112018004487T5 (ja)
WO (1) WO2019073708A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256177A1 (ko) * 2019-06-18 2020-12-24 엘지전자 주식회사 차량 제어 방법
WO2021033551A1 (ja) * 2019-08-21 2021-02-25 株式会社東海理化電機製作所 情報通知装置、制御装置、および非一時的なコンピュータ可読媒体
WO2021033549A1 (ja) * 2019-08-21 2021-02-25 株式会社東海理化電機製作所 移動支援装置、制御装置、および非一時的なコンピュータ可読媒体
JP2023094914A (ja) * 2021-12-24 2023-07-06 パナソニックＩｐマネジメント株式会社 推定装置、推定方法及びプログラム
US12065160B2 (en) 2021-12-27 2024-08-20 Panasonic Automotive Systems Co., Ltd. Awakening support device and awakening support method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361560B2 (en) * 2018-02-19 2022-06-14 Mitsubishi Electric Corporation Passenger state detection device, passenger state detection system, and passenger state detection method
JP7140154B2 (ja) * 2020-03-04 2022-09-21 トヨタ自動車株式会社 車両制御装置
US20240034362A1 (en) * 2020-09-07 2024-02-01 Sony Semiconductor Solutions Corporation Information processing device, information processing method, and information processing program
JP7540319B2 (ja) * 2020-12-11 2024-08-27 株式会社デンソー 覚醒装置
CN112569447B (zh) * 2020-12-17 2023-07-11 大陆投资(中国)有限公司 用于车辆用户的睡眠辅助方法和车载信息娱乐系统
CN113516015B (zh) * 2021-04-15 2023-12-05 广东工业大学 情绪识别方法、辅助驾驶装置以及应用
US20230069381A1 (en) * 2021-08-31 2023-03-02 Panasonic Intellectual Property Management Co., Ltd. Sleepiness prediction system and sleepiness prediction method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003317197A (ja) * 2002-04-26 2003-11-07 Aisin Aw Co Ltd 警報システム
JP2005062911A (ja) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd 車両制御装置
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
WO2011111206A1 (ja) * 2010-03-11 2011-09-15 トヨタ自動車株式会社 生体状態判定装置
JP2012245091A (ja) * 2011-05-26 2012-12-13 Panasonic Corp 眠気推定装置及び眠気推定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003317197A (ja) * 2002-04-26 2003-11-07 Aisin Aw Co Ltd 警報システム
JP2005062911A (ja) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd 車両制御装置
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
WO2011111206A1 (ja) * 2010-03-11 2011-09-15 トヨタ自動車株式会社 生体状態判定装置
JP2012245091A (ja) * 2011-05-26 2012-12-13 Panasonic Corp 眠気推定装置及び眠気推定方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256177A1 (ko) * 2019-06-18 2020-12-24 엘지전자 주식회사 차량 제어 방법
US11396304B2 (en) 2019-06-18 2022-07-26 Lg Electronics Inc. Vehicle control method
WO2021033551A1 (ja) * 2019-08-21 2021-02-25 株式会社東海理化電機製作所 情報通知装置、制御装置、および非一時的なコンピュータ可読媒体
WO2021033549A1 (ja) * 2019-08-21 2021-02-25 株式会社東海理化電機製作所 移動支援装置、制御装置、および非一時的なコンピュータ可読媒体
JP2021033506A (ja) * 2019-08-21 2021-03-01 株式会社東海理化電機製作所 移動支援装置、制御装置、およびコンピュータプログラム
JP2021033508A (ja) * 2019-08-21 2021-03-01 株式会社東海理化電機製作所 情報通知装置、制御装置、およびコンピュータプログラム
JP2023094914A (ja) * 2021-12-24 2023-07-06 パナソニックＩｐマネジメント株式会社 推定装置、推定方法及びプログラム
JP7460867B2 (ja) 2021-12-24 2024-04-03 パナソニックオートモーティブシステムズ株式会社 推定装置、推定方法及びプログラム
US12065160B2 (en) 2021-12-27 2024-08-20 Panasonic Automotive Systems Co., Ltd. Awakening support device and awakening support method

Also Published As

Publication number Publication date
US20200216095A1 (en) 2020-07-09
DE112018004487T5 (de) 2020-10-01
WO2019073708A1 (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
JP2019074791A (ja) 車両用運転支援装置
US10875536B2 (en) Coordinated vehicle response system and method for driver behavior
JP6342856B2 (ja) 車両制御装置
JP7560486B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
WO2015072069A1 (ja) ドライバ監視装置
WO2014149657A1 (en) Coordinated vehicle response system and method for driver behavior
US9977239B2 (en) Vehicle information presentation device
KR20150032598A (ko) 운전자 거동에 응답하는 시스템 및 방법
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
KR20150139229A (ko) 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법
JP6730096B2 (ja) 乗員状態監視装置
US20190283672A1 (en) System and method to control a vehicle interface for human perception optimization
WO2016103468A1 (ja) 衝突回避システム及び衝突回避方法
JP2013152679A (ja) 運転支援装置
US20130187847A1 (en) In-car eye control method
US11430231B2 (en) Emotion estimation device and emotion estimation method
JP2019021154A (ja) 覚醒機能を備えた電子装置、覚醒プログラムおよび覚醒方法
JP2008197916A (ja) 車両用居眠り運転防止装置
JP2019008427A (ja) 覚醒維持装置
JP6977589B2 (ja) 車両用警報装置
JP6658095B2 (ja) 覚醒維持装置及びプログラム
KR101708872B1 (ko) 졸음 운전 예방 시스템
JP2019008468A (ja) 覚醒維持装置
KR101526116B1 (ko) 원터치 졸음 운전 방지 시스템 및 그 방법
JP2019179370A (ja) 車速制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210727

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220111