JP2017059043A - 車両用覚醒制御システム - Google Patents

車両用覚醒制御システム Download PDF

Info

Publication number
JP2017059043A
JP2017059043A JP2015184245A JP2015184245A JP2017059043A JP 2017059043 A JP2017059043 A JP 2017059043A JP 2015184245 A JP2015184245 A JP 2015184245A JP 2015184245 A JP2015184245 A JP 2015184245A JP 2017059043 A JP2017059043 A JP 2017059043A
Authority
JP
Japan
Prior art keywords
driver
level
dialogue
awakening
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015184245A
Other languages
English (en)
Other versions
JP6358212B2 (ja
Inventor
榎本 高明
Takaaki Enomoto
高明 榎本
俊 中川
Takashi Nakagawa
俊 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015184245A priority Critical patent/JP6358212B2/ja
Priority to US15/149,874 priority patent/US9878583B2/en
Priority to CN201610587998.9A priority patent/CN106553653B/zh
Priority to DE102016015877.8A priority patent/DE102016015877B4/de
Priority to DE102016217538.6A priority patent/DE102016217538B4/de
Publication of JP2017059043A publication Critical patent/JP2017059043A/ja
Application granted granted Critical
Publication of JP6358212B2 publication Critical patent/JP6358212B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60CVEHICLE TYRES; TYRE INFLATION; TYRE CHANGING; CONNECTING VALVES TO INFLATABLE ELASTIC BODIES IN GENERAL; DEVICES OR ARRANGEMENTS RELATED TO TYRES
    • B60C9/00Reinforcements or ply arrangement of pneumatic tyres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089Driver voice

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Child & Adolescent Psychology (AREA)
  • Medical Informatics (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】運転者の覚醒度の改善を促す上で、運転者自身を相手として巻き込んだより高度な覚醒制御を行うことのできる車両用覚醒制御システムを提供する。【解決手段】車両用覚醒制御システムは、車両100の運転者の覚醒度の改善を促す覚醒制御を行うシステムである。このシステムは、感情推定部121による運転者の感情の推定結果及び生体センサ103による運転者の生体信号の検出結果に基づき運転者の覚醒の度合いを覚醒レベル判定部120を通じて覚醒レベルとして階層化して判定する。また、この判定結果に基づき覚醒制御部130を通じて運転者に与える刺激のレベルを決定する制御を行う。そして、こうして決定された刺激のレベルに対応する対話のカテゴリーを選択してスピーカー151及びマイク101を介しての運転者との対話を対話制御部150を通じて制御する。【選択図】図1

Description

本発明は、車両の運転者の覚醒度が低下したときに、すなわち運転者が眠くなりかけたときにその改善を促す車両用覚醒制御システムに関する。
従来、この種の車両用覚醒制御システムとして、例えば特許文献1に記載のシステムが知られている。このシステムでは、車両の走行時において、例えば車両の速度や加速度等に基づき算出される車両の運転状態、及び車室内で再生されている音楽のジャンルやテンポ、音量レベル等に基づき規定される音楽の再生態様を、その都度取得される運転者の覚醒度と関連付けて覚醒度リストにログデータとして蓄積していく。そして、運転者の覚醒度が所定値未満となったときには、上記覚醒度リストを参照して、共通する車両の運転状態で運転者の覚醒度が所定値以上であったときの音楽の再生態様が運転者の覚醒度が高まる可能性の高い再生態様として抽出される。そして、こうして抽出される再生態様で車室内に音楽を再生することにより、運転者の覚醒度の改善を促すようにしている。
特開2013−171546号公報
しかしながら、上記文献に記載のシステムでは、運転者の覚醒度の改善を促す上で運転者個人の嗜好は考慮されているものの、覚醒度の改善に用いる手段は、運転者からすればいわば一方的なものでしかない。そのため、運転者の覚醒度の改善をより的確に促そうとすると、なお改善の余地を残すものとなっている。
本発明は、このような実情に鑑みてなされたものであり、その目的は、運転者の覚醒度の改善を促す上で、運転者自身を相手として巻き込んだより高度な覚醒制御を行うことのできる車両用覚醒制御システムを提供することにある。
以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する車両用覚醒制御システムは、車両の運転者の覚醒度の改善を促す覚醒制御を行う車両用覚醒制御システムであって、運転者の行動を監視して運転者の感情を推定する感情推定部による推定結果と運転者の生体信号を検出する生体センサによる検出結果との少なくとも一方に基づき運転者の覚醒の度合いを覚醒レベルとして階層化して判定する覚醒レベル判定部と、前記覚醒レベル判定部による判定値に基づいて運転者に与える刺激のレベルを決定する制御を行う覚醒制御部と、前記決定された刺激のレベルにそれぞれ対応して発話の内容が分類されている対話のカテゴリーを選択してスピーカー及びマイクを介しての運転者との対話を制御する対話制御部とを備える。
車両の運転者との対話を通じて覚醒制御を行うようにしたとき、その覚醒制御には運転者自身が対話の相手として巻き込まれ、対話が維持されるにつれて高い覚醒効果が得られやすくなる。そこで上記構成によるように、運転者の覚醒レベルの判定値に基づき刺激のレベルを決定し、その決定された刺激のレベルに対応する対話のカテゴリーを選択して対話での運転者の巻き込み度合いを変化させるようにすれば、運転者の覚醒度の改善を効果的に促すことが可能となる。
上記車両用覚醒制御システムにおいて、車両の走行状況に基づき運転者の運転負荷を検出する運転負荷検出部を更に備え、前記覚醒制御部は、前記運転負荷検出部による運転負荷の検出値が所定値以上であるときには前記対話制御部による前記対話を通じての覚醒制御の実行を禁止することが好ましい。
例えばカーブ走行中であるなど、運転者が運転負荷の高い状況におかれているとき、運転者には運転操作に集中することが要求され、こうした状況下では覚醒制御のための対話自体が却って運転者の煩わしさを助長することにもなりかねない。そこで、上記構成によるように、運転者が運転負荷の高い状況におかれているときには対話を通じた覚醒制御の実行を禁止するようにすれば、上述した運転者に与える煩わしさを抑えることが可能となる。
上記車両用覚醒制御システムにおいて、前記対話制御部は、運転者の嗜好に関する情報が登録されたデータベースにアクセス可能に構成されており、前記覚醒制御部により決定される刺激のレベルが高くなるにつれて、前記データベースから読み出す前記嗜好に関する情報が前記対話に出現する割合を高くする制御を行うことが好ましい。
上記構成によるように、運転者の覚醒レベルが低くなり、当該覚醒レベルに対応する刺激のレベルが高くなるにつれて、運転者の嗜好に合わせて興味をひきやすい話題が対話に出現する割合を高くするようにすれば、覚醒効果がより高まるかたちで対話を通じての覚醒制御を実現することが可能となる。なお、ここでいう「対話」とは、運転者との間で一乃至複数のやりとりがなされることで完結する一連の話の流れを意味している。
上記車両用覚醒制御システムにおいて、前記覚醒レベルは、第1の覚醒レベルと、当該第1の覚醒レベルよりも覚醒の度合いが低い第2の覚醒レベルとを含み、前記刺激のレベルは、前記第1の覚醒レベルに基づき決定される第1の刺激のレベルと、前記第2の覚醒レベルに基づき決定される、前記第1の刺激のレベルよりも刺激の強い第2の刺激のレベルとを含み、前記対話制御部は、前記第1の刺激のレベルに対応する対話のカテゴリーとして、前記データベースに登録された前記嗜好に関する情報が含まれない対話のカテゴリーを選択し、前記第2の刺激のレベルに対応する対話のカテゴリーとして、前記データベースに登録された前記嗜好に関する情報が含まれる対話のカテゴリーを選択することが好ましい。
上記構成によるように、運転者の覚醒の度合いが相対的に低い第2の覚醒レベルにあるときに限って運転者の嗜好に関する情報を含むように対話のカテゴリーを選択するようにすれば、運転者の覚醒レベルごとに運転者の嗜好に関する情報が対話に出現する割合を容易に制御することが可能となる。
上記車両用覚醒制御システムにおいて、前記運転者の嗜好に関する情報が登録されたデータベースには、前記運転者との対話中に取得される嗜好に関する情報が含まれることが好ましい。
上記構成によれば、対話を通じた覚醒制御を行うごとに、運転者の嗜好に関する情報が登録されたデータベースの情報が更新、すなわち学習されていく。そのため、当該車両用覚醒制御システムの利用頻度が高まるほど運転者の嗜好がより一層反映される信頼性の高い覚醒制御を実現することが可能となる。
上記車両用覚醒制御システムにおいて、前記対話制御部は、車両の位置情報を含む外部環境情報を収集する車載情報端末にアクセス可能に構成されており、前記覚醒制御部により決定される刺激のレベルが高くなるにつれて、前記車載情報端末にて収集される車両のその都度の外部環境についての情報が前記対話に出現する割合を高くする制御を行うことが好ましい。
上記構成によるように、運転者の覚醒レベルが低くなり、当該覚醒レベルに対応する刺激のレベルが高くなるにつれて、運転者にとっては気になる情報となる車両のその都度の外部環境についての話題を多く提供するようにすれば、覚醒効果がより高まるかたちで対話を通じての覚醒制御を実現することが可能となる。
車両用覚醒制御システムの一実施の形態の概略構成を示すブロック図。 覚醒レベル判定テーブルの設定内容の一例を示す模式図。 刺激レベル決定テーブルの設定内容の一例を示す模式図。 刺激強度修正テーブルの設定内容の一例を示す模式図。 図1に示した対話制御部の内部構成例を示すブロック図。 各刺激レベルに対応するカテゴリーの対話の内容の一例を示す模式図。 同実施の形態の車両用覚醒制御システムが実行する覚醒制御の制御手順を示すフローチャート。 図7に示した覚醒制御のサブルーチンの処理手順を示すフローチャート。 (a)〜(f)は、同実施の形態の覚醒制御の実行に伴う各要素の推移例を示すタイムチャート。
本実施の形態の車両用覚醒制御システムは、車両の走行時における運転者の行動や生体信号を監視し、運転者の覚醒度が低下したと判断されるときには、対話といった、いわば運転者を巻き込んだ覚醒制御を行うことによりその改善を促すものである。ここで、運転者の覚醒度が低くなるにつれて、その改善を促すために必要とされる刺激のレベルは高くなるのが普通である。そのため、対話を通じた覚醒制御では、運転者の覚醒度が低くなるにつれてその刺激のレベルが高くなるように対話のカテゴリーを変更している。なお、例えばカーブ走行中であるなど、運転者が運転負荷の高い状況におかれているときには運転者には運転操作に集中することが要求される。そのため、こうした状況下では覚醒制御のための対話自体が却って運転者の煩わしさを助長することにもなりかねない。そこで本実施の形態では、車両の走行時における運転者の運転負荷を併せて監視し、運転負荷が高いと判断されるときには対話を通じた覚醒制御の実行を禁止するようにもしている。
はじめに、本実施の形態のシステムの構成について図面を参照して説明する。
図1に示すように、車両100は、運転者が所有する電子キー200との間で無線通信を行うことにより電子キー200のID(識別符号)を認証するID認証部111を備えている。そして、この認証された電子キー200のIDはID認証部111から個人特定部114に送られる。
また、車両100は、運転者からマイク101を通じて入力される音声信号に対して音声認識処理を行う音声認識部112を備えている。音声認識部112は、入力された音声信号に対して周波数分析を行うことにより運転者の声紋を抽出する。そして、この抽出された運転者の声紋は音声認識部112から個人特定部114に送られる。なお本実施の形態において、音声認識部112は、上記声紋の抽出の他、声の表情を評価する際に用いられる音声の韻律等に関する声の表情の特徴量の抽出や、音声のテキスト変換処理も併せて行っている。
また、車両100は、室内カメラ102を通じて入力される運転者の撮影画像に対して画像認識処理を行う画像認識部113を備えている。画像認識部113は、例えば運転者の撮影画像から目や鼻や口といった顔の特徴量を算出する。そして、こうして抽出された顔の特徴量は画像認識部113から個人特定部114に送られる。なお本実施の形態において、画像認識部113は、上記顔の特徴量の抽出の他、顔の表情を評価する際に用いられる運転者の視線移動等に関する情報をはじめ、運転者のジェスチャーや、車両操作といった動作の特徴量の抽出も併せて行っている。
個人特定部114は、電子キー200の識別情報、運転者の声紋、及び運転者の顔の特徴量が入力されることにより、これらの情報を複合的に用いて運転者個人を特定する。こうした特定手法の一例としては、例えば電子キー200の識別情報に基づき同じ電子キー200を過去に利用したことのある人物を運転者の候補として抽出し、当該候補の中から上記声紋及び運転者の顔の特徴量に基づき絞り込んで運転者個人を特定することが挙げられる。また、こうして特定された運転者個人の情報は、個人特定部114から外部にあるサーバー上の個人データベース300に送信され、個人データベース300に運転者個人ごとに区別して管理されているデータにアクセスする際に用いられる。なお、以下の説明も含めて、車両100とサーバー上の個人データベース300との間での信号やデータの授受は、図示しない無線通信装置を介して行われるものとする。
ここで、個人データベース300に管理されているデータとしては、運転者の刺激に対する応答性の個人差を加味して覚醒制御を最適化するためのデータである個人別覚醒データD1が含まれる。また、個人データベース300に管理されているデータとしてはその他にも、例えば運転者の好きなスポーツや趣味等、運転者個人の嗜好を表すデータである個人別嗜好データD2や、例えば運転者による情報検索の履歴やニュースやエンタメといった各種ジャンルの時事情報を掲載したホームページのドメイン情報等、インターネット回線を通じて取得されるデータであるWebデータD3が含まれる。
一方、上記音声認識部112によって抽出された声の表情の特徴量、及び上記画像認識部113によって抽出された運転者の視線移動やジェスチャー、車両操作の動作等、声の表情も含めた運転者の一連の行動は覚醒レベル判定部120に送られ、同覚醒レベル判定部120にある感情推定部121を通じて運転者の感情が推定される。
この感情推定部121による運転者の感情の推定では、例えば「興奮」、「幸せ」、「リラックス」、「退屈」、「悲しい」、「いらいらする」、[神経過敏]等、予め設定した感情の種類ごとに分類された教師データに対する統計処理を通じてそれらを識別する判断基準を定めておく。そして、感情推定部121は、上述のように声の表情の特徴量、顔の表情の特徴量、及び動作の特徴量が未知のデータとして新たに入力されたときには、こうして定めておいた判断基準に基づいて運転者の感情を推定するようにしている。そして、こうして推定された運転者の感情は、覚醒レベル判定部120を通じて運転者の覚醒レベルの判定に用いられる。なお、覚醒レベルとは、運転者の覚醒の度合いを階層化したものであり、本実施の形態では、覚醒度が高いものから順に、「D1」、「D2」、「D3」、「D4」の4段階に階層化している。
ここで、覚醒レベル判定部120による運転者の覚醒レベルの判定は、例えば心拍、脈波、血圧等、運転者の生体信号を検出する生体センサ103の検出結果も併せて用いつつ図2に示す覚醒レベル判定テーブルT1を有するテーブル管理部122を介して行われる。
図2に示す例の覚醒レベル判定テーブルT1では、運転者の声の表情に基づく運転者の覚醒レベルの判定結果、運転者の顔の表情に基づく運転者の覚醒レベルの判定結果、及び運転者の動作(ジェスチャー、車両操作)に基づく運転者の覚醒レベルの判定結果は「D1」となっている。その一方で、運転者の心拍に基づく運転者の覚醒レベルの判定結果、及び運転者の脈波に基づく運転者の覚醒レベルの判定結果は「D2」となっている。また、運転者の血圧に基づく運転者の覚醒レベルの判定結果は「D3」となっている。
このように運転者の覚醒レベルを判定する際には、その根拠とするデータの種類が異なれば判定結果が異なることもある。そこで、本実施の形態では、各種類のデータに基づく覚醒レベル「D1」〜「D4」の判定結果を数値化し、それらの合算値が最も大きい覚醒レベルを運転者の覚醒レベルとして判定するようにしている。また、各種類のデータに基づく覚醒レベルの判定結果を数値化する際には、運転者の生体情報(心拍、脈波、血圧)に基づく判定結果に対しては、運転者の感情(声の表情、顔の表情、運転者の動作)に基づく判定結果と比較して、重み付けを大きくする(図2に示す例では2倍の重み付け)ようにしている。これは、運転者の生体情報に基づく運転者の覚醒レベルの判定結果は、運転者の行動に基づく運転者の覚醒レベルの判定結果と比較して、その信頼性が相対的に高いと考えられるためである。これにより、図2に示す例では、運転者の心拍及び脈波に基づく運転者の覚醒レベルの判定結果である「D2」についての合算値「4」が最も大きくなり、この覚醒レベル「D2」が運転者の覚醒レベルとして判定されることとなる。なお、複数の覚醒レベルの判定結果の合算値が同点となったときには、一例として、それら覚醒レベルのうち最も低い覚醒レベルを運転者の覚醒レベルとして判定するようにしてもよい。
そして、図1に示すように、覚醒レベル判定部120を通じて判定された運転者の覚醒レベルは、覚醒レベル判定部120から覚醒制御部130に送られる。覚醒制御部130は、運転者の覚醒制御に際し、覚醒レベル判定部120から取得した運転者の覚醒レベルを用いつつ、図3に示す刺激レベル決定テーブルT2を参照して運転者に与える刺激レベルを決定する。なお、本実施の形態においては、運転者の覚醒制御として、対話による制御、シートを振動させる制御、及び空調の風量を調整する制御を、この決定された刺激レベルに応じて実行するようにしている。
図3に示す例の刺激レベル決定テーブルT2では、運転者の運転負荷が所定値以上であるか否かの分類(「小」、「大」)に関連付けて、運転者の覚醒レベルごとに個別に対応して運転者に与える刺激レベルが設定されている。具体的には、運転者の運転負荷が所定値未満であるとき、すなわち「運転負荷:小」に分類されるときには、運転者の覚醒レベル「D2」、「D3」、「D4」の各々に対応する刺激レベルとして「小」、「中」、「大」がそれぞれ設定されている。また、この刺激レベル決定テーブルT2には、運転者の覚醒レベル「D1」に対応する刺激の内容は何ら設定されていない。そのため、本実施の形態では、運転者の覚醒レベルが「D1」であるときには、対話を通じた覚醒制御も含め、運転者に対する覚醒制御は実行されない。また、運転者の運転負荷が所定値以上であるとき、すなわち「運転負荷:大」に分類されるときには、運転者の覚醒レベルが「D1」〜「D4」の何れであったとしても、対話を通じた覚醒制御も含め、運転者に対する覚醒制御の実行を禁止すべく、対応する刺激レベルとして「制御禁止」が設定されている。これは、運転者が運転負荷の高い状況に置かれているときには運転者には運転操作に集中することが要求され、こうした状況下では覚醒制御の実行自体が却って運転者の煩わしさを助長することにもなりかねないためである。
なお、図1に示すように、運転者の運転負荷は運転負荷検出部140を通じて検出されるものであり、例えば加速度センサ104や速度センサ105の検出値に基づき車両100の急峻な加減速が行われていると判断されるときには、運転者の運転負荷が高い状況にある旨が検出される。また、例えばウィンカースイッチ106やシフトポジションセンサ107やステアリングセンサ108の検出値に基づき車両100の各種操作が頻繁に行われていると判断されるときにも、運転者の運転負荷が高い状況にある旨が検出される。また、カーナビゲーションシステム109から取得される情報に基づき、例えば車両100が車線数の少ない道路、車幅の狭い道路、もしくは道路曲率の大きい道路等、車両100が走りにくい走行環境に置かれていると判断されるときにも、運転者の運転負荷が高い状況にある旨が検出される。
また、上記覚醒制御部130は、運転者の覚醒制御に際し、個人データベース300に格納されている個人別覚醒データD1を用いつつ、図4に示す刺激強度修正テーブルT3を参照して運転者に与える刺激レベルでの刺激の強度を修正する。ここで、個人別覚醒データD1は、運転者に対する覚醒制御を行う際の刺激強度の学習値P1を初期設定するものであり、運転者個人の覚醒刺激に対する感受性が低いほど、その値が大きくなる傾向にある。
そして、図4に示す例の刺激強度修正テーブルT3では、個人別覚醒データD1に基づき初期設定される刺激強度の学習値P1に個別に対応するように刺激強度が設定されている。具体的には、刺激強度修正テーブルT3には、刺激強度の学習値P1が「0」であるときの対話の継続時間P2である値「T1」、「T2」、「T3」が刺激レベル「小」、「中」、「大」にそれぞれ対応するかたちで設定されている。この場合、各刺激レベルにおける対話の継続時間P2は、「T1」<「T2」<「T3」の関係を満たしている。そして、刺激強度の学習値P1が「1」ずつ加算されるごとに、その対話の継続時間P2が一定値「α」ずつ増加するように設定されている。また、運転者に対してシート振動による覚醒制御を行うときには、刺激強度の学習値P1が「0」であるときのシート振動の強さP3である値「A2」、「A3」が刺激レベル「中」、「大」にそれぞれ対応するかたちで設定されている。この場合、各刺激レベルにおけるシート振動の強さP3は、「A2」<「A3」の関係を満たしている。そして、刺激強度の学習値P1が「1」ずつ加算されるごとに、シート振動の強さP3が一定値「β」ずつ増加するように設定されている。また、同じく運転者に対してシート振動による覚醒制御を行うときには、刺激強度の学習値P1が「0」であるときのシート振動の周期P4である値「S2」、「S3」が刺激レベル「中」、「大」にそれぞれ対応するかたちで設定されている。この場合、各刺激レベルにおけるシート振動の周期P4は、「S2」>「S3」の関係を満たしている。そして、刺激強度の学習値P1が「1」ずつ加算されるごとに、シート振動の周期P4が一定値「γ」ずつ減少するように設定されている。また、運転者に対して空調による覚醒制御を行うときには、刺激強度の学習値が「0」であるときの空調の風量P5である値「B3」が刺激レベル「大」に対応するかたちで設定されている。そして、刺激強度の学習値P1が「1」ずつ加算されるごとに、その空調の風量が一定値「δ」ずつ増加するように設定されている。なお、図4に示す例の刺激強度修正テーブルT3では、刺激強度の学習値P1が加算されるにつれて、各刺激レベルにおける対話の継続時間P2、シート振動の強さP3、シート振動の周期P4、空調の風量P5を変更するようにしたが、これに代えてもしくはこれに加えて、例えば対話の音量、シート161の温度、空調の温度等を変更するようにしてもよい。
そして、図1に示すように、覚醒制御部130は、図3に示した刺激レベル決定テーブルT2を参照して決定した刺激レベルの情報を、図4に示す刺激強度修正テーブルT3を参照して修正した刺激強度の情報と併せて対話制御部150に送り、この対話制御部150を通じて対話による覚醒制御を実行する。
具体的には、図5に示すように、対話制御部150は、運転者の発話の内容を表すテキストデータが音声認識部112からキーワード抽出部152に送られると、キーワード抽出部152にてテキストデータを解析して運転者の発話の開始時点及び終了時点を検出する。そして、キーワード抽出部152は、それら開始時点から終了時点までの発話に含まれるテキストデータの中からキーワードを抽出する。こうして抽出されたキーワードは、キーワード抽出部152から対話管理部153に送られ、それらキーワードの出現頻度等に基づき運転者の意図が対話管理部153を通じて推定される。そして、対話管理部153は、推定した運転者の意図の履歴を車両側データベース154に対話/意図理解履歴データD4として蓄積し、この蓄積した対話/意図理解履歴データD4に基づき、車両側データベース154に予め用意されたキーワード群の中から運転者との対話に用いるキーワードW1を選択して取得する。
また、対話管理部153は、覚醒制御部130から送られる刺激レベルが「中」もしくは「大」であれば、対話を通じた覚醒制御に際し、更にサーバー上の個人データベース300にもアクセスし、運転者の好きなスポーツや趣味等、運転者個人の嗜好を表すデータである個人別嗜好データD2を取得する。なお、対話管理部153は、個人別嗜好データD2に加え、運転者による情報検索の履歴を表すデータであるWeb検索データD3Aも併せて取得する。そして、対話管理部153は、これら個人別嗜好データD2及びWeb検索データD3Aに基づき、個人データベース300に格納されているドメインデータD3Bの中から運転者の嗜好に合ったジャンルを選択する。また、対話管理部153は、こうして選択したジャンルのドメインが指定するホームページ内でのキーワードの出現頻度等に基づき、運転者との対話に用いるキーワードW2を選択して取得する。これにより、運転者の嗜好についての話題が運転者との対話に出現する割合が高くなる。なお、ここでいう「対話」とは、図6に示すテーブルにおいて刺激レベルごとに規定される対話例のように、運転者との間で一乃至複数のやりとりがなされることで完結する一連の話の流れを意味している。また、ここでいうWeb検索データD3A及びドメインデータD3Bが図1に示したWebデータD3に相当する。
また、対話管理部153は、覚醒制御部130から送られる刺激レベルが「大」であれば、対話を通じた覚醒制御に際し、更に車載情報端末180にもアクセスし、例えば車両100の位置情報、地図情報、天候情報等といった車両の外部環境情報を取得する。そして、対話管理部153は、車載情報端末180から取得した車両の外部環境情報に基づき、運転者との対話に用いるキーワードを取得する。これにより、車両100の外部環境情報についての話題が運転者との対話に出現する割合が高くなる。
そして、対話制御部150は、車両側データベース154、個人データベース300、及び車載情報端末180から対話管理部153に取得された各キーワードを構文作成部155に送り、この構文作成部155にてキーワードを組み合わせて対話に用いる構文を作成する。また、対話管理部153は、構文作成部155が作成した構文のテキストデータを音声変換部156を通じて音声信号に変換した上で、スピーカー151を通じて音声として運転者に対して出力する。
図6は、各刺激レベルにおける対話の内容の一例を示している。同図に示すように、刺激レベル「小」に対応する対話のカテゴリー「A」は、運転者の思考がほとんど必要とされない反射的な受け答えを運転者から引き出すためのものである。こうした対話の一例としては、挨拶等の典型的な対話が挙げられる。また、刺激レベル「中」に対応する対話のカテゴリー「B」は、運転者個人の嗜好に基づき生成される短い対話であり、運転者の思考を要する簡単な受け答えを運転者から引き出すためのものである。こうした対話の一例としては、例えば運転者の好きなスポーツがサッカーであるときにはサッカーの試合結果を交えた対話が挙げられる。また、刺激レベル「大」に対応する対話のカテゴリー「C」は、車両100の走行しているシーンと運転者個人の嗜好を絡めて継続する長い対話であり、運転者の考える行為や行動を誘発するためのものである。こうした対話の一例としては、車両100が目的地として富士山を設定しているときには富士山の話題や天気の話題を交えつつ、運転者の嗜好(食べ物、買い物)を考慮した推奨ルートを提案する対話が挙げられる。
一方、図1に示すように覚醒制御部130は、図3に示す刺激レベル決定テーブルT2を参照して決定した刺激レベルの情報を、図4に示す刺激強度修正テーブルT3を参照して修正した刺激強度の情報と併せてシート制御部160にも送る。こうして刺激レベルに関する情報を受けたシート制御部160では、覚醒制御部130から送られる刺激レベルが「中」もしくは「大」であれば、シート161の振動を通じた覚醒制御を実行する。
また、覚醒制御部130は、図3に示す刺激レベル決定テーブルT2を参照して決定した刺激レベルの情報を、図4に示す刺激強度修正テーブルT3を参照して修正した刺激強度の情報と併せて空調装置制御部170にも送る。同様に、刺激レベルに関する情報を受けた空調装置制御部170では、覚醒制御部130から送られる刺激レベルが「大」であれば、空調装置171による空調の風量の増減を通じた覚醒制御を実行する。
ここで、先の覚醒レベル判定部120は、覚醒制御部130による運転者の覚醒制御が行われた後の運転者の覚醒度の変化を監視して覚醒制御の有効性を判定している。そして、覚醒レベル判定部120は、運転者の覚醒度の変化量が小さく、覚醒制御の有効性が認められないときには、その判定結果を覚醒制御部130に送る。これにより、覚醒制御部130は、運転者の覚醒制御を効果的に行うべく、対話制御部150、シート制御部160、及び空調装置制御部170からフィードバックされる情報を基に判断されるその時点での刺激強度の学習値P1の加算を行う。それ以降、覚醒制御の有効性が認められない限りは、覚醒制御部130による運転者の覚醒制御の実行と、刺激強度の学習値P1の加算を繰り返し行っていく。一方、覚醒制御の有効性が認められたときには、その時点における刺激強度の学習値P1に基づき、運転者の覚醒刺激に対する感受性の高さを判断し、その判断結果に基づき個人別覚醒データD1を更新する。そのため、以降の覚醒制御では、運転者個人が覚醒刺激に対して感受性が低いような場合であれ、こうした運転者個人の特性が反映されるかたちで効果的な覚醒制御が行われるようになる。
また、対話制御部150は、対話を通じた覚醒制御に際し、対話中のキーワードの出現頻度等に基づき運転者個人の嗜好データを分析する。そして、対話制御部150は、その分析により得られた運転者個人の嗜好データを個人データベース300に送り、個人別嗜好データD2を更新するようにしている。なお、対話制御部150は、運転者との対話により取得された運転者の嗜好に関する情報を車両100が備える記憶装置を通じて学習するようにしてもよい。
次に、車両用覚醒制御システムが実行する覚醒制御について、その具体的な制御手順を説明する。ここで、車両用覚醒制御システムは、車両100のイグニッションスイッチがオンとなっている条件で、図7に示す覚醒制御を所定の周期で繰り返し実行する。なお、図7においては便宜上、個人が特定されて以降に実施される処理の概要を統括して示している。
車両用覚醒制御システムはまず、電子キー200の識別情報、運転者の声紋、及び運転者の顔の特徴を複合的に用いて運転者個人の情報を個人特定部114を通じて特定済みであるか否かを判定する(ステップS10A)。そして、運転者個人の情報が特定済みではないときには(ステップS10A=NO)、個人特定部114を通じて運転者個人の情報を特定した上で(ステップS10B)、運転者の感情を感情推定部121を通じて推定する(ステップS11)。一方、運転者個人の情報が特定済みであるときには(ステップS10A=YES)、ステップS10Bの処理を経ることなく、運転者の感情を感情推定部121を通じて推定する(ステップS11)。ここで、運転者の感情の推定は、音声認識部112から入力される運転者の声の表情の特徴量、画像認識部113から入力される運転者の顔の表情の特徴量、及び同じく画像認識部113から入力される運転者の動作の特徴量に基づいて行われる。
そして次に、車両用覚醒制御システムは、運転者の生体信号を生体センサ103を通じて取得する(ステップS12)。
続いて、車両用覚醒制御システムは、感情推定部121による運転者の感情の推定結果、及び、生体センサ103による運転者の生体信号の検出結果に基づき、運転者の覚醒レベルを覚醒レベル判定部120を通じて判定する(ステップS13)。
そして次に、車両用覚醒制御システムは、運転者の運転負荷を運転負荷検出部140を通じて検出する(ステップS14)。
続いて、車両用覚醒制御システムは、先のステップS13において判定した運転者の覚醒レベル、及び先のステップS14において検出した運転者の運転負荷に基づき、刺激レベル決定テーブルT2を参照しつつ覚醒制御における刺激レベルを覚醒制御部130を通じて決定する(ステップS15)。
また、車両用覚醒制御システムは、運転者の覚醒刺激に対する感受性を反映した覚醒制御を実行すべく、個人データベース300から個人別覚醒データD1を覚醒制御部130を通じて取得する(ステップS16)。
そして、車両用覚醒制御システムは、先のステップS16において取得した個人別覚醒データD1に基づき、刺激強度修正テーブルT3を参照しつつ運転者に与える刺激レベルにおける刺激の強度を覚醒制御部130を通じて修正する(ステップS17)。
そして、車両用覚醒制御システムは、先のステップS17において修正した刺激の強度の条件下で覚醒制御を実行する(ステップS18)。
具体的には、図8に示すように、車両用覚醒制御システムは、図7のステップS15において決定した刺激レベルが「小」であるか否かを判定する(ステップS30)。そして、車両用覚醒制御システムは、刺激レベルが「小」であるときには(ステップS30=YES)、運転者の思考がほとんど必要とされない反射的な受け答えを運転者から引き出すための対話のカテゴリー「A」を対話制御部150を通じて選択する(ステップS31)。そして、車両用覚醒制御システムは、対話のカテゴリー「A」に合わせるかたちで車両側データベース154から取得したキーワードW1を用いて対話の構文を作成した上で(ステップS32)、対話を通じた覚醒制御を対話制御部150を通じて実行する(ステップS33)。
一方、車両用覚醒制御システムは、図7のステップS15において決定した刺激レベルが「小」ではないときには(ステップS30=NO)、当該刺激レベルが「中」であるか否かを判定する(ステップS34)。そして、車両用覚醒制御システムは、刺激レベルが「中」であるときには(ステップS34=YES)、運転者個人の嗜好に基づき生成される短い対話であって、運転者の思考を要する簡単な受け答えを運転者から引き出すための対話のカテゴリー「B」を対話制御部150を通じて選択する(ステップS35)。そして、車両用覚醒制御システムは、対話のカテゴリー「B」に合わせるかたちで車両側データベース154、個人別嗜好データD2、及びWeb検索データD3Aから取得したキーワードW1,W2を用いて対話の構文を作成した上で(ステップS36)、対話を通じた覚醒制御を対話制御部150を通じて実行する(ステップS37)。この場合、車両用覚醒制御システムは、対話制御部150による対話を通じた覚醒制御と併せて、シート制御部160によるシート振動を通じた覚醒制御も実行する(ステップS37)。
また、車両用覚醒制御システムは、図7のステップS15において決定した刺激レベルが「中」ではないときには(ステップS34=NO)、当該刺激レベルが「大」であるか否かを判定する(ステップS38)。そして、車両用覚醒制御システムは、刺激レベルが「大」であるときには(ステップS38=YES)、車両100の走行しているシーンと運転者個人の嗜好を絡めて継続する長い対話であり、運転者の考える行為や行動を誘発するための対話のカテゴリー「C」を対話制御部150を通じて選択する(ステップS39)。そして、車両用覚醒制御システムは、対話のカテゴリー「C」に合わせるかたちで車両側データベース154、個人別嗜好データD2、Web検索データD3A、及び外部環境情報から取得したキーワードW1,W2を用いて対話の構文を作成した上で(ステップS40)、対話を通じた覚醒制御を対話制御部150を通じて実行する(ステップS41)。この場合、車両用覚醒制御システムは、対話制御部150による対話を通じた覚醒制御と併せて、シート制御部160によるシート振動を通じた覚醒制御、及び空調装置制御部170による空調を通じた覚醒制御も実行する(ステップS41)。
一方、車両用覚醒制御システムは、図7のステップS15において決定した刺激レベルが「大」ではないとき(ステップS38=NO)、すなわち当該刺激レベルが「未設定」もしくは「制御禁止」であるときには覚醒制御を実行することなく図7に戻り、図7に示した覚醒制御を終了する。
そして図7に戻り、車両用覚醒制御システムは、ステップS18において対話を通じた覚醒制御を実行した場合には、その対話の内容に基づき運転者個人の嗜好データを対話制御部150を通じて分析して個人別嗜好データD2を更新する(ステップS19)。
続いて、車両用覚醒制御システムは、覚醒制御を実行した後の運転者の覚醒レベルの変化を覚醒レベル判定部120を通じて監視して覚醒制御の有効性を判定する(ステップS20)。そして、車両用覚醒制御システムは、覚醒制御の有効性が認められないときには(ステップS20=NO)、運転者の覚醒制御を効果的に行うべく、刺激強度の学習値P1を覚醒制御部130を通じて加算した上で、刺激強度修正テーブルT3を再び参照して運転者に与える刺激の強度を上方修正する(ステップS21)。そして、車両用覚醒制御システムは、その処理をステップS18に戻し、上方修正した後の刺激の強度の条件下でステップS18における覚醒制御の実行を再度行う。それ以降、車両用覚醒制御システムは、刺激強度の学習値P1が上限値(図4参照)に達しない限りは、覚醒制御の有効性が認められるまでの間、刺激強度の学習値P1の加算、並びに対話を通じた覚醒制御に基づく運転者個人の嗜好データの更新を繰り返し行う。
一方、車両用覚醒制御システムは、覚醒制御の有効性が認められたときには(ステップS20=YES)、その時点における刺激強度の学習値P1に基づき運転者の覚醒刺激に対する感受性の高さを対話制御部150を通じて判断しつつ、その判断結果に基づき個人別覚醒データD1を更新した上で(ステップS22)、図7に示した覚醒制御を終了する。
次に、本実施の形態の車両用覚醒制御システムの作用について説明する。
例えば図9(a)に示すように、車両の走行時に運転者の覚醒度が低下したときには、その改善を促すことを目的として覚醒制御を行うことが望ましい。しかしながら、車両の走行時における運転者の運転負荷の大小によっては、覚醒制御そのものが運転者の煩わしさを助長することにもなりかねない。特に、対話を通じた覚醒制御のように運転者自身を相手として巻き込んだ覚醒制御にあっては、こうした問題が顕著となりやすい。
そこで本実施の形態では、図9(b)に示すように、車両の走行時に運転者の覚醒度だけでなく運転者の運転負荷も併せて監視している。そして、運転者の運転負荷が高いと判断される状況下では図9(c)に示すように覚醒制御を行わないようにしている。そのため、覚醒制御自体が運転者の煩わしさを助長する状況となることが未然に防止されつつも、運転者の運転負荷が低い状況となれば覚醒制御を実行することで運転者の覚醒度の改善を効果的に促すことが可能となる。
ちなみに、運転者の覚醒度が低くなるにつれて、その改善を促すために必要とされる刺激のレベルは高くなるのが普通である。そこで本実施の形態では、同じく図9(c)に示すように、運転者の覚醒度が低くなるにつれて、運転者に与える刺激のレベルを高めるようにしている。
具体的には、図9(d)に示すように、対話を通じた覚醒制御では、運転者の覚醒度が低下するにつれて、例えば運転者の嗜好を反映した話題や車両100のその都度の外部環境情報についての話題等、運転者の興味を引きやすい話題が出現する割合を高くするようにしている。そのため、運転者の覚醒度が低下してその改善に高強度の覚醒制御が求められる状況であれ、こうした状況に適切に対応することが可能となる。
また、図9(e)及び図9(f)に示すように、運転者の覚醒度が低いときには、上述した対話による覚醒制御と併せて、シート161の振動による覚醒制御や空調装置171の空調による覚醒制御を複合的に行うようにしているため、その効果もより一層高められるようになる。
以上説明したように、本実施の形態によれば、以下に示す効果を得ることができる。
(1)覚醒制御部130は、覚醒レベル判定部120による運転者の覚醒レベルの判定結果に基づき、運転者に与える刺激のレベルを決定し、対話制御部150は、その決定した刺激のレベルに対応する対話のカテゴリーを選択するようにしている。そのため、運転者の覚醒レベルに応じて対話における運転者の巻き込み度合いが変化するようになり、運転者の覚醒度の改善を効果的に促すことが可能となる。
(2)覚醒制御部130は、例えばカーブ走行中など、運転者には運転操作に集中することが要求され、覚醒制御のための対話自体が却って運転者の煩わしさを助長するような状況下では対話をはじめとする覚醒制御の実行を禁止するようにしている。そのため、こうした覚醒制御が運転者に与える煩わしさを抑えることが可能となる。
(3)対話制御部150は、運転者個人の嗜好に関する情報である個人別嗜好データD2にアクセス可能に構成されており、覚醒制御部130により決定される刺激のレベルが高くなるにつれて、運転者の嗜好に関する情報が対話に出現する割合を高くする制御を行うようにしている。このように、運転者の覚醒レベルが低くなり、当該覚醒レベルに対応する刺激のレベルが高くなるにつれて、運転者の嗜好に合わせて興味をひきやすい話題を多く提供するようにすれば、覚醒効果がより高まるかたちで対話を通じての覚醒制御を実現することが可能となる。
(4)対話制御部150は、覚醒レベル判定部120を通じて判定される運転者の覚醒レベルが相対的に低い「D3」もしくは「D4」にあるときに限って運転者の嗜好に関する情報が対話に含まれるようにしている。そのため、運転者の覚醒レベルごとに運転者の嗜好に関する情報が対話に出現する割合を容易に制御することが可能となる。
(5)運転者個人の嗜好を表すデータである個人別嗜好データD2には、対話を通じた覚醒制御において運転者との対話中に取得されるデータが含まれている。これにより、対話を通じた覚醒制御を行うごとに、運転者の嗜好に関する情報である個人別嗜好データD2の情報が更新されていく。そのため、車両用覚醒制御システムの利用頻度が高まるほど運転者の嗜好がより一層反映される信頼性の高い覚醒制御を実現することが可能となる。
(6)対話制御部150は、車両100の位置情報を含む外部環境情報を収集する車載情報端末180にアクセス可能に構成されており、覚醒制御部130により決定される刺激のレベルが高くなるにつれて、車両100のその都度の外部環境情報についての話題が対話に出現する割合を高くする制御を行うようにしている。このように、運転者の覚醒レベルが低くなり、当該覚醒レベルに対応する刺激のレベルが高くなるにつれて、運転者にとっては気になる情報となる車両100のその都度の外部環境情報についての話題を多く提供するようにすれば、覚醒効果がより高まるかたちで対話を通じての覚醒制御を実現することが可能となる。
(7)覚醒レベル判定部120は、覚醒制御部130による運転者の覚醒制御の際、刺激を与えた後の運転者の覚醒度の変化を監視して覚醒制御の有効性を判定し、覚醒制御の有効性が認められないと判定したときには、刺激強度の学習値P1を加算するようにしている。これにより、運転者に対する覚醒刺激の強度が高められるため、運転者個人が覚醒制御に対して感受性が低いような場合であれ、こうした運転者個人の特性を反映したかたちで効果的な覚醒制御を行うことが可能となる。
(8)運転者の覚醒度が低いときには、対話制御部150による対話を通じた覚醒制御と併せて、シート制御部160によるシート161の振動を通じた覚醒制御や空調装置制御部170による空調装置171の空調を通じた覚醒制御を複合的に行うようにしている。これにより、覚醒効果がより一層高まるかたちで覚醒制御を実現することが可能となる。
なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態においては、車両100のその都度の外部環境情報の収集を車載情報端末180を通じて行うようにしたが、こうした外部環境情報の収集をカーナビゲーションシステム109を通じて行うようにしてもよい。
・上記実施の形態においては、刺激強度の学習値P1が加算されるごとに、覚醒刺激の強度を規定する各種パラメータ(対話の継続時間P2、シート振動の強さP3、シート振動の周期P4、空調の風量P5)を一定値ずつ変更するようにした。これに代えて、例えば刺激強度の学習値P1が加算されるごとに上記パラメータの変更量を小さく、あるいは大きくする等、刺激強度の学習値P1に応じてパラメータの変更量を変化させるようにしてもよい。また、上記実施の形態では、運転者の覚醒度に応じて決定される刺激レベルに依ることなく、刺激強度の学習値P1に応じて一律の条件で上述した各種パラメータを変更するようにしたが、これらパラメータの変更条件を刺激レベルごとに異なる態様で設定するようにしてもよい。
・上記実施の形態においては、対話を通じた覚醒制御に対してシート161の振動や空調装置171の空調を通じた覚醒制御を組み合わせることとしたが、シート161の振動や空調装置171の空調を組み合わせることなく、対話のカテゴリーの変更のみによって覚醒刺激の強度を変更するようにしてもよい。
・上記実施の形態においては、特に対話にかかる制御に際し、便宜上、覚醒レベルとして、例えばレベル「D2」に相当する第1の覚醒レベルと、この第1の覚醒レベルよりも覚醒の度合いが低い、例えばレベル「D3」、「D4」に相当する第2の覚醒レベルとを含んでいる。また、それに対応する刺激のレベルとしても、第1の覚醒レベルに基づき決定されるレベル「小」に相当する第1の刺激のレベルと、第2の覚醒レベルに基づき決定される第1の刺激のレベルよりも刺激の強いレベル「中」、「大」に相当する第2の刺激のレベルを含んでいる。そして、対話制御部150は、上記第1の刺激のレベルに対応する対話のカテゴリーとしてデータベース(個人別嗜好データD2)に登録された運転者の嗜好に関する情報が含まれない対話のカテゴリーを選択し、第2の刺激のレベルに対応する対話のカテゴリーとして、同データベースに登録された運転者の嗜好に関する情報が含まれる対話のカテゴリーを選択するようにした。しかし、対話制御部150が実行する制御として、このような制御は一例にすぎない。例えば、対話制御部150は、第2の刺激のレベルに対応する対話のカテゴリーとして、第1の刺激のレベルに対応する対話のカテゴリーと比較して、対話に含まれるキーワードのうち、嗜好に関するキーワードの割合(数)を増やしたり、嗜好に関するキーワードが出現する周期を短くしたり、嗜好に関するキーワードの種類を増やしたりするようにしてもよい。すなわち、要は、対話制御部150は、運転者の嗜好に関する情報が登録されたデータベースにアクセス可能に構成されており、覚醒制御部130により決定される刺激のレベルが高くなるにつれて、データベースから読み出す運転者の嗜好に関する情報が対話に出現する割合を高くする制御を行うものであればよい。またさらには、対話制御部150は、車両100の位置情報を含む外部環境情報を収集する車載情報端末180にアクセス可能に構成されており、覚醒制御部130により決定される刺激のレベルが高くなるにつれて、車載情報端末180にて収集される車両100のその都度の外部環境についての情報が対話に出現する割合を高くする制御を行うものであればよい。
・上記実施の形態においては、運転者の覚醒度の判定は、運転者の行動による感情の推定結果、及び運転者の生体信号の検出結果の両方に基づいて行うようにしたが、いずれか一方のみに基づいて行うようにしてもよい。
100…車両、101…マイク、102…室内カメラ、103…生体センサ、104…加速度センサ、105…速度センサ、106…ウィンカースイッチ、107…シフトポジションセンサ、108…ステアリングセンサ、109…カーナビゲーションシステム、111…ID認証部、112…音声認識部、113…画像認識部、114…個人特定部、120…覚醒レベル判定部、121…感情推定部、122…テーブル管理部、130…覚醒制御部、140…運転負荷検出部、150…対話制御部、151…スピーカー、160…シート制御部、161…シート、170…シート制御部、171…空調装置、180…車載情報端末、200…電子キー、300…外部データベース、D1…個人別覚醒データ、D2…個人別嗜好データ、D3…Webデータ、T1…覚醒レベル判定テーブル、T2…刺激レベル決定テーブル、T3…刺激強度修正テーブル。

Claims (6)

  1. 車両の運転者の覚醒度の改善を促す覚醒制御を行う車両用覚醒制御システムであって、
    運転者の行動を監視して運転者の感情を推定する感情推定部による推定結果と運転者の生体信号を検出する生体センサによる検出結果との少なくとも一方に基づき運転者の覚醒の度合いを覚醒レベルとして階層化して判定する覚醒レベル判定部と、
    前記覚醒レベル判定部による判定値に基づき運転者に与える刺激のレベルを決定する制御を行う覚醒制御部と、
    前記決定された刺激のレベルにそれぞれ対応して発話の内容が分類されている対話のカテゴリーを選択してスピーカー及びマイクを介しての運転者との対話を制御する対話制御部とを備える
    ことを特徴とする車両用覚醒制御システム。
  2. 車両の走行状況に基づき運転者の運転負荷を検出する運転負荷検出部を更に備え、
    前記覚醒制御部は、前記運転負荷検出部による運転負荷の検出値が所定値以上であるときには前記対話制御部による前記対話を通じての覚醒制御の実行を禁止する
    請求項1に記載の車両用覚醒制御システム。
  3. 前記対話制御部は、運転者の嗜好に関する情報が登録されたデータベースにアクセス可能に構成されており、前記覚醒制御部により決定される刺激のレベルが高くなるにつれて、前記データベースから読み出す前記嗜好に関する情報が前記対話に出現する割合を高くする制御を行う
    請求項1又は2に記載の車両用覚醒制御システム。
  4. 前記覚醒レベルは、第1の覚醒レベルと、当該第1の覚醒レベルよりも覚醒の度合いが低い第2の覚醒レベルとを含み、
    前記刺激のレベルは、前記第1の覚醒レベルに基づき決定される第1の刺激のレベルと、前記第2の覚醒レベルに基づき決定される、前記第1の刺激のレベルよりも刺激の強い第2の刺激のレベルとを含み、
    前記対話制御部は、
    前記第1の刺激のレベルに対応する対話のカテゴリーとして、前記データベースに登録された前記嗜好に関する情報が含まれない対話のカテゴリーを選択し、
    前記第2の刺激のレベルに対応する対話のカテゴリーとして、前記データベースに登録された前記嗜好に関する情報が含まれる対話のカテゴリーを選択する
    請求項3に記載の車両用覚醒制御システム。
  5. 前記運転者の嗜好に関する情報が登録されたデータベースには、前記運転者との対話中に取得される嗜好に関する情報が含まれる
    請求項3又は4に記載の車両用覚醒制御システム。
  6. 前記対話制御部は、車両の位置情報を含む外部環境情報を収集する車載情報端末にアクセス可能に構成されており、前記覚醒制御部により決定される刺激のレベルが高くなるにつれて、前記車載情報端末にて収集される車両のその都度の外部環境についての情報が前記対話に出現する割合を高くする制御を行う
    請求項1〜5のいずれか一項に記載の車両用覚醒制御システム。
JP2015184245A 2015-09-17 2015-09-17 車両用覚醒制御システム Active JP6358212B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015184245A JP6358212B2 (ja) 2015-09-17 2015-09-17 車両用覚醒制御システム
US15/149,874 US9878583B2 (en) 2015-09-17 2016-05-09 Vehicle alertness control system
CN201610587998.9A CN106553653B (zh) 2015-09-17 2016-07-25 车辆用清醒控制系统
DE102016015877.8A DE102016015877B4 (de) 2015-09-17 2016-09-14 Fahrzeug-Aufmerksamkeitssteuersystem
DE102016217538.6A DE102016217538B4 (de) 2015-09-17 2016-09-14 Fahrzeug-Aufmerksamkeitssteuersystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015184245A JP6358212B2 (ja) 2015-09-17 2015-09-17 車両用覚醒制御システム

Publications (2)

Publication Number Publication Date
JP2017059043A true JP2017059043A (ja) 2017-03-23
JP6358212B2 JP6358212B2 (ja) 2018-07-18

Family

ID=58224809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015184245A Active JP6358212B2 (ja) 2015-09-17 2015-09-17 車両用覚醒制御システム

Country Status (4)

Country Link
US (1) US9878583B2 (ja)
JP (1) JP6358212B2 (ja)
CN (1) CN106553653B (ja)
DE (2) DE102016217538B4 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180884A1 (ja) * 2017-03-27 2018-10-04 株式会社デンソー 覚醒維持装置
JP2019124977A (ja) * 2018-01-11 2019-07-25 トヨタ自動車株式会社 車載音声出力装置、音声出力制御方法、及び音声出力制御プログラム
JP2019200544A (ja) * 2018-05-15 2019-11-21 三菱電機株式会社 安全運転支援装置
WO2020110999A1 (ja) * 2018-11-29 2020-06-04 株式会社東海理化電機製作所 運転者支援システム及び運転者支援方法
WO2021065002A1 (ja) * 2019-10-04 2021-04-08 株式会社日立物流 ドライバ居眠り防止システム、コンピュータ、端末、ドライバ居眠り防止方法及びプログラム
WO2022124163A1 (ja) * 2020-12-11 2022-06-16 株式会社デンソー 覚醒装置、覚醒刺激制御方法
WO2023188811A1 (ja) * 2022-03-30 2023-10-05 パナソニックIpマネジメント株式会社 覚醒支援装置および覚醒支援方法
WO2024057459A1 (ja) * 2022-09-14 2024-03-21 パイオニア株式会社 情報処理装置、情報処理方法および情報処理プログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008055078A2 (en) * 2006-10-27 2008-05-08 Vivometrics, Inc. Identification of emotional states using physiological responses
US10431215B2 (en) * 2015-12-06 2019-10-01 Voicebox Technologies Corporation System and method of conversational adjustment based on user's cognitive state and/or situational state
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
JP6499682B2 (ja) * 2017-01-31 2019-04-10 本田技研工業株式会社 情報提供システム
US20180357580A1 (en) * 2017-06-09 2018-12-13 Ford Global Technologies, Llc Vehicle driver workload management
GB2556410B (en) * 2017-09-15 2018-11-28 De Innovation Lab Ltd System for managing alertness of a driver
JP2019086805A (ja) * 2017-11-01 2019-06-06 トヨタ自動車株式会社 車内システム
JP6954198B2 (ja) * 2018-03-23 2021-10-27 株式会社Jvcケンウッド 端末装置、グループ通信システム、及びグループ通信方法
JP6996632B2 (ja) * 2018-08-06 2022-01-18 日産自動車株式会社 音声対話装置、音声対話システム、及び音声対話装置の制御方法
KR20200048316A (ko) * 2018-10-29 2020-05-08 현대자동차주식회사 차량 및 그 제어 방법
JP7211013B2 (ja) * 2018-10-31 2023-01-24 トヨタ自動車株式会社 車両用音入出力装置
CN111361566B (zh) * 2018-12-06 2022-04-29 驭势(上海)汽车科技有限公司 一种自动驾驶车辆的接管提醒方法、车载设备及存储介质
KR102610759B1 (ko) * 2019-04-03 2023-12-08 현대자동차주식회사 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법
US20200353933A1 (en) * 2019-05-06 2020-11-12 University Of Florida Research Foundation, Incorporated Operator monitoring and engagement
JP2022024853A (ja) * 2020-07-28 2022-02-09 トヨタ自動車株式会社 対話装置
KR20230090051A (ko) * 2021-12-14 2023-06-21 현대자동차주식회사 차량 사운드 제어 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007105694A1 (ja) * 2006-03-13 2007-09-20 Pioneer Corporation 覚醒維持装置及び覚醒維持方法並びに覚醒維持のためのコンピュータプログラム
US20070268146A1 (en) * 2006-05-19 2007-11-22 Fujitsu Limited Drive support apparatus for a movable body
JP2008242602A (ja) * 2007-03-26 2008-10-09 Denso Corp 眠気警報装置、及びプログラム
JP2009251647A (ja) * 2008-04-01 2009-10-29 Toyota Motor Corp 運転者覚醒装置
JP2013242763A (ja) * 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
JP2014215265A (ja) * 2013-04-30 2014-11-17 株式会社デンソー 運転状態改善装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6147612A (en) * 1999-11-10 2000-11-14 Ruan; Ying Chao Dual function optic sleep preventing device for vehicle drivers
ES2392082T3 (es) * 2002-02-19 2012-12-04 Volvo Technology Corporation Procedimiento para controlar las exigencias de atención de un conductor
DE10253502A1 (de) 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung zur Projektion eines Objekts in einem Raum eines Fahrzeugs
US7652583B2 (en) * 2007-03-20 2010-01-26 Deere & Company Method and system for maintaining operator alertness
US7982620B2 (en) 2007-05-23 2011-07-19 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for reducing boredom while driving
US8022831B1 (en) 2008-01-03 2011-09-20 Pamela Wood-Eyre Interactive fatigue management system and method
ATE554706T1 (de) * 2008-03-11 2012-05-15 Toyota Motor Co Ltd Schlafsteuerungsvorrichtung und steuerungsverfahren dafür
JP2010134534A (ja) 2008-12-02 2010-06-17 Toyota Motor Corp 運転支援装置
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
JP2013171546A (ja) 2012-02-23 2013-09-02 Sony Corp 再生装置、再生方法およびプログラム
DE102012213965A1 (de) 2012-08-07 2014-02-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Gewährleisten einer ausreichenden Leistungsfähigkeit eines Fahrers eines Kraftfahrzeugs beim automatisierten Fahren
US9135803B1 (en) 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007105694A1 (ja) * 2006-03-13 2007-09-20 Pioneer Corporation 覚醒維持装置及び覚醒維持方法並びに覚醒維持のためのコンピュータプログラム
US20070268146A1 (en) * 2006-05-19 2007-11-22 Fujitsu Limited Drive support apparatus for a movable body
JP2008242602A (ja) * 2007-03-26 2008-10-09 Denso Corp 眠気警報装置、及びプログラム
JP2009251647A (ja) * 2008-04-01 2009-10-29 Toyota Motor Corp 運転者覚醒装置
JP2013242763A (ja) * 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
JP2014215265A (ja) * 2013-04-30 2014-11-17 株式会社デンソー 運転状態改善装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018161383A (ja) * 2017-03-27 2018-10-18 株式会社デンソー 覚醒維持装置
WO2018180884A1 (ja) * 2017-03-27 2018-10-04 株式会社デンソー 覚醒維持装置
JP2019124977A (ja) * 2018-01-11 2019-07-25 トヨタ自動車株式会社 車載音声出力装置、音声出力制御方法、及び音声出力制御プログラム
US11150863B2 (en) 2018-01-11 2021-10-19 Toyota Jidosha Kabushiki Kaisha Vehicle sound output device, sound output control method, and non-transitory computer readable medium storing sound output control program
JP2019200544A (ja) * 2018-05-15 2019-11-21 三菱電機株式会社 安全運転支援装置
US11572037B2 (en) 2018-11-29 2023-02-07 Kabushiki Kaisha Tokai Rika Denki Seisakusho Driver assistance system and driver assistance method
WO2020110999A1 (ja) * 2018-11-29 2020-06-04 株式会社東海理化電機製作所 運転者支援システム及び運転者支援方法
JP2020083181A (ja) * 2018-11-29 2020-06-04 株式会社東海理化電機製作所 運転者支援システム及び運転者支援方法
JP7302964B2 (ja) 2018-11-29 2023-07-04 株式会社東海理化電機製作所 運転者支援システム及び運転者支援方法
WO2021065002A1 (ja) * 2019-10-04 2021-04-08 株式会社日立物流 ドライバ居眠り防止システム、コンピュータ、端末、ドライバ居眠り防止方法及びプログラム
JPWO2021065002A1 (ja) * 2019-10-04 2021-04-08
WO2022124163A1 (ja) * 2020-12-11 2022-06-16 株式会社デンソー 覚醒装置、覚醒刺激制御方法
WO2023188811A1 (ja) * 2022-03-30 2023-10-05 パナソニックIpマネジメント株式会社 覚醒支援装置および覚醒支援方法
WO2024057459A1 (ja) * 2022-09-14 2024-03-21 パイオニア株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
CN106553653B (zh) 2019-02-19
JP6358212B2 (ja) 2018-07-18
DE102016015877B4 (de) 2023-09-21
DE102016217538A1 (de) 2017-03-23
CN106553653A (zh) 2017-04-05
DE102016217538B4 (de) 2019-05-23
US20170080856A1 (en) 2017-03-23
US9878583B2 (en) 2018-01-30

Similar Documents

Publication Publication Date Title
JP6358212B2 (ja) 車両用覚醒制御システム
CN108688677B (zh) 车辆驾驶支援系统以及车辆驾驶支援方法
CN108688676B (zh) 车辆驾驶支援系统以及车辆驾驶支援方法
US20190366844A1 (en) Method, system, and vehicle for preventing drowsy driving
CN108688673B (zh) 车辆驾驶支援系统
EP3955247A1 (en) Modifying operations based on acoustic ambience classification
JP2018169706A (ja) 車両運転支援システム
JP2003162294A (ja) 感情検出方法及び感情検出装置
US10198696B2 (en) Apparatus and methods for converting user input accurately to a particular system function
CN108688675B (zh) 车辆驾驶支援系统
JP6555645B2 (ja) 車両運転支援システム及び車両運転支援方法
JP2019158975A (ja) 発話システム
JP2018027731A (ja) 車載装置、車載装置の制御方法およびコンテンツ提供システム
JP2018167647A (ja) 車両運転支援システム
CN109273002A (zh) 车辆配置方法、系统、车机以及车辆
CN111081244B (zh) 一种语音交互方法和装置
EP4354426A1 (en) Human-computer interaction method and apparatus, device, and vehicle
JP2018200192A (ja) 地点提案装置及び地点提案方法
CN110297617B (zh) 一种主动对话的发起方法和装置
JP2020144274A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
US11450209B2 (en) Vehicle and method for controlling thereof
CN115316992A (zh) 基于车辆声音关心情绪的设备和方法
CN116118745A (zh) 一种操作指令处理方法、装置、电子设备以及车辆
JP7274901B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
JP6579494B2 (ja) 車両運転支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180604

R151 Written notification of patent or utility model registration

Ref document number: 6358212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151