JP2008070966A - 車両制御装置および車両制御方法 - Google Patents

Abstract

【課題】運転者の心理状態（感情）を総合的に判断し、判断結果に基づいた車両制御を行なうこと。
【解決手段】生体状態監視部１３によって運転者の身体状況を取得するとともに、情動要因検知部１２が運転者の情動を誘発する情動要因を取得し、感情推定部１６が運転者の身体状況と情動要因とを用いて感情を推定することで、運転者の心理状態を総合的に判断し、制御内容決定部１５による運転者への通知制御と、車両の挙動制御へ反映させることで、積極的に事故などを防止する。
【選択図】 図１

Description

この発明は、車両の状況に応じた制御を行なう車両制御装置および車両制御方法に関し、特に運転者の感情に対応した制御を行なう車両制御装置および車両制御方法に関する。

従来、車両の走行に関する情報を収集して状況判断し、運転者への情報提供や車両の動作制御を行なうことで車両の運転を支援する装置が考案されてきた。

さらに近年では、運転者の心理状態などを監視し、運転に適した状態であるか否かを運転者自身に通知する技術も考案されている。例えば、特許文献１は、運転者の表情、緩急挙動、心拍数などから運転者の緊張や疲労、眠気など運転に支障をきたす状態を判別し、判別結果を模擬したシンボルマークを表示する技術を開示している。

特開２００３−３３９６８１号公報

しかしながら、従来の技術では、判別できるのが身体状態に直結した心理状態のみに限定され、例えば怒りや悲しさなどの感情を判別することができなかった。

また、判別した状態を単に通知するのみであり、例えば眠気を感じている場合に判別結果を表示したとしても、眠気によって表示の確認自体が行なわれない可能性が高い。

すなわち、従来の技術では、極めて限定された心理状態しか判別できず、また、判別結果を有効利用することができないという問題点があった。そのため、運転者の心理状態（感情）を総合的に判断し、判断結果に基づいて積極的に事故などの防止を行なうことのできる技術の実現が重要な課題となっていた。

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、運転者の心理状態（感情）を総合的に判断し、判断結果に基づいた制御を行なう車両制御装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る車両制御装置および車両制御方法は、運転者の生体情報や、運転者の情動を誘発する情動要因を用いて運転者の感情を推定し、感情の推定結果と車両の状況を関連付けて記憶しておき、後に感情を推定した際に、対応する状況を読み出して発生する可能性のある車両状況（危険）を予測し、それを回避するように車両の動作制御や運転者への通知制御の内容を決定する。

本発明によれば車両制御装置および車両制御方法は、運転者の生体情報や、運転者の情動を誘発する情動要因を用いて運転者の心理状態（感情）を総合的に判断し、判断結果に基づいた制御を行なう車両制御装置および車両制御方法を得ることができるという効果を奏する。

以下に添付図面を参照して、この発明に係る車両制御装置および車両制御方法の好適な実施例について詳細に説明する。

図１は、本発明の実施例である車両制御装置１０の概要構成を示す概要構成図である。同図に示すように車両１に搭載された車両制御装置１０は、ナビゲーション装置２０、車外カメラ３１、車速センサ３２、加速度センサ３２、通信装置３４、レーダ３５、心拍数センサ４１、呼吸センサ４２、圧力センサ４３、発汗センサ４４、マイクロフォン４５、車内カメラ４６、車内通知系５０、車両制御系６０および携帯電話接続装置７０に接続する。

ナビゲーション装置２０は、ＧＰＳ（Global Positioning System）受信機２２が人工衛星と通信して特定した自車両の位置、地図データ２１、ＶＩＣＳ（Vehicle Information and Communication System）受信機２３が受信した道路交通情報などを利用して、走行経路の設定および誘導を行なう車載装置である。

この経路の誘導は具体的には車内通知系５０を用いて行なう。また、ナビゲーション装置２０は、車両制御装置１０に対して自車両の位置情報や周辺の地図情報、交通情報などを供給する。

車外カメラ３１は、自車両の周囲を撮影する撮影手段である。また、速度センサ３２は自車両の走行速度を測定する測定手段であり、加速度センサ３３は自車両にかかる加速度を測定する測定手段である。

さらに、通信装置３４は、自車両周辺、例えば他車両や道路近傍に設置された通信機と通信する通信装置であり、レーダ３５は、ミリ波やマイクロ波を用いて自車両周辺の物体を検出する検知手段である。

心拍数センサ４１は、運転者の心拍数（脈拍）を計測するセンサであり、呼吸センサ４２は、運転者の呼吸の状態を監視するセンサである。また、圧力センサ４３は、運転席の座面にかかる圧力を計測することで、運転者の体勢の変化を監視するセンサである。

発汗センサ４４は、例えばハンドルなどに設けられ、運転者の発汗状態を監視するセンサである。さらに、マイクロフォン４５は運転者の音声を取得する集音手段であり、車内カメラ４６は自車両内部、特に運転者を撮影する撮影手段である。

車内通知系５０は、自車両の乗員に対して通知を行なう装置群であり、表示による通知を行なうディスプレイ５１や音声による通知を行なうスピーカ５２などを含む。この車内通知系５０は、車両制御装置１０、ナビゲーション装置２０の他、車載オーディオ装置など各種車載装置で共用することができる。

車両制御系６０は、車両の動作制御を行なう装置群であり、アクセル操作に基づいてエンジンの動作を制御するエンジン制御機構６１、ブレーキペダルの操作に基づいて車両の制動を行なうブレーキ制御機構６２、ハンドル操作に基づいて車両の舵角を制御する舵角制御機構６３などを含む。

この車両制御系６０は、運転者の操作に応答して車両制御を行なう他、車両制御装置１０からの制御指示を受けて車両の動作を制御する。また、車両制御系６０は、車両の動作状態を車両制御装置１０に出力する。

携帯電話接続装置７０は、運転者の携帯電話端末を接続することで、ハンズフリー通話を可能とする装置である。

車両制御装置１０は、自車両の状況に対応して運転者への通知制御や車両の動作制御を行なうことで、運転操作を支援する装置であり、その内部に状況判断部１１、情動要因検知部１２、生体状態監視部１３、個人識別部１４、制御内容決定部１５、感情推定部１６およびユーザ状態データベース１７を有する。

状況判断部１１は、自車両の状況を判断する処理部である。この状況判断には、ナビゲーション装置２０から取得した自車両の位置情報や周辺の地図情報、交通情報、車外カメラ３１が撮影した画像に対する画像認識、車速センサ３２が測定した自車両の走行速度、加速度センサ３３が測定した自車両に加わる加速度、通知新装置３４による通信結果、レーダ３５による物体検知結果、車両制御系６０から取得した車両の動作状態を用いる。

情動要因検知部１２は、運転者の感情の変化（情動）を誘発する要因を検知する処理を行なう。この情動要因としては、状況判断部１１の判断結果や携帯電話接続装置７０から取得した通話相手の音声を用いることができる。

生体情報監視部１３は、運転者の身体状態を監視する処理を行なう。身体状態としては、心拍数センサ４１が計測した心拍数、呼吸センサ４２が監視した呼吸の状態、圧力センサ４３が検知した体勢の変化、発汗センサ４４が検知した発汗状態、マイクロフォン４５が取得した音声、携帯電話接続装置７０が取得した運転者の通話音声、車内カメラ４６が撮影した運転者画像に対する画像認識結果などを用いることができる。

個人識別部１４は、運転者を識別する処理を行なう処理部である。この運転者の個人識別は、車内カメラ３６が撮影した運転者の顔画像に対する画像認識によって実現しても良いし、例えば運転者ごとに個別に割り当てられたキーなどを認識することで行なっても、また運転者自身による入力によって行なっても良い。

感情推定部１６は、情動要因検知部１２による検知結果、生体情報監視部１３による監視結果、個人識別部１４による識別結果を用いて、運転者の感情を推定する処理を行なう。

たとえば、情動要因として自車両の前に他車両が割り込んだ、渋滞が発生中、などを検知した場合には、運転者がイライラする、怒る、などの感情を持つ可能性があると推定することができる。同様に、生体状態の変化からも、怒りや不安などの感情を推定することが可能である。

ここで、同じ情動要因に対してどのように反応するか、また生体状態の変化度合いと感情と対応関係については個人差が大きいので、個人識別部１４による識別結果を利用することが好ましい。

ユーザ状態データベース１７は、状況判断部１１による判断結果と、感情推定部１６による推定結果、また個人識別部１４による識別結果とを関連付けて記憶する記憶手段である。

制御内容決定部１５は、状況判断部１１による判断結果と、感情推定部１６による感情の推定結果と、に基づいて制御内容を決定する。すなわち、車両の状況（状況判断部１１の判断結果）が同一であっても、運転者の感情によってそれぞれ異なる適切な制御を選択して実行することができる。

また、制御内容決定部１５は、その内部に特殊制御開始部１５ａ、予測制御部１５ｂ、閾値制御部１５ｃ、リソース配分部１５ｄを有する。特殊制御開始部１５ａは、特定の感情に対応する制御を開始する処理を行なう処理部であり、予測制御部１５ｂは、感情に起因して発生が予測される状態の事前対処を行なう処理部である。また、閾値制御部１５ｃは、運転者の感情に応じて車両制御における閾値の調整する処理部であり、リソース配分部１５ｄは、運転者の感情に応じて車両制御に対するリソース配分を調整する処理部である。

このように、運転者の身体状況に加え、運転者の情動を誘発する情動要因を用いて運転者の感情を推定することで、運転者の心理状態を総合的に判断することができる。そして、判断結果から運転者への通知と、車両の挙動制御への介入を行なうことで、積極的に事故などを防止することができる。

また、車両制御装置１０では、運転者が携帯電話端末を用いて通話中である場合には、通話音声をも利用して感情推定を行なうことができ、さらに、携帯電話端末を制御対象に含めることもできる。

通話を利用した感情推定と制御について図２を参照して説明する。同図に示すように、運転者が使用する携帯電話端末２は、携帯電話接続装置７０に接続され、運転者の音声を生体状態として生体状態監視部１３に、通話相手の音声を情動要因として情動要因検知部１２に入力する。

感情推定部１６は、これらの生体情報、情動要因を利用して運転者の感情を推定し、制御内容決定部１５は、運転者への通知と車両挙動の制御に加えて通話相手への通知を実行する。

運転者の音声を生体情報として利用する手法の一例を図３に示す。同図に示すように、運転者の音声の周波数帯と振幅とをとり、振幅が大きければ興奮状態、小さければ沈静状態、周波数帯が高ければ快い心境、周波数が低ければ不快な心境であるとすると、運転者音声の周波数が高くかつ振幅が大きい場合には運転者が「喜び」や「楽しい」などの感情を持っていると推定することができる。

また、運転者音声の周波数が低くかつ振幅が大きい場合には、運転者が「怒っている」「イライラしている」と推定することができる。同様に、周波数が低くかつ振幅が小さい場合には運転者が「悲しんでいる」と推定することができる。

なお、振幅の大小や周波数帯の高低、またこれらと感情との相関度合いには個人差があるので、個人識別を併用して感情を推定することが好適である。

また、ここでは運転者音声の振幅と周波数帯に基づいて感情を推定しているが、例えば単位時間当たりのエネルギー量、声を出す頻度や間隔、声を出している時間の長さや声を出していない時間の長さなどを用いることもできる。

つづいて、通話相手の音声を情動要因として利用する手法の一例を図４に示す。既に説明したように、音声の特性から話し手の感情を推定することができる。そして、話し手の感情は聞き手の感情を変化させる（情動を誘発する）要因となるので、図４に示すように、通話相手の感情から聞き手（運転者）の感情を推定することが可能となる。

図４においては、通話相手が「喜び」や「楽しい」などの感情を持っている場合には、運転者は同じく「喜び」や「楽しい」などの感情を持つことが推定される。一方、通話相手が「怒っている」「イライラしている」場合には、運転手者同じく「怒っている」「イライラしている」か「悲しんでいる」可能性が高い。さらに、通話相手が「悲しんでいる」場合には、運転者は同じく「悲しんでいる」可能性が高い。

このように、運転者が携帯電話端末２を用いて通話している場合には、運転者と通話相手の音声を感情の推定に用いることができる。なお、通話中であること自体についても運転者の周囲への注意が散漫になるという影響が考えられるため、感情推定に使用することとしてもよい。

また、運転者が携帯電話端末２を用いて通話している場合には、制御内容決定部１５は、通話相手に対する通知制御をさらに行なうことができる。例えば、通話相手に対して運転中であることや現在の状態を通知したり、リラックスを促すメッセージや音楽をかける、などを行なうことが可能である。

つづいて、ユーザ状態データベース１７の記憶内容と、その利用について説明する。ユーザ状態データベース１７は、図５に示すように、状況判断部１１の判断結果、すなわち自車両に発生した状況と、誕生推定部１６の推定結果、すなわち運転者の感情とを関連付けて記憶している。

そして、一旦記憶された記憶内容は、それ以降の感情推定や車両の動作制御に使用することができる。記憶内容を感情推定に使用する場合、図６に示したように、状況判断部１１の判断結果を感情推定部１６が取得し、状況判断結果をキーにしてユーザ状態データベース１７を検索する。

この検索をおこなうことで、現在の車両の状況と類似の状況下において、過去、運転者がどのような感情を示したかを読み出すことができる。同一の運転者は同一の状況において同様の感情を示す可能性が高いと考えられるので、過去に運転者が示した感情から、現在の感情を推定することが可能となる。

例えば、状況判断部１１が他車両の割り込みを検知し、感情推定部１６が生体情報の変化に基づいて運転者が怒っていると推定した場合、割り込みと怒りが対応付けられてユーザ状態データベース１７に格納される。従って、その後、割り込みが発生した場合には、生体情報の変化が十分に取得できなかったとしても運転者が怒っている可能性が高いと推定することができる。

また、ユーザ状態データベース１７の記憶内容を車両の動作制御に使用する場合、図７に示したように、制御内容決定部１５内の予測制御部１５ｂは、感情推定部１６の推定結果をキーにしてユーザ状態データベース１７を検索する。

この検索を行なうことで、現在の運転者と同様の感情を示した場合に、過去、どのような状況が発生したかを読み出すことができる。同一の運転者は同一の感情を有した場合に同様の車両操作を行なって、同様の状況を生み出す可能性が高いと考えられるので、過去に発生した車両状態から、現在の感情に起因して発生する状態を予測し、事前に対処を行なうことができる。

なお、感情と車両状況との対応関係には個人差があるので、ユーザ状態データベース１７は図８に示すように、ユーザ（運転者ごと）に記憶を管理する。たとえば、同図では、ユーザＡは「怒り」の感情を示しているときに車間距離が短くなったり、急加速を行なう傾向がある。一方、ユーザＢは「怒り」の感情を示しているときにホーンを多発する傾向がある。

そのため、ユーザＡが運転中に「怒り」を示した場合には、制御内容決定部１５は、予測制御１５ｂによって車間距離が短くなることや急加速の発生を予測し、閾値制御部１５ｃによって車間距離の警告の閾値を変化させて早期に警告を行なう、エンジン制御に介入して加速を抑制する、などの制御を行なうことができる。

同様に、ユーザＢが運転中に「怒り」を示した場合には、運転者に落ち着くように通知したり、ホーンの音を変化させるよう制御することができる。また、怒りの対象物に意識が集中して周辺状況の見落としが発生する可能性を考慮し、カメラやレーダの監視範囲や演算処理能力などのリソースを周辺監視に重点的に割り当てるようリソース配分を調整してもよい。

また同図では、ユーザＡは「悲しんでいる」時に走行速度が低下する傾向がある。そのため、例えばユーザＡ運転中に「悲しみ」の感情を示したときには、特殊制御開始部１５ａが、走行速度が所定速度以下となった場合に警告を行なったり自動追従制御に切り替えたりするような特殊な制御を開始するようにしても良い。

なお、図８では、運転者の感情と、感情に起因して発生する状況について説明したが、車両状況と、状況によって推定される感情についても同様にユーザ毎に記憶することが好適であることはいうまでもない。

つづいて、運転者の感情と制御の具体例について、図９を参照して説明する。同図に示すように、運転者が「怒り」「イライラ」「焦り」などの感情を示している場合には、運転者の状態、すなわち予想される危険としては、「運転が荒くなる」、「前方や特定の対象に集中し、他への注意が疎かになる」などがある。

「運転が荒くなる」ことが予想された場合、車両制御としてエンジン制御機構６１に対する加速抑制、ブレーキ制御機構６２に対する減速支援などを実行し、運転者への通知制御としてリラックスを促す通知を行なう。リラックスを促す通知の具体例としては、メッセージや音楽などの出力、リラックス効果のある香りを出す、など任意の方法を用いることができる。

また、「前方や特定の対象に集中し、他への注意が疎かになる」ことが予想された場合、カメラやレーダの監視範囲や演算処理能力などのリソース配分の調整によって、周辺監視を強化し、周辺監視の結果を運転者に提供する情報通知を行なう。

運転者が「悲しんでいる」場合、予想される危険は「見落としの発生、反応遅れ」、「速度低下」などである。

「見落としの発生、反応遅れ」の発生が予想された場合、車両制御としてブレーキ制御機構６２に対する減速支援、カメラやレーダの監視範囲や演算処理能力などのリソース配分の調整による周辺監視の強化を行ない、運転者への通知制御として周辺監視の結果を情報通知や運転への集中を促す通知を行なう。

また、「速度低下」が予測された場合、車両制御としては走行速度が所定速度以下となった場合に警告を行なう低速警告処理を起動し、運転者への通知制御として運転への集中を促す通知を行なう。

運転者が「喜び」「楽しい」などの感情を示している場合、予想される危険としては「見落としの発生、反応遅れ」、「スピードオーバー」、「急加速」などがある。

「見落としの発生、反応遅れ」の発生が予想された場合、車両制御としてブレーキ制御機構６２に対する減速支援、カメラやレーダの監視範囲や演算処理能力などのリソース配分の調整による周辺監視の強化を行ない、運転者への通知制御として周辺監視の結果を情報通知や運転への集中を促す通知を行なう。

また、「スピードオーバー」の発生が予想された場合、車両制御としてエンジン制御機構６１に対する加速抑制、速度監視の強化などを行ない、運転者への通知制御として安全運転を促す通知を行なう。

同様に「急加速」の発生が予想された場合、車両制御としてエンジン制御機構６１に対する加速抑制などを行ない、運転者への通知制御として安全運転を促す通知を行なう。

つづいて、車両制御装置１０の処理動作について説明する。図１０は、車両制御装置１０の電源がオンになった場合に開始され、繰り返し実行されるルーチン処理の処理動作を説明するフローチャートである。

同図に示すように、車両制御装置１０は、まず、運転者の身体状態を生体情報として取得し（ステップＳ１０１）、さらに運転者の情動を誘発する情動要因を取得する（ステップＳ１０２）。

そして、生体情報と情動要因から運転者の感情を推定し（ステップＳ１０３）、運転に影響を及ぼすような特定の感情の発生が推定されなければ（ステップＳ１０４，Ｎｏ）、通常の通知や車両挙動の制御を行なって（ステップＳ１０６）、処理を終了する。

一方、運転に影響を及ぼす特定の感情の発生が推定された場合には（ステップＳ１０４，Ｙｅｓ）、推定された感情に基づいて処理内容を変更（ステップＳ１０５）した上で通知や車両挙動の制御を行なって（ステップＳ１０６）、処理を終了する。

上述してきたように、本実施例にかかる車両制御装置１０は、生体状態監視部１３によって運転者の身体状況を取得するとともに、情動要因検知部１２が運転者の情動を誘発する情動要因を取得し、感情推定部１６が運転者の身体状況と情動要因とを用いて感情を推定することで、運転者の心理状態を総合的に判断し、制御内容決定部１５による運転者への通知制御と、車両の挙動制御へ反映させることで、積極的に事故などを防止することができる。

また、運転者が携帯電話端末を用いて通話中である場合には、通話音声をも利用して感情推定を行なうことができ、さらに、携帯電話端末を制御対象に含めることもできる。

なお、本実施例はあくまで一例をしめしたものであり、発明の内容を限定するものではない。本発明の実施に当たっては、その構成を適宜変更して実施することができるものである。

以上のように、本発明にかかる車両制御装置および車両制御方法は、運転操作の支援に有用であり、特に運転者の感情に対応した制御に適している。

本発明の実施例にかかる画像制御装置の概要構成を示す概要構成図である。 通話を利用した感情推定と制御について説明する説明図である。 運転者の音声を生体情報として利用する手法について説明する説明図である。 通話相手の音声を情動要因として利用する手法について説明する説明図である。 ユーザ状態データベースの作成について説明する説明図である。 ユーザ状態データベースを利用した感情推定について説明する説明図である。 ユーザ状態データベースを利用した車両の動作制御について説明する説明図である。 ユーザ状態データベースの記憶内容について説明する説明図である。 運転者の感情と制御の具体例について説明する説明図である。 車両制御装置の処理動作について説明するフローチャートである。

符号の説明

１ 車両
２ 携帯電話端末
１０ 車両制御装置
１１ 状況判断部
１２ 情動要因検知部
１３ 生体状態監視部
１４ 個人識別部
１５ 制御内容決定部
１５ａ 特殊制御開始部
１５ｂ 予測制御部
１５ｃ 閾値制御部
１５ｄ リソース配分部
１６ 感情推定部
１７ ユーザ状態データベース
２０ ナビゲーション装置
２１ 地図データ
２２ ＧＰＳ受信機
２３ ＶＩＣＳ受信機
３１ 車外カメラ
３２ 車速センサ
３３ 加速度センサ
３４ 通信装置
３５ レーダ
４１ 心拍数センサ
４２ 呼吸センサ
４３ 圧力センサ
４４ 発汗センサ
４５ マイクロフォン
４６ 車内カメラ
５０ 車内通知系
５１ ディスプレイ
５２ スピーカ
６０ 車両制御系
６１ エンジン制御機構
６２ ブレーキ制御機構
６３ 舵角制御機構
７０ 携帯電話接続装置

Claims (5)

1. 運転者の生体情報、運転者の情動を誘発する情動要因、もしくは生体情報と情動要因との組み合わせから前記運転者の感情を推定する感情推定手段と、
   車両の状況を判断する状況判断手段と、
   前記感情の推定結果と前記車両の状況とを関連付けて記憶する記憶手段と、
   前記感情の推定結果に基づいて前記記憶手段を参照し、発生する可能性のある車両状況を予測して車両の動作制御および／または運転者への通知制御の内容を決定する制御内容決定手段と、
   を備えたことを特徴とする車両制御装置。
2. 前記感情推定手段は、運転者の音声を前記生体情報として用いることを特徴とする請求項１に記載の車両制御装置。
3. 前記制御内容決定手段は、前記感情の推定結果に基づいて、特定の感情に対応する制御の起動、感情に起因して発生が予測される状態の事前対処、車両制御における閾値の調整、車両制御に対するリソース配分調整のうち、少なくともいずれかを行なうことを特徴とする請求項１または２に記載の車両制御装置。
4. 前記制御内容決定手段は、前記感情の推定結果に基づいて、感情の変化を促す通知および／または感情に起因して発生が予測される見落としを補う情報提供を行なうことを特徴とする請求項１〜３のいずれか一つに記載の車両制御装置。
5. 運転者の生体情報、運転者の情動を誘発する情動要因、もしくは生体情報と情動要因との組み合わせから前記運転者の感情を推定する感情推定工程と、
   車両の状況を判断する状況判断工程と、
   前記状況判断の結果と前記感情の推定結果に基づいて車両の動作制御および／または運転者への通知制御の内容を決定する制御内容決定工程と、
   を含んだことを特徴とする車両制御方法。

Images