JP2010094439A - 心理状態推定装置及び心理状態推定方法 - Google Patents

Abstract

【課題】車両の運転者の心理状態を高精度に推定する心理状態推定装置及び心理状態推定方法を提供することを課題とする。
【解決手段】車両の運転者の心理状態を推定する心理状態推定装置１であって、運転者の生体情報を検出する生体情報検出手段４と、運転者の運転行動を検出する運転行動検出手段２と、運転者の心理状態に影響を及ぼす車外の環境を検出する車外環境検出手段５，７と、運転者の心理状態に影響を及ぼす車内のシステムの不調を検出するシステム不調検出手段６，７と、運転者の心理状態に影響を及ぼす車外環境を検出した場合には生体情報よりも運転行動を優先して運転者の心理状態を推定し、運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には運転行動よりも生体情報を優先して運転者の心理状態を推定する推定手段８，９，１０とを備えることを特徴とする。
【選択図】図３

Description

本発明は、イライラ状態などの車両の運転者の心理状態を推定する心理状態推定装置及び心理状態推定方法に関する。

運転中の安全性を向上させるために、イライラ状態などの運転者の心理状態を推定する装置が各種提案されている。この推定装置としては、例えば、特許文献１に、車両の運転者の心拍数や皮膚電位などの生体情報及び運転者による車両操作（運転行動）に基づいてイライラ状態を推定することが開示されている。
特願２００７−５６２３５号 特開２００６−３４８０３号公報 特開２００３−６１９３９号公報

運転者のイライラ状態の変化させる要因としては、渋滞、路上駐車の回避、音声認識の不具合、ナビの不適切な経路案内などの様々な要因がある。このような要因には、イライラ状態による影響が運転行動には表れるが生体情報には殆ど表れない要因もあれば、生体情報には表れるが運転行動には殆ど表れない要因もある。そのため、常に、生体情報や運転行動などの全ての情報を用いて心理状態を推定した場合、推定精度が低下する場合がある。

そこで、本発明は、車両の運転者の心理状態を高精度に推定する心理状態推定装置及び心理状態推定方法を提供することを課題とする。

本発明に係る心理状態推定装置は、車両の運転者の心理状態を推定する心理状態推定装置であって、運転者の生体情報を検出する生体情報検出手段と、運転者の運転行動を検出する運転行動検出手段と、運転者の心理状態に影響を及ぼす車外の環境を検出する車外環境検出手段と、運転者の心理状態に影響を及ぼす車内のシステムの不調を検出するシステム不調検出手段と、車外環境検出手段で運転者の心理状態に影響を及ぼす車外環境を検出した場合には生体情報検出手段で検出した生体情報よりも運転行動検出手段で検出した運転行動を優先して運転者の心理状態を推定し、システム不調検出手段で運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には運転行動検出手段で検出した運転行動よりも生体情報検出手段で検出した生体情報を優先して運転者の心理状態を推定する推定手段とを備えることを特徴とする。

この心理状態推定装置では、車両の運転者の心理状態が表れるような情報を取得するために、生体情報検出手段により運転者の生体情報を検出するとともに、運転行動検出手段により運転者の運転行動を検出する。また、心理状態推定装置では、車両の運転者の心理状態に影響を及ぼす要因を取得するために、車外環境検出手段により車外の環境を検出するとともに、システム不調検出手段により車内のシステムの不調を検出する。心理状態の影響を及ぼす要因によって運転者の心理状態の変化が表れる情報が異なる場合があり、要因に適した情報を用いて心理状態を推定するほうが推定精度が向上する。特に、車外の要因と車内の要因の場合、車外の要因に対しては運転行動に心理状態の変化が表れ易く、車内の要因に対しては生体情報に心理状態の変化が表れ易い。そこで、心理状態推定装置では、推定手段により、運転者の心理状態に影響を及ぼす車外環境が検出された場合には生体情報よりも運転行動を優先して運転者の心理状態を推定し、運転者の心理状態に影響を及ぼす車内システム不調が検出された場合には運転行動よりも生体情報を優先して運転者の心理状態を推定する。このように、心理状態推定装置では、運転者の心理状態に影響を及ぼす要因に応じて心理状態推定に適した情報を優先して用いることにより、運転者の心理状態を高精度に推定できる。

なお、生体情報は、人の心理状態が表れ、人から生体計測できる様々な情報であり、例えば、心拍、皮膚電位、血圧がある。運転行動は、運転者が行う様々な行動であり、例えば、車両操作（アクセル操作、ブレーキ操作、ステアリング操作など）がある。運転者の心理状態に影響を及ぼす車外の環境としては、例えば、渋滞、障害物（歩行者、路上駐車など）の回避、合流、他車両のあおりや割込み、赤信号での信号停止がある。運転者の心理状態に影響を及ぼす車内のシステム不調としては、例えば、音声認識ミス、入力認識ミス、不適切なシステム応答（ナビの経路案内など）がある。心理状態としては、例えば、イライラ状態、焦り状態、パニック状態である。

本発明の上記心理状態推定装置では、推定手段は、車外環境検出手段で運転者の心理状態に影響を及ぼす車外環境を検出した場合には生体情報検出手段で検出した生体情報に対する重みよりも運転行動検出手段で検出した運転行動に対する重みを重くして運転者の心理状態を推定し、システム不調検出手段で運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には運転行動検出手段で検出した運転行動に対する重みよりも生体情報検出手段で検出した生体情報に対する重みを重くして運転者の心理状態を推定する構成としてもよい。

この心理状態推定装置の推定手段では、運転者の心理状態に影響を及ぼす車外環境が検出された場合、生体情報よりも運転行動を優先して運転者の心理状態を推定するために、各情報に対する重み付けにおいて生体情報に対する重みよりも運転行動に対する重みを重くする。また、推定手段では、運転者の心理状態に影響を及ぼす車内システム不調が検出された場合、運転行動よりも生体情報を優先して運転者の心理状態を推定するために、各情報に対する重み付けにおいて運転行動に対する重みよりも生体情報に対する重みを重くする。このように、心理状態推定装置では、要因に応じて各情報に対して重み付けを行うことにより、心理状態を推定する際に各情報の影響度合いを簡単に反映することができる。

本発明の上記心理状態推定装置では、推定手段は、システム不調検出手段で運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には運転行動検出手段で検出した運転行動を用いずに、生体情報検出手段で検出した生体情報のみを用いて運転者の心理状態を推定する構成としてもよい。

車内のシステム不調の場合、運転者の心理状態の変化は、運転行動には殆ど表れないが（全く表れない場合もある）、生体情報には顕著に表れる。そこで、心理状態推定装置の推定手段では、運転者の心理状態に影響を及ぼす車内システム不調が検出された場合、運転行動を用いずに、生体情報のみを用いて運転者の心理状態を推定する。

本発明に係る心理状態推定方法は、車両の運転者の心理状態を推定する心理状態推定方法であって、運転者の生体情報を検出する生体情報検出ステップと、運転者の運転行動を検出する運転行動検出ステップと、運転者の心理状態に影響を及ぼす車外の環境を検出する車外環境検出ステップと、運転者の心理状態に影響を及ぼす車内のシステムの不調を検出するシステム不調検出ステップと、車外環境検出ステップで運転者の心理状態に影響を及ぼす車外環境を検出した場合には生体情報取得ステップで検出した生体情報よりも運転行動検出ステップで検出した運転行動を優先して運転者の心理状態を推定し、システム不調検出ステップで運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には運転行動検出ステップで検出した運転行動よりも生体情報検出ステップで検出した生体情報を優先して運転者の心理状態を推定する推定ステップとを含むことを特徴とする。

本発明の上記心理状態推定方法では、推定ステップにおいて、車外環境検出ステップで運転者の心理状態に影響を及ぼす車外環境を検出した場合には生体情報検出ステップで検出した生体情報に対する重みよりも運転行動検出ステップで検出した運転行動に対する重みを重くして運転者の心理状態を推定し、システム不調検出ステップで運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には運転行動検出ステップで検出した運転行動に対する重みよりも生体情報検出ステップで検出した生体情報に対する重みを重くして運転者の心理状態を推定する構成としてもよい。

本発明の上記心理状態推定方法では、推定ステップでは、システム不調検出ステップで運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には運転行動検出ステップで検出した運転行動を用いずに、生体情報検出ステップで検出した生体情報のみを用いて運転者の心理状態を推定する構成としてもよい。

この各心理状態推定方法は、上記の各心理状態推定装置と同様の作用により、同様の効果を有している。

本発明は、運転者の心理状態に影響を及ぼす要因に応じて心理状態推定に適した情報を優先して用いることにより、運転者の心理状態を高精度に推定できる。

以下、図面を参照して、本発明に係る心理状態推定装置及び心理状態推定方法の実施の形態を説明する。

本実施の形態では、本発明を、車両に搭載され、運転者のイライラレベルを推定するイライラ推定装置に適用する。本発明に係るイライラ推定装置では、運転者のイライラ状態が表れる生体情報、挙動情報、運転行動に基づいて、ベイジアンネットワークを利用して運転者のイライラレベルを推定する。そして、本発明に係るイライラ推定装置では、その推定したイライラレベルを各種運転者支援装置、警報装置、イライラ緩和装置などに提供する。

図１及び図２に参照して、本実施の形態の概要について説明する。図１は、本実施の形態の概念図である。図２は、運転者のイライラの要因と運転者の生体及び運転行動との関係を示す図であり、（ａ）がシステム不調要因がある場合であり、（ｂ）が車外環境要因がある場合である。

運転者のイライラ状態を高める可能性のある要因としては、車内と車外の要因に大きく分けることができる。車外の要因は、運転者をイライラさせる車外の環境であり、例えば、渋滞、路上駐車や歩行者などの回避、他車両による割込みやあおり、赤信号での停止がある。車内の要因は、運転者をイライラさせるシステムの不調であり、例えば、音声認識での認識ミス、各種入力での認識ミス、システム側からの不適切な応答結果（例えば、ナビの不適切な経路案内）がある。

また、運転者のイライラ状態が表れる情報としては、運転者自体に表れる生体情報や挙動情報と運転者が行動として表す運転行動がある。生体情報は、例えば、心拍、皮膚電位、血圧がある。挙動情報は、例えば、顔の表情、しぐさ、発話音声がある。運転行動は、例えば、車両操作（アクセル操作、ブレーキ操作など）がある。

従来、上記したような運転者のイライラ状態が表れる情報を全て用いて推定を行うほうが推定精度が高いと考えられていた。しかし、イライラの要因によって、推定精度にばらつきが見られた。そこで、イライラの様々な要因に対して運転者のイライラ状態が表れる各種情報のうち推定に用いる情報を変えてイライラレベルを推定するとともに官能評価などで実際のイライラレベルを取得し、その推定結果と実際のイライラレベルとを比較し、分析を行った。この分析の結果、要因が同じでも推定に用いる情報によって推定結果が変化し、要因に応じて影響を受け易い情報と影響を受け難い情報があることが判った。

例えば、イライラの要因として路上駐車車両の回避又は音声認識ミスがあった場合に、生体情報（挙動情報も含む）だけを用いて推定を行うとともに、生体情報（挙動情報も含む）と運転行動を用いて推定を行った。路上駐車車両の回避の場合、運転行動も用いたほうが推定精度が高かった。一方、音声認識ミスの場合、運転行動を用いずに、生体情報だけを用いたほうが推定精度が高かった。これ以外にも、様々なパターンで分析を行った結果、以下のような結論が得られた。

図２（ａ）に示すように、イライラ状態に影響を及ぼす車内のシステム不調がある場合、イライラ状態の影響としては運転行動よりも生体情報に大きく表れ、イライラレベルの推定には生体情報を優先して用いるほう（特に、運転行動を全く用いないほうがよい）が推定精度が向上する。一方、図２（ｂ）に示すように、イライラ状態に影響を及ぼす車外環境がある場合、イライラ状態の影響としては生体情報よりも運転行動に大きく表れ、イライラレベルの推定には運転行動を優先して用いるほうが推定精度が向上する。

そこで、車外環境要因を判定するための各種情報をセンシングするとともに車内システム不調を判定するための各種情報をセンシングする。そして、これらの各種センシング情報に基づいて、イライラ状態に影響を及ぼす要因種別を判定する。この判定した要因種別に応じてイライラレベルの推定に用いる生体情報、挙動情報、運転行動を取捨選択するために、生体情報、挙動情報、運転行動に対してそれぞれ重み付けを行う。また、運転者のイライラ状態を表す生体情報、挙動情報、運転行動をそれぞれセンシングする。そして、ベイジアンネットワークによって、センシングした生体情報、挙動情報、運転行動を特徴量とし、条件付き確率に生体情報、挙動情報、運転行動の重み付け度を加味して、イライラレベルを推定する。なお、重みの値が０又は１で与えられる場合には重みが１の特徴量のみを用いてイライラレベルを推定することになる。

本実施の形態で推定するイライラレベルは、０〜２までの値であり、整数値（０、１、２）としてもよいし、整数値でなくてもよい。イライラレベル０は、イライラの自覚がない状態であり、通常の平静状態である。イライラレベル１は、イライラの自覚が小さい状態であり、ムッとする程度の状態である。イライラレベル２は、イライラの自覚が大きい状態であり、怒りを我慢し、一触即発の状態である。このイライラレベル２ぐらいまでになると、運転中に判断ミスや急操作などを起こり易くなる。ちなみに、イライラレベル３は、怒りを暴発させた状態である。このイライラレベル３まで推定するようにしてもよい。

図３〜図６を参照して、イライラ推定装置１について説明する。図３は、本実施の形態に係るイライラ推定装置の構成図である。図４は、重み付け度を決定するための参照データの一例であり、重みが１（○と表記）と重みが０（×と表記）のみにより構成されている。図５は、イライラレベルを推定するためのベイジアンネットワークの構造を示す図である。図６は、センシング情報に対する前処理の一例であり、（ａ）が運転行動の前処理であり、（ｂ）が生体情報（皮膚電位）の前処理である。

イライラ推定装置１は、イライラ状態が表れる生体情報、挙動情報、運転行動とイライラ状態に影響を及ぼす車外環境要因、車内システム不調要因に基づいてイライラレベルを推定する。特に、イライラ推定装置１は、推定精度を向上させるために、発生している要因を判定し、その要因に応じて生体情報、挙動情報、運転行動に重み付けしてイライラレベルを推定する。そのために、イライラ推定装置１は、運転行動検出手段２、挙動情報検出手段３、生体情報検出手段４、環境情報検出手段５、システム情報検出手段６、要因種別判定手段７、参照データ記憶装置８、取捨選択判定手段９、イライラレベル判定手段１０を備えている。特に、要因種別判定手段７、参照データ記憶装置８、取捨選択判定手段９、イライラレベル判定手段１０については、イライラ推定装置１のＥＣＵ[Electronic Control Unit]に構成される。

なお、本実施の形態では、運転行動検出手段２が特許請求の範囲に記載する運転行動検出手段に相当し、生体情報検出手段４が特許請求の範囲に記載する生体情報検出手段に相当し、環境情報検出手段５及び要因種別判定手段７が特許請求の範囲に記載する車外環境検出手段に相当し、システム情報検出手段６及び要因種別判定手段７が特許請求の範囲に記載するシステム不調検出手段に相当し、参照データ記憶装置８、取捨選択判定手段９及びイライラレベル判定手段１０が特許請求の範囲に記載する推定手段に相当する。

運転行動検出手段２は、運転者の運転行動（車両操作）を示す各情報を検出するためのセンシング手段である。運転行動としては、例えば、アクセルペダル操作、ブレーキペダル操作がある。センシング手段としては、例えば、アクセルペダルの踏み込み力（あるいは、踏み込み量）を検出するアクセルペダルセンサ、ブレーキペダルの踏み込み力（あるいは、踏み込み量）を検出するブレーキペダルセンサがある。

挙動情報検出手段３は、運転者の挙動を得るための各情報を検出するためのセンシング手段である。挙動情報としては、例えば、顔の表情、しぐさ、発話音声がある。センシング手段としては、例えば、運転者の顔などを撮像するカメラ、運転者の音声を集音するマイクロフォンがある。

生体情報検出手段４は、運転者の生体を示す各情報を検出するためのセンシング手段である。生体情報としては、例えば、皮膚電位（精神性発汗を電気的示す生体情報）、心拍、血圧がある。センシング手段としては、例えば、皮膚電位センサ、心拍センサ（心電センサでもよい）、血圧センサがある。

環境情報検出手段５は、車外の環境要因を判定するために用いる情報を検出するためのセンシング手段である。車外の環境要因としては、例えば、渋滞、障害物（路上駐車、歩行者など）回避、信号停止がある。センシング手段としては、例えば、車速センサ、操舵角センサ、障害物を検出するためのレーザレーダやカメラ、ＶＩＣＳ[VehicleInformation and Communication System]情報を受信するためのＶＩＣＳ装置、ＧＰＳ[Global Positioning System]情報を取得するためのＧＰＳ装置がある。

システム情報検出手段６は、車内のシステム不調を判定するために用いる情報を検出するためのセンシング手段である。車内のシステム不調要因としては、例えば、音声認識ミス、入力認識ミス、不満足なシステム応答結果がある。センシング手段は、実際にセンシングするセンサではなく、車内のシステムから情報を取得する手段である。したがって、センシング手段としては、例えば、音声認識システムの認識結果や内部パラメータを取得する手段、運転者との入力インタフェースを持つ各システムの入力結果や内部パラメータを取得する手段、運転者に対して応答する各システムの応答結果や内部パラメータを取得する手段がある。

要因種別判定手段７は、環境情報検出手段５で検出した各種情報とシステム情報検出手段６で検出した各種情報に基づいて、運転者のイライラに影響を及ぼしている要因種別を判定する手段である。具体的には、要因種別判定手段７では、環境情報検出手段５で検出した各情報及びシステム情報検出手段６で検出した各情報に対して、要因種別を判定するために必要な前処理をそれぞれ行う。但し、前処理が必要ないものについては、センシング情報をそのまま利用する。

前処理としては、例えば、レーザレーダで検出した情報（車両前方の左右方向にスキャンしたレーザの送受信情報）の場合、レーザの送受信情報に基づいて障害物の有無を判定し、障害物が存在する場合にはその障害物の相対距離、相対速度、横位置などを算出する。カメラで検出した情報（車両前方の撮像画像）の場合、撮像画像から障害物の有無を判定し、障害物が存在する場合にはその障害物の種別、大きななどを求める。

そして、要因種別判定手段７では、前処理が施された各情報の中から判定に必要な情報をそれぞれ抽出し、その情報を用いて渋滞判定、歩行者回避判定、路上駐車回避判定、信号停止判定、音声認識ミス判定、入力認識ミス判定、システム応答結果不満判定などをそれぞれ行い、要因Ｅを検出する。ここでは、要因Ｅが１つだけ検出される場合もあれば、複数検出される場合もあれば、１つも検出されない場合もある。以下に、判定方法の一例を示す。

渋滞判定の場合、ＶＩＣＳ情報、所定期間以上の車速の減速（例えば、時速２０キロ以下が５分以上継続）、レーザレーダによる情報から求められた先行車との車間距離などで判定する。歩行者回避判定、路上駐車回避判定の場合、レーザレーダによる情報やカメラの撮像画像などに基づいて障害物を検出した場合に操舵角の変化と車速の減速などで判定する。信号停止判定の場合、車速の０を検出した場合にＧＰＳ情報（現在位置情報）と地図情報から交差点付近か否かを判定する。

音声認識ミス判定の場合、特定の発話情報（例えば、「もう！」、「ちっ！」、「だから！」）の検出した場合、音声認識した際の確信度（一致精度に相当）が低い場合、音声を検出できたが発話内容を認識できなかった場合などで判定する。入力認識ミス判定の場合、所定の入力が行われた場合に同じ入力フェーズで再入力が行われた場合（やり直し）などで判定する。システム応答結果不満判定の場合、情報提示後に直ぐに再応答を求めるやり直し操作があった場合などで判定する。

参照データ記憶装置８は、取捨選択判定手段９で利用する参照データを記憶する記憶装置である。参照データは、要因Ｅ毎に生体情報、挙動情報、運転行動の重み付け度をそれぞれ設定したデータであり、上記したような実験の分析結果などに基づいて予め設定される。

図４には、参照データの一例を示している。この例では、要因Ｅとしては、渋滞、路上駐車回避、歩行者回避、音声認識ミス、入力認識ミス、システム応答不満がある。特徴量としては、生体についての心拍平均、心拍ゆらぎ、皮膚電位の平均、皮膚電位変化の総和の４つの特徴量及び挙動と運転行動についてそれぞれ数値化した各特徴量がある。

図４の例は、重み付け度として推定に用いる「○」／用いない「×」が設定される。渋滞、路上駐車回避、歩行者回避の車外環境要因の場合、全ての情報に「○」が設定され、全ての情報を用いて推定が行われる。音声認識ミス、入力認識ミス、システム応答不満のシステム不調要因の場合、運転行動に「×」が設定され、生体の各情報と挙動に「○」が設定され、運転行動を用いずに、生体情報と挙動情報だけで推定が行われる。

なお、図４は重み付けの一例を示しただけであり、重み付けについては他の様々な設定が適用可能である。例えば、用いる「○」／用いない「×」の設定において、車外環境要因の場合、運転行動だけに「○」を設定し、生体の各情報と挙動に「×」を設定し、生体情報と挙動情報を用いずに、運転行動だけで推定が行われるようにしてもよい。

また、生体だけ４つの各情報について重み付け度をそれぞれ設定したが、挙動や運転行動についても各情報に重み付け度をそれぞれ設定してもよいし、あるいは、生体についても１つだけ重み付け度を設定してもよい。

取捨選択判定手段９は、要因種別判定手段７で判定した要因Ｅに応じて、生体情報、挙動情報、運転行動についてそれぞれ重み付け度を決定する。具体的には、取捨選択判定手段９では、要因Ｅをキーとして、参照データ記憶装置８に記憶されている参照データを参照する。そして、取捨選択判定手段９では、参照データを基に、生体情報、挙動情報、運転行動に要因Ｅに応じた重み付け度をそれぞれ設定する。但し、要因Ｅとして車外環境要因とシステム不調要因の両方が検出されている場合あるいは要因Ｅが検出されなかった場合、重み付け度の設定を行わないか、あるいは、生体情報、挙動情報、運転行動を同等に用いる重み付け度を設定する。

条件付き確率に重み付け度を反映させる方法としては、特徴量を選択的に用いる方法の他に、式（１）に従って条件付き確率を重みαに比例して強調する方法などがある。式（１）において、Ｐ_ｉは重み付け前の条件付き確率を表わし、Ｐ_ｉ’は重み付け後の条件付き確率を表わす。

イライラレベル判定手段１０は、ベイジアンネットワークを使って、特徴量である生体情報検出手段４で検出した生体情報、挙動情報検出手段３で検出した挙動情報、運転行動検出手段２で検出した運転行動に対して取捨選択判定手段９で設定した重み付け度をそれぞれ加味してイライラレベルを推定する手段である。

具体的には、イライラレベル判定手段１０では、イライラレベルを推定するためのベイジアンネットワークのネットワーク構造を決定する。図５には、ベイジアンネットワークＢの構造を示している。このネットワークＢの各ノードＮ１〜Ｎ６に入力される特徴量としては、挙動、生体の心拍平均、心拍ゆらぎ、皮膚電位平均、皮膚電位変化の総和、運転行動がある。ネットワークＢのノード間Ｌ１〜Ｌ６の条件付き確率は、学習データから求められる基本値に対して、取捨選択判定手段９で設定された重み付け度がそれぞれ反映される。図５に示すネットワークＢにおいて、矩形状のノードは離散ノードであり、円形状のノードは連続ノードである。なお、挙動、運転行動についても、複数の情報を特徴量としてもよい。

イライラレベル判定手段１０では、学習データが収集されている場合、学習データに基づいて、ネットワークのノード間の条件付き確率（基本値）を決定する。学習データは、車両走行中に収集されるデータであり、官能評価などによって求められた実際のイライラレベルとセンシングされた特徴量（体の心拍平均、心拍ゆらぎ、皮膚電位平均、皮膚電位変化の総和、挙動、運転行動）からなるデータである。この学習データについては多くの走行時間についてのデータや様々な要因Ｅのときに収集されたデータが望ましく、推定精度を向上させる条件付き確率を得ることができる。この条件付き確率（基本値）については、初期値だけを設定してもよいし、あるいは、初期値設定後に学習データが収集される毎に更新してもよい。

イライラレベル判定手段１０では、取捨選択判定手段９で重み付け度が設定されている場合、各ノード間の条件付き確率に重み付け度をそれぞれ反映する。但し、取捨選択判定手段９で重み付け度が設定されていない場合、重み付け度を反映せず、条件付き確率（基本値）をそのまま用いる。具体的には、図４に示すような重み付け度として推定に用いる「○」／用いない「×」が設定されている場合、推定に用いる「○」が設定されている場合にはその対応するノード間の条件付き確率（基本値）をそのまま使用し、用いない「×」が設定されている場合にはその対応するノード間を切断し、その特徴量（ノード）を用いない。このように重み付け度を反映することにより、「○」が設定されているノードのみを用いるようなネットワーク構造とすることができる（つまり、最初に決定したネットワーク構造から「×」が設定されているノードを除外することができる。）

イライラレベル判定手段１０では、特徴量である生体情報検出手段４で検出した生体のセンシング情報、挙動情報検出手段３で検出した挙動のセンシング情報、運転行動検出手段２で検出した運転行動のセンシング情報に対してそれぞれ必要な前処理を行う。

例えば、図６（ａ）に示すように、運転行動のセンシング情報（アクセル踏力、ブレーキ踏力）の場合、各センシング値を１０Ｈｚにダウンサンプリングし、バイアスを除き、メディアンフィルタを施した後にケプストラムとケプストラムの変化量をそれぞれ求める前処理を行う。また、図６（ｂ）に示すように、生体のセンシング情報（皮膚電位）の場合、センシング値を１０Ｈｚにダウンサンプリングし、Savitzky-Golay FIR Smoothingを行った後に平均と変化量の絶対値の総和を求める前処理を行う。また、挙動のセンシング情報（運転者の顔周辺の撮像画像）の場合、撮像画像から顔領域や顔部品領域（目、口、眉など）を抽出し、その抽出した領域画像と平常時の画像あるいはイライラ状態時の画像とを比較し、顔の表情の変化を検出する前処理を行う。

そして、イライラレベル判定手段１０では、前処理を施した各特徴量をネットワークの各ノードに入力し、イライラレベルを算出する。

図７と図８には、生体情報と挙動情報に加えて運転行動を用いた場合と用いない場合のベイジアンネットワークによるイライラレベルの推定結果と実際のイライラレベルを示している。イライラレベルは、０〜２の整数値である。実線ＲＬが官能評価などによる実際のイライラレベルであり、破線ＥＬが推定のイライラレベルである。

図７に示す例は、要因として路上駐車回避の車外環境要因が発生した場合であり、（ａ）が運転行動を用いた推定結果であり、（ｂ）が運転行動を用いない推定結果である。図７（ａ）に示す実イライラレベルＲＬ１と推定イライラレベルＥＬ１ａ（イライラ推定装置１において図４に示す参照データを用いて推定を行った場合に相当）との誤差は、図７（ｂ）に示す実イライラレベルＲＬ１と推定イライラレベルＥＬ１ｂとの誤差よりも小さい。したがって、車外環境要因が発生した場合には、運転行動を用いて推定を行ったほうが推定精度が高い。

図８示す例は、要因として音声認識ミスのシステム不調要因が発生した場合であり、（ａ）が運転行動を用いた推定結果であり、（ｂ）が運転行動を用いない推定結果である。図８（ｂ）に示す実イライラレベルＲＬ２と推定イライラレベルＥＬ２ｂ（イライラ推定装置１において図４に示す参照データを用いて推定を行った場合に相当）との誤差は、図８（ａ）に示す実イライラレベルＲＬ２と推定イライラレベルＥＬ２ａとの誤差よりも小さい。したがって、システム不調要因が発生した場合には、運転行動を用いないで推定を行ったほうが推定精度が高い。

図３〜図６を参照して、イライラ推定装置１における動作について説明する。特に、要因種別判定手段７の処理については図９のフローチャートに沿って説明し、取捨選択判定手段９の処理については図１０のフローチャートに沿って説明し、イライラレベル判定手段１０の処置については図１１のフローチャートに沿って説明する。図９は、図３の各検出手段と要因種別判定手段での処理の流れを示すフローチャートである。図１０は、図３の取捨選択判定手段での処理の流れを示すフローチャートである。図１１は、図３のイライラレベル判定手段での処理の流れを示すフローチャートである。

運転行動検出手段２では、運転行動を示す各情報をセンシングする。挙動情報検出手段３では、挙動情報を得るための各情報をセンシングする。生体情報検出手段４では、運転者の生体を示す各情報をセンシングする。

イライラの要因を判定するために、環境情報検出手段５では車外の環境要因を判定するための各情報をセンシングし、システム情報検出手段６ではシステム不調要因を判定するための各情報をセンシングする（Ｓ１０ａ〜Ｓ１０ｎ）。

要因種別判定手段７では、センシングされた各センシング情報に対して前処理をそれぞれ施す（Ｓ１１ａ〜Ｓ１１ｎ）。全ての前処理が終了すると、要因種別判定手段７では、前処理が施されたセンシング情報を用いて、要因毎にその要因が発生しているか否かの各判定（例えば、渋滞判定、歩行者回避判定、路上駐車回避判定、信号停止判定、音声認識ミス判定、入力認識ミス判定、システム応答結果不満判定）を行う（Ｓ１２ａ〜Ｓ１２ｍ）。全ての判定が終了すると、要因種別判定手段７では、全ての判定の判定結果に基づいて、現在発生している要因Ｅを検出する（Ｓ１３）。

取捨選択判定手段９では、検出された要因Ｅをキーとして参照データ記憶装置８の参照データを参照する（Ｓ２０）。そして、取捨選択判定手段９では、要因Ｅに応じて、イライライレベルを推定するための情報（生体、挙動、運転行動）毎に重み付け度を取得する（Ｓ２１）。

イライラレベル判定手段１０では、イライラレベルを判定するためのベイジアンネットワークの構造を決定する（Ｓ３０）。

イライラレベル判定手段１０では、条件付き確率を決定するための学習データがあるか否かを判定する（Ｓ３１）。Ｓ３１にて学習データがまだ十分に収集されていないと判定した場合、イライラレベル判定手段１０では、Ｓ３１の判定に戻り、学習データが収集されるまで待つ。Ｓ３１にて学習データが十分にあると判定した場合、イライラレベル判定手段１０では、その学習データを用いて、ベイジアンネットワークの各ノード間の条件付き確率（基本値）をそれぞれ決定する（Ｓ３２）。

イライラレベル判定手段１０では、取捨選択判定手段９で重み付け度を取得済みか否かを判定する（Ｓ３３）。Ｓ３３にて重み付け度が取得されていないと判定した場合、イライラレベル判定手段１０では、Ｓ３３の判定に戻り、取捨選択判定手段９で重み付け度を取得するまで待つ。

Ｓ３３にて重み付け度を取得済みと判定した場合、イライラレベル判定手段１０では、各ノード間の条件付き確率に重み付け度をそれぞれ反映し、重み付け度として「○」が設定されているノードのみを用いるネットワーク構造とする（Ｓ３４）。

イライラレベル判定手段１０では、生体情報検出手段４で検出した生体情報、挙動情報検出手段３で検出した挙動情報、運転行動検出手段２で検出した運転行動に対してそれぞれ必要な前処理を行う。そして、イライラレベル判定手段１０では、ベイジアンネットワークの各ノードに前処理を施した生体情報、挙動情報、運転行動を入力し、イライラレベルを算出する（Ｓ３５）。

そして、イライラ推定装置１では、この推定したイライラレベルを各種運転者支援装置、警報装置、イライラ緩和装置などに出力する。

このイライラ推定装置１によれば、運転者のイライラ状態に影響を及ぼす要因（車外環境要因と車内システム不調要因）に応じて推定に適した情報を優先して用いることにより、運転者のイライラレベルを高精度に推定できる。

イライラ推定装置１では、要因に応じて各情報に重み付けを行うことにより、各情報のイライラ状態への影響度合いをベイジアンネットワークに簡単に反映することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では運転者のイライラレベルを推定するイライラ推定装置に適用したが、焦り、退屈、覚醒、パニックなどの他の状態を推定する装置にも適用可能である。

また、本実施の形態では挙動情報も用いてイライラレベルを推定する構成としたが、挙動情報を用いなくてもよいし、あるいは、他の情報も用いてイライラレベルを推定してもよい。

また、本実施の形態では要因種別の判定方法の一例を示したが、他の方法によって要因種別を判定してもよい。

また、本実施の形態では重み付け度によってイライラレベルの推定に用いる複数の情報のうちでどの情報を優先するかを表したが、重み付け以外の方法によって表してもよい。

また、本実施の形態ではベイジアンネットワークを用いてイライラレベルを推定する構成としたが、閾値処理、評価関数、決定木、ニューラルネット、ＨＭＭ（隠れマルコフモデル）、サポートベクタマシンなどの他の方法を用いてイライラレベルを推定してもよい。例えば、閾値処理を用いた場合には重み付け度を閾値の設定に利用してもよいし、評価関数を用いた場合には重み付け度を評価関数の係数の設定に利用してもよい。

上記のように他の推定方法を用いた場合、図１２に示すような数値による重み付け度を用いることもできる。図１２の例は、重み付け度として、数値（各情報の数値を合計すると１となるように）が設定される。渋滞、路上駐車回避、歩行者回避の車外環境要因の場合、生体の各情報と挙動にはそれぞれ「０．１」が設定され、運転行動に「０．５」が設定され、運転行動を重視して推定が行われる。音声認識ミス、入力認識ミス、システム応答不満のシステム不調要因の場合、生体の各情報と挙動にはそれぞれ「０．１８」が設定され、運転行動に「０．１」が設定され、生体情報と挙動情報を重視して推定が行われる。なお、数値での設定において、システム不調要因の場合、運転行動に「０」を設定し、生体の各情報と挙動に「０．２」をそれぞれ設定し、生体情報と挙動情報だけで推定が行われるようにしてもよい。また、車外環境要因の場合、運転行動に対する重みを生体の各情報の重みと挙動の重みとの合計値より大きくし、運転行動をより重視して推定が行われるようにしてもよい。また、生体の各情報の重みと挙動の重みには同じ数値が設定されているが、異なる数値が設定されてもよい。

例えば、この数値による重み付け度（αｈ１（心拍平均）、αｈ２（心拍ゆらぎ）、αｓ１（皮膚電位平均）、αｓ２（皮膚電位変化総和）、αｂ（挙動）、αｄ（運転行動））を用いて、閾値処理に適用してイライラレベルを推定することができる。具体的には、閾値処理によって、各センシング情報についてイライラレベル（Ｉｈ１（心拍平均）、Ｉｈ２（心拍ゆらぎ）、Ｉｓ１（皮膚電位平均）、Ｉｓ２（皮膚電位変化総和）、Ｉｂ（挙動）、Ｉｄ（運転行動））をそれぞれ求める。そして、この各センシング情報についてのイライラレベルと重み付け度からイライラレベルＩ（＝Ｉｈ１×αｈ１＋Ｉｈ２×αｈ２＋Ｉｓ１×αｓ１＋Ｉｓ２×αｓ２＋Ｉｂ×αｂ＋Ｉｄ×αｄ）を算出する。

本実施の形態の概念図である。 運転者のイライラの要因と運転者の生体及び運転行動との関係を示す図であり、（ａ）がシステム不調要因がある場合であり、（ｂ）が車外環境要因がある場合である。 本実施の形態に係るイライラ推定装置の構成図である。 重み付け度を決定するための参照データの一例である。 イライラレベルを推定するためのベイジアンネットワークの構造を示す図である。 センシング情報に対する前処理の一例であり、（ａ）が運転行動の前処理であり、（ｂ）が生体情報（皮膚電位）の前処理である。 車外環境要因がある場合のイライラレベルの推定結果の一例であり、（ａ）が運転行動を用いた場合の推定結果であり、（ｂ）が運転行動を用いない場合の推定結果である。 システム不調要因がある場合のイライラレベルの推定結果の一例であり、（ａ）が運転行動を用いた場合の推定結果であり、（ｂ）が運転行動を用いない場合の推定結果である。 図３の各検出手段と要因種別判定手段での処理の流れを示すフローチャートである。 図３の取捨選択判定手段での処理の流れを示すフローチャートである。 図３のイライラレベル判定手段での処理の流れを示すフローチャートである。 重み付け度を決定するための参照データの他の例である。

符号の説明

１…イライラ推定装置、２…運転行動検出手段、３…挙動情報検出手段、４…生体情報検出手段、５…環境情報検出手段、６…システム情報検出手段、７…要因種別判定手段、８…参照データ記憶装置、９…取捨選択判定手段、１０…イライラレベル判定手段

Claims (6)

1. 車両の運転者の心理状態を推定する心理状態推定装置であって、
   運転者の生体情報を検出する生体情報検出手段と、
   運転者の運転行動を検出する運転行動検出手段と、
   運転者の心理状態に影響を及ぼす車外の環境を検出する車外環境検出手段と、
   運転者の心理状態に影響を及ぼす車内のシステムの不調を検出するシステム不調検出手段と、
   前記車外環境検出手段で運転者の心理状態に影響を及ぼす車外環境を検出した場合には前記生体情報検出手段で検出した生体情報よりも前記運転行動検出手段で検出した運転行動を優先して運転者の心理状態を推定し、前記システム不調検出手段で運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には前記運転行動検出手段で検出した運転行動よりも前記生体情報検出手段で検出した生体情報を優先して運転者の心理状態を推定する推定手段と
   を備えることを特徴とする心理状態推定装置。
2. 前記推定手段は、前記車外環境検出手段で運転者の心理状態に影響を及ぼす車外環境を検出した場合には前記生体情報検出手段で検出した生体情報に対する重みよりも前記運転行動検出手段で検出した運転行動に対する重みを重くして運転者の心理状態を推定し、前記システム不調検出手段で運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には前記運転行動検出手段で検出した運転行動に対する重みよりも前記生体情報検出手段で検出した生体情報に対する重みを重くして運転者の心理状態を推定することを特徴とする請求項１に記載する心理状態推定装置。
3. 前記推定手段は、前記システム不調検出手段で運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には前記運転行動検出手段で検出した運転行動を用いずに、前記生体情報検出手段で検出した生体情報のみを用いて運転者の心理状態を推定することを特徴とする請求項１又は請求項２に記載する心理状態推定装置。
4. 車両の運転者の心理状態を推定する心理状態推定方法であって、
   運転者の生体情報を検出する生体情報検出ステップと、
   運転者の運転行動を検出する運転行動検出ステップと、
   運転者の心理状態に影響を及ぼす車外の環境を検出する車外環境検出ステップと、
   運転者の心理状態に影響を及ぼす車内のシステムの不調を検出するシステム不調検出ステップと、
   前記車外環境検出ステップで運転者の心理状態に影響を及ぼす車外環境を検出した場合には前記生体情報取得ステップで検出した生体情報よりも前記運転行動検出ステップで検出した運転行動を優先して運転者の心理状態を推定し、前記システム不調検出ステップで運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には前記運転行動検出ステップで検出した運転行動よりも前記生体情報検出ステップで検出した生体情報を優先して運転者の心理状態を推定する推定ステップと
   を含むことを特徴とする心理状態推定方法。
5. 前記推定ステップでは、前記車外環境検出ステップで運転者の心理状態に影響を及ぼす車外環境を検出した場合には前記生体情報検出ステップで検出した生体情報に対する重みよりも前記運転行動検出ステップで検出した運転行動に対する重みを重くして運転者の心理状態を推定し、前記システム不調検出ステップで運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には前記運転行動検出ステップで検出した運転行動に対する重みよりも前記生体情報検出ステップで検出した生体情報に対する重みを重くして運転者の心理状態を推定することを特徴とする請求項４に記載する心理状態推定方法。
6. 前記推定ステップでは、前記システム不調検出ステップで運転者の心理状態に影響を及ぼす車内システム不調を検出した場合には前記運転行動検出ステップで検出した運転行動を用いずに、前記生体情報検出ステップで検出した生体情報のみを用いて運転者の心理状態を推定することを特徴とする請求項４又は請求項５に記載する心理状態推定方法。

Images