JP2007111247A - 運転者状態表示装置、および運転者状態表示方法 - Google Patents

Abstract

【課題】運転者の心身の状態を運転者に報知すること。
【解決手段】覚醒度推定部１０３ａは、運転者の心身の状態として運転者の覚醒度を推定する。画像処理部１０３ｂは、覚醒度推定部１０３ａによる推定結果に基づいて、運転者の少なくとも顔部分を含む画像の表示属性を変化させ、表示属性を変化させた画像をモニタ１０２に表示する。
【選択図】図１

Description

本発明は、運転者の心身の状態を表示するための運転者状態表示装置、および運転者状態表示方法に関する。

次のような車両用表示装置が特許文献１によって知られている。この車両用表示装置では、運転者の身体状態、または心理状態が運転に支障をきたす状態になったときに、その状態を模擬したシンボルマークを表示して、運転者に報知する。

特開２００３−３３９６８１号公報

しかしながら、従来の装置においては、運転者に心理状態を模擬したシンボルマークを表示して報知していたため、運転者が報知された心理状態を自分自身の心理状態であると直感的に認識しづらいという問題が生じていた。

本発明は、運転者の心身の状態を判定し、判定結果に基づいて、運転者の少なくとも顔部分を含む画像の表示属性を変化させ、表示属性を変化させた画像をモニタに表示することを特徴とする。

本発明によれば、運転者の心身の状態に基づいて運転者の少なくとも顔部分を含む画像の表示属性を変化させるようにした。これによって、運転者は、報知された心理状態を自分自身の心理状態であると直感的に認識することができる。

―第１の実施の形態―
図１は、第１の実施の形態における運転者状態表示装置の一実施の形態の構成を示すブロック図である。運転者状態表示装置１００は、車両に搭載され、カメラ１０１と、モニタ１０２と、制御装置１０３とを備えている。

カメラ１０１は、例えば撮像素子にＣＣＤを用いたＣＣＤカメラである。このカメラ１０１は、図２に示すように、運転者の正面に対して車外側のＡピラーに設置され運転者の少なくとも顔部分を含む範囲の画像を連続的に撮像して、制御装置１０３へ映像信号を出力する。すなわち、カメラ１０１は、運転者の顔を連続的に撮像した動画像（映像）を制御装置１０３へ出力する。

カメラ１０１の撮像画角は、図３に示すように、運転者の顔３ａを画像内のほぼ中心にとらえると共に、車両における操作端であるステアリング３ｂの一部を含むように設定される。このカメラ１０１で撮像された画像は、制御装置１０３によって、後述するように運転者の心身の状態（心身状態）を示す表示効果が付加され、モニタ１０２に表示される。

なお、ステアリング３ｂの一部を画像に含ませるのは、運転者の心身状態を示す表示効果を付加した顔をモニタ１０２に表示する際に、運転者が比較的頻繁に動作を行うステアリングの映像とセットで提示するためである。これによって、頭部の動きが制限される車室内においても、運転者の動作と連動して動くステアリングを媒介として、画像内に写っている顔が自分自身の顔であることを運転者に直感的に認識させることができる。

モニタ１０２は、例えば液晶ディスプレイであり、カメラ１０１とは運転者の視線方向に対して異なる方向に配置される。例えば、図２に示すように、運転者の正面に対して車内側のセンタ・クラスタに設置される。この図２に示すように、カメラ１０１とモニタ１０２とを運転者正面２ａに対して左右に分散して配置することで、運転者がモニタ１０２に表示された自分自身の顔と目が合う状況を完全に回避することができる。すなわち、運転者がモニタ１０２の方に頭部を向けて自身の顔に正対しようとしても、モニタ１０２に表示される自身の顔は、図４に示すように側方に向いた状態となり、モニタ１０２内の自身と正対することができない。

これにより、走行中の運転者が、モニタ１０２内の自身の顔を注視することを防止することができる。なお、モニタ１０２には、普段は車両に搭載されたナビゲーション等の画面が表示されており、モニタ１０２は、これらの画面と、カメラ１０１で撮像される画像の表示とを制御装置１０３からの信号により切り替える機能を有している。

制御装置１０３は、ＣＰＵやメモリ、およびその他周辺回路で構成され、覚醒度推定部１０３ａと、画像処理部１０３ｂとを備えている。覚醒度推定部１０３ａは、画像内に含まれる運転者の顔（顔画像）、特に眼球部分の画像から、運転者の心身状態として覚醒度を推定する。覚醒度推定部１０３ａにより覚醒度推定処理は、所定時間間隔で連続して行われ、その推定結果の履歴は制御装置１０３が有するメモリ内に蓄積されていく。なお、覚醒度推定部１０３ａの具体的構成、および覚醒度判定アルゴリズムは、公知技術（例えば、特許第３１１６６３８号公報）によるため、説明を省略する。

画像処理部１０３ｂは、覚醒度推定部１０３ａによる推定結果に基づいて、運転者の覚醒度が低下している状態（覚醒度低下状態）であると判定した場合に、覚醒度推定部１０３ａによる推定結果に応じて、カメラ１０１から入力される運転者の顔画像を含む画像全体を後述するロジックにより画像処理して、画像全体のサイズ、アスペクト比、色相（色合い）、彩度、および明度をリアルタイムに変化させる。なお、画像処理部１０３ｂの実体は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を備えた高性能の画像処理回路であり、インターフェース回路、グラフィックス回路、ビデオ・メモリ等から構成される。画像処理部１０３ｂは、具体的には以下に説明するような画像処理を実行する。

まず、運転者の心身の状態が覚醒度低下状態にあるか否かを判定するために、覚醒度推定部１０３ａで推定された運転者の覚醒度が、覚醒度低下の初期段階に対応する所定の閾値Ｔａ以下か否かを判断する。その結果、運転者の覚醒度が所定の閾値Ｔａ以下であれば、運転者の心身状態は覚醒度低下状態であると判定し、覚醒度低下を報知する目的でカメラ１０１で撮像された運転者の顔画像を含む画像をモニタ１０２に表示する。

これに対して、覚醒度が閾値Ｔａより大きい場合には、運転者の心身状態は覚醒度低下状態にはないと判定し、モニタ１０２に画像を表示せず、ナビゲーション装置等から出力されるその他の画像をモニタ１０２に表示する。また、覚醒度が閾値Ｔａより大きくなった時点で、既に運転者の顔画像を含む画像がモニタ１０２に表示されていた場合には、その画像を非表示として、ナビゲーション画面等の元の表示に復帰する。

そして、運転者の覚醒度が所定の閾値Ｔａ以下の場合には、カメラ１０１で撮像された画像に画像処理を施して、画像に運転者の心身状態を示す表示効果を付加する。このために、画像処理部１０３ｂは、覚醒度推定部１０３ａで推定された運転者の覚醒度に基づいて、画像の表示属性を変化させるための表示属性値の比率を決定する。表示属性値の比率とは、画像の表示属性としての画像サイズ、アスペクト比、色相、彩度、および明度のそれぞれの値を変化させるための比率（１以下の値）であり、サイズ変化率Ｙｓ、アスペクト変化率Ｙａ、色相変化率Ｙｃｏ、彩度変化率Ｙｃｈ、および明度変化率Ｙｂの組で構成される。この表示属性値の比率は、例えば図５に示すような、表示属性値比率曲線７０１または７０３に基づいて決定される。

まず、画像処理部１０３ｂは、覚醒度推定部１０３ａで今回推定された覚醒度（現在の覚醒度）と、前回推定された覚醒度（前回の覚醒度）とを比較して、運転者の覚醒度が低下傾向にあるか否か、すなわち前回から覚醒度が低下したか否かを判定する。運転者の覚醒度が低下傾向にあると判定した場合には、図５に示す降下曲線７０１を表示属性値比率曲線として使用して、表示属性値の比率を決定する。この降下曲線７０１は、上述した表示属性値の比率を構成する表示属性ごとに設定される。ここでは、そのうちの１つの表示属性に対する表示属性値の比率を決定するための降下曲線７０１について説明する。

この降下曲線７０１は、運転者の覚醒度が低下傾向に移行した最初の時点に設定される。すなわち、運転者の覚醒度が低下傾向に移行したことが検出された場合に、その時点における覚醒度ｘ１と、そのときの画像の表示属性値比率ｙ（ｙ＝１とする）を座標値とする点７０２（ｘ１，１）を始点として、表示属性ごとにあらかじめ設定された所定の傾きをもった直線を原点方向に引く。この点７０２を始点とする所定の傾きの直線を降下曲線７０１とする。

設定された降下曲線７０１は、運転者の覚醒度が低下傾向を持続している間は、制御装置１０３が有するメモリ内に記憶される。なお、その後、運転者の覚醒度が後述するように回復傾向に転じた場合には、制御装置１０３が有するメモリ内に記憶されている降下曲線７０１を消去して、後述する処理によって設定される上昇曲線７０３をメモリに記憶する。

画像処理部１０３ｂは、運転者の覚醒度が低下傾向を持続している間は、この設定した降下曲線７０１に基づいて表示属性値の比率を決定する。すなわち、降下曲線７０１に基づいて、覚醒度推定部１０３ａで逐次推定される運転者の覚醒度ｘに対する出力結果ｙを表示属性値の比率として決定する。

このようにして、それぞれの表示属性に対応する降下曲線７０１を用いて決定した表示属性値の比率、すなわちサイズ変化率Ｙｓ、アスペクト変化率Ｙａ、色相変化率Ｙｃｏ、彩度変化率Ｙｃｈ、および明度変化率Ｙｂに基づいて、次式（１）〜（５）により、画像処理を実行する。

画像サイズ＝元画像サイズ×Ｙｓ ・・・（１）
アスペクト比＝元画像アスペクト比×Ｙａ ・・・（２）
色相＝元画像色相×Ｙｃｏ ・・・（３）
彩度＝元画像彩度×Ｙｃｈ ・・・（４）
明度＝元画像明度×Ｙｂ ・・・（５）

このようにカメラ１０１で撮像した運転者の顔を含む画像を画像処理して、運転者の覚醒度低下に伴う表示効果を付加した画像をモニタ１０２へ出力する。すなわち、運転者の覚醒度低下に伴って、運転者顔画像を含む画像全体が小さく、細く、青っぽく、くすんだ、暗い画像に変化していく。例えば、図３に示したようなカメラ１０１で撮像された元画像が、図６に示すような運転者の覚醒度低下を表す表示効果を付加した画像に変換されて、モニタ１０２に表示される。

これにより、運転者は、モニタ１０２に表示される自身の顔が小さく、やせた、青白い、くすんだ、暗い表情に変化したことを視認することができ、自身の覚醒度が低下していることを認識することができる。換言すれば自身の心身状態が不活性になっていることを直感的に察知することができる。さらに、このように運転者に自身の現在の心身状態を認識させることで、運転者に自発的な状態改善行動を促すことができる。

上述したように、運転者の覚醒度が低下傾向にある場合に、運転者に対して覚醒度低下を認識させるための表示効果を付加した画像をモニタ１０２に表示した結果、運転者が自身の覚醒度の低下を察知し、自発的な改善行動をとった場合には、運転者の覚醒度は増加傾向（回復傾向）増加傾向に変化する。

画像処理部１０３ｂは、覚醒度推定部１０３ａで今回推定された覚醒度（現在の覚醒度）と、前回推定された覚醒度（前回の覚醒度）とを比較して、覚醒度が回復傾向にあると判定した場合には、図５に示す上昇曲線７０３を表示属性値比率曲線として使用して、表示属性値の比率を決定する。この上昇曲線７０３も上述した降下曲線と同様に、表示属性値の比率を構成する表示属性ごとに設定される。

この上昇曲線７０３は、運転者の覚醒度が回復傾向に移行した最初の時点に設定される。すなわち、運転者の覚醒度が回復傾向に移行したことが検出された場合に、その時点における覚醒度ｘ２と、そのときの画像の表示属性値比率ｙ２を座標値とする点７０４（ｘ２，ｙ２）として設定する。そして、この点７０４と、上述した運転者の覚醒度が低下傾向に移行した時点における点７０２とを通る上に凸の曲線を引き、これを上昇曲線７０３とする。

このように上昇曲線７０３を設定することによって、運転者の覚醒度が低下傾向を持続している間の表示属性の変化よりも早い変化速度で、運転者の覚醒度が回復傾向を持続している間の表示属性を変化させることができる。すなわち、運転者の覚醒度が回復傾向を持続している間は、表示属性が急激に元の状態に回復するように画像処理を行うことができる。

設定された上昇曲線７０３は、運転者の覚醒度が回復傾向を持続している間は、制御装置１０３が有するメモリ内に記憶される。なお、その後、運転者の覚醒度が再度低下傾向に転じた場合には、制御装置１０３が有するメモリ内に記憶されている上昇曲線７０３を消去して、上述した処理によって新たに設定される降下曲線７０１をメモリに記憶する。

画像処理部１０３ｂは、運転者の覚醒度が回復傾向を持続している間は、この設定した上昇曲線７０３に基づいて表示属性値の比率を決定する。すなわち、上昇曲線７０３に基づいて、覚醒度推定部１０３ａで逐次推定される運転者の覚醒度ｘに対する出力結果ｙを表示属性値の比率として決定する。

そして、それぞれの表示属性に対応する上昇曲線７０３を用いて決定した表示属性値の比率、すなわちサイズ変化率Ｙｓ、アスペクト変化率Ｙａ、色相変化率Ｙｃｏ、彩度変化率Ｙｃｈ、および明度変化率Ｙｂに基づいて、上述した式（１）〜（５）により、画像処理を実行する。

このようにカメラ１０１で撮像した運転者の顔を含む画像を画像処理して、運転者の覚醒度回復に伴う表示効果を付加した画像をモニタ１０２へ出力する。すなわち、運転者の覚醒度回復に伴って、モニタ１０２に表示される画像を急激に図３に示した表示効果が付加されていない画像に近づけていくことによって、運転者顔画像を含む画像全体が大きく、太く、赤っぽく、はっきりした、明るい画像に変化していく。

運転者が自発的に行った状態改善行動を行うことによって、覚醒度が回復した場合には、上述した上昇曲線７０３を使用して表示属性値の比率を決定することによって、覚醒度低下時と比較して画像の表示属性が急激に回復するため、運転者は状態改善行動による状態回復の効果が著しいと解釈する。そして、実施している状態改善行動を更に積極的に行うものと期待される。

また、運転者が、視覚的に状態回復の効果が著しいと認識することにより、運転者の実際の心身状態も、視覚で認識した回復状態に誘導される可能性がある。これは、人間が身体的自己像（ボディ・イメージ）を知覚する際、他の感覚に比べて、視覚を基準にする傾向があり、視覚的に認識した自己の状態に、実際の状態を近づける心理的作用が働くためである。したがって、以上のように、運転者に対して覚醒度回復に伴う表示効果を付加した画像を提示することによって、運転者の状態改善を補助し、状態回復効果を増強することができる。

図７は、第１の実施の形態における運転者状態表示装置１００の処理を示すフローチャートである。図７に示す処理は、運転者状態表示装置１００を搭載する車両のイグニションスイッチがオンされることによって、運転者状態表示装置１００の電源がオンされると起動するプログラムとして、制御装置１０３によって実行される。

ステップＳ１０において、カメラ１０１による運転者の顔を含む画像の撮像を開始する。その後、ステップＳ２０へ進み、覚醒度推定部１０３ａは、公知の手法により、画像内に含まれる運転者の顔画像に基づいて、運転者の覚醒度を推定して、ステップＳ３０へ進む。

ステップＳ３０では、画像処理部１０３ｂは、覚醒度推定部１０３ａで推定された運転者の覚醒度が、覚醒度低下の初期段階に対応する所定の閾値Ｔａ以下か否かを判断する。運転者の覚醒度がＴａより大きいと判断した場合にはステップＳ１３０へ進み、カメラ１０１で撮像された画像をモニタ１０２に表示せずに、後述するステップＳ１４０へ進む。これに対して、運転者の覚醒度がＴａ以下であると判断した場合には、ステップＳ４０へ進み、カメラ１０１で撮像された画像をモニタ１０２に表示して、ステップＳ５０へ進む。

ステップＳ５０では、画像処理部１０３ｂは、上述したように、覚醒度推定部１０３ａで推定された現在の覚醒度と、前回の覚醒度とを比較して、運転者の覚醒度が低下傾向にあるか、あるいは回復傾向にあるかを判断する。運転者の覚醒度が低下傾向にあると判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、上述した降下曲線７０１が既に設定済みであるか否かを判断する。すなわち、運転者の覚醒度が低下傾向を継続中であり、低下傾向に移行した時点で設定された降下曲線７０１が制御装置１０３が有するメモリ内に記憶されているかを判断する。

降下曲線７０１が未設定であると判断した場合には、ステップＳ７０へ進み、上述したように降下曲線７０１を新規に設定した後、ステップＳ８０へ進んで、設定した降下曲線７０１に基づいて決定した表示属性値の比率に基づいて、カメラ１０１で撮像される画像を画像処理する。

これに対して、降下曲線７０１が設定済みであると判断した場合には、そのままステップＳ８０へ進み、既に設定されている降下曲線７０１に基づいて決定した表示属性値の比率に基づいて、カメラ１０１で撮像される画像を画像処理する。その後、後述するステップＳ１２０へ進む。

次に、ステップＳ５０で運転者の覚醒度が回復傾向にあると判断した場合の処理について説明する。この場合には、ステップＳ９０へ進み、上述した上昇曲線７０３が既に設定済みであるか否かを判断する。上昇曲線７０３が未設定であると判断した場合には、ステップＳ１００へ進み、上述したように上昇曲線７０３を新規に設定した後、ステップＳ１１０へ進んで、設定した上昇曲線７０３に基づいて決定した表示属性値の比率に基づいて、カメラ１０１で撮像される画像を画像処理する。

これに対して、上昇曲線７０３が設定済みであると判断した場合には、そのままステップＳ１１０へ進み、既に設定されている上昇曲線７０３に基づいて決定した表示属性値の比率に基づいて、カメラ１０１で撮像される画像を画像処理する。その後、ステップＳ１２０へ進む。

ステップＳ１２０では、ステップＳ８０または１１０で画像処理された結果の画像をモニタ１０２に出力して、運転者の心身状態を表す表示効果が付加された画像を運転者に提示する。その後、ステップＳ１４０へ進み、運転者状態表示装置１００の電源がオフされたか否かを判断する。電源がオフされていないと判断した場合には、ステップＳ２０へ戻って処理を繰り返す。一方、電源がオフされたと判断した場合には、処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）運転者の顔画像を含む画像の表示属性を、運転者の心身状態、すなわち運転者の覚醒度に応じて変化させて、モニタ１０２に表示するようにした。これによって、運転者は自身の心身状態の変化を、自身の表情の変化から直感的に察知することができる。そして、運転者の心身状態が悪化している場合は、運転者が自身の心身状態を即座に自覚し、自発的に状態改善行動をとることが期待できる。

（２）運転者の心身状態に応じて、運転者の顔画像を含む画像全体のサイズ、アスペクト比、色相、彩度、明度を変化させて、画像に運転者の心身状態を示す表示効果を付加するようにした。この場合、画像全体の表示属性が変化するが、運転者の注意は、自身の動作と連動して動く自身の顔に向けられるため、運転者は自身の表情、顔色が変化したものと解釈し、対応する心身状態を察知することができる。これにより、画像内から運転者の顔部分のみを抽出して、運転者の顔部分の表示属性を変化させる場合と比較して、単純な画像処理によって表示効果を付加することができるため、処理の負荷を低減することができる。

（３）運転者の覚醒度が回復傾向にある場合には、上昇曲線７０３を使用して表示属性値の比率を決定することによって、覚醒度低下時と比較して画像の表示属性値が急激に回復するようにした。これによって、運転者に対して状態改善行動による状態回復の効果が著しいと解釈することができ、実施している状態改善行動を更に積極的に行うように促すことができる。また、運転者が、視覚的に状態回復の効果が著しいと認識することにより、運転者の実際の心身状態も、視覚で認識した回復状態に誘導させることができる。

（４）カメラ１０１の撮像画角は、運転者の顔を画像内のほぼ中心にとらえると共に、車両における操作端であるステアリングの一部を含むように設定するようにした。これによって、頭部の動きが制限される車室内においても、運転者の動作と連動して動くステアリングを媒介として、画像内に写っている顔が自分自身の顔であることを運転者に直感的に認識させることができる。

（５）カメラ１０１とモニタ１０２とを運転者正面に対して左右に分散して配置するようにした。これによって、運転者が、モニタ１０２に映った自身の顔を確認するためにモニタ１０２の方を向いた際、常にカメラ１０１からは顔を背ける状態となり、運転者がモニタ１０２に表示された自分自身の顔と目が合う状況を完全に回避することができ、走行中の運転者がモニタ１０２内の自身の顔画像を注視することを防止することができる。

―第２の実施の形態―
第２の実施の形態では、ステアリングに設置した電極から運転者の心電信号を検出し、心拍数、心拍ゆらぎから運転者の心身状態として運転者の疲労度、興奮度を推定する。そして、運転者の心身状態が疲労状態、または興奮状態にあるときに、運転者の疲労度・興奮度に応じて、カメラで撮像した運転者の顔を含む画像を画像処理して、運転者に直感的かつ確実に、自身の疲労・興奮を認識させる方法について説明する。すなわち第２の実施の形態では、運転者の顔部分（顔画像）、および顔部分以外の背景（背景画像）のそれぞれに対して個別に画像処理を実行し、それぞれのサイズ、アスペクト比、色相、彩度、明度の少なくともいずれか１つを減少・増加させる。

なお、第２の実施の形態では、運転者の疲労度に応じて顔画像および背景画像の色相、彩度、明度を変化させ、運転者の興奮度に応じて顔画像のサイズ、アスペクト比、色相、彩度、明度、および背景画像の色相、彩度、明度を変化させる例について説明する。しかし、これ以外の組み合わせで少なくともいずれか１つの表示属性を変化させるようにしてもよい。また、第２の実施の形態では、図２に示したカメラ１０１およびモニタ１０２の車両への設置例を示す図、および図３、４に示したカメラ１０１で撮像される画像の具体例を示す図については、第１の実施の形態と同様のため、説明を省略する。

図８は、第２の実施の形態における運転者状態表示装置の一実施の形態の構成を示すブロック図である。なお、図８においては、図１に示す第１の実施の形態と同一の構成要素に対しては同一の符号を付与して相違点を中心に説明する。

運転者状態表示装置１００は、ステアリング心電信号検出装置１０４をさらに備えている。ステアリング心電信号検出装置１０４は、ステアリング表面に設置された電極により運転者の心電信号を出力する。なお、ステアリング心電信号検出装置１０４の具体的な構成・機能については、公知の技術（例えば、特開平１１−１５１２３０号公報）によるため、説明を省略する。

制御装置１０３は、疲労度・興奮度推定部１０３ｃをさらに有している。この疲労度・興奮度推定部１０３ｃは、ステアリング心電信号検出装置１０４から出力される運転者の心電信号に基づいて、運転者の疲労状態を表す疲労度および運転者の興奮状態を表す興奮度を推定する。なお、疲労度は、例えば、特開平１１−１５１２３１号公報に開示されている公知のアルゴリズムを使用して推定する。また、興奮度は、１分間心拍数の規格化偏差で表すものとし、次式（６）によって算出される。
興奮度＝（１分間心拍数−全平均心拍数）／心拍数標準偏差 ・・・（６）

画像処理部１０３ｂは、疲労度・興奮度推定部１０３ｃで推定された運転者の疲労度、および興奮度に基づいて、カメラ１０１で撮像される画像を画像処理して、顔面部位、すなわち画像内に含まれる運転者の顔のサイズ、アスペクト比、色相、彩度、および明度と、顔面部位の背景、すなわち画像内における運転者の顔の周囲の背景の色相、彩度、および明度を変化させる。これによって、運転者の疲労度、および興奮度を表す表示効果を付加した画像を出力することができる。

なお、第２の実施の形態では、カメラ１０１で撮像された画像、および画像処理部１０３ｂによって画像処理が施された後の画像を左右反転してモニタ１０２に表示するようにする。例えば、第１の実施の形態で図３に示したカメラ１０１による撮像画像は、画像処理部１０３ｂによって、図９に示すように図３の画像を左右反転させた画像に変換されてモニタ１０２に表示される。これは、運転者に対して自身の顔画像を鏡像と同じ方向性をもたせて提供するためである。これによって、自身の顔画像を鏡像で見ることに慣れている運転者は、モニタ１０２に表示される顔画像を違和感なく見ることができる。

画像処理部１０３ｂは、具体的には次のように処理する。まず、疲労度・興奮度推定部１０３ｃで推定された運転者の疲労度に基づいて、カメラ１０１で撮像される画像を画像処理する方法について説明する。この実施の形態における運転者の疲労度は、第１の実施の形態で上述した運転者の覚醒度に対応する概念であり、運転者の疲労度の増加は運転者の覚醒度の低下に相当する。換言すれば、運転者の心身状態が疲労状態にあるときは、運転者の心身状態が覚醒度低下状態にあるときに相当する。

したがって、運転者の疲労度に基づく画像処理は、第１の実施の形態で上述した運転者の覚醒度に基づく画像処理と同様の考え方に基づくものであるため、第１の実施の形態における処理と処理内容が異なる点について、詳細に説明する。

まず、運転者の心身の状態が疲労状態にあるか否かを判定するために、疲労度・興奮度推定部１０３ｃで推定された運転者の疲労度が、疲労状態の初期段階に対応する所定の閾値Ｔｅ以上か否かを判断する。その結果、運転者の疲労度が所定の閾値Ｔｅ以上であれば、運転者の心身状態は疲労状態であると判定し、運転者に疲労度の増加を報知する目的で、カメラ１０１で撮像された運転者の顔画像を含む画像をモニタ１０２に表示する。

これに対して、疲労度が閾値Ｔｅより小さい場合には、運転者の心身状態は疲労状態にはないと判定し、モニタ１０２に画像を表示せず、ナビゲーション装置等から出力されるその他の画像をモニタ１０２に表示する。すなわち、カメラ１０１で撮像された運転者の顔画像を含む画像を非表示にする。

そして、運転者の疲労度が所定の閾値Ｔｅ以上の場合には、カメラ１０１で撮像された画像に画像処理を施して、画像に運転者の疲労度を示す表示効果を付加する。このために、画像処理部１０３ｂは、疲労度・興奮度推定部１０３ｃで推定された運転者の疲労度に基づいて、運転者の疲労度が増加傾向にあるか、あるいは低下傾向（回復傾向）にあるかを判定し、それぞれの傾向に応じた表示属性値比率曲線を使用して、画像の表示属性を変化させるための表示属性値の比率を決定する。

表示属性値比率曲線としての降下曲線、および上昇曲線の設定方法について説明する。第２の実施の形態では、運転者の疲労度に応じて、画像内の運転者の顔画像の色相、彩度、および明度と、顔画像の背景の色相、彩度、および明度とを、それぞれが逆方向に変化するように、表示属性値の比率を決定する。これによって、運転者の顔画像と、背景画像との相対比較により、運転者の顔色の変化を強調することをねらう。

したがって、運転者の疲労度に関する降下曲線は、図１０に示すように、顔画像の表示属性値の比率を決定するための曲線１２０１ａと、背景画像の表示属性値の比率を決定するための曲線１２０１ｂとの対とする。すなわち、顔画像の色相変化率Ｙｆｃｏ、彩度変化率Ｙｆｃｈ、明度変化率Ｙｆｂを決定するための曲線１２０１ａと、背景の色相変化率Ｙｂｃｏ、彩度変化率Ｙｂｃｈ、明度変化率Ｙｂｂを決定する曲線１２０１ｂの対とする。なお、曲線１２０１ａは、第１の実施の形態で上述した降下曲線と同様の設定方法で設定することができ、曲線１２０１ｂは、曲線１２０１ａをｙ＝１の直線に対して上下対称の曲線を設定することによって設定することができる。

また、運転者の疲労度に関する上昇曲線も、図１０に示すように、顔画像の表示属性値の比率を決定するための曲線１２０３ａと、背景画像の表示属性値の比率を決定するための曲線１２０３ｂとの対とする。なお、曲線１２０３ａは、第１の実施の形態で上述した上昇曲線と同様の設定方法で設定され、曲線１２０３ｂは、曲線１２０１ａをｙ＝１の直線に対して上下対称の曲線を設定することによって設定される。

画像処理部１０３ｂは、例えば特開平６−１８７４５５号公報で開示されている公知の顔部位検出手法を用いて、カメラ１０１で撮像された画像内から、運転者の顔部位の画像、すなわち顔画像を抽出し、画像内を顔画像と背景画像に分離する。そして、上述した図１０に示す表示属性値比率曲線の中から運転者の疲労度の傾向に応じた曲線を使用して、顔画像、および背景画像のそれぞれの表示属性値の比率を決定する。

すなわち、運転者の疲労度が増加傾向を持続している間は、上述した処理で設定した降下曲線１２０１ａを使用して、運転者の顔画像の表示属性値の比率を決定し、次式（７）〜（９）により、顔画像の色相、彩度、および明度を変化させるための画像処理を実行する。
顔画像色相＝元画像色相×Ｙｆｃｏ ・・・（７）
顔画像彩度＝元画像色相×Ｙｆｃｈ ・・・（８）
顔画像明度＝元画像色相×Ｙｆｂ ・・・（９）

また、降下曲線１２０１ａと対となる曲線１２０１ｂを使用して、背景画像の表示属性値の比率を決定し、次式（１０）〜（１２）により、背景画像の色相、彩度、および明度を変化させるための画像処理を実行する。
背景画像色相＝元画像色相×Ｙｂｃｏ ・・・（１０）
背景画彩度＝元画像色相×Ｙｂｃｈ ・・・（１１）
背景画明度＝元画像色相×Ｙｂｂ ・・・（１２）

これに対して、運運転者の疲労度が低下傾向を持続している間は、上述した処理で設定した上昇曲線１２０３ａを使用して、運転者の顔画像の表示属性値の比率を決定し、式（７）〜（９）により、顔画像の色相、彩度、および明度を変化させるための画像処理を実行する。また、上昇曲線１２０３ａと対となる曲線１２０３ｂを使用して、背景画像の表示属性値の比率を決定し、式（１０）〜（１２）により、背景画像の色相、彩度、および明度を変化させるための画像処理を実行する。

カメラ１０１で撮像される画像に対して、以上に説明した画像処理を施すことにより、運転者の疲労度が増加傾向にある場合には、モニタ１０２に表示される運転者の顔は、疲労度の増加に伴って、青っぽく、くすんだ、暗い画像になっていく。これとは逆に、背景部分は、赤っぽく、あざやかな、明るい画像に変化していく。例えば、図９に示した画像（元画像）は、図１１に示すような画像に変換されて、モニタ１０２に表示される。

これにより、運転者は、顔画像と背景画像とのコントラストにより、明確に、自身の顔が、青白い、くすんだ、暗い表情に変化したと解釈し、自身の疲労度の増加に伴って、心身状態が不活性になっていることを直感的かつ確実に察知することができる。さらに、このように運転者に対して疲労度が増加している自身の状態を認識させることで、運転者に自発的な状態改善行動を促すことができる。

また、運転者による自発的な状態改善行動によって疲労度が回復した場合には、第１の実施の形態と同様に、疲労度増加時と比較して画像の表示属性値が急激に回復する。このため、運転者は、状態回復の効果が著しいと解釈し、実施している状態改善行動を更に積極的に行うものと期待される。また、運転者が、視覚的に状態回復の効果が著しいと認識することにより、運転者の実際の疲労度も、視覚で認識した回復状態に誘導することができる。

次に、疲労度・興奮度推定部１０３ｃで推定された運転者の興奮度に基づいて、カメラ１０１で撮像される画像を画像処理する方法について説明する。運転者の興奮度は、上述した運転者の疲労度に対応する概念であり、運転者の興奮度の増加は運転者の疲労度の増加に相当し、運転者の興奮度の低下は運転者の疲労度の低下に相当する。したがって、運転者の興奮度に基づく画像処理は、上述した運転者の疲労度に基づく画像処理と同様の考え方に基づくものであるため、運転者の疲労度に基づく画像処理と処理内容が異なる点について、詳細に説明する。

まず、運転者の心身の状態が興奮状態にあるか否かを判定するために、疲労度・興奮度推定部１０３ｃで推定された運転者の興奮度が、興奮度増加の初期段階に対応する所定の閾値Ｔｏ以上か否かを判断する。その結果、運転者の興奮度が所定の閾値Ｔｏ以上であれば、運転者の心身状態は興奮状態であると判定し、運転者に興奮度の増加を報知する目的で、カメラ１０１で撮像された運転者の顔画像を含む画像をモニタ１０２に表示する。

これに対して、興奮度が閾値Ｔｏより小さい場合には、運転者の心身状態は興奮状態にはないと判定し、モニタ１０２に画像を表示せず、ナビゲーション装置等から出力されるその他の画像をモニタ１０２に表示する。すなわち、カメラ１０１で撮像された運転者の顔画像を含む画像を非表示にする。

そして、運転者の興奮度が所定の閾値Ｔｏ以上の場合には、カメラ１０１で撮像された画像に画像処理を施して、画像に運転者の興奮度を示す表示効果を付加する。このために、画像処理部１０３ｂは、疲労度・興奮度推定部１０３ｃで推定された運転者の興奮度に基づいて、運転者の興奮度が増加傾向にあるか、あるいは低下傾向（回復傾向）にあるかを判定し、それぞれの傾向に応じた表示属性値比率曲線を使用して、画像の表示属性を変化させるための表示属性値の比率を決定する。

上述した運転者の疲労度に応じた画像処理においては、運転者の疲労度増加に伴って、運転者の顔色、表情を不活性化したように表現すべく、顔画像の表示属性を変化させるための表示属性値比率曲線を設定した。しかし、運転者の興奮度に応じた画像処理では、運転者の興奮度の増加に伴って、運転者の顔色、表情を活性化したように表現すべく、顔画像の表示属性を変化させる必要がある。このため、運転者の興奮度に応じた画像処理を行うために設定する表示属性値比率の降下曲線、上昇曲線は、図１０で上述した降下曲線、上昇曲線に対して逆の対応となる。

このことを加味して、表示属性値比率曲線としての降下曲線、および上昇曲線の設定方法について説明する。まず、運転者の顔画像と、背景画像との相対比較により、運転者の顔色の変化を強調するために、運転者の興奮度に応じて、画像内の運転者の顔画像の色相、彩度、および明度と、顔画像の背景の色相、彩度、および明度とを、それぞれが逆方向に変化するように、表示属性値の比率を決定する。

したがって、運転者の興奮度に関する上昇曲線は、図１２に示すように、顔画像の表示属性値の比率を決定するための曲線１５０１ａと、背景画像の表示属性値の比率を決定するための曲線１５０１ｂとの対とする。すなわち、顔画像の色相変化率Ｙｆｃｏ、彩度変化率Ｙｆｃｈ、明度変化率Ｙｆｂを決定するための曲線１５０１ａと、背景の色相変化率Ｙｂｃｏ、彩度変化率Ｙｂｃｈ、明度変化率Ｙｂｂを決定する曲線１５０１ｂの対とする。なお、曲線１５０１ａは、第１の実施の形態で上述した降下曲線をｙ方向の極性を反転させることによって同様の設定方法で設定することができ、曲線１５０１ｂは、曲線１５０１ａをｙ＝１の直線に対して上下対称の曲線を設定することによって設定することができる。

また、運転者の興奮度に関する降下曲線も、図１２に示すように、顔画像の表示属性値の比率を決定するための曲線１５０３ａと、背景画像の表示属性値の比率を決定するための曲線１５０３ｂとの対とする。なお、曲線１５０３ａは、第１の実施の形態で上述した上昇曲線をｙ方向の極性を反転させることによって同様の設定方法で設定することができ、曲線１５０３ｂは、曲線１５０１ａをｙ＝１の直線に対して上下対称の曲線を設定することによって設定することができる。

さらにこの実施の形態では、上述したように顔画像のサイズ、アスペクト比を変化させて、表情の変化も表現する。このサイズ変化率Ｙｆｓ、およびアスペクト変化率Ｙｆａを決定するための表示属性値比率曲線は、図１３のようになる。この図１３に示す上昇曲線１６０１と、および降下曲線１６０３はそれぞれ、図１２で上述した上昇曲線１５０１ａ、および降下曲線１５０３ａに相当し、それぞれの曲線の設定方法も同様である。

画像処理部１０３ｂは、例えば特開平６−１８７４５５号公報で開示されている公知の顔部位検出手法を用いて、カメラ１０１で撮像された画像内から、運転者の顔部位の画像、すなわち顔画像を抽出し、画像内を顔画像と背景画像に分離する。そして、上述した図１２および１３表示属性値比率曲線の中から運転者の興奮度の傾向に応じた曲線を使用して、顔画像、および背景画像のそれぞれの表示属性値の比率を決定する。

すなわち、運転者の興奮度が増加傾向を持続している間は、上述した処理で設定した上昇曲線１５０１ａを使用して、運転者の顔画像の表示属性値の比率を決定し、式（７）〜（９）により、顔画像の色相、彩度、および明度を変化させるための画像処理を実行する。さらに、上述した処理で設定した上昇曲線１６０１を使用して、運転者の顔画像の表示属性値の比率を決定し、次式（１３）および（１４）により、顔画像のサイズ、およびアスペクト比を変化させるための画像処理を実行する。
画像サイズ＝元画像サイズ×Ｙｆｓ ・・・（１３）
アスペクト比＝元画像アスペクト比×Ｙｆａ ・・・（１４）

また、上昇曲線１５０１ａと対となる曲線１５０１ｂを使用して、背景画像の表示属性値の比率を決定し、式（１０）〜（１２）により、背景画像の色相、彩度、および明度を変化させるための画像処理を実行する。

これに対して、運運転者の興奮度が低下傾向を持続している間は、上述した処理で設定した降下曲線１５０３ａを使用して、運転者の顔画像の表示属性値の比率を決定し、式（７）〜（９）、（１３）、および（１４）により、顔画像の色相、彩度、明度、サイズ、およびアスペクト比を変化させるための画像処理を実行する。また、降下曲線１５０３ａと対となる曲線１５０３ｂを使用して、背景画像の表示属性値の比率を決定し、式（１０）〜（１２）により、背景画像の色相、彩度、および明度を変化させるための画像処理を実行する。

カメラ１０１で撮像される画像に対して、以上に説明した画像処理を施すことにより、運転者の興奮度が増加傾向にある場合には、モニタ１０２に表示される運転者の顔は、興奮度の増加に伴って、大きく、太く、赤っぽく、はっきりと、明るい画像になっていく。これとは逆に、背景部分は、青っぽく、くすんだ、暗い画像に変化していく。例えば、図９に示した元画像は、図１４に示すような画像に変換されて、モニタ１０２に表示される。

これにより、運転者は、背顔画像と背景画像とのコントラストにより、明確に、自身の顔が、大きく、太く、赤っぽく、くっきりと、明るい表情に変化したと解釈し、自身の興奮度の増加に伴って、心身状態が過度に活性していることを直感的かつ確実に察知することができる。さらに、このように運転者に対して興奮度が増加している自身の心身状態を認識させることで、運転者に自発的な状態改善行動を促すことができる。

また、運転者による自発的な状態改善行動によって興奮度が回復した場合には、第１の実施の形態と同様に、興奮度増加時と比較して画像の表示属性値が急激に回復する。このため、運転者は、状態回復の効果が著しいと解釈し、実施している状態改善行動を更に積極的に行うものと期待される。また、運転者が、視覚的に状態回復の効果が著しいと認識することにより、運転者の実際の興奮度も、視覚で認識した回復状態に誘導される可能性がある。

以上説明した運転者の疲労度に基づいた画像処理、および運転者の興奮度に基づいた画像処理は、画像処理部１０３ｂによってそれぞれ行われ、画像処理の結果、運転者の疲労度、興奮度のそれぞれを表す表示効果を付加した画像は、それぞれモニタ１０２に表示される。このとき、例えばモニタ１０２の表示画面を２分割して、運転者の疲労度を表す表示効果を付加した画像と、運転者の興奮度を表す表示効果を付加した画像とを同時にモニタ１０２に表示するようにする。

図１５〜１７は、第２の実施の形態における運転者状態表示装置１００の処理を示すフローチャートである。図１５に示す処理は、運転者状態表示装置１００を搭載する車両のイグニションスイッチがオンされることによって、運転者状態表示装置１００の電源がオンされると起動するプログラムとして、制御装置１０３によって実行される。なお、図１５〜１７においては、図７に示す第１の実施の形態における運転者状態表示装置１００の処理と同一の処理内容については、同じステップ番号を付与し、相違点を中心に説明する。

ステップＳ２１において、疲労度・興奮度推定部１０３ｃは、ステアリング心電信号検出装置１０４から出力される運転者の心電信号に基づいて、運転者の疲労度および興奮度を推定して、ステップＳ２２へ進む。ステップＳ２２では、画像処理部１０３ｂは、図１６により後述する疲労度に基づく画像処理を実行して、カメラ１０１で撮像される画像に、運転者の疲労度を表す表示効果を付加した画像を出力する。その後、ステップＳ２３へ進み、画像処理部１０３ｂは、図１７により後述する興奮度に基づく画像処理を実行して、カメラ１０１で撮像される画像に、運転者の興奮度を表す表示効果を付加した画像を出力する。

図１６は、ステップＳ２２で画像処理部１０３ｂによって実行される疲労度に基づく画像処理を示すフローチャートである。ステップＳ３１において、疲労度・興奮度推定部１０３ｃで推定された運転者の疲労度が、疲労度増加の初期段階に対応する所定の閾値Ｔｅ以上か否かを判断する。運転者の覚醒度がＴｅより大きいと判断した場合にはステップＳ１３０へ進み、カメラ１０１で撮像された画像をモニタ１０２に表示せずに、図１５に示す処理に復帰する。これに対して、運転者の覚醒度がＴｅ以上であると判断した場合には、ステップＳ４０へ進み、カメラ１０１で撮像された画像をモニタ１０２に表示して、ステップＳ５１へ進む。

ステップＳ５１では、疲労度・興奮度推定部１０３ｃで推定された現在の疲労度と、前回の疲労度とを比較して、運転者の疲労度が低下傾向にあるか、あるいは増加傾向にあるかを判断する。運転者の疲労度が増加傾向にあると判断した場合には、ステップＳ６０へ進み、低下傾向にあると判断した場合には、ステップＳ９０へ進む。

図１７は、ステップＳ２３で画像処理部１０３ｂによって実行される興奮度に基づく画像処理を示すフローチャートである。ステップＳ３２において、疲労度・興奮度推定部１０３ｃで推定された運転者の興奮度が、疲労度増加の初期段階に対応する所定の閾値Ｔｏ以上か否かを判断する。運転者の覚醒度がＴｏより大きいと判断した場合にはステップＳ１３０へ進み、カメラ１０１で撮像された画像をモニタ１０２に表示せずに、図１５に示す処理に復帰する。これに対して、運転者の覚醒度がＴｏ以上であると判断した場合には、ステップＳ４０へ進み、カメラ１０１で撮像された画像をモニタ１０２に表示して、ステップＳ５２へ進む。

ステップＳ５２では、疲労度・興奮度推定部１０３ｃで推定された現在の興奮度と、前回の興奮度とを比較して、運転者の興奮度が低下傾向にあるか、あるいは増加傾向にあるかを判断する。運転者の興奮度が低下傾向にあると判断した場合には、ステップＳ６０へ進み、増加傾向にあると判断した場合には、ステップＳ９０へ進む。

以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、以下のような効果を得ることができる。
（１）運転者の疲労度または興奮度に応じて、画像内の運転者の顔画像の色相、彩度、および明度と、背景画像の色相、彩度、および明度とを、それぞれが逆方向に変化するように表示属性値の比率を決定して画像処理を行うようにした。これによって、運転者の顔画像と背景画像との相対比較により、運転者の顔色の変化を強調した表示効果を付加することでき、運転者は、顔画像と背景画像とのコントラストにより、運転者の疲労度、および興奮度を直感的かつ確実に察知することができる。

（２）カメラ１０１で撮像された画像、および画像処理部１０３ｂによって画像処理が施された後の画像を左右反転してモニタ１０２に表示するようにした。これによって、運転者にとっては、モニタ１０２に表示される自身の顔画像が、鏡像と同じ方向性をもつことになり、自身の顔画像を鏡像で見ることに慣れている使用者に対して、違和感のない画像を提供することが可能となる。

―変形例―
なお、上述した実施の形態の運転者状態表示装置は、以下のように変形することもできる。
（１）上述した第１および第２の実施の形態では、運転者の心身状態改善の補助を、運転者の顔を含む画像の表示属性を変化させることによって実現する例について説明した。しかしこれに限定されず、視覚によるボディ・イメージの誘導を更に積極的に利用して、運転者の頭部方向または視線方向を誘導するようにしてもよい。すなわち、モニタ１０２に運転者の動作に連動する顔画像を表示しておき、運転者の頭部または視線方向を誘導したい瞬間に、表示されている顔画像をＣＧ処理または録画映像により、当該方向に不意に向ける。すると、運転者は、視覚で認識したボディ・イメージに追従するよう、頭部または視線を当該方向に無意識に動かすことが考えられる。この現象を利用すれば、例えば、モニタ画面注視といった車室内への脇見行動を、自発的に抑制させることができる。

（２）上述した第１および第２の実施の形態では、運転者状態表示装置１００はカメラ１０１を備え、カメラ１０１で撮像した運転者の少なくとも顔部分を含む画像を画像処理して、運転者の心身状態を表す画像をモニタ１０２に表示する例について説明した。しかしこれに限定されず、例えばデジタルカメラやカメラ付き携帯電話などの外部のカメラで撮像した運転者の少なくとも顔部分を含む画像を読み込んで、当該読み込んだ画像に対して画像処理を施して、運転者の心身状態を表す画像をモニタ１０２に表示するようにしてもよい。すなわち、運転者状態表示装置１００は必ずしもカメラ１０１を備えている必要はなく、外部カメラで撮像された画像を読み込んで使用してもよい。

（３）上述した第１および第２の実施の形態では、運転者状態表示装置１００を車両に搭載する例について説明した。しかしこれに限定されず、その他の移動体に搭載して運転者の心身状態を表示するようにしてもよく、あるいは操作者（オペレーター）によって操作される他の機器に搭載して、操作者の心身状態を表示するようにしてもよい。

（４）上述した第２の実施の形態では、顔画像のサイズ変化およびアスペクト変化は、興奮度増加に伴う、顔画像のサイズ増およびアスペクト比増にのみに対応する例について説明した。しかしこれに限定されず、疲労度増加に伴う顔面部位のサイズ減、アスペクト比減に対応させても効果的である。この場合、顔画像の領域減少により、背景と顔面の間に画像の欠落が生じるため、背景画像の外挿を行い、欠落部分を補完するような画像処理を追加する必要がある。

（５）上述した第２の実施の形態では、運転者の疲労度、興奮度のそれぞれを表す表示効果を付加した画像をモニタ１０２に表示するに当たって、モニタ１０２の表示画面を２分割して、運転者の疲労度を表す表示効果を付加した画像と、運転者の興奮度を表す表示効果を付加した画像とを同時に表示する例について説明した。しかしこれに限定されず、例えば、運転者の疲労度を表す表示効果を付加した画像と、運転者の興奮度を表す表示効果を付加した画像とを交互にモニタ１０２に表示するようにしてもよい。あるいは、運転者の疲労度を表す表示効果を付加した画像と、運転者の興奮度を表す表示効果を付加した画像のいずれを表示するかを運転者があらかじめ設定しておき、設定内容に基づいてモニタ１０２に表示するようにしてもよい。

（６）上述した第１の実施の形態では、運転者の覚醒度に応じて、画像全体の表示属性を変化させ、上述した第２の実施の形態では、運転者の疲労度、興奮度に応じて、顔画像と背景画像のそれぞれの表示属性を変化させる例について説明した。しかしこれに限定されず、運転者の覚醒度、疲労度、興奮度のそれぞれに応じて、画像全体の表示属性を変化させてもよく、あるいは運転者の覚醒度、疲労度、興奮度のそれぞれに応じて、顔画像と背景画像のそれぞれの表示属性を変化させるようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。覚醒度推定部１０３ａおよび疲労度・興奮度推定部１０３ｃは判定手段に、制御装置１０３は表示手段に、カメラ１０１は撮像手段に相当する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。

第１の実施の形態における運転者状態表示装置の一実施の形態の構成を示すブロック図である。 カメラ１０１およびモニタ１０２の車両への設置例を示す図である。 第１の実施の形態におけるモニタ１０２に表示される画像の具体例を示す第１の図である。 第１の実施の形態におけるモニタ１０２に表示される画像の具体例を示す第２の図である。 第１の実施の形態における表示属性値比率曲の具体例を示す図である。 第１の実施の形態における運転者の覚醒度低下を表す表示効果を付加した画像の具体例を示す図である。 第１の実施の形態における運転者状態表示装置１００の処理を示すフローチャート図である。 第２の実施の形態における運転者状態表示装置の一実施の形態の構成を示すブロック図である。 第２の実施の形態におけるモニタ１０２に表示される画像の具体例を示す図である。 第２の実施の形態における運転者の疲労度に関する表示属性値比率曲の具体例を示す図である。 第２の実施の形態における運転者の疲労度増加を表す表示効果を付加した画像の具体例を示す図である。 第２の実施の形態における運転者の興奮度に関する表示属性値比率曲の具体例を示す第１の図である。 第２の実施の形態における運転者の興奮度に関する表示属性値比率曲の具体例を示す第２の図である。 第２の実施の形態における運転者の興奮度増加を表す表示効果を付加した画像の具体例を示す図である。 第２の実施の形態における運転者状態表示装置１００の処理を示すフローチャート図である。 第２の実施の形態における疲労度に基づく画像処理を示すフローチャート図である。 第２の実施の形態における興奮度に基づく画像処理を示すフローチャート図である。

符号の説明

１００ 運転者状態表示装置
１０１ カメラ
１０２ モニタ
１０３ 制御装置
１０３ａ 覚醒度推定部
１０３ｂ 画像処理部
１０３ｃ 疲労度・興奮度推定部
１０４ ステアリング心電信号検出装置

Claims (18)

1. 運転者の心身の状態を判定する判定手段と、
   前記判定手段による判定結果に基づいて、運転者の少なくとも顔部分を含む画像の表示属性を変化させる画像処理手段と、
   前記画像処理手段により表示属性を変化させた画像をモニタに表示する表示手段とを備えることを特徴とする運転者状態表示装置。
2. 請求項１に記載の運転者状態表示装置において、
   運転者の少なくとも顔部分を含む画像を撮像する撮像手段をさらに備え、
   前記画像処理手段は、前記判定手段による判定結果に基づいて、前記撮像手段で撮像した画像の表示属性をリアルタイムに変化させることを特徴とする運転者状態表示装置。
3. 請求項１または２に記載の運転者状態表示装置において、
   前記判定手段は、前記運転者の心身の状態として、運転者の覚醒度低下状態、疲労状態、または興奮状態を判定することを特徴とする運転者状態表示装置。
4. 請求項３に記載の運転者状態表示装置において、
   前記画像処理手段は、前記画像全体のサイズ、アスペクト比、色相、彩度、および明度の少なくともいずれか一つを変化させて、前記画像の表示属性を変化させることを特徴とする運転者状態表示装置。
5. 請求項３に記載の運転者状態表示装置において、
   前記画像処理手段は、前記画像に含まれる運転者の顔部分のサイズ、アスペクト比、色相、彩度、および明度の少なくともいずれか一つを変化させて、前記画像の表示属性を変化させることを特徴とする運転者状態表示装置。
6. 請求項５に記載の運転者状態表示装置において、
   前記画像処理手段は、前記画像に含まれる運転者の顔部分以外の色相、彩度、および明度の少なくともいずれか一つを変化させて、前記画像の表示属性を変化させることを特徴とする運転者状態表示装置。
7. 請求項４に記載の運転者状態表示装置において、
   前記画像処理手段は、前記判定手段によって運転者の心身の状態が前記覚醒度低下状態、または前記疲労状態であると判定されたときに、前記画像全体のサイズ、アスペクト比、色相、彩度、および明度の少なくともいずれか一つを減少させて、前記画像の表示属性を変化させることを特徴とする運転者状態表示装置。
8. 請求項５に記載の運転者状態表示装置において、
   前記画像処理手段は、前記判定手段によって運転者の心身の状態が前記覚醒度低下状態、または前記疲労状態であると判定されたときに、前記画像に含まれる運転者の顔部分のサイズ、アスペクト比、色相、彩度、および明度の少なくともいずれか一つを減少させて、前記画像の表示属性を変化させることを特徴とする運転者状態表示装置。
9. 請求項６に記載の運転者状態表示装置において、
   前記画像処理手段は、前記判定手段によって運転者の心身の状態が前記覚醒度低下状態、または前記疲労状態であると判定されたときに、前記画像に含まれる運転者の顔部分以外のサイズ、アスペクト比、色相、彩度、および明度の少なくともいずれか一つを増加させて、前記画像の表示属性を変化させることを特徴とする運転者状態表示装置。
10. 請求項４に記載の運転者状態表示装置において、
    前記画像処理手段は、前記判定手段によって運転者の心身の状態が前記興奮状態であると判定されたときに、前記画像全体のサイズ、アスペクト比、色相、彩度、および明度の少なくともいずれか一つを増加させて、前記画像の表示属性を変化させることを特徴とする運転者状態表示装置。
11. 請求項５に記載の運転者状態表示装置において、
    前記画像処理手段は、前記判定手段によって運転者の心身の状態が前記興奮状態であると判定されたときに、前記画像に含まれる運転者の顔部分のサイズ、アスペクト比、色相、彩度、および明度の少なくともいずれか一つを増加させて、前記画像の表示属性を変化させることを特徴とする運転者状態表示装置。
12. 請求項６に記載の運転者状態表示装置において、
    前記画像処理手段は、前記判定手段によって運転者の心身の状態が前記興奮状態であると判定されたときに、前記画像に含まれる運転者の顔部分以外の色相、彩度、明度の少なくともいずれか一つを減少させて、前記画像の表示属性を変化させることを特徴とする運転者状態表示装置。
13. 請求項７〜１２のいずれか一項に記載の運転者状態表示装置において、
    前記画像処理手段は、運転者の心身の状態が前記覚醒度低下状態、前記疲労状態、および前記興奮状態のいずれかからの回復傾向にあることを検出した場合には、前記判定手段によって運転者の心身の状態が前記覚醒度低下状態、前記疲労状態、または前記興奮状態であると判定されたときの前記表示属性の変化よりも早い変化速度で、前記表示属性を前記表示属性の変化前の状態に戻すことを特徴とする運転者状態表示装置。
14. 請求項２に記載の運転者状態表示装置において、
    前記撮像手段と前記モニタは、前記運転者の視線方向に対して異なる方向に配置することを特徴とする運転者状態表示装置。
15. 請求項１〜１４のいずれか一項に記載の運転者状態表示装置において、
    前記運転者の少なくとも顔部分を含む画像には、ステアリングの少なくとも一部が含まれることを特徴とする運転者状態表示装置。
16. 請求項１〜１５のいずれか一項に記載の運転者状態表示装置において、
    前記表示手段は、前記運転者の少なくとも顔部分を含む画像を左右反転させて前記モニタに表示することを特徴とする運転者状態表示装置。
17. 運転者の心身の状態を判定する判定工程と、
    前記判定工程による判定結果に基づいて、運転者の少なくとも顔部分を含む画像の表示属性を変化させる画像処理工程と、
    前記画像処理工程により表示属性を変化させた画像をモニタに表示する表示工程とを備えることを特徴とする運転者状態表示方法。
18. 請求項１７に記載の運転者状態表示方法において、
    運転者の少なくとも顔部分を含む画像を撮像する撮像工程をさらに備え、
    前記画像処理工程は、前記判定工程による判定結果に基づいて、前記撮像工程で撮像した画像の表示属性をリアルタイムに変化させることを特徴とする運転者状態表示方法。

Images