JP2006248450A - 車載情報提供装置 - Google Patents

Abstract

【課題】 実際の走行車両においてピッチ動がキャンセルされる場合でも、提供情報を観察する乗員に自己運動知覚を誘起させる車載情報提供装置を得る。
【解決手段】車載情報提供装置１００は、車両運動に応じたオプティカルフロー画像を生成し、車両の乗員が観察している享楽画像と合成して画像表示部１０６に表示する。これにより、画像観察者（乗員）の視覚刺激を通して画像観察者に自己運動知覚を与えることができる。車速変化が所定量以上検出された場合にのみ、オプティカルフロー画像を提供する。オプティカルフロー画像の提供はサブリミナル表示で行う。オプティカルフロー画像をドットフローで構成したので、オプティカルフロー画像画像を生成する負担が軽く、画像生成部１０３の構成を簡単にすることができる。
【選択図】図１

Description

本発明は、車両内で画像などを表示する車載情報提供装置に関する。

車両の乗員が移動中の車両内で車両に固定されている表示画面を見る場合、車両の揺動に伴って画面と乗員との間に相対変位が生じる。一般に、視覚情報から得られる体の運動情報と前庭器（三半規管、耳石）から得られる運動情報とが一致しない場合、人は揺動に対する違和感や不快感を感じる。乗員が車両内から外部風景を見ている場合、視覚、前庭器いずれからも空間内での自身の動きに関する情報が得られ、これらの情報が一致するため違和感は生じない。一方、乗員が車両内の表示画面を注視している場合、視覚からは画面と乗員との相対変位に関する情報しか得られないため、視覚情報から判断した自身の動きと、前庭器からの運動情報から判断した自身の動きとの間に不一致が生じ、違和感や不快感が発生する。

特許文献１には、流動する立体画像に対して手前または奥に、静止している画像パターンもしくは微速移動している画像パターンを表示することにより、観察者の自己運動知覚を制御してシミュレータ酔いを抑制するドライブシミュレータが開示されている。また、特許文献２には、車両のピッチ動や、表示画面〜観察者の頭部間の相対変位を検出し、ピッチ動および相対変位に基づいて画面上の画像表示位置を移動させることにより、観察者にとって表示画像が所定の位置に固定されて見えるようにした車載情報提供装置が開示されている。

特開平９−２６９７２３号公報 特開２００４−２２４３１５号公報

特許文献１の技術は、あらかじめ用意された立体画像へ適用されるものであるため、実際の走行車両で観察される画面への適用が困難である。また、特許文献２の技術は、アクティブサスペンション技術によって走行車両のピッチ動がキャンセルされてしまう場合には、違和感・不快感の低減効果が不十分になってしまう。

本発明による車載情報提供装置は、乗員に提供する情報を表示するとともに、車両の動きに基づく車両運動の推定値を用いて車速変化および進路変化の少なくとも一方に同期するオプティカルフロー情報を生成し、生成したオプティカルフロー情報を表示するようにしたものである。
本発明による車載情報提供装置は、乗員に提供する情報を表示するとともに、車両の動きに基づく車両運動の推定値を用いて車速変化および進路変化の少なくとも一方に同期する移動音情報を生成し、生成した移動音情報を音響再生するようにしたものである。

請求項１〜６、１１、１２に記載の発明による車載情報提供装置では、車速変化および進路変化の少なくとも一方に同期するオプティカルフロー情報を表示するようにしたので、実際の走行車両においてピッチ動がキャンセルされる場合でも、提供情報を観察する乗員に自己運動知覚を誘起させる結果、乗員が感じる違和感・不快感を低減できる。
請求項７〜１１、１３に記載の発明による車載情報提供装置では、車速変化および進路変化の少なくとも一方に同期する移動音情報を音響再生するようにしたので、実際の走行車両においてピッチ動がキャンセルされる場合でも、提供情報を観察する乗員に自己運動知覚を誘起させる結果、乗員が感じる違和感・不快感を低減できる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による車載情報提供装置の構成を説明する図である。図１において、車載情報提供装置１００は、車両運動検出部１０１と、走行状態推定部１０２と、画像生成部１０３と、情報源装置１０４と、画像合成部１０５と、画像表示部１０６とを有する。車両の乗員である観察者は、車両内の座席（不図示）に着座して画像表示部１０６によって表示される画像などの情報を観察する。

車両運動検出部１０１は、車両の走行速度およびヨーレートを検出し、検出信号を走行状態推定部１０２へ出力する。走行状態推定部１０２は、入力された検出信号に基づいて車両運動を推定する。車両運動は、車両の並進方向の動きと回転方向の動きとを含む。画像生成部１０３は、推定された車両運動を表すオプティカルフロー画像を生成する。オプティカルフロー画像の詳細については後述する。情報源装置１０４は、不図示の外部装置から画像表示部１０６に表示させる画像信号を入力し、入力された画像信号（享楽画像と呼ぶ）を画像合成部１０５へ出力する。

画像合成部１０５は、享楽画像とオプティカルフロー画像とを重畳表示（オーバーレイ表示）するための合成処理を行い、合成画像信号を画像表示部１０６の入力インターフェイスに応じた表示信号として画像表示部１０６へ出力する。

画像表示部１０６は、たとえば、ＬＣＤ（液晶表示器）によって構成され、入力された表示信号による画像などを再生表示する。

上述した車載情報提供装置１００で行われる表示制御処理の流れについて、図２のフローチャートを参照して説明する。図２の処理は、車載情報提供装置１００の制御部を兼ねる画像生成部１０３によって行われる。図２のステップＳ１０において、画像生成部（制御部）１０３は、画像表示部１０５の画面電源がオンされているか否かを判定する。画像生成部（制御部）１０３は、画面電源がオンされている場合にステップＳ１０を肯定判定してステップＳ２０へ進み、画面電源がオンされていない場合にはステップＳ１０を否定判定し、ステップＳ１０の判定処理を繰り返す。

ステップＳ２０において、画像生成部（制御部）１０３は、変数S0を初期化してステップＳ３０へ進む。変数S0は、直前の車両運動の状態を示す変数である。ステップＳ３０において、画像生成部（制御部）１０３は車両運動検出部１０１へ指令を送り、車両運動の測定を指示してステップＳ４０へ進む。ステップＳ４０において、画像生成部（制御部）１０３は走行状態推定部１０２へ指令を送り、現在の車両の走行状態Sを推定させてステップＳ５０へ進む。

ステップＳ５０において、画像生成部（制御部）１０３は、変数S0と走行状態Sについて｜S-S0｜≧Stが成立するか否かを判定する。ただし、Stは所定値である。画像生成部（制御部）１０３は、上式が成立する場合にステップＳ５０を肯定判定してステップＳ６０へ進み、上式が成立しない場合にはステップＳ５０を否定判定し、ステップＳ８０へ進む。ステップＳ６０へ進む場合には、車両運動が所定値St以上であることから、画像表示部１０６を観察する乗員が違和感や不快感を感じるおそれがあるとみなす。一方、ステップＳ８０へ進む場合は、車両運動が所定値St未満であることから、画像表示部１０６を観察する乗員が違和感や不快感を感じるおそれがないとみなす。

ステップＳ６０において、画像生成部（制御部）１０３はオプティカルフロー画像を生成し、生成した画像信号を画像合成部１０５へ送出してステップＳ７０へ進む。ステップＳ７０において、画像生成部（制御部）１０３は画像合成部１０５へ指令を送り、画像合成処理を行わせてステップＳ８０へ進む。

ステップＳ８０において、画像生成部（制御部）１０３は画像表示部１０６へ指令を送り、再生画像を表示させてステップＳ９０へ進む。これにより、オプティカルフロー画像が生成されている場合には享楽画像とオプティカルフロー画像との重畳画像が画像表示部１０６に表示され、オプティカルフロー画像が生成されていない場合には享楽画像のみが画像表示部１０６に表示される。

ステップＳ９０において、画像生成部（制御部）１０３は、変数S0に走行状態Sを代入してステップＳ１００へ進む。ステップＳ１００において、画像生成部（制御部）１０３は、画像表示部１０６の画面電源がオフされたか否かを判定する。画像生成部（制御部）１０３は、画面電源がオフされた場合にステップＳ１００を肯定判定し、図２による処理を終了する。一方、画像生成部（制御部）１０３は、画面電源がオフされていない場合にはステップＳ１００を否定判定し、ステップＳ３０へ戻って上述した処理を繰り返す。

図３は、享楽画像およびオプティカルフロー画像の一例を説明する図である。図３(a)は、情報源装置１０４から入力された享楽画像を示す。図３(b)および図３(c)は、オプティカルフローをドットフローによって構成する例を示し、図３(b)は車両運動が直進状態である場合の基本画像であり、図３(c)は車両運動がコーナリング状態である場合の画像である。図３(b)において、画面の中央がドットフローの消失点に対応し、この消失点から画面の周辺へ向けてドット（図中白丸）が放射状に直線移動する。図３(c)において、画面の中央より右にドットフローの消失点が位置し、この消失点から画面の周辺へ向けてドット（図中白丸）が放射状に曲線移動する。

図３(b)および図３(c)のオプティカルフローは、車両走行時に車窓から観察される車外風景における任意の複数の点についての移動ベクトルに対応する。すなわち、画像生成部（制御部）１０３は、車速およびヨーレートに応じて推定される車速変化や進路変化に基づき、車窓に流れるであろう車外風景の見かけの速度分布を演算し、演算した速度分布を上記複数の点についての移動ベクトルとして動画表示するオプティカルフロー画像を生成する。

生成されたオプティカルフロー画像は、画像観察者に自己運動知覚を生じさせる。具体的には、図３(b)のドットフロー画像は画面中央（消失点）に向けて直進移動（前進）している感覚を観察者に与え、図３(c)のドットフロー画像は右カーブを曲がって移動（前進）している感覚を観察者に与える。このように、オプティカルフロー画像は画像観察者にオプティカルフローの向きと逆方向に移動しているような運動知覚を生じさせる。画像観察者に後退しているような運動知覚を生じさせるためには、ドットフローの移動する向きを逆向きにすればよい。

図３(d)は、図３(a)の享楽画像と図３(b)のドットフロー画像とが画像合成部１０５によって合成された画像を示す図である。このように両画像を合成することにより、享楽画像の情報と車両運動を表す情報とを重ね合わせて同時に画像観察者へ提供（表示）することができる。

なお、画像合成部１０５は、オプティカルフロー画像が画像表示部１０６にサブリミナル表示されるように合成処理を行う。具体的には、オプティカルフロー画像を継続して表示させるのではなく、人の通常の視覚でとらえらえない速度で点滅表示させ、画像観察者の潜在意識に働きかけるようにオプティカルフロー画像を提供する。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）車両運動に応じたオプティカルフロー画像を生成し、車両の乗員が観察している享楽画像と合成して画像表示部１０６に表示させたので、画像観察者（乗員）の視覚刺激を通して画像観察者に自己運動知覚を与えることができる。この結果、画像観察者は、享楽情報を観察中に視覚（オプティカルフロー画像）から得る運動情報と、前庭器（三半規管、耳石）から得る運動情報とが一致するため、違和感や不快感の発生が抑えられる。

（２）車速変化が所定量以上（車両運動が所定値St以上）検出された場合にのみ、オプティカルフロー画像を提供するようにしたので、違和感や不快感が生じるおそれのない微速度の場合にはオプティカルフロー画像が非提供（表示停止）にされ、享楽画像の見やすさを損なうことがない。

（３）オプティカルフロー画像の提供をサブリミナル表示で行うので、画像観察者が提供されるオプティカルフロー画像を煩わしく感じることがない。

（４）オプティカルフロー画像をドットフローで構成したので、オプティカルフロー画像画像を生成する負担が軽く、画像生成部１０３の構成を簡単にすることができる。

（変形例１）
図４は、オプティカルフローを構成する他の例を説明する図である。図４(a)は、オプティカルフローをドットフローによって構成する例を説明する図である。図４(a)において、画面の中央の水平線がドットフローの消失線に対応し、この消失線から画面の上下に向けてドット（図中白丸）が直線移動する。

図４(b)は、オプティカルフローをラインフローによって構成する例を説明する図である。図４(b)において、画面の中央の水平線がラインフローの消失線に対応し、この消失線から画面の上下に向けてラインが平行移動する。

図４(a)および図４(b)の構成によれば、画面の上下方向に移動するドットもしくはラインによって、画像観察者が画面方向へ移動しているような自己運動知覚を画像観察者に与えることができる。また、ドットもしくは垂直線を左右方向にも移動させるようにすれば、画像観察者に左右方向へ移動しているような自己運動知覚を与えることもできる。

図４(c)は、オプティカルフローを図形フローによって構成する例を説明する図である。図４(c)において、画面の中央がドットフローの消失点に対応し、この消失点から画面の周辺に向けて図形（長方形）が逐次拡大する。図４(c)の構成によれば、拡大される図形によって、画像観察者に画面方向へ前進しているような自己運動知覚を誘起できる。図形を消失点に向けて逐次縮小するようにすれば、画像観察者が画面方向から後退しているような自己運動知覚を誘起できる。さらに、消失点を左右方向に移動させるようにすれば、画像観察者が左右方向へ移動しているような自己運動知覚を与えることもできる。

図４(a)〜図４(c)のオプティカルフロー画像は、それぞれが画像合成部１０５によって図３(a)の享楽画像と合成され、画像観察者へ提供される。なお、ドットの代わりに文字や記号などをフロー表示させてもよいし、図形の場合には長方形の代わりに三角形や円（楕円）形をフロー表示させてもよい。

画像表示部１０６による表示画面の周囲に光源を配設し、光源による発光部分を掃引させることによってオプティカルフローを構成してもよい。図４(d)は、この場合のオプティカルフローを説明する図である。図４(d)において、享楽画像を表示する画面の周囲のディスプレイ枠部に、個別に点灯／消灯の切換えが可能に構成された複数の光源（たとえば、ＬＥＤ）がライン状に並べて配設されている。享楽画像の上部および下部のそれぞれにおいて、左右方向の中央に位置するオプティカルフローの消失点から、左右両方向に向けて発光部分（光の帯）が移動するように点灯制御される。画面の左右方向に移動する発光部分によって、画像観察者が画面方向へ移動しているような自己運動知覚を画像観察者に与えることができる。さらに、消失点を左右方向に移動させるようにすれば、画像観察者が左右方向へ移動しているような自己運動知覚を与えることもできる。図４(d)に示す構成によれば、オプティカルフロー画像を生成する画像生成部１０３や画像合成部１０５を省略して表示制御処理を簡略化できる。

享楽画像の左部および右部のそれぞれにおいて、発光部分（光の帯）が移動するように点灯制御させてもよい。この場合には、上下方向の中央に位置するオプティカルフローの消失点（不図示）から、上下両方向に向けて発光部分（光の帯）が移動するように点灯制御する。画面の上下方向に移動する発光部分によって、画像観察者が画面方向へ移動しているような自己運動知覚を画像観察者に与えることができる。

（変形例２）
図５は、車速とオプティカルフローとの関係を説明する図である。図５(a)は、上述した第一の実施形態に対応する図である。すなわち、車速変化が所定量以上（車両運動が所定値St以上）検出された場合にのみ、オプティカルフローが提供されることを示している。図５(a)において、画像動の速度は、オプティカルフローが表す移動ベクトルの大きさに対応する。実線波形はオプティカルフロー提供期間（表示期間）を表し、破線波形はオプティカルフロー非提供期間（表示停止期間）を表す。車両が一定速度で走行している場合は、静止状態と同様に加速度が０であるので、オプティカルフローを非提供にしても構わない。

図５(b)は、図５(a)の場合と異なる例を説明する図である。図５(b)によれば、検出される車速変化が所定量未満（車両運動が所定値St未満）の場合に、画像動の速度（すなわち、オプティカルフローが表す移動ベクトルの大きさ）が０にリセットされることを示している。この場合の画像動の速度は相対速度として表されるため、動きが速いオプティカルフローの出現頻度を少なくすることができる。図５(b)による制御の特徴は、車両が前進していても減速する場合には消失点に向かってオプティカルフローが移動する（画像動の速度が負になる）点にある。これにより、画像観察者は自身が後退しているように感じる。一方、前進減速時に画像観察者が自身の前庭器（三半規管、耳石）から得る運動情報は、後退加速時と同様の後ろ向き加速度であることから、視覚情報（オプティカルフロー）と前庭器情報とが一致し、画像観察者が違和感や不快感を感じることはない。

図５(c)は、図５(a)、図５(b)の場合とさらに異なる例を説明する図である。図５(c)による制御の特徴は、検出される車速変化に比例する画像動の速度が、オプティカルフローとして常に提供される点にある。この場合には、図２においてステップＳ５０の処理をスキップできるため、制御を簡略化することができる。

（変形例３）
上述した図５(a)の例では、車速変化が所定量以上（車両運動が所定値St以上）検出されるか否かによってオプティカルフローの提供と非提供とを切換えるようにしたが、提供するオプティカルフローの態様を異ならせる構成にしてもよい。オプティカルフローの態様の切換えは、たとえば、オプティカルフローを非提供にする期間に表示輝度を低下させたり、表示彩度を低下させたり、表示コントラストを低下させたりすることによって、オプティカルフローを提供する期間に比べてオプティカルフローを目立たなくすることによって行う。

また、特許文献２に記載の技術のように、車両のピッチ動や表示画面〜観察者の頭部間の相対変位をキャンセルするべく、画面上に提供するオプティカルフローをリアルタイムに移動させるようにしてもよい。

（第二の実施形態）
図６は、本発明の第二の実施形態による車載情報提供装置の構成を説明する図である。図６において、車載情報提供装置２００は、車両操作検出部２０１と、道路情報データベース(DB)２０２と、車両運動検出部２０３と、走行状態推定部２０４と、画像生成部２０６と、情報源装置２０５と、画像合成部２０７と、画像表示部２０８とを有する。車両の乗員である観察者は、車両内の座席（不図示）に着座して画像表示部２０８によって表示される画像などの情報を観察する。

車両操作検出部２０１は、ステアリング操作やペダル操作を検出し、検出信号を走行状態推定部２０４へ送出する。道路情報データベース２０２は道路の形状情報を格納し、走行状態推定部２０４からアクセスされる。道路情報データベース２０２は、不図示のナビゲーションシステムを構成する。車両運動検出部２０３は、車両の走行速度およびヨーレートを検出し、検出信号を走行状態推定部２０４へ出力する。走行状態推定部２０４は、入力された検出信号および道路情報に基づいて、現在および将来の車両運動を推定・予測する。現在の車両運動は、検出された車速やヨーレートから推定される。将来の車両運動は、走行経路に位置する道路の形状情報（道路が直線か、カーブか、交差点かを示す）と、ステアリング操作量、アクセル操作量、およびブレーキ操作量とを用いて予測される。情報源装置２０５は、不図示の外部装置から画像表示部２０８に表示させる画像信号を入力し、入力された画像信号（享楽画像と呼ぶ）を画像生成部２０６と画像合成部２０７の双方へ出力する。画像生成部２０６は、享楽画像をベースにして、推定された車両運動を表すオプティカルフロー画像を生成する。

画像合成部２０７は、享楽画像とオプティカルフロー画像とを重畳表示（オーバーレイ表示）するための合成処理を行い、合成画像信号を画像表示部２０８の入力インターフェイスに応じた表示信号として画像表示部２０８へ出力する。

画像表示部２０８は、たとえば、ＬＣＤ（液晶表示器）によって構成され、入力された表示信号による画像などを再生表示する。

上述した車載情報提供装置２００で行われる表示制御処理の流れについて、図７のフローチャートを参照して説明する。図７の処理は、車載情報提供装置２００の制御部を兼ねる画像生成部２０６によって行われる。図７のステップＳ１１０において、画像生成部（制御部）２０６は、画像表示部２０８の画面電源がオンされているか否かを判定する。画像生成部（制御部）２０６は、画面電源がオンされている場合にステップＳ１１０を肯定判定してステップＳ１２０へ進み、画面電源がオンされていない場合にはステップＳ１１０を否定判定し、ステップＳ１１０の判定処理を繰り返す。

ステップＳ１２０において、画像生成部（制御部）２０６は、変数S0およびSf0を初期化してステップＳ１３０へ進む。変数S0は直前の車両運動の状態を示す変数であり、変数Sf0は将来の車両運動の状態を示す変数である。ステップＳ１３０において、画像生成部（制御部）２０６は車両操作検出部２０１へ指令を送り、ステアリング操作量、アクセルペダル操作量、およびブレーキペダル操作量の測定を指示してステップＳ１４０へ進む。

ステップＳ１４０において、画像生成部（制御部）２０６は走行状態推定部２０４へ指令を送り、道路情報データベース２０２から進路の道路情報（道路形状データ）を読み出させてステップＳ１５０へ進む。進路情報は、不図示のナビゲーションシステムによって与えられる。

ステップＳ１５０において、画像生成部（制御部）２０６は車両運動検出部２０３へ指令を送り、車両運動の測定を指示してステップＳ１６０へ進む。ステップＳ１６０において、画像生成部（制御部）２０６は走行状態推定部１０２へ指令を送り、将来（所定時間Ｔ後）の車両の走行状態Sfを予測させてステップＳ１７０へ進む。ステップＳ１７０において、画像生成部（制御部）２０６は走行状態推定部１０２へ指令を送り、現在の車両の走行状態Sを推定させてステップＳ１８０へ進む。

ステップＳ１８０において、画像生成部（制御部）２０６は、変数Sf0と予測された走行状態Sfについて｜Sf-Sf0｜≧Stが成立するか否かを判定する。ただし、Stは所定値である。画像生成部（制御部）２０６は、上式が成立する場合にステップＳ１８０を肯定判定してステップＳ２００へ進み、上式が成立しない場合にはステップＳ１８０を否定判定し、ステップＳ１９０へ進む。ステップＳ２００へ進む場合は、予測された車両運動が所定値St以上であることから、画像表示部２０８を観察する乗員が違和感や不快感を感じるおそれがあるとみなす。

ステップＳ１９０において、画像生成部（制御部）２０６は、変数S0と推定された走行状態Sについて｜S-S0｜≧Stが成立するか否かを判定する。ただし、Stは所定値である。画像生成部（制御部）２０６は、上式が成立する場合にステップＳ１９０を肯定判定してステップＳ２００へ進み、上式が成立しない場合にはステップＳ１９０を否定判定し、ステップＳ２２０へ進む。ステップＳ２００へ進む場合は、推定された車両運動が所定値St以上であることから、車両の運動状態が変化しており、画像表示部２０８を観察する乗員が違和感や不快感を感じるおそれがあるとみなす。一方、ステップＳ２２０へ進む場合は、予測および推定された車両運動がいずれも所定値St未満であることから、車両運動の変化が終了しており、画像表示部２０８を観察する乗員が違和感や不快感を感じるおそれがないとみなす。

ステップＳ２００において、画像生成部（制御部）２０６は享楽画像を加工してオプティカルフロー画像を生成し、生成した画像信号を画像合成部２０７へ送出してステップＳ２１０へ進む。ステップＳ２１０において、画像生成部（制御部）２０６は画像合成部２０７へ指令を送り、画像合成処理を行わせてステップＳ２２０へ進む。

ステップＳ２２０において、画像生成部（制御部）２０６は画像表示部２０８へ指令を送り、再生画像を表示させてステップＳ２３０へ進む。これにより、オプティカルフロー画像が生成されている場合には享楽画像とオプティカルフロー画像との重畳画像が画像表示部２０８に表示され、オプティカルフロー画像が生成されていない場合には享楽画像のみが画像表示部２０８に表示される。

ステップＳ２３０において、画像生成部（制御部）２０６は、変数Sf0に走行状態Sfを代入するとともに、変数S0に走行状態Sを代入してステップＳ２４０へ進む。ステップＳ２４０において、画像生成部（制御部）２０６は、画像表示部２０８の画面電源がオフされたか否かを判定する。画像生成部（制御部）２０６は、画面電源がオフされた場合にステップＳ２４０を肯定判定し、図７による処理を終了する。一方、画像生成部（制御部）２０６は、画面電源がオフされていない場合にはステップＳ２４０を否定判定し、ステップＳ１３０へ戻って上述した処理を繰り返す。

図８は、享楽画像およびオプティカルフロー画像の一例を説明する図である。図８(a)は、情報源装置２０５から入力された享楽画像を示す。図８(b)は、画面の中央を消失点とし、享楽画像を構成する各画素を上記消失点から画面の周辺へ向けて放射状に直線移動させるオプティカルフロー画像（動画像）を生成し、生成したオプティカルフロー画像を元画像（この場合は享楽画像）に重ね合わせてオーバーレイ表示したものである。

オプティカルフロー画像の生成タイミングは、所定時間ごとに生成する、もしくは享楽画像が変化した場合に生成することが好ましい。これにより、享楽画像と同様のモチーフで違和感が少ないオプティカルフロー画像を提供することができる。

図８(c)は、元画像（この場合は享楽画像）を縮小して画面の中央に表示し、元画像の周囲において図８(b)の場合と同様に生成したオプティカルフロー画像（動画像）が見えるようにピクチャー・イン・ピクチャー表示したものである。一般に、オプティカルフロー画像を観察する人の視感度は、画面の中心視野よりも画面の周辺視野の方が高いため、オプティカルフロー画像を画面の周辺部のみ提供するだけで、画像観察者に自己運動知覚を効果的に与えることができる。

図８(d)は、元画像（この場合は享楽画像）を縮小して画面の中央に表示し、元画像の周囲において、車両運動に応じて図４(c)の図形フローのように元画像が逐次拡大（もしくは縮小）されるオプティカルフロー画像（動画像）が見えるようにピクチャー・イン・ピクチャー表示したものである。図８(b)と同様に、享楽画像と同様のモチーフで違和感が少ないオプティカルフロー画像を提供でき、図８(c)と同様に、オプティカルフロー画像を画面の周辺部のみに提供するだけで、画像観察者に自己運動知覚を効果的に与えることができる。

以上説明した第二の実施形態によれば、次の作用効果が得られる。
（１）第一の実施形態の構成に加えて、走行経路情報、ステアリング操作量およびペダル操作量を用いて将来の車両運動を予測し、予測した車両運動が所定値St以上の場合にもオプティカルフロー画像を提供するようにしたので、時間的余裕をもってオプティカルフロー画像を提供できる。

（２）画像観察者が観察している元画像（この場合は享楽画像）をベースにオプティカルフロー画像を生成したので、享楽画像とオプティカルフロー画像との差異が少なくなる。これにより、画像観察者にとって違和感が少ないオプティカルフロー画像を提供することができる。

（第三の実施形態）
図９は、本発明の第三の実施形態による車載情報提供装置の構成を説明する図である。図９において、車載情報提供装置３００は、車両運動検出部３０１と、走行状態推定部３０２と、移動音生成部３０３と、情報源装置３０４と、音響合成部３０５と、画像表示部３０６と、音響再生部３０７とを有する。車両の乗員である観察者は、車両内の座席（不図示）に着座して画像表示部３０６によって表示される画像などの情報を観察する。

車両運動検出部３０１は、車両の走行速度およびヨーレートを検出し、検出信号を走行状態推定部３０２へ出力する。走行状態推定部３０２は、入力された検出信号に基づいて車両運動を推定する。移動音生成部３０３は、推定された車両運動を表す移動音信号を生成する。移動音信号の詳細については後述する。情報源装置３０４は、不図示の外部装置から画像表示部３０６に表示させる画像信号、および音響再生部３０７から再生させる音響信号を入力し、入力された画像信号を画像表示部３０６へ、入力された音響信号を音響合成部３０５へ、それぞれ出力する。なお、情報源装置３０４から入力された画像信号およびこの画像信号に関連する音響信号を享楽情報と呼ぶことにする。

音響合成部３０５は、音響信号と移動音信号とを合成し、合成後の音響信号を音響再生部３０７へ出力する。画像表示部３０６は、たとえば、ＬＣＤ（液晶表示器）によって構成され、入力された信号による画像などを再生表示する。音響再生部３０７は少なくとも４スピーカー（乗員に対して前方の左右にそれぞれ配設されるスピーカー、および後方の左右にそれぞれ配設されるスピーカー）を含み、これらのスピーカーから音響信号を再生する。各スピーカーから再生される音の大きさ、音程、タイミングなどの違いによって、再生音を聴取する乗員が異なる音像を定位するように構成されている。

上述した車載情報提供装置３００で行われる音響再生制御処理の流れについて、図１０のフローチャートを参照して説明する。図１０の処理は、車載情報提供装置３００の制御部を兼ねる移動音生成部３０３によって行われる。図１０のステップＳ３１０において、移動音生成部（制御部）３０３は、画像表示部３０６の画面電源がオンされているか否かを判定する。移動音生成部（制御部）３０３は、画面電源がオンされている場合にステップＳ３１０を肯定判定してステップＳ３２０へ進み、画面電源がオンされていない場合にはステップＳ３１０を否定判定し、ステップＳ３１０の判定処理を繰り返す。

ステップＳ３２０において、移動音生成部（制御部）３０３は、変数S0を初期化してステップＳ３３０へ進む。変数S0は、直前の車両運動の状態を示す変数である。ステップＳ３３０において、移動音生成部（制御部）３０３は車両運動検出部３０１へ指令を送り、車両運動の測定を指示してステップＳ３４０へ進む。ステップＳ３４０において、移動音生成部（制御部）３０３は走行状態推定部３０２へ指令を送り、現在の車両の走行状態Sを推定させてステップＳ３５０へ進む。

ステップＳ３５０において、移動音生成部（制御部）３０３は、変数S0と走行状態Sについて｜S-S0｜≧Stが成立するか否かを判定する。ただし、Stは所定値である。移動音生成部（制御部）３０３は、上式が成立する場合にステップＳ３５０を肯定判定してステップＳ３６０へ進み、上式が成立しない場合にはステップＳ３５０を否定判定し、ステップＳ３８０へ進む。ステップＳ３６０へ進む場合は、車両運動が所定値St以上でることから、画像表示部３０６を観察する乗員が違和感や不快感を感じるおそれがあるとみなす。一方、ステップＳ３８０へ進む場合は、車両運動が所定値St未満であることから、画像表示部３０６を観察する乗員が違和感や不快感を感じるおそれがないとみなす。

ステップＳ３６０において、移動音生成部（制御部）３０３は車両運動に同期する移動音を生成し、生成した移動音信号を音響合成部３０５へ送出してステップＳ３７０へ進む。ステップＳ３７０において、移動音生成部（制御部）３０３は音響合成部３０５へ指令を送り、音響合成処理を行わせてステップＳ３８０へ進む。

ステップＳ３８０において、移動音生成部（制御部）３０３は音響再生部３０７へ指令を送り、音響再生させてステップＳ３９０へ進む。これにより、移動音が生成されている場合には享楽情報（音響信号）と移動音との合成音がスピーカーから再生され、移動音が生成されていない場合には享楽情報（音響信号）のみがスピーカーから再生される。

ステップＳ３９０において、移動音生成部（制御部）３０３は画像表示部３０６へ指令を送り、享楽情報（画像信号）による再生画像を表示させてステップＳ４００へ進む。ステップＳ４００において、移動音生成部（制御部）３０３は、変数S0に走行状態Sを代入してステップＳ４１０へ進む。ステップＳ４１０において、移動音生成部（制御部）３０３は、画像表示部３０６の画面電源がオフされたか否かを判定する。移動音生成部（制御部）３０３は、画面電源がオフされた場合にステップＳ４１０を肯定判定し、図１０による処理を終了する。一方、移動音生成部（制御部）３０３は、画面電源がオフされていない場合にはステップＳ４１０を否定判定し、ステップＳ３３０へ戻って上述した処理を繰り返す。

図１１は、移動音の一例を説明する図である。図１１において、移動する音像を円で表し、音像の移動方向を矢印の向きで表し、音像を定位させる音の大きさの大小を円の直径の大小で表し、音の音程を円の濃淡で表す（音程が高いほど濃い）ものとする。乗員は、前方（車両の進行方向）に位置するディスプレイ（画像表示部３０６）を観察している。

車両が前方へ直進する場合、車両運動を表す移動音は左右の音量が等しくされ、その音像が乗員の前方から後方へ移動するように再生される。さらに、乗員から離れた位置に定位する音像の音量は小さく、乗員に近い位置に定位する音像の音量は大きくされるとともに、乗員に近づく音像の音程は乗員から遠ざかる音像の音程より高くされる（ドップラー効果）。これにより、移動音を聴取する乗員がディスプレイ方向へ前進しているような自己運動知覚を当該乗員に与えることができる。なお、乗員に後退しているような運動知覚を生じさせるためには、音像の移動する向きを逆向きにすればよい。

コーナリング時の車両運動を表す移動音は、オプティカルフローを視覚刺激として提供する図３(c)の場合と同様に、音像の消失点を左右方向に移動させればよい。音像が曲線を描きながら接近するように移動音を提供することで、乗員が左右方向へ移動しているような自己運動知覚を当該乗員の聴覚刺激を通して与えることができる。

乗員から離れた遠方に音像を定位させる再生音に残響を付加するようにすれば、乗員が感じる距離感をさらに高めることができる。

以上説明した第三の実施形態によれば、車両運動に応じた移動音を生成し、車両の乗員が鑑賞している享楽情報（音響）と合成して音響再生部３０７から音響再生したので、画像観察者（乗員）の聴覚刺激を通して画像観察者に自己運動知覚を与えることができる。この結果、画像観察者は、享楽情報を鑑賞中に聴覚（移動音）から得る運動情報と、前庭器（三半規管、耳石）から得る運動情報とが一致するため、違和感や不快感の発生が抑えられる。

生成した移動音情報について、車両の乗員が鑑賞している享楽情報（音響信号）と合成して音響再生するようにしたが、乗員が音量を絞ったミュート状態で享楽情報を鑑賞する場合や、享楽情報に音響信号が含まれていない場合には、生成した移動音情報のみを音響再生するように構成してもよい。

（変形例４）
上述した第三の実施形態では、車速変化が所定量以上（車両運動が所定値St以上）検出されるか否かによって移動音の提供と非提供（再生停止）とを切換えるようにしたが、提供する移動音を異ならせる構成にしてもよい。移動音の切換えは、たとえば、移動音を非提供にする期間に音量を低下させたり、移動音の発生頻度を低下させたりすることにより、移動音を提供する期間に比べて移動音による音像の動きを抑えることによって行う。

第三の実施形態と第一の実施形態（もしくは第二の実施形態）とを組み合わせるように構成してもよい。この場合には、乗員の視覚刺激および聴覚刺激の双方を通して当該乗員に自己運動知覚を与えることができる。

特許請求の範囲における各構成要素と、発明を実施するための最良の形態における各構成要素との対応について説明する。表示手段は、たとえば、画像表示部１０６（３０６）によって構成される。車両運動検出手段は、たとえば、車両運動検出部１０１（３０１）によって構成される。車両運動推定手段は、たとえば、走行状態推定部１０２（３０２）によって構成される。オプティカルフロー情報は、たとえば、オプティカルフロー画像が対応する。オプティカルフロー情報生成手段は、たとえば、画像生成部１０３によって構成される。オプティカルフロー表示手段は、たとえば、画像表示部１０６によって構成される。移動音情報は、たとえば、移動音信号が対応する。移動音情報生成手段は、たとえば、移動音生成部３０３によって構成される。音響再生手段は、たとえば、音響再生部３０７によって構成される。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。

本発明の第一の実施形態による車載情報提供装置の構成を説明する図である。 表示制御処理の流れを説明するフローチャートである。 (a)享楽画像を示す図である。(b)ドットフローの基本画像を示す図である。(c)コーナリング時のドットフロー画像を示す図である。(d)享楽画像とドットフロー画像のオーバーレイ表示を示す図である。 (a)オプティカルフローをドットフローによって構成する図である。(b)オプティカルフローをラインフローによって構成する図である。(c)オプティカルフローを図形フローによって構成する図である。(d)画面周囲の光源でオプティカルフローを構成する図である。 (a)〜(c)車速とオプティカルフローとの関係を説明する図である。 本発明の第二の実施形態による車載情報提供装置の構成を説明する図である。 表示制御処理の流れを説明するフローチャートである。 (a)享楽画像を示す図である。(b)享楽画像とオプティカルフロー画像とをオーバーレイ表示した図である。(c)享楽画像の周囲にオプティカルフロー画像を表示した図である。(d)享楽画像の周囲に拡大／縮小画像を表示した図である。 本発明の第三の実施形態による車載情報提供装置の構成を説明する図である。 音響再生制御処理の流れを説明するフローチャートである。 移動音の一例を説明する図である。

符号の説明

１００、２００、３００…車載情報提供装置
１０１、２０３、３０１…車両運動検出部
１０２、２０４、３０２…走行状態推定部
１０３、２０６…画像生成部
１０４、２０５、３０４…情報源装置
１０５、２０７…画像合成部
１０６、２０８、３０６…画像表示部
２０１…車両操作検出部
２０２…道路情報データベース
３０３…移動音生成部
３０５…音響合成部
３０７…音響再生部

Claims (13)

1. 乗員に提供する情報を表示する表示手段と、
   車両の動きを検出する車両動検出手段と、
   前記車両動検出手段による検出信号を用いて前記車両の運動を推定する車両運動推定手段と、
   前記車両運動推定手段による推定値を用いて車速変化および進路変化の少なくとも一方に同期するオプティカルフロー情報を生成するオプティカルフロー情報生成手段と、
   前記オプティカルフロー情報を表示するオプティカルフロー表示手段とを備えることを特徴とする車載情報提供装置。
2. 請求項１に記載の車載情報提供装置において、
   前記オプティカルフロー表示手段は前記表示手段と共通に構成され、前記オプティカルフロー情報の一部または全部を前記提供する情報に重ね合わせるように表示することを特徴とする車載情報提供装置。
3. 請求項１または２に記載の車載情報提供装置において、
   前記オプティカルフロー表示手段は、(1)前記車両運動推定手段による推定値が所定値以上の場合は前記オプティカルフロー情報を表示し、(2)前記推定値が前記所定値未満の場合は前記オプティカルフロー情報の表示を停止する、もしくは前記オプティカルフロー情報の表示輝度、表示彩度、および表示コントラストの少なくとも一つを低下させることを特徴とする車載情報提供装置。
4. 請求項１〜３のいずれか一項に記載の車載情報提供装置において、
   前記車両運動推定手段は、前記車両動検出手段による車両の並進方向および回転方向の両方もしくはいずれか一方の検出信号に基づく現在の車両運動の推定と、ステアリング操作量、ペダル操作量および走行経路における道路形状情報の少なくとも一つに基づく所定時間後の車両運動の推定との少なくとも一方を行うことを特徴とする車載情報提供装置。
5. 請求項２に記載の車載情報提供装置において、
   前記オプティカルフロー情報は、ドット、ライン、図形、記号、もしくは前記乗員に提供する情報を元に加工された画像が移動する動画像を表すことを特徴とする車載情報提供装置。
6. 請求項１に記載の車載情報提供装置において、
   前記オプティカルフロー表示手段は前記表示手段の周囲に配設された光源によって構成され、前記光源による発光部分が移動するように点灯制御されることを特徴とする車載情報提供装置。
7. 乗員に提供する情報を表示する表示手段と、
   車両の動きを検出する車両動検出手段と、
   前記車両動検出手段による検出信号を用いて前記車両の運動を推定する車両運動推定手段と、
   前記車両運動推定手段による推定値を用いて車速変化および進路変化の少なくとも一方に同期する移動音情報を生成する移動音情報生成手段と、
   前記移動音情報を再生する音響再生手段とを備えることを特徴とする車載情報提供装置。
8. 請求項７に記載の車載情報提供装置において、
   前記音響再生手段は、前記移動音情報を単独再生、または前記表示手段に表示される情報と関連する音響情報と合成して同時再生することを特徴とする車載情報提供装置。
9. 請求項７または８に記載の車載情報提供装置において、
   前記音響再生手段は、(1)前記車両運動推定手段による推定値が所定値以上の場合は前記移動音情報を再生し、(2)前記推定値が前記所定値未満の場合は前記移動音情報の再生を停止する、もしくは前記移動音情報の再生音量および発生頻度の少なくとも一つを低下させることを特徴とする車載情報提供装置。
10. 請求項７〜９のいずれか一項に記載の車載情報提供装置において、
    前記移動音情報は、音量、音程、タイミング、および残響によって定位される音像の移動を表すことを特徴とする車載情報提供装置。
11. 請求項１〜１０のいずれか一項に記載の車載情報提供装置において、
    前記オプティカルフロー表示手段で表示されるオプティカルフロー情報、もしくは前記音響再生手段で再生される移動音情報は、前記乗員が自身の前庭器官から取得する運動情報と合致する自己運動知覚を前記乗員に与えることを特徴とする車載情報提供装置。
12. 乗員に提供する情報を表示し、
    車両の動きを検出し、
    前記検出した車両の動きに基づいて前記車両の運動を推定し、
    前記車両の運動の推定値を用いて車速変化および進路変化の少なくとも一方に同期するオプティカルフロー情報を生成し、
    前記生成したオプティカルフロー情報をさらに表示することを特徴とする車載情報提供装置。
13. 乗員に提供する情報を表示し、
    車両の動きを検出し、
    前記検出した車両の動きに基づいて前記車両の運動を推定し、
    前記車両の運動の推定値を用いて車速変化および進路変化の少なくとも一方に同期する移動音情報を生成し、
    前記生成した移動音情報を音響再生することを特徴とする車載情報提供装置。

Images