JP2005207785A - 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム - Google Patents

Abstract

【課題】施設に関する画像を実風景に重畳させて表示する際に、運転者の利便性を向上し、または、不快感を与えることを防止すること。
【解決手段】車両の前方に存在する施設に関する情報を提供するため、車両の運転者からウィンドウ越しに視認可能な実風景と重畳されて見えるように、施設に関する施設関連画像を表示する車両用画像表示装置であって、施設関連画像の点滅を防止するため、視認不可能な施設が一時的に視認可能となる視認可能時間を予測し、予測された視認可能時間が所定時間以下の場合には、施設関連画像の表示を規制する。
【選択図】 図１

Description

本発明は、実風景と重畳されて見えるように画像を表示することによって、運転者に情報を伝達する車両用画像表示技術に関する。

従来から、車両の運転手に対し、様々な施設についての情報を提供するシステムが存在する。

特に、近年、交通網が発達し、ドライバが広範囲を自由に移動するようになるにつれて、複雑かつ変化する道路状況をドライバが常に把握することが困難になり、自動車等の車両で目的地に移動する際の誘導情報を提供するナビゲーションシステムが知られており現実に普及している。

そして、そのようなナビゲーションシステムの進化した形態として、フロントウィンドウ付近に、実風景と重なるように画像を表示するシステムが開発されている。例えば、特許文献１では、カメラで実風景を撮影し、実風景中の構造物に重畳するように、その構造物の属性情報を表わす画像を表示する装置が開示されている。
特開平１１−０６５４３１号公報

しかしながら、上述したようなカーナビゲーションシステムでは、視野内に存在する施設について、視認可能となった時点で無条件で何らかの施設関連画像を表示し、視認不可能となった時点では無条件でそのような施設関連画像を非表示にする、という表示態様しかなかった。そのため、運転者にとって、運転の妨げになったり、あるいは、欲しい情報が得られなかったりするという問題があった。

例えば、施設の視認可能となる期間や視認不可能となる期間が短い場合には、施設関連画像が点滅することになり、運転者を不快にさせ、ストレスを感じさせる原因となっていた。

本発明は、上記従来技術の課題を解決するためになされたもので、その目的とするところは、施設に関する画像を実風景に重畳させて表示する際に、運転者の利便性を向上し、または、不快感を与えないことにある。

上記目的を達成するため、本発明に係る装置は、
車両の前方に存在する施設に関する情報を提供するため、前記車両の運転者からウィンドウ越しに視認可能な実風景と重畳されて見えるように、前記施設に関する施設関連画像を表示する車両用画像表示装置であって、
前記施設が視認可能な時には、所定の施設関連画像を表示し、前記施設が視認不可能な時には前記所定の施設関連画像を表示しないという表示態様にて表示制御を行なう表示制御手段を備え、
該表示制御手段は、所定条件が成立した場合には、前記所定の施設関連画像の表示態様を変更することを特徴とする。

視認不可能な施設が一時的に視認可能となる視認可能時間を予測する予測手段をさらに有し、
前記表示制御手段は、予測された前記視認可能時間が所定時間以下の場合には、前記所定条件が成立したものとして、前記施設関連画像の表示を規制することを特徴とする。

前記予測手段は、さらに、前記表示制御手段による前記施設関連画像の表示の規制中に、視認可能となっている施設が視認不可能となるまでの視認可能継続時間を予測し、
前記表示制御手段は、予測された前記視認可能継続時間が所定時間以上の場合には、前記施設関連画像の表示規制を解除することを特徴とする。

前記表示制御手段は、予測された前記視認可能時間が所定時間以下の場合には、前記施設が視認可能になっても前記施設関連画像を非表示とすることを特徴とする。

前記施設関連画像が表示されている状態で、視認可能な前記施設が一時的に視認不可能となる視認不可能時間を予測する予測手段をさらに備え、
前記表示制御手段は、予測された前記視認不可能時間が所定時間以下の場合には、前記所定条件が成立したものとして、前記施設関連画像の表示を継続することを特徴とする。

前記予測手段は、さらに、前記表示制御手段による前記施設関連画像の表示の継続中に、視認不可能となっている施設が視認可能となるまでの視認不可能継続時間を予測し、
前記表示制御手段は、予測された前記視認不可能継続時間が所定時間以上の場合には、前記施設関連画像の表示を規制することを特徴とする。

前記表示制御手段は、予測された前記視認不可能時間が所定時間以下の場合には、前記施設関連画像が目立たないように表示形態を変更することを特徴とする。

前記予測手段は、前記視認可能時間または前記視認不可能時間を、車両の走行状態及び地図上の車両の位置に基づいて予測することを特徴とする。

前記所定時間は、前記車両から見た前記施設の位置に応じて異なることを特徴とする。

上記目的を達成するため、本発明に係る方法は、
車両の前方に存在する施設に関する情報を提供するため、前記車両の運転者からウィンドウ越しに視認可能な実風景と重畳されて見えるように、前記施設に関する施設関連画像を表示する車両用画像表示方法であって、
前記施設が視認可能な時には、所定の施設関連画像を表示し、前記施設が視認不可能な時には前記所定の施設関連画像を表示しないという表示態様にて表示制御を行なう表示制御ステップを含み、
該表示制御ステップは、所定条件が成立した場合には、前記所定の施設関連画像の表示態様を変更することを特徴とする。

上記目的を達成するため、本発明に係るプログラムは、
車両の前方に存在する施設に関する情報を提供するため、前記車両の運転者からウィンドウ越しに視認可能な実風景と重畳されて見えるように、前記施設に関する施設関連画像を表示する車両用画像表示装置に、
前記施設が視認可能な時には、所定の施設関連画像を表示し、前記施設が視認不可能な時には前記所定の施設関連画像を表示しないという表示態様にて表示制御を行なう表示制御ステップを実行させるプログラムであって、
前記表示制御ステップは、所定条件が成立した場合には、前記所定の施設関連画像の表示態様を変更することを特徴とする。

本発明によれば、施設に関する画像を実風景に重畳するように表示するので、運転者は、運転中、少ない視線移動で施設の情報を取得することができ、安全性の向上を図ることができる。また、施設が視認可能な時には施設関連画像を表示し、施設が視認不可能な時には施設関連画像を表示しないという表示態様で表示制御を行なうと共に、所定条件が成立した場合には、前記所定の施設関連画像の表示態様を変更するので、運転者に不快感を与えることを防止し、運転者の利便性を向上することができる。

特に、施設が視認可能な時間や施設が視認不可能になる時間の長さを予測し、その予測時間が所定時間以内の場合に、施設関連画像の表示を規制（非表示にすることや目立たない表示形態にすることを含む）したり、非表示にならないように表示を継続したりして、その点滅を防止するため、運転者にストレスを与えることを防止できる。

また、車両の走行状態及び地図上の車両の位置に基づけば、正確に視認可能時間や視認不可能時間を予測することができる。

さらに、施設の位置に応じて所定時間を変えれば、例えば運転者にとって気になる箇所では、点滅を極力防止し、運転者の視野の外では、ある程度の点滅を許容する制御とすることもできる。

以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素の相対配置、表示画面等は、特に特定的な記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

本発明に係る車両用画像表示装置は、車両の前方に存在する施設に関する情報を提供するため、車両の運転者からウィンドウ越しに視認可能な実風景と重畳されて見えるように、施設に関する施設関連画像を表示するものである。以下には、本発明に係る車両用画像表示装置の実施形態として、カーナビゲーションシステムと連動し、運転者に対して、画像や音声などで様々な施設の情報を提供する車載システムについて説明する。なお、本明細書中、施設とは、建物や公園などに限定されるものではなく、道路や交差点などを含み、さらには、山などの自然物をも含むものとする。

＜システムの構成＞
図１は、本実施形態に係る車載システムを搭載した車両１０００の全体構成を示す図である。車両１０００の運転席に座った運転者１０の目（アイポイント）１０ａの位置は、その体型や姿勢に応じた位置となる。そして、図１のように、運転者１０は、フロントウィンドウ１１００を介して、車両１０００の前方に広がる実風景を見ることができる。つまり、アイポイントからの視界１０ｂは、フロントウィンドウ１１００の一部の領域と、車両の前方に広がる実風景とを含むことになる。そこで、本実施形態では、表示ユニット１１０を用いて、フロントウィンドウ１１００上（またはその付近）に、画像（コンピュータグラフィクス）を表示し、実風景と重ねて見せることによって、実風景中の施設の情報を提供する。このため、車両１０００は、運転者１０のアイポイント１０ａの位置を検知するためのアイポイントカメラ１２０と、運転者１０のアイポイント１０ａの位置や、車両位置及び３Ｄ地図データなどに応じて、画像を生成し、表示ユニット１１０に表示させるための、制御ユニット１００とを備えている。

図２は、本実施形態に係る車載システムによって表示された画像の１例を示す図である。便宜上、図２には運転者は示されていない。

運転者からは、図２に示すように、フロントウィンドウ１１００越しに、実風景として山や道路や建物などが視認可能である。そして、そのような実風景に重畳されて見えるように、画像２００が表示されている。この画像２００は、実風景中の施設２１０に関連する情報を示す施設関連画像であり、ここでは、少なくとも施設２１０の位置を示す簡易画像としての矢印２０１と、施設２１０について説明するための詳細画像としてのコメント２０３とを含んでいる。ここでは、施設２１０がガソリンスタンドであるため、コメント２０３には「ガソリンスタンド」と示されている。コメントとしては、施設の種類や名称の他、施設の業務内容や広告などを表示しても良い。また、簡易画像として、矢印以外に、星印などの特徴的な画像を用いても良い。さらには、施設に重畳されて見えるようにコメントを表示することによって、コメントがどの施設を示すものなのかを明確にできれば、簡易画像を省略することも可能である。また、矢印の後端に付加された丸印２０２は、施設２１０がカーナビゲーションシステムにおいて目的地として設定されていることを示す画像である。もちろん、その施設が目的地や経由地や登録地などであることを示す情報を、他の形態で画像表示することも考えられ、例えば、コメント部分に「目的地」などの文字を表示してもよい。

＜システムのハードウェア構成＞
次に、図３及び図４を用いて、本システムの内部構成について説明する。図３Ａは、本実施形態に係る車載システムのハードウェア構成を示すブロック図である。

図３Ａに示すように、本システムは、システム全体を制御する制御ユニット１００と、フロントウィンドウに画像を表示する表示ユニット１１０と、運転者を撮影しアイポイント位置を検出するアイポイントカメラ１２０と、車両外部の情報センターに設置されたサーバとネットワークを介して通信する通信ユニット１３０と、運転者の指示を受けるマイク１４０、運転者に音声で情報を提供するスピーカ１５０と、運転者からの指示を入力する操作ユニット１６０と、車両の挙動や位置を検出する各種センサ１７０とを含む。

表示ユニット１１０として、ホログラムを利用したヘッドアップディスプレイを用いれば、運転者の目の焦点を、実風景を見る場合とほぼ同じにできる。しかし、ここでの表示ユニット１１０はこれに限定されるものではなく、運転者から見て実風景と重畳されて見えるように画像を表示できるユニットであれば如何なるものも採用することが可能である。例えば、フロントウィンドウに貼付した半透過スクリーンにプロジェクタで画像を投影する構成でも良いし、フロントウィンドウに半透過液晶ディスプレイを貼付し、液晶ディスプレイを駆動して所望の画像を表示する構成でも良い。かかる表示方法については、過去の様々な文献（例えば、特開平１−２１９８８３号公報や特開平４−１２５６７９号公報）にその詳細が開示されているので説明を省略する。

アイポイントカメラ１２０は、運転者の頭部を撮影するカメラであり、撮影した画像中から運転者の目の部分を特定し、その位置を算出する。

通信ユニット１３０は、車両に最も近い基地局に電波をとばすことにより、通信ネットワークにアクセスし、特定のサーバから最新の地図データをダウンロードすることができる。ダウンロードされた地図データは、制御ユニット１００に格納される。サーバには、運転者の自宅などから施設関連画像の表示や車両の誘導地点（お気に入りなど）に関する設定データをアップロードでき、通信ユニット１３０でそれらの設定データをダウンロードすることもできる。さらには、サーバ側で地図データにそれらの設定データを組み込んで通信ユニット１３０にダウンロードすることも可能である。

操作ユニット１６０は、例えばテンキーや各種のタッチスイッチなどの入力操作キーとそのインターフェイス回路からなり、運転者などの乗員からの操作入力を受け入れる。なお、操作ユニット１６０は、各種の設定内容を表示するためのディスプレイを有しても良い。

各種センサ１７０には、アンテナ、ＧＰＳ受信ユニット、速度センサ、加速度センサ、方位センサなどが含まれる。アンテナとは、例えば平面アンテナやヘリカルアンテナなどの小型高利得アンテナであり、複数のＧＰＳ衛星からの電波を受信してこれをＧＰＳ受信ユニットに送信する。ＧＰＳ受信ユニットは、主に、ＤＳ（Direct Sequence）方式を用いたスペクトラム拡散通信を行ない、ＧＰＳ衛星からの受信電波を検波・復調して、測位データを求め、それに基づいてＧＰＳ航法による車両の現在位置及び進行方位を算出する。

速度センサ、加速度センサ及び方位センサは、自立航法に必要とする各種の自立航法パラメータを検出する為のセンサとそのインターフェイス回路から構成されている。速度センサは、例えば回転エンコーダ等のセンサであり、車速パルスを取り込んで車両の速度を検出する。加速度センサは、例えばダイヤフラム等の慣性を利用して、圧力変化情報を取り込んで車両に加わる加速度を検出する。方位センサは、例えばジンバル等のジャイロ機構を用いて車両の方位を検出する。なお、現在位置の測位や進行方位の決定は、ＧＰＳ航法からのデータと自立航法からのデータとを混合修正することによって行なうが、かかる処理方法については、過去の様々な文献（例えば、特開平８−１１１７０号公報や特開平１０−３０７０３６号公報）にその詳細が開示されているので説明を省略する。

制御ユニット１００は、種々のプログラムを実行する過程において所定の期間毎に、アイポイントカメラ１２０や通信ユニット１３０やマイク１４０や操作ユニット１６０や各種センサ１７０から所定の情報を取り込み、かかる情報を総合的に判断して、表示ユニット１１０に出力すべき画像やスピーカ１５０から出力すべき音声を導き出す。

また、図３Ａに示すように、制御ユニット１００は、内部に演算制御用のＣＰＵ（詳しくはマイクロプロセッサ）１０１と、固定値や各種プログラムモジュールを記憶するＲＯＭ（Read Only Memory)１０２と、各種データやプログラムを一時的に記憶するＲＡＭ(Random Access Memory)１０３と、３Ｄ地図データ１０４及び各種設定データ１０４ｂを記憶するＨＤＤ（Hard Disk Drive）１０４を含み、更に、外部ユニットとの入出力ポート（Ｉ／Ｏ）１０６を備えている。なお、ここではＨＤＤ１０４に３Ｄ地図データや設定データを格納することとしたが、これを、ＤＶＤやＣＤ−ＲＯＭ等の記録媒体のドライブや、フラッシュメモリなどの不揮発性半導体メモリに置き換えることも可能である。

ＣＰＵ１０１は、ＲＯＭに記憶されているメインルーチンプログラムや、各種のプログラムモジュールを実行することにより、本車載システム全体を制御する。

ＲＯＭ１０２は、３Ｄ地図データ１０４ａから視認可能な施設を抽出したり、施設関連画像を生成するための表示制御モジュール１０２ａと、車両位置と車両走行情報と３Ｄ地図データ１０４ａと目的地設定情報などに基づいて、車両を誘導すべきルートを生成するナビゲーションモジュール１０２ｂと、操作ユニット１６０に対する操作に基づいて設定データ１０４ｂを生成したり修正したりする設定モジュール１０２ｃと、アイポイントカメラ１４０で撮像した画像に基づいてアイポイント位置や視線方向を検出するアイポイント検出モジュール１０２ｄと、マイク１４０から入力された音声を解析する音声解析モジュール１０２ｅと、スピーカ１５０から出力するべき音声を生成する音声合成モジュール１０２ｆと、を記憶している。

ＲＡＭ１０３は、各種のプログラムを実行するためのプログラム実行領域１０３ａと、ＨＤＤ１０４から読出した３Ｄ地図データ１０４ａを一時的に記憶する地図データ格納領域１０３ｂと、設定モジュール１０２ｃによって入力した設定データ１０４ｂを一時的に記憶する設定データ格納領域１０３ｃと、各種センサ１６０によって入力した車両の挙動や位置に関するデータを一時的に記憶する車両データ格納領域１０３ｄとを含む。

３Ｄ地図データ１０４ａには、建物や公園、道路や交差点など、さらには、山などの自然物を含む、施設の形状及び位置データが含まれ、さらに、道路のルートや道路の幅員などに関する道路情報や道路交差点の位置情報などのデータが含まれている。

ＨＤＤ１０４に格納される設定内容としては、以下のＡ及びＢようなものが挙げられ、操作ユニット１５０や、サーバにネットワーク接続されたパーソナルコンピュータなどで設定可能である。また、これらの項目は、地域ごと、乗員ごと、時間帯ごと、曜日ごとなどに分けて設定することも可能である。図３Ｂ、図３Ｃに設定画面の１例を示す。

Ａ．基本項目
Ａ−１．施設関連画像を表示するか否か、誘導情報画像を表示するか否か、広告を表示するか否か、これらを表示する場合の表示の優先順位、施設関連画像
Ａ−２．施設関連画像の大きさ（標準、２倍、３倍、距離に応じて自動設定などから選択）
Ａ−３．同時に表示できる施設関連画像の数（標準、極小、少なめ、多め、最大などから選択）
Ａ−４．視認される施設と施設関連画像が重なって見えても良いか否か。重なった場合に、表示を禁止するか、表示位置をずらすか
Ａ−５．音声案内の有無、アイコン表示の有無
Ｂ．詳細項目
Ｂ−１．施設関連画像として、何を表示するか、即ち、目的地を表示するか、施設名を表示するか、車両を誘導する矢印を表示するか、車両の誘導の際の目印を表示するか
Ｂ−２．施設関連画像の表示の対象となる施設の選択（登録施設、コンビニエンスストア（さらに詳細に指定することも可能）、道の駅、ガソリンスタンド（さらに詳細に指定することも可能）、アミューズメント施設（さらに詳細に指定することも可能）、食事施設（さらに詳細に指定することも可能）、イベント開催施設（さらに詳細に指定することも可能）、名所（さらに詳細に指定することも可能）など）
Ｂ−３．どの程度の領域に存在する施設を施設関連画像の表示対象とするか（標準、狭い、広め、最大などから選択）
Ｂ−４．施設関連画像の表示時間、すなわち、連続して表示される時間を所定時間（例えば１５秒）に限定するか否か、そして、合計の表示時間を所定時間（例えば３分）に限定するか否か
Ｂ−５．目的地設定機能（音声による目的地設定を有効にするか否か、指さしによる目的地設定を有効にするか否か）
その他、施設関連画像ごと、或いは施設関連画像の種類単位で、表示色や表示の大きさを設定可能となっている。表示色については、複数の候補色（黒、赤、青、緑、白など）を選択できる。そして、背景色などとの兼ね合いでここで選択した候補色から１色が選択される。候補色は、テーマによってまとめて選択可能であってもよい。例えば、季節ごとにテーマを有しており、運転者が「秋」というテーマを選択すれば、赤や黄に対して映える色が候補色として選択されてもよい。

＜システムの機能構成＞
図４は、本実施形態に係る車載システムの機能構成を示すブロック図である。図３のＲＯＭ１０２に格納されたプログラムモジュールをＣＰＵ１０１が読出して実行することにより、図４に示す、表示制御部４０１、ナビゲーション部４０２、設定部４０３、アイポイント検出部４０４、音声解析部４０５、音声合成部４０６、の各機能を実現する。

ナビゲーション部４０２は、各種センサ１０６から得た車両データに基づいて、誘導ルートなどを導きだし、表示制御部４０１に渡す。アイポイント検出部４０４は、アイポイントカメラ１２０からの撮像画像を用いてアイポイント位置を抽出し、表示制御部４０１に渡す。音声解析部４０５は、マイク１４０から入力された音声を解析し、その結果、運転者の指示を抽出して表示制御部４０１に渡す。

表示制御部４０１は、記憶部４１０から読出した地図データを解析して、視認可能な施設を特定し、施設関連画像や車両誘導画像を、アイポイント位置に応じた位置に表示するように画像を生成し、表示ユニット１１０に送信する。この際、記憶部４１０から読出した設定データや、音声解析部４０５での音声解析結果や、ナビゲーション部４０２での誘導情報などを参照して施設関連画像をどのような表示態様とするか或いは非表示とするか、そして音声合成部４０６にどのような音声を出力させるかを決定する。

ナビゲーション部４０２は、施設を指標として車両を案内する車両案内手段として機能する。

また、設定部４０３では、操作ユニット１５０から入力された運転者からの指示を記憶部４１０に記憶する。さらに記憶部４１０は、記憶している地図データを、通信ユニット１３０を通じてサーバからダウンロードしたデータによって更新する。

＜本システムの処理＞
本システムで行なわれる大まかな処理について、図５のフローチャートを用いて説明する。

まず、車両のエンジンが始動すると、ステップＳ５０１において、地図データ１０４ａ及び設定データ１０４ｂをＨＤＤ１０４から読出す。

次にステップＳ５０２において、施設関連画像を表示することが可能な施設を地図データから抽出する。ここで抽出される施設は、運転者から視認できるか否かを問わず、車両の前方に存在するすべての施設である。この時点で所定距離（例えば１０００ｋｍ）以内のものに限定して抽出しても良い。また、その場合、レストランやガソリンスタンドなどの小さな施設であれば比較的近い距離もののみを抽出し、山や高層ビルなどの非常に大きな施設であれば、比較的遠い距離のものまで、或いは、距離によらずに抽出する処理を行なっても良い。さらに、ステップＳ５０２では、地図データを用いて、運転者から視認可能な施設と、視認不可能な施設に分類し、施設の属性データ及び位置データを、視認の可否が区別可能となるように識別子を付してＲＡＭ１０３に格納してもよい。

施設が視認可能か否かは、その施設と車両内の運転者のアイポイントとを結ぶ線上に他の施設が存在しないか否かによって判定できるが、その他、様々な方法で視認の可否を判定できる。例えば、車両に搭載したカメラを用いて判定しても良い。設定データ１０４ｂに、施設関連画像の表示対象としない施設の種類などが設定されている場合には、この時点で、表示対象として設定されている種類の施設に絞り込んでも良い。

ステップＳ５０２で施設が抽出されると、次にステップＳ５０３において、施設関連画像の表示制御を行ない、表示ユニット１１０に転送すべき画像データを生成する。もちろん、ここでの表示制御処理により、施設関連画像を全く表示しないとの決定がなされた場合には、画像データの生成は行なわれない。

最後に、ステップＳ５０４では、ステップＳ５０３の表示制御処理で生成された画像データを表示ユニット１１０に転送する。

なお、ステップＳ５０３では、基本的に、施設が視認可能な時には、所定の施設関連画像を表示し、施設が視認不可能な時には所定の施設関連画像を表示しないという表示態様にて表示制御を行なうが、さらに、所定条件が成立したか否かを判定し、所定条件が成立した場合には、所定の施設関連画像の表示態様を変更する。具体的には、以下の１〜４に示すような表示態様で制御する。

１．表示位置
アイポイントの位置を検出し、実際に施設が視認される位置の周辺に施設関連画像が表示されるように演算する。その際、施設の視認の障害となるものが車両と施設との間にある場合には、その障害物を避けた位置を演算する。

２．表示方法
目的地や経由地や登録地などであることを示すランドマーク表示の有無を判定する。背景を考慮して施設関連画像の表示色を演算する。施設関連画像の大きさを演算する。

３．表示禁止条件
施設関連画像の数が所定数以上であるか否かを判定し、優先的に表示すべきと設定された施設関連画像を表示対象として選択する。優先度が低い施設関連画像については、表示を規制（例えば禁止）する。施設関連画像の表示を禁止する条件（車両が旋回中である場合や交通量が多い場合、または施設関連画像を表示すると標識が見えなくなる場合）に該当するか否かを判定する。

４．表示終了条件
施設関連画像の表示を終了する条件（視認不可能となった場合、所定回数以上表示した場合、所定時間以上継続してまたは断続的に表示した場合、表示すべき領域の外に位置する場合など）に該当するか否かを判定する。

＜詳細な表示制御処理＞
以下に、ステップＳ５０３の表示制御処理の一部として行なわれる処理について、図６〜１７を用いて詳細に説明する。

まず、図６のフローチャートは、ステップＳ５０３において、どのような所定条件が成立した場合に、所定の施設関連画像の表示態様をどのように変更するかについて詳しく示したものである。このフローチャートで示される一連の処理は、特に施設関連画像の点滅を防止することによって、運転者の利便性を向上し、運転者に不快感を与えないことを目的とするものである。

ステップＳ６０１で、ステップＳ５０２で抽出した各施設について、その施設が視認可能か否かを判定する。施設が視認不可能な場合には、ステップＳ６０２に進み、施設関連画像が表示されているか否か判定する。施設関連画像が表示されていなければ、次に、ステップＳ６０３に進み、その視認不可能な施設が一時的に視認可能となる視認可能時間を予測する。そして、ステップＳ６０４に進み、予測された視認可能時間が所定時間以下か否か判定する。予測された視認可能時間が所定時間以下の場合には、所定条件が成立したものとして、ステップＳ６０５に進んで、その後、施設が視認可能となっても施設関連画像を規制するように制御する。

ステップＳ６０１で施設が視認可能であれば、次に、ステップＳ６０６に進み、施設関連画像が通常表示されている（規制されていない）か否か判定する。施設関連画像が通常表示されていれば、次に、ステップＳ６０７に進み、視認可能な施設が一時的に視認不可能となる視認不可能時間を予測する。そして、ステップＳ６０８に進み、予測された視認不可能時間が所定時間以下か否かを判定する。予測された視認不可能時間が所定時間以下の場合には、所定条件が成立したものとして、ステップＳ６０９に進み、その後、施設が視認不可能となっても、施設関連画像の表示を継続するように制御する。

次に、ステップＳ６０２で、施設関連画像が表示されていれば、ステップＳ６０９における表示継続の処理が行なわれたと判断し、ステップＳ６１０に進んで、視認不可能となっている施設が視認可能となるまでの視認不可能継続時間を予測する。そして、ステップＳ６１１において、予測された視認不可能継続時間が所定時間以上か否か判定し、予測された視認不可能継続時間が所定時間以上の場合には、ステップＳ６１２に進んで、施設関連画像の表示を規制する。

ステップＳ６０６で通常表示でないと判断された場合、施設関連画像の表示の規制中と考えられるため、ステップＳ６１３に進み、視認可能となっている施設が視認不可能となるまでの視認可能継続時間を予測し、ステップＳ６１４において、予測された視認可能継続時間が所定時間以上か否か判定し、予測された視認可能継続時間が所定時間以上の場合には、ステップＳ６１５に進んで、施設関連画像の表示規制を解除する。

なお、ステップＳ６０３、Ｓ６０７、Ｓ６１０、Ｓ６１３では、視認可能時間または視認不可能時間を、車両の走行状態及び地図上の車両の位置に基づいて予測する。また、ステップＳ６０４、Ｓ６０８、Ｓ６１１、Ｓ６１４で閾値となる所定時間は、車両から見た施設の位置に応じて異なるものとしても良い。

また、ステップＳ６０５及びステップＳ６１２で、施設関連画像を規制する方法としては、例えば、施設関連画像を非表示とすることが挙げられるが、本発明はこれに限定されるものではなく、施設関連画像の表示を規制すればよく、例えば、非表示の他に、目立たないように表示したり、小さく表示したり、表示時間を制限したりすることが考えられる。なお、運転者の操作に基づいて施設関連画像の表示の規制を解除できる構成となっていることが望ましい。

次に、ステップＳ５０３の一部として行なわれる他の処理について図７を用いて説明する。ステップＳ５０３においては、所定条件が成立した場合に、視認可能な施設についての所定の施設関連画像の表示を規制するが、図７のフローチャートは、さらに、どのような所定条件が成立した場合に、視認可能な施設について所定の施設関連画像の表示をどのように規制するかについて詳しく示したものである。このフローチャートで示される一連の処理は、特に、視認可能となった時点で無条件で所定の施設関連画像を表示することが、運転の障害になったり、運転者を不快にさせたりすることを考慮したものである。

まず、ステップＳ７０１において、車両の安全性を判定し、所定限度以上の安全性が確保されていないと判定された場合には、ステップＳ７０２に進んで施設関連画像の表示を規制する。ここで、車両の安全性は、例えば、車両の走行速度が所定値以下か否か、高速道路を走行中か否か、見通しの悪いカーブを走行中か否かなどによって判断することが可能である。また、車両の速度などに応じて段階的に表示を規制しても良い。例えば、車両の速度が上がるにつれて、表示される施設関連画像の数を減らしてもよい。

次に、ステップＳ７０１において、安全性に問題がないと判定すると、次に、ステップＳ７０３において、視認可能な施設の数をカウントし、表示される施設関連画像が所定数以下か否か判定する。表示される施設関連画像が所定数以上となる場合には、ステップＳ７０４に進む。安全性に問題が無く、表示される全施設関連画像数が所定数以下の場合には、特別な規制を加えなくても、運転の障害になったり運転者を不快にさせたりすることがないと考えられるため、本フローにおける規制を加えることなく処理を終了する。

ステップＳ７０４においては、視認可能な複数の施設のうち、１つを抽出する。そして、抽出された視認可能な施設について、ステップＳ７０５において、車両からの距離を判定する。判定された施設までの距離が所定値以上であれば、ステップＳ７０６に進む。なお、図５で説明したステップＳ５０２において、所定距離以内の施設のみが抽出されている場合には、このステップＳ７０５を省略することが可能である。

次に、ステップＳ７０７において、アイポイントカメラ１４０により検出した運転者の視線の位置履歴を読出し、一旦、運転者の視線の先に位置したと判定された施設であれば、ステップＳ７０６に進む。

次に、ステップＳ７０８において、他の施設が近接して視認可能か否か判定する。運転者から見て、所定の範囲内に他の施設が視認されると判定した場合には、ステップＳ７０９に進み、その他の施設に比べて表示重要度が高いか否か判定する。

この表示重要度は、運転者からの指示に基づいて、操作ユニット１６０や、運転者の自宅のパーソナルコンピュータなどから設定され、ＨＤＤ１０４に設定データ１０４ｂの一部として記憶されている。もちろん、運転者からの指示を待つことなく、デフォルトで、施設の種類ごとに表示重要度が設定されいても良い。

近接して視認可能な他の施設よりも表示重要度が低い場合には、ステップＳ７０６に進む。

ステップＳ７０６では、施設関連画像の表示を規制する。ただし、ナビゲーション部４０２により、車両を案内するための指標とされた施設については、施設関連画像の表示規制の対象外とする。

ステップＳ７１０では、視認可能な全施設についてステップＳ７０５〜Ｓ７０９の処理を終えたか判断し、判定を終えていない場合には、ステップＳ７０４に戻る。全施設について、ステップＳ７０５〜Ｓ７０８の処理を終えた場合には、本フローに係る処理を終了する。なお、処理を終了する前に、再度、視認可能な施設の数をカウントし、表示される施設関連画像が所定数以上となる場合には、さらに表示重要度が低く設定されている種類の施設について、施設関連画像の表示対象外としてもよい。

ステップＳ７０６での施設関連画像の表示規制方法については、ステップＳ６０５と同様であり、非表示に限定するものではない。

次に、ステップＳ５０３の一部として行なわれる、さらに他の処理について図８を用いて説明する。図８のフローチャートは、どのような所定条件が成立した場合に、視認可能な施設について所定の施設関連画像の表示をどのように規制するかについて詳しく示したものである。このフローチャートで示される一連の処理は、特に、運転者が既に認識済で、なんら新たな情報を提供しない画像が何度も表示されることを防止し、運転の安全性を確保し、運転者を不快にさせないことを目的とするものである。

図８のフローチャートは、各施設関連画像が表示されたことをトリガーにして開始される。施設関連画像が表示されると、ステップＳ８０１において、その施設についての施設関連画像の表示量を累積する。ここでは、所定期間（例えば一ヶ月）内に施設関連画像が表示された回数または時間を累積し、さらに、過去の通算表示時間も累積する。また、車両の走行経路ごと、走行方向ごとに表示量を累積する。つまり、異なる走行経路、走行方向に車両が位置する状態で、同じ施設関連画像を表示したとしても、それらは合算されない。

次に、ステップＳ８０２において、累積された表示量が所定量以上か否かを判定する。表示量が所定量以上の場合には、ステップＳ８０３に進み、運転者による確認操作を要求し、確認操作があった場合に、ステップＳ８０４に進み、その視認可能な施設について施設関連画像の表示を規制する設定とし、処理を終了する。

ステップＳ８０２において、累積した表示量が所定量以下の場合には、ステップＳ８０５に進む。ステップＳ８０５では、施設周辺の道路を所定回数（または所定距離）以上走行したか否かを判定する。このような走行履歴は、ナビゲーション部４０２によってＨＤＤ１０４に格納されている。ステップＳ８０５で、その施設周辺の道路を所定回数（または所定距離）以上走行したと判定された場合には、ステップＳ８０３に進み、運転者による確認操作があれば、ステップＳ８０４で、その視認可能な施設について施設関連画像の表示を規制する設定とし、処理を終了する。つまり、実際の表示量が所定値を超えていなくても、表示量が所定量以上であると判定して、施設関連画像の表示を規制する。

次に、ステップＳ５０３の一部として行なわれる、さらに他の処理について図９を用いて説明する。図４において、表示制御部４０１が施設関連画像として、施設の位置を示す簡易画像と、施設の属性を説明する詳細画像と、を表示ユニット１１０に表示させることは既に述べたが、図９では、どのような条件の下で簡易画像のみ表示させ、或いは詳細画像をも表示させるのかを説明する。視認可能となったすべての施設について、施設名などの詳細な説明を表示するのでは、全体としての表示が煩雑となり、運転者に不快感を与えたり、運転の妨げになったりする可能性がある。かといって、そのような画像の表示を１部に制限して、他を非表示にしてしまうと、運転者が望む情報を得ることができない場合がある。そこで、図９（ａ）に示すフローチャートに従った処理を行なうことによって施設関連画像全体をすっきりと表示し、運転者に不快感を与えることを防止し、運転の安全性を確保し、かつ運転者に対して所望の情報を提供する。

まずステップＳ９０１において、視認可能な複数の施設のうち、一部の施設について、簡易画像表示（矢印などの簡易画像のみを表示）するか、全施設関連画像について、詳細画像表示（矢印などの簡易画像とコメントなどの詳細画像の組合せ）を判定する。

ここでは、単位領域内（例えば、１０ｃｍ×１０ｃｍ）及び全画像領域に表示される詳細画像の数を所定数に制限する。つまり、単位領域内に所定数（例えば２個）を超える施設関連画像を表示する場合、または、全画像領域中に所定数（例えば２０個）を超える施設関連画像を表示する場合には、一部を簡易画像表示にする。所定時間（例えば５秒）以内に視認不可能な状態から視認可能となる複数の施設のうち、所定数（例えば５個）の施設については、詳細画像を表示し、残りの施設については、簡易画像を表示する。これは、ほぼ同時に表示が開始される詳細画像の数を制限するためであり、あまり多くの画像が一気に表示されて運転者を驚かせることのないように制御している。

ステップＳ９０１で簡易画像のみを表示すると判定した場合には、次に、ステップＳ９０２に進み、どの施設について簡易画像のみの表示とするかを決定する。つまり、簡易画像表示する施設を選択する。ここでは、施設の種類や車両から施設までの距離に応じて、簡易画像のみを表示する施設を選択する。特に、施設が、車両から第１距離（例えば、１０ｋｍ）以上離れている場合には、施設関連画像の表示対象とせず、第１距離以内であって第２距離（例えば５ｋｍ）以上の場合には、簡易画像のみの表示対象とし、第２距離以内の場合には、詳細画像の表示対象とする。また、詳細画像の数を所定数以内に制限する場合には、表示重要度の高いものから順番に詳細画像の表示対象とし、所定数を超えた部分の表示重要度の低い施設については簡易画像のみを表示する対象とする。そして、ステップＳ９０３では、ステップＳ９０２で選択された施設については、簡易画像のみを表示し、残りについては、詳細画像表示とする。

また、ステップＳ９０１で、簡易画像のみを表示する条件に適応しなかった場合、つまり、表示される施設関連画像がまばらで、かつ少ない場合などは、ステップＳ９０４に進み、すべての施設関連画像を詳細画像と簡易画像の組合せによって表示する。

次に、図９（ｂ）のフローチャートを用いて、運転者の操作に基づいて簡易画像が指定された場合に、指定された簡易画像に対応する施設の詳細画像を表示する処理について説明する。まず、ステップＳ９１１で、運転者から簡易画像表示から詳細画像表示への切換指示があったか否かを判定する。切換指示があれば、ステップＳ９１２に進み、運転者は、簡易画像を１つ１つ選択指定されたか、表示されている全簡易画像が、一括して指定されたかを判定する。さらにステップＳ９１３に進み、指定された簡易画像を、対応する詳細画像の表示に切り替える。運転者が簡易画像を指定する方法としては、表示ユニット１１０のディスプレイをタッチパネルにして運転者が簡易画像の表示部分に触れる方法の他、リモコンに設けられたポインティングデバイスで指定する方法などが考えられる。また、リモコンやコントロールパネルなどの操作ユニット１５０に、非表示、簡易画像表示、詳細画像表示を切り替えるボタンを設けることも有効である。

次に、ステップＳ５０３の一部として行なわれる、さらに他の処理について図１０を用いて説明する。ステップＳ５０３においては、視認不可能な施設であっても、所定の条件下で施設関連画像の表示を行なう。図１０は、どのような条件の下で、視認不可能な施設について、どのように施設関連画像を表示するのかについて、詳しく示すフローチャートである。視認不可能な施設について、全く施設関連画像を表示しないこととすると、運転者が所望の情報を所望のタイミングで得ることができず、利便性が悪い。そこで、図１０（ａ）に示すフローチャートに従った処理を行なうことによって施設に関する画像を実風景に重畳させて表示する際に、運転者にとって利便性の高い形態で表示し、運転者に対してより効果的に施設についての情報を提供する。

ステップＳ１００１では、図５のステップＳ５０２で抽出された施設のうち、さらに、視認不可能な施設を抽出する。

次に、ステップＳ１００２において、ステップＳ１００１で抽出された施設が、ナビゲーション部４０２において、目的地や中継地や登録地などの指標となっていないか否か判定する。つまり、その施設がナビゲーション関連施設か否かの判定を行なう。

ステップＳ１００２において、視認不可能な施設であってもナビゲーション部４０２の指標となっていると判定された場合には、ステップＳ１００３に進み、その施設を施設関連画像の表示対象とする。この時、視認可能な施設の施設関連画像と、視認不可能な施設の施設関連画像とを識別可能に表示すれば、運転者はその施設関連画像が視認不可能な施設、つまり運転者から見えていない施設の情報を示すものであることを簡単に認識できる。例えば、視認不可能な施設の施設関連画像は、薄い色で表示したり、矢印を破線で表示したり、異なるフォントで文字を表示したりすればよい。また、視認不可能な施設の施設関連画像を、施設の方向を示す簡易画像（矢印など）のみとすることも有効である。さらには、視認不可能な施設については、その施設までの距離に応じて施設関連画像の表示態様（例えば大きさ）を変更すれば、運転者から見えないその施設がどれぐらいの距離に位置しているのかを容易に認識可能となる。また、施設が視認不可能な場合に、その施設を隠している障害物を避けた位置に、その障害物の裏側に施設が存在することを示す態様で、施設関連画像を表示すれば、その施設関連画像が示す施設の位置を容易に認識することができる。

ステップＳ１００２において、ナビゲーション部４０２の指標となっていないと判定した場合には、ステップＳ１００４に進み、運転者による設定データ１０４ｂを参照して、その施設が施設関連画像の表示対象として設定されていないか判定し、設定されている場合には、ステップＳ１００３に進む。ここでは、施設の種類（ジャンル）ごとに、視認不可能な施設についての施設関連画像の表示について設定可能であり、例えば、表示重要度の高い種類の施設については、視認不可能であっても施設関連画像が表示されるが、表示重要度の低い種類の施設については、視認不可能であれば施設関連画像を非表示とする設定が可能である。

ナビゲーション関連施設でもなく、特別な表示設定の対象ともなっていない施設については、本フローの処理を終了し、通常どおり、施設関連画像の表示を行なわない。

また、ある施設が視認可能となって、施設関連画像の表示が開始したのち、その施設がその施設が何か他の施設などの裏に隠れた場合には、図１０（ｂ）の処理を行なう。

即ち、まず、ステップＳ１０１１において、施設関連画像の表示開始と同時にＣＰＵ１０１等に含まれるタイマーを動作させる。次に、ステップＳ１０１２では、施設が視認不可能になったことを検知して、ステップＳ１０１３に進み、タイマーが示す時間が所定時間以上か否かを判定する。つまり、施設関連画像が表示されてから、その施設が視認不可能になるまでの時間をカウントし、所定時間と比較する。

所定時間以上経過している場合には、本フローの処理を終了し、図１０（ａ）の処理を行なう。つまり、図１０（ａ）の処理により、ステップ１０２、ステップＳ１００４の判定でＹＥＳの場合には、結果的に施設関連画像の表示は継続される。

ステップＳ１０１３で所定時間以上経過していないと判定された場合には、ステップＳ１０１４に進み、所定時間以上経過するまで、施設関連画像の表示を継続させる。つまり、一旦表示された施設関連画像については、対応する施設が視認不可能となっても、継続表示時間が所定時間以上となるように表示を継続する。これにより、運転者が施設関連画像を認識する時間が確保され、運転者は、より確実に施設についての情報を得ることができる。

次に、ステップＳ５０３の一部として行なわれる、さらに他の処理について図１１を用いて説明する。ステップＳ５０３においては、施設の種類に応じた様々な表示態様で、施設関連画像の表示を行なう。図１１は、どのような種類の施設について、どのような態様で施設関連画像を表示するのかについて、詳しく示すフローチャートである。

まず、ステップＳ１１０１において、図５のステップＳ５０２で抽出された施設が、どの種類（ジャンル）に属するかを判定する。施設の種類としては、例えば、駅、コンビニエンスストア、ガソリンスタンド、レストラン、デパート、イベント会場、アミューズメントパークなどがあり、各種類について、最大表示距離Ｌ、表示許可画像数Ｎ、視認不可で表示するか否か、などを設定可能である。また、ここで、表示される施設関連画像の数が多い種類の施設については、施設関連画像を表示しないように設定されている。

次にステップＳ１１０２において、その種類の施設の最大表示距離ＬをＨＤＤ１０４内の設定データ１０４ｂから読出し、車両からその施設までの距離と比較する。例えば、ガソリンスタンドであれば１０ｋｍ、駅であれば５ｋｍ、コンビニエンスストアであれば１ｋｍなどと決められている。

最大表示距離Ｌよりも遠方であれば、ステップＳ１１０３に進み、その施設の施設関連画像の表示を規制する。ここでの表示規制方法も、ステップＳ６０５と同様であり、非表示に限定するものではない。なお、車両の案内の指標とされた施設については、施設関連画像の表示を規制しない。

施設が最大表示距離よりも近い場合には、ステップＳ１１０４に進み、その種類に属する施設のうち、車両からの距離が最も近い施設から数えて、表示許可画像数Ｎ番目以下であるか否かを判定する。つまり、判定の対象となる施設と同じ種類の施設が、その施設よりも車両に近い位置にいくつ存在するかをカウントし、その数が表示許可画像数未満か否かを判定する。表示許可画像数Ｎ番目以下であれば、本フローを終了し、施設関連画像を通常どおり表示する。表示許可画像数Ｎ番目を超えていれば、ステップＳ１１０３に進み施設関連画像の表示を規制する。

以上、図１１の処理によれば、運転者にとって重要な種類の施設について、視認不可能か視認可能かに拘わらず施設関連画像を表示して、情報を提供することができる。

次に、ステップＳ５０３の一部として行なわれる、さらに他の処理について図１２を用いて説明する。図１２は、施設関連画像の背景領域の色と、施設関連画像の表示態様との関係について、詳しく示すフローチャートである。図１２の処理により、判別した背景色に応じて、施設関連画像の視認性を向上させるべく、施設関連画像の表示態様を制御する。

まず、ステップＳ１２０１において、施設関連画像を表示しようとする領域を決定する。その領域は、ある程度の広さ（例えば半径１０ｃｍの円）を有している。

次に、ステップＳ１２０２において、ステップＳ１２０１で決定した領域に対応する実風景中における施設関連画像の背景領域の色を判別する。ここでは、背景領域の色を、カメラによる実風景の撮影画像、地図データ、施設関連画像の表示時刻、または運転者の操作、の少なくとも何れか１つに基づいて判別する。すなわち、車両に実風景を撮影する風景撮影用のカメラを搭載し、そのカメラによって取得した撮影画像を解析して、施設関連画像を表示しようとする部分の実風景がどのような色かを判定する。また、３Ｄ地図データを参照して、施設関連画像を表示しようとする部分の実風景が山なのか、空なのかなどを判定し、山であれば緑、空であれば青と判定する。また、表示時刻を考慮して、例えば、昼間であれば空を青と判定し、夕方であれば赤と判定し、夜であれば黒と判定する。さらに、運転者の操作によって、所定の背景領域の色を判定することも可能である。さらに、天候や季節を背景色の判定材料としても良い。

さらに、ステップＳ１２０３において、ステップＳ１２０２で色を判定した背景領域のうち、色の均一な箇所を決定し、施設関連画像の表示位置とする。その際、他の施設関連画像との関係や運転者の視認性を考慮しても良い。

次に、ステップＳ１２０４において、設定データ１０４ｂとして格納された候補色を読出す。これは、運転者などによって予め設定された複数色のグループである。

さらにステップＳ１２０５において、施設関連画像の表示位置が暗いか否かを判定する。ここでの判定は、時刻に基づいて夜か否かを判定したり、天候に基づいて空の明るさを判定したりすることによって行なわれる。暗い位置に施設関連画像を表示する場合には、ステップＳ１２０６に進み、施設関連画像の表示色及び大きさを、所定の色及び大きさ（例えば、表示色は白、大きさは最大）に決定する。

ステップＳ１２０５で、暗くないと判定された場合には、ステップＳ１２０７に進み、ＨＤＤ１０４に蓄積された表示履歴データを参照して、過去に所定回数（或いは所定時間）以上その施設関連画像を表示したか否かを判定する。所定回数以上その施設関連画像を表示している場合には、ステップＳ１２０８に進み、過去の履歴に基づいて施設関連画像の表示色及びその大きさを決定する。

次に、施設関連画像が過去に所定回数以上表示されていない場合には、ステップＳ１２０９に進み、判別した背景色に応じて、ステップＳ１２０４で読出した候補色中から最適な色を決定し、さらにその色に応じて表示の大きさを決定する。

具体的には、判別した背景色とのコントラストが所定範囲になるように、複数の候補色中から施設関連画像の色を選択する。また、過去にその施設関連画像を表示している場合には、過去の表示色や大きさと違和感がないように、複数の候補色中から施設関連画像の色を選択し、大きさを決定する。

そして、ステップＳ１２１０において、決定された位置、大きさ、表示色で施設関連画像を表示する。

以上の図１２の処理により、実風景の色に応じて、施設関連画像の表示態様を変えるので、運転者は、施設関連画像を明確に視認でき、所望の情報を確実に得ることができる。

次に、ステップＳ５０３の一部として行なわれる、さらに他の処理について図１３を用いて説明する。ステップＳ５０３では、運転者による実風景の視認が要求される領域においては、施設関連画像の表示を規制する処理を行なうが、図１３は、そのような処理について詳しく示すフローチャートである。図１３の処理により、運転者が実風景を視認したい領域に、施設に関連する画像を表示した場合の、運転の安全性低下を防止する。例えば、車両の走行路付近や、標識や、交通信号などに重ならないように施設関連画像を表示する。

まず、ステップＳ１３０１において、運転者による実風景の視認が要求される領域を判定する。視認が要求される領域は、運転者にとって視認が要求される実風景中の物とその周辺領域とを含む領域である。ここでは、視認が要求される領域を、車両の走行路、車両の走行を阻害する可能性のある人や物、車両の前方に存在する標識、または、車両の前方に存在する交通信号、の少なくとも何れか１つを検知することにより、判定する。これらの検知は、車両に搭載したカメラで前方の風景を撮影し、パターンマッチングを行なうことによって可能となる。その具体的な方法については、すでに様々な文献によって議論されており既知であるためここでは詳しく説明しない。

図１４には、運転者による実風景の視認が要求される領域として、車両の前方に存在する標識の周辺領域１４０１、車両の走行車線１４０２、車両の走行を阻害する可能性のある人の周辺領域１４０３、交通信号の周辺領域１４０４、車両の走行車線の近傍領域１４０５を示している。車両の走行車線の近傍領域１４０５は、例えば、一車線の道路上であって対向車が現われる可能性のある領域である。また、車両の走行路として、車両操舵角に基づいて検出される車両の進行方向領域を検知しても良い。

次に、ステップＳ１３０２において、視認が要求される領域における、施設関連画像の表示を規制する。ここでの表示規制方法も、ステップＳ６０５と同様であり、非表示に限定するものではない。具体的には、施設関連画像を、視認が要求される領域の外側に表示する。施設が、視認が要求されている領域と隣接して見える場合には、施設から見て視認が要求されている領域とは逆の領域に施設関連画像を表示する。ただし、施設関連画像の重要度が、視認が要求される領域に存在する実風景中の物（標識や信号など）よりも高い場合には、施設関連画像の表示を規制しない。また、施設関連画像の表示の規制時間が所定時間（３秒）以下と予測される場合には、施設関連画像の表示を規制しない。つまり、施設関連画像を表示しても、視認が要求される領域に干渉する時間が短い場合には、施設関連画像を通常どおり表示する。

次に、ステップＳ５０３の一部として行なわれる、さらに他の処理について図１５を用いて説明する。ステップＳ５０３では、運転者の視線を中心とした所定範囲の外側領域において、施設関連画像の表示を規制するが、図１５は、そのような処理について詳しく示すフローチャートである。図１５の処理により、運転者の視線からある程度離れた領域に、施設関連画像が表示されて、その画像の表示に運転者の意識が向いてしまうことによる、運転の安全性低下を防止する。

まず、ステップＳ１５０１では、アイポイントカメラ１４０によって、運転者の視線（目の位置から眼球の向いている方向へ延びる直線）を検出する。

次に、ステップＳ１５０２において、アイポイントを通り、アイポイントカメラ１４０によって検出された視線を中心とする所定範囲として、視線に対して所定角度（例えば３０°）をなす直線群（全体としてアイポイントを頂点とした円錐形を描く）を演算によって求める。この円錐形によって囲まれた範囲は、施設の種類に応じた範囲である。また、この範囲は、個々の運転者に応じた範囲である。つまり、所定範囲を定めるための所定角度（視線とのなす角度）は、施設ごと、運転者ごとに違った値が設定されている。

さらにステップＳ１５０３において、演算によって求められた円錐形領域外部における施設関連画像の表示を規制する。具体的には、円錐形の内部は、運転者が少ない視線移動によって見ることのできる範囲であるが、その範囲外では、運転者の視線移動が比較的大きくなるため、施設関連画像を非表示とするか、或いは目立たなく表示する。また、その範囲外の領域において、施設関連画像の表示開始を禁止する。

ただし、所定範囲外の領域であっても、車両の進行方向付近の領域は施設関連画像の表示規制の対象外とする。車両の進行方向を中心とした所定範囲の領域は、運転者が視線を向けるべき領域と考えられるため、そのような領域に対して運転者が視線移動を行なうことを防止する必要はない。そこで、車両の操舵方向をハンドル位置などから検知し、その方向を中心とした所定範囲の領域と、視線を中心とした所定範囲の領域とにおいては、本フローにおいては規制の対象としない。ただし、車両の進行方向であって、運転者の視認性が確保されるべき領域については、施設関連画像を表示しない。

また、所定範囲外の領域であっても、運転者の視界の外であれば、施設関連画像の表示開始を規制しない。ここで、視界とは、運転者の視線に対して、所定角度（例えば６０°）をなす直線群の描く円錐形を指す。運転者の視界は、ステップＳ１５０２で求めた範囲よりも大きい。逆に言えば、ステップＳ１５０２で規定する所定角度は、運転者の視界よりも小さくなるように設定された角度である。

運転者の視界の外であれば、施設関連画像の表示開始によって、運転者の意識がその方向に向くとは考えにくいためである。従って、運転者の視線に対し、所定範囲の角度（例えば３０°〜６０°）の範囲において、施設関連画像の表示開始を禁止する。

なお、車両が停止している場合、或いは、車両の走行を妨げる物が無い場合には、運転者の視線移動に伴う安全性低下が起こらないため、所定範囲外の領域においても、施設関連画像の表示を規制しない。車両の走行を妨げる物が車両前方に存在するか否かは、車両に設けられた前方撮影用カメラなどを用いて判定できる。さらに、ナビゲーション部４０２において車両の案内の指標とされた施設の施設関連画像については、所定範囲外の領域であっても、施設関連画像の表示を規制しない。

ステップＳ１５０２では、運転者の視線を中心とした所定範囲を求めるのに、視線となす角度を用いているが、フロントウィンドウ上での距離に基づいて所定の範囲を決めても良い。所定範囲を、運転者のフロントウィンドウ上での視点位置から所定距離以下の範囲として定義する場合、ここでの所定距離は、運転者の視点位置によって異なる。

例えば、運転席の前方のウィンドウガラス上で５０ｃｍ離間した２点とアイポイントとを結ぶ線のなす角度はほぼ４５°になるが、助手席前方のウィンドウガラス上で５０ｃｍ離間した２点とアイポイントとを結ぶ線のなす角度は約２０°になる。つまり、助手席側のフロントウィンドウ上では、運転席側に比べて同じ距離だけフロントウィンドウ上で視線移動するにしても、角度の変化が少ない。従って、フロントウィンドウの運転席前方から離れるにつれて、所定距離が大きくなる。例えば、フロントウィンドウの運転席前方では、運転者の視点位置を中心として半径１５ｃｍの円を、ステップＳ１５０２での所定範囲として設定し、助手席前方では、運転者の視点位置を中心として、半径３０ｃｍの円を、ステップＳ１５０２での所定範囲として設定すればよい。

次に、ステップＳ５０３の一部として行なわれる、さらに他の処理について図１６を用いて説明する。ステップＳ５０３では、所定時間内に表示が開始される施設関連画像の数を制限するが、図１６は、そのような処理について詳しく示すフローチャートである。図１６の処理により、多数の施設関連画像の表示が同時に開始されることによる、運転の安全性の低下を防止する。例えば、急カーブを曲がった直後や、峠を抜けた直後など、全く新しい風景が一気に目前に広がると、一気に、多数の画像が運転者の視界内に表示されることにより、運転者を驚かせたり、運転者の視界を遮ったりする。そこで、一気に表示される画像数を制限して、運転の安全性を確保する。

まずステップＳ１６０１では、所定時間（例えば５秒）以内に表示が開始される施設関連画像の数を演算する。これは、３Ｄ地図データと車両位置及び走行方向から、ほぼ同時に視認可能となる施設を、予め特定し、それらのうち、施設関連画像の表示対象となっているものをカウントする。

次に、ステップＳ１６０２において、ステップＳ１６０１でカウントした施設関連画像の数が所定数（例えば１０個）以上か否かを判定する。所定数以下であれば、ステップＳ１６０３に進み、通常どおりすべての施設関連画像の表示を開始する。

ステップＳ１６０２で、所定数以上と判定した場合にはステップＳ１６０４に進み、表示開始を規制する施設関連画像を選択する。ここでは、対応する施設の種別に応じて選択する。また、車両の走行案内の指標（目的地、登録地、中継地など）とされた施設については、施設関連画像の表示規制の対象外とする。また、表示重要度の低い施設関連画像を優先的に表示開始の規制対象とする。さらに、視認不可能となっていた時間が所定時間以上の施設関連画像について表示を規制する。つまり、直前まで表示されていた施設関連画像については、表示規制の対象とせずに、通常どおり表示を開始させる。

次に、ステップＳ１６０５では、選択された施設関連画像について、表示開始のタイミングを遅らせる。つまり、所定時間の経過を待って、選択された施設関連画像の表示を開始する。この時、例えば、最初に簡易画像のみを表示し、その後、所定時間の経過を待って詳細画像を表示しても良い。

また特に、選択された複数の施設関連画像のうち、早く（例えば１秒後に）表示されると予測される施設関連画像よりも、遅く（例えば５秒後に）表示されると予測される施設関連画像の表示開始をより遅らせる。また、この時、距離の近い施設の施設関連画像から順番に表示する。なお、ここで、表示開始のタイミングをずらした旨をスピーカ１５０から運転者に報知しても良い。

次に、ステップＳ５０３の一部として行なわれる、さらに他の処理について図１７を用いて説明する。ステップＳ５０３は、運転者の所定の操作に基づいて施設関連画像の表示の開始を制御する処理を含むが、図１７（ａ）は、そのような処理について詳しく示すフローチャートである。図１７（ａ）の処理により、運転者が所望の情報を所望のタイミングで得ることができる。例えば、視認可能な施設について施設関連画像の表示開始を遅らせることや、施設が視認不可能でも、早めに施設関連画像を表示することができ、利便性が向上する。また、例えば、ある施設の手前に障害物があって視認不可能な場合にでも、運転者は所望の施設関連画像を表示することができる。

まず、ステップＳ１７０１では、図５のステップＳ５０２で抽出された施設のうち、さらに、視認不可能な施設を抽出する。

次に、ステップＳ１７０２において、タイミング補正（または表示開始位置）の設定がある施設か否かを判定し、タイミング補正の設定があれば、ステップＳ１７０３において、設定されたタイミング（または車両位置）となるまで待機し、設定されたタイミング（または車両位置）になれば、ステップＳ１７０５に進んで施設関連画像の表示を開始する。

ステップＳ１７０２でタイミング補正（または表示開始位置）の設定がない施設と判定されると、ステップＳ１７０４に進み、その施設が視認可能となるまで待機し、視認可能となれば、ステップＳ１７０５に進んで施設関連画像の表示を開始する。

一方、図５のステップＳ５０３では、図１７（ａ）のフローとは別に、運転者から走行中にタイミング補正要求があった場合の処理を行なうが、その詳細について図１７（ｂ）に示す。

まず、ステップＳ１７１１で、運転者の操作に基づいて、走行中に表示開始タイミングの補正要求を受け取ると、ステップＳ１７１２に進み、所定時間後に表示が開始される可能性がある施設関連画像を表示する。

次に、ステップＳ１７１３では、運転者による施設関連画像の選択及びその表示開始タイミング（または表示を開始する車両位置）について入力操作を受付け、その操作があれば、ステップＳ１７１４に進む。選択された施設関連画像の表示を開始する車両位置として、操作時の車両位置を設定しても良い。

ステップＳ１７１４では、施設関連画像と、施設関連画像の表示を開始するタイミングの補正値とを対応付けて設定データ１０４ｂとして記憶する。または、施設関連画像と、施設関連画像の表示を開始する車両位置とを対応付けて設定データ１０４ｂとして記憶する。

なお、別途設定画面を表示して、施設の選択及び表示開始タイミング（または車両位置）の入力を促したり、それらの設定を解除したりしても良い。その際、設定操作時の車両位置を、表示開始位置として登録することも可能である。また、表示開始タイミングについて、表示を遅める補正を行なっても良いことはいうまでもない。

（実施形態の効果）
本実施形態によれば、施設に関する画像を実風景に重畳するように表示するので、運転者は、運転中、少ない視線移動で施設の情報を取得することができ、安全性の向上を図ることができる。また、施設が視認可能な時には施設関連画像を表示し、施設が視認不可能な時には施設関連画像を表示しないという表示態様で表示制御を行なうと共に、所定条件が成立した場合には、所定の施設関連画像の表示態様を変更するので、運転者へ不快感をなくし、運転者の利便性を向上することができる。

＜他の実施形態＞
なお、上記実施形態では、上述したＣＰＵ１０１が、図６〜図１７で説明した各処理を実現可能なプログラムを何らかの記憶媒体から読み出して実行することによってその効果が達成されるが、この場合、記憶媒体としては読み書き可能な半導体メモリや、ハードディスクの他、光ディスクや磁気ディスクや光磁気ディスク等のあらゆる記憶デバイスを採用することができ、そのような記憶媒体や、プログラムそのものも本発明の範疇に含まれる。従って、インターネット等を利用することにより電気通信回線を通じて伝達されるデータも本発明の範疇に含まれうる。また、本発明に係る車両用画像表示装置は、上記実施形態に示したような車載システムの一部であっても良いし、単体の専用ユニットであっても良い。

本発明の実施形態に係る車載システムを搭載した車両の全体構成を示す図である。 本発明の実施形態に係る車載システムによって表示された画像の１例を示す図である。 本発明の実施形態に係る車載システムのハードウェア構成を示すブロック図である。 本発明の実施形態に係る車載システムによって表示される設定画面の１例を示す図である。 本発明の実施形態に係る車載システムによって表示される設定画面の１例を示す図である。 本発明の実施形態に係る車載システムの機能構成を示すブロック図である。 本発明の実施形態に係る車載システムの動作について簡単に説明するためのフローチャートである。 本発明の実施形態に係る車載システムの動作について詳細に説明するためのフローチャートである。 本発明の実施形態に係る車載システムの動作について詳細に説明するためのフローチャートである。 本発明の実施形態に係る車載システムの動作について詳細に説明するためのフローチャートである。 本発明の実施形態に係る車載システムの動作について詳細に説明するためのフローチャートである。 本発明の実施形態に係る車載システムの動作について詳細に説明するためのフローチャートである。 本発明の実施形態に係る車載システムの動作について詳細に説明するためのフローチャートである。 本発明の実施形態に係る車載システムの動作について詳細に説明するためのフローチャートである。 本発明の実施形態に係る車載システムの動作について詳細に説明するためのフローチャートである。 運転者の視認を要求される領域について詳細に説明するための図である。 本発明の実施形態に係る車載システムの動作について詳細に説明するためのフローチャートである。 本発明の実施形態に係る車載システムの動作について詳細に説明するためのフローチャートである。 本発明の実施形態に係る車載システムの動作について詳細に説明するためのフローチャートである。

Claims (11)

1. 車両の前方に存在する施設に関する情報を提供するため、前記車両の運転者からウィンドウ越しに視認可能な実風景と重畳されて見えるように、前記施設に関する施設関連画像を表示する車両用画像表示装置であって、
   前記施設が視認可能な時には、所定の施設関連画像を表示し、前記施設が視認不可能な時には前記所定の施設関連画像を表示しないという表示態様にて表示制御を行なう表示制御手段を備え、
   該表示制御手段は、所定条件が成立した場合には、前記所定の施設関連画像の表示態様を変更することを特徴とする車両用画像表示装置。
2. 視認不可能な施設が一時的に視認可能となる視認可能時間を予測する予測手段をさらに有し、
   前記表示制御手段は、予測された前記視認可能時間が所定時間以下の場合には、前記所定条件が成立したものとして、前記施設関連画像の表示を規制することを特徴とする請求項１に記載の車両用画像表示装置。
3. 前記予測手段は、さらに、前記表示制御手段による前記施設関連画像の表示の規制中に、視認可能となっている施設が視認不可能となるまでの視認可能継続時間を予測し、
   前記表示制御手段は、予測された前記視認可能継続時間が所定時間以上の場合には、前記施設関連画像の表示規制を解除することを特徴とする請求項２に記載の車両用画像表示装置。
4. 前記表示制御手段は、予測された前記視認可能時間が所定時間以下の場合には、前記施設が視認可能になっても前記施設関連画像を非表示とすることを特徴とする請求項２に記載の車両用画像表示装置。
5. 前記施設関連画像が表示されている状態で、視認可能な前記施設が一時的に視認不可能となる視認不可能時間を予測する予測手段をさらに備え、
   前記表示制御手段は、予測された前記視認不可能時間が所定時間以下の場合には、前記所定条件が成立したものとして、前記施設関連画像の表示を継続することを特徴とする請求項１に記載の車両用画像表示装置。
6. 前記予測手段は、さらに、前記表示制御手段による前記施設関連画像の表示の継続中に、視認不可能となっている施設が視認可能となるまでの視認不可能継続時間を予測し、
   前記表示制御手段は、予測された前記視認不可能継続時間が所定時間以上の場合には、前記施設関連画像の表示を規制することを特徴とする請求項５に記載の車両用画像表示装置。
7. 前記表示制御手段は、予測された前記視認不可能時間が所定時間以下の場合には、前記施設関連画像が目立たないように表示形態を変更することを特徴とする請求項５に記載の車両用画像表示装置。
8. 前記予測手段は、前記視認可能時間または前記視認不可能時間を、車両の走行状態及び地図上の車両の位置に基づいて予測することを特徴とする請求項２または５に記載の車両用画像表示装置。
9. 前記所定時間は、前記車両から見た前記施設の位置に応じて異なることを特徴とする請求項２乃至８の何れかに記載の車両用画像表示装置。
10. 車両の前方に存在する施設に関する情報を提供するため、前記車両の運転者からウィンドウ越しに視認可能な実風景と重畳されて見えるように、前記施設に関する施設関連画像を表示する車両用画像表示方法であって、
    前記施設が視認可能な時には、所定の施設関連画像を表示し、前記施設が視認不可能な時には前記所定の施設関連画像を表示しないという表示態様にて表示制御を行なう表示制御ステップを含み、
    該表示制御ステップは、所定条件が成立した場合には、前記所定の施設関連画像の表示態様を変更することを特徴とする車両用画像表示方法。
11. 車両の前方に存在する施設に関する情報を提供するため、前記車両の運転者からウィンドウ越しに視認可能な実風景と重畳されて見えるように、前記施設に関する施設関連画像を表示する車両用画像表示装置に、
    前記施設が視認可能な時には、所定の施設関連画像を表示し、前記施設が視認不可能な時には前記所定の施設関連画像を表示しないという表示態様にて表示制御を行なう表示制御ステップを実行させるプログラムであって、
    前記表示制御ステップは、所定条件が成立した場合には、前記所定の施設関連画像の表示態様を変更することを特徴とする車両用画像表示プログラム。

Images