JP2019139368A - 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム - Google Patents

Abstract

【課題】実際の道路との対応関係がわかりやすく且つ視認性の高い運転支援画像の表示を行うことが可能な情報表示装置を提供する。【解決手段】情報表示システム１０は、移動体の周囲の風景画像を取得する画像取得部１１と、移動体の進行方向に障害物が存在しない場合には風景画像を表示部１５に表示させ、移動体の進行方向に障害物が存在する場合には移動体の周囲の風景を障害物の一部を透過しつつ示す透過画像を表示部に表示させる表示制御部と、を有する。表示制御部は、移動体の周囲の所定の地点に関し、かつ、移動体の運転を支援する運転支援画像を、風景画像又は透過画像に重畳して表示させる。【選択図】図２

Description

本発明は、情報表示制御装置に関し、特に、移動体の運転者に向けた情報の表示を行う情報表示制御装置に関する。

車両等の移動体に搭載されたナビゲーション装置等の情報表示装置において、車両のドライバの運転を支援するための運転支援画像の表示が行われている。例えば、進むべきルートを案内するための帯状のルート案内画像や、運転に特に注意を要すべき地点を指示する画像が運転支援画像として表示される。その際、情報表示装置は、実際の風景を撮影した撮影画像に重畳する方法や、ＨＵＤ（ヘッドアップディスプレイ）等により実際の風景に虚像として重畳する方法により、運転支援画像の表示を行う。

例えば、実際の風景を撮影した撮影画像に運転支援画像を重畳して表示する場合、車両の前方に障害物等が存在すると、運転支援画像と障害物とが重なって表示され、運転注意地点の位置やルート案内がわかりづらくなる場合がある。そこで、ルート案内画像と障害物が重なって表示されることを避けるため、撮影画像内の障害物のない上空の位置にルート案内画像を表示する情報表示装置が提案されている（例えば、特許文献１）。

特開２０１２−２３３９０４号公報

上記したように撮影画像内の上空の位置にルート案内画像等の運転支援画像を表示した場合、運転支援画像と実際の道路との対応関係がわかりにくいということが課題の一例として挙げられる。

本発明は上記した点に鑑みてなされたものであり、実際の道路との対応関係がわかりやすく且つ視認性の高い運転支援画像の表示を行うことが可能な情報表示装置を提供することを目的の一つとしている。

請求項１に記載の発明は、情報表示制御装置であって、移動体の周囲の風景画像を取得する画像取得部と、前記移動体の進行方向に障害物が存在しない場合には前記風景画像を表示部に表示させ、前記移動体の進行方向に障害物が存在する場合には前記移動体の周囲の風景を前記障害物の一部を透過しつつ示す透過画像を前記表示部に表示させる表示制御部と、を有し、前記表示制御部は、前記移動体の周囲の所定の地点に関しかつ前記移動体の運転を支援する運転支援画像を前記風景画像又は前記透過画像に重畳して表示させる、ことを特徴とする。

請求項９に記載の発明は、表示部に画像を表示させる情報表示制御装置が実行する情報表示制御方法であって、移動体の周囲の風景画像を取得する画像取得ステップと、 前記移動体の進行方向に障害物が存在しない場合には前記風景画像を前記表示部に表示させ、前記移動体の進行方向に障害物が存在する場合には前記移動体の周囲の風景を前記障害物の一部を透過しつつ示す透過画像を前記表示部に表示させる表示制御ステップと、を含み、前記表示制御ステップは、前記移動体の周囲の所定の地点に関しかつ前記移動体の運転を支援する運転支援画像を前記風景画像又は前記透過画像に重畳して表示させる、ことを特徴とする。

請求項１０に記載の発明は、情報表示制御プログラムであって、コンピュータに、移動体の周囲の風景画像を取得する画像取得ステップと、前記移動体の進行方向に障害物が存在しない場合には前記風景画像を表示させ、前記移動体の進行方向に障害物が存在する場合には前記移動体の周囲の風景を前記障害物の一部を透過しつつ示す透過画像を表示させる表示制御ステップと、を実行させ、前記表示制御ステップは、前記移動体の周囲の所定の地点に関しかつ前記移動体の運転を支援する運転支援画像を前記風景画像又は前記透過画像に重畳して表示させる、ことを特徴とする。

本発明の実施例１の情報表示システムの構成の一例を示すブロック図である。 実施例１の情報表示システムの構成の一例を示すブロック図である。 実施例１の情報表示端末による情報表示処理ルーチンの例を示すフローチャートである。 実施例１の情報表示端末による障害物透過処理ルーチンの例を示すフローチャートである。 表示部に表示される画面の一例を示す図である。 表示部に表示される画面の一例を示す図である。 表示部に表示される画面の一例を示す図である。 表示部に表示される画面の一例を示す図である。 表示部に表示される画面の一例を示す図である。 実施例２の情報表示端末による情報表示の様子を模式的に示す図である。 実施例２の情報表示端末による情報表示処理ルーチンの例を示すフローチャートである。

以下に本発明の好適な実施例を詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一または等価な部分には同一の参照符号を付している。

図１は、実施例１の情報表示システム１０の構成を示している。情報表示システム１０は、情報表示制御装置としての情報表示端末１０Ａ及びサーバ装置１０Ｂを含んでいる。本実施例においては、情報表示端末１０Ａが、移動体としての車両Ｍに搭載されている例について説明する。

情報表示端末１０Ａとサーバ装置１０Ｂとは、ネットワーク（通信路）を介して相互にデータの送受信（通信接続）が可能である。例えば、当該送受信には、ＴＣＰ／ＩＰ等の通信プロトコルが用いられる。また、当該ネットワークは、移動体通信網、Ｗｉ−Ｆｉ（登録商標）等の無線通信及び有線通信を含むインターネット通信により構築され得る。サーバ装置１０Ｂは、複数の車両Ｍに搭載された複数の情報表示端末１０Ａの各々との間で相互にデータの送受信が可能である。

図２は、情報表示端末１０Ａ及びサーバ装置１０Ｂの構成を示している。サーバ装置１０Ｂは、情報表示端末１０Ａ以外の複数の情報表示端末（図示せず）と相互にデータの送受信を行う。そのため、情報表示端末１０Ａには、当該端末を識別するための装置ＩＤが予め割り振られている。

情報表示端末１０Ａは、車両Ｍの周囲の風景画像を取得する画像取得部としてのカメラ１１を有する。カメラ１１は、例えば車両Ｍのフロント部分に搭載されており、車両Ｍが走行する道路を含む前方の風景を撮影して風景画像を取得する。

情報表示端末１０Ａは、ハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）等の記憶装置からなる端末記憶部１２を有する。端末記憶部１２は、情報表示端末１０Ａにおいて実行されるプログラム、情報表示端末１０Ａの動作に必要なデータ、情報表示端末１０Ａの動作において発生するデータ及び外部から取込まれるデータを適宜記憶する。例えば、端末記憶部１２は、車両Ｍが走行する道路の情報を含む地図情報や、サーバ装置１０から取得した運転注意地点等の情報を記憶する。また、端末記憶部１２は、カメラ１１が撮影した風景画像の画像情報を撮影が行われた日時、車両Ｍの位置及び進行方向等の情報と関連付けて記憶する。また、端末記憶部１１は、情報表示端末１０Ａの装置ＩＤを記憶する。

情報表示端末１０Ａは、中央演算処理装置（CPU(Central processing Unit)）等からなる端末制御部１３を有する。端末制御部１３は、情報表示端末１０Ａの動作に必要な制御を行う。例えば、端末制御部１３は、車両Ｍの目的地までの経路探索、サーバ装置１０Ｂへの情報要求、情報表示端末１０Ａの各部の動作の制御等を行う。

画像処理部１４は、カメラ１１により撮影された風景画像に対して画像処理を行う。例えば、画像処理部１４は、風景画像の中から車両Ｍの前方に位置する障害物（例えば、前方車両等の路面上に存在する物体）を検出し、当該障害物を風景画像中において透過させる障害物透過処理を実行する。また、画像処理部１４は、ドライバの運転を支援するための運転支援画像を生成し、当該運転支援画像の風景画像への重畳や風景画像内での視点変換処理等の画像処理を行う。画像処理部１４は、サーバ装置１０Ｂから取得した情報や端末記憶部１２に記憶された過去の風景画像に基づいて、これらの画像処理を行う。

情報表示端末１０Ａは、車両Ｍの運転者に対して情報の提示を行う提示部としての表示部１５及び音声出力部１６を有する。

表示部１５は、液晶ディスプレイや有機ＥＬディスプレイ等の表示装置であり、ドライバによって視認可能に設けられている。表示部１５は、端末制御部１３の制御に応じて、車両Ｍの周囲の風景画像及びこれに重畳された運転支援画像を表示する。

音声出力部１６は、車両Ｍの目的地までのナビゲーション情報やその他の運転支援情報を音声として出力する音響機器である。例えば、音声出力部１４は、経路情報の一部や運転注意地点に関する情報を音声出力する。

情報表示端末１０Ａは、リモートコントローラ又はタッチパネル等の入力機器からなる操作入力部１７を有する。操作入力部１７は、搭乗者からの操作入力を受け付ける。例えば、操作入力部１７は、経路情報の表示を要求する入力、目的地の入力等の操作入力を受け付ける。

情報表示端末１０Ａは、車両Ｍの位置を検出する装置である位置検出部１８を有する。位置検出部１８は、例えばＧＰＳ（Global Positioning System）受信機等の位置特定装置を含み、車両Ｍの位置を検出して位置情報を生成する。

情報表示端末１０Ａは、端末通信部１９を有する。端末通信部１９は、例えば端末制御部１３の指示に従ってデータの送受信を行うためのＮＩＣ（Network Interface Card）等のネットワークアダプタである。送信部としての端末通信部１９は、例えば車両Ｍの位置情報、装置ＩＤ、経路情報及びカメラ１１が撮影した風景画像の画像情報等を送信する。受信部としての端末通信部１９は、例えば事故多発地点等の運転注意地点の情報を含む運転支援情報等を受信する。

続いて、サーバ装置１０Ｂについて説明する。サーバ装置１０Ｂは、サーバ通信部２１を有する。サーバ通信部２１は、例えばＮＩＣ等のネットワークアダプタであり、１又は複数の車両Ｍとの間でデータの送受信を行う。送信部としてのサーバ通信部２１は、例えば運転支援情報を含む配信情報等を情報表示端末１０Ａに送信する。また、受信部としてのサーバ通信部２１は、例えば車両Ｍの位置情報、装置ＩＤ、経路情報及び風景画像の画像情報等を情報表示端末１０Ａから受信する。

サーバ装置１０Ｂは、ハードディスク、フラッシュメモリ、ＳＳＤ、ＲＡＭ等の記憶装置からなるサーバ記憶部２２を有する。サーバ記憶部２２は、サーバ装置１０Ｂにおいて実行されるプログラム、サーバ装置１０Ｂの動作に必要なデータ、サーバ装置１０Ｂの動作において発生するデータ及び外部から取込まれるデータを適宜記憶する。

サーバ記憶部２２は、地図情報ＤＢ２２Ａを有する。地図情報ＤＢ２２Ａには、事故多発地点等の運転注意地点の情報を含む地図情報が格納されている。

また、サーバ記憶部２２は、風景画像ＤＢ２２Ｂを格納する。風景画像ＤＢ２２Ｂには、サーバ通信部２１が複数の車両Ｍから受信した風景画像の画像情報が、当該車両Ｍの位置情報、進行方向情報、走行中のレーン（例えば、右折レーン、直進レーン等）の情報及び撮影された日時の情報と関連付けて格納されている。

サーバ装置１０Ｂは、サーバ制御部２３を有する。サーバ制御部２３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ等により構成され、コンピュータとして機能する。サーバ制御部２３は、サーバ記憶部２２に記憶された各種プログラムを読み出して実行することにより各種機能を実現する。サーバ制御部２３は、受信画像記憶制御部２４を含んでいる。

受信画像記憶制御部２４は、サーバ通信部２１が複数の車両Ｍから受信した風景画像の画像情報を、当該車両Ｍの位置情報、進行方向情報、走行中のレーンの情報及び撮影された日時の情報と関連付けてサーバ記憶部２２の風景画像ＤＢ２２Ｂに記憶させる。その際、受信画像記憶制御部２４は、例えば撮影された位置、時間帯、季節、レーン、進行方向毎に風景画像を分類して風景画像ＤＢ２２Ｂに記憶させる。なお、受信画像記憶制御部２４は、車両Ｍの位置情報に基づいて当該位置の周辺の気象情報を取得し、風景画像を気象状況毎に分類して風景画像ＤＢ２２Ｂに記憶させるようにしても良い。

また、受信画像記憶制御部２４は、風景画像を記憶させる前に画像解析を行い、路面上に前方車両等の障害物が存在する風景画像は除外して風景画像ＤＢ２２Ｂに記憶させる。また、受信画像記憶制御部２４は、撮影された位置、時刻、季節、気象情報等の条件が類似する風景画像が既に存在した場合には、新たに取得した風景画像を上書きして風景画像ＤＢ２２Ｂに記憶させる。

また、サーバ制御部２３は、送信情報生成部２５を含んでいる。送信情報生成部２５は、情報表示端末１０Ａに配信（送信）する配信情報を生成する。例えば、送信情報生成部２５は、車両Ｍの位置情報に基づいて当該位置の周辺の事故多発地点等の運転注意地点の位置情報を取得し、運転注意地点の情報を含む配信情報を生成する。また、送信情報生成部２５は、車両Ｍの位置情報、進行方向情報及びその他の環境情報（例えば、季節、時間帯、気象状況等）を含む画像要求情報の受信に応じて、サーバ記憶部２２の風景画像ＤＢに記憶されている風景画像を抽出し、当該風景画像を含む配信情報を生成する。

図３を参照しつつ、情報表示端末１０Ａが実行する情報表示処理ルーチンＲＴ１について説明する。

情報表示端末１０Ａの端末制御部１３は、例えば、車両Ｍのアクセサリー電源（以下、ＡＣＣ電源と称する）がオンになると、情報表示処理ルーチンＲＴ１を開始する。なお、端末制御部１３は、車両Ｍのエンジンの始動によって情報表示処理ルーチンＲＴ１を開始しても良い。

位置検出部１８は、車両Ｍの現在位置を示す現在位置情報を取得する（ステップＳ１０１）。

端末制御部１３は、端末通信部１９を制御して、車両Ｍの現在位置情報及び車両Ｍに設定されている進行予定経路の経路情報を含む移動情報をサーバ装置１０Ｂに送信させる（ステップＳ１０２）。端末通信部１９は、当該移動情報を所定の時間間隔おきにサーバ装置１０Ｂに送信してもよい。

端末通信部１９は、送信した移動情報に基づいてサーバ装置１０Ｂにおいて生成された、車両Ｍの周辺の運転注意地点の情報やルート案内の情報を含む運転支援情報を受信する（ステップＳ１０３）。

端末制御部１３は、受信した運転支援情報に基づいて、車両Ｍの進行方向に位置する運転注意地点や交差点等の案内地点を特定し、車両Ｍの現在位置が当該案内地点から所定距離の範囲内であるか否かを判定する（ステップＳ１０４）。

車両Ｍの現在位置が案内地点から所定距離の範囲内ではないと判定すると（ステップＳ１０４：Ｎｏ）、端末制御部１３は、画像処理部１４を制御して、移動体の運転を支援する運転支援画像を風景画像の上空の位置に表示するための上空支援画像を生成させる。画像処理部１４は、ステップＳ１０３で受信した運転支援情報に基づいて、運転注意地点を示す運転注意地点指示画像及びルート案内画像を含む運転支援画像を上空支援画像として生成する（ステップＳ１０５）。

一方、車両Ｍの現在位置が案内地点から所定距離の範囲内であると判定すると（ステップＳ１０４：Ｙｅｓ）、端末制御部１３は、画像処理部１４を制御してカメラ１１が撮影した風景画像を解析し、車両Ｍの前方の路面上に前方車両等の障害物があるか否かを判定する（ステップＳ１０６）。

車両Ｍの前方に障害物がないと判定すると（ステップＳ１０６：Ｎｏ）、端末制御部１３は、カメラ１１により撮影された風景画像を端末記憶部１２に記憶させる（ステップＳ１０７）。同時にカメラ１１により撮影された風景画像の画像情報を、撮影時の車両Ｍの位置情報、進行方向情報、及び撮影日時の情報と供にサーバ装置１０Ｂに送信するようにしてもよい。

車両Ｍの前方に障害物があると判定すると（ステップＳ１０６：Ｙｅｓ）、車両Ｍの周囲の風景を障害物の一部（例えば、内部）を透過しつつ示す透過画像を生成する障害物透過処理を実行する（ステップＳ１０８）。

図４は、情報表示端末１０Ａが実行する障害物透過処理ルーチンＲＴ２を示すフローチャートである。

端末制御部１３は、カメラ１１が撮影した風景画像に対応する撮影状況又は撮影環境（例えば、位置、進行方向、時間帯、季節、天候等）で、過去に撮影した障害物を含まない風景画像、または、過去にサーバ装置１０Ｂから受信した障害物を含まない風景画像（以下、代替画像と称する）が端末記憶部１２に記憶されているか否かを判定する（ステップＳ２０１）。

代替画像が端末記憶部１２に記憶されていると判定すると（ステップＳ２０１：Ｙｅｓ）、端末制御部１３は、代替画像を端末記憶部１２から読み出して取得する（ステップＳ２０２）。

代替画像が端末記憶部１２に記憶されていないと判定すると（ステップＳ２０１：Ｎｏ）、端末制御部１３は、端末通信部１９を制御して、代替画像の送信を要求する画像要求をサーバ装置１０Ｂに送信する（ステップＳ２０３）。画像要求は、車両Ｍの位置情報、進行方向情報、及び季節、気象状況、時間帯等を指定する情報を含む。

上記の通り、サーバ装置１０Ｂの風景画像ＤＢ２２Ｂには複数の車両Ｍにおいて撮影された風景画像が記憶されている。サーバ装置１０Ｂは情報表示端末１０Ａからの画像要求に応じて、風景画像ＤＶ２２Ｂに記憶されている複数の風景画像の中から対応する風景画像を代替画像として抽出し、情報表示端末１０Ａに送信する。端末記憶部１２は、代替画像の画像情報をサーバ装置１０Ｂから端末通信部１９を介して受信することにより、代替画像を取得する（ステップＳ２０４）。

画像処理部１４は、カメラ１１により撮影された風景画像と代替画像との位置合わせを行う（ステップＳ２０５）。例えば、画像処理部１４は、両方の画像中に共通して含まれる特徴物（特徴となる部分）を検出し、特徴物の位置の一致度合いが高くなるように位置合わせを行う。

位置合わせの完了後、画像処理部１４は、風景画像に含まれる障害物のエッジを検出する（ステップＳ２０６）。

画像処理部１４は、検出した障害物のエッジを基準として、代替画像のうち、カメラ１１により撮影された風景画像中の障害物に重畳すべき領域（すなわち、代替画像における障害物の位置に対応する領域）をトリミングする（ステップＳ２０７）。

画像処理部１４は、トリミングした代替画像を風景画像に重畳し、風景画像中の障害物の一部（例えば、内部）が疑似的に透過された透過画像を生成する（ステップＳ２０８）。その際、画像処理部１４は、例えば車両Ｍから案内地点までの距離に応じて障害物の透過度合い（例えば、半透明、全透明等）を変化させつつ、透過画像を生成する。

再び図３を参照すると、端末制御部１３は、画像処理部１４を制御して、移動体の運転を支援する運転支援画像を風景画像の路面上に表示するための路面支援画像を生成させる。画像処理部１４は、ステップＳ１０３で受信した運転支援情報に基づいて、運転注意地点を示す運転注意地点指示画像及びルート案内画像を含む運転支援画像を路面支援画像として生成する（ステップＳ１０９）。

端末制御部１３は、表示部１５を制御して、画像処理部１４がステップＳ１０５で生成した上空支援画像又はステップＳ１０９で生成した路面支援画像を、カメラ１１が撮影した風景画像又はステップＳ１０８の障害物透過処理で生成した透過画像に重畳して表示させる（ステップＳ１１０）。

図５Ａは、車両Ｍが案内地点に接近していない状態（すなわち、車両Ｍの現在位置が案内地点から所定距離の範囲内ではない場合）において、表示部１５に表示される画像の一例を示す図である。事故多発地点等の運転注意地点を示す運転注意地点指示画像ＤＣ及びルート案内画像ＲＧが、運転支援画像として風景画像内の上空の位置に表示される。また、車両Ｍの前方車両ＦＶはそのまま表示される。

図５Ｂは、車両Ｍが案内地点に接近した場合において、表示部１５に表示される画像の一例を示す図である。車両Ｍが案内地点に接近すると、風景画像内の上空の位置に表示されていた運転支援画像（上空支援画像）がフェードアウトし、路面上の位置に運転支援画像（路面支援画像）がフェードインして表示される。

図５Ｃは、車両Ｍが案内地点に接近した場合において、表示部１５に表示される画像の一例を示す図である。車両Ｍが案内地点に接近すると、前方車両ＦＶが障害物として検出され、前方車両ＦＶの内部を透過して示す透過画像が表示される。その際、前方車両ＦＶの透過度合いは車両Ｍと案内地点との間の距離に応じて変化し、車両Ｍが案内地点に近づくにつれて前方車両ＦＶは徐々に透けるように（例えば、半透明の状態から全透明の状態となるように）表示される。

図５Ｄは、車両Ｍがさらに案内地点に接近した場合において、表示部１５に表示される画像の一例を示す図である。図５Ｃに示した状態よりもさらに車両Ｍが案内地点に接近すると、障害物である前方車両ＦＶの内部は全透明の状態で表示される。その際、前方車両ＦＶの位置を示すため、例えば前方車両ＦＶの輪郭を示す輪郭画像ＦＶＣが表示される。

図５Ｅは、車両Ｍが案内地点に接近した場合における、表示部１５に表示される画像の他の一例を示す図である。ここでは、障害物である前方車両ＦＶの内部を透過して輪郭を表示する代わりに、前方車両ＦＶの上側部分を表示しつつ下側部分（路面と重なる部分）を透過する場合を例として示している。このように、透過画像は障害物のうち、運転支援画像が重なる部分を透過する画像であっても良い。

なお、ここまで、情報表示端末１０Ａが、サーバ装置１０Ｂから受信した運転支援情報に基づいて、運転支援画像を生成する例を説明したが、これに限定されず、情報表示端末１０Ａが、端末記憶部１２に運転注意地点の位置情報を含む地図情報を記憶しており、当該地図情報に基づいて運転注意地点指示画像及びルート案内画像を含む運転支援画像を生成するものであってもよい。

以上のように、本実施例の情報表示端末１０Ａは、車両Ｍが運転注意地点や交差点等の案内地点から離れている場合には、風景画像の上空の位置に運転支援画像を重畳して表示させる。これにより、車両Ｍを運転するドライバは、障害物の有無等の路面の状況に関わらず運転支援画像を視認することができ、運転注意地点の位置やルート案内の情報を大まかに把握することが可能となる。

また、本実施例の情報表示端末１０Ａは、車両Ｍが案内地点に接近した場合には、風景画像の地面近傍（例えば、路面上）の位置に運転支援画像を重畳して表示させる。これにより、車両Ｍを運転するドライバは、運転注意地点の位置やルート案内を路面と対応付けて具体的に認識することが可能となる。

また、本実施例の情報表示端末１０Ａは、前方車両等の障害物が車両Ｍの進行方向に存在する場合には、車両Ｍの案内地点への接近に応じて、障害物の一部（例えば、内部）を透過させて示す透過画像を表示させる。これにより、車両Ｍを運転するドライバは、障害物に妨げられることなく、運転注意地点の位置やルート案内を認識することが可能となる。

図６及び図７を参照しつつ、実施例２の情報表示システムについて説明する。本実施例の情報表示システムは、情報表示端末１０Ａの表示部１５の構成及び動作において、図２に示した実施例１の情報表示システムと異なる。

本実施例の表示部１５は、車両Ｍの前方の実際の風景に重畳して虚像を表示するヘッドアップディスプレイ（ＨＵＤ：Head-up Display）である。表示部１５は、運転注意地点指示画像及びルート案内画像を含む運転支援画像を虚像として表示する。

図６に示すように、表示部１５は、投影装置３１及び反射鏡３２を有する。投影装置３１は、画像処理部１４が生成した運転支援画像を示す画像光を反射鏡３２に向けて投射する。反射鏡３２で反射された画像光は、車両ＭのフロントガラスＦＧで反射してドライバの瞳に入射する。

図７を参照しつつ、本実施例の情報表示端末１０Ａが実行する情報表示処理ルーチンＲＴ３について説明する。情報表示端末１０Ａの端末制御部１３は、車両ＭのＡＣＣ電源がオンになると、情報表示処理ルーチンＲＴ３を開始する。

位置検出部１８は、車両Ｍの現在位置を示す現在位置情報を取得する（ステップＳ３０１）。

端末制御部１３は、端末通信部１９を制御して、車両Ｍの現在位置情報及び車両Ｍに設定されている進行予定経路の経路情報を含む移動情報をサーバ装置１０Ｂに送信させる（ステップＳ３０２）。端末通信部１９は、当該移動情報を所定の時間間隔おきにサーバ装置１０Ｂに送信してもよい。

端末通信部１９は、送信した移動情報に基づいてサーバ装置１０Ｂにおいて生成された、車両Ｍの周辺の運転注意地点の情報やルート案内の情報を含む運転支援情報を受信する（ステップＳ３０３）。

端末制御部１３は、受信した運転支援情報に基づいて、車両Ｍの進行方向に位置する運転注意地点や交差点等の案内地点を特定し、車両Ｍの現在位置が当該案内地点から所定距離の範囲内であるか否かを判定する（ステップＳ３０４）。

車両Ｍの現在位置が案内地点から所定距離の範囲内ではないと判定すると（ステップＳ３０４：Ｎｏ）、端末制御部１３は、画像処理部１４を制御して、移動体の運転を支援する運転支援画像を風景画像の上空の位置に表示するための上空支援画像を生成させる。画像処理部１４は、ステップＳ１０３で受信した運転支援情報に基づいて、運転注意地点を示す運転注意地点指示画像及びルート案内画像を含む運転支援画像を上空支援画像として生成する（ステップＳ３０５）。

表示部１５の投影装置３１は、上空支援画像に対応する画像光を反射鏡３２の上端側に投射する（ステップＳ３０６）。反射鏡３２の上端側で反射した画像光は、フロントガラスＦＧの上端部側で反射してドライバの瞳に入射する。図６に示すように、ドライバはフロントガラスＦＧ越しに車両Ｍの前方の風景の上空付近に重畳された上空支援画像ＵＧを視認する。

ステップＳ３０４において車両Ｍの現在位置が案内地点から所定距離の範囲内であると判定すると（ステップＳ３０４：Ｙｅｓ）、端末制御部１３は、画像処理部１４を制御して、移動体の運転を支援する運転支援画像を風景画像の路面上に表示するための路面支援画像を生成させる。画像処理部１４は、ステップＳ１０３で受信した運転支援情報に基づいて、運転注意地点を示す運転注意地点指示画像及びルート案内画像を含む運転支援画像を路面支援画像として生成する（ステップＳ３０７）。

表示部１５の投影装置３１は、路面支援画像に対応する画像光を反射鏡３２の下端側に投射する（ステップＳ３０８）。反射鏡３２の下端側で反射した画像光は、フロントガラスＦＧの下端部側で反射してドライバの瞳に入射する。図６に示すように、ドライバはフロントガラスＦＧ越しに車両Ｍの前方の風景の地面近傍に重畳された路面支援画像ＤＧを視認する。

以上のように、本実施例の情報表示端末１０Ａは、車両Ｍが運転注意地点や交差点等の案内地点から離れている場合には、車両Ｍの前方の風景の上空の位置に運転支援画像の虚像を重畳して表示させる。これにより、車両Ｍを運転するドライバは、障害物の有無等の路面の状況に関わらず運転支援画像を視認することができ、運転注意地点の位置やルート案内の情報を大まかに把握することが可能となる。

また、本実施例の情報表示端末１０Ａは、車両Ｍが案内地点に接近した場合には、車両Ｍの前方の風景の地面近傍（例えば、路面上）の位置に運転支援画像の虚像を重畳して表示させる。これにより、車両Ｍを運転するドライバは、運転注意地点の位置やルート案内を路面と対応付けて具体的に認識することが可能となる。

なお、本発明は上記実施形態に限定されない。例えば、上記実施例では、情報表示端末１０Ａが、移動体としての車両Ｍに搭載されている例について説明した。しかし、情報表示端末１０Ａは車載ナビゲーション装置のような車載装置に限定されず、ナビゲーション機能を実行可能な携帯端末やスマートフォン等であっても良い。

また、上記実施例１では、表示部１５が障害物の内部や下側部分を透過して示す透過画像を表示する例について説明した。しかし、透過画像において透過する対象は障害物の内部や下側部分に限られず、障害物の少なくとも一部を透過させるものであれば良い。

また、上記実施例１では、透過画像とともに障害物の輪郭を示す画像を表示する例や、障害物の上側部分を残しつつ下側部分を透過させる例について説明した。しかし、これらとは異なり、障害物全体が透過された画像（すなわち、障害物が完全に見えない状態の画像）を透過画像として表示しても良い。この場合、画像処理部１４による代替画像のトリミングを経ることなく、代替画像をそのまま透過画像として表示することが可能である。

また、上記実施例では、車両Ｍから案内地点までの距離が所定距離以上である場合には上空の位置に運転支援画像を表示し、所定距離未満である場合には地面近傍（例えば、路面上）に運転支援画像を表示する場合を例として説明した。しかし、運転支援画像を表示する位置はこれらに限られず、表示部１５は、車両Ｍから案内地点までの距離が所定距離以上である場合には、風景画像中の第１の高さの位置に運転支援画像を表示し、所定距離未満である場合には第１の高さよりも低い第２の高さの位置に運転支援画像を表示するものであれば良い。すなわち、表示部１５は、車両Ｍから案内地点までの距離に応じて運転支援画像の表示位置の高さを変更するものであれば良い。

また、表示部１５は、車両Ｍから案内地点までの距離に応じて運転支援画像の表示位置の高さを変更することに加えて、障害物の有無に応じて運転支援画像の表示位置の高さを変更しても良い。例えば、表示部１５は、車両Ｍの進行方向に前方車両等の障害物が存在し且つ案内地点までの距離が所定距離以上である場合には第１の高さ（例えば、上空）の位置に運転支援画像を表示し、障害物が存在せず且つ案内地点までの距離が所定距離以上である場合には第１の高さよりも低い第２の高さの位置（例えば、路面から数メートルの高さに浮揚した状態）で運転支援画像を表示し、案内地点までの距離が所定距離未満となった場合には障害物の有無にかかわらず第２の高さよりも低い第３の高さ（例えば、路面上）の位置に運転支援画像を表示する構成であっても良い。

１０ 情報表示システム
１０Ａ 情報表示端末
１０Ｂ サーバ装置
１１ カメラ
１２ 端末記憶部
１３ 端末制御部
１４ 画像処理部
１５ 表示部
１６ 音声出力部
１７ 操作入力部
１８ 位置検出部
１９ 端末通信部
２１ サーバ通信部
２２ サーバ記憶部
２２Ａ 地図情報ＤＢ
２２Ｂ 風景画像ＤＢ
２３ サーバ制御部
２４ 受信画像記憶制御部
２５ 送信情報生成部
３１ 投影装置
３２ 反射鏡

Claims (10)

1. 移動体の周囲の風景画像を取得する画像取得部と、
   前記移動体の進行方向に障害物が存在しない場合には前記風景画像を表示部に表示させ、前記移動体の進行方向に障害物が存在する場合には前記移動体の周囲の風景を前記障害物の一部を透過しつつ示す透過画像を前記表示部に表示させる表示制御部と、
   を有し、
   前記表示制御部は、前記移動体の周囲の所定の地点に関しかつ前記移動体の運転を支援する運転支援画像を前記風景画像又は前記透過画像に重畳して表示させる、
   ことを特徴とする情報表示制御装置。
2. 前記透過画像は、前記障害物の内部を透過しつつ前記移動体の周囲の風景を示す画像であることを特徴とする請求項１に記載の情報表示制御装置。
3. 前記表示制御部は、前記画像取得部が取得した前記風景画像に障害物が含まれる場合に、当該風景画像に対応する地点における前記障害物を含まない過去の風景画像に基づいて、前記透過画像を表示させることを特徴とする請求項１に記載の情報表示制御装置。
4. 前記表示制御部は、前記風景画像が撮影された環境に対応する環境で撮影された過去の風景画像に基づいて、前記透過画像を表示させることを特徴とする請求項３に記載の情報表示制御装置。
5. 他の装置との間で無線通信を行う通信部を有し、
   前記表示制御部は、前記通信部が前記他の装置から取得した前記過去の風景画像に基づいて前記透過画像を表示させる、
   ことを特徴とする請求項３又は４に記載の情報表示制御装置。
6. 前記画像取得部が取得した前記風景画像及び当該風景画像に対応する地点における前記障害物を含まない過去の風景画像に基づいて前記透過画像を生成する画像処理部を有することを特徴とする請求項１乃至５のいずれか１に記載の情報表示制御装置。
7. 前記表示制御部は、前記透過画像とともに前記障害物の輪郭を表示させることを特徴とする請求項１乃至６のいずれか１項に記載の情報表示制御装置。
8. 前記表示制御部は、前記移動体から前記所定の地点までの距離に応じて、前記透過画像における前記障害物の透過度合いを変化させることを特徴とする請求項１乃至７のいずれか１項に記載の情報表示制御装置。
9. 表示部に画像を表示させる情報表示制御装置が実行する情報表示制御方法であって、
   移動体の周囲の風景画像を取得する画像取得ステップと、
   前記移動体の進行方向に障害物が存在しない場合には前記風景画像を前記表示部に表示させ、前記移動体の進行方向に障害物が存在する場合には前記移動体の周囲の風景を前記障害物の一部を透過しつつ示す透過画像を前記表示部に表示させる表示制御ステップと、
   を含み、
   前記表示制御ステップは、前記移動体の周囲の所定の地点に関しかつ前記移動体の運転を支援する運転支援画像を前記風景画像又は前記透過画像に重畳して表示させることを特徴とする情報表示制御方法。
10. コンピュータに、
    移動体の周囲の風景画像を取得する画像取得ステップと、
    前記移動体の進行方向に障害物が存在しない場合には前記風景画像を表示させ、前記移動体の進行方向に障害物が存在する場合には前記移動体の周囲の風景を前記障害物の一部を透過しつつ示す透過画像を表示させる表示制御ステップと、
    を実行させ、
    前記表示制御ステップは、前記移動体の周囲の所定の地点に関しかつ前記移動体の運転を支援する運転支援画像を前記風景画像又は前記透過画像に重畳して表示させることを特徴とする情報表示制御プログラム。

Images