JP2019082382A - 重畳画像表示装置 - Google Patents

Abstract

【課題】車両の周辺に存在する道路標識や道路標示の内容を車両の乗員に正しく理解させることを可能にした重畳画像表示装置を提供する。【解決手段】車両周辺に道路標識又は道路標示が存在する場合において、存在する道路標識又は道路標示に重畳して視認される被覆画像を表示し、一方で道路標識又は道路標示が存在する位置とは異なる位置に、道路標識又は道路標示によって提供される情報を車両の乗員に対応した内容に変換した情報を示す変換画像を表示する。【選択図】図６

Description

本発明は、道路標識又は道路標示に関する情報の案内を行う重畳画像表示装置に関する。

従来より、車両を運転する運転者に対して認識させたい対象物として、特に交通に関する規制や指示を案内する道路標識や道路標示が存在する。しかしながら、道路標識や道路標示は国毎に様式が異なっており、また記載される言語も異なっている。従って、他国の運転者が道路標識や道路標示を視認した場合に、道路標識や道路標示の内容を正しく理解できない問題があった。

そこで、例えば特開２００９−１０９４０４号公報には、車両の進行方向に存在する道路標識を検出した場合に、検出した道路標識に対応する運転者の母国の道路標識をデータベースから選択し、選択された道路標識の画像を車内の表示装置に表示することによって道路標識の内容を案内する技術について開示されている。

特開２００９−１０９４０４号公報（第５−７頁）

しかしながら、上記特許文献１のように運転者の母国に対する内容へと変換した道路標識を車内の表示装置に表示する技術では、運転者は道路標識の内容を把握する為に視線を車両の進行方向から外す必要がある。また、車両の進行方向前方に複数の道路標識が存在する場合においては、表示装置に表示された道路標識がどの道路標識に対応しているのかを把握するのが難しい問題もある。

ここで、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段の一つとして、ヘッドアップディスプレイ（以下、ＨＵＤという）やウインドウシールドディスプレイ（以下、ＷＳＤという）のように運転者の周辺環境（風景）に重畳する画像を表示することによって、情報の提供を行う装置について提案されている（例えば特開２００８−２８８６５７号公報）。上記のようなＨＵＤやＷＳＤでは、運転者の視線方向を前方から逸らすことなく、運転者の視界にあって運転者に認識させたい対象物に対する情報を表示することが可能である。例えば図９に示すように車両の進行方向前方に４０ｋｍ／ｈの速度制限を示す道路標識１０１がある場合において、道路標識１０１に重畳して２５ｍｉ／ｈに変換した道路標識の画像１０２を重畳表示することが可能である。

しかしながら、図９に示すように上記ＨＵＤやＷＳＤを用い、運転者の母国に対する内容へと変換した道路標識の画像１０２を、運転者の視線方向にある道路標識１０１に重畳して視認させる場合には、以下の新たな問題が生じていた。即ち、車両の走行に伴って運転者から視認する道路標識１０１の位置が随時変化する為、道路標識１０１に対して正確に画像１０２の重畳を維持することが難しい。そして、重畳する位置がズレてしまうと、図１０に示すように運転者からは道路標識が２つ存在するように視認されてしまい、道路標識の内容を正しく理解させることができなくなる。特に図１０に示す例では、制限速度が２５ｍｉ／ｈであるのか４０ｍｉ／ｈであるのか判断できない。尚、路面に描かれた道路標示においても上述した道路標識と同様の問題が生じる。

本発明は前記従来における問題点を解消するためになされたものであり、車両の周辺に存在する道路標識や道路標示の内容を車両の乗員に正しく理解させることを可能にした重畳画像表示装置を提供することを目的とする。

前記目的を達成するため本発明に係る重畳画像表示装置は、車両に搭載され、表示した画像を車両周辺の周辺環境に重畳して視認させる重畳画像表示装置であって、前記周辺環境に道路標識又は道路標示が存在する場合に、存在する前記道路標識又は道路標示である重畳対象物に重畳して視認される被覆画像を表示する被覆画像表示手段と、前記重畳対象物が存在する位置とは異なる位置に、前記重畳対象物によって提供される情報を前記車両の乗員に対応した内容に変換した情報を示す変換画像を表示する変換画像表示手段と、を有する。

前記構成を有する本発明に係る重畳画像表示装置によれば、車両周辺に道路標識又は道路標示がある場合において、道路標識又は道路標示に重畳して被覆画像を表示することによって、実在する道路標識又は道路標示については車両の乗員から視認させないようにする一方で、道路標識又は道路標示を乗員に対応した内容に変換した画像を新たに表示するので、車両の周辺に存在する道路標識や道路標示の内容を車両の乗員に正しく理解させることが可能となる。

本実施形態に係る重畳画像表示装置の概略構成図である。 本実施形態に係るナビゲーション装置を示したブロック図である。 道路標識・道路標示ＤＢに格納される情報の一例を示した図である。 本実施形態に係る走行支援処理プログラムのフローチャートである。 フロントカメラによって撮像される撮像画像を示した図である。 車両の進行方向前方に道路標識が存在する場合において、ＨＵＤによる画像の表示を行わない場合と行う場合における車両の乗員から視認される前方環境を比較して示した図である。 被覆画像の生成処理のサブ処理プログラムのフローチャートである。 画像の修復について説明した図である。 従来技術の問題点を説明した図である。 従来技術の問題点を説明した図である。

以下、本発明に係る重畳画像表示装置を具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係る重畳画像表示装置１の概略構成について図１を用いて説明する。図１は本実施形態に係る重畳画像表示装置１の概略構成図である。

図１に示すように重畳画像表示装置１は、車両２に搭載されたナビゲーション装置３と、同じく車両２に搭載されるとともにナビゲーション装置３と接続されたヘッドアップディスプレイ装置（以下、ＨＵＤという）４とを基本的に有する。

ここで、ナビゲーション装置３は、目的地までの推奨経路を探索したり、サーバから取得したりメモリに格納された地図データに基づいて車両２の現在位置周辺の地図画像を表示したり、車両の走行を支援する為の案内をＨＵＤ４とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置３が備えている必要はなく、少なくとも車両の走行を支援する為の案内を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置３の構造の詳細については後述する。

一方、ＨＵＤ４は、車両２のダッシュボード５内部に設置されており、内部には映像が表示される映像表示面である液晶ディスプレイ６を有する。そして、液晶ディスプレイ６に投射された映像を、後述のようにＨＵＤ４が備える凹面鏡７等を介し、更に運転席の前方のフロントウィンドウ８に反射させて車両２の乗員９に視認させるように構成されている。尚、液晶ディスプレイ６に表示される映像としては、車両２に関する情報や乗員９の運転の支援の為に用いられる各種情報がある。例えば乗員９に対して警告対象となる対象物（他車両や歩行者）に対する警告、ナビゲーション装置３で設定された案内経路や案内経路に基づく案内情報（右左折方向を示す矢印等）、車両周辺にある道路標識や道路標示に関する情報、現在車速、広告画像、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。

また、本実施形態のＨＵＤ４では、フロントウィンドウ８を反射して乗員９が液晶ディスプレイ６に表示された映像を視認した場合に、乗員９にはフロントウィンドウ８の位置ではなく、フロントウィンドウ８の先の遠方の位置に液晶ディスプレイ６に表示された映像が虚像１０として視認されるように構成される。また、虚像１０は車両前方の周辺環境（実景）に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物（路面、建築物、道路標識、道路標示、警告対象となる動体物等）に重畳させて表示させることも可能である。尚、乗員９が視認できる虚像１０は液晶ディスプレイ６に表示された映像であるが、凹面鏡７やその他のミラーを介することによって上下方向や左右方向が反転する場合があり、それらの反転を考慮して液晶ディスプレイ６の映像の表示を行う必要がある。また、凹面鏡７を介することによってサイズも変更する。

ここで、虚像１０を生成する位置、より具体的には乗員９から虚像１０までの距離（以下、結像距離という）Ｌについては、ＨＵＤ４が備える凹面鏡７の曲率、液晶ディスプレイ６と凹面鏡７との相対位置等によって適宜設定することが可能である。例えば、凹面鏡７の曲率が固定であれば、液晶ディスプレイ６において映像の表示された位置から凹面鏡７までの光路に沿った距離（光路長）によって結像距離Ｌが決定される。例えば結像距離Ｌが２．５ｍとなるように光路長が設定されている。

また、本実施形態では車両前方の周辺環境（実景）に重畳する画像を表示する手段としてＨＵＤ４を用いているが、他の手段を用いても良い。例えば、フロントウィンドウ８に対して映像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。ＷＳＤでは、フロントウィンドウ８をスクリーンとしてプロジェクタから映像を表示しても良いし、フロントウィンドウ８を透過液晶ディスプレイとしても良い。ＷＳＤによってフロントウィンドウ８に対して表示された画像は、ＨＵＤ４と同様に車両前方の周辺環境（実景）に重畳する画像となる。

また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ１１が設置される。フロントカメラ１１は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ１１により撮像された撮像画像に対して画像処理が行われることによって、フロントウィンドウ８越しに乗員９に視認される前方環境（即ち虚像１０が重畳される環境）の状況等が検出される。尚、フロントカメラ１１の設置位置及び光軸方向は、通常時における車両の乗員９の視線開始点（目の位置）及び視線方向に対応させるのが望ましい。それによって、フロントカメラ１１により撮像された撮像画像を乗員９が視認できる前方環境（視界）と対応させることが可能となる。

また、車両のインストルメントパネルの上面には車内カメラ１２が設置される。車内カメラ１２は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。そして、運転席に座った乗員９の顔を撮像する。そして、車内カメラ１２により撮像された撮像画像に対して画像処理が行われることによって、乗員９の目の位置（視線開始点）や視線方向を検出する。

次に、上記重畳画像表示装置１を構成するナビゲーション装置３の概略構成について図２を用いて説明する。図２は本実施形態に係るナビゲーション装置３を示したブロック図である。

図２に示すように本実施形態に係るナビゲーション装置３は、ナビゲーション装置３が搭載された車両２の現在位置を検出する現在位置検出部１３と、各種のデータが記録されたデータ記録部１４と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１５と、ユーザからの操作を受け付ける操作部１６と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ１７と、経路案内に関する音声ガイダンスを出力するスピーカ１８と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１９と、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール２０と、を有する。また、ナビゲーション装置３はＣＡＮ等の車載ネットワークを介して、前述したＨＵＤ４、フロントカメラ１１及び車内カメラ１２等が接続されている。

以下に、ナビゲーション装置３が有する各構成要素について順に説明する。
現在位置検出部１３は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１５に出力する。そして、ナビゲーションＥＣＵ１５は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置３が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置３が備える構成としても良い。

また、データ記録部１４は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や道路標識・道路標示ＤＢ３２や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１４はハードディスクの代わりにフラッシュメモリやメモリーカードやＣＤやＤＶＤ等の光ディスクを有していても良い。また、地図情報ＤＢ３１や道路標識・道路標示ＤＢ３２は外部のサーバに格納させ、ナビゲーション装置３が通信により取得する構成としても良い。

ここで、地図情報ＤＢ３１は、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設等の地点に関する地点データ、各交差点に関する交差点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等が記憶された記憶手段である。

一方、道路標識・道路標示ＤＢ３２は、全国各地に設置された道路標識及び道路標示に関する情報が格納された記憶手段である。具体的には図３に示すように道路標識及び道路標示の種類毎に、外観の画像と、規制や指示の内容とが紐付けて格納される。また、外観の画像については、日本のみではなく、日本以外の各国における外観の画像が格納されている。また、速度や距離に関する道路標識及び道路標示に関しては、国毎に使用される単位系によって数字が変化する場合もある。例えば、上限速度４０ｋｍ／ｈを示す道路標識では、メートル法を用いる国では標識内の数字は『４０』となるが、ヤード・ポンド法を用いる国では『２５』となる。尚、図３では道路標識のみを示しているが道路標示についても同様に記憶されている。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１５は、ナビゲーション装置３の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の走行支援処理プログラム（図４）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１５は、処理アルゴリズムとしての各種手段を有する。例えば、被覆画像表示手段は、周辺環境に道路標識又は道路標示が存在する場合に、存在する道路標識又は道路標示である重畳対象物に重畳して視認される被覆画像を表示する。変換画像表示手段は、重畳対象物が存在する位置とは異なる位置に、重畳対象物によって提供される情報を車両の乗員に対応した内容に変換した情報を示す変換画像を表示する。

操作部１６は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１５は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１６は液晶ディスプレイ１７の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。

また、液晶ディスプレイ１７には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、本実施形態では情報の表示手段としてＨＵＤ４を備えているので、上記地図画像等の表示をＨＵＤ４で行う構成とすれば液晶ディスプレイ１７は省略しても良い。

また、スピーカ１８は、ナビゲーションＥＣＵ１５からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。

また、ＤＶＤドライブ１９は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１９に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール２０は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

続いて、前記構成を有する重畳画像表示装置１の内、特にナビゲーション装置３において実行する走行支援処理プログラムについて図４に基づき説明する。図４は本実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、ＨＵＤ４を用いて車両２の乗員９に車両周辺に位置する道路標識や道路標示に関する案内を行うプログラムである。尚、以下の図４及び図７にフローチャートで示されるプログラムは、ナビゲーション装置３が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。

先ず、走行支援処理プログラムでは、ステップ（以下、Ｓと略記する）１においてＣＰＵ４１は、車両の乗員（運転者）９が在住する国（母国）を取得する。尚、乗員９の母国については、乗員９の発する言語からナビゲーション装置３が判別しても良いし、ナビゲーション装置３の設定画面等において乗員９に予め選択させるようにしても良い。また、本実施形態では乗員９が車両２を運転する国と、乗員９の母国は基本的に異なる（例えば乗員９が旅行等によって他国を訪問して車両２を運転している）ことを前提とする。

次に、Ｓ２においてＣＰＵ４１は、ナビゲーション装置３のシステム言語を前記Ｓ１で取得した乗員９の母国に対応する言語（母国語）に設定する。それによって、ナビゲーション装置３において表示される言語や出力される音声が、乗員の母国語となる。

続いて、Ｓ３においてＣＰＵ４１は、フロントカメラ１１で撮像した撮像画像を取得する。尚、フロントカメラ１１は、前述したように車両の乗員９の視線開始点（目の位置）及び視線方向に対応させて設置されているので、フロントカメラ１１により撮像される撮像画像は、通常時においてフロントウィンドウ８越しに乗員９に視認される前方環境（視界）に相当する。

その後、Ｓ４においてＣＰＵ４１は、前記Ｓ３で取得した撮像画像に基づいて、撮像画像中に道路標識又は道路標示が含まれているか否か判定する。尚、前記Ｓ４ではフロントカメラ１１により撮像した撮像画像に対して、例えば特徴点やテンプレートを用いた画像認識処理を行うことにより判定する。尚、それらの画像認識処理については既に公知であるので説明は省略する。

そして、撮像画像中に道路標識又は道路標示が含まれていると判定された場合（Ｓ４：ＹＥＳ）、即ち車両の進行方向前方に道路標識又は道路標示が存在すると判定された場合には、Ｓ５へと移行する。それに対して、撮像画像中に道路標識又は道路標示が含まれていないと判定された場合（Ｓ４：ＮＯ）、即ち車両の進行方向前方に道路標識又は道路標示が存在しないと判定された場合には、当該走行支援処理プログラムを終了する。

Ｓ５においてＣＰＵ４１は、前記Ｓ３で取得した撮像画像の認識結果を取得する。具体的には、撮像画像中に含まれる道路標識又は道路標示の形状と、道路標識又は道路標示の種別と、道路標識又は道路標示が存在する位置座標とをそれぞれ取得する。尚、フロントカメラ１１をステレオカメラとすれば、車両から道路標識又は道路標示までの距離についても取得可能である。

次に、Ｓ６においてＣＰＵ４１は、前記Ｓ５で取得した道路標識又は道路標示の形状及び種類に基づいて、撮像画像中に含まれる道路標識又は道路標示が、車両の乗員の母国で用いられる道路標識又は道路標示と一致するか否かを判定する。尚、前述したように道路標識・道路標示ＤＢ３２には、各国で用いられる道路標識又は道路標示の形状について予め格納されている（図３）。従って、前記Ｓ６では、撮像画像中に含まれる道路標識又は道路標示の形状が、道路標識・道路標示ＤＢ３２に格納される道路標識又は道路標示の内、同種類の前記Ｓ１で取得した運転者の母国に対応する道路標識又は道路標示の形状と一致するか否かが判定される。

そして、撮像画像中に含まれる道路標識又は道路標示が、車両の乗員の母国で用いられる道路標識又は道路標示と一致すると判定された場合（Ｓ６：ＹＥＳ）には、車両の乗員は進行方向前方に存在する道路標識又は道路標示の意味を正しく理解可能であると判定し、ＨＵＤ４を用いた案内を行うことなく当該走行支援処理プログラムを終了する。

一方、撮像画像中に含まれる道路標識又は道路標示が、車両の乗員の母国で用いられる道路標識又は道路標示と一致しないと判定された場合（Ｓ６：ＮＯ）には、車両の乗員は進行方向前方に存在する道路標識又は道路標示の意味を正しく理解できない虞があると判定し、Ｓ７へと移行する。

Ｓ７においてＣＰＵ４１は、撮像画像中に含まれる道路標識又は道路標示と同じ種類であって、車両の乗員の母国で用いられる道路標識又は道路標示に関する情報を、道路標識・道路標示ＤＢ３２から取得する。例えば、撮像画像中に一時停止の道路標識が含まれる場合であって、乗員の母国が米国である場合には、米国の一時停止の道路標識に関する情報を道路標識・道路標示ＤＢ３２から取得する。尚、前記Ｓ７で取得される情報は、道路標識又は道路標示の外観の画像と、規制や指示の内容を含む。また、撮像画像中に複数の道路標識又は道路標示が含まれる場合には、複数の道路標識又は道路標示毎にＳ７以降の処理を実行する。

続いて、Ｓ８においてＣＰＵ４１は、前記Ｓ３で取得したフロントカメラ１１の撮像画像の内、道路標識又は道路標示を含む画像部分を切り取る。尚、前記Ｓ８において画像の切り取りを行う場合には、道路標識又は道路標示のみを切り取るのではなく、道路標識又は道路標示の周辺についても含むより大きな矩形形状で切り取る。例えば、図５に示すように撮像画像５１内に、道路標識５２が含まれる場合には、道路標識５２の周辺を含む矩形形状の画像５３を切り取る。

次に、Ｓ９においてＣＰＵ４１は、後述の被覆画像の生成処理を行う。被覆画像の生成処理では、車両の進行方向前方にある道路標識又は道路標示に重畳して表示する被覆画像を生成する処理である。尚、被覆画像が表示されることによって、後述のように車両の乗員から車両の進行方向前方にある道路標識又は道路標示が視認できない状態となる。

続いて、Ｓ１０においてＣＰＵ４１は、前記Ｓ９で生成された被覆画像と、前記Ｓ７で取得された車両の乗員の母国で用いられる道路標識又は道路標示の外観を示す画像とを、表示対象画像としてＨＵＤ４に対して送信する。また、前記Ｓ１０では車両の進行方向前方にある道路標識又は道路標示によって提供される情報（規制や指示の内容）を車両の乗員の母国語で説明する文章（例えば車両の進行方向前方に速度制限の道路標識が存在する場合であって、乗員の母国が米国である場合には『Speed Limit』）についても上記画像とともに送信する。

その後、Ｓ１１においてＣＰＵ４１は、ＨＵＤ４に対して制御信号を送信し、ＨＵＤ４の液晶ディスプレイ６に対して前記Ｓ１０で送信した“被覆画像”、“道路標識又は道路標示の外観を示す画像”、及び“規制や指示の内容を説明する文章”を、決定された表示範囲に表示する。特に“被覆画像”については低い透過率（例えば５％以下）で表示するのが望ましい。

尚、“被覆画像”を表示する表示範囲は、車両の進行方向前方に位置する道路標識又は道路標示に重畳して視認される範囲とし、前記Ｓ５の認識結果、車内カメラ１２によって検出された乗員の視線開始点や視線方向に基づいて決定される。その結果、“被覆画像”の虚像が、車両の乗員から車両前方の風景の内、特に車両の進行方向前方に位置する道路標識又は道路標示の位置に重畳して視認されることとなる。

一方、“道路標識又は道路標示の外観を示す画像”及び“規制や指示の内容を説明する文章”を表示する表示範囲については、車両の進行方向前方に位置する道路標識又は道路標示に重畳して視認されない範囲とする。更に本実施形態では、車両の進行方向前方に位置する道路標識又は道路標示に重畳せず、且つ車両の乗員の視野内で障害物が存在しない位置に重畳して視認される範囲とする。尚、障害物としては、例えば歩行者、自転車、車両等の動体物に加えて、信号機などの構造物についても含む。その結果、“道路標識又は道路標示の外観を示す画像”及び“規制や指示の内容を説明する文章”の虚像が、車両の乗員から車両前方の風景の内、特に車両の進行方向前方に位置する道路標識、道路標示、及びその他の障害物と重複しない位置に視認されることとなる。

ここで、図６は特に車両の進行方向前方に道路標識５２が存在する場合において、ＨＵＤ４による画像の表示を行わない場合と行う場合における車両の乗員から視認される前方環境を比較して示した図である。
図６に示すように、ＨＵＤ４による画像の表示を行うことによって、特に車両の進行方向前方に位置する道路標識５２に重畳して被覆画像５５の虚像が視認される。尚、被覆画像５５の虚像は、後述のように道路標識５２の全体を被覆し、透過率も低くすることで、車両の乗員から道路標識５２が視認できない態様で表示される。また、被覆画像５５の虚像は、被覆画像によって重畳される範囲の周辺環境の内、道路標識５２を除いた部分と対応する外観（即ち、道路標識５２が存在しない場合に視認される風景の外観）を有する。従って、車両の乗員からは被覆画像５５の虚像によって道路標識５２が視認できなくなる一方で、被覆画像５５の虚像によって視界に違和感を生じさせることも無い。
また、ＨＵＤ４による画像の表示を行うことによって、特に車両の進行方向前方の特に道路標識５２や障害物等が存在しないエリアに重畳して、道路標識画像５６の虚像と規制や指示の内容を説明する文章５７の虚像とが視認される。尚、道路標識画像５６の虚像は、実際に存在する道路標識５２を車両の乗員の母国に対応する道路標識に変換したものとなる。また、規制や指示の内容を説明する文章５７の虚像は、実際に存在する道路標識５２によって提供される情報（規制や指示の内容）を車両の乗員の母国語に変換したものとなる。従って、車両の乗員は実在する道路標識５２を視認できなかったとしても、道路標識画像５６や文章５７を視認することによって道路標識５２の内容を正確に把握することが可能となる。

また、その後に車両の走行に伴って車両の乗員から視認できる道路標識５２の位置が変化すると、被覆画像５５を表示する位置もそれに伴って変化させる。被覆画像５５は道路標識５２に比べるとより大きい矩形形状を有するので、道路標識５２と被覆画像５５との間で多少ずれが生じたとしても道路標識５２を被覆することが可能である。また、道路標識画像５６や文章５７を表示する位置についても被覆画像５５と同様に車両の走行に伴って変化させる。

次に、前記Ｓ９において実行される被覆画像の生成処理のサブ処理について図７に基づき説明する。図７は被覆画像の生成処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ２１においてＣＰＵ４１は、前記Ｓ８においてフロントカメラ１１の撮像画像から切り取った画像について、該画像に含まれる道路標識及び道路標示が存在しないと仮定した場合に撮像されると予測される画像へ修復することができるか否か判定する。具体的には、道路標識及び道路標示の周囲の画像に基づいて、道路標識及び道路標示によって隠れている部分の背景が推測できる場合に、修復可能であると判定される。例えば、区画線、ガードレール、ビルなどの規則的な物体のみが切り取った画像に含まれる場合には基本的に修復可能であると判定される。一方で、歩行者や樹木などの規則性の無い物体が切り取った画像に含まれる場合には基本的に修復できないと判定される。

そして、道路標識及び道路標示が存在しないと仮定した場合に撮像されると予測される画像へ修復することができると判定された場合（Ｓ２１：ＹＥＳ）には、Ｓ２２へと移行する。それに対して、道路標識及び道路標示が存在しないと仮定した場合に撮像されると予測される画像へ修復することができないと判定された場合（Ｓ２１：ＮＯ）には、Ｓ２３へと移行する。

Ｓ２２においてＣＰＵ４１は、前記Ｓ８においてフロントカメラ１１の撮像画像から切り取った画像について、該画像に含まれる道路標識及び道路標示を除いた部分を更に抽出する。そして、抽出された画像に対して欠けた部分の画像を補うことによって、道路標識及び道路標示が存在しないと仮定した場合に撮像されると予測される画像へ修復する。修復した画像が被覆画像となる。その結果、図８に示すように道路標識５２を含む撮像画像の一部を切り取った画像５３から、同じ範囲において道路標識５２が存在しないと仮定した被覆画像５５を生成することが可能となる。

一方、Ｓ２３においてＣＰＵ４１は、前記Ｓ８においてフロントカメラ１１の撮像画像から切り取った画像の内、道路標識及び道路標示以外で該画像に含まれる物体について検出する。例えば、歩行者、街路樹等である。

次に、Ｓ２４においてＣＰＵ４１は、前記Ｓ２４で検出された物体のモデル画像をＤＢ等から取得する。尚、検出され得る物体の種類毎に予めモデル画像がＤＢに格納されている。そして、ＣＰＵ４１は、フロントカメラ１１の撮像画像から切り取った画像と同サイズのベース画像に対して、モデル画像を検出位置に配置した画像を被覆画像５５として生成する。その結果、道路標識及び道路標示が存在しないと仮定した場合に撮像されると予測される画像へ修復することができない場合であっても、少なくとも存在する物体については再現した被覆画像を生成することが可能となる。

以上詳細に説明した通り、本実施形態に係る重畳画像表示装置１によれば、車両周辺に道路標識又は道路標示が存在する場合において、存在する道路標識又は道路標示に重畳して視認される被覆画像を表示し（Ｓ１１）、一方で道路標識又は道路標示が存在する位置とは異なる位置に、道路標識又は道路標示によって提供される情報を車両の乗員に対応した内容に変換した情報を示す変換画像を表示する（Ｓ１１）ので、実在する道路標識又は道路標示については車両の乗員から視認させないようにする一方で、車両の周辺に存在する道路標識や道路標示の内容を車両の乗員に正しく理解させることが可能となる。

尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、上記本実施形態では、ＨＵＤ４によって車両２のフロントウィンドウ８の前方に虚像を生成する構成としているが、フロントウィンドウ８以外のウィンドウの前方に虚像を生成する構成としても良い。また、ＨＵＤ４により映像を反射させる対象はフロントウィンドウ８自身ではなくフロントウィンドウ８の周辺に設置されたバイザー（コンバイナー）であっても良い。

また、本実施形態では、周辺環境に重畳する画像を表示する手段としてＨＵＤ４を用いているが、フロントウィンドウ８に対して画像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。

また、本実施形態では、被覆画像５５に加えて“道路標識又は道路標示の外観を示す道路標識画像５６”と“規制や指示の内容を説明する文章５７”について夫々表示するようにしているが、“道路標識又は道路標示の外観を示す道路標識画像５６”と“規制や指示の内容を説明する文章５７”のいずれか一方のみ表示するようにしても良い

また、本実施形態では、走行支援処理プログラム（図４）の処理をナビゲーション装置３のナビゲーションＥＣＵ１５が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、ＨＵＤ４の制御部、車両制御ＥＣＵ、その他の車載器が実行する構成としても良い。尚、ＨＵＤ４の制御部が実行する場合には、本発明に係る重畳画像表示装置はＨＵＤ４のみで構成することも可能である。

また、本発明に係る重畳画像表示装置を具体化した実施例について上記に説明したが、表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
車両（２）に搭載され、表示した画像を車両周辺の周辺環境に重畳して視認させる重畳画像表示装置（１）であって、前記周辺環境に道路標識又は道路標示（５２）が存在する場合に、存在する前記道路標識又は道路標示である重畳対象物に重畳して視認される被覆画像（５５）を表示する被覆画像表示手段（４１）と、前記重畳対象物が存在する位置とは異なる位置に、前記重畳対象物によって提供される情報を前記車両の乗員に対応した内容に変換した情報を示す変換画像（５６、５７）を表示する変換画像表示手段（４１）と、を有する。
上記構成を有する重畳画像表示装置によれば、車両周辺に道路標識又は道路標示がある場合において、道路標識又は道路標示に重畳して被覆画像を表示することによって、実在する道路標識又は道路標示については車両の乗員から視認させないようにする一方で、道路標識又は道路標示を乗員に対応した内容に変換した画像を新たに表示するので、車両の周辺に存在する道路標識や道路標示の内容を車両の乗員に正しく理解させることが可能となる。

また、第２の構成は以下のとおりである。
前記車両の乗員が在住する国を取得する乗員情報取得手段（４１）を有し、前記被覆画像表示手段（４１）は、前記周辺環境に存在する前記道路標識又は道路標示（５２）の内容が前記車両の乗員が在住する国と対応していない場合に、前記重畳対象物に重畳して視認される前記被覆画像（５５）を表示する。
上記構成を有する重畳画像表示装置によれば、車両の乗員に誤って認識される虞の有る道路標識及び道路標示については車両の乗員から視認させないようにすることが可能となる。

また、第３の構成は以下のとおりである。
前記変換画像表示手段（４１）は、前記重畳対象物によって提供される情報を前記車両の乗員が在住する国と対応した内容に変換した情報を示す前記変換画像（５６、５７）を表示する。
上記構成を有する重畳画像表示装置によれば、車両の周辺に存在する道路標識や道路標示の内容を車両の乗員に正しく理解させることが可能となる。

また、第４の構成は以下のとおりである。
前記変換画像表示手段（４１）は、前記重畳対象物を前記車両の乗員に対応した内容に変換した前記道路標識又は道路標示を示す画像（５６）と、前記重畳対象物によって提供される情報を前記車両の乗員に対応した内容で説明する文章（５７）と、を前記変換画像として表示する。
上記構成を有する重畳画像表示装置によれば、道路標識や道路標示の外観画像と文章とを組み合わせることによって、車両の周辺に存在する道路標識や道路標示の内容をより確実に車両の乗員に理解させることが可能となる。

また、第５の構成は以下のとおりである。
前記被覆画像表示手段（４１）は、前記車両（２）の乗員（４）から前記重畳対象物が視認できない態様で前記被覆画像（５５）を表示する。
上記構成を有する重畳画像表示装置によれば、被覆画像を表示することによって車両の乗員に誤って認識される虞の有る道路標識及び道路標示については車両の乗員から視認させないようにすることが可能となる。

また、第６の構成は以下のとおりである。
前記被覆画像（５５）は、該被覆画像によって重畳される範囲の周辺環境の内、前記重畳対象物を除いた部分と対応する外観を有する。
上記構成を有する重畳画像表示装置によれば、表示された被覆画像によって運転者の視界に違和感を与えることが無い。

また、第７の構成は以下のとおりである。
前記車両（２）の周辺環境を撮像する撮像手段（４１）と、前記撮像手段により撮像された撮像画像の内、前記被覆画像によって重畳される範囲であって前記重畳対象物を除いた部分を抽出する画像抽出手段（４１）と、前記画像抽出手段により抽出された画像を、前記重畳対象物が存在しないと仮定した場合に撮像されると予測される画像へ修復する画像修復手段（４１）と、を有し、前記被覆画像表示手段（４１）は、前記画像修復手段によって修復された画像を前記被覆画像（５５）として表示する。
上記構成を有する重畳画像表示装置によれば、重畳する範囲の実景と調和するとともに道路標識や走路表示を含まない被覆画像を生成することが可能となる。従って、表示された被覆画像によって運転者の視界に違和感を与えることが無く、且つ車両の乗員に誤って認識される虞の有る道路標識及び道路標示については車両の乗員から視認させないようにすることが可能となる。

また、第８の構成は以下のとおりである。
前記変換画像表示手段（４１）は、前記車両（２）の乗員の視野内で障害物が存在しない位置に、前記変換画像を表示する。
上記構成を有する重畳画像表示装置によれば、表示された変換画像によって運転者の視界が妨げられることなく、車両の周辺に存在する道路標識や道路標示の内容を車両の乗員に正しく理解させることが可能となる。

１ 重畳画像表示装置
２ 車両
３ ナビゲーション装置
４ ＨＵＤ
８ フロントウィンドウ
９ 乗員
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ 撮像画像
５２ 道路標識
５５ 被覆画像
５６ 道路標識画像
５７ 文章

Claims (8)

1. 車両に搭載され、表示した画像を車両周辺の周辺環境に重畳して視認させる重畳画像表示装置であって、
   前記周辺環境に道路標識又は道路標示が存在する場合に、存在する前記道路標識又は道路標示である重畳対象物に重畳して視認される被覆画像を表示する被覆画像表示手段と、
   前記重畳対象物が存在する位置とは異なる位置に、前記重畳対象物によって提供される情報を前記車両の乗員に対応した内容に変換した情報を示す変換画像を表示する変換画像表示手段と、を有する重畳画像表示装置。
2. 前記車両の乗員が在住する国を取得する乗員情報取得手段を有し、
   前記被覆画像表示手段は、前記周辺環境に存在する前記道路標識又は道路標示の内容が前記車両の乗員が在住する国と対応していない場合に、前記重畳対象物に重畳して視認される前記被覆画像を表示する請求項１に記載の重畳画像表示装置。
3. 前記変換画像表示手段は、前記重畳対象物によって提供される情報を前記車両の乗員が在住する国と対応した内容に変換した情報を示す前記変換画像を表示する請求項２に記載の重畳画像表示装置。
4. 前記変換画像表示手段は、前記重畳対象物を前記車両の乗員に対応した内容に変換した前記道路標識又は道路標示を示す画像と、前記重畳対象物によって提供される情報を前記車両の乗員に対応した内容で説明する文章と、を前記変換画像として表示する請求項１乃至請求項３のいずれかに記載の重畳画像表示装置。
5. 前記被覆画像表示手段は、前記車両の乗員から前記重畳対象物が視認できない態様で前記被覆画像を表示する請求項１乃至請求項４のいずれかに記載の重畳画像表示装置。
6. 前記被覆画像は、該被覆画像によって重畳される範囲の周辺環境の内、前記重畳対象物を除いた部分と対応する外観を有する請求項１乃至請求項５のいずれかに記載の重畳画像表示装置。
7. 前記車両の周辺環境を撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像の内、前記被覆画像によって重畳される範囲であって前記重畳対象物を除いた部分を抽出する画像抽出手段と、
   前記画像抽出手段により抽出された画像を、前記重畳対象物が存在しないと仮定した場合に撮像されると予測される画像へ修復する画像修復手段と、を有し、
   前記被覆画像表示手段は、前記画像修復手段によって修復された画像を前記被覆画像として表示する請求項６に記載の重畳画像表示装置。
8. 前記変換画像表示手段は、前記車両の乗員の視野内で障害物が存在しない位置に、前記変換画像を表示する請求項１乃至請求項７のいずれかに記載の重畳画像表示装置。

Images