JP2020017006A - 車両用拡張現実画像表示装置 - Google Patents

Abstract

【課題】前景の視認性を維持しつつ情報提供することができる車両用拡張現実画像表示装置を提供する。【解決手段】オブジェクト選択部は、前景の中から特定の実オブジェクトを選択し、表示位置調整部は、オブジェクト選択部が選択した実オブジェクトに隣接するまたは少なくとも一部が重なるように、拡張現実画像１１０の位置を制御し、色情報取得部は、拡張現実画像１１０が重なって視認される領域の周辺背景領域２１０の色情報を取得し、画像処理部は、ユーザーに視認される拡張現実画像１１０の少なくとも一部の色が、周辺背景領域２１０の色と同じあるいは近似する色になるように調整する。【選択図】図４

Description

本発明は、車両で使用され、車両の前景に画像を重畳して視認させる車両用拡張現実画像表示装置に関する。

風景と重ねて虚像を視認させる車両用拡張現実画像表示装置が知られている（例えば特許文献１参照）。車両用拡張現実画像表示装置は、例えば、頭部に装着するヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）装置を表示器として用い、表示器からの表示光を投射光学系や導光体などを用いてユーザーに向けて投射し、表示光が示す表示画像の虚像を視認させるものである。ユーザーは、ＨＭＤ装置によって表示された虚像を前方の実風景に重ねて視認することができる。また、ＨＭＤ装置は、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；ＡＲ）と称される技術を適用することができる。すなわち、実風景に存在する実オブジェクトの位置に対応付けた拡張現実画像を表示することで、実風景にあたかも拡張現実画像が存在するような感覚をユーザーに与えることができる。

また、ＨＭＤ装置として、実風景に存在する実オブジェクトの色に応じて、拡張現実画像の色を変更する技術が特許文献２に開示されている。特許文献２に開示される技術は、色検出部によって検出された現実世界に存在する実オブジェクトの色を検出し、実オブジェクトと拡張現実画像とが重なって視認される場合であっても、実オブジェクトの色を考慮し拡張現実画像の色を調整することで、ユーザーに設計上の所望の色で拡張現実画像を視認させるものである。

特開２０１４−１１９７８６号公報 特開２０１６−８１２０９号公報

前述したように、車両用拡張現実画像表示装置は、虚像によって実風景と重ねて情報を提供することができるものであるが、ユーザーの視界に常時虚像が視認されるため、表示する情報が多くなるとユーザーにとって煩わしく、ユーザーが情報を整理できずに各情報の認識性が低下するという問題点があった。

本発明は、上記の問題点に鑑みてなされたものであり、前景の視認性を維持しつつ情報提供可能な車両用拡張現実画像表示装置を提供することを目的とする。

本発明は、前記課題を解決するため、以下の手段を採用した。
本発明の車両用拡張現実画像表示装置は、拡張現実画像（１１０）の少なくとも一部の透過率を高くする、又は、拡張現実画像が重なって視認される背景の色を検出し、この背景の色と同じあるいは近似する色の拡張現実画像を、実オブジェクトに隣接するまたは一部が重なるように表示することで、ユーザーが視認する前景方向の視界を遮りにくく、虚像（拡張現実画像）に視覚的注意が奪われにくくする、ことをその要旨とする。

本実施形態の第１の態様における車両用拡張現実画像表示装置は、車両の前景２００に提示情報を含む拡張現実画像１１０を重畳して表示する車両用拡張現実画像表示装置であって、前記拡張現実画像１１０をユーザーに視認させる画像表示部１０と、前記前景２００の中から特定の実オブジェクト３００を選択するオブジェクト選択部２１と、前記オブジェクト選択部２１が選択した前記実オブジェクト３００に隣接するまたは少なくとも一部が重なるように、前記拡張現実画像１１０の位置を制御する表示位置調整部２２と、前記拡張現実画像１１０が重なって視認される背景の色情報を取得可能な色情報取得部３０（７０）と、前記ユーザーに視認される前記拡張現実画像１１０の少なくとも一部の色が、前記周辺背景領域（２１０）の色と同じあるいは近似する色になるように調整する画像処理部２３と、を備える。この車両用拡張現実画像表示装置は、背景と同じ色で、実オブジェクトに隣接あるいは一部が重なる状態で拡張現実画像を表示する。したがって、実オブジェクトに隣接した位置に目立たない形で拡張現実画像が表示されるため、画像が目立ちにくく実景になじませる事ができ、画像に視覚的注意が奪われにくくユーザーに運転操作を集中させることができる。

本発明の実施形態に係る車両用拡張現実画像表示装置による拡張現実画像の表示例を示す図である。 上記実施形態の車両用拡張現実画像表示装置の変形例による拡張現実画像の表示例を示す図である。 上記実施形態の車両用拡張現実画像表示装置の構成を機能的に示すブロック図である。 点線で示された三角形の外郭を有する拡張現実画像と、周辺背景領域との関係を示す図である。 上記実施形態に係る車両用拡張現実画像表示装置による拡張現実画像の表示例を示す図である。 上記実施形態の車両用拡張現実画像表示装置の動作を示すフローチャートである。

以下、本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態（図面の内容も含む。）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。

図１は、本発明の実施形態に係る車両用拡張現実画像表示装置１００（以下では、表示装置とも記載）の表示例を示す図である。本実施形態の表示装置１００は、車両のフロントウインドシールドＷＳを介して視認される現実空間である前景２００に存在する実オブジェクト３００の近傍に拡張現実画像１１０を視認させることで、視覚的な拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を形成する。車両に搭乗するユーザー（一般的に車両の運転者）は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置からなる画像表示部１０を頭部に装着して車両の座席に着座することで、画像表示部１０によって表示される拡張現実画像１１０を、車両のフロントウインドシールドＷＳを介した前景２００に重畳して視認する。本実施形態の表示装置１００は、例えば、前景２００に存在する道路標識である第一の実オブジェクト３１０の近傍に第一の拡張現実画像１１１を表示し、路面である第二の実オブジェクト３２０に重なるように第二の拡張現実画像１１２を表示し、及び、建物である第三の実オブジェクト３３０に重なるように第三の拡張現実画像１１３を表示する。また、図１に示した表示装置１００の画像表示部１０は、ＨＭＤ装置であるため、例えば、Ａピラーなどの車両の内部領域４００に対しても内部拡張現実画像１５０を表示することができる。なお、ＨＭＤ装置からなる画像表示部１０は、所定の表示領域１０１を有し、この表示領域１０１に含まれる実オブジェクト３００に対して拡張現実画像１１０を表示する。

（画像表示部１０の他の例）
図２は、画像表示部１０の他の例による拡張現実画像１１０の表示例を説明する図である。上述した図１の画像表示部１０は、ＨＭＤ装置であったが、図２に示す表示装置１００の画像表示部１０は、ヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）装置である点で異なり、それ以外は、共通する。この表示装置１００では、フロントウインドシールドＷＳ（被投影部材の一例である）の所定の領域が拡張現実画像１１０を表示可能な表示領域１０１とされ、この表示領域１０１を介した前景２００に存在する実オブジェクト３００に対して拡張現実画像１１０を表示する。

次に、図３を参照する。図３は、車両用拡張現実画像表示装置１００のシステム構成を示す図である。
表示装置１００は、画像表示部１０と、表示制御部２０と、入出力インターフェースである、前景情報取得部（色情報取得部）３０、注視情報取得部４０、位置情報取得部５０、方角情報取得部６０、及び通信インターフェース（色情報取得部）７０と、を備える。表示制御部２０は、入出力インターフェース（前景情報取得部３０、注視情報取得部４０、位置情報取得部５０、方角情報取得部６０、及び通信インターフェース７０）を介して、前景検出部３１、ユーザー検出部４１、位置検出部５１、方角検出部６１、クラウドサーバー（外部サーバー）５００、及び車両ＥＣＵ６００と通信可能に連結されている。入出力インターフェースは、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信機能を含むことができる。車両からのデータケーブルは、入出力インターフェースを介して、表示装置１００の表示制御部２０に連結される。なお、他の実施形態では、入出力インターフェースは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、ＩＥＥＥ８０２．１１プロトコル、ＩＥＥＥ８０２．１６プロトコル、共有無線アクセスプロトコル、ワイヤレスＵＳＢプロトコル、及び／又は他の任意の適切な無線電信技術を用いた無線通信インターフェースを含むことができる。表示装置１００は、クラウドサーバー５００や車両ＥＣＵ６００から通信インターフェース７０を介して、拡張現実画像１１０の画像要素データを取得し、表示制御部２０が定めた実オブジェクト３００の近傍に、画像要素データに基づく拡張現実画像１１０を表示する。なお、画像要素データの一部または全部は、後述する表示制御部２０の記憶部２４に記憶され、表示制御部２０は、クラウドサーバー５００、車両ＥＣＵ６００などから得られる情報に応じて、記憶部２４に記憶された画像要素データを読み出して拡張現実画像１１０を生成し、表示する形態であってもよい。

表示制御部２０は、後述する前景情報取得部３０が取得する実オブジェクト３００の位置情報及び色情報を含む実オブジェクト情報、注視情報取得部４０が取得するユーザーの注視位置を示す注視情報、位置情報取得部５０が取得する車両または表示装置１００の現在位置を示す位置情報、方角情報取得部６０が取得する車両または表示装置１００が向く方向を示す方角情報、及び通信インターフェース７０がクラウドサーバー５００または／および車両ＥＣＵ６００から取得する画像要素データを入力し、車両の前景２００に存在する特定の実オブジェクト３００の近傍に配置され、かつ拡張現実画像１１０の少なくとも一部が、拡張現実画像１１０が重なって視認される前景２００（換言すると、拡張現実画像１１０の背景）と同色になるように、画像表示部１０が拡張現実画像１１０の色を制御する。表示制御部２０は、拡張現実画像１１０を近傍に配置させる特定の実オブジェクト３００を選択するオブジェクト選択部２１と、オブジェクト選択部２１が選択した特定の実オブジェクト３００に対する拡張現実画像１１０を表示する相対的な位置を調整する表示位置調整部２２と、拡張現実画像１１０の色や輝度を調整可能な画像処理部２３と、画像要素データを記憶する記憶部２４と、を備える。

オブジェクト選択部２１は、前景情報取得部３０が前景２００から抽出した実オブジェクト３００の中から拡張現実画像１１０を近傍に表示する特定の実オブジェクト３００を選定するものであり、拡張現実画像１１０が付加される実オブジェクト３００は、例えば、道路標識、路面、建物、障害物（歩行者、自転車、自動二輪車、他車両）などである。なお、拡張現実画像１１０が付加される実オブジェクト３００の選定条件は、固定ではなく、変更されてもよい。具体的には、車両が走行する環境の変化やユーザーの状態などにより自動的に変更されてもよく、ユーザーが行う操作により変更されてもよい。

また、オブジェクト選択部２１は、選定条件（第一の選定条件）を満たす実オブジェクト３００が前景２００に存在しないと判定した場合、第一の選定条件と異なる第二の選定条件を満たす実オブジェクト３００を選択する。言い換えると、オブジェクト選択部２１は、第二の選定条件を満たす実オブジェクト３００より、第一の選定条件を満たす実オブジェクト３００を優先的に選定する。なお、オブジェクト選択部２１は、条件を満たす実オブジェクト３００が存在しなかった場合、特定の実オブジェクト３００を選定しなくてもよい。この場合、拡張現実画像１１０は、表示領域１０１の所定の領域に固定して表示されてもよい。

表示位置調整部２２は、前景情報取得部３０が取得する実オブジェクト３００の位置情報に基づき、オブジェクト選択部２１が選定した特定の実オブジェクト３００に対して、拡張現実画像１１０を表示する相対的な位置を決定するものである。

画像処理部２３は、画像表示部１０に表示させる拡張現実画像１１０の色を調整するものである。画像処理部２３は、後述する前景情報取得部（色情報取得部）３０が取得する拡張現実画像１１０が重なって視認される背景の色を示す色情報に基づき、拡張現実画像１１０の色を調整するものであり、拡張現実画像１１０の一部の色が、拡張現実画像１１０の背景の色と同じあるいは近似する色になるように調整する。なお、色情報取得部３０が色情報を取得する前景２００における背景の位置は、ユーザーの目の位置と、表示位置調整部２２が決定する拡張現実画像１１０の位置とに基づいて、特定されてもよい。この場合、ユーザーの目の位置は、注視情報取得部４０から取得されてもよい。なお、ユーザーの目の位置は、リアルタイムに測定された位置、断続的に測定された位置、又は特定のタイミングで測定された位置であってもよい。また、画像処理部２３は、注視情報取得部４０が取得するユーザーの注視位置を示す視注視情報に基づいて、拡張現実画像１１０の色を調整してもよい（詳細は後述する）。

前景情報取得部３０は、車両周辺の外界（特に、車両前方の前景２００）に存在する実オブジェクト３００を検知するセンサ（図示しない）を有する。検知する実オブジェクト３００としては、例えば、道路標識、路面、建物、障害物（歩行者、自転車、自動二輪車、他車両）がある。外界センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサとカメラセンサの両方でもよいし、どちらか一方だけでもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合にはその実オブジェクトの位置（車両からの相対的な距離、方向（横方向の位置）等）、大きさ（横方向、高さ方向等の大きさ）、種別等を取得する。外界センサでは、各センサの検知周期毎に、車両の前方の実オブジェクト３００を検知し、実オブジェクト情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、種別等の情報）を、前景情報取得部３０を介して車両用拡張現実画像表示装置１００の表示制御部２０に送信する。なお、これら実オブジェクト情報は、車両のＥＣＵ（車両ＥＣＵ）を経由して表示制御部２０に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクト３００が検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。

（色情報取得部）
また、前景情報取得部３０は、実オブジェクト３００の色情報を取得可能な色情報取得部としての機能も兼ねていてもよい。具体的には、前景検出部３１は、好ましくは、実オブジェクト３００の色を検出可能なカラーカメラや赤外線カラーカメラであり、前景情報取得部３０は、前景検出部３１が前景２００を撮像したカラー撮像画像を図示しない画像解析部で解析した結果である前景２００上の拡張現実画像１１０が重なって視認される周辺背景領域２１０（図４参照）の色情報を取得してもよい。

図４を参照して、拡張現実画像１１０の色を変化させる際に参照される前景２００上の周辺背景領域２１０について説明する。図４は、点線で示された三角形の外郭１１０ａを有する拡張現実画像１１０と、周辺背景領域２１０との関係を示す図である。周辺背景領域２１０は、図４（ａ）に示されるように、拡張現実画像１１０の外側領域２１１と、内側領域２１２と、を含んでいてもよく、図４（ｂ）に示されるように、拡張現実画像１１０の外側領域２１１のみであってもよい。なお、周辺背景領域２１０における外側領域２１１は、図４（ａ）、図４（ｂ）に示すような、拡張現実画像１１０の外郭１１０ａに沿った領域に限定されるものではなく、例えば、図４（ｃ）に示すように、拡張現実画像１１０を囲む矩形領域であってもよい。

再び、図３を参照する。注視情報取得部４０は、ユーザーを撮像する撮像カメラからなるユーザー検出部４１がユーザーの眼を撮像した撮像画像を解析部４２で解析した結果であるユーザーの注視位置を示す注視位置情報を取得する入力インターフェースである。視線検出の場合は、ＣＣＤカメラなどでユーザーの眼を撮像し、画像処理技術のパターンマッチング処理によって注視位置としてユーザーの視線方向を検出する。なお、注視情報取得部４０は、ユーザーの眼の位置（アイポイント）を取得し、表示制御部２０に出力してもよい。

位置情報取得部５０は、ＧＮＳＳ（全地球航法衛星システム）等からなる位置検出部５１により検出された車両または表示装置１００の位置情報を取得し、表示制御部２０に出力する。

方角情報取得部６０は、方角センサからなる方角検出部６１により検出された車両または表示装置１００の向きを示す方角情報を取得し、表示制御部２０に出力する。

表示制御部２０は、位置情報取得部５０が取得した車両または表示装置１００の位置情報、及び方角情報取得部６０が取得した車両または表示装置１００の方角情報を、通信インターフェース７０を介して、クラウドサーバー５００又は／及び車両ＥＣＵ６００に出力する。続いて、クラウドサーバー５００と車両ＥＣＵ６００は、入力した車両または表示装置１００の位置情報、方角情報に基づき、表示装置１００に表示させる拡張現実画像１１０の画像要素データを、通信インターフェース７０を介して、表示制御部２０に出力する。なお、他の例としては、クラウドサーバー５００と車両ＥＣＵ６００は、入力した車両または表示装置１００の位置情報、方角情報に基づき、表示装置１００に表示させるべき拡張現実画像１１０を指示する指示データを、通信インターフェース７０を介して、表示制御部２０に出力し、表示制御部２０は、入力した指示データに基づき、記憶部２４に記憶された画像要素データを読み出して画像を生成してもよい。また、表示制御部２０は、前景情報取得部３０から取得した実オブジェクト情報に基づき、記憶部２４に記憶された画像要素データを読み出して画像を生成してもよい。また、他の例としては、クラウドサーバー５００と車両ＥＣＵ６００は、車両または表示装置１００の位置情報、方角情報とは異なる他の情報に基づき、拡張現実画像１１０の画像要素データまたは表示させるべき拡張現実画像１１０を指示する指示データを、表示制御部２０に出力してもよい。

図６は、車両用拡張現実画像表示装置１００の主要な動作手順を示すフローチャートである。ステップＳ１において、入出力インターフェースから拡張現実画像１１０を指示する指示データが入力され、実オブジェクト３００の種類情報、位置情報、色情報を含む実オブジェクト情報が入力され（ステップＳ２）、ステップＳ１で指示された拡張現実画像１１０の表示位置が決定される（ステップＳ３）。ステップＳ３における拡張現実画像１１０の表示位置は、ステップＳ２で取得した実オブジェクト３００の種類情報、位置情報などを参照することで選択される実オブジェクト３００の近傍に決定されてもよく、又はステップＳ１で取得した指示データが指示する拡張現実画像１１０の種類に応じて決定されてもよい。

次に、ステップＳ４で、拡張現実画像１１０の視認性を低くする条件が成立しているかを判定し、ＹＥＳであれば、ステップＳ５に移行し、ＮＯであれば、拡張現実画像１１０の色を変化させることなく、表示更新が行われ（ステップＳ６）、処理が終了され、再び、ステップＳ１からルーチンを開始する。ステップＳ４において、画像処理部２３は、前景情報取得部３０から取得した情報に基づき、実オブジェクト３００の報知必要度を判定し、視認者に報知するか否かを判定する。報知必要度が所定の閾値より低くなった場合に、視認者に報知する必要が低いと判定し、視認性を低くする条件が成立したと判定する。『報知必要度』は、実オブジェクト３００に対して、起こり得る自体の重大さの程度から導き出される危険度や、反応行動を起こすまでに要求される反応時間の長短から導かれる緊急度などであり、前景情報取得部３０が取得する実オブジェクト３００に関する実オブジェクト情報のみで決定されてもよく、前記オブジェクト情報に加えて、他のインターフェースから入力される各種情報に基づいて決定されてもよい。例えば、注視情報取得部４０から視認者が注視していると判定できる拡張現実画像１１０について、既に内容が認識されており、視認性を維持しておく必要性が低下したと判定できる場合、ステップＳ４でＹＥＳと判定してもよい。なお、画像処理部２３は、本質的には、前記報知必要度に基づき拡張現実画像１１０の視認性を低下させるかを判定する機能を有していればいいので、前記報知必要度を決定する機能を有していなくてもよく、前記報知必要度を決定する機能の一部又は全部は、表示制御部２０とは別に設けられてもよい。なお、報知の必要度は、前記危険度や前記緊急度を用いる方法に限定されない。例えば、クラウドサーバー５００、車両ＥＣＵ６００、ナビゲーションシステム７００から視認者にとって役立つ実オブジェクト３００に関する新たな情報が取得されれば、この新たな情報の拡張現実画像１１０に優先的に視覚的注意を向けやすくするために、それまで表示されていた優先度の低い拡張現実画像１１０の一部は、視認性を低く設定されてもよい。

ステップＳ５では、ステップＳ３で決定された拡張現実画像１１０の表示位置に基づき、前景２００上の拡張現実画像１１０が重なって視認される周辺背景領域２１０を特定され、拡張現実画像１１０が、周辺背景領域２１０の同じあるいは近似する色になるように拡張現実画像１１０の色を決定され、拡張現実画像１１０が表示更新される（ステップＳ６）。

以下、第１〜第４の実施形態を主に図１を用いて具体的に説明する。
（第１の実施形態）
第１の実施形態では、画像処理部２３は、ユーザーに視認される拡張現実画像１１０の少なくとも一部の色が、拡張現実画像１１０が表示される周辺背景領域２１０の色（色平均値）と同じあるいは近似する色になるように調整する。第一の拡張現実画像１１１の周辺背景領域２１０が青色であった場合、第一の拡張現実画像１１１の少なくとも一部の色を、青色あるいは青色の近似する色に設定する。なお、本発明における近似色とは、ＲＧＢ空間におけるＲ，Ｇ，Ｂの値の差分が±１５％以下の範囲に属す色、または／およびＨＳＶ空間におけるＨ（色相），Ｓ（彩度），Ｖ（明度）の値の差分が±１５％以下の範囲に属す色とする。画像処理部２３は、拡張現実画像１１０の全体を、実オブジェクト３００の色と同じにする必要はなく、一部であってもよく、拡張現実画像１１０の全体の５０％以上を、周辺背景領域２１０の類似色とすることで、前景２００に拡張現実画像１１０をなじませることができる。なお、画像処理部２３は、拡張現実画像１１０を構成する文字や図形などのアウトライン画像１２０（図６参照）の色が、周辺背景領域２１０の類似色にならないように調整してもよい。

図６は、拡張現実画像１１０の構成を説明する図である。拡張現実画像１１０は、図６（ａ）に示すように、文字や図形を形作るアウトライン画像１２０と、このアウトライン画像１２０に囲まれた塗り画像１３０と、で構成される。なお、拡張現実画像１１０は、塗り画像１３０を透過させる（無色）とした場合、図６（ｂ）に示すようなアウトライン画像１２０のみが視認者に視認される。

（第２の実施形態）
第２の実施形態では、注視情報取得部４０が検出したユーザーの注視位置が車両の内部領域４００にある場合、またはユーザーの注視位置が内部領域４００から外れてから所定時間が経過するまでの間、画像処理部２３は、ユーザーに視認される拡張現実画像１１０の色が、周辺背景領域２１０の色と同じあるいは近似する色にならないように調整し、注視位置が内部領域４００から他の領域に移動した場合、または注視位置が内部領域４００から外れてから所定時間が経過した場合、拡張現実画像１１０の色を、周辺背景領域２１０の色と同じあるいは近似する色に徐々に近付けてもよい。

（第３の実施形態）
第３の実施形態では、拡張現実画像１１０の少なくとも一部の色が、周辺背景領域２１０の色と同じあるいは近似する色になるように調整される処理に代わって、拡張現実画像１１０の少なくとも一部（一部のアウトライン画像１２０を含んでいてもよい）の透過率が高くされてもよい。拡張現実画像１１０の塗り画像１３０の透過率を高く（透過率１００％も含む）し、アウトライン画像１２０の透過率を変化させないことで、アウトライン画像１２０が示す情報を提示しつつ、拡張現実画像１１０としての誘目性を低下させることができる。

以上に説明したように、車両の前景２００に提示情報を含む拡張現実画像１１０を重畳して表示する車両用拡張現実画像表示装置１００であって、拡張現実画像１１０をユーザーに視認させる画像表示部１０と、前景２００の中から特定の実オブジェクト３００を選択するオブジェクト選択部２１と、オブジェクト選択部２１が選択した実オブジェクト３００に隣接するまたは少なくとも一部が重なるように、拡張現実画像１１０の位置を制御する表示位置調整部２２と、前景２００において拡張現実画像１１０が重なって視認される領域の周囲を少なくとも含む周辺背景領域２１０の色情報を取得可能な色情報取得部３０（７０）と、ユーザーに視認される拡張現実画像１１０の少なくとも一部の色が、周辺背景領域２１０の色と同じあるいは近似する色になるように調整する画像処理部２３と、を備える。この車両用拡張現実画像表示装置によれば、拡張現実画像１１０の少なくとも一部が、背景（前景２００）と同系色に変化するため、拡張現実画像１１０が目立ちにくく、前景２００になじませることができ、画像に視覚的注意が奪われにくくユーザーに運転操作を集中させることができる。

また、車両の前景２００に提示情報を含む拡張現実画像１１０を重畳して表示する車両用拡張現実画像表示装置であって、拡張現実画像１１０をユーザーに視認させる画像表示部１０と、前景２００の中から特定の実オブジェクト３００を選択するオブジェクト選択部２１と、オブジェクト選択部２１が選択した実オブジェクト３００に隣接するまたは少なくとも一部が重なるように、拡張現実画像１１０の位置を制御する表示位置調整部２２と、ユーザーに視認される拡張現実画像１１０の少なくとも一部の透過率を高くする画像処理部２３と、を備える。この車両用拡張現実画像表示装置によれば、拡張現実画像１１０の少なくとも一部の透過率が高く設定されるため、拡張現実画像１１０を透過した背景（前景２００）が視認されやすくなり、前景２００になじませることができ、画像に視覚的注意が奪われにくくユーザーに運転操作を集中させることができる。

また、拡張現実画像１１０は、提示情報のアウトライン画像１２０と、アウトライン画像１２０に囲まれた塗り画像１３０と、を含み、画像処理部２３は、塗り画像１３０を、背景の色と同じあるいは近似する色にする、又は透過率を高くする調整量を、アウトライン画像１２０を、背景の色と同じあるいは近似する色にする、又は透過率を高くする調整量より大きくしてもよい。換言すると、拡張現実画像１１０の提示情報を形成する文字や図形などのアウトライン画像１２０を、塗り画像１３０よりも背景（前景２００）の色に近づけない、または、塗り画像１３０よりも背景が透けて見えないようにする。これによれば、提示情報の認識性の低下を抑えつつ、拡張現実画像１１０の誘目性を低下させることができる。

また、ユーザーの注視位置を検出する注視情報取得部４０をさらに備え、表示位置調整部２２は、車両の内部領域４００にも内部拡張現実画像１５０を配置することが可能であり、注視情報取得部４０が検出した注視位置が内部領域４００にある場合、または注視位置が内部領域４００から外れてから所定時間が経過するまでの間、画像処理部２３は、拡張現実画像１１０の少なくとも一部の色が背景の色と同じあるいは近似する色にならないようにする、又は拡張現実画像１１０の少なくとも一部の透過率を低くし、注視情報取得部４０が検出した注視位置が内部領域４００から他の領域に移動した場合、または注視位置が内部領域４００から外れてから所定時間が経過した場合、拡張現実画像１１０の少なくとも一部の色が背景の色と同じあるいは近似する色に徐々に近づける、又は拡張現実画像１１０の少なくとも一部の透過率を徐々に高くしてもよい。これによれば、ユーザーの注視位置に応じて、拡張現実画像の色を変更可能になり、ユーザーが車両内部の領域を視認して、実オブジェクト３００が存在する前景２００をユーザーが注視していない場合、実オブジェクト３００の近傍に表示された拡張現実画像１１０の色を背景（前景２００）と異なる色になるように変更することで、実オブジェクトと拡張現実画像とをユーザーに区別させやすくでき、内部領域から前景２００に視線を移した際に、瞬時に拡張現実画像が示す情報を認識させやすくすることができる。また、ユーザーが車両の内部領域４００を視認しておらず、車両の外部に興味があると認識できる場合、実オブジェクト３００の近傍に表示された拡張現実画像１１０の色を背景（前景２００）と同系色表示することで、ユーザーの視覚的注意を拡張現実画像に奪われにくくすることができる。

１０…画像表示部、２０…表示制御部、２１…オブジェクト選択部、２２…表示位置調整部、２３…画像処理部、２４…記憶部、３０…前景情報取得部（色情報取得部）、３１…前景検出部、４０…注視情報取得部、４１…ユーザー検出部、４２…解析部、５０…位置情報取得部、５１…位置検出部、６０…方角情報取得部、６１…方角検出部、７０…通信インターフェース、１００…車両用拡張現実画像表示装置（表示装置）、１０１…表示領域、１１０…拡張現実画像、１１０ａ…外郭、１１１…第一の拡張現実画像、１１２…第二の拡張現実画像、１１３…第三の拡張現実画像、１１４…拡張現実画像、１２０…アウトライン画像、１３０…塗り画像、１５０…内部拡張現実画像、２００…前景、２１０…周辺背景領域、２１１…外側領域、２１２…内側領域、３００…実オブジェクト、３１０…第一の実オブジェクト、３２０…第二の実オブジェクト、３３０…第三の実オブジェクト、４００…内部領域、５００…クラウドサーバー、６００…車両ＥＣＵ、７００…ナビゲーションシステム、ＷＳ…フロントウインドシールド

Claims (5)

1. 車両の前景（２００）に提示情報を含む拡張現実画像（１１０）を重畳して表示する車両用拡張現実画像表示装置であって、
   前記拡張現実画像（１１０）をユーザーに視認させる画像表示部（１０）と、
   前景（２００）の中から特定の実オブジェクト（３００）を選択するオブジェクト選択部（２１）と、
   オブジェクト選択部（２１）が選択した実オブジェクト（３００）に隣接するまたは少なくとも一部が重なるように、拡張現実画像（１１０）の位置を制御する表示位置調整部（２２）と、
   前景（２００）において前記拡張現実画像（１１０）が重なって視認される領域の周囲を少なくとも含む周辺背景領域（２１０）の色情報を取得可能な色情報取得部（３０，７０）と、
   ユーザーに視認される拡張現実画像（１１０）の少なくとも一部の色が、前記周辺背景領域（２１０）の色と同じあるいは近似する色になるように調整する画像処理部（２３）と、を備える、
   ことを特徴とする車両用拡張現実画像表示装置。
2. 車両の前景（２００）に提示情報を含む拡張現実画像（１１０）を重畳して表示する車両用拡張現実画像表示装置であって、
   前記拡張現実画像（１１０）をユーザーに視認させる画像表示部（１０）と、
   前景（２００）の中から特定の実オブジェクト（３００）を選択するオブジェクト選択部（２１）と、
   オブジェクト選択部（２１）が選択した実オブジェクト（３００）に隣接するまたは少なくとも一部が重なるように、拡張現実画像（１１０）の位置を制御する表示位置調整部（２２）と、
   ユーザーに視認される拡張現実画像（１１０）の少なくとも一部の透過率を高くする画像処理部（２３）と、を備える、
   ことを特徴とする車両用拡張現実画像表示装置。
3. 前記拡張現実画像（１１０）は、提示情報のアウトライン画像（１２０）と、アウトライン画像（１２０）に囲まれた塗り画像（１３０）と、を含み、
   前記画像処理部（２３）は、前記塗り画像（１３０）を、背景の色と同じあるいは近似する色にする、又は透過率を高くする調整量を、前記アウトライン画像（１３０）を、背景の色と同じあるいは近似する色にする、又は透過率を高くする調整量より大きくする、
   ことを特徴とする請求項１又は請求項２に記載の車両用拡張現実画像表示装置。
4. ユーザーの注視位置を検出する注視情報取得部（４０）をさらに備え、
   前記注視情報取得部（４０）が検出した注視位置が前記実オブジェクト（３００）上に移動した場合、前記画像処理部（２３）は、ユーザーに視認される前記拡張現実画像（１１０）の色が背景の色と同じあるいは近似する色と区別可能な色に徐々に近づける、又は前記拡張現実画像（１１０）の透過率を徐々に低くする、
   ことを特徴とする請求項１乃至３のいずれかに記載の車両用拡張現実画像表示装置。
5. ユーザーの注視位置を検出する注視情報取得部（４０）をさらに備え、
   前記表示位置調整部（２２）は、車両の内部領域（４００）にも内部拡張現実画像（１２０）を配置することが可能であり、
   前記注視情報取得部（４０）が検出した注視位置が前記内部領域（４００）にある場合、または注視位置が内部領域（４００）から外れてから所定時間が経過するまでの間、画像処理部（２３）は、前記拡張現実画像（１１０）の少なくとも一部の色が背景の色と同じあるいは近似する色にならないようにする、又は前記拡張現実画像（１１０）の少なくとも一部の透過率を低くし、前記注視情報取得部（４０）が検出した注視位置が前記内部領域（４００）から他の領域に移動した場合、または注視位置が前記内部領域（４００）から外れてから所定時間が経過した場合、前記拡張現実画像（１１０）の少なくとも一部の色が背景の色と同じあるいは近似する色に徐々に近づける、又は拡張現実画像（１１０）の少なくとも一部の透過率を徐々に高くする、
   ことを特徴とする請求項１乃至４のいずれかに記載の車両用拡張現実画像表示装置。
   

Images