JP2019177726A - 仮想リアビューミラー装置 - Google Patents

Abstract

【課題】観察しやすい仮想リアビューミラー装置を提供すること。【解決手段】仮想リアビューミラー装置１０は、自動車９０等である移動体の利用者の後方Ｄ０及び後側方Ｄ１，Ｄ２の少なくとも一方を、ミラー内画像Ｍ０２，Ｍ１２等である対象画像として表示するものであって、対象画像を移動体に対する所定箇所に３次元的に表示する。【選択図】図１

Description

本発明は、自動車その他の移動体に設けられているリアビューミラーと同様に後方等の観察を可能にする仮想表示リアビューミラー装置に関する。

移動体の周辺状況を移動体利用者が認識できるようにする周辺画像表示装置が提案されており、車両の走行状態に合わせて鏡面画像の表示形態を変化させるものが公知となっている（特許文献１）。この装置では、カメラによって得た画像と、他の制御ユニット等からデータ通信により取得した移動体の走行状態又は利用者の操作とに基づいて、走行状態等に合わせた適切な鏡面画像を表示することとしているが、このような鏡面画像は、具体的には、ナビゲーションユニットによる地図表示及び案内画面表示を行う液晶表示装置に表示される構成となっている。

自車両の死角領域の画像をその死角位置と対応が付きやすい場所に表示する車両用表示装置が公知となっている（特許文献２）。この車両用表示装置は、カメラと、投影装置と、ホログラムコンバイナーとを備え、サイドガラス、フロントガラス、又はリアガラス上に設けたホログラムコンバイナー上に、死角範囲の画像を表示する。

車両に設置されたサイドミラーに映る視野と異なる視野で車両後方を撮影し、その画像をウィンドシールドガラス面に仮想サイドミラー画像として表示させる車両用視覚補助装置が公知となっている（特許文献３）。この装置は、表示位置の設定を行う操作インターフェイスを有しており、表示場所を複数選択可能としている。この際、撮影された画像に対しドライバーの顔位置に対応する画像変換を行った合成画像を作成し仮想サイドミラー画像として表示することができる。なお、仮想サイドミラー画像は、無限遠の点に結像するように、ウィンドシールドガラスに投影されるとされている。

車体後方遠方を撮影するテレビカメラと、テレビカメラによって撮影された画像を表示する情報投影装置及びコンバイナーを備える車両用ディスプレイが公知となっている（特許文献４）。この装置では、車体後方の画像がヘッドアップディスプレイのコンバイナー上に表示される。

移動体の左右後方を撮影した画像を取得する制御部と、サイドガラスの一部領域に設けられて透過度が制御されるサイドコンバイナーと、サイドコンバイナーに制御部が取得した画像に基づく表示画像を表示するプロジェクターとを備える表示装置が公知となっている（特許文献５）。この装置では、サイドガラスに移動体の左右後方の画像を表示することができ、表示画像に特異物が含まれている場合に表示の透明度を下げたり、車速によって表示の透明度を制御することができる。

以上の特許文献１〜５では、移動体の死角領域の画像を仮想ミラーに表示することが開示されているものの、表示が平面的であり距離感を実感させるものではなく、特に実際のミラーに近い状態でミラー映像を表示する方法は開示されていない。上記のような仮想ミラーによって、例えば２次元のミラー映像を虚像として見せると、距離感がつかめない等、結局ドライバーにとって違和感がある映像となり、ミラーとして直感しにくく観察しにくいものとなってしまう。

また特許文献３〜５では、表示スクリーンについて、液晶ディスプレイや、通常のウィンドシールドやコンバイナーとなっていて、特段の工夫はない。この場合、ドライバーが表示像を観察できるようにするためには、ヘッドアップディスプレイ（ＨＵＤ）装置等の表示装置とスクリーンとの位置関係が、通常のミラー反射で用いる位置に制限され、場合によっては配置できない等の問題がある。これに対し、特許文献１及び２では、表示を行うスクリーンにホログラムを用いており、この場合は表示装置と表示スクリーンとの位置関係をほぼ任意に設定可能となるが、表示装置とスクリーンとの角度関係を厳密に調整する必要がある点と、ミラー表示をさせるようなサイズの大きいホログラムの製造が困難であるためコストが増大する点とが問題となる。

特開２０１４−３６２６８号公報 特開２０００−７１８７７号公報 特開２００８−１４１５７４号公報 特開平５−１４７４５５号公報 特開２０１５−１７４６４３号公報

本発明は、上記背景技術に鑑みてなされたものであり、観察しやすい仮想リアビューミラー装置を提供することを目的とする。

上記課題を解決するため、本発明に係る仮想リアビューミラー装置は、移動体の利用者の後方及び後側方の少なくとも一方を対象画像として表示する仮想リアビューミラー装置であって、対象画像を移動体に対する所定箇所に３次元的に表示する。ここで、リアビューミラー装置とは、利用者の後方又は後側方を視認するためのものである。

上記仮想リアビューミラー装置によれば、対象画像を移動体に対する所定箇所に３次元的に表示するので、移動体の利用者の後方や後側方に関して奥行き情報を含む対象画像を提供することができる。これにより、移動体の後方及び後側方の少なくとも一方（主に利用者にとって死角となる位置）の対象画像を観察しやすくなり、危険等の認識性を高めることができる。

本発明の具体的な側面では、上記仮想リアビューミラー装置において、移動体は自動車であり、自動車のリアビューミラーが設置される位置に対応する少なくとも１箇所の表示位置に対象画像を含むミラーの虚像であるミラー像を表示する。なお、リアビューミラーが設置される位置とは、仮想的にリアビューミラーを設置した場合の位置を意味し、当該位置に限らず、設置位置近傍も含む。ここで、自動車には、一般的な乗用車のほか、バス、トラック、大型重機等も含まれる。移動体の利用者であるドライバーは、大きく目線を動かすことなく例えば斜め後方や横方向の死角を観察することができる。さらに、自動車のリアビューミラーの位置はドライバーにとって違和感の少ないものであり、運転に伴う後方及び後側方の確認作業の負担を減らすことができる。

本発明の別の側面では、自動車のリアビューミラーが設置される位置に、表示像を投影するヘッドアップディスプレイ（ＨＵＤ）装置の本体からの光束を利用者の目の方向に偏向させて反射させるスクリーンを持つ。この場合、通常のミラー反射と異なる偏向スクリーンを用いることで、ＨＵＤ装置の配置に自由度を持たせることができ、ＨＵＤ装置を配置する場合に車内で配置可能な位置の制限に対し、通常のミラー表示をするスクリーンではＨＵＤ装置からの光束を利用者の目の方向に反射することができない場合でも、偏向スクリーンによる反射でＨＵＤ装置からの光束を利用者の目の方向に向けることができる。

本発明のさらに別の側面では、偏向させて反射させるスクリーンは、一方の面に連続的に繰り返し配列された第１プリズム構造を有する第１光学素子と、一方の面に連続的に繰り返し配列された第２プリズム構造を有する第２光学素子とを接合した構造で、第１及び第２プリズムは其々の屈折率が同じまたは略同じに設定され、第１及び第２プリズム構造のいずれか一方により表示像を反射光として反射させる構造を持つ。この場合、ＨＵＤ装置の表示像を偏向させて反射することができるだけでなく、車外からの光束を歪みなく透過することができる。

本発明のさらに別の側面では、対象画像は、鏡像状態で表示される。この場合、仮想ミラーとして、移動体の利用者に違和感なく必要な情報を伝えることができる。

本発明のさらに別の側面では、後方及び後側方の少なくとも一方の対象画像を撮像する少なくとも１つの撮像部と、撮像部によって得られた映像をミラー像として表示させるための映像に変換する画像変換部とをさらに備える。この場合、画像変換部での処理により、仮想ミラーに従来のミラーで見ている像と同様の映像を映すことができ、移動体の利用者は、仮想ミラーを違和感なく観察することができるようになる。

本発明のさらに別の側面では、移動体における利用者の視点位置を検出する視点位置検出部と、視点位置検出部からの情報に基づいて対象画像を合成する画像合成部とをさらに備える。ここで、利用者の視点位置とは、利用者の眼又は瞳の位置を意味する。このように、仮想ミラーに表示させる映像を移動体の利用者の視点位置に合わせて変化させることによって、本来のミラーで見ていた映像と同様の映像を映すことができ、移動体の利用者にとって違和感が少ない。

本発明のさらに別の側面では、移動体は自動車であり、後方の対象画像は、自動車のルームミラーに表示される像に対応する。なお、ルームミラーに表示される像とは、仮想的にルームミラーを設置した場合に表示される像を意味する。

本発明のさらに別の側面では、移動体は自動車であり、後側方の対象画像は、自動車のサイドミラーに表示される像に対応する。なお、サイドミラーに表示される像とは、仮想的にルームミラーを設置した場合に表示される像を意味する。

第１実施形態の仮想リアビューミラー装置を含む移動体用表示システムを説明するブロック図である。 移動体である自動車の外観及びカメラ等の設置を説明する平面図である。 （Ａ）は、移動体である自動車の側方断面図であり、（Ｂ）は、自動車の内部前方を説明する図である。 仮想リアビューミラー装置のうち後方ミラー投影部を説明するブロック図である。 （Ａ）は、投影部に組み込まれる光学系の具体例を説明する拡大側方断面図であり、（Ｂ）は、半透過スクリーンの構造を説明する拡大側方断面図である。 （Ａ）、（Ｂ）及び（Ｃ）は、ミラーの表示状態を例示する図である。 仮想リアビューミラー装置の動作の概要を説明する図である。 （Ａ）及び（Ｂ）は、第２実施形態の仮想リアビューミラー装置の要部を説明する概念的な側方断面図である。 第３実施形態の仮想リアビューミラー装置の要部を説明する概念的な側方断面図である。 （Ａ）及び（Ｂ）は、変形例の仮想リアビューミラー装置を説明する側方断面図及び拡大側方断面図である。

〔第１実施形態〕
以下、本発明の第１実施形態に係る仮想リアビューミラー装置を組み込んだ移動体用表示システムについて説明する。

図１は、移動体用表示システム１００を説明するブロック図であり、移動体用表示システム１００は、その一部として仮想リアビューミラー装置１０を含む。移動体用表示システム１００は、乗用車その他の移動体である自動車９０（図２参照）に組み込まれるものである。

移動体用表示システム１００は、ミラー表示部２０と、顔位置検出部３０と、環境監視部４０と、情報ディスプレイ５０と、主制御装置６０とを備える。これらのうち、ミラー表示部２０、顔位置検出部３０、及び主制御装置６０は、仮想リアビューミラー装置１０を構成する。仮想リアビューミラー装置１０は、既定の表示位置に、つまりルームミラーの設置位置又はその後方と、一対のサイドミラーの設置位置又はその後方とに、反射像を含む仮想的なミラー像を表示する。なお、本実施形態では、３次元表示を行うこともあって、ドライバーから見てルームミラー又はサイドミラーの設置位置の後方も設置位置と考える。

ミラー表示部２０は、死角となる場所のうち、後方、右後側方、及び左後側方の対象画像を反射像として表示する部分であり、このような対象画像又は反射像を含む物体的なミラーの虚像を仮想的なミラー像として表示する。このミラー像は、虚像として表示される点で仮想的なものであるが、基本的には恰も現実に存在して後方又は後側方の物体を映しているかのように表示される。ミラー表示部２０は、後方用の撮像部である第１の３次元カメラ２２ａと、右後側方用の撮像部である第２の３次元カメラ２２ｂと、左後側方用の撮像部である第３の３次元カメラ２２ｃと、３次元画像処理部２３と、後方観察用のルームミラーとして機能する主要部である後方ミラー投影部２４と、右後側方観察用の右サイドミラーとして機能する主要部である第１後側方ミラー投影部２５と、左後側方観察用の左サイドミラーとして機能する主要部である第２後側方ミラー投影部２６と、ミラー表示制御部２８とを備える。ここで、後方ミラー投影部２４は、移動体である自動車９０におけるルームミラーの通常の設置位置又はその近傍にミラー像を形成し、第１後側方ミラー投影部２５は、自動車９０における右サイドミラーの通常の設置位置又はその近傍にミラー像を形成し、第２後側方ミラー投影部２６は、自動車９０における左サイドミラーの通常の設置位置又はその近傍にミラー像を形成する。ここで、投影部２４，２５，２６による仮想的なミラー像の表示位置又は投影位置は、一般的なミラーの設置位置から外れた独自のものであってもよい。

図２に示すように、第１の３次元カメラ（撮像部）２２ａは、自動車（移動体）９０の例えばリアウインドウの中央上端に突起するように設けられて、自動車９０の後方を撮影する。第２及び第３の３次元カメラ（撮像部）２２ｂ，２２ｃは、自動車９０の例えばサイドミラーに対応する箇所に突起するように設けられている。第１〜第３の３次元カメラ２２ａ，２２ｂ，２２ｃは、単に死角画像を撮影できるだけでなく、撮影した死角画像から奥行情報の抽出を可能にする。３次元カメラ２２ａ，２２ｂ，２２ｃは、図示を省略するが、例えば複眼型のカメラである。つまり、３次元カメラ２２ａ，２２ｂ，２２ｃは、結像用のレンズと、ＣＭＯＳその他の撮像素子とを一組とするカメラ素子をマトリックス状に配列したものであり、撮像素子用の駆動回路をそれぞれ有する。３次元カメラ２２ａ，２２ｂ，２２ｃを構成する複数のカメラ素子は、例えば奥行方向の異なる位置にピントを合わせるようになっており、或いは相対的な視差を検出できるようになっており、各カメラ素子から得た画像の状態（フォーカス状態、オブジェクトの位置等）を解析することで、画像内の各領域までの距離を判定できる。第１の３次元カメラ２２ａは、自動車９０の利用者であるドライバーＤＲにとっての死角のうち、自動車９０の斜め後方を含む後方Ｄ０の死角となる場所が画角Ａ０内に略収まるように撮影して３次元画像処理部２３に出力する。ここで、ドライバーＤＲにとって死角とは、顔を正面に向けた状態で見えない方位や箇所を意味する。第２の３次元カメラ２２ｂは、ドライバーＤＲにとっての死角のうち、自動車９０の右横方向を含む右後側方Ｄ１の死角となる場所が画角Ａ１内に略収まるように撮影して３次元画像処理部２３に出力する。第３の３次元カメラ２２ｃは、上記死角のうち、自動車９０の左横方向を含む左後側方Ｄ２の死角となる場所が画角Ａ２内に略収まるように撮影して３次元画像処理部２３に出力する。

なお、上記のような複眼型の３次元カメラ２２ａ，２２ｂ，２２ｃに代えて、２次元カメラと赤外距離センサーとを組み合わせたものを用いても、撮影した画面（死角画像）内の各部に関して奥行方向の距離情報を得ることができる。また、３次元カメラ２２ａ，２２ｂ，２２ｃに代えて、２つの２次元カメラを分離配置したステレオカメラによって、撮影した画面内の各部に関して奥行方向の距離情報を得ることができる。その他、単一の２次元カメラにおいて、焦点距離を高速で変化させながら撮像を行うことによっても、撮影した画面内の各部に関して奥行方向の距離情報を得ることができる。

３次元画像処理部２３は、第１〜第３の３次元カメラ２２ａ，２２ｂ，２２ｃによって撮影した死角画像から鏡像状態の３次元画像を作成するための画像変換部として機能する。具体的には、第１〜第３の３次元カメラ２２ａ，２２ｂ，２２ｃで得た死角画像から各画像部分までの距離を判定するとともに、死角画像を奥行情報に対応する複数の距離ゾーンに分割する。つまり、３次元画像処理部２３によって、死角画像を対象までの距離が等しい複数の等距離線で区分したような立体的な画像情報が得られる。具体的には、距離ゾーンを対数スケールで例えば５〜１０段階程度に設定して死角画像を分割し、分割した画像部分のそれぞれに距離ゾーンを識別する情報を割り振る。距離ゾーンは、遠距離、中距離、近距離といった３段階程度であってもよい。このように処理することで、死角画像中の、自動車、歩行者、建物等の各種対象物の画像部分を距離に応じて区分したような情報が得られる。３次元画像処理部２３は、画像を解析する機能を有しており、自動車、歩行者、建物等の各種対象物の種類識別、相対的移動速度の検出等を行うこともできる。３次元画像処理部２３は、距離ゾーンごとの画像部分をミラー越しの画像と同様に左右反転させて記憶する。

後方ミラー投影部２４は、ヘッドアップディスプレイ（ＨＵＤ）としての機能を有し、自動車９０のドライバーＤＲに対して斜め上方前方のルームミラーの設置位置又はその近傍にドライバーＤＲが観察可能なルームミラー像を投影する。本実施形態では、ルームミラーを省略しているが、ルームミラーを併存させることもできる。ここで、ルームミラーの設置位置又はその近傍とは、普通車やハイルーフ車、トラック、バスなど、車種によって最適位置が変わるが、例えば右ハンドル車の場合、ドライバーＤＲのアイポイントをヘッドレスト中心から前方に４０ｃｍ程度前の位置として、横方向に１０〜３０°程度左（左ハンドルなら右）で、縦方向に５〜３０°程度見上げる方向で設定すれば良く、ルームミラーの使用に慣れたドライバーＤＲでもほぼ違和感のない、ルームミラーが元々設定されていたのと同様の位置に表示を行うことが可能となる。第１後側方ミラー投影部２５は、ＨＵＤとしての機能を有し、ドライバーＤＲに対して右サイドミラーの設置位置又はその近傍にドライバーＤＲが観察可能なサイドミラー像を投影し、第２後側方ミラー投影部２６は、ＨＵＤとしての機能を有し、ドライバーＤＲに対して左サイドミラーの設置位置又はその近傍にドライバーＤＲが観察可能なミラー像を投影する。本実施形態では、左右のサイドミラーを省略しているが、左右のサイドミラーを併存させることもできる。ここで、サイドミラーの設置位置又はその近傍とは、これも車種によって最適位置が変わるが、例えば右ハンドル車の場合、ドライバーＤＲのアイポイントをヘッドレスト中心から前方に４０ｃｍ程度前の位置として、右ミラーが横方向に２０〜６５°程度、左ミラーが４５〜７０°程度（左ハンドルならこれら右と左が逆）で、縦方向に０〜３０°程度見下げる方向で設定すればよく、サイドミラーの使用に慣れたドライバーＤＲでもほぼ違和感のない、サイドミラーが元々設定されていたのと同様の位置に表示を行うことが可能となる。

図３（Ａ）及び３（Ｂ）を参照して、後方ミラー投影部２４は、３次元表示が可能な虚像投影装置であり、映像ユニット２４ａと、表示スクリーン２４ｂとを備える。映像ユニット２４ａは、自動車９０のルーフ部７の前方端中央に部分的に埋め込むように設置されており、ルームミラーのミラー像（以下、後方ミラー像ともいう）に対応する表示光を表示スクリーン２４ｂに向けて射出する。映像ユニット２４ａは、詳細は後述するが、表示パネルに形成された像を投影光学系によって拡大投影する。表示スクリーン２４ｂは、透過性又は半透過性の反射面を有し、フロントウインドウ８の上端中央に設けられて、映像ユニット２４ａからの表示光をドライバーＤＲの顔方向に部分的に反射する。

図４は、ミラー表示部２０のうち後方ミラー投影部２４の構成例を説明するブロック図である。後方ミラー投影部２４において、映像ユニット２４ａは、ＨＵＤ装置の本体であり、投影すべき画像を形成する画像表示部である描画デバイス２４ｆと、描画デバイス２４ｆ上の画像を虚像として投影する投影光学系２４ｇと、描画デバイス２４ｆを光軸方向に移動させるデバイス配置駆動部２４ｈと、後述するミラー表示制御部２８との間で画像データやコマンドの遣り取りを行うためのインターフェイス２４ｉとを有する。描画デバイス（画像表示部）２４ｆは、反射型又は透過型の表示素子を有し、必要な解像度でミラー像の元となる画像を表示する。描画デバイス２４ｆは、具体的には、デジタルミラーデバイス（ＤＭＤ）等の反射型の表示素子で構成され、ＬＥＤ、レーザーダイオード（ＬＤ）その他の光源から射出され照明光学系を経て均一化された光によって照明される。描画デバイス２４ｆに入力される画像情報は、動画の各フレームごとに、遠距離から近距離までの複数の投影位置に対応した複数の画像情報であり、後方の死角における遠距離から近距離までの複数の対象画像（画像部分）を１／３０秒以内、好ましくは１／６０秒以内に、時間をずらしながら順次表示させることができれば、このように距離の異なる対象画像がドライバーＤＲに略同時に知覚され、３次元の立体画像として表示されたかのように見える。投影光学系２４ｇは、描画デバイス２４ｆからの表示光ＤＬを表示スクリーン２４ｂに向けて投影し、虚像としてのミラー像を表示スクリーン２４ｂの手前又は背後に形成する。デバイス配置駆動部２４ｈは、ピエゾ素子等で構成され、描画デバイス２４ｆを投影光学系２４ｇに対して光軸方向に並進移動させることで、投影光学系２４ｇによるミラー像について投影距離を変化させる。つまり、描画デバイス２４ｆの投影光学系２４ｇに対する間隔を描画デバイス２４ｆによる対象画像の表示と同期して変化させることにより、表示スクリーン２４ｂ越しに遠距離から近距離までの複数の対象画像を高速で順次切り替えつつ投影表示させる３次元表示が可能になる。

図５（Ａ）は、映像ユニット２４ａ等の具体的な光学系を説明する断面図である。ＨＵＤ装置の本体である映像ユニット２４ａは、図４で説明した描画デバイス２４ｆ、投影光学系２４ｇ、デバイス配置駆動部２４ｈ等のほかに、ハウジング２４ｎを備える。描画デバイス２４ｆの表示面２４ｄからの表示光ＤＬは、投影光学系２４ｇを介して、表示スクリーン２４ｂに入射する。その他、ハウジング２４ｎは、表示光ＤＬを通過させる開口８５ａを有し、この開口８５ａには、フィルム又は薄板状の光透過部材を配置することができる。

表示スクリーン２４ｂは、フロントウインドウ８の内面８ｂに貼り付けられたシート部材８８である。表示スクリーン２４ｂ又はシート部材８８は、仮想的な後方ミラー像のうち対象画像の表示位置又は投影位置とアイボックスＥＢとの間に配置されている。シート部材８８には、光透過性を有する半透過性の反射面８８ｒが埋め込まれており、映像ユニット２４ａから射出された表示光ＤＬをドライバーＤＲの頭部の存在が想定される矩形のアイボックスＥＢに導く（図３（Ａ）参照）。反射面８８ｒは、ヘッドアップディスプレイ装置の本体である映像ユニット２４ａからの光束を利用者であるドライバーＤＲの目の方向に偏向させて反射させる。つまり、反射面８８ｒは、表示光ＤＬを巨視的に正反射方向でなく傾いた方向に向ける偏向ミラーとなっている。ドライバーＤＲは、表示スクリーン２４ｂで反射された表示光ＤＬを、フロントウインドウ８の前方の異なる距離位置にある複数の虚像ＩＭからの虚像光ＫＫとして観察する。なお、ドライバーＤＲは、後方ミラー投影部２４による表示を習慣に基づいてルームミラーと認識し、表示スクリーン２４ｂの背後に形成された虚像ＩＭを観念上のミラー視野ＣＦ０にある物体の像と認識する。観念上のミラー視野ＣＦ０は、ドライバーＤＲの背後や自動車９０の後方Ｄ０（図２参照）に相当する。

図５（Ｂ）は、表示スクリーン２４ｂとしてのシート部材８８の構造を説明する図である。シート部材８８は、第１光学素子８８ａと第２光学素子８８ｂとを接合した構造を有する。第１光学素子８８ａは、一方の面Ｓ１１に連続的に繰り返し配列された第１プリズム構造ＰＳ１を有し、他方の面Ｓ１２が平滑面となっている。第２光学素子８８ｂは、一方の面Ｓ２１に連続的に繰り返し配列された第２プリズム構造ＰＳ２を有し、他方の面Ｓ２２が平滑面となっている。第１光学素子８８ａと第２光学素子８８ｂとは、第１プリズム構造ＰＳ１と第２プリズム構造ＰＳ２とを対向させた状態で接合されている。第１及び第２プリズム構造ＰＳ１，ＰＳ２の表面のいずれか一方は、所望の反射特性を持つミラーＭＲとなっている。シート部材８８内において多数のミラーＭＲが集まって、全体としてフロントウインドウ８に沿って面状に延びる反射面８８ｒが形成される（図５（Ａ）参照）。ミラーＭＲの反射率は、例えば１５％〜３０％となっている。ミラーＭＲは、金属や多層膜等で形成されている。プリズム構造ＰＳ１，ＰＳ２の形状は、ミラーＭＲの有効領域の傾斜角がシート部材８８への巨視的入射角θ１と、シート部材８８からの巨視的射出角θ２とを成立させるように設定され、映像ユニット２４ａからの表示光ＤＬをアイボックスＥＢに向ける。ミラーＭＲは、第１要素ＭＲａと第２要素ＭＲｂとからなるが、巨視的入射角θ１に対して巨視的射出角θ２を実現するため、一方の第１要素ＭＲａのみが使われることになる。プリズム構造ＰＳ１，ＰＳ２は、鉛直のＺ方向に繰り返されるとともにＺ方向に交差する方向に延びる。プリズム構造ＰＳ１，ＰＳ２が延びる方向は、例えばシート部材８８に入射する表示光ＤＬとシート部材８８の対応箇所の法線とによって形成される面によって定まる表示光ＤＬの傾斜方向を基準として、傾斜方向に対して直交する方向とできる。

以上の表示スクリーン２４ｂは例示であり、第１光学素子８８ａと第２光学素子８８ｂとの一方にのみプリズム構造を設け、第１及び第２光学素子８８ａ，８８ｂ間に樹脂を充填することもできる。表示スクリーン２４ｂは、図５（Ｂ）に示す構造に限らず、フロントウインドウ８中に埋め込むものであってもよい。つまり、図５（Ｂ）では、表示スクリーン２４ｂをフロントウインドウ８の内面８ｂに貼り付けているが、これを貼り合わせのフロントウインドウ８内に挟んで埋め込む構成としても構わない。さらに、フロントウインドウ８から独立して設けられるコンバイナーであってもよい。さらに、表示スクリーン２４ｂは、フロントウインドウ８の内面８ｂを利用したものであってよく、フロントウインドウ８の内面８ｂに反射性を高めるコートを施したものであってもよい。

図２及び図３（Ｂ）を参照して、第１後側方ミラー投影部２５は、３次元表示が可能な虚像投影装置であり、映像ユニット２５ａと、表示スクリーン２５ｂとを備える。映像ユニット２５ａは、自動車９０内のダッシュボード４の右側に埋め込むように設置されており、右サイドミラーのミラー像（以下、右後方ミラー像ともいう）に対応する表示光を表示スクリーン２５ｂに向けて射出する。第１後側方ミラー投影部２５の映像ユニット２５ａは、ＨＵＤ装置の本体であり、後方ミラー投影部２４の映像ユニット２４ａと同様に、描画デバイス、投影光学系、デバイス配置駆動部等を有する。表示スクリーン２５ｂは、透過性又は半透過性の反射面を有し、右フロントドアウインドウ３ａの前方下側領域に設けられて、映像ユニット２５ａからの表示光をドライバーＤＲの顔方向に部分的に反射する。表示スクリーン２５ｂは、後方ミラー投影部２４の表示スクリーン２４ｂと同様の構造を有する。ドライバーＤＲは、第１後側方ミラー投影部２５による表示を習慣に基づいて右サイドミラーと認識し、表示スクリーン２５ｂの背後に形成された虚像ＩＭを右後方に設定された観念上のミラー視野ＣＦ１にある物体の像と認識する（図２参照）。第１後側方ミラー投影部２５の具体的な構成は、図４、図５（Ａ）等に示す後方ミラー投影部２４の構成と同様であり、説明を省略する。

第２後側方ミラー投影部２６は、３次元表示が可能な虚像投影装置であり、映像ユニット２６ａと、表示スクリーン２６ｂとを備える。映像ユニット２６ａは、自動車９０内のダッシュボード４の左側に埋め込むように設置されており、左サイドミラーのミラー像（以下、左後方ミラー像ともいう）に対応する表示光を表示スクリーン２６ｂに向けて射出する。第２後側方ミラー投影部２６の映像ユニット２６ａは、ＨＵＤ装置の本体であり、後方ミラー投影部２４の映像ユニット２４ａと同様に、描画デバイス、投影光学系、デバイス配置駆動部等を有する。表示スクリーン２６ｂは、透過性又は半透過性の反射面を有し、左フロントドアウインドウ３ｂの前方下側領域に設けられて、映像ユニット２６ａからの表示光をドライバーＤＲの顔方向に部分的に反射する。表示スクリーン２６ｂは、後方ミラー投影部２４の表示スクリーン２４ｂと同様の構造を有する。ドライバーＤＲは、第２後側方ミラー投影部２６による表示を習慣に基づいて左サイドミラーと認識し、表示スクリーン２６ｂの背後に形成された虚像ＩＭを左後方に設定された観念上のミラー視野ＣＦ２にある物体の像と認識する（図２参照）。第２後側方ミラー投影部２６の具体的な構成は、図４、図５（Ａ）等に示す後方ミラー投影部２４の構成と同様であり、説明を省略する。

図１に戻って、ミラー表示制御部２８は、後方ミラー投影部２４を動作させて表示スクリーン２４ｂの背後に虚像の後方ミラー像を表示させる。ミラー表示制御部２８は、第１後側方ミラー投影部２５を動作させて表示スクリーン２５ｂの背後に虚像の右後方ミラー像を表示させるとともに、第２後側方ミラー投影部２６を動作させて表示スクリーン２６ｂの背後に虚像の左後方ミラー像を表示させる。ミラー表示制御部２８は、３次元画像処理部２３によって得た立体的な画像情報から、後方ミラー投影部２４に表示させる後方ミラー像と、第１及び第２後側方ミラー投影部２５，２６に表示させる右後方ミラー像及び左後方ミラー像とを生成する。ミラー表示制御部２８は、拡張現実（ＡＲ）の手法を用いた表示動作を可能にするものであり、これによって表現されるミラー像は、例えばミラーの視野内に現実に存在する物体に対して標識を付加したようなものとすることができる。

３次元カメラ２２ａ，２２ｂ，２２ｃの位置と、表示スクリーン２４ｂ，２５ｂ，２６ｂの位置とは、正確には一致しない。厳密な表示を行う場合、３次元カメラ２２ａ，２２ｂ，２２ｃの位置と表示スクリーン２４ｂ，２５ｂ，２６ｂの位置との差に基づいて、表示スクリーン２４ｂ，２５ｂ，２６ｂの位置にミラー又はカメラがあった場合に観察される画像を演算処理によって得て表示画像とすることができる。

図６（Ａ）は、後方ミラー投影部２４によって生成させる後方ミラー像を例示したものである。後方ミラー像Ｍ０は、ミラー枠画像Ｍ０１とミラー内画像Ｍ０２とを含む。ミラー枠画像Ｍ０１は、自動車９０のドライバーＤＲから見て固定的に配置されているように投影される静的な画像である。ミラー内画像Ｍ０２は、対象画像に相当し、従来のルームミラーによって観察される自動車９０の後方Ｄ０の画角Ａ０内に現実に存在する、道路、自動車等の各種対象物を含む動的な画像である。このミラー内画像Ｍ０２は、従来のルームミラーとの整合性を確保するため、鏡像状態で表示されている。また、このミラー内画像Ｍ０２は、３次元的な画像であり、ミラー枠画像Ｍ０１の背後の方向に奥行をもって配置される。なお、図示の例では、ミラー内画像Ｍ０２中に乗用車１ａが存在し、近接を意味する仮想的な標識１ｂが付加されている。標識１ｂは、点滅したり回転したりサイズが増減したりしてドライバーＤＲの注意を喚起する。この標識１ｂは、記号状のものに限らず、乗用車１ａや歩行者の輪郭を示すものであってもよく、文字情報を含むものであってもよい。ミラー内画像Ｍ０２には、室内の後部席周辺画像ＲＲを付加することもできる。

図示の例では、後方ミラー投影部２４によって投影表示される後方ミラー像Ｍ０は、通常のルームミラーの位置に虚像として配置されている。後方ミラー像Ｍ０の配置やサイズは、自動車９０の停車を含めた走行状況に応じて変更することができる。また、上記のミラー表示制御部２８により、後方ミラー像Ｍ０の表示の明るさ（輝度）や表示コントラストを変えることもできる。具体的には、昼間の晴天時や逆光時など、外環境が明るい場合には、後方ミラー像Ｍ０の表示明るさ又は／及びコントラストを高め強める、夜間や曇天、雨天、トンネル内など、外環境が暗い場合には、後方ミラー像Ｍ０の表示明るさ又は／及びコントラストを低め弱めるといった調整を、自動又はドライバーＤＲの指定によって行うことができる。

図６（Ｂ）は、第１後側方ミラー投影部２５によって生成させる右後方ミラー像Ｍ１を例示したものである。第１後側方ミラー投影部２５によって投影表示される右後方ミラー像Ｍ１も、後方ミラー投影部２４の場合と同様に、ミラー枠画像Ｍ１１とミラー内画像Ｍ１２とを含む。ミラー枠画像Ｍ１１は、自動車９０のドライバーＤＲから見て固定的に配置されているように投影される静的な画像である。一方、ミラー内画像Ｍ１２は、対象画像に相当し、３次元的な画像であり、ミラー枠画像Ｍ１１の背後の方向に奥行をもって配置される動的な画像である。

図６（Ｃ）は、第２後側方ミラー投影部２６によって生成させる左後方ミラー像Ｍ２を例示したものである。左後方ミラー像Ｍ２は、第１後側方ミラー投影部２５によって生成させる右後方ミラー像と同様でありミラー枠画像Ｍ２１とミラー内画像Ｍ２２とを含むが、詳細な説明を省略する。

図１に戻って、ミラー表示制御部２８は、３次元画像処理部２３と協働して、死角画像から鏡像状態の３次元画像を作成するための画像変換部として機能する。ミラー表示制御部２８は、主制御装置６０の制御下で、後方ミラー投影部２４と第１及び第２後側方ミラー投影部２５，２６とに対して画像データ及び制御信号を出力し、虚像位置を時分割で高速で変化させる画像を準備しこの画像を投影部２４，２５，２６に表示させる。具体的には、図６（Ａ）のミラー内画像Ｍ０２と図６（Ｂ）のミラー内画像Ｍ１２とは、動画であり、動画の一コマ又はフレーム単位で虚像位置が変化する複数の投影画像を含む。このため、ミラー表示制御部２８は、例えば１／３０秒以内で表示するためのコマ画像を準備するとともに、各コマ画像が距離ゾーンに分割した距離分割画像を含むものとする。

ミラー表示制御部２８は、後述する顔位置検出部３０のドライバーＤＲの眼の位置に関する検出出力を主制御装置６０を介して受け取る。ミラー表示制御部２８により、眼の位置の検出結果は、ミラー表示制御部２８において表示スクリーン２４ｂ，２５ｂ，２６ｂに対するドライバーＤＲの相対方位に変換される。ミラー表示制御部２８は、このドライバーＤＲの相対方位に応じてミラー像Ｍ０，Ｍ１，Ｍ２の表示内容をＸ方向又はＹ方向にシフトさせる。具体的には、ミラー表示制御部２８は、画像のシフトによって、ミラー像Ｍ０，Ｍ１，Ｍ２のうちミラー枠画像Ｍ０１，Ｍ１１，Ｍ２１の配置がフロントウインドウ８等を基準として一定に保たれるようにする。また、ミラー表示制御部２８は、画像のシフトによって、ミラー像Ｍ０，Ｍ１，Ｍ２のうちミラー内画像Ｍ０２，Ｍ１２，Ｍ２２がドライバーＤＲの頭部の位置に応じて変化するようにする。つまり、ドライバーＤＲの頭部を移動させると、これに応じてミラー内画像Ｍ０２，Ｍ１２，Ｍ２２として表示される道路、自動車等の各種対象物の表示位置が変化する。例えば、ドライバーＤＲが頭部をＸ方向すなわち左方向に動かした場合、ミラー内画像Ｍ０２，Ｍ１２，Ｍ２２はドライバーＤＲから見て全体として−Ｘ方向すなわち右方向に移動する。この際、比較的近距離領域ＡＲ１（図６（Ａ）及び６（Ｂ）参照）に表示される対象物の動きと、比較的遠距離領域ＡＲ２（図６（Ａ）及び６（Ｂ）参照）に表示される対象物の動きとは、厳密には若干異なるものとなる。以上から明らかなように、ミラー表示制御部２８は、顔位置検出部３０からの情報に基づいて対象画像を含むミラー像Ｍ０，Ｍ１，Ｍ２を合成する画像合成部として機能している。

ミラー表示制御部２８は、ドライバーＤＲによるキー７１の操作を、主制御装置６０を介して受け付ける。これにより、ミラー像Ｍ０，Ｍ１，Ｍ２のうちミラー内画像Ｍ０２，Ｍ１２，Ｍ２２をＸ方向又はＹ方向にシフトさせることができる。この際、ミラー枠画像Ｍ０１，Ｍ１１，Ｍ２１は固定されて移動しないので、ミラー内画像Ｍ０２，Ｍ１２，Ｍ２２として表示される死角領域がシフトする。つまり、キー７１の操作によって仮想的なミラー像として表示されたルームミラー又はサイドミラーの傾斜角を恰も現実に存在するルームミラー又はサイドミラーのように微調整できるようになっている。また、キー７１の操作により、ルームミラー又はサイドミラーの表示自体を消すこともできる。

顔位置検出部３０は、ドライバーＤＲの視点位置を検出する視点位置検出部であり、運転席用カメラ３１と、運転席用画像処理部３２と、視点位置演算処理部３３とを備える。運転席用カメラ３１は、自動車９０内のダッシュボード４の運転席正面に設置されており、ドライバーＤＲの頭部及びその周辺の画像を撮影する。運転席用カメラ３１は、例えばミラー表示部２０に組み込んだ３次元カメラ２２ａ，２２ｂ，２２ｃの場合と同様の手法によって、撮影した運転席画像から奥行情報の抽出を可能にする。運転席用カメラ３１は、ドライバーＤＲの体格のバラツキを考慮して広めの画角を確保するものとなっている。運転席用画像処理部３２は、運転席用カメラ３１で撮影した画像に対して明るさ補正等を行って視点位置演算処理部３３での処理を容易にする。視点位置演算処理部３３は、運転席用画像処理部３２を経た運転席画像からオブジェクトの抽出又は切り出しを行ってドライバーＤＲの頭部や眼を検出する。また、視点位置演算処理部３３は、運転席画像及びこれに付随する奥行情報から自動車９０内におけるドライバーＤＲの頭部や眼の空間的な位置を算出する。ここで、ドライバーＤＲの眼の位置とは、例えば２つの眼の中間位置とすることができるが、カメラ画像から２つの眼を検出できない場合、頭部の輪郭から眼の位置を推測することができる。このようにして得たドライバーＤＲの眼の位置は、投影部２４，２５，２６の表示スクリーン２４ｂ，２５ｂ，２６ｂに対する相対的な配置に関する情報（具体的には相対方位）として主制御装置６０に出力される。

環境監視部４０は、運転関連情報取得部４１と、運転関連情報処理部４２とを備える。運転関連情報取得部４１は、図２にも示すように、自動車９０の前方を撮影する前方カメラ４５と、前方の物体を検出するレーダー装置４７とを備える。環境監視部４０は、ミラー像Ｍ０，Ｍ１，Ｍ２中のミラー内画像Ｍ０２，Ｍ１２，Ｍ２２に存在する危険やミラー像Ｍ０，Ｍ１，Ｍ２の背後に存在する危険を検出する検出部として機能する。

前方カメラ４５は、例えば３次元カメラ２２ａ，２２ｂ，２２ｃの場合と同様の手法によって、撮影した前方画像から奥行情報又は距離情報の抽出を可能にする。運転関連情報処理部４２は、前方カメラ４５によって撮影した前方画像からオブジェクトの抽出を行って、斜め前方を含めた前方に存在する、障害物、自動車、バイク、自転車、歩行車等の前方接近対象の存在を判定するとともに、かかる前方接近対象の自動車９０に対する相対的な位置と移動速度とを検出する。運転関連情報処理部４２は、前方接近対象を検出した場合、その内容を警告情報として主制御装置６０に出力し、主制御装置６０は、情報ディスプレイ５０に前方接近対象の存在や近接状況を知らせる表示を行わせるとともに、情報ディスプレイ５０に付随するスピーカーを介してドライバーＤＲへの音声警告の出力を行わせる。音声警告は、例えばブザー音やビープ音に限らず言語的なものであってもよい。

レーダー装置４７は、詳細な説明を省略するが、レーザー光又はミリ波を用いて前方に存在する正面接近対象の存在を判定するとともに、かかる前方接近対象の自動車９０に対する相対的な距離と移動速度とを検出する。運転関連情報処理部４２は、レーダー装置４７によって正面接近対象を検出した場合、その内容を警告情報として主制御装置６０に出力し、主制御装置６０は、情報ディスプレイ５０に正面接近対象の存在や近接状況を知らせる表示を行わせるとともに、情報ディスプレイ５０に付随するスピーカーを介してドライバーＤＲに向けて音声警告の出力を行わせる。

環境監視部４０の出力は、主制御装置６０に監視されており、主制御装置６０は、上記のように情報ディスプレイ５０を利用してドライバーＤＲに警告を行うだけでなく、不図示の制動制御系を介してブレーキを強制的に動作させることにより、自動車９０を強制的に停止させて衝突回避を図ることもできる。

主制御装置６０は、ミラー表示部２０、顔位置検出部３０、環境監視部４０、情報ディスプレイ５０等の動作を統括的に制御している。主制御装置６０は、例えば運転関連情報処理部４２が前方接近対象の存在を検出し、特に前方接近対象がミラー像Ｍ０，Ｍ１，Ｍ２の背後又はその周辺に存在する場合であって、前方接近対象までの距離が所定以下になった場合は、ミラー表示部２０の動作を停止させ、ミラー表示制御部２８によるミラー像Ｍ０，Ｍ１，Ｍ２の表示を一定期間消すことができる。或いは、このような場合、ミラー表示制御部２８によるミラー像Ｍ０，Ｍ１，Ｍ２の表示輝度を一定期間下げることもできる。さらに、投影部２４，２５，２６の表示範囲に余裕があれば、前方接近対象を避けるようにミラー像Ｍ０，Ｍ１，Ｍ２の表示位置をずらすように移動させることもできる。

主制御装置６０は、通信部７３を介してクラウド等の外部ネットワークに接続することができ、前方カメラ４５、運転席用カメラ３１等から得た同様のシーンで過去に行った危険判断を参照できる機能を持つ。通信部７３を介して接続されるクラウド等に過去のデータがあって、主制御装置６０は、かかるデータを危険判断に際して判断基準の参考とすることができる。また、主制御装置６０は、現在の運転状況等を、通信部７３を介してデータベースに蓄積することで、危険判断についての学習を行う機能も持つものとできる。このように危険な場面のデータを用いた学習は、ＡＤＡＳその他の安全運転支援を行うシステムと連携させることができる。この際、通信部７３を利用した通信は常時行ってもよいが、常時通信処理を行っていると処理の負荷が多くなり問題となる。そういった問題を回避するため、例えば始動時や停止時といった予め設定したタイミングで定期的に通信を行うようにしてもよい。このような動作を行う場合、主制御装置６０に付随して走行中に得た情報をストレージしておく学習データや環境情報用の記憶装置を持っていることも有効である。

図７は、主制御装置６０の制御下で行われる後方ミラー像の表示動作を概念的に説明するフロー図である。まず、主制御装置６０の制御下で、３次元画像処理部２３及びミラー表示制御部２８（画像変換部）が、第１の３次元カメラ２２ａによって撮影した死角画像から奥行情報を抽出し、死角画像を奥行情報に対応する複数の距離ゾーンに分割するとともに左右反転した鏡像を得る（ステップＳ１）。次に、ミラー表示制御部（画像合成部）２６は、顔位置検出部（視点位置検出部）３０によるドライバーＤＲの眼の位置に関する検出出力等に基づいて、死角画像のうちミラー内画像Ｍ０２として使用する領域を選択する（ステップＳ２）。このように選択された領域には、複数の距離ゾーンごとの画像が含まれる。次に、３次元画像処理部２３は、ステップＳ２で得たミラー内画像Ｍ０２に最も近い距離ゾーンの情報を含むミラー枠画像Ｍ０１を追加した後方ミラー像Ｍ０を得る（ステップＳ３）。この後方ミラー像Ｍ０には、図６（Ａ）に例示する仮想的な標識１ｂを付加することができる。次に、３次元画像処理部２３は、後方ミラー投影部２４に対して投影表示させるべき１フレームの画像信号を出力する（ステップＳ４）。この画像信号には、後方ミラー像Ｍ０を構成する複数の距離ゾーンの画像が含まれる。後方ミラー投影部２４は、３次元画像処理部２３から入力された距離情報付きの画像信号に基づいて、死角を映すルームミラーについて３次元の表示を行う（ステップＳ５）。この際、描画デバイス２４ｆに表示する特定距離ゾーンの画像に同期させてデバイス配置駆動部２４ｈを動作させることで、投影光学系２４ｇによって投影される虚像の位置が調整される。以上は、１フレーム分の表示であり、第１の３次元カメラ２２ａによって得た死角画像を更新しながらステップＳ１〜Ｓ５を繰り返すことで、動画としての死角画像を得ることができる。

以上で説明した第１実施形態に係る仮想リアビューミラー装置１０によれば、対象画像を自動車（移動体）９０に対する所定箇所に３次元的に表示するので、自動車９０の利用者の後方Ｄ０や後側方Ｄ１，Ｄ２に関して奥行き情報を含む対象画像を提供することができる。これにより、自動車９０の後方Ｄ０及び後側方Ｄ１，Ｄ２の少なくとも一方（主に利用者にとって死角となる位置）の対象画像を観察しやすくなり、危険等の認識性を高めることができる。

〔第２実施形態〕
以下、第２実施形態に係る仮想リアビューミラー装置について説明する。なお、第２実施形態の仮想リアビューミラー装置は第１実施形態の仮想リアビューミラー装置を変形したものであり、特に説明しない事項は第１実施形態と同様である。第２実施形態の場合、図５（Ａ）に示すように描画デバイス２４ｆの配置を変化させないで、投影光学系２４ｇを可変焦点距離の投影光学系として、投影光学系の焦点距離を描画デバイス２４ｆによる対象画像の表示と同期して変化させる。

図８（Ａ）に示すように、第２実施形態の仮想リアビューミラー装置において、映像ユニット２４ａは、可変投影光学系２２４ｇを有する。可変投影光学系２２４ｇは、描画デバイス２４ｆに表示された画像から第１中間像ＴＩ１を形成する第１投影光学系８１と、第１中間像ＴＩ１に対応する像光を表示スクリーン２４ｂに入射させることによって虚像を表示する第２投影光学系８２とを備える。第２投影光学系８２は、第１中間像ＴＩ１をリレーするリレー光学系８２ａと、リレー光学系８２ａの表示スクリーン２４ｂ側に配置される虚像投影光学系８２ｂとを有している。リレー光学系８２ａは、図４に示すデバイス配置駆動部２４ｈに相当する可変焦点駆動部に駆動されて光軸ＡＸ方向に移動するレンズを含む可変焦点光学系８２ｄを有する。虚像投影光学系８２ｂは、１つ以上のミラーで構成され、ミラーは、凹面、凸面、又は平面とでき、曲面の場合、球面に限らず、非球面、自由曲面等とすることができる。図示の例では、１つの光路折曲げ用の平面ミラーと、２つの凹の自由曲面ミラーとの組合せとなっている。第２投影光学系８２は、リレー光学系８２ａと虚像投影光学系８２ｂとの間に第２中間像ＴＩ２を形成する。第１中間像ＴＩ１を形成する位置には、中間スクリーンｍＳＣが配置されている。中間スクリーンｍＳＣは、配光角を所望の角度に制御した拡散板であり、例えば摺りガラスやレンズ拡散板、マイクロレンズアレイを用いることができる。

図８（Ｂ）は、図８（Ａ）に示す映像ユニット２４ａにおいて、虚像投影光学系８２ｂの構成を変更したものである。

〔第３実施形態〕
以下、第３実施形態に係る仮想リアビューミラー装置について説明する。なお、第３実施形態の仮想リアビューミラー装置は第１実施形態の仮想リアビューミラー装置を変形したものであり、特に説明しない事項は第１実施形態と同様である。第３実施形態の場合、図５（Ａ）に示すように描画デバイス２４ｆの配置を変化させないで、投影光学系２４ｇを中間像を形成するとともに中間像の焦点深度が大きい光学系とし、拡散板によって中間像の位置を強制的に変化させて投影距離を変化させる。

図９に示すように、第３実施形態の仮想リアビューミラー装置において、映像ユニット２４ａは、可変投影光学系３２４ｇを有する。可変投影光学系３２４ｇは、描画デバイス２４ｆに表示された画像から中間像ＴＩを形成する第１投影光学系８１と、中間像ＴＩに対応する像光を表示スクリーン２４ｂに入射させることによって虚像を表示する第２投影光学系３８２とを備える。第２投影光学系３８２は、可動型の中間スクリーンｍＳＣと、中間スクリーンｍＳＣの表示スクリーン２４ｂ側に配置される虚像投影光学系８２ｂとを有している。中間スクリーンｍＳＣは、図４に示すデバイス配置駆動部２４ｈに相当する可変焦点駆動部３２４ｈに駆動されて光軸ＡＸ方向に移動する。

〔変形例その他〕
実施形態として説明した上記仮想リアビューミラー装置は、単なる例示であり、各種変形が可能である。例えば、後方ミラー投影部２４と、第１後側方ミラー投影部２５と、第２後側方ミラー投影部２６との全てを備える必要はなく、例えば後方ミラー投影部２４のみ設けて後側方ミラー投影部２５，２６を省略することができる。

投影部２４，２５，２６の映像ユニット２４ａ，２５ａ，２６ａを配置する箇所は、ルーフ部７やダッシュボード４に限らず、例えばピラー等に配置することもできる。具体的には、例えば後方ミラー投影部２４については、映像ユニット２４ａをルーフ部７ではなくダッシュボード４中に配置することができる（図１０（Ａ）参照）。映像ユニット２４ａをダッシュボード４中に配置する場合、表示スクリーン２４ｂとして、図１０（Ｂ）に示すようなシート部材８８を用いる。図１０（Ｂ）を図５（Ｂ）と比較すると、反射面８８ｒの形状が異なっており、特に巨視的入射角θ１が大きく異なるものとなっている。

仮想リアビューミラー装置１０は、３次元カメラ２２ａ，２２ｂ，２２ｃにより、通常のルームミラーやサイドミラーの視野外の外界像も撮影している。このような通常ミラーの視野外の外界像を投影部２４，２５，２６によって投影させることができ、或いは通常ミラーの視野外の外界像、つまり通常ミラーの死角での事象について、仮想リアビューミラー装置１０が何らかの異常を発見した場合、仮想リアビューミラー装置１０は、投影部２４，２５，２６により、ミラー像Ｍ０，Ｍ１，Ｍ２と一緒に又は別に警告表示を投影することができる。

３次元カメラ２２ａ，２２ｂ，２２ｃは、別々に設けたが、１つの３次元カメラ（例えば３６０°カメラ）で左右の斜め後方画像等を一括して取得することもできる。また、走査速度が速ければ３６０°の走査型カメラを用いることもできる。

以上では、３次元カメラ２２ａ，２２ｂ，２２ｃ等によって可視波長域の画像を取得することが前提となっていたが、３次元カメラ２２ａ，２２ｂ，２２ｃに追加して或いは３次元カメラ２２ａ，２２ｂ，２２ｃに代えて赤外域の画像を取得することもできる。この場合、夜間その他の暗闇など、カメラで映像捉えにくい場合でも、障害物、自動車、バイク、自転車、歩行車等の前方接近対象の判定の確度を高めることができる。また、後方の車のヘッドライトが存在する時、投影部２４，２５，２６によるミラー像の輝度を低下させることもできる。例えば時間的に赤外光を周期的にＯＮ／ＯＦＦを繰り返すように投光して撮影する赤外アクティブカメラ等を用いてヘッドライトの影響を消した画像を取得するならば、可視光カメラでの像にヘッドライトの影響を消した画像を重ねて後方の表示をしつつヘッドライトの部分を消すことで、後方が見えにくくなるのを防ぐことができる。さらに、ＦＩＲやＬｉＤＡＲで後方の画像も取得できるようにすれば、後方が暗闇でも注意すべき対象の表示も可能となる。

ミラー像Ｍ０，Ｍ１，Ｍ２については、図示のものに限らず様々な表示形態とすることができる。例えば、ミラー像Ｍ０，Ｍ１，Ｍ２としてミラー枠画像Ｍ０１，Ｍ１１，Ｍ２１を省略したミラー内画像Ｍ０２，Ｍ１２，Ｍ２２のみとすることができる。

ミラー像Ｍ０，Ｍ１，Ｍ２として表示する画像は、撮影した画像そのものに限らず様々な画像処理を施すことができる。例えば図６（Ａ）及び６（Ｂ）を参照して、比較的近距離領域ＡＲ１を明るく表示し、比較的遠距離領域ＡＲ２を暗く表示することもできる。また、画像中の物体を識別して、例えば太陽のような輝度が高いが安全性に関係ない対象の輝度を選択的に下げることもできる。さらに、画像中の物体を識別する場合、乗用車１ａ等の安全性に関連する物体については輪郭を強調したりその部分のみ輝度を上げたりする処理も可能である。

顔位置検出部３０を用いて走行中にドライバーＤＲの注視する位置を取得することもできる。ドライバーＤＲの瞳の向き等の情報からドライバーＤＲの注視する位置を検出する注視検出装置を設けることにより、ドライバーＤＲの注視位置がミラーでない場合は、そのミラー像の輝度を落としたり背景像に対する透明度を上げたりしてドライバーＤＲが気にならないようにするといった動作が可能になる。また、ドライバーＤＲの注視位置がミラーに近づいた際には、ミラーの輝度を上げたり背景像に対する透明度を下げたりしてドライバーＤＲに画像を見えやすくするといった動作が可能になる。

運転状況によってドライバーＤＲからミラー像Ｍ０，Ｍ１，Ｍ２の表示位置までの距離を変化させる場合、ミラー枠画像Ｍ０１，Ｍ１１，Ｍ２１の配置を変化させるとともにミラー内画像Ｍ０２，Ｍ１２，Ｍ２２までの距離を変化させることができるが、ミラー内画像Ｍ０２，Ｍ１２，Ｍ２２までの距離を一定に保つこともできる。この際のミラー内画像Ｍ０２，Ｍ１２，Ｍ２２については、３次元的な表示に限らず２次元的な表示とできる。

ミラー像Ｍ０，Ｍ１，Ｍ２には、後方又は後側方画像、標識１ｂ等に限らず、運転に関連する様々な情報を付加することができ、後方又は後側方画像等に代えて運転関連情報を表示させることができる。

ＡＸ…光軸、 ＣＦ０，ＣＦ１，ＣＦ２…ミラー視野、 Ｄ０…後方、 Ｄ１，Ｄ２…後側方、 ＤＬ…表示光、 ＥＢ…アイボックス、 ＩＭ…虚像、 ＫＫ…虚像光、 Ｍ０…後方ミラー像、 Ｍ０，Ｍ１，Ｍ２…ミラー像、 Ｍ０１，Ｍ１１，Ｍ２１…ミラー枠画像、 ＭＲ…ミラー、 ＭＲａ…要素、 ＭＲｂ…要素、 ＰＳ１，ＰＳ２…プリズム構造、 θ１…巨視的入射角、 θ２…巨視的射出角、 ３ａ，３ａ…フロントドアウインドウ、 ４…ダッシュボード、 ７…ルーフ部、 ８…フロントウインドウ、 １０…仮想リアビューミラー装置、 ２０…ミラー表示部、 ２２ａ，２２ｂ，２２ｃ…３次元カメラ、 ２３…３次元画像処理部、 ２４…後方ミラー投影部、 ２４，２５…後側方ミラー投影部、 ２４ａ，２５ａ，２６ａ…映像ユニット、 ２４ｂ，２５ｂ，２６ｂ…表示スクリーン、 ２４ｄ…表示面、 ２４ｆ…描画デバイス、 ２４ｇ…投影光学系、 ２４ｈ…デバイス配置駆動部、 ２４ｉ…インターフェイス、 ２８…ミラー表示制御部、 ３０…顔位置検出部、 ３１…運転席用カメラ、 ３２…運転席用画像処理部、 ３３…視点位置演算処理部、 ４０…環境監視部、 ４１…運転関連情報取得部、 ４２…運転関連情報処理部、 ４５…前方カメラ、 ４７…レーダー装置、 ５０…情報ディスプレイ、 ６０…主制御装置、 ９０…自動車、 １００…移動体用表示システム

Claims (9)

1. 移動体の利用者の後方及び後側方の少なくとも一方を対象画像として表示する仮想リアビューミラー装置であって、
   前記対象画像を前記移動体に対する所定箇所に３次元的に表示することを特徴とする仮想リアビューミラー装置。
2. 前記移動体は自動車であり、
   前記自動車のリアビューミラーが設置される位置に対応する少なくとも１箇所の表示位置に前記対象画像を含むミラーの虚像であるミラー像を表示することを特徴とする請求項１に記載の仮想リアビューミラー装置。
3. 前記自動車のリアビューミラーが設置される位置に、表示像を投影するヘッドアップディスプレイ装置の本体からの光束を利用者の目の方向に偏向させて反射させるスクリーンを持つことを特徴とする請求項２に記載の仮想リアビューミラー装置。
4. 前記スクリーンは、一方の面に連続的に繰り返し配列された第１プリズム構造を有する第１光学素子と、一方の面に連続的に繰り返し配列された第２プリズム構造を有する第２光学素子とを接合した構造で、前記第１及び第２プリズムは其々の屈折率が同じまたは略同じに設定され、前記第１及び第２プリズム構造のいずれか一方により表示像を反射光として反射させる構造を持つことを特徴とする請求項３に記載の仮想リアビューミラー装置。
5. 前記対象画像は、鏡像状態で表示されることを特徴とする請求項１〜４のいずれか一項に記載の仮想リアビューミラー装置。
6. 前記後方及び前記後側方の少なくとも一方の対象画像を撮像する少なくとも１つの撮像部と、
   前記撮像部によって得られた映像を前記ミラー像として表示させるための映像に変換する画像変換部とをさらに備えることを特徴とする請求項１〜４のいずれか一項に記載の仮想リアビューミラー装置。
7. 前記移動体における利用者の視点位置を検出する視点位置検出部と、
   前記視点位置検出部からの情報に基づいて前記対象画像を合成する画像合成部とをさらに備えることを特徴とする請求項１〜６のいずれか一項に記載の仮想リアビューミラー装置。
8. 前記移動体は自動車であり、
   前記後方の対象画像は、前記自動車のルームミラーに表示される像に対応することを特徴とする請求項１〜７のいずれか一項に記載の仮想リアビューミラー装置。
9. 前記移動体は自動車であり、
   前記後側方の対象画像は、前記自動車のサイドミラーに表示される像に対応することを特徴とする請求項１〜８のいずれか一項に記載の仮想リアビューミラー装置。

Images