JP2018058521A - 仮想表示ミラー装置 - Google Patents

Abstract

【課題】観察しやすい仮想表示ミラー装置を提供すること。【解決手段】仮想表示ミラー装置１０は、死角となる場所の対象画像を含むミラー像Ｍ１，Ｍ２を移動体である自動車９０に対するフェンダーミラーの位置に３次元的に表示し、移動体の利用者であるドライバーＤＲに対して斜め後方等の死角となる場所に関して奥行き情報を含む対象画像を提供する。これにより、ドライバーＤＲとって死角の対象画像を観察しやすくなり、危険等の認識性を高めることができる。【選択図】図１

Description

本発明は、自動車その他の移動体に設けられてミラーと同様に死角の観察を可能にする仮想表示ミラー装置に関する。

移動体の周辺状況を移動体利用者が認識できるようにする周辺画像表示装置が提案されており、車両の走行状態に合わせて鏡面画像の表示形態を変化させるものが公知となっている（特許文献１）。この装置では、カメラによって得た画像と、他の制御ユニット等からデータ通信により取得した移動体の走行状態又は利用者の操作とに基づいて、走行状態等に合わせた適切な鏡面画像を表示することとしているが、このような鏡面画像は、具体的には、ナビゲーションユニットによる地図表示及び案内画面表示を行う液晶表示装置に表示される構成となっている。

自車両の死角領域の画像をその死角位置と対応が付きやすい場所に表示する車両用表示装置が公知となっている（特許文献２）。この車両用表示装置は、カメラと、投影装置と、ホログラムコンバイナーとを備え、サイドガラス、フロントガラス、又はリアガラス上に設けたホログラムコンバイナー上に、死角範囲の画像を表示する。

車両に設置されたサイドミラーに映る視野と異なる視野で車両後方を撮影し、その画像をウィンドシールドガラス面に仮想サイドミラー画像として表示させる車両用視覚補助装置が公知となっている（特許文献３）。この装置は、表示位置の設定を行う操作インターフェイスを有しており、表示場所を複数選択可能としている。この際、撮影された画像に対しドライバーの顔位置に対応する画像変換を行った合成画像を作成し仮想サイドミラー画像として表示することができる。なお、仮想サイドミラー画像は、無限遠の点に結像するように、ウィンドシールドガラスに投影されるとされている。

車体後方遠方を撮影するテレビカメラと、テレビカメラによって撮影された画像を表示する情報投影装置及びコンバイナーを備える車両用ディスプレイが公知となっている（特許文献４）。この装置では、車体後方の画像がヘッドアップディスプレイのコンバイナー上に表示される。

移動体の左右後方を撮影した画像を取得する制御部と、サイドガラスの一部領域に設けられて透過度が制御されるサイドコンバイナーと、サイドコンバイナーに制御部が取得した画像に基づく表示画像を表示するプロジェクターとを備える表示装置が公知となっている（特許文献５）。この装置では、サイドガラスに移動体の左右後方の画像を表示することができ、表示画像に特異物が含まれている場合に表示の透明度を下げたり、車速によって表示の透明度を制御することができる。

以上の特許文献１〜５では、移動体の死角領域の画像を仮想ミラーに表示することが開示されているものの、表示が平面的であり距離感を実感させるものではなく、特に実際のミラーに近い状態でミラー映像を表示する方法は開示されていない。上記のような仮想ミラーによって、例えば２次元のミラー映像を虚像として見せると、結局ドライバーにとって違和感ある映像となり、ミラーとして直感しにくく観察しにくいものとなってしまう。

特開２０１４−３６２６８号公報 特開２０００−７１８７７号公報 特開２００８−１４１５７４号公報 特開平５−１４７４５５号公報 特開２０１５−１７４６４３号公報

本発明は、上記背景技術に鑑みてなされたものであり、観察しやすい仮想表示ミラー装置を提供することを目的とする。

上記課題を解決するため、本発明に係る仮想表示ミラー装置は、移動体の利用者にとって死角となる場所を対象画像として表示する仮想表示ミラー装置であって、対象画像を移動体に対する所定箇所に３次元的に表示する。

上記仮想表示ミラー装置によれば、対象画像を移動体に対する所定箇所に３次元的に表示するので、移動体の利用者に対して死角となる場所に関して、奥行き情報を含む対象画像を提供することができる。これにより、移動体の利用者にとって死角の対象画像を観察しやすくなり、危険等の認識性を高めることができる。

本発明の具体的な側面では、上記仮想表示ミラー装置において、移動体は自動車であり、自動車のフェンダーミラーが設置されていた位置に対応する少なくとも１箇所の表示位置に対象画像を含むミラーの虚像であるミラー像を表示する。ここで、フェンダーミラーが設置されていた位置（以下ではフェンダーミラーの設置位置とも呼ぶ）とは、フェンダーミラーを設置可能な現実の位置に限らず、その位置の近傍を含むものとする。また、乗用車のようなフェンダーに相当する部分がない場合であっても、運転席に対して乗用車のようなフェンダー部を想定して、このような仮想的なフェンダー部に対応する設置位置又は表示位置にミラー像を表示することができる。自動車には、一般的な乗用車のほか、バス、トラック、大型重機等も含まれる。移動体の利用者であるドライバーは、上記のようなフェンダーミラーに対応する表示位置に表示されるミラー像により、大きく目線を動かすことなく斜め後方や横方向の死角を観察することができる。さらに、自動車のフェンダーミラーの設置位置（その近傍を含む）はドライバーにとって違和感の少ないものであり、運転に伴う死角の確認作業の負担を減らすことができる。

本発明の別の側面では、自動車の前部左右両側にミラー像を表示する。自動車の運転に際しては、左右両方の情報をドライバーに伝える必要があるが、左右両側にミラー像を表示することによって、左右バランス良く死角を減らすことができる。

本発明のさらに別の側面では、対象画像は、鏡像状態で表示される。この場合、仮想ミラーとして、移動体の利用者に違和感なく必要な情報を伝えることができる。

本発明のさらに別の側面では、死角となる場所を撮像する少なくとも１つの撮像部と、撮像部によって得られた映像をミラー像として表示させるための映像に変換する画像変換部とをさらに備える。この場合、画像変換部での処理により、仮想ミラーに従来のミラーで見ている像と同様の映像を映すことができ、移動体の利用者は、仮想ミラーを違和感なく観察することができるようになる。

本発明のさらに別の側面では、移動体における利用者の視点位置を検出する視点位置検出部と、視点位置検出部からの情報に基づいて対象画像を合成する画像合成部とをさらに備える。ここで、利用者の視点位置とは、利用者の眼又は瞳の位置を意味する。このように、仮想ミラーに表示させる映像を移動体の利用者の視点位置に合わせて変化させることによって、本来のミラーで見ていた映像と同様の映像を映すことができ、移動体の利用者にとって違和感が少ない。

本発明のさらに別の側面では、対象画像の３次元的な表示を可能にする画像表示部及び可変投影光学系を有する。この場合、簡単な光学系で高精度の３次元的表示が可能になる。なお、可変投影光学系は、投影距離を変化させる可変焦点型の光学系である。

本発明のさらに別の側面では、対象画像を３次元的な表示を可能にする複数の画像表示部及び投影光学系を有する。この場合、変倍機構その他の可動機構を不要とすることができる。

本発明のさらに別の側面では、所定箇所の背後に存在する危険を検出する検出部の出力に基づいて対象画像の表示を中断する。この場合、移動体の利用者に対する危険報知を優先した動作が可能になる。

本発明のさらに別の側面では、運転状況によってミラー像の表示位置までの距離を変化させる。

本発明のさらに別の側面では、運転状況によってミラー像の表示コントラスト及び明るさの少なくとも一方を変化させる。

第１実施形態の仮想表示ミラー装置を含む移動体用表示システムを説明するブロック図である。 移動体である自動車の外観及びカメラ等の設置を説明する平面図である。 移動体である自動車の内部前方を説明する図である。 仮想表示ミラー装置のうち投影部を説明するブロック図である。 投影部に組み込まれる光学系の具体例を説明する拡大側方断面図である。 （Ａ）及び（Ｂ）は、仮想表示ミラーの表示状態を説明する図である。 仮想表示ミラー装置の動作の概要を説明する図である。 第２実施形態の仮想表示ミラー装置を説明する図である。

〔第１実施形態〕
以下、本発明の第１実施形態に係る仮想表示ミラー装置を組み込んだ移動体用表示システムについて説明する。

図１は、移動体用表示システム１００を説明するブロック図であり、移動体用表示システム１００は、その一部として仮想表示ミラー装置１０を含む。移動体用表示システム１００は、移動体である自動車９０（図２参照）に組み込まれるものである。

移動体用表示システム１００は、ミラー表示部２０と、顔位置検出部３０と、環境監視部４０と、情報ディスプレイ５０と、主制御装置６０とを備える。これらのうちミラー表示部２０、顔位置検出部３０、及び主制御装置６０は、仮想表示ミラー装置１０を構成し、仮想表示ミラー装置１０は、既定の表示位置に、つまり左右一対のフェンダーミラーの設置位置Ｆ１，Ｆ２（図２参照）に、反射像を含むミラー像を表示する。

ミラー表示部２０は、死角となる場所のうち右後方及び左後方の対象画像を反射像として表示する部分であり、このような対象画像又は反射像を含む物体的なミラーの虚像をミラー像として表示する。このミラー像は、虚像として表示される点で仮想的なものであるが、基本的には恰も現実に存在して斜め後方の物体を映しているかのように表示される。ミラー表示部２０は、右後方用の撮像部である第１の３次元カメラ２１と、左後方用の撮像部である第２の３次元カメラ２２と、３次元画像処理部２３と、右フェンダーミラーとして機能する主要部である第１投影部２４と、左フェンダーミラーとして機能する主要部である第２投影部２５と、ミラー表示制御部２６とを備える。ここで、第１投影部２４は、移動体である自動車９０にとっての右フェンダーミラーの設置位置（表示位置）Ｆ１にミラー像を形成し、第２投影部２５は、自動車９０にとっての左フェンダーミラーの設置位置（表示位置）Ｆ２にミラー像を形成する。ここで、フェンダーミラーの設置位置Ｆ１，Ｆ２は、フェンダーミラーを設置可能な現実の設置位置に限らず、その設置位置の近傍を含む。

図２に示すように、第１及び第２の３次元カメラ（撮像部）２１，２２は、自動車（移動体）９０の例えばサイドミラーに対応する箇所に突起するように設けられているが、フェンダーミラーの設置位置（表示位置）Ｆ１，Ｆ２に設けることもできる。第１及び第２の３次元カメラ２１，２２は、単に死角画像を撮影できるだけでなく、撮影した死角画像から奥行情報の抽出を可能にする。各３次元カメラ２１，２２は、図示を省略するが、例えば複眼型のカメラである。つまり、３次元カメラ２１，２２は、結像用のレンズと、ＣＭＯＳその他の撮像素子とを一組とするカメラ素子をマトリックス状に配列したものであり、撮像素子用の駆動回路をそれぞれ有する。３次元カメラ２１，２２を構成する複数のカメラ素子は、例えば奥行方向の異なる位置にピントを合わせるようになっており、或いは相対的な視差を検出できるようになっており、各カメラ素子から得た画像の状態（フォーカス状態、オブジェクトの位置等）を解析することで、画像内の各領域までの距離を判定できる。第１の３次元カメラ２１は、自動車９０の利用者であるドライバーＤＲにとっての死角のうち、自動車９０の右横方向を含む右後方Ｄ１の死角となる場所が画角Ａ１内に略収まるように撮影して３次元画像処理部２３に出力する。ここで、ドライバーＤＲにとって死角とは、顔を正面に向けた状態で見えない方位や箇所を意味する。第２の３次元カメラ２２は、上記死角のうち、自動車９０の左横方向を含む左後方Ｄ２の死角となる場所が画角Ａ２内に略収まるように撮影して３次元画像処理部２３に出力する。

なお、上記のような複眼型の３次元カメラ２１，２２に代えて、２次元カメラと赤外距離センサーとを組み合わせたものを用いても、撮影した画面（死角画像）内の各部に関して奥行方向の距離情報を得ることができる。また、３次元カメラ２１，２２に代えて、２つの２次元カメラを分離配置したステレオカメラによって、撮影した画面内の各部に関して奥行方向の距離情報を得ることができる。その他、単一の２次元カメラにおいて、焦点距離を高速で変化させながら撮像を行うことによっても、撮影した画面内の各部に関して奥行方向の距離情報を得ることができる。

３次元画像処理部２３は、第１及び第２の３次元カメラ２１，２２によって撮影した死角画像から鏡像状態の３次元画像を作成するための画像変換部として機能する。具体的には、第１及び第２の３次元カメラ２１，２２で得た死角画像から各画像部分までの距離を判定するとともに、死角画像を奥行情報に対応する複数の距離ゾーンに分割する。つまり、３次元画像処理部２３によって、死角画像を対象までの距離が等しい複数の等距離線で区分したような立体的な画像情報が得られる。具体的には、距離ゾーンを対数スケールで例えば１０段階程度に設定して死角画像を分割し、分割した画像部分のそれぞれに距離ゾーンを識別する情報を割り振る。距離ゾーンは、遠距離、中距離、近距離といった３段階程度であってもよい。このように処理することで、死角画像中の、自動車、歩行者、建物等の各種対象物の画像部分を距離に応じて区分したような情報が得られる。３次元画像処理部２３は、画像を解析する機能を有しており、自動車、歩行者、建物等の各種対象物の種類識別、相対的移動速度の検出等を行うこともできる。３次元画像処理部２３は、距離ゾーンごとの画像部分をミラー越しの画像と同様に左右反転させて記憶する。

第１投影部２４は、ヘッドアップディスプレイ（ＨＵＤ）としての機能を有し、自動車９０のドライバーＤＲに対して右フェンダーミラーの設置位置Ｆ１にドライバーＤＲが観察可能なミラー像を投影する。第２投影部２５は、ヘッドアップディスプレイ（ＨＵＤ）としての機能を有し、自動車９０のドライバーＤＲに対して左フェンダーミラーの設置位置Ｆ２にドライバーＤＲが観察可能なミラー像を投影する。

図３を参照して、第１投影部２４は、３次元表示が可能な虚像投影装置であり、映像ユニット２４ａと、表示スクリーン２４ｂとを備える。映像ユニット２４ａは、自動車９０内のダッシュボード４の右寄りに埋め込むように設置されており、右フェンダーミラーのミラー像（以下、右ミラー像ともいう）に対応する表示光を表示スクリーン２４ｂに向けて射出する。映像ユニット２４ａは、詳細は後述するが、投影用の画像を形成する表示パネルと、表示パネルに形成された像を拡大投影するための投影光学系とを有する。表示スクリーン２４ｂは、透過性又は半透過性の反射面を有し、フロントウインドウ８の右寄りの内側に設けられて、映像ユニット２４ａからの表示光をドライバーＤＲの顔方向に部分的に反射する。

図４は、ミラー表示部２０のうち第１投影部２４の構成例を説明するブロック図である。第１投影部２４のうち映像ユニット２４ａは、投影すべき画像を形成する画像表示部である描画デバイス２４ｆと、投影距離を変化させることができる可変投影光学系２４ｇと、可変投影光学系２４ｇを動作させて投影距離を変化させる可変焦点駆動部２４ｈと、後述するミラー表示制御部２６との間で画像データやコマンドの遣り取りを行うためのインターフェイス２４ｉとを有する。描画デバイス（画像表示部）２４ｆは、反射型又は透過型の表示素子を有し、必要な解像度でミラー像の元となる画像を表示する。描画デバイス２４ｆは、具体的には、デジタルミラーデバイス（ＤＭＤ）等の反射型の表示素子で構成され、ＬＥＤ、レーザーダイオード（ＬＤ）その他の光源から射出され照明光学系を経て均一化された光によって照明される。描画デバイス２４ｆに入力される画像情報は、動画の各フレームごとに、遠距離から近距離までの複数の投影位置に対応した複数の画像情報であり、斜め後方の死角における遠距離から近距離までの複数の対象画像（画像部分）を１／３０秒以内、好ましくは１／６０秒以内に、時間をずらしながら順次表示させることができれば、このように距離の異なる対象画像がドライバーＤＲに略同時に知覚され、３次元の立体画像として表示されたかのように見える。可変投影光学系２４ｇは、描画デバイス２４ｆの表示素子に表示された画像を表示スクリーン２４ｂに投影する。可変焦点駆動部２４ｈは、可変投影光学系２４ｇを構成する一部のレンズ等を例えば光軸方向に移動させることによって、可変投影光学系２４ｇの焦点距離制御を行う。可変焦点駆動部２４ｈの焦点距離を描画デバイス２４ｆによる対象画像の表示と同期して変化させることにより、表示スクリーン２４ｂ越しに遠距離から近距離までの複数の対象画像を高速で順次切り替えつつ投影表示させる３次元表示が可能になる。

図５は、映像ユニット２４ａ等の具体的な光学系を説明する断面図である。映像ユニット２４ａは、図４で説明した描画デバイス２４ｆ及び可変投影光学系２４ｇのほかに、ハウジング２４ｎを備える。

映像ユニット２４ａにおいて、描画デバイス２４ｆは、投影用の画像を形成する表示素子８７を有する。表示素子８７としては、ＤＭＤ、ＬＣＯＳ等の反射型の表示素子に限らず、透過型ＬＣＤといった反射型の表示素子、自発光型の表示素子等を用いることができる。可変投影光学系２４ｇは、表示素子８７に表示された画像から第１中間像ＴＩ１を形成する第１投影光学系８１と、第１中間像ＴＩ１に対応する像光を表示スクリーン２４ｂに入射させることによって虚像を表示する第２投影光学系８２とを備える。第２投影光学系８２は、第１中間像ＴＩ１をリレーするリレー光学系８２ａと、リレー光学系８２ａの表示スクリーン２４ｂ側に配置される第３投影光学系８２ｂとを有している。リレー光学系８２ａは、図４に示す可変焦点駆動部２４ｈに駆動されて光軸ＡＸ方向に移動するレンズを含む可変焦点光学系８２ｄを有する。第３投影光学系８２ｂは、１つ以上のミラーで構成され、ミラーは、凸面、凹面、又は平面とでき、曲面の場合、球面に限らず、非球面、自由曲面等とすることができる。第２投影光学系８２は、リレー光学系８２ａと第３投影光学系８２ｂとの間に第２中間像ＴＩ２を形成する。第１中間像ＴＩ１を形成する位置には、中間スクリーンｍＳＣが配置されている。中間スクリーンｍＳＣは、配光角を所望の角度に制御した拡散板であり、例えば摺りガラスやレンズ拡散板、マイクロレンズアレイを用いることができる。図示の可変投影光学系２４ｇの場合、第１中間像ＴＩ１を光軸ＡＸ方向に移動させないので、中間スクリーンｍＳＣを移動させる必要がなく、第２投影光学系８２のリレー光学系８２ａに組み込んだ可変焦点光学系８２ｄの作用のみで表示像（虚像）の奥行位置を変化させることになる。第２投影光学系８２を、リレー光学系８２ａ及び第３投影光学系８２ｂの２つの光学系で構成することで、全体の拡大倍率を両光学系８２ａ，８２ｂに振り分けることができる。これにより、リレー光学系８２ａのＦ値を大きくしながら全系としての視野角及びアイボックスサイズを大きくでき、使いやすい仕様でありながらリレー光学系８２ａの大型化を防ぎ、虚像表示時の像面性や非点隔差等の光学性能を確保することができる。その他、ハウジング２４ｎは、表示光ＨＫを通過させる開口８５ａを有し、この開口８５ａには、フィルム又は薄板状の光透過部材８５ｂを配置することができる。

表示スクリーン２４ｂは、フロントウインドウ８のガラス板８ａの内面８ｂに貼り付けられたシート８８である。シート８８の内側面８８ａは、透過性又は半透過性の反射面であり、映像ユニット２４ａから射出された表示光ＨＫをドライバーＤＲの頭部の存在が想定される矩形のアイボックスに導く。ドライバーＤＲは、表示スクリーン２４ｂで反射された表示光ＨＫを、フロントウインドウ８の前方の異なる距離位置にある複数の虚像ＩＭからの虚像光ＫＫとして観察する。表示スクリーン２４ｂは、図示の例に限らず、フロントウインドウ８の内面８ｂを利用したものであってよく、フロントウインドウ８の内面８ｂに反射性を高めるコートを施したものであってもよい。表示スクリーン２４ｂは、フロントウインドウ８とは別体で作製した板状の部材とすることもできる。

図３に戻って、第２投影部２５は、３次元表示が可能な虚像投影装置であり、映像ユニット２５ａと、表示スクリーン２５ｂとを備える。映像ユニット２５ａは、自動車９０内のダッシュボード４の中央寄りに埋め込むように設置されており、左フェンダーミラーのミラー像（以下、左ミラー像ともいう）に対応する表示光を表示スクリーン２５ｂに向けて射出する。第２投影部２５の映像ユニット２５ａは、第１投影部２４の映像ユニット２４ａと同様の構造を有する。表示スクリーン２５ｂは、透過性又は半透過性の反射面を有し、フロントウインドウ８の中央寄りの内側に設けられて、映像ユニット２５ａからの表示光をドライバーＤＲの顔方向に部分的に反射する。第２投影部２５の具体的な構成は、図４に示す第１投影部２４のものと同様であり、説明を省略する。

図１に戻って、ミラー表示制御部２６は、第１投影部２４を動作させて表示スクリーン２４ｂの背後に虚像の右ミラー像を表示させるとともに、第２投影部２５を動作させて表示スクリーン２５ｂの背後に虚像の左ミラー像を表示させる。ミラー表示制御部２６は、３次元画像処理部２３によって得た立体的な画像情報から、第１及び第２投影部２４，２５に表示させる右ミラー像及び左ミラー像を生成する。ミラー表示制御部２６は、拡張現実（ＡＲ）の手法を用いた表示動作を可能にするものであり、これによって表現されるミラー像は、例えばミラーの視野内に現実に存在する物体に対して標識を付加したようなものとすることができる。

図６（Ａ）及び６（Ｂ）は、投影部２４，２５に表示させるミラー像を例示したものである。

図示の例では、第１投影部２４によって投影表示される右ミラー像Ｍ１は、ダッシュボード４やハンドル５の前方にあるエンジンフード６脇に設けた右フェンダー部７ａ上の設置位置Ｆ１に虚像として配置されている。また、第２投影部２５によって投影表示される左ミラー像Ｍ２は、左フェンダー部７ｂ上の設置位置Ｆ２に虚像として配置されている。

なお、自動車９０が一般的な乗用車のようなフェンダーに相当する部分を有しない場合、すなわち、バス、トラック、大型重機等である場合、これらの運転席に対して一般的な乗用車のようなフェンダー部を想定し、或いは現実のミラーの位置に近い仮想的な位置を想定して、これらに対応する仮想的な設置位置又は表示位置にミラー像Ｍ１，Ｍ２を表示することができる。

ミラー像Ｍ１，Ｍ２の具体的な表示位置又は設置位置としては、一般的な乗用車の場合、高さ方向に関しては運転者の視点位置（例えば両目の中心を視点位置とする）からの視線が水平となる方向に対して±１０度（望ましくは±５度）の範囲で、横方向に関しては、例えば右ハンドル車の場合は、視点位置からの視線が左右の正面となる方向に対して、右側に５〜３５度、左側に２０〜５０度の方向で、望ましくは運転者の前方２〜３ｍの位置に、左右のミラー像Ｍ１，Ｍ２を投影すればよい。ここで、横方向については、左ハンドル車の場合、左右の角度範囲が右ハンドルと逆になる。なお、トラック、バス、ワゴン車などの大型車、商用車、ワンボックスタイプのコンパクトカー、又は軽トラックにおいては、設置位置又は表示位置を上記した一般的な乗用車の場合と同じとしても構わないし、例えば実際の車でミラーがある位置近傍となるように、視点位置からの前方距離を１ｍ以内で、車の左右ピラー位置近傍（視点位置から横方向で１ｍ以内、高さ方向でフロントウィンドウ、サイドウィンドウのガラスのある範囲内となる高さ）に表示することもできる。

また、上記したミラー像Ｍ１，Ｍ２の表示位置は、使用状況によって固定されるものに限らない。例えば、運転状況によってミラー像Ｍ１，Ｍ２の表示位置までの距離を変化させることができる。具体的には、高速で運転していて運転者の目のピント位置が車の前方で遠くの位置にある場合は、後述するミラー表示制御部２６により、前方２〜３ｍではなく、より前方遠くの位置５ｍ〜１０ｍや、それより遠い位置にミラー像Ｍ１，Ｍ２を表示しても構わない。このように遠くに表示することで、運転者が目のピントを変えずにミラー像を確認できて、運転者にとって確認しやすいものになる。さらには、運転の速度が比較的遅い場合には、運転者の目のピント位置が比較的近くになるので、５ｍより近い位置で表示しても構わない。また、上記のミラー表示制御部２６により、ミラー像Ｍ１，Ｍ２の表示の明るさ（輝度）や表示コントラストを変えることもできる。具体的には、昼間の晴天時や逆光時など、外環境が明るい場合には、ミラー像Ｍ１，Ｍ２の表示明るさ又は／及びコントラストを高め強める、夜間や曇天、雨天、トンネル内など、外環境が暗い場合には、ミラー像Ｍ１，Ｍ２の表示明るさ又は／及びコントラストを低め弱める、といった調整を行えば、運転者にとって見えやすい表示とすることができる。なお、これらの切替は、図１の運転関連情報取得部４１に付随して速度用のセンサー又は検出手段や、カメラなどの外環境取得手段や、明るさ用のセンサー又は検知手段（図示せず）を配置することで取得した情報から自動で判断し、制御すればよい。また運転者の方でこれら自動制御を好まない場合も想定し、距離、明るさ、コントラスト等を好みに合わせて選択し、固定するモードを設定してもよい。さらには、自動制御の閾値を運転者で設定できるようにしても構わないし、複数運転者が運転する車においては、運転者によって、それらの設定を複数保存して切り替えられるようにしても構わない。

図６（Ｂ）に示すように、右ミラー像Ｍ１は、ミラー枠画像Ｍ１１とミラー内画像Ｍ１２とを含む。ミラー枠画像Ｍ１１は、自動車９０のドライバーＤＲから見て自動車９０の右フェンダー部に対して固定的に配置されているように投影される静的な画像である。ミラー内画像Ｍ１２は、従来の右フェンダーミラーによって観察される自動車９０の右後方Ｄ１の画角Ａ１内に現実に存在する、道路、自動車等の各種対象物を含む動的な画像である。このミラー内画像Ｍ１２は、従来の右フェンダーミラーとの整合性を確保するため、鏡像状態で表示されている。また、このミラー内画像Ｍ１２は、３次元的な画像であり、ミラー枠画像Ｍ１１の背後の方向に奥行をもって配置される。なお、図示の例では、ミラー内画像Ｍ１２中に乗用車１ａが存在し、近接を意味する仮想的な標識１ｂが付加されている。標識１ｂは、点滅したり回転したりサイズが増減したりしてドライバーＤＲの注意を喚起する。この標識１ｂは、記号状のものに限らず、乗用車１ａや歩行者の輪郭を示すものであってもよく、文字情報を含むものであってもよい。

詳細な説明を省略するが、第２投影部２５によって投影表示される左ミラー像Ｍ２も、第１投影部２４による右ミラー像と同様であり、ミラー枠画像Ｍ２１とミラー内画像Ｍ２２とを含む。ミラー枠画像Ｍ２１は、自動車９０のドライバーＤＲから見て自動車９０の左フェンダー部に対して固定的に配置されているように投影される静的な画像である。ミラー内画像Ｍ２２は、３次元的な画像であり、ミラー枠画像Ｍ２１の背後の方向に奥行をもって配置される動的な画像である。

図１に戻って、ミラー表示制御部２６は、３次元画像処理部２３と協働して、死角画像から鏡像状態の３次元画像を作成するための画像変換部として機能する。ミラー表示制御部２６は、主制御装置６０の制御下で、第１及び第２投影部２４，２５に対して画像データ及び制御信号を出力し、虚像位置を時分割で高速で変化させる画像を第１及び第２投影部２４，２５に表示させる。具体的には、図６（Ｂ）のミラー内画像Ｍ１２は、動画であり、動画の一コマ又はフレームに虚像位置が変化する複数の投影画像を含む。このため、ミラー表示制御部２６は、例えば１／３０秒以内で表示するためのコマ画像を準備するとともに、各コマ画像が距離ゾーンに分割した距離分割画像を含むものとする。

ミラー表示制御部２６は、後述する顔位置検出部３０のドライバーＤＲの眼の位置に関する検出出力を主制御装置６０を介して受け取る。ミラー表示制御部２６により、眼の位置の検出結果は、ミラー表示制御部２６において表示スクリーン２４ｂ，２５ｂに対するドライバーＤＲの相対方位に変換される。ミラー表示制御部２６は、このドライバーＤＲの相対方位に応じてミラー像Ｍ１，Ｍ２の表示内容をＸ方向又はＹ方向にシフトさせる。具体的には、ミラー表示制御部２６は、画像のシフトによって、ミラー像Ｍ１，Ｍ２のうちミラー枠画像Ｍ１１，Ｍ２１の配置が自動車９０のフェンダー部７ａ，７ｂに対して一定に保たれるようにする。また、ミラー表示制御部２６は、画像のシフトによって、ミラー像Ｍ１，Ｍ２のうちミラー内画像Ｍ１２，Ｍ２２がドライバーＤＲの頭部の位置に応じて変化するようにする。つまり、ドライバーＤＲの頭部を移動させると、これに応じてミラー内画像Ｍ１２，Ｍ２２として表示される道路、自動車等の各種対象物の表示位置が変化する。例えば、ドライバーＤＲが頭部をＸ方向すなわち右方向に動かした場合、ミラー内画像Ｍ１２，Ｍ２２は全体として−Ｘ方向すなわち左方向に移動する。この際、比較的近距離領域ＡＲ１（図６（Ｂ）参照）に表示される対象物の動きと、比較的遠距離領域ＡＲ２（図６（Ｂ）参照）に表示される対象物の動きとは、厳密には若干異なるものとなる。以上から明らかなように、ミラー表示制御部２６は、顔位置検出部３０からの情報に基づいて対象画像を含むミラー像Ｍ１，Ｍ２を合成する画像合成部として機能している。

ミラー表示制御部２６は、ドライバーＤＲによるキー７１の操作を主制御装置６０を介して受け付ける。これにより、ミラー像Ｍ１，Ｍ２のうちミラー内画像Ｍ１２，Ｍ２２をＸ方向又はＹ方向にシフトさせることができる。この際、ミラー枠画像Ｍ１１，Ｍ２１は固定されて移動しないので、ミラー内画像Ｍ１２，Ｍ２２として表示される死角領域がシフトする。つまり、キー７１の操作によって仮想的なミラー像として表示されたフェンダーミラーの傾斜角を恰も現実に存在するフェンダーミラーのように微調整できるようになっている。

顔位置検出部３０は、ドライバーＤＲの視点位置を検出する視点位置検出部であり、運転席用カメラ３１と、運転席用画像処理部３２と、視点位置演算処理部３３とを備える。運転席用カメラ３１は、自動車９０内のダッシュボード４の運転席正面に設置されており、ドライバーＤＲの頭部及びその周辺の画像を撮影する。運転席用カメラ３１は、例えばミラー表示部２０に組み込んだ３次元カメラ２１，２２の場合と同様の手法によって、撮影した運転席画像から奥行情報の抽出を可能にする。運転席用カメラ３１は、ドライバーＤＲの体格のバラツキを考慮して広めの画角を確保するものとなっている。運転席用画像処理部３２は、運転席用カメラ３１で撮影した画像に対して明るさ補正等を行って視点位置演算処理部３３での処理を容易にする。視点位置演算処理部３３は、運転席用画像処理部３２を経た運転席画像からオブジェクトの抽出又は切り出しを行ってドライバーＤＲの頭部や眼を検出する。また、視点位置演算処理部３３は、運転席画像及びこれに付随する奥行情報から自動車９０内におけるドライバーＤＲの頭部や眼の空間的な位置を算出する。ここで、ドライバーＤＲの眼の位置とは、例えば２つの眼の中間位置とすることができるが、カメラ画像から２つの眼を検出できない場合、頭部の輪郭から眼の位置を推測することができる。このようにして得たドライバーＤＲの眼の位置は、投影部２４，２５の表示スクリーン２４ｂ，２５ｂに対する相対的な配置に関する情報（具体的には相対方位）として主制御装置６０に出力される。

環境監視部４０は、運転関連情報取得部４１と、運転関連情報処理部４２とを備える。運転関連情報取得部４１は、図２にも示すように、自動車９０の前方を撮影する前方カメラ４５と、自動車９０の後方を撮影する後方カメラ４６と、前方の物体を検出するレーダー装置４７とを備える。環境監視部４０は、ミラー像Ｍ１，Ｍ２の背後に存在する危険を検出する検出部として機能する。

前方カメラ４５は、例えば３次元カメラ２１，２２の場合と同様の手法によって、撮影した前方画像から奥行情報又は距離雄情報の抽出を可能にする。運転関連情報処理部４２は、前方カメラ４５によって撮影した前方画像からオブジェクトの抽出を行って、斜め前方を含めた前方に存在する、障害物、自動車、バイク、自転車、歩行車等の前方接近対象の存在を判定するとともに、かかる前方接近対象の自動車９０に対する相対的な位置と移動速度とを検出する。運転関連情報処理部４２は、前方接近対象を検出した場合、その内容を警告情報として主制御装置６０に出力し、主制御装置６０は、情報ディスプレイ５０に前方接近対象の存在や近接状況を知らせる表示を行わせるとともに、情報ディスプレイ５０に付随するスピーカーを介してドライバーＤＲへの音声警告の出力を行わせる。音声警告は、例えばブザー音やビープ音に限らず言語的なものであってもよい。

後方カメラ４６は、前方カメラ４５と同様に、撮影した後方画像から奥行情報又は距離雄情報の抽出を可能にする。運転関連情報処理部４２は、後方カメラ４６によって撮影した後方画像からオブジェクトの抽出を行って、斜め後方を含めた後方に存在する、障害物等の後方接近対象の存在を判定するとともに、かかる後方接近対象の自動車９０に対する相対的な位置と移動速度とを検出する。運転関連情報処理部４２は、後方接近対象を検出した場合、その内容を警告情報として主制御装置６０に出力し、主制御装置６０は、情報ディスプレイ５０に後方接近対象の存在や近接状況を知らせる表示を行わせるとともに、情報ディスプレイ５０に付随するスピーカーを介してドライバーＤＲに向けて音声警告の出力を行わせる。

レーダー装置４７は、詳細な説明を省略するが、レーザー光又はミリ波を用いて前方に存在する正面接近対象の存在を判定するとともに、かかる前方接近対象の自動車９０に対する相対的な距離と移動速度とを検出する。運転関連情報処理部４２は、レーダー装置４７によって正面接近対象を検出した場合、その内容を警告情報として主制御装置６０に出力し、主制御装置６０は、情報ディスプレイ５０に正面接近対象の存在や近接状況を知らせる表示を行わせるとともに、情報ディスプレイ５０に付随するスピーカーを介してドライバーＤＲに向けて音声警告の出力を行わせる。

環境監視部４０の出力は、主制御装置６０に監視されており、主制御装置６０は、上記のように情報ディスプレイ５０を利用してドライバーＤＲに警告を行うだけでなく、不図示の制動制御系を介してブレーキを強制的に動作させることにより、自動車９０を強制的に停止させて衝突回避を図ることもできる。

主制御装置６０は、ミラー表示部２０、顔位置検出部３０、環境監視部４０、情報ディスプレイ５０等の動作を統括的に制御している。主制御装置６０は、例えば運転関連情報処理部４２が前方接近対象の存在を検出し、特に前方接近対象がミラー像Ｍ１，Ｍ２の背後又はその周辺に存在する場合であって、前方接近対象までの距離が所定以下になった場合は、ミラー表示部２０の動作を停止させ、ミラー表示制御部２６によるミラー像Ｍ１，Ｍ２の表示を一定期間消すことができる。或いは、このような場合、ミラー表示制御部２６によるミラー像Ｍ１，Ｍ２の表示輝度を一定期間下げることもできる。さらに、投影部２４，２５の表示範囲に余裕があれば、前方接近対象を避けるようにミラー像Ｍ１，Ｍ２の表示位置をずらすように移動させることもできる。

主制御装置６０は、通信部７３を介してクラウド等の外部ネットワークに接続することができ、前方カメラ４５、運転席用カメラ３１等から得た同様のシーンで過去に行った危険判断を参照できる機能を持つ。通信部７３を介して接続されるクラウド等に過去のデータがあって、主制御装置６０は、かかるデータを危険判断に際して判断基準の参考とすることができる。また、主制御装置６０は、現在の運転状況等を、通信部７３を介してデータベースに蓄積することで、危険判断についての学習を行う機能も持つものとできる。このように危険な場面のデータを用いた学習は、ＡＤＡＳその他の安全運転支援を行うシステムと連携させることができる。この際、通信部７３を利用した通信は常時行ってもよいが、常時通信処理を行っていると処理の負荷が多くなり問題となる。そういった問題を回避するため、例えば始動時や停止時といった予め設定したタイミングで定期的に通信を行うようにしてもよい。このような動作を行う場合、主制御装置６０に付随して走行中に得た情報をストレージしておく学習データや環境情報用の記憶装置を持っていることも有効である。

図７は、主制御装置６０の制御下で行われる右フェンダーミラー像の表示動作を概念的に説明するフロー図である。まず、主制御装置６０の制御下で、３次元画像処理部２３及びミラー表示制御部２６（画像変換部）が、第１の３次元カメラ２１によって撮影した死角画像から奥行情報を抽出し、死角画像を奥行情報に対応する複数の距離ゾーンに分割するとともに左右反転した鏡像を得る（ステップＳ１）。次に、ミラー表示制御部（画像合成部）２６は、顔位置検出部（視点位置検出部）３０によるドライバーＤＲの眼の位置に関する検出出力等に基づいて、死角画像のうちミラー内画像Ｍ１２として使用する領域を選択する（ステップＳ２）。このように選択された領域には、複数の距離ゾーンごとの画像が含まれる。次に、３次元画像処理部２３は、ステップＳ２で得たミラー内画像Ｍ１２に最も近い距離ゾーンの情報を含むミラー枠画像Ｍ１１を追加したミラー像Ｍ１を得る（ステップＳ３）。このミラー像Ｍ１には、図６（Ｂ）に例示する仮想的な標識１ｂを付加することができる。次に、３次元画像処理部２３は、第１投影部２４に対して投影表示させるべき１フレームの画像信号を出力する（ステップＳ４）。この画像信号には、ミラー像Ｍ１を構成する複数の距離ゾーンの画像が含まれる。第１投影部２４は、３次元画像処理部２３から入力された距離情報付きの画像信号に基づいて、死角を映す右フェンダーミラーについて３次元の表示を行う（ステップＳ５）。この際、描画デバイス２４ｆに表示する特定距離ゾーンの画像に同期させて可変焦点駆動部２４ｈを対応する焦点距離に調整することで、可変投影光学系２４ｇによって投影される虚像の位置が調整される。以上は、１フレーム分の表示であり、３次元カメラ２１によって得た死角画像を更新しながらステップＳ１〜Ｓ５を繰り返すことで、動画としての死角画像を得ることができる。

以上で説明した第１実施形態に係る仮想表示ミラー装置１０によれば、死角となる場所の対象画像を含むミラー像Ｍ１，Ｍ２を移動体である自動車９０に対するフェンダーミラーの位置に３次元的に表示するので、移動体の利用者であるドライバーＤＲに対して斜め後方等の死角となる場所に関して奥行き情報を含む対象画像を提供することができる。これにより、ドライバーＤＲにとって死角の対象画像を観察しやすくなり、危険等の認識性を高めることができる。結果的に、従来の自動車で存在していたドアミラーやフェンダーミラー等の実体としてのミラーは必要なくなり、車のデザイン性向上やミラーの空気抵抗による燃費性能への影響を無くすといった効果が得られる。

〔第２実施形態〕
以下、第２実施形態に係る仮想表示ミラー装置について説明する。なお、第２実施形態の仮想表示ミラー装置は第１実施形態の仮想表示ミラー装置を変形したものであり、特に説明しない事項は第１実施形態と同様である。

図８に示すように、第２実施形態の仮想表示ミラー装置に組み込まれる投影部１２４は、映像ユニット１２４ａと表示スクリーン２４ｂとを備える。映像ユニット１２４ａは、描画デバイス（画像表示部）１２４ｆの構成要素として３つの表示素子８７ａ，８７ｂ，８７ｃを有し、これらの表示素子８７ａ，８７ｂ，８７ｃは、３つの平行な光軸ＡＸ１，ＡＸ２，ＡＸ３に平行な方向に関して異なる位置に配置されている。具体的には、第１の表示素子８７ａが最もドライバーのいる後方側に配置され、第３の表示素子８７ｃが最も前方側に配置されている。映像ユニット１２４ａは、３つの表示素子８７ａ，８７ｂ，８７ｃに対応させて３つの独立した投影光学系１８２ａ，１８２ｂ，１８２ｃを有する。これらの投影光学系１８２ａ，１８２ｂ，１８２ｃは、表示素子８７ａ，８７ｂ，８７ｃに形成された画像を個別に投影するが、３つの光軸ＡＸ１，ＡＸ２，ＡＸ３に平行な方向に関して同じ位置に配置されているため、表示素子８７ａ，８７ｂ，８７ｃからの距離が段階的に短くなっている。投影光学系１８２ａ，１８２ｂ，１８２ｃを経た表示光ＨＫ１，ＨＫ２，ＨＫ３は、ミラー８４で上方に反射され、半透過性を有する表示スクリーン２４ｂに入射する。表示スクリーン２４ｂは、適度に湾曲しており、すべての表示光ＨＫ１，ＨＫ２，ＨＫ３がドライバーの眼ＤＥに入射する。

上記投影部１２４では、第１の表示素子８７ａからの画像を第１の投影光学系１８２ａを用いて近距離に投影し、第３の表示素子８７ｃからの画像を第３の投影光学系１８２ｃを用いて遠距離に投影しており、第２の表示素子８７ｂからの画像は、第２の投影光学系１８２ｂを用いて、第１の投影光学系１８２ａで投影している距離と第３の投影光学系１８２ｃで投影している距離との間の距離に投影を行っている。また、近景用の第１の投影光学系１８２ａからの投影画像ＰＩ１を表示スクリーン２４ｂの下部の背後に投影しており、遠景用の第３の投影光学系１８２ｃからの投影画像ＰＩ３を表示スクリーン２４ｂの上部の背後に投影しており、第２の投影光学系１８２ｂからの投影画像ＰＩ２を表示スクリーン２４ｂの上下に関する中央の背後に投影している。ドライバーから見た際に、死角内において距離が遠い対象物の画像ほど上に、死角内において距離が近い対象物の画像ほど下に表示される。ここで、遠距離や近距離とは、表示させたい距離の仕様によりその範囲を適宜設定できるが、視度の変化から考えて、例えばドライバーの眼から１０〜２０ｍより遠い距離を遠距離、ドライバーの眼から５〜１０ｍより近い距離を近距離と定義すること等が考えられる。投影部１２４によって表示される上下３段の画像は、実際の運転シーンとは異なるが、距離に応じた自然な配列になっており、ドライバーが比較的違和感なく観察できる。投影部１２４によるこのような表示も、ドライバーに距離感を実感させるものであり、第１実施形態の場合と同様に３次元的な表示に含まれるものとする。

図８に示す投影部１２４では、３つの表示素子８７ａ，８７ｂ，８７ｃを用いているが、目的とする仕様によって、例えば投影する距離の変化する範囲が小さい場合には、表示素子の個数を２つに減らしても構わないし、逆に、高精細で広い距離範囲に対応したい場合には、表示素子の個数を３つより多くすることも考えられる。

図８に示す投影部１２４では、３つの表示素子８７ａ，８７ｂ，８７ｃそれぞれに対応する投影光学系１８２ａ，１８２ｂ，１８２ｃを配置しているが、これらに代えて共通な１つの投影光学系を用いてもよい。このような共通な１つの投影光学系は、アレイレンズのような複眼光学系や、複数の領域を持つミラー等の光学素子で構成することができ、この場合、比較的小型で投影距離を変えた光学系とできる。

図８では省略しているが、投影部１２４は、表示素子８７ａ，８７ｂ，８７ｃに付随して、第１実施形態の場合と同様に、光源及び照明光学系を有している。その際の光源や照明光学系は、上記複数の表示素子８７ａ，８７ｂ，８７ｃにそれぞれ対応した別々の光源及び照明光学系とできるが、全表示素子８７ａ，８７ｂ，８７ｃに共通の１つの光源及び照明光学系とすることもできる。

第１及び第２実施形態として説明した上記仮想表示ミラー装置は、単なる例示であり、各種変形が可能である。例えば、左右の一対のミラー像を表示させる必要はなく、ミラー表示部２０を３次元カメラ２１と３次元画像処理部２３と投影部２４とで構成すれば、右フェンダーミラーに対応するミラー像のみを表示させることができる。

上記実施形態では、ミラー表示部２０が２つの投影部２４，２５を備えるとしたが、ミラー表示部２０は、単一の投影部によって２つのミラー像Ｍ１，Ｍ２を表示するものであってもよい。この場合、仮想的なミラー像Ｍ１，Ｍ２の間に計器類の状態を示す仮想的なインストルメント・パネルの虚像表示を行う領域を設けることができる。この場合、表示方向を機械的に高速に振る機構を設けたり、或いは表示素子の時間制御を行ったり回折光学素子等を用いたりして、光学的に複数方向に表示を行う構成とすれば、光学系の巨大化を防ぎながら１つの光学系で全ての表示を行うことが可能となり、装置全体の小型化を達成することができる。

３次元カメラ２１，２２は、別々に設けたが、１つの３次元カメラ（例えば３６０°カメラ）で左右の斜め後方画像等を一括して取得することもできる。また、走査速度が速ければ３６０°の走査型カメラを用いることもできる。

以上では、３次元カメラ２１，２２等によって可視波長域の画像を取得することが前提となっていたが、３次元カメラ２１，２２に追加して或いは３次元カメラ２１，２２に代えて赤外域の画像を取得することもできる。この場合、夜間その他の暗闇など、カメラで映像捉えにくい場合でも、障害物、自動車、バイク、自転車、歩行車等の前方接近対象の判定の確度を高めることができる。

図５に示す可変投影光学系２４ｇの構成は単なる例示であり、仮想表示ミラー装置の用途や仕様に応じて適宜変更することができる。

ミラー像Ｍ１，Ｍ２については、図示のものに限らず様々な表示形態とすることができる。例えば、ミラー像Ｍ１，Ｍ２としてミラー枠画像Ｍ１１を省略したミラー内画像Ｍ１２のみとすることができる。この場合、ミラー像Ｍ１，Ｍ２の表示面積を大きくでき、表現の自由度も高まる。

上記実施形態では、仮想表示ミラー装置１０が一対のフェンダーミラーの設置位置Ｆ１，Ｆ２にフェンダーミラーに対応するミラー像Ｍ１，Ｍ２を表示するとしたが、仮想表示ミラー装置１０は、バックミラーの位置又はその近傍にバックミラーに対応するミラーを表示するものであってもよい。また、サイドミラーの位置又はその近傍などに表示を行っても構わない。従来ミラーが配置されていた位置（その近傍を含む）にミラー像Ｍ１，Ｍ２の表示を行えば、ドライバーが運転中に違和感を感じることなくミラーの映像を確認できるので望ましい表示位置と言える。

ミラー像Ｍ１，Ｍ２として表示する画像は、撮影した画像そのものに限らず様々な画像処理を施すことができる。例えば図６（Ｂ）を参照して、比較的近距離領域ＡＲ１を明るく表示し、比較的遠距離領域ＡＲ２を暗く表示することもできる。また、画像中の物体を識別して、例えば太陽のような輝度が高いが安全性に関係ない対象の輝度を選択的に下げることもできる。さらに、画像中の物体を識別する場合、乗用車１ａ等の安全性に関連する物体については輪郭を強調したりその部分のみ輝度を上げる処理も可能である。

表示スクリーン２４ｂ，２５ｂには、背景光の透過率を変化させる機能を持たせることができる。例えば、表示スクリーン２４ｂ，２５ｂの裏面に透過率調用のフィルターを貼り付け、電気信号でフィルターの透過率を増減させることで、ミラー像Ｍ１，Ｍ２の背景に対する相対的な表示輝度を調整することができる。

上記実施形態では、映像ユニット２４ａに組み込む可変投影光学系２４ｇとしては、中間像ＴＩ１，ＴＩ２を形成するものに限らず、様々な構成を採用できる。また、可変投影光学系２４ｇの可変焦点光学系８２ｄとしては、レンズを移動させるものに限らず、屈折面や反射面の曲率を変化させるものを用いることができる。

顔位置検出部３０を用いて走行中にドライバーＤＲの注視する位置を取得することもできる。ドライバーＤＲの瞳の向き等の情報からドライバーＤＲの注視する位置を検出する注視検出装置を設けることにより、ドライバーの注視位置がミラーでない場合は、そのミラー像の輝度を落としたり背景像に対する透明度を上げたりしてドライバーが気にならないようにするといった動作が可能になる。また、ドライバーの注視位置がミラーに近づいた際には、ミラーの輝度を上げたり背景像に対する透明度を下げたりしてドライバーに画像を見えやすくするといった動作が可能になる。

ドライバーがミラーに注視していない場合でも、車の挙動に対して周囲の状況を判断して危険と感知した場合は、ミラーの映像輝度を上げる、背景像に対する透明度下げる、または点滅や音による警告等を行うといった制御を主制御装置６０に行わせることもできる。ここで、危険と感知する手法は、車内外のカメラ等を用いることができ、例えば環境監視部４０を用いることができる。

第１実施形態の投影部２４，２５と、第２実施形態の投影部１２４とを組み合わせた複合的な投影部を用いることもできる。第２実施形態の投影部１２４のような遠距離と近距離とに対応する表示素子８７ａ，８７ｂ，８７ｃのそれぞれに対して、第１実施形態の投影部２４に用いる可変投影光学系２４ｇを適用すれば、可変投影光学系２４ｇで可変とする投影距離範囲を小さくすることができるので、焦点可変とする光学系でレンズを移動させる量や焦点距離を変化させる量を小さくすることができて、機構を簡素化でき、装置を小型化できる。さらには、遠距離投影では視度変化が少ないことから、遠距離側は固定焦点として、近距離側だけ可変投影光学系とした組合せにすることも可能で、同じく焦点可変範囲を低減できるので、装置の簡素化や小型化が可能となる。

運転状況によって運転者からミラー像Ｍ１，Ｍ２の表示位置までの距離を変化させる場合、ミラー枠画像Ｍ１１，Ｍ２１の配置を変化させるとともにミラー内画像Ｍ１２，Ｍ２２までの距離を変化させることができるが、ミラー内画像Ｍ１２，Ｍ２２までの距離を一定に保つこともできる。この際のミラー内画像Ｍ１２，Ｍ２２については、３次元的な表示に限らず２次元的な表示とできる。

４…ダッシュボード、 ５…ハンドル、 ６…エンジンフード、 ８…フロントウインドウ、 １０…仮想表示ミラー装置、 ２０…ミラー表示部、 ２１，２２…３次元カメラ、 ２３…３次元画像処理部、 ２４，２５…投影部、 ２４ａ，２５ａ…映像ユニット、 ２４ｂ，２５ｂ…表示スクリーン、 ２４ｆ…描画デバイス、 ２４ｇ…可変投影光学系、 ２４ｈ…可変焦点駆動部、 ２６…ミラー表示制御部、 ３０…顔位置検出部、 ３１…運転席用カメラ、 ３２…運転席用画像処理部、 ３３…視点位置演算処理部、 ４０…環境監視部、 ４１…運転関連情報取得部、 ４２…運転関連情報処理部、 ４５…前方カメラ、 ４６…後方カメラ、 ５０…情報ディスプレイ、 ６０…主制御装置、 ７１…キー、 ７３…通信部、 ８１…第１投影光学系、 ８２…第２投影光学系、 ８２ａ…リレー光学系、 ８２ｂ…第３投影光学系、 ８２ｄ…可変焦点光学系、 ８７，８７ａ，８７ｂ，８７ｃ…表示素子、 ９０…自動車、 １００…移動体用表示システム、 １２４…投影部、 １８２ａ，１８２ｂ，１８２ｃ…投影光学系、 Ａ１，Ａ２…画角、 １ａ…乗用車、 １ｂ…標識、 ＡＲ１…比較的近距離領域、 ＡＲ２…比較的遠距離領域、 Ｄ１…右後方、 Ｄ２…左後方、 ＤＥ…眼、 ＤＲ…ドライバー、 ＨＫ…表示光、 ＩＭ…虚像、 Ｍ１，Ｍ２…ミラー像、 Ｍ１１，Ｍ２１…ミラー枠画像、 Ｍ１２，Ｍ２２…ミラー内画像

Claims (11)

1. 移動体の利用者にとって死角となる場所を対象画像として表示する仮想表示ミラー装置であって、
   前記対象画像を前記移動体に対する所定箇所に３次元的に表示することを特徴とする仮想表示ミラー装置。
2. 前記移動体は自動車であり、
   前記自動車のフェンダーミラーが設置されていた位置近傍に対応する少なくとも１箇所の表示位置に前記対象画像を含むミラーの虚像であるミラー像を表示することを特徴とする請求項１に記載の仮想表示ミラー装置。
3. 前記自動車の前部左右両側に前記ミラー像を表示することを特徴とする請求項２に記載の仮想表示ミラー装置。
4. 前記対象画像は、鏡像状態で表示されることを特徴とする請求項１〜３のいずれか一項に記載の仮想表示ミラー装置。
5. 前記死角となる場所を撮像する少なくとも１つの撮像部と、
   前記撮像部によって得られた映像を前記ミラー像として表示させるための映像に変換する画像変換部とをさらに備えることを特徴とする請求項１〜４のいずれか一項に記載の仮想表示ミラー装置。
6. 前記移動体における利用者の視点位置を検出する視点位置検出部と、
   前記視点位置検出部からの情報に基づいて前記対象画像を合成する画像合成部とをさらに備えることを特徴とする請求項１〜５のいずれか一項に記載の仮想表示ミラー装置。
7. 前記対象画像の３次元的な表示を可能にする画像表示部及び可変投影光学系を有することを特徴とする請求項１〜６のいずれか一項に記載の仮想表示ミラー装置。
8. 前記対象画像を３次元的な表示を可能にする複数の画像表示部及び投影光学系を有することを特徴とする請求項１〜６のいずれか一項に記載の仮想表示ミラー装置。
9. 前記所定箇所の背後に存在する危険を検出する検出部の出力に基づいて前記対象画像の表示を中断することを特徴とする請求項１〜８のいずれか一項に記載の仮想表示ミラー装置。
10. 運転状況によって前記ミラー像の表示位置までの距離を変化させることを特徴とする請求項１〜８のいずれか一項に記載の仮想表示ミラー装置。
11. 運転状況によって前記ミラー像の表示コントラスト及び明るさの少なくとも一方を変化させることを特徴とする請求項１〜９のいずれか一項に記載の仮想表示ミラー装置。

Images