JP2023176698A - 画像投影システム - Google Patents

Abstract

【課題】視聴者の頭部の位置に対応してより適切な画像を投影する。【解決手段】例えば、画像投影システムは、直線上に配置された複数の投影装置を有する第一投影ユニットと、第一投影ユニットと異なる角度で直線上に配置された複数の投影装置を有する第二投影ユニットと、第一投影ユニットと第二投影ユニットが投射する方向に配置された再帰反射性スクリーンと、スクリーンを観察する観察者の右目と左目の位置に基づいて、少なくとも２つの投影装置を決定し、決定した投影装置からそれぞれ右目用の画像と左目用の画像を投影させる制御装置と、を備える。【選択図】図３

Description

本出願は、画像投影システムに関する。

対象物に画像を投影する投影装置がある。特許文献１には、再帰性スクリーンに複数のプロジェクタから画像を投影する投射型表示装置（投影装置）が記載されている。特許文献１に記載の装置は、複数のプロジェクタが再帰性スクリーンの距離が互いに異なるように配置されている。特許文献１に記載の投影装置は、再帰性スクリーンを用い、かつ、視聴者の位置に応じて、投影する装置を切り替えることで、種々の距離で視聴者に立体視可能な画像を表示できる。

特開２０１４－１３９５９２号公報

特許文献１に記載の投影装置を用いることで、スクリーンからの距離が変化した場合も視聴者の位置に応じた画像を表示することができる。しかしながら、各投影装置が、設定された位置にいる視聴者に対して画像を投影する装置であるため、同じ位置で視聴者の頭部の位置が変化した場合に対応することができない。視聴者の頭部の位置に対応してより適切な画像を投影することにニーズがある。

態様の１つに係る画像投影システムは、直線上に配置された複数の投影装置を有する第一投影ユニットと、前記第一投影ユニットと異なる角度で直線上に配置された複数の投影装置を有する第二投影ユニットと、前記第一投影ユニットと前記第二投影ユニットが投射する方向に配置された再帰反射性スクリーンと、前記スクリーンを観察する観察者の右目と左目の位置に基づいて、少なくとも２つの投影装置を決定し、決定した投影装置からそれぞれ右目用の画像と左目用の画像を投影させる制御装置と、を備える。

図１は、画像投影システムを備える車両を模式的に示す平面図である。 図２は、画像投影システムを備える車両を模式的に示す側面図である。 図３は、画像投影システムの投影装置の配置の一例を示す模式図である。 図４は、画像投影システムの概略構成を示すブロック図である。 図５は、画像投影システムの動作を説明するための平面図である。 図６は、画像投影システムのスクリーンおよび拡散板の構成を示す一部の拡大断面図である。 図７は、画像投影システムの処理の一例を示すフローチャートである。 図８は、画像投影システムの動作を説明するための模式図である。 図９は、画像投影システムの動作を説明するための模式図である。 図１０は、画像投影システムの動作を説明するための模式図である。 図１１は、画像投影システムの動作を説明するための模式図である。 図１２は、画像投影システムの動作を説明するための模式図である。 図１３は、画像投影システムの投影装置の配置の他の例を示す模式図である。 図１４は、画像投影システムの投影装置の配置の他の例を示す模式図である。

本出願に係る画像投影システムを実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本出願が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。

図１は、画像投影システムを備える車両を模式的に示す平面図である。図２は、画像投影システムを備える車両を模式的に示す側面図である。図３は、画像投影システムの投影装置の配置の一例を示す模式図である。図４は、画像投影システムの概略構成を示すブロック図である。図５は、画像投影システムの動作を説明するための平面図である。図６は、画像投影システムのスクリーンおよび拡散板の構成を示す一部の拡大断面図である。

本実施形態では、画像投影システム１を車両２に搭載した場合として説明する。車両２は、例えば、乗用車であり、車内に複数の座席４を有し、座席に運転者、同乗者等が乗車する。車両２は、運転席４、ダッシュボード、ドア、ピラー、バックシート等がある。画像投影システム１は、運転者から見える範囲の遮蔽部に、車両周囲の画像を投影して、遮蔽部がない場合の車両周囲の画像が運転者から見える状態とする。なお、本実施形態では、運転者５に対する画像を表示する場合として説明するが、運転席４以外の座席に座る搭乗者に対しても同様に画像を投影することができる。

本実施形態の画像投影システム１は、車両２の周囲の景色を撮像し、撮像して得られた画像データを出力する撮像部である車外カメラ３ａ、３ｂと、車両２の座席である例えば運転席４に着座した観察者である運転者５の視点である左目ＥＬおよび右目ＥＲの位置を検出し、検出した左目ＥＬおよび右目ＥＲの位置を空間座標で表す視点位置情報を出力する視点検出部である車内カメラ６と、前部車外カメラ３ａおよび後部車外カメラ３ｂから出力される画像データのうち、視点位置情報が表す左目ＥＬおよび右目ＥＲから車外を見たときに視界を遮る遮蔽部７に対応する範囲の画像データに基づいて、左目ＥＬまたは右目ＥＲのいずれか一方によって見られる第１画像を生成する第１画像処理部８と、画像データのうち、遮蔽部７に対応する範囲の画像データに基づいて、左目ＥＬまたは右目ＥＲのいずれか他方によって知覚され、第１画像に対して視差を有する第２画像を生成する第２画像処理部９と、車両２に設けられ、遮蔽部７に第１画像および第２画像を含む視差画像を表示する画像表示部である表示装置１０と、表示装置１０に画像を投影する投影ユニット１２、２４と、を備える。

車外カメラ３ａ、３ｂは、車両２の周囲の景色を撮像し、撮像して得られた画像データを出力する撮像部である。前部車外カメラ３ａは、車両２の前端部に設置される。後部車外カメラ３ｂは、車両２の後部に設置されている。車外カメラ３ａ、３ｂは、例えば、魚眼レンズを取り付けたＣＣＤ（Charge Coupled Devices）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）－ＩＣを使用したデジタルカメラなど、他種のデジタルカメラを用いることができる。車外カメラ３ａ、３ｂは、魚眼レンズを用いることによって、車両２の車外カメラ３の取付け位置を基準にして車両２の進行方向前方の景色を立体角で全範囲を撮像できるようになる。各車外カメラ３ａ、３ｂは、車外の環境（温度、湿度等）を検出するセンサを備えており、鮮明な画像が得られるように自身の光学系、ＣＣＤの温度、カバーの曇り除去等を行なう機能を有することが好ましい。画像投影システム１は、車外カメラ３ａ、ｂをそれぞれ複数台設けることも可能である。例えば、車両の前端部の対角位置に一対の車外カメラ３ａを設け、車両の後端部の対角位置に一対の車外カメラ３ｂを設けてもよい。これにより、車両の前方と後方の画像を鮮明に撮像できる。なお、車外カメラ３ａ、３ｂは、車両２の外側の画像を取得できればよく、車外に配置されることに限定されない。車外カメラ３ａ、３ｂを車内に配置してもよい。例えば、車外カメラ３ａは、車のフロントガラスの内側にあってもよいし、ボンネット内にあってもよい。また、本実施形態では、車外カメラ３ａ、３ｂを設け、車両２の前方と後方の両方の画像を取得するが、車外カメラ３ａのみを設け、車両２の前方のみの画像を取得してもよい。

運転席４には、運転者５の着席の有無を検出する着座センサ３６が備えられている。着座センサ３６は、公知の荷重センサやリミットスイッチによって構成される。運転席４に運転者５が着座すると、運転席４に設置してある着座センサ３６によって運転者５の着席したことが検出される。

車内カメラ６は、車内には運転者５を撮像できる位置、例えばルームミラーに隣接する位置に設置される。車内カメラ６は、例えばＣＣＤカメラを用いることができる。

遮蔽部７は、車両２の構造物のうち、運転者５の視界を遮り、車両２の外部の視認を妨げる物体である。車両２における遮蔽部７としては、ダッシュボード、ドア、ピラー、バックシート等である。

表示装置１０は、投影ユニット１２から画像が投影されることで、画像を表示する。表示装置１０は、ダッシュボードに配設されたダッシュボード表示装置１０ａと、右サイドピラーに配設された右サイドピラー表示装置１０ｂと、左サイドピラーに配設された左サイドピラーの表示装置１０ｃと、後部座席２２のバックシート２３の配設されたバックシートの表示装置１０ｄと、を含む。表示装置１０は、遮蔽部７の形状に沿って車内空間に臨む一表面に配置されている。

投影ユニット１２は、運転席４よりも車両前方に配置された表示装置１０ａ、１０ｂ、１０ｃに向けて、画像を投影する。投影ユニット１２は、図３に示すように、第一投影ユニット１００と、第二投影ユニット１０２と、を有する。第一投影ユニット１００は、右ピラーの表示装置１０ｂに対して画像を投影可能な画角で配置され、第二投影ユニット１０２は、左ピラーの表示装置１０ｂに対して画像を投影可能な画角で配置される。第一投影ユニット１００と第二投影ユニット１０２は、ダッシュボードに配置された表示装置１０ａにも画像投影可能である。投影可能な領域はそれぞれ異なる。第一投影ユニット１００は、投影装置１１０ａ、１１０ｂ、１１０ｃ、１１０ｂを有する。投影装置１１０ａ、１１０ｂ、１１０ｃ、１１０ｂは、それぞれ表示装置１０に向けて画像を投射する投影装置である。投影装置１１０ａ、１１０ｂ、１１０ｃ、１１０ｂは、例えば仮想の第一平面上の第一直線１２２に列状に配置される。投影装置１１０ａ、１１０ｂ、１１０ｃ、１１０ｂは、投影する画像の中心軸である投影光源線が配置間隔に応じて異なる位置となる。つまり、投影装置１１０ａ、１１０ｂ、１１０ｃ、１１０ｂは、表示領域１０の異なる領域に画像を投影する。なお、投影装置１１０ａ、１１０ｂ、１１０ｃ、１１０ｂは、投影光源線に応じて投影領域がずれるが、それぞれの投影領域が重複する部分がある。また、第一平面は、投影光源線に平行な面であり、本実施形態では、車両２を上から見た場合の平面である。

第二投影ユニット１０２は、投影装置１１２ａ、１１２ｂ、１１２ｃ、１１２ｂを有する。投影装置１１２ａ、１１２ｂ、１１２ｃ、１１２ｂは、それぞれ表示装置１０に向けて画像を投射する投影装置である。投影装置１１２ａ、１１２ｂ、１１２ｃ、１１２ｂは、例えば仮想の第一平面上の第二直線１２４に列状に配置される。投影装置１１２ａ、１１２ｂ、１１２ｃ、１１２ｂは、投影する画像の中心軸である投影光源線が配置間隔に応じて異なる位置となる。つまり、投影装置１１２ａ、１１２ｂ、１１２ｃ、１１２ｂは、表示領域１０の異なる領域に画像を投影する。なお、投影装置１１２ａ、１１２ｂ、１１２ｃ、１１２ｂは、投影光源線に応じて投影領域１３０がずれるが、それぞれの投影領域１３０が重複する部分がある。

ここで、第一平面において、第二直線１２４は、第一直線１２２と交点１２６で交差する、ここで、交点１２６は、第一投影ユニット１００の中心、かつ、第二投影ユニット１０２の中心である。第二直線１２４は、第一直線１２２と、第一平面で異なる向きの直線であり、２つの直線のなす角がθとなる。つまり、第一投影ユニット１００と、第二投影ユニット１０２とは、Ｘ形状で配置される。第一投影ユニット１００は、投影光源線が車両２の進行方向と平行な方向からピラーに配置された表示装置１０ｂを含む領域に向かって傾斜した向きで配置される。第二投影ユニット１０２は、投影光源線が車両２の進行方向と平行な方向からピラーに配置された表示装置１０ｃを含む領域（助手席側）に向かって傾斜した向きで配置される。投影装置１１０ａ、１１０ｂ、１１０ｃ、１１０ｂ、１１２ａ、１１２ｂ、１１２ｃ、１１２ｂは、第一平面に直交する方向の位置が異なる位置、つまり、第一平面に直交する向きに積層された配置としてもよい。第二投影ユニット１０２は、第一平面に直交する向きに存在する第二平面に配置してもよい。また、各投影装置１１０ａ、１１０ｂ、１１０ｃ、１１０ｂ、１１２ａ、１１２ｂ、１１２ｃ、１１２ｂと表示装置１０の構成については後述する。

投影ユニット２４は、バックシートの表示装置１０ｄに向けて画像を投影する。投影ユニット２４は、前述の投影ユニット１２と同様に構成され、投影ユニット２４は、表示装置１０ｄに後部車外カメラ３ｂによって撮像された画像データのうち、バックシートによって遮蔽された範囲に対応する画像データを投射する。

画像投影システム１は、制御装置５０の各部で動作を制御する。制御装置５０は、画像投影システム１の各構成要素に接続され、各構成要素を制御する。制御装置５０は、ハードウェア資源として例えば電子制御装置（Electronic Control Unit：ＥＣＵ）等のプロセッサと、ソフトウェア資源としてコンピュータよって読み取り可能なプログラムとによって実現される。制御装置５０は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御装置５０は、１個または複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。制御装置５０は、記憶部を備え、記憶部に各種情報、または画像投影システム１の各構成要素を動作させるためのプログラム等を格納してよい。記憶部は、例えば半導体メモリ等で構成されてよい。記憶部は、制御装置５０のデータ処理の途中で一次的に用いられる記憶領域として機能してよい。

制御装置５０は、視線認識装置３１と、画像データ処理装置３３と、車外カメラ制御装置３５と、車内カメラ制御装置３７と、表示制御装置３９と、を有する。

車外カメラ制御装置３５は、各車外カメラ３ａ、３ｂの動作を制御する。車外カメラ制御装置３５は、各車外カメラ３ａ、３ｂによって撮像された画像の画像データを取得する。車外カメラ制御装置３５は、各車外カメラ３ａ、３ｂからアナログの画像データを受け取り、それをデジタルデータに変換して画像データ処理装置３３に送る。

車内カメラ制御装置３７は、車内カメラ６から得られた画像を鮮明化し、運転者５からの指令によって車内カメラ６に車内を撮像のオン／オフ切換えの制御を実行し、車内の照度を検出する照度センサ、車内の温度を検出する温度センサ等の検出データが入力され、車内の画像が鮮明に撮像できる車内環境を作るための制御も合わせて行う。

視点認識装置３１は、車内カメラ制御装置３７で取得した画像に基づいて、運転者５の視点位置の計測が開始される。視点認識装置３１は、Ｘ、Ｙ、Ｚの３次元座標系において、運転者５の視点の位置を、車内カメラ６の撮影画像から左目ＥＬおよび右目ＥＲの瞳位置を画像認識処理によって抽出し、抽出された瞳の位置を座標値（ｘ、ｙ、ｚ）として出力する。視点認識装置３１は、取得した運転者５の視点の位置の情報を画像データ処理装置３３に送る。

画像データ処理装置３３は、投影ユニット１２、２４に投影する画像を作成する。画像データ処理装置３３は、第１画像処理部８と、第２画像処理部９と、を含む。第１画像処理部８は、車外カメラ３ａおよび車外カメラ３ｂから出力される画像データのうち、視点位置情報が表す左目ＥＬおよび右目ＥＲから車外を見たときに視界を遮る遮蔽部７に対応する範囲の画像データに基づいて、左目ＥＬまたは右目ＥＲのいずれか一方によって見られる第１画像を生成する。例えば、右眼ＥＲによって見られる、遮蔽部７に対応する範囲の画像を第１画像としてよい。第２画像処理部９は、画像データのうち、遮蔽部７に対応する範囲の画像データに基づいて、左目ＥＬまたは右目ＥＲのいずれか他方によって知覚され、第１画像に対して視差を有する第２画像を生成する。例えば、左眼ＬＲによって見られる、遮蔽部７に対応する範囲の画像を第２画像としてよい。第１画像と第２画像に含まれる同一の物体であっても、当該物体を見る視点が異なっているため、画像中における当該物体の位置や形状は視差に応じて異なっている。左眼ＥＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば左眼ＥＬによって視認しうる範囲を指す。同様に、右眼ＲＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば右眼ＲＬによって視認しうる範囲を指す。画像データ処理装置３３は、作成した画像と、視点位置情報が表す左目ＥＬおよび右目ＥＲの情報を、表示制御装置３９に送る。

表示制御装置３９は、投影ユニット１２の動作を制御する。表示制御装置３９は、視点位置情報が表す左目ＥＬおよび右目ＥＲに基づいて、画像を表示させる投影装置を決定し、決定した投影装置で、画像データ処理装置３３で作成した画像を投影させる。

次に、図５及び図６を用いて、表示装置１０、投影ユニット１２による画像の投影について説明する。表示装置１０は、遮蔽部７に設けられた、再帰反射性スクリーン１１と、再帰反射性スクリーン１１に観察者側に臨む表面上に積層される拡散板１６と、を含む。投影ユニット１２は、複数の投影装置から１つの投影装置を選択し、選択した右目用投影装置から右目用の第１画像を装置再帰反射性スクリーン１１に投射する。また、投影ユニット１２は、複数の投影装置から１つの投影装置を選択し、選択した左目用投影装置から左目用の第２画像を装置再帰反射性スクリーン１１に投射する。

投影装置１２は、第一投影ユニット１００及び第二投影ユニット１０２の投影装置１１０ａ、１１０ｂ、１１０ｃ、１１０ｂ、１１２ａ、１１２ｂ、１１２ｃ、１１２ｂから選択した２つの投影装置が、右目用の画像を投射する右目用投影ユニット１２Ｒと左目用の画像を投射する左目用投影ユニット１２Ｌとなる。後述するが、右目用投影ユニット１２Ｒと左目用の画像を投射する左目用投影ユニット１２Ｌは、第一投影ユニット１００から２つの投影装置が選択される場合、第二投影ユニット１０２から２つの投影装置が選択される場合、第一投影ユニット１００及び第二投影ユニット１０２からそれぞれ１つずつの投影装置が選択される場合等、種々の投影装置の組み合わせの場合がある。右目用投影ユニット１２Ｒは、第１画像を表示する液晶表示装置１３Ｒと、液晶表示装置１３Ｒから出射された第１画像の画像光を再帰反射性スクリーン１１に投影する第１投射レンズ１４Ｒとを有する。左目用投影ユニット１２Ｌは、第２画像を表示する液晶表示装置１３Ｌと、液晶表示装置１３Ｌから出射された第２画像の画像光を再帰反射性スクリーン１１に投影する第２投射レンズ１４Ｌとを有する。各液晶表示装置１３Ｒ、１３Ｌは、透過型液晶表示素子と、液晶表示素子の背面に光を出射するバックライト装置とを備える。各投射レンズ１４Ｒ、１４Ｌは、各液晶表示素子から出射された第１画像および第２画像が互いに視差をもたせて再帰反射性スクリーン１１上に結像させる複数のレンズの組み合わせによって構成される。

再帰反射性スクリーン１１は、再帰反射性を有し、入射した光の全てを入射方向に反射する。第１投射レンズ１４Ｒおよび第２投射レンズ１４Ｌから出射された第１画像の画像光および第２画像の画像光は、再帰反射性スクリーン１１によって、第１投射レンズ１４Ｒおよび第２投射レンズ１４Ｌに向けて反射されて再帰するため、再帰反射性スクリーン１１上で重なっている第１画像の画像光と第２画像の画像光とは、観察者の位置では分離して知覚される。また、再帰反射性スクリーン１１の観察者側の表面には拡散板１６が配置される。拡散板１６は再帰反射性スクリーン１１の再帰性反射を各投影ユニット１２、２４、２５に反射させるものではなく、観察者の視線に光を反射させるために拡散能力を持たせることがよい。例えば、観察者の上方に各投影ユニット１２、２４がある場合は、拡散板１６の拡散能は上下方向に大きく持たせ、左右方向は上下方向より小さい異方性拡散板がよい。左右方向の拡散能を小さくすることで、右目用の画像が左目に入らず、画像の混同が見られず、明瞭な立体画像を見ることができるようになる。

再帰反射性スクリーン１１の観察者側に臨む表面には、拡散板１６が積層される。拡散板１６は、ホログラフィック光学素子であっても良く、再帰反射性スクリーン１１の反射面上に接合されている。拡散板１６は、第１投射レンズ１４Ｒおよび第２投射レンズ１４Ｌからの光を拡大するように構成されていてもよい。再帰反射性スクリーン１１は、直径２０μｍ以上１００μｍ程度以下の微小な複数のガラスビーズ１１ａを平面上に配置して反射膜１１ｂに貼付けられる。再帰反射性スクリーン１１に投射された画像光は、各ガラスビーズ１１ａに入射し、ガラスビーズ１１ａの表面で屈折してガラスビーズ１１ａの反射膜１１ｂ側の背面に達し、反射膜１１ｂによって反射される。反射膜１１ｂによって反射された光は、ガラスビーズ１１ａの背面で再び屈折し、ガラスビーズ１１ａの表面に達し、ガラスビーズ１１ａの直径以下の微小距離だけ入射光の入射経路から離間して、入射光と平行な光路を進み、こうして再帰反射が実現される。

拡散板１６は、光の拡散方向がＹ方向（運転者５の左右方向）とＺ方向（運転者５の上下方向）で異なるものを配置している。投射レンズ１４Ｒ、１４Ｌから出射される第１画像の画像光および第２画像の画像光が再帰反射性スクリーン１１に入射したとき、その光は入射方向に出射される。このとき、光路長が等しくなる投射レンズ１４Ｒ、１４Ｌでは共役関係が成り立ち、明瞭な画像を観察することができる。ここで、再帰反射性スクリーン１１の上に拡散板１６を設置すると、再帰反射で出射した光は拡散され、投射レンズ１４Ｒ、１４Ｌ以外の場所でも共役関係を成り立たせることが可能となり、観察者の位置でも明瞭な画像を得ることができる。

液晶表示装置１３Ｒ、１３Ｌは、透過型液晶表示素子を含み、液晶表示素子は、バックライト光源からの光源光を偏向して、観察者の左右両眼ＥＬ、ＥＲに提供するための第１画像の画像光および第２画像の画像光を出射する。液晶表示装置１３Ｒ、１３Ｌに表示される２つの画像に視差をもたせることによって、立体感の高い視差画像を提供することができる。なお、液晶表示装置に代えてＬＥＤ発光表示装置であってもよい。

投射レンズ１４Ｒ、１４Ｌは、液晶表示装置１３Ｒ、１３Ｌから出射された第１画像および第２画像の各画像光を再帰反射性スクリーン１１に向けて投射して、再帰反射性スクリーン１１上に結像させる。再帰反射性スクリーン１１に形成される画像は、液晶表示装置１３Ｒ、１３Ｌに表示された画像を拡大したもので、広い範囲にわたる。左目用投影ユニット１２Ｌは、その射出瞳が観察者の左目ＥＬと同じ高さかつ左目ＥＬの近傍となる位置、例えばバックシートの上部のヘッドレストの両側に配置されており、右目用投影ユニット１２Ｒも同様に、その射出瞳が観察者の右目ＥＲと同じ高さかつ右目ＥＲの近傍となる位置に配置されている。観察者は再帰反射性スクリーン１１への光の入射方向から、右サイドピラー表示装置１０ｂ上の像を観察することになる。また、左目用投影ユニット１２Ｌおよび右目用投影ユニット１２Ｒの射出瞳は、観察者の眼と同じ位置で上方に配設されていてもよい。すなわち車両２の天井に配設されていてもよい。この場合、射出瞳の位置に対応して拡散板１６の拡散能の異方性を対応させることがよい。射出瞳が観察者の眼と同じ高さであれば、拡散板１６の拡散異方性は左右方向を強くし、射出瞳が観察者の眼より高い位置であれば、拡散板１６の拡散異方性は上下方向を強くする。

左目用投影ユニット１２Ｌおよび右目用投影ユニット１２Ｒの各投射レンズ１４Ｌ、１４Ｒの光軸は平行であり、右サイドピラー表示装置１０ｂは投射レンズ１４Ｌ、１４Ｒの光軸に対してそれぞれ垂直に配置されていることがよい。右サイドピラー表示装置１０ｂに表示される右目ＥＲ用の第１画像と左目ＥＬ用の第２画像とは一部分が重なり合った状態で表示されている。

再帰反射性スクリーン１１は、再帰反射性を有しており、入射する光のほとんど全てを入射方向に反射する。投射レンズ１４Ｌ、１４Ｒから投射された光は、再帰反射性スクリーン１１によってそれぞれ投射レンズ１４Ｌ、１４Ｒに向けて反射されることになり、再帰反射性スクリーン１１上で重なっている右目ＥＲ用の第１画像の画像光と左目ＥＬ用の第２画像の画像光とは、観察者の位置では分離し、右目ＥＲおよび左目ＥＬに個別に入射し、観察者である運転者５は同時に第１画像の画像光と第２画像の画像光との混合画像を立体的な視差画像として知覚することができる。

実際にフロントガラスや後部ウインドウガラスを通じて映る車外の景色と、各遮蔽部７に設けられるダッシュボードの表示装置１０ａ、右サイドピラーの表示装置１０ｂ、左サイドピラーの表示装置１０ｃおよびバックシートの表示装置１０ｄの位置に映し出される画像とを一致させるために、本実施形態では、運転者５の視点位置、すなわち左目ＥＬと右目ＥＲの位置を視点検出部である車内カメラ６によって撮像して得た画像から車体に対するＸ、Ｙ、Ｚの直交３軸上の座標（ｘ、ｙ、ｚ）として求めている。本実施形態では、車長方向をＸ軸、車幅方向をＹ軸、車高方向をＺ軸とする。このような構成によれば、現実の運転者５の視点が基準となるため、実際にフロントガラスや後部ウインドウガラスを通じて映る景色と、各遮蔽部７に設けられる表示装置１０ａ、表示装置１０ｂ、表示装置１０ｃおよび表示装置１０ｄの位置に映し出される画像とに連続性を持たせ、違和感を持たせることなく、いわゆる透明化したように車外の景色を知覚させることができる。また、運転者の視点位置を検出することで、運転者の体形や姿勢の相違に対しても柔軟に追従して表示することができる。これによって、違和感を生じさせること無く、運転者５の死角を効果的に減じることができ、早期に危険を察知し、快適な運転を支援することが可能となる。

図７は、画像投影システムの処理の一例を示すフローチャートである。図８から図１２は、それぞれ画像投影システムの動作を説明するための模式図である。運転者５は、車両２の運転時に、運転席４に着座し、スタートボタン等によって車両の運転開始の操作が入力される。画像処理システム１は、スタートボタン等によって車両の電源が起動され、運転者５が運転席４に着座したことが着座センサ３６によって検出されることで、図７に示す処理を実行する。画像投影システム１は、図７に示す処理を繰り返し実行する。画像投影システム１は、制御部５０で各部の動作を制御し、図７に示す処理を実行する。また、図８から図１２では、第一画像ユニット１００から画像を投影する場合として説明する。なお、運転者の視線の位置に応じて、第二画像ユニット１０２からも同様の処理で画像が投影される場合がある。

制御部５０は、各投影装置の投影光源線の情報を取得する（ステップＳ１２）。制御部５０は、投影ユニット１２の各投影装置の配置の情報に基づいて、投影光源線の情報を取得する。これにより、図８に示すように、投影装置１１０ａの投影光源線１４０ａ、投影装置１１０ｂの投影光源線１４０ｂ、投影装置１１０ｃの投影光源線１４０ｃ、投影装置１１０ｄの投影光源線１４０ｄの情報を取得する。投影光源線１４０ａ、１４０ｂ、１４０ｃ、１４０ｄの配置は、第一平面上での線となる。投影光源線の情報は、予め設定された情報として取得することができる。

制御部５０は、眼球座標を取得する（ステップＳ１４）。制御部５０は、車内カメラ６で取得した画像を車内カメラ制御装置３３の視線認識装置３１で処理して、運転者５の左目ＥＬ、右目ＥＲの位置を検出する。

制御部５０は、眼球座標から最も近い投影光源線を特定する（ステップＳ１６）。制御部５０は、各投影装置の投影光源線の情報と、運転者５の左目ＥＬ、右目ＥＲの位置に基づいて、運転者５の左目ＥＬ、右目ＥＲの位置のそれぞれに最も近い投影光源線を特定する。

制御部５０は、１つの投影装置を選定し、選定した投影装置が眼球の最も近くにある投影光源線に対応する投影装置であるかを判定する（ステップＳ１８）。制御部５０は、選定した投影装置が、眼球の最も近くの投影光源線に対応する投影装置でない（ステップＳ１８でＮｏ）と判定した場合、選定した投影装置の画像の投影をＯＦＦとして、ステップＳ２０に進む。

制御部５０は、選定した投影装置が最も眼球の近くにあるの投影光源線に対応する投影装置である（ステップＳ１８でＹｅｓ）と判定した場合、右用用の画像を投影するかを判定する（ステップＳ２２）。制御部５０は、選定した投影装置が右目に最も近い投影光源線に対応する投影装置である場合、右目用の画像である（ステップＳ２２でＹｅｓ）と判定し、右目用の画像を投影する（ステップＳ２４）。制御部５０は、右目用の画像ではない（ステップＳ２２でＮｏ）と判定した場合、左目用の画像を投影する（ステップＳ２６）。すなわち、制御部５０は、運転者５の左目ＥＬ、右目ＥＲの位置のそれぞれに最も近い投影光源線に対応する投影装置に、画像を投影する。投影光源線に対応する投影装置とは、投影装置の投影方向が投影光源線と一致する、または投影光源線の中で最も近似する投影装置をいう。

ここで、投影する画像は、以下の処理で作成する。車外カメラ制御装置３５が各車外カメラ３ａ、３ｂを作動させて、車外の撮像を開始する。次いで、ステップＳ２で、車内カメラ制御装置３７が視点認識装置３１および車内カメラ６を作動させて、車内カメラ６による撮像が開始される。視点認識装置３１は、車内カメラ６によって撮像された画像に基づいて、運転者５の視点、すなわち左目ＥＬおよび右目ＥＲの瞳位置を抽出し、抽出した瞳位置をＸ、Ｙ、Ｚ座標系における座標値（ｘ、ｙ、ｚ）として算出する。ステップＳ３で、画像データ処理装置３３は、視点認識装置３１で算出された視点位置における遮蔽部７に投射されるべき画像を、車外カメラ３によって撮像された画像から切り出し、右目ＥＲ用の画像としての第１画像および左目ＥＬ用の画像としての第２画像を生成する。このとき、観察者が第１および第２画像を一部が重なった状態で投射画像を同時に見たとき、２つの異なる画像を一体視することによって、立体化して明瞭に知覚することができる。

制御部５０は、ステップＳ２０、Ｓ２４、Ｓ２６の処理を行った後、投影装置の判定が終了したかを判定する（ステップＳ２８）。制御部５０は、投影装置の判定が終了していない（ステップＳ２８でＮｏ）と判定した場合、ステップＳ１８に戻り、判定していない投影装置の判定を行う。制御部５０は、投影装置の判定が終了している（ステップＳ２８でＹｅｓ）と判定した場合、本処理を終了する。制御装置５０は、ステップＳ１８からステップＳ２８の処理を各投影装置について並列で処理してもよい。

画像装置システム１は、図７の処理で、運転者の視線に合わせて、投影する投影装置を選定することで、運転者の眼球の位置に応じた画像を表示装置に投影することができ、周囲の風景と一体化した画像を表示させることができる。

制御部５０は、図８に示すように、左目ＥＬが投影光源線１４０ｂと最も近く、右目ＥＲが投影光源線１４０ｃと最も近い場合、投影装置１１０ｂから左目用画像を投影し、投影装置１１０ｃから右目用画像を投影し、その他の投影装置からの画像の投影を行わない。

制御部５０は、図９に示すように、左目ＥＬが投影光源線１４０ａと最も近く、右目ＥＲが投影光源線１４０ｂと最も近い場合、投影装置１１０ａから左目用画像を投影し、投影装置１１０ｂから右目用画像を投影し、その他の投影装置からの画像の投影を行わない。これにより、運転者が図８から頭を左に動かした場合、投影する画像を切り替えることで、より適切な画像を投影することができる。

制御部５０は、図１０に示すように、運転者５が第一投影ユニット１００よりも表示装置１０に近づいた状態で、左目ＥＬが投影光源線１４０ｂと最も近く、右目ＥＲが投影光源線１４０ｄと最も近い場合、投影装置１１０ｂから左目用画像を投影し、投影装置１１０ｄから右目用画像を投影し、その他の投影装置からの画像の投影を行わない。

制御部５０は、図１１に示すように、運転者５が第一投影ユニット１００よりも表示装置１０から遠い状態で、左目ＥＬが投影光源線１４０ｂと最も近く、右目ＥＲが投影光源線１４０ｄと最も近い場合、投影装置１１０ｂから左目用画像を投影し、投影装置１１０ｄから右目用画像を投影し、その他の投影装置からの画像の投影を行わない。

制御部５０は、図１２に示すように、運転者５が第一投影ユニット１００よりも車両外側に頭を移動させており、左目ＥＬ、右目ＥＲが投影光源線１４０ｄと最も近い場合、投影装置１１０ｄから左目用画像を投影し、その他の投影装置からの画像の投影を行わない。

図８から図１２では、第一投影ユニット１００で画像を投影する場合について説明したが、第一投影ユニット１００の１つの投影装置で一方の目の画像を投影し、第二投影ユニット１０２の１つの投影装置で他方の目の画像を投影することもできる。また、図８から図１２では、左目ＥＬ、及び右目ＥＲに最も近い投影光源線１４０ａ～１４０ｄに対応する投影装置１１０ａ～１１０ｄによって画像を投影していたが、これに限られない。例えば、左目ＥＬ、及び右目ＥＲから所定距離内の投影光源線１４０ａ～１４０ｄに対応する任意の投影装置１１０ａ～１１０ｄによって画像を投影してもよい。

画像投影システム１は、第一投影ユニット１００と第二投影ユニット１０２にそれぞれ複数の投影装置を直線上に配置し、第一直線１２２と第二直線１２４とを第一平面に対して異なる角度とすることで、運転者の目の位置に応じて、投影する投影装置の組み合わせを種々の組み合わせとすることができる。具体的には、画像を投影する投影ユニットを右目用と左目用で組み合わせて、複数の位置に配置した場合、配置した組み合わせの位置から離れた場合、運転者の位置に応じた画像を投影できない。これに対して、画像投影システム１は、投影装置として右目用、左目用を特定せずに、直線上に投影装置を配置することで、運転者の頭の位置に応じて、投影装置を組み合わせることができ、より適切な画像を投影することができる。なお、１つの投影ユニットには、３つ以上の投影装置を配置することが好ましい。

本実施形態のように、第一投影ユニット１００と第二投影ユニット１０２を交点１２６で交差する配置とすることで、交点１２６の周囲でより適切な画像を投影することができる。また、本実施形態の様に、交点１２６を第一投影ユニット１００と第二投影ユニット１０２の中心として、投影装置を対称軸で対称となる配置とすることで、投影ユニット１２が配置されている範囲の各位置で差の少ない画像を投影することができる。

ここで、投影装置の配置は、上記実施形態に限定されない。図１３は、画像投影システムの投影装置の配置の他の例を示す模式図である。図１３に示す投影装置２０２は、第一投影ユニット１００ａと、第二投影ユニット１０２ａと、を有する。投影装置２０２は、第一投影ユニット１００ａの第一直線と第二投影ユニット１０２ａの第二直線とのなす角θが、上記実施形態よりも大きい角度となる。このように、第一投影ユニット１００ａと第二投影ユニット１０２ａの交差する角度を異なる角度しても、上記実施形態の効果を得ることができる。また、角度を大きくすることで、投影ユニット２００で、投影できる範囲を広くすることができる。ここで、角度θは、プロジェクタの画角によって好ましい値が設定され得る。例えばプロジェクタの画角が約５７°の場合、角度θが０度以上７０度以下とすることが好ましい。

図１４は、画像投影システムの投影装置の配置の他の例を示す模式図である。図１４に示す投影ユニット３００は、第一投影ユニット３０２と、第二投影ユニット３０４と、第３投影ユニット３０６と、を有する。第一投影ユニット３０２と、第二投影ユニット３０４と、第３投影ユニット３０６とは、投影装置が配置された直線が三角形となるように配置される。つまり、各投影ユニットの端部が他の投影ユニットと接する配置となる。画像投影システム３００のように、投影ユニットを３つ以上配置してもよい。この場合も、投影ユニットの投影装置を配置する直線を第一平面で異なる角度とすることで、それぞれの投影ユニットでそれぞれの領域に画像を投影することができ、運転者の目の位置に応じた投影装置を選択することができる。なお、３つ以上の投影装置を用いる場合も、１つの交点で、３つの投影ユニットの直線が交差する配置としてもよい。

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。本開示の内容は、当業者であれば本開示に基づき種々の変形および修正を行うことができる。したがって、これらの変形および修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

１ 画像投影システム
２ 車両
３ 車外カメラ
４ 運転席
５ 観察者(運転者)
６ 車内カメラ
７ 遮蔽部
８ 第１画像処理部
９ 第２画像処理部
１０ 表示装置
１０ａ～１０ｄ 表示装置
１１ 再帰反射性スクリーン
１１ａ ガラスビーズ
１１ｂ 反射膜
１２ 投影ユニット
１２Ｌ 左目用投射部
１２Ｒ 右目用投射部
１３Ｌ、１３Ｒ 液晶表示装置
１５ 表示器
１６ 拡散板
１７ パララックスバリア
１８ レンチキュラーレンズ
３３ 画像データ処理装置
３５ 車外カメラ制御装置
３７ 車内カメラ制御装置
３９ 表示制御装置
５０ 制御装置
１００ 第一投影ユニット
１０２ 第二投影ユニット
１２２ 第一直線
１２４ 第二直線
１２６ 交点
ＥＬ 左目
ＥＲ 右目

Claims (7)

1. 直線上に配置された複数の投影装置を有する第一投影ユニットと、
   前記第一投影ユニットと異なる角度で直線上に配置された複数の投影装置を有する第二投影ユニットと、
   前記第一投影ユニットと前記第二投影ユニットが投射する方向に配置された再帰反射性スクリーンと、
   前記スクリーンを観察する観察者の右目と左目の位置に基づいて、少なくとも２つの投影装置を決定し、決定した投影装置からそれぞれ右目用の画像と左目用の画像を投影させる制御装置と、を備える画像投影システム。
2. 前記制御装置は、投影する画像の中心軸が前記右目に最も近い前記投影装置に、前記右目用の画像を投影させ、投影する画像の中心軸が前記左目に最も近い前記投影装置に、前記左目用の画像を投影させる、請求項１に記載の画像投影システム。
3. 前記第一投影ユニットと前記第二投影ユニットは、対称軸に対して投影装置が対称に配置される請求項１に記載の画像投影システム。
4. 前記第一投影ユニットの前記複数の投影装置が配置された直線と、前記第二投影ユニットの前記複数の投影装置が配置された直線とが対称軸の１点で交差する請求項３に記載の画像投影システム。
5. 前記第一平面において前記第一投影ユニットと異なる角度、かつ、前記第二投影ユニットと異なる角度で直線上に配置された複数の投影装置を有する第三投影ユニットを有する請求項１に記載の画像投影システム。
6. 前記再帰反射性スクリーンは、車両の進行方向に対して右側のＡピラーである右ピラー及び左側のＡピラーである左ピラーに配置され、
   前記第一投影ユニットは、前記右ピラーに対して画像を投影し、
   前記第二投影ユニットは、前記左ピラーに対して画像を投影し、
   前記観察者は、車両の運転席に座る運転者である請求項１に記載の画像投影システム。
7. 前記再帰反射性スクリーンは、車両のダッシュボードに配置される請求項５に記載の画像投影システム。

Images