JP2007088530A - ３次元映像提示・撮像装置 - Google Patents

Abstract

【課題】 利用者の撮影と、３次元立体像も提示を共に行うことが可能で、かつコンパクトな３次元映像提示・撮像装置を提供する。
【解決手段】 透過状態と表示状態とを制御可能な２次元ディスプレイパネルと、透過状態とパララクス・バリアを表示する状態とを制御可能なバリア装置と、前記２次元ディスプレイパネルの前記バリア装置と反対側に配置される少なくとも１個のカメラとを備え、前記２次元ディスプレイパネルおよび前記バリア装置を透過状態にして、前記カメラにより利用者を撮影をする状態１と、前記２次元ディスプレイパネルに画像を表示するとともに、前記バリア装置にパララクス・バリアを表示して利用者に視差像を提示することにより３次元立体像を表示する状態２とを、時分割で交互に切り替えて実行する手段とを有する。
【選択図】 図１

Description

本発明は、３次元映像提示・撮像装置に係り、特に、視線一致の状態にて利用者を撮影可能であるとともに、３次元立体像を表示可能な３次元映像提示・撮像装置に関する。

地理的に離れた者同士が、あたかもそばにいるかのような感覚で面談コミュニケーションを行うシステムが、数多く提案されている。
このようなシステムは、一般に高臨場感通信と呼ばれ、利用者に違和感のないコミュニケーションを提供するためには、主に２つの解決すべき課題がある。
まず、ディスプレイの上部や下部や側部にカメラを配置し、カメラで撮影した画像をそのまま通信して提示し合っているだけのシステムにおいては、ディスプレイを見る目線とカメラの光軸が一致していないため、利用者がお互いに視線を合わせることができず、アイコンタクトによる意思の疎通が困難である。すなわち、「視線一致」の課題がある。
ハーフミラーを用いてディスプレイとカメラの位置を光学的に合わせたシステムはこの課題を一応は解決するものの、ハーフミラーを配置する広い空間を要することや、光量の減少を伴うために実用的であるとは言い難い。
そのため、光の透過状態と不透過状態を交互に制御されるスクリーンを用い、透過状態のときに撮影を行い、不透過状態の時に映像の投影を行うシステムが考案された。（下記、特許文献１、特許文献２参照）。
しかし、前述の特許文献１、特許文献２に開示されている、プロジェクタを用いるシステムは、十分にコンパクトであるとは言えない。
また、これらのシステムでは、お互いの姿をある１つのカメラで撮影した画像（即ち、２次元画像）を提示し合っている。しかし、２次元画像は、利用者に平面的な印象を与えてしまい、臨場感が著しく欠落してしまうという問題がある。
よって、利用者の姿は３次元映像により表現されることが望ましい。これが２つ目の課題である。

なお、本願発明に関連する先行技術文献としては以下のものがある。
特許第３０１１４３９号明細書 特開平８−３２９４８号公報 國田豊，他５名"没入型裸眼立体ディスプレイTWISTER Iの設計と試作",映像情報メディア学会誌，Vol.55,No.5,pp.671-677,2001. 大越孝敬：「三次元画像工学」，11項〜12項，朝倉書店，1991． 國田豊, 橋本秋彦 , 木村一夫, 中沢憲二「信頼度を利用した多層平面レンダリング法の提案」，３次元画像コンファレンス2004講演論文集，pp.135-138，３次元画像コンファレンス2004実行委員会，2004．

前述の非特許文献１において提案されているシステムは、前述の課題を満たしている。
TWISTERと呼ばれるこのシステムにおいては、立体映像を提示するユニットと利用者を撮影するユニットが一体となり、利用者の周りを取り囲んで回転することで、立体映像の提示と撮影を共に実現する。
しかしながら、TWISTERと呼ばれるこのシステムは、回転機構を有するために装置規模が大きくなり、取り扱いが容易ではない。
このような背景のもと、高臨場感通信を実現するためには、立体映像の撮影と提示が共に行え、かつコンパクトな装置が必要とされている。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、利用者の撮影と、３次元立体像の提示を共に行うことが可能で、かつコンパクトな３次元映像提示・撮像装置を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
前述の課題を解決するために、本発明は、透過状態と表示状態とを制御可能な２次元ディスプレイパネルと、透過状態とパララクス・バリアを表示する状態とを制御可能なバリア装置と、前記２次元ディスプレイパネルの前記バリア装置と反対側に配置される少なくとも１個のカメラとを備える３次元映像提示・撮像装置であって、前記２次元ディスプレイパネルおよび前記バリア装置を透過状態にして、前記カメラにより利用者を撮影をする状態１と、前記２次元ディスプレイパネルに画像を表示するとともに、前記バリア装置にパララクス・バリアを表示して利用者に視差像を提示することにより３次元立体像を表示する状態２とを、時分割で交互に切り替えて実行する手段とを有することを特徴とする。
また、本発明では、前記２次元ディスプレイパネルは、透過型ディスプレイパネルであり、前記透過型ディスプレイパネルと前記カメラとの間に配置される導光板と、前記導光板の側面に配置される光源とを有し、前記状態１において、前記透過型ディスプレイパネルに画像を表示せずに透過状態にするとともに、前記状態２において、前記光源をオンとして前記透過型ディスプレイパネルに画像を表示する。
また、本発明では、前記透過型ディスプレイパネルと前記導光板との間、もしくは、前記導光板と前記カメラとの間に、光の拡散・透過が制御可能な拡散制御パネルを有する。

また、本発明では、前記２次元ディスプレイパネルは、偏光旋光型の透過型ディスプレイパネルであり、前記透過型ディスプレイパネルの前記バリア装置側に配置される偏光光学素子と、前記透過型ディスプレイパネルと前記カメラとの間に配置される導光板と、前記導光板の側面に配置され、所定の偏光を照射する光源とを有し、前記状態１において、前記透過型ディスプレイパネルに画像を表示せずに透過状態にするとともに、前記状態２において、前記光源をオンとして前記透過型ディスプレイパネルに画像を表示する。
また、本発明では、前記光源は、複数の色の光を照射可能であり、前記状態２において、前記光源からの照射光の色を変化させ、当該照射光の色に応じた画像を前記透過型ディスプレイパネルに表示する。
また、本発明では、前記２次元ディスプレイパネルは、透過型ディスプレイパネルであり、前記透過型ディスプレイパネルと前記カメラとの間に配置される透明照明パネルを有し、前記状態１において、前記透過型ディスプレイパネルに画像を表示せずに透過状態にするとともに、前記状態２において、前記透明照明パネルをオンとして前記透過型ディスプレイパネルに画像を表示する。
また、本発明では、前記状態２において、前記バリア装置に表示されるパララクス・バリアパターンを時分割で変化させる。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、利用者の撮影と、３次元立体像の提示を共に行うことが可能で、かつコンパクトな３次元映像提示・撮像装置を提供することが可能となる。

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
［実施例１］
図１は、本発明の実施例１の３次元映像提示・撮像装置の概略構成を示す模式断面図である。図１（ａ）に示すように、本実施例の３次元映像提示・撮像装置は、透過状態と表示状態とを制御可能な２次元ディスプレイパネル２１と、透過状態とパララクス・バリアを表示する状態とを制御可能なバリア装置１６と、２次元ディスプレイパネル２１のバリア装置１６の反対側に配置されるカメラ１１とを備える。
ここで、２次元ディスプレイパネル２１は、透明ディスプレイパネルで構成される。また、バリア装置は、例えば、液晶ディスプレイパネルで構成される。
本実施例では、図１（ｃ）に示す状態１と、図１（ｂ）に示す状態２とを、時分割で交互に実行する。
（１）状態１
２次元ディスプレイパネル２１に何も表示せず透過状態にするとともに、バリア装置１６も透過状態にする。この状態では、背面のカメラ１１と利用者１の間を光学的に遮蔽するものはなにもないので、カメラ１１により利用者１の姿を撮影することができる。
（２）状態２
２次元ディスプレイパネル２１に画像を表示するとともに、バリア装置１６にパララクス・バリアを表示する。この状態では、本実施例の３次元映像提示・撮像装置は、パララクス・ステレオグラム方式の３次元表示装置となるため、利用者１の両眼にそれぞれ異なる視差像を提示し、利用者１に３次元立体像を表示することができる。

前述したこの２つの状態を、利用者１が知覚できる以上の速さで交互に切り替えることにより、画像の撮影と提示が一体となった３次元画像端末を実現することができる。
なお、パララクス・ステレオグラム方式の３次元表示方法については、前述の非特許文献２を参照されたい。
本実施例の３次元映像提示・撮像装置において、２次元ディスプレイパネル２１として、透明な電極アレイと発光物質により構成される自発光型の透明ディスプレイを使用することもできる。自発光型の透明ディスプレイは、例えば、ＥＬなどで構成される。
この場合に、自発光型の透明ディスプレイは、自ら発光して画像を提示するために、照明パネルが必要な透過型のディスプレイと比較して、装置を薄型化することができる。
また、透過に伴う光量のロスが少ないので、提示画像および撮影画像の画質を向上させることができる。

［実施例２］
図２は、本発明の実施例２の３次元映像提示・撮像装置の概略構成を示す模式断面図である。
本実施例は、図２（ａ）に示すように、図１に示す２次元ディスプレイパネル２１が、透過型ディスプレイパネル１５であり、導光板１２と、導光板１２の側面に配置される光源１３とを有する点で前述の実施例１と相違する。
ここで、導光板１２と、導光板１２の側面に配置される光源１３とは、照明パネルを構成する。また、透過型ディスプレイパネル１５は、例えば、液晶ディスプレイパネルで構成される。また、光源１３は、例えば、発光ダイオード（ＬＥＤ）で構成される。
本実施例によれば、従来法のように光源を透過型ディスプレイの背面に配置するのではなく、導光板１２の側面に光源１３を配置し、透過型ディスプレイパネル１５に画像を表示するときには、導光板１２内での全反射および導光板１２表面での散乱を利用する。
そのため、図２（ｂ）に示すように、光源１３がＯＮの時（状態２の時）には、導光板１２から照射される光は均一な照明となる。
また、図２（ｃ）に示すように、光源１３がＯＦＦの時（状態１の時）には、導光板１２は透明な状態となり、カメラ１１により利用者１の姿を撮影することができる。
また、本実施例では、光源１３とカメラ１１の空間的な配置が干渉することがないので、本実施例では、薄型でコンパクトな実装をとることが可能となる。
さらに、状態１と状態２の切り替えにおいて、導光板１２と光源１３とから成る照明パネルが行う処理は、光源１３のＯＮ・ＯＦＦのみであるため、切り替え処理を高速に行うことが可能である。よって、提示画像および撮影画像の画質を向上させることが可能となる。

［実施例３］
図３は、本発明の実施例３の３次元映像提示・撮像装置の概略構成を示す模式断面図である。
本実施例は、図３（ａ）に示すように、前述の実施例２において、導光板１２の液晶ディスプレイパネル側に、拡散・透過制御パネル１４を配置したものである。また、図３（ａ）には図示していないが、導光板１２のカメラ１１側に、拡散・透過制御パネル１４を配置することもできる。ここで、拡散・透過制御パネル１４は、例えば、高分子分散型液晶ディスプレイパネルで構成される。
本実施例によれば、図３（ｂ）に示すように、光源１３をＯＮの時（状態２の時）に、同時に拡散・透過制御パネル１４を拡散状態にすることにより、導光板１２から照射される光は均一な照明となる。
また、図３（ｃ）に示すように、光源１３がＯＦＦの時（状態１の時）に、同時に拡散・透過制御パネル１４を透過状態にすることで、カメラ１１により利用者１の姿を撮影することができる。
本実施例では、導光板１２および光源１３のみの場合に比べ、表示と透過の状態の効果がより明確に現れるので、提示画像および撮影画像の画質を向上させることができる。

［実施例４］
図４は、本発明の実施例４の３次元映像提示・撮像装置の概略構成を示す模式断面図である。
本実施例は、導光板１２として、光の放出方向が透過型ディスプレイ方向のみである導光板を使用する点で、前述の実施例２と相違する。
本実施例によれば、図４（ｂ）に示すように、光源１３がＯＮの時（状態２の時）に、導光板１２からの光の放出方向が、透過型ディスプレイパネル１５方向のみであり、カメラ１１の方向には光が放出しないために、光源１３から照射された光の大半を透過型ディスプレイパネル１５の照明として用いることができ、光の利用効率を向上させることができる。
また、状態１と状態２の切り替えにおいて、導光板１２と光源１３とから成る照明パネルが行う処理は、光源１３のＯＮ・ＯＦＦのみであるため、切り替え処理を高速に行うことが可能である。よって、提示画像および撮影画像の画質を向上させることが可能となる。

［実施例５］
図５は、本発明の実施例５の３次元映像提示・撮像装置の概略構成を示す模式断面図である。
本実施例は、図５（ａ）に示すように、図１に示す２次元ディスプレイパネル２１が、偏光旋光型の透過型ディスプレイパネル１５ａであり、導光板１２と、導光板１２の側面に配置される偏光光源と、偏光旋光型の透過型ディスプレイパネル１５ａのバリア装置側に配置される偏光光学素子１７とを有する点で、前述の実施例１と相違する。
ここで、偏光旋光型の透過型ディスプレイパネル１５ａは、例えば、パネル両側に添付された偏光板を取り外した液晶ディスプレイパネルで構成される。また、偏光光源は、例えば、発光ダイオード（ＬＥＤ）などから成る照明光源１３と偏光光学素子１８とで構成される。偏光光学素子（１７，１８）は、一般の偏光板で構成できる。さらに、導光板１２と、導光板１２の側面に配置される光源１３とは、照明パネルを構成する。
本実施例によれば、画像提示状態の時（状態２の時）には、偏光光源から照射された偏光が、偏光状態を保ったまま導光板１２から、偏光旋光型の透過型ディスプレイパネル側に放射され、提示画像のパターンに応じて光が旋光された後、偏光光学素子１７を通り利用者１に提示される。
一方、画像撮影の時（状態１の時）には、被写体である利用者側からの光は、偏光光学素子１７を通り、偏光旋光型の透過型ディスプレイパネル１５ａを通り、導光板１２を通ってカメラ１１に到達する。
したがって、本実施例では、図１に示す２次元ディスプレイパネル２１として、透過型ディスプレイパネル（例えば、液晶ディスプレイパネル）を用いた場合と比べ、カメラ１１にとって偏光光学素子が１枚減り、偏光光学素子を通る光のロスが低減される。したがって、撮影画像の画質を向上させることが可能となる。

［実施例６］
図６は、本発明の実施例６の３次元映像提示・撮像装置の概略構成を示す模式断面図である。
本実施例は、導光板１２として、光の放出方向が偏光旋光型の透過型ディスプレイパネル方向のみである導光板を使用する点と、画像撮影（状態１）の期間においても、光源１３を点灯する点で、前述の実施例５と相違する。
本実施例によれば、状態１と状態２の切り替えにおいて、光源１３のＯＮ・ＯＦＦも、導光板１２と光源１３とから成る照明パネルの状態切替えも必要ないため、装置を簡便化することができる。
画像撮影の時（状態１の時）においても、利用者側に光が照射されるため、周囲が暗く被写体の照度が不足している環境においても、良好な画像を撮影することができる。
なお、図示は省略するが、前述の実施例４の場合にも、画像撮影（状態１）の期間に、光源１３を点灯するようにしても良い。

［実施例７］
図７は、本発明の実施例７の３次元映像提示・撮像装置における光源の発光タイミングを説明する図である。
本実施例では、光源１３として、複数の波長（色）の光を発光可能な光源を使用する。
そして、本実施例では、図７のＲ，Ｇ，Ｂに示すように、光源１３の発光波長（色）を逐次的に変化させて点灯し、しかも、点灯のパターンに同期して、透過型ディスプレイパネル１５、あるいは、偏光旋光型の透過型ディスプレイパネル１５ａの表示も変化させることで、カラー画像を表示するようにしたものである。
本実施例によれば、カラー表示する際に、透過型ディスプレイパネル１５、あるいは、偏光旋光型の透過型ディスプレイパネル１５ａと組み合わせて使用される、格子状のカラーフィルタが不要となる。
即ち、利用者１とカメラ１１の間から、カラーフィルタが取り除かれるぶん、被写体（利用者）からカメラ１１に到達するまでの光量のロスがなくなり、また、カラーフィルタによる格子模様も認められないため、撮影画像の画質を向上させることができる。

［実施例８］
図８は、本発明の実施例８の３次元映像提示・撮像装置の概略構成を示す模式断面図である。
本実施例は、図８に示すように、図１に示す２次元ディスプレイパネル２１が、透過型ディスプレイパネル１５であり、透明照明パネル１９を有する点で、前述の実施例１と相違する。
ここで、透過型ディスプレイパネル１５は、例えば、液晶ディスプレイパネルで構成される。また、透明照明パネル１９は、例えば、透明電極とＥＬなどの発光物質を組み合わせた透明照明パネルで構成される。
本実施例によれば、透明照明パネル１９がＯＮの状態（状態２）では、均一で高輝度の面照明が得られる一方で、透明照明パネル１９がＯＦＦの状態（状態１）では、高い透明度が得られる。したがって、提示画像および撮影画像の画質を向上させることができる。

［実施例９］
図９は、本発明の実施例９の３次元映像提示・撮像装置の概略構成を示す模式断面図である。
本実施例は、図９に示すように、透明照明パネル１９として、発光波長が異なる複数の透明照明パネル（図９では、赤色を発光する透明照明パネル１９ｒ、緑色を発光する透明照明パネル１９ｇ、青色を発光する透明照明パネル１９ｂ）を積層し、当該多層照明パネルの発光パターンを逐次的に変化させて点灯し、しかも、点灯のパターンと同期して、透過型ディスプレイパネル１５の表示も変化させることでカラー画像を表示するようにした点で、前述の実施例８と相違する。
本実施例によれば、カラー表示する際に、透過型ディスプレイパネル１５と組み合わせて使用される、格子状のカラーフィルタが不要となる。
即ち、利用者１とカメラ１１の間から、カラーフィルタが取り除かれるぶん、被写体（利用者）からカメラ１１に到達するまでの光量のロスがなくなり、また、カラーフィルタによる格子模様も認められない。
また、透明照明パネル（１９ｒ，１９ｇ，１９ｂ）がＯＮの状態（状態２）では、均一で高輝度の面照明が得られる一方、透明照明パネル（１９ｒ，１９ｇ，１９ｂ）がＯＦＦの状態（状態１）で高い透明度が得られる。したがって、提示画像および撮影画像の画質を向上させることができる。

［実施例１０］
本発明の実施例１０の３次元映像提示・撮像装置は、状態２が、さらに複数のサブステップから構成され、各サブステップにおいて、２次元ディスプレイパネル２１に表示する映像と、バリア装置１６に表示されるパララクス・バリアパターンを時分割で変化させるようにしたものである。
本実施例によれば、３次元立体画像の画像提示期間（状態２の期間）において、パララクスバリア方式の立体提示法で利用している空間的な多重化（マルチプレクシング）に加えて、時間的な多重化（マルチプレクシング）を利用することによって、空間的な多重化のみを用いていた場合に生じていた立体画像提示の制限を緩和する効果がある。
当該制限とは、即ち、空間的な多重化のみを利用する場合においては、２次元ディスプレイパネル２１と、バリア装置１６のピッチおよび配置する位置の関係によって、左右眼用の画像が完全に分離して提示できる視点位置（適視位置）は周期的な点列として現れ、利用者１はこれらの位置に左右眼を正確に合わせなくては適切な立体画像を観察することができず、さらには観察できる画像の空間解像度が減少することである。

例えば、図１０−１中において、利用者１が適切な立体画像を観察するためには、左眼を点Ａｎ（ｎ＝１,２,３,...）、右眼を点Ｂｎ（ｎ＝１,２,３,...）の位置に合わせる必要がある。
これとは逆に、左眼が点Ｂｎ、右眼が点Ａｎの位置に来ると、逆視と呼ばれる左右眼の画像が入れ替わる現象が生じ、それ以外の位置においては、一般にクロストークと呼ばれる左右の画像が混交する現象が生じ、どちらの場合においても利用者は適切な立体視を行うことができない。
また、適切な位置に眼を合わせても、各眼で観察できる画像は提示面の半分の領域となり、２次元画像を提示した場合と比べ、空間解像度が半分に落ちている。
それに対し、例えば、図１０−２に示すように、画像提示期間（状態２の期間）を、さらに２つのサブステップに分割すると、提示面において右眼用の表示領域と左眼用の表示領域がサブステップごとに入れ替わるため、すべてのサブステップを経ると提示面全体をどちらの眼にも提示することができる。

また、図１０−３に示すように、画像提示期間（状態２の期間）を、さらに３つのサブステップに分割し、各サブステップにおけるパララクス・バリアパターンの開口率を１／３にすると、左眼が線分Ｘ１−Ｘ２の任意の点、右眼が線分Ｙ１−Ｙ２の任意の点にあるときに、立体像を提示することができ、適視位置を広げることができる。
なお、ここでは、提示面およびパララクス・バリアパターンに対して水平な方向のみの説明を行ったが、垂直方向にも適視位置を広げることが可能である。
また、画像提示期間（状態２の期間）を３つ以上のサブステップに分割することで適視位置を広げるのではなく、提示できる画像の種類を多くすることができる。
例えば、図１０−４のように、画像提示期間（状態２の期間）を３つに分割した場合、図中のＡ１，Ａ２，Ａ３の位置において異なる画像を提示することができる。
例えば、Ａ１の位置に左眼が、Ａ２の位置に右眼が配置され状態（Ｉ）では、左眼ではＢの画像が、右眼ではＣの画像が観察される。
この状態（Ｉ）から利用者が右に移動し、Ａ２の位置に左眼が、Ａ３の位置に右眼が配置され状態（II）に成った場合、左眼ではＣの画像が、右眼ではＤの画像が観察される。即ち、この状態（II）でも、左眼と右眼に異なる視差像を提示できるために立体視が可能である。
もし、２種類の画像しか提示できない場合には、図１０−１のように、Ｃ１の位置にＡ１が来るため、右眼と左眼に提示される画像が本来提示すべき画像と逆になる「逆視」と呼ばれる現象が起こってしまうが、本実施例ではこれを防止することができる。

［実施例１１］
本発明の実施例１１の３次元映像提示・撮像装置は、状態１の継続時間と、状態２の継続時間とを異ならせるようにしたものである。
本実施例によれば、状態２、即ち、画像提示の期間を長くとり表示の明るさをとるか、状態１、即ち、撮影の期間を長くとり（露光時間を多くとり）撮影画像の明るさをとるか、両者のトレードオフを調節することができる。
したがって、表示画像と撮影画像の画質を総合的に判断して、両者のバランスがとれた構成をとることができる。

［実施例１２］
本発明の実施例１２の３次元映像提示・撮像装置は、状態１の継続時間と、状態２の継続時間を、カメラ１１、あるいは、別途設置した光センサにより測定された被写体または外光の明るさによって決定するようにした点で、前述の実施例１１と相違する。
本実施例によれば、表示と撮影に必要な光量のバランスを環境に適応して配分することができる。
例えば、明るい環境で用いる際には、２次元ディスプレイパネル２１を明るくする必要があるのに対して、撮影の露光時間は短くてよい。そのため、状態２の期間を長く、状態１の期間を短く配分することで、撮影画像の画質を犠牲にすることなく、表示画像の画質を向上させることができる。
また、逆に暗い環境で用いる際には、状態２の期間を短く、状態１の期間を長く配分することで、表示画像の画質を犠牲にすることなく、撮影画像の画質を向上させることができる。

［実施例１３］
本発明の実施例１３の３次元映像提示・撮像装置は、カメラ１１で撮影した利用者１の画像を基に、当該利用者１の両眼の位置を検出し、その位置に応じて、２次元ディスプレイパネル２１に表示する画像と、バリア装置１６に表示されるパララクス・バリアパターンを適応的に変化させるようにしたものである。
本実施例によれば、自動的に利用者１の両眼の位置が適視位置になるよう、装置側で制御がなされるため、利用者１が規定の適視位置に両眼を合わせなくても、さらには動いても立体視が可能となる。
例えば、図１１−１において、利用者１は正しく立体視ができる位置に両眼を配置しているが、右側に移動して、図１１−２のような状態になると、左右の眼に提示される視差像が反転されるため、正しい立体視を行うことができない。
それに対し、図１１−３のように、カメラ１１で捕らえた画像を基に、利用者１の両眼位置の移動を検出し、２次元ディスプレイパネル２１に表示する画像と、バリア装置１６に表示されるパララクス・バリアパターンを適応的に変化させることで、左右眼に適切な視差像を提示することができ、立体視が可能となる。
ここで、カメラ１１は１つである場合を説明したが、２つ以上の場合、三角測量の原理により、より精度が高く両眼の位置を検出することが可能である。
また、図１１−４のように、補助光源１４１により光線（例えば、赤外光）を投射し、レンズ系１４２を経て、利用者１の瞳孔１４３を通り網膜１４４で反射する光線の網膜像をカメラ１１で撮影することで、容易に利用者の眼の位置を検出することが可能である。
ここで利用した現象は、フラッシュを用いて人物を撮影した際に写真に現れる「赤目」としてよく知られるものである。

［実施例１４］
本発明の実施例１４の３次元映像提示・撮像装置は、カメラ１１の台数を２台以上となし、そのうち２つ以上のカメラ１１からの画像を選択し、当該カメラ１１が組み込まれた端末、もしくは他の同様な端末において利用者１に提示する２眼分もしくはそれ以上の多眼分の映像とするものである。
本実施例によれば、立体画像を生成する特別な処理や装置がなくても、利用者の立体映像を利用者自身、もしくは他の利用者に提示することができる。
即ち、２つの異なる位置のカメラ１１で撮影した画像は視差を含むため、言い換えると同じ被写体を撮影していても画像中での結像位置に違いが生じるため、その画像を利用者の両眼に提示するだけで、利用者は人間の持つ認知機構を利用して立体的な映像を知覚する効果がある。
多眼分の映像を提示した場合には、そのうちの２眼分の映像が利用者の両眼に入り、同様に利用者１は立体映像を知覚する効果がある。

［実施例１５］
本発明の実施例１５の３次元映像提示・撮像装置は、カメラ１１の台数を２台以上となし、その撮影画像をもとに新たな画像を合成し、当該カメラ１１が組み込まれた端末、もしくは他の同様な端末において利用者１に提示する映像とするものである。
本実施例によれば、実際にカメラ１１で撮影した画像だけでなく、新たに合成された画像を提示することができるため、カメラ１１の数より多数の視差画像を提示することができ、滑らかな３次元映像を提示することができる。
また、実際にカメラ１１を配置していない場所からの映像を合成できるため、実装上のカメラ１１配置が容易になる。
異なる位置で撮影された画像を元に新たな視点位置の画像を生成する方法は、前述の非特許文献３を参照されたい。

［実施例１６］
本発明の実施例１６の３次元映像提示・撮像装置は、カメラ１１で撮影した利用者の画像中の両眼画像を検出し、提示する画像に反映することを特徴とする。
本実施例によれば、利用者が頭部を動かした際に、その動きに応じた映像の変化を提示することができ、利用者が運動視差を手がかりとして３次元画像を知覚することが可能になる。
また、利用者が画像中のどの領域に注目しているかを検出することで、注目している領域を強調して表示したり、あるいは注目点の軌跡を追跡することで利用者が何に関心を持っているかを解析することができる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

本発明の実施例１の３次元映像提示・撮像装置の概略構成を示す模式断面図である。 本発明の実施例２の３次元映像提示・撮像装置の概略構成を示す模式断面図である。 本発明の実施例３の３次元映像提示・撮像装置の概略構成を示す模式断面図である。 本発明の実施例４の３次元映像提示・撮像装置の概略構成を示す模式断面図である。 本発明の実施例５の３次元映像提示・撮像装置の概略構成を示す模式断面図である。 本発明の実施例６の３次元映像提示・撮像装置の概略構成を示す模式断面図である。 本発明の実施例７の３次元映像提示・撮像装置における光源の発光タイミングを説明する図である。 本発明の実施例８の３次元映像提示・撮像装置の概略構成を示す模式断面図である。 本発明の実施例９の３次元映像提示・撮像装置の概略構成を示す模式断面図である。 パララクス・ステレオグラム方式で表示された３次元立体像を観察するための、利用者の左眼および右眼の位置を説明するための図である。 本発明の実施例１０の３次元映像提示・撮像装置の画像提示方法の一例を説明するための図である。 本発明の実施例１０の３次元映像提示・撮像装置の画像提示方法の他の例を説明するための図である。 本発明の実施例１０の３次元映像提示・撮像装置の画像提示方法の他の例を説明するための図である。 本発明の実施例１３の３次元映像提示・撮像装置において、利用者が正しく立体視ができる位置に両眼を配置している場合を示す図である。 図１１−１の状態から移動した場合を示す図である。 図１１−２の状態において、利用者の両眼位置の移動を検出し、利用者の左右眼に適切な映像を提示した場合を示す図である。 本発明の実施例１３の３次元映像提示・撮像装置において、利用者の眼の位置を検出する検出方法の一例を示す図である。

符号の説明

１ 利用者
１１ カメラ
１２ 導光板
１３ 光源
１４ 拡散・透過制御パネル（例えば、高分子分散型液晶ディスプレイパネル）
１５ 透過型ディスプレイパネル（例えば、液晶ディスプレイパネル）
１５ａ 偏光旋光型の透過型ディスプレイパネル
１６ バリア装置
１７，１８ 偏光光学素子（例えば、偏光板）
１９ 透明照明パネル（例えば、ＥＬ）
１９ｒ 赤色を発光する透明照明パネル
１９ｇ 緑色を発光する透明照明パネル
１９ｂ 青色を発光する透明照明パネル
２１ ２次元ディスプレイパネル
１４１ 補助光源
１４２ レンズ系
１４３ 利用者の瞳孔
１４４ 利用者の網膜

Claims (7)

1. 透過状態と表示状態とを制御可能な２次元ディスプレイパネルと、
   透過状態とパララクス・バリアを表示する状態とを制御可能なバリア装置と、
   前記２次元ディスプレイパネルの前記バリア装置と反対側に配置される少なくとも１個のカメラとを備える３次元映像提示・撮像装置であって、
   前記２次元ディスプレイパネルおよび前記バリア装置を透過状態にして、前記カメラにより利用者を撮影をする状態１と、
   前記２次元ディスプレイパネルに画像を表示するとともに、前記バリア装置にパララクス・バリアを表示して利用者に視差像を提示することにより３次元立体像を表示する状態２とを、時分割で交互に切り替えて実行する手段とを有すること特徴とする３次元映像提示・撮像装置。
2. 前記２次元ディスプレイパネルは、透過型ディスプレイパネルであり、
   前記透過型ディスプレイパネルと前記カメラとの間に配置される導光板と、
   前記導光板の側面に配置される光源とを有し、
   前記状態１において、前記透過型ディスプレイパネルに画像を表示せずに透過状態にするとともに、前記状態２において、前記光源をオンとして前記透過型ディスプレイパネルに画像を表示することを特徴とする請求項１に記載の３次元映像提示・撮像装置。
3. 前記透過型ディスプレイパネルと前記導光板との間、もしくは、前記導光板と前記カメラとの間に、光の拡散・透過が制御可能な拡散制御パネルを有することを特徴とする請求項２に記載の３次元映像提示・撮像装置。
4. 前記２次元ディスプレイパネルは、偏光旋光型の透過型ディスプレイパネルであり、
   前記透過型ディスプレイパネルの前記バリア装置側に配置される偏光光学素子と、
   前記透過型ディスプレイパネルと前記カメラとの間に配置される導光板と、
   前記導光板の側面に配置され、所定の偏光を照射する光源とを有し、
   前記状態１において、前記透過型ディスプレイパネルに画像を表示せずに透過状態にするとともに、前記状態２において、前記光源をオンとして前記透過型ディスプレイパネルに画像を表示することを特徴とする請求項１に記載の３次元映像提示・撮像装置。
5. 前記光源は、複数の色の光を照射可能であり、
   前記状態２において、前記光源からの照射光の色を変化させ、当該照射光の色に応じた画像を前記透過型ディスプレイパネルに表示することを特徴とする請求項２ないし請求項４のいずれか１項に記載の３次元映像提示・撮像装置。
6. 前記２次元ディスプレイパネルは、透過型ディスプレイパネルであり、
   前記透過型ディスプレイパネルと前記カメラとの間に配置される透明照明パネルを有し、
   前記状態１において、前記透過型ディスプレイパネルに画像を表示せずに透過状態にするとともに、前記状態２において、前記透明照明パネルをオンとして前記透過型ディスプレイパネルに画像を表示することを特徴とする請求項１に記載の３次元映像提示・撮像装置。
7. 前記状態２において、前記バリア装置に表示されるパララクス・バリアパターンを時分割で変化させることを特徴とする請求項１ないし請求項６のいずれか１項に記載の３次元映像提示・撮像装置。

Images