JP2007086931A - 入力表示装置及び入力表示方法 - Google Patents

Abstract

【課題】 簡単に３次元空間上での入力表示操作を行う。
【解決手段】 複数のマイクロレンズを平面配置したレンズアレイ層と、マイクロレンズごとに複数の画素を平面配置し光線の取り込み及び表示を行う画素層とを有する入出力ディスプレイ１と、入出力ディスプレイ１の画素層で取り込んだ信号により受光画像を得る受光処理部２１と、受光処理部２１で得た画像をマイクロレンズごとの個眼像として生成する個眼像生成部２３と、個眼像に所定の処理を施す入力画像処理部４０と、入出力ディスプレイ１の画素層の画素の表示駆動を行う表示駆動部３１とを備える。
【選択図】 図３

Description

本発明は、例えばＥＬ（Electro Luminescence）ディスプレイなどに適用可能な入力表示装置及び入力表示方法に関し、特に画像の表示と並行して、入力した画像の取り込みが可能な入力表示装置及び入力表示方法に関する。

従来、３次元の立体像を表示させる技術において、３次元像の座標入力と、３次元像の表示とはそれぞれ別の装置を用いて実現している。例えば、３次元座標入力の技術には、レーザスキャンとＣＣＤカメラによる計測技術、航空写真等で用いるステレオ写真の技術、接触式デジタイザを用いる技術等があり、専用の入力機材を使用する。また、入力された３次元の情報を可視化するためには、別の場所にディスプレイを設置し、２次元ディスプレイに写像した情報として表示する。例えば、３次元像を表現するために、表示のみを行うレンチキュラレンズを用いたディスプレイ、視差バリア式ディスプレイの技術がある。また、撮影と表示のシステムに共通点が多いインテグラルフォトグラフィ、ホログラフィ等を用いた技術がある。

また、視点選択を可能とするフルパララックス(full parallax)な画像表示システムとして、例えばＩＰ(Integral Photography)立体画像システムがある。ＩＰ技術では、昆虫の複眼のような多数のマイクロレンズを配列させたレンズアレイを介して撮影を行い、複数の小さな被写体の像が結像された写真乾板に対して、写真乾板を挟んで被写体の位置と反対の位置から照明を当てる。そして、撮影時の被写体から写真乾板に向かう光線と同じ軌跡を辿る逆方向の光線を再生することで、その被写体のあった位置に被写体の三次元の像を再現させることができる。このようなＩＰ技術を、例えばデジタルカメラや液晶ディスプレイなどを用いて電子的に実現したＩＰ立体画像システムが提案されている。

ＩＰ立体画像システムにおいて、撮像と表示の処理はＩＰの基本的な原理を用いて実現される。ＩＰでは、レンズアレイを通して撮像した情報を、同じくレンズアレイを通して表示する。ＩＰ立体画像システムは、基本的には、被写体の撮像を行うレンズアレイが前方に設置されたデジタルカメラと、被写体の像の再生を行う表面にレンズアレイが設置された液晶ディスプレイにより構成される。撮像時と再生時は、同じ光路を逆方向にたどるという光線再生の考え方で、撮像したときの被写体が同じ位置に３次元で実像として観察される。

ここで、従来の１段階式ＩＰを用いた画像表示システムの例について、図１８を参照して説明する。実物体６２を撮影すると、図示しない撮像素子を備えた複数のフライアイレンズ６１を備えた撮像板６０に対して入力光線６６が照射される。１つのフライアイレンズ６１には複数の撮像素子が備えてあり、倒立した個眼像６３を記録する。画像の再生時には、撮像板６０を介して再生用照明光６４を照射すると再生光線６７が観察者６５に届き、３次元画像として認識することができる。しかしながら、この１段階式ＩＰでは、観察者６５が観察を行う際に実物体６２の裏側から見る形、いわばお面の裏側を覗くような形となってしまうため、３次元画像として適切な画像が得られるとは言い難い。

この裏返しの問題を解決するために、再生像をもう一度ＩＰに写しこむようにした２段階式ＩＰを用いた画像表示システムの例について、図１９を参照して説明する。２段階式ＩＰを用いたＩＰ立体画像システムでは、２つのＩＰを用いて３次元物体画像の撮影、表示を行うようにしている。すなわち、撮像板６０ａとフライアイレンズ６１ａで構成される第１のＩＰで実物体６２の画像情報を入力光線６６ａを照射して撮像する。そして、第１のＩＰで撮影した画像情報を再生する際に第１ＩＰ再生用照明光６４ａを第１ＩＰ撮像板６０ａを介して照射する。第１ＩＰ再生光線６７ｂは、撮影される実物体６２で焦点を結んだ後、撮像板６０ｂとフライアイレンズ６１ｂで構成される第２のＩＰに照射して撮像する。そして、第２のＩＰで撮影した画像情報を再生する際に第２ＩＰ再生用照明光６４ｂを第２ＩＰ撮像板６０ｂを介して照射する。第２ＩＰ再生光線６８は、撮影される実物体６２で焦点を結んだ後、観察者６５に届き、３次元画像として認識することができる。こうして、観察者は、第２のＩＰ再生光線を観察すると裏返しの問題が起きない立体画像を認識することができると考えられる。

特許文献１には、ＩＰ立体画像表示システムについての開示がある。
特開２００２−２９６５４１号公報

従来、３次元入力技術は、既に存在している物体や地形を計測するために用いられており、３次元物体の形状を創作しながら入力するといった用途には向いていない。すなわち、２次元におけるペン入力式タブレットのように、図形を入力しながら視覚的に確認するという技術は３次元空間において存在しなかった。また、インテグラルフォトグラフィ、ホログラフィの技術では、撮影のシステムはフィルムやＣＣＤカメラを用いており、表示のためのシステムとはかなり構成が異なる上、撮影・表示の共通化は行われていなかった。

例えば、従来の技術を用いて３次元物体情報の創造を行う場合、粘土などを用いて物体像を創作した後、既存の３次元入力技術を用いてこの物体をスキャンし、物体の座標情報等を読取らせなければならない。これは、２次元に置き換えれば、紙に図形を書いた後、スキャナに図形情報を読み取らせるのと同様の操作を行うことであり、ペン入力式タブレット等の入力装置に比べればあくまで代替手段に過ぎないと言える。そればかりか、３次元スキャナなどの非常に大掛りなシステムが必要であるため使い勝手があまりよくない。

また、ＩＰ立体画像システムを実現するためには、撮影時の被写体からの光線と、再生時の逆方向の光線の軌跡を一致させる必要があるため、デジタルカメラとレンズアレイの位置関係を、ディスプレイとレンズアレイの位置関係として正確に再現することが要求される。従来の写真を目的としたＩＰではこのような２段階の撮影処理を行うため、レンズの歪みなどの問題が２重に起きてしまい、工作精度上は非常に難しいこと等から、第２のＩＰの原理どおりには実現されていない。その後、レンズアレイを内蔵したフィルムなど様々な試みがなされているが、工作精度や製造コストの問題もあり、いまだ提案の域を出ていない。

従って、このような要求を満たす３次元撮影表示システムを実現するためには、技術的、コスト的な面でかなりの制約を受けてしまう。また、デジタルカメラとレンズアレイからなる撮像系の構成と、ディスプレイとレンズアレイからなる再生系の構成とを別々に用意する必要もあるため、コストがかかるだけでなく、システム構成が比較的大きくなってしまう。

本発明はこのような状況に鑑みて成されたものであり、簡単に３次元空間上での入力表示操作を行うことを目的とする。

本発明は、複数のマイクロレンズを平面配置したレンズアレイ層と、マイクロレンズごとに複数の画素を平面配置し光線の取り込み及び表示を行う画素層とを有するディスプレイと、ディスプレイの画素層で取り込んだ信号により受光画像を得る受光処理部と、受光処理部で得た画像をマイクロレンズごとの個眼像として生成する個眼像生成部と、個眼像に所定の処理を施す入力画像処理部と、ディスプレイの画素層の画素の表示駆動を行う表示駆動部とを備えるものである。

このようにしたことで、ディスプレイ上の３次元空間において、入力と表示を同時に行える３次元画像を再現することができるようになった。

本発明によれば、情報の入力と表示が一体化した３次元での立体像を表示可能なディスプレイを用いて、ディスプレイ上で立体像の入力と表示操作を同時に行うことが可能であるため、３次元空間における立体像の操作性を向上させるという効果がある。

以下、本発明の一実施の形態を、図１〜図１７を参照して説明する。本実施の形態では、３次元空間上において３次元立体像の入力と表示操作が可能な３次元入力表示装置を例に説明する。

まず、本例の３次元入力表示装置の外部構成例について、図１を参照して説明する。３次元立体像の入力と表示操作が可能な入出力ディスプレイ１は、昆虫の複眼状のフライアイレンズと称されるマイクロレンズを多数配列させたマイクロレンズアレイと、それぞれのマイクロレンズに対して撮像表示素子を備える。入出力ディスプレイ１は、システム制御する情報処理装置１０により、画像の撮像と表示の処理が行われる。入力ペン２ａから発せられた入力光線４は、入出力ディスプレイ１のマイクロレンズアレイに照射され、情報が記録される。そして、再び撮像表示素子より発する再生光線５は、ペン先の軌跡３上で収束した後、発散する。このような構成を有する装置を３次元入力表示装置１００とする。本例の３次元入力表示装置１００は、ユーザが、入出力ディスプレイ１上の空間でペン先を発光させる入力ペン２ａより、時系列にペン先の軌跡の座標情報として蓄積させ、蓄積した座標情報をペン先の軌跡３として表示させるアプリケーションを有する。また、この他に複数のアプリケーションを有しており、詳細については後述する。

次に、入出力ディスプレイ１の例について、図２を参照して説明する。入出力ディスプレイ１の表面部分にあたるディスプレイ表面１ｄは、マイクロレンズ層、隔壁層、画素層の３層構造としてある。被写体に対向する入出力ディスプレイ１の表面には、多数のマイクロレンズ１ａを平面状に配置してレンズアレイとして構成するマイクロレンズ層を設ける。また、被写体の像が結像する撮像表示画素１ｃを画素層とし、マイクロレンズ層の間には、それぞれのマイクロレンズで集光された光線と、隣のマイクロレンズで集光された光線とが干渉することのないように隔壁１ｂが隔壁層として設けてある。

このような構成により、入出力ディスプレイ１では、多数のマイクロレンズそれぞれ越しに見た被写体の画像として、個眼像が得られる。なお、入出力ディスプレイパネル１の大きさは自由であり、レンズアレイの密度、パネルの画素密度が高いほど、高い座標検出精度と、高精細な映像が得られる。

次に、入出力ディスプレイ１に設けられる情報処理装置１０の内部構成例について、図３のブロック図を参照して説明する。なお、情報処理装置１０は、入出力ディスプレイ１と一体的に形成されるようにしてもよいし、別の筐体として形成されるようにしてもよい。

情報処理装置１０の各部、入出力ディスプレイ１の入力表示処理を制御するＣＰＵ(Central Processing Unit)１３は、読み出し可能なＲＯＭ(Read Only Memory)１１に記憶されているプログラム、又は大容量記憶装置としてのハードディスクドライブ等で構成してある記憶部１６から書き込み可能なＲＡＭ(Random Access Memory)１２にロードされたプログラムに従って各種の処理を実行可能である。また、ＲＡＭ１２は、ＣＰＵ１３が各種の処理を実行する上で必要なデータ、パラメータ等を適宜格納する。

ＲＯＭ１１、ＲＡＭ１２、ＣＰＵ１３は、バス２５を介して相互に接続してあり、データ伝送を行う。また、バス２５には、入出力ディスプレイ１、キーボード、マウス、入力ペン２ａ等の入力処理を行う入力部１４、スピーカ等の出力処理を行う出力部１５、記憶部１６、図示しない外部端末との通信インタフェースとして通信を行う通信部１７とも接続してある。また、必要に応じてドライブ５０が、バス２５に接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等の取り外し可能な記憶メディア１９が適宜装着され、記憶メディア１９から読み出されたプログラムが必要に応じて記憶部１６に複写、インストールされる。

画像撮像時には、撮像処理を行う受光駆動部２１により被写体の撮像を行う。この撮像情報は基本的には１秒間に３０枚以上の動画情報とする。受光駆動部２１には撮像領域を設定する撮像領域設定部２２が構成してあり、撮像を行わせる画素に対して例えば０Ｖ近傍の電圧を印加し、その画素により撮像領域を形成する。ここで、撮像動作を行っている被写体の１つの像が結像する所定の数の画素で構成される領域を「撮像領域」という。そして、受光駆動部２１は、入出力ディスプレイ１の撮像表示画素のうち、撮像動作を行っている画素からの出力を検出することで、それぞれの画素に対して外部から光が照射されているか否かの照射の有無と、光の量を検出する。受光駆動部２１の検出機能による検出結果（画素値）は個眼像生成部２３に出力される。

受光駆動部２１から供給される検出結果に基づいて、各画素の画素値を合成してマイクロレンズごとの像として個眼像を生成する個眼像生成部２３により生成された個眼像の画像データは、それぞれの個眼像の画像処理を行う画像処理部４０に供給される。

例えば、画像処理部４０は、撮像された個眼像をそのまま表示した場合、再現される立体像は、その奥行き、すなわち、凹凸が逆転した像になることから、それを正立像に変換する処理を行う。なお、凹凸が逆転した像になるのは、被写体の右側から撮像した像を、左側から観察者が観察することになるからである。画像処理部４０で実行されるアプリケーションごとの処理の詳細については後述する。

画像表示時には、画像処理部４０から、個眼像の画像データに基づいて表示動作を行っている画素に個眼像を表示させる表示駆動部３１に処理した画像データを供給する。ここで個眼像が表示される領域は、個眼像の撮像が行われた入出力ディスプレイ１の領域に対応する位置の領域となる。ここで、表示動作を行っている被写体の１つの像を表示する所定の数の画素で構成される領域を「表示領域」という。表示駆動部３１内の表示領域を設定する表示領域設定部３２は、入出力ディスプレイ１の画素の駆動を制御し、表示を行わせる画素に対して正方向の電圧を印加し、その画素により表示領域を形成する。そして、所定のレンズアレイ数分だけ画像の表示を行う。

なお、撮像した画像データを通信部１７を介して通信回線により伝送させる場合は、所定の圧縮処理を行って情報量を減少させる。この場合、それぞれの個眼像は非常に似通ったものであることから、例えば、ある位置で取得された基準となる１つの個眼像を中心として、周りの位置で取得された５×５個などの所定の数の個眼像を１つのグループとする。その基準となる個眼像については、ＪＰＥＧ(Joint Photographic Expert Group)方式などで圧縮された１つの画像全体の画像データを送信し、他の２４個の個眼像については、基準となる個眼像との差分のデータのみ送信するようにして画像データの圧縮を行う。なお、撮像した画像データ、複数の個眼像、画像認識用のテンプレート等は、伝送時における圧縮処理と同様の処理を行って記憶部１６、又は記憶メディア１９に保存し、随時取り出すこともできる。

次に、入出力ディスプレイ１を構成する撮像表示画素の構成例と入力表示処理の例について、図４〜図６を参照して説明する。図４及び図５は、入出力ディスプレイ１を構成する撮像表示画素１ｃの構成例を示す。本例の入出力ディスプレイ１は、それぞれの画素にスイッチング手段としてのＴＦＴ(Thin Film Transistor)４１と、発光素子としてのＥＬ（Electro Luminescence）素子４４が設けてあり、自発光型のＥＬディスプレイに適用した例としてある。

まず、撮像表示画素１ｃの構成例について図４を参照して説明する。撮像表示画素は、ＴＦＴ４１とＥＬ素子４４で構成される。ＴＦＴ４１のソース電極Ｓには、ソース電流を供給するソース線４２が接続してあり、ＴＦＴ４１のゲート電極Ｇにはゲート電流を供給するゲート線４３が接続してある。また、ＴＦＴ４１のドレイン電極ＤにはＥＬ素子４４が接続してあり、さらにＥＬ素子４４に対向電極４５が接続してある。

このように構成される撮像表示画素１ｃの画像入力時の処理例について、図４を参照して説明する。ＴＦＴ４１のゲート電極Ｇに、０Ｖ近傍か又は逆方向の電圧が印加された場合、ソース電極Ｓに電圧が印加されているときでもチャネル中を電流が流れない。この状態で、マイクロレンズにより集光された外部からの入力光線４７ａがＴＦＴ４１を照射したとき、ＴＦＴ４１のチャネルの光伝導性により、微量ではあるがドレイン電極Ｄからソース電極Ｓ方向にリーク電流（オフ電流）４６ａが発生する。また、同様に、ＥＬ素子４４においてもリーク電流が発生する。このことから、０Ｖ近傍か又は逆方向の電圧を印加した画素（ＴＦＴ４１、ＥＬ素子４４）が発生するリーク電流４６ａを増幅してその有無を検出することによって、その画素に対して外部から光が照射されているのか否かを識別することが可能になる。また、リーク電流の量によって、光の量も識別することが可能になる。ＲＧＢのそれぞれの画素（Ｒを発光するＥＬ素子４４が設けられている画素、Ｇを発光するＥＬ素子４４が設けられている画素、Ｂを発光するＥＬ素子４４が設けられている画素）によりＲＧＢそれぞれの光の有無と量が識別されることになるため、撮像領域を構成する全ての画素の出力を合成することによって、カラーの被写体の個眼像を得ることが可能となる。

撮像表示画素１ｃの画像表示時の処理例について、図５を参照して説明すると、ＴＦＴ４１のゲート電極Ｇに正方向の電圧（バイアス電圧）が印加されたとき、図５の実線矢印４６ｂで示すように、ソース電極Ｓに印加された電圧に応じて、アルファモスシリコン又はポリシリコンからなる活性半導体層（チャネル）中を、ソース電極Ｓからドレイン電極Ｄ方向に電流が流れる。ＴＦＴ４１のドレイン電極ＤにはＥＬ素子４４のアノード電極が接続されており、ＴＦＴ４１のチャネル中を電流４６ｂが流れることにより生じるアノード−カソード電極間（ドレイン電極Ｄが接続されている電極と対向電極４５の間）の電位差に応じてＥＬ素子４４が発光する。そして、ＥＬ素子４４からの再生光線４７ｂが入出力ディスプレイ１上の隔壁層、マイクロレンズ層を介して入出力ディスプレイ１の外部に出射され画像の表示が行われる。

以上から、印加する電圧を制御することにより、１つの画素（ＴＦＴ４１）に表示動作と撮像動作（入力動作）を選択的に行わせることができることが分かる。また、図４及び図５で構成される画素は、例えば０Ｖ近傍の電圧が印加された状態で外部から光が照射された場合、ＴＦＴ１１に加えて、ＥＬ素子４４が発生するリーク電流も検出されるから、外部からの光に対して感度が高いといえる。

次に、光が照射されている場合と、照射されていない場合のＴＦＴ４１のドレイン電流Idの値の測定例について、図６を参照して説明する。図６は、図４と図５に示す画素で生じた電流の測定値の例を示す説明図である。縦軸は画素中の電流を表し、横軸はゲート電極Ｇに印加した電圧を表す。

計測結果を表す線Ｌ１は、正方向の電圧が印加された状態で光が照射されたときに画素から検出される電流（ＴＦＴ４１のチャネル中を流れる電流と、ＥＬ素子４４中を流れる電流）の値を示しており、線Ｌ２は、正方向の電圧が印加された状態で光が照射されていないときに画素で発生された電流の値を示している。線Ｌ１，Ｌ２により、正方向の電圧が印加されている場合は、外部からの光の有無に関わらず、検出される電流値には差がみられない。

一方、計測結果を表す線Ｌ３は、逆方向の電圧が印加されている状態で外部から光が照射されたときに、その画素が発生した電流の値を表しており、線Ｌ４は、逆方向の電圧が印加されている状態で外部から光が照射されていないときに、その画素が発生した電流の値を表している。線Ｌ３と線Ｌ４を比較してわかるように、逆方向の電圧が印加されている場合、外部から光が照射されたときと、照射されていないときとで、その画素が発生する電流に差が生じている。例えば、約−５ボルトの電圧（逆方向の電圧）が印加されている状態において、外部から所定の光量の光が照射された場合、「１Ｅ−８（Ａ）」程度の電流（ＴＦＴの活性半導体層中において発生した電流と、ＥＬ素子が発生した電流）が発生する。

図６においては、外部から光が照射されていない場合であっても、「１Ｅ−１０（Ａ）」程度の微小な電流が発生していることが線Ｌ４により示されているが、これは計測中のノイズによるものである。なお、ＲＧＢのうちのいずれの色を発光するＥＬ素子であっても、図６に示すものとほぼ同様の計測結果が得られる。従って、０Ｖ近傍の電圧が印加されている状態でも、発生した電流を増幅させることで、この差、すなわち、光が照射されているか否かの検出が可能となる。

このことから、意識的に逆方向の電圧を印加することなく、ゲート電圧が０Ｖ近傍の値になるように制御することで、ある画素に撮像動作を行わせることができる。そして、ゲート電圧が０Ｖ近傍の値になるように制御して撮像動作を行わせることにより、逆方向の電圧を印加してその動作を行わせる場合に較べて、逆方向の電圧の分だけ消費電力を抑えることができる。

また、制御する電圧の数が少なくなるため、その制御、さらにはシステム構成が容易になる。すなわち、ゲート電圧が０Ｖ近傍の値になるように制御することは、正方向の電圧が印加されないように制御することでもあるから、正方向の電圧が印加されるようにゲート電圧を制御する制御線や電源回路だけをもって実現することができる（逆方向の電圧が印加されるようにゲート電圧を制御する制御線を別に設ける必要がない）。

これにより、入出力ディスプレイ１の駆動基板やシステム基板上から電源回路の構成を簡略化することができ、低消費電力化を実現することができるだけでなく、それらの基板上の限られたスペースの効率的な利用も実現することができる。

さらに、逆方向の電圧を印加しないようにすることにより、逆方向の電圧を印加したときに生じることのあるＴＦＴ４１やＥＬ素子４４の破壊を回避することができる。例えば、チャネル長（Ｌ長）を長くすることでＴＦＴ４１の耐電圧性を高めることができるが、この場合、オン時（導通時）の電流が下がってしまい、十分な電流を確保するためには、チャネル幅（Ｗ長）を大きくする必要がある。この結果、ＴＦＴ４１を流れる電流値を変えることなく耐電圧性を高めるためには、１つのＴＦＴ４１のサイズを大きくする必要があり、各画素のサイズが小さい高精細なディスプレイの各画素に、そのＴＦＴ４１を配置することが困難となる。

従って、逆方向の電圧をなくすことで、ＴＦＴ４１やＥＬ素子４４の耐圧設計が容易になり、かつ、ＴＦＴ４１やＥＬ素子４４そのもののサイズを小さくすることができ、これにより、高精細なディスプレイを実現することが可能になる。

以上のように、入出力ディスプレイ１を構成する各画素に少なくともＴＦＴ４１が設けられている場合、０Ｖ近傍か、それより逆方向の電圧を印加することによって、画素を用いて撮像を行うことが可能になる。

例えば、入出力ディスプレイ１の全ての画素に撮像動作を行わせることによって、マイクロレンズの数だけ（撮像領域の数だけ）、それぞれの位置を視点としたときの被写体の像が得られる。

次に、入出力ディスプレイ１の一領域の表示例について、図７を参照して説明する。図７は、図２の隔壁１ｂにより囲まれる撮像表示画素１ｃが複数個で構成する１つの領域の例を示す平面図である。この１つの領域は、例えば、１５×１５個の撮像表示画素１ｃ（ＲＧＢの３つのサブ画素を１組とした画素（１５×３×１５個のサブ画素））から構成される。このように、１５×１５個の撮像表示画素１ｃから構成される１つの領域の前方（被写体側）に１つのマイクロレンズ１ａが設けられているため、この１５×１５個の撮像表示画素１ｃの領域に、光軸を中心として１８０度回転した被写体５０の像が結像する。

このように、入出力ディスプレイ１においては、表示だけでなく、撮像、すなわちマイクロレンズ１ａにより集光された光の検出もそれぞれの撮像表示画素１ｃにより行われる。なお、図７では、１つの個眼像を１５×１５個の画素を用いて撮像するとしたが、画素はこれに限定されるものではなく、これ以上の画素数で撮像が行われるようにしてもよい。また、１つのマイクロレンズ１ａに対して割り当てられる撮像表示画素１ｃの数を多くするほど、解像度の高い被写体の像を得ることができる。

次に、入出力ディスプレイ１の撮像動作と表示動作とが実行される状態について図８を参照して説明する。図８は、各画素の動作の例について示す説明図である。

本例の入出力ディスプレイ１においては、第Ｙ₁行目から第Ｙ₁−ｙ₁行目までの画素全体により表示動作が行われ、第Ｙ₂行目から第Ｙ₂−ｙ₂行目までの画素全体により撮像動作が行われる。ここで、表示動作、撮像動作を行わせる対象の行をそれぞれ表示動作行１ｅ、撮像動作行１ｆとする。表示動作行１ｅ、撮像動作行１ｆが、１フレーム毎に、第Ｙ行目、第Ｙ＋１行目、第Ｙ＋２行目、・・・といったように入出力ディスプレイ１の上から下に順次切り替えられる。そして、切り替えられた対象行が、入出力ディスプレイ１の下端の行に達したら、上端の行から再びその切り替え処理を繰り返す。

つまり、１フレーム内において、撮像動作行１ｆに含まれる画素全体により撮像動作が行われると同時に、撮像動作を行っている画素と異なる表示動作行１ｅに含まれる画素全体により表示動作が行われるように、各画素の動作が制御される。こうすることにより、所定のフレーム数の表示（撮像）期間を見た場合、入出力ディスプレイ１を構成する全ての撮像表示画素１ｃにより撮像と表示が行われることになる。

これにより、マイクロレンズ１ａの数だけ、それぞれの位置を視点としたときの被写体の像が得られる。また、マイクロレンズ１ａの数だけ、個眼像を表示し、立体像の再現が行われるようになる。

ここで、例えば入出力ディスプレイ１の上端から下端までを、例えば３０Hz，６０Hz等の周期で表示動作行１ｅと撮像動作行１ｆを切り替えるようにする。撮像動作行１ｆの撮像表示画素は画像を表示しないが、走査周期が短いため、撮像動作する画素の存在をユーザに認識させることがない。このようにして、入出力ディスプレイ１により、被写体の撮像と、撮像した画像に基づく立体像の再現が行われる。

次に、情報処理装置１０の撮像と表示の処理について図９及び図１０のフローチャートを参照して説明する。なお、図９の撮像処理と、図１０の表示処理は並列的に行われる。まず、情報処理装置１０の撮像処理について、図９のフローチャートを参照して説明する。

受光駆動部２１の撮像領域設定部２２は、撮像動作を行わせる入出力ディスプレイ１の撮像表示画素１ｃに対して、例えば０Ｖ近傍の電圧を印加し、撮像領域を設定する（ステップＳ１）。そして、受光駆動部２１は被写体の撮像を行う（ステップＳ２）。すなわち、入出力ディスプレイ１の画素のうち、撮像動作を行っている撮像表示画素１ｃからの出力を検出し、その画素に対して外部から光が照射されているか否か、および光の量を検出する。検出結果である画素値は個眼像生成部２３に出力される。

個眼像生成部２３は、受光駆動部２１から供給されてくる検出結果に基づいて個眼像を生成する（ステップＳ３）。生成された個眼像の画像データは画像処理部４０に出力される。画像処理部４０は、個眼像生成部２３から供給されてくる画像データに基づいて、それぞれの個眼像に対して所定の画像処理を行う（ステップＳ４）。

以上の処理を繰り返し、撮像領域を構成する画素が順次切り替えることで、入出力ディスプレイ１上の複数の点を視点とした被写体の個眼像が得られる。

次に、立体像を再現する情報処理装置１０の表示処理について、図１０のフローチャートを参照して説明する。

まず、表示領域設定部３２は、表示動作を行わせる入出力ディスプレイ１の撮像表示画素１ｃに対して正方向の電圧を印加し、表示領域を設定する（ステップＳ１１）。表示領域は、図９で設定される撮像領域と異なる位置に設定される。表示駆動部３１は、バッファとしてのＲＡＭ１２に記憶されている画像データに基づいて、表示領域を構成する画素に個眼像を表示させる（ステップＳ１２）。画像データを取り出す際は、ＲＡＭ１２以外に、記憶部１６、取り外し可能な記憶メディア１９、又は通信部１７を介して通信回線から取得した画像を再現することも可能である。

以上の処理を繰り返し、入出力ディスプレイ１の表示領域を構成する撮像表示画素１ｃを順次切り替えて、撮像した被写体の立体画像が再現される。

次に、本例の入出力ディスプレイ１で操作可能な３種類のアプリケーションの例について、図１１〜図１７を参照して説明する。本例では、３次元ポインタ、３次元描画、立体ＣＧ（Computer Graphics）図形操作のアプリケーションについて説明する。本例の３次元入力表示装置１００では、目的とするアプリケーションにより、必要な処理が異なる。

まず、３次元ポインタのアプリケーションについて、図１１を参照して説明する。図１１より、３次元ポインタを用いる際には、先端から発光するペン状の入力部として入力ペン２ａを用いて入出力ディスプレイ１上の空間に描画した３次元画像を入出力ディスプレイ１で撮像し、撮像した画像を入力画像取得部４０ａで取り込む。なお、図１１において、撮像と表示に関わる入出力ディスプレイ１と画像処理部４０間の処理ブロックは、図３で既に説明したため、処理ブロックの記載を省略する。

そして、撮像した入力画像から光源の３次元座標を求める処理を行う。ところで、取り込んだ３次元画像から３次元座標を求める際、マイクロレンズの光軸ずれ、光軸倒れ、レンズ歪み等が正確な座標算出を妨げる要因となるため事前に補正を行う必要がある。このため、初期設定として入力画像取得部４０ａで取得した入力画像を、ＲＡＭ１２のレンズ歪みテーブルに補正値として格納する。そして、３次元座標の演算を行う３次元座標演算部４０ｃでレンズ歪みテーブルの補正値を用いて座標演算を行う。なお、レンズ歪みテーブルを記憶部１６に格納して補正値を随時読み出すようにすることもできる。レンズ歪みテーブルを一度作成しておくと、光源の３次元座標を、複数の個眼像から得られた画像により三角測量の原理で求めることができる。

そして、入力画像のコントラスト強調処理、時間方向での画像重ね合わせ処理を行う出力画像加工部４０ｄで所定の画像処理を行う。このような画像処理を施した後、３次元ポインタ、３次元描画像を生成する画像出力部４０ｅから入出力ディスプレイ１に画像を供給して入出力ディスプレイ１上に画像を再現させる。出力画像に関しては、基本的にレンズの光軸ずれ（ばらつき）、光軸倒れ、レンズ歪みなどを考慮する必要はない。これは、入力時の光路と、表示時の光路が同じであれば、入力に用いた光源とまさに同じ場所に、表示による仮想光源（実像）が生成されるためである。

図１で示した３次元ポインタは、入力情報（撮像情報）を表示するアプリケーションである。発光する入力ペン２ａは必ずしも１つでなくとも良く、複数のペンを用いてもよい。出力画像は入力画像をそのまま表示しても良いが、コントラストを上げたり、入力光の色を変えたりして出力することで入力座標の確認が容易にできる。

通常のＩＰではフィルムなどを用いるため、現像処理のためにレンズとフィルムの位置関係が固定できないが、本例のレンズアレイと入出力ディスプレイパネル１の位置関係は常に固定である。このため、一度光軸ずれなどの計測を行えば、３次元入力表示装置１００の固有値として使用することが可能であり、再計測を行う必要はない。また、計測には入出力ディスプレイ１の撮像機能を利用することが可能であり、しかも計測結果は、表示画像生成時にも利用できる。

次に、３次元描画のアプリケーションについて、図１１及び図１２を参照して説明する。本例の３次元描画のアプリケーションは、３次元ポインタの技術に加えて入力情報を時間方向に重ねて表示すると共に、３次元空間上に表示させたアイコン等で２次元ディスプレイで行うような描画が可能である。本例では、図１２に複数の色を選択可能な色パレットアイコン２ｂと、ペン先の軌跡３を消去可能な消しゴムアイコン２ｃを、入出力ディスプレイ１上にＧＵＩ（Graphical User Interface）表示させている．

３次元ポインタの技術については、図１１で説明したように、先端から発散光を放出するペン状の入力部として入力ペン２ａで入出力ディスプレイ１上の空間に描画した３次元画像を入出力ディスプレイ１で撮像し、撮像した画像を取り込む入力画像取得部４０ａに画像を供給する。３次元描画のアプリケーションでは、先端から発散光を出す入力ペン２ａで入力するのが最も簡単であるが、先端が認識しやすいものであれば、必ずしも発光するものでなくとも良い。３次元ポインタの撮像表示技術については、既に説明したため、詳細を省略する。

アイコンのＧＵＩ表示処理において、３次元ポインタの撮像処理と同様に、撮像した画像を入力画像取得部４０ａで取り込み、撮像画像をレンズ歪みテーブル演算部４０ｂに供給して、レンズ歪みテーブルに補正値を格納する。そして、３次元座標演算部４０ｃでレンズ歪みテーブルの補正値を用いて座標演算を行う。

３次元座標の演算後に所定のアイコンを入出力ディスプレイ１上にＧＵＩ表示させるため、ＧＵＩ処理を行うＧＵＩ処理部４０ｊに演算データを供給する。ここで、ユーザがアイコンを操作した場合におけるアイコン選択、アイコン移動等の処理をコマンドと称し、移動量等の変化量を操作量と称する。得られた３次元座標より、ＧＵＩ処理部４０ｊは、アイコン等を３次元表示させるためのＧＵＩ処理を行い、アイコンのコマンド・操作量を決定するコマンド・操作量決定部４０ｌに処理データを供給する。

コマンド・操作量決定部４０ｌでコマンド、所定時間の前後における操作量等の各種パラメータを決定した後、３次元ＣＧの数値処理を行う３次元ＣＧ生成部４０ｍにデータを供給し、３次元ＣＧの数値データを生成する。生成した数値データは、各レンズの個眼像に対応するＣＧデータを生成する各レンズ用個眼像ＣＧ生成部にデータ供給して、画像再生を行うマイクロレンズごとの個眼像に対してＣＧデータを生成し、レンズ歪みテーブル演算部４０ｂに個眼像ＣＧデータを供給する。レンズ歪みテーブル演算部４０ｂでは、ＲＡＭ１２のレンズ歪みテーブルより補正値を読み出して個眼像ＣＧデータに対する補正を行う。そして、ＣＧ画像の出力を制御するＣＧ画像出力部４０ｏに補正済みの個眼像ＣＧデータを供給し、ＣＧ画像として入出力ディスプレイ１上にアイコン等の立体画像を表示させる。

このようにして描画で必要となる消しゴム、全消去、色の変更等のアイコンを、３次元表示空間上にＧＵＩ表示させて配置する。さらに使いやすくするために、複数の形態の異なるペンを用意し、描画色や消しゴムの機能を割り付けておくと、より自然なツールとして利用可能である。これは、入力に撮像情報を用いるからこそ可能であり、３次元デジタイザでは、座標以外の情報は入力することができない。また、異なる種類のペンを識別する処理には、発光する色を変える処理、撮像情報の処理が必要となるペン先の形を変える処理等がある。

ここで、ＩＰの入力画像に自然画を利用することで、例えば手の形などを識別し、指先の座標を検出、演算することも可能である。以下に画像認識のためのＩＰ特有の処理について、図１３及び図１４を参照して説明する。

始めに、多視点での２次元画像生成処理の例について図１３を参照して説明する。図１３（ａ）は、ブロック状の被写体５１を撮影した例である。図１３（ｂ）は、複数の個眼像によるＩＰ画像の例である。本例では、個眼像を２０個×１５個用いて撮像した例としてある。図１３（ｃ）は、多視点の２次元画像の例である。本例では、実際に簡単な物体の個眼像情報から、正面とその他８視点の２次元画像を合成した例としてある。

本例の３次元入力表示装置１００では、比較的レンズアレイに近いところに被写体がある場合、レンズの画角にもよるが、各個眼像に被写体の全景が入りきらないことが多くなってしまう。そのため、各個眼像のセンタ画素の情報から、正面視点の２次元画像を作り出す。さらに、各個眼像のセンタから一定距離離れた画素の情報を用いて、代表的な視点の２次元画像を作り出す。このようにして多視点の２次元画像を得ることができる。

次に、自然画認識と特徴点座標検出を行う処理の例について、図１４を参照して説明する。ここで、「自然画」とは、人間の手などの実体が存在する物を表す。また、「特徴点」とは、手で対象物を指し示した場合における指先のような特徴的な部分を表す。

まず、撮像処理を開始し、被写体が撮像されたＩＰ画像を取得する（ステップＳ２０）。本例のＩＰ画像５０ａは、人差し指を立てた人間の右手を被写体としており、被写体の上下反転画像が撮像される。次に、得られたＩＰ画像５０ａから多視点２次元画像５０ｃを生成する（ステップＳ２１）。そして、多視点２次元画像５０ｃより、特徴量を抽出する（ステップＳ２２）。本例では、特徴量として右手の形状を抽出する。

多視点２次元画像５０ｃと、受容すべき操作（手、ツールの形）のテンプレート画像５０ｄもしくは特徴量とのマッチングをとり（ステップＳ２３）、図形・ジェスチャ認識処理を行う（ステップＳ２４）ことで操作の種類、内容を特定する。このマッチングには２次元画像で行われている技術を流用すればよい。

次に認識された操作で、必要とされる３次元座標を計算し、各視点の２次元座標から、目的とする特徴点を選択する（ステップＳ２５）。本例では、３次元座標を計算した指先を表す特徴点画像５０ｅより特徴点５０′ｅを指先として選択してある。そして、特徴点を写しこんでいる個眼像を、生成された２次元画像を元に複数選択する（ステップＳ２６）。本例では、ＩＰ画像５０ａより選択個眼像５０ｂを選択したものとする。

次に、それぞれの個眼像の中でさらに特徴点を検出する（ステップＳ２７）。本例では、個眼像内特徴点画像５０ｆより、複数の個眼像から特徴点５０′ｆとして指先を検出している。そして、各個眼像の特徴点の座標から、目的とする３次元座標を計算する（ステップＳ２８）。３次元座標の計算結果より、操作量画像５０ｇに示すように入出力ディスプレイ１上にある実物体（指先）のコマンド（操作）と操作量を決定することができる（ステップＳ２９）。

これらの処理は、画像マッチング（特徴量マッチング）、特徴点検出に既存の２次元画像処理で行われている技術を用いるようにしたものである。また、最初に各個眼像の全ての特徴点を検出し、被写体の３次元情報を再構成した後に、マッチングを取ることも可能である。

次に、立体ＣＧ図形操作のアプリケーションについて、図１１及び図１５〜図１７を参照して説明する。まず、図１５を参照してアプリケーションの処理ブロックの構成例について説明する。本例の立体ＣＧ図形操作のアプリケーションは、入力座標に応じて変化する立体表示情報を再現する。例えば、球体などのオブジェクトを３次元表示しておき、手でそれを移動、回転、変形、分割、結合等の操作を行うことが可能である。このアプリケーションでは、入力される画像（操作者の手の画像）から図形情報、コマンド情報を解釈し、それに応じた出力用の画像はコンピュータグラフィックスによって生成する。

まず、入出力ディスプレイ１上に仮想表示させた四輪自動車形状の外観を有する３次元立体像２ｄに対する操作処理例について図１５を参照して説明する。ユーザは実物体である左手２ｅと右手２ｆで移動等の操作を行う例を示している。

図１１より、入出力ディスプレイ１上で撮像したユーザの左手２ｅと右手２ｆの撮像画像を入力画像取得部４０ａで取得する。そして、レンズ歪みテーブル演算部４０ｂでレンズ歪みの補正値を演算し、多視点２次元画像生成部４０ｆでユーザの左手２ｅと右手２ｆの多視点２次元画像を生成する。同時に、３次元座標演算部４０ｃで演算した3次元座標と多視点２次元画像を、本例の撮像画像が左手と右手の自然画であることを認識する自然画認識部４０ｇに供給する。自然画認識部４０ｇでは、撮像画像とテンプレート画像とのマッチングを行う画像マッチング部４０ｈでのマッチング処理を行い、マッチング画像の特徴点を特徴点抽出部４０ｉで抽出する処理を行う。

その結果を受けて、ユーザの操作を解釈するジェスチャ解釈部４０ｋにてジェスチャ解釈を行った後、コマンド・操作量決定部４０ｌでユーザのコマンドと操作量を決定する。以降の３次元ＣＧ作成処理は既に説明した３次元描画の処理と同様であるため、詳細を省略する。また、図１６、図１７の立体像に対する操作についても図１５で説明した処理と同様の処理であるため、説明を省略する。

次に、入出力ディスプレイ１上に仮想表示させた亜鈴状の外観を有する３次元立体像２ｇに対する操作処理例について、図１６を参照して説明する。ユーザは実体物である左手２ｅと右手２ｆで変形させる操作例を示している。なお、図１６の立体像に対する操作については立体ＣＧ図形操作で説明した処理と同様の処理であるため、説明を省略する。

手で操作するときの、操作の種類は予め認識できるコマンドとして準備しておく。例えば手のひらでオブジェクトを押すような動作は「移動」。手のひらでオブジェクトをこするような動作は「回転」。指先をオブジェクトに垂直に押し付けるのは「変形」、同様につまむような操作も「変形（引っ張り出す）」。両手でオブジェクトをつまみ、引っ張る動作は「分割」、２つのオブジェクトを２つの手のひらで押して合わせる動作は「結合」などのようにする。

さらに、入出力ディスプレイ１上に仮想表示させた円筒状の外観を有する３次元立体像２ｈに対する操作処理例について図１７を参照して説明する。ユーザは実体物であるキリ２ｉで立体像２ｈに穴をあけたり、カッタ２ｊで立体像２ｈを切ったりするような操作を行う例を示している。なお、図１７の立体像に対する操作については立体ＣＧ図形操作で説明した処理と同様の処理であるため、説明を省略する。

この場合、手に関する情報だけではなく、いくつかの画像認識しやすい形状のツールを登録しておく。それらのツールを撮像情報から認識することにより、操作の種類を増やすことができる。本例では、カッタの形状をしたツール（カッタそのものでも良いが、撮像情報から認識しやすいように色をつけたり、形状を単純化させたりした方が、画像認識がより確実になる）を用いて、「直線的な分割」を行う。また、定規の形状をしたツールで「面取り」を行ったり、キリの形状をしたツールで「穴あけ」などの変形操作を行ったりする。

このようにすることで、３次元空間上での入力表示操作を行うことができるようになった。

本実施の形態によれば、入力した座標（図形）をそのまま表示に反映すれば良いため、第１のＩＰのみを利用する。このような１段階のみのＩＰによる入力表示技術は、コンピュータグラフィック技術の進歩により品質が向上している。また、再生像の裏返しの問題は最初から存在せず、レンズ歪の問題なども１段階分だけで済むため、装置を簡単に構成することができるという効果がある。

また、小規模から大規模まで、簡単なシステムで３次元入力表示装置を構成できる。単なる形状入力という用途だけでなく、オブジェクトの変形といった編集作業も実現できる。また、ジェスチャ認識の精度が上がれば、より自然なオブジェクト操作ができるようになり、３次元物体の編集、操作が容易になるという効果がある。

また、従来用いられた２次元入力タブレットよりも優れた点として、情報入力が３次元の画像情報として得られるため、複数点の入力や、手の形や面積による操作を実現することが可能である。このため、様々な入出力インタフェースとしての機能を持たせることができるという効果がある。

また、３次元空間上で入力と表示を１台の装置で行うことが可能である。このため、材料コスト、製造コスト面で非常に有利となる効果がある。また、リアルタイムで座標入力に対する立体表示を行い、操作する側へフィードバックできるという効果がある。本実施の形態において、立体表示時の際であっても観察のための特殊な眼鏡を必要とせず、両眼視差だけでなく、上下左右への運動視差も表現される。

また、３次元座標入力装置としては非常に小さくできるため、手軽な３次元スキャナとしての用途も可能となる。また、２台の３次元入力表示装置をそれぞれ双方向通信させることで電話通信等に適用することができ、遠隔地においても互いの話者の立体画像を表示させることも可能となる。

また、レンズアレイと入出力ディスプレイ１間の位置関係が常に固定であるため、レンズの歪み情報などは３次元入力表示装置自体の固有値として保有することができる。この場合、一度歪み情報等を計測すれば以降の処理では常に歪み情報を利用可能であり、かつ表示時における補正処理にも同じ値を利用できるため、２段階式ＩＰを用いた画像表示システムに比べて撮像、表示の厳密な画像調整を行う必要がないという効果がある。

また、入力、表示処理において、共に光学的性質を利用し、同じ光路を利用するため、レンズ性能への要求が厳密でなくても所定の機能を実現できる。このため、撮像、表示する際のマイクロレンズを安価に製造することが可能であり、コストを減少させるという効果がある。

なお、上述した実施の形態において、利用可能なアプリケーションを３種類例示したが、出力は一度入力した画像を処理して、新たな表示画像を作り出してユーザへ見せることも可能であり、様々なアプリケーションを利用できる。例えば、光ペン入力をそのまま表示させる、指を認識させる、自然画で入力させる等がある。

また、上述した実施の形態において、撮像表示素子にＴＦＴ４１が各画素に設けられるとしたが、外部からの光を受光することに応じてリーク電流を発生し、かつ、そのオン／オフにより画素の動作を切り替えることができるものであれば、どのようなトランジスタが設けられるようにしてもよい。

また、上述した一連のアプリケーション処理は、ハードウエアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

また、芸術分野、ゲーム等のエンタテインメント分野でも応用が考えられる。３次元のＣＧ描画に加え、アーティストのジェスチャにより、描画情報の変化を定義しておくことにより、手軽に３次元画像を得ることができ、創造性の幅が広がるという効果がある。また、博物館等における展示物の表示にも用いるようにしてもよい。

また、コンピュータの中や、ネットワーク中の膨大な情報を、３次元空間中に配置し、その中から情報を取り出したり、操作したりすることも可能である。こうすることで、より多量の情報を効率よく扱うことができるという効果がある。

本発明の一実施の形態における３次元入力表示装置の外部構成例を示した構成図である。 本発明の一実施の形態における入出力ディスプレイの例を示した説明図である。 本発明の一実施の形態における３次元入力表示装置の内部構成例を示した構成図である。 本発明の一実施の形態における撮像表示画素の構成例を示した説明図である。 本発明の一実施の形態における撮像表示画素の構成例を示した説明図である。 本発明の一実施の形態におけるゲート電圧とドレイン電流の関係例を示した説明図である。 本発明の一実施の形態における入出力ディスプレイの一領域の表示例を示した説明図である。 本発明の一実施の形態における入出力ディスプレイの撮像表示処理の例を示した説明図である。 本発明の一実施の形態における撮像処理の例を示したフローチャートである。 本発明の一実施の形態における表示処理の例を示したフローチャートである。 本発明の一実施の形態における画像処理部の撮像表示処理の例を示した構成図である。 本発明の一実施の形態における３次元描画の例を示した説明図である。 本発明の一実施の形態における３次元立体像の操作例を示した説明図である。 本発明の一実施の形態における３次元立体像の操作（引っ張る）例を示した説明図である。 本発明の一実施の形態における３次元立体像の操作（実体ツール使用）例を示した説明図である。 本発明の一実施の形態における多視点２次元画像の生成例を示した説明図である。 本発明の一実施の形態における自然画認識及び特徴点座標検出処理の例を示したフローチャートである。 従来の１段階式ＩＰを用いた画像表示システムの例を示した構成図である。 従来の２段階式ＩＰを用いた画像表示システムの例を示した構成図である。

符号の説明

１…入出力ディスプレイ、１ａ…マイクロレンズ、１ｂ…隔壁、１ｃ…撮像表示画素、１ｄ…ディスプレイ表面、１ｅ…表示動作行、１ｆ…撮像動作行、２ａ…入力ペン、２ｂ…色パレット、２ｃ…消しゴム、２ｄ，２ｇ，２ｈ…３次元立体像、２ｅ…左手、２ｆ…右手、２ｉ…キリ、２ｊ…ナイフ、３…ペン先の軌跡、４…入力光線、５…再生光線、１０…情報処理装置、１１…ＲＯＭ、１２…ＲＡＭ、１３…ＣＰＵ、１４…入力部、１５…出力部、１６…記憶部、１７…通信部、１８…ドライブ、１９…記憶メディア、２１…受光駆動部、２２…撮像領域設定部、２３…個眼像生成部、２５…バス、３１…表示駆動部、３２…表示領域設定部、４０…画像処理部、４１…ＴＦＴ、４２…ソース線、４３…ゲート線、４４…ＥＬ素子、４５…対向電極、４６ａ，４６ｂ…電流、４７ａ…入力光線、４７ｂ…再生光線、５０，５１…被写体、６０，６０ａ，６０ｂ…撮像板、６１，６１ａ，６１ｂ…フライアイレンズ、６２…実物体、６３…各個眼像、６４，６４ａ，６４ｂ…再生用照明光、６５…観察者、６６，６６ａ…入力光線、６７…再生光線、６７ｂ…第１ＩＰ再生光線、６８…第２ＩＰ再生光線、１００…３次元入力表示装置

Claims (6)

1. 複数のマイクロレンズを平面配置したレンズアレイ層と、前記マイクロレンズごとに複数の画素を平面配置し光線の取り込み及び表示を行う画素層とを有するディスプレイと、
   前記ディスプレイの画素層で取り込んだ信号により受光画像を得る受光処理部と、
   前記受光処理部で得た画像を前記マイクロレンズごとの個眼像として生成する個眼像生成部と、
   前記個眼像に所定の処理を施す入力画像処理部と、
   前記ディスプレイの画素層の画素の表示駆動を行う表示駆動部とを備えることを特徴とする
   入力表示装置。
2. 請求項１記載の入力表示装置において、
   入力画像認識用のテンプレートを記憶する記憶部を備えることを特徴とする
   入力表示装置。
3. 請求項２記載の入力表示装置において、
   前記入力画像処理部の所定の処理は、前記マイクロレンズごとの個眼像から多視点２次元画像を生成し、前記多視点２次元画像より特徴的な形状を抽出し、前記特徴的な形状と前記画像認識用のテンプレートとを照合し、特徴点を選択し、前記個眼像から複数の個眼像を選択し、選択した前記複数の個眼像から前記特徴点の３次元座標を演算して、前記ディスプレイ表面近傍での３次元的な動き量を算出することを特徴とする
   入力表示装置。
4. 請求項２記載の入力表示装置において、
   前記記憶部は、前記マイクロレンズごとに歪み補正するためのレンズ歪みテーブルを記憶し、
   前記入力画像処理部の所定の処理は、前記入力画像に対する３次元座標の演算を行う際に前記レンズ歪みテーブルを用いて数値補正することを特徴とする
   入力表示装置。
5. 請求項１記載の入力表示装置において、
   前記入力画像処理部の所定の処理は、前記入力部により入力された画像情報を時系列で累積し、前記時系列で蓄積した画像情報を前記ディスプレイに表示させることを特徴とする
   入力表示装置。
6. 複数のマイクロレンズを平面配置したレンズアレイ層と、前記マイクロレンズごとに複数の画素を平面配置し光線の取り込み及び表示を行う画素層とを有するディスプレイを用いて、入力及び表示を行う入力表示方法において、
   前記ディスプレイの画素層で取り込んだ信号により受光画像を得、
   前記受光画像を前記マイクロレンズごとの個眼像として生成し、
   前記個眼像に所定の処理を施すと共に、
   前記ディスプレイの画素層の画素による表示駆動を行うことを特徴とする
   入力表示方法。