JP2009021708A - 要素画像群変換装置、立体像表示装置及び要素画像群変換プログラム - Google Patents

Abstract

【課題】奥行きの位置関係の正しい立体像を、表示装置から任意の奥行きの位置に表示できる要素画像群を生成できる要素画像群変換装置を提供する。
【解決手段】要素画像群変換装置５は、複数の要素光学系（第１要素光学系）Ｌ１が同一平面上に配列された要素光学系群（第１要素光学系群）３１及び撮像手段３２を備える要素画像群撮像装置３によって撮像された要素画像群ＧＡと、仮想的な要素光学系群３１である仮想第１要素光学系群と、仮想第１要素光学系群からの光を結像し、仮想第１要素光学系の光軸に平行な光軸を有する複数の仮想第２要素光学系が同一平面上に配列された仮想第２要素光学系群とを仮想的に配置したときの、要素画像群ＧＡからの光が仮想第１要素光学系群及び仮想第２要素光学系群によって仮想的に結像して形成される仮想要素画像群ＧＢを生成する仮想要素画像生成手段５１を備えることを特徴とする。
【選択図】図１

Description

本発明は、立体像を表示するための画像を生成する技術及び立体像を表示する技術に係り、特に、ＩＰ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ；インテグラルフォトグラフィ）方式の立体像を表示するための画像を生成し、また、立体像を表示する要素画像群変換装置、立体像表示装置及び要素画像群変換プログラムに関する。

近年、任意の視点から観察することができる立体テレビジョン方式の１つとして平面状あるいは球面状に配列されたレンズ群やピンホール群を用いた、いわゆるインテグラルフォトグラフィ（ＩＰ；Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ）方式が開発されている。

以下、図７を参照して、ＩＰ方式の原理を説明する。図７は、従来のＩＰ方式を説明するための説明図、（ａ）は、従来のＩＰ方式によって要素画像群を撮像する装置の構成を模式的に示す模式図、（ｂ）は、従来のＩＰ方式によって立体像を表示する装置の構成を模式的に示す模式図である。

図７（ａ）に示すように、撮像装置１００は、同一平面上に配列された複数の要素光学レンズＬ、Ｌ、…からなるレンズ群１０１と、被写体Ｓ１、Ｓ２側から見てこのレンズ群１０１の後ろに設置された撮像部１０２とから構成され、レンズ群１０１の前にある被写体Ｓ１、Ｓ２を撮像する。このとき撮像部１０２には、各要素光学レンズＬ、Ｌ、…によって被写体Ｓ１、Ｓ２の像Ｉ１、Ｉ１、…、Ｉ２、Ｉ２、…が、それぞれ当該要素光学レンズＬと同じ数だけ形成され、撮像される。ここで各々の要素光学レンズＬによって形成された像を撮像した画像を要素画像（要素画像Ｇ）、撮像部１０２によって撮像された複数の要素画像Ｇ、Ｇ、…からなる画像を要素画像群という。

また、図７（ｂ）に示すように、表示装置１１０は、同一平面上に配列された複数の要素光学レンズＬ、Ｌ、…からなるレンズ群１１１と、表示部１１２とから構成されている。ここで、撮像装置１００と表示装置１１０とにおいて、要素光学レンズＬの焦点距離及び口径は同一であり、また、レンズ群１１１と表示部１１２との距離は、レンズ群１０１と撮像部１０２との距離に等しい。そして、撮像装置１００によって撮像された各々の要素画像Ｇからなる要素画像群を、表示部１１２に表示する。そうすると、レンズ群１１１を介して表示部１１２を見る観察者からは、被写体Ｓ１、Ｓ２と同じ位置に立体像Ｓ１’、Ｓ２’を観察することができる（非特許文献１参照）。

なお、ここでは、微小な要素光学レンズＬ、Ｌ、…のレンズ群１０１、１１１を用いて要素画像群を取得し、立体像を表示する場合について説明したが、レンズ群１０１、１１１の代わりに微小開口（空間フィルタ）群（図示せず）を使用することもできる。
山田光穂、「インテグラル立体テレビ」、月間ディスプレイ、ｖｏｌ．７、Ｎｏ．６、ｐ．２９−３４、２００１年６月

しかしながら、ＩＰ方式の撮像装置で撮像された要素画像群を、表示装置にそのまま表示すると、奥行きの位置関係が反転した立体像である逆視像が生成されるという問題がある。例えば、図７（ａ）において、撮影方向から見ると、被写体Ｓ１が被写体Ｓ２より手前にあるが、図７（ｂ）において、観察方向から見ると、被写体Ｓ１の立体像Ｓ１’は、被写体Ｓ２の立体像Ｓ２’より奥に生成される。このように、表示装置１１０では、被写体と比較して奥行きの位置関係の反転された逆視像が生成される。

更に、ＩＰ方式の表示装置では、撮像装置で撮像された要素画像群をそのまま表示すると、撮影時に被写体が存在した場所と同じ位置に立体像が生成されるため、レンズ群から任意の奥行きの位置に立体像を生成することができないという問題があった。

本発明は、前記従来技術の問題を解決するために成されたもので、被写体と比較して奥行きの位置関係の正しい立体像を、表示装置のレンズ群や空間フィルタ群から任意の奥行きの位置に表示できる要素画像群を生成し、また、この要素画像群から立体像を表示することができる要素画像群変換装置、立体像表示装置及び要素画像群変換プログラムを提供することを目的とする。

前記問題を解決するため、請求項１に記載の要素画像群変換装置は、被写体の像を形成する複数の第１要素光学系が同一平面上に配列された第１要素光学系群と、当該第１要素光学系群によって形成された被写体の像を撮像する撮像手段とを備える要素画像群撮像装置によって撮像された第１要素画像群の再生時の立体像の奥行きを変更する要素画像群変換装置であって、前記第１要素画像群、前記第１要素光学系群の前記第１要素光学系のピッチ、及び、前記第１要素光学系群と前記撮像手段との距離の情報に基づいて、仮想的な前記第１要素画像群である仮想第１要素画像群と、仮想的な前記第１要素光学系群である仮想第１要素光学系群と、前記仮想第１要素光学系群からの光を結像し、当該仮想第１要素光学系の光軸に平行な光軸を有する複数の仮想第２要素光学系が同一平面上に配列された仮想第２要素光学系群とを仮想的に配置したときの、前記仮想第１要素画像群からの光が前記仮想第１要素光学系群及び前記仮想第２要素光学系群によって仮想的に結像して形成される仮想第２要素画像群を生成する仮想要素画像生成手段を備え、前記仮想第１要素画像群と、前記仮想第１要素光学系群との位置が、前記第１要素画像群の撮像時の前記要素画像群撮像装置の前記撮像手段と、前記第１要素光学系群との位置に対応することとした。

これによって、要素画像群変換装置は、要素画像群から仮想第１要素光学系群によって仮想的に再生される、被写体の奥行きの反転した立体像を仮想第２要素光学系で仮想的に撮影した仮想第２要素画像群を生成することができる。

更に、請求項２に記載の要素画像群変換装置は、請求項１に記載の要素画像群変換装置において、前記仮想要素画像生成手段が、前記第１要素画像群の各画素の画素値を、前記仮想第１要素画像群の前記画素と、前記仮想第１要素画像群の当該画素を含む要素画像に対応する前記仮想第１要素光学系群を構成する仮想的な前記第１要素光学系である前記仮想第１要素光学系の中心とを通る直線が前記仮想第２要素光学系の中心を通る場合には、当該直線が前記仮想第２要素画像群の結像面と交差する点に対応する当該第２要素画像群の画素の画素値とし、前記直線が仮想第２前記要素光学系の中心以外を通る場合には、当該直線に平行な当該第２要素光学系の中心を通る直線が前記第２要素画像群の結像面と交差する点に対応する当該第２要素画像群の画素の画素値とする割当手段と、この割当手段によって前記画素値の割り当てられていない前記仮想第２要素画像群の画素について、他の画素の前記画素値に基づいて補間して前記画素値を求める補間手段とを有することとした。

これによって、要素画像群変換装置は、要素画像撮像装置によって撮像された第１要素画像群から仮想第２要素画像群を生成することができる。

また、請求項３に記載の立体像表示装置は、請求項１又は請求項２に記載の要素画像群変換装置によって、仮想的に配置された仮想第２要素光学系群から生成された仮想第２要素画像群を入力して、被写体の立体像を表示する立体像表示装置であって、前記仮想第２要素画像群を表示する表示手段と、この表示手段からの光の光路上に設けられた、前記仮想第２要素光学系に対応する複数の第２要素光学系が同一平面上に配列された第２要素光学系群とを備え、前記表示手段と、前記第２要素光学系群との位置が、前記仮想第２要素画像群の仮想的な結像面と、仮想的に配置された前記仮想第２要素光学系群との位置に対応することとした。

これによって、立体像表示装置は、要素画像群変換装置によって生成された仮想第２要素画像群から被写体の立体像を提示することができる。

また、請求項４に記載の要素画像群変換プログラムは、被写体の像を形成する複数の第１要素光学系が同一平面上に配列された第１要素光学系群と、当該第１要素光学系群によって形成された被写体の像を撮像する撮像手段とを備える要素画像群撮像装置によって撮像された第１要素画像群の再生時の立体像の奥行きを変更するためにコンピュータを、前記第１要素画像群、前記第１要素光学系群の前記第１要素光学系のピッチ、及び、前記第１要素光学系群と前記撮像手段との距離の情報に基づいて、仮想的な前記第１要素画像群である仮想第１要素画像群と、仮想的な前記第１要素光学系群である仮想第１要素光学系群と、前記仮想第１要素光学系群からの光を結像し、当該仮想第１要素光学系の光軸に平行な光軸を有する複数の仮想第２要素光学系が同一平面上に配列された仮想第２要素光学系群とを仮想的に配置したときの、前記仮想第１要素画像群からの光が前記仮想第１要素光学系群及び前記仮想第２要素光学系群によって仮想的に結像して形成される仮想第２要素画像群を生成する仮想要素画像生成手段として機能させ、前記仮想第１要素画像群と、前記仮想第１要素光学系群との位置が、前記第１要素画像群の撮像時の前記要素画像群撮像装置の前記撮像手段と、前記第１要素光学系群との位置に対応することとした。

これによって、要素画像群変換プログラムは、要素画像群から仮想第１要素光学系群によって仮想的に再生される、被写体の奥行きの反転した立体像を仮想第２要素光学系で仮想的に撮影した仮想第２要素画像群を生成することができる。

本発明に係る要素画像群変換装置、立体像表示装置及び要素画像群変換プログラムでは、以下のような優れた効果を奏する。請求項１及び請求項４に記載の発明によれば、仮想的に設定された仮想第２要素光学系群の、仮想第１要素画像群及び仮想第１要素光学系群に対する位置に応じて、再生時の立体像の奥行き方向の距離が定まる。そのため、仮想第２要素光学系群の位置を調整することで、立体像を所望の奥行き方向の位置に表示する仮想第２要素画像群を生成することができる。

更に、要素画像群撮像装置によって撮像された、逆視像を生成する第１要素画像群に基づいて、仮想的に逆視像を形成する光を再現して仮想第２要素光学系群によって仮想的に撮像することで、逆視像の奥行きの位置関係を再度反転させた、奥行きの位置関係の正しい立体像を表示する仮想第２要素画像群を生成することができる。

請求項２に記載の発明によれば、第１要素画像群から容易に仮想第２要素画像群を生成することができる。請求項３に記載の発明によれば、仮想第２要素画像群から、所望の奥行き方向の位置に奥行きの位置関係の正しい立体像を表示することができる。

以下、本発明の実施の形態について図面を参照して説明する。
［要素画像群取得システムの構成］
まず、図１を参照して、本発明の実施の形態である要素画像群変換装置５を備える要素画像群取得システム１の構成について説明する。図１は、本発明の実施の形態である要素画像群変換装置を備える要素画像群取得システムの構成を模式的に示した模式図である。

要素画像群取得システム１は、被写体Ｓの要素画像群（第１要素画像群）ＧＡを撮像し、任意の奥行きの位置に、奥行きの正しい立体像を表示できる仮想要素画像群（仮想第２要素画像群）ＧＢを生成するものである。要素画像群取得システム１は、要素画像群撮像装置３と、要素画像群変換装置５とを備える。

要素画像群撮像装置３は、被写体Ｓの要素画像群ＧＡを撮像するものである。要素画像群撮像装置３は、要素光学系群３１と、撮像手段３２とを備える。

要素光学系群（第１要素光学系群）３１は、被写体Ｓの像Ｉ、Ｉ、…を結像して要素画像群ＧＡを生成するものである。この要素光学系群３１は、同一平面上に配列された複数の要素光学系Ｌ１、Ｌ１、…から構成される。

要素光学系（第１要素光学系）Ｌ１は、被写体Ｓの像Ｉを結像して、要素画像Ｇを生成するものである。ここでは、各々の要素光学系Ｌ１は凸レンズから構成されることとしたが、例えば、光ファイバレンズ等のレンズからなることとしてもよいし、複数のレンズを組み合わせて構成されることとしてもよいし、ピンホールのような空間フィルタによって構成されることとしてもよい。

撮像手段３２は、要素光学系群３１によって生成された要素画像群ＧＡを撮像するものである。この撮像手段３２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサのような撮像素子から構成される。ここで撮像された要素画像群ＧＡは、要素画像群変換装置５に出力される。

以上のようにして、要素画像群撮像装置３は、被写体Ｓの要素画像群ＧＡを撮像する。なお、要素光学系群３１と撮像手段３２の撮像面（図示せず）との距離ｇ１、及び、隣接する２つの要素光学系Ｌ１、Ｌ１のピッチ（中心間の距離）ｐ１の情報が、予め要素画像群変換装置５に入力されて、設定されていることとする。

要素画像群変換装置５は、予め設定された要素画像群撮像装置３の要素光学系群３１と撮像手段３２の撮像面との距離ｇ１、及び、隣接する２要素光学系Ｌ１、Ｌ１のピッチｐ１の情報に基づいて、要素画像群撮像装置３から入力された被写体Ｓの要素画像群ＧＡを、任意の奥行きの位置に、奥行きの位置関係の正しい立体像を表示できる仮想要素画像群ＧＢに変換するものである。ここでは、要素画像群変換装置５は、仮想要素画像生成手段５１を備える。

仮想要素画像生成手段５１は、要素画像群撮像装置３によって撮像された要素画像群ＧＡを、任意の奥行きの位置に、奥行きの位置関係の正しい立体像を表示できる仮想要素画像群ＧＢに変換するものである。仮想要素画像生成手段５１は、立体情報割当部５１ａと、立体情報補間部５１ｂとを備える。

なお、ここでは、要素画像群撮像装置３によって撮像された要素画像群ＧＡの各画素の輝度値の情報は、図示しないメモリ等の記憶手段に記憶されていることとし、仮想要素画像生成手段５１が、この記憶手段から、各画素の輝度値の情報を読み出すこととした。

ここで、図２を参照（適宜図１参照）して、仮想要素画像生成手段５１が要素画像群ＧＡを変換する方法について説明する。図２は、仮想要素画像生成手段の要素画像群の変換方法を説明するための説明図である。

図２に示すように、仮想要素画像生成手段５１は、要素画像群（仮想第１要素画像群）ＧＡを仮想的に表示する仮想表示面６１と、要素光学系群３１と要素光学系Ｌ１のピッチｐ１の同じ仮想的な複数の仮想要素光学系（仮想第１要素光学系）Ｌ１’が同一平面上に配列された仮想要素光学系群（仮想第１要素光学系群）６２と、この仮想要素光学系群６２によって仮想的に再生された立体像（図示せず）の像Ｉ、Ｉ、…を結像する仮想的な要素光学系（仮想第２要素光学系）Ｌ２’が同一平面上に配列された仮想要素光学系群（仮想第２要素光学系群）６３と、像Ｉからなる仮想要素画像群ＧＢが仮想的に結像する仮想撮像面（結像面）６４とを仮想的に（計算によって）設定する。そして、仮想要素画像生成手段５１は、要素画像群撮像装置３によって撮像された要素画像群ＧＡの各々の画素の輝度値（画素値）に基づいて、仮想表示面６１に仮想的に表示された要素画像群ＧＡからの光が、仮想要素光学系群６２及び仮想要素光学系群６３を介して仮想撮像面６４に結像して生成される仮想要素画像群（仮想第２要素画像群）ＧＢ上の画素の輝度値を算出することで、仮想要素画像群ＧＢを生成することとした。

ここで、仮想表示面６１と仮想要素光学系群６２との距離ｇ１は、要素画像群撮像装置３の要素光学系群３１と撮像手段３２との撮像面（図示せず）との距離ｇ１に等しい。また、仮想要素光学系Ｌ１’と、仮想要素光学系Ｌ２’とは、光軸が平行である。一方、仮想要素光学系Ｌ１’と、仮想要素光学系Ｌ２’とは、ピッチｐ１、ｐ２が等しくても異なっていてもよく、仮想表示面６１と仮想要素光学系群６２との距離ｇ１、及び、仮想要素光学系群６３と仮想撮像面６４との距離ｇ２も、等しくても異なっていてもよい。

なお、図２では、図１の被写体Ｓの位置に仮想要素光学系Ｌ２’が配置される場合を例に示したが、仮想要素画像生成手段５１は、仮想要素光学系群６３と仮想撮像面６４とを、仮想要素光学系群６２から出射された仮想表示面６１の要素画像群ＧＡからの光の仮想的な光路上において任意の位置に設定することができる。そして、仮想要素画像生成手段５１によって、仮想要素光学系群６２から出射された光の仮想的な光路上において設定された仮想要素光学系群６３及び仮想撮像面６４から被写体Ｓの位置に相当する位置までの距離に応じて、後記する立体像表示装置７（図５参照）によって表示される立体像（図示せず）の立体像表示装置７からの奥行き方向の距離が定まる。このように、仮想要素画像生成手段５１は、仮想要素光学系群６３と仮想撮像面６４とを、立体像を表示する奥行き方向の位置に対応する位置に設定することで、立体像をこの奥行き方向の位置に表示することができる仮想要素画像群ＧＢを生成することができる。

更に、仮想要素画像生成手段５１は、仮想要素光学系群６２から出射された仮想表示面６１の要素画像群ＧＡからの光を、仮想要素光学系群６３によって仮想撮像面６４に仮想的に結像させた仮想要素画像群ＧＢを生成するため、この仮想要素画像群ＧＢは、図１の要素画像群撮像装置３の撮影方向とは逆向きの撮影方向から撮像されたものとなる。これによって、仮想要素画像生成手段５１は、後記する立体像表示装置７（図５参照）によって被写体Ｓと比較して奥行きの位置関係の正しい立体像（図示せず）を表示することができる。

図１に戻って説明を続ける。立体情報割当部（割当手段）５１ａは、要素画像群撮像装置３によって撮像された要素画像群ＧＡの各々の画素の輝度値を、当該画素からの光が、仮想要素光学系群６２及び仮想要素光学系群６３を介して仮想撮像面６４に結像する仮想要素画像群ＧＢ上の画素の輝度値とするものである。

ここで、図３を参照して、立体情報割当部５１ａが要素画像群ＧＡの各々の画素の輝度値を仮想要素画像群ＧＢ上の画素に割り当てる方法について説明する。図３は、立体情報割当部が、要素画像群の各々の画素の輝度値を仮想要素画像群上の画素に割り当てる方法を説明するための説明図である。

図３に示すように、立体情報割当部５１ａが、仮想表示面６１と、仮想要素光学系群６２と、仮想要素光学系群６３と、仮想撮像面６４とを仮想的に設定し、要素画像群ＧＡには被写体Ｓａの像Ｉａ_１、Ｉａ_２が含まれているとする。そして、要素画像群ＧＡの像Ｉａ_１の画素から仮想要素光学系Ｌ１’の中心を通過する仮想的な光（以下、仮想光線と言う）が、仮想要素光学系Ｌ２’の中心を通過する場合には、立体情報割当部５１ａは、この仮想光線と仮想撮像面６４との交点に当たる仮想要素画像群ＧＢの画素に、この要素画像群ＧＡの画素の輝度値を割り当てる。

一方、要素画像群ＧＡの像Ｉａ_２の画素から仮想要素光学系Ｌ１’の中心を通過する仮想光線が、仮想要素光学系Ｌ２’の中心を通過しない場合には、立体情報割当部５１ａは、この仮想光線に平行で、当該仮想要素光学系Ｌ２’の中心を通過する線と仮想撮像面６４との交点に当たる仮想要素画像群ＧＢの画素に、この要素画像群ＧＡの画素の輝度値を割り当てる。

図１に戻って説明を続ける。立体情報補間部（補間手段）５１ｂは、立体情報割当部５１ａによって輝度値の割り当てられていない仮想要素画像群ＧＢの画素の輝度値を、当該画素の近傍の画素の輝度値に基づいて補間して算出するものである。ここで生成された仮想要素画像群ＧＢは、外部に出力される。

ここで、図４を参照して、立体情報補間部５１ｂが近傍の画素の輝度値に基づいて、仮想要素画像群ＧＢの画素の輝度値を補間して算出する方法について説明する。図４は、立体情報割当部が、要素画像群の各々の画素の輝度値を仮想要素画像群上の画素に割り当てる方法を説明するための説明図、（ａ）は、仮想的に設定された仮想表示面と、仮想要素光学系群と、仮想要素光学系群と、仮想撮像面と、仮想要素画像群に仮想的に含まれる像とを模式的に示す模式図、（ｂ）は、（ａ）におけるＡに示した部分を拡大して示した、仮想要素画像群に仮想的に含まれる像と、当該像の画素の情報から補間して求められる画素とを模式的に示す模式図である。

図４（ａ）に示すように、要素画像群ＧＡには、異なる被写体（図示せず）の像Ｉａ、Ｉｂが含まれているとする。そして、立体情報割当部５１ａによって、要素画像群ＧＡの像Ｉａの画素に対応する仮想要素画像群ＧＢの画素と、要素画像群ＧＡの像Ｉｂの画素に対応する仮想要素画像群ＧＢの画素とに、各々対応する要素画像群ＧＡの画素の輝度値が割り当てられていることとする。また、図４（ｂ）に示すように、この像Ｉａ、Ｉｂ（図４（ａ）参照）の画素Ｐａ、Ｐｂの間の画素Ｐｃには、立体情報割当部５１ａによって輝度値が割り当てられていないこととする。

そうすると、立体情報補間部５１ｂは、画素Ｐｃの上下の画素Ｐａ、Ｐｂの輝度値に基づいて、画素Ｐｃの輝度値ｍ_ｃを、以下の式（１）によって算出する。ここで、ｍ_ａ、ｍ_ｂは、画素Ｐａ、Ｐｂの輝度値であり、ａ、ｂは、画素Ｐｃからの画素Ｐａ、Ｐｂまでの距離である。
ｍ_ｃ＝ｍ_ａ・｛ｂ／（ａ＋ｂ）｝＋ｍ_ｂ・｛ａ／（ａ＋ｂ）｝ …（１）

なお、ここでは、立体情報補間部５１ｂが、画素Ｐｃの上下の画素Ｐａ、Ｐｂの輝度値に基づいて、式（１）に示す一次元の補間式を用いて補間する場合について説明したが、補間対象となる画素Ｐｃの上下左右や斜めにある画素（図示せず）の輝度値に基づいて補間することとしてもよい。このとき、立体情報補間部５１ｂは、例えば、井上誠喜他、「Ｃ言語で学ぶ実践画像処理」、オーム社、１９９９、ｐ．１４９に記載されるような、二次元に拡張した補間式を用いて補間することができる。

また、立体情報補間部５１ｂが、城戸健一、「ディジタル信号処理入門」、丸善、１９８５、ｐ．３１−３５に記載されるような、離散的なデータ列から連続的なデータ関数を生成する標本化関数を用いて、画素ごとの離散的な輝度値の情報を連続的な情報として、補間対象となる画素Ｐｃの輝度値を求めることとしてもよい。

なお、要素画像群変換装置５は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、要素画像群変換プログラムとして動作させることも可能である。

［立体像表示装置の構成］
続いて、図５を参照して、本発明の実施の形態である立体像表示装置７の構成について説明する。図５は、本発明の実施の形態である立体像表示装置の構成を模式的に示した模式図である。

立体像表示装置７は、要素画像群取得システム１（図１参照）によって取得された仮想要素画像群ＧＢを用いて、被写体Ｓ（図１参照）の立体像を表示するものである。立体像表示装置７は、表示手段７１と、要素光学系群７２とを備える。

表示手段７１は、外部から入力された仮想要素画像群ＧＢ（図１参照）を表示するものである。この表示手段７１は、例えば、液晶ディスプレイ等の、画像を表示する様々な表示手段によって実現することができる。

要素光学系群（第２要素光学系群）７２は、表示手段７１に表示された仮想要素画像群ＧＢによって示される立体像（図示せず）を表示するものである。この要素光学系群７２は、同一平面上に配列された複数の要素光学系Ｌ２、Ｌ２、…から構成される。

要素光学系（第２要素光学系）Ｌ２は、表示手段７１に表示された仮想要素画像群ＧＢの要素画像からの光を出射して、立体像を表示するものである。ここでは、各々の要素光学系Ｌ２は凸レンズから構成されることとしたが、例えば、光ファイバレンズ等のレンズからなることとしてもよいし、複数のレンズを組み合わせて構成されることとしてもよいし、ピンホールのような空間フィルタによって構成されることとしてもよい。

ここで、表示手段７１と要素光学系群７２との距離ｇ２は、要素画像群変換装置５（図３参照）の仮想要素画像生成手段５１によって仮想的に設定された仮想要素光学系群６３と仮想撮像面６４との距離ｇ２に等しい。更に、要素光学系群７２の要素光学系Ｌ２のピッチは、仮想要素画像生成手段５１によって仮想的に設定された仮想要素光学系群６３の仮想要素光学系Ｌ２’のピッチに等しい。これによって、要素光学系Ｌ２は、それぞれ表示手段７１に表示された仮想要素画像群ＧＢのひとつの要素画像に対応し、要素光学系群７２によって、仮想要素画像生成手段５１によって仮想的に設定された仮想表示面６１と仮想要素光学系群６２とによって仮想的に再生される逆視像（図示せず）に対して奥行きの位置関係の反転した立体像、つまり、被写体と比較して奥行きの位置関係の正しい立体像を視聴者に対して提示することができる。また、仮想表示面６１及び仮想要素光学系群６２によって仮想的に再生される立体像（逆視像）の仮想要素光学系群６３及び仮想撮像面６４に対する位置関係と、表示手段７１及び要素光学系群７２に対する立体像の位置関係とが一致するため、立体像表示装置７は、仮想要素画像生成手段５１によって、仮想的に設定された仮想要素光学系群６３及び仮想撮像面６４から立体像（逆視像）の位置までの距離だけ表示手段７１及び要素光学系群７２から離れた位置に、立体像を表示することができる。

［要素画像群取得システムの動作］
次に、図６を参照（適宜図１及び図２参照）して、要素画像群取得システム１が、要素画像群撮像装置３によって、被写体Ｓの要素画像群ＧＡを撮像し、要素画像群変換装置５によって、仮想要素画像群ＧＢを生成する動作について説明する。図６は、本発明の実施の形態である要素画像群変換装置を備える要素画像群取得システムの動作を示したフローチャートである。

まず、要素画像群撮像装置３は、被写体Ｓの要素画像群ＧＡを撮像する（ステップＳ１１）。ここで撮像された要素画像群ＧＡの情報は、要素画像群変換装置５に出力され、図示しない記憶手段に記憶される。そして、要素画像群変換装置５は、仮想要素画像生成手段５１の立体情報割当部５１ａによって、仮想表示面６１と、仮想要素光学系群６２と、仮想要素光学系群６３と、仮想撮像面６４とを仮想的に設定する（ステップＳ１２）。

続いて、要素画像群変換装置５は、立体情報割当部５１ａによって、ステップＳ１２において仮想的に設定された仮想表示面６１に表示される要素画像群ＧＡの画素から仮想要素光学系Ｌ１’の中心を通過する仮想光線が、仮想要素光学系Ｌ２’の中心を通過する場合には、この仮想光線と仮想撮像面６４との交点に当たる仮想要素画像群ＧＢの画素に、ステップＳ１１において撮像された要素画像群ＧＡの画素の輝度値を割り当て、仮想光線が、仮想要素光学系Ｌ２’の中心を通過しない場合には、この仮想光線に平行で、当該仮想要素光学系Ｌ２’の中心を通過する線と仮想撮像面６４との交点に当たる仮想要素画像群ＧＢの画素に、この要素画像群ＧＡの画素の輝度値を割り当てる（ステップＳ１３）。

更に、要素画像群変換装置５は、立体情報補間部５１ｂによって、ステップＳ１３において輝度値の割り当てられなかった仮想要素画像群ＧＢの画素の輝度値を、当該画素の近傍の画素の輝度値に基づいて補間して算出する（ステップＳ１４）。そして、要素画像群変換装置５は、立体情報補間部５１ｂによって、ステップＳ１３及びステップＳ１４において生成された仮想要素画像群ＧＢを外部に出力し（ステップＳ１５）、動作を終了する。

本発明の実施の形態である要素画像群変換装置を備える要素画像群取得システムの構成を模式的に示した模式図である。 本発明の実施の形態である要素画像群変換装置の仮想要素画像生成手段の要素画像群の変換方法を説明するための説明図である。 本発明の実施の形態である要素画像群変換装置の立体情報割当部が、要素画像群の各々の画素の輝度値を仮想要素画像群上の画素に割り当てる方法を説明するための説明図である。 本発明の実施の形態である要素画像群変換装置の立体情報割当部が、要素画像群の各々の画素の輝度値を仮想要素画像群上の画素に割り当てる方法を説明するための説明図、（ａ）は、仮想的に設定された仮想表示面と、仮想要素光学系群と、仮想要素光学系群と、仮想撮像面と、仮想要素画像群に仮想的に含まれる像とを模式的に示す模式図、（ｂ）は、（ａ）におけるＡに示した部分を拡大して示した、仮想要素画像群に仮想的に含まれる像と、当該像の画素の情報から補間して求められる画素とを模式的に示す模式図である。 本発明の実施の形態である立体像表示装置の構成を模式的に示した模式図である。 本発明の実施の形態である要素画像群変換装置を備える要素画像群取得システムの動作を示したフローチャートである。 従来のＩＰ方式を説明するための説明図、（ａ）は、従来のＩＰ方式によって要素画像群を撮像する装置の構成を模式的に示す模式図、（ｂ）は、従来のＩＰ方式によって立体像を表示する装置の構成を模式的に示す模式図である。

符号の説明

３ 要素画像群撮像装置
３１ 要素光学系群（第１要素光学系群）
Ｌ１ 要素光学系（第１要素光学系）
３２ 撮像手段
Ｇ 要素画像
ＧＡ 要素画像群（第１要素画像群、仮想第１要素画像群）
５ 要素画像群変換装置
５１ 仮想要素画像生成手段
５１ａ 立体情報割当部（割当手段）
５１ｂ 立体情報補間部（補間手段）
６１ 仮想表示面
６２ 仮想要素光学系群（仮想第１要素光学系群）
Ｌ１’ 仮想要素光学系（仮想第１要素光学系）
６３ 仮想要素光学系群（仮想第２要素光学系群）
Ｌ２’ 仮想要素光学系（仮想第２要素光学系）
６４ 仮想撮像面（結像面）
ＧＢ 仮想要素画像群（仮想第２要素画像群）
７ 立体像表示装置
７１ 表示手段
７２ 要素光学系群（第２要素光学系群）
Ｌ２ 要素光学系（第２要素光学系）

Claims (4)

1. 被写体の像を形成する複数の第１要素光学系が同一平面上に配列された第１要素光学系群と、当該第１要素光学系群によって形成された被写体の像を撮像する撮像手段とを備える要素画像群撮像装置によって撮像された第１要素画像群の再生時の立体像の奥行きを変更する要素画像群変換装置であって、
   前記第１要素画像群、前記第１要素光学系群の前記第１要素光学系のピッチ、及び、前記第１要素光学系群と前記撮像手段との距離の情報に基づいて、仮想的な前記第１要素画像群である仮想第１要素画像群と、仮想的な前記第１要素光学系群である仮想第１要素光学系群と、前記仮想第１要素光学系群からの光を結像し、当該仮想第１要素光学系の光軸に平行な光軸を有する複数の仮想第２要素光学系が同一平面上に配列された仮想第２要素光学系群とを仮想的に配置したときの、前記仮想第１要素画像群からの光が前記仮想第１要素光学系群及び前記仮想第２要素光学系群によって仮想的に結像して形成される仮想第２要素画像群を生成する仮想要素画像生成手段を備え、
   前記仮想第１要素画像群と、前記仮想第１要素光学系群との位置が、前記第１要素画像群の撮像時の前記要素画像群撮像装置の前記撮像手段と、前記第１要素光学系群との位置に対応することを特徴とする要素画像群変換装置。
2. 前記仮想要素画像生成手段が、
   前記第１要素画像群の各画素の画素値を、前記仮想第１要素画像群の前記画素と、前記仮想第１要素画像群の当該画素を含む要素画像に対応する前記仮想第１要素光学系群を構成する仮想的な前記第１要素光学系である前記仮想第１要素光学系の中心とを通る直線が前記仮想第２要素光学系の中心を通る場合には、当該直線が前記仮想第２要素画像群の結像面と交差する点に対応する当該第２要素画像群の画素の画素値とし、前記直線が仮想第２前記要素光学系の中心以外を通る場合には、当該直線に平行な当該第２要素光学系の中心を通る直線が前記第２要素画像群の結像面と交差する点に対応する当該第２要素画像群の画素の画素値とする割当手段と、
   この割当手段によって前記画素値の割り当てられていない前記仮想第２要素画像群の画素について、他の画素の前記画素値に基づいて補間して前記画素値を求める補間手段と、
   を有することを特徴とする請求項１に記載の要素画像群変換装置。
3. 請求項１又は請求項２に記載の要素画像群変換装置によって、仮想的に配置された仮想第２要素光学系群から生成された仮想第２要素画像群を入力して、被写体の立体像を表示する立体像表示装置であって、
   前記仮想第２要素画像群を表示する表示手段と、
   この表示手段からの光の光路上に設けられた、前記仮想第２要素光学系に対応する複数の第２要素光学系が同一平面上に配列された第２要素光学系群と、
   を備え、
   前記表示手段と、前記第２要素光学系群との位置が、前記仮想第２要素画像群の仮想的な結像面と、仮想的に配置された前記仮想第２要素光学系群との位置に対応することを特徴とする立体像表示装置。
4. 被写体の像を形成する複数の第１要素光学系が同一平面上に配列された第１要素光学系群と、当該第１要素光学系群によって形成された被写体の像を撮像する撮像手段とを備える要素画像群撮像装置によって撮像された第１要素画像群の再生時の立体像の奥行きを変更するためにコンピュータを、
   前記第１要素画像群、前記第１要素光学系群の前記第１要素光学系のピッチ、及び、前記第１要素光学系群と前記撮像手段との距離の情報に基づいて、仮想的な前記第１要素画像群である仮想第１要素画像群と、仮想的な前記第１要素光学系群である仮想第１要素光学系群と、前記仮想第１要素光学系群からの光を結像し、当該仮想第１要素光学系の光軸に平行な光軸を有する複数の仮想第２要素光学系が同一平面上に配列された仮想第２要素光学系群とを仮想的に配置したときの、前記仮想第１要素画像群からの光が前記仮想第１要素光学系群及び前記仮想第２要素光学系群によって仮想的に結像して形成される仮想第２要素画像群を生成する仮想要素画像生成手段として機能させ、
   前記仮想第１要素画像群と、前記仮想第１要素光学系群との位置が、前記第１要素画像群の撮像時の前記要素画像群撮像装置の前記撮像手段と、前記第１要素光学系群との位置に対応することを特徴とする要素画像群変換プログラム。

Images