JP2014126694A - 立体画像取得装置および立体画像取得方法 - Google Patents

Abstract

【課題】光学素子によって生成される光学像に重複および欠けを生じず奥行きの正しい立体画像の情報を取得する。
【解決手段】立体画像取得装置１は、光学素子アレイ１２と、被写体と光学素子アレイ１２との間に配置された対物光学系１７と、光学素子アレイ１２によって生成された光学像を取得するための撮像素子１３とを備え、対物光学系１７の有効口径の大きさΩ０は、当該対物光学系１７から光学素子アレイ１２までの距離をｚ₂、光学素子アレイ１２から撮像素子１３までの距離をｄ_c、光学素子３０によって生成される画像の範囲をｗ_cとしたときに式（２）で算出されるΩ０に設定され、この対物光学系１７を介して撮像素子１３によって光学素子３０毎に取得した画像情報における各光学像の中心位置および各光学像の領域を距離ｚ₂に基づいて算出し、各光学像を当該光学像の中心に対して点対称に反転する処理を行う画像情報処理部２２を備える。
【選択図】図１

Description

本発明は、立体画像取得装置および立体画像取得方法に係り、特に、インテグラルフォトグラフィ方式による立体画像取得装置および立体画像取得方法に関する。

従来、任意の視点から、特殊な立体メガネを用いることなく、立体画像を自由に見ることのできる立体画像方式の１つとして、インテグラルフォトグラフィ方式（以下、ＩＰという）が知られている。ＩＰによる撮像の概要について図８を参照して説明する。図８に示す立体画像取得装置１０１は、被写体の一例として、円柱１１１ａおよび角柱１１１ｂを撮影するものとする。この立体画像取得装置１０１は、光学素子アレイ１１２と、撮像素子１１３とを備えている。光学素子アレイ１１２を構成する光学素子１３０は、例えば凸レンズや開口（空間フィルタ）が用いられる。ここでは、凸レンズを用いている。

図８に示す立体画像取得装置１０１は、矢印で示す撮影方向１１４から、光学素子アレイ１１２を通して被写体（前景、背景）を撮影する。このとき、撮像素子１１３には、光学素子アレイ１１２を構成する光学素子１３０の個数と同じ個数だけ被写体の微小な像（要素画像）、例えば像１１５が結像する。実用的には、光学素子アレイ１１２と撮像素子１１３との間には、光学素子アレイ１１２を構成する光学素子１３０間で光の漏れこみを回避するための光学的な遮蔽板１１６が配設されている。ここでは、光学素子アレイ１１２から撮像素子１１３での距離をｄ_cとした。つまり、光軸に沿った遮蔽板１１６の長さはｄ_cである。また、光学素子アレイ１１２から被写体までの距離をｚ_c、１つの光学素子１３０により生成される被写体の像の大きさをｋ_cで表した。なお、図８において（−）の記号は光学素子アレイ１１２の位置を基準にした負の方向（図８において左）を示し、同様に（＋）の記号は正の方向（図８において右）を示す。撮像素子１１３は、通常の写真フィルムやＣＣＤ（Charge Coupled Device）撮像素子などの動画像を撮像可能な素子である。

ＩＰによる表示の概要について図９を参照して説明する。図９に示す立体画像表示装置１０２は、光学素子アレイ１２２と、表示素子１２３とを備えている。光学素子アレイ１２２は、撮像側の光学素子アレイ１１２に対応して設けられており、複数の光学素子１３０を２次元状に並べて形成したものである。ここで、表示素子１２３は、図８に示す立体画像取得装置１０１の撮像素子１１３により撮影された像１１５に対応する像１２５を表示する。観察者Ｈは、矢印で示す観察方向１２４から、表示素子１２３の表面に設けられた光学素子アレイ１２２を見ると、立体像としての円柱１２１ａおよび角柱１２１ｂを観察することができる。光学素子アレイ１２２と表示素子１２３との間には、光学素子アレイ１２２を構成する光学素子１３０間で光の漏れこみを回避するための光学的な遮蔽板１２６が配設されている。ここでは、光学素子アレイ１２２から表示素子１２３での距離をｄ_rとした。つまり、光軸に沿った遮蔽板１２６の長さはｄ_rである。また、表示素子１２３に表示される像１２５の大きさをｋ_r、光学素子アレイ１２２から立体像までの距離をｚ_rで表した。表示素子１２３は、例えば液晶パネル等で構成されている。

ただし、図８および図９に示す構成では、被写体と比較して、生成される立体像の奥行きが反転してしまう。例えば図８では、円柱１１１ａと角柱１１１ｂは光学素子アレイ１１２に対して撮像素子１１３とは反対側（負の方向）に存在する。一方で、図９では、立体像（円柱１２１ａ，角柱１２１ｂ）は光学素子アレイ１２２に対して観察者Ｈと同じ側（正の方向）に存在する。つまり、撮像の際に窪んで見えたものが、表示の際に出っ張って見えることになる。奥行きが反転しても構わないような使用法の場合にはこのまま用いる。一方、奥行きを正す必要のある使用法の場合、光学的な制御や演算処理による制御によって奥行きを正すことができる。

例えばＩＰの撮像時に、図１０に示す構成を用いて被写体の奥行き方向の位置を制御することもできる。図１０に示す立体画像取得装置１０３は、対物光学系１１７を備えている点が図８に示す立体画像取得装置１０１とは相違している。なお、同じ構成には同じ符号を付して説明を省略する。対物光学系１１７は、例えば凸レンズで構成され、図１０に示すように、円柱１１１ａや角柱１１１ｂ等の被写体と光学素子アレイ１１２との間に配置される。そして、例えば、個々の光学素子で生成される個々の光学像（要素画像）を、その像の中心に対して点対称に変換することで奥行きの正しい立体像が得られることが知られている（例えば特許文献１参照）。

特開２００２−２２８９７４号公報

しかしながら、例えば図８に示す立体画像取得装置１０１は、光学素子アレイ１１２において光学素子１３０間で光の漏れこみを回避するための光学的な遮蔽板１１６を配置する必要があった。光学的な遮蔽板１１６を設けることは技術的に難しく、また、隣接する光学素子１３０を隙間なく密に配置したい要求もある。仮に遮蔽板を設けずに光学素子間で光の漏れこみを回避できるように光学素子アレイと撮像素子とを適切に配置できたとしても、被写体と比較して奥行きが反転した状態で、立体像が生成される問題があった。

また、例えば図１０に示す立体画像取得装置１０３のように、光学素子アレイ１１２に光学的な遮蔽板１１６を備えることを前提とすると、生成される像１１５のピッチが固定される問題がある。仮に遮蔽板を設けなければ、ズームレンズのように対物光学系１１７と光学素子アレイ１１２との距離を変化させる場合、生成される像１１５のピッチは変化するのが自然であるが、立体画像取得装置１０３は遮蔽板１１６があることで、これに対応していない。そのため、対物光学系１１７と光学素子アレイ１１２との距離の変化も考慮する場合、図１０に示す立体画像取得装置１０３には例えば遮蔽板１１６を改良するなどのさらなる工夫が必要になってしまう。

さらに、光学素子アレイに遮蔽板を設けないことを前提にして、被写体の奥行き方向の位置を制御する目的で図１０に示すように従来のＩＰの撮像時に対物光学系を設ける場合、対物光学系、光学素子アレイおよび撮像素子の配置や対物光学系の有効口径の大きさが不適切であると、隣接する光学素子によって生成される光学像に重複を生じる不具合が起きる。また、たとえ光学像の重複が生じなかったとしても、対物光学系の配置や有効口径の大きさが不適切であると、各光学素子によって生成される光学像に欠落箇所が生じる不具合が起きてしまう。

本発明は、以上のような問題点に鑑みてなされたものであり、インテグラルフォトグラフィ方式による撮像において、隣接する光学素子によって生成される光学像に重複を生じず、かつ、各光学素子によって生成される光学像に欠落箇所を生じないようにして奥行きの正しい立体画像の情報を取得することができる立体画像取得装置および立体画像取得方法を提供することを課題とする。

前記課題を解決するために、本発明の請求項１に係る立体画像取得装置は、複数の光学素子が２次元に配列した光学素子アレイと、被写体と前記光学素子アレイとの間に配置された対物光学系と、前記光学素子アレイによって生成された光学像を取得するための撮像素子と、を備えた立体画像取得装置であって、前記対物光学系の有効口径の大きさは、当該対物光学系から前記光学素子アレイまでの距離をｚ₂、前記光学素子アレイから前記撮像素子までの距離をｄ_c、前記光学素子によって撮像面に生成される画像の範囲をｗ_cとしたときに後記する式（２）で算出されるΩ０に設定され、画像情報処理部を備えることを特徴とする。

かる構成によれば、立体画像取得装置は、対物光学系を介して光学素子アレイを構成する個々の光学素子によって生成された個々の光学像を撮像素子で取得する。そして、立体画像取得装置は、対物光学系の有効口径の大きさが、対物光学系光学素子アレイまでの距離ｚ₂、光学素子アレイから撮像素子までの距離ｄ_c、および光学素子によって撮像面に生成される画像の範囲ｗ_cに応じてΩ０に設定されている。ここで、対物光学系の有効口径がΩ０より大きい場合、隣接する光学素子によって生成される光学像が重複してしまうこととなる。また、対物光学系の有効口径がΩ０より小さい場合、光学像に欠けが生じて十分な大きさの光学像を生成することができない。いずれの場合においても、生成された光学像を用いて、従来のＩＰ表示により立体像を表示した場合、立体像の品質が劣化することとなる。一方、立体画像取得装置は、対物光学系の有効口径がΩ０に設定されているので、隣接する該光学素子によって生成される光学像に重複を生じず、かつ十分な大きさの光学像を生成することができる。さらに、立体画像取得装置は、画像情報処理部によって、前記有効口径を有する前記対物光学系を介して前記撮像素子によって前記光学素子毎に取得した画像情報における各光学像の中心位置および各光学像の領域を、前記対物光学系から前記光学素子アレイまでの距離ｚ₂に基づいて算出し、前記各光学像を当該光学像の中心に対して点対称に反転する処理を行う。これにより、被写体と比較して正しい奥行きで、立体像を生成することができる。

また、本発明の請求項２に係る立体画像取得装置は、請求項１に記載の立体画像取得装置において、前記対物光学系が複数のレンズの組み合わせにより構成され、フォーカス調整手段と、アイリス調整手段とを備えていることとした。

かかる構成によれば、立体画像取得装置は、フォーカス調整手段によって、前記対物光学系から前記光学素子アレイまでの距離ｚ₂として前記対物光学系の像側主点から前記光学素子アレイまでの距離を変化させる。そして、立体画像取得装置は、アイリス調整手段によって、前記対物光学系の像側主点から前記光学素子アレイまでの距離に応じて前記対物光学系の有効口径の大きさを調整する。したがって、対物光学系の有効口径が光学素子までの距離に応じて変化するので、対物光学系を所定の焦点距離に合わせて光学像に重複や欠けが生じないように設定すれば、光学像を拡大したときにも重複や欠けが生じない立体画像の情報を適切に取得できる。

また、前記課題を解決するために、本発明の請求項３に係る立体画像取得方法は、複数の光学素子が２次元に配列した光学素子アレイと、被写体と前記光学素子アレイとの間に配置された対物光学系と、前記光学素子アレイによって生成された光学像を取得するための撮像素子と、前記撮像素子によって取得した画像情報を処理する画像情報処理部とを備えた立体画像取得装置による立体画像取得方法であって、前記画像情報処理部が、光学像領域算出ステップと、反転処理ステップとを実行することを特徴とする。

かかる手順によれば、立体画像取得方法では、前記画像情報処理部が、光学像領域算出ステップにて、前記対物光学系から前記光学素子アレイまでの距離をｚ₂、前記光学素子アレイから前記撮像素子までの距離をｄ_c、前記光学素子によって撮像面に生成される画像の範囲をｗ_cとしたときに前記対物光学系の有効口径の大きさを後記する式（２）で算出されるΩ０に設定された有効口径を有する前記対物光学系を介して前記撮像素子によって前記光学素子毎に取得した画像情報における各光学像の中心位置および各光学像の領域を、前記対物光学系から前記光学素子アレイまでの距離ｚ₂に基づいて算出する。そして、画像情報処理部は、反転処理ステップにて、前記各光学像を当該光学像の中心に対して点対称に反転する。

また、本発明の請求項４に係る立体画像取得方法は、請求項３に記載の立体画像取得方法において、前記立体画像取得装置は、フォーカス調整手段とアイリス調整手段とを備え、前記フォーカス調整手段が、前記対物光学系から前記光学素子アレイまでの距離ｚ₂として前記対物光学系の像側主点から前記光学素子アレイまでの距離を変化させる距離調整ステップを実行し、前記アイリス調整手段が、前記対物光学系の像側主点から前記光学素子アレイまでの距離に応じて前記対物光学系の有効口径の大きさを調整する有効口径調整ステップを実行し、前記画像情報処理部は、前記光学像領域算出ステップの前に、前記式（２）を用いて前記有効口径の大きさが調整された対物光学系の有効口径の大きさΩ０を算出する有効口径算出ステップを実行することを特徴とする。

かかる手順によれば、立体画像取得方法では、対物光学系の有効口径が光学素子までの距離に応じて変化するので、対物光学系を所定の焦点距離に合わせて光学像に重複や欠けが生じないように設定すれば、光学像を拡大したときにも重複や欠けが生じない立体画像の情報を適切に取得できる。

本発明は、以下に示す優れた効果を奏するものである。
請求項１に係る立体画像取得装置によれば、隣接する光学素子によって生成される光学像に重複を生じず、かつ、各光学素子によって生成される光学像に欠落箇所を生じないようにして奥行きの正しい立体画像の情報を取得することができる。すなわち、インテグラルフォトグラフィ方式による撮像において、隣接する微小な光学素子間での光の漏れを回避し、かつ光学素子により十分な大きさの奥行きの正しい光学像を生成することができる。したがって、立体画像取得装置により取得した情報を用いて表示される立体画像の品質を高めることができる。

請求項２に係る立体画像取得装置によれば、対物光学系を標準の焦点距離に合わせて光学像に重複や欠けが生じないように設定すれば、光学像を例えば拡大したときにも重複や欠けが生じない立体画像の情報を適切に取得することができる。

請求項３に係る立体画像取得方法によれば、生成される光学像に重複を生じず、かつ、欠落箇所を生じないようにして奥行きの正しい立体画像の情報を取得することができるので、取得した情報を用いて表示される立体画像の品質を高めることができる。
請求項４に係る立体画像取得方法によれば、対物光学系を標準の焦点距離に合わせて光学像に重複や欠けが生じないように設定すれば、光学像を例えば拡大したときにも重複や欠けが生じない立体画像の情報を適切に取得することができる。

本発明の第１実施形態に係る立体画像取得装置を模式的に示す構成図である。 光学素子により生成された微小画像配列を示す図であって、（ａ）は良好な立体像の生成に必要な微小画像の範囲に重複も欠けも無い場合、（ｂ）は重複がある場合、（ｃ）は欠けがある場合を示している。 本発明の第１実施形態に係る立体画像取得装置が備える対物光学系の有効口径の大きさを決定する手順を示すフローチャートである。 本発明の第１実施形態に係る立体画像取得装置が備える対物光学系と光学素子アレイの配置の一例によって生成される光学像を模式的に示す図である。 本発明の第１実施形態に係る立体画像取得装置が備える対物光学系と光学素子アレイの配置の他の例によって生成される光学像を模式的に示す図である。 本発明の第１実施形態に係る立体画像取得装置による処理手順を示すフローチャートである。 本発明の第２実施形態に係る立体画像取得装置を模式的に示す構成図である。 従来の立体画像取得装置の一例を模式的に示す構成図である。 従来の立体画像表示装置の一例を模式的に示す構成図である。 従来の立体画像取得装置の別の例を模式的に示す構成図である。

以下、本発明の実施形態に係る立体画像取得装置および立体画像取得方法について、図面を参照しながら説明する。なお、各図面が示す部材のサイズや位置関係等は、説明の便宜上誇張していることがある。さらに、以下の説明において、同一の名称および符号については原則として同一もしくは同質の部材を示しており、詳細説明を適宜省略する。

（第１実施形態）
本発明の第１実施形態に係る立体画像取得装置の構成について説明する。なお、図８および図１０に示した従来の立体画像取得装置１０１，１０３において１００番台の符号を付して説明した構成要素で下２ケタの数字が同じ構成については同様の構成要素なので説明を適宜省略して説明する。

図１に示すように、立体画像取得装置１は、制御部としての光学系パラメータ取得部２０、データ転送部２１、画像情報処理部２２および画像データ伝送部２６を備えると共に、撮像部としての光学素子アレイ１２、撮像素子１３および対物光学系１７を備えている。

＜制御部＞
立体画像取得装置１の制御部は、図示を省略したＣＰＵ、メモリ、入出力インタフェース等を搭載した一般的なコンピュータで実現することができる。このとき、立体画像取得装置１の制御部は、コンピュータを前記した光学系パラメータ取得部２０、データ転送部２１、画像情報処理部２２および画像データ伝送部２６として機能させる立体画像取得プログラムによって動作する。

光学系パラメータ取得部２０は、対物光学系１７から光学素子アレイ１２までの距離を取得するものである。インテグラル式では、対物光学系１７による被写体の実像を、光学素子アレイ１２付近に生成することが多い。従って、対物光学系１７から光学素子アレイ１２までの距離ｚ₂は、対物光学系１７から被写体までの距離ｚ₁および対物光学系１７の焦点距離に応じて、設定される。本実施形態では、距離ｚ₂として、固定された値を用いる。光学系パラメータ取得部２０は、図示しない入力装置から距離ｚ₂を受け付けるか、または、図示しないメモリに予め保持した距離ｚ₂を読み出すことで、距離ｚ₂を取得する。

データ転送部２１は、光学系パラメータ取得部２０によって得られたデータを画像情報処理部２２に転送するものである。転送タイミングは、被写体を撮影するときでもよいし、被写体を撮影する前でもよい。
画像データ伝送部２６は、撮像素子１３で取得した画像データを画像情報処理部２２に伝送するものである。

画像情報処理部２２は、撮像素子１３によって取得した画像情報を処理するものである。画像情報処理部２２は、被写体と比較して正しい奥行きで、立体像を生成可能とするために、個々の光学素子３０で取得した光学像（正立像）を、個々の光学像の中心に対して点対称に反転する処理を実行する。この際、光学系パラメータ取得部２０によって取得される、対物光学系１７から光学素子アレイ１２までの距離ｚ₂を用いる。なお、画像情報処理部２２による演算処理の詳細については後記する。

＜撮像部＞
図１では、立体画像取得装置１は、遠方の被写体の一例として、円柱１１ａおよび角柱１１ｂを、対物光学系１７を介して矢印で示す撮影方向１４から撮影し、被写体の微小な画像（正立像）１５を生成する。対物光学系１７は、被写体（円柱１１ａおよび角柱１１ｂ）と光学素子アレイ１２との間に配置されている。本実施形態では、対物光学系１７は、単一の焦点距離を有する光学系であり、例えば凸レンズで構成されている。対物光学系１７から被写体までの距離をｚ₁と表記し、対物光学系１７から光学素子アレイ１２までの距離をｚ₂と表記した。本実施形態では、距離ｚ₂は、対物光学系１７の主点から光学素子３０の主点までの距離を表す。本実施形態では、距離ｚ₂は固定されている。

光学素子アレイ１２は、複数の光学素子３０を２次元に配列して構成されている。ここでは、光学素子３０として例えば凸レンズを用いることとした。各光学素子３０は、例えば正方格子状（グリッド構造）で配列されている。光学素子３０の個数は図示した個数に限定されるものではなく、例えば、数百、数千、数万から数百万個形成されるようになっている。光学素子３０のピッチをｐ_cとする。ここでは、隣り合った光学素子３０同士を隙間なく並べることとしたので、ピッチは微小な凸レンズの直径に相当する。

撮像素子１３は、光学素子アレイ１２によって生成された光学像を取得するものである。撮像素子１３は、通常の写真フィルムやＣＣＤ撮像素子などの動画像を撮像可能な素子である。

図１において、光学素子３０によって撮像面に生成される微小画像の範囲であって良好な立体像の生成に必要な範囲をｗ_cと表記した。同様に光学素子３０によって生成される微小画像を図２（ａ）に示す。立体画像取得装置１は、図２（ａ）に示すように、微小画像が重複もせず、欠落も生じない状態で配列できるようにするパラメータとして、後記する有効口径Ω０を設定している。

実際に光学素子３０によって生成される像の範囲は、光学素子３０によって生成される、対物光学系１７の有効口径の像の大きさと等価である。対物光学系１７から光学素子アレイ１２までの距離をｚ₂とし、光学素子アレイ１２から撮像素子１３までの距離をｄ_cとし、光学素子アレイ１２を構成する光学素子３０のピッチをｐ_cとすると、範囲ｗ_cは、次の式（１）で表される。ここで、光学素子アレイ１２から撮像素子１３までの距離ｄ_cとは、光学素子アレイ１２を形成する光学素子３０の主点と撮像素子１３の撮像面との距離を表す。

図１に示すように、光学素子アレイ１２の中の所定の光学素子（図１にｅ₀で示す光学素子）に注目する。対物光学系１７の有効口径の大きさがΩ１の場合、つまり、絞り７１を用いた場合、対物光学系１７の有効口径が大きいために、破線で示す光線がｅ₀の光学素子に入射し、ｅ₀の光学素子で生成される光学像の範囲は範囲ｗ_cを越えることとなる。隣接する光学素子についても同様のことが言えるため、隣接する光学素子によって生成される光学像に重複を生ずることとなる。このように有効口径を適切な値に設定していない従来の装置では、微小画像が重複する場合がある。図２（ｂ）は、隣接する光学素子によって生成される光学像に重複が生じる場合の例を示す。

また、図１に示すように、対物光学系１７の有効口径の大きさがΩ２の場合、つまり、絞り７２を用いた場合、対物光学系１７の有効口径が小さいために、一点鎖線で示す光線がｅ₀の光学素子に入射し、ｅ₀の光学素子で生成される光学像の範囲は範囲ｗ_cより狭くなる。隣接する光学素子についても同様のことが言える。このように有効口径を適切な値に設定していない従来の装置では、微小画像がケラレる場合、すなわち、微小画像に欠落が生じて十分な大きさの光学像を生成できない場合がある。具体的には、図２（ｃ）に示すように、光学素子によって生成される微小画像の輪郭の全周に亘って欠落が生じる場合がある。

一方、立体画像取得装置１は、図１に示すように、対物光学系１７の有効口径の大きさがΩ０に設定されている。つまり、絞り７０を用いている。この場合、実線で示す光線がｅ₀の光学素子に入射し、ｅ₀の光学素子で生成される光学像の範囲は範囲ｗ_cと等価となる。これにより、図２（ａ）に示すように微小画像が重複もせず、欠落も生じないので、必要な立体画像の情報を適切に取得することができる。

本実施形態では、対物光学系１７は、当該対物光学系１７の配置と、光学素子３０によって撮像面に生成される画像の範囲と、により決定された有効口径を有する。具体的には、対物光学系１７の有効口径は、次の式（２）で算出されるΩ０に決定されている。

ここで、ｄ_cは光学素子アレイ１２から撮像素子１３までの距離を示す。また、ｚ₂は対物光学系１７から光学素子アレイ１２までの距離を示す。

［有効口径の大きさの決定手順］
次に、本発明の第１実施形態に係る立体画像取得方法において、対物光学系１７の有効口径の大きさΩ０を決定する手順について図３を参照（適宜図１参照）して説明する。
まず、光学素子アレイ１２を構成する光学素子のピッチｐ_c、および光学素子アレイ１２から撮像素子１３までの距離ｄ_cを設定する（ステップＳ１：撮像素子距離設定ステップ）。ここで、光学素子のピッチｐ_cは任意の値を取り得る。一般に、ピッチｐ_cが微細なほど、対物光学系１７によって生成される被写体の実像を細かくサンプリングすることが可能となる。距離ｄ_cは、光学素子の焦点距離に設定されることが多いが、この限りではない。

次に、対象とする被写体を決定し、対物光学系１７から被写体までの距離ｚ₁を設定する（ステップＳ２：被写体距離設定ステップ）。続いて、対物光学系１７の焦点距離と、ステップＳ２で設定した距離ｚ₁とにより、対物光学系１７から光学素子アレイ１２までの距離ｚ₂を設定する（ステップＳ３：対物光学系距離設定ステップ）。

そして、前記式（２）を用いて、対物光学系１７の有効口径の大きさΩ０を決定する（ステップＳ４：有効口径設定ステップ）。
以上の手順で立体画像取得装置１の配置を決定して構成すれば、光学素子３０により生成される微小な画像１５において、重複もせず、かつ欠落も生じることがない。

［立体画像取得装置の制御部における演算処理］
本実施形態では、画像情報処理部２２が前記式（２）を用いて有効口径の大きさΩ０を求める演算を行うこととした。このために、画像情報処理部２２は、前記式（１）を用いて、生成される光学像の範囲ｗ_cを求める演算も行う。

画像情報処理部２２による演算処理について図４を参照（適宜図１参照）して説明する。なお、図４では、光学素子３０の個数は一例であり、また、立体画像取得装置１の撮像部については上から見て光学素子アレイ１２の中心の段数の配列を一部透視した平面図を模式的に示しており、撮影者が撮影方向１４から見ると、被写体の円柱が左、角柱が右に見えるものとして説明する。

画像情報処理部２２は、反転処理を行うために、微小な光学像毎に点対称の中心を求める。ここでは、一例として、対物光学系１７の中心と、光学素子アレイ１２の中心と、撮像素子１３の中心とを合わせておくものとする。具体的には、図４に示すように、対物光学系１７の主点２３の位置と、撮像素子１３の中心位置２４とを合わせ、それらを、光学素子アレイ１２の中心に位置する光学素子３０（０番目の光学素子）の主点の位置に一致させるものとする。この前提において、画像情報処理部２２では、距離ｚ₂、ピッチｐ_c、距離ｄ_cの値より次の式（３）を用いて、撮像素子１３の中心位置２４から各光学像の中心位置までの距離ξを算出する。

式（３）においてｎは、光学素子アレイ１２の中心から水平に遠ざかる方向に数えた場合の光学素子の番号を表す。図４を参照すると、光学素子アレイ１２の中心から図４において下（撮影者から見て左）に向かってｎ番目の光学素子をｅ_nで表している。この光学素子ｅ_nによって撮像素子１３の撮像面に生成される光学像の中心位置２５とは、対物光学系１７の主点２３を通り、光学素子ｅ_nの主点を通過した光線と、撮像素子１３の撮像面との交点の位置に一致する。図４では、ｎ番目の光学素子ｅ_nとして、ｎ＝２の場合を図示した。

図４を参照すると、光学素子アレイ１２の中心から図４において上（撮影者から見て右）に向かって２番目の光学素子の場合の距離ξは、下（撮影者から見て左）に向かって２番目の光学素子の場合の距離ξと同じ値となる。また、本実施形態のように、光学素子アレイ１２における光学素子３０の配列が正方格子状（グリッド構造）の場合、図示する中心の段数における配列もその他の段数の配列も同じものとなる。

また、光学像のピッチηは、撮像素子１３の中心位置２４からｎ番目の中心位置までの距離と、撮像素子１３の中心位置２４から（ｎ−１）番目の中心位置までの距離との差分で表せるので、画像情報処理部２２は、次の式（４）を用いて光学像のピッチηを算出する。

なお、光学素子アレイ１２において隣接する光学素子を隙間なく配列した場合、式（４）で示す光学像のピッチηと、前記式（１）で示す光学像の範囲ｗ_cとは同値となる。

［微小な光学像毎の点対称の中心の求め方の変形例］
上記具体例では、簡単のため、対物光学系１７，光学素子アレイ１２，撮像素子１３の中心位置を合わせておくことを式（３）の前提であるものとしたが、対物光学系１７、光学素子アレイ１２、撮像素子１３の相対的な位置関係が分かっていれば、この限りでは無い。例えば撮像素子１３の中心と光学素子３０の中心とが一致していなくてもよい。このような場合、撮像素子１３の中心と光学素子３０の中心とのずれ分を検出すれば、撮像素子１３の中心位置から各光学像の中心位置までの距離を正確に算出することができる。例えば、撮像素子１３の中心と光学素子３０の中心と間の幅方向のずれがΔxであり、高さ方向のずれがΔyである場合、式（３）のξをΔxだけずらし、１つ１つの画像の中心の高さをΔyだけずらせばよい。

一例として、撮像素子１３の中心と光学素子３０の中心と間の幅方向のずれΔxが、光学素子のピッチｐ_cの半分の場合について図５を参照して説明する。図５は、光学素子アレイ１２を、図４において上（撮影者から見て右）に向かって１／２ピッチだけずらした点が図４と相違している。この場合、前記式（３）を、次の式（５）または式（６）に置換すればよい。なお、式（５）は、光学素子アレイ１２の中心から最も近い光学素子の番号を０番と数えたときの関係式を表し、式（６）は、光学素子アレイ１２の中心から最も近い光学素子の番号を１番と数えたときの関係式を表している。

［立体画像取得方法］
次に、本発明の第１実施形態に係る立体画像取得方法として、主に画像情報処理部２２の処理手順について図６を参照（適宜図４および図５参照）して説明する。
ステップＳ１１では、図３に示すステップＳ３で設定した、対物光学系１７から光学素子アレイ１２までの距離ｚ₂を光学系パラメータ取得部２０にて取得する。
ステップＳ１２では、光学系パラメータ取得部２０で取得した距離ｚ₂を、データ転送部２１が画像情報処理部２２に転送する。このときには、画像情報処理部２２では、図３に示すステップＳ１で設定する、光学素子アレイ１２を構成する光学素子のピッチｐ_c、および光学素子アレイ１２から撮像素子１３までの距離ｄ_cを保持しておく。

ステップＳ１３では、画像情報処理部２２は、距離ｚ₂、ピッチｐ_c、距離ｄ_cの値より前記式（３）を用いて、撮像素子１３の中心位置から各光学像の中心位置までの距離ξを算出する。このときには、画像情報処理部２２は、前記式（４）を用いて、光学像のピッチηを算出する（以上、光学像領域算出ステップ）。

ステップＳ１４では、画像データ伝送部２６は、図３のステップＳ４で設定された有効口径Ω０を有する対物光学系１７を介して撮像素子１３で取得した画像データを画像情報処理部２２へ伝送しておく。なお、ステップＳ１４の処理は、ステップＳ１１〜Ｓ１３とは独立に行ってよい。

ステップＳ１５では、画像情報処理部２２は、ステップＳ１４で取得した画像データ、および、ステップＳ１３で算出した各光学像の中心位置および各光学像の領域を用いて、各光学像を各光学像の中心に対して点対称に反転する処理を実行する（反転処理ステップ）。反転処理した後の画像データは、図示しない記憶手段に蓄積され、所定のタイミングで図示しない出力手段に出力される。この反転処理した後の画像データを、図９に示す立体画像表示装置１０２に入力することで、被写体と比較して同じ奥行きで立体像を生成することができる。

［光学的な遮蔽板も対物光学系も使用しない従来例との対比］
ここでは、図１の立体画像取得装置１（以下、実施例という）の効果を説明するために、光学的な遮蔽板１１６（図８参照）を設けず、かつ対物光学系１７（図１参照）を使用しない従来例（以下、比較例という）との対比を説明する。
＜比較例＞
比較例の装置によって被写体を撮影した場合、光学素子アレイにおける個々の光学素子で生成される個々の像１１５（図８参照）は倒立像となる。このままＩＰ表示すると奥行きが反転してしまう（図９参照）。そこで、被写体と比較して奥行きの正しい立体像を生成するために、これら個々の光学像を点対称に反転する処理を行う場合、倒立像から正立像への変換となる。そして、比較例では、立体像の奥行きが正しくなったとしても、光学的な遮蔽板１１６も対物光学系１７も使用しないため、光学素子間で光の漏れこみが起こり、隣接する光学素子によって生成される光学像に重複が生じてしまう（図２（ｂ）参照）。

＜実施例＞
図１の立体画像取得装置１（実施例）によって、対物光学系１７を介して被写体を撮影した場合、対物光学系１７で生成される被写体の実像は、被写体と同じ奥行き関係を維持しつつも、被写体と比べると上下左右が反転している。そして、この対物光学系１７で生成される被写体の実像から、光学素子アレイにおける個々の光学素子によって生成される個々の像１５（図１参照）は正立像となる。このままＩＰ表示すると奥行きが反転してしまう（図９参照）。しかしながら、画像情報処理部２２が、これら個々の光学像を点対称に反転する処理を行うので立体像の奥行きを正しくすることができる。このとき、実施例の場合、比較例とは反対に、正立像から倒立像への変換となる。そして、実施例では、対物光学系１７の有効口径Ω０を式（２）によって適正値に設定するので、光学的な遮蔽板１１６（図８参照）を設けることなく、光学素子間で光の漏れこみを防止し、隣接する光学素子によって生成される光学像に重複が生じることはない（図２（ａ）参照）。

この実施例において、反転処理した時点の画像データをＩＰ表示すると、被写体と比較して上下左右は反転しているものの、奥行きの正しい立体像が生成される。そして、被写体の撮像側において上下左右の反転を解消する必要がある場合、画像情報処理部２２では、さらに、撮像面全体を１８０度回転させた画像データを生成する処理を実行するように構成してもよい。このようにすることで、上下左右の反転が解消される。なお、撮像側において上下左右の反転を解消することなく立体像の再生側において表示面全体を１８０度回転させる処理を実行すれば、上下左右の反転を解消させることもできる。

本発明の第１実施形態に係る立体画像取得装置および立体画像取得方法によれば、対物光学系１７の有効口径Ω０が適正な値に設定されているので、隣接する光学素子によって生成される光学像に重複を生じず、かつ十分な大きさの光学像を生成することができる。さらに、各光学像を各光学像の中心に対して点対称に反転する処理を行うので被写体と比較して同じ奥行きで立体像を生成することができる。したがって、取得した情報を用いて表示される立体画像の品質を高めることができる。

（第２実施形態）
本発明の第２実施形態に係る立体画像取得装置および立体画像取得方法について、図７を参照（適宜図１参照）しながら説明する。図７に示す立体画像取得装置１Ｂは、フォーカス調整部４１と、アイリス調整部４２とを備え、対物光学系１８の構成が第１実施形態の立体画像取得装置１とは異なっている。よって、図１に示す立体画像取得装置１と同じ構成には同じ符号を付して説明を適宜省略する。

対物光学系１８は、被写体（円柱１１ａおよび角柱１１ｂ）と光学素子アレイ１２との間に配置されている。本実施形態では、対物光学系１８は、焦点距離が可変の光学系であり、複数のレンズの組み合わせにより構成され、例えばズームレンズにより構成される。本実施形態では、距離ｚ₁とは、被写体から対物光学系１８の物側主点（第一主点）１８１までの距離を表し、距離ｚ₂とは、対物光学系１８の像側主点（第二主点）１８２から光学素子３０の主点までの距離を表す。つまり、立体画像取得装置１Ｂは、光学素子アレイ１２から対物光学系１８までの距離ｚ₂が可変となっている。

対物光学系１８の有効口径Ωは、光学素子３０で生成される光学像の範囲が、範囲ｗ_cと等価となるような口径であって、対物光学系１８の像側主点１８２の位置における口径を表す。そして、本実施形態では、対象とする被写体までの距離ｚ_１に応じて、対物光学系１８の像側主点１８２から光学素子アレイ１２までの距離ｚ_２が変化する可能性がある。つまり、本実施形態では、距離ｚ_２に対応して、式（２）を満足する有効口径Ω０となるように、対物光学系１８の有効口径の大きさを制御する。

フォーカス調整部（フォーカス調整手段）４１とアイリス調整部（アイリス調整手段）４２とは、図示しない操作部からの操作信号に応じて図示しないモータ等の駆動手段に指令信号を出力することで対物光学系１８のフォーカスやアイリス（絞り）を調整するものである。これら調整部４１，４２は例えばズームレンズに用いられている従来公知の制御手段を用いることができる。

フォーカス調整部４１は、対物光学系１８から光学素子アレイ2までの距離として、対物光学系１８の像側主点１８２から光学素子アレイ１２までの距離ｚ₂を変化させる。フォーカス調整部４１は、絞り８０と図示しない撮像素子側のレンズとの間の距離を変化させることでフォーカスを調整する。

アイリス調整部４２は、対物光学系１８の像側主点１８２から光学素子アレイ１２までの距離ｚ₂に応じて対物光学系１８の有効口径の大きさΩ０を調整するものである。アイリス調整部４２は、距離ｚ_２に応じて絞り８０の開閉の程度（アイリス）を変化させる。

本実施形態では、距離ｚ₂が変動した場合、フォーカス調整部４１は、更新された距離ｚ₂の情報を光学系パラメータ取得部２０に出力する。この更新情報が光学系パラメータ取得部２０からデータ転送部２１によって画像情報処理部２２に転送された場合、画像情報処理部２２は、更新された距離ｚ₂を用いて、前記式（２）の演算を行い、有効口径の大きさΩ０を更新し、指令信号としてアイリス調整部４２に出力する。これにより、フォーカス調整部４１により距離ｚ_２を例えば小さくした場合、アイリス調整部４２によって、対物光学系１８の撮像素子側のレンズの有効口径を小さくすることができる。

次に、本発明の第２実施形態に係る立体画像取得方法について図３を参照（適宜図１参照）して説明する。なお、第１実施形態に係る立体画像取得方法と同じ手順には同じ符号を付して説明を適宜省略する。

まず、ステップＳ１として、撮像素子距離設定ステップを行い、次に、ステップＳ２として、被写体距離設定ステップを行う。そして、ステップＳ３として、対物光学系１８の焦点距離と、ステップＳ２で設定した距離ｚ_１とから、対物光学系１８の像側主点１８２から光学素子アレイ１２までの距離ｚ_２を設定する（対物光学系距離設定ステップ）。そして、ステップＳ４として、有効口径設定ステップを行う。以上の手順で立体画像取得装置１Ｂの配置を決定して構成する。対物光学系１８の有効口径の大きさを制御した後、画像情報処理部２２での処理は、本発明の第１実施形態と同様である（図６参照）。

続いて、対物光学系１８の例えばズーム機能により、被写体の像を拡大する場合、再びステップＳ２を行う。このときに、対象とする被写体までの距離ｚ_１が変化するので、その新たな距離ｚ_１を設定する。続いて再びステップＳ３を行うときに、新たな距離ｚ_１に応じて新たな距離ｚ_２をフォーカス調整部４１が設定する。続いて再びステップＳ４を行うときに、画像情報処理部２２は、前記式（２）を用いて、対物光学系１８の有効口径を新たに決定し、アイリス調整部４２は絞り８０を調整する。以上の手順で立体画像取得装置１Ｂの配置を決定して構成する。対物光学系１８の有効口径の大きさを制御した後、画像情報処理部２２での処理は、本発明の第１実施形態と同様である（図６参照）。

本発明の第２実施形態に係る立体画像取得装置および立体画像取得方法によれば、光学素子３０により生成される微小な画像１５において、重複もせず、かつ欠落も生じないように一旦設定すれば、被写体の像を例えば拡大する場合であっても光学素子３０により生成される微小な画像１５において、重複もせず、かつ欠落も生じることがなくなる。

以上、各実施形態に基づいて本発明に係る立体画像取得装置および立体画像取得方法について説明したが、本発明はこれらに限定されるものではない。例えば、各実施形態においては、距離ｚ₂、ピッチｐ_c、距離ｄ_cの値より前記式（３）を用いて、撮像素子１３の中心位置２４から各光学像の中心位置までの距離を算出したが、予め代表的な複数の距離ｚ₂に対して撮像素子１３の中心位置２４から各光学像の中心位置までの距離をデータとして画像情報処理部２２に保持しておいてもよい。

また、各実施形態では、光学素子アレイ１２では光学素子３０を正方格子状で配列するものとして説明したが、俵積状いわゆるラインオフセット状に配列してもよい。このように光学素子３０をラインオフセット状で配列する場合、光学素子アレイ１２を撮影方向１４から見たときに、図４に示す光学素子３０の配列（一段）を例えば奇数番目の段に積み、図５に示す光学素子３０の配列（一段）を例えば偶数番目に積むというように交互に積み重ねることとなる。つまり、ラインオフセット状で配列する場合、奇数段では、図４に示すように、対物光学系１７の主点２３の位置と、撮像素子１３の中心位置２４とを合わせ、その中心軸に対して、光学素子アレイ１２の中心に位置する光学素子３０（０番目の光学素子）の主点の位置を一致させる。さらに、偶数段では、図５に示すように、対物光学系１７の主点２３の位置と、撮像素子１３の中心位置２４とを合わせ、その中心軸に対して、光学素子アレイ１２の中心に位置する隣接した２つの光学素子３０の接点の位置に一致させる。そして、ラインオフセット状の配列の場合、画像情報処理部２２は、例えば奇数番目の段については、前記式（３）を用いて演算し、例えば偶数番目の段については、前記式（５）または前記式（６）を用いて演算すればよい。

また、各実施形態では、一例として、対物光学系１７，１８が凸レンズ状の光学素子で構成される場合を示したが、この限りではない。
また、各実施形態では、光学素子アレイ１２を構成する光学素子３０を凸レンズ状の光学素子で構成される場合で説明したが、凸レンズと同じ機能を有するのであれば、ピンホールのような他の光学素子であってもよい。

各実施形態では、前記式（２）の演算を画像情報処理部２２が行うこととしたが、本発明はこれに限定されず、他の演算処理部にて行うように構成してもよい。例えば第２実施形態において、フォーカス調整部４１またはアイリス調整部４２にその演算機能を兼ね備えさせてもよい。

１，１ｂ 立体画像取得装置
１１ａ 円柱（被写体）
１１ｂ 角柱（被写体）
１２ 光学素子アレイ
１３ 撮像素子
１５ 被写体の微小な画像
１７，１８ 対物光学系
１８１ 物側主点（第一主点）
１８２ 像側主点（第二主点）
２０ 光学系パラメータ取得部
２１ データ転送部
２２ 画像情報処理部
２３ 対物光学系１７の主点
２４ 撮像素子の中心位置
２５ 光学像の中心位置
２６ 画像データ伝送部
３０ 光学素子
４１ フォーカス調整部（フォーカス調整手段）
４２ アイリス調整部（アイリス調整手段）
７０，７１，７２，８０ 絞り

Claims (4)

1. 複数の光学素子が２次元に配列した光学素子アレイと、
   被写体と前記光学素子アレイとの間に配置された対物光学系と、
   前記光学素子アレイによって生成された光学像を取得するための撮像素子と、を備えた立体画像取得装置であって、
   前記対物光学系の有効口径の大きさは、当該対物光学系から前記光学素子アレイまでの距離をｚ₂、前記光学素子アレイから前記撮像素子までの距離をｄ_c、前記光学素子によって撮像面に生成される画像の範囲をｗ_cとしたときに次の式（２）で算出されるΩ０に設定され、
   前記設定された有効口径を有する前記対物光学系を介して前記撮像素子によって前記光学素子毎に取得した画像情報における各光学像の中心位置および各光学像の領域を、前記対物光学系から前記光学素子アレイまでの距離ｚ₂に基づいて算出し、前記各光学像を当該光学像の中心に対して点対称に反転する処理を行う画像情報処理部を備えることを特徴とする立体画像取得装置。
   

   

   ここで、ｐ_cは前記光学素子アレイを構成する光学素子のピッチを示す。
2. 前記対物光学系は、複数のレンズの組み合わせにより構成され、
   前記対物光学系から前記光学素子アレイまでの距離ｚ₂として前記対物光学系の像側主点から前記光学素子アレイまでの距離を変化させるフォーカス調整手段と、
   前記対物光学系の像側主点から前記光学素子アレイまでの距離に応じて前記対物光学系の有効口径の大きさを調整するアイリス調整手段と、
   を備えていることを特徴とする請求項１に記載の立体画像取得装置。
3. 複数の光学素子が２次元に配列した光学素子アレイと、被写体と前記光学素子アレイとの間に配置された対物光学系と、前記光学素子アレイによって生成された光学像を取得するための撮像素子と、前記撮像素子によって取得した画像情報を処理する画像情報処理部とを備えた立体画像取得装置による立体画像取得方法であって、
   前記画像情報処理部は、
   前記対物光学系から前記光学素子アレイまでの距離をｚ₂、前記光学素子アレイから前記撮像素子までの距離をｄ_c、前記光学素子によって撮像面に生成される画像の範囲をｗ_cとしたときに前記対物光学系の有効口径の大きさを次の式（２）で算出されるΩ０に設定された有効口径を有する前記対物光学系を介して前記撮像素子によって前記光学素子毎に取得した画像情報における各光学像の中心位置および各光学像の領域を、前記対物光学系から前記光学素子アレイまでの距離ｚ₂に基づいて算出する光学像領域算出ステップと、
   前記各光学像を当該光学像の中心に対して点対称に反転する反転処理ステップとを実行することを特徴とする立体画像取得方法。
   

   

   ここで、ｐ_cは前記光学素子アレイを構成する光学素子のピッチを示す。
4. 前記立体画像取得装置は、フォーカス調整手段とアイリス調整手段とを備え、
   前記フォーカス調整手段は、前記対物光学系から前記光学素子アレイまでの距離ｚ₂として前記対物光学系の像側主点から前記光学素子アレイまでの距離を変化させる距離調整ステップを実行し、
   前記アイリス調整手段は、前記対物光学系の像側主点から前記光学素子アレイまでの距離に応じて前記対物光学系の有効口径の大きさを調整する有効口径調整ステップを実行し、
   前記画像情報処理部は、前記光学像領域算出ステップの前に、前記式（２）を用いて前記有効口径の大きさが調整された対物光学系の有効口径の大きさΩ０を算出する有効口径算出ステップを実行することを特徴とする請求項３に記載の立体画像取得方法。

Images