JP2014093646A - 光学機器 - Google Patents

Abstract

【課題】ライトフィールドフォトグラフィにおいて、画像の解像度の向上と光線の入射方向の情報量の増加の少なくとも一つを実現すること
【解決手段】ライトフィールドフォトグラフィに使用される光学機器であって、被写体１０１と共役な位置に配置されて被写体からの光を広げるマイクロレンズアレイ１０３と、前記マイクロレンズアレイを通過した光を光電変換する撮像素子１０４と、前記マイクロレンズアレイを光軸に垂直な方向に移動するマイクロレンズアレイ移動部１０９と、マイクロレンズアレイ移動部によって前記マイクロレンズアレイが少なくとも２つの異なる位置のそれぞれにあるときに前記撮像素子に撮像させて光線のデータを生成させるマイクロコンピュータ１０７と、を有する。
【選択図】図１

Description

本発明は、光学機器に関する。

特許文献１は、ライトフィールドフォトグラフィ（Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ）と呼ばれるマイクロレンズアレイを用いたライトフィールドカメラにおいて、画像処理により焦点位置を可変とした画像を得る方法を開示している。ライトフィールドカメラは、光線の入射方向の情報（光線情報）を取得して後加工で画像を再構成するものであり、この画像は焦点位置や被写界深度を変更できるなどの特徴を有する。

特表２００８−５１５１１０号公報

しかしながら、画像の解像度と光線情報量はトレードオフの関係にある。画像の解像度を高めるために１つのマイクロレンズからの光を受光する撮像素子の画素数を少なくすると（例えば、マイクロレンズと画素数を一対一にするなど）、光線情報が少なくなって焦点位置などを調節できる範囲が狭くなる。逆に、１つのマイクロレンズに対応する画素数を多くすると画像の解像度は低くなる。

本発明の例示的な目的は、ライトフィールドフォトグラフィにおいて、画像の解像度の向上と光線の入射方向の情報量の増加の少なくとも一つを実現することが可能な光学機器を提供することである。

本発明の光学機器は、撮像された光線のデータを、前記光線の入射方向の情報に基づいて選択的に組み合わせることによって、画像の少なくとも一部を再構成する画像処理方法に使用される光学機器であって、物体と共役な位置に配置され、前記物体からの光を広げるマイクロレンズアレイと、前記マイクロレンズアレイを通過した光を光電変換する撮像素子と、前記マイクロレンズアレイと前記撮像素子の少なくとも一つを前記撮像素子の撮像面に垂直な方向に移動する移動手段と、前記移動手段を利用して前記マイクロレンズアレイと前記撮像素子の少なくとも一つが少なくとも２つの異なる位置のそれぞれにあるときに前記撮像素子に撮像させて前記光線のデータを生成させる制御手段と、を有することを特徴とする。

本発明によれば、ライトフィールドフォトグラフィにおいて、画像の解像度の向上と光線の入射方向の情報量の増加の少なくとも一つを実現することが可能な光学機器を提供することができる。

本実施形態の光学機器の一例のブロック図である。 図１に示すマイクロレンズアレイとマイクロレンズアレイ移動部の平面図である。 図１に示す撮像レンズと撮像素子の光学的関係を示す図である。 図３に示す光学的関係と再構成した焦平面を示す図である。 画像の解像度を向上するための図１に示すマイクロレンズアレイの移動を示す図である。 図１に示すマイクロコンピュータの動作を説明するためのフローチャートである。 光線情報の分解能を向上するためのマイクロレンズアレイと撮像素子の図である。 図８（ａ）は従来のマイクロレンズアレイと各マイクロレンズアレイから１つの光線情報を取り出す図、図８（ｂ）は図８（ａ）に示すマイクロレンズアレイから光線情報を取り出した画像データの図である。 図９（ａ）は本実施形態のマイクロレンズアレイから光線情報を取り出す図、図９（ｂ）は図９（ａ）に示すマイクロレンズアレイから光線情報を取り出した画像データの図、図９（ｃ）は図９（ｂ）に示す画像データの補完後の画像データ図である。

図１は本実施形態の光学機器の一例のブロック図である。光学機器は、撮像された光線のデータを、光線の入射方向の情報に基づいて選択的に組み合わせることによって画像の少なくとも一部を再構成する画像処理方法に使用される光学機器である。

本実施形態の光学機器は、レンズ一体型のカメラ（デジタルカメラやデジタルビデオカメラ）、レンズ装置が装着可能なカメラ本体（一眼レフカメラやミラーレスカメラ）、撮影レンズ収納してカメラ本体に装着可能なレンズ装置であってもよい。さらには、光学機器はレンズ装置とカメラ本体から構成されるカメラシステムであってもよい。

本実施形態の画像処理方法は、光学機器内で行われてもよいし、パーソナルコンピュータ（ＰＣ）やインターネットを利用したクラウドコンピューティングによってなされてもよい。

図１において、１０１は被写体（物体）、１０２は撮影レンズ（撮影光学系）である。１０３はマイクロレンズアレイ、１０４は撮像素子である。

被写体１０１と撮影レンズ１０２の距離はｄであり、撮影レンズ１０２の主点とマイクロレンズアレイ１０３の主点との距離はｓである。被写体１０１とマイクロレンズアレイ１０３とは撮影レンズ１０２によって共役の関係にある。即ち、マイクロレンズアレイ１０３の主点は焦平面に配置されている。撮影レンズ１０２は、被写体（物体）１０１の光学像を形成する。撮影レンズ１０２は焦点距離を変える不図示のズームレンズ群や、被写体距離を変える不図のフォーカスレンズ群、手振れを補正する補正レンズなどを有する。マイクロレンズアレイ１０３は被写体１０１からの光を広げる。

撮像素子１０４は複数の光センサ（画素）を有する光センサアレイとして機能し、マイクロレンズアレイ１０３を通過した光を光電変換する光電変換素子である。本実施形態では、１つのマイクロレンズからの光を複数の画素が受光する。撮像素子１０４は、焦平面上の互いに異なる位置に互いに異なる入射角で入射する被写体１０１の光学像を光電変換する。本実施形態の撮像素子１０４の撮像面は撮影レンズ１０２の光軸に垂直であるが、像面ではなくデフォーカス位置に配置されている。

撮像処理部１１２は撮像素子１０４の出力信号を画像処理部１１１で処理できるように輝度調整等の処理を行い、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、デジタル演算回路からなる。撮像素子１０４と撮像処理部１１２から撮像手段を構成する。撮像処理部１１２の出力画像を撮像画像と呼ぶ。

画像処理部（画像処理手段）１１１は特許文献１に記載されている画像再構築の処理を行い、デジタル演算回路からなる。例えば、画像処理部１１１は、異なる画素で検出された光線が焦平面上の特定の位置に入射する入射方向の情報を、の特定の位置に対する画素の位置に基づいて検出する。そして、取得した光線のデータを、光線の入射方向の情報と後述する２つの異なる位置の情報に基づいて選択的に組み合わせることによって、画像の少なくとも一部を再構成する。取得した光線のデータを焦平面とは異なる仮想平面で再構成し、焦点距離や深度を変更してもよい。

なお、特許文献１に記載されている画像再構築の処理におけるフーリエ変換の結果を画像処理部１１１から得て空間周波数を検出することもできる。画像処理部１１１の処理の一部をマイクロコンピュータ（プロセッサ）１０７が行ってもよい。

マイクロコンピュータ（マイコン）１０７は、画像処理部１１１の出力からレンズ移動制御部１０６を介して取得し、これに基づいて撮影レンズ１０２を制御する制御手段として機能する。また、マイコン１０７は、マイクロレンズアレイ移動部１０９を利用してマイクロレンズアレイ１０３が少なくとも２つの異なる位置のそれぞれにあるときに撮像素子１０４に撮像させて光線のデータを生成させる制御手段としても機能する。また、マイクロレンズアレイ移動部１０９、後述するように、マイクロレンズアレイ１０３、撮像素子１０４、撮影レンズ１０２の少なくとも一つを移動すればよい。そして、制御手段は、その少なくとも一つが少なくとも２つの異なる位置のそれぞれにあるときに撮像素子１０４に撮像させて光線のデータを生成させる制御手段として機能してもよい。

画像記録部１０５は、画像処理部１１１で処理した結果である画像情報を記録し、半導体記憶回路などから構成される。表示部１１０は、マイコン１０７の動作状況や画像情報を表示し、例えば、液晶表示装置などから構成される。

マイコン１０７が、マイクロレンズアレイ移動制御部１０８に移動命令を発することで、マイクロレンズアレイ移動制御部１０８はマイクロレンズアレイ移動部（移動手段）１０９を介してマイクロレンズアレイ１０３を光軸に直交する方向に移動することができる。

図２は、マイクロレンズアレイ１０３とマイクロレンズアレイ移動部１０９の概略平面図である。マイクロレンズアレイ移動部１０９は、撮影レンズ１０２の光軸と垂直な、互いに直交する２方向にマイクロレンズアレイ１０３を移動（駆動）する。本実施形態のマイクロレンズアレイ移動部１０９は、モータ２０１、２０５、リードスクリュー２０２、２０６、伝達部２０３、２０７、ステージ２０４、２０８を有する。

モータ２０１、２０３は、ステッピングモータなどから構成される。リードスクリュー２０２は、モータ２０１の不図示のモータ軸に結合されている。リードスクリュー２０６は、モータ２０５の不図示のモータ軸に接続されている。伝達部２０３は、リードスクリュー２０２に係合する内面を有すると共にステージ２０４に結合され、リードスクリュー２０２が回転すると矢印Ｅ１方向の力をステージ２０４に加える。伝達部２０７は、リードスクリュー２０６に係合する内面を有すると共にステージ２０８に結合され、リードスクリュー２０６が回転すると矢印Ｅ２方向の力をステージ２０８に加える。ステージ２０４は、モータ２０５、リードスクリュー２０６、伝達部２０７、ステージ２０８を搭載する。ステージ２０８は、マイクロレンズアレイ１０３を搭載する。

モータ２０１が回転すると、マイクロレンズアレイ１０３はステージ２０４と共に矢印Ｅ１方向に移動する。モータ２０５が回転すると、マイクロレンズアレイ１０３はステージ２０８と共に矢印Ｅ２方向に移動する。この結果、光軸に垂直する２つの直交方向にマイクロレンズアレイ１０３を移動することができる。なお、光軸に垂直な２つの直交方向は周方向と径方向など本実施形態に限定されない。

図３は、撮像レンズ１０２と撮像素子１０４の光学的関係を示す図であり、撮像レンズ１０２の主面上の点（ｕ，ｖ）と撮像素子１０４の撮像面上の点（ｘ、ｙ）を通る光線ＬＦ（ｘ、ｙ、ｕ、ｖ）を示している。Ｆは撮像レンズ１０２と撮像素子１０４の光学的距離である。光線ＬＦ（ｘ、ｙ、ｕ、ｖ）の情報は光線の入射方向の情報を含んでおり、４次元（４Ｄ）光線照射野もしくは単に光線情報と呼ばれる。

図４は、撮像レンズ１０２の主点と撮像素子１０４の撮像面と再構成した焦平面を示す図である。α＝Ｆ’／Ｆとすると、次の条件式が成立する。
ＬＦ’（ｘ、ｙ、ｕ、ｖ）
＝ＬＦ（ｕ（１−１／α）＋ｘ／α、ｖ（１−１／α）＋ｙ／α、ｕ、ｖ） （１）
αを設定し、本式を解くことにより、画像を再構成することができる。また、フーリエ変換により画像を再構成することができるが、特許文献１の数式１から３に示されているので省略する。

マイクロレンズアレイ１０３の個数が画像の解像度を決定し、マイクロレンズに対応する撮像素子の素子数が光線情報の解像力を決定する。Δｄを、再構成画像で焦点位置を変更可能な幅とすると、次の条件式が成立する。
Δｄ＝Ｎ×Ａ／ｆ （２）
ここで、ｆは撮影レンズ１０２の焦点距離、Ａは撮影レンズ１０２の絞り値、マイクロレンズアレイ１０３の各レンズに対応する撮像素子１０４上の画素数はＮ×Ｎである。

Ｎ＝１０とすると、Δｄは、マイクロレンズアレイ１０２を使用しない方式に対して１０倍となるが、記録する画像情報の画素数は１００分の１となる。つまり、Δｄを大きくするためにはＮを大きくしなければならず、取り出せる画像情報の画素数は撮像素子上の全画素をＮの二乗で割ったものに等しくなる。光線情報の分解能を細かくすると取り出せる画像情報は小さくなる。そこで、マイクロレンズアレイを光軸に垂直に動かすことによって画素数を高めるようにしている。

図５は、画像の解像度アップのためのマイクロレンズアレイ１０３の位置と撮像素子１０４の多重撮影の関係図である。マイクロレンズ１つに対する撮像素子の画素Ｎ×ＮはＮ＝１５となっている。

１回目の撮影では、実線位置で撮影し、２回目の撮影では、横方向に右に７．５画素分、縦方向に上に７．５画素分マイクロレンズアレイ１０３を移動した位置で撮影をする。この２つの画像を合成することにより、画素数を増やすことができる。

例えば、縦横のマイクロレンズの数をそれぞれＵ、Ｖとすると、通常一回の撮影ではＵ×Ｖのマイクロレンズ数に対応する解像度の映像が、Ｎ×Ｎ個の焦点距離、視差の異なる映像つまり光線情報データが手に入る。マイクロレンズアレイ１０３の位置を移動して撮影することで周辺の２倍にならない領域を考慮すると４Ｕ×Ｖ―２（Ｕ＋Ｖ）となり、Ｕ、Ｖが十分大きい場合で４倍に近い解像度の映像を取ることができる。

本実施形態では、マイクロレンズ移動部１０９は、マイクロレンズアレイ１０３を移動するが、撮像素子１０４は移動しない。この場合、マイクロレンズ移動部１０９は、移動前のマイクロレンズアレイ１０３の各マイクロレンズの中心が移動前のいずれかのマイクロレンズの中心と重ならないように移動することが好ましい。例えば、図５においては、左下隅のマイクロレンズの中心が右上隅のマイクロレンズの中心と重ならず、ずれた位置に配置されることが好ましい。

図６は、マイコン１０７によって実行される本実施形態の撮像方法を説明するフローチャートであり、「Ｓ」はステップ（工程）の略である。図７に示す撮像方法は、コンピュータに各ステップの機能を実行させるためのプログラムとして具現化が可能である。

まず、不図示のシャッターＳＷが押されたら（Ｓ９０１のＹ）、マイコン１０７はマイクロレンズアレイ位置（Ｘ，Ｙ）を原点（０，０）に設定して撮影を行い（Ｓ９０２）、シャッターＳＷが押されるまで待機する（Ｓ９０１のＮのループ）。Ｓ９０２の後で、マイコン１０７はマイクロレンズアレイ１０３を（Ｘ１，Ｙ１）に移動させ（Ｓ９０３）、再び撮影する（Ｓ９０４）。撮影後にマイクロレンズアレイ１０３を元の原点位置に戻し（Ｓ９０５）、撮影された画像を合わせて１つの画像データを作成する（Ｓ９０６）。この結果、２つの位置ずれに対応した位置を補完し、画素ずらしの概念より画素を補完することで解像力を高めることができる。なお、Ｓ９０６において、マイクロレンズアレイ１０３の特定の位置に入射する光線の入射方向の情報は、マイクロレンズアレイ１０３の２つの異なる位置と特定の位置に対する撮像素子１０４の画素の位置に基づいて検出される。そして、取得された光線のデータを光線の入射方向の情報に基づいて選択的に組み合わせることにより、画像の少なくとも一部が再構成される。

また、Ｓ９０３、Ｓ９０４の処理を複数行い、２点だけではなくさらに違う位置にマイクロレンズアレイ１０３を移動させて撮影し、Ｓ９０６で１つの画像にまとめることでさらに高解像度の画像データにすることができる。

また、マイクロレンズアレイ１０３のみを光軸に垂直な方向に移動する代わりに、マイクロレンズアレイ１０３と撮像素子１０４を一体に移動してもよい。あるいは、マイクロレンズアレイ１０３の代わりに、撮影レンズ１０２または撮像素子１０４（図７）を光軸に垂直な方向に移動してもよい。撮影レンズ１０２の移動は全体でもよいし、一部（例えば、補正レンズまたは補正レンズ以外の光軸に垂直な方向に移動するレンズ）でもよい。ここで、図７は、光線情報の分解能を向上するための多重撮影の図である。

このため、本実施形態の光学機器は、マイクロレンズアレイ１０３のみ、マイクロレンズアレイ１０３と撮像素子１０４、または、撮像素子１０４のみを移動するレンズ一体型のカメラ、レンズ装置が装着可能なカメラ本体でもよい。もしくは、撮影レンズ１０２を光軸に垂直に移動するレンズ装置であってもよい。

マイクロレンズと撮像素子の相対位置を変えると光線情報の分解能が上がり、マイクロレンズと撮像素子の相対位置を変えずに光線をシフトさせることで画素の分解能が上げることができる。

従来、ある光線情報だけ取り出して１枚の映像を取り出す場合、図８（ａ）に示すように、各マイクロレンズの対応する位置の１つの画像データを取り出し、図８（ｂ）に示す１枚の画像データを作成することができる。

図９（ａ）は、図６と同様に、マイクロレンズアレイ１０３を斜め右に移動して２回撮影する場合を示しており、実線は１回目の露光、点線が２回目の露光に対応する。１回目の露光による画像データと２回目の露光による画像データを移動量と対応させて各マイクロレンズの対応する位置の１つの画像データを取り出すと、図９（ｂ）に示すような格子状の隙間の空いた画像データを作り出すことができる。空いた画像（例えば、図９（ｂ）の中央の白部）を上下左右の隣接する画像データの平均を取ることによって補間する。これを図９（ｃ）に示す。また、図９（ｃ）では、隣接画像データの上下や左右がない場合（例えば、図９（ｂ）の左上隅の白部）は、２点の隣接画像データの平均値を求めることによって画像データを作りだすことができる。図８（ｂ）と図９（ｃ）を比較すると２０対８０のため４倍分解能を上げることができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

光学機器は、レンズ装置、レンズ装置が装着可能なカメラ本体、レンズ一体型の撮像装置、レンズ装置とカメラ本体から構成される撮像システムに適用することができる。

１０３…マイクロレンズアレイ、１０４…撮像素子、１０７…マイクロコンピュータ（制御手段）、１０９…マイクロレンズアレイ移動部（移動手段）

Claims (10)

1. 撮像された光線のデータを、前記光線の入射方向の情報に基づいて選択的に組み合わせることによって、画像の少なくとも一部を再構成する画像処理方法に使用される光学機器であって、
   物体と共役な位置に配置され、前記物体からの光を広げるマイクロレンズアレイと、
   前記マイクロレンズアレイを通過した光を光電変換する撮像素子と、
   前記マイクロレンズアレイと前記撮像素子の少なくとも一つを前記撮像素子の撮像面に垂直な方向に移動する移動手段と、
   前記移動手段を利用して前記マイクロレンズアレイと前記撮像素子の少なくとも一つが少なくとも２つの異なる位置のそれぞれにあるときに前記撮像素子に撮像させて前記光線のデータを生成させる制御手段と、
   を有することを特徴とする光学機器。
2. 前記移動手段は、前記マイクロレンズアレイを移動するが、前記撮像素子は移動せず、
   前記移動手段は、移動前の前記マイクロレンズアレイの各マイクロレンズの中心が移動前のいずれかのマイクロレンズの中心と重ならないように移動することを特徴とする請求項１に記載の光学機器。
3. 前記画像処理方法を実行する画像処理手段を更に有することを特徴とする請求項１または２に記載の光学機器。
4. 物体の光学像を形成する撮影光学系を更に有することを特徴とする請求項１に記載の光学機器。
5. 前記光学機器は、物体の光学像を形成する撮影光学系を収納するレンズ装置が装着可能なカメラ本体であることを特徴とする請求項１に記載の光学機器。
6. 前記撮影光学系の光軸と垂直な方向に前記撮影光学系の少なくとも一部を移動する移動手段を更に有し、
   前記制御手段は、前記撮影光学系が少なくとも２つの異なる位置のそれぞれにあるときに前記撮像素子に撮像させることによって前記光線のデータを生成させることを特徴とする請求項４または５に記載の光学機器。
7. 前記制御手段は、再構成された画像の画素を補完することを特徴とする請求項１乃至６のうちいずれか１項に記載の光学機器。
8. １つのマイクロレンズからの光を前記撮像素子の複数の画素が受光することを特徴とする請求項４または５に記載の光学機器。
9. 撮像された光線のデータを、前記光線の入射方向の情報に基づいて選択的に組み合わせることによって、画像の少なくとも一部を再構成する画像処理方法に使用される光学機器であって、
   物体の光学像を形成する撮影光学系と、
   前記撮影光学系の光軸と垂直な方向に前記撮影光学系の少なくとも一部を移動する移動手段と、
   前記光線のデータは、前記撮影光学系が少なくとも２つの異なる位置のそれぞれにあるときに撮像することによって得られることを特徴とする光学機器。
10. 物体と共役な位置に配置されて前記物体からの光を広げるマイクロレンズアレイ、前記マイクロレンズアレイを通過した光を光電変換する撮像素子、前記物体の光学像を形成する撮影光学系の少なくとも一つが、前記撮影光学系の光軸に垂直な方向における２つの異なる位置のそれぞれにあるときに前記撮像素子に撮像させることによって生成された光線のデータを取得するステップと、
    取得された２つの光線のデータを各光線の入射方向の情報に基づいて選択的に組み合わせることにより、画像の少なくとも一部を再構成するステップと、
    を有することを特徴とする画像処理方法。