JP2013179424A - 画像処理装置 - Google Patents

Abstract

【課題】任意の焦点位置で、高解像度の画像を合成することが可能な画像処理装置を提供する。
【解決手段】結像光学系を透過した被写体光が入射するように二次元状に配列された複数のマイクロレンズと、複数のマイクロレンズの各々に対応して当該マイクロレンズの後側の焦点位置近傍に配置され、当該マイクロレンズを透過した被写体光を受光する複数の受光素子と、複数の受光素子の出力に基づいて、結像光学系の予定焦点面とは異なる焦点面の画像を合成可能な画像合成手段と、複数のマイクロレンズの頂点近傍の焦点面の画像である目的画像と、複数のマイクロレンズの頂点近傍以外の焦点面の画像である補助画像とが合成されるよう画像合成手段を制御し、目的画像に補助画像の高周波成分を加算して出力する制御手段とを備える画像処理装置。
【選択図】図１

Description

本発明は、画像処理装置に関する。

従来から、１つのマイクロレンズに対応して複数の撮像画素を備え、１回の撮影により取得された画像データを撮影後に合成して、任意の焦点位置の画像を生成する撮像装置が知られている（たとえば、特許文献１、２、および非特許文献１）。

特開２００７−４４７１号公報 ＵＳ２００７／０２５２０４７号公報

Light Field Photography with a Handheld Plenoptic camera, Stanford tech report CTSR2005-02

しかしながら、マイクロレンズの配列数よりも多くの画素数で構成される任意の焦点位置の画像を生成する場合、マイクロレンズの頂点近傍において、生成される画像の解像度が大幅に低下するという問題がある。

請求項１に係る発明は、結像光学系を透過した被写体光が入射するように二次元状に配列された複数のマイクロレンズと、複数のマイクロレンズの各々に対応して当該マイクロレンズの後側の焦点位置近傍に配置され、当該マイクロレンズを透過した被写体光を受光する複数の受光素子と、複数の受光素子の出力に基づいて、結像光学系の予定焦点面とは異なる焦点面の画像を合成可能な画像合成手段と、複数のマイクロレンズの頂点近傍の焦点面の画像である目的画像と、複数のマイクロレンズの頂点近傍以外の焦点面の画像である補助画像とが合成されるよう画像合成手段を制御し、目的画像に補助画像の高周波成分を加算して出力する制御手段と、を備えることを特徴とする画像処理装置である。

本発明によれば、マイクロレンズの頂点近傍の焦点位置でも、高解像度の画像を合成することができる。

第１の実施の形態に係るデジタルカメラの構成を示す図である。 撮像ユニット１００の斜視図である。 マイクロレンズアレイ１２および撮像素子１３を模式的に示した断面図である。 マイクロレンズアレイ１２を被写体光の入射方向から見た模式図である。 合成画素Ｐｙを合成するために出力が積算される撮像画素１３０を示す図である。 合成画素Ｐｙを合成するために出力が積算される撮像画素１３０を示す図である。 格子１２２を、ピッチｇの４分の１だけ右方向にずらした図である。 ピッチｇの４分の１だけ格子１２２を右方向にずらした場合における、撮像画素１３０の積算パターンを示す図である。 画像合成処理のフローチャートである。

（第１の実施の形態）
本実施の形態のデジタルカメラは、マイクロレンズアレイを介して撮影することにより取得された画像信号が奥行き情報等の波面情報を有することを利用して、数値処理によってユーザが所望する焦点位置を有する画像データを生成する。撮影レンズを介して入射した被写体光束は、マイクロレンズアレイの近傍に結像する。このとき、被写体の位置に応じて光束が結像する位置は撮影レンズの光軸方向に異なるものとなり、さらに被写体が三次元物体であれば被写体光束は同一平面上には結像しない。本実施の形態のデジタルカメラは、ユーザが所望する光軸方向の結像位置に結像する被写体の像を再現した画像を生成（合成）する。以下、この生成された画像を目的画像と称する。目的画像は、結像光学系の焦点があたかも当該結像位置（実際の結像位置ではなくユーザが所望する位置）にあるように見える。そこで、以下の説明において、この結像位置のことを焦点位置と呼ぶこととする。

さらに、本実施の形態のデジタルカメラは、上記の画像として、マイクロレンズアレイに含まれるマイクロレンズの数よりも大きな解像度を有する合成画像を生成可能に構成されている。すなわち、１つのマイクロレンズに対応して、合成画像の各画素となる画像信号を出力する撮像画素（受光素子）が複数個設けられている。そして、デジタルカメラは、ユーザが選択した焦点位置の合成画像となるように、１つのマイクロレンズに対応する撮像画素から出力された画像信号のみならず、その周辺のマイクロレンズに対応する撮像画素から出力された画像信号を用いて、合成画像の１画素分の結像領域に相当する合成画像信号を生成し、焦点位置を可変可能な合成画像を作成する。以下、詳細に説明する。

図１は、第１の実施の形態に係るデジタルカメラの構成を示す図である。デジタルカメラ１は、例えばバヨネット式のレンズマウント機構等により、撮影レンズＬ１を有する交換レンズ２の着脱が可能に構成されている。デジタルカメラ１は、撮像ユニット１００、制御回路１０１、Ａ／Ｄ変換回路１０２、メモリ１０３、操作部１０８、表示器１０９、ＬＣＤ駆動回路１１０およびメモリカードインタフェース１１１を備える。撮像ユニット１００は、多数のマイクロレンズ１２０が二次元状に配列されたマイクロレンズアレイ１２および撮像素子１３を備える。なお、以下の説明においては、Ｚ軸が撮影レンズＬ１の光軸に平行となるように設定され、Ｚ軸と直交する平面内でＸ軸とＹ軸とが互いに直交する方向に設定されているものとする。

撮影レンズＬ１は、複数の光学レンズ群から構成され、被写体からの光束をその焦点面近傍に結像する。なお、図１では撮影レンズＬ１を説明の都合上１枚のレンズで代表して表している。撮影レンズＬ１の焦点面近傍に、マイクロレンズアレイ１２と撮像素子１３とが順に配置される。撮像素子１３は、複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮像素子１３は、撮像面上に結像されている被写体像を撮像し、制御回路１０１により制御されて被写体像に応じた光電変換信号（画像信号）をＡ／Ｄ変換回路１０２へ出力する。なお、撮像ユニット１００の詳細については説明を後述する。

Ａ／Ｄ変換回路１０２は、撮像素子１３が出力する画像信号にアナログ的な処理をしてからデジタル画像信号に変換する回路である。制御回路１０１は、ＣＰＵやメモリその他の周辺回路によって構成される。制御回路１０１は、不図示のＲＯＭ等に予め格納されている制御プログラムを読み出して実行する。この制御プログラムにより、制御回路１０１は、デジタルカメラ１を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ１の各部に対する制御信号を送出して、撮影動作を制御する。また、制御回路１０１は、後述するように焦点位置入力ボタン１０８ａの操作に応じて操作部１０８から入力した操作信号に基づいて目的画像の焦点位置を決定する。

制御回路１０１は、画像合成部１０５、合成判定部１０６、および合成制御部１０７を機能的に備える。画像合成部１０５は、撮影レンズＬ１の予定焦点面とは異なる任意の焦点面の画像を合成する。合成判定部１０６は、操作部１０８から入力された焦点位置が、合成画像の解像力が低下する所定範囲（後述）内か否かを判定する。合成制御部１０７は、合成判定部１０６の判定に基づき画像合成部１０５を制御して合成画像を作成させ、最終的な画像を出力する。なお、画像合成部１０５、合成判定部１０６、および合成制御部１０７については詳細を後述する。

メモリ１０３は、Ａ／Ｄ変換回路１０２によりデジタル変換された画像信号や、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性の記憶媒体である。メモリカードインタフェース１１１は、メモリカード１１１ａの着脱が可能なインタフェースである。メモリカードインタフェース１１１は、制御回路１０１の制御に応じて、画像データをメモリカード１１１ａに書き込んだり、メモリカード１１１ａに記録されている画像データを読み出すインタフェース回路である。メモリカード１１１ａは、例えばコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。

ＬＣＤ駆動回路１１０は、制御回路１０１の命令に基づいて表示器１０９を駆動する回路である。表示器１０９は液晶パネル等により構成され、再生モードにおいてメモリカード１１１ａに記録されている画像データに基づいて制御回路１０１で作成された表示データの表示を行う。また、表示器１０９には、デジタルカメラ１の各種動作を設定するためのメニュー画面が表示される。

操作部１０８は、ユーザの操作を受け付けて、操作内容に応じた各種の操作信号を制御回路１０１へ出力する。操作部１０８は、焦点位置入力ボタン１０８ａ，電源ボタン，レリーズボタン，その他の設定メニューの表示切換ボタン、設定メニュー決定ボタン等を含む。焦点位置入力ボタン１０８ａは合成画像の焦点位置ｙを入力する際にユーザにより操作される。ユーザにより焦点位置入力ボタン１０８ａが操作され焦点位置ｙが選択されると、操作部１０８はその焦点位置ｙを含む操作信号を制御回路１０１へ出力する。

次に、撮像ユニット１００の構成について、図２に示した撮像ユニット１００の斜視図を用いて詳細に説明する。撮像ユニット１００はマイクロレンズアレイ１２と撮像素子１３とを有する。マイクロレンズアレイ１２は、ＸＹ平面上に二次元状に正方配列された複数のマイクロレンズ１２０を有する。撮像素子１３には、各マイクロレンズ１２０を通過した光を受光する光電変換素子１３０（以下、撮像画素１３０と呼ぶ）が、マイクロレンズ１２０に対応した配置パターンで二次元状に配列されている。撮像素子１３は、マイクロレンズアレイ１２から、マイクロレンズ１２０の焦点距離ｆだけ離れた位置に配置されている。つまり、各マイクロレンズ１２０について、当該マイクロレンズ１２０に対応する複数の撮像画素１３０が、当該マイクロレンズ１２０の焦点距離ｆだけ離れた位置に設けられている。

なお図２には、マイクロレンズアレイ１２に設けられた複数のマイクロレンズ１２０と、撮像素子１３に設けられた複数の撮像画素１３０のうち、その一部のみを図示している。実際には、より多数のマイクロレンズ１２０および撮像画素１３０が存在している。例えば、１つのマイクロレンズ１２０にはおよそ１００程度の撮像画素１３０が被覆されており、従ってマイクロレンズアレイ１２は撮像素子１３が有する撮像画素１３０の数のおよそ１００分の１程度の数のマイクロレンズ１２０を有している。

例えば撮影レンズＬ１の焦点距離が５０ミリメートルとすると、マイクロレンズ１２０の焦点距離ｆは数百マイクロメートル程度（撮影レンズＬ１の焦点距離の１００分の１程度）であるため、撮像素子１３から見ると、撮影レンズＬ１のいわゆる射出瞳の位置は、マイクロレンズ１２０にとってほぼ無限遠と見なすことができる。つまり、撮影レンズＬ１の射出瞳の位置と撮像素子１３の撮像面は、光学的に共役とすることができる。

なお以下では、説明の簡単のため、マイクロレンズ１２０のＦ値と撮影レンズＬ１のＦ値は同一であるものとする。この場合、マイクロレンズ１２０により被覆される撮像画素１３０全体の領域が、撮影レンズＬ１の射出瞳全体を投影したものとなる。このように構成された撮像素子１３の撮像面には、マイクロレンズ１２０で区分される像の、撮影レンズＬ１の射出瞳の位置での光強度分布が示される。

本実施形態の制御回路１０１は、マイクロレンズ１２０の焦点距離ｆの前後２倍程度の位置（＋２ｆ、−２ｆ）の像について合成画像データを生成し、それら２つの合成画像データをメモリ１０３に格納する。以下、実空間で行われる画像合成の原理について説明する。なお画像合成は、撮像素子１３から出力された画像信号をフーリエ変換したフーリエ空間で行ってもよい。

まず、各々のマイクロレンズ１２０につき１つの画素を合成する合成画像の作成原理について説明する。図３は、マイクロレンズアレイ１２および撮像素子１３を模式的に示した断面図である。以下、図３に示したマイクロレンズ１２０ａ〜１２０ｅのうち、中央のマイクロレンズ１２０ｃと、所定位置の像面Ｓにおける合成画素のうち、マイクロレンズ１２０ｃの中心軸ＣＸ上の合成画素Ｐｘとを考える。図３（ａ）には、合成対象の像面Ｓがマイクロレンズ１２０ｃの頂点近傍に位置する場合を示している。図３（ａ）から明らかなように、合成対象の像面Ｓがマイクロレンズ１２０ｃの焦点距離ｆよりも近い位置にある場合、合成画素Ｐｘを構成する光束はマイクロレンズ１２０ｃのみを通過し、他のマイクロレンズ１２０ａ、１２０ｂ、１２０ｄ、１２０ｅには到達しない。

他方、図３（ｂ）に示すように、合成画像の像面Ｓがマイクロレンズ１２０ｃの頂点近傍から焦点距離ｆより離れた場所に位置する場合、合成画素Ｐｘを構成する光束は複数のマイクロレンズに入射する。ここで、図３（ｂ）に示すように、マイクロレンズ１２０ａ〜１２０ｅの焦点距離をｆ、マイクロレンズ１２０ａ〜１２０ｅ同士の間隔をｄ、合成対象の像面からマイクロレンズ１２０ａ〜１２０ｅの頂点までの距離をｙ、特定のマイクロレンズを透過した光束が入射する撮像素子１３上の位置を当該マイクロレンズ中心からの距離で表したものをｘとすると、それらの値の間には次式（１）のような比例関係がある。
ｙ／（ｎｄ） ＝ ｆ／ｘ ・・・（１）

ここでｎは、合成画素Ｐｘに対応するマイクロレンズ１２０ｃからいくつだけ離れたマイクロレンズに上記光束が入射するかを表す無次元数であり、ｎ＝１はそれがマイクロレンズ１２０ｃに隣接するマイクロレンズ１２０ｂ、１２０ｄであることを表す。上式（１）において、焦点距離ｆおよびマイクロレンズ１２０ｃの間隔ｄは定数なので、焦点位置ｙとマイクロレンズ中心からの距離ｘとを決めれば、合成画素Ｐｘからの光束がどのマイクロレンズに入射するのかが判明する。ここでｎは整数であり、離散的な値を採るので、ｎはｙｘ／（ｆｄ）の整数部分ということになる。マイクロレンズ１２０ｃの中心軸ＣＸ上にあって、マイクロレンズ１２０ｃの頂点から距離ｙだけ離れた位置の合成画素は、上式（１）を満たす位置の撮像画素１３０の出力を積算したものである。すなわち、距離ｘの位置の光の強度（撮像画素１３０の出力）をＩ（ｘ）とすれば、合成画素Ｐｘの画素値Ｐは、次式（２）により算出することが可能である。

なお、上式（２）のｘは複数のマイクロレンズに対応する範囲の値を採り、各値がどのマイクロレンズに属するのかは上式（１）により決まる。

次に、以上の考え方を二次元に拡張する。図４は、マイクロレンズアレイ１２を被写体光の入射方向から見た模式図である。いま図４に示すように、マイクロレンズ１２０ｊを区分する格子１２２を考える。この格子１２２のピッチｇは、合成される像の位置（焦点位置ｙ）により決まる。例えば、焦点位置ｙがマイクロレンズ１２０の焦点距離ｆの４倍とすれば、格子１２２のピッチｇは図４に示すようにマイクロレンズ１２０同士の間隔ｄの４分の１となる。

この格子１２２は、マイクロレンズ１２０ｊの中心Ｏに対応する１つの合成画素Ｐｙが、どの撮像画素１３０の出力を積算することにより合成されるのかを表している。以下、この点について図５を用いて説明する。格子１２２は、合計２５個の矩形の区画により構成されている。これは、合成画素Ｐｙが、これら２５個の区画の各々に対応する撮像画素１３０の出力を積算することにより合成されることを表している。

格子１２２内における各区画の位置（中心Ｏからの相対位置）は、その区画が、マイクロレンズ１２０ｊを中心としてどのマイクロレンズ１２０に被覆されている撮像画素１３０に対応しているかを表している。以下、図５を用いてこの点を説明する。図５（ａ）の左側にはマイクロレンズ１２０ｊの拡大図が、図５（ａ）の右側にはマイクロレンズ１２０ｊを中心としてその周囲のマイクロレンズがそれぞれ示されている。ここで、区画１４０ｊは、マイクロレンズ１２０ｊに被覆されている撮像画素１３０のうち、格子１２２内の区画１４０ｊに相当する範囲の撮像画素１３０ｊに対応している。

また、図５（ｂ）に示すように、区画１４０ｊの上辺に隣接する区画１４０ｇは、マイクロレンズ１２０ｊの上辺に隣接するマイクロレンズ１２０ｇに被覆されている撮像画素１３０のうち、格子１２２内の区画１４０ｇに相当する範囲の撮像画素１３０ｇに対応している。マイクロレンズ１２０ｊの中心Ｏに対応する１つの合成画素は、このようにして特定される２５個の範囲の撮像画素１３０の出力を積算したものである。これら２５個の範囲を、図５（ｃ）に示す。このように、焦点位置ｙがマイクロレンズ１２０の焦点距離ｆの４倍である場合、マイクロレンズ１２０ｊの中心Ｏに対応する１つの合成画素は、マイクロレンズ１２０ｊおよびその周辺の２４個のマイクロレンズ１２０により被覆される撮像画素１３０の出力を積算することにより合成され、その撮像画素１３０の位置は図５（ｃ）に示す通りである。

まとめると、マイクロレンズ１２０に被覆されるＮ個の撮像画素１３０が存在し、これらの撮像画素１３０のマイクロレンズ１２０内での位置を当該マイクロレンズ１２０の中心を基準としてｉ，ｊを用いた座標で表し、座標ｉ，ｊの撮像画素１３０が近辺のどのマイクロレンズ１２０に所属するか（対応するか）をｐ，ｑを用いた座標で表すと、ｎ＝１〜ＮのＮ個の合成画素を合成する積算は次式（３）〜（７）により表される。

ここで、式（５）および（６）における関数ηｘ、ηｙを決定するのが、上述した格子１２２による撮像素子１３の撮像面の区分である。格子１２２のピッチｇは、焦点位置ｙがマイクロレンズ１２０の頂点から離れるほど小さくなり、マイクロレンズ１２０の焦点距離ｆと焦点位置ｙとが一致するとき、ピッチｇはマイクロレンズ１２０の間隔ｄと一致する。なお、焦点位置ｙ＝−４ｆの場合、撮像画素１３０の積算パターンは図６のようになる。

以上が、各々のマイクロレンズ１２０につき１つの画素を合成した合成画像の作成原理である。上記処理によれば、マイクロレンズ１２０の中心に対応する位置の合成画素が合成されるが、これではマイクロレンズ１２０の数と同じだけの画素数しか合成されないため、合成画像の解像度はマイクロレンズ１２０の個数に等しくなってしまう。例えばマイクロレンズ１２０により被覆される撮像画素１３０の画素数を１００とすると、解像力は撮像素子１３の本来の解像力の１００分の１になってしまう。仮に撮像素子１３が１０００万画素の撮像素子であれば、合成画像は１０万画素となり、十分な解像力を得られない。

そこで本実施形態では、マイクロレンズ１２０の中心以外の位置に合成画像の画素を設定し、当該画素を合成するための撮像画素１３０の積算パターンを生成する。画像合成部１０５は、この積算パターンに従って撮像画素１３０の出力を積算することにより、１つのマイクロレンズ１２０に対して複数の画素を合成する。以下、この合成方法について述べる。前述の通り、格子１２２のピッチｇ（マイクロレンズ１２０が被覆する領域を分割する格子の倍率）は、焦点位置ｙを表している（対応している）。つまり、合成画素の光軸方向の位置が、格子１２２のピッチｇと対応している。他方、光軸と垂直な方向の位置は、いわば格子１２２の位相と対応しており、格子１２２の基準位置を変更することによりマイクロレンズ１２０の中心以外の位置の合成画素を合成することが可能となる。

以下では一例として、マイクロレンズ１２０を４×４の１６領域に分割し、各領域に対応する画素を合成する方法を説明する。つまり、マイクロレンズ１２０の中心Ｏに対応する合成画素を合成する代わりに、１６領域の各々について当該領域の中心に対応する合成画素を合成する方法を説明する。

図７は、格子１２２を、ピッチｇの４分の１だけ右方向にずらした図である。このように格子１２２をずらし、図５（ａ）〜（ｃ）と同様に積算パターンを求めたものが図８（ａ）〜（ｃ）である。図８（ｃ）に示した各撮像画素１３０の出力を積算することにより、マイクロレンズ１２０の中心Ｏからピッチｇの４分の１だけ右方向にずれた位置の合成画素を合成することができる。同様に、格子１２２を上下方向および左右方向に４分の１ずつずらして積算パターンを導出することにより、マイクロレンズ１２０内の１６点の合成画素を合成することができる。即ち、原理的にはマイクロレンズ１２０の数を１６倍した画素数の合成画像を得ることができる。

ところで、上述した方法により１つのマイクロレンズ１２０毎に複数の画素を合成する場合、焦点位置ｙによっては十分な解像力が得られない場合がある。具体的には、マイクロレンズ１２０の焦点距離をｆとしたとき、焦点位置ｙが＋２ｆ〜−２ｆの範囲において、この範囲の外側に焦点位置ｙを置いた場合に比べて解像力が低下する。これは、そのような位置に焦点位置ｙを設定した場合、上述した撮像画素１３０の積算パターンのバリエーションが減少し、その幾つかが同一のものとなってしまうためである。

つまり、例えば上述したように１つのマイクロレンズ１２０当たり１６個の合成画素を合成するとき、焦点位置ｙが＋２ｆ〜−２ｆの範囲に設定された場合には、それらの合成画素のうちいくつかが同一の出力となってしまう。解像力は焦点位置ｙがマイクロレンズ１２０の頂点に近いほど低下し、特に焦点位置ｙがちょうどマイクロレンズ１２０の頂点に置かれた場合（焦点位置ｙ＝０の場合）には、目的画像の画素数（解像力）はマイクロレンズ１２０の数と等しくなる。すなわち、上述したように１つのマイクロレンズ１２０について１６個の合成画素を合成する場合、それら１６個の合成画素が全て同一になってしまう。

そこで本実施形態のデジタルカメラは、ユーザにより設定された焦点位置ｙが−２ｆ〜＋２ｆの範囲内であった場合、目的画像とは別に、設定された焦点位置ｙ以外の焦点面の画像（以下の説明において補助画像と称する）を合成し、この画像を用いて目的画像の解像力を向上させる。以下、本実施形態のデジタルカメラによる画像合成処理について説明する。

図９は画像合成処理のフローチャートである。制御回路１０１は所定の制御プログラムを実行することにより、この画像合成処理を実行する。まずステップＳ１００では合成制御部１０７が、操作部１０８から入力される焦点位置ｙを受け付ける。ステップＳ１１０では合成判定部１０６が、入力された焦点位置ｙが−２ｆと＋２ｆの間か否かを判定する。入力された焦点位置ｙがこの範囲の外側であった場合、処理はステップＳ１７０に進み、合成制御部１０７が画像合成部１０５を制御し、画像合成部１０５に上述の手法による通常通りの画像合成（１つのマイクロレンズ１２０につき複数の画素を合成する画像合成）を行わせ、目的画像を出力する。制御回路１０１は、ステップＳ１７０において合成制御部１０７から出力された目的画像を、例えばメモリカード１１１ａに格納したり、表示器１０９に表示したりする。他方、合成判定部１０６により、入力された焦点位置ｙが−２ｆと＋２ｆの間であると判定された場合、ステップＳ１２０に進む。

ステップＳ１２０では、合成制御部１０７が画像合成部１０５を制御し、画像合成部１０５に−２ｆの焦点位置の画像（１つ目の補助画像）を合成させる。以下、ここで合成された−２ｆの位置に相当する補助画像をＰ１と称する。続くステップＳ１３０では、ステップＳ１２０と同様に、合成制御部１０７が画像合成部１０５を制御し、画像合成部１０５に＋２ｆの焦点位置の画像（２つ目の補助画像）を合成させる。以下、ここで合成された＋２ｆの位置に相当する補助画像をＰ２と称する。補助画像Ｐ１、Ｐ２は、それぞれメモリ１０３に記憶される。

ステップＳ１４０では、合成制御部１０７が画像合成部１０５を制御し、画像合成部１０５にマイクロレンズ１２０の頂点の位置の画像（つまり、焦点位置ｙ＝０の補助画像）を合成させてメモリ１０３に記憶させる。以下、この３つ目の補助画像をＰ０と称する。補助画像Ｐ０は、前述の通り、マイクロレンズ１２０の数以上の解像力を持たない、低い空間周波数から成る画像である。ステップＳ１５０では、合成制御部１０７が画像合成部１０５を制御し、ステップＳ１００において操作部１０８から入力された焦点位置ｙに基づいて、画像合成部１０５に通常の画像合成を行わせる。以下、ここで合成される目的画像をＰ３と称する。目的画像Ｐ３は、−２ｆ〜＋２ｆの範囲に位置する像面（焦点面）の合成画像であるので、前述の通り解像力がある程度失われている。

ステップＳ１６０では、合成制御部１０７が、ステップＳ１５０で合成された目的画像Ｐ３の各画素について、次式（８）に示した演算を行い、最終的な目的画像Ｐを作成して出力する。

上式（８）において、Ｐ０（ｉ，ｊ）は補助画像Ｐ０の座標（ｉ，ｊ）の合成画素を表す。Ｐ１（ｉ，ｊ）、Ｐ２（ｉ，ｊ）、Ｐ３（ｉ，ｊ）についても同様に、それぞれ補助画像Ｐ１、補助画像Ｐ２、目的画像Ｐ３の座標（ｉ，ｊ）の合成画素を表す。上式（８）の右辺の１つ目の項は、−２ｆの位置の補助画像および＋２ｆの位置の補助画像から得られる空間周波数の高周波成分を表しており、合成制御部１０７はこの成分をある程度解像力が失われている目的画像Ｐ３に加算することにより、最終的な目的画像Ｐを合成している（目的画像Ｐ３の解像力を高めている）。

上述した第１の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
（１）デジタルカメラ１は、撮影レンズＬ１を透過した被写体光が入射するように二次元状に配列された複数のマイクロレンズ１２０と、複数のマイクロレンズ１２０の各々に対応して当該マイクロレンズ１２０の後側の焦点位置近傍に配置され、当該マイクロレンズ１２０を透過した被写体光を受光する複数の撮像画素１３０とを備える。画像合成部１０５は、それら複数の撮像画素１３０の出力に基づいて、撮影レンズＬ１の予定焦点面とは異なる焦点面の画像を合成可能に構成されている。合成制御部１０７は、複数のマイクロレンズ１２０の頂点近傍の焦点面の画像である目的画像と、複数のマイクロレンズ１２０の頂点近傍以外の焦点面の画像である補助画像とが合成されるよう画像合成部１０５を制御し、目的画像に補助画像の高周波成分を加算して出力する。このようにしたので、合成画像の解像力が低下する焦点位置であっても、高解像度の画像を合成することができる。

（２）複数のマイクロレンズ１２０の頂点から、複数のマイクロレンズ１２０の焦点距離ｆの２倍以上離れていない位置が焦点面として入力された場合、合成制御部１０７は目的画像Ｐ３に高周波成分を加算する。このようにしたので、任意の焦点位置で、高解像度の画像を合成することができる。

（３）補助画像Ｐ０およびＰ１を、複数のマイクロレンズ１２０の頂点から、複数のマイクロレンズ１２０の焦点距離ｆの２倍以上離れている位置の焦点面の画像とした。このようにしたので、補助画像Ｐ０およびＰ１は高周波成分を確実に含む画像となり、目的画像Ｐ３へ高周波成分を確実に加算することができる。

（４）合成制御部１０７は、互いに異なる焦点面（複数のマイクロレンズ１２０の焦点距離ｆの２倍だけ、複数のマイクロレンズ１２０の頂点からその前後にそれぞれ離れた位置の焦点面）に対応する複数の補助画像Ｐ１、およびＰ２を画像合成部１０５に合成させ、目的画像Ｐ３にそれら複数の補助画像Ｐ１、およびＰ２の高周波成分を加算して出力する。このようにしたので、高周波成分をより精度よく加算することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上述した式（８）による画像合成において、焦点位置ｙがちょうど−２ｆまたは＋２ｆの位置である合成画像は、その前後の位置の合成画像に比べて空間周波数に大きな差がある。従って、例えば一定の間隔を持って広い範囲に設定された多数の焦点位置ｙについて合成画像を合成し表示する場合に、上記の２つの位置において解像力が急激に変化し、閲覧者に違和感を覚えさせてしまう。このような解像力の変化を穏やかにするために、式（８）を変形し、次式（９）により画像合成を行ってもよい。

式（８）を上記のように変更することにより、例えば合成画像の表示中に当該画像の焦点位置ｙを＋２ｆから＋２ｆ−εに変更する場合であっても、画像の解像力が急激に変化することがなくなる。これにより、閲覧者に違和感を覚えさせることなく焦点位置ｙを変化させることが可能となる。

（変形例２）
焦点位置ｙの入力に応じてリアルタイムに画像合成を行い、合成画像の表示等を行う場合、予め考えられる全焦点位置範囲で離散的な焦点位置の列を決めておき、これらについて事前に画像合成を行っておいてもよい。例えば焦点位置ｙの範囲を±６ミリメートル、マイクロレンズ１２０の焦点距離ｆを３００マイクロメートルとしたとき、−２０ｆ、−１９ｆ、…、−ｆ、０、ｆ、２ｆ、…、２０ｆの４１点について画像合成を予め行い、メモリ１０３に格納する。このようにすることで、合成画像の表示時における制御回路１０１の処理負荷を低減することができる。

（変形例３）
第１の実施の形態では、目的画像Ｐ３の解像力を高めるため、２つの補助画像Ｐ１、Ｐ２から高周波成分を取り出して目的画像Ｐ３に加算していた。本発明はこのような実施形態に限定されない。例えば、補助画像Ｐ１からのみ高周波成分を取り出し、目的画像Ｐ３に加算する構成とした場合であっても、目的画像Ｐ３の解像力を高めることが可能である。また、２つの補助画像Ｐ１、Ｐ２から高周波成分を取り出すために、低周波成分のみからなる補助画像Ｐ０を利用していたが、これ以外の方法により補助画像Ｐ１（および／またはＰ２）から高周波成分を取り出してもよい。

（変形例４）
補助画像Ｐ１、Ｐ２の焦点面の位置は、それぞれ−２ｆと＋２ｆ以外の位置であってもよい。マイクロレンズ１２０の頂点から、少なくともマイクロレンズ１２０の焦点距離ｆの２倍以上離れていれば、目的画像Ｐ３に加算する高周波成分を取り出すことができる。

（変形例５）
上述した実施形態では、マイクロレンズアレイ１２における各マイクロレンズ１２０の配列を正方配列としたが、本発明はこのような配列に限定されない。例えば、各マイクロレンズ１２０を略六角形にし、ハニカム状に配列してもよい。

（変形例６）
第１の実施の形態では、本発明をデジタルカメラに適用した例について説明したが、本発明はこのような実施形態に限定されるものではない。例えば、撮像ユニット１００からの出力信号が入力されると、解像力の高い目的画像を出力する画像処理装置に対して本発明を適用することも可能である。この場合、画像処理装置自体は撮像ユニット１００を備えていなくてもよい。また、撮像ユニット１００からの出力信号（撮像素子１３からの出力信号）は、例えばメモリーカード等の可搬性の記憶媒体に格納して入力してもよいし、電気通信回線等を介して入力してもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…デジタルカメラ、２…交換レンズ、１２…マイクロレンズアレイ、１３…撮像素子、１００…撮像ユニット、１０１…制御回路、１０３…メモリ、１０５…画像合成部、１０６…合成判定部、１０７…合成制御部、１０８…操作部、１２０…マイクロレンズ、１３０…撮像画素

Claims (5)

1. 結像光学系を透過した被写体光が入射するように二次元状に配列された複数のマイクロレンズと、
   前記複数のマイクロレンズの各々に対応して当該マイクロレンズの後側の焦点位置近傍に配置され、当該マイクロレンズを透過した前記被写体光を受光する複数の受光素子と、
   前記複数の受光素子の出力に基づいて、前記結像光学系の予定焦点面とは異なる焦点面の画像を合成可能な画像合成手段と、
   前記複数のマイクロレンズの頂点近傍の焦点面の画像である目的画像と、前記複数のマイクロレンズの頂点近傍以外の焦点面の画像である補助画像とが合成されるよう前記画像合成手段を制御し、前記目的画像に前記補助画像の高周波成分を加算して出力する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記目的画像は、前記複数のマイクロレンズの頂点から、前記複数のマイクロレンズの焦点距離の２倍以上離れていない位置の焦点面の画像であることを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記補助画像は、前記複数のマイクロレンズの頂点から、前記複数のマイクロレンズの焦点距離の２倍以上離れている位置の焦点面の画像であることを特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置において、
   前記制御手段は、互いに異なる焦点面に対応する複数の前記補助画像を前記画像合成手段に合成させ、前記目的画像にそれら複数の補助画像の高周波成分を加算して出力することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記制御手段は、前記複数のマイクロレンズの焦点距離の２倍だけ、前記複数のマイクロレンズの頂点からその前後にそれぞれ離れた位置の焦点面の前記補助画像を前記画像合成手段に合成させることを特徴とする画像処理装置。