JP2009169025A - 撮像装置およびデジタルカメラ - Google Patents

Abstract

【課題】ライブビュー撮像モードが利用可能であり、ライブビュー撮像モードの際の高速な合焦動作を実現しつつ、利便性を向上させることが可能なデジタルカメラを提供する。
【解決手段】表示部３６により、ライブビュー撮像モードが利用可能となる。また、このライブビュー撮像モードの際に、撮像装置１内で生成される２つの視差画像間ＤＲ，ＤＬの位相差を検出して撮像レンズ１１の駆動距離ｘを算出すると共に、この算出された駆動距離ｘを用いて撮像レンズ１１の合焦動作を行う。これにより、ライブビュー撮像モードの際にも、位相差ＡＦを利用した合焦動作が実現可能となる。また、従来の問題点も回避されるため、利便性も向上する。
【選択図】図１

Description

本発明は、マイクロレンズアレイを用いた撮像装置、およびそのような撮像装置を備えたデジタルカメラに関する。

従来、一眼レフレックス（一眼レフ）デジタルカメラにおいて、撮影レンズの後方に配置された撮像素子により撮像される画像をリアルタイムに画像表示用ＬＣＤ（Liquid Crystal Display）へ映し出すライブビュー表示（スルー表示）を可能にする方法が提案されている。例えば特許文献１には、可動ミラーを撮影光学系の光路から退避させると共に撮像素子の前面に配置されたシャッタを開放状態にした状態で、被写体像を撮像素子に投影させることにより、その映像を画像表示用ＬＣＤに表示するようにしたデジタルカメラが提案されている。なお、このデジタルカメラでは、ライブビュー表示状態において、光学ファインダは使えない状態になっている。

また、例えば特許文献２には、一眼レフデジタルカメラにおいてハーフミラーで構成された可動ミラーを用いることにより、被写体像の観察モードとして、光学ファインダによる観察モード（ファインダ観察モード）と、画像表示用ＬＣＤを用いた観察モード（ライブビュー表示モード）とを切り換え可能にしたものが開示されている。このデジタルカメラでは、ライブビュー表示モード時、可動ミラーが撮影光学系の光路から退避されるようになっている。

なお、このようなライブビュー表示モードについては、他にも例えば特許文献３などにも開示されている。

特開２００１−２７２５９３号公報 特開２００１−１８６４０１号公報 特開２００７−１４２８６８

しかしながら、上述した特許文献１および特許文献２に開示されたデジタルカメラでは、ライブビュー表示モードのもとでのＡＦ（合焦）動作時に、上記のように測距用の光路を持てないため、いわゆる位相差ＡＦを利用することができない。したがって、撮像素子で取り込まれた画像情報を用いたコントラスト方式による合焦動作となる。ところが、このコントラスト方式による合焦動作では合焦速度が遅くなるため、従来のレンズ交換式の一眼レフカメラの持ち味である、タイムラグが少ないという利点が著しく損なわれてしまうことになる。

また、上述した特許文献３に開示されたデジタルカメラでは、ライブビュー表示時と測距時との間でミラーの切り替えが必要となるため、振動が生じてしまうなどの問題があった。

なお、銀塩式一眼レフカメラでは、クイックリターンミラー（可動ミラー）の代わりにペリクル薄膜固定式ハーフミラーを用いることにより、被写体光線を、光学ファインダ側とフィルム側とへ分離して導くようにしたものが提案されている。この銀塩式一眼レフカメラによれば、クイックミラーの動作時間を削ることができるため、ＡＦ導光ミラーおよびシャッタ動作のみの機構により、高速速写が可能となる。

そこで、この方式をデジタルカメラに適用する場合を考えると、ペリクル薄膜固定式ハーフミラーを用いて被写体光線を透過光線と反射光線とに分離し、一方の光線を位相差ＡＦに利用すると共に他方の光線を撮像素子に導くようにすれば、常時開状態のシャッタを用いることにより、ライブビュー表示モードによるリアルタイムの画像表示を実現しつつ、合焦動作時に位相差ＡＦの利用が可能となる。

しかしながら、この構成（ハーフミラーを用いた構成）では光学ファインダによる観測（ファインダ観察モード）時、ライブビュー表示機能を使用していないときでも光学ファインダ側への入射光量が落ちてしまうことから、光学ファインダから観察する被写体像が暗くなり、使いにくい場合が生じる。

本発明はかかる問題点に鑑みてなされたもので、その目的は、ライブビュー表示モードを利用した撮像モード（ライブビュー撮像モード）が利用可能であり、ライブビュー撮像モードの際の高速な合焦動作を実現しつつ利便性を向上させることが可能なデジタルカメラ、およびそのようなデジタルカメラに用いられる撮像装置を提供することにある。

本発明の撮像装置は、撮像光学系を含んで構成された撮像装置と、この撮像装置により得られる撮像データに基づき被写体の撮像画像を表示する表示手段とを含んで構成されたデジタルカメラに適用されるものであって、撮像光学系としての撮像レンズおよびマイクロレンズアレイ部と、受光した光に基づいて撮像データを取得する撮像素子と、測距手段と、この測距手段により算出された駆動距離を用いて撮像レンズの合焦動作を行う合焦手段と、切替手段とを備えたものである。ここで、上記測距手段は、撮像素子により得られた撮像データに基づいて画像処理を行うことにより、撮像レンズの合焦動作の際の撮像レンズの駆動距離を算出するものである。また、上記切替手段は、少なくとも撮像レンズの合焦動作の際には、マイクロレンズアレイ部による撮像光学系としての機能を発揮させるようにマイクロレンズアレイの機能の切替動作を行うものである。また、上記マイクロレンズアレイ部は、撮像素子の複数の撮像画素に対して１つのマイクロレンズを有するようになっている。

本発明のデジタルカメラは、上記撮像装置と、上記表示手段とを備えたものである。

本発明の撮像装置およびデジタルカメラでは、表示手段により、表示された被写体像の撮像画像を見て撮像を行うライブビュー撮像モードが利用可能となる。また、切替手段によって、少なくとも撮像レンズの合焦動作の際には、撮像装置内のマイクロレンズアレイ部による撮像光学系としての機能が発揮されるように切替動作がなされることにより、撮像装置ではライブビュー撮像モードの際に、撮像レンズによる被写体像がマイクロレンズアレイ部上に結像すると共にこのマイクロレンズアレイ部へ入射した光線が撮像素子へ到達し、各マイクロレンズに対応する複数の撮像画素で受光されることにより、光の進行方向の情報を含んだ撮像データが得られる。ここで、測距手段では、この撮像データ基づいて画像処理がなされることにより、撮像レンズの合焦動作の際の撮像レンズの駆動距離が算出され、この算出された移動距離を用いて、合焦手段により撮像レンズの合焦動作がなされる。すなわち、ライブビュー撮像モードの際にも、撮像データに基づく画像処理により、位相差ＡＦを利用した合焦動作が可能となる。また、従来のように、観察光学系による観察時に観察光学系側への入射光量が減少したり、ライブビュー表示時と測距時との間でのミラーの切り替えによる振動が発生したりすることもない。

本発明の撮像装置およびデジタルカメラでは、上記切替手段が、撮像レンズの合焦動作の際には、マイクロレンズアレイ部による撮像光学系としての機能を発揮させる一方、撮像動作の際には、マイクロレンズアレイ部による撮像光学系としての機能を発揮させないように、マイクロレンズアレイ部の機能の切替動作を行うようにしてもよい。このように構成した場合、撮像動作時の撮像光学系が撮像レンズのみとなるため、この撮像素子による被写体像が撮像素子上に直接結像することとなる。したがって、撮像素子により得られる撮像データが上記したような光の進行方向の情報を含まないものとなるため、そのような情報を含んでいる場合と比べ、撮像動作により得られる撮像画像が、高解像度のものとなる。

本発明のデジタルカメラでは、撮像光学系からの被写体像を観察するための観察光学系と、この観察光学系の光入射側または撮像光学系の光路上に挿脱自在に設けられた可動ミラーと、撮像装置における撮像モードに応じた合焦動作および撮像動作に従って可動ミラーを駆動するミラー駆動手段とを備えると共に、上記可動ミラー駆動手段が、表示手段により表示された被写体の撮像画像を見て撮像を行うライブビュー撮像モードでは、撮像レンズの合焦動作および撮像動作の際に、可動ミラーを観察光学系の光入射側の光路上に配置させる一方、観察光学系により被写体像を観察して撮像を行うファインダ観察撮像モードでは、撮像レンズの合焦動作の際には可動ミラーを撮像光学系の光路上に配置させると共に、撮像動作の際には前記可動ミラーを前記観察光学系の光入射側の光路上に配置させるようにしてもよい。このように構成した場合、ミラー駆動手段によって、撮像装置による撮像モードに応じた合焦動作および撮像動作に従って可動ミラーが光路上に適切に挿脱されることにより、観察光学系により被写体像を観察して撮像を行うファインダ観察撮像モードと、表示手段により表示された被写体像の撮像画像を見て撮像を行うライブビュー撮像モードとが、利用可能となる。すなわち、ファインダ観察モードでは、撮像レンズの合焦動作の際には可動ミラーが撮像光学系の光路上に配置されることにより、観察光学系を利用して被写体像の観察および位相差ＡＦによる合焦動作が可能となる一方、撮像動作の際には可動ミラーが観察光学系の光入射側の光路上に配置されることにより、撮像装置の撮像光学系を利用して撮像動作がなされる。また、ライブビュー撮像モードでは、撮像レンズの合焦動作および撮像動作の際に、可動ミラーが観察光学系の光入射側の光路上に配置されることにより、撮像装置および表示手段を利用した被写体像の撮像画像の視認（ライブビュー表示）が可能となると共に、撮像装置の撮像光学系を利用した合焦動作および撮像動作が可能となる。

本発明の撮像装置またはデジタルカメラによれば、表示手段によって、ライブビュー撮像モードを利用することが可能となる。また、ライブビュー撮像モードの際に、撮像素子により得られる撮像データに基づいて撮像レンズの駆動距離を算出すると共に、この算出された駆動距離を用いて撮像レンズの合焦動作を行うようにしたので、ライブビュー撮像モードの際にも位相差ＡＦを利用した合焦動作を行うことができ、ライブビュー撮像モードの際の高速な合焦動作を実現することが可能となる。また、従来のように、観察光学系による観察時に観察光学系側への入射光量が減少したり、ライブビュー表示時と測距時との間でのミラーの切り替えによる振動が発生したりすることもないので、従来よりも利便性を向上させることが可能となる。よって、ライブビュー撮像モードが利用可能となると共に、このライブビュー撮像モードの際の高速な合焦動作を実現しつつ、利便性を向上させることが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係るデジタルカメラ（デジタルカメラ３）の要部構成を断面図で表したものである。このデジタルカメラ３は、いわゆる一眼レフレックス（一眼レフ）デジタルカメラであり、筐体３０の内部に、本発明の第１の実施の形態に係る撮像装置（撮像装置１）と、可動ミラー３１と、図示しないミラー駆動部（後述するミラー駆動部３１０）と、ペンタプリズム３２と、集光レンズ３３と、接眼レンズ３４と、ファインダ３５と、表示部３６と、図示しない表示駆動部（後述する表示駆動部３６０）とを備えている。なお、ペンタプリズム３２、集光レンズ３３、接眼レンズ３４およびファインダ３５は、デジタルカメラ３の観察光学系（以下説明する撮像光学系からの被写体像を観察するための光学系）を構成している。

撮像装置１は、被写体（撮像対象物）を撮像して撮像データを出力するものである。この撮像装置１は、開口部１００を有する開口絞り１０と、デジタルカメラ３の撮像光学系としての撮像レンズ１１およびマイクロレンズアレイ１２と、撮像素子１３とを含んで構成されている。なお、撮像装置１の詳細構成については後述する。

可動ミラー３１は、図示しないミラー駆動部（後述するミラー駆動部３１０）により、上記した観察光学系の光入射側または撮像光学系の光路上に挿脱自在となるように配置されている。具体的には、詳細は後述するが、図１に示したようなペンタプリズム３２と撮像装置１との間の光路上（ペンタプリズム３２の下部）、またはマイクロレンズアレイ１２の光入射側（撮像レンズ１１とマイクロレンズアレイ１２との間の光路上）に配置されるようになっている。なお、この可動ミラー３１は、入射光線を全反射させることが可能な材料（例えば、アルミ増反射コーティングやマルチコーティングなど）により構成される。

ペンタプリズム３２は、入射光を９０度の角度で反射させて出射することにより、入射光をファインダ３５の方向へと導くためのプリズムである。集光レンズ３３は、ペンタプリズム３２からの入射光を集光するためのレンズであり、接眼レンズ３４は、ファインダ３５を介して、撮影者の片方の目（後述する片方の目Ｅ）において実際に観察するためのレンズである。

表示部３６は、撮像装置１により得られる撮像データに基づき、図示しない表示駆動部（後述する表示駆動部３６０）による表示駆動に従って、被写体像を表示するものである。これにより詳細は後述するが、例えば図２に示したように、この表示部３６により被写体像を表示すること（ライブビュー表示）が可能となると共に、この表示部３６により表示された被写体像を見て撮像を行うライブビュー撮像モードが可能となっている。また、表示部３６では、このようなライブビュー撮像モードや、ファインダ３５により被写体像を観察して撮像を行うファインダ観察撮像モードを用いて、図中のシャッタボタン３７を押すことにより撮像された撮像画像を表示することもできるようになっている。なお、表示部３５は、例えば、液晶パネルや有機ＥＬパネルなどを含んで構成される。

次に、図３〜図７を参照して、撮像装置１の詳細構成について説明する。図３は、撮像装置１の全体構成を、デジタルカメラ３の筐体３０内に設けられた前述のミラー駆動部３１０および表示駆動部３６０と共に表したものである。

この撮像装置１は、被写体（撮像対象物）２を撮像して撮像データＤoutを出力するものであり、被写体２の側から、開口絞り１０と、撮像レンズ１１と、撮像ユニット１５とを備えている。撮像装置１はまた、画像処理部１４と、撮像素子駆動部１６１と、撮像レンズ駆動部１６２と、制御部１７と、位相差検出部１９１と、距離情報算出部１９２とを備えている。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０は、例えば図中に示したように、その中央部に一つの円形の開口部１００を有している。これにより、詳細は後述するが、開口絞り１０を通過した全ての光線が、その進行方向に関する情報を保持するようになっている。

撮像レンズ１１は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。

撮像ユニット部１５は、撮像を行う際の撮像機能を担う部分であり、マイクロレンズアレイ１２と、撮像素子１３と、一対のバイメタル１８１Ａ，１８１Ｂとを含んで構成されている。なお、この撮像ユニット部１５の詳細構成については、後述する。

撮像素子駆動部１６１は、撮像素子１３を駆動してその受光動作の制御を行うものである。

画像処理部１４は、ライブビュー撮像モードの際などに、撮像素子１３で得られた撮像データに対して所定の画像処理（並び替え処理を含む画像処理）を施すことにより、撮像データＤoutを生成し出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いた演算処理を行い、これにより任意の視点からの観察画像や任意の焦点からの観察画像を再構築できるようになっている。なお、この画像処理部１４の処理動作の詳細については、後述する。

位相差検出部１９１は、撮像素子１３により得られた撮像データに対して、上記画像処理部１４と同様にして所定の画像処理（並び替え処理を含む画像処理）を施すことにより、互いに視差の異なる２つの視差画像（２つの視点からの観察画像）を生成する（再構築する）と共に、これら２つの視差画像間の位相差を検出するものである。なお、この位相差検出部１９１の処理動作の詳細については、後述する。

距離情報算出部１９２は、位相差検出部１９１により検出された２つの視差画像間の位相差を用いて、撮像レンズ１１の合焦動作の際の撮像レンズ１１の駆動距離を算出するものである。なお、この距離情報算出部１９２の処理動作の詳細については、後述する。

なお、これら位相差検出部１９１および距離情報算出部１９２が、本発明における「測距手段」の一具体例に対応する。

撮像レンズ駆動部１６２は、距離情報算出部１９２により算出された駆動距離を用いて撮像レンズ１１を光軸方向に平行移動させる（駆動する）ことにより、撮像レンズ１１の合焦動作を行うものである。撮像レンズ駆動部１６２は、例えばＤＣモータなどにより構成される。なお、この撮像レンズ駆動部１６２が、本発明における「合焦手段」の一具体例に対応する。

ミラー駆動部３１０は、撮像装置１における撮像モードに応じた合焦動作および撮像動作に従って、前述の可動ミラー３１を駆動するものである。なお、このミラー駆動部３１０の詳細動作については、後述する。

表示駆動部３６０は、撮像素子１３により得られた撮像データ、または画像処理部１４による画像処理後の撮像データ（前述の再構築画像を構成する撮像データ）に基づく撮像画像が表示部３６に表示されるように、表示部３６の表示駆動を行うものである。

制御部１７は、画像処理部１４、撮像素子駆動部１６１、ミラー駆動部３１０、表示駆動部３６０および後述する撮像ユニット１５内の熱供給部（熱供給部１８２Ａ，１８２Ｂ）の動作を制御するものである。具体的には、撮像素子駆動部１６１の駆動動作を適宜制御すると共に、詳細は後述するが、撮像装置１における撮像モードに応じた合焦動作および撮像動作に従って、画像処理部１４、撮像ユニット１５（具体的には、後述する熱供給部１８２Ａ，１８２Ｂ）、ミラー駆動部３１０および表示駆動部３６０の動作を制御するようになっている。なお、制御部１７は、例えばマイクロコンピュータなどにより構成される。

ここで、図４〜図７を参照して、撮像ユニット部１５の詳細構成について説明する。この撮像ユニット部１５には、図４に示したように、筐体１５０内に、マイクロレンズアレイ１２、撮像素子１３、バイメタル１８１Ａ，１８１Ｂおよび熱供給部１８２Ａ，１８２Ｂが配置されている。

マイクロレンズアレイ１２は、例えば図５に示したように、複数のマイクロレンズ１２−１をマトリクス状に２次元配列したものであり、光軸方向に沿って撮像素子１３と互いに近接（好ましくは密着）するように配置されている。また、このマイクロレンズアレイ１２は、図３に示したように、後述するライブビュー撮像モード時に、撮像レンズ１１の焦点面（図３中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されるようになっている。なお、各マイクロレンズ１２−１は、その平面形状が円形となっており、固体レンズや液晶レンズ、液体レンズ、回折レンズなどにより構成される。

撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データを取得するものである。この撮像素子１３は、図３に示したように、後述するライブビュー撮像モード時に、マイクロレンズアレイ１２の焦点面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されるようになっている。なお、撮像素子１３は、マトリクス状に２次元配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元撮像素子などにより構成される。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（後述する画素Ｐ）がマトリクス状に２次元配置され、複数の画素Ｐに対してマイクロレンズアレイ１２内の１つのマイクロレンズ１２−１が割り当てられるようになっている。この受光面上の画素Ｐの個数は、例えば、Ｍ×Ｎ＝３７２０×２５２０＝９３７４４００個である。ここで、各マイクロレンズ１２−１に割り当てられる画素数（ｍ×ｎ）は、再構築画像の任意の視野での分解能と関連しているため、これらｍ，ｎの値が大きくなるに従って、再構築画像の任意の視野での分解能が高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の画素数（解像度）と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の画素数が高くなる。したがって、再構築画像の任意の視野での分解能と画素数とはトレードオフの関係となっている。

なお、撮像素子１３の受光面上に、例えば図示しないカラーフィルタを、撮像画素（後述する画素Ｐ）単位で２次元配置するようにしてもよい。カラーフィルタとしては、例えば、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタ（赤色カラーフィルタ、緑色カラーフィルタおよび青色カラーフィルタ）がＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を用いることができる。このようなカラーフィルタを撮像素子１３の受光面上に設けるようにすれば、撮像素子１３により得られた撮像データを、カラーフィルタの色に対応した複数の色（この場合、３原色）の画素データ（カラーの画素データ）とすることができる。

バイメタル１８１Ａ，１８１Ｂはそれぞれ、図４に示したように、マイクロレンズアレイ１２または撮像素子１３の端部に配置されている。これらバイメタル１８１Ａ，１８１Ｂは、例えば図６（Ａ）に示したように、互いに熱膨張率の異なる２つの金属板１８１Ａ１，１８１Ａ２が積層されてなり、それらの端部が支持部１８１Ａ０によって支持されるようになっている。なお、金属板１８１Ａ１は、例えばインバー（鉄とニッケルとの合金）などにより構成され、金属板１８１Ａ２は、例えば、鉄とニッケルとの合金にマンガンやクロム、銅などを添加した合金などにより構成される。

熱供給部１８２Ａ，１８２Ｂはそれぞれ、バイメタル１８１Ａ，１８１Ｂの近傍、具体的には、熱膨張率がより高い金属板側（この場合、金属板１８１Ａ２等のマイクロレンズアレイ１２とは反対側）の近傍に配置されている。このような構成により、例えば図６（Ｂ）に示したように、バイメタル１８１Ａ，１８１Ｂに対して熱供給部１８２Ａ，１８２Ｂからそれぞれ所定の熱量Ｑが供給されると、２つの金属板の熱膨張率の違いに起因してバイメタル１８１Ａ，１８１Ｂの形状が変化し、より熱膨張率の小さい金属板側（例えば、金属板１８１Ａ１等の側）にバイメタル１８１Ａ，１８１Ｂが反るようになっている。なお、これら熱供給部１８２Ａ，１８２Ｂおよび上記バイメタル１８１Ａ，１８１Ｂが、本発明における「切替手段」および「第１の駆動部」の一具体例に対応する。

このようにして、撮像ユニット部１５では、以下のようなマイクロレンズアレイ１２の機能の切替動作がなされるようになっている。すなわち、熱供給部１８２Ａ，１８２Ｂからバイメタル１８１Ａ，１８１Ｂへの熱供給の有無（または熱供給量の大きさ）に応じてバイメタル１８Ａ，１８Ｂの形状が変化することにより、マイクロレンズアレイ１２が光軸方向に変位するようになっている。

具体的には、熱供給部１８２Ａ，１８２Ｂからバイメタル１８１Ａ，１８１Ｂへ熱供給がなされていない場合、図６（Ａ）に示したようにバイメタル１８１Ａ，１８１Ｂの形状は変化しないため、例えば図７（Ａ）に示したように、マイクロレンズアレイ１２および撮像素子１３は互いに近接（または密着）したままとなる。したがって、撮像レンズ１１からの入射光はマイクロレンズアレイ１２において屈折されず、そのまま撮像素子１３へ到達することになるため、マイクロレンズアレイ１２による撮像光学系としての機能が発揮されなくなる。

一方、熱供給部１８２Ａ，１８２Ｂからバイメタル１８１Ａ，１８１Ｂへ熱供給がなされている場合、図６（Ｂ）に示したようにバイメタル１８１Ａ，１８１Ｂの形状が変化して反り生じるため、例えば図７（Ｂ）中の符号Ｐ１で示したように、マイクロレンズアレイ１２が光軸方向に沿って撮像素子１３とは反対側（撮像レンズ１１側）に変位し、これによりマイクロレンズアレイ１２と撮像素子１３との間の相対距離が変化し、マイクロレンズアレイ１２が筐体１５０に近接（または密着）するようになっている。また、このようにマイクロレンズアレイ１２が筐体１５０に近接（または密着）する位置となった場合、前述（図３）のようにマイクロレンズアレイ１２と撮像素子１３との間の相対距離がマイクロレンズアレイ１２の焦点距離ｆ２と一致（または略同一）となるように設定されていることにより、撮像レンズ１１からの入射光がマイクロレンズアレイ１２において屈折され、撮像素子１３上に集光するようになるため、マイクロレンズアレイ１２による撮像光学系としての機能が発揮されるようになる。

次に、図８〜図１９を参照して、本実施の形態のデジタルカメラ３および撮像装置１の作用および効果について詳細に説明する。ここで、図８は、デジタルカメラ３による撮像処理を流れ図で表したものである。

まず、ユーザによって、ライブビュー撮像モード（表示部３６により表示された被写体像を見て撮像を行う撮像モード）を利用するか否かが選択されることにより、制御部１７は、ライブビュー撮像モードを実行するか否かを判断する（図８のステップＳ１０１）。実行すると判断した場合（ステップＳ１０１：Ｙ）、以下のステップＳ１０２〜Ｓ１０９，Ｓ１１７によるライブビュー撮像モードがなされる一方、実行しないと判断した場合（ステップＳ１０１：Ｎ）、以下のステップＳ１１０〜Ｓ１１７によるファインダ観察撮像モード（ファインダ３５により被写体像を観察して撮像を行う撮像モード）がなされることとなる。

（ライブビュー撮像モード）
最初に、図８〜図１７を参照して、ライブビュー撮像モードによる撮像処理について説明する。まず、制御部１７は、撮像ユニット１５内の熱供給部１８２Ａ，１８２Ｂの動作を制御することにより、図７（Ｂ）および図９に示したように、マイクロレンズアレイ１２を光軸方向に沿って変位させ、マイクロレンズアレイ１２と撮像素子１３との間の相対距離がマイクロレンズアレイ１２の焦点距離ｆ２と一致（または略同一）となるように駆動する（撮像素子と離すようにする）（ステップＳ１０２）。これにより、撮像レンズ１１からの入射光がマイクロレンズアレイ１２において屈折され、撮像素子１３上に集光するようになり、マイクロレンズアレイ１２による撮像光学系としての機能が発揮されるようになる。次に、制御部１７は、ミラー駆動部３１０の動作を制御することにより、図９に示したように、可動ミラー３１が、ペンタプリズム３２と撮像装置１との間の観察光学系の光路上（ペンタプリズム３２の下部）に配置されるようにする（メインミラーアップ）（ステップＳ１０３）。そして図９に示したように、このような撮像レンズ１１およびマイクロレンズアレイ１２を撮像光学系として撮像素子１３により撮像データを取得すると共に、この撮像素子１３により得られた撮像データまたは以下説明する画像処理部１４による画像処理後の撮像データに基づいて表示駆動部３６０が表示駆動を行うことにより、例えば図２に示したような、表示部３６を用いたライブビュー表示がなされる（ステップＳ１０４）。

ここで、図１０および図１１を参照して、撮像レンズ１１およびマイクロレンズアレイ１２を撮像光学系とした撮像動作、ならびに画像処理部１４において行われる画像処理（並び替え処理を含む画像処理）の一例（「Light Field Photography」）について説明する。

ステップＳ１０４において、撮像装置１では、撮像レンズ１１による被写体２の像は、例えば図５に示したような各マイクロレンズ１２−１の形状（円形状）に応じて、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３へ到達し、例えば図１０に示したように、開口絞り１０の円形状が投影された受光領域１３−１において受光がなされ、撮像素子１３により撮像データが得られる。このとき、マイクロレンズアレイ１２への入射光線は、その入射方向に応じて、撮像素子１３の異なる位置で受光される。より具体的には、各マイクロレンズ１２−１に割り当てられた画素Ｐの位置により、光線の入射方向が決定される。ここで、この各マイクロレンズ１２−１に割り当てられる画素Ｐが配置された領域（再構築画素領域１３Ｄ）が、再構築画像の一画素分に相当する。

このようにして撮像素子１３で得られた撮像データは、画像処理部１４へ入力する。そして画像処理部１４では、この撮像データに対して所定の画像処理（例えば、任意視点演算処理やリフォーカス演算処理）が施され、これにより画像処理後の撮像データＤoutが、撮像装置１の出力データ（再構築画像の画像データ）として出力される。具体的には、例えば図１１に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_Ｆ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズ１２−１に割り当てられた複数の画素Ｐの配置により、光線の入射方向が決まることとなる。

次に、このようなライブビュー表示がなされている状況下、制御部１７は、ユーザによる測距指示（撮像レンズ１１の合焦動作の際に用いられる、撮像レンズ１１の駆動距離の算出処理の指示）の有無を判断する（ステップＳ１０５）。そのような測距指示がないと判断した場合には（ステップＳ１０５：Ｎ）、後述するステップＳ１０９へと進む一方、測距指示があったと判断した場合には（ステップＳ１０５：Ｙ）、次に、位相差検出部１９１および距離情報算出部１９２によって、位相差ＡＦ（オートフォーカス）を利用した測距動作を行う（ステップＳ１０６）と共に、そのような測距動作により算出された撮像レンズ１１の駆動距離を用いて、撮像レンズ駆動部１６２によって、撮像レンズ１１の合焦動作（フォーカスレンズ駆動）を行う（ステップＳ１０７）。

ここで、図１２〜図１６を参照して、位相差ＡＦを利用した測距動作および撮像レンズ１１の合焦動作について、詳細に説明する。

まず、本実施の形態の撮像装置１では、例えば図１２に示したように、ステップＳ１０４において撮像素子１３により得られる撮像データに基づいて、位相差検出部１９１により、前述の画像処理部１４による画像処理（並び替え処理を含む画像処理）と同様にして、撮像データに対して画像処理を施すことにより、互いに異なる２つの視差画像（２つの異なる視点による任意視点画像：図中の矢印Ｐ２で示したように、互いに異なる２つの視差による光線ＬＲ，ＬＬによる視差画像）が生成されると共に、これら２つの視差画像間の位相差（例えば図中に示した位相差Δφのように、光線ＬＲによる視差画像の位相φＲと、光線ＬＬによる視差画像の位相φＬとの間の位相差）が検出される。

具体的には、位相差検出部１９１では、まず、例えば図１３に示したように、光線ＬＲによる視差画像（任意視点画像）ＤＲと光線ＬＬによる視差画像（任意視点画像）ＤＬとのＤｉｓｐａｒｉｔｙが、以下のようにして算出される。すなわち、例えば図１３（Ａ）に示したように、視差画像ＤＲ内の小領域の部分画像Ａ１（中心座標：（ｘ１，ｙ１））を取り出すと共に、この部分画像Ａ１と同じ小領域の部分画像Ｂ１（中心座標：（ｘ１，ｙ１）を視差画像ＤＬの中から取り出し、この部分画像Ｂ１の位置を移動させつつ、以下の（１）式による画素相関値が逐次計算される。そしてこの画素相関値が最大となる位置の部分画像Ｂ１の中心点が、部分画像Ａ１の中心点に対応する点として検出される。このときのＰｉｘｅｌずれが、上記したＤｉｓｐａｒｉｔｙに対応する。なお、このような演算処理が、小領域の部分画像Ａ１の取り出し位置を変化させつつ、視差画像ＤＲの全面についてなされることにより、Ｄｉｓｐａｒｉｔｙ Ｍａｐ（Ｄｉｓｐａｒｉｔｙの集合）が得られる。

次に、距離情報算出部１９２では、位相差検出部１９１により検出された２つの視差画像ＤＲ，ＤＬ間の位相差（Ｄｉｓｐａｒｉｔｙ）を用いて、例えば図１４および図１５に示したように、撮像レンズ１１の物体側焦点面をＤ、撮像レンズ１１の焦点距離をＦ、測定対象までの距離をｄ、Ｄｉｓｐａｒｉｔｙを求めたときの開口部１００の大きさをｖ、距離Ｄの物体を撮像したときの撮像レンズ１１の像側焦点面をｆ、距離ｄの物体を撮像したときの撮像レンズ１１の像側焦点面をｇ、距離ｄの物体をｖの大きさの開口部１００を用いて計算された（Ｄｉｓｐａｒｉｔｙ×撮像素子１３の画素Ｐの大きさ×マイクロレンズアレイ１２の一辺の長さに対する撮像素子１３の画素Ｐの割り当て画素数）の値をｈとすると、以下の（２）〜（１０）式により、合焦動作の際の撮像レンズ１１の駆動距離ｘが算出される。

すなわち、まず、相似関係により、以下の（２）式が得られると共に、図１４および図１５により、ｅ＝（ｇ−ｆ）であるため、これを（２）式に代入することにより、以下の（３）式が得られ、この（３）式により以下の（４）式が得られる。また、撮像レンズ１１の結像式により、以下の（５）式および（６）式が得られるため、（５）式を（４）式に代入することにより、以下の（７）式が得られると共に、（６）式により以下の（８）式が得られる。したがって、（８）式を（７）式に代入することにより、以下の（９）式が得られるため、この（９）式中においてＦ，Ｄ，ｖの値が既知のものであれば、算出されたＤｉｓｐａｒｉｔｙを用いることにより、距離ｄが得られる。よって、撮像レンズ１１の結像式により以下の（１０）式が得られるため、駆動距離ｘだけ撮像レンズ１１が移動することにより、ｄの位置にある物体（被写体）がｆの面に結像することになる。
（ｈ／ｅ）＝（ｖ／ｇ） …（２）
｛ｈ／（ｇ−ｆ）｝＝（ｖ／ｇ） …（３）
（１／ｇ）＝（１／ｆ）×｛１−（ｈ／ｖ）｝ …（４）
（１／Ｆ）＝（１／ｇ）＋（１／ｄ） …（５）
（１／Ｆ）＝（１／Ｄ）＋（１／ｆ） …（６）
（１／ｄ）＝（１／Ｆ）−［（１／ｆ）×｛１−（ｈ／ｖ）｝］ …（７）
ｆ＝Ｆ×｛Ｄ／（Ｄ−Ｆ）｝ …（８）
（１／ｄ）＝（１／Ｆ）−［１／｛Ｆ×Ｄ／（Ｄ−Ｆ）｝×｛１−（ｈ／ｖ）｝］
…（９）
（１／Ｆ）＝｛１／（ｄ＋ｘ）｝＋｛１／（ｆ−ｘ）｝ …（１０）

このようにして、距離情報算出部１９２では、（１０）式により合焦動作の際の撮像レンズ１１の駆動距離ｘが算出される。これにより、例えば図１６中の矢印Ｐ３で示したように、撮像レンズ１１の合焦動作がなされる（ステップＳ１０７）。

次に、制御部１７は、ユーザによる測距指示の有無を再び判断する（ステップＳ１０８）。そのような測距指示がないと判断した場合には（ステップＳ１０８：Ｎ）、ステップＳ１０９へと進む一方、測距指示があったと判断した場合には（ステップＳ１０８：Ｙ）、ステップＳ１０６，Ｓ１０７における測距動作および合焦動作を再び行う。

次に、制御部１７は、撮像ユニット１５内の熱供給部１８２Ａ，１８２Ｂの動作を制御することにより、図７（Ａ）および図１７中の矢印Ｐ４で示したように、マイクロレンズアレイ１２を光軸方向に沿って変位させ、マイクロレンズアレイ１２と撮像素子１３とが互いに近接（または密着）するように駆動する（ステップＳ１０９）。これにより、撮像レンズ１１からの入射光がマイクロレンズアレイ１２において屈折されず、そのまま撮像素子１３へ到達することにより、マイクロレンズアレイ１２による撮像光学系としての機能が発揮されなくなる。

次に、撮像装置１では、撮像レンズ１１のみを撮像光学系として撮像動作がなされ（ステップＳ１１７）、撮像素子１３から得られた撮像データを基に表示駆動部３６０により表示駆動がなされることにより、表示部３６において撮像画素の表示がなされる（ステップＳ１１８）。これにより、ライブビュー撮像モードによる撮像処理が完了となる。

（ファインダ観察撮像モード）
次に、図８および図１８，図１９を参照して、ファインダ観察撮像モードによる撮像処理について説明する。まず、例えば図１８に示したように、マイクロレンズアレイ１２を光軸方向に沿って変位させ、マイクロレンズアレイ１２と撮像素子１３とが互いに近接（または密着）するように駆動する（ステップＳ１１０）。これにより、マイクロレンズアレイ１２による撮像光学系としての機能が発揮されなくなる。次に、制御部１７は、ミラー駆動部３１０の動作を制御することにより、図１８に示したように、可動ミラー３１が、撮像光学系の光路上（撮像レンズ１１とマイクロレンズアレイ１２との間の光路上）に配置されるようにする（メインミラーダウン）（ステップＳ１１１）。これにより、図１８に示したように、観察者（ユーザ）の片方の目Ｅによるファインダ３５を利用した被写体像の観察が可能となる。

次に、このようなファインダ３５を利用した被写体像の観察がなされている状況下、制御部１７は、ユーザによる測距指示の有無を判断する（ステップＳ１１２）。そのような測距指示がないと判断した場合には（ステップＳ１１２：Ｎ）、後述するステップＳ１１５へと進む一方、測距指示があったと判断した場合には（ステップＳ１１２：Ｙ）、次に、制御部１７は、従来より用いられている通常の位相差ＡＦ（オートフォーカス）を利用した測距動作を行う（ステップＳ１１３）と共に、そのような測距動作により算出された撮像レンズ１１の駆動距離を用いて、撮像レンズ駆動部１６２によって、例えば図１９（Ａ）中の矢印Ｐ５で示したように、撮像レンズ１１の合焦動作（フォーカスレンズ駆動）を行う（ステップＳ１１４）。

次に、制御部１７は、ユーザによる測距指示の有無を再び判断する（ステップＳ１１５）。そのような測距指示がないと判断した場合には（ステップＳ１１５：Ｎ）、ステップＳ１１６へと進む一方、測距指示があったと判断した場合には（ステップＳ１１５：Ｙ）、ステップＳ１１３，Ｓ１１４における測距動作および合焦動作を再び行う。

次に、制御部１７は、ミラー駆動部３１０の動作を制御することにより、例えば図１９（Ｂ）中の矢印Ｐ６で示したように、可動ミラー３１が、ペンタプリズム３２と撮像装置１との間の観察光学系の光路上（ペンタプリズム３２の下部）に配置されるようにする（メインミラーアップ）（ステップＳ１１６）。そして撮像装置１では、撮像レンズ１１のみを撮像光学系として撮像動作がなされ（ステップＳ１１７）、撮像素子１３から得られた撮像データを基に表示駆動部３６０により表示駆動がなされることにより、表示部３６において撮像画素の表示がなされる（ステップＳ１１８）。これにより、ファインダ観察撮像モードによる撮像処理が完了となる。

このようにして本実施の形態の撮像装置１およびデジタルカメラ３では、ミラー駆動部３１０によって、撮像装置１による撮像モード（ライブビュー撮像モードまたはファインダ観察撮像モード）に応じた合焦動作および撮像動作に従って、可動ミラー３１が光路上に適切に挿脱されることにより、ファインダ観察撮像モードとライブビュー撮像モードとが、利用可能となる。すなわち、ファインダ観察モードでは、撮像レンズ１１の合焦動作の際には可動ミラー３１が撮像光学系の光路上に配置されることにより、観察光学系を利用して被写体像の観察および位相差ＡＦによる合焦動作が可能となる一方、撮像動作の際には可動ミラー３１が観察光学系の光入射側の光路上に配置されることにより、撮像装置１の撮像光学系を利用して撮像動作がなされる。また、ライブビュー撮像モードでは、撮像レンズ１１の合焦動作および撮像動作の際に、可動ミラー３１が観察光学系の光入射側の光路上に配置されることにより、撮像装置１および表示部３６を利用した被写体像の撮像画像の視認（ライブビュー表示）が可能となると共に、撮像装置１の撮像光学系を利用した合焦動作および撮像動作が可能となる。

また、バイメタル１８１Ａ，１８１Ｂおよび熱供給部１８２Ａ，１８２Ｂによって、少なくとも撮像レンズ１１の合焦動作の際には、撮像装置１内のマイクロレンズアレイ１２による撮像光学系としての機能が発揮されるように切替動作がなされることにより、撮像装置１ではライブビュー撮像モードの際に、撮像レンズ１１による被写体像がマイクロレンズアレイ１２上に結像すると共にこのマイクロレンズアレイ１２へ入射した光線が撮像素子１３へ到達し、各マイクロレンズ１２−１に対応する複数の画素Ｐで受光されることにより、光の進行方向の情報を含んだ撮像データが得られる。ここで、位相差検出部１９１および距離情報算出部１９２では、この撮像データ基づいて画像処理がなされることにより、互いに視差の異なる２つの視差画像ＤＲ，ＤＬが生成されると共に、これら２つの視差画像ＤＲ，ＤＬ間の位相差Δφ（Ｄｉｓｐａｒｉｔｙ）が検出されることにより、撮像レンズ１１の合焦動作の際の撮像レンズ１１の駆動距離ｘが算出され、この算出された移動距離ｘを用いて、撮像レンズ駆動部１６２により撮像レンズ１１の合焦動作がなされる。すなわち、ライブビュー撮像モードの際にも、撮像装置１内で生成される２つの視差画像ＤＲ，ＤＬを用いることにより、位相差ＡＦを利用した合焦動作が可能となる。

さらに、本実施の形態の撮像装置１およびデジタルカメラ３では、従来のように、観察光学系による観察時に観察光学系側への入射光量が減少したり、ライブビュー表示時と測距時との間でのミラーの切り替えによる振動が発生したりすることもない。

以上のように本実施の形態では、表示部３６により、ライブビュー撮像モードが利用可能となる。また、ライブビュー撮像モードの際に、撮像装置１内で生成される２つの視差画像間ＤＲ，ＤＬの位相差Δφ（Ｄｉｓｐａｒｉｔｙ）を検出して撮像レンズ１１の駆動距離ｘを算出すると共に、この算出された駆動距離ｘを用いて撮像レンズ１１の合焦動作を行うようにしたので、ライブビュー撮像モードの際にも位相差ＡＦを利用した合焦動作を行うことができ、ライブビュー撮像モードの際の高速な合焦動作を実現することが可能となる。また、従来のように、観察光学系による観察時に観察光学系側への入射光量が減少したり、ライブビュー表示時と測距時との間でのミラーの切り替えによる振動が発生したりすることもないので、従来よりも利便性を向上させることが可能となる。よって、ライブビュー撮像モードが利用可能となると共に、このライブビュー撮像モードの際の高速な合焦動作を実現しつつ、利便性を向上させることが可能となる。

また、バイメタル１８１Ａ，１８１Ｂおよび熱供給部１８２Ａ，１８２Ｂにより、撮像レンズ１１の合焦動作の際には、マイクロレンズアレイ１２による撮像光学系としての機能を発揮させる一方、撮像動作の際には、マイクロレンズアレイ１２による撮像光学系としての機能を発揮させないようにしたので、撮像動作時の撮像光学系が撮像レンズ１１のみとなり、この撮像素子１１による被写体像を、撮像素子１３上に直接結像させることができる。よって、撮像素子１３により得られる撮像データが光の進行方向の情報を含まないものとなるため、そのような情報を含んでいる場合と比べ、撮像動作により得られる撮像画像を、高解像度のものとすることが可能となる。

さらに、撮像装置１による撮像モードに応じた合焦動作および撮像動作に従って可動ミラー３１を光路上に適切に挿脱させるようにしたので、ファインダ観察撮像モードとライブビュー撮像モードとの両者を利用することが可能となる。

なお、本実施の形態では、バイメタル１８１Ａ，１８１Ｂおよび熱供給部１８２Ａ，１８２Ｂをマイクロレンズアレイ１２の撮像素子１３側に配置し、熱供給がないときにマイクロレンズアレイ１２が撮像光学系としての機能を発揮しないようにすると共に熱供給があるときにマイクロレンズアレイ１２が撮像光学系としての機能を発揮するようにした場合について説明したが、例えば図２０（Ａ），図２０（Ｂ）に示した撮像ユニット部１５Ａのように、逆に、バイメタル１８１Ａ，１８１Ｂおよび熱供給部１８２Ａ，１８２Ｂをマイクロレンズアレイ１２の撮像素子１３とは反対側に配置し、熱供給がないとき（図２０（Ａ））にマイクロレンズアレイ１２が撮像光学系としての機能を発揮するようになると共に、熱供給があるとき（図２０（Ｂ））に、図中の符号Ｐ７で示したように、マイクロレンズアレイ１２が撮像光学系としての機能を発揮しないようにしてもよい。このように構成した場合でも、本実施の形態と同様の効果を得ることが可能である。

また、本実施の形態では、マイクロレンズアレイ１２を光軸方向に変位させることにより、マイクロレンズアレイ１２と撮像素子１３との間の相対距離を変化させる場合について説明したが、例えば、撮像素子１３を光軸方向に変位させることにより、マイクロレンズアレイ１２と撮像素子１３との間の相対距離を変化させるようにしてもよい。このように構成した場合でも、本実施の形態と同様の効果を得ることが可能である。

また、本実施の形態では、本発明における「切替手段」の一具体例として、マイクロレンズアレイ１２または撮像素子１３の端部に配置されたバイメタル１８１Ａ，１８１Ｂと、これらバイメタル１８１Ａ，１８１Ｂに対して熱を供給する熱供給部１８２Ａ，１８２Ｂとを挙げて説明したが、これらバイメタル１８１Ａ，１８１Ｂおよび熱供給部１８２Ａ，１８２Ｂの代わりに、マイクロレンズアレイ１２または撮像素子１３の端部に配置された圧電アクチュエータ（例えば、チタン酸ジルコン酸塩（通称ＰＺＴ）や、チタン酸バリウム（ＢａＴｉＯ_３）などにより構成される）と、これら圧電アクチュエータに対して電圧を供給する電圧供給部とを用いるようにしてもよい。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

図２１は、本実施の形態の撮像装置（撮像装置１Ａ）の全体構成を、本実施の形態のデジタルカメラ（後述するデジタルカメラ３Ａ）の筐体３０内に設けられたミラー駆動部３１０および表示駆動部３６０と共に表したものである。この撮像装置１Ａは、第１の実施の形態の撮像装置１において、撮像装置ユニット１５の代わりに、マイクロレンズアレイ１２、撮像素子１３および回転駆動部１８３を設けるようにしたものである。

マイクロレンズアレイ１２は、複数のマイクロレンズ１２−１をマトリクス状に２次元配列したものであり、撮像レンズ１１の結像面上（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。

撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。

回転駆動部１８３は、例えば回転軸１８３Ａを有するＤＣモータなどにより構成されており、マイクロレンズアレイ１２を撮像光学系の光路上から挿脱自在となるように駆動するものである。具体的には、図中の矢印Ｐ８で示したように、マイクロレンズアレイ１２を回転駆動することにより、マイクロレンズアレイ１２が撮像光学系の光路上から挿脱自在となるようにしている。なお、この回転駆動部１８３が、本発明における「切替手段」および「第２の駆動部」の一具体例に対応する。

これにより、回転駆動部１８３では、撮像レンズ１１の合焦動作の際には、例えば図２２（Ａ）に示したように、マイクロレンズアレイ１２と撮像素子１３との間の相対距離がマイクロレンズアレイ１２の焦点距離ｆ２と略同一となるようにマイクロレンズアレイ１２を撮像光学系の光路上に挿入配置することにより、マイクロレンズアレイ１２による撮像光学系としての機能を発揮させるようになっている。一方、撮像動作の際には、例えば図２２（Ｂ）中の矢印Ｐ９で示したように、マイクロレンズアレイ１２が撮像光学系の光路上から外れるようにマイクロレンズアレイ１２を配置することにより、マイクロレンズアレイ１２による撮像光学系としての機能を発揮させないようになっている。

次に、図２３〜図２５を参照して、本実施の形態のデジタルカメラ３Ａおよび撮像装置１Ａの作用および効果について詳細に説明する。ここで、図２３は、デジタルカメラ３Ａによる撮像処理を流れ図で表したものである。

まず、第１の実施の形態と同様に、ユーザによって、ライブビュー撮像モードを利用するか否かが選択されることにより、制御部１７は、ライブビュー撮像モードを実行するか否かを判断する（図２３のステップＳ２０１）。実行すると判断した場合（ステップＳ２０１：Ｙ）、以下のステップＳ２０２〜Ｓ２０９，Ｓ２１７によるライブビュー撮像モードがなされる一方、実行しないと判断した場合（ステップＳ２０１：Ｎ）、以下のステップＳ２１０〜Ｓ２１７によるファインダ観察撮像モードがなされることとなる。

（ライブビュー撮像モード）
最初に、図２３および図２４を参照して、ライブビュー撮像モードによる撮像処理について説明する。まず、制御部１７は、回転駆動部１８３の動作を制御することにより、図２２（Ａ）および図２４（Ａ）に示したように、マイクロレンズアレイ１２と撮像素子１３との間の相対距離がマイクロレンズアレイ１２の焦点距離ｆ２と略同一となるように、マイクロレンズアレイ１２を撮像光学系の光路上に挿入配置させる（ステップＳ２０２）。これにより、マイクロレンズアレイ１２による撮像光学系としての機能が発揮されるようになる。次に、制御部１７は、ミラー駆動部３１０の動作を制御することにより、図２４（Ａ）に示したように、可動ミラー３１が、ペンタプリズム３２と撮像装置１との間の観察光学系の光路上（ペンタプリズム３２の下部）に配置されるようにする（メインミラーアップ）（ステップＳ２０３）。これにより、図２４（Ａ）および図２に示したように、表示部３６を用いたライブビュー表示がなされる（ステップＳ２０４）。

次に、ステップＳ２０５〜Ｓ２０８では、第１の実施の形態のステップＳ１０５〜１０８と同様にして、ライブビュー表示がなされている状況下、位相差検出部１９１および距離情報算出部１９２による位相差ＡＦを利用した測距動作がなされ（ステップＳ２０６）、これにより例えば図２４（Ｂ）中の矢印Ｐ１０で示したように、撮像レンズ１１の合焦動作（フォーカスレンズ駆動）がなされる（ステップＳ２０７）。

次に、制御部１７は、回転駆動部１８３の動作を制御することにより、図２２（Ｂ）および図２４（Ｃ）中の矢印Ｐ１１で示したように、マイクロレンズアレイ１２が撮像光学系の光路上から外れるようにマイクロレンズアレイ１２を配置させる（ステップＳ２０９）。これにより、マイクロレンズアレイ１２による撮像光学系としての機能が発揮されなくなる。そして撮像装置１では、撮像レンズ１１のみを撮像光学系として撮像動作がなされ（ステップＳ２１７）、表示部３６において撮像画素の表示がなされる（ステップＳ２１８）。これにより、ライブビュー撮像モードによる撮像処理が完了となる。

（ファインダ観察撮像モード）
次に、図２３および図２５を参照して、ファインダ観察撮像モードによる撮像処理について説明する。まず、制御部１７は、回転駆動部１８３の動作を制御することにより、例えば図２５（Ａ）中の矢印Ｐ１３で示したように、マイクロレンズアレイ１２が撮像光学系の光路上から外れるようにマイクロレンズアレイ１２を配置させる（ステップＳ２１０）。これにより、マイクロレンズアレイ１２による撮像光学系としての機能が発揮されなくなる。次に、制御部１７は、ミラー駆動部３１０の動作を制御することにより、図２５（Ａ）に示したように、可動ミラー３１が、撮像光学系の光路上（撮像レンズ１１とマイクロレンズアレイ１２との間の光路上）に配置されるようにする（メインミラーダウン）（ステップＳ２１１）。これにより、図２５（Ａ）に示したように、観察者（ユーザ）の片方の目Ｅによるファインダ３５を利用した被写体像の観察が可能となる。

次に、ステップＳ２１２〜Ｓ２１５では、第１の実施の形態のステップＳ１１２〜１１５と同様にして、ファインダ３５を利用した被写体像の観察がなされている状況下、制御部１７による通常の位相差ＡＦ（オートフォーカス）を利用した測距動作がなされ（ステップＳ２１３）、これにより例えば図２５（Ｂ）中の矢印Ｐ１２で示したように、撮像レンズ１１の合焦動作（フォーカスレンズ駆動）がなされる（ステップＳ２１４）。

次に、制御部１７は、ミラー駆動部３１０の動作を制御することにより、例えば図２５（Ｃ）中の矢印Ｐ１４で示したように、可動ミラー３１が、ペンタプリズム３２と撮像装置１との間の観察光学系の光路上（ペンタプリズム３２の下部）に配置されるようにする（メインミラーアップ）（ステップＳ２１６）。そして撮像装置１では、撮像レンズ１１のみを撮像光学系として撮像動作がなされ（ステップＳ２１７）、表示部３６において撮像画素の表示がなされる（ステップＳ２１８）。これにより、ファインダ観察撮像モードによる撮像処理が完了となる。

以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、ライブビュー撮像モードが利用可能となると共に、このライブビュー撮像モードの際の高速な合焦動作を実現しつつ、利便性を向上させることが可能となる。

具体的には、回転駆動部１８３によってマイクロレンズアレイ１２を回転駆動することにより、マイクロレンズアレイ１２が撮像光学系の光路上から挿脱自在となるようにしたので、上記の効果を得ることが可能となる。

また、本実施の形態においても、撮像装置１による撮像モードに応じた合焦動作および撮像動作に従って可動ミラー３１を光路上に適切に挿脱させるようにしたので、第１の実施の形態と同様に、ファインダ観察撮像モードとライブビュー撮像モードとの両者を利用することが可能となる。

なお、本実施の形態では、図２１中の矢印Ｐ８で示したように、回転駆動部１８３によってマイクロレンズアレイ１２を、光軸を含む平面内で回転駆動させる（紙面内で回転駆動させる）場合について説明したが、例えば、回転駆動部１８３によってマイクロレンズアレイ１２を、光軸に垂直な平面内で回転駆動させる（紙面に垂直な平面内で回転駆動させる）ようにしてもよい。このように構成した場合でも、本実施の形態と同様の効果を得ることが可能である。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、第１の実施の形態または第２の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

図２６は、本実施の形態の撮像装置（撮像装置１Ｂ）の全体構成を、本実施の形態のデジタルカメラ（後述するデジタルカメラ３Ｂ）の筐体３０内に設けられたミラー駆動部３１０および表示駆動部３６０と共に表したものである。この撮像装置１Ｂは、第１の実施の形態の撮像装置１において、撮像装置ユニット１５の代わりに、マイクロレンズアレイ１２Ｂ、撮像素子１３および電圧供給部１６３を設けるようにしたものである。

マイクロレンズアレイ１２Ｂは、複数のマイクロレンズ１２Ｂ−１をマトリクス状に２次元配列したものであり、撮像レンズ１１の結像面上（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。なお、このマイクロレンズアレイ１２Ｂの詳細構成は、後述する。

撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。

電圧供給部１６３は、マイクロレンズアレイ１２Ｂ内のマイクロレンズ１２Ｂ−１に対して電圧を供給するものであり、この電圧の供給の有無に応じて、マイクロレンズアレイ１２Ｂによる撮像光学系としての機能の切替動作を行うようになっている。なお、この電圧供給部１６３は、本発明における「切替手段」の一具体例に対応する。

次に、図２７および図２８を参照して、マイクロレンズアレイ１２Ｂの詳細構成および作用について説明する。ここで図２７は、マイクロレンズアレイ１２の断面構成を表したものである。

このマイクロレンズアレイ１２Ｂでは、対向する一対の基板１２１，１２５間に液晶層１２３が形成され、この液晶層１２３と基板１２１，１２５との間には、それぞれ、電極１２２，１２４が形成されている。

基板１２１，１２５は、それぞれ、例えばガラス基板などの透明基板により構成され、入射光線を透過可能となっている。電極１２２，１２４には、電圧供給部撮像モード切替部１５から電圧が供給される。これら電極１２２，１２４は、それぞれ、例えばＩＴＯ（Indium Tin Oxide；酸化インジウムスズ）などの透明電極により構成され、基板１２１，１２５と同様に、入射光線を透過可能となっている。電極１２２，１２４の表面Ｓ１１，Ｓ１２のうち、電極１２２側の表面Ｓ１１には、凹状の複数の曲面がマトリクス状に形成され、これにより複数の液晶マイクロレンズの電極１２２を構成するようになっている。液晶層１２３は、例えばネマティック液晶などの液晶材料により構成され、電極１２２，１２４間に印加される電圧に応じて屈折率が変化するようになっている。

なお、様々な波長領域の光を含んだ自然光を撮像に利用する場合には、電極１２２側の表面Ｓ１１を非球面とし、マイクロレンズ１２Ｂ−１を非球面レンズとするのが好ましい。球面レンズで構成した場合と比べて曲率を小さくなり、光学設計が容易になるからである。また、回折レンズで構成した場合と比較すると、入射光を屈折させる際の波長依存性がなくなるため、軸上色収差などのおそれを回避し、様々な波長領域の光を含んだ自然光による撮像に適した構成とすることができるからである。なお、単色光を用いたイメージング用途などの場合には、上記のような波長依存性や軸上色収差の問題がないため、逆に回折レンズで構成したほうが、非球面レンズで構成した場合と比べて優れた光学特性を得ることができると考えられる。

このような構成によりマイクロレンズアレイ１２Ｂでは、電圧供給部１６３から電極１２２，１２４間への電圧供給の有無に応じて液晶層１２３の屈折率が変化し、マイクロレンズアレイ１２Ｂへの入射光線の進行方向が変化するようになっている。

具体的には、電圧供給部１６３から電極１２２，１２４間へ電圧供給がなされていない場合、液晶層１２３の屈折率は変化しないため、例えば図２８（Ａ）に示したように、マイクロレンズアレイ１２Ｂへの入射光線はマイクロレンズアレイ１２Ｂにおいて屈折されず、光軸Ｌ０に沿ってそのまま進行する。これにより、マイクロレンズアレイ１２による撮像光学系としての機能が発揮しないようになる。

一方、電圧供給部１６３から電極１２２，１２４間へ電圧供給がなされている場合、液晶層１２３の屈折率が変化するため、例えば図２８（Ｂ）に示したように、マイクロレンズアレイ１２Ｂへの入射光線がマイクロレンズアレイ１２Ｂにおいて屈折され、例えば光軸Ｌ０上の焦点Ｐ１５に集光する。これにより、マイクロレンズアレイ１２による撮像光学系としての機能が発揮するようになる。

次に、図２９〜図３１を参照して、本実施の形態のデジタルカメラ３Ｂおよび撮像装置１Ｂの作用および効果について詳細に説明する。ここで、図２９は、デジタルカメラ３Ｂによる撮像処理を流れ図で表したものである。

まず、第１の実施の形態と同様に、ユーザによって、ライブビュー撮像モードを利用するか否かが選択されることにより、制御部１７は、ライブビュー撮像モードを実行するか否かを判断する（図２９のステップＳ３０１）。実行すると判断した場合（ステップＳ３０１：Ｙ）、以下のステップＳ３０２〜Ｓ３０９，Ｓ３１７によるライブビュー撮像モードがなされる一方、実行しないと判断した場合（ステップＳ３０１：Ｎ）、以下のステップＳ３１０〜Ｓ３１７によるファインダ観察撮像モードがなされることとなる。

（ライブビュー撮像モード）
最初に、図２９および図３０を参照して、ライブビュー撮像モードによる撮像処理について説明する。まず、制御部１７は、電圧供給部１６３の動作を制御することにより、図２８（Ｂ）および図３０（Ａ）に示したように、マイクロレンズアレイ１２Ｂによる撮像光学系としての機能が発揮される（凸レンズとして機能する）ようにする（ステップＳ３０２）。次に、制御部１７は、ミラー駆動部３１０の動作を制御することにより、図３０（Ａ）に示したように、可動ミラー３１が、ペンタプリズム３２と撮像装置１との間の観察光学系の光路上（ペンタプリズム３２の下部）に配置されるようにする（メインミラーアップ）（ステップＳ３０３）。これにより、図３０（Ａ）および図２に示したように、表示部３６を用いたライブビュー表示がなされる（ステップＳ２０４）。

次に、ステップＳ３０５〜Ｓ３０８では、第１の実施の形態のステップＳ１０５〜１０８と同様にして、ライブビュー表示がなされている状況下、位相差検出部１９１および距離情報算出部１９２による位相差ＡＦを利用した測距動作がなされ（ステップＳ３０６）、これにより例えば図３０（Ｂ）中の矢印Ｐ１６で示したように、撮像レンズ１１の合焦動作（フォーカスレンズ駆動）がなされる（ステップＳ３０７）。

次に、制御部１７は、電圧供給部１６３の動作を制御することにより、図２８（Ａ）および図３０（Ｃ）に示したように、マイクロレンズアレイ１２Ｂによる撮像光学系としての機能が発揮されない（平板として機能する）ようにする（ステップＳ３０９）。そして撮像装置１では、撮像レンズ１１のみを撮像光学系として撮像動作がなされ（ステップＳ３１７）、表示部３６において撮像画素の表示がなされる（ステップＳ３１８）。これにより、ライブビュー撮像モードによる撮像処理が完了となる。

（ファインダ観察撮像モード）
次に、図２９および図３１を参照して、ファインダ観察撮像モードによる撮像処理について説明する。まず、制御部１７は、電圧供給部１６３の動作を制御することにより、例えば図３１（Ａ）に示したように、マイクロレンズアレイ１２Ｂによる撮像光学系としての機能が発揮されない（平板として機能する）ようにする（ステップＳ３１０）。次に、制御部１７は、ミラー駆動部３１０の動作を制御することにより、図３１（Ａ）に示したように、可動ミラー３１が、撮像光学系の光路上（撮像レンズ１１とマイクロレンズアレイ１２Ｂとの間の光路上）に配置されるようにする（メインミラーダウン）（ステップＳ３１１）。これにより、図３１（Ａ）に示したように、観察者（ユーザ）の片方の目Ｅによるファインダ３５を利用した被写体像の観察が可能となる。

次に、ステップＳ３１２〜Ｓ３１５では、第１の実施の形態のステップＳ１１２〜１１５と同様にして、ファインダ３５を利用した被写体像の観察がなされている状況下、制御部１７による通常の位相差ＡＦ（オートフォーカス）を利用した測距動作がなされ（ステップＳ３１３）、これにより例えば図３１（Ｂ）中の矢印Ｐ１７で示したように、撮像レンズ１１の合焦動作（フォーカスレンズ駆動）がなされる（ステップＳ３１４）。

次に、制御部１７は、ミラー駆動部３１０の動作を制御することにより、例えば図３０（Ｃ）中の矢印Ｐ１８で示したように、可動ミラー３１が、ペンタプリズム３２と撮像装置１との間の観察光学系の光路上（ペンタプリズム３２の下部）に配置されるようにする（メインミラーアップ）（ステップＳ３１６）。そして撮像装置１では、撮像レンズ１１のみを撮像光学系として撮像動作がなされ（ステップＳ３１７）、表示部３６において撮像画素の表示がなされる（ステップＳ３１８）。これにより、ファインダ観察撮像モードによる撮像処理が完了となる。

以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、ライブビュー撮像モードが利用可能となると共に、このライブビュー撮像モードの際の高速な合焦動作を実現しつつ、利便性を向上させることが可能となる。

具体的には、マイクロレンズアレイ１２Ｂが、印加電圧に応じて入射光線の屈折方向を変位可能な複数のマイクロレンズ１２Ｂ−１により構成されると共に、電圧供給部１６３によって各マイクロレンズ１２Ｂ−１に電圧を印加するようにしたので、上記のような効果を得ることが可能となる。

また、電圧供給部１６３によって、撮像レンズ１１の合焦動作の際には、マイクロレンズ１２Ｂ−１への電圧供給を実行することにより、マイクロレンズアレイ１２Ｂによる撮像光学系としての機能を発揮させる一方、撮像動作の際には、電圧供給を停止することにより、マイクロレンズアレイ１２Ｂによる撮像光学系としての機能を発揮させないようにしたので、上記のような効果を得ることが可能となる。

さらに、本実施の形態においても、撮像装置１による撮像モードに応じた合焦動作および撮像動作に従って可動ミラー３１を光路上に適切に挿脱させるようにしたので、第１および第２の実施の形態と同様に、ファインダ観察撮像モードとライブビュー撮像モードとの両者を利用することが可能となる。

なお、本実施の形態の構成とは逆に、電圧供給部１６３によって、撮像レンズ１１の合焦動作の際には、マイクロレンズ１２Ｂ−１への電圧供給を停止することにより、マイクロレンズアレイ１２Ｂによる撮像光学系としての機能を発揮させる一方、撮像動作の際には、電圧供給を実行することにより、マイクロレンズアレイ１２Ｂによる撮像光学系としての機能を発揮させないようにしてもよい。このように構成した場合でも、本実施の形態と同様の効果を得ることが可能である。

以上、第１〜第３の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態では、撮像レンズ１１の合焦動作の際には、マイクロレンズアレイ１２，１２Ｂによる撮像光学系としての機能を発揮させる一方、撮像動作の際には、マイクロレンズアレイ１２，１２Ｂによる撮像光学系としての機能を発揮させないように、マイクロレンズアレイ１２，１２Ｂの機能の切替動作を行うようにした場合について説明したが、例えば、少なくとも撮像レンズ１１の合焦動作の際において、マイクロレンズアレイ１２，１２Ｂによる撮像光学系としての機能を発揮させるようにマイクロレンズアレイ１２，１２Ｂの機能の切替動作を行うようにしてもよい。すなわち、撮像動作の際にもマイクロレンズアレイ１２，１２Ｂによる撮像光学系としての機能を発揮させるようにし、画像処理部１４による再構築画像を表示部３６に表示させるようにしてもよい。

また、上記実施の形態では、位相差検出部１９１において、互いに視差の異なる２つの視差画像に基づいてその間の位相差を検出するようにしたが、これに限定されず、例えば３つ以上の視差画像のうちの少なくとも２つの視差画像に基づいて位相差を検出するようにしてもよい。

また、上記実施の形態では、デジタルカメラ内に、観察光学系（ペンタプリズム３２、集光レンズ３３、接眼レンズ３４およびファインダ３５）、可動ミラー３１およびミラー駆動部３１０が設けられている場合について説明したが、これら観察光学系、可動ミラー３１およびミラー駆動手段３１０は、必ずしもデジタルカメラ内に設けられていなくてもよい。

また、上記実施の形態では、マイクロレンズアレイ１２が撮像素子１３の撮像面の全面に対応して配置されている場合について説明したが、これに限定されず、例えば、マイクロレンズアレイが、撮像素子１３の撮像面の一部分にのみ対応して配置されているようにしてもよい。

また、上記実施の形態では、画像処理部１４を、撮像装置１，１Ａ，１Ｂの構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、デジタルカメラ３，３Ａ，３Ｂの筐体３０内において、画像処理部を撮像装置とは別に設けておくと共に、この画像処理部によって、撮像装置で得られた撮像データに対して画像処理施すようにすることも可能である。

また、上記実施の形態では、開口絞り１０の位置を撮像レンズの被写体側（入射側）に配置した構成としているが、これに限定されず、撮像レンズの像側（出射側）あるいは、撮像レンズ内部に設けられた構成であってもよい。

また、上記実施の形態では、カラーフィルタの一例として、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を挙げて説明したが、他の配列のカラーフィルタを用いるようにしてもよい。例えば、黄（Ｙ）、マゼンダ（Ｍ）、シアン（Ｃ）および緑（Ｇ）の４補色のカラーフィルタ（黄色カラーフィルタ、マゼンダカラーフィルタ、シアンカラーフィルタおよび緑色カラーフィルタ）がＹ：Ｍ：Ｃ：Ｇ＝１：１：１：１の比率で市松状に配置されたカラーフィルタ（補色フィルタ）を用いるようにしてもよい。

さらに、上記実施の形態では、画像処理部１４において行われる並び替え処理を含む画像処理の一例として、「Light Field Photography」を利用した任意視点演算処理およびリフォーカス演算処理について説明したが、そのような並び替え処理を含む画像処理としてはこれには限られず、例えば、焦点ぼかし処理や被写体深度調整処理などに対して適用するようにしてもよい。

本発明の第１の実施の形態に係るデジタルカメラの要部構成を表す断面図である。 図１に示したデジタルカメラの構成例を表す背面図である。 図１に示した撮像装置の全体構成を表す図である。 図３に示したマイクロレンズアレイの概略構成を表す平面図である。 図３に示した撮像ユニット部の詳細構成を表す図である。 図４に示したバイメタルの詳細構成を説明するための断面図である。 図３に示した撮像ユニット部の作用を説明するための断面図である。 第１の実施の形態に係るデジタルカメラによる撮像処理について説明するための流れ図である。 第１の実施の形態に係るライブビュー撮像モード時の測距動作について説明するための断面図である。 ライブビュー撮像モード時の画像処理の一例を説明するための模式斜視図である。 図３に示した撮像素子上の受光領域を表す平面図である。 ２つの視差画像を利用した測距動作について説明するための模式図である。 ２つの視差画像による画素相関演算について説明するための模式図である。 撮像レンズの駆動距離の算出方法について説明するための図である。 図１４に続く撮像レンズの駆動距離の算出方法について説明するための図である。 第１の実施の形態に係るライブビュー撮像モード時の合焦動作について説明するための断面図である。 第１の実施の形態に係るライブビュー撮像モード時の撮像動作について説明するための断面図である。 第１の実施の形態に係るファインダ観察撮像モード時の測距動作について説明するための断面図である。 第１の実施の形態に係るファインダ観察撮像モード時の合焦動作および撮像動作について説明するための断面図である。 第１の実施の形態の変形例に係る撮像ユニット部について説明するための断面図である。 第２の実施の形態に係る撮像装置の全体構成を表す図である。 図２１に示した回転駆動部の作用を説明するための断面図である。 第２の実施の形態に係るデジタルカメラによる撮像処理について説明するための流れ図である。 第２の実施の形態に係るライブビュー撮像モード時の測距動作、合焦動作および撮像動作について説明するための断面図である。 第２の実施の形態に係るファインダ観察撮像モード時の測距動作、合焦動作および撮像動作について説明するための断面図である。 第３の実施の形態に係る撮像装置の全体構成を表す図である。 図２６に示したマイクロレンズアレイの拡大断面図である。 図２６に示したマイクロレンズアレイの作用を説明するための断面模式図である。 第３の実施の形態に係るデジタルカメラによる撮像処理について説明するための流れ図である。 第３の実施の形態に係るライブビュー撮像モード時の測距動作、合焦動作および撮像動作について説明するための断面図である。 第３の実施の形態に係るファインダ観察撮像モード時の測距動作、合焦動作および撮像動作について説明するための断面図である。

符号の説明

１，１Ａ，１Ｂ…撮像装置、１０…開口絞り、１００…開口部、１１…撮像レンズ、１２，１２Ｂ…マイクロレンズアレイ、１２−１，１２Ｂ−１…マイクロレンズ、１２１，１２５…基板、１２２，１２４…電極、１２３…液晶層、１３…撮像素子、１３−１…受光領域、１３Ｄ…再構築画素領域、１３−１…受光領域、１４…画像処理部、１５，１５Ａ…撮像ユニット部、１５０…筐体、１６１…撮像素子駆動部、１６２…撮像レンズ駆動部、１６３…電圧供給部、１７…制御部、１８１Ａ０…支持部、１８１Ａ１，１８１Ａ２…金属板、１８１Ａ，１８１Ｂ…バイメタル、１８２Ａ，１８２Ｂ…熱供給部、１８３…回転駆動部、１８３Ａ…回転軸、１９１…位相差検出部、１９２…距離情報算出部、２…撮像対象物（被写体）、３，３Ａ，３Ｂ…デジタルカメラ、３０…筐体、３１…可動ミラー、３１０…表示駆動部、３２…ペンタプリズム、３３…集光レンズ、３４…接眼レンズ、３５…ファインダ、３６…表示部、３６０…表示駆動部、３７…シャッタボタン、ｆ１，ｆ２…焦点距離、Ｓ１〜Ｓ３，Ｓ３１，Ｓ３６…制御信号、Ｄout…撮像データ、ＤＲ，ＤＬ…視差画像（任意視点画像）、Ａ１，Ｂ１…部分画像、Ｑ…熱量、Ｅ…片方の目、Ｌ０…光軸、Ｌ１…光線、ＬＲ，ＬＬ…視差画像の光線、Ｐ…画素、φＲ，φＬ…視差画像の位相、Δφ…位相差、ｘ…撮像レンズの駆動距離。

Claims (31)

1. 撮像光学系を含んで構成された撮像装置と、この撮像装置により得られる撮像データに基づき被写体の撮像画像を表示する表示手段とを含んで構成されたデジタルカメラに適用される撮像装置であって、
   前記撮像光学系としての撮像レンズおよびマイクロレンズアレイ部と、
   受光した光に基づいて前記撮像データを取得する撮像素子と、
   前記撮像素子により得られた撮像データに基づいて画像処理を行うことにより、前記撮像レンズの合焦動作の際の撮像レンズの駆動距離を算出する測距手段と、
   前記測距手段により算出された駆動距離を用いて、前記撮像レンズの合焦動作を行う合焦手段と、
   少なくとも前記撮像レンズの合焦動作の際には、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させるように、前記マイクロレンズアレイの機能の切替動作を行う切替手段と
   を備え、
   前記マイクロレンズアレイ部は、前記撮像素子の複数の撮像画素に対して１つのマイクロレンズを有している
   ことを特徴とする撮像装置。
2. 前記切替手段は、前記撮像レンズの合焦動作の際には、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させる一方、撮像動作の際には、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させないように、前記マイクロレンズアレイの機能の切替動作を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記マイクロレンズアレイ部が、印加電圧に応じて入射光線の屈折方向を変位可能な複数のマイクロレンズにより構成され、
   前記切替手段が、前記マイクロレンズに電圧を印加するための電圧供給部を含んで構成されている
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記電圧供給部は、前記撮像レンズの合焦動作の際には、前記マイクロレンズへの電圧供給を実行することにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させる一方、撮像動作の際には、前記電圧供給を停止することにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させないようにする
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記電圧供給部は、前記撮像レンズの合焦動作の際には、前記マイクロレンズへの電圧供給を停止することにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させる一方、撮像動作の際には、前記電圧供給を実行することにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させないようにする
   ことを特徴とする請求項３に記載の撮像装置。
6. 前記マイクロレンズアレイ部は、
   一対の基板と、
   前記基板上に形成され、前記電圧供給部からの電圧が印加される一対の電極と、
   前記一対の電極間に設けられた液晶層と
   を含んで構成され、
   前記一対の電極のうちの少なくとも一方が、前記マイクロレンズを構成するための曲面を有している
   ことを特徴とする請求項３に記載の撮像装置。
7. 前記切替手段が、前記マイクロレンズアレイ部と前記撮像素子との間の相対距離を、前記撮像光学系の光軸方向に沿って変化させる第１の駆動部を含んで構成されている
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
8. 前記第１の駆動部は、前記撮像レンズの合焦動作の際には、前記相対距離を前記マイクロレンズアレイ部の焦点距離と略同一にさせることにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させる一方、撮像動作の際には、前記マイクロレンズアレイ部と前記撮像素子とを近接させることにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させないようにする
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記第１の駆動部は、前記マイクロレンズアレイ部を光軸方向に変位させることにより、前記相対距離を変化させる
   ことを特徴とする請求項７に記載の撮像装置。
10. 前記第１の駆動部は、前記撮像素子を光軸方向に変位させることにより、前記相対距離を変化させる
    ことを特徴とする請求項７に記載の撮像装置。
11. 前記第１の駆動部は、
    前記マイクロレンズアレイ部または前記撮像素子の端部に配置されたバイメタル部と、
    前記バイメタル部に対して熱を供給する熱供給部とを含んで構成されている
    ことを特徴とする請求項７に記載の撮像装置。
12. 前記第１の駆動部は、
    前記マイクロレンズアレイ部または前記撮像素子の端部に配置された圧電アクチュエータと、
    前記圧電アクチュエータに対して電圧を供給する電圧供給部とを含んで構成されている
    ことを特徴とする請求項７に記載の撮像装置。
13. 前記切替手段が、前記マイクロレンズアレイ部を、前記撮像光学系の光路上から挿脱自在となるように駆動する第２の駆動部を含んで構成されている
    ことを特徴とする請求項１または請求項２に記載の撮像装置。
14. 前記第２の駆動部は、前記撮像レンズの合焦動作の際には、前記マイクロレンズアレイ部と前記撮像素子との間の相対距離がマイクロレンズアレイ部の焦点距離と略同一となるようにマイクロレンズアレイ部を前記撮像光学系の光路上に挿入配置することにより、マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させる一方、撮像動作の際には、前記マイクロレンズアレイ部が前記撮像光学系の光路上から外れるようにマイクロレンズアレイ部を配置することにより、マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させないようにする
    ことを特徴とする請求項１３に記載の撮像装置。
15. 前記第２の駆動部は、前記マイクロレンズアレイ部を回転駆動することにより、マイクロレンズアレイ部が前記撮像光学系の光路上から挿脱自在となるようにする
    ことを特徴とする請求項１３に記載の撮像装置。
16. 前記測距手段は、
    前記撮像データに基づいて互いに視差の異なる複数の視差画像を生成すると共に、これら複数の視差画像のうちの少なくとも２つの視差画像間の位相差を検出する位相差検出部と、
    前記位相差検出部により検出された位相差に基づいて、前記撮像レンズの合焦動作の際の撮像レンズの駆動距離を算出する距離情報算出部とを含む
    ことを特徴とする請求項１ないし請求項１５のいずれか１項に記載の撮像装置。
17. 前記位相差検出部は、前記撮像データに対して所定の並び替え処理を行うことにより、前記複数の視差画像を生成する
    ことを特徴とする請求項１６に記載の撮像装置。
18. 前記マイクロレンズアレイ部が、前記撮像素子の撮像面の一部分にのみ対応して配置されている
    ことを特徴とする請求項１ないし請求項１７のいずれか１項に記載の撮像装置。
19. 撮像光学系を含んで構成された撮像装置と、
    前記撮像装置により得られる撮像データに基づき、被写体の撮像画像を表示する表示手段と
    を備え、
    前記撮像装置は、
    前記撮像光学系としての撮像レンズおよびマイクロレンズアレイ部と、
    受光した光に基づいて前記撮像データを取得する撮像素子と、
    前記撮像素子により得られた撮像データに基づいて画像処理を行うことにより、前記撮像レンズの合焦動作の際の撮像レンズの駆動距離を算出する測距手段と、
    少なくとも前記撮像レンズの合焦動作の際には、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させるように、前記マイクロレンズアレイの機能の切替動作を行う切替手段と
    を有し、
    前記マイクロレンズアレイ部は、前記撮像素子の複数の撮像画素に対して１つのマイクロレンズを有している
    ことを特徴とするデジタルカメラ。
20. 前記撮像光学系からの被写体像を観察するための観察光学系と、
    前記観察光学系の光入射側または前記撮像光学系の光路上に挿脱自在に設けられた可動ミラーと、
    前記撮像装置における撮像モードに応じた合焦動作および撮像動作に従って、前記可動ミラーを駆動するミラー駆動手段とを備えた
    ことを特徴とする請求項１９に記載のデジタルカメラ。
21. 前記可動ミラー駆動手段は、前記表示手段により表示された被写体の撮像画像を見て撮像を行うライブビュー撮像モードでは、前記撮像レンズの合焦動作および撮像動作の際に、前記可動ミラーを前記観察光学系の光入射側の光路上に配置させる一方、前記観察光学系により被写体像を観察して撮像を行うファインダ観察撮像モードでは、前記撮像レンズの合焦動作の際には前記可動ミラーを前記撮像光学系の光路上に配置させると共に、撮像動作の際には前記可動ミラーを前記観察光学系の光入射側の光路上に配置させる
    ことを特徴とする請求項２０に記載のデジタルカメラ。
22. 前記切替手段は、前記撮像レンズの合焦動作の際には、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させる一方、撮像動作の際には、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させないように、前記マイクロレンズアレイの機能の切替動作を行う
    ことを特徴とする請求項１９ないし請求項２１のいずれか１項に記載のデジタルカメラ。
23. 前記マイクロレンズアレイ部が、印加電圧に応じて入射光線の屈折方向を変位可能な複数のマイクロレンズにより構成され、
    前記切替手段が、前記マイクロレンズに電圧を印加するための電圧供給部を含んで構成されている
    ことを特徴とする請求項１９ないし請求項２２のいずれか１項に記載のデジタルカメラ。
24. 前記電圧供給部は、前記撮像レンズの合焦動作の際には、前記マイクロレンズへの電圧供給を実行することにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させる一方、撮像動作の際には、前記電圧供給を停止することにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させないようにする
    ことを特徴とする請求項２３に記載のデジタルカメラ。
25. 前記電圧供給部は、前記撮像レンズの合焦動作の際には、前記マイクロレンズへの電圧供給を停止することにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させる一方、撮像動作の際には、前記電圧供給を実行することにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させないようにする
    ことを特徴とする請求項２３に記載のデジタルカメラ。
26. 前記切替手段が、前記マイクロレンズアレイ部と前記撮像素子との間の相対距離を、前記撮像光学系の光軸方向に沿って変化させる第１の駆動部を含んで構成されている
    ことを特徴とする請求項１９ないし請求項２２のいずれか１項に記載のデジタルカメラ。
27. 前記第１の駆動部は、前記撮像レンズの合焦動作の際には、前記相対距離を前記マイクロレンズアレイ部の焦点距離と略同一にさせることにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させる一方、撮像動作の際には、前記マイクロレンズアレイ部と前記撮像素子とを近接させることにより、前記マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させないようにする
    ことを特徴とする請求項２６に記載のデジタルカメラ。
28. 前記切替手段が、前記マイクロレンズアレイ部を、前記撮像光学系の光路上から挿脱自在となるように駆動する第２の駆動部を含んで構成されている
    ことを特徴とする請求項１９ないし請求項２２のいずれか１項に記載のデジタルカメラ。
29. 前記第２の駆動部は、前記撮像レンズの合焦動作の際には、前記マイクロレンズアレイ部と前記撮像素子との間の相対距離がマイクロレンズアレイ部の焦点距離と略同一となるようにマイクロレンズアレイ部を前記撮像光学系の光路上に挿入配置することにより、マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させる一方、撮像動作の際には、前記マイクロレンズアレイ部が前記撮像光学系の光路上から外れるようにマイクロレンズアレイ部を配置することにより、マイクロレンズアレイ部による前記撮像光学系としての機能を発揮させないようにする
    ことを特徴とする請求項２８に記載のデジタルカメラ。
30. 前記測距手段は、
    前記撮像データに基づいて互いに視差の異なる複数の視差画像を生成すると共に、これら複数の視差画像のうちの少なくとも２つの視差画像間の位相差を検出する位相差検出部と、
    前記位相差検出部により検出された位相差に基づいて、前記撮像レンズの合焦動作の際の撮像レンズの駆動距離を算出する距離情報算出部とを含む
    ことを特徴とする請求項１９ないし請求項２９のいずれか１項に記載のデジタルカメラ。
31. 前記マイクロレンズアレイ部が、前記撮像素子の撮像面の一部分にのみ対応して配置されている
    ことを特徴とする請求項１９ないし請求項３０のいずれか１項に記載のデジタルカメラ。

Images