JP2015041950A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】通常撮影時とリフォーカス可能な画像の撮影時との切り替えがなされても適切な絞り量で撮影できるようにする。
【解決手段】モード指定部９８で第１の撮影モードから第２の撮影モードに指定が切り替わると、Ｆ値判定部１０９は、現在のＦ値と最小基準Ｆ値Ａ２との大小関係を判別し、両者が一致しない場合は、絞り制御部１１０は絞り部１０２の絞り量を変更して、現在のＦ値が最小基準Ｆ値Ａ２に一致するように制御・調整する。その後、駆動部９９がミラー９０３をミラーダウンさせると、光線情報が第２の経路ｒ２を通ってマイクロレンズアレイ部１０５を介して第２の撮像素子１０６に入射し、第２の電気信号に光電変換され、それを画像処理部１０７が画像処理し、ＬＦＰ技術に基づいたリフォーカス可能な画像情報を生成する。
【選択図】図５

Description

本発明は、撮影後にリフォーカス可能な画像情報を生成することができる撮像装置に関する。

従来、非特許文献１に示されるように、ライト・フィールド・フォトグラフィーと呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズを光軸に対して垂直に２次元に並べたマイクロレンズアレイ部と、受光素子と、画像処理部から構成されている。受光素子から得られる撮像信号は、受光素子の受光面における光の強度に加えて、その光の進行方向の情報を含んでいる。そして、この撮像信号に基づき、画像処理部において、任意の視点や方向の観察画像を再構築、または任意の焦点位置にリフォーカス可能な画像情報を生成することが可能である。

また、特許文献１では、マイクロレンズアレイ部を移動させる手段を設けている。この手段を用いて、マイクロレンズアレイ部を使用するライト・フィールド・フォトグラフィー技術に基づいた撮影と、マイクロレンズアレイ部を使用しない通常の高解像度の撮像画像の撮影という２つの撮影モードによる撮影を可能としている。

特開２００８−３１２０８０号公報

Ren.Ng, et al,「Light Field Photography with a Hand-Held Plenoptic Camera」,Stanford Tech Report CTSR 2005-02

ところで、特許文献１に示される従来技術を用いた撮像装置において、通常の高解像度の撮像画像と、ライト・フィールド・フォトグラフィーを用いたリフォーカス可能な撮像画像とを同じ画角で生成したいという要望がある。そのためには、通常の撮像モードでの撮影とライト・フィールド・フォトグラフィーを用いた撮像モード（ＬＦ撮影モードと記す）での撮影とを連続して行えると都合がよい。

しかしながら、絞り量に関しては、２つの撮影モードで事情が異なる。すなわち、通常の撮影モードでは、撮影者が意図する撮影効果を得る上で、被写界深度を変えるために絞り量を調節して撮影したいという要望がある。一方、ＬＦ撮影モードでは、撮像レンズとマイクロレンズの特性やマイクロレンズと撮像素子との距離に応じて、最も効率よくリフォーカス可能な画像情報を生成するための絞り量は固定的に決まってくる。

そのため、上記２つの撮影モード間で適切な絞り量が異なる場合があることから、例えば同じ画角の撮影をするために上記２つの撮影モードで連続撮影する場合に、適切な画像を得るためには絞り量を調整する必要がある。また、絞り量の調整に時間がかかり過ぎると撮影のタイムラグが大きくなり好ましくない。特許文献１には、絞り量の調節については触れられていない。

本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、通常撮影時とリフォーカス可能な画像の撮影時との切り替えがなされても適切な絞り量で撮影することができるようにすることにある。

上記目的を達成するために本発明は、入射光の光量を調整する絞り部と、入射光を電気信号に変換する撮像素子と、マイクロレンズアレイ部と、撮影モードとして第１のモードまたは第２のモードを選択的に指定する指定手段と、前記第１のモードにおけるＦ値を設定する設定手段と、前記第１のモードでは、前記マイクロレンズアレイ部を介さずに前記撮像素子に入射光を入射させる一方、前記第２のモードでは、前記マイクロレンズアレイ部を介して前記撮像素子に入射光を入射させるよう、入射状態を切り替える切り替え手段と、前記撮像素子により変換された電気信号に基づき画像情報を生成する生成手段であって、前記第２のモードにおいては前記画像情報をリフォーカス可能な画像情報として生成する生成手段と、前記第１のモードでは、前記設定手段により設定されたＦ値に基づいて前記絞り部を制御する一方、前記第２のモードでは、所定のＦ値範囲と前記設定手段により設定されたＦ値との比較結果に基づいて前記絞り部を制御する制御手段とを有することを特徴とする。

本発明によれば、通常撮影時とリフォーカス可能な画像の撮影時との切り替えがなされても適切な絞り量で撮影することができる。

第１の実施の形態に係る撮像装置の主要構成を示す模式図である。 第２の撮影モードにおける絞り量によるＦ値とマイクロレンズ１つ当たりの照射範囲との関係を示す図である。 第２の撮影モードで撮影した際の、光軸方向に垂直な方向から見て、マイクロレンズアレイ部を通過した光線情報の第２の撮像素子に対する照射範囲をＦ値ごとに示した図である。 第２の撮像素子上の光電変換素子とマイクロレンズからの照射範囲との対応関係を光軸方向に示す図である。 撮影モード処理のフローチャートである。 変形例の撮像装置の主要構成を示す模式図である。 第２の実施の形態における撮影モード処理のフローチャートである。 第３の実施の形態に係る撮像装置の主要構成を示す模式図である。 撮影モード処理のフローチャートである。

以下、本発明の実施の形態を図面を参照して説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置の主要構成を示す模式図である。この撮像装置１０は、光学レンズ１０１、絞り部１０２、ミラー９０３、マイクロレンズアレイ部１０５、画像処理部１０７、Ｆ値設定部１０８、Ｆ値判定部１０９、絞り制御部１１０、モード指定部９８及び駆動部９９を有する。撮像装置１０はまた、撮像素子として、第１の撮像素子１０４及び第２の撮像素子１０６を有する。

光学レンズ１０１は、外部（被写体）からの光を入力し光線情報を出力する。絞り部１０２は、被写体からの入射光の光量を調整するものであり、光学レンズ１０１からの光線情報に対し、絞り量の調節によって光線量を調節した光線情報を出力する。マイクロレンズアレイ部１０５は、第２の撮像素子１０６における撮像面の側、すなわち、光の入射側に配置される。

本実施の形態では、撮影モードとして第１の撮影モードと第２の撮影モードとが選択的に指定される。撮影モードは、ユーザによって不図示の操作部を用いてモード指定部９８により指定され、撮影途中で切り替わることもある。ここで、第１の撮影モードは、通常の撮影モードであり、マイクロレンズアレイ部１０５を介さずに第１の撮像素子１０４に入射光を入射させて、高解像度の画像情報を得るモードである。第２の撮影モードは、ライト・フィールド・フォトグラフィー（以下、ＬＦＰと略記することもある）技術を用いる撮影モードである。第２の撮影モードでは、マイクロレンズアレイ部１０５を介して第２の撮像素子１０６に入射光を入射させて、リフォーカス可能な画像情報を得る。リフォーカス演算処理は公知の手法（特許文献１、非特許文献１等で開示）で行える。

本実施の形態では、撮影モードによって入射光を導く先、すなわち絞り部１０２からの光線情報の出力先を分けている。この入射光の経路を切り換える切り替え手段として、駆動部９９及びミラー９０３を設けている。ミラー９０３は、図１に２点鎖線で示す第１の位置と実線で示す第２の位置とに位置が可変である。第１の撮影モードでは、駆動部９９がミラー９０３を駆動して第１の位置にミラーアップさせ、第２の撮影モードでは、駆動部９９がミラー９０３を駆動して第２の位置にミラーダウンさせる。

ミラー９０３が第１の位置にあると、絞り部１０２からの光線情報は、ミラー９０３に妨げられることなく第１の経路ｒ１を通り、第１の撮像素子１０４に入射する。ミラー９０３が第２の位置にあると、絞り部１０２からの光線情報は、ミラー９０３で反射して、マイクロレンズアレイ部１０５に対し垂直に入射し、マイクロレンズアレイ部１０５を介して第２の撮像素子１０６に入射する。

第１の撮像素子１０４においては、第１の経路ｒ１に対して垂直な面方向に光電変換素子が２次元に配列されている。第２の撮像素子１０６においては、第２の経路ｒ２に対して垂直な面方向に光電変換素子が２次元に配列されている。

第１の撮像素子１０４は、第１の経路ｒ１を通った光線情報を通常の高解像度の画像情報の素となる第１の電気信号に変換する。マイクロレンズアレイ部１０５は、ミラー９０３で反射した光の光軸に対して垂直な面方向に２次元上に配置されたマイクロレンズ群を有する。マイクロレンズアレイ部１０５は、第２の経路ｒ２を通った光線情報を、ライト・フィールド光線情報として出力する。第２の撮像素子１０６は、マイクロレンズアレイ部１０５から入力されるライト・フィールド光線情報を、ＬＦＰ技術を用いた画像情報の素となる第２の電気信号に変換する。

画像処理部１０７は、撮像素子で変換された電気信号を画像処理して画像情報を出力する。すなわち、第１の撮影モードでは、画像処理部１０７は、第１の撮像素子１０４の出力である第１の電気信号を画像理して、通常の高解像度の画像情報を生成する。一方、第２の撮影モードでは、画像処理部１０７は、第２の撮像素子１０６の出力である第２の電気信号を画像処理して、ＬＦＰ技術によって、リフォーカス可能な画像情報を生成する。

Ｆ値設定部１０８は、例えば外部から指示された光線の絞り量をＦ値として設定する。Ｆ値設定部１０８におけるＦ値の設定は、ユーザにより不図示の操作部を用いてなされるが、本撮像装置１０において撮影シーンに応じて自動で設定されるようにしてもよい。

Ｆ値判定部１０９は、Ｆ値設定部１０８によって設定されたＦ値と後述する最小基準Ｆ値Ａ２との大小関係を比較し、その比較結果を絞り制御部１１０に出力する。絞り制御部１１０は、絞り部１０２の絞り量を調整する。特に第２の撮影モード時には、Ｆ値判定部１０９の比較結果に基づいて絞り部１０２の絞り量を調整する。

図２は、第２の撮影モードにおける絞り量によるＦ値とマイクロレンズ１つ当たりの照射範囲との関係を示す図である。Ｆ値は、図２の左方が開放側であり、右方ほど大きな値となる。Ａ１、Ａ２、Ａ３、Ａ４はＦ値である。Ｆ値Ａ１、Ｆ値Ａ４はそれぞれ、撮像装置１０で設定可能な最小のＦ値、最大のＦ値である。

後に詳述するように、Ｆ値Ａ２、Ｆ値Ａ３は、リフォーカス可能な画像情報を生成できるＦ値範囲の最小値、最大値であり、以降、これらをそれぞれ「最小基準Ｆ値Ａ２」、「最大基準Ｆ値Ａ３」とも記す。また、最小基準Ｆ値Ａ２から最大基準Ｆ値Ａ３までのＦ値範囲が、リフォーカス可能な画像情報を生成できるＦ値の範囲であり、以降これを「リフォーカス可能範囲Ｂ２」（所定のＦ値範囲）と称する。

図３は、第２の撮影モードで撮影した際の、光軸方向に垂直な方向から見て、マイクロレンズアレイ部１０５を通過した光線情報の第２の撮像素子１０６に対する照射範囲をＦ値ごとに示した図である。図３において、マイクロレンズアレイ部１０５のマイクロレンズ４５１〜４５４を通過した光線情報が、Ｆ値Ａ１〜Ａ４にそれぞれ対応して、光線情報４１０〜４１３、光線情報４２０〜４２３、光線情報１１１０〜１１１３、光線情報４４０〜４４３である。

図４（ａ）、（ｂ）はそれぞれ、絞り量がＦ値Ａ２、Ａ１に対応する場合における、第２の撮像素子１０６上の光電変換素子とマイクロレンズアレイ部１０５上に２次元に配置されたマイクロレンズからの照射範囲との対応関係を光軸方向に示す図である。

本実施の形態では、マイクロレンズアレイ部１０５のマイクロレンズ１つに対して、第２の撮像素子１０６における５×５の光電変換素子が対応している。図４（ａ）、（ｂ）における領域１０１０は、４つのマイクロレンズに対応し、１０×１０の光電変換素子が配設される領域である。このようなマイクロレンズと光電変換素子の対応関係は、説明の簡略化のための例示であり、この対応関係に限定されるものではない。

図４（ａ）の照射範囲２１２（２１２Ａ〜２１２Ｄ）は、Ｆ値Ａ２で撮影した際に各マイクロレンズを通過したライト・フィールド光線情報が当たる照射範囲を表している。図４（ｂ）の照射範囲２１１（２１１Ａ〜２１１Ｄ）は、Ｆ値Ａ１で撮影した際に各マイクロレンズを通過したライト・フィールド光線情報が当たる照射範囲を表している。

Ｆ値Ａ１での撮影では、図４（ｂ）に示すように、隣接する照射範囲２１１間にクロストーク（ＣＲ）が生じている。Ｆ値Ａ２での撮影では、図４（ａ）に示すように、クロストークは生じない。

図２に示すように、各マイクロレンズに対応する５×５の光電変換素子群を素子群２１０と呼称する。第２の撮像素子１０６においては素子群２１０が隣接して平面方向に複数組配列されている。ここでは一部のマイクロレンズ４５１〜４５４とそれらに対応する素子群２１０との関係を代表として説明する。

図２には、Ｆ値ごとに、素子群２１０に光線情報が入射する様子が、光軸方向に見て示されている。照射範囲２１１は、第２の撮影モードにおいてＦ値Ａ１で撮影した際に、マイクロレンズ１つの全ライト・フィールド光線情報が当たる照射範囲を表している（図３（ａ）も参照）。同様に、照射範囲２１２、５１１、２１３はそれぞれ、Ｆ値Ａ２、Ａ３、Ａ４で撮影した際のマイクロレンズ１つの全ライト・フィールド光線情報が当たる照射範囲を表している（図３（ｂ）、（ｃ）、（ｄ）も参照）。

図２、図３（ａ）に示すように、Ｆ値Ａ１では、照射範囲２１１は素子群２１０に対して広く、四角形の素子群２１０の領域を超えて照射される超過範囲４００が生じる。これにより、図４（ｂ）でも説明したように、隣り合う素子群２１０に照射される光線情報同士が交差するクロストークが発生する。例えば、マイクロレンズ４５１を通過したライト・フィールド光線情報４１０とマイクロレンズ４５２を通過したライト・フィールド光線情報４１１とが重なり合ってクロストーク部４１４が生じる。

同様に、光線情報４１１と、マイクロレンズ４５３を通過したライト・フィールド光線情報４１２とが重なり合ってクロストーク部４１５が生じる。光線情報４１２と、マイクロレンズ４５４を通過したライト・フィールド光線情報４１３とが重なり合ってクロストーク部４１６が生じる。すなわち、クロストーク部４１４、４１５、４１６は、隣接する２つのマイクロレンズを通過した光である。

このようなクロストークが生じると、ＬＦＰ技術では、画像処理部１０７によってリフォーカス可能な撮像画像を適切に得ることができない。

Ｆ値Ａ１より値を大きくして、最小基準Ｆ値Ａ２にすると、図２、図３（ｂ）に示すように、四角形の素子群２１０の四辺に円形の照射範囲２１２の外郭がちょうど一致する。そのため、図４（ａ）でも説明したように、マイクロレンズ４５１〜４５４を通過した光線情報４２０〜４２３のクロストークは生じなくなる。従って、Ｆ値Ａ２は、各々のマイクロレンズの照射範囲が、隣接するマイクロレンズ同士のクロストークを生じさせない最大の照射範囲となるＦ値である。このＦ値Ａ２は、リフォーカス可能な画像情報を生成できるＦ値の最小値でもある。

最小基準Ｆ値Ａ２より値を大きくして、最大基準Ｆ値Ａ３にすると、図２、図３（ｃ）に示すように状態となる。すなわち、マイクロレンズ４５１〜４５４を通過した光線情報１１１０〜１１１３による円形の照射範囲５１１が、四角形の素子群２１０の内側に収まる。照射範囲５１１が素子群２１０より狭いために、光線情報が照射されない非照射範囲１１０１が生じる。照射範囲５１１内には複数の光電変換素子が含まれることになる。ここで、光電変換素子が照射範囲５１１に含まれるか否かは、その光電変換素子の領域面積の例えば半分以上が照射範囲５１１に含まれるか否かで定まるとする。従って、Ｆ値Ａ３は、各々のマイクロレンズの照射範囲が、複数の光電変換素子を含むような最小の照射範囲となるＦ値である。このＦ値Ａ３は、リフォーカス可能な画像情報を生成できるＦ値の最大値でもある。

Ｆ値Ａ３より値を大きくして、Ｆ値Ａ４にすると、図２、図３（ｄ）に示すように、マイクロレンズ４５１〜４５４を通過した光線情報４４０〜４４３による照射範囲２１３には、素子群２１０のうち中央の１つの素子（画素）しか含まれない状態となる。照射範囲２１３が素子群２１０より狭いために、光線情報が照射されない非照射範囲４０３が生じる。この状態においては、ＬＦＰ技術では、画像処理部１０７によってリフォーカス可能な撮像画像を得ることができない。

従って、リフォーカス可能な画像情報を生成できるようにするためには、リフォーカス可能範囲Ｂ２内（所定のＦ値範囲内）の値を目標としてＦ値を制御する必要がある。リフォーカス可能範囲Ｂ２内の値のうち、撮影者の意図に沿った焦点位置にリフォーカス可能な画像情報を最も効率良く適切に生成できる値は最小基準Ｆ値Ａ２である。そこで本実施の形態では、後述する撮影モード処理（図５）において、最小基準Ｆ値Ａ２を、Ｆ値の制御上の目標値としている。

Ｆ値Ａ１からＦ値Ａ２までのＦ値範囲Ｂ１では照射範囲が広すぎてクロストークの問題が生じる一方、Ｆ値Ａ３からＦ値Ａ４までのＦ値範囲Ｂ３では照射範囲が狭すぎて照射範囲に適切に含まれる光電変換素子が少なすぎる。よって、Ｆ値範囲Ｂ１、Ｂ３においては、撮影者の意図に沿うような、リフォーカス可能な画像情報を生成できない可能性がある。

図５は、撮影モード処理のフローチャートである。この処理は、撮像装置１０において撮影指示がなされると開始される。

まず、モード指定部９８で第１の撮影モードが指定されると、ステップＳ３００で、絞り制御部１１０は、絞り部１０２における光線情報の絞り量を、Ｆ値設定部１０８で設定されたＦ値に制御・調整する。ステップＳ３０１では、駆動部９９がミラー９０３を駆動して第１の位置にミラーアップする。これにより、絞り部１０２で光線量を調整された光線情報が第１の経路ｒ１を通って第１の撮像素子１０４に入射する。

次に、ステップＳ３０２では、第１の撮像素子１０４は、入射した光線情報を第１の電気信号に光電変換してそれを画像処理部１０７に出力する。ステップＳ３０３では、画像処理部１０７は、第１の撮像素子１０４から出力された第１の電気信号を画像処理し、通常の高解像度の画像情報を生成する。

その後、撮影モードの指定の変更があるまでは、ステップＳ３００〜Ｓ３０３の処理が繰り返される。その間、Ｆ値設定部１０８にてＦ値の設定に変更があれば、それに応じて絞り制御部１１０は絞り量を制御する。モード指定部９８で第２の撮影モードが指定されると、処理はステップＳ３０４に進む。

ステップＳ３０４では、Ｆ値判定部１０９は、現在のＦ値が最小基準Ｆ値Ａ２よりも小さいか（現在のＦ値＜最小基準Ｆ値Ａ２が成立するか）否かを判別する。その判別の結果、現在のＦ値≧最小基準Ｆ値Ａ２である場合は、ステップＳ３１１で、Ｆ値判定部１０９は、現在のＦ値が最小基準Ｆ値Ａ２よりも大きいか（現在のＦ値＞最小基準Ｆ値Ａ２が成立するか）否かを判別する。

ステップＳ３０４の判別の結果、現在のＦ値＜最小基準Ｆ値Ａ２である場合は、ステップＳ３０５で、絞り制御部１１０は絞り部１０２の絞り量を現在より大きくして、現在のＦ値が最小基準Ｆ値Ａ２になるように制御・調整する。ステップＳ３１１の判別の結果、現在のＦ値＞最小基準Ｆ値Ａ２である場合は、ステップＳ３１２で、絞り制御部１１０は、絞り部１０２の絞り量を現在より小さくして、現在のＦ値が最小基準Ｆ値Ａ２になるように制御・調整する。

ステップＳ３１１の判別の結果、現在のＦ値＞最小基準Ｆ値Ａ２でない場合は、現在のＦ値が最小基準Ｆ値Ａ２と等しい（現在のＦ値＝最小基準Ｆ値Ａ２である）ので、絞り量が変更されることなく処理はステップＳ３０６に進む。ステップＳ３０５またはＳ３１２の後は、処理はステップＳ３０６に進む。従って、ステップＳ３０４、Ｓ３０５、Ｓ３１１、Ｓ３１２の処理により、現在のＦ値が最小基準Ｆ値Ａ２に等しくなる。

ステップＳ３０６では、駆動部９９がミラー９０３を駆動して第２の位置にミラーダウンさせる。これにより、絞り部１０２で光線量を調整された光線情報が第２の経路ｒ２を通ってマイクロレンズアレイ部１０５を介して第２の撮像素子１０６に入射する。また、第１の撮影モードから第２の撮影モードへと移行する場合、絞り部１０２の制御（ステップＳ３０５、Ｓ３０６）は、ミラー９０３の駆動により入射状態が切り替えられる前に実行されることになる。

ステップＳ３０７では、第２の撮像素子１０６は、マイクロレンズアレイ部１０５を介して入射したライト・フィールド光線情報を第２の電気信号に光電変換してそれを画像処理部１０７に出力する。ステップＳ３０８では、画像処理部１０７は、第２の撮像素子１０６から出力された第２の電気信号を画像処理し、ＬＦＰ技術に基づいたリフォーカス可能な画像情報を生成する。

その後、撮影モードの指定の変更があるまでは、ステップＳ３０６〜Ｓ３０８の処理が繰り返される。撮影モードが再び第１の撮影モードに指定されると、ステップＳ３００へ処理が移行する。

本実施の形態によれば、第１の撮影モードでは、設定されたＦ値に基づいて絞り部１０２が制御され、第２の撮影モードでは、リフォーカス可能な画像情報の生成に最も適した最小基準Ｆ値Ａ２に現在のＦ値がなるように絞り部１０２が制御される。これにより、通常撮影時とリフォーカス可能な画像の撮影時との切り替えがなされても適切な絞り量で撮影することができる。従って、例えば、同じ画角にて、通常の高解像度撮影とＬＦＰ技術を用いた撮影との適切な連続撮影が可能となる。

なお、入射光は、ミラー９０３によって妨げられないと第１の撮像素子１０４に入光し、ミラー９０３で反射すると第２の撮像素子１０６に入光する構成としたが、関係をこれとは逆にしてよい。例えば、図１に示す第１の撮像素子１０４と、第２の撮像素子１０６及びマイクロレンズアレイ部１０５との配置関係を逆にしてもよい。

従って、ミラー９０３を、２つの位置のいずれか一方の位置に位置させることで、第１の撮像素子１０４に入射光を入射させる。且つ、ミラー９０３を、２つの位置の他方の位置に位置させることで、マイクロレンズアレイ部１０５を介して第２の撮像素子１０６に入射光を入射させる構成とすればよい。

なお、本実施の形態では、入射状態を切り替える切り替え手段として、駆動部９９及びミラー９０３を例示したが、これらに限定されるものではない。また、撮影モードによって、用いる撮像素子を分けたが、そのような構成に限定されない。

例えば、図６に変形例を示すように、第２の撮像素子１０６を廃止して、第１、第２の撮影モードに１つの第１の撮像素子１０４を兼用する。マイクロレンズアレイ部１０５は、第１の撮像素子１０４における光の入射側において、第１の撮像素子１０４の撮像面に対して平行に移動自在に配置される。切り替え手段としては、マイクロレンズアレイ部１０５を駆動する駆動部９７が設けられる。図６では、変更の必要のないその他の構成要素の図示は省略されている。

図６の構成において、第１の撮影モードでは、駆動部９７がマイクロレンズアレイ部１０５を駆動して、図６に２点鎖線で示す位置に待避させる。これにより、絞り部１０２からの光線情報は、マイクロレンズアレイ部１０５を介することなく第１の撮像素子１０４に入射する。第２の撮影モードでは、駆動部９７がマイクロレンズアレイ部１０５を駆動して、図６の実線で示す位置、すなわち、第１の撮像素子１０４の撮像面に対向する位置に位置させる。これにより、絞り部１０２からの光線情報は、マイクロレンズアレイ部１０５を介して第１の撮像素子１０４に入射する。第１の撮像素子１０４で光電変換された電気信号に対しては、撮影モードに応じた画像処理を画像処理部１０７が行う。

（第２の実施の形態）
第１の実施の形態では、目標とするＦ値を最小基準Ｆ値Ａ２としたが、本発明の第２の実施の形態では、リフォーカス可能範囲Ｂ２に対する現在のＦ値の大小関係に応じて制御目標値を異ならせる。その他の構成は第１の実施の形態と同様である。

図７は、本実施の形態における撮影モード処理のフローチャートである。ステップＳ３００〜Ｓ３０３までの処理と、ステップＳ３０６〜Ｓ３０８までの処理は、第１の実施の形態と同様であるため、図示を省略している。

モード指定部９８で第２の撮影モードが指定されると、処理はステップＳ７０１に進む。ステップＳ７０１では、Ｆ値判定部１０９は、現在のＦ値が最小基準Ｆ値Ａ２よりも小さいか（現在のＦ値＜最小基準Ｆ値Ａ２が成立するか）否かを判別する。その判別の結果、現在のＦ値≧最小基準Ｆ値Ａ２である場合は、ステップＳ７０３で、Ｆ値判定部１０９は、現在のＦ値が最大基準Ｆ値Ａ３よりも大きいか（現在のＦ値＞最大基準Ｆ値Ａ３が成立するか）否かを判別する。

ステップＳ７０１の判別の結果、現在のＦ値＜最小基準Ｆ値Ａ２である場合は、ステップＳ７０２で、絞り制御部１１０は絞り部１０２の絞り量を現在より大きくして、現在のＦ値が最小基準Ｆ値Ａ２になるように制御・調整する。ステップＳ７０３の判別の結果、現在のＦ値＞最大基準Ｆ値Ａ３である場合は、ステップＳ７０４で、絞り制御部１１０は、絞り部１０２の絞り量を現在より小さくして、現在のＦ値が最大基準Ｆ値Ａ３になるように制御・調整する。ステップＳ７０２、Ｓ７０４の後は、処理はステップＳ３０６に進む。

ステップＳ７０３の判別の結果、現在のＦ値＞最大基準Ｆ値Ａ３でない場合は、最小基準Ｆ値Ａ２≦現在のＦ値≦最大基準Ｆ値Ａ３が成立し、すなわち、現在のＦ値がリフォーカス可能範囲Ｂ２内にある。この場合は、絞り量が変更されることなく処理はステップＳ３０６に進む。

従って、ステップＳ７０１〜Ｓ７０４の処理によれば、現在のＦ値がリフォーカス可能範囲Ｂ２から小さい側に外れている場合は、最小基準Ｆ値Ａ２が目標値とされる。一方、現在のＦ値がリフォーカス可能範囲Ｂ２から大きい側に外れている場合は、最大基準Ｆ値Ａ３が目標値とされる。これにより、リフォーカス可能範囲Ｂ２内の値のうち現在のＦ値に最も近い値が目標値となるので、絞り量の調整に時間がかかり過ぎることがなく、撮影のタイムラグが小さく済む。また、現在のＦ値がリフォーカス可能範囲Ｂ２内にあれば絞り量が変更されないので、無駄な処理が省け、撮影のタイムラグが小さく済む。

本実施の形態によれば、通常撮影時とリフォーカス可能な画像の撮影時との切り替えがなされても適切な絞り量で撮影することに関し、第１の実施の形態と同様の効果を奏する。それだけでなく、絞り制御については必須な制御だけを行い、また、必要な絞り制御にかかる時間を最短時間に短縮できるので、撮影モード切り替えのタイムラグが短縮される。

（第３の実施の形態）
図８は、本発明の第３の実施の形態に係る撮像装置の主要構成を示す模式図である。第３の実施の形態では、第２の実施の形態に対して、被写体からの入射光の通過の有無を制御するためのシャッタ７１１と、シャッタ７１１の動作を制御するシャッタ制御部７１２を加えた点が異なる。そして、第１の撮影モードから第２の撮影モードへと移行する際に現在のＦ値を変化させる制御がなされた場合に、それに応じてシャッタ７１１の開口時間を調整する構成とする。その他の構成は第２の実施の形態と同様である。

シャッタ７１１は、例えば第２の経路ｒ２上に配置される。シャッタ制御部７１２はＦ値と撮影モードとに応じてシャッタ７１１の開口時間を制御する。

図９は、本実施の形態における撮影モード処理のフローチャートである。ステップＳ３００〜Ｓ３０３までの処理と、ステップＳ３０６〜Ｓ３０８までの処理は、第１の実施の形態と同様であるため、図示を省略している。モード指定部９８で第２の撮影モードが指定されると、処理はステップＳ７０１に進む。ステップＳ７０１〜Ｓ７０４の処理は第２の実施の形態における図７で説明した通りである。

ステップＳ７０２の処理後は、ステップＳ９０１で、シャッタ制御部７１２は、Ｆ値設定部１０８で設定されたＦ値と、ステップＳ７０２で目標としたＦ値とから開口時間を算出し、その開口時間となるようシャッタ７１１を制御する。シャッタ制御部７１２は、第１の撮影モードでの露光量に合わせるよう開口速度を算出する。具体的には、撮影モードが第１の撮影モードから第２の撮影モードに切り替わる段階でＦ値が大きくなるよう制御した状態である。Ｆ値が大きくなると露光量が減るので、露光量を合わせるには第２の撮影モードでの開口時間を長くする必要がある。従って、開口速度は第１の撮影モード時よりも長くなるよう算出される。

一方、ステップＳ７０４の処理後は、ステップＳ９０２で、シャッタ制御部７１２は、Ｆ値設定部１０８で設定されたＦ値と、ステップＳ７０４で目標としたＦ値とから開口時間を算出し、その開口時間となるようシャッタ７１１を制御する。シャッタ制御部７１２は、第１の撮影モードでの露光量に合わせるよう開口速度を算出する。具体的には、撮影モードが第１の撮影モードから第２の撮影モードに切り替わる段階でＦ値が小さくなるよう制御した状態である。Ｆ値が小さくなると露光量が増えるので、露光量を合わせるには第２の撮影モードでの開口時間を短くする必要がある。従って、開口速度は第１の撮影モード時よりも短くなるよう算出される。

これらの処理により、第１の撮影モードから第２の撮影モードへと移行する際に現在のＦ値を変化させる制御がなされた場合に、Ｆ値の変化に応じてシャッタ７１１の開口時間が調整されて、撮影モード切り替わり時の露出の変化が抑制される。ステップＳ９０１、Ｓ９０２の後は、処理はステップＳ３０６に進む。

本実施の形態によれば、通常撮影時とリフォーカス可能な画像の撮影時との切り替えがなされても適切な絞り量で撮影すること、及び、撮影モード切り替えのタイムラグの短縮に関し、第２の実施の形態と同様の効果を奏する。それだけでなく、２つの撮影モードで生成される撮像画像で発生する光量の違いによる撮影効果の差異が解消される。

なお、シャッタ７１１は、ミラー９０３と絞り部１０２との間に設け、撮影モードに応じて開口時間が制御されるようにしてもよい。

なお、シャッタ７１１の開口時間による光量制御は、第１の実施の形態に適用してもよい。

なお、第１の実施の形態において、現在のＦ値との比較対象で且つＦ値の制御目標値として、最小基準Ｆ値Ａ２を採用した。しかし、この値として、必ずしも最小基準Ｆ値Ａ２を使用する必要はなく、リフォーカス可能範囲Ｂ２内のいずれかの値を採用してもよい。

なお、第２の実施の形態で説明したように、現在のＦ値がリフォーカス可能範囲Ｂ２から外れている場合に、リフォーカス可能範囲Ｂ２の値のうち現在のＦ値に最も近い値を制御目標値とするのが、時間短縮に有利である。しかし、必ずしもそれに限定されず、リフォーカス可能範囲Ｂ２内のいずれかの値を制御目標値としてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

９８ モード指定部
１０２ 絞り部
１０４ 第１の撮像素子
１０５ マイクロレンズアレイ部
１０６ 第２の撮像素子
１０７ 画像処理部
１０８ Ｆ値設定部
１０９ Ｆ値判定部
１１０ 絞り制御部
９０３ ミラー

Claims (12)

1. 入射光の光量を調整する絞り部と、
   入射光を電気信号に変換する撮像素子と、
   マイクロレンズアレイ部と、
   撮影モードとして第１のモードまたは第２のモードを選択的に指定する指定手段と、
   前記第１のモードにおけるＦ値を設定する設定手段と、
   前記第１のモードでは、前記マイクロレンズアレイ部を介さずに前記撮像素子に入射光を入射させる一方、前記第２のモードでは、前記マイクロレンズアレイ部を介して前記撮像素子に入射光を入射させるよう、入射状態を切り替える切り替え手段と、
   前記撮像素子により変換された電気信号に基づき画像情報を生成する生成手段であって、前記第２のモードにおいては前記画像情報をリフォーカス可能な画像情報として生成する生成手段と、
   前記第１のモードでは、前記設定手段により設定されたＦ値に基づいて前記絞り部を制御する一方、前記第２のモードでは、所定のＦ値範囲と前記設定手段により設定されたＦ値との比較結果に基づいて前記絞り部を制御する制御手段とを有することを特徴とする撮像装置。
2. 前記制御手段は、前記設定手段により設定されたＦ値が前記所定のＦ値範囲内にない場合は、現在のＦ値が前記所定のＦ値範囲内の値となるように前記絞り部を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記所定のＦ値範囲は、リフォーカス可能な画像情報を生成できるＦ値の最小値と最大値との間の範囲であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記設定されたＦ値が前記最小値よりも小さい場合は、現在のＦ値が前記最小値となるように前記絞り部を制御する請求項３に記載の撮像装置。
5. 前記制御手段は、前記設定されたＦ値が前記最大値よりも小さい場合は、現在のＦ値が前記最大値となるように前記絞り部を制御する請求項３または４に記載の撮像装置。
6. 前記制御手段は、前記設定手段により設定されたＦ値と、前記所定のＦ値範囲におけるリフォーカス可能な画像情報を生成できるＦ値の最小値とを比較し、前記設定されたＦ値と前記最小値とが一致しない場合は、現在のＦ値が前記最小値となるように前記絞り部を制御することを特徴とする請求項１に記載の撮像装置。
7. 前記最小値は、前記マイクロレンズアレイ部における各々のマイクロレンズの照射範囲が、隣接するマイクロレンズ同士のクロストークを生じさせない最大の照射範囲となるＦ値であることを特徴とする請求項３、４または６に記載の撮像装置。
8. 前記最大値は、前記マイクロレンズアレイ部における各々のマイクロレンズの照射範囲が、前記撮像素子が有する光電変換素子群のうち複数の光電変換素子を含むような最小の照射範囲となるＦ値であることを特徴とする請求項３または５に記載の撮像装置。
9. 撮影モードが前記第１のモードから前記第２のモードへと移行する場合、前記制御手段による前記絞り部の制御は、前記切り替え手段により入射状態が切り替えられる前に実行されることを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
10. 入射光の通過の有無を制御するためのシャッタと、
    撮影モードが前記第１のモードから前記第２のモードへと移行する際に前記制御手段が現在のＦ値を変化させた場合に、前記シャッタの開口時間を調整する調整手段とを有することを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
11. 前記切り替え手段は、入射光を妨げない第１の位置と入射光を反射させる第２の位置とに位置が可変であるミラーを有し、
    前記撮像素子は、第１の撮像素子と第２の撮像素子とからなり、
    前記マイクロレンズアレイ部は、前記第２の撮像素子の光の入射側に配置され、
    前記切り替え手段は、前記第１のモードでは、前記ミラーを前記第１の位置または前記第２の位置のいずれか一方の位置に位置させることで、前記第１の撮像素子に入射光を入射させ、前記第２のモードでは、前記ミラーを前記第１の位置または前記第２の位置のいずれか他方の位置に位置させることで、前記マイクロレンズアレイ部を介して前記第２の撮像素子に入射光を入射させることを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
12. 入射光の光量を調整する絞り部と、入射光を電気信号に変換する撮像素子と、マイクロレンズアレイ部と、を有する撮像装置の制御方法であって、
    撮影モードとして第１のモードまたは第２のモードを選択的に指定する指定ステップと、
    前記第１のモードにおけるＦ値を設定する設定ステップと、
    前記第１のモードでは、前記マイクロレンズアレイ部を介さずに前記撮像素子に入射光を入射させる一方、前記第２のモードでは、前記マイクロレンズアレイ部を介して前記撮像素子に入射光を入射させるよう、入射状態を切り替える切り替えステップと、
    前記撮像素子により変換された電気信号に基づき画像情報を生成する生成ステップであって、前記第２のモードにおいては前記画像情報をリフォーカス可能な画像情報として生成する生成ステップと、
    前記第１のモードでは、前記設定ステップにより設定されたＦ値に基づいて前記絞り部を制御する一方、前記第２のモードでは、所定のＦ値範囲と前記設定ステップにより設定されたＦ値との比較結果に基づいて前記絞り部を制御する制御ステップとを有することを特徴とする撮像装置の制御方法。

Images