JP2018042145A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】先幕と後幕の光軸上の位置が異なるシャッタ機構を用いながらも、ボケ像に露光ムラや欠けのない品位の高い画像を取得可能な撮像装置を提供する。【解決手段】撮影光学系の瞳領域を分割して光束を受光し、画像を取得する撮像部と、先幕と後幕の光軸上の位置が異なるシャッタと、シャッタの走行方向の像高位置と、光束が通過した瞳領域の情報とに基づいて、撮像部が取得した画像のゲインを調整するゲイン調整部とを備える。【選択図】 図１

Description

本発明は、電子シャッタ機能とメカシャッタ機能とを併用して撮像動作を行う撮像装置に関するものである。

デジタルカメラにおいて、電子方式のシャッタ（以下、電子シャッタ）と、メカ方式のフォーカルプレンシャッタ（以下、メカシャッタ）を併用して撮影動作を行うものが知られている。この種の撮像装置では、撮像素子の画素の電荷をメカシャッタの走行方向に行毎に順次リセットして先幕の代わり（電子先幕）とし、メカシャッタにより後幕を形成する。このようなシャッタ機構では、その構成上、メカシャッタの光軸上の位置と撮像素子の撮像面の光軸上の位置とが異なるため、先幕と後幕が走る光軸上の位置も異なってしまう。そのため、特に先幕と後幕の走行間隔が短い（露光時間が短い）場合において、ボケ像にシャッタの走行方向の露光ムラが生じ、顕著な場合には一部に欠けが生じてしまう。この現象により、取得される画像の品位が低いものになってしまうことがある。

また、このボケ像の露出ムラは、絞りや射出瞳距離といった撮影レンズの光学特性により生じ方が異なる。そのため、脱着可能な撮影レンズとカメラボディで構成されるレンズ交換式のカメラシステムにおいては、装着する撮影レンズによって露出ムラの程度が異なってしまう。

特開２０１０−４１５１０号公報

この問題に対し、特許文献１では、露出時間を調整及び規制することにより、ボケ像の欠けが発生する撮影条件を避ける技術が提案されている。

しかしながら、特許文献１においては、撮影条件が規制を受けるため、ユーザは自由に撮影設定を選ぶことができないという問題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、先幕と後幕の光軸上の位置が異なるシャッタ機構を用いながらも、ボケ像に露光ムラや欠けのない品位の高い画像を取得可能な撮像装置を提供することである。

本発明に係わる撮像装置は、撮影光学系の瞳領域を分割して光束を受光し、画像を取得する撮像手段と、先幕と後幕の光軸上の位置が異なるシャッタと、前記シャッタの走行方向の像高位置と、光束が通過した瞳領域の情報とに基づいて、前記撮像手段が取得した画像のゲインを調整するゲイン調整手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置は、撮影光学系の瞳領域を分割して光束を受光し、画像を取得する撮像手段と、先幕と後幕の光軸上の位置が異なるシャッタと、前記シャッタの走行方向の像高位置と、光束が通過した瞳領域の情報とに基づいて、前記撮像手段が取得した画像におけるボケ像の欠けを補完する補完手段と、を備えることを特徴とする。

本発発明によれば、先幕と後幕の光軸上の位置が異なるシャッタ機構を用いながらも、ボケ像に露光ムラや欠けのない品位の高い画像を取得可能な撮像装置を提供することが可能となる。

本発明の一実施形態に係わる撮像装置の構成を示すブロック図。 一実施形態のシャッタ構成におけるボケ像を説明するための図。 ボケ像の補正に必要なパラメータを説明するための図。 瞳領域を分割して光束を取得する方法を説明するための図。 ボケ像のムラや欠けと瞳領域の関係を説明するための図。 ボケ像の露出ムラの補正を説明するための図。 ボケ像の欠けの補正を説明するための図。 一実施形態の動作を説明するためのフローチャート。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。なお、本発明は以下の実施形態に限定されるものではない。

図１は、本発明の一実施形態に係わる撮像装置の構成を示すブロック図であり、図１（ａ）は物理的な構成を示し、図１（ｂ）は信号処理系の構成を示している。図１（ａ）において、撮影レンズ１０１は、カメラボディ１２１に対して着脱自在に構成されている。

まず、撮影レンズ１０１の構成について説明する。撮影レンズ１０１は、撮影光学系１０２を有する。撮影光学系１０２は、フォーカスレンズ１０２ａ、絞り１０２ｂを有する。フォーカスレンズ１０２ａ及び絞り１０２ｂは、レンズ駆動部１０４により駆動される。また、レンズ操作部１０５の操作により、撮影光学系１０２全体の焦点距離が変更される、いわゆるズーム操作も行われる。レンズシステム制御部１０３は、撮影レンズ１０１の全体を制御する。具体的には、電気接点１１１を介したカメラシステム制御部１２６との信号のやり取りや、レンズ操作部１０５からの信号の受信、レンズ駆動部１０４への駆動信号の送信等を行う。ユーザがレンズ操作部１０５に対してズーム操作を行うと、操作に連動して機械的に撮影光学系１０２の焦点距離が変更される。また、同様にユーザが操作部１０５に対してフォーカス操作を行うと、レンズシステム制御部１０３にフォーカス操作信号が送信される。撮影レンズ１０１のレンズシステム制御部１０３と、カメラボディ１２１のカメラシステム制御部１２６は、電気接点１１１を介して信号のやりとりを行う。

次に、カメラボディ１２１の構成について説明する。撮像素子１２２は、撮影光学系１０２を透過した光束を光電変換し、生成された信号を後述の画像処理部１２５に送信する。詳細は後述するが、この撮像素子１２２はマイクロレンズアレイ２０１を表面に有している。これにより、瞳領域を分割して光束を取得可能な画像取得部を構成する。撮像素子１２２の有する電子シャッタ１２３は、撮像素子１２２の画素の電荷を後述するメカシャッタの走行方向に順次リセットし（リセット動作）、露光の開始タイミングを決める先幕の役割を果たす。メカシャッタ１２４は、露光の終了タイミングを決める後幕を構成する。電子シャッタ１２３とメカシャッタ１２４とにより、先幕と後幕の光軸上の位置が異なるシャッタ機構を構成する。

画像処理部１２５は、撮像素子１２２から送られた信号から画像を生成する。カメラシステム制御部１２６は、レンズシステム制御部１０３と信号をやりとりし、カメラシステム全体を制御して撮影動作を行う。メモリ部１２７は、後述するボケ像の補正に必要な撮影設定情報の記憶や、補正テーブルの保持、取得した画像信号の記録等を行う。カメラ表示部１２８は、取得画像のプレビュー表示や、撮影設定を表示する。カメラ操作部１２９は、ユーザの操作入力を受け付けて、信号をカメラシステム制御部１２６へと送る。

次に信号処理系の構成を図１（ｂ）を用いて説明する。図１（ｂ）では、長方形で示すブロックは処理部を示し、角を丸めたブロックは信号を示している。取得画像１３１、撮影設定情報１３２、測距情報１３３を用いて、各像高における画像の補正が行われる。欠け判定部１３４は、欠け判定テーブル１３５を用いて欠け判定を行う。具体的には、取得画像１３１、撮影設定情報１３２、測距情報１３３が欠け判定部１３４に入力され、欠け判定部１３４は、これら３つの情報を欠け判定テーブル１３５と照らし合せることで、各像高においてボケ像に欠けが発生するか否かを判定する。そして、欠けの発生有無によって、異なる処理部により処理が行われる。

ゲイン調整部１３６は、ゲイン調整テーブル１３７を用いてゲイン調整を行う。具体的には、欠け判定部１３４により欠けが発生しないと判断された像高においては、取得画像１３１、撮影設定情報１３２、測距情報１３３はゲイン調整部１３６へと送られる。ゲイン調整部１３６は、これら送られてきた３つの情報と、ゲイン調整テーブル１３７を照らし合せ、ゲイン調整フィルタを生成する。

瞳欠け補完部１３８は、瞳欠け補完テーブル１３９を用いて瞳欠け補完を行う。具体的には、欠け判定部１３４により欠けが発生すると判断された像高においては、取得画像１３１、撮影設定情報１３２、欠け情報は瞳欠け補完部１３８へと送られる。瞳欠け補完部１３８は、これら送られてきた３つの情報と、瞳欠け補完テーブル１３９を照らし合せ、瞳欠け補完フィルタを生成する。

補正フィルタ１４０は、前述したゲイン調整フィルタ、瞳欠け補完フィルタのいずれかを指す。現像部１４１には、取得画像１３１が送られ、現像部１４１は取得画像１３１に、生成された各像高における補正フィルタ１４０を適用することで、補正画像１４２を生成する。本実施形態では、上記の構成をとることにより撮影条件やレンズの光学特性に制約を受けずに、ボケ像に露出ムラや欠けのない画像を取得することができる。

次に、ボケ像に露出ムラや欠けが発生するメカニズムについて図２を用いて説明する。図２は、単一点光源１５２からの光が、撮影光学系１０２の合成レンズの瞳１５１を通過して入射する様子を示している。撮像素子１２２の画素を行ごとにリセットすることにより実現される電子シャッタは撮像素子面１５３上を走行し、メカシャッタはメカシャッタ面１５４上を走行する。図２（ａ）の場合、ピント位置はメカシャッタ面１５４より撮影レンズ側にあり、点光源１５２からの光束はメカシャッタ面１５４、撮像素子面１５３それぞれにおいて、ボケ像を形成しているとする。ここで、電子シャッタによる先幕１５５が撮像素子面１５３の下側から走行を開始し、撮像素子面１５３上に形成されるボケ像の下端１５７を通過した時にボケ像の下端の露光が開始される。また、電子シャッタによる先幕１５５がボケ像の上端１５３を通過した時にボケ像の全域で露光が開始している状態になる。同様に、メカシャッタによる後幕１５６がメカシャッタ面１５４の下側から走行し、メカシャッタ面１５４上に形成されるボケ像の下端１５９を通過した時にボケ像の下端の露光が終了される。また、メカシャッタによる後幕１５６がボケ像の上端１６０を通過した時にボケ像の全域で露光が終了した状態になる。

ここで、先幕と後幕の時間関係を、横軸に時間、縦軸にシャッタ走行方向位置をとったグラフで考えてみる。直線１６１は、電子シャッタ１２３による先幕１５５の走行時の時間毎の位置を示し、直線１６２は、メカシャッタによる後幕１５６の走行時の時間毎の位置を示している。

まず、露光の開始タイミングを考える。撮像素子面１５３上でのボケ像の下端１５７から同じシャッタ走行方向位置において紙面右方向に外挿し、直線１６１と交差する点１６３がボケ像の下端の露光開始時点となる。同様に撮像素子面１５３上でのボケ像の上端１５８から紙面右方向に外挿し直線１６１と交差する点１６４がボケ像の上端の露光開始時点となる。つまり、点１６３から点１６４を繋いだ線分１６３−１６４が、順次下から上へとボケ像の露光が開始されていくタイミングを示している。

次に、露光の終了タイミングを考える。メカシャッタ面１５４上でのボケ像の下端１５９から同じシャッタ走行方向位置において紙面右方向に外挿し、直線１６２と交差する点１６５がボケ像の下端での露光終了時点となる。同様にメカシャッタ面１５４上でのボケ像の上端１６０から紙面右方向に外挿し、直線１６２と交差する点１６６がボケ像の上端の露光終了時点となる。

ここで、今考えた露光終了時のシャッタ走行方向位置はメカシャッタ面１５４上でのボケ像を参照しており、撮像素子面１５３上で受光されるボケ像とはシャッタ走行方向の位置が異なっている。そこで、点１６５および点１６６を同じ時間上で紙面上下方向に外挿し、撮像素子面１５３上でのボケ像の下端、上端とそれぞれ交差する点１６７、点１６８を考える。この点１６７から点１６８を繋いだ線分１６７−１６８が、撮像素子面１５３上での順次下から上へとボケ像の露光が終了されていくタイミングを示している。

以上のように求めた露光開始タイミングを示す線分１６３−１６４と、露光終了タイミングを示す線分１６７−１６８を用いることとで、ボケ像のシャッタ走行方向位置毎の露光時間を考えることができる。まず、ボケ像の下端１５７での露光時間を考えると、点１６３の時刻から点１６７の時刻までが露光時間となる。次に、ボケ像の上端１５８での露光時間を考えると、露光開始の点１６４の時刻よりも露光終了の点１６８の時刻の方が早いことがわかる。露光時間は負の値をとり得ないので、ボケ像の上端１５８においては露光がなされないと言うことになる。このようにして、ボケ像の全域において露光時間を考えることができる。グラフからわかるように、露光開始タイミングを示す線分１６３−１６４と、露光終了タイミングを示す線分１６７−１６８は、点１６９において交差している。つまり、ボケ像の露光時間はボケ像の下端１５７において最大となり、シャッタ走行方向位置が上になるに従い徐々に減少し、点１６９より上の領域においては全く無くなることがわかる。この場合に受光されるボケ像１７０は、図２（ａ）の右の方に示した図のようになる。つまり、領域１７１においては、シャッタ走行方向位置が上になるに従い受光量が少なくなり、領域１７２においては、受光が全くされない欠けとなる。このようなメカニズムで、ボケ像のムラおよび欠けが発生する。

また、図２（ｂ）は図２（ａ）とピント位置が異なる状態を示している。図２（ｂ）において、ピント位置は点１５８で示すように、撮像素子面１５３よりも後方に位置している。このピント状態において、図２（ａ）と同様の手順で算出すると、ボケ像１７０ｂは、図２（ｂ）の右の方に示した図のようになる。つまり、ボケ像１７０ｂにおいて、領域１７１ｂにおいてはシャッタ走行方向位置が上になるに従い受光量が多くなり、領域１７２ｂは欠けとなる。図２（ａ）とは欠けの発生する領域が異なり、欠けはボケ像の下側に発生する。

図２（ｃ）は、撮像素子の光軸より下の領域において、ボケ像を受光する場合を示している。ピント位置は図２（ａ）と同様に、メカシャッタ面よりもレンズ側にある。図２（ａ）と同様の手順で算出すると、ボケ像１７０ｃは、図２（ｃ）の右の方に示した図のようになる。つまり、ボケ像１７０ｃは、領域１７１ｃにおいて、シャッタ走行方向位置が上になるに従い受光量が少なくなる。図２（ｃ）においては、ボケ像に欠けは発生していない。このように撮像素子の下側領域においては、ボケ像の欠けは発生しにくい状態にある。また、図２（ａ）と図２（ｂ）との比較において、ピント位置が撮像面の撮影レンズ側にあるか、背面側にあるかによってシャッタ走行方向の受光量の増減関係が逆転する。撮像面の下側領域においても、ピント位置が撮像面のレンズ側か背面側かにより、シャッタ走行方向の受光量の増減関係は逆転する。

以上、代表的なボケ像の発生状態を場合分けして、ボケ像の露光ムラと欠けを考えた。このような問題に対し、本実施形態の方法は、上記の場合分けのどの状態であろうと、つまり撮影条件や光学系の特性に制約を受けずに、ボケ像に露出ムラや欠けのない品位の高い画像の取得を可能とする。

ここで、ボケ像の露出ムラおよび欠けを算出するのに必要なパラメータを、図３を用いて整理する。前述の算出において、瞳１５１の上端からの光線と下端からの光線を考えていた。そのため、瞳径１８１が必要となる。この瞳径１８１を求めるため、撮影光学系１０２の光学情報として、射出瞳距離１８２と、射出瞳距離と瞳径の比率である絞り値１８３が必要である。次に、ボケ像を算出する像高位置１８４が必要である。そして、撮像素子面１５３でのボケ像を求めるため、像高１８４でのデフォーカス情報１８５が必要である。このデフォーカス情報１８５は、被写体の距離に応じて決まる。そのため、デフォーカス情報１８５の代わりに検出された測距情報をパラメータに考えることもできる。また、メカシャッタ面１５４でのボケ像を求めるため、撮像素子面１５３とメカシャッタ面１５４の光軸方向の距離１８６が必要である。これは、電子シャッタの先幕と、メカシャッタの後幕との光軸方向の距離と言うこともできる。そして、電子シャッタとメカシャッタの走行のシャッタ走行方向の距離間隔であるシャッタスリット幅１８７が必要である。このシャッタスリット幅１８７は、ユーザが設定可能な撮影パラメータであるシャッタスピードに応じて決まる。そのため、シャッタスピードをパラメータと考えてもよい。これらのボケ像の算出に必要なパラメータ１８１〜１８７から、像高位置１８４、デフォーカス情報１８５を除いたものが、図１（ｂ）における撮影設定情報１３２に対応する。

また、厳密にボケ像を算出するためにはパラメータ１８１〜１８７の全てが必要となるが、より簡易にボケ像を算出してもよい。実際の撮影で起こりやすい状況、例えば多くのピントの外れた被写体のピント位置はメカシャッタ面１５４より手前にある、などと想定し、パラメータを固定して使うことで簡易なボケ像の算出が可能となる。この場合、像高位置情報１８４だけは、ボケ像の露出ムラおよび欠けに与える影響が大きいため、パラメータとして用いるのが好ましい。

以上が、ボケ像に露光ムラおよび欠けが発生するメカニズムと算出方法である。以下、このボケ像の露出ムラおよび欠けを補正する方法について説明する。補正においては、瞳領域ごとに光束を分割した画像が必要である。そのため、まずは瞳領域を分割して光束を取得可能な画像取得手段について図４を用いて説明する。

本実施形態の方法を適用するためには、画像データは光線の位置に加えて入射角度の情報を有する必要がある。角度情報の取得のためには、撮影光学系の結像面近傍にマイクロレンズアレイを配置するとともに、１つのマイクロレンズに対して複数の画素を対応させて配置する。

図４（ａ）は撮像素子とマイクロレンズアレイの関係を模式的に示す図である。撮像素子１２２は、マイクロレンズアレイ２０１と、画素群２０２とを有する。撮像素子１２２を正面から見ると、マイクロレンズアレイ２０１の各レンズが複数の画素を覆うように配置されている。なお、図を分かりやすくするために各マイクロレンズの大きさを誇張して大きく記載しているが、実際には画素の数倍程度の大きさである。

図４（ｂ）は図４（ａ）の一部拡大図であり、格子状の枠が画素群２０２の各画素を示している。また、マイクロレンズアレイ２０１を構成する各マイクロレンズは太線の円で示されている。マイクロレンズ１つに対して複数の画素が割り当てられており、図の例では５行×５列の２５個の画素が１つのマイクロレンズに対して設けられている。そのため各マイクロレンズの大きさは画素の大きさの５×５倍である。この２５個の画素の出力を加算合計したものを加算合計画素２０３と呼ぶことにする。

図４（ｃ）の右方に示した図は、撮像素子１２２をマイクロレンズの光軸を含み撮像素子の短手方向が図の縦方向になるようにした断面図である。図４（ｃ）には、撮像素子１２２の画素（１つの光電変換部）２１１，２１２，２１３，２１４，２１５が示されている。一方、図４（ｃ）の左方に示した図は撮影光学系の射出瞳面を示している。実際には、図４（ｃ）の右方に示したセンサの図と方向を合わせると、射出瞳面は図４（ｃ）の紙面垂直方向になるが、説明を分かりやすくするために投影方向を変化させている。図４（ｃ）では説明を分かりやすくするために、１次元の投影／信号処理について説明するが、実際の装置では、２次元に拡張される。

図４（ｃ）に示される画素２１１，２１２，２１３，２１４，２１５は、図４（ｂ）の画素２１１，２１２，２１３，２１４，２１５とそれぞれ対応するものである。図４（ｃ）に示すように、マイクロレンズによって各画素は撮像光学系の射出瞳面上の特定の領域と共役になるように設計されている。図４（ｃ）の例では画素２１１と領域２２１が、画素２１２と領域２２２が、画素２１３と領域２２３が、画素２１４と領域２２４が、画素２１５と領域２２５が、それぞれ対応している。すなわち画素２１１には撮影光学系の射出瞳面上の領域２２１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子１２２上の画素の位置関係から角度の情報を取得することが可能となる。以上により、本実施形態においては瞳領域を分割して光束を取得することが可能である。

次に、ボケ像のムラや欠けと瞳領域の関係について図５を用いて説明する。図５では、射出瞳、ボケ像、ボケ像を受光する撮像面上の領域に位置する画素の関係について説明する。

図５（ａ）においては、射出瞳３０１、ボケ像３０２、ボケ像を受光するマイクロレンズ下での画素３０３が示されている。ここではシャッタの走行方向に沿って模式的に領域を分割して考える。まず、射出瞳について、シャッタ走行方向に領域を分割し、上から順に瞳領域３０１ａ，３０１ｂ，３０１ｃとする。図５（ａ）では、点光源からの光束は射出瞳３０１を通過し、メカシャッタおよび撮像面の手前で結像し、撮像面においてはボケ像を形成する。ボケ像３０２についても、シャッタの走行方向に領域を分割し、下から順に領域３０２ａ，３０２ｂ，３０２ｃとする。ここで、図５（ａ）では、点光源からの光束はメカシャッタ面手前で結像している。そのため、射出瞳とボケ像とでは、対応が上下左右で反転する。つまり、上から順に瞳領域３０１ａ，３０１ｂ，３０１ｃを通過した光束は、ボケ像では下から順に領域３０２ａ，３０２ｂ，３０２ｃに対応する。このように、シャッタの走行方向にボケ像３０２を分割して考えると、それぞれのボケ像の領域には、異なる瞳領域を通過した光束が到達している。それぞれのボケ像の領域について、領域ごとにマイクロレンズとマイクロレンズ下に位置する画素を考える。

図５（ａ）では、マイクロレンズとマイクロレンズ下の画素を拡大したものを３０３として示している。領域３０２ａに位置するマイクロレンズとマイクロレンズ下の画素を３０３ａ、領域３０２ｂに位置するマイクロレンズとマイクロレンズ下の画素を３０３ｂ、領域３０２ｃに位置するマイクロレンズとマイクロレンズ下の画素を３０３ｃとする。前述のとおり、領域３０２ａには、瞳領域３０１ａを通過した光束のみが到達している。そのため、瞳領域を分割して光束を受光できるマイクロレンズ下の画素においては、瞳領域３０１ａに対応する画素のみに光束が届くことになる。図４（ｃ）において説明したが、マイクロレンズにより射出瞳３０１と画素は共役な関係にあるため、その対応関係は上下左右が反転する。よって、瞳領域３０１の上部の瞳領域３０１ａを通過した光束はマイクロレンズ下の下部に位置する画素に到達する。その結果、３０３ａで示されるマイクロレンズ下の画素においては、マイクロレンズ下の下部のみが受光し、その他の画素は光線を受光しない状態となる。これと、同様に領域３０２ｂ、瞳領域３０１ｂに対応するマイクロレンズ下の画素ではマイクロレンズ下の中央部のみが受光し、領域３０２ｂ、瞳領域３０１ｂに対応するマイクロレンズ下の画素ではマイクロレンズ下の上部のみが受光する。以上が、点光源を考えた場合の瞳領域とボケ像、マイクロレンズ下の画素の関係である。

次に、点光源から光源を拡張して考える。一般光源は、これまで想定してきた点光源が連続的に並んだ光源群である。図５（ｂ）では、３つの光源がつくるボケ像群３０２ｘを簡易化した一般光源として考える。そして、３つのボケ像群３０２ｘが重なる位置でのマイクロレンズ下の画素３０３ｘを考える。図５（ｂ）に示す通り、マイクロレンズとマイクロレンズ下の画素３０３ｘには、ボケ像群の下部領域、中央部領域、上部領域、のそれぞれの光束が到達している。各ボケ像の各領域においては、それぞれ特定の瞳領域を通過した光束しか到達しなかったが、画素３０３ｘのようにボケ像の各領域の光が重なって入射する場合には、すべての瞳領域に対応する画素に光束が到達する。

ここで、このマイクロレンズ下の画素３０３ｘでの受光量を考える。前述のとおりシャッタ走行方向に露光ムラが発生し、ボケ像３０２は図５（ａ）に示すように、上部ほど受光量が少なく、下部ほど受光量が多い。そのため、画素３０３ａではマイクロレンズ下の下部において大きな受光量であり、画素３０３ｂではマイクロレンズ下の中央部において中程度の受光量であり、画素３０３ｃではマイクロレンズ下の上部において少ない受光量である、ということになる。近接する光源が作るボケ像では、マイクロレンズ下での画素の受光状況はおおむね等しい。そのため、ボケ像群３０２ｘのシャッタ走行方向の各領域すべての光束を受光しているマイクロレンズ下の画素３０３ｘにおいては、マイクロレンズ下の下部において多い受光量、中央部において中程度の受光量、上部において少ない受光量となる。このように、ボケ像の露光ムラおよび欠けは、マイクロレンズ下の画素の露光量と相似の関係となる。また、ピント位置が異なる場合、像高位置が異なる場合においても、同様にボケ像の露出ムラと欠けは、マイクロレンズ下の画素の露光量と相似の関係となる。

この関係を逆に考え、このマイクロレンズ下の画素における露出ムラおよび欠けを補正することで、ボケ像の露出ムラおよび欠けを補正する。図６を用いて補正の概念を説明する。図６の左端には、前述した手法にて予測した予測ボケ像４０１が示されている。これを用い、前述の関係からマイクロレンズ下の画素における予測露出ムラ４０２に変換する。予測露出ムラ４０２ａは、横軸に露光比率、縦軸にシャッタ走行方向位置をとって表現されている。以後、図６における縦軸は、特に説明しない限り全てシャッタ走行方向位置とる。予測露出ムラはマイクロレンズ下の各画素間で発生してしまう露出比率のムラである。そのため、この比率を補正するフィルタを生成する。補正フィルタ４０３は露出比率４０２ａを補正する補正フィルタであり、横軸に補正係数をとって表されている。当然ながら、露出比率４０２ａの曲線とシャッタ走行方向について逆転した係数となる。ここまでが補正フィルタの準備に相当する。

次に、実際に撮影した画像に補正フィルタを適用する。撮影情報４０４は、マイクロレンズ下の実際の撮影情報を模式的に示している。曲線４０４ａは、この撮影情報を、横軸に受光量をとって表現したものである。また、直線４０４ｂは露出ムラにより発生してしまう露光量の傾きを示している。ここで、撮影情報の受光量の曲線４０４ａに対して、補正フィルタの補正係数４０３を掛け合わせる。ゲイン４０５ａは、補正係数４０３を掛け合わせた後のゲインを示している。補正フィルタを適用する前は、露出ムラの傾き成分４０４ｂを有していたが、補正効果によりゲイン４０５ａのベース成分４０５ｂは露出ムラによる傾きがない状態へと補正されている。符号４０５は補正後のマイクロレンズ下の画素のイメージを示している。本実施形態のシャッタ構成による露出ムラが補正された状態である。このようにマイクロレンズ下での画素間のゲイン補正を撮像素子全域のマイクロレンズ下の画素について適用することで、ボケ像４０６に示すような、露出ムラのないボケ像が取得できる。

以上のように、本実施形態においては、メカシャッタと電子シャッタを併用することによるボケ像の露出ムラを補正することができる。また、ボケ像の露出ムラや欠けの算出を簡易化する方法を示したが、この算出を簡易化した予測ボケ像を用い露出ムラ補正も簡易化して行ってもよい。これら露出ムラの補正は図１（ｂ）におけるゲイン調整部１３６が補正フィルタを生成し、現像部１４１がフィルタを取得画像１３１へと適用することで行われる。

ここまではボケ像の露出ムラを補正する手法について説明してきたが、ボケ像に欠けが発生する場合には、上述の方法を適用することはできない。なぜなら、ゲイン調整では、ゲインがゼロであるマイクロレンズ下の瞳の欠けの画素を持ち上げることができないからである。そのため、ボケ像に欠けが発生する場合には、補正の方法を変える必要がある。

図７を用いて、ボケ像に欠けが発生する場合の、マイクロレンズ下での瞳欠けを補正する方法について説明する。図７（ａ）において、ボケ像群５０１が示されている。ここでは、それぞれのボケ像の上部が欠けた状況を想定している。そのため、ボケ像群５０１の領域に位置するマイクロレンズ下の画素は符号５０２ａで示すように、上部の画素５０２ａ１が欠け、瞳が欠けた状態となる。

このマイクロレンズ下の画素の特定の瞳領域に対応する画素の欠けを補完するため、いわゆるリフォーカス処理などで行われるシフト処理を応用する。図７（ｂ）は、マイクロレンズアレイ、画素、各画素に入射する光線の関係を説明する図である。紙面横軸に光軸をとり、紙面垂直方向に撮像素子面をとっている。図７（ｂ）では、マイクロレンズアレイ５０１、マイクロレンズ下の画素５０２が示されている。いま、特定のマイクロレンズ５０１ａに着目する。マイクロレンズ５０１ａ下の画素５０２ａの中で画素５０２ａ１が欠けている状態にある。本実施形態の要部ではないために詳しい説明は省略するが、本実施形態の構成では、各マイクロレンズに対応する撮像素子上の位置において、デフォーカス量の算出が可能である。ここでは、欠けの補完を、デフォーカス量に応じたシフト量だけ光軸方向にシフトさせた再構成面において行う。再構成面５０２’はデフォーカス量だけシフトさせた再構成面である。欠け画素５０２ａ１へと入射するはずの光束が再構成面５０２’において画素５０２’ａ１に入射する。そして、再構成面において画素５０２’ａ１上に仮想的にあると想定されるマイクロレンズが５０１’ａである。また、マイクロレンズ５０１’ａ下の画素で５０２’ａ１以外の画素が５０２’ａ２、５０２’ａ３である。ここで、再構成面５０２’はデフォーカス量だけシフトさせた面であり、ピントが合った面である。そのため、これまで議論してきた点光源はボケ像ではなく略点像として、再構成面上に像を作る（再構成画像）。この場合、マイクロレンズ５０１’ａ下の画素に入射する光束は、通過する射出瞳上の領域は異なるが同一の点光源から到達するものである。そのため、欠け画素５０２’ａ１を、マイクロレンズ５０１’ａ下の他の画素５０２’ａ２、５０２’ａ３により補うことで、瞳の欠けを正しく補完することができる。そして、この補完した画素５０２’ａ１を本来現像したい撮像面５０２へと戻す。この様な手順でマイクロレンズ下の画素の瞳の欠けを補完することが出来る。そして、撮像素子の全域でマイクロレンズ下の画素の欠け補正を行うことで、図７（ｃ）に示すようにボケ像の欠けを補完することができる。

以上のように、本実施形態においては、ボケ像の欠けを補正することができる。また、簡易化した予測ボケ像を用いて瞳欠け補完を行ってもよい。これら瞳欠けの補完は図１（ｂ）における瞳欠け補完部１３８が補正フィルタを生成し、現像部１４１がフィルタを取得画像１３１へと適用することで行われる。

以上の方法により、撮影条件や光学系の特性に制約を受けずに、ボケ像の露出ムラと欠けの双方について補正を行うことができ、品位の高い画像の取得が可能になる。

次に、図８を用いて本実施形態の処理の流れについて説明する。カメラシステムの電源がＯＮになり、システム全体の動作がスタートし、まず、ステップＳ１０１において、スイッチＳ１がＯＮか否かが判定される。スイッチＳ１のＯＮとは、カメラボディに配された不図示のレリーズボタンが半押しされた状態を意味する。スイッチＳ１がＯＮではない場合には、引き続きスイッチＳ１がＯＮか否かの判別ステップで待機する。スイッチＳ１がＯＮの場合にはステップＳ１０２へと進む。

ステップＳ１０２では、測距および主被写体へのフォーカス動作を行う。前述の通り、本実施形態では撮像素子１２２の全面での測距および、測距情報の取得が可能である。この撮像素子１２２の全面の測距情報を用いて、特定の枠で指定された主被写体に対してフォーカスレンズ１０２ａを駆動し、フォーカス動作を行う。次にステップＳ１０３おいては、主被写体にピントが合った状態で再度、測距および測距情報の取得を行う。ここでの測距情報の取得は撮像素子１２２の全面で行い、この情報を用いて撮像素子１２２の全面で前述のボケ像への補正を行う。

次にＳ１０４において、スイッチＳ２がＯＮか否かの判定を行う。スイッチＳ２のＯＮとは、カメラボディに配された不図示のレリーズボタンが全押しされた状態を意味する。スイッチＳ２がＯＮでない場合には、引き続きスイッチＳ２がＯＮか否かの判別ステップで待機する。スイッチＳ２がＯＮの場合には、ステップＳ１０５に進む。

ステップＳ１０５では、電子シャッタによる先幕走行、露光、メカシャッタによる後幕走行、という一連の撮影動作を行い、画像取得を行う。ここで言う画像とは、マイクロレンズ下の各画素での露光情報そのままの画像情報を指す。

次に、ステップＳ１０６において、撮影設定情報の取得を行う。撮影設定情報とは、図３を用いて説明した複数のパラメータを指す。これらの情報に、測距情報、各画素のシャッタ走行方向の像高、画素に入射する光束がどの瞳境域を通過したか、の情報を合わせ補正を行う。

次のステップＳ１０７では、欠けが発生する条件であるか否かの判定を行う。この判定は図１（ｂ）における欠け判定部１３４が行う。欠けがあるかないかは、既に説明した手順によりボケ像を算出すれば判定が可能である。その都度、計算してボケ像を求めてもよいが、演算負荷の低減のために、撮影条件と欠けの発生有無を対応させるテーブルを保持し、テーブルを参照することで欠け判定を行う方が好ましい。この欠け判定を撮像面の全領域において順次実施していく。判定を行う単位は、１つ１つのマイクロレンズとしてもよいが、演算負荷の低減のために、取得した測距情報を基に、いくつかの領域に分けて各領域の代表マイクロレンズのみで欠け判定を行うなどするのが好ましい。現在のステップで対象となっている領域が、欠けが発生しないと判定された場合には、ステップＳ１０８へと進む。欠けが発生すると判定された場合には、ステップＳ１０９へと進む。

ステップＳ１０８では、既に説明した手順を用いてゲイン調整を行う。ステップＳ１０９では瞳欠け補完処理を行う。ゲイン調整はゲイン調整部１３６が、瞳欠け補完処理は瞳欠け補完部１３８が、それぞれ行う。処理の詳細については前述したとおりである。なお、本実施形態においては、ゲイン調整処理と瞳補完処理を完全に切り替えたか、欠けを補完した瞳内で、さらにゲイン調整を行ってもよい。その場合、ステップＳ１０７のＹＥＳ判断の後に、ゲイン調整処理を行い、その後にステップＳ１０９での瞳補完処理を行えばよい。

ステップＳ１１０において、補正領域に残りがあるか否かの判定を行う。残りがある場合にはステップＳ１１１へと進む。ステップＳ１１１では補正の対象となる補正領域を次の領域へと進める。そして、ステップＳ１０７へと戻り、再度、欠けの判定を行う。ステップＳ１１０において補正領域に残りがない場合には、ステップＳ１１２へと進む。ステップＳ１１２では、以上のように撮像素子全面でボケ像の補正を行った状態で画像を現像し、ボケ像の露出ムラや欠けのない画像の生成を行う。

以上のようにして、本実施形態では、メカシャッタと電子シャッタを併用したカメラシステムにおいて、撮影条件や撮影レンズの光学特性に関わらず、ボケ像に露光ムラや欠けのない品位の高い画像を取得することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２２：撮像素子、１２３：電子シャッタ、１２４：メカシャッタ、１３４：欠け判定部、１３６：ゲイン調整部、１３８：瞳欠け補完部、１４１：現像部、２０１：マイクロレンズアレイ

Claims (14)

1. 撮影光学系の瞳領域を分割して光束を受光し、画像を取得する撮像手段と、
   先幕と後幕の光軸上の位置が異なるシャッタと、
   前記シャッタの走行方向の像高位置と、光束が通過した瞳領域の情報とに基づいて、前記撮像手段が取得した画像のゲインを調整するゲイン調整手段と、
   を備えることを特徴とする撮像装置。
2. 前記シャッタは、前記撮像手段に配置された撮像素子における画素の行ごとのリセット動作を先幕として用い、機械的に幕を走行させるメカシャッタを後幕として用いることを特徴とする請求項１に記載の撮像装置。
3. 前記ゲイン調整手段は、前記撮像手段が取得した画像のゲインを調整することにより、前記撮像素子の撮像面上における前記先幕の位置と前記後幕の位置の間隔の変化により生ずる、ボケ像の露光ムラを補正することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記ゲイン調整手段は、射出瞳距離、絞り値、被写体の距離、前記シャッタの先幕と後幕の光軸方向の距離、前記シャッタの先幕と後幕の走行する距離間隔の少なくとも１つにさらに基づいて、前記撮像手段が取得した画像のゲインを調整することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記ゲイン調整手段は、画像の領域ごとにゲインの異なるフィルタを前記画像に適用することにより、前記撮像手段が取得した画像のゲインを調整することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記シャッタの走行方向の像高位置と、光束が通過した瞳領域の情報とに基づいて、前記撮像手段が取得した画像におけるボケ像の欠けを補完する補完手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 撮影光学系の瞳領域を分割して光束を受光し、画像を取得する撮像手段と、
   先幕と後幕の光軸上の位置が異なるシャッタと、
   前記シャッタの走行方向の像高位置と、光束が通過した瞳領域の情報とに基づいて、前記撮像手段が取得した画像におけるボケ像の欠けを補完する補完手段と、
   を備えることを特徴とする撮像装置。
8. 被写体の距離を検出する測距手段をさらに備え、前記補完手段は、前記測距手段により検出された被写体の距離に基づいて、前記撮像手段が取得した画像に対し、前記瞳領域ごとに異なるシフト量を与えて再構成画像を生成し、該再構成画像を用いて前記ボケ像の欠けを補完することを特徴とする請求項７に記載の撮像装置。
9. 前記シャッタの走行方向の像高位置と、光束が通過した瞳領域の情報とに基づいて、ボケ像に欠けが発生するか否かを判定する判定手段をさらに備え、前記補完手段は、前記判定手段により欠けがあると判定された場合に、前記ボケ像の欠けを補完することを特徴とする請求項７又は８に記載の撮像装置。
10. 前記シャッタは、前記撮像手段に配置された撮像素子における画素の行ごとのリセット動作を先幕として用い、機械的に幕を走行させるメカシャッタを後幕として用いることを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
11. 撮影光学系の瞳領域を分割して光束を受光し、画像を取得する撮像手段と、先幕と後幕の光軸上の位置が異なるシャッタとを備える撮像装置を制御する方法であって、
    前記シャッタの走行方向の像高位置と、光束が通過した瞳領域の情報とに基づいて、前記撮像手段が取得した画像のゲインを調整するゲイン調整工程を有することを特徴とする撮像装置の制御方法。
12. 撮影光学系の瞳領域を分割して光束を受光し、画像を取得する撮像手段と、先幕と後幕の光軸上の位置が異なるシャッタとを備える撮像装置を制御する方法であって、
    前記シャッタの走行方向の像高位置と、光束が通過した瞳領域の情報とに基づいて、前記撮像手段が取得した画像におけるボケ像の欠けを補完する補完工程を有することを特徴とする撮像装置の制御方法。
13. 請求項１１または１２に記載の制御方法をコンピュータに実行させるためのプログラム。
14. 請求項１１または１２に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images