JP2017041779A - 撮像装置及び露出制御方法 - Google Patents

Abstract

【課題】撮像装置での露出値演算や被写体認識演算の精度を高める。
【解決手段】ＡＥセンサ１０７により撮像を行い（Ｓ３０５）、得られた画像に対してシェーディング補正を行って周辺光量落ちを補正する（Ｓ３０６）。画像を複数のブロックに分割し、ブロック毎に輝度値の平均値を算出し（Ｓ３０８）、クリップデータとシェーディング補正データとからブロック毎にクリップデータを作成し（Ｓ３０４）、ブロック毎の輝度値の平均値をブロック毎のクリップデータを用いてクリップすることにより平均値のばらつきを抑制し（Ｓ３１０）、クリップが行われた後の画像データを用いて露出値を演算する（Ｓ３１１）。
【選択図】図４

Description

本発明は、撮像素子を用いて測光を行う撮像装置及び露出制御方法に関する。

デジタルカメラやデジタルビデオカメラに用いられるＣＭＯＳイメージセンサに存在する画素欠陥に起因するノイズを補正する方法として、ノイズの載った画素をその周囲の画素との相関関係に基づいて補正する方法が提案されている（例えば、特許文献１参照）。

ＣＭＯＳイメージセンサには、光量の平方根に比例する光ショットノイズが存在し、この光ショットノイズを抑制する方法として、上記特許文献１に記載された方法を用いることができると考えられる。また、ＣＭＯＳイメージセンサには、暗電流による固定パターンノイズが発生する。この固定パターンノイズを補正する技術として、オプティカルブラック領域に基づき暗電流成分を算出する方法や、駆動条件と暗電流成分との関係を示す情報に基づき、暗電流成分を算出する方法が提案されている（特許文献２，３参照）。

特開平６−８６０９８号公報 特開２００９−０３３３２１号公報 特開２０１３−１１８５６３号公報

ＣＭＯＳイメージセンサの受光光量が小さい場合には、光ショットノイズに起因して、露出値演算結果のばらつきが大きくなる。そのため、上記特許文献１に記載された方法では、注目画素とその周囲の画素の出力が小さい場合に、注目画素を正しく補正することができない。

そこで、光ショットノイズによる測光結果のばらつきが十分小さくなる閾値（下限値）以下の測光結果を、この閾値にクリップする手法を適用することが考えられる。例えば、３９カウントの測光出力値に光ショットノイズで最大±８カウントのばらつきがある場合に、測光結果のばらつきは±１／３段（＝±１／３ＥＶ）以内となる。そのため、３９カウント以下を３９カウントにクリップすれば、測光結果のばらつきを±１／３段以内に抑えることができる。

しかし、顔検出等の被写体認識演算を行う場合には、画像全体に対してレンズ等による光学系の周辺光量落ちを補正するシェーディング補正を行う必要があり、シェーディング補正によって周辺光量落ちの大きい画像周辺部で、光ショットノイズが増加してしまう。例えば、シェーディング補正で周辺光量落ちを補正すると、光ショットノイズの最大値が±８カウントよりも大きくなり、測光結果のばらつきが±１／３段よりも大きくなることで、適切な露出条件を算出することができなくなる。

また、上述の特許文献２，３に記載された技術では、暗電流による固定パターンノイズを補正するダーク補正データを画素毎に記憶させる必要があるため、記憶手段に大きな記憶容量が必要になる。これに対して、ダーク補正データを圧縮して用意し、拡大（解凍）して画素毎に補正をかける構成にすると、記憶容量を抑えることはできるが、回路規模が大きくなってしまう。

そこで、撮像面を任意に分割したブロック毎にダーク補正をかけることにより、ダーク補正データのデータ容量を小さく抑えながら、回路規模も縮小することが可能になると考えられる。しかし、上述したように光学系の周辺光量落ちを補正するシェーディング補正を行うと、周辺光量落ちの大きい画像周辺部で暗電流による固定パターンノイズが大きくなるため、ダーク補正が正しく掛からなくなってしまう。これにより、露出値演算や被写体認識演算の精度が低下してしまう。

本発明は、露出値演算や被写体認識演算の精度を高めることができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、撮像素子を用いて被写体に対する測光と画像データの生成を行う画像データ生成手段と、周辺光量落ちを補正するためのシェーディング補正データを用いて画像データに対してシェーディング補正を行うシェーディング補正手段と、前記画像データ生成手段が生成した画像を複数のブロックに分割したブロック毎に輝度値の平均値を算出する算出手段と、前記平均値のばらつきを抑制するためのクリップデータと前記シェーディング補正データとから前記ブロック毎にクリップデータを作成するクリップデータ作成手段と、前記算出手段により算出された前記ブロック毎の輝度値の平均値を前記ブロック毎のクリップデータを用いてクリップするクリップ処理手段と、前記クリップ処理手段によるクリップが行われた後の画像データを用いて露出値を演算する露出値演算手段と、を備えることを特徴とする。

また、本発明に係る別の撮像装置は、撮像素子を用いて被写体に対する測光と画像データの生成を行う画像データ生成手段と、周辺光量落ちを補正するためのシェーディング補正データを用いて画像データに対してシェーディング補正を行うシェーディング補正手段と、前記画像データ生成手段が生成した画像を複数のブロックに分割したブロック毎に輝度値の平均値を算出する算出手段と、前記複数のブロック毎にダーク補正データを作成するダーク補正データ作成手段と、前記算出手段により算出された前記ブロック毎の輝度値の平均値に、前記ブロック毎のダーク補正データと前記ブロック毎のシェーディング補正データとを適用してダーク補正を行うダーク補正手段と、前記ダーク補正手段によるダーク補正が行われた後の画像データを用いて露出値を演算する露出値演算手段と、を備えることを特徴とする。

本発明によれば、撮像装置による撮像の際に、光ショットノイズや暗電流による固定パターンノイズ等の影響を抑えた、精度の高い露出値演算や被写体認識演算を行うことが可能となる。

本発明の実施形態に係るデジタルカメラの概略構成を示す図である。 図１のデジタルカメラでの撮像動作のフローチャートである。 図２のフローチャートのステップＳ１０２のＡＥ処理で実行するＡＥ処理の内容を決定するための処理のフローチャートである。 図３のフローチャートのステップＳ２０３の第１のＡＥ処理の詳細を示すフローチャートである。 図３のフローチャートのステップＳ２０４の第２のＡＥ処理の詳細を示すフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、本は詰めに係る撮像装置として、デジタルカメラを取り上げることとする。但し、本発明は、これに限定されず、撮像素子を用いて測光と撮像を行う撮像機能を有する携帯型通信端末等の電子機器に広く適用することができる。

図１は、本発明の実施形態に係るデジタルカメラ１００の概略構成を示す図である。デジタルカメラ１００は、大略的に、カメラ本体１００Ａ及びレンズ鏡筒１００Ｂから構成される。レンズ鏡筒１００Ｂは、カメラ本体１００Ａと一体となっていてもよいし、カメラ本体１００Ａに対して着脱自在であってもよい。

カメラ本体１００Ａは、ＣＰＵ１０１、メモリ１０２、撮影用撮像素子１０３、シャッタ１０４、ハーフミラー１０５、ピント板１０６及びＡＥ（auto exposure：自動露出）センサ１０７を備える。また、カメラ本体１００Ａは、ペンタプリズム１０８、光学ファインダ１０９、ＡＦミラー１１０及びＡＦ（自動合焦）センサ１１１を備える。レンズ鏡筒１００Ｂは、複数のレンズ群１２１と、鏡筒内ＣＰＵ（以下「ＬＰＵ」と記す）１２２とを備える。

ＣＰＵ１０１は、デジタルカメラ１００の各部を制御するマイクロコンピュータである。メモリ１０２は、ＣＰＵ１０１が実行するプログラムや変数等を格納するＲＯＭと、ＣＰＵ１０１がプログラムを展開する作業領域や一時的に画像データ等を記憶するＲＡＭを含む。ＬＰＵ１２２は、被写体に対する距離情報等をＣＰＵ１０１へ送信する。

撮影用撮像素子１０３は、赤外カットフィルタやローパスフィルタ等を含むＣＣＤセンサ或いはＣＭＯＳセンサ等のイメージセンサである。シャッタ１０４は、非撮影時には閉じて撮影用撮像素子１０３を遮光し、撮影時には開いてレンズ鏡筒１００Ｂを通過した光束を撮影用撮像素子１０３へ導く。

ハーフミラー１０５は、非撮影時にレンズ群１２１を通して入射する光の一部を反射して、ピント板１０６に光学像を結像させる。ＡＥセンサ１０７は、ＣＣＤ或いはＣＯＭＳ等の撮像素子からなる測光センサであり、例えば、赤外光域及び可視光域における分光特性の異なる複数の画素（Ｒ（赤），Ｇ（緑），Ｂ（青），ＩＲ（赤外））からなる画素を有する。ＣＰＵ１０１は、ＡＥセンサ１０７からの出力信号を用いて、顔検知や被写体追尾、光源判定等の被写体認識演算を行う。

ペンタプリズム１０８は、ピント板１０６の被写体像をＡＥセンサ１０７と光学ファインダ１０９へ導く。なお、ＡＥセンサ１０７は、ペンタプリズム１０８を介してピント板１０６に結像された被写体像を斜め方向の位置から見ている。ＡＦミラー１１０は、レンズ鏡筒１００Ｂから入射してハーフミラー１０５を通過した光束の一部をＡＦセンサ１１１へ導く。ＡＦセンサ１１１は、受光した光束に基づいて被写体に対する合焦のための測距を行う。

図１には不図示であるが、デジタルカメラ１００は、電源スイッチと、シャッタスイッチとを備える。シャッタスイッチは、半押し（第１ストローク）でオンするスイッチＳＷ１と、全押し（第２ストローク）でオンするスイッチＳＷ２とを備える。スイッチＳＷ１がオンすることで、ＡＥセンサ１０７による露出制御とＡＦセンサ１１１による自動合焦制御が実行される。また、スイッチＳＷ２がオンすることで、本撮影処理が行われる。本撮影処理では、撮影用撮像素子１０３に結像した光学像は、撮影用撮像素子１０３によってアナログ電気信号に変換され、アナログ電気信号が不図示の画像処理手段によりデジタル画像データに変換されて、不図示のメモリカード等の記憶手段に記憶される。

図２は、デジタルカメラ１００での撮像動作のフローチャートである。図２のフローチャートの各処理は、ＣＰＵ１０１が所定のプログラムを実行してデジタルカメラ１００の各部の動作を制御し、各部が所定の動作や演算を行うことによって実現される。

デジタルカメラ１００は、電源スイッチがオンされて撮像スタンバイの状態にあるものとする。ステップＳ１０１においてＣＰＵ１０１は、シャッタスイッチの第１ストロークであるスイッチＳＷ１がオンされたか否かを判定する。ＣＰＵ１０１は、スイッチＳＷ１がオンされるまでステップＳ１０１の判定を繰り返し（Ｓ１０１でＮＯ）、スイッチＳＷ１がオンされると（Ｓ１０１でＹＥＳ）、処理をステップＳ１０２へ進める。ステップＳ１０２においてＣＰＵ１０１は、ＡＥセンサ１０７により、ＡＥ処理（露出制御処理）を行う。このＡＥ処理には、顔検出演算や被写体追尾演算、光源判定等の被写体認識演算と、露出値演算とが含まれる。なお、ステップＳ１０２の詳細については後述する。

続くステップＳ１０３においてＣＰＵ１０１は、ＡＥセンサ１０７とＡＦセンサ１１１を用いて、位相差方式のＡＦ処理を行う。例えば、ＡＥセンサ１０７で顔が検知されている場合、検知された顔に対応する測距点のデフォーカス量を検出し、ＬＰＵ１２２を通じてレンズ群１２１のフォーカスレンズを駆動させて、検出された顔にピントを合わせる。

次に、ステップＳ１０４においてＣＰＵ１０１は、シャッタスイッチの第２であるスイッチＳＷ２がオンされたか否かを判定する。ＣＰＵ１０１は、スイッチＳＷ２がオンされていない場合（Ｓ１０４でＮＯ）、処理をステップＳ１０１へ戻し、スイッチＳＷ２がオンされると（Ｓ１０４でＹＥＳ）、処理をステップＳ１０５へ進める。ステップＳ１０５においてＣＰＵ１０１は、ステップＳ１０２でのＡＥ処理結果に基づき、本撮像処理を実行する。

次に、ステップＳ１０２におけるＡＥ処理の詳細について説明する。ここでは、ＡＥセンサ１０７は、矩形形状を有し、横３２０×縦２４０で画素が配置されたＣＭＯＳイメージセンサであるとする。なお、縦方向は、図１における上下方向であり、横方向は、図１の紙面と直交する方向である。

本実施形態では、被写体輝度に応じてＡＥセンサ１０７からの信号（電荷）の読出方法を切り替える。一定の被写体輝度がある場合には、ＡＥセンサ１０７の全画素から信号（電荷）を読み出す全画素読み出しを行う。具体的には、全画素から個々に信号を読み出し、横４０×縦４０の画素からなる領域を１ブロックとして、横８×縦６のブロック毎に輝度値の平均値を算出する。つまり、画像を横８×縦６のブロックに分割し、分割されたブロック毎に輝度値の平均値を算出する。

これに対して、低輝度時には電荷加算を行ってＡＥセンサ１０７から信号を読み出す画素加算読み出しを行う。具体的には、横２×縦２の画素の信号を加算することにより、横１６０×縦１２０の画素群の信号を読み出した後、横２０×縦２０の画素群からなる領域を１ブロックとして、横８×縦６のブロック毎に輝度値の平均値を算出する。よって、ここでも、画像を横８×縦６のブロックに分割し、分割されたブロック毎に輝度値の平均値が算出される。

一方、メモリ１０２には、事前に準備されたシェーディング補正データと、ダーク補正用調整データと、クリップデータとが格納されている。シェーディング補正データは、レンズ群１２１等による光学系の周辺光量落ち補正用データであり、上述の横８×縦６のブロック毎にデータを圧縮して保持している。

ダーク補正用調整データは、ＡＥセンサ１０７の固定パターンノイズと暗電流による固定パターンノイズを補正するための調整データであり、上述の横８×縦６のブロック毎にデータを保持している。なお、本実施形態において、「ＡＥセンサ１０７の固定パターンノイズ」とは、暗電流による固定パターンノイズ以外の固定パターンノイズを指すものとする。

ダーク補正用調整データは、一例として、下記（１）〜（４）の駆動条件で暗中を撮像したときのブロック毎の輝度値の平均値ＤＳ１ｉｊ、ＤＬ１ｉｊ、ＤＳ２ｉｊ、ＤＬ２ｉｊを、調整データとして保持する。ここで、“ｉ”は横方向のブロックの番号で１〜８の値を取り、“ｊ”は縦方向のブロックの番号１〜６の値を取る。

（１）全画素読み出し、温度Ｋ１、短時間蓄積ＴＳ１、ゲインＧ１
（２）全画素読み出し、温度Ｋ１、長時間蓄積ＴＬ１、ゲインＧ１
（３）４画素加算読み出し、温度Ｋ２、短時間蓄積ＴＳ２、ゲインＧ２
（４）４画素加算読み出し、温度Ｋ２、長時間蓄積ＴＬ２、ゲインＧ２
これらの調整データを用いて、ＡＥセンサ１０７の駆動条件（画素加算方法、蓄積時間Ｔ、ゲインＧ）と温度Ｋにおける固定パターンノイズと暗電流による固定パターンノイズを算出し、補正する。

なお、ＡＥセンサ１０７の固定パターンノイズは、ＡＥセンサ１０７の面内のムラであり、蓄積時間Ｔと温度Ｋに依存せず、ほぼ一定であり、ＡＥセンサ１０７の個体毎に異なる。全画素読み出し時と画素加算読み出し時のそれぞれにおける、ゲインＧでの固定パターンノイズＤ１（１）ｉｊ，Ｄ２（１）ｉｊはそれぞれ、下記式〔１〕，〔２〕により算出される。

また、暗電流による固定パターンノイズは、ＡＥセンサ１０７の駆動条件（画素加算方法、蓄積時間Ｔ、ゲインＧ）と温度Ｋとによって変化し、ＡＥセンサ１０７の個体毎に異なる。全画素読み出し時と画素加算読み出し時のそれぞれにおける、蓄積時間Ｔ、ゲインＧ、温度Ｋでの暗電流による固定パターンノイズＤ１（２）ｉｊ，Ｄ２（２）ｉｊはそれぞれ、下記式〔３〕，〔４〕により算出される。なお、“α”は温度係数であり、ＡＥセンサ１０７の個体によらず、ほぼ一定の値を取る。

以上を纏めると、全画素読み出し時と画素加算読み出し時のそれぞれにおいて、蓄積時間Ｔ、ゲインＧ、温度Ｋにおけるダーク補正データＤ１ｉｊ，Ｄ２ｉｊはそれぞれ、下記〔式５〕，〔式６〕により算出される。

クリップデータは、光ショットノイズを抑制するための補正データである。ブロック毎に算出された輝度値の平均値が小さい場合には、光ショットノイズによる露出値演算結果のばらつきが大きくなる。例えば、１６カウントの測光出力値に光ショットノイズで最大±８カウントのばらつきがある場合には、測光結果に±約１段（＝１ＥＶ）のばらつきが生じてしまう。そこで、光ショットノイズがある場合でも測光結果のばらつきが±１／３段以内となるようにクリップデータを用意する。例えば、３９カウントの測光出力値に光ショットノイズで最大±８カウントのばらつきがある場合には、測光結果のばらつきは±１／３段以内となる。そのため、３９カウント以下を３９カウントにクリップすることにより、測光結果のばらつきを±１／３段以内に抑える。

また、本実施形態では、ゲインＧと温度Ｋの少なくとも一方に応じて光ショットノイズが変わる場合に、各条件に応じてクリップデータを変える。全画素読み出し時と画素加算読み出し時のそれぞれにおける、ゲインＧ、温度ＫでのクリップデータＣ１，Ｃ２はそれぞれ、下記〔式７〕，〔式８〕により求められる。

なお、“ＣＳ１”は全画素読み出し、ゲインＧＳ１、温度ＫＳ１のときに、測光結果のばらつきが±１／３段以内となる出力である。“ＣＳ２”は、画素加算読み出し、ゲインＧＳ２、温度ＫＳ２のときに、測光結果のばらつきが±１／３段以内となる出力である。“β”は、温度係数であり、ＡＥセンサ１０７の個体によらず、ほぼ一定の値を取る。以上が事前に準備するデータとなる。

次に、ステップＳ１０２のＡＥ処理について、より詳細に説明する。図３は、ステップＳ１０２のＡＥ処理で実行するＡＥ処理の内容を決定するための処理のフローチャートである。ステップＳ２０１においてＣＰＵ１０１は、ステップＳ１０１でスイッチＳＷ１がオンとなった後にステップＳ１０２のＡＥ処理を初めて行うか、スイッチＳＷ１がオンとなった後にステップＳ１０２のＡＥ処理を行ったことがあるかを判定する。ＣＰＵ１０１は、ステップＳ１０２のＡＥ処理を初めて行う場合（Ｓ２０１でＹＥＳ）、処理をステップＳ２０３へ進め、ステップＳ１０２のＡＥ処理を行ったことがある場合（Ｓ２０１でＮＯ）、処理をステップＳ２０２へ進める。

ステップＳ２０２においてＣＰＵ１０１は、スイッチＳＷ１がオンされたことで実行される測光結果に基づいて、被写体像が低輝度か否かを判定する。ここでの判定は、顔検知等の被写体認識演算が可能な出力がＡＥセンサ１０７から得られていない場合に、低輝度であると判定するものとする。ＣＰＵ１０１は、低輝度ではない場合（Ｓ２０１でＮＯ）、処理をステップＳ２０３へ進め、低輝度である場合（Ｓ２０１でＹＥＳ）、処理をステップＳ２０４へ進める。

ステップＳ２０３においてＣＰＵ１０１は、第１のＡＥ処理による被写体認識演算と露出値演算を行う。一方、ステップＳ２０４においてＣＰＵ１０１は、第２のＡＥ処理による露出値演算を行う。このように、本実施形態では、被写体像が低輝度か否かに応じて露出制御方法を切り替える。なお、ステップＳ２０３，Ｓ２０４のそれぞれで実行される処理の内容については、図４，５を参照して後述する。

ステップＳ２０３，Ｓ２０４の後、処理はステップＳ２０５へ進められる。ステップＳ２０５においてＣＰＵ１０１は、ステップＳ２０１と同様に、スイッチＳＷ１がオンとなった後にステップＳ１０２のＡＥ処理を初めて行うか、スイッチＳＷ１がオンとなった後にステップＳ１０２のＡＥ処理を行ったことがあるかを判定する。ＣＰＵ１０１は、ステップＳ１０２のＡＥ処理を初めて行う場合（Ｓ２０５でＹＥＳ）、処理をステップＳ２０２へ戻し、ステップＳ１０２のＡＥ処理を行ったことがある場合（Ｓ２０５でＮＯ）、本処理を終了させる。ステップＳ２０５の処理を行うことにより、低輝度時に第２のＡＥ処理を行うことで、正確な露出値演算を行うことができる。なお、ＣＰＵ１０１は、ステップＳ１０１でスイッチＳＷ１がオフとなった場合とステップＳ１０５での本撮影終了後に、ステップＳ２０１，Ｓ２０５で用いるステップＳ１０２のＡＥ処理を初めて行ったか否かの判定情報をリセットする。

図４は、第１のＡＥ処理（ステップＳ２０３）の詳細を示すフローチャートである。第１のＡＥ処理では、被写体認識演算を行うためにシェーディング補正を行う。このとき、シェーディング補正を行うことで、光ショットノイズと暗電流による固定パターンノイズが増加し、特に周辺光量落ちが大きい画像周辺部でノイズの増加が大きくなる。そこで、第１のＡＥ処理では、後述する測光出力値Ｙにおけるノイズ増加を抑制するために、ブロック毎のダーク補正データとクリップデータのそれぞれにシェーディング補正データを乗算して、ブロック毎に第１のダーク補正データとクリップデータを作成する。

ステップＳ３０１〜Ｓ３０４では、事前に準備したデータを用いて補正データが算出される。具体的には、ステップＳ３０１においてＣＰＵ１０１は、横８×縦６のブロック毎に圧縮されているシェーディング補正データから、横３２０×縦２４０の画素単位に拡大した画素毎のシェーディング補正データを作成する。続く、ステップＳ３０２においてＣＰＵ１０１は、ダーク補正データ作成手段として働き、横８×縦６のブロック毎にダーク補正データを作成する。ここでは、ＡＥセンサ１０７の駆動方法（蓄積時間、ゲイン）と温度に応じて、上記式〔５〕によりブロック毎のダーク補正データを算出する。

ステップＳ３０３においてＣＰＵ１０１は、後のステップＳ３０９での第１のダーク補正処理で用いるブロック毎の第１のダーク補正データを作成する。第１のダーク補正データは、ステップＳ３０２で算出したブロック毎のダーク補正データと、ステップＳ３０１で作成したブロック毎のシェーディング補正データとの乗算により算出される。続いて、ステップＳ３０４においてＣＰＵ１０１は、クリップデータ作成手段として働き、後のステップＳ３１０での第１のクリップ処理で用いるブロック毎のクリップデータを作成する。ブロック毎のクリップデータは、上記式〔７〕により算出されるクリップデータＣ１と、ステップＳ３０１で用いたブロック毎のシェーディング補正データとの乗算により算出される。

次に、ステップＳ３０５〜Ｓ３１１では、画像（被写体像）の取得と、ステップＳ３０１〜Ｓ３０４で生成した各種補正データを用いた被写体認識演算と測光処理を行う。具体的には、ステップＳ３０５において、ＣＰＵ１０１は、ＡＥセンサ１０７の電荷蓄積と電荷読み出しを行い、横３２０×縦２４０の画素からなる被写体像の第１の画像データを生成し、メモリ１０２に保持する。このように、ＣＰＵ１０１及びＡＥセンサ１０７は、画像データ生成手段として働く。

続くステップＳ３０６においてＣＰＵ１０１は、レンズ群１２１等による光学系の周辺光量落ちを補正するための第１のシェーディング補正を行う。第１のシェーディング補正は、ステップＳ３０１で作成した画素毎のシェーディング補正データをステップＳ３０５で生成した第１の画像データに乗算することにより行われる。

その後、ステップＳ３０７においてＣＰＵ１０１は、ステップＳ３０６で生成した第１のシェーディング補正後の画像データを用いて、周知の被写体認識演算を行う。被写体認識演算では、被写界を照射する光源を判定する光源判定演算（ＡＷＢ）や肌色等の特徴色を抽出する特徴色抽出演算、被写体をブロックマッチング等の手法で追尾する被写体追尾演算、顔等の特徴領域を抽出する顔検知演算等が行われる。

なお、被写体認識演算で実行される各種の処理には周知の技術を用いることができるため、その詳細についての説明は省略する。また、この時点では、光ショットノイズ、固定パターンノイズと暗電流による固定パターンノイズが残っているが、第１の画像データを用いた被写体認識演算は可能であるため、ダーク補正を行わなくとも、被写体認識演算の精度は低下しない。

続いて、ステップＳ３０８においてＣＰＵ１０１は、ステップＳ３０６で生成した第１のシェーディング補正後の画像データを用いて、縦４０×横４０の画素からなる領域を１ブロックとし、横８×縦６のブロック毎に輝度値の平均値を算出し、測光出力値Ｙとする。そして、ステップＳ３０９においてＣＰＵ１０１は、ステップＳ３０８において生成したブロック毎の測光出力値Ｙに対してステップＳ３０３で算出した第１のダーク補正データを適用して第１のダーク補正を行う。

なお、ステップＳ３０６で生成される第１のシェーディング補正後の画像データでは、固定パターンノイズ及び暗電流による固定パターンノイズにもシェーディング補正のゲインが掛かっている。そのため、周辺光量落ちが大きい画像周辺のブロックで、これらの固定パターンノイズが増加する。一方、ステップＳ３０３で算出した第１のダーク補正データは、固定パターンノイズ及び暗電流による固定パターンノイズを補正するダーク補正データ及びシェーディング補正データを乗算したものである。よって、第１のダーク補正データによる補正を行うことにより、シェーディング補正により増加したノイズを抑制することができる。

ステップＳ３１０においてＣＰＵ１０１は、ステップＳ３０９で生成した第１のダーク補正後のブロック毎の測光出力値Ｙを、ステップＳ３０４で算出したブロック毎のクリップデータを用いてクリップする第１のクリップ処理を行う。これは、以下の理由による。即ち、ステップＳ３０６で生成された第１のシェーディング補正後の画像データでは、光ショットノイズにもシェーディング補正のゲインが掛かっているため、周辺光量落ちが大きい画像周辺のブロックでのノイズが大きくなり、測光出力値Ｙのばらつきが大きくなる。ここで、ステップＳ３０４で算出したブロック毎のクリップデータは、測光出力値Ｙのばらつきを抑制するクリップデータにシェーディング補正データを乗算したものである。よって、ステップＳ３０４で算出したブロック毎のクリップデータを用いた補正を行うことにより、シェーディング補正で増加した光ショットノイズを抑えることができる。

ステップＳ３１１においてＣＰＵ１０１は、ステップＳ３１０で生成したクリップ処理後のブロック毎の測光出力値Ｙと露出制御値用の重み付け係数ｋとの加重平均値Ｙｗを、下記式〔９〕により算出する。そして、ＣＰＵ１０１は、算出した加重平均値Ｙｗ、蓄積時間等から得られる被写体輝度に基づいて、本撮影時の露出制御値（シャッタ速度、絞り値、感度等）を算出する露出値演算を行う。下記式〔９〕において、“Ｙｉｊ”と“ｋｉｊ”はそれぞれ、ブロック毎の測光出力値Ｙと重み付け係数ｋを示しており、“ｉ”は横方向のブロックの番号で１〜８の値を取り、“ｊ”は縦方向のブロックの番号１〜６の値を取る。

なお、重み付け係数は、デジタルカメラ１００の撮像モードや測光モード、撮影シーン等に応じて、複数の測光エリアの各測光出力値に対する重み付けを変えるための係数である。例えば、測光モードが中央重点測光モードであれば、画像周辺付近に対する重み付け係数よりも画像中央付近の測光エリアに対する重み付け係数を大きくする。また、デジタルカメラ１００が特徴領域検出機能を有する場合、特徴領域検出機能を用いる撮像モードでは特徴領域に対応する測光エリアに対する重み付け係数を、他の測光エリアに対する重み付け係数よりも大きくする。更に、デジタルカメラ１００が、被写界状況に応じてどのような撮影シーンかを自動判別するシーン判別機能を有する場合、判別されたシーンに最適な重み付け係数が各測光エリアに対して設定される。重み付け係数そのものは、本実施形態に係るノイズ増加を抑制する補正とは直接の関係はなく、そのため、これ以上の説明は省略する。また、露出制御値の決定方法は、本実施形態に係るノイズ増加を抑制する補正とは直接の関係はなく、周知の技術を用いることができるため、その説明を省略する。

上述したように、ステップＳ２０３の第１のＡＥ処理では、ブロック毎に第１のダーク補正データとクリップデータを作成し、シェーディング補正により増加したノイズを抑制した。しかし、ステップＳ３０１におけるシェーディング補正データの拡大によって生じた誤差等を完全に除去することはできず、補正後に残るノイズが測光出力値Ｙの精度に影響を与えるおそれがある。そこで、低輝度時のＡＥ処理（ステップＳ２０４）では、画素毎のシェーディング補正を行わず、ブロック毎にダーク補正とクリップ処理を行った後にシェーディング補正を行うこととし、以下に詳細に説明する。

図５は、第２のＡＥ処理（ステップＳ２０４）のフローチャートである。ステップＳ４０１においてＣＰＵ１０１は、事前に準備したデータを用いて、ブロック毎にダーク補正データを作成する。具体的には、ＡＥセンサ１０７の駆動方法（蓄積時間、ゲイン）と温度に応じて、上記式〔６〕によりブロック毎のダーク補正データを算出する。

続くステップＳ４０２〜Ｓ４０７では、撮像（画像取得）と、ステップＳ４０１で生成したダーク補正データを用いた露出値演算を行う。即ち、ステップＳ４０２においてＣＰＵ１０１は、ＡＥセンサ１０７の電荷蓄積と電荷読み出しを横２×縦２の４画素からの出力を加算することによって行い、横１６０×縦１２０の画素群からの出力を第２の画像データとしてメモリ１０２に保持する。続くステップＳ４０３においてＣＰＵ１０１は、ステップＳ４０２で生成した第２の画像データを用い、縦２０×横２０の画素群からなる領域を１ブロックとし、横８×縦６の各ブロックについて測光出力値Ｙを算出する。

ステップＳ４０４においてＣＰＵ１０１は、４８個のブロック毎に第２のダーク補正を行う。第２のダーク補正では、ステップＳ４０３で生成したブロック毎の測光出力値Ｙに、ステップＳ４０１で算出したブロック毎のダーク補正データを適用することにより、固定パターンノイズと暗電流による固定パターンノイズを補正する。続くステップＳ４０５においてＣＰＵ１０１は、ステップＳ４０４による第２のダーク補正後のブロック毎の測光出力値Ｙに対して、上記式〔８〕により算出されるクリップデータＣ２でクリップする第２のクリップ処理を行う。

続いて、ステップＳ４０６においてＣＰＵ１０１は、ステップＳ４０５で生成したクリップ処理後のブロック毎の測光出力値Ｙに対して事前に準備したシェーディング補正データを乗算することにより、第２のシェーディング補正を行う。こうして、第２のＡＥ処理では、ブロック毎のシェーディング補正データの画素毎への拡大を行わないため、シェーディング補正データの拡大を行う場合に発生する誤差の影響をなくすことができる。

次いで、ステップＳ４０７においてＣＰＵ１０１は、ステップＳ３１１と同様に、加重平均値Ｙｗを算出し、加重平均値ＹｗとＡＥセンサ１０７における電荷の蓄積時間等から得られる被写体輝度に基づいて、本撮影時の露出制御値を算出する。こうして、ダーク補正処理の回路規模を大きくすることなく、露出値演算を適切且つ迅速に行うことが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、上記実施形態では、露出値演算や被写体認識演算はＣＰＵ１０１が行うとしたが、これらの演算を行う処理回路をＡＥセンサ１０７に付加し、ＣＰＵ１０１の制御下で、上述した第１のＡＥ処理や第２のＡＥ処理が行われる構成としてもよい。

１００ デジタルカメラ（撮像装置）
１０１ ＣＰＵ
１０２ メモリ
１０３ 撮影用撮像素子
１０７ ＡＥセンサ

Claims (14)

1. 撮像素子を用いて被写体に対する測光と画像データの生成を行う画像データ生成手段と、
   周辺光量落ちを補正するためのシェーディング補正データを用いて画像データに対してシェーディング補正を行うシェーディング補正手段と、
   前記画像データ生成手段が生成した画像を複数のブロックに分割したブロック毎に輝度値の平均値を算出する算出手段と、
   前記平均値のばらつきを抑制するためのクリップデータと前記シェーディング補正データとから前記ブロック毎にクリップデータを作成するクリップデータ作成手段と、
   前記算出手段により算出された前記ブロック毎の輝度値の平均値を前記ブロック毎のクリップデータを用いてクリップするクリップ処理手段と、
   前記クリップ処理手段によるクリップが行われた後の画像データを用いて露出値を演算する露出値演算手段と、を備えることを特徴とする撮像装置。
2. 前記クリップデータ作成手段は、前記ブロック毎のクリップデータを、前記撮像素子の画素加算方法、ゲイン、温度の少なくとも１つに応じて算出することを特徴とする請求項１に記載の撮像装置。
3. 前記シェーディング補正が行われた後の画像データを用いて被写体認識を行う被写体認識手段と、
   前記撮像素子からの出力に基づき前記被写体が低輝度か否かを判定する判定手段と、
   前記判定手段が低輝度であると判定したときに第１のＡＥ処理を行い、前記判定手段が低輝度ではない判定したときに第２のＡＥ処理を行う制御手段と、を備え、
   前記制御手段は、前記第１のＡＥ処理では、前記撮像素子からの全画素読み出しによる画像データの生成を行うと共に、前記被写体認識手段による被写体認識を行い、前記第２のＡＥ処理では、前記撮像素子からの画素加算読み出しによる画像データの生成を行い、前記被写体認識手段による前記被写体認識を行わないことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記シェーディング補正手段は、前記第１のＡＥ処理では、前記撮像素子の全画素読み出しによる画像データに前記シェーディング補正データとして画素毎のシェーディング補正データを乗算することによりシェーディング補正を行い、前記第２のＡＥ処理では、前記撮像素子の画素加算読み出しによる画像データに前記シェーディング補正データとして前記ブロック毎のシェーディング補正データを乗算することによりシェーディング補正を行うことを特徴とする請求項３に記載の撮像装置。
5. 前記画素毎のシェーディング補正データは、前記ブロック毎のシェーディング補正データを画素単位に拡大したものであることを特徴とする請求項４に記載の撮像装置。
6. 前記シェーディング補正手段は、前記第１のＡＥ処理では、前記クリップが行われる前の画像データに対してシェーディング補正を施し、前記第２のＡＥ処理では、前記クリップが行われた後の画像データに対してシェーディング補正を施すことを特徴とする請求項４又は５に記載の撮像装置。
7. 前記ブロック毎にダーク補正データを作成するダーク補正データ作成手段と、
   前記算出手段により算出された前記ブロック毎の輝度値の平均値に、前記ブロック毎のダーク補正データと前記ブロック毎のシェーディング補正データとを適用してダーク補正を行うダーク補正手段と、を備え、
   前記露出値演算手段が前記露出値を演算するために用いる画像データは、更に前記ダーク補正手段によるダーク補正が行われた後の画像データであることを特徴とする請求項３乃至６のいずれか１項に記載の撮像装置。
8. 撮像素子を用いて被写体に対する測光と画像データの生成を行う画像データ生成手段と、
   周辺光量落ちを補正するためのシェーディング補正データを用いて画像データに対してシェーディング補正を行うシェーディング補正手段と、
   前記画像データ生成手段が生成した画像を複数のブロックに分割したブロック毎に輝度値の平均値を算出する算出手段と、
   前記複数のブロック毎にダーク補正データを作成するダーク補正データ作成手段と、
   前記算出手段により算出された前記ブロック毎の輝度値の平均値に、前記ブロック毎のダーク補正データと前記ブロック毎のシェーディング補正データとを適用してダーク補正を行うダーク補正手段と、
   前記ダーク補正手段によるダーク補正が行われた後の画像データを用いて露出値を演算する露出値演算手段と、を備えることを特徴とする撮像装置。
9. 前記ダーク補正データ作成手段は、前記ブロック毎のダーク補正データを、前記撮像素子の画素加算方法、ゲイン、温度の少なくとも１つに応じて算出することを特徴とする請求項８に記載の撮像装置。
10. 前記シェーディング補正が行われた後の画像データを用いて被写体認識演算を行う被写体認識手段と、
    前記撮像素子からの出力に基づき前記被写体が低輝度か否かを判定する判定手段と、
    前記判定手段が低輝度であると判定したときに第１のＡＥ処理を行い、前記判定手段が低輝度ではない判定したときに第２のＡＥ処理を行う制御手段と、を備え、
    前記制御手段は、前記第１のＡＥ処理では、前記撮像素子からの全画素読み出しによる画像データの生成を行うと共に、前記被写体認識手段による被写体認識を行い、前記第２のＡＥ処理では、前記撮像素子からの画素加算読み出しによる画像データの生成を行い、前記被写体認識手段による前記被写体認識を行わないことを特徴とする請求項８又は９に記載の撮像装置。
11. 前記シェーディング補正手段は、前記第１のＡＥ処理では、更に前記ダーク補正手段によるダーク補正を行う前の画像データに対してシェーディング補正を施し、前記第２のＡＥ処理では、更に前記ダーク補正手段によるダーク補正が行われた後の画像データに対してシェーディング補正を施すことを特徴とする請求項７又は１０に記載の撮像装置。
12. 前記被写体認識手段は、顔検知、被写体追尾、光源判定、特徴色抽出の少なくとも１つを行うことを特徴とする請求項３乃至７、１０又は１１に記載の撮像装置。
13. 撮像素子を用いて被写体に対する測光と撮像を行うステップと、
    前記撮像により得られた画像に対して周辺光量落ちを補正するためのシェーディング補正データを用いて画像データに対してシェーディング補正を行うステップと、
    前記撮像により得られた画像を複数のブロックに分割し、ブロック毎に輝度値の平均値を算出するステップと、
    前記平均値のばらつきを抑制するためのクリップデータと前記シェーディング補正データとから前記ブロック毎にクリップデータを作成するステップと、
    前記ブロック毎の輝度値の平均値を前記ブロック毎のクリップデータを用いてクリップするステップと、
    前記クリップデータによるクリップが行われた後の画像データを用いて露出値を演算するステップと、を有することを特徴とする露出制御方法。
14. 撮像素子を用いて被写体に対する測光と撮像を行うステップと、
    前記撮像により得られた画像に対して周辺光量落ちを補正するためのシェーディング補正データを用いて画像データに対してシェーディング補正を行うステップと、
    前記撮像により得られた画像を複数のブロックに分割し、ブロック毎に輝度値の平均値を算出するステップと、
    前記複数のブロック毎にダーク補正データを作成するステップと、
    前記ブロック毎の輝度値の平均値に、前記ブロック毎のダーク補正データと前記ブロック毎のシェーディング補正データとを適用してダーク補正を行うダーク補正手段と、
    前記ダーク補正が行われた後の画像データを用いて露出値を演算するステップと、を有することを特徴とする露出制御方法。

Images