以下、図面に基づいて、本発明の実施形態につき説明する。
(撮像装置の外観構造の説明)
図1は、本発明にかかる撮像装置が好適に適用される小型のデジタルカメラ1の外観を示す図であり、(a)はその上面図、(b)は正面図、(c)は背面図をそれぞれ示している。このデジタルカメラ(撮像装置)1は、カメラ本体ボディ10の頂面には電源スイッチ101及びレリーズスイッチ102等が、正面側にはフラッシュ発光部103及び撮影レンズ窓104等が、また背面側にはモード設定スイッチ105などの各種の操作ボタンや液晶モニター(LCD)からなるLCD表示部106等がそれぞれ配置されている。そして本体ボディ10の内部には、各種本体機器のほか、屈曲型の鏡胴20が配置されている。
電源スイッチ101は、カメラ1の電源をON(起動)、OFF(起動停止)するための押下スイッチであり、押下動作によりカメラ電源のON、OFFが順次繰り返される。またモード設定スイッチ105は、静止画を撮影する静止画撮影モード及び動画を撮影する動画撮影モード等の各種撮影モードを設定するためのものである。
レリーズスイッチ102は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。例えば前記静止画撮影モードにおいて、レリーズスイッチ102が半押しされると、被写体の静止画を撮影するための準備動作(後述の自動露出制御や自動焦点制御等の準備動作)が実行され、レリーズスイッチ102が全押しされると、撮影動作(後述する撮像センサを露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作)が実行される。また、前記動画撮影モードにおいて、レリーズスイッチ102が全押しされると、所定の動画撮影動作が実行され、再度レリーズスイッチ102が全押しされると、動画撮影動作が終了される。
フラッシュ発光部103は、レリーズスイッチ102が半押しされている状態(静止画撮影モード)において、被写体像が暗い場合に発光して被写体を照明する。撮影レンズ窓104は、被写体の光学像を、本体ボディ10の内部に配置された屈曲型鏡胴20へ取り入れるための開口部である。また表示部106は、内蔵する記録媒体に記録された記録画像を再生表示させたり、撮影待機中や動画撮影モードにおいてビデオ撮影された被写体のスルー画像(ライブビュー画像)を表示させたりするものである。なお、前記モード設定スイッチ105以外に、ズームスイッチ、メニュー選択スイッチ、選択決定スイッチ等のプッシュスイッチ群が備えられている。
屈曲型の鏡胴20は、前記撮影レンズ窓104を通して被写体像を取り入れ、本体ボディ10の内部に配置されている撮像センサ30へ導く撮影レンズ系を構成するものである。この鏡胴20は、ズーミングやフォーカシング駆動時においてもその長さの変動しない、つまり本体ボディ10から外部に突出することのない鏡胴である。この鏡胴20の内部には、光軸に沿って直列的に配置されるズームレンズブロックや固定レンズブロックからなる撮影光学系を構成するレンズ群21(図2参照)と、このレンズ群21の適所に配置される絞り22とが備えられている。さらに前記レンズ群21の適所にはシャッタ23が配置されており、該シャッタ23の開閉動作により撮影光学系の光路が遮光若しくは通光されるようになっている。すなわち、絞り22の開口面積設定度合い及びシャッタ23の開閉動作制御等により、撮像センサ30の露光量が制御されるものである。
(撮像装置の電気的構成の全体的な説明)
図2は、デジタルカメラ1における撮像処理ブロック図である。このデジタルカメラ1は、操作部100、上述した屈曲型の鏡胴20、撮像センサ30、信号処理部40、全体制御部50、及び駆動部60などを備えている。なお、操作部100は、前記で説明した電源スイッチ101、レリーズスイッチ102及びモード設定スイッチ105などからなる。
撮像センサ30は、鏡胴20内のレンズ群21により結像された被写体光像の光量に応じ、R(赤)、G(緑)、B(青)の各成分の画像信号(撮像センサ30の各画素で受光された画素信号の信号列からなる信号)に光電変換して信号処理部40へ出力するものである。本実施形態においては、この撮像センサ30として、入射光量に対して出力画素信号(光電変換により発生する出力電気信号)が線形的ではなく対数的に変換されて出力される対数変換型固体撮像素子が用いられる。なお当該撮像センサ30は、入射光量が少ない場合は、出力画素信号が線形的に変換されて出力される特性を有しており、その光電変換特性が線形的である領域(線形特性領域=暗時)と対数的である領域(対数特性領域=明時)とを備えている(すなわち、線形的に変化する第1特性領域よりも入射光量に対する出力の変化が小さい第2特性領域を有している)。さらに前記線形特性領域と対数特性領域との切り替り点(変曲点)が、特定の制御信号(ダイナミックレンジ制御信号)により任意に制御可能とされている。この撮像センサ30の構成、動作等については後に詳述する。
タイミング生成回路(タイミングジェネレータ)31は、撮像センサ30での撮影動作(露光に基づく電荷蓄積や蓄積電荷の読み出し等)を制御するものである。タイミング生成回路31は、全体制御部50からの撮影制御信号に基づいて所定のタイミングパルス(画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号等)を生成して撮像センサ30に出力し、動画撮影モード時(スルー画表示モード時)には、例えば1/30(秒)毎にフレーム画像を取り込み、順次信号処理部40に出力させる。また、静止画撮影モード時の露光中には撮像センサ30の露光動作に連動して電荷を蓄積させ(すなわち、被写体光像を画像信号に光電変換させ)、その蓄積電荷を信号処理部40に出力させる。さらにタイミング生成回路31は、後述のA/D変換器402において用いられるA/D変換用のクロックも生成する。
信号処理部40は、撮像センサ30から送出される画像信号に所定のアナログ信号処理およびデジタル信号処理を施すもので、前記画像信号の信号処理は、該画像信号を構成するそれぞれの画素信号ごとに行われる。この信号処理部40は、アナログ信号処理部401、A/D変換器402、黒基準補正部403、FPN補正部404、評価値検出部405、ホワイトバランス(WB)制御部406、色補間部407、3×3色補正部408、階調変換部409、ノイズキャンセル部410及び画像メモリ411を備えている。
アナログ信号処理部401は、撮像センサ30から出力される画像信号(撮像センサ30の各画素で受光されたアナログ信号群)に所定のアナログ信号処理を施すもので、アナログ画像信号に含まれるリセット雑音を低減するCDS回路(相関二重サンプリング回路)と、アナログ画像信号のレベルを補正するAGC回路(オートゲインコントロール回路)とを備えている。なお、AGC回路は、適正露出が得られなかった場合等に、後段のA/D変換器402の入力電圧範囲に合うよう、アナログ画像信号を適正な増幅率で増幅して撮影画像のレベル不足を補償するアンプ機能も有している。
A/D変換器402は、アナログ信号処理部401から出力されるアナログ画像信号を、例えば12ビットのデジタル画像信号(画像データ)に変換する役目を果たす。このA/D変換器402は、前記タイミング生成回路31から入力されるA/D変換用のクロックに基づいて、アナログ画像信号をデジタル画像信号に変換する。
黒基準補正部403は、A/D変換器402から入力されるデジタル画像信号の黒レベル(暗黒時の画像信号レベル)を基準の値(例えば、A/D変換後のデジタル信号レベルで0)に補正するために、A/D変換器402から入力される画像信号レベルをSD1とし、また暗黒時の画像信号レベルをSD2とするときに、
SD1−SD2
の演算を行う。なお、かかる黒基準補正は、全体制御部50から入力される撮像センサ30の光電変換特性に対応した撮像ダイナミックレンジ情報に基づいて行われる。これは、本実施形態にかかるデジタルカメラ1においては、撮像センサ30の光電変換特性が制御可能とされており、従ってA/D変換器402から入力されるデジタル画像信号の暗黒時における画像信号レベルが、撮像センサ30の光電変換特性の変化により変動することから、その変動に追従した正確な黒基準補正が行えるようにするためである。
FPN(Fixed Pattern Noise)補正部404は、黒基準補正部403から入力される画像信号のFPN(固定パターンノイズ)を除去するためのものである。固定パターンノイズとは、撮像センサ30の各画素回路が備えるFETの閾値バラツキ等が要因となって生じる、各画素が発生する画像信号の出力値のバラツキに起因するノイズである。FPN補正部404は、黒基準補正部403から入力される画像信号レベルをSD3とし、また黒基準補正部403から入力される画像信号の固定パターン成分をSD4とするとき、
SD3−SD4
の演算を行う。
評価値検出部405は、撮像センサ30で実際に撮影された画像信号から、自動露出制御(AE)、自動焦点制御(AF;オートフォーカス)、或いはホワイトバランス制御(WB制御)等を行うに際してのベース値となる評価値、すなわちAE評価値、AF評価値、ホワイトバランス評価値(以降、WB評価値という)等を検出する。例えばAE制御を行う場合、
(1)撮像ターゲットとなる被写体の輝度レベル及び輝度範囲を計測し、
(2)その輝度レベル及び輝度範囲に適合する出力が撮像センサから得られるよう、必要な露出制御量を算出し、
(3)前記算出結果に基づいて露光量等を具体的に調整し、本撮像に臨む、
というステップが一般的に採られるが、この評価値検出部405においては、前記ステップ(1)の役目を担うべく、撮像センサ30で実際に撮影された画像信号から被写体の輝度レベル及び輝度範囲が求められ、これがAE評価値として全体制御部50へ出力され、後段ステップにおけるAE制御動作用に供される。
またAF制御の場合は、例えばフォーカスレンズ(レンズ群21)の光軸方向の駆動と撮像センサ30による撮像動作とを交互に行いながら、その撮像動作により得た画像のコントラストが最大となるフォーカスレンズの位置が求められ(所謂山登り検出方式)、これがAF評価値として全体制御部50へ出力され、後段ステップにおけるAE制御動作の用に供される。さらにホワイトバランス制御は、出力画像の色を被写体の光源色に適したものに補正することを目的とするもので、この場合、前段のFPN補正部404から入力される画像信号に基づいてR、G、B各色の輝度比及び輝度差が評価値検出部405で算出され、これがWB評価値として全体制御部50へ出力されるものである。これら評価値の具体的な取得方法等については、後に詳述する。
ホワイトバランス制御部406は、全体制御部50から与えられるダイナミックレンジ情報と前記WB評価値とに基づいて、画像信号の色バランスが所定の色バランスになるよう、各色成分R、G、Bの各画素データのレベルを変換する補正を行う。なお本実施形態では、撮像センサ30として線形特性領域と対数特性領域とを備えるものを用いることから、線形特性領域及び対数特性領域ごとにWB評価値を取得し、各々の領域に適したホワイトバランス補正を行うようにすることが望ましい。
色補間部407は、ホワイトバランス制御部406から入力される画像信号の各色成分R、G、Bごとに、フレーム画像の不足する画素位置のデータを補間するものである。すなわち、本実施形態で用いられる対数変換型の撮像センサ30のカラーフィルタ構造は、Gが市松状でR、Bが線順次配列された所謂ベイヤー方式が採用されている関係上、色情報が不足していることから、色補間部407は、実在する複数の画素データを用いて実在しない画素位置の画素データを補間するものである。
具体的には色補間部407は、高帯域まで画素を持つGの色成分のフレーム画像については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、メディアン(中間値)フィルターを用いて、補間すべき画素位置の周辺に実在する画素データのうち、最大値と最小値とを除去した画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。また、R、Bの色成分については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、補間すべき画素位置の周辺に実在する画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。
図3に、撮像センサ30のカラーフィルタ構造の一例を示す。かかるカラーフィルタ構造において、前記色補間による各画素における色成分R、G、Bの画像信号は、例えば以下のようにして生成される。
(イ)アドレス11(B11)の色補間式
R11=(R00+R20+R02+R22)/4
G11=(Gr10+Gb01+Gb21+Gr12)/4
B11=B11
(ロ)アドレス11(Gr12)の色補間式
R12=(R02+R22)/2
G12=Gr12
B12=(B11+B13)/2
(ハ)アドレス21(Gb21)の色補間式
R21=(R20+R22)/2
G21=Gb12
B21=(B11+B31)/2
(ニ)アドレス22(R22)の色補間式
R22=R22
G22=(Gb21+Gr12+Gr32+Gb23)/4
B22=(B11+B31+B13+B33)/4
3×3色補正部408は、色補間部407から入力される色成分R、G、Bの画像信号の彩度を補正(色合いを補正)するものである。3×3色補正部408は、色成分R、G、Bの画像信号のレベル比を変換する3種類の変換係数を有し、撮影シーンに応じた変換係数で前記レベル比を変換して画像データの彩度を補正する。例えば、a1〜c3の合計9個の変換係数を用い、次のように画像信号を線形変換する。
R´=a1*R+a2*G+a3*B
G´=b1*R+b2*G+b3*B
B´=c1*R+c2*G+c3*B
階調変換部409は、3×3色補正部408から入力される色成分R、G、Bの画像信号が適切な出力レベルになるよう、画像信号のレベルを色成分毎に所定のガンマ特性を用いて非線形変換すると共にオフセット調整する。すなわち階調変換部409は、ホワイトバランス調整及び色補正がなされた画像信号の階調特性(γカーブやデジタルゲイン)を、LCD表示部106や外部出力されるモニターテレビ等の階調特性に補正するものである。階調変換部409においては、全体制御部50から入力されるダイナミックレンジ情報と、評価値検出部405で検出されたAE評価値等に基づいて、画像信号の階調特性を変化させる。
ノイズキャンセル部410は、階調変換部409から入力される画像信号のノイズ成分を除去すると共に、エッジ成分のみを抽出・強調することで、画像のシャープネスを良好な状態に補正するものである。ノイズキャンセル部410は、全体制御部50から入力されるダイナミックレンジ情報に基づいて、コアリング係数(画像信号のノイズ成分のみを除去し、エッジ成分を抽出する係数及び強調する係数)を変化させることで、適正な補正を行う。
画像メモリ411は、ROMやRAM等のメモリからなり、信号処理部40での信号処理を終えた画像データを一時的に保存するもので、例えば1フレーム分の画像データを記憶し得る容量を有している。
メモリカードI/F部412は、信号処理部40で生成されたメモリカード記録用画像データを、メモリカード107に記録させるべく出力するためのインターフェイスである。またメモリカード107は、静止画像や動画像などの画像データを記録して保存しておくためのメモリであって、デジタルカメラ1に対して取り外し自在とされており、外部の記録媒体との画像データ交換を可能とするものである。LCD表示I/F部413は、信号処理部40で生成されたLCD表示用画像データを、例えばNTSC方式若しくはPAL方式の画像信号に変換してLCD表示部106に出力するためのインターフェイスである。
全体制御部50は、CPU(中央演算処理装置)等からなり、デジタルカメラ1の撮影動作を集中制御するものである。すなわち全体制御部50は、前記信号処理部40の各部から送られてくる情報(前述のAE評価値、AF評価値、WB評価値等)と、本デジタルカメラ1の動作モード等に基づき、信号処理部40の各部が必要とするパラメータ等の動作情報を算出して送信することで、各処理部の動作を制御する。このほか全体制御部50は、撮影動作のためのタイミング生成回路31の制御、レンズ群21のズーミングやフォーカシング駆動、並びに絞り22及びシャッタ23の駆動のための駆動部60の制御、画像信号の出力制御などを行う。
図4は、全体制御部50の機能を説明するための機能ブロック図である。全体制御部50は、情報受信部501及び情報送信部502、メモリ部515を具備する演算部510、制御信号発生部520、レベル判定部530及び入出力部540を備えている。
情報受信部501は、信号処理部40の評価値検出部405にて検出されるAE評価値、AF評価値及びWB評価値を取得し、これらを演算部510が備える各パラメータ算出部へ振り分けて送信する。一方、情報送信部502は、信号処理部40において必要とされる情報(光電変換特性情報やコアリング係数等)をメモリ部515から適宜取り出し、信号処理部40の各処理部に適時振り分けて送信する。
演算部510は、前記情報受信部501から与えられる評価値に基づいて制御パラメータを算出する動作を為すもので、露光量制御パラメータ算出部511及びダイナミックレンジ制御パラメータ算出部512からなるAE制御パラメータ算出部5110、AF制御パラメータ算出部513、ホワイトバランス(WB)制御パラメータ算出部514及びメモリ部515を備えている。
前記メモリ部515はROMやRAM等からなり、撮像センサ30の光電変換特性の情報(撮影に際しての所望の光電変換特性を得るための情報)、すなわち、後述する露光時間設定値や絞り設定値、或いは光電変換特性設定値(該光電変換特性に対応するダイナミックレンジ情報)を記憶する光電変換特性情報記憶部516、ノイズキャンセル部410において用いられるコアリング係数の設置位置を記憶するコアリング係数記憶部517、撮像センサ30の線形特性領域と対数特性領域とで得られたデータに対するデータ変換(相互変換)を行うための変換情報、すなわちLUT(Look Up Table)等を記憶するLUT記憶部518等から構成されている。
なお、光電変換特性情報記憶部516には、光電変換特性そのもの(後述する図10に示すような光電変換特性曲線)が記憶される構成であってもよい。また、LUT記憶部518は、上記LUTの他に、後述する露光時間(T1)や絞りの開口面積(S2)の値と露光時間設定値や絞り設定値とのデータ変換を行うLUT、光電変換特性の変曲点の値(出力レベル)と光電変換特性設定値とのデータ変換を行うLUT、最大輝度出力レベルから光電変換特性設定値を出力するLUTもしくは最大輝度出力レベルの変化量から光電変換特性設定値の変化量を出力するLUT、或いは飽和画素数の値と変曲点変化量(ΔVth)の値とのデータ変換を行うLUT等、種々のデータ変換用のLUTを記憶している。また、上述した通り、光電変換特性情報記憶部516、コアリング係数記憶部517及びLUT記憶部518に記憶されているデータ値は、適宜情報送信部502から信号処理部40の適所へ送信されるようになっている。
AE制御パラメータ算出部5110は、被写体の輝度に応じた露出制御(AE制御)を行うべく、撮影の際の最適な露光量と撮像センサ30の光電変換特性とに設定するための制御パラメータを算出する。すなわち、AE制御パラメータ算出部5110の露光量制御パラメータ算出部511は、露光時間や絞りを最適化するための制御パラメータを算出するものであり、露光量制御パラメータ算出部511は、評価値検出部405にて検出されるAE評価値と、前記光電変換特性情報記憶部516に記憶されている前記AE評価値取得時点における撮像センサ30の光電変換特性情報とに基づいて、被写体輝度に応じた露光時間設定値や絞り設定値を算出する。
また、ダイナミックレンジ制御パラメータ算出部512は、被写体輝度に応じ撮像センサ30の光電変換特性を最適化するための制御パラメータを算出するものである。ダイナミックレンジ制御パラメータ算出部512は、例えばダイナミックレンジ設定用の被写体輝度が、当該撮像センサ30における所望の飽和出力レベルになるような光電変換特性設定値を算出する。この算出に際しても、光電変換特性情報記憶部516に記憶されている前記AE評価値取得時点における撮像センサ30の光電変換特性情報が参照される。
また、AE制御パラメータ算出部5110は、AE評価値に基づいて全体制御部50(露光量制御パラメータ算出部511又はダイナミックレンジ制御パラメータ算出部512)によって算出された露光量又はダイナミックレンジを制御するための所定の制御値、すなわち後述する露光量制御に関する増幅率Gain、及びダイナミックレンジ制御に関する光電変換特性の変曲点の出力レベルの変化量ΔVthが所定レベルに達した場合に、当該制御値を所定変化量(後述の増幅率変分ΔGain又は変化量変分ΔCVth)ずつ段階的に変化させるという制御値の変化制御を行う変化制御部5111を備えている。
この変化制御部5111は、上記変化制御において、制御値を所定変化量分だけ段階的に変化させた制御値(この制御値を段階制御値という)による撮像装置の露出設定下での実際の撮像画像(この撮影画像から抽出したAE評価値)から、次のAE制御用の仮の制御値を算出し、この仮の制御値に基づいて新たな段階制御値を設定するということを順次繰り返していくことにより制御値を段階的に変化させる。
AF制御パラメータ算出部513は、評価値検出部405にて検出されるAF評価値に基づいて、被写体の撮影にあたり最適な焦点距離に設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、参照するAF評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域の特徴を活用して粗測距(対数特性領域から得たAF評価値)用、詳測距(線形特性領域から得たAF評価値)用の制御パラメータを算出するよう構成することが好ましい。
ホワイトバランス制御パラメータ算出部514は、評価値検出部405にて検出されるWB評価値に基づいて、画像信号の色バランスが所定の色バランスに設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、同様に参照するAF評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域に応じた制御パラメータを算出するよう構成することが好ましい。
制御信号発生部520は、前記演算部510で算出された各種の制御パラメータに応じて、各制御動作要素を駆動させるための制御信号を生成するもので、該制御信号発生部520は、ダイナミックレンジ制御信号発生部521、センサ露光時間制御信号発生部522、シャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525を備えて構成されている。
ダイナミックレンジ制御信号発生部521は、前記ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替わる出力レベルポイント(変曲点)を調整する撮像センサ30の駆動信号を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を駆動させる。具体的には、後述するように撮像センサ30の光電変換特性は、当該撮像センサ30に対する信号φVPS(φVPSにおける電圧VPHの高さ、或いは時間ΔTの長さ)を制御することでその変曲点が変動することから、ダイナミックレンジ制御信号発生部521は、光電変換特性設定値に応じて、前記信号φVPSを制御するためのタイミング生成回路31に対する駆動信号を制御することで、撮像センサ30のダイナミックレンジを被写体の輝度に適するよう制御する。
センサ露光時間制御信号発生部522は、撮像センサ30の露光時間(積分時間)を、絞り22やシャッタ23等のメカ操作に依らず、電子回路的な制御動作により制御するための制御信号を発生するものである。センサ露光時間制御信号発生部522は、前記露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、所期の露光時間が確保されるよう撮像センサ30の駆動信号(具体的には、後述するように撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを制御する信号)を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
シャッタ制御信号発生部523は、同様に露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を露光時間に合わせて設定する制御信号を生成する。またズーム/フォーカス制御信号発生部524は、前記AF制御パラメータ算出部513にて算出された最適な焦点距離に基づいて、レンズ群21を駆動させるための制御信号を生成する。さらに絞り制御信号発生部525は、前記露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、絞り22の開口面積を設定する制御信号を生成する。これらシャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525にて生成された制御信号は、駆動部60の対応箇所へそれぞれ送信される。
レベル判定部530は、露光量又はダイナミックレンジを制御するための制御値(後述の増幅率Gain、及び変化量ΔVth)のレベル(レベル変動)を、撮影駆動中(AE制御による駆動中)絶えず検出しておき、当該制御値を所定変化量(後述のΔGain又はΔCVth)ずつ段階的に変化させるという制御値の変化制御(後述の鈍感制御)の開始レベルを示す閾値(後述のGainTh1並びにGainTh2、又はΔVthTh1又はΔVthTh2)に達したか否かを判別すると共に、この制御値が当該変化制御の終了レベルを示す閾値(後述のGainTh10並びにGainTh20、又はΔVthTh10又はΔVthTh20)に達したか否かを判別するものである。
入出力部540は、メモリカードI/F部412及びLCD表示I/F部413と接続され、操作部100からの指示信号等に対応して、撮影画像に対して所定の画像処理を行った後、その撮影画像信号をメモリカード107に記録させたり、LCD表示部106に表示させたり、或いは逆にメモリカード107から画像信号を取り入れたりする出入力作用を為す。
図2に戻って、駆動部60は、前記制御信号発生部520で生成された制御信号に基づいて、実際に当該デジタルカメラ1が具備するメカ駆動部を動作させるもので、シャッタ駆動部61、ズーム/フォーカス駆動部62及び絞り駆動部63を備えている。
シャッタ駆動部61は、前記シャッタ制御信号発生部523から与えられる制御信号に応じて、シャッタ23が所定時間開放されるようシャッタ23を開閉駆動する。ズーム/フォーカス制御部62は、ズーム/フォーカス制御信号発生部524から与えられる制御信号に応じて、レンズ群21のズームレンズブロックまたはフォーカスレンズブロックを動作させるモータ等を動作させ、前記レンズブロックを焦点位置に移動させる。さらに絞り駆動部63は、絞り制御信号発生部525から与えられる制御信号に応じ、絞り22を駆動し、所定の開口量に絞りを設定するものである。
(動作の全体的なフローの説明)
以上の通り構成されたデジタルカメラ1の動作につき、先ず全体的なフローを説明する。図5は、デジタルカメラ1の全体的な動作の一例を示すフローチャートである。図示する通り、動作を大略的に区分すると、AE評価値、AF評価値、及びWB評価値等の評価値を検出する評価値検出ステップ(ステップS1)と、得られた評価値に基づき各種パラメータを算出する制御パラメータ算出ステップ(ステップS2)と、算出された各種パラメータを該当するデジタルカメラ1各部に設定し、当該パラメータに応じた撮影状態となるようにデジタルカメラ1各部を駆動する制御パラメータを設定する制御パラメータ設定ステップ(ステップS3)とからなる。
前記各ステップS1〜S3においては、具体的には以下の処理が行われる。
先ず、評価値検出ステップS1では、各種の制御のベースとなる評価値情報を取得し、該評価値情報に基づいて評価値を算出する。AE制御の場合は、撮像ターゲットとなる被写体の輝度レベルが計測(検出)され、この計測値からAE評価値が算出されることとなる。前記輝度レベル及び輝度範囲の検出に際しては、撮像センサ30により実際に撮像された撮影画像から求めることが合理的であり、撮像センサ30は静止画及び動画の撮像が可能であることから、
(ステップS1−1)静止画からの検出:撮像センサ30により、評価値検出用の画像を本撮影前の静止画にて取得して輝度レベル及び輝度範囲を計測する。
(ステップS1−2)動画からの計測:撮像センサ30により、評価値検出用の画像を本撮影前の動画にて取得して輝度レベル及び輝度範囲を計測する。
という2通りの輝度情報の取得ステップを例示することができる。しかる後、
(ステップS1−3)評価値の算出:取得した画像の輝度情報に基づいてAE評価値を含む各種評価値を評価値検出部405により算出する。
というステップが行われる。
次にステップS2では、評価値に基づき各種パラメータが算出されるが、AE制御の場合は、露光量又はダイナミックレンジがAE制御の要素となることから、これらの制御パラメータが、前記AE評価値に基づいて算出される。すなわちステップS2としては、
(ステップS2−1)露光量制御パラメータの算出:全体制御部50により、AE評価値に基づいて露光量制御パラメータを算出する。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出:全体制御部50により、AE評価値に基づいてダイナミックレンジ制御パラメータを算出する。
という2通りのパラメータ算出ステップを例示することができる。
最後にステップS3では、デジタルカメラ1各部を駆動する制御パラメータの設定が為される。AE制御の場合は、前記(ステップS2−1)又は(ステップS2−2)に基づく制御パラメータの設定が行われる、すなわちステップS3としては、
(ステップS3−1)露光量制御パラメータの設定:算出された露光量制御パラメータに基づいてメモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31や駆動部60を動作させる。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定:算出されたダイナミックレンジ制御パラメータに基づいて、メモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31を動作させる。
という2通りのパラメータ設定ステップを例示することができる。
(本実施形態で用いる撮像センサの基本的特性について)
以下、上述した各ステップにつき順次詳述するが、本実施形態においては、その光電変換特性として入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサ30を用いることが前提とされている関係上、先ず本実施形態で用いられる撮像センサ30の基本的特性について、その具体的な一例を詳述する。
図7は、撮像センサ30の一例である二次元のMOS型固体撮像装置の概略構成図である。同図において、G11〜Gmnは、行列(マトリクス)配列された画素を示している。この画素G11〜Gmnからなる画素部の外周縁部近傍には、垂直走査回路301と水平走査回路302とが配設されている。垂直走査回路301は、行のライン(信号線)304−1、304−2、・・・304−n(これらを纏めて行ライン304という)を順次走査する。水平走査回路302は、各画素から出力信号線306−1、306−2、・・・306−m(これらを纏めて出力信号線306という)に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン305により電力供給がなされている。各画素には、前記各ラインや出力信号線だけでなく、他のライン(例えばクロックライン)も接続されているが、図7では図示を省略している。
出力信号線306−1、306−2、・・・306−mには、それぞれ、後述のトランジスタT5と対になって増幅回路を構成する定電流源307−1、307−2、・・・307−m(これらを纏めて定電流源307という)が設けられている。ただし、この増幅回路として、定電流源307に代えて抵抗やトランジスタ(MOSトランジスタ)を設けてもよい。この出力信号線306を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路(サンプルホールド回路)308−1、308−2、・・・308−m(これらを纏めて選択回路308という)に出力される。この選択回路308に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路309に出力され、補正回路309において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路309から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
図8は、図7に示す各画素G11〜Gmnの構成例を示す回路図である。同図に示すように、画素は、フォトダイオードPD、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)としてのトランジスタT1〜T6、及び積分用のコンデンサとしてのキャパシタCから構成されている。トランジスタT1〜T6は、ここではPチャンネルMOSFETが採用されている。φVD、φV、φVPS、φRST、φS及びRSBは、各トランジスタやキャパシタCに対する信号(電圧)を示し、GNDは接地を示している。
フォトダイオードPDは、感光部(光電変換部)であり、被写体からの入射光量に応じた電気信号(光電流IPD)を出力する。トランジスタT5は、図7に示す定電流源307と対になってソースフォロワ増幅用の増幅回路(ソースフォロワアンプ)を構成するものであり、後述する電圧VOUTに対する増幅(電流増幅)を行う。トランジスタT6は、ゲートに印加する電圧に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタである。すなわち、トランジスタT6のソースは、図7に示す出力信号線306に接続されており、オンした場合、トランジスタT5で増幅された電流を出力電流として出力信号線306へ導出する。
トランジスタT2は、同トランジスタのゲートに、光電流IPDに対して線形変換又は対数変換した電圧を発生させる。ところで、MOSFETでは、ゲート電圧が閾値以下の時に、サブスレッショルド電流と呼ばれる微小電流が流れるが、トランジスタT2はこのサブスレッショルド特性を利用して前記線形変換又は対数変換を行う。
具体的には、撮像する被写体の輝度が低い(被写体が暗い)場合、すなわち、フォトダイオードPDに入射される入射光量が少ない場合には、トランジスタT2のゲート電位が同トランジスタのソース電位より高くなっており、トランジスタT2が所謂カットオフ状態でありトランジスタT2にサブスレッショルド電流が流れず(トランジスタT2がサブスレッショルド領域で動作せず)、フォトダイオードPDで発生する光電流がフォトダイオードPDの寄生容量に流れて電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときT1はオンされているので、上記の寄生容量に蓄積された電荷の量に応じた電圧が、電圧VGとしてトランジスタT2、T3のゲートに発生する。この電圧VGにより、トランジスタT3に電流が流れ、この電圧VGに比例した量の電荷がキャパシタCに蓄積される(トランジスタT3とキャパシタCとで積分回路を構成している)。そして、トランジスタT3とキャパシタCとの接続ノードa、すなわち出力VOUTには、光電流IPDの積分値に対して線形的に比例した電圧が現れる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を線形的に変換した値となっている。これが当該撮像センサ30の、線形特性領域における動作である。
一方、撮像する被写体の輝度が高く(被写体が明るく)、フォトダイオードPDに入射される入射光量が多い場合には、トランジスタT2のゲート電位が同トランジスタのソース電位以下となり、トランジスタT2にサブスレッショルド電流が流れ(トランジスタT2がサブスレッショルド領域で動作し)、光電流IPDを自然対数的に変換した値の電圧VGがトランジスタT2、T3のゲートに発生する。そして、この電圧VGにより、トランジスタT3に電流が流れ、キャパシタCに、光電流IPDの積分値を自然対数的に変換した値と同等の電荷が蓄積される。これにより、キャパシタCとトランジスタT3との接続ノードa(出力VOUT)には、光電流IPDの積分値を自然対数的に変換した値に比例した電圧が生じる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を自然対数的に変換した値となっている。これが当該撮像センサ30の、対数特性領域における動作である。以上のように、各画素によって、入射光量(被写体輝度)に応じて線形的又は自然対数的に比例した電圧が出力される。
トランジスタT1は、リセット時のノイズデータ(トランジスタT2の製造バラツキに起因して発生するノイズ信号)を取り出す際に用いるためのスイッチである。トランジスタT1は、リセット時以外にはオン状態とされており、トランジスタT2(のドレイン)及びフォトダイオードPD間に光電流IPDが流れるようになっている。リセット時には、オフ状態となりフォトダイオードPDの光電流IPDが遮断され、前記のバラツキ分だけが取り出される。この取り出されたバラツキ分(ノイズ信号)は、後述の映像信号から減算される。
トランジスタT4は、該トランジスタT4のゲートに印加される電圧に応じてオン、オフされるスイッチとして動作する、キャパシタCをリセットするためのトランジスタである。トランジスタT4がオンされるとリセット電圧(前記信号RSBの電圧)が印加され、キャパシタCに蓄積されていた電荷(電荷量)が元の状態、すなわち積分開始前の状態に戻される。
図9は、撮像センサ30(画素)の撮像動作に関するタイミングチャートの一例である。ここではPチャンネルMOSFETの極性上、以下のようにHi(ハイ)でオフ、Low(ロー)でオンとなる。先ず、信号φVが符号311に示す位置でLowとなり、トランジスタT6がオンされ、映像信号が読み出される、すなわちキャパシタCに蓄積されている電荷が出力電流(映像信号)として出力信号線306に導出される。次に信号φSが符号312に示す位置でHiとなり、トランジスタT1がオフされてフォトダイオードPDが切り離される。次に信号φVPSが符号313に示す位置でHiとなり、トランジスタT2のリセットが行われる。また、トランジスタT2がリセットされるのと同時に、信号φRSTが符号314に示す位置でLowとなり、トランジスタT4がオンされ、キャパシタC(接続ノードa)に信号RSBによるリセット電圧が印加されて(接続ノードaの電位がRSBの電位(VRSB)となり)、キャパシタCの(電荷の)リセットが行われる。このようにトランジスタT2及びキャパシタCがリセットされた後、符号315に示す位置で信号φVが再度LowとなってトランジスタT6がオンされ、出力信号線306にノイズ信号が導出される。
次に、信号φSが符号316に示す位置でLowになり(トランジスタT1がオンされ)、フォトダイオードPDの切り離しが解除される。そして、信号φVPSが符号318に示す位置で中電位Mとなって、残像低減のためにフォトダイオードPDの寄生容量のリセットを行う。また、次フレームの積分開始電圧を一定にするために、信号φRSTが符号317に示す位置で再度LowとなってトランジスタT4がオンされ、キャパシタCのリセットが再度行われる。
その後、信号φVPSが符号319に示す位置でMからLowになり、フォトダイオードPDの寄生容量のリセットが終了する。併せて、信号φRSTもLowからHiとなりキャパシタCのリセット動作も終了される。このときの時刻t1からキャパシタCの積分が開始され、信号φVがHiからLowとなる符号311に示す位置、すなわち次フレームにおける映像信号の読み出しが開始される時刻t2までの間、当該積分が継続される。この時刻t1、t2間の時間がキャパシタCの積分時間、すなわち撮像における露光時間となる。この露光時間は、前記中電位Mとなる信号φVPSを与える時間ΔS(長さ)を制御することで制御される。この時間ΔSは、タイミング生成回路31を介したセンサ露光時間制御信号発生部522によって制御される。
信号φVDは、前記増幅回路(ソースフォロワアンプ)の動作範囲に合わせ込むべく、或いは映像信号やノイズ信号に発生するオフセットの調整を行うべく電位操作を行うものである。信号φVDのVh、Vm及びVlは、それぞれ高電位、中電位及び低電位を示している。
撮像センサ30は、上述のように被写体の輝度に応じて線形変換又は対数変換した出力信号を得ることが可能であり、図10に示すような光電変換特性320を有している。同図に示すように、光電変換特性320は、変曲点321を境にして線形特性領域と対数特性領域とに分かれている。この変曲点321は、線形特性領域から対数特性領域へ切り替わる点であり、この変曲点321のセンサ出力の値をVthで示している。一般的に、線形特性領域では、幅広い輝度範囲の被写体の撮像は不可能であるものの(ダイナミックレンジが狭い)、画像全体の階調性を高くすることができ(高いコントラストを得ることができ)、暗い被写体(例えば曇天時や日陰での被写体)であっても階調性豊かな高品位な画像を得ることができる。一方、対数特性領域では、高輝度での階調性は乏しくなるが、幅広い輝度範囲の被写体の撮像が可能であり(ダイナミックレンジが広い)、明るい被写体(例えば直射日光が照射されていたり、直射日光が背後に存在たりする被写体)であっても、暗い部分も含め、奥行きのある高品位な画像を得ることができる。
ところで、この光電変換特性320(変曲点321)は、トランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させることにより変化(移動)させることができる。すなわち、当該Hi時の電圧をVPHとし、Low時の電圧をVPLとすると、電圧の差ΔVPS(=VPH−VPL)(図9参照)を変化させることにより、図11に示すように、光電変換特性320(変曲点321)から、光電変換特性322(変曲点324)や光電変換特性323(変曲点325)へ任意に変化させることができる。このように光電変換特性が変化することにより、線形特性領域と対数特性領域との比率が変化し、光電変換特性322に示すように線形特性領域の割合が大きな光電変換特性、或いは光電変換特性323に示すように対数特性領域の割合が大きな光電変換特性を得ることができる。この場合、光電変換特性の全てが線形特性領域又は対数特性領域となるように変化させてもよい。
本実施形態では、電圧VPHを変化させることによりΔVPSを変化させ、撮像センサ30の光電変換特性を変化させている。図11では、VPHが高くなるほど(ΔVPSが大きくなるほど)、線形特性領域の割合が増えて光電変換特性322側へ変化し、VPHが低くなるほど(ΔVPSが小さくなるほど)、対数特性領域の割合が増えて光電変換特性323側へ変化する。この電圧VPHは、タイミング生成回路31を介したダイナミックレンジ制御信号発生部521によって制御される。
なお、光電変換特性を上述のように変化させるために、電圧VPHとなる信号φVPSを与える時間ΔTを変化させてもよい。この場合、時間ΔTを長いほど線形特性領域の割合が大きくなり、短いほど対数特性領域の割合が大きくなるように光電変換特性が変化する。図11では、前記時間ΔTが長い場合が光電変換特性322に、時間ΔTが短い場合が光電変換特性323に相当する。
(評価値検出ステップS1)
続いて、信号処理部40の評価値検出部405におけるAE評価値等の評価値の具体的な取得方法について説明する。
(ステップS1−1)静止画からの評価値検出例
図12は、上述した撮像センサ30が実際に撮像した静止画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本実施形態にかかるデジタルカメラ1で静止画を撮影(本撮影)する場合において、その本撮影の前にAE評価値を取得するための静止画を撮影(予備撮影)し、該予備撮影画像に基づいてAE評価値を算出するフローを示している。この評価値検出手法は、デジタル一眼レフカメラ等の、撮影準備段階において被写体光像が光学ファインダに入射され撮像センサ30には入光しないタイプの撮像装置に好適な手法である。
先ず、本デジタルカメラ1の電源スイッチ101が押下され電源ONとされている状態において、撮影開始の操作が為されたかが確認され(ステップS111)、レリーズスイッチ102が操作(例えば半押し操作)されると(ステップS111のYES)、予備撮影準備の動作が開始される(ステップS112)。
ステップS112では、AE評価値を算出するために予備撮影を行うに当り、当該予備撮影のためのダイナミックレンジ制御が行われる。ここでのダイナミックレンジ制御は、被写体の輝度を広い範囲で感知できるよう、撮像センサ30が最大のダイナミックレンジを備えるように制御される。つまり、デジタル一眼レフカメラ等においては、予備撮影のチャンスは本撮影の前の1回しかないことから、いかなる被写体であってもその輝度を確実に検出できるよう、広いダイナミックレンジに設定される。
このため、撮像センサ30が全領域において対数変換出力動作をなすよう、撮像センサ30の動作状態が制御される。具体的には、レリーズスイッチ102が半押しされると、全体制御部50から予備撮影モードへの移行指示が各部に出され、これを受けてダイナミックレンジ制御信号発生部521が、例えば図8に示すトランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させる(この場合、前述のΔVPSを小さくする。図9参照)信号を発生し、これにより撮像センサ30の対数特性領域の割合が増加されるよう制御される。なお、広いダイナミックレンジを確保するという観点からは全領域を対数特性領域とすることが望ましいが、必ずしも全領域を対数特性領域に変換せずとも良く、ある程度線形特性領域が残存していてもよい。
続いて、予備撮影のための露出制御が行われ、予備撮影が行われる(ステップS113)。具体的には、例えばセンサ露光時間制御信号発生部522が、前記信号φVPSが中電位Mとなる時間ΔSの長さを所定の露光時間に合わせて設定する駆動信号を生成し、これをタイミング生成回路31に送ることで撮像センサ30の予備撮影用露出制御(露光量制御)が行われる。この他、シャッタ制御信号発生部523によって生成された制御信号に基づくシャッタ駆動部61によるシャッタ23のシャッタスピードの調整、及び絞り制御信号発生部525によって生成された制御信号に基づく絞り制御部63により絞り22の調整によっても露出制御が行われる。このような露出制御が為された上で、静止画の予備撮影が行われる。そして、撮影された予備撮影画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS114)。このAE評価値算出ステップについては、後記で詳述する。AE評価値が算出されると予備撮影は終了し(ステップS115)、当該AE評価値に基づく露出制御が行われた上で本撮影が開始されることとなる(ステップS116)。なお、以上はAE評価値を取得する場合について説明したが、AF評価値やホワイトバランス評価値についても同様にして取得することができる。
(ステップS1−2)動画からの評価値検出例
図13は、撮像センサ30が継続的に撮像している動画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本デジタルカメラ1が撮影待機中にある場合や、動画撮影モードにある場合、或いは本実施形態の撮像装置をデジタルムービィに適用した場合において、撮像センサ30が撮像している全てのフレーム画像を用いて、AE評価値を算出するフローを示している。
先ず、撮影開始の操作が為されたかが確認され(ステップS121)、例えばモード設定スイッチ105が操作されて動画撮影モードに移行され撮影開始が確認されると(ステップS121のYES)、動画の撮影が開始される(ステップS122)。この撮影開始時における撮像ダイナミックレンジ、露光時間、及び絞り等の各制御値は、初期設定値とされる。
続いて、ステップS122において撮像された画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS123)。そして検出されたAE評価値に基づいて、ダイナミックレンジ制御信号発生部521により信号φVPSの設定を変化させてダイナミックレンジを制御し、またシャッタ駆動信号発生部523及び絞り制御信号発生部525にて生成される制御信号により絞りを制御する等して、所定の撮像AE制御が行われる(ステップS124)。
そして撮影が終了したかが確認され(ステップS125)、撮影の終了指令が無い場合は(ステップS125のNO)、前記ステップS123に戻り同様なAE評価値算出、及びステップS124の撮像AE制御が繰り返されるものである。すなわち、動画撮影が行われているときに、その撮影画像の全てがAE評価値検出のための評価画像として活用され、得られたAE評価値に基づいて次の撮影のための撮像AE制御が行われるというサイクルが繰り返されるものである。なお、撮影画像の全てを評価画像とせず、撮影画像の一部(例えば撮影画像の数フレームに1枚の割合)を評価画像とし、該評価画像からAE評価値を取得するようにしてもよい。
ところで、当該ステップS1−2における動画像撮影時には、被写体の輝度が急激に且つ頻繁に変化した場合でも撮影露出状態(露光量)或いは光電変換特性状態(ダイナミックレンジ)を滑らかに制御するべく、後述する増幅率(Gain)や光電変換特性の変曲点位置の出力レベルの変化量(ΔVth)が所定値に達した場合には、当該増幅率や変化量が変化する度合いを制御する、すなわち、実際の増幅率や変化量の値をそのまま使用せずに、これら実際の増幅率や変化量の変化に対して後追いして徐々に変化させるように所謂ヒステリシス制御を用いて当該増幅率や変化量を鈍感に制御する(以降、鈍感制御という)。本実施形態は、動画像撮影時にこのような鈍感制御を行う点に特徴があるが、この点については後に詳述する。
(ステップS1−3)評価値の算出
次に、上記のフローにおける評価値算出のステップ(上記ステップS114、S123)について詳述する。図14は、評価値検出部405の機能を説明するための機能ブロック図である。評価値検出部405は、分割測光部4051、ヒストグラム算出部4052及び飽和判別部4055を備えている。
分割測光部4051は、被写体に対する分割測光(マルチパターン測光)方式による測光を行うものである。すなわち、分割測光部4051は、撮像センサ30による撮像によって得られた撮影画像を所定数の領域(及び区画)に分割し、当該撮影画像(各領域や区画)における輝度を画像信号(画像データ)から検出するものである。図15は、撮像センサによる分割測光に際しての撮像領域(測光範囲)の分割の状態を示す模式図である。符号330は、撮像センサ30による撮像によって得られた撮像領域(撮像領域330)であり、この撮像領域330において被写体が撮影(撮像)される。この撮像領域330には撮像センサ30を構成する撮像素子に対応した多数の画素情報、すなわち被写体の輝度情報が含まれている。撮像領域330は、例えば撮像領域330の中央部である中央領域と、この中央領域の周辺部である周辺領域とに区分されており、さらに中央領域及び周辺領域はそれぞれ所定数の検出ブロック(検出区画)に分割されている。中央領域は、例えばA、B、C、・・・Z、AA、AB、・・・AJブロック(A〜AJブロック)といった36個の検出ブロックに分割されており、周辺領域は、例えば第1〜第16ブロックといった16個の検出ブロックに分割されている。本実施形態では、この中央領域に撮像されている被写体を主被写体とし(以降、中央領域のことを主被写体領域331という)、周辺領域に撮像されている被写体を周辺被写体と称する(以降、周辺領域のことを周辺被写体領域332という)。なお、主被写体領域331の中央部におけるO、P、U及びVブロックから形成される領域は、フォーカス制御のためのAF評価値の検出が行われるAF領域(AF領域333)となっている。また、主被写体領域331における(撮影画像の)輝度を主被写体輝度、周辺被写体領域332における輝度を周辺被写体輝度という。
ヒストグラム算出部4052は、各A〜AJブロック毎の主被写体輝度ヒストグラム(分布)を算出すると共に、このA〜AJブロック毎の主被写体輝度ヒストグラムを用いて、図16(a)に示すような主被写体領域331全体における主被写体全体輝度ヒストグラムを算出する。また、各第1〜第16ブロック毎の周辺被写体輝度ヒストグラムを算出すると共に、この第1〜第16ブロック毎の主被写体輝度ヒストグラムを用いて、図16(b)に示すような周辺被写体領域332全体における周辺被写体全体輝度ヒストグラムを算出する。
また、ヒストグラム算出部4052は、前記算出した主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムを用いて、主被写体全体の輝度範囲及び周辺被写体全体の輝度範囲を算出する。この算出の際、所定の閾値を用いて足切りを行う、すなわちこの閾値より小さい度数の輝度データを使用しない。主被写体においては、図16(a)に示すように閾値D1にて足切りを行い、D1以上の度数を有する輝度の最小値L1〜最大値L8の範囲を主被写体全体輝度範囲とする。同様に、周辺被写体においては、図16(b)に示すように閾値D2にて足切りを行い、D2以上の度数を有する輝度の最小値L12〜最大値L19の範囲を主被写体全体輝度範囲とする。この閾値による「足切り」は、ノイズ等による誤差を低減するために行われる。なお、図16に示す各輝度ヒストグラムの輝度(画像(輝度)データ)は、ここでは説明の便宜上、L1〜L19などとしているが、実際には、例えば8ビットでの画像データを扱う場合には、256段階(階調)で表し、例えばL1〜L256となる。
ヒストグラム算出部4052は、平均輝度算出部4053及び最大/最小輝度算出部4054を備えている。平均輝度算出部4053は、各A〜AJブロック毎の主被写体の平均輝度、及び各第1〜第16ブロック毎の周辺被写体の平均輝度を算出する。この平均輝度は、R、G、Bの各色に対して算出される。当該平均輝度の算出においては、各A〜AJブロック及び各第1〜第16ブロック毎にそれぞれ主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラムを算出し、前記と同様に所定の閾値を設定して「足切り」を行い、この足切り後の各輝度値を平均することにより各平均輝度を得る。
最大/最小輝度算出部4054は、各A〜AJブロック毎の主被写体の最大/最小輝度、及び各第1〜第16ブロック毎の周辺被写体の最大/最小輝度を算出する。この場合も同様に、各ブロック毎に算出した主被写体輝度ヒストグラム又は周辺被写体輝度ヒストグラムに対して所定の閾値での「足切り」を行い、足切り後の各輝度値(輝度範囲)から最大又は最小輝度を算出する。
なお、ヒストグラム算出部4052は、後述の飽和判別部4055による飽和判別に用いるべく、主被写体領域331及び周辺被写体領域332を合わせた全撮像領域(撮像領域330)における全領域輝度ヒストグラムを算出する。ただし、この全領域輝度ヒストグラムは、上記主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムを合わせることによって算出してもよい。
飽和判別部4055は、前記ヒストグラム算出部4052によって算出された全領域輝度ヒストグラムに基づいて、AE(AF、WB)評価値検出時に撮像センサ30の出力が飽和しているか否かを判別するものである。
図17は、撮像センサの出力飽和時における全領域輝度ヒストグラムの一例を示すグラフ図である。同図中におけるPmaxは、撮像センサ30が飽和出力レベルVmax(撮像センサ30の出力レベルの最大値)となっているときのセンサ入射輝度(飽和輝度)を示し、Pmaxthは、飽和/非飽和の判別を行うべく所定の閾値として設定されたセンサ出力Vmaxthに対するセンサ入射輝度(輝度閾値)を示している。また、Dthは、同様に飽和/非飽和の判別を行うべく予め閾値として設定された度数(度数閾値)を示している。ただし、前記Vmaxは、実際の最大出力レベルとしての飽和出力レベルとしてもよいし、任意に設定した(例えばこの実際の最大出力レベルより幾分低く設定された出力レベルとしての)飽和出力レベルとしてもよい。
飽和判別部4055は、全領域輝度ヒストグラム341において、輝度閾値Pmaxth以上及び度数閾値Dth以上となる同図中の符号342に示す斜線領域(飽和領域342という)における総度数、すなわち総画素数(飽和領域での総画素数を飽和画素数という)を算出し、該飽和画素数が所定数以上である場合に、撮像センサ30の出力レベルが飽和していると判別する(所定数より少ない場合は飽和していないと判別する)。なお、飽和/非飽和の判別は、飽和輝度Pmaxの度数(画素数)のみを用いて行ってもよい。
評価値検出部405は、上述のように、分割測光を行い、主被写体及び周辺被写体領域の各検出ブロックにおける輝度情報(画像データ)から、平均輝度、最大/最小輝度、輝度ヒストグラム或いは輝度範囲等の情報をAE(AF、WB)評価値として検出する。この評価値データは、情報受信部501を介して演算部510の各種評価値に対応するパラメータ算出部、例えばAE評価値であればAE制御パラメータ算出部5110に、AF評価値であればAF制御パラメータ算出部513に、WB評価値であればホワイトバランス制御パラメータ算出部514に出力され、当該各算出部においてこの評価値に基づき各種制御パラメータが算出される。
(AE制御パラメータ算出ステップS2)
続いて、本実施形態にかかる、撮像センサ30の光電変換特性に基づいた露光量制御及びダイナミックレンジ制御によるAE制御について以下に詳述する。図18は、AE制御を行う場合において、撮像センサの光電変換特性が変化する様子を示すグラフ図であり、(a)は、露光量制御を行う場合の変化を示し、(b)は、ダイナミックレンジ制御を行う場合の変化を示す図である。図18(a)、(b)は、横軸がセンサ入射輝度、縦軸がセンサ出力であり、横軸は対数座標(センサ入射輝度の対数値)となっている。ただし、センサ入射輝度とは、撮像センサ30に入射された被写体の輝度を示しており、以降、単に輝度という。
前記露光量制御及びダイナミックレンジ制御は、具体的には、下記(A)、(B)の各制御に基づいて行われる。
(A)シャッタ23及び/又は撮像センサ30における露光時間、すなわちシャッタ23の開放時間及び/又は撮像センサ30の積分時間、及び/又は絞り23の開口面積の制御に基づく露光量制御。
(B)撮像センサ30の光電変換特性の制御(具体的には、光電変換特性の変曲点位置の制御;図22参照)に基づくダイナミックレンジ制御。
(ステップS2−1)露光量制御パラメータの算出
先ず(A)の場合の露光量制御について図18(a)を用いて説明する。光電変換特性601は、AE評価値取得時点において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性601は変曲点603(このときのセンサ出力はVth)を境として線形特性領域と対数特性領域とに分かれている。この光電変換特性601が、露光量設定用の所定の輝度(露光量設定用輝度)に対して所定のセンサ出力が得られる光電変換特性602へ変化する露光量を得るための露光量制御パラメータ(露光量設定値)、すなわち前記露光時間を制御するための露光時間設定値及び絞りの開口面積を制御するための絞り設定値が、露光量制御パラメータ算出部511によって算出される。
ここでは、光電変換特性601の線形特性領域における所定の輝度Lt1(前記露光量設定用輝度に相当)に対するセンサ出力の値(点605でのセンサ出力)が、Vtarget(点606でのセンサ出力)となるような光電変換特性602を算出する、換言すれば、光電変換特性601を、点606を通る光電変換特性602となるように符合608に示す矢印方向(矢印608方向)に向けて変化(移動)させる(このとき、変曲点603は変曲点604へ平行移動され、センサ出力Vthの値は変化しない)。ただし、Vtargetとは、センサ出力の或る目標となるターゲット出力であり、予め設定された値である。このVtargetは露光量制御パラメータ算出部511等に記憶されている。
この場合、輝度Lt1におけるセンサ出力が、光電変換特性601の点605でのセンサ出力から光電変換特性602の点606でのセンサ出力(Vtarget)まで増加するように、すなわち同じ大きさの輝度に対するセンサ出力が増加するように、露光量の増加を図ることができる露光時間設定値や絞り設定値が算出される。別の見方をすれば、Vtargetに相当する輝度がLt2(点607での輝度)からLt1へ変化し、すなわちVtargetのセンサ出力を得るための輝度がLt2より小さいLt1で済むように当該露光量が増加される露光時間設定値や絞り設定値が、露光量制御パラメータ算出部511によって算出される。このとき、当該露光時間設定値や絞り設定値に基づいて、シャッタ23の開放時間又は撮像センサ30による積分時間が増加され、また、絞り22の開口面積が増加されるように制御される。
なお、光電変換特性601から光電変換特性602へ変化する場合、Vmaxにおける輝度がLm2からLm1まで変化(低下)し、ダイナミックレンジは低下する。Vmaxとは、撮像センサ30におけるセンサ出力の最大値、すなわち飽和出力レベルである。ただし、当該Vmaxは、物理的な最大出力レベルとしての飽和出力レベルとしてもよいし、任意に設定した(例えばこの物理的な最大出力レベルより幾分低く設定された出力レベルとしての)飽和出力レベルとしてもよい。
また、図18(a)の場合では、露光量設定用輝度(Lt1)に対してVtargetを得るために、光電変換特性を矢印608方向に変化させているが、矢印608方向と逆方向(右方向)に向けて変化(移動)させてもよい。また、AE評価値取得時における光電変換特性が、既に上述のように露光量設定用輝度に対してVtargetが得られるものとなっている場合には、光電変換特性は変化(移動)されない。ただし、この場合、前回のAE評価値取得時における露光時間設定値や絞り設定値と同じ値になったとしても、今回における露光時間設定値や絞り設定値の算出が行われる構成であってもよい。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出
次に、前記(B)の場合のダイナミックレンジ制御について図18(b)を用いて説明する。光電変換特性701は、AE評価値取得時において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性701は変曲点703(このときのセンサ出力はVth1)を境として線形特性領域と対数特性領域とに分かれている。ダイナミックレンジ制御パラメータ(光電変換特性設定値)は、この光電変換特性701が、ダイナミックレンジ設定用の所定の輝度(ダイナミックレンジ設定用輝度)に対して所定のセンサ出力が得られる光電変換特性702へと変化されるような光電変換特性の制御値、具体的には、変化後の光電変換特性(702)における変曲点(変曲点704)の位置(該変曲点に対する出力レベル)に関する設定値として求められる。この光電変換特性設定値はダイナミックレンジ制御パラメータ算出部512により算出される。
ここでは、ダイナミックレンジにおける最大輝度として設定した輝度Lm20をダイナミックレンジ設定用被写体輝度とし、該輝度Lm20に対するセンサ出力の値が、撮像センサ30の飽和出力レベルであるVmax(図18(a)に示すVmaxと同様)となるように光電変換特性曲線702を算出する。換言すれば、光電変換特性701を、点704を通る光電変換特性702となるように符合705に示す矢印方向(矢印705方向)に向けて変化させる。このとき、変曲点703は変曲点704へ移り、該変曲点に対するセンサ出力もVth1からVth2へ変化する。
この場合、輝度Lm20におけるセンサ出力が点706でのセンサ出力(Vover:Vmaxを超えるセンサ出力値)から点707でのセンサ出力(Vmax)まで減少されるような光電変換特性設定値が算出される。別の見方をすれば、センサ出力Vmaxを得ることが可能な最大輝度がLm10(点708での輝度)からLm20へと大きくなるような(ダイナミックレンジを広げるような)光電変換特性設定値が、ダイナミックレンジ制御パラメータ算出部512によって算出される。
なお、光電変換特性701から光電変換特性702へ変化する場合、Vtargetにおける輝度はLt10からLt20まで変化(増加)し、露光量は低下する。ただし、この図18(b)に示すVtargetは、露光量の変化について説明するために設定したものであり、図18(a)に示すVtargetの値とは異なっていてもよい。
また、図18(b)の場合では、ダイナミックレンジ設定用輝度(Lm20)に対してVmaxを得るために、光電変換特性を矢印705方向に変化させているが、矢印705方向と逆方向(上方向)に向けて変化させてもよい。また、AE評価値取得時点における光電変換特性が、上述のようにダイナミックレンジ設定用輝度に対してVmaxが得られるものとなっている場合には、光電変換特性は変化されない。ただし、この場合、前回のAE評価値取得時における光電変換特性設定値と同じ値になったとしても今回における光電変換特性設定値の算出が行われる構成であってもよい。
このように前記(A)の露光量制御、及び(B)のダイナミックレンジ制御によるAE制御により、露光量設定用輝度を光電変換特性の線形特性領域で撮影し、且つ所定のセンサ出力レベルで出力すると共に、ダイナミックレンジ設定用輝度(ここでは被写体の最大輝度;ダイナミックレンジにおける最大輝度)がセンサ飽和出力レベル以下となるようにして撮影することが可能となる。
(露光量制御パラメータの算出方法の詳細説明)
ここで、前記図18(a)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、露光量制御パラメータ算出部511による露光量制御パラメータ(露光時間設定値及び絞り設定値)の算出について、より具体的に説明する。
図19は、図18(a)における輝度Lt1(露光量設定用輝度)に対するセンサ出力の値がVtargetとなるようにするための演算方法の一例について説明する図である。同図における光電変換特性α1は、AE評価値取得時における光電変換特性であり、変曲点611(これに対するセンサ出力はVth)を境として線形特性領域612と対数特性領域613とに分かれている。光電変換特性β1は、光電変換特性α1における対数特性領域613を線形特性(線形特性領域614)に変換した場合の、すなわち全て線形特性領域となる光電変換特性を示している。
図19に示すA点におけるLtLinは、光電変換特性α1の線形特性領域612における平均輝度(線形特性領域平均輝度)であり、この輝度LtLinに対するセンサ出力がVtLinとなっている。また、B点におけるLtLogは、光電変換特性α1の対数特性領域613における平均輝度(対数特性領域平均輝度)であり、この輝度LtLogに対するセンサ出力がVtLogとなっている。先ず、この光電変換特性α1の対数特性領域613におけるLtLogに対するB点が、線形特性領域614上のC点に移るように、すなわち対数特性領域613におけるLtLogに対するセンサ出力の値(VtLog)が線形特性領域614での値(VtLogLin)となるようにデータ変換が行われる(これにより、光電変換特性α1での各データを線形特性領域でのデータに統一して扱えるようになる)。前記対数特性領域613(光電変換特性α1)から線形特性領域614(光電変換特性β1)へのデータ変換は、LUT記憶部518に記憶されているLUTを用いて行われる。そして、A点でのVtLinとC点でのVtLogLinとから、以下の式により、D点でのセンサ出力VtAveが算出される。なお、VtAveにおける輝度LtAveが、図18(a)に示す露光量設定用輝度としてのLt1に相当する。
VtAve=(VtLin*k1)+(VtLogLin*(1−k1))
ただし、k1=m/(m+n)
m:A点の輝度LtLinの算出時に用いた総画素数
n:B点の輝度LtLogの算出時に用いた総画素数
このように、LtLin及びLtLogの値から、VtLin及びVtLogLinの値を算出し、VtLin及びVtLogLinの値からVtAveを算出する。
次に、このVtAveが、図18(a)に示すVtargetとなるような露光量の増幅率Gain(ゲイン)、この露光量の増幅率Gainに基づく露光時間の増幅率Gt及び絞りの増幅率Gs、さらに、増幅率Gt及びGsに基づくそれぞれ露光時間T2及び絞りの開口面積S2を以下の式により算出する。ただし、当該各式を用いたGt及びGsの値の算出は、以下図20に示すフローチャートによる場合分けによって決定される。
Gain=Vtarget/VtAve
Gt*Gs=Gain
≪露光時間に関する増幅率を算出する式≫
Tmax/T1=Gtmax(露光時間の最大増幅率)
Tmin/T1=Gtmin(露光時間の最小増幅率)
Gain/Gtmax=GGtmax(最大増幅率での不足分を補うための増幅率)
Gain/Gtmin=GGtmin(最小増幅率での不足分を補うための増幅率)
T2=T1*Gt
ただし、T1:AE評価値検出時の露光時間
T2:AE補正後の露光時間
Tmax:撮像センサ30の最大露光時間
Tmin:撮像センサ30の最小露光時間
≪絞りに関する増幅率を算出する式≫
Smax/S1=Gsmax(絞りの最大増幅率)
Smin/S1=Gsmin(絞りの最小増幅率)
Gain/Gsmax=GGsmax(最大増幅率での不足分を補うための増幅率)
Gain/Gsmin=GGsmin(最小増幅率での不足分を補うための増幅率)
S2=S1*Gs
ただし、S1:AE評価値検出時の絞りの開口面積
S2:AE補正後の絞りの開口面積
Smax:絞り23の最大開口率
Smin:絞り23の最小開口率
図20のフローチャートに示すように、先ず、VtAveがVtargetの値と同じ値である場合、すなわち露光量の増幅率Gain=1.0であり、露光量の制御(露光量制御パラメータの変更)が必要ない場合には(ステップS11のYES)、露光時間の増幅率Gt=1.0及び絞りの増幅率Gs=1.0となり(ステップS12)、露光時間及び絞りの開口面積は変更されない。増幅率Gain=1.0でなく(ステップS11のNO)、また、Gain>1.0であり(ステップS13のYES)、且つGain>Gtmaxでない場合には(ステップS14のNO)、すなわちGainが1.0より大きく、露光量の制御が必要であり、露光量の増幅率Gainが露光時間の増幅率Gt(最大増幅率Gtmax以下の増幅率Gt)にて対応できる場合には、Gt=Gain及びGs=1.0となる(ステップS15)。
前記ステップS13において、Gain>1.0でなく(ステップS13のNO)、且つGain<Gtminでない場合には(ステップS16のNO)、前記ステップS15の場合と同様に、Gainが1.0より小さく露光量の制御が必要であり、露光量の増幅率Gainが、露光時間の増幅率Gt(最小増幅率Gtmin以上の増幅率Gt)にて対応できるため、Gt=Gain及びGs=1.0となる(ステップS17)。
前記ステップS14において、Gain>Gtmaxであり(ステップS14のYES)、且つGsmax>GGtmaxである場合には(ステップS18のYES)、Gt=Gtmax及びGs=GGtmaxとなる(ステップS19)。このステップS19では、露光量の増幅率Gainが、露光時間の最大増幅率Gtmaxよりも大きな値となってしまい、絞りの増幅率Gsを変化させることなく(Gs=1.0)、露光時間の増幅率Gtだけで対応することできないため、当該Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応(補充)している。ただし、この絞りの増幅率Gsの値としては、露光時間の最大増幅率Gtmaxでの不足分を補うための増幅率GGtmaxが用いられる。これは、増幅率GGtmaxが、絞りの最大増幅率Gsmaxよりも小さい値であるため(絞りの最大増幅率Gsmaxを用いる必要がなく)、露光時間に関する増幅率GGtmaxを用いている。これにより、絞りを制御するための値(増幅率
)を、前記絞りに関する増幅率を算出する式を用いて算出する手間が省かれる。
また、前記ステップS16において、Gain<Gtminであり(ステップS16のYES)、且つGsmin<GGtminである場合には(ステップS21のYES)、Gt=Gtmin及びGs=GGtminとなる(ステップS22)。この場合も前記ステップS19と同様に、露光量の増幅率Gainが、露光時間の最小増幅率Gtminよりも小さな値となってしまい、絞りの増幅率Gsを変化させることなく(Gs=1.0)、露光時間の増幅率Gtだけで対応することできないため、Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応している。ただし、この絞りの増幅率Gsの値としては、露光時間の最小増幅率Gtminでの不足分を補うための増幅率GGtminが用いられる。これは、増幅率GGtminが、絞りの最小増幅率Gsminよりも小さい値であるため(絞りの最小増幅率Gsminを用いる必要がなく)、露光時間に関する増幅率GGtminを用いている。この場合も同様に、絞りを制御するための値(増幅率)を、前記絞りに関する増幅率を算出する式を用いて算出する手間が省かれる。
前記ステップSe8において、Gsmax>GGtmaxでない場合には(ステップS18のNO)、Gt=Gtmax及びGs=Gsmaxとなる(ステップS20)。また、前記ステップS21において、Gsmin<GGtminでない場合には(ステップS21のNO)、Gt=Gtmin及びGs=Gsminとなる(ステップS23)。前記ステップS20においては、増幅率GGtmaxが、絞りの最大増幅率Gsmax以上の値となる場合に、絞りの増幅率Gsの値として最大増幅率Gsmaxが用いられている。同様に、前記ステップS23においては、増幅率GGtminが、絞りの最小増幅率Gsmin以下の値となる場合に、絞りの増幅率Gsの値として最小増幅率Gsminが用いられている。
なお、本実施形態では、図20のフローチャートに示すように、露光量の増幅率Gainを得るための制御パラメータを選択する際、露光時間の増幅率Gtを優先させている(露光時間の制御を優先させている)が、絞りの増幅率Gsを優先させる(絞りの制御を優先させる)構成であってもよい。また、本実施形態では、1つの露光量設定用輝度(Lt1)に対して、増幅率Gt及びGsの算出を行っているが、2つ以上の露光量設定用輝度に対して同様の算出を行ってもよく、この場合には、それぞれで算出した増幅率(Gt、Gs)の平均値、或いは最大値や最小値を用いる構成であってもよい。
このようにして増幅率Gt、Gsが算出され、このGt、GsからそれぞれAE補正後の露光時間T2、AE補正後の絞りの開口面積S2が算出される。そして、これらT2及びS2に応じた撮像センサ30やシャッタ23に対する設定値(露光時間設定値)、或いは絞り22に対する設定値(絞り設定値)が、それぞれLUTを用いたデータ変換によって算出される。そして、当該データ変換によって得られた露光時間設定値や絞り設定値は、光電変換特性情報記憶部516に記憶される(或いは前回のAE評価値取得時点における露光時間設定値や絞り設定値を、当該新たに得られた同設定値で更新する構成であってもよい。以下の光電変換特性設定値に対しても同様である)。
なお、シャッタ制御信号発生部523及び絞り制御信号発生部525は、それぞれ露光量制御パラメータ算出部511で算出された露光時間設定値及び絞り設定値に基づいて、撮像センサ30やシャッタ23による露光時間(積分時間)が前記T2となるような、或いは絞り22の開口面積が前記S2となるような、シャッタ駆動部61及び絞り駆動部63に対する制御信号を発生させる。
ここで、前記図19に示す線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLin及び対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの具体的な算出方法について説明する。先ず、線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLinの算出方法について説明する。図15に示す主被写体領域331における各検出ブロック(A〜AJブロック)によって検出した被写体の輝度情報を基に、当該各検出ブロック毎の線形特性領域での平均輝度(ブロック線形平均輝度という)を算出する。このブロック線形平均輝度の算出は、R、G及びBの3色それぞれの線形特性領域の平均値(色線形平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色線形平均値をそれぞれAveRA、AveRB、・・・AveRAJとして算出し、同様に、G色、及びB色の色線形平均値をそれぞれAveGA、AveGB、・・・AveGAJ、及びAveBA、AveBB、・・・AveBAJとして算出する。そして、これらRGB各色の色線形平均値を用いて、以下の色空間変換を行う式により、A〜AJブロック毎のブロック線形平均輝度を算出する。例えばAブロックに対するブロック線形平均輝度をAveYAとすると、AveYAは次式にて求めることができる。
AveYA=AveRA*K1+AveGA*K2+AveBA*K3
ただし、K1、K2、K3:RGBからYCbCrへの色空間変換に用いる係数であり、例えばK1=0.2989、K2=0.5866、K3=0.1145である。
他のB〜AJブロックに対しても同様に演算し、この結果、A〜AJブロック毎のブロック線形平均輝度AveYA、AveYB、・・・AveYAJを算出する。そして、さらにこれらブロック線形平均輝度AveYA、AveYB、・・・AveYAJ全体での平均値を算出する。この平均値のことをMainYとすると、MainYが前記線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLinとなる。
一方、対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出も、前記線形特性領域平均輝度LtLinの場合と同様にして行う。すなわち、図15に示す主被写体領域331におけるA〜AJブロックによって検出した被写体の輝度情報を基に、当該各検出ブロック毎の対数特性領域での平均輝度(ブロック対数平均輝度という)を算出する。このブロック対数平均輝度の算出は、R、G及びBの3色それぞれの対数特性領域の平均値(色対数平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色対数平均値をそれぞれAveRLogA、AveRLogB、・・・AveRLogAJとして算出し、同様に、G色、及びB色の色対数平均値をそれぞれAveGLogA、AveGLogB、・・・AveGLogAJ、及びAveBLogA、AveBLogB、・・・AveBLogAJとして算出する。
ところで、これら対数特性領域でのRGB各色の色対数平均値は、一旦、LUT記憶部518に記憶されているLUTを用いて線形特性領域での値に変換して線形データとしておき、この線形データに変換された値を用いて前記と同様に色空間変換の式を用い、A〜AJブロック毎のブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJを算出する。そして、さらにこれらブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJ全体での平均値を算出する。この平均値のことをMainYLogとすると、MainYLogが前記線形特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogLinとなる。なお、前記各A〜AJブロックでの各色の色線形平均値(色対数平均値)は、当該各A〜AJブロック毎の線形特性領域(対数特性領域)での輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値を平均することにより算出してもよい。
ところで、前記図19、20において説明した増幅率Gain(露光量制御パラメータ)の具体的な算出方法は、以下に示すものであってもよい。先ず、主被写体領域331における各A〜AJブロックでのRGB各色における輝度の最大値(色最大値という)を算出する。すなわち、R色の最大値をそれぞれMaxRA、MaxRB、・・・MaxRAJとして算出し、同様に、G色、及びB色の最大値をそれぞれMaxGA、MaxGB、・・・MaxGAJ、及びMaxBA、MaxBB、・・・MaxBAJとして算出する。そして、これら各色毎の輝度の最大値を用いて、以下の色空間変換を行う式により、A〜AJブロック毎のブロック最大輝度を算出する。例えばAブロックに対するブロック最大輝度をMaxYAとすると、MaxYAは次式にて求めることができる。
MaxYA=MaxRA*K1+MaxGA*K2+MaxBA*K3
ただし、前記と同様に例えばK1=0.2989、K2=0.5866、K3=0.1145である。他のB〜AJブロックに対しても同様に演算し、この結果、A〜AJブロック毎のブロック最大輝度MaxYA、MaxYB、・・・MaxYAJを算出する。そして、さらにこれらブロック最大輝度MaxYA、MaxYB、・・・MaxYAJ全体での最大値(主被写体領域331での最大輝度値という)を算出する。この最大輝度値のことをMaxYとすると、MaxYが、図21に示す輝度Ltmaxに対応するセンサ出力レベルVtAve2となる。
同様に、各A〜AJブロックでのRGB各色における輝度の最小値(色最小値)を、それぞれMinRA、MinRB、・・・MinRAJ、及びMinGA、MinGB、・・・MinGAJ、及びMinBA、MinBB、・・・MinBAJとして算出し、これらの最小値を用いて前記と同様の色空間変換の式によりA〜AJブロック毎のブロック最小輝度MinYA、MinYB、・・・MinYAJを算出する。そして、さらにこれらブロック最小輝度MinYA、MinYB、・・・MinYAJ全体での最小値(主被写体領域a2での最小輝度値という)を算出する。この最小輝度値のことをMinYとすると、MinYが、図21に示す輝度Ltminに対応するセンサ出力レベルVtAve1となる。
ただし、前記色最大値及び色最小値のうちで対数特性領域での値であるものに対しては、同様にLUTを用いての線形特性領域への変換を行った後に色空間変換を行う。また、各A〜AJブロックでの各色の色最大値及び色最小値は、当該各A〜AJブロック毎に輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値から算出してもよい。
そして、図21に示すように、輝度Ltminに対するセンサ出力値VtAve1が、予め設定されたターゲット出力値であるVtarget1となるような増幅率(Vtarget1/VtAve1;第1増幅率という)を算出すると共に、輝度Ltmaxに対するセンサ出力値VtAve2が、予め設定されたターゲット出力値であるVtarget2となるような増幅率(Vtarget2/VtAve2;第2増幅率という)を算出し、これら2つの増幅率のうちの小さい方の増幅率を選択し、当該選択された増幅率を前記露光量の増幅率Gainとして、前記図20に示すように場合分けを行い、露光時間の増幅率Gt及び絞りの増幅率Gsを算出する構成であってもよい。
なお、上述のように第1及び第2増幅率のうちの大きい方を選択してもよく、或いは、第1及び第2増幅率を比較して一方を選択するのではなく、第1又は第2増幅率のみを算出して用いる構成であってもよい。また、これら第1及び第2増幅率を平均したものを用いる構成であってもよい。また、上記Vtarget1やVtarget2の値は、露光量制御パラメータ算出部511等に記憶されている。
また、前記最小輝度値MinY及び最大輝度値MaxYは、各A〜AJブロックの輝度ヒストグラムを纏めてなるA〜AJブロック全体での全体輝度ヒストグラムから算出してもよい。この場合、同様に「足切り」を行うことで当該全体輝度ヒストグラムにおける輝度範囲を算出し、この輝度範囲から最小輝度値MinY及び最大輝度値MaxYを算出する。なお、当該算出時に、最小輝度値MinY=最大輝度値MaxY−輝度範囲、或いは最大輝度値MaxY=最小輝度値MinY+輝度範囲というように、最小又は最大輝度値の一方の輝度値と輝度範囲とから、他方の輝度値を求めてもよい。
(ダイナミックレンジ制御パラメータの算出方法の詳細説明)
続いて、前記図18(b)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、ダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出についてより具体的に説明する。
図22は、ダイナミックレンジ制御パラメータ算出に際しての、光電変換特性における変曲点の位置の算出方法について説明するグラフ図であり、(a)は、輝度Lmaxに対して所定のセンサ出力となるように光電変換特性を変化させた場合の図であり、(b)は、光電変換特性をモデル化した場合の図である。先ず、図22(a)において、輝度Lmaxは、ダイナミックレンジ設定用輝度であり、例えば図18(b)に示すLm20に相当するものとする。光電変換特性α2は変曲点711を有する変化前の光電変換特性、光電変換特性β2は変曲点712を有する変化後の光電変換特性を示している。Vmax2は、撮像センサ30の飽和出力レベル(最大出力レベル)を示している。輝度Lmaxに対するセンサ出力の値が、光電変換特性α2上のE点でのVmax1から光電変換特性β2上のF点でのVmax2へ移るように光電変換特性を変化させる。この場合、光電変換特性α2は、変曲点711でのセンサ出力Vth1から変曲点712でのセンサ出力Vth2となる変曲点の変化量ΔVthに応じて光電変換特性β2の状態へ変化する。
ところで、前記Vth2は、E、F点間のセンサ出力ΔVmax(=Vmax2−Vmax1)から算出される。これについて説明する。図22(b)に示すように、光電変換特性α2、β2における線形特性領域及び対数特性領域をそれぞれモデル化(グラフ化)して関数(数式)で表すと、以下のように表される。
線形特性領域をモデル化した関数:V=K2*L(光電変換特性α2、β2で共通)
対数特性領域をモデル化した関数:V=K1*ln(L)+Wα(光電変換特性α2)
:V=K1*ln(L)+Wβ(光電変換特性β2)
ただし、K1、K2は定数、Lはセンサ入射輝度(図22の横軸座標)、Wα及びWβは切片を示している。
ここで、ΔVmaxは、ΔVmax=Wβ−Wαと表されるので、前記V=K1*ln(L)+Wβの数式は、V=K1*ln(L)+Wα+ΔVmaxと表される。この数式と、前記V=K2*Lの数式との交点713におけるセンサ出力値がVth2となる。したがって、交点713(の座標)を算出するための当該2つの数式の連立式;K1*ln(L)+Wα+ΔVmax=K2*Lを満たす「L」の値、すなわち図22(b)に示す輝度Lを求めることによって、該輝度Lに対応するセンサ出力のVth2が算出される。ただし、算出された出力レベルVth2が飽和出力レベルVmax2より大きくなる場合には、撮像センサ30は、対数特性領域の無い線形特性領域のみの光電変換特性を有することとなる。
そして、上述のように算出したVth2に応じた撮像センサ30に対する設定値、すなわち、光電変換特性の変曲点がVth2の位置となるように光電変換特性を変化させるための設定値(光電変換特性設定値)が、LUTを用いた当該Vth2のデータ変換によって算出される。そして、当該データ変換によって得られた変曲点Vth2に対応する光電変換特性設定値は、光電変換特性情報記憶部516に記憶される。なお、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512で算出された光電変換特性設定値に基づいて、撮像センサ30の光電変換特性(の変曲点位置)が上述のように変化するような、タイミング生成回路31に対する制御信号を発生させる。
ところで、前記図22に示すダイナミックレンジ設定用輝度である輝度Lmaxに対応するセンサ出力レベルVmax1の具体的な算出方法は以下のとおりである。先ず、前記図19における対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出と同様に、図15に示す主被写体領域331(A〜AJブロック)での対数特性領域平均輝度を算出すると共に、周辺被写体領域332(第1〜第16ブロック)での対数特性領域平均輝度を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した対数特性領域平均輝度を比較して大きな方の対数特性領域平均輝度を選択し、該選択した対数特性領域平均輝度に対応するセンサ出力レベルをVmax1とする。
なお、主被写体領域331及び周辺被写体領域332において、前記対数特性領域平均輝度だけでなく、図19における線形特性領域平均輝度LtLinと同様の線形特性領域平均輝度に対応するセンサ出力も算出し、主被写体領域331及び周辺被写体領域332毎にこれら線形特性領域平均輝度と対数特性領域平均輝度とを平均した全特性領域平均輝度を算出し、これら各領域における全特性領域平均輝度のうちの大きな方を輝度Lmaxに対応するセンサ出力とする構成であってもよい。ただし、当該輝度が同じ大きさであった場合には、いずれの輝度値を輝度Lmaxに対応するセンサ出力としてもよい(以降も同様)。
また、主被写体領域331のみでの対数特性領域平均輝度(或いは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lmaxに対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの対数特性領域平均輝度(或いは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lmaxに対応するセンサ出力を得る構成であってもよい。
さらに、輝度Lmaxに対応するセンサ出力の具体的な算出方法は、以下に示すものであってもよい。すなわち、先ず、前記図21における最大輝度値Ltmax(MaxY)に対応するセンサ出力の算出と同様に、主被写体領域331での最大輝度値を算出すると共に、周辺被写体領域332での最大輝度値を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した最大輝度値を比較して大きな方の最大輝度値を選択し、該選択した最大輝度値に対応するセンサ出力レベルを求め、この出力レベルに対応する輝度を輝度Lmaxとする。なお、主被写体領域331のみでの最大輝度値から輝度Lmaxに対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの最大輝度値から輝度Lmaxに対応するセンサ出力を得る構成であってもよい。
ところで、図22に示すような、光電変換特性設定値に基づく光電変換特性(変曲点位置)の制御は、実際には、前記図15で説明したように、飽和判別部4055(図14参照)によって撮像センサ30の出力レベルが飽和していないと判別された場合に行われ、該出力レベルが飽和していると判別された場合には、飽和画素数に応じて、図23(a)に示すようにΔVth分だけ変曲点での出力レベルを低下させるように、すなわち、撮像センサ30によって、より高輝度側での撮影を可能とするべくダイナミックレンジを広げるように光電変換特性を変化させる。ここでは、光電変換特性α3から光電変換特性β3へ変化させる。ただし、このΔVthの値は、図23(b)に示すように、飽和画素数が増加するにつれて増加するように設定されており、該飽和画素数に対応するΔVthの算出は、LUTによるデータ変換によって行われる構成となっている。そして、この算出されたΔVthを、AE評価値時算出時における光電変換特性α3の変曲点721での出力レベルVth1から減算することにより、変化後の光電変換特性β3(光電変換特性α3と比較してダイナミックレンジが広くなる特性)の変曲点722での出力レベルVth2が得られる。さらに、当該得られたVth2に応じた撮像センサ30に対する設定値(光電変換特性設定値)が、LUTによるデータ変換によって算出される。そして、当該データ変換によって得られた変曲点Vth2に対応する光電変換特性設定値は、光電変換特性情報記憶部516に記憶される。
(ステップS3−1)露光量制御パラメータの設定
上記ステップS2−1で説明したような手法でAE制御のための露光量制御パラメータが算出されたならば、該露光量制御パラメータに基づいてAE制御が行われ、実際の撮像動作が行われる。すなわち、静止画像を撮影する場合は、予備撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で本撮影が行われる。また、動画像を撮影する場合は、例えば直前に撮影された撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で順次動画撮影が行われる。
具体的には、全体制御部50の露光量制御パラメータ算出部511で算出された露光量制御パラメータは制御信号発生部520に入力され、実際の露光量制御動作を行わせる駆動信号を生成するタイミング生成回路31や駆動部60を動作させるための制御信号が制御信号発生部520の各部で生成される。すなわち、制御信号発生部520のセンサ露光時間制御信号発生部522は、前記露光量制御パラメータに応じて、所期の露光時間が確保されるよう撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図9に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを、露光量制御パラメータに応じて適宜な時間に設定する信号(つまり、フォトダイオードPDの寄生容量のリセット動作終了時刻t1から次フレームの映像信号読み出しが開始される時刻t2までの積分時間を適宜な時間に設定する信号)である。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
またシャッタ制御信号発生部523は、同様に露光量制御パラメータに基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を露光時間に合わせて設定する制御信号を生成する。この制御信号は駆動部60のシャッタ駆動部61へ送られ、シャッタ駆動部61は該制御信号に基づいてシャッタ23の駆動信号を生成し、露光量制御パラメータに応じたシャッタ23のシャッタ開放動作を行わせる。
さらに絞り制御信号発生部525も、同様に露光量制御パラメータに基づいて、絞り22の開口面積を設定する制御信号を生成する。この制御信号は絞り駆動部63へ送られ、絞り駆動部63は該制御信号に基づいて絞り22の駆動信号を生成し、露光量制御パラメータに応じた絞り22の開口面積設定動作を行わせる。
以上のように、露光量制御(積分時間の制御)の要素としては、タイミング生成回路31のよる撮像センサ30の駆動制御、シャッタスピード制御及び絞り制御があり、これら3つの制御を全て行うようにしても良いが、高速に制御を達成する観点からは、図21のフローチャートに基づいて説明したように、タイミング生成回路31による電子回路的な露光量制御を優先させるようにすることが望ましい。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定
一方、ダイナミックレンジ制御により本実施形態にかかるAE制御を行う場合、全体制御部50のダイナミックレンジ制御パラメータ算出部512で算出されたダイナミックレンジ制御パラメータは制御信号発生部520に入力され、そのダイナミックレンジ制御信号発生部521において、実際のダイナミックレンジ制御動作を行わせる制御信号が生成される。
すなわちダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替わる出力レベルポイント(変曲点)を調整する撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図9に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSを、算出されたダイナミックレンジ制御パラメータに応じて適宜設定する制御信号である。
つまり、前記φVPSにおける電圧VPHの高さ、或いは時間ΔTの長さを制御することでその変曲点が変動されることから、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータに基づいてφVPSを制御する制御信号を生成し、これをタイミング生成回路31へ送信する。そしてタイミング生成回路31は、入力された制御信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を、所定の光電変換特性の状態として実際に駆動させるものである。
ここで、上述した、動画撮影に際しての露光量制御に関する増幅率(Gain)やダイナミックレンジ制御に関する光電変換特性の変曲点の変化量(ΔVth)の変化に対する鈍感制御について、以下詳述する。
(露光量設定に関する増幅率(Gain)の鈍感制御について)
図24は、動画撮影時における露光量制御に関する増幅率の変化の様子を示すグラフ図である。図24の縦軸に示すGainTh1は、増幅率(ゲイン)が増大していく場合の鈍感制御開始レベルである増幅率の所定値(閾値)であり、GainTh2は、増幅率が減少していく場合の鈍感制御開始レベルである増幅率の所定値(閾値)である。また、同じく縦軸に示すGainTh10は、上記GainTh1を開始点とする鈍感制御の終了レベルである増幅率の所定値(閾値)であり、GainTh20は、上記GainTh2を開始点とする鈍感制御の終了レベルである増幅率の所定値(閾値)である。ただし、GainTh10は、GainTh1に対して低レベルに位置するものであるとし、また、GainTh20は、GainTh2に対して高レベル(増幅率が減少する方向で見た場合においては低レベル)に位置するものであるとする。
図24において、(横軸の)時間の経過とともに増幅率が変化し、時刻t1におけるGainTh1より大きな増幅率となった時点で鈍感制御が開始され、時刻t2におけるGainTh10より小さな増幅率となった時点でこの鈍感制御が終了される(図24の時刻t1〜t2における変化区間801において鈍感制御が行われる)。また、時間の経過とともに増幅率が変化し、時刻t3におけるGainTh2より小さな増幅率となった時点で鈍感制御が開始され、時刻t4におけるGainTh20より大きな増幅率となった時点でこの鈍感制御が終了される(図24の時刻t3〜t4における変化区間802において鈍感制御が行われる)。
ここで、増幅率が上記GainTh1(GainTh2)を超えてからGainTh10(GainTh20)に到るまでの鈍感制御における実際の動作について、上記変化区間801の場合を例として説明する。
図26は、変化区間801における増幅率の値の経時変化の一例を示す拡大図である。ただし、本図における時刻t1〜t2間又はGainTh10〜GainTh1間における増幅率の変化を示す点(プロット)の個数(各点の間隔)は、説明の便宜上、より少なく(大きく)示しているが、実際にはこれより多い個数(小さい間隔)であってもよい。
図26に示すように、露光量制御パラメータ算出部511による露光量制御パラメータ(露光時間設定値及び絞り設定値)の算出の際に得られた増幅率が、変化点811、変化点812・・・と順に増加していき、GainTh1を超えた変化点813に示す増幅率となった場合、この変化点813の増幅率の代わりに、符号814に示す増幅率の所定の変化量ΔGain分だけGainTh1より増加させた変化点815での増幅率が、実際の露光量制御のための増幅率として設定(採用)される。なお、以降、適宜、上記増幅率の所定の変化量ΔGainのことを増幅率変分ΔGainという。
次に、変化点815における増幅率(に基づく露光時間及び絞り設定値の設定下)での撮影画像(評価用画像)から取得したAE評価値に基づいて算出され、この算出によって得られた増幅率が変化点816になったとすると、この変化点816に近づくように、変化点815での増幅率から更に上記増幅率変分ΔGainだけ増加された変化点817での増幅率が設定される。同様にして変化点817の増幅率に基づいて変化点818に示す増幅率が算出され、これに近づくように増幅率変分ΔGainだけ増加された変化点819での増幅率が得られる。
また、現在設定されている増幅率に基づいて算出された増幅率が、当該現在設定されている増幅率よりも小さい値となる場合にも上記と同様に、現在設定されている増幅率から上記増幅率変分ΔGainだけ減少された増幅率が順次設定(採用)される。例えば図26においては、変化点821の増幅率に基づいて変化点822の増幅率が算出される場合、変化点821の増幅率よりも増幅率変分ΔGain(符号823に示す増幅率変分)だけ減少された変化点824に示す増幅率が設定される。このようにして設定される増幅率が段階的に徐々に減少していき、変化点829に示すようにGainTh10よりも小さい値となった時点で、当該鈍感制御が終了され、上記変化点811や変化点812における通常の増幅率(変化)に基づいた露光量制御が行われるようになる。
なお、現在設定されている増幅率に基づいて算出された増幅率の値が、変化点825や変化点826に示すように、現在設定されている増幅率に対する増幅率変分ΔGain以内の値となる場合、換言すれば、現在設定されている増幅率に基づいて算出された増幅率が、現在設定されている増幅率から、(同図において増加する方向又は減少する方向に)増幅率変分ΔGainより大きくは増減変化しない場合、増幅率は、例えば変化点827や変化点828に示すように、現在設定されている増幅率で推移する(設定される増幅率は前回の状態から変化しない)。
これと同様に、変化点813での増幅率が、変化点815での増幅率よりも小さい値になる(変化点813が、GainTh1の位置と変化点815の位置の中間に位置する)ような場合には、すなわちGainTh1を超えての増幅率の増分が、符号814に示す増幅率変分ΔGainよりも小さくなる場合には、当該時刻での増幅率は、変化点815ではなくGainTh1の値が採用される(算出によって得られた増幅率がGainTh1を超えたとしても、増幅率はGainTh1の状態のまま推移する)。
このように変化区間801では、変化点813、816、818といった白抜きの点で示す増幅率の急激且つ頻繁な変化に対して、変化点815、817、819といった黒塗りの点で示すように所定の増幅率変分ΔGainで段階的(階段状)に徐々に変化するような増幅率(この増幅率に基づく露光量制御パラメータ)が設定される。変化区間802の場合の当該増幅率の変化制御も同様に行われる。
なお、本鈍感制御では、このように増幅率が増大(減少)していった場合に、GainTh10(GainTh20)に達した時点から鈍感制御を開始するのではなく、GainTh1(GainTh2)を超えた時点から鈍感制御を開始するという、所謂、鈍感制御の開始を鈍感に検出することと、当該GainTh1(GainTh2)からGainTh10(GainTh20)に到るまでの各変化区間801、802において増幅率(変曲点の変化量)の急激且つ頻繁な変化を生じさせないよう鈍感に制御するといった2段階による鈍感制御が行われる。
図27は、図24における鈍感制御に関する、露光量制御時の増幅率の設定におけるフローの一例を示すフローチャートである。先ず、現在設定されている増幅率(当該増幅率に基づいて算出された露光時間設定値及び絞り設定値)で動画撮影された画像(フレーム画像;評価画像)から得られたAE評価値に基づいて、露光量設定用の被写体輝度(Lt1)でのセンサ出力が、光電変換特性の線形特性領域において所望の出力レベル(Vtarget)となるような、増幅率Gainが算出される(図18(a)及び図20での説明参照)(ステップS31)。そして、この算出された増幅率Gainが、増幅率が増大する場合の鈍感制御開始に対する所定の閾値であるGainTh1より大きいか否か(GainTh1を超えたか否か)がレベル判定部530によって判別され、GainTh1より大きいと判別された場合には(ステップS32のYES)、増幅率変分ΔGainを用いての増幅率の変化制御が開始され、当該増幅率変分ΔGainだけ変化された(増幅率GainTh1から変化しない場合も含む)増幅率が算出される(ステップS33)。なお、この増幅率変分ΔGainを用いての増幅率の変化制御によって得られた増幅率のことを、増幅率Gain’とする。また、GainTh1より大きいと判別された場合の増幅率の変化制御における増幅率変分ΔGainのことを、増幅率変分ΔGain1とする。
そして、この変化制御に基づいて算出された増幅率Gain’から算出された露光時間設定値及び絞り設定値の設定が行われ、撮像センサ30、シャッタ23及び絞り22等が当該設定に応じて駆動される(ステップS34)。ただし、上記算出された増幅率が、GainTh1から増幅率変分ΔGain1分だけ増加させた増幅率未満となる場合には、GainTh1の値がこの時点での増幅率Gain’として用いられる。
次に、上記ステップS34における増幅率(各設定)にて駆動されている状態で次の撮影が行われ、この撮影画像から取得したAE評価値に基づいて増幅率Gain(露光時間設定値及び絞り設定値)が算出される(ステップS35)。そして、このステップS35において算出された増幅率Gainが、鈍感制御終了に対する所定の閾値であるGainTh10より小さいか否か(GainTh10を超えたか否か)がレベル判定部530によって判別され、GainTh10より小さくないと判別された場合には(ステップS36のNO)、ステップS33に戻って、増幅率Gain’が算出され、増幅率の変化制御が継続される。GainTh10より小さいと判別された場合には(ステップS36のYES)、当該鈍感制御が終了され、通常の制御で得られる増幅率Gainに基づいて露光時間及び絞りの設定が行われる(ステップS42)。撮影が終了されなければ(ステップS43のNO)、ステップS31に戻って上記の処理を繰り返し、撮影が終了する場合は(ステップS43のYES)、フロー終了となる。
一方、上記ステップS32において、ステップS31で算出された増幅率GainがGainTh1より大きくないと判別された場合には(ステップS32のNO)、ステップS37に移り、同増幅率Gainが、増幅率が減少する場合の鈍感制御開始に対する所定の閾値であるGainTh2より小さいか否か(GainTh2を超えたか否か)がレベル判定部530によって判別され、GainTh2より小さいと判別された場合には(ステップS37のYES)、上記ステップS33の場合と同様に、増幅率変分ΔGain2(GainTh2より小さいと判別された場合の増幅率の変化制御における増幅率変分ΔGainのことを、増幅率変分ΔGain2とする)を用いての増幅率の変化制御が開始され、当該増幅率変分ΔGain2だけ変化された(増幅率GainTh2から変化しない場合も含む)増幅率Gain’が算出され(ステップS38)、この増幅率Gain’から算出された露光時間設定値及び絞り設定値の設定が行われ、撮像センサ30、シャッタ23及び絞り22等が当該設定に応じて駆動される(ステップS39)
そして、上記ステップS39における増幅率(各設定)にて駆動されている状態で次の撮影が行われ、この撮影画像から取得したAE評価値に基づいて増幅率Gain(露光時間設定値及び絞り設定値)が算出され(ステップS40)、このステップS40において算出された増幅率Gainが、鈍感制御終了に対する所定の閾値であるGainTh20より大きいか否か(GainTh20を超えたか否か)がレベル判定部530によって判別され、GainTh20より大きくないと判別された場合には(ステップS41のNO)、ステップS38に戻って、増幅率Gain’(露光時間設定値及び絞り設定値)が算出され、増幅率の変化制御が継続される。GainTh20より大きいと判別された場合には(ステップS41のYES)、当該鈍感制御が終了され、上記ステップS42における露光時間及び絞りの設定が行われる。撮影が終了されなければ(上記ステップS43のNO)、ステップS31に戻って上記の処理を繰り返し、撮影が終了する場合には(上記ステップS43のYES)、フロー終了となる。
なお、上記ステップS37において、増幅率GainがGainTh2より小さくないと判別された場合には(ステップS37のNO)、すなわち、増幅率Gainが変化したとしても、この増幅率GainがGainTh1より大きくならず、且つGainTh2より小さくならなければ、鈍感制御が開始されず、ステップS31に戻って通常の増幅率算出に基づく露光量制御が継続される。
(光電変換特性の変曲点の変化量(ΔVth)の変化に対する鈍感制御について)
図25は、動画撮影時におけるダイナミックレンジ制御に関する光電変換特性の変曲点の変化量の変化の様子を示すグラフ図である。図25の縦軸に示すΔVthTh1は、変曲点の出力レベルの変化量ΔVth(図22に示すΔVth参照)が増大していく場合の鈍感制御開始レベルである当該変化量ΔVthの所定値(閾値)であり、ΔVthTh2は、変化量ΔVthが減少していく場合の鈍感制御開始レベルである当該変化量ΔVthの所定値(閾値)である。また、同じく縦軸に示すΔVthTh10は、上記ΔVthTh1を開始点とする鈍感制御の終了レベルである変化量ΔVthの所定値(閾値)であり、ΔVthTh20は、上記ΔVthTh2を開始点とする鈍感制御の終了レベルである当該変化量ΔVthの所定値(閾値)である。ただし、ΔVthTh10は、ΔVthTh1に対して低レベルに位置するものであるとし、また、ΔVthTh20は、ΔVthTh2に対して高レベル(変曲点変化量が減少する方向で見た場合においては低レベル)に位置するものであるとする。なお、以降、適宜、光電変換特性における変曲点の出力レベルの変化量ΔVthのことを変曲点変化量という。
図25において、(横軸の)時間の経過とともに変曲点変化量が変化し、時刻t1におけるΔVthTh1より大きな変曲点変化量となった時点で鈍感制御が開始され、時刻t2におけるΔVthTh10より小さな変曲点変化量となった時点でこの鈍感制御が終了される(図25の時刻t1〜t2における変化区間841において鈍感制御が行われる)。また、時間の経過とともに変曲点変化量が変化し、時刻t3におけるΔVthTh2より小さな変曲点変化量となった時点で鈍感制御が開始され、時刻t4におけるΔVthTh20より大きな変曲点変化量となった時点でこの鈍感制御が終了される(図25の時刻t3〜t4における変化区間842において鈍感制御が行われる)。
この変曲点変化量が上記ΔVthTh1(ΔVthTh2)を超えてからΔVthTh10(ΔVthTh20)に到るまでの当該変曲点変化量の変化制御、すなわち鈍感制御における実際の動作については、上述の図26での説明と同様であり、この場合、図25における変化区間841に対しては、図26に示すGainTh1及びGainTh10がそれぞれΔVthTh1及びΔVthTh10を示すこととなり、当該変化区間841では、変化点813、816、818といった白抜きの点で示す変曲点変化量ΔVthの急激且つ頻繁な変化に対して、変化点815、817、819といった黒塗りの点で示すように、変化量変分ΔCVthで段階的(階段状)に徐々に変化するような変曲点変化量(この変曲点変化量に基づくダイナミックレンジ制御パラメータ;光電変換特性設定値)が設定(採用)される。変化区間842の場合の変曲点変化量の変化制御(鈍感制御)も同様に行われる。なお、上記変化量変分ΔCVthとは、変曲点変化量(ΔVth)を、図26の符号814に示すように所定変化量ずつ段階的に変化させる場合の当該所定変化量のことを示したものである。
図28は、図25における鈍感制御に関する、ダイナミックレンジ制御時の変曲点変化量の設定におけるフローの一例を示すフローチャートである。先ず、現在設定されている変曲点変化量(当該変曲点変化量に基づいて算出された光電変換特性設定値)で動画撮影された画像(フレーム画像;評価画像)から得られたAE評価値に基づいて、ダイナミックレンジ設定用の被写体輝度(輝度Lm20)でのセンサ出力が、所望の出力レベル(撮像センサ30の飽和出力レベルVmax)となるような、変曲点変化量ΔVthが算出される(図18(b)での説明参照)(ステップS51)。そして、この算出された変曲点変化量ΔVthが、変曲点変化量が増大する場合の鈍感制御開始に対する所定の閾値であるΔVthTh1より大きいか否かがレベル判定部530によって判別され、ΔVthTh1より大きいと判別された場合には(ステップS52のYES)、変化量変分ΔCVthを用いての変曲点変化量の変化制御が開始され、当該変化量変分ΔCVthだけ変化された(変曲点変化量ΔVthTh1から変化しない場合も含む)変曲点変化量が算出される(ステップS53)。なお、この変化量変分ΔCVthを用いての変曲点変化量の変化制御によって得られた変曲点変化量のことを、変曲点変化量ΔVth’とする。また、ΔVthTh1より大きいと判別された場合の変曲点変化量の変化制御における変化量変分ΔCVthのことを、変化量変分ΔCVth1とする。
そして、この変化制御に基づいて算出された変曲点変化量ΔVth’から算出された光電変換特性設定値の設定が行われ、撮像センサ30が当該設定に応じた光電変換特性(ダイナミックレンジ)で駆動される(ステップS54)。ただし、上記算出された変曲点変化量が、ΔVthTh1から変化量変分ΔCVth1分だけ増加させた変曲点変化量未満となる場合には、ΔVthTh1の値がこの時点での変曲点変化量ΔVth’として用いられる。
次に、上記ステップS54における変曲点変化量ΔVth’(光電変換特性設定値)にて駆動されている状態で次の撮影が行われ、この撮影画像から取得したAE評価値に基づいて変曲点変化量(光電変換特性設定値)が算出される(ステップS55)。そして、このステップS55において算出された変曲点変化量ΔVthが、鈍感制御終了に対する所定の閾値であるΔVthTh10より小さいか否かがレベル判定部530によって判別され、ΔVthTh10より小さくないと判別された場合には(ステップS56のNO)、ステップS53に戻って、変曲点変化量ΔVth’が算出され、変曲点変化量の変化制御が継続される。ΔVthTh10より小さいと判別された場合には(ステップS56のYES)、当該鈍感制御が終了され、通常の制御で得られる変曲点変化量ΔVthに基づいて光電変換特性の設定が行われる(ステップS62)。撮影が終了されなければ(ステップS63のNO)、ステップS51に戻って上記の処理を繰り返し、撮影が終了する場合は(ステップS63のYES)、フロー終了となる。
一方、上記ステップS52において、ステップS51で算出された変曲点変化量ΔVthがΔVthTh1より大きくないと判別された場合には(ステップS52のNO)、ステップS57に移り、同変曲点変化量ΔVthが、変曲点変化量が減少する場合の鈍感制御開始に対する所定の閾値であるΔVthTh2より小さいか否かがレベル判定部530によって判別され、ΔVthTh2より小さいと判別された場合には(ステップS57のYES)、上記ステップS53の場合と同様に、変化量変分ΔCVth2(ΔVthTh2より小さいと判別された場合の変曲点変化量の変化制御における変化量変分ΔCVthのことを、変化量変分ΔCVth2とする)を用いての変曲点変化量の変化制御が開始され、当該変化量変分ΔCVth2だけ変化された(変曲点変化量ΔVthTh2から変化しない場合も含む)変曲点変化量ΔVth’が算出され(ステップS58)、この変曲点変化量ΔVth’から算出された光電変換特性設定値の設定が行われ、撮像センサ30が当該設定に応じた光電変換特性(ダイナミックレンジ)で駆動される(ステップS59)
そして、上記ステップS59における変曲点変化量ΔVth’(光電変換特性設定値)にて駆動されている状態で次の撮影が行われ、この撮影画像から取得したAE評価値に基づいて変曲点変化量(光電変換特性設定値)が算出され(ステップS60)、このステップS60において算出された変曲点変化量ΔVthが、鈍感制御終了に対する所定の閾値であるΔVthTh20より大きいか否かがレベル判定部530によって判別され、ΔVthTh20より大きくないと判別された場合には(ステップS61のNO)、ステップS58に戻って、変曲点変化量ΔVth’(光電変換特性設定値)が算出され、変曲点変化量の変化制御が継続される。ΔVthTh20より大きいと判別された場合には(ステップS61のYES)、当該鈍感制御が終了され、上記ステップS62における光電変換特性の設定が行われる。撮影が終了されなければ(上記ステップS63のNO)、ステップS51に戻って上記の処理を繰り返し、撮影が終了する場合には(上記ステップS63のYES)、フロー終了となる。
なお、上記ステップS57において、変曲点変化量ΔVthがΔVthTh2より小さくないと判別された場合には(ステップS57のNO)、すなわち、変曲点変化量ΔVthが変化したとしても、この変曲点変化量ΔVthがΔVthTh1より大きくならず、且つΔVthTh2より小さくならなければ、鈍感制御が開始されず、ステップS51に戻って通常の変曲点変化量算出に基づくダイナミックレンジ制御が継続される。
以上、AE制御を中心に説明したが、実際のデジタルカメラ1においては、AF制御やWB制御等も行われる。AF制御の場合も同様に、撮像センサ30の撮影画像から取得したAF評価値に基づいて制御を行うことができる。例えば、図14に示した主被写体領域331のO、P、U及びVブロックから検出される輝度ヒストグラムを活用し、評価値検出部405にて隣接輝度とのコントラストが最大となるポイントを求める所謂「山登り法」等によってAF評価値を算出することができる。この場合、撮像センサ30の線形特性領域及び対数特性領域の各々からAF評価値を検出し、それぞれの特性領域の特徴を生かし、例えば対数特性領域から得られるAF評価値を、AF制御に際しての粗測距用として用い、また線形特性領域から得られるAF評価値を、詳測距用として用いるようにすることが望ましい。
このようにして評価値検出部405で検出されたAF評価値は、全体制御部50のAF制御パラメータ算出部513へ送られる。AF制御パラメータ算出部513は、該AF評価値に応じたAF制御パラメータを算出し、これをズーム/フォーカス制御信号発生部523へ送信する。該ズーム/フォーカス制御信号発生部523にて、入力されたAF制御パラメータに応じた制御信号が生成され、これがズーム/フォーカス駆動部62へ送信される。そして、ズーム/フォーカス駆動部62により前記制御信号に応じた駆動信号が生成され、該駆動信号により鏡胴20のレンズ群21がフォーカス駆動されるものである。
またWB制御についても、撮像センサ30の撮影画像から取得したWB評価値に基づいて制御を行うことができる。この場合も、撮像センサ30の線形特性領域及び対数特性領域の各々からWB評価値を検出することが望ましい。すなわち、撮影画像に基づきニュートラルな画像によるWB評価値検出を行うものとし、前記ニュートラル画像として線形特性領域と対数特性領域との2種類の画像に基づき、各RGBレベル(R−Log,G−Log,B−Log,R−Lin,G−Lin,B−Lin)を検出するよう構成することが望ましい。評価値検出部405はこのようなWB評価値を検出し、該WB評価値をホワイトバランス制御部406へ送り、ホワイトバランス制御部406により適宜な色バランスとなるようホワイトバランス補正が行われるものである。
以上のように、本実施形態の撮像装置(デジタルカメラ1)によれば、全体制御部50(動画像撮影手段)によって動画像撮影が行われ、動画像を構成するフレーム画像から得られる被写体の輝度情報に基づいて評価値検出部405によりAE評価値が検出され、このAE評価値を用いて、光電変換特性に基づき、露光量制御パラメータ算出部511(露光量制御手段)による露光量制御が行われると共にダイナミックレンジ制御パラメータ算出部512(ダイナミックレンジ制御手段)によるダイナミックレンジ制御が行われることによってAE制御が行われる。変化制御部5111は、このAE評価値に基づいて全体制御部50(露出制御手段)によって算出された、露光量又はダイナミックレンジを制御するための所定の制御値が所定レベルに達する場合、すなわち、所定レベルとなる場合又は所定レベルを超える場合に、当該制御値を所定変化量ずつ段階的に変化させる変化制御を行う。
このように、撮像装置が備える撮像センサ30の光電変換特性と関連付けて、露光量制御パラメータ算出部511による露光量制御とダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御とが可能となると共に、露光量又はダイナミックレンジを制御するため制御値が、所定レベル例えば通常の撮影時のレベルに対してより高いレベルに到った場合に、実際に得られる制御値が急激(頻繁)に変化(変動)した場合であっても、この変化をそのまま実際の露出制御に反映するのではなく、当該制御値を所定変化量ずつ段階的に変化させるという制御値の変化制御(鈍感制御)が可能となるため、被写体輝度に応じて被写体を最適な露光状態で且つ所定のダイナミックレンジを確保した状態で撮像することができ、さらには、動画像撮影中において、被写体輝度が急激に或いは頻繁に変化した場合でも、これに応じた急激(頻繁)な露出変化が発生することを回避して撮影露出状態を滑らかに制御することができ、より最適な露出制御を行うことが可能となる。
また、変化制御部5111による制御値(増幅率Gain又は変曲点変化量ΔVth)の変化制御では、段階制御値(Gain’又はΔVth’)に基づいて算出した制御値のレベルに追従させる(この制御値のレベルに段階的に徐々に近づける)べく、段階制御値を所定変化量(ΔGain又はΔCVth)だけ変化させて新たな段階制御値(Gain’又はΔVth’)を設定(算出)する、すなわち、段階制御値(図26に示す例えば変化点817)に基づいて仮の制御値(例えば変化点817に対する変化点818)を算出し、この仮の制御値を参考にして新たな段階制御値(変化点819)を設定するということを順次繰り返すことにより、制御値を段階的に変化させる方法が採られるため、撮影露出状態の上記滑らかな制御をより簡易な構成で実現することができる。
また、レベル判定部530により、動画像撮影に伴い経時変化する制御値(増幅率Gain又は変曲点変化量ΔVth)が第1の閾値に達したと判別された場合には、変化制御部5111によって変化制御が開始され(変化制御が実行され)、当該制御値が第2の閾値に達したと判別された場合には当該変化制御が終了される。このように変化制御が、第1の閾値に達するまでは開始されず、また、第1の閾値に達してから第2の閾値に達するまで実行される、というように所謂鈍感に変化制御を開始し、さらに(第1の閾値から第2の閾値に達するまでの間)当該変化制御によって制御値を鈍感に変化させるといった2段階構成による制御(鈍感制御)が行われるため、制御値のレベルが上がると直ちに変化制御が開始されてしまうといったことなく、当該変化制御により、実際に求められる動画像撮影に即したより最適な撮影露出状態を得ることができる。
また、露光量を制御するための所定の制御値とは、露光量設定用の被写体輝度Lt1に対する撮像センサ30の出力レベルが前記線形特性領域(第1特性領域)において所定の目標出力レベルVtargetとなるよう露光量を変化させるための増幅率Gainであって、変化制御部5111は、レベル判定部530によって増幅率Gainが、GainTh1又はGainTh2(それぞれ第1の閾値)に達したと判別された場合に、当該増幅率Gainを増幅率変分ΔGain(ΔGain1、ΔGain2)により段階的に変化させる変化制御が開始され、レベル判定部530によって増幅率Gainが、GainTh10又はGainTh20(それぞれ第2の閾値)に達したと判別された場合に、当該変化制御が終了されるため、動画像撮影中において被写体輝度が急激に或いは頻繁に変化した場合でも、増幅率Gainに対する当該変化制御を行うことにより、急激(頻繁)な露光量変化の発生を防止でき、ひいてはより最適な露出制御を行うことが可能となる。
また、ダイナミックレンジを制御するための所定の制御値とは、ダイナミックレンジ設定用の被写体輝度Lm20に対する撮像センサ30の出力レベルが所定の飽和出力レベルVmaxとなるようダイナミックレンジを変化させるための、光電変換特性に対する変曲点変化量ΔVthであって、変化制御部5111は、レベル判定部530によって変曲点変化量ΔVthがΔVthTh1又はΔVthTh2(それぞれ第1の閾値)に達したと判別された場合に、当該変曲点変化量ΔVthを変化量変分ΔCVth(ΔCVth1、ΔCVth2)により段階的に変化させる変化制御が開始され、レベル判定部530によって変曲点変化量ΔVthがΔVthTh10又はΔVthTh20(それぞれ第2の閾値)に達したと判別された場合に、当該変化制御を終了されるため、動画像撮影中において被写体輝度が急激に或いは頻繁に変化した場合でも、変曲点変化量ΔVthに対する当該変化制御を行うことにより、急激(頻繁)なダイナミックレンジ(光電変換特性)変化の発生を防止でき、ひいてはより最適な露出制御を行うことが可能となる。
(別実施形態)
本実施形態では、上述した、ダイナミックレンジ制御の目標となる飽和出力レベルVmax及び露光量制御の目標となるセンサ出力レベルであるVtargetに所定の幅を持たせることにより制御値の鈍感制御を実現するものである。
本実施形態においても、露光量制御とダイナミックレンジ制御の狙いとする制御値はVtargetとVmaxであるが、本実施形態においては、ダイナミックレンジ制御用輝度Lmaxが、飽和出力レベルVmaxを含む所定レベル範囲(例えば、Vmax1〜Vmax2とする)内にあれば、制御値の変更が禁止され、ダイナミックレンジ制御が行われない。また、露光量制御用輝度Lt1が、Vtargetを含む所定レベル範囲(例えば、Vtarget1〜Vtarget2とする)内にあれば、やはり制御値の変更が禁止され、露光量制御が行われない。
各制御値が前記所定レベル範囲外にある場合は、通常のダイナミックレンジ制御及び露光量制御(すなわち鈍感制御でなく評価値を直接反映した制御)で行うこともできるし、先の実施形態で説明した鈍感制御で行うこともできる。いずれにしても、狙いとする制御値を含む所定レベル範囲内に制御値が存在する場合に露光量制御とダイナミックレンジ制御を禁止することで、結果的に鈍感制御を行うことができる。
すなわち、本実施形態の撮像装置によれば、全体制御部50(動画像撮影手段)によって動画像撮影が行われ、動画像を構成するフレーム画像から得られる被写体の輝度情報に基づいて評価値検出部405によりAE評価値が検出され、このAE評価値を用いて、光電変換特性に基づき、露光量制御パラメータ算出部511(露光量制御手段)による露光量制御が行われると共にダイナミックレンジ制御パラメータ算出部512(ダイナミックレンジ制御手段)によるダイナミックレンジ制御が行われることによってAE制御が行われる。そして、このAE評価値に基づいて全体制御部50(露出制御手段)によって算出された露光量又はダイナミックレンジを制御するための所定の制御値が所定レベル範囲内にある場合には、変化制御部5111によって当該所定レベル範囲内にある制御値の変化を禁止させる制御が行われる。
このように、撮像装置が備える撮像センサ30の光電変換特性と関連付けて、露光量制御パラメータ算出部511による露光量制御とダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御とが可能となると共に、当該所定レベル範囲を、例えば狙いとする制御値を含む範囲として設定しておけば、露光量又はダイナミックレンジを制御するための制御値が、このレベル範囲において維持される(急激且つ頻繁に変化しない)ようになり、結果的に鈍感制御が行われることになるため、被写体輝度に応じて被写体を最適な露光状態で且つ所定のダイナミックレンジを確保した状態で撮像することができ、さらには動画像撮影中において、狙いとする露出状態(露光量、ダイナミックレンジ)から外れるように(急激に或いは頻繁に)被写体輝度が変化して、望ましくない露出状態へ直ちに移行してしまうといったことが回避され、ひいては最適な(滑らかな)露出制御を行うことが可能となる。
なお、本発明は、以下の態様をとることができる。
(A)上記実施形態では、撮像センサ30の各画素において、PチャンネルMOSFETを採用しているが、NチャンネルMOSFETを採用してもよい。
(B)上記実施形態では、撮像センサ30によって被写体輝度を検出しているが、撮像センサ30とは別に設けた測光素子(被写体の輝度を複数の受光素子にて分割して測光する素子)等を用いて被写体輝度(AE評価値)を検出するようにしてもよい。ただし、機構の簡略化の観点からは撮像センサ30により撮像される実際の撮影画像から得られる画像信号に基づいて被写体輝度(AE評価値)を検出することが望ましい。
(C)上記実施形態では、シャッタ23及び撮像センサ30によって露光時間を制御する構成であるが、シャッタ23及び撮像センサ30のいずれか一方のみで露光時間を制御する構成としてもよい。
(D)上記実施形態では、露光時間T2及び絞りの開口面積S2をLUTによるデータ変換により得られた撮像センサ30やシャッタ23、絞り22に対する設定値を、それぞれ露光時間設定値及び絞り設定値としているが、増幅率Gt、Gs(又はT露光時間T2、絞りの開口面積S2)を、それぞれ露光時間設定値及び絞り設定値としてもよい。同様に、変曲点の出力レベルVth2(又はΔVth)を光電変換特性設定値としてもよい。
(E)上記実施形態では、評価値算出用の画像データとしてRGB原色データを用いているが、その他の画像データ、例えば捕色画像データ、モノクロ輝度データ等を用いてもよい。
(F)撮像領域330の分割(領域分割)は、分割測光方式による分割でなくともよく、例えばスポット測光方式或いは中央部部分測光方式等、いずれの方式によってもよい。また、撮像領域330の主被写体領域331及び周辺被写体領域332のブロック構成は、図15に示すような構成でなくともよい。また、当該ブロック毎に評価値を算出しているが、主被写体領域331と周辺被写体領域332との2つの領域(2ブロック;各領域を1ブロックとする)における評価値を算出する構成であってもよい。また、撮像領域330を主被写体領域331及び周辺被写体領域332といった2つの領域に分けるのではなく、3つ以上の領域に分け、当該各領域(のブロック)での輝度情報から評価値を算出し、これに基づくAE制御を行う構成としてもよい。或いは撮像領域を分けずに当該1つの撮像領域に対して同様に評価値を算出してAE制御を行う構成としてもよい、さらに、撮像領域30の上述のような各領域(ブロック)の領域設定を、ユーザの操作指示に応じて随時行う構成であってもよい。
(G)鈍感制御(変化制御)の開始レベルを、鈍感制御の終了レベルと同じレベルとして当該鈍感制御を行う構成としてもよい。例えば図24においては、GainTh1とGainTh10とを(GainTh2とGainTh20とを)同じレベルとしてもよい。
(H)鈍感制御用の露光量又はダイナミックレンジを制御するための制御値として、増幅率Gainや変曲点変化量ΔVth以外のパラメータを用いてもよい。
(I)上記実施形態においては、入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とを含む光電変換特性を示す撮像センサを用いている。このような撮像センサは非常にダイナミックレンジが広く、しかもMOSトランジスタのサブスレッショルド特性を利用することにより、比較的に容易に上記のような光電変換特性を持つ画素出力を発生するセンサを実現することができ好ましいものであるが、本発明はこれに限られるものではなく、入射光量に対する出力の変化が互いに異なる2つの特性領域を含む撮像センサであれば種々のものを用いることができる。例えば、第1の線形特性領域と、これより入射光量に対する出力の変化が小さい第2の線形特性領域とを含む光電変換特性を持つ撮像センサであってもよい。
(J)上記実施形態では、増幅率や変曲点変化量が閾値を超えたときに制御値の変化制御を行うようにしているが、増幅率及び変曲点変化量のいずれか一方又は両方が閾値以上となる場合に制御値の変化制御を行うようにしても構わない。