JP2007329687A - 撮像装置及びその制御方法並びに撮像システム - Google Patents

Abstract

【課題】 発光に基づき撮像した画像の一部分を読み出して画像を生成する際に、適切なホワイトバランス処理を行うことが可能な撮像装置及びその制御方法並びに撮像システムを提供すること。
【解決手段】 撮像装置は、撮像面に複数の光電変換素子が配置された撮像素子４と、発光を行うストロボ６１と、撮像素子４及びストロボ６１を制御するＭＰＵ１４と、を備える。ＭＰＵ１４は、前記撮像面の第１の領域に配置された第１の光電変換素子群から画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さい第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードとを有し、前記第２のモードでストロボを用いて撮像を行う場合、前記第１のモードで前記第１の領域から読み出した画像信号に基づいて、前記第２のモードで前記第２の領域から読み出した画像信号に対するホワイトバランス処理用の補正値を算出する。
【選択図】 図５

Description

本発明は、撮像装置に関し、特に、ＣＭＯＳイメージセンサを用いて電子ズームを行う際に、ストロボを用いて撮像される撮像画像のホワイトバランス処理の精度向上に関する。

従来、固体撮像素子として、ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサが広く用いられている。ＣＣＤイメージセンサでは、画素内に配置された光電変換素子で光を信号電荷に変換し、その信号電荷を全画素から同時にＣＣＤに読み出して転送し、転送された信号電荷を電気信号に変えて出力する。一方、ＣＭＯＳセンサでは、画素内に配置された光電変換素子で光を信号電荷に変換し、その信号電荷を画素ごとに増幅して出力する。ＣＭＯＳイメージセンサは、任意の画素領域における光電変換素子の画像信号を選択的に読み出すことができる点で、全画素領域における光電変換素子の画像信号を同時に読み出すＣＣＤイメージセンサにはない特徴を有する。

図１は、ＣＭＯＳイメージセンサの上記の特徴を利用した電子ズーム動作の概念図である。図１（ａ）は通常モード時の読出しを示す図であり、図１（ｂ）は２倍のズーム率のズームモードにおける読出しを示す図である。図１（ａ）、図１（ｂ）において、２０１はＣＭＯＳイメージセンサを有する画素が、格子状に配置された撮像部を示す。図１（ａ）、図１（ｂ）では、１０×１０の画素が例示的に示されているが、これに限定されず、任意の数の画素を配置することができる。

図１（ａ）に示すように、通常モード時では、８×８画素を表す太枠の範囲内では、１画素置きに４×４画素の信号を読み出す間引き率が２の読出しを行う。これに対し、ズームモード時では、８×８画素を表す太枠の範囲内の中央の連続した４×４画素を読み出す。この場合には、間引き率が１の読出しを行い、太枠範囲内の中央部分を拡大して表示させることができる。ズームモード時に読み出す画素数は、通常モード時と同じであり、信号処理により、画素数を増加させる必要がない。そのため、電子ズーム時の画質を高画質にすることができる。

次に、これらのイメージセンサを用いて撮像される撮像画像に対するホワイトバランス処理について説明する。従来のホワイトバランス係数の算出は、以下のように行われている。

まず、原色フィルタを通して入射した光は、撮像部で光電変換素子で電気信号に変換されて出力される。この出力された電気信号は、ＡＤ変換によりデジタル化され、例えば、図２（ａ）に示すブロックに分割される。各ブロックは、図２（ｂ）に示すように、色信号Ｒ、Ｇ１、Ｇ２、Ｂを１つずつ含む単位で構成される。これらのブロックのそれぞれに対して、数式１に基づいて色評価値Ｃｘ、Ｃｙ、Ｙｉを算出する。

…（数式１）
図３は、横軸をＣｘ、縦軸をＣｙとした色空間を示す図である。図３では、予め高色温度から低色温度までの白色を撮影し、色評価値Ｃｘ、Ｃｙをプロットすることにより定められる白軸が表されている（例えば、特許文献１参照）。実際の光源において、白色には若干のばらつきが存在する。例えば、太陽光などの高色温度の光源下における白色の色評価値は、図３の領域Ａに示すように分布する。一方、白色タングステンなどの低色温度の光源下における白色の色評価値は、図３の領域Ｂに示すように分布する。そのため、白軸を中心として幅を持たせた範囲を白検出範囲（白と判断すべき領域）している。各ブロックについて算出された色評価値Ｃｘ、Ｃｙは、図３にプロットされる。これらのうち、白検出範囲に含まれる色評価値を持つブロックを白色であるとする。そして、白検出範囲に入った色画素の積分値ＳｕｍＲ、ＳｕｍＧ１、ＳｕｍＧ２、ＳｕｍＢを算出し、サンプル数Ｎから、数式２に基づいて平均値ＡｖｅＲ、ＡｖｅＧ１、ＡｖｅＧ２、ＡｖｅＢ、ＡｖｅＹｉを算出する。

…（数式２）
そして、数式３に基づいてホワイトバランス係数を算出する。ただし、ｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ１、ｋＷＢ＿Ｇ２、ｋＷＢ＿Ｂは、それぞれ色信号Ｒ、Ｇ１、Ｇ２、Ｂのホワイトバランス係数である。

…（数式３）
図３の白軸は、白色の色温度によって定められるため、白色の色温度が判明している場合には、その色温度に対応する白軸上のホワイトバランス係数が特定される。同様に、光源特性に応じた色温度やホワイトバランス係数も特定される。

次に、ＣＭＯＳイメージセンサにおいて、ストロボ撮影を行う際に、電子ズーム動作を行う場合の一連のシーケンスについて説明する。図４は、電子ビューファインダを表示した状態から、不図示のレリーズボタンが押されて本露光が行われるまでの、一連のシーケンスにおける画像読み出し領域を示す図である。５０５は一連の処理シーケンスの時間方向を示している。

５０１はレリーズボタンが半押しされるタイミングを示す。レリーズボタンが半押しされるまでは、電子ビューファインダが表示されている。電子ズーム時の電子ビューファインダ表示では、ＣＭＯＳイメージセンサの場合、読み出し速度を考慮した上で画質（解像度）を優先する。すなわち、露光領域全画角５０６、５０８のうち、表示解像度に適したサイズの部分領域５０７、５０９で間引き読み出しが行われる。

レリーズボタンが半押しされると（５０１）、合焦処理及び適正露出処理が行われる。合焦処理及び適正露出処理においても、同様にして、露光領域全画角５１０のうち、電子ズーム倍率に応じた部分領域５１１で間引き読み出しが行われる。合焦処理及び露出処理が終了すると、このときのフォーカス及び露出条件下で、電子ビューファインダの表示に戻る。この際も、露光領域の全画角５１２のうち、電子ズーム倍率に応じた部分領域５１３で間引き読み出しが行われる。

撮影シーケンスは、レリーズボタンが全押しされるタイミング（５０２）から開始する。レリーズボタンが全押しされると（５０２）、電子ズーム倍率に応じた部分領域５１５で間引き読み出しＡ０を行う。次いで、同様にして、部分領域５１７で間引き読み出しＢ０を行う。次いで、ストロボの仮発光（５０３）を行うとともに同様の部分領域５１９で間引き読み出しＢ０を行う。部分領域間引き読み出しＢ０で読み出した部分領域５１７の画像データと、部分領域間引き読み出しＣ０で読み出した部分領域５１９の画像データとにより算出される本発光量に基づいて、本発光（５０４）を行うとともに本露光を行う。このとき、電子ズーム倍率に応じた間引き無しの部分領域読み出しＤ４を行う。なお、５１４、５１６、５１８、５２０は、それぞれ５１５、５１７、５１９、５２１の部分領域に対する露光領域の全画角を示している。

上記のストロボ撮影を行う際の電子ズーム動作では、本露光の画角と同画角でホワイトバランス処理が行われる。具体的には、まず本露光の画角に合わせた部分領域５２１に対して白サーチを行い、外光用色温度を算出する。次いで、本露光の画角に合わせた部分領域５２１に対して外光用光量を算出する。次いで、本露光データからストロボ用色温度とストロボ用光量を算出する。最後に、外光用色温度、ストロボ用色温度、外光用光量とストロボ用光量との光量比からホワイトバランス係数を算出する。
特開２００３−２４４７２３号公報

しかしながら、ストロボ撮影を行う際の電子ズーム動作において、本露光の画角と同画角でホワイトバランス処理を行った場合、色温度のサンプルが電子ズーム時の部分領域の画角に限定される。そのため、例えば、人物を被写体として顔などの人肌がアップとなるようなシーンでは、肌色が低色温度での白色であると誤判別する場合がある。結果として、人肌が白色になるなど、ホワイトバランス処理の精度が低下してしまうという問題があった。

本発明は、発光に基づき撮像した画像の一部分を読み出して画像を生成する際に、適切なホワイトバランス処理を行う場合の問題に鑑みてなされたものであり、そのような場合においても適切なホワイトバランス処理を行うことを目的とする。

本発明の第１の側面は、撮像装置に係り、撮像面に複数の光電変換素子が配置された撮像部と、発光を行う発光部と、前記撮像部及び前記発光部を制御する制御部と、を備え、前記制御部は、前記撮像面の第１の領域に配置された第１の光電変換素子群から画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さい第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードとを有し、前記第２のモードで前記発光に基づき撮像を行う場合、前記第１のモードで前記第１の領域から読み出した画像信号に基づいて、ホワイトバランス処理用の補正値を算出するとともに、前記発光に基づく撮像により得られる画像信号を前記第２の領域から読み出し、読み出した前記第２の領域の画像信号に対し、前記補正値に基づいてホワイトバランス処理を行うことを特徴とする。

本発明の第２の側面は、撮像システムに係り、光学系と、上記の撮像装置と、を備えることを特徴とする。

本発明の第３の側面は、撮像装置の制御方法に係り、撮像面の第１の領域に配置された第１の光電変換素子群から画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さい第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードとを含み、前記第２のモードで発光に基づき撮像を行う場合、前記第１のモードで前記第１の領域から読み出した画像信号に基づいて、ホワイトバランス処理用の補正値を算出するとともに、前記発光に基づく撮像により得られる画像信号を前記第２の領域から読み出し、読み出した前記第２の領域の画像信号に対し、前記補正値に基づいてホワイトバランス処理を行うように制御することを特徴とする。

本発明によれば、発光に基づき撮像した画像の一部分を読み出して画像を生成する際に、適切なホワイトバランス処理を行うことが可能な撮像装置及びその制御方法並びに撮像システムを提供することができる。

本発明の好適な実施形態について、図面を参照しながら詳細に説明する。
（第１の実施形態）
図５は、本発明の好適な第１の実施形態に係る撮像装置のシステム構成を示す図である。被写体からの光は、絞り羽根１を通り、レンズ２によりフィルタ群３を介して撮像素子４へ結像される。フィルタ群３は、モアレ等を防ぐために光の高域をカットする光学ローパス・フィルター、色補正フィルタ及び赤外線をカットするためのフィルタ等が組み合わされている。撮像素子４で生成された信号は、アドレス指定部８からの信号により、Ｘアドレス選択部６及びＹアドレス選択部５により画素が選択され、タイミング調整部７により選択された画素の信号が読み出される。タイミング調整部７は、撮像素子４からの１つ又は複数の出力のタイミング調整を行う。タイミング調整部７から出力された信号は、ＡＧＣ（オートゲインコントロール）１０によりゲインが調整され、Ａ／Ｄ変換器１１でデジタル信号に変換される。カメラＤＳＰ１２は、動画又は静止画の画像処理を行う。ＭＰＵ１４は、撮像装置の各部の制御を実行する。ＡＦ処理は、フォーカス・モーター５１により不図示のフォーカス・レンズを前後に動かすことによって行われる。画像処理時の一時的な記憶領域としてＤＲＡＭ１３が用いられ、不揮発性の記憶領域として画像記録媒体１８が用いられる。画像記録媒体１８としては、例えば、スマート・メディア、磁気テープ又は光ディスク等が挙げられる。画像処理後の表示を行うために、ビデオエンコーダ１５及びＣＲＴ１６が設けられている。ビューファインダ１７は、例えば、ＬＣＤを用いて画像記録媒体１８に記憶する前に、被写体像を確認するために用いられる。これらの出力装置は、ＣＲＴ１６、ビューファインダ１７に限定されず、プリンタ等を用いてもよい。操作部６０は、レリーズボタンなどの各種のボタン、モード設定を行うボタンやモードダイヤルなどを含む。表示領域指定部１９は、ユーザによる操作部６０の操作によりビューファインダ１７に表示される表示領域を指定する。６１は、発光を行うストロボである。

次に、本実施形態の好適な実施形態に係る撮像素子の動作について説明する。図６において、１５０は光電変換素子としてのフォトダイオード（以下「ＰＤ」という。）である。１５８はＰＤ１５０で蓄積された電荷を、増幅ＭＯＳトランジスタ１６０のゲートを浮遊構造としたフローティング・デフュージョン（以下「ＦＤ」という。）に転送するための電位障壁操作用転送ゲートのＭＯＳトランジスタである。１５７はＰＤ１５０の電荷をリセットするためのリセットＭＯＳトランジスタである。また、増幅ＭＯＳトランジスタ１６０には、ライン選択用のＭＯＳトランジスタ１５９が接続されている。これらのＭＯＳトランジスタのゲートは、それぞれＰＤ１５０の電荷を転送するための転送信号線１５３、ＦＤ１５８をリセットするためのリセット信号線１５６及び選択信号線１５２に接続されている。ＰＤ１５０に蓄積された電荷は、リセット信号線１５６によりリセットトランジスタ１５７がオンしてリセットされたＦＤ１５８へ、転送信号線１５３により選択されたＭＯＳトランジスタ１５８を通して転送される。ＦＤ１５８に転送された電荷は、選択信号線１５２により選択された選択ＭＯＳトランジスタ１５９を介してソースフォロワＭＯＳトランジスタ１６０で増幅され、読み出し線１５４へ読み出される。

図７は、図６に示された画素を複数配列した画素部と読み出し回路とを示す回路構成図である。図７では簡易化のために２×２画素が示されているが、画素数はこれに限定されない。

非加算制御の場合には、ＰＤ１５０−１の電荷は、ＭＯＳトランジスタ１６１−１が信号線１６９により導通されることにより、容量１６２−１へ蓄積される。ＰＤ１５０−２の電荷は、信号線１５６−１、１５３−１、１５２−１及び１６９によるＰＤ１５０−１の読み出し制御の際に、容量１６４−１へ読み出される。信号線１６７と信号線１６８とを交互にオンすることにより、ＰＤ１５０−１及びＰＤ１５０−２の撮像信号は、順次増幅器１６９を通して読み出される。垂直方向への動作は、１５６−２、１５３−２、１５２−２の制御から、上記と同様の動作により行われる。

次に、加算制御の場合には、図７に示される信号線１５６−１、１５３−１、１５２−１及び１６９により、ＰＤ１５０−１及びＰＤ１５０−２の電荷が、それぞれ容量１６２−１、１６４−１へ蓄積される。続いて、信号線１５６−２、１５３−２、１５２−２及び１７０により、ＰＤ１５０−３及びＰＤ１５０−４の電荷が、それぞれ容量１６２−２及び１６４−２へ蓄積される。その後、信号線１６７と信号線１６８とを同時にオンすると、ＰＤ１５０−１、ＰＤ１５０−２、ＰＤ１５０−３及びＰＤ１５０−４の電荷を加算した撮像信号が、増幅器１６９を通して読み出される。また、ＰＤ１５０−１及びＰＤ１５０−４の信号の電荷を容量１６２−１及び容量１６４−１へ蓄積し、その後、信号線１６７と信号線１６８とを同時にオンすると、ＰＤ１５０−１及びＰＤ１５０−４の電荷を加算した撮像信号が、増幅器１６９を通して読み出される。上述した制御手段により、非加算及び加算の動作を行うことができる。

次に、本発明の好適な実施形態に係る処理シーケンスについて説明する。図８は、電子ズーム倍率が１倍より大きく、かつ、ストロボ撮影を行う場合のシーケンスを示す図である。９０４は一連の処理シーケンスの時間方向を示している。９０１はレリーズボタンが全押しされたときのタイミングを示す。一連の処理は、レリーズボタンの操作により開始される。

まず、全画間引き読み出しＡ１を行い、全画角９０５における画像データをメモリ６１３に記憶する。次いで、電子ズーム倍率に応じた部分領域間引き読み出しＢ１を行い、全画角９０６の部分領域９０７における画像データをメモリ６１３に記憶する。次いで、ストロボ６１の仮発光９０２を行うとともに電子ズーム倍率に応じた部分間引き読み出しＣ１を行う。そして、全画角９０８の部分領域９０９における画像データをメモリ６１３に記憶する。メモリ６１３に記憶された、部分領域９０７における画像データと部分領域９０９における画像データとに基づいて決定される本発光量によって、本発光（９０３）を行うとともに本露光を行う。本露光時には、電子ズーム倍率に応じた部分読み出しＤ１を行い、全画角９１０の部分領域９１１における画像データ（本画像の画像データ）を得る。

以上のような処理シーケンスにおける一連の処理フローを図９に示す。これらの処理は、図５に示すＭＰＵ１４により実行される。

ステップＳ１００１では、ユーザにより操作部６０のレリーズボタンが全押しされる。

ステップＳ１００２では、現在のモードがストロボ撮影モードに設定されているか否かを判断される。ストロボ撮影モードに設定されていない場合には（ステップＳ１００２で「ＮＯ」）、ステップＳ１００３に進み、通常撮影のシーケンスへ移行する。ストロボ撮影モードに設定されている場合には（ステップＳ１００２で「ＹＥＳ」）、ステップＳ１００４で図８の全画角間引き読み出しＡ１が行われ、全画角９０５における画像データがメモリ６１３に記憶される。そして、ストロボ６１の本発光量を算出するための処理が行われる。

ステップＳ１００５では、図８の仮発光（９０２）を行うために、露出がアンダーの状態に変更される。

ステップＳ１００６では、露出がアンダーの状態で外光による露光が行われる。そして、図８の電子ズーム倍率に応じた部分領域間引き読み出しＢ１が行われ、全画角９０６の部分領域９０７における画像データがメモリ６１３に記憶される。

ステップＳ１００７では、図８の仮発光（９０２）が行われるとともに露光が行われ、図８の電子ズーム倍率に応じた部分領域間引き読み出しＣ１が実行される。そして、全画角９０８の部分領域９０９における画像データがメモリ６１３に記憶される。

ステップＳ１００８では、メモリ６１３に記憶した部分領域９０７における画像データから外光の測光が行われ、部分領域９０９における画像データから仮発光時の測光が行われる。これらの比率と露出条件に基づいて本発光量が算出される。

ステップＳ１００９では、ステップＳ１００８で算出された発光量でストロボ発光が行われるとともに本露光が行われ、図８の電子ズーム倍率に応じた部分読み出しＤ１が行われる。

ステップＳ１０１０では、全画角９０５における画像データ及び部分領域９１１における画像データを用いて、色温度が算出され、ホワイトバランス係数が算出される。ステップＳ１０１０の処理については、図１０を用いて後述する。

ステップＳ１０１１では、ステップＳ１０１０で算出したホワイトバランス係数を用いて、部分領域９１１の画像データ（本画像の画像データ）に対してホワイトバランス処理が行われる。

ステップＳ１０１２では、ステップＳ１０１１で画像処理した画像データに対する画像ファイルが作成される。

ステップＳ１０１３では、画像記録媒体１８に画像ファイルが保存される。

図１０は、図９のステップＳ１０１０に示すホワイトバランス係数の算出方法を示す詳細な処理フローである。

ステップＳ１１０１では、図８の全画角９０５における画像データに基づいて白色の色温度（外光用色温度）Ｃｄが算出される。全画角９０５の領域に対して白色サンプルを評価した上で白色の色温度Ｃｄを算出するため、部分領域読み出しにより人物の顔の領域が多くを占めるような場合でも、ホワイトバランス処理の精度の低下を防止できる。

ステップＳ１１０２では、図８の全画角９０５のうち、電子ズーム倍率に応じた部分領域９１２に基づいて外光の光量Ｙｄが算出される。なお、部分領域９１２は、本露光時の電子ズーム倍率に応じた部分読み出しＤ１にける部分領域９１１と同画角である。

ステップＳ１１０３では、図８の部分領域９１１における画像データに基づいてストロボ用色温度Ｃｓが算出される。

ステップＳ１１０４では、図８の部分領域９１１における画像データに基づいてストロボ用光量Ｙｓが算出される。

ステップＳ１１０５では、ステップＳ１１０２で算出した外光の光量Ｙｄと、ステップＳ１１０４で算出したストロボ用光量Ｙｓとの光量比に基づいて、外光用色温度Ｃｄ及びストロボ用色温度Ｃｓの補完処理が行われる。そして、本画像用の色温度Ｃが算出され、色温度Ｃに基づいてホワイトバランス係数ｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ１、ｋＷＢ＿Ｇ２、ｋＷＢ＿Ｂが算出される。

このように、図８に示すように電子ズーム倍率に応じた部分領域読み出しを行うと、被写体の領域が部分領域内の多くを占める場合でも、全画角９０５の領域に対する白色サンプルを評価した上で、白色の色温度Ｃｄを算出することができる。これにより、従来のように、電子ズーム倍率に応じた部分領域９１２内で白色サンプルを評価する場合よりも、広い領域で白色サンプルを評価し、ホワイトバランス係数を精度高く算出することができる。また、図１０のステップＳ１１０３において、図１１に例示的に示すストロボ発光量と色温度とを関連付けて記憶したテーブル（以下「ストロボ発光量−色温度テーブル」という。）を用いてもよい。図１１では、１０［μｓ］、２０［μｓ］、…、７５０［μｓ］の発光時間（発光量）［μｓ］に対応して、それぞれ６５００［Ｋ］、６５２０［Ｋ］、…、７８００［Ｋ］の色温度［Ｋ］が記憶されている。このように、ストロボ６１の発光時間（発光量）とストロボ用色温度Ｃｓとの関係は既知であるため、予めストロボ発光量−色温度テーブルを用意し、より精度高くストロボ用の色温度Ｃｓを算出することも可能である。

また、図１１のストロボ発光量−色温度テーブルに代えて、ストロボ発光量とホワイトバランス係数とを関連付けて記憶したテーブル（以下「ストロボ発光量−ホワイトバランス係数テーブル」という。）を用いてもよい。この場合、外光用ホワイトバランス係数、ストロボ用ホワイトバランス係数及び外光とストロボとの光量比に基づいて、ホワイトバランス係数ｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ１、ｋＷＢ＿Ｇ２、ｋＷＢ＿Ｂを算出する。

このように、第１の実施形態によれば、電子ズーム時の読み出し領域（部分領域）よりも大きな領域に対してホワイトバランス処理を行うことによって、ホワイトバランス処理の精度を向上させることができる。

（第２の実施形態）
図１２は、本発明の好適な第２の実施形態に係る処理シーケンスを説明する図である。図１２では、電子ズーム倍率が１倍より大きく、かつ、ストロボ撮影を行う場合のシーケンスを示す。第２の実施形態は、第１の実施形態ではストロボ撮影を４回の露光読み出しにより実行するのに対し、３回の露光読み出しにより実行する点で相違している。

図１２において、１３０４は一連の処理シーケンスの時間方向を示している。１３０１はレリーズボタンが全押しされるタイミングを示す。一連の処理はレリーズボタンの操作により開始される。まず、全画間引き各読み出しＡ２を行い、全画角１３０５における画像データをメモリ６１３に記憶する。次いで、ストロボ６１の仮発光（１３０２）を行うとともに電子ズーム倍率に応じた部分間引き読み出しＢ２を行う。そして、全画角１３０６の部分領域１３０７における画像データをメモリ６１３に記憶する。次いで、メモリ６１３に記憶された全画角１３０５の部分領域１３１０における画像データと、全画角１３０６の部分領域１３０７における画像データとに基づいて本発光量を算出する。そして、算出した本発光量で本発光（１３０３）を行うとともに本露光を行う。本露光時には、電子ズーム倍率に応じた部分読み出しＣ２を行い、全画角１３０８の部分領域１３０９における画像データ（本画像の画像データ）を得る。

以上のような処理シーケンスにおける一連の処理フローを図１３に示す。

ステップＳ１４０１では、ユーザにより操作部６０のレリーズボタンが全押しされる。

ステップＳ１４０２では、現在のモードがストロボ撮影モードに設定されているか否かが判断される。ストロボ撮影モードに設定されていない場合には（ステップＳ１４０２で「ＮＯ」）、ステップＳ１４０３に進み、通常撮影のシーケンスへ移行する。ストロボ撮影モードに設定されている場合には（ステップＳ１４０２で「ＹＥＳ」）、ステップＳ１４０４で図１２の全画角間引き読み出しＡ２が行われ、全画角１３０５における画像データがメモリ６１３に記憶される。次いで、ストロボ６１の本発光量を算出するための処理が行われる。

ステップＳ１４０５では、図１２の仮発光１３０２を行うために、露出がアンダーの状態に変更される。

ステップＳ１４０６では、露出がアンダーの状態で仮発光（１３０２）が行われるとともに露光が行われる。そして、図１２の電子ズーム倍率に応じた部分領域間引き読み出しＢ２が行われ、全画角１３０６の部分領域１３０７における画像データがメモリ６１３に記憶される。

ステップＳ１４０７では、メモリ６１３に記憶された全画角１３０５の部分領域１３１０から外光が測光される。さらに、仮発光用の露出アンダー分だけ測光量のゲインが下げられる。また、全画角１３０６の部分領域１３０７から仮発光時の測光が行われる。これらの測光結果の比率と仮発光時の露出条件に基づいて本発光量が算出される。

ステップＳ１４０８では、ステップＳ１４０７で算出した発光量でストロボ発光が行われるとともに本露光が行われ、図１２の電子ズーム倍率に応じた部分領域読み出しＣ２が行われる。

ステップＳ１４０９では、全画角１３０５における画像データ及び部分領域１３０９における画像データに基づいて色温度が算出され、ホワイトバランス係数が算出される。ステップＳ１４０９の処理については、図１４を用いて後述する。

ステップＳ１４１０では、ステップＳ１４０９で算出したホワイトバランス係数を用いて、部分領域１３０９における画像データ（本画像の画像データ）に対してホワイトバランス処理が行われる。

ステップＳ１４１１では、ステップＳ１４１０で画像処理した画像データに対する画像ファイルが作成される。

ステップＳ１４１２では、画像記録媒体１８に画像ファイルが保存される。

図１４は、図１３のステップＳ１４０９に示すホワイトバランス係数の算出方法を示す詳細な処理フローである。

ステップＳ１５０１では、図１２の全画角１３０５における画像データに基づいて白色の色温度（外光用色温度）Ｃｄが算出される。全画角１３０５の領域に対して白色サンプルを評価した上で白色の色温度Ｃｄを算出するため、部分領域読み出しにより人物の顔の領域が多くを占めるような場合でも、ホワイトバランス処理の精度の低下を防止できる。

ステップＳ１５０２では、図１２の全画角１３０５のうち、電子ズーム倍率に応じた部分領域１３１０に対して外光の光量Ｙｄが算出される。なお、部分領域１３１０は、本露光時の電子ズーム倍率に応じた部分読み出しＣ２にける部分領域１３０９と同画角である。

ステップＳ１５０３では、図１２の部分領域１３０９における画像データからストロボ用色温度Ｃｓが算出される。

ステップＳ１５０４では、図１２の部分領域１３０９における画像データからストロボ用光量Ｙｓが算出される。

ステップＳ１５０５では、ステップＳ１５０２で算出した外光の光量Ｙｄと、ステップＳ１５０４で算出したストロボ用光量Ｙｓとの光量比に基づいて、外光用色温度Ｃｄ及びストロボ用色温度Ｃｓの補完処理が行われる。そして、本画像用の色温度Ｃを算出し、色温度Ｃに基づいて、ホワイトバランス係数ｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ１、ｋＷＢ＿Ｇ２、ｋＷＢ＿Ｂが算出される。

図１４に示すホワイトバランス処理においても、第１の実施形態と同様にステップＳ１５０３において、図１１に示すストロボ発光量−色温度テーブルを用いることができる。また、第１の実施形態と同様に、図１１のストロボ発光量−色温度テーブルに代えて、ストロボ発光量とホワイトバランス係数とを関連付けて記憶したテーブルを用いてもよい。

このように、第２の実施形態によれば、ストロボの発光量算出に用いる外光測光を、外光用ホワイトバランス用の露光全画角読み出しで取得した画像データに対して行うことにより、実施形態１と比較して露光読み出し処理を１回分減らすことができる。これにより、ストロボ撮影におけるレリーズタイムラグを短縮することができる。

なお、第１、第２の実施形態では、全画角から読み出した画像データに対してホワイトバランス処理を行っているが、これに限定されない。すなわち、ホワイトバランス処理は、電子ズームに応じて読み出しを行う部分領域よりも大きな画角に対してなされればよい・電子ズームに応じて読み出しを行う部分領域は、ホワイトバランス算出用の読み出し領域に必ずしも包含される必要はなく、その一部又は全部がホワイトバランス算出用の読み出し領域外に配置されてもよい。

ＣＭＯＳイメージセンサの上記の特徴を利用した電子ズーム動作の概念図である。 （ａ）は原色フィルタの配置例を示す図であり、（ｂ）は色評価値が算出される１ブロックを示す図である。 色空間を示す図である。 電子ズーム時のストロボ撮影におけるシーケンス図である。 本発明の好適な第１の実施形態に係る撮像装置のシステム構成を示す図である。 本発明の好適な第１の実施形態に係る撮像素子の回路構成を示す図である。 図６に示された画素を複数配列した画素部と読み出し回路とを示す回路構成図である。 電子ズーム時のストロボ撮影における４回露光読み出しのシーケンス図である。 ４回露光読み出しの一連の処理フロー図である。 ホワイトバランス処理の処理フロー図である。 ストロボ発光量−色温度テーブルの例を示す図である。 電子ズーム時のストロボ撮影における３回露光読み出しシーケンス図である。 ３回露光読み出しの一連の処理フロー図である。 ホワイトバランス処理の処理フロー図である。

符号の説明

４ 撮像素子
１４ ＭＰＵ
６１ ストロボ

Claims (9)

1. 撮像面に複数の光電変換素子が配置された撮像部と、
   発光を行う発光部と、
   前記撮像部及び前記発光部を制御する制御部と、
   を備え、
   前記制御部は、
   前記撮像面の第１の領域に配置された第１の光電変換素子群から画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さい第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードとを有し、前記第２のモードで前記発光に基づき撮像を行う場合、前記第１のモードで前記第１の領域から読み出した画像信号に基づいて、ホワイトバランス処理用の補正値を算出するとともに、前記発光に基づく撮像により得られる画像信号を前記第２の領域から読み出し、読み出した前記第２の領域の画像信号に対し、前記補正値に基づいてホワイトバランス処理を行うことを特徴とする撮像装置。
2. 前記第２のモードにおける前記発光前に、前記第２のモードにおいて外光測光及び仮発光による測光を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記外光測光時に前記第２の領域から読み出した画像信号と前記仮発光時に前記第２の領域から読み出した画像信号とに基づいて、前記第２のモードにおける前記発光部の発光量を算出することを特徴とする請求項２に記載の撮像装置。
4. 前記外光測光時に前記補正値の算出のために前記第１の領域から読み出した画像信号と前記仮発光時に前記第２の領域から読み出した画像信号とに基づいて、前記第２のモードにおける前記発光部の発光量を算出することを特徴とする請求項２に記載の撮像装置。
5. 算出した前記発光量と前記補正値とに基づいて前記ホワイトバランス処理を行うことを特徴とする請求項３又は４に記載の撮像装置。
6. 前記発光部の発光量と色温度とを関連付けて予め記憶したテーブルを用いて、前記ホワイトバランス処理を行うことを特徴とする請求項１に記載の撮像装置。
7. 前記発光部の発光量とホワイトバランス係数とを関連付けて予め記憶したテーブルを用いて、前記ホワイトバランス処理を行うことを特徴とする請求項１に記載の撮像装置。
8. 光学系と、
   請求項１乃至請求項７のいずれか１項に記載の撮像装置と、
   を備えることを特徴とする撮像システム。
9. 撮像面の第１の領域に配置された第１の光電変換素子群から画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さい第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードとを含み、前記第２のモードで発光に基づき撮像を行う場合、前記第１のモードで前記第１の領域から読み出した画像信号に基づいて、ホワイトバランス処理用の補正値を算出するとともに、前記発光に基づく撮像により得られる画像信号を前記第２の領域から読み出し、読み出した前記第２の領域の画像信号に対し、前記補正値に基づいてホワイトバランス処理を行うように制御することを特徴とする撮像装置の制御方法。

Images