JP2012213068A - 撮像装置、撮像方法および撮像プログラム - Google Patents

Abstract

【課題】色ずれのない良好なホワイトバランス補正を行う。
【解決手段】光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、撮像素子に対応する画像領域を複数のブロックに分割するブロック分割手段１０１と、ブロック毎に、撮像信号に基づくＲ値、Ｇ値、Ｂ値について、それぞれの積算値であるＲ積算値、Ｇ積算値、Ｂ積算値を算出するＲＧＢ積算手段１０２と、Ｒ積算値、Ｇ積算値、Ｂ積算値に対し、それぞれ上限値および下限値を設定し、該上限値および下限値内に収まるブロックを有効ブロックと判定する有効ブロック判定手段１０３と、有効ブロックのＲ積算値、Ｇ積算値、Ｂ積算値に基づいてホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段１０５と、を備え、ホワイトバランス補正係数に基づいてホワイトバランス制御を行う。
【選択図】図３

Description

本発明は、撮像装置、撮像方法および撮像プログラムに関する。さらに詳述すると、ホワイトバランス補正に好適な撮像装置、撮像方法および撮像プログラムに関する。

ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサ等を撮像素子として用いた撮像装置において、光源の色温度によるＣＣＤの出力信号の色変化を、人間の目に不自然に感じさせないように補正するホワイトバランス（White Balance）補正は、必須の機能の一つである。

このようなホワイトバランス補正に関する技術として、例えば、特許文献１には、撮像素子の出力の飽和や画像信号に含まれるノイズ成分の影響により、Ｓ／Ｎが劣化しても、精度よくホワイトバランス補正を行うことを目的として、輝度信号に対して閾値を設定して、閾値を超えた信号に基づいてホワイトバランス補正を行う映像信号処理装置が開示されている。

また、特許文献２には、被写体中に高輝度部や低輝度部の画像領域がある場合におけるホワイトバランス補正の精度向上を目的として、画像信号の各色成分に閾値を設定し、高輝度部（白飛び領域）や低輝度部（黒つぶれ領域）となる信号を除去してホワイトバランス補正を行う撮像処理装置が開示されている。

しかしながら、上記特許文献に記載の技術では、画素単位で低輝度および高輝度を除外したＲＧＢを基にＡＥ（Auto Exposure:自動露出）を行った場合、本来の明るさの情報を得ることができず、適正な露光が行えないため、ホワイトバランス制御とは別に、ＡＥを行うためのＲＧＢ取得回路が必要になり、回路規模の増加によるコストアップに繋がるという問題が生じる。

また、撮影条件によらずＲＧＢまたは輝度値の閾値設定が同じ場合、例えば、高感度での撮影においてＳ／Ｎの劣化した低輝度領域の画像信号を用いることによって、ホワイトバランス補正の精度が低下するという問題が生じる。

そこで本発明は、撮像素子に対応する画像領域を所定数のブロックに分割したうえで、ノイズの要因となりうるブロックを所定条件下でホワイトバランス制御における演算の対象から外すことにより、色ずれのない良好なホワイトバランス補正を行うことができる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。

かかる目的を達成するため、本発明に係る撮像装置は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、撮像素子に対応する画像領域を複数のブロックに分割するブロック分割手段と、ブロック毎に、撮像信号に基づくＲ値、Ｇ値、Ｂ値について、それぞれの積算値であるＲ積算値、Ｇ積算値、Ｂ積算値を算出するＲＧＢ積算手段と、Ｒ積算値、Ｇ積算値、Ｂ積算値に対し、それぞれ上限値および下限値を設定し、該上限値および下限値内に収まるブロックを有効ブロックと判定する有効ブロック判定手段と、有効ブロックのＲ積算値、Ｇ積算値、Ｂ積算値に基づいてホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段と、を備え、ホワイトバランス補正係数に基づいてホワイトバランス制御を行うものである。

また、本発明に係る撮像方法は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子を備えた撮像装置における撮像方法であって、撮像素子に対応する画像領域を複数のブロックに分割するブロック分割処理と、ブロック毎に、撮像信号に基づくＲ値、Ｇ値、Ｂ値について、それぞれの積算値であるＲ積算値、Ｇ積算値、Ｂ積算値を算出するＲＧＢ積算処理と、Ｒ積算値、Ｇ積算値、Ｂ積算値に対し、それぞれ上限値および下限値を設定し、該上限値および下限値内に収まるブロックを有効ブロックと判定する有効ブロック判定処理と、有効ブロックのＲ積算値、Ｇ積算値、Ｂ積算値に基づいてホワイトバランス補正係数を算出するホワイトバランス補正係数算出処理と、ホワイトバランス補正係数に基づいてホワイトバランス処理と、を行うようにしている。

また、本発明に係る撮像プログラムは、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子を備えた撮像装置に、撮像素子に対応する画像領域を複数のブロックに分割するブロック分割処理と、ブロック毎に、撮像信号に基づくＲ値、Ｇ値、Ｂ値について、それぞれの積算値であるＲ積算値、Ｇ積算値、Ｂ積算値を算出するＲＧＢ積算処理と、Ｒ積算値、Ｇ積算値、Ｂ積算値に対し、それぞれ上限値および下限値を設定し、該上限値および下限値内に収まるブロックを有効ブロックと判定する有効ブロック判定処理と、有効ブロックのＲ積算値、Ｇ積算値、Ｂ積算値に基づいてホワイトバランス補正係数を算出するホワイトバランス補正係数算出処理と、ホワイトバランス補正係数に基づいてホワイトバランス処理と、を実行させるものである。

本発明によれば、色ずれのない良好なホワイトバランス補正を行うことができる。

本発明に係る撮像装置の一実施形態であるデジタルカメラの外観図の一例であって、（ａ）は上面図、（ｂ）は正面図、（ｃ）は裏面図を示す。 本実施形態に係る撮像装置の機能ブロック図の一例である。 ホワイトバランス制御に係るＣＰＵの制御ブロックの模式図である。 ホワイトバランス処理のフローチャート（第１の実施形態）である。 ホワイトバランス処理のフローチャート（第２の実施形態）である。 ＩＳＯ感度に応じた有効ブロック判定のための（Ａ）下限値、（Ｂ）上限値の設定例を示すグラフである。 ホワイトバランス処理のフローチャート（第３の実施形態）である。 露出補正係数に応じた有効ブロック判定のための（Ａ）下限値、（Ｂ）上限値の設定例を示すグラフである。

以下、本発明に係る構成を図１から図８に示す実施の形態に基づいて詳細に説明する。

本実施形態に係る撮像装置（デジタルカメラ）は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子（ＣＣＤ１２１）と、撮像素子に対応する画像領域を複数のブロックに分割するブロック分割手段（１０１）と、ブロック毎に、撮像信号に基づくＲ値、Ｇ値、Ｂ値について、それぞれの積算値であるＲ積算値、Ｇ積算値、Ｂ積算値を算出するＲＧＢ積算手段（１０２）と、Ｒ積算値、Ｇ積算値、Ｂ積算値に対し、それぞれ上限値および下限値を設定し、該上限値および下限値内に収まるブロックを有効ブロックと判定する有効ブロック判定手段（１０３）と、有効ブロックのＲ積算値、Ｇ積算値、Ｂ積算値に基づいてホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段（１０５）と、を備え、ホワイトバランス補正係数に基づいてホワイトバランス制御を行うものである。

［第１の実施形態］
（撮像装置の構成）
本実施形態では、撮像装置の一例としてデジタルカメラを例に説明する。図１はデジタルカメラの外観図を示し、（ａ）はカメラ上面図、（ｂ）はカメラ正面図、（ｃ）はカメラ裏面図を示している。なお、撮像装置はデジタルカメラに限られるものではなく、ホワイトバランス補正機能を備えた撮像装置であれば良い。

図１（ａ）に示すように、デジタルカメラは、上面に、サブＬＣＤ１と、レリーズシャッター２（ＳＷ１）と、モードダイヤル４（ＳＷ２）とを有する。

また、図１（ｂ）に示すように、デジタルカメラは、正面に、ストロボ発光部３と、測距ユニット５と、リモコン受光部６と、レンズユニット７と、光学ファインダ（正面）１１とを有する。また、メモリカードスロットル２３は、ＳＤカード等のメモリカード３４を挿入するスロットルを示し、カメラ側面に設けられる。

また、図１（ｃ）に示すように、デジタルカメラは、裏面に、ＡＦＬＥＤ（オートフォーカスＬＥＤ）８と、ストロボＬＥＤ９と、ＬＣＤモニタ（表示手段）１０と、光学ファインダ（裏面）１１と、ズームボタン（ズームレバー）ＴＥＬＥ１２（ＳＷ４）と、電源スイッチ１３（ＳＷ１３）と、ズームボタン（ズームレバー）ＷＩＤＥ１４（ＳＷ３）と、セルフタイマ／削除スイッチ１５（ＳＷ６）とを有する。

さらに、メニュースイッチ１６（ＳＷ５）と、ＯＫスイッチ１７（ＳＷ１２）と、左／画像確認スイッチ１８（ＳＷ１１）と、下／マクロスイッチ１９（ＳＷ１０）と、上／ストロボスイッチ２０（ＳＷ７）と、右スイッチ２１（ＳＷ８）と、画像を表示するディスプレイスイッチ２２（ＳＷ９）とを有する。

図２は図１に示したデジタルカメラの制御系の機能ブロック図を示している。以下、デジタルカメラ内部のシステム構成について説明する。

図２に示すように、このデジタルカメラ内には、レンズユニット７に設置した撮影レンズ系を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ１２１、ＣＣＤ１２１から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するフロントエンドＩＣ（Ｆ／Ｅ）１２０、フロントエンドＩＣ（Ｆ／Ｅ）１２０から出力されるデジタル信号を処理する信号処理ＩＣ１１０、データを一時的に格納するＳＤＲＡＭ３３、制御プログラム等が記憶されたＲＯＭ３０、モータドライバ３２等が設けられている。

レンズユニット７は、ズームレンズ、フォーカスレンズおよびメカニカルシャッタ等からなり、モータドライバ３２によって駆動される。モータドライバ３２は、信号処理ＩＣ１１０の内部に含まれるマイクロコンピュータ（ＣＰＵ、制御部）１１１によって制御される。

ＣＣＤ１２１は、光学画像を光電変換するための固体撮像素子であって、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。

フロントエンドＩＣ（Ｆ／Ｅ）１２０は、ＣＣＤ出力電気信号（アナログ画像データ）についてサンプリングホールド（相関二重サンプリング）を行うＣＤＳ１２２、このサンプリングされたデータのゲインを調整するＡＧＣ（Auto Gain Control）１２３、デジタル信号変換を行うＡ／Ｄ変換機（Ａ／Ｄ）１２４、及びＣＣＤＩ／Ｆ１１２より垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）を供給されＣＣＤ１２１とＦ／Ｅ１２０との駆動タイミング信号を発生するＴＧ（タイミングジェネレータ：制御信号発生器）１２５を有する。

発振器（クロックジェネレータ）は、ＣＰＵ１１１を含む信号処理ＩＣ１１０のシステムクロックとＴＧ１２５等にクロックを供給している。ＴＧ１２５は発振器のクロックを受けて、ピクセル同期をするためのピクセルクロックを信号処理ＩＣ１１０内のＣＣＤＩ／Ｆ１１２に供給する。

Ｆ／Ｅ１２０から信号処理ＩＣ１１０に入力されたデジタル信号は、ＣＣＤＩ／Ｆ１１２を介して、メモリコントローラ１１５によりＳＤＲＡＭ３３にＲＧＢデータ（ＲＡＷ−ＲＧＢ）として一時保管される。

信号処理ＩＣ１１０は、システム制御を行うＣＰＵ１１１、ＣＣＤＩ／Ｆ１１２、リサイズ処理部１１３、メモリコントローラ１１５、表示出力制御部１１６、圧縮伸張部１１７、メディアＩ／Ｆ部１１８、ＹＵＶ変換部１１９等から構成されている。

ＣＣＤＩ／Ｆ１１２は、垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）の出力を行い、その同期信号に合わせてＡ／Ｄ１２４から入力されるデジタル（ＲＧＢ）信号を取り込んで、メモリコントローラ１１５経由でＳＤＲＡＭ３３にＲＧＢデータの書き込みを行う。

表示出力制御部１１６はＳＤＲＡＭ３３に書き込まれた表示用データを表示部に送り、撮影した画像の表示を行う。表示出力制御部１１６は、デジタルカメラが内蔵しているＬＣＤモニタ１０に表示することも、ＴＶビデオ信号として出力して外部装置に表示することも可能である。

ここでいう、表示用データとは、自然画像のＹＣｂＣｒと、撮影モードアイコンなどを表示するＯＳＤ（オンスクリーンディスプレイ）データであり、いずれもＳＤＲＡＭ３３上に置かれたデータをメモリコントローラ１１５が読み出して表示出力制御部１１６に送り、表示出力制御部１１６で合成したデータをビデオデータとして出力する。

圧縮伸張部１１７は、記録時はＳＤＲＡＭ３３に書き込まれたＹＣｂＣｒデータを圧縮してＪＰＥＧ符号化されたデータを出力し、再生時は読み出したＪＰＥＧ符号化データをＹＣｂＣｒデータに伸張して出力する。

メディアＩ／Ｆ１１８は、ＣＰＵ１１１の指示により、メモリカード３４内のデータをＳＤＲＡＭ３３に読み出したり、ＳＤＲＡＭ３３上のデータをメモリカード３４に書き込んだりする。

ＹＵＶ変換部１１９は、ＣＰＵ１１１から設定された画像現像処理パラメータに基づき、ＳＤＲＡＭ３３に一時保管されたＲＧＢデータを輝度Ｙと色差ＣｂＣｒデータ（ＹＵＶデータ）に変換処理し、ＳＤＲＡＭ３３へ書き戻す。

リサイズ処理部１１３は、ＹＵＶデータを読み出して、記録するために必要なサイズへのサイズ変換、サムネイル画像へのサイズ変換、表示に適したサイズへのサイズ変換などを行う。

また、全体の動作を制御する制御部であるＣＰＵ１１１は、起動時にＲＯＭ３０に格納されたカメラの制御を行う制御プログラムおよび制御データを、例えばＳＤＲＡＭ３３にロードし、そのプログラムコードに基づいて全体の動作を制御する。

ＣＰＵ１１１は、操作部３１のボタンキー等による指示、あるいは図示しないリモコン等の外部動作指示、あるいはパーソナルコンピュータ等の外部端末からの通信による通信動作指示に従い、撮像動作制御、画像現像処理パラメータの設定、メモリコントロール、表示制御等を行う。

操作部３１は、撮影者がデジタルカメラの動作指示を行うためのものであり、撮影者の操作によって所定の動作指示信号が制御部に入力される。例えば、図１に示すように、撮影を指示する２段（半押し、全押し）レリーズシャッター２、光学ズームおよび電子ズーム倍率を設定するズームボタン１２,１４等の各種ボタンキーを備えている。

操作部３１よりデジタルカメラの電源キーがオンされたことを検出すると、ＣＰＵ１１１は各ブロックに所定の設定を行う。この設定により、レンズユニット７を介してＣＣＤ１２１で受光した画像は、デジタル映像信号に変換されて信号処理ＩＣ１１０に入力される。

信号処理ＩＣ１１０へ入力されたデジタル信号はＣＣＤＩ／Ｆ１１２に入力される。ＣＣＤＩ／Ｆ１１２では光電変換されたアナログ信号に黒レベル調整等の処理が行われて、ＳＤＲＡＭ３３に一旦保存される。このＳＤＲＡＭ３３に保存されたＲＡＷ−ＲＧＢ画像データは、ＹＵＶ変換部１１９に読み出されて、ガンマ変換処理、ホワイトバランス処理、エッジエンハンス処理、ＹＵＶ変換処理が行われＹＵＶ画像データとしてＳＤＲＡＭ３３へ書き戻される。

ＹＵＶ画像データは表示出力制御部１１６に読み出され、例えば出力先がＮＴＳＣシステムのＴＶであれば、リサイズ処理部１１３により、そのシステムに合わせた水平・垂直の変倍処理が施され、ＴＶに出力される。この処理がＶＤ毎に行われることで、スチル撮影前の確認用の表示であるモニタリングが行われる。

（撮像装置の動作）
次に、デジタルカメラのモニタリング動作および静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。

先ず、撮影者が電源スイッチ１３をＯＮにし、モードダイヤル４を撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。これをＣＰＵ１１１が検知すると、ＣＰＵ１１１はモータドライバ３２に制御信号を出力して、レンズユニット７を撮影可能位置に移動させ、かつ、ＣＣＤ１２１、Ｆ／Ｅ１２０、信号処理ＩＣ１１０、ＳＤＲＡＭ３３、ＲＯＭ３０、ＬＣＤモニタ１０等を起動させる。

そして、レンズユニット７の撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤ１２１の各画素の受光面上に結像する。そして、ＣＣＤ１２１から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ１２２、ＡＧＣ１２３を介してＡ／Ｄ１２４に入力され、Ａ／Ｄ１２４により１２ビットのＲＡＷ−ＲＧＢデータに変換する。

このＲＡＷ−ＲＧＢデータは、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２に取り込まれてメモリコントローラ１１５を介してＳＤＲＡＭ３３に保存される。そして、ＳＤＲＡＭ３３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部１１９に入力されて表示可能な形式であるＹＵＶデータに変換された後に、メモリコントローラ１１５を介してＳＤＲＡＭ３３にＹＵＶデータが保存される。

そして、ＳＤＲＡＭ３３からメモリコントローラ１１５を介して読み出したＹＵＶデータは、表示出力制御部１１６を介してＬＣＤモニタ１０へ送られ、撮影画像（動画）が表示される。ＬＣＤモニタ１０に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ１１２による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。

なお、このモニタリング動作時は、電子ファインダとして機能するＬＣＤモニタ１０に撮影画像（動画）が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。

この撮影画像のＬＣＤモニタ１０への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部１１６からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。

そして、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値（ＷＢ評価値ともいう）を算出する。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。

ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ１２１の全画素の受光面に対応した画面（画像領域）を２５６ブロック（エリア）に等分割（水平１６分割、垂直１６分割）し、それぞれのブロックのＲＧＢ積算を算出する。

そして、制御部は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ１２１の電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部１１９でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、ＡＥ処理とＡＷＢ処理は、モニタリング時には連続的に行われている。

そして、モニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。

即ち、レリーズボタンが押圧（半押しから全押し）操作されると、制御部からモータドライバ３２への駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。

ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ１１２で算出されている各フォーカス位置におけるＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。

そして、ＡＥ処理が行われ、露光完了時点で、制御部からモータドライバ３２への駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤ１２１から静止画用のアナログＲＧＢ画像信号が出力される。そして、モニタリング時と同様に、Ｆ／Ｅ１２０のＡ／Ｄ１２４によりＲＡＷ−ＲＧＢデータに変換される。

そして、このＲＡＷ−ＲＧＢデータは、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２に取り込まれ、ＹＵＶ変換部１１９でＹＵＶデータに変換されて、メモリコントローラ１１５を介してＳＤＲＡＭ３３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ３３から読み出されて、リサイズ処理部１１３で記録画素数に対応するサイズに変換され、圧縮伸張部１１７でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ３３に書き戻された後にメモリコントローラ１１５を介してＳＤＲＡＭ３３から読み出され、メディアＩ／Ｆ１１８を介してメモリカード３４に保存される。

（ホワイトバランス制御）
図３は、ホワイトバランス制御に係るＣＰＵ１１１の制御ブロックの説明図である。ＣＰＵ１１１の各制御ブロックが実行するホワイトバランス制御（本発明に係る撮像方法）について、図４に示す処理フローチャートを参照して説明する。なお、ブロック分割手段１０１、ＲＧＢ積算手段１０２、有効ブロック判定手段１０３、白検出手段１０４およびホワイトバランス係数算出手段１０５の各手段は、ＣＰＵ１１１で実行されるソフトウェア（撮像プログラム）を撮像装置で実行させることで構成でき、その実行の際に必要なデータは、例えば、ＳＤＲＡＭ３３にロードされる。

先ず、上述したように、ＲＧＢ積算手段１０２は、ＲＡＷ−ＲＧＢがＣＣＤＩ／Ｆ１１２に取り込まれた後、ブロック分割手段１０１により２５６ブロックに等分割された画像領域（ＣＣＤ１２１の全画素の受光面に対応した画面）について、ブロック毎に出力されるＲ値、Ｇ値、Ｂ値（単に、Ｒ、Ｇ、Ｂともいい、ＲＧＢと総称する）それぞれの積算値（Ｒ積算値、Ｇ積算値、Ｂ積算値ともいい、ＲＧＢ積算値と総称する）を取得する（Ｓ１０１：ＲＧＢ積算値取得処理）。なお、Ｒ値、Ｇ値、Ｂ値は、例えば８ビットで表現されるが、数量化方法については特に限られるものではない。

次に、取得した各ブロックのＲＧＢ積算値から１画素あたりのＲＧＢそれぞれの平均値（Ｒ平均値、Ｇ平均値、Ｂ平均値もいい、ＲＧＢ平均値と総称する）を算出し、ＷＢ評価値（Ｇ／Ｒ、Ｇ／Ｂ）およびＡＥ評価値（Ｙ）を算出する（Ｓ１０２：ＷＢ評価値、ＡＥ評価値生成処理）。ここで、ＷＢ評価値（Ｇ／Ｒ、Ｇ／Ｂ）およびＡＥ評価値（Ｙ）の算出は、例えば、次式（１）〜（３）により算出することができる。
Ｇ／Ｒ＝（Ｇ平均値×１００）／Ｒ平均値 ・・・（１）
Ｇ／Ｂ＝（Ｇ平均値×１００）／Ｂ平均値 ・・・（２）
Ｙ＝（Ｒ平均値×３＋Ｇ平均値×６＋Ｂ平均値）／１０ ・・・（３）
なお、ＷＢ評価値（Ｇ／Ｒ、Ｇ／Ｂ）およびＡＥ評価値（Ｙ）の算出方法は、上記の例に限られるものではなく、その他、公知または新規の算出方法によるものであっても良い。

次に、有効ブロック判定手段１０３は、分割された各ブロックのＲＧＢ積算値それぞれ全てが所定の上限値（上限閾値）、下限値（下限閾値）の範囲内に収まっているか否かを判断し、範囲内に収まっているブロックを有効ブロックと判定する（Ｓ１０３：有効ブロック判定処理）。

この有効ブロック判定処理を行うことにより、被写体の色の偏りや低輝度部において、ＲＧＢのいずれかが黒つぶれ、もしくは飽和している等の場合に、無効ブロックとしてホワイトバランス制御における演算の対象としないようにすることができる。

また、有効ブロック判定処理における上限値および下限値の設定において、イメージセンサの分光特性としてＲ、Ｂの感度が相対的にＧの感度よりも低いことを考慮し、Ｒ積算値、Ｂ積算値に対しての下限値を、Ｇ積算値よりも下げることが好ましい。これにより、信頼性の低いＲＧＢ積算値をホワイトバランス制御における演算の対象から外すことができる。

次に、有効ブロックについてのＷＢ評価値（Ｇ／Ｒ、Ｇ／Ｂ）が、予め設定された白抽出範囲内である場合、白抽出ブロックとして記憶する（Ｓ１０４：白検出処理）。

次に、ホワイトバランス補正係数算出処理（Ｓ１０５）を行う。ホワイトバランス補正係数算出処理では、先ず、白抽出処理により抽出した白抽出ブロック数が所定数以上あるかどうか判断し、所定数以上ある場合、各白抽出ブロックのＷＢ評価値（Ｇ／Ｒ、Ｇ／Ｂ）に対して該当ブロックのＡＥ評価値（Ｙ）による重み付けを行った後、積算して一画素あたりのＧ／Ｒ、Ｇ／Ｂを算出する。

これに対し、一定基準以上の白抽出ブロック数が存在しない場合、全ブロックのＷＢ評価値（Ｇ／Ｒ、Ｇ／Ｂ）を積算し、一画素あたりのＧ／Ｒ、Ｇ／Ｂを算出する。

このように求めた一画素あたりのＧ／Ｒ、Ｇ／Ｂをそれぞれ平均したものをＷＢ補正係数Ｒｇａｉｎ、Ｂｇａｉｎとする。

算出した一画素あたりのＧ／Ｒ、Ｇ／ＢからＧ／Ｒ、Ｇ／Ｂの色座標上のエリア別に補正を加え、Ｇ／Ｒ、Ｇ／ＢをＷＢ補正係数とする。なお、エリア別に補正するとは、例えば、Ｇ／Ｒの値が小さくＧ／Ｂが大きい低色温度側のシーンで光源色を残すようＧ／Ｒを大きく、かつＧ／Ｂを小さくしたり、Ｇ／Ｒの値が大きくＧ／Ｂが小さい高色温度側のシーンでＧ／Ｒが一定以上であればリミット処理を行ったりするものである。

最後に、画面全体のＲ、Ｂ画素それぞれに対して、ＷＢ補正係数Ｒｇａｉｎ、Ｂｇａｉｎを掛けることでホワイトバランス補正を行うものである。

なお、ホワイトバランス補正係数算出処理における補正係数の算出方法は、上記の例に限られるものではなく、有効ブロックに対して、その他、公知または新規の算出方法を適用するようにしても良い。

以上説明したように、本実施形態に係る撮像装置によれば、イメージセンサの感度によらず、色ずれのない良好なホワイトバランス制御を行うことができる。また、１度のＲＧＢ積算処理により自動露出制御およびホワイトバランス制御双方の演算を行うことが可能となるため、回路規模を増大させることなく低コストでホワイトバランス制御の正確性を向上させることができる。

［第２の実施形態］
以下、本実施形態に係る撮像装置の他の実施形態について説明する。なお、上記第１の実施形態と同様の点についての説明は適宜省略する。

撮影条件によらずＲＧＢまたは輝度値の閾値設定を同じくしてホワイトバランス補正を行う場合、例えば、高感度での撮影においてＳ／Ｎの劣化した低輝度領域の画像信号を用いることによって、ホワイトバランス補正の精度が低下するという問題が生じていた。

そこで、上記第１の実施形態では、有効ブロック判定処理における上下限値を撮影条件によらず固定していたが、第２の実施形態では、ＩＳＯ感度に応じて上下限値の設定を行うものである。図５に示す処理フローチャートを示す。

先ず、ＲＧＢ積算値取得処理（Ｓ２０１）およびＷＢ評価値、ＡＥ評価値生成処理（Ｓ２０２）は、第１の実施形態のＲＧＢ積算値取得処理（Ｓ１０１）およびＷＢ評価値、ＡＥ評価値生成処理（Ｓ１０２）と同様に行う。

次に、ＩＳＯ感度に応じて図６（Ａ）に示すように有効ブロックと判定する下限値の設定を行う（Ｓ２０３：ＩＳＯ感度に応じたＲＧＢ閾値設定処理）。図６（Ａ）に示す例では、Ｓ／Ｎの悪いブロックを排除するためＩＳＯ感度が上がるに従って下限値を上げている。また、図６（Ｂ）に示すようにＩＳＯ感度が上がるに従って上限値を下げるようにしても良い。

なお、ＩＳＯ感度に応じた有効ブロックの判定は、下限値または上限値の一方のみ行って、他方の値は上記第１の実施形態と同様に所定値としても良いし、下限値および上限値の双方について、ＩＳＯ感度に応じて値を変化させるようにしても良い。

このように、設定された上限値、下限値に基づいて、有効ブロック判定手段１０３は、分割された各ブロックのＲＧＢ積算値が、それぞれ設定された下限値、上限値の範囲内に収まっているか否かを判断し、範囲内に収まっているブロックを有効ブロックと判定する（Ｓ２０４：有効ブロック判定処理）。

以下、白検出処理（Ｓ２０５）およびホワイトバランス補正係数算出処理（Ｓ２０６）は、第１の実施形態の白検出処理（Ｓ１０４）およびホワイトバランス補正係数算出処理（Ｓ１０５）と同様に行う。

以上説明したように、本実施形態に係る撮像装置によれば、イメージセンサの感度によらず、色ずれのない良好なホワイトバランス制御を行うことができる。また、１度のＲＧＢ積算処理により自動露出制御およびホワイトバランス制御双方の演算を行うことが可能となるため、回路規模を増大させることなく低コストでホワイトバランス制御の正確性を向上させることができる。さらに、ＩＳＯ感度が高い場合等においても安定して精度の高いホワイトバランス制御を行うことができる。

［第３の実施形態］
上記第１の実施形態では、有効ブロック判定処理における上下限値を撮影条件によらず固定していたが、第３の実施形態では、ユーザ操作により設定される露出補正の値（露出補正係数）に応じて上下限値の設定を行うものである。図７に示す処理フローチャートを示す。

先ず、ＲＧＢ積算値取得処理（Ｓ３０１）およびＷＢ評価値、ＡＥ評価値生成処理（Ｓ３０２）は、第１の実施形態のＲＧＢ積算値取得処理（Ｓ１０１）およびＷＢ評価値、ＡＥ評価値生成処理（Ｓ１０２）と同様に行う。

次に、露出補正係数に応じて図８（Ａ）に示すように有効ブロックと判定する下限値の設定を行う（Ｓ３０３：露出補正に応じたＲＧＢ閾値設定処理）。図８（Ａ）は、露出補正係数をプラス（明るく補正）する場合に下限値を上げ、露出補正係数をマイナス（暗く補正）する場合に下限値を下げる方向にシフトさせている。また、図８（Ｂ）に示すように上限値をシフトさせるようにしても良い。

なお、露出補正に応じた有効ブロックの判定は、下限値または上限値の一方のみ行って、他方の値は、上記第１の実施形態と同様に所定値としても良いし、下限値および上限値の双方について、露出補正に応じて値を変化させるようにしても良い。

このように、設定された上限値、下限値に基づいて、有効ブロック判定手段１０３は、分割された各ブロックのＲＧＢ積算値が、それぞれ設定された下限値、上限値の範囲内に収まっているか否かを判断し、範囲内に収まっているブロックを有効ブロックと判定する（Ｓ３０４：有効ブロック判定処理）。

以下、白検出処理（Ｓ３０５）およびホワイトバランス補正係数算出処理（Ｓ３０６）は、第１の実施形態の白検出処理（Ｓ１０４）およびホワイトバランス補正係数算出処理（Ｓ１０５）と同様に行う。

以上説明したように、本実施形態に係る撮像装置によれば、イメージセンサの感度によらず、色ずれのない良好なホワイトバランス制御を行うことができる。また、１度のＲＧＢ積算処理により自動露出制御およびホワイトバランス制御双方の演算を行うことが可能となるため、回路規模を増大させることなく低コストでホワイトバランス制御の正確性を向上させることができる。さらに、設定される露出補正の値によらず、安定して精度の高いホワイトバランス制御を行うことができる。

以上説明した撮像装置によるホワイトバランス制御は、プログラム（撮像プログラム）で実行させることもできる。また、当該撮像プログラムを撮像装置で実行可能に記録した記録媒体の態様にも適用される。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

１ サブＬＣＤ
２ レリーズシャッター（ＳＷ１）
３ ストロボ発光部
４ モードダイヤル（ＳＷ２）
５ 測距ユニット
６ リモコン受光部
７ レンズユニット
８ ＡＦＬＥＤ
９ ストロボＬＥＤ
１０ ＬＣＤモニタ
１１ 光学ファインダ
１２ ズームボタンＴＥＬＥ（ＳＷ４）
１３ 電源スイッチ（ＳＷ１３）
１４ ズームボタンＷＩＤＥ（ＳＷ３）
１５ セルフタイマ／削除スイッチ（ＳＷ５）
１６ メニュースイッチ（ＳＷ６）
１７ ＯＫスイッチ（ＳＷ１２）
１８ 左／画像確認スイッチ（ＳＷ１１）
１９ 下／マクロスイッチ（ＳＷ１０）
２０ 上／ストロボスイッチ（ＳＷ７）
２１ 右スイッチ（ＳＷ８）
２２ ディスプレイスイッチ（ＳＷ９）
２３ メモリカードスロットル
３０ ＲＯＭ
３１ 操作部
３２ モータドライバ
３３ ＳＤＲＡＭ
３４ メモリカード
１０１ ブロック分割手段
１０２ ＲＧＢ積算手段
１０３ 有効ブロック判定手段
１０４ 白検出手段
１０５ ホワイトバランス係数算出手段
１１０ 信号処理ＩＣ
１１１ ＣＰＵ
１１２ ＣＣＤ Ｉ／Ｆ
１１３ リサイズ処理部
１１５ メモリコントローラ
１１６ 表示出力制御部
１１７ 圧縮伸長部
１１８ メディアＩ／Ｆ
１１９ ＹＵＶ変換部
１２０ Ｆ／Ｅ
１２１ ＣＣＤ
１２２ ＣＤＳ
１２３ ＡＧＣ
１２４ Ａ／Ｄ変換機
１２５ タイミングジェネレータ

特開２００２−２９０９８７号公報 特開２００５−１０９７０５号公報

Claims (7)

1. 光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
   前記撮像素子に対応する画像領域を複数のブロックに分割するブロック分割手段と、
   前記ブロック毎に、前記撮像信号に基づくＲ値、Ｇ値、Ｂ値について、それぞれの積算値であるＲ積算値、Ｇ積算値、Ｂ積算値を算出するＲＧＢ積算手段と、
   前記Ｒ積算値、Ｇ積算値、Ｂ積算値に対し、それぞれ上限値および下限値を設定し、該上限値および下限値内に収まるブロックを有効ブロックと判定する有効ブロック判定手段と、
   前記有効ブロックの前記Ｒ積算値、Ｇ積算値、Ｂ積算値に基づいてホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段と、を備え、
   前記ホワイトバランス補正係数に基づいてホワイトバランス制御を行うことを特徴とする撮像装置。
2. 前記ＲＧＢ積算手段により算出された前記Ｒ積算値、Ｇ積算値、Ｂ積算値に基づいて自動露出制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記有効ブロック判定手段は、ＩＳＯ感度に応じて前記Ｒ積算値、Ｇ積算値、Ｂ積算値に対する前記上限値、および／または前記下限値を設定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記有効ブロック判定手段は、設定される露出補正係数に応じて前記Ｒ積算値、Ｇ積算値、Ｂ積算値に対する前記上限値、および／または前記下限値を設定することを特徴とする請求項１または２に記載の撮像装置。
5. 前記Ｒ積算値および前記Ｂ積算値の下限値を、前記Ｇ積算値の下限値未満とすることを特徴とする請求項１から４のいずれかに記載の撮像装置。
6. 光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子を備えた撮像装置における撮像方法であって、
   前記撮像素子に対応する画像領域を複数のブロックに分割するブロック分割処理と、
   前記ブロック毎に、前記撮像信号に基づくＲ値、Ｇ値、Ｂ値について、それぞれの積算値であるＲ積算値、Ｇ積算値、Ｂ積算値を算出するＲＧＢ積算処理と、
   前記Ｒ積算値、Ｇ積算値、Ｂ積算値に対し、それぞれ上限値および下限値を設定し、該上限値および下限値内に収まるブロックを有効ブロックと判定する有効ブロック判定処理と、
   前記有効ブロックの前記Ｒ積算値、Ｇ積算値、Ｂ積算値に基づいてホワイトバランス補正係数を算出するホワイトバランス補正係数算出処理と、
   前記ホワイトバランス補正係数に基づいてホワイトバランス処理と、を行うことを特徴とする撮像方法。
7. 光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子を備えた撮像装置に、
   前記撮像素子に対応する画像領域を複数のブロックに分割するブロック分割処理と、
   前記ブロック毎に、前記撮像信号に基づくＲ値、Ｇ値、Ｂ値について、それぞれの積算値であるＲ積算値、Ｇ積算値、Ｂ積算値を算出するＲＧＢ積算処理と、
   前記Ｒ積算値、Ｇ積算値、Ｂ積算値に対し、それぞれ上限値および下限値を設定し、該上限値および下限値内に収まるブロックを有効ブロックと判定する有効ブロック判定処理と、
   前記有効ブロックの前記Ｒ積算値、Ｇ積算値、Ｂ積算値に基づいてホワイトバランス補正係数を算出するホワイトバランス補正係数算出処理と、
   前記ホワイトバランス補正係数に基づいてホワイトバランス処理と、を実行させることを特徴とする撮像プログラム。

Images