JP2010103672A - 撮像装置 - Google Patents

Abstract

【課題】領域分割手段が誤った領域分割を行っても、適切なＷＢ制御が可能な撮像装置を提供する。
【解決手段】ＣＣＤで撮像された全体領域を複数の領域に分割し、分割された複数の領域ごとでホワイトバランス制御用の特徴検出を行う領域分割処理工程（Ｓ１１）と、前記領域分割処理による領域分割の信頼性を判定する領域分割信頼性判定工程（Ｓ１２）と、前記領域分割信頼性判定工程における信頼性が高いとき（Ｓ１３のＹＥＳ）、対象の分割領域について前記特徴検出結果に基づくホワイトバランス制御値を用いてホワイトバランス制御を行い（Ｓ１８）、信頼度が低いとき（Ｓ１３のＮＯ）、対象の分割領域についてユーザ指示（Ｓ１５，Ｓ１６）に基づくホワイトバランス制御値を用いてホワイトバランス制御を行う（Ｓ１７）ホワイトバランス制御工程と、を備える。
【選択図】図３

Description

本発明は、撮像装置に関し、詳しくはデジタルカメラにおけるホワイトバランス制御に関するものである。

従来、ビデオカメラ、ＶＴＲ一体型カメラ、電子スチルカメラ等の撮像装置や、携帯端末装置に付属する撮像装置では、カラー撮像時に安定した色再現を得るためのホワイトバランス調整（ＡＷＢともいう）機能や、適切な露光量を得るための露光調整（ＡＥ）機能が必要である。

一般に、ＡＷＢ機能とは、画面全体が白色となる基準被写体を撮影している状態で、撮影信号としてのＲ信号、Ｇ信号、Ｂ信号の出力レベルを等しくする調整動作である。

ここで、被写体に複数の光源がある場合を考えると、最適なＡＷＢ制御を適用するには、各光源の種類毎に最適なホワイトバランス制御値（ＷＢ制御値、ＷＢゲインともいう）を設定するのが理想的である。

ところが一般的にはＷＢは画面全体に一様なゲインしか設定しないため、画面内に複数の光源が存在する場合はどれか１つの光源に最適なＷＢゲインしか設定することが出来なかった。

特許文献１では、撮像された画像についての白検出の信頼性を判定し、信頼性が低いと判定された場合は警告を促すとともに、ＷＢ制御値を変更するユーザインターフェースを提供する撮像装置が提案されている。これにより、ＷＢ制御の信頼性を高めることができるようになったが、十分なものではなかった。

また最近では、画面内で一様ではなく、適応的にＷＢを設定するという技術が提案されている。これは、画面を領域に分割し、領域ごと適応的にＷＢを設定する技術であり、複数の光源が画面内に存在しても領域ごとに好ましいＷＢを適応することができる。

これに伴い、画面適応的なホワイトバランス制御では、どれだけ正確に領域分割できるかが課題となってきた。また領域分割の分割基準も物体を切り分けるのではなく、光源（例えば日向と、日陰で分割する）で分割することが精度の高いＷＢを実現することに必須の手段となる。一方で、人間ならば目の前にあるものが物体（の色）なのか、光源（の色）なのかを簡単に判別できるが、コンピュータで判別するのはなかなか困難である。特にデジタルカメラのように限られた情報しか与えることができないような場合では領域を正しく分割するのは難しく誤った分割も発生してしまう。

特開２００７−２５１８５７号公報

本発明は、以上の従来技術における問題に鑑みてなされたものであり、領域分割手段が誤った領域分割を行っても、適切なＷＢ制御が可能な撮像装置を提供することを目的とする。

前記課題を解決するために提供する本発明は、以下の通りである。
〔１〕 光学像を電気的な画像信号に変換する撮像手段と、前記画像信号に基づいた表示を行う表示手段と、前記撮像手段で撮像された全体領域を複数の領域に分割する領域分割手段と、該領域分割手段で分割された複数の領域ごとでホワイトバランス制御用の特徴検出を行う特徴検出手段と、前記領域分割手段による領域分割の信頼度を算出する領域分割信頼度算出手段と、前記領域分割信頼度算出手段によって算出された信頼度が閾値より大のとき、対象の分割領域について前記特徴検出手段の結果に基づくホワイトバランス制御値を用いてホワイトバランス制御を行い、前記領域分割信頼度算出手段によって算出された信頼度が閾値以下のとき、対象の分割領域についてユーザ指示に基づくホワイトバランス制御値を用いてホワイトバランス制御を行うホワイトバランス制御手段と、を備えることを特徴とする撮像装置。
〔２〕 前記表示手段は、撮像画像全体の中で、前記領域分割信頼度算出手段によって算出された信頼度が閾値以下の領域分割について警告表示することを特徴とする前記〔１〕に記載の撮像装置。
〔３〕 前記表示手段は、撮像画像全体の中で、前記領域分割信頼度算出手段による前記分割領域の信頼度が閾値以下の領域分割によって分割された領域のホワイトバランス制御値をユーザが変更可能に表示することを特徴とする前記〔１〕または〔２〕に記載の撮像装置。
〔４〕 前記分割領域手段は、前記撮像手段で撮像された全体領域に含まれる光源の種類の推定結果に基づいて分割することを特徴とする前記〔１〕〜〔３〕のいずれかに記載の撮像装置。
〔５〕 前記領域分割信頼度算出手段は、隣接する分割された領域同士の画像信号の明度・彩度・色相の情報を比較することにより、信頼度を算出することを特徴とする前記〔１〕〜〔４〕のいずれかに記載の撮像装置。
〔６〕 光学像を電気的な画像信号に変換する撮像手段と、前記画像信号のズーム領域を選択するズーム領域選択手段と、該ズーム領域選択手段により選択された領域の画像信号を表示する表示手段と、前記撮像手段で撮像された全体領域を複数の領域に分割する領域分割手段と、該領域分割手段で分割された複数の領域ごとでホワイトバランス制御用の特徴検出を行う特徴検出手段と、前記領域分割手段で分割された領域のうち、前記ズーム領域選択手段が選択したズーム領域の全部もしくは一部が含まれる領域についての前記特徴検出手段の結果を用いてホワイトバランス制御を行うホワイトバランス制御手段と、を備えることを特徴とする撮像装置。

本発明の撮像装置によれば、領域分割手段による領域分割を領域分割の信頼性という観点で判定でき、その信頼性が低い場合に対象の領域のＷＢ制御値を適切に変更可能であるため、領域分割手段が誤った領域分割を行っても、適切なＷＢ制御が可能となる。

まず、本発明に係る撮像装置の基本構成について図面を参照して説明する。本実施例は、撮像装置として、画像入力装置をデジタルスチルカメラの撮影モジュールとしたデジタルカメラ撮像システムを用いているが、カメラ撮像システムに限るものではなく、ハンドスキャナ＋ＰＤＡなどの画像入力装置と画像処理装置と表示装置をもった画像処理システムでもよい。

図１は、本発明の各実施形態で使用するデジタルカメラ（撮像装置）の外観図であって、（Ａ）はカメラ上面図、（Ｂ）はカメラ正面図、（Ｃ）はカメラ裏面図、図２は、同デジタルカメラの内部の機能ブロックの構成を示した概略図である。

図１に示すように、デジタルカメラは、カメラ上面には、サブＬＣＤ１と、レリーズシャッタボタン２と、撮影／再生切り換えなどのモードダイヤル４とを有する。サブＬＣＤ１は、例えば、撮影可能枚数など表示するための表示部である。また、カメラ正面には、ストロボ発光部３と、測距ユニット５と、リモコン受光部６と、鏡胴ユニット７と、光学ファインダー（正面）１１ａとを有する。また、メモリカードスロットル１２１は、メモリカード(１３０、図２参照)を挿入するスロットルであり、カメラ側面に設けてある。更に、カメラ裏面には、ＡＦＬＥＤ（オートフォーカスＬＥＤ）８と、ストロボＬＥＤ９と、ＬＣＤモニタ１０と、光学ファインダー（裏面）１１ｂと、ズームボタン１２と、電源スイッチ１３と、操作部１４とを有する。

また、図２に示すように、デジタルカメラにおける撮像手段は、レンズユニット７Ｌ、ＣＣＤ１０１、ＣＣＤ１０１を駆動するＴＧ（タイミングジェネレーター：制御信号発生器）１０２ｄ、ＡＦＥ（アナログフロントエンド、Ｆ／Ｅ）１０２から構成される。ＡＦＥ１０２はＣＣＤ出力電気信号（アナログ画像データ）をサンプリングホールド（相関二重サンプリング）するＣＤＳ１０２ａ、このサンプリングされたデータのゲインを調整するＡＧＣ（ＡＵＴＯ ＧＡＩＮ ＣＯＮＴＲＯＬ）１０２ｂ、デジタル信号に変換するＡ／Ｄ変換器１０２ｃなどから構成されている。

レンズユニット７Ｌを介してＣＣＤ１０１で受光した画像は、デジタル映像信号に変換されて信号処理ＩＣ１０４に入力される。ここで、撮像手段からの入力信号を表示可能な形式に変換してメモリに保存する画像処理手段であるＹＵＶ変換部１０４ｃおよびリサイズ処理部１０４ｇと、表示信号出力手段である表示出力制御部１０４ｆと、色情報を抽出する色情報抽出手段であるＣＰＵ１０４ｂは全て信号処理ＩＣ１０４に含まれている。

信号処理ＩＣ１０４は、ＣＣＤ１０１への同期信号出力と同期信号に合わせたデータの取り込みを行うＣＣＤインターフェース１０４ａと、入力されたデジタル画像信号を表示可能や記録が可能なＹＵＶのデータ形式に変換するＹＵＶ変換部１０４ｂ、表示や記録のサイズにあわせて画像サイズを変更するリサイズ処理部１０４ｃ、表示出力を制御する表示出力制御部１０４ｄ、ＪＰＥＧで記録する場合のデータ圧縮伸張部１０４ｅ、画像データのメモリカードへの書き込みを制御するメディアＩ／Ｆ１０４ｆ、全体のシステム制御や色情報の抽出などを行っているＣＰＵ１０４ｇによって構成されている。

表示出力制御部１０４ｄは、デジタルカメラに内蔵されているＬＣＤモニタ１０に出力を行うための、同期信号などの信号を付加して信号出力を行う。

ＳＤＲＡＭ１０３は、画像データおよびＪＰＥＧ圧縮データを一時保管するメモリと、表示用データを保持するメモリと、ＣＰＵ１０４ｇのＲＡＭとを兼ねている。またＲＯＭ１０５には、カメラの制御を行う制御プログラムなどがあり、このプログラムおよびデータをもとにＣＰＵ１０４ｇが動作する。

次に、図１，図２に基づいてデジタルカメラの静止画撮影について説明する。
まず、レリーズシャッタボタン２が押されると、撮影に先立ちＡＦ(ＡＵＴＯ ＦＯＣＵＳ）処理が行われる。ＡＦ処理は、例えばレンズユニット７Ｌにおけるフォーカスレンズを移動させながらコントラストの最大値を見つける山登りＡＦなどが行わる。これは映像信号のＧ信号（または輝度値であるＹ信号）の高周波成分からＡＦ評価値を作成し、これが最大になるところのフォーカスレンズ位置を算出し、フォーカスレンズを移動させる処理である。ＡＦの評価値を取得するエリアについては被写体に対し、複数のエリアを考慮するマルチエリアＡＦや、一部しか考慮しないスポットエリアＡＦなどがある。そしてＡＦ評価値を基に撮影シーンに適したフォーカス位置を算出し、そのポイントへフォーカスレンズを移動させる。フォーカスレンズはＣＰＵ１０４ｇの命令により、レンズユニット７Ｌのモータードライバ７ａを介して移動させることができる。

次に、静止画撮影用の電子シャッタ本数や、ＡＧＣ１０２ｂの計算/設定、絞りの計算/設定が行われ（ＡＥ（ＡＵＴＯ ＥＸＰＯＵＳＲＥ）処理）、記録用の露光が行われる。ＣＰＵ１０４ｇからの命令により、電子シャッタの設定はＣＣＤ１０１の駆動を制御するＴＧ１０２ｄにより、ＡＧＣ１０２ｂの設定はＡＦＥ１０２により行うことができる。静止画用露光完了時点でメカシャッタが閉じられ、ＣＣＤ１０１より静止画用のＲＡＷデータが出力される。レリーズ処理１（半押し），レリーズ処理２（全押し）を搭載しているカメラシステムではレリーズ処理１時においてＡＦやＡＥ処理の計算を行い、レリーズ２処理で記録用の露光が行われるような制御になっているのが一般的である。

静止画用ＲＡＷデータは、信号処理ＩＣ１０４を介してＳＤＲＡＭ１０３に取り込まれる。信号処理ＩＣ１０４では、黒レベルの補正や、欠陥画素の補正、シェーディング補正などの画像処理が行われ、ＲＡＷデータとしてＳＤＲＡＭ１０３に書き込まれる。インタレース転送であれば、複数回の転送によって全てのＣＣＤデータがＲＡＷデータとしてＳＤＲＡＭ１０３に書き込まれる。

ＳＤＲＡＭ１０３に取り込まれた全てのＲＡＷデータは、再び信号処理ＩＣ１０４を介し、ＷＢのゲイン乗算や、ガンマ補正、ＲＧＢ補間処理を経て、ＹＵＶ変換部１０４ｂでエッジ強調や色設定などの各種画像処理を行うとともに輝度／色差信号であるＹＵＶデータに変換されてＳＤＲＡＭ１０３に書き戻される。尚、本発明に関するホワイトバランスの制御の詳細については後述する。

ＹＵＶに変換されたデータはフルサイズ（ＣＣＤサイズ）であり、記録画像サイズがＣＣＤサイズよりも小さいサイズで記録される場合は、信号処理ＩＣ１０４のリサイズ処理部１０４ｃで画像が縮小される。

リサイズを経て記録用に用意されたＹＵＶ画像は、圧縮伸張部１０４ｅで所定のフォーマットにしたがって圧縮処理が行われる。例えばＪＰＥＧ（Joint Photographic Experts Group)圧縮が行われる。ＪＰＥＧ圧縮結果はＳＤＲＡＭ１０３に書き戻され、ヘッダ追加などの処理が行われた後にメモリコントローラを介し、メモリカード１３０などの記録媒体にデータが保存される。
以上が一般的な静止画撮影のフローである。

次に、領域分割処理について説明を行う。
領域分割処理は、単に画像を分割するという訳ではなく、複数の意味のある領域に分割するものである。分割された領域情報を有していれば例えば先述したＡＥ，ＡＦ、ＡＷＢなどの画像処理において現状より精度の高い画像処理を行うことができる。領域分割の技術は古くから研究されているが、非常に難しい技術であり、いくつものアルゴリズムが提案されている。本発明で採用する代表的なものを挙げると画像を細かいセグメントに分割する技術としてＭＥＡＮ-ＳＨＩＦＴ法がある。

ＭＥＡＮ-ＳＨＩＦＴ法では、画像信号の中の色とエッジの情報を使い画像を細かい領域に分割することを行う（ＭＥＡＮ-ＳＨＩＨＴ法の詳細はここでは記述しない）。次に、細かく分割された領域を、意味のある領域毎に統合していく（クラスタリング）ことが必要である。

一番シンプルな例を説明すると画像に対し、主要被写体と、背景部分の２つに領域を分割することが挙げられる。第１ステップとして先述しているように色とエッジ情報を使い細かい領域に領域分割を行い、その後分割されたセグメントを主要被写体領域と、背景領域にマージしていく。

あるいは領域分割手段は、ＭＥＡＮ-ＳＨＩＨＴ法の分割に代えて、前記撮像手段で撮像された領域を複数のエリアに分割し、該エリアごとの画像信号の色信号であるＲ，Ｇ，Ｂ信号の積算値の情報を用いて領域分割を行ってもよい。これは、ＭＥＡＮ−ＳＨＩＨＴ法は領域分割手段として有効な方法であるが計算量が多く、システムによってはリアルタイム処理に向かない場合があるため、その代わりとして、Ｒ，Ｇ，Ｂ信号の積算情報を用いて領域分割を行うものである。積算情報は画面内を、例えば１６＊１６に分割した２５６ブロックの情報で領域分割を行うので分割の精度は粗くなるがリアルタイムに処理が可能となる。

なお、前記領域分割手段による領域分割の際に、ＡＦ評価値も用いるとよい。
カメラの場合は、主要被写体と背景領域にクラスタリングする際に分割する画像情報だけでなくカメラ特有の情報（例えば、静止画を撮影する前の距離情報）を利用してクラスタリングの精度の向上および高速化をすることができる。例えば主要被写体はひとつのオブジェクトであるので距離情報に相関性があり、クラスタリングを行うのに有効な情報となる。

クラスタリングを行うのに有効な距離情報を取得するには、画像データを複数のブロック（例えば３２×３２）に分割し、各フォーカスポイントにおける画面内の各分割ブロック毎にＡＦ評価値を取得し、被写体の距離情報に変換することが必要である。分割された各ブロックでＡＦ評価値が大きくなった時のフォーカスパルス位置から、被写体までの距離を算出することができる。このとき同じような距離にあるエリアはひとつの領域と考えられるので、前述した分割手法と組み合わせることにより領域分割の精度を向上させることができる。一方で、一枚の画像データからＡＦ評価値を取得する場合は一枚の画像を得たときのフォーカスパルス位置の情報しかないので被写体の距離情報を算出の精度が低くなってしまう。したがって、距離情報の信頼性というのがクラスタリングを行うのに非常に重要なこととなる。

そこで本発明では、クラスタリングの精度および高速化を図るために、ＡＦスキャン時に得られた距離情報と、静止画撮影時に得られた距離情報を比較して、静止画撮影時の領域分割にＡＦ時の距離情報を利用して良いか否かを判定する。判定がＯＫとなれば領域分割の精度および高速を図ることができる。ここで言う高速化というのは、一枚の画像データから得られる距離情報ではクラスタリングをするのに精度が低く、信頼性が確保できていない場合は、その信頼性を確認するために画像の解析などが必要になるので処理時間が多く必要になってしまうからである。

なお、領域分割手段は、光源の種類の推定結果に基づき画像全体を分割することが好適である。すなわち、ＷＢ制御に関する領域分割の分割基準として、光源の種類で分割するのが望ましい。光源の種類に応じて好ましいＷＢ制御値（ゲイン）が異なるからである。

次に、ＡＷＢ制御に関して説明を行う。
従来、ビデオカメラ、ＶＴＲ一体型カメラ、電子スチルカメラ等の撮像装置や、携帯端末装置に付属する撮像装置では、カラー撮像時に安定した色再現を得るため、被写体において、人間が白く見える部分を記録画像でも白く再現するためにオートホワイトバランス（以下、ＡＷＢという）処理が行われている。

一般的にＡＷＢを実現する制御方法としては、被写体から白色（無彩色）部分を抽出し、抽出された領域の色情報からＷＢ補正値を計算する方法がある。例えば、１画面が１６×１６に分割された２５６個の領域ごとに、Ｒ，Ｇ，Ｂ信号それぞれの積算値を算出し、その分割された領域ごとにＧ信号の積算値に対するＲ，Ｂ信号の積算値の比（Ｇ／Ｒ，Ｇ／Ｂ）を求める。

次に、求められた２５６個の積算値の比を、Ｇ／Ｒ，Ｇ／Ｂを軸とした色空間（ホワイトバランス色空間）にプロットし、それらの分布から白検出を行う。白検出を行うためには予め色空間上に光源（昼光やタングステン光）の色温度を変化させた場合における黒体輻射の軌跡をリファレンスゲインとして用意しておき、プロットされた２５６個の制御値とマッチングをとることにより、各種光源下における白検出が実現できる。

この白検出により被写体における光源の種類を判別し、判別された光源に対して、Ｒ，Ｇ，Ｂ信号の積算比がＲ：Ｇ：Ｂ＝１：１：１となるようなホワイトバランスゲイン（ＷＢ補正値）をそれぞれの画素に乗算することでホワイトバランス（ＷＢ）の補正が実現できる。これは人間の色順応のメカニズムに基づいており、人間は異なる照明下においても白いものが白く見えるように色順応が働くという仮説に基づいている。

したがって、ＡＷＢとは、画面全体が白色となる基準被写体を撮影している状態で、撮影信号としてのＲ信号、Ｇ信号、Ｂ信号の出力レベルを等しくする調整動作ということができる。Ｒ信号、Ｇ信号、Ｂ信号の出力レベルを等しくするために、入力Ｒ信号、入力Ｇ信号、入力Ｂ信号のそれぞれに対して乗算される係数がホワイトバランス係数（ホワイトバランスゲイン）となる。

ところで、このような方式では、被写体に無彩色の部分がない場合や、被写体のほとんどを有彩色（物体色）が占める場合には、白検出ができないか、もしくは白検出の精度が低下し、結果的に誤ったホワイトバランス制御を行ってしまうという欠点がある。具体的な例を示すと、高色温度の光源下において人肌がアップのシーンで、人肌の肌色を低色温度光源下の白色（無彩色）と誤って判別し、人肌を青白く補正してしまうという問題が指摘されている。また森林のように緑が占める割合が大きい場合にも光源が蛍光灯であると誤判別してしまうことがある。このような誤ったホワイトバランス制御はカラーフェイリアと呼ばれている。

以下、本発明の要部構成について説明する。
本発明に係る撮像装置は、光学像を電気的な画像信号に変換する撮像手段（ＣＣＤ１０１）と、前記画像信号に基づいた表示を行う表示手段（ＬＣＤモニタ１０）と、前記撮像手段で撮像された全体領域を複数の領域に分割する領域分割手段（ＣＰＵ１０４ｇ）と、該領域分割手段で分割された複数の領域ごとでホワイトバランス制御用の特徴検出を行う特徴検出手段（ＣＰＵ１０４ｇ）と、前記領域分割手段による領域分割の信頼度を算出する領域分割信頼度算出手段（ＣＰＵ１０４ｇ）と、前記領域分割信頼度算出手段によって算出された信頼度が閾値より大のとき、対象の分割領域について前記特徴検出手段の結果に基づくホワイトバランス制御値を用いてホワイトバランス制御を行い、前記領域分割信頼度算出手段によって算出された信頼度が閾値以下のとき、対象の分割領域についてユーザ指示に基づくホワイトバランス制御値を用いてホワイトバランス制御を行うホワイトバランス制御手段（ＣＰＵ１０４ｇ）と、を備えることを特徴とする。

ここで、前記領域分割信頼度算出手段は、隣接する分割された領域同士の画像信号の明度・彩度・色相の情報を比較することにより、信頼度を算出することが好ましい。すなわち、領域分割の信頼性を判定する１つの指標として、領域ごとの色情報（明度、彩度、色相）を比較することで総合的に判定するものである。今後技術が進んでデジタルカメラのような小さなコンピュータにおいてももっと多くの情報を使うことで、より領域分割の精度およびその信頼性判定の精度が上がっていく可能性もあるが、現時点のデジタルカメラにおいて効率よく実現できる領域分割の信頼性判定指標として領域ごとの色情報を使って信頼度を算出し該信頼度に基づいて信頼性を判定することが好適である。

また、前記表示手段（ＬＣＤモニタ１０）は、撮像画像全体の中で、前記領域分割信頼度算出手段によって算出された信頼度が閾値以下の領域分割について警告表示するとよい。例えば、前記領域分割信頼度算出手段によって算出された領域分割の信頼度が閾値以下である場合に、該領域分割で形成される領域の信頼性が低いとして撮影直後のプレビュー時にその対象の領域を点滅表示することでユーザにその旨を知らせる領域分割信頼性警告手段を設ける。

また、前記領域分割信頼度算出手段により信頼性が低いと判定された分割領域における前記特徴検出手段の結果を変更可能とするユーザインターフェースをもつことが好適である。すなわち、信頼性が低い部分の領域のＷＢを後処理で簡単に変更可能なインターフェースを用意するものである。例えば、信頼性の低い部分の領域をユーザが視認でき、その領域に設定するＷＢ制御値（ゲイン）を晴天、曇天、日陰、蛍光灯などのプリセットゲインから選択可能なものとして、リアルタイムに画像を変更表示でき、ユーザが出来上がりを確認しながら好ましいと思うものを選択することができるようにするものである。

以下、領域分割信頼度算出手段に関する具体的な実施形態を説明する。
図３は、本発明における画像処理シーケンスの一形態を示すフローチャートである。
前述したようにＲＯＭ１０５の中にはデジタルカメラの制御を行う制御プログラムが格納されている。本実施形態では制御プログラムに撮影画像から最適と思われるホワイトバランスのゲインを計算するＡＷＢ制御プログラム、画像を解析し領域分割を行う領域分割プログラム、領域分割プログラムの計算過程で算出された領域分割の信頼性を判定する領域分割信頼性判定プログラム、領域分割の信頼性が低いと判定された場合に起動される警告表示プログラムおよび分割領域ＷＢ変更プログラムを含んでいる。ＣＰＵ１０４ｇでは、これらのプログラムにしたがって必要な処理を行うものである。

（Ｓ１１） まず領域分割手段は、領域分割プログラムに従って、撮像画像を解析し領域分割を行う。

図４は、領域分割手段による領域分割の動作を説明する図である。ここでの領域分割は被写体に太陽が当たっており、右側は日陰になっているような例である。領域分割の方法に関してはすでに述べているように、例えば色とエッジの情報を用いて行う。領域分割手段は、撮像手段で撮像された全体領域を複数の領域に分割するが、ここでは全体領域（図４（ａ）について、太陽光が当たっている部分を領域Ａとして切り出しており（図４（ｂ））、日陰の部分を領域Ｂとして切り出している（図４（ｃ））。

つぎに、特徴検出手段が領域分割手段で分割された複数の領域ごとでホワイトバランス制御用の特徴検出を行う。ここでは、ホワイトバランス制御用の特徴検出は領域Ａ，領域Ｂに対してそれぞれ行う。

図５に領域Ａにおける特徴検出の方法と特徴検出されたブロックを示し、図６に領域Ｂにおける特徴検出の方法と特徴検出されたブロックを示す。この例では、画面全体を１０×６のブロックに分割した例を示している。

ホワイトバランス制御用の特徴検出に際しては、まず各ブロックごとに、Ｒ，Ｇ，Ｂ信号それぞれの積算値を算出し、その分割された領域ごとにＧ信号の積算値に対するＲ，Ｂ信号の積算値の比（Ｇ／Ｒ，Ｇ／Ｂ）を求める。

次に、求められた各ブロックの積算値の比を、Ｇ／Ｒ，Ｇ／Ｂを軸とした色空間（ホワイトバランス色空間）にプロットし、それらの分布から白検出を行う。白検出を行うためには予め色空間上に光源（昼光やタングステン光）の色温度を変化させた場合における黒体輻射の軌跡をリファレンスゲインとして用意しておき、プロットされた制御値とマッチングをとることにより、各種光源下における白検出が実現できる。

その結果、特徴領域として白検出されたブロックが図の右に示したブロック（図５（ｂ）、図６（ｂ））となる。最後に、領域Ａ、領域Ｂにおけるブロック、特徴検出されたブロック、ＷＢ制御値はＣＰＵに保存しておく。

（Ｓ１２） つぎに、領域分割信頼度算出手段は、領域分割信頼性判定プログラムに従って、前記領域分割手段による領域分割の信頼度を算出する。例えば、まず画面全体を１０×６をブロックに分割し、各ブロック毎のＲ，Ｇ，Ｂの積算値および平均値を求める。これは信号処理ＩＣ１０４で実現可能である。次に領域分割された各領域に対応するブロックの明度、彩度、色相を求める。これもブロック毎のＲ，Ｇ，Ｂ積算値情報から算出できる。そして各領域毎における画像信号の明度・彩度・色相の情報を比較することにより信頼性を算出するものである。

図７は、領域分割信頼性判定プログラムによる信頼性判定のフローの１例である。
ここでは、まずステップＳ１１で分割された領域Ａ（日向）の明度、彩度、色相(Ｂ１，Ｃ１，Ｈ１)を算出し（Ｓ２１）、ついで領域Ｂ（日陰）の明度、彩度、色相(Ｂ２，Ｃ２，Ｈ２)を算出する（Ｓ２２）。そして、まず第１段階として、それぞれの領域の明度の差の絶対値と明度のスレッシュＴＨ１とを比較する（Ｓ２３）。つぎに、第２段階として、それぞれの領域の彩度の差の絶対値と彩度のスレッシュＴＨ２とを比較する（Ｓ２４，Ｓ２７）。つぎに、第３段階として、それぞれの領域の色相の差の絶対値と色相のスレッシュＴＨ３とを比較する（Ｓ２５，Ｓ２６，Ｓ２８，Ｓ２９）。このように、領域Ａと領域Ｂの明度、彩度、色相の差の絶対値がそれぞれどれだけあるかを比較して、それぞれの場合分けにより最終的に信頼度を算出する。

この信頼度の考え方としては、領域Ａと領域Ｂがそれぞれ別の光源で照らされていれば明度、彩度、色相にある程度の差があり、差が一定以上あれば正しく領域分割されているだろうという考え方を採用している。そのため、明度、彩度、色相それぞれ差が大きいときは一番信頼度が高く、どれか差が小さいときは信頼度を順次下げて行くようにしている。

なお、ここで示した信頼性の算出方法は例であり、スレッシュの決め方は例えば機械学習のような方法で求めてもよいし、明度・彩度・色相だけの情報でなくＲＧＢ積算値の情報、領域ごとのＡＦ情報など用いても良い。これらのうち、色情報は現在のデジタルカメラで比較的扱いやすいので好適である。

つぎに、領域分割信頼性判定プログラムによる信頼性判定処理の結果、領域分割の信頼性があると判定されると（図３のステップＳ１３のＹＥＳ）、最初に算出されたＷＢ制御値を使用してのＲＡＷ画像を現像し、最終的にはＪＰＧＥ画像として記録して（Ｓ１８）終了する。なお、信頼性判定プログラムで求められた領域分割の信頼度が６０より大の場合に領域分割の信頼性があるとすればよい。

一方、領域分割信頼性判定プログラムによる信頼性判定処理の結果、領域分割の信頼性がないと判定されると（図３のステップＳ１３のＮＯ）、領域分割の警告表示を行う（Ｓ１４）。ここでは、領域分割の信頼度が６０以下の場合に、警告表示を行うとする。この警告表示の目的は領域分割の信頼性が小さいということをユーザに知らせると同時に、画像を確認してもらい後述する分割領域ＷＢ変更処理を実行するか否かをユーザに選択させることである。

図８に警告表示画面の一例を示す。ここでは領域Ｂの日陰部分と判定したエリアを点滅表示している。点滅させる方法としては、ディスプレーコントローラの機能を使い画面上で、領域Ｂ部分に対応するエリアを通常表示の状態（図８（ａ））とＯＳＤで黒塗り描画した状態（図８（ｂ））を交互に周期的に表示することにより行う。また、ＬＣＤモニタ１０下にはＷＢ制御値を変更するか否かの表示を行い、ユーザにデジタルカメラの操作部１４のＵ／Ｉ（十字ボタンやＯＫボタン）を利用し、分割領域ＷＢ変更処理を行うか否かを選択可能な状態とする（図３のステップＳ１５）。

分割領域ＷＢ変更処理を行わないことが選択された場合（図３のステップＳ１５のＮＯ）には、それぞれの分割領域ごとに算出されたＷＢ制御値（ホワイトバランスのパラメータ）を使用してのＲＡＷ画像を現像し、最終的にはＪＰＧＥ画像として記録する（Ｓ１８）。

分割領域ＷＢ変更処理を行うことが選択された場合（図３のステップＳ１５のＹＥＳ）には、分割領域ＷＢ変更プログラムが実行され、図９，図１０のように処理（図３のステップＳ１６，Ｓ１７）が行われる。

図９は、分割領域ＷＢ変更プログラムのユーザインターフェース表示例を示している。また、図１０は分割領域ＷＢ変更フローである。
（Ｓ３２） まずＬＣＤモニタ１０の最初の画面に各領域毎に算出されたＷＢ制御値を利用し、ＲＡＷデータを現像した結果を表示する（図９）。このとき、画面左には各種光源下（低色温度側から高色温度側）に適したホワイトバランスを設定する選択バーが用意されており、ユーザはカメラのＵ／Ｉを利用しホワイトバランスの設定を変更することができる。
（Ｓ３３） ホワイトバランスが変更されると、分割領域ＷＢ変更プログラムでは変更されたＷＢ制御値を利用してＲＡＷデータを現像し直し、その結果を表示させる。
（Ｓ３１） ユーザは最適と思われるＷＢを選択した後でＵ／Ｉを操作することで（例えばＯＫボタン、図１０のステップＳ３１のＹＥＳ）、ユーザが選択したＷＢ制御値でＲＡＷデータを現像して得られるＪＰＥＧデータを記録する。

以上のようにすることにより、ユーザがＷＢの変更結果を確認しながら最適と思われるＷＢ制御値の設定を選ぶことができる。

なお、本発明の撮像装置において、前記領域分割手段により分割された領域（分割領域）の信頼度を算出する領域分割信頼度算出手段による前記分割領域の信頼度が閾値以下であるとき、前記ホワイトバランス制御手段は、前記撮像手段で撮像された全体領域について前記特徴検出手段が検出する特徴検出結果と、前記領域分割手段により分割された領域ごとについて前記特徴検出手段が検出する特徴検出結果との加重平均により算出した結果を用いてホワイトバランス制御を行うものとしてもよい。

これにより、領域分割が難しい被写体などについて、領域分割手段が誤った領域分割を行ってしまっても、領域分割の信頼度を考慮することで大きくＷＢを外して画像が破綻してしまうようなことを防止することができる。

このように、ホワイトバランス制御手段が、前記撮像手段で撮像された全体領域について前記特徴検出手段が検出する特徴検出結果と、前記領域分割手段により分割された領域ごとについて前記特徴検出手段が検出する特徴検出結果との加重平均により算出した結果を用いてホワイトバランス制御を行うことにより、領域分割の信頼性が低い場合の画像の破綻を軽減することはできるが、カメラの動作としては領域分割を行うには難しいシーンなので控えめなＷＢ制御値を設定することとなる。そのため、結果的にユーザにとって不満の残る画像となる可能性もある。そこで撮像結果が満足のいくものか否かはユーザの主観によるものなので、領域分割の信頼性が低い場合は、その領域分割結果をユーザに判断可能に知らこととする。そして、その撮像結果が気に入らなければその場で別の設定で撮影し直すようにすればよい。なお、領域分割結果を提示しなかった場合は画像を見て判断しなければならないが、カメラのＬＣＤでは確認しづらく、どこで領域が分割されているかも判らないことが多い。そのため、領域分割結果が分かるように表示することが好ましい。

ところで、従来の撮像装置では、ホワイトバランス（ＷＢ）制御のための画面特徴検出は、電子ズームされた表示範囲について実行していた。すなわち、電子ズームを利用した撮影を行う場合、電子ズームにより拡大された領域のみからオートホワイトバランス（ＡＷＢ）を行うための評価値を取得し、ＷＢ制御を行うものであるが、画面内の色の特徴を検出してホワイトバランスをするシステムにおいては、ズームした画面内に同じ色が多く含まれると、その色を被写体に照射されている光源色なのか、被写体自体の色なのか判断できない場合（光源推定が難しい場合）があった。この場合、被写体色を白くしてしまうような誤動作が発生し、精度の高いＷＢ制御ができなかった。

詳しくは、光源推定の方法として一般的には撮影画像から白色（無彩色）部分を抽出し、抽出された領域の色情報から光源を推定するが、電子ズームにより拡大された領域のみから光源推定を行った場合、その領域に無彩色の部分がない場合や、被写体のほとんどを有彩色（物体色）が占める場合には、白検出ができないか、もしくは白検出の精度が低下し、結果的に誤った光源推定を行ってしまうという欠点がある。電子ズームを行う場合は、記録画像に対して物体（色）が占める割合が増えると言えるので、光源色なのか物体色なのかの判別は困難であり、光源推定が非常に難しく、結果として、電子ズームで拡大された領域のみの情報からＷＢを決定すると、光源推定の精度が落ちてしまっていた。

そこで、電子ズーム動作している時の特徴検出の方法として、電子ズームにより表示している範囲から色情報を抽出するか、表示している範囲よりも広い範囲から色情報を抽出するかを選択できるようにすることで、電子ズーム領域に特定の色（被写体の色）が大半を占め特徴検出ができないような場合に画面全体の色情報を使うことで、ＷＢ制御の誤動作が発生する可能性が低くすることができる発明が提案されている（例えば、特開２００４−６４６７６号公報参照。）。

ところが、このような技術でも以下の課題が存在した。
課題１） ホワイトバランスの画面特徴抽出範囲の選択において、電子ズームされた領域を選択するのか、画面全体など電子ズームされた領域以外の範囲も特徴抽出の範囲として選択するのかをどのように選択する（例えばＵＩ等）かの言及がない。
課題２） 電子ズーム撮影において電子ズームされた領域は主要被写体である確率が高く、このような場合は画面特徴抽出範囲を電子ズーム領域に限定し狭くしない方が誤動作の可能性は低くなるが、電子ズームされた表示範囲外に特定の色が占めている場合や、画面全体に複数の光源が存在する場合は画面全体から特徴抽出しても電子ズーム表示された領域に対して精度の高いＷＢが実現できない。

すなわち、従来の方法では電子ズームにより拡大された領域以外の情報からもＡＷＢ評価値を取得するため、例えば電子ズームで拡大される前の映像データに複数の光源があった場合は、それぞれの光源に最適なＷＢを平均（もしくは加重平均）したＷＢ制御が最終的に施された。例えば、背景は日陰であるが、被写体には太陽光が当たっているようなシーンを想定すると、従来のＷＢ制御では撮影シーンに日陰部分と、太陽光があると判定された場合においても画像全体に設定できるＷＢ制御値は１つなので日陰部分に最適なＷＢと、太陽光に最適なＷＢを加重平均するなどして最終ＷＢを決定した。このようなシーンで太陽光のみが当たっている被写体のみを記録するように電子ズームにより拡大された場合、太陽光で最適なＷＢを設定するのが記録画像に対し最適なＷＢと言えるが、画像全体からＷＢを決定しているため最適なＷＢを設定することができなかった。

また、撮影画面内で操作者が人肌（肌色）を選択し、選択された検出枠内で色評価を行い、ホワイトバランスを設定する撮像装置が提案されている（例えば、特開２００４−３１２１３９号公報参照。）。この発明によれば、白検出ができない場合（ＡＷＢの信頼性が低い場合）においても、例えば選択くされた検出枠が肌色であることが分かっていれば、その検出エリア内の色情報を利用することで、肌色をターゲットとした（肌色の再現性を考慮した）ホワイトバランスの設定が可能となり、人肌が青白くなるのを防ぐことができる効果がある。しかしながら、操作者が肌色部分を何らかの方法で指定しなければならず、撮影の度にこのようなことをしているとシャッターチャンスを逃してしまうことになってしまう。

また、光源を特定するための白検出において、画面を１６×１６などに分割した各ブロックに対し、１ブロックを構成する画素群の中から特徴的な画素を検出して、この特徴的な画素から得られる色差と、ブロックを代表する色差を比較することにより、ブロックを代表する色差が、入力された画像の光源を反映しているか否かをチェックして、カラーフェイリアを低減するという技術が提案されている（例えば、特開２００６−２０３３９３号公報参照。）。この発明によれば、ブロック内に無彩色と、有彩色のものが存在するときは、カラーフェイリアを軽減する手段として有効であると思われるが、ブロック内に有彩色しかない場合は代表値の色差と、特徴的な画素の色差を比較することが困難と思われ、また、光源の影響により有彩色を、無彩色と誤判別することで生じるカラーフェイリアの問題を解決することはできなかった。

そこで発明者は、以上の従来技術における問題に鑑みて鋭意検討を行い、電子ズームで拡大された撮影においても、画面全体の領域分割情報を用いることで最適なＷＢ制御を実現する撮像装置を成すに至った。

以下、電子ズーム撮影に関する本発明の要部構成について説明する。
すなわち、本発明係る撮像装置（図１，図２のデジタルカメラ）は、光学像を電気的な画像信号に変換する撮像手段（ＣＣＤ１０１）と、前記画像信号のズーム領域を選択するズーム領域選択手段（カメラ操作部１４）と、該ズーム領域選択手段により選択された領域の画像信号を表示する表示手段（ＬＣＤモニタ１０）と、前記撮像手段で撮像された全体領域を複数の領域に分割する領域分割手段（ＣＰＵ１０４ｇ）と、該領域分割手段で分割された複数の領域ごとでホワイトバランス制御用の特徴検出を行う特徴検出手段（ＣＰＵ１０４ｇ）と、前記領域分割手段で分割された領域のうち、前記ズーム領域選択手段が選択したズーム領域の全部もしくは一部が含まれる領域についての前記特徴検出手段の結果を用いてホワイトバランス制御を行うホワイトバランス制御手段（ＣＰＵ１０４ｇ）と、を備える。

本発明は、これにより、前述した従来発明の課題１）および課題２）を解決することができる。すなわち、従来発明では、ホワイトバランスの画面特徴抽出範囲の選択において、電子ズームされた領域を選択するのか、画面全体など電子ズームされた領域以外の範囲も特徴抽出の範囲として選択するかのガイドラインがなかったが、本発明では、領域分割手段により画像信号を主要被写体領域と背景領域（または領域Ａと領域Ｂ）に分割し、分割されたそれぞれの領域で最適なＷＢが算出されたとき、電子ズームで拡大された領域が例えば主要被写体（または領域Ａ）部の分割領域に含まれる場合は、主要被写体（または領域Ａ）領域を特徴検出エリアとして算出されたＷＢ制御値を記録画像のＷＢ制御に用いる。このようにすることで、電子ズームによりズームされた領域だけでなく、電子ズーム領域を含む分割領域からＷＢを算出し設定できるので、背景領域（または領域Ｂ）の情報を排除した精度の高いＷＢを実現することができる。これは画面内に複数光源がある場合（例えば日向部と、日陰部）など特に効果が期待でき、光源の種類により分割された領域に対し、電子ズーム領域が含まれる光源の領域から算出したＷＢで記録することができる。また、本発明では、電子ズーム領域に対して領域分割領域が一致しなくても従来の方法と比較して精度の高いＷＢが実現できる。

ここで、本発明の撮像装置の実施形態（１）を説明する。
図１１は、電子ズーム動作を説明する図である。図１，図２のデジタルカメラの操作部１４により、図１１（ａ）の撮像された全体画像において電子ズーム領域（図中点線部分）が設定された場合、ＣＣＤ−Ｉ／Ｆ１０４ａは設定された電子ズーム領域のみを撮像範囲としてフレームメモリ（不図示）へ出力する。そして、フレームメモリに一時保管されたデータは上記のように画像処理されて、表示部であるＬＣＤモニタ１０で表示されるようになる（図１１（ｂ））。ここではＣＣＤ−Ｉ／Ｆ１０４ａでのデータをフレームメモリに取り込む範囲を限定することで電子ズームを説明したが、フレームメモリへの取り込みは通常通りに行い、ＹＵＶ変換時、または表示用のデータ読み出し時に一部領域を拡大して表示することによっても電子ズームは実現できる。

つぎに、領域分割手段による領域分割が行われる。例えば、図４（ａ）に示したような被写体に太陽が当たっており、右側は日陰になっているような例においては、すでに説明したように例えば色とエッジの情報を用いて領域分割を行って、太陽光が当たっている部分を領域Ａとして切り出し（図４（ｂ））、日陰の部分を領域Ｂとして切り出す（図４（ｃ））。

つぎに、特徴検出手段が領域分割手段で分割された複数の領域ごとでホワイトバランス制御用の特徴検出を行う。ここでは、図５，図６に示したように、ホワイトバランス制御用の特徴検出は領域Ａ，領域Ｂに対してそれぞれ行うとよい。

すなわち、ホワイトバランス制御用の特徴検出に際しては、まず各ブロックごとに、Ｒ，Ｇ，Ｂ信号それぞれの積算値を算出し、その分割された領域ごとにＧ信号の積算値に対するＲ，Ｂ信号の積算値の比（Ｇ／Ｒ，Ｇ／Ｂ）を求める。

次に、求められた各ブロックの積算値の比を、Ｇ／Ｒ，Ｇ／Ｂを軸とした色空間（ホワイトバランス色空間）にプロットし、それらの分布から白検出を行う。白検出を行うためには予め色空間上に光源（昼光やタングステン光）の色温度を変化させた場合における黒体輻射の軌跡をリファレンスゲインとして用意しておき、プロットされた制御値とマッチングをとることにより、各種光源下における白検出が実現できる。

その結果、特徴領域として白検出されたブロックが図の右に示したブロック（図５（ｂ）、図６（ｂ））となる。最後に、領域Ａ、領域Ｂにおけるブロック、特徴検出されたブロック、ＷＢ制御値はＣＰＵに保存しておく。ここでは例えば、領域ＡのＷＢ制御値を（Ｒ，Ｂ）＝（１．５、１．２）、領域ＢのＷＢ制御値を（Ｒ，Ｂ）＝（２．２、１．５）と算出されたとする。

次に、図１１で示した電子ズームで拡大された撮影でのＷＢの制御を説明する。この撮影では中央の主要被写体の顔の部分が電子ズームされている。この領域は、図４の分割された領域Ａ（図４（ｂ））に属する。分割された領域に対し、電子ズームされた部分がどちらに属するかは画像全体に対し電子ズームで拡大されている領域の座標と、分割領域のマッチングを考えることで簡単に判定できる。

さて、電子ズームで拡大されている領域は、図５で示している領域Ａ（図５（ａ））には属するが、領域Ａで特徴検出されてブロック（図５（ｂ））には属さない。従来の方法ではこのような場合、電子ズームの領域の情報でＷＢを計算すると、電子ズーム領域の多くの部分を顔の肌色が占めるため、ホワイトバランスの光源色判断において、低色温度光源と誤判定してしまう。

また、特開２００４−６４６７６号公報では、このような場合、電子ズーム以外の領域から特徴検出を行うが、領域Ａの制御値と、領域Ｂの制御値から最終ＷＢを決定することを行う。例えば、前記領域ＡのＷＢ制御値と領域ＢのＷＢ制御値の平均をとり、（Ｒ，Ｂ）＝（（１．５＋２．２）／２、（１．２＋１．５）／２）＝（１．８５、１．３５）となる。しかし、最適なＷＢとしては、電子ズーム領域においては太陽光が光源なので領域Ａの（Ｒ，Ｂ）＝（１．５、１．２）である。

本発明では、ホワイトバランス制御手段は、ズーム領域選択手段が選択したズーム領域の全部もしくは一部が含まれる領域についての前記特徴検出手段の結果を用いてホワイトバランス制御を行う。すなわち、本実施形態の場合でも、領域Ａに電子ズーム拡大領域が属していることが判るので、領域ＡのＷＢ制御値を用いて最適なＷＢ制御を行うことができる。

つぎに、本発明の撮像装置の実施形態（２）について説明する。
すなわち、本発明の撮像装置は、前述した実施形態（１）の構成の撮像装置において、前記ズーム領域選択手段が選択したズーム領域が、前記領域分割手段で分割された複数の領域に含まれるとき、前記ホワイトバランス制御手段は、前記ズーム領域が含まれる複数の領域のそれぞれで該ズーム領域を含む割合に応じて、該複数の領域それぞれにおける前記特徴検出手段の結果に重み付けを行って求められた結果を用いてホワイトバランス制御を行うことが好ましい。

例えば、領域分割手段により、画像信号が領域Ａ（日向部）と領域Ｂ（日陰部）に分割されたとする。このとき、電子ズーム領域が分割された領域Ａ，Ｂをまたいでいるような場合（電子ズーム領域の一部が日向部に含まれ、一部が日陰部に含まれる場合）は、電子ズーム領域に対し日向部領域、日陰部領域が含まれる割合に応じて、記録画に設定するＷＢを日向部で最適なＷＢ制御値と、日陰部で最適なＷＢ制御値で加重平均して設定することを行う。こうすることで電子ズーム領域に複数の光源が存在する場合においてもどちらの光源に対しても、最適ではないが中庸なＷＢ制御値を設定することができ、一方の光源のみ最適で、もう一方の光源が当たっている部分のＷＢが大きくずれ色がおかしくなってしまうのを防ぐことができる。

本実施形態の具体例を説明する。
図１２は、電子ズーム領域内に複数の領域分割領域が存在するときの領域分割の例を示す。図１２で示しているのは、図１２（ａ）の全体領域（全体画像）において、左側の人物には白熱灯の光が当たってないが、右側の人物には白熱灯が当たっており、領域分割手段により、領域Ａ（図１２（ｂ））、領域Ｂ（図１２（ｃ））に分割された状況である。

ここで、実施形態（１）と同様に、特徴検出手段は、ホワイトバランス制御用の特徴検出を領域Ａ，領域Ｂに対してそれぞれ行う。図１３に領域Ａにおいて特徴検出されたブロックを示し、図１４に領域Ｂにおいて特徴検出されたブロックを示す。そして、それぞれのブロックからＷＢ制御値を算出するが、仮に領域ＡでのＷＢ制御値を（Ｒ，Ｂ）＝（１．５，１．５）、領域ＢでのＷＢ制御値を（Ｒ，Ｂ）＝（１．０，３．２）とする。

このような状態において、電子ズーム領域は、領域Ａ，領域Ｂどちらにおいても単独では特徴検出できていない。このような場合は、従来の電子ズーム領域のみからの特徴検出を行おうとすると特徴検出できないのでＷＢの精度が悪くカラーフェイリアが発生してしまう。また、電子ズーム領域以外の領域の情報を使って制御すると、領域Ａの制御値と、領域Ｂの制御値から最終ＷＢ制御値を決定するため、例えば平均をとると、（Ｒ，Ｂ）＝（（１．５＋１．０）／２、（１．５＋３．２）／２）＝（１．２５、２．３５）というようになる。

これに対して、本実施形態では、電子ズームで拡大された領域（電子ズーム領域）が領域分割された複数の領域に含まれる場合に、それぞれの分割領域から計算されたＷＢの制御値を加重平均して設定することを行う。例えば、画面内に複数の光源（もしくは１つの光源が当たっている部分と当たってない部分でもよい）があり、主要被写体に複数の光源が当たっているような場合、各光源の領域が占める割合でＷＢの影響度を加重して設定するものである。つまり、電子ズーム拡大された領域の大部分（例えば７０％）が光源１に属し、残りの部分が光源２に属している場合、どちらか一方のＷＢ制御値を設定すると、採用したＷＢ制御値に関与する光源と一致しない部分の色合いがおかしくなってしまうが、本発明ではＷＢ制御値の加重平均を行ってその違和感を軽減することが可能である。

図１２の例では、電子ズーム領域の多くを占めるのは領域Ａの光源であり、領域Ｂの白熱灯光源が占める割合は少ない。そこで、その占める割合に応じて領域Ａで最適なＷＢ制御値について７０％、領域Ｂで最適なＷＢ制御値について３０％の重みを付けて、次式のように加重平均を行う。

（Ｒ，Ｂ）＝（(１．５＊０．７)＋(１．０+０．３)，(１．５＊０．７)＋(３．２＊０．３))＝(１．３５，２．０１)

このようにすれば、加重平均を考えずに単純な平均値とした場合の制御値（Ｒ，Ｂ)＝(１．２５，２．３５)よりも好ましいＷＢ制御結果となる。

なお、これまで本発明を図面に示した実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

本発明に係る撮像装置の構成を示す外観図である。 本発明に係る撮像装置の構成を示すシステムブロック図である。 本発明に係る撮像装置における領域分割信頼性判定処理に関する画像処理シーケンスである。 画像の領域分割の例を示す図である。 図４の領域Ａにおける特徴検出の例を示す図である。 図４の領域Ｂにおける特徴検出の例を示す図である。 図３の領域分割信頼性判定処理における領域分割の信頼性判定フローの例を示す図である。 図３の領域分割警告表示の例を示す図である。 図３のＷＢ変更ユーザインターフェースの例を示す図である。 図３の分割領域ＷＢ変更フローの例を示す図である。 図２の撮像装置における電子ズーム動作を示す図である。 図２の撮像装置による撮像画像における領域分割の例を示す図である。 図１２の領域Ａにおける特徴検出の例を示す図である。 図１２の領域Ｂにおける特徴検出の例を示す図である。

符号の説明

１ サブＬＣＤ
２ レリーズボタン
３ ストロボ発光部
４ モードダイヤル
５ 測距ユニット
６ リモコン受光部
７ 鏡胴ユニット
７ａ モータードライバ
７Ｌ レンズユニット
８ ＡＦＬＥＤ（オートフォーカスＬＥＤ）
９ ストロボＬＥＤ
１０ ＬＣＤモニタ
１１ａ 光学ファインダー（正面）
１１ｂ 光学ファインダー（裏面）
１２ ズームボタン
１３ 電源スイッチ
１４ 操作部
１０１ ＣＣＤ
１０２ ＡＦＥ（アナログフロントエンド、Ｆ／Ｅ）
１０２ａ ＣＤＳ
１０２ｂ ＡＧＣ
１０２ｃ Ａ／Ｄ変換器
１０２ｄ ＴＧ
１０３ ＳＤＲＡＭ
１０４ 信号処理ＩＣ
１０４ａ ＣＣＤインターフェース
１０４ｂ ＹＵＶ変換部
１０４ｃ リサイズ処理部
１０４ｄ 表示出力制御部
１０４ｅ データ圧縮伸張部
１０４ｆ メディアインターフェース
１０４ｇ ＣＰＵ
１０５ ＲＯＭ
１２１ メモリカードスロットル
１３０ メモリカード

Claims (6)

1. 光学像を電気的な画像信号に変換する撮像手段と、
   前記画像信号に基づいた表示を行う表示手段と、
   前記撮像手段で撮像された全体領域を複数の領域に分割する領域分割手段と、
   該領域分割手段で分割された複数の領域ごとでホワイトバランス制御用の特徴検出を行う特徴検出手段と、
   前記領域分割手段による領域分割の信頼度を算出する領域分割信頼度算出手段と、
   前記領域分割信頼度算出手段によって算出された信頼度が閾値より大のとき、対象の分割領域について前記特徴検出手段の結果に基づくホワイトバランス制御値を用いてホワイトバランス制御を行い、
   前記領域分割信頼度算出手段によって算出された信頼度が閾値以下のとき、対象の分割領域についてユーザ指示に基づくホワイトバランス制御値を用いてホワイトバランス制御を行うホワイトバランス制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記表示手段は、撮像画像全体の中で、前記領域分割信頼度算出手段によって算出された信頼度が閾値以下の領域分割について警告表示することを特徴とする請求項１に記載の撮像装置。
3. 前記表示手段は、撮像画像全体の中で、前記領域分割信頼度算出手段による前記分割領域の信頼度が閾値以下の領域分割によって分割された領域のホワイトバランス制御値をユーザが変更可能に表示することを特徴とする請求項１または２に記載の撮像装置。
4. 前記分割領域手段は、前記撮像手段で撮像された全体領域に含まれる光源の種類の推定結果に基づいて分割することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
5. 前記領域分割信頼度算出手段は、隣接する分割された領域同士の画像信号の明度・彩度・色相の情報を比較することにより、信頼度を算出することを特徴とする請求項１〜４のいずれかに記載の撮像装置。
6. 光学像を電気的な画像信号に変換する撮像手段と、
   前記画像信号のズーム領域を選択するズーム領域選択手段と、
   該ズーム領域選択手段により選択された領域の画像信号を表示する表示手段と、
   前記撮像手段で撮像された全体領域を複数の領域に分割する領域分割手段と、
   該領域分割手段で分割された複数の領域ごとでホワイトバランス制御用の特徴検出を行う特徴検出手段と、
   前記領域分割手段で分割された領域のうち、前記ズーム領域選択手段が選択したズーム領域の全部もしくは一部が含まれる領域についての前記特徴検出手段の結果を用いてホワイトバランス制御を行うホワイトバランス制御手段と、
   を備えることを特徴とする撮像装置。