JP2005142890A - ホワイトバランス調整方法および画像処理装置 - Google Patents

Abstract

【課題】 光源検出枠を用いないで適正なホワイトバランス調整を行うこと。
【解決手段】 撮影画面上の各分割エリアの色情報を算出し（Ｓ１０４）、色座標上で各色情報に順次注目し各注目色情報を中心に複数のグループを順次形成して、各グループ内の平均座標を代表色情報とする（Ｓ１１２、Ｓ１１４）。さらに各代表色情報に順次注目し各代表色情報を中心にグループを順次再形成して、各グループ内の平均座標を新たな代表色情報とする（Ｓ１１６、Ｓ１１８）。このグループ再形成を代表色情報が同じ値になるまで繰り返して、最後の代表色情報を用いて補正値を算出し（Ｓ１３０）、画像信号のホワイトバランスを調整する（Ｓ１４０）。複数グループある場合には、低彩度で明るいものを第１光源色グループとし、これとの明度差および彩度差、各グループの画面上での分布状態に基づいて第２光源色グループを求めて補正値を算出する。
【選択図】 図３

Description

本発明はホワイトバランス調整方法および画像処理装置に係り、特にカラー撮像素子によって得られた画像信号に適正なホワイトバランス調整を施すことができるホワイトバランス調整方法および画像処理装置に関する。

カラー撮像素子によって得られた画像信号にホワイトバランス調整を施す際、光源色は低彩度である確率が高いことに着目し、撮影画面内で低彩度の部分を検出し、この低彩度の部分の色温度に依存したホワイトバランス補正値を用いてホワイトバランス調整を行うものが知られている（例えば特許文献１を参照）。

また、複数種類の撮影シーンにそれぞれ適合したホワイトバランス調整を行えるように、撮影画面内の分割エリアごとに色情報を求め、各分割エリアの色情報が所定の色座標上で用意された複数の光源検出枠の何れに入るか否かを判定することによって光源種を検出し、検出された光源種に適したホワイトバランス調整を行うようにしたものが知られている（例えば特許文献２を参照）。このような光源検出枠を用いたホワイトバランス調整方法によれば、日中光源色などの低彩度の光源色のみに依存したホワイトバランス調整しかできない場合と比較して、複数種類の撮影シーンにそれぞれ適合した適正なホワイトバランス調整を行うことができる。
特開平６−９８３３５号公報 特開２０００−２２４６０８号公報

前述の光源検出枠を用いたホワイトバランス調整方法では、一般に、色座標上での検出枠の範囲を規定する座標値などのパラメータを、検出枠ごとに予め用意する必要がある。様々な撮影シーンへの更にきめ細かで更に広範囲な追従性を追求し、検出可能な光源種を更に増やしていこうとすると、検出枠数の増加や色座標上での検出枠同士の干渉などに起因して、予め用意しなければならないパラメータ数が増加するとともに、パラメータの精度も要求されていくことになる。特に、色座標上で検出枠同士の境界や狭間に色情報群が分布した場合の扱いが難しい。検出枠を用いる方法では、撮影時の画角の違いやカメラの機種の違いなどに起因する誤検出を防ぐ対策も必要である。

また、様々な撮影シーンへの追従性を追及していくと、色情報が物体色を示すか光源色を示すかの判別の困難性に関する課題も顕在化してくる。例えば、色座標上において赤黄系の物体色はタングステン光源と酷似しており、物体色であるか光源色であるかの判別が難しい。したがって、物体色に対する確実なホワイトバランス調整を優先してタングステン光源に対する適正なホワイトバランス調整をある程度犠牲にするとか、光源に対する適正なホワイトバランス調整を優先して物体色のカラーフェリア現象（物体色を光源色と誤判断して物体色が白く補正されてしまう現象）にある程度目をつぶるといったような、いわゆるトレードオフの調整が必要である。検出枠の数が限られているうちは、このようなトレードオフへの対処は比較的容易であるが、前述したように光源検出枠数を増やして、様々な撮影シーンへの追従性を追求しようとすればするほど、このようなトレードオフに関する課題が顕在化する。具体的には、色座標上での検出枠の範囲を規定する座標値などのパラメータ値を入念に検討する必要が生じる。このような検出枠に関するパラメータ値は調整する際に相当の注意を要する。

本発明はこのような事情に鑑みてなされたもので、光源検出枠を用いなくても様々な撮影シーンにそれぞれ適合した適正なホワイトバランス調整を画像信号に施すことができるホワイトバランス調整方法および画像処理装置を提供することを目的とする。

前記目的を達成するために、請求項１に記載の発明は、カラー撮像素子から得られる各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整するホワイトバランス調整方法において、１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求める第１ステップと、各分割エリアの色情報に順次注目し、注目した分割エリアの色情報と該色情報に相互に近似する他の分割エリアの色情報とからなるグループを順次形成して、形成された各グループをそれぞれ代表する代表色情報を求める第２ステップと、各グループの代表色情報に順次注目し、注目したグループの代表色情報と該代表色情報に相互に近似する他のグループの代表色情報とからなる新たなグループを順次形成して、新たに形成された各グループをそれぞれ代表する代表色情報を求める第３ステップと、該第３ステップを代表色情報の値が収束するまで繰り返し、最後に形成されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出する第４ステップとを含むことを特徴としている。

この構成によって、光源検出枠を用いなくても、各分割エリアの色情報をグループ化することができ、特に、グループの再形成を繰り返すことによって色情報の分布状態の検出精度が上昇していき、色座標上での色情報の分布に適合した適正なホワイトバランス補正値が得られることになる。また、従来設けられていた光源検出枠同士の境界や狭間の位置に色情報が集中した場合であっても、色座標上の色情報の分布に適合した適正なホワイトバランス補正値が得られることになる。

請求項２に示すように、前記画像信号は、例えばＲ，Ｇ，Ｂ信号である。このようなＲ，Ｇ，Ｂ信号の場合、前記第１ステップは、前記分割エリア内のＲ，Ｇ，Ｂ信号を色別に積算して得た積算値に基づいて、色別の積算値の比Ｒ／Ｇ及びＢ／Ｇを求め、これらの比Ｒ／Ｇ及びＢ／Ｇを前記分割エリアの色情報とする。

なお、請求項１に記載の「画像信号」は、請求項２に示したＲ，Ｇ，Ｂ信号に限定されるものではなく、ホワイトバランス調整が必要なその他の形式の画像信号であってもよい。

また、請求項１に記載の「色情報」は、請求項２に記載の比Ｒ／Ｇ及びＢ／Ｇに限定されるものではなく、各分割エリアの色を表現可能なその他の座標系の色情報であってもよい。また、座標系は、２次元に限らず、３次元以上であってもよい。

請求項３に記載の発明は、請求項１に記載の発明において、前記第２ステップおよび第３ステップは、前記分割エリアの色情報が分布する所定の色座標上で、順次注目した色情報を中心として所定の距離以内にある色情報を同一のグループとしてグループを形成し、形成されたグループ内の色情報の平均座標をグループの代表色情報とすることを特徴としている。

この構成によって、色座標上での色情報の分布が的確に把握され、色情報の分布に適合した適正なホワイトバランス補正値が得られることになる。

請求項４に記載の発明は、請求項１、２又は３に記載の発明において、前記第４ステップは、所属する色情報の個数が所定値以下のグループを排除して、所属する色情報の個数が所定値を超えるグループの代表色情報に基づいて前記ホワイトバランス補正値を算出することを特徴としている。

この構成によって、本来ホワイトバランス調整に不要な色情報がホワイトバランス補正値に反映されないことになる。

また、請求項５に記載の発明は、請求項４に記載の発明において、前記第４ステップは、各グループの代表色情報を目標の色情報にするためのグループ毎のホワイトバランス補正値を算出し、該算出したグループ毎のホワイトバランス補正値を各グループに所属の色情報の個数によって重み付け加算して前記ホワイトバランス補正値を算出することを特徴としている。

この構成によって、画面全体に占める割合が大きなグループ順に色情報が反映された適正なホワイトバランス補正値が得られることになる。

また、請求項６に記載の発明は、請求項１ないし５の何れかに記載の発明において、前記分割エリアの色情報が分布する所定の色座標上で所定の低彩度領域に存在するグループを第１の光源色を示すグループと判定するステップと、前記第１の光源色を示すと判定されたグループを基準にして他のグループが物体色および光源色の何れを示すかを判定するステップとをさらに含み、前記第４ステップは、物体色を示すと判定されたグループを排除して、光源色を示すと判定されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出することを特徴としている。

この構成によって、複数の光源色が混在するような撮影シーンであっても、適正なホワイトバランス補正値が得られることになる。

また、請求項７に記載の発明は、カラー撮像素子から得られる各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整するホワイトバランス調整方法において、１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求めるステップと、前記複数の分割エリアの色情報を相互に近似する色情報別にグループ分けし、各グループを代表する代表色情報を求めるステップと、前記分割エリアの色情報が分布する所定の色座標上で所定の低彩度領域に存在するグループを第１の光源色を示すグループと判定するステップと、前記第１の光源色を示すと判定されたグループを基準にして他のグループが物体色および光源色の何れを示すかを判定するステップと、物体色を示すと判定されたグループを排除して、光源色を示すと判定されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出するステップとを含むことを特徴としている。

この構成によって、光源検出枠を用いなくても、各分割エリアの色情報をグループ化して、色座標上での色情報の分布に適合した適正なホワイトバランス補正値が得られることになる。また、複数の光源色が混在するような撮影シーンであっても、適正なホワイトバランス補正値が得られることになる。また、従来設けられていた光源検出枠同士の境界や狭間の位置に色情報が集中した場合であっても、色座標上の色情報の分布に適合した適正なホワイトバランス補正値が得られることになる。

また、請求項８に記載の発明は、請求項６又は７に記載の発明において、前記第１の光源色を示すグループを判定するステップは、明るさが所定値以上のグループの中で彩度が最も低いグループを第１の光源色を示すグループと判定することを特徴としている。

この構成によって、低彩度の物体色が第１の光源色と判定されてしまうことを防止できる。

また、請求項９に記載の発明は、請求項６、７又は８に記載の発明において、前記グループが物体色を示すか否かを判定するステップは、各グループに順次注目し、注目したグループと前記第１の光源色を示すグループとの明度差および彩度差を検出して、該明度差および彩度差に基づいて、各注目グループが物体色を示すか否かを判定することを特徴としている。

この構成によって、第１の光源色と彩度が離れた第２の光源色であっても、明度差が参酌されるので、ホワイトバランス補正値に反映されることになる。

また、請求項１０に記載の発明は、請求項６、７、８又は９に記載の発明において、前記グループが物体色を示すか否かを判定するステップは、各グループに属する分割エリア同士の画面上での位置関係を検出し、該位置関係に基づいて、各グループが物体色を示すか否かを判定することを特徴としている。

この構成によって、色座標上での色情報の分布のみならず、画面上での色情報の分布が参酌されるので、適正なホワイトバランス補正値が得られることになる。物体色と光源色では、画面上での分布状態が異なり、グループ形成された色情報は、一般に、物体色では画面上で連結した分布状態となっており、光源色では画面上で分散した分布状態となっている。したがって、画面上の位置関係が参酌されることにより、不要な物体色がホワイトバランス補正値に反映されないようにできる。

また、請求項１１に記載の発明は、各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整する画像処理装置であって、１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求める手段と、各分割エリアの色情報に順次注目し、注目した分割エリアの色情報と該色情報に相互に近似する他の分割エリアの色情報とからなるグループを順次形成して、形成された各グループをそれぞれ代表する代表色情報を決定する手段と、各グループの代表色情報に順次注目し、注目したグループの代表色情報と該代表色情報に相互に近似する他のグループの代表色情報とからなる新たなグループを順次形成して、新たに形成された各グループをそれぞれ代表する代表色情報を決定し、この新たなグループの順次形成と代表色情報の決定とを代表色情報が収束するまで繰り返す手段と、最後に形成されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出する手段とを備えたことを特徴としている。

また、請求項１２に記載の発明は、各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整する画像処理装置であって、１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求める手段と、前記複数の分割エリアの色情報を相互に近似する色情報別にグループ分けし、各グループを代表する代表色情報を求める手段と、グループが複数存在する場合、色座標上で所定の低彩度領域に存在するグループを第１の光源色を示すグループと判定する手段と、前記第１の光源色を示すと判定されたグループを基準にして他のグループが物体色を示すか否かを判定する手段と、物体色を示すと判定されたグループ以外のグループの代表色情報に基づいて前記ホワイトバランス補正値を算出する手段とを備えたことを特徴としている。

請求項１１および１２の画像処理装置は、デジタルカメラに限らず、携帯電話、パーソナルコンピュータ等、画像信号にホワイトバランス調整を施すあらゆるデジタル機器に適用可能である。

また、「画像信号」とは、所定の記録媒体に一旦記録された画像データや、インターネットなどにより伝送される画像データを含み、本発明はホワイトバランス調整を行う様々な態様に適用可能である。

本発明によれば、光源検出枠を用いなくても、様々な撮影シーンにそれぞれ適合した適正なホワイトバランス調整を画像信号に施すことができる。

以下添付図面に従って本発明を実施するための最良の形態について、以下、詳細に説明する。

図１は、本発明に係るホワイトバランス調整方法を適用したカメラ（画像処理装置）の概略構成を示すブロック図である。

このカメラ１０は、静止画や動画の撮影機能を備えたデジタルカメラである。

カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。ＣＰＵ１２は、所定のプログラムに従って本カメラ１０を制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）演算など、各種演算を実施する演算手段として機能する。

バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラムやプログラムの動作に必要な各種の固定データなどが格納され、ＥＥＰＲＯＭ１７には、カメラ１０の動作に関する各種の設定データなどが格納されている。メモリ（ＳＤＲＡＭ）１８は、ＣＰＵ１２が行う各種演算用の領域として利用されるとともに、画像データの一時記憶領域として利用される。ＶＲＡＭ２０は、画像表示用の画像データを一時記憶するものであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。

カメラ１０には、モード選択スイッチ２２および撮影ボタン２４が設けられている。また、メニューキー、ＯＫキー、十字キー、キャンセルキーなどからなる画面操作キー２６が設けられている。これら各種の操作手段（２２、２４、２６）からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は、入力信号に基づいてカメラ１０の各部を制御し、レンズ駆動制御、撮像制御、画像信号処理制御、画像記録制御、画像再生制御などの制御を行うようになっている。

モード選択スイッチ２２は、被写体を撮影して画像データを所定の記録メディア３２に記録するための撮影モードと、記録メディア３２に記録された画像データを再生するための再生モードとを切り替えるための操作手段である。可動切片２２Ａが接点ａに接続されると撮影モードが設定され、可動切片２２Ａが接点ｂに接続されると再生モードが設定されるようになっている。撮影ボタン２４は、撮影準備指示や撮影開始指示を入力するための操作手段であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。メニューキーは、画像表示装置２８の画面上にメニューを表示させる指示を入力するための操作手段である。ＯＫキーは、選択された内容の確定および実行などの指示を入力するための操作手段である。十字キーは、メニュー内の項目の選択などのために上下左右４方向の指示を入力する操作手段である。キャンセルキーは、選択内容や指示内容などの取消の指示を入力する操作手段である。

画像表示装置２８は、カラー表示可能な液晶ディスプレイ（ＬＣＤ）で構成されている。画像表示装置２８は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置２８は、ユーザインタフェース用表示画面としても利用され、必要に応じてメニューや選択項目、設定内容などの情報が表示される。

メディアコントローラ３４は、メディアソケット３０に装着される記録メディア３２に適した入出力信号の受け渡しを行うために所定の信号変換を行う。

ＵＳＢインタフェース部３６は、パソコンその他の外部機器をカメラ１０に接続するための手段である。図示せぬＵＳＢケーブルを用いてカメラ１０と外部機器を接続することにより、外部機器との間でデータの受け渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、IEE1394や無線その他の通信方式を適用してもよい。

次にカメラ１０の撮影機能について説明する。

モード選択スイッチ２２によって撮影モードが選択されると、ＣＣＤ３８を含む撮影に関する部分（撮影部）に電源が供給され、撮影可能な状態になる。

レンズユニット４０は、フォーカスレンズを含む撮影レンズ４２と絞り兼用メカシャッタ４４とを含む光学ユニットである。レンズユニット４０は、ＣＰＵ１２によって制御されるレンズ駆動部４６、絞り駆動部４８によって電動駆動されることにより、ズーム制御、フォーカス制御およびアイリス制御が行われる。レンズユニット４０を通過した光は、ＣＣＤ３８の受光面に結像される。ＣＣＤ３８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤ、Ｇストライプなど）で配置されている。また、ＣＣＤ３８は、電荷蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。ＣＰＵ１２は、タイミングジェネレータ５０を介してＣＣＤ３８での電荷蓄積時間を制御する。ＣＣＤ３８の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指示に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（Ｒ，Ｇ，Ｂ各色別の画像信号）として順次読み出される。

ＣＣＤ３８から取り出されたＲ，Ｇ，Ｂ各色別の画像信号は、アナログ処理部（ＣＤＳ／ＡＭＰ回路）５２に送られ、ここで画素ごとにサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５４に与えられ、アナログからデジタルに変換される。Ａ／Ｄ変換器５４から出力された画像信号は、画像入力コントローラ５６を介してメモリ１８に一時記憶される。画像信号処理回路５８は、メモリ１８に記憶されたＲ，Ｇ，Ｂ各色別の画像信号をＣＰＵ１２の指示に従って処理する。具体的には、画像信号処理回路５８は、同時化回路（ＣＣＤ３８のカラーフィルタ配列などに伴なうＲ，Ｇ，Ｂ信号の空間的なズレを補正して画像信号を同時式に変換する回路）、ホワイトバランス調整回路、ガンマ補正回路、Ｙ／Ｃ信号生成回路などを含む画像信号処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ１８を用いながら所定の画像信号処理を行う。画像信号処理回５８の処理により得られた画像データはＶＲＡＭ２０に格納される。

画像表示装置２８への画像の出力については、ＶＲＡＭ２０から画像データが読み出され、バス１４を介してビデオエンコーダ６０に送られる。ビデオエンコーダ６０は、入力された画像データを表示用の所定方式（例えばＮＴＳＣ方式）の信号に変換して画像表示装置２８に出力する。具体的には、ＣＣＤ３８から出力された画像信号は、１コマごとの画像データとしてＶＲＡＭ２０のＡ領域２０ＡとＢ領域２０Ｂとに交互に書き換えられる。これらのＡ領域２０ＡおよびＢ領域２０Ｂのうち、画像データが書き換えられている方の領域以外の領域から、画像データが読み出される。そして、ＶＲＡＭ２０内の画像データが定期的に書き換えられることにより、撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。

撮影画角を確認した撮影者により撮影ボタン２４が半押しされ、Ｓ１がオンすると、ＣＰＵ１２は、撮影準備処理として、ＡＥおよびＡＦ処理を開始する。ＣＣＤ３８から出力されたＲ，Ｇ，Ｂ各色別の画像信号は、ＣＤＳ／ＡＭＰ回路５２、Ａ／Ｄ変換器５４および画像入力コントローラ５６を介して、メモリ１８に一時記憶されるとともに、ＡＦ検出回路６２およびＡＥ／ＡＷＢ検出回路６４に入力される。

ＡＥ／ＡＷＢ検出回路６４は、１画面を複数のエリア（例えば、８×８、１６×１６）に分割し、分割エリアごとにＲ，Ｇ，Ｂ各色別の画像信号を積算する回路を含み、その積算値をＣＰＵ１２に提供する。ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から取得した積算値に基づいて被写体輝度を検出し、被写体輝度に対応するＥＶ値を算出する。このＥＶ値は、画面全体のＥＶ値、および、画面上の分割エリアごとのＥＶ値など、後述のホワイトバランス調整処理で参照可能に整理されて、メモリ１８に記憶される。ＣＰＵ１２は、所定のプログラム線図に従い、絞り値とシャッタスピードを決定し、これらに従いＣＣＤ３８の電子シャッタおよびレンズユニット４０のアイリス４４を制御して適正な露光量を得る。

本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば画面中央部）に予め設定されているフォーカス対像エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。ＡＦ検出回路６２で求めた積算値のデータはＣＰＵ１２に通知される。ＣＰＵ１２は、レンズ駆動部４６を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにレンズ駆動部４６を制御する。尚、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。

撮影ボタン２４の半押し（Ｓ１オン）によってＡＥ処理およびＡＦ処理等の撮影準備処理が行われた後、撮影ボタン２４が全押し（Ｓ２オン）されると、画像を記録するための撮影動作がスタートする。

ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から、分割エリアごとのＲ，Ｇ，Ｂ信号別の積算値を取得する。なお、ＡＥ／ＡＷＢ検出回路６４からＣＰＵ１２に通知される分割エリアごとの積算値は、Ｒ，Ｇ，Ｂ信号別に単純に積算した値とした態様や、平均値とした態様がある。そして、ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から取得した分割エリアごとのＲ，Ｇ，Ｂ信号別の積算値に基づいて、ホワイトバランス補正値を算出し、画像信号処理回路５８によってＲ，Ｇ，Ｂ信号にホワイトバランス処理を施す。このホワイトバランス調整処理の詳細は後に詳細に説明する。

画像信号回路５８によってホワイトバランス調整が施されたＲ，Ｇ，Ｂ各色別の画像信号は、画像信号回路５８によって、ガンマ補正などの画像処理を施され、Ｙ／Ｃ信号（輝度信号Ｙおよび色差信号Ｃ）に変換され、圧縮伸張回路６６によって所定のフォーマットで圧縮された後、メディアコントローラ３４およびメディアソケット３０を介して記録メディア３２に画像データとして記録される。

モード選択スイッチ２２により再生モードが選択されると、記録メディア３２に記録されている圧縮された画像データがメディアコントローラ３４を介して読み出される。読み出された画像データは、圧縮伸張回路６６によって伸長され、ＶＲＡＭ２０、ビデオエンコーダ６０を介して画像表示装置２８に表示される。利用者は、適切なホワイトバランス調整が施された画像を再生して楽しむことができる。

次に、図２を用いて、基本的なホワイトバランス調整機能の概要を説明する。図２は、カメラ１０のホワイトバランス調整機能に関連する部分を示すブロック図である。図２中、図１と同一の部分には同一の符号を付し、その説明は省略する。

図２のデジタル信号処理回路１００は、図１の画像信号処理回路５８の一部であり、同時化回路１０２、ホワイトバランス調整回路１０４、ガンマ補正回路１０６、Ｙ／Ｃ信号生成回路１０８を含む。なお、図２では、信号の流れを理解し易くするためにデジタル信号処理回路１００内にメモリ１１０を設けているが、メモリ１１０は、実際には図中のもうひとつのメモリ１８に含まれる。

ＣＣＤ３８から出力されたＲ，Ｇ，Ｂ信号（画像信号）は、ＣＤＳ／ＡＭＰ回路５２、Ａ／Ｄ変換器５４および画像入力コントローラ５６を介して、一旦メモリ１８に格納される。同時化処理回路１０２は、メモリ１８から読み出された点順次のＲ，Ｇ，Ｂ信号を同時式に変換して、Ｒ，Ｇ，Ｂ信号を同時にホワイトバランス調整回路１０４に出力する。ホワイトバランス調整回路１０４は、Ｒ，Ｇ，Ｂ信号のデジタル値をそれぞれ増減するための乗算器１０４Ｒ，１０４Ｇ、１０４Ｂから構成されており、Ｒ，Ｇ，Ｂ信号は、それぞれ乗算器１０４Ｒ，１０４Ｇ、１０４Ｂに加えられる。

乗算器１０４Ｒ、１０４Ｇ、１０４Ｂには、Ｒ，Ｇ，Ｂ信号がそれぞれ入力されるほか、ＣＰＵ１２からゲイン値Ｒｇ，Ｇｇ，Ｂｇ（ホワイトバランス補正値）が入力されるようになっており、乗算器１０４Ｒ，１０４Ｇ、１０４Ｂは、Ｒ，Ｇ，Ｂ信号にそれぞれゲイン値Ｒｇ，Ｇｇ，Ｂｇを乗算し、この乗算によってホワイトバランス調整されたＲ，Ｇ，Ｂ信号（Ｒ’，Ｇ’，Ｂ’）をガンマ補正回路１０６に出力する。ゲイン値Ｒｇ，Ｇｇ，Ｂｇの算出は、ＣＰＵ１２によって行われる。

ＣＣＤ３８で生成されたＲ，Ｇ，Ｂ信号（画像信号）は、ＣＤＳ／ＡＭＰ５２、Ａ／Ｄ変換器５４、画像入力コントローラ５６を介して積算回路１１２に入力され、積算回路１１２によって、分割エリアごとにＲ，Ｇ，Ｂ信号別で積算される。この積算回路１１２は図１のＡＥ／ＡＷＢ検出回路６４に含まれている。積算回路１１２とＣＰＵ１２との間には乗算器１１２Ｒ、１１２Ｇ、１１２Ｂが設けられており、乗算器１１２Ｒ、１１２Ｇ、１１２Ｂには、機器のばらつきを調整するため調整ゲインが加えられるようになっている。ＣＰＵ１２は、積算回路１１２から分割エリアごとの積算値を取得し、取得した積算値に基づいてホワイトバランス補正値を算出する。

ホワイトバランス調整前の画像信号をＲ，Ｇ，Ｂ、ゲイン値をＲｇ，Ｇｇ，Ｂｇとすると、ホワイトバランス調整後の画像信号Ｒ’，Ｇ’，Ｂ’は、数式１によって表わされる。
［数式１］
Ｒ’＝Ｒｇ×Ｒ
Ｇ’＝Ｇｇ×Ｇ
Ｂ’＝Ｂｇ×Ｂ
ガンマ補正回路１０６は、ホワイトバランス調整されたＲ，Ｇ，Ｂ信号（数式１のＲ’，Ｇ’，Ｂ’からなる画像信号）が所望のガンマ特性となるように入出力特性を変更し、Ｙ／Ｃ信号生成回路１０８に出力する。Ｙ／Ｃ信号生成回路１０８は、ガンマ補正されたＲ，Ｇ，Ｂ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。これらの輝度信号Ｙと色差信号Ｃｒ，Ｃｂは、メモリ１１０に格納される。メモリ１１０内のＹ／Ｃ信号を読み出して、図１のＶＲＡＭ２０およびビデオエンコーダ６０を介して画像表示装置２８に出力することにより、画像を表示させることができる。

本発明に係るホワイトバランス調整方法の実施例１について、その処理の流れを図３のフローチャートを用いて説明する。図３に示す各ステップは、所定のプログラムに従ったＣＰＵ１２の統括制御により実行される。

撮影ボタン２４の全押し（Ｓ２オン）に応動して、ＣＰＵ１２によるオートホワイトバランス（ＡＷＢ）制御が開始され、ＣＣＤ３８で生成されたＲ，Ｇ，Ｂ信号は、メモリ１８に一時記憶される。撮像画面を複数のエリア（例えば８×８）に分割し、図２の積算回路１１２によって分割エリアごとに算出したＲ，Ｇ，Ｂ信号別の積算値が取得される（Ｓ１０２）。

得られた分割エリアごとのＲ，Ｇ，Ｂ信号別の積算値に基づいて、Ｒ信号の積算値とＧ信号の積算値との比Ｒ／Ｇ、および、Ｂ信号の積算値とＧ信号の積算値との比Ｂ／Ｇが、各分割エリアの色情報として、算出される（Ｓ１０４）。言い換えると、分割エリアごとの画像信号の積算値が（Ｒ，Ｇ，Ｂ）座標系から（Ｒ／Ｇ，Ｂ／Ｇ）座標系に変換される。

（Ｒ／Ｇ，Ｂ／Ｇ）座標上に分布した色情報の例を、図４（ａ）および（ｂ）に示す。ここで、点は各分割エリアの色情報を示し、四辺形の枠は従来のホワイトバランス調整方法で用いた光源種を検出するための検出枠を示す。従来、撮影環境と検出枠を決めるパラメータとの関係によっては、図４（ａ）または（ｂ）のように、点（色情報）が検出枠同士の境界上に集団となって分布する場合があり、このような場合、点の集団が複数の検出枠に分割されてしまい、各検出枠内での数が少なくなり、適正なホワイトバランス値が算出されないこともあり得た。

本実施形態では、まず、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で、各分割エリアの色情報に順次着目し、各注目した色情報（注目色情報）を中心とした所定の半径Ｎ以内の色情報からなる色情報群（以下「カタマリ」と称する）を順次形成し、各カタマリに属する色情報の個数（分割エリアの個数に相当する）および平均座標が算出される（Ｓ１１２）。このステップＳ１１２は、具体的には以下のようにして行う。

各注目色情報の（Ｒ／Ｇ，Ｂ／Ｇ）座標を（Ｒ₁ｊ，Ｂ₁ｊ）とする。ここで、インデックスｊは、注目色情報を指し示し、撮影画面が８×８に分割されている場合には「１」から「６４」までの整数である。（Ｒ／Ｇ，Ｂ／Ｇ）座標上で、注目色情報（Ｒ₁ｊ，Ｂ₁ｊ）から任意の色情報（Ｒ₁ａ，Ｂ₁ａ）までの距離Ｄ₁ｊａは、数式２に従って計算される。
［数式２］
Ｄ₁ｊａ＝｛｛（Ｒ₁ｊ−Ｒ₁ａ）² ＋（Ｂ₁ｊ−Ｂ₁ａ）² ｝^1/2
ここで、インデックスａは、注目色情報との距離を算出する対象の色情報を指し示し、撮影画面が８×８に分割されている場合には「１」から「６４」までの整数である。したがって、インデックスｊが指し示す６４通りの注目色情報ごとに、インデックスａが指し示す６４通りの色情報までの距離Ｄ₁ｊａがそれぞれ求められる。合計では６４×６４通りの距離Ｄ₁ｊａが求められる。そして、各注目色情報（Ｒ₁ｊ，Ｂ₁ｊ）を含み各注目色情報（Ｒ₁ｊ，Ｂ₁ｊ）から所定の半径Ｎの範囲内に存在する色情報を、ひとつのカタマリとし、カタマリごとに、各カタマリ内の色情報の個数Ｃ₂ｊと、各カタマリ内の色情報の平均座標（Ｒ₂ｊ，Ｂ₂ｊ）を求める。この平均座標（Ｒ₂ｊ，Ｂ₂ｊ）は、数式３に従って計算される。
［数式３］
Ｒ₂ｊ＝Σ（Ｋ₁ｊａ×Ｒ₁ａ）／ΣＫ₁ｊａ
Ｂ₂ｊ＝Σ（Ｋ₁ｊａ×Ｂ₁ａ）／ΣＫ₁ｊａ
ここでＫ₁ｊａは、距離Ｄ₁ｊａが所定の半径Ｎ以内の場合には値が「１」、距離Ｄ₁ｊａが半径Ｎを超える場合には値が「０」となる係数である。すなわち、インデックスａで指し示される色情報（Ｒ₁ａ，Ｂ₁ａ）が注目色情報（Ｒ₁ｊ，Ｂ₁ｊ）から半径Ｎの範囲内にある（「１」）、ない（「０」）の何れかを表わす。Σ記号は、インデックスａを「１」から分割エリア個数（「６４」）まで順次切り替えて行う積算を示す。

なお、平均座標（Ｒ₂ｊ，Ｂ₂ｊ）が同じ値になったカタマリ同士は同一のカタマリとみなされる。また、半径Ｎ以内に注目色情報以外ない場合、すなわち注目情報が（Ｒ／Ｇ，Ｂ／Ｇ）座標上で孤立していてカタマリが構成されない場合には、そのような注目色情報は排除される。

このようにして注目色情報を順次切り替えながら得られた各カタマリの平均座標（Ｒ₂ｊ，Ｂ₂ｊ）は、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で、元の色情報（Ｒ₁ｊ，Ｂ₁ｊ）からひとつまたは複数の中心に向かって収束していくことになる。そして、各カタマリの平均座標（Ｒ₂ｊ，Ｂ₂ｊ）を各カタマリの代表色情報とする（Ｓ１１４）。

次に、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で、各カタマリの代表色情報（Ｒ_iｊ，Ｂ_iｊ）に順次着目し、各注目した代表色情報（注目色情報）を中心とした所定の半径Ｎ以内の代表色情報からなる新たなカタマリを順次形成し、各カタマリに属する元の色情報の総個数（分割エリアの個数に相当する）、および、各カタマリ内の代表色情報の平均座標が算出される（Ｓ１１６）。具体的には、以下のようにして行う。

各注目色情報の（Ｒ／Ｇ，Ｂ／Ｇ）座標を（Ｒ_iｊ，Ｂ_iｊ）とすると、注目色情報（Ｒ_iｊ，Ｂ_iｊ）から任意の代表色情報（Ｒ_iａ，Ｂ_iａ）までの距離Ｄ_iｊａを、数式４に従って求める。
［数式４］
Ｄ_iｊａ＝｛｛（Ｒ_iｊ−Ｒ_iａ）² ＋（Ｂ_iｊ−Ｂ_iａ）² ｝^1/2
ここで、インデックスａは、注目色情報との距離を算出する対象の代表色情報を指し示す正整数である。各注目色情報（Ｒ_iｊ，Ｂ_iｊ）と、各注目色情報（Ｒ_iｊ，Ｂ_iｊ）から所定の半径Ｎの範囲内に存在する代表色情報とを、ひとつのカタマリとし、カタマリごとに、各カタマリ内に属する元の色情報の個数Ｃ_i+1ｊと、各カタマリ内の色情報の平均座標（Ｒ_i+1ｊ，Ｂ_i+1ｊ）を求める。この平均座標（Ｒ_i+1ｊ，Ｂ_i+1ｊ）は、数式５に従って計算される。
［数式５］
Ｒ_i+1ｊ＝Σ（Ｋ_iｊａ×Ｒ_iａ）／ΣＫ_iｊａ
Ｂ_i+1ｊ＝Σ（Ｋ_iｊａ×Ｂ_iａ）／ΣＫ_iｊａ
ここで、Ｋ_iｊａは、インデックスａで指し示される代表色情報（Ｒ_iａ，Ｂ_iａ）が注目色情報（Ｒ_iｊ，Ｂ_iｊ）から半径Ｎの範囲内にある（「１」）、ない（「０」）の何れかを表わす。Σ記号は、インデックスａを「１」からカタマリ個数まで順次切り替えて行う積算を示す。

このようにして注目色情報を順次切り替えながら得られた各カタマリの平均座標（Ｒ_i+1ｊ，Ｂ_i+1ｊ）は、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で、元の代表色情報（Ｒ_iｊ，Ｂ_iｊ）からひとつまたは複数の中心に向かって収束していく。新たな平均座標（Ｒ_i+1ｊ，Ｂ_i+1ｊ）を、新たなカタマリの代表色情報とする（Ｓ１１８）。

前述のステップＳ１１６およびＳ１１８は、数式５で示される新たな代表色情報（Ｒ_i+1ｊ，Ｂ_i+1ｊ）が元の代表色情報（Ｒ_iｊ，Ｂ_iｊ）と同じ値になるまで、すなわち十分に収束したと判定されるまで繰り返される。すなわち、収束したか否かが判定され（Ｓ１２０）、収束していないと判定した場合には、インデックスｉをインクリメントして（Ｓ１２２）、ステップＳ１１６およびステップＳ１１８を繰り返し、収束したか否かを再び判定し（Ｓ１２０）、収束したと判定した場合には、ループを抜ける。

カタマリの中心（すなわち代表色情報）が収束していく様子を図５（ａ）および（ｂ）に示す。図５中の点は（Ｒ／Ｇ，Ｂ／Ｇ）座標上の代表色情報を示す。図５（ａ）では、（Ｒ／Ｇ，Ｂ／Ｇ）座標上に９個の点が分布しており、これらの各点が順次注目され、各注目点を中心とした半径Ｎの円内の点がそれぞれ検索される。第１の点を中心とした第１の円内に入る全ての点の平均座標を算出、第２の点を中心とした第２の円内に入る全ての点の平均座標を算出、第３の点を中心とした第３の円内に入る全て点の平均座標を算出、というようにして、各点に順次注目しながら、各注目点ごとに円（カタマリに相当する）を形成し、各円内に入る全て点の平均座標（代表色情報である）を求めていく。図５（ａ）に示す各円内の点の平均座標をそれぞれ（Ｒ／Ｇ，Ｂ／Ｇ）座標上に配置すると、図５（ｂ）に示すようになる。図５（ｂ）では、（Ｒ／Ｇ，Ｂ／Ｇ）座標上に５個の点が分布しており、再び、これらの各点が順次注目され、半径Ｎの円内に入る点が検索される。図５（ｂ）では、何れの円内にも５点全てが入っているので、平均座標は全て同一となり、収束する。すなわち、（Ｒ／Ｇ，Ｂ／Ｇ）座標上でひとつの円が形成される。なお、図５では、収束して最後にひとつのカタマリが形成される様子を示したが、実際には、複数個のカタマリが形成されることがある。このように複数個のカタマリが形成される場合には、算出される平均座標は複数の点にそれぞれ収束していくことになる。最終的には（Ｒ_i+1ｊ，Ｂ_i+1ｊ）＝（Ｒ_iｊ，Ｂ_iｊ）となる。

図６（ａ）および（ｂ）は、８×８に分割した撮影画面上の分割エリアとカタマリとの対応関係の例を示す。図６（ａ）は屋外で人物を撮影した場合の撮影画面である。図６（ｂ）は、図６（ａ）の人物が撮影された撮影画面について、同じカタマリに入った分割エリアには同じ符号（１番から６番まで）を付して示している。なお、図６では６個のカタマリに分割エリアがまとめられた状態が示されている。

全ての代表色情報が収束したとき、各カタマリに属する色情報の個数（画面上の分割エリアの個数に相当する）が所定の閾値ｅ以上のカタマリについて、色情報の個数が多い順に、最大許容数ｍ個までを対象に、収束時の平均座標（Ｒ_iｊ，Ｂ_iｊ）と色情報の個数とに基づいてゲイン値（ホワイトバランス補正値）が計算される（Ｓ１３０）。ここで、閾値ｅや最大許容数ｍは図１のＥＥＰＲＯＭ１７に予め設定された値である。

具体的には、数式６に従って、（Ｒ／Ｇ，Ｂ／Ｇ）座標上のゲイン値Ｒ／Ｇｇ、Ｂ／Ｇｇを計算する。
［数式６］
Ｒ／Ｇｇ＝（ΣＨＣｋ×（１／Ｒｋ））／ΣＨＣｋ
Ｂ／Ｇｇ＝（ΣＨＣｋ×（１／Ｂｋ））／ΣＨＣｋ
ここで、インデックスｋは、各カタマリを指し示す「１」からｍまでの正整数である。（１／Ｒｋ，１／Ｂｋ）は、各カタマリの代表色情報（Ｒｋ，Ｂｋ）を、ニュートラル・グレーを示す原点（１，１）にするためのゲイン（「逆算ゲイン」と称する）である。評価値ＨＣｋは、個数Ｃｋに応じた逆算ゲイン（１／Ｒｋ，１／Ｂｋ）に対する重みである。個数Ｃｋは、各カタマリに属する色情報の個数（分割エリアの個数に相当する）である。Σ記号は、インデックスｋを「１」からｍまで順次切り替えて行う積算を表わす。

このようにして算出されたゲイン値Ｒ／Ｇｇ、Ｂ／Ｇｇは、必要に応じて色味を残すための調整が施され、Ｒ，Ｇ，Ｂ信号にそれぞれ乗算する実際のゲイン値Ｒｇ，Ｇｇ、Ｂｇに変換される。そして、ＣＰＵ１２から図２のホワイトバランス調整回路１０４にゲイン値Ｒｇ，Ｇｇ、Ｂｇが出力されることにより、ホワイトバランス調整回路１０４においてＲ，Ｇ，Ｂ信号のホワイトバランスが調整される（Ｓ１４０）。

次に、本発明に係るホワイトバランス調整方法の実施例２について、その処理の流れを図７のフローチャートを用いて説明する。図７に示す各ステップは所定のプログラムに従ったＣＰＵ１２の統括制御により実行される。

撮影ボタン２４の全押し（Ｓ２オン）に応動して、ＣＰＵ１２によるオートホワイトバランス（ＡＷＢ）制御が開始され、ＣＣＤ３８で生成されたＲ，Ｇ，Ｂ信号は、メモリ１８に一時記憶される。撮像画面を複数のエリア（例えば８×８）に分割し、図２の積算回路１１２によって分割エリアごとに算出したＲ，Ｇ，Ｂ信号別の積算値が取得される（Ｓ１０２）。

得られた分割エリアごとのＲ，Ｇ，Ｂ信号別の積算値に基づいて、Ｒ信号の積算値とＧ信号の積算値との比Ｒ／Ｇ、および、Ｂ信号の積算値とＧ信号の積算値との比Ｂ／Ｇが、各分割エリアの色情報として、算出される（Ｓ１０４）。

そして、算出された各分割エリアの色情報に基づいて、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で互いに近似した複数の色情報からなるカタマリが検出され、各カタマリの中心（すなわち代表色情報）が算出される（Ｓ１１０）。このステップＳ１１０は、図３のフローチャートのステップＳ１１０と同じ処理であり、図３のステップＳ１１２、Ｓ１１４、Ｓ１１６、Ｓ１１８、Ｓ１２０およびＳ１２２を含む。これらの図３に示したステップは実施例１で既に詳細に説明したので、ここでは詳細な説明を省略する。

なお、ステップＳ１１０では、複数のカタマリが検出されたものとして以下説明する。撮影時に互いに色温度の異なる複数の光源が混在していて、複数のカタマリが検出されたものとする。

実施例２では、ステップＳ１１０で求められた各カタマリが物体色を示すか光源色を示すかを判定する。そして、物体色を示すカタマリの代表色情報はホワイトバランス補正値計算の要因から排除する。具体的には、以下のようにして行う。

複数のカタマリの中で第１の光源色を示すものとして、低彩度かつ明るいカタマリが選別される（Ｓ２１２）。具体的には、（Ｒ／Ｇ，Ｂ／Ｇ）座標上でニュートラル・グレーを指す原点（１，１）の近傍に位置するカタマリ（以下「近傍ＣＯＲＮ」と称する）であって、画面全体の明るさを基準にして明るいものが、第１の光源色を示すカタマリとして選別される。

まず、数式７に示すように、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で原点（１，１）から各カタマリの中心（Ｒｋ，Ｂｋ）までの距離Ｄｋを求める。
［数式７］
Ｄｋ＝｛｛（１−Ｒｋ）² ＋（１−Ｂｋ）² ｝^1/2
ここで、インデックスｋは、カタマリを指し示すものであり、「１」からカタマリ個数までの正整数である。

次に、距離Ｄｋが最も小さなカタマリを求める。求められたカタマリは、ニュートラル・グレーを指す原点（１，１）の最近傍ＣＯＲＮ、すなわち、複数のカタマリの中で彩度が最も低いものである。原則としては、この最近傍ＣＯＲＮが第１の光源色を示すものとして選別される。

ただし、タングステン光源下の青色系物体色のように最低彩度であっても光源色を示さないカタマリを選別してしまわないように、実際には、距離Ｄｋだけでなく、カタマリに関する各種属性が参照され、光源色を示す近傍ＣＯＲＮが選別される。例えば、距離Ｄｋが小さい順（すなわち彩度が低い順）に、画面全体の明るさを基準に各カタマリの明るさを評価して暗いカタマリは光源色を示さないと判定して、選別の対象から排除する。一方で、画面全体の明るさを基準に各カタマリの明るさを評価して明るいカタマリは光源色であると判定して、選別の対象とする。

例えば、図８に示すメンバシップ関数ｆ０を用いて光源色らしさを求める。図８において、横軸は、画面全体の明るさを示すＥＶ値と近傍ＣＯＲＮの明るさを示すＥＶ値との差（ＥＶ差）であり、縦軸は、近傍ＣＯＲＮの光源色らしさを表わす評価値Ｈ０＝ｆ０（ＥＶ差）である。近傍ＣＯＲＮのＥＶ値は、各近傍ＣＯＲＮに属する分割エリアのＥＶ値を平均して求める。画面全体のＥＶ値は、全てまたは要部の分割エリアのＥＶ値を平均して求める。

図８において、画面全体と近傍ＣＯＲＮのＥＶ差が所定値（例えば「１」）より大きい場合には、近傍ＣＯＲＮが画面全体の明るさと比較してとても暗く、極めて物体色らしいと判断する。画面全体と近傍ＣＯＲＮのＥＶ差が所定値（例えば「１」）より小さな場合には、光源色らしさを示す関数値Ｈ０は、近傍ＣＯＲＮが明るくＥＶ差が小さいほど、大きくなる。近傍ＣＯＲＮのＥＶ値が画面全体のＥＶ値より大きな場合には、光源らしさを示す評価値Ｈ０は最高値の「１．０」になる。この光源色らしさを示す評価値Ｈ０が所定の閾値以下の場合には、その近傍ＣＯＲＮが選別の対象から排除される。例えば、グレー系物体色は、選別の対象から排除される。

光源色および物体色の検出精度を上げるため、近傍ＣＯＲＮに所属する色情報の個数（分割エリアの個数である）、近傍ＣＯＲＮに属する分割エリア同士の画面上での位置関係など、明るさ以外の属性に基づいて、物体色および光源色の何れを示すかを判定するとよい。例えば、所属する色情報の個数が所定の閾値以下である近傍ＣＯＲＮや、その近傍ＣＯＲＮに属する分割エリア同士の画面上での連結数が所定の閾値を超えるものは、物体色らしいとして、選別の対象から排除するようにする。

ステップＳ２１２で低彩度かつ明るい近傍ＣＯＲＮを第１の光源色を示すものとして選別した後、この選別した近傍ＣＯＲＮを基準として、それ以外の各ＣＯＲＮ（カタマリ）の物体色らしさが評価される。本実施例では、選別した近傍ＣＯＲＮとの明度差および彩度差、注目したＣＯＲＮに属する分割エリア同士の画面上での位置関係（以下「画面情報」と称する）が検出される（Ｓ２１４）。これら検出された明度差、彩度差および画面情報をそれぞれ変数とした物体色らしさを表わすメンバシップ関数が用いられ、近傍ＣＯＲＮ以外の各ＣＯＲＮについて物体色および光源色の何れを示すかが判別される（Ｓ２１６）。

図９に示すメンバシップ関数ｆ１は、選別された近傍ＣＯＲＮと近傍ＣＯＲＮ以外の注目ＣＯＲＮとの彩度差を変数として、注目ＣＯＲＮの物体色らしさを示す関数値Ｈ１（以下「彩度評価値」と称する）を求めるものである。図９において、横軸は、選別された近傍ＣＯＲＮの中心から注目ＣＯＲＮの中心までの距離であり、縦軸は、彩度評価値Ｈ１である。距離（Ｄｋ０）は、（Ｒ／Ｇ，Ｂ／Ｇ）座標上での距離であって彩度差を示し、数式８に従って求められる。
［数式８］
Ｄｋ０＝｛｛（Ｒｋ−Ｒ０）² ＋（Ｂｋ−Ｂ０）² ｝^1/2
ここで、インデックスｋは、注目ＣＯＲＮを指し示す正整数である。なお、近傍ＣＯＲＮの中心（Ｒ０，Ｂ０）は、選別された近傍ＣＯＲＮの代表色情報を示す（Ｒ／Ｇ，Ｂ／Ｇ）座標である。注目ＣＯＲＮの中心（Ｒｋ，Ｂｋ）は、注目ＣＯＲＮの代表色情報を示す（Ｒ／Ｇ，Ｂ／Ｇ）座標である。

数式８の距離Ｄｋを（Ｒ／Ｇ，Ｂ／Ｇ）座標上でみると、図１０のようになる。図１０において、各カタマリの中心を白抜きの丸で示している。第１近隣円４００の内側にあるものは、近傍ＣＯＲＮの中心に近く、例えば、近傍ＣＯＲＮの中心に近いほど光源色らしいと判断し、近傍ＣＯＲＮの中心から離れるほど物体色らしいと判断する。第２近隣円４０２の外側にあるものは、極めて物体色らしいと判断する。

ただし、上記の彩度評価値Ｈ１のみに基づいて注目ＣＯＲＮを排除してしまうと、屋外光源色と屋内光源色とが混在したような場合には、屋外光源色を示す近傍ＣＯＲＮは選別されても、屋内光源色を示すＣＯＲＮ（カタマリ）は排除されてしまうことになる。そこで、第１の光源色（屋外光源色である）を示す近傍ＣＯＲＮとの彩度差が所定値を超えるＣＯＲＮであっても光源色の選別対象から排除してしまわないようにする。図１０を用いて説明すると、たとえ第２近隣円４０２の外側に中心があったとしてもその注目ＣＯＲＮを光源色の選別対象から排除してしまうのではなく、適当な評価値Ｈ１を与える。そして、以下に説明するように、明度、画面情報等、彩度以外の属性に関する評価値をも用いて、カタマリの選別を行う。

図１１に示すメンバシップ関数ｆ２は、選別された近傍ＣＯＲＮと注目ＣＯＲＮとの明度差を変数として、注目ＣＯＲＮの物体色らしさを示す関数値Ｈ２（以下「明度評価値」と称する）を求めるものである。図１１において、横軸は、選別された近傍ＣＯＲＮと注目ＣＯＲＮとのＥＶ値の差（ＥＶ差）であり、縦軸は、明度評価値Ｈ２である。近傍ＣＯＲＮおよび注目ＣＯＲＮのＥＶ値は、各ＣＯＲＮに属する分割エリアのＥＶ値を平均して求める。

図１１において、選別された近傍ＣＯＲＮとのＥＶ差が所定値（例えば１．５）より小さい場合には、物体色らしさを示す明度評価値Ｈ２は最高値の「１．０」である。例えばタングステン光源色に近い物体色が存在する場合であっても、共通の光源の下では物体色の明るさと光源色の明るさとの差が小さいので、そのような物体色を示すカタマリを排除するように評価値Ｈ２を高くする。

また、図１１において、選別された近傍ＣＯＲＮとのＥＶ差が所定値（例えば１．５）以上の場合には、ＥＶ差が大きいほど、物体色らしさを示す明度評価値Ｈ２は小さくなる。例えば、屋内光と屋外光とが混在するような場合であっても、屋内光源色は屋外光源色に対して明度差が出やすく、そのような屋内光源色を示すカタマリが選別されやすくなるように明度評価値Ｈ２が低くなる。

また、光源色および物体色の検出精度を上げるため、予め複数種類のメンバシップ関数を用意し、近傍ＣＯＲＮの明るさに基づいてメンバシップ関数を切り替えてもよい。例えば、屋外光源色らしいカタマリが近傍ＣＯＲＮとして選別されているか否かを、その近傍ＣＯＲＮのＥＶ値が所定値（例えば１０ＥＶ）以上であるか否かにより判断する。ここで、注目ＣＯＲＮが屋内光源を示しているときには、近傍ＣＯＲＮと注目ＣＯＲＮとで明度差が大きくなる。このようなときには光源色らしさが検出され易いような性質を持ったメンバシップ関数を用いる。あるいは、近傍ＣＯＲＮが屋外光源色を示すと判断されたときのみ図１１に示すようなメンバシップ関数ｆ２を用い、近傍ＣＯＲＮが屋外光源色以外を示すと判断されたときには、メンバシップ関数ｆ２を用いないようにしてもよい。

さらに、注目ＣＯＲＮに属する分割エリア同士の画面上での位置関係（画面情報）を評価する。

ステップＳ１１０で検出されたカタマリは、相互に近似した所定個数以上の色情報で構成されている。このようなカタマリに属する分割エリア同士の画面上での位置関係をみた場合、一般に、物体色であれば画面上で互いに連結した状態になっており、光源色であれば画面上で散らばった状態になっている。例えば、図１２に示す画面上において、画面上で６つの分割エリア５０１、５０２、５０３、５０４、５０５および５０６の各色情報が同一の注目ＣＯＲＮに所属していたとする。そうすると、この注目ＣＯＲＮ、すなわち、画面上で分割エリア同士が互いに連結した状態のものは、物体色である可能性が高い。一方で、画面上で分割エリアが散らばった状態のものは、光源色である可能性が高い。そこで、注目ＣＯＲＮごとに、その注目ＣＯＲＮに属する分割エリア同士の画面上での連結数を検出し、検出された連結数に基づいて注目ＣＯＲＮが物体色および光源色の何れを示すかを判定する。例えば、図１２において、第１の分割エリア５０１に注目すると、この第１の分割エリア５０１が周囲の５つの分割エリア５０２、５０３、５０４、５０５、５０６と連結している。このような分割エリア同士の連結数を検出し、連結数が所定の閾値を超える場合（例えば連結数が２より大きい場合）、物体色らしいと判定する。一方で、連結数が閾値以下の場合（例えば連結数が２以下の場合）、光源色らしいと判定する。このような画面情報に基づいて求めたメンバシップ関数値Ｈ３を以下「画面評価値」と称する。

以上説明した彩度評価値Ｈ１、明度評価値Ｈ２、画面評価値Ｈ３に基づいて総合的に判断した物体らしさの評価値ＨＭは、数式９によって表わされる。
［数式９］
物体色らしさの評価値ＨＭ＝彩度評価値Ｈ１×明度評価値Ｈ２×画面評価値Ｈ３
この物体らしさの評価値ＨＭに基づいて各注目ＣＯＲＮが物体色を示すものか否かが判定され（Ｓ２１８）、物体らしさの評価値ＨＭが所定の閾値を超える場合には、その注目ＣＯＲＮがホワイトバランス補正値の計算要因から排除される（Ｓ２２０）。

また、各注目ＣＯＲＮの光源色らしさの評価値ＨＬは、数式１０によって表わされる。
［数式１０］
光源色らしさの評価値ＨＬ＝１−物体色らしさの評価値ＨＭ
この光源色らしさの評価値ＨＬに基づいて、光源色らしいカタマリのみがゲイン値（ホワイトバランス補正値）の計算要因とされる（Ｓ２２２）。

以上説明したように、物体色を示すカタマリがホワイトバランス補正値の計算要因から排除された後、数式１１に従って、（Ｒ／Ｇ，Ｂ／Ｇ）座標上のゲイン値Ｒ／Ｇｇ、Ｂ／Ｇｇを計算する（Ｓ２３０）。
［数式１１］
Ｒ／Ｇｇ＝（ΣＨＬＣｋ×（１／Ｒｋ））／ΣＨＬＣｋ
Ｂ／Ｇｇ＝（ΣＨＬＣｋ×（１／Ｂｋ））／ΣＨＬＣｋ
ここで、インデックスｋは、各光源色を示すカタマリを指し示す「１」からｍまでの正整数である。（１／Ｒｋ，１／Ｂｋ）は、各カタマリの代表色情報（Ｒｋ，Ｂｋ）を、ニュートラル・グレーを示す原点（１，１）にするための逆算ゲインである。評価値ＨＬＣｋは、各カタマリの光源色らしさの評価値ＨＬおよび個数Ｃｋに応じた逆算ゲイン（１／Ｒｋ，１／Ｂｋ）に対する重みである。個数Ｃｋは、各カタマリに属する色情報の個数（分割エリアの個数に相当する）である。Σ記号は、インデックスｋを「１」からｍまで順次切り替えて行う積算を表わす。

このようにして算出されたゲイン値Ｒ／Ｇｇ、Ｂ／Ｇｇは、必要に応じて色味を残すための調整が施され、Ｒ，Ｇ，Ｂ信号にそれぞれ乗算する実際のゲイン値Ｒｇ，Ｇｇ、Ｂｇに変換される。そして、ＣＰＵ１２から図２のホワイトバランス調整回路１０４にゲイン値Ｒｇ，Ｇｇ、Ｂｇが出力されることにより、ホワイトバランス調整回路１０４においてＲ，Ｇ，Ｂ信号のホワイトバランスが調整される（Ｓ２４０）。

以上説明したように、実施例１および実施例２のホワイトバランス調整方法によれば、光源検出枠を用いなくても、色座標上での色情報の分布に適合した適正なホワイトバランス補正値が得られることになる。また、従来設けていた光源検出枠同士の境界や狭間の位置に色情報が集中した場合であっても、色座標上の色情報の分布に適合した適正なホワイトバランス補正値が得られることになる。

なお、本発明は、色座標上での検出枠の使用を禁止するものではなく、最低限必要な、あるいは、有用な検出枠を設定し用いるようにしてもよい。

予め色座標上に追従範囲を設定し、この追従範囲外に分布した色情報については無視するようにしてもよい。

また、従来の検出枠による光源色の判定と、本発明を適用したカタマリ検出による光源色の判定とを、併用してもよいし、撮影環境に応じて検出枠を用いるか否かを切り替えるようにしてもよい。

特定の枠内に色情報が集中した場合や、特定の枠外に色情報の大多数が出てしまった場合など、特定の条件に適合した場合には、カタマリ検出は行わず、デフォルトのホワイトバランス補正値を用いるようにしてもよい。

本発明に係るホワイトバランス調整方法を適用したカメラの概略構成を示すブロック図 本発明に係るホワイトバランス調整方法を適用したカメラのホワイトバランス調整機能に関連する部分を示すブロック図 実施例１のホワイトバランス調整処理の流れを示すフローチャート 各分割エリアの色情報の分布、および、カタマリの例の説明に供する説明図 カタマリの中心検出の説明に供する説明図 撮影画面上の分割エリアとカタマリとの対応関係の例を示す図 実施例２のホワイトバランス調整処理の流れを示すフローチャート 第１の光源色を示すカタマリを検出するために用いる光源色らしさを表わすメンバシップ関数の例を示す図 彩度に関する変数により物体色らしさを表わすメンバシップ関数の例を示す図 彩度に関する変数として（Ｒ／Ｇ，Ｂ／Ｇ）座標上の距離を用いる場合の説明に供する説明図 明度に関する変数により物体色らしさを表わすメンバシップ関数の例を示す図 画面上の分割エリアの位置関係に関する変数により物体色らしさを表わすメンバシップ関数の例を示す図

符号の説明

１０…カメラ、１２…ＣＰＵ、１８、１１０…メモリ、２４…撮影ボタン、３８…ＣＣＤ（カラー撮像素子）、５８…画像信号処理回路、６４…ＡＥ／ＡＷＢ検出回路、１０４…ホワイトバランス調整回路、１１２…積算回路

Claims (12)

1. カラー撮像素子から得られる各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整するホワイトバランス調整方法において、
   １画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求める第１ステップと、
   各分割エリアの色情報に順次注目し、注目した分割エリアの色情報と該色情報に相互に近似する他の分割エリアの色情報とからなるグループを順次形成して、形成された各グループをそれぞれ代表する代表色情報を求める第２ステップと、
   各グループの代表色情報に順次注目し、注目したグループの代表色情報と該代表色情報に相互に近似する他のグループの代表色情報とからなる新たなグループを順次形成して、新たに形成された各グループをそれぞれ代表する代表色情報を求める第３ステップと、
   該第３ステップを代表色情報の値が収束するまで繰り返し、
   最後に形成されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出する第４ステップと、
   を含むことを特徴とするホワイトバランス調整方法。
2. 前記画像信号は、Ｒ，Ｇ，Ｂ信号であり、
   前記第１ステップは、
   前記分割エリア内のＲ，Ｇ，Ｂ信号を色別に積算して得た積算値に基づいて、色別の積算値の比Ｒ／Ｇ及びＢ／Ｇを求め、これらの比Ｒ／Ｇ及びＢ／Ｇを前記分割エリアの色情報とすることを特徴とする請求項１に記載のホワイトバランス調整方法。
3. 前記第２ステップおよび第３ステップは、
   前記分割エリアの色情報が分布する所定の色座標上で、順次注目した色情報を中心として所定の距離以内にある色情報を同一のグループとしてグループを形成し、形成されたグループ内の色情報の平均座標をグループの代表色情報とすることを特徴とする請求項１に記載のホワイトバランス調整方法。
4. 前記第４ステップは、
   所属する色情報の個数が所定値以下のグループを排除して、所属する色情報の個数が所定値を超えるグループの代表色情報に基づいて前記ホワイトバランス補正値を算出することを特徴とする請求項１、２又は３に記載のホワイトバランス調整方法。
5. 前記第４ステップは、
   各グループの代表色情報を目標の色情報にするためのグループ毎のホワイトバランス補正値を算出し、該算出したグループ毎のホワイトバランス補正値を各グループに所属の色情報の個数によって重み付け加算して前記ホワイトバランス補正値を算出することを特徴とする請求項４に記載のホワイトバランス調整方法。
6. 前記分割エリアの色情報が分布する所定の色座標上で所定の低彩度領域に存在するグループを第１の光源色を示すグループと判定するステップと、
   前記第１の光源色を示すと判定されたグループを基準にして他のグループが物体色および光源色の何れを示すかを判定するステップと、
   をさらに含み、
   前記第４ステップは、物体色を示すと判定されたグループを排除して、光源色を示すと判定されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出することを特徴とする請求項１ないし５の何れかに記載のホワイトバランス調整方法。
7. カラー撮像素子から得られる各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整するホワイトバランス調整方法において、
   １画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求めるステップと、
   前記複数の分割エリアの色情報を相互に近似する色情報別にグループ分けし、各グループを代表する代表色情報を求めるステップと、
   前記分割エリアの色情報が分布する所定の色座標上で所定の低彩度領域に存在するグループを第１の光源色を示すグループと判定するステップと、
   前記第１の光源色を示すと判定されたグループを基準にして他のグループが物体色および光源色の何れを示すかを判定するステップと、
   物体色を示すと判定されたグループを排除して、光源色を示すと判定されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出するステップと、
   を含むことを特徴とするホワイトバランス調整方法。
8. 前記第１の光源色を示すグループを判定するステップは、
   明るさが所定値以上のグループの中で彩度が最も低いグループを第１の光源色を示すグループと判定することを特徴とする請求項６又は７に記載のホワイトバランス調整方法。
9. 前記グループが物体色を示すか否かを判定するステップは、
   各グループに順次注目し、注目したグループと前記第１の光源色を示すグループとの明度差および彩度差を検出して、該明度差および彩度差に基づいて、各注目グループが物体色を示すか否かを判定することを特徴とする請求項６、７又は８に記載のホワイトバランス調整方法。
10. 前記グループが物体色を示すか否かを判定するステップは、
    各グループに属する分割エリア同士の画面上での位置関係を検出し、該位置関係に基づいて、各グループが物体色を示すか否かを判定することを特徴とする請求項６、７、８又は９に記載のホワイトバランス調整方法。
11. 各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整する画像処理装置であって、
    １画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求める手段と、
    各分割エリアの色情報に順次注目し、注目した分割エリアの色情報と該色情報に相互に近似する他の分割エリアの色情報とからなるグループを順次形成して、形成された各グループをそれぞれ代表する代表色情報を求める手段と、
    各グループの代表色情報に順次注目し、注目したグループの代表色情報と該代表色情報に相互に近似する他のグループの代表色情報とからなる新たなグループを順次形成して、新たに形成された各グループをそれぞれ代表する代表色情報を求め、この新たなグループの形成を代表色情報が収束するまで繰り返す手段と、
    最後に形成されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出する手段と、
    を備えたことを特徴とする画像処理装置。
12. 各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整する画像処理装置であって、
    １画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求める手段と、
    前記複数の分割エリアの色情報を相互に近似する色情報別にグループ分けし、各グループを代表する代表色情報を求める手段と、
    前記分割エリアの色情報が分布する所定の色座標上で所定の低彩度領域に存在するグループを第１の光源色を示すグループと判定する手段と、
    前記第１の光源色を示すと判定されたグループを基準にして他のグループが物体色および光源色の何れを示すかを判定する手段と、
    物体色を示すと判定されたグループを排除して、光源色を示すと判定されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出する手段と、
    を備えたことを特徴とする画像処理装置。

Images