JP2009004966A - 撮像装置 - Google Patents

Abstract

【課題】ホワイトバランス調整にかかる処理負荷および記憶容量を低減しつつ、エリア間の境界部に不連続な画像や分割線を生じさせず、適切なホワイトバランスの調整を行うことができる撮像装置を提供する。
【解決手段】画像を複数エリアに分割するエリア分割部５と、複数エリアから白データエリアを検出する局所的白エリア検出部８と、各エリアのホワイトバランスゲインを、局所領域内で検出された白データエリアの画像信号から算出するホワイトバランスゲイン算出部１２と、画像中の各々の画素を注目画素として、注目エリアおよび該エリアに隣接するエリアのホワイトバランスゲインに対して、注目画素の位置に応じた補間演算を行うことにより、画素毎のホワイトバランスゲインを算出する線形補間部１１と、画像のホワイトバランスゲイン調整を行うホワイトバランスゲイン調整部１２とを備える。
【選択図】図１

Description

本発明は、画像に対してホワイトバランスの調整を行う撮像装置、ホワイトバランス調整装置およびホワイトバランス調整方法に関する。撮像装置は、主にデジタルスチルカメラやデジタルビデオカメラ等に代表される。

一般に、デジタルスチルカメラに代表される撮像装置は、自動ホワイトバランス調整機能（ＡＷＢ：Auto White Balance）を有しており、撮影時にホワイトバランスを自動的に調整して撮影することができる。この自動ホワイトバランス調整機能は、撮影時の光源による色味の違いを自動的に補正する機能をいい、撮像している被写体の色信号から、撮影時の光源下における無彩色の画像信号を白データとして検出し、無彩色の被写体が画像上で無彩色になるように、３原色画像信号ＲＧＢの各データの大きさを等しく揃える制御を行う機能をいう。この自動ホワイトバランス調整機能を用いることにより、いろいろな光源の色温度や明るさに応じてホワイトバランスの調整を行える。このホワイトバランス調整機能は、特定の被写体条件によらずホワイトバランスを適切に調整することで、撮影画像がより美しく見えるよう、更なる性能向上が期待されている。

ここで、一般的なホワイトバランス調整技術として、無彩色被写体が集まる領域を白判定領域として色空間上に定義し、画面毎に白判定領域内に入った画像信号を白データと検出し、白データからホワイトバランスゲインを算出する技術が知られている。しかし、従来一般のホワイトバランス調整では、画面に１つの白判定領域を一律に設定して白データの検出を行われている。この場合、画像中での被写体の位置に関係なく、画面全体の平均的な色温度を基準に自動的にホワイトバランスの調整がなされてしまうので、ホワイトバランス調整が正確に行われない場合があった。

ホワイトバランス調整能力を向上させるために、例えば特許文献１に記載のホワイトバランス調整技術が提案されている。特許文献１に記載の技術では、画像データを複数の画面領域に分割して、分割した画面領域毎の画像データから白画素データを抽出し、抽出した白画素データを用いてホワイトバランスを調整する。この際、ユーザが任意に選択した特定の画面領域の画像データと、他の画面領域の画像データとでは、重み付けが変えられる。これにより、ユーザが撮影したい被写体の位置に合わせてホワイトバランス調整を行うことができる。
特開２００２−１９９４０９号公報

しかしながら、特許文献１に記載の従来の撮像装置では、画面領域によって重み付けを行うことで、ユーザが選択した特定の画面領域、すなわちユーザが撮影したい被写体に対しては正確にホワイトバランスが合う。しかし、画面一律に１つのホワイトバランスゲインがかけられるため、特定の画面領域以外では正確にホワイトバランスが合わないという問題があった。

このような点を考慮して、画像を複数のエリアに分割して、エリア単位でホワイトバランスゲインを算出することが提案されており、これにより、画像内のエリア毎にホワイトバランスゲインを異ならせることができ、ホワイトバランスをより正確に調整することができる。また、画像をエリア単位で処理することで、ホワイトバランス調整にかかる処理負荷や記憶容量を比較的小さく抑えられる。しかし、エリア単位でホワイトバランスゲインを算出する場合、エリア間の境界部において、画像が不連続となったり、分割線が現れたりするといった弊害が生じる可能性がある。特に、異なる色温度の光源によって照らされた画面領域が画面中に混在する撮像条件（この撮像条件をミックス光源という）の下では、異なる色温度の光源によって照らされた境界領域周辺におけるエリア間の境界部において、不連続な画像や分割線が現れることが多い。

本発明は、上記従来の問題を解決するためになされたもので、画面領域毎のホワイトバランス調整を行いつつも、エリア単位の処理によって処理負荷および記憶容量を低減し、かつ、エリア間の境界部に不連続な画像や分割線を生じさせず、適切なホワイトバランスの調整を行うことができる撮像装置を提供することを目的とする。

本発明の撮像装置は、撮像された画像に対してホワイトバランス調整を行う撮像装置であって、前記画像を複数のエリアに分割するエリア分割部と、前記複数のエリアの各々の画素信号が色空間上に設定された白判定領域に入るか否かを判定することにより、前記複数のエリアから白データエリアを検出する白エリア検出部と、前記複数のエリアのうちの各エリアのホワイトバランスゲインを、前記各エリアを含む局所領域内で検出された前記白データエリアの画像信号から算出するホワイトバランスゲイン算出部と、前記画像中の各々の画素を注目画素として、前記注目画素を含むエリアおよび該エリアに隣接するエリアのホワイトバランスゲインに対して、前記注目画素の位置に応じた補間演算を行うことにより、前記注目画素のホワイトバランスゲインを算出する補間部と、前記補間部により算出された画素毎のホワイトバランスゲインを用いて、前記画像のホワイトバランス調整を行うホワイトバランス調整部とを備えた構成を有している。

この構成により、エリア毎でホワイトバランスゲインを算出して、エリア単位のホワイトバランスゲインを用いた補間演算により画素毎のホワイトバランスゲインを算出し、画素毎のホワイトバランスゲインを用いてホワイトバランス調整を行える。これにより、ホワイトバランスゲインの算出をエリア単位で行うことで、処理に必要な記憶容量と処理負荷を大幅に削減できる。また、補間演算で得られる画素毎のホワイトバランスゲインを用いてホワイトバランス調整を行うことで、エリア間の境界部に不連続な画像や分割線が生じるのを低減でき、画面全体に亘って適切なホワイトバランスの調整を行うことができる。ミックス光源の下でも、異なる色温度の光源によって照らされた境界領域周辺におけるエリア間の境界部において、不連続な画像や分割線が現れるのを効果的に低減できる。従って、ホワイトバランス調整にかかる処理負荷および記憶容量を低減しつつ、エリア間の境界部に不連続な画像や分割線を生じさせず、適切なホワイトバランスの調整を行うことができる。

本発明の撮像装置において、前記補間部は、前記補間演算に使われる各エリアの重心位置と前記注目画素との間の距離に応じた補間演算を行う構成を有している。この構成により、注目画素の位置に基づいて、適切な補間演算を行うことができる。

本発明の撮像装置において、前記ホワイトバランスゲイン算出部は、各エリアを注目エリアとして、前記注目エリアを含む前記局所領域内の白データエリアの画素信号を、前記注目エリアと前記白データエリアとの間の距離に応じた重み付けを付けて積算することによって、前記注目エリアのホワイトバランスゲインを算出する構成を有している。この構成により、注目エリアのホワイトバランスゲインを算出する際に、注目エリアと白データエリアとの間の距離に応じて、ホワイトバランスゲインに与える影響を段階的に調整することができる。

本発明の撮像装置において、前記白エリア検出部は、前記画像信号の明るさに基づいて、前記白判定領域を前記色空間上の異なる色温度域へと変更する構成を有している。この構成により、撮影状況や被写体に応じて、白判定領域を絞り込むことができ、白データの誤検出と、誤検出によるホワイトバランスずれを低減することができる。

本発明のホワイトバランス調整装置は、画像に対してホワイトバランスの調整を行うホワイトバランス調整装置であって、前記画像を複数のエリアに分割するエリア分割部と、前記複数のエリアの各々の画素信号が色空間上に設定された白判定領域に入るか否かを判定することにより、前記複数のエリアから白データエリアを検出する白エリア検出部と、前記複数のエリアのうちの各エリアのホワイトバランスゲインを、前記各エリアを含む局所領域内で検出された前記白データエリアの画像信号から算出するホワイトバランスゲイン算出部と、前記画像中の各々の画素を注目画素として、前記注目画素を含むエリアおよび該エリアに隣接するエリアのホワイトバランスゲインに対して、前記注目画素の位置に応じた補間演算を行うことにより、前記注目画素のホワイトバランスゲインを算出する補間部と、前記補間部により算出された画素毎のホワイトバランスゲインを用いて、前記画像のホワイトバランス調整を行うホワイトバランス調整部とを備えた構成を有している。

この構成によっても、上述した本発明の撮像装置と同様の利点が得られる。ただし、本発明は、撮像装置のホワイトバランス調整技術に限定されない。すなわち、ホワイトバランス調整装置は、撮像装置に設けられても、設けられなくてもよい。そして、本発明のホワイトバランス調整処理が、撮像装置で撮像された画像だけでなく、一般的な画像に対しても施されてもよい。

本発明のホワイトバランス調整方法は、画像に対してホワイトバランスの調整を行うホワイトバランス調整方法であって、前記画像の画像信号を複数エリアに分割するステップと、前記複数のエリアの各々の画素信号が色空間上に設定された白判定領域に入るか否かを判定することにより、前記複数のエリアから白データエリアを検出するステップと、前記複数のエリアのうちの各エリアのホワイトバランスゲインを、前記各エリアを含む局所領域内で検出された前記白データエリアの画像信号から算出するステップと、前記画像中の各々の画素を注目画素として、前記注目画素を含むエリアおよび該エリアに隣接するエリアのホワイトバランスゲインに対して、前記注目画素の位置に応じた補間演算を行うことにより、前記注目画素のホワイトバランスゲインを算出するステップと、算出された画素毎のホワイトバランスゲインを用いて、前記画像のホワイトバランス調整を行うステップとをと含む構成を有している。

この構成によっても、上述した本発明の撮像装置と同様の利点が得られる。ただし、このホワイトバランス調整方法の適用対象も、撮像装置に限定されない。

本発明は、エリア毎でホワイトバランスゲインを算出して、エリア単位のホワイトバランスゲインを用いた補間演算により画素毎のホワイトバランスゲインを算出し、画素毎のホワイトバランスゲインを用いてホワイトバランス調整を行える。これにより、ホワイトバランス調整にかかる処理負荷および記憶容量を低減しつつ、エリア間の境界部に不連続な画像や分割線を生じさせず、適切なホワイトバランスの調整を行うことができるという効果を有する撮像装置を提供することができるものである。

以下、本発明の実施の形態に係る撮像装置について、図面を用いて説明する。本発明の実施の形態における撮像装置を示すブロック図を図１に示す。図１に示されるように、本発明の実施の形態に係る撮像装置１０００は、レンズ１と、撮像素子２と、Ａ／Ｄ（Analog／Digital）変換部３と、ＯＢ（Optical Black）減算部４と、エリア分割部５と、エリア値算出部６と、記憶部７と、局所的白エリア検出部８と、重み付け積算部９と、ホワイトバランスゲイン算出部１０と、線形補間部１１と、ホワイトバランス調整部１２と、画像処理部１３と、制御部１４を備えている。

レンズ１は、被写体からの光を撮像素子２に結像するものである。撮像素子２は、レンズ１により結像した像を光電変換することにより、撮像された画像から画像信号を生成する。また、撮像素子２は電子シャッター（不図示）を備えており、この電子シャッターは制御部１４の制御の下で画像の明るさを電子的に制御する。Ａ／Ｄ変換部３は、撮像素子２から得られるアナログ信号をデジタル信号に変換する。

ＯＢ減算部４は、Ａ／Ｄ変換部３によりデジタル信号に変換された画像信号に対して、ＯＢ減算処理を行う。ＯＢ減算処理は、暗電流補正用の画素（光学的黒画素またはオプティカルブラックと呼ばれる）を撮像素子２の有効画素の外に設けて、有効画素の信号と暗電流補正用画素の信号との差分をとる処理をいう。このＯＢ減算処理により、暗電流の直流分を除去できる。

エリア分割部５は、ＯＢ減算部４によりＯＢ減算された画像信号を複数のエリアに分割する。エリア値算出部６は、エリア分割部５により分割された複数のエリア全てに対して、各エリア内の３原色画像信号であるＲ信号、Ｇ信号、Ｂ信号のエリア値を算出する。エリア値とは、エリア内の画素情報に関する値であり、例えば、エリアに含まれる画素の画素値の平均値である。

記憶部７には、エリア値算出部６により算出されるエリア値が１フレーム期間毎に記憶される。局所的白エリア検出部８は、本発明の白エリア検出部に相当し、記憶部７に記憶されているエリア値を基に、画像中の複数のエリアから白データエリアを検出する。重み付け積算部９は、各エリアを注目エリアとして、注目エリアを含む局所領域内の各白データエリアのエリア値を、注目エリアと白データエリアとの間の距離に応じた重み付けを付けて積算する。

ホワイトバランスゲイン算出部１０は、重み付け積算部９により積算された積算値から、画像中の各エリアのホワイトバランスゲインを算出する。線形補間部１１は、画像中の各画素を注目画素として、ホワイトバランスゲイン算出部１０により算出されたエリア毎のホワイトバランスゲインに対して、注目画素の位置に応じた線形補間演算を行うことにより、注目画素のホワイトバランスゲインを算出する。具体的には、線形補間部１１は、注目画素を含むエリアおよび隣接するエリアのホワイトバランスゲインに対して、各エリアの重心位置と注目画素との間の距離に応じた線形補間演算を行う。なお、局所的白エリア検出部８、重み付け積算部９、ホワイトバランスゲイン算出部１０および線形補間部１１の具体的な機能については、後述の動作説明と共に詳細に説明する。

ホワイトバランス調整部１２は、線形補間部１１により算出された画素毎のホワイトバランスゲインを用いて、ＯＢ減算後の画像信号に対してホワイトバランス調整を行う。画像処理部１３は、ホワイトバランス調整部１２によってホワイトバランス調整が行われた画像信号に対して信号処理を行うことにより、輝度信号および色差信号を生成する。制御部１４は撮像素子２および局所的白エリア検出部８の制御を行う。制御部１４は例えば撮像素子２の電子シャッターシャッター値や絞り値を制御する。これにより、撮像素子２の撮像画像の明るさが制御される。また、例えば局所的白エリア検出部８が色空間上で白判定領域を変更する際に、制御部１４が局所的白エリア検出部８を制御する。

本発明の実施の形態における撮像装置１０００の動作について、図に基づいて説明する。撮像装置１０００のホワイトバランス調整処理のフローを図２に示す。まず、エリア分割部５が、Ａ／Ｄ変換部３およびＯＢ減算部４を経て入力される画像信号を１画面中で複数のエリアに分割する（ステップ：ＳＴＥＰ（以下、単にＳと称する）２０１）。このとき、１エリア内には、少なくとも１個以上の画素が含まれている。図３は、本発明の実施の形態におけるエリア分割を説明する図であって、画像の大きさを水平６４０画素、垂直４８０画素としたときに、画像を水平８０個、垂直６０個の計４８００個のエリアに分割した例を示すものである。この場合、１エリア中には、水平８個、垂直８個の計６４個の画素が含まれる。

エリア値算出部６が、エリア分割部５により分割された複数のエリア全てに対して、各エリア内の３原色画像信号であるＲ信号、Ｇ信号、Ｂ信号それぞれのエリア値を算出する（Ｓ２０２）。これにより、４８００個に分割されたエリア毎に、Ｒ信号、Ｇ信号およびＢ信号の３つのエリア値が算出される。このエリア値算出部６により算出された各エリア値は、記憶部７に順次記憶される（Ｓ２０３）。この場合、記憶部７には１４４００個（３×４８００個）のエリア値が記憶される。

次に、局所的白エリア検出部８が、記憶部７に記憶された１フレーム前のエリア値を使って、画像から白データエリアを検出する（Ｓ２０４）。具体的には、局所的白データエリア検出部８は、各エリアを注目エリアとして、注目エリアを中心とした局所領域から白データエリアを検出する。局所的白エリア検出部８は、複数のエリアの各々の画素信号が色空間上に設定された白判定領域に入れるか否かを判定することにより、注目エリアを含む局所領域中の複数エリアから白データエリアを検出する。このとき、局所的白エリア検出部８は、制御部１４の制御の下、画像信号の明るさに関する情報に基づいて、白判定領域を色空間上の異なる色温度域へと便宜変更する。より具体的には、白判定領域は、各エリアのＲ、ＧおよびＢの３つのエリア値から求まる輝度値と、撮像装置１０００のシャッター値および絞り値とによって変更される。

以下に、Ｓ２０４における白データエリア検出処理について、図４〜図６を用いて具体的に説明する。図４は、局所的白検出を説明する図である。図５は、局所領域毎の白判定領域の一例を示す図である。図６は、撮像画像中の各局所領域内で白データエリアとして検出されたエリアを示す図である。

図４では、晴れた屋外において撮影した画像を例示している。図４は、ミックス光源下の撮影画像であり、すなわち、画像には、直射日光が当たったエリアが多く含まれている領域と、日陰のエリアが多く含まれている領域とが含まれている。図４において、注目エリアＥＤを中心としたＡ領域は、直射日光が当たったエリアが多く含まれている局所領域の一例であり、注目エリアＥＣを中心としたＢ領域は、日陰のエリアが多く含まれている局所領域の一例である。

図５では、白判定領域を色空間上に設定した例を示している。図５においては、本発明における撮像装置の白データエリア検出で用いる色空間の例として、Ｂ（ブルー）、Ｇ（グリーン）、Ｒ（レッド）の各色信号から算出されるＢ／ＧおよびＲ／Ｇの値をそれぞれ横軸および縦軸とする座標空間が示されている。撮影時の光源下における無彩色の画像信号である白データは、色温度に応じて、図５の黒体輻射軌跡に沿って変化する。黒体輻射軌跡上には、色温度３０００Ｋ、５０００Ｋ、７０００Ｋの３点が例としてプロットされている。黒体輻射軌跡は、黒体輻射の色度に近似した曲線であって、白データ判定の基準となる。

そして、図５には、晴れた屋外の撮影画像に適した２つの白判定領域が示されている。一方は、光源が直射日光である場合に適した白判定領域、つまり、図４のＡ領域に適した白判定領域である。他方は、日陰に適した白判定領域、つまり、図４のＢ領域に適した白判定領域である。

Ａ領域では、直射日光が当たったエリアが多く含まれるため、注目エリアにおけるＲ、ＧおよびＢの３つのエリア値から求まる輝度値が大きく、直射日光が当たっているエリアの可能性が高い。このため、Ａ領域用の白判定領域は、日光の色温度である５０００Ｋ付近に設定される。また、Ｂ領域では、日陰のエリアが多く含まれるため、注目エリアにおけるＲ、ＧおよびＢの３つのエリア値から求まる輝度値が小さく、日陰のエリアの可能性が高い。このため、Ｂ領域用の白判定領域は５０００Ｋより高い色温度付近に設定される。このように、白判定領域は、局所的白エリア検出部８によって、注目エリアの輝度値に基づいて、色空間上の異なる色温度域へ便宜変更される。

さて、白データエリア検出における白判定領域の設定は以下のようにして行われる。まず、制御部１４により演算された電子シャッター値や絞り値などの明るさ（画像全体の明るさ）の情報から、撮影シーンが晴れた屋外であることが制御部１４により推定され、図５の２つの白判定領域のいずれかが適切であることが分かる。次に、各注目エリアの輝度値が判定される。Ａ領域では、中央の注目エリアＥＣの輝度値が大きいので、上述したように、図５のＡ領域の白判定領域（色温度５０００Ｋ）が設定される。Ｂ領域では、注目エリアＥＤの輝度値が小さいので、図５のＢ領域の白判定領域が設定される。この処理には、適当な閾値が設けられてよい。注目エリアの輝度値が閾値以上で有れば、Ａ領域用白判定領域が設定され、注目エリアの輝度値が閾値未満であればＢ領域用白判定領域が設定される。

そして、局所的白エリア検出部８は、上記のようにして設定した白判定領域を用いて白データエリアを検出する。ここでは、局所領域内の各エリアのエリア値が図５の色空間にプロットされて、白判定領域に属するかが判定される。そして、エリア値が白判定領域に入ったエリアが、白データエリアとして検出される。

図６は、白データエリアの検出結果を示している。Ａ領域とＢ領域は、それぞれ日向および日陰であり、上述したように異なる白判定領域が設定されている。これにより、各領域にて、その領域に合った色温度を基準にして、白データエリア、つまり、無彩色エリアが適切に検出されている。

図２に戻り、次に重み付け積算部９が、Ａ領域またはＢ領域で例示される局所領域内の白データエリアの画素信号のエリア値を、注目エリアと白データエリアとの間の距離に応じた重み付けを付けて積算する（Ｓ２０５）。図７は、局所領域における白データエリアのエリア値の重み付け積算を説明する図である。

図７に示す例では、図４で例示したＡ領域を範囲Ｅ１、Ｅ２、Ｅ３、Ｅ４に分けた場合を示している。この場合において、注目エリアＥＣを中心に水平距離Ｄ１、垂直距離Ｄ１の範囲Ｅ１内にある各エリアに対しては、エリア値をＷ１倍したうえで積算する。同様に、注目エリアＥＣを中心に水平距離Ｄ２、垂直距離Ｄ２の範囲にあり、かつ範囲Ｅ１に含まれない範囲Ｅ２内にある各エリアに対しては、エリア値をＷ２倍した上で積算する。注目エリアＥＣを中心に水平距離Ｄ３、垂直距離Ｄ３の範囲にあり、かつ範囲Ｅ１およびＥ２に含まれない範囲Ｅ３内にある各エリアに対しては、エリア値をＷ３倍した上で積算する。注目エリアＥＣを中心に水平距離Ｄ４、垂直距離Ｄ４の範囲にあり、かつ範囲Ｅ１からＥ３に含まれない範囲Ｅ４内にある各エリアに対しては、エリア値をＷ４倍した上で積算する。

注目エリアＥＣを中心として範囲Ｅ４以内に含まれない画面上のエリアは、局所領域の外側であり、この注目エリアで算出する積算値には関与しない。ここで、重み係数Ｗ１〜Ｗ４は、Ｗ１が一番大きくＷ４になるほど小さくし、距離値Ｄ１〜Ｄ４は、Ｄ１が一番小さくＤ４になるほど大きくする。これにより、注目エリアＥＣから距離的に遠くなるほど注目エリアＥＣにおける積算値に与える影響を段階的に小さくすることができる。

図８は、注目エリアが画面端部付近にある場合を示している。図８に示されるように、注目エリアＥＣが画像の端部付近にある場合には、当該エリアを中心とする局所領域に対応する所定範囲（ここではエリア参照範囲とする）が画面外にはみ出してしまう場合がある。この場合、画面外にはみ出した範囲に関しては、値が無いものとして扱ってもよいし、端部処理として別処理を行ってもよい。例えば、画面の一番外枠のエリアが画面外に無限に広がっていると考えて積算値の範囲をケアする方法や、画面の一番外枠のエリアに対して画面の外側部分は内側部分を折り返したものと考えて積算値の範囲をケアする方法も考えられる。

図９を参照すると、後述するように、本実施の形態では、２×２（横方向に２つ、縦方向に２つ）の４つのエリアのホワイトバランスゲインを用いて、ホワイトバランスゲインの線形補間処理を行うので、ここでは、４つのエリアを注目エリアとして説明する。ホワイトバランスゲイン算出部１０は、４つの注目エリアについて、独立にそれぞれＲ信号、Ｇ信号およびＢ信号のエリア値の積算値を同時に算出する。このとき、Ｒ信号、Ｇ信号およびＢ信号のエリア値の計１２個の積算値が同時に算出される。

合計１４４００個（３×４８００個）の中から選択する４つの注目エリアは、図９のように現在処理している注目画素Ｋ（後述の補間演算によって、ホワイトバランスゲインが求められることになる画素）から、重心位置への距離が近いエリア（ｉ，ｊ）、エリア（ｉ＋１，ｊ）、エリア（ｉ，ｊ＋１）、エリア（ｉ＋１，ｊ＋１）の４つとなる。同時に算出された１２個の積算値は、後段のホワイトバランスゲイン算出回路１０まで並列に処理される。

次にホワイトバランスゲイン算出部１０が、重み付け積算部９により積算された積算値から、画像中の各エリアに対応するホワイトバランスゲインを算出する（Ｓ２０６）。ホワイトバランスゲインは、次に示す式（１）および式（２）に従って、Ｒ信号およびＢ信号の積算値をＧ信号の積算値のレベルに正規化する形で算出される。なお、式（１）および式（２）では、Ｒ信号、Ｇ信号およびＢ信号の各積算値を、それぞれＲ積算値、Ｇ積算値およびＢ積算値と称している。
Ｒｇａｉｎ = Ｇ積算値／Ｒ積算値・・・（１）
Ｂｇａｉｎ = Ｇ積算値／Ｂ積算値・・・（２）

このようにして、４つの注目エリアそれぞれのホワイトバランスゲインがホワイトバランスゲイン算出部１０により算出される。

次に、線形補間部１１が、４つのエリアのホワイトバランスゲインを用いて線形補間演算を行い、画素毎のホワイトバランスゲインを算出する（Ｓ２０７）。以下、図１０を用いて具体的に説明する。図１０は、４つのエリアのホワイトバランスゲインの線形補間演算を説明する図である。

線形補間部１１は、画像中の各画素を注目画素として、注目画素を含むエリアおよび隣接するエリアのホワイトバランスゲインに対して、注目画素の位置に応じた線形補間演算を行うことにより、注目画素のホワイトバランスゲインを算出する。本発明における線形補間演算について、図１０に基づいて具体的に説明する。線形補間部１１は、図１０に示されるように、注目画素Ｋと注目エリアであるエリア（ｉ，ｊ）、エリア（ｉ＋１，ｊ）、エリア（ｉ，ｊ＋１）、エリア（ｉ＋１，ｊ＋１）のそれぞれの重心位置との距離を用いて線形補間演算を行う。

ここで、エリアの水平および垂直のサイズをＲ（Ｒはエリアの重心間距離でもある）、注目エリア（ｉ，ｊ）と注目画素Ｋとの水平距離をｐ、垂直距離をｑとし、エリア（ｉ，ｊ）、エリア（ｉ＋１，ｊ）、エリア（ｉ，ｊ＋１）、エリア（ｉ＋１，ｊ＋１）のホワイトバランスゲインを順にＲＡ、ＲＢ、ＲＣ、ＲＤとしたとき、線形補間後のＲｇａｉｎ’は次式で求められる。

Ｂｇａｉｎ’についても同様に求められる。
このようにして、線形補間部１１は、補間演算に使われる各エリアの重心位置と注目画素との間の距離に応じた線形補間演算を行い、画素毎のホワイトバランスゲインを順次算出する。

上記の処理は、画像中の全画素に対して同様に行われる。各画素のホワイトバランスゲインは、その画素を含むエリアと隣接エリアのホワイトバランスゲインから補間演算される。なお、隣接エリアとしては、図の例のように、注目画素のエリア内での位置、つまり、重心からの偏りによって決まる。具体的には、重心位置に対して、注目画素が位置する方向の２辺に隣接するエリアが使われる。従って、エリア内でも、画素位置が変われば、補間演算に使用される隣接エリアも変わる。

例えば、図９の例において、注目画素Kは注目エリア（ｉ，ｊ）の重心より紙面上にて右下であるから、この場合は注目エリア（ｉ，ｊ）に対して右側、右下側および下側の３つのエリアが隣接エリアとなり、これら隣接エリアのホワイトバランスゲインが補間演算に用いられる。また、注目画素が注目エリア（ｉ，ｊ）の重心より紙面上にて左上であった場合は、注目エリア（ｉ，ｊ）に対して、上側、左上側および左側の３つのエリアが隣接エリアとなる。

次に、ホワイトバランス調整部１２が、線形補間部１１により算出された画素毎のホワイトバランスゲインを用いて、画像のホワイトバランスゲインの調整を入力画像毎に行う（Ｓ２０８）。具体的には、ホワイトバランス調整部１２において、ＯＢ減算部４から出力される画像信号と、線形補間部１１から出力される画素毎のホワイトバランスゲインとを乗算する。以上の各ステップを経て、入力画像に対するホワイトバランスの調整が完了する。そして、画像処理部１３が、ホワイトバランス調整部１２によりホワイトバランス調整が行われた画像信号に基づいて、輝度信号および色差信号を出力する。

以上のように、本発明の実施の形態の撮像装置によれば、エリア毎でホワイトバランスゲインを算出して、エリア単位のホワイトバランスゲインを用いた補間演算により画素毎のホワイトバランスゲインを算出し、画素毎のホワイトバランスゲインを用いてホワイトバランス調整を行える。これにより、処理負荷の大きい局所領域におけるホワイトバランスゲインの算出をエリア単位で行うことで、処理に必要な記憶容量と処理負荷を大幅に削減できる。また、画素毎のホワイトバランスゲインを用いてホワイトバランス調整を行うことで、エリア間の境界部に不連続な画像や分割線が生じるのを低減でき、画面全体に亘って適切なホワイトバランスの調整を行うことができる。ミックス光源の下では、異なる色温度の光源によって照らされた境界領域周辺におけるエリア間の境界部において、不連続な画像や分割線が現れるのを効果的に低減できる。従って、ホワイトバランス調整にかかる処理負荷および記憶容量を低減しつつ、エリア間の境界部に不連続な画像や分割線を生じさせず、適切なホワイトバランスの調整を行うことができる。

また、本発明の実施の形態の撮像装置によれば、線形補間部１１は、線形補間演算に使われる各エリアの重心位置と前記注目画素との間の距離に応じた線形補間演算を行う。これにより、注目画素の位置に基づいて、適切な補間演算を行うことができる。

また、本発明の実施の形態の撮像装置によれば、ホワイトバランスゲイン算出部１０は、各エリアを注目エリアとして、注目エリアを含む前記局所領域内の白データエリアの画素信号を、注目エリアと白データエリアとの間の距離に応じた重み付けを付けて積算することによって、注目エリアのホワイトバランスゲインを算出する。これにより、注目エリアのホワイトバランスゲインを算出する際に、注目エリアと白データエリアとの間の距離に応じて、ホワイトバランスゲインに与える影響を段階的に調整することができる。

また、本発明の実施の形態の撮像装置によれば、局所的白エリア検出部８は、画像信号の明るさに基づいて、白判定領域を色空間上の異なる色温度域へと変更する。これにより、撮影状況や被写体に応じて、白判定領域を絞り込むことができ、白データの誤検出と、誤検出によるホワイトバランスずれを低減することができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更または変形することが可能である。

上記実施態様では、画面の大きさを水平６４０画素、垂直４８０画素とし、画面分割において水平８０個、垂直６０個の計４８００個のエリアに分割していたが、画面の大きさおよびエリア分割数はこれに限らない。なお、分割するエリアの大きさを画素単位に近づけていけば、エリア間の境界部において、不連続な画像や分割線は目立ちにくくなるが、エリア分割数を増やすに伴って、必要となる処理負荷や記憶容量が増大するため、分割数には自ずと限界がある。

また、上記実施態様では、エリア値としてエリア中の画素値の平均値を用いるとしたが、平均値の算出方法は特に指定するものではない。例えば、エリア内の全画素の平均値を求めても良いし、エリア内のいくつかの画素をサンプリングしてその画素の平均値を求めても構わない。経験上、なるべく多くの画素の平均値を求めるほうが結果は安定する傾向にある。その他、エリア値は、エリアの画像信号を代表する適切な値であればよく、平均値以外の値でもよい。

また、上記実施態様では、白データエリア検出時やエリア値の重み付け積算時に参照する範囲を正方形としているが、参照範囲の形は正方形に限らない。例えば、菱形や円形にすることも可能である。

また、上記実施態様では、撮像装置に関するホワイトバランス調整技術について説明したが、これに限定されない。すなわち、ホワイトバランス調整装置は、撮像装置に設けられても、設けられなくてもよい。そして、本発明のホワイトバランス調整処理が、撮像装置で撮像された画像だけでなく、一般的な画像に対しても施されてもよい。ホワイトバランス調整装置がコンピュータに備えられ、例えば記録媒体から読み込まれた画像に対して、ホワイトバランス調整が行われてもよい。

以上のように、本発明は、ホワイトバランス調整にかかる処理負荷および記憶容量を低減しつつ、エリア間の境界部に不連続な画像や分割線を生じさせず、適切なホワイトバランスの調整を行うことができるという効果を有し、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いるホワイトバランス調整装置等に有用である。

本発明の実施の形態における撮像装置を示すブロック図 本発明の実施の形態における撮像装置のホワイトバランス調整処理のフロー図 本発明の実施の形態におけるエリア分割を説明する図 局所的白データ検出を説明する図 局所領域毎の白判定領域の一例を示す図 撮像画像中の各局所領域内で白データエリアとして検出されたエリアを示す図 局所領域における白データエリアのエリア値の重み付け積算を説明する図 局所領域における白データエリアのエリア値の重み付け積算での参照範囲が画面外に及んだ状態を説明する図 ４つのエリア選択を説明する図 ４つの注目エリアのホワイトバランスゲインの線形補間処理を説明する図

符号の説明

１ レンズ
２ 撮像素子
３ Ａ／Ｄ変換部
４ ＯＢ減算部
５ エリア分割部
６ エリア値算出部
７ 記憶部
８ 局所的白エリア検出部
９ 重み付け積算部
１０ ホワイトバランスゲイン算出部
１１ 線形補間部
１２ ホワイトバランス調整部
１３ 画像処理部
１４ 制御部

Claims (6)

1. 撮像された画像に対してホワイトバランス調整を行う撮像装置であって、
   前記画像を複数のエリアに分割するエリア分割部と、
   前記複数のエリアの各々の画素信号が色空間上に設定された白判定領域に入るか否かを判定することにより、前記複数のエリアから白データエリアを検出する白エリア検出部と、
   前記複数のエリアのうちの各エリアのホワイトバランスゲインを、前記各エリアを含む局所領域内で検出された前記白データエリアの画像信号から算出するホワイトバランスゲイン算出部と、
   前記画像中の各々の画素を注目画素として、前記注目画素を含むエリアおよび該エリアに隣接するエリアのホワイトバランスゲインに対して、前記注目画素の位置に応じた補間演算を行うことにより、前記注目画素のホワイトバランスゲインを算出する補間部と、
   前記補間部により算出された画素毎のホワイトバランスゲインを用いて、前記画像のホワイトバランス調整を行うホワイトバランス調整部とを備えたことを特徴とする撮像装置。
2. 前記補間部は、前記補間演算に使われる各エリアの重心位置と前記注目画素との間の距離に応じた補間演算を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記ホワイトバランスゲイン算出部は、各エリアを注目エリアとして、前記注目エリアを含む前記局所領域内の白データエリアの画素信号を、前記注目エリアと前記白データエリアとの間の距離に応じた重み付けを付けて積算することによって、前記注目エリアのホワイトバランスゲインを算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記白エリア検出部は、前記画像信号の明るさに基づいて、前記白判定領域を前記色空間上の異なる色温度域へと変更することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. 画像に対してホワイトバランスの調整を行うホワイトバランス調整装置であって、
   前記画像を複数のエリアに分割するエリア分割部と、
   前記複数のエリアの各々の画素信号が色空間上に設定された白判定領域に入るか否かを判定することにより、前記複数のエリアから白データエリアを検出する白エリア検出部と、
   前記複数のエリアのうちの各エリアのホワイトバランスゲインを、前記各エリアを含む局所領域内で検出された前記白データエリアの画像信号から算出するホワイトバランスゲイン算出部と、
   前記画像中の各々の画素を注目画素として、前記注目画素を含むエリアおよび該エリアに隣接するエリアのホワイトバランスゲインに対して、前記注目画素の位置に応じた補間演算を行うことにより、前記注目画素のホワイトバランスゲインを算出する補間部と、
   前記補間部により算出された画素毎のホワイトバランスゲインを用いて、前記画像のホワイトバランス調整を行うホワイトバランス調整部とを備えたことを特徴とするホワイトバランス調整装置。
6. 画像に対してホワイトバランスの調整を行うホワイトバランス調整方法であって、
   前記画像を複数エリアに分割するステップと、
   前記複数のエリアの各々の画素信号が色空間上に設定された白判定領域に入るか否かを判定することにより、前記複数のエリアから白データエリアを検出するステップと、
   前記複数のエリアのうちの各エリアのホワイトバランスゲインを、前記各エリアを含む局所領域内で検出された前記白データエリアの画像信号から算出するステップと、
   前記画像中の各々の画素を注目画素として、前記注目画素を含むエリアおよび該エリアに隣接するエリアのホワイトバランスゲインに対して、前記注目画素の位置に応じた補間演算を行うことにより、前記注目画素のホワイトバランスゲインを算出するステップと、
   算出された画素毎のホワイトバランスゲインを用いて、前記画像のホワイトバランス調整を行うステップとをと含むことを特徴とするホワイトバランス調整方法。

Images