JP2008160477A - 撮像装置及びその制御方法及びプログラム及び記憶媒体 - Google Patents

Abstract

【課題】撮像装置において、高感度時の色ノイズを低減する適切なホワイトバランス処理を行えるようにする。
【解決手段】複数の画素を有し、被写体像を複数の画素で光電変換して１画面分の画素信号を出力する撮像素子を備える撮像部と、撮像部により撮像を行なうときの感度を変更する感度変更部と、１画面分の画素信号を複数のブロックに分割し、複数のブロックのうちの各ブロックについて、そのブロックの色を評価する色評価値を算出する演算部と、複数のブロックのうちの各ブロックについて、色評価値が色空間上の白と判断される領域に含まれるか否かを判定する判定部と、判定部の判定結果に基づいて、１画面分の画素信号に対してホワイトバランス補正処理を行うホワイトバランス補正部と、色空間上の白と判断される領域の範囲を感度に応じて変更する変更部と、を具備する。
【選択図】図７

Description

本発明は、デジタルカメラやデジタルビデオカメラなどの撮像装置における高感度時のホワイトバランス制御技術に関する。

従来より、デジタルカメラやデジタルビデオカメラなどの撮像装置においては、色温度の異なる光源に対してカラーバランスを整えるために、撮影した画像信号に対してホワイトバランス処理が行われている。

ここで、従来より行われているホワイトバランス処理の概略について説明する。

まず、撮像素子から出力された信号はＡ／Ｄ変換によってデジタル化され図２のように複数のブロックに分割される。その各ブロックの信号はＲ（赤）、Ｇ（緑）、Ｂ（青）を含む色信号で構成されており、そのブロック（ｉ番目のブロック）の色評価値算出例として（１）式がある。

Ｃｘ[i]＝Ｒ[i]−Ｂ[i]）／Ｙ[i]×１０２４
Ｃｙ[i]＝（Ｒ[i]＋Ｂ[i]−２Ｇ[i]）／Ｙ[i] × １０２４ …（１）
（ただし、Ｙ[i]＝Ｒ[i]＋２Ｇ[i]＋Ｂ[i]）
そして予め設定した白検出範囲に色評価値（Ｃｘ[i]、Ｃｙ[i]）が含まれる場合は、そのブロックが白であると判定し、白検出範囲に入った色画素の積分値ｓｕｍＲ、ｓｕｍＧ、ｓｕｍＢを算出して、以下の（２）式のようにホワイトバランス係数を算出する。

ＷＢＣｏ_Ｒ＝ｓｕｍＹ×１０２４／ｓｕｍＲ
ＷＢＣｏ_Ｇ＝ｓｕｍＹ×１０２４／ｓｕｍＧ …（２）
ＷＢＣｏ_Ｂ＝ｓｕｍＹ×１０２４／ｓｕｍＢ
ただし、ｓｕｍＹ＝（ｓｕｍＲ＋２×ｓｕｍＧ＋ｓｕｍＢ）／４
特開２００３−２３５０５０号公報

ところで、現在市販されているデジタルカメラは、その感度をＩＳＯ１００、２００、４００、８００、１６００のように複数種類に切換えて設定できる仕組みになっている。これらの数値は大きいほど感度が高く、少ない光量で撮影でき、速いシャッタースピードでも適切な明るさで撮影することが可能である。室内や夜景など明るさが十分でない環境下では、シャッタースピードは自動的に遅くなってしまうが、感度を上げることによって速めることができる。

しかし、感度を上げるにつれて、画像にはノイズ成分が多く乗ってしまい、画像がざらつく弊害もあり、高感度撮影は画質とのトレードオフの関係になってしまうのが現状である。

ここで、高感度時のホワイトバランス補正において問題となってくるのがＩＳＯ８００、１６００のように比較的感度が高い場合で、且つ被写体の照明光源としてタングステン、電球色光源のような低色温度光源を用いた場合である。この場合、ホワイトバランス補正ゲインを比較するとＢゲインを大きくかけることになる。その結果、青色ノイズが目立ってしまい、画質が著しく低下するという問題がある。

特許文献１では、ホワイトバランス演算で求めたＷＢゲインから色温度を推定し、その色温度が標準的範囲から外れた場合は彩度強調にリミッタを設けている。この方法では、ホワイトバランスが不自然になることをある程度抑制することは出来るが、ホワイトバランスに対する感度、ノイズの影響については考慮されていなかった。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像装置において、高感度時の色ノイズを低減する適切なホワイトバランス処理を行えるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、複数の画素を有し、被写体像を前記複数の画素で光電変換して１画面分の画素信号を出力する撮像素子を備える撮像手段と、前記撮像手段により撮像を行なうときの感度を変更する感度変更手段と、前記１画面分の画素信号を複数のブロックに分割し、該複数のブロックのうちの各ブロックについて、そのブロックの色を評価する色評価値を算出する演算手段と、前記複数のブロックのうちの各ブロックについて、前記色評価値が色空間上の白と判断される領域に含まれるか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、前記１画面分の画素信号に対してホワイトバランス補正処理を行うホワイトバランス補正手段と、前記色空間上の白と判断される領域の範囲を前記感度に応じて変更する変更手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、複数の画素を有し、被写体像を前記複数の画素で光電変換して１画面分の画素信号を出力する撮像素子を備える撮像手段と、前記撮像手段により撮像を行なうときの感度を変更する感度変更手段とを備える撮像装置を制御する方法であって、前記１画面分の画素信号を複数のブロックに分割し、該複数のブロックのうちの各ブロックについて、そのブロックの色を評価する色評価値を算出する演算工程と、前記複数のブロックのうちの各ブロックについて、前記色評価値が色空間上の白と判断される領域に含まれるか否かを判定する判定工程と、前記判定工程における判定結果に基づいて、前記１画面分の画素信号に対してホワイトバランス補正処理を行うホワイトバランス補正工程と、前記色空間上の白と判断される領域の範囲を前記感度に応じて変更する変更工程と、を具備することを特徴とする。

また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする

本発明によれば、撮像装置において、高感度時の色ノイズを低減する適切なホワイトバランス処理を行うことが可能となる。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。

図１において、１０１はＣＣＤやＣＭＯＳセンサ等からなる固体撮像素子であり、複数の画素が２次元的に配列され、被写体像を光電変換して１画面分の画素信号を出力する。また、固体撮像素子１０１の表面は例えばベイヤー配列のようなＲ（赤）、Ｇ（緑）、Ｂ（青）の色要素が規則的に配列されたカラーフィルタにより覆われ、カラー撮影が可能となっている。

ＣＰＵ１１４は、画像全体が適切な明るさになるようなシャッター速度、絞り値を計算すると共に、焦点検出領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算する。ＣＰＵ１１４で計算された露出値（シャッター速度、絞り値）およびフォーカスレンズの駆動量は制御回路１１３に送られ、各値に基づいて露出制御及びフォーカス制御が行われる。

１０３はホワイトバランス（ＷＢ）制御部であり、メモリ１０２に記憶された画像信号からの情報に基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像信号に対してＷＢ補正を行う。なお、このホワイトバランス制御部１０３の詳細構成およびＷＢ補正値の算出方法については、後述する。

１０４はＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する色変換マトリックス回路である。

１０５は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路、１０６はＬＰＦ回路１０５で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧するＣＳＵＰ（Chroma Supress）回路である。

一方、ＷＢ制御部１０３によりＷＢ補正された画像信号は輝度信号（Ｙ）生成回路１１１にも出力されて輝度信号Ｙが生成され、生成された輝度信号Ｙに対してエッジ強調回路１１２にてエッジ強調処理が施される。

ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号Ｙは、ＲＧＢ変換回路１０７にてＲＧＢ信号に変換され、ガンマ補正回路１０８にて階調補正が施される。その後、色輝度変換回路１０９にてＹＵＶ信号に変換され、さらに圧縮回路１１０にて圧縮されて、外部記録媒体または内部記録媒体に画像信号として記録される。

なお、図１に示す撮像装置は、撮影時の感度を変更するための、不図示の感度切り替えスイッチを備えている。

次に、ＷＢ補正値の算出方法について図４のフローチャートを用いて説明する。

まず、メモリ１０２に記憶された画像信号を読み出し、その画面を図２のような任意のｍ個のブロックに分割する（ステップＳ１０１）。そして、各ブロックｉ（ｉ＝１〜ｍ）毎に、画素値を各色毎に加算平均して色平均値（Ｒ[i]、Ｇ[i]、Ｂ[i]）を算出する。そして、前述した式（１）を用いて色評価値（Ｃｘ[i]、Ｃｙ[i]）を算出する（ステップＳ１０２）。

Ｃｘ[i]＝Ｒ[i]−Ｂ[i]）／Ｙ[i]×１０２４
Ｃｙ[i]＝（Ｒ[i]＋Ｂ[i]−２Ｇ[i]）／Ｙ[i]×１０２４
ただし、Ｙ[i]＝Ｒ[i]＋２Ｇ[i]＋Ｂ[i]
次に、ステップＳ１０２で算出したi番目のブロックの色評価値（Ｃｘ[i]、Ｃｙ[i]）が、図３に示す色空間の予め設定した白検出範囲３０１に含まれるかどうかを判断する（ステップＳ１０３）。

白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。図３におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧ成分が大きくなり、つまり蛍光灯であることを示している。

算出した色評価値（Ｃｘ[i]、Ｃｙ[i]）がこの白検出範囲３０１に含まれる場合には（ステップＳ１０３でＹＥＳ）そのブロックが白色であると判断して、そのブロックの色平均値（Ｒ[i]、Ｇ[i]、Ｂ[i]）を積算していく（ステップＳ１０４）。また、白検出範囲３０１に含まれない場合には、加算せずにステップＳ１０５に進む。

このステップＳ１０３及びステップＳ１０４の処理は、式（３）により表すことができる。

ここで、式（３）において、色評価値（Ｃｘ[i]、Ｃｙ[i]）が白検出範囲（図３の３０１）に含まれる場合はＳｗ[i]を１に、含まれない場合にはＳｗ[i]を０とする。これにより、ステップＳ１０３の判断により色評価値（Ｒ[i]、Ｇ[i]、Ｂ[i]）の加算を行うか、行わないかの処理を実質的に行っている。

ステップＳ１０５では、すべてのブロックｉ（ｉ＝１〜ｍ）について上記処理を行ったかどうかを判断し、未処理のブロックがあればステップＳ１０２に戻って上記処理を繰り返す。また、すべてのブロックの処理が終了していればステップＳ１０６に進む。

ステップ１０６では、得られた色評価値の積分値（加算値）（ｓｕｍＲ、ｓｕｍＧ、ｓｕｍＢ）から、以下の式（４）を用いて、ＷＢ補正値（ＷＢＣｏｌ_Ｒ、ＷＢＣｏｌ_Ｇ、ＷＢＣｏｌ_Ｂ）を算出する。

ＷＢＣｏｌ_Ｒ＝ｓｕｍＹ×１０２４／ｓｕｍＲ
ＷＢＣｏｌ_Ｇ＝ｓｕｍＹ×１０２４／ｓｕｍＧ …（４）
ＷＢＣｏｌ_Ｂ＝ｓｕｍＹ×１０２４／ｓｕｍＢ
ただし、ｓｕｍＹ＝（ｓｕｍＲ＋２×ｓｕｍＧ＋ｓｕｍＢ）／４
そして、算出されたＷＢ補正値を用いてホワイトバランス補正を行なうこととなる。

次に、ホワイトバランス追従可変制御について説明する。

その方法は、撮影時の感度情報を取得し、その情報をもとに白検出範囲を可変にすることである。

具体的には、図５のように撮影時の感度情報に基づいて白検出範囲を変更することで、高感度時における色ノイズを抑圧する。この白検出範囲の変更は、ＣＰＵ１１４から入力される感度情報に基づいて、ＷＢ制御部１０３が行う。図５は、低色温度方向の白検出範囲を可変にした状態を示している。

検出範囲を可変にする方向としては、低色温度側（Ｃｘ方向）、高色温度側（Ｃｘ方向）、蛍光灯の色に近い程度を判定する色成分方向（Ｃｙ方向）で可変にする。

その詳細として、例えば図５のように撮影時の感度ＳｖがＳｖ≦Ｓｖ１の時（低感度時）は（ａ）の白検出範囲とし、Ｓｖ＝Ｓｖ２の時（中感度時）は（ｂ）の検出範囲とし、Ｓｖ≧Ｓｖ３の時（高感度時）は（ｃ）の検出範囲とする。また、図６に示すように、感度ＳｖがＳｖ１＜Ｓｖ＜Ｓｖ２の時は（ａ）と（ｂ）を感度に応じて線形補間し、Ｓｖ２＜Ｓｖ＜Ｓｖ３の時は、（ｂ）と（ｃ）を感度に応じて線形補間して白検出範囲を算出する。ＷＢ補正値算出処理としては、図７（特にステップＳ２０３）に示すように、感度に応じて白検出範囲を可変にすることが異なるのみで、図４に示すフローと同一の処理を行う。

なお、上記のように、撮影時の感度が高くなるにつれて白検出範囲の低色温度方向の範囲を狭めることにより、白検出範囲のＲ（赤）方向の範囲が狭くなるため、Ｂ（青）ゲインを小さくかけることにより青色ノイズが目立つことを防止できる。

（第２の実施形態）
第１の実施形態では感度に応じて白検出範囲を可変にしたが、この第２の実施形態では、図８に示すように感度に応じてリミット範囲を変更し、白検出結果の出力がリミット範囲外であればリミット値にクリップする。

図８も第１の実施形態同様、低色温度方向のみを可変にした場合を示している。リミッタ範囲を可変にする方向としては、低色温度側（Ｃｘ方向）、高色温度側（Ｃｘ方向）、蛍光灯の色に近い程度を判定する色成分方向（Ｃｙ方向）で可変にする。

この動作について、図９のフローチャートを用いて説明する。

ステップＳ３０６までは図４と同様な処理なので詳細な説明は省略する。

ステップＳ３０６で出力された白検出結果が、リミッタ範囲外であれば図９で示すようにリミット範囲にクリップする（ステップＳ３０８）。そして、最終ＷＢ補正係数を算出する（ステップＳ３０９）。

一方、リミッタ範囲内であればステップＳ３０６で出力された白検出結果をもとに最終ＷＢ補正係数を算出する（ステップＳ３０９）。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。 画面を複数ブロックに分割した例を示す図である。 白判定結果の例を示す図である。 ＷＢ補正値算出処理を示すフローチャートである。 感度に応じて可変にした白検出範囲を示す図である。 感度に応じた白検出範囲の可変具合を示すグラフである。 検出範囲を感度によって可変した際のＷＢ補正値算出処理を示すフローチャートである。 感度に応じて可変にしたリミッタ範囲を示す図である。 リミッタ範囲を感度に応じて変更した際のＷＢ補正値算出処理を示すフローチャートである。

符号の説明

１０１ 固体撮像素子
１０２ メモリ
１０３ ＷＢ制御部
１０４ 色変換マトリックス回路
１０５ ＬＰＦ回路
１０６ ＣＳＵＰ回路
１０７ ＲＧＢ変換回路
１０８ ガンマ補正回路
１０９ 色輝度変換回路
１１０ 圧縮回路
１１１ Ｙ生成回路
１１２ エッジ強調回路
１１３ 制御回路
１１４ ＣＰＵ

Claims (6)

1. 複数の画素を有し、被写体像を前記複数の画素で光電変換して１画面分の画素信号を出力する撮像素子を備える撮像手段と、
   前記撮像手段により撮像を行なうときの感度を変更する感度変更手段と、
   前記１画面分の画素信号を複数のブロックに分割し、該複数のブロックのうちの各ブロックについて、そのブロックの色を評価する色評価値を算出する演算手段と、
   前記複数のブロックのうちの各ブロックについて、前記色評価値が色空間上の白と判断される領域に含まれるか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記１画面分の画素信号に対してホワイトバランス補正処理を行うホワイトバランス補正手段と、
   前記色空間上の白と判断される領域の範囲を前記感度に応じて変更する変更手段と、
   を具備することを特徴とする撮像装置。
2. 前記変更手段は、前記白と判断される領域にリミッタをかけることにより、前記白と判断される領域の範囲を変更することを特徴とする請求項１に記載の撮像装置。
3. 前記変更手段は、前記白と判断される領域の範囲を、前記色空間上の色温度を表わす軸の方向、蛍光灯の色に近い程度を表わす軸の方向の少なくとも１つの方向に変更することを特徴とする請求項１に記載の撮像装置。
4. 複数の画素を有し、被写体像を前記複数の画素で光電変換して１画面分の画素信号を出力する撮像素子を備える撮像手段と、前記撮像手段により撮像を行なうときの感度を変更する感度変更手段とを備える撮像装置を制御する方法であって、
   前記１画面分の画素信号を複数のブロックに分割し、該複数のブロックのうちの各ブロックについて、そのブロックの色を評価する色評価値を算出する演算工程と、
   前記複数のブロックのうちの各ブロックについて、前記色評価値が色空間上の白と判断される領域に含まれるか否かを判定する判定工程と、
   前記判定工程における判定結果に基づいて、前記１画面分の画素信号に対してホワイトバランス補正処理を行うホワイトバランス補正工程と、
   前記色空間上の白と判断される領域の範囲を前記感度に応じて変更する変更工程と、
   を具備することを特徴とする撮像装置の制御方法。
5. 請求項４に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
6. 請求項５に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images