JP2007189304A - 信号処理装置及び信号処理プログラム - Google Patents

Abstract

【課題】 ホワイトバランス調整を行うための処理を簡単に実現可能な信号処理装置及び信号処理プログラムを提供する。
【解決手段】 平滑化手段１４は、被写体像を撮像することにより得られた画像を複数の領域に分割し、分割された各領域を構成する画像データを平滑化する。配置手段１４は、平滑化手段１４により平滑化された各画像データと黒体輻射軌跡とを予め決められた色温度に対応付けて均等知覚色空間上に配置する。推定手段１４は、配置手段１４により配置された各画像データと黒体輻射軌跡とを用いて色温度を推定する。処理手段１４は、推定手段１４により推定された色温度に応じて、各領域を構成する画像データにホワイトバランス処理を行う。
【選択図】 図１

Description

本発明は、ホワイトバランス調整機能を有する信号処理装置及び信号処理プログラムに関する。

従来、カメラ等の信号処理装置では、撮像される画像に対してホワイトバランス調整を行う技術が用いられる場合がある。このようなホワイトバランス調整は、適切にホワイトバランスが調整された画像の色差信号の積分値は零になるという仮定に基づいて行われる場合がある。しかしながら、彩度の高い被写体が画像内の広い範囲に存在する場合、上述の仮定が成り立つとは限らず、撮像される画像に対して適切なホワイトバランス調整を行うことができない。これを回避する手法として、画像内にわずかに色づきが生じている白色領域が存在するときには、この白色領域を基準としてホワイトバランス調整を行う手法が開示されている（特許文献１）。この手法では、画像の色分布の特徴に応じて、色差信号の積分値によるホワイトバランス調整と白色領域によるホワイトバランス調整のいずれかが行われる。
特開平８−９８２０４号公報

しかしながら、特許文献１の手法では、色差信号の積分値によるホワイトバランス調整と白色領域によるホワイトバランス調整を使い分けるために、画像内に白色領域が存在するか否かを判定する処理が必要となる。このため、ホワイトバランス調整を行うための処理が複雑化するという問題があった。
本発明の目的は、ホワイトバランス調整を行うための処理を簡単に実現可能な信号処理装置及び信号処理プログラムを提供することである。

請求項１の信号処理装置では、平滑化手段は、被写体像を撮像することにより得られた画像を複数の領域に分割し、分割された各領域を構成する画像データを平滑化する。配置手段は、平滑化手段により平滑化された各画像データと黒体輻射軌跡とを予め決められた色温度に対応付けて均等知覚色空間上に配置する。推定手段は、配置手段により配置された各画像データと黒体輻射軌跡とを用いて色温度を推定する。処理手段は、推定手段により推定された色温度に応じて、各領域を構成する画像データにホワイトバランス処理を行う。

請求項２の信号処理装置では、補正手段は、予め決められた補正値を用いて平滑化手段により平滑化された各画像データを補正する。配置手段は、補正手段により補正された各画像データと黒体輻射軌跡とを予め決められた色温度に対応付けて均等知覚色空間上に配置する。
請求項３の信号処理装置では、平滑化手段により平滑化された各画像データは、均等知覚色空間上において予め決められた範囲に配置される。

請求項４の信号処理装置では、推定手段は、配置手段により配置された各画像データの平均値と黒体輻射軌跡とを用いて色温度を推定する。
請求項５の信号処理装置では、予め決められた色温度は、黒体輻射軌跡上にあり、５０００Ｋから６０００Ｋの間である。
請求項６の信号処理プログラムでは、コンピュータを、被写体像をすることにより得られた画像を複数の領域に分割し、分割された各領域を構成する画像データを平滑化する平滑化手段と、平滑化手段により平滑化された各画像データと黒体輻射軌跡とを予め決められた色温度に対応付けて均等知覚色空間上に配置する配置手段と、配置手段により配置された各画像データと黒体輻射軌跡とを用いて色温度を推定する推定手段と、推定手段により推定された色温度に応じて、各領域を構成する画像データにホワイトバランス処理を行う処理手段として機能させる。

ホワイトバランス調整を行うための処理を簡単にでき、撮影者の意図する画像を速やかに取得できる。

以下、本発明の実施形態を図面を用いて説明する。
図１は本発明の信号処理装置及び信号処理プログラムの第１の実施形態を示している。カメラ１００（信号処理装置）は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等で構成される撮像素子１０、Ａ／Ｄ変換回路１２、ＡＳＩＣ（Application Specific Integrated Circuit）として構成される画像処理回路１４（平滑化手段、配置手段、推定手段、処理手段及び補正手段）、被写体の撮影時に押下げられるレリーズボタン１６、ＣＰＵ１８、ＲＯＭ２０、記録媒体２２、表示部２４及びバス２６を有している。なお、撮影レンズ、シャッター機構、絞り機構、ミラー機構等は、図示を省略している。

撮像素子１０は、撮像面に撮影レンズを介して結像した被写体像を光電変換して、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色成分の画像信号（Ｒ、Ｇ、Ｂ）を出力する。Ａ／Ｄ変換回路１２は、この画像信号（Ｒ、Ｇ、Ｂ）をＡ／Ｄ変換して画像データ（ＤＲ、ＤＧ、ＤＢ）を生成する。画像処理回路１４は、ＣＰＵ１８によって制御され、Ａ／Ｄ変換回路１２により生成された画像データ（ＤＲ、ＤＧ、ＤＢ）に対してオートホワイトバランス（以下、ＡＷＢ）調整処理を含む所定の画像処理を行う。

ＣＰＵ１８は、ＲＯＭ２０に格納されたプログラムを実行することによって、バス２６で接続された各回路の動作を制御する。ＲＯＭ２０は、フラッシュメモリ等で構成され、カメラ１００の電源がオフの間も、撮像された画像データ（ＤＲ、ＤＧ、ＤＢ）を含む各種データを保持する。ＲＯＭ２０には、ＣＰＵ１８により実行されるプログラム（信号処理プログラム）が格納されている。さらに、ＲＯＭ２０には、ＡＷＢ調整に用いるＷＢ制御パラメータが撮像時の色温度に対応付けてＬＵＴ（Look Up Table）として格納されている。

記録媒体２２は、フラッシュメモリ等で構成され、カメラ１００の電源がオフの間も各種データを保持する。表示部２４は、例えば液晶パネル（図示せず）及び液晶パネルの駆動用ドライバ回路（図示せず）等により構成される。液晶パネルには、レリーズボタン１６の全押し前及び全押し後に、撮像素子１０により撮像された画像や設定画面が表示される。

図２は、信号処理装置及び信号処理プログラムの第１の実施形態におけるＡＷＢ調整動作を示している。図２に示す動作は、ＣＰＵ１８がＲＯＭ２０に格納されたプログラム（信号処理プログラム）を実行することによって実現される。
まず、ステップＳ１００において、ＣＰＵ１８は、撮影者によるレリーズボタン１６の全押しを待つ。レリーズボタン１６の全押しが検出されると、処理はステップＳ１０２に移行する。ステップＳ１００は、レリーズボタン１６の全押しが検出されるまで繰り返される。

ステップＳ１０２において、ＣＰＵ１８は、撮像素子１０及びＡ／Ｄ変換回路１２をそれぞれ制御して、画像データ（ＤＲ、ＤＧ、ＤＢ）を生成する。この後、処理はステップＳ１０４に移行する。
ステップＳ１０４において、画像処理回路１４は、処理時間を短縮するために、画像データ（ＤＲ、ＤＧ、ＤＢ）で表される画像をｍ×ｎ（例えば、１６×１６）個の領域に分割する。この後、処理はステップＳ１０６に移行する。

ステップＳ１０６において、画像処理回路１４は、分割した各領域を構成する画像データ（ＤＲ′、ＤＧ′、ＤＢ′）の平均値（ＤＲ_a′、ＤＧ_a′、ＤＢ_a′）をＡＷＢ評価データとして取得する。この後、処理はステップＳ１０８に移行する。
ステップＳ１０８において、画像処理回路１４は、ＡＷＢ評価データ（ＤＲ_q′、ＤＧ_a′、ＤＢ_a′）に補正係数（ＲＣ、ＧＣ、ＢＣ）をそれぞれ乗算する。補正係数（ＲＣ、ＧＣ、ＢＣ）は、例えば３×３のマトリックスとして予め設定される。なお、この補正係数（ＲＣ、ＧＣ、ＢＣ）は、撮像素子の分光特性の違いによるＡＷＢ評価データの差を補正するために、予め決められたデフォルト色温度（例えば、５５００［Ｋ］）の光源下におけるカラーチャートを用いた撮影によって設定される。したがって、分光特性の異なる撮像素子であってもＡＷＢ評価データを同一にすることができる。このため、各撮像素子に共通の処理でＡＷＢ調整を実現できる。この結果、カメラ本体に組み込まれるソフトウェアの変更や設計に要する工数を最小限にできる。この後、処理はステップＳ１１０に移行する。

ステップＳ１１０において、画像処理回路１４は、補正された各ＡＷＢ評価データ（ＲＣ×ＤＲ_a′、ＧＣ×ＤＧ_a′、ＢＣ×ＤＢ_a′）をＣＩＥ（Commission Internationale d'Eclairage）１９７６（Ｌ* ａ* ｂ*）空間（以下、均等知覚色空間）のＬ* ａ* ｂ*に変換する。この後、処理はステップＳ１１２に移行する。
ステップＳ１１２において、画像処理回路１４は、変換した各ＡＷＢ評価データの内、例えば−１０＜ａ*＜１０、かつ、−２５＜ｂ*＜２５の範囲内にあるＡＷＢ評価データのみを残し、それ以外のＡＷＢ評価データを排除する。この後、処理はステップＳ１１４に移行する。

ステップＳ１１４において、画像処理回路１４は、残された各ＡＷＢ評価データと、デフォルト色温度（例えば、５０００[Ｋ]〜６０００[Ｋ]）に対応する黒体輻射軌跡とを均等知覚色空間上に配置する。この後、処理はステップＳ１１６に移行する。
ステップＳ１１６において、画像処理回路１４は、均等知覚色空間上に配置された各ＡＷＢ評価データの平均値を算出し、算出した平均値から黒体輻射軌跡に対して垂線を下ろす。この後、処理はステップＳ１１８に移行する。

ステップＳ１１８において、画像処理回路１４は、垂線と黒体輻射軌跡との交点を撮影時の光源の色温度（例えば、５０００［Ｋ］）として推定する。このように、各ＡＷＢ評価データの平均値から黒体輻射軌跡に対して垂線を下ろすだけで色温度を推定できる。この後、処理はステップＳ１２０に移行する。
ステップＳ１２０において、画像処理回路１４は、推定された色温度（例えば、５０００［Ｋ］）に対応するＷＢ制御パラメータ（ＲＣ′、ＢＣ′）を図１で述べたＬＵＴから読み出す。この後、処理はステップＳ１２２に移行する。

ステップＳ１２２において、画像処理回路１４は、ステップＳ１０２で生成された画像データ（ＤＲ、ＤＧ、ＤＢ）に対してＡＷＢ調整を行うために、読み出したＷＢ制御パラメータ（ＲＣ′、ＢＣ′）をＲ（赤）、Ｂ（青）の色成分に対応する画像データ（ＤＲ、ＤＢ）に画素毎に乗算する。この後、処理はステップＳ１２４に移行する。
ステップＳ１２４において、ＣＰＵ１８は、ＡＷＢ調整された画像データを記録媒体２２に記録する。そして、信号処理装置及び信号処理プログラムの第１の実施形態におけるＡＷＢ調整動作が終了する。

図３は、色温度の推定に用いられる均等知覚色空間を示している。図のａ* 、ｂ* は色相と彩度を示す知覚色度であり、均等知覚色空間の原点（ａ*＝０、ｂ*＝０）は、予め決められたデフォルト色温度（この例では、６５００[Ｋ]）を意味している。
図の均等知覚色空間上には、画像処理回路１４によりＬ* ａ* ｂ*に変換された複数のＡＷＢ評価データの内、−１０＜ａ*＜１０、かつ、−２５＜ｂ*＜２５の範囲内にあるＡＷＢ評価データのみが配置される。このため、彩度の高いＡＷＢ評価データによるＡＷＢ調整への影響を最小限にできる。なお、図に示す太線は、黒体輻射軌跡、菱形印は、黒体輻射軌跡上に配置された各色温度（４０００[Ｋ]〜１５０００［Ｋ］）、四角印は、均等知覚色空間上に残された各ＡＷＢ評価データを示している。

さらに、画像処理回路１４は、配置された各ＡＷＢ評価データの平均値を算出し、算出した平均値（図に示す丸印）から黒体輻射軌跡に対して垂線ｐｅｒを下ろす。この垂線ｐｅｒと黒体輻射軌跡との交点（約６８００［Ｋ］）が、撮影時の光源の色温度として推定される。
以上、第１の実施形態では、各ＡＷＢ評価データの平均値から黒体輻射軌跡に対して垂線を下ろすだけで色温度を推定できる。したがって、ＡＷＢ調整に用いるＷＢ制御パラメータを簡単に決定できる。このため、ＡＷＢ調整を行うための処理を簡単にでき、撮影者の意図する画像を速やかに取得できる。

図４及び図５は本発明の信号処理装置及び信号処理プログラムの第２の実施形態を示している。図４は、信号処理装置及び信号処理プログラムの第２の実施形態におけるＡＷＢ調整動作を示している。この実施形態では、ＣＰＵ１８が実行するためにＲＯＭ２０に格納されているプログラムが、信号処理装置及び信号処理プログラムの第１の実施形態と相違する。図４は、第１の実施形態（図２）のステップＳ１１６、Ｓ１１８がステップＳ２００、２０２にそれぞれ置き換えられた点を除き、図２と同じである。

上述した図２と同じ処理については、詳細な説明を省略する。また、図４に示す動作は、ＣＰＵ１８がＲＯＭ２０に格納されたプログラムを実行することによって実現される。
まず、ステップＳ１００〜Ｓ１１４が実行され、例えば−１０＜ａ*＜１０、かつ、−２５＜ｂ*＜２５の範囲内にあるＡＷＢ評価データとデフォルト色温度（例えば、５０００[Ｋ]〜６０００[Ｋ]）に対応する黒体輻射軌跡とが均等知覚色空間上に配置された後、ステップＳ２００に移行する。

ステップＳ２００において、画像処理回路１４は、均等知覚色空間上に配置された各ＡＷＢ評価データの平均値を算出し、算出した平均値から回帰直線に沿って黒体輻射軌跡に対して直線を引く。なお、この回帰直線は、各ＡＷＢ評価データから最も近い直線であり、各ＡＷＢ評価データが均等知覚色空間上に分布する方向を示す。このため、各ＡＷＢ評価データが分布する方向を考慮して色温度を推定できる。この後、処理はステップＳ２０２に移行する。

ステップＳ２０２において、画像処理回路１４は、引かれた直線と黒体輻射軌跡との交点を撮影時の光源の色温度（例えば、５８５０［Ｋ］）として推定する。この後、ステップＳ１２０〜Ｓ１２４が実行され、信号処理装置及び信号処理プログラムの第２の実施形態におけるＡＷＢ調整動作が終了する。
図５は、カメラ１００による色温度の推定動作の一例を示している。この例では、図３と同様に、画像処理回路１４によって、−１０＜ａ*＜１０、かつ、−２５＜ｂ*＜２５の範囲内にある各ＡＷＢ評価データ（図に示す四角印）の平均値（図に示す丸印）が算出された後、この平均値から回帰直線ｒｅｇに沿って直線ｓｔｒが引かれる。そして、この直線ｓｔｒと黒体輻射軌跡との交点（約６９００［Ｋ］）が、撮影時の光源の色温度として推定される。

以上、第２の実施形態では、第１の実施形態と同様な効果を得ることができる。更に、各ＡＷＢ評価データが分布する方向を考慮して色温度を推定できる。このため、色温度を高精度に推定できる。
図６及び図７は本発明の信号処理装置及び信号処理プログラムの第３の実施形態を示している。図６は、信号処理装置及び信号処理プログラムの第３の実施形態におけるＡＷＢ調整動作を示している。この実施形態では、ＣＰＵ１８が実行するためにＲＯＭ２０に格納されているプログラムが、信号処理装置及び信号処理プログラムの第１の実施形態と相違する。図６は、第１の実施形態（図２）のステップＳ１１６、Ｓ１１８がステップＳ３００に置き換えられた点を除き、図２と同じである。

上述した図２と同じ処理については、詳細な説明を省略する。また、図６に示す動作は、ＣＰＵ１８がＲＯＭ２０に格納されたプログラムを実行することによって実現される。
まず、ステップＳ１００〜Ｓ１１４が実行され、例えば−１０＜ａ*＜１０、かつ、−２５＜ｂ*＜２５の範囲内にあるＡＷＢ評価データとデフォルト色温度（例えば、５０００[Ｋ]〜６０００[Ｋ]）に対応する黒体輻射軌跡とが均等知覚色空間上に配置された後、ステップＳ３００に移行する。

ステップＳ３００において、画像処理回路１４は、図４のステップＳ２００で述べた回帰直線と黒体輻射軌跡との交点を撮影時の光源の色温度（例えば、５５００［Ｋ］）として推定する。このため、各ＡＷＢ評価データが分布する方向を考慮して色温度を推定できる。この後、ステップＳ１２０〜Ｓ１２４が実行され、信号処理装置及び信号処理プログラムの第３の実施形態におけるＡＷＢ調整動作が終了する。

図７は、カメラ１００による色温度の推定動作の別の一例を示している。この例では、図３と同様に、画像処理回路１４によって、−１０＜ａ*＜１０、かつ、−２５＜ｂ*＜２５の範囲内にある各ＡＷＢ評価データ（図に示す四角印）のみが均等知覚色空間上に配置された後、回帰直線ｒｅｇと黒体輻射軌跡との交点（約６５００［Ｋ］）が、撮影時の光源の色温度として推定される。

以上、第３の実施形態では、第１の実施形態と同様な効果を得ることができる。更に、各ＡＷＢ評価データが分布する方向を考慮して色温度を推定できる。このため、色温度を高精度に推定できる。
なお、上述した第１〜第３の実施形態では、各ＡＷＢ評価データをＣＩＥ１９７６（Ｌ* ａ* ｂ*）空間のＬ* ａ* ｂ*に変換する例について述べた。本発明はかかる実施形態に限定されるものではない。各ＡＷＢ評価データをＣＩＥ１９７６（Ｌ* u* v*）空間のＬ* u* v*に変換して均等知覚色空間上に配置してもよい。

上述した第１〜第３の実施形態では、ｍ×ｎ（例えば、１６×１６）個のＡＷＢ評価データの内、例えば−１０＜ａ*＜１０、かつ、−２５＜ｂ*＜２５の範囲内に制限されたＡＷＢ評価データを用いて色温度を推定する例について述べた。本発明はかかる実施形態に限定されるものではない。この範囲内に制限されたＡＷＢ評価データの個数が予め決められた閾値（例えば、１００個）以下であれば、制限されたＡＷＢ評価データを用いて推定した色温度（例えば、５７００［Ｋ］）と予め決められたデフォルト色温度（例えば、５５００［Ｋ］）とを用いて、撮像時の色温度（例えば、５５５０［Ｋ］）が推定されるものでもよい。また、制限されたＡＷＢ評価データの個数が少ない場合（例えば、３０個）、デフォルト色温度（例えば、５５００［Ｋ］）が撮像時の色温度として推定されるものでもよい。

以上、本発明について詳細に説明してきたが、上記の実施形態及びその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。

本発明は、ホワイトバランス調整機能を有する信号処理装置及び信号処理プログラムに適用される。

本発明の信号処理装置及び信号処理プログラムの第１の実施形態を示すブロック図である。 信号処理装置及び信号処理プログラムの第１の実施形態におけるＡＷＢ調整動作を示すフローチャートである。 色温度の推定に用いられる均等知覚色空間を示す説明図である。 信号処理装置及び信号処理プログラムの第２の実施形態におけるＡＷＢ調整動作を示すフローチャートである。 カメラによる色温度の推定動作の一例を示す説明図である。 信号処理装置及び信号処理プログラムの第３の実施形態におけるＡＷＢ調整動作を示すフローチャートである。 カメラによる色温度の推定動作の別の一例を示す説明図である。

符号の説明

１０…撮像素子、１２…Ａ／Ｄ変換回路、１４…画像処理回路、１６…レリーズボタン、１８…ＣＰＵ、２０…ＲＯＭ、２２…記録媒体、２４…表示部、２６…バス、１００…カメラ

Claims (6)

1. 被写体像を撮像することにより得られた画像を複数の領域に分割し、分割された各領域を構成する画像データを平滑化する平滑化手段と、
   前記平滑化手段により平滑化された各画像データと黒体輻射軌跡とを予め決められた色温度に対応付けて均等知覚色空間上に配置する配置手段と、
   前記配置手段により配置された各画像データと前記黒体輻射軌跡とを用いて色温度を推定する推定手段と、
   前記推定手段により推定された色温度に応じて、前記各領域を構成する画像データにホワイトバランス処理を行う処理手段とを備えることを特徴とする信号処理装置。
2. 請求項１記載の信号処理装置において、
   予め決められた補正値を用いて前記平滑化手段により平滑化された各画像データを補正する補正手段を備え、
   前記配置手段は、前記補正手段により補正された各画像データと黒体輻射軌跡とを予め決められた色温度に対応付けて均等知覚色空間上に配置することを特徴とする信号処理装置。
3. 請求項１記載の信号処理装置において、
   前記平滑化手段により平滑化された各画像データは、前記均等知覚色空間上において予め決められた範囲に配置されることを特徴とする信号処理装置。
4. 請求項１記載の信号処理装置において、
   前記推定手段は、前記配置手段により配置された各画像データの平均値と前記黒体輻射軌跡とを用いて色温度を推定することを特徴とする信号処理装置。
5. 請求項１記載の信号処理装置において、
   前記予め決められた色温度は、前記黒体輻射軌跡上にあり、５０００Ｋから６０００Ｋの間であることを特徴とする信号処理装置。
6. コンピュータを、
   被写体像を撮像することにより得られた画像を複数の領域に分割し、分割された各領域を構成する画像データを平滑化する平滑化手段と、
   前記平滑化手段により平滑化された各画像データと黒体輻射軌跡とを予め決められた色温度に対応付けて均等知覚色空間上に配置する配置手段と、
   前記配置手段により配置された各画像データと前記黒体輻射軌跡とを用いて色温度を推定する推定手段と、
   前記推定手段により推定された色温度に応じて、前記各領域を構成する画像データにホワイトバランス処理を行う処理手段として機能させるための信号処理プログラム。
   

Images