JP2004274482A - 画像処理装置および撮像システム - Google Patents
画像処理装置および撮像システム Download PDFInfo
- Publication number
- JP2004274482A JP2004274482A JP2003063744A JP2003063744A JP2004274482A JP 2004274482 A JP2004274482 A JP 2004274482A JP 2003063744 A JP2003063744 A JP 2003063744A JP 2003063744 A JP2003063744 A JP 2003063744A JP 2004274482 A JP2004274482 A JP 2004274482A
- Authority
- JP
- Japan
- Prior art keywords
- image
- white
- color
- value
- color temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【課題】画像中の白被写体部分の判別精度を向上することにより、ホワイトバランス処理の精度を向上する。
【解決手段】本発明のビデオカメラ１０は、被写体を撮像することにより画像を取得する撮像素子１１と、取得された画像からその画像の色温度を推定する代表色合いパラメータ算出部２７と、推定された色温度に基づいて、画像中の白被写体部分を検出するための白判別基準を可変に設定する白被写体部分判別部２９とを備えている。ビデオカメラ１０は、白被写体検出部２９にて設定された白判別基準を用いて画像中の白被写体部分を判別し、白被写体部分の色差信号を基準値と比較することによりホワイトバランス補正値ｋｒおよびｋｂを求め、そのホワイトバランス補正値を用いて画像にホワイトバランス処理を施す。
【選択図】 図１
【解決手段】本発明のビデオカメラ１０は、被写体を撮像することにより画像を取得する撮像素子１１と、取得された画像からその画像の色温度を推定する代表色合いパラメータ算出部２７と、推定された色温度に基づいて、画像中の白被写体部分を検出するための白判別基準を可変に設定する白被写体部分判別部２９とを備えている。ビデオカメラ１０は、白被写体検出部２９にて設定された白判別基準を用いて画像中の白被写体部分を判別し、白被写体部分の色差信号を基準値と比較することによりホワイトバランス補正値ｋｒおよびｋｂを求め、そのホワイトバランス補正値を用いて画像にホワイトバランス処理を施す。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像のホワイトバランスを調整する技術に関し、特に、画像中の白色被写体を判別して画像にホワイトバランス処理を施す技術に関する。
【０００２】
【従来の技術】
撮像装置を用いて被写体を撮影すると、例えば、白熱灯の下で撮像したときと太陽光の下で撮像したときとでは、光源の色温度の違いによって、同じ被写体であっても異なる色として撮影される。このような画像中に現れる光源の色温度の影響を軽減するために、撮影によって得られた画像に対してホワイトバランス処理が施される。
【０００３】
ホワイトバランス処理では、画像中で白色の被写体を撮影した部分（以下、白被写体部分という）が適正な白に補正されるような補正値を算出し、その補正値を用いて画像全体を補正する。したがって、ホワイトバランス処理の精度を向上させるためには、画像中から白被写体部分を正確に検出する必要がある。
【０００４】
従来のホワイトバランス処理では、画像中の白被写体部分を検出するために、画像を構成する各画素の色合いのパラメータ、すなわち色の情報のうちの色相および彩度の情報を同時に表すパラメータ（以下、色合いパラメータという）を用いている。白被写体部分を構成する画素の色合いパラメータは、光源の色温度の変化に従って黒体放射曲線上を推移する。そこで、従来のホワイトバランス処理では、黒体放射曲線の高色温度部分から低色温度部分までを含む領域を白判別基準として、各画素の色合いパラメータがその白判別基準である領域に含まれるか否かによって、それぞれの画素が白被写体部分を構成する画素であるか否かを判別している。
【０００５】
このように色合いパラメータを用いて白被写体部分を検出するにあたって、検出精度を向上させるための技術が提案されている。例えば、特許文献１に記載されたホワイトバランス処理では、被写体を撮影したときの撮影条件（カメラのＥＶ値、シャッタースピード、Ｆ値およびフラッシュのＯＮ／ＯＦＦ情報）や被写体条件（被写体距離など）から、撮影時の光源の色温度を推定して、推定された色温度に応じて白判別基準である領域を可変に設定することにより、白被写体部分の検出精度の向上を図っている。
【０００６】
【特許文献１】
特開平１１−２６２０２９号公報（第１２頁、第４図）
【０００７】
【発明が解決しようとする課題】
上記の従来のホワイトバランス処理で用いられる色合いパラメータと黒体放射曲線とは、光源の色温度によって次のような関係にある。光源の色温度が高温であるときには、白被写体部分の色合いパラメータが黒体放射曲線の高色温度部分に位置する。このとき、低彩度の赤系の色をもつ被写体部分の色合いパラメータが黒体放射曲線の低温度部分周辺に位置し、白判別基準の領域に含まれることになる。また、光源の色温度が低温であるときは、白被写体部分の色合いパラメータは黒体放射曲線の低色温度部分に位置する。この場合には、低彩度の青系の色をもつ被写体部分の色合いパラメータが黒体放射曲線の高温度部分周辺に位置し、白判別基準の領域に含まれることになる。したがって、黒体放射曲線の高色温度部分から低色温度部分までを含む領域を白判別基準として用いると、有彩色の被写体を表す部分まで白被写体部分であると誤判別してしまうことがある。
【０００８】
上記特許文献１に開示された技術は、撮像条件や被写体条件から色温度を推定して、黒体放射曲線のうちの推定された色温度に対応する領域のみを白判別基準として白被写体部分を判別することにより、上記のような誤判別の防止を図っている。
【０００９】
しかしながら、この従来技術では、フラッシュがＯＦＦでであるときは昼外光下での撮影であるとみなして色温度を高く推定するなど、経験則に基づいて撮影条件や被写体条件と光源の色温度との対応関係を定め、この対応関係に従って色温度を推定する。そのため、このような経験則に頼っていることによる推定精度の低下は避けられない。色温度の推定精度が低いと、白被写体部分を正確に判別することができず、ホワイトバランス処理の精度の低下を招く。また、この従来技術では、色温度を推定するために、カメラのＥＶ値、シャッタースピード、フラッシュのＯＮ／ＯＦＦおよび被写体距離などを検出しなければならないので、装置の構成が複雑になる。さらに、この従来技術では、ＥＶ値やシャッタースピードの調整機能を持たない撮像装置や、フラッシュや測距機能をもたない撮像装置は、色温度を推定することができないため、白判別基準を可変に設定することはできない。
【００１０】
本発明は、このような問題を解決するためになされたもので、白被写体部分の判別精度を向上させることによりホワイトバランス処理の精度を向上させる技術を提供するものである。本発明は、特に、撮像条件や被写体条件によらずに白判別基準を可変に設定することにより、色合いパラメータが黒体放射曲線周辺に位置する有彩色の被写体部分を白被写体部分と誤判別することを防止して、白被写体部分の判別精度を向上させる技術を提供するものである。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、画像を取得する画像取得手段と、前記画像取得手段により取得された前記画像から推定される前記画像の色温度に基づいて、前記画像中の白被写体部分を色合いによって判別する基準になる白判別基準を可変に設定する設定手段と、前記設定手段により設定された白判別基準を用いて、前記画像取得手段により取得された画像にホワイトバランス処理を施すホワイトバランス処理手段とを備えている。
【００１２】
この構成により、取得された画像自身から推定された色温度に基づいて白判別基準が設定されるので、撮像条件や被写体条件によらずに白判別基準を適切に設定することができ、ホワイトバランス処理の精度を向上できる。
【００１３】
ここで、画像取得手段は、被写体を撮影することにより画像を取得する撮像手段であってもよいし、撮像手段により生成された画像を受け取る手段であってもよい。
【００１４】
また、本発明の画像処理装置では、前記設定手段は、前記画像取得手段により取得された画像の全体の色合いを一つの色合いパラメータで表す代表色合いパラメータを、前記色温度を表すパラメータとして用いる。
【００１５】
この構成により、画像全体が一つの代表色合いパラメータで代表されるので、この代表色合いパラメータを用いて画像の色温度を推定できる。
【００１６】
また、本発明の画像処理装置では、前記色温度は、前記画像を構成する画素の色パラメータの平均から推定される。
【００１７】
この構成により、画像自身が持つ情報を用いて色温度を好適に推定できる。
【００１８】
また、本発明の画像処理装置では、前記色温度は、前記画像から抽出された複数の画素の色パラメータの平均から推定される。
【００１９】
この構成により、画像の色温度がその画像を構成する画素の一部のみを用いて推定されるので、装置の処理負担を軽減でき、処理時間を短縮できる。
【００２０】
また、本発明の画像処理装置では、前記色温度は、前記画像の色合いパラメータを表す座標上で、前記座標上の黒体放射曲線から所定距離離れた色合いパラメータをもつ画素を除く複数の画素の色パラメータの平均から推定される。
【００２１】
この構成により、彩度の高い有彩色を除外して色温度が推定されるので、色温度推定の精度を向上できる。
【００２２】
本発明の他の態様の画像処理装置は、画像を取得する画像取得手段と、前記画像取得手段により取得された前記画像を代表する色合いパラメータである代表色合いパラメータを求める演算手段と、前記演算手段によって求められた代表色合いパラメータに基づいて、前記画像中の白被写体部分を色合いによって判別する基準になる白判別基準を可変に設定する設定手段と、前記設定手段により設定された白判別基準を用いて、前記画像取得手段により取得された画像にホワイトバランス処理を施すホワイトバランス処理手段とを備えている。
【００２３】
この構成により、取得された画像自身のパラメータを用いて白判別基準が設定されるので、撮像条件や被写体条件によらずに白判別基準を適切に設定することができ、ホワイトバランス処理の精度を向上できる。
【００２４】
また、本発明の撮像システムは、上記のいずれかの画像処理装置と、被写体を撮像して前記画像を生成する撮像装置とを備えている。そして、前記画像取得手段は、前記撮像装置により生成された画像を取得し、前記画像処理装置は、前記撮像装置により生成された画像にホワイトバランス処理を施す。
【００２５】
この構成により、様々な色温度条件下で撮像された画像に対するホワイトバランス処理の精度を向上できる。
【００２６】
本発明は、上述したような装置の態様に限定されない。本発明の別の態様は、画像処理方法、画像処理方法をコンピュータに実行させるプログラム、およびそのプログラムを格納した記録媒体である。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２８】
図１は、本実施の形態の画像処理装置が備えられた撮像システムであるビデオカメラの構成を示すブロック図である。ビデオカメラ１０は、撮像素子１１、ＣＤＳ回路１２、ＡＧＣ部回路１３およびＡ／Ｄ変換器１４を備えている。撮像素子１１は、画素ごとにＲ（赤）、Ｇ（緑）およびＢ（青）の三色のフィルタを備えており、これらのフィルタを通過した光を電気信号に変換して出力する。撮像素子１１が被写体の光学像を電気信号に変換することにより、被写体の画像を表す映像信号が生成され、これにより画像が取得される。撮像素子１１から出力された映像信号は、ＣＤＳ回路１２によるノイズ除去処理およびＡＧＣ回路１３によるゲイン制御処理を施され、Ａ／Ｄ変換器１４でデジタル信号に変換される。
【００２９】
ビデオカメラ１０は、さらに、色分離回路２１、Ｒ値乗算器２２、Ｂ値乗算器２３、Ｒ色差演算器２４およびＢ色差演算器２５を備えている。Ａ／Ｄ変換器１４にてデジタル信号に変換された映像信号は、色分離回路２１にてＲ、ＧおよびＢの三色に色分離され、色分離回路２１からは、Ｒ値、Ｇ値およびＢ値の各信号が出力される。これらのＲ値、Ｇ値およびＢ値は、画像の各画素の色を加色法によって表す色パラメータである。
【００３０】
この色パラメータの信号のうち、Ｒ値およびＢ値の信号は、それぞれＲ値乗算器２２およびＢ値乗算器２３にてホワイトバランス補正値ｋｒおよびｋｂを乗算されることによりゲイン調整される。これによって、Ｒ値およびＢ値の信号は、光源の色温度による影響が除去されてホワイトバランスが調整された信号となる。Ｒ色差演算器２４およびＢ色差演算器２５は、ゲイン調整されたＲ値（ｋｒ・Ｒ値）およびゲイン調整されたＢ値（ｋｂ・Ｂ値）のそれぞれからＧ値を減算することにより、ホワイトバランスが調整されたＲ色差値（ｋｒ・Ｒ値−Ｇ値）およびＢ色差値（ｋｂ・Ｂ値−Ｇ値）の信号を生成して出力する。
【００３１】
ビデオカメラ１０は、さらに、色温度推定用の加算器２６、代表色合いパラメータ算出部２７、白被写体部分検出用の加算器２８、白被写体検出部２９、Ｒ色差加算器３０、Ｂ色差加算器３１、Ｒ色差比較器３２およびＢ色差比較器３３を備えている。色分離回路２１から出力されたＲ値、Ｇ値およびＢ値の各信号は、色温度推定用の加算器２６に取り込まれて、代表色合いパラメータ算出部２７での処理に供される。この加算器２６および代表色合いパラメータ算出部２７での処理については後に詳しく説明する。
【００３２】
また、色分離回路２１より出力されたＲ値、Ｇ値およびＢ値の各信号は、白被写体部分検出用の加算器２８に入力される。加算器２８は、１画像を８×６の４８ブロックに分割して、ブロックごとにＲ値、Ｇ値およびＢ値のそれぞれを加算して平均する。加算器２８は、このようにして、Ｒブロック平均値、Ｇブロック平均値およびＢブロック平均値を算出する。
【００３３】
白被写体検出部２９は、このＲブロック平均値、Ｇブロック平均値およびＢブロック平均値を用いて、Ｒブロック平均値／Ｇブロック平均値およびＢブロック平均値／Ｇブロック平均値を算出する。このＲブロック平均値／Ｇブロック平均値およびＢブロック平均値／Ｇブロック平均値は、各ブロックの色合いを表すパラメータであり、本発明の色合いパラメータに相当する。白被写体検出部２９は、各ブロックの色合いパラメータが白判別基準を満たすか否かによりそれぞれのブロックが白被写体部分であるか否かを判別する。
【００３４】
図２は、白被写体検出部２９による白斜体部分の判別処理を説明する図である。図２には、色合いパラメータであるＲ値／Ｇ値およびＢ値／Ｇ値（以下、Ｒ／ＧおよびＢ／Ｇと表記する）をそれぞれ横軸および縦軸とする座標が示されている。白被写体検出部２９は、後述するように、代表色合いパラメータ算出部２７にて推定された色温度に基づいて白判別基準を可変に設定するが、ここでは、この白判別基準設定処理にてある白判別基準が設定された後の白判別処理を説明し、白判別基準設定処理については後述する。
【００３５】
本実施の形態では、白判別基準は、図２の座標上の白判別領域ＷＡである。この座標において、赤系の色の色合いパラメータは、Ｒ／Ｇの値が大きく、かつＢ／Ｇの値が小さい位置にプロットされる。また、青系の色の色合いパラメータは、Ｒ／Ｇの値が小さく、かつＢ／Ｇの値が大きい位置にプロットされる。さらに、緑系の色の色合いパラメータは、Ｒ／ＧおよびＢ／Ｇのいずれの値も小さい位置にプロットされる。そして、画像中の白被写体部分の色合いパラメータは、黒体放射曲線４１上の光源の色温度に応じた位置にプロットされる。
【００３６】
図２の例では、Ｒ／Ｇ＞Ｘ０、Ｂ／Ｇ＞Ｘ１、Ｒ／Ｇ＋Ｂ／Ｇ＞Ｘ２、およびＲ／Ｇ＋Ｂ／Ｇ＜Ｘ３の判定式によって定義される白判別領域ＷＡが白判別基準とされている。（Ｒ／Ｇ，Ｂ／Ｇ）＝（Ｒブロック平均値／Ｇブロック平均値，Ｂブロック平均値／Ｇブロック平均値）として、あるブロックが上記の判別式を満たすとき、すなわち点（Ｒブロック平均値／Ｇブロック平均値，Ｂブロック平均値／Ｇブロック平均値）が図２の座標上で白判別領域ＷＡに含まれるときに、そのブロックは白被写体部分であると判別される。なお、白判別領域ＷＡは、図２に示すような台形の領域に限られず、三角形、長方形でもよく、曲線で囲まれた領域であってもよい。
【００３７】
白被写体検出部２９は、上記の白判別処理により、ブロックが白被写体部分であるか否かを示す白判別信号を出力する。ただし、本実施の形態では、ブロックが白被写体部分でないことを示す信号が白判別信号として出力される。この白判別信号を基に、後段にて白被写体部分の映像信号に基づくホワイトバランス処理が行なわれる。
【００３８】
図１に戻って、Ｒ色差加算器３０およびＢ色差加算器３１は、それぞれＲ色差演算器２４およびＢ色差演算器２５から出力された１画像分の全ての画素のＲ色差値およびＢ色差値の信号を取り込む。また、Ｒ色差加算器３０およびＢ色差加算器３１には、白被写体検出部２７から白判別信号が入力される。白判別信号は、既に説明したように、白被写体部分ではないと判断されたブロックを示す信号である。Ｒ色差加算器３０およびＢ色差加算器３１は、この白判別信号に従って、白被写体部分以外の部分の色差信号を除外して、白被写体部分のみのＲ色差信号およびＢ色差信号を加算して平均する。Ｒ色差加算器３０およびＢ色差加算器３１は、このようにして算出した白被写体部分のＲ色差値およびＢ色差値の平均（Ｒ白部分色差平均値およびＢ白部分色差平均値という）の信号を出力する。
【００３９】
Ｒ色差比較器３２は、Ｒ色差加算器３０より出力されたＲ白部分色差平均値とあらかじめ記憶されているＲ基準値とを比較する。そして、この比較によって、Ｒ値の信号のゲインを調整するためのＲホワイトバランス補正値ｋｒを求め、Ｒ乗算器２２に出力する。Ｂ色差比較器３３も同様に、Ｂ白部分色差平均値とＢ基準値とを比較して、Ｂ値乗算器２３にＢホワイトバランス補正値ｋｂを出力する。ここで、Ｒ基準値およびＢ基準値は、ホワイトバランス処理後の白被写体部分のＲ色差信号およびＢ色差信号の目標値である。Ｒホワイトバランス補正値ｋｒおよびＢホワイトバランス補正値ｋｂは、例えばＲ準値／Ｒ白部分色差平均値およびＢ基準値／Ｂ白部分色差平均値である。
【００４０】
このように、本実施の形態のビデオカメラ１０では、画像中の白被写体部分を検出してその白被写体部分を理想的な白に補正する補正値を求め、その補正値を用いて映像信号にホワイトバランス処理を施す。ビデオカメラ１０のこの機能によって、本発明のホワイトバランス処理手段が実現される。
【００４１】
次に、上記の白被写体検出部２９による白判別基準設定処理を詳細に説明する。上述したように、白被写体検出部２９は、代表色合いパラメータ算出部２７にて推定された色温度に基づいて白判別基準を設定する。そこで、以下では、まず加算器２６および代表色合いパラメータ算出部２７による色温度推定処理を説明して、それから白被写体検出部２９による白判別基準設定処理を説明する。
【００４２】
図１に示されるように、色温度推定用の加算器２６は、色分離回路２１より出力されたＲ値、Ｇ値およびＢ値の信号を取り込む。そして、加算器２６は、Ｒ値、Ｇ値およびＢ値のそれぞれを１画像分加算して平均し、代表色合いパラメータ算出部２７にＲ平均値、Ｇ平均値およびＢ平均値の各データを出力する。代表色合いパラメータ算出部２７は、Ｒ平均値、Ｇ平均値およびＢ平均値を用いて、Ｒ平均値／Ｇ平均値およびＢ平均値／Ｇ平均値を算出する。このＲ平均値／Ｇ平均値およびＢ平均値／Ｇ平均値は、画像全体の色合いを一つのパラメータで表す色合いパラメータ、すなわち画像を代表する色合いパラメータであり、本発明の代表色合いパラメータの一形態に相当する。そして、代表色合いパラメータ算出部２７は、本発明の画像の代表色合いパラメータを求める演算手段に相当する。
【００４３】
本実施の形態では、代表色合いパラメータ算出部２７は、さらに、代表色合いパラメータに対応する色温度を求めて、その色温度の情報を白被写体検出部２９に出力する。
【００４４】
図３および図４は、代表色合いパラメータ算出部２７にて代表色合いパラメータに対応する色温度を求める処理を説明するための図である。これらの図では、図２と同様に、横軸がＲ／Ｇであり、縦軸がＢ／Ｇである座標を示している。以下では、代表色合いパラメータに対応する色温度を求める二つの例を説明する。ここで、代表色合いパラメータ（Ｒ平均値／Ｇ平均値，Ｂ平均値／Ｇ平均値）は、画像全体を一つの色合いパラメータで表したものであるので、図３および図４に示される色合いパラメータの座標上にプロットすると、一般的には、黒体放射曲線４１の近傍に位置する。
【００４５】
図３は、代表色合いパラメータ算出部２７の処理の一例を説明するための図である。代表色合いパラメータ算出部２７は、代表色合いパラメータを表す点から黒体放射曲線に垂線をおろしたときの交点に対応する色温度をその代表色合いパラメータに対応する色温度とする。例えば、図３に示すように、代表色合いパラメータＡが得られたときに、代表色合いパラメータ算出部２７は、このＡ点から黒体放射曲線４１に垂線をおろしたときの、その垂線と黒体放射曲線との交点ＸＡに対応する色温度を代表色合いパラメータＡに対応する色温度とする。
【００４６】
図４は、代表色合いパラメータ算出部の処理の他の例を説明するための図である。色合いパラメータ算出部２７には、黒体放射曲線４１の高色温度部分から低色温度部分までを含む領域４２を黒体放射曲線に沿って分割した複数の小領域４３が記憶されている。代表色合いパラメータ算出部２７は、さらに、各小領域４３に含まれるの黒体放射曲線４１の部分のほぼ中央に位置する点４４に対応する色温度を候補色温度として記憶している。そして、色合いパラメータ算出部２７は、代表色合いパラメータを表す点が属する小領域４３の候補色温度をその代表色合いパラメータに対応する色温度とする。例えば、図４に示すように、代表色合いパラメータＢが得られたときに、代表色合いパラメータ算出部２７は、Ｂ点が属する小領域４３の候補色温度を代表色合いパラメータＢに対応する色温度とする。
【００４７】
図３および図４のいずれの例においても、代表色合いパラメータ算出部２７は、代表色合いパラメータに対応する色温度を求めると、その色温度の情報を白被写体検出部２９に出力する。
【００４８】
次に、白被写体検出部２９における白判別基準設定処理を説明する。
【００４９】
図５は、白判別基準設定処理を説明するための図である。図５に示される座標は、図２に示す座標と同じである。画像中の白被写体部分の色合いパラメータは、画像の色温度に応じて、黒体放射曲線４１上のどこかの位置にプロットされる。すなわち、色温度が低いときには、白被写体部分の色合いパラメータは、黒体放射曲線４１上のＲ／Ｇが大きくＢ／Ｇが小さい部分（低色温度部分）に位置し、色温度が高いときには、黒体放射曲線４１上のＲ／Ｇが小さくＢ／Ｇが大きい部分（高色温度部分）に位置する。
【００５０】
一方、画像の色温度が高いときには、黒体放射曲線４１の低色温度部分やその周辺には淡い赤系の被写体部分の色合いパラメータが位置し、また、画像の色温度が低いときには、黒体放射曲線４１の高色温度部分やその周辺に淡い青系の被写体部分の色合いパラメータが位置する。したがって、従来のように、黒体放射曲線４１の高色温度部分から低色温度部分までを含む領域を白判別領域とすると、淡い赤系または淡い青系の被写体部分が白被写体部分として検出されてしまうことがある。
【００５１】
そこで、本実施の形態では、黒体放射曲線４１上やその周辺に位置する有彩色の被写体部分を白被写体部分であると誤判別しないように、白被写体検出部２９は、代表色合いパラメータ算出部２７にて推定された画像の色温度に応じて、その色温度の周辺領域を白判別基準として設定する。このとき、白被写体検出部２９は、本発明の代表色合いパラメータに基づいて白判別範囲を可変設定する設定手段として機能する。
【００５２】
具体的には、白被写体検出部２９は、代表色合いパラメータ算出部２７から色温度の情報を取得して、その色温度に対応する黒体放射曲線４１上の点をほぼ中心に含むように、所定の大きさの白判別領域ＷＡを設定する。図５には、代表色合いパラメータ算出部２７から得た色温度の情報ＣＴ１〜３に応じて白判別領域ＷＡ１〜３が設定される例が示されている。
【００５３】
ここで、白被写体検出部２９には、図５に示すように、黒体放射曲線４１に沿って黒体放射曲線４１の高色温度部分から低色温度部分までを含む領域４５が記憶されている。そして、白判別領域ＷＡは、この領域４５から色温度の情報ＣＴに対応する黒体放射曲線４１上の点をほぼ中心とした一部分の領域を切り取ることにより設定される。なお、あらかじめ所定の色温度範囲ごとに候補領域を記憶しておき、色温度の情報ＣＴに基づいていずれかの候補領域を選択することにより白判別領域ＷＡを設定してもよい。
【００５４】
次に、上記のように構成されたビデオカメラ１０において、実際に画像に対してホワイトバランス処理を施すときのビデオカメラ１０の動作を説明する。
【００５５】
まず、撮像素子１１は、被写体の動画を撮影することにより、例えば１秒間に３０画像分の映像信号を生成する。撮像素子１１で連続的に生成された映像信号は、ＣＤＳ回路１２、ＡＧＣ回路１３およびＡ／Ｄ変換器１４を経て、画像ごとに順に色分離回路２１に入力される。色分離回路２１は、映像信号をＲ、ＧおよびＢに色分離して、Ｒ値、Ｇ値およびＢ値の各信号を出力する。
【００５６】
これらの各信号のうち、Ｒ値およびＢ値の各信号は、それぞれＲ乗算器２２およびＢ乗算器２３にてホワイトバランス補正値を用いてゲイン調整されるが、本実施例では、このホワイトバランス補正値は５画像につき１回更新される。したがって、本実施の形態のビデオカメラ１０では、色分離回路２１から５画像分の信号が出力されるごとに、１画像分のＲ値、Ｇ値およびＢ値の各信号を用いて、ホワイトバランス補正値を求めるための処理が実行される。
【００５７】
加算器２６は、色分離回路２１から５画像分の信号が出力されるごとに、１画像分のＲ値、Ｇ値およびＢ値の各信号を取得して、Ｒ値、Ｇ値およびＢ値を画素ごとに全ての画素について加算して平均し、Ｒ平均値、Ｇ平均値およびＢ平均値を求める。代表色合いパラメータ算出部２７は、Ｒ平均値、Ｇ平均値およびＢ平均値を用いてその画像の色温度を推定する。そして、白被写体検出部２９は、代表色合いパラメータ算出部２７で推定された色温度に基づいて、その色温度の周辺の領域を白判別領域として設定する。
【００５８】
一方、加算器２８は、加算器２６が色分離回路２１から出力された信号を取得するのと同一のタイミングでＲ値、Ｇ値およびＢ値の各信号を取得して、Ｒブロック平均値、Ｇブロック平均値およびＢブロック平均値を求める。白被写体検出部２９は、各ブロックのＲブロック平均値、Ｇブロック平均値およびＢブロック平均値から各ブロックの色合いパラメータであるＲブロック平均値／Ｇブロック平均値およびＢブロック平均値／Ｇブロック平均値を求める。白被写体検出部２９は、各ブロックの色合いパラメータが、先に設定された白判別領域に含まれるか否かを判断して白判別信号を出力する。
【００５９】
Ｒ色差加算器３０およびＢ色差加算器３１は、それぞれＲ色差演算器２４およびＢ色差演算器２５から出力されたＲ色差値およびＢ色差値の信号を取得して、白被写体検出部２９から出力された白判別信号に従って、色合いパラメータが白判別領域に含まれるブロックの色差値の信号のみを加算して平均し、Ｒ色差平均値およびＢ色差平均値の信号を出力する。Ｒ色差比較器３２およびＢ色差信号比較器３３は、それぞれＲ色差平均値およびＢ色差平均値をＲ基準値およびＢ基準値と比較することによりＲホワイトバランス補正値ｋｒおよびＢホワイトバランス補正値ｋｂを求めて、それぞれＲ値乗算器２２およびＢ値乗算器２３に出力する。
【００６０】
Ｒ値乗算器２２およびＢ値乗算器２３は、それぞれＲホワイトバランス補正値ｋｒおよびＢホワイトバランス補正値ｋｂを取得すると、既に設定されているそれぞれのホワイトバランス補正値を更新する。そして、Ｒ値乗算器２２およびＢ値乗算器２３は、次にホワイトバランス補正値が更新されるまで、すなわち、先に加算器２６および加算器２８に取り込まれた画像の次の５つの画像に対して、この更新されたホワイトバランス補正値を用いてＲ値およびＢ値のゲイン調整を行なう。Ｒ色差演算器２４およびＢ色差演算器２５は、ゲイン調整されたＲ値およびＢ値からＧ値を減算してＲ色差値およびＢ色差値の各信号を生成して出力する。
【００６１】
このように、映像信号中のＲ値およびＢ値の信号のゲイン調整をした上でＲ色差値およびＢ色差値の信号を生成することにより、ホワイトバランスが調整された色差信号を生成することができる。
【００６２】
なお、上記の実施の形態では、撮像素子１１によって撮影された動画に対してホワイトバランス処理を施したが、上記のホワイトバランス処理は１枚の静止画に対して施されてもよい。この場合には、対象となる静止画を用いて上記の処理により白判別基準を設定し、その白判別基準を用いてその静止画の白被写体部分を検出し、ホワイトバランス補正値を求める。そして、そのホワイトバランス補正値を用いてその静止画に対してホワイトバランス処理が施される。
【００６３】
また、上記の実施の形態では、白被写体検出部２９は、１画像を４８ブロックに分割したブロックごとに色合いパラメータを求めたが、画素単位で色合いパラメータＲ値／Ｇ値およびＢ値／Ｇ値を求めて、白被写体部分判別処理を行なってもよいことは勿論である。
【００６４】
さらに、上記の実施の形態では、代表色合いパラメータは、１画像中の全画素のＲ値、Ｇ値およびＢ値の平均値を用いて算出されたが、これに限らず、画像を代表する色合いパラメータであれば他の方法で算出されてもよい。例えば、画像を構成する全画素から適当な間隔で間引きして抽出された画素を用いてＲ値、Ｇ値およびＢ値の平均値が求められ、そのような平均値を用いて代表色合いパラメータが算出されてもよい。このように、全画素の中から抽出された一部の画素のみを用いれば、代表色合いパラメータを求めるための処理負担が軽減され、処理時間も短縮される。
【００６５】
さらに、代表色合いパラメータは、極端に彩度の高い画素を除くＲ値、Ｇ値およびＢ値の平均値を用いて算出されてもよい。色合いパラメータの座標上では、黒体放射曲線から遠ざかるほど彩度が高くなるので、黒体放射曲線から所定距離離れた色合いパラメータを持つ画素を除外することによって、彩度の高い画素を除外して平均値を求めることができる。この場合に、画像処理装置は、黒体放射曲線を含む採用領域を記憶している。そして、色温度推定用の加算器２６は、この採用領域の中に含まれる画素のみを加算してＲ平均値、Ｇ平均値およびＢ平均値を算出する。このとき、採用領域は、図４に示した領域４５よりも十分に広い領域であってよい。このように、極端に彩度の高い画素を除外して代表色合いパラメータを求めれば、代表色合いパラメータは黒体放射曲線に近づき、より正確に白判別基準を設定できる。
【００６６】
なお、上記の実施の形態では、色合いパラメータとしてＲ値／Ｇ値およびＢ値／Ｇ値を用いたが、本発明はこれに限定されない。色合いパラメータは、色の情報のうちの色相および彩度の情報を同時に表すパラメータであれば、他のパラメータでもよい。例えば、Ｒ値／Ｙ値およびＢ値／Ｙ値を色合いパラメータとしてもよい。Ｒ値／Ｙ値およびＢ値／Ｙ値は、色の情報のうちの色相および彩度の情報を同時に表す典型的なパラメータである。ここで、Ｙ値とは、色の情報のうちの輝度の情報を表すパラメータであり、Ｒ値、Ｇ値およびＢ値を重み付け加算して求めることができる値である。画像の色合いを代表するパラメータについても同様に、Ｒ平均値／Ｙ平均値およびＢ平均値／Ｙ平均値を代表色合いパラメータとしてもよい。
【００６７】
さらに、上記の実施の形態では、Ｒ値−Ｇ値およびＢ値−Ｇ値をそれぞれＲ色差値およびＢ色差値として扱ったが、Ｒ値−Ｙ値およびＢ値−Ｙ値など、他の値を色差値としてもよい。
【００６８】
また、上記の実施の形態では、代表色合いパラメータ算出部２７にて代表色合いパラメータに対応する色温度を求め、白被写体検出部２９は、この色温度の情報に応じて白判別基準である白判別領域ＷＡを設定したが、白判別基準の設定はこの方法に限られない。色温度に基づいて白判別基準を可変設定する他の処理が行なわれてもよい。例えば、白被写体検出部２９が代表色合いパラメータから直接白判別基準を設定してもよい。このとき、代表色合いパラメータは、色温度を表す情報として用いられる。
【００６９】
この場合には、画像処理装置では、例えば、代表色合いパラメータのいろいろな値の各々と関連付けてあらかじめ適当な白判別基準が用意され、図示しない記憶手段に記憶されている。代表色合いパラメータ算出部２７は、上記と同様にして代表色合いパラメータを求め、これを白被写体検出部２９に出力する。そして、白被写体検出部２９は、代表色合いパラメータに対応する白判別領域ＷＡを選択する。なお、この例においても、代表パラメータ算出部２７が本発明の演算手段に相当し、白被写体検出部２９が本発明の設定手段に相当する。
【００７０】
このように、代表色パラメータに対応する色温度を求めずに白判別基準を可変設定する例においても、取得された画像自身の色パラメータを用いて画像の色温度を推定した上で白判別基準が設定されており、撮像条件や被写体条件の情報を用いなくても白判別基準を適切に設定することができ、ホワイトバランス処理の精度を向上できる。
【００７１】
また、上記の実施の形態では、色温度推定処理および白被写体部分検出処理を同一の画像を対象として行なったが、両処理の対象が別の画像であってもよい。また、例えば、色温度推定処理を１５画像ごとに行なうとともに、白被写体部分検出処理を５画像ごとに行なうというように、両処理のインターバルが互いに異なっていてもよい。なお、色温度推定処理や白被写体部分検出処理を全ての画像に施してもよいことは勿論である。
【００７２】
また、上記のビデオカメラ１０の一部の機能がソフトウェアにより実現されてもよい。この場合には、ＣＰＵ、ＲＡＭおよびＲＯＭなどを含むコンピュータがプログラムを実行することによりその機能を実現することができる。さらに、上記のビデオカメラ１０は撮像素子１１を含み、被写体を撮影することによりホワイトバランス処理の対象画像を取得したが、ビデオカメラ１０は対象画像を外部から取得してもよい。
【００７３】
上記のビデオカメラ１０によれば、白被写体部分を判別するための白判別基準を、誤判別を防止するように可変に設定した上で白被写体部分を判別するので、白被写体部分の色差平均値をより正確に求めることができる。これにより、より正確なホワイトバランス補正値を求めることができ、ホワイトバランス処理の精度が向上する。
【００７４】
また、上記のビデオカメラ１０では、代表色合いパラメータ算出部２７が画像自身の情報、すなわち画像の色パラメータから画像の色温度を推定して、白被写体部分はその色温度に基づいて白判別基準である白判別領域を設定するので、撮像条件や被写体条件に頼らずに、ホワイトバランス補正値を好適に求めることが出きる。そして、このホワイトバランス補正値を用いて画像にホワイトバランス処理を施すことにより、ホワイトバランス処理の精度を向上できる。
【００７５】
また、上記のビデオカメラ１０では、代表色合いパラメータ算出部２７が画像全体の色合いを一つの色合いパラメータで表す代表色合いパラメータを画像の色温度を表すパラメータとして用いるので、画像の色温度を好適に推定することが出きる。
【００７６】
さらに、画像を構成する全ての画素の色パラメータを用いることで色温度の推定精度が向上する。一方、画像を構成する画素のうちの一部の画素を間引きして抽出された画素のみを用いて色温度を推定することにより、色温度推定のための処理負担が軽減し、処理時間を短縮できる。また、画像の色合いパラメータを表す座表上で、黒体放射曲線から所定距離離れた色合いパラメータ、すなわち、極端に彩度の高い色合いパラメータを除外して色温度を推定することにより、色温度の推定精度がより向上する。
【００７７】
【発明の効果】
以上説明したように、本発明は、画像自身から推定される色温度に基づいて白判別基準を可変設定することにより、ホワイトバランス補正値を好適に求めることができ、これによりホワイトバランス処理の精度を向上できるという優れた効果を有する画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の撮像システムの構成図
【図２】本発明の実施の形態の白判別処理を説明するための図
【図３】本発明の実施の形態の色温度推定処理を説明するための図
【図４】本発明の実施の形態の色温度推定処理を説明するための図
【図５】本発明の実施の形態の白判別基準設定処理を説明するための図
【符号の説明】
１０ 撮像システム
１１ 撮像素子
２２ Ｒ値乗算器
２３ Ｂ値乗算器
２７ 代表色合いパラメータ算出部
２９ 白被写体検出部
４１ 黒体放射曲線
ＷＡ 白判別領域
【発明の属する技術分野】
本発明は、画像のホワイトバランスを調整する技術に関し、特に、画像中の白色被写体を判別して画像にホワイトバランス処理を施す技術に関する。
【０００２】
【従来の技術】
撮像装置を用いて被写体を撮影すると、例えば、白熱灯の下で撮像したときと太陽光の下で撮像したときとでは、光源の色温度の違いによって、同じ被写体であっても異なる色として撮影される。このような画像中に現れる光源の色温度の影響を軽減するために、撮影によって得られた画像に対してホワイトバランス処理が施される。
【０００３】
ホワイトバランス処理では、画像中で白色の被写体を撮影した部分（以下、白被写体部分という）が適正な白に補正されるような補正値を算出し、その補正値を用いて画像全体を補正する。したがって、ホワイトバランス処理の精度を向上させるためには、画像中から白被写体部分を正確に検出する必要がある。
【０００４】
従来のホワイトバランス処理では、画像中の白被写体部分を検出するために、画像を構成する各画素の色合いのパラメータ、すなわち色の情報のうちの色相および彩度の情報を同時に表すパラメータ（以下、色合いパラメータという）を用いている。白被写体部分を構成する画素の色合いパラメータは、光源の色温度の変化に従って黒体放射曲線上を推移する。そこで、従来のホワイトバランス処理では、黒体放射曲線の高色温度部分から低色温度部分までを含む領域を白判別基準として、各画素の色合いパラメータがその白判別基準である領域に含まれるか否かによって、それぞれの画素が白被写体部分を構成する画素であるか否かを判別している。
【０００５】
このように色合いパラメータを用いて白被写体部分を検出するにあたって、検出精度を向上させるための技術が提案されている。例えば、特許文献１に記載されたホワイトバランス処理では、被写体を撮影したときの撮影条件（カメラのＥＶ値、シャッタースピード、Ｆ値およびフラッシュのＯＮ／ＯＦＦ情報）や被写体条件（被写体距離など）から、撮影時の光源の色温度を推定して、推定された色温度に応じて白判別基準である領域を可変に設定することにより、白被写体部分の検出精度の向上を図っている。
【０００６】
【特許文献１】
特開平１１−２６２０２９号公報（第１２頁、第４図）
【０００７】
【発明が解決しようとする課題】
上記の従来のホワイトバランス処理で用いられる色合いパラメータと黒体放射曲線とは、光源の色温度によって次のような関係にある。光源の色温度が高温であるときには、白被写体部分の色合いパラメータが黒体放射曲線の高色温度部分に位置する。このとき、低彩度の赤系の色をもつ被写体部分の色合いパラメータが黒体放射曲線の低温度部分周辺に位置し、白判別基準の領域に含まれることになる。また、光源の色温度が低温であるときは、白被写体部分の色合いパラメータは黒体放射曲線の低色温度部分に位置する。この場合には、低彩度の青系の色をもつ被写体部分の色合いパラメータが黒体放射曲線の高温度部分周辺に位置し、白判別基準の領域に含まれることになる。したがって、黒体放射曲線の高色温度部分から低色温度部分までを含む領域を白判別基準として用いると、有彩色の被写体を表す部分まで白被写体部分であると誤判別してしまうことがある。
【０００８】
上記特許文献１に開示された技術は、撮像条件や被写体条件から色温度を推定して、黒体放射曲線のうちの推定された色温度に対応する領域のみを白判別基準として白被写体部分を判別することにより、上記のような誤判別の防止を図っている。
【０００９】
しかしながら、この従来技術では、フラッシュがＯＦＦでであるときは昼外光下での撮影であるとみなして色温度を高く推定するなど、経験則に基づいて撮影条件や被写体条件と光源の色温度との対応関係を定め、この対応関係に従って色温度を推定する。そのため、このような経験則に頼っていることによる推定精度の低下は避けられない。色温度の推定精度が低いと、白被写体部分を正確に判別することができず、ホワイトバランス処理の精度の低下を招く。また、この従来技術では、色温度を推定するために、カメラのＥＶ値、シャッタースピード、フラッシュのＯＮ／ＯＦＦおよび被写体距離などを検出しなければならないので、装置の構成が複雑になる。さらに、この従来技術では、ＥＶ値やシャッタースピードの調整機能を持たない撮像装置や、フラッシュや測距機能をもたない撮像装置は、色温度を推定することができないため、白判別基準を可変に設定することはできない。
【００１０】
本発明は、このような問題を解決するためになされたもので、白被写体部分の判別精度を向上させることによりホワイトバランス処理の精度を向上させる技術を提供するものである。本発明は、特に、撮像条件や被写体条件によらずに白判別基準を可変に設定することにより、色合いパラメータが黒体放射曲線周辺に位置する有彩色の被写体部分を白被写体部分と誤判別することを防止して、白被写体部分の判別精度を向上させる技術を提供するものである。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、画像を取得する画像取得手段と、前記画像取得手段により取得された前記画像から推定される前記画像の色温度に基づいて、前記画像中の白被写体部分を色合いによって判別する基準になる白判別基準を可変に設定する設定手段と、前記設定手段により設定された白判別基準を用いて、前記画像取得手段により取得された画像にホワイトバランス処理を施すホワイトバランス処理手段とを備えている。
【００１２】
この構成により、取得された画像自身から推定された色温度に基づいて白判別基準が設定されるので、撮像条件や被写体条件によらずに白判別基準を適切に設定することができ、ホワイトバランス処理の精度を向上できる。
【００１３】
ここで、画像取得手段は、被写体を撮影することにより画像を取得する撮像手段であってもよいし、撮像手段により生成された画像を受け取る手段であってもよい。
【００１４】
また、本発明の画像処理装置では、前記設定手段は、前記画像取得手段により取得された画像の全体の色合いを一つの色合いパラメータで表す代表色合いパラメータを、前記色温度を表すパラメータとして用いる。
【００１５】
この構成により、画像全体が一つの代表色合いパラメータで代表されるので、この代表色合いパラメータを用いて画像の色温度を推定できる。
【００１６】
また、本発明の画像処理装置では、前記色温度は、前記画像を構成する画素の色パラメータの平均から推定される。
【００１７】
この構成により、画像自身が持つ情報を用いて色温度を好適に推定できる。
【００１８】
また、本発明の画像処理装置では、前記色温度は、前記画像から抽出された複数の画素の色パラメータの平均から推定される。
【００１９】
この構成により、画像の色温度がその画像を構成する画素の一部のみを用いて推定されるので、装置の処理負担を軽減でき、処理時間を短縮できる。
【００２０】
また、本発明の画像処理装置では、前記色温度は、前記画像の色合いパラメータを表す座標上で、前記座標上の黒体放射曲線から所定距離離れた色合いパラメータをもつ画素を除く複数の画素の色パラメータの平均から推定される。
【００２１】
この構成により、彩度の高い有彩色を除外して色温度が推定されるので、色温度推定の精度を向上できる。
【００２２】
本発明の他の態様の画像処理装置は、画像を取得する画像取得手段と、前記画像取得手段により取得された前記画像を代表する色合いパラメータである代表色合いパラメータを求める演算手段と、前記演算手段によって求められた代表色合いパラメータに基づいて、前記画像中の白被写体部分を色合いによって判別する基準になる白判別基準を可変に設定する設定手段と、前記設定手段により設定された白判別基準を用いて、前記画像取得手段により取得された画像にホワイトバランス処理を施すホワイトバランス処理手段とを備えている。
【００２３】
この構成により、取得された画像自身のパラメータを用いて白判別基準が設定されるので、撮像条件や被写体条件によらずに白判別基準を適切に設定することができ、ホワイトバランス処理の精度を向上できる。
【００２４】
また、本発明の撮像システムは、上記のいずれかの画像処理装置と、被写体を撮像して前記画像を生成する撮像装置とを備えている。そして、前記画像取得手段は、前記撮像装置により生成された画像を取得し、前記画像処理装置は、前記撮像装置により生成された画像にホワイトバランス処理を施す。
【００２５】
この構成により、様々な色温度条件下で撮像された画像に対するホワイトバランス処理の精度を向上できる。
【００２６】
本発明は、上述したような装置の態様に限定されない。本発明の別の態様は、画像処理方法、画像処理方法をコンピュータに実行させるプログラム、およびそのプログラムを格納した記録媒体である。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２８】
図１は、本実施の形態の画像処理装置が備えられた撮像システムであるビデオカメラの構成を示すブロック図である。ビデオカメラ１０は、撮像素子１１、ＣＤＳ回路１２、ＡＧＣ部回路１３およびＡ／Ｄ変換器１４を備えている。撮像素子１１は、画素ごとにＲ（赤）、Ｇ（緑）およびＢ（青）の三色のフィルタを備えており、これらのフィルタを通過した光を電気信号に変換して出力する。撮像素子１１が被写体の光学像を電気信号に変換することにより、被写体の画像を表す映像信号が生成され、これにより画像が取得される。撮像素子１１から出力された映像信号は、ＣＤＳ回路１２によるノイズ除去処理およびＡＧＣ回路１３によるゲイン制御処理を施され、Ａ／Ｄ変換器１４でデジタル信号に変換される。
【００２９】
ビデオカメラ１０は、さらに、色分離回路２１、Ｒ値乗算器２２、Ｂ値乗算器２３、Ｒ色差演算器２４およびＢ色差演算器２５を備えている。Ａ／Ｄ変換器１４にてデジタル信号に変換された映像信号は、色分離回路２１にてＲ、ＧおよびＢの三色に色分離され、色分離回路２１からは、Ｒ値、Ｇ値およびＢ値の各信号が出力される。これらのＲ値、Ｇ値およびＢ値は、画像の各画素の色を加色法によって表す色パラメータである。
【００３０】
この色パラメータの信号のうち、Ｒ値およびＢ値の信号は、それぞれＲ値乗算器２２およびＢ値乗算器２３にてホワイトバランス補正値ｋｒおよびｋｂを乗算されることによりゲイン調整される。これによって、Ｒ値およびＢ値の信号は、光源の色温度による影響が除去されてホワイトバランスが調整された信号となる。Ｒ色差演算器２４およびＢ色差演算器２５は、ゲイン調整されたＲ値（ｋｒ・Ｒ値）およびゲイン調整されたＢ値（ｋｂ・Ｂ値）のそれぞれからＧ値を減算することにより、ホワイトバランスが調整されたＲ色差値（ｋｒ・Ｒ値−Ｇ値）およびＢ色差値（ｋｂ・Ｂ値−Ｇ値）の信号を生成して出力する。
【００３１】
ビデオカメラ１０は、さらに、色温度推定用の加算器２６、代表色合いパラメータ算出部２７、白被写体部分検出用の加算器２８、白被写体検出部２９、Ｒ色差加算器３０、Ｂ色差加算器３１、Ｒ色差比較器３２およびＢ色差比較器３３を備えている。色分離回路２１から出力されたＲ値、Ｇ値およびＢ値の各信号は、色温度推定用の加算器２６に取り込まれて、代表色合いパラメータ算出部２７での処理に供される。この加算器２６および代表色合いパラメータ算出部２７での処理については後に詳しく説明する。
【００３２】
また、色分離回路２１より出力されたＲ値、Ｇ値およびＢ値の各信号は、白被写体部分検出用の加算器２８に入力される。加算器２８は、１画像を８×６の４８ブロックに分割して、ブロックごとにＲ値、Ｇ値およびＢ値のそれぞれを加算して平均する。加算器２８は、このようにして、Ｒブロック平均値、Ｇブロック平均値およびＢブロック平均値を算出する。
【００３３】
白被写体検出部２９は、このＲブロック平均値、Ｇブロック平均値およびＢブロック平均値を用いて、Ｒブロック平均値／Ｇブロック平均値およびＢブロック平均値／Ｇブロック平均値を算出する。このＲブロック平均値／Ｇブロック平均値およびＢブロック平均値／Ｇブロック平均値は、各ブロックの色合いを表すパラメータであり、本発明の色合いパラメータに相当する。白被写体検出部２９は、各ブロックの色合いパラメータが白判別基準を満たすか否かによりそれぞれのブロックが白被写体部分であるか否かを判別する。
【００３４】
図２は、白被写体検出部２９による白斜体部分の判別処理を説明する図である。図２には、色合いパラメータであるＲ値／Ｇ値およびＢ値／Ｇ値（以下、Ｒ／ＧおよびＢ／Ｇと表記する）をそれぞれ横軸および縦軸とする座標が示されている。白被写体検出部２９は、後述するように、代表色合いパラメータ算出部２７にて推定された色温度に基づいて白判別基準を可変に設定するが、ここでは、この白判別基準設定処理にてある白判別基準が設定された後の白判別処理を説明し、白判別基準設定処理については後述する。
【００３５】
本実施の形態では、白判別基準は、図２の座標上の白判別領域ＷＡである。この座標において、赤系の色の色合いパラメータは、Ｒ／Ｇの値が大きく、かつＢ／Ｇの値が小さい位置にプロットされる。また、青系の色の色合いパラメータは、Ｒ／Ｇの値が小さく、かつＢ／Ｇの値が大きい位置にプロットされる。さらに、緑系の色の色合いパラメータは、Ｒ／ＧおよびＢ／Ｇのいずれの値も小さい位置にプロットされる。そして、画像中の白被写体部分の色合いパラメータは、黒体放射曲線４１上の光源の色温度に応じた位置にプロットされる。
【００３６】
図２の例では、Ｒ／Ｇ＞Ｘ０、Ｂ／Ｇ＞Ｘ１、Ｒ／Ｇ＋Ｂ／Ｇ＞Ｘ２、およびＲ／Ｇ＋Ｂ／Ｇ＜Ｘ３の判定式によって定義される白判別領域ＷＡが白判別基準とされている。（Ｒ／Ｇ，Ｂ／Ｇ）＝（Ｒブロック平均値／Ｇブロック平均値，Ｂブロック平均値／Ｇブロック平均値）として、あるブロックが上記の判別式を満たすとき、すなわち点（Ｒブロック平均値／Ｇブロック平均値，Ｂブロック平均値／Ｇブロック平均値）が図２の座標上で白判別領域ＷＡに含まれるときに、そのブロックは白被写体部分であると判別される。なお、白判別領域ＷＡは、図２に示すような台形の領域に限られず、三角形、長方形でもよく、曲線で囲まれた領域であってもよい。
【００３７】
白被写体検出部２９は、上記の白判別処理により、ブロックが白被写体部分であるか否かを示す白判別信号を出力する。ただし、本実施の形態では、ブロックが白被写体部分でないことを示す信号が白判別信号として出力される。この白判別信号を基に、後段にて白被写体部分の映像信号に基づくホワイトバランス処理が行なわれる。
【００３８】
図１に戻って、Ｒ色差加算器３０およびＢ色差加算器３１は、それぞれＲ色差演算器２４およびＢ色差演算器２５から出力された１画像分の全ての画素のＲ色差値およびＢ色差値の信号を取り込む。また、Ｒ色差加算器３０およびＢ色差加算器３１には、白被写体検出部２７から白判別信号が入力される。白判別信号は、既に説明したように、白被写体部分ではないと判断されたブロックを示す信号である。Ｒ色差加算器３０およびＢ色差加算器３１は、この白判別信号に従って、白被写体部分以外の部分の色差信号を除外して、白被写体部分のみのＲ色差信号およびＢ色差信号を加算して平均する。Ｒ色差加算器３０およびＢ色差加算器３１は、このようにして算出した白被写体部分のＲ色差値およびＢ色差値の平均（Ｒ白部分色差平均値およびＢ白部分色差平均値という）の信号を出力する。
【００３９】
Ｒ色差比較器３２は、Ｒ色差加算器３０より出力されたＲ白部分色差平均値とあらかじめ記憶されているＲ基準値とを比較する。そして、この比較によって、Ｒ値の信号のゲインを調整するためのＲホワイトバランス補正値ｋｒを求め、Ｒ乗算器２２に出力する。Ｂ色差比較器３３も同様に、Ｂ白部分色差平均値とＢ基準値とを比較して、Ｂ値乗算器２３にＢホワイトバランス補正値ｋｂを出力する。ここで、Ｒ基準値およびＢ基準値は、ホワイトバランス処理後の白被写体部分のＲ色差信号およびＢ色差信号の目標値である。Ｒホワイトバランス補正値ｋｒおよびＢホワイトバランス補正値ｋｂは、例えばＲ準値／Ｒ白部分色差平均値およびＢ基準値／Ｂ白部分色差平均値である。
【００４０】
このように、本実施の形態のビデオカメラ１０では、画像中の白被写体部分を検出してその白被写体部分を理想的な白に補正する補正値を求め、その補正値を用いて映像信号にホワイトバランス処理を施す。ビデオカメラ１０のこの機能によって、本発明のホワイトバランス処理手段が実現される。
【００４１】
次に、上記の白被写体検出部２９による白判別基準設定処理を詳細に説明する。上述したように、白被写体検出部２９は、代表色合いパラメータ算出部２７にて推定された色温度に基づいて白判別基準を設定する。そこで、以下では、まず加算器２６および代表色合いパラメータ算出部２７による色温度推定処理を説明して、それから白被写体検出部２９による白判別基準設定処理を説明する。
【００４２】
図１に示されるように、色温度推定用の加算器２６は、色分離回路２１より出力されたＲ値、Ｇ値およびＢ値の信号を取り込む。そして、加算器２６は、Ｒ値、Ｇ値およびＢ値のそれぞれを１画像分加算して平均し、代表色合いパラメータ算出部２７にＲ平均値、Ｇ平均値およびＢ平均値の各データを出力する。代表色合いパラメータ算出部２７は、Ｒ平均値、Ｇ平均値およびＢ平均値を用いて、Ｒ平均値／Ｇ平均値およびＢ平均値／Ｇ平均値を算出する。このＲ平均値／Ｇ平均値およびＢ平均値／Ｇ平均値は、画像全体の色合いを一つのパラメータで表す色合いパラメータ、すなわち画像を代表する色合いパラメータであり、本発明の代表色合いパラメータの一形態に相当する。そして、代表色合いパラメータ算出部２７は、本発明の画像の代表色合いパラメータを求める演算手段に相当する。
【００４３】
本実施の形態では、代表色合いパラメータ算出部２７は、さらに、代表色合いパラメータに対応する色温度を求めて、その色温度の情報を白被写体検出部２９に出力する。
【００４４】
図３および図４は、代表色合いパラメータ算出部２７にて代表色合いパラメータに対応する色温度を求める処理を説明するための図である。これらの図では、図２と同様に、横軸がＲ／Ｇであり、縦軸がＢ／Ｇである座標を示している。以下では、代表色合いパラメータに対応する色温度を求める二つの例を説明する。ここで、代表色合いパラメータ（Ｒ平均値／Ｇ平均値，Ｂ平均値／Ｇ平均値）は、画像全体を一つの色合いパラメータで表したものであるので、図３および図４に示される色合いパラメータの座標上にプロットすると、一般的には、黒体放射曲線４１の近傍に位置する。
【００４５】
図３は、代表色合いパラメータ算出部２７の処理の一例を説明するための図である。代表色合いパラメータ算出部２７は、代表色合いパラメータを表す点から黒体放射曲線に垂線をおろしたときの交点に対応する色温度をその代表色合いパラメータに対応する色温度とする。例えば、図３に示すように、代表色合いパラメータＡが得られたときに、代表色合いパラメータ算出部２７は、このＡ点から黒体放射曲線４１に垂線をおろしたときの、その垂線と黒体放射曲線との交点ＸＡに対応する色温度を代表色合いパラメータＡに対応する色温度とする。
【００４６】
図４は、代表色合いパラメータ算出部の処理の他の例を説明するための図である。色合いパラメータ算出部２７には、黒体放射曲線４１の高色温度部分から低色温度部分までを含む領域４２を黒体放射曲線に沿って分割した複数の小領域４３が記憶されている。代表色合いパラメータ算出部２７は、さらに、各小領域４３に含まれるの黒体放射曲線４１の部分のほぼ中央に位置する点４４に対応する色温度を候補色温度として記憶している。そして、色合いパラメータ算出部２７は、代表色合いパラメータを表す点が属する小領域４３の候補色温度をその代表色合いパラメータに対応する色温度とする。例えば、図４に示すように、代表色合いパラメータＢが得られたときに、代表色合いパラメータ算出部２７は、Ｂ点が属する小領域４３の候補色温度を代表色合いパラメータＢに対応する色温度とする。
【００４７】
図３および図４のいずれの例においても、代表色合いパラメータ算出部２７は、代表色合いパラメータに対応する色温度を求めると、その色温度の情報を白被写体検出部２９に出力する。
【００４８】
次に、白被写体検出部２９における白判別基準設定処理を説明する。
【００４９】
図５は、白判別基準設定処理を説明するための図である。図５に示される座標は、図２に示す座標と同じである。画像中の白被写体部分の色合いパラメータは、画像の色温度に応じて、黒体放射曲線４１上のどこかの位置にプロットされる。すなわち、色温度が低いときには、白被写体部分の色合いパラメータは、黒体放射曲線４１上のＲ／Ｇが大きくＢ／Ｇが小さい部分（低色温度部分）に位置し、色温度が高いときには、黒体放射曲線４１上のＲ／Ｇが小さくＢ／Ｇが大きい部分（高色温度部分）に位置する。
【００５０】
一方、画像の色温度が高いときには、黒体放射曲線４１の低色温度部分やその周辺には淡い赤系の被写体部分の色合いパラメータが位置し、また、画像の色温度が低いときには、黒体放射曲線４１の高色温度部分やその周辺に淡い青系の被写体部分の色合いパラメータが位置する。したがって、従来のように、黒体放射曲線４１の高色温度部分から低色温度部分までを含む領域を白判別領域とすると、淡い赤系または淡い青系の被写体部分が白被写体部分として検出されてしまうことがある。
【００５１】
そこで、本実施の形態では、黒体放射曲線４１上やその周辺に位置する有彩色の被写体部分を白被写体部分であると誤判別しないように、白被写体検出部２９は、代表色合いパラメータ算出部２７にて推定された画像の色温度に応じて、その色温度の周辺領域を白判別基準として設定する。このとき、白被写体検出部２９は、本発明の代表色合いパラメータに基づいて白判別範囲を可変設定する設定手段として機能する。
【００５２】
具体的には、白被写体検出部２９は、代表色合いパラメータ算出部２７から色温度の情報を取得して、その色温度に対応する黒体放射曲線４１上の点をほぼ中心に含むように、所定の大きさの白判別領域ＷＡを設定する。図５には、代表色合いパラメータ算出部２７から得た色温度の情報ＣＴ１〜３に応じて白判別領域ＷＡ１〜３が設定される例が示されている。
【００５３】
ここで、白被写体検出部２９には、図５に示すように、黒体放射曲線４１に沿って黒体放射曲線４１の高色温度部分から低色温度部分までを含む領域４５が記憶されている。そして、白判別領域ＷＡは、この領域４５から色温度の情報ＣＴに対応する黒体放射曲線４１上の点をほぼ中心とした一部分の領域を切り取ることにより設定される。なお、あらかじめ所定の色温度範囲ごとに候補領域を記憶しておき、色温度の情報ＣＴに基づいていずれかの候補領域を選択することにより白判別領域ＷＡを設定してもよい。
【００５４】
次に、上記のように構成されたビデオカメラ１０において、実際に画像に対してホワイトバランス処理を施すときのビデオカメラ１０の動作を説明する。
【００５５】
まず、撮像素子１１は、被写体の動画を撮影することにより、例えば１秒間に３０画像分の映像信号を生成する。撮像素子１１で連続的に生成された映像信号は、ＣＤＳ回路１２、ＡＧＣ回路１３およびＡ／Ｄ変換器１４を経て、画像ごとに順に色分離回路２１に入力される。色分離回路２１は、映像信号をＲ、ＧおよびＢに色分離して、Ｒ値、Ｇ値およびＢ値の各信号を出力する。
【００５６】
これらの各信号のうち、Ｒ値およびＢ値の各信号は、それぞれＲ乗算器２２およびＢ乗算器２３にてホワイトバランス補正値を用いてゲイン調整されるが、本実施例では、このホワイトバランス補正値は５画像につき１回更新される。したがって、本実施の形態のビデオカメラ１０では、色分離回路２１から５画像分の信号が出力されるごとに、１画像分のＲ値、Ｇ値およびＢ値の各信号を用いて、ホワイトバランス補正値を求めるための処理が実行される。
【００５７】
加算器２６は、色分離回路２１から５画像分の信号が出力されるごとに、１画像分のＲ値、Ｇ値およびＢ値の各信号を取得して、Ｒ値、Ｇ値およびＢ値を画素ごとに全ての画素について加算して平均し、Ｒ平均値、Ｇ平均値およびＢ平均値を求める。代表色合いパラメータ算出部２７は、Ｒ平均値、Ｇ平均値およびＢ平均値を用いてその画像の色温度を推定する。そして、白被写体検出部２９は、代表色合いパラメータ算出部２７で推定された色温度に基づいて、その色温度の周辺の領域を白判別領域として設定する。
【００５８】
一方、加算器２８は、加算器２６が色分離回路２１から出力された信号を取得するのと同一のタイミングでＲ値、Ｇ値およびＢ値の各信号を取得して、Ｒブロック平均値、Ｇブロック平均値およびＢブロック平均値を求める。白被写体検出部２９は、各ブロックのＲブロック平均値、Ｇブロック平均値およびＢブロック平均値から各ブロックの色合いパラメータであるＲブロック平均値／Ｇブロック平均値およびＢブロック平均値／Ｇブロック平均値を求める。白被写体検出部２９は、各ブロックの色合いパラメータが、先に設定された白判別領域に含まれるか否かを判断して白判別信号を出力する。
【００５９】
Ｒ色差加算器３０およびＢ色差加算器３１は、それぞれＲ色差演算器２４およびＢ色差演算器２５から出力されたＲ色差値およびＢ色差値の信号を取得して、白被写体検出部２９から出力された白判別信号に従って、色合いパラメータが白判別領域に含まれるブロックの色差値の信号のみを加算して平均し、Ｒ色差平均値およびＢ色差平均値の信号を出力する。Ｒ色差比較器３２およびＢ色差信号比較器３３は、それぞれＲ色差平均値およびＢ色差平均値をＲ基準値およびＢ基準値と比較することによりＲホワイトバランス補正値ｋｒおよびＢホワイトバランス補正値ｋｂを求めて、それぞれＲ値乗算器２２およびＢ値乗算器２３に出力する。
【００６０】
Ｒ値乗算器２２およびＢ値乗算器２３は、それぞれＲホワイトバランス補正値ｋｒおよびＢホワイトバランス補正値ｋｂを取得すると、既に設定されているそれぞれのホワイトバランス補正値を更新する。そして、Ｒ値乗算器２２およびＢ値乗算器２３は、次にホワイトバランス補正値が更新されるまで、すなわち、先に加算器２６および加算器２８に取り込まれた画像の次の５つの画像に対して、この更新されたホワイトバランス補正値を用いてＲ値およびＢ値のゲイン調整を行なう。Ｒ色差演算器２４およびＢ色差演算器２５は、ゲイン調整されたＲ値およびＢ値からＧ値を減算してＲ色差値およびＢ色差値の各信号を生成して出力する。
【００６１】
このように、映像信号中のＲ値およびＢ値の信号のゲイン調整をした上でＲ色差値およびＢ色差値の信号を生成することにより、ホワイトバランスが調整された色差信号を生成することができる。
【００６２】
なお、上記の実施の形態では、撮像素子１１によって撮影された動画に対してホワイトバランス処理を施したが、上記のホワイトバランス処理は１枚の静止画に対して施されてもよい。この場合には、対象となる静止画を用いて上記の処理により白判別基準を設定し、その白判別基準を用いてその静止画の白被写体部分を検出し、ホワイトバランス補正値を求める。そして、そのホワイトバランス補正値を用いてその静止画に対してホワイトバランス処理が施される。
【００６３】
また、上記の実施の形態では、白被写体検出部２９は、１画像を４８ブロックに分割したブロックごとに色合いパラメータを求めたが、画素単位で色合いパラメータＲ値／Ｇ値およびＢ値／Ｇ値を求めて、白被写体部分判別処理を行なってもよいことは勿論である。
【００６４】
さらに、上記の実施の形態では、代表色合いパラメータは、１画像中の全画素のＲ値、Ｇ値およびＢ値の平均値を用いて算出されたが、これに限らず、画像を代表する色合いパラメータであれば他の方法で算出されてもよい。例えば、画像を構成する全画素から適当な間隔で間引きして抽出された画素を用いてＲ値、Ｇ値およびＢ値の平均値が求められ、そのような平均値を用いて代表色合いパラメータが算出されてもよい。このように、全画素の中から抽出された一部の画素のみを用いれば、代表色合いパラメータを求めるための処理負担が軽減され、処理時間も短縮される。
【００６５】
さらに、代表色合いパラメータは、極端に彩度の高い画素を除くＲ値、Ｇ値およびＢ値の平均値を用いて算出されてもよい。色合いパラメータの座標上では、黒体放射曲線から遠ざかるほど彩度が高くなるので、黒体放射曲線から所定距離離れた色合いパラメータを持つ画素を除外することによって、彩度の高い画素を除外して平均値を求めることができる。この場合に、画像処理装置は、黒体放射曲線を含む採用領域を記憶している。そして、色温度推定用の加算器２６は、この採用領域の中に含まれる画素のみを加算してＲ平均値、Ｇ平均値およびＢ平均値を算出する。このとき、採用領域は、図４に示した領域４５よりも十分に広い領域であってよい。このように、極端に彩度の高い画素を除外して代表色合いパラメータを求めれば、代表色合いパラメータは黒体放射曲線に近づき、より正確に白判別基準を設定できる。
【００６６】
なお、上記の実施の形態では、色合いパラメータとしてＲ値／Ｇ値およびＢ値／Ｇ値を用いたが、本発明はこれに限定されない。色合いパラメータは、色の情報のうちの色相および彩度の情報を同時に表すパラメータであれば、他のパラメータでもよい。例えば、Ｒ値／Ｙ値およびＢ値／Ｙ値を色合いパラメータとしてもよい。Ｒ値／Ｙ値およびＢ値／Ｙ値は、色の情報のうちの色相および彩度の情報を同時に表す典型的なパラメータである。ここで、Ｙ値とは、色の情報のうちの輝度の情報を表すパラメータであり、Ｒ値、Ｇ値およびＢ値を重み付け加算して求めることができる値である。画像の色合いを代表するパラメータについても同様に、Ｒ平均値／Ｙ平均値およびＢ平均値／Ｙ平均値を代表色合いパラメータとしてもよい。
【００６７】
さらに、上記の実施の形態では、Ｒ値−Ｇ値およびＢ値−Ｇ値をそれぞれＲ色差値およびＢ色差値として扱ったが、Ｒ値−Ｙ値およびＢ値−Ｙ値など、他の値を色差値としてもよい。
【００６８】
また、上記の実施の形態では、代表色合いパラメータ算出部２７にて代表色合いパラメータに対応する色温度を求め、白被写体検出部２９は、この色温度の情報に応じて白判別基準である白判別領域ＷＡを設定したが、白判別基準の設定はこの方法に限られない。色温度に基づいて白判別基準を可変設定する他の処理が行なわれてもよい。例えば、白被写体検出部２９が代表色合いパラメータから直接白判別基準を設定してもよい。このとき、代表色合いパラメータは、色温度を表す情報として用いられる。
【００６９】
この場合には、画像処理装置では、例えば、代表色合いパラメータのいろいろな値の各々と関連付けてあらかじめ適当な白判別基準が用意され、図示しない記憶手段に記憶されている。代表色合いパラメータ算出部２７は、上記と同様にして代表色合いパラメータを求め、これを白被写体検出部２９に出力する。そして、白被写体検出部２９は、代表色合いパラメータに対応する白判別領域ＷＡを選択する。なお、この例においても、代表パラメータ算出部２７が本発明の演算手段に相当し、白被写体検出部２９が本発明の設定手段に相当する。
【００７０】
このように、代表色パラメータに対応する色温度を求めずに白判別基準を可変設定する例においても、取得された画像自身の色パラメータを用いて画像の色温度を推定した上で白判別基準が設定されており、撮像条件や被写体条件の情報を用いなくても白判別基準を適切に設定することができ、ホワイトバランス処理の精度を向上できる。
【００７１】
また、上記の実施の形態では、色温度推定処理および白被写体部分検出処理を同一の画像を対象として行なったが、両処理の対象が別の画像であってもよい。また、例えば、色温度推定処理を１５画像ごとに行なうとともに、白被写体部分検出処理を５画像ごとに行なうというように、両処理のインターバルが互いに異なっていてもよい。なお、色温度推定処理や白被写体部分検出処理を全ての画像に施してもよいことは勿論である。
【００７２】
また、上記のビデオカメラ１０の一部の機能がソフトウェアにより実現されてもよい。この場合には、ＣＰＵ、ＲＡＭおよびＲＯＭなどを含むコンピュータがプログラムを実行することによりその機能を実現することができる。さらに、上記のビデオカメラ１０は撮像素子１１を含み、被写体を撮影することによりホワイトバランス処理の対象画像を取得したが、ビデオカメラ１０は対象画像を外部から取得してもよい。
【００７３】
上記のビデオカメラ１０によれば、白被写体部分を判別するための白判別基準を、誤判別を防止するように可変に設定した上で白被写体部分を判別するので、白被写体部分の色差平均値をより正確に求めることができる。これにより、より正確なホワイトバランス補正値を求めることができ、ホワイトバランス処理の精度が向上する。
【００７４】
また、上記のビデオカメラ１０では、代表色合いパラメータ算出部２７が画像自身の情報、すなわち画像の色パラメータから画像の色温度を推定して、白被写体部分はその色温度に基づいて白判別基準である白判別領域を設定するので、撮像条件や被写体条件に頼らずに、ホワイトバランス補正値を好適に求めることが出きる。そして、このホワイトバランス補正値を用いて画像にホワイトバランス処理を施すことにより、ホワイトバランス処理の精度を向上できる。
【００７５】
また、上記のビデオカメラ１０では、代表色合いパラメータ算出部２７が画像全体の色合いを一つの色合いパラメータで表す代表色合いパラメータを画像の色温度を表すパラメータとして用いるので、画像の色温度を好適に推定することが出きる。
【００７６】
さらに、画像を構成する全ての画素の色パラメータを用いることで色温度の推定精度が向上する。一方、画像を構成する画素のうちの一部の画素を間引きして抽出された画素のみを用いて色温度を推定することにより、色温度推定のための処理負担が軽減し、処理時間を短縮できる。また、画像の色合いパラメータを表す座表上で、黒体放射曲線から所定距離離れた色合いパラメータ、すなわち、極端に彩度の高い色合いパラメータを除外して色温度を推定することにより、色温度の推定精度がより向上する。
【００７７】
【発明の効果】
以上説明したように、本発明は、画像自身から推定される色温度に基づいて白判別基準を可変設定することにより、ホワイトバランス補正値を好適に求めることができ、これによりホワイトバランス処理の精度を向上できるという優れた効果を有する画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の撮像システムの構成図
【図２】本発明の実施の形態の白判別処理を説明するための図
【図３】本発明の実施の形態の色温度推定処理を説明するための図
【図４】本発明の実施の形態の色温度推定処理を説明するための図
【図５】本発明の実施の形態の白判別基準設定処理を説明するための図
【符号の説明】
１０ 撮像システム
１１ 撮像素子
２２ Ｒ値乗算器
２３ Ｂ値乗算器
２７ 代表色合いパラメータ算出部
２９ 白被写体検出部
４１ 黒体放射曲線
ＷＡ 白判別領域
Claims (10)
- 画像を取得する画像取得手段と、
前記画像取得手段により取得された前記画像から推定される前記画像の色温度に基づいて、前記画像中の白被写体部分を色合いによって判別する基準になる白判別基準を可変に設定する設定手段と、
前記設定手段により設定された白判別基準を用いて、前記画像取得手段により取得された画像にホワイトバランス処理を施すホワイトバランス処理手段と、
を備えたことを特徴とする画像処理装置。 - 前記設定手段は、前記画像取得手段により取得された画像の全体の色合いを一つの色合いパラメータで表す代表色合いパラメータを、前記色温度を表すパラメータとして用いることを特徴とする請求項１に記載の画像処理装置。
- 前記色温度は、前記画像を構成する画素の色パラメータの平均から推定されることを特徴とする請求項１または２に記載の画像処理装置。
- 前記色温度は、前記画像から抽出された複数の画素の色パラメータの平均から推定されることを特徴とする請求項３に記載の画像処理装置。
- 前記色温度は、前記画像の色合いパラメータを表す座標上で、前記座標上の黒体放射曲線から所定距離離れた色合いパラメータをもつ画素を除く複数の画素の色パラメータの平均から推定されることを特徴とする請求項３に記載の画像処理装置。
- 画像を取得する画像取得手段と、
前記画像取得手段により取得された前記画像を代表する色合いパラメータである代表色合いパラメータを求める演算手段と、
前記演算手段によって求められた代表色合いパラメータに基づいて、前記画像中の白被写体部分を色合いによって判別する基準になる白判別基準を可変に設定する設定手段と、
前記設定手段により設定された白判別基準を用いて、前記画像取得手段によって取得された画像にホワイトバランス処理を施すホワイトバランス処理手段と、
を備えたことを特徴とする画像処理装置。 - 請求項１〜６のいずれかに記載の画像処理装置と、
被写体を撮像して前記画像を生成する撮像装置とを備え、
前記画像取得手段は、前記撮像装置により生成された画像を取得し、
前記画像処理装置は、前記撮像装置により生成された画像にホワイトバランス処理を施すことを特徴とする撮像システム。 - 画像を取得する画像取得ステップと、
前記画像取得ステップにて取得された前記画像から推定される前記画像の色温度に基づいて、前記画像中の白被写体部分を色合いによって判別する基準になる白判別基準を可変に設定する設定ステップと、
前記設定ステップにて設定された白判別基準を用いて、前記画像取得ステップにて取得された画像にホワイトバランス処理を施すホワイトバランス処理ステップと、
を含むことを特徴とする画像処理方法。 - 画像を取得する画像取得ステップと、
前記画像取得ステップにて取得された前記画像を代表する色合いパラメータである代表色合いパラメータを求める演算ステップと、
前記演算ステップにて求められた代表色合いパラメータに基づいて、前記画像中の白被写体部分を色合いによって判別する基準になる白判別基準を可変に設定する設定ステップと、
前記設定ステップにて設定された白判別基準を用いて、前記画像取得ステップにて取得された画像にホワイトバランス処理を施すホワイトバランス処理ステップと、
を含むことを特徴とする画像処理方法。 - 請求項８または９に記載の画像処理方法をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003063744A JP2004274482A (ja) | 2003-03-10 | 2003-03-10 | 画像処理装置および撮像システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003063744A JP2004274482A (ja) | 2003-03-10 | 2003-03-10 | 画像処理装置および撮像システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004274482A true JP2004274482A (ja) | 2004-09-30 |
Family
ID=33125247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003063744A Pending JP2004274482A (ja) | 2003-03-10 | 2003-03-10 | 画像処理装置および撮像システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004274482A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007272298A (ja) * | 2006-03-30 | 2007-10-18 | Fujifilm Corp | 顔検出方法およびこれを用いた撮影装置 |
| JP2008005447A (ja) * | 2006-06-26 | 2008-01-10 | Sony Corp | 画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラム |
| JP2008072575A (ja) * | 2006-09-15 | 2008-03-27 | Canon Inc | 画像処理装置、方法、及びコンピュータプログラム |
| KR101324246B1 (ko) | 2008-12-04 | 2013-11-01 | 삼성테크윈 주식회사 | 디지털 영상 처리 장치에서의 화이트 밸런싱 방법 |
-
2003
- 2003-03-10 JP JP2003063744A patent/JP2004274482A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007272298A (ja) * | 2006-03-30 | 2007-10-18 | Fujifilm Corp | 顔検出方法およびこれを用いた撮影装置 |
| JP2008005447A (ja) * | 2006-06-26 | 2008-01-10 | Sony Corp | 画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラム |
| JP2008072575A (ja) * | 2006-09-15 | 2008-03-27 | Canon Inc | 画像処理装置、方法、及びコンピュータプログラム |
| US8466983B2 (en) | 2006-09-15 | 2013-06-18 | Canon Kabushiki Kaisha | Image processing apparatus performing white balance control |
| KR101324246B1 (ko) | 2008-12-04 | 2013-11-01 | 삼성테크윈 주식회사 | 디지털 영상 처리 장치에서의 화이트 밸런싱 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110022469B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US7656437B2 (en) | Image processing apparatus, image processing method, and computer program | |
| EP2076054B1 (en) | White balance control device and white balance control method | |
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| JP4346634B2 (ja) | 目標物検出装置 | |
| US10453188B2 (en) | Methods and devices for improving image quality based on synthesized pixel values | |
| US20150278996A1 (en) | Image processing apparatus, method, and medium for generating color image data | |
| US20050093992A1 (en) | Image processing apparatus, image-taking system, image processing method and image processing program | |
| JP2004088149A (ja) | 撮像システムおよび画像処理プログラム | |
| US8704911B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| EP2227025B1 (en) | Apparatus and method for adjusting white balance of digital image | |
| US8614751B2 (en) | Image processing apparatus and image processing method | |
| CN107533756B (zh) | 图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质 | |
| JP2006324840A (ja) | 画像処理装置及びホワイトバランス調整装置 | |
| US20120113294A1 (en) | Camera device, color calibration method, and program | |
| JP6083974B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US11889202B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| EP3493539B1 (en) | Image processing apparatus, image processing method, and storage medium | |
| KR20060118352A (ko) | 화상 처리 장치, 촬상 장치 및 화상 처리 프로그램 | |
| CN108174173A (zh) | 拍摄方法及装置、计算机可读存储介质和计算机设备 | |
| JP2016076851A (ja) | 撮像装置、画像処理方法、及びプログラム | |
| JP2003309859A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2003333616A (ja) | ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体 | |
| JP2009100302A (ja) | 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法 | |
| JP2004274482A (ja) | 画像処理装置および撮像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070911 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071016 |