JP2004140760A - 撮像装置、ホワイトバランス処理方法、ホワイトバランス制御をコンピュータに実行させるためのプログラム、ホワイトバランス制御をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

Abstract

【課題】肌色の退色を防止するホワイトバランス処理を小さな処理負荷で実現する撮像装置を提供する。
【解決手段】白検出回路１８は、被写体において無彩色もしくは無彩色に近い無彩色領域を検出し、その無彩色領域に対応する画素の色差信号を積分する。コントローラ２０は、白検出回路１８から受ける色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）が肌色を示す所定の範囲にあり、かつ、原色信号Ｒのゲインが予め設定された所定のしきい値以下であるとき、被写体に肌色が存在すると判断する。そして、コントローラ２０は、色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）および被写体に肌色が存在するか否かの判断結果に基づいて、ホワイトバランス回路１２における原色信号Ｒ，Ｂのゲインを算出する。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像装置、ホワイトバランス処理方法、ホワイトバランス制御をコンピュータに実行させるためのプログラム、およびホワイトバランス制御をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体に関し、特に、デジタルビデオカメラやデジタルスチルカメラなどの撮像装置、その撮像装置におけるホワイトバランス処理方法、その撮像装置におけるホワイトバランス制御をコンピュータに実行させるためのプログラム、およびそのホワイトバランス制御をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体に関する。
【０００２】
【従来の技術】
デジタルビデオカメラやデジタルスチルカメラなどのカラー撮像装置においては、被写体の色温度に関係なく白いものを白く映し出すためのホワイトバランス処理が一般的に設けられている。
【０００３】
一般に白検出方式と呼ばれるホワイトバランス処理方法においては、画像中において無彩色に近いと判断される領域の色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を０に近づけるように、色調補正が行なわれる。すなわち、無彩色に近いと判断される領域は、被写体の白領域に相当する部分であるとし、この無彩色に近いと判断される領域の色差が０となるように原色信号のゲインを調整することによって、ホワイトバランスが調整される。なお、ここで「Ｙ」は輝度信号を表わし、光の３原色を示す原色信号Ｒ，Ｇ，Ｂを所定の割合で加え合わせることによって得られる信号である。
【０００４】
図７は、撮像装置における従来のホワイトバランス処理を説明するための図である。
【０００５】
図７を参照して、マトリクス回路１０２は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子において光信号から電気信号に変換された画像データを原色信号Ｒ，Ｇ，Ｂに変換する。ホワイトバランス回路１０４は、コントローラ１１０から原色信号Ｒ，Ｂのゲインを受け、そのゲインを用いて画像データのホワイトバランスを調整する。なお、原色信号Ｇのゲインは固定されている。
【０００６】
マトリクス回路１０６は、ホワイトバランス回路１０４から出力された原色信号Ｒ，Ｇ，Ｂを用いて色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を画素ごとに演算する。白検出回路１０８は、マトリクス回路１０６によって演算された画素ごとの色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）について、後述する図８に示す所定の範囲に含まれる色差信号のみを積分し、その積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）をコントローラ１１０へ出力する。
【０００７】
コントローラ１１０は、白検出回路１０８から受ける色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）に基づいて、それらの値が０に近づくようにホワイトバランス回路１０４における原色信号Ｒ，Ｂのゲインを演算する。そして、コントローラ１１０は、演算したゲインをホワイトバランス回路１０４へ出力する。
【０００８】
図８は、色差信号の積分範囲を説明するための色差平面図である。
図８を参照して、縦軸は色差信号（Ｒ−Ｙ）を示し、横軸は色差信号（Ｂ−Ｙ）を示す。曲線Ｃ１００は、黒体輻射曲線、すなわち無彩色を表わす曲線である。画素ごとに演算された色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）について、この曲線Ｃ１００の近傍を含む、直線で囲まれた領域Ｒ１００に含まれる色差信号のみが白検出回路１０８によって積分される。これによって、被写体の有彩色の部分がカットされ、被写体において白色である可能性が高い領域の色差信号のみを用いてホワイトバランス処理が実行される。
【０００９】
上述したホワイトバランス処理では、色が濃い有彩色の被写体を誤って白色と誤認することはない。しかしながら、被写体に無彩色に近い色、たとえば肌色が存在すると、肌色が白色に色調補正されてしまい、全体として色が退色したようになる。そこで、被写体に無彩色に近い肌色が存在しても、適切なホワイトバランス処理を行なう手法が、特開２００２−２７４９１号公報に記載されている。
【００１０】
特開２００２−２７４９１号公報に記載された手法においては、色差平面における色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）の積分値が０とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータがコントローラにより算出され、白検出回路に設定される。そして、この白検出パラメータが白検出回路に設定された場合に出力される色差信号の積分値に基づいて、コントローラによって原色信号のゲインが演算される。こうすることで、肌色など無彩色に近い有彩色を有する領域があっても、その影響を受けることなく、誤差の少ないホワイトバランス処理を行なうことが可能となっている。
【００１１】
【特許文献１】
特開２００２−２７４９１号公報
【００１２】
【発明が解決しようとする課題】
特開２００２−２７４９１号公報に記載のホワイトバランス処理方法は、誤差の少ないホワイトバランス処理が可能であるが、白検出範囲が３次元（２次元の色差領域に加えて輝度の軸が加わる）に拡張される。したがって、このホワイトバランス処理は、大規模な処理となり、この処理を実現するには、処理回路に相当の高速演算性が要求される。しかしながら、たとえばマイコンなどで構成されるコントローラの処理能力ではそのような高速演算性は得ることは難しく、実際には、白検出回路などの信号処理回路に上述したホワイトバランス機能を搭載するか、あるいは専用の信号処理回路を設けたりする必要がある。
【００１３】
このように、特開２００２−２７４９１号公報に記載されたホワイトバランス機能は、誤差の少ないホワイトバランス処理が可能である一方で、それを実現する回路規模が大きくなり、撮像装置に適用した場合、近年の撮像装置に対する小型化の要求に対応することができないという問題がある。
【００１４】
そこで、この発明は、かかる課題を解決するためになされたものであり、その目的は、肌色の退色を防止するホワイトバランス処理を小さな処理負荷で実現する撮像装置を提供することである。
【００１５】
また、この発明の別の目的は、肌色の退色を防止し、かつ、処理負荷の小さいホワイトバランス処理方法を提供することである。
【００１６】
さらに、この発明の別の目的は、肌色の退色を防止し、かつ、処理負荷の小さいホワイトバランス制御をコンピュータに実行させるためのプログラムを提供することである。
【００１７】
また、さらに、この発明の別の目的は、肌色の退色を防止し、かつ、処理負荷の小さいホワイトバランス制御をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体を提供することである。
【００１８】
【課題を解決するための手段】
この発明によれば、撮像装置は、複数の画素を有するモニタ部に撮影した被写体をカラー表示する撮像装置であって、被写体から受ける光信号を電気信号に変換する撮像素子と、電気信号をデジタルデータに変換する信号変換部と、デジタルデータを受け、ホワイトバランスを調整してモニタ部に表示される映像信号を生成する信号処理部と、被写体において無彩色もしくは無彩色に近い無彩色領域を検出する白検出部と、ホワイトバランスを制御する制御部とを備え、制御部は、白検出部によって検出された無彩色領域に対応する画素の色差値に基づいて被写体に肌色が存在するか否かを判断し、被写体に肌色が存在しないと判断したとき、モニタ部に表示される無彩色領域が白色に近づくようにホワイトバランスを制御し、被写体に肌色が存在すると判断したとき、モニタ部に表示される無彩色領域が肌色に近づくようにホワイトバランスを制御する。
【００１９】
好ましくは、白検出部は、色差平面におけるＩ軸近傍に存在する色差値を有する領域を無彩色領域として検出する。
【００２０】
好ましくは、制御部は、無彩色領域に対応する画素の色差値の積分値が肌色を示す所定の範囲にあるとき、被写体に肌色が存在すると判断する。
【００２１】
好ましくは、制御部は、被写体に肌色が存在しないと判断したとき、積分値が０に近づくようにホワイトバランスを制御し、被写体に肌色が存在すると判断したとき、予め設定された所定の値に積分値が近づくようにホワイトバランスを制御する。
【００２２】
好ましくは、所定の値は、所定の範囲に含まれる色差調整値であり、制御部は、被写体に肌色が存在すると判断したとき、積分値と色差調整値との差分値が０に近づくようにホワイトバランスを制御する。
【００２３】
好ましくは、色差値は、赤色を示す第１の原色信号の値と輝度信号の値との差分である第１の色差値と、青色を示す第２の原色信号の値と輝度信号の値との差分である第２の色差値とを含み、所定の範囲は、第１および第２の色差値がそれぞれ正値および負値であり、かつ、第１および第２の色差値の絶対値がそれぞれ予め設定された第１および第２の設定値よりも小さい範囲からなる。
【００２４】
好ましくは、制御部は、検出された無彩色領域に対応する画素の色差値と、さらに、ホワイトバランスを制御するための制御ゲインとに基づいて被写体に肌色が存在するか否かを判断する。
【００２５】
好ましくは、制御ゲインは、赤色を示す第１の原色信号のゲインであり、制御部は、積分値が所定の範囲にあり、かつ、ゲインが予め設定されたしきい値以下のとき、被写体に肌色が存在すると判断する。
【００２６】
好ましくは、信号処理部は、デジタルデータを３色の原色信号に変換する第１の信号変換回路と、第１の信号変換回路から３色の原色信号を受け、３色の原色信号のうち少なくとも２色の原色信号のゲインを増減してホワイトバランスを調整するホワイトバランス回路と、ホワイトバランスが調整された３色の原色信号をホワイトバランス回路から受け、その受けた３色の原色信号を色差値を示す色差信号と輝度信号とからなる映像信号に変換する第２の信号変換回路とを含む。
【００２７】
好ましくは、白検出部は、第２の信号変換回路から色差信号を受け、色差信号に基づいて無彩色領域を検出し、制御部は、被写体に肌色が存在しないと判断したとき、積分値が０に近づくように少なくとも２色の原色信号のゲインを算出してホワイトバランス回路へ出力し、被写体に肌色が存在すると判断したとき、予め設定された所定の値に積分値が近づくように少なくとも２色の原色信号のゲインを算出してホワイトバランス回路へ出力し、ホワイトバランス回路は、制御部から受けた少なくとも２色の原色信号のゲインを用いてホワイトバランスを調整する。
【００２８】
また、この発明によれば、ホワイトバランス処理方法は、複数の画素を有するモニタ部にカラー画像データを表示する際のホワイトバランス処理方法であって、カラー画像データの色差値を演算する第１のステップと、カラー画像データに基づく画像において無彩色もしくは無彩色に近い無彩色領域を色差値に基づいて検出する第２のステップと、検出された無彩色領域に対応する画素の色差値に基づいて画像に肌色が存在するか否かを判断する第３のステップと、画像に肌色が存在しないと判断されたとき、モニタ部に表示される無彩色領域が白色に近づくようにカラー画像データのホワイトバランスを制御する第４のステップと、画像に肌色が存在すると判断されたとき、モニタ部に表示される無彩色領域が肌色に近づくようにホワイトバランスを制御する第５のステップとを備える。
【００２９】
好ましくは、無彩色領域に対応する画素の色差値の積分値が肌色を示す所定の範囲にあるとき、第３のステップにおいて画像に肌色が存在すると判断される。
【００３０】
好ましくは、検出された無彩色領域に対応する画素の色差値と、さらに、ホワイトバランスを制御するためのカラー画像データの制御ゲインとに基づいて、第３のステップにおいて画像に肌色が存在するか否かが判断される。
【００３１】
好ましくは、制御ゲインは、赤色を示す第１の原色信号のゲインであり、ゲインが予め設定されたしきい値よりも大きいとき、第３のステップにおいて画像に肌色が存在しないと判断される。
【００３２】
また、この発明によれば、複数の画素を有するモニタ部にカラー画像データを表示する際のホワイトバランス制御をコンピュータに実行させるためのプログラムは、カラー画像データに基づく画像において無彩色もしくは無彩色に近い無彩色領域に対応する画素の色差値に基づいて画像に肌色が存在するか否かを判断する第１のステップと、画像に肌色が存在しないと判断されたとき、モニタ部に表示される無彩色領域が白色に近づくようにカラー画像データのホワイトバランスを制御する第２のステップと、画像に肌色が存在すると判断されたとき、モニタ部に表示される無彩色領域が肌色に近づくようにホワイトバランスを制御する第３のステップとをコンピュータに実行させる。
【００３３】
好ましくは、無彩色領域に対応する画素の色差値の積分値が肌色を示す所定の範囲にあるとき、第１のステップにおいて画像に肌色が存在すると判断される。
【００３４】
好ましくは、検出された無彩色領域に対応する画素の色差値と、さらに、ホワイトバランスを制御するためのカラー画像データの制御ゲインとに基づいて、第１のステップにおいて画像に肌色が存在するか否かが判断される。
【００３５】
好ましくは、制御ゲインは、赤色を示す第１の原色信号のゲインであり、ゲインが予め設定されたしきい値よりも大きいとき、第１のステップにおいて画像に肌色が存在しないと判断される。
【００３６】
また、この発明によれば、ホワイトバランス制御をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体は、上述した、複数の画素を有するモニタ部にカラー画像データを表示する際のホワイトバランス制御をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体である。
【００３７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。
【００３８】
図１は、この発明による撮像装置１を機能的に説明するための機能ブロック図である。
【００３９】
図１を参照して、撮像装置１は、被写体から受ける光を集光するレンズ２と、ＣＣＤ４と、ＣＤＳ／ＡＧＣ回路６と、Ａ／Ｄ回路８と、マトリクス回路１０，１４と、ホワイトバランス回路１２と、エンコーダ１６と、白検出回路１８と、コントローラ２０とを備える。
【００４０】
ＣＣＤ４は、撮像素子であって、レンズ２によって集光された光信号を電気信号に変換する。
【００４１】
ＣＤＳ／ＡＧＣ回路６は、入力信号を相関二重サンプリングして入力信号に重畳されるノイズを低減し、さらにゲインを調整して信号のレベル調整を行なう。
【００４２】
Ａ／Ｄ回路８は、画像データをアナログ信号からデジタル信号に変換する。
マトリクス回路１０は、Ａ／Ｄ回路８によってデジタル変換された画像データを原色信号Ｒ，Ｇ，Ｂに変換する。
【００４３】
ホワイトバランス回路１２は、コントローラ２０から原色信号Ｒ，Ｂのゲインを受け、そのゲインを用いて画像データのホワイトバランスを調整する。具体的には、適切なホワイトバランスとなるように調整された原色信号Ｒ，Ｂのゲインをコントローラ２０から受け、そのゲインを原色信号Ｒ，Ｂに乗じて出力する。なお、ホワイトバランス回路１２は、原色信号Ｇについては、所定の固定ゲインを乗じて出力する。
【００４４】
マトリクス回路１４は、下式に基づいて原色信号Ｒ，Ｇ，Ｂを輝度信号Ｙおよび色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）に画素ごとに変換する。
【００４５】
輝度信号Ｙ＝原色信号Ｒ×０．３０＋原色信号Ｇ×０．５９＋原色信号Ｂ×０．１１　…（１）
色差信号（Ｒ−Ｙ）＝原色信号Ｒ×０．７０−原色信号Ｇ×０．５９−原色信号Ｂ×０．１１　…（２）
色差信号（Ｂ−Ｙ）＝−原色信号Ｒ×０．３０−原色信号Ｇ×０．５９＋原色信号Ｂ×０．８９　…（３）
エンコーダ１６は、輝度信号Ｙおよび色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を変調し、ＮＴＳＣ（Ｎａｔｉｏｎａｌ　Ｔｅｌｅｖｉｓｉｏｎ　Ｓｙｓｔｅｍ　Ｃｏｍｍｉｔｔｅｅ）方式の画像信号を出力する。
【００４６】
白検出回路１８は、被写体の白領域を検出するための回路である。白検出回路１８は、被写体において、後述する図２に示す所定の範囲に含まれる色差信号を有する領域を無彩色もしくは無彩色に近い無彩色領域として検出し、その無彩色領域に対応する画素の色差信号を積分する。
【００４７】
コントローラ２０は、白検出回路１８から受ける色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）に基づいて、白検出回路１８によって検出された無彩色領域に肌色が存在するか否かを判断する。そして、コントローラ２０は、肌色が存在すると判断したときは、白検出回路１８から受ける色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）が肌色を示す所定の値に近づくように原色信号Ｒ，Ｂのゲインを算出する。一方、コントローラ２０は、肌色が存在しないと判断したときは、白検出回路１８から受ける色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）が０に近づくように原色信号Ｒ，Ｂのゲインを算出する。
【００４８】
なお、白検出回路１８における色差信号の積分範囲ならびにコントローラ２０の肌色検出方法およびゲイン演算については、後ほど詳しく述べる。
【００４９】
撮像装置１においては、被写体から受ける光がレンズ２によって集光され、被写体の画像データは、ＣＣＤ４、ＣＤＳ／ＡＧＣ回路６およびＡ／Ｄ回路８によって、信号レベルが調整された電気信号のデジタルデータに変換される。マトリクス回路１０は、Ａ／Ｄ回路８から出力される画像データを３色の原色信号Ｒ，Ｇ，Ｂに変換してホワイトバランス回路１２へ出力する。
【００５０】
ホワイトバランス回路１２は、コントローラ２０から受ける原色信号Ｒ，Ｂのゲインをそれぞれ原色信号Ｒ，Ｂに乗じ、また、原色信号Ｇには固定ゲインを乗じて、そのゲイン調整された原色信号Ｒ，Ｇ，Ｂをマトリクス回路１４へ出力する。マトリクス回路１４は、原色信号Ｒ，Ｇ，Ｂを輝度信号Ｙおよび色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）に変換してエンコーダ１６へ出力するとともに、ホワイトバランス調整を行なうために、色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を白検出回路１８へ出力する。
【００５１】
白検出回路１８は、マトリクス回路１４から出力された色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を各画素について受け、無彩色領域を検出し、検出した無彩色領域に対応する画素の色差信号のみを積分してコントローラ２０へ出力する。そして、コントローラ２０は、白検出回路１８から受ける色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）に基づいて、白検出回路１８によって検出された無彩色領域に肌色が存在するか否かを判断し、その判断結果に応じて、上述したように原色信号Ｒ，Ｂのゲインを算出してホワイトバランス回路１２へ出力する。
【００５２】
図２は、白検出回路１８における色差信号の積分範囲を説明するための色差平面図である。
【００５３】
図２を参照して、縦軸は色差信号（Ｒ−Ｙ）を示し、横軸は色差信号（Ｂ−Ｙ）を示す。曲線Ｃ１は、黒体輻射曲線、すなわち無彩色を表わす曲線である。この黒体輻射曲線Ｃ１は、Ｉ軸に近いことが一般に知られている。そこで、白検出回路１８では、この黒体輻射曲線Ｃ１を含む、Ｉ軸に沿った長方形の領域Ｒ１に含まれる色差値を有する領域を無彩色もしくは無彩色に近い無彩色領域として検出し、この領域Ｒ１に含まれる画素の色差信号を積分する。
【００５４】
これによって、被写体の有彩色の部分がカットされ、被写体において白色である可能性が高い領域の色差信号のみを用いてホワイトバランス処理が実行されるとともに、Ｉ軸を用いることによって無彩色領域の検出に要する演算量が削減される。
【００５５】
図３は、被写体の色温度変化に対する原色信号Ｒ，Ｂのゲインの変化を説明する図である。
【００５６】
図３を参照して、縦軸は、固定ゲインである原色信号Ｇのゲインに対する原色信号Ｒのゲインの比Ｒ／Ｇを示し、横軸は、原色信号Ｇのゲインに対する原色信号Ｂのゲインの比Ｂ／Ｇを示す。曲線Ｃ１１は、図２に示した黒体輻射曲線Ｃ１に対応するゲイン曲線である。また、曲線Ｃ１２，Ｃ１３は、曲線Ｃ１１に沿った曲線である。
【００５７】
再び図２を参照して、ある色温度でホワイトバランスが適切に調整されているとき、色差信号はＡ点（すなわち０）にある。いま、被写体の色温度が変化すると、色差信号はＡ点から離れるが、理論的には、色差信号は黒体輻射曲線Ｃ１上に位置する。
【００５８】
そこで、再び図３を参照して、コントローラ２０は、図２の黒体輻射曲線Ｃ１に対応するゲイン曲線Ｃ１１に沿って原色信号Ｒ，Ｂのゲインを調整し、色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）を０または肌色を示す所定の値に収束させる。ゲイン曲線Ｃ１１に沿ってのゲイン調整は、理論上の色温度変化に対するものであるので、実際には、コントローラ２０は、ゲイン曲線Ｃ１１を含む曲線Ｃ１２，Ｃ１３で囲まれる領域でゲインを調整する。なお、このようにゲインの取り得る値を曲線Ｃ１２，Ｃ１３で囲まれる領域に制限したのは、被写体が単一色に偏っている場合の過剰なゲイン調整を防止するためである。
【００５９】
図４，図５は、この発明による撮像装置１におけるホワイトバランス制御を説明するフローチャートである。
【００６０】
図４を参照して、白検出回路１８は、マトリクス回路１４から画素ごとの色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を受信し（ステップＳ１）、図２に示した領域Ｒ１に含まれる色差値を有する画素の色差信号を積分する（ステップＳ２）。そして、白検出回路１８は、色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）をコントローラ２０へ出力する（ステップＳ３）。
【００６１】
コントローラ２０は、積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）を白検出回路１８から受信すると（ステップＳ４）、前回のホワイトバランス処理時に肌色を検出したか否かをチェックする（ステップＳ５）。そして、コントローラ２０は、前回の処理時に肌色が検出されていたと判断すると、ステップＳ６の「前回肌色検出時」処理へ進む。
【００６２】
一方、コントローラ２０は、ステップＳ５において前回の処理時に肌色が検出されていなかったと判断すると、白検出回路１８から受信した色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）について、その値がいずれも０であるか否かをチェックする（ステップＳ７）。積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）がいずれも０であるときは、コントローラ２０は、ホワイトバランスが適切であると判断して、処理を終了する。一方、積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）のいずれかが０でないときは、コントローラ２０は、ステップＳ８以降の肌色検出の処理を実行する。
【００６３】
図６は、色差平面上において肌色と判断される領域を説明するための色差平面図である。
【００６４】
図６を参照して、縦軸は色差信号（Ｒ−Ｙ）を示し、横軸は色差信号（Ｂ−Ｙ）を示す。肌色は、色差平面において代表的な肌色を示すＰ１点付近、すなわちゼロ点から（Ｒ−Ｙ）軸のプラス側、かつ、（Ｂ−Ｙ）軸のマイナス側へ少しずれた色差信号を有する。そこで、コントローラ２０は、色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）が、下式で示される、Ｐ１点を含む領域Ｌ１の内部にあるとき、被写体に肌色が存在すると判断する。
【００６５】
ｍａｘ（Ｒ−Ｙ）×０．０１≦Σ（Ｒ−Ｙ）≦ｍａｘ（Ｒ−Ｙ）×０．１　…（４）
−ｍａｘ（Ｂ−Ｙ）×０．１≦Σ（Ｂ−Ｙ）≦−ｍａｘ（Ｂ−Ｙ）×０．０１…（５）
ここで、ｍａｘ（Ｒ−Ｙ），−ｍａｘ（Ｂ−Ｙ）は、それぞれ色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）の最大値および最小値を表わし、これらの値は、撮像装置１におけるデータ処理システムによって演算されるデータのビット幅に依存する。たとえば、色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）が８ビットで演算されているとすると、ｍａｘ（Ｒ−Ｙ）は１２７、−ｍａｘ（Ｂ−Ｙ）は−１２８である。
【００６６】
再び図４を参照して、コントローラ２０は、積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）のいずれかが０でないとき、色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）が図６に示した領域Ｌ１内にあるか否かを式（４），（５）に基づいてチェックする（ステップＳ８）。コントローラ２０は、積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）が領域Ｌ１内にあると判断したときは、補正色差信号（Ｒ−Ｙ）ｂ，（Ｂ−Ｙ）ｂを下式に基づいて算出する（ステップＳ９）。
【００６７】
（Ｒ−Ｙ）ｂ＝Σ（Ｒ−Ｙ）−（Ｒ−Ｙ）ａ　…（６）
（Ｂ−Ｙ）ｂ＝Σ（Ｂ−Ｙ）＋（Ｂ−Ｙ）ａ　…（７）
ここで、色差調整値（Ｒ−Ｙ）ａ，（Ｂ−Ｙ）ａは、肌色調整値であって、たとえば、下式で表わされる。
【００６８】
（Ｒ−Ｙ）ａ＝ｍａｘ（Ｒ−Ｙ）×０．０５　…（８）
（Ｂ−Ｙ）ａ＝ｍａｘ（Ｂ−Ｙ）×０．０５　…（９）
ただし、この定数“０．０５”は調整可能であって、この値を大きくする程、ホワイトバランス処理によって肌色は濃く映し出される。
【００６９】
そして、コントローラ２０は、ステップＳ９において補正色差信号（Ｒ−Ｙ）ｂ，（Ｂ−Ｙ）ｂを算出すると、その補正色差信号（Ｒ−Ｙ）ｂ，（Ｂ−Ｙ）ｂの値が０に近づくように原色信号Ｒ，Ｂのゲインを算出する（ステップＳ１０）。したがって、このゲインを用いて原色信号Ｒ，Ｂを調整した場合、色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）は、調整値として設定した色差調整値（Ｒ−Ｙ）ａ，（Ｂ−Ｙ）ａに近づいていき、その結果、白検出回路１８が検出した被写体の無彩色領域は、肌色に制御される。
【００７０】
一方、コントローラ２０は、ステップＳ８において積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）が領域Ｌ１内にないと判断したときは、色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）の値が０に近づくように原色信号Ｒ，Ｂのゲインを算出する（ステップＳ１１）。したがって、このときは、白検出回路１８が検出した被写体の無彩色領域は、白色に制御される。
【００７１】
コントローラ２０は、ステップＳ１０またはステップＳ１１において原色信号Ｒ，Ｂのゲインを算出すると、算出したゲインをホワイトバランス回路１２へ出力する（ステップＳ１２）。そして、ホワイトバランス回路１２は、コントローラ２０から原色信号Ｒ，Ｂのゲインを受信すると（ステップＳ１３）、マトリクス回路１０から受ける原色信号Ｒ，Ｂにその受信したゲインを乗じて、マトリクス回路１４へ出力する。
【００７２】
図５を参照して、図４に示したステップＳ６の「前回肌色検出時」の処理が開始されると、コントローラ２０は、上述した式（６），（７）で示される補正色差信号（Ｒ−Ｙ）ｂ，（Ｂ−Ｙ）ｂを算出する（ステップＳ２１）。そして、コントローラ２０は、算出した補正色差信号（Ｒ−Ｙ）ｂ，（Ｂ−Ｙ）ｂについて、その値がいずれも０であるか否かをチェックする（ステップＳ２２）。補正色差信号（Ｒ−Ｙ）ｂ，（Ｂ−Ｙ）ｂがいずれも０であるときは、コントローラ２０は、既に被写体に肌色が存在しており、ホワイトバランスが適切に調整されていると判断して、処理を終了する。
【００７３】
一方、補正色差信号（Ｒ−Ｙ）ｂ，（Ｂ−Ｙ）ｂのいずれかが０でないときは、コントローラ２０は、色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）が図６に示した領域Ｌ１内にあるか否かを式（４），（５）に基づいてチェックする（ステップＳ２３）。コントローラ２０は、積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）が領域Ｌ１外にあると判断したときは、色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）の値が０に近づくように原色信号Ｒ，Ｂのゲインを算出する（ステップＳ２６）。したがって、このときは、白検出回路１８が検出した被写体の無彩色領域は、白色に制御される。
【００７４】
コントローラ２０は、ステップＳ２３において色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）が領域Ｌ１内にあると判断したときは、原色信号Ｒのゲインが予め設定された所定のしきい値よりも大きいか否かをチェックする（ステップＳ２４）。この原色信号Ｒのゲインをチェックする理由は、以下のとおりである。
【００７５】
被写体に肌色が存在していて、ホワイトバランスが適切に調整されている状態では、肌色が存在していない状態よりも原色信号Ｒのゲインが少し大きくなる。この状態においては、補正色差信号（Ｒ−Ｙ）ｂ，（Ｂ−Ｙ）ｂは、いずれも０近辺に制御されているが、この状態から被写体に肌色がなくなると、補正色差信号（Ｒ−Ｙ）ｂは、マイナス方向に変化する。そうすると、コントローラ２０は、その次回処理時、そのマイナス方向への変化を補正しようとして、原色信号Ｒのゲインをさらに大きくする。したがって、原色信号Ｒのゲインが予め設定されたしきい値よりも大きくなったときは、被写体に肌色がなくなったものと判断することができる。
【００７６】
コントローラ２０は、ステップＳ２４において原色信号Ｒのゲインが予め設定された所定のしきい値以下であると判断したときは、被写体に肌色が存在すると判断し、ステップＳ２１において算出した補正色差信号（Ｒ−Ｙ）ｂ，（Ｂ−Ｙ）ｂの値が０に近づくように原色信号Ｒ，Ｂのゲインを算出する（ステップＳ２５）。したがって、このゲインを用いて原色信号Ｒ，Ｂを調整した場合、色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）は、調整値として設定した色差調整値（Ｒ−Ｙ）ａ，（Ｂ−Ｙ）ａに近づいていき、その結果、白検出回路１８が検出した被写体の無彩色領域は、肌色に制御される。
【００７７】
一方、コントローラ２０は、ステップＳ２４において原色信号Ｒのゲインが予め設定された所定のしきい値よりも大きいと判断したときは、上述したように被写体には肌色がないと判断し、色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）の値が０に近づくように原色信号Ｒ，Ｂのゲインを算出する（ステップＳ２６）。したがって、このときは、白検出回路１８が検出した被写体の無彩色領域は、白色に制御される。
【００７８】
このように、色差信号の積分値Σ（Ｒ−Ｙ），Σ（Ｂ−Ｙ）が領域Ｌ１内にあると判断され、かつ、原色信号Ｒのゲインが予め設定された所定のしきい値以下であると判断されたとき、被写体には肌色が存在すると判断され、いずれかの条件のみしか満たされないときは、被写体には肌色は存在しないものと判断される。
【００７９】
コントローラ２０は、ステップＳ２５またはステップＳ２６において原色信号Ｒ，Ｂのゲインを算出すると、算出したゲインをホワイトバランス回路１２へ出力する（ステップＳ２７）。そして、ホワイトバランス回路１２は、コントローラ２０から原色信号Ｒ，Ｂのゲインを受信すると（ステップＳ２８）、マトリクス回路１０から受ける原色信号Ｒ，Ｂに受信したゲインを乗じて、マトリクス回路１４へ出力する。
【００８０】
なお、この撮像装置１においては、ＣＤＳ／ＡＧＣ回路６およびＡ／Ｄ回路８は、「信号変換部」を構成し、マトリクス回路１０，１４およびホワイトバランス回路１２は、「信号処理部」を構成する。マトリクス回路１０，１４は、さらに、それぞれ「信号処理部」の「第１の信号変換回路」および「第２の信号変換回路」を構成する。さらに、白検出回路１８およびコントローラ２０は、それぞれ「白検出部」および「制御部」を構成する。
【００８１】
また、コントローラ２０は、実際にはＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）を備えたマイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）であって、コントローラ２０は、図４，図５に示すフローチャートにおけるコントローラ２０の各ステップを備えるプログラムをＲＯＭから読出し、その読出したプログラムを実行して図４，図５に示すフローチャートに従ってホワイトバランスを制御する。したがって、ＲＯＭは、図４，図５に示すフローチャートにおけるコントローラ２０の各ステップを備えるプログラムを記録したコンピュータ（マイクロプロセッサ）読取可能な記録媒体に相当する。
【００８２】
以上のように、この発明による撮像装置１によれば、簡易に被写体の肌色を検出し、肌色を考慮したゲイン調整を行なうホワイトバランス処理機能を備えるので、肌色の退色を防止することができ、かつ、そのホワイトバランス処理を実現するために装置が大型化することはなく、撮像装置の小型化への要求にも対応することができる。
【００８３】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００８４】
【発明の効果】
この発明によれば、肌色の退色を防止し、かつ、処理負荷の小さいホワイトバランス処理が実現できる。したがって、色再現性に優れ、かつ、コンパクトな撮像装置を実現することができる。
【図面の簡単な説明】
【図１】この発明による撮像装置を機能的に説明するための機能ブロック図である。
【図２】図１に示す白検出回路における色差信号の積分範囲を説明するための色差平面図である。
【図３】被写体の色温度変化に対する原色信号のゲインの変化を説明する図である。
【図４】この発明による撮像装置におけるホワイトバランス制御を説明する第１のフローチャートである。
【図５】この発明による撮像装置におけるホワイトバランス制御を説明する第２のフローチャートである。
【図６】色差平面上において肌色と判断される領域を説明するための色差平面図である。
【図７】撮像装置における従来のホワイトバランス処理を説明するための図である。
【図８】色差信号の積分範囲を説明するための色差平面図である。
【符号の説明】
１　撮像装置、２　レンズ、４　ＣＣＤ、６　ＣＤＳ／ＡＧＣ回路、８　Ａ／Ｄ回路、１０，１４，１０２，１０６　マトリクス回路、１２，１０４　ホワイトバランス回路、１６　エンコーダ、１８，１０８　白検出回路、２０，１１０コントローラ、Ｃ１，Ｃ１００　黒体輻射曲線、Ｒ１，Ｒ１００，Ｌ１　領域。

Claims (19)

1. 複数の画素を有するモニタ部に撮影した被写体をカラー表示する撮像装置であって、
   前記被写体から受ける光信号を電気信号に変換する撮像素子と、
   前記電気信号をデジタルデータに変換する信号変換部と、
   前記デジタルデータを受け、ホワイトバランスを調整して前記モニタ部に表示される映像信号を生成する信号処理部と、
   前記被写体において無彩色もしくは無彩色に近い無彩色領域を検出する白検出部と、
   前記ホワイトバランスを制御する制御部とを備え、
   前記制御部は、前記白検出部によって検出された前記無彩色領域に対応する前記画素の色差値に基づいて前記被写体に肌色が存在するか否かを判断し、前記被写体に肌色が存在しないと判断したとき、前記モニタ部に表示される前記無彩色領域が白色に近づくように前記ホワイトバランスを制御し、前記被写体に肌色が存在すると判断したとき、前記モニタ部に表示される前記無彩色領域が肌色に近づくように前記ホワイトバランスを制御する、撮像装置。
2. 前記白検出部は、色差平面におけるＩ軸近傍に存在する色差値を有する領域を前記無彩色領域として検出する、請求項１に記載の撮像装置。
3. 前記制御部は、前記無彩色領域に対応する画素の色差値の積分値が肌色を示す所定の範囲にあるとき、前記被写体に肌色が存在すると判断する、請求項１または請求項２に記載の撮像装置。
4. 前記制御部は、前記被写体に肌色が存在しないと判断したとき、前記積分値が０に近づくように前記ホワイトバランスを制御し、前記被写体に肌色が存在すると判断したとき、予め設定された所定の値に前記積分値が近づくように前記ホワイトバランスを制御する、請求項３に記載の撮像装置。
5. 前記所定の値は、前記所定の範囲に含まれる色差調整値であり、
   前記制御部は、前記被写体に肌色が存在すると判断したとき、前記積分値と前記色差調整値との差分値が０に近づくように前記ホワイトバランスを制御する、請求項４に記載の撮像装置。
6. 前記色差値は、
   赤色を示す第１の原色信号の値と輝度信号の値との差分である第１の色差値と、
   青色を示す第２の原色信号の値と輝度信号の値との差分である第２の色差値とを含み、
   前記所定の範囲は、前記第１および第２の色差値がそれぞれ正値および負値であり、かつ、前記第１および第２の色差値の絶対値がそれぞれ予め設定された第１および第２の設定値よりも小さい範囲からなる、請求項３から請求項５のいずれか１項に記載の撮像装置。
7. 前記制御部は、前記検出された無彩色領域に対応する画素の色差値と、さらに、前記ホワイトバランスを制御するための制御ゲインとに基づいて前記被写体に肌色が存在するか否かを判断する、請求項３から請求項６のいずれか１項に記載の撮像装置。
8. 前記制御ゲインは、赤色を示す第１の原色信号のゲインであり、
   前記制御部は、前記積分値が前記所定の範囲にあり、かつ、前記ゲインが予め設定されたしきい値以下のとき、前記被写体に肌色が存在すると判断する、請求項７に記載の撮像装置。
9. 前記信号処理部は、
   前記デジタルデータを３色の原色信号に変換する第１の信号変換回路と、
   前記第１の信号変換回路から前記３色の原色信号を受け、前記３色の原色信号のうち少なくとも２色の原色信号のゲインを増減して前記ホワイトバランスを調整するホワイトバランス回路と、
   前記ホワイトバランスが調整された前記３色の原色信号を前記ホワイトバランス回路から受け、その受けた３色の原色信号を前記色差値を示す色差信号と輝度信号とからなる前記映像信号に変換する第２の信号変換回路とを含む、請求項３から請求項８のいずれか１項に記載の撮像装置。
10. 前記白検出部は、前記第２の信号変換回路から前記色差信号を受け、前記色差信号に基づいて前記無彩色領域を検出し、
    前記制御部は、前記被写体に肌色が存在しないと判断したとき、前記積分値が０に近づくように前記少なくとも２色の原色信号のゲインを算出して前記ホワイトバランス回路へ出力し、前記被写体に肌色が存在すると判断したとき、予め設定された所定の値に前記積分値が近づくように前記少なくとも２色の原色信号のゲインを算出して前記ホワイトバランス回路へ出力し、
    前記ホワイトバランス回路は、前記制御部から受けた前記少なくとも２色の原色信号のゲインを用いて前記ホワイトバランスを調整する、請求項９に記載の撮像装置。
11. 複数の画素を有するモニタ部にカラー画像データを表示する際のホワイトバランス処理方法であって、
    前記カラー画像データの色差値を演算する第１のステップと、
    前記カラー画像データに基づく画像において無彩色もしくは無彩色に近い無彩色領域を前記色差値に基づいて検出する第２のステップと、
    前記検出された無彩色領域に対応する前記画素の色差値に基づいて前記画像に肌色が存在するか否かを判断する第３のステップと、
    前記画像に肌色が存在しないと判断されたとき、前記モニタ部に表示される前記無彩色領域が白色に近づくように前記カラー画像データのホワイトバランスを制御する第４のステップと、
    前記画像に肌色が存在すると判断されたとき、前記モニタ部に表示される前記無彩色領域が肌色に近づくように前記ホワイトバランスを制御する第５のステップとを備えるホワイトバランス処理方法。
12. 前記無彩色領域に対応する前記画素の色差値の積分値が肌色を示す所定の範囲にあるとき、前記第３のステップにおいて前記画像に肌色が存在すると判断される、請求項１１に記載のホワイトバランス処理方法。
13. 前記検出された無彩色領域に対応する前記画素の色差値と、さらに、前記ホワイトバランスを制御するための前記カラー画像データの制御ゲインとに基づいて、前記第３のステップにおいて前記画像に肌色が存在するか否かが判断される、請求項１１または請求項１２に記載のホワイトバランス処理方法。
14. 前記制御ゲインは、赤色を示す第１の原色信号のゲインであり、
    前記ゲインが予め設定されたしきい値よりも大きいとき、前記第３のステップにおいて前記画像に肌色が存在しないと判断される、請求項１３に記載のホワイトバランス処理方法。
15. 複数の画素を有するモニタ部にカラー画像データを表示する際のホワイトバランス制御をコンピュータに実行させるためのプログラムであって、
    前記カラー画像データに基づく画像において無彩色もしくは無彩色に近い無彩色領域に対応する前記画素の色差値に基づいて前記画像に肌色が存在するか否かを判断する第１のステップと、
    前記画像に肌色が存在しないと判断されたとき、前記モニタ部に表示される前記無彩色領域が白色に近づくように前記カラー画像データのホワイトバランスを制御する第２のステップと、
    前記画像に肌色が存在すると判断されたとき、前記モニタ部に表示される前記無彩色領域が肌色に近づくように前記ホワイトバランスを制御する第３のステップとをコンピュータに実行させるためのプログラム。
16. 前記無彩色領域に対応する前記画素の色差値の積分値が肌色を示す所定の範囲にあるとき、前記第１のステップにおいて前記画像に肌色が存在すると判断される、請求項１５に記載のコンピュータに実行させるためのプログラム。
17. 前記検出された無彩色領域に対応する前記画素の色差値と、さらに、前記ホワイトバランスを制御するための前記カラー画像データの制御ゲインとに基づいて、前記第１のステップにおいて前記画像に肌色が存在するか否かが判断される、請求項１５または請求項１６に記載のコンピュータに実行させるためのプログラム。
18. 前記制御ゲインは、赤色を示す第１の原色信号のゲインであり、
    前記ゲインが予め設定されたしきい値よりも大きいとき、前記第１のステップにおいて前記画像に肌色が存在しないと判断される、請求項１７に記載のコンピュータに実行させるためのプログラム。
19. 請求項１５から請求項１８のいずれか１項に記載のコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。

Images