JP2005123706A - 画像処理装置 - Google Patents

Abstract

【課題】 色の制限性を良好に維持しつつ、ホワイトバランス処理の誤動作を防止する。
【解決手段】 画像処理装置の信号処理回路がホワイトバランス処理を制御するために実行する処理は、色ゲインの変化量を算出するステップ（Ｓ１０２１）と、Ｒゲインの現在値を取得するステップ（Ｓ１０４）と、変化量に基づきホワイトバランス処理を実行すると判断した場合に(Ｓ１０２２にてＹＥＳ）、色ゲインの補正値を算出するステップ（Ｓ１０８）と、黒体放射特性に基づいて、色ゲイン（Ｒ'ゲイン）の補正値を算出するステップ（Ｓ１１０）と、ＲゲインとＲ'ゲインとの差が所定の範囲に含まれる場合に（Ｓ１１２にてＹＥＳ）、補正値を使用するホワイトバランス処理を実行するステップ（Ｓ１１４）とを含む。
【選択図】 図３

Description

本発明は画像処理装置に関し、特に、ホワイトバランス処理を実行する画像処理装置に関する。

ＣＣＤ（Charge Coupled Device）などの固体撮像素子を含む撮影装置のホワイトバランス処理では、被写体の撮影により得られた、色の信号と輝度信号との差である色差信号（Ｒ−Ｙ、Ｂ−Ｙ信号）を画面全体で平均化した値と、一般被写体の無彩色部分から得られる値と近似した信号が出力される。この色差信号を画面全体で平均化した値はホワイトバランスが合っていれば零であり、被写体の照明が変化すれば色温度の変化に対応して平均値が変化するということに基づいて、この変化量が検出される。ＲゲインおよびＢゲインは、その変化量から、黒体放射特性に基づいて算出される。これらのゲインを利用して、ホワイトバランスを調整することができる。

ところで、撮影画面が緑一色（単一色）であるとき、上記の平均化された色差信号を無彩色にする必要があると判断され、誤った制御信号が出力される場合がある。その結果、緑色の再現性の低下という現象（いわゆる、「色の引き込み」）が発生することになる。

そこで、たとえば特開２０００−７８６０５号公報（特許文献１）は、入力された画像信号にホワイトバランス用ゲインを乗算してホワイトバランス制御を実行するホワイトバランス制御装置を開示する。この装置は、画像を構成する画素ごとに画像信号から輝度信号と色差信号とを算出する信号処理回路と、そのベクトルの方向および長さが色相および彩度を表わすカラーベクトル座標の原点を通過する黒体放射軌跡を、原点を境とした２つの領域に分割し、その分割した領域ごとに求めた近似直線を結合したものである近似線に基づいて、各画素の色差信号から近似線の近傍にある色差信号を選択し、その選択された色差信号を積分した結果と近似線とに基づいてホワイトバランス用ゲインを算出するホワイトバランス制御回路と、各画素の色差信号にホワイトバランス用ゲインを乗算する乗算回路を含む。

このホワイトバランス制御装置によると、乗算回路は、ホワイトバランス用ゲインと色差信号とから、色差信号の補正値を算出する。ホワイトバランス制御は、この補正値に基づいて、補正する色差信号が黒体放射軌跡から乖離しないように実行される。

また、色の「引き込み」を防止する方法として、たとえば、特開平９−３０７９２３号公報（特許文献２）は、「ずれ量」を求める基準となる色差データの積算枠を制御する色信号処理方法を開示する。この方法は、ホワイトバランスをとる範囲を制限する引き込み制限枠を設定するステップと、その引き込み制限枠の大きさを光源の色温度変化に対応して変化させるステップとを含む。

さらに、特開２００１−８２２５号公報（特許文献３）は、無彩色とするためのＲゲインおよびＢゲインを「ずれ量」から直接算出し、それらのゲインが黒体放射曲線に基づいて設定されたゲインの組み合わせであるか否かを判定する技術を開示する。
特開２０００−７８６０５号公報 特開平９−３０７９２３号公報 特開２００１−８２２５号公報

しかしながら、積算枠を制御する方法によると、以下の問題点が生じる。第１に、積算枠を小さくすると、単一色の引き込みを抑制することができるが、適応できる色温度の範囲が狭くなる場合がある。あるいは、ホワイトバランスが崩れた状態で停止するロックと呼ばれる誤動作を引き起こしやすくなり、積算枠を極端に小さくすることはできなくなることがある。

第２に、カラーベクトル上で非対称な形とした場合、ホワイトバランスの収束点が原点よりずれるといった現象を引き起こしやすくなる。そのため、現実には、カラーベクトル上で黒体放射曲線をカバーする対称的な長方形とすることになる。この結果、単一色の引き込みに対しては必ずしも十分な対応とは言えないのが現実である。さらに、色のずれ量は、蛍光灯等のような照明の下では頻繁に変化するため、無彩色となるゲインを直接算出すると、色が変動する場合がある。

本発明は、上述の課題を解決するためになされたものであって、その目的は、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現し、ハードウェアおよびソフトウェアへの負荷を軽減することができる画像処理装置を提供することである。

第１の発明に係る画像処理装置は、ホワイトバランス処理の制御に使用されるデータを記憶するための記憶手段と、撮像素子からの信号に基づいて、第１の色ゲインの現在値および第２の色ゲインの現在値を算出するための現在値算出手段と、記憶手段に予め記憶された設定値と、算出された第１の色ゲインの現在値とに基づいて、第１の色ゲインの補正値を算出するための第１の補正値算出手段と、第１の色ゲインと第２の色ゲインとを関係付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出するための第２の補正値算出手段と、第２の色ゲインの現在値と第２の色ゲインの補正値とに基づいて、第２の色ゲインの補正値に応じたホワイトバランス処理の実行が適切であるか否かを判断するための適切性判断手段と、ホワイトバランス処理の実行が適切であると判断されると、第２の色ゲインの補正値に応じたホワイトバランス処理を実行するための実行手段とを含む。

第１の発明によると、画像処理装置は、予め定められた領域（たとえば、ＩＱ積算枠）に対して、撮像素子からの信号に基づくホワイトバランス処理を制御する。現在値算出手段が、撮像素子からの信号に基づいて、第１の色ゲインの現在値および第２の色ゲインの現在値を算出すると、第１の補正値算出手段は、予め記憶された設定値と、算出された第１の色ゲインの現在値とに基づいて、第１の色ゲインの補正値を算出する。たとえば、その設定値が第１の色ゲインの現在値に加算されると、第１の色ゲインの補正値が算出される。第２の補正値算出手段は、第１の色ゲインと第２の色ゲインとを関係付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する。適切性判断手段は、そのようにして算出された第２の色ゲインの現在値および第２の色ゲインの補正値に基づいて、第２の色ゲインの補正値を使用するホワイトバランス処理の実行が適切であるか否かを判断する。ホワイトバランス処理の実行が適切であると判断されると、実行手段は、第２の色ゲインの補正値を使用するホワイトバランス処理を実行する。このようにすると、第２の色ゲインの補正値が黒体放射特性の関係から逸脱する場合には、ホワイトバランス処理は実行されない。これにより、不必要なホワイトバランス処理の実行による色の再現性の低下を防止することができる画像処理装置を提供することができる。

第２の発明に係る画像処理装置は、第１の発明の構成に加えて、記憶手段は、予め算出された黒体放射特性を表わす特性データを記憶する。第２の補正値算出手段は、特性データおよび第１の色ゲインの補正値から、第２の色ゲインの補正値を算出する。

第２の発明によると、黒体放射特性を表わす特性データを、たとえばマップ形式のデータとして、あるいは関数式として、記憶手段に予め記憶させておくことにより、画像処理装置は、ホワイトバランス処理の制御を実行することができる。

第３の発明に係る画像処理装置は、第１または第２の発明の構成に加えて、適切性判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値との差が予め定められた差を下回る場合には、第２の色ゲインの補正値に応じたホワイトバランス処理の実行は適切であると判断する。適切性判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値との差が予め定められた差を上回る場合には、第２の色ゲインの補正値に応じたホワイトバランス処理の実行は不適切であると判断する。

第３の発明によると、第２の色ゲインの現在値と第２の色ゲインの補正値との差が予め定められた差を下回る場合に、第２の色ゲインの補正値を使用するホワイトバランス処理が実行される。一方、第２の色ゲインの現在値と第２の色ゲインの補正値との差が予め定められた差を上回る場合には、第２の色ゲインの補正値を使用するホワイトバランス処理は実行されない。すなわち、第２の色ゲインの補正値が第１の色ゲインの補正値との黒体放射特性を維持するような場合にのみ、ホワイトバランス処理が実行されるため、画像処理装置は、ホワイトバランス処理の実行時における誤動作の発生を防止しつつ、色を安定して良好に再現することができる。

第４の発明に係る画像処理装置は、第１〜３のいずれかの発明の構成に加えて、撮像素子の各画素について、色の信号と輝度信号との差である色差信号を算出するための信号算出手段と、予め定められた領域であって、ホワイトバランス処理の対象となる領域における各色差信号の平均値を算出するための平均値算出手段と、平均値およびホワイトバランスが整合しているときの色差信号との差である変化量を算出するための変化量算出手段と、変化量に基づいて、ホワイトバランス処理を実行するか否かを判断するための判断手段とを含む。第２の補正値算出手段は、判断手段がホワイトバランス処理を実行すると判断すると、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する。

第４の発明によると、ホワイトバランス処理の対象となる領域における各色差信号の平均値と、ホワイトバランスが整合しているときの色差信号との差である変化量に基づいて、ホワイトバランス処理を実行するか否かが判断される。この判断は、第２の補正値算出手段が第２の色ゲインの補正値を算出する前に行なわれる。このようにすると、ホワイトバランス処理が不要である場合には、第２の色ゲインの補正値の算出等の処理を実行させる必要がなくなるため、ハードウェアあるいはソフトウェアに対する負荷を軽減することができる。

第５の発明に係る画像処理装置は、第４の発明の構成に加えて、判断手段は、変化量が予め定められた範囲内である場合には、ホワイトバランス処理を実行すると判断する。

第５の発明によると、変化量が予め定められた範囲内である場合にのみ、第２の色ゲインの補正値が算出されるため、黒体放射特性から乖離するような場合における第２の色ゲインの補正値および第１の色ゲインの補正値は算出されない。その結果、ホワイトバランス処理も実行されなくなるため、誤動作の発生を防止することができる。

第６の発明に係る画像処理装置は、第４または第５の発明の構成に加えて、さらに、第１の色ゲインの変化量と第２の色ゲインの変化量との比率を算出するための手段と、第１の色ゲインの現在値および黒体放射特性から算出される値と、第１の色ゲインの現在値との基準比率を算出するための手段とを含む。判断手段は、比率および基準比率に基づいて、ホワイトバランス処理を実行すると判断するための比率判断手段を含む。

第６の発明によると、第１の色ゲインの変化量と第２の色ゲインの変化量との比率と、第１の色ゲインの現在値および黒体放射特性から算出される値と、第１の色ゲインの現在値との基準比率とに基づいて、ホワイトバランス処理の実行を制御することができる。これにより、ホワイトバランス処理を実行するか否かを早期に判断することができる。

第７の発明に係る画像処理装置は、第６の発明の構成に加えて、比率判断手段は、比率と基準比率との差に基づいて、ホワイトバランス処理を実行すると判断する。

第７の発明によると、第１の色ゲインの現在値および第２の色ゲインの現在値により、ホワイトバランス処理を実行するか否かを早期に判断することができる。

第８の発明に係る画像処理装置は、第６の発明の構成に加えて、比率判断手段は、比率と基準比率との差が予め定められた範囲に含まれる場合には、ホワイトバランス処理を実行すると判断する。

第８の発明によると、第１の色ゲインの現在値および黒体放射特性から算出される値と、第１の色ゲインの現在値との基準比率と、第１の色ゲインの変化量と第２の色ゲインの変化量との比率との差が予め定められた範囲に含まれる場合にのみ、ホワイトバランス処理を実行させることができる。したがって、黒体放射特性から逸脱するような補正値に基づくホワイトバランス処理が実行されなくなるため、色の再現性の低下を防止しつつ、誤動作を防ぐことができる。

第９の発明に係る画像処理装置は、第４の発明の構成に加えて、記憶手段は、第１の色ゲインの変化量の符号および第２の色ゲインの変化量の符号の組み合わせに応じて予め設定される基準比率をそれぞれ記憶する。画像処理装置はさらに、第１の色ゲインの変化量および第２の色ゲインの変化量に基づいて、第１の色ゲインの変化量の符号および第２の色ゲインの変化量の符号を確認するための符号確認手段と、確認された第１の色ゲインの変化量の符号および第２の色ゲインの変化量の符号に基づいて、基準比率を決定するための決定手段とを含む。判断手段は、比率および基準比率に基づいて、ホワイトバランス処理を実行すると判断するための比率判断手段を含む。

第９の発明によると、符号確認手段が第１の色ゲインの変化量および第２の色ゲインの変化量の符号（すなわち、正負）を確認すると、決定手段は、その符号に応じて予め設定されている基準比率を決定する。比率判断手段は、第１の色ゲインの変化量と第２の色現の変化量との比率と、決定された基準比率とに基づいて、ホワイトバランス処理を実行するか否かを判断する。このようにすると、たとえば、現在の収束点を原点とした場合に、符号を確認することにより、変化の方向（たとえば、色ゲインの変化量の座標平面における象限）を確認することができる。また、基準比率が容易に決定される。したがって、その基準比率に基づいてホワイトバランス処理を実行するか否かを判断することにより、誤動作を簡潔に防止することができる。

第１０の発明に係る画像処理装置は、第９の発明の構成に加えて、記憶手段は、第１の色ゲインの変化量および第２の色ゲインの変化量をそれぞれ記憶する。符号確認手段は、記憶された各第１の色ゲインの変化量および各第２の色ゲインの変化量を表わす符号を読み出すことにより、第１の色ゲインの変化量の符号および第２の色ゲインの変化量の符号を確認する。

第１０の発明によると、第１の色ゲインの変化量および第２の色ゲインの変化量が算出されて記憶手段に記憶されると、符号確認手段は、各第１の色ゲインの変化量および各第２の色ゲインの変化量を表わす符号を読み出して、第１の色ゲインの変化量の符号および第２の色ゲインの変化量の符号を確認する。したがって、画像処理装置は、ホワイトバランス処理を実行するか否かの判断を逐次実行することができるため、撮像素子から入力される信号の変化に応じて、色の再現性を良好に保ちつつ、誤動作の発生を防止することができる。

第１１の発明に係る画像処理装置は、第９または第１０の発明の構成に加えて、比率判断手段は、比率と基準比率との差に基づいて、ホワイトバランス処理を実行すると判断する。

第１１の発明によると、第１の色ゲインの変化量と第２の色ゲインの変化量との比率が、たとえば予め定められた範囲に含まれる場合にのみホワイトバランス処理の実行を可能にすることができるため、その比率が所定の範囲から逸脱する場合におけるホワイトバランス処理は確実に実行されない。これにより、ホワイトバランス処理の誤動作を防止することができる。

第１２の発明に係る画像処理装置は、第１１の発明の構成に加えて、比率判断手段は、比率と基準比率との差が予め定められた範囲に含まれる場合には、ホワイトバランス処理を実行すると判断する。

第１２の発明によると、比率と基準比率との差が予め定められた範囲に含まれる場合には、判断手段は、ホワイトバランス処理を実行すると判断する。このようにすると、ホワイトバランス処理を十国するための条件を最小限にすることができるため、ホワイトバランス処理の誤動作を簡潔に防止することができる。

本発明によると、画像処理装置は、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現し、ハードウェアおよびソフトウェアへの負荷を軽減することができる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。

＜第１の実施の形態＞
図１を参照して、本発明の実施の形態に係る画像処理装置１０００の構成について説明する。図１は、画像処理装置１０００の機能の構成を概念的に表わすブロック図である。

図１に示すように、画像処理装置１０００は、信号入力部１１４０と、信号処理回路１００と、メモリ１１６と、信号出力部１１８０とを含む。信号処理回路１００は、色差信号値算出部１５０と、平均値算出部１５２と、現在値算出部１５４と、変化量算出部１５６と、補正値算出部１５８と、判断部１６０と、ホワイトバランス実行部１６２とを含む。画像処理装置１０００は、固体撮像素子１１２と画像表示装置１２０とに接続される。固体撮像素子１１２には、レンズ１１０からの光が入力される。

信号入力部１１４０には、固体撮像素子１１２からの信号が入力される。この信号は、所定の処理（たとえばデジタル変換）が実行された後、信号処理回路１００に入力される。信号処理回路１００は、入力された信号およびメモリ１１６に記憶されているデータに基づいて所定の処理を実行する。この処理については後述する。信号出力部１１８０は、信号処理回路１００からの信号に所定の処理を行なった後、画像表示装置１２０に出力する。

色差信号算出部１５０は、固体撮像素子１１２の各画素について、色の信号と輝度信号との差である色差信号値を算出する。平均値算出部１５２は、ホワイトバランス処理の対象となる領域における各色差信号値の平均値を算出する。この領域は予め設定された領域である。現在値算出部１５４は、各画素からの信号に基づいて、色ゲイン（たとえば、Ｒゲイン、Ｂゲインなど）の現在値を算出する。変化量算出部１５６は、ホワイトバランスがその領域において整合しているときの色差信号値と平均値との差を変化量として算出する。

補正値算出部１５８は、色ゲインの現在値から補正値を算出する。この算出は、たとえば予め記憶された調整値を色ゲインの現在値に加算することにより行なわれる。また、補正値算出部１５８は、黒体放射特性の関係を有する２つの色ゲインについて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する。

判断部１６０は、色ゲインの現在値あるいは補正値に基づいて、色ゲインの補正値を使用するホワイトバランス処理を実行するか否か、あるいは、ホワイトバランス処理そのものを実行するか否かを判断する。

ホワイトバランス制御部１６２は、色ゲインの補正値あるいは現在値を使用して、ホワイトバランス処理を実行するための色ゲインを算出して出力する。

このように、信号処理回路１００は、上記したように複数の機能を実現するように構成された回路である。すなわち、色差信号算出部１５０と、平均値算出部１５２と、現在値算出部１５４と、変化量算出部１５６と、補正値算出部１５８とは、たとえば、色差データ積算回路１０４により実現される。判断部１０６と、ホワイトバランス実行部１６２とは、ホワイトバランス制御回路１０６により実現される。

そこで、図２を参照して、画像処理装置１０００の具体的構成の一態様について説明する。図２は、画像処理装置１０００の構成を表わすブロック図である。

図２に示すように、画像処理装置１０００は、固体撮像素子１１２に接続されるＡ／Ｄ（Analog to Digital）変換回路１１４と、Ａ／Ｄ変換回路１１４に接続される信号処理回路１００と、信号処理回路１００による処理に使用されるデータあるいは算出されたデータを格納するためのメモリ１１６と、信号処理回路１００に接続される信号出力ＩＦ（Interface）１１８とを含む。信号処理回路１００は、色差データ積算回路１０４とホワイトバランス制御回路１０６とを含む。信号出力ＩＦ１１８は、画像表示装置１２０に接続される。

Ａ／Ｄ変換回路１１４は、図１に示した信号入力部１１４０の一態様である。色差データ積算回路１０４は、図１における色差信号算出部１５０と、平均値算出部１５２と、現在値算出部１５４と、変化量算出部１５６と、補正値算出部１５８とを実現するために構成される回路である。

ホワイトバランス制御回路１０６は、図１におけるホワイトバランス実行部１６２の一態様である。演算回路１０８は、図１における判断部１０６と、ホワイトバランス実行部１６２とを実現するために構成される回路である。

なお、これらの回路構成は、図２に示したものに限られるものではなく、図１に示した機能を実現することができるような構成であればよい。また、図１に示した機能を実現する処理を予めプログラムとして構成して、メモリ１１６に予め記憶しておき、ＣＰＵ（Central Processing Unit）その他の演算処理装置により、一連の動作をコンピュータにおいて実行させるようにしてもよい。

図２において、レンズ１１０にて集光された被写体の像は、１つの固体撮像素子１１２にて電気信号に変換される。その電気信号はＡ／Ｄ変換回路１１４に入力され、アナログ信号からデジタル信号に変換される。このデジタル信号が信号処理回路１００に入力されると、色差データ積算回路１０４が所定の演算処理を実行し、ホワイトバランス制御回路１０６がその演算結果に基づいて、ホワイトバランス処理を実行する。これらの処理については後述する。処理後の信号は、信号出力ＩＦ１１８を介して画像表示装置１２０に出力される。

図３を参照して、本発明の第１の実施形態に係る画像処理装置１０００の制御構造をフローチャートに基づいて説明する。図３は、画像処理装置１０００の信号処理回路１００が実行する処理の手順を表わすフローチャートである。

Ｓ１０２にて、信号処理回路１００は、Ａ/Ｄ変換回路１１４を介して信号を受信する。

Ｓ１０２１にて、信号処理回路１００は、受信した信号に含まれる色の信号（Ｒ，Ｂ）と輝度信号（Ｙ）との差である色差信号（Ｒ−Ｙ，Ｂ−Ｙ）から、ホワイトバランスが整合しているときの色差信号と算出された色差信号との差を変化量として算出する。このようにして、Ｂゲインの変化量とＲゲインの変化量とが算出される。

Ｓ１０２２にて、信号処理回路１００は、色ゲインの変化量の比率を確認することにより、黒体放射特性から大幅に色ずれが生じるような許容範囲を越えるか否かを判断する。たとえば変化量の比率が所定の変化率を下回るか否かの確認が行なわれる。色ゲインの変化量が許容範囲を越えると判断すると（Ｓ１０２２にてＹＥＳ）、処理はＳ１０４に移される。もしそうでないと（Ｓ１０２２にてＮＯ）、処理はＳ１１８に移される。

Ｓ１０４にて、信号処理回路１００は、受信した信号からＲゲインの現在値およびＢゲインの現在値を取得する。

Ｓ１０６にて、信号処理回路１００は、Ｒゲイン、Ｂゲインの現在値を一時的にメモリ１１６の所定の領域（たとえばワークメモリ領域）に保存する。

Ｓ１０８にて、信号処理回路１００は、予め定められた設定値β（色差データの値から算出された調整値β）をＢゲインの現在値に加算することにより、Ｂゲインの補正値を算出する。

Ｓ１１０にて、信号処理回路１００は、黒体放射特性に基づいてＢゲインの補正値からＲゲインの補正値を算出する。この算出では、たとえば黒体放射特性の関係を有するＲゲインとＢゲインとの関数式、マップデータ等が使用される。この関数式、マップデータ等は、メモリ１１６に予め記憶されている。

Ｓ１１２にて、信号処理回路１００は、Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲σの中に含まれるか否かを判断する。Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲σの中に含まれると判断すると（Ｓ１１２にてＹＥＳ）、処理はＳ１１４に移される。もしそうでないと（Ｓ１１２にてＮＯ）、処理はＳ１１６に移される。

Ｓ１１４にて、ホワイトバランス制御回路１０６は、補正値に基づいてホワイトバランス処理を実行する。この処理が実行されると、Ｓ１０８にて算出されたＢゲインの補正値（Ｂ＋β）がＢゲインとして設定される。また、Ｓ１１０にて算出された黒体放射特性に基づく補正値がＲゲインの補正値として設定される。

Ｓ１１６にて、ホワイトバランス制御回路１０６は、色ゲインの現在値に基づいてホワイトバランス処理を実行する。この処理が実行されると、メモリ１１６に記憶されているＢゲインの現在値およびＲゲインの現在値が、それぞれＢゲインおよびＲゲインとして設定される。すなわち、Ｒゲインの補正値およびＢゲインの補正値を使用することなくホワイトバランス処理が実行される。

Ｓ１１８にて、信号処理回路１００は、設定ＢゲインおよびＲゲインの信号を画像表示装置１２０に出力する。

以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理装置１０００の動作について、補正値に基づくホワイトバランス処理を実行する場合と現在値に基づくホワイトバランス処理を実行する場合とについて説明する。

［補正値に基づくホワイトバランス処理を実行する場合］
固体撮像素子１１２により取得された被写体の信号が画像処理装置に入力される（Ｓ１０２）と、色ゲインの変化量が算出される（Ｓ１０２１）。色ゲインの変化量の比率が黒体放射特性から定められる比率の許容範囲を越える場合には（Ｓ１０２２にてＹＥＳ）、Ｒゲインの現在値とＢゲインの現在値とが取得され（Ｓ１０４）、各現在値はメモリ１１６に一時的に記憶される（Ｓ１０６）。

Ｂゲインの補正値がＢゲインの現在値と予め定められた設定値βとから算出され（Ｓ１０８）、Ｒゲインの補正値がＢゲインの補正値および黒体放射特性に基づいて算出される（Ｓ１１０）。

Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲の中に含まれる場合には（Ｓ１１２にてＹＥＳ）、信号処理回路１００は、色ゲインの補正値に基づくホワイトバランス処理の実行が適切であると判断する。信号処理回路１００がＲゲインの補正値およびＢゲインの補正値をＲゲインおよびＢゲインとして設定すると（Ｓ１１４）、画像処理装置１０００は、そのＲゲインおよびＢゲインを画像表示装置１２０に出力する（Ｓ１１８）。

［現在値に基づくホワイトバランス処理を実行する場合］
Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲の中に含まれない場合には（Ｓ１１２にてＮＯ）、信号処理回路１００は、色ゲインの補正値に基づくホワイトバランス処理の実行が不適切であると判断する。信号処理回路１００がＲゲインの現在値およびＢゲインの現在値をＲゲインおよびＢゲインとして設定すると（Ｓ１１６）、画像処理装置１０００は、そのＲゲインおよびＢゲインを画像表示装置１２０に出力する（Ｓ１１８）。

以上のようにして、本実施の形態に係る画像処理装置１０００は、Ｒゲインの補正値とＢゲインの補正値との間に黒体放射特性に基づく関係が認められる場合（すなわち、Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲内である場合）に、補正値に基づくホワイトバランス処理を実行する。また、Ｒゲインの補正値とＢゲインの補正値との間に黒体放射特性に基づく関係が認められない場合には、画像処理装置１０００は、現在値に基づくホワイトバランス処理を実行する。このようにすると、色の再現性の低下を防止することができる。また、色ゲインの変化量が所定の値よりも大きい場合には、画像処理装置１０００はホワイトバランス処理を実行しない。そのため、色の制限性を良好に維持しつつ、色の引き込みなどの誤動作の発生を防止することができる。

＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る画像処理装置１０００について説明する。なお、本実施の形態に係る画像処理装置１０００は、前述の第１の実施の形態に係る画像処理装置１０００と同じハードウェア構成を有する。その作用も同じである。したがって、それらについての説明は繰り返さない。

図４を参照して、本実施の形態に係る画像処理装置１０００の制御構造について説明する。図４は、画像処理装置１０００の信号処理部１００が実行する処理の手順を表わすフローチャートである。なお、図４のフローチャートにおいて、前述の図３に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらの処理も同じである。したがって、それらの説明はここでは繰り返さない。

Ｓ２０１にて、信号処理回路１００は、Ｓ１０２１にて算出した色ゲインの変化量から、Ｂゲイン変化量とＲゲイン変化量との比率を算出する。

Ｓ２０２にて、信号処理回路１００は、Ｂゲインに関して黒体放射曲線から予め設定される比率（ε）と上記求められた変化量の比率との差が予め定められた許容差κの範囲内であるか否かを判断する。その差が許容差κの範囲内であると判断すると（Ｓ２０２にてＹＥＳ）、処理はＳ１０４に移される。もしそうでないと（Ｓ２０２にてＮＯ）、処理はＳ１１８に移される。

以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理装置１０００の動作について説明する。なお、前述の第１の実施の形態の動作と同じ動作の説明は、繰り返さない。

画像処理装置１０００は、固体撮像素子１１２からの信号に基づいて色ゲインの変化量を算出し（Ｓ１０２１）、さらにＲゲインとＢゲインとの比率を算出する（Ｓ２０１）。その比率と予め設定された比率εとの差が許容差κの範囲内である場合には、画像処理装置１０００は、Ｂゲインの補正値およびＲゲインの補正値を算出する（Ｓ１０８、Ｓ１１０）。その後、Ｂゲインの補正値とＲゲインの補正値との差が算出され、Ｂゲインの補正値とＲゲインの補正値との差が所定の範囲内である場合には（Ｓ１１２にてＹＥＳ）、画像処理装置１０００は補正値を使用するホワイトバランス処理を実行する（Ｓ１１４）。

以上のようにして、本実施の形態に係る画像処理装置１０００は、色ゲインの変化量の比率と所定の比率との差が許容差であるか否かを判断する。その差が許容差の範囲内である場合には、画像処理装置１０００はホワイトバランス処理を実行する。このようにすると、色ゲインの比率に基づいてホワイトバランス処理を実行したり中止したりすることができるため、色の再現性の低下を防止しつつ、誤動作を防ぐことができる。

＜第３の実施の形態＞
以下、本発明の第３の実施の形態に係る画像処理装置２０００について説明する。本実施の形態は、画像処理装置２０００の利用者が誤差κあるいはεを任意に設定することができる点で、前述の各実施の形態と異なる。

図５を参照して、画像処理装置２０００の構成について説明する。図５は、画像処理装置２０００の具体的構成の一態様を表わすブロック図である。

図５に示すように、この画像処理装置２０００は画像処理装置１０００の構成に加えて、設定ボタン１３０を含む。この設定ボタン１３０は信号処理回路１００に接続され、入力された設定値はメモリ１１６に記憶される。この設定値には、ホワイトバランス処理を実行するか否かを判断するための基準値が含まれる。

図６を参照して、本実施の形態に係る画像処理装置２０００の制御構造について説明する。図６は、画像処理装置２０００の信号処理回路１００が実行する処理の手順を表わすフローチャートである。なお、図６に示すフローチャートにおいて、前述の各実施の形態のけるフローチャートの処理と同じ処理には、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。

Ｓ３０１にて、画像処理装置２０００の信号処理回路１００は、メモリ１１６から許容誤差κを読み出す。この許容誤差κは、画像処理装置２０００の利用者が、設定ボタン１３０を介して予め任意に設定した値である。

Ｓ２０２にて、信号処理回路１００は、Ｂゲインに関して黒体放射曲線から予め設定される比率（ε）と上記求められた変化量の比率との差が、利用者により設定された許容誤差κの範囲内であるか否かを判断する。その差が許容誤差κの範囲内であると判断すると（Ｓ２０２にてＹＥＳ）、処理はＳ１０４に移される。もしそうでないと（Ｓ２０２にてＮＯ）、処理はＳ１１８に移される。

以上の構造およびフローチャートに基づく、本実施の形態に係る画像処理装置２０００の動作について説明する。なお、前述の各実施の形態における動作と同じ動作は、繰り返さない。

画像処理装置２０００の利用者が、設定ボタン１３０を介してホワイトバランス処理を実行するか否かを制御するための許容誤差κを入力すると、その値はメモリ１１６に記憶される。画像処理装置２０００が固体撮像素子１１２からの信号を受信すると（Ｓ１０２）、信号処理回路１００は、色ゲインの変化量および変化量の比率を算出し（Ｓ１０２１、Ｓ２０１）、さらに、メモリ１１６から許容誤差κを読み出す（Ｓ３０１）。ＢゲインとＲゲインとの比率と所定の比率εとの差が許容誤差κの範囲内である場合には（Ｓ２０２にてＹＥＳ）、画像処理装置２０００は、所定のホワイトバランス処理を実行する（Ｓ１１４またはＳ１１６）。

以上のようにして、本実施の形態に係る画像処理装置２０００は、利用者が予め任意に設定した誤差κ、εに基づいて、ホワイトバランス処理を実行することが適切であるか否かを判断する。したがって、画像処理装置２０００は、利用者の嗜好に対応したホワイトバランス処理を制御することができる。

＜第４の実施の形態＞
以下、本発明の第４の実施の形態に係る画像処理装置について説明する。なお、本実施の形態に係る画像処理装置は、前述の第３の実施の形態に係る画像処理装置２０００と同じハードウェア構成を有する。それらの作用も同じである。したがって、それらの説明は繰り返さない。

図７を参照して、画像処理装置２０００のメモリ１１６が記憶するデータについて説明する。図７は、Ｒゲインの変化量および変化方向（符号）と、Ｂゲインの変化量および変化方向との位置関係を表わす図である。たとえば、変化方向がともに正の場合は、色ゲインは、第１象限にずれたことを意味する。Ｒゲインの変化方向が正でＢゲインの変化方向がマイナスの場合は、色ゲインは第２象限にずれたことを意味する。そのＲゲイン、Ｂゲインの変化方向から黒体放射曲線に沿って、原点に収束するための基準比率εをホワイトバランス処理の判断に適用することができる。

図８を参照して、画像処理装置２０００の制御構造について説明する。図８は、画像処理装置２０００の信号処理回路１００が実行する処理の手順を表わすフローチャートである。なお、図８に示すフローチャートにおいて、前述の各実施の形態におけるフローチャートの処理と同じ処理には、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらの説明は繰り返さない。

Ｓ４０１にて、信号処理回路１００は、メモリ１１６に予め記憶されているデータに基づいて、色ゲインの変化量の符号（「＋」または「−」）を確認する。この確認は、メモリ１１６に記憶されているデータと色ゲインの変化量とを比較して、色ゲインの変化量が存在する領域を特定することにより行なわれる。このようにＲゲインおよびＢゲインの変化量の符号を確認することによって、色のずれがベクトル平面上の象限として確認される。その象限が確認されると、各象限に対応して設定されている比率ψが決定される。

Ｓ２０２にて、信号処理回路１００は、Ｓ２０１にて算出した変化量の比率と各象限ごとに設定されている比率ψとの差がγの範囲内であるか否かを判断する。算出した比率と設定されている比率ψとの差がγの範囲内であると判断すると（Ｓ２０２にてＹＥＳ）、処理はＳ１０４に移される。そうでないと（Ｓ２０２にてＮＯ）、処理はＳ１１８に移される。

以上のような構造およびフローチャートに基づく本実施の形態に係る画像処理装置２０００の動作について説明する。なお、前述の各実施の形態における動作と同じ動作の説明は繰り返さない。

画像処理装置２０００が固体撮像素子１１２からの信号を受信すると（Ｓ１０２）、Ｒゲインの変化量およびＢゲインの変化量を算出して、さらに、それらの変化量の比率を算出する（Ｓ２０１）。画像処理装置２０００はその変化量について符号を確認すると（Ｓ４０１）、その符号に対応する比率と変化量の比率との差が所定の範囲内であるか否かを判断する（Ｓ２０２）。その差が所定の範囲内である場合には、画像処理装置２０００は所定の条件にしたがってホワイトバランス処理を実行する（Ｓ１１４またはＳ１１６）。

以上のようにして、本実施の形態に係る画像処理装置２０００は、信号から算出した色ゲインの変化量と、予め記憶された黒体放射特性に関連付けられた変化量のデータとに基づいて、色ゲインの変化の方向（すなわち正負のいずれかの方向）を確認する。この方向が確認されると、その方向に対応して記憶されている比率が読み出される。画像処理装置２０００は、この比率に基づいて、ホワイトバランス処理を実行するか否かを判断する。このようにすると、色ゲインの変化量が黒体放射特性から乖離している場合にホワイトバランス処理が実行されることを防止することができるため、色再現性の低下あるいは画像処理装置２０００の誤動作を防止することができる。

＜第５の実施の形態＞
以下、本発明の第５の実施の形態に係る画像処理装置２０００について説明する。なお、本実施の形態に係る画像処理装置２０００は、前述の第１の実施の形態と同じハードウェア構成を有する。それらの作用も同じである。したがって、それらについての説明は繰り返さない。

図９を参照して、本実施の形態に係る画像処理装置２０００の制御構造について説明する。図９は、画像処理装置２０００の信号処理回路１００が実行する処理の手順を表わすフローチャートである。なお、図９に示すフローチャートにおいて、前述の各実施の形態に係るフローチャートの処理と同じ処理には、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらの処理の説明は繰り返さない。

Ｓ５０１にて、信号処理回路１００は、画像処理装置２０００の利用者により予め設定された値γをメモリ１１６から読み出す。この値は、画像処理装置２０００が信号処理を実行していない場合でも任意に設定することができる。

Ｓ２０２にて、信号処理回路１００は、Ｒゲインの変化量とＢゲインの変化量との比率と、色ずれのベクトル平面上の象限に基づいて設定される比率ψとの差が設定値γの範囲内であるか否かを判断する。その差が設定値γの範囲内であると判断すると（Ｓ２０２にてＹＥＳ）、処理はＳ１０４に移される。もしそうでないと（Ｓ２０２にてＮＯ）、処理はＳ１１８に移される。

以上のような構造およびフローチャートに基づく本実施の形態に係る画像処理装置２０００の動作について説明する。なお、前述の各実施の形態に係る動作と同じ動作の説明は、繰り返さない。

画像処理装置２０００が固体撮像素子１１２からの信号を受信すると（Ｓ１０２）、信号処理回路１００はＲゲインの変化量およびＢゲインの変化量を算出し、さらに、それらの変化量の比率を算出する（Ｓ２０１）。予め設定された許容範囲γがメモリ１１６から読み出され（Ｓ５０１）、さらに色ゲインの変化量について符号が確認される（Ｓ４０１）。その符号に対応する比率と変化量の比率との差が許容範囲γに含まれる場合には（Ｓ２０２にてＹＥＳ）、画像処理装置２０００は、所定の条件にしたがってホワイトバランス処理を実行する（Ｓ１１４またはＳ１１６）。

以上のようにして、本実施の形態に係る画像処理装置２０００は、信号から算出した色ゲインの変化量と、予め記憶された黒体放射特性に関連付けられた変化量のデータとに基づいて、色ゲインの変化の方向（すなわち正負のいずれかの方向）を確認する。この方向が確認されると、その方向に対応して記憶されている比率が読み出される。画像処理装置２０００は、利用者が任意に設定した許容誤差範囲γとその比率とに基づいて、ホワイトバランス処理を実行するか否かを判断する。このようにすると、利用者の嗜好に対応したホワイトバランス処理を実行することができる。

以上により、詳述した第１〜５の実施の形態に係る各画像処理装置は、固体撮像素子１１２が取得した信号に対して、色を良好に再現し、誤動作を生じることのないホワイトバランス処理を実行することができる。

この場合、色ゲインの補正値は黒体放射特性に基づいて算出されるため、単一色の引き込み等の現象を軽減することができる。また、Ｒゲインの変化量およびＢゲインの変化量から理想の補正値をＩＱ積算枠に基づいて直接算出しないため、ハードウェアの構成による制限を回避することができる。さらに、ＩＱ積算枠を使用する処理に必要なソフトウェアが不要になるため、その分、画像処理方法を実現するためのソフトウェアに対する負荷を軽減することができる。その結果、色を良好に再現し、ホワイトバランス処理の誤動作を抑制できる画像処理装置を提供することができる。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の第１の実施の形態に係る画像処理装置の機能の構成を表わすブロック図である。 本発明の第１の実施の形態に係る画像処理装置の構成を表わすブロック図である。 本発明の第１の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。 本発明の第２の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。 本発明の第３の実施の形態に係る画像処理装置の構成を表わすブロック図である。 本発明の第３の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。 本発明の第４の実施の形態に係る画像処理装置が使用する色ゲインの変化量を説明するための図である。 本発明の第４の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。 本発明の第５の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。

符号の説明

１００ 信号処理回路、１０４ 色差データ積算回路、１０６ ホワイトバランス制御回路、１１０ レンズ、１１２ 固体撮像素子、１１４ Ａ／Ｄ変換回路、１１６ メモリ、１１８ 信号出力ＩＦ、１２０ 映像表示装置、１３０ 設定ボタン、１５０ 色差信号算出部、１５２ 平均値算出部、１５４ 現在値算出部、１５６ 変化量算出部、１５８ 補正値算出部、１６０ 判断部、１６２ ホワイトバランス実行部、１０００，２０００ 画像処理装置。

Claims (12)

1. 撮像素子からの信号に基づいてホワイトバランス処理の実行を制御するための画像処理装置であって、
   前記ホワイトバランス処理の制御に使用されるデータを記憶するための記憶手段と、
   前記撮像素子からの信号に基づいて、第１の色ゲインの現在値および第２の色ゲインの現在値を算出するための現在値算出手段と、
   前記記憶手段に予め記憶された設定値と、算出された前記第１の色ゲインの現在値とに基づいて、前記第１の色ゲインの補正値を算出するための第１の補正値算出手段と、
   前記第１の色ゲインと前記第２の色ゲインとを関係付ける黒体放射特性に基づいて、前記第１の色ゲインの補正値から第２の色ゲインの補正値を算出するための第２の補正値算出手段と、
   前記第２の色ゲインの現在値と前記第２の色ゲインの補正値とに基づいて、前記第２の色ゲインの補正値に応じた前記ホワイトバランス処理の実行が適切であるか否かを判断するための適切性判断手段と、
   前記ホワイトバランス処理の実行が適切であると判断されると、前記第２の色ゲインの補正値に応じた前記ホワイトバランス処理を実行するための実行手段とを含む、画像処理装置。
2. 前記記憶手段は、予め算出された前記黒体放射特性を表わす特性データを記憶し、
   前記第２の補正値算出手段は、前記特性データおよび前記第１の色ゲインの補正値から、前記第２の色ゲインの補正値を算出する、請求項１に記載の画像処理装置。
3. 前記適切性判断手段は、
   前記第２の色ゲインの現在値と前記第２の色ゲインの補正値との差が予め定められた差を下回る場合には、前記第２の色ゲインの補正値に応じた前記ホワイトバランス処理の実行は適切であると判断し、
   前記第２の色ゲインの現在値と前記第２の色ゲインの補正値との差が予め定められた差を上回る場合には、前記第２の色ゲインの補正値に応じた前記ホワイトバランス処理の実行は不適切であると判断する、請求項１または２に記載の画像処理装置。
4. 前記画像処理装置はさらに、
   前記撮像素子の各画素について、色の信号と輝度信号との差である色差信号を算出するための信号算出手段と、
   予め定められた領域であって、前記ホワイトバランス処理の対象となる領域における各前記色差信号の平均値を算出するための平均値算出手段と、
   前記平均値およびホワイトバランスが整合しているときの色差信号との差である変化量を算出するための変化量算出手段と、
   前記変化量に基づいて、前記ホワイトバランス処理を実行するか否かを判断するための判断手段とを含み、
   前記第２の補正値算出手段は、前記判断手段が前記ホワイトバランス処理を実行すると判断すると、前記第１の色ゲインの補正値から第２の色ゲインの補正値を算出する、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記判断手段は、前記変化量が予め定められた範囲内である場合には、前記ホワイトバランス処理を実行すると判断する、請求項４に記載の画像処理装置。
6. 前記画像処理装置はさらに、
   前記第１の色ゲインの変化量と前記第２の色ゲインの変化量との比率を算出するための手段と、
   前記第１の色ゲインの現在値および前記黒体放射特性から算出される値と、前記第１の色ゲインの現在値との基準比率を算出するための手段とを含み、
   前記判断手段は、前記比率および前記基準比率に基づいて、前記ホワイトバランス処理を実行すると判断するための比率判断手段を含む、請求項４または５に記載の画像処理装置。
7. 前記比率判断手段は、前記比率と前記基準比率との差に基づいて、前記ホワイトバランス処理を実行すると判断する、請求項６に記載の画像処理装置。
8. 前記比率判断手段は、前記比率と前記基準比率との差が予め定められた範囲に含まれる場合には、前記ホワイトバランス処理を実行すると判断する、請求項６に記載の画像処理装置。
9. 前記記憶手段は、前記第１の色ゲインの変化量の符号および前記第２の色ゲインの変化量の符号の組合せに応じて予め設定される基準比率をそれぞれ記憶し、
   前記画像処理装置はさらに、
   前記第１の色ゲインの変化量および前記第２の色ゲインの変化量に基づいて、前記第１の色ゲインの変化量の符号および前記第２の色ゲインの変化量の符号を確認するための符号確認手段と、
   確認された前記第１の色ゲインの変化量の符号および前記第２の色ゲインの変化量の符号に基づいて、前記基準比率を決定するための決定手段とを含み、
   前記判断手段は、前記比率および前記基準比率に基づいて、前記ホワイトバランス処理を実行すると判断するための比率判断手段を含む、請求項４に記載の画像処理装置。
10. 前記記憶手段は、前記第１の色ゲインの変化量および前記第２の色ゲインの変化量をそれぞれ記憶し、
    前記符号確認手段は、記憶された各前記第１の色ゲインの変化量および各前記第２の色ゲインの変化量を表わす符号を読み出すことにより、前記第１の色ゲインの変化量の符号および前記第２の色ゲインの変化量の符号を確認する、請求項９に記載の画像処理装置。
11. 前記比率判断手段は、前記比率と前記基準比率との差に基づいて、前記ホワイトバランス処理を実行すると判断する、請求項９または１０に記載の画像処理装置。
12. 前記比率判断手段は、前記比率と前記基準比率との差が予め定められた範囲に含まれる場合には、前記ホワイトバランス処理を実行すると判断する、請求項１１に記載の画像処理装置。

Images