JP2003087817A - ホワイトバランス調整装置、ホワイトバランス調整プログラム、ホワイトバランス調整方法およびディジタルカメラ - Google Patents

Abstract

(57)【要約】 【課題】 画像内に特定色の大きな部位があったり、分
光分布が特定色に偏った光源下での撮像画像であったり
すると、これらの特定色の影響によってホワイトバラン
ス調整が失敗するカラーフェリアが生じてしまう。 【解決手段】 本発明においては第１色空間の座標を第
２色空間の座標に変換し、同変換された第２色空間の座
標を補正することによりホワイトバランスを制御し、上
記補正後の座標を上記第１色空間の座標に変換する。従
って、画像内の特定色や特定色に偏った光源に影響され
ることなくホワイトバランス調整を実施可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ホワイトバランス
調整装置、ホワイトバランス調整プログラム、ホワイト
バランス調整方法およびディジタルカメラに関する。

【０００２】

【従来の技術】人間の目は色順応によって色成分を調整
しており、光源が変化しても白い物体を白と認識するこ
とができる。しかし、ディジタルカメラ等の画像機器に
おいてその撮像素子自体には色順応の機能が存在しない
ため、従来からオートホワイトバランスなどと呼ばれる
技術によって色のバランスを調整している。例えば、カ
ラー画像データがＲ（レッド），Ｇ（グリーン），Ｂ
（ブルー）の３成分から構成されるときに、３成分それ
ぞれの階調値を画像全体で積算し、それぞれの積算比率
がＲ：Ｇ：Ｂ＝１：１：１になるように、各色成分の階
調値に補正をかけている。

【０００３】

【発明が解決しようとする課題】上述した従来のディジ
タルカメラにおいては、被写体の色成分総てを加算する
と無彩色になると言う仮説に基づいて、画像全体の平均
的な色がグレーになるように補正をしているので、画像
内に特定色の大きな部位があったり、分光分布が特定色
に偏った光源下での撮像画像であったりすると、これら
の特定色の影響によってホワイトバランス調整が失敗す
るカラーフェリアが生じてしまう。本発明は、上記課題
にかんがみてなされたもので、画像内の特定色や特定色
に偏った光源に影響されることなくホワイトバランス調
整を実施可能なホワイトバランス調整装置、ホワイトバ
ランス調整プログラム、ホワイトバランス調整方法およ
びディジタルカメラの提供を目的とする。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、請求項１にかかる発明は、所定の第１色空間の座標
にて色が表現された画像のホワイトバランスを調整する
ホワイトバランス調整装置であって、上記第１色空間の
座標を第２色空間の座標に変換する第１色空間変換手段
と、同変換された第２色空間の座標を補正することによ
りホワイトバランスを制御するホワイトバランス制御手
段と、上記補正後の座標を上記第１色空間の座標に変換
する第２色空間変換手段とを具備する構成としてある。

【０００５】上記のように構成した請求項１にかかホワ
イトバランス調整装置においては、所定の第１色空間の
座標にて色が表現された画像のホワイトバランスを調整
するために、第１色空間変換手段とホワイトバランス制
御手段と第２色空間変換手段とを備えており、第１色空
間変換手段にて上記第１色空間の座標を第２色空間の座
標に変換する。ホワイトバランス制御手段においては同
変換された第２色空間の座標を補正することによりホワ
イトバランスを制御し、第２色空間変換手段にて上記補
正後の座標を再度上記第１色空間の座標に変換する。

【０００６】すなわち、第１色空間の座標は変換後の第
２色空間の座標内でホワイトバランスの調整がなされ
る。ホワイトバランスは、上述の従来例のように所定の
色空間内で色成分の平均が無彩色となるように補正する
などして調整されるが、本発明においては色空間を一旦
変換しているので、ホワイトバランスを調整するために
より好ましい空間で色成分の補正を行うことができる。
ここで、第２色空間はホワイトバランスを調整するため
に好ましい空間であれば良く、種々の表色空間を採用可
能である。

【０００７】色空間の座標変換も種々の変換を採用する
ことができ、所定のマトリクス演算による変換であれば
任意の座標について容易に変換を実行可能となる点で好
適であるものの、所定の補間演算等によって色変換を行
う構成など種々のものを採用可能である。ホワイトバラ
ンス制御手段についても種々の構成が採用可能であり、
第２色空間内で所定の色成分の分布比に基づいてホワイ
トバランスを補正するための係数を求め、以後はこの係
数を使用してホワイトバランスを制御するように構成し
ても良いし、任意の座標について逐次第２色空間の座標
に変換してホワイトバランスを制御しても良い。

【０００８】第１色空間としては種々の色空間を採用可
能であるが、その好適な一例として請求項２にかかる発
明では、上記第１色空間はＲＧＢ色空間である構成とし
てある。すなわち、ＲＧＢ色空間は種々の画像機器によ
って採用されている色空間であり、かかるＲＧＢ色空間
を第１色空間として採用することにより本発明を種々の
画像機器に適用可能となる。むろん、ＲＧＢ色空間とし
てはｓＲＧＢ色空間等を採用可能である。

【０００９】ホワイトバランス制御手段は上述のように
種々の構成が採用可能であり、その構成例として請求項
３にかかる発明では、上記ホワイトバランス制御手段
は、第２色空間内の第１色成分を基準とし、当該第１色
成分に対して第２色成分および第３色成分のそれぞれの
値を相対的に変動させる構成としてある。すなわち、ホ
ワイトバランスの制御は、画像が３色の色成分で表現さ
れるときにその中の１色を基準として他の色成分を変動
させているので、カラーバランスを調整することがで
き、この際に全体の平均値が無彩色に近づくように補正
すればホワイトバランスを制御することができる。

【００１０】光源によらずにホワイトバランスを調整可
能にするという意味で好適な構成例として請求項４にか
かる発明では、上記第１色空間変換手段は第１色空間の
座標を所定の演算式により人間の目の錐体感度特性を反
映した第２色空間の座標に変換し、上記第２色空間変換
手段は所定の演算式により上記第１色空間変換手段によ
る変換の逆変換を実行する構成としてある。

【００１１】すなわち、人間の目の錐体感度特性を反映
した第２色空間の座標にて補正を行い、ホワイトバラン
スを調整している。ここで、第２色空間を錐体感度特性
を反映した色空間とすることによって、人間の目に非常
に近いホワイトバランスとすることができ、光源の特性
に影響されずにホワイトバランスを調整可能となって、
カラーフェリアの発生を防止することができる。

【００１２】このように、本発明は通常のホワイトバラ
ンス調整の考え方を使用しつつも、調整を行う色空間を
一旦第２色空間に変更しており、空間を変更してホワイ
トバランスを調整するだけで非常に良好な結果を得るこ
とができる。ここで、錐体感度特性を反映した色空間に
変換するための好適な例としては、Ｐｉｔｔ−Ｊｕｄｄ
の式，Ｅｓｔｅｖｅｚ−Ｈｕｎｔ−Ｐｏｉｎｔｅｒの
式，Ｂｒａｄｆｏｒｄの式などを使用した変換が採用可
能である。

【００１３】さらに、請求項５にかかる発明は、所定の
第１色空間の座標にて色が表現された画像のホワイトバ
ランスを調整するホワイトバランス調整装置であって、
第１色空間の座標を第２色空間の座標に変換し、同変換
された第２色空間の座標を補正することによりホワイト
バランスを制御し、上記補正後の座標を上記第１色空間
の座標に変換する演算操作を上記第１色空間の座標に対
して行ってホワイトバランスを制御する構成としてあ
る。

【００１４】すなわち、上述のように第２色空間内で所
定の色成分の分布比に基づいてホワイトバランスを補正
するための係数を求め、以後はこの係数を使用してホワ
イトバランスを制御するように構成すれば、第１色空間
の座標にて構成される画像についてその全座標に対して
逐次的な演算をする必要が無く好適である。また、ホワ
イトバランスを補正するための係数は第２色空間につい
て求められたものであり、第１色空間の任意座標につい
てのホワイトバランスを制御するためにはこの第１色空
間座標に対して直接的にホワイトバランス制御を行い、
制御後に第１色空間座標を出力するのが好適である。

【００１５】そこで、これらの変換や補正操作を１回の
演算操作にて実行可能に構成すれば逐次演算を防止する
とともに第１色空間座標を入力してホワイトバランス制
御後の第１色空間座標を出力することができる。１回の
演算操作にて実行可能な構成としては、例えば上記第１
色空間変換とホワイトバランス制御と第２色空間変換と
を同時に実行可能なマトリクス演算を実行可能に構成す
れば良い。より具体的には、一旦上記第２色空間内で上
記ホワイトバランスを補正するための係数を求めるとと
もにマトリクスを作成し、当該マトリクスに上記第１色
空間変換を実行するマトリクスを右から乗じ、第２色空
間変換を実行するマトリクスを左から乗じることによっ
て算出されるマトリクスを作成する等の構成が採用可能
である。むろん、この発明において請求項２〜請求項４
に対応させた構成とすることも可能である。

【００１６】ところで、このようなホワイトバランス調
整装置は単独で存在する場合もあるし、ある機器に組み
込まれた状態で利用されることもあるなど、発明の思想
としてはこれに限らず、各種の態様を含むものである。
従って、ソフトウェアであったりハードウェアであった
りするなど、適宜、変更可能である。発明の思想の具現
化例としてホワイトバランス調整装置のソフトウェアと
なる場合に対応させ、請求項６，請求項７にかかる発明
は上記ホワイトバランス調整装置をコンピュータで実施
させる各機能に対応した構成としてある。請求項２〜請
求項４に対応させたプログラムとしても有効であること
は言うまでもない。

【００１７】むろん、そのソフトウェアの記録媒体は、
磁気記録媒体であってもよいし光磁気記録媒体であって
もよいし、今後開発されるいかなる記録媒体においても
全く同様に考えることができる。また、一次複製品、二
次複製品などの複製段階については全く問う余地無く同
等である。その他、上記媒体ではないが供給方法として
通信回線を利用して行なう場合でも本発明が利用されて
いることにはかわりない。さらに、一部がソフトウェア
であって、一部がハードウェアで実現されている場合に
おいても発明の思想において全く異なるものはなく、一
部を記録媒体上に記憶しておいて必要に応じて適宜読み
込まれるような形態のものとしてあってもよい。

【００１８】また、このようなホワイトバランス調整プ
ログラムはかかる制御に従って処理を進めていく上でそ
の根底にはその手順に発明が存在するということは当然
であり、方法としても適用可能であることは容易に理解
できる。このため、請求項８，請求項９にかかる発明
は、上記ホワイトバランス調整装置が実施するホワイト
バランス調整方法に対応した構成としてある。すなわ
ち、必ずしも実体のある装置に限らず、その方法として
も有効であることに相違はない。むろん、上記請求項２
〜請求項４に対応させた方法としても有効である。さら
に、本発明を具体的な装置に適用することも可能であ
り、請求項１０のようにホワイトバランス調整を実行可
能な各手段を搭載したディジタルカメラとしても本発明
を実現可能である。

【００１９】

【発明の効果】以上説明したように請求項１，請求項
６，請求項８にかかる発明においては、ホワイトバラン
ス調整に適した空間で色成分の補正を実行可能なホワイ
トバランス調整装置、ホワイトバランス調整プログラム
およびホワイトバランス調整方法を提供することができ
る。また、請求項２にかかる発明においては、本発明を
種々の画像機器に適用可能となる。

【００２０】さらに、請求項３にかかる発明において
は、第２色空間内でのホワイトバランス制御が容易に実
行可能となる。さらに、請求項４にかかる発明によれ
ば、人間の目に非常に近いホワイトバランスとすること
ができ、光源の特性に影響されずにホワイトバランスを
調整可能となって、カラーフェリアの発生を防止するこ
とができる。さらに、請求項５，請求項７，請求項９，
請求項１０にかかる発明によれば、第１色空間の座標に
て構成される画像についてその全座標に対して逐次的な
演算をする必要が無く、第１色空間座標を入出力としホ
ワイトバランス制御が可能なホワイトバランス調整装
置、ホワイトバランス調整プログラム，ホワイトバラン
ス調整方法およびディジタルカメラを提供することがで
きる。

【００２１】

【発明の実施の形態】ここでは、下記の順序に従って本
発明の実施の形態について説明する。 （１）ディジタルスチルカメラの概略構成： （２）画像処理の概略： （３）ホワイトバランス測定及び制御のための構成： （４）ホワイトバランス測定及び制御処理： （４−１）輝度成分取得処理： （４−２）色成分分布情報取得処理： （４−３）ホワイトバランス制御処理： （４−３−１）光源種別に対応した補正：

【００２２】（１）ディジタルスチルカメラの概略構
成：図１は、本発明のホワイトバランス制御が適用され
るディジタルスチルカメラの概略構成をブロック図によ
り示している。ディジタルスチルカメラ１０は、光学部
２０と、ＣＰＵ３２を核とする制御部３０とから構成さ
れている。光学部２０は、光学レンズ系２１と、オート
フォーカス機構２２と、測距部２３と、オートフォーカ
スコントローラ２４とを備え、オートフォーカスコント
ローラ２４がコントローラ２５からの制御信号に基づい
て測距部２３にて被写体までの距離を測定しつつオート
フォーカス機構２２にて光学レンズ系２１を駆動してピ
ントを合わせる。光学レンズ系２１にて被写体像を結像
するのは撮像素子としてのＣＣＤ２６の撮像面であり、
本ＣＣＤ２６は１８００×１２００画素を有する単板で
構成されている。単板で構成しているため、２×２画素
について、グリーン（Ｇ）、マゼンタ（Ｍ）、イエロー
（Ｙ）、シアン（Ｃ）のカラーフィルタを順次形成して
ある。なお、シャッターについては電子シャッターとと
もにメカニカルシャッターを備えているが、メカニカル
シャッターについては図示を省略している。

【００２３】この他、光学部２０にはストロボ２７も備
えられており、コントローラ２５からの駆動信号に応じ
て所定光量および所定回数の発光を行う。これにより、
赤目防止であるとかスローシンクといった撮影を実現し
ている。なお、ＣＣＤ２６が出力するアナログ量の電気
信号を増幅するオートゲインコントローラ（ＡＧＣ）２
８が備えられ、増幅後のアナログ電気信号をディジタル
値に変換して出力するＡ／Ｄコンバータ２９が備えられ
ている。むろん、以上の光学部２０については、ディジ
タルスチルカメラ１０としての一般的な構成の一例に過
ぎず、各種の変更が可能であることはいうまでもない。
例えば、光学レンズ系２１にはズームレンズを備えるこ
ともできるし、あるいは固定焦点としてオートフォーカ
スの機能を備えない廉価なものであっても良い。

【００２４】また、制御部３０はバス３１を備えてお
り、当該バス３１にＣＰＵ３２とＲＯＭ３３とＲＡＭ３
４と上記Ａ／Ｄコンバータ２９が接続されている。ＣＰ
Ｕ３２はＲＯＭ３３に書き込まれたファームウェアを実
行して光学部２０の制御や画像処理の演算等を実行する
ものであり、その際にＲＡＭ３４は画像データを保存す
る画像エリア３４ａとして機能したり演算処理のための
ワークエリア３４ｂとして機能したりする。ＣＰＵ３２
が光学部２０を制御する際には、コントローラ２５に対
して制御信号を出力し、同コントローラ２５が各構成回
路などに対する適宜制御信号を生成して出力する。

【００２５】制御部３０はマンマシンインターフェイス
としての機能も有しており、操作ボタンなどを配置した
操作パネル３５と、撮影画像や操作指示などを表示する
ＬＣＤパネル３６を備えており、ＣＰＵ３２は操作パネ
ル３５の操作を監視し、適宜、操作を受けつつ対応する
制御を実行する。また、ＬＣＤパネル３６への表示はＲ
ＡＭ３４に割り当てられたビデオＲＡＭエリア３４ｃに
対してＣＰＵ３２が所定のデータを書き込むことによ
り、ＬＣＤパネル３６に備えられたディスプレイコント
ローラが適宜同データを読み込んで表示を行う。そし
て、撮影され、所定の画像処理を経て生成される画像デ
ータはＩ／Ｏ３７ａを介して外部メモリであるフラッシ
ュメモリカード３７ｂに書き込まれ、また、必要に応じ
て同フラッシュメモリカード３７ｂから読み出される。

【００２６】制御部３０の構成もこの種のディジタルス
チルカメラ１０の典型例であって、各種の変更が可能で
ある。例えば、外部メモリの種類については適宜他の種
類のものに置き換えることは容易であるし、さらには着
脱可能なメモリとのインターフェイスを備えなくてもＵ
ＳＢインターフェイスを介してコンピュータに画像デー
タを出力するようにしてもよい。表示部としてのＬＣＤ
パネル３６に付随して他のＬＣＤ表示器を備えてもよい
し、ＣＰＵ３２については制御対象が異なる複数のＣＰ
Ｕを備えても良い。

【００２７】光学部２０で撮像された画像はＣＣＤ２６
からアナログ電気信号として出力された後、ＡＧＣ２８
を経てＡ／Ｄコンバータ２９にてディジタルデータに変
換され、さらにバス３１を介してＲＡＭ３４の画像エリ
ア３４ａに記録される。そして、ＣＰＵ３２が所定の画
像処理を実行することによりＪＰＥＧ画像データに変換
されて上述したフラッシュメモリカード３７ｂに書き込
まれることになる。

【００２８】（２）画像処理の概略：図２は、この画像
処理の主要な流れを示している。細部においては後述す
るような具体的な処理が実行されるものの、概略的には
この流れに従って処理を進めている。まず、この概略に
ついて説明する。ステップＳ１０２では、欠陥画素補間
を実行する。およそ２００万画素を有するＣＣＤ２６に
は欠陥画素は避けられず、所定の基準値以下のものであ
れば良品として供給される。このため、良品の範囲内で
の欠陥画素については同色画素だけを基準とした５×５
画素のメヂアンフィルタを使用して補う。すなわち、欠
陥画素がシアンの画素であるとすると、この欠陥画素の
周囲に位置する５×５のシアン画素の出力値を順番に並
べ、中央値を欠陥画素の値とする。なお、欠陥画素自体
は光学部２０において既に検出されている。

【００２９】次のステップＳ１０４ではホワイトバラン
スの測定を行う。撮影時の光源の種類、およびＣＣＤ２
６とカラーフィルタとの組合せによっては、ホワイトバ
ランスがずれることがあり、本実施形態においては、各
撮影ごとにステップＳ１０４にてホワイトバランスを測
定し、その結果を反映させてずれを少なくするようにス
テップＳ１１０にてホワイトバランスの制御をする。ホ
ワイトバランスを測定するときには間引き処理で選択し
た１１３×７５画素の画像データを利用し、ＲＧＢ表色
系においてＧ成分を基準としたＲ成分の偏りとＢ成分の
偏りを測定する。なお、本ＣＣＤ２６は補色系のカラー
フィルタを備えており、補色系であることを踏まえて制
御をしている。

【００３０】本実施形態では三種類の画像を生成する。
一つ目は確認画像であり、二つ目はサムネール画像であ
り、三つ目は主画像である。確認画像は撮影後速やかに
ＬＣＤパネル３６に表示するための画像であり、７２０
×２４０画素の画像データで構成される。サムネール画
像は主画像とともに画像データとして記録されるもので
あり１６０×１２０画素の画像データで構成される。主
画像は操作者の選択によって三つのサイズを選択可能で
あり、Ｅ−ｍａｉｌ画像という７２０×４８０画素か、
Ｐｒｉｎｔ画像という１８００×１２００画素か、Ｈｙ
ｐｉｃｔ２という高解像度化した２１６０×１４４０画
素かのいずれかである。

【００３１】図２において、ステップＳ１０６〜ステッ
プＳ１１４は破線で囲む表示をしてあり、すくなくとも
これらの処理は生成される三種類の画像ごとに実施され
る。ステップＳ１０６ではデータ補間を実施する。ＣＣ
Ｄ２６は単板で構成され、２００万画素を有しているも
のの全画素のそれぞれで色情報が完結しているわけでは
ない。すなわち、ある画素についてはシアンの情報だ
け、ある画素についてはマゼンタの情報だけ、ある画素
についてはイエローの情報だけ、ある画素についてはグ
リーンの情報だけとなっている。このデータをモザイク
データと呼ぶ。データ補間では各画素に対して不足する
他の色の情報を補うことにより、各画素ごとに色情報を
完結させるための処理である。不足する情報は注目画素
に隣接して取り囲む８画素に含まれる色情報の平均値で
ある。例えば、シアン画素（Ｃ１）の周囲にはイエロー
の画素が二個（Ｙ１，Ｙ２）、マゼンタの画素が二個
（Ｍ１，Ｍ２）、グリーンの画素が四個（Ｇ１〜Ｇ４）
存在する。

【００３２】従って、このシアン画素の色情報（Ｃ，
Ｍ，Ｙ，Ｇ）については、 Ｃ＝Ｃ１ Ｍ＝（Ｍ１＋Ｍ２）／２ Ｙ＝（Ｙ１＋Ｙ２）／２ Ｇ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４ として計算する。

【００３３】ステップＳ１０８では、表色系を変えてＲ
ＧＢ画像データに変換する。変換のための一般式も存在
するが、実際には単純な一般式を利用するのではなく、
チューニングを施したルックアップテーブルを利用した
り行列式を利用したりして変換を行う。ＲＧＢ画像デー
タに変換後、ステップＳ１１０では、上述したようにＲ
ＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少な
くする制御を実行する。次のステップＳ１１２ではトー
ンカーブ補正を行う。トーンカーブ補正はいわゆるγ補
正とも呼ばれ、このときに各成分について１０ビットの
画像データを８ビットの画像データに変換しつつ、さら
に白色側領域と黒色側領域でのノイズの低減や階調性の
保持のためにγカーブ自体についての調整も行ってい
る。トーンカーブ補正自体はルックアップテーブルを利
用しており、予めチューニングして作成した１０ビット
→８ビットのルックアップテーブルを参照して変換す
る。

【００３４】この後、ＪＰＥＧ画像圧縮技術を利用する
ため、ＲＧＢ表色系からＹＵＶ表色系へと色変換する。
なお、輝度とイエローを区別するため、以後において輝
度はＹｍと表示し、また、後述するようにモザイクカラ
ーデータから直接導き出す輝度を単純輝度Ｙｓとして表
示することにする。ＲＧＢ表色系からＹＵＶ表色系への
色変換は一般式あるいは行列式を利用して変換する。な
お、モザイクカラーデータからＹＵＶ表色系への変換の
一般式は、 Ｙｓ＝０．２５×（Ｃ＋Ｍ＋Ｙ＋Ｇ） Ｕ＝Ｃ＋Ｍ−（Ｙ＋Ｇ） Ｖ＝−Ｃ＋Ｍ＋Ｙ−Ｇ となっているが、実際には上述したようなチューニング
やホワイトバランスの制御が実施され、この通りの対応
関係を採用しているわけではない。

【００３５】ステップＳ１１６とステップＳ１１８は主
画像の作成の際にのみ実施される処理である。ノイズ除
去は色成分としてＵＶ成分についてのみいわゆるローパ
スフィルタを適用する演算を行なう。すなわち、色変化
が急峻すぎるものについては押さえ気味に作用する。ま
た、エッジ強調は輝度成分についてのみ当該輝度成分に
基づくエッジ量から非線形関数値（例えばコアリング関
数値）を算出し、同非線形関数値を元の輝度成分に加重
して演算している。従って、隣接する画素間で輝度値が
変化する場合にそのエッジ量を算出し、当該エッジ量の
絶対値が大きければその変化量を大きく輝度値に反映さ
せるし、同絶対値が小さければ元輝度値はほぼ元のまま
の値となる。

【００３６】以上が画像処理の概略であるが、上記手順
は実際の演算処理において複数の処理を同時に行うなど
することにより、演算処理時間の短縮を図ることも行な
う。撮影は上述した三種類の画像ごとに上述した画像処
理を実行し、最終的にはサムネール画像を含んだ主画像
のＪＰＥＧ圧縮画像をフラッシュメモリカード３７ｂに
書き込むことによって完了する。この他にも、本ディジ
タルスチルカメラではフラッシュメモリカード３７ｂか
ら画像データを読み込んでＬＣＤパネル３６に表示した
り、データの削除や各種の設定を実行可能であるが、こ
れについては一般的な技術を適用可能であるので説明を
省略する。

【００３７】（３）ホワイトバランス測定及び制御のた
めの構成：以下、上記画像処理のステップＳ１０４にお
けるホワイトバランスの測定と当該測定結果を反映した
ホワイトバランス制御について詳細に説明する。図３
は、上記図１に示す構成にて実現されるホワイトバラン
スの測定系及び制御系を示すブロック図である。同図に
おける輝度成分取得モジュール３３ａと色成分分布情報
取得モジュール３３ｂとホワイトバランス制御モジュー
ル３３ｃとはＲＯＭ３３に予め記録されたプログラムモ
ジュールを上記ＣＰＵ３２が適宜読み出すことにより実
行される。

【００３８】ホワイトバランス制御モジュール３３ｃは
さらにマトリクス演算部３３ｅを備えており、同マトリ
クス演算部３３ｅは第１色空間変換部３３ｅ１とホワイ
トバランス制御部３３ｅ２と第２色空間変換部３３ｅ３
とを備えている。また、各モジュールは上記ＲＡＭ３４
の画像エリア３４ａおよびワークエリア３４ｂに記録さ
れたデータを適宜使用し、必要に応じて中間データを書
き込んでホワイトバランスを制御するためのマトリクス
を決定する。ホワイトバランスの制御は画像データにこ
のマトリクスを乗じることによって実現される。

【００３９】輝度成分取得モジュール３３ａは、画像エ
リア３４ａに記録されたＣＣＤのＲａｗデータを取得し
て輝度成分を取得する。ここで、輝度成分取得モジュー
ル３３ａは、演算量を低下させるための間引き処理やＧ
ＭＹＣのＲａｗデータをＲＧＢＹｓデータに変換する処
理、ヒストグラム処理と同ヒストグラムの帯域分割処理
を行っており、それぞれの処理にて生成され、適宜使用
される間引き済データ３４ｂ１，ＲＧＢＹｓデータ３４
ｂ２，ヒストグラムデータ３４ｂ３，帯域データ３４ｂ
４は上記ＲＡＭ３４のワークエリア３４ｂに記録され
る。それぞれの処理は後に詳述する。尚、原色系のフィ
ルタを搭載したディジタルスチルカメラであればＧＭＹ
ＣデータからＲＧＢデータへの変換は不要であるが、Ｃ
ＣＤのＲＧＢデータをｓＲＧＢデータの特性に近似させ
るような補正処理が必要である。

【００４０】色成分分布情報取得モジュール３３ｂは、
上記分割された帯域であってホワイトバランスを調整す
るための指標として好適な帯域内の色成分分布情報とし
てＲＧＢ色成分の積分データ３４ｂ５とその比である分
布比データ３４ｂ６を取得する。ホワイトバランス制御
モジュール３３ｃは得られた分布比データ３４ｂ６か
ら、ホワイトバランス調整に使用するための係数であっ
てＧ成分に対してＲ成分を相対的に補正するための補正
係数Ｒ’_ｃ，およびＧ成分に対してＢ成分を相対的に補
正するための補正係数Ｂ’_ｃ（３４ｂ７）を求める。そ
して、この補正係数を生理的三原色による表色空間での
係数に変換するとともに当該表色空間内で補正を施して
補正係数Ｒ_ｃ，Ｂ_ｃを算出し、当該補正係数に基づいて
最終的なホワイトバランス制御マトリクス３４ｂ９を算
出する。

【００４１】尚、上記ＲＯＭ３３には上記Ｅｓｔｅｖｅ
ｚ−Ｈｕｎｔ−Ｐｏｉｎｔｅｒの式に基づいて、ｓＲＧ
Ｂ座標系のＲＧＢ色成分を生理的三原色のＲＧＢ色成分
に変換する変換マトリクスＡ（３３ｄ１）と当該変換の
逆変換を実施する逆変換マトリクスＡ^−１（３３ｄ２）
が記録されており、上記ホワイトバランス制御モジュー
ル３３ｃにて使用される。以上のようにして作成された
上記ホワイトバランス制御マトリクス３４ｂ９と上記画
像エリア３４ａ内のＣＣＤＲａｗデータをＲＧＢ色成分
に変換したものとを乗じると、当該画像のホワイトバラ
ンスが制御されたＲＧＢ色成分データを得ることができ
る。

【００４２】本実施形態においてはこのようにホワイト
バランス制御マトリクス３４ｂ９によってホワイトバラ
ンスを制御しており、実際に記憶されるマトリクスは３
×３のマトリクスであるが、このマトリクスは後述する
演算によって求められた補正係数Ｒ_ｃ，Ｂ_ｃと上記変換
マトリクスＡと逆変換マトリクスＡ^−１とを乗じて得ら
れるものであり、このマトリクスによる演算が上記第１
色空間変換手段とホワイトバランス制御手段と第２色空
間変換手段とを一度に実現していると言える。

【００４３】尚、本実施形態においてはホワイトバラン
スの補正係数を２段階で求めている。すなわち、第１段
階として一旦補正係数Ｒ’_ｃ，Ｂ’_ｃを求めた後、さら
に第２段階として補正係数Ｒ_ｃ，Ｂ_ｃを求めている。こ
のようにして補正係数を２段階で求めていることによっ
て、画像内の大きな単色部位に影響を受けてホワイトバ
ランス制御が失敗したり、特定の光源であるときにホワ
イトバランス制御が失敗するような、カラーフェリア等
を確実に防止することができるが、上記段階のそれぞれ
は単独で実施されてもホワイトバランス制御として機能
させることができる。

【００４４】また、別手法のホワイトバランス制御に対
してそれぞれの段階を付加してホワイトバランスを制御
する構成としても良い。例えば、第１段階で算出された
補正係数Ｒ’_ｃ，Ｂ’_ｃを使用してホワイトバランス制
御マトリクス３４ｂ８を算出するような構成であっても
ホワイトバランス調整装置として機能する。本発明にか
かるホワイトバランス制御は主に第２段階についてのも
のである。

【００４５】（４）ホワイトバランス測定及び制御処
理：以下、上記構成においてホワイトバランスの測定及
び制御のために実施される処理を詳細に説明する。図
４，図５はホワイトバランス測定及び制御を示すフロー
チャートである。図４は上記第１段階に該当し、図５は
第２段階及び最終的なホワイトバランス制御マトリクス
３４ｂ９を算出する段階に相当する。また、図４のステ
ップＳ２００〜Ｓ２２０が上記輝度成分取得モジュール
３３ａの処理に該当し、図４のステップＳ２２５〜Ｓ２
５０が上記色成分分布情報取得モジュール３３ｂの処理
に該当し、図４，図５のステップＳ２５０〜ステップＳ
２７５およびステップＳ１１０が上記ホワイトバランス
制御モジュール３３ｃの処理に該当する。ここでは、各
モジュール毎の処理に分けつつ一連の処理を説明する。

【００４６】（４−１）輝度成分取得処理：輝度成分取
得モジュール３３ａがステップＳ２００にて上記画像エ
リア３４ａ内のＣＣＤＲａｗデータを取得すると、ステ
ップＳ２０５においては当該ＣＣＤＲａｗデータに対し
て間引き処理を実施する。すなわち、ＣＣＤＲａｗデー
タは上述のように１８００×１２００画素を有するデー
タであり、全画素について以後の処理を実行すると非常
に時間がかかり、また、ＲＡＭ３４に必要とされる空き
記憶容量も非常に大きなものとなることから、以下のよ
うにして画素を間引いている。

【００４７】図６は、この間引き処理を説明するための
説明図である。同図右側の四角はＣＣＤＲａｗデータの
模式図であり、１８００×１２００画素のＧＭＹＣモザ
イクデータである。本実施形態においては、このモザイ
クデータの１／１６の大きさの画像データを使用するこ
とにしており、まず、図におけるモザイクデータ左上の
１６×１６画素群（Ｇｒ１）を取得する。画素群Ｇｒ１
内にはＧＭＹＣの各色成分データが６４個ずつ含まれて
おり、各色成分毎に６４個のデータの階調値平均を取
る。そして、これらの平均を一画素分の色成分データ｜
Ｇ｜_１，｜Ｍ｜_１，｜Ｙ｜_１，｜Ｃ｜_１とする。

【００４８】以降は同様にして逐次上記ＣＣＤＲａｗデ
ータから１６×１６画素の画素群を取得して平均化する
処理を行う。この結果、上記ＣＣＤＲａｗデータは１／
１６の大きさすなわち１１３×７５画素の階調値データ
となる。この階調値データは間引き済データ３４ｂ１と
して上記ワークエリア３４ｂに記憶される。むろん、こ
の間引き処理においてその圧縮率１／１６は必須の値で
はなく、上記ＲＡＭ３４や処理負担等に応じて適宜変更
することが可能である。また、上述のように平均化する
とＣＣＤＲａｗデータの総ての情報を加味することがで
きて好適であるものの、ＣＣＤＲａｗデータの縦横１６
画素につき各色１画素残すように間引くなど、他にも種
々の手法を採用可能である。

【００４９】本実施形態においては、ＲＧＢ空間でホワ
イトバランスの調整を考えており、上記ステップＳ２０
５にて間引き処理を行った後の間引き済データ３４ｂ１
はステップＳ２１０にてＲＧＢ成分および単純輝度Ｙｓ
に変換される。ＧＭＹＣ成分からＲＧＢ成分への変換
は、上記ステップＳ１０８における変換式と同様の変換
式を使用しており、この変換式では上述のようにチュー
ニングが施されていることにより、高精度に色変換を行
うことができる。図７は、ステップＳ２１０における変
換後の画素データ（ＲＧＢＹｓデータ３４ｂ２）を示し
ている。変換後の画素データは、同図に示すように１１
３×７５画素であるとともに各画素についてＲＧＢＹｓ
の４成分の階調値データから構成されている。

【００５０】輝度成分取得モジュール３３ａはこの時点
で画素の輝度成分を取得しているが、本実施形態では後
の処理のため、ステップＳ２１５において各画素の単純
輝度Ｙｓを各階調値についてヒストグラム化してヒスト
グラムデータ３４ｂ３を生成する。図８は、このヒスト
グラムの一例を示すグラフである。同図においては、階
調値ピッチが細かいため連続的な曲線として示している
が、実際のヒストグラムは離散的な値である。尚、以下
のヒストグラムのグラフでも同様に曲線として示してい
るが実際は離散的な値である。

【００５１】ステップＳ２１５にてヒストグラムを作成
すると、ステップＳ２２０にて当該ヒストグラムを１０
個の輝度帯域に分割する。図９は、同ステップＳ２２０
における帯域分割の様子を説明する説明図である。同図
上部の表は帯域を決定していく作業を示しており、下部
のグラフは帯域が分割されたヒストグラムを示してい
る。帯域を分割する際には、上部の表に示すように単純
輝度Ｙｓの階調値が「０」のものからヒストグラムを積
算し、積算値が８４７（約１１３×７５／１０）を超え
た段階で次の帯域に移って積算を繰り返す。

【００５２】このような積算を１０個の帯域について繰
り返すと、各帯域に属する画素数がほぼ等しくなる。す
なわち、図９のグラフに示す各帯域の面積はほぼ等し
い。帯域分割された後のデータは、いずれの画素がいず
れの帯域に属するか判別可能な帯域データ３４ｂ４とし
て上記ワークエリア３４ｂに記憶される。ここで、ヒス
トグラムは離散的な値であるため、各帯域に属する画素
数が厳密に等しくなるとは限らないが、後述の色成分分
布情報取得モジュール３３ｂによって分布比の算出プロ
セスが存在するので画素数の厳密性は問題とならない。
積算値が上記８４７を超えた段階で、その階調値の画素
については一方の帯域のみに含まれるとしても良いし双
方に含まれるとしても良い。また、この帯域分割におい
ては、後にホワイトバランス調整のために使用して好適
な輝度帯域を特定することができればよく、分割数が１
０個であることが必須ではないし、分割の手法は上述の
ものに限られない。

【００５３】（４−２）色成分分布情報取得処理：色成
分分布情報取得モジュール３３ｂは、上記帯域データ３
４ｂ４に基づいてホワイトバランス制御に好ましい帯域
から色分布情報を取得する。このために、まずステップ
Ｓ２２５にて上記分割された帯域毎に同一帯域内に属す
る画素のＲＧＢ成分をそれぞれ積分し、ＲＧＢ積分デー
タ３４ｂ５として上記ワークエリア３４ｂに記憶する。
ステップＳ２３０では、分布比として各帯域毎に「Ｇ成
分の積分値／Ｒ成分の積分値」と「Ｇ成分の積分値／Ｂ
成分の積分値」とを求め、分布比データ３４ｂ６として
上記ワークエリア３４ｂに記憶する。図１０は積分値と
分布比とを算出する様子を説明する説明図である。上記
帯域データ３４ｂ４ではいずれの画素がいずれの帯域に
属するか判別可能であるため、同図に示すように各帯域
に属する画素のＲＧＢ成分を容易に知ることができる。

【００５４】このＲＧＢ成分値から、積分値は以下の式
（１）にて算出し、

【数１】 分布比は以下の式（２）にて算出する。

【数２】 ここで、Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊは各色成分毎の階調値
であり、「ｉ」は帯域の番号に該当し「ｊ」は画素を区
別するための便宜的な番号である。また、Ｉｒｉ，Ｉｇ
ｉ，Ｉｂｉは各帯域毎、各成分毎の積分値であり、Ｒｉ
ｃとＢｉｃは各帯域毎の分布比である。

【００５５】ここで、上記積分値は色成分の階調値の積
算値であることから、各帯域毎にどれほどの値の階調値
がどれほど分布しているかを反映した値となっている。
また、この積分値を使用して分布比を算出することは帯
域毎の色成分毎の平均階調値を使用して分布比を算出す
ることと等価である。帯域毎の色成分毎の平均階調値
は、帯域内に属する画素の所定色成分の階調値を足し合
わせ、画素数で除したものであり、色成分毎の画素数は
各帯域で同数であるところ、分布比にした場合には分母
と分子で画素数が相殺されて結局分布比に寄与するのは
階調値を足し合わせた成分のみとなるからである。

【００５６】この分布比Ｒｉｃは「帯域毎のＧ成分の平
均値／帯域毎のＲ成分の平均値」，分布比Ｂｉｃは「帯
域毎のＧ成分の平均値／帯域毎のＢ成分の平均値」であ
り、この分布比はホワイトバランスを調整する性質を持
った係数となる。すなわち、ある画素のＲＧＢ色成分そ
れぞれがその画素の属する帯域の各色成分の平均階調値
と等しい場合、分布比ＲｉｃとＲ成分の階調値とを乗じ
ると分母が相殺してＧ成分の平均値と等しくなり、分布
比ＢｉｃとＢ成分の階調値とを乗じても分母が相殺して
Ｇ成分の平均値と等しくなる。従って、当該画素の全色
成分が等しくなり無彩色になる。

【００５７】このように、分布比Ｒｉｃと分布比Ｂｉｃ
とはそれぞれ画素のＲ成分とＢ成分とに作用し、その帯
域のＧ成分の平均値を基準としつつ当該基準に近づける
ようにＲ成分とＢ成分とを相対的に変化させるので、ホ
ワイトバランスを調整するための係数であると言える。
従って、上記ステップＳ２３０まででは、帯域毎のホワ
イトバランス補正係数を算出したと言える。本発明にお
いては、所定帯域の分布比を参照して画像全体のホワイ
トバランスを調整するとともに、画像内容や光源等の差
異にかかわらずより好ましい結果を得るための補正を加
えている。

【００５８】ステップＳ２３０にて分布比データを取得
すると、上記色成分分布情報取得モジュール３３ｂはス
テップＳ２３５にて以下の式（３）に従って分布比の組
みの平均値Ｒ’_ｎｃ，Ｂ’_ｎｃを算出する。

【数３】 ここで、ｎは帯域の組番号であり「１〜５」の整数であ
る。

【００５９】図１１は、組みの平均値Ｒ’_ｎｃについて
２つの帯域を組みにする様子を説明する説明図である。
同図に示す上部のグラフは上述のようにして１０個の帯
域に分割されたヒストグラムを示している。上記式
（３）においては、ｎ番目の帯域と（１１−ｎ）番目の
帯域についての平均を算出していることから、同図に示
すように両端の帯域（１番目と１０番目）が組みとな
り、両端から２番目の帯域（２番目と９番目）が組みと
なるようにして順次組み合わせられる。Ｂ’_ｎｃについ
ての組み合わせの考え方も同様である。

【００６０】図１２は、分布比を組みにして平均化する
際の考え方を説明する説明図であり、同図はＹＵＶ色空
間のＵ−Ｙ平面に写像されたＲＧＢ色空間の色域を示
す。同図において、ＲＧＢ色空間の色域は、高輝度領域
で負のＵ方向に偏り、低輝度領域で正のＵ方向に偏って
いる。Ｖ−Ｙ平面に写像した場合も同様で、高輝度領域
で負のＶ方向に偏り、低輝度領域で正のＶ方向に偏るこ
ととなる。すなわち、高輝度領域と低輝度領域とで逆の
性質を有しており、この性質を上記分布比で考えると高
輝度領域と低輝度領域とで大きな差が発生することとな
るが、両者を平均すればその差を相殺することができ、
色域形状に起因する分布比の偏りを除去した当該分布比
を評価することができる。尚、この偏りを除去するよう
に分布比を平均化する考え方は、ＲＧＢ色空間とＹＵＶ
色空間との関係から発生したものであり、多くの画像機
器についてのホワイトバランス調整にて採用することが
できる。

【００６１】ステップ２３５にて分布比の組みの平均値
が算出されると、ステップＳ２４０にてＲ’_ｎｃが
「１」より小さいか否かを判別し、同ステップＳ２４０
にてＲ’ _ｎｃが「１」より小さいと判別されたときには
ステップＳ２４５にてＲ’_ｎｃに対して当該Ｒ’_ｎｃの
逆数を代入する。このステップＳ２４０，ステップＳ２
４５の判別処理は、ステップＳ２４０での判別結果にか
かわらず、組み番号１〜５の総てについて、また、Ｂ’
_ｎｃについても同様に独立に実行される。ここでの処理
はＲ’_ｎｃとＢ’_ｎｃとの総てについて、「１」より小
さければ「１」より大きな数に変換する処理をしている
ものであり、次の評価関数ｅ_ｎによる判別のための変換
であるとともに、評価関数による判別後は元の値に戻さ
れる。

【００６２】（４−３）ホワイトバランス制御処理：ス
テップＳ２５０では、評価関数ｅ_ｎに対して、各組の
Ｒ’_ｎｃとＢ’_ｎｃとを代入し、上記ホワイトバランス
制御モジュール３３ｃは当該評価関数ｅ_ｎが最小となる
組み番号ｎのＲ’_ｎｃとＢ’_ｎｃとの値を第１段階のホ
ワイトバランス補正係数Ｒ’_ｃおよびＢ’_ｃとして決定
する。この第１段階のホワイトバランス補正係数も上述
の分布比と同様の性質を有しており、上記図３に示すホ
ワイトバランス制御マトリクス３４ｂ８の所定成分とな
り得る係数である。すなわち、画像内の任意の画素のＲ
ＧＢ成分を成分とする行列にホワイトバランス制御マト
リクス３４ｂ８を乗じると、その画像のホワイトバラン
スを制御することができる。

【００６３】ここで、評価関数が最小のものを選択する
処理は、Ｒ’_ｎｃとＢ’_ｎｃとのそれぞれと「１」との
差が最小のものを選択している処理であり、補正量が最
も小さいものを選択していることになる。すなわち、ホ
ワイトバランス調整においてはカラーフェリアを防止す
ることが重要であり、補正量の大きなものをホワイトバ
ランス補正係数としてしまうと大きな補正によってカラ
ーフェリアが発生することが多いが、補正量が小さいも
のを選択しておけば、カラーフェリアの発生確率を非常
に小さくすることができる。本出願人は、上述の処理に
よって決定されたホワイトバランス補正係数が非常に効
果的にホワイトバランス調整可能であることを確認して
いるが、ここでは、カラーフェリアを防止することがで
きればよく、評価関数が２番目に「１」に近いものを選
択する構成にするなど適宜変更可能である。

【００６４】このとき、例えば、所定の値域内であれば
２番目，３番目に「１」に近いものを選択するようにす
るなどの工夫を施せばカラーフェリアを防止可能であ
る。また、本発明においては、画像の一部の輝度帯域に
属するデータに基づいてホワイトバランス補正係数を算
出しており、上述のように補正量の小さいものを選択し
ているため、上述の従来例のように画像全体のＲＧＢ積
分値を反映させるホワイトバランス調整と比較して、非
常にカラーフェリアが発生しにくい。

【００６５】（４−３−１）光源種別に対応した補正：
上述のように第１段階のホワイトバランス補正係数でホ
ワイトバランス制御を行うことも可能であるが、本実施
形態においては光源の差異に起因したカラーフェリアの
発生を防止するために、さらに図５のステップＳ２５５
以降の処理を実行している。ステップＳ２５５では、Ｇ
成分の階調値「１２８」（中央値）を基準としたホワイ
トバランス補正係数となるように以下の式にて上記第１
段階のホワイトバランス補正係数Ｒ’_ｃおよびＢ’_ｃを
変換する。 Ｒ＝128／Ｒ’_ｃ，Ｇ＝128，Ｂ＝128／Ｂ’_ｃ

【００６６】ステップＳ２６０では、当該変換後の係数
ＲＧＢを以下の式（４）に従ってＥｓｔｅｖｅｚ−Ｈｕ
ｎｔ−Ｐｏｉｎｔｅｒの式にて生理的三原色の空間Ｒ’
Ｇ’Ｂ’に変換する。

【数４】

【００６７】ここで、マトリクスＡは上記ＲＯＭ３３に
記憶されたマトリクスであり、ｓＲＧＢ座標を生理的三
原色のＲＧＢ座標に変換する。また、マトリクスＡはマ
トリクスＢとマトリクスＣとを乗じて生成されたもので
あり、それぞれのマトリクスは上述した値であるととも
にマトリクスＢはｓＲＧＢ座標をＸＹＺ座標に変換する
変換マトリクスであり、マトリクスＣはＸＹＺ座標を生
理的三原色のＲＧＢ座標に変換するマトリクスである。
尚、上記式において斜体の文字はマトリクスを示してい
る。ステップＳ２６０にて生理的三原色の空間データ
Ｒ’Ｇ’Ｂ’が得られると、ステップＳ２６５にて以下
の式に従って最終的なホワイトバランス補正係数Ｒｃ，
Ｂｃを決定する。 Ｒｃ＝Ｇ’／Ｒ’，Ｂｃ＝Ｇ’／Ｂ’

【００６８】これらステップＳ２５５〜Ｓ２６５の処理
は、ｓＲＧＢ座標を一旦生理的三原色のＲ’Ｇ’Ｂ’座
標に変換し、当該変換後の空間でホワイトバランス補正
係数を補正（ステップＳ２６５）していることに該当す
る。この処理によって人間の見た目に応じた良好なホワ
イトバランスに近づけることができ、光源種に依存しな
いホワイトバランス制御を実施することができる。ま
た、最終的なホワイトバランス補正係数Ｒｃ，Ｂｃをホ
ワイトバランス制御マトリクスＷに組み込むことによっ
て、第２色空間の座標を補正してホワイトバランス調整
を実行するようにしている。図１３，図１４は生理的三
原色に変換してホワイトバランス補正係数を補正する様
子を説明する説明図である。

【００６９】図１３はｓＲＧＢの理想光源（ＣＩＥ標準
の光源Ｄ６５）の分光分布を示す図であり、図１４は生
理的三原色についての分光分布を示す図である。図にお
いて横軸は波長（ｎｍ）であり、縦軸は分光分布の相対
値である。尚、図１３，図１４において４５０ｎｍ付近
にピークがあるカーブはＢ成分、５４０ｎｍ付近にピー
クがあるカーブはＧ成分の分光分布であり、図１３の６
１０ｎｍ付近，図１４の５８０ｎｍ付近にピークがある
カーブはＲ成分の分光分布である。上記ホワイトバラン
ス補正係数はＲ成分とＢ成分とに対してそれぞれ乗ぜら
れるので、ホワイトバランス補正係数による調整は、上
記図１３，１４における分光分布に対してはＢ成分とＲ
成分のカーブを拡大したり縮小したりするように作用す
る。

【００７０】図１４に示す分光分布は生理的三原色につ
いての分布であることから、人間の色の感じ方はこの分
布に非常に近く、この分布となるＲＧＢ空間でホワイト
バランス補正係数の補正を行うと、人間の色の感じ方に
非常に近い形でホワイトバランスを制御することができ
る。具体的には、図１３に示す分光分布においてはＲ成
分のピーク波長およびピーク強度が図１４に示す分光分
布のＲ成分のピーク波長およびピーク強度より大きい。
従って、上記ステップＳ２６０における変換を実施せず
にホワイトバランスの調整をしようとすると、Ｒ成分に
対する補正が相対的に大きくなり、Ｒ成分を強調しすぎ
たり、弱めすぎたりしてしまう。そこで、上記ステップ
Ｓ２６０における変換を実施した後にホワイトバランス
補正係数を補正することにより、より見た目に近い赤と
なるようにホワイトバランスを調整可能である。むろ
ん、青に関しても同様で見た目に近い青となる。従っ
て、白熱灯かでの撮影画像等であっても適切なホワイト
バランスとなるよう調整されるようにホワイトバランス
補正係数を決定可能である。

【００７１】ステップＳ２６５にて最終的なホワイトバ
ランス補正係数Ｒｃ，Ｂｃを決定したら、ステップＳ２
７０において当該ホワイトバランス補正係数Ｒｃ，Ｂｃ
を１行１列目および３行３列目の成分とし、２行２列目
の成分を「１」とし、他の成分を「０」としたマトリク
スの左から上記逆変換マトリクスＡ^−１を乗じ、右から
上記マトリクスＡを乗じてホワイトバランス制御マトリ
クスＷ（３４ｂ９）を生成し、ステップＳ２７５にて当
該ホワイトバランス制御マトリクスＷを上記ＲＡＭ３４
のワークエリア３４ｂに保存する。

【００７２】尚、逆変換マトリクスＡ^−１は以下の式
（５）にて表現される。

【数５】 上記式においても斜体の文字はマトリクスを示してい
る。

【００７３】このホワイトバランス制御マトリクスＷの
算出／保存までがホワイトバランスの測定に該当し、デ
ィジタルスチルカメラ１０の処理としてはこの後図２に
示すフローチャートに戻ってステップＳ１０６以降の処
理を実行する。そして、ステップＳ１１０においてＣＣ
ＤＲａｗデータをｓＲＧＢデータに変換した画像データ
に対してホワイトバランス制御マトリクスＷを乗じるこ
とによって個々の撮像画像のホワイトバランスを制御す
る。

【００７４】すなわち、ホワイトバランス制御マトリク
スＷは、ｓＲＧＢ座標で表現されたカラー画像データの
画像についてホワイトバランスを調整するように作用す
るマトリクスであり、入力および出力データはｓＲＧＢ
データである。上記ホワイトバランス補正係数はｓＲＧ
Ｂに対する補正係数ではないため、上記マトリクスＡ等
による空間の変換を行って入出力データがｓＲＧＢデー
タになるようにしてある。従って、ステップＳ２７０，
Ｓ２７５およびＳ１１０の処理が上記マトリクス演算部
３３ｅでの処理に該当する。図１５は、かかるホワイト
バランス制御マトリクスＷによる演算を説明するための
説明図であり、上部のマトリクス演算式において右辺の
ＲＧＢは入力ｓＲＧＢデータであり、左辺のＲ’’
Ｇ’’Ｂ’’は出力ｓＲＧＢデータである。また、本実
施形態の実際の処理においてホワイトバランス制御マト
リクスＷは３個の３×３の行列を予め計算して得られる
１個の３×３の行列であるが、ここでは便宜上３個のマ
トリクスに分けて説明する。

【００７５】図１５においてマトリクス演算式の下方に
は３個のマトリクスによる各演算段階を示している。上
述のように入力データはｓＲＧＢデータである。マト
リクスＡはｓＲＧＢ座標系のＲＧＢ色成分を生理的三原
色のＲＧＢ色成分に変換するマトリクスであるので、当
該入力データにマトリクスＡを乗じると、に示すよ
うに生理的三原色のＲＧＢ色成分に変換される。すなわ
ち、この変換が上記第１色空間変換部３３ｅ１での処理
である。この変換結果に対して上記ホワイトバランス補
正係数Ｒｃ，Ｂｃを成分として含むマトリクスを乗じる
と、に示すように生理的三原色のＲＧＢ色成分にてホ
ワイトバランスが調整される。すなわち、ここでの処理
が上記ホワイトバランス制御部３３ｅ２での処理であ
る。

【００７６】この調整後のＲＧＢデータに逆変換マトリ
クスＡ^−１を乗じると、に示したようにホワイトバラ
ンス調整後の画像データがｓＲＧＢデータに変換され
る。すなわち、ここでの処理が上記第２色空間変換部３
３ｅ３での処理である。本実施形態においてこの演算は
一つのマトリクスで実現されており、１回の演算で第１
色空間内のｓＲＧＢ座標を第２色空間としての生理的三
原色のＲＧＢ色成分に変換し、当該第２色空間内で補正
係数にてホワイトバランスを調整し、さらに補正後のＲ
ＧＢ色成分を第１色空間内のｓＲＧＢ座標に戻してい
る。従って、ディジタルスチルカメラの画像処理過程に
おいてｓＲＧＢデータに１個の３×３の行列であるホワ
イトバランス制御マトリクスＷを乗じるとホワイトバラ
ンスが調整されたｓＲＧＢデータとなり、しかもこのデ
ータは人間の目の特性に近い空間で補正されているの
で、光源に影響を受けずに確実にホワイトバランスを調
整することができる。

【００７７】以上説明したように、本発明においては第
１色空間の座標を第２色空間の座標に変換し、同変換さ
れた第２色空間の座標を補正することによりホワイトバ
ランスを制御し、上記補正後の座標を上記第１色空間の
座標に変換する。従って、画像内の特定色や特定色に偏
った光源に影響されることなくホワイトバランス調整を
実施可能となる。

【図面の簡単な説明】

【図１】ディジタルスチルカメラの概略構成を示すブロ
ック図である。

【図２】画像処理の主要な流れを示すフローチャートで
ある。

【図３】ホワイトバランスの測定系及び制御系を示すブ
ロック図である。

【図４】ホワイトバランス測定及び制御を示すフローチ
ャートである。

【図５】ホワイトバランス測定及び制御を示すフローチ
ャートである。

【図６】間引き処理を説明するための説明図である。

【図７】ＲＧＢＹｓ変換後の画素データを示す図であ
る。

【図８】ヒストグラムの一例を示すグラフである。

【図９】帯域分割の様子を説明する説明図である。

【図１０】積分値と分布比とを算出する様子を説明する
説明図である。

【図１１】２つの帯域を組みにする様子を説明する説明
図である。

【図１２】分布比を組みにして平均化する際の考え方を
説明する説明図である。

【図１３】ｓＲＧＢの理想光源の分光分布を示す図であ
る。

【図１４】生理的三原色についての分光分布を示す図で
ある。

【図１５】ホワイトバランス制御マトリクスによる演算
を説明するための説明図である。

【符号の説明】

１０…ディジタルスチルカメラ ２０…光学部 ２１…光学レンズ系 ２２…オートフォーカス機構 ２３…測距部 ２４…オートフォーカスコントローラ ２５…コントローラ ２６…ＣＣＤ ２７…ストロボ ２８…オートゲインコントローラ（ＡＧＣ） ２９…Ａ／Ｄコンバータ ３０…制御部 ３１…バス ３２…ＣＰＵ ３３…ＲＯＭ ３３ａ…輝度成分取得モジュール ３３ｂ…色成分分布情報取得モジュール ３３ｃ…ホワイトバランス制御モジュール ３３ｄ１…変換マトリクスＡ ３３ｄ２…逆変換マトリクスＡ^−１ ３３ｅ…マトリクス演算部 ３３ｅ１…第１色空間変換部 ３３ｅ２…ホワイトバランス制御部 ３３ｅ３…第２色空間変換部 ３４…ＲＡＭ ３４ａ…画像エリア ３４ｂ…ワークエリア ３４ｂ１…間引き済データ ３４ｂ２…ＲＧＢＹｓデータ ３４ｂ３…ヒストグラムデータ ３４ｂ４…帯域データ ３４ｂ５…ＲＧＢ積分データ ３４ｂ６…分布比データ ３４ｂ７…補正係数Ｒ’_ｃ，Ｂ’_ｃ ３４ｂ８…ホワイトバランス制御マトリクス ３４ｂ９…ホワイトバランス制御マトリクス ３４ｃ…ビデオＲＡＭエリア ３５…操作パネル ３６…ＬＣＤパネル ３７ａ…Ｉ／Ｏ ３７ｂ…フラッシュメモリカード

フロントページの続き Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE17 CH08 5C065 AA07 BB02 DD02 GG29 5C066 AA01 CA17 EA14 GA04 KM02 5C077 LL19 MP08 PP32 PP37 PP48 PQ12 PQ19 SS01 TT09 5C079 HB01 LA23 LB04 MA11 NA03

Claims (10)

【特許請求の範囲】
1. 【請求項１】 所定の第１色空間の座標にて色が表現さ
   れた画像のホワイトバランスを調整するホワイトバラン
   ス調整装置であって、 上記第１色空間の座標を第２色空間の座標に変換する第
   １色空間変換手段と、 同変換された第２色空間の座標を補正することによりホ
   ワイトバランスを制御するホワイトバランス制御手段
   と、 上記補正後の座標を上記第１色空間の座標に変換する第
   ２色空間変換手段とを具備することを特徴とするホワイ
   トバランス調整装置。
2. 【請求項２】 上記第１色空間はＲＧＢ色空間であるこ
   とを特徴とする上記請求項１に記載のホワイトバランス
   調整装置。
3. 【請求項３】 上記ホワイトバランス制御手段は、第２
   色空間内の第１色成分を基準とし、当該第１色成分に対
   して第２色成分および第３色成分のそれぞれの値を相対
   的に変動させることを特徴とする上記請求項１または請
   求項２のいずれかに記載のホワイトバランス調整装置。
4. 【請求項４】 上記第１色空間変換手段は第１色空間の
   座標を所定の演算式により人間の目の錐体感度特性を反
   映した第２色空間の座標に変換し、上記第２色空間変換
   手段は所定の演算式により上記第１色空間変換手段によ
   る変換の逆変換を実行することを特徴とする上記請求項
   １〜請求項３のいずれかに記載のホワイトバランス調整
   装置。
5. 【請求項５】 所定の第１色空間の座標にて色が表現さ
   れた画像のホワイトバランスを調整するホワイトバラン
   ス調整装置であって、 第１色空間の座標を第２色空間の座標に変換し、同変換
   された第２色空間の座標を補正することによりホワイト
   バランスを制御し、上記補正後の座標を上記第１色空間
   の座標に変換する演算操作を上記第１色空間の座標に対
   して行ってホワイトバランスを制御することを特徴とす
   るホワイトバランス調整装置。
6. 【請求項６】 所定の第１色空間の座標にて色が表現さ
   れた画像のホワイトバランスを調整するホワイトバラン
   ス調整プログラムであって、 上記第１色空間の座標データを含む画像データを取得す
   る画像データ取得機能と、 同取得した画像データの座標データを第２色空間の座標
   データに変換する第１色空間変換機能と、 同変換された第２色空間の座標データを補正することに
   よりホワイトバランスを制御するホワイトバランス制御
   機能と、 上記補正後の座標データを上記第１色空間の座標データ
   に変換する第２色空間変換機能とをコンピュータに実現
   させることを特徴とするホワイトバランス調整プログラ
   ム。
7. 【請求項７】 所定の第１色空間の座標にて色が表現さ
   れた画像のホワイトバランスを調整するホワイトバラン
   ス調整プログラムであって、 上記第１色空間の座標データを含む画像データを取得す
   る画像データ取得機能と、 第１色空間の座標データを第２色空間の座標データに変
   換し、同変換された第２色空間の座標データを補正する
   ことによりホワイトバランスを制御し、上記補正後の座
   標データを上記第１色空間の座標データに変換する演算
   操作を上記取得した第１色空間の座標データに対して行
   ってホワイトバランスを制御する機能をコンピュータに
   実現させることを特徴とするホワイトバランス調整プロ
   グラム。
8. 【請求項８】 所定の第１色空間の座標にて色が表現さ
   れた画像のホワイトバランスを調整するホワイトバラン
   ス調整方法であって、 上記第１色空間の座標を第２色空間の座標に変換する第
   １色空間変換工程と、 同変換された第２色空間の座標を補正することによりホ
   ワイトバランスを制御するホワイトバランス制御工程
   と、 上記補正後の座標を上記第１色空間の座標に変換する第
   ２色空間変換工程とを具備することを特徴とするホワイ
   トバランス調整方法。
9. 【請求項９】 所定の第１色空間の座標にて色が表現さ
   れた画像のホワイトバランスを調整するホワイトバラン
   ス調整方法であって、 第１色空間の座標を第２色空間の座標に変換し、同変換
   された第２色空間の座標を補正することによりホワイト
   バランスを制御し、上記補正後の座標を上記第１色空間
   の座標に変換する演算操作を上記第１色空間の座標に対
   して行ってホワイトバランスを制御することを特徴とす
   るホワイトバランス調整方法。
10. 【請求項１０】 ＣＣＤ素子にて撮像された画像を所定
    の要素色の階調値で表現したドットマトリクス状のカラ
    ー画像データを取得するカラー画像データ取得手段と、 このカラー画像データの表色空間を人間の目の錐体感度
    特性を反映した第２色空間の座標に変換し、同第２表色
    空間の色成分毎の分布比をホワイトバランス補正のため
    の係数として上記カラー画像データにおいて補正対象と
    なる色成分に乗じ、当該係数が乗じられた色成分を所定
    の演算式により上記カラー画像データの表色空間に変換
    する演算操作を上記ドットマトリクス状のカラー画像デ
    ータの任意のデータに対して行うホワイトバランスを制
    御するホワイトバランス制御手段とを具備することを特
    徴とするディジタルカメラ。