JP2004048740A - ニューラル・ネットワーク・マッピングによる輝度得点自動露出を通しての自動白色バランシング - Google Patents

Abstract

【課題】ディジタル・カメラに有用である自動白色バランシング法および／または自動露出法とその回路を提供する。
【解決手段】ディジタル・カメラに有用である自動白色バランシングおよび／または自動露出は、種々の色温度の光源の下にあるレファレンス・カラーと画像のカラーとを比較することからカラー・チヤンネル利得を引き出し、および／または訓練されたニューラル・ネットワークでもって、１つの画像の複数の領域の中の輝度の平均、輝度の分散、輝度の最小、および輝度の最大から露出の設定を引き出す。
【選択図】　　　図１ａ

Description

【０００１】
【発明の属する技術分野】
本発明は電子デバイスに関する。さらに詳細に言えば、本発明はディジタル・カメラおよび白色バランシングおよび／または自動露出の方法および回路に関する。
【０００２】
【発明が解決しようとする課題】
ここ数年の間に、ディジタル・カメラの販売が大幅に伸びそして盛んに利用されるようになってきている。１０Ｍに近いディジタル・カメラが２０００年に世界的に販売された。この数は２００５年までには４０Ｍにまで成長すると期待されている。この成長は、主として画像がすぐに見られてそしてすぐに転送したいという消費者の要望によるものである。
【０００３】
図２は、典型的なディジタル・スチル・カメラ（ＤＳＣ（ｄｉｇｉｔａｌ　ｓｔｉｌｌ　ｃａｍｅｒａ））の、種々の画像処理コンポーネントのブロック線図であり、これらは全体的として画像パイプラインと呼ばれる。カラー・フィルタ・アレイ（ＣＦＡ（ｃｏｌｏｒｆｉｌｔｅｒ　ａｒｒａｙ））補間、ガンマ補正、白色バランシング、カラー空間変換およびＪＰＥＧ／ＭＰＥＧ圧縮／減圧は、重要な画像パイプライン・アルゴリズムのいくつかを構成する。典型的なカラーＣＣＤは、それぞれが赤、緑、または青のいずれかのフィルタで覆われた写真サイトを有する写真サイトの長方形のアレイから成る。通常用いられるベイヤー（Ｂａｙｅｒ）パターンでは、これらの写真サイトの半分が緑、そして四分の一が赤、そして四分の一が青である。そしてＲＢＧからＪＰＥＧ／ＭＰＥＧに用いられるＹＣｂＣｒ（輝度、クロミナンス青、およびクロミナンス赤）へのカラー変換は次の式によって定められる。
【０００４】
【数１】

【０００５】
したがって、逆の変換は次のようになる。
【０００６】
【数２】

【０００７】
ここで、８ビットのカラーの場合、Ｒ、Ｇ、およびＢは０−２５５の範囲内の整数値を有するであろう。そしてそれに対応してＣｂＣｒ面は離散的であるであろう。
【０００８】
画像の中の風景の色は、その画像が撮影される時に風景を照らしている照明が異なると異なって見える。これは、日中の光、白熱灯の光および蛍光灯の光のように異なる光源は、異なるパワー・スペクトル分布を有するという事実によるものである。その結果、物体はその本当の色とは異なる色を有するように見える。この現象によって最も影響を受ける色は白である。したがって、異なる光源の下で白色の物体が白として見えるようにする問題が白色バランシング（ｗｈｉｔｅ　ｂａｌａｎｃｉｎｇ）と呼ばれる。通常は、この問題はＣＣＤ／ＣＭＯＳセンサの３原色、すなわち赤、緑、および青の利得を調整することによって解決される。ユーザがなにも介入することなく白色バランシングを自動的に行う性能は、自動白色バランシング（ＡＷＢ（ａｕｔｏｍａｔｉｃ　ｗｈｉｔｅ　ｂａｌａｎｃｉｎｇ））と呼ばれる。
【０００９】
白色バランシングを手動で制御するプロのカメラでは、白色バランシングを行うことは比較的に容易である。このことは、純粋に白色の物体がフレームの全体を占めるように、その物体をズームすることによって行われる。白色バランシング・ボタンを押すことにより、カラー・チヤンネルの利得が調整される。カメラはこの方法でその電子装置をバランスさせ、それにより白として指定された物体が白として見え、そして白として処理される。戸外から室内へ移動するまたは日向から日陰へ移動するように支配的な光源が変わる時にはいつでも、この処理工程を繰り返すことが必要である。カメラによっては手動による白色バランシングは、「室内」、「晴天」、「曇天」などのように予め定められた組の光源の設定を選定することによって行われる。
【００１０】
自動白色バランシングに関しては、ハードウエアによる解決法とソフトウエアによる解決法との両方が提案されている。ハードウエアによる解決法は、通常は、風景の平均のカラーを用いて電子回路によりカラー・バイアスをゼロにすることである。ここでの主な仮定は、風景の平均のカラーはニュートラル、すなわち灰色（無色）であるということである。風景の中に支配的で強烈なカラーの物体が含まれていてそのために平均のカラーにバイアスが存在する場合には、この仮定は成立しなく、そして白色バランシング回路は適切に補償を行うことはできない。ディジタル・カメラの中にプログラマブル・プロセッサ用いれば、ＣＣＤ／ＣＭＯＳセンサによって捉えられた生の画像データを単に検査することにより、ＡＷＢに対しソフトウエアによる解決法を導入することが可能になる。このような解決法の利点は、ソフトウエアのアップグレードおよびソフトウエアの再使用の可能性において柔軟性があることである。
【００１１】
自動白色バランシングに対して最も広く用いられている技術は、「灰色世界」の仮定に基づいている。この仮定は、風景の中のカラーの平均はニュートラル、すなわち無色であることを述べている。ｋ_ｒ、ｋ_ｇおよびｋ_ｂがそれぞれ、Ｒ、Ｇ、およびＢのチヤンネルに対するスケール因子または利得であるとする。これらのスケール因子は次のように定められる。
【００１２】
【数３】

【００１３】
ここで、Ｒ_ａｖｇ、Ｇ_ａｖｇ、およびＢ_ａｖｇはそれぞれ、画像の中の平均の赤値、平均の緑値、および平均の青値を示す。
【００１４】
よく用いられるまた別の技術は、「白色世界」の仮定に基づいている。この白色世界の仮定は、画像の中の最も明るい点の赤値、緑値、および青値は同じであるべきであることを述べている。この仮定に基づくならば、利得は次のように調整される。
【００１５】
【数４】

【００１６】
ここで、Ｒ_ｍａｘ、Ｇ_ｍａｘ、およびＢ_ｍａｘはそれぞれ、画像の中の最大の赤値、最大の緑値、および最大の青値を示す。
【００１７】
前記の仮定は多くの状況の中で白色バランシングに導くけれども、風景が比較的に大きな背景を含んでいる時、または風景の中に同じカラーを有する大きな物体が含まれている時には、このことはうまくいかない。例えば、広い青空を有している画像または海洋を背景に有する画像はこの分類に入る。
【００１８】
したがって何人かの研究者は、風景に関してさらに弱い仮定をすることによる解決法を開発してきた。ハベル（Ｈｕｂｅｌ）ほか名の米国特許第　６，０３８，３３９号は相関方式によるカラーを開示している。この方式では、特定の光源の下での色度空間の中の多数のレファレンス・カラーのコンベックス・ハル（ｃｏｎｖｅｘ　ｈｕｌｌ）が捉えられた画像のカラーに対して比較される。１組の光源に対し、捉えられた画像とレファレンス・コンベックス・ハルとを相関させることにより、最も適当である光源が識別される。他の解決法は、ニューラル・ネットワークを用いて画像の色度を原色の利得にマップすることである（フント（Ｆｕｎｔ）ほか名の論文「カラー恒常性の学習（Ｌｅａｒｎｉｎｇ　Ｃｏｌｏｒ　Ｃｏｎｓｔａｎｃｙ）」、ＩＳ＆Ｔ　Ｐｒｏｃ．Ｆｏｕｒｔｈ　Ｃｏｌｏｒ　Ｉｍａｇｉｎｇ　Ｃｏｎｆ．５８頁−６０頁（１９９６年））、およびカラーの傾向を除去するためにほぼ無色の物体を見付け出すことである（クーパ（Ｃｏｏｐｅｒ）ほか名の論文「ディジタル・スチル・カメラのための白色バランシングに対する支援としてのカラー区分（ＣｏｌｏｒＳｅｇｍｅｎｔａｔｉｏｎ　ａｓ　ａｎ　Ａｉｄ　ｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｉｎｇ　ｆｏｒ　Ｄｉｇｉｔａｌ　Ｓｔｉｌｌ　Ｃａｍｅｒａｓ）」、Ｐｒｏｃ．　ＳＰＩＥ、第４３００巻、９９．１６１４１（２００１年））。
【００１９】
色温度はケルビン（Ｋ）で計測される。色温度は、黒体がケルビンで表された温度にまで加熱される時、その黒体放射体のカラーを指している。このカラーは、指定された温度にある黒体放射のスペクトル分布により変化する。ケルビンの目盛りを用いて、色温度が低くなればなる程その物体の見かけは赤っぽくなり、そして色温度が高くなればなる程その物体の見かけは青っぽくなる。例えば、太陽光は約５５００Ｋの色温度を有し、そして１００ワットの白熱灯は２８００Ｋの色温度を有する。人間の目は色温度に対して自動的に調整を行う。換言すれば、１つの物体を異なる光源の下で見た時でも、目で見たその物体のカラーは同じであるように認知する。ディジタル・カメラを通して物体を見た時には、このことは当てはまらない。画像を照射している光源が異なれば、物体のカラーは異なって見える。ディジタル・カメラにおける見かけのカラーに関する限り、観察者は画像のより飽和したカラーまたはより強いカラーを優先して見ることが研究により示されている。例えば、観察者は皮膚の色調は実際よりもより健康的に見る傾向があり、草は実際よりもより緑に見る傾向があり、そして青空は実際よりも青く見る傾向がある。
【００２０】
捉えられたカラーのスペクトル分布は光源（発光体）のスペクトル・パワー分布と風景のスペクトル反射率との積である。そして光源のスペクトル分布が変われば、この積の値も変わる。実際、表面の反射率Ｓ（λ）と光源のスペクトル分布Ｅ（λ）と標準的な観察者またはセンサの３原色のスペクトル感度ｒ（λ）、ｇ（λ）、およびｂ（λ）が与えられるならば、その場合には、捉えられたカラーの赤スペクトル成分Ｒ、緑スペクトル成分Ｇ、および青スペクトル成分Ｂは次の式のように表すことができる。
【００２１】
【数５】

【００２２】
もちろんカラー・フィルタ・アレイ（ＣＦＡ（ｃｏｌｏｒ　ｆｉｌｔｅｒ　ａｒｒａｙ））を備えたＣＣＤでは、写真サイトのおのおのは３つのＲ、Ｇ、またはＢの中の１つだけを捉え、そして他の２つは近傍の写真サイトから補間法により得られる。
【００２３】
ディジタル・スチル・カメラにおける自動露出（図２の自動露出）は、典型的には輝度レベルを評価し、そして露出（時間および／または開口部の寸法）を調整する。ニコンＦ５カメラのようなまた別の方式では、次の画像パラメータ、すなわち画像全体の明るさ、焦点を結んでいる領域の明るさ、画像の下側部分および上側部分のコントラスト、色温度、焦点の位置、および物体からの距離のパラメータ値に露出値を関係づけるために、３０，０００個の画像に関してニューラル・ネットワークを学習させる。
【００２４】
【課題を解決するための手段】
本発明により、種々の色温度の光源の下での１組のレファレンス・カラーと画像カラーのプロトタイプとを比較する白色バランシングを有し、および自動白色バランシングと一緒にニューラル・ネットワークを用いる自動露出を有する、自動白色バランシングおよび／または自動露出のためのカメラ・システムおよび方法が得られる。
【００２５】
これは、捉えられた画像のみを利用するという利点を有する。
【００２６】
添付図面は明確さに対して実践的である。
【００２７】
【発明の実施の形態】
１．概観
好ましい実施例のディジタル・カメラ・システムは、種々の色温度の照明においてレファレンス・カラーと画像のプロトタイプ・カラーとを比較することから、カラー・チヤンネル利得を引き出す好ましい実施例の自動白色バランシング法を有している。図１ａは、好ましい第１の実施例の自動白色バランシング法の流れ図を示した図である。この方法は画像から少数（例えば、５−２０個）のプロトタイプ・カラーを引き出し、そしてこれらのプロトタイプ・カラーを少数組（例えば、２４０組）のレファレンス・カラーと光源との組合わせと比較する。プロトタイプ・カラーとの比較において最良であるレファレンス・カラーと光源との組合わせは画像に対する光源の推定される混合を決定し、その結果として赤の利得と緑の利得と青の利得とを決定する。
【００２８】
他の好ましい実施例のディジタル・カメラ・システムは、好ましい実施例の自動的な露出法（自動露出法）を有している。この好ましい実施例の自動露出法は、画像の中の部分領域の照度平均、照度分散、照度最小、および照度最大を含む画像パラメータから露出の設定を引き出す。これらの好ましい実施例は、照度パラメータから露出の設定を引き出すために学習されたニューラル・ネットワークを用いる。図１ｂを参照されたい。
【００２９】
さらに好ましい実施例は、好ましい実施例の自動白色バランシングと好ましい実施例の自動露出との両方を有する。
【００３０】
図２は、好ましい実施例の自動白色バランシング法およびまた好ましい実施例の自動露出法を取り込むことができるシステム（カメラ）を機能ブロックの形式で示した図である。ディジタル信号プロセッサ（ＤＳＰ（ｄｉｇｉｔａｌ　ｓｉｇｎａｌ　ｐｒｏｃｅｓｓｏｒ））、または汎用のプログラマブル・プロセッサ、またはアプリケーション特定回路、またはＲＩＳＣプロセッサ・コントローラを有する同じチップの上のＤＳＰとＲＩＳＣプロセッサとの両方のような１つのチップの上のシステムで、図２の機能を実行することができる。ＤＳＰとＲＩＳＣプロセッサを有するチップに、ＣＦＡカラー補間法およびＪＰＥＧエンコーディングのようなさらに特殊化された促進器を付加することができるであろう。画像パイプライン処理の前または後のいずれかに、捉えられた画像をメモリの中に記憶することができる。画像パイプラインの機能は、オン・ボードまたは外部のＲＯＭ、フラッシュＥＥＰＲＯＭ、またはＤＰＳまたはプログラマブル・プロセッサのための強誘電体ＲＡＭの中に記憶されたプログラムであることができる。
【００３１】
２．第１の好ましい実施例の白色バランシング
第１の好ましい実施例の白色バランシング法は３つの段階を有する。すなわち（１）多数のレファレンス・カラーを定める段階、（２）検査される画像から１組のプロトタイプ・カラーまたは代表的カラーを得る段階、（３）レファレンス・カラーとプロトタイプ・カラーとの間のカラー整合手続きを実行する段階である。
【００３２】
（１）第１の部分では、１組の色温度に対応する多数（例えば、１０個）のレファレンス光源のスペクトル分布と一緒にマクベス（Ｍａｃｂｅｔｈ）のレファレンス・カラー・チャート（２４色）と関連するスペクトル分布を用いて、ＣｂＣｒ空間の中の多数のレファレンス・カラー点（例えば、２４０カラー点）が得られる。マクベスのカラーは、ニュートラル（黒、灰色、および白）を含む小さな組のレファレンス・カラーでもって通常出会うカラーを要約することを試みている。
【００３３】
（２）この方法の第２の部分は、検査する画像に対し多数の代表するカラー（プロトタイプ・カラー）を確立することを含んでいる。このことは、ケータナバズ（Ｋｅｈｔａｒｎａｖａｚ）ほかによって開発されたマルチスケール・クラスタリング法の簡単化された方式を用いることによって行われる。この方法では、ＣｂＣｒ空間の中の画像のカラーの２次元のカラー・ヒストグラムを用いて、ガウス型カーネル（Ｇａｕｓｓｉａｎ　ｋｅｒｎｅｌ）でもってこのヒストグラムをコンボルブ（ｃｏｎｖｏｌｖｅ）することによってポテンシャル・フィールド関数が組み立てられる。離散的であるＣｂＣｒ空間（典型的な８ビットのメモリによる２５６×２５６の矩形マトリックスの部分組）はＣｂＣｒの中に〜１Ｍ画像点の２次元のヒストグラムに導くことに注目されたい。そこで、ポテンシャル・フィールド関数の局所的な最大を用いて、画像を表す突出したカラーまたはプロトタイプ・カラーを定める。図３は、「＋」で標識されたピークを有するサンプル画像の２次元のヒストグラムを示した図である。図３におけるようなＣｂＣｒ空間の中心から画像カラーが分岐するのが普通である。ＣｂＣｒ空間の中心はニュートラル（黒、灰色、および白）に対応する。１つの画像に対して見い出されるプロトタイプ・カラーの総数は、典型的には５−２０個の範囲内あり、普通は８−１２個である。このように、２４０個のレファレンス・カラーと比較されるべき８−１２個のプロトタイプ・カラーが存在するであろう。
【００３４】
さらに詳細に言えば、マルチ・スケール・クラスタ法は次のように進行する。増大した寸法（標準偏差）を有する一連のガウス型カーネルでもってＣｂＣｒ空間の画像カラーのヒストグラムをコンボルブする。すなわち、カーネルは
【数６】

である。ここで
【外１】

はＣｂＣｒ空間の中の２次元のベクトル
【外２】

の長さ、σは標準偏差である。これらのコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）は、σが増大する時に次第に滑らかになる一連のフィールド関数を生成する。このガウス型カーネルとその結果得られるフィールド関数は、２次元の連続変数の関数であると考えられ、そしてこのコンボリューションに対して、ヒストグラムは２次元の変数の点（ｎ，ｍ）に配置されるスケールド（ｓｃａｌｅｄ）デルタ関数の和として配列される。ここで、ｍおよびｎは整数であり、そして０≦ｍ≦２５５および０≦ｎ≦２５５である。フィールド関数の局所的な最大（もし負の符号が含まれているならば最小）の数はカーネルの寸法が増大すると共に減少し、そしてカーネルの寸法が増大する時に最長を持続する局所的な最大の数がプロトタイプ・カラーの数として採用され、そしてプロトタイプ・カラーはこれらの局所的な最大に対応するＣｂＣｒ空間の中の点である。規格化された標準偏差の範囲はσ＝０．００１、０．００２、…、０．０４、０．０４５、０．０５、０．０５５、０．０６、…、１．０のようであることができる。ここで１．０は２５５番目のｂｉｎに対応する。
【００３５】
経験的には、５ｂｉｎのガウス型カーネルの寸法（標準偏差）は持続する数の局所的最大を生ずるのが通常であり、したがって単純化された第２の好ましい実施例は、第１の好ましい実施例のマルチ・スケール・クラスタリング法をガウス型カーネルの単一のコンボリューションによって置き換える。そこで、この単一のフィールド関数の局所的最大はプロトタイプ・カラーとして用いられる。
【００３６】
（３）ＣｂＣｒカラー空間の中の画像のカラーの位置は、２つの原因によって支配される。すなわち、（ａ）その色相（例えば、反射率Ｓ（λ））、および（ｂ）そのカラーを観察する際の光源のスペクトル分布（例えば、Ｅ（λ））によるそのシフト、により支配される。プロトタイプ・カラーをレファレンス・カラーと比較する時、（ａ）と（ｂ）とを切り離すために、カラー空間が多くのセクタに分割される。それぞれのセクタの中のカラー点は類似した見かけのカラーを表している。セクタを組み立てるのに２つの方式を採用することができる。すなわち、１つの方式は固定された数のセクタを組み立てることであり、そして他のもう１つの方式はプロトタイプの数に応じて変化することができる数のセクタを組み立てることである。８個のような固定された数のセクタを用いることがさらに簡単である。
【００３７】
セクタのおのおのの中で、プロトタイプ・カラーはそのセクタの中の（光源の組の中の１つの光源明の下において）レファレンス・カラーの全部と比較される。このことは、プロトタイプ・カラーとレファレンス・カラーの色相の近さを計算することによって行われる。例えば図４に示されているように、このことは、プロトタイプ・カラー・ベクトルとレファレンス・カラー・ベクトルとの間の積を計算することを意味する。ここで、これらのベクトルは、ＣｂＣｒ空間の中心（ニュートラル・カラーに対応する）から出発している。この比較の軌跡を保つために、考察している光源（色温度）のおのおのに対してまずゼロの得点が与えられる。次に、プロトタイプの比較の中で最も近いレファレンス・カラーまたは勝ったレファレンス・カラーに関連する光源の得点が１だけ増される。この工程が、そのセクタの中のプロトタイプのおのおのに対して繰り返される。すべてのセクタを検査した後、これらの光源の最終の得点が比較される。プロトタイプ・ベクトルがレファレンス・カラーを有しないセクタの中にある時、その時には最も近いレファレンスは存在しなく、そしてこのプロトタイプによる得点の増大はない。図５ｂは、白熱灯による照明を有する図５ａに示された画像に対する光源の得点を示すバー・チャート（ｂａｒ　ｃｈａｒｔ）の図である。図５ｂから分かるように、３５００Ｋの色温度が期待されるような最高の得点を生成する。太陽光および曇天光に対するまた別の例が、図６および図７にそれぞれ示されている。セクタに分けることが比較の数を少なくすることに注目されたい。そしてまた、プロトタイプ・カラーを含むセクタの中にレファレンス・カラーが存在しない時、プロトタイプ・カラーに対して最も近いレファレンス・カラーを見つけることを排除することに注目されたい。そうでない場合には、セクタに分けることはこれらの比較に関して最小の効果を有する。
【００３８】
最後に、白色バランシングに対し、マクベスのレファレンス・カラーのニュートラル・カラーに関連する利得の平均に基づいて、原色の利得が調整される。下記の表は、（製造業者にによって計測された）特定のカメラのための異なる色温度光源に対するこれらのニュートラル・カラーの白色バランシングされた利得を示した表である。
【００３９】
【表１】

【００４０】
例えば、図５ｂに示された得点の結果の場合、利得は３５００Ｋの光の６９パーセント、２５００Ｋの光の１６パーセント、７５００Ｋの光の４パーセント、８５００Ｋの光の２パーセント、９５００Ｋの光の８パーセントおよび１０５００Ｋの光の１パーセントを取ることによって組み合わされる。図５ｃは、図５ａの入力に対する白色世界仮定（ｗｈｉｔｅ　ｗｏｒｌｄ　ｐｒｅｓｕｍｐｔｉｏｎ）の白色バランシングの結果の画像を示した図である。図５ｄは、好ましい実施例の白色バランシングの結果の画像を示した図である。
【００４１】
３．複雑さが少ない好ましい実施例の白色バランシング
第３の好ましい実施例の白色バランシング法は、第１の好ましい実施例および第２の好ましい実施例の白色バランシング法の２つの実施の特徴、すなわち（ａ）同じ光源の異なる明るさのレベルの下で見かけのカラーを変えさせるＣｂＣｒ空間の中の輝度情報の不足、（ｂ）２次元のＣｂＣｒヒストグラムに関連する必要な処理時間およびメモリ使用料、を変更している。この第３の好ましい実施例の光源の得点法は、先行技術の好ましい実施例の方法を変更した実施例である。
【００４２】
第１の変更は、強度の影響をなくするためにカラー空間ｒ＝Ｒ／Ｇおよびｂ＝Ｂ／Ｇの中で動作することである。この空間により、異なる強度レベルまたは異なる明るさのレベルの下でＲＧＢの規格化が可能になる。けれども、ＣｂＣｒ空間とは異なって、類似のカラーが十分に定められた幾何学的領域の中に入らない。けれども、ｒｂ空間では、図８に示された部分領域ｒ≦２およびｂ≦２の中のニュートラル・カラーの近傍に入ることが分かる。その結果、プロトタイプ・カラーとレファレンス・カラーとの間の整合が、ニュートラル・カラーの付近を取り込んだこの部分領域に制限される。
【００４３】
第２の変更は、２次元のＣｂＣｒヒストグラムを用いる代わりに、ｒおよびｂに対応する２つの１次元のヒストグラムを用いることを含むことである。そこで、プロトタイプは１次元のヒストグラムの１次元のガウス型のコンボリューションによって形成されたフィールド関数のピークを横切って分けることにより定めることである。計算の便利のために、部分領域の中のｒ変数およびｂ変数を０ないし１５０のような範囲に尺度を変更する。再び、２つの好ましい実施例は、すなわち（１）実験的に決定されるようにガウス型の標準偏差を用い、（２）標準偏差のシーケンスを用い、そして持続性を決定する。この方式により、実施のための計算時間およびメモリ使用料が大幅に減少する。プロトタイプ・カラーを定めるために、１次元のフィールド関数の中に典型的には２個ないし３個のピークが生ずることに注目されたい。そしてニュートラルの部分領域の中の最も近いレファレンス・カラーと光源との組合わせに対する比較は、（１）少数のレファレンス・カラーと光源との組合わせと部分領域の中のプロトタイプ・カラーとによる２進数の得点を用いる２つの１次元比較（図９参照）、または（２）前記のように進み、そして得点を省略することができる、のいずれかであることができる。実際、カラーは、図８に示されたニュートラルの部分領域の右上の四半分の曲線に沿って入るのが典型的な場合である。
【００４４】
４．実際的な好ましい実施例
現実的な照明条件では、カラーは時間と共に少し揺らぐ。このようなカラーの揺らぎに対して安定した応答を得るために、時間的なメンバシップ（ｍｅｍｂｅｒｓｈｉｐ）が組み立てられる。このことは、どの色温度が時間的に最も長く続くかを見るために、多数のフレームを検査することを含んでいる。図１０は、６つのフレームの検査の後で７５００Ｋの色温度を識別するために、時間的なメンバシップの好ましい実施例が用いられた例を示した図である。特に、光源が１つのフレームの中で得点する時、その時にはその時間的得点が増分される。一方、光源が１つのフレームの中で得点するのに失敗した時、その時にはその時間的得点が減分される。光源の得点は５で飽和し、そしてこれらの得点は第１の好ましい実施例の表の中のカラー・チヤンネル利得でもって用いられる混合を決定する。
【００４５】
５．自動露出
図２のような好ましい実施例のシステムにおける好ましい実施例の自動露出法は、図１ｂによるように学習されたニューラル・ネットワーク方式を用いる。露出は、風景の異なる部分からカメラに到達する光の量を指すのに用いられる用語である。過剰に露出された画像は白っぽく褪色して見え、そして露出不足の画像は過剰に暗く見える。フィルムまたはＣＣＤセンサに到達する光の量は、主として２つの因子によって決定される。すなわち、シャッタ速度によって制御される露出時間、および開口部の寸法である。消費者用のディジタル・カメラでは、画像パイプライン・タスクの１つは自動露出（ＡＥ（ａｕｔｏ−ｅｘｐｏｓｕｒｅ））を有している。このモジュールにより、露出時間および開口部の寸法を自動的な方式で変えることによって正しい量の露出、すなわち正しい量の画像の明るさが得られる。ディジタル・カメラでは、シャッタ速度または露出時間を電気的にまたは機械的に制御することができる。シャッタ速度および開口部の寸法に加えて、ディジタル・カメラにおけるアナログ・フロント・エンド（ＡＦＥ（ａｎａｌｏｇ　ｆｒｏｎｔ　ｅｎｄ））の利得を用いて、感度を変えて露出の変更に導くことができる。
【００４６】
写真術では、絞りという用語は露出を２だけ変える因子を指すのに用いられる。換言すれば、１段階だけ絞りを変えて露出を増すことは光の量を２倍にすることであり、そして１段階だけ絞りを変えて露出を減らすことは光の量を半分にすることである。ビデオ・カメラでは、ユーザによってシャッタ速度は通常は固定され、そして自動露出は主として開口部の寸法を変えることによって達成される。ディジタル・カメラでは、自動露出を達成するためにシャッタ速度と開口部の寸法との両方が変えられる。
【００４７】
速度に関する絞りは、露出時間を２倍または半分にすることに翻訳される。これは、露出は露出時間に比例して変化するという事実によっている。ディジタル・カメラは、フィルム・カメラに出てくる速度に関する絞りのよく知られたシーケンス、すなわち
１，　１／２，　１／４，　１／８，　１／１５，　１／３０，　１／６０，　１／１２５，　１／２５０，　１／５００，　１／１０００，　１／２０００秒
にエミュレートされる。開口部に関する絞りは、開口部の面積を２倍または半分にすることが必要である。円形の開口部の場合には、これは虹彩の直径を２の平方根倍、すなわち１．４倍だけ開くまたは閉じることに翻訳される。開口部絞りは、レンズの焦点距離の分数を使って、すなわちよく知られているＦナンバを使って表される。すなわち
Ｆ／１，　Ｆ／１．４，　Ｆ／２，　Ｆ／２．８，　Ｆ／４，　Ｆ／５．６，　Ｆ／８，　Ｆ／１１，　Ｆ／１６，　Ｆ／２２
である。
【００４８】
写真術では、特定の量の露出に対するシャッタ速度と開口部の寸法との対を得るために、相互性の原則が用いられる。この原則は、シャッタ速度と開口部の寸法との間に相反関係が存在することを述べている。すなわち、次の式である。
【００４９】
【数７】

【００５０】
ここで、Ｅ_Ｖは露出値、Ｔ_Ｖはシャッタ速度値、およびＡ_Ｖは開口部の寸法値である。例えば、Ｅ_Ｖ＝１１の等価な露出値は、シャッタ速度（Ｔ秒）と開口部の寸法（Ａ）との次のような対、すなわち（１／２５０−Ｆ／２）、（１／６０−Ｆ／５．６）、および（１／１５−Ｆ／１１）を用いることによって得られる。ここで、Ｅ_Ｖは２を底とする対数で表される。
【００５１】
【数８】

【００５２】
ＡＥに関する限り、ディジタル・カメラは３つのモードで動作することができる。すなわち、（ａ）シャッタ速度と開口部の寸法との両方が自動的に設定されるプログラム・モード。（ｂ）シャッタ速度がユーザによって固定されるシャッタ優先モード。このモードは、通常は、高速で移動する物体を捉えるに用いられる。もしシャッタ速度が移動する物体の速度に十分に整合する程には高く設定されないならば、物体のぼやけた画像が得られる。（ｃ）開口部の寸法がユーザによって固定される開口部寸法優先モード。このモードは、通常は、視野の深度を制御するために用いられる。開口部が小さくなればなる程、風景の深さ方向のますます大きな部分が画像の中で鮮明に写るであろう。例えば、これは風景写真に対して選定されるモードである。開口部の寸法が大きくなればなる程、深さ方向のますます小さな部分が画像の中で鮮明に写るであろう。例えば、肖像写真の場合にこのモードを用いることにより、物体の近傍だけに焦点が鋭く合い、そして背景は焦点がずれてぼやける。
【００５３】
露出値は画像の明るさ（Ｂ_Ｖ）と感度（Ｓ_Ｖ）とに関係している、すなわち下記の式のように、露出値は画像の明るさ（Ｂ_Ｖ）と感度（Ｓ_Ｖ）との関数である。
【００５４】
【数９】

【００５５】
フィルム・カメラの感度はＩＳＯナンバに関係している。ディジタル・カメラでは、感度はアナログ・フロント・エンド（ＡＦＥ）の利得を変えることによって変えられる。感度またはＩＳＯを２倍にすることは、信号対雑音比（ＳＮＲ（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ　ｒａｔｉｏ））を約７０％だけ低下させる。フィルム・カメラと同様に、適切なＳＮＲを得るために感度は名目値に固定されることが多い。適切な照明がありそして比較的に動きのない物体に対する通常の写真の場合には、可能な最低のＩＳＯ設定または感度を用いることが勧められる。それは、その結果として、最も鮮明でそして最も明確な画像が得られるからである。感度を増すと画像の粒子の粗さが増すけれども、フラッシュの使用が禁止されている低い照明状態の場合には、それにより高い露出が得られる。
【００５６】
ＡＥにおける主な挑戦は、画像の明るさＢ_Ｖを露出値Ｅ_Ｖに関係させる方法である。換言すれば、（３）式の関数ｆをどのように定めるかである。カメラによっては、風景の平均の明るさを提供する計測デバイスまたはフォトセル・デバイスが備えられている。そこでは、平均の明るさに基づいて露出値を設定するために、ルック・アップ・テーブルが用いられる。画像の中の異なる部分領域の平均の明るさに基づいて露出値を設定するために、マトリックス法、センタ加重法のような種々の計測法が用いられている。それとは対照的に、自動露出の好ましい実施例ではこのような計測デバイスを用いない。
【００５７】
大抵の風景は、全体の明るさが中程度の灰色を生ずる。したがって最も多くの場合には、平均の輝度を用いることもより適切な露出が得られる。けれども、明るい砂浜の風景または雪で覆われた明るい風景のような場合には、平均の明るさは中程度の灰色よりもさらに明るいまたはさらに暗いことがある。このような状況の場合には、中程度の灰色方式は適切な露出レベルには導かない。これは、カメラによっては露出値を手動で１段階または２段階だけ変えることができる露出の補償を許容する理由である。また、明るい領域と暗い領域との両方を共存する風景では、明るい領域と暗い領域との両方の細部が保持される完全な露出レベルを達成することは非常に困難である。再びこのような状況に対しては、露出の補償を用いることが適切である。
【００５８】
ＡＥに対する先行技術の大部分は、ＡＥのためのビデオ・カメラおよびそれらの電子ハードウエアに関するものである。例えば、１つの画像が小さな部分画像のマトリックスに分割され、そしてこれらの部分画像の平均の明るさを用いて、レファレンスの明るさ値が組み立てられる。次に、このレファレンスの値が開口部の寸法を調整することによって到達される。シャッタ速度を設定するために、同様の方式が採用される。さらに、明るさを露出に関連づける多くの関係および規則が、実験を通して提供されている。
【００５９】
いくつかのディジタル・カメラ製造業者によって採用されているまた別の方式は、異なる照明条件に対して画像のサンプルを通して明るさと露出との関係を学習することである。例えば、ニコン（Ｎｉｋｏｎ）（Ｒ）Ｆ５カメラの場合には、下記のパタメータ、すなわち画像全体の明るさ、焦点を結んだ領域の明るさ、画像全体のコントラスト、画像の下側部分および上側部分のコントラスト、色温度、焦点の位置、および物体からの距離を露出値に関係づけるために、３０，０００個のサンプル画像を用いてニューラル・ネットワーク・モジュールを学習した。
【００６０】
前記の２つの方式の間で、例示された方式による学習によって、多くの異なる照明条件および多くの異なる種類の写真術を取り込んでいるという事実により、さらに確固とした解決法が得られる。けれども、このような方式は、異なる照明条件の下で捉えられた画像に関する大量のデータベースを入手することが必要である。
【００６１】
好ましい実施例の自動露出法は、要求された露出を得るために、すなわちシャッタ速度および／または開口部寸法を変更するために、バック・プロパゲーション・ニューラル・ネットワークを用いることにより例示された方式による学習を採用する。この好ましい実施例の方法は、１つの画像から多数の輝度値を引き出す。次に、適切な露出値を出力として得るために、これらの値は学習されたニューラル・ネットワークに送られる。
【００６２】
好ましい実施例の方法は、１つの画像を５つの領域に分割する、すなわち前面の中央領域、上側領域、下側領域、左側領域、および右側領域に分割する（図１ｃを参照）。この分割を実行することにより、風景写真や肖像写真において異なる領域に異なる強調や異なる加重を行うことが必要であるが、このような異なる種類の写真術に対してＡＥを適合させることができる。これらの領域に対する平均の輝度、輝度の変動、最小の輝度、および最大の輝度を決定するために、これらの領域のおのおのに対してヒストグラムを用いる。その平均は平均の明るさに対応し、そしてその変動はコントラストに対応する。コントラストは、画像の中の明るさの尖鋭さの尺度である。輝度の時間的な変化のすべてをネットワークの中に取り込むために、同じ空間的情報がそれ以前のいくつかのフレームに対して計算される。したがって、ネットワークの中の入力またはセルの数は全部で２０（５つ領域と、１つの領域当たりの４段階の輝度目盛りとの積）である。最小の２乗平均エラーを生成するために、隠された層のネットワーク・セルの数が実験によって決定される。出力セルの数は、このネットワークがそれに対して学習された露出値の変化に応じて変わる。
【００６３】
また別の好ましい実施例のＡＥでは、１つの画像を多くの（例えば、６４個の）部分領域にさらに分割し、そしてこれらの部分領域のおのおのの中で４つの入力（平均の輝度、輝度の分散、最小の輝度、および最大の輝度）を計測し、そして学習されたニューラル・ネットワークをＡＥに対する　２５６個（１つの部分領域当たりに４個の入力と６４個の部分領域との積）の入力と共に用いる。
【００６４】
ニューラル・ネットワーク・モジュールに加えて、さらに自動露出の好ましい実施例は、このニューラル・ネットワークによってモデル化されない低レベルの光の状況に対して設計された第２のモジュールを有する。このような状況の下で感度および明るさのレベルを増大するために、この第２のモジュールはアナログ・フロント・エンドの利得を調整する。このようにして、ＡＦＥ利得がその画像の平均の輝度に対して調整される。
【００６５】
６．変更
これらの好ましい実施例は、平均の輝度、輝度の分散、最小の輝度、および最大の輝度の入力に関して訓練されたニューラル・ネットワークによって、カラー空間および自動露出の中で１組のレファレンス・カラーと光源との組み合わせに対してプロトタイプ画像カラーを比較することに基づいて、光源の得点の１つまたはさらに多くの特徴を保持したまま、種々の方法で変更することができる。
【００６６】
例えば、ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）およびｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）によって定義されるｒ−ｂカラーのような他のカラー空間を用いることができる。閾値法でもってセクタに分けることを置き換える段階、自動露出輝度計測のために画像を領域に分割する段階は、長方形でない領域（例えば、楔形の領域）を含むことができるであろう。
【００６７】
関連する出願
本出願は、２００１年６月２５日受付のシリアル番号第６０／３００，６２７号の暫定出願からの優先権を主張する。２０００年８月４日受付のシリアル番号第０９／６３２，５４３号の出願中特許は、関連する主題を開示している。参照されるこれらの出願は、本出願と同じ譲渡人に譲渡されている。
【００６８】
以上の説明に関して更に以下の項を開示する。
（１）　（ａ）　１つの画像から複数のプロトタイプ・カラーを引き出す段階と、
（ｂ）　前記プロトタイプ・カラーの中の第１のプロトタイプ・カラーに対し、１つの光源を選定するために複数の光源の下で前記第１のプロトタイプ・カラーを複数のレファレンス・カラーと比較する段階と、
（ｃ）　段階（ａ）で引き出された前記プロトタイプ・カラーのおのおのに対し段階（ｂ）を繰り返す段階と、
（ｄ）　前記画像に対するカラー利得を決定するために段階（ｂ）〜段階（ｃ）の前記選定された光源を組み合わせる段階と、
を有する白色バランシングの方法。
（２）　第１項記載の方法において、
（ａ）　前記プロトタイプ・カラーが２次元のカラー空間の中にある方法。
（３）　第１項記載の方法において、
（ａ）　第１項の段階（ａ）のプロトタイプ・カラーを引き出す前記段階が
（ｉ）　前記入力画像のカラーのヒストグラムでもって平滑化カーネルをコンボリュートする段階と、
（ｉｉ）　段階（ｉ）の結果の局所的最大を見い出す段階と、
（ｉｉｉ）　複数の平滑化カーネルでもって段階（ｉ）および段階（ｉｉ）を繰り返す段階と、
（ｉｖ）　段階（ｉ）〜段階（ｉｉｉ）の結果から前記プロトタイプ・カラーを選定する段階と、
を有する方法。
（４）　第３項記載の方法において、
（ａ）　第３項記載の段階（ａ）（ｉｖ）の前記選定段階が複数の前記平滑化カーネルに対する局所的最大の数を評価する段階を有する方法。
（５）　第１項記載の方法において、
（ａ）　第１項記載の段階（ｂ）の前記比較段階がカラー空間のセクタの中で前記光源のおのおのの下における前記レファレンス・カラーと前記プロトタイプ・カラーとの間の距離を見い出す段階を有する方法。
（６）　第１項記載の方法において、
（ａ）　第２の画像に対して第１項記載の段階（ａ）〜段階（ｄ）を繰り返す段階と、
（ｂ）　前記第２の画像に対する先行する段階（ａ）の結果でもって前記画像に対する第１項記載の前記段階（ｄ）の前記カラー利得を調整する段階と、
をさらに有する方法。
【００６９】
（７）　（ａ）　白色バランシングが（ｉ）入力画像からプロトタイプ・カラーを引き出すために動作し、（ｉｉ）前記プロトタイプ・カラーのおのおのに対し複数の光源の下における記憶されたレファレンス・カラーと前記プロトタイプ・カラーとを比較するために動作し、（ｉｉｉ）前記画像に対するカラー・チヤンネル利得を決定するために段階（ｉｉ）〜段階（ｉｉｉ）の選定された前記光源を組み合わせるために動作する前記白色バランシングを有する画像パイプライン。
（８）　（ａ）　１つの画像をいくつかの領域に分割する段階と、
（ｂ）　前記領域の各々に対し輝度の平均、輝度の分散、輝度の最小、および輝度の最大を引き出す段階と、
（ｃ）　段階（ｂ）の結果から露出を決定する段階と、
を有する自動露出の方法。
（９）　第８項記載の方法において、
（ａ）　第１項記載の前記段階（ｃ）の前記決定段階が訓練されたニューラル・ネットワークで行われる方法。
（１０）　第８項記載の方法において、
（ａ）　１つの画像の前記領域が前面の中央の領域と、上側領域と、下側領域と、左側領域と、および右側領域とを有する方法。
（１１）　（ａ）　輝度の平均と、輝度の分散と、輝度の最小と、および輝度の最大との入力に対し露出を出力するために訓練されたニューラル・ネットワーク、
を有するカメラ露出制御。
（１２）　ディジタル・カメラに有用である自動白色バランシングおよび／または自動露出は、種々の色温度の光源の下にあるレファレンス・カラーと画像のカラーとを比較することからカラー・チヤンネル利得を引き出し、および／または訓練されたニューラル・ネットワークでもって、１つの画像の複数の領域の中の輝度の平均、輝度の分散、輝度の最小、および輝度の最大から露出の設定を引き出す。
【図面の簡単な説明】
【図１ａ】好ましい実施例の自動白色バランシング法および自動露出法に対する流れ図および画像の分割を示した図。
【図１ｂ】好ましい実施例の自動白色バランシング法および自動露出法に対する流れ図および画像の分割を示した図。
【図１ｃ】好ましい実施例の自動白色バランシング法および自動露出法に対する流れ図および画像の分割を示した図。
【図２】カメラ・システムを示した図。
【図３】ヒストグラムおよび好ましい実施例のフィールド関数のピークを示した図。
【図４】好ましい実施例の光源の得点を示した図。
【図５】実験結果を示した図。
【図６】実験結果を示した図。
【図７】実験結果を示した図。
【図８】カラー空間を示した図。
【図９】好ましい実施例の１次元ヒストグラムの比較および得点を示した図。
【図１０】好ましい実施例の時間的な得点を示した図。

Claims (1)

1. （ａ）　１つの画像から複数のプロトタイプ・カラーを引き出す段階と、
   （ｂ）　前記プロトタイプ・カラーの中の第１のプロトタイプ・カラーに対し、１つの光源を選定するために複数の光源の下で前記第１のプロトタイプ・カラーを複数のレファレンス・カラーと比較する段階と、
   （ｃ）　段階（ａ）で引き出された前記プロトタイプ・カラーのおのおのに対し段階（ｂ）を繰り返す段階と、
   （ｄ）　前記画像に対するカラー利得を決定するために段階（ｂ）〜段階（ｃ）の前記選定された光源を組み合わせる段階と、
   を有する白色バランシングの方法。

Images