JP2005136997A - 取り込まれた画像を補正するシステム及び方法 - Google Patents

Abstract

【課題】 取り込まれた画像を補正するシステム及び方法を提供する。
【解決手段】 補助照明源により提供される補助照明に対応する第１のホワイトバランス補正値を用いて、ストロボ照明画像データ及び非ストロボ照明画像データに対してホワイトバランス補正を行うステップと、前記第１のホワイトバランス補正値を用いて補正された前記ストロボ照明画像データと、前記第１のホワイトバランス補正値を用いて補正された前記非ストロボ照明画像データとの間の差を求めるステップと、周辺照明に対応する第２のホワイトバランス補正値を用いて前記非ストロボ照明画像データに対してホワイトバランス補正を行うステップと、前記第２のホワイトバランス補正値を用いてホワイトバランス補正された前記非ストロボ照明画像と前記差とを組み合わせるステップとを含む。
【選択図】 図５

Description

本発明は、包括的には取り込まれた画像を補正するシステム及び方法に関し、さらに詳しくは、画像の二重ホワイトバランス補正システム及びその方法に関する。

通常、低い周辺照明条件下にある屋内で画像を取り込むには、ストロボ又はフラッシュ装置を使用して、画像取り込み中に補助照明を提供する必要がある。ストロボ又はフラッシュ装置から提供される光は、通常、自然光の特性に近い光特性を有する。

光特性は、放たれる光の色温度により記述することができる。色温度は、特定の色特性又は色相の光が黒体放射器から放たれるときの黒体放射器の温度に対応する。例えば、晴れた日の正午の周辺屋外光はおよそ５，５００〜６，５００度ケルビン（°Ｋ）の色温度を示す。燃えている蝋燭は１，８５０°Ｋの色温度を示し、これは黄色がかった色相に対応する。

ストロボ又はフラッシュ装置の色温度は５，０００°Ｋ〜６，０００°Ｋの範囲である。多くの場合、周辺照明の提供に屋内で使用される白熱灯の光は、２，５００°Ｋ〜２，７００°Ｋの範囲の色温度を示す。白熱灯の光は、黄色の色相を被写体に提供する。蛍光灯照明も使用されることの多い別の屋内照明源である。蛍光灯照明は、「白色」蛍光灯の場合には３，４００°Ｋ〜４，２００°Ｋの範囲の色温度を示し、緑がかった光になる。全スペクトル蛍光灯は、５，８５０°Ｋの色温度を示すことができ、より自然な光になる。

ストロボ又はフラッシュ装置からの補助照明がなく、周辺光が蛍光灯照明又は白熱灯照明により提供される状況で画像を屋内で取り込む場合には、取り込まれた画像は、それぞれ緑がかった色相又は黄色がかった色相を有する被写体を示すことになる。従って、取り込まれた画像中の被写体が自然な太陽光条件下で見えるように、取り込まれた画像に色補正を提供することが望ましい。

ストロボレンズにフィルタを取り付けて、色補正を提供することができる。しかし、撮影者は、特定の照明状況に適切なフィルタを選択することができる、照明理論及び画像取り込み技法についての深い知識を有していなければならない。

特定種類のフィルムが、フィルムベースの画像取り込み装置向けに開発されている。従って、撮影者は、特定の照明状況に対する色補正を提供するように構成された特定種類のフィルムを挿入しなければならない。このような特殊フィルムは初心者の撮影者により容易に使用されるものであるが、一旦装填すると、（別種のフィルムが必要になるように）照明条件が変わる前に特殊フィルムの全ロールを使用しなければならない。又はそうせずにロールが使用されない場合、ロールを巻き戻さなければならず、従って未使用のフィルムを後で使用することはできない。

デジタルカメラによっては、色補正アルゴリズムを採用するものがある。このようなアルゴリズムは、画像取り込み時に検知された周辺光条件を解釈する。取り込まれた画像の電子データが処理されて保存されるとき、取り込まれた画像データは、適切な色補正を提供するように調整される。補正は、ストロボ又はフラッシュ装置により提供される補助照明の有無を基にすることができる。デジタルカメラによって提供される色補正は、補正を高い程度まで自動化することができるという点で非常に都合がよい。従って、初心者の撮影者であっても適度な品質の色補正がなされた取り込み画像を撮影することができる。

しかし、ストロボ又はフラッシュ装置からの補助照明を用いて画像を取り込む上記技法は、いずれも、ストロボ又はフラッシュ装置からの補助照明が投じられる距離が限られていることの影響には対処していない。さらに、ある種類のストロボ又はフラッシュ装置を使用する場合には、レンズ及び／又は反射板を使用して補助照明を特定の方向に投じるという点で補助照明の範囲が制限される。

従って、取り込まれた画像の領域によっては、照明するには遠すぎるため、又はストロボ又はフラッシュ装置により提供される光の投射範囲内にないため、ストロボ又はフラッシュ装置からの補助照明を全く受けない、或いは比較的少ししか受けないところがある。このような領域は、周囲照明条件の色相を示すことになる。例えば、取り込まれた画像の背景にある被写体は、背景領域の周辺光が白熱灯により提供される場合は黄色がかった色相を示し得る。取り込まれた画像の全ての部分が、自然な照明条件をより厳格に表す色相を示すように、こういった領域に色補正を提供することが望ましい。

本発明は、取り込まれた画像を補正するシステム及び方法を提供する。簡単に説明すると、一実施形態は、補助照明源により提供される補助照明に対応する第１のホワイトバランス補正値を用いて、ストロボ照明画像データ及び非ストロボ照明画像データに対してホワイトバランス補正を行うステップと、第１のホワイトバランス補正値を用いて補正されたストロボ照明画像データと、第１のホワイトバランス補正値を用いて補正された非ストロボ照明画像データとの間の差を求めるステップと、周辺照明に対応する第２のホワイトバランス補正値を用いて非ストロボ照明画像データに対してホワイトバランス補正を行うステップと、第２のホワイトバランス補正値を用いてホワイトバランス補正された非ストロボ照明画像と前記差とを組み合わせるステップと、を含む方法である。

別の実施形態は、ストロボ照明画像データと非ストロボ照明画像データとの間の差を求めるステップと、補助照明源により提供される補助照明に対応する第１のホワイトバランス補正値を用いて前記差に対してホワイトバランス補正を行うステップと、周辺光に対応する第２のホワイトバランス補正値を用いて非ストロボ照明画像データに対してホワイトバランス補正を行うステップと、及び第２のホワイトバランス補正値を用いてホワイトバランス補正された非ストロボ照明画像と前記差とを組み合わせるステップと、を含む。

本特許ファイルすなわち出願ファイルは、少なくとも１枚のカラーで実施される図面を含む。

図面中の構成要素は、必ずしも互いに相対して一定の比率で拡大縮小されたものではない。同様の参照番号は、何枚かの図面全体を通して対応する部分を示す。

図１は、画像取り込み装置１０２において実施される二重ホワイトバランス補正システム１００の一実施形態が、フラッシュ装置（照明源）３１８（図３参照）及び別の光源により照明された画像を取り込む場合の環境を図示するためのものである。二重ホワイトバランス補正システム１００の実施形態は、フラッシュ装置３１８又は別のストロボ光源が画像取り込み中に補助照明を提供する場合に、取り込まれた画像に二重ホワイトバランス補正を提供する。

対象被写体１０４は、複数のタオル，植物，及びテーブル１０６の上に据えてある他の被写体である。二重ホワイトバランス補正システム１００は、フラッシュ装置３１８からの補助照明なしで取り込まれた非ストロボ照明取り込み画像、及び、フラッシュ装置３１８からの補助照明を使用して取り込まれたストロボ照明取り込み画像にそれぞれ対応する取り込み画像データを処理する。２つの画像を処理して、単一生成画像に二重ホワイトバランス補正を提供する。２つの画像（フラッシュ装置３１８からの補助照明があるもの、及び、それがないもの）は、第１のホワイトバランス補正値を用いて処理される。次に、差分画像コントリビューション（differential image contribution；画像寄与差分）が求められる。差分画像コントリビューションは、フラッシュ装置が画像取り込み中に起動された場合に、フラッシュ装置３１８により提供される照明により得られる取り込み画像の部分に対応する。次に、非ストロボ照明取り込み画像データが、第２のホワイトバランス補正値を用いて処理される。この補正された非ストロボ照明画像データは、差分画像コントリビューションと組み合わせられる。従って、その結果として得られる画像は、二重ホワイトバランス補正を用いて処理されている。

フロアランプ１１６は、部屋１０８に照明を提供する。フロアランプ１１６により提供される照明の範囲は比較的限られるため、対象被写体１０４及び壁部分１１４は、壁部分１１２と比較して比較的大量の照明をフロアランプ１１６から受ける。フロアランプ１１６は、白熱灯から照明が提供されるものと想定する。

対象被写体１０４及び壁部分１１４はフロアランプ１１６から光を受けており、壁部分１１２は離れたフロアランプ１１６から主に照明されるため、対象被写体１０４及び壁部分１１４は、壁部分１１２よりも明るく照明される。

さらに、２，５００°Ｋ〜２，７００°Ｋ範囲の色温度を特徴とする、フロアランプ１１６からの照明を提供する白熱灯により、壁部分１１２及び１１４、並びに、対象被写体１０４は、いくらか「黄色がかった」色相で照明される。

人物１１８が、対象被写体１０４、並びに、壁部分１１２及び１１４を含む背景の画像を取り込むと、取り込まれた画像の部分の照明は、不十分になる。従って、フラッシュ装置３１８（図３参照）又は遠隔ストロボ（照明源）１２０を起動して、画像取り込み中に補助照明を提供する。フラッシュ装置３１８の色温度は、およそ５，０００°Ｋ〜６，０００°Ｋの範囲である。フラッシュ装置３１８により照明される被写体は、フラッシュ装置３１８により提供される照明の色温度を一部的に特徴とする色温度を示す。しかし、フラッシュ装置３１８が照明を提供する距離及び投射範囲は限られているため、壁部分１１２及び１１４に対して、画像取り込み中にフラッシュ装置３１８により提供される照明は、比較的少ない。従って、壁部分１１２及び／又は１１４は、対象被写体１０４よりも相対的に明るさが劣る。さらに、壁部分１１２及び１１４は、フロアランプ１１６により照明されるので黄色がかった色相を有する。

図２（Ａ）〜（Ｆ）は、二重ホワイトバランス補正システム１００の実施形態により処理された一連の画像Ａ〜Ｆを示す。二重ホワイトバランス補正システム１００は、フラッシュ装置３１８（図３参照）又は別のストロボ光源が画像取り込み中に補助照明を提供する場合に、取り込まれた画像に二重ホワイトバランス補正を提供する。便宜上、以下において、「ストロボ・オン」という語句は、補助照明がフラッシュ装置３１８又は別のストロボ光源の起動により提供される場合の画像の取り込みを指す。また、以下において、「ストロボ・オフ」という語句は、照明が周辺光源（補助照明がフラッシュ装置３１８又は別のストロボ光源により提供されない）により提供される場合の画像の取り込みを指す。便宜上、以下において、「フラッシュ装置３１８」という語句は、起動されると、画像取り込み中に補助照明を提供するフラッシュ装置３１８及び／又は他の任意の適したストロボ装置を指す。

二重ホワイトバランス補正システム１００の実施形態は、２つの画像取り込み時間間隔を適宜短くして２つの画像を連続して取り込む。１枚の画像は、便宜上、本明細書では以下において「ストロボ照明」画像と呼ぶ、フラッシュ装置３１８により提供される補助照明を用いて取り込まれる（ストロボ・オン）。もう１枚の画像は、便宜上、本明細書では以下において「非ストロボ照明」画像と呼ぶ、周辺光のみを用いて取り込まれる（ストロボ・オフ）。画像は、「ストロボ・オン、ストロボ・オフ」の順序で取り込んでも、また「ストロボ・オフ、ストロボ・オン」の順序で取り込んでもよい。２つの画像を取り込む間の時間は比較的短いため、画像に対応する処理済みデータは、被写体の移動に起因する知覚可能な画像の歪みなしで組み合わせることができる。

ストロボ照明画像及び非ストロボ照明画像に関連する取り込み画像データの処理は、取り込まれた画像データにホワイトバランス補正を提供する任意の適したホワイトバランス補正アルゴリズムにより実行することができる。処理は、画像処理ストリーム中の任意の適した時点で行うことができる。二重ホワイトバランス補正システム１００のいくつかの実施形態では、フォトセンサ３１０（図３参照）中のピクセルから受け取る光情報の値を調整することにより、取り込まれた画像データを補正する。すなわち、フォトセンサ３１０のピクセルから受け取る生のデータは、画像圧縮前に調整される。従って、個々のピクセルからの電圧レベル対応する電圧レベル又は値を調整することができる。他の実施形態では、データ処理パイプラインの後のポイントで光情報を調整する。限定ではなく例として、複数のピクセルからの光情報を処理して、ピクセル群により検出される赤，青，及び緑の色強度を表す８ビット又は１６ビットを有するデータにすることができる。従って、８ビット又は１６ビットデータの部分が、二重ホワイトバランス補正システム１００の実施形態によって調整される。別の例として、ホワイトバランス補正は、圧縮された共同写真専門家団体（Joint Photographics Experts Group）（ＪＰＥＧ）フォーマットデータに対して実行することができる。画像データが二重ホワイトバランス補正システム１００の実施形態により補正されるように、任意の形のデータファイル又はデータフォーマットをデータ処理パイプラインのいずれの段階でも処理することができることが認められる。

図２（Ａ）は、第１のホワイトバランス色値を用いてホワイトバランス補正された「ストロボ照明」画像を示す。第１のホワイトバランス色値は、フラッシュ装置３１８（図３参照）により提供される補助照明のおおよその色温度に対応する。図２（Ｂ）は、第１のホワイトバランス色値を用いてホワイトバランス補正された「非ストロボ照明」画像を示す。説明を目的として、５，５００°Ｋに対応する値が第１のホワイトバランス色値（ＷＢ）として用いられる。

図２（Ｃ）は、補正ストロボ照明画像データと補正非ストロボ照明画像データ（それぞれ、第１のホワイトバランス色値を使用してホワイトバランス補正されたデータ）の差に対応する差分画像コントリビューションを示す。差分画像コントリビューションは、画像処理ストリーム中の任意の適した時点で求めることができる。

図２（Ｄ）は、第２のホワイトバランス色値を用いてホワイトバランス補正された非ストロボ照明画像を示す。第２のホワイトバランス色値は、周辺光のおおよその色温度に対応する。この説明に役立つ例では、周辺光は白熱灯により提供される。従って、第２のホワイトバランス色値は、白熱光のおおよその色温度に対応する。

図２（Ｅ）は、ここでも差分画像コントリビューションを示す。図２（Ｆ）は、第２のホワイトバランス色値を用いて補正された、ホワイトバランス補正された非ストロボ照明画像が、差分画像コントリビューションと組み合わせられたときに生成される二重ホワイトバランス補正画像である。図２（Ｆ）の画像は、図２（Ｄ）及び図２（Ｅ）に関連する画像データを画像処理ストリーム中の任意の適した時点で組み合わせることによって生成することができる。

図３は、便宜上デジタルカメラ３０２として示す画像取り込み装置において実施される二重ホワイトバランス補正システム１００の一実施形態を示すブロック図である。二重ホワイトバランス補正システム１００の実施形態では、画像取り込み中に補助照明を提供するストロボ又はフラッシュ装置を使用して画像を取り込むように構成されたいずれの電子装置にも等しく適用することが可能である。限定ではなく例として、代替の実施形態は、デジタルビデオカメラ，個人情報端末（ＰＤＡ），カメラを採用した電話若しくはコンピュータ，又は他の撮像システムを含む。

図３は、二重ホワイトバランス補正システム１００の一実施形態を有するデジタルカメラ３０２の選択された外部及び内部の構成要素を示す。選択された内部構成要素は、切り欠き線３０４Ａと３０４Ｂの間に示されている。選択された内部構成要素は、カメラプロセッサ３０６，メモリ３０８，及びフォトセンサ３１０を含む。一実施形態では、メモリ３０８は、取り込まれた画像データを記憶するように構成された取り込み画像データ領域３１２、及び、取り込まれた画像の二重ホワイトバランス補正を求めるロジックを記憶するように構成された二重ホワイトバランス（ＷＢ）補正ロジック３１４をさらに備える。

デジタルカメラ３０２の選択された外部構成要素は、レンズ３１６，フラッシュ装置３１８，シャッタボタン３２０，コントローラ３２２，及びディスプレイ３２４を含む。便宜上、ディスプレイ３２４は、デジタルカメラ３０２の上部に示される。他の実施形態では、ディスプレイ３２４は、デジタルカメラ３０２の別の適した位置に配置される。

フォトセンサ３１０は、対象被写体の画像をフォトセンサ３１０上に合焦して取り込むことができるような、レンズ３１６の背後の適した位置に配置される。一実施形態では、ディスプレイ３２４は、レンズ３１６を通して現在見えており、フォトセンサ３１０により検出される画像のビューを表示し、このビューを本明細書ではプレビュー画像と呼ぶ。

対象被写体の画像を取り込む前に、デジタルカメラ３０２の操作者は、被写体のプレビュー画像をディスプレイ３２４で見る。ユーザは、プレビュー画像の性質及び特徴に満足すると、シャッタボタン３２０を起動し、それによってストロボ照明又は非ストロボ照明の画像が取り込まれることになる。ストロボ照明画像及び非ストロボ照明画像は、一実施形態では、取り込み画像データ領域３１２に保存される。別の実施形態では、ストロボ照明画像及び非ストロボ照明画像は、取り外し可能なメモリユニット４１８（図４参照）に保存される。

プロセッサ３０６は、二重ホワイトバランス補正ロジック３１４を検索して実行する。取り込まれた画像データは、上に記述して、図２（Ａ）〜（Ｆ）に示したように、第１のホワイトバランス補正値及び第２のホワイトバランス補正値を用いてホワイトバランス補正される。差分画像コントリビューションが、第１のホワイトバランス補正値を用いてそれぞれホワイトバランス補正された「ストロボ照明」画像データと「非ストロボ照明」画像データとの間の差から求められる。便宜上、「ストロボ照明」画像データは、フォトセンサ３１０（図３参照）により検出されたストロボ照明画像から生成されたデータに対応する。「非ストロボ照明」画像データは、非ストロボ照明画像から生成されたデータに対応する。

取り込まれた非ストロボ照明画像データは、第２のホワイトバランス補正値を用いて補正される。この補正された非ストロボ照明取り込み画像データは、次に、差分画像コントリビューションと組み合わせられて、二重ホワイトバランス補正画像（図２（Ｆ）参照）が生成される。

コントローラ３２２を採用する実施形態では、ユーザが二重ホワイトバランス補正システム１００を選択的に起動することができる。二重ホワイトバランス補正システム１００は、起動されると、取り込まれた画像データを補正する。起動されない場合には、画像取り込み装置３０２は、二重ホワイトバランス補正なしで画像を取り込む。他の実施形態では、二重ホワイトバランス補正システム１００の起動は、メニューシステム等の選択可能な機能として実施される。いくつかの実施形態では、二重ホワイトバランス補正システム１００の起動は、画像がフラッシュ装置３１８からの補助照明を使用して取り込まれるいずれのときにも、二重ホワイトバランス補正システム１００が取り込まれた画像を自動的に補正するようになっており、選択可能な機能ではない。

二重ホワイトバランス補正ロジック３１４は、照明条件に対応する複数のホワイトバランス補正値を含む。１つのホワイトバランス補正値は、フラッシュ装置３１８の色温度におおよそ対応する。別のホワイトバランス補正値は、遠隔ストロボ１２０（図１参照）の色温度におおよそ対応する。別のホワイトバランス補正値は、フロアランプ１１６からの照明の色温度におおよそ対応する。さらに別のホワイトバランス補正値は、雲った若しくは陰った状況、又は夕闇若しくは夜明けの状況等であるが、これらに限定されない、低光条件での自然な光からの照明の色温度におおよそ対応する。関心のある任意の予め選択されたホワイトバランス補正値を二重ホワイトバランス補正ロジック３１４に含めることができることが認められる。さらに、一実施形態では、ホワイトバランス補正値は、ユーザにより指定される。

一実施形態では、適正なホワイトバランス補正値は、画像取り込み時の照明条件の解析に基づいて求められる。フォトセンサ３１０から受け取られる画像データが解析され、照明条件が求められ、適正なホワイトバランス補正値が選択される。別の実施形態では、コントローラ３２２は、ユーザが所望のホワイトバランス補正値を選択できるようにするように構成することができる。別の実施形態では、ホワイトバランス補正値は、メニューシステムを介してユーザにより選択することが可能である。

図４は、処理システム（処理装置）４０２において実施される二重ホワイトバランス補正システム１００の一実施形態を示すブロック図である。処理システム４０２の非限定的で例示的な一実施形態は、パーソナルコンピュータである。別の例示的な実施形態は、ラップトップコンピュータである。処理装置４０２は、プロセッサ４０４及びメモリ４０６を備える。取り込まれた画像データは、メモリ４０６の取り込み画像データ領域４０８に記憶される。二重ホワイトバランス補正ロジック４１０がプロセッサ４０４により実行されると、二重ホワイトバランス画像補正が提供される。

画像取り込み装置３０２の一実施形態では、画像取り込み装置３０２は、ハードワイヤ接続４１２を介して取り込まれた画像データを処理システム４０２に転送する。接続４１２は、プラグインアタッチメント４１４に接続される。プラグインアタッチメント４１４は、画像取り込み装置３０２のプラグイン通信インタフェース４１６に接続するように構成される。ユーザは、単に、プラグインアタッチメント４１４をプラグイン通信インタフェース４１６に接続するだけで、それによって画像取り込み装置３０２と処理システム４０２の間に接続が確立される。ユーザは、次に、処理システム４０２及び／又は画像取り込み装置３０２に、取り込まれたデジタル画像データを画像取り込み装置３０２（図３に示すメモリ３０８に常駐している取り込み画像データ領域３１２）から画像データ領域４０８に転送するように命令する。

画像取り込み装置３０２の別の実施形態では、取り込まれた画像データは、メモリユニット４１８に記憶される。画像取り込み装置３０２を使用して画像を取り込む場合には、メモリユニット４１８は、破線パス４２２で示すようにメモリユニットインタフェース４２０を通して画像取り込み装置３０２に接続される。取り込まれた画像データは、メモリユニット４１８を画像取り込み装置３０２から取り外し、そのメモリユニット４１８をメモリインタフェース４２４に接続することによって処理システム４０２に転送される。通常、破線パス４２６に示すように、メモリユニット４１８が処理システム４０２に直接接続されるように、都合のよい接続ポート又はインタフェース（図示せず）が処理システム４０２の表面に設けられる。メモリユニット４１８がメモリインタフェース４２４に接続されると、取り込まれた画像データが画像データ領域４０８に転送される。

取り込まれたストロボ照明画像データ及び非ストロボ照明画像データが画像データ領域４０８に転送されると、プロセッサ４０４は、二重ホワイトバランス補正ロジック４１０を実行し、二重ホワイトバランス補正画像を生成することができる。別の実施形態では、プロセッサ４０４は、取り込まれたストロボ照明画像データ及び非ストロボ照明画像データを画像取り込み装置３０２から受け取ると二重ホワイトバランス補正ロジック４１０を実行し、二重ホワイトバランス補正画像を生成する。従って、二重ホワイトバランス補正画像が生成され、画像データ領域４０８に記憶される。

図５は、取り込まれた画像に二重ホワイトバランス補正を提供する、本発明によるプロセスの一実施形態を示すフローチャート５００である。図５のフローチャート５００は、画像取り込み装置３０２において実施される二重ホワイトバランス補正ロジック３１４（図３参照）の一実施形態及び／又は処理システム４０３において実施される二重ホワイトバランス補正ロジック４１０（図４参照）の一実施形態の構造，機能，及び動作を示す。代替の実施形態は、状態機械（state machine；ステートマシン）として構成されたハードウェアを使用してフローチャート５００のロジックを実施する。この点に関して、各ブロックは、指定の論理機能を実施する１つ又は複数の実行可能命令を含むモジュール，セグメント，又はコードの一部を表すことができる。いくつかの代替の実施態様では、ブロックに記された機能は図５に記す順序外で実行してもよく、また追加の機能を包含してもよいことにも留意されたい。例えば、以下さらに明確にするように、関わる機能に応じて、図５において連続して示される２つのブロックを実際には実質的に同時に実行してもよく、そのブロックを時には逆の順序で実行してもよく、またそのブロックのいくつかを全ての場合で実行してなくてもよい。本明細書では、このような変更及び変形は全て本発明の範囲内に含まれるものと意図される。

プロセスは、ブロック５０２において開始する。ブロック５０４において、ストロボ照明画像データ及び非ストロボ照明画像データが、補助照明源により提供される補助照明に対応する第１のホワイトバランス補正値を用いてホワイトバランス補正される。ブロック５０６において、第１のホワイトバランス補正値を用いて補正されたストロボ照明画像データと、第１のホワイトバランス補正値を用いて補正された非ストロボ照明画像データとの間の差が求められる。ブロック５０８において、周辺光に対応する第２のホワイトバランス補正値を使用して、非ストロボ照明画像データがホワイトバランス補正される。ブロック５１０において、第２のホワイトバランス補正値を用いてホワイトバランス補正された非ストロボ照明画像と上記の差とが組み合わせられる。プロセスは、ブロック５１２において終了する。

別の実施形態では、第１の非ストロボ照明画像が周辺照明条件下で取り込まれる。第２のストロボ照明画像が、上記フラッシュ装置３１８（図３参照）、遠隔ストロボ１２０（図１参照）等の補助照明源からの追加照明を用いて取り込まれる。画像は、「ストロボ・オン、ストロボ・オフ」の順序で取り込まれても、また「ストロボ・オフ、ストロボ・オン」の順序で取り込まれてもよい。次に、差分画像コントリビューションが、非ストロボ照明画像（周辺照明のみ）とストロボ照明画像（補助照明あり）との間の差から求められる。差分画像コントリビューションは、補助照明に対応するホワイトバランス補正値を用いてホワイトバランス補正される。非ストロボ照明画像は、周辺照明に対応するホワイトバランス補正値を用いてホワイトバランス補正される。次に、補正された差分画像コントリビューションが、補正された第２の画像に付加される。

上記実施形態では、ストロボ照明画像及び非ストロボ照明画像の露出時間は、同一又は略同じである。別の実施形態では、ストロボ照明画像及び非ストロボ照明画像の露出時間は異なる。ストロボ照明画像及び非ストロボ照明画像が同じ露出時間を有する場合には、ストロボの寄与（差分画像コントリビューション）は、上述のように非ストロボ照明画像データとストロボ照明画像データとの間の差により求められる。しかし、ストロボ照明画像が異なる露出時間を有する場合には、以下の式により差分画像コントリビューションを求めることができる。
Ｉｎ＝非ストロボ照明画像 Ｔｎ＝非ストロボ照明画像露出時間
Ｉｓ＝ストロボ照明画像 Ｔｓ＝ストロボ照明画像露出時間
差分画像コントリビューション＝Ｉｓ−｛Ｉｎ×（Ｔｓ／Ｔｎ）｝
従って、差分画像コントリビューションが求められると、非ストロボ照明画像データが、ストロボ照明画像露出時間と非ストロボ照明画像露出時間との比でスケーリングされる。

メモリ３０８（図３参照）及び／又はメモリ４０６（図４参照）において実施される本発明の実施形態は、任意の適したコンピュータ可読媒体を使用して実施することができる。本明細書の文脈の中では、「コンピュータ可読媒体」は、命令実行システム，装置，及び／又は機器に関連され、これらによって使用され、或いはこれらに関係するデータの記憶，通信，伝搬，又は搬送を行うことができるいずれの手段でもあることができる。コンピュータ可読媒体は、例えば、現在既知の、又は後に開発される電子，磁気，光学，電磁，赤外線，又は半導体システム，装置，機器，又は伝搬媒体であることができるが、これらに限定されない。

上記実施形態は、実施態様の単なる例であることを強調しておく。多くの変形及び変更を上記実施形態において行うことができる。このような変更及び変形は、全て、本明細書で本開示の範囲内に包含され、添付の特許請求の範囲により保護されるものである。

以上を要約すると、次の通りである。すなわち、本発明は、取り込まれた画像を補正するためのシステム及び方法を提供する。簡潔に述べると、本発明の一実施形態は、補助照明源（３１８，１２０）により提供される補助照明に対応する第１のホワイトバランス補正値を用いて、ストロボ照明画像データ及び非ストロボ照明画像データに対してホワイトバランス補正を行うこと、第１のホワイトバランス補正値を用いて補正されたストロボ照明画像データと、第１のホワイトバランス補正値を用いて補正された非ストロボ照明画像データとの間の差を求めること、周辺照明に対応する第２のホワイトバランス補正値を用いて非ストロボ照明画像データに対してホワイトバランス補正を行うこと、第２のホワイトバランス補正値を用いてホワイトバランス補正された非ストロボ照明画像と前記差とを組み合わせることを含む。

画像取り込み装置において実施される二重ホワイトバランス補正システムの一実施形態が、フラッシュ装置及び別の光源により照明された画像を取り込む場合の環境を示す図である。 図２（Ａ）〜（Ｆ）は、二重ホワイトバランス補正システムの実施形態により処理される一連の画像を示す図である。 画像取り込み装置において実施される二重ホワイトバランス補正システムの一実施形態を示すブロック図である。 処理装置において実施される二重ホワイトバランス補正システムの一実施形態を示すブロック図である。 取り込まれた画像に二重ホワイトバランス補正を提供する、本発明によるプロセスの一実施形態を示すフローチャートである。

符号の説明

１００ 二重ホワイトバランス補正システム
１２０ 遠隔ストロボ（照明源）
３０６ カメラプロセッサ
３１０ フォトセンサ
３１８ フラッシュ装置（照明源）

Claims (10)

1. 取り込まれた画像を補正するシステムであって、
   周辺照明条件下で非ストロボ照明画像を取り込み、かつ、補助照明を使用して照明されたストロボ照明画像を取り込むフォトセンサと、
   前記補助照明を提供するために起動される照明源と、
   プロセッサと、
   を備え、
   前記プロセッサは、
   前記ストロボ照明画像に対応するストロボ照明画像データ、及び、前記非ストロボ照明画像に対応する非ストロボ照明画像データを生成すること、
   前記補助照明に対応する第１のホワイトバランス補正値を用いて、前記ストロボ照明画像データ及び前記非ストロボ照明画像データに対してホワイトバランス補正を行うこと、
   前記第１のホワイトバランス補正値をそれぞれ用いて補正された前記ストロボ照明画像データと前記非ストロボ照明画像データとの間の差を求めること、
   前記周辺照明条件に対応する第２のホワイトバランス補正値を用いて、前記非ストロボ照明画像データに対してホワイトバランス補正を行うこと、及び
   前記第２のホワイトバランス補正を用いて補正された前記非ストロボ照明画像データに前記差を組み合わせること、
   を実行するように構成されることを特徴とするシステム。
2. 取り込まれた画像を補正する方法であって、
   補助照明源により提供される補助照明に対応する第１のホワイトバランス補正値を用いて、ストロボ照明画像データ及び非ストロボ照明画像データに対してホワイトバランス補正を行うステップと、
   前記第１のホワイトバランス補正値を用いて補正された前記ストロボ照明画像データと、前記第１のホワイトバランス補正値を用いて補正された前記非ストロボ照明画像データとの間の差を求めるステップと、
   周辺照明に対応する第２のホワイトバランス補正値を用いて前記非ストロボ照明画像データに対してホワイトバランス補正を行うステップと、
   前記第２のホワイトバランス補正値を用いてホワイトバランス補正された前記非ストロボ照明画像と前記差とを組み合わせるステップと、
   を含むことを特徴とする方法。
3. 二重ホワイトバランス補正を用いて、画像に対応する補正画像データを生成するステップをさらに含むことを特徴とする請求項２に記載の方法。
4. 前記補助照明なしで前記非ストロボ照明画像を取り込むステップと、
   前記補助照明を使用して前記ストロボ照明画像を取り込むステップと、
   をさらに含むことを特徴とする請求項２に記載の方法。
5. 前記ストロボ照明画像から前記ストロボ照明画像データを生成するステップと、
   前記非ストロボ照明画像から前記非ストロボ照明画像データを生成するステップと、
   をさらに含むことを特徴とする請求項４に記載の方法。
6. 前記補助照明に対応する前記第１のホワイトバランス補正値を指定するステップと、
   前記周辺照明に対応する前記第２のホワイトバランス補正値を指定するステップと、
   をさらに含むことを特徴とする請求項２に記載の方法。
7. 周辺照明条件を解析するステップと、
   補助照明条件を解析するステップと、
   前記補助照明源により提供される前記補助照明条件に対応する前記第１のホワイトバランス補正値を選択するステップと、
   前記周辺照明条件に対応する前記第２のホワイトバランス補正値を選択するステップと、
   をさらに含むことを特徴とする請求項６に記載の方法。
8. 前記差を求めるステップは、ストロボ照明画像の露出時間と非ストロボ照明画像の露出時間との比により前記非ストロボ照明画像データをスケーリングするステップをさらに含むことを特徴とする請求項２に記載の方法。
9. 前記取り込むステップは、
   最初に、前記ストロボ照明画像データに対応するストロボ照明画像を取り込むステップと、
   次いで、前記非ストロボ照明画像データに対応する非ストロボ照明画像を取り込むステップと、
   をさらに含むことを特徴とする請求項２に記載の方法。
10. 前記取り込むステップは、
    最初に、前記非ストロボ照明画像データに対応する非ストロボ照明画像を取り込むステップと、
    次いで、前記ストロボ照明画像データに対応するストロボ照明画像を取り込むステップと、
    をさらに含むことを特徴とする請求項２に記載の方法。