JP2005027277A - 画像のホワイトバランス調整方法 - Google Patents

Abstract

【課題】人の顔領域を含むディジタル画像のホワイトバランスを正確に調整することのできる方法を提供する。
【解決手段】画像のホワイトバランスを調整する方法３００。この方法は、画像中の人の顔領域の場所を決定するステップ３０４を含むことができる。さらに、この方法は、人の顔領域の肌色を決定するステップ３０６を含むことができる。この方法はまた、既知の範囲の肌色とほぼ一致するように、上記の肌色を変更するための補正係数を決定するステップ３１０も含むことができる。さらに、この方法は、この補正係数を、この画像に施して、ホワイトバランス調整を行うステップ３１２を含むことができる。
【選択図】図３

Description

本発明は、一般に、ディジタル画像の処理に関し、特に、画像のホワイトバランス調整に関する。

コンピュータ、あるいは、内蔵コンピュータを含む装置（例えば、ディジタルカメラ）は、ディジタル画像を処理し、後で、そのディジタル画像を記憶させるか、見るか、あるいはプリントアウトするために利用することができる。ディジタルカメラは、従来のように画像を取り込むときには、新たに取り込まれる画像に対してホワイトバランス調整を行うために、照明が何であるかを決定しようとする。代表的なディジタルカメラは、誤った決定を行うことが多く、すなわち、照明が、そのディジタルカメラが適正に決定できるもの（例えば、太陽光と蛍光灯の組合せ）ではないため、結果的に、ホワイトバランス調整の不適切な画像が得られる。ディジタルカメラがホワイトバランス調整の不適切な画像を通常生成するもう１つの理由は、照明設定が、画像を取り込むときに存在する光源に対して、不正確に設定されることがあるということである。ホワイトバランス調整の不適切な画像は、通常、人の顔領域などの肉色においてもっとも目立つ不要なカラー・キャスト（hue cast）（例えば、この画像を支配している赤色がかった色合い、または緑色がかった色合い）を有することが理解される。

画像のホワイトバランス調整を補正する２つの既知の手法は、Ｇｒａｙ Ｗｏｒｌｄ ＡｓｓｕｍｐｔｉｏｎとＷｈｉｔｅ Ｐｏｉｎｔ Ｅｓｔｉｍａｔｉｏｎである。しかしながら、これらの手法に関連する欠点がある。例えば、Ｇｒａｙ Ｗｏｒｌｄ Ａｓｓｕｍｐｔｉｏｎは、たいてい、青色の背景でのポートレートなど、色成分の充分な変化を含まない画像には不良を起こしやすい。さらに、Ｗｈｉｔｅ Ｐｏｉｎｔ Ｅｓｔｉｍａｔｉｏｎは、通常、元のシーン中に白色（または、明るい中間色）の対象物がまったくない画像では、うまくいかない。

上記および他の理由から、本発明が必要である。

画像のホワイトバランスを調整する方法。この方法は、画像中の人の顔領域の場所を決定することを含む。さらに、この方法は、人の顔領域の肌色を決定することを含むことができる。この方法はまた、既知の範囲の肌色とほぼ一致するように、上記の肌色を変更するための補正係数を決定することも含むことができる。さらに、この方法は、この補正係数を、この画像に施して、ホワイトバランス調整を行うことを含むことができる。

次に、添付図面に例示されている本発明の実施形態を詳しく参照する。本発明は、実施形態といっしょに述べられるが、本発明を、これらの実施形態に限定するつもりはないものと了解される。それどころか、本発明は、併記の特許請求の範囲により定義される本発明の精神および範囲内に含めることのできる代替例、変形例、および、同等な例をカバーするつもりである。さらに、本発明の以下の詳細な説明では、本発明を充分に理解するために、多数の特定の詳細が記述される。しかしながら、本発明は、これらの特定の詳細を用いなくとも実施できることが、通常の当業者には明らかになろう。他の場合に、本発明の複数の面を不必要にわかりにくくしないように、周知の方法、手順、構成要素、および回路は、詳述されていない。

表記法と専門用語
以下の詳細な説明のいくつかの部分は、コンピューティング・システムまたはディジタルシステムのメモリ内のデータビットに対する操作の、手順、論理ブロック、プロセス、および他の記号的表現によって提示される。このような説明および表現は、データ処理の分野における当業者が利用して、彼らの作業の内容を他の当業者にもっとも効果的に伝える手段である。手順、論理ブロック、プロセスなどは、本明細書において、また一般に、所望の結果をもたらす首尾一貫した一連のステップまたは命令であると考えられる。これらのステップは、物理的な量の物理的処理をともなうことができる。必ずしもそうとは限らないが、たいてい、このような物理的処理は、コンピューティング・システム、もしくは、それに類する電子コンピューティング装置内で、格納され、転送され、組み合わされ、比較されるなどして、処理され得る電気信号または磁気信号の形式を取る。便宜上、普通の使用を基準として、これらの信号は、本発明に関しては、ビット、値、要素、記号、文字、語句、数字、または、それらに類するものとして表わされる。

しかしながら、これらの表現はすべて、物理的な処理および量を参照するものと解され、単に都合の良い標記にすぎず、さらに、当技術分野において常用される表現を考慮して解されることを念頭に置かなければならない。以下の説明から明らかであるように、別に特記しない限り、本発明の説明全体にわたって、「決定」、「施し」、「処理」、「実行」、「判定」、「突き止め」、「送信」、「受信」、「検索」、「提供」、「認識」、「生成」、「利用」、「除去」、「排除」、「捨てること」、「実施」、「使用」、「格納」などのような語を利用する説明は、データを処理して、変換するコンピューティング・システム、もしくは、それに類する電子コンピューティング装置の動作およびプロセスをさすものとする。このデータは、コンピューティング・システムのレジスタおよびメモリ中の物理的（電子的）な量として表わされ、また、コンピューティング・システムのメモリまたはレジスタ、あるいは、その他類似の情報の記憶、伝送、または表示用の装置内の物理的な量として同様に表わされる他のデータに変換される。

本発明による模範的な処理
図１は、画像のホワイトバランスを調整するために、本発明の一実施形態により実施されるステップの流れ図１００である。流れ図１００は、一実施形態において、コンピュータ読取り可能で、かつコンピュータ実行可能な命令の制御のもとに、プロセッサ（１つまたは複数）および電気部品が実行する本発明のプロセスを含む。コンピュータ読取り可能で、かつコンピュータ実行可能な命令は、例えば、コンピュータ使用可能な揮発性メモリ、コンピュータ使用可能な不揮発性メモリ、および／または、コンピュータ使用可能な大容量データ記憶装置のようなデータ記憶機構に存在し得る。しかしながら、コンピュータ読取り可能で、かつコンピュータ実行可能な命令は、いかなるタイプのコンピュータ読取り可能媒体にあってもよい。流れ図１００には、特定のステップが開示されているが、このようなステップは、模範的なものである。すなわち、この実施形態は、他の様々なステップ、または、図１に述べられるステップの変形を実行するのに、よく適している。この実施形態の範囲内では、流れ図１００のステップは、ソフトウェアにより、ハードウェアにより、あるいは、ソフトウェアとハードウェアを任意に組み合わせたものにより、実行され得ることが理解されよう。

流れ図１００の機能は、プリンタ（例えば、プリンタドライバ）、ディジタルカメラ、画像スキャナ、コンピュータ、または他の任意の画像処理システムに関連するソフトウェアおよび／またはハードウェアを用いて実施することができるが、ただし、それらには限定されないことに留意する。

この実施形態は、画像のホワイトバランスを調整する方法を提供する。例えば、画像を受け取るときに、この画像中に、人の顔があるかどうかの判定を行う。もし、人の顔がなければ、１つまたは複数のホワイトバランス調整手法を用いて、その画像全体を処理して、その視覚的な品質を向上させることができる。しかしながら、この画像中に１つまたは複数の人の顔がある場合には、この画像は、別のやり方で処理される。具体的に言えば、この画像中に人の顔を画定する領域（１つまたは複数）内にある色を、既知の顔の色と比較する。もし、相違がある場合には、補正係数を決定する。この補正係数は、画像に施されると、人の顔領域（１つまたは複数）の色を変更して、その色を、既知の顔の色とほぼ一致させるものである。次に、この補正係数を、画像全体に施し、それにより、この画像のホワイトバランスを調整して、カラー・キャストを除去する。このようにして、人の顔領域（１つまたは複数）の顔の色を補正するために決定された補正係数に基づいて、この画像全体に、ホワイトバランス調整を施すことができる。

図１のステップ１０２において、画像（例えば、ディジタル画像）を受け取るか、または検索して、流れ図１００で処理する。ステップ１０２において、画像を受け取るか、または検索して、処理する理由は広範であることに留意する。例えば、ほんの２、３例を挙げると、ステップ１０２において画像を受け取り、後で、その画像を、メモリ素子に格納するか、表示装置上で見るか、あるいは、その画像を、プリンタでプリントアウトすることができる。さらに、この画像は、ステップ１０２において、この実施形態により、多様なやり方で受け取ることもできる。例えば、この画像は、コンピューティング装置に結合された画像スキャナおよび／またはディジタルカメラから受け取られる。さらに、この画像に関連するデータは、ステップ１０２において、プリンタ（例えば、プリンタドライバ）、ディジタルカメラ、画像スキャナ、コンピュータ、または他の任意の画像処理システムに関連するソフトウェアおよび／またはハードウェアによっても受け取られる。流れ図１００は、どんな画像処理システムでも処理できる。

ステップ１０４において、この実施形態は、その受け取られた（または、検索された）画像中に、人の顔（１つまたは複数）があるかどうかを判定する。この画像中に、人の顔がまったくないと判定される場合には、この実施形態は、ステップ１０６に進む。しかしながら、この画像中に、１つまたは複数の人の顔があると判定される場合には、この実施形態は、ステップ１０８に進む。ステップ１０４は、多様なやり方で実施され得ることが理解される。例えば、ニューラル・ネットワーク・ベースの顔検出アルゴリズム、Ｊｏｎｅｓ Ｖｉｏｌａアルゴリズム、および／または、他の任意の顔検出手法を利用して、ステップ１０４の機能を実行することができる。画像中に、人の顔（１つまたは複数）があれば、画像中のその顔の場所（または、位置）を決定することができることに留意する。このような人の顔（１つまたは複数）の場所は、バウンディング・ボックス、２値マスク、または或るタイプの画定された顔領域の中に納められる。

図１のステップ１０６において、この画像全体を、１つまたは複数のホワイトバランス調整手法（すなわち、カラー・キャスト除去手法）を用いて処理して、この画像の視覚的な品質を向上させる。ステップ１０６において、多様なホワイトバランス調整手法すなわちカラー・キャスト除去手法を実施することができることに留意する。例えば、このホワイトバランス調整手法は、Ｇｒａｙ Ｗｏｒｌｄ Ａｓｓｕｍｐｔｉｏｎ、Ｗｈｉｔｅ Ｐｏｉｎｔ Ｅｓｔｉｍａｔｉｏｎ、および／または、他の任意のホワイトバランス調整手法すなわちカラー・キャスト除去手法を含むことができるが、ただし、それらには限定されない。ステップ１０６の後で、この実施形態は、ステップ１１８に進む。

ステップ１０８において、この実施形態は、画定された顔領域（１つまたは複数）内、または、その画定された顔領域（１つまたは複数）の或る部分内の、色相とクロマの分布のセントロイド（centroid）を決定する。ステップ１０８において、広範なやり方が実施され得る。例えば、顔領域（１つまたは複数）での色相とクロマの分布のセントロイドを決定する方法の一部として、画像スムージング手法を利用して、顔領域（１つまたは複数）の側縁間の変化を滑らかにし、さらに、実際は肉色ではない色（例えば、眉の色、唇の色、目の色など）の影響を減らす。画像中の顔領域（１つまたは複数）を滑らかにすることによって、これらの肉色でない色は、この顔領域（１つまたは複数）の色母集団（color population）への影響が少ないことが理解される。さらに、顔領域（１つまたは複数）での色相とクロマの分布のセントロイドを決定する方法の一部として、上記の人の顔領域の色相とクロマの外れ値が、考慮から外され得る。別法として、ステップ１０８は、上記の人の顔領域（１つまたは複数）の色相とクロマの平均値（そのセントロイドではない）を求めるように変更することができることに留意する。

図１のステップ１１０において、顔領域（１つまたは複数）の色相とクロマの分布のセントロイドが、データベースの既知の肉色（すなわち、肌色）の範囲とほぼ一致するかどうかについて、判定を行う。既知の肉色（すなわち、肌色）のデータベースは、当業者が知っているやり方で、アルゴリズム的に生成され得る。別法として、市販の顔検出ソフトウェアは、既知の肉色（すなわち、肌色）のデータベースを含むことができる。ステップ１１０において、顔領域（１つまたは複数）の色相とクロマの分布のセントロイドが、上記のデータベースに格納された既知の肉色の範囲とは実質的に一致しない場合に、この実施形態は、ステップ１１４に進む。しかしながら、ステップ１１０において、顔領域（１つまたは複数）の色相とクロマの分布のセントロイドが、上記のデータベースの既知の肉色とほぼ一致する場合には、この実施形態は、ステップ１１２に進む。ステップ１１０は、顔領域（１つまたは複数）の色相とクロマの分布のセントロイドを、上記の肉色データベースと同じ色空間に変換して、ステップ１１０の比較および判定を容易にすることを含み得ることが理解される。例えば、この肉色データベースが、標準赤・緑・青（ｓＲＧＢ）の色空間内にある場合には、このセントロイドデータは、ステップ１１０の判定の一部として、同一の色空間に変換される。

ステップ１１２において、人の顔領域（１つまたは複数）の色（例えば、色相とクロマの分布のセントロイド）が、このデータベースに格納された既知の肉色（すなわち、肌色）とほぼ一致するので、この画像には、補正をまったく施さない。ステップ１１２の後で、この実施形態は、ステップ１１８に進む。

ステップ１１４において、顔領域（１つまたは複数）の色相とクロマの分布の決定されたセントロイドを、このデータベースの既知の肉色（すなわち、肌色）の領域に変える（または、移す）補正係数を生成する。ステップ１１４の補正係数は、多様なやり方で決定され、生成され得ることが理解される。例えば、補正係数は、所与の顔領域（１つまたは複数）のセントロイドから、肉色色調データベースのセントロイドにマッピングする三次元（３Ｄ）ベクトルにより生成することができる。この補正係数を決定した後で、他の技法を使用して、この補正係数を施すべきかどうかを判定することができる。

図１のステップ１１６において、この補正係数を、画像全体に施すか、または使用して、この画像にホワイトバランス調整（すなわち、カラー・キャスト除去）を施す。したがって、人の顔領域（１つまたは複数）の顔の色を補正するために決定された補正係数に基づいて、この画像全体（または、この画像全体の任意の部分）にホワイトバランス調整を施す。ステップ１１６は、広範なやり方で実施され得ることが理解される。例えば、前に定義された３Ｄベクトルを、この画像全体のそれぞれのピクセルに施すことができる。この補正係数は、いくつかの要因に基づいて、いくつかのやり方で変更することができる。例えば、ステップ１１６は、この画像に為される補正を制限する保護手段を含む。したがって、この保護手段は、この補正係数が、定められた限度を超えるかどうかを判定する。もし、この補正係数が、定められた限度を超える場合には、この補正係数の大きさを、この定められた限度まで小さくする。このようにして、画像は、例えば、カラー・キャストの問題がある場合に補正されるが、一方、顔に緑色の塗料が塗られている人のように例外的な場合には、画像は、その画像を歪ませるところまで過度に「補正」されることはない。

ステップ１１８において、オプションとして、結果として得られた出力画像に関連するデータを、任意のタイプのメモリ素子を利用して格納することができる。ステップ１１８において利用されるメモリ素子は、ランダム・アクセス・メモリ（ＲＡＭ）、スタティックＲＡＭ、ダイナミックＲＡＭ、リード・オンリー・メモリ（ＲＯＭ）、プログラマブルＲＯＭ、フラッシュ・メモリ、消去可能なプログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、ディスク・ドライブ（例えば、ハードディスク・ドライブ）、ディスケット、および／または、磁気ディスクまたは光ディスク（例えば、コンパクトディスク（ＣＤ）、ディジタル多用途ディスク（ＤＶＤ）など）を含むことができるが、ただし、それらには限定されないことが理解される。この出力画像を格納すると、その出力画像は、プリンタ（例えば、図５の５０８）によるプリントアウト、表示画面（例えば、図５および図６の５１２）上の表示などのような他の機能に利用され得ることに留意する。しかしながら、この出力画像は、プリントまたは表示される前に、ステップ１１８において、格納される必要がないことが理解される。具体的に言えば、流れ図１００のホワイトバランス調整は、他の画像処理パイプライン（例えば、カメラの取込みまたは印刷）に合わせて、オンザフライ式に実施され得る。ステップ１１８を完了すると、この実施形態は、流れ図１００を終了する。

図２Ａは、本発明の一実施形態に従って処理するために受け取ることのできる模範的な画像２００（例えば、写真、絵、ディジタル画像など）を示す略図である。例えば、画像２００は、コンピュータに結合された画像スキャナまたはディジタルカメラから受け取ることができる。別法として、画像２００は、ディジタルカメラ、または他の任意のタイプの画像処理システムにより受け取ることができる。したがって、その場合、画像２００は、本発明の一実施形態により処理されて（例えば、流れ図１００または流れ図３００）、画像２００を、例えば、メモリ素子に格納するか、プリンタでプリントアウトするか、あるいは、表示画面上に表示する。画像２００は、顔領域２０２を持つ人２０４とともに、木２０６も含むことに留意する。さらに、画像２００はまた、画像２００を横切る水平破線２０８、２１０、２１２、２１４として表わされるカラー・キャストの問題も含む。画像（例えば、２００）に、或る支配的な色の色相が関連するときには、カラー・キャストが含まれ得ることが理解される。例えば、画像（例えば、２００）中のすべてのものは、赤色がかって見えるか、あるいは、緑色がかって見えることがある。

図２Ｂは、本発明の一実施形態により図２Ａの画像２００を処理するプラスの効果を示す略図である。具体的に言えば、図２Ｂの画像２２０は、本発明による一実施形態により処理された（例えば、流れ図１００または流れ図３００）後の画像２００の再現を表わしている。図示されるように、人の顔領域２２２の顔の色を補正するために決定された補正係数に基づいて、この画像に、ホワイトバランス調整（すなわち、カラー・キャスト除去）を施すことができる。このようにして、画像２２０は、水平破線２０８、２１０、２１２、２１４によって表わされるカラー・キャストを除去することで、視覚的に向上する。

図３は、画像のホワイトバランスを調整するために、本発明の他の実施形態により実施されるステップの流れ図３００である。流れ図３００は、一実施形態において、コンピュータ読取り可能で、かつコンピュータ実行可能な命令の制御のもとに、プロセッサ（１つまたは複数）および電気部品が実行する本発明のプロセスを含む。コンピュータ読取り可能で、かつコンピュータ実行可能な命令は、例えば、コンピュータ使用可能な揮発性メモリ、コンピュータ使用可能な不揮発性メモリ、および／または、コンピュータ使用可能な大容量データ記憶装置のようなデータ記憶機構に存在し得る。しかしながら、コンピュータ読取り可能で、かつコンピュータ実行可能な命令は、どんなタイプのコンピュータ読取り可能媒体にあってもよい。流れ図３００には、特定のステップが開示されているが、このようなステップは、模範的なものである。すなわち、この実施形態は、他の様々なステップ、または、図３に述べられるステップの変形を実行するのに、よく適している。この実施形態の範囲内では、流れ図３００のステップは、ソフトウェアにより、ハードウェアにより、あるいは、ソフトウェアとハードウェアを任意に組み合わせたものにより、実行され得ることが理解されよう。

この実施形態は、画像のホワイトバランスを自動的に調整する（すなわち、カラー・キャストの除去または削減）方法を提供する。例えば、画像中に、人の顔領域があるかどうかについて、判定を行う。画像中に、１つまたは複数の人の顔領域がある場合には、人の顔領域（１つまたは複数）の場所を決定する。画像中に人の顔を画定する領域（１つまたは複数）内にある色を、既知の顔の色と比較する。この顔領域（１つまたは複数）の色が、既知の肌色と一致しない場合には、補正係数を生成する。この補正係数は、画像に施されると、人の顔領域（１つまたは複数）の色を調整して、その色を、既知の顔の色とほぼ一致させることになる。次に、この補正係数を、画像全体（または、その一部）に施し、それにより、この画像のホワイトバランスを調整して、カラー・キャストを除去する。このようにして、人の顔領域（１つまたは複数）の顔の色を補正するために決定された補正係数に基づいて、この画像全体（または、その一部）に、ホワイトバランス調整を施すことができる。

流れ図３００の機能は、プリンタ（例えば、プリンタドライバ）、ディジタルカメラ、画像スキャナ、コンピュータ、または他の任意の画像処理システムに関連するソフトウェアおよび／またはハードウェアを用いて実施することができるが、ただし、それらには限定されないことに留意する。

図３のステップ３０２において、この実施形態は、画像中に、人の顔領域（１つまたは複数）があるかどうかを判定する。この画像中に、人の顔領域がまったくないと判定される場合には、この実施形態は、ステップ３０２の初めに戻る。しかしながら、この画像中に、人の顔領域（１つまたは複数）があると判定される場合には、この実施形態は、ステップ３０４に進む。ステップ３０２は、広範なやり方で実施され得ることが理解される。例えば、Ｊｏｎｅｓ Ｖｉｏｌａアルゴリズム、ニューラル・ネットワーク・ベースの顔検出アルゴリズム、および／または、他の任意の顔検出手法を利用して、ステップ３０２の機能を実行することができる。

ステップ３０４において、この実施形態は、この画像中の、人の顔領域（１つまたは複数）の場所（１つまたは複数）または位置（１つまたは複数）を決定する。この人の顔領域（１つまたは複数）の場所（１つまたは複数）は、ステップ３０４において、バウンディング・ボックス（１つまたは複数）、２値マスク（１つまたは複数）、または或るタイプの画定された顔領域（１つまたは複数）内に納めることができる。この画像中の人の顔領域（１つまたは複数）の少なくとも或る部分（ただし、おそらく全部とは限らない）は、ステップ３０４において画定され得ることに留意する。ステップ３０４は、多様なやり方で実施され得ることが理解される。例えば、Ｊｏｎｅｓ Ｖｉｏｌａアルゴリズムおよび／またはニューラル・ネットワーク・ベースの顔検出アルゴリズムを利用して、ステップ３０４の機能を実行することができる。

図３のステップ３０６において、この実施形態は、画定された顔領域（１つまたは複数）内、または、この画定された顔領域（１つまたは複数）の或る部分内にある肌色を決定する。この顔領域（１つまたは複数）の肌色の決定は、広範なやり方で実施され得ることが理解される。例えば、ステップ３０６の肌色の決定の一部として、この顔領域（１つまたは複数）内にある色相とクロマを平均する。別法として、ステップ３０６の肌色の決定の一部として、画像スムージング手法を利用することができる。他の実施形態の範囲内では、ステップ３０６において、この画定された顔領域（１つまたは複数）内の色相とクロマの分布に関して、セントロイドを決定する。ステップ３０６のセントロイドの決定と組み合わせて、画像スムージング手法を利用することができることに留意する。さらに、ステップ３０６において、肌色を決定する方法の一部として、上記の顔領域（１つまたは複数）の色相とクロマの外れ値を、考慮から除去することができる。

ステップ３０８において、顔領域（１つまたは複数）の肌色が、既知の肉色（すなわち、肌色）の範囲とほぼ一致するかどうか、判定を行う。例えば、ステップ３０８の判定は、顔領域（１つまたは複数）のそれぞれのピクセルと、既知の肉色（すなわち、肌色）のデータベースを比較することで、達成することができる。ステップ３０８において、顔領域（１つまたは複数）の肌色が、既知の範囲の肉色（１つまたは複数）とほぼ一致する場合には、この実施形態は、流れ図３００の終了に移る。しかしながら、ステップ３０８において、顔領域（１つまたは複数）の肌色が、既知の肉色（１つまたは複数）と実質的に一致しない場合には、この実施形態は、ステップ３１０に進む。ステップ３０８は、この顔領域（１つまたは複数）の肌色を、この既知の肉色（１つまたは複数）と同じ色空間に変換して、ステップ３０８の比較および判定を容易にすることを含み得ることが理解される。例えば、この既知の肉色（すなわち、肌色）が、標準赤・緑・青（ｓＲＧＢ）の色空間内にある場合には、この顔領域（１つまたは複数）の肌色データは、ステップ３０８の判定の一部として、同一の色空間に変換される。

図３のステップ３１０において、顔領域（１つまたは複数）の決定された肌色を、既知の肉色（すなわち、肌色）の領域に変える（または、移す）補正係数を生成する。ステップ３１０の補正係数は、広範なやり方で決定され、生成され得ることが理解される。例えば、補正係数は、所与の顔領域（１つまたは複数）の上記の決定された肌色から、この既知の肉色（例えば、データベースのもの）の範囲にマッピングする３Ｄベクトルにより生成することができる。この補正係数を決定した後で、他の技法を使用して、この補正係数を施すべきかどうかを判定することができる。

ステップ３１２において、この補正係数を、画像全体（または、その任意の部分）に実施して、ホワイトバランスの調整、すなわちカラー・キャストの除去を、その画像全体（あるいは、その任意の部分）に施す。したがって、人の顔領域（１つまたは複数）の顔の肌色（１つまたは複数）を補正するために決定された補正係数に基づいて、この画像全体（または、その任意の部分）に、ホワイトバランス調整を施す。ステップ３１２は、広範なやり方で実施され得ることが理解される。例えば、前に定義された３Ｄベクトルを、この画像全体（または、その任意の部分）のそれぞれのピクセルに施すことができる。この補正係数は、いくつかの要因に基づいて、いくつかのやり方で変更することができる。例えば、ステップ３１２は、この画像に施される補正を制限する保護手段を含む。したがって、この保護手段は、この補正係数が、定められた限度を超えるかどうかを判定する。もし、この補正係数が、定められた限度を超える場合には、この補正係数の値を、この定められた限度を満たすように、小さくする。このようにして、画像は、例えば、カラー・キャストの問題がある場合に補正されるが、一方、顔に青色の塗料が塗られている人のように例外的な場合には、画像は、その画像を歪ませるところまで過度に「補正」されることはない。ステップ３１２を完了すると、この実施形態は、流れ図３００を終了する。

図４は、本発明の一実施形態により利用することのできる模範的なホワイトバランス調整強調ダイアログ・ボックス４００の略図である。ホワイトバランス調整ダイアログ・ボックス４００は、グラフィカル・ユーザ・インターフェース（ＧＵＩ）として実施することができるが、ただし、それには限定されないことが理解される。ホワイトバランス調整ダイアログ・ボックス４００は、画像に、ホワイトバランス調整（すなわち、カラー・キャストの削減または除去）を施す方法（例えば、流れ図１００および／または流れ図３００）とともに利用することができる。

具体的に言えば、ホワイトバランス調整強調ダイアログ・ボックス４００により、ユーザは、１つまたは複数の人の顔領域を含む任意の画像に対して、ホワイトバランス調整を行うやり方を、特定的に加減することができる。例えば、ホワイトバランス調整ダイアログ・ボックス４００は、ライン４０２において、ホワイトバランス強調を画像に施す操作を、そのユーザがオンまたはオフできるようにしている。したがって、ユーザが、ライン４０２において、「オフ」のチェック欄を選択する場合には、本発明の一実施形態により、画像のホワイトバランスを調整する方法（例えば、流れ図１００または流れ図３００）は、実行されない。さらに、ユーザが、ライン４０２の「オン」ボックスを選択して、この画像に、ホワイトバランス強調を施すことに決める場合には、ユーザは、ホワイトバランス強調を変更することができる。例えば、ユーザは、対応するチェック欄を選択して、ライン４０４の制限保護手段をオンまたはオフにすることができる。このようにして、ホワイトバランス強調は、本明細書に述べられるように、画像に施される補正量を制限する保護手段を含むことができる。

他のホワイトバランス調整機能を、図４のホワイトバランス強調ダイアログ・ボックス４００の一部として組み込むことができることに留意する。このようにして、ホワイトバランス調整ダイアログ・ボックス４００は、画像に対するホワイトバランス調整の実施を特定的に制御するために、さらに多くの選択を、そのユーザに与える。ホワイトバランス強調ダイアログ・ボックス４００は、ユーザに、任意の画像に関連するホワイトバランス強調をカスタマイズできるようにする任意選択機構であってよいことが理解される。

本発明による模範的なネットワーク
図５は、本発明の一実施形態により利用することのできる模範的なネットワーク５００のブロック図である。ネットワーク環境５００においては、コンピュータ５０２は、ディジタルカメラ５１０、画像スキャナ５０４、表示装置５１２、プリンタ５０８に結合され得るが、ただし、それらには限定されない。具体的に言えば、コンピュータ５０２とプリンタ５０８は、通信可能にネットワーク５０６に結合される。コンピュータ５０２とプリンタ５０８は、有線および／または無線の通信技術を通じて、通信可能にネットワーク５０６に結合され得ることが理解される。このようにして、コンピュータ５０２は、ネットワーク５０６を通じてディジタル画像をプリンタ５０８に送って、印刷させることができる。

ネットワーク環境５００のネットワーク５０６は、この実施形態に従って、広範なやり方で実施することができる。例えば、ネットワーク５０６は、ローカル・エリア・ネットワーク（ＬＡＮ）、都市圏ネットワーク（ＭＡＮ）、広域ネットワーク（ＷＡＮ）、および／または、インターネットとして実施することができるが、ただし、それらには限定されない。ネットワーク環境５００は、ネットワーク５０６なしでの実施によく適していることに留意する。したがって、コンピュータ５０２は、有線および／または無線の通信技術を通じて、通信可能にプリンタ５０８に結合することができる。したがって、コンピュータ５０２は、ディジタル画像をプリンタ５０８に送って、印刷させることができる。

図５中のディジタルカメラ５１０と画像スキャナ５０４は、コンピュータ５０２に通信可能に結合することができる。ディジタルカメラ５１０と画像スキャナ５０４は、有線および／または無線の通信技術を通じて、通信可能にコンピュータ５０２に結合され得ることが理解される。このようにして、ディジタルカメラ５１０と画像スキャナ５０４は、ディジタル画像をコンピュータ５０２に送ることができ、コンピュータ５０２に、それらのディジタル画像を格納することができる。後で、コンピュータ５０２により出力されたディジタル画像を、利用者が表示装置５１２上で見ることができる。さらに、このディジタル画像は、ネットワーク５０６を通じて、コンピュータ５０２によりプリンタ５０８に出力されて、後で、印刷され得る。

ディジタルカメラ５１０は、コンピュータ５０２に結合されない場合があることに留意する。すなわち、ディジタルカメラ５１０は、本発明の一実施形態（例えば、流れ図１００または流れ図３００）が、ディジタルカメラ５１０の一部として動作、あるいは、任意のタイプの画像形成システムまたは装置（例えば、画像スキャナ５０４、プリンタ５０８、コンピュータ５０２など）とともに動作するように使用されるような態様で、実施され得る。

本発明による模範的なハードウェア
図６は、本発明の実施形態により利用することのできる模範的なコンピュータシステム５０２の一実施形態のブロック図である。システム５０２は、厳密にコンピュータシステムに限定されないことが理解される。したがって、この実施形態のシステム５０２は、どんなタイプのコンピューティング装置（例えば、サーバー・コンピュータ、デスクトップ・コンピュータ、ラップトップ・コンピュータ、携帯型コンピューティング装置など）にもよく適している。本明細書に記載の本発明の説明の中では、一実施形態において、コンピュータシステム５０２のコンピュータ読取り可能記憶素子中にあって、かつコンピュータシステム５０２のプロセッサ（１つまたは複数）が実行する一連の命令（例えば、ソフトウェア・プログラム）として実現できるいくつかのプロセスおよびステップを論じた。これらの命令を実行すると、コンピュータ５０２は、特定の動作を行って、本明細書に述べられる特定の働きを発揮する。

図６のコンピュータシステム５０２は、情報をやり取りするアドレス／データ・バス６１０、情報および命令を処理するために、バス６１０に結合された１つまたは複数の中央演算処理装置（プロセッサ）６０２を含む。中央演算処理装置（１つまたは複数）６０２は、マイクロプロセッサまたは他の任意のタイプのプロセッサであってよい。コンピュータ５０２はまた、中央演算処理装置（１つまたは複数）６０２向けに情報および命令を格納するために、バス６１０に結合されたコンピュータ使用可能な揮発性記憶素子６０４、例えば、ランダム・アクセス・メモリ（ＲＡＭ）、スタティックＲＡＭ、ダイナミックＲＡＭなどや、中央演算処理装置（１つまたは複数）６０２向けに静的な情報および命令を格納するために、バス６１０に結合されたコンピュータ使用可能な不揮発性記憶素子６０６、例えば、リード・オンリー・メモリ（ＲＯＭ）、プログラマブルＲＯＭ、フラッシュ・メモリ、消去可能なプログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）などのようなデータ記憶機構も含む。

システム５０２はまた、システム５０２が、他の電子装置と連絡できるようにするために、バス６１０に結合された１つまたは複数の信号発生・受信装置６０８も含む。この実施形態の通信インターフェース（１つまたは複数）６０８は、有線および／または無線の通信技術を含むことができる。例えば、本発明の一実施形態では、通信インターフェース６０８は、シリアル通信ポートであるが、ただし、その代りとして、いくつかの周知の通信規格および通信プロトコル、例えば、ユニバーサル・シリアル・バス（ＵＳＢ）、イーサネット・アダプタ、ファイアー・ワイヤー（ＩＥＥＥ１３９４）インターフェース、パラレル・ポート、ＳＣＳＩ（スモール・コンピュータ・システム・インターフェース）バス・インターフェース、赤外線（ＩＲ）通信ポート、ブルートゥース無線通信アダプタ、ブロードバンド接続などのうちのどれであってもよい。他の実施形態では、ディジタル加入者線（ＤＳＬ）接続が用いることができる。このような場合には、通信インターフェース（１つまたは複数）６０８は、ＤＳＬモデムを含む。さらに、通信インターフェース（１つまたは複数）６０８は、インターネットへの通信インターフェースも提供する。

オプションとして、コンピュータシステム５０２は、情報およびコマンドの選択を中央演算処理装置（１つまたは複数）６０２に伝えるために、バス６１０に結合された英数字キーとファンクション・キーを含む英数字入力装置６１４を含むことができる。コンピュータ５０２はまた、ユーザ入力情報およびコマンドの選択を中央演算処理装置（１つまたは複数）６０２に伝えるために、バス６１０に結合されたオプションのカーソル制御装置またはカーソル指示装置６１６も含む。カーソル指示装置６１６は、マウス、トラックボール、トラックパッド、光学式トラッキング装置、タッチスクリーンなどのようないくつかの周知の装置を用いて実施される。別法として、カーソルは、特定のキーおよびキー・シーケンス・コマンドを用いて、英数字入力装置６１４からの入力を通じて、指示および／または起動され得ることが理解される。この実施形態はまた、例えば、ボイスコマンドなどの他の手段を用いてカーソルを指示するのにもよく適している。

図６のシステム５０２は、情報および命令を格納するために、バス６１０に結合された磁気式または光学式のディスクおよびディスク・ドライブ（例えば、ハードディスク・ドライブまたはフレキシブル・ディスケット）のようなコンピュータ使用可能な大容量データ記憶装置６１８も含むこともできる。オプションの表示装置５１２は、ビデオおよび／またはグラフィックスを表示するために、システム５０２のバス６１０に結合される。オプションの表示装置５１２は、陰極線管（ＣＲＴ）、フラットパネル液晶ディスプレイ（ＬＣＤ）、電界放出ディスプレイ（ＦＥＤ）、プラズマ・ディスプレイ、あるいは、ビデオおよび／またはグラフィック画像や、ユーザに認識できる英数字を表示するのに適した他の任意の表示装置であってよいことが理解されよう。

よって、本発明の実施形態により、ディジタル画像の処理を行うコンピュータ装置、あるいは内蔵コンピュータを含む装置は、人の顔領域を含むディジタル画像のホワイトバランスを正確に調整することができる。

本発明の特定の実施形態に関する上記説明は、例示および記述の目的で述べられてきた。このような説明は、すべてを尽くすつもりはないし、また、本発明を、開示されている通りの形式に限定するつもりもなく、上記の教示に照らして、多くの変更および変形が可能であることは明らかである。これらの実施形態は、本発明の原理、および本発明の実際の応用をもっとも良く説明し、それにより、本発明、および様々な実施形態を、考えられる特定の用途に適した様々な変更例とともに、他の当業者が最適に利用できるようにするために、選択され、記述された。本発明の範囲は、本明細書に併記の特許請求の範囲、および、それらと同等なものによって定義されるつもりである。

画像のホワイトバランスを調整するために、本発明の一実施形態により実施されるステップの流れ図である。 本発明の一実施形態により処理するために受け取ることのできる模範的な画像を示す略図である。 本発明の一実施形態により図２Ａの画像を処理するプラスの効果を示す略図である。 画像のホワイトバランスを調整するために、本発明の他の実施形態により実施されるステップの流れ図である。 本発明の一実施形態により利用することのできる模範的なホワイトバランス強調ダイアログ・ボックスの概略図である。 本発明の一実施形態により利用することのできる模範的なネットワークのブロック図である。 本発明により利用することのできる模範的なコンピュータシステムの一実施形態のブロック図である。

符号の説明

５０２：コンピュータ
５０４：画像スキャナ
５１０：ディジタルカメラ

Claims (10)

1. 画像のホワイトバランスを調整する方法であって、
   前記画像中の人の顔領域の場所を決定するステップと、
   前記人の顔領域の肌色を決定するステップと、
   既知の肌色の範囲とほぼ一致するように前記肌色を変更するための補正係数を決定するステップと、
   前記補正係数を前記画像に施して、ホワイトバランス調整を行うステップと、
   を含む方法。
2. 前記画像中に、前記人の顔領域があるかどうかを判定するステップをさらに含む、請求項１に記載の方法。
3. 前記補正係数以外の手法を前記画像に施して、前記画像へのホワイトバランス調整を行うステップをさらに含む、請求項２に記載の方法。
4. 前記肌色が、前記既知の肌色の前記範囲とほぼ一致するかどうかを判定するステップをさらに含む、請求項１に記載の方法。
5. 前記画像がディジタル画像である、請求項１に記載の方法。
6. 前記方法が、プリンタドライバ、ディジタルカメラ、画像スキャナ、または、コンピュータによって実行される、請求項１に記載の方法。
7. 前記人の顔領域の前記肌色を決定するステップが、前記人の顔領域の色相とクロマの分布のセントロイドを決定するステップを含む、請求項１に記載の方法。
8. 前記人の顔領域の色相とクロマの分布の前記セントロイドが、既知の肌色の前記範囲とほぼ一致するかどうかを判定するステップをさらに含む、請求項７に記載の方法。
9. 前記人の顔領域の前記肌色を決定するステップが、前記人の顔領域上に画像スムージング手法を利用するステップを含む、請求項１に記載の方法。
10. 前記人の顔領域の前記肌色を決定するステップが、前記人の顔領域の色相とクロマの平均値を求めるステップを含む、請求項１に記載の方法。

Images