JP2007534179A - デジタル画像の明度の調整 - Google Patents

Abstract

デジタル画像を処理する方法であって、当該デジタル画像内のピクセルに確信値、すなわちピクセルが人物の肌色に関連付けられているとの確信に比例する確信値を割り当てるステップと、閾値を超える確信値を有するピクセルの統計値および当該ピクセルに割り当てられた確信値に基づいて明度調整量を計算するステップと、当該明度調整量を当該デジタル画像に適用して、全体的に明度が向上した処理済みデジタル画像を生成する方法。

Description

本発明は、一般にデジタル画像処理の分野に、特に画像の明度を調整するデジタル画像処理に関する。

デジタル画像は、デジタルスチルカメラまたはビデオカメラ等のデジタルキャプチャ装置によるシーンから直接的に、あるいは写真のネガフィルムまたはスライドフィルムに撮影された画像を走査することにより、あるいはその他各種の手段により、生成することができる。取り込み方式が何であれ、大多数のデジタル画像は最終的には印刷ハードコピー、映写、あるいは電子閲覧装置による表示を目的とする。最も望ましい表示を提供するために、シーンの被写体に応じて表示する画像の色および／または明度を調整する必要がある。

ネガフィルムからプリントを生成するカラー写真プリンタの場合、露出の量を決定する各種の方法が知られており、実際に採用されている。赤、緑、および青色露出を行なう間、得られる合成透過度を中間色に近い色バランスすなわち「グレー」に正規化するレベルまで印刷光源の強度を調整する公知の印刷システムは、Ｒ．Ｍ．エバンズ（Ｅｖａｎｓ）による１９５１年１０月１６日登録の米国特許第２，５７１，６９７号「写真カラープリントの補正方法」に基づいている。当該印刷システムは、所与の種類のフィルムのネガの大多数から満足すべき結果を与える。プリントしたい原画の赤、緑、および青色広域透過濃度（ＬＡＴＤ）の線型結合に基づいて赤、緑、および青色露出時間の補正率を調整することも当該分野で公知であった。上述の従来型印刷システムは原画の全領域にわたり実行される合成透過度の測定値に基づいているため、得られたプリントは必ずしも満足できるものではなかった。例えば、主要被写体の背景が主に赤色（例えば赤いカーテンや家具）、緑色（例えば緑の芝生や葉）、または青色（例えば青い空や水）である場合、上述のＬＡＴＤシステムだけに基づく色補正は不満足である。この問題は、「彩色不具合」として知られる。更に、主要被写体の背景の明度が特に高いか、または低い場合、合成透過濃度に基づく従来の補正は満足な結果を与えない。例えば、主要被写体がバックライトまたはスポットライトを用いて撮影された場合、従来の補正では満足な結果が得られない。これは「濃度不具合」または「明度不具合」として知られる。

原画の全領域が上下左右および中心部並びに周辺部に分割されているカラー原画の分割領域の測定濃度に基づいて、カラープリンタ内の露出を決定する方法も従来技術で知られている。露出は、ＬＡＴＤと分割領域の濃度の組合せに基づいて決定される。当該システムでは満足できるプリントの歩留まりが若干向上する。しかし、当該システムでは主要被写体の濃度が正確に測定されないため、補正が必ずしも最も望ましい仕方で発現するとは限らない。

また従来技術において、Ｅ．ゴール（Ｇｏｌｌ）他による雑誌記事「写真仕上げプリンタ応答をカスタマイズする最新の露出決定」（Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ）Ｖｏｌ．５，Ｎｏ．２，１９７９）に記述されている被写体不具合抑制技術を用いて彩色不具合を大幅に減らせることが知られている。カラーネガフィルムの印刷システムの場合、クォン（Ｋｗｏｎ）他による１９９９年９月２８日登録の米国特許第５，９５９，７２０号「カラーバランス決定方法」に開示されているように、特定の長さのフィルムに関して露出レベルに依存するグレー推定値を決定することにより、被写体不具合を抑制する技術の性能が向上することが更に知られている。

更に、プリントされたカラー写真を見る際に、大多数の者は撮影シーンに登場する人物の顔面に関心を示すことが知られている。従って、プリンタにおいて、人物の顔面が良好な状態でプリントされることが望ましい。良好な肌色および濃度が得られるように露出を制御することにより、満足できるプリントの歩留まりを向上させることができる。

高橋他による１９８０年５月２０日登録の米国特許第４，２０３，６７１号「カラー原画内で肌色を検知する方法」等の従来技術において、一定数を超える肌色点を原画が含む場合に肌色領域に基づいてカラー原画をプリントする方法は公知である。この方法を実行するには、最初にカラー原画内で肌色を検知することが必要である。（上で参照している）米国特許第４，２０３，６７１号の方法の下で、肌色領域は、二次元座標系内でプロットされた場合にその赤、緑、および青色濃度が楕円の内部に、あるいは三次元座標系内でプロットされた場合に楕円体の内部に含まれ、その各軸が赤、緑、および青色の濃度または赤、緑、および青色濃度の組合せを表わすものとして定義される。測定された色が所定の楕円または楕円体に含まれる場合、当該色は肌色であると仮定される。所定の楕円または楕円体は、多数カラーネガにおいて識別された肌色点の色属性を測定することにより形成される。

ザーン（Ｚａｈｎ）他による１９９８年７月１４日登録の米国特許第５，７８１，２７６号「カラーフィルムのプリント」にも、プリント露出量の決定に肌色点を用いる方法が開示されている。当該方法もまた、最初に原画内における肌色点の検知を必要とし、また、箇所が所定の色空間に含まれるか否かを決定することにより実現する。所定の色空間は、識別された肌色点の色組成を測定することにより構成される。当該方法は、肌色点と非肌色点を区別する更なる論理に依存する。

真玉による２００２年１０月２９日登録の米国特許第６，４７３，１９８号「画像処理装置」に、画像データ供給源から入力画像データを受信する機器と、受信した入力画像データに対し必要な画像処理を実行して出力画像データを生成する画像処理機器と、当該入力画像データにより搬送された画像の少なくとも一つの指定部分を抽出する抽出機器と、当該抽出装置により抽出された少なくとも一つの指定部分および当該入力画像データに従い画像処理条件を設定する設定機器を含み、当該設定機器により設定された画像処理条件に従って当該画像処理機器が当該入力画像データに対し画像処理を実行する、改良された画像処理装置が記述されている。真玉は、「指定された画像部分」の例として、画像の中心、外周、主要被写体、主要被写体以外の対象、人物被写体の顔面および人物被写体の他の部分が挙げられることを開示している。また、真玉は顔面の大きさに応じて様々な画像処理を開示している。更に、顔面および他の領域における異なる条件下で画像処理を実行するために、当該処理が算術演算である場合には拡大因子として重み付け係数を領域に応じて変化させてもよい。処理がＬＵＴを用いる場合、顔面領域の重み付け係数平面が提供され、同時に、顔面領域（抽出された指定部分）および他の領域用に異なるＬＵＴが提供され、各々の領域の処理結果に異なる重みが乗算され（図に示す場合において、顔面領域には「重み」を、他の領域には「１−重み」を用いる）、乗算された結果は後で結合される。顔面とその他の領域のトーンが異なる筈である場合、エッジが見えてはならず、そのために、好適には段階的に変化する重み付け係数を顔面の輪郭の近傍に適用することにより、顔面の輪郭に不連続な箇所が一切生じないようにできる。真玉が教示する重み付け関数が、異なる部分に異なる動作をどのように混合すべきかに関係している点で注目に値する。

２００３年２月２０日に公開されたデュパン（Ｄｕｐｉｎ）他による同時係属出願の米国特許第２００３００３５５７８号「明度調整のためのデジタル画像処理方法」（２００１年７月１２日出願）では、デジタル画像に初期シーンバランス設定アルゴリズムを適用して初期シーンバランスが設定されたデジタル画像を生成し、初期シーンバランスが設定されたデジタル画像内の肌色ピクセルが所定の肌色確率密度関数に従って検知され、検知された肌色ピクセルの統計値に基づいて明度調整量が計算され、初期シーンバランスが設定されたデジタル画像に適用されて、全体的に明度が向上した処理済みデジタル画像が生成される。

一連の原画像の場合、これらの方法は、偶然に肌色を有する他の被写体から、真の肌色ピクセルを区別する際に肌色ピクセル検知方法が犯す誤りに対処すべく、更なる改良を必要とする。

従って、最終的な画像の品質をより望ましいものにすべく寄与する、信頼性が向上した肌色ピクセル識別方法、および信頼性が向上した当該肌色ピクセル識別方法の出力結果に応答して画像の明度を調整する関連方法に対するニーズがある。

本発明を利用して、以下のステップを含むデジタル画像処理方法を提供することにより、当該分野におけるニーズに対処する。すなわち、デジタル画像内のピクセルに対して、当該ピクセルが人物の肌色に関連付けられているとの確信に比例する確信値を割り当てるステップと、閾値を超える確信値を有するピクセルの統計値および前記ピクセルに割り当てられた前記確信値に基づいて明度調整量を計算するステップと、当該明度調整を当該デジタル画像に適用して、全体的に明度が向上した処理済みデジタル画像を生成するステップである。

本発明の別の態様は、以下のステップを含むデジタル画像を処理する方法を提供する。すなわち、デジタル画像内の肌色ピクセルに確率値を割り当てるステップと、肌色ピクセルの空間的に連続する領域を抽出するステップと、各々の抽出された肌色領域が主要な人物被写体の一部であるとの確信を自身の値で示す主要被写体の肌色確信値マップ、すなわち肌色領域を、位置および、当該肌色領域が肌色ピクセルを有して画像内に位置している主要な人物被写体に関連付けられているとの確信に比例して割り当てられた確信値の観点から示す、主要被写体の肌色確信値マップを生成するステップと、検知された肌色ピクセルおよびそのようなピクセルの確信値の統計値に基づいて明度調整量を計算するステップと、明度調整量を当該デジタル画像に適用して全体的に明度が向上した処理済みデジタル画像を生成するステップとを含む。

本発明には以下の効果がある。
１．複数の幾何学的特徴に基づいて連続的に評価された主要被写体の肌色確信値マップを生成することにより、肌色領域が主要被写体の一部であるか、または背景の一部である可能性の指標が得られる。
２．肌色ピクセルの空間的に隣接する領域を抽出することにより、当該領域が主要人物被写体に合致する可能性を更に分析することができ、従って偶然に肌色を含む背景領域に基づいて明度を調整する誤りを減らすことができる。
３．適切な重み付けスキームを通じた主要被写体の肌色確信値マップの連続値に応答した明度調整量の計算により、肌色検知プロセスにおける誤差に対する堅牢性が向上する。
４．バランス設定前の情報と肌色点により提供される情報とを組合わせて仕上がり画像明度調整を決定することにより、その他のシーン内容に相対的な肌色点の影響度を、肌色情報を無視する選択肢も含め、制御することができる。

以下の記述において、本発明の一つ以上の実施形態を、ソフトウエアプログラムとして普通に実装される前提で記述する。当業者には、当該ソフトウェアと同等物をハードウェアで構成できることが容易に理解できよう。画像操作アルゴリズムおよびシステムは公知であるため、以下の記述は特に、本発明によるシステム及び方法の一部を形成するか、またはより直接的に協同するアルゴリズムおよびシステムに主眼を置く。対象となる画像信号を生成あるいは別途処理するアルゴリズム、システム、ハードウェアおよび／またはソフトウェアの他の態様も、特に本明細書には図示および記述しないが、当分野で公知のシステム、アルゴリズム、構成要素、および要素のうちから選択されてよい。以下の題材において本発明に基づいて記述するシステムを前提にすれば、本発明の実装に有用であるが本明細書では特に図示、示唆、または記述しないソフトウェアは従来方式であり、当分野における通常の技術の範囲内にある。

また更に、ここで用いるように、コンピュータプログラムは、例えば磁気ディスク（例：ハードドライブやフロッピーディスク）または磁気テープ等の磁気記録媒体、光ディスク、光テープまたは機械可読なバーコード等の光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）または読出し専用メモリ（ＲＯＭ）等の固体電子記憶装置、またはコンピュータプログラムの保存に採用されたその他任意の物理装置または媒体を含む計算機可読な記憶媒体に格納されていてよい。

本発明について記述する前に、本発明が、パソコン、携帯型コンピュータ装置その他および／または画像処理用プロセッサが組み込まれた装置等、任意の公知のコンピュータシステムにおいて好適に利用される点に留意すれば理解し易い。従って、本明細書ではコンピュータシステムについては詳述しない。また、画像は（例えばデジタルカメラにより）コンピュータシステムに直接入力されるか、あるいはコンピュータシステムに入力する前に（例えば銀ハロゲンフィルム等の原画像を走査することにより）デジタル化されることにも留意されたい。処理されたデジタル画像は、例えば、走査式写真プリンタにより印画紙にプリントされて全体的に明度が向上した画像が得られる。

本発明の例証的な実施形態（群）に開示する特定のアルゴリズム（例：肌色検知および明度調整）は多様なユーザー条件や環境に合わせて採用できる。条件や環境の例として、卸売りデジタル写真仕上げ（例えばフィルム受け入れ、デジタル処理、プリント出力等の処理段階または局面を含む）、小売デジタル写真仕上げ（フィルム受け入れ、デジタル処理、プリント出力）、ホームプリント（家庭でスキャナ取り込みしたフィルムまたはデジタル画像、デジタル処理部、プリント出力）、デスクトップソフトウェア（アルゴリズムをデジタルプリントに適用して見栄えを良くしたり、または少し変えるためのソフトウェア）、デジタル一括受託（媒体から、またはウェブを介したデジタル画像受け入れ、媒体へのデジタル形式での画像出力、またはウェブ経由のデジタル形式での画像出力、あるいはハードコピープリントへの印刷を行なうデジタル処理）、キオスク（デジタルまたはスキャナ取り込み、デジタル処理、デジタルまたはスキャナ出力）、モバイル機器（例：処理装置として利用可能なＰＤＡまたは携帯電話、ディスプレイ装置、あるいは処理命令を与える装置）、およびワールドワイドウェブやインターネットを介して提供されるサービスが含まれるがこれに限定されない。

いずれの場合も、アルゴリズムは単独であっても、またはより大きなシステムソリューションの構成要素であってもよい。更に、アルゴリズムに付随するインターフェース、例えばスキャナ取り込みまたは入力、デジタル処理、（必要ならば）ユーザーへの表示、（必要ならば）ユーザー要求の入力または処理命令、出力等、は各々同一または異なる装置および物理的拠点にあってよく、装置および拠点間の通信は公衆または専用ネットワーク接続、あるいは媒体利用に基づく通信を経由してもよい。本発明の上述の開示と整合する範囲で、アルゴリズム（群）は完全自動であっても、ユーザー入力（全てまたは一部が手操作）があっても、結果の受理／拒絶をユーザーまたはオペレータが確認しても、あるいはメタデータ（ユーザーが与える、（例えばカメラ内の）測定装置が与える、またはアルゴリズムが決定するメタデータ）により支援されてもよい。更に、アルゴリズム（群）は多様なワークフローユーザーインターフェース方式とのインターフェースを持つことができる。本発明の一実施形態において、肌色ピクセルは適応型閾値技術を用いて検知される。

図１を参照するに、デジタル画像が初期シーンバランスアルゴリズム２０によりオプション的に処理される１０。初期シーンバランスアルゴリズムは、エバンス（Ｅｖａｎｓ）によるグレーワールドアルゴリズム、ＬＡＴＤ明度アルゴリズム、クォン（Ｋｗｏｎ）によるカラーシーンバランスアルゴリズム、その他任意のシーンバランスアルゴリズム等、公知のシーンバランスアルゴリズムのいずれでもよい。次に、デジタル画像のピクセルには、最初に肌色確率値２５および確信値３０が割り当てられる。閾値を超える確信値および自身の確信値３０を有するピクセルに基づいて明度調整量が計算される４０。デジタル画像に明度調整が適用されて５０、明度バランスが向上した処理済みデジタル画像が生成される６０。

図２を参照するに、確信値を割り当てるステップ３０をより完全に記述している。デジタル画像のピクセルＲＧＢ値は、以下の式によりＬｓｔ座標に変換される１２０。

クロッピングされた画像の各ピクセルについて、それが肌色ピクセルである確率が計算される１３０。肌色ピクセル確率１３０は、アルゴリズムに記載された肌色確率密度関数１２５に基づいて、Ｌｓｔ空間の座標から導かれる。これらの肌色確率密度関数１２５は、シーンバランスが設定された大量の画像における肌色および非肌色領域の色空間内での分布に関する一群のデータに基づいて構成されている。Ｌｓｔ座標が与えられたならば、ピクセルが肌色ピクセルである条件付確率は以下の通りである。

ここに、各々の条件付分布Ｐｒ（Ｓｋｉｎ|Ｌ）、Ｐｒ（Ｓｋｉｎ|ｓ）、およびＰｒ（Ｓｋｉｎ|ｔ）は、肌色および非肌色ピクセルについて元の訓練分布にベイズ定理を適用することにより構成されている。比較のために、肌色を検知するいくつかの従来方法、例えば米国特許第４，２０３，６７１号および第５，７８１，２７６号（共に上で引用済み）は、尤度確率Ｐ（ｃｏｌｏｒ|Ｓｋｉｎ）を用いて肌色ピクセルを検知する。尤度確率は計算が便利であるが、これを使用する主な短所は、非肌色ピクセルの確率分布が考慮されていない点である。その結果、誤検知の可能性が高くなる。

最も一般的な形式において、Ｌｓｔ座標が与えられたならば、ピクセルが肌色ピクセルである条件付き確率はＰｒ（Ｓｋｉｎ|Ｌ、ｓ、ｔ）である。あるいはＰｒ（Ｓｋｉｎ|Ｌ、ｓ、ｔ）を直接用いても、または式４の完全に分解された形式、または次式の部分的に分解された形式を用いてもよい。

ここに、Ｐｒ（Ｓｋｉｎ|ｔ）は分離不可能な確率密度関数を表わす。

全てのピクセルの確率を集めれば、入力画像の肌色確率分布が形成される。肌色確率分布には、各ピクセルが肌色または非肌色のいずれかに指定される２値マップを生成すべく閾値処理がなされる。閾値処理は、肌色確率閾値１４０が特定の画像用にカスタマイズされるよう、画像に依存する適応型閾値処理アルゴリズムを用いて実現される。従来、全ての入力画像に対して固定閾値が用いられていた。固定閾値の主な短所は、画像内容および画像形成条件の変動に起因する個々の画像における統計値の変動を無視する点である。

閾値を超える確率を有するピクセルが肌色ピクセルとして確認され１５０、一方、他は全て非肌色ピクセルと見なされる。クロッピングされた画像のピクセルが肌色か非肌色かのラベル付けを行なうことにより、画像について２値肌色ピクセルマップが得られる１６０。肌色ピクセルマップは更に処理されて、主要被写体に肌色確信値を割り当てて１７０、主要被写体の肌色確信値マップが得られる１８０。この目的で、ソンカ（Ｓｏｎｋａ）、ラバック（Ｈｌａｖａｃ）およびボイル（Ｂｏｙｌｅ）著「画像処理、解析、および人工視覚（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ａｎａｌｙｓｉｓ，ａｎｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ）」（Ｂｒｏｏｋｓ＆Ｃｏｌｅ、１９９９年出版）に記述されているような結合要素ラベル付け処理を用いて肌色ピクセルの隣接領域を抽出する必要がある。各々の空間的に結合された領域は、画像内の主要人物被写体にどの程度対応しているかの指標を生成すべく、更なる解析対象として扱われる。

図４において適応型肌色確率閾値の決定１４０をより完全に記述する。画像の各ピクセルについて肌色確率値が計算された１３０後で、肌色確率マップが生成され３１０、そこで各ピクセルの値は対応する肌色確率を表わす。肌色確率マップの勾配が計算される３２０。位置（ｘ，ｙ）における画像のｆ（ｘ，ｙ）の勾配が次式で定義され、

そのデジタル形式は以下のように２個の分離可能なカーネルである。

勾配ベクトルの大きさは次式で与えられる。

大きさが４００を超える勾配値を有するピクセルを示すためにマスクが生成される３３０。次いで、高い勾配値をピクセルだけを用いて肌色確率値のヒストグラムが構成される３４０。高い勾配値を有するピクセルだけを用いる主な利点は、それらが通常、肌色領域の境界を囲むピクセルに対応している点である。従ってヒストグラムは通常、肌色領域境界の周囲のピクセルは高／低いずれかの肌色確率値を有するため、特徴的な山と谷を示す。ヒストグラムは更に、ノイズの影響を減らすべく平滑化される３５０。次に、ヒストグラムの低い端から始めて、２個の山の間で顕著な谷の位置を特定する３６０。この谷の位置は、所与の画像について肌色確率閾値を識別する３７０。

図５を参照するに、肌色ピクセルの空間的に隣接する領域は、図２に示すように、主要被写体に肌色確信値を割り当てる１７０ために、肌色ピクセルマップ１６０からの結合要素ラベリングを用いて抽出される５５０。各領域には、中心性、境界性、および形状を含む複数の補完的な種類の幾何学的特徴に基づいて、主要被写体の肌色確信値が割り当てられる５６０。これらの特徴はステップ５５５において計算される。各領域に対するこれらの種類の幾何学的特徴からの証拠は、各領域の平均肌色確率値と共に、ベイズネットワークに基づく推論エンジンを用いて統合されて５７０、注目する領域が、例えば写真内の顔面等、主要人物被写体の基本的な肌色領域にどの程度合致するかを示す主要被写体の最終肌色確信値マップが生成される１８０。ベイズネットワークの詳細については、本明細書に引用しているジュディア パール（Ｊｕｄｅａ Ｐｅａｒｌ）著「知的システムにおける確率推論：合理的推論のネットワーク（Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｒｅａｓｏｎｉｎｇ ｉｎ Ｉｎｔｅｌｌｉｇｉｅｎｔ Ｓｙｓｔｅｍｓ：Ｎｅｔｗｏｒｋｓ ｏｆ Ｐｌａｕｓｉｂｌｅ Ｉｎｆｅｒｅｎｃｅ）」（Ｍｏｒｇａｎ、Ｋａｕｆｍａｎｎ Ｐｕｂｌｉｓｈｅｒｓ，Ｉｎｃ．，ＳａｎＦｒａｎｃｉｓｃｏ，ＣＡ，１９８８）を参照されたい。本発明の単一の実施形態において、ベイズネットワーク５７０は、図８に示すような構造を有している。また、ベイズネットワークの訓練は、一組の適当なパラメータ、すなわち条件付き確率行列に到達すべくエキスパートの知識と実際のデータの組合せを用いて行なわれる。ベイズネットワークの代わりに、ニューラルネットワークやルールベースのネットワーク等の代替的な推論エンジンを用いてもよい。

幾何学的特徴の一つに中心性がある。位置に関しては、主要人物被写体は画像の周辺ではなく中心の近くに位置する傾向があり、従って、中心に位置する度合いが高い領域は画像の主要被写体であることを示唆している。しかし、中心性は、必ずしも当該領域が直接画像の中央にあることを意味する訳ではない。実際に、プロの写真家は、いわゆる黄金分割位置または三分割ルールに従い、主要被写体を画像を三分割する線および線の交差に沿って配置する傾向がある。

領域のサイズおよび形状を一切示さずに領域の重心だけでは当該領域の画像全体での位置を示すのに十分でないことを理解されたい。中心性の尺度は、所与の領域の面積にわたって確率密度関数（ＰＤＦ）の積分を計算することにより定義される。ＰＤＦは「地上較正」データから導かれる。ここに、地上補正マップを訓練集合の全体にわたって合算することにより、主要被写体領域の輪郭が手操作で描かれて値１でマーク付けされ、背景領域が値ゼロでマーク付けされる。本質的には、ＰＤＦは位置に関する主要被写体の分布を表わす。中心性の尺度は、重心だけでなく所与の領域のあらゆるピクセルが、自身の位置に応じて様々な程度に領域の中心性尺度に寄与するように考案されている。中心性尺度は次式で定義される。

ここに（ｘ，ｙ）は領域Ｒ内のピクセル、ＮＲは領域Ｒ内のピクセル数を示す。

向きが未知の場合、ＰＤＦは垂直および水平の両方向において画像の中心について対称であり、その結果、向きから独立した中心性尺度が得られる。このＰＤＦの形状は、図３ａに示すように、画像の中央に位置する対象物が主要被写体である可能性がより高いことを示唆する。向きが既知の場合、図３ｂに示すように、ＰＤＦは水平方向において画像の中心について対称であるが垂直方向では対称でなく、その結果、中心性の尺度は向きに依存する。このように向きに依存するＰＤＦの形状は、画像の下部に位置する対象物が主要被写体である可能性がより高いことを示唆する。

別の幾何学的特徴として境界性がある。背景領域の多くは、一つ以上の画像境界と接触する傾向がある。従って、輪郭の多くが画像境界上にかかる領域は、主要被写体ではなく背景に属する可能性がより高い。二つの尺度を用いて領域の境界性を特徴付ける。これらは領域が交差する画像境界の数（以下、「境界性１」）および画像境界に沿った領域の周辺部の百分率（以下、「境界性２」）を含む。

向きが未知の場合、境界性１を用いて所与の領域を６種のカテゴリの一つに分類する。これは、領域が接触している画像境界の数および構成で決定される。領域が境界と接触しているのは、領域内の少なくとも１個のピクセルが画像の境界から一定の距離以内に含まれる場合である。距離は、画像の短辺の長さの分数として表わされる。境界性１の６種のカテゴリとは、領域が接触する境界が無いか、１個、２個、対向する２個、３個、および４個有る場合である。領域が境界と接触する数が多いほど、当該領域が主要被写体ではない可能性が高い。

画像の向きが既知の場合、境界性特徴を再定義して、上側の境界と接触している領域が下側の境界と接触してあい領域よりも背景である可能性がはるかに高いという事実に対応させることができる。その結果、領域が接触している画像境界の数および構成により境界性１用に１２種のカテゴリが決定される。上述の「接触している」の定義を用いて、シーン内の対象物が直立している状態に画像が向いている場合に、画像の４境界を各々の位置に応じて「上側」、「下側」、「左側」、「右側」とラベル付けする。

第二の境界性特徴である境界性２は、画像の境界上の領域周長の分数として定義される。以下の定義を用いて、特性値をゼロから１まで範囲に正規化する。

しかし、別の幾何学的特徴として形状がある。多くの背景領域は、たとえ肌色であっても、極端に長い（例えば木製レール）形状または極端に複雑な形状でありながら、一方で、顔面に比べれば単純で僅かに楕円状である場合がある。従って、縦横比が極端に高いか、または稠密度が極端に低い領域は主要被写体ではなく背景に属する可能性が最も高い。本発明の実施形態において、２種の尺度を用いて領域の形状を特徴付ける。これらは領域の縦横比（以下「縦横比」）および領域の稠密度（以下「稠密度」）を含む。

ここに、最小境界枠とは、領域の長軸に沿って整列して領域を囲む最小の長方形である。

本発明の実施形態において、形状関数は、例えば次式のように最大値が１．０であり確信値を表わすように更に補正される。

ベイズネットワークに基づく推論エンジン５７０の出力は、肌色領域を、位置および、当該肌色領域が肌色ピクセルを有して画像内に位置している主要な人物被写体に関連付けられているとの確信に比例して割り当てられた確信値の観点から示す、確信値を含む主要被写体の肌色確信値マップである。しかし、主要被写体の肌色確信値マップは、肌色領域を全く含んでいない場合がある。

図６に一例を示す。確信値マップで使用される確信値の連続体により、確信値マップは、主要被写体に関した決定された肌色ピクセルの位置を単に示すだけの２値マップ以上のものである。関連付けられた尤度もまた、高い確信値を有する領域が、主要被写体の一部であるとの信頼度または確信値がより高い領域に合致するように、各領域に付与される。例えば、図６の確信値マップにおける２個の楕円形領域６００は、主要人物被写体の一部（顔面）であるとする最も高い確信値を有する一方、他の領域は、画像境界に接触していたり、中心から外れていたり、あるいは長いか複雑な形状であること等により、極めて低い確信値を有する。同一の空間的に隣接する領域内にある肌色ピクセルは同一の確信値を有することに留意されたい。

一般に、確信値マップ上の適当な閾値を用いることにより、２値の主要被写体肌マスクが容易に得られる。本発明の一実施形態において、（１．０の中から）最小の閾値０．２５が適用されて、確信値０．２５未満である任意の肌色ピクセルが背景として扱われ、従って明度調整量の計算に影響を及ぼさないようにする。また、画像の全面積の０．２５％よりも小さい領域はすべて除去される。

しかし、下流のアプリケーションには豊富な確信情報が極めて有用である。例えば、明度調整量を決定する際に、残りの肌色領域を全て同様に扱うのではなく、異なる肌色領域（被写体の質感）に異なる重み付け係数を割り当てることができる。

図７に、（最初に図１に示した）明度調整量の計算４０をより完全に記述する。主要被写体肌色確信値マップ１８０においてラベル付けされた肌色ピクセルが、所定の最小値（例えば０．５％未満）と比較される２１０。肌色ピクセルの数が最小値未満である場合、明度調整はゼロに設定される２１１。初期シーンバランスデジタル画像２０に対応して、肌色ピクセルの最小数より多数が見つかった２２０場合、画像に対して確信値により重み付けされた肌色ピクセル統計値が計算される２３０。統計値は次式により計算される。

ここに、Ｌ（ｉ，ｊ）は画像の第ｉ行ｊ列にあるピクセルのＬ座標値、Ｗ（ｉ，ｊ）は肌色確信値マップ１８０が提供する重みを示し、画像の最大確信値ピクセルに最大の重みが付与され、その他のピクセルにはより小さい重みが付与される、Ｓ（ｉ，ｊ）は主要被写体の肌色ピクセル確信値マップ１８０が提供するピクセルの（０，１）ラベリングを示し、ここに、最小確信閾値の定義に従い、０は非肌色ピクセル、１は肌色ピクセルを示す。

異なる目的を達成すべく、代替的な重み付けスキームがある。以下のスキームを用いて、確信値が低い肌色ピクセルを間引きながら、確信値がより高い肌色ピクセルを強調することができる。

以下のスキームを用いて、（確信値ｔにより一意に識別された）各領域がそのサイズにかかわらず選択される程度までに、巨大な肌色領域を非強調化することができる。

当業者であれば、本発明の範囲から逸脱することなく、これらの式の目的を組合わせたり、あるいは他の目的を達成する別の重み付けスキームを設計することができる。

１４〜１６の潜在的課題は、画像における最大確信領域の確信値の絶対値が低い、例えば０．３０（＞０．２５）場合、式の分母が示すように正規化プロセスは多数の低確信値肌色領域に基づいて最大限の明度調整を行なう。これらの式が確信値が異なる肌色領域間で相対的な重み付けを実施しながら、確信値の絶対値のレベルを大幅に無視するため、これは望ましくない効果である。この問題に対処すべく、本発明の一実施形態において、追加的な要件は、確信値が最大である領域が（１．０のうち）０．８０超の確信値を有することである。この要件はステップ２２０においてテストされる。状態が満たされない場合、明度調整もまたゼロに設定される２１１。

上述のように、肌色ピクセルの最小個数が検知されていない場合、明度調整量はゼロに設定される。その他の場合、明度調整値は肌色統計値から次式により計算される２４０。

ここにＢおよびＡは、所定の定数である。値Ａは、良好な明度品質の画像における肌色ピクセルの典型的なＬ座標に関係する基準値である。Ｂの値は０〜１の間にある筈であり、検知された肌色ピクセルに応答して適用される調整量を制御可能にする。Ｂがゼロに近い場合、肌検知により示される明度調整が少なく保たれ、画像内容全体により出力デジタル画像の明度に大幅に影響を与えることを可能にする一方、Ｂの値が１に近い場合、検知された肌色ピクセルの明度により出力デジタル画像の明度を基本的に決定することができる。

あるいは、明度調整値は次式のように肌色統計値の非線型関数を用いて計算することができる。

ここに、ｆ（）はベキ関数等の非線型関数である。

再び図１を参照するに、計算された明度調整がデジタル画像１０に適用され５０、出力デジタル画像が得られる６０。

本発明の主題は、デジタル画像理解技術に関するものであり、デジタル画像を認識すべくデジタル的に処理することにより、人物が理解できる対象、属性、または条件に有用な意味を割り当て、次いで得られた結果を当該デジタル画像の更なる処理に利用する技術を意味するものと理解されたい。

添付の請求項に記述された発明の主題および概念から逸脱することなく、開示された実施形態更なる修正および変更を加えることができる。そのような修正および変更は、これらの請求項の範囲内に含まれているように、本発明の一部を構成すると見なされる。

部品表
１０ 入力デジタル画像の動作
２０ シーンバランスアルゴリズムの動作
２５ 肌色確率割り当て動作
３０ 確信値割り当て動作
４０ 明度調整計算動作
５０ 明度調整適用動作
６０ 処理済みデジタル画像の動作
１２０ Ｌｓｔ座標への変換動作
１２５ 肌色確率密度関数の動作
１３０ 肌色ピクセル確率計算動作
１４０ 肌色確率閾値の動作
１５０ 肌色ピクセル識別動作
１６０ ２値肌色ピクセルマップ動作
１７０ 主要被写体の肌色確信値の割り当て動作
１８０ 主要被写体肌色確信値マップの動作
２１０ 肌色ピクセル数比較動作
２１１ 明度調整を０に設定する動作
２２０ 最大確信値を閾値比較する動作
２３０ 肌色ピクセル統計値計算動作
２４０ 明度調整値計算動作
３１０ 肌色確率マップ生成動作
３２０ 肌色確率マップの勾配計算動作
３３０ マスク生成動作
３４０ ヒストグラム構成動作
３５０ ヒストグラム平滑化動作
３６０ 第一の顕著な谷の位置特定動作
３７０ 肌色確率閾値の動作
５５０ 隣接肌色領域抽出動作
５５５ 幾何学的特徴計算動作
５６０ 主要被写体の肌色確信値の割り当て動作
５７０ ベイズネットワークの動作
６００ 主要被写体の肌色領域

本発明を組み込んだデジタル画像処理システムのブロック図である。 主要被写体の肌色領域検知のブロック図である。 画像の向きが未知である場合の主要被写体の確率密度関数のグラフである。 画像の向きが直立であることが既知の場合のグラフである。 本発明の好適な実施形態における適応型閾値の測定のブロック図である。 主要被写体の肌色確信値マップ決定のブロック図である。 主要被写体の肌色確信値マップのグラフィック表示例である。 本発明による明度調整量決定のブロック図である。 本発明の一実施形態によるベイズネットワークのグラフィック表示例である。

Claims (23)

1. デジタル画像を処理する方法であって、
   ａ）前記デジタル画像内のピクセルに対して、前記ピクセルが人物の肌色に関連付けられているとの確信に比例する確信値を割り当てるステップと、
   ｂ）閾値を超える確信値を有するピクセルの統計値および前記ピクセルに割り当てられた前記確信値に基づいて明度調整量を計算するステップと、
   ｃ）前記明度調整量を前記デジタル画像に適用して、全体的に明度が向上した処理済みデジタル画像を生成する方法。
2. 前記確信値を割り当てるステップが、
   ａ１）前記デジタル画像内の肌色ピクセルに対して、前記ピクセルが人物の肌色に関連付けられているとの確信に比例する確率値を割り当てるステップと、
   ａ２）肌色確率値が閾値を超えるピクセルの空間的に連続する領域を抽出するステップと、
   ａ３）各々の抽出された肌色領域が主要な人物被写体の一部であるとの確信を示す確信値を含む主要被写体の肌色確信値マップ、すなわち肌色領域を、位置および、前記肌色領域が肌色ピクセルを有して画像内に位置している主要な人物被写体に関連付けられているとの確信に比例して割り当てられた確信値の観点から示す、主要被写体の肌色確信値マップを生成するステップとを含む、請求項１に記載の方法。
3. 前記明度調整量を計算するステップが、
   ｂ１）割り当てられた確信値の関数により、検知された肌色ピクセルの明度の確信値で重み付けされた平均を計算するステップを含む、請求項１に記載の方法。
4. 前記関数が、明度調整＝Ｂ＊（確信値＊平均明度−Ａ）で表わされる線型関数であって、ＡおよびＢは所定の定数である、請求項３に記載の方法。
5. 前記関数が、明度調整＝Ｂ＊[ｆ（確信値）＊平均明度−Ａ]で表わされる非線型関数であって、ＡおよびＢは所定の定数、ｆ（．）は非線型関数である、請求項３に記載の方法。
6. 前記肌色ピクセルに前記確信値を割り当てる前に、前記デジタル画像に対し初期シーンバランスアルゴリズムが適用される、請求項１に記載の方法。
7. 前記初期シーンバランスアルゴリズムがエバンス（Ｅｖａｎｓ）によるグレーワールドアルゴリズムである、請求項６に記載の方法。
8. 前記初期シーンバランスアルゴリズムがＬＡＴＤ明度シーンバランスアルゴリズムである、請求項６に記載の方法。
9. 前記初期シーンバランスアルゴリズムがクォン（Ｋｗｏｎ）によるカラーシーンバランスアルゴリズムを含む、請求項６に記載の方法。
10. 前記デジタル画像内において、検知された肌色ピクセルの統計値を導くための、請求項６に記載の方法であって、
    ｂｌ）前記デジタル画像内の各ピクセルについて、前記ピクセルが肌色ピクセルである確率を計算するステップと、
    ｂ２）前記デジタル画像から導かれた統計値に基づいて肌色確率閾値を決定するステップと、
    ｂ３）前記肌色確率閾値を超える確率を有する任意のピクセルを肌色ピクセルとして指定するステップとを含む方法。
11. ＲＧＢ座標で表わされたデジタル画像、およびピクセルが肌色ピクセルである確率の計算が、
    ｂ１ａ）前記デジタル画像をＲＧＢ座標からＬｓｔ座標に変換するステップと、
    ｂ１ｂ）肌色および非肌色ピクセルを含む一群の画像から得られたＬｓｔ座標で表わされた所定の肌色確率密度関数を用いて肌色確率を決定するステップとを含む、請求項１０に記載の方法。
12. 肌色確率閾値を決定するステップが、
    ｂ２ａ）画像内の全てのピクセルの肌色確率値を用いて、肌色確率マップを形成するステップと、
    ｂ２ｂ）前記肌色確率マップから勾配値を計算するステップと、
    ｂ２ｃ）所定の値を超える勾配値を有するピクセルを選択するステップと、
    ｂ２ｄ）前記ステップから選択されたピクセルだけを用いて、肌色確率値のヒストグラムを形成するステップと、
    ｂ２ｅ）前記ヒストグラムにおいて谷位置を特定するステップと、
    ｂ２ｆ）前記ヒストグラムにおいて特定された谷位置における肌色確率値として肌色確率閾値を決定するステップとを含む、請求項１０に記載の方法。
13. 検知された肌色ピクセルの個数を数えて、最小数の肌色ピクセルが検知された場合のみ明度調整を実行するステップを更に含む、請求項１に記載の方法。
14. 主要被写体の肌色確信値マップを生成するステップが、
    ａ３ａ）各々の空間的に隣接する肌色領域について、中心性特徴、境界性特徴、稠密度特徴、および縦横比特徴からなるグループから選択された少なくとも一つの幾何学的特徴、を計算するステップと、
    ａ３ｂ）前記領域の幾何学的特徴および／または平均肌色確率に基づいて、各肌色領域について主要被写体の肌色確信値を計算するステップと
    ａ３ｃ）空間的に隣接する肌色領域の全てのピクセルに同一の主要被写体肌色確信値を割り当てるステップとを含む、請求項２に記載の方法。
15. 検知された肌色ピクセルの最大確信値を計算して、所定の閾値を超える確信値を有する肌色ピクセル領域が少なくとも一つ存在する場合のみ明度調整を実行するステップを更に含む、請求項１に記載の方法。
16. 前記デジタル画像が、元々フィルムに撮影されていた画像のデジタル化により、デジタルカメラへの直接取り込みにより、または印刷媒体上の画像をスキャナ取り込みすることにより得られる、請求項１に記載の方法。
17. 全体的に明度が向上した処理済みデジタル画像を印画紙にプリントするステップを更に含む、請求項１に記載の方法。
18. デジタル画像を処理する方法であって、
    ａ）前記デジタル画像内の肌色ピクセルに確率値を割り当てるステップと、
    ｂ）肌色ピクセルの空間的に隣接する領域を抽出するステップと、
    ｃ）自身の値が、各々の抽出された肌色領域が主要人物被写体の一部であるとの確信を示す主要被写体の肌色確信値マップ、すなわち肌色領域を、位置および、前記肌色領域が肌色ピクセルを有して画像内に位置している主要な人物被写体に関連付けられているとの確信に比例して割り当てられた確信値の観点から示す、主要被写体の肌色確信値マップを生成するステップと、
    ｄ）検知された肌色ピクセルおよびそのようなピクセルの確信値の統計値に基づいて明度調整量を計算するステップと、
    ｅ）前記明度調整量を前記デジタル画像に適用して全体的に明度が向上した処理済みデジタル画像を生成するステップとを含む方法。
19. 請求項１に記載の方法をコンピュータに実行させる命令が格納されたコンピュータ記憶媒体。
20. 請求項６に記載の方法をコンピュータに実行させる命令が格納されたコンピュータ記憶媒体。
21. 請求項１８に記載の方法をコンピュータに実行させる命令が格納されたコンピュータ記憶媒体。
22. デジタル人物画像を処理するデジタル画像処理システムであって、
    ａ）前記デジタル画像に初期シーンバランスアルゴリズムを適用する手段と、
    ｂ）前記デジタル画像内の肌色ピクセルを検知する手段と、
    ｃ）肌色ピクセルの空間的に隣接する領域を抽出する手段と、
    ｄ）自身の値が、各々の抽出された肌色領域が主要人物被写体の一部であるとの確信を示す主要被写体の肌色確信値マップを生成する手段と、
    ｅ）検知された肌色ピクセルおよびそのようなピクセルの確信値の統計値に基づいて明度調整量を計算する手段と、
    ｆ）シーンバランスが設定されたデジタル画像に前記明度調整量を適用して、全体的に明度が向上した処理済みデジタル画像が生成する手段とを含むシステム。
23. 前記主要被写体の肌色確信値マップを生成するステップが、ベイズネットワーク、ニューラルネットワーク、およびルールベースのネットワークからなるグループから推論エンジンを選択するステップを含む、請求項２に記載の方法。

Images