JP2004265406A - バッチモードで処理されるポートレート画像を向上する方法及びシステム - Google Patents

Abstract

【課題】バッチ処理中の多数の各ディジタル画像中に位置する顔の外見を向上する。
【解決手段】（ａ）選択された元ディジタル画像を識別し、その位置の命令を含むスクリプトファイルを与え、（ｂ）その命令を用い、顔を含む元ディジタル画像を取得し、（ｃ）顔の中の肌、目、眉、鼻、口、髪の１以上を含む顕著な特徴を識別する顔特徴点の位置を検出し、（ｄ）顕著な特徴の１以上を含む異なる領域へ顔を分割すべく顔特徴点の位置を用い、（ｅ）異なる領域の顔に関連のある特徴を決定し、（ｆ）これに基づき、特定の領域についてカスタマイズされた向上フィルタを選択し、そのデフォルトパラメータを選択し、（ｇ）特定の領域に向上フィルタを実行して元ディジタル画像から向上されたディジタル画像を生成し、（ｈ）これを格納し、（ｉ）これに対して行われた１以上の段階（ｃ）乃至（ｆ）中の１以上の操作を示す命令を有する出力スクリプトファイルを発生する。
【選択図】図２Ａ

Description

本発明は、概してディジタル画像処理の分野に係り、特に人間である被写体のポートレートタイプの画像から得られる改善されたイメージング製品の作成に関する。

数世紀にわたり、社会の裕福層又は特権階級のみが、絵画、彫刻、及びデッサンで優れた肖像画を描く仕事をする腕の良い画家を雇う余裕があった。多くの場合、肖像画は、単に現実についての満足のいく肖像を作成することよりも大きな目的に役立つものであった。画家の作業は、微妙に、又は、はっきりと、描かれる人の望みや意図と互いに影響しあう。２番目の種類の芸術的に許される自由な表現は、現実に対する改善を伴うものであった。従って、描かれる人は、身体的に不完全な部分が最小限とされ、出来る限り最も魅力的な外見が表わされるよう描かれた。

近代社会では、肖像画はもはや裕福で権力のある者に限られる領域のものではない。全ての社会階層に写真技術がもたらされたことにより、肖像画の作成は人生の多くの重要な出来事の至る所で行われるものとなった。結婚式、卒業式、誕生日、子供の誕生等の全ての出来事や、更に多くの出来事は、西洋文化では比較的標準化された肖像（ポートレート）画像で一般的に捕捉される。最新の技術は、個人のアマチュアがこれらのような画像を捕捉し、更に向上することを可能とする一方で、より高い質のポートレート画像の作成を行うプロフェッショナルな写真家の分類の人もいる。驚くほどのことではないが、肖像画が目的とすることは過去数世紀におけるものと同じままであり、即ち、描かれている人を出来る限り最も満足のいく方法で表わすことである。基本的には、描かれる人は、自分たちの実際の姿ではなく、自分たちが望むような姿で見られたいのである。

人々が自分たちの実際の姿ではなく、自分たちが望むような姿で見られたいという願望に応えて、プロの写真家は、人々に自分たちが望む外見を与えるようポートレート画像に対して画像修正（リタッチ）を行うことがよくある。画像修正は、元の写真画像中には捕捉又は描写されていなかったように写真画像を変化させることを含む。ポートレート画像の画像修正の１つの目的は、人の個性を残しつつ、しみや目の下のくま等の一時的な不完全な部分又はほくろやしわ等の永久的な不完全な部分を取り除くことによって、人をより良く見えるようにすることである。ポートレート画像中で人の外見を改善又は向上するために行われる画像修正の例として、顔のしみ、ほくろ、及び傷跡の除去、しわや小じわを薄くすること、目の下のたるみを減らすこと、歯や白目を白くすることがある。

ディジタル時代の到来以前は、画像の修正は、ポートレート画像中の不完全な部分を隠すため又は変えるために顔料を用いて画像を変更することにより、ネガ又は印刷された画像のいずれかに対して行われていた。今日では、ディジタル画像捕捉（キャプチャ）装置はごく普通に入手可能であるため、望ましい画像修正の方法は、捕捉されたディジタル画像上で行われるディジタルイメージング技術を介して行われる。ディジタル方法により、アナログ画像に対して行うのは極めて困難であったか以前は不可能であった向上が行われることが可能となる。Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ（登録商標）等の画像編集ソフトウエアは、しみを除去し、鼻をまっすぐにし、目のバランスをとり、ディジタル処理で化粧を施すことによってポートレートを洗練させるために使用されうる。

コンピュータ技術及び画像処理アルゴリズムの改善により、新しい種類の自動化及び半自動化された画像向上が可能となる。ポートレート画像の被写体に関して、関連する技術的な開発は、顔の検出及び認識、顔特徴の検出及びマスキング、顔のポーズを再び決めること、赤目の検出及び補正を含む。

公開された特許文献１６には、肌欠陥を検出し、肌状態の深刻さ（ｓｋｉｎ ｓｅｖｅｒｉｔｙ）の係数を計算するシステムが開示されている。このシステムは、化粧品及びスキンケアマーケットを対象とする。システムはまた、肌の欠陥を消すか隠す推奨される処置又は製品を使用すると実現されるであろう欠陥のある肌領域に対する改善をシミュレートしうる。肌の欠陥は、色情報を用いて検出され、欠陥のある肌領域中の改善をシミュレートするために標準モーフィング技術が用いられる。

公開された特許文献１３（”Ｍｅｔｈｏｄ ｏｆ Ｃｏｒｒｅｃｔｉｎｇ Ｆａｃｅ Ｉｍａｇｅ， Ｍａｋｅｕｐ Ｓｉｍｕｌａｔｉｏｎ Ｍｅｔｈｏｄ， Ｍａｋｅｕｐ Ｍｅｔｈｏｄ， Ｍａｋｅｕｐ Ｓｕｐｐｏｒｔｉｎｇ Ｄｅｖｉｃｅ ａｎｄ Ｆｏｕｎｄａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｉｌｍ”）では、ウツギ（Ｕｔｓｕｇｉ）は、望ましい顔又はモデルの顔に基づく画像処理を通じて理想的な化粧後の顔を準備する方法を記載している。この技術は、ハイライトされた領域を作り、化粧による変更が可能である範囲内で眉、アイライン、及びリップラインの形を所望の顔又はモデルの顔に近くすることを含む。
米国特許公開第２００２／００８１００３号明細書 米国特許第５，７１０，８３９号明細書 米国特許第５，７８１，６５０号明細書 米国特許第５，８３５，６１６号明細書 米国特許第５，９３３，５４３号明細書 米国特許第５，９６０，０９９号明細書 米国特許第５，９７４，１８９号明細書 米国特許第５，９９０，９０１号明細書 米国特許第６，１０１，０００号明細書 米国特許第６，１０４，８３９号明細書 米国特許第６，１６０，９２３号明細書 米国特許第６，１８１，８３６ Ｂ１号明細書 欧州特許公開第１０３０２６７ Ａ１号明細書 欧州特許公開第１１３４７０１ Ａ２号明細書 国際公開第０１／７５７９６号パンフレット 国際公開第００／７６３９８ Ａ１号パンフレット ビー・モガダム（Ｂ．Ｍｏｇｈａｄｄａｍ）及びエム・エイチ・ヤン（Ｍ．Ｈ．Ｙａｎｇ）、「サポート・ベクトル・マシンによる性別分類（Ｇｅｎｄｅｒ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）」、ＩＥＥＥ 第４回 顔及びジェスチャ認識に関する国際会議 議事録、２０００年３月 ヘンリー・シュナイダーマン（Ｈｅｎｒｙ Ｓｃｈｎｅｉｄｅｒｍａｎ）、「顔及び自動車に適用される３Ｄ対象検出用の統計的モデル（Ａ Ｓｔａｔｉｓｔｉｃａｌ Ｍｏｄｅｌ ｆｏｒ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ａｐｐｌｉｅｄ ｔｏ Ｆａｃｅｓ ａｎｄ Ｃａｒｓ）」、カーネギーメロン大学ロボット研究所（Ｒｏｂｏｔｉｃｓ Ｉｎｓｔｉｔｕｔｅ）博士論文、２０００年５月 エー・ラニティス（Ａ．Ｌａｎｉｔｉｓ）、シー・ジェイ・テイラー（Ｃ．Ｊ．Ｔａｙｌｏｒ）及びティー・エフ・クーテス（Ｔ．Ｆ．Ｃｏｏｔｅｓ）、「フレキシブルモデルを用いた顔画像の自動解釈及びコーディング（Ａｕｔｏｍａｔｉｃ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ａｎｄ ｃｏｄｉｎｇ ｏｆ ｆａｃｅ ｉｍａｇｅｓ ｕｓｉｎｇ ｆｌｅｘｉｂｌｅ ｍｏｄｅｌｓ）」、ＩＥＥＥ ＰＡＭＩに関する議事録、第１９巻、第７号、ｐ．７４３−７５６、１９９７年 ディー・イー・ピアソン（Ｄ．Ｅ．Ｐｅａｒｓｏｎ）及びジェイ・エイ・ロビンソン（Ｊ．Ａ．Ｒｏｂｉｎｓｏｎ）、「非常に低いデータレートでの視覚通信（Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｔ Ｖｅｒｙ Ｌｏｗ Ｄａｔａ Ｒａｔｅｓ）」、ＩＥＥＥ議事録、第７３巻、第４号、１９８５年４月 ティー・ベイアー（Ｔ．Ｂｅｉｅｒ）及びエス・ニーリー（Ｓ．Ｎｅｅｌｙ）、「特徴に基づく画像メタモーフォシス（Ｆｅａｔｕｒｅ−Ｂａｓｅｄ Ｉｍａｇｅ Ｍｅｔａｍｏｒｐｈｏｓｉｓ）」、コンピュータグラフィックス誌、２６（２）、３５−４２、米国ニューヨーク州ニューヨーク、１９９２年７月、ＳＩＧＧＲＡＰＨ ’９２の議事録 ウィリアム・エス・プラット（Ｗｉｌｌｉａｍ Ｓ．Ｐｒａｔｔ）著、「ディジタル画像処理（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）」第２版、Ｊｏｈｎ Ｗｉｌｅｙ＆Ｓｏｎｓ出版、１９９１年 「ピラミッドベースのテクスチャ解析／合成（Ｐｙｒａｍｉｄ−Ｂａｓｅｄ Ｔｅｘｔｕｒｅ Ａｎａｌｙｓｉｓ／Ｓｙｎｔｈｅｓｉｓ）」，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ議事録、１９９５年、ｐ．２２９−２３８ エイ・ハーロー（Ａ．Ｈａｒｏ）、ビー・ギュエンター（Ｂ．Ｇｕｅｎｔｅｒ）、及びアイ・エッサ（Ｉ．Ｅｓｓａ）、「細かいスケールの人間の肌構造のリアルタイムなフォトリアリスティックな身体に基づくレンダリング（Ｒｅａｌ−ｔｉｍｅ，Ｐｈｏｔｏ−ｒｅａｌｉｓｔｉｃ，Ｐｈｙｓｉｃａｌｌｙ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ ｏｆ Ｆｉｎｅ Ｓｃａｌｅ Ｈｕｍａｎ Ｓｋｉｎ Ｓｔｒｕｃｔｕｒｅ）」、第１２回レンダリングに関するユーログラフィックス・ワークショップ（Ｅｕｒｏｇｒａｐｈｉｃｓ Ｗｏｒｋｓｈｏｐ）の議事録、英国ロンドン、２００１年６月

かかるシステムの、特に例えば結婚式、卒業式、学校及びスポーツ写真、誕生日、子供の誕生等のために使用されるバッチ肖像システムの不利な点は、好みや評価結果を入力するために、顧客に多くの対話が要求されることである。例えば、特許文献１３では、例えば人気のあるタレント、女優、又は俳優から選択されるモデルの顔の上に落ち着くため、及びモデルの顔に達するために行われる様々な調整を決めるために、メイクアップ顧客が存在することが必要である。更に、満足できる結果を与えるためには熟練したオペレータが顧客とともに作業を行う必要がある。

従って、ディジタルイメージング法がもたらされても、ポートレートの画像修正は、それ自体に対する手作業であり、今日に至るまで科学というよりも芸術の分野のままである。更に、ポートレート画像の修正の処理は、熟練したオペレータによって行われる非常に手作業が多く時間のかかる処理である。従って、ポートレートの画像修正を容易とすることを可能とするよう自動化又は半自動化されたポートレート画像向上方法を用いるシステムを開発することが有利である。本発明は、画像中の人間である被写体の外観の自動化された向上のための方法及びシステムを与えることにより現在の技術の上述の欠点を解決するものである。

本発明は、上述の１つ又はそれ以上の問題を解決することを目的とする。概して、本発明の１つの面によれば、バッチ処理で処理されている多数のディジタル画像のうちの１つであるディジタル画像中に位置する顔の外見を向上するバッチ処理方法は、（ａ）向上のために選択された１又はそれ以上の元のディジタル画像を識別し、各元のディジタル画像の位置についての命令を含むスクリプトファイルを与える段階と、（ｂ）スクリプトファイル中の命令を用いて、１つ又はそれ以上の顔を含む元のディジタル画像を取得する段階と、（ｃ）１つ又はそれ以上の顔の中の、肌、目、眉、鼻、口、及び、髪のうちの１つ又はそれ以上を含む顕著な特徴を識別する点を含む顔特徴点の位置を検出する段階と、（ｄ）顔を、肌、目、眉、鼻、口、首、及び、髪の領域のうちの１つ又はそれ以上を含む異なる領域へ分割するよう顔特徴点の位置を用いる段階と、（ｅ）異なる領域の１つ又はそれ以上の顔について関連のある特徴を決定する段階と、（ｆ）異なる領域の顔について関連のある特徴に基づいて、特定の領域について夫々が特にカスタマイズされた１つ又はそれ以上の向上フィルタを選択し、向上フィルタに対するデフォルトパラメータを選択する段階と、（ｇ）特定の領域に対して向上フィルタを実行し、それにより元のディジタル画像から向上されたディジタル画像を生成する段階と、（ｈ）向上されたディジタル画像を格納する段階と、（ｉ）向上されたディジタル画像に対して行われた段階（ｃ）乃至（ｆ）のうちの１つ又はそれ以上における１つ又はそれ以上の操作を示す命令を有する出力スクリプトファイルを発生する段階とを有する。

本発明の利点は、画像修正の補正を行い監視するための熟練したオペレータの介在を必要とすることなくポートレートの画像修正を可能とするよう自動化及び半自動化されたポートレート画像向上方法をバッチプロセスにおいて効率的に用いることである。従って、熟練したオペレータによって行われる手作業の多い時間のかかる処理は回避され、画像修正方法はバッチプロセスで行われうる。

本発明の上述の及び他の面、目的、特徴、及び利点については、以下の望ましい実施例の詳細な説明及び特許請求の範囲を読むこと、並びに、添付の図面を参照することによって、より明らかに理解され認識されるであろう。

顔特徴検出及び特徴向上を用いた画像処理システムは周知であるため、本願の説明は、特に、本発明による方法及びシステムの一部をなす、又はより直接的に協働する特性に関連する。本願で特に図示又は説明しない特性は、従来技術で知られているものから選択されうる。以下の説明では、本発明の望ましい実施例は通常はソフトウエアプログラムとして実施されるが、当業者はかかるソフトウエアと均等のものがハードウエア中にも構築されうることを容易に認識するであろう。以下に本発明により示されるシステムが与えられているとき、本願に特に図示、提案、又は説明しないが、本発明の実施に有用なソフトウエアは従来通りであり、かかる技術分野の通常の技術範囲内である。本願に用いる用語に関して、向上（ｅｎｈａｎｃｅｍｅｎｔ ｆｉｌｔｅｒ）フィルタを、ディジタル画像中の顔の視覚的な外見を向上させる方法と言及している。例えば、目向上フィルタは、目の白さ又は光彩の色を向上させる方法である。

本発明がコンピュータプログラムとして実施される場合、プログラムは、例えば、磁気ディスク（フロッピー（登録商標）ディスク又はハードドライブ等）又は磁気テープ等の磁気記憶媒体；光ディスク、光テープ、又は機械読み取り可能なバーコード等の光記憶媒体；ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）等の固体電子記憶装置；又はコンピュータプログラムを格納するために使用される任意の他の物理的な装置又は媒体を含みうる、従来のコンピュータ読み取り可能な記憶媒体に格納されうる。

図１Ａは、本発明を実行するのに有用なシステム１０を示す。システム１０は、本発明の方法を実行するときに一組の所定の段階を実行しうる中央処理装置（ＣＰＵ）を含むパーソナルコンピュータＰＣ１２を含む。ディジタル記憶媒体２０もまた、ディジタル画像を格納するためにＰＣ１２と関連して設けられる。ディジタル記憶媒体２０は、ＲＡＭ、ＲＯＭ、ハードドライブ、フロッピー（登録商標）ドライブ等の異なる種類を含みうる。ディジタル記憶媒体２０はまた、発生された向上された画像をローカルに格納するために使用されうる。更に、ディジタル画像の更なる源であるスキャナ２８やディジタルカメラ３０等のディジタル画像捕捉（キャプチャ）装置もまた、コンピュータ１２に対して設けられ得る。しかしながら、ディジタル画像はいかなる源から得られてもよいことが理解されるべきである。ユーザは、マウス及び／又はキーボード等の入力装置４０、並びに、コンピュータ１２に接続されたディスプレイモニタ５０を介してコンピュータ１２と対話する。システム１０はまた、画像をローカルに出力するためのプリンタ３４等の装置を含みうる。一般的には、上述の構成要素は、直接接続されているという意味で、ＰＣ１２上にあるものでありうる。

或いは、上述の構成要素は、全てがホストコンピュータ１２上にあるものでなくともよく、通信網７０を介してクライアントＰＣ１２に接続されうるサーバ６２上にあってもよい。サーバはまた、本発明の方法を実行するための一組の所定の段階を実行しうる中央処理装置（ＣＰＵ）を含みうる。サーバはまた、記憶媒体６５及び１つ又はそれ以上のプリンタ６０に接続されてもよい。これは、サーバ６２に接続された記憶媒体６５及びプリンタ６０を用いて通信網７０を介して、画像が遠隔に取得され、記憶され、印刷されることを可能としうる。本発明を実行するソフトウエアは、一般的には記憶媒体２０上に格納される。或いは、このソフトウエアは、通信網７０を介してサーバからダウンロードされうる。本発明を実行するためのソフトウエアは、ＰＣ１２に含まれるＣＰＵを用いてクライアント上で、又は、サーバ６２に含まれるＣＰＵを用いてサーバ側のいずれかで、実行されうる。通信網７０は、ローカル・エリア・ネットワーク（ＬＡＮ）等の専用網又はインターネット・サービス・プロバイダ（ＩＳＰ）を用いる個人によってアクセスされうるインターネット等の公衆網を含みうる。かかる網において従来通りであるように、遠隔ネットワーク・サービス・プロバイダはまた、小売りキオスク又は任意の他の適切な通信装置を用いて顧客によってアクセスされてもよい。

図１Ｂは、本発明を実行するためのインタラクティブなソフトウエア用のグラフィック・ユーザ・インタフェース（ＧＵＩ）の一例を示す図である。ソフトウエアは、システム１０上でローカルに又はサーバ６２上で遠隔に動作し、図１Ｂに示すようなＧＵＩ画面７８を生成する。ユーザはソフトウエアを開始し、向上されるべき画像をダウンロードする。画像がダウンロードされると、ディスプレイ５０上にグラフィック・ユーザ・インタフェース画面７８が表示される。ＧＵＩ画面７８の左側の画像８０は、本発明の方法によって向上されるべき顔を有する元のダウンロードされた画像である。右側には、向上された顔を有する画像８２が表示される。１つの実施例では、画像がダウンロードされると、ユーザは向上されるべき顔８０の目の上をクリックする。これに応じて、以下詳述するように、システムは顔の特徴点を自動的に見つけ、顔を異なる特徴（例えば目、眉等）及び首領域へセグメンテーションする。システムは、デフォルトパラメータを設定し、全ての向上フィルタを所定の順序で元の画像に対して適用する。

結果として得られる画像８２は、ＧＵＩ画面７８の右側に表示される。スライダ９０、９２、９４、９６、及び９８は、ユーザが異なる向上フィルタのパラメータを対話式に変化させることを可能とする。スライダの最初の位置は、システムによって自動的に設定されるデフォルト値に対応する。主外見エンハンサスライダ９０は、全てのコンポーネント向上スライダを組み合わせる。コンポーネントスライダは、テクスチャエンハンサスライダ９２、肌エンハンサスライダ９４、目エンハンサスライダ９６、及び歯エンハンサスライダ９８を含む。テクスチャエンハンサスライダ９２は、テクスチャ向上フィルタのパラメータを制御する。肌エンハンサスライダ９４は、肌トーン向上フィルタのパラメータを制御する。目エンハンサスライダ９６及び歯エンハンサスライダ９８は、夫々、目及び歯を白くするフィルタのパラメータを制御する。全ての向上フィルタについては、以下の各セクションで詳述する。全てのスライダに対する最小値及び最大値は、「向上なし」（例えば各スライダの左端）と「最大の向上」（例えば各スライダの右端）に夫々設定される。

ユーザは、１つのグローバル外見エンハンサスライダ９０又は別々のコンポーネントスライダ９２乃至９８を用いることによって顔のレベル又は見た目を制御しうる。ユーザが主外見エンハンサスライダ９０の位置を変化させたときはいつでも、システムはスライダの位置を向上フィルタの適切なパラメータ値へマッピングし、全ての向上フィルタを所定の順序で元の画像に対して適用する。向上された画像８２は次に、ＧＵＩ画面７８の右側に表示される。ユーザがコンポーネントエンハンサスライダ９２乃至９８のうちの一つを変化させたときはいつでも、システムは各コンポーネントスライダの位置に基づいて所定の順序で元の画像に対して全ての向上フィルタを適用する。向上された画像８２は、ＧＵＩ画面７８の右側に表示される。望ましい実施例のＧＵＩ設計の一部は、顔特徴点と首領域の輪郭を変更するオプションである。ユーザがＧＵＩ画面７８の上部のバーからプルダウンされた「Ｅｄｉｔ（編集）」メニューからそのオプションを選択すると、顔特徴点及び首領域の輪郭点は元の画像８０上に重ね合わされ、ユーザは、ポインティングデバイス等のユーザ入力装置４０を用いることによって表示された点の位置を変更しうる。ツールバー８４は、ユーザが表示された画像と対話し変更するために使用しうる特別なツールを含む。例えば、ズームイン及びズームアウト用のツール、特徴点の編集用のツール、元の画像を向上された画像とローカルにブレンド（混ぜ合わせる）するためのブレンドツール、向上フィルタの結果を空間的に変更するためのツール等である。

図２Ａは、本発明によるポートレート画像を向上する方法の一実施例を示すフローチャートである。段階２００において処理を開始した後、取得及び表示段階２０５においてシステムによってディジタル画像が取得され、次にディスプレイモニタ５０上に表示される。本発明では、ディジタル画像は、写真から得られる画像のみを示すものではなく、制限なしに、例えばディジタルカメラ、ハードコピー画像、又は他のソースから電子的に、任意のソースから得られるディジタル画像を示すものである。位置確認段階２１０では、画像中の個々の顔が検出され、各顔上の顔特徴点の位置が識別される。顔及びそれらの関連する特徴点の位置確認の処理は、ユーザによって手動で、又は半自動的に、又は画像処理技術を用いて自動的に行われうる。顔特徴点の位置は、顔（例えば肌、目、鼻、口、髪等）の様々な領域と首の領域を識別しセグメンテーションするために使用される。表示段階２１５では、顔特徴点は画像上に重ね合わされ、ディスプレイモニタ５０上に表示される。任意に、首領域の画輪郭をなす特徴点もまた表示される。顔特徴点が自動的又は半自動的に決定された場合、ユーザは決定段階２２０において、特徴点が調整される必要があるかどうかを決定する機会がある。ユーザが特徴点は調整される必要があると決定すると、変更段階２２５において、ユーザは入力装置４０を用いて顔特徴点を調整しうる。任意に、ユーザは、首領域の輪郭をなす特徴点も調整しうる。

デフォルト設定段階２３０において、システムは、肌、目、鼻、口、髪、顔の毛等の様々な領域を識別子セグメントするために顔特徴点の位置を使用し、向上フィルタ用の適切なデフォルトパラメータを決定する。望ましい実施例では、首領域は顔特徴点の位置に基づいて自動的にセグメントされる。首領域をセグメントする方法については後に詳述する。従って、段階２３０では、システムは首領域に対する向上フィルタ用の適切なデフォルトパラメータも決定する。任意に、この段階において、顔の性別及び年齢は、手動で、又は性別及び年齢分類アルゴリズムを用いて自動的に決定されうる。自動性別分類の例は、ここに参照として組み入れられる非特許文献１に記載されている。年齢分類のための典型的なアルゴリズムは、顔特徴比率及びしわの分析といった特定の詳細な顔特徴について被写体の顔のディジタル画像の分析を行うことによって動作する。本発明の実施に有用な自動年齢分類アルゴリズムは、ここに参照として組み入れられるロボ（Ｌｏｂｏ）及びクォン（Ｋｗｏｎ）による特許文献３に開示されている。性別及び年齢分類は、性別特有のパラメータとともにどの向上フィルタが実行されるべきかを決定するために使用されうる。例えば、デフォルトとして、女性の顔には男性の顔よりも多くの量のテクスチャ（きめ）及び肌向上が適用されうる。望ましいデフォルトパラメータは、画像クラスにも基づいて決定されうる。画像クラスは、種類（例えばポートレート）、内容（例えば家族ポートレート又は学校ポートレート）、解像度、及び構図に関して類似した画像のクラスである。ユーザは、例えば、ＧＵＩ画面７８（図１Ｂ）の一番上のバーから「Ｅｄｉｔ（編集）」メニューをプルダウンし、典型的な画像クラスのリスト用の「好み」サブメニューをチェックすることによって、画像クラスをチェックしうる。

次に、システムは、適切に選ばれたパラメータを用いて実行段階２３５において向上フィルタを実行する。或いは、破線で示すように、ユーザは、ユーザ選択段階２４０において、向上フィルタ用の適切なパラメータとともにどの向上フィルタが実行されるべきであるかを決定しうる。段階２３５においてシステムが向上フィルタの実行を終了した後、向上された画像がディスプレイモニタ５０上のディスプレイに表示される（２４５）。この点で、ユーザは向上された画像が許容可能であるかどうかを決定しうる。画像が許容可能ではないとき、ユーザは、ユーザ選択段階２４０において向上フィルタ及び／又はそれらのパラメータを変更すること、又は変更段階２２５において顔特徴点の位置を調整することのいずれかを選びうる。１つの実施例では、ユーザは、ある向上フィルタが画像に与える影響を見るよう、様々な向上フィルタを順次に実行することを選びうる。この実施例では、ユーザは、許容可能な結果が得られるまで向上フィルタ及びパラメータを変化させながら段階２４０、２３５、２４５、２５０のサイクルを繰り返す。決定段階２５０において向上された画像が許容可能であると判断されると、ユーザは、ローカル印刷段階２５５においてプリンタ３４でローカルに印刷を行うこと、或いは、ローカルアーカイブ段階２６０において記憶媒体２０にローカルにアーカイブすることを選びうる。或いは、システムがサーバ６２を介して通信リンク７０に接続される場合、ユーザはまた、遠隔印刷段階２６５においてプリンタ６０上に遠隔に印刷するか、遠隔アーカイブ段階２７０において記憶媒体６５上に遠隔にアーカイブするかを選択しうる。適切なアクションが選ばれ完了した後、システムは、新しい画像が存在するかの問い合わせを行い（クエリー段階２７５）、応答に依存して、次の画像のために取得及び表示段階２０５へ戻るか、処理を終了する（終了段階２８０）。

図２Ｂは、商用写真施設における高度に自動化された効率的な製造のために、より役に立つ本発明によるポートレート画像を向上する他の実施例を示す図である。本実施例は、ユーザ介入の必要なしにポートレート向上システムを通じて多数の画像を処理する自動バッチ処理を示す。取得段階２８２では、画像は、向上されるべきとして選択されている画像の名前及び場所を含むスクリプトファイル（コンピュータファイル）から取得される。スクリプトファイルはまた、バッチプロセスを制御するために使用されうる更なる命令を含みうる。例えば、スクリプトは、画像の場所及び命令を含みうるだけでなく、向上された画像に対していかなる名前を付けるか及びどこに格納すべきか、並びに、向上された画像を発生した後に元の画像を削除すべきかに関する命令を含みうる。多種多様な命令セットは、様々な商用写真ラボによって、それらの特別なワークフロースキーム（以下参照）に当てはまるよう容易に使用されうるフレキシブルなバッチ処理を可能とする。顔検出及び位置確認段階２８４では、画像中の顔は自動的に検出され、各顔上の顔特徴点の場所は自動的に識別される。向上選択段階２８６では、システムは顔を特徴付け、向上フィルタに対する向上フィルタ及びデフォルトパラメータの適切な組み合わせを決定する。任意に、この段階において、顔の性別及び年齢は、（上述したような）性別及び年齢分類アルゴリズムを用いて自動的に決定されうる。

或いは、画像中の顔の年齢及び性別は、画像に関連付けられるメタデータを介してシステムへ供給されえ、例えば、年齢及び性別は、顧客から与えられた写真仕上げ用封筒から与えられてもよく、又はその他の方法でユーザに問い合わせを行うことによって与えられてもよい。デフォルトのフィルタ及びパラメータはまた、向上の処理が行われる前に画像依存のメタデータとして、又は、画像独立の設定として与えられうる。メタデータは、画像ファイルに直接組み入れられてもよく、スクリプトファイルから得られてもよい。図２Ｃは、本発明による自動バッチ処理を制御するのに用いられるスクリプトファイルの例を示す。

システムは、適切に選ばれたパラメータを用いて向上実行段階２８８中の向上フィルタの組み合わせを実行する。画像中に２以上の顔がある場合、このことは顔クエリー段階２９０で気づかれ、システムは画像中の全ての顔が向上されるまで段階２８６、２８８、及び２９０を繰り返す。この間、特定の段階においてその段階又は次の段階で使用されるために生成される画像情報（即ち、マスク、特徴マップ、特徴点等）を含む中間画像が形成されうる。記憶段階２９２において、向上された画像は記憶される。向上された画像の記憶に加え、出力スクリプトファイル（以下詳述する）及び中間画像（上述した）もまた記憶されうる。画像を向上する処理は、全ての入力画像が向上されるまで続けられる（画像クエリー段階２９４）。全ての画像が処理された後（終了段階２９６）、向上された画像は、図２Ａに示す使用段階２５５−２７０へ適用される。任意に、全ての画像が処理された後（終了段階２９６）、向上された画像は、図２Ａ，図２Ｄ，及び図２Ｅに示すように、向上された画像の許容可能性についてチェックされるべく、ユーザ対話システムへ入れられ、必要であれば使用段階（図２Ａ中の段階２５５−２７０）の前に変更される。

図２Ｄは、本発明によるバッチ処理によって発生される向上されたポートレート画像の許容可能性をチェックする実施例を示す図である。商用写真ラボは、これらのラボを通じて処理される膨大な数の画像を処理するために非常に厳しい時間的な要求がある。従って、ユーザ対話型システムは、バッチ処理された画像が素早く見直され、必要であれば商用ラボの生産性の要求を満たすべく変更されるよう、バッチシステムの出力と効率的且つ最適に一体となる必要がある。この必要性を容易とするため、出力スクリプトファイルは、各処理された画像に対するバッチ処理から発生される。スクリプトファイルは、画像に対して行われる操作、並びに、元の画像、向上された画像、及び中間画像がどこに記憶されるかを記述する情報、また、向上された画像を受け入れたとき又は拒否したときに元の画像、向上された画像、及び中間画像に対して何をするかについての対話型システムに対する更なる命令も含む。或いは、出力スクリプト内のデータ又は出力スクリプトの場所は、画像ファイル内にメタデータとして格納されうる。

取得段階２０００において、元の画像、向上された画像、及び中間画像は、出力スクリプトファイル内に含まれるデータを用いて、又は画像内に含まれるメタデータから取得される。出力スクリプトファイル又は画像の場所は、バッチシステムによって処理された出力スクリプトファイル又は画像の名前及び場所を含むスクリプトファイルから取得されうる。表示段階２０１０において、元の画像及び向上された画像は、ディスプレイモニタ５０上に横に並べて表示される。受け入れ／拒否決定段階２０２０において、ユーザは、例えば受け入れボタン又は拒否ボタンのいずれかをクリックすることにより、バッチシステムで発生された向上された画像を受け入れるか受け入れないかを決定する。向上された画像が拒否されると、ユーザは、画像中の全ての顔が（ユーザにとって）向上されるまで段階２８６、２８８、及び２９０（図２Ｂ）をユーザが繰り返す対話式画像修正モード段階２０３０に入る。利用可能であれば、中間画像（即ち、マスク、特徴マップ、特徴点等）は、受け入れ可能でないと判断された向上された画像の素早い変更を可能とするために使用されうる。

中間画像の使用はまた、向上フィルタに適用するときに時間のかかる計算（これらを再計算すること）を実行する必要性を軽減する。受け入れ／拒否決定段階２０４０において、ユーザは、新たに向上された画像を受け入れるか拒否するかを決定する。クリーンアップ段階２０５０において、システムは、元の画像、向上された画像、及び中間画像の運命を扱う出力スクリプトファイル中の命令を実行する。現在の画像が受け入れ／拒否されるとすぐに、操作者が向上された画像の許容可能性について素早い決定を行うことを可能とするよう、リスト上の次の画像がその向上された画像とともにすぐに表示される。バッチ処理で向上された画像をチェックする処理は、全ての画像がチェックされるまで続けられる（クエリー段階２０６０）。

バッチ／対話型システムの生産性を更に向上するために、バッチ処理は、ユーザの注意を必要としうる向上された画像に自動的にフラグを付してもよい。これらのフラグは、対話型システムを用いてチェックされねばならない向上された画像の数を制限するためにシステムによって使用されうる。フラグは、向上された画像及び／又は向上された画像の状態のテキスト記述の許容可能性の確率を表わしうる。例えば、顔検出及び位置確認段階２８４において、システムが顔を見つけることに失敗した場合、システムは画像に、０．００の許容可能性を表わすフラグと、「顔が見つからなかった」フラグとを付しうる。他の例では、システムは、画像に対して行われる肌テクスチャの向上の量に比例する許容可能性フラグで画像にフラグを付しうる。肌テクスチャがより多く向上されると、許容可能性フラグはより低くなる。他の例では、システムが、顔に髭があることを判定すると、「顔の毛」フラグが設定され、人が眼鏡をかけていると、「眼鏡」フラグが設定される。所望であれば、所定の閾値よりも低い許容可能性の確率を有する画像及び／又は特定のテキストのフラグを有する画像のみが段階２０００で取得され開かれ、高い確率の画像は飛ばされる（スキップされる）。当業者によれば、大容量の商用写真ラボのために本発明を実施するのに有用なバッチ／対話型システムの多くの他の実施例があることが明らかとなろう。

図２Ａに示すポートレート向上システムの実施例は、消費者により操作される画像フルフィルメントキオスクで実施されうる。消費者は、そのように望まれるのであればポートレート向上システムを手動で開始しうる。図２Ｅは、プリント、ネガ、ディジタルファイル等からプリント（印画）を生じさせるための消費者により操作されるキオスクに役に立つ本発明によるポートレート画像を向上させる他の実施例を示す図である。この実施例は、向上されるべき画像の適切さを決定し、ユーザ介入あり又はなしで画像に対してポートレート向上を適用する半自動／自動処理を示す。消費者が、段階２１００においてフルフィルメント処理を開始した後、取得段階２１０５においてシステムによってディジタル画像が取得される。画像は、写真又はネガのいずれかをスキャンすること、又は、ディジタル媒体上に入っているファイルから、又は、システムが通信リンクを介してサーバに接続される場合はネットワーク上のファイルから取得される。顔検出ステップ２１１０において、画像中の顔は、取得された画像が消費者に対して表示される前に自動的に検出され、顔が見つかった場合は、各顔の顔特徴点の場所が自動的に識別される。決定段階２１２０において、画像中に顔が見つからなかった場合、又は検出された顔がいずれも向上に適していない場合、取得された画像は表示され（２１８０）、ユーザは従来の画像フルフィルメントキオスク処理２１９０を使い続ける。顔が向上のために許容可能であると考えられることを判定するために多数の規準が用いられる。

望ましい実施例では、顔の寸法及び鮮鋭さは、顔が向上に適しているかどうかを測定するために使用される。顔の向上の利点を認識するために、顔はユーザが改善点を見ることができるよう十分に大きく十分に合焦していなくてはならない。向上のために許容可能であると考えられる顔が検出されれば、次にシステムは適切に選ばれたパラメータを用いて実行段階２１３０において適切な向上フィルタを実行する。システムが段階２１３０において向上フィルタの実行を終了した後、向上された画像が表示される（２１４０）。ユーザ非介入モードでは、ユーザは画像フルフィルメントキオスク処理（２１９０）の使用を続ける。ユーザ介入モードでは、ユーザは、向上された画像が許容可能であるかどうかを決定しうる。決定段階２１５０において、画像がユーザにとって許容可能なものであれば、ユーザは画像フルフィルメントキオスク処理２１９０を使用し続ける。そうではなく、画像が許容可能でなければ、ユーザは、決定段階２１６０において、向上段階を迂回しキオスク処理２１９０を使い続けるか、ポートレートシステムの対話型の変形例を始めるかを選びうる。この点で、対話型ポートレートシステム（図１Ｂ）のＧＵＩが表示され（２１７０）、消費者は許容可能な結果が得られるまで画像を向上させるよう対話式の変形例を使用しうる。

図３は、図２Ａ及び図２Ｂの顔検出及び点位置確認段階２１０のフローチャートを示す図であり、本発明による画像中に表示される顔の顕著な顔の点の位置を確認する処理を示す。顔検出モジュール３１０は、画像中に存在する全ての人間の顔の場所とおおまかな寸法をマークするためにディジタル画像に適用され、顔特徴検出器３１５は検出された顔上の顕著な顔特徴点の位置を確認する。顔検出段階は、ユーザによって手動で、又は学術文献に記録された多くの顔検出法のうちの１つを用いて自動的に行われうる。この適用のための望ましい自動顔検出方法は、ここに参照として組み入れられる非特許文献２に記載されている。或いは、顔を検出するために手動アプローチが用いられる場合、望ましい方法は、画像中に存在する１つ又はそれ以上の顔の両目の上をユーザがクリックするものである。目の空間的な隔たりは、顔の寸法を推定するのに用いられ得る。

１つ又はそれ以上の顔の検出に続き、各顔の画像座標及び推定される寸法は、顔特徴検出器３１５に与えられ、顔特徴検出器３１５は検出された顔上の顕著な顔特徴点の位置を確認するタスクを有する。望ましい実施例では、顔特徴検出器としてアクティブ形状モデルが用いられる。アクティブ形状モデルは、ここに参照として組み入れられる非特許文献３に記載されている。検出された特徴点は、顔の肌領域、目、鼻、口、眉、髪、顔の毛等といった顔の様々な領域を識別し、輪郭付け、セグメンテーションするために使用される。検出された領域は、対応する２値マスクによって識別される。領域の２値マスクは次に、アルファマスクを発生するよう空間的にフェザリングされる（ｆｅａｔｈｅｒｅｄ）。アルファマスクは、ステップ２３５及び２８８において向上フィルタ（例えばテクスチャ向上フィルタ）の結果を元の画像とブレンドするのに用いられる。２値マスクをフェザリングし、結果として得られるアルファマスクをブレンド操作に適用することは、向上された領域と向上されていない領域の間の平滑な遷移を確実とする。アルファマスクを発生するために、２値マスクは、ぼけ半径が顔の寸法に基づいて選ばれるぼけ関数で２値マスクをぼけさせることによってフェザリングされる。２値マスクは、図２Ａ及び図２Ｂに示すように向上フィルタをどこに空間的に適用するかを決定するために用いられる。

図４を参照するに、検出された顔４１０上の顕著な特徴点４２０の場所の視覚的な例が示される。一般的には、これらの顔特徴点は、手動で、或いは画像処理技術を用いて自動的に位置が確認される。

多くの画像では、肌向上フィルタを、顔領域だけではなく首領域にも適用することが重要である。現在の望ましい実施例では、首領域は、変更された包括的（ｇｅｎｅｒｉｃ）な首領域形状モデルに肌色クラシファイア（ｃｌａｓｓｉｆｉｅｒ）を組み合わせることによって決定される。図５Ａに、首領域を決定する方法のフローチャートを示す。包括的なマッピング段階５５０では、首領域に対する包括的な確率マップが作成される。包括的な首確率マップは、首の形状の事前の知識に基づく。望ましい実施例では、包括的な確率マップは、向上されるべき画像（例えばポートレートタイプの画像）の予想される集団を表す正規化された画像の標本集団を平均化することによって作成される。標本画像は、各画像を同じ所定の目の場所へスケーリングすることによって正規化される。各標本画像中、首領域は手動で輪郭付けされる。各画素についての最終的な首の確率は、全ての標本画像に対して、所与の画素が首領域の一部であれば１であり、その他の場合は０である、スコア関数の平均和である。包括的な首確率マップは、発見的な近似を用いて形成されうる。画像中の人の性別が分かっているとき、望ましい実施例では男性と女性に対して異なる確率マップが使用される。通常は、肌領域は、男性よりも女性のポートレートの中でより良く見える。スケーリング段階５５４では、包括的な首領域マップは、顎の線と顔の輪郭の個々の特徴点に当てはまるようスケーリングされる。

肌色分類段階５５６では、首確率マップは、色セグメントに基づいて作成される。肌色の特定の距離内にある全ての画素にマークするために監視された画素ベースの色クラシファイアが用いられる。肌に属する画素色Ｃの条件付き確率関数である画素ベースの色クラシファイアは、ガウシアンでモデル化され、

であり、式中、平均ベクトルμ及び共分散マトリクスΣは決定された肌領域から推定される。ベクトルＣは、画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の信号に対応する。上述のアプローチはまた、Ｃが他の色空間、例えばＣＩＥＬＡＢ、ＹＵＶ、ＨＳＶ等で表現されるときも利用可能である。顔の肌領域のサブセットは、条件付き肌確率分布を決定するために用いられる。現在望ましい実施例では、目の上の肌領域と顔の毛が検出された肌領域は、式１中で平均ベクトルμと共分散Σの推定からは排除される。首の確率は、顔領域の外側及び顎の線の下の全ての画素に対して式１に基づいて定義され、それ以外の場合は０である。

最終マップ発生段階５５８では、最終確率マップは、スケーリングされた首確率マップと肌色に基づく確率マップを組み合わせることによって形成される。望ましい実施例では、２つの確率マップは算術的に乗算される。結果として得られる首確率マップは、向上フィルタの結果をどのように元の画像とブレンドするかを決定するためのアルファチャネルとして用いられる。２値首領域マスクは、最終首確率マップを閾値処理することによって作成される。確率が所定の画素に対して１よりも大きい場合、対応するマスク値は１に等しく、従って首領域を示し、そうでない場合はマスク値は０に等しく、従って首でない領域を示す。２値首領域マスクは、どこに向上フィルタを適用するかを決定するために使用される。

図５Ｂ乃至図５Ｄは、最終首確率マップを作成する処理を視覚的に示す図である。図５Ｂを参照するに、スケーリングされた包括的な首確率マップが示される。包括的な確率マップは、顔の輪郭をなす個々の特徴点に一致するようスケーリングされる。包括的な首確率マップは、上述のセクションに記載したように顔の輪郭に対する首の場所の事前の知識に基づく。図５Ｂに示す包括的な首確率は、上述のセクションで推奨されたように統計的な解析を用いるのではなく発見的な規則に基づく１つの可能な例である。これは、処理の定性的な特徴を示す役割を果たす。包括的なマスク内の中央領域５７０は、首領域である確率が高いことに対応する高い値（例えば０．５よりも大きく、１以下）を有する。境界領域５７２は、首領域の確率がより低いことに対応するより低い値（例えば０よりも大きく、０．５よりも小さい）を有する。首領域の確率は、領域５７２の外側で０の値へと徐々に小さくなる。一般的に、確率は、水平方向には領域の中心５７０から領域の縁５７２へ、垂直方向には上から下へ連続的に減少する。顎の線の直下のマスクの中央領域は、それに関連する最も大きい確率を有する。

図５Ｃに、肌色クラシファイアによって決定される首確率マップの輪郭５７４を示す。肌色に基づく確率は、上述のセクションに記載のように式１に従って計算される。輪郭付けられた領域５７４の外側の確率値は０に等しい。領域５７４の中の確率値は、式１によって定義されるように０よりも大きい。２つの首確率マップ、即ちスケーリングされた包括的な首確率マップと肌色分類に基づく確率マップは、この２つを算術的に乗算することによって組み合わされる。図５Ｄは、結果として得られる最終首確率マップの輪郭を示す。中央領域５７６は、肌色確率領域５７４によってクロッピングされた高確率領域５７０に対応する。領域５７８は、肌色確率領域５７４によってクロッピングされる低確率領域５７２に対応する。

顔特徴点及び首領域の位置が確認されると、外見向上フィルタの組み合わせ（即ち２つ又はそれ以上）が、画像中の顔及び首領域に適用されうる。図６を参照するに、幾つかの異なる向上フィルタが示される。望ましい実施例では、以下の向上フィルタ、即ち、肌テクスチャ向上フィルタ６１０、肌トーン向上フィルタ６２０、歯向上フィルタ６３０、目向上フィルタ６４０、及び顔特徴形状向上フィルタ６５０、が実施される。これらの全てのフィルタは、明細書の以下のセクションで詳細に説明される。向上フィルタは、いかなる順序で適用されてもよい。１つの実施例では、ユーザは任意の向上フィルタを、自分がそれらを画像中の顔及び首領域に適用しようとする順序で選択しうる。しかしながら、望ましい実施例では、システムは、適切なパラメータと共に、向上フィルタを適用するデフォルトの順序を設定する。

ユーザがデフォルト設定を行わせることを選んだ場合、全ての向上フィルタはデフォルトパラメータと共にデフォルトの順序で適用され、向上された画像はモニタ上に表示される。向上フィルタのデフォルト順序は、肌のテクスチャ向上フィルタ、肌のトーン向上フィルタ、歯及び目を白くするフィルタ（いずれの順序でもよい）、並びに、顔特徴形状向上フィルタである。向上フィルタについて、次のセクションで、元の画像にフィルタを適用するデフォルトの順序と同じ順序で説明する。

デフォルトパラメータのうちの幾つかは、被写体のカテゴリに基づく画像クラスに依存するものであってもよい。例えば、一組のデフォルトパラメータは、学校ポートレート画像、家族ポートレート画像、赤ちゃんの写真等のカテゴリに対して最適化されうる。実施例のうちの１つでは、システムをバッチモードで作動させるとき、操作者は、制御スクリプト中で各フィルタに対するファイルパラメータを指定するか、単に画像クラスを指定するかのいずれかを行う。画像クラスが指定されると、与えられたクラスに対する望ましい一組のパラメータが用いられる。同様に、本発明の対話型ソフトウエア実施例に対して、ユーザは好みのメニューから画像クラスを選択し、デフォルト設定は向上フィルタのために自動的に設定される。

肌の外見を変化させる向上フィルタ（例えば肌のテクスチャのフィルタ）が適用されると、通常は髪及び顔の毛をマスク除去することが重要である。さもなければ、結果として得られた画像中で毛のテクスチャがないといったアーティファクトが非常に目立つものとなりうる。特徴ファインダアルゴリズムによって決定される特徴点は、通常は、不規則であり顔毎に非常に異なる髪の生え際といった非常に変化する特徴を正確には描かない。望ましい実施例では、額の肌領域に重なり合う髪をマスク除去するよう微細調整段階が加えられる。図６Ｂを参照するに、生え際マスクを微細調整するフローチャートが示される。段階６７０において、額を囲む領域が画成される。囲む領域は、決定された特徴点（目の場所）と、人間の解剖学的構造についての事前知識から知られている額の最大の可能な大きさに基づいて決定される。ステップ６７２において、額を囲む領域内に様々な特徴確率マップが形成される。特徴確率マップは、元の画像から導出されるテクスチャ（きめ）情報及び色情報を含む。望ましい実施例では、水平方向、垂直方向、及び対角方向に、方向性エッジマップが形成される。テクスチャマップを作成するために用いられる方向性エッジ検出器は、以下のセクションにおいてテクスチャ向上について詳述される。１つの望ましい実施例では、テクスチャ確率マップは以下の各段階で形成される。まず、垂直エッジグラジエントが、テクスチャ向上セクションに記載のように計算される。垂直エッジ検出器のカーネルのサイズは、目の隔たりの距離に依存する。第２の段階において、指定される閾値よりも大きいグラジエントの大きさを有する全ての垂直エッジに対して連結成分マップが形成される。次の段階では、式２及び式３に従って正規化された連結成分密度が計算される。

式中、ｄ（ｘ，ｙ）は画素（ｘ，ｙ）を中心とする領域（２ｋ＋１）・（２ｋ＋１）内で計算される画素（ｘ，ｙ）における連結された成分の密度であり、ｗ_ｍ，ｎは画素（ｘ，ｙ）までの距離に基づく重み係数であり、Ｃ（ｍ，ｎ）は画素（ｍ，ｎ）が属する連結された成分の寸法であり、ｄ_ｍａｘは関心領域中のｄ（ｘ，ｙ）の最大値であり、
（外１）

は画素（ｘ，ｙ）における正規化された連結された成分の密度である。

次に、正規化された連結された成分の密度の値は、閾値処理される。指定された閾値（例えば０．３）よりも小さければ、密度値は０に設定され、そうでなければ保存される。閾値処理され正規化された連結された成分の密度のマップは、髪テクスチャ確率マップとして使用されうる。エッジ検出器カーネルサイズは、目の隔たりの距離に依存する。肌色確率マップは、上述のセクションの首色確率マップについて記載されたのと同じアプローチを用いて作成されうる。ステップ６７４において、確率マップは、確率の正規化され重み付けされた和によって組み合わされる。最終確率マップは、ブレンド処理に用いられる新しいアルファチャネルマップとして元の顔アルファチャネルと組み合わされる。同じ技術は、顔の毛に対して使用されうる。段階６７０において額を囲むボックスを画成する代わりに、関心領域は、特徴ファインダアルゴリズムによって決定される顔特徴点に基づいて髭及び／又は口髭に対して画成される。次に、特徴確率マップは特定の関心領域に対して形成される。予め性別が分かっていれば、顔の毛のマスク処理は、男性に対して有効、女性に対して無効とされうる。これはシステムの全体の速度を高め、誤って検出される顔の毛によって生ずるアーティファクトを排除しうる。

本発明の実施例では、顔に対して適用される向上は顔の非対称な外観を生じさせるか増加させるものではないことが重要である。例えば、笑いじわや目の下のしわ等の幾らかの対称的な特性の肌特徴は、除去される場合は、顔の両側で除去されねばならず、又は、向上される場合は、比例して対称的に向上されるべきである。関係があるときは、対称性の問題は以下のセクションにおいて各向上フィルタに対して特に説明される。

テクスチャ向上フィルタ
肌テクスチャ向上フィルタの役割は、肌の局所的なテクスチャ（きめ）を滑らかとし、しみや濃いしみ等を除去し、しわの範囲や深さを除去又は軽減することである。図７Ａを参照するに、本発明による肌テクスチャ向上フィルタ用にフローチャートが示される。肌特徴発生段階７１０では、肌特徴点によって輪郭が描かれる肌領域内の肌特徴が検出される。次に、検出された肌特徴は、特徴変更段階７２０において変更される。肌特徴マップは、しみ、濃いしみ、しわ等の我々が変更したいと思う特徴を含む。

従来技術では、特定の肌の欠陥を見つけるために色分析が用いられる。また、従来技術では、肌欠陥の検出は、肌領域の上を滑らされる有限の２次元ウィンドウ内に含まれる画素に関連する色信号のヒストグラムを分析することによって行われる。領域は、それに関連付けられるヒストグラムが複峰性である場合は肌欠陥を含むと考えられる。これらの技術は、一次検出手段の一部として色情報を用いるため、イメージングシステムが色較正されること及び／又は分析されるべき画像が正しく色バランスがとられることを必要とする。色情報を用いる効果は、画像を捕捉するために制御された照明及び／又は色付きフィルタが用いられるとき向上される。更に、検出された欠陥が、欠陥の色に基づいてしみ、濃いしみ等として更に分類される場合は、正確な色再現が必要である。

写真では、しわ、しみ等の肌の完全でない部分は、本来あるべきでない場所にある（本当に単に）ハイライトや陰影として明らかとなる。肌の完全でない部分は、このように局所的な強度の最大値及び最小値に対応する。ハイライトは輝度画像中のピーク（ｐｅａｋ）に対応し、影は輝度画像のバレー（ｖａｌｌｅｙ）に対応する。従来技術から離れて、本発明の望ましい実施例によれば、肌の完全でない部分は、成分ＲＧＢ信号から形成される輝度画像にピーク及びバレー検出器を適用することによって検出される。バレー／ピーク検出器は第２の差のオペレータである。輝度は、赤Ｒ信号、緑Ｒ信号、及び青Ｂ信号の加重線形組み合わせとして、以下の式、
Ｌ＝ｋ１Ｒ＋ｋ２Ｇ＋ｋ３Ｂ （式４）
として定義され、式中、ｋ値は重みを表わす。輝度画像を発生するための重みの現在の望ましい選択は、ｋ１＝ｋ２＝ｋ３＝０．３３３である。バレー／ピークオペレータの例は、非特許文献４に記載されている。

現在の望ましいピーク／バレーオペレータは、非特許文献４で用いられる種類の一連の４つの方向性オペレータである。画素位置がａ乃至ｙで示される図７Ｂ中に示される画素の５×５近傍の中央の画素ｍに適用される垂直オペレータＶは、以下の式５、
Ｖ＝ｆ＋ｋ＋ｐ＋ｊ＋ｏ＋ｔ−２（ｈ＋ｍ＋ｒ） （式５）
によって定義される。このオペレータは、輪郭が描かれた肌領域中の各画素位置で適用される。同様に、式６に示される形の水平オペレータＨと、式７に示す右対角オペレータＤＲ及び式８に示す左対角オペレータＤＬの対は、それぞれ、以下の式、
Ｈ＝ｂ＋ｃ＋ｄ＋ｖ＋ｗ＋ｘ−２（ｌ＋ｍ＋ｎ） （式６）
ＤＲ＝ｃ＋ｇ＋ｋ＋ｏ＋ｓ＋ｗ−２（ｉ＋ｍ＋ｑ） （式７）
ＤＬ＝ｃ＋ｉ＋ｏ＋ｋ＋ｑ＋ｗ−２（ｇ＋ｍ＋ｓ） （式８）
に従って輪郭が描かれた領域中の各画素位置に適用される。これらのオペレータは、バレー／ピークを検出するだけでなく、エッジの足／肩に対する２次応答を有する。従って、これらはバルエッジ（ｖａｌｅｄｇｅ）／ピークエッジ（ｐｅａｋｅｄｇｅ）検出器と称される。バルエッジ特徴はオペレータの出力の正の値に対応するのに対して、ピークエッジ特徴は負の値に対応する。バレー／ピークにのみ感応するバレー／ピーク検出器は、オペレータに対して論理条件を適用することによって得られる。垂直バレーに対して、論理バレー検出器対応は、
ｉｆ（ｆ＋ｋ＋ｐ）＞（ｈ＋ｍ＋ｒ）ａｎｄ（ｊ＋ｏ＋ｔ）＞（ｈ＋ｍ＋ｒ）
ｔｈｅｎ Ｖ＝（ｆ＋ｋ＋ｐ＋ｊ＋ｏ＋ｔ）−２（ｈ＋ｍ＋ｒ）
ｅｌｓｅ Ｖ＝０ （式９）
で与えられる。垂直ピークに対して、論理ピーク検出器対応は、
ｉｆ（ｆ＋ｋ＋ｐ）＜（ｈ＋ｍ＋ｒ）ａｎｄ（ｊ＋ｏ＋ｔ）＜（ｈ＋ｍ＋ｒ）
ｔｈｅｎ Ｖ＝（ｆ＋ｋ＋ｐ＋ｊ＋ｏ＋ｔ）−２（ｈ＋ｍ＋ｒ）
ｅｌｓｅ Ｖ＝０ （式１０）
で与えられる。水平及び対角のバレー／ピークに対する論理検出器は同様の形を有する。

バレー／ピーク及びバルエッジ／ピークエッジオペレータのいずれも、本発明による肌特徴マップの発生に有効である。この点から、バレー／ピークオペレータの用語は、バレー／ピーク、並びに、バルエッジ／ピークエッジオペレータのいずれも指すものとして用いる。

方向付けられたバレー／ピークフィルタを画像に適用する前に、画像中のノイズへの効果はノイズ低減フィルタを適用することによって抑制される。適切なノイズフィルタは、低域通過フィルタ、メジアンフィルタ、及び、ディジタル画像中のノイズを減少させるために一般的に使用される他の線形及び非線形フィルタである。

オペレータによって発生された方向付けられたバレー／ピーク画像は、（強い）関連のある肌特徴のみをそのままとするよう閾値処理される。バレー特徴マップに対して、指定される閾値Ｔ_ｖよりも小さい値を有する画素はゼロに設定される。ピーク特徴マップに対して、定される閾値Ｔ_ｐよりも大きい値を有する画素はゼロに設定される。閾値は、固定のグローバル閾値であるか、適応閾値のいずれかでありうる。現在の望ましい閾値方法は、以下の式１１、即ち、
Ｔ＝βＬ_ａｖｇ （式１１）
で値が与えられる適応閾値を用いるものであり、式中、βは定数であり、Ｌ_ａｖｇは画素についての局所平均輝度である。垂直成分、水平成分、及び対角成分に対して、異なる値のβが使用されうる。局所平均輝度Ｌ_ａｖｇは、画素自体の値であってもよく、又は、例えば画素の３×３近傍といった画素の近傍の平均輝度であってもよい。

現在の望ましい段階は、個々に方向付けられた特徴マップを組み合わせることによって組み合わせた肌特徴マップＦが発生されることである。

Ｆ＝ｍａｘ｛Ｈ，Ｖ，ＤＲ，ＤＬ｝ （式１２）
更に、Ｆ中の各画素は、それがどの方向付けられたフィルタから生じたのかに従ってラベル付けされうる。方向付けられたラベルデータ及び／又は個々の方向付けられた肌特徴マップは、特定の方向の特徴が選択的に除去されるしわといった特徴を除去するのに有用でありうる。

肌テクスチャ向上フィルタのタスクは、肌の局所的なきめを滑らかとすることである。肌テクスチャ向上フィルタが滑らかとする肌テクスチャの空間的な大きさは、顔の大きさの関数である。従って、適切な肌特徴を検出するために、バレー／ピークフィルタの空間的な大きさは顔の大きさに基づいて適応的に決定される。更に、バレー／ピークフィルタの種類（方向性、等方性等）もまた、顔の大きさに基づいて適応的に選択されうる。特に、目の間の隔たりはバレー／ピークの大きさ及び種類を決定するために使用される。垂直バレー／ピークオペレータのための１つの包括的な表現は、

であり、式中、ｗ及びｈは顔の大きさの関数として選択される。水平及び対角バレー／ピークのための包括的なバレー／ピーク検出器は同様の形を有する。

現在の望ましい等方性バレー／ピーク検出器は、輝度画像Ｉからぼけ画像Ｉ_ｂを差し引くことによって与えられる。

Ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−Ｉ_ｂ（ｘ，ｙ） （式１４）
ぼけのある輝度画像は、輝度画像に対してガウシアン又はボックスフィルタ等のぼけフィルタを適用することによって発生されうる。バレー／ピーク検出器の出力は、ピーク及びバレー特徴マップを発生するよう上述のように閾値処理される。ぼけフィルタの半径は、顔の大きさ（デフォルトパラメータの例）及び検出使用とする肌特徴の大きさの関数として選ばれる。

特徴マップは、連結された成分ラベリングを介して互いに連結される画素をグループ化することによって更に微細調整される。連結された成分ラベリングは、画像を走査し、その画素を画素の連結性に基づいて成分へグループ分けし、即ち、連結された成分中の全ての画素は何らかの方法で互いに連結される。いったん全てのグループが決定されると、各画素はそれが割り当てられていた成分に従ってラベル付けされる。各連結された成分は肌の特徴に対応する。各肌特徴は特徴付けられ、肌領域中の大きさ、形状、及び位置といった特徴に基づく特性によって分類される。大きさは、成分中の画素の数（デフォルトパラメータの例である）に対応する。形状情報は、肌特徴の幾何学形状に関する特定の特性を記述する。形状情報の例は、空間的なモーメント、境界ボックス、向き、原理的な軸等である。形状分析に関する更なる情報は、非特許文献６に記載されている。更に、肌特徴マップ中で輪郭が描かれた特徴は、肌特徴であると識別された画素に関連する色情報を用いて更に分類されうる。形状及び色情報は、しわ、しみ、あざ、ほくろ、陰影、ハイライト等のより高次の特徴の輪郭を描くのに有用である。いったん肌特徴マップが発生されると、これらはステップ７２０で変更されるべき肌特徴を選択するために使用される。

図８を参照するに、本発明による肌特徴を選択し変更する望ましい実施例のフローチャートが図示されている。特徴選択段階８１０では、変更されるべき特徴は、それらの特性に基づいて選択される。上述のように、特徴の特性は、大きさ、形状、及び色に対応し、肌領域中のこれらの特徴の場所に基づいて選択される。肌特徴の選択は、対称性もまた考慮に入れねばならない。幾つかの肌特徴は、顔の右側と左側では対称である。顔の片側のみの幾つかの顕著な肌特徴のみを選択し変更することは、アーティファクトとして知覚されうる非対称性を生じさせうる。１つの例は、人が笑っているときによく目に見える目の下のひだ又は目立った鼻唇しわ（笑いじわ）でありうる。望ましい実施例では、これらの対称的な特徴は、それらの特徴（例えば場所、形状、色等）に基づいて自動的に識別される。これらの対称的な特徴のうちの１つが、例えばその大きさ又は／及び他の特性に基づいて、向上のために選択されたとき、顔の他方の側にある対応する対称的な特徴もまた、結果として得られる向上の対称性を確実とするようその特性にかかわらず自動的に選択される。

どの対称的な肌特徴が常に選択及び向上から除外されるか、また、どれが選択に適しているかは、望まれる向上の見かけに依存する。これは、年齢又は性別に基づいて決定されてもよい。他の実施例では、幾らかの対称的な肌特徴は、独自の種類の向上を必要としてもよい。

膨張段階８２０では、選択される肌特徴は（適応的に）膨張され、次にフィルタリング段階８３０において変更される。肌特徴に対する膨張の効果は、肌特徴の大きさを拡大することである。膨張の量は、全ての選択された肌特徴に対する一定の量又は肌特徴の特性に基づく適応的な量のいずれかでありうる。現在の望ましい実施例では、肌特徴はそれらの大きさ及び顔の大きさ（デフォルトパラメータの例である）に基づいて適応的に膨張される。より大きい肌特徴は、より小さい肌特徴よりも多く膨張される。膨張の処理は、標準的なモルフォロジカル・オペレータを用いて実行されうる。

全ての所望の肌特徴は段階８１０、８２０及び８３０の一回のサイクルで選択され変更されうるが、最適な肌向上は、変更されるべき肌特徴の種類を変化させつつ段階８１０、８２０及び８３０のサイクルを繰り返すことによって肌特徴を順次に変更することによって得られる。現在の望ましい実施例では、段階８１０−８３０においてバレー肌特徴がまず選択及び変更され、次に段階８１０−８３０を通る２回目の繰り返しのときに残るピーク肌特徴が選択され変更される。肌のきめを保つため、指定された最小と最大のサイズの間のサイズの肌特徴のみが変更される。或いは、肌のきめを保つため指定された最小のサイズよりも大きいサイズの肌特徴のみが変更される。更に、変更されるべき肌特徴の最小及び最大のサイズは、顔のサイズと直接的につりあっている。

段階８３０において、膨張された特徴の各画素にピンホイールフィルタが適用される。膨張された特徴の画素は特徴画素と称される。残る全ての画素は非特徴画素と称される。本発明の実施例では、特徴画素は２値マスクによって定義され、値０は特徴画素に対応し、値１は非特徴画素に対応する。ピンホイールフィルタは、特徴画素を中心とする線分に整列された近傍の非特徴画素を用いることによって所与の特徴画素の新しい値を補間する。ピンホイールフィルタは、ここに参照として組み入れられ、共通に譲渡された特許文献１０に記載されている。ピンホイールフィルタの詳細な説明は、本願では、明瞭性のために、特許文献１０に記載の元のアルゴリズムに対する幾らかの変更を特定するために含まれるものである。図９を参照するに、４つの線分９３０の組（ＳＥＴ）は、選択された特徴画素９４０に対して図式的に示されている（垂直Ｖ、水平Ｈ、２つの対角線分Ｄ１及びＤ２）。４つの線分は、４５°の増分で互いに離れている。膨張された特徴９２０は、グレー（影付き）の色で表わされる。線９１０は顔の境界を表わす。ＳＥＴ中の各線分は画素９４０の両側の特徴画素及び非特徴画素のいずれもから構成される。線分中の非特徴画素及び特徴画素は、線分によって決められる所与の方向上に選択された特徴画素９４０に対して局所的な画素である。線分のＳＥＴを作成する方法については後に詳述する。

図１０Ａ及び図１０Ｂを参照するに、ピンホイールフィルタを適用することにより画像中の各特徴画素に対する新しい値を計算する方法が示される。段階１００４において、線分の数ＮＬ、線分の片側上の画素の最大数ＭＡＸ＿ＮＰ１、及び線分の片側上の画素の最小数ＭＩＮ＿ＮＰ１が設定される。これらのパラメータについては、図１２を参照して詳述する。線分の片側上の画素の最大数ＭＡＸ＿ＮＰ１及び線分の片側上の画素の最小数ＭＩＮ＿ＮＰ１は、顔の大きさ（デフォルトパラメータの例）に基づいて設定される。顔の大きさが大きければ大きいほど、ＭＡＸ＿ＮＰ１及びＭＩＮ＿ＮＰ１の値は大きくなる。顔の大きさに対するこれらの２つのパラメータの依存性は、特許文献１０に記載の方法と比較して、本発明に独自のものである。段階１００６において、第１の特徴画素ＰＳＥＬが選択される。ステップ１００８において、ＮＬの線分のＳＥＴが画素ＰＳＥＬを通じて作成される。望ましい実施例では、ＳＥＴ中の線分の数ＮＬは、垂直、水平、及び２つの対角線分に対応して４である。

図１２に、線分を作成する方法を示す。図１２の段階１１１０において、第１の線分、例えば垂直線分（Ｖ）が選択される。段階１１２０において、線分の片側の方向が選択される。この方向は、画素ＰＳＥＬで開始する線分に画素が加えられる方向である。各線分について、画素ＰＳＥＬを中心とする線分の２つの側に対応する２つの方向が定義される。段階１１３０において、所定の方向に沿って第１の非特徴画素に達するまで線分に特徴画素が加えられる。段階１１４０において、第１の非特徴画素が線分に加えられ、所定の方向の近傍の非特徴画素が以下の条件のうちの１つが満たされるまで線分に加えられる。

・片側の非特徴点の最大数ＭＡＸ＿ＮＰ１に達したとき、
・顔境界又は顔特徴境界に達したとき、
・新しい特徴画素に達したとき。

線分の片側の非特徴点の最大数ＭＡＸ＿ＮＰ１は、段階１００４（図１Ａ）において顔の大きさに基づいて設定される。線分は、顔境界又はテクスチャ向上処理から排除された領域（例えば目領域、口領域等）の境界を横切ってはならない。有効な線分を作成するための上述の制約条件は、特許文献１０と比較して本発明に独自のものである。線分の片側へ画素を加えることが完了すると、段階１１６０において線分の第２の側に対して方向が設定され、処理は段階１１３０−１１４０において線分の第２の側に対して繰り返される。２つの側が完了すると（段階１１５０）、ＳＥＴからの次の線分が選択され（段階１１８０）、処理は段階１１２０−１１６０において繰り返される。ＳＥＴ中の全てのＮＬの線分が作成されると（段階１１７０）、処理は完了する（段階１１９０）。

図１０Ａに戻って参照すると、上述のように段階１００８においてＮＬの線分のＳＥＴを作成した後、少なくとも片側にＭＩＮ＿ＮＰ１よりも少ない非特徴点を有する線分はＳＥＴから除去される（段階１０１０）。ＳＥＴ中に残る有効な線分が残っていなければ（段階（１０１４）、画素値は画素ＰＳＥＬに対しては変化されず（段階１０５２）、新しい特徴画素ＰＳＥＬが選択され（段階１０４６及び１０４８）、処理は繰り返される（段階１００８から始まる）。ＳＥＴ中の残る有効線分の数Ｎが０よりも多ければ（段階１０１４）、各残る有効な線分に対して、各チャネルに対する有効線分中の非特徴画素に対して線形当てはめが計算される（段階１０１６）。段階１０１８において、先行する段階１０１６において計算された線形当てはめに基づいて各チャネルに対する非特徴画素に対して各有効線分に対して、平均平方当てはめ誤差が計算される。段階１０２０において、所与の有効線分に対する全てのチャネルに対する平均平方当てはめ誤差の平均値として各有効線分に対する総平均平方当てはめ誤差が、以下の式、

に基づいて計算され、式中、Ｋは画像中のチャネルの数である。白黒画像では、Ｋは１である。カラー画像では、Ｋは通常は３である（例えば、Ｒ、Ｇ、Ｂチャネルに対応する３つのチャネル）。

ステップ１０２２では、段階１０１６で計算された線形当てはめに基づいて各チャネルｋに対する各有効線分ｎに対する画素ＰＳＥＬに対して、値ＰＳＥＬ_ｎ，ｋが計算される。段階１０２４において、各チャネルｋに対して新しい画素ＰＳＥＬ_ｋが計算される。向上された画素の最終画素値は、以前のセクションで発生されたアルファマスクに従って、各チャネルｋに対する新しい画素値ＰＳＥＬ_ｋを元の画素値とブレンドすることによって決定される。ブレンド操作は、肌の向上された領域と向上されていない領域の間の平滑な遷移を保証する。段階１０２４におけるブレンド操作及びアルファマスクは、特許文献１０に記載の発明と比較して、本発明に独自のものである。他の実施例では、向上された画像の最終画素値ＰＳＥＬ＿ＯＵＴ_ｋは、各チャネルｋについて新しい画素値ＰＳＥＬ_ｋを元の画素値ＰＳＥＬ＿ＩＮ_ｋと適応的にブレンドすることによって決定される。

ＰＳＥＬ＿ＯＵＴ_ｋ＝αＰＳＥＬ_ｋ＋（１−α）ＰＳＥＬ＿ＩＮ_ｋ （式１６）
新しい画素値と元の画素値をブレンドするために用いられるブレンド係数αは、画素が作り出されたもととなる肌特徴の特性に依存する。例えば、図１７に示すように、ブレンド係数αは画素が作り出された元となる肌特徴の大きさの関数であり得る。図１７を参照するに、ｍｉｎよりも小さい大きさを有する小さい肌特徴に対しては、元の画素値は変更されない。ｍｉｎとｍｉｄの間の大きさの肌特徴に対しては、新しい画素値が最終的な画素値として使用される。ｍｉｄよりも大きい大きさを有する大きい肌特徴に対しては、新しい画素値と元の画素値をブレンドすることによって最終的な画素値が決定される。ｍｉｎ、ｍｉｄ、及びｍａｘの値は、結果として得られるテクスチャ向上のみかけを制御するテクスチャ向上フィルタのパラメータのうちの１つであり、例えばｍｉｎの値が大きければ大きいほど、向上された肌領域に保たれる肌のテクスチャは多くなる。ｍｉｄの値が大きければ大きいほど、向上された肌領域からはより多くのしわ及びしみが除去される。ｍｉｎ値を減少させ、ｍｉｄ値を増加させることは、向上された肌の滑らかさを高める。本発明の対話型の実施例では、ｍｉｎ、ｍｉｄ、及びｍａｘの値は、ＧＵＩ７８のテクスチャエンハンサスライダ９２によって変更される。１つの望ましい実施例では、図１７に示すブレンド関数に対するｍｉｎ、ｍｉｄ、及びｍａｘの値は、目の間の距離によって決定される。

本発明の他の実施例では、ｍｉｎ、ｍｉｄ、及びｍａｘの各値は、対話型モードでは別個のスライダによって制御されうる。幾つかの肌領域は、例えば、額と頬と目の下の領域等の他の領域よりも高いレベルの平滑化を必要としてもよい。本発明の１つの実施例でこの問題を解決するために、図１７に示すものと同じブレンド関数が全ての肌領域に対して使用されるが、ｍｉｎ、ｍｉｄ、及びｍａｘのパラメータは肌の領域に依存する。本発明の他の実施例では、所望のみかけを作成するために異なる肌領域に対して異なる形状のブレンド関数とｍｉｎ、ｍｉｄ、ｍａｘ以外のパラメータが定義される。幾つかの肌特徴は、同じ大きさを有してもよく、同じ肌領域に配置されてもよいが、大きく異なるブレンド係数を有するべきである。上述のように、幾つかの特定の肌特徴は、一定の見かけを保つため及び／又は顔の対称性（例えば鼻唇しわ）を保つために全てのテクスチャ向上から排除されてもよい（α＝０）。或る領域（例えば目の周り）では、肌特徴を完全に除去するのではなく、その荒い見かけを変更することが望ましい場合がある。従って、他の実施例では、ブレンド係数αは、肌特徴の種類やそれが配置されている肌の領域にも依存する。肌特徴は、それらの形状、色、場所等に基づいて分析されえ、しみ、ほくろ、笑いじわ、カラスの足跡のようなしわ等の様々な種類へ分類され、様々な種類の肌特徴に対して様々なブレンド関数が適用される。目の下のしわのような幾つかの肌特徴に対するブレンド関数は、向上の適用（例えば濃さ、柔らかさ等）を適用した後に顔の両側の肌特徴の見かけを対称的に一致させるよう顔の右及び左側で異なりうる。新しい画素値ＰＳＥＬ_ｋを計算する様々な方法については後述する。選択された特徴画素ＰＳＥＬが最後の特徴画素ではない場合（段階１０４６）、次の特徴画素が選択され（段階１０４８）、処理は段階１００８から始まって繰り返される。最後の特徴画素であれば、処理全体が完了する（段階１０５０）。

線分の数ＮＬが４である望ましい実施例では、選択された特徴画素ＰＳＥＬ（図１０中の段階１０２４）に対する新しい値ＰＳＥＬ_ｋを計算する段階は、図１１に詳細に示される。本願の図１１に示す方法は、特許文献１０に示す方法と比較して本発明に独自のものである。ＳＥＴには少なくとも１つの有効な線分がある（Ｎ＞０）と想定される。図１１を参照するに、ＳＥＴ中の有効な線分の数Ｎが１であれば（段階１０２６）、各チャネルｋに対する新しい値ＰＳＥＬ_ｋはその線分に対して計算される値ＰＳＥＬ_ｌ，ｋに等しい（段階１０２８）。そうでなければ、段階１０３０において、有効な線分のＳＥＴは、各線分ｎに対する平均平方根誤差値ＭＳＥ_ｎに基づいて降順でソートされる。段階１０３０におけるソートの結果、ＳＥＴ中の第１の有効な線分（ｎ＝１）は最も高い平均平方根誤差を有し、最後の有効な線分（ｎ＝Ｎ）はＳＥＴ中の最も低い平均平方根誤差を有する。ＳＥＴ中の有効な線分の数Ｎが２であれば（段階１０３２）、各チャネルｋに対する新しい値ＰＳＥＬ_ｋはＰＳＥＬ_１，ｋとＰＳＥＬ_２，ｋを平均した値に等しい（段階１０３４）。そうでなければ、ＳＥＴ中の有効な線分の数Ｎが３であれば（段階１０３６）、各チャネルｋに対する新しい値ＰＳＥＬ_ｋは、平均平方根誤差の中央値を有する有効な線分（ｎ＝２）について計算されたＰＳＥＬ_２，ｋの値に等しい（段階１０３８）。そうでなければ、ＳＥＴ中の有効な線分の数Ｎは４であり、各チャネルｋに対する新しい値ＰＳＥＬ_ｋは、ＰＳＥＬ_２，ｋとＰＳＥＬ_３，ｋを平均した値に等しい（段階１０４０）。向上された画像の最終的な画素値は、上述のセクションで発生されたアルファマスクに従って、各チャネルｋに対する新しい画素値ＰＳＥＬ_ｋを元の画素値とブレンドすることによって計算される（段階１０２４）。

新しい画素値を計算する第２の実施例では、各チャネルｋに対する新しい画素値ＰＳＥＬ_ｋ（図１０中の段落１０２４）は、以下のように計算される。まず、式１７に従って各チャネルｋに対して各線分に対する重み値Ｗ_ｎ，ｋが計算される。

次に、新しい画素値ＰＳＥＬ_ｋは、式１８に従って、各有効な線分ｎに対して及び各チャネルｋに対して決定されたＰＳＥＬ_ｎ，ｋ値の加重和として各チャネルに対して計算される。

向上された画像の最終画素値は、上述のセクションで発生されたアルファマスクに従って（段階１０２４）、各チャネルｋに対する新しい画素値ＰＳＥＬ_ｋを元の画素値とブレンドすることによって計算される。ブレンド操作及びアルファマスクは、特許文献１０と比較して本発明に独自のものである。

多くの量のテクスチャ向上操作が肌に適用されたとき、結果として得られる肌のきめは顔全体に亘って非常に滑らか且つ均一でありうる。ひどいニキビを除去するために顔を向上させすぎると、顔を滑らかにしすぎることがある。向上された画像の所望の見かけに依存して、細かい構造のない肌は許容可能であることも許容可能でないこともある。これは、向上された画像の結果として得られる滑らかさが顔の様々な領域に亘って突然に変化する場合に特にいえる。ピンホイール補間を適用した後に肌の領域が滑らか過ぎるように見えるかテクスチャが全くない場合は、所望であれば、許容可能な見かけを与えるようこれらの領域に対して理想化されたテクスチャが加えられ得る。理想化されたテクスチャの機能は、理想化されたテクスチャが肌の滑らかな領域に与えられたときに視覚的に魅力的な画像を発生することである。

理想化されたテクスチャは、相関又は非相関されたノイズであっても、肌から得られたテクスチャであっても、視覚的に同様なテクスチャパターンであってもよい。理想化されたテクスチャは、肌のきめの良い人の写真から直接抽出されてもよく、又は、非特許文献７に記載のようなテクスチャ合成技術を用いて肌のテクスチャの代表的な画像から発生されてもよい。或いは、理想化されたテクスチャは、非特許文献８に記載のように人から直接発生されてもよい。現在の望ましい実施例では、視覚的に魅力的な画像を発生するために、理想化されたテクスチャを顔の大きさに基づいて空間的にスケーリングすることが望ましい。特に、目の間の隔たりは、スケーリングファクタを決定するために用いられる。

最も簡単な実施例では、肌領域は、特徴点４２０によって輪郭が描かれた肌領域に亘って均一に理想化されたテクスチャを加えることによって再テクスチャ化されえ、以下の式、
Ｓ_ｏｕｔ（ｘ，ｙ）＝Ｓ_ｉｎ（ｘ，ｙ）＋γＴｅｘ（ｘ，ｙ） （式１９）
で表すことができ、式中、Ｓ_ｉｎ（ｘ，ｙ）は再テクスチャ処理前の位置（ｘ，ｙ）における肌画素であり、Ｓ_ｏｕｔ（ｘ，ｙ）は再テクスチャ処理後の肌画素であり、Ｔｅｘ（ｘ，ｙ）は画素（ｘ，ｙ）において肌に加えられるべきテクスチャ成分であり、γはスケーリングファクタである。再テクスチャ操作は、全ての色チャネルに対して適用される。所望であれば、肌に加えられるテクスチャの大きさは、向上のレベルの関数として設定されうる。図２０Ａに示す再テクスチャ曲線を参照するに、向上のレベルが高まるにつれて、肌領域に加えられるテクスチャの量も増加する。対話型実施例では、肌に加えられるテクスチャの量はテクスチャ向上スライダ９２に関連づけられる。再テクスチャ曲線の形状及び大きさを変化させることにより、向上された肌に対して異なる外見が与えられうる。

テクスチャ成分は、ゼロ付近で変動する高周波数成分である。テクスチャ成分はまた、肌の位置の関数としても変化しうる。肌の細かい構造の外見は、肌の各領域が非常に顕著な外観を有していても顔全体に亘って滑らかに変化する。例えば、額の細かい構造は、鼻の細かい構造とは明らかに異なる。

望ましい実施例では、再テクスチャ処理は、肌の局所的な滑らかさに基づいて肌に対して適応的に適用されえ、以下の式、
Ｓ_ｏｕｔ（ｘ，ｙ）＝Ｓ_ｉｎ（ｘ，ｙ）＋γ（ｘ，ｙ）Ｔｅｘ（ｘ，ｙ） （式２０）
で表わすことができ、式中、スケーリングファクタγ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における肌の滑らかさｓｓ（ｘ，ｙ）の関数である。肌の局所的な滑らかさｓｓ（ｘ，ｙ）を測定するために、多くの統計学的なテクスチャ測定値又は高域通過フィルタが使用されうる。例えば、分散フィルタ、エッジフィルタ、第２の差のフィルタ等は、肌の局所的な滑らかさを計算するのに有用である。図２０Ｂを参照するに、本発明を実施するのに有用な２つの代表的な再テクスチャ関数が示されている。肌の局所的な滑らかさが増すにつれて、スケーリングファクタγもまた増加し、より多くのテクスチャを肌に加えさせる。再テクスチャ関数の形状及び大きさを変化させることにより、向上された肌に対して異なる見かけが与えられる。

我々が変更しようと望む肌特徴の大多数は、バレー特徴、即ち明るい領域に囲まれる暗い領域、に対応する。殆どの場合、肌特徴は、肌特徴であると識別された画素に関連する色情報とは無関係に変更されるが、個人の写真からあざといった定義付ける顔の特性を除去することを望まない場合もある。これらの場合は、肌特徴画素に関連付けられる色情報は、除去されるべき肌特徴の種類と除去されるべきでない肌特徴の種類を決定するのに用いられうる。他のアプローチは、望ましくない変更（例えば望まれるあざの除去）を操作者が元に戻すことを可能とするツールをグラフィック・ユーザ・インタフェースに組み込むことである。望ましい実施例では、ユーザはツールのグラフィックなリスト８４から元に戻す（ｕｎｄｏ）／やり直す（ｒｅｄｏ）ツールを選択し、マウス等のポインティングデバイス４０を介して元に戻す（ｕｎｄｏ）／やり直す（ｒｅｄｏ）ツールを、ユーザが復元しようとする元の画像８０上の肌特徴の位置へ動かす。左側に表示される元の画像８０の肌特徴をクリックすることにより、特徴は、右側に表示される向上された画像８２に再び加えられる。元の画像中の復元された肌特徴の上を再びクリックすることにより、肌特徴は向上された画像から除去される。このように、元に戻す（ｕｎｄｏ）／やり直す（ｒｅｄｏ）ツールは、前後にトグルすることによって、肌特徴が向上された画像中にある場合は肌特徴を向上された画像から除去すること、或いは、肌特徴が向上された画像中にない場合は肌特徴を向上された画像へ戻すことによって機能する。他の実施例では、テクスチャエンハンサスライダ９２は、向上なしに設定されてもよく、ツール８４はユーザがどの肌特徴を除去するかを選択することを可能とするために使用されてもよい。

他の実施例では、グラフィック・ユーザ・インタフェースは、１つ又はそれ以上の顔を含むディジタル画像を取得し表示する。肌特徴マップは、肌特徴を識別しマッピングするための任意の上述の技術を使用することによって発生され、従って肌特徴マップはディジタル画像中の１つ又はそれ以上の顔上の肌特徴を表わす。ポインティングデバイス４０は、次に特定の肌特徴を指すために用いられる。ポインティングデバイスのポイント・アンド・クリック動作に応じて、肌特徴マップは特定の特徴に対して参照され、指されている肌特徴に対して、適切な向上フィルタによって与えられるその特徴に対する適切な向上が開始される。

肌トーン向上フィルタ
肌トーン向上フィルタ６２０（図６）のタスクは、肌トーンの全体的な外見を改善することである。肌トーンフィルタは、バランスのとれていない肌トーンをバランスのとれたものとし、更にバランスにとれた色の肌トーンを作成する。更に、肌トーンフィルタは、より望ましい肌色再現を生じさせるよう肌トーンの色を変更するために用いられる。これは、肌の輝度とクロミナンスの両方を肌トーンの表現の個人的及び文化上の好みに合うよう変更することに対応する。更に、肌トーンの問題はテクスチャよりも大きい空間的な大きさである傾向がある。ハイライト又は陰影のない顔は平たくつまらないものとなるため、肌トーンをならしすぎないことが重要である。

図１３を参照するに、本発明による肌トーン向上フィルタの現在の望ましい実施例のフローチャートが示されている。肌トーン向上フィルタは、以下の式、
Ｏ（ｘ）＝α（ｘ）Ｉ_ｂ（ｘ）＋（１−α（ｘ））Ｉ（ｘ） （式２１）
、但し、α（ｘ）は係数発生段階１２３０から得られるブレンド係数、ｘ＝（ｘ，ｙ）は画素の位置である、に示すように、入力画像Ｉ（ｘ）をブレンド段階１２１０から得られる入力画像のぼけた変形Ｉ_ｂ（ｘ）と（ブレンド段階１２４０において）適応的にブレンドすることにより、ハイライトと陰影を適応的に圧縮する。ブレンド操作は、全ての色チャネルに適用される。ブレンド係数は、以下の式、
α（ｘ）＝ｆ［ＳＨ（ｘ）］ （式２２）
に示すように、陰影／ピーク発生段階１２２０から得られるｘにおける陰影／ハイライトＳＨ（ｘ）の強さ画像の関数である。

図１４を参照するに、本発明による陰影／ハイライト強さ画像を計算する現在の望ましい実施例が示される。段階１２２０からの陰影／ハイライト強さ画像は、輝度画像１３１０から平均輝度画像１３２０を差し引くことによって発生される。輝度画像は、式２を用いて計算される。平均輝度画像は、局所（ローカル）平均輝度画像又は大局（グローバル）平均輝度画像のいずれかでありうる。局所平均輝度画像は、ガウシアン又はボックスフィルタといったぼけフィルタを輝度画像に適用することによって発生されえ、一方、大局平均輝度は、特徴点によって輪郭が描かれる肌領域内の肌の平均輝度を決定することによって計算される。陰影／ハイライト強さは、陰影／ハイライト画像を計算するために局所平均画像を用いる場合はバレー／ピーク画像に似ている。望ましい実施例では、陰影／ハイライトマップを計算するために用いられるぼけ半径は、テクスチャ向上フィルタに用いられるバレー／ピーク検出器のボケ半径又は範囲よりも大きいべきである。いずれの場合も、ぼけ範囲は、顔の大きさ（デフォルトパラメータの例である）に依存する。

最も単純な実施例では、ブレンド係数は、デフォルトパラメータの例である定数ｆ［ＳＨ（ｘ）］＝α（ｘ）＝αであり、図１５Ａに示すような陰影／ハイライト強さ画像に依存しない。図１５Ｂ及び図１５Ｃに示すブレンド関数は、陰影領域を変えないままとして、ハイライトや、光及び／又は脂気のある肌によって生ずるホットスポットのトーンを下げるのに有用である。

肌トーンフィルタはまた、肌の演色を変更するのにも使用されうる。現在の望ましい実施例では、肌領域といった領域の色Ｃは、領域の色分布の平均及び分散を以下の式、即ち、

、但し、ベクトルＣ（ｘ，ｙ）は画素の赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）信号に対応し、Ｃ_{ｐｒｅｆｅｒｒｅｄ}は望ましい色ベクトルであり、
（外２）

は現在の平均色ベクトルであり、ｋは０と１の間で変化する定数である、に従ってシフトすることによって変更されうるＣ_ｍｏｄ。望ましい色ベクトルＣ_{ｐｒｅｆｅｒｒｅｄ}（ｘ，ｙ）は、変更されるべき肌の領域に空間的に依存して変化しうる。

肌領域を明るくする又は暗くする望ましい実施例は、以下の式、
Ｃ_ｍｏｄ（ｘ，ｙ）＝Ｃ^γ（ｘ，ｙ） （式２４）
、但し、γの値が１よりも小さい場合は肌色を明るくすることに対応し、γの値が１よりも大きいことは肌色を暗くすることに対応する、に従って肌領域のコントラストを変化させることである。

肌領域を明るくする他の実施例は、以下の式、

によって与えられ、肌領域を暗くすることは、

によって与えられ、但し、γは０と１の間で変化する。

上述のアプローチは、Ｃが他の色空間、例えば、ＣＩＥＬＡＢ，ＹＵＶ，ＨＳＶ等で表されるときにも適用可能である。更に、これらの式は、Ｃの成分の全て又はその部分集合に対して適用されうる。これは、Ｃが色空間（例えばＣＩＥＬＡＢ）で表され、成分が輝度（Ｌ＊）とクロミナンス（ａ＊ｂ＊）に関連するときに特にいえる。

歯及び目向上フィルタ
歯及び目向上フィルタ６３０及び６４０（図６）のタスクは、歯及び目の輝度及び白さを高めることである。図１６を参照するに、本発明による歯及び目向上フィルタの現在の望ましい実施例のフローチャートが示される。目／歯マスク発生段階１５１０では、顕著な顔特徴点４２０（図４）は、目領域及び歯領域に対応する画素を識別するマスクを発生する。バレー／ピークマップ発生段階１５２０において入力画像を使用して、バレー／ピークマップは、ぼけの半径が目の隔たり（デフォルトパラメータの例である）によって決定される式１４を用いて発生される。スケーリングファクタ発生段階１５３０では、バレー／ピークマップ及び色情報は、目及び歯マスク内の画素の輝度及びクロミナンス値に対するスケーリングファクタ（デフォルトパラメータの例である）を計算するために用いられる。次に、画素変更段階１５４０において、スケーリングファクタは、目及び歯領域内の画素の輝度及びクロミナンス値に適用され、新しい輝度及びクロミナンス値を発生する。

現在の望ましい実施例では、マスク領域内の画素に対するＲＧＢ値は、ＣＩＥＬＡＢ（Ｌ＊ａ＊ｂ＊）空間へ変換され、輝度及びクロミナンス値は、以下の式、
Ｌ^＊＝Ｌ^＊・（１＋ｋＰ） （式２７）
ａ^＊＝ａ^＊／（１＋ｋＰ） （式２８）
ｂ^＊＝ｂ^＊／（１＋ｋＰ） （式２９）
、但し、ｋは上述のデフォルトパラメータであり、Ｐは画素が白目又は歯に属する確率を示す、に従って変更される。確率Ｐに対する現在の望ましい式は、

であり、但し、Ｆはぼけ半径を顔の大きさの関数として選択して式１４を用いて計算され、βは閾値である。

幾つかの画像では、歯の色の非常に不均一であり及び／又は２つの個々の目の白の色は互いに非常に異なる。これらの場合、歯及び目の輝度及び白さを高めることにより、歯及び／又は目の不均一な色を目立たせる望ましくない悪影響が生じうる。歯及び目の色及び均一性のバランスをとることは、通常は与えられた顔の画像の主観的な許容可能性を高める。

歯及び白目の色及び均一性のバランスをとるための現在の望ましい実施例は、肌の演色を変更するのに用いられる技術（上記参照）に基づく。歯又は白目を定義する画素の色Ｃは、これらの画素の色分布の平均及び分散を式２３に従ってシフトすることによって変更されうるＣ_ｍｏｄ。ベクトルＣ（ｘ，ｙ）が画素の色信号（Ｌ，ａ，ｂ）に対応するとき、Ｃ_{ｐｒｅｆｅｒｒｅｄ}は望ましい色ベクトル（Ｌ_ｐ，ａ_ｐ，ｂ_ｐ）であり、
（外３）

は現在の平均ベクトル
（外４）

であり、ｋは０と１の間で変化しうる定数である。式２３に示すように、この変更は全ての３つの色チャネルに適用されてもよく、或いは色チャネルの下位集合（例えばＬチャネルのみ）に適用されてもよい。明るさ及び白さを高めるため、望ましい色は

であるよう選択されるべきであり、望ましい色の彩度は平均色ベクトルの彩度よりも低い。両目の白目を等しくするために、両目に対して同じ望ましい色が使用されてもよく、或いは各目の望ましい色は異なるがこれらの目の間の色差が各目に対する平均色ベクトルの色差よりも小さくともよい。

形状向上フィルタ
形状向上フィルタ６５０（図６に示す）の役割は、目、鼻、及び口といった顔の特徴の形状を変更することである。顔特徴の形状は、標準的な曲げ（ｗａｒｐｉｎｇ）技術を用いてそれらの形状を変更することによって向上される。本発明を実施するために有用な曲げ技術の例は、ここに参照として組み入れられる非特許文献５に記載されている。

形状変更は、顔に対してより望ましい見かけを与えるよう設計される。例えば、画像中で目が僅かに閉じている場合、モーフィング技術を用いて目をある程度開けることが望ましい。また、顔特徴の対称性を向上させることは、通常は与えられた顔の画像の主観的な許容可能性を高める。例えば、両目の形状を等しくすることにより、顔の画像は通常はより高い主観的な許容可能性がある。同様に、口の形状を変化させることは、顔の表情全体を変更することによってより望まし見かけを作りうる。

図１９を参照するに、本発明による形状向上フィルタ６５０の現在の望ましい実施例のフローチャートが示される。制御起点決定段階１９１０では、画像を曲げるために用いられる制御起点１８１０（図１８Ａ参照）が、形状向上されるべき顔特徴（例えば目）の輪郭を描く特徴点４２０（図４参照）によって決定される。制御目的地点決定段階１９２０では、制御目的地点１８２０が決定される。制御目的地点１８２０の位置は、形状変更された画像中の制御起点１８１０の新しい場所を定義する。制御目的地点１８２０（Ｄ１，Ｄ２，Ｄ３及びＤ４）は、夫々、制御起点１８１０（Ｓ１，Ｓ２，Ｓ３及びＳ４）の新しい位置である。曲げ段階１９３０では、制御起点及び制御目的地点は画像を曲げるために用いられる。制御目的地点１８２０は、顔特徴形状の所望の変化によって定義される。例えば、目の大きさを大きくすることが望まれる場合、制御目的地点１８２０は図１８Ａに示すように配置される。形状の変化をよりよく制御するため、制御点のうちのいくつかは図１８Ｂに示すような特徴点を含みうる。制御起点Ｓ５，Ｓ６，Ｓ７，Ｓ８は目特徴点に対応する。制御目的地点Ｄ５，Ｄ６，Ｓ７，Ｄ８は、曲げの結果として作られる新しい目の形状を定義する。制御起点及び制御目的地点Ｓ１及びＤ１、Ｓ２及びＤ２、Ｓ３及びＤ３、Ｓ４及びＤ４は、境界矩形（Ｓ１，Ｓ２，Ｓ３，Ｓ４）内の領域へ曲げるために作られる変化を制限するよう同じである。望ましい実施例では、目の形状を等しくするために、一方の目の制御目的地点（Ｄ５，Ｄ６，Ｓ７，Ｄ８）は、他方の目の特徴点の相対的な位置に一致せねばならない。望ましい実施例では、目の形状を変更するとき（例えば目を開けるとき）、左目の制御目的地点（Ｄ５，Ｄ６，Ｓ７，Ｄ８）と右目の制御目的地点（Ｄ５’，Ｄ６’，Ｓ７’，Ｄ８’、即ち図１８Ｂに用いられるものと同じ参照文字であるが右目を指すためにプライム符号（’）が付されている）は、左目と右目の間の対応する線分［Ｓ５，Ｄ５］，［Ｓ５’，Ｄ５’］，［Ｓ６，Ｄ６］，［Ｓ６’，Ｄ６’］，［Ｓ７，Ｄ７］，［Ｓ７’，Ｄ７’］，［Ｓ８，Ｄ８］，［Ｓ８’，Ｄ８’］の長さと方向を一致させることにより両目に対する形状の等しい変化を保証するよう定義される。

現在の望ましい実施例では、形状向上フィルタのパラメータは、制御目的地点１８２０の位置を特定することにより、顔特徴形状が増加されたか減少されたかを決めるために用いられる。形状向上フィルタは、追加的なスライダ制御によりＧＵＩ画面７８（図１Ｂ参照）へ組み入れられ得る。更に、各顔特徴に対して独自の形状向上スライダがあってもよい。システムは、スライダの位置を形状向上フィルタの適切なパラメータ値へマッピングする。スライダを一方向へ動かすことは顔特徴の大きさを減少させ、一方、スライダを反対方向へ動かすことは顔特徴の大きさを増加させる。顔の外見にとって対称性は非常に重要であるため、望ましい実施例では、目等の対称的な顔特徴の形状を操作するとき、形状の対称性は上述のように保証される。夫々のスライダのデフォルト位置は、（スライダが一方向又は他方向へ動かされるまでは）形状向上を全く生じさせないニュートラルな位置であってもよい。

上述の説明を通じて、幾つかのパラメータは、例えば向上フィルタの初期設定及びグラフィック・ユーザ・インタフェースで用いられる向上スライダの初期設定を決定するデフォルトパラメータに対する候補として特定された。これらのパラメータは、制限なしに、適切なデフォルトパラメータの例として選択されたものであり、限定的又は制限的なパラメータの組として理解されるべきではない。当業者によれば、本願に記載された他のパラメータを含む多くの他のパラメータがデフォルトパラメータとして選択及び／又は設計されることが明らかとなるべきである。

本発明を実施するためのシステムを示す図である。 図１のシステムで使用されるグラフィックユーザインタフェースを示す図である。 任意の度合いのユーザ介入で本発明を実施する実施例を示すフローチャートである。 ユーザ介入なしでバッチモードで本発明を実施する自動的な実施例を示すフローチャートである。 バッチモードで元のディジタル画像の位置及び処理についての命令を有するスクリプトファイルを示す図である。 バッチモードで画像修正を実施する対話式の実施例を示すフローチャートである。 消費者によって操作されるキオスク設定で画像修正モードを実施する対話式の実施例を示すフローチャートである。 図２Ａ及び図２Ｂに示す顔検出段階及び顔点位置確認段階を示すフローチャートである。 検出された顔上の顕著な特徴の点の位置を示す図式的な例である。 首の領域を決定する方法のフローチャートである。 最終首可能性マップを作成する処理を視覚的に示す図式的な例である。 最終首可能性マップを作成する処理を視覚的に示す図式的な例である。 最終首可能性マップを作成する処理を視覚的に示す図式的な例である。 図２Ａ及び図２Ｂのフローチャートに示すシステムにおいて使用される向上フィルタの組み合わせを示す図である。 額領域用の髪マスクを作成する方法のフローチャートである。 図６に示す肌のテクスチャ向上フィルタのフローチャートである。 肌のテクスチャ向上フィルタによって用いられる谷エッジフィルタカーネルを含む画素近傍を示す図である。 本発明による肌特徴を選択及び修正する望ましい実施例を示すフローチャートである。 検出された画素の周囲で定義される線分を示すピンホイールフィルタの図式的な例を示す図である。 欠陥画素に対する補正値を推定するために図９のピンホイールフィルタを用いる処理を示すフローチャートの前半である。 欠陥画素に対する補正値を推定するために図９のピンホイールフィルタを用いる処理を示すフローチャートの後半である。 図１０に示す処理中の新しい画素値を計算する望ましい実施例を示すフローチャートである。 図９に示すピンホイールフィルタ中の特徴画素を通る線分を作成する処理を示すフローチャートである。 図６に示す肌トーン向上フィルタの現在の望ましい実施例を示すフローチャートである。 図１３に示す肌トーン強調フィルタ中での使用のための陰影／ハイライトの強さの計算の現在の望ましい実施例を示すフローチャートである。 図１３に示す肌向上フィルタに用いられる異なるブレンド係数の効果を示す関数を示す図である。 図１３に示す肌向上フィルタに用いられる異なるブレンド係数の効果を示す他の関数を示す図である。 図１３に示す肌向上フィルタに用いられる異なるブレンド係数の効果を示す他の関数を示す図である。 図６に示す歯及び目向上フィルタの現在の望ましい実施例を示すフローチャートである。 肌のテクスチャ向上フィルタに用いられるブレンド関数を示す図である。 目の形状調整を行うのに用いられる制御点の図式的な例を示す図である。 目の形状調整を行うのに用いられる制御点の図式的な例を示す図である。 図６に示す形状向上フィルタの現在の望ましい実施例を示すフローチャートである。 再テクスチャ処理が向上の水準の関数である再テクスチャ曲線を示す図である。 再テクスチャ処理が肌の局所的な滑らかさの関数である再テクスチャ曲線を示す図である。

符号の説明

１０ システム
１２ パーソナルコンピュータ（ＰＣ）
２０ 記憶媒体
２８ スキャナ
３０ ディジタルカメラ
４０ 入力装置
５０ ディスプレイモニタ
６０ プリンタ
６２ サーバ
６５ 記憶媒体
７０ 通信網
７８ グラフィックユーザインタフェース（ＧＵＩ）画面
８０ 元の画像
８２ 向上された画像
９０ 外見エンハンサ
９２ テクスチャエンハンサ
９４ 肌エンハンサ
９６ 目エンハンサ
９８ 歯エンハンサ
２００ 初期化段階
２０５ 取得及び表示段階
２１０ 位置確認段階
２１５ 表示段階
２２０ 決定段階
２３０ デフォルト設定段階
２３５ 実行段階
２４０ ユーザ選択段階
２４５ 表示段階
２５０ 決定段階
２５５ ローカル印刷段階
２６０ ローカルアーカイブ段階
２６５ 遠隔印刷段階
２７０ 遠隔アーカイブ段階
２７５ クエリー段階
２８０ 終了段階
２８２ 取得段階
２８４ 顔検出及び位置確認段階
２８６ 向上選択段階
２８８ 向上実行段階
２９０ 顔クエリー段階
２９２ 記憶段階
２９４ 画像クエリー段階
３１０ 顔検出モジュール
３１５ 顔特徴検出器
４１０ 検出された顔
４２０ 顕著な特徴点
５５０ 包括的マッピング段階
５５４ スケーリング段階
５５６ 肌カラーマッピング段階
５５８ マップ組合せ段階
５７０ 包括的マスクを有する中央領域
５７２ 境界領域
５７４ 首確率マップの外形
５７６ 中央領域
６１０ 肌テクスチャ向上フィルタ
６２０ 肌トーン向上フィルタ
６３０ 歯向上フィルタ
６４０ 目向上フィルタ
６５０ 顔特徴形状向上フィルタ
６７０ 額を囲む領域を定める
６７２ 確率特徴マップを作成する段階
６７４ 確率マップを組み合わせる段階
７１０ 肌特徴発生段階
７２０ 特徴変更段階
８１０ 特徴選択段階
８２０ 膨張段階
８３０ フィルタリング段階
９１０ 顔境界
９２０ 膨張された特徴
９３０ 線分
９４０ 特徴画素
１１９０ ピンホイールフィルタ段階
１２１０ ぼけ段階
１２２０ 陰影／ピーク発生段階
１２３０ 係数発生段階
１２４０ ブレンド段階
１３１０ 輝度画像
１３２０ 平均輝度画像
１３３０ 減算段階
１５１０ 目／歯マスク発生段階
１５２０ 谷／ピークマップ発生段階
１５３０ スケーリングファクタ発生段階
１５４０ 画素変更段階
１８１０ 制御起点
１８２０ 制御目的地点
１９１０ 制御起点決定段階
１９２０ 制御目的地点決定段階
１９３０ 曲げ段階
２０００ 取得段階
２０１０ 表示段階
２０２０ 許容／拒否決定段階
２０３０ 対話式画像修正モード
２０４０ 許容／拒否決定段階
２０５０ クリーンアップ段階
２０６０ クエリー段階
２１００ フルフィルメント開始
２１０５ 取得段階
２１１０ 顔検出
２１２０ 顔が適切であるか決定
２１３０ フィルタ実行段階
２１４０ 向上された画像表示
２１５０ 画像許容可能性決定
２１６０ 向上された決定
２１７０ 対話式向上段階
２１８０ 顔でない画像を表示
２１９０ 従来の画像フルフィルメントキオスク処理

Claims (10)

1. バッチ処理で処理されている多数のディジタル画像のうちの１つであるディジタル画像中に位置する顔の外見を向上するバッチ処理方法であって、
   （ａ）向上のために選択された１又はそれ以上の元のディジタル画像を識別し、各元のディジタル画像の位置についての命令を含むスクリプトファイルを与える段階と、
   （ｂ）前記スクリプトファイル中の命令を用いて、１つ又はそれ以上の顔を含む元のディジタル画像を取得する段階と、
   （ｃ）前記１つ又はそれ以上の顔の中の、肌、目、眉、鼻、口、及び、髪のうちの１つ又はそれ以上を含む顕著な特徴を識別する点を含む顔特徴点の位置を検出する段階と、
   （ｄ）前記顔を、肌、目、眉、鼻、口、首、及び、髪の領域のうちの１つ又はそれ以上を含む異なる領域へ分割するよう前記顔特徴点の位置を用いる段階と、
   （ｅ）前記異なる領域の１つ又はそれ以上の顔について関連のある特徴を決定する段階と、
   （ｆ）前記異なる領域の前記顔について関連のある特徴に基づいて、特定の領域について夫々が特にカスタマイズされた１つ又はそれ以上の向上フィルタを選択し、前記向上フィルタに対するデフォルトパラメータを選択する段階と、
   （ｇ）前記特定の領域に対して前記向上フィルタを実行し、それにより前記元のディジタル画像から向上されたディジタル画像を生成する段階と、
   （ｈ）前記向上されたディジタル画像を格納する段階と、
   （ｉ）前記向上されたディジタル画像に対して行われた前記段階（ｃ）乃至（ｆ）のうちの１つ又はそれ以上における１つ又はそれ以上の操作を示す命令を有する出力スクリプトファイルを発生する段階とを有する方法。
2. 前記スクリプトファイルは、各画像に関する前記バッチ処理の操作を制御する更なる命令を含む、請求項１記載の方法。
3. 前記更なる命令は、前記処理に利用可能な前記向上フィルタを識別する、請求項２記載の方法。
4. 前記段階（ｃ）乃至（ｅ）のうちの１つ又はそれ以上は、保存される中間画像を生成し、前記スクリプトファイルは前記保存された中間画像の位置についての命令を含む、請求項１記載の方法。
5. 前記スクリプトファイルは、前記元の画像、前記中間画像、及び前記向上された画像のうちの１つ又はそれ以上の削除についての命令を含む、請求項４記載の方法。
6. 前記元のディジタル画像はメタデータで前記バッチ処理へ供給され、前記スクリプトファイルは前記画像の位置を確認することについての命令を含む、請求項１記載の方法。
7. ユーザ支援バッチ処理における対話式画像修正に更に適しており、
   前記方法は、
   前記元のディジタル画像及び前記向上されたディジタル画像の位置を確認することについての前記出力スクリプトファイル及び命令を取得する段階と、
   前記向上されたディジタル画像及び前記元のディジタル画像を取得する段階と、
   前記向上されたディジタル画像及び前記元のディジタル画像を比較して表示するよう前記出力スクリプトファイル中のデータを用いる段階と、
   前記画像を見直すための対話モードを与え、前記向上された画像を受け入れるか拒否するかを決定する段階と、
   先行する段階からの決定結果が前記向上された画像を拒否するというものである場合、画像修正された画像を与えるよう請求項１に記載の段階（ｃ）乃至（ｆ）のうちの１つ又はそれ以上を対話式に調整することによって前記画像を変更するための対話式画像修正モードを与える段階と、
   前記画像修正されたディジタル画像を格納する段階とを更に含む、請求項１記載の方法。
8. 前記向上された画像の許容可能性の確率を表わすようフラグを発生する段階を請求項１に更に含み、前記フラグは請求項７における対話式画像修正のためにどの向上された画像が取得されるかを決定するためにアクセス可能である、請求項７記載の方法。
9. 前記許容可能性の確率は、前記ディジタル画像に与えられる向上の量に関連する、請求項８記載の方法。
10. 前記向上された画像の状態のテキストによる記述を表わすようフラグを発生する段階を請求項１に更に含み、前記フラグは請求項７における対話式画像修正のためにどの向上された画像が取得されるかを決定するためにアクセス可能である、請求項７記載の方法。

Images