JP2013501292A - 基準画像に対して対象画像を補正する画像処理方法及びその画像処理装置 - Google Patents

Abstract

本発明に係る自動画像処理方法は、対象画像に適用されるマスクの適用のための自動画像処理方法であって、ａ）顔を表す画像であるデジタルの対象画像を取得するステップ（３００）と、ｂ）前記対象画像の少なくとも一つの領域について、典型的な空間的欠陥を示し得る点に少なくとも一致する参照点を自動的に特定するステップ（３２０）と、ｃ）少なくとも前記領域について、前記対象画像と基準画像とを比較することにより空間的欠陥検出テストを少なくとも１回実施するステップ（３３５）と、ｄ）検出された空間的欠陥に応じて、前記欠陥を含む画像の領域に適用される空間補正マスクを自動的に特定するステップ（３４０）と、ｅ）前記マスクを前記対象画像における関連領域に適用するステップ（３５０）とを備えている。また、本発明はその画像処理システムに関する。
【選択図】図１５

Description

本発明は、対象画像に検出されたある欠陥又は不揃いを補正又は軽減するマスクを生成する画像処理方法に関する。

また、本発明は、その画像処理システムに関する。

例えば化粧業界では様々な方法でマスクを擬似生成している。ユーザは化粧しようとする自分の顔の画像を提供することで、カラーマスクが適用された補正画像を得る。ユーザはこのマスクをテンプレートとして用いて化粧することができる。マスクは、様々な特徴を持つテンプレートの画像ではなくユーザの顔の画像に適用されるため、リアルな印象を生み出し、ユーザ自身又はメーキャップアーティストによる化粧のための優れたテンプレートとなる。実際、専門スタッフが手作業でマスクを準備する、すなわち提供された画像を手作業で補修することでそのようなサービスを提供する設備があり、擬似的な自動処理を実現している。しかしこのような手法は機材の複雑化、準備時間の長大化、及び高コスト化の要因となる。また、手作業であることにより、専門家によって画像の取り扱いが異なり、所定の画像に対してもたらされる結果はいつも一定ではない。

人間がマスクデザインのプロセスに関与しないようにするために、特に、良好な再現性、素早い応答時間、及び安定的な結果を確保しつつ大量の画像を生成できるようにするために、本発明は様々な技術的手段を提供する。

本発明の第１の目的は、まず、対象画像、特に口、目、頬などの明瞭な画像領域に自動的に適用されるマスクを決定する画像処理方法を提供することにある。

本発明の別の目的は、欠陥領域の補正に役立つマスク、特に顔を表す画像用のマスクを生成する方法を提供することにある。

これら目的は請求項に記載された方法によって達成される。

すなわち、本発明が提供する方法は、対象画像に適用されるマスクの適用のための自動画像処理方法であって、
ａ）顔を表す画像であるデジタルの対象画像を取得するステップと、
ｂ）前記対象画像の少なくとも一つの領域について、典型的な空間的欠陥（前記適用されるマスクにおける領域）を示し得る点に少なくとも一致する参照点を自動的に特定するステップと、
ｃ）少なくとも前記領域について、前記対象画像と基準画像とを比較することにより空間的欠陥検出テストを少なくとも１回実施するステップと、
ｄ）検出された空間的欠陥に応じて、前記欠陥を含む画像の領域に適用される空間補正（又は補償）マスクを自動的に特定・選択するステップと、
ｅ）前記マスクを前記対象画像の関連領域に適用するステップとを備えている。

顔の様々な特徴がわかれば顔の欠陥を補正し隠すことができる。化粧の技術はできるだけ理想の顔、例えば美的カノンに近づけることにある。本発明によって、画像が基準画像と比較され、対象画像と基準画像との違いをユーザに示すことができる。

有利な一実施形態によると、当該方法はさらに、前記補正マスクを適用するステップ以前に、
前記対象画像の前記領域の少なくとも一つの色の特徴（色相、コントラスト、明度）を特定するステップと、
前記特徴の少なくとも一つに応じて、色の補正特徴（補正フィルタ）を生成するステップと、
前記補正特徴を前記空間補正マスクに割り当てて又は追加して総合的な補正・補償マスクを得るステップと、
前記総合的な補正マスクを前記対象画像の前記関連領域に適用するステップとを備えている。

好ましくは、前記対象画像と前記基準画像との比較は、前記対象画像の前記関連領域の一又は複数の主要点の相対配置と前記基準画像において対応する点の相対配置との比較を含む。これら点ごとの比較は、比較項目が確実であり、画像が違っても一定しているため、大量の計算なしで良好な結果を得ることができる。当該プロセスは高い信頼性を有する大工業規模で開発することもできる。

有利な実施形態によると、前記対象画像は略正面視した顔を表すものであり、前記関連領域は口、目、眉、輪郭、鼻、頬、及び顎からなるグループから選択される。画像における顔の起伏成分によって、複数の空間参照点を含む顔が表現される。

一実施形態によると、前記対象画像の前記領域は口を含み、前記参照点は少なくとも口の角を含む。また好ましくは、前記参照点は、鼻の中央から最遠の下唇の略中央点を含み、また上唇の２つの最上点の一つを含み、また上記２点間の最下点と前記上唇の２点とを含む。

別の実施形態によると、前記対象画像の前記領域は目を含む。

さらに別の実施形態によると、前記対象画像の前記領域は眉を含む。

さらに別の実施形態によると、前記参照点は顔の輪郭に略沿った複数の点を含む。

有利な実施形態によると、前記基準画像は、規範的な身体比率を持つ美的カノンの顔に略一致する。

本発明は上記方法を実施する画像処理システムをさらに含んでいる。

本発明に係る画像処理システムは、
対象画像の形の特徴に対して関心領域における欠陥を検出するためのテスト基準に基づいて、前記対象画像の少なくとも一つの領域のある特徴と基準画像の類似する特徴との比較を行う比較モジュールと、
前記比較モジュールによって検出された欠陥のタイプに応じて、前記対象画像の関心領域に適用される少なくとも一つの補正マスクを選択する選択モジュールと、
前記選択されたマスクを前記対象画像に適用して修正画像を得る適用モジュールとを備えている。

有利な一実施形態によると、前記比較、選択、及び適用モジュールは、コーディングされた命令によって実現されたモジュールであって対象画像、基準画像、及びテスト基準を取得するように構成された作業モジュールに統合される。

以下では図１から２６を参照して各実施形態の詳細について説明する。各図は非限定的な例を示すものであり、同様の項目には同一の符号を付している。

図１は、本発明に係る方法の処理対象として顔の輪郭が検出及び特定され取得された対象画像の一例を示す図である。 図２は、処理前の対応する原対象画像を示す図である。 図３は、対象画像と主要点の比較が行われる基準画像の一例、具体的には美的カノンを示す図である。 図４は、対象画像と主要点の比較が行われる基準画像の一例、具体的には美的カノンを示す図である。 図５は、図３及び４に示した基準画像の点に対応する点を有する対象画像の一例を示す図である。 図６は、図３及び４に示した基準画像の点に対応する点を有する対象画像の一例を示す図である。 図７は、基準画像と比較した場合の対象画像における目の向きを検出するための点及び寸法を示す図である。 図８は、基準画像と比較した場合の両目の間隔の検出に用いられる点を示す図である。 図９は、基準画像と比較した場合の対象画像における目の形の検出に用いられる点を示す図である。 図１０は、基準画像と比較した場合の対象画像における口の比率の検出に用いられる点および間隔を示す図である。 図１１は、基準画像と比較した場合の対象画像における唇の寸法の検出に用いられる点及び間隔を示す図である。 図１２は、本発明に係る画像処理方法の主要ステップを示すブロック図である。 図１３は、本発明に係る画像処理方法の主要ステップを示すブロック図である。 図１４ａは、対象画像で検出された色に最も近い利用可能色の決定に用いられるＨＳＢの図である。 図１４ｂ乃至１４ｃは、対象画像で検出された色に最も近い利用可能色の決定に用いられるＨＳＢの図である。 図１５は、本発明に係る方法を実施するために提供される主要モジュール及び要素を示す概要図である。 図１６ａ乃至１６ｄは、基準画像との比較によって検出された様々なタイプの唇の欠点を補正するために様々な例でレタッチされた対象画像の唇を示す図である。 図１７ａ乃至１７ｃは、検出された目のタイプに応じて目に施される様々な補正の例を示す図である。 図１８ａ乃至１８ｃは、対象画像を基準画像と比較して検出される顔のタイプに応じた補正例を示す図である。 図１９は、対象画像における顔の形を検出するためのある主要点と間隔を示す図である。 図２０は、対象画像における顔の形を検出するためのある主要点と間隔を示す図である。 図２１は、基準画像に対して顎のタイプを検出するために用いられる点及び間隔を示す図である。 図２２ａは、基準画像に対する対象画像における鼻のタイプの検出に用いられる点及び寸法を示す図である。 図２２ｂは、検出された特性に従って鼻に施される補正の例を示す図である。 図２２ｃは、検出された特性に従って鼻に施される補正の例を示す図である。 図２２ｄは、基準画像に対する対象画像における鼻の形の検出に用いられる点及び寸法を示す図である。 図２２ｅは、検出された特性に従って鼻に施される補正の例を示す図である。 図２２ｆは、基準画像に対する対象画像における鼻の幅の検出に用いられる点及び寸法を示す図である。 図２３は、基準画像に対する対象画像における顔の形を別の手法で決定するための点及び間隔を示す図である。 図２４は、目の寸法の検出に用いられる基準を説明するための点及び寸法を示す図である。 図２５は、目の寸法の検出に用いられる基準を説明するための点及び寸法を示す図である。 図２６は、対象画像における目と眉との間隔を決定するために用いられる点を示す図である。

理想的な顔１は、美的カノンとして知られ、顔の比率の基準となるものであり、古典絵画のテンプレートとして用いられる。カノンは理想的な顔と考えられる。図３及び４は、一般的に理想的基準として認められるカノンを示す。

このカノンによると卵顔が理想とされる。目４及び５の間隔、鼻３から口２までの間隔、目と顎先との間隔、及びこれら間隔の比率はある標準値に一致しなければならない。図３及び４に示したように、卵顔は次のように絶対単位で表される寸法を有する。

頭部の高さは３．５単位である。頭皮１１の前頭部から頭頂部までは０．５単位である。頭部の幅は２．５単位である。顔の幅は頭部の１３／１５である。

耳は第２番目の高さの単位にある。鼻３は顔の中心線上及び第２番目の高さの単位にある。その幅は中央の単位の半分相当である。鼻孔の高さは０．２５単位である。

目については、目４３及び５３の内角は中央の半単位の両端にある。目の内角は原点０から垂直すなわち長手軸方向に１．７５単位のところにある。目４及び５の幅は０．５単位である。

眉６３及び７３の内角は各目の内角と同じ垂直線上の同じ側にある。眉６１及び７１の外角は目４２又は５２の外角及び鼻孔３１又は３２の外角を通って伸びる線上の同じ側にある。眉６又は７の高さはその長さの３分の１であり、外方に伸び、その頭部６２又は７２はその長さの４分の１である。

口２は１単位の中ほどの水平線上にあり、高さは半単位である。口２の高さは上唇及び下唇の各高さに応じて表される。下唇の高さは１／２単位の３分の１である。上唇の高さは１／２単位の残りの３分の１である。

口２の幅は口の２つの外側端点２２及び２３に基づいて決まる。口のこれら２つの外側端点はそれぞれ両目間の中点及び鼻孔３１及び３２の外角点の両方を通る直線上にある。口はまた下点２１及び上点２４，２５及び２６で境界される。

方法の主要ステップ
図１２は、基準画像に対して対象画像を補正する方法の主要ステップを示すフローチャートである。ステップ３００で対象画像が取得される。ステップ３１０で当該画像の少なくとも一つの領域が処理対象として選択される。少なくとも当該領域の主要点がステップ３２０で特定される。当該点に係る好ましい特定モードは文献WO2008/050062に詳細に記載されている。別の検出方法を用いてもよい。ステップ３３０でテスト基準を適用して関心領域における欠陥が検出される。適用されるテストは対象画像の特徴と基準画像の同様の特徴との比較を含む。対象画像の形の特徴に関して検出された欠陥に従って、ステップ３４０で一又は複数の補正マスクが特定される。ステップ３５０で、選択されたマスクが対象画像に適用されて修正すなわち補正画像が得られる。

図１５は、処理の主要ステップと処理中の様々なタイミングで呼び出されてステップを実行する様々な機能モジュールとの相互関係を示す。基準画像からのデータ２１０及び対象画像からのデータ２２０は例えばメモリに保存されて利用することができる。処理が一又は複数のマイクロプロセッサ、メモリ手段、及び実行命令を有する一般のコンピュータで実行される場合、作業モジュール２００は、比較モジュール２０１、選択モジュール２０２、及び選択されたマスクを対象画像に適用するモジュール２０３を備えている。テスト基準２３０は例えばメモリ手段によって利用することができる。処理の最後に、修正画像２４０、すなわち、補正マスクが適用された対象画像が得られる。

図１３は、基準画像の色に関して一又は複数のテストが実施される別の実施形態を示す。ステップ３２５で対象画像に対して特定領域の色の特徴が検出される。当該色の特徴は顔の一又は複数の領域の肌の色の特徴、又は目及び／又は髪の色の特徴であってもよい。ステップ３４５で、ステップ３２５で検出された色の特徴に基づいて対象画像に必要な補正が決定される。ステップ３４６で、ステップ３４０で決定された補正マスクが修正され、ステップ３５０での適用前に色補正が反映される。

以下、対象画像と基準画像とを比較して対象画像に表され顔の特徴を検出する例について説明する。顔の形、向き、目の間隔及び寸法、目及び口の形、唇の寸法、これらの相対比率、顎又は鼻の寸法、及び眉と目の間隔の検出について順に説明する。最後に色の選択について説明する。

顔の特徴：顔の形（図２０及び２１）
顔の形は基本的な顔の特徴の一つである。しかし、顔の精密な輪郭を正確に検出することは技術的に非常に困難である。また、頭皮と繋がる領域についても、特に徐々に変化する場合には重大な検出問題が生じる。外側縁と顎もまた領域が共通することが多いため、境界が非常に困難であり、いつも不正確である。

それでも顔の画像と基準画像とを比較するには、口、目、鼻などの顔の様々な要素を比較する一方で顔の全体形状も比較することが望ましい。

本明細書は顔の輪郭又はその一部である形及び／又は種類を検出する様々な技術手段及び基準を開示する。検出は基準画像の輪郭又は関連要素について行う。有利な一実施形態では基準画像として美的カノンを用いる。

顔の代表的な形又は種類の検出に間隔割合を用いる。対象の顔１０１は、代表的な形の種類、好ましくは丸顔、卵顔、面長顔、四角顔、不明といった種類に従って仕分け又は分類することができる。ハート型又は洋なし型の顔、逆三角顔などの他のクラス及びサブクラスを使用してもよい。様々な基準によって所定の画像に当てはまるクラスを決定することができる。テストの実施に使用される寸法を図２０及び２１に示す。

以下の基準では次の間隔が使用される。Ｌｖ１は対象の顔１０１の最大幅であり、Ｌｖ３は唇１０２の最下点１２１における幅である。Ｌｖ２は鼻孔を示す点１３２及び１３３を用いた鼻の位置における幅である。ｈｖ１は顎１１２の先端と目１０４及び１０５の瞳孔１４０及び１５０の高さの点１１５との間の高さである。

顔の形は次のようになる。
丸顔：Ｌｖ１／ｈｖ１＞１．３かつＬｖ１／Ｌｖ３＜１．４の場合。
面長顔：Ｌｖ１／ｈｖ１＜１．２の場合。
逆三角顔：Ｌｖ１／Ｌｖ３＞１．４の場合。
四角顔：Ｌｖ１／ｈｖ１＜１．３かつＬｖ１／Ｌｖ３＜１．４５かつＬｖ２／Ｌｖ３＜１．２５の場合。
卵顔：Ｌｖ１／ｈｖ１＜１．３かつＬｖ１／Ｌｖ３＜１．４５かつＬｖ２／Ｌｖ３＞１．２５の場合。

図１８ａ、１８ｂ、及び１８ｃは補正又は補償マスクの例を示す。対象画像と基準画像との間の比較が完了すると対象画像の顔の形が検出される。好ましくは上記の基準を用いる。対象画像において検出された顔の形に従って、対象画像の形が基準画像の形に近づくように一又は複数の補正マスクが提案される。例えば、図１８ａでは、マスクを使用するために四角顔が補正又は補償され、頬又は顎ｆ７ａｄ及びｆ７ａｇの下部又は「角」を除去又は目立たなくする。目立たなくするために、マスクされる領域からの反射光が最小になるように色、色相、及び／又はテクスチャが選択される。

図１８ｂ及び１８ｃは、丸過ぎる（図１８ｂ）又は長過ぎる（図１８ｃ）顔の形を補正するマスクの例を示す。前者の場合、丸顔を補正するために、領域ｆ７ｂｄ及びｆ７ｂｇにおいて、検出された肌の色相に対して暗めの色を用いて当該顔の部分を暗くして目立たなくする。さらに、顎先の領域ｆ９ｂ及び額の領域ｆ８ｂにおいて、反射光を多くして明るい領域を設けることで当該領域をより目立つようにする。

図１８ｃでは逆の処置が施される。面長顔を補正するために、領域ｆ７ｃｄ及びｆ７ｃｇの反射光を増して明るくされ、当該顔の部分がより目立つようにされる。領域ｆ９ｃにおける顎先は暗くして目立たなくする。額の領域ｆ８ｃもまた必要であれば目立たなくしてもよい。

図２３は、顔の形を判別する別の手法を示す。顔の中央点を中心とする円を用いて空間の比較を行う。まず、ＯＶＣＡ輪郭（卵形顔カノン又は基準画像の輪郭）を対象画像の上に重ねる。ＯＶＣＡ輪郭及び基準画像の両瞳孔間の間隔の半分に位置する点１５（対象画像の点１１５）と顔の最下点１２（対象画像の点１１２）との位置決めをすることで画像を重ねる。点１５又は１１５は円の中心である。半径は点１５と点１２との間隔に基づいて決まる。両画像が重なったなら、対象画像の寸法に応じて基準画像の寸法が変更される。これにより、ＯＶＣＡ輪郭と対象画像の輪郭とを比較することができる。好ましくは所定の主要点から始めて点ごとに比較を行う。円を新基準としてうまく用いて、輪郭に沿った後述の点及び様々な点と対象画像の点との間隔を測定することができる。例えば、間隔Ｌｖｃ７は額の上部の点１１９ｃから円上の点１１９ｃ２までの間隔から得られる。顔の反対側では間隔Ｌｖｃ８が同様の値となる。顔の底部では、一方で輪郭点１１９ａ及び円上の点１１９ａ２、他方で輪郭点１１９ｂ及び円上の点１１９ｂ２から間隔Ｌｖｃ３及びＬｖｃ５が得られる。間隔はすべて点と円の中心１１５を通る直線を用いて計測される。本手法によっても両画像間の様々な顔成分を比較することができる。また、本手法によって、基準円を介することなく基準画像の輪郭（ＯＶＣＡ）対する対象画像の輪郭点の位置を比較することができる。また、点の間隔だけではなく、対象画像の点が基準画像の輪郭の内側又は外側のいずれにあるかを示すことができる。

目：目の向き（図７）
顔の形を検出して適切なマスクを適用することに加えて、目の形及び／又は向き又は寸法、口の形及び唇の寸法及び／又は比率、顎又は鼻のタイプなどの対象の顔の特徴に関するある特徴を検出してもよい。これにより、検出された特徴のタイプに応じて各領域が決定される補正マスクを提供することができる。

図７は、基準画像に対する対象画像における目の検出及び傾きに関する基準を説明するための点及び寸法を示す。傾きによって目は３つの種類：たれ目、標準（通常）、つり目に分類又は仕分けすることができる。

当該分類にはいくつかの基準が用いられる。第１の手法では、目の内角１４３及び外角１４２を通る直線ｙ１−ｙ１の傾斜（図７中の角度α）が用いられる。この傾斜値は度で表される。本手法によると目は次のように分類される。
標準：角度αが３５８度よりも大きいかつ５度よりも小さい（又は略水平軸に対して±７度の範囲にある）場合。
つり目：角度αが５度よりも大きいかつ３０度よりも小さい場合。
たれ目：角度αが３２８度よりも大きいかつ３５８度よりも小さい場合。
所望の結果に基づいて上記テストタイプに別の値を割り当ててもよい。

標準の種類に属する目又は基準画像の対応する目について、マスクは特に補正又は補償しない。図１７ａは、特に欠陥のない目を装飾するための代表的なマスクを示す。このマスクは形についてはさほど特徴がないが、化粧などで人の目を装飾するための色効果を与える。

第２の例に係るマスクは、人気のあるつり目効果をあまり強調し過ぎずることなくごくわずかにつり目にする補正をするためのものである。

最後に、第３の例に係るマスクはたれ目効果を軽減するためのものである。図１７ｃは、そのような効果をもたらすマスクの例を示す。暗領域ｆ５ｃを目の上外角方向に引き伸ばすことでそのような効果を得られる。

第２の有利な手法では、図７中のｈｙ２及びｈｙ１によって表される高さの差を基準とする。これら高さは目の内角１４３と外角１４２との間の高さの差を表す。以下に基準を示す。すなわち、目は次のように分類される。
標準：ｈｙ１とｈｙ２とが実質的に等しい場合。
たれ目：ｈｙ１がｈｙ２よりも実質的に大きい場合。
つり目：ｈｙ１がｈｙ２よりも実質的に小さい場合。

本手法に係るマスクによって第１の手法と同様の補正及び補償効果を得ることができる。

目の間隔（図８）
図８は、基準画像に対する対象画像の両目の間隔を検出するための基準を説明するための点及び寸法を示す。当該間隔は狭い、標準、広いの３つの種類に分類することができる。これら基準に使用される点は目１０４及び１０５の内角１４３及び１５３及び外角１４２及び１５２である。
標準の目の間隔又は基準画像と同等：（Ｌｙ１＋Ｌｙ２）／２とＬｙ３とが実質的に等しい場合。
狭い目の間隔：（Ｌｙ１＋Ｌｙ２）／２がＬｙ３よりも実質的に小さい場合。
広い目の間隔：（Ｌｙ１＋Ｌｙ２）／２がＬｙ３よりも実質的に大きい場合。

目の間隔が基準画像と同等、すなわち標準の場合、マスクは特に補正又は補償をしない。

第２の例に係るマスクは、狭い間隔を明るくして間隔を広く見せる補償をするためのものである。

第３の例に係るマスクは、広い間隔を暗くして間隔を狭く見せる補償をするためのものである。図１７ｂにこのタイプのマスクの例を示す。このマスクは目の上部の少なくとも外側を暗領域が覆うことによって両目の間隔を小さく見せる。一方、標準の目については、図１７ａに示したように、目の上部の暗領域は目の外角上部に届くかどうかの程度である。図１７ｂに示したように、暗領域ｆ５ｂを広げることで目の間隔が狭く見える効果が奏される。

目の寸法（図２５）
図２４及び２５は、目の寸法を検出するための基準を説明するための点及び寸法を示す。当該基準によって顔の他の部分及びその成分に対する目の比率が決定される。目は小さい、標準（良好な比率）、大きいの３つに分類することができる。すなわち、顔の残りの部分及びその成分に対する両目の比率を知ることができる。

第１の手法では基準画像を対象画像に重ねる。この重ね合わせによって基準画像のスケール調整を実現することができる。基準画像の点１３ａ及び１３ｂ（図３参照）を用いて幅のスケールを変更することができる。両瞳孔の中央間の間隔中央に位置する点１５を対象画像の対応する点１１５に重ねることで基準グリッドが中心に置かれる。そして、点１１５と同じ高さに位置する顔の輪郭点１１３ａ及び１１３ｂを用いて幅のスケールが調整される。点１１５から点１１３ａ又は点１１３ｂのいずれか一方の間隔が最大になるように点を選択してもよい。中央から最も遠い点が保持される。基準スケールＲを調整する（適宜増大又は減少する）ことで、保持された間隔に応じて基準画像の対応する点１３ａ又は１３ｂの幅位置が調整される。

点１２を対象画像の点１１２に重ねることで基準スケールの高さを調整することができる。図２５は、基準画像のスケールＲと対象画像のスケールＣとが一致していないことを示している。したがって、２つのスケール間のずれによって評価又は比較すべき対象画像の点間の位置の違いを検出することができる。そして、対象画像と基準画像における寸法、間隔といった顔の成分の違いをすべて比較することができる。図では基準グリットの単位はＲで表している。

本手法によると、目のタイプを検出するために、目の２つの角１５２及び１５３又は１４２及び１４３、すなわち目１０５について０．５Ｃ又は０．５Ｒ及び１Ｃ及び１Ｒが両スケールを用いて比較される。これにより、両目は次のように分類される。
標準：０．５Ｃから１Ｃまでの長さと０．５Ｒから１Ｒまでの長さとが実質的に等しい場合。この場合、マスクによる補正又は補償をしない。
小さい：０．５Ｃから１Ｃまでの長さが０．５Ｒから１Ｒまでの長さよりも実質的に大きい場合。マスクは目を大きく見せるために、例えば、色を徐々に変える又は明るい色を用いる。標準（美的カノンの場合）よりも大きめの割合を用いたマスクであってもよい。
大きい：０．５Ｃから１Ｃまでの長さが０．５Ｒから１Ｒまでの長さよりも実質的に小さい場合。マスクは目を小さく見せるために、例えば、色を付ける領域の寸法を小さくする。標準（美的カノンの場合）よりも小さめの割合を用いたマスクであってもよい。

目の寸法は顔の表面積に応じて目の表面積を計算することでも検出することができる。後者の表面積は輪郭に沿った既知及び／又は検出した点に基づいて容易に知ることができる。本手法によると、両目は次のように分類される。
標準：顔の表面積に対する両目の表面積が占める歩合が対象画像と基準画像とで実質的に等しい場合。
小さい：対象画像における顔の表面積に対する両目の表面積が占める歩合が基準画像における歩合よりも実質的に小さい場合。
大きい：対象画像における顔の表面積に対する両目の表面積が占める歩合が基準画像における歩合よりも実質的に大きい場合。

目の形（図９）
図９は、目の形を検出するための基準を説明するための点及び寸法を示す。当該基準によって顔の他の部分及びその成分に対する目の比率が決定される。開けた目の形が目の形の基準となる。目の形は細い、標準（良好な比率）、丸いの３つに分類することができる。より精度を高めるため又は特殊なケースを考慮するために他の種類を定義してもよい。カノンの目は幅に対して高さが３分の１といった良好な比率である。比較に用いた対象画像の目を補正するために次の基準を用いる。当該基準では目の角１４２及び１４３を用いて線分Ｌｙ４が決まり、線分ｈｙ３は目の最下点１４１及び最上点１４６によって決まる。すなわち、目の形は次のように分類される。
標準：ｈｙ３とＬｙ４の１／３とが実質的に等しい、すなわちカノンに一致する場合。
細い：ｈｙ３がＬｙ４の１／３よりも実質的に小さい場合。
丸い：ｈｙ３がＬｙ４の１／３よりも実質的に大きい場合。

検出された目のタイプに応じて、カノンの目から逸脱した形を補正するための様々な補正マスクが提案される。マスクは丸い目の外形を矯正するものであったり、過度に細い目を丸くするものであったりする。様々な基準に応じて補正の種類も様々である。ある補正マスクは様々な厚み、形、及び色で輪郭を補正する。かかるマスクは褪せた色、様々な形、及び様々な明るさの領域を含んでいる。また、目の輪郭にあるまつ毛を部分的又は全体的に変形又は伸ばしてもよい。

口の寸法／形（図１０）
図１０は、口の形を検出するための基準を説明するための点及び寸法を示す。当該基準によって、基準画像との関連で、顔の他の部分及びその成分に対する対象画像の口の比率が決定される。当該基準では各唇の上位点及び下位点が用いられる。すなわち、ｈｂ３は角１２２及び１２３を通る仮想線と一方の上位点１２５との間隔であり、ｈｂ４は角１２２及び１２３を通る仮想線と他方の上位点１２４との間隔であり、ｈｂ５は下唇の下位点１２１と口の角の点１２２及び１２３を通る仮想線との間隔である。

口は狭い、通常（良好な比率）、広いの３つの種類に分類することができる。後のために、カノンに対して比較を行う場合、口の比率は次のような関係となる。
なおＬｂ１＝３／４単位である。ただし、図１１に示したようにＬｂ１は点１２２と１２３との間を測定したものである。
標準の口又は基準画像と同等：Ｌｂ１と単位Ｒ（基準画像）の３／４とが実質的に等しい場合。
基準画像を用いて行う補正と同様の補正が行われる。
狭い口：Ｌｂ１が単位Ｒの３／４よりも実質的に小さい場合。
唇の輪郭を口の角の方向にわずかに広げて描くことで口を広くする補正が行われる。
広い口：Ｌｂ１が単位Ｒの３／４よりも実質的に大きい場合。
口の角を無くして輪郭を描くことで、可能であれば口の角を目立たなくすることで口の幅を狭くする補正が行われる。

唇の寸法（図１１）
図１１は、基準画像に対する唇の寸法を検出するための基準を説明するための点及び寸法を示す。当該基準によって口に対する唇の比率が決定される。当該基準では口の高さ又は唇の高さに対する幅の割合を決定することで唇の寸法を決定する。唇は薄い、標準（良好な比率）、厚いの３つに分類することができる。当該基準では口の各側の上位点及び下位点が用いられる。すなわち、ｈｂ１は点１２５及び１２１の間隔であり、ｈｂ２は点１２４及び１２１の間隔である。
標準の唇：（ｈｂ１＋ｈｂ２）／２とＬｂ１／２．７とが実質的に等しい、換言すると基準画像の唇の比率に一致する場合。
薄い唇：（ｈｂ１＋ｈｂ２）／２がＬｂ１／２．７よりも実質的に小さい場合。
厚い唇：（ｈｂ１＋ｈｂ２）／２がＬｂ１／２．７よりも実質的に大きい場合。

唇の比率
図１０はまた、唇の相対的な寸法又は比率を検出するための基準を説明するための点及び寸法を示す。当該基準によって唇相互の相対的な比率が決定される。当該基準は各唇の高さの割合を決定することで唇の寸法を検出する。上唇については平均的な高さを用いてもよい。唇は大きい下唇、均衡した唇、大きい上唇の３つに分類することができる。当該基準では各唇の上位点及び下位点が用いられる。すなわち、ｈｂ３は口の角１２２及び１２３を通る仮想線と一方の上位点１２５との間隔であり、ｈｂ４は口の角１２２及び１２３を通る仮想線と他方の上位点１２４との間隔であり、ｈｂ５は下唇の下位点１２１と口の角の点１２２及び１２３を通る仮想線との間隔である。
均衡した唇又は同じ寸法の両唇：（ｈｂ３＋ｈｂ４）／２とｈｂ５とが実質的に等しい場合。
下唇が大きい：（ｈｂ３＋ｈｂ４）／２がｈｂ５よりも実質的に小さい場合。
上唇が大きい：（ｈｂ３＋ｈｂ４）／２がｈｂ５よりも実質的に大きい場合。

図１６ａから１６ｄは各種類に応じて唇に施される補正の例を示す。図１６ａは均衡した唇を示す。図１６ｂ、１６ｃ、及び１６ｄはよくあるケースについて提案される補正の例を示す。唇の輪郭又は輪郭の一部に沿って適用するような補正が提案される。これにより、様々な不均衡を補正して顔の他の部分に対する唇のバランスを補正することができる。施される補正に応じて、唇の外側境界の外部又は内部に沿って輪郭が再描画される。したがって、図１６ｂの例のように、輪郭を線ｆ１に沿って狭めの境界で再描画することで、広過ぎると検出された唇が補正される。図１６ｃでは、下唇の輪郭をｆ２に沿って再描画して下唇の下部境界を下方向に移動することで、上唇よりも薄い下唇が補償される。図１６ｄに示した例は非対称な上唇に関するものである。当該上唇はｆ３に沿って再描画する輪郭によって補正され、検出された表面積の増加も最小で済む。この補正の目的は点１２５及び１２４を同じ高さにしてこれらの間のバランスを回復することにある。

これら例は、水平方向及び垂直方向の両方、すなわちこれら２軸を組み合わせることでバランスを取り戻せることを示している。

顎（図２１）
図２１は、対象画像の顎の寸法を検出するための基準を説明するための点及び寸法を示す。当該基準によって顔の他の部分及びその成分に対する顎の相対比率が決定される。顎は短い、通常、長いの３つに分類することができる。図２１中の軸を用いて当該比率が決定される。ｈｖ１は瞳孔における点１１５と顎の下位点１１２との間の高さである。ｈｖ２は唇の底部１２１と顎の底部１１２との間の顎の高さである。
標準の顎又は基準画像と同等：３．２単位＜ｈｖ２／ｈｖ１＜３．８単位の場合。
短い顎：ｈｖ１／ｈｖ２≦３．２単位の場合。
長い顎：ｈｖ２／ｈｖ１＞３．８単位の場合。

検出された顎のタイプに合った補正が行われるように、下部を補正する様々なタイプのマスクを用いて当該領域を適宜目立つように又は目立たなくする。顎が長過ぎる場合には、肌の色合いよりも暗めの化粧が提案される。顎が短過ぎる場合には、肌の色合いよりも明るめの化粧が推奨される。

鼻：鼻の長さ（図２２）
図２２は、鼻の寸法を検出するための基準を説明するための点及び寸法を示す。当該基準によって顔の他の部分に対する鼻の相対比率が決定される。鼻は短い、標準、長いの３つに分類することができる。顎に対する鼻の高さは鼻の両側の平均に基づいて決めることができる。すなわち、ｈｖ３は顎の底部の点１１２と鼻の一方の底部の点１３３との間の高さである。ｈｖ４は顎の底部の点１１２と鼻の他方の底部の点１３２との間の高さである。ｈｖ５は鼻の一方の底部の点１３２と同じ側の目の内角１５３との間隔である。ｈｖ６は鼻の他方の底部の点１３３と同じ側の目の内角１４３との間隔である。
標準の鼻：０．７８（ｈｖ３＋ｈｖ４）／２＞（ｈｖ５＋ｈｖ６）／２＞０．７２×（ｈｖ３＋ｈｖ４）／２の場合。
短い鼻：（ｈｖ５＋ｈｖ６）／２＞０．７８×（ｈｖ３＋ｈｖ４）／２の場合。
長い鼻：（ｈｖ５＋ｈｖ６）／２＜０．７２×（ｈｖ３＋ｈｖ４）／２の場合。

鼻の幅
図２２ａは、鼻の幅を検出するための基準を説明するための点及び寸法を示す。当該基準によって顔の他の部分に対する鼻の相対比率が決定される。鼻は狭い、通常、広いの３つに分類することができる。顎に対する鼻の高さは鼻の両側の平均に基づいて決めることができる。ｈｖ５及びｈｖ６については既に説明した通りである。Ｌｖ４は各側の鼻孔における鼻の底部の点１３２及び１３３の間の幅である。
標準の鼻又は基準画像と同等：Ｌｖ４と２／３×（ｈｖ５＋ｈｖ６）／２とが実質的に等しい場合。
短い鼻：Ｌｖ４が２／３×（ｈｖ５＋ｈｖ６）／２よりも実質的に小さい場合。
長い鼻：Ｌｖ４が２／３×（ｈｖ５＋ｈｖ６）／２よりも実質的に大きい場合。

鼻の幅の基準を決定する別の方法：
図２２ａと同様に、図２２ｆは、鼻の幅を検出するための基準を説明するための点及び寸法を示す。鼻は狭い、標準、広いの３つに分類することができる。図２２ｆ中の軸Ｍ３上の点１１７ａ，１１７ｂ及び１３２，１３３を用いて比率を決定する。本手法によると、鼻の種類は顔の幅と鼻の幅との比較によって決定することができる。Ｌｖ４は各側の鼻孔における鼻の底部の点１３２及び１３３の間の幅である。Ｌｖ７は顔の点１１７ａ及び１１７ｂの間の幅である。
標準の鼻又は基準画像と同等：Ｌｖ４と１／４×Ｌｖ７とが実質的に等しい場合。
狭い鼻：Ｌｖ４が１／４×Ｌｖ７よりも実質的に小さい場合。
広い鼻：Ｌｖ４が１／４×Ｌｖ７よりも実質的に大きい場合。

図２２ｂ及び２２ｃは、分類結果に応じて鼻に施す補正の例を示す。図２２ｂは広過ぎる鼻を示し、図２２ｃは狭過ぎる鼻を示す。施される補正に応じて、間隔Ｅｓで表される眉の間隔が、広過ぎる幅の鼻については広げられ、逆の場合には狭められる。領域ｆ１１ｂｄ及びｆ１１ｂｇにおいて鼻翼の奥の部分にテクスチャが適用される。形ｆ１０ｂｄ及びｆ１０ｂｇは検出された肌の色合いよりも暗めに化粧され、鼻の当該部分は暗くなる。領域ｆ１２ｃｄ及びｆ１２ｃｇは検出された肌の色合いよりも明るめに化粧され、鼻の当該部分は明るくなる。

鼻が短過ぎる場合には、説明したようなタイプのマスクを用いて、鼻のある部分、好ましくは上部が明るくされる。逆の場合、つまり鼻が長過ぎる場合には、鼻の下部が肌の色合いよりも暗く化粧される。

鼻の形
図２２ｄは、鼻の形を検出するための基準を説明するための点及び寸法を示す。当該基準によって顔に対して鼻がまっすぐかどうか決定される。鼻はまっすぐ、左寄り（領域Ｇ）、右寄り（領域Ｄ）の３つに分類することができる。図２２ｄ中の軸を用いて比率を決定する。Ｍ１及びＭ２は既に説明した通りである。Ｌｖ５及びＬｖ６は軸Ｍ１と各側の鼻孔の鼻の底部における点１３２及び１３３との間の幅である。
標準の鼻又は基準画像と同等：Ｌｖ５とＬｖ６とが実質的に等しい場合。
右寄り：Ｌｖ５がＬｖ６よりも実質的に大きい場合。
左寄り：Ｌｖ５がＬｖ６よりも実質的に小さい場合。

図２２ｅは、鼻の形についての分類結果に応じて鼻に施す補正の例を示す。図２２ｅは左寄りの鼻を示す。この場合、補償するために、図示したようなマスクが提案される。領域ｆ１３ｅｄ及びｆ１３ｅｇは検出された肌の色合いよりも明るめに化粧され、鼻の当該部分は明るくなる。領域ｆ１４ｅは検出されたよりも暗めに化粧され、鼻の当該部分は暗くなる。

眉
図２６は、目と眉との間隔を決定するための点を示す。Ｌｓ１は目の内角１４３と眉の内角１６３との間隔を表す。Ｌｓ２は目の上部１４４と眉の最上点１０６との間隔を表す。これら間隔に基づいて、目と眉との間隔を検出することができる。間隔のタイプはＬｓ１又はＬｓ２のいずれか又はこれら間隔の両方に基づいて、基準を組み合わせて又は累積して決定することができる。検出された種類に応じて、一又は複数のマスクを自動的に提案することができる。これにより、ユーザはマスクによって与えられた例に基づいて化粧することができる。間隔のタイプは次の通りである。
標準：Ｌｓ１が１／４Ｒに実質的に等しい場合。
狭い：Ｌｓ１が１／４Ｒよりも実質的に小さい場合。
広い：Ｌｓ１が１／４Ｒよりも実質的に大きい場合。
標準：Ｌｓ２が１／３Ｒに実質的に等しい場合。
狭い：Ｌｓ２が１／３Ｒよりも実質的に小さい場合。
広い：Ｌｓ２が１／３Ｒよりも実質的に大きい場合。

色選択
ここまで対象画像の形及び顔の特徴を考慮して画像処理を行うことについて説明した。さらに形及び特徴に加えて対象画像の色をも考慮することは有効である。

従来は所定の色を用いて化粧するのが一般的である。用いられる色は化粧される人の顔の特徴や形にかかわらず中立的なものである。しかし、色の調整なしではほとんどの顔に色がうまく合わない。そこで、個々の顔の個々の特異性に鑑み、化粧される人の画像を用いて特徴、形、及び必要に応じて色に関する特徴を抽出する必要がある。そして、基準画像との比較によって、検出された特徴に完全に調和するマスクを自動的に提供することができる。対象画像の領域の補正又は変更を行うことで基準画像に「より近く」することができる。対象画像の領域は色検出のために特定される。これにより、適切な色を決定してマスクを決めることができる。

また、ユーザがマスクを用いて自分を化粧する場合、ユーザに利用可能な色及び製品に応じて色選択ができると便利である。これにより、ユーザはこれら提示を色コード、製品番号といった様々な形式で表して、利用可能な色が規定されたユーザデータベースに情報を入力することができる。そのようなデータを簡単に得るには、例えば、専用の入力ウィンドウを用いてユーザに情報を入力してもらえばよい。色はデータベースにおいて製品色に対応付けられた１６進数の製品番号で参照する。ユーザに利用可能な色を入力し、また製品種別によって分類することができる。

マスクの色の調整又は適応に関して衣服の色も考慮するとよい。逆に、マスクの色を用いて服装の選択のためのメインカラーを提案することができる。

肌、目、及び髪の色の特徴がわかれば、カスタマイズ及び適応したレイアウトとなるようにマスクの色を適応させることができる。例えば、色の情報源はユーザによって与えられる様々な製品番号に基づいている。このため、色はデータベース内で検索される。また、色を事前分類してもよい。

色は顔の所定の領域からサンプリングされる。一般に色の値は１６進数化され、ＨＳＢ（色相、彩度、明度）値に変換される。ＨＳＢ図は色を２つの反転した三角錐で３次元表現したものである。三角錐の共通の底面は色の彩度の最大値を示し、縁に近いほど彩度が大きい。円の中心は灰色であり、明度は上に向けて増大し、下に向けて減少する。一又は複数の規則を用いて値を得ることができ、規則は色のリストに分類される。

好ましい実施形態では、目１０４及び１０５、特に虹彩（色については基準画像を参照しないことが好ましい）、肌、特に頬、及び髪の３つの領域の色の特徴を用いてカラーマスクが生成される。

髪及び肌について、二重の比較を行なってもよい。すなわち、参照点の位置を比較する一方、参照点に近い領域の色を比較してもよい。次表は各領域の代表的な色を示す。色検出に基づく分類に応じて適切なマスクを選択することができる。対象画像の形及び特徴の基準に従ってマスクが選択されていたなら、処理の当該段階で実施された色の分類に従って、当該マスクを調整又は変化させることができる。

ＨＳＢ色空間における色の位置に従って、対象画像に適合する色を探索してもよい。この探索は適当な調整規則を追加しながらデータベースにおいて最も近い利用可能色を検出するものである。検出された色とＨＳＢ色空間又は他の同等の色空間における取得可能な色との間の最短距離に基づいて色が決定される。見本色のＨＳＢ値はあらかじめデータベースに格納されている。色の選択に別の制約を適用することもできる。例えば、製品による選択、メーカーによる選択、値段による選択などである。

検出された肌の色に基づいて、肌の色を擬似的に追加するマスクの調整（化粧ファンデーション）が決定される。図１４のＨＳＢ図において、ＣＯＬ０は検出された色の位置である。ＣＯＬはデータベースにおける色を表す。肌の色に対して最も適切な色調の製品が得られる。所望の色調を色のハーモニーに適合させる規則を導入することもできる。例えば、暗めの色調を望む場合、原色よりも暗くなるように最も近い色を探索すれば十分である。例えば、白く透けた肌に適応するには、明度が６０％よりも大きく彩度が４０％から６０％の範囲内の同じ色相の製品について最短距離が計算される。

本発明は図及び上記記述の例に限定されるものではない。特に、一般的に当業者に知られた特徴を有するカノンを一例として本発明及びその様々な変形例について説明した。しかし、当業者にとって、本発明が顔の一又は複数の点について別の特徴を有する基準画像を用いた別の実施形態に拡張できることは明らかであろう。また、黄金比率（１．６１８０３４…）に基づく基準画像を用いてもよい。

請求項に付した参照符号は本質を限定するものではない。「備える」及び「含む」なる動詞は請求項に列挙した事項以外の事項を排除するものではない。また、単数の事項で特定されていても当該事項が複数存在することを排除するものではない。

顎（図２１）
図２１は、対象画像の顎の寸法を検出するための基準を説明するための点及び寸法を示す。当該基準によって顔の他の部分及びその成分に対する顎の相対比率が決定される。顎は短い、通常、長いの３つに分類することができる。図２１中の軸を用いて当該比率が決定される。ｈｖ１は瞳孔における点１１５と顎の下位点１１２との間の高さである。ｈｖ２は唇の底部１２１と顎の底部１１２との間の顎の高さである。
標準の顎又は基準画像と同等：３．２単位＜ｈｖ２／ｈｖ１＜３．８単位の場合。
短い顎：ｈｖ２／ｈｖ１≦３．２単位の場合。
長い顎：ｈｖ２／ｈｖ１＞３．８単位の場合。

Claims (10)

1. 対象画像（１０１）に適用されるマスクの適用のための自動画像処理方法であって、
   ａ）顔を表す画像であるデジタルの対象画像（１０１）を取得するステップ（３００）と、
   ｂ）前記対象画像の少なくとも一つの領域について、典型的な空間的欠陥を示し得る点に少なくとも一致する参照点を自動的に特定するステップ（３２０）と、
   ｃ）少なくとも前記領域について、前記対象画像と基準画像とを比較することにより空間的欠陥検出テストを少なくとも１回実施するステップ（３３５）と、
   ｄ）検出された空間的欠陥に応じて、前記欠陥を含む画像の領域に適用される空間補正マスクを自動的に特定するステップ（３４０）と、
   ｅ）前記マスクを前記対象画像における関連領域に適用するステップ（３５０）とを備えている
   ことを特徴とする自動画像処理方法。
2. 請求項１の自動画像処理方法において、前記補正マスクを適用する以前に、
   前記対象画像の前記領域の少なくとも一つの色の特徴を特定するステップ（３２５）と、
   前記特徴の少なくとも一つに応じて、色の補正特徴を生成するステップ（３４５）と、
   前記補正特徴を前記空間補正マスクに追加して総合的な補正マスクを得るステップ（３４６）と、
   前記総合的な補正マスクを前記対象画像の前記関連領域に適用するステップ（３５０）とを備えている
   ことを特徴とする自動画像処理方法。
3. 請求項１及び２のいずれか一つの自動画像処理方法において、
   前記対象画像と前記基準画像との比較は、前記対象画像の前記関連箇所の一又は複数の主要点の相対配置と前記基準画像において対応する点の相対配置との比較を含む
   ことを特徴とする自動画像処理方法。
4. 請求項１乃至３のいずれか一つの自動画像処理方法において、
   前記対象画像は略正面視した顔を表すものであり、前記関連領域は口、目、眉、輪郭、鼻、及び顎からなるグループから選択される
   ことを特徴とする自動画像処理方法。
5. 請求項１乃至４のいずれか一つの自動画像処理方法において、
   前記対象画像の前記領域は口（１０２）を含み、前記参照点は少なくとも口の角（１２２、１２３）を含む
   ことを特徴とする自動画像処理方法。
6. 請求項１乃至５のいずれか一つの自動画像処理方法において、
   前記対象画像は目（１０４、１０５）を含む
   ことを特徴とする自動画像処理方法。
7. 請求項１乃至６のいずれか一つの自動画像処理方法において、
   前記対象画像の前記領域は眉（１０６、１０７）を含む
   ことを特徴とする自動画像処理方法。
8. 請求項１乃至７のいずれか一つの自動画像処理方法において、
   前記参照点はさらに顔の輪郭に略沿った複数の点（１３ａ、１３ｂ、１４ａ、１４ｂ、１１３ａ、１１３ｂ、１１４ａ、１１４ｂ）を含む
   ことを特徴とする自動画像処理方法。
9. 請求項１乃至８のいずれか一つの方法を実施する画像処理システムであって、
   対象画像の形の特徴に対して関心領域における欠陥を検出するためのテスト基準に基づいて、前記対象画像の少なくとも一つの領域のある特徴と基準画像の類似する特徴との比較を行う比較モジュール（２０１）と、
   前記比較モジュールで検出された欠陥のタイプに応じて、前記対象画像の前記関心領域に適用される少なくとも一つの補正マスクを選択する選択モジュール（２０２）と、
   前記選択されたマスクを前記対象画像に適用して修正画像を得る適用モジュール（２０３）とを備えている
   ことを特徴とする画像処理システム。
10. 請求項９の画像処理システムにおいて、
    前記比較（２０１）、選択（２０２）、及び適用（２０３）モジュールは、コーディングされた命令によって実現された作業モジュールであって対象画像、基準画像、及びテスト基準を取得するように構成された作業モジュール（２００）に統合される
    ことを特徴とする画像処理システム。