JP2013171409A - 化粧顔画像評価装置及び化粧顔画像評価方法 - Google Patents

Abstract

【課題】化粧顔画像に基づいて化粧顔を定量評価する技術を提供する。
【解決手段】化粧顔画像評価装置は、形状が規格化された、サンプル素顔画像及びサンプル化粧顔画像をそれぞれ独立成分分析することにより、各サンプル素顔画像及び各サンプル化粧顔画像について、複数の基底ベクトルの係数をそれぞれ算出する独立成分分析手段と、各基底ベクトルにおける、サンプル素顔画像間の係数のばらつき度合い及びサンプル化粧顔画像間の係数のばらつき度合いに基づいて、複数の基底ベクトルの中の一部を複数の評価用基底ベクトルとして選択する選択手段と、評価対象の化粧顔画像から得られる評価画像ベクトル及び目標となる化粧顔画像から得られる目標画像ベクトルと選択手段により選択される各評価用基底ベクトルとの内積から当該評価対象の化粧顔画像の評価情報を取得する評価情報算出手段とを備える。
【選択図】図５

Description

本発明は、化粧が施された顔（化粧顔）画像の定量評価技術に関する。

画像解析技術を用いて、肌の状態や見え方等を客観的に分析する手法が提案されている。

下記特許文献１では、ウェーブレット変換を用いた多重解像度解析により得られる画像データに基づいて、物理的な光沢度と肌表面の見かけの粗さを取得し、これら情報から肌のつや状態を分析する手法が提案されている。下記特許文献２及び３では、主成分分析を用いて、顔の輪郭等の顔の基本設計を変えずに、立体感や見た目年齢が異なる顔画像を合成する手法が提案されている。下記非特許文献１では、年代毎に作成された５つの標準顔を用いた見た目年齢の官能評価について記載されている。また、この標準顔は、多数の実画像を統計的にデータ処理することにより、平均的なシミ・しわを抽出し、これを平均顔に加え、更に、キメの粗さを年相当に変化させることで完成されることが記載されている。

特開２００４−１６６８０１号公報 特開２００８−２７６４０５号公報 特開２００９−２９４９５８号公報

「マンダム、"見た目の印象"についての研究〜"標準顔"の作成と応用〜」、株式会社マンダム、２００９年（平成２１年）８月１８日

しかしながら、現状、化粧に関する客観的評価手法はなく、化粧のうまさ、化粧状態等を評価する場合、主観評価に頼らざるを得ない。一方、様々な種類の化粧品やメイク方法が提供されている。よって、化粧品を正しく利用できているのか、メイク方法を正しく行なえているのか等を各個人が把握するためにも、化粧効果を客観的に評価するための手法は強く望まれている。

本発明は、このような課題に鑑みてなされたものであり、化粧顔画像に基づいて化粧顔を定量評価する技術を提供する。

本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第１の態様は化粧顔画像評価装置に関する。第１態様に係る化粧顔画像評価装置は、形状が規格化された、複数組のサンプル素顔画像及びサンプル化粧顔画像をそれぞれ独立成分分析することにより、各サンプル素顔画像及び各サンプル化粧顔画像について、複数の基底ベクトルの係数をそれぞれ算出する独立成分分析手段と、各基底ベクトルにおける、サンプル素顔画像間の係数のばらつき度合い及びサンプル化粧顔画像間の係数のばらつき度合いに基づいて、複数の基底ベクトルの中の一部を複数の評価用基底ベクトルとして選択する選択手段と、評価対象の化粧顔画像から得られる評価画像ベクトル及び目標となる化粧顔画像から得られる目標画像ベクトルと選択手段により選択される各評価用基底ベクトルとの内積から当該評価対象の化粧顔画像の評価情報を取得する評価情報算出手段とを備える。

第２の態様は化粧顔画像評価方法に関する。第２態様に係る化粧顔画像評価方法は、形状が規格化された、複数組のサンプル素顔画像及びサンプル化粧顔画像をそれぞれ独立成分分析することにより、各サンプル素顔画像及び各サンプル化粧顔画像について、複数の基底ベクトルの係数をそれぞれ算出し、各基底ベクトルにおける、サンプル素顔画像間の係数のばらつき度合い及びサンプル化粧顔画像間の係数のばらつき度合いに基づいて、複数の基底ベクトルの中の一部を複数の評価用基底ベクトルとして選択し、評価対象の化粧顔画像から得られる評価画像ベクトル及び目標となる化粧顔画像から得られる目標画像ベクトルと各評価用基底ベクトルとの内積から当該評価対象の化粧顔画像の評価情報を取得することを含む。

本発明の別態様としては、上記第１態様の各構成をコンピュータに実現させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

上記各態様によれば、化粧顔画像に基づいて化粧顔を定量評価する技術を提供することができる。

ＰＣＡで抽出された顔の固有成分（基底）を示す図である。 ＩＣＡで抽出された顔の独立成分（基底）を示す図である。 ＩＣＡ基底の操作に基づく顔画像の変化を示す図である。 素顔画像と化粧顔画像との比較例を示す図である。 第１実施形態における化粧顔画像評価装置のハードウェア構成例を概念的に示す図である。 第１実施形態における化粧顔画像評価装置の処理構成例を概念的に示す図である。 各基底におけるサンプル素顔画像間の係数分散とサンプル化粧顔画像間の係数分散との差の例を示すグラフである。 評価用基底ベクトルに対応する基底画像の例を示す図である。 第１実施形態における化粧顔画像評価装置の学習処理系の動作例を示すフローチャートである。 第１実施形態における化粧顔画像評価装置の評価処理系の動作例を示すフローチャートである。 各実施例で用いられた１０人分の評価対象化粧顔画像とその素顔画像を示す図である。 各実施例で用いられた目標化粧顔画像を示す図である。 各実施例において得られた評価情報（関数値）を示す図である。 アンケート調査の結果を示す図である。 アンケート調査結果と各実施例において得られた評価情報（関数値）との比較結果を示す図である。

以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

本実施形態に係る化粧顔画像評価装置は、形状が規格化された、複数組のサンプル素顔画像及びサンプル化粧顔画像をそれぞれ独立成分分析することにより、各サンプル素顔画像及び各サンプル化粧顔画像について、複数の基底ベクトルの係数をそれぞれ算出する独立成分分析部と、各基底ベクトルにおける、サンプル素顔画像間の係数のばらつき度合い及びサンプル化粧顔画像間の係数のばらつき度合いに基づいて、複数の基底ベクトルの中の一部を複数の評価用基底ベクトルとして選択する選択部と、評価対象の化粧顔画像から得られる評価画像ベクトル及び目標となる化粧顔画像から得られる目標画像ベクトルと選択部により選択される各評価用基底ベクトルとの内積から当該評価対象の化粧顔画像の評価情報を取得する評価情報算出部とを備える。

ここで、素顔とは、化粧顔に用いられている化粧料の少なくとも一部が塗布されていない状態の未化粧顔を意味するものであり、一切の化粧料が塗布されていない素肌状態に限定されるものではない。また、化粧顔とは、何らかの化粧料が施された顔を意味する。目標化粧顔とは、或る目的を実現する為に何らかの化粧料が施された目当てとなる化粧顔を意味する。例えば、目標化粧顔は、プロのメイクアップアーティストによって化粧が施された理想的な化粧顔、或る印象（ゴージャスな印象、女性らしい印象など）を実現する為に化粧が施された化粧顔、並びに、実現したい希望の化粧が施された化粧顔などである。目標化粧顔は、評価対象の化粧顔と比較し、対比可能であれば、どのようなものでも良い。また、顔画像は、ユーザの顔の画像でも、著名人を含む当該ユーザからみた他人の顔の画像でもよい。

また、形状が規格化された、サンプル素顔画像及びサンプル化粧顔画像とは、各サンプル画像に正規化などの規格化処理をそれぞれ施すことにより、各サンプル提供者の顔の形状的な特徴（毛髪の生えぎわ、頬または顎などの輪郭、眉、目、鼻など）が捨象された顔画像を意味する。言い換えれば、形状が規格化された、各サンプル素顔画像及び各サンプル化粧顔画像は、予め定められた平均的な顔形状と、各サンプル提供者に固有のテクスチャとを含む。当該規格化処理には、Piece-wise Affineを用いたワーピング処理、モーフィング処理等が用いられる。このような規格化処理は、周知な技術が利用されればよいため、ここでは説明を省略する。

当該化粧顔画像評価装置では、独立成分分析（Independent Component Analysis（ＩＣＡ））により、形状が規格化された、サンプル素顔画像及びサンプル化粧顔画像の各々について、複数の基底ベクトルの係数がそれぞれ算出される。独立成分分析（ＩＣＡ）は、形状が規格化された複数のサンプル画像（素顔画像及び化粧顔画像）に共通な複数の基底ベクトル（基底関数）の線形和に分解する手法である。独立成分分析のアルゴリズムについては、下記参考文献１に記載されているため、ここでは説明を省略する。
参考文献１：Bell, A. J. and Sejnowski, T. J., "An information-maximization approach to blind separation and blind deconvolution", Neural Computation 7, 1129-1159 (1995).

このような独立成分分析にあたり、形状が規格化された顔画像が利用されているため、得られた各基底ベクトルからは、顔の輪郭等のような顔の形状的な特徴が捨象されている。そして、独立成分分析によれば、顔を形成している局所的なテクスチャ情報が各基底ベクトルとしてそれぞれ抽出される。このような独立成分分析（ＩＣＡ）の特性について、主成分分析（Principal Component Analysis（ＰＣＡ））と比較しながら以下に説明する。

ＰＣＡは分散の大きい固有成分（基底）を求め、ＩＣＡは独立成分（基底）を求めている。また、ＰＣＡで求められた基底は空間的な大域性を持ち、ＩＣＡで求められた基底は空間的な局所性及び方向性を持つ。

図１Ａは、ＰＣＡで抽出された顔の固有成分（基底）を示し、図１Ｂは、ＩＣＡで抽出された顔の独立成分（基底）を示す。以降、ＩＣＡで抽出された成分をＩＣＡ成分又はＩＣＡ基底と表記し、ＰＣＡで抽出された成分をＰＣＡ成分又はＰＣＡ基底と表記する場合もある。図１Ａ及び図１Ｂによれば、各ＩＣＡ基底は、各ＰＣＡ基底に比べ、互いに独立しているため、それぞれ異なる形で視認される。更に、各ＩＣＡ基底は、鼻や頬や額などの顔の局所的な部分に反応している。

このように、顔画像をＩＣＡを用いて解析すると、得られた各成分が何に反応しているのか、何が目立っているのか等、視覚的に認識可能となる。即ち、各ＩＣＡ基底は、人間の視覚で把握される顔の各テクスチャを表し、顔の局所部分のテクスチャ情報をそれぞれ持つと考えられる。この考え方に基づけば、特定のＩＣＡ基底を操作することによって、顔のテクスチャを変えることができると考えられる。

図２は、ＩＣＡ基底の操作に基づく顔画像の変化を示す図である。Ｐ１は、右目下にシミのある人の顔画像を示す。Ｐ２は、８８個のＩＣＡ基底の中の１つのＩＣＡ基底（３０番目）を示す。このＩＣＡ基底は右目下のシミを表す成分に対応する。Ｐ３は、ＩＣＡ基底を操作することなく全てのＩＣＡ基底を含めて再構成して得られた顔画像を示す。Ｐ４は、Ｐ２のＩＣＡ基底を除いて再構成することにより得られた顔画像を示す。Ｐ４によれば、元の顔画像Ｐ１に比べ、右目下のシミが消えていることが分かる。

このことからも、ＩＣＡで抽出された各成分（基底）は顔のテクスチャ情報を持っており、各成分の大きさ（各基底ベクトルの係数）を用いれば顔のテクスチャ又は化粧効果を定量化できることが証明される。なお、図２のＰ３及びＰ４におけるＩＣＡ基底の再構成は、例えば、以下の参考文献２に記載されるアルゴリズムにより実現される。
参考文献２：陳 延偉、「独立成分分析法（ＩＣＡ）のパターン認識・画像処理への応用とＭＡＴＬＡＢシミュレーション」、（株）トリケップス、２００７年１０月３１日

本実施形態では、このような各基底ベクトルにおける、サンプル素顔画像間の係数のばらつき度合い及びサンプル化粧顔画像間の係数のばらつき度合いに基づいて、複数の基底ベクトルの中から、評価のために利用される複数の評価用基底ベクトルが選択される。

図３は、素顔画像と化粧顔画像との比較例を示す図である。図３によれば、化粧顔画像は、素顔画像に比べ、化粧によってシミ、シワ、てかり等が抑えられ全体的に肌が均一に視認される。即ち、素顔の場合、人によってテクスチャが大きく異なるので、各独立成分（基底）の大きさを示す係数も顔画像毎に大きく異なる。一方、化粧顔の場合、全体的に肌が均一になり、テクスチャの違いが小さくなるので、人による各独立成分（基底）の係数の差も小さくなる。言い換えれば、素顔画像間では、各基底ベクトルの係数のばらつき度合いが大きく、化粧顔画像間では、各基底ベクトルの係数のばらつき度合いが小さくなる。従って、素顔画像間の係数のばらつき度合いと化粧顔画像間の係数のばらつき度合いとの差が大きい基底ベクトルは化粧効果の大きい成分と考えることができる。

本実施形態では、上述のように、係数のばらつき度合いに基づいて、評価のために利用される複数の評価用基底ベクトルが選択される。これにより、本実施形態によれば、化粧効果の大きいテクスチャを表す基底ベクトルを評価用基底ベクトルとして選択することができる。

そして、本実施形態では、評価対象の化粧顔画像から得られる評価画像ベクトル及び目標となる化粧顔画像から得られる目標画像ベクトルと選択部により選択される各評価用基底ベクトルとの内積から当該評価対象の化粧顔画像の評価情報が取得される。評価画像ベクトルと各評価基底ベクトルとの内積によれば、評価画像ベクトルが持つ各評価用基底ベクトルの係数が算出され、目標画像ベクトルと各評価基底ベクトルとの内積によれば、目標画像ベクトルが持つ各評価用基底ベクトルの係数が算出される。

上述したように、各評価用基底ベクトルは化粧効果の大きいテクスチャを表すため、評価情報として、例えば、上述の各係数が用いられれば、化粧効果を表すテクスチャに対する評価対象の化粧顔画像及び目標となる化粧顔画像の指標値（特徴量）を得ることができる。例えば、各評価用基底ベクトルに関し双方の係数がそれぞれ近似する場合には、評価対象の化粧顔画像は、目標化粧顔画像に近いと考えることができる。目標化粧顔画像に近いということは、評価対象の化粧顔画像は、目標通りに化粧ができていると考えることができる。

更に、上記内積から得られる各係数の距離が算出されてもよい。このように、本実施形態によれば、各化粧顔画像についての指標値を得ることができ、化粧顔画像に基づいて化粧顔を定量評価することができる。

以下、上述の実施形態について更に詳細を説明する。

〔装置構成〕
図４は、第１実施形態における化粧顔画像評価装置１のハードウェア構成例を概念的に示す図である。第１実施形態における化粧顔画像評価装置１は、いわゆるコンピュータであり、例えば、バス５で相互に接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、入出力インタフェース（Ｉ／Ｆ）４等を有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体等である。入出力Ｉ／Ｆ４は、表示装置や入力装置等のようなユーザインタフェース装置と接続される。入出力Ｉ／Ｆ４は、ネットワーク（図示せず）を介して他のコンピュータと通信を行う通信装置等と接続されてもよい。なお、化粧顔画像評価装置１のハードウェア構成は限定されない。

図５は、第１実施形態における化粧顔画像評価装置１の処理構成例を概念的に示す図である。第１実施形態における化粧顔画像評価装置１は、学習処理系１０と評価処理系２０とを有する。学習処理系１０は、複数組のサンプル素顔画像及びサンプル化粧顔画像を用いて学習することにより、化粧効果を表す上述の複数の評価用基底ベクトルを特定する。評価処理系２０は、学習処理系１０により得られた複数の評価用基底ベクトルを用いて、目標化粧顔画像を基準とした評価対象の化粧顔画像の評価情報を算出する。

学習処理系１０は、サンプル画像取得部１１、規格化部１３、ベクトル化部１４、独立成分分析部１５、分散算出部１７及び選択部１９を含む。評価処理系２０は、対象画像取得部２１、規格化部２２、ベクトル化部２３、評価情報算出部２５及び評価情報出力部２７を含む。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ４を介してインストールされ、メモリ３に格納されてもよい。

《学習処理系１０》
サンプル画像取得部１１は、複数組のサンプル素顔画像及びサンプル化粧顔画像の画像データを取得する。各画像データは、可搬型記録媒体、他のコンピュータ等から入出力Ｉ／Ｆ４を経由して取得される。複数組のサンプル素顔画像及びサンプル化粧顔画像は、各サンプル提供者の素顔画像及び化粧顔画像である。以下、区別する必要がある場合を除き、サンプル素顔画像及びサンプル化粧顔画像を単にサンプル画像と総称する場合もある。

素顔画像には、一切の化粧料が塗布されていない素肌の画像が用いられることが望ましいが、下地化粧料のみを塗布した顔の画像が用いられてもよい。化粧顔画像には、各サンプル提供者の好みのメイク方法及び化粧料が施された各サンプル提供者の顔の画像が用いられてもよいし、所定のメイク方法及び化粧料が施された各サンプル提供者の顔の画像が用いられてもよい。また、サンプル素顔画像及びサンプル化粧顔画像の組の数は、限定されないが、多い程、評価精度は高まる。

規格化部１３は、サンプル画像取得部１１により取得された各サンプル画像に正規化などの規格化処理をそれぞれ施すことにより、形状が規格化された、各サンプル素顔画像及び各サンプル化粧顔画像を取得する。規格化処理については上述のとおりである。

ベクトル化部１４は、規格化部１３により形状が規格化された各サンプル画像をそれぞれベクトル化する。ベクトル化部１４は、このベクトル化により、各サンプル画像に対するサンプル画像ベクトルをそれぞれ生成する。ベクトル化には、例えば、ラスタースキャンが利用される。

独立成分分析部１５は、ベクトル化部１４により生成される、各サンプル画像ベクトルをそれぞれ独立成分分析する。独立成分分析部１５は、この独立成分分析により、各サンプル画像をそれらサンプル画像に共通の複数の基底ベクトルの線形和にそれぞれ分解する。結果、独立成分分析部１５は、サンプル画像に共通の複数の基底ベクトルと、各サンプル素顔画像及び各サンプル化粧顔画像に関する当該複数の基底ベクトルの係数とを算出する。

分散算出部１７は、独立成分分析部１５により算出された各基底ベクトルについて、サンプル素顔画像間の係数の分散及びサンプル化粧顔画像間の係数の分散をそれぞれ算出する。このように、第１実施形態では、係数のばらつき度合いを示す指標として分散が用いられる。

選択部１９は、各基底ベクトルにおけるサンプル素顔画像間の係数の分散とサンプル化粧顔画像間の係数の分散との差に基づいて、独立成分分析部１５により算出された複数の基底ベクトルの中の一部を複数の評価用基底ベクトルとして選択する。

図６は、各基底におけるサンプル素顔画像間の係数分散とサンプル化粧顔画像間の係数分散との差の例を示すグラフである。図６では、横軸に各基底が示され、縦軸に分散差が示される。選択部１９は、例えば、図６に示される８０個の基底ベクトルの中から、分散差が大きいものから順に１２個の基底ベクトルを選択する。なお、図６の例において、分散差が負の値を示す基底が存在するが、化粧顔画像の分散が素顔画像の分散よりも大きいことは実際の化粧においては起こりにくい現象である。

図７は、評価用基底ベクトルに対応する基底画像の例を示す図である。図７には、図６の分散差に基づいて、分散差が大きいものから順に選択された１２個の基底画像が示されている。各基底画像の上に付された数字は、その基底ベクトルの番号を示す。左端の基底画像が最も分散差の大きい基底画像であり、化粧効果が大きい成分を示す。

図７の例では、１２個の評価用基底ベクトルが選択された場合が例示されているが、本実施形態では、選択される評価用基底ベクトルの数は限定されない。選択部１９は、評価用基底ベクトルの数として所定数を保持してもよいし、所定閾値を保持し、分散差が所定閾値より大きい基底ベクトルを評価用基底ベクトルとして選択するようにしてもよい。但し、評価用基底ベクトルの数が少な過ぎる場合には、得られる評価情報の精度が低下し、全ての基底ベクトルを評価用基底ベクトルとした場合には、評価情報の算出速度が低下する可能性がある。よって、評価用基底ベクトルの数は、評価情報の精度を維持し、実用的な算出速度を得られるような数に設定されることが好ましい。例えば、５個以上２０個以下の評価用基底ベクトルが用いられることがより好ましい。

《評価処理系２０》
対象画像取得部２１は、評価対象の化粧顔画像及び目標化粧顔画像の各画像データを取得する。各画像データは、可搬型記録媒体、他のコンピュータ等から入出力Ｉ／Ｆ４を経由して取得されてもよいし、入出力Ｉ／Ｆ４に接続される撮像部（図示せず）から取得されてもよい。

規格化部２２は、対象画像取得部２１により取得された各画像データに正規化などの規格化処理をそれぞれ施すことにより、形状が規格化された評価対象の化粧顔画像、及び、形状が規格化された目標化粧顔画像を取得する。規格化処理については上述のとおりである。なお、対象画像取得部２１は、既に形状が規格化された各画像データを取得するようにしてもよい。このように規格化された顔画像を用いることにより、評価対象の化粧顔画像と目標化粧顔画像の各顔画像が同一人のものでも異なる人のものであっても、いずれの場合も比較評価することが可能となる。

ベクトル化部２３は、規格化部２２により形状が規格化された各画像データをそれぞれベクトル化することにより、評価対象の化粧顔画像に対応する評価画像ベクトル及び目標化粧顔画像に対応する目標画像ベクトルを生成する。ベクトル化には、例えば、ラスタースキャンが利用される。

評価情報算出部２５は、選択部１９により選択された評価用基底ベクトル、評価画像ベクトル及び目標画像ベクトルを評価関数Ｄ（ｘ）（下記（式１）参照）に適用することにより、各評価用基底ベクトルにおける評価画像ベクトルの係数及び目標画像ベクトルの係数との間の距離を評価対象化粧顔画像の評価情報として算出する。下記（式１）において、ｘは評価画像ベクトルを示し、ｘ_０は目標画像ベクトルを示し、ｕ_ｉはｉ個目の評価用基底ベクトルを示し、ｋは評価用基底ベクトルの数を示し、Ｔは転置を示す。

上記（式１）において、ｕ_ｉとｘ_０との内積により、評価用基底ベクトルｕ_ｉにおける目標画像ベクトルに関する係数が得られ、ｕ_ｉとｘとの内積により、評価用基底ベクトルｕ_ｉにおける評価画像ベクトルに関する係数が得られる。即ち、上記（式１）は、各評価用基底ベクトルにおける評価画像ベクトルの係数及び目標画像ベクトルの係数との間の距離を表す式である。言い換えれば、上記（式１）によれば、選択部１９により選択された評価用基底ベクトルで構成される化粧効果を表す部分空間に、評価画像ベクトル及び目標画像ベクトルを射影した場合における射影間のユークリッド距離が算出される。

評価情報出力部２７は、評価情報算出部２５により算出された距離（評価情報）に基づいて評価対象化粧顔画像の目標化粧顔画像への近さを判定し、この判定結果及び上記評価情報の少なくとも一方を含む結果情報を所定の形態で出力する。評価情報算出部２５により算出される距離Ｄは、化粧効果の大きいテクスチャ成分における評価対象化粧顔画像の目標化粧顔画像への近さを表す。即ち、距離Ｄが小さい程、目標化粧顔に近付くように化粧ができていると判定することができ、逆に、距離Ｄが大きい程、目標化粧顔とは異なるように化粧が施されていると判定することができる。

具体的には、評価情報出力部２７は、距離の範囲と、評価対象化粧顔画像の目標化粧顔画像への近さを示す判定データとの対応表を予め保持し、評価情報算出部２５により算出された距離に対応する判定データをこの対応表から抽出し、抽出された判定データを当該結果情報に含める。この場合、対応表には、例えば、距離範囲（２．０未満）と判定データ（Ａ；上手）とが関連付けられ、距離範囲（２．０〜２．５）と判定データ（Ｂ；普通）とが関連付けられ、距離範囲（２．０〜３．０）と判定データ（Ｂ；普通）とが関連付けられ、距離範囲（３．０以上）と判定データ（Ｃ；下手）とが関連付けられる。

出力形態としては、当該情報をテキストデータとして含むファイルが生成される形態であってもよいし、当該情報を表示装置に表示させるための表示データが生成される形態であってもよいし、当該情報を印刷装置に印刷させるための印刷データが生成される形態であってもよい。本実施形態は、このような判定結果を示す情報の出力形態を限定しない。

〔動作例〕
以下、化粧顔画像評価装置１を単に評価装置１と表記し、評価装置１の動作例について図８及び図９を用いて説明する。図８は、第１実施形態における化粧顔画像評価装置１の学習処理系１０の動作例を示すフローチャートである。

評価装置１は、複数組のサンプル素顔画像及びサンプル化粧顔画像の画像データを取得する（Ｓ８１）。

続いて、評価装置１は、各サンプル画像に規格化処理を施す（Ｓ８２）。これにより、評価装置１は、顔の形状的な特徴が捨象された規格化画像（形状が規格化された、各サンプル素顔画像及び各サンプル化粧顔画像）を取得する。

評価装置１は、形状が規格化された各サンプル画像をそれぞれベクトル化する（Ｓ８３）。これにより、評価装置１は、各サンプル素顔画像及び各サンプル化粧顔画像に対応する各サンプル画像ベクトルをそれぞれ生成する。

続いて、評価装置１は、各サンプル画像ベクトルをそれぞれ独立成分分析する（Ｓ８４）。これにより、評価装置１は、各サンプル画像に関する当該複数の基底ベクトルの係数をそれぞれ算出する。各サンプル画像に共通な各基底ベクトルは、独立の顔テクスチャをそれぞれ表す。

評価装置１は、独立成分分析により算出された各基底ベクトルについて、サンプル素顔画像間の係数の分散及びサンプル化粧顔画像間の係数の分散をそれぞれ算出する（Ｓ８５）。

評価装置１は、各基底ベクトルにおけるサンプル素顔画像間の係数の分散とサンプル化粧顔画像間の係数の分散との差に基づいて、独立成分分析により算出された複数の基底ベクトルの中の一部を複数の評価用基底ベクトルとして選択する（Ｓ８６）。

図９は、第１実施形態における化粧顔画像評価装置１の評価処理系２０の動作例を示すフローチャートである。

評価装置１は、評価対象の化粧顔画像及び目標化粧顔画像の各画像データを取得する（Ｓ９１）。

評価装置１は、取得された各画像データに対して規格化処理を施す（Ｓ９２）。これにより、評価装置１は、形状が規格化された、評価対象の化粧顔画像及び目標化粧顔画像を取得する。

続いて、評価装置１は、形状が規格化された、評価対象化粧顔画像及び目標化粧顔画像をベクトル化する（Ｓ９３）。これにより、評価装置１は、評価対象の化粧顔画像に対応する評価画像ベクトル及び目標化粧顔画像に対応する目標画像ベクトルを生成する。

評価装置１は、評価用基底ベクトル（図８の例の処理（Ｓ８６）で選択）、評価画像ベクトル及び目標画像ベクトルを評価関数Ｄ（ｘ）（上記（式１）参照）に適用することにより、評価対象化粧顔画像の評価情報を算出する（Ｓ９４）。評価関数Ｄ（ｘ）により、各評価用基底ベクトルにおける評価画像ベクトルの係数及び目標画像ベクトルの係数との間の距離が算出される。

評価装置１は、算出された評価情報を用いて、評価対象化粧顔画像の目標化粧顔画像への近さを判定する（Ｓ９５）。この判定結果は、判定内容を特定し得る記号（Ａ、Ｂ等）であってもよいし、判定内容を意味するテキストであってもよい。

評価装置１は、上記（Ｓ９５）の判定結果及び上記（Ｓ９４）の評価情報の少なくとも一方を含む結果情報を所定の形態で出力する（Ｓ９６）。

このような評価処理系２０の動作は、学習処理系１０における評価用基底ベクトルの選択（図８のＳ８６）後、開始されてもよいし、学習処理系１０の動作に依存せずに実行されてもよい。また、処理（Ｓ９４）において評価用基底ベクトルが利用されるため、処理（Ｓ９４）の実行前に、学習処理系１０における評価用基底ベクトルの選択（図８のＳ８６）が完了するように、学習処理系１０及び評価処理系２０の動作が制御されてもよい。また、図８に示される学習処理系１０の動作は、サンプル素顔画像とサンプル化粧顔画像との組が取得される度に実行されてもよいし、評価用基底ベクトルの選択（Ｓ８６）後、新たな少なくとも１組のサンプル素顔画像及びサンプル化粧顔画像が取得されている場合に、任意のタイミングで実行されてもよい。

〔第１実施形態の作用及び効果〕
上述したように、第１実施形態では、独立成分分析（ＩＣＡ）により、形状が規格化された、サンプル素顔画像及びサンプル化粧顔画像の各々について、複数の基底ベクトルの係数がそれぞれ算出される。その上で、サンプル素顔画像間の係数の分散及びサンプル化粧顔画像間の係数の分散が、基底ベクトル毎にそれぞれ算出され、係数の分散差の大きい基底ベクトルが評価用基底ベクトルとして選択される。

第１実施形態で取得される複数の基底ベクトルは、顔を形成している局所的なテクスチャ情報をそれぞれ表し、その中から選択された各評価用基底ベクトルは、係数の分散差が大きいため、局所的なテクスチャの中でも化粧効果の大きいテクスチャを表す。このように、第１実施形態によれば、独立成分分析（ＩＣＡ）を用いることによって、顔のテクスチャを表す成分を抽出し、かつ、化粧効果の大きい成分を特定することができる。そして、評価対象化粧顔画像の評価情報を算出するにあたり、化粧効果の大きい成分のみを用いることができる。

つまり、第１実施形態では、評価対象化粧顔画像に対応する評価画像ベクトルが持つ各評価用基底ベクトルの係数と目標化粧顔画像に対応する目標画像ベクトルが持つ各評価用基底ベクトルの係数との間の距離が、評価対象化粧顔画像の評価情報として評価関数Ｄ（ｘ）により算出される。最終的に、この距離を用いて、評価対象化粧顔画像の目標化粧顔画像への近さが判定され、この判定結果及び当該距離の少なくとも一方を含む結果情報が出力される。

このように、第１実施形態によれば、化粧効果の大きいテクスチャにおける、評価対象化粧顔画像及び目標化粧顔画像の特徴量の差を当該係数間距離として算出することができるため、これを使って評価対象化粧顔画像の目標化粧顔画像への近さといった化粧顔の定量評価を実現することができる。

［変形例］
上述の第１実施形態における化粧顔画像評価装置１は、サンプル画像取得部１１、規格化部１３、ベクトル化部１４及び独立成分分析部１５を持たず、ネットワークや可搬型記録媒体を経由して、外部から、サンプル画像に共通の複数の基底ベクトルと、各サンプル素顔画像及び各サンプル化粧顔画像に関する当該複数の基底ベクトルの係数とを取得するようにしてもよい。この場合、図８に示される学習処理系１０の動作は、（Ｓ８１）、（Ｓ８２）、（Ｓ８３）及び（Ｓ８４）の代わりに、複数の基底ベクトル及び当該係数を取得する処理を実行すればよい。

同様に、化粧顔画像評価装置１は、対象画像取得部２１、規格化部２２及びベクトル化部２３を持たず、ネットワークや可搬型記録媒体を経由して、外部から、評価対象化粧顔画像に対応する評価画像ベクトル及び目標化粧顔画像に対応する目標画像ベクトルを取得するようにしてもよい。この場合、図９に示される評価処理系２０の動作は、（Ｓ９１）、（Ｓ９２）及び（Ｓ９３）の代わりに、評価画像ベクトル及び目標画像ベクトルを取得する処理を実行すればよい。

以下に実施例を挙げ、上述の実施形態を更に詳細に説明する。本発明は以下の実施例から何ら限定を受けない。以下の各実施例によれば、上述の実施形態において得られる評価情報（評価関数Ｄ（ｘ）で得られる値）の有効性が、アンケート調査の結果と比較されることにより、検証された。

図１０は、各実施例で用いられた１０人分の評価対象化粧顔画像とその素顔画像を示す図である。図１１は、各実施例で用いられた目標化粧顔画像を示す図である。図１０及び図１１に示される画像は、顔正面から＋１５度及び−１５度の各方向からハロゲンライトで照明した顔を、顔正面方向からデジタルカメラ（ニコンＤ７０）で撮影することにより得られた画像である。また、図１１の目標化粧顔画像として、プロのメイクアップアーティストによって化粧が施された化粧顔画像が用いられる。なお、評価対象化粧顔画像及び目標化粧顔画像は、上述のような撮影方法により取得されたものに制限されない。例えば、評価対象化粧顔画像として、複数の多視点・多照明化粧顔画像を格納するデータベースからランダムに抽出された画像が用いられてもよい。

実施例１は、８個（ｋ＝８）の評価用基底ベクトルが選択される例を示し、実施例２は、１０個（ｋ＝１０）の評価用基底ベクトルが選択される例を示し、実施例３は、１２個（ｋ＝１２）の評価用基底ベクトルが選択される例を示す。なお、各実施例では、４１名の素顔及び化粧顔の画像（合計８２枚の画像）が、サンプル素顔画像及びサンプル化粧顔画像として、用いられた。

図１２は、各実施例において得られた評価情報（関数値）を示す図である。図１２によれば、２位、３位及び４位が各実施例で異なっているものの、各実施例において評価結果に大きな差異が生じていないことが分かる。

一方、アンケート調査は次のように行われた。
（調査対象）２０代から３０代の男女１５名（男性１０名、女性５名）
（調査方法）図１０に示されるように素顔画像と化粧顔画像とが並べられた状態で印刷された１０枚の紙（ＡからＪ）を、各調査者に見せ、評価の順位に沿って紙を並べ替えさせる。
（評価基準）化粧前後でシミ、シワ、てかりが軽減されて、肌がきれいになったと感じる人物を高順位にする。

図１３は、アンケート調査の結果を示す図である。図１３の表では、ＡからＪについて、各順位に選んだ調査者の人数がそれぞれ示されている。アンケート調査により得られた最終的な順位は、図１３の最下行に示されている。なお、７位については、ＥとＦとが同数（４）であるが、Ｆは８位で確定されるため、Ｅが７位に決定されている。

図１４は、アンケート調査結果と各実施例において得られた評価情報（関数値）との比較結果を示す図である。図１４によれば、若干の差異はあるが、各実施例において得られた評価情報とアンケート調査結果とには相関があることが証明される。特に、実施例１（ｋ＝８）で得られた評価情報とアンケート調査結果とは高い相関を示す。

このような比較結果により、各実施例において得られた評価情報、即ち、評価関数Ｄ（ｘ）により得られる値は、人間の感性による評価と相関があることが証明され、結果として、上述の実施形態によれば、化粧顔画像を定量評価できることが証明された。

１ 化粧顔画像評価装置（評価装置）
２ ＣＰＵ
３ メモリ
４ 入出力Ｉ／Ｆ
１０ 学習処理系
１１ サンプル画像取得部
１３、２２ 規格化部
１４、２３ ベクトル化部
１５ 独立成分分析部
１７ 分散算出部
１９ 選択部
２０ 評価処理系
２１ 対象画像取得部
２５ 評価情報算出部
２７ 評価情報出力部

Claims (7)

1. 形状が規格化された、複数組のサンプル素顔画像及びサンプル化粧顔画像をそれぞれ独立成分分析することにより、各サンプル素顔画像及び各サンプル化粧顔画像について、複数の基底ベクトルの係数をそれぞれ算出する独立成分分析手段と、
   前記各基底ベクトルにおける、前記サンプル素顔画像間の係数のばらつき度合い及び前記サンプル化粧顔画像間の係数のばらつき度合いに基づいて、前記複数の基底ベクトルの中の一部を複数の評価用基底ベクトルとして選択する選択手段と、
   評価対象の化粧顔画像から得られる評価画像ベクトル及び目標となる化粧顔画像から得られる目標画像ベクトルと前記選択手段により選択される前記各評価用基底ベクトルとの内積から該評価対象の化粧顔画像の評価情報を取得する評価情報算出手段と、
   を備える化粧顔画像評価装置。
2. 前記評価情報算出手段は、前記内積により得られる前記評価画像ベクトル及び前記目標画像ベクトルの係数間距離を前記評価情報として算出する、
   請求項１に記載の化粧顔画像評価装置。
3. 前記各基底ベクトルについて、前記サンプル素顔画像間の係数の分散及び前記サンプル化粧顔画像間の係数の分散をそれぞれ算出する分散算出手段
   を更に備え、
   前記選択手段は、前記サンプル素顔画像間の係数の分散と前記サンプル化粧顔画像間の係数の分散との差に基づいて、前記複数の評価用基底ベクトルを選択する、
   請求項１又は２に記載の化粧顔画像評価装置。
4. 前記評価情報算出手段は、下記評価関数Ｄ（ｘ）を用いて前記評価情報を算出する請求項１から３のいずれか１項に記載の化粧顔画像評価装置。
   ｘは前記評価画像ベクトルを示し、ｘ_０は前記目標画像ベクトルを示し、ｕ_ｉは前記評価用基底ベクトルを示し、ｋは前記評価用基底ベクトルの数を示し、Ｔは転置を示す。
5. 前記評価情報算出手段により算出された前記評価情報に基づいて前記評価対象の化粧顔画像の前記目標となる化粧顔画像への近さを判定し、該判定結果及び前記評価情報の少なくとも一方を含む結果情報を所定の形態で出力する出力手段
   を更に備える請求項１から４のいずれか１項に記載の化粧顔画像評価装置。
6. 形状が規格化された、複数組のサンプル素顔画像及びサンプル化粧顔画像をそれぞれ独立成分分析することにより、各サンプル素顔画像及び各サンプル化粧顔画像について、複数の基底ベクトルの係数をそれぞれ算出し、
   前記各基底ベクトルにおける、前記サンプル素顔画像間の係数のばらつき度合い及び前記サンプル化粧顔画像間の係数のばらつき度合いに基づいて、前記複数の基底ベクトルの中の一部を複数の評価用基底ベクトルとして選択し、
   評価対象の化粧顔画像から得られる評価画像ベクトル及び目標となる化粧顔画像から得られる目標画像ベクトルと前記各評価用基底ベクトルとの内積から該評価対象の化粧顔画像の評価情報を取得する、
   ことを含む化粧顔画像評価方法。
7. 形状が規格化された、複数組のサンプル素顔画像及びサンプル化粧顔画像をそれぞれ独立成分分析することにより、各サンプル素顔画像及び各サンプル化粧顔画像について、複数の基底ベクトルの係数をそれぞれ算出する独立成分分析手段と、
   前記各基底ベクトルにおける、前記サンプル素顔画像間の係数のばらつき度合い及び前記サンプル化粧顔画像間の係数のばらつき度合いに基づいて、前記複数の基底ベクトルの中の一部を複数の評価用基底ベクトルとして選択する選択手段と、
   評価対象の化粧顔画像から得られる評価画像ベクトル及び目標となる化粧顔画像から得られる目標画像ベクトルと前記選択手段により選択される前記各評価用基底ベクトルとの内積から該評価対象の化粧顔画像の評価情報を取得する評価情報算出手段と、
   をコンピュータに実現させるプログラム。