JP2008276405A - 顔画像の合成方法及び合成装置 - Google Patents

Abstract

【課題】顔の輪郭や、目、鼻、口の位置等の顔の基本設計は共通だが、立体感又は明るさが種々異なる顔画像を合成する。
【解決手段】所定形状の顔型の顔画像において立体感が異なる合成顔画像を作成する方法であって、複数人の顔画像（元画像）から、その形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した規格化元画像を作成し、その規格化顔画像の色について主成分分析を行い、主成分分析により得られる固有ベクトル（パラメータ）中、顔の立体感に寄与するパラメータを特定する。一方、前記複数人の規格化顔画像の色を平均化した色平均顔を算出し、顔の立体感に寄与するパラメータの重み係数を色平均顔で変化させることにより立体感が異なる合成顔画像を作成する。
【選択図】図１Ａ

Description

本発明は、化粧の評価に好適な顔画像の合成方法及び合成装置に関する。

画像上で化粧のシミュレーションを行い、化粧方法や化粧品の選択のアドバイスを行う方法が開発されている（特許文献１）。この場合、シミュレーションの元画像には、モデルや顧客といった実在の人物の顔画像が使用されている。

一方、化粧品の効果としては、肌の色や立体感等の演出がある。この演出には、顧客の顔の輪郭、立体感、肌の色等の顔の特徴に合った化粧方法が要求されるが、それには熟練が必要であり、その習得のため、美容部員には、輪郭、立体感、肌の色等が異なる種々の顔モデルで化粧を実践する必要がある。また、輪郭、立体感、肌の色等が異なる種々の顔モデルは、化粧品の研究、開発においても必要となる。

しかしながら、化粧方法の比較評価等のために、顔モデルとして実在の人物の顔画像を使用すると、顔の輪郭、目、口、鼻の位置や大きさ、立体感、肌の色味や明るさ等の顔の印象に影響を与える多くの要素がばらばらとなるため、かえって化粧の仕上がりに及ぼす化粧方法の効果を比較評価することが困難となる。

特開２０００−１９４８３５号公報

そこで、本発明は、顔の輪郭や、眉、目、鼻、口の位置や形状等の顔の基本設計は共通だが、立体感さらには肌色の明るさが種々異なる顔画像を得られるようにすること、また、任意の顧客等の特定人の顔画像においても、立体感さらには肌色の明るさが種々異なる顔画像を得られるようにすることを目的とする。

本発明者は、
(a)顔の印象は立体感と肌色の明るさと色味の３軸から定まること、
(b)複数の顔画像を所定形状の顔型に規格化し、色について主成分分析することにより固有ベクトル（以下、パラメータという）を得ると、立体感と肌色の明るさについては特定のパラメータの寄与が大きく、このパラメータの重み係数を所定形状の顔型の顔画像で変化させると、顔の基本設計が共通で立体感又は明るさが異なる顔画像を得られること、
(c)ここで、所定形状の顔型として、複数人の顔画像の平均顔を使用すると、平均顔にて立体感や肌色の明るさが異なる顔画像を得ることができること、
(d)また、特定人の顔画像で立体感又は肌色の明るさを変化させる場合には、一旦特定人の顔画像を所定形状の顔型に規格化して特定のパラメータを変化させ、その後、元の顔型に戻した画像を作成すればよいこと、
(e)顔画像の肌領域の色味を全体としてシフトさせることにより、特定の立体感と明るさを維持したまま、色味による顔画像の印象を変えられること
を見出した。

即ち、本発明は、所定形状の顔型の顔画像において立体感が異なる合成顔画像を作成する方法であって、
複数人の顔画像（以下、元画像という）を取得し、
各元画像から、その形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した規格化元画像を作成し、
前記複数人の規格化元画像の色を平均化した色平均顔を算出し、
前記複数人の規格化元画像の色について主成分分析を行い、
主成分分析により得られる固有ベクトル（以下、パラメータという）中、顔の立体感に寄与するパラメータを特定し、
顔の立体感に寄与するパラメータの重み係数を色平均顔で変化させることにより立体感が異なる合成顔画像を作成する顔画像の合成方法を提供し、さらにこの顔画像の合成方法において、肌色の明るさに寄与するパラメータの重み係数を色平均顔で変化させることにより、肌色の明るさが異なる合成顔画像を作成する態様を提供する。

また、本発明は、特定人の顔画像において、立体感が異なる合成顔画像を作成する方法であって、
予め、複数人の元画像を取得し、
各元画像を、その形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した規格化元画像を作成し、
前記複数人の規格化顔元画像の色について主成分分析を行い、
主成分分析により得られるパラメータ中、顔の立体感に寄与するパラメータを特定し、
一方、特定人の顔画像を取得し、
特定人の顔画像を、その形状の特徴点が前記所定形状の顔型の特徴点に揃うように規格化し、
規格化した特定人の顔画像について各パラメータのスコア値を算出し、規格化した特定人の顔画像において、顔の立体感に寄与するパラメータのスコア値を変化させることにより立体感の異なる顔画像を作成し、
この顔画像の形状の特徴点を、特定人の顔画像の形状の特徴点に戻した画像を作成することにより立体感が異なる合成顔画像を作成する顔画像の合成方法を提供し、さらにこの顔画像の合成方法において、規格化した特定人の顔画像について各パラメータのスコア値を算出し、規格化した特定人の顔画像において、肌色の明るさに寄与するパラメータのスコア値を変化させることにより、肌色の明るさが異なる合成顔画像を作成する態様を提供する。

さらに、本発明は、元画像を取得する画像取得手段と、元画像から立体感が異なる合成顔画像を作成する演算手段とを備えた顔画像の合成装置であって、
該演算手段が、
各元画像から、その形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した規格化元画像を作成する機能、
複数人の規格化元画像の色を平均化した色平均顔を作成する機能、
複数人の規格化元画像の色について主成分分析を行う機能、及び
主成分分析によるパラメータのうち、所定のパラメータの重み係数を変化させることにより、立体感の異なる合成顔画像を形成する機能
を備えている顔画像の合成装置を提供する。

本発明の顔画像の合成方法によれば、顔の輪郭や、眉、目、鼻、口の位置や形状等の顔の基本設計は共通だが、立体感や肌色の明るさが種々異なる合成顔画像を得ることができる。したがって、次の効果を得ることができる。

(1)本発明により得られる合成顔画像を元にして化粧のシミュレーションをすることにより、化粧方法同士の比較評価を容易に適確に行うことが可能となる。

(2)本発明により得られる合成顔画像は、所望の立体感又は肌色の明るさを化粧顔で実現するには、顔にどのような色分布をつければよいかという化粧方法の研究に有用となる。

(3)本発明により得られる合成顔画像において、特定人の顔画像において立体感等を変化させたものは、平均顔と異なり、元画像に由来するホクロ、二重瞼などのディテイル情報を保持するため、実際の顔により近く、化粧方法の研究、開発に一層有用となる。

(4)本発明により得られる顔画像、特に、複数人の顔画像の色平均顔において立体感等を変化させたものは、特定人を表象しないため、特定人の画像であることを理由として利用が制限されることがない。したがって、化粧品の宣伝販売等において、シミュレーション画像を広範に利用することが可能となる。

以下、図面を参照しつつ、本発明を詳細に説明する。なお、各図中、同一符号は同一又は同等の構成要素を表している。

顔の印象は、立体感と明るさと色味の３軸からなるという本発明者の知見に基づき、本発明は、この３軸に対応する顔画像の合成方法、即ち、顔の立体感を変える顔画像の合成方法と、明るさを変える顔画像の合成方法と、色味を変える顔画像の合成方法とを含む。

図１Ａは、複数人の色平均顔において立体感を変えた合成顔画像を作成する本発明の一態様の流れ図であり、図１Ｂは、さらに肌色の明るさを変えた合成顔画像を作成する本発明の一態様の流れ図である。図２は、特定人の顔画像において、立体感と肌色の明るさを変えた合成顔画像を作成する本発明の一態様の流れ図である。また、図３はこれらの方法を実施する顔画像の合成装置１の一態様のブロック図である。

この顔画像の合成装置１は、元画像を取得する画像取得手段２と演算手段３を備えている。演算手段３は、高速コンピュータに、後述する画像の規格化、色平均顔の算出、標準顔の算出、主成分分析、マスク処理、画像の合成等に必要な演算機能と、画像や計算結果の保存機能等を組み込んだものであり、この演算手段３には、演算結果等を表示するディスプレイ４及びプリンタ５が接続されている。

図１Ａに示す顔画像の合成方法において、顔の立体感を変える方法は、複数人の元画像を取得し（工程Ａ）、その元画像の形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した規格化元画像を作成し（工程Ｂ）、規格化元画像において、眉、目、口、毛髪及び背景をマスク処理することにより肌領域だけ抽出したマスク処理画像を作成し（工程Ｃ）、一方、複数人の規格化元画像の色を平均化した色平均顔を算出すると共に（工程Ｆ）、色平均顔から眉、目、口、毛髪及び背景をマスク処理することによりの肌領域だけ抽出した色平均マスク処理顔を算出し（工程Ｇ）、規格化元画像の色（より具体的には、肌領域のＲＧＢ画素値）について主成分分析し（工程Ｄ）、主成分分析により得たパラメータのうち、顔画像の立体感に寄与するものを特定し（工程Ｅ）、立体感に寄与するパラメータの重み係数を色平均マスク処理顔で変化させることにより立体感の異なる肌領域の顔画像を作成し（工程Ｈ）、こうして得られた顔画像は肌領域だけなので、眉、目、口、毛髪及び背景を含む画像とするために色平均顔と画像合成し（工程Ｉ）、立体感の異なる合成顔画像を作成することからなる。

元画像の取得（工程Ａ）において使用する画像取得手段２としては、被験者の顔画像を撮るデジタルカメラ、顔写真から顔画像を取り込むイメージスキャナ、顔画像が記録されている任意の記録媒体から顔画像を取り込むドライブ、インターネット等の通信回線から顔画像を取り込む通信手段等をあげることができる。

ここで取り込む元画像は、素顔でも化粧顔でもよいが、元画像の母集団の構成により、主成分分析によるパラメータの順位が大きく変わる場合があるため、元画像の母集団は、性別ごとにある年齢幅に属するように統制することが好ましく、例えば、女性で、18〜24歳、25〜39歳、又は40〜49歳等とすることが好ましい。また、最終的に取得する合成顔画像に付与したい顔型の特徴に応じて、二重瞼又は一重瞼等といった顔型の特徴ごとに元画像の母集団を統制してもよい。

演算手段３は、画像取得手段２で取得した元画像を記憶すると共に、被験者の顔の特定部位（例えば、頬）の肌色の明るさの測色値を記憶する。なお、この測色値に代えて、元画像のＲＧＢ画素値から算出したものを記憶してもよい。また、演算手段３は、測定された複数の元画像の肌色の色空間における分布を算出し、記憶する。なお、取り込んだ元画像の肌色の測定及び測定結果の色空間における分布の検出は、公知のイメージ処理ソフトを演算手段に搭載することにより行うことができる。

元画像の規格化（工程Ｂ）においては、取り込んだ個々の元画像毎に、形状の特徴、例えば、毛髪のはえぎわ、ほほ、あご等の輪郭や眉、目、鼻、等の形状を特定し、それらの形状の特徴点をモーフィング処理により所定形状の顔型の特徴点に揃える。この規格化で使用する所定形状の顔型は、頭髪を含まない顔面のみのものとすることが好ましい。またこの顔型には、任意の顔面形状のものを使用することができ、実在の人物の顔型でも仮想の人物の顔型でもよく、複数人の元画像の形状のみを平均化した標準顔の顔型を使用してもよい。標準顔の顔型を使用することにより、本発明により得られる合成顔画像は、特定人を全く表象しないものとなるため、特定人の画像であることを理由として利用が制限されることを解消できる。

なお、ここで形状の特徴の特定や、モーフィング処理には市販の顔画像合成システム（例えば、株式会社国際電気通信基礎研究所、futon）を用いて行うことができる。

また、眉、目、唇、毛髪及び背景はベースメイクの領域ではないため、ベースメイクに強く関与するパラメータを得るため、取り込んだ元画像から、あるいは規格化した元画像から、これらの画素値を除去（マスク処理）したマスク処理画像を作成ことすることが好ましい（工程Ｃ）。これにより、例えば、図４に示すように、２５〜３９歳の化粧顔の８８名の元画像の形状を標準顔にモーフィング処理し、眉、目、唇、毛髪及び背景の画素値をマスク処理したマスク処理画像を得る。
一方、複数人の規格化元画像の色を平均化した色平均顔を算出し（工程Ｆ）、また、色平均顔をマスク処理した色平均マスク処理顔を算出しておく（工程Ｇ）。この色平均画像の取得も、例えば、顔画像合成システム（例えば、株式会社国際電気通信基礎研究所、futon）を用いて行うことができる。

次に、複数人の規格化顔画像の色について主成分分析を行う（工程Ｄ）。具体的には、複数人の規格化元画像の画像データ（Ｍ（横）×Ｎ（縦）画素）のＲＧＢ画素値を一列に並べたＬ（＝Ｍ×Ｎ）次元ベクトルを主成分分析し、元画像のサンプル数Ｑに等しいＱ次元の固有ベクトル（パラメータ）とスコア値（重み係数）を求める。この主成分分析の手法は、M. Turk and A. Pentland, "Eigenfaces for recognition," Journal of Cognitive Neuroscience, vol. 3, no. 1, pp. 71-86, 1991に記載されている方法によることができ、例えばNETLIBの数値演算ライブラリCLAPACKを用いて行うことができる。

図５は、こうして得られた上位２４個のパラメータを画像として表現したものである。

次に、主成分分析により得られた複数のパラメータのいずれが顔の立体感に寄与しているかを調べ、特定する（工程Ｅ）。例えば、次式により、色平均顔、好ましくは色平均マスク処理顔を中心として、主成分分析により得られる複数のパラメータの重み係数をそれぞれ変化させた顔画像を作成し、各顔画像について立体感の主観的評価スコアを取得し、得られた評価スコアと作成した顔画像のパラメータの重み係数とを重回帰分析する。

（式中、Ｕ：合成画像ベクトル
μ：色平均マスク処理顔画像のベクトル
α：重み係数
Ｘ_k：主成分分析により得られたｋ番目のパラメータ ）

より具体的には、例えば、色平均マスク処理顔で、上位２５次元のパラメータを順次±α倍に強調表示した合計５０枚の顔画像を合成する。ここで、αは、第１主成分の分散の約１σ相当に対応する、１９１２倍とする。

こうして得られた、パラメータを強調表示した画像は、眉、目、口、毛髪及び背景の部分が存在しないので、このマスク処理画像を前景、眉、目、口、毛髪及び背景を含む色平均顔を背景として画像合成することにより、パラメータが強調表示され、かつ眉、目、口、毛髪及び背景を有する顔画像を得ることができる。

次に、こうして得られた５０枚の顔画像に対し、複数人の美容専門家が複数段階に評価することにより得られる評価スコアを取得し、その平均を算出し、それを立体感の評価スコアとする。

例えば、１０名の美容専門家により、立体感の評価スコアを、立体感の強いものから順に５、４、３、２、１とし、各顔画像に５、４、３、２、１のいずれかの評価スコアを付け、１０名の評価スコアの平均値をその画像の評価スコアとする。

次いで、各顔画像のパラメータの重み係数と立体感の評価スコアとの重回帰分析を行うことにより、次の重回帰式を得る。

この重回帰式について標準化偏回帰係数を計算すると、パラメータＸ₆とＸ₁₀の寄与率が高いことがわかる。

図６に、パラメータＸ₆の重み係数を色平均顔で変化させた合成顔画像であって、評価スコア５、評価スコア１とされたものを示す。

なお、顔の立体感に寄与するパラメータの特定方法としては、上述の重回帰分析による方法の他、判別分析（小林敏和、大図正孝、大竹俊輔、赤松茂、"形状とテクスチャの特徴空間における線形判別関数を用いた顔イメージの生成", 日本顔学会誌４巻１号、pp.33-44, 2004年）等によってもよい。

立体感に寄与率の高いパラメータが判明した後は、そのパラメータの重み係数を、色平均顔、好ましくは色平均マスク処理顔で適宜変化させることにより立体感が異なる顔画像を作成する（工程Ｈ）。そして、こうして得た立体感を変化させた色平均マスク処理顔は、眉、目、口、毛髪及び背景が存在しないため、このマスク処理画像を前景、眉、目、口、毛髪及び背景を含む色平均顔を背景として画像合成することにより、眉、目、口、毛髪及び背景の部分に色平均顔画像を填め込んだ顔画像を得ることができる（工程Ｉ）。こうして、図６に示した２つの画像のように、顔の輪郭や、目、鼻、口の位置や形状といった顔の基本設計は共通だが、立体感が異なる顔画像を種々形成することが可能となる。そして、この立体感の差は、ベースメイクを変えることにより得られるものと解釈することができるため、本発明の方法は、メイク方法の研究にも有用となる。

一方、本発明において、肌色の明るさを変える顔画像の合成方法では、図１Ｂに示すように、前述の立体感の異なる合成顔画像を得る場合と同様に、複数人の元画像を取得し（工程Ａ）、元画像を規格化し（工程Ｂ）、眉、目、口、毛髪及び背景をマスク処理してマスク処理画像を作成し（工程Ｃ）、マスク処理画像の色を主成分分析することにより元画像のサンプル数に同じ次元のパラメータを取得し（工程Ｄ）、得られたパラメータのうち肌色の明るさに寄与するものを求め（工程Ｅ’）、色平均マスク処理顔でそのパラメータの重み係数を変化させることにより明るさの異なる合成顔画像を生成する（工程Ｈ’）。

肌色の明るさに寄与するパラメータを求める手法（工程Ｅ’）としては、まず、複数人の元画像の取得時に、その顔の特定部位（例えば、頬部等）の肌色の明るさも測定し、あるいは元画像のＲＧＢ画素値から肌色の明るさを算出する（工程Ａ’）。そして、立体感を変える顔画像の合成方法において、複数人の規格化元画像の色について主成分分析することにより求めた、元画像のサンプル数に等しい次元のパラメータのスコア値と、上述の肌色の明るさの測定値とを重回帰分析することで、肌色の明るさに寄与率の高いパラメータを取得する。

ここで、明るさは、Ｌ^*ａ^*ｂ^*空間（国際照明委員会（ＣＩＥ）が１９７６年に定義）のＬ^*値、ＹＣｂＣｒ空間（国際電気通信連合 無線通信部門（ＩＴＵ−Ｒ）勧告ＢＴ（放送業務）．６０１で定義）のＹ値など、任意の色空間の明るさとすることができる。

この重回帰分析の具体例としては、前述の８８名のマスク処理画像の主成分分析の例では、元画像の取得時の各被験者の頬部のＬ^*値とパラメータのスコア値の重回帰分析を行うことにより、次の重回帰式を得る。

ここで、標準化偏回帰係数を計算すると、パラメータＸ₀₁の寄与率が高いことがわかる。そこで、色平均マスク処理顔で立体感に寄与するパラメータＸ₀₆、Ｘ₁₀の重み係数を変える際に、明るさに寄与するパラメータＸ₀₁の重み係数も変化させて合成顔画像を生成することにより、顔の基本設計は共通だが、立体感だけでなく、明るさも異なる顔画像を種々形成することが可能となる（工程Ｈ'）。

なお、複数人の規格化元画像の色について主成分分析することにより求めた、元画像のサンプル数に等しい次元のパラメータにおいて、いずれのパラメータが明るさに寄与するかが明らかな場合（例えば、図７に示すように、明るさの測定値（Ｌ^*値）とパラメータのスコア値とが相関する場合）には、これらの単相関をとることにより明るさに寄与するパラメータを求めてもよい。

本発明において顔画像の色味を変える方法は、上述のようにして得た立体感の異なる顔画像又は肌色の明るさの異なる顔画像について、肌領域の色味だけをシフトさせることにより、顔画像の印象をさらに変化させるものである。即ち、立体感又は肌色の明るさが異なる合成顔画像を得る前述の方法では、主成分分析する色としてＲＧＢの画素値を使用したため、立体感又は肌色の明るさに寄与するパラメータが、輝度情報だけではなく色情報も含む。そのため、立体感又は肌色の明るさに寄与するパラメータの重み係数を変えると、得られる合成顔画像は色味も変化したものとなり、印象評価に使用するには条件の統制に欠ける。そこで、本発明では、合成顔画像の色味が不自然にならないように、合成顔画像の色味をシフトさせることが好ましく、そのシフト範囲は、元画像の肌色の分布の範囲内とすることが好ましい。

色味のシフトは、明るさと色味とを分離できる任意の色空間で行うことができるが、画素値として取得するＲＧＢ空間からの変換が容易な点から、ＹＣｂＣｒ空間のＣｂＣｒ空間で行うことが好ましい。なお、ＹＣｂＣｒ空間は、テレビ等で汎用されている色空間であり、Ｙは輝度信号（明るさ）、Ｃｂは青の差分信号、Ｃｒは赤の差分信号を示し、ＲＧＢ空間からＹＣｂＣｒ空間への変換は次式により行うことができる。

この場合、色味のシフトは、Ｙを変更せずに、Ｃb，Ｃr だけを線形スケール倍することで行うことが好ましい。合成顔画像間で輝度を一定にする必要があれば、顔の肌領域内の平均輝度値が各画像間で一致するようにＹのみ線形スケール倍することも可能である。

ＹＣｂＣｒ空間で色味あるいは輝度を調整した後は、ＹＣｂＣｒ空間からＲＧＢ空間へ再変換することにより、色味あるいは輝度を調整した合成顔画像をディスプレイ等に表示することができる。この再変換は次式により行うことができる。

以上、複数人の元画像を規格化し、それらの色を平均化した色平均顔（特に、色平均マスク処理顔）において、顔の立体感、肌色の明るさ、色味を変化させるという本発明の方法について説明したが、この方法は、任意の顧客等の特定人の顔画像において、顔の立体感、肌色の明るさ、色味を変化させる場合に応用することができる。

図２は、特定人の顔画像において顔の立体感や肌色の明るさを変える本発明の方法の流れ図であり、図８はこの方法の過程で順次得られる顔画像の例である。

この方法では、図１Ａ、図１Ｂに示した複数人の色平均顔において顔の立体感や肌色の明るさを変化させる場合と同様に、まず、複数人の元画像を取得し（工程Ａ）、元画像を規格化し（工程Ｂ）、眉、目、口、毛髪及び背景をマスク処理してマスク処理画像を作成し（工程Ｃ）、マスク処理画像の色を主成分分析することにより元画像のサンプル数に同じ次元のパラメータを取得し（工程Ｄ）、得られたパラメータのうち立体感に寄与するものと肌色の明るさに寄与するものを求める（工程Ｅ、工程Ｅ’）。

一方、特定人の元画像を取得し（工程Ａ''）、その形状の特徴点を、複数人の元画像の規格化に使用した顔型に規格化した規格化元画像を作成する（工程Ｂ''）。そして、好ましくは眉、目、口、毛髪及び背景をマスク処理したマスク処理画像を作成し（工程Ｃ’’）、そのマスク処理画像について各パラメータのスコア値を算出して、特定人のマスク処理画像において立体感に寄与するパラメータのスコア値や肌の明るさに寄与するパラメータのスコア値を変化させた顔画像を得る（工程Ｈ''）。

こうして顔の立体感や肌の明るさを変化させた顔画像は、眉、目、口、毛髪及び背景が存在しないため、この顔画像を前景とし、眉、目、口、毛髪及び背景を含む規格化元画像を背景としてこれらの画像を重ね合わせることにより、眉、目、口、毛髪及び背景部分に色平均顔画像を填め込んだ顔画像を得ることができる（工程Ｉ''）。

そして得られた顔画像の形状の特徴点を、特定人の本来の特徴点に戻した画像を作成する（工程Ｊ）。こうして、特定人の元画像において、立体感や肌の明るさだけを変化させた合成顔画像を得ることができる。

なお、この合成顔画像に対しても、前述と同様に顔の色味を変えることができる。

本発明は化粧のシミュレーション画像の元となる画像として使用することができ、シミュレーション画像の形成とその利用分野で有用である。

複数人の色平均顔において立体感を変えた合成顔画像を作成する方法の流れ図である。 複数人の色平均顔において立体感と肌色の明るさを変えた合成顔画像を作成する方法の流れ図である。 特定人の顔画像において立体感と肌色の明るさを変えた合成顔画像を作成する方法の流れ図である。 顔画像の合成装置のブロック図である。 元画像及びそれを規格化した画像データである。 上位２４次元のパラメータの画像である。 色平均顔についてパラメータＸ₆の重み係数が異なる画像である。 頬部の測色値Ｌ^*とパラメータＸ₀₁のスコア値との相関図である。 特定人の顔画像において立体感を変化させた合成顔画像の例である。

符号の説明

１ 顔画像の合成装置
２ 画像取得手段
３ 演算手段
４ ディスプレイ
５ プリンタ

Claims (17)

1. 所定形状の顔型の顔画像において立体感が異なる合成顔画像を作成する方法であって、
   複数人の顔画像（以下、元画像という）を取得し、
   各元画像から、その形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した規格化元画像を作成し、
   前記複数人の規格化元画像の色を平均化した色平均顔を算出し、
   前記複数人の規格化元画像の色について主成分分析を行い、
   主成分分析により得られる固有ベクトル（以下、パラメータという）中、顔の立体感に寄与するパラメータを特定し、
   顔の立体感に寄与するパラメータの重み係数を色平均顔で変化させることにより立体感が異なる合成顔画像を作成する顔画像の合成方法。
2. 複数人の元画像の形状を平均化した標準顔を算出し、前記所定形状の顔型として標準顔を使用する請求項１記載の顔画像の合成方法。
3. 前記主成分分析により得られたパラメータの重み係数を色平均顔で種々変化させることにより複数の合成顔画像を取得し、各合成顔画像の立体感について評価スコアを取得し、パラメータの重み係数と立体感の評価スコアとを重回帰分析することにより、顔の立体感に寄与するパラメータを特定する請求項１又は２に記載の顔画像の合成方法。
4. 規格化元画像として、元画像を所定形状の顔型に規格化した後に、眉、目、口、毛髪及び背景をマスク処理した画像（以下、マスク処理画像という）を作成し、
   色平均顔の眉、目、口、毛髪及び背景をマスク処理した画像（以下、色平均マスク処理顔という）を算出し、
   前記主成分分析を複数人のマスク処理画像の色について行い、この主成分分析により得られるパラメータ中、顔の立体感に寄与するパラメータを特定し、
   顔の立体感に寄与するパラメータの重み係数を色平均マスク処理顔で変化させることにより立体感の異なるマスク処理画像を作成し、
   立体感の異なるマスク処理画像の眉、目、口、毛髪及び背景の部分に、色平均顔の眉、目、口、毛髪及び背景の部分を重ね合わせることで、立体感の異なる合成顔画像を作成する請求項１〜３のいずれかに記載の顔画像の合成方法。
5. 前記複数人の顔の肌色の明るさを測定し、
   複数人の規格化元画像の色について、前記主成分分析により得られたパラメータのスコア値と、肌色の明るさとを重回帰分析することにより肌色の明るさに寄与するパラメータを特定し、
   肌色の明るさに寄与するパラメータの重み係数を色平均顔で変化させることにより肌色の明るさの異なる合成顔画像を作成する請求項１〜４のいずれかに記載の顔画像の合成方法。
6. 請求項１〜５のいずれかに記載の方法により得られた合成顔画像の肌領域の色味を、色空間における元画像の肌色の分布範囲内で変化させる顔画像の合成方法。
7. ＹＣｂＣｒ空間のＣｂＣｒ空間上で肌領域の色味を変化させる請求項６記載の顔画像の合成方法。
8. 特定人の顔画像において、立体感が異なる合成顔画像を作成する方法であって、
   予め、複数人の顔画像（以下、元画像という）を取得し、
   各元画像を、その形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した規格化元画像を作成し、
   前記複数人の規格化顔元画像の色について主成分分析を行い、
   主成分分析により得られる固有ベクトル（以下、パラメータという）中、顔の立体感に寄与するパラメータを特定し、
   一方、特定人の顔画像を取得し、
   特定人の顔画像を、その形状の特徴点が前記所定形状の顔型の特徴点に揃うように規格化し、
   規格化した特定人の顔画像について各パラメータのスコア値を算出し、規格化した特定人の顔画像において顔の立体感に寄与するパラメータのスコア値を変化させることにより立体感の異なる顔画像を作成し、
   この顔画像の形状の特徴点を、特定人の顔画像の形状の特徴点に戻した画像を作成することにより立体感が異なる合成顔画像を作成する顔画像の合成方法。
9. 複数人の元画像の形状を平均化した標準顔を算出し、前記所定形状の顔型として標準顔を使用する請求項８記載の顔画像の合成方法。
10. 前記複数人の規格化元画像の色を平均化した色平均顔を算出し、
    前記主成分分析により得られたパラメータの重み係数を色平均顔で種々変化させることにより複数の合成顔画像を取得し、各合成顔画像の立体感について評価スコアを取得し、パラメータの重み係数と立体感の評価スコアとを重回帰分析することにより、顔の立体感に寄与するパラメータを特定する請求項８又は９に記載の顔画像の合成方法。
11. 規格化元画像として、元画像を所定形状の顔型に規格化すると共に、眉、目、口、毛髪及び背景をマスク処理した画像（以下、マスク処理画像という）を作成し、
    前記主成分分析を、複数人のマスク処理画像の色について行い、この主成分分析により得られるパラメータ中、顔の立体感に寄与するパラメータを特定し、
    一方、規格化した特定人の顔画像において眉、目、口、毛髪及び背景をマスク処理した画像を作成し、特定人のマスク処理画像について各パラメータのスコア値を算出し、顔の立体感に寄与するパラメータのスコア値を特定人のマスク処理画像で変化させることにより立体感の異なるマスク処理画像を作成し、
    このマスク処理画像の形状の特徴点を特定人の顔画像の形状の特徴点に戻した画像を作成すると共に、このマスク処理画像の眉、目、口、毛髪及び背景の部分に、特定人の顔画像の眉、目、口、毛髪及び背景の部分を重ね合わせる請求項８〜１０のいずれかに記載の顔画像の合成方法。
12. 前記複数人の顔の肌色の明るさを測定し、
    複数人の規格化元画像の色について、前記主成分分析により得られたパラメータのスコア値と、肌色の明るさとを重回帰分析することにより肌色の明るさに寄与するパラメータを特定し、
    規格化した特定人の顔画像について各パラメータのスコア値を算出し、肌色の明るさに寄与するパラメータのスコア値を、規格化した特定人の顔画像で変化させることにより肌色の明るさの異なる合成顔画像を作成する請求項８〜１１のいずれかに記載の顔画像の合成方法。
13. 顔画像（以下、元画像という）を取得する画像取得手段と、元画像から立体感が異なる合成顔画像を作成する演算手段とを備えた顔画像の合成装置であって、
    該演算手段が、
    各元画像から、その形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した規格化元画像を作成する機能、
    複数人の規格化元画像の色を平均化した色平均顔を作成する機能、
    複数人の規格化元画像の色について主成分分析を行う機能、及び
    主成分分析による固有ベクトル（以下、パラメータという）のうち、所定のパラメータの重み係数を色平均顔で変化させることにより、立体感の異なる合成顔画像を形成する機能
    を備えている顔画像の合成装置。
14. 演算手段が、複数人の元画像の形状を平均化した標準顔を算出する機能を備え、
    前記所定形状の顔型として、標準顔を使用する請求項１３記載の顔画像の合成装置。
15. 演算手段が、規格化元画像として、元画像を所定形状の顔型に規格化すると共に、眉、目、口、毛髪及び背景をマスク処理した画像（以下、マスク処理画像という）を作成する機能、及び
    マスク処理画像の眉、目、口、毛髪及び背景の部分に色平均顔の眉、目、口、毛髪及び背景の部分を重ね合わせる機能を備えている請求項１３又は１４記載の顔画像の合成装置。
16. 演算手段が、特定人の規格化した元画像について各パラメータのスコア値を算出し、所定のパラメータのスコア値を変化させることにより、立体感と肌の明るさの異なる顔画像を作成する機能、及び
    この顔画像の特徴点を、特定人の規格化前の顔画像の形状の特徴点に戻した画像を作成する機能を備えている請求項１３〜１５のいずれかに記載の顔画像の合成装置。
17. 演算手段が、元画像の肌色の分布範囲を検出する機能、及び
    合成顔画像の肌領域の色味を、色空間内において元画像の肌色の分布範囲内で変化させる機能を有する請求項１３〜１６のいずれかに記載の顔画像の合成装置。