JP2016194892A - 加齢化予測システム、加齢化予測方法及び加齢化予測プログラム - Google Patents

Abstract

【課題】顔画像の加齢シミュレーションを効率的かつ的確に行なうための加齢化予測システム、加齢化予測方法及び加齢化予測プログラムを提供する。
【解決手段】加齢化予測システム２０は、制御部２１、経年変化データ記憶部２２、スナップショットデータ記憶部２３、モデル記憶部２５を備えている。制御部２１は、経年変化データ記憶部２２及びスナップショットデータ記憶部２３を用いて、角度予測モデル、３次元化変換予測モデル、形状加齢モデル、テクスチャ加齢モデルを生成して、モデル記憶部２５に記憶する。制御部２１は、角度予測モデル及び３次元化変換予測モデルを用いて処理対象の２次元顔画像から３次元顔データを生成する。制御部２１は、形状加齢モデル、テクスチャ加齢モデルを用いて、顔画像のテクスチャについて加齢による変化と顔形状について加齢による変化とを予測して、加齢後の顔画像を出力する。
【選択図】図１

Description

本発明は、顔画像の加齢シミュレーションを行なうための加齢化予測システム、加齢化予測方法及び加齢化予測プログラムに関する。

美容において、加齢後の顔や体の形状変化を予測するシステムが検討されている（例えば、特許文献１参照。）。この特許文献１に記載の技術においては、顔をスキャンして取得した画像からポリゴンメッシュを構築し、このポリゴンメッシュが再パラメータ化されて、ベースメッシュ及び変位画像が算出される。この変位画像は複数のタイルに分割され、各タイルの統計値が測定される。統計値は、変更された変位画像を変形させ、変形された変位画像がベースメッシュと結合されて新たな顔が合成される。

特開２００７−２６５３９６号公報

しかしながら、顔画像についての加齢シミュレーションを行なう場合、３次元顔データを入手できるとは限らず、多様な角度から撮影された２次元顔画像を用いて加齢シミュレーションを行わなければならない場合もある。この場合、２次元顔画像が撮影された向き（角度）を考慮する必要がある。また、顔には、解剖学的に同じ位置にある特徴点がある。従って、解剖学的な特徴点を考慮せずに、顔画像を単なるテクスチャ画像として扱ったのでは、的確な加齢シミュレーションを効率的に実行することが困難である。

本発明は、上記の課題に鑑みてなされ、その目的は、顔画像の加齢シミュレーションを効率的かつ的確に行なうための加齢化予測システム、加齢化予測方法及び加齢化予測プログラムを提供することにある。

（１）上記課題を解決する加齢化予測システムは、顔形状の加齢による変化を予測する形状加齢モデルと、顔表面のテクスチャの加齢による変化を予測するテクスチャ加齢モデルと、２次元画像から３次元データを予測する３次元化予測モデルとを記憶したモデル記憶部と、入力部、出力部に接続され、加齢化を予測する制御部とを備える。前記制御部が、前記入力部から予測対象画像を取得し、前記予測対象画像の特徴点を抽出し、抽出した前記特徴点を用いて、前記予測対象画像における顔向きを推定し、前記３次元化予測モデル及び推定した前記顔向きに基づいて、第１の３次元データを生成し、前記形状加齢モデルを用いて、前記第１の３次元データから第２の３次元データを生成し、前記第１の３次元データに基づいて生成された２次元画像に対して、前記テクスチャ加齢モデルを適用して、加齢化テクスチャを生成し、前記第２の３次元データに対して、前記加齢化テクスチャを合成して、加齢化顔モデルを生成して、前記出力部に出力する予測処理を実行する。これにより、形状加齢モデルとテクスチャ加齢モデルとを用いて加齢化顔モデルを生成するので、形状のみ又はテクスチャのみを加齢化させるよりも的確に行なうことができる。更に、予測対象画像の顔が正面から撮影していなくても、学習によって予測対象画像における顔向きを推定して効率よく加齢化させることができる。

（２）上記加齢化予測システムにおいては、前記制御部は、前記入力部から、出力用として指定された顔向き角度を取得し、生成した前記加齢化顔モデルを用いて、前記顔向き角度の２次元顔画像を生成して、前記出力部に出力することが好ましい。これにより、指定された顔向きで加齢化した顔の画像を出力することができる。

（３）上記加齢化予測システムにおいては、前記制御部は、取得した３次元顔サンプルデータに基づいて、２次元画像を生成し、前記２次元画像において特徴点を特定し、前記特徴点を用いて、前記３次元顔サンプルデータを正規化した正規化サンプルデータを生成し、前記正規化サンプルデータを用いて、前記形状加齢モデル及びテクスチャ加齢モデルを生成して、前記モデル記憶部に記憶する学習処理を実行することが好ましい。これにより、実際のサンプルデータに基づいて加齢モデルを生成することができる。

（４）上記加齢化予測システムにおいては、前記学習処理は、前記正規化サンプルデータを用いて前記３次元化予測モデルを生成して、前記モデル記憶部に記憶することが好ましい。これにより、実際のサンプルデータに基づいて３次元化予測モデルを生成することができる。

（５）上記加齢化予測システムにおいては、前記モデル記憶部には、主成分分析を用いて算出した第１のテクスチャ加齢モデルと、ウェーブレット変換を用いて算出した第２のテクスチャ加齢モデルとが記憶されており、前記制御部は、前記第１の３次元データに基づいて生成された２次元画像に対して、第１のテクスチャ加齢モデルを適用した画像をウェーブレット変換した第１のウェーブレット係数と、前記第１の３次元データに基づいて生成された２次元画像に対して、第２のテクスチャ加齢モデルを適用した第２のウェーブレット係数とを比較した結果に応じて、適用する前記テクスチャ加齢モデルを特定することが好ましい。これにより、既に存在するシミ及び皺等を用いて予測する第２のテクスチャ加齢モデルを用いることができるので、より適切な加齢モデルを生成することができる。

本発明によれば、顔画像の加齢シミュレーションを効率的かつ的確に行なうことができる。

本実施形態の加齢化予測システムの説明図。 本実施形態に用いられる全体的なデータ生成処理の流れ図。 本実施形態の学習前処理の処理手順の流れ図。 本実施形態の円柱座標系への変換処理の処理手順の流れ図。 本実施形態の円柱座標系への変換処理を説明する説明図であって、（ａ）は欠落部がある画像、（ｂ）は円柱座標系における半径と円柱方向角度とを２軸とした２次元の顔画像、（ｃ）は円柱座標系における円柱高と円周方向角度とを２軸とした２次元の顔画像。 本実施形態の顔特徴点抽出処理の顔特徴点を説明する説明図。 本実施形態の顔特徴点の正規化処理の処理手順の流れ図。 本実施形態の重回帰分析による正規化処理を説明する説明図であって、（ａ）は処理手順の流れ図、（ｂ）はＸ軸、Ｙ軸周りの傾き補正の説明図、（ｃ）はＺ軸周りの傾き補正の説明図。 本実施形態の形状の相同モデル化処理を説明する説明図であって、（ａ）は形状の相同モデル化処理の処理手順の流れ図、（ｂ）メッシュモデル。 本実施形態のテクスチャの相同モデル化処理を説明する説明図であって、（ａ）はテクスチャの相同モデル化処理の処理手順の流れ図、（ｂ）は各メッシュモデルの平均座標に変形したテクスチャの平均を示した平均顔。 本実施形態の形状の相同モデル化処理を説明する説明図であって、（ａ）は画像正規化メッシュモデル、（ｂ）は算出した平均値のテクスチャから生成した平均顔。 本実施形態の２次元顔画像の角度学習処理の処理手順の流れ図。 本実施形態の機械学習処理における変数選択アルゴリズムを説明する説明図。 本実施形態の機械学習処理における変数更新処理アルゴリズムを説明する説明図。 本実施形態の３次元化変換の学習処理の処理手順の流れ図。 本実施形態の３次元化変換の予測検証処理の処理手順の流れ図。 本実施形態の３次元化変換の検証結果を説明する説明図であって、（ａ）は入力データ、（ｂ）は正解、（ｃ）は２次元特徴点のみで予測、（ｄ）は２次元特徴点及び画像で予測した場合の顔画像。 本実施形態の主成分分析を利用したテクスチャ加齢化の学習処理の処理手順の流れ図。 本実施形態のテクスチャ加齢化の予測検証処理の処理手順の流れ図。 本実施形態のテクスチャ加齢化の予測検証における各主成分を説明する説明図。 本実施形態において主成分の上限を変更して再構成した画像を説明する説明図。 本実施形態のウェーブレット変換を利用したテクスチャの加齢化処理を説明する説明図であって、（ａ）は処理手順の流れ図、（ｂ）はウェーブレット係数を可視化して表示した画像。 本実施形態の３次元形状加齢化の学習処理の処理手順の流れ図。 本実施形態の加齢化予測処理の処理手順の流れ図。 本実施形態のテクスチャの加齢化予測処理の処理手順の流れ図。 本実施形態の加齢化予測処理に用いられるマスク領域を説明する説明図であって、（ａ）は形状予測マスク領域、（ｂ）はテクスチャ予測マスク領域を示す。 本実施形態の加齢化予測処理における画像であって、（ａ）を入力データ、（ｂ）は１０年後の加齢化予測、（ｃ）は１５年後の加齢化を予測した画像。

以下、図１〜図２７を用いて、加齢化予測システム、加齢化予測方法及び加齢化予測プログラムを具体化した一実施形態を説明する。本実施形態では、３次元顔データを用いて、加齢による顔の経年変化を学習する。そして、撮影された２次元顔画像を用いて、加齢化後の顔画像を予測する加齢シミュレーションを行なう。

＜加齢化予測システムの構成＞
図１に示すように、本実施形態では、加齢化予測システム２０を用いる。この加齢化予測システム２０には、入力部１０、出力部１５が接続されている。入力部１０は、各種情報を入力するための手段であり、キーボードやポインティングデバイス、記録媒体からデータを取得する入力インターフェイス等により構成される。出力部１５は、各種情報を出力するための手段であり、ディスプレイ等により構成される。

加齢化予測システム２０は、加齢化予測処理を行なうためのコンピュータシステムである。この加齢化予測システム２０は、制御部２１、経年変化データ記憶部２２、スナップショットデータ記憶部２３、モデル記憶部２５を備えている。

制御部２１は、制御手段（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（学習管理段階、第１学習段階、第２学習段階、第３学習段階、主成分分析段階、機械学習段階、加齢管理段階、第１処理段階、第２処理段階、第３処理段階等の各処理等）を行なう。そのための加齢化予測プログラムを実行することにより、制御部２１は、学習管理部２１０、第１学習部２１１、第２学習部２１２、第３学習部２１３、主成分分析部２１４ａ、機械学習部２１４ｂ、加齢管理部２１５、第１処理部２１６、第２処理部２１７、第３処理部２１８として機能する。

学習管理部２１０は、加齢シミュレーションにおける顔の経年変化を学習する処理を実行する。この学習管理部２１０は、後述するように、顔特徴点を用いて両目の重心位置を算出する重心算出手段を記憶している。更に、学習管理部２１０は、後述する形状の相同モデル化処理に用いるジェネリックモデル（基本モデル）に関するデータを予め作成して、メモリに記憶している。このジェネリックモデルは、日本人の一般的な特徴を表した顔に関するモデルである。本実施形態では、メッシュポイント数が10741個、ポリゴン（三角形）数が21256個のジェネリックモデルを用いる。このジェネリックモデルには、顔特徴点に対応するメッシュポイントが含まれており、各顔特徴点を特定する識別情報が設定されている。
また、学習管理部２１０は、後述するテクスチャの相同モデル化処理において、顔特徴点の座標から、正規化したメッシュモデルの各頂点の座標の平均を算出する予め定めたテクスチャ平均算出ルールを記憶している。
更に、学習管理部２１０は、学習に用いる円柱座標系画像、円柱座標系座標、相同モデルを記録するための学習用メモリを備えている。

第１学習部２１１は、２次元顔データ（顔画像）から、３次元円柱座標系で表わされた３次元顔データを予測するためのモデルを作成する第１学習処理を実行する。
第２学習部２１２は、顔画像の質感（テクスチャ）について、加齢による変化を予測するためのモデルを作成する第２学習処理を実行する。
第３学習部２１３は、顔形状について、加齢による変化を予測するためのモデルを作成する第３学習処理を実行する。

主成分分析部２１４ａは、学習管理部２１０及び各学習部（２１１〜２１３）からの指示に応じて、主成分分析処理を行なう。

機械学習部２１４ｂは、各学習部（２１１〜２１３）からの指示に応じて、従属変数（予測対象特徴量）を用いて説明変数（予測時に使用する特徴量）を算出する処理を行なう。

加齢管理部２１５は、２次元顔画像を用いて、加齢後の顔画像を生成する処理を実行する。この加齢管理部２１５は、予測対象の２次元顔画像を取得し、第１〜第３処理部（２１６〜２１８）を用いて、テクスチャ及び形状の加齢化シミュレーションを行なう。

第１処理部２１６は、処理対象の２次元顔画像から、３次元円柱座標系で表わされた３次元顔データを生成する処理を実行する。
第２処理部２１７は、顔画像の質感（テクスチャ）について、加齢による変化を予測する処理を実行する。本実施形態では、主成分分析を利用したテクスチャ加齢モデルと、ウェーブレット（WAVELET）変換を利用したテクスチャ加齢モデルとを用いて、テクスチャ加齢化処理を実行する。第２処理部２１７は、この処理に用いる重み係数ｗをメモリに記憶している。この重み係数ｗは、主成分分析を利用したモデルとウェーブレット変換を利用したモデルとを用いる場合、どちらのモデルに重点を置くかを決めるための値である。本実施形態では、重み係数ｗとして「１」を用いる。
第３処理部２１８は、３次元顔データを用いて、顔形状について加齢による変化を予測する処理を実行する。

また、経年変化データ記憶部２２には、所定数の学習対象者（学習に用いるサンプル）について、経年変化前と経年変化後（本実施形態では、１０年後）の３次元顔データ（経年変化データ）が記録されている。この経年変化データを用いることにより、この加齢前後の変化を把握することができる。本実施形態では、経年変化データとして、約１７０名分のデータを用いる。

スナップショットデータ記憶部２３には、より多くの学習対象者を撮影した３次元顔データ（スナップショットデータ）が記録されている。このスナップショットデータでは、１回のみの撮影であり、経年変化は記録されていない。本実施形態では、スナップショットデータとして、約８７０名分のデータを用いる。

なお、本実施形態の経年変化データ記憶部２２、スナップショットデータ記憶部２３には、円柱座標系以外のデータフォーマット（ＸＹＺ座標）で３次元データが記録されている場合を想定する。

モデル記憶部２５には、加齢シミュレーションにおける各種予測を行なう場合に用いるモデル（説明変数を使って結果変数を計算するアルゴリズム）が記憶されている。本実施形態では、角度予測モデル、３次元化予測モデル、テクスチャ加齢モデル、形状加齢モデルに関するデータが記憶される。

角度予測モデルデータ領域には、処理対象の２次元顔画像が撮影された向き（顔正面に対する角度）を予測するためのモデルデータが記憶される。この角度予測モデルデータは、第１学習部２１１によって算出されて記録される。

３次元化予測モデルデータ領域には、正面向きの２次元顔画像を３次元顔データに変換するためのモデルデータが記憶される。この３次元化予測モデルデータは、第１学習部２１１によって算出されて記録される。

テクスチャ加齢モデルデータ領域には、顔のテクスチャについて、加齢化後のテクスチャを予測するためのモデルデータが記憶される。このテクスチャ加齢モデルデータは、第２学習部２１２によって算出されて記録される。本実施形態では、主成分分析を利用したテクスチャ加齢モデルデータと、ウェーブレット変換を利用したテクスチャ加齢モデルデータとが記憶されている。

形状加齢モデルデータ領域には、顔形状について、加齢化後の形状を予測するためのモデルデータが記憶される。この形状加齢モデルデータは、第３学習部２１３によって算出されて記録される。

＜モデルの生成＞
次に、図２を用いて、各モデルの生成について、生成処理の概要を説明する。
まず、加齢化予測システム２０の制御部２１は、経年変化データ記憶部２２に記憶された３次元顔データＤ１を用いて、円柱座標系画像Ｄ２と円柱座標系座標データＤ３とを生成する。円柱座標系画像Ｄ２は、３次元顔データを、円柱座標系に射影し、「９００×９００」の等間隔メッシュに補間して作成した２次元画像データである。円柱座標系座標データＤ３は、３次元顔データを、円柱座標系に射影して生成した「９００×９００」画像の各点の３次元座標に関するデータである。

次に、加齢化予測システム２０の制御部２１は、円柱座標系画像Ｄ２及び円柱座標系座標データＤ３を用いて顔特徴点データＤ４を生成する。この顔特徴点データＤ４は、円柱座標系画像Ｄ２における顔の特徴点の座標に関するデータである。この顔の特徴点の詳細については後述する。

そして、加齢化予測システム２０の制御部２１は、円柱座標系座標データＤ３を用いて、顔特徴点データＤ４、円柱座標系画像Ｄ２の正規化処理を行なう。そして、正規化された円柱座標系画像Ｄ５、正規化された顔特徴点データＤ６及び３次元メッシュデータＤ７（相同モデル）を生成する。この正規化処理の詳細については、後述する。ここで、相同モデルとは、顔についての３次元データをメッシュで表現し、各メッシュの頂点が、解剖学的に同じ位置になるように変換した３次元座標データである。

更に、加齢化予測システム２０の制御部２１は、正規化された円柱座標系画像Ｄ５、３次元メッシュデータＤ７（相同モデル）を用いて、任意角度から撮影した２次元顔画像Ｄ８を生成する。
そして、加齢化予測システム２０の制御部２１は、任意角度から撮影した２次元顔画像Ｄ８と正規化された顔特徴点データＤ６と３次元メッシュデータＤ７（相同モデル）とを用いて、２次元顔画像から３次元顔データへの変換についての第１学習処理を実行する。この第１学習処理の詳細は後述する。

更に、加齢化予測システム２０の制御部２１は、正規化された円柱座標系画像Ｄ５を用いて、テクスチャ加齢化についての第２学習処理を行なう。この第２学習処理の詳細は後述する。

また、加齢化予測システム２０の制御部２１は、３次元メッシュデータＤ７（相同モデル）を用いて、３次元形状加齢化についての第３学習処理を行なう。この第３学習処理の詳細は後述する。

＜学習前処理＞
次に、図３〜図１１を用いて、上述した第１〜第３学習処理の前に行なわれる学習前処理を説明する。この処理は、経年変化データ記憶部２２、スナップショットデータ記憶部２３に記録された各３次元データについて、個別に行なわれる。

図３に示すように、まず、加齢化予測システム２０の制御部２１は、円柱座標系への変換処理を実行する（ステップＳ１−１）。この処理の詳細については、図４及び図５を用いて後述する。

次に、加齢化予測システム２０の制御部２１は、顔特徴点の抽出処理を実行する（ステップＳ１−２）。この処理の詳細については、図６を用いて後述する。
次に、加齢化予測システム２０の制御部２１は、顔特徴点の正規化処理を実行する（ステップＳ１−３）。この処理の詳細については、図７及び図８を用いて後述する。

次に、加齢化予測システム２０の制御部２１は、相同モデル化処理を実行する（ステップＳ１−４）。ここでは、顔の形状の相同モデルとテクスチャの相同モデルとを生成する。これらの処理の詳細については、図９及び図１０を用いて後述する。

次に、加齢化予測システム２０の制御部２１は、正規化された円柱座標系画像の生成処理を実行する（ステップＳ１−５）。この処理の詳細については、図１１を用いて後述する。

＜円柱座標系への変換処理＞
次に、図４及び図５を用いて、円柱座標系への変換処理（ステップＳ１−１）を説明する。

まず、制御部２１の学習管理部２１０は、欠落部の補間処理を実行する（ステップＳ２−１）。具体的には、学習管理部２１０は、３次元顔データにおいて欠落している部分があるかどうかを確認する。欠落部を検出した場合、学習管理部２１０は、この欠落部の周辺情報を用いて、欠落部の補間を行なう。具体的には、欠落部周囲に隣接する所定範囲のデータに基づいて、公知の補間方法を用いて、欠落部の埋め合わせを行なう。

例えば、図５（ａ）に示す３次元顔データを用いる場合を想定する。図５（ｂ）には、この３次元顔データを、円柱座標系における半径と円柱方向角度とを２軸とした円柱座標系で表している。この３次元顔データにおいては、顎や耳の周囲の一部のデータが欠落している。これらの部分の画像を、周辺の画像を用いた補間処理によって生成して埋め合わせを行なう。

次に、制御部２１の学習管理部２１０は、円柱座標系画像の生成処理を実行する（ステップＳ２−２）。具体的には、学習管理部２１０は、欠落部の補間処理を行なった３次元顔データを、円柱座標系に射影する（２次元マッピング）。そして、学習管理部２１０は、射影した顔画像データを「９００×９００」の等間隔メッシュに補間し、円柱座標系の２次元顔画像を生成する。そして、学習管理部２１０は、生成した２次元顔画像を、円柱座標系画像Ｄ２として学習用メモリに記録する。

図５（ｃ）は、円柱座標系に投影させた３次元顔データを、２軸（円柱高、円周方向角度）で表した２次元顔画像である。
次に、制御部２１の学習管理部２１０は、円柱座標系座標の生成処理を実行する（ステップＳ２−３）。具体的には、学習管理部２１０は、３次元顔データの各座標（Ｘ，Ｙ，Ｚ）を円柱座標系に射影し、上述した「９００×９００」の画像各点について、円柱座標系の座標データ（径方向，角度，高さ）を生成する。そして、学習管理部２１０は、生成した２次元顔画像を、円柱座標系座標データＤ３として学習用メモリに記録する。

＜顔特徴点抽出処理＞
次に、図６を用いて、顔特徴点抽出処理（ステップＳ１−２）を説明する。ここで、顔特徴点とは、顔を構成する顔パーツ（眉毛、目、鼻、口、耳、頬部、下顎部等）における特徴的な位置（例えば、眉毛最外側点、眉毛最内側点、口角点等）である。本実施形態では、３３個の顔特徴点を用いる。なお、顔特徴点を、ユーザーが任意に追加・削除できるようにしてもよい。この場合には、追加・削除された顔特徴点を用いて、後述する処理を行なう。

図６には、本実施形態で用いる顔特徴点（３２個）を、番号を付して示している。特徴点番号「３３」は、他の特徴点を用いて「両目特徴点の重心と鼻頂点を結んだ直線の中点」として算出する。

制御部２１の学習管理部２１０は、生成した円柱座標系座標から顔特徴点を特定し、その位置（座標）を算出する。本実施形態では、顔の表情のトラッキングや顔の認識等に使われている公知のＡＡＭ（Active Appearance Models）法を用いた自動抽出を行なう。このＡＡＭ法では、対象物体（ここでは、顔）を有限個の頂点でモデル化し、このモデルを入力画像に対してフィッティングすることにより、対象物体の特徴点を抽出する。

そして、学習管理部２１０は、抽出した顔特徴点を、抽出位置に対応付けた顔画像を出力部１５に表示する。この場合、各顔特徴点の位置を移動可能に配置する。
ここで、担当者は、出力部１５に表示された顔画像上の顔特徴点の位置を確認し、必要に応じて修正を行なう。そして、顔画像上において顔特徴点の確認や修正の完了入力が行なわれた場合、学習管理部２１０は、各顔特徴点の円柱座標系座標を、各顔特徴点の番号に関連付けた顔特徴点データＤ４を生成して学習用メモリに記憶する。

＜顔特徴点の正規化処理＞
次に、図７を用いて、顔特徴点の正規化処理（ステップＳ１−３）を説明する。
まず、制御部２１の学習管理部２１０は、抽出した顔特徴点データを用いて、重回帰分析による正規化処理を実行する（ステップＳ３−１）。ここでは、顔の特徴点から重回帰分析でＸＹＺ軸での回転を求め、顔の向きを合わせる。顔のサイズは、両目中心の間隔が所定値（本実施形態では６４ｍｍ）になるように正規化する。この処理の詳細については、図８を用いて後述する。

次に、制御部２１の学習管理部２１０は、特徴点の平均の計算処理を実行する（ステップＳ３−２）。具体的には、学習管理部２１０は、各学習対象者についての３３個の各顔特徴点データの座標を用いて、各特徴点の平均座標を算出する。これにより、学習対象者の平均顔における各特徴点の座標が算出される。

次に、制御部２１の学習管理部２１０は、プロクラステス解析による正規化処理を実行する（ステップＳ３−３）。具体的には、学習管理部２１０は、ステップＳ３−２で算出した平均座標と各顔特徴点間の二乗距離の和が最小になるように、最小二乗法を用いて、各特徴点の平行移動、回転、リサイズを行なう。ここでは、耳珠点（特徴点番号７、１３）や下顎角点（特徴点番号８、１２）等を除いた２５個（図６の特徴点番号１〜６，１０，１４〜２２，２４〜２７，２８〜３２）の顔特徴点を用いる。これにより、顔の特徴点を平均顔に近くなるように調整される。

＜重回帰分析による正規化処理＞
次に、図８（ａ）を用いて、重回帰分析による正規化処理（ステップＳ３−１）を説明する。この処理により、顔の向きを合わせるとともに、顔のサイズの正規化を行なう。

まず、制御部２１の学習管理部２１０は、両目特徴点の重心の特定処理を実行する（ステップＳ４−１）。具体的には、学習管理部２１０は、顔特徴点データの内、目に関する顔特徴点を特定する。次に、学習管理部２１０は、抽出した顔特徴点の座標について、重心算出手段を用いて、両目の重心の位置を算出する。そして、学習管理部２１０は、算出した両目の重心の位置を原点として特定する。

次に、制御部２１の学習管理部２１０は、Ｘ軸、Ｙ軸周りの傾き補正処理を実行する（ステップＳ４−２）。具体的には、学習管理部２１０は、両目の重心の位置を原点として、顔輪郭と鼻頂点を除いた顔特徴点の集合に対して、Ｚ座標を目的変数、Ｘ，Ｙ座標を説明変数として重回帰分析を行なう。

ここでは、図８（ｂ）に示すように、重回帰分析により、回帰平面ＲＰＳを算出する。そして、学習管理部２１０は、算出した回帰平面ＲＰＳの法線ＮＶがＺ軸と平行になるように、回帰平面ＲＰＳをＸ，Ｙ軸周りに回転させる。

次に、制御部２１の学習管理部２１０は、Ｚ軸周りの傾き補正処理を実行する（ステップＳ４−３）。具体的には、学習管理部２１０は、顔の中心線を算出する顔特徴点の集合を用いる。本実施形態では、顔特徴点として、両目の重心、鼻の頂点、鼻の下端、上唇の上端、下唇の下端、顎先端座標の集合を用いる。

図８（ｃ）に示すように、この集合に対して、Ｙ座標を目的変数、Ｘ座標を説明変数として、回帰直線ＲＬを算出する。そして、学習管理部２１０は、算出した回帰直線ＲＬの傾きがＹ軸と平行になるように、Ｚ軸周りに回転させる。

次に、制御部２１の学習管理部２１０は、スケーリング処理を実行する（ステップＳ４−４）。具体的には、学習管理部２１０は、両目中心間の距離が６４ｍｍとなるように、拡大又は縮小を行なう。

＜形状の相同モデル化処理＞
次に、図９（ａ）を用いて、相同モデル化処理（ステップＳ１−４）における形状の相同モデル化処理について説明する。
まず、制御部２１の学習管理部２１０は、顔の特徴点座標の合わせ込み処理を実行する（ステップＳ５−１）。具体的には、学習管理部２１０は、メモリに記憶したジェネリックモデルのメッシュポイントの識別情報を用いて、正規化した各顔特徴点の座標を、特定したメッシュポイントの顔特徴点に一致させる。

次に、制御部２１の学習管理部２１０は、形状への合わせ込み処理を実行する（ステップＳ５−２）。具体的には、学習管理部２１０は、各顔特徴点を一致させたジェネリックモデルにおける各顔パーツの形状を、正規化した各顔パーツの形状に一致させる。

次に、制御部２１の学習管理部２１０は、三角形分割処理を実行する（ステップＳ５−３）。具体的には、学習管理部２１０は、ジェネリックモデルの形状に一致させた正規化した各顔パーツの形状において、ジェネリックモデルの各ポリゴン（三角形）に対応する各メッシュポイントの座標を算出したモデル（形状の相同モデル）を、学習用メモリに記憶する。

図９（ｂ）に示すように、目、鼻、口といった顔パーツ周辺のメッシュを細かくして、その他の領域メッシュを広くしたメッシュモデルを用いることにより、全体のメッシュポイントの数を抑えることができる。なお、額部分については、前髪の存在が統計処理において悪影響を与えるため、削除している。

＜テクスチャの相同モデル化処理＞
次に、図１０（ａ）を用いて、テクスチャの相同モデル化処理について説明する。
まず、制御部２１の学習管理部２１０は、正規化したメッシュモデルの各頂点の座標について平均の算出処理を実行する（ステップＳ６−１）。具体的には、学習管理部２１０は、予め記憶しているテクスチャ平均算出ルールを用いて、正規化した各顔特徴点の座標から、各メッシュポイント（頂点）の平均座標を算出する。

次に、制御部２１の学習管理部２１０は、円柱座標系２次元ポリゴン上のテクスチャを平均した２次元ポリゴンに変形する処理を実行する（ステップＳ６−２）。具体的には、学習管理部２１０は、円柱座標系の各２次元顔データのポリゴン上のテクスチャ（画素情報）を、ステップＳ６−１において算出した平均座標に変形し、変形した平均座標におけるテクスチャを学習用メモリに記憶する。
そして、制御部２１の学習管理部２１０は、各平均座標におけるテクスチャの平均を算出することにより、テクスチャの相同モデルを算出し、学習用メモリに記憶する。
図１０（ｂ）には、各メッシュモデルの平均座標に変形したテクスチャの平均化した平均顔を示す。

＜正規化された円柱座標系画像の生成処理＞
次に、正規化された円柱座標系画像の生成処理（ステップＳ１−５）を説明する。
ステップＳ２−２において生成した円柱座標系画像は、データ毎に顔パーツ（目、鼻、口等）の位置が異なっているため、そのまま解析できない。そこで、各データの顔パーツの位置が揃うように、円柱座標系画像の正規化を行なう。

ここで、正規化に利用する画像正規化メッシュモデルについて説明する。この画像正規化メッシュモデルは、３３個の顔特徴点を利用し、円柱座標系上で、メッシュを格子状に張り付ける。

ここでは、図１１（ａ）に示すように、メッシュポイント数として5584個、ポリゴン（三角形）数として10862個のメッシュモデルを用いる。
制御部２１の学習管理部２１０は、全データについて、画像正規化メッシュモデルの平均値と、各ポリゴンのテクスチャの平均値を算出する。

この結果、図１１（ｂ）に示すように、算出した平均値のテクスチャから平均顔が生成される。
入力された円柱座標系画像を平均メッシュと一致させるように各ポリゴンを変形すると顔を構成するメッシュが平均顔メッシュに一致する。従って、円柱座標系画像が正規化されたことになる。

＜２次元顔画像の角度学習処理＞
次に、図１２を用いて、２次元顔画像の角度学習処理を説明する。この処理では、２次元顔画像から撮影された角度（顔の向き）を推定するモデルを生成する。この角度学習処理は、経年変化データ記憶部２２及びスナップショットデータ記憶部２３に記録された３次元顔データ（合計Ｎ個）の相同モデルを用いて実行される。なお、経年変化データ記憶部２２に記録された３次元顔データにおいては、加齢後の３次元顔データのみの相同モデルを用いる。

まず、制御部２１の第１学習部２１１は、予め定められた処理対象角度毎に、以下の処理を繰り返して実行する。
まず、制御部２１の第１学習部２１１は、指定角度への回転処理を実行する（ステップＳ７−１）。具体的には、第１学習部２１１は、３次元相同モデルを、所定対象角度に回転させる。そして、第１学習部２１１は、所定対象角度に回転させたときの回転角度を学習用メモリに記憶する。

次に、制御部２１の第１学習部２１１は、３次元相同モデルから２次元相同モデルへの変換処理を実行する（ステップＳ７−２）。具体的には、学習管理部２１０は、回転させた３次元相同モデルをＸＹ平面に射影することにより、２次元相同モデルを生成する。

次に、制御部２１の第１学習部２１１は、２次元特徴点の特定処理を実行する（ステップＳ７−３）。具体的には、制御部２１の第１学習部２１１は、算出した２次元相同モデルにおいて、３次元相同モデルにおける顔特徴点に対応する座標を特定する。そして、第１学習部２１１は、特定した顔特徴点を２次元特徴点として学習用メモリに記憶する。

次に、制御部２１の第１学習部２１１は、顔の背後に隠れる特徴点の除外処理を実行する（ステップＳ７−４）。具体的には、第１学習部２１１は、２次元相同モデルの特徴点の中で、３次元相同モデルにおいて、撮影側（視点側）にある顔特徴点と、背面側にある顔特徴点とを識別する。そして、第１学習部２１１は、背面側にある顔特徴点を、顔の背後に隠れる顔特徴点を学習用メモリから削除して、撮影側の２次元特徴点のみを記憶する。
以上の処理を、処理対象の角度毎にループを繰り返して実行する。

そして、制御部２１の主成分分析部２１４ａは、上述の繰り返し処理により特定した２次元特徴点を用いて、主成分分析処理を実行する（ステップＳ７−５）。具体的には、主成分分析部２１４ａは、各データｉ（ｉ＝１〜Ｎ×処理対象角度数）の回転後の２次元特徴点について主成分分析を行なう。この場合、２次元特徴点は、以下のように示される。

次に、制御部２１の機械学習部２１４ｂは、機械学習処理を実行する（ステップＳ７−６）。具体的には、機械学習部２１４ｂは、従属変数（予測対象特徴量）として「回転角度（θ，ω）」を用いて、説明変数（予測時に使用する特徴量）として「全データの２次元特徴点の主成分得点の標準偏差」を用いる。そして、機械学習部２１４ｂは、この従属変数と説明変数を用いて機械学習処理を実行する。そして、第１学習部２１１は、機械学習部２１４ｂによって生成された角度予測モデルをモデル記憶部２５に記録する。

＜機械学習処理＞
ここで、図１３及び図１４を用いて、機械学習処理を説明する。この機械学習処理では、ある特徴ベクトルｘ（従属変数である予測対象特徴量）から別の特徴ベクトルｙ（説明変数である予測時に使用する特徴量）を予測する。この場合、重回帰分析を用いて、ｙとｘの関係を学習し、ｘ_s(n),jからｙ_i,jを予測するモデルを求める。具体的には、以下の式における「ａ_i,s(h)」と「ｂ_i」を算出する。

重回帰分析を行なう場合、独立変数の選択が重要である。単に「ｙ」と相関の高い「ｘ」を順に選択すると、変数間に相関が高いものだけが選択され、変数間の独立性が保てない可能性がある。そこで、各変数の妥当性（ｔ値）と独立性（相関係数が最大相関係数Ｃmax以下）が高く、予測モデル全体の信頼性（bic：ベイズ情報量基準）が高いものを選択するアルゴリズムを用いる。以下、本実施形態では、一般に「変数増減法」（「ステップワイズ法」）と呼ばれるアルゴリズムにおける処理を説明する。

図１３に示すように、まず、制御部２１の機械学習部２１４ｂは、初期値設定処理を実行する（ステップＳ８−１）。具体的には、機械学習部２１４ｂは、メモリに記憶されているベイズ情報量基準の最小値（bic_min）に極めて小さい値を初期設定し、変数セット（select_id）を空集合にリセットする。

次に、制御部２１の機械学習部２１４ｂは、現時点でのベイズ情報量基準の設定処理を実行する（ステップＳ８−２）。具体的には、機械学習部２１４ｂは、現時点でのベイズ情報量基準の最小値（bic_min_pre）に、ベイズ情報量基準の最小値（bic_min）を代入する。
そして、処理対象の主成分番号ｉを順次、特定し、以下の繰り返し処理を実行する。「ｉ」は、処理対象として選択された次元番号である。この繰り返し処理においては、処理対象の主成分番号ｉが、変数セットに追加すべき成分（追加対象成分）か否かを判定する。

ここで、まず、制御部２１の機械学習部２１４ｂは、主成分番号ｉと変数セット（select_id）との相関の最小値が最大相関係数Ｃmaxより小さいか否かの判定処理を実行する（ステップＳ８−３）。具体的には、制御部２１の機械学習部２１４ｂは、処理対象の主成分番号ｉと、メモリに記憶された変数セット（select_id）との相関係数を算出する。そして、機械学習部２１４ｂは、算出した相関係数と最大相関係数Ｃmaxとを比較する。

ここで、相関の最小値が最大相関係数Ｃmaxより小さい場合（ステップＳ８−３において「ＹＥＳ」の場合）、制御部２１の機械学習部２１４ｂは、変数セット（select_id）に追加対象成分を加えた変数を用いて重回帰分析を行ない、ベイズ情報量基準及び追加した変数のｔ値の算出処理を実行する（ステップＳ８−４）。具体的には、制御部２１の機械学習部２１４ｂは、メモリに記憶された変数セットに、処理対象の主成分番号iを加えた変数で重回帰分析を行なってベイズ情報量基準を算出する。そして、公知のｔ検定によりｔ値を算出する。

次に、制御部２１の機械学習部２１４ｂは、ベイズ情報量基準の最小値、ｔ値が条件を満足するか否かの判定処理を実行する（ステップＳ８−５）。ここでは、条件として、算出したベイズ情報量基準の最小値が現在のベイズ情報量基準より大きいこと、かつｔ値が「２」以上であることを用いる。

ここで、ベイズ情報量基準の最小値、ｔ値の条件を満足する場合（ステップＳ８−５において「ＹＥＳ」の場合）、制御部２１の機械学習部２１４ｂは、ベイズ情報量基準の最小値及び主成分番号の更新処理を実行する（ステップＳ８−６）。具体的には、制御部２１の機械学習部２１４ｂは、ベイズ情報量基準の最小値（bic_min）に、ベイズ情報量基準（bic）を代入する。更に、処理対象の主成分番号ｉを追加対象成分（add_id）として記憶する。

一方、主成分番号ｉと変数セット（select_id）との相関の最小値が最大相関係数Ｃmax以上の場合（ステップＳ８−３において「ＮＯ」の場合）、制御部２１の機械学習部２１４ｂは、ステップＳ８−４〜Ｓ８−６の処理をスキップする。

また、ベイズ情報量基準の最小値、ｔ値が「２」以上についての条件を満足しない場合（ステップＳ８−５において「ＮＯ」の場合）、制御部２１の機械学習部２１４ｂは、ステップＳ８−６の処理をスキップする。

そして、すべての主成分番号ｉについて、繰り返し処理（ステップＳ８−３〜Ｓ８−６）を終了した場合、制御部２１の機械学習部２１４ｂは、ベイズ情報量基準の最小値が更新されたか否かの判定処理を実行する（ステップＳ８−７）。具体的には、機械学習部２１４ｂは、ベイズ情報量基準の最小値（bic_min）が、ステップＳ８−２において設定した現時点でのベイズ情報量基準の最小値（bic_min_pre）と一致しているか否かを判定する。機械学習部２１４ｂは、一致している場合にはベイズ情報量基準の最小値は更新されていないと判定し、一致していない場合にはベイズ情報量基準の最小値は更新されたと判定する。

ここで、ベイズ情報量基準の最小値が更新された場合（ステップＳ８−７において「ＹＥＳ」の場合）、制御部２１の機械学習部２１４ｂは、変数更新処理を実行する（ステップＳ８−８）。この変数更新処理の詳細については、図１４を用いて説明する。

次に、制御部２１の機械学習部２１４ｂは、変数更新が成功したか否かの判定処理を実行する（ステップＳ８−９）。具体的には、機械学習部２１４ｂは、後述する変数更新処理において、メモリに記録されたフラグ（変数更新成功フラグ、変数更新失敗フラグ）により、変数更新成功を判定する。

ここで、メモリに変数更新成功フラグが記録されており、変数更新が成功したと判定した場合（ステップＳ８−９において「ＹＥＳ」の場合）、制御部２１の機械学習部２１４ｂは、ステップＳ８−２以降の処理を繰り返して実行する。

一方、ベイズ情報量基準の最小値が更新されなかった場合、又は変数更新失敗フラグが記録されており、変数更新が成功しなかったと判定した場合（ステップＳ８−７，Ｓ８−９において「ＮＯ」の場合）、制御部２１の機械学習部２１４ｂは、機械学習処理を終了する。

＜変数更新処理＞
次に、図１４を用いて、変数更新処理（ステップＳ８−８）を説明する。この処理においては、追加対象成分を含めた変数セットが妥当か否かを判定する。そして、妥当でない変数を削除することにより、妥当な変数セットになった場合には、この変数セットを説明変数として特定する。
まず、機械学習部２１４ｂは、新たな変数セットの設定処理を実行する（ステップＳ９−１）。具体的には、機械学習部２１４ｂは、メモリに記憶されている変数セットに追加対象成分（add_id）を追加して、新たな変数セット（select_id_new）を生成する。

次に、機械学習部２１４ｂは、以下のステップＳ９−２〜Ｓ９−４の処理を、無限ループにおいて繰り返す。
まず、機械学習部２１４ｂは、新たな変数セット（select_id_new）を用いて重回帰分析を行ない、ベイズ情報量基準（bic）とすべての変数のｔ値の算出処理を実行する（ステップＳ９−２）。具体的には、機械学習部２１４ｂは、新たな変数セットを用いて重回帰分析により、ベイズ情報量基準を算出する。更に、公知のｔ検定によりｔ値を算出する。

次に、機械学習部２１４ｂは、新たな変数セットの各変数のｔ値のうちで、最小のｔ値が２より小さいか否かの判定処理を実行する（ステップＳ９−３）。
ここで、最小のｔ値が「２」より小さい場合（ステップＳ９−３において「ＹＥＳ」の場合）、機械学習部２１４ｂは、新たな変数セットから最小のｔ値となる変数の削除処理を実行する（ステップＳ９−４）。具体的には、機械学習部２１４ｂは、新たな変数セットにおいて最小のｔ値を算出した変数を、この新たな変数セットから削除する。
そして、ステップＳ９−２以降の処理を繰り返して実行する。

一方、新たな変数セットに含まれる変数のｔ値がすべて２以上であることにより、最小のｔ値が２以上の場合（ステップＳ９−３において「ＮＯ」の場合）、機械学習部２１４ｂは、この無限ループを終了する。そして、機械学習部２１４ｂは、ベイズ情報量基準が現時点でのベイズ情報量基準の最小値より小さいか否かの判定処理を実行する（ステップＳ９−５）。具体的には、機械学習部２１４ｂは、ベイズ情報量基準（bic）が、ステップＳ８−２において設定した現時点でのベイズ情報量基準の最小値（bic_min_pre）より小さいか否かを判定する。

ここで、ベイズ情報量基準が現時点でのベイズ情報量基準の最小値より小さい場合（ステップＳ９−５において「ＹＥＳ」の場合）、機械学習部２１４ｂは、変数更新成功処理を実行する（ステップＳ９−６）。具体的には、機械学習部２１４ｂは、変数セット（select_id）に、新たな変数セット（select_id_new）を代入する。更に、機械学習部２１４ｂは、変数更新成功フラグをメモリに記録する。

一方、ベイズ情報量基準が現時点でのベイズ情報量基準の最小値以上の場合（ステップＳ９−５において「ＮＯ」の場合）、機械学習部２１４ｂは、変数更新失敗処理を実行する（ステップＳ９−７）。具体的には、機械学習部２１４ｂは、変数更新失敗フラグをメモリに記録する。

＜２次元から３次元への学習処理＞
次に、図１５を用いて、２次元顔画像を３次元顔データに変換する第１学習処理を説明する。ここでは、同じ場面で任意の枚数の２次元顔画像がある場合や、任意の角度から撮影された２次元顔画像がある場合にも、的確な予測ができるようにするための学習を行なう。その場合、組み合わせが膨大になり、データベースの容量が問題となるため、予め指定された組み合わせ（例えば正面と側面）のみ学習しておき、それ以外の組み合わせの場合は、その都度、学習してモデルを作成する。

まず、制御部２１の主成分分析部２１４ａは、３次元メッシュ（相同モデル）を用いて、予め３次元形状の主成分分析処理を実行する（ステップＳ１０−１）。具体的には、主成分分析部２１４ａは、各データの３次元メッシュ点について主成分分析を行なう。これにより、２次元メッシュ点は、平均値、主成分得点、主成分ベクトルで表現すると、次式のようになる。

そして、制御部２１の第１学習部２１１は、指定角度への回転処理を実行する（ステップＳ１０−２）。具体的には、第１学習部２１１は、回転角度を指定する画面を出力部１５に表示する。ここでは、例えば正面（０度）と側面（９０度）とを指定する。回転角度が入力された場合、第１学習部２１１は、入力された回転角度に応じて３次元相同モデルを回転させる。

次に、制御部２１の第１学習部２１１は、３次元相同モデルから２次元相同モデルの生成処理を実行する（ステップＳ１０−３）。具体的には、第１学習部２１１は、回転させた３次元相同モデルを２次元面（ＸＹ平面）に射影することにより、２次元相同モデルを生成する。

次に、制御部２１の第１学習部２１１は、２次元画像の生成処理を実行する（ステップＳ１０−４）。ここでは、グレーの２次元相同モデルを用いる場合を想定する。具体的には、第１学習部２１１は、生成した２次元相同モデルの各メッシュにおける輝度に基づいてグレー化した画像を生成する。

次に、制御部２１の主成分分析部２１４ａは、２次元画像の主成分分析処理を実行する（ステップＳ１０−５）。具体的には、主成分分析部２１４ａは、ステップＳ１０−４において生成した２次元画像を主成分分析し、以下のように表現する。

次に、制御部２１の第１学習部２１１は、２次元特徴点の特定処理を実行する（ステップＳ１０−６）。具体的には、第１学習部２１１は、ステップＳ７−３と同様に、算出した２次元相同モデルにおける顔特徴点の座標を特定する。そして、第１学習部２１１は、特定した座標をメモリに記憶する。

次に、制御部２１の第１学習部２１１は、顔の背後に隠れる特徴点の除外処理を実行する（ステップＳ１０−７）。具体的には、第１学習部２１１は、ステップＳ７−４と同様に、顔の背後に隠れる顔特徴点をメモリから削除する。

次に、制御部２１の主成分分析部２１４ａは、２次元特徴点の主成分分析処理を実行する（ステップＳ１０−８）。具体的には、主成分分析部２１４ａは、ステップＳ７−５と同様に、メモリに記憶した顔特徴点を用いて主成分分析処理を実行する。

そして、制御部２１の機械学習部２１４ｂは、ステップＳ７−６と同様に、機械学習処理を実行する（ステップＳ１０−９）。具体的には、機械学習部２１４ｂは、従属変数及び説明変数を用いて、機械学習処理を実行する。ここでは、従属変数として「３次元メッシュ点の主成分得点を標準偏差で除算したもの」を用い、説明変数として「全データの２次元特徴点、及び全データの２次元画像の主成分得点を標準偏差で除算したもの」を用いる。そして、第１学習部２１１は、機械学習部２１４ｂによって生成された３次元化予測モデルをモデル記憶部２５に記録する。

＜２次元→３次元の予測検証＞
次に、図１６及び図１７を用いて、第１学習によって算出した２次元から３次元への変換に用いるモデルデータの検証処理を説明する。

図１５において、３３個の２次元特徴点（座標）と、２次元顔画像、３次元メッシュ点について、それぞれ主成分分析を行なった。そして、この主成分分析において累積寄与率が９５％となる主成分数を算出した。累積寄与率が９５％となる主成分数は、２次元特徴点（６６次元）で「２９」、３次元メッシュ点（32223次元）で「６０」であった。このように、次元数がかなり異なるにも関わらず、主成分数は同じオーダーとなっている。２次元顔画像（810000次元）は個人差が激しいため、累積寄与率が９５％となる主成分数は「２２６」と多くなった。

２次元特徴点との相関では、１００番目までの主成分では、最大相関係数はほぼ０．２以上を確保しているが、２００番以降では、ほとんど相関がない値に低下する。一方、画像との相関では、２次元特徴点と比較すると、相関は小さい傾向になるものの、２００番以降においても、０．１程度を確保している。

これは、以下のように理解できる。２次元特徴点はわずか３３点であり、小さい主成分番号（形状のおおまかな特徴を示す成分）については相関が高いが、大きい主成分番号（細かな形状を示す成分）との相関は低い。一方、画像は、小さい主成分番号との相関は比較的低いが、大きい主成分番号との相関は比較的高い。本実施形態では、より最大相関値が高くなる特徴点として、２次元特徴点と画像とを結合した特徴量を用いる。学習時に選択された主成分数（説明変数）に基づくと、２次元特徴点と画像とを結合した方が、選択された主成分数が多いことがわかる。

ここで、求めた予測モデルの妥当性と説明力について説明する。
Ｆ値はモデルの妥当性を示すパラメータである。ｔ値は各変数の妥当性を示すパラメータである。Ｆ値及びｔ値は、それぞれ「２」以上であれば妥当とされているが、いずれの成分においても「２」以上の値が確保されていることが判明した。

決定係数は、モデルの説明力を示すパラメータであり、値はモデルが予測対象データを説明する割合を示す。具体的には、値が「１」の場合には「すべて予測可能」であり、値が「０」の場合には「全く予測できていない」ことを示す。２次元特徴点のみの場合、４０番目までの主成分についてもほぼ５０％以上が確保され、１００番近傍では２０％を下回っていることが判明した。２次元特徴点及び画像の場合、５０番目までの主成分についてもほぼ５０％以上が確保され、１００番近傍でも２０％を上回っていることが判明した。これにより、２次元特徴点のみの場合と比較すると、２次元特徴点及び画像を用いた場合の精度が向上していることが分かる。

次に、２次元から３次元に変換する予測モデルデータの妥当性を検証するために、１００個（累積寄与率９７．５％となる個数）の３次元メッシュ点の主成分得点Ｐ３を予測する重回帰分析を行なう。この場合、変数選択の基準として、最大相関係数Ｃmaxを「0.15」と設定する。

次に、図１６を用いて、この２次元から３次元に変換する予測モデルデータの妥当性検証処理を実行する。ここでは、以下の処理を、処理対象データｊ（ｊ＝１〜ｎ）を順次、特定して、以下の処理を繰り返す。

まず、制御部２１の第１学習部２１１は、処理対象データｊを除いた残り〔ｎ−１〕人のデータで機械学習した予測モデルの作成処理を実行する（ステップＳ１１−１）。具体的には、第１学習部２１１は、〔ｎ−１〕人のデータを用いて、前述した第１学習処理を実行して、３次元化変換モデルを生成する。

次に、制御部２１の第１学習部２１１は、処理対象データｊの３次元メッシュ点について予測モデルを利用した推定処理を実行する（ステップＳ１１−２）。具体的には、第１学習部２１１は、処理対象データｊを入力データとし、生成した３次元化変換モデルを適用して、３次元メッシュ点を算出する。

次に、制御部２１の第１学習部２１１は、処理対象データｊの３次元データ（正解）と、推定した結果との比較処理を実行する（ステップＳ１１−３）。具体的には、第１学習部２１１は、ステップＳ１１−１において生成した３次元顔データと、処理対象データｊの３次元顔データとを比較する。比較した結果、３次元メッシュの各点のずれ量をメモリに記録する。この場合、主成分得点の予測誤差の平均は「0.22」未満になった。主成分得点の分散は「１」に正規化したので、精度良く推定できていることがわかる。なお、２次元特徴点のみでの予測より、２次元特徴点及び２次元画像での予測の方が、精度向上を図れることも判明した。

更に、３次元メッシュ点の予測誤差の平均は、２次元特徴点のみを用いた場合は「1.546391mm」、２次元特徴点及び２次元画像を用いた場合は「1.477514mm」となった。この場合も、２次元特徴点のみでの予測より、２次元特徴点及び２次元画像での予測の方が、精度向上を図れることが判明した。

図１７（ａ）は、経年変化前の２次元顔画像（入力データ）である。また、図１７（ｂ）は、図１７（ａ）に示した顔画像について、１０年経過後の顔画像（正解）である。
図１７（ｃ）は、図１７（ａ）に示した顔画像の２次元特徴点のみを用いて予測した加齢化後の顔画像である。また、図１７（ｄ）は、図１７（ａ）に示した顔画像の２次元特徴点及び画像を用いて予測した加齢化後の顔画像である。
２次元特徴点のみでの予測よりも、２次元特徴点及び２次元画像での予測の方が、精度良く予測できていることが確認できる。

＜テクスチャ加齢化の学習処理＞
次に、図１８を用いて、テクスチャ加齢化の第２学習処理を実行する。この第２学習処理においては、主成分分析を用いたテクスチャの加齢化処理と、ウェーブレット変換を用いたテクスチャの加齢化処理とを実行する。ここでは、主成分分析を用いたテクスチャの加齢化処理を説明した後、ウェーブレット変換を用いたテクスチャの加齢化処理について説明する。

＜主成分分析を利用したテクスチャの加齢化処理＞
ここでは、ステップＳ１−５において生成した正規化円柱座標系画像を用いて、３次元顔データにおける加齢によるテクスチャの変化を予測するモデルを機械学習で算出する。

まず、加齢化予測システム２０の制御部２１は、正規化円柱座標系画像の主成分分析処理を実行する（ステップＳ１２−１）。具体的には、制御部２１の第２学習部２１２は、経年変化データ記憶部２２から経年変化データ、スナップショットデータ記憶部２３からスナップショットデータを取得する。そして、制御部２１の主成分分析部２１４ａは、円柱座標系画像（取得した経年変化データ及びスナップショットデータの円柱座標系画像）について主成分分析を行なう。この場合、主成分分析部２１４ａは、経年変化データの変化前（又は変化後のいずれか）とスナップショットデータとを用いて、主成分ベクトルの方向を決定し、経年変化データを用いて主成分得点を算出する。ここで、各データを、平均値、主成分得点、主成分ベクトルで表現すると、次のようになる。

ここで、「ｊ」は加齢インデックスであり、加齢後が「ｊ」＝１、加齢前が「ｊ」＝０を示す。

次に、加齢化予測システム２０の制御部２１は、ステップＳ７−６と同様に、機械学習処理を実行する（ステップＳ１２−２）。具体的には、制御部２１の機械学習部２１４ｂは、従属変数として「単位年月当たりに正規化されたテクスチャ主成分得点の加齢変化差分ベクトル」を用い、説明変数として「加齢前のテクスチャの主成分得点」を用いる。そして、第２学習部２１２は、機械学習部２１４ｂによって生成されたテクスチャ加齢モデルをモデル記憶部２５に記録する。

＜主成分分析を利用したテクスチャ加齢化の予測検証＞
次に、図１９を用いて、主成分分析を利用したテクスチャにおいて加齢化に変換する処理を説明する。

図１８に示した主成分分析を利用したテクスチャ加齢化において算出した３５番までの主成分の累積寄与率は９５％を超えており、主成分が２５番以降の寄与率は０．１％未満である。各主成分について図２０に示す。寄与率が低い主成分になるほど、高周波成分になっていることがわかる。

また、図２１には、各主成分の寄与を画像で確認するための２枚の画像について、主成分の上限を変更して再構成した画像を示している。この結果、シミ、皺のような細部は、全主成分を考慮しないと再現できないことが分かる。

そして、図１９に示すように、この主成分分析を用いたテクスチャ加齢化の予測モデルデータの妥当性検証処理を実行する。ここでは、以下の処理を、処理対象データｊ（ｊ＝１〜ｎ）について繰り返して実行する。

まず、加齢化予測システム２０の制御部２１は、データｊを除いた残り〔ｎ−１〕人のデータで機械学習した予測モデルの作成処理を実行する（ステップＳ１３−１）。具体的には、制御部２１の第２学習部２１２は、〔ｎ−１〕人のデータを用いて上記ステップＳ１２−１〜Ｓ１２−２の第２学習処理を実行して、テクスチャ加齢化の変換モデルを生成する。

次に、加齢化予測システム２０の制御部２１は、データｊの経年変化前データを用いて予測モデルを利用して加齢化処理を実行する（ステップＳ１３−２）。具体的には、制御部２１の第２学習部２１２は、経年変化前のデータｊを入力データとし、生成したテクスチャ加齢化への変換モデルを適用して、経年変化後の３次元メッシュ点を算出する。

次に、加齢化予測システム２０の制御部２１は、データｊの経年変化後データ（正解）と加齢化の結果の比較処理を実行する（ステップＳ１３−３）。具体的には、制御部２１の第２学習部２１２は、ステップＳ１３−２において生成した経年変化後の３次元顔データと、経年変化データ記憶部２２に記憶しているデータｊの経年変化後の３次元顔データとを比較し、３次元メッシュの各点の誤差を算出する。この場合、算出した誤差は、約６０％以下になることが判明した。

＜ウェーブレット（WAVELET）変換を利用したテクスチャの加齢化処理＞
次に、図２２を用いて、ウェーブレット変換を利用したテクスチャの加齢化処理を説明する。上述した主成分分析を利用したテクスチャの加齢化処理では、加齢差分データを推定する。しかしながら、既に存在しているシミ、皺が存在する場合、主成分分析を利用した加齢化では、これらを濃くするわけではない。そこで、既に存在しているシミ、皺を利用して加齢化するために、ウェーブレット変換を利用した加齢変化推定を行なう。

ここでは、図２２（ａ）に示すように、加齢化予測システム２０の制御部２１は、ウェーブレット成分の加齢による増加率（ウェーブレット係数Ｒi）の算出処理を実行する（ステップＳ１４−１）。具体的には、制御部２１の第２学習部２１２は、経年変化データ記憶部２２に記憶されている経年変化データを抽出する。第２学習部２１２は、データ番号ｊの各２次元画像のすべてのウェーブレット係数Ｒiをウェーブレット係数番号ｉ毎（ピクセル毎）に算出する。第２学習部２１２は、算出した加齢化前の各画像データの各ウェーブレット係数Ｒi（ピクセル毎の値）を合計する。また、第２学習部２１２は、算出した加齢化後の各画像データの各ウェーブレット係数Ｒi（ピクセル毎の値）を合計する。そして、合計した加齢化後の画像におけるウェーブレット係数Ｒi（ピクセル毎の値）を、合計した加齢前の画像におけるウェーブレット係数Ｒi（ピクセル毎の値）で除算することにより、各データのウェーブレット係数Ｒiの変化率を計算する。この場合、第２学習部２１２は、ウェーブレット係数Ｒｉが１未満となる場合には、「１」として変化率を計算する。
なお、図２２（ａ）に示す式において、ｉは各ウェーブレット係数番号、ｊはデータ番号、ａは加齢化後、ｂは加齢化前を意味している。

その結果、ウェーブレット係数Ｒｉの最大値は「5.407101」、ウェーブレット係数Ｒｉの平均値は「1.311112」であった。なお、図２２（ｂ）には、ウェーブレット係数Ｒｉを可視化して表示した画像を示している。この画像においては、黒が最小値の「１」のウェーブレット係数Ｒｉを示し、白い程、値が大きいことを示している。また、図２２（ｂ）においては、左上になる程、低周波成分を示した画像である。具体的には、各行について横方向の１次元ウェーブレット変換を行なって、低域成分と高域成分に分離し、その変換された信号の各列に対して縦方向の１次元変換を行なうということを繰り返した画像を示している。

＜３次元形状加齢化の学習処理＞
次に、図２３を用いて、３次元形状加齢化の第３学習処理を実行する。この場合、上述した形状の相同モデル化処理において生成した相同モデルを用いて、３次元顔画像における加齢による形状変化を予測するモデルを機械学習で算出する。この場合、選択した変数間の最大相関係数Ｃmaxは「0.15」に設定する。

ここで、まず、加齢化予測システム２０の制御部２１は、３次元メッシュの主成分得点の算出処理を実行する（ステップＳ１５−１）。具体的には、制御部２１の第３学習部２１３は、経年変化データ記憶部２２に記憶されていた経年変化データを抽出する。ここでは、１４４個の経年変化データを抽出する。第３学習部２１３は、上述したステップＳ１０−１における３次元メッシュ点の主成分分析において生成した３次元メッシュの主成分ベクトルを利用し、抽出した経年変化データについて、３次元メッシュの主成分得点を算出する。

次に、加齢化予測システム２０の制御部２１は、ステップＳ７−６と同様に、機械学習処理を実行する（ステップＳ１５−２）。具体的には、制御部２１の機械学習部２１４ｂは、従属変数及び説明変数を用いて機械学習処理を実行する。ここでは、従属変数として「単位年月当たりに正規化された３次元メッシュ主成分得点の加齢変化差分ベクトル」、説明変数として「加齢前の３次元メッシュの主成分得点」を用いる。そして、第３学習部２１３は、機械学習部２１４ｂによって生成された形状加齢モデルをモデル記憶部２５に記録する。

このようにして算出した加齢変化差分ベクトルと主成分得点との相関係数の最大値は、およそ「０．３」程度の相関があり、加齢変化と主成分得点には一定の相関があるため、回帰分析に用いることは妥当である。また、選択された変数の数は３０前後であり、算出に用いた経年変化データ数と比較すると妥当である。更に、いずれの主成分においても、Ｆ値は１０以上、ｔ値は２以上、決定係数はほぼ７０％以上が確保されていることが判明し、モデルの精度が高いことがわかる。

＜加齢化予測処理＞
次に、図２４を用いて加齢化予測処理について説明する。
まず、加齢化予測システム２０の制御部２１は、特徴点抽出処理を実行する（ステップＳ１６−１）。具体的には、制御部２１の加齢管理部２１５は、処理対象の２次元顔画像データから、ステップＳ１−２と同様にして、顔特徴点抽出処理を実行する。

次に、加齢化予測システム２０の制御部２１は、顔向き抽出処理を実行する（ステップＳ１６−２）。具体的には、制御部２１の第１処理部２１６は、モデル記憶部２５に記憶された角度予測モデルを用いて、抽出した顔特徴点の座標から、撮影された向きを特定し、２次元の顔画像を正面向きに変換する。

次に、加齢化予測システム２０の制御部２１は、３次元メッシュ化処理を実行する（ステップＳ１６−３）。具体的には、制御部２１の加齢管理部２１５は、モデル記憶部２５に記憶された３次元化予測モデルを用いて、正面向きの２次元の顔画像に対して３次元メッシュを生成する。

そして、加齢化予測システム２０の制御部２１は、正規化円柱座標系画像の生成処理を実行する（ステップＳ１６−４）。具体的には、制御部２１の加齢管理部２１５は、ステップＳ１６−３において算出した予測モデルを用いて、処理対象の２次元顔画像の２次元メッシュを作成する。加齢管理部２１５は、各ポリゴン内の画像を、円柱座標系座標におけるポリゴンにアフィン変換して作成する。ここで、処理対象の２次元顔画像の顔の向きにより、ポリゴン内の画像情報が不足している場合がある。この場合には、加齢管理部２１５は、顔の左右は対称であると仮定し、顔左右の中央線を対称線として、画像情報が不足しているポリゴンを、左右反対側のポリゴン内の画像情報を用いて補完する。

次に、加齢化予測システム２０の制御部２１は、３次元メッシュの加齢化処理を実行する（ステップＳ１６−５）。具体的には、制御部２１の第３処理部２１８は、ステップＳ１６−３で生成した３次元メッシュを、モデル記憶部２５に記憶された形状加齢モデルに入力し、３次元メッシュの加齢化を行なう。この場合、第３処理部２１８は、形状予測マスク領域以外の領域のみ加齢化を行なう。

ここで、図２６（ａ）に示す白い部分を、形状予測マスク領域として用いる。これらの部分には、頬や鼻筋等が含まれており、加齢による形状の変化が少ない領域である。
次に、加齢化予測システム２０の制御部２１は、テクスチャの加齢化処理を実行する（ステップＳ１６−６）。この処理の詳細については、図２５を用いて、後述する。

次に、加齢化予測システム２０の制御部２１は、加齢化３次元顔画像の生成処理を実行する（ステップＳ１６−７）。具体的には、制御部２１の第３処理部２１８は、ステップＳ１６−５及びＳ１６−６で生成した加齢化した画像を合成して、形状及びテクスチャを加齢化した画像を生成する。

図２７（ａ）には、３０歳の顔画像データを表示している。この顔画像データを入力データとして用いて、加齢化予測システム２０の制御部２１が、１０年後及び１５年後の加齢化予測を行なって算出した画像を、図２７（ｂ）及び図２７（ｃ）に示す。ここでは、２次元から３次元化への変換は行なっていないが、尤もらしく加齢化されていることがわかる。

次に、加齢化予測システム２０の制御部２１は、加齢化２次元顔画像の生成処理を実行する（ステップＳ１６−８）。具体的には、制御部２１の加齢管理部２１５は、生成した加齢化３次元顔画像を、ステップＳ１６−２において特定した顔の向きになるように回転させ、そのときの２次元顔画像を生成する。そして、加齢管理部２１５は、生成した２次元顔画像をディスプレイに表示する。

＜テクスチャの加齢化処理＞
次に、図２５〜図２７を用いて、上述したテクスチャの加齢化処理（ステップＳ１６−６）について説明する。

まず、制御部２１の第２処理部２１７は、ウェーブレット変換処理を実行する（ステップＳ１７−１）。具体的には、第２処理部２１７は、主成分分析を利用した加齢後画像Ｉｉをウェーブレット変換したウェーブレット係数Ｒ１ｉを算出する。

そして、ウェーブレット係数番号ｉについて、以下の処理を繰り返して実行する。
まず、制御部２１の第２処理部２１７は、２つのウェーブレット係数の絶対値を比較し、大小関係の判定処理を実行する（ステップＳ１７−２）。ここでは、主成分分析に基づくウェーブレット係数Ｒ１ｉの絶対値と、ウェーブレット変換を利用したテクスチャの加齢化処理により算出したウェーブレット係数Ｒ２ｉの絶対値に重み係数ｗを乗算した値とを比較する。そして、ウェーブレット係数Ｒ１ｉの絶対値が、ウェーブレット係数Ｒ２ｉの絶対値に重み係数ｗを乗算した値より大きいか否かを判定する。

ここで、ウェーブレット係数Ｒ１ｉの絶対値が、ウェーブレット係数Ｒ２ｉの絶対値に重み係数ｗを乗算した値より大きい場合（ステップＳ１７−２において「ＹＥＳ」の場合）、制御部２１の第２処理部２１７は、使用するウェーブレット係数Ｒ３ｉに、ウェーブレット係数Ｒ１ｉを代入する処理を実行する（ステップＳ１７−３）。

一方、ウェーブレット係数Ｒ１ｉの絶対値が、ウェーブレット係数Ｒ２ｉの絶対値に重み係数ｗを乗算した値以下の場合（ステップＳ１７−２において「ＮＯ」の場合）、制御部２１の第２処理部２１７は、使用するウェーブレット係数Ｒ３ｉに、ウェーブレット係数Ｒ２ｉを代入する処理を実行する（ステップＳ１７−４）。
以上の処理を、ウェーブレット係数番号ｉについて繰り返す。

そして、制御部２１の第２処理部２１７は、使用するウェーブレット係数Ｒ３のウェーブレット逆変換処理を実行する（ステップＳ１７−５）。

次に、制御部２１の第２処理部２１７は、マスク領域反映処理を実行する（ステップＳ１７−６）。具体的には、第２処理部２１７は、テクスチャ予測マスク領域以外の領域のみ加齢変化を行なう。

ここで、図２６（ｂ）に示す白い部分を、テクスチャ予測マスク領域として用いる。これらの部分には、目、鼻、口等が含まれており、加齢によるテクスチャの変化が少ない領域である。
以上の処理により、テクスチャを加齢化した画像を生成する。

従って、本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態の加齢化予測システム２０の制御部２１は、加齢後の顔画像を生成する加齢管理部２１５、顔画像の質感（テクスチャ）について加齢による変化を予測する処理を実行する第２処理部２１７、顔形状について加齢による変化を予測する第３処理部２１８を備えている。これにより、顔形状についての加齢と、顔画像の質感について加齢による変化を考慮した加齢化予測を行なうので、加齢化した顔画像を、より的確に生成することができる。

（２）本実施形態の加齢化予測システム２０の学習管理部２１０は、経年変化データ記憶部２２及びスナップショットデータ記憶部２３に記録したデータを用いて、顔特徴点の抽出処理、顔特徴点の正規化処理、相同モデル化処理を実行する（ステップＳ１−２〜Ｓ１−４）。これにより、実際の複数のサンプルデータを用いて、解剖学上、共通化させて、テクスチャ加齢モデル及び形状加齢モデルを生成することができる。

（３）本実施形態の加齢化予測システム２０の制御部２１は、処理対象の２次元顔画像から３次元顔データを生成する処理を実行する第１処理部２１６を備えている。これにより、処理対象の２次元顔画像の向きが正面等でなくても、指定した角度の顔の向きで、加齢化した顔画像を生成することができる。

（４）本実施形態の加齢化予測システム２０の第１処理部２１６は、３次元メッシュ（相同モデル）を用いて、２次元顔画像の角度学習処理を実行する。これにより、実際のサンプルデータを用いて、２次元から３次元に変換する３次元化予測モデルを生成することができる。

（５）本実施形態の加齢化予測システム２０の第２処理部２１７は、主成分分析を利用したテクスチャ加齢モデルと、ウェーブレット（WAVELET）変換を利用したテクスチャ加齢モデルとを用いて、テクスチャ加齢化処理を実行する。これにより、既に存在しているシミ、皺を利用して加齢化するウェーブレット変換を用いて、加齢化した顔画像を更に的確に生成することができる。

（６）本実施形態の加齢化予測システム２０の第２処理部２１７は、主成分分析を利用したモデルとウェーブレット変換を利用したモデルの重点を決める値である重み係数ｗを記憶している。これにより、この重み係数ｗを変更することにより、主成分分析によるテクスチャ加齢モデルと、ウェーブレット変換によるテクスチャ加齢モデルの重み付けを変更することができる。

また、上記実施形態は、以下のように変更してもよい。
・上記実施形態の加齢化予測システム２０の制御部２１は、経年変化データ記憶部２２に記憶された経年変化データと、スナップショットデータ記憶部２３に記憶されたスナップショットデータとを用いてテクスチャ加齢モデル及び形状加齢モデルを生成した。経年変化データやスナップショットデータの属性（例えば、性別や年齢層）別に、テクスチャ加齢モデル及び形状加齢モデルを生成してもよい。この場合には、制御部２１は、同じ属性の経年変化データやスナップショットデータを用いて、正規化された円柱座標系画像Ｄ５や正規化された顔特徴点データＤ６及び３次元メッシュデータＤ７（相同モデル）を生成する。そして、制御部２１は、これらを用いて、属性別のテクスチャ加齢モデル及び形状加齢モデルを生成し、各属性情報に関連付けてモデル記憶部２５に記憶する。制御部２１は、加齢化予測処理においては、処理対象の２次元顔画像データとともに、この画像に含まれる顔の属性情報を取得する。制御部２１は、取得した属性情報に対応する属性のテクスチャ加齢モデル及び形状加齢モデルを用いて、加齢化予測処理を実行する。これにより、性別や年齢層等の属性に応じたテクスチャや形状の影響を考慮して、より的確な顔画像データを生成することができる。

・上記実施形態の加齢化予測システム２０の制御部２１は、テクスチャの加齢化処理において、主成分分析を利用した加齢後画像Ｉｉをウェーブレット変換したウェーブレット係数Ｒ１ｉと、ウェーブレット変換によるテクスチャ加齢モデルのウェーブレット係数Ｒ２ｉとを択一的に用いた。テクスチャの加齢化処理においては、これら２つのウェーブレット係数Ｒ１ｉ，Ｒ２ｉを択一的に用いる場合に限らず、これら２つのウェーブレット係数Ｒ１ｉ，Ｒ２ｉの統計値（例えば、平均値や、属性に応じた割合による合成値）を用いてよい。

・上記実施形態の加齢化予測システム２０の制御部２１は、テクスチャの加齢化処理において、ウェーブレット変換を用いた。加齢化処理は、ウェーブレット変換に限定されるものではない。顔テクスチャのシミ・皺を濃く（強調）する手法を用いることが可能である。例えば、公知の鮮鋭化フィルタやフーリエ変換を用いて、顔テクスチャの加齢化を行なってもよい。

・上記実施形態の加齢化予測システム２０の制御部２１は、主成分分析処理を用いて加齢化モデルを生成した。加齢化モデルの生成に用いる分析処理は、主成分分析処理に限定されるものではない。個人差を表現する変数を特定するための分析処理であれば用いることが可能であり、例えば、独立成分解析（ＩＣＡ）や多次元尺度法（ＭＤＳ）を用いて、加齢化モデルの生成を行なってもよい。

・上記実施形態において、加齢化予測システム２０の制御部２１は、加齢化予測処理の顔向き推定処理（ステップＳ１６−２）において、角度予測モデルを用いて、２次元の顔画像を正面向きに変換した。この加齢化予測処理の顔向き推定処理（ステップＳ１６−２）は、角度予測モデルを用いた方法に限定されるものではない。例えば、公知のプロクラステス解析を用いて、画像において顔が撮影された向きを特定するようにしてもよい。

・上記実施形態において、制御部２１は、２次元顔画像から３次元顔データへの変換についての第１学習処理、テクスチャ加齢化についての第２学習処理、３次元形状加齢化についての第３学習処理において、機械学習処理を実行した。この場合、制御部２１の機械学習部２１４ｂは、重回帰分析によって、従属変数（予測対象特徴量）を用いて説明変数（予測時に使用する特徴量）を算出する。制御部２１の機械学習部２１４ｂが実行する機械学習処理は、重回帰分析を用いた学習処理に限られず、他の分析手法を用いてもよい。例えば、カップリング学習処理、ＰＬＳ回帰（Partial Least Squares Regression）に基づく学習処理、サポートベクトル回帰（Support Vector Regression；ＳＶＲ）に基づく学習処理等を行なってもよい。

ここで、カップリング学習処理について説明する。
この処理においては、機械学習部２１４ｂは、各サンプルデータの「予測対象特徴量」と「予測時に使用する特徴量」とを結合して一つの行ベクトル（１次元ベクトル）を生成する。例えば、第１学習処理における「予測対象特徴量」としては「回転角度（θ，ω）」の主成分係数を用い、「予測時に使用する特徴量」としては「全データの２次元特徴点の主成分得点の標準偏差」の主成分係数を用いる。

そして、機械学習部２１４ｂは、生成した１次元ベクトルを、サンプルデータ毎に列方向に並べた結合パッチベクトルのデータ行列を生成する。そして、このデータ行列の主成分分析を行なって、主成分ベクトル行列を生成する。この主成分ベクトル行列は、「予測対象特徴量」と「予測時に使用する特徴量」との変化の激しい主成分の順番に、各行ベクトルが整列している行列である。

次に、機械学習部２１４ｂは、主成分ベクトル行列の直交化処理を実行する。ここでは、グラムシュミット法により、「予測時に使用する特徴量」行列の直交化を行なう。この場合、「予測対象特徴量」については、「予測時に使用する特徴量」における直交化係数を乗算して変換する。
そして、機械学習部２１４ｂは、直交化された「予測時に使用する特徴量」（行列Ｄi,j）と、これに伴って変換された「予測対象特徴量」（行列Ｅi,j）とを用いて生成した予測モデルをモデル記憶部２５に記録する。

予測処理においては、制御部２１は、入力データＸjと、モデル記憶部２５に記憶した行列Ｄi,jとを内積して、主成分の重みを表す係数ｂｉを計算する。次に、制御部２１は、この係数ｂiと行列Ｅi,jとを用いて、予測ベクトルである予測データＹjを再構築する。これにより、制御部２１は、入力データＸjに基づいて、予測データＹjを算出することができる。
このカップリング学習処理を用いることにより、変化が激しく、影響の大きい成分を優先的に使用しながら、全体バランスを考慮した予測データを算出することができる。

次に、ＰＬＳ回帰に基づく学習処理について説明する。
このＰＬＳ回帰は、独立変数（予測対象特徴量）と説明変数（予測時に使用する特徴量）の共分散ｗ_ｉを利用し、両者の相関の高い成分から順に変数に追加して重回帰分析を行なうことにより、回帰係数行列を算出する。具体的には、以下の処理〔１〕〜〔４〕を、交差判定誤差が最小になるまで繰り返す。ここで、交差判定誤差は、サンプルデータを予測対象と入力データとに分け、入力データを用いて予測対象を予測し、この予測結果と予測対象との誤差である。

〔１〕機械学習部２１４ｂは、独立変数（予測対象特徴量）と、説明変数（予測時に使用する特徴量）の共分散行列（相関行列）Ｗ_ｉを算出する。ここで、独立変数と説明変数の共分散行列Ｗ_ｉは、次の式で算出される。
Ｗ_ｉ＝Ｘ_ｉ ^ＴＹ_ｉ／||Ｘ_ｉ ^ＴＹ_ｉ||
この式で、Ｔは転置行列を意味している。
〔２〕次に、機械学習部２１４ｂは、独立変数Ｘ_ｉを共分散ｗ_ｉの空間に射影し、スコア行列ｔiを算出する。

〔３〕次に、機械学習部２１４ｂは、説明変数の更新処理を実行する。具体的には、制御部２１は、スコア行列ｔ_ｉより説明変数Ｙ_ｉ+1を予測する回帰係数行列Ｃを算出する。そして、制御部２１は、一度、回帰に用いた情報を削除し、残りの説明変数ｃ_ｉ+1を特定する。この場合、制御部２１は、「ｃ_ｉ＝Ｙ_ｉ ^Ｔｔ_ｉ（ｔ_ｉ ^Ｔｔ_ｉ）^-1及びＹ_ｉ+1＝Ｙ_ｉ−ｔ_ｉｃ_ｉ ^Ｔ」を用いる。
〔４〕次に、機械学習部２１４ｂは、独立変数の更新処理を実行する。具体的には、説明変数の更新処理と同様に、機械学習部２１４ｂは、スコア行列より独立変数を予測する回帰係数行列を算出し、一度、回帰に用いた情報を削除し、残りの独立変数を算出する。この場合、制御部２１は、「ｐ_ｉ＝Ｘ_ｉ ^Ｔｔ_ｉ（ｔ_ｉ ^Ｔｔ_ｉ）^-1及びＸ_ｉ+1＝Ｘ_ｉ−ｔ_ｉｐ_ｉ ^Ｔ」を用いる。

〔５〕そして、機械学習部２１４ｂは、交差判定誤差が最小か否かを判定する。具体的には、まず、機械学習部２１４ｂは、学習データの一部（例えば学習データ全体の１／４個）を予測対象と仮定し、これら予測対象を除いたデータを入力データとして、これまでに処理〔４〕で算出した説明変数Ｙ_ｉ+1と処理〔４〕で算出した独立変数Ｘ_ｉ+1とを用いて、予測対象との誤差を算出する。

ここで、算出した誤差が、前回（Ｙ_ｉ，Ｘ_ｉ）の処理における予測対象との誤差以下の場合には、制御部２１は、交差判定誤差が最小でないと判定する。この場合、機械学習部２１４ｂは、説明変数Ｙ_ｉ+1をＹ_ｉとして用い、独立変数Ｘ_ｉ+1をＸ_ｉとして用いて、処理〔１〕以降を繰り返して実行する。

一方、算出した誤差が、前回（Ｙ_ｉ，Ｘ_ｉ）の処理における予測対象との誤差より大きくなった場合には、機械学習部２１４ｂは、１回前の処理〔１〕までで算出した共分散ｗ_ｉを横方向に並べて共分散行列Ｗを生成する。更に、制御部２１は、この共分散行列Ｗを用いて処理〔３〕で算出した回帰係数ｃ_ｉを横方向に並べて行列Ｃを生成し、この共分散行列Ｗを用いて処理〔４〕で算出した回帰係数ｐ_ｉを横方向に並べて行列Ｐを生成する。そして、制御部２１は、回帰係数行列ＢをＢ＝Ｗ（Ｐ^ＴＷ）^-1Ｃ^Ｔに代入して算出する。この回帰係数行列Ｂを用いて生成した予測モデルをモデル記憶部２５に記録する。

そして、予測処理において、制御部２１は、入力データＸjと、記録している回帰係数行列Ｂとを用いて、予測を行なう。
このＰＬＳ回帰分析を用いることにより、重回帰分析よりも適切な変数を選択することができるので、より妥当な予測を行なうことができる。

次に、サポートベクトル回帰分析に基づく学習処理について説明する。このサポートベクトル回帰分析は、非線形分析であり、回帰曲線を算出する。具体的には、このサポートベクトル回帰分析は、サンプルデータが回帰曲線±所定距離ｗの範囲（チューブ）内に入るように回帰曲線を算出する。チューブの外に出たデータをペナルティデータξとし、次の式を最小化する曲線及び所定距離ｗを算出する。

ここで、調整定数Ｃは外れ値の許容範囲を調整するパラメータである。この調整定数Ｃが大きいと許容範囲が小さくなる。「ξ^＋i」は、データｉがチューブ内ならば「０」で、チューブより上にある場合は、チューブとの距離が代入される値である。「ξ^-i」は、データｉがチューブ内ならば「０」で、チューブより下にある場合は、チューブとの距離が代入される値である。

このサポートベクトル回帰分析に基づく学習処理を用いることにより、非線形（曲線）回帰に適用することができる。従って、上記実施形態の重回帰分析やＰＬＳ回帰分析の線形回帰分析に比べて、関数の形をより自由に設定することができる。

１０…入力部、１５…出力部、２０…加齢化予測システム、２１…制御部、２２…経年変化データ記憶部、２３…スナップショットデータ記憶部、２５…モデル記憶部、２１０…学習管理部、２１１…第１学習部、２１２…第２学習部、２１３…第３学習部、２１４ａ…主成分分析部、２１４ｂ…機械学習部、２１５…加齢管理部、２１６…第１処理部、２１７…第２処理部、２１８…第３処理部。

次に、制御部２１の第１学習部２１１は、顔の背後に隠れる特徴点の除外処理を実行する（ステップＳ７−４）。具体的には、第１学習部２１１は、２次元相同モデルの特徴点の中で、３次元相同モデルにおいて、撮影側（視点側）にある顔特徴点と、背面側にある顔特徴点とを識別する。そして、第１学習部２１１は、背面側にある顔特徴点を、学習用メモリから削除して、撮影側の２次元特徴点のみを記憶する。
以上の処理を、処理対象の角度毎にループを繰り返して実行する。

次に、制御部２１の機械学習部２１４ｂは、機械学習処理を実行する（ステップＳ７−６）。具体的には、機械学習部２１４ｂは、従属変数（予測対象特徴量）として「回転角度（θ，ω）」を用いて、説明変数（予測時に使用する特徴量）として「全データの２次元特徴点の主成分得点を標準偏差で除算したもの」を用いる。そして、機械学習部２１４ｂは、この従属変数と説明変数を用いて機械学習処理を実行する。そして、第１学習部２１１は、機械学習部２１４ｂによって生成された角度予測モデルをモデル記憶部２５に記録する。

＜機械学習処理＞
ここで、図１３及び図１４を用いて、機械学習処理を説明する。この機械学習処理では、ある特徴ベクトルｘ（従属変数である予測対象特徴量）から別の特徴ベクトルｙ（説明
変数である予測時に使用する特徴量）を予測する。この場合、重回帰分析を用いて、ｙとｘの関係を学習し、ｘ_s(n),jからｙ_i,jを予測するモデルを求める。具体的には、以下の式における「ａ_i,s(n)」と「ｂ_i」を算出する。

図１３に示すように、まず、制御部２１の機械学習部２１４ｂは、初期値設定処理を実行する（ステップＳ８−１）。具体的には、機械学習部２１４ｂは、メモリに記憶されているベイズ情報量基準の最小値（bic_min）に極めて大きい値を初期設定し、変数セット（select_id）を空集合にリセットする。

また、ベイズ情報量基準の最小値、ｔ値のいずれかが条件を満足しない場合（ステップＳ８−５において「ＮＯ」の場合）、制御部２１の機械学習部２１４ｂは、ステップＳ８−６の処理をスキップする。

ここで、カップリング学習処理について説明する。
この処理においては、機械学習部２１４ｂは、各サンプルデータの「予測対象特徴量」と「予測時に使用する特徴量」とを結合して一つの行ベクトル（１次元ベクトル）を生成する。例えば、第１学習処理における「予測対象特徴量」としては「回転角度（θ，ω）」の主成分係数を用い、「予測時に使用する特徴量」としては「全データの２次元特徴点の主成分得点を標準偏差で除算したもの」の主成分係数を用いる。

Claims (7)

1. 顔形状の加齢による変化を予測する形状加齢モデルと、
   顔表面のテクスチャの加齢による変化を予測するテクスチャ加齢モデルと、
   ２次元画像から３次元データを予測する３次元化予測モデルとを記憶したモデル記憶部と、
   入力部、出力部に接続され、加齢化を予測する制御部とを備えた加齢化予測システムであって、
   前記制御部が、
   前記入力部から予測対象画像を取得し、
   前記予測対象画像の特徴点を抽出し、
   抽出した前記特徴点を用いて、前記予測対象画像における顔向きを推定し、
   前記３次元化予測モデル及び推定した前記顔向きに基づいて、第１の３次元データを生成し、
   前記形状加齢モデルを用いて、前記第１の３次元データから第２の３次元データを生成し、
   前記第１の３次元データに基づいて生成された２次元画像に対して、前記テクスチャ加齢モデルを適用して、加齢化テクスチャを生成し、
   前記第２の３次元データに対して、前記加齢化テクスチャを合成して、加齢化顔モデルを生成して、前記出力部に出力する予測処理を実行することを特徴とする加齢化予測システム。
2. 前記制御部は、
   前記入力部から、出力用として指定された顔向き角度を取得し、
   生成した前記加齢化顔モデルを用いて、前記顔向き角度の２次元顔画像を生成して、前記出力部に出力することを特徴とする請求項１に記載の加齢化予測システム。
3. 前記制御部は、
   取得した３次元顔サンプルデータに基づいて、２次元画像を生成し、
   前記２次元画像において特徴点を特定し、
   前記特徴点を用いて、前記３次元顔サンプルデータを正規化した正規化サンプルデータを生成し、
   前記正規化サンプルデータを用いて、前記形状加齢モデル及びテクスチャ加齢モデルを生成して、前記モデル記憶部に記憶する学習処理を実行することを特徴とする請求項１又は２に記載の加齢化予測システム。
4. 前記学習処理は、前記正規化サンプルデータを用いて前記３次元化予測モデルを生成して、前記モデル記憶部に記憶することを特徴とする請求項３に記載の加齢化予測システム。
5. 前記モデル記憶部には、主成分分析を用いて算出した第１のテクスチャ加齢モデルと、ウェーブレット変換を用いて算出した第２のテクスチャ加齢モデルとが記憶されており、
   前記制御部は、前記第１の３次元データに基づいて生成された２次元画像に対して、第１のテクスチャ加齢モデルを適用した画像をウェーブレット変換した第１のウェーブレット係数と、前記第１の３次元データに基づいて生成された２次元画像に対して、第２のテクスチャ加齢モデルを適用した第２のウェーブレット係数とを比較した結果に応じて、適用する前記テクスチャ加齢モデルを特定することを特徴とする請求項３又は４に記載の加齢化予測システム。
6. 顔形状の加齢による変化を予測する形状加齢モデルと、
   顔表面のテクスチャの加齢による変化を予測するテクスチャ加齢モデルと、
   ２次元画像から３次元データを予測する３次元化予測モデルとを記憶したモデル記憶部と、
   入力部、出力部に接続された制御部とを備えた加齢化予測システムを用いて、加齢化を予測する方法であって、
   前記制御部が、
   前記入力部から予測対象画像を取得し、
   前記予測対象画像の特徴点を抽出し、
   抽出した前記特徴点を用いて、前記予測対象画像における顔向きを推定し、
   前記３次元化予測モデル及び推定した前記顔向きに基づいて、第１の３次元データを生成し、
   前記形状加齢モデルを用いて、前記第１の３次元データから第２の３次元データを生成し、
   前記第１の３次元データに基づいて生成された２次元画像に対して、前記テクスチャ加齢モデルを適用して、加齢化テクスチャを生成し、
   前記第２の３次元データに対して、前記加齢化テクスチャを合成して、加齢化顔モデルを生成して、前記出力部に出力する予測処理を実行することを特徴とする加齢化予測方法。
7. 顔形状の加齢による変化を予測する形状加齢モデルと、
   顔表面のテクスチャの加齢による変化を予測するテクスチャ加齢モデルと、
   ２次元画像から３次元データを予測する３次元化予測モデルとを記憶したモデル記憶部と、
   入力部、出力部に接続された制御部とを備えた加齢化予測システムを用いて、加齢化を予測するプログラムであって、
   前記制御部を、
   前記入力部から予測対象画像を取得し、
   前記予測対象画像の特徴点を抽出し、
   抽出した前記特徴点を用いて、前記予測対象画像における顔向きを推定し、
   前記３次元化予測モデル及び推定した前記顔向きに基づいて、第１の３次元データを生成し、
   前記形状加齢モデルを用いて、前記第１の３次元データから第２の３次元データを生成し、
   前記第１の３次元データに基づいて生成された２次元画像に対して、前記テクスチャ加齢モデルを適用して、加齢化テクスチャを生成し、
   前記第２の３次元データに対して、前記加齢化テクスチャを合成して、加齢化顔モデルを生成して、前記出力部に出力する予測処理を実行する手段として機能させることを特徴とする加齢化予測プログラム。