JP2022024565A

JP2022024565A - 顔変化出力方法

Info

Publication number: JP2022024565A
Application number: JP2020127233A
Authority: JP
Inventors: 浩治南; Koji Minami; 健雄今井; Takeo Imai; 崇訓五十嵐; Takanori Igarashi
Original assignee: Kao Corp
Current assignee: Kao Corp
Priority date: 2020-07-28
Filing date: 2020-07-28
Publication date: 2022-02-09
Anticipated expiration: 2040-07-28
Also published as: JP7599290B2

Abstract

【課題】顔表面テクスチャ又は顔形状の特定状態変化を把握し易いように提示する技術を提供する。
【解決手段】顔変化出力方法は、顔表面テクスチャ情報若しくは三次元の顔形状情報の一方又は両方を少なくとも示す元顔情報を取得し、取得された元顔情報が示す顔表面テクスチャ情報若しくは顔形状情報の一方又は両方を学習済みモデルに適用することで予測された変化顔情報を取得し、取得された変化顔情報と取得された元顔情報に基づいて、当該変化顔情報と当該元顔情報との顔表面テクスチャ情報間又は顔形状情報間の差異を示す、顔表面テクスチャ又は顔形状の差異情報を取得し、取得された差異情報を、少なくとも元顔情報が示す顔形状情報又は変化顔情報が示す顔形状情報を用いて三次元画像化して得られる、三次元の差異顔画像を出力する。
【選択図】図２

Description

本発明は、機械学習により得られる学習済みモデル及び顔画像データを用いて、人の顔の特定状態変化を予測し出力する技術に関する。

下記特許文献１には、独立成分分析により顔画像からヘモグロビン色素画像、メラニン色素画像及び陰影画像を抽出し、それら抽出された画像に対して周波数成分分離及び主成分分析を適用して、色ムラの要因となるメラニン色素要因及びヘモグロビン色素要因、並びにしわやたるみ等の凹凸ムラの要因ごとの評価指標を得ることで、顔全体の評価指標を高精度に分析する技術が開示されている。
下記特許文献２には、機械学習により得られた学習済みモデルを用いて加齢化を予測する手法が開示されている。当該学習済みモデルは、顔形状の加齢による変化を予測する形状加齢モデルと、顔表面のテクスチャの加齢による変化を予測するテクスチャ加齢モデルと、二次元画像から三次元データを予測する三次元化予測モデルとを含む。この手法は、対象画像の特徴点を抽出し、抽出した特徴点を用いて対象画像における顔向きを推定し、三次元化予測モデル及び推定した顔向きに基づいて第１の三次元データを生成し、形状加齢モデルを用いて第１の三次元データから第２の三次元データを生成し、第１の三次元データに基づいて生成された二次元画像に対してテクスチャ加齢モデルを適用して、加齢化テクスチャを生成し、第２の三次元データに対して加齢化テクスチャを合成して、加齢化顔モデルを生成する。
下記非特許文献１には、色素ベクトル分析によって顔の陰影を削除すること、陰影を削除した顔画像に対して独立成分分析を適用してヘモグロビン成分及びメラニン成分を抽出すること等が開示されている。

特開２０１５－５２８１号公報特開２０１６－１９４８９２号公報

Norimichi Tsumura etc.， "Image-based skin color and texture analysis/synthesis by extracting hemoglobin and melanin information in the skin，" acm Transactions on Graphics， Vol. 22， No. 3.pp. 770-779(2003). (Proceedings of ACM SIGGRAPH 2003)

上述の加齢化予測手法によれば、二次元の顔画像から加齢化テクスチャを予測して加齢化顔モデルを出力することができ、他の分析手法によれば、顔画像を処理して顔表面テクスチャを変化させたり、顔の評価指標を得たりすることができる。
しかしながら、現状の手法には、顔表面テクスチャに関する情報をより分かり易く提示するという点において改善の余地が残る。例えば、予測生成された加齢化モデルは、被写体である対象者にとって望ましくないテクスチャ状態を示している可能性があり、それをそのまま見た対象者はそのモデルに対して不信感を抱き、必要な情報を把握しようとしなくなる可能性がある。

本発明は、顔表面テクスチャ又は顔形状の特定状態変化を把握し易いように提示する技術に関する。
本明細書で「顔表面テクスチャ」とは、顔の肌の表面又は内部に由来する空間分布特徴に相当するものである。「顔表面テクスチャ」の例として、赤みやシミ等の肌の色ムラ等や、肌の光沢、シワ、毛穴、鱗屑等の肌の表面の凹凸或いは粗さのような顔表面の空間的分布を生み出す特徴が挙げられる。また、他の例として、メイクアップ化粧料を塗布した肌においては、塗膜の付着状態や、皮脂分泌がもたらす色ムラ、光沢、表面の凹凸の不均一さのような顔表面の空間的分布を生み出す特徴もあげられる。
また、「特定状態変化」とは、機械学習により得られた学習済みモデルで予測される特定の状態変化であり、時間経過に伴う状態変化である経時変化、化粧料、美容施術（医療行為を除く）又は美容用若しくは健康用の飲食品の適用に伴う状態変化などが例示可能である。

本発明の態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。
本発明の態様は、三次元顔形状の特定状態変化を予測する形状変化モデル若しくは顔表面のテクスチャの特定状態変化を予測するテクスチャ変化モデルの一方又は両方を少なくとも含む、機械学習により得られた学習済みモデルを利用可能な一以上のプロセッサが実行する顔変化出力方法に関する。この顔変化出力方法は、顔表面テクスチャ情報若しくは三次元の顔形状情報の一方又は両方を少なくとも示す元顔情報を取得する取得工程と、前記取得された元顔情報が示す前記顔表面テクスチャ情報若しくは前記顔形状情報の一方又は両方を前記学習済みモデルに適用することで予測された変化顔情報を取得する予測工程と、前記取得された変化顔情報と前記取得された元顔情報に基づいて、該変化顔情報と該元顔情報との顔表面テクスチャ情報間又は顔形状情報間の差異を示す、顔表面テクスチャ又は顔形状の差異情報を取得する差異取得工程と、前記取得された差異情報を、少なくとも前記元顔情報が示す前記顔形状情報又は前記変化顔情報が示す顔形状情報を用いて三次元画像化して得られる、三次元の差異顔画像を出力する出力工程と、を含む。
また、本発明の別態様は、例えば、上記態様に係る顔変化出力方法を実行可能な顔変化出力装置（情報処理装置、コンピュータ）に関するものであり、上記態様に係る顔変化出力方法をコンピュータに実行させるプログラムに関するものであり、このようなプログラムを記録したコンピュータが読み取り可能な記憶媒体に関するものである。この記録媒体は、非一時的な有形の媒体を含む。

上記態様によれば、顔表面テクスチャ又は顔形状の特定状態変化を把握し易いように提示する技術を提供することができる。

本実施形態に係る顔変化出力方法を実行可能な情報処理装置のハードウェア構成例を概念的に示す図である。第一実施形態に係る顔変化出力方法の処理の流れを示す図である。第一変形例に係る顔変化出力方法の処理の流れを示す図である。第二実施形態に係る顔変化出力方法の処理の流れを示す図である。第二変形例に係る顔変化出力方法の処理の流れを示す図である。第三実施形態に係る顔変化出力方法の処理の流れを示す図である。第三変形例に係る顔変化出力方法の処理の流れを示す図である。第四変形例に係る顔変化出力方法の処理の流れを示す図である。

以下、本発明の好ましい実施形態の例（以降、本実施形態と表記する）について説明する。なお、以下に説明する本実施形態は例示であり、本発明は以下に挙げる構成に限定されない。

本実施形態に係る顔変化出力方法（以下、本方法と表記する）は、一台以上の情報処理装置が備える一以上のプロセッサにより実行される。
図１は、本方法を実行可能な情報処理装置１０のハードウェア構成例を概念的に示す図である。
情報処理装置１０は、いわゆるコンピュータであり、ＣＰＵ１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）１３、通信ユニット１４等を有する。情報処理装置１０は、据え置き型のＰＣ（Personal Computer）であってもよいし、携帯型のＰＣ、スマートフォン、タブレット等のような携帯端末であってもよい。

ＣＰＵ１１は、いわゆるプロセッサであり、一般的なＣＰＵ（Central Processing Unit）に加えて、特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等も含まれ得る。メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。
入出力Ｉ／Ｆ１３は、表示装置１５、入力装置１６等のユーザインタフェース装置と接続可能である。表示装置１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１１等により処理された描画データに対応する画面を表示する装置である。入力装置１６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置１５及び入力装置１６は一体化され、タッチパネルとして実現されてもよい。
通信ユニット１４は、通信網を介した他のコンピュータとの通信や、プリンタ等の他の機器との信号のやりとり等を行う。通信ユニット１４には、可搬型記録媒体等も接続され得る。

情報処理装置１０のハードウェア構成は、図１の例に制限されない。情報処理装置１０は、図示されていない他のハードウェア要素を含んでもよい。また、各ハードウェア要素の数も、図１の例に制限されない。例えば、情報処理装置１０は、複数のＣＰＵ１１を有していてもよい。また、情報処理装置１０は、複数の筐体からなる複数台のコンピュータにより実現されていてもよい。

情報処理装置１０は、ＣＰＵ１１によりメモリ１２に格納されたコンピュータプログラムが実行されることにより、本方法を実行することができる。このコンピュータプログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ１３又は通信ユニット１４を介してインストールされ、メモリ１２に格納される。

情報処理装置１０（ＣＰＵ１１）は、教師データを用いた機械学習により得られた学習済みモデルを利用可能である。
ここでの「学習済みモデル」は、教師データを用いた機械学習、即ち教師あり学習により得られたモデルであり、ＡＩ（Artificial Intelligence）モデル、機械学習（Machine Learning（ＭＬ））モデル等と表記可能である。
本実施形態で利用される学習済みモデルは、回帰分析で得られる回帰式であってもよいし、主成分分析や、ディープラーニング（深層学習）等で得られるニューラルネットワークモデルであってもよく、そのモデルのデータ構造や学習アルゴリズム等は限定されない。例えば、当該学習済みモデルは、コンピュータプログラムとパラメータとの組合せ、複数の関数とパラメータとの組合せなどにより実現される。顔画像は例えば主成分分析を用いて次元削減・コード化の処理が為される。学習済みモデルは、ニューラルネットワークで構築される場合で、かつ、入力層、中間層及び出力層を一つのニューラルネットワークの単位と捉えた場合に、一つのニューラルネットワークを指してもよいし、複数のニューラルネットワークの組合せを指してもよい。また、学習済みモデルは、複数の重回帰式の組合せで構成されてもよいし、一つの重回帰式で構成されてもよい。
学習済みモデルは、情報処理装置１０内のメモリ１２に格納されていてもよいし、情報処理装置１０が通信でアクセス可能な他のコンピュータのメモリに格納されていてもよい。

このように情報処理装置１０は、学習済みモデルを利用可能な装置であって顔変化出力方法を実行可能な顔変化出力装置と表記可能である。
以降、本方法で利用される学習済みモデルは、ＡＩモデルと表記される。また、以降の説明では、本方法の実行主体をＣＰＵ１１として説明する。

［第一実施形態］
以下、第一実施形態に係る顔変化出力方法（以下、第一方法と表記する）について図２を用いて説明する。図２は、第一実施形態に係る顔変化出力方法の処理の流れを示す図である。

第一実施形態で利用されるＡＩモデルは、時間経過前後の二次元の顔画像データセット及び時間経過前の三次元の顔形状情報の組み合わせを複数含む教師データを用いた機械学習により得られ、二次元の顔画像データから三次元の顔形状情報及びこれに対応する顔表面テクスチャ情報並びに特定状態変化後の顔表面テクスチャ情報を予測可能である。
ここで「ＡＩモデルが三次元の顔形状情報及び顔表面テクスチャ情報を予測可能である」とは、ＡＩモデルから出力される情報に基づいて三次元の顔形状情報及び顔表面テクスチャ情報を取得することができることを意味する。

具体的には、第一実施形態におけるＡＩモデルは、三次元予測モデル及びテクスチャ変化モデルを少なくとも含む。
三次元予測モデルは、二次元の顔画像データとそれに対応する三次元の顔形状情報とのペアを教師データとする機械学習により得ることができ、二次元の顔画像データから、三次元の顔形状情報を予測可能である。この三次元予測モデルのデータ構造、生成手法や学習手法には、周知の様々な手法が採用可能であり、例えば、上述の特許文献２で開示される手法で生成された三次元予測モデルが利用可能である。
第一実施形態で用いられる三次元の顔形状情報は、顔の三次元形状を示す情報であればよく、その形式等は制限されない。但し、当該三次元の顔形状情報は、統計的な処理を可能とするために、どの個体のデータも同数の同じトポロジーのデータ点で表現するべく、モデリングが施された情報とされることが好ましい。更には、当該三次元の顔形状情報は、各データ点が解剖学的に同じ意味をもつよう定義された相同モデルで表現されることがより好ましい。
このため、第一実施形態における三次元の顔形状情報は、各個人の顔形状を解剖学的に対応付けられた同一頂点数及び同一位相幾何構造のポリゴンで標準化して表現する相同モデルであり、三次元座標データで示される。以下の説明では、三次元の顔形状情報を相同モデルと表記する場合もある。

テクスチャ変化モデルは、特定状態変化前後の顔表面テクスチャ情報を教師データとする機械学習により得られ、特定状態変化前の顔表面テクスチャ情報から特定状態変化後の顔表面テクスチャ情報を予測可能である。テクスチャ変化モデルのデータ構造及び学習手法には様々な周知技術を利用可能である。テクスチャ変化モデルが、経時変化を予測するテクスチャ経時変化モデルとされる場合には、例えば、上述の特許文献２で開示されるテクスチャ加齢モデルの生成手法や学習手法などを用いることができる。例えば、主成分分析を用いたテクスチャ加齢モデルとＷＡＶＥＬＥＴ変換を用いたテクスチャ加齢モデルとの両方が利用されてもよいし、どちらか一方が利用されてもよい。また、教師データ及びＡＩモデルに適用される顔表面テクスチャ情報は、直角座標系以外の円柱座標系等の画像情報とされてもよい。

当該顔表面テクスチャ情報は、顔表面のテクスチャを示す情報であればよく、画像データであってもよいし、画像データ以外の書式のデータであってもよい。本実施形態では、当該顔表面テクスチャ情報は画像データとして説明する。
また、ＡＩモデルにより予測される特定状態変化が経時変化とされる場合には、その経時変化は、年齢、季節、日間、朝夕等の時間経過に伴う変化であり、その経過時間の長さは制限されない。ＡＩモデルは、５年後或いは１０年後の加齢変化を予測してもよいし、一週間後或いは一か月後の変化を予測してもよいし、メイクアップ化粧料塗布直後から一定の時間経過後の変化を予測してもよい。このようなＡＩモデルにより予測される経時変化は、教師データとして利用される時間経過前後の顔画像データセットにより設定することができる。
また、ＡＩモデルは、化粧料、美容施術（医療行為を除く）又は美容用若しくは健康用の飲食品の適用前後の状態変化を予測してもよい。
当該教師データに含まれる二次元の顔画像データは、素顔の画像データであってもよいし、化粧顔の画像データであってもよい。例えば、メイクアップ化粧料塗布直後の化粧顔の画像データとその化粧顔から時間経過に伴い化粧崩れが生じた化粧顔の画像データとのデータセットが教師データとされてもよい。
また、当該教師データは、時間経過前後の同一人の顔画像データセットのみで形成されることが好ましいが、顔の特徴や顔のテクスチャ特徴が似ているなど、特定状態変化前後に相当しうる異なる二人の顔画像データセットを含んでもよいし、特定状態変化前又は特定状態変化後のいずれか一方の顔画像データとその顔画像データに対する画像処理で生成された他方の顔画像データとでデータセットを形成してもよい。

テクスチャ変化モデルの教師データとして用いられる顔画像データは、写る顔の向きが正規化されており、更に、当該母集団における各個人の顔の特定パーツ（目、鼻、口等）の位置が正規化された画像データとされることが望ましい。本実施形態では、各個人の顔表面テクスチャを示しかつその顔の相同モデルに適応するように正規化された顔表面テクスチャ情報が教師データとして用いられる。
但し、教師データで用いられる顔画像データは、また、教師データとされる顔画像データは、可視光画像のみでなく、赤外線等の可視光以外の波長帯を撮像した画像であってもよい。

図２では、特定状態変化として経時変化を予測するテクスチャ経時変化モデルが例示されており、以下の説明では、図２で示される、特定状態変化として経時変化が予測される例を用いて、第一方法について説明する。但し、第一方法は経時変化に限定されるものではない。

第一方法は、図２に示されるように、工程（Ｓ２１）から工程（Ｓ２７）を含んでいる。
工程（Ｓ２１）は、対象者の二次元の顔画像データ（以降、元顔画像ＢＰと表記する場合がある）を取得するデータ取得工程である。以降の説明では、工程（Ｓ２１）で取得された顔画像データに写る対象者の顔を元顔又は経時変化前の顔と表記する場合がある。
元顔画像ＢＰのデータは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式、ＢＭＰ（Bitmap image）形式、ＴＩＦＦ（Tagged Image File Format）形式、ＧＩＦ（Graphic Interchange Format）形式等の画像ファイルとして取得される。但し、画像のデータ形式は、制限されず、各画素の明暗情報が羅列される形式であってもよい。また、取得される画像は、カラー画像であってもよいし、カラー画像がグレースケール化されることで得られるグレースケール画像であってもよい。ＣＰＵ１１は、顔画像を撮像したカメラから元顔画像ＢＰを取得してもよいし、他のコンピュータや可搬型記録媒体から元顔画像ＢＰを取得してもよい。

工程（Ｓ２１）で取得される元顔画像ＢＰでは、その画像の被写体の状態がＡＩモデルの教師データで用いられた顔画像のそれと整合していることが好ましい。例えば、教師データの顔画像が正面から視た顔表面テクスチャを示している場合には、元顔画像ＢＰも同様に、対象者の正面から視た顔表面テクスチャを示していることが好ましい。
そこで、工程（Ｓ２１）では、取得された顔画像データに対して、ＡＩモデルの教師データの顔画像と適合させる正規化処理を施すことで、元顔画像ＢＰを取得するようにしてもよい。この正規化処理では、例えば、画像データ内の顔の大きさや位置、顔の特定パーツ（目、鼻、口等）の位置の正規化、背景抜き等が行われる。
顔の特定パーツ（目、鼻、口等）の位置の正規化を行う場合には、工程（Ｓ２１）では、取得された顔画像データに対して所定の画像認識処理を施すことで、目、鼻、口、眉などの特定パーツを自動認識するようにしてもよい。この場合、工程（Ｓ２１）では、自動認識の結果が示す特定パーツの有無や位置関係などから、取得された顔画像データが利用可能か否かをチェックすることもできる。

工程（Ｓ２２）は、工程（Ｓ２１）で取得された二次元の顔画像データ（元顔画像ＢＰ）をＡＩモデルの三次元予測モデルに適用することにより、対象者の元顔の顔形状情報及び顔表面テクスチャ情報を少なくとも示す元顔情報を取得する工程である。
本実施形態では、工程（Ｓ２２）では、元顔情報として、元顔テクスチャ画像ＢＴ及び元顔相同モデルＢＦが生成される。具体的には、まず、三次元予測モデルを用いて元顔画像ＢＰから元顔相同モデルＢＦが生成される。元顔相同モデルＢＦは、対象者の元顔に関する三次元の顔形状情報であり、メッシュデータ（三次元座標データ）として示される。続いて、その生成された元顔相同モデルＢＦを用いて元顔画像ＢＰから元顔テクスチャ画像ＢＴが生成される。元顔テクスチャ画像ＢＴは、対象者の元顔に関する顔表面テクスチャ情報であり、元顔相同モデルＢＦに適応するように正規化された画像情報である。この正規化では、例えば、元顔画像ＢＰの各特徴点（特定パーツ）の位置が元顔相同モデルＢＦに合わされたり、元顔画像ＢＰに含まれていないテクスチャ情報の補完や円柱座標系への変換等が行われる。

工程（Ｓ２３）は、工程（Ｓ２２）で取得された元顔情報が示す顔表面テクスチャ情報を学習済みモデルに適用することで予測された変化顔情報を取得する予測工程である。本実施形態では、工程（Ｓ２３）では、工程（Ｓ２２）で取得された元顔テクスチャ画像ＢＴをＡＩモデルのテクスチャ経時変化モデルに適用することで、予測テクスチャ画像ＡＴが生成される。このため、予測テクスチャ画像ＡＴは、元顔画像ＢＰに写る対象者の元顔の顔表面テクスチャをＡＩモデルによる予測に基づいて経時変化させた顔表面テクスチャを示す。

工程（Ｓ２４）は、工程（Ｓ２３）で取得された変化顔情報と工程（Ｓ２２）で取得された元顔情報に基づいて、変化顔情報と元顔情報との顔表面テクスチャ情報間の差異を示す顔表面テクスチャの差異情報を取得する差異取得工程である。本実施形態では、工程（Ｓ２４）において、工程（Ｓ２２）で取得された元顔テクスチャ画像ＢＴと工程（Ｓ２３）で取得された予測テクスチャ画像ＡＴとの差異情報が取得される。
工程（Ｓ２４）で取得される差異情報は、顔表面テクスチャ間の差異を示す情報であればよく、本実施形態では差異画像データが当該差異情報として取得される。以降、工程（Ｓ２４）で取得される差異情報は差異テクスチャ画像ＤＴと表記される場合がある。

顔表面テクスチャ間の差異情報の取得手法には周知のあらゆる手法が利用可能である。例えば、差異データの抽出、差異データからの必要情報の抽出、必要情報の符号化、符号化された必要情報の可視化といった流れで当該差異情報を取得することができる。
例えば、画像間をピクセル単位若しくはブロック単位で比較して、濃淡値の差分値（符号付き又は絶対値）や比率を算出する、或いは濃淡値の比較判別を行うことで差異データを抽出できる。抽出した差異データには、電子的ノイズや、本来の顔表面テクスチャとは違う照明由来の肌のムラ情報等、不要な情報が含まれている場合がある。そこで、周波数フィルタや空間フィルタを当該抽出された差異データに適用することで不要な情報を除外することができる。また、当該差異データの中から必要な情報のみを抽出するために、モルフォロジー変換を介した抽出を行うようにしてもよい。
このように抽出された必要情報を二値化、多値化（グレード化）などで符号化し、符号化した必要情報は、色や輝度の違いとして画像化したり、ラベリングしたりして可視化できる。

工程（Ｓ２５）は、工程（Ｓ２４）で取得された対象者の経時変化前後の顔表面テクスチャの差異情報を、工程（Ｓ２２）で取得された元顔情報が示す顔形状情報を用いて三次元画像化して、三次元の差異顔画像を取得する工程である。本実施形態では、工程（Ｓ２５）において、工程（Ｓ２４）で取得された差異テクスチャ画像ＤＴが工程（Ｓ２２）で取得された元顔相同モデルＢＦと合成されて、三次元の顔画像データが取得される。本実施形態では、工程（Ｓ２５）で生成される三次元の顔画像データは、元顔（経時変化前）の三次元顔形状を持ち、対象者の経時変化前後の顔表面テクスチャの差異情報をテクスチャ情報として持つ三次元の顔画像を示し、この顔画像（三次元の差異顔画像）は、三次元差異画像ＤＢＦと表記される。

工程（Ｓ２６）は、工程（Ｓ２２）で取得された元顔情報に基づく三次元の元顔画像を取得する工程である。本実施形態では、工程（Ｓ２６）において、工程（Ｓ２２）で取得された元顔テクスチャ画像ＢＴ及び元顔相同モデルＢＦが合成されて、三次元の顔画像データが取得される。工程（Ｓ２６）で生成される三次元の顔画像データは、元顔（経時変化前）の三次元顔形状を持ち、元顔（経時変化前）の顔表面テクスチャを持つ三次元の顔画像を示す。この顔画像データで示される顔画像（三次元の元顔画像）は、三次元顔画像ＢＴＦと表記される。

工程（Ｓ２７）は、工程（Ｓ２５）で取得された三次元の差異顔画像と、工程（Ｓ２６）で取得された元顔情報に基づく三次元の元顔画像とを対比可能に出力する出力工程である。
工程（Ｓ２７）での出力は、差異顔画像及び元顔画像を表示装置１５に表示することで実現されてもよいし、プリンタ装置に印刷することで実現されてもよいし、可搬型記録媒体や他のコンピュータに通信ユニット１４を経由して送ることで実現されてもよい。
また、ＣＰＵ１１は、出力形態としては、差異顔画像及び元顔画像の両方を見比べることができるようにそれらを並べて表示（出力）してもよいし、切り替え可能にいずれか一方を表示してもよいし、重畳して表示してもよい。
但し、工程（Ｓ２７）では、三次元の差異顔画像（三次元差異画像ＤＢＦ）のみが出力されてもよい。この場合には、工程（Ｓ２６）は不要となる。

このように、対象者の特定状態変化前後の顔表面テクスチャの差異情報を三次元の顔形状で示す三次元差異画像ＤＢＦで出力することで、顔表面テクスチャの特定状態変化を把握し易いように提示することができる。
また、三次元差異画像ＤＢＦを三次元顔画像ＢＴＦと対比可能に出力することで、両顔画像との対比から、顔表面テクスチャの差異をより容易に把握させることができる。
三次元の顔画像のテクスチャとして予測された特定状態変化後の顔表面テクスチャ情報（予測テクスチャ画像ＡＴ）をそのまま出力することなく、特定状態変化前後の差異情報として出力することで、対象者に不快感を与える可能性を低減することができる。

ここで、ＣＰＵ１１は、工程（Ｓ２５）で取得された三次元差異画像ＤＢＦと工程（Ｓ２６）で取得された三次元顔画像ＢＴＦとを多視点映像として出力することができる。多視点映像としては、例えば、入力装置１６を用いたユーザ操作により自由に視点を変えることができる自由視点画像や、三次元ディスプレイ、仮想現実（ＶＲ）、拡張現実（ＡＲ）等を用いた立体表示等がある。
このように、当該差異情報を多視点映像として出力することで、様々な視点で顔表面テクスチャの差異を確認することができる。

［第一変形例］
上述の第一実施形態は、図３に示されるように変形させることもできる。図３は、第一変形例に係る顔変化出力方法の処理の流れを示す図である。
第一変形例では、上述の第一実施形態の流れにおける工程（Ｓ２４）と工程（Ｓ２５）との間に、工程（Ｓ３１）が更に実行される。
図３においても、特定状態変化として経時変化を予測するテクスチャ経時変化モデルが例示されている。但し、第一変形例は経時変化に限定されるものではない。

工程（Ｓ３１）は、工程（Ｓ２４）で取得された差異情報と工程（Ｓ２２）で取得された元顔情報が示す顔表面テクスチャ情報とを重ね合わせた画像情報を生成する重畳工程である。図３の例では、工程（Ｓ３１）において、工程（Ｓ２４）で取得された差異テクスチャ画像ＤＴが工程（Ｓ２２）で取得された元顔テクスチャ画像ＢＴと合成された合成テクスチャ画像が生成される。
工程（Ｓ２５）では、工程（Ｓ３１）で生成された合成テクスチャ画像が工程（Ｓ２２）で取得された元顔相同モデルＢＦと合成されて、三次元の顔画像データが取得される。このため、生成される三次元の顔画像データは、元顔（経時変化前）の三次元顔形状を持ち、元顔（経時変化前）の顔表面テクスチャ上に対象者の経時変化前後の顔表面テクスチャの差異情報が重畳されたテクスチャを持つ三次元の顔画像を示すこととなる。この顔画像（三次元の差異顔画像）は、三次元差異画像ＤＴＢＦと表記される。

第一変形例によれば、元顔（特定状態変化前）の顔表面テクスチャと対象者の特定状態変化前後の顔表面テクスチャの差異情報とが重ね合わされて示されるため、顔表面テクスチャの特定状態変化がより把握し易くなる。

［第二実施形態］
上述の第一実施形態及び第一変形例では、顔表面テクスチャ情報の特定状態変化予測及び顔表面テクスチャ情報間の差異算出が行われた。
第二実施形態では、顔表面テクスチャ情報に加えて、対象者の三次元の顔形状情報が処理対象とされる。以下、第二実施形態に係る顔変化出力方法（以下、第二方法と表記する）について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。

図４は、第二実施形態に係る顔変化出力方法の処理の流れを示す図である。
第二実施形態で利用されるＡＩモデルは、特定状態変化前後の二次元の顔画像データセット及び三次元の顔形状情報セットを複数含む教師データとする機械学習により得られ、二次元の顔画像データから、特定状態変化後における三次元の顔形状情報及びその顔形状情報に適合する顔表面テクスチャ情報を予測可能である。
第二実施形態で用いられる三次元の顔形状情報及び顔表面テクスチャ情報は、第一実施形態で述べたとおりである。

第二実施形態におけるＡＩモデルは、三次元予測モデル、テクスチャ変化モデル及び形状変化モデルを少なくとも含む。三次元予測モデル及びテクスチャ変化モデルは、第一実施形態と同様である。
形状変化モデルは、特定状態変化前後の三次元の顔形状情報（相同モデル）セットを複数含む教師データを用いた機械学習により得ることができ、三次元予測モデルで予測された三次元の顔形状情報（相同モデル）から特定状態変化後における三次元の顔形状情報（相同モデル）を予測可能である。この形状変化モデルのデータ構造、生成手法や学習手法には、周知の様々な手法が採用可能である。形状変化モデルが経時変化を予測する場合には、当該形状変化モデルには、例えば、上述の特許文献２で開示される手法で生成された形状加齢モデルが利用可能である。

図４では、特定状態変化として経時変化を予測するテクスチャ経時変化モデル及び形状経時変化モデルが例示されており、以下の説明では、図４で示される、特定状態変化として経時変化が予測される例を用いて、第二方法について説明する。但し、第二方法は経時変化に限定されるものではない。

第二方法は、図４に示されるように、工程（Ｓ４１）から工程（Ｓ４８）を含んでいる。
工程（Ｓ４１）及び工程（Ｓ４２）は、第一実施形態における工程（Ｓ２１）及び工程（Ｓ２２）と同様である。即ち、工程（Ｓ４１）は、対象者の二次元の顔画像データ（元顔画像ＢＰ）を取得するデータ取得工程であり、工程（Ｓ４２）は、工程（Ｓ４１）で取得された二次元の顔画像データ（元顔画像ＢＰ）をＡＩモデルの三次元予測モデルに適用することにより、対象者の元顔の顔形状情報及び顔表面テクスチャ情報を少なくとも示す元顔情報を取得する工程である。
更に、工程（Ｓ４３）は、第一実施形態における工程（Ｓ２３）と同様である。即ち、工程（Ｓ４３）では、工程（Ｓ４２）で取得された元顔テクスチャ画像ＢＴがＡＩモデルのテクスチャ経時変化モデルに適用されて、予測テクスチャ画像ＡＴが生成される。

工程（Ｓ４４）は、工程（Ｓ４２）で取得された元顔情報が示す顔形状情報を学習済みモデルに適用することで予測された経時変化後の顔形状情報を含む変化顔情報を取得する予測工程である。本実施形態では、工程（Ｓ４４）では、工程（Ｓ４２）で取得された元顔相同モデルＢＦをＡＩモデルの形状経時変化モデルに適用することで、予測相同モデルＡＦが生成される。このため、予測相同モデルＡＦは、対象者の元顔の顔形状をＡＩモデルによる予測に基づいて経時変化させた顔形状を示す。

このように、工程（Ｓ４３）及び工程（Ｓ４４）は、工程（Ｓ４２）で取得された元顔情報が示す顔表面テクスチャ情報（元顔テクスチャ画像ＢＴ）及び顔形状情報（元顔相同モデルＢＦ）の両方を学習済みモデル（テクスチャ経時変化モデル及び形状経時変化モデル）に適用することで予測された変化顔情報を取得する予測工程であると表記できる。取得された変化顔情報は、ＡＩモデルにより予測された対象者の経時変化後の顔表面テクスチャ情報及び顔形状情報を少なくとも示す。

工程（Ｓ４５）は、第一実施形態における工程（Ｓ２４）と同様である。即ち、工程（Ｓ４５）では、変化顔情報と元顔情報との顔表面テクスチャ情報間の差異を示す顔表面テクスチャの差異情報が取得される。ここでは、工程（Ｓ４２）で取得された元顔テクスチャ画像ＢＴと工程（Ｓ４３）で取得された予測テクスチャ画像ＡＴとの差異情報が当該差異情報として取得される。

工程（Ｓ４６）は、工程（Ｓ４５）で取得された対象者の経時変化前後の顔表面テクスチャの差異情報を、工程（Ｓ４４）で取得された変化顔情報が示す顔形状情報を用いて三次元画像化して、三次元の差異顔画像を取得する工程である。本実施形態では、工程（Ｓ４６）において、工程（Ｓ４５）で取得された差異テクスチャ画像ＤＴが工程（Ｓ４４）で取得された予測相同モデルＡＦと合成されて、三次元の顔画像データが取得される。本実施形態では、工程（Ｓ４６）で生成される三次元の顔画像データは、対象者の経時変化後の三次元顔形状を持ち、対象者の経時変化前後の顔表面テクスチャの差異情報をテクスチャ情報として持つ三次元の顔画像を示し、この顔画像（三次元の差異顔画像）は、三次元差異画像ＤＡＦと表記される。

工程（Ｓ４７）は、第一実施形態における工程（Ｓ２６）と同様である。即ち、工程（Ｓ４７）では、工程（Ｓ４２）で取得された元顔テクスチャ画像ＢＴ及び元顔相同モデルＢＦが合成されて、三次元の元顔画像（三次元顔画像ＢＴＦ）が取得される。

工程（Ｓ４８）は、第一実施形態における工程（Ｓ２５）と同様であり、工程（Ｓ４６）で取得された三次元の差異顔画像と、工程（Ｓ４７）で取得された元顔情報に基づく三次元の元顔画像とが対比可能に出力される。
但し、本実施形態で元顔画像と対比可能に出力される差異顔画像は、上述したとおり、対象者の経時変化後の三次元顔形状を持ち、対象者の経時変化前後の顔表面テクスチャの差異情報をテクスチャ情報として持つ三次元差異画像ＤＡＦである。
工程（Ｓ４８）での出力形態等は、第一実施形態で述べたとおりである。
本実施形態では、ＣＰＵ１１は、入力装置１６を用いたユーザ操作により自由に視点を変えることができる自由視点画像として、工程（Ｓ４６）で取得された三次元差異画像ＤＡＦと工程（Ｓ４７）で取得された三次元顔画像ＢＴＦとを対比可能に表示装置１５に表示する。
但し、工程（Ｓ４８）では、三次元の差異顔画像（三次元差異画像ＤＡＦ）のみが出力されてもよい。また、この差異顔画像は自由視点画像として表示されてもよい。このような場合には、工程（Ｓ４７）は不要となる。

このように、第二実施形態では、対象者の特定状態変化前後の顔表面テクスチャの差異情報を、対象者の特定状態変化後の三次元の顔形状で示す三次元差異画像ＤＡＦで出力するため、特定状態変化に伴う顔表面テクスチャの変化だけでなく、特定状態変化後の顔形状についても把握することができる。その他の効果については、第二実施形態においても第一実施形態と同様に奏することができる。

ところで、図４には示されていないが、予測テクスチャ画像ＡＴ及び予測相同モデルＡＦを合成することで、対象者の特定状態変化後の三次元顔画像が生成可能である。
ＣＰＵ１１は、三次元差異画像ＤＡＦ及び三次元顔画像ＢＴＦに加えて、対象者の特定状態変化後の三次元顔画像を対比可能に出力するようにしてもよい。

［第二変形例］
上述の第二実施形態は、図５に示されるように変形させることもできる。図５は、第二変形例に係る顔変化出力方法の処理の流れを示す図である。
第二変形例では、上述の第二実施形態の流れにおける工程（Ｓ４５）と工程（Ｓ４６）との間に、工程（Ｓ５１）が更に実行される。
図５においても、特定状態変化として経時変化を予測するテクスチャ経時変化モデル及び形状経時変化モデルが例示されている。但し、第二変形例は経時変化に限定されるものではない。

工程（Ｓ５１）は、工程（Ｓ４５）で取得された差異情報と工程（Ｓ４２）で取得された元顔情報が示す顔表面テクスチャ情報とを重ね合わせた画像情報を生成する重畳工程である。図５の例では、工程（Ｓ５１）において、工程（Ｓ４５）で取得された差異テクスチャ画像ＤＴが工程（Ｓ４２）で取得された元顔テクスチャ画像ＢＴと合成された合成テクスチャ画像が生成される。
工程（Ｓ４６）では、工程（Ｓ５１）で生成された合成テクスチャ画像が工程（Ｓ４４）で取得された予測相同モデルＡＦと合成されて、三次元の顔画像データが取得される。このため、生成される三次元の顔画像データは、対象者の経時変化後の三次元顔形状を持ち、元顔（経時変化前）の顔表面テクスチャ上に対象者の経時変化前後の顔表面テクスチャの差異情報が重畳されたテクスチャを持つ三次元の顔画像を示すこととなる。この顔画像（三次元の差異顔画像）は、三次元差異画像ＤＴＡＦと表記される。

第二変形例によれば、元顔（特定状態変化前）の顔表面テクスチャと対象者の特定状態変化前後の顔表面テクスチャの差異情報とが重ね合わされて示されるため、顔表面テクスチャの特定状態変化がより把握し易くなる。

［第三実施形態］
上述の第一実施形態、第二実施形態、及び各変形例では、顔表面テクスチャ情報及び顔形状情報の特定状態変化予測、並びに顔表面テクスチャ情報間の差異算出が行われた。
第三実施形態では、顔表面テクスチャ情報の特定状態変化予測が省かれ、顔形状情報間の差異算出が行われる。以下、第三実施形態に係る顔変化出力方法（以下、第三方法と表記する）について、上述の各実施形態及び各変形例と異なる内容を中心に説明する。以下の説明では、上述と同内容については適宜省略する。

図６は、第三実施形態に係る顔変化出力方法の処理の流れを示す図である。
第三実施形態で利用されるＡＩモデルは、特定状態変化前後の三次元の顔形状情報セット及び特定状態変化前の二次元の顔画像データを複数含む教師データを用いた機械学習により得られ、二次元の顔画像データから、少なくとも特定状態変化後における三次元の顔形状情報を予測可能である。
第三実施形態で用いられる三次元の顔形状情報及び顔表面テクスチャ情報は、上述のとおりである。

第三実施形態におけるＡＩモデルは、三次元予測モデル及び形状変化モデルを少なくとも含む。三次元予測モデル及び形状変化モデルは、第一実施形態又は第二実施形態と同様である。
図６では、特定状態変化として経時変化を予測する形状経時変化モデルが例示されており、以下の説明では、図６で示される、特定状態変化として経時変化が予測される例を用いて、第三方法について説明する。但し、第三方法は経時変化に限定されるものではない。

第三方法は、図６に示されるように、工程（Ｓ６１）から工程（Ｓ６７）を含んでいる。
工程（Ｓ６１）及び工程（Ｓ６２）は、第一実施形態における工程（Ｓ２１）及び工程（Ｓ２２）、第二実施形態における工程（Ｓ４１）及び（Ｓ４２）と同様である。即ち、工程（Ｓ６１）は、対象者の二次元の顔画像データ（元顔画像ＢＰ）を取得するデータ取得工程であり、工程（Ｓ６２）は、工程（Ｓ６１）で取得された二次元の顔画像データ（元顔画像ＢＰ）をＡＩモデルの三次元予測モデルに適用することにより、対象者の元顔の顔形状情報及び顔表面テクスチャ情報を少なくとも示す元顔情報を取得する工程である。

工程（Ｓ６３）は、工程（Ｓ６２）で取得された元顔情報が示す顔形状情報を学習済みモデルに適用することで予測された経時変化後の顔形状情報を含む変化顔情報を取得する予測工程である。本実施形態では、工程（Ｓ６３）において、工程（Ｓ６２）で取得された元顔相同モデルＢＦをＡＩモデルの形状経時変化モデルに適用することで、予測相同モデルＡＦが生成される。このため、予測相同モデルＡＦは、対象者の元顔の顔形状をＡＩモデルによる予測に基づいて経時変化させた顔形状を示す。

工程（Ｓ６４）は、工程（Ｓ６３）で取得された変化顔情報と工程（Ｓ６２）で取得された元顔情報に基づいて、変化顔情報と元顔情報との顔形状情報間の差異を示す顔形状の差異情報を取得する差異取得工程である。本実施形態では、工程（Ｓ６４）において、工程（Ｓ６２）で取得された元顔相同モデルＢＦと工程（Ｓ６３）で取得された予測相同モデルＡＦとの差異情報が取得される。
工程（Ｓ６４）で取得される差異情報は、顔形状間の差異を示す情報であればよく、顔形状間の差異情報の取得手法には周知のあらゆる手法が利用可能である。

相同モデル間の差異は、例えば、法線距離を用いる方法、最短距離を用いる方法などを用いて算出することができる。法線距離を用いる手法では、一方の相同モデルのポリゴン頂点からの平均法線と他方の相同モデルの面（三角形）との交点を算出し、最短の交点までの距離が算出される。最短距離を用いる手法では、一方の相同モデルのポリゴン頂点から他方の相同モデルのポリゴン頂点の距離を算出し、最短距離の頂点が探索される。但し、相同モデル間の差異の取得手法はこのような例に限定されず、周知のあらゆる手法が利用可能である。
本実施形態では、顔形状の差異情報は、画像情報として生成される。

工程（Ｓ６５）は、工程（Ｓ６４）で取得された対象者の経時変化前後の顔形状の差異情報を、工程（Ｓ６２）で取得された元顔情報が示す顔形状情報を用いて三次元画像化して、三次元の差異顔画像を取得する工程である。本実施形態では、工程（Ｓ６５）において、工程（Ｓ６４）で取得された顔形状の差異情報（画像）が工程（Ｓ６２）で取得された元顔相同モデルＢＦと合成されて、三次元の顔画像データが取得される。本実施形態では、工程（Ｓ６５）で生成される三次元の顔画像データは、元顔（経時変化前）の三次元顔形状を持ち、対象者の経時変化前後の顔形状の差異情報をテクスチャ情報として持つ三次元の顔画像を示し、この顔画像（三次元の差異顔画像）は、三次元差異画像ＤＦＦと表記される。

工程（Ｓ６６）は、第一実施形態における工程（Ｓ２６）及び第二実施形態における工程（Ｓ４７）と同様である。即ち、工程（Ｓ６６）では、工程（Ｓ６２）で取得された元顔テクスチャ画像ＢＴ及び元顔相同モデルＢＦが合成されて、三次元の元顔画像（三次元顔画像ＢＴＦ）が取得される。

工程（Ｓ６７）は、第一実施形態における工程（Ｓ２５）及び第二実施形態における工程（Ｓ４８）と同様であり、工程（Ｓ６５）で取得された三次元の差異顔画像と、工程（Ｓ６６）で取得された元顔情報に基づく三次元の元顔画像とが対比可能に出力される。工程（Ｓ６７）での出力形態等は、第一実施形態で述べたとおりである。
本実施形態では、ＣＰＵ１１は、入力装置１６を用いたユーザ操作により自由に視点を変えることができる自由視点画像として、工程（Ｓ６５）で取得された三次元差異画像ＤＦＦと工程（Ｓ６６）で取得された三次元顔画像ＢＴＦとを対比可能に表示装置１５に表示する。
但し、工程（Ｓ６７）では、三次元の差異顔画像（三次元差異画像ＤＦＦ）のみが出力されてもよい。また、この差異顔画像は自由視点画像として表示されてもよい。このような場合には、工程（Ｓ６６）は不要となる。

このように、第三実施形態では、対象者の特定状態変化前後の顔形状の差異情報を、対象者の元顔（特定状態変化前）の三次元の顔形状で示す三次元差異画像ＤＦＦで出力するため、特定状態変化に伴う顔形状の変化を容易に把握させることができる。

［第三変形例］
上述の第三実施形態は、図７に示されるように変形させることもできる。図７は、第三変形例に係る顔変化出力方法の処理の流れを示す図である。
第三変形例では、上述の第三実施形態の流れにおける工程（Ｓ６４）と工程（Ｓ６５）との間に、工程（Ｓ７１）が更に実行される。
図７においても、特定状態変化として経時変化を予測する形状経時変化モデルが例示されている。但し、第三変形例は経時変化に限定されるものではない。

工程（Ｓ７１）は、工程（Ｓ６４）で取得された差異情報と工程（Ｓ６２）で取得された元顔情報が示す顔表面テクスチャ情報とを重ね合わせた画像情報を生成する重畳工程である。図７の例では、工程（Ｓ７１）において、工程（Ｓ６４）で取得された差異画像が工程（Ｓ６２）で取得された元顔テクスチャ画像ＢＴと合成された合成テクスチャ画像が生成される。
工程（Ｓ６５）では、工程（Ｓ７１）で生成された合成テクスチャ画像が工程（Ｓ６２）で取得された元顔相同モデルＢＦと合成されて、三次元の顔画像データが取得される。このため、生成される三次元の顔画像データは、対象者の経時変化前の三次元顔形状を持ち、元顔（経時変化前）の顔表面テクスチャ上に対象者の経時変化前後の顔形状の差異情報が重畳されたテクスチャを持つ三次元の顔画像を示すこととなる。この顔画像（三次元の差異顔画像）は、三次元差異画像ＤＴＦＦと表記される。

第三変形例によれば、元顔（特定状態変化前）の顔表面テクスチャと対象者の特定状態変化前後の顔形状の差異情報とが重ね合わされて示されるため、顔形状の特定状態変化をより把握させ易くすることができる。

［第四変形例］
上述の各実施形態及び各変形例では、特定状態変化前後の顔表面テクスチャ又は顔形状の差異情報をテクスチャとし、特定状態変化前又は特定状態変化後の三次元顔形状を持つ三次元の差異顔画像（三次元差異画像ＤＢＦ、ＤＴＢＦ、ＤＡＦ、ＤＴＡＦ、ＤＦＦ、又はＤＴＦＦ）が、三次元の元顔画像（三次元顔画像ＢＴＦ）と対比可能に出力されたが、図８に示されるように、二以上の三次元の差異顔画像が、三次元の元顔画像と対比可能に出力されるようにしてもよい。

図８は、第四変形例に係る顔変化出力方法の処理の流れを示す図である。図８には、図４に示される第二実施形態からの変形例が示されている。
図８に示されるように、第四変形例では、第二実施形態の工程に加えて、工程（Ｓ８１）及び工程（Ｓ８２）が更に実行される。
図８においても、特定状態変化として経時変化を予測するテクスチャ経時変化モデル及び形状経時変化モデルが例示されている。但し、第四変形例は経時変化に限定されるものではない。

工程（Ｓ８１）は、第三実施形態における工程（Ｓ６４）と同様であり、顔形状の差異情報を取得する差異取得工程である。つまり、工程（Ｓ８１）では、工程（Ｓ４２）で取得された元顔相同モデルＢＦと工程（Ｓ４４）で取得された予測相同モデルＡＦとの差異情報が取得される。
工程（Ｓ８２）は、第三実施形態における工程（Ｓ６５）と同様であり、経時変化前後の顔形状の差異情報を元顔情報が示す顔形状情報を用いて三次元画像化して、三次元の差異顔画像を取得する工程である。工程（Ｓ８２）により、元顔（経時変化前）の三次元顔形状を持ち、対象者の経時変化前後の顔形状の差異情報をテクスチャ情報として持つ三次元の差異顔画像（差異画像ＤＦＦ）が取得される。

第四変形例における工程（Ｓ４８）では、対象者の経時変化前後の顔表面テクスチャの差異を示す三次元差異画像ＤＡＦと、対象者の経時変化前後の顔形状の差異を示す三次元差異画像ＤＦＦと、三次元の元顔画像（三次元顔画像ＢＴＦ）とが対比可能に出力される。
図８の例とは異なるが、三次元差異画像ＤＡＦに替えて、三次元差異画像ＤＢＦ、ＤＴＢＦ又はＤＴＡＦが出力されてもよいし、三次元差異画像ＤＦＦに替えて、三次元差異画像ＤＴＦＦが出力されてもよい。また、対象者の経時変化前後の顔形状の差異を示す三次元差異画像と、同対象者の経時変化前後の顔表面テクスチャの差異を示す三次元差異画像とが対比可能に出力され、三次元の元顔画像が出力されないようにしてもよい。
即ち、第四変形例における工程（Ｓ４８）（出力工程）では、少なくとも、顔表面テクスチャの差異情報を三次元画像化して得られた第一の差異顔画像及び顔形状の差異情報を三次元画像化して得られた第二の差異顔画像を対比可能に出力する。
これにより、ユーザは、顔表面テクスチャの特定状態変化と顔形状の特定状態変化とを対比しながら見ることができるため、顔表面テクスチャ及び顔形状の特定状態変化を容易に把握することができる。

第四変形例における出力形態では、三次元差異画像ＤＡＦ及びＤＦＦ並びに三次元顔画像ＢＴＦの全てが並べられて出力されてもよいし、それらの二つのペアの全組合せ又は一部の組合せが直接対比可能となるように並べられて出力されてもよい。また、各画像が順次切り替えられて表示装置１５に表示されるようにしてもよい。
更に、どの画像を出力するのかを入力装置１６を用いたユーザ操作で指定可能とすることもできる。例えば、ＣＰＵ１１は、三次元差異画像ＤＡＦのみを出力するか、三次元差異画像ＤＦＦのみを出力するか、又はそれらの両方を出力するのかをユーザ操作で指定可能とする入力画面を表示装置１５に表示させ、その入力画面に対するユーザ操作で指定された出力タイプ情報を取得し、その出力タイプ情報で指定されている三次元差異画像ＤＡＦのみ、三次元差異画像ＤＦＦのみ、又はそれらの両方を表示装置１５に表示させることができる。もちろん、このような出力画像の指定には、三次元顔画像ＢＴＦが候補に含まれてもよい。
即ち、顔変化出力方法は、顔表面テクスチャの差異情報を三次元画像化して得られた第一の差異顔画像のみを出力するか、顔形状の差異情報を三次元画像化して得られた第二の差異顔画像のみを出力するか、又は当該第一の差異顔画像及び当該第二の差異顔画像の両方を出力するかをユーザ操作で指定可能とする工程と、そのユーザ操作で指定された出力タイプ情報を取得する工程と、を更に含み、出力工程では、当該取得された出力タイプ情報で指定されている、第一の差異顔画像若しくは第二の差異顔画像の一方又は両方を出力するようにすることもできる。
このようにすれば、ユーザは見たい画像を指定することができるため、顔表面テクスチャ及び顔形状の特定状態変化の把握性を向上させることができる。

［その他の変形例］
上述の各実施形態及び各変形例では、対象者の元顔が写る二次元の顔画像データからＡＩモデル（三次元予測モデル）を用いて元顔テクスチャ画像ＢＴ及び元顔相同モデルＢＦが生成されたが、ＣＰＵ１１は、他のコンピュータや可搬型記録媒体等から、元顔テクスチャ画像ＢＴ及び元顔相同モデルＢＦを取得するようにしてもよい。この場合、二次元の顔画像データの取得工程（Ｓ２１等）及び元顔情報を取得する工程（Ｓ２２等）は不要となり、三次元予測モデルも不要となる。このとき、二次元の顔画像データの取得工程（Ｓ２１等）及び元顔情報を取得する工程（Ｓ２２等）は、他のコンピュータで実行されて、そのコンピュータからＣＰＵ１１が元顔テクスチャ画像ＢＴ及び元顔相同モデルＢＦを取得するようにしてもよい。

また、対象者の特定状態変化前後の顔表面テクスチャ又は顔形状の差異情報が、元顔情報が示す顔形状情報又は特定状態変化後の顔形状情報を用いて三次元画像化されて出力されたが、顔表面テクスチャの差異情報及び顔形状の差異情報を重畳させたものを元顔情報が示す顔形状情報又は特定状態変化後の顔形状情報を用いて三次元画像化するようにしてもよい。
このようにすれば、顔表面テクスチャの特定状態変化及び顔形状の特定状態変化の各状態を一つの三次元画像上で確認することができる。
上述の内容の一部又は全部は、次のようにも特定され得る。但し、上述の内容が以下の記載に制限されるものではない。

＜１＞
三次元顔形状の特定状態変化を予測する形状変化モデル若しくは顔表面のテクスチャの特定状態変化を予測するテクスチャ変化モデルの一方又は両方を少なくとも含む、機械学習により得られた学習済みモデルを利用可能な一以上のプロセッサが、
顔表面テクスチャ情報若しくは三次元の顔形状情報の一方又は両方を少なくとも示す元顔情報を取得する取得工程と、
前記取得された元顔情報が示す前記顔表面テクスチャ情報若しくは前記顔形状情報の一方又は両方を前記学習済みモデルに適用することで予測された変化顔情報を取得する予測工程と、
前記取得された変化顔情報と前記取得された元顔情報に基づいて、該変化顔情報と該元顔情報との顔表面テクスチャ情報間又は顔形状情報間の差異を示す、顔表面テクスチャ又は顔形状の差異情報を取得する差異取得工程と、
前記取得された差異情報を、少なくとも前記元顔情報が示す前記顔形状情報又は前記変化顔情報が示す顔形状情報を用いて三次元画像化して得られる、三次元の差異顔画像を出力する出力工程と、
を実行する顔変化出力方法。

＜２＞
前記学習済みモデルは、前記形状変化モデル及び前記テクスチャ変化モデルを少なくとも含み、
前記取得工程では、顔表面テクスチャ情報及び三次元の顔形状情報を少なくとも示す元顔情報を取得し、
前記予測工程では、前記取得された元顔情報が示す前記顔表面テクスチャ情報及び前記顔形状情報を前記学習済みモデルに適用することで予測された変化顔情報を取得し、
前記差異取得工程では、前記変化顔情報と前記元顔情報との顔表面テクスチャ情報間の差異を示す、顔表面テクスチャの差異情報を取得し、
前記出力工程では、前記取得された差異情報を、少なくとも前記変化顔情報が示す顔形状情報を用いて三次元画像化して得られる、三次元の差異顔画像を出力する、
＜１＞に記載の顔変化出力方法。
＜３＞
前記学習済みモデルは前記テクスチャ変化モデルを少なくとも含み、
前記取得工程では、顔表面テクスチャ情報及び三次元の顔形状情報を少なくとも示す元顔情報を取得し、
前記予測工程では、前記取得された元顔情報が示す前記顔表面テクスチャ情報を前記学習済みモデルに適用することで予測された変化顔情報を取得し、
前記差異取得工程では、前記変化顔情報と前記元顔情報との顔表面テクスチャ情報間の差異を示す顔表面テクスチャの差異情報を取得し、
前記出力工程では、前記取得された顔表面テクスチャの差異情報を、少なくとも前記元顔情報が示す前記顔形状情報を用いて三次元画像化して得られる、三次元の差異顔画像を出力する、
＜１＞又は＜２＞に記載の顔変化出力方法。
＜４＞
前記学習済みモデルは前記形状変化モデルを少なくとも含み、
前記取得工程では、三次元の顔形状情報を少なくとも示す元顔情報を取得し、
前記予測工程では、前記取得された元顔情報が示す前記顔形状情報を前記学習済みモデルに適用することで予測された変化顔情報を取得し、
前記差異取得工程では、前記変化顔情報と前記元顔情報との顔形状情報間の差異を示す顔形状の差異情報を取得し、
前記出力工程では、前記取得された顔形状の差異情報を、少なくとも前記元顔情報が示す前記顔形状情報を用いて三次元画像化して得られる、三次元の差異顔画像を出力する、
＜１＞から＜３＞のいずれか一つに記載の顔変化出力方法。
＜５＞
前記出力工程は、
前記取得された差異情報と前記元顔情報が示す前記顔表面テクスチャ情報とを重ね合わせた画像情報を生成する重畳工程を含み、
前記生成された画像情報を、前記元顔情報が示す前記顔形状情報又は前記変化顔情報が示す顔形状情報を用いて三次元画像化して得られる、三次元の前記差異顔画像を出力する、
＜１＞から＜４＞のいずれか一つに記載の顔変化出力方法。
＜６＞
前記出力工程では、顔表面テクスチャの差異情報を三次元画像化して得られた第一の差異顔画像及び顔形状の差異情報を三次元画像化して得られた第二の差異顔画像を対比可能に出力する、
＜１＞から＜５＞のいずれか一つに記載の顔変化出力方法。
＜７＞
前記第一の差異顔画像のみを出力するか、前記第二の差異顔画像のみを出力するか、又は前記第一の差異顔画像及び前記第二の差異顔画像の両方を出力するかをユーザ操作で指定可能とする工程と、
前記ユーザ操作で指定された出力タイプ情報を取得する工程と、
を更に実行し、
前記出力工程では、前記取得された出力タイプ情報で指定されている、前記第一の差異顔画像若しくは前記第二の差異顔画像の一方又は両方を出力する、
＜６＞に記載の顔変化出力方法。
＜８＞
前記出力工程では、前記取得された元顔情報に基づく三次元の元顔画像と、三次元の前記差異顔画像とを対比可能でありかつユーザ操作により自由に視点を切り替えることができるように表示装置に表示させる、
＜１＞から＜７＞のいずれか一つに記載の顔変化出力方法。
＜９＞
前記学習済みモデルを利用可能な装置であって、＜１＞から＜８＞のいずれか一つに記載の顔変化出力方法を実行可能な顔変化出力装置。

なお、各図に示される処理フローでは、各工程に符号が付されているが、各実施形態で実行される工程の実行順序は、その符号の数字の順番に制限されない。各実施形態では、各工程の実行順を内容的に支障のない範囲で適宜決定することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。

１０情報処理装置（顔変化出力装置）
１１ＣＰＵ
１２メモリ
１３入出力Ｉ／Ｆ
１４通信ユニット
１５表示装置
１６入力装置

Claims

三次元顔形状の特定状態変化を予測する形状変化モデル若しくは顔表面のテクスチャの特定状態変化を予測するテクスチャ変化モデルの一方又は両方を少なくとも含む、機械学習により得られた学習済みモデルを利用可能な一以上のプロセッサが、
顔表面テクスチャ情報若しくは三次元の顔形状情報の一方又は両方を少なくとも示す元顔情報を取得する取得工程と、
前記取得された元顔情報が示す前記顔表面テクスチャ情報若しくは前記顔形状情報の一方又は両方を前記学習済みモデルに適用することで予測された変化顔情報を取得する予測工程と、
前記取得された変化顔情報と前記取得された元顔情報に基づいて、該変化顔情報と該元顔情報との顔表面テクスチャ情報間又は顔形状情報間の差異を示す、顔表面テクスチャ又は顔形状の差異情報を取得する差異取得工程と、
前記取得された差異情報を、少なくとも前記元顔情報が示す前記顔形状情報又は前記変化顔情報が示す顔形状情報を用いて三次元画像化して得られる、三次元の差異顔画像を出力する出力工程と、
を実行する顔変化出力方法。
前記学習済みモデルは、前記形状変化モデル及び前記テクスチャ変化モデルを少なくとも含み、
前記取得工程では、顔表面テクスチャ情報及び三次元の顔形状情報を少なくとも示す元顔情報を取得し、
前記予測工程では、前記取得された元顔情報が示す前記顔表面テクスチャ情報及び前記顔形状情報を前記学習済みモデルに適用することで予測された変化顔情報を取得し、
前記差異取得工程では、前記変化顔情報と前記元顔情報との顔表面テクスチャ情報間の差異を示す、顔表面テクスチャの差異情報を取得し、
前記出力工程では、前記取得された差異情報を、少なくとも前記変化顔情報が示す顔形状情報を用いて三次元画像化して得られる、三次元の差異顔画像を出力する、
請求項１に記載の顔変化出力方法。
前記学習済みモデルは前記テクスチャ変化モデルを少なくとも含み、
前記取得工程では、顔表面テクスチャ情報及び三次元の顔形状情報を少なくとも示す元顔情報を取得し、
前記予測工程では、前記取得された元顔情報が示す前記顔表面テクスチャ情報を前記学習済みモデルに適用することで予測された変化顔情報を取得し、
前記差異取得工程では、前記変化顔情報と前記元顔情報との顔表面テクスチャ情報間の差異を示す顔表面テクスチャの差異情報を取得し、
前記出力工程では、前記取得された顔表面テクスチャの差異情報を、少なくとも前記元顔情報が示す前記顔形状情報を用いて三次元画像化して得られる、三次元の差異顔画像を出力する、
請求項１又は２に記載の顔変化出力方法。
前記学習済みモデルは前記形状変化モデルを少なくとも含み、
前記取得工程では、三次元の顔形状情報を少なくとも示す元顔情報を取得し、
前記予測工程では、前記取得された元顔情報が示す前記顔形状情報を前記学習済みモデルに適用することで予測された変化顔情報を取得し、
前記差異取得工程では、前記変化顔情報と前記元顔情報との顔形状情報間の差異を示す顔形状の差異情報を取得し、
前記出力工程では、前記取得された顔形状の差異情報を、少なくとも前記元顔情報が示す前記顔形状情報を用いて三次元画像化して得られる、三次元の差異顔画像を出力する、
請求項１から３のいずれか一項に記載の顔変化出力方法。
前記出力工程は、
前記取得された差異情報と前記元顔情報が示す前記顔表面テクスチャ情報とを重ね合わせた画像情報を生成する重畳工程を含み、
前記生成された画像情報を、前記元顔情報が示す前記顔形状情報又は前記変化顔情報が示す顔形状情報を用いて三次元画像化して得られる、三次元の前記差異顔画像を出力する、
請求項１から４のいずれか一項に記載の顔変化出力方法。
前記出力工程では、顔表面テクスチャの差異情報を三次元画像化して得られた第一の差異顔画像及び顔形状の差異情報を三次元画像化して得られた第二の差異顔画像を対比可能に出力する、
請求項１から５のいずれか一項に記載の顔変化出力方法。
前記第一の差異顔画像のみを出力するか、前記第二の差異顔画像のみを出力するか、又は前記第一の差異顔画像及び前記第二の差異顔画像の両方を出力するかをユーザ操作で指定可能とする工程と、
前記ユーザ操作で指定された出力タイプ情報を取得する工程と、
を更に実行し、
前記出力工程では、前記取得された出力タイプ情報で指定されている、前記第一の差異顔画像若しくは前記第二の差異顔画像の一方又は両方を出力する、
請求項６に記載の顔変化出力方法。
前記出力工程では、前記取得された元顔情報に基づく三次元の元顔画像と、三次元の前記差異顔画像とを対比可能でありかつユーザ操作により自由に視点を切り替えることができるように表示装置に表示させる、
請求項１から７のいずれか一項に記載の顔変化出力方法。
前記学習済みモデルを利用可能な装置であって、請求項１から８のいずれか一項に記載の顔変化出力方法を実行可能な顔変化出力装置。