JP2023155988A - 鼻唇側影分析方法 - Google Patents

Abstract

【課題】鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影を適切に分析する技術を提供する。【解決手段】鼻唇側影分析方法では、一以上のプロセッサが、被評価者の顔が写る評価用顔画像を取得する画像取得工程と、複数人分の教師データに基づいて機械学習された学習済みモデルに、当該取得された評価用顔画像を入力することで、被評価者における頬のほうれい線近傍部位の隆起状態を示す第一評価値を取得する評価値取得工程とを実行する。【選択図】図２

Description

本発明は、顔画像を用いて鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影を分析する技術に関する。

下記特許文献１には、被験者の顔が撮影された画像から肌の毛穴、角栓のポルフィリン、シワ、シミ、肌色のうち、少なくとも１つを解析する方法が開示されている。シワの解析では、Ｒ画像とＧ画像の差分画像に対してガウシアンフィルタ等で歪補正した後、シワを強調する画像処理を行い、シワの数と総面積が数値化されている。
下記特許文献２には、被験者の全顔又は局部顔が撮影された画像における対象領域のシワ毎の位置情報及び大きさ情報を抽出して、被験者のシワを評価する手法が開示されている。シワ解析パラメータとして、シワ面積率、総シワ平均深さ、最大シワ平均深さ、最大シワ最大深さ（μｍ）、シワ総体積（ｍｍ３）、ＩＳＯ標準表面粗さパラメータ等が解析される。
下記特許文献３には、シワのエイジングシミュレート画像を生成してシワの経時変化をシミュレートする手法が開示されている。
下記特許文献４には、顎部のたるみの進行度合いを評価する方法及びそれを用いて顎のたるみを改善するための各種美容処理の有効性を評価する方法が開示されている。この方法は、被検者の顎部から頚部の形状を側面から観察し、観察された顎部から頚部の形状をグレード０から５の評価基準の中で最も合致する形状のグレードに分類し、グレード数の増大が顎部のたるみの進行を示す。
下記特許文献５には、被験者の顔データの解析領域に対して顔の所定の部位毎に予め設定されたシワの延びやすい角度範囲内のシワ成分をそれぞれ抽出した複数のシワ成分抽出データを生成し、複数のシワ成分抽出データのそれぞれに対してシワ成分を強調した複数のシワ成分強調データを生成し、複数のシワ成分強調データを互いに合成した合成データを生成し、合成データにおいて所定の閾値以上の強度を有するシワ成分を被験者のシワとして検出することで、シワの誤検知を低減させる手法が開示されている。
下記特許文献６には、被験者の表情ジワやお手入れ時の皮膚のヨレから適切に肌状態を解析するべく、被験者の顔の動画像に含まれる表情の変化に基づき、顔の解析領域に予め配列された複数の追跡点の変化量を追跡し、その変化量から当該解析領域における肌の圧縮率を取得し、得られた圧縮率に基づいて被験者の肌状態を解析する手法が開示されている。

特開２００７－１５２０８４号公報 特開２０１０－１１９４３１号公報 特開２０１２－１８１８４３号公報 特開２０１３－５９５２９号公報 特開２０１３－６９１２２号公報 特開２０１４－１９３１９７号公報

上述のように、被評価者の顔画像からシワの数や大きさ、深さを分析する手法や、顎部のたるみの進行度合いを評価する手法が存在している。このようなシワや頬のたるみと共に顔に老化印象を付与する因子の一つとしてほうれい線が知られている。
ほうれい線は、鼻及び鼻下（鼻と上唇との間の部分）と頬との境目にあるシワ或いは溝を指し示し、そのシワ（溝）の深さによって評価される。これは、ほうれい線の深さがほうれい線の陰影の状態に関与し、結果として顔の老化印象に影響するからである。

本発明者らは、このようなほうれい線とは別に、ほうれい線に近接する頬の部位（頬のほうれい線近傍部位と表記される）の隆起によっても、ほうれい線と同様の、鼻及び鼻下と頬との境目の陰影が生じ、顔の老化印象に影響を与えていることを新たに見出した。即ち、鼻及び鼻下と頬との境目に生じる陰影である鼻唇側影の評価は、ほうれい線の状態のみの評価では十分ではないことが新たに見出されたのである。

本発明は、このような観点からなされたものであり、鼻唇側影を適切に分析する技術を提供する。「鼻唇側影」とは、鼻及び鼻下と頬との境目に現れる陰影を意味する。

本発明によれば、鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影を分析する方法であって、一以上のプロセッサが、被評価者の顔が写る評価用顔画像を取得する画像取得工程と、複数人分の教師データに基づいて機械学習された学習済みモデルに、前記取得された評価用顔画像を入力することで、前記被評価者における頬のほうれい線近傍部位の隆起状態を示す第一評価値を取得する評価値取得工程とを実行する鼻唇側影分析方法が提供され得る。
また、本発明によれば、顔画像の入力に応じて該顔画像における頬のほうれい線近傍部位の隆起状態を示す第一評価値及びほうれい線の状態を示す第二評価値を出力可能な鼻唇側影評価モデルの学習方法であって、一以上のプロセッサが、顔画像と、該顔画像に写る人顔に関する頬のほうれい線近傍部位の隆起状態の目視評価値及びほうれい線の状態の目視評価値を含む正解情報との組合せを複数人分有する教師データを取得する工程と、前記取得された教師データを用いて前記鼻唇側影評価モデルを学習させる工程とを実行する鼻唇側影評価モデルの学習方法が提供され得る。
また、上述の鼻唇側影分析方法を少なくとも含んだ鼻唇側影の見た目印象の評価方法も提供可能である。
また、上述の一以上のプロセッサ及びメモリを少なくとも備える鼻唇側影分析装置であって上述の鼻唇側影分析方法を実行可能な鼻唇側影分析装置、上述の鼻唇側影評価モデルの学習方法を実行可能な鼻唇側影評価モデル学習装置なども提供され得る。

本発明によれば、鼻唇側影を適切に分析する技術を提供することができる。

本実施形態に係る鼻唇側影分析方法及び鼻唇側影評価モデルの学習方法を実行可能な情報処理装置のハードウェア構成例を概念的に示す図である。 本実施形態に係る鼻唇側影分析方法のフローチャートである。 本実施形態における頬のほうれい線近傍部位の隆起状態の評価方法を示す概念図である。 顔画像内の顔の領域の範囲とＡＩモデルの推定精度との関係を示すグラフである。 顔画像内の顔の領域の縦方向の位置とＡＩモデルの推定精度との関係を示すグラフである。 鼻唇側影の評価結果の出力例を示す図である。 変形例に係る鼻唇側影分析方法のフローチャートである。 第一評価値及び第二評価値と第一目標値及び第二目標値との出力例を示す図である。 本実施形態に係る鼻唇側影評価モデルの学習方法のフローチャートである。 図１０（ａ）は、ほうれい線グレードに関する目視評価値とＡＩモデルの推定値（第二評価値）との関係を示すグラフであり、図１０（ｂ）は、ふくらみグレードに関する目視評価値とＡＩモデルの推定値（第一評価値）との関係を示すグラフである。 図１１（ａ）はテスト用の顔画像に基づいてＡＩモデルにより推定されたほうれい線グレード及びふくらみグレードに関する各評価値の分布を示すグラフであり、図１１（ｂ）は、図１１（ａ）の評価値に対して線形補正を適用した結果を示すグラフである。 図１２（ａ）は９つの鼻唇側影クラスの各々における代表的な鼻唇側影状態イメージを示す図であり、図１２（ｂ）はほうれい線グレード「０」のサンプル提供者を除いた２１３名のサンプル提供者の９つの鼻唇側影クラスの分布を示す図である。 図１２（ｂ）で示されるサンプル提供者の分布と各サンプル提供者の特定製剤の満足度との関係を示す図である。

以下、本発明の好ましい実施形態の例（以降、本実施形態と表記する）について説明する。以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

本実施形態に係る鼻唇側影分析方法（以下、本分析方法と表記）及び鼻唇側影評価モデルの学習方法（以下、本学習方法）は、一台以上の情報処理装置が備える一以上のプロセッサにより実行される。
図１は、本分析方法及び本学習方法を実行可能な情報処理装置１０のハードウェア構成例を概念的に示す図である。
情報処理装置１０は、いわゆるコンピュータであり、ＣＰＵ１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）１３、通信ユニット１４等を有する。情報処理装置１０は、据え置き型のＰＣ（Personal Computer）であってもよいし、携帯型のＰＣ、スマートフォン、タブレット等のような携帯端末であってもよいし、専用コンピュータであってもよい。

ＣＰＵ１１は、いわゆるプロセッサであり、一般的なＣＰＵ（Central Processing Unit）に加えて、特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等も含まれ得る。
メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。

入出力Ｉ／Ｆ１３は、表示装置１５、入力装置１６等のユーザインタフェース装置と接続可能である。表示装置１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１１等により処理された描画データに対応する画面を表示する装置である。入力装置１６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置１５及び入力装置１６は一体化され、タッチパネルとして実現されてもよい。
通信ユニット１４は、通信網を介した他のコンピュータとの通信や、プリンタ等の他の機器との信号のやりとり等を行う。通信ユニット１４には、可搬型記録媒体等も接続され得る。

情報処理装置１０のハードウェア構成は、図１の例に制限されない。情報処理装置１０は、図示されていない他のハードウェア要素を含んでもよい。また、各ハードウェア要素の数も、図１の例に制限されない。例えば、情報処理装置１０は、複数のＣＰＵ１１を有していてもよい。また、情報処理装置１０は、複数の筐体からなる複数台のコンピュータにより実現されていてもよい。

情報処理装置１０は、ＣＰＵ１１によりメモリ１２に格納されたコンピュータプログラムが実行されることにより、本分析方法及び本学習方法を実行することができる。そのコンピュータプログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ１３又は通信ユニット１４を介してインストールされ、メモリ１２に格納される。
本明細書では、説明の便宜のために、本分析方法及び本学習方法が共通の情報処理装置１０で実行される例を挙げるが、本分析方法及び本学習方法は、同じ又は異なるハードウェア構成をそれぞれ有する別々の情報処理装置で実行されてもよい。また、本分析方法及び本学習方法はそれぞれ別々のコンピュータプログラムで実装されてもよい。

次に、本分析方法の概要を説明し、本分析方法及び本学習方法の詳細については追って説明する。
本分析方法は、鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影を分析する方法であって、図１に例示されるような情報処理装置１０（ＣＰＵ１１）により実行される。以降の説明では、本分析方法及び本学習方法の実行主体をＣＰＵ１１として説明する。

本分析方法は、画像取得工程と、評価値取得工程とを少なくとも含む。
画像取得工程では、ＣＰＵ１１は、被評価者の顔が写る評価用顔画像を取得する。
詳細は後述するが、評価用顔画像は、被評価者の顔が写る画像であればよく、顔以外の部位（首や髪等）が写っていてもよい。また、評価用顔画像は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式、ＢＭＰ（Bitmap image）形式、ＴＩＦＦ（Tagged Image File Format）形式、ＧＩＦ（Graphic Interchange Format）形式等の画像データとして取得される。但し、評価用顔画像のデータ形式は制限されない。また、取得される評価用顔画像は、可視光を撮像するカメラで撮像されたカラー画像であることが好ましいが、鼻唇側影を分析することができれば、グレースケール画像などであってもよい。
ＣＰＵ１１は、評価用顔画像を撮像したカメラからその画像を取得してもよいし、他のコンピュータや可搬型記録媒体からその画像を取得してもよい。

評価値取得工程では、ＣＰＵ１１は、複数人分の教師データに基づいて機械学習された学習済みモデルに、画像取得工程で取得された評価用顔画像を入力することで、被評価者における頬のほうれい線近傍部位の隆起状態を示す第一評価値を取得する。
当該学習済みモデルは、顔画像の入力に応じて、少なくともその顔画像における頬のほうれい線近傍部位の隆起状態を示す評価値（第一評価値）を出力する。このため、当該学習済みモデルは、学習済みの鼻唇側影評価モデルと表記することもできる。
第一評価値は、ほうれい線と同様に鼻及び鼻下と頬との境目に陰影（鼻唇側影）を生じさせ得る、ほうれい線に近接する頬の部位の隆起の状態を示す。

このように本実施形態では、顔の老化印象に影響を与える鼻唇側影の因子として、ほうれい線とは別に頬のほうれい線近傍部位の隆起状態に着目し、その隆起状態の評価値が取得される。
これにより、ほうれい線の深さや長さはそれほど大きくないものの、頬のほうれい線近傍部位の隆起状態が大きいことから鼻唇側影が目立ち、顔に老化印象を与えているような場合であっても、そのような鼻唇側影の状態を適切に分析することができる。

但し、後述するように、学習済みモデルが、第一評価値に加えて、ほうれい線の状態を示す評価値（第二評価値）も出力するように形成されていてもよい。
これによれば、顔の老化印象に影響を与える鼻唇側影の因子として、ほうれい線の状態と頬のほうれい線近傍部位の隆起状態との両方の評価値を得ることができるため、鼻唇側影の状態をより高精度に分析することができる。

本実施形態における「学習済みモデル」は、教師データを用いた機械学習、即ち教師あり学習により得られたモデルであり、ＡＩ（Artificial Intelligence）モデル、機械学習（Machine Learning（ＭＬ））モデル等と表記可能である。
学習済みモデルは、例えば、回帰分析で得られる回帰式であってもよいし、ディープニューラルネットワークを含む畳み込みニューラルネットワークで構成されていてもよく、コンピュータプログラムとパラメータとの組合せ、複数の関数とパラメータとの組合せなどにより形成され得る。また、当該学習済みモデルは、ニューラルネットワークで構築される場合で、かつ、入力層、中間層及び出力層を一つのニューラルネットワークの単位と捉えた場合に、一つのニューラルネットワークを指してもよいし、複数のニューラルネットワークの組合せを指してもよい。また、当該学習済みモデルは、複数の重回帰式の組合せで構成されてもよいし、一つの重回帰式で構成されてもよい。また、当該学習済みモデルは、ニューラルネットワークと回帰式や判別式等のような他のモデルとの組合せで構成され、ニューラルネットワークの出力として得られた値を当該他のモデルに入力して得られる値を出力とするものであってもよい。

学習済みモデルは、情報処理装置１０内のメモリ１２に格納されていてもよいし、情報処理装置１０が通信でアクセス可能な他のコンピュータのメモリに格納されていてもよい。
このように情報処理装置１０は、学習済みモデルを利用可能な装置であって本分析方法を実行可能な鼻唇側影分析装置と表記可能であるし、当該鼻唇側影評価モデルを学習可能な鼻唇側影評価モデル学習装置と表記することもできる。

以下、本分析方法及び本学習方法についてより詳しく説明する。以降の説明では、概略として上述した内容と同一の内容については適宜省略することとする。

［鼻唇側影分析方法（本分析方法）］
図２は、本実施形態に係る鼻唇側影分析方法のフローチャートである。上述したとおり、本分析方法は、図１に例示されるような情報処理装置１０（ＣＰＵ１１）により実行される。
ＣＰＵ１１は、上述したとおり学習済みの鼻唇側影評価モデルを利用可能である。以降、学習済みの鼻唇側影評価モデルをＡＩモデルと略称する。

本分析方法について詳述する前に、まず、ＡＩモデルについて説明する。
ＡＩモデルは、顔画像を入力としその顔画像の鼻唇側影状態を示す評価値を出力する。ＡＩモデルの出力は、概要として述べたとおり、頬のほうれい線近傍部位の隆起状態を示す第一評価値のみでもよいし、ほうれい線の状態を示す第二評価値を更に含んでもよい。本実施形態におけるＡＩモデルは、顔画像を入力とし頬のほうれい線近傍部位の隆起状態を示す第一評価値及びほうれい線の状態を示す第二評価値を出力する。

ＡＩモデルが出力する第一評価値及び第二評価値は、後述する教師データの正解情報として与えられる目視評価値と同様の整数値とされてもよいし、小数点以下の数値で示されてもよい。例えば、前者の場合、第一評価値及び第二評価値は、ほうれい線の近傍外側の頬のふくらみ（隆起）の程度を８段階でスコア付けしたスコア値（０以上７以下の整数値）及びほうれい線の溝の深さの程度を８段階でスコア付けしたスコア値（０以上７以下の整数値）とされる。後者の場合、第一評価値及び第二評価値は、例えば、０以上７以下の小数点を含む数値とされる。

ＡＩモデルは、顔画像とその顔画像に写る人顔の鼻唇側影の状態の正解情報とのデータセットを複数人分有する教師データに基づいて機械学習されている。
鼻唇側影の状態の正解情報は、本実施形態では、顔画像に写る人顔に関する頬のほうれい線近傍部位の隆起状態の目視評価値及びほうれい線の状態の目視評価値を含む。但し、概要として述べたとおり、ＡＩモデルから頬のほうれい線近傍部位の隆起状態を示す第一評価値のみが取得される場合には、当該正解情報は、顔画像に写る人顔に関する頬のほうれい線近傍部位の隆起状態の目視評価値のみを含んでいてもよい。

正解情報に含まれるほうれい線の状態の目視評価値は、評価者が顔画像を見てほうれい線の状態を評価することで得られるスコアである。このスコアは、予め決められた所定の評価方法によりほうれい線の溝の深さの程度を評価することで設定される。
本実施形態では、この評価方法の一例として、ほうれい線における鼻翼の外側から唇の両端に伸びる範囲を評価範囲とし、ほうれい線と称されるシワの深さを評価対象とし、複数シワが存在している場合には最も深いシワを評価対象とする。そして、この評価方法では、グレード０からグレード７の８段階のスコアが目視評価値として付される。即ち、ほうれい線の溝が浅い程、低いグレード（スコア）が付され、ほうれい線の溝が深い程、高いグレード（スコア）が付される。このため、以降の説明では、ほうれい線の状態を示す評価値をほうれい線グレードと表記する場合もある。

但し、ほうれい線の状態の評価方法はこのような例に限定されない。例えば、当該評価方法として、評価者が顔画像に写るデータ提供者の顔を直接見て評価する方法であってもよい。また、ほうれい線の溝の深さのみでなく、ほうれい線の長さを評価対象に含む評価方法であってもよいし、ほうれい線の数（二重、三重のような）を評価対象に含むようにしてもよい。また、ほうれい線状態の段階付けも８段階に制限されず、８段階未満或いは９段階以上で段階付けされてもよい。

正解情報に含まれる頬のほうれい線近傍部位の隆起状態の目視評価値は、評価者が顔画像を見て頬のほうれい線近傍部位の隆起状態を評価することで得られるスコアである。このスコアは、予め決められた所定の評価方法により頬のほうれい線近傍部位の隆起の程度を評価することで設定される。

図３は、本実施形態における頬のほうれい線近傍部位の隆起状態の評価方法を示す概念図である。本実施形態では、図３に示されるように、この評価方法の一例として、鼻翼の外側から唇の両側に伸びるほうれい線の近傍外側の範囲（図３の楕円枠）を評価範囲とし、ほうれい線の近傍外側の頬のふくらみ（隆起）の程度をグレード０からグレード７の８段階でスコア付けする評価方法が採られる。即ち、当該評価範囲の頬のふくらみ（隆起）が小さい程、低いグレード（スコア）が付され、当該ふくらみ（隆起）が大きい程、高いグレード（スコア）が付される。このため、以降の説明では、頬のほうれい線近傍部位の隆起状態を示す評価値をふくらみグレードと表記する場合もある。なお、図３には、グレード０、グレード４及びグレード７に相当する隆起状態のイメージが示されている。

但し、頬のほうれい線近傍部位の隆起状態の評価方法はこのような例に限定されない。例えば、当該評価方法として、評価者が顔画像に写るデータ提供者の顔を直接見て評価する方法であってもよい。また、頬のほうれい線近傍部位の隆起状態の段階付けは８段階に制限されず、８段階未満或いは９段階以上で段階付けされてもよい。

ＡＩモデルの入力として用いられる顔画像には、人顔、特に鼻唇側影が現れる鼻及び鼻下と頬との境目の部分が写っていればよいが、本発明者らは、ＡＩモデルの入力として用いられる顔画像内の顔の領域の範囲がそのＡＩモデルの推定精度に影響を与えることを新たに見出した。

図４は、顔画像内の顔の領域の範囲とＡＩモデルの推定精度との関係を示すグラフであり、図５は、顔画像内の顔の領域の縦方向の位置とＡＩモデルの推定精度との関係を示すグラフである。図４及び図５における符号Ｓ１からＳ７及び符号Ｌ１からＬ６は、ＡＩモデルの入力として用いられる顔画像の形態をそれぞれ示しており、各形態における画像サイズは共通化されている。

符号Ｓ７の顔画像には、顔全体に加えて頭及び首が含まれ頭部の略全体が表示されている。符号Ｓ６から符号Ｓ１の各顔画像は、符号Ｓ７の顔画像全体の大きさを１２００ピクセルとした場合のその画像内における８００ピクセル、６００ピクセル、５５０ピクセル、５００ピクセル、４５０ピクセル及び４００ピクセルに相当する部分画像領域を全体画像とするようそれぞれ拡大された画像となっている。図４のグラフの横軸は、このような符号Ｓ７の顔画像を基準とした人顔領域の範囲の大きさをピクセル数で示しており、縦軸は、各形態の顔画像を入力した際のＡＩモデルのほうれい線グレード及びふくらみグレードの推定誤差を示している。

符号Ｓ６の顔画像には、頭部が含まれておらず、眉、目及び目よりも下方の部位が顔全体の輪郭線を含んで表示されている。これに対して符号Ｓ５から符号Ｓ１の各顔画像には目及び目よりも上方の部位が含まれていない。また、符号Ｓ１の顔画像は顎先端部の輪郭線が含まれておらず、符号Ｓ２から符号Ｓ５の各顔画像では、顎周りを中心とする顔の輪郭線が符号Ｓ２、符号Ｓ３、符号Ｓ４、符号Ｓ５の順でより多く含まれている。
一方で、ＡＩモデルの推定誤差は、符号Ｓ５の顔画像が最も小さく、符号Ｓ４、符号Ｓ３、符号Ｓ６、符号Ｓ２、符号Ｓ７、符号Ｓ１の順で大きくなっている。

図５では、図４の符号Ｓ７の顔画像に対する符号Ｓ５の顔画像の切り出し範囲を基準として、その基準の切り出し範囲を大きさを維持しながら符号Ｓ７の顔画像において上方に（頭上に向けて）移動させた際の各位置の画像が符号Ｌ１から符号Ｌ６で示されている。
図５の横軸には、符号Ｌ３の顔画像が示す顔領域の位置を基準位置（０）としてその基準位置から上方（頭上方向）及び下方（首の方向）への移動距離が正負の値で示されている。具体的には、正の値は下方（首の方向）への移動距離を示し、負の値は上方（頭上方向）への移動距離を示している。これに対して、図５の縦軸は、各形態の顔画像を入力した際のＡＩモデルのほうれい線グレード及びふくらみグレードの推定誤差を示している。

結果、ＡＩモデルの推定誤差は、符号Ｓ５の顔画像が最も小さく、符号Ｌ６、符号Ｌ５、符号Ｌ４、符号Ｌ３、符号Ｌ２、符号Ｌ１の順で大きくなっている。
このように、ＡＩモデルの入力に用いられる顔画像が人顔における目及び目の上方の部位を除く目よりも下方の部位が顎周りを中心に顔の輪郭線を多く含むように正規化されることで、ＡＩモデルの推定精度を向上させることができる。
このような顔画像の要件は、教師データとして用いられる顔画像だけでなく、後述する被評価者の顔画像にも該当する。

また、教師データには、同一人物につき様々な撮影条件で撮影して得られる複数の顔画像が利用されることが好ましい。例えば、髪型の違い、素顔か化粧顔かの違い、化粧方法の違い、撮影場所の違い（照明等の明るさの違いも含む）、自撮りか否かの違い等のように、様々な撮影条件が採用され得る。この場合には、同一人物の顔画像群には同一の正解情報（ほうれい線グレード及びふくらみグレード）がラベル付けされる。
このような顔画像が教師データに利用されることで、被評価者の評価用顔画像の撮影条件を限定することなく、様々な撮影条件で撮影された評価用顔画像に対しても鼻唇側影の分析を高精度に行うことができる。
なお、このＡＩモデルは本学習方法により学習されればよく、本学習方法については後述する。

本分析方法において、まず、ＣＰＵ１１は、被評価者の顔が写る評価用顔画像を取得する（Ｓ２１）。
工程（Ｓ２１）で取得される評価用顔画像の画像サイズやデータ形式、撮影条件等については上述した通り制限されない。但し、これも上述したように、当該評価用顔画像は、被評価者の顔における目及び目より上方の部位を除く目よりも下方の部位が顎周りを中心にして顔の輪郭線を含んで表示されるように正規化されていることが好ましい。

ＣＰＵ１１は、被評価者の顔を撮影したカメラから評価用顔画像を取得してもよいし、他のコンピュータや可搬型記録媒体から評価用顔画像を取得してもよい。また、ＣＰＵ１１は、カメラや他のコンピュータ等から取得された画像に対して顔検出処理を適用した上でその画像における適切な顔画像領域を切り出し、その切り出された顔画像に対して更に拡大、縮小、トリミング等の画像処理を施すことで正規化された評価用顔画像を取得することもできる。このような顔検出処理や画像処理等を含む正規化処理は、ＣＰＵ１１により実行されてもよいし、他のコンピュータにより実行されてもよい。

次に、ＣＰＵ１１は、工程（Ｓ２１）で取得された評価用顔画像をＡＩモデルに入力することで（Ｓ２２）、被評価者における頬のほうれい線近傍部位の隆起状態を示す第一評価値（ふくらみグレード）及び被評価者におけるほうれい線の状態を示す第二評価値（ほうれい線グレード）を取得する（Ｓ２３）。

続いて、ＣＰＵ１１は、工程（Ｓ２３）で取得された第一評価値及び第二評価値に基づいて、被評価者の鼻唇側影の評価結果を出力する（Ｓ２４）。ＣＰＵ１１は、評価結果を表示装置１５に表示させることもできるし、入出力Ｉ／Ｆ１３又は通信ユニット１４を介して接続されるプリンタ装置に評価結果を出力させることもできるし、入出力Ｉ／Ｆ１３又は通信ユニット１４を介して可搬型記録媒体若しくは他のコンピュータに当該評価結果を記録或いは送信することもできる。このように評価結果の出力先及び出力方法は何ら限定されない。

また、鼻唇側影の評価結果は、工程（Ｓ２３）で取得された第一評価値及び第二評価値に基づく内容であれば、どのような形式で出力されてもよい。例えば、工程（Ｓ２３）で取得された第一評価値及び第二評価値そのものがその項目名（ほうれい線グレード及びふくらみグレード）と共に出力されてもよいし、工程（Ｓ２３）で取得された第一評価値及び第二評価値が目視評価値の形式（整数値）に変換された数値が項目名と共に出力されてもよい。例えば、後者において第一評価値として２．３５が取得された場合、四捨五入等により得られる数値「２」がふくらみグレードの値として出力されてもよい。

このように本実施形態では、被評価者に関する、頬のほうれい線近傍部位の隆起状態を示す第一評価値（ふくらみグレード）と被評価者におけるほうれい線の状態を示す第二評価値（ほうれい線グレード）とに基づく鼻唇側影の評価結果が出力される。
従って、本実施形態によれば、顔の老化印象に影響を与える鼻唇側影の因子としてのほうれい線の状態と頬のほうれい線近傍部位の隆起状態とを区別して、二つの因子の各々の評価値に基づく鼻唇側影の評価結果を得ることができるため、鼻唇側影の状態がより詳細に評価された結果を得ることができる。

また、鼻唇側影の評価結果は、頬のほうれい線近傍部位の隆起状態を示す軸とほうれい線の状態を示す軸との２軸で示されるグラフ上に、工程（Ｓ２３）で取得された第一評価値及び第二評価値で示される被評価者の評価データがプロットされた評価グラフとされてもよい。
このような評価グラフを出力することで、被評価者に、鼻唇側影の二つの因子に基づく被評価者の鼻唇側影の状態の位置付けを容易に把握させることができる。

図６は、鼻唇側影の評価結果の出力例を示す図である。図６では、表示装置１５への表示画面の例が示されている。
図６の表示画面では、左下に、工程（Ｓ２３）で取得された第一評価値及び第二評価値そのものがその項目名「ほうれい線グレード」及び「ふくらみグレード」と共に表示されている。即ち、第一評価値が「１．５８」であり、第二評価値が「２．５９」である。
また、右側には２軸の評価グラフが表示されている。この評価グラフは、横軸にほうれい線グレードを示す横軸とふくらみグレードを示す縦軸とを有し、被評価者の評価データが当該第一評価値及び第二評価値に基づいてプロットされている。
更に、左上には、被評価者の画像が表示されている。

図６の例では、ＣＰＵ１１は、表示されている画像から評価用顔画像を逐次取得し、その評価用顔画像をＡＩモデルに入力することで、第一評価値及び第二評価値を逐次取得し、表示することができる。
このようにすれば、被評価者は、自身の顔を表示画像上で見ながら、そのときの顔から鼻唇側影の評価結果をリアルタイムで得ることができる。これにより、表情を変えたり、化粧をしながら、鼻唇側影の評価結果をその都度得ることもできる。

また、ＣＰＵ１１は、工程（Ｓ２３）と工程（Ｓ２４）との間で、工程（Ｓ２３）で取得された第一評価値及び第二評価値を用いて、頬のほうれい線近傍部位の隆起状態とほうれい線の状態との組合せで分類された複数の鼻唇側影クラスの中から被評価者が属する鼻唇側影クラスを決定するクラス決定工程を更に実行して、その決定された鼻唇側影クラスを評価結果として出力するようにしてもよい。例えば、被評価者が属する鼻唇側影クラスの識別情報（ＩＤや名称等）が出力可能である。

例えば、情報処理装置１０は、鼻唇側影クラスの判別式或いは判別条件を予めメモリ１２に保持しており、ＣＰＵ１１は、工程（Ｓ２３）で取得された第一評価値及び第二評価値をその判別条件或いは判別条件に適用することで、被評価者が属する鼻唇側影クラスを決定するようにしてもよい。
当該複数の鼻唇側影クラスは、実施例として後述するが、ほうれい線グレードを示す軸とふくらみグレードを示す軸との２軸で形成されるグラフの第一象限を区分けして形成される複数領域の各々に対応付けることができる。例えば、４つの鼻唇側影クラスに分類される場合、上記判別条件では、ふくらみグレードが０以上４以下でありかつほうれい線グレード０以上３以下である鼻唇側影クラス、ふくらみグレードが５以上７以下でありかつほうれい線グレード４以上７以下である鼻唇側影クラス、ふくらみグレードが０以上４以下でありかつほうれい線グレード４以上７以下である鼻唇側影クラス、ふくらみグレードが５以上７以下でありかつほうれい線グレード０以上３以下である鼻唇側影クラスのように条件付けされ得る。但し、鼻唇側影クラスの判別条件或いは判別式はこのような例に限定されない。

また、上述したＡＩモデルが、入力された評価用顔画像に対して鼻唇側影クラスを決定する判別モデルとして形成されていてもよいし、ＣＰＵ１１が、上述したＡＩモデルとは別に、工程（Ｓ２３）で取得された第一評価値及び第二評価値又は評価用顔画像を入力して鼻唇側影クラスを決定する判別モデルも更に利用するようにしてもよい。
前者の場合、ＣＰＵ１１は、工程（Ｓ２３）の代わりに、被評価者が属する鼻唇側影クラスの情報を取得する工程を実行し、工程（Ｓ２４）では評価結果として被評価者が属する鼻唇側影クラスの情報を出力してもよい。

本実施形態によれば、各鼻唇側影クラスは鼻唇側影の二つの因子（ほうれい線グレード及びふくらみグレード）の状態で特徴付けることができるため、評価結果として鼻唇側影クラスを出力することで、被評価者に、鼻唇側影の二つの因子に基づく被評価者の鼻唇側影の状態の位置付けを容易に把握させることができる。

また、ＣＰＵ１１は、工程（Ｓ２４）での鼻唇側影の評価結果の出力に加えて又はそれに代えて、被評価者のための推奨情報を出力する工程を更に実行することもできる。
情報処理装置１０は、頬のほうれい線近傍部位の隆起状態とほうれい線の状態との各組合せに対応する、鼻唇側影の低減のための製剤、各製剤の塗布方法若しくは美容施術（医療行為を除く）、又はそれらの組合せに関する複数の推奨情報を予めメモリ１２に保持しておき、ＣＰＵ１１は、そのような複数の推奨情報の中から、工程（Ｓ２３）で取得された第一評価値及び第二評価値に対応する推奨情報を抽出して出力することができる。この場合、各推奨情報は上述した一以上の鼻唇側影クラスにそれぞれ関連付けて保持されており、ＣＰＵ１１は、被評価者の鼻唇側影クラスを特定した後に、その鼻唇側影クラスに対応する推奨情報をメモリ１２から抽出し出力するようにしてもよい。
また、ＣＰＵ１１は、工程（Ｓ２３）で取得された第一評価値及び第二評価値に対して被評価者の特性（年齢、性別、血液型など）で重み付けを行い、その重み付けされた値に基づいて推奨情報を抽出するようにしてもよい。

本実施形態では、推奨情報の具体的内容は制限されない。例えば、推奨情報には、ほうれい線の溝を埋めるように塗って鼻唇側影を低減させる製剤や、頬の皮膚を引っ張るようにして頬のほうれい線近傍部位の隆起を抑えて鼻唇側影を低減させる製剤等に関する情報が含まれ得る。また、各製剤の塗布方法としては、対応する製剤を塗布する部位、塗布領域の範囲や大きさ等の指定情報が含まれ得る。美容施術としては、頬のほうれい線近傍部位の隆起を抑える施術等が含まれ得る。
このような推奨情報を出力することで、鼻唇側影で悩む被評価者に有意義な情報を提供することができる。

〔変形例〕
上述した通り、本分析方法は、図３に示されるフローに制限されず、図３に示されるフローを適宜変更することができる。
例えば、工程（Ｓ２１）、工程（Ｓ２２）及び工程（Ｓ２３）を少なくとも含む、鼻唇側影の見た目印象の評価方法が実現可能である。この評価方法では、工程（Ｓ２３）で取得された第一評価値及び第二評価値を用いて鼻唇側影の見た目印象が評価される。
鼻唇側影の見た目印象は、良い悪いという２値情報で出力されてもよいし、若い、年相応、老けているといった３段階以上の評価値で出力されてもよいし、見た目年齢を示す情報で出力されてもよい。
なお、頬のほうれい線近傍部位の隆起状態とほうれい線（シワ若しくは溝）の状態とを少なくとも用いて評価する対象として「ほうれい線の見た目印象」と呼称される場合があるかもしれない。しかしながら、この場合であっても、頬のほうれい線近傍部位の隆起状態とほうれい線（シワ若しくは溝）の状態とを少なくとも用いて評価しているのであれば、その評価対象は上述した「鼻唇側影の見た目印象」に該当することになる。

図７は、変形例に係る鼻唇側影分析方法のフローチャートである。以降、変形例に係る鼻唇側影分析方法を変形分析方法と表記する場合もある。この変形分析方法も、上述の分析方法と同様に、図１に例示されるような情報処理装置１０（ＣＰＵ１１）により実行される。
変形分析方法は、上述した工程（Ｓ２１）、工程（Ｓ２２）、工程（Ｓ２３）及び工程（Ｓ２４）に加えて、更に、工程（Ｓ７１）、工程（Ｓ７２）、工程（Ｓ７３）及び工程（Ｓ７４）を含む。

工程（Ｓ７１）では、ＣＰＵ１１は、被評価者の目標顔画像を取得する。目標顔画像は、鼻唇側影の状態が被評価者の望む状態（目標状態）となっている顔画像である。目標顔画像の画像サイズやデータ形式等は上述の評価用顔画像と同一であり、そこに写る顔の領域についても当該評価用顔画像と同一であることが好ましい。

目標顔画像は、皮膚を手で引っ張る等して被評価者の顔を変形させた状態で撮像された画像であってもよい。この場合、例えば、図６で示される画面上の被評価者の顔の表示画像を見ながら、被評価者が自身の希望する顔の状態（目標状態）となるように自身の顔を変形させて、その変形された顔の撮像画像をＣＰＵ１１が目標顔画像として取得してもよい。
また、目標顔画像は、表示装置１５に表示されている被評価者の顔画像に対する入力操作に応じてＣＰＵ１１がその顔画像を変形させる画像処理を実行することで取得されてもよい。

ＣＰＵ１１は、評価用顔画像と同様にカメラから目標顔画像を取得してもよいし、他のコンピュータや可搬型記録媒体から目標顔画像を取得してもよい。また、ＣＰＵ１１は、カメラや他のコンピュータ等から取得された画像に対して顔検出処理を適用した上でその画像における適切な顔画像領域を切り出し、その切り出された顔画像に対して更に拡大、縮小、トリミング等の画像処理を施すことで正規化された目標顔画像を取得することもできる。このような顔検出処理や画像処理等を含む正規化処理は、ＣＰＵ１１により実行されてもよいし、他のコンピュータにより実行されてもよい。

工程（Ｓ７２）では、ＣＰＵ１１は、工程（Ｓ７１）で取得された目標顔画像をＡＩモデルに入力し、工程（Ｓ７３）においてＣＰＵ１１は、そのＡＩモデルから、鼻唇側影の目標状態に対応する頬のほうれい線近傍部位の隆起状態を示す第一目標値（目標ふくらみグレード）及びほうれい線の状態を示す第二目標値（目標ほうれい線グレード）を取得する。
第一目標値及び第二目標値は、第一評価値及び第二評価値と同様のＡＩモデルの出力値であり、それらと第一評価値及び第二評価値との違いは、当該ＡＩモデルに入力される顔画像が評価用顔画像か目標顔画像かの違いのみである。このため、第一目標値は、目標顔画像の入力によりＡＩモデルから得られる第一評価値と換言することができ、第二目標値は、目標顔画像の入力によりＡＩモデルから得られる第二評価値と換言することができる。

工程（Ｓ７４）では、ＣＰＵ１１は、工程（Ｓ２３）で取得された第一評価値及び第二評価値と、工程（Ｓ７３）で取得された第一目標値及び第二目標値とを対比可能に出力する。工程（Ｓ７４）における出力先及び出力方法並びに出力形態は、第一評価値及び第二評価値（以降、評価値と総称する場合もある）と第一目標値及び第二目標値（以降、目標値と総称する場合もある）とが対比可能となっていれば、何ら制限されない。
評価値と目標値は、そのまま並べて出力されてもよいし、ほうれい線グレードを示す軸とふくらみグレードを示す軸との２軸で形成されるグラフにそれぞれプロットされた状態で出力されてもよい。
また、ＣＰＵ１１は、第一目標値と第一評価値との距離及び第二目標値と第二評価値との距離を算出してもよいし、各距離を目標達成率１００％として、任意の時点の評価用顔画像から得られた評価値と目標値との距離から目標達成率を算出することもできる。この場合、ＣＰＵ１１は、各距離を出力してもよいし、目標達成率を出力してもよい。

図８は、第一評価値及び第二評価値と第一目標値及び第二目標値との出力例を示す図である。図８では表示装置１５への表示画面の例が示されている。
この表示画面では、推奨された鼻唇側影の低減方法（以降、推奨方法と表記する場合がある）の効果が被評価者に提示される。推奨方法は、鼻唇側影を低減させ得る製剤を使用すること、その製剤の塗布方法、或いは美容施術方法等であり、表示領域Ｇ５に表示される。
また、目標顔画像が表示領域Ｇ３に表示されており、推奨方法を使用する前の評価用顔画像が表示領域Ｇ１に表示されており、推奨方法を使用した後の評価用顔画像が表示領域Ｇ２に表示されている。

表示領域Ｇ４には、ほうれい線グレードを示す軸とふくらみグレードを示す軸との２軸で形成されるグラフが表示されており、このグラフに、表示領域Ｇ３の目標顔画像から得られた目標値を示す点（ラベル「目標」）、表示領域Ｇ１の評価用顔画像から得られた評価値を示す点（ラベル「初期」）、及び表示領域Ｇ２の評価用顔画像から得られた評価値を示す点（ラベル「現在」）がプロットされている。
更に、達成率４６％も表示領域Ｇ４に表示されている。この達成率は、ラベル「初期」の評価値と目標値との間の距離が達成率１００％とした場合における、ラベル「現在」の評価値と目標値との間の距離から算出された値である。
表示領域Ｇ１０には、表示領域Ｇ２の評価用顔画像が撮像された日時情報及びその評価用顔画像に関して算出された達成率が表示されている。

このような変形分析方法によれば、被評価者の望む鼻唇側影の状態と被評価者の或る時点の鼻唇側影の状態との違いを被評価者に容易に把握させることができ、更には、鼻唇側影を低減させるために推奨された方法等の効果も分かり易く提示することができる。

図７には、複数の工程（処理）が順番に表されているが、当該変形分析方法の各工程の実行順序は、図７の例のみに限定されない。例えば、工程（Ｓ７１）から工程（Ｓ７３）は、工程（Ｓ２１）から工程（Ｓ２４）と並行して実行されてもよいし、それらの前に実行されてもよいし、それらの実行タイミングとは非同期に予め１回だけ実行されるようにしてもよい。
また、目標となる第一評価値（第一目標値とも呼べる）と目標となる第二評価値（第二目標値とも呼べる）を入力としそれら評価値に対応する鼻唇側影状態を有する顔画像を生成する画像生成処理が実行されて、その出力された顔画像が目標顔画像として取得されてもよい。この場合には、ＣＰＵ１１は、工程（Ｓ７３）を実行した後、工程（Ｓ７３）で取得された第一目標値及び第二目標値を入力として当該画像生成処理を実行し、これにより、工程（Ｓ７１）を実行してもよい。

［鼻唇側影評価モデルの学習方法（本学習方法）］
次に、上述した本分析方法及び変形分析方法で利用されるＡＩモデルの学習方法について図９を用いて説明する。
図９は、本実施形態に係る鼻唇側影評価モデルの学習方法のフローチャートである。本学習方法は、図１に例示されるような情報処理装置１０（ＣＰＵ１１）により実行される。
ここでは、ディープニューラルネットワークで構成されたＡＩモデルであって、顔画像の入力に応じてその顔画像における頬のほうれい線近傍部位の隆起状態を示す第一評価値及びほうれい線の状態を示す第二評価値を出力するＡＩモデルが例示される。本学習方法が実行されるにあたり、このＡＩモデルは、情報処理装置１０内のメモリ１２に格納されていてもよいし、情報処理装置１０が通信でアクセス可能な他のコンピュータのメモリに格納されていてもよい。

まず、ＣＰＵ１１は、顔画像と、その顔画像に写る人顔に関する頬のほうれい線近傍部位の隆起状態の目視評価値及びほうれい線の状態の目視評価値を含む正解情報との組合せを複数人分有する教師データを取得する（Ｓ９１）。正解情報に含まれる頬のほうれい線近傍部位の隆起状態の目視評価値及びほうれい線の状態の目視評価値については上述したとおりである。また、教師データに用いられる顔画像についても上述したとおりである。

続いて、ＣＰＵ１１は、工程（Ｓ９１）で取得された教師データを用いてＡＩモデルを学習させる（Ｓ９２）。ここではＡＩモデルはディープラーニングにより学習が行われる。但し、ＡＩモデルに対する具体的な学習アルゴリズムは何ら限定されない。

上記の実施形態及び変形例の一部又は全部は、次のようにも特定され得る。但し、上述の実施形態及び変形例が以下の記載に制限されるものではない。

＜１＞
鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影を分析する方法であって、
一以上のプロセッサが、
被評価者の顔が写る評価用顔画像を取得する画像取得工程と、
複数人分の教師データに基づいて機械学習された学習済みモデルに、前記取得された評価用顔画像を入力することで、前記被評価者における頬のほうれい線近傍部位の隆起状態を示す第一評価値を取得する評価値取得工程と、
を実行する鼻唇側影分析方法。

＜２＞
前記評価値取得工程では、前記第一評価値に加えて、前記被評価者のほうれい線の状態を示す第二評価値を更に取得する、
＜１＞に記載の鼻唇側影分析方法。
＜３＞
前記一以上のプロセッサが、
前記取得された第一評価値及び第二評価値を用いて、頬のほうれい線近傍部位の隆起状態とほうれい線の状態との組合せで分類された複数の鼻唇側影クラスの中から前記被評価者が属する鼻唇側影クラスを決定するクラス決定工程、
を更に実行する＜２＞に記載の鼻唇側影分析方法。
＜４＞
前記一以上のプロセッサが、
頬のほうれい線近傍部位の隆起状態を示す軸とほうれい線の状態を示す軸との２軸で示されるグラフ上に、前記取得された第一評価値及び第二評価値で示される前記被評価者の評価データがプロットされた評価グラフを出力する工程、
を更に実行する＜２＞又は＜３＞に記載の鼻唇側影分析方法。
＜５＞
前記画像取得工程で取得される前記評価用顔画像は、前記被評価者の顔における目及び目より上方の部位を除く目よりも下方の部位が顎周りを中心に顔の輪郭線を含んで表示されるように正規化されている、
＜１＞から＜４＞のいずれか一つに記載の鼻唇側影分析方法。
＜６＞
前記一以上のプロセッサが、
頬のほうれい線近傍部位の隆起状態とほうれい線の状態との各組合せに対応する、鼻唇側影の低減のための製剤、該製剤の塗布方法若しくは美容施術（医療行為を除く）、又はそれらの組合せに関する複数の推奨情報の中から、前記取得された第一評価値及び第二評価値に対応する推奨情報を出力する工程、
を更に実行する＜２＞から＜５＞のいずれか一つに記載の鼻唇側影分析方法。
＜７＞
前記一以上のプロセッサが、
鼻唇側影の状態が前記被評価者の目標状態を示す前記被評価者の目標顔画像を取得する工程と、
前記取得された目標顔画像を前記学習済みモデルに入力することで、鼻唇側影の前記目標状態に対応する頬のほうれい線近傍部位の隆起状態を示す第一目標値及びほうれい線の状態を示す第二目標値を取得する工程と、
前記取得された第一評価値及び第二評価値と、前記取得された第一目標値及び第二目標値とを対比可能に出力する工程と、
を更に実行する＜２＞から＜６＞のいずれか一つに記載の鼻唇側影分析方法。

＜８＞
顔画像の入力に応じて該顔画像における頬のほうれい線近傍部位の隆起状態を示す第一評価値及びほうれい線の状態を示す第二評価値を出力可能な鼻唇側影評価モデルの学習方法であって、
一以上のプロセッサが、
顔画像と、該顔画像に写る人顔に関する頬のほうれい線近傍部位の隆起状態の目視評価値及びほうれい線の状態の目視評価値を含む正解情報との組合せを複数人分有する教師データを取得する工程と、
前記取得された教師データを用いて前記鼻唇側影評価モデルを学習させる工程と、
を実行する鼻唇側影評価モデルの学習方法。

＜９＞
前記一以上のプロセッサ及びメモリを少なくとも備える鼻唇側影分析装置であって、
＜１＞から＜８＞のいずれか一つに記載の鼻唇側影分析方法を実行可能な鼻唇側影分析装置。

＜１０＞
前記一以上のプロセッサ及びメモリを少なくとも備える鼻唇側影評価モデル学習装置であって、
＜８＞に記載の鼻唇側影評価モデルの学習方法を実行可能な鼻唇側影評価モデル学習装置。

＜１１＞
鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影の見た目印象を評価する方法であって、
一以上のプロセッサが、
被評価者の顔が写る評価用顔画像を取得する画像取得工程と、
複数人分の教師データに基づいて機械学習された学習済みモデルに、前記取得された評価用顔画像を入力することで、前記被評価者における頬のほうれい線近傍部位の隆起状態を示す第一評価値及び前記被評価者のほうれい線の状態を示す第二評価値を取得する評価値取得工程と、
を実行する鼻唇側影の見た目印象の評価方法。

以下に実施例を挙げ、上述の内容を更に詳細に説明する。但し、以下の実施例の記載は、上述の内容に何ら限定を加えるものではない。

本実施例では、ＩｍａｇｅＮｅｔ用の学習済みモデルをベースにしてファインチューニングを行うことにより構築されたＡＩモデルが利用された。このＡＩモデルは、顔画像を入力し、０から７の数値でスコア化されたほうれい線グレード及びふくらみグレードを出力するモデルとされた。
また、本実施例では、２０代から７０代の２７３名の日本人女性をサンプル提供者とし、これらサンプル提供者における１１６６枚の顔画像と頬のほうれい線近傍部位の隆起状態を示す目視評価値及びほうれい線の状態を示す目視評価値とが準備された。

上述の顔画像は、同一人物につき様々な撮影条件で撮像された。上述の１１６６枚のうち、５４０枚の顔画像は、同一人物の素顔と化粧後の顔を研究員がタブレット端末のカメラにより同一環境で撮影することで得られ、２７３枚の顔画像は、素顔を共通のスマートフォンのカメラにより各自が同一環境で撮影することで得られ、３５３枚の顔画像は、素顔と化粧後の顔を各自が所有するスマートフォンのカメラにより各自の自宅で撮影することで得られた。
一方、目視評価値は、２７３名の横顔を皮膚計測機器で撮影して得られた画像に対して３名の評価者が目視評価を行うことで、各人物のほうれい線グレード及びふくらみグレードを０から７の数値でスコア化したものである。

準備された１１６６枚の顔画像は、おおよそ５対２．５対２．５の割合で、学習（教師データ）用、検証用及びテスト用に分けられ、各顔画像には、そこに写る人物の頬のほうれい線近傍部位の隆起状態を示す目視評価値及びほうれい線の状態を示す目視評価値がそれぞれラベリングされた。
また、各顔画像は、図４及び図５の符号Ｓ５で示されるように、人顔における目及び目の上方の部位を除く目よりも下方の部位が顎周りを中心に顔の輪郭線を多く含むように正規化された。

上述のように教師データとして分けられた顔画像及び正解情報（目視評価値）を用いてＡＩモデルの学習が行われ、検証用として分けられたデータを用いて平均二乗誤差（ＭＳＥ）が最小となるＡＩモデルが選定され、テスト用として分けられたデータを用いてそのＡＩモデルの精度が評価された。

図１０（ａ）は、ほうれい線グレードに関する目視評価値とＡＩモデルの推定値（第二評価値）との関係を示すグラフであり、図１０（ｂ）は、ふくらみグレードに関する目視評価値とＡＩモデルの推定値（第一評価値）との関係を示すグラフである。
図１０によれば、ほうれい線グレードの推定については決定係数（Ｒ^２）が０．６８４８で示され、ふくらみグレードの推定については決定係数（Ｒ^２）が０．５８６９で示される。
このように本実施例により、ＡＩモデルの推定精度の高さが実証されている。

図１１（ａ）はテスト用の顔画像に基づいてＡＩモデルにより推定されたほうれい線グレード及びふくらみグレードに関する各評価値の分布を示すグラフであり、図１１（ｂ）は、図１１（ａ）の評価値に対して線形補正を適用した結果を示すグラフである。
図１１（ｂ）では、ふくらみグレード及びほうれい線グレードを２．５及び４．５の閾値でそれぞれ区分けしてなる９つのデータ領域が太い破線で示されており、各データ領域が鼻唇側影クラスに相当する。

図１１（ａ）の評価値は、平均二乗誤差（ＭＳＥ）が最小となるように最適化されたＡＩモデルの出力である。ところが、被評価者が属する鼻唇側影クラスの決定を目的とする場合、ＡＩモデルで推定される評価値の同クラス内での誤差は当該目的への影響度が低いため、ＡＩモデルには最適化の余地が残されている。例えば、ほうれい線グレード２．５を境界としてクラス分けをする場合、ほうれい線グレードの目視評価値が２の画像の評価値が１．５と推定されたとしても、０と推定されたとしても、分類されるクラスは同一となる。
そこで、鼻唇側影クラスの一致率が最大となるように、ＡＩモデルから出力される評価値に対する最適な線形補正係数が導出された。図１１（ｂ）は、図１１（ａ）の評価値に対してそのように導出された最適な線形補正係数が掛け合わされた結果を示しており、図１１（ａ）における破線領域を拡大したものに相当する。

図１１（ｂ）に示される線形補正が適用されたふくらみグレード及びほうれい線グレードの各評価値に基づいて鼻唇側影クラスの分類を行ったところ、分類精度は５５．５％を示した。
このように、当該ＡＩモデルが、ほうれい線グレード及びふくらみグレードを出力することなく、被評価者が属する鼻唇側影クラスの判別のみを目的として構築される場合には、最適化手法としてＣｒｏｓｓ Ｅｎｔｒｏｐｙ Ｌｏｓｓなどを用いてクラス分類精度が最大化されるようにＡＩモデルの学習が行われてもよい。

図１２は鼻唇側影クラスの一分類例を示しており、図１２（ａ）は９つの鼻唇側影クラスの各々における代表的な鼻唇側影状態イメージを示しており、図１２（ｂ）はほうれい線グレード「０」のサンプル提供者を除いた２１３名のサンプル提供者の９つの鼻唇側影クラスの分布を示している。
図１２（ａ）の鼻唇側影状態イメージの分布に示されるように、鼻唇側影状態は各鼻唇側影クラスでそれぞれ特徴付けられることが分かる。
また、図１２（ｂ）のサンプル提供者の分布に示されるように、ほうれい線グレード及びふくらみグレードには若干共線性が示されるものの、２１３名のサンプル提供者が９つの鼻唇側影クラスに広く分布していることが分かる。
これにより、ほうれい線グレード及びふくらみグレードに基づき鼻唇側影状態を９つの鼻唇側影クラスに適切に分類できることが分かる。

図１３は、図１２（ｂ）で示されるサンプル提供者の分布と各サンプル提供者の特定製剤の満足度との関係を示す図である。図１３では、図１２で示される２１３名のサンプル提供者において特定製剤の使用効果の満足度が調査された。
特定製剤としては、頬の皮膚を引っ張るようにして頬のほうれい線近傍部位の隆起を抑えて鼻唇側影を低減させる製剤が用いられた。
結果として、ふくらみグレード及びほうれい線グレードがどちらも３以上のサンプル提供者において、「どちらともいえない」、「あまり満足でない」又は「満足でない」と回答した、即ち不満足なサンプル提供者が１５％以下となっている。
このため、図１２で示される鼻唇側影クラスの分類によれば、特定製剤のターゲットを特定できることが分かる。

１０ 情報処理装置
１１ ＣＰＵ
１２ メモリ
１３ 入出力Ｉ／Ｆ
１４ 通信ユニット
１５ 表示装置
１６ 入力装置

Claims (11)

1. 鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影を分析する方法であって、
   一以上のプロセッサが、
   被評価者の顔が写る評価用顔画像を取得する画像取得工程と、
   複数人分の教師データに基づいて機械学習された学習済みモデルに、前記取得された評価用顔画像を入力することで、前記被評価者における頬のほうれい線近傍部位の隆起状態を示す第一評価値を取得する評価値取得工程と、
   を実行する鼻唇側影分析方法。
2. 前記評価値取得工程では、前記第一評価値に加えて、前記被評価者のほうれい線の状態を示す第二評価値を更に取得する、
   請求項１に記載の鼻唇側影分析方法。
3. 前記一以上のプロセッサが、
   前記取得された第一評価値及び第二評価値を用いて、頬のほうれい線近傍部位の隆起状態とほうれい線の状態との組合せで分類された複数の鼻唇側影クラスの中から前記被評価者が属する鼻唇側影クラスを決定するクラス決定工程、
   を更に実行する請求項２に記載の鼻唇側影分析方法。
4. 前記一以上のプロセッサが、
   頬のほうれい線近傍部位の隆起状態を示す軸とほうれい線の状態を示す軸との２軸で示されるグラフ上に、前記取得された第一評価値及び第二評価値で示される前記被評価者の評価データがプロットされた評価グラフを出力する工程、
   を更に実行する請求項２に記載の鼻唇側影分析方法。
5. 前記画像取得工程で取得される前記評価用顔画像は、前記被評価者の顔における目及び目より上方の部位を除く目よりも下方の部位が顎周りを中心に顔の輪郭線を含んで表示されるように正規化されている、
   請求項１から４のいずれか一項に記載の鼻唇側影分析方法。
6. 前記一以上のプロセッサが、
   頬のほうれい線近傍部位の隆起状態とほうれい線の状態との各組合せに対応する、鼻唇側影の低減のための製剤、該製剤の塗布方法若しくは美容施術（医療行為を除く）、又はそれらの組合せに関する複数の推奨情報の中から、前記取得された第一評価値及び第二評価値に対応する推奨情報を出力する工程、
   を更に実行する請求項２から４のいずれか一項に記載の鼻唇側影分析方法。
7. 前記一以上のプロセッサが、
   鼻唇側影の状態が前記被評価者の目標状態を示す前記被評価者の目標顔画像を取得する工程と、
   前記取得された目標顔画像を前記学習済みモデルに入力することで、鼻唇側影の前記目標状態に対応する頬のほうれい線近傍部位の隆起状態を示す第一目標値及びほうれい線の状態を示す第二目標値を取得する工程と、
   前記取得された第一評価値及び第二評価値と、前記取得された第一目標値及び第二目標値とを対比可能に出力する工程と、
   を更に実行する請求項２から４のいずれか一項に記載の鼻唇側影分析方法。
8. 顔画像の入力に応じて該顔画像における頬のほうれい線近傍部位の隆起状態を示す第一評価値及びほうれい線の状態を示す第二評価値を出力可能な鼻唇側影評価モデルの学習方法であって、
   一以上のプロセッサが、
   顔画像と、該顔画像に写る人顔に関する頬のほうれい線近傍部位の隆起状態の目視評価値及びほうれい線の状態の目視評価値を含む正解情報との組合せを複数人分有する教師データを取得する工程と、
   前記取得された教師データを用いて前記鼻唇側影評価モデルを学習させる工程と、
   を実行する鼻唇側影評価モデルの学習方法。
9. 前記一以上のプロセッサ及びメモリを少なくとも備える鼻唇側影分析装置であって、
   請求項１から４のいずれか一項に記載の鼻唇側影分析方法を実行可能な鼻唇側影分析装置。
10. 前記一以上のプロセッサ及びメモリを少なくとも備える鼻唇側影評価モデル学習装置であって、
    請求項８に記載の鼻唇側影評価モデルの学習方法を実行可能な鼻唇側影評価モデル学習装置。
11. 鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影の見た目印象を評価する方法であって、
    一以上のプロセッサが、
    被評価者の顔が写る評価用顔画像を取得する画像取得工程と、
    複数人分の教師データに基づいて機械学習された学習済みモデルに、前記取得された評価用顔画像を入力することで、前記被評価者における頬のほうれい線近傍部位の隆起状態を示す第一評価値及び前記被評価者のほうれい線の状態を示す第二評価値を取得する評価値取得工程と、
    を実行する鼻唇側影の見た目印象の評価方法。

Images