JP2022078936A - 肌画像分析方法 - Google Patents

Abstract

【課題】肌の状態又は属性の指標値を肌の小区画ごとに取得する肌画像分析技術を提供する。【解決手段】肌画像分析方法では、教師用肌画像の被写肌共通の属性又は状態を示す正解情報とその教師用肌画像から複数抽出される所定画像サイズの教師用肌パッチ画像群との複数の組合せを含む複数の教師データに基づいて機械学習されている学習済みの判別モデルを利用可能な一以上のプロセッサが、評価用肌画像を取得し、取得された評価用肌画像から所定画像サイズの肌パッチ画像群を取得し、取得された各肌パッチ画像に対してそれぞれ画素値の正規化を行い、正規化された各肌パッチ画像をそれぞれ当該判別モデルに入力することで、各肌パッチ画像に関する肌属性又は肌状態の指標値をそれぞれ取得する。【選択図】図３

Description

特許法第３０条第２項適用申請有り ［公開の事実１］ 掲載年月日：令和３年１月２２日 掲載アドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｋａｏ．ｃｏｍ／ｊｐ／ｃｏｒｐｏｒａｔｅ／ｎｅｗｓ／ｒｄ／２０２１／２０２１０１２２－００１／ ［公開の事実２］ 開催日：令和３年１月２２日 集会名：日本視覚学会２０２１年冬季大会

本発明は、人の肌画像を機械学習により得られた判別モデルを用いて分析する肌画像分析技術に関する。

下記特許文献１には、人物画像から顔領域を検出し、検出された顔領域内のシワが発生し易い領域の画像特徴量（勾配ヒストグラム）を抽出し、その特徴量と学習器（ＳＶＭ（Support Vector Machine））とを用いて人物属性（年齢や性別）の区分を特定する手法が開示されている。
下記特許文献２には、畳み込みニューラルネットワーク（ＣＮＮ）を使用してユーザの画像を解析させてユーザの年齢を予測すると共に、目標の肌年齢を達成するために肌の領域に塗布する製品を推奨する手法が開示されている。
下記特許文献３には、人間の顔を含むデジタル画像に対して顔の位置特定及び巨視的特徴（目、鼻、口等）のマスキングの処理を行った上で畳み込みニューラルネットワーク（ＣＮＮ）を使用してその画像を解析させて、見掛け肌年齢を判定及び表示する手法が開示されている。

特開２０１３－５８０６０号公報 特表２０１９－５１２７９７号公報 特表２０２０－５２２８１０号公報

上述の手法のように、ユーザの顔画像全体或いは評価したい部位の画像をニューラルネットワークや学習器に入力した場合には、入力された画像全体に関する肌の属性や肌年齢が予測されることになる。しかしながら、肌の状態は局所的に異なる場合がある。例えば、化粧料を塗布する場合に顔の全体に均一的に塗布するのは困難であり、例え均一に塗布できたとしても部分的に見え方が異なる場合がある。
このような観点において、上述の各手法は、主に評価対象となる肌領域の全体を評価しているに過ぎない点で改良の余地が残る。
本発明は、肌の状態又は属性の指標値を肌の小区画ごとに取得する肌画像分析技術を提供する。

本発明によれば、教師用肌画像の被写肌共通の属性又は状態を示す正解情報とその教師用肌画像から複数抽出される所定画像サイズの教師用肌パッチ画像群との複数の組合せを含む複数の教師データに基づいて機械学習されている学習済みの判別モデルを利用可能な一以上のプロセッサが、被評価者の肌が写る評価用肌画像を取得する工程と、前記取得された評価用肌画像から所定画像サイズの肌パッチ画像群を取得する工程と、前記取得された各肌パッチ画像に対してそれぞれ画素値の正規化を行う工程と、正規化された各肌パッチ画像をそれぞれ前記判別モデルに入力することで、各肌パッチ画像に関する肌属性又は肌状態の指標値をそれぞれ取得する工程とを実行する肌画像分析方法が提供され得る。
また、本発明によれば、所定画像サイズの肌パッチ画像の入力に応じてその肌パッチ画像の肌属性又は肌状態を判別する判別モデルの学習方法であって、教師用肌画像とその教師用肌画像の被写肌共通の属性又は状態を示す正解情報との組合せを複数取得する工程と、前記取得された教師用肌画像から肌領域が所定の割合以上含まれる所定画像サイズの教師用肌パッチ画像群を取得する工程と、前記取得された各教師用肌パッチ画像に対してそれぞれ画素値の正規化を行う工程と、各教師用肌パッチ画像が取得された元の前記教師用肌画像に対応する前記正解情報と、前記正規化された教師用肌パッチ画像群の各々とを関連付けた教師データ群を生成する工程と、前記教師データ群を用いて前記判別モデルを学習させる行程とを含む判別モデルの学習方法が提供され得る。
また、上述の一以上のプロセッサ及びメモリを少なくとも備える肌画像分析装置であって上述の肌画像分析方法を実行可能な肌画像分析装置、上述の判別モデルの学習方法を実行可能な判別モデル学習装置なども提供され得る。

上記態様によれば、肌の状態又は属性の指標値を肌の小区画ごとに取得する肌画像分析技術を提供することができる。

本実施形態に係る肌画像分析方法及び判別モデルの学習方法を実行可能な情報処理装置のハードウェア構成例を概念的に示す図である。 本実施形態に係る肌画像分析方法の処理の流れの概念図である。 本実施形態に係る肌画像分析方法のフローチャートである。 肌パッチ画像群の指標値分布情報としてのカラーマップ画像の例を示す図である。 本実施形態に係る判別モデルの学習方法の処理の流れの概念図である。 本実施形態に係る判別モデルの学習方法のフローチャートである。 肌領域サイズと判別モデルの判別精度との関係を示すグラフである。 人の目視評価で得られた化粧感スコアと本実施形態に係る肌画像分析方法で得られた化粧感スコアとの関係を示すグラフである。 化粧料塗布態様が異なる８種の評価用肌画像の各々に関して本実施形態に係る肌画像分析方法で取得された化粧感の代表指標値を示すグラフである。 化粧料塗布態様が異なる８種の評価用肌画像の各々に関する肌パッチ画像群の指標値分布を示すカラーマップ画像を示す図である。 本実施形態に係る肌画像分析方法で得られる推定年齢帯と実年齢帯との関係を示すグラフである。 ５名の被評価者の評価用肌画像と肌パッチ画像群の指標値分布を示すカラーマップ画像との関係を示す図である。 二種類のファンデーション化粧料の塗布直後と塗布から４時間、８時間及び１０時間の各経過後とにおける各評価用肌画像に関するカラーマップ画像を示す図である。 本実施形態に係る判別モデルの学習方法におけるエポック数と判別モデルの判別精度との関係を示すグラフである。 顔画像を入力して肌の目視評価スコアを推定する学習済みモデルと肌パッチ画像を入力して肌の目視評価スコアを推定する学習済みモデルとの推定精度を比較するためのグラフである。 実施例８における肌パッチ型判別モデルから得られる目視評価スコアの推定値と年齢との相関、及び化粧料塗布に伴う目視評価スコアの推定値の変化を示すレーダーチャートである。

以下、本発明の好ましい実施形態の例（以降、本実施形態と表記する）について説明する。以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

本実施形態に係る肌画像分析方法（以下、本分析方法と表記する）及び判別モデルの学習方法（以下、本学習方法と表記する）は、一台以上の情報処理装置が備える一以上のプロセッサにより実行される。
図１は、本分析方法及び本学習方法を実行可能な情報処理装置１０のハードウェア構成例を概念的に示す図である。
情報処理装置１０は、いわゆるコンピュータであり、ＣＰＵ１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）１３、通信ユニット１４等を有する。情報処理装置１０は、据え置き型のＰＣ（Personal Computer）であってもよいし、携帯型のＰＣ、スマートフォン、タブレット等のような携帯端末であってもよいし、専用コンピュータであってもよい。

ＣＰＵ１１は、いわゆるプロセッサであり、一般的なＣＰＵ（Central Processing Unit）に加えて、特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等も含まれ得る。メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。
入出力Ｉ／Ｆ１３は、表示装置１５、入力装置１６等のユーザインタフェース装置と接続可能である。表示装置１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１１等により処理された描画データに対応する画面を表示する装置である。入力装置１６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置１５及び入力装置１６は一体化され、タッチパネルとして実現されてもよい。
通信ユニット１４は、通信網を介した他のコンピュータとの通信や、プリンタ等の他の機器との信号のやりとり等を行う。通信ユニット１４には、可搬型記録媒体等も接続され得る。

情報処理装置１０のハードウェア構成は、図１の例に制限されない。情報処理装置１０は、図示されていない他のハードウェア要素を含んでもよい。また、各ハードウェア要素の数も、図１の例に制限されない。例えば、情報処理装置１０は、複数のＣＰＵ１１を有していてもよい。また、情報処理装置１０は、複数の筐体からなる複数台のコンピュータにより実現されていてもよい。

情報処理装置１０は、ＣＰＵ１１によりメモリ１２に格納されたコンピュータプログラムが実行されることにより、本分析方法及び本学習方法を実行することができる。このコンピュータプログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ１３又は通信ユニット１４を介してインストールされ、メモリ１２に格納される。
本明細書では、説明の便宜のために、本分析方法及び本学習方法が共通の情報処理装置１０で実行される例を挙げるが、本分析方法及び本学習方法は、同じ又は異なるハードウェア構成をそれぞれ有する別々の情報処理装置で実行されてもよい。また、本分析方法及び本学習方法はそれぞれ別々のコンピュータプログラムで実装されてもよい。

情報処理装置１０（ＣＰＵ１１）は、教師データに基づいて機械学習されている学習済みの判別モデルを利用可能であり、更に、本学習方法を実行してその判別モデルを学習することもできる。
ここでの「判別モデル」は、教師データを用いた機械学習、即ち教師あり学習により得られたモデルであり、ＡＩ（Artificial Intelligence）モデル、機械学習（Machine Learning（ＭＬ））モデル等と表記可能である。
本実施形態で利用される判別モデルは、肌パッチ画像の入力に応じてその肌パッチ画像の肌属性又は肌状態を判別し得る情報を出力することができればよく、それのデータ構造や学習アルゴリズム等は限定されない。なお、判別モデルに入力される肌パッチ画像や判別モデルからの出力により判別可能となる肌属性及び肌状態については後述する。

当該判別モデルは、例えば、回帰分析で得られる回帰式であってもよいし、ディープニューラルネットワークを含む畳み込みニューラルネットワークで構成されていてもよく、コンピュータプログラムとパラメータとの組合せ、複数の関数とパラメータとの組合せなどにより実現される。また、判別モデルは、ニューラルネットワークで構築される場合で、かつ、入力層、中間層及び出力層を一つのニューラルネットワークの単位と捉えた場合に、一つのニューラルネットワークを指してもよいし、複数のニューラルネットワークの組合せを指してもよい。また、判別モデルは、複数の重回帰式の組合せで構成されてもよいし、一つの重回帰式で構成されてもよい。また、判別モデルは、ニューラルネットワークと回帰式や判別式等のような他のモデルとの組合せで構成され、ニューラルネットワークの出力として得られた値を当該他のモデルに入力して得られる値を出力とするものであってもよい。本実施形態では、当該判別モデルがディープニューラルネットワークで構成されている例を挙げる。

この判別モデルは、情報処理装置１０内のメモリ１２に格納されていてもよいし、情報処理装置１０が通信でアクセス可能な他のコンピュータのメモリに格納されていてもよい。
このように情報処理装置１０は、当該判別モデルを利用可能な装置であって本分析方法を実行可能な肌画像分析装置と表記可能であるし、当該判別モデルを学習可能な判別モデルの学習装置と表記することもできる。
以降の説明では、本分析方法及び本学習方法の実行主体をＣＰＵ１１として説明する。

［肌画像分析方法（本分析方法）］
ここで、本分析方法について図２及び図３を用いて説明する。
図２は、本実施形態に係る肌画像分析方法の処理の流れの概念図であり、図３は、本実施形態に係る肌画像分析方法のフローチャートである。本分析方法は、図１に例示されるような情報処理装置１０（ＣＰＵ１１）により実行される。
ＣＰＵ１１は、上述したとおり、所定画像サイズの肌パッチ画像の入力に応じてその肌パッチ画像の肌属性又は肌状態を判別する学習済みの判別モデルを利用可能である。この判別モデルは、教師用肌画像の被写肌共通の属性又は状態を示す正解情報とその教師用肌画像から複数抽出される所定画像サイズの教師用肌パッチ画像群との複数の組合せを含む複数の教師データに基づいて機械学習されている。なお、この判別モデルは本学習方法により学習されればよく、本学習方法については後述する。

教師用肌画像は、教師データとして利用される画像であって人の肌が写る画像である。教師用肌画像に写る肌は、肌属性又は肌状態の判別対象となる肌を含んでいればよく、例えば、人の顔の肌、人の首の肌、人の腕の肌、人の手の甲或いは平の肌、脚の肌等である。教師用肌画像には、目、鼻の孔、口等のような判別対象となる肌以外の人体部位が写っていてもよい。
肌の属性は、例えば、年齢、性別等のようなその肌を持つ人の属性、その肌が属する人体部位（頬、おでこ、顔、首、脚等）等である。
肌の状態は、例えば、素肌か化粧肌かを示す状態、化粧崩れしているか否かを示す状態、肌に潤いがあるか否かを示す状態、肌が乾燥しているか否かを示す状態等である。本実施形態で対象とされる肌の状態は、シミやシワ等のような局所的特徴の存在を示すものよりは、全体的な見た目の印象を示すものであることが好ましい。
教師用肌パッチ画像群は、一つの教師用肌画像から抽出される複数の肌パッチ画像を含む画像集合である。
肌パッチ画像とは、肌領域（肌を示す画像領域）が所定の割合以上含まれる小区画画像である。所定の割合は少なくとも９０％以上とされる。肌パッチ画像は、予め決められた形状とされ、処理の容易性から矩形であることが好ましいが、円形、楕円形等、その形状は限定されない。
肌パッチ画像の画像サイズは予め決められており、例えば、２２４ピクセル×２２４ピクセルのサイズに決められる。但し、肌パッチ画像のサイズはこのような例に限定されず、判別モデルの構成等に応じて適宜決められればよい。

本分析方法において、まず、ＣＰＵ１１は、評価用肌画像を取得する（Ｓ３１）。
評価用肌画像は、被評価者の肌が写る画像であればよく、肌以外の部位が写っていてもよい。評価用肌画像の画像サイズは、その評価用肌画像から複数の肌パッチ画像を抽出することができれば、何ら制限されない。
工程（Ｓ３１）で取得される評価用肌画像は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式、ＢＭＰ（Bitmap image）形式、ＴＩＦＦ（Tagged Image File Format）形式、ＧＩＦ（Graphic Interchange Format）形式等の画像データとして取得される。但し、評価用肌画像のデータ形式は制限されない。また、取得される評価用肌画像は、肌の見た目の状態又は属性を判別するために、可視光を撮像するカメラで撮像されたカラー画像であることが好ましい。
ＣＰＵ１１は、評価用肌画像を撮像したカメラからその画像を取得してもよいし、他のコンピュータや可搬型記録媒体からその画像を取得してもよい。

次に、ＣＰＵ１１は、工程（Ｓ３１）で取得された評価用肌画像から肌パッチ画像群を取得する（Ｓ３２）。肌パッチ画像群に含まれる肌パッチ画像の数は、後述する指標値の取得数に対応するため多いことが好ましいが、特に制限されない。
また、工程（Ｓ３２）で取得される各肌パッチ画像の所定画像サイズは、上述した教師用肌パッチ画像群を形成する各肌パッチ画像の画像サイズと同じであることが好ましいが、その画像サイズとは必ずしも一致しなくてもよい。

工程（Ｓ３２）で取得される肌パッチ画像群に含まれる個々の肌パッチ画像及び教師データの教師用肌パッチ画像群に含まれる個々の教師用肌パッチ画像に写る被写体の肌領域は、被写体の１ｃｍ^２以上２０ｃｍ^２以下の肌領域であることが好ましく、３ｃｍ^２以上１９ｃｍ^２以下の肌領域であることが更に好ましい。実施例として後述するように、本発明者らは、教師用肌パッチ画像に写る被写体の肌領域のサイズを様々に変えて判別モデルによる判別精度を検証したところ、当該肌領域のサイズが判別モデルの判別精度に影響を与えることを新たに見出すと共に、判別モデルの判別精度を高くするのに上述のような範囲の肌領域サイズを用いることを新たに見出した。
そのため、個々の肌パッチ画像及び個々の教師用肌パッチ画像の取得元となる評価用肌画像及び教師用肌画像は、所定画像サイズを有する肌パッチ画像及び教師用肌パッチ画像が上述のような範囲の肌領域を示すような解像度等の撮影条件にて撮像されることが好ましい。また、被写体の肌に所定サイズ（例えば１ｃｍ角）の色票を貼った状態で撮影することで、評価用肌画像及び教師用肌画像上での画素サイズと被写体の肌の実サイズとの関係を把握することができる。

工程（Ｓ３２）において肌パッチ画像群は様々な手法で取得可能である。
例えば、評価用肌画像を所定画像サイズの矩形小区画画像に分割し、矩形小区画画像群のうち肌領域（肌を示す画像領域）が所定の割合以上含まれる矩形小区画画像すべてを肌パッチ画像として切り出す手法がある。この手法において、最終的な画像サイズよりも大きい画像サイズで小区画画像を切り出してから、その小区画画像から最終的な画像サイズの肌パッチ画像を更に切り出すようにしてもよい。
また、評価用肌画像上で所定画像サイズの切り出し窓を移動させながら、その窓内において肌領域が所定の割合以上含まれるタイミングでその窓内の小区画画像を切り出すことで、肌パッチ画像群を取得する手法もある。この手法では、肌パッチ画像間において重複して同じ肌領域が部分的に含まれるようにしてもよい。この場合、前回切り出した位置から所定量以上切り出し窓を移動させた際に肌領域の判定を行うようにすれば、肌パッチ画像間において同じ肌領域が大部分を占めるのを避けることができる。
また、他の手法で肌パッチ画像群が取得されてもよく、肌パッチ画像群の取得手法は制限されない。

次に、ＣＰＵ１１は、工程（Ｓ３２）で取得された各肌パッチ画像に対してそれぞれ画素値の正規化を行う（Ｓ３５）。例えば、ＣＰＵ１１は、一つの肌パッチ画像において画素値（ＲＧＢ値）の平均値及び分散値を算出し、その肌パッチ画像の各画素値をその平均値及び分散値を用いてそれぞれ線形演算することで、その肌パッチ画像の画素値を正規化することができる。このとき、工程（Ｓ３２）で取得された全ての肌パッチ画像を対象にして算出された画素値の平均値及び分散値が利用されてもよい。また、正規化手法についても、平均値をゼロに分散値を１にするような一般的な正規化手法のみならず、判別モデルごとに決められる正規化パラメータに基づく正規化手法が利用されてもよい。工程（Ｓ３２）における正規化手法には公知の様々な手法が利用できる。

続いて、ＣＰＵ１１は、正規化された各肌パッチ画像をそれぞれ判別モデルに入力し（Ｓ３７）、各肌パッチ画像に関する肌属性又は肌状態の指標値をそれぞれ取得する（Ｓ３８）。
取得される指標値が示す肌属性又は肌状態は、利用する判別モデルによって決まる。例えば、教師用肌画像の被写肌共通の肌状態として素肌又は化粧肌のいずれか一方を示す正解情報で学習されているような判別モデルが利用される場合には、（Ｓ３８）では、各肌パッチ画像に関して素肌感（素肌らしさ）又は化粧感（化粧肌らしさ）の指標値が肌状態の指標値としてそれぞれ取得される。また、教師用肌画像の被写肌共通の属性として男性又は女性のいずれか一方を示す正解情報で学習されているような判別モデルが利用される場合には、各肌パッチ画像に関して男性肌らしさ又は女性肌らしさの指標値が肌属性の指標値としてそれぞれ取得される。また、教師用肌画像の被写肌共通の属性として被写体の実年齢或いは実年齢帯（年代）を示す正解情報で学習されているような判別モデルが利用される場合には、各肌パッチ画像に関して肌の見た目年齢若しくは肌の見た目年齢帯を示す指標値又は肌の見た目年齢帯ごとのそれらしさの度合を示す指標値が肌属性の指標値としてそれぞれ取得される。また、教師用肌画像の被写肌共通の状態として化粧料塗布直後又は化粧料塗布から所定時間経過後のいずれか一方を示す正解情報で学習されているような判別モデルが利用される場合には、各肌パッチ画像に関して化粧崩れ度が肌状態の指標値としてそれぞれ取得される。また、教師用肌画像の被写肌共通の状態としてスキンケア剤塗布前又はスキンケア剤塗布後のいずれか一方を示す正解情報で学習されているような判別モデルが利用される場合には、各肌パッチ画像に関して肌のうるおい感の指標値が肌状態の指標値としてそれぞれ取得される。

このように工程（Ｓ３８）において各肌パッチ画像に関してそれぞれ取得される指標値は、男性肌らしさ又は女性肌らしさを示す度合の第一指標値、素肌らしさ又は化粧肌らしさを示す度合の第二指標値、肌の各年齢帯らしさを示す度合の第三指標値、化粧崩れの度合を示す第四指標値、又は、肌の潤い感の度合を示す第五指標値のいずれか一つを含む。
但し、判別モデルの出力となる指標値はこのような例のみに限定されず、肌属性又は肌状態の指標となり得る値であればよい。例えば、（Ｓ３８）では、或る肌状態又は或る肌属性であるか否かの２値が当該指標値として取得されてもよい。但し、本実施形態において得られる指標値は、シミやシワ等のような局所的特徴の存在を示すものよりは、全体的な見た目の印象を示すものであることが好ましい。

図３には、複数の工程（処理）が順番に表されているが、本分析方法の各工程の実行順序は、図３の例のみに限定されない。例えば、肌パッチ画像群の全ての肌パッチ画像に対して正規化が完了した後に工程（Ｓ３７）及び工程（Ｓ３８）を実行するのではなく、個々の肌パッチ画像に関して、正規化（Ｓ３５）、判別モデルへの入力（Ｓ３７）及び指標値の取得（Ｓ３８）をそれぞれ一つの流れで実行するようにしてもよい。また、工程（Ｓ３２）において肌パッチ画像群をすべて取得した後に工程（Ｓ３５）以降を実行するのではなく、工程（Ｓ３２）で一つの肌パッチ画像が取得される度に工程（Ｓ３５）以降を実行するようにしてもよい。

本分析方法では、上述のように、教師用肌画像の被写肌共通の属性又は状態を示す正解情報とその教師用肌画像から複数抽出された教師用肌パッチ画像群とからなる教師データ群を用いて機械学習されている学習済みの判別モデルに対して、評価用肌画像から取得された所定画像サイズの肌パッチ画像群を入力することで、各肌パッチ画像に関してそれぞれ肌属性又は肌状態の指標値が取得される。このように肌全体の共通の属性又は状態を示す正解情報を用いて学習された判別モデル用いて、各肌パッチ画像それぞれについて肌属性又は肌状態の指標値を取得することで、照明等のような評価用肌画像の撮影環境のばらつきや顔の局所部位の特徴差による影響を抑えて、評価用肌画像に写る被写肌全体から得られる見た目の肌状態又は肌属性を分析することができる。

ＣＰＵ１１は、工程（Ｓ３８）で取得される各肌パッチ画像の指標値を次のように加工することができる。
例えば、ＣＰＵ１１は、各肌パッチ画像の指標値の、各肌パッチ画像の被写肌領域の位置に応じた分布を示す指標値分布情報を生成することができる。この指標値分布情報は、例えば、各肌パッチ画像の被写肌領域の位置に応じて指標値が並べられたグラフやマップとされてもよい。この指標値分布情報によれば、肌状態又は肌属性の指標値の分布を把握することができる。

図４は、肌パッチ画像群の指標値分布情報としてのカラーマップ画像の例を示す図である。
ＣＰＵ１１は、図４に示されるように、工程（Ｓ３１）で取得された評価用肌画像に各肌パッチ画像の指標値を各肌パッチ画像の被写肌領域の位置に応じてマッピングさせたカラーマップ画像を当該指標値分布情報として生成することができる。
図４は、図面制約により二値画像とせざるを得ず分かりづらいが、黒に近づく程、肌状態又は肌属性の指標値が高くなり、白に近づく程、その指標値が低くなることを示している。図４では白黒で示されているが、当該カラーマップ画像では、評価用肌画像上にて各肌パッチ画像の位置がその指標値に対応する色とされる。このカラーマップ画像によれば、視覚的に指標値の分布を把握することができると共に、評価用肌画像上でその分布が示されるため、肌の部位ごとの肌状態又は肌属性の指標を直感的に把握することができる。

また、ＣＰＵ１１は、取得されて各肌パッチ画像の指標値に基づいて、被評価者の肌属性又は肌状態の代表評価値を算出することもできる。工程（Ｓ３１）で取得された評価用肌画像に関して一つの代表評価値が算出されてもよいし、その評価用肌画像の被写肌領域を各肌パッチ画像よりも大きいいくつかの部位（例えば頬、額、口の周り、鼻等）に分け、各部位に属する肌パッチ画像の指標値を用いて各部位の代表評価値が算出されてもよい。代表評価値は、例えば、各肌パッチ画像の指標値の平均、標準偏差、分散等の統計値とされる。
このように各肌パッチ画像の指標値から代表評価値を得ることで、評価用肌画像に写る被評価者の肌全体或いは部位ごとの肌状態又は肌属性の総合評価を容易に把握することができる。

更に、上述の代表評価値を算出する肌領域を指定可能とすることもできる。この場合、ＣＰＵ１１は、工程（Ｓ３１）で取得された評価用肌画像中の所望の画像領域を指定する領域指定情報を取得する工程を更に実行し、その工程で取得された領域指定情報が示す画像領域に対応する肌パッチ画像群に関して取得された指標値に基づいて、その画像領域の肌属性又は肌状態の代表評価値を算出すればよい。ＣＰＵ１１は、当該評価用肌画像を表示装置１５に表示し、表示された評価用肌画像に対して入力装置１６を用いて指定された画像領域を特定することで、当該領域指定情報を得ることができる。ＣＰＵ１１は、このような領域指定情報を他のコンピュータから通信により取得することもできる。
このようにすれば、被評価者やその他のユーザにとって関心のある肌領域に関して肌状態又は肌属性の代表評価値を得ることができる。

［判別モデルの学習方法（本学習方法）］
次に、上述した本分析方法で利用される判別モデルの学習方法について図５及び図６を用いて説明する。
図５は、本実施形態に係る判別モデルの学習方法の処理の流れの概念図であり、図６は、本実施形態に係る判別モデルの学習方法のフローチャートである。本学習方法は、図１に例示されるような情報処理装置１０（ＣＰＵ１１）により実行される。
本実施形態では、上述したとおり、ディープニューラルネットワークで構成された判別モデルであって、所定画像サイズの肌パッチ画像の入力に応じてその肌パッチ画像の肌属性又は肌状態を判別する判別モデルが利用される。本学習方法が実行されるにあたり、この判別モデルは、情報処理装置１０内のメモリ１２に格納されていてもよいし、情報処理装置１０が通信でアクセス可能な他のコンピュータのメモリに格納されていてもよい。

まず、ＣＰＵ１１は、教師用肌画像とその教師用肌画像の被写肌共通の属性又は状態を示す正解情報との組合せを複数取得する（Ｓ６１）。
この教師用肌画像は、所定画像サイズを有する教師用肌パッチ画像が上述のように被写体の１ｃｍ^２以上２０ｃｍ^２以下の肌領域を示すような解像度等の撮影条件にて撮像されることが好ましい。また、教師用肌画像の被写体の肌に所定サイズ（例えば１ｃｍ角）の色票を貼った状態で撮影することで、教師用肌画像上での画素サイズと被写体の肌の実サイズとの関係を把握することができる。
ここでの「教師用肌画像」、被写肌共通の「属性」及び「状態」については上述したとおりである。例えば、教師用肌画像の被写肌共通の状態を示す正解情報は、素肌又は化粧肌のいずれか一方を示す。肌状態の正解情報の他の例としては、化粧塗布直後又は化粧塗布から所定時間経過後のいずれか一方の状態や、スキンケア剤塗布前又はスキンケア剤塗布後のいずれか一方の状態などを示す。また、肌属性の正解情報の例としては、男性又は女性のいずれか一方や、被写体の実年齢又は実年齢帯を示す。
なお、「被写肌共通」とは、一つの教師用肌画像に対してその教師用肌画像の被写肌の属性又は状態を示す一つの正解情報が付され、その教師用肌画像から後述するように取得される教師用肌パッチ画像群に対してその一つの正解情報が共通して関連付けられることを意味する。

続いて、ＣＰＵ１１は、工程（Ｓ６１）で取得された教師用肌画像と正解情報との組合せごとに、工程（Ｓ６３）から工程（Ｓ６７）をそれぞれ実行する。

ＣＰＵ１１は、対象の組合せに係る教師用肌画像から肌領域が所定の割合以上含まれる所定画像サイズの教師用肌パッチ画像群を取得する（Ｓ６３）。一つの教師用肌画像から取得される教師用肌パッチ画像の数は、教師データ数を増やすという観点から多い程好ましいが、特に制限されない。
また、肌パッチ画像群を形成する各肌パッチ画像の所定画像サイズは、学習対象となる判別モデルの構成に応じて決められる。
ここで、工程（Ｓ６３）で取得される教師用肌パッチ画像群に含まれる個々の教師用肌パッチ画像に写る被写体の肌領域は、被写体の１ｃｍ^２以上２０ｃｍ^２以下の肌領域であることが好ましく、３ｃｍ^２以上１９ｃｍ^２以下の肌領域であることが更に好ましい。このような教師用肌パッチ画像に写る被写体の肌領域の範囲は上述したとおりである。

工程（Ｓ６３）における教師用肌画像から教師用肌パッチ画像群を取得する手法は、本分析方法における工程（Ｓ３２）と同じであってもよいし、異なっていてもよい。教師用肌パッチ画像群の取得手法においても、工程（Ｓ３２）で述べた肌パッチ画像群の取得手法と同様に様々な手法が採用可能である。各取得手法の例については、工程（Ｓ３２）で述べたとおりであるため、ここでは説明を省略する。教師用肌パッチ画像群の取得手法は制限されない。

続いて、ＣＰＵ１１は、工程（Ｓ６３）で取得された各教師用肌パッチ画像に対してそれぞれ画素値の正規化を行う（Ｓ６５）。例えば、ＣＰＵ１１は、一つの教師用肌パッチ画像において画素値（ＲＧＢ値）の平均値及び分散値を算出し、その教師用肌パッチ画像の各画素値をその平均値及び分散値を用いてそれぞれ線形演算することで、その教師用肌パッチ画像の画素値を正規化することができる。工程（Ｓ６５）における正規化手法は、本分析方法の工程（Ｓ３５）で行われる肌パッチ画像に対する正規化手法と同じであることが好ましい。工程（Ｓ６５）における正規化手法においても公知の様々な手法が利用できる。

工程（Ｓ６３）で取得された教師用肌パッチ画像群に含まれる全ての教師用肌画像に関して正規化（Ｓ６５）が完了すると、ＣＰＵ１１は、対象の組合せに係る教師用肌画像に対応する正解情報を工程（Ｓ６５）で正規化された教師用肌パッチ画像に対して共通して関連付けた教師データを生成する（Ｓ６７）。

このように、工程（Ｓ６１）で取得された教師用肌画像と正解情報との全ての組合せに関して工程（Ｓ６３）から工程（Ｓ６７）が実行されることで、各教師用肌パッチ画像が取得された元の教師用肌画像に対応する正解情報と、正規化された教師用肌パッチ画像群の各々とが関連付けられた教師データ群が生成される。
ＣＰＵ１１は、生成された教師データ群を用いて当該判別モデルを学習させる（Ｓ６９）。本実施形態ではディープラーニングにより当該判別モデルの学習が行われる。但し、判別モデルに対する具体的な学習アルゴリズムは何ら限定されない。

図６には、複数の工程（処理）が順番に表されているが、本学習方法の各工程の実行順序は、図６の例のみに限定されない。例えば、教師用肌パッチ画像群の全ての教師用肌パッチ画像に対して正規化が完了した後に工程（Ｓ６７）を実行するのではなく、個々の教師用肌パッチ画像に関して、正規化（Ｓ６５）及び正解情報との関連付け（Ｓ６７）をそれぞれ一つの流れで実行するようにしてもよい。また、工程（Ｓ６３）において教師用肌パッチ画像群をすべて取得した後に工程（Ｓ６５）以降を実行するのではなく、工程（Ｓ６３）で一つの教師用肌パッチ画像が取得される度に工程（Ｓ６５）以降を実行するようにしてもよい。

本分析方法では、上述のように、一つの教師用肌画像から取得される教師用肌パッチ画像群に対してその教師用肌画像の被写肌の属性又は状態を示す正解情報が共通して関連付けられた教師データを用いて、判別モデルが学習される。
これにより、判別モデルの精度を高めるためには大量の教師データが必要とされるところ、少数の教師用肌画像から多数の教師用肌パッチ画像群を取得することができるため、効率よく高精度の判別モデルを構築することができる。
また、各肌パッチ画像に関連付けられる正解情報が元の教師用肌画像に写る肌全体の共通の属性又は状態を示す正解情報とされることで、照明等のような教師用肌画像の撮影環境のばらつきや顔の局所部位の特徴差による影響を抑えて、高精度な判別モデルを構築することができる。

上記の実施形態及び変形例の一部又は全部は、次のようにも特定され得る。但し、上述の実施形態及び変形例が以下の記載に制限されるものではない。

＜１＞ 教師用肌画像の被写肌共通の属性又は状態を示す正解情報と該教師用肌画像から複数抽出される所定画像サイズの教師用肌パッチ画像群との複数の組合せを含む複数の教師データに基づいて機械学習されている学習済みの判別モデルを利用可能な一以上のプロセッサが、
被評価者の肌が写る評価用肌画像を取得する工程と、
前記取得された評価用肌画像から所定画像サイズの肌パッチ画像群を取得する工程と、
前記取得された各肌パッチ画像に対してそれぞれ画素値の正規化を行う工程と、
正規化された各肌パッチ画像をそれぞれ前記判別モデルに入力することで、各肌パッチ画像に関する肌属性又は肌状態の指標値をそれぞれ取得する工程と、
を実行する肌画像分析方法。

＜２＞ 前記一以上のプロセッサが、
前記取得された各指標値の、各肌パッチ画像の被写肌領域の位置に応じた分布を示す、指標値分布情報を生成する工程
を更に実行する＜１＞に記載の肌画像分析方法。
＜３＞ 前記取得された評価用肌画像に前記取得された各指標値を各肌パッチ画像の被写肌領域の位置に応じてマッピングさせたカラーマップ画像を前記指標値分布情報として生成する、
＜２＞に記載の肌画像分析方法。
＜４＞ 前記一以上のプロセッサが、
前記取得された肌パッチ画像ごとの指標値に基づいて、前記被評価者の肌属性又は肌状態の代表評価値を算出する工程、
を更に実行する＜１＞から＜３＞のいずれか一つに記載の肌画像分析方法。
＜５＞ 前記一以上のプロセッサが、
前記取得された評価用肌画像中の所望の画像領域を指定する領域指定情報を取得する工程と、
前記取得された領域指定情報が示す画像領域に対応する肌パッチ画像群に関して取得された前記指標値に基づいて、該画像領域の肌属性又は肌状態の代表評価値を算出する工程と、
を更に実行する＜１＞から＜４＞のいずれか一つに記載の肌画像分析方法。
＜６＞ 前記教師データに含まれる前記教師用肌画像の被写肌共通の状態を示す前記正解情報は、素肌又は化粧肌のいずれか一方を示し、
前記各肌パッチ画像に関して素肌感又は化粧感の指標値が肌状態の指標値としてそれぞれ取得される、
＜１＞から＜５＞のいずれか一つに記載の肌画像分析方法。
＜７＞ 前記教師データに含まれる前記教師用肌画像の被写肌共通の属性を示す前記正解情報は、男性又は女性のいずれか一方を示し、
前記各肌パッチ画像に関して男性肌らしさ又は女性肌らしさの指標値が肌属性の指標値としてそれぞれ取得される、
＜１＞から＜５＞のいずれか一つに記載の肌画像分析方法。
＜８＞ 前記教師データに含まれる前記教師用肌画像の被写肌共通の属性を示す前記正解情報は、該教師用肌画像の被写体の実年齢又は実年齢帯を示し、
前記各肌パッチ画像に関して、肌の見た目年齢帯ごとの指標値又は見た目年齢が肌属性の指標値としてそれぞれ取得される、
＜１＞から＜５＞のいずれか一つに記載の肌画像分析方法。
＜９＞ 前記教師データに含まれる前記教師用肌画像の被写肌共通の状態を示す前記正解情報は、化粧塗布直後又は化粧塗布から所定時間経過後のいずれか一方の状態を示し、
前記各肌パッチ画像に関して化粧崩れ度が肌状態の指標値としてそれぞれ取得される、
＜１＞から＜５＞のいずれか一つに記載の肌画像分析方法。
＜１０＞ 前記教師データに含まれる前記教師用肌画像の被写肌共通の状態を示す前記正解情報は、スキンケア剤塗布前又はスキンケア剤塗布後のいずれか一方の状態を示し、
前記各肌パッチ画像に関して肌のうるおい感の指標値が肌状態の指標値としてそれぞれ取得される、
＜１＞から＜５＞のいずれか一つに記載の肌画像分析方法。
＜１１＞ 前記肌パッチ画像に写る肌領域は、被写体の１ｃｍ^２以上２０ｃｍ^２以下の肌領域である、
＜１＞から＜１０＞のいずれか一つに記載の肌画像分析方法。
＜１２＞ 前記判別モデルは、ディープニューラルネットワークを含む畳み込みニューラルネットワークで構成されている、
＜１＞から＜１１＞のいずれか一つに記載の肌画像分析方法。

＜１３＞ 所定画像サイズの肌パッチ画像の入力に応じて該肌パッチ画像の肌属性又は肌状態を判別する判別モデルの学習方法であって、
教師用肌画像と該教師用肌画像の被写肌共通の属性又は状態を示す正解情報との組合せを複数取得する工程と、
前記取得された教師用肌画像から肌領域が所定の割合以上含まれる所定画像サイズの教師用肌パッチ画像群を取得する工程と、
前記取得された各教師用肌パッチ画像に対してそれぞれ画素値の正規化を行う工程と、
各教師用肌パッチ画像が取得された元の前記教師用肌画像に対応する前記正解情報と、前記正規化された教師用肌パッチ画像群の各々とを関連付けた教師データ群を生成する工程と、
前記教師データ群を用いて前記判別モデルを学習させる行程と、
を含む判別モデルの学習方法。
＜１４＞
前記一以上のプロセッサ及びメモリを少なくとも備える肌画像分析装置であって、
＜１＞から＜１２＞のいずれか一つに記載の肌画像分析方法を実行可能な肌画像分析装置。
＜１５＞ ＜１３＞に記載の判別モデルの学習方法を実行可能な判別モデル学習装置。

以下に複数の実施例を挙げ、上述の内容を更に詳細に説明する。但し、以下の各実施例の記載は、上述の内容に何ら限定を加えるものではない。
以下の各実施例では、ＶＧＧ１６と呼ばれる１６層からなる畳み込みニューラルネットワークモデルをベースにして転移学習（重みの微調整を含むファインチューニング）により構築された判別モデルが利用された。ＶＧＧ１６は、２２４×２２４ピクセルの矩形画像を入力して約１０００カテゴリに分類するモデルであるので、それが転移学習により肌属性又は肌状態を示す２つのカテゴリに分類するように調整された。但し、上述したとおり、判別モデルの構成はこのような例に限定されない。

実施例１では、教師用肌パッチ画像に写る被写体の肌領域のサイズ（以降、肌領域サイズと表記する）を様々に変えて判別モデルの判別精度が検証された。実施例１では、各教師用肌パッチ画像及び各評価用肌パッチ画像は２２４×２２４ピクセルの矩形画像とされ、それの肌領域サイズとして４．５ｍｍ角（ｍｍ四方）、８．９ｍｍ角、１１．１ｍｍ角、１３．４ｍｍ角、１６．０ｍｍ角、１７．８ｍｍ角、２６．７ｍｍ角、３５．６ｍｍ角、４４．５ｍｍ角の９種が用いられた。
各教師用肌パッチ画像がこのような９種の肌領域サイズとなるような撮影条件で２６９名分の教師用肌画像が撮像され、各教師用肌画像からそれぞれ教師用肌パッチ画像群が取得され、上述の学習方法により判別モデルが学習された。即ち、９種の肌領域サイズに対応する９種の教師データ群を用いて学習された９種の判別モデルが構築された。
一方で、同じ２６９名分の評価用肌画像が４種類の異なる照明条件で撮像され、各評価用肌画像からそれぞれ評価用肌パッチ画像群が取得され、各評価用肌パッチ画像を学習済みの判別モデルに入力し、その出力が評価された。具体的には、９種の肌領域サイズに対応する各肌パッチ画像が、対応する肌領域サイズの教師データで学習された判別モデルにそれぞれ入力された。

図７は、肌領域サイズと判別モデルの判別精度との関係を示すグラフである。図７に示されるように、実施例１によれば、肌領域サイズが判別モデルの判別精度に影響を与えることが実証された。特に、肌領域サイズが１７．８ｍｍ角とされる場合に、最も高い判別精度を示すことが確認された。
また、肌領域サイズが８．９ｍｍ角（約０．７９ｃｍ^２）より大きければ、概ね６０％以上の判別精度を得ることができ、１６．０ｍｍ角（約２．５６ｃｍ^２）以上かつ４４．５ｍｍ角（約１９．８ｃｍ^２）以下の範囲であれば、９０％以上の判別精度をえることができることが実証された。
これにより、評価用肌パッチ画像及び教師用肌パッチ画像に写る被写体の肌領域は、被写体の１ｃｍ^２以上２０ｃｍ^２以下の肌領域であることが好ましく、３ｃｍ^２以上１９ｃｍ^２以下の肌領域であることが更に好ましいといえる。

実施例２では、人の目視評価による判別精度と比較することで、本分析方法で得られる各肌パッチ画像に関する化粧感の指標値の精度について検証された。
目視評価では、５名の訓練された判定者が顔画像を見てベースメイク化粧料が塗布されているか否かが判定された。顔画像としては、２６９名の被写体に関してベースメイク化粧料が塗布された正面顔とベースメイク化粧料が塗布されていない（素肌の）正面顔とがそれぞれ撮像され、合計５３８枚の正面顔画像が準備された。
一方で、その５３８枚の正面顔画像を教師用肌画像とし各教師用肌画像に対してベースメイク化粧料が塗布されているか否かの正解情報を付し、教師用肌画像ごとに肌パッチ画像群とその正解情報とを関連付けた教師データ群を用いて学習することで学習済みの判別モデルが構築された。
当該判別モデルは、素肌らしさ及び化粧肌らしさ（ベースメイク化粧料が塗布されているらしさ）の二つの指標値を出力するモデルとされた。
これに対して、当該２６９名の被検体に関して教師データとして用いていない左右横向きの顔画像についてベースメイク化粧料が塗布されたものとそうでないものとがそれぞれ撮像され、合計１０７６枚の横顔画像が評価用肌画像として準備された。そして、その評価用肌画像ごとに学習済みの判別モデルを用いた本分析方法を実行して各肌パッチ画像の素肌らしさ及び化粧肌らしさの指標値を取得し、被写体ごとに平均指標値が最大となる肌状態（素肌又は化粧肌）が本分析方法における推定肌状態（素肌又は化粧肌）に決定された。

結果、５名の判定者の判別精度では９３．１％が最高であったのに対して、本分析方法で得られる指標値を用いた判別精度は９７．２％であった。これにより、人の目視評価による判別精度よりも本分析方法で得られる各肌パッチ画像に関する素肌らしさ又は化粧肌らしさ（化粧感）の指標値の精度のほうが高いことが実証された。

実施例２では、更に、人の目視評価の判別と本分析方法で得られる指標値を用いた判別との相関性について検証された。目視評価において各判定者に化粧感を６段階のスコア（素肌を０とし、化粧感（化粧肌らしさの度合）を１から５の５段階で示す）で評定させ、本分析方法で得られる素肌らしさ又は化粧肌らしさ（化粧感）の指標値（－５から２０の範囲の値）をそのまま化粧感スコアとした。そして５名の判定者の化粧感スコアの平均値と、本分析方法で得られる化粧感スコアとの相関が分析された。
図８は、人の目視評価で得られた化粧感スコアと本分析方法で得られた化粧感スコアとの関係を示すグラフである。図８では、縦軸に本分析方法で得られた化粧感スコアが示されており、横軸に人の目視評価で得られた化粧感スコアが示されている。
結果、図８に示されるように、５名の判定者の化粧感スコアの平均値と本分析方法で得られる化粧感スコアとの間には相関係数０．７２で相関が認められた。

実施例３では、本分析方法で得られる肌パッチ画像ごとの化粧感の指標値が様々な化粧料塗布態様に適応可能であるかについて検証された。
評価用肌画像として、被評価者の素肌の顔画像に加えて７種の化粧料塗布態様の化粧顔画像が準備された。７種の化粧料塗布態様の化粧顔画像とは、スキンケア化粧料塗布後の化粧顔画像（スキンケアと表記）、スキンケア化粧料及びサンスクリーン化粧料を塗布した後の化粧顔画像（＋サンスクリーンと表記）、スキンケア化粧料・サンスクリーン化粧料・第一ベースメイク化粧料を塗布した後の化粧顔画像（＋下地と表記）、スキンケア化粧料・サンスクリーン化粧料・第一ベースメイク化粧料・パウダーファンデーション化粧料を塗布した後の化粧顔画像（＋ＰＦＤと表記）、スキンケア化粧料及び第二ベースメイク化粧料を塗布した後の化粧顔画像（＋下地２と表記）、スキンケア化粧料・第二ベースメイク化粧料・クリームファンデーション化粧料を塗布した後の化粧顔画像（＋クリームＦＤと表記）、スキンケア化粧料・第二ベースメイク化粧料・クリームファンデーション化粧料・フェイスパウダー化粧料を塗布した後の化粧顔画像（＋ルースＰＤと表記）である。
そして、素肌顔画像を加えた８種の評価用肌画像の各々について肌パッチ画像群を取得し、各肌パッチ画像を当該判別モデルにそれぞれ入力することで、各肌パッチ画像の化粧感の指標値がそれぞれ取得された。最終的に、元の評価用肌画像ごとに各肌パッチ画像の化粧感の代表指標値（平均値）が算出された。

図９は、化粧料塗布態様が異なる８種の評価用肌画像の各々に関して本分析方法で取得された化粧感の代表指標値を示すグラフである。
図９では、素肌の顔画像に関して算出された化粧感の代表指標値が最も低く、スキンケア化粧料塗布後の顔画像に関して算出された化粧感の代表指標値が次に低くなっている。その他の化粧料塗布態様の化粧顔画像に関する化粧感の代表指標値については、＋サンスクリーンと表記される化粧顔画像、＋下地２と表記される化粧顔画像、＋下地と表記される化粧顔画像、＋ＰＦＤと表記される化粧顔画像、＋クリームＦＤと表記される化粧顔画像、＋ルースＰＤと表記される化粧顔画像の順に、化粧感の代表指標値が高くなっている。
この結果は、各化粧料塗布態様の化粧顔に関する見た目の印象と概ね一致しており、本分析方法によれば、スキンケア化粧料やサンスクリーン化粧料、ベースメイク化粧料の塗布に伴う化粧感も検出することができ、更には、化粧料の重ね塗りによる化粧感の増加についても適切に検出することができるといえる。即ち、本分析方法で得られる肌パッチ画像ごとの化粧感の指標値が様々な化粧料塗布態様に適応可能であることが実証された。

図１０は、化粧料塗布態様が異なる８種の評価用肌画像の各々に関する肌パッチ画像群の指標値分布を示すカラーマップ画像を示す図である。図１０は、図面制約により二値画像とせざるを得ず分かりづらいが、黒に近づく程、化粧感の指標値が高くなり（化粧肌らしさが大きくなり）、白に近づく程、化粧感の指標値が低くなる（素肌らしさが大きくなる）ことを示している。
このように図１０で示されるカラーマップ画像によっても、本分析方法で得られる肌パッチ画像ごとの化粧感の指標値が様々な化粧料塗布態様に適応可能であることが分かる。更に言えば、肌パッチ画像群の指標値分布を示すカラーマップ画像によれば、顔全体の中で化粧感が高い部位と低い部位とを細かい小区画領域ごとに把握し易く提示することができる。

実施例４では、本分析方法で得られる各肌パッチ画像の肌の見た目年齢帯ごとの指標値の精度が検証された。
実施例４では、２０代から７０代までの各年齢帯に属する５１２名の女性を被写体とし素肌の顔画像とファンデーション化粧料塗布後の顔画像とがそれぞれ撮像され、各顔画像からそれぞれ肌パッチ画像群が取得され、合計４３０００個の肌パッチ画像が取得された。それら肌パッチ画像群の７割が教師用肌パッチ画像群として判別モデルの学習に用いられ、残りの３割が評価用肌パッチ画像群として当該判別モデルを用いた本分析方法に用いられた。
当該判別モデルは、２０代から７０代までの６つの各年齢帯の指標値をそれぞれ出力するモデルとされた。本分析方法では、当該判別モデルにより当該評価用肌パッチ画像群に含まれる各肌パッチ画像に関して肌の見た目年齢帯ごとの指標値がそれぞれ取得された。本実施例では更に、当該判別モデルから得られた各指標値を独立変数とした線形回帰により肌パッチごとの推定年齢が取得され、被写体ごとに得られた全肌パッチの推定年齢の平均が本分析方法における推定年齢に決定された。

図１１は、本分析方法で得られる推定年齢と実年齢との関係を示すグラフである。図１１において縦に延びる線は、実年齢帯ごとに本分析方法で得られた推定年齢の範囲を示し、横に延びる線は、実年齢帯ごとの被写体の実年齢の範囲を示し、丸印は、実年齢帯ごとの被写体の実年齢の平均値と本分析方法で得られた推定年齢の平均値を示す。
結果、本分析方法で得られる推定年齢と実年齢とは相関係数０．７７で相関があることが確認され、予測標準誤差が１０．７７であることが確認された。
即ち、本分析方法で得られる各肌パッチ画像の肌の見た目年齢帯ごとの指標値及び推定年齢が高精度で得られていることが実証された。

実施例５では、本分析方法で得られる各肌パッチ画像の男性肌らしさ又は女性肌らしさの指標値の精度が検証された。
実施例５では、男性２６名、女性２６名の合計５２名を被写体として素肌の顔画像がそれぞれ撮像され、各顔画像からそれぞれ肌パッチ画像群が取得され、合計１２００個の肌パッチ画像が取得された。それら肌パッチ画像群の７割が教師用肌パッチ画像群として判別モデルの学習に用いられ、残りの３割が評価用肌パッチ画像群として当該判別モデルを用いた本分析方法に用いられた。
当該判別モデルは、男性肌らしさ及び女性肌らしさの２つの指標値をそれぞれ出力するモデルとされた。本分析方法では、当該評価用肌パッチ画像群に含まれる各肌パッチ画像に関して男性肌らしさ及び女性肌らしさの指標値がそれぞれ取得され、指標値が大きいほうの性別が各肌パッチ画像の推定性別に決定された。

結果、本分析方法で肌パッチ画像ごとに得られる推定性別が９７．１％の判別精度を示した。即ち、本分析方法で得られる各肌パッチ画像の男性肌らしさ又は女性肌らしさの指標値が高い精度を示すことが実証された。
図１２は、５名の被評価者の評価用肌画像の各々に関する肌パッチ画像群の指標値分布を示すカラーマップ画像を示す図である。図１２は、図面制約により二値画像とせざるを得ず分かりづらいが、黒に近づく程、男性肌らしさの指標値が高くなり（女性肌らしさの指標値が低くなり）、白に近づく程、男性肌らしさの指標値が低くなる（女性肌らしさの指標値が高くなる）ことを示している。
このように図１２で示されるカラーマップ画像によれば、顔全体の中で男性肌らしさ又は女性肌らしさが高い部位と低い部位とを細かい小区画領域ごとに把握し易く提示することができる。

実施例６では、本分析方法で得られる各肌パッチ画像の化粧崩れ度の精度が検証された。
実施例６では、６０名の女性を被写体としてファンデーション化粧料塗布直後の顔画像とファンデーション化粧料塗布から６から１０時間経過後の顔画像とがそれぞれ撮像され、各顔画像からそれぞれ肌パッチ画像群が取得され、合計５０００個の肌パッチ画像が取得された。それら肌パッチ画像群の７割が教師用肌パッチ画像群として判別モデルの学習に用いられ、残りの３割が評価用肌パッチ画像群として当該判別モデルを用いた本分析方法に用いられた。
当該判別モデルは、化粧料塗布直後及び化粧料塗布から所定時間経過後の二つの指標値を出力するモデルとされた。本分析方法では、当該評価用肌パッチ画像群に含まれる各肌パッチ画像に関して化粧料塗布直後及び化粧料塗布から所定時間経過後の二つの指標値がそれぞれ取得され、指標値が大きいほうの状態（化粧料塗布直後又は化粧料塗布から所定時間経過後）が各肌パッチ画像の推定化粧料塗布状態に決定された。

結果、本分析方法で肌パッチ画像ごとに得られる推定化粧料塗布状態が７８．４％の判別精度を示した。化粧崩れは、顔全体に一律に生じる場合もあるが、部分的に生じる場合も多い。このことを考慮すれば、この判別精度の値（７８．４％）は十分に高い精度を示すといえる。即ち、本分析方法で得られる各肌パッチ画像の化粧料塗布直後及び化粧料塗布から所定時間経過後の二つの指標値が高い精度を示すことが実証された。また、この二つの指標値は化粧崩れ度を示すといえる。
図１３は、二種類のファンデーション化粧料の塗布直後と塗布から４時間、８時間及び１０時間の各経過後とにおける各評価用肌画像に関する肌パッチ画像群の指標値分布を示すカラーマップ画像を示す図である。同一女性を被写体としており、図１３（ａ）と図１３（ｂ）とで利用したファンデーション化粧料が異なっている。
図１３は、図面制約により二値画像とせざるを得ず分かりづらいが、黒に近づく程、塗布から所定時間経過後を示す指標値が高くなり（化粧崩れ度が高くなり）、白に近づく程、塗布から所定時間経過後を示す指標値が低くなる（化粧崩れ度が低くなる）ことを示している。
図１３によれば、時間経過に伴う化粧崩れ度の変化が、図１３（ａ）で用いられたファンデーション化粧料のほうが図１３（ｂ）で用いられたファンデーション化粧料よりも小さいことが分かる。
このように図１３で示されるカラーマップ画像によれば、化粧料の崩れ特性を客観的に評価することができる。また、このカラーマップ画像によれば、顔全体の中で化粧崩れ度が高い部位と低い部位とを細かい小区画領域ごとに把握し易く提示することができる。

実施例７では、本分析方法で得られる各肌パッチ画像の肌のうるおい感の指標値の精度が検証された。
実施例７では、８名の女性を被写体としてスキンケア剤塗布前の顔画像とスキンケア剤塗布後の顔画像とがそれぞれ撮像され、各顔画像からそれぞれ肌パッチ画像群が取得され、合計２３１個の肌パッチ画像が取得された。それら肌パッチ画像群の７割が教師用肌パッチ画像群として判別モデルの学習に用いられ、残りの３割が評価用肌パッチ画像群として当該判別モデルを用いた本分析方法に用いられた。
当該判別モデルは、スキンケア剤塗布前及びスキンケア剤塗布後の二つの指標値を出力するモデルとされた。本分析方法では、当該評価用肌パッチ画像群に含まれる各肌パッチ画像に関してスキンケア剤塗布前及びスキンケア剤塗布後の二つの指標値がそれぞれ取得され、指標値が大きいほうの状態（スキンケア剤塗布前又はスキンケア剤塗布後）が各肌パッチ画像の推定スキンケア塗布状態に決定された。

図１４は、本学習方法におけるエポック数と判別モデルの判別精度との関係を示すグラフである。判別モデルの判別精度は、上述のように肌パッチ画像ごとに得られる推定スキンケア塗布状態の精度を示す。
図１４には、教師用肌パッチ画像の入力に応じた判別モデルの判別精度が教師データと表記する折れ線で示され、評価用肌パッチ画像の入力に応じた判別モデルの判別精度が検証用データと表記する折れ線で示されている。
結果、当該判別モデルが最適なエポック数（６４）で学習された場合にスキンケア剤塗布前又は塗布後の判別精度が８８．６％となることが確認された。即ち、本分析方法で得られる各肌パッチ画像のスキンケア剤塗布前及びスキンケア剤塗布後の二つの指標値が高い精度を示すことが実証された。この二つの指標値は、肌のうるおい感の指標値と呼ぶことができる。

実施例８では、肌の目視評価スコアを推定する学習済みモデルを判別モデルとして用いて、本分析方法で得られる各肌パッチ画像の肌の目視評価スコアの精度が検証された。
まず、２０歳から３９歳の日本人女性８７名の素肌の顔全体が写る３４１枚の顔画像が準備された。この３４１枚の顔画像は、８７名の各被写体（一部を除く）を時期を変えてそれぞれ最大４回撮影することで取得された。
更に、１０名の判定者が目視により３４１枚の顔画像の肌を官能評価し、評価結果として１０項目の各評価項目について‐３ポイントから＋３ポイントの７段階の評価スコア（１０名の判定者の平均値）がそれぞれ付与され、最終的に、顔画像ごとに付与された１０個の各評価項目の評価スコアが正解情報とされた。
評価項目は、総合評価、肌の白さ、肌の黄み、潤い、乾燥感、ハリ、つや、透明感、肌表面の滑らかさ、及びキメの整いの１０項目である。
これにより、顔画像と、それの正解情報としての１０個の目視評価スコアとの３４１組の組合せが取得された。ここで、正解情報として取得された１０個の目視評価スコアは、評価項目ごとに平均０、分散１となるようにそれぞれ正規化された。

次に、当該顔画像に対して顔検出及び肌色検出を行い、肌領域が９０％以上含まれる所定画像サイズの肌パッチ画像群が各顔画像からそれぞれ取得された。本実施例では、各肌パッチ画像に写る被写体の肌領域は、被写体の１７．８ｍｍ四方の肌領域とされ、全ての顔画像から９３０６枚の肌パッチ画像が取得された。
更に、各肌パッチ画像の画素値が正規化され、正規化された各肌パッチ画像に対して、その肌パッチ画像の元となった顔画像の１０個の目視評価スコアがラベル（正解情報）として割り当てられた。
本実施例では、このように取得された肌パッチ画像群とそれのラベルとして割り当てられた１０個の目視評価スコアとの３４１組の組合せの中の７割が学習用の教師データとされ、残り３割が検証用のデータとされた。

実施例８で用いられる判別モデル（以降、肌パッチ型モデルと表記）は、肌パッチ画像を入力し、１０項目の目視評価スコアの推定値を要素として持つ１０次元ベクトルを出力するモデルである。この判別モデルは、上述した学習用の教師データを用いて、出力ベクトルの要素である１０項目すべての推定値と実際の目視評価スコアとの二乗平均平方根誤差（ＲＭＳＥ）の評価項目間平均値が最小化されるよう学習された。
また、比較例として、上述の顔画像を入力し、１０項目の目視評価スコアの推定値を要素として持つ１０次元ベクトルを出力する比較用判別モデル（以降、全顔型モデルと表記）も生成された。

図１５は、顔画像を入力して肌の目視評価スコアを推定する学習済みモデル（全顔型判別モデル）と肌パッチ画像を入力して肌の目視評価スコアを推定する学習済みモデル（肌パッチ型判別モデル）との推定精度を比較するためのグラフである。図１５には、１０個の目視評価項目ごとに、肌パッチ型判別モデル又は全顔型判別モデルにより出力された目視評価スコアの推定値と検証用データの正解情報（目視評価スコア）との相関係数が示されている。
図１５によれば、肌パッチ型判別モデルは、１０個の評価項目すべてにおいて相関係数０．６を超える推定精度を示すのに対して、比較例としての全顔型判別モデルは、肌の色及び肌の黄みという二つの評価横目について大きく推定精度が低下していることが分かる。
以上より、肌の目視評価スコアを推定する判別モデルを用いる場合においても、肌パッチ画像を用いることの有効性が実証された。

本実施例では、更に、上述の顔画像とは異なる被写体を異なる撮影環境で撮影することで得られた新たな顔画像群を用いて、上述の肌パッチ型判別モデルの推定精度が検証された。
新たな顔画像群は、２０代から７０代の日本人女性２６９名を被写体とし、同一被写体につき素肌の全顔及びファンデーション塗布後の全顔の二つの顔画像をそれぞれ含む。
一方で、肌パッチ型判別モデルは、上述の学習用教師データを用いて学習されているため、４０歳以上の被写体の顔画像及びファンデーション塗布後の顔画像については学習していない状態である。

このような新たな顔画像群から上述と同様に肌パッチ画像群が取得され、各肌パッチ画像が肌パッチ型判別モデルに入力されて、各肌パッチ画像に関する１０項目の目視評価スコアの推定値がそれぞれ取得された。
そして、当該肌パッチ画像群が素肌とファンデーション塗布後の肌との二つの肌グループに分類され、肌グループごとに更に、被写体の年齢によって６つの年代グループ（２０代から７０代）に分類され、グループごとに肌パッチ型判別モデルにより得られた目視評価スコアの推定値の平均値が算出された。

図１６は、実施例８における肌パッチ型判別モデルから得られる目視評価スコアの推定値と年齢との相関、及び化粧料塗布に伴う目視評価スコアの推定値の変化を示すレーダーチャートである。図１６（ａ）は、素肌グループにおける６つの年代ごとの肌パッチ型判別モデルにより得られた目視評価スコアの推定値の平均値を示すレーダーチャートであり、図１６（ｂ）は、ファンデーション塗布後の肌グループにおける６つの年代ごとの肌パッチ型判別モデルにより得られた目視評価スコアの推定値の平均値を示すレーダーチャートである。図１６では、１０個の各評価項目の目視評価スコアの推定値の点を結んで囲まれた領域（以降、チャート領域と表記）が広い程、各評価項目の目視評価スコアの推定値が高いことを示す。
図１６によれば、素肌グループ及びファンデーション塗布後の肌グループのいずれにおいても、２０代グループのチャート領域が最も広く、年代が増すにつれて、チャート領域が狭くなっていることが分かる。これは、当該肌パッチ型判別モデルが肌の目視評価スコアの加齢に伴う低下を的確に捉えているということができる。
また、同一年代グループ間で比較すると、いずれの年代グループに関しても、図１６（ｂ）で示されるチャート領域のほうが図１６（ａ）で示されるチャート領域よりも広くなっていることが分かる。これは、当該肌パッチ型判別モデルが肌の目視評価スコアのファンデーション塗布に伴う改善を的確に捉えているということができる。
以上より、実施例８の当該肌パッチ型判別モデルによれば、未学習の年代の顔画像や未学習のファンデーション塗布後の顔画像を含む新たな顔画像群に関しても高い精度で目視評価スコアの推定値を取得できることが実証された。

１０ 情報処理装置
１１ ＣＰＵ
１２ メモリ
１３ 入出力Ｉ／Ｆ
１４ 通信ユニット
１５ 表示装置
１６ 入力装置

Claims (15)

1. 教師用肌画像の被写肌共通の属性又は状態を示す正解情報と該教師用肌画像から複数抽出される所定画像サイズの教師用肌パッチ画像群との複数の組合せを含む複数の教師データに基づいて機械学習されている学習済みの判別モデルを利用可能な一以上のプロセッサが、
   被評価者の肌が写る評価用肌画像を取得する工程と、
   前記取得された評価用肌画像から所定画像サイズの肌パッチ画像群を取得する工程と、
   前記取得された各肌パッチ画像に対してそれぞれ画素値の正規化を行う工程と、
   正規化された各肌パッチ画像をそれぞれ前記判別モデルに入力することで、各肌パッチ画像に関する肌属性又は肌状態の指標値をそれぞれ取得する工程と、
   を実行する肌画像分析方法。
2. 前記一以上のプロセッサが、
   前記取得された各指標値の、各肌パッチ画像の被写肌領域の位置に応じた分布を示す、指標値分布情報を生成する工程
   を更に実行する請求項１に記載の肌画像分析方法。
3. 前記取得された評価用肌画像に前記取得された各指標値を各肌パッチ画像の被写肌領域の位置に応じてマッピングさせたカラーマップ画像を前記指標値分布情報として生成する、
   請求項２に記載の肌画像分析方法。
4. 前記一以上のプロセッサが、
   前記取得された肌パッチ画像ごとの指標値に基づいて、前記被評価者の肌属性又は肌状態の代表評価値を算出する工程、
   を更に実行する請求項１から３のいずれか一項に記載の肌画像分析方法。
5. 前記一以上のプロセッサが、
   前記取得された評価用肌画像中の所望の画像領域を指定する領域指定情報を取得する工程と、
   前記取得された領域指定情報が示す画像領域に対応する肌パッチ画像群に関して取得された前記指標値に基づいて、該画像領域の肌属性又は肌状態の代表評価値を算出する工程と、
   を更に実行する請求項１から４のいずれか一項に記載の肌画像分析方法。
6. 前記教師データに含まれる前記教師用肌画像の被写肌共通の状態を示す前記正解情報は、素肌又は化粧肌のいずれか一方を示し、
   前記各肌パッチ画像に関して素肌感又は化粧感の指標値が肌状態の指標値としてそれぞれ取得される、
   請求項１から５のいずれか一項に記載の肌画像分析方法。
7. 前記教師データに含まれる前記教師用肌画像の被写肌共通の属性を示す前記正解情報は、男性又は女性のいずれか一方を示し、
   前記各肌パッチ画像に関して男性肌らしさ又は女性肌らしさの指標値が肌属性の指標値としてそれぞれ取得される、
   請求項１から５のいずれか一項に記載の肌画像分析方法。
8. 前記教師データに含まれる前記教師用肌画像の被写肌共通の属性を示す前記正解情報は、該教師用肌画像の被写体の実年齢又は実年齢帯を示し、
   前記各肌パッチ画像に関して、肌の見た目年齢帯ごとの指標値又は見た目年齢が肌属性の指標値としてそれぞれ取得される、
   請求項１から５のいずれか一項に記載の肌画像分析方法。
9. 前記教師データに含まれる前記教師用肌画像の被写肌共通の状態を示す前記正解情報は、化粧塗布直後又は化粧塗布から所定時間経過後のいずれか一方の状態を示し、
   前記各肌パッチ画像に関して化粧崩れ度が肌状態の指標値としてそれぞれ取得される、
   請求項１から５のいずれか一項に記載の肌画像分析方法。
10. 前記教師データに含まれる前記教師用肌画像の被写肌共通の状態を示す前記正解情報は、スキンケア剤塗布前又はスキンケア剤塗布後のいずれか一方の状態を示し、
    前記各肌パッチ画像に関して肌のうるおい感の指標値が肌状態の指標値としてそれぞれ取得される、
    請求項１から５のいずれか一項に記載の肌画像分析方法。
11. 前記肌パッチ画像に写る肌領域は、被写体の１ｃｍ^２以上２０ｃｍ^２以下の肌領域である、
    請求項１から１０のいずれか一項に記載の肌画像分析方法。
12. 前記判別モデルは、ディープニューラルネットワークを含む畳み込みニューラルネットワークで構成されている、
    請求項１から１１のいずれか一項に記載の肌画像分析方法。
13. 所定画像サイズの肌パッチ画像の入力に応じて該肌パッチ画像の肌属性又は肌状態を判別する判別モデルの学習方法であって、
    教師用肌画像と該教師用肌画像の被写肌共通の属性又は状態を示す正解情報との組合せを複数取得する工程と、
    前記取得された教師用肌画像から肌領域が所定の割合以上含まれる所定画像サイズの教師用肌パッチ画像群を取得する工程と、
    前記取得された各教師用肌パッチ画像に対してそれぞれ画素値の正規化を行う工程と、
    各教師用肌パッチ画像が取得された元の前記教師用肌画像に対応する前記正解情報と、前記正規化された教師用肌パッチ画像群の各々とを関連付けた教師データ群を生成する工程と、
    前記教師データ群を用いて前記判別モデルを学習させる行程と、
    を含む判別モデルの学習方法。
14. 前記一以上のプロセッサ及びメモリを少なくとも備える肌画像分析装置であって、
    請求項１から１２のいずれか一項に記載の肌画像分析方法を実行可能な肌画像分析装置。
15. 請求項１３に記載の判別モデルの学習方法を実行可能な判別モデル学習装置。

Images