JP2022032546A - 出力方法、出力システム及び出力プログラム - Google Patents

Abstract

【課題】解析結果とともに、解析に用いた指標をわかりやすく出力することができる新規な技術を提供すること。【解決手段】顔の動きに基づく解析結果を出力する出力方法であって、コンピュータが、顔の肌に関する評価と相関関係を有し、被験者の顔の動きを撮影した動画像の分析によって得られる顔の肌の運動性を取得し、前記運動性に基づいて推定された、前記被験者の顔の肌に関する評価を取得し、前記運動性及び評価を出力する。【選択図】図１

Description

本発明は、肌の解析結果等を出力するための、出力方法、出力システム及び出力プログラムに関するものである。

美容への関心から、顔や肌の特徴についての解析技術が広く研究されている。特に近年、内部構造や力学的な特徴を含む様々な指標を対象とした解析を、非侵襲的に行うことについて関心が集まっている。

例えば特許文献１には、顔の肌の運動性と、皮下脂肪細胞の線維化レベルと、の間の相関関係を利用して、運動性の測定値を指標として線維化レベルを推定する、推定方法が開示されている。また、特許文献２には、表情変化における顔の肌の物理量を解析する技術が開示されている。

特開２０１９－２０８９０４号公報 特開２０１６－１９４９０１号公報

先述の通り、肌の運動性を解析して非侵襲的に肌を評価する技術について知られている。しかし、被験者にとっては肌の指標を直接測定することなく評価結果が提示されることになるため、自身の顔のどのような特徴から評価が決定されたのかを実感しづらいという問題があった。

このような問題に鑑みて、本発明は、解析結果とともに、解析に用いた指標をわかりやすく出力することができる新規な技術を提供することを課題とする。

上記課題を解決するために、本発明は、顔の動きに基づく解析結果を出力する出力方法であって、コンピュータが、
顔の肌に関する評価と相関関係を有し、被験者の顔の動きを撮影した動画像の分析によって得られる顔の肌の運動性を取得し、
前記運動性に基づいて推定された、前記被験者の顔の肌に関する評価を取得し、
前記運動性及び評価を出力する。

このような構成とすることで、解析に用いられた運動性と、解析結果である肌の評価と、がともに出力されるため、解析結果に説得力を持たせる効果が期待される。

本発明の好ましい形態では、前記運動性は、肌の動きの追従性に関する量であり、
前記追従性に基づいて決定される周波数又は振動数で、音又は振動を出力する。
このような構成とすることで、肌の動きの追従性に基づいて評価を行うとともに、評価のもととなった追従性に関する量を被験者に対してわかりやすく出力することができる。

本発明の好ましい形態では、前記追従性の測定値は、顔の任意の位置に設定された少なくとも２つのマーカーの運動速度が最大となる時間の差分であり、
前記周波数又は振動数は、前記差分の絶対値の増加に伴い所定の範囲内で一様に増加または減少する、前記差分の関数によって決定される。
このような構成とすることで、遅れ量に応じた周波数又は振動数の音、又は振動が出力されることになり、被験者が肌の質感と結び付けてイメージしやすい方法で運動性の出力を行うことができる。

本発明の好ましい形態では、前記運動性は、肌の動きの追従性に関する量であり、
前記追従性に基づいて複数の選択肢の中から選択されるアニメーションにより、前記運動性を出力する。
このような構成とすることで、肌の動きの追従性に基づいて評価を行うとともに、評価のもととなった追従性に関する量を被験者に対してわかりやすく出力することができる。

本発明の好ましい形態では、前記追従性の測定値は、顔の任意の位置に設定された少なくとも２つのマーカーの運動速度が最大となる時間の差分であり、
前記アニメーションは、前記差分の大きさに応じて選択される。

本発明の好ましい形態では、前記評価が、肌の物性又は皮膚組織の組成のうち少なくとも何れかに関する評価を含む。

本発明は、顔の動きに基づく解析結果を出力する出力システムであって、
顔の肌に関する評価と相関関係を有し、被験者の顔の動きを撮影した動画像の分析によって得られる顔の肌の運動性を取得する手段と、
前記運動性に基づいて推定された、前記被験者の顔の肌に関する評価を取得する手段と、
前記運動性及び評価を出力する手段と、を備える。

本発明は、顔の動きに基づく解析結果を出力する出力プログラムであって、
顔の肌に関する評価と相関関係を有し、被験者の顔の動きを撮影した動画像の分析によって得られる顔の肌の運動性を取得する手段と、
前記運動性に基づいて推定された、前記被験者の顔の肌に関する評価を取得する手段と、
前記運動性及び評価を出力する手段と、としてコンピュータを機能させる。

本発明によれば、解析結果とともに、解析に用いた指標をわかりやすく出力することができる。

本実施形態に係る出力方法を実行する、出力システムの機能ブロック図。 追従性の測定の際に設定する参照点、第１のマーカー及び第２のマーカーの位置を示す図。 第２のマーカーの座標を横軸、第１のマーカーと第２のマーカーの単位時間当たりの変化量が最大になる時間の差分を縦軸とするグラフ。グラフ中の直線は回帰直線を表す。 伸縮性の測定の際に設定する点と、表情変化による増加分を計算すべき点間距離を示す図。 本発明の推定装置の一実施形態を示すブロック図。 皮下脂肪細胞の線維化の程度を評価するために用いた、電子顕微鏡により取得された基準写真である。線維化の進行の程度が最も低いものがスコア１の写真であり、線維化の進行の程度が最も高いものがスコア５の写真である。 ９名のドナーの皮下脂肪細胞を観察し、基準写真をもとにスコアをつけた結果を表す散布図である。 試験例２のモーションキャプチャ解析におけるマーカーの位置と表情変化を表す写真である。 ポイント１～ポイント７に関して別個に年代ごとの平均値をとり、これをプロットしたグラフである。 伸縮性に関して年代ごとに統計処理して作成した箱ひげ図と、回帰直線を表すグラフである。 エラストグラフィ解析によって得られた、皮膚の内部断面における粘弾性の分布を表すイメージング画像である。 試験例２と試験例３の解析結果についての回帰分析の結果を表すグラフである。 皮膚モデルの模式図である。 ＦＥＭ解析の概要を表す図である。 ＦＥＭ解析におけるＺ方向の変位を測定する位置を表す図である。 横軸に時間、縦軸にＺ方向の変位をプロットした、ＦＥＭ解析の結果を表すグラフである。 皮膚モデルのＸ－Ｚ断面におけるＺ方向の変位の分布を経時的に示すイメージング画像である。 超音波解析によって得られた、皮下脂肪層における線維化状態を表す画像、及び画像処理により得られたヒストグラムである。（Ａ）線維化の程度が低い画像、（Ｂ）線維化の程度が高い画像、（Ｃ）ヒストグラムの歪度が大きい画像、（Ｄ）ヒストグラムの歪度が小さい画像 試験例６の解析結果についての回帰分析の結果を表すグラフである。

以下、本発明の一実施形態について図面を参照して詳細に説明する。なお、本発明は顔の肌に関する解析結果及び解析に用いた指標の出力を特徴とするものであり、解析方法の詳細は特定されない。

図１は、本実施形態に係る出力方法を実行する、出力システムの機能ブロック図である。本実施形態の出力システムは、推定装置１及び出力装置２がネットワークＮＷを介して相互に通信可能に構成される。即ち本実施形態では、出力装置２が、肌の解析に必要な情報を推定装置１に送信し、推定装置１によって解析が行われた結果を受信して、出力する。ただし本発明はこれに限るものではなく、１つのコンピュータが推定装置１及び出力装置２の各手段を備えていてもよいし、それぞれ複数のコンピュータによって実現されてもよい。また推定装置１が備える手段の一部又は全部を出力装置２が備える構成や、出力装置２が備える手段の一部又は全部を推定装置１が備える構成も許容される。

推定装置１としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、ネットワークＮＷへの接続手段を含む種々の入出力装置等を備えた、サーバ装置等の一般的なコンピュータ装置を利用することができる。演算装置が後述の各処理部の処理を実行することで、コンピュータ装置が本実施形態における推定装置１として機能する。推定装置１の動作の詳細については後述する。

出力装置２としては、演算装置、記憶装置、ネットワークＮＷへの接続手段を含む種々の入出力装置等を備えた、スマートフォンやタブレット型端末等の任意のコンピュータ装置を利用することができる。その他、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を出力装置２として利用してもよい。推定装置１との間で各種情報の入力及び送受信を行うための専用のアプリケーションや、専用のウェブページにアクセスするためのブラウザアプリケーション等が記憶装置に記憶され、演算装置が各種の処理を実行することで、任意のコンピュータ装置が本発明の出力装置２として機能する。

出力装置２は、被験者の肌の運動性を得るための情報等を推定装置１に送信する送信手段２１と、推定装置１から運動性を受信する運動性取得手段２２と、推定装置１から解析結果として肌の評価を受信する評価取得手段２３と、運動性及び評価を出力する出力手段２４と、を備える。

本実施形態の出力方法においては、まず運動性を計測するための情報を、送信手段２１が推定装置１に送信する。運動性の計測については後述するが、例えば表情変化の過程を撮影した動画や、被験者の顔上に設定したマーカーの動きに関する情報を、送信手段２１が推定装置１に送信することで、推定装置１が運動性を計測することができる。なお出力装置２において運動性の計測まで実行した上で、送信手段２１が推定装置１に運動性の測定値を送信してもよい。

次に推定装置１において、受信した情報に基づいて運動性の計測が行われ、更に運動性と肌の評価値との相関関係を利用して、運動性の測定値を指標として肌の評価値を推定する。本実施形態の推定装置１は、肌の評価値として、運動性との間の相関関係が認められている、脂肪細胞を包む線維構造の線維化レベルを推定する。この他にも、肌の運動性との間に相関関係を有する任意の評価値の推定を推定装置１が行うことができる。

推定装置１は、送信手段２１が送信した情報に基づいて計測された運動性と、運動性に基づき推定された肌の評価と、を送信し、出力装置２では運動性取得手段２２及び評価取得手段２３が、運動性及び評価をそれぞれ取得する。

本実施形態では、運動性取得手段２２は、運動性として追従性の測定値を取得する。より詳細には、被験者の顔の任意の位置に設定された少なくとも２つのマーカーの運動速度が最大となる時間の差分を取得する。

また本実施形態の評価取得手段２３は、肌に関する評価として、肌の物性又は皮膚組織の組成に関する評価を取得する。より詳細には、顔の脂肪細胞を包む線維構造の線維化レベルが取得される。

そして、出力手段２４が、運動性取得手段２２及び評価取得手段２３がそれぞれ取得した、運動性及び評価を出力する。運動性の出力方法は任意に決定されるが、例えば、音、振動、アニメーション等による表現が想定される。

音や振動による運動性の出力を行う場合、運動性に応じて周波数や振動数を決定することが好適に例示される。本実施形態では、追従性の測定値として、顔の任意の位置に設定された少なくとも２つのマーカーの運動速度が最大となる時間の差分を用い、差分に応じて周波数や振動数を決定する。なお差分は「動きの遅れ」を表す値であり、負の値となる。

より具体的には、周波数又は振動数をｙ、周波数又は振動数の下限値をＳ、周波数又は振動数の上限値をＧ、差分の値をｘとして、式１によって周波数又は振動数を決定することができる。なお式は一例であり、差分の絶対値の増加に伴い所定の範囲内で一様に増加または減少する、差分のその他の関数を任意に用いることができる。

本実施形態では、図１２に示す後述の実験結果に鑑み、差分ｘが０から－０．８の範囲で変動するものとして、当該範囲内で差分の絶対値の増加に伴い一様に減少する、式１を採用した。このように、周波数又は振動数を決定する差分の関数は、所定の範囲内で連続かつ微分可能な関数であることがより好ましい。

また運動性の出力としてアニメーションを用いる場合には、事前に複数のアニメーションを登録しておき、追従性の測定値に従って複数段階に分け、対応する段階のアニメーションを出力として選択すればよい。

出力手段２４は、以上のようにして運動性に基づき出力を行う。音の出力であれば、上記の式で決定された周波数の音をスピーカー等の装置によって出力し、振動の出力であれば、上記の式で決定された振動数で、出力装置２が備えるモーター等を振動させる。またアニメーションの出力であれば、運動性の測定値に応じて選択されたアニメーションを、ディスプレイ等の装置によって表示する。

なお、運動性の出力情報の生成は、出力装置２において行われてもよいし、推定装置１において行われてもよい。推定装置１において出力情報を生成する場合には、運動性取得手段２２が運動性に基づく出力情報を取得し、出力手段２４は当該出力情報をそのまま出力すればよい。

このように決定される運動性の出力情報を、肌に関する評価とともに出力することにより、評価の根拠をわかりやすく被験者に提示することが可能となるため、評価結果に説得力を持たせることができる。

＜１＞運動性の計測
以下、本発明の解析処理の一形態について詳述する。
表情変化における顔の肌の運動性（以下、単に運動性ともいう）と、脂肪細胞を包む線維構造の線維化レベル（以下、単に線維化レベルともいう）との間には、負の相関関係が成立する。つまり、線維化レベルが小さいほど、顔の肌の運動性に優れる関係にある。
本実施形態では、かかる相関関係を利用して運動性から脂肪細胞を包む線維構造の線維化レベルを推定する。なお運動性はこの他に皮膚の粘弾性等の物性との間にも相関関係を有すると考えられており、このような相関関係を利用して運動性から肌の物性やその他の皮膚組織の組成等、肌に関する任意の指標について評価することができる。

「表情変化における顔の肌の運動性」とは、表情変化に伴う肌の表面の動き方のことをいう。運動性の具体例としては、表情変化における顔の肌の追従性（以下、単に追従性ともいう）や、表情変化における顔の肌の伸縮性（以下、単に伸縮性ともいう）が挙げられる。また、運動性として表情変化における顔の肌の変形性（以下、単に変形性ともいう）を採用することもできる。

「表情変化における顔の肌の追従性」とは、表情変化に追従して変化する顔の肌の動きの遅れの程度のことである。表情変化が起こる際に、顔の肌はその動きに遅れて変化することになるが、その遅れの程度が小さいほど「追従性に優れる」という。

追従性は、表情変化の際の顔の任意の２つの点を観察し、この２つの点の運動のタイミングのズレの程度を測定することにより定量的に評価することができる。
より具体的には、追従性は、表情変化における、顔の任意の位置に設定された少なくとも２つのマーカーの運動速度が最大となる時間の差分として定量的に測定できる。

追従性を測定する際に設定する２つのマーカーは任意に設定することができるが、表情変化において最も顕著に動く顔の位置を第１のマーカー、それ以外の任意の顔の位置を第２のマーカーに設定し、これら２つのマーカーの運動速度が最大となる時間の差分を測定することが好ましい。

追従性の測定において被験者に実行させる「表情変化」としては、無表情の状態から口を開いた表情への開口表情変化を特に好ましく例示することができる。
この場合、第１のマーカー１は顎の任意の位置に設定することが好ましい。より好ましくは顎の先端付近に第１のマーカー１を設定する（図２）。

一方、第２のマーカーは頬の任意の位置に設定することが好ましい（図２）。無表情時において鼻頂部から水平方向に引いた線４１よりも下方に設定した第２のマーカー２１により追従性を測定してもよいが、好ましくは線４１よりも上方に設定した第２のマーカー２２、さらに好ましくは線４１と、目尻から水平方向に引いた線４３との中心線４２よりも上方に設定した第２のマーカー２３に基づき追従性を測定する（図２）。

追従性は以下に説明する（ｉ）～（ｉｉｉ）の３つの工程により測定することが好ましい。
（ｉ）顔の任意の点を参照点とし、参照点と第１のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉ）前記参照点と第２のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉｉ）前記（ｉ）工程で特定した時間と、前記（ｉｉ）工程で特定した時間との差分を求める工程
以下、それぞれの工程について詳述する。

工程（ｉ）においては、顔の任意の点を参照点３とし、参照点３と第１のマーカー１との間の距離Ｌ１の単位時間当たりの変化量Ｖ１の時間変化を測定し、変化量Ｖ１が最大となる時間を特定する（図２参照）。
このように顔の任意の点を参照点３に設定し、この参照点３からの距離で第１のマーカー１と第２のマーカー２の動きをとらえることで、表情変化における頭の動きに左右されることなく、第１のマーカー１と第２のマーカー２のそれぞれの運動の相対評価が可能となる。

参照点３に設定するのは、開口表情変化において肌の動きが乏しい又は動きが無い箇所が好ましい。
開口表情変化において額の肌は動きにくいため、額の任意の位置、より好ましくは額の上部、さらに好ましくは髪の生え際付近を参照点３に設定することが好ましい（図２）。

工程（ｉｉ）では、上述した参照点３と第２のマーカー２との間の距離Ｌ２の単位時間当たりの変化量Ｖ２の時間変化を測定し、変化量Ｖ２が最大となる時間を特定する（図２正面視右側）。
当然であるが工程（ｉ）と工程（ｉｉ）における参照点３は同一とする。

工程（ｉｉｉ）においては、工程（ｉ）で特定した時間と、工程（ｉｉ）で特定した時間との差分を求める。差分を視覚的に求めやすいように、工程（ｉ）及び工程（ｉｉ）においては、変化量Ｖ１と変化量Ｖ２を経時的にプロットしたグラフを作成してもよい。

また、追従性は以下に説明する工程（ｉ）、（ｉｉ´）、（ｉｉｉ´）及び（ｉｖ）の４つの工程により測定してもよい。
（ｉ）顔の任意の点を参照点とし、該参照点と第１のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉ´）第２のマーカーを顔の高さ方向に並列して複数設定し、前記参照点とそれぞれの第２のマーカーとの間の距離の単位時間当たりの変化量の時間変化を測定し、該変化量が最大となる時間を特定する工程
（ｉｉｉ´）工程（ｉ）で特定した時間と、工程（ｉｉ）で特定したそれぞれの第２のマーカーに係る時間との差分を求める工程
（ｉｖ）工程（ｉｉｉ´）で求めた、それぞれの第２のマーカーに係る前記差分を、それぞれの第２のマーカーを設定した顔における相対的な位置ごとにプロットし、回帰分析を行い、回帰直線の傾きを算出する工程
以下、それぞれの工程について詳述する。

本実施形態における工程（ｉ）の実施態様は、上述した別形態と同様である。本実施形態の特徴は、第２のマーカーを顔の高さ方向に並列して複数設定し、それぞれの第２のマーカーについて第１のマーカーとの動きのタイミングのズレを測定することにある。図２を参照しながら具体的に説明する。

本実施形態においては、第２のマーカー２１～２３を顔の高さ方向に並列して設定する（図２正面視左側）。工程（ｉｉ´）においては、参照点３と第２のマーカー２１との間の距離Ｌ２１の単位時間当たりの変化量Ｖ２１の時間変化、参照点３と第２のマーカー２２との間の距離Ｌ２２の単位時間当たりの変化量Ｖ２２の時間変化、そして、参照点３と第２のマーカー２３との間の距離Ｌ２３の単位時間当たりの変化量Ｖ２３の時間変化、をそれぞれ測定し、変化量Ｖ２１～２３のそれぞれが最大となる時間を特定する。

工程（ｉｉｉ´）においては、工程（ｉ）で特定した時間と、工程（ｉｉ）で特定したそれぞれの第２のマーカーに係る時間との差分を求める。具体的には、変化量Ｖ１が最大となる時間と、変化量Ｖ２１～２３が最大となる時間の差分をそれぞれ求める。

工程（ｉｖ）においては、それぞれの第２のマーカーに係る前記差分を、それぞれの第２のマーカーを設定した顔における相対的な座標ごとにプロットし、回帰分析を行い、回帰直線の傾きを算出する。
具体的には、変化量Ｖ１が最大となる時間と、変化量Ｖ２１～２３が最大となる時間の差分を縦軸、それぞれの第２のマーカーの座標を横軸にプロットする（図３）。第２のマーカーは顔における高さ方向に並列して設定されているため、ここでいう「座標」は高さ方向における座標である。
なお、当然のことであるが、縦軸と横軸を入れ替えてプロットしても構わない。

第２のマーカーの座標を特定する方法は限定されない。例えば、第１のマーカーや参照点を基準とした相対的な距離を「座標」としても特定しても良い。
また、第２のマーカーを高さ方向において等間隔に設定する場合には、それぞれの第２のマーカーの座標を特定数値として決定してグラフにプロットする必要はない。この場合には、それぞれの第２のマーカーの座標については、横軸方向に等間隔にプロットすればよい（図３）。

グラフにプロットした後、回帰分析を行う。回帰分析の手法は特に限定されないが、最小二乗法を好ましく例示することができる。
回帰分析により得られた回帰直線を傾き（図３中の「ａ」の数値）を追従性の測定値とする。

なお、図２の正面視左側には第２のマーカーを３点設定した形態を図示しているが、これに限定されず、好ましくは３点以上、より好ましくは５点以上、さらに好ましくは７点以上の第２のマーカーを設定する。

複数設定する第２のマーカーうち、１点又は２点以上を、線４１よりも上方に設定することが好ましく、線４２よりも上方に設定することがさらに好ましい（図２）。
また、線４１の上方及び下方の何れにも第２のマーカーを設定することが好ましい（図２）。
これにより、工程（ｉｖ）における回帰分析の精度を向上させることができる。

追従性の測定における、被験者の表情変化に伴う各マーカーの運動の計測は、公知の何れの方法で行ってもよい。オプティカルフロー法やモーションキャプチャ法など、被験者の表情変化を含む動画像に基づき測定する方法を好ましく例示できる。
この場合、一般的なカメラ装置で評価対象の顔の動画像を撮影した映像を用いてよいが、画像解析に耐えうる程度の解像度を有していることが好ましい。

なお、一般的に動画像は多数の静止画像（フレーム）の連続によって構成されるものであり、単位時間当たりのフレーム数を表すフレームレートによって、その動きの滑らかさが表される。ここでは、マーカーの単位時間当たりの変化量を取得し、その最大値を特定できる程度以上のフレームレートを有する動画像を取得することが好ましい。

モーションキャプチャにより追従性を測定する形態について、その一例を説明する。まず、被験者の顔の参照点３、第１のマーカー１、及び第２のマーカー２３の位置に、予めモーションキャプチャ用の反射マーカーを貼り付ける（図２）。その状態で被験者に開口表情変化を実施させ、複数のカメラによってその表情変化を含む動画像の撮影を行う。そして、この動画像を解析することにより、各マーカーの三次元的な座標の変化を追跡し、距離Ｌ１の単位時間当たりの変化量Ｖ１が最大になる時間と、距離Ｌ２の単位時間当たりの変化量Ｖ２が最大となる時間を特定し、これらの時間の差分、すなわち追従性の測定値を算出する。

また、「表情変化における顔の肌の伸縮性」とは、表情変化が起こったときの肌の伸縮のしやすさのことをいう。例えば、顔の肌が伸びる表情変化があったときに、その伸長方向全体の距離の増加分に対する、ある任意の領域における伸長方向の距離の増加分の割合が高いほど「伸縮性に優れる」と評価することができる。

伸縮性は、肌に任意の３以上の点を略直線状に設定し、表情変化における点と点との間の距離を計算することにより定量化することができる。
具体的には、まず顔に設定した全ての点に関して、表情変化によって増加した、互いに隣接する点と点の距離の総和を計算する。同時に、顔の特定領域に存在する一部の点に関して、表情変化によって増加した、互いに隣接する点と点の距離の総和を計算する。そして、後者の数値を前者の数値により除することにより、伸縮性を定量的に測定することができる。

伸縮性の定量化方法の一実施形態について、図４を参照しながらより詳細に説明する。
本実施形態においては、顔の頬上に７つの点を略直線状に設定している（図４）。頬上に設定する点は特に７つに限定されない。

説明の便宜上、図４に示すように、互いに隣接する点と点の距離をそれぞれＸ１～Ｘ６とする。
本実施形態においては、無表情時（図４左）から開口表情変化をした後（図４右）におけるＸ１～Ｘ６それぞれの距離の増加分（ΔＸ１～ΔＸ６）を算出する。
そして、頬全体の距離の増加分の総和（ΔＸ１＋ΔＸ２＋・・・ΔＸ６）に対する、頬の下部の距離の増加分の総和（ΔＸ４＋ΔＸ５＋ΔＸ６）の割合を計算する。この計算により算出された値を「伸縮性」の定量値として評価することができる（下式参照）。
伸縮性＝（ΔＸ４＋ΔＸ５＋ΔＸ６）／（ΔＸ１＋ΔＸ２＋ΔＸ３＋ΔＸ４＋ΔＸ５＋ΔＸ６）

伸縮性の定量的な測定については、上で説明した追従性の測定に用いることのできるオプティカルフロー法やモーションキャプチャ法などの方法を適用することができる。

ところで、面（三次元）は複数の点（零次元）と線（二次元）を要素として含む。
ここで、上述した追従性と伸縮性は顔に設定した点（零次元）又は点間の距離（二次元）に着目したパラメータであり、これらのパラメータにより顔の肌の運動性を測定することができる。
したがって、点と線を要素として含む顔の肌上の面を測定対象とした場合であっても、顔の肌の運動性を測定すること可能であると言える。

つまり、本発明においては、表情変化における顔の肌の変形性、より具体的には、表情変化において変化する、顔の任意の位置に設定された領域の変形の仕方（歪み方）を測定することで、顔の肌の運動性を測定する形態とすることもできる。

変形性の具体的な測定方法は特に限定されない。例えば、表情変化の前後における、顔の肌上に設定した任意の領域の形状をオプティカルフロー法やモーションキャプチャ法などにより画像として取得し、当該形状について歪み解析・変形解析を行う方法が例示できる。

なお、運動性と線維化レベルとの相関関係を示す回帰式又は回帰モデルの作成の用に供するデータの取得のための運動性の測定についても、上述した方法で行うことが好ましい。
より詳しくは、統計学的に有意な数の被験者について、上述の方法で運動性の測定を行い、同被験者について後述する方法で皮下脂肪細胞の線維化レベルの測定を行う。これら測定値に基づき運動性を説明変数、線維化レベルを目的変数とする回帰式又は回帰モデルを作成する。

＜２＞肌の指標の取得
本実施形態では、肌の指標として脂肪細胞を包む線維構造の線維化レベルを用いる。上述したとおり、顔の肌の運動性と脂肪細胞を包む線維構造の線維化レベルとの間には、負の相関関係が成立する。
上記相関関係は好ましくは式またはモデルで示される。式またはモデルとしては、単回帰式又は単回帰モデルが好ましく挙げられる。

線維化レベルの評価方法は特に限定されない。
侵襲的な方法としてはフォトスケールを用いて相対的な評価値を算出する方法が挙げられる。より詳しくは、予め線維化レベルの異なる皮下脂肪細胞の画像を複数用意する。これを基準写真として、被験者より採取した皮下脂肪細胞の画像に評点をつける。

侵襲的な方法は被験者に負担を強いることになるため、好ましくは非侵襲的な方法で皮下脂肪細胞の線維化レベルを評価する。
非侵襲的な方法としては、超音波診断装置を用いる方法が挙げられる。より詳しくは、超音波診断装置により得られた皮膚の断層面の画像から、皮下脂肪層部分を切り出し、解析用画像とする。取得した解析用画像について、画像処理ソフトウェアを用いて得られる特徴量から線維化レベルを評価することができる。
このような特徴量としては、画像をグレースケール化、ヒストグラム化、二値化などして算出されるパラメータが例示できる。

超音波エラストグラフィ装置としては、例えば日立製作所製「ＡＲＩＥＴＴＡ Ｅ７０」や「Ｎｏｂｌｕｓ」、シーメンスヘルスケア製「アキュソンＳ２０００ｅ」などを用いることができる。

本発明においては、解析用画像をヒストグラム化し、このヒストグラムの歪度を線維化レベルの評価値として採用することが好ましい。
歪度の小さいヒストグラム（略正規分布を示す）はひずみが小さいことを表すため、皮下脂肪細胞の線維化レベルが高い状態であると判る。反対に、歪度の大きいヒストグラム（非正規分布を示す）からは皮下脂肪細胞の線維化レベルが低い状態であると判別可能となる。

画像処理ソフトウェアはオープンソースの「ＩｍａｇｅＪ」など公知の何れのソフトウェアを用いてもよい。

以上のようにして、回帰式又は回帰モデルを作成するための線維化レベルの評価を行うことができる。

＜３＞皮下脂肪細胞の線維化レベルの推定装置
以下、皮下脂肪細胞の線維化レベルの推定装置について図５を参照しながら説明を加える。なお、本発明の皮下脂肪細胞の線維化レベルの推定装置は、上記＜１＞の項目で説明した皮下脂肪細胞の線維化レベルの推定方法を実施するための装置である。したがって、上記＜１＞の項目の説明は、以下の皮下脂肪細胞の線維化レベルの推定装置に関しても妥当する。

本発明の皮下脂肪細胞の線維化レベルの推定装置１は、表情変化における顔の肌の運動性と皮下脂肪細胞の線維化レベルとの相関関係を示す線維化レベル相関データを記憶する記憶手段１２１と、被験者の表情変化における顔の肌の運動性を、記憶手段１２１に記憶された線維化レベル相関データと照合して、前記線維化レベルを算出する線維化レベル算出手段１１２と、を備える。

図５に示すように、皮下脂肪細胞の線維化レベルの推定装置１は、運動性測定部１３、記憶手段１２１を備えるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、線維化レベル算出手段１１２を備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、及び線維化レベル送信手段１４を有している。

本発明の好ましい実施の形態では、運動性測定部１３により測定された被験者の表情変化における顔の肌の運動性を数値化する数値化手段１１１を備えることが好ましい。ＣＰＵ１１が数値化手段１１１を備える。

線維化レベル送信手段１４は、線維化レベル算出手段１１２が算出した皮下脂肪細胞の線維化レベルの推定値を出力装置２に送信する。

このような構成とした本発明の皮下脂肪細胞の線維化レベルの推定装置１は、被験者の表情変化における顔の肌の運動性を測定するだけで、容易に被験者の皮下脂肪細胞の線維化レベルを算出することができる。

なお、他の実施形態では、運動性測定部１３及び数値化手段１１１に代えて、別途測定した運動性の測定値を入力する、運動性入力部を備えていてもよい。

＜４＞皮下脂肪細胞の線維化レベルの推定プログラム
本発明は上述の皮下脂肪細胞の線維化レベルの推定方法をコンピュータに実行させる皮下脂肪細胞の線維化レベルの推定プログラムにも関する。本発明のプログラムは、上述した本発明の線維化レベルの推定装置に含まれるＣＰＵにおける各手段に対応するため、図５の符号を付しながら説明する。

本発明の皮下脂肪細胞の線維化レベルの推定プログラムは、被験者の表情変化における顔の肌の運動性を、運動性と皮下脂肪細胞の線維化レベルとの相関関係を示す線維化レベル相関データと照合して、前記線維化レベルを算出する線維化レベル算出手段１１２として、コンピュータを機能させることを特徴とする。

本発明の線維化レベルの推定プログラムは、図５のブロック図に示すように、コンピュータを数値化手段１１１として機能させるように構成することが好ましい。

＜試験例１＞加齢に伴うコラーゲン構造の変化の観察
２０才以上の９名のドナーより提供された皮下組織における皮下脂肪細胞を走査型電子顕微鏡により撮影した。この電子顕微鏡写真を熟練の評価者に評価させ、皮下脂肪細胞の線維化の程度について１～５のスコアをつけさせた。評価は、線維化の進行度が異なる５段階の基準写真（図６）を基準として行わせた。結果を図７に示す。

図７に示すように、ドナーの年齢と皮下脂肪細胞の線維化の程度が有意に相関した。この結果は、加齢に伴い皮下脂肪細胞の線維化が進行することを示している。

＜試験例２＞表情変化における顔の肌の運動性の測定（１）追従性の測定
２０～６０代の日本人女性各世代２０名ずつ、合計１００名を被験者とした。被験者の顔に図８に示すように、額の上方（生え際付近）に一点（参照点）、顎に１点（ポイント０）、頬の高さ方向に並列するように７点（ポイント１～ポイント７）のモーションキャプチャ用の反射マーカーを貼り付けた。
図８に示すように、被験者に無表情状態（図８左）から開口状態（図８右）への縦方向に伸びる表情変化（開口表情変化）をしてもらい、これを３台のカメラで動画撮影（３０ｆｐｓ）し、各マーカーの運動情報を取得した。

より精度良く解析を行うため、１００名の被験者から、１）顔の表情の強度、２）目と口の動きの同調性、３）表情表出のタイミングの３点を基準に、各世代１２名ずつ合計６０名を選抜し解析に供した。

各マーカーの運動の解析は以下のように行った。
まず、参照点からポイント０乃至７の距離の単位時間当たりの変化量を経時的に測定し、表情表出開始時点から、それぞれの変化量が最大となる時点の時間を測定した。その後、参照点からポイント０の距離の単位時間当たりの変化量が最大となる時間と、参照点からポイント１～７の距離の単位時間当たりの変化量が最大となる時間との差分（追従性）を計算した。なお、本試験においては時間の差分を動画像のフレームの差（Δフレーム）として評価した。

このようにして得た追従性について、ポイント１～ポイント７に関して別個に年代ごとの平均値をとり、これをグラフにプロットした。得られたデータについて回帰分析を行い、回帰直線を引いた。結果を図９に示す。

図９に示すように、２０、３０代では頬の下部（図８中のポイント７）から上部（図８中のポイント１）にかけて、顎（ポイント０）に対する運動の遅れがない。一方で４０代以降では顎から遠い頬の部位になるほど皮膚の運動の遅れ、即ち追従性の低下が生じることが示された。

図９に示す回帰直線の傾きを追従性の測定値として、試験例３に示す回帰分析に供した。

（２）伸縮性の測定
上の追従性の測定試験により得られたモーションキャプチャのデータを利用して、表情変化における顔の肌の伸縮性についても測定した。
具体的には、ポイント１～７に関して、互いに隣接するポイントとポイントの間の距離を、無表情状態（図８左）と開口状態（図８右）において測定し、開口表情変化により増加した距離を算出した。
そして、頬下部（ポイント４～７）に関するポイント間距離の増加分の総和を全体（ポイント１～７）に関するポイント間距離の増加分の総和で除することにより、伸縮性を算出した。

このようにして得た伸縮性について年代ごとにグラフにプロットし、箱ひげ図を作成し、また回帰分析を行い、回帰直線を引いた。結果を図１０に示す。
図１０に示すように、表情変化における顔の肌の伸縮性は、年齢とともに低下することが明らかとなった。

＜試験例３＞エラストグラフィによる皮膚内部物性の解析
試験例２のモーションキャプチャ解析を実施した合計１８名の被験者に対し、エラストグラフィ（日立製作所）を用いて皮膚内部の粘弾性（ひずみ）を測定した（図１１）。なお、粘弾性の測定については、測定エリアを皮膚の表層部分（表皮及び真皮）と、皮下組織上層、皮下組織中層及び皮下組織下層の合計４層に分け、層別の相対的な粘弾性を算出した。皮下組織上層、皮下組織中層及び皮下組織下層については、皮下組織を深さ方向において１：２：１の比率で分割することで設定した。

なお、粘弾性は、粘性と弾性の両方を合わせた性質のことをいう。したがって、粘弾性の評価に当たっては粘性と弾性の両方を評価することになる。しかし、生体組織においては粘性と弾性を明確に区別することは困難であり、粘弾性は主として弾性率（ヤング率）により評価されることが一般的である。
また、フックの法則（下記式２）に基づき、粘弾性を「ひずみ」により評価することができる。そのため、本試験例においては、皮膚内部の粘弾性に関して「ひずみ」を測定した。

式２

＜試験例４＞回帰分析
試験例２で得られた追従性の測定値（回帰直線の傾き）と、試験例３で得られた皮下組織上層の粘弾性の測定値について回帰分析を行った。結果を図１２に示す。
図１２に示すように、表情変化における顔の肌の追従性と、皮下組織の粘弾性との間には正の相関関係が成立することが明らかとなった。

＜試験例５＞検証試験
試験例２～４の結果得られた「表情変化における顔の肌の追従性と、皮下組織の粘弾性との間の正の相関関係」について、皮膚を一部切り出した部分を模擬した直方形状の多層構造体からなる皮膚モデル（１０ｃｍ×５ｃｍ×１．４ｃｍ）を対象としたＦＥＭ解析により検証した。

皮膚モデルについては、それぞれ異なるヤング率を有する材料を積層することによって構成した（図１３）。真皮を模した層は２ｍｍ、皮下組織上層は３ｍｍ、皮下組織中層は６ｍｍ、皮下組織下層は３ｍｍの厚みに設定した（図１３）。
本試験においては、若齢層の皮膚の特性を模した皮膚モデルと、老齢層の皮膚の特性を模した皮膚モデルを作成し、それぞれについて解析した。
皮膚モデルの各層の物理特性は表１の通りである。表１に示すようにポアソン比と密度は若齢及び老齢の皮膚モデルにおいて共通である。

頬部の皮膚は、深部筋肉と接続しているリガメントを介して動いているものと仮定し、皮下組織下層を模した層の一部に、リガメントに相当する柱を接続し、この柱をＸ方向に変位させることにより皮膚モデルを動かした（図１４）。この際、皮膚モデルの側面は固定し変位しないようにした。
リガメントを模した柱による運動は、０．５ｃｍ／ｓの速度で３秒間Ｘ方向に変位させた後に、１秒間停止するように行った。この運動の間、真皮を模した層（最上層）のＺ方向の変位を経時的にプロットした。
なお、Ｚ方向の変位を観察した点は、リガメントを模した柱が接続された部分の真上に相当する部分よりも、リガメントの変位方向に対して後方に位置する部分とした（図１５）。結果を図１６及び１７に示す。

図１６及び１７に示すように、皮下組織上層の粘弾性に関して、若齢の皮膚モデルと比較して劣る（硬い）パターン２（老齢）の皮膚モデルは、Ｚ方向の変位が小さく、また、Ｚ方向の変位が起こるタイミングが遅いことが分かった。

以上の結果を総合すると、皮下組織が硬い皮膚を模した皮膚モデルは、皮下組織が柔らかい皮膚を模した皮膚モデルと比較して、Ｚ方向の変形するタイミングが遅れること（追従性が悪化すること）が示された。
試験例４の結果は、皮下組織のひずみ（つまり粘弾性）と、表情変化における顔の肌の追従性との間に正の相関関係があるとする試験例２～４の結果を支持するものである。

＜試験例６＞エラストグラフィによる皮膚内部物性の解析
１４０名の被験者に対し、エラストグラフィ（日立製作所）を用いて皮膚内部のエラストグラフィ画像を取得し、粘弾性（ひずみ）を測定した。なお、粘弾性の測定については、測定エリアを皮膚の表層部分（表皮及び真皮）と、皮下組織上層、皮下組織中層及び皮下組織下層の合計４層に分け、層別の相対的な粘弾性を算出した。皮下組織上層、皮下組織中層及び皮下組織下層については、皮下組織を深さ方向において１：２：１の比率で分割することで設定した。

また、同一被験者の超音波画像から皮下脂肪部分を切り出し、これを解析用画像として画像解析ソフト（ＩｍａｇｅＪ）を使用してヒストグラムを作成した。このヒストグラムについて、画像解析ソフト（ＩｍａｇｅＪ）を使用して歪度を算出した（図１８）。なお、図１８に示すヒストグラムにおいては、線維化の程度が低い画像を表す左図の歪度は１．６２、線維化の程度が高い画像を表す右図の歪度は０．８４であった。

＜試験例７＞回帰分析
試験例６で得られた皮下組織上層の粘弾性の測定値と、同試験で得られた皮下脂肪細胞の線維化レベルを示す歪度について回帰分析を行った。結果を図１９に示す。
図１９に示すように、皮下組織の粘弾性と、皮下脂肪層の超音波画像のヒストグラムの歪度の間には正の相関関係が成立する。
線維化レベルが高ければ前記歪度は小さくなるため、図１９に示す結果は、皮下組織の粘弾性と、皮下脂肪細胞の線維化レベルとの間には負の相関関係が成立することが明らかとなった。

＜考察＞
試験例１の結果は、皮下組織に存在する皮下脂肪細胞を包むコラーゲン線維が、加齢とともに線維化することを示している。
また、試験例２の結果は、表情変化における顔の肌の運動性（追従性、伸縮性）は加齢とともに低下することを示している。
つまり、試験例１及び２により、顔の肌の運動性と線維化レベルは、ともに年齢と相関することが明らかとなった。

さらに、試験例４の結果は、表情変化における顔の肌の追従性と、皮下組織の粘弾性との間に正の相関関係が成立することを示している。
一方、試験例７の結果は、皮下組織の粘弾性と、皮下脂肪細胞の線維化レベルとの間には負の相関関係が成立することを示している。
つまり、試験例４及び７により、表情変化における顔の肌の追従性と、皮下脂肪細胞の線維化レベルは、ともに皮下組織の粘弾性との間に相関関係が成立することが明らかとなった。

これらの結果は、「表情変化における顔の肌の追従性」と、「皮下脂肪細胞の線維化レベル」との間に相関関係が成立することを示している。

また、伸縮性は追従性と同じく顔の肌の動きを示すパラメータであり、両者ともに年齢と負の相関関係にすること（試験例２）から、追従性だけでなく、伸縮性についても線維化レベルと相関関係があるといえる。

これらを総合して考察すると、上記試験例によって、追従性と伸縮性を含む、表情変化における顔の肌の運動性を指標として、皮下脂肪細胞の線維化レベルを推定できることが示された。同様に、皮下脂肪細胞の線維化レベルを指標として、表情変化における顔の肌の運動性を推定できることが示された。

本発明は肌解析技術に応用することができる。

１ 推定装置
１１ ＣＰＵ
１１１ 数値化手段
１１２ 線維化レベル算出手段
１２ ＲＯＭ
１２１ 記憶手段
１３ 運動性測定部
１４ 線維化レベル送信手段
２ 出力装置
２１ 送信手段
２２ 運動性取得手段
２３ 評価取得手段
２４ 出力手段

Claims (8)

1. 顔の動きに基づく解析結果を出力する出力方法であって、コンピュータが、
   顔の肌に関する評価と相関関係を有し、被験者の顔の動きを撮影した動画像の分析によって得られる顔の肌の運動性を取得し、
   前記運動性に基づいて推定された、前記被験者の顔の肌に関する評価を取得し、
   前記運動性及び評価を出力する、出力方法。
2. 前記運動性は、肌の動きの追従性に関する量であり、
   前記追従性に基づいて決定される周波数又は振動数で、音又は振動を出力する、請求項１に記載の出力方法。
3. 前記追従性の測定値は、顔の任意の位置に設定された少なくとも２つのマーカーの運動速度が最大となる時間の差分であり、
   前記周波数又は振動数は、前記差分の絶対値の増加に伴い所定の範囲内で一様に増加または減少する、前記差分の関数によって決定される、請求項２に記載の出力方法。
4. 前記運動性は、肌の動きの追従性に関する量であり、
   前記追従性に基づいて複数の選択肢の中から選択されるアニメーションにより、前記運動性を出力する、請求項１から請求項３の何れかに記載の出力方法。
5. 前記追従性の測定値は、顔の任意の位置に設定された少なくとも２つのマーカーの運動速度が最大となる時間の差分であり、
   前記アニメーションは、前記差分の大きさに応じて選択される、請求項４に記載の出力方法。
6. 前記評価が、肌の物性又は皮膚組織の組成のうち少なくとも何れかに関する評価を含む、請求項１から請求項５の何れかに記載の出力方法。
7. 顔の動きに基づく解析結果を出力する出力システムであって、
   顔の肌に関する評価と相関関係を有し、被験者の顔の動きを撮影した動画像の分析によって得られる顔の肌の運動性を取得する手段と、
   前記運動性に基づいて推定された、前記被験者の顔の肌に関する評価を取得する手段と、
   前記運動性及び評価を出力する手段と、を備える出力システム。
8. 顔の動きに基づく解析結果を出力する出力プログラムであって、
   顔の肌に関する評価と相関関係を有し、被験者の顔の動きを撮影した動画像の分析によって得られる顔の肌の運動性を取得する手段と、
   前記運動性に基づいて推定された、前記被験者の顔の肌に関する評価を取得する手段と、
   前記運動性及び評価を出力する手段と、としてコンピュータを機能させる出力プログラム。

Images