JP2020061194A - 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 - Google Patents

顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 Download PDF

Info

Publication number
JP2020061194A
JP2020061194A JP2020008485A JP2020008485A JP2020061194A JP 2020061194 A JP2020061194 A JP 2020061194A JP 2020008485 A JP2020008485 A JP 2020008485A JP 2020008485 A JP2020008485 A JP 2020008485A JP 2020061194 A JP2020061194 A JP 2020061194A
Authority
JP
Japan
Prior art keywords
impression
physical quantity
face
facial
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020008485A
Other languages
English (en)
Other versions
JP6908743B2 (ja
Inventor
興治 水越
Koji Mizukoshi
興治 水越
元紀 黒住
Motoki Kurozumi
元紀 黒住
麻耶 本郷
Maya Hongo
麻耶 本郷
次郎 藪崎
Jiro Yabusaki
次郎 藪崎
蒲池 みゆき
Miyuki Kamaike
みゆき 蒲池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pola Orbis Holdings Inc
Original Assignee
Pola Chemical Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pola Chemical Industries Inc filed Critical Pola Chemical Industries Inc
Publication of JP2020061194A publication Critical patent/JP2020061194A/ja
Priority to JP2021098225A priority Critical patent/JP7153112B2/ja
Priority to JP2021110403A priority patent/JP7177224B2/ja
Application granted granted Critical
Publication of JP6908743B2 publication Critical patent/JP6908743B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】顔の見た目印象と相関関係が高い因子を抽出する方法、その因子に基づいて顔の見た目印象を鑑別する方法を提供すること。【解決手段】顔の見た目印象を決定する印象決定部位における、顔の表情変化によって生じる皮膚変化の物理量を測定する物理量測定工程と、前記物理量の中から、前記顔の見た目印象と相関関係の高い因子を抽出する、因子抽出工程と、を含むことを特徴とする、顔の見た目印象の決定因子の抽出方法が提供される。【選択図】図1

Description

本発明は、顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法、顔印象解析装置、顔印象解析プログラム、顔の見た目印象の解析方法に関するものである。
人は、その外観や言動などの様々な要因によって、他者に対して多種多様な印象を与える。その中でも、視覚的な情報、特に顔の見た目は、その人の印象を決める非常に大きな要因の一つであるといえる。
そのため、人の顔の見た目の印象を客観的に推定する技術について研究がおこなわれている。例えば、特許文献1には、被験者の目尻のような解析領域に予め複数の追跡点を配置して動画像を撮影し、表情の変化に伴う追跡点の変化量を追跡して肌の圧縮率を取得することによって、被験者の肌状態を解析する技術が公開されている。
特開2014−193197号公報
先述の通り、被験者の顔の見た目の印象を客観的に推定するためのパラメータについて検討されてきたが、これは、被験者の顔の特定の部位より、特定のパラメータを取得するものに過ぎない。
しかし、人の見た目の印象は、種々の因子によって形成されており、より正確な推定手段が望まれていた。
そこで、本発明では、顔の見た目印象への影響が大きい部位、及び顔の見た目印象と相関関係が高い因子を抽出する方法、その因子に基づいて顔の見た目印象を鑑別する方法を提供することを課題とする。
上記課題を解決するために、本発明に係る顔の見た目印象の決定部位の抽出方法は、
顔の表情変化の動的情報を評価者に提示し、該評価者に顔の見た目印象の評価をさせる目視評価工程と、
前記動的情報を目視する前記評価者の視線データを解析し、前記動的情報中において前記評価者が注視した領域の解析を行う視線解析工程と、を含むことを特徴とする。
これにより、人が動的情報に基づいて顔の見た目印象を評価する際に注目する部位、すなわち、顔の見た目印象を決定する部位を抽出することができる。
本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。
本発明に係る顔の見た目印象の決定因子の抽出方法は、
顔の見た目印象を決定する印象決定部位における、顔の表情変化によって生じる皮膚変化の物理量を測定する物理量測定工程と、
前記物理量の中から、前記顔の見た目印象と相関関係の高い因子を抽出する、因子抽出工程と、を含むことを特徴とする。
これにより、後述する顔の見た目印象の鑑別において用いる物理量を特定することができる。
本発明の好ましい形態では、前記物理量測定工程が、前記顔に複数のマーカーを設定して撮影されたモーションキャプチャ動画像より、前記物理量として前記マーカーに関する量を測定する工程を含むことを特徴とする。
本発明の好ましい形態では、前記マーカーに関する量が、前記マーカーの位置、移動量、速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも1つを含むことを特徴とする。
本発明の好ましい形態では、前記マーカーに関する量が、複数の前記マーカーの間の距離の時間変化に関する量を含むことを特徴とする。
本発明の好ましい形態では、前記マーカーに関する量が、3つ以上の前記マーカーによって形成される面の面積及び/又は形状を示す値の時間変化に関する量を含むことを特徴とする。
本発明の好ましい形態では、前記物理量測定工程が、前記顔に複数の格子点を設定する格子点設定工程を有し、
前記物理量が、前記格子点に関する量を含むことを特徴とする。
本発明の好ましい形態では、前記格子点に関する量が、前記格子点毎の速度ベクトルの大きさ及び/又は向きの時間変化に関する量を含むことを特徴とする。
本発明の好ましい形態では、顔の見た目印象の決定因子の抽出方法が、前記顔の表情変化を含む動的情報を評価者に提示して顔の見た目印象の目視評価値を得る、目視評価値取得工程を有し、
前記因子抽出工程が、前記物理量と前記目視評価値との相関関係を解析して前記因子を抽出することを含むこと特徴とする。
目視評価値を用いることによって、実際に人が顔を目視した際に受ける印象と相関関係の高い因子を抽出することができる。
本発明の好ましい形態では、顔の見た目印象の決定因子の抽出方法が、皮膚に関する生理学的量を測定する、生理学的量測定工程を有し、
前記因子抽出工程が、前記物理量と前記生理学的量との相関関係を解析して前記因子を抽出すること含むことを特徴とする。
生理学的量を用いることによって、実際に皮膚等の生体組織における生理学的現象と相関関係の高い顔の見た目印象の決定因子を抽出することができる。
本発明の好ましい形態では、前記生理学的量が、前記印象決定部位における皮膚表面物性及び/又は内部物性であることを特徴とする。
本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。
本発明の好ましい形態では、前記物理量が、前記印象決定部位における皮膚の運動に関する量であることを特徴とする。
本発明に係る顔の見た目印象の鑑別方法は、
顔の見た目印象を決定する印象決定部位における、顔の表情変化によって生じる皮膚変化の物理量に基づいて、被験者の顔の見た目印象を鑑別することを特徴とする。
印象決定部位に生じる物理量を用いることによって、他者に与える顔の見た目印象をより正確に鑑別することができる。
本発明の好ましい形態では、前記物理量が、前記顔に含まれる特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも1つを含むことを特徴とする。
本発明の好ましい形態では、前記物理量が、前記顔に含まれる1つの基準点と、前記顔に含まれる少なくとも2つの特徴点のそれぞれとの間の距離の時間変化に関する量を含むことを特徴とする。
本発明の好ましい形態では、前記物理量が、前記顔に含まれる少なくとも3つの特徴点によって囲まれる面積の時間変化に関する量を含むことを特徴とする。
本発明の好ましい形態では、前記顔の見た目印象の鑑別が、前記物理量と、顔の見た目印象の目視評価値との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の顔の見た目印象の目視評価値を算出することを含むことを特徴とする。
本発明の好ましい形態では、前記顔の見た目印象の鑑別が、前記物理量と、皮膚に関する生理学的量との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚に関する生理学的量を算出することを含むことを特徴とする。
本発明の好ましい形態では、前記生理学的量が、前記印象決定部位における皮膚表面物性及び/又は内部物性であることを特徴とする。
本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。
本発明の好ましい形態では、前記物理量が、前記印象決定部位における皮膚の運動に関する量であることを特徴とする。
本発明に係る顔印象解析装置は、
表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、顔印象解析装置であって、
前記表情変化の過程を含む動画像を取得する動画像取得手段と、
前記動画像より、前記表情変化によって生じる物理量を測定する、物理量測定手段と、を備えることを特徴とする。
このような構成の装置とすることにより、本発明に係る顔の見た目印象の鑑別方法を実施することができる。
本発明の好ましい形態では、前記物理量測定手段が、前記動画像より複数の特徴点を抽出する特徴点抽出手段と、
前記動画像より前記特徴点の動きベクトルを特定する動きベクトル特定手段と、
前記動きベクトルを解析し、前記物理量を算出する動きベクトル解析手段と、を有することを特徴とする。
本発明の好ましい形態では、前記物理量が、前記動きベクトルの大きさ及び/又は向きの時間変化に関する量を含むことを特徴とする。
本発明の好ましい形態では、前記物理量測定手段が、前記動画像より複数の特徴点を抽出する特徴点抽出手段と、
前記動画像の各フレームにおける前記特徴点の座標を算出する特徴点座標算出手段と、
前記各フレーム間において対応する前記特徴点を特定し、前記物理量を算出する特徴点追跡手段と、を有することを特徴とする。
本発明の好ましい形態では、前記物理量が、少なくとも1つの前記特徴点の、座標の変位量、移動速度、加速度、移動方向、加速度の方向の内、少なくとも1つを含むことを特徴とする。
本発明の好ましい形態では、前記物理量が、前記顔に含まれる1つの基準点と、前記顔に含まれる少なくとも2つの特徴点のそれぞれとの間の距離の時間変化に関する量を含むことを特徴とする。
本発明の好ましい形態では、前記物理量が、少なくとも3つの前記特徴点によって囲まれる面積の時間変化に関する量を含むことを特徴とする。
本発明の好ましい形態では、前記物理量の測定を、顔の見た目印象を決定する印象決定部位に対して行うことを特徴とする。
本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。
本発明の好ましい形態では、前記顔印象解析装置は、前記物理量と、顔を目視評価して得られた顔の見た目印象の目視評価値との相関関係を記憶する、相関関係記憶手段を有し、
該相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の見た目印象の目視評価値を算出する、目視評価値算出手段を有することを特徴とする。
本発明の好ましい形態では、前記顔印象解析装置は、前記物理量と、皮膚に関する生理学的量との相関関係を記憶する、相関関係記憶手段を有し、
該相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の生理学的量を算出する、生理学的量算出手段を有することを特徴とする。
本発明の好ましい形態では、前記生理学的量が、前記印象決定部位における皮膚表面物性及び/又は内部物性であることを特徴とする。
本発明に係る顔印象解析プログラムは、
表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、顔印象解析プログラムであって、
コンピュータを、
顔の表情変化によって生じる皮膚変化の物理量を測定する手段と、
前記物理量に基づいて被験者の顔の見た目印象を鑑別する手段と、
として機能させることを特徴とする。
本発明に係る顔の見た目印象の解析方法は、
表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、動画像取得手段と、物理量測定手段と、を備える顔印象解析装置を用いた顔の見た目印象の解析方法であって、
前記動画像取得手段が、前記表情変化の過程を含む動画像を取得するステップと、
前記物理量測定手段が、前記表情変化によって生じる物理量を算出するステップと、を備えることを特徴とする。
本発明に係る化粧効果の鑑別方法は、
顔の表情変化によって生じる皮膚変化の物理量に基づいた被験者の顔の見た目印象の鑑別による化粧効果の鑑別方法であって、
化粧前の顔の表情変化によって生じる、化粧前の前記物理量を抽出する化粧前物理量測定工程と、
前記物理量と前記顔の見た目印象の目視評価値の相関関係に基づいて、化粧前の目視評価値を算出する化粧前目視評価値算出工程と、
化粧後の顔の表情変化によって生じる、化粧後の前記物理量を抽出する化粧後物理量測定工程と、
前記相関関係に基づいて、化粧後の目視評価値を算出する化粧後目視評価値算出工程と、
前記化粧前の目視評価値と、前記化粧後の目視評価値と、を比較し、化粧効果を評価する化粧効果評価工程と、を備えることを特徴とする。
表情変化によって生じる物理量のうち、顔の見た目の印象を決定する部位における、顔の見た目印象と相関関係が高い物理量(決定因子)を顔の見た目印象を鑑別するための指標として用いることにより、実際に人が目視によって受ける顔の見た目印象を、簡便にかつ正確に鑑別することができる。
本発明に係る顔の見た目印象の決定部位の抽出方法、及び顔の見た目印象の決定因子の抽出方法を示すフローチャートである。 動画像からの物理量の測定処理を示すフローチャートである。 本発明に係る顔印象解析装置の機能ブロック図である。 本発明に係る顔印象解析装置による顔の見た目印象の鑑別方法を示すフローチャートである。 本発明に係る顔印象解析装置による目視評価値/生理学的量の算出処理を示すフローチャートである。 目視評価値の取得に用いる動画像/連続静止画像の例を示す図である。(図面代用写真) 目視評価値の取得の際の評価者への動画像/連続静止画像の提示方法を示す図である。(図面代用写真) 動画像/連続静止画像に対する目視評価値の集計結果を示す図である。 動画像/連続静止画像に対する視線評価の結果の例を示す図である。(図面代用写真) 動画像中における評価対象の表情変化を示す図である。(図面代用写真) 動画像中におけるマーカーの移動速度の時間変化を示す図である。 動画像中におけるマーカーの移動速度の積算値を示す図である。 モーションキャプチャ用のマーカーの配置を示す図である。 動画像中における評価対象の表情変化を示す図である。(図面代用写真) 動画像中におけるマーカー間の距離の単位時間当たりの変化量の時間変化を示す図である。 面積の時間変化の解析対象とする領域設定を示す図である。 解析対象領域における皮膚の伸縮率の測定結果を示すグラフである。 格子点の設定と動きベクトルの例を示す図である。(図面代用写真) 動画像中における評価対象の表情変化を示す図である。(図面代用写真) 動きベクトルの大きさの時間変化の測定結果を示す図である。 動画像中の動きベクトルの波形の幅の平均値を示す図である。
[1]本発明の顔の見た目印象の決定部位の抽出方法及び顔の見た目印象の決定因子の抽出方法
本発明は、顔の表情変化を含む動画像を評価者へと提示して顔の見た目印象の評価を行い、その際の評価者の視線を解析することによって顔の見た目印象の決定部位を抽出する方法、及び動画像より物理量を測定して、その中から顔の見た目印象と相関関係の高い因子を抽出する、顔の見た目印象の決定因子の抽出方法である。
本発明にいう「顔の見た目印象」とは、評価対象の顔を他者が見た際に、視覚的に受ける印象である。例えば、年齢印象について着目すれば、実年齢よりも若く見える、といった若々しさや、あるいは老けて見える、といった老化印象などの印象が挙げられる。また、他にも、評価対象を見た際に感じる魅力など、種々の印象が挙げられる。
図1は、本発明の顔の見た目印象の決定部位の抽出方法、及び顔の見た目印象の決定因子の抽出方法を示すフローチャートである。これを参照して、本発明の顔の見た目印象の決定部位と決定因子の抽出方法について、詳細に説明する。
<動画像の取得>
まず、ステップS11にて、評価対象の顔の動画像を取得する。ここでは、先に述べたように、顔の表情の変化を含む動画像を取得する。
ここでは一般的なカメラ装置で評価対象の顔の動画像を撮影した映像を用いてよいが、後の物理量測定工程における画像解析に耐えうる程度の解像度を有していることが好ましい。
なお、一般的に動画像は多数の静止画像(フレーム)の連続によって構成されるものであり、単位時間当たりのフレーム数を表すフレームレートによって、その動きの滑らかさが表される。ここでは、後の目視評価値の取得工程にて評価者に動画像を提示する際に、評価者が、それが単なる静止画像の連続でなく動画像であると知覚できる程度以上のフレームレートを有する動画像を取得することが好ましい。
また、ステレオカメラを用いたステレオ動画像の撮影を行ってもよい。このような構成とすれば、後に説明する物理量測定工程において、三次元的な解析を行うことができる。
より具体的には、評価対象の顔に複数のマーカーをつけ、その上で評価対象の顔の動画像のステレオカメラによる撮影を行うことで、各マーカーの三次元的な位置の追跡を行うモーションキャプチャを実施することができる。
<目視評価値の取得>
ステップS12では、動画像に対する目視評価値の取得を行う。これは、ステップS11で取得した動画像を、評価者へと提示し、評価者がその動画像より受けた印象を提示することによって行う。
例えば、顔の見た目印象のうち、年齢印象についての、決定部位及び決定因子の抽出を目的とする場合であれば、評価対象の顔の表情変化を含む動画像を評価者へと提示し、評価対象の年齢の推定を求める(推定年齢の回答を求める)などの方法がある。また、別の例として、魅力に関する顔の見た目印象の決定因子の抽出を目的とするのであれば、年齢印象の場合と同様に評価対象の顔の表情変化を含む動画像を評価者へと提示した後に、評価対象を魅力的に感じたか否かの回答を求める方法が挙げられる。このようにして得た目視評価値は、評価対象の顔の見た目印象を直接示す値であるといえる。
また、動画像中より、表情変化前の1フレームと、表情変化後の1フレームを静止画像として抽出し、それらの2フレームのみを連続した静止画像として評価者へと提示して、同じように印象の評価を促す工程を設けてもよい。これにより、動的刺激としての動画像が評価者へ与える評価対象の顔の印象との対比として、静的刺激としての連続した静止画像が評価者与える評価対象の顔の印象を取得し、印象決定部位及び印象決定因子の抽出のための解析をより詳細に行うことができる。
なお、動画像を評価者へと提示する際には、評価者の視線情報を取得し、評価者が評価対象の顔のどの領域に何回、何秒間視線を滞留させたかといった情報を取得する。
<印象決定部位の抽出>
ステップS13においては、動画像を評価者へと提示した際の、評価者の視線情報を解析し、印象決定部位の抽出を行う。
ある印象の評価を課した評価者が動画像を観測する際に、多くの回数、また、長時間視線を滞留させた領域は、意識的、無意識的に関わらず、評価者がその印象を判断する際に注視する領域、すなわち、その印象の決定部位を含んでいるといえる。
例えば、動画像に表示された対象の推定年齢の回答を求めることを評価者へ伝え、動画像を提示した際に、評価者の視線が多くの回数、長時間滞留した領域は、年齢印象の決定部位を含んでいる。
ステップS13では、上記のように、目視評価の際に評価者の視線が多く滞留した領域とその周辺を、その見た目印象の決定部位として抽出する。
<物理量の測定>
続くステップS14では、動画像の解析を行い、物理量の測定を行う。これは、ステップS13で特定した印象決定部位のみを対象として行ってもよいし、動画像に含まれる全領域を対象として行ってもよい。図2(a)は、二次元の動画像のオプティカルフロー法による解析を行い、それによって得られる皮膚の動きベクトルを用いた物理量の算出処理を示すフローチャートである。
まず、ステップS21では、動画像中の各フレームより、特徴点の抽出を行う。ここでは、フレーム中の各画素の輝度値などから皮膚の凹凸を判別して特徴点を設定する方法や、動画像中にグリッド状に特徴点を設定する方法、すなわち、格子状に特徴点を配置する方法など、任意の方法を用いてよい。
そして、ステップS22で、各特徴点の動きベクトルの特定を行う。動きベクトルは、フレーム間における輝度の変化などによって求めることができる。
その後、ステップS23で、動きベクトルの解析を行い、顔の表情変化に伴って生じた物理量の算出を行う。ここでの物理量の例としては、先述した特徴点の座標の変位量、移動速度、加速度、移動方向などや、平面の運動の波動性パラメータ、例えば周期、周長など、顔の皮膚の運動に関する量が挙げられる。また、輝度や色調のような光学的な量、それらの変化量や周波数特性などを算出する構成、粒子画像流速測定法(PIV,Perticle Image Velocity)やその他の方法による解析を行う構成としてもよい。
このようなそれぞれの物理量は、各フレームにおける値として求めてもよいし、また、動画像全体を通しての平均値として求めてもよい。あるいは、頬部、顎部といったように領域を設定し、その領域内における値の積算値や平均値などを求めてもよい。
物理量測定の別の手法として、特徴点の座標追跡による物理量の算出処理を図2(b)のフローチャートに示す。
まず、ステップS31において、ステップS21と同様、任意の方法にて特徴点の算出を行う。または、ステップS11における動画像の撮影の際に、予め撮影対象となる顔にマーカーなどを配置しておき、それらを特徴点として用いてもよい。
そして、ステップS32において、動画像中の各フレームにおける各特徴点の座標を算出する。
そして、ステップS33で、各フレーム間における特徴点の座標の変化の追跡を行い、ステップS23の説明にて挙げたような、物理量を算出する。例えば、各特徴点の速度や加速度の時間変化である。また、基準点とする特徴点を設定し、それと他の任意の特徴点との間の距離の時間変化を求めてもよい。これはすなわち、任意の特徴点の顔上での相対的な速度にあたる値である。更に別の物理量として、3つ以上の特徴点によって囲まれる面積の時間変化が挙げられる。これにより、顔上の任意の部位の皮膚の伸縮の態様を数値化することができる。
また、先に述べたように、ステップS11においてステレオ動画像を取得した場合には、平面のみでなく、奥行きも加味した三次元的な解析を行うことができる。すなわち、ステップS32においてステレオ法などの任意の方法での三次元空間における特徴点座標を算出し、ステップS33で三次元空間における特徴点の座標変化の追跡を行うことができる。これにより、表情変化に伴う皮膚の立体的な動きを、より正確に解析することができる。
なお、上述した動きベクトルを用いた物理量の測定と、特徴点の座標の追跡による物理量の測定は、そのどちらか一方、又はそれら両方を行う構成としてよい。さらに、これらと異なる手法による動画像解析を行い、物理量の測定を行ってもよい。
<生理学的量の測定>
ステップS15では、動画像の撮影対象となる顔の皮膚に関する生理学的量の測定を行う。
皮膚に関する生理学的量としては、皮膚表面物性及び/又は内部物性、皮膚組織の組成等が挙げられ、顔の見た目印象と相関のあることが知られているものを用いることができる。例えば、顔の見た目印象が年齢印象である場合には、老化への関与メカニズムが明らかにされている皮膚に関する生理学的量を用いることができる。このような生理学的量として、皮膚表面の物性、例えば皮膚表面粗さ、角層表皮の物性、例えば角層水分量、真皮の物性、例えばコラーゲン線維束量や構造、脂肪層の物性、例えば脂肪体の位置、大きさなど、乳頭層もしくは乳頭層の物性、例えば、乳頭構造の単位面積あたりの個数、高さなどが挙げられる。前記生理学的量は、好ましくは、前記印象決定部位の生理学的量である。
生理学的量の測定は、従来知られている方法により行うことができる。本発明では、非侵襲的方法(手術を伴わない方法)により行う場合に限定される。
ステップS11〜S15の各工程は、次の相関関係の解析を行うのに十分な、複数の異なる顔を対象として行う。
<見た目印象決定因子の抽出>
ステップS16では、ステップS14において動画像より取得した物理量より、顔の見た目印象の決定因子の抽出を行う。
ここでは、ステップS14で取得した物理量と、ステップS12で取得した目視評価値、又はステップS15で測定した生理学的量との相関関係の解析を行い、物理量の中から、目視評価値又は生理学的量を決定する因子となるものを抽出する。
例えば、目視評価値の異なる評価対象の、複数の動画像を比較し、それらの動画像からそれぞれ測定した物理量の中で、両者の間に差異があるものは、目視評価値との相関関係を有することが予測される。そして、さらに別の動画像についても同様の比較を行うことで、目視評価値と相関関係を持ち、見た目印象の決定因子となっている物理量、そしてその物理量と目視評価値との相関関係を明らかにすることができる。
相関関係の解析は、従来知られている方法を用いて行うことができる。
また、先述したように、ステップS12における目視評価値の取得の際に、表情変化の前後2枚の静止画像を提示した場合の目視評価値を取得している場合には、それに対応する動画像に対する目視評価値との比較を行ってもよい。例えば、同一の評価対象の静止画像に対する目視評価値と、動画像に対する目視評価値とが大きく異なる場合には、その動画像中に含まれる物理量が、顔の見た目の印象の決定因子であると推定できる。
同様に、動画像から得られた物理量と皮膚に関する生理学的量との相関関係を解析することにより、皮膚に関する生理学的量と相関の高い物理量を決定することができ、当該生理学的量が、顔の見た目の印象の決定因子であると推定できる。
以上のように、本発明によれば、表情変化を含む動画像を評価者へと提示し、評価者の視線を解析することによって、顔の見た目印象を決定する部位を、そして、該動画像より物理量を抽出し、それらを解析することによって、顔の見た目印象の決定因子を抽出することができる。
なお、目視評価値の取得及び物理量との相関関係の解析と、生理学的量の測定及び物理量との相関関係の解析は、それら両方を行ってもよいし、必要に応じてどちらか一方のみを行ってもよい。また、さらに異なる評価値や量を用い、それと動画像より測定した物理量との相関関係の解析を行ってもよい。
[2]本発明の顔の見た目印象の鑑別方法及び顔印象解析装置
本発明は、表情変化を含む、被験者の顔の印象決定部位の動画像を取得し、それを解析することによって物理量を測定して、被験者の顔の見た目印象を鑑別する方法、及び顔の見た目印象解析装置である。
図3に機能ブロック図を示すように、本発明に係る顔印象解析装置は、動画像取得手段1と、物理量測定手段2と、相関関係記憶手段3と、目視評価値算出手段4と、生理学的量算出手段5と、を備える。
さらに、動画像取得手段1は、ステレオ動画像取得手段11を有し、物理量測定手段2は、特徴点抽出手段21と、動きベクトル特定手段22と、動きベクトル解析手段23と、特徴点座標算出手段24と、特徴点追跡手段25と、を有する。
相関関係記憶手段3は、顔の見た目印象の決定因子の抽出の過程において、物理量と目視評価値とを解析して得られた相関関係を示す式や、物理量と生理学的量とを解析して得られた相関関係を示す式などの情報を保持する。
なお、本発明に係る顔印象解析装置は、演算装置と、主記憶装置と、補助記憶装置と、各種の入出力装置と、を備える、汎用的なコンピュータ装置を用い、その補助記憶装置に、コンピュータ装置を先述した各手段として機能させるための顔印象解析プログラムを記憶させることで実現する。そして、該コンピュータ装置を顔印象解析装置として機能させる際には、顔印象解析プログラムを必要に応じて主記憶装置上に展開し、演算装置による処理を行う。
また、動画像取得手段1としてカメラ装置を用い、それによって得た動画像を物理量測定手段2へと受け渡す構成や、相関関係記憶手段3を汎用的なサーバ装置によって実現する構成など、任意の複数機器を、USB(Universal Serial Bus)接続や記録メディアを用いたデータの受け渡し、インターネットやLAN(Local Area Network)などのネットワーク経由での通信を可能に構成してもよい。
<動画像の取得>
図4は、顔印象解析装置による、被験者の顔の見た目印象の鑑別方法を示すフローチャートである。まず、ステップS41において、動画像取得手段1を用いて、被験者の顔の表情変化を含む動画像を取得する。なお、ステレオ動画像取得手段11によって、被験者の顔の表情変化を含むステレオ動画像を取得してもよい。また、この際に、後の物理量の測定において特徴点として使用するマーカーを、被験者の顔に予め設置した動画像を取得してもよい。
<物理量の測定>
そして、ステップS42において、物理量測定手段2を用いて、物理量の測定を行う。
ここでは、先に図2を参照して説明した内容と同様の処理にて、先述した顔の見た目印象の決定因子の抽出方法によって、顔の見た目印象の決定因子として抽出された物理量の算出を行う。
図2(a)に示す動きベクトルを用いた物理量の算出を行う場合には、ステップS21の特徴点抽出処理を特徴点抽出手段21によって行い、ステップS22の動きベクトルの特定処理を動きベクトル特定手段22によって行った後、ステップS23の動きベクトル解析処理を動きベクトル解析手段23によって行う。
図2(b)に示す特徴点座標を用いた物理量の算出を行う場合には、ステップS31の特徴点抽出処理を特徴点抽出手段21によって行い、ステップS32の特徴点座標の算出処理を特徴点座標算出手段24によって行った後、ステップS33の特徴点座標の追跡処理を特徴点追跡手段25によって行う。
また、ステップS41においてステレオ動画像を取得していた場合には、ステップS32においてステレオ法などの任意の方法での三次元空間における特徴点座標を算出し、ステップS33で三次元空間における特徴点の座標変化の追跡を行ってもよい。
なお、動きベクトルを用いた物理量の測定と、特徴点座標を用いた物理量の測定の両方を用いて物理量の算出を行う場合には、ステップS21とステップS31における特徴点座標算出処理は、どちらか一方のみを行って特徴点を共有する構成としてもよいし、それぞれの手法において効果的に物理量を測定するために、ステップS21とステップS31を共に実行してそれぞれ異なる特徴点を抽出する構成としてもよい。
<顔の見た目印象の解析>
ステップS43では、ステップS42で測定した物理量の解析を行い、顔の見た目印象の鑑別を行う。それにより、被験者の顔の見た目印象の目視評価値と、被験者の顔の皮膚に関する生理学的量のうちの、少なくとも1つの算出を行う。
図5(a)は、目視評価値算出手段4による目視評価値の算出処理を示すフローチャートである。まず、ステップS51で、相関関係記憶手段3より、物理量と目視評価値との相関関係データを取得する。
そして、ステップS52において、ステップS42で取得した物理量と、ステップS51で取得した相関関係データとに基づいて、目視評価値の算出を行う。算出された目視評価値から、被験者の顔の見た目印象の鑑別を行うことができる。
図5(b)は、生理学的量算出手段5による生理学的量の算出処理を示すフローチャートである。こちらについても、上述の目視評価値の算出処理と同様の処理であり、まずステップS61で、相関関係記憶手段3より、物理量と生理学的量との相関関係データを取得する。
そして、ステップS62において、ステップS42で取得した物理量と、ステップS61で取得した相関関係データとに基づいて、生理学的量の算出を行う。算出された生理学的量から、被験者の顔の見た目印象の鑑別を行うことができる。
以上のように、被験者の顔の表情変化を含む動画像を解析することによって物理量を測定し、該被験者についての物理量から、物理量と目視評価値又は生理学的量との相関関係に基づいて、被験者についての目視評価値及び/又は生理学的量を算出し、算出値から被験者の顔の見た目印象の鑑別を行うことができる。
なお、ステレオ動画像取得手段11を用いてステレオ動画像を取得すれば、物理量測定手段2によって三次元的な解析を行うことが可能となるが、ステレオ動画像取得手段11は一般的な単眼カメラなどと比較して高価である。そのため、ステレオ動画像取得手段11を省略し、一般的な単眼カメラなどを動画像取得手段1として備え、物理量測定手段2によって二次元的な解析のみを行う構成としてもよい。このような構成とすることにより、顔印象解析装置を低コストに実現することができる。
また、本発明に係る顔の見た目印象の鑑別方法及び顔印象解析装置の利用方法として、化粧効果の鑑別方法が挙げられる。これはすなわち、被験者の化粧前の顔の動画像を用いて行った見た目印象の解析結果と、被験者の化粧後の顔の動画像を用いて行った見た目印象の解析とを比較することにより、化粧が見た目印象へ及ぼした効果を鑑別するものである。
以下に、顔の見た目の年齢印象の目視評価値の取得、印象決定部位の抽出、及び物理量の測定についての実施例を挙げて、本発明について更に詳細に説明を加えるが、本発明がこの実施例にのみ限定されないことは言うまでもない。
[1]動画像と連続静止画像による目視評価値の取得
<動画像の取得>
20人の評価対象(年齢は20〜60歳代)について、顔の表情変化を含む9秒間の動画像を撮影した。そして、動画像中より、表情変化前の1フレームと、表情変化後の1フレームとを、共に静止画像として抽出し、それらの2フレームのみを9秒間に表示する、連続静止画像を作成した。図6(a)に動画像の模式図を、図6(b)に連続静止画像の模式図を、それぞれ示す。
<目視評価値の取得>
モニターを用いて15人の評価者に、上記の動画像又は連続静止画像を、ランダムに表示し、顔の見た目の年齢印象の目視評価値の取得を行った。評価者への動画像及び連続静止画像の提示の際には、視線解析装置を用いて、評価者の視線が動画像及び静止画像のどの領域に何回、何秒間滞留するかの解析を行った。図7に、評価者への動画像及び静止画像の提示方法の模式図を示す。
まず、図7(a)に示すように、これから数字が表示され、次いで評価対象の顔が表示されること、そして、数字の世代の前半か後半かの回答を求める指示を提示した。これにより、この後表示される動画像又は連続静止画像を見る際に、評価者は評価対象の年齢印象についての判別を意識することになる。
次いで、図7(b)に示すように、数字を表示した。この数字は、この後に動画像又は連続静止画像中の評価対象の実年齢の1の位を切り捨てたものである。本実施例における対象の年齢は先述の通り20〜60歳代であるので、20、30、40、50、60のうちの何れかの数字を表示した。
そして、図7(c)に示すように、9秒間の動画像あるいは連続静止画像を表示し、その後、図7(d)に示すように、図7(c)で表示した評価対象が、図7(b)で表示した数字の世代の前半か後半かの回答を求めた。
すなわち、図7に示した一例では、評価対象の年齢が30〜39歳の間の何れかであり、評価者はそれに対して、30代前半か30代後半かの回答を行った。
上記のような手順で取得した評価者の回答において、評価者が世代の後半であると評価した場合には、すなわち、評価対象に対して老化印象を感じたものであると判断できる。
図8は、評価者より取得した目視評価値を全評価対象について集計したものである。ここに示すように、連続静止画像よりも動画像の方が評価者へと高い年齢印象を与えたことが読み取れる。これより、動画像に含まれる表情変化中の動きに、評価者へと高い年齢印象を与える因子が含まれていることがわかる。
<印象決定部位の抽出>
ある評価対象についての動画像及び連続静止画像を表示した際の評価者の視線解析結果を、図9に示す。図9(a)は評価対象の動画像を表示した際に、図9(b)は評価対象の連続静止画像を表示した際に、評価者の視線の滞留が多く見られた点を示すものである。
これらの視線解析結果を見ると、動画像、連続静止画像のどちらを表示した場合についても、評価者は評価対象の頬及び目の周辺に着目していたことがわかる。これより、顔の見た目の年齢印象の決定部位は、頬及び目の周辺部であることが見いだされた。
また、動画像と連続静止画像のどちらについても年齢印象の決定部位が同一であるにもかかわらず、動画像の方が与える年齢印象が高いことより、年齢印象の決定因子は、年齢印象の決定部位における表情変化時の動きによって生じる物理量にあることが見いだされた。
[2]モーションキャプチャによる物理量の測定
<動画像の取得>
20代から60代の30人の女性を評価対象として、その顔に反射マーカーを、計測点を示すためのマーカーとして貼り付け、複数のカメラによって各評価対象の表情変化を含む動画像の撮影を行った。そして、この動画像を解析することにより、マーカーの三次元的な座標の変化を追跡する、モーションキャプチャを行った。また、評価者へ動画像を提示し、各評価対象の年齢の目視評価値の取得を行った。
ここでは、真顔の状態から、図10(a)に示すような口を大きく開いた状態へ、そして図10(b)に示すような口を閉じた表情をとった後に、再度真顔に戻る、という一連の表情変化を含む動画を、モーションキャプチャ及び目視評価値の取得に用いた。
そして、下記に示すように、マーカーの移動位置、移動量、移動速度、2つのマーカーの動きの関係性、3つ以上のマーカーによって囲まれる面積の時間変化のそれぞれについて解析を行い、物理量を抽出した。
<マーカーの移動速度の測定>
各評価対象の顔におけるマーカーの移動の追跡をおこない、その移動速度の測定を行ったところ、図11に示すような結果が得られた。
図11(a)は、年齢の目視評価値が実年齢よりも高かった評価対象、すなわち、見た目の年齢印象の高い評価対象の、図11(b)は、年齢の目視評価値が実年齢よりも低かった評価対象、すなわち、見た目の年齢印象の低い評価対象の、それぞれにおけるマーカーの移動速度の時間変化を示すグラフである。なお、これは、縦軸にマーカーの移動速度を、横軸に、動画像中におけるフレーム数を時間要素として採用したものである。また、真顔の状態から図10(a)に示したような口を大きく開いた表情への表情変化時のマーカーの速度方向を伸び方向の速さ、図10(b)に示したような口を閉じた表情への表情変化時のマーカーの移動速度を縮み方向の速さとして示した。
ここに示すように、老けて見える評価対象の特徴点の速度変化のグラフは、若く見える評価対象のそれに比べ、鋭いピークを持ち、速度の収束が早い結果となった。すなわち、老けて見える評価対象の特徴点の移動速度の変化は、若く見える評価対象のそれに比べて激しいものであると言える。
図12は、図11(a)に示した、老けて見える評価対象の特徴点の移動の速さと、図11(b)に示した、若く見える評価対象の特徴点の移動の速さのそれぞれを積算し、それぞれのグラフの面積を算出したグラフである。
図12において、若く見える評価対象の方が、グラフ面積が大きくなっていることからも、若く見える評価対象の特徴点の移動速度の変化が、老けて見える評価対象のそれよりも緩やかであることが読み取れる。
この結果より、表情の変化に対して、特徴点、すなわち皮膚の動きが緩やかに追従するような、しなやかな動きが、評価者に対して若く見える印象を与える可能性が見いだされた。
<2つのマーカーの動きの関係性>
図13は、評価対象の顔の左側面部に設定されたマーカーを示す図である。ここに示すように、額の上部のマーカーを基準点M0として、頬の2点のマーカーM1、マーカーM2、及び顎に位置するマーカーM3を設定した。
そして、図14(a)に示すような真顔の状態から、図14(b)に示すような口を大きく開いた表情への変化の際の、基準点M0とマーカーM1との間の距離L1の単位時間当たりの変化量V1と、基準点M0とマーカーM2との間の距離L2の単位時間当たりの変化量V2と、基準点M0とマーカーM3との間の距離L3の単位時間当たりの変化量V3と、の3つの変化量の時間変化を測定した。これはすなわち、基準点M0を基準とした、マーカーM1、M2、M3の相対速度の時間変化であると言える。
上記の測定の結果、図15のグラフに示すような結果が得られた。図15(a)は、目視評価で若い見た目印象を持つと評価された評価対象の測定結果を示すグラフである。これを見ると、V1〜V3の最大値の絶対値は異なるが、それぞれが最大値をとる時刻は非常に近いことが読み取れる。一方で、図15(b)に示す、目視評価で老けた見た目印象を持つと評価された評価対象の測定結果をみると、V3が最大値をとった後、遅れてV1、V2が最大値をとるという結果となった。
これはすなわち、老けた見た目印象を持つ評価対象の表情変化においては、マーカーM1及びマーカーM2によってあらわされる頬の動きが、マーカーM3によって示される顎の動きよりも遅れていると言える。
この結果より、表情変化時の頬の動きの追従性が良い場合に、評価者に対して若く見える印象を与える可能性が見いだされた。
<3つ以上のマーカーによって囲まれる面積の時間変化>
図16に示すように、3つのマーカーによって囲まれる顎部A1と、4つのマーカーによって囲まれる頬部A2と、の2つの領域を設定した。そして、表情変化時における、それぞれの領域の面積の時間変化を測定し、それらの値を時間積算した結果を、各領域における皮膚の伸縮率として算出すると、図17のグラフに示すような結果が得られた。
図17(a)は、目視評価で若い見た目印象を持つと評価された評価対象の測定結果を示すグラフである。また、図17(b)は、目視評価で老けた見た目印象を持つと評価された評価対象の測定結果を示すグラフである。これらを比較すると、若い見た目印象を持つ評価対象は、顎部A1よりも頬部A2の伸縮率が高いのに対して、老けた見た目印象を持つ評価対象は、顎部A1よりも頬部A2の伸縮性が低いという結果が得られた。
この結果より、頬部A2の皮膚が顎部A1と比較して柔軟に伸縮する場合に、評価者に対して若く見える印象を与える可能性が見いだされた。
[3]オプティカルフロー法による物理量の測定
<動画像の取得>
20代から60代の80人の女性の評価対象のそれぞれについて、顔の表情変化を含む二次元の動画像の撮影を行った。そして、動画像中にグリッド状の格子点を設定し、動画像中の各フレーム間の濃淡変化から、図18に示すように、各フレームの各格子点における、皮膚の動きベクトルを求めた。また、動画像を評価者へ提示し、各評価対象の年齢の目視評価値の取得を行った。
なお、動画像の解析と、目視評価値の取得には、真顔から図19(a)の口を開けた表情をとり、図19(b)の真顔を経て、図19(c)に示すような表情へと変化し、また真顔に戻る動画像を用いた。
<動きベクトルの変化>
表情変化中における動きベクトルの大きさ、すなわち、皮膚の動きの速さを、頬部位領域について解析した結果、図20に示すようなグラフが得られた。これは、縦軸を各フレームにおける動きベクトルの大きさの平均値、横軸をフレーム数、すなわち時間軸として、皮膚の動きの速さの時間変化を示すものである。これを見ると、グラフ中に実線で示す、目視評価で若い見た目印象を持つと評価された評価対象の測定結果に比べて、グラフ中に破線で示す目視評価で老けた見た目印象を持つと評価された評価対象の測定結果は、特に図19(c)に示すような表情への変化時において、鋭いピークを持つ形状となった。
図21は、図20に示した、老けて見える評価対象の皮膚の動きの速さと、若く見える評価対象の皮膚の動きの速さの収束する時間幅を算出した結果を示すグラフである。これを見ると、先に図12を参照して説明した、モーションキャプチャ動画による表情変化時のマーカーの動きの速さの測定結果が示す皮膚物性と同じように、若く見える評価対象の方が、グラフ値が大きくなっており、動きの変化が緩やかであることが読み取れる。
すなわち、評価対象の顔へとマーカーを物理的に設置し、複数台のカメラを用いて撮影することが必要となる三次元動画モーションキャプチャによる解析に代えて、簡単に撮影することのできる二次元動画像のオプティカルフロー法による解析によっても、同様の解析結果が得られる可能性が示唆された。
本発明は、化粧品販売、カウンセリング、エステティック等の場面で、顧客の見た目の年齢印象等を簡便かつ正確に鑑別することなどに利用できる。
1 動画像取得手段
11 ステレオ動画像取得手段
2 物理量測定手段
21 特徴点抽出手段
22 動きベクトル特定手段
23 動きベクトル解析手段
24 特徴点座標算出手段
25 特徴点追跡手段
3 相関関係記憶手段
4 目視評価値算出手段
5 生理学的量算出手段

Claims (44)

  1. 顔の見た目印象を決定する印象決定部位における、顔の表情変化によって生じる皮膚変化の物理量を測定する物理量測定工程と、
    前記物理量の中から、前記顔の見た目印象と相関関係の高い因子を抽出する、因子抽出工程と、を含むことを特徴とする、顔の見た目印象の決定因子の抽出方法。
  2. 前記物理量測定工程が、前記顔に複数のマーカーを設定して撮影されたモーションキャプチャ動画像より、前記物理量として前記マーカーに関する量を測定する工程を含むことを特徴とする、請求項1に記載の顔の見た目印象の決定因子の抽出方法。
  3. 前記マーカーに関する量が、前記マーカーの位置、移動量、速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも1つを含むことを特徴とする、請求項2に記載の顔の見た目印象の決定因子の抽出方法。
  4. 前記マーカーに関する量が、複数の前記マーカーの間の距離の時間変化に関する量を含むことを特徴とする、請求項2又は請求項3に記載の顔の見た目印象の決定因子の抽出方法。
  5. 前記マーカーに関する量が、3つ以上の前記マーカーによって形成される面の面積及び/又は形状を示す値の時間変化に関する量を含むことを特徴とする、請求項2から請求項4の何れかに記載の顔の見た目印象の決定因子の抽出方法。
  6. 前記物理量測定工程が、前記顔に複数の格子点を設定する格子点設定工程を有し、
    前記物理量が、前記格子点に関する量を含むことを特徴とする、請求項1から請求項5の何れかに記載の顔の見た目印象の決定因子の抽出方法。
  7. 前記格子点に関する量が、前記格子点毎の速度ベクトルの大きさ及び/又は向きの時間変化に関する量を含むことを特徴とする、請求項6に記載の顔の見た目印象の決定因子の抽出方法。
  8. 前記顔の表情変化を含む動的情報を評価者に提示して顔の見た目印象の目視評価値を得る、目視評価値取得工程を有し、
    前記因子抽出工程が、前記物理量と前記目視評価値との相関関係を解析して前記因子を抽出することを含むこと特徴とする、請求項1から請求項7の何れかに記載の顔の見た目印象の決定因子の抽出方法。
  9. 皮膚に関する生理学的量を測定する、生理学的量測定工程を有し、
    前記因子抽出工程が、前記物理量と前記生理学的量との相関関係を解析して前記因子を抽出すること含むことを特徴とする、請求項1から請求項8の何れかに記載の顔の見た目印象の決定因子の抽出方法。
  10. 前記生理学的量が、前記印象決定部位における皮膚表面物性及び/又は内部物性であることを特徴とする、請求項9に記載の顔の見た目印象の決定因子の抽出方法。
  11. 前記顔の見た目印象が年齢印象であることを特徴とする、請求項1から請求項10の何れかに記載の顔の見た目印象の決定因子の抽出方法。
  12. 顔の表情変化によって生じる皮膚変化の物理量と、皮膚に関する生理学的量との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の前記生理学的量を算出することを特徴とする、評価方法。
  13. 前記生理学的量が、皮膚表面物性、皮膚内部物性及び皮膚組織の組成のうちの何れかを示す量であることを特徴とする、請求項12に記載の評価方法。
  14. 前記生理学的量が、真皮のコラーゲン繊維に関する量を含む、請求項12又は請求項13に記載の評価方法。
  15. 前記物理量が、前記顔に含まれる特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも1つを含むことを特徴とする、請求項12から請求項14の何れかに記載の評価方法。
  16. 前記物理量が、前記顔に含まれる1つの基準点と、前記顔に含まれる少なくとも2つの特徴点のそれぞれとの間の距離の時間変化に関する量を含むことを特徴とする、請求項12から請求項15の何れかに記載の評価方法。
  17. 前記物理量が、前記顔に含まれる少なくとも3つの特徴点によって囲まれる面積の時間変化に関する量を含むことを特徴とする、請求項12から請求項16の何れかに記載の評価方法。
  18. 顔の見た目印象を決定する印象決定部位における、顔の表情変化によって生じる皮膚変化の物理量に基づいて、被験者の顔の見た目印象を鑑別することを特徴とする、顔の見た目印象の鑑別方法。
  19. 前記物理量が、前記顔に含まれる特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも1つを含むことを特徴とする、請求項18に記載の顔の見た目印象の鑑別方法。
  20. 前記物理量が、前記顔に含まれる1つの基準点と、前記顔に含まれる少なくとも2つの特徴点のそれぞれとの間の距離の時間変化に関する量を含むことを特徴とする、請求項18又は請求項19に記載の顔の見た目印象の鑑別方法。
  21. 前記物理量が、前記顔に含まれる少なくとも3つの特徴点によって囲まれる面積の時間変化に関する量を含むことを特徴とする、請求項18から請求項20の何れかに記載の顔の見た目印象の鑑別方法。
  22. 前記顔の見た目印象の鑑別が、前記物理量と、顔の見た目印象の目視評価値との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の顔の見た目印象の目視評価値を算出することを含むことを特徴とする、請求項18から請求項21の何れかに記載の顔の見た目印象の鑑別方法。
  23. 前記顔の見た目印象の鑑別が、前記物理量と、皮膚に関する生理学的量との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の前記生理学的量を算出することを含むことを特徴とする、請求項18から請求項22の何れかに記載の顔の見た目印象の鑑別方法。
  24. 前記生理学的量が、前記印象決定部位における皮膚表面物性及び/又は内部物性であることを特徴とする、請求項23に記載の顔の見た目印象の鑑別方法。
  25. 前記顔の見た目印象が年齢印象であることを特徴とする、請求項18から請求項24の何れかに記載の顔の見た目印象の鑑別方法。
  26. 表情変化時の皮膚の動きに基づいて、被験者の皮膚に関する生理学的量を算出する、評価装置であって、
    被験者について、表情変化によって生じる皮膚変化の物理量を測定する物理量測定手段と、
    前記物理量と、前記生理学的量との相関関係を記憶する、相関関係記憶手段と、
    該相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の前記生理学的量を算出する、生理学的量算出手段と、を備えることを特徴とする、評価装置。
  27. 前記生理学的量が、皮膚表面物性、皮膚内部物性及び皮膚組織の組成のうちの何れかを示す量であることを特徴とする、請求項26に記載の評価装置。
  28. 前記生理学的量が、真皮のコラーゲン繊維に関する量を含む、請求項26又は請求項27に記載の評価装置。
  29. 表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、顔印象解析装置であって、
    前記表情変化の過程を含む動画像を取得する動画像取得手段と、
    前記動画像より、前記表情変化によって生じる物理量を測定する、物理量測定手段と、を備えることを特徴とする、顔印象解析装置。
  30. 前記物理量測定手段が、前記動画像より複数の特徴点を抽出する特徴点抽出手段と、
    前記動画像より前記特徴点の動きベクトルを特定する動きベクトル特定手段と、
    前記動きベクトルを解析し、前記物理量を算出する動きベクトル解析手段と、を有することを特徴とする、請求項29に記載の顔印象解析装置。
  31. 前記物理量が、前記動きベクトルの大きさ及び/又は向きの時間変化に関する量を含むことを特徴とする、請求項30に記載の顔印象解析装置。
  32. 前記物理量測定手段が、前記動画像より複数の特徴点を抽出する特徴点抽出手段と、
    前記動画像の各フレームにおける前記特徴点の座標を算出する特徴点座標算出手段と、
    前記各フレーム間において対応する前記特徴点を特定し、前記物理量を算出する特徴点追跡手段と、を有することを特徴とする、請求項29に記載の顔印象解析装置。
  33. 前記物理量が、少なくとも1つの前記特徴点の、座標の変位量、移動速度、加速度、移動方向、加速度の方向の内、少なくとも1つを含むことを特徴とする、請求項32に記載の顔印象解析装置。
  34. 前記物理量が、前記顔に含まれる1つの基準点と、前記顔に含まれる少なくとも2つの特徴点のそれぞれとの間の距離の時間変化に関する量を含むことを特徴とする、請求項32又は請求項33に記載の顔印象解析装置。
  35. 前記物理量が、少なくとも3つの前記特徴点によって囲まれる面積の時間変化に関する量を含むことを特徴とする、請求項32から請求項34の何れかに記載の顔印象解析装置。
  36. 前記物理量の測定を、顔の見た目印象を決定する印象決定部位に対して行うことを特徴とする、請求項29から請求項35の何れかに記載の顔印象解析装置。
  37. 前記顔の見た目印象が年齢印象であることを特徴とする、請求項29から請求項36の何れかに記載の顔印象解析装置。
  38. 前記物理量と、顔を目視評価して得られた顔の見た目印象の目視評価値との相関関係を記憶する、相関関係記憶手段を有し、
    該相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の見た目印象の目視評価値を算出する、目視評価値算出手段を有することを特徴とする、請求項29から請求項37の何れかに記載の顔印象解析装置。
  39. 前記物理量と、皮膚に関する生理学的量との相関関係を記憶する、相関関係記憶手段を有し、
    該相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の生理学的量を算出する、生理学的量算出手段を有することを特徴とする、請求項29から請求項38の何れかに記載の顔印象解析装置。
  40. 前記生理学的量が、前記顔の皮膚表面物性及び/又は内部物性であることを特徴とする、請求項39に記載の顔印象解析装置。
  41. 表情変化時の皮膚の動きに基づいて、被験者の皮膚に関する生理学的量を算出する、評価プログラムであって、
    コンピュータを、
    被験者について、前記表情変化によって生じる皮膚変化の物理量を測定する物理量測定手段と、
    前記物理量と、前記生理学的量との相関関係を記憶する、相関関係記憶手段と、
    該相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の前記生理学的量を算出する、生理学的量算出手段と、
    として機能させることを特徴とする、評価プログラム。
  42. 表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、顔印象解析プログラムであって、
    コンピュータを、
    顔の表情変化によって生じる皮膚変化の物理量を測定する手段と、
    前記物理量に基づいて被験者の顔の見た目印象を鑑別する手段と、
    として機能させることを特徴とする、顔印象解析プログラム。
  43. 表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、動画像取得手段と、物理量測定手段と、を備える顔印象解析装置を用いた顔の見た目印象の解析方法であって、
    前記動画像取得手段が、前記表情変化の過程を含む動画像を取得するステップと、
    前記物理量測定手段が、前記表情変化によって生じる物理量を算出するステップと、を備えることを特徴とする、顔の見た目印象の解析方法。
  44. 顔の表情変化によって生じる皮膚変化の物理量に基づいた被験者の顔の見た目印象の鑑別による化粧効果の鑑別方法であって、
    化粧前の顔の表情変化によって生じる、化粧前の前記物理量を抽出する化粧前物理量測定工程と、
    前記物理量と前記顔の見た目印象の目視評価値の相関関係に基づいて、化粧前の目視評価値を算出する化粧前目視評価値算出工程と、
    化粧後の顔の表情変化によって生じる、化粧後の前記物理量を抽出する化粧後物理量測定工程と、
    前記相関関係に基づいて、化粧後の目視評価値を算出する化粧後目視評価値算出工程と、
    前記化粧前の目視評価値と、前記化粧後の目視評価値と、を比較し、化粧効果を評価する化粧効果評価工程と、を備えることを特徴とする、化粧効果の鑑別方法。
JP2020008485A 2015-03-31 2020-01-22 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 Active JP6908743B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021098225A JP7153112B2 (ja) 2015-03-31 2021-06-11 評価方法、評価装置および評価プログラム
JP2021110403A JP7177224B2 (ja) 2015-03-31 2021-07-01 顔の見た目印象の鑑別方法、顔印象解析装置、顔印象解析プログラム、顔の見た目印象の解析方法および化粧効果の鑑別方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015073855 2015-03-31
JP2015073855 2015-03-31
JP2016015201A JP6651366B2 (ja) 2015-03-31 2016-01-29 顔の見た目印象の決定因子の抽出方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016015201A Division JP6651366B2 (ja) 2015-03-31 2016-01-29 顔の見た目印象の決定因子の抽出方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2021098225A Division JP7153112B2 (ja) 2015-03-31 2021-06-11 評価方法、評価装置および評価プログラム
JP2021110403A Division JP7177224B2 (ja) 2015-03-31 2021-07-01 顔の見た目印象の鑑別方法、顔印象解析装置、顔印象解析プログラム、顔の見た目印象の解析方法および化粧効果の鑑別方法

Publications (2)

Publication Number Publication Date
JP2020061194A true JP2020061194A (ja) 2020-04-16
JP6908743B2 JP6908743B2 (ja) 2021-07-28

Family

ID=57322957

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016015201A Active JP6651366B2 (ja) 2015-03-31 2016-01-29 顔の見た目印象の決定因子の抽出方法
JP2020008485A Active JP6908743B2 (ja) 2015-03-31 2020-01-22 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法
JP2021098225A Active JP7153112B2 (ja) 2015-03-31 2021-06-11 評価方法、評価装置および評価プログラム
JP2021110403A Active JP7177224B2 (ja) 2015-03-31 2021-07-01 顔の見た目印象の鑑別方法、顔印象解析装置、顔印象解析プログラム、顔の見た目印象の解析方法および化粧効果の鑑別方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016015201A Active JP6651366B2 (ja) 2015-03-31 2016-01-29 顔の見た目印象の決定因子の抽出方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021098225A Active JP7153112B2 (ja) 2015-03-31 2021-06-11 評価方法、評価装置および評価プログラム
JP2021110403A Active JP7177224B2 (ja) 2015-03-31 2021-07-01 顔の見た目印象の鑑別方法、顔印象解析装置、顔印象解析プログラム、顔の見た目印象の解析方法および化粧効果の鑑別方法

Country Status (1)

Country Link
JP (4) JP6651366B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022032546A (ja) * 2020-08-12 2022-02-25 ポーラ化成工業株式会社 出力方法、出力システム及び出力プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6993087B2 (ja) * 2017-01-17 2022-02-04 花王株式会社 皮膚の歪み測定方法
JP7023635B2 (ja) * 2017-07-28 2022-02-22 ポーラ化成工業株式会社 肌状態のケアに関する情報出力システム、情報出力プログラム及び情報出力方法
JP7183005B2 (ja) * 2017-12-01 2022-12-05 ポーラ化成工業株式会社 肌解析方法及び肌解析システム
JP6968731B2 (ja) * 2018-02-28 2021-11-17 ポーラ化成工業株式会社 顔の肌の追従性の推定方法、推定装置及び推定プログラム、並びに、皮下組織の粘弾性の推定方法、推定装置及び推定プログラム
JP7084210B2 (ja) * 2018-06-05 2022-06-14 ポーラ化成工業株式会社 脂肪細胞を包む線維構造の線維化レベルの推定方法、推定装置及び推定プログラム、並びに、顔の肌の運動性の推定方法、推定装置及び推定プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070125390A1 (en) * 2005-12-07 2007-06-07 Isabelle Afriat Method of evaluating the effects of exogenous and endogenous factors on the skin
JP5276454B2 (ja) * 2009-01-20 2013-08-28 安川情報システム株式会社 表情測定方法、表情測定プログラムならびに表情測定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022032546A (ja) * 2020-08-12 2022-02-25 ポーラ化成工業株式会社 出力方法、出力システム及び出力プログラム
JP7509492B2 (ja) 2020-08-12 2024-07-02 ポーラ化成工業株式会社 出力方法、出力システム及び出力プログラム

Also Published As

Publication number Publication date
JP7153112B2 (ja) 2022-10-13
JP7177224B2 (ja) 2022-11-22
JP2021182399A (ja) 2021-11-25
JP6651366B2 (ja) 2020-02-19
JP2016194901A (ja) 2016-11-17
JP2021128807A (ja) 2021-09-02
JP6908743B2 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
JP6908743B2 (ja) 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法
Tasli et al. Remote PPG based vital sign measurement using adaptive facial regions
JP2016521411A (ja) 頭部及び眼球追跡
US20080304736A1 (en) Method of estimating a visual evaluation value of skin beauty
JP6863563B2 (ja) ストレス評価システム
JP2007252891A (ja) 肌の美しさの目視評価値の推定方法
AU2014234955B2 (en) Automatic detection of task transition
Ten Harkel et al. Reliability and agreement of 3D anthropometric measurements in facial palsy patients using a low-cost 4D imaging system
JP2021121328A (ja) 肌状態の鑑別方法、化粧料の評価方法、化粧料の設計方法
JP6201520B2 (ja) 生理指標を用いる視線分析システムおよび方法
JP6138696B2 (ja) 皮脂量の推定方法
JP6530703B2 (ja) 肌状態評価方法
JP6968731B2 (ja) 顔の肌の追従性の推定方法、推定装置及び推定プログラム、並びに、皮下組織の粘弾性の推定方法、推定装置及び推定プログラム
JP6886773B2 (ja) 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法
Ahmedt-Aristizabal et al. Motion signatures for the analysis of seizure evolution in epilepsy
Doğan Implementation of eye tracking technology on cultural heritage research and practice
JP5276454B2 (ja) 表情測定方法、表情測定プログラムならびに表情測定装置
JP7509492B2 (ja) 出力方法、出力システム及び出力プログラム
Yamada et al. Virtual facial image synthesis with facial color enhancement and expression under emotional change ofanger
JP2020131026A (ja) 肌解析方法、肌解析システム及び肌解析プログラム
JP2020142061A (ja) 肌解析方法、肌解析システム及び肌解析プログラム
Volk et al. Objective Measurement of Outcomes inFacial Palsy
JP7520679B2 (ja) いきいきとした顔の度合い推定方法、いきいきとした顔の度合い推定装置、及びいきいきとした顔の度合い推定プログラム
JP2019192072A (ja) 情報処理装置及びプログラム
WO2023217644A1 (en) Method for diagnosing the skin by means of 3d facial analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210701

R150 Certificate of patent or registration of utility model

Ref document number: 6908743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150