JP2014149677A - 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム - Google Patents
美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム Download PDFInfo
- Publication number
- JP2014149677A JP2014149677A JP2013018101A JP2013018101A JP2014149677A JP 2014149677 A JP2014149677 A JP 2014149677A JP 2013018101 A JP2013018101 A JP 2013018101A JP 2013018101 A JP2013018101 A JP 2013018101A JP 2014149677 A JP2014149677 A JP 2014149677A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- makeup
- image
- user
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 182
- 238000011156 evaluation Methods 0.000 claims abstract description 130
- 238000003384 imaging method Methods 0.000 claims abstract description 33
- 230000003796 beauty Effects 0.000 claims description 80
- 239000002131 composite material Substances 0.000 claims description 62
- 239000013598 vector Substances 0.000 claims description 44
- 239000002537 cosmetic Substances 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 29
- 230000035945 sensitivity Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 32
- 239000011159 matrix material Substances 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 101000934489 Homo sapiens Nucleosome-remodeling factor subunit BPTF Proteins 0.000 description 4
- 102100025062 Nucleosome-remodeling factor subunit BPTF Human genes 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 101150047683 ESC1 gene Proteins 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 102100040006 Annexin A1 Human genes 0.000 description 2
- 101100327398 Anopheles gambiae CecA gene Proteins 0.000 description 2
- 101100059608 Caenorhabditis elegans cec-4 gene Proteins 0.000 description 2
- 101100059601 Ceratitis capitata CEC1 gene Proteins 0.000 description 2
- 101000959738 Homo sapiens Annexin A1 Proteins 0.000 description 2
- 101000929342 Lytechinus pictus Actin, cytoskeletal 1 Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 101150079545 elc1 gene Proteins 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 101100273868 Anopheles gambiae CecC gene Proteins 0.000 description 1
- 101100059604 Ceratitis capitata CEC2 gene Proteins 0.000 description 1
- 101000797296 Lytechinus pictus Actin, cytoskeletal 3 Proteins 0.000 description 1
- 101000799321 Lytechinus pictus Actin, cytoskeletal 4 Proteins 0.000 description 1
- 101100326803 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) fac-2 gene Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【解決手段】被化粧者の顔画像を撮像する撮像部2と、目標顔画像を入力する入力部20と、前記被化粧者の顔画像に対して、互いに異なるメイクアップ手法を適用した複数の合成顔画像を生成する合成顔画像生成部12と、前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定部22と、前記被化粧者の顔画像と前記目標顔画像に対して、所定の評価項目についてランク値を出力する評価部40と、前記類似度判定部22によって類似度が高いと判断された前記合成顔画像に適用されたメイクアップ手法および前記ランク値を表示する表示部5とで構成する。
【選択図】図1
Description
図1は、本発明の第1実施形態に係る美容支援装置1の構成を示すブロック構成図である。以降、図1を用いて第1実施形態の美容支援装置1について、まずは構成と機能について説明する。なお、本実施形態では、利用者として自ら化粧を施す被化粧者が本装置を利用する場合を例に説明するが、化粧以外の美容手法においても、同様の構成を採用することができる。
図12は、本発明の第2実施形態に係る美容支援装置1において類似度を判定する過程を説明するフローチャートである。
図13は、本発明の第3実施形態に係る美容支援装置1の構成を示すブロック構成図である。
そして、ランク判定部41が出力するランク値と、メイクアップ手法抽出部24が出力する「最適なメイクアップ手法」とは、サーバ45のインタフェース43、外部ネットワーク100、インタフェース42を経由して美容支援装置1に取り込まれ、これらは表示部5に表示される。これらの構成要素は制御部48によって、その動作全般を制御される。もちろん、これらの全ての構成要素をコンピュータシステムとしてのサーバをそのまま利用して実現してもよい。
図14は、本発明の第4実施形態に係る美容支援装置1の構成を示すブロック構成図である。
2 撮像部(撮像手段)
3 画像処理部
4 記憶部
4a 属性推定モデル記憶部
4b 評価項目記憶部
4c メイクアップ手法記憶部
4d 合成顔画像記憶部
4e 射影行列/回帰モデル記憶部
5 表示部(表示手段)
6 ユーザインタフェース
7 全体制御部
10 顔検出部
11 顔パーツ検出部
12 合成顔画像生成部(合成顔画像生成手段)
20 目標顔画像入力部(入力手段)
21 顔検出部
22 類似度判定部(類似度判定手段)
24 メイクアップ手法抽出部(メイクアップ手法抽出手段)
25 特徴量抽出部(特徴量抽出手段)
26 部分空間射影部(射影手段)
27 属性推定部(属性判定手段)
28 評価項目決定部
29 ユークリッド距離計算部
40 評価部(評価手段)
41 ランク推定部(ランク推定手段)
45 サーバ
Claims (8)
- 利用者の顔画像を撮像する撮像手段と、
目標顔画像を入力する入力手段と、
前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成する合成顔画像生成手段と、
前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定手段と、
前記利用者の顔画像と前記目標顔画像に対して、所定の評価項目についてランク値を出力する評価手段と、
前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用された美容手法および前記ランク値を表示する表示手段と、を備えることを特徴とする美容支援装置。 - 前記評価手段は、
前記目標顔画像と前記複数の合成顔画像とから所定の特徴量を抽出する特徴量抽出手段と、
前記特徴量を、人の感性に基づくそれぞれ異なる評価項目に対応付けられた部分空間に射影する射影手段と、
前記複数の部分空間において、前記射影手段によって射影された前記特徴量の座標に基づき、前記所定の評価項目毎にランク値を推定するランク推定手段と、を有することを特徴とする請求項1記載の美容支援装置。 - 前記所定の特徴量を、N次元ベクトルとし、
前記部分空間を、前記N次元より小さい次元数の空間としたことを特徴とする請求項2記載の美容支援装置。 - 前記撮像手段は、所定のタイミングで前記利用者の顔画像を繰り返し撮像して更新し、
前記評価手段は、更新された前記利用者の顔画像についてランク値を出力し、
前記表示手段は、更新された前記利用者の顔画像と前記ランク値を表示することを特徴とする請求項1ないし請求項3いずれか1項記載の美容支援装置。 - 前記表示手段は、
前記所定の評価項目に対応する軸を有するレーダーチャート上に、前記ランク値を表示することを特徴とする請求項1ないし請求項4いずれか1項記載の美容支援装置。 - 利用者の顔画像を撮像する撮像手段と、
目標顔画像を入力する入力手段と、
美容手法および前記美容手法に対応した画像調整パラメータを格納したデータベースと、
前記データベースにアクセスして前記美容手法と前記画像調整パラメータを取得するとともに、前記利用者の顔画像に対して、互いに異なる美容手法に対応した前記画像調整パラメータを適用して複数の合成顔画像を生成する合成顔画像生成手段と、
前記目標顔画像と前記複数の合成顔画像との類似度を判定する類似度判定手段と、
前記利用者の顔画像と前記目標顔画像に対して、所定の評価項目についてランク値を出力する評価手段と、
前記類似度判定手段によって類似度が高いと判断された前記合成顔画像に適用した美容手法と前記ランク値とを表示する表示手段と、を備えることを特徴とする美容支援システム。 - 利用者の顔画像を撮像し、
目標顔画像を入力し、
前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成し、
前記目標顔画像と前記複数の合成顔画像との類似度を判定し、
前記利用者の顔画像と前記目標顔画像に対して、所定の評価項目についてランク値を出力し、
前記類似度が高いと判断された前記合成顔画像に適用された美容手法、および前記ランク値を表示することを特徴とする美容支援方法。 - 利用者の顔画像と目標顔画像とを入力し、
前記利用者の顔画像に対して、互いに異なる美容手法を適用した複数の合成顔画像を生成し、
前記目標顔画像と前記複数の合成顔画像との類似度を判定し、
前記利用者の顔画像と前記目標顔画像に対して、所定の評価項目についてランク値を出力し、
前記類似度が高いと判断された前記合成顔画像に適用された美容手法、および前記ランク値を表示することを特徴とする美容支援プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013018101A JP2014149677A (ja) | 2013-02-01 | 2013-02-01 | 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム |
PCT/JP2013/007009 WO2014118842A1 (ja) | 2013-02-01 | 2013-11-28 | 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム |
CN201380074779.5A CN105210110A (zh) | 2013-02-01 | 2013-11-28 | 美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序 |
US14/764,698 US10321747B2 (en) | 2013-02-01 | 2013-11-28 | Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program |
EP13873648.3A EP2953090A4 (en) | 2013-02-01 | 2013-11-28 | MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013018101A JP2014149677A (ja) | 2013-02-01 | 2013-02-01 | 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014149677A true JP2014149677A (ja) | 2014-08-21 |
Family
ID=51572602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013018101A Pending JP2014149677A (ja) | 2013-02-01 | 2013-02-01 | 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014149677A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101774412B1 (ko) * | 2014-10-13 | 2017-09-05 | (주)아모레퍼시픽 | 피부색 맞춤형 메이크업 색상 진단 방법 및 피부색 맞춤형 메이크업 색상 진단 장치 |
WO2018029963A1 (ja) * | 2016-08-08 | 2018-02-15 | パナソニックIpマネジメント株式会社 | メイクアップ支援装置およびメイクアップ支援方法 |
JPWO2017069231A1 (ja) * | 2015-10-23 | 2018-10-04 | 国立大学法人大阪大学 | 人体における治療後の形態予測方法及びシステム |
JPWO2018012136A1 (ja) * | 2016-07-14 | 2019-04-25 | パナソニックIpマネジメント株式会社 | メイクアップ支援装置およびメイクアップ支援方法 |
CN111104823A (zh) * | 2018-10-25 | 2020-05-05 | 北京奇虎科技有限公司 | 人脸识别方法、装置及存储介质、终端设备 |
CN112396573A (zh) * | 2019-07-30 | 2021-02-23 | 纵横在线(广州)网络科技有限公司 | 基于图像识别的面部皮肤分析方法及系统 |
JP2021103568A (ja) * | 2020-06-29 | 2021-07-15 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 画像認識方法、装置、デバイス、コンピュータ記憶媒体、及びプログラム |
US11478062B2 (en) | 2016-12-28 | 2022-10-25 | Panasonic Intellectual Property Management Co., Ltd. | Makeup item presenting system, makeup item presenting method, and makeup item presenting server |
JP7500768B2 (ja) | 2021-08-20 | 2024-06-17 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 顔画像処理方法、顔画像処理モデルの訓練方法、装置、機器、及びコンピュータプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04279829A (ja) * | 1991-03-08 | 1992-10-05 | Matsushita Electric Ind Co Ltd | 肌色評価付き化粧台 |
JP2003122825A (ja) * | 2001-10-18 | 2003-04-25 | Be-Fine Lab Co Ltd | 印象分析・表現システム及び該印象分析・表現システム用の情報記録媒体 |
JP2006081847A (ja) * | 2004-09-17 | 2006-03-30 | Inforward Inc | 肌解析ネットワークシステム |
JP2006267115A (ja) * | 2006-04-24 | 2006-10-05 | Kao Corp | メイクアップ化粧料の選択装置 |
JP2012008617A (ja) * | 2010-06-22 | 2012-01-12 | Kao Corp | 顔画像評価方法、顔評価方法および画像処理装置 |
-
2013
- 2013-02-01 JP JP2013018101A patent/JP2014149677A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04279829A (ja) * | 1991-03-08 | 1992-10-05 | Matsushita Electric Ind Co Ltd | 肌色評価付き化粧台 |
JP2003122825A (ja) * | 2001-10-18 | 2003-04-25 | Be-Fine Lab Co Ltd | 印象分析・表現システム及び該印象分析・表現システム用の情報記録媒体 |
JP2006081847A (ja) * | 2004-09-17 | 2006-03-30 | Inforward Inc | 肌解析ネットワークシステム |
JP2006267115A (ja) * | 2006-04-24 | 2006-10-05 | Kao Corp | メイクアップ化粧料の選択装置 |
JP2012008617A (ja) * | 2010-06-22 | 2012-01-12 | Kao Corp | 顔画像評価方法、顔評価方法および画像処理装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101774412B1 (ko) * | 2014-10-13 | 2017-09-05 | (주)아모레퍼시픽 | 피부색 맞춤형 메이크업 색상 진단 방법 및 피부색 맞춤형 메이크업 색상 진단 장치 |
US11065084B2 (en) | 2015-10-23 | 2021-07-20 | Osaka University | Method and system for predicting shape of human body after treatment |
JPWO2017069231A1 (ja) * | 2015-10-23 | 2018-10-04 | 国立大学法人大阪大学 | 人体における治療後の形態予測方法及びシステム |
US11617633B2 (en) | 2015-10-23 | 2023-04-04 | Osaka University | Method and system for predicting shape of human body after treatment |
JPWO2018012136A1 (ja) * | 2016-07-14 | 2019-04-25 | パナソニックIpマネジメント株式会社 | メイクアップ支援装置およびメイクアップ支援方法 |
WO2018029963A1 (ja) * | 2016-08-08 | 2018-02-15 | パナソニックIpマネジメント株式会社 | メイクアップ支援装置およびメイクアップ支援方法 |
US11478062B2 (en) | 2016-12-28 | 2022-10-25 | Panasonic Intellectual Property Management Co., Ltd. | Makeup item presenting system, makeup item presenting method, and makeup item presenting server |
CN111104823A (zh) * | 2018-10-25 | 2020-05-05 | 北京奇虎科技有限公司 | 人脸识别方法、装置及存储介质、终端设备 |
CN112396573A (zh) * | 2019-07-30 | 2021-02-23 | 纵横在线(广州)网络科技有限公司 | 基于图像识别的面部皮肤分析方法及系统 |
JP2021103568A (ja) * | 2020-06-29 | 2021-07-15 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 画像認識方法、装置、デバイス、コンピュータ記憶媒体、及びプログラム |
JP7106705B2 (ja) | 2020-06-29 | 2022-07-26 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 画像認識方法、装置、デバイス、コンピュータ記憶媒体、及びプログラム |
US11687779B2 (en) | 2020-06-29 | 2023-06-27 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Image recognition method and apparatus, device, and computer storage medium |
JP7500768B2 (ja) | 2021-08-20 | 2024-06-17 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 顔画像処理方法、顔画像処理モデルの訓練方法、装置、機器、及びコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014118842A1 (ja) | 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム | |
JP2014149678A (ja) | 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム | |
JP7075085B2 (ja) | 全身測定値抽出のためのシステムおよび方法 | |
Salama AbdELminaam et al. | A deep facial recognition system using computational intelligent algorithms | |
US10489683B1 (en) | Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks | |
US10956967B2 (en) | Generating and providing augmented reality representations of recommended products based on style similarity in relation to real-world surroundings | |
Gou et al. | A joint cascaded framework for simultaneous eye detection and eye state estimation | |
Dantcheva et al. | What else does your biometric data reveal? A survey on soft biometrics | |
JP2014149677A (ja) | 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム | |
US10789622B2 (en) | Generating and providing augmented reality representations of recommended products based on style compatibility in relation to real-world surroundings | |
Dibeklioğlu et al. | Combining facial dynamics with appearance for age estimation | |
Qian et al. | Html: A parametric hand texture model for 3d hand reconstruction and personalization | |
Yan et al. | Egocentric daily activity recognition via multitask clustering | |
Li et al. | Discriminant locally linear embedding with high-order tensor data | |
Xu et al. | Combining local features for robust nose location in 3D facial data | |
Wang et al. | Face recognition from 2D and 3D images using 3D Gabor filters | |
Kittler et al. | 3D morphable face models and their applications | |
JP6191943B2 (ja) | 視線方向推定装置、視線方向推定装置および視線方向推定プログラム | |
KR102668172B1 (ko) | 메시징 시스템에서의 증강 현실 경험을 위한 물리적 제품들의 식별 | |
Galteri et al. | Deep 3d morphable model refinement via progressive growing of conditional generative adversarial networks | |
Dai et al. | 3D morphable models: The face, ear and head | |
Shao et al. | A survey of head pose estimation methods | |
Ambika et al. | Periocular authentication based on FEM using Laplace–Beltrami eigenvalues | |
Ertuğrul et al. | Modeling and synthesis of kinship patterns of facial expressions | |
Zhang et al. | Face, image, and analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141006 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20141014 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170210 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170808 |