JP2012178045A - 顔画像処理方法、美容カウンセリング方法および顔画像処理装置 - Google Patents
顔画像処理方法、美容カウンセリング方法および顔画像処理装置 Download PDFInfo
- Publication number
- JP2012178045A JP2012178045A JP2011040681A JP2011040681A JP2012178045A JP 2012178045 A JP2012178045 A JP 2012178045A JP 2011040681 A JP2011040681 A JP 2011040681A JP 2011040681 A JP2011040681 A JP 2011040681A JP 2012178045 A JP2012178045 A JP 2012178045A
- Authority
- JP
- Japan
- Prior art keywords
- change
- face
- image
- texture
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】本発明の顔画像処理方法では、顔の少なくとも一部が撮像された顔画像に関して、前記顔の形状、テクスチャまたは色より選択(重複選択を含む)された少なくとも第一の変化軸および第二の変化軸についてそれぞれ主成分分析して複数次の基底ベクトルの重み係数を算出する。前記第一の変化軸にかかる前記重み係数を変更した第一変化画像と、前記第二の変化軸にかかる前記重み係数を変更した第二変化画像と、を生成する。そして、前記第一変化画像と前記第二変化画像とを互いに対比して出力する。
【選択図】図1
Description
変化軸とは、顔画像(元画像)における顔の形状、テクスチャまたは色(以下、これらを併せて「決定因子」という)を変化させる方向性を意味する。変化軸は、決定因子の選択と、顔画像の主成分分析に用いられる母集団とで決定される。
はじめに、本発明の第一実施形態にかかる顔画像処理方法の概要を説明する。
図1は、本実施形態の顔画像処理方法(以下、本方法という場合がある)のフローチャートである。図2は、本方法を実現する本実施形態の顔画像処理装置100のブロック図である。
本実施形態では撮像部10としてデジタルカメラを例示する。撮像部10は、顔画像処理装置100のユーザを被験者として、その顔をデジタルデータとして撮像した顔画像データを取得する。被験者は素顔でもよく、または化粧を施した顔(化粧顔)でもよい。以下、本方法では被験者の素顔の顔画像を顔画像データとする場合を例示する。
以下、基底ベクトルe1,iおよびe2,jをあわせて基底ベクトルeと表記する場合がある。同様に、重み係数b1,iおよびb2,jをあわせて重み係数bと表記する場合がある。
言い換えると、一回目の主成分分析工程S40では、変化軸設定工程S30で選択された決定因子(たとえば顔形状)と、母集団生成工程S34で生成された母集団と、で決まる第一の変化軸AX1に従って元画像OIMを主成分分析して、基底ベクトルe1,iごとの重み係数b1,iを算出する。変化画像生成工程S50では、この重み係数b1,iを変化させて画像再構成することにより第一変化画像IM1を生成する。
二回目の主成分分析工程S40では、設定された第二の変化軸AX2に従って元画像OIMを主成分分析して複数次の基底ベクトルe2,jにかかる重み係数b2,jを算出する。
主成分分析部40は、この母集団から複数次の基底ベクトルeを算出し、算出された基底ベクトルにかかる重み係数bを顔画像(元画像OIM)より算出する。
基底ベクトルは、予め規格化された多数のサンプル画像SIMをそれぞれラスタスキャンして得られた共分散行列の固有ベクトル解析により求められ、固有値の大きい順に並べられている。
元画像OIM=第一平均顔画像+b1,1*第1基底ベクトルe1,1+b1,2*第2基底ベクトルe1,2+b1,3*第3基底ベクトルe1,3+・・・+b1,k*第k基底ベクトルe1,k+・・・+b1,n-1*第(n−1)基底ベクトルe1,n-1+b1,n*第n基底ベクトルe1,n (1)
元画像OIM=第二平均顔画像+b2,1*第1基底ベクトルe2,1+b2,2*第2基底ベクトルe2,2+b2,3*第3基底ベクトルe2,3+・・・+b2,k*第k基底ベクトルe2,k+・・・+b2,n-1*第(n−1)基底ベクトルe2,n-1+b2,n*第n基底ベクトルe2,n (2)
なお、顔画像データベース90から抽出される可能性のあるすべての母集団に関して、予め主成分分析をおこなって基底ベクトルeを算出し、これを基底記憶部92に格納しておくことが好ましい。これにより、主成分分析工程S40においてその都度母集団から基底ベクトルeを求める必要がなく、元画像OIMに関する重み係数b1,iを迅速に算出することができる。
Bスプライン近似法は、特徴点を格子点とする四角要素を座標変換する画像処理方法であり、各格子点に重率を与えたうえで座標変換することを特徴とする。この方法を用いることで元画像OIMから第一変化画像IM1への滑らかなワーピング処理が可能である。
すなわち、第一の変化軸AX1または第二の変化軸AX2の一方に関する変化度が大きく、かつ他方に関する変化度がこれよりも十分に小さい画像IM11およびIM21(図4を参照)は、第一変化画像IM1および第二変化画像IM2にそれぞれ含まれる。図4に示す例では、第一変化画像IM1と第二変化画像IM2は右上側と左下側に4枚ずつ図示されている。
これに対し、本方法のように異なる変化軸に従って元画像OIMを変化させた第一変化画像IM1と第二変化画像IM2とを対比して出力することにより、顔印象に対する変化軸ごとの影響を目視的に確認することができる。このため、従来のモーフィング処理のように第一の変化軸AX1と第二の変化軸AX2とを混在させて画像を変化させてしまう手法と異なり、本方法によれば決定因子ごとの変化量と顔印象の変化との対応関係を定量化することができる。
これらの母集団に共通する基底ベクトルで元画像OIMを展開し、その重み係数bを高次側から低減していく(ゼロにしていく)ことで、魅力的な顔の平均顔形状、目が大きい顔の平均顔形状、小顔の平均顔形状、鼻筋が通っている顔の平均顔形状、丸顔の平均顔形状、角張った顔の平均顔形状など、被験者が希望する顔形状に向かって元画像OIMを変形(ワーピング処理)することができる。すなわち本方法によれば、従来は定量化することが困難であった官能的な属性についても変化軸として設定することができ、当該変化軸の傾向を徐々に強めるように元画像OIMを画像処理することができる。
図6は、顔の色(決定因子)を変化させる条件を表す色テーブルの例である。色テーブルは、顔画像データベース90に記憶された多数のサンプル画像SIMを、顔の色の特徴に寄与すると考えられる属性によって分類したものである。
このほか、変化軸ごとにサンプル画像SIMを抽出して母集団を生成するのではなく、顔画像データベース90に蓄積されたすべてのサンプル画像SIMを常に母集団として用いてもよい。すなわち、条件入力工程S32および母集団生成工程S34の実施は任意である。
本発明の第二実施形態にかかる顔画像処理方法(以下、本方法)を説明する。第一実施形態と共通する事項について重複する説明は省略する。
そして、変化画像生成工程S50では、かかる重み係数b1,iを高次側から徐々に低減していくことで、被験者の元画像OIMの顔形状と色を保持したまま、「キメが細かく魅力的に見える30代の日本人女性」の平均的なテクスチャに元画像OIMを近づけた第一変化画像IM1を生成することができる。また、変化画像生成工程S50では、重み係数b2,jを高次側から徐々に低減していくことで、被験者の元画像OIMの顔形状と色を保持したまま、「ソフトな質感の化粧を施した顔」の平均的なテクスチャに元画像OIMを近づけた第二変化画像IM2を生成することができる。
本発明の第三実施形態にかかる顔画像処理方法(以下、本方法)を説明する。
図8は本実施形態の顔画像処理装置100のブロック図である。本実施形態の顔画像処理装置100は、変化度算出部52、変化度判定部54、美容手段記憶部80および美容手段抽出部82を備える点で第一実施形態(図2を参照)と相違する。
第一実施形態または第二実施形態と共通する事項について重複する説明は省略する。また、美容手段記憶部80および美容手段抽出部82に関しては本実施形態の変形例にて後述する。
つづけて、変化度算出部52はさらに基底次数を1だけ減じ(ステップS51)、第1次から第n−2次までの累積寄与率CCRを算出する(ステップS521)。変化度判定部54はこの累積寄与率CCRを閾値と大小判定する。
このようにして累積寄与率CCRの更新と閾値との大小判定とを繰り返すことにより、累積寄与率CCRが閾値を下回ることとなる次数(k次)が求まる(ステップS531:NO)。変化画像生成部50は、k次基底を除去せずこれを最高次として画像再構成をすることで第一変化画像IM1を生成する。
変化度算出部52は、この新しい閾値に達するまで基底の次数を低減(ステップS51)して累積寄与率CCRを更新(ステップS521)し、高次基底を除去(ステップS54)する。そして、累積寄与率CCRが新しい閾値以下となる閾値次数kが変化度判定部54により見つかると(ステップS531:NO)、変化画像生成部50は新たな第一変化画像IM1を生成する(ステップS55)。
本実施形態では、累積寄与率CCRに代えて元画像OIMと第二変化画像IM2との変化度を演算する方法を以下に説明する。
本実施形態では、変化度算出部52は、基底の最高次から次数を1ずつ減じるたびに(ステップS51)、変化度として距離スコアs2を算出する(ステップS522)。
たとえば、顔形状を変化させるための美容手段としては、目を大きく見せるメイク、二重瞼にするための液体糊(二重糊)、小顔マッサージなどが例示される。
顔のテクスチャまたは色を変化させるための美容手段としては、ファンデーションやコンシーラーなどのベースメイクや、ポイントメイクをはじめとする種々の化粧料が挙げられる。
12 規格化部
20 条件入力部
40 主成分分析部
50 変化画像生成部
52 変化度算出部
54 変化度判定部
60 抽出部
70 出力部
80 美容手段記憶部
82 美容手段抽出部
90 顔画像データベース
92 基底記憶部
95 バス
100 顔画像処理装置
Claims (16)
- 顔の少なくとも一部が撮像された顔画像に関して、前記顔の形状、テクスチャまたは色より選択(重複選択を含む)された少なくとも第一の変化軸および第二の変化軸についてそれぞれ主成分分析して複数次の基底ベクトルの重み係数を算出し、
前記第一の変化軸にかかる前記重み係数を変更した第一変化画像と、前記第二の変化軸にかかる前記重み係数を変更した第二変化画像と、を生成し、
前記第一変化画像と前記第二変化画像とを互いに対比して出力することを特徴とする顔画像処理方法。 - 前記第一の変化軸および前記第二の変化軸にかかる前記重み係数をそれぞれ多段階に変更した重畳変化画像を生成し、前記第一変化画像または前記第二変化画像と対比して前記重畳変化画像をさらに出力することを特徴とする請求項1に記載の顔画像処理方法。
- 複数のサンプル画像を含む顔画像データベースから一部の前記サンプル画像を抽出して母集団を生成し、前記母集団から複数次の基底ベクトルを算出し、算出された前記基底ベクトルにかかる前記重み係数を前記顔画像より算出することを特徴とする請求項1または2に記載の顔画像処理方法。
- 前記第一の変化軸が前記顔の形状であり、前記母集団に属する前記サンプル画像の顔の形状を平均した平均顔形状に向かって前記顔画像をワーピング処理して前記第一変化画像を生成する請求項3に記載の顔画像処理方法。
- 前記第一の変化軸にかかる前記重み係数のうち所定の閾値次数よりも高次の前記重み係数を低減して前記ワーピング処理を行う請求項4に記載の顔画像処理方法。
- 前記第二の変化軸が前記顔のテクスチャであり、前記母集団に属する前記サンプル画像の顔のテクスチャを平均した平均顔テクスチャに向かって前記顔画像をモーフィング処理して前記第二変化画像を生成する請求項3から5のいずれか一項に記載の顔画像処理方法。
- 前記第一の変化軸が前記顔の大局的な見た目の印象を表す第一のテクスチャであり、
前記第二の変化軸が前記顔の質感を表す第二のテクスチャであって、
前記母集団に属する前記サンプル画像の顔のテクスチャを平均した平均顔テクスチャに向かって前記顔画像をそれぞれモーフィング処理して前記第一変化画像および前記第二変化画像を生成する請求項3に記載の顔画像処理方法。 - 前記顔画像データベースは、質感が異なる複数通りの化粧方法をそれぞれ施した顔が撮像された前記サンプル画像を含み、
前記複数通りから前記化粧方法を選択して前記母集団を生成する請求項6または7に記載の顔画像処理方法。 - 前記顔画像を多色の色ごとに主成分分析して前記第二の変化軸にかかる一次または複数次の基底ベクトルの重み係数をそれぞれ算出し、当該重み係数に基づいて前記モーフィング処理によるテクスチャの変化度を判定する請求項6から8のいずれか一項に記載の顔画像処理方法。
- 前記第二の変化軸にかかる前記重み係数のうち所定の閾値次数よりも高次の前記重み係数を低減して前記モーフィング処理を行う請求項9に記載の顔画像処理方法。
- 前記変化度が所定の上限値を超えないと判定された前記第二変化画像のうち、前記閾値次数がもっとも低い前記第二変化画像を少なくとも出力する請求項10に記載の顔画像処理方法。
- 前記基底ベクトルの寄与率と前記重み係数との積和演算に基づいて前記平均顔テクスチャと前記第二変化画像における前記顔のテクスチャとの距離を表す距離スコアを算出し、
算出された前記距離スコアに基づいて前記変化度を判定することを特徴とする請求項9から11のいずれか一項に記載の顔画像処理方法。 - 請求項1から12のいずれか一項に記載の顔画像処理方法を用いた美容カウンセリング方法であって、
化粧料の塗布または美容施術の適用による顔の形状、テクスチャまたは色の変化と、前記第一変化画像または前記第二変化画像と、を対応づけて出力することを特徴とする美容カウンセリング方法。 - 顔の少なくとも一部が撮像された顔画像に関して、前記顔の形状、テクスチャまたは色より選択(重複選択を含む)された少なくとも第一の変化軸および第二の変化軸についてそれぞれ主成分分析して複数次の基底ベクトルの重み係数を算出する主成分分析手段と、
前記第一の変化軸にかかる前記重み係数を変更した第一変化画像と、前記第二の変化軸にかかる前記重み係数を変更した第二変化画像と、を生成する変化画像生成手段と、
前記第一変化画像と前記第二変化画像とを互いに対比して出力する画像出力手段と、
を含む顔画像処理装置。 - 複数のサンプル画像を格納する顔画像データベースと、
サンプル画像を抽出する条件の入力を受け付ける条件入力手段と、
受け付けた前記条件に従って前記顔画像データベースから前記サンプル画像を抽出して母集団を生成する抽出手段と、をさらに含み、
前記主成分分析手段は、前記母集団から複数次の基底ベクトルを算出し、算出された前記基底ベクトルにかかる前記重み係数を前記顔画像より算出する請求項14に記載の顔画像処理装置。 - 前記顔画像データベースに格納された複数枚の前記サンプル画像は、目、鼻および口の位置が規格化されている請求項15に記載の顔画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011040681A JP5650012B2 (ja) | 2011-02-25 | 2011-02-25 | 顔画像処理方法、美容カウンセリング方法および顔画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011040681A JP5650012B2 (ja) | 2011-02-25 | 2011-02-25 | 顔画像処理方法、美容カウンセリング方法および顔画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012178045A true JP2012178045A (ja) | 2012-09-13 |
JP5650012B2 JP5650012B2 (ja) | 2015-01-07 |
Family
ID=46979847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011040681A Active JP5650012B2 (ja) | 2011-02-25 | 2011-02-25 | 顔画像処理方法、美容カウンセリング方法および顔画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5650012B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015046018A (ja) * | 2013-08-28 | 2015-03-12 | 株式会社豊田中央研究所 | 形状状態推定装置、形状モデル生成装置、及びプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6533729B2 (ja) * | 2015-09-29 | 2019-06-19 | 富士フイルム株式会社 | 肌評価装置、肌評価方法および肌評価プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001015088A1 (en) * | 1999-08-20 | 2001-03-01 | University College London | Image morphing by using principal component analysis |
WO2005069213A1 (ja) * | 2004-01-13 | 2005-07-28 | Nec Corporation | 特徴変化画像作成方法、特徴変化画像作成装置および特徴変化画像作成プログラム |
JP2007175484A (ja) * | 2005-12-01 | 2007-07-12 | Shiseido Co Ltd | 顔分類方法、顔分類装置、分類マップ、顔分類プログラム、及び該プログラムが記録された記録媒体 |
JP2008276405A (ja) * | 2007-04-26 | 2008-11-13 | Kao Corp | 顔画像の合成方法及び合成装置 |
JP2009169758A (ja) * | 2008-01-17 | 2009-07-30 | Shiseido Co Ltd | 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 |
-
2011
- 2011-02-25 JP JP2011040681A patent/JP5650012B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001015088A1 (en) * | 1999-08-20 | 2001-03-01 | University College London | Image morphing by using principal component analysis |
WO2005069213A1 (ja) * | 2004-01-13 | 2005-07-28 | Nec Corporation | 特徴変化画像作成方法、特徴変化画像作成装置および特徴変化画像作成プログラム |
JP2007175484A (ja) * | 2005-12-01 | 2007-07-12 | Shiseido Co Ltd | 顔分類方法、顔分類装置、分類マップ、顔分類プログラム、及び該プログラムが記録された記録媒体 |
JP2008276405A (ja) * | 2007-04-26 | 2008-11-13 | Kao Corp | 顔画像の合成方法及び合成装置 |
JP2009169758A (ja) * | 2008-01-17 | 2009-07-30 | Shiseido Co Ltd | 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 |
Non-Patent Citations (4)
Title |
---|
CSNG200600256002; 高須賀 崇、外2名: '"心理音響パラメータによる足音の識別に関する一検討"' 電子情報通信学会技術研究報告 Vol.104, No.405, 20041029, p.13-18, 社団法人電子情報通信学会 * |
CSNG200700949008; 秋田 友洋、外6名: '"印象変換ベクトル法による顔の高次印象の合成システム"' 電子情報通信学会技術研究報告 Vol.106, No.398, 20061124, p.35-40, 社団法人電子情報通信学会 * |
JPN6014028575; 秋田 友洋、外6名: '"印象変換ベクトル法による顔の高次印象の合成システム"' 電子情報通信学会技術研究報告 Vol.106, No.398, 20061124, p.35-40, 社団法人電子情報通信学会 * |
JPN6014028577; 高須賀 崇、外2名: '"心理音響パラメータによる足音の識別に関する一検討"' 電子情報通信学会技術研究報告 Vol.104, No.405, 20041029, p.13-18, 社団法人電子情報通信学会 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015046018A (ja) * | 2013-08-28 | 2015-03-12 | 株式会社豊田中央研究所 | 形状状態推定装置、形状モデル生成装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5650012B2 (ja) | 2015-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6985403B2 (ja) | 年齢容姿シミュレーションのための方法 | |
JP5231685B1 (ja) | 顔印象分析方法、美容カウンセリング方法および顔画像生成方法 | |
US10614623B2 (en) | Methods and apparatuses for age appearance simulation | |
JP6128309B2 (ja) | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム | |
JP4682373B2 (ja) | 顔画像合成装置、顔画像合成方法および顔画像合成プログラム | |
CN111950430A (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
Tsai et al. | Human face aging with guided prediction and detail synthesis | |
JP5651385B2 (ja) | 顔評価方法 | |
JP3920747B2 (ja) | 画像処理装置 | |
JP5035524B2 (ja) | 顔画像の合成方法及び合成装置 | |
Bastanfard et al. | Toward anthropometrics simulation of face rejuvenation and skin cosmetic | |
CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
Martin et al. | Face aging simulation with a new wrinkle oriented active appearance model | |
Bottino et al. | The analysis of facial beauty: an emerging area of research in pattern analysis | |
JP5650012B2 (ja) | 顔画像処理方法、美容カウンセリング方法および顔画像処理装置 | |
JP5095182B2 (ja) | 顔分類装置、顔分類プログラム、及び該プログラムが記録された記録媒体 | |
Bastanfard et al. | Toward E-appearance of human face and hair by age, expression and rejuvenation | |
JP4893968B2 (ja) | 顔画像の合成方法 | |
TWI780919B (zh) | 人臉影像的處理方法、裝置、電子設備及儲存媒體 | |
US20220005268A1 (en) | Techniques for sculpting digital faces based on anatomical modeling | |
CN110069716B (zh) | 一种美妆推荐方法、系统及计算机可读存储介质 | |
Liang et al. | Facial skin beautification using region-aware mask | |
Lai et al. | Novel approach to neural network based caricature generation | |
Leta et al. | A study of the facial aging-a multidisciplinary approach | |
Ji | 3d face reconstruction for VR HMDs in eye region |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141021 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141112 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5650012 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |