JP2016081075A - Method and device for improving impression - Google Patents
Method and device for improving impression Download PDFInfo
- Publication number
- JP2016081075A JP2016081075A JP2014208239A JP2014208239A JP2016081075A JP 2016081075 A JP2016081075 A JP 2016081075A JP 2014208239 A JP2014208239 A JP 2014208239A JP 2014208239 A JP2014208239 A JP 2014208239A JP 2016081075 A JP2016081075 A JP 2016081075A
- Authority
- JP
- Japan
- Prior art keywords
- impression
- image
- feature amount
- perceptual
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、メイク又はヘアメイクにより印象を改善する方法、及びその方法を支援する印象改善支援装置に関する。 The present invention relates to a method for improving an impression by makeup or hair makeup, and an impression improvement support apparatus for supporting the method.
従来、被験者の画像の外見的特徴を分析して対象者の印象を分類し、所定の印象の外見となるようにメイクないしヘアメイクのアドバイスを行う手法が提案されている。しかしながら、従来の外見的特徴の分析に基づく一般的なメイクのアドバイス方法は、最初に美人顔や所定の印象の顔を選択し、次にその選択した顔の外見に対象者の外見的特徴を近づけるというものだった。 2. Description of the Related Art Conventionally, a method has been proposed in which the appearance characteristics of a subject's image are analyzed to classify the impressions of the subject and advice on makeup or hair makeup is made so that the appearance of a predetermined impression is obtained. However, the conventional makeup advice method based on the analysis of appearance characteristics first selects a beautiful face or a face with a predetermined impression, and then applies the appearance characteristics of the subject to the appearance of the selected face. It was to get closer.
具体的には、画像認識により物理的に抽出される画像特徴量から機械学習を利用して画像の印象を判定する方法（特許文献１）、被験者の印象を分析し、それに基づいてメイク方法やヘアメイク方法をアドバイスする方法（特許文献２、特許文献３）や、髪質等の情報とヘアカラー施術後の髪色とをニューラルネットワークにより関連付け、所望の仕上がりの髪色にするためのヘアカラーをアドバイスする方法（特許文献４）、が提案されている。 Specifically, a method of determining an impression of an image using machine learning from an image feature amount physically extracted by image recognition (Patent Document 1), analyzing the impression of a subject, A method for advising a hair makeup method (Patent Document 2, Patent Document 3), a hair color for correlating information such as hair quality and the hair color after the hair color treatment by a neural network, and obtaining a desired finished hair color An advice method (Patent Document 4) has been proposed.
一方、学習機能を有する識別器を用いて、顔の特徴と服装の特徴と声の特徴から魅力度を評価する方法が提案されている（非特許文献１）。 On the other hand, a method has been proposed in which an attractiveness is evaluated from facial features, clothing features, and voice features using a classifier having a learning function (Non-Patent Document 1).
しかしながら、上述した従来のメイクないしヘアメイクの手法は、被験者固有の特徴や希望を十分に生かしたものではなかった。 However, the conventional makeup or hair makeup methods described above have not fully utilized the characteristics and desires unique to the subject.
また、従来のニューラルネットワークを代表とする学習機能を有する識別器により、顔画像の特徴などが被験者の魅力度に及ぼす影響が学習された場合、被験者の顔画像の特徴などからその被験者の魅力度を評価することはできるが、個々の被験者においてどのような魅力度が向上しうるかを推定すること、被験者が望む方向に魅力度を向上させること、さらに被験者が望む魅力度に基づいて、どのようなメイクあるいはヘアメイクをすればよいかを知ることはできない。 In addition, when a classifier having a learning function typified by a conventional neural network learns the effects of facial image characteristics on the attractiveness of the subject, the attractiveness of the subject is determined from the characteristics of the subject's facial image. However, it is possible to estimate how attractiveness can be improved in each subject, how to improve the attractiveness in the direction desired by the subject, and how I don't know if I should make appropriate makeup or hair makeup.
これに対し、本発明の課題は、被験者固有の特徴や希望を十分に生かしつつ被験者の印象を効率的に改善することにある。 On the other hand, the subject of this invention is improving the test subject's impression efficiently, fully utilizing a test subject's characteristic and hope.
本発明者は、顔画像の画像認識により物理的に抽出される特徴量（以下、画像特徴量という）からその顔画像の印象を推定して所定の印象を与えるメイク又はヘアメイクをアドバイスするにあたり、(i)顔画像について主観的に認識される見た目の特徴量（以下、知覚特徴量という）を画像特徴量から推定し、次いで知覚特徴量から印象を推定する推定式をたてられること、(ii)また、この推定式を用いて被験者が所定の印象を改善する場合には、被験者の知覚特徴量のうち、被験者に固有の知覚特徴量や、被験者が変化させないことを希望する知覚特徴量を固定し、他の知覚特徴量を変化させるか、又は画像特徴量を変化させることで所定の印象がもたらされるようにすると、被験者固有の特徴をいかしつつ被験者の希望に添った印象のメイクないしヘアメイクをできることを見出し、本発明を想到した。 The inventor of the present invention, in advising makeup or hair makeup that gives a predetermined impression by estimating the impression of the face image from the feature amount physically extracted by image recognition of the face image (hereinafter referred to as image feature amount) (i) Estimating formulas for estimating appearance features (hereinafter referred to as perceptual feature amounts) subjectively recognized for face images from image feature amounts and then estimating impressions from perceptual feature amounts; ii) In addition, when the subject improves a predetermined impression using this estimation formula, among the subject's perceptual feature amounts, the subject's perceptual feature amount or the subject's desired perceptual feature amount , And changing the other perceptual feature quantity or changing the image feature quantity to give a predetermined impression, make the impression according to the test subject's wish while taking advantage of the subject's unique characteristics. In addition, the inventors have found that hair and makeup can be made and have come up with the present invention.
即ち、本発明は、複数の顔画像について、画像特徴量から知覚特徴量を推定する推定式を取得すると共に、知覚特徴量から印象を推定する推定式を取得し、
印象を推定する推定式において、被験者の所定の知覚特徴量を固定し、
他の知覚特徴量のうち印象を改善する知覚特徴量又は印象を改善する画像特徴量を選択し、
その選択した知覚特徴量又は画像特徴量に基づいてメイク又はヘアメイクをアドバイスする印象の改善方法を提供する。
That is, the present invention acquires an estimation expression for estimating a perceptual feature quantity from an image feature quantity for a plurality of face images, and acquires an estimation formula for estimating an impression from a perceptual feature quantity,
In the estimation formula for estimating the impression, a predetermined perceptual feature amount of the subject is fixed,
Select a perceptual feature quantity that improves impression or an image feature quantity that improves impression from other perceptual feature quantities,
Provided is an impression improving method that advises makeup or hair makeup based on the selected perceptual feature amount or image feature amount.
また、本発明は、複数の顔画像について、画像特徴量から知覚特徴量を推定する推定式を記憶すると共に、知覚特徴量から印象を推定する推定式を記憶する機能、
顔画像から画像特徴量を抽出する機能、
印象を推定する推定式において、被験者の所定の知覚特徴量を固定し、他の知覚特徴量又は画像特徴量から印象を算出する機能、
を有する演算装置を備えた印象改善装置を提供する。
Further, the present invention stores, for a plurality of face images, an estimation formula for estimating a perceptual feature quantity from an image feature quantity, and a function for storing an estimation formula for estimating an impression from a perceptual feature quantity,
A function to extract image features from face images,
A function for fixing a predetermined perceptual feature amount of a subject in an estimation formula for estimating an impression and calculating an impression from other perceptual feature amount or image feature amount,
There is provided an impression improving apparatus provided with an arithmetic unit having
本発明によれば、被験者固有の知覚的特徴や、知覚的特徴に関する被験者の希望を十分に生かしつつ、メイク又はヘアメイクにより被験者の印象を効率的に改善することができる。 ADVANTAGE OF THE INVENTION According to this invention, a test subject's impression can be efficiently improved by makeup or hair makeup, fully utilizing the test subject's perceptual feature and the test subject's wish regarding a perceptual feature.
以下、図面を参照しつつ、本発明を詳細に説明する。
＜顔画像の画像特徴量から印象を推定する推定式の取得＞
本発明においては、顔画像の画像特徴量又は知覚特徴量から印象を推定する推定式を取得しておき、その推定式を用いて任意の被験者の顔画像の画像特徴量又は知覚特徴量から印象を推定し、推定された印象と画像特徴量又は知覚特徴量との関係に基づき、印象に影響する画像特徴量又は知覚特徴量を変化させることで被験者の印象を効果的に改善するメイク又はヘアメイクをアドバイスする。この印象を推定する推定式には、複数人の顔画像について画像特徴量から知覚特徴量を推定する式を得ると共に、知覚特徴量から印象を推定する式を得ることにより得られる、画像特徴量から印象を推定する式を含む。
Hereinafter, the present invention will be described in detail with reference to the drawings.
<Acquisition of estimation formula to estimate impression from image feature quantity of face image>
In the present invention, an estimation formula for estimating an impression from an image feature amount or a perceptual feature amount of a face image is acquired, and an impression is obtained from the image feature amount or the perceptual feature amount of an arbitrary subject's face image using the estimation formula. Makeup or hair makeup that effectively improves the impression of the subject by changing the image feature amount or perceptual feature amount that affects the impression based on the relationship between the estimated impression and the image feature amount or perceptual feature amount To advise. The estimation formula for estimating the impression is obtained by obtaining an equation for estimating the perceptual feature amount from the image feature amount for the face images of a plurality of people, and obtaining an equation for estimating the impression from the perceptual feature amount. Contains an expression that estimates the impression from
ここで、印象を推定する推定式を取得するために使用する顔画像としては、少なくとも顔領域を含む画像とし、好ましくは正面顔と斜め側面顔の双方を使用することが好ましい。 Here, the face image used for obtaining the estimation expression for estimating the impression is an image including at least a face area, and preferably both a front face and an oblique side face are used.
また、顔画像は照明光源が同一であり、顔画像の提供者が普段通りに行ったメイク又はヘアメイクで撮影され、極端な表情を付けない状態の画像とすることが好ましい。
さらに、顔画像は男女別に同年代（例えば、２０歳代、３０歳代、…６０歳代など）ごとに収集し、男女別に同年代ごとに推定式をたてることが推定式の推定精度を高める点で好ましい。
Further, it is preferable that the face image has the same illumination light source, is photographed with makeup or hair makeup normally performed by the provider of the face image, and has no extreme expression.
Furthermore, collecting facial images by gender for each age group (for example, 20s, 30s, ... 60s), and creating an estimation formula for each age group by gender improves the accuracy of the estimation formula. Is preferable.
本発明において、画像特徴量は、画像認識により物理的に抽出される特徴量であり、例えば、顔領域の特徴量として、目及び唇領域と、目及び唇領域を除く肌部分のそれぞれについて、各画素におけるＲ、Ｇ、Ｂの強度や、ＬＢＰ(Local Binary Pattern)の輝度のヒストグラム、両目間の距離、目幅などの特徴点間の距離、目の高さ等をあげることができる。また、髪領域の画像特徴量として、例えば、画像から抽出した髪領域における、髪領域面積、縦横比、エッジ検出処理後に求めたエッジの方向性等をあげることができる。 In the present invention, the image feature amount is a feature amount physically extracted by image recognition.For example, as the feature amount of the face region, for each of the eyes and the lip region and the skin portion excluding the eyes and the lip region, The intensity of R, G, and B in each pixel, the luminance histogram of LBP (Local Binary Pattern), the distance between eye points, the distance between feature points such as the eye width, the eye height, and the like can be given. Further, as the image feature amount of the hair region, for example, in the hair region extracted from the image, the hair region area, the aspect ratio, the directionality of the edge obtained after the edge detection process, and the like can be given.
また、知覚特徴量は、視覚によって認識される見た目の特徴量である。即ち、知覚特徴量は、知覚的特徴項目の評価を数値化したもので、錯視などの人の知覚特性による見え方を含む。 The perceptual feature quantity is an apparent feature quantity recognized by vision. That is, the perceptual feature amount is a numerical evaluation of the perceptual feature item, and includes how it is perceived by human perception characteristics such as optical illusion.
知覚的特徴項目としては、所定の印象の改善に大きく寄与すると予想されるものが好ましく、また、メイクやヘアメイクにより比較的容易に操作し得るものをあげることが好ましい。具体的には、例えば、表１の項目を挙げることができる。 As the perceptual feature item, those that are expected to greatly contribute to improvement of a predetermined impression are preferable, and those that can be operated relatively easily by makeup or hair makeup are preferable. Specifically, for example, the items in Table 1 can be listed.
知覚的特徴項目の評価は、美容技術を有する専門評価者による評定によることが好ましい。具体的には、表１のように、各特徴項目に対して所定の段階で評価を行うことにより、特徴量に数値を割り当てることができる。また、対人魅力のデータは、日常生活における社会的相互作用をみるため、顔画像の年齢と同年代を含む者による評定とすることが好ましい。 The evaluation of the perceptual feature item is preferably based on a rating by a professional evaluator having a beauty technique. Specifically, as shown in Table 1, a numerical value can be assigned to a feature amount by evaluating each feature item at a predetermined stage. In addition, the interpersonal attraction data is preferably rated by a person including the age and age of the face image in order to see social interaction in daily life.
本発明においてメイク又はヘアメイクにより改善する印象としては、対人魅力、健康度、優しさ、知的な心証等をあげることができる。ここで、対人魅力は、周りの人がその人に対して抱く肯定的あるいは否定的な感情をいい、(i)様々な場面で社会的相互作用を促進させるという印象、(ii)周りの人がその人に対して、［近づきたい／避けたい］、あるいは［好きなれそう／嫌いになりそう］と感じる心証、(iii)周りの人がその人と［一緒に働きたい／一緒に働くのは嫌だ］と感じる心証等を上げることができる。 Examples of the impression improved by makeup or hair makeup in the present invention include interpersonal attraction, health level, kindness, intellectual proof, and the like. Here, interpersonal attraction means the positive or negative feelings of the people around you, (i) the impression that it promotes social interaction in various situations, (ii) the people around The feeling that the person feels [I want to get close / I want to avoid] or [I ’m likely to like / hate me], (iii) People around me [I want to work / work together] I can raise my feelings.
画像特徴量から印象を推定する推定式を取得する方法としては、例えば、図１に示すように、全部でＮ組の教師データ（即ち、パターン数Ｎの教師データ）から抽出したｎ番目の教師データを、画像特徴量Ｘn、知覚特徴量ｓn、印象ｔnと表す場合に、顔画像から抽出した画像特徴量ｘiを入力層とし、該顔画像を評価して得られる知覚特徴量ｓjを中間層とし、印象ｔを出力層とする３層の識別器を想定する。識別器を用い、複数の顔画像から抽出した画像特徴量ｘi（入力層）から、知覚特徴量ｓj（中間層）を推定する式と、知覚特徴量ｓj（中間層）から印象ｔ（出力層）を推定する式を、逐次的勾配降下法による誤差関数の最小化に基づく学習を使用することにより、画像特徴量ｘi（入力層）から印象ｔ（出力層）を推定する式を取得する。 As a method for obtaining an estimation formula for estimating an impression from an image feature amount, for example, as shown in FIG. 1, the nth teacher extracted from a total of N sets of teacher data (that is, N patterns of teacher data). data, image feature quantity X n, perceptual characteristic quantity s n, to represent the impression t n, the image characteristic amount x i extracted from the face image as the input layer, perceptual feature amount obtained by evaluating said pigment image Assume a three-layer discriminator having s j as an intermediate layer and impression t as an output layer. With classifier, from the image feature quantity extracted from a plurality of face images x i (input layer), and a formula for estimating the perceptual characteristic quantity s j (intermediate layer), the impression t from the perceptual characteristic quantity s j (intermediate layer) An expression for estimating the impression t (output layer) from the image feature quantity x i (input layer) by using learning based on the minimization of an error function by the sequential gradient descent method as an expression for estimating the (output layer) To get.
より具体的には、サンプル数Ｎ（パターン数Ｎ）の教師データ集合の、各教師データに対応する誤差の重み付き線形和である誤差関数Ｅ(Ａ,Ｂ)は次式(1)で表される。この３層のネットワークのパラメータは、Ｅ(Ａ,Ｂ)の勾配を最小化する方向に変数Ａ,Ｂを逐次更新して評価を繰り返すことによって最適化される。 More specifically, an error function E (A, B), which is a weighted linear sum of errors corresponding to each teacher data, of a teacher data set of sample number N (pattern number N) is expressed by the following equation (1). Is done. The parameters of this three-layer network are optimized by repeatedly updating the variables A and B in a direction that minimizes the gradient of E (A, B) and repeating the evaluation.
ここで、Ａ＝{ａij}は、画像特徴量ｘi（入力層）と知覚特徴量ｓj（中間層）の間に設けた重み行列であり、Ｂ＝{ｂjk}は、知覚特徴量ｓj（中間層）と印象ｔ（出力層）の間に設けた重み行列である。 Here, A = {a ij } is a weight matrix provided between the image feature quantity x i (input layer) and the perceptual feature quantity s j (intermediate layer), and B = {b jk } is a perceptual feature. This is a weight matrix provided between the quantity s j (intermediate layer) and the impression t (output layer).
En(Ａ,Ｂ)は、パターンｎの教師データにおける誤差関数で、次の式で定義される。 E n (A, B) is an error function in the teacher data of pattern n and is defined by the following equation.
ただし、Ｘn，ｓn，ｔn はそれぞれ教師データの画像特徴量ベクトル、知覚特徴量ベクトル、印象の評定値であり、Ｅnの各項は各ベクトルの各要素ｘi，ｓj，ｔkに対してロジスティックシグモイド関数 However, X n, s n, t n is the image feature amount vector, perceptual feature vector, evaluation value of the impression of the teacher data, respectively, each element x i of each vector term of E n, s j, t Logistic sigmoid function for k
例えば、Ｅnの第１項は、ｓn＝{φ(ｓj)}、ＡTＸn＝{φ(Σａijｘi)}等である。
For example, the first term of E n is s n = {φ (s j )}, A T X n = {φ (Σa ij x i )}, and the like.
また、λ1，λ2はパラメータである。 Also, λ 1 and λ 2 are parameters.
入力パターンｎに対応する誤差関数Ｅnについての評価の手順は以下のとおりである。１．誤差関数の第１項を最小化するＡTを求める。 Procedure for evaluation of the error function E n corresponding to the input pattern n are as follows. 1. Find AT which minimizes the first term of the error function.
２．１．で求めたＡTの値を用いて、誤差関数の第２項と第３項の和を最小化するＢTを求める。 2.1. B T that minimizes the sum of the second term and the third term of the error function is obtained using the value of A T obtained in step (1).
３．２．で求めたＢTの値と次の漸化式を用いて、ＡTを更新する。 3.2. A T is updated using the value of B T obtained in step 1 and the following recurrence formula.
４．誤差関数Ｅnの値がごく小さい値に収束するまで２．と３．を繰り返す。 4). 2 until the value of the error function E n converges to a very small value. And 3. repeat.
こうして、図１に示したように、画像特徴量ｘi（入力層）から知覚特徴量ｓj（中間層）を推定する式（７）を得、さらに知覚特徴量ｓi（中間層）から印象の評定値ｔk（出力層）を推定する式（８）を得る。 Thus, as shown in FIG. 1, Equation (7) for estimating the perceptual feature quantity s j (intermediate layer) from the image feature quantity x i (input layer) is obtained, and further, from the perceptual feature quantity s i (intermediate layer). Expression (8) for estimating the impression rating value t k (output layer) is obtained.
＜任意の被験者の印象の推定＞
本発明においては、複数人の顔画像の画像特徴量から所定の印象を推定する推定式を取得した後、その推定式に基づいての被験者が呈する印象、例えば、対人魅力度を推定する。また、被験者の顔画像が所定の印象を呈するようにするための画像特徴量、例えば、対人魅力度を向上させるために有効な画像特徴量を得ることができる。
<Estimation of impression of any subject>
In the present invention, after obtaining an estimation expression for estimating a predetermined impression from image feature amounts of face images of a plurality of persons, the impression presented by the subject based on the estimation expression, for example, the degree of interpersonal attraction is estimated. Further, it is possible to obtain an image feature amount for making the face image of the subject present a predetermined impression, for example, an image feature amount effective for improving the degree of interpersonal attraction.
この場合、まず、複数人の顔画像から画像特徴量を抽出したのと同様に、被験者の顔画像から画像特徴量を抽出する。 In this case, first, the image feature amount is extracted from the face image of the subject in the same manner as the image feature amount is extracted from the face images of a plurality of persons.
次に、画像特徴量から印象を推定する推定式を取得するときに得た前述の式（７）を用いて被験者の知覚特徴量を推定する。この知覚特徴量には、顔の輪郭、骨格、法令線などの深いシワのように、被験者固有の特徴であって、メイクやヘアメイクで容易に変化させることができない知覚特徴量と、被験者がメイク又はヘアメイク後にも変化させることなく維持したいと希望する知覚特徴量と、被験者がメイク又はヘアメイクによって変化してもよいと思う知覚特徴量が存在する。そこで、被験者の顔画像の画像特徴量から推定される知覚特徴量のうち、メイクやヘアメイクでは容易に変化しない知覚特徴量や、被験者が変化を希望しない知覚特徴量以外の他の知覚特徴量を変化させ、その場合の被験者の印象の程度を前述の式（８）により推定する。そして、印象の改善の変動幅が大きい知覚特徴量を選定し、印象の改善の変動幅を最大にする知覚特徴量の組み合わせを求め、その知覚特徴量の組み合わせにより得られる印象の最大の改善度を前述の式（８）に基づいて算出する。また、印象の改善の変動幅を最大にする知覚特徴量の組み合わせに対応する画像特徴量の組み合わせを式（７）に基づいて算出する。あるいは、画像特徴量を変化させて印象を求め、印象の改善の変動幅を最大にする画像特徴量の組み合わせを求める。ここで、被験者が維持したい知覚特徴量には、たとえば、被験者自身がチャームポイントであると考える項目や、過去に他人から魅力的だと言われた項目が挙げられる。 Next, the perceptual feature quantity of the subject is estimated using the above-described formula (7) obtained when obtaining the estimation formula for estimating the impression from the image feature quantity. This perceptual feature amount is a feature unique to the subject, such as deep wrinkles such as facial contours, skeletons, and legal lines, and cannot be easily changed by makeup or hair makeup. Alternatively, there is a perceptual feature amount that the user desires to maintain without changing after hair makeup, and a perceptual feature amount that the subject may change by makeup or hair makeup. Therefore, among the perceptual feature quantities estimated from the image feature quantities of the subject's face image, perceptual feature quantities that do not change easily with makeup or hair makeup, or other perceptual feature quantities that the subject does not want to change. The degree of impression of the subject in that case is estimated by the above-described equation (8). Then, select the perceptual feature quantity that has the largest fluctuation range of impression improvement, obtain the combination of perceptual feature quantity that maximizes the fluctuation range of impression improvement, and obtain the maximum improvement degree of impression obtained by the combination of the perceptual feature quantity Is calculated based on the aforementioned equation (8). Further, a combination of image feature amounts corresponding to a combination of perceptual feature amounts that maximizes the fluctuation range of impression improvement is calculated based on Expression (7). Alternatively, an impression is obtained by changing the image feature amount, and a combination of image feature amounts that maximizes the fluctuation range of the impression improvement is obtained. Here, the perceptual feature quantity that the subject wants to maintain includes, for example, items that the subject considers to be charm points and items that have been said to be attractive by others in the past.
こうして、被験者固有の知覚特徴量を踏まえ、被験者が変化を希望しない知覚特徴量は変化させずに、印象を最大限に改善するこのとのできる一つの知覚特徴量若しくは複数の知覚特徴量の組み合わせを得ることができる。また、印象を最大限に改善することのできる一つの画像特徴量若しくは複数の画像特徴量の組み合わせを得ることができる。 In this way, based on the perceptual feature amount unique to the subject, the perceptual feature amount that the subject does not want to change is not changed, and the perception feature amount or combination of perceptual feature amounts that can improve the impression to the maximum is possible. Can be obtained. Further, it is possible to obtain one image feature amount or a combination of a plurality of image feature amounts that can improve the impression to the maximum.
美容アドバイザーは、この知覚特徴量又は画像特徴量の変化に対応したメイクまたはヘアメイクを被験者にアドバイスすればよい。 The beauty advisor may advise the subject about makeup or hair makeup corresponding to the change in the perceptual feature amount or the image feature amount.
なお、被験者の希望等に応じて、特定の知覚特徴量のみを変化させ、他の知覚特徴量を固定することによって、知覚特徴量が印象の改善又は改悪にどのように作用するかを見ても良い。 Note that, by changing only certain perceptual feature quantities and fixing other perceptual feature quantities according to the subject's wishes, etc., we can see how perceptual feature quantities affect the improvement or deterioration of impressions. Also good.
本発明の印象改善支援装置は、顔画像の画像特徴量から印象を推定する前述の式（７）及び式（８）を記憶し、顔画像から自動で画像特徴量を抽出することのできる機能を有する演算装置を備えたものである。これにより、任意の被験者の顔画像から画像特徴量を抽出し、その画像特徴量から知覚特徴量を算出し、さらに知覚特徴量から印象の改善又は改悪の程度を算出することが可能となる。この場合、印象の改善又は改悪の算出に使用する知覚特徴量は、印象改善支援装置の操作者が適宜選択することができる。したがって、印象改善支援装置の操作者は、メイク又はヘアメイクによっては変化しにくい知覚特徴量や、被験者が変化を希望しない知覚特徴量については固定とし、他の知覚特徴量を変化させることで、印象の改善の変化度合いを調べ、印象の改善への寄与が大きい知覚特徴量や画像特徴量を選択することができる。
また、本発明の印象改善支援装置としては、印象の改善への寄与が大きい順に知覚特徴量や画像特徴量が自動的に選択されるようにしてもよい。
The impression improvement support apparatus according to the present invention stores the above-described equations (7) and (8) for estimating an impression from an image feature amount of a face image, and can automatically extract an image feature amount from the face image. Is provided. As a result, it is possible to extract an image feature amount from a face image of an arbitrary subject, calculate a perceptual feature amount from the image feature amount, and further calculate a degree of improvement or deterioration of the impression from the perceptual feature amount. In this case, an operator of the impression improvement support apparatus can appropriately select a perceptual feature amount used for calculation of improvement or alteration of impression. Therefore, the operator of the impression improvement support device fixes the perceptual feature amount that is difficult to change depending on makeup or hair makeup or the perceptual feature amount that the subject does not want to change, and changes the other perceptual feature amount to change the impression It is possible to select a perceptual feature amount and an image feature amount that greatly contribute to the improvement of the impression.
In the impression improvement support device of the present invention, perceptual feature amounts and image feature amounts may be automatically selected in descending order of contribution to impression improvement.
以上、本発明で使用する推定式として、識別器において教師データの学習により導出したものを使用する態様について説明したが、画像特徴量ｘi（入力層）から知覚特徴量ｓj（中間層）を推定する段階と、知覚特徴量ｓj（中間層）から印象ｔ（出力層）を推定する段階の２段階で重回帰分析する方法により画像特徴量ｘiから印象ｔを推定する式を導出してもよい。 Above, as estimation equation to be used in the present invention has been described embodiments using those derived by learning teacher data in the discriminator, the image characteristic amount x i (input layer) from the perceptual characteristic quantity s j (intermediate layer) The equation for estimating the impression t from the image feature quantity x i is derived by a method of performing multiple regression analysis in two stages of estimating the impression t and the impression t (output layer) from the perceptual feature quantity s j (intermediate layer). May be.
また、得られた知覚特徴量が印象の改善又は改悪の程度を、被験者に提示する手段として、画像処理装置を用いることができる。例えば、被験者の現在の画像に、得られた特徴量の変化の度合いを重ねていくことにより、被験者自身で印象変化の様子を知ることができる。美容アドバイザーは、提示された画像の中から被験者自身が好ましいと選択した画像に基づき、メイクやヘアメイクの方法を教授すればよい。 In addition, an image processing apparatus can be used as a means for presenting the subject with the degree of improvement or alteration of the impression by the obtained perceptual feature amount. For example, by superimposing the degree of change in the obtained feature amount on the current image of the subject, the subject himself can know the state of the impression change. The beauty advisor may teach a makeup or hair makeup method based on an image that the subject himself / herself selects from among the presented images.
（１）推定式の取得
図１に示したように、画像特徴量ｘi（入力層）と知覚特徴量ｓj（中間層）と印象ｔ（出力層）の３層構成の学習機能を有する識別器において次の教師データを使用し、画像特徴量ｘi（入力層）から知覚特徴量ｓj（中間層）を推定する式（７）を得、さらに知覚特徴量ｓj（中間層）から印象ｔ（出力層）を推定する推定式（８）を得た。
(1) Acquisition of Estimation Formula As shown in FIG. 1, the learning function has a three-layer structure of an image feature quantity x i (input layer), a perceptual feature quantity s j (intermediate layer), and an impression t (output layer). Using the following teacher data in the discriminator, Equation (7) for estimating the perceptual feature quantity s j (intermediate layer) from the image feature quantity x i (input layer) is obtained, and the perceptual feature quantity s j (intermediate layer) From the above, the estimation formula (8) for estimating the impression t (output layer) was obtained.
この場合、教師データに使用した画像は、日本人女性１２０名（２０歳代から６０歳代までの各世代２４名ずつ）の化粧顔で無表情のものとし、評価する印象を対人魅力とした。そして、対人魅力と知的特徴量を次のように評価した。 In this case, the image used for the teacher data is a makeup face of 120 Japanese women (24 each generation from the 20s to 60s) with no facial expression, and the impression to be evaluated is an interpersonal attraction. . And the interpersonal attraction and intellectual features were evaluated as follows.
(i)対人魅力の評価
日本人女性５０名（２０歳代から６０歳代までの各世代１０名ずつ）を評価者とした。
(i) Evaluation of interpersonal attraction 50 Japanese women (10 each generation from the 20s to 60s) were evaluated.
評価者には、液晶ディスプレイ上に、教師データの画像として同一人物の正面顔と左ななめ側面顔の画像が同時に提示されるようにし、評価者は次の各評価項目について、回答をパソコンに入力するようにした。 The evaluator is presented with the same person's front face image and left side face image as teacher data images on the liquid crystal display at the same time, and the evaluator inputs answers to the PC for each of the following evaluation items: I tried to do it.
即ち、「近づきたい−避けたい」、「一緒に働くのは楽しそう−いやだ」、「好きになれそう−嫌いになりそう」という３つの評価項目に対し、どちらとも言えないを中点とした７段階で評価が行われるようにした。 In other words, for the three evaluation items, "I want to get closer-I want to avoid", "It seems to be fun to work together-I don't like it", and "I'm gonna like it-I feel like I hate" Evaluation was performed in 7 stages.
(ii)知覚特徴量の評価
美容技術者６名を評価者とし、対人魅力の評価と同じ提示条件で評価者に教師データとする画像を提示した。
この場合、評価項目は次のとおりである。
＜５段階評価の項目＞
「髪のボリューム」
「肌の明るさ」
「肌の色味」
「唇の色の濃さ」
「唇の鮮やかさ」
「髪を除いた顔の縦横比」
「髪を含めた全体的な顔の縦横比」
＜４段階評価の項目＞
「頬の盛り上がり」
「二重顎の程度」
「顔の下部のたるみ」
「顎下から首にかけてのたるみ」
「広頸筋の隆起の程度」
「髪全体のツヤ感」
「髪全体のパサつき感」
「トップの髪のボリューム」
(ii) Evaluation of perceptual feature quantity Six beauty technicians were used as evaluators, and images as teacher data were presented to the evaluators under the same presentation conditions as the evaluation of interpersonal attraction.
In this case, the evaluation items are as follows.
<Items for 5-level evaluation>
"Hair volume"
"Skin brightness"
"Skin color"
"Darkness of lips"
"Vividness of lips"
"Aspect ratio of face excluding hair"
"Overall aspect ratio of face including hair"
<Items for 4-level evaluation>
"Rise of cheeks"
"Degree of double jaw"
"Sagging at the bottom of the face"
"Sagging from under the jaw to the neck"
"The extent of the bulging neck"
“Glossiness of the whole hair”
"A feeling of dryness in the whole hair"
"Volume of top hair"
(iii)画像特徴量の抽出
全対象画像（Ｎ＝１２０）について、目・口唇を除くまぶたから下の肌部分、口唇部の２つの領域について、それぞれ以下の特徴量を算出した。
色：Ｒ，Ｇ，Ｂ各チャンネルのヒストグラム
テクスチャ：ＬＢＰ（Local Binary Pattern）の輝度ヒストグラム
(iii) Extraction of image feature values The following feature values were calculated for each of the two regions of the skin part below the eyelid excluding the eyes and lips and the lip part for all target images (N = 120).
Color: Histogram of each channel of R, G, B Texture: Luminance histogram of LBP (Local Binary Pattern)
（２）推定式を使用した知覚特徴量と対人魅力度の推定
教師データとして使用していない人物Ｐの顔画像（画像Ｐ）、及びおよび人物Ｑの顔画像（画像Ｑ）について、以下の手順で知覚特徴量と対人魅力度を推定した。この画像Ｐ及び画像Ｑを図２に示す。
また、知覚特徴量の変動による対人魅力度の変動を算出した。さらに、人物Ｐおよび人物Ｑを顧客と想定し、対人魅力度の変動算出値を利用したアドバイスの方法を検討した。
(2) Estimation of perceptual feature quantity and interpersonal attractiveness using estimation formula For face image (image P) of person P and face image (image Q) of person Q not used as teacher data, the following procedure We estimated perceptual features and interpersonal attractiveness. The images P and Q are shown in FIG.
In addition, fluctuations in interpersonal attractiveness due to fluctuations in perceptual features were calculated. Furthermore, assuming that the person P and the person Q are customers, an advice method using a calculated value of interpersonal attractiveness was examined.
(2-1)知覚特徴量と対人魅力度の推定
画像Ｐ及び画像Ｑの画像特徴量として、Ｒ，Ｇ，Ｂ各チャンネルのヒストグラムとＬＢＰの輝度ヒストグラムを抽出した。画像Ｑから抽出した画像特徴量の一部を図３に示す。
また、画像Ｐと画像Ｑの画像特徴量をネットワークに入力して得られた、知覚特徴量の推定値Ｚ、および対人魅力の推定値Ｙを図４に示す。
(2-1) Estimation of perceptual feature amount and interpersonal attractiveness As image feature amounts of image P and image Q, a histogram of R, G, and B channels and a luminance histogram of LBP were extracted. A part of the image feature quantity extracted from the image Q is shown in FIG.
FIG. 4 shows an estimated value Z of the perceptual feature quantity and an estimated value Y of the interpersonal attraction obtained by inputting the image feature quantities of the images P and Q to the network.
(2-2) 知覚特徴量の変動による対人魅力度の変動
店頭でファンデーションと口紅を用いたアドバイスを求める顧客の希望を想定して、「肌の色の明るさ」、「肌の色味」、「唇の色の鮮やかさ」の知覚特徴量から選択された１つないし２つの知覚特徴量を変動させ、それ以外の知覚特徴量を固定したときの、各知覚特徴量ベクトルＹに対する対人魅力度の推定値Ｚを、前述の式（８）により算出した。
(2-2) Fluctuation of interpersonal attractiveness due to fluctuations in perceptual features Assuming the desire of customers to seek advice using foundations and lipsticks at stores, "brightness of skin color", "skin color" Interpersonal attraction for each perceptual feature quantity vector Y when one or two perceptual feature quantities selected from the perceptual feature quantity of “lips color vividness” are changed and other perceptual feature quantities are fixed The estimated value Z of the degree was calculated by the above formula (8).
図５〜図８に、各知覚特徴量を変化させたとき（横軸）の対人魅力推定値（縦軸）を示す。
横軸、縦軸の値は教師データ取得時のスコアに換算されている。
各知覚特徴量の範囲は１〜５であり、これを超える操作は非常に極端なものになるため、この範囲における操作を変動可能範囲とした。
変動の１段階は知覚特徴量スコアに換算して０．５とした。
各グラフの中央付近に１つずつある■マーカー（グレー色）で示された点は、入力画像から推定された変動前の知覚特徴量および対人魅力値（変動の原点）である。
FIG. 5 to FIG. 8 show interpersonal attractiveness estimation values (vertical axis) when the perceptual feature quantities are changed (horizontal axis).
The values on the horizontal axis and the vertical axis are converted into scores at the time of acquiring teacher data.
The range of each perceptual feature amount is 1 to 5, and operations exceeding this range are extremely extreme. Therefore, the operation in this range is set as a variable range.
One stage of variation was set to 0.5 in terms of a perceptual feature amount score.
A point indicated by a marker (gray color), one near the center of each graph, is a perceptual feature amount and interpersonal attractive value (original point of variation) before variation estimated from the input image.
画像Ｐから推定された知覚特徴量のうち、「肌の色味」と「肌の明るさ」を変動させたときの対人魅力度の推定値の変動を図５に示す。
画像Ｑから推定された知覚特徴量のうち、「肌の色味」と「肌の明るさ」を変動させたときの対人魅力度の推定値の変動を図６に示す。
画像Ｐから推定された知覚特徴量のうち、「肌の色味」と「唇の色の鮮やかさ」を変動させたときの対人魅力度の推定値の変動を図７に示す。
画像Ｑから推定された知覚特徴量のうち、「肌の色味」と「唇の色の鮮やかさ」を変動させたときの対人魅力度の推定値の変動を図８に示す。
FIG. 5 shows changes in the estimated value of the interpersonal attractiveness when the “skin color” and the “brightness of the skin” are changed among the perceptual feature quantities estimated from the image P.
FIG. 6 shows changes in the estimated value of the interpersonal attractiveness when “skin color” and “brightness of skin” are changed among the perceptual feature quantities estimated from the image Q.
FIG. 7 shows changes in the estimated value of the interpersonal attractiveness when the “skin color” and the “brightness of the lips” are changed among the perceptual feature quantities estimated from the image P.
FIG. 8 shows changes in the estimated value of the interpersonal attractiveness when the “skin color” and the “brightness of the lips” are changed among the perceptual feature quantities estimated from the image Q.
(2-3)対人魅力度の変動算出値を利用したアドバイス
(2-1)で得た各画像の知覚特徴量および対人魅力度の推定値、および(2-2)で得た対人魅力度の推定値の変動に基づき、次のアドバイスを行うことができる。
まず、同一顧客画像において、各知覚特徴量を変動させたときの対人魅力の変動幅を比較することで、いずれの特徴量の変動が対人魅力の向上に効果的かを知ることができる。たとえば、図５のグラフにおいて、変動の原点から知覚特徴量が＋１段階変動した時の対人魅力推定値の変化量は、肌の色味の変動に対しては＋１．５であり、一方、肌の明るさに対しては＋０．５であることから、肌の色味を赤みに変化させる提案のほうが効果が大きいと予想される。
(2-3) Advice using calculated values of interpersonal attractiveness
The following advice can be given based on the perceived feature amount and interpersonal attractiveness estimated value obtained in (2-1) and the interpersonal attractiveness estimated value obtained in (2-2). .
First, in the same customer image, it is possible to know which variation in the feature amount is effective for improving the interpersonal attraction by comparing the fluctuation range of the interpersonal attraction when the perceptual feature amount is varied. For example, in the graph of FIG. 5, the change amount of the interpersonal attractiveness estimation value when the perceptual feature amount fluctuates by one step from the origin of the change is +1.5 for the skin color change, Therefore, it is expected that the proposal to change the skin tone to red will be more effective.
また、各知覚特徴量を変動させて対人魅力を同程度向上させる場合の比較を行うことができる。例えば、図７において、顧客Ｐの変動の原点から唇の色の鮮やかさが＋１段階変動した時の対人魅力推定値の変化量は＋１．４であることから、唇の色の鮮やかさの調整でも肌の色味の＋１段階の変動と同等の効果が得られると予想される。 In addition, it is possible to make a comparison when the perceptual feature amount is changed to improve the interpersonal attraction to the same extent. For example, in FIG. 7, since the change amount of the interpersonal attractiveness estimation value is +1.4 when the vividness of the lips changes by +1 step from the origin of the change of the customer P, the vividness of the lips is adjusted. However, it is expected that an effect equivalent to a +1 stage change in skin color will be obtained.
次に、異なる顧客の画像間では、同じ種類の知覚特徴量の対人魅力の変動効果が互いに異なることがわかる。たとえば、図５および図６はそれぞれ顧客Ｐと顧客Ｑの「肌の色味」の変動の結果を示している。両者を比較すると、変動の原点から知覚特徴量が＋１段階変動した時の対人魅力推定値の変化量は、顧客Ｐでは＋１．５である一方、顧客Ｑにおいては＋１．０である。すなわち、肌の色味を赤みに変化させる提案による推定魅力度の変動幅は顧客Ｐのほうが大きいと予想される。 Next, it can be seen that the effects of interpersonal attraction of the same type of perceptual feature amount are different between images of different customers. For example, FIG. 5 and FIG. 6 show the results of fluctuations in “skin color” of customer P and customer Q, respectively. Comparing the two, the change amount of the interpersonal attractiveness estimation value when the perceptual feature amount fluctuates by +1 step from the origin of the change is +1.5 for the customer P and +1.0 for the customer Q. That is, it is expected that the customer P has a larger fluctuation range of the estimated attractiveness due to the proposal of changing the skin color to red.
また、２つの知覚特徴量を同時に操作する場合の効果を知ることができる。例えば、図７は顧客Ｐの「肌の色味」と「唇の色の鮮やかさ」が同時に変動した時の結果を示している。前記のように「肌の色味」は単独で＋１段階変動させることで対人魅力推定値が＋１．５変化し、「唇の色の鮮やかさ」は単独で＋１段階変動させることで対人魅力推定値が＋１．４変化する。これら２つの操作を同時に行うと、変動の原点からの対人魅力推定値の変化は＋２．４となる。他方、顧客Ｑに関して同様に図８を見ると、「肌の色味」を単独で＋１段階変動させたときの対人魅力の変化は＋１．０であるのに対して「唇の色の鮮やかさ」＋１段階の変動による変化も＋１．０であり、これら２つを同時に＋１段階ずつ変動させたときの対人魅力の変動は＋１．４となる。 In addition, it is possible to know the effect of simultaneously operating two perceptual feature quantities. For example, FIG. 7 shows the result when the customer's P “skin color” and “brightness of lips” fluctuate simultaneously. As described above, the interpersonal attractiveness estimation value changes by +1.5 by changing the “skin color” by +1 level independently, and the interpersonal attractiveness estimate by changing the “brightness of lips” by +1 level independently. The value changes by +1.4. When these two operations are performed at the same time, the change in the estimated value of the interpersonal attraction from the origin of the fluctuation becomes +2.4. On the other hand, if FIG. 8 is similarly seen regarding the customer Q, the change of the interpersonal attraction when the “skin color” is changed +1 step by itself is +1.0, whereas “the vividness of the lips” The change due to the change in the +1 stage is also +1.0, and the change in the interpersonal attraction when the two are changed +1 stage at the same time is +1.4.
このように、２つの特徴量が加算的に魅力度を向上させる効果を利用すると、ある特徴量変化による負の効果を、別の特徴量変化で補うアドバイスを行うことができる。たとえば、図８は顧客Ｑの肌の色と唇の色の特徴量が同時に変動した時の結果を示している。ここで、顧客Ｑが肌の色を黄色みに変化させたいという要望を持っていた場合、図８における変動の原点から「肌の色味」が−１段階変動した時の対人魅力推定値の変化量は−１．６であることが予想され、対人魅力値が低くなってしまう。ところが、これに「唇の色の鮮やかさ」の変動を＋２段階加えることによって、変動の原点からの対人魅力推定値の変化は＋０．９となるので、「唇の色の鮮やかさ」が他の特徴量による負の効果に対する“補償効果”があることが予想される。そこで、顧客には、このような補償効果を利用したアドバイスを行う。 In this way, when the effect that the two feature quantities are additively improved is used, it is possible to provide an advice that compensates for a negative effect caused by a certain feature quantity change by another feature quantity change. For example, FIG. 8 shows a result when the feature amount of the skin color and the lip color of the customer Q fluctuates simultaneously. Here, if the customer Q has a desire to change the skin color to yellow, the interpersonal attractiveness estimation value when the “skin color” changes by −1 from the origin of the change in FIG. The amount of change is expected to be −1.6, and the interpersonal attraction value becomes low. However, by adding +2 stages of fluctuations in “brilliant color of lips” to this, the change in the estimated value of interpersonal attraction from the origin of the fluctuation becomes +0.9. It is expected that there will be a “compensation effect” for the negative effect due to the feature quantity. Therefore, the customer is advised using such a compensation effect.
また、顧客Ｐについては、「肌の色味」か「唇の色の鮮やかさ」のいずれかを操作するだけでも、推定される対人魅力が増すため、一定の満足感が得られることが予想される。一方、顧客Ｑに関しては、変動前の推定魅力度が顧客Ｑに比較して高いこともあり、ひとつの知覚特徴量の変動のみでは推定魅力度の変動幅が比較的小さく、十分な満足感が得られない可能性がある。そのため、操作前の推定魅力度が高い場合や、知覚特徴量を最適値まで変動させ得る幅が小さい場合には、複数の知覚的特徴項目の変動をアドバイスすることで、より満足感が得られやすいと予想される。 In addition, for the customer P, it is expected that a certain level of satisfaction will be obtained because only the “skin color” or “brightness of the lips” is manipulated to increase the estimated interpersonal attraction. Is done. On the other hand, with regard to customer Q, the estimated attractiveness before the change may be higher than that of customer Q, and the fluctuation range of the estimated attractiveness is relatively small with only one perceptual feature amount change, and there is sufficient satisfaction. It may not be obtained. Therefore, when the presumed attractiveness before operation is high or the perceptual feature value can be varied to the optimum value, the satisfaction can be obtained by advising the change of multiple perceptual feature items. It is expected to be easy.
以上の実施例により、個人差、つまり、変動させる知覚的特徴やそれ以外の知覚的特徴における推定値に応じて、対人魅力の推定値に対する各知覚的特徴の寄与や、知覚的特徴間の組み合わせによる対人魅力への影響が異なることがわかり、本発明を用いることで、個人の特徴に応じた特徴操作のアドバイスが可能となることがわかる。 According to the above embodiment, the contribution of each perceptual feature to the estimated value of interpersonal attraction and the combination between perceptual features depending on individual differences, that is, the estimated values of the perceptual features to be varied and other perceptual features It can be seen that the influence on the interpersonal attraction is different, and that using the present invention makes it possible to provide advice on feature operations in accordance with individual features.
即ち、当該顧客において対人魅力の向上に最も効果的に作用する知覚的特徴項目を選択することで対人魅力を向上させるアドバイスが可能になると共に、当該顧客が望む知覚的特徴量の変化が対人魅力を向上させるものであっても、低下させるものであっても、それを前提として、トータルとして対人魅力が向上するように知覚的特徴項目を選択し、その操作をアドバイスすることができる。 That is, by selecting the perceptual feature item that works most effectively on the improvement of interpersonal attraction for the customer, it is possible to provide advice for improving the interpersonal attraction, and the change in the perceptual feature quantity desired by the customer is the interpersonal attraction. Whether or not to improve the perception, it is possible to select perceptual feature items so that the interpersonal attraction is improved as a total and to give advice on the operation.
（３）画像特徴量に基づく対人魅力の推定
教師データとして使用していない前述の画像Ｑ、及びおよび画像Ｑの唇領域に変動を加えた画像Ｒについて、以下の手順で知覚特徴量と対人魅力度を推定した。この画像Ｑ及び画像Ｒを図２に示す。
画像Ｑ及び画像Ｒの画像特徴量を（１）(iii)と同様にして抽出し、画像Ｑから抽出した画像特徴量と画像Ｒから抽出した画像特徴量の差分ベクトルを求めた。これを図９に示す。また、画像Ｑと画像Ｒから抽出した画像特徴量を、（１）で取得した式（７）で使用することにより知覚特徴量の推定値を得、さらに式（８）から対人魅力の推定値を得た。この結果を図１０に示す。
同一人の画像において、唇の鮮やかさに関する画像特徴量に差をもたせると（図９）、知覚特徴量及び対人魅力度の推定値が異なることがわかる（図１０）。
(3) Estimation of interpersonal attraction based on image feature amount For the above-described image Q that is not used as teacher data and the image R in which the lip region of the image Q is changed, the perceptual feature amount and the interpersonal attraction are performed in the following procedure. The degree was estimated. The image Q and the image R are shown in FIG.
Image feature amounts of the image Q and the image R are extracted in the same manner as (1) and (iii), and a difference vector between the image feature amount extracted from the image Q and the image feature amount extracted from the image R is obtained. This is shown in FIG. Further, an estimated value of the perceptual feature value is obtained by using the image feature value extracted from the image Q and the image R in the expression (7) acquired in (1), and the estimated value of the interpersonal attraction is further calculated from the expression (8). Got. The result is shown in FIG.
It can be seen that if the image feature amount relating to the vividness of the lips is made different in the same person image (FIG. 9), the perceptual feature amount and the estimated value of the interpersonal attractiveness are different (FIG. 10).
Claims (5)
印象を推定する推定式において、被験者の所定の知覚特徴量を固定し、
他の知覚特徴量のうち印象を改善する知覚特徴量又は印象を改善する画像特徴量を選択し、
その選択した知覚特徴量又は画像特徴量に基づいてメイク又はヘアメイクをアドバイスする印象の改善方法。 An estimation formula for estimating an apparent feature amount (hereinafter referred to as a perceptual feature amount) subjectively recognized from a feature amount physically extracted by image recognition (hereinafter referred to as an image feature amount) for a plurality of face images. Acquire an estimation formula that estimates the impression from the perceptual feature amount,
In the estimation formula for estimating the impression, a predetermined perceptual feature amount of the subject is fixed,
Select a perceptual feature quantity that improves impression or an image feature quantity that improves impression from other perceptual feature quantities,
Impression improving method that advises makeup or hair makeup based on the selected perceptual feature amount or image feature amount.
顔画像から画像特徴量を抽出する機能、
印象を推定する推定式において、被験者の所定の知覚特徴量を固定し、他の知覚特徴量又は画像特徴量から印象を算出する機能
を有する演算装置を備えた印象改善支援装置。 A function for storing an estimation formula for estimating a perceptual feature amount from an image feature amount for a plurality of face images, and storing an estimation formula for estimating an impression from a perceptual feature amount,
A function to extract image features from face images,
An impression improvement support apparatus comprising an arithmetic unit having a function of fixing a predetermined perceptual feature amount of a subject and calculating an impression from another perceptual feature amount or an image feature amount in an estimation formula for estimating an impression.
を有する演算装置を備えた請求項４記載の印象改善支援装置。 The perceived feature quantity or image feature quantity is selected in descending order of the improvement ratio of the impression calculated by fixing the predetermined perceptual feature quantity of the subject and changing other perceptual feature quantity or image feature quantity. Or the impression improvement assistance apparatus of Claim 4 provided with the arithmetic unit which has a function which calculates an impression based on an image feature-value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014208239A JP2016081075A (en) | 2014-10-09 | 2014-10-09 | Method and device for improving impression |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014208239A JP2016081075A (en) | 2014-10-09 | 2014-10-09 | Method and device for improving impression |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016081075A true JP2016081075A (en) | 2016-05-16 |
Family
ID=55956285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014208239A Pending JP2016081075A (en) | 2014-10-09 | 2014-10-09 | Method and device for improving impression |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016081075A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018079255A1 (en) | 2016-10-24 | 2018-05-03 | パナソニックＩｐマネジメント株式会社 | Image processing device, image processing method, and image processing program |
| WO2019221293A1 (en) * | 2018-05-18 | 2019-11-21 | 国立大学法人東京大学 | Image generation device, image generation method, and image generation program |
| JP2019201743A (en) * | 2018-05-21 | 2019-11-28 | 花王株式会社 | Method for evaluating higher-order impression of face |
| JP2020184158A (en) * | 2019-05-07 | 2020-11-12 | トヨタ紡織株式会社 | Information processing device, and method for controlling information processing device |
| KR20210073986A (en) * | 2019-12-11 | 2021-06-21 | 광주과학기술원 | A method and apparatus for analyzing attractiveness of target object using deep learning |
-
2014
- 2014-10-09 JP JP2014208239A patent/JP2016081075A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018079255A1 (en) | 2016-10-24 | 2018-05-03 | パナソニックＩｐマネジメント株式会社 | Image processing device, image processing method, and image processing program |
| US10789748B2 (en) | 2016-10-24 | 2020-09-29 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, image processing method, and non-transitory computer-readable recording medium storing image processing program |
| WO2019221293A1 (en) * | 2018-05-18 | 2019-11-21 | 国立大学法人東京大学 | Image generation device, image generation method, and image generation program |
| JP2019201743A (en) * | 2018-05-21 | 2019-11-28 | 花王株式会社 | Method for evaluating higher-order impression of face |
| JP2020184158A (en) * | 2019-05-07 | 2020-11-12 | トヨタ紡織株式会社 | Information processing device, and method for controlling information processing device |
| JP7188268B2 (en) | 2019-05-07 | 2022-12-13 | トヨタ紡織株式会社 | Information processing device and control method for information processing device |
| KR20210073986A (en) * | 2019-12-11 | 2021-06-21 | 광주과학기술원 | A method and apparatus for analyzing attractiveness of target object using deep learning |
| KR102267835B1 (en) * | 2019-12-11 | 2021-06-22 | 광주과학기술원 | A method and apparatus for analyzing attractiveness of target object using deep learning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vernon et al. | Modeling first impressions from highly variable facial images | |
| US10251463B2 (en) | Makeup application assistance device, makeup application assistance method, and makeup application assistance program | |
| US10799010B2 (en) | Makeup application assist device and makeup application assist method | |
| Laurentini et al. | Computer analysis of face beauty: A survey | |
| Kagian et al. | A machine learning predictor of facial attractiveness revealing human-like psychophysical biases | |
| Sartori et al. | Who's afraid of itten: Using the art theory of color combination to analyze emotions in abstract paintings | |
| JP5231685B1 (en) | Facial impression analysis method, beauty counseling method and face image generation method | |
| Liu et al. | Advances in computational facial attractiveness methods | |
| JP2016081075A (en) | Method and device for improving impression | |
| Howe et al. | Comparison of bayesian and empirical ranking approaches to visual perception | |
| JP2001346627A (en) | Make-up advice system | |
| US11010894B1 (en) | Deriving a skin profile from an image | |
| CN107944093A (en) | A kind of lipstick color matching system of selection, electronic equipment and storage medium | |
| Gunes | A survey of perception and computation of human beauty | |
| JP5651385B2 (en) | Face evaluation method | |
| KR102224596B1 (en) | A system and method for automatically generating facial correction designs and application protocols for handling identifiable facial deviations | |
| JP2017120595A (en) | Method for evaluating state of application of cosmetics | |
| Lo et al. | Evaluating the effect of interactions between appearance-related product designs and facial characteristics on social affectivity | |
| JP7095849B1 (en) | Eyewear virtual fitting system, eyewear selection system, eyewear fitting system and eyewear classification system | |
| CN110909566A (en) | Health analysis method, mobile terminal and computer-readable storage medium | |
| JP6128357B2 (en) | Makeup support device and makeup support method | |
| JP4893968B2 (en) | How to compose face images | |
| JP6320844B2 (en) | Apparatus, program, and method for estimating emotion based on degree of influence of parts | |
| Mughal et al. | Modelling visual impressions for Chinese and Pakistani ethnic groups | |
| CN108292418B (en) | Information providing device and information providing method |