JP2022020117A

JP2022020117A - Skin color unevenness evaluation device, skin color unevenness evaluation method and skin color unevenness evaluation program

Info

Publication number: JP2022020117A
Application number: JP2020123413A
Authority: JP
Inventors: 祐子村上; Yuko Murakami; 敏夫五十嵐; Toshio Igarashi; 悠井上; Yu Inoue; 克真宮地; Katsuma Miyachi; 雛代浅井; Hinayo Asai; 寿吉岡; Hisashi Yoshioka; 綾子森瀬; Ayako Morise; 浩田中; Hiroshi Tanaka
Original assignee: Nippon Menard Cosmetic Co Ltd
Current assignee: Nippon Menard Cosmetic Co Ltd
Priority date: 2020-07-20
Filing date: 2020-07-20
Publication date: 2022-02-01
Anticipated expiration: 2040-07-20
Also published as: JP7412767B2

Abstract

To use a general-purpose apparatus without depending on a measurement environment, and to improve accuracy of skin color unevenness evaluation.SOLUTION: There is provided a skin color unevenness evaluation device. The skin color unevenness evaluation device includes: a skin image acquisition part for acquiring a skin image of an evaluation target person; a skin image analysis part for executing space frequency analysis to the acquired skin image, and acquiring percentile of a strength value of each frequency; and a determination part for determining a color unevenness evaluation value by using a color unevenness evaluation formula using a strength value of each frequency as a variable, and prepared for each percentile value, and the strength value of a percentile value determined beforehand among strength values of acquired each frequency.SELECTED DRAWING: Figure 3

Description

本開示は、肌の色ムラを評価する肌の色ムラ評価技術に関する。 The present disclosure relates to a skin color unevenness evaluation technique for evaluating skin color unevenness.

肌の色ムラは、見た目年齢に影響を与え、また、化粧品の効果を評価する際に重要な指標となり得る。そこで、肌の色ムラを解析する技術が提案されている（例えば、特許文献１）。 Skin color unevenness affects the appearance age and can be an important index in evaluating the effect of cosmetics. Therefore, a technique for analyzing skin color unevenness has been proposed (for example, Patent Document 1).

特開２０１１－２４００８６号公報Japanese Unexamined Patent Publication No. 2011-24806

しかしながら、上記の技術においては、専用の測定機器の使用や、予め定められた測定環境における測定が前提とされ、肌の色ムラの解析や評価は煩雑であった。また、上記の技術においては、官能評価に基づく肌の色ムラ評価と測定結果を用いる肌の色ムラ評価との間の相関関係が低く、肌の色ムラの評価精度が低いという問題がある。 However, in the above technique, the use of a dedicated measuring device and the measurement in a predetermined measurement environment are premised, and the analysis and evaluation of skin color unevenness are complicated. Further, in the above technique, there is a problem that the correlation between the skin color unevenness evaluation based on the sensory evaluation and the skin color unevenness evaluation using the measurement result is low, and the evaluation accuracy of the skin color unevenness is low.

したがって、測定環境に依存せず、汎用的な機器を用いることが可能であり、肌の色ムラ評価の精度を向上させることができる肌の色ムラ評価が求められている。 Therefore, it is possible to use a general-purpose device without depending on the measurement environment, and there is a demand for skin color unevenness evaluation that can improve the accuracy of skin color unevenness evaluation.

上記課題の少なくとも一部を解決するために、本開示は以下の種々の態様を採る。 In order to solve at least a part of the above problems, the present disclosure adopts the following various aspects.

第１の態様は、肌の色ムラ評価装置を提供する。第１の態様に係る肌の色ムラ評価装置は、評価対象者の肌画像を取得する肌画像取得部と、取得した前記肌画像に対して空間周波数解析を実行し、各周波数について強度値のパーセンタイルを取得する肌画像解析部と、各周波数の強度値を変数とし、パーセンタイル値毎に用意されている色ムラ評価式と、前記取得した各周波数についての強度値のうち、予め定められたパーセンタイル値の強度値とを用いて、色ムラ評価値を決定する決定部と、を備える。 The first aspect provides a skin color unevenness evaluation device. The skin color unevenness evaluation device according to the first aspect performs spatial frequency analysis on the skin image acquisition unit that acquires the skin image of the evaluation target person and the acquired skin image, and determines the intensity value for each frequency. Of the skin image analysis unit that acquires the percentile, the color unevenness evaluation formula prepared for each percentile value with the intensity value of each frequency as a variable, and the intensity value for each acquired frequency, the predetermined percentile A determination unit for determining a color unevenness evaluation value using the intensity value of the value is provided.

第１の態様に係る色ムラ評価装置によれば、各周波数の強度値を変数とし、パーセンタイル値毎に用意されている色ムラ評価式と、取得した各周波数についての強度値のうち、予め定められたパーセンタイル値の強度値とを用いて、色ムラ評価値を決定するので、測定環境に依存せず、汎用的な機器を用いることが可能であり、肌の色ムラ評価の精度を向上させることができる。 According to the color unevenness evaluation device according to the first aspect, the intensity value of each frequency is used as a variable, and the color unevenness evaluation formula prepared for each percentile value and the acquired intensity value for each frequency are determined in advance. Since the color unevenness evaluation value is determined using the intensity value of the obtained percentile value, it is possible to use a general-purpose device without depending on the measurement environment, and the accuracy of the skin color unevenness evaluation is improved. be able to.

第１の態様に係る色ムラ評価装置において、前記色ムラ評価式は、標本肌画像に対する官能評価による色ムラ定量評価値と、標本肌画像に対する空間周波数解析により取得された各周波数における強度値と、を用いて強度値のパーセンタイル値毎に導出される。この場合には、強度値のパーセンタイル値に応じた色ムラ評価式を得ることができる。 In the color unevenness evaluation device according to the first aspect, the color unevenness evaluation formula includes a quantitative evaluation value of color unevenness by sensory evaluation of a sample skin image and an intensity value at each frequency acquired by spatial frequency analysis of the sample skin image. , Is used to derive each intensity value at the percentile value. In this case, a color unevenness evaluation formula corresponding to the percentile value of the intensity value can be obtained.

第１の態様に係る色ムラ評価装置において、前記予め定められたパーセンタイル値は、９０パーセンタイル値以上のパーセンタイル値である。この場合には、肌の特徴を反映して色ムラを精度良く評価することができる。 In the color unevenness evaluation device according to the first aspect, the predetermined percentile value is a percentile value of 90th percentile or more. In this case, the color unevenness can be accurately evaluated by reflecting the characteristics of the skin.

第１の態様に係る色ムラ評価装置において、前記肌画像解析部は、取得した前記肌画像をＲＧＢ各成分の画像に分離して、空間周波数解析を実行する。この場合には、ＲＧＢの各成分のそれぞれについて強度値を得ることが可能となり、色ムラ評価値の精度を更に向上させることができる。 In the color unevenness evaluation device according to the first aspect, the skin image analysis unit separates the acquired skin image into images of each RGB component and executes spatial frequency analysis. In this case, it is possible to obtain an intensity value for each of the RGB components, and it is possible to further improve the accuracy of the color unevenness evaluation value.

第１の態様に係る色ムラ評価装置において、前記各周波数は、１～３９Ｈｚの範囲における周波数である。この場合には、色ムラ評価の計算負荷を軽減しつつ、精度の良い色ムラ評価結果を提供することができる。 In the color unevenness evaluation device according to the first aspect, each of the above frequencies is a frequency in the range of 1 to 39 Hz. In this case, it is possible to provide an accurate color unevenness evaluation result while reducing the calculation load of the color unevenness evaluation.

第１の態様に係る色ムラ評価装置において、前記肌画像取得部は、汎用の撮像装置から、撮像された肌画像を取得する。この場合には、簡易に肌の色ムラ評価を得ることができる。 In the color unevenness evaluation device according to the first aspect, the skin image acquisition unit acquires an imaged skin image from a general-purpose image pickup device. In this case, it is possible to easily obtain an evaluation of skin color unevenness.

第２の態様は、肌の色ムラ評価方法を提供する。第２の態様に係る色ムラの評価方法は、評価対象者の肌画像を取得し、取得した前記肌画像に対して空間周波数解析を実行し、各周波数について強度値のパーセンタイルを取得し、各周波数の強度値を変数とし、パーセンタイル値毎に用意されている色ムラ評価式と、前記取得した各周波数についての強度値のうち、予め定められたパーセンタイル値の強度値とを用いて、色ムラ評価値を決定すること、を備える。 The second aspect provides a method for evaluating skin color unevenness. In the method for evaluating color unevenness according to the second aspect, a skin image of an evaluation target person is acquired, spatial frequency analysis is performed on the acquired skin image, a percentile of an intensity value is acquired for each frequency, and each of them. Using the frequency intensity value as a variable, the color unevenness evaluation formula prepared for each percentile value and the intensity value of the predetermined percentile value among the acquired intensity values for each frequency are used for color unevenness. It is provided with determining the evaluation value.

第２の態様に係る色ムラ評価方法によれば、各周波数の強度値を変数とし、パーセンタイル値毎に用意されている色ムラ評価式と、取得した各周波数についての強度値のうち、予め定められたパーセンタイル値の強度値とを用いて、色ムラ評価値を決定するので、測定環境に依存せず、汎用的な機器を用いることが可能であり、肌の色ムラ評価の精度を向上させることができる。 According to the color unevenness evaluation method according to the second aspect, the intensity value of each frequency is used as a variable, and the color unevenness evaluation formula prepared for each percentile value and the acquired intensity value for each frequency are determined in advance. Since the color unevenness evaluation value is determined using the intensity value of the obtained percentile value, it is possible to use a general-purpose device without depending on the measurement environment, and the accuracy of the skin color unevenness evaluation is improved. be able to.

第３の態様は、肌の色ムラ評価プログラムを提供する。第３の態様に係る色ムラ評価プログラムは、評価対象者の肌画像を取得する機能と、取得した前記肌画像に対して空間周波数解析を実行し、各周波数について強度値のパーセンタイルを取得する機能と、各周波数の強度値を変数とし、パーセンタイル値毎に用意されている色ムラ評価式と、前記取得した各周波数についての強度値のうち、予め定められたパーセンタイル値の強度値とを用いて、色ムラ評価値を決定する機能と、をコンピュータによって実現させる。 The third aspect provides a skin color unevenness evaluation program. The color unevenness evaluation program according to the third aspect has a function of acquiring a skin image of an evaluation target person and a function of executing spatial frequency analysis on the acquired skin image and acquiring a percentile of intensity values for each frequency. Using the intensity value of each frequency as a variable, the color unevenness evaluation formula prepared for each percentile value, and the intensity value of the predetermined percentile value among the acquired intensity values for each frequency. , The function of determining the color unevenness evaluation value, and the function of determining the color unevenness evaluation value are realized by a computer.

第３の態様に係る色ムラ評価プログラムによれば、各周波数の強度値を変数とし、パーセンタイル値毎に用意されている色ムラ評価式と、取得した各周波数についての強度値のうち、予め定められたパーセンタイル値の強度値とを用いて、色ムラ評価値を決定するので、測定環境に依存せず、汎用的な機器を用いることが可能であり、肌の色ムラ評価の精度を向上させることができる。 According to the color unevenness evaluation program according to the third aspect, the intensity value of each frequency is set as a variable, and the color unevenness evaluation formula prepared for each percentile value and the acquired intensity value for each frequency are determined in advance. Since the color unevenness evaluation value is determined using the intensity value of the obtained percentile value, it is possible to use a general-purpose device without depending on the measurement environment, and the accuracy of the skin color unevenness evaluation is improved. be able to.

第３の態様に係る色ムラ評価プログラムは、コンピュータ読み取り可能な媒体、例えば、ＣＤ、ＤＶＤ、ブルーレイディスク、半導体メモリに格納されていても良い。 The color unevenness evaluation program according to the third aspect may be stored in a computer-readable medium, for example, a CD, a DVD, a Blu-ray disc, or a semiconductor memory.

第１の実施形態に係る肌の色ムラ評価装置および肌の色ムラ評価システムの一例を示す説明図。The explanatory view which shows an example of the skin color unevenness evaluation apparatus and the skin color unevenness evaluation system which concerns on 1st Embodiment. 第１の実施形態に係る肌の色ムラ評価装置および肌の色ムラ評価システムの一例を示す説明図。The explanatory view which shows an example of the skin color unevenness evaluation apparatus and the skin color unevenness evaluation system which concerns on 1st Embodiment. 第１の実施形態に係る肌の色ムラ評価システムを機能部によって示す説明図。The explanatory view which shows the skin color unevenness evaluation system which concerns on 1st Embodiment by a functional part. 第１の実施形態に係る肌の色ムラ評価装置の機能的な内部構成を示すブロック図。The block diagram which shows the functional internal structure of the skin color unevenness evaluation apparatus which concerns on 1st Embodiment. 第１の実施形態に係る肌の色ムラ評価装置によって実行される肌の色ムラ評価処理の各処理ステップを示すフローチャート。The flowchart which shows each processing step of the skin color unevenness evaluation process executed by the skin color unevenness evaluation apparatus which concerns on 1st Embodiment. 取得した肌画像データに対する空間周波数解析の一例を示す説明図。Explanatory drawing which shows an example of spatial frequency analysis for acquired skin image data. 各周波数の成分強度についてパーセンタイルを取得する手順の一例を示す説明図。An explanatory diagram showing an example of a procedure for acquiring percentiles for component intensities of each frequency. 一の色成分の一の周波数における成分強度とパーセンタイルとの相関を示す説明図。An explanatory diagram showing the correlation between the component intensity and the percentile at one frequency of one color component. 定量評価の一例を示す説明図。Explanatory drawing which shows an example of quantitative evaluation. 周波数と相関関数との検証結果の一部を示すグラフ。A graph showing a part of the verification result of frequency and correlation function. ５０パーセンタイル値における算出評価値と官能評価値との相関関係を示すグラフ。The graph which shows the correlation between the calculated evaluation value and the sensory evaluation value in the 50th percentile value. １０～１００のパーセンタイル値における算出評価値と官能評価値との決定係数Ｒ^２を示すグラフ。The graph which shows the coefficient of determination ^R2 of the calculated evaluation value and the sensory evaluation value in the percentile value of 10 to 100. 図１２におけるパーセンタイル値と相関係数Ｒとの対応関係を示すテーブル。A table showing the correspondence between the percentile value and the correlation coefficient R in FIG. 12. パーセンタイル値と人の知覚との相関を検証するために用いた肌画像サンプルを示す説明図。An explanatory diagram showing a skin image sample used to verify the correlation between percentile values and human perception. パーセンタイル値と人の知覚との相関を検証するために用いた肌画像サンプルを示す説明図。An explanatory diagram showing a skin image sample used to verify the correlation between percentile values and human perception. 図１４および図１５に示す肌画像サンプルに対して、５０パーセンタイル値の肌の色ムラ評価式を用いた算出評価値を示す説明図。It is explanatory drawing which shows the calculated evaluation value using the skin color unevenness evaluation formula of the 50th percentile value with respect to the skin image sample shown in FIG. 14 and FIG. 図１４および図１５に示す肌画像サンプルに対して、９９パーセンタイル値の肌の色ムラ評価式を用いた算出評価値を示す説明図。An explanatory diagram showing a calculated evaluation value using a skin color unevenness evaluation formula having a 99th percentile value for the skin image samples shown in FIGS. 14 and 15. 図１４および図１５に示す各肌画像サンプルに対する官能評価の結果を示す説明図。The explanatory view which shows the result of the sensory evaluation for each skin image sample shown in FIG. 14 and FIG. 第２の実施形態における、専用の機器を用いた場合の色ムラ評価値と、スマートフォンを用いた場合の色ムラ評価値との相関を示すグラフ。The graph which shows the correlation between the color unevenness evaluation value at the time of using a dedicated device, and the color unevenness evaluation value at the time of using a smartphone in the 2nd Embodiment. 図１９の相関の検証に用いられた肌画像サンプルの一部を示す説明図。Explanatory drawing which shows a part of the skin image sample used for the verification of the correlation of FIG.

従来の測定機器を用いた肌の色ムラ評価と人が感じる肌の色ムラとの間には依然として乖離が存在するという課題に対して、本発明者等は、人が感じる肌の色ムラには、肌に特徴的な知覚、質感とも言う、が関係していることに注目し、測定機器による肌の色ムラ評価への反映を鋭意検討した。その結果、特定の周波数成分の強度に着目することによって、肌の色ムラを客観的且つ高精度に評価できることを見出し、また、専用の機器や限定的な測定環境に依存することなく肌の色ムラの評価精度を向上できることを見出した。以下、本開示に係る肌の色ムラ評価装置、肌の色ムラ評価方法、並びに肌の色ムラ評価プログラムについて、図面を参照しつつ、実施形態に基づいて説明する。 In response to the problem that there is still a discrepancy between the evaluation of skin color unevenness using a conventional measuring device and the skin color unevenness felt by humans, the present inventors have made it possible for humans to perceive skin color unevenness. Focused on the fact that it is related to the characteristic perception and texture of the skin, and enthusiastically examined its reflection in the evaluation of skin color unevenness by a measuring device. As a result, we found that skin color unevenness can be evaluated objectively and with high accuracy by focusing on the intensity of specific frequency components, and skin color is not dependent on dedicated equipment or limited measurement environment. It was found that the evaluation accuracy of unevenness can be improved. Hereinafter, the skin color unevenness evaluation device, the skin color unevenness evaluation method, and the skin color unevenness evaluation program according to the present disclosure will be described based on the embodiments with reference to the drawings.

第１の実施形態：
図１および図２は、第１の実施形態に係る肌の色ムラ評価装置および肌の色ムラ評価システムの一例を示す。肌の色ムラ評価装置１００は、図１に示すようにタブレット端末またはスマートフォン（以下、単に「スマートフォン」と言う。）として実現されても良く、あるいは、図２に示すようにデスクトップ型として実現されても良く、ノート型コンピュータとして実現されても良い。スマートフォン１００が肌の色ムラ評価装置として機能する場合、撮像部２０および表示部２１を備え、単体にて肌の色ムラ評価システム１０を構成する。スマートフォン１００においては、撮像部２０によって評価対象となる肌画像が撮像され、表示部２１によって肌の色ムラ評価結果が表示される。これに対して、コンピュータ１００が肌の色ムラ評価装置として機能する場合、撮像装置３０および表示装置３１が別途用いられ、コンピュータ端末１００、撮像装置３０および表示装置３１によって肌の色ムラ評価システム１０が構成される。撮像装置３０は、評価対象となる肌画像を撮像する。撮像装置３０としては、肌診断機として公知であり、一定の撮像環境における撮像を可能とするＶＩＳＩＡ（ＣａｎｆｉｅｌｄＳｃｉｅｎｔｉｆｉｃ社製）や一般的なデジタルカメラ、あるいは、スマートフォンが用いられ得る。表示装置３１は、肌の色ムラ評価結果、例えば、数値的な評価値あるいは評価値を用いて生成された肌年齢を表示する。コンピュータ１００と撮像装置３０とは有線または無線により接続され、撮像装置３０からコンピュータ１００に対して撮像データが送信され得る。更に、タブレット端末またはスマートフォンは、表示装置として用いられ得るので、コンピュータ１００からタブレット端末またはスマートフォンに対して、無線通信によって肌の色ムラ評価結果が送信されても良い。この場合、利用者のスマートフォンに肌の色ムラ評価結果を送信することができる。無線による接続は、例えば、Ｗｉｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）といった近距離無線通信規格に準拠する無線通信により実現される。なお、コンピュータ１００は、複数の端末と有線または無線ネットワークを介して接続されるサーバとして機能するサーバコンピュータであっても良く、この場合には、複数の各種クライアント端末から、評価対象となる肌画像データがアップロードされ、サーバコンピュータにおいて肌の色ムラ評価値が算出され、サーバコンピュータから各種クライアント端末に対して算出された肌の色ムラ評価値が送信され得る。 First embodiment:
1 and 2 show an example of a skin color unevenness evaluation device and a skin color unevenness evaluation system according to the first embodiment. The skin color unevenness evaluation device 100 may be realized as a tablet terminal or a smartphone (hereinafter, simply referred to as “smartphone”) as shown in FIG. 1, or as a desktop type as shown in FIG. It may be realized as a notebook computer. When the smartphone 100 functions as a skin color unevenness evaluation device, it includes an image pickup unit 20 and a display unit 21, and constitutes a skin color unevenness evaluation system 10 by itself. In the smartphone 100, the skin image to be evaluated is imaged by the image pickup unit 20, and the skin color unevenness evaluation result is displayed by the display unit 21. On the other hand, when the computer 100 functions as a skin color unevenness evaluation device, the image pickup device 30 and the display device 31 are separately used, and the skin color unevenness evaluation system 10 is used by the computer terminal 100, the image pickup device 30 and the display device 31. Is configured. The image pickup apparatus 30 captures a skin image to be evaluated. As the image pickup apparatus 30, a VISIA (manufactured by Canfield Scientific), a general digital camera, or a smartphone, which is known as a skin diagnostic device and enables imaging in a certain imaging environment, can be used. The display device 31 displays the skin color unevenness evaluation result, for example, a numerical evaluation value or a skin age generated by using the evaluation value. The computer 100 and the image pickup device 30 are connected by wire or wirelessly, and image pickup data can be transmitted from the image pickup device 30 to the computer 100. Further, since the tablet terminal or smartphone can be used as a display device, the skin color unevenness evaluation result may be transmitted from the computer 100 to the tablet terminal or smartphone by wireless communication. In this case, the skin color unevenness evaluation result can be transmitted to the user's smartphone. The wireless connection is realized by wireless communication conforming to a short-range wireless communication standard such as Wifi (registered trademark) or Bluetooth (registered trademark). The computer 100 may be a server computer that functions as a server connected to a plurality of terminals via a wired or wireless network. In this case, skin images to be evaluated from a plurality of various client terminals. The data is uploaded, the skin color unevenness evaluation value is calculated on the server computer, and the calculated skin color unevenness evaluation value can be transmitted from the server computer to various client terminals.

図３は第１の実施形態に係る肌の色ムラ評価システム１０を機能部によって示す説明図である。肌の色ムラ評価装置１００は、肌画像取得部Ｆ１、肌画像解析部Ｆ２、色ムラ評価値決定部Ｆ３を備えている。肌画像取得部Ｆ１は、撮像部２０または撮像装置３０から肌画像データを取得する。肌画像解析部Ｆ２は、肌画像取得部Ｆ１によって取得された画像データに対して空間周波数解析を実行する空間周波数解析部Ｆ２１および周波数解析結果を用いて各周波数について強度値のパーセンタイルを取得するパーセンタイル取得部Ｆ２２とを備えている。色ムラ評価値決定部Ｆ３は、肌画像解析部Ｆ２、すなわち、パーセンタイル取得部Ｆ２２によって取得された各周波数についての強度値のうち、予め定められたパーセンタイル値の強度と、パーセンタイル値毎に用意されている各周波数の強度値を変数とする色ムラ評価式とを用いて色ムラ評価値を決定する。色ムラ評価値決定部Ｆ３によって決定された色ムラ評価値は、表示部２１または表示装置３１に対して出力される。 FIG. 3 is an explanatory diagram showing the skin color unevenness evaluation system 10 according to the first embodiment by a functional unit. The skin color unevenness evaluation device 100 includes a skin image acquisition unit F1, a skin image analysis unit F2, and a color unevenness evaluation value determination unit F3. The skin image acquisition unit F1 acquires skin image data from the image pickup unit 20 or the image pickup device 30. The skin image analysis unit F2 acquires a percentile of intensity values for each frequency using the spatial frequency analysis unit F21 that executes spatial frequency analysis on the image data acquired by the skin image acquisition unit F1 and the frequency analysis result. It is provided with an acquisition unit F22. The color unevenness evaluation value determination unit F3 is prepared for each of the predetermined percentile value intensity and the percentile value among the intensity values for each frequency acquired by the skin image analysis unit F2, that is, the percentile acquisition unit F22. The color unevenness evaluation value is determined by using the color unevenness evaluation formula with the intensity value of each frequency as a variable. The color unevenness evaluation value determined by the color unevenness evaluation value determination unit F3 is output to the display unit 21 or the display device 31.

図４は第１の実施形態に係る肌の色ムラ評価装置１００の機能的な内部構成を示すブロック図である。肌の色ムラ評価装置１００は、中央演算処理装置（ＣＰＵ）１０１、メモリ１０２、入出力インタフェース１０３、および図示しないクロック発生器を備えている。ＣＰＵ１０１、メモリ１０２、入出力インタフェース１０３およびクロック発生器は内部バス１０４を介して双方向に通信可能に接続されている。メモリ１０２は、肌の色ムラを評価するために肌の色ムラ評価プログラムＰｒ１を不揮発的且つ読み出し専用に格納するメモリ、例えばＲＯＭと、ＣＰＵ１０１による読み書きが可能なメモリ、例えばＲＡＭとを含んでいる。メモリ１０２の読み書き可能な領域は、評価のために撮像された画像データを格納するための評価画像記憶領域１０２ａを含んでいる。 FIG. 4 is a block diagram showing a functional internal configuration of the skin color unevenness evaluation device 100 according to the first embodiment. The skin color unevenness evaluation device 100 includes a central processing unit (CPU) 101, a memory 102, an input / output interface 103, and a clock generator (not shown). The CPU 101, the memory 102, the input / output interface 103, and the clock generator are connected so as to be communicable in both directions via the internal bus 104. The memory 102 includes a memory for storing the skin color unevenness evaluation program Pr1 non-volatilely and read-only for evaluating the skin color unevenness, for example, a ROM, and a memory that can be read and written by the CPU 101, for example, RAM. .. The read / write area of the memory 102 includes an evaluation image storage area 102a for storing image data captured for evaluation.

ＣＰＵ１０１、すなわち、色ムラ評価装置１００は、メモリ１０２に格納されている肌の色ムラ評価プログラムＰｒ１を読み書き可能なメモリに展開して実行することによって、肌画像解析部Ｆ２および色ムラ評価値決定部Ｆ３として機能する。なお、ＣＰＵ１０１は、単体のＣＰＵであっても良く、各プログラムを実行する複数のＣＰＵであっても良く、あるいは、複数のプログラムを同時実行可能なマルチタスクタイプあるいはマルチスレッドタイプのＣＰＵであっても良い。なお、肌画像解析部Ｆ２および色ムラ評価値決定部Ｆ３は、論理回路としてハードウェア的に実現されても良い。 The CPU 101, that is, the color unevenness evaluation device 100 expands and executes the skin color unevenness evaluation program Pr1 stored in the memory 102 in a readable / writable memory, thereby determining the skin image analysis unit F2 and the color unevenness evaluation value. It functions as a unit F3. The CPU 101 may be a single CPU, a plurality of CPUs that execute each program, or a multitasking type or multithread type CPU capable of simultaneously executing a plurality of programs. Is also good. The skin image analysis unit F2 and the color unevenness evaluation value determination unit F3 may be realized as a logic circuit in terms of hardware.

入出力インタフェース１０３は、肌画像取得部Ｆ１として機能し、肌の色ムラ評価装置１００と、他の各種装置とを接続するために用いられる物理的および論理的なインタフェースであり、例えば、ＵＳＢ端子、ＬＡＮ端子、シリアルバス端子といった公知の端子として実現され得る。第１の実施形態において、入出力インタフェース１０３には、例えば液晶パネルを有する表示部２１、表示装置３１、例えば撮像素子を有する撮像部２０、撮像装置３０がそれぞれ信号線を介して接続されている。なお、表示装置３１に代えて、または、表示装置３１と共に、印刷媒体、例えば、紙に対して色ムラ評価値を出力、すなわち、印刷する印刷装置が備えられても良い。 The input / output interface 103 functions as a skin image acquisition unit F1 and is a physical and logical interface used for connecting the skin color unevenness evaluation device 100 and various other devices, for example, a USB terminal. , LAN terminal, serial bus terminal and other known terminals. In the first embodiment, the input / output interface 103 is connected to, for example, a display unit 21 having a liquid crystal panel, a display device 31, for example, an image pickup unit 20 having an image pickup element, and an image pickup device 30 via signal lines. .. In addition, instead of the display device 31, or together with the display device 31, a printing device that outputs, that is, prints, a color unevenness evaluation value to a printing medium, for example, paper may be provided.

肌の色ムラ評価装置１００によって実行される肌の色ムラ評価処理について説明する。図５は第１の実施形態に係る肌の色ムラ評価装置１００によって実行される肌の色ムラ評価処理の各処理ステップを示すフローチャートである。より具体的には、ＣＰＵ１０１が、肌の色ムラ評価プログラムＰｒ１を実行することによって実現される。 The skin color unevenness evaluation process executed by the skin color unevenness evaluation device 100 will be described. FIG. 5 is a flowchart showing each processing step of the skin color unevenness evaluation process executed by the skin color unevenness evaluation device 100 according to the first embodiment. More specifically, it is realized by the CPU 101 executing the skin color unevenness evaluation program Pr1.

ＣＰＵ１０１は、入出力インタフェース１０３を介して、評価対象となる肌画像データを取得する（ステップＳ１００）。取得される肌画像データは、肌表面の反射や影の発生を抑制できる最適環境光である拡散照明の下、撮像装置３０によって撮像された、例えば、９５０×９５０ｐｉｘｅｌ（約３．５ｃｍ×３．５ｃｍ）の大きさの肌画像のＲＧＢデータである。肌画像データは、撮像装置３０によって、例えば、評価対象者の頬や腕を撮像することによって取得される。肌の色ムラは、肌の色を決定する、主としてメラニン色素およびヘモグロビン色素が局所的に過剰に生じることにより肌表面の色調が不均一となることによりもたらされる。特に赤み成分は肌の色ムラの評価に大きな影響を及ぼすことが知られている。頬は、人の肌（皮膚）の中で、シミ、そばかす、くすみといった肌の色ムラを生じやすい部位として知られている。この他に、肌の色ムラには、例えば、にきび、にきび跡、吹き出物、やけどの跡、ほくろといったメラニン成分やヘモグロビン成分といった色素成分や色彩値によって特定可能な種々のものが含まれ得る。 The CPU 101 acquires skin image data to be evaluated via the input / output interface 103 (step S100). The acquired skin image data was imaged by the image pickup apparatus 30 under diffused illumination, which is the optimum ambient light capable of suppressing the generation of reflections and shadows on the skin surface, for example, 950 × 950 pixel (about 3.5 cm × 3. It is RGB data of a skin image having a size of 5 cm). The skin image data is acquired by the image pickup device 30, for example, by imaging the cheeks and arms of the evaluation target person. Skin color unevenness is caused by the uneven color tone of the skin surface due to the local excess of melanin pigment and hemoglobin pigment, which determine the skin color. In particular, it is known that the redness component has a great influence on the evaluation of skin color unevenness. The cheek is known as a part of human skin (skin) that tends to cause uneven skin color such as age spots, freckles, and dullness. In addition to this, the uneven skin color may include, for example, acne, acne scars, pimples, burn scars, moles and other pigment components such as melanin components and hemoglobin components, and various types that can be specified by color values.

ＣＰＵ１０１は、取得した肌画像データの解析を実行する（ステップＳ１０２）。具体的な処理手順については、図６～図８を参照して説明する。ＣＰＵ１０１は、先ず、図６に示すように、ＲＧＢ肌画像データをＲ成分、Ｇ成分、Ｂ成分の色成分画像データにそれぞれ分離し、各成分画像データについて、平均画素値を求め、各成分画像データを構成する各画素値と平均画素値との差分を算出し、空間周波数処理を実行して空間周波数の成分強度を示すパワースペクトル画像を得る。空間周波数処理は、２次元離散フーリエ変換によって実行され、本実施形態においては、窓関数に７項ブラックマン－ハリス窓を用いた２次元離散フーリエ変換により実行される。パワースペクトル画像は、既知の通り、周波数ｒと角度θをインデクスとして成分強度を規定する。ＣＰＵ１０１は、図７に示すように、得られたパワースペクトル画像を極座標変換して、列方向が周波数（Ｈｚ）、行方向が角度（ｒａｄ）を示す極座標変換画像を得る。ＣＰＵ１０１は、更に、周波数毎に、極座標変換画像における成分強度値のパーセンタイルを算出し、すなわち、成分強度値を強度順にソートして行方向がパーセンタイル値（０～１００）を示すパーセンタイル画像を得る。なお、極座標変換画像およびパーセンタイル画像に代えて、角度および周波数によって成分強度が決定されるテーブル、パーセンタイル値および周波数によって成分強度が決定されるテーブルが取得されても良い。この結果、周波数と、パーセンタイル値とによって、一の成分強度が決定される。例えば、一の色成分の一の周波数の成分強度のパーセンタイルは、図８に示す特性を有している。図８において縦軸は対数変換された強度、横軸はパーセンタイルを示している。 The CPU 101 executes analysis of the acquired skin image data (step S102). A specific processing procedure will be described with reference to FIGS. 6 to 8. First, as shown in FIG. 6, the CPU 101 separates RGB skin image data into color component image data of R component, G component, and B component, obtains an average pixel value for each component image data, and obtains an average pixel value for each component image. The difference between each pixel value constituting the data and the average pixel value is calculated, and spatial frequency processing is executed to obtain a power spectrum image showing the component intensity of the spatial frequency. Spatial frequency processing is performed by a two-dimensional discrete Fourier transform, and in this embodiment, it is performed by a two-dimensional discrete Fourier transform using a 7-term Blackman-Harris window for the window function. As is known, the power spectrum image defines the component intensity with the frequency r and the angle θ as indexes. As shown in FIG. 7, the CPU 101 performs polar coordinate conversion of the obtained power spectrum image to obtain a polar coordinate converted image showing a frequency (Hz) in the column direction and an angle (rad) in the row direction. The CPU 101 further calculates the percentile of the component intensity value in the polar coordinate converted image for each frequency, that is, sorts the component intensity values in order of intensity to obtain a percentile image showing the percentile value (0 to 100) in the row direction. Instead of the polar coordinate converted image and the percentile image, a table in which the component intensity is determined by the angle and frequency, and a table in which the component intensity is determined by the percentile value and frequency may be acquired. As a result, the frequency and the percentile value determine the intensity of one component. For example, the percentile of one frequency component intensity of one color component has the characteristics shown in FIG. In FIG. 8, the vertical axis shows the logarithmically converted intensity, and the horizontal axis shows the percentile.

ＣＰＵ１０１は、予め用意されている以下の色ムラ評価式を用いて色ムラ評価値を決定する（ステップＳ１０４）。具体的には、ＣＰＵ１０１は、肌画像を解析した結果得られた、各周波数の成分強度値のうち、予め定められたパーセンタイル値（以下、「特定パーセンタイル値」とも言う。）におけるＲ、Ｇ、Ｂの各成分強度値を用いて、予め用意されている以下の色ムラ評価式を用いて色ムラ評価値を決定する。特定パーセンタイル値としては、９０パーセンタイル値以上であることが好ましく、９５パーセンタイル値以上であることが更に好ましく、９９パーセンタイル値であることが最も好ましい。色ムラ評価値は、－１．０００～＋１．０００の間の値によって表され、＋１．０００に向かうに連れて色ムラなし、すなわち、高評価を示し、－１．０００に向かうに連れて色ムラあり、すなわち、低評価を示す。
色ムラ評価値＝（ａ１×Ｉｒ１）＋・・・＋（ａ３９×Ｉｒ３９）＋（ｇ１×Ｉｇ１）＋・・・＋（ｇ３９×Ｉｇ３９）＋（ｂ１×Ｉｂ１）＋・・・＋（ｂ３９×Ｉｂ３９）＋Ｃ（定数）
ここで、ａ１～ａ３９、ｇ１～ｇ３９およびｂ１～ｂ３９は、後述する手順にて予め決定された特定パーセンタイル値における係数、Ｉｒ１～Ｉｒ３９、Ｉｇ１～Ｉｇ３９およびＩｂ１～Ｉｂ３９は、撮像により得られた画像について算出された特定パーセンタイル値における各成分強度値である。 The CPU 101 determines the color unevenness evaluation value using the following color unevenness evaluation formula prepared in advance (step S104). Specifically, the CPU 101 has R, G, in a predetermined percentile value (hereinafter, also referred to as “specific percentile value”) among the component intensity values of each frequency obtained as a result of analyzing the skin image. Using each component intensity value of B, the color unevenness evaluation value is determined using the following color unevenness evaluation formula prepared in advance. The specific percentile value is preferably 90th percentile or higher, more preferably 95th percentile or higher, and most preferably 99th percentile. The color unevenness evaluation value is represented by a value between -1,000 and +1.000, and there is no color unevenness toward +1.000, that is, a high evaluation is shown, and the color unevenness evaluation value is shown toward -1.000. There is color unevenness, that is, it shows a low evaluation.
Color unevenness evaluation value = (a1 x Ir1) + ... + (a39 x Ir39) + (g1 x Ig1) + ... + (g39 x Ig39) + (b1 x Ib1) + ... + (b39 x) Ib39) + C (constant)
Here, a1 to a39, g1 to g39 and b1 to b39 are coefficients at a specific percentile value predetermined in a procedure described later, and Ir1 to Ir39, Ig1 to Ig39 and Ib1 to Ib39 are images obtained by imaging. It is the intensity value of each component in the specific percentile value calculated for.

ＣＰＵ１０１は、上記色ムラ評価式を用いて算出、すなわち決定した色ムラ評価値を表示部２１または表示装置３１に対して出力し（ステップＳ１０６）、本処理ルーチンを収容する。 The CPU 101 outputs the color unevenness evaluation value calculated, that is, determined by using the color unevenness evaluation formula, to the display unit 21 or the display device 31 (step S106), and accommodates this processing routine.

色ムラ評価式の決定手順
先ず、標本肌画像として、ランダムに選出した肌画像３０枚を用意し、３８名の評価者によって官能試験を行った。具体的には、肌画像の全ての対、すなわち、（３０×２９）／２＝４３５対、について、肌の色ムラが目立たない肌画像（一方）に対して１点、肌の色ムラが目立つ肌画像（他方）に対して－１点を配点して評価を行った。得られた評価結果を用いて、シェッフェの一対比較法（中屋の変法）により、肌画像の色ムラを定量評価して官能評価による色ムラ定量評価値、すなわち官能評価値を得た。図９は定量評価の一例を示す説明図である。図９において、横軸上側の番号は肌画像サンプルの番号を示し、横軸下側の番号は色ムラ定量評価値を示す。なお、シェッフェの一対比較法としては、中屋の変法以外の方法、例えば、浦の変法が用いられても良く、あるいは、一対比較法として、例えば、サーストンの一対比較法が用いられても良い。 Procedure for determining the color unevenness evaluation formula First, 30 randomly selected skin images were prepared as sample skin images, and a sensory test was conducted by 38 evaluators. Specifically, for all pairs of skin images, that is, (30 × 29) / 2 = 435 pairs, one point is found for skin color unevenness on the skin image (one side) in which skin color unevenness is inconspicuous. The evaluation was performed by allocating -1 point to the conspicuous skin image (the other). Using the obtained evaluation results, the color unevenness of the skin image was quantitatively evaluated by Scheffe's paired comparison method (Nakaya's modified method), and the color unevenness quantitative evaluation value by sensory evaluation, that is, the sensory evaluation value was obtained. FIG. 9 is an explanatory diagram showing an example of quantitative evaluation. In FIG. 9, the numbers on the upper side of the horizontal axis indicate the numbers of the skin image samples, and the numbers on the lower side of the horizontal axis indicate the quantitative evaluation values of color unevenness. As the Scheffe's paired comparison method, a method other than Nakaya's modified method, for example, Ura's modified method may be used, or as a paired comparison method, for example, Thurston's paired comparison method is used. Is also good.

定量評価に用いた標本肌画像のＲＧＢ肌画像データに対して、既述のように、Ｒ成分、Ｇ成分、Ｂ成分への分離を行い、各成分画像データについて、平均画素値を求め、各成分画像データを構成する各画素値と平均画素値との差分を算出し、空間周波数処理を実行して空間周波数の成分強度を示すパワースペクトル画像を得た。取得したパワースペクトル画像を極座標変換し、更に、１～５１２Ｈｚの各周波数について成分強度を強度順にソートし、パーセンタイル値と周波数とをインデクスとする成分強度のテーブルを得た。 As described above, the RGB skin image data of the sample skin image used for the quantitative evaluation is separated into R component, G component, and B component, and the average pixel value is obtained for each component image data. The difference between each pixel value constituting the component image data and the average pixel value was calculated, and spatial frequency processing was executed to obtain a power spectrum image showing the component intensity of the spatial frequency. The acquired power spectrum image was subjected to polar coordinate conversion, and the component intensities were sorted in order of intensity for each frequency of 1 to 512 Hz to obtain a table of component intensities having the percentile value and the frequency as indexes.

次に、官能評価により得られた色ムラ定量評価値（－１．０００～＋１．０００）、すなわち、官能評価値を目的変数とし、各パーセンタイル値における各周波数の成分強度を説明変数として、ＰＬＳ回帰（偏最小二乗回帰）によって、回帰係数および定数を求め、各パーセンタイル値における色ムラ評価式を導出した。なお、色ムラ評価式は、直線を近似する他の回帰法によって求められても良い。この結果得られる色ムラ評価式は既述の通り、ＲＧＢの各成分についての係数×周波数の成分強度および定数を備える一次多項式である。得られた各パーセンタイル値における色ムラ評価式は、メモリ１０２の不揮発的且つ読み出し専用に格納される。なお、以下で説明するように、メモリ１０２には特定パーセンタイル値に対応する色ムラ評価式のみが格納されても良い。 Next, the color unevenness quantitative evaluation value (-1.000 to +1,000) obtained by the sensory evaluation, that is, the sensory evaluation value is used as the objective variable, and the component intensity of each frequency at each percentile value is used as the explanatory variable. Regression coefficients and constants were obtained by regression (partial minimum squared regression), and color unevenness evaluation formulas at each percentile value were derived. The color unevenness evaluation formula may be obtained by another regression method that approximates a straight line. As described above, the color unevenness evaluation formula obtained as a result is a linear polynomial having a coefficient × frequency component intensity and constant for each component of RGB. The color unevenness evaluation formula at each of the obtained percentile values is stored in the memory 102 in a non-volatile and read-only manner. As will be described below, only the color unevenness evaluation formula corresponding to the specific percentile value may be stored in the memory 102.

得られた色ムラ評価式の検証
使用する周波数の上限について検証した。一般的に、肌すなわち肌画像は高周波成分をほとんど有しておらず、例えば、４０Ｈｚの周波数は毛穴の変動に対応するレベルである。また、影やしわの影響は、概ね１～３０Ｈｚの周波数範囲にて顕著となることが知られている。また、対象とする周波数が多い場合、演算負荷が増大する。そこで、１～５１２Ｈｚの周波数のうち、色ムラ評価式として、算出評価値の精度、すなわち、官能評価値との相関から有意な上限となる周波数について検証した。図１０は、検証結果を示すグラフの一部、すなわち、２０～６０Ｈｚの周波数範囲についての相関係数Ｒを示している。図１０から明らかなように、相関係数Ｒ＝０．９２７を示す３５Ｈｚを境に相関関係の増大が顕著に緩やかとなり、相関係数Ｒ＝０．９２８４を示す３９Ｈｚにおいて１回目のピークを迎え、その後も相関係数Ｒは０．９２７～０．９２９の間で変動する。したがって、３５Ｈｚ以上、更には３９Ｈｚ以上の周波数に対応する成分強度を用いても相関係数は顕著に変化せず、３５Ｈｚ以下、より好ましくは３９Ｈｚ以下の周波数に対応する成分強度を用いることにより官能評価値との相関係数Ｒ＝０．９２７以上の高い相関関係を有することが理解される。また、使用周波数を３５Ｈｚ以下または３９Ｈｚ以下とすることによって、５１２Ｈｚまでの周波数、更には１００Ｈｚまでの周波数を用いる場合と比較して、演算負荷を軽減し迅速な算出評価値を得ることができると共に、同等で良好な相関関係を得ることができる。この結果を受けて、図５のステップＳ１０４においては、３９Ｈｚを上限とする色ムラ評価式が用いられている。 Verification of the obtained color unevenness evaluation formula The upper limit of the frequency used was verified. In general, skin or skin images have few high frequency components, for example, a frequency of 40 Hz is a level corresponding to pore variation. Further, it is known that the influence of shadows and wrinkles becomes remarkable in the frequency range of about 1 to 30 Hz. Further, when the target frequency is large, the calculation load increases. Therefore, among the frequencies of 1 to 512 Hz, the frequency that is a significant upper limit from the accuracy of the calculated evaluation value, that is, the correlation with the sensory evaluation value was verified as the color unevenness evaluation formula. FIG. 10 shows a part of the graph showing the verification result, that is, the correlation coefficient R for the frequency range of 20 to 60 Hz. As is clear from FIG. 10, the increase in the correlation becomes remarkably slow at 35 Hz showing the correlation coefficient R = 0.927, and the first peak is reached at 39 Hz showing the correlation coefficient R = 0.9284. After that, the correlation coefficient R fluctuates between 0.927 and 0.929. Therefore, the correlation coefficient does not change significantly even when the component intensity corresponding to the frequency of 35 Hz or higher, further 39 Hz or higher is used, and the functionality is achieved by using the component strength corresponding to the frequency of 35 Hz or lower, more preferably 39 Hz or lower. It is understood that the correlation coefficient R with the evaluation value has a high correlation of 0.927 or more. Further, by setting the frequency to be used to 35 Hz or less or 39 Hz or less, it is possible to reduce the calculation load and obtain a quick calculated evaluation value as compared with the case of using a frequency up to 512 Hz and further to a frequency up to 100 Hz. , Equivalent and good correlation can be obtained. In response to this result, in step S104 of FIG. 5, a color unevenness evaluation formula having an upper limit of 39 Hz is used.

次に、使用するパーセンタイル値について検証した。すなわち、予め定めたパーセンタイル値について、算出評価値と官能評価値との相関を検証した。例えば、図１１は、５０パーセンタイル値における算出評価値と官能評価値との相関関係を示すグラフである。既知の算出式を用いて得られた５０パーセンタイル値における算出評価値と官能評価値との相関係数は、Ｒ＝０．９１０８であった。同様にして、１０、２０、３０、４０、６０、７０，８０、９０、９５、９９および１００パーセンタイル値について、１０～１００のパーセンタイル値の範囲で官能評価値と算出評価値との相関係数Ｒを評価した。図１２は、１０～１００のパーセンタイル値における算出評価値と官能評価値との決定係数Ｒ^２を示すグラフである。図１３は図１２におけるパーセンタイル値と相関係数Ｒとの対応関係を示すテーブルである。図１３に示すように、相関係数Ｒは、１０パーセンタイル値にて０．９１８８を取り、４０パーセンタイル値にて最小値である０．９０８２を取り、５０パーセンタイル値以上で０．９１０８を取る。更に、９０パーセンタイル値では０．９２１４の相関係数Ｒを取り、９９パーセンタイル値では０．９２８３の相関係数Ｒを取り、１００のパーセンタイル値では０．９２８２の相関係数Ｒを取る。したがって、９０パーセンタイル値以上のパーセンタイル値が官能評価値との相関性が高く、特には、９９パーセンタイル値の場合に最も相関性が高いと言うことができる。一方、４０パーセンタイル値以下のパーセンタイル値については、０．９０程度の相関係数Ｒを取るが、以下に示すように肌の赤みの判定において官能評価と一致しない。 Next, we verified the percentile values used. That is, the correlation between the calculated evaluation value and the sensory evaluation value was verified for the predetermined percentile value. For example, FIG. 11 is a graph showing the correlation between the calculated evaluation value and the sensory evaluation value at the 50th percentile value. The correlation coefficient between the calculated evaluation value and the sensory evaluation value at the 50th percentile value obtained by using a known calculation formula was R = 0.9108. Similarly, for 10, 20, 30, 40, 60, 70, 80, 90, 95, 99 and 100th percentile values, the correlation coefficient between the sensory evaluation value and the calculated evaluation value in the range of 10 to 100 percentile values. R was evaluated. FIG. 12 is a graph showing the coefficient of determination ^R2 between the calculated evaluation value and the sensory evaluation value at the percentile values of 10 to 100. FIG. 13 is a table showing the correspondence between the percentile value and the correlation coefficient R in FIG. As shown in FIG. 13, the correlation coefficient R takes 0.9188 at the 10th percentile value, 0.9082 which is the minimum value at the 40th percentile value, and 0.9108 at the 50th percentile value or higher. Further, the 90th percentile value has a correlation coefficient R of 0.9214, the 99th percentile value has a correlation coefficient R of 0.9283, and the 100th percentile value has a correlation coefficient R of 0.9282. Therefore, it can be said that the percentile value of 90th percentile or more has a high correlation with the sensory evaluation value, and in particular, the 99th percentile value has the highest correlation. On the other hand, for the percentile value of 40th percentile or less, the correlation coefficient R of about 0.90 is taken, but as shown below, it does not match the sensory evaluation in the determination of skin redness.

パーセンタイル値と人の知覚との相関について図１４～図１８を参照して説明する。図１４および図１５には、パーセンタイル値と人の知覚との相関を検証するために用いた、同一の肌部分を対象として撮像された２０１５年および２０１８年の肌画像サンプルが示されている。図１６には、図１４および図１５に示す肌画像サンプルに対して、５０パーセンタイル値の肌の色ムラ評価式を用いた算出評価値がプロットされている。図１７には、図１４および図１５に示す肌画像サンプルに対して、９９パーセンタイル値の肌の色ムラ評価式を用いた算出評価値がプロットされている。図１６および図１７において、縦軸は色ムラの算出評価値を示し、横軸は肌画像サンプルの番号を示し、２０１５年の算出評価値は△、２０１８年の算出評価値は○にて示している。図１８には、図１４および図１５に示す各肌画像サンプルに対する官能評価の結果として、２０１５年および２０１８年の肌画像サンプルのうち色ムラが少ないと判定された肌画像サンプルが示されている。なお、図１８に示す官能評価においては、主に、肌の知覚において人に強い印象を与える赤み成分の色ムラが評価された。 The correlation between the percentile value and human perception will be described with reference to FIGS. 14 to 18. 14 and 15 show 2015 and 2018 skin image samples taken of the same skin area used to verify the correlation between percentile values and human perception. In FIG. 16, calculated evaluation values using a skin color unevenness evaluation formula having a 50th percentile value are plotted against the skin image samples shown in FIGS. 14 and 15. In FIG. 17, calculated evaluation values using the skin color unevenness evaluation formula of the 99th percentile value are plotted against the skin image samples shown in FIGS. 14 and 15. In FIGS. 16 and 17, the vertical axis indicates the calculated evaluation value of color unevenness, the horizontal axis indicates the number of the skin image sample, the calculated evaluation value in 2015 is indicated by Δ, and the calculated evaluation value in 2018 is indicated by ○. ing. FIG. 18 shows skin image samples determined to have less color unevenness among the 2015 and 2018 skin image samples as a result of sensory evaluation for each skin image sample shown in FIGS. 14 and 15. .. In the sensory evaluation shown in FIG. 18, the color unevenness of the reddish component that gives a strong impression to humans in the perception of the skin was mainly evaluated.

図１６および図１７を参照すると、５０パーセンタイル値における算出評価値は、肌画像サンプル１、４、６および８については２０１５年の肌画像サンプルの算出評価値が大きく、肌画像サンプル２、３、５および７については２０１８年の肌画像サンプルの算出評価値が大きい。一方、９９パーセンタイル値における算出評価値は、肌画像サンプル１および４～６については２０１５年の肌画像サンプルの算出評価値が大きく、肌画像サンプル２、３、７および８については２０１８年の肌画像サンプルの算出評価値が大きい。図１８における官能評価の結果を見ると、肌画像サンプル１および４～６については、２０１５年の肌画像サンプルの色ムラの評価が高く、肌画像サンプル２、３、７および８については、２０１８年の肌画像サンプルの色ムラの評価が高い。この結果から、５０パーセンタイル値における算出評価値は、肌の知覚において人に強い印象を与える赤み成分に関する官能評価結果と一致しないことが理解される。これは、統計値として画像中における平均以下の成分強度を示す５０パーセンタイル値の成分強度によっては、人が画像から知覚する画像の特徴や印象を与えることができず、特に、人に対して肌を印象づける赤み成分を表現することができないためである。したがって、５０パーセンタイル値以下のパーセンタイル値を用いて算出された算出評価値は、人の知覚とは乖離し、肌の色ムラの評価には不適である。 With reference to FIGS. 16 and 17, the calculated evaluation values at the 50th percentile value are large for the skin image samples 1, 4, 6 and 8 in the 2015 skin image sample, and the skin image samples 2, 3 and 1. For 5 and 7, the calculated evaluation values of the skin image samples in 2018 are large. On the other hand, as for the calculated evaluation values at the 99th percentile, the calculated evaluation values of the skin image samples of 2015 are large for the skin image samples 1 and 4 to 6, and the skin of 2018 for the skin image samples 2, 3, 7 and 8. The calculated evaluation value of the image sample is large. Looking at the results of the sensory evaluation in FIG. 18, the skin image samples 1 and 4 to 6 have a high evaluation of the color unevenness of the skin image sample in 2015, and the skin image samples 2, 3, 7 and 8 have a high evaluation of 2018. The evaluation of color unevenness of the skin image sample of the year is high. From this result, it is understood that the calculated evaluation value at the 50th percentile value does not match the sensory evaluation result regarding the redness component that gives a strong impression to humans in the perception of the skin. This is because, depending on the component intensity of the 50th percentile value, which indicates the component intensity below the average in the image as a statistical value, it is not possible to give the characteristics and impression of the image that a person perceives from the image, and in particular, the skin to a person. This is because it is not possible to express the reddish component that impresses. Therefore, the calculated evaluation value calculated using the percentile value of 50th percentile or less deviates from the human perception and is not suitable for the evaluation of skin color unevenness.

以上述べたように、本実施形態に係る肌の色ムラ評価装置１００によれば、各周波数の成分強度値を変数とし、パーセンタイル値毎に用意されている色ムラ評価式と、各周波数の成分強度値のうち、予め定められたパーセンタイル値の強度値を用いて色ムラ評価値を決定するので、測定環境に依存せず、汎用的な機器を用いることが可能であり、肌の色ムラ評価の精度を向上させることができる。すなわち、予め定められたパーセンタイル値として、９０パーセンタイル値以上、より好ましくは９５パーセンタイル値以上、更により好ましくは９９パーセンタイル値を用いることにより、相関係数Ｒ＝０．９２以上の相関により、肌に対する人の知覚に適合する肌の算出評価値、すなわち、色ムラ評価値が求められ得る。すなわち、成分強度のパーセンタイルを考慮しない場合には、肌画像サンプルから平均的な特徴を抽出できるに止まり、肌に特有の特徴を精度良く抽出できない結果、肌に対する人の知覚との間に乖離が生じ、肌の色ムラを精度良く評価することができなかった。これに対して、本実施形態においては、肌画像サンプルに含まれる強い成分強度を選択的に用いるので、肌に特有の特徴を精度良く抽出し、算出評価値と肌に対する人の知覚と整合または一致させることが可能となり、肌の色ムラを精度良く評価することができる。 As described above, according to the skin color unevenness evaluation device 100 according to the present embodiment, the color unevenness evaluation formula prepared for each percentile value and the component of each frequency are set with the component intensity value of each frequency as a variable. Of the intensity values, the color unevenness evaluation value is determined using the intensity value of the predetermined percentile value, so it is possible to use a general-purpose device without depending on the measurement environment, and the skin color unevenness evaluation. The accuracy of can be improved. That is, by using a predetermined percentile value of 90th percentile or more, more preferably 95th percentile value or more, and even more preferably 99th percentile value, the correlation coefficient R = 0.92 or more with respect to the skin. A calculated evaluation value of skin that matches human perception, that is, an evaluation value of color unevenness can be obtained. In other words, if the percentile of component intensity is not taken into consideration, only average features can be extracted from the skin image sample, and as a result of not being able to accurately extract skin-specific features, there is a discrepancy with human perception of the skin. It occurred, and it was not possible to accurately evaluate the uneven skin color. On the other hand, in the present embodiment, since the strong component intensity contained in the skin image sample is selectively used, the characteristics peculiar to the skin are extracted with high accuracy, and the calculated evaluation value is matched with the human perception of the skin. It becomes possible to match, and it is possible to accurately evaluate skin color unevenness.

また、色ムラ評価式において用いる成分強度の周波数として１～３９Ｈｚの周波数を用いることにより、色ムラ評価値の精度を低下させることなく、色ムラ評価値の算出負荷を低減して迅速に、また、肌の色ムラ評価装置１００の演算能力、すなわち、機器種別に依存することなく色ムラ評価値を算出することができる。 Further, by using a frequency of 1 to 39 Hz as the frequency of the component intensity used in the color unevenness evaluation formula, the calculation load of the color unevenness evaluation value can be reduced quickly and quickly without deteriorating the accuracy of the color unevenness evaluation value. , The calculation ability of the skin color unevenness evaluation device 100, that is, the color unevenness evaluation value can be calculated without depending on the device type.

第２の実施形態：
第１の実施形態においては、肌の色ムラ評価装置１００として、専用の機器を用いて説明したが、第２の実施形態においては、肌の色ムラ評価装置１００としてスマートフォン／タブレットを用いた場合について、専用機器を用いた場合との差異について検証した。図１９は専用の機器を用いた場合の色ムラ評価値と、スマートフォンを用いた場合の色ムラ評価値との相関を示すグラフであり、図２０は図１９の相関の検証に用いられた肌画像サンプルの一部を示す説明図である。図１９におけるプロットの各数字はサンプル番号である。 Second embodiment:
In the first embodiment, the skin color unevenness evaluation device 100 has been described using a dedicated device, but in the second embodiment, when a smartphone / tablet is used as the skin color unevenness evaluation device 100. We verified the difference between the above and the case where the dedicated equipment was used. FIG. 19 is a graph showing the correlation between the color unevenness evaluation value when a dedicated device is used and the color unevenness evaluation value when a smartphone is used, and FIG. 20 is a graph showing the skin used for verification of the correlation in FIG. It is explanatory drawing which shows a part of an image sample. Each number in the plot in FIG. 19 is a sample number.

図２０に示す３種類の肌画像サンプル（サンプル番号３、４、５）を含む１１種類の肌画像サンプルについて検証が行われた。図２０の肌画像サンプルから看取できるように、肌の色ムラ評価装置１００、より具体的には汎用的な撮像装置としてスマートフォンを用いる場合、環境光、すなわち、撮影光が拡散光とならないため、影が多く見られる。一方、図１９に示すように専用機器を用いた撮像画像の評価値とスマートフォンを用いた撮像画像の評価値とは高い相関関係を有していることが理解でき、実際に、図１９に示す直線を示す回帰式の決定係数Ｒ^２＝０．９０２７であり、また相関係数Ｒ＝０．９５０１であり、専用機器を用いた撮像画像の評価値に対してスマートフォンを用いた撮像画像の評価値とは極めて高い相関関係を有していることが確認された。 Verification was performed on 11 types of skin image samples including the 3 types of skin image samples shown in FIG. 20 (sample numbers 3, 4, 5). As can be seen from the skin image sample of FIG. 20, when a smartphone is used as the skin color unevenness evaluation device 100, more specifically, as a general-purpose imaging device, the ambient light, that is, the shooting light does not become diffused light. , Many shadows can be seen. On the other hand, as shown in FIG. 19, it can be understood that the evaluation value of the image captured by the dedicated device and the evaluation value of the image captured by the smartphone have a high correlation, and are actually shown in FIG. The coefficient of determination R ² = 0.9027 of the regression equation showing a straight line, and the correlation coefficient R = 0.9501, and the evaluation value of the image captured by the dedicated device is compared with the evaluation value of the image captured by the smartphone. It was confirmed that the value had an extremely high correlation.

以上述べたように、本実施形態によれば、肌の色ムラ評価装置１００としてスマートフォンを用いた場合であっても、専用機器を用いた場合と同様の算出評価値を得ることができることを確認できた。すなわち、撮像画像に影が写り込んでいる場合であっても、影の影響を受けることなく、官能評価値と相関性が高い算出評価値を取得することができる。したがって、予め定められた撮像環境、すなわち、影を発生させないために拡散光照明を用いることなく、スマートフォンによって手軽に撮像された撮像画像を用いて肌の色ムラを高い精度で評価することができる。また、肌の色ムラ評価装置１００としてスマートフォンが用いられる場合には、本実施形態において用いられる肌の色ムラ評価式を含む肌の色ムラ評価プログラムＰｒ１をアプリケーション提供サーバからスマートフォンにダウンロードすることによって、簡便に肌の色ムラ評価を実行することができる。肌の色ムラ評価装置１００として、スマートフォンが用いられる場合には、撮像と色ムラの評価結果の表示を１台の機器によって実行することができるので、利用者は気軽に肌の色ムラ評価を試みることができる。更には、専用の機器を備えることなく、常設または臨時の美容サロンや美容コーナにおいて、購買予定者に対して簡易且つ迅速に肌の色ムラ評価を提示することができる。 As described above, according to the present embodiment, it has been confirmed that even when a smartphone is used as the skin color unevenness evaluation device 100, the same calculated evaluation value as when a dedicated device is used can be obtained. did it. That is, even when a shadow is reflected in the captured image, it is possible to acquire a calculated evaluation value having a high correlation with the sensory evaluation value without being affected by the shadow. Therefore, it is possible to evaluate skin color unevenness with high accuracy using a predetermined imaging environment, that is, an image captured easily by a smartphone without using diffused light illumination to prevent shadows. .. When a smartphone is used as the skin color unevenness evaluation device 100, the skin color unevenness evaluation program Pr1 including the skin color unevenness evaluation formula used in the present embodiment is downloaded from the application providing server to the smartphone. , It is possible to easily evaluate skin color unevenness. When a smartphone is used as the skin color unevenness evaluation device 100, the image pickup and the display of the color unevenness evaluation result can be performed by one device, so that the user can easily evaluate the skin color unevenness. You can try. Furthermore, it is possible to easily and quickly present the skin color unevenness evaluation to the prospective purchaser at a permanent or temporary beauty salon or beauty corner without providing a dedicated device.

その他の実施形態：
（１）上記各実施形態において、得られた肌の色ムラ評価値は、数値によって示されても良く、あるいは、グラフによって示されても良い。グラフで表示される場合には、利用者に対して感覚的に肌の色ムラ評価の把握を促すことが可能となり、数値によって表示される場合には、より具体的および直接的に肌の色ムラ評価を示すことができる。更には、表示部２１または表示装置３１には、色ムラの評価結果と共に、撮像した肌画像が同時にまたは、選択的に表示されても良い。この場合には、利用者は、肌の状態と併せて肌の色ムラ評価を理解することが可能となる。 Other embodiments:
(1) In each of the above embodiments, the obtained skin color unevenness evaluation value may be indicated numerically or may be indicated by a graph. When displayed as a graph, it is possible to sensuously encourage the user to understand the skin color unevenness evaluation, and when displayed numerically, the skin color is more specific and direct. It is possible to show unevenness evaluation. Further, the captured skin image may be simultaneously or selectively displayed on the display unit 21 or the display device 31 together with the evaluation result of the color unevenness. In this case, the user can understand the skin color unevenness evaluation together with the skin condition.

（２）上記各実施形態においては、取得した肌画像データをＲＧＢ成分の画像に分離しているが、ＲＧＢ成分以外の色成分、例えば、ＣＭＹ成分、Ｌａｂ成分、ＹＩＱ成分、ＹＵＶ成分、ＸＹＺ成分に分離しても良い。また、肌画像データとしてＲＧＢ肌画像データに代えて、ＣＭＹ肌画像データが用いられても良い。 (2) In each of the above embodiments, the acquired skin image data is separated into an image of an RGB component, but a color component other than the RGB component, for example, a CMY component, a Lab component, a YIQ component, a YUV component, and an XYZ component. May be separated into. Further, as the skin image data, CMY skin image data may be used instead of the RGB skin image data.

以上、種々の実施形態に基づき本開示について説明してきたが、上記した実施の形態は、本開示の理解を容易にするためのものであり、本開示を限定するものではない。本開示は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本開示にはその等価物が含まれる。 Although the present disclosure has been described above based on various embodiments, the above-described embodiments are for facilitating the understanding of the present disclosure and are not limited to the present disclosure. The present disclosure may be modified or improved without departing from its spirit and claims, and the present disclosure includes its equivalents.

１０…肌の色ムラ評価システム、１００…肌の色ムラ評価装置、１０１…中央演算処理装置（ＣＰＵ）、１０２…メモリ、１０２ａ…評価画像記憶領域、２０…撮像部、２１…表示部、３０…撮像装置、３１…表示装置、Ｆ１…肌画像取得部、Ｆ２…肌画像解析部、Ｆ２１…空間周波数解析部、Ｆ２２…パーセンタイル取得部、Ｆ３…色ムラ評価値決定部、Ｐｒ１…肌の色ムラ評価プログラム。 10 ... Skin color unevenness evaluation system, 100 ... Skin color unevenness evaluation device, 101 ... Central arithmetic processing device (CPU), 102 ... Memory, 102a ... Evaluation image storage area, 20 ... Imaging unit, 21 ... Display unit, 30 ... Imaging device, 31 ... Display device, F1 ... Skin image acquisition unit, F2 ... Skin image analysis unit, F21 ... Spatial frequency analysis unit, F22 ... Percentile acquisition unit, F3 ... Color unevenness evaluation value determination unit, Pr1 ... Skin color Unevenness evaluation program.

Claims

It is a skin color unevenness evaluation device.
The skin image acquisition unit that acquires the skin image of the evaluation target,
A skin image analysis unit that executes spatial frequency analysis on the acquired skin image and acquires a percentile of intensity values for each frequency.
Using the intensity value of each frequency as a variable, the color unevenness evaluation formula prepared for each percentile value and the intensity value of the predetermined percentile value among the acquired intensity values for each frequency are used to color. The decision unit that determines the unevenness evaluation value and
A color unevenness evaluation device equipped with.

In the color unevenness evaluation device according to claim 1,
The color unevenness evaluation formula is derived for each percentile value of the intensity value using the color unevenness quantitative evaluation value by sensory evaluation for the sample skin image and the intensity value at each frequency acquired by the spatial frequency analysis for the sample skin image. Color unevenness evaluation device.

In the color unevenness evaluation device according to claim 1 or 2.
The predetermined percentile value is a percentile value of 90th percentile or more, and is a color unevenness evaluation device.

In the color unevenness evaluation device according to any one of claims 1 to 3.
The skin image analysis unit is a color unevenness evaluation device that separates the acquired skin image into images of RGB components and executes spatial frequency analysis.

In the color unevenness evaluation device according to any one of claims 1 to 4.
Each of the above frequencies is a frequency in the range of 1 to 39 Hz, and is a color unevenness evaluation device.

In the color unevenness evaluation device according to any one of claims 1 to 5.
The skin image acquisition unit is a color unevenness evaluation device that acquires an imaged skin image from a general-purpose image pickup device.

It is a method for evaluating skin color unevenness.
Acquire the skin image of the evaluation target person and
Spatial frequency analysis is performed on the acquired skin image, and the percentile of the intensity value is acquired for each frequency.
Using the intensity value of each frequency as a variable, the color unevenness evaluation formula prepared for each percentile value and the intensity value of the predetermined percentile value among the acquired intensity values for each frequency are used to color. Determining the unevenness evaluation value,
A color unevenness evaluation method.

It is a skin color unevenness evaluation program,
The function to acquire the skin image of the evaluation target and
A function to execute spatial frequency analysis on the acquired skin image and acquire the percentile of the intensity value for each frequency, and
Using the intensity value of each frequency as a variable, the color unevenness evaluation formula prepared for each percentile value and the intensity value of the predetermined percentile value among the acquired intensity values for each frequency are used to color. The function to determine the unevenness evaluation value and
Is a color unevenness evaluation program realized by a computer.