JP2019092694A - Texture evaluation device and texture evaluation method - Google Patents
Texture evaluation device and texture evaluation method Download PDFInfo
- Publication number
- JP2019092694A JP2019092694A JP2017223330A JP2017223330A JP2019092694A JP 2019092694 A JP2019092694 A JP 2019092694A JP 2017223330 A JP2017223330 A JP 2017223330A JP 2017223330 A JP2017223330 A JP 2017223330A JP 2019092694 A JP2019092694 A JP 2019092694A
- Authority
- JP
- Japan
- Prior art keywords
- skin
- texture
- histogram
- local image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims description 72
- 238000013139 quantization Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 40
- 239000000284 extract Substances 0.000 claims description 7
- 210000003491 skin Anatomy 0.000 description 73
- 238000000034 method Methods 0.000 description 22
- 230000001953 sensory effect Effects 0.000 description 21
- 238000012417 linear regression Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010000496 acne Diseases 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 229940021231 clearskin Drugs 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000004207 dermis Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本開示は、肌のキメの評価に関する。 The present disclosure relates to the evaluation of skin texture.
キメ（木目・肌理）は皮膚表面の皮丘と皮溝から構成され、肌の美しさの重要な要素である。キメの状態は皮膚の水分量や新陳代謝、真皮状態などの影響を複合的に反映することが広く知られており、キメを改善することは美容上関心が高い。化粧品開発においては、効果を検証するためにキメを高精度に評価することが重要である。特許文献１は、キメの評価方法として、ローリングボールアルゴリズムを用いる方法を開示している。 Texture (grains and texture) is composed of skin hills and furrows on the skin surface and is an important element of skin beauty. It is widely known that the condition of texture reflects the effects of skin moisture, metabolism, and dermis condition, and improving texture is of great cosmetic interest. In cosmetic development, it is important to evaluate textures with high precision in order to verify the effects. Patent Document 1 discloses a method using a rolling ball algorithm as an evaluation method of texture.
上記先行技術文献の手法は、評価のために取得する肌画像はボケやブレが生じておらず、明瞭であることを前提としており、同一部位の画像でもボケやブレが生じていて不明瞭であると評価精度が低下する。本開示は、上記を踏まえ、画像が不明瞭でも高精度にキメの評価を行うことを解決課題とする。 According to the method of the above prior art document, it is assumed that the skin image to be obtained for evaluation is clear and not blurred or blurred, and the image of the same part is blurred or blurred and unclear. If it exists, the evaluation accuracy will decline. This indication makes it a solution subject to evaluate a texture with high accuracy, even if an image is unclear based on the above.
本開示の一形態は、肌画像から複数の局所画像特徴量を取得する特徴量取得部と；前記複数の局所画像特徴量を対象にしてベクトル量子化を施すことによってヒストグラムを取得するヒストグラム取得部と；予め用意された推定モデルに、前記ヒストグラムを入力することによってキメを評価する評価部と、を備え；前記特徴量取得部は、前記肌画像から皮溝成分を抽出する皮溝成分抽出処理部を有し、前記皮溝成分抽出処理部によって処理された画像から前記複数の局所画像特徴量を取得するキメ評価装置である。この形態によれば、皮溝成分を抽出することによって、高精度にキメの評価を行うことができる。 One aspect of the present disclosure is a feature acquisition unit that acquires a plurality of local image feature amounts from a skin image; and a histogram acquisition unit that acquires a histogram by performing vector quantization on the plurality of local image feature amounts. And an evaluation unit that evaluates texture by inputting the histogram to an estimation model prepared in advance; and the feature amount acquisition unit extracts the furrow component extraction processing for extracting the furrow component from the skin image A texture evaluation unit for acquiring the plurality of local image feature amounts from the image processed by the skin groove component extraction processing unit. According to this aspect, the texture can be evaluated with high accuracy by extracting the skin groove component.
上記形態において、前記皮溝成分抽出処理部は、前記皮溝成分を線分として抽出してもよい。この形態によれば、皮溝成分を簡易な要素として取り扱うことができる。 In the above-mentioned form, the skin groove component extraction processing unit may extract the skin groove component as a line segment. According to this aspect, the furrow component can be handled as a simple element.
上記形態において、前記皮溝成分抽出処理部は；前記肌画像を２値化処理する２値化部と；前記２値化処理した画像から、基準方向の１次微分成分および２次微分成分を抽出する第１抽出部と；前記１次微分成分から、基準方向と直交する方向からの偏差が所定角度以内の線分を抽出する第２抽出部と；前記抽出した線分のうち、前記２次微分成分の平均値が正値であるものを抽出する第３抽出部と；前記第３抽出部によって抽出された線分と、前記２値化部によって２値化された画像との論理和を取ることによって、前記皮溝成分を線分として抽出する第４抽出部とを備え；前記第１，第２及び第３抽出部は、前記基準方向としてｎ（ｎは２以上の整数）個の方向を採用することによって、前記ｎ回の抽出を実行してもよい。この形態によれば、線分としての皮溝成分を精度良く抽出できる。 In the above aspect, the skin groove component extraction processing unit comprises: a binarization unit for binarizing the skin image; and a first derivative component and a second derivative component in a reference direction from the image obtained by the binarization processing. A first extraction unit for extracting; a second extraction unit for extracting a line segment having a deviation within a predetermined angle from a direction orthogonal to the reference direction from the first derivative component; A third extraction unit that extracts positive differential values of the second derivative component; a logical sum of the line segment extracted by the third extraction unit, and the image binarized by the binarization unit And a fourth extraction unit for extracting the skin groove component as a line segment by taking the; the first, second and third extraction units are n (n is an integer of 2 or more) as the reference direction The n times of extraction may be performed by adopting the direction of. According to this aspect, the skin groove component as a line segment can be extracted with high accuracy.
上記形態において、前記特徴量取得部は、皮丘部を中心とする局所画像特徴量を、取得対象としてもよい。この形態によれば、皮丘部は明部であるので、高精度にキメの評価を行うことができる。 In the above aspect, the feature amount acquisition unit may set a local image feature amount centered on a skin hill portion as an acquisition target. According to this aspect, since the skin hill portion is a bright portion, texture evaluation can be performed with high accuracy.
本開示の他の形態は、肌画像から複数の局所画像特徴量を取得する特徴量取得部と；前記複数の局所画像特徴量を対象にしてベクトル量子化を施すことによってヒストグラムを取得するヒストグラム取得部と；予め用意された推定モデルに、前記ヒストグラムを入力することによってキメを評価する評価部と、を備え；前記特徴量取得部は、皮丘部を中心とする局所画像特徴量を、取得対象とするキメ評価装置である。この形態によれば、皮丘部は明部であるので、高精度にキメの評価を行うことができる。 Another aspect of the present disclosure is a feature acquisition unit that acquires a plurality of local image feature amounts from a skin image; and a histogram acquisition that acquires a histogram by performing vector quantization on the plurality of local image feature amounts. And an evaluation unit that evaluates texture by inputting the histogram to an estimation model prepared in advance; the feature acquisition unit acquires a local image feature centered on a skin area It is a target texture evaluation device. According to this aspect, since the skin hill portion is a bright portion, texture evaluation can be performed with high accuracy.
本開示は、上記以外の種々の形態で実現できる。例えば、キメ評価方法や、推定モデルの作成方法等で実現できる。 The present disclosure can be implemented in various forms other than the above. For example, it can be realized by a texture evaluation method, a method of creating an estimation model, or the like.
図１は、キメ評価装置２０及びマイクロスコープ３０を示す。マイクロスコープ３０は、皮溝が確認できる性能を有している。キメ評価装置２０のハードウエアは、本実施形態においては、一般的なパソコンである。キメ評価装置２０は、マイクロスコープ３０が撮像する肌画像を取得して、肌のキメを５段階で評価する。 FIG. 1 shows a texture evaluation device 20 and a microscope 30. The microscope 30 has the ability to identify the kerrus. The hardware of the texture evaluation device 20 is a general personal computer in the present embodiment. The texture evaluation device 20 acquires a skin image captured by the microscope 30 and evaluates the texture of the skin in five stages.
キメ評価装置２０は、キメを評価するために、予め記憶している推定モデルを用いる。以下、キメを評価するための準備として、推定モデルの作成について説明する。 The texture evaluation device 20 uses a prestored estimation model to evaluate texture. Hereinafter, preparation of an estimation model will be described as preparation for evaluating texture.
図２は、推定モデルの作成方法を示す。以下に説明する各ステップの実行主体は、キメ評価装置２０である。キメ評価装置２０は、マクロを実行したり、操作者の入力操作に応じたりすることによって、各ステップを実行する。 FIG. 2 shows a method of creating an estimation model. The execution subject of each step described below is the texture evaluation device 20. The texture evaluation device 20 executes each step by executing a macro or responding to an operator's input operation.
まず、サンプル画像を取得する（Ｓ１００）。ここでいうサンプル画像とは、肌を撮像した肌画像（キメ画像）であり、キメが目視で確認できる画像のことである。サンプル画像は、マイクロスコープ３０を用いて撮像される。Ｓ１００では、ボケやブレが殆どないサンプル画像を、３０００枚、取得する。以下の説明では、特に説明しない限り、１枚のサンプル画像それぞれを対象にした処理内容を述べる。 First, a sample image is acquired (S100). The sample image mentioned here is a skin image (texture image) obtained by imaging the skin, and is an image whose texture can be visually confirmed. Sample images are captured using a microscope 30. In S100, 3000 sample images with almost no blurring or blurring are acquired. In the following description, processing contents for each of one sample image will be described unless otherwise described.
次に、サンプル画像に２値化処理を施す（Ｓ２００）。本実施形態では、Ｐタイル法を用いて、５０％を閾値にする。以下、Ｓ２００で得られた画像を、２値化画像という。次に、２値化画像を対象に、皮溝成分抽出処理を実行する（Ｓ３００）。 Next, the sample image is binarized (S200). In the present embodiment, the P tile method is used to set 50% as the threshold. Hereinafter, the image obtained in S200 is referred to as a binarized image. Next, the skin groove component extraction processing is executed on the binarized image (S300).
図３は、皮溝成分抽出処理の詳細を示す。まず、２値化処理画像から、垂直方向（基準方向）の１次微分成分と２次微分成分とを得る（Ｓ３１０，Ｓ３２０）。次に、１次微分成分から特定の線分成分を検出する（Ｓ３３０）。特定の線分成分とは、水平方向から±５度以内の線分成分のことである。本実施形態においてはＳ３３０にLine Segment Detectorアルゴリズムを用いる。次に、Ｓ３３０で得られた線分成分から、２次微分成分の平均値が正値である線分を抽出する（Ｓ３４０）。Ｓ３４０で得られる線分を、検出線分と呼ぶ。 FIG. 3 shows the details of the dermal groove component extraction process. First, the first derivative component and the second derivative component in the vertical direction (reference direction) are obtained from the binarized image (S310, S320). Next, a specific line segment component is detected from the first derivative component (S330). The specific line segment component is a line segment component within ± 5 degrees from the horizontal direction. In this embodiment, a Line Segment Detector algorithm is used in S330. Next, from the line segment components obtained in S330, a line segment whose mean value of the second derivative component is a positive value is extracted (S340). The line segment obtained in S340 is called a detected line segment.
Ｓ３１０〜Ｓ３４０を、繰り返し実行する。具体的には、２値化画像を、５度刻みで回転させて、３６（＝ｎ）回、繰り返し実行することによって、３６方向についての回転角度と検出線分との対応関係を得る。 S310 to S340 are repeatedly executed. Specifically, the binarized image is rotated by 5 degrees and repeatedly executed 36 (= n) times to obtain the correspondence between the rotation angle in the 36 directions and the detected line segment.
全角度の検出結果と２値化画像との論理和を算出し、その算出結果を皮溝成分として抽出する（Ｓ３６０）。本実施形態による皮溝成分抽出処理によれば、評価対象外の毛穴やその他ノイズの影響を抑えることができる。以下、Ｓ３６０で得られる画像を、皮溝画像と呼ぶ。 The logical sum of the detection result of all angles and the binarized image is calculated, and the calculation result is extracted as a pimple component (S360). According to the skin groove component extraction process according to the present embodiment, it is possible to suppress the influence of pores other than the evaluation target and other noises. Hereinafter, the image obtained in S360 is referred to as a furrow image.
次に、皮溝画像を対象に、局所画像特徴量を抽出する処理を実行する（Ｓ４００）。局所画像特徴量の中心点は、皮丘部と皮溝部との何れでもよい。本実施形態においては、皮溝間の位置関係や角度を効果的に捉えるために、画像の明部である皮丘部に中心点がある局所画像特徴量のみを得るように抽出範囲を限定する。このため、本実施形態におけるＳ４００は、皮丘部限定処理ともいう。 Next, processing for extracting local image feature amounts is performed on the skin groove image (S400). The central point of the local image feature may be any of a skin hill and a furrow. In this embodiment, in order to effectively capture the positional relationship and angle between the skin grooves, the extraction range is limited so as to obtain only the local image feature quantity having the central point in the skin area which is the bright area of the image. . For this reason, S400 in the present embodiment is also referred to as skin hill portion limiting processing.
皮溝画像から複数の局所画像特徴量を抽出する手法は、ＯｐｅｎＣＶやＭＡＴＬＡＢ（登録商標）などに代表される画像処理ライブラリや数値計算ソフトウエアに実装されている機能を用いることができる。局所画像特徴量は、画像のボケ、ブレ、回転および輝度変化への耐性があるのが好ましい。例えば、ＫＡＺＥ、ＡＫＡＺＥ、ＯＲＢ、ＢＲＩＳＫ等の局所画像特徴量が用いられ得る。本実施形態では、ＯｐｅｎＣＶに実装されているＫＡＺＥを用いて、１画像につき応答性の高い順に最多で３００点抽出する。局所画像特徴量の抽出方法はSparse sampling法に限らず、Dense sampling法を用いてもよい。 As a method of extracting a plurality of local image feature amounts from the furrow groove image, a function implemented in an image processing library represented by OpenCV, MATLAB (registered trademark) or the like or numerical calculation software can be used. The local image feature is preferably resistant to image blurring, blurring, rotation and brightness change. For example, local image feature quantities such as KAZE, AKAZE, ORB, BRISK, etc. may be used. In this embodiment, using KAZE implemented in OpenCV, a maximum of 300 points are extracted in descending order of responsiveness for one image. The local image feature quantity extraction method is not limited to the sparse sampling method, and the dense sampling method may be used.
次に、局所画像特徴量を対象に、ヒストグラム算出処理を実行する（Ｓ５００）。局所画像特徴量のベクトル量子化を行うにあたり、代表パターンのリストであるコードブックを作成する。３０００枚のサンプル画像それぞれに対して、上記の抽出方法を用いて局所画像特徴量を抽出し、抽出された全ての局所画像特徴量を用いてk‐means++法によるクラスタリングを実行する。 Next, histogram calculation processing is executed on local image feature quantities (S500). In performing vector quantization of local image feature quantities, a codebook which is a list of representative patterns is created. For each of the 3000 sample images, local image feature quantities are extracted using the above extraction method, and clustering by the k-means ++ method is performed using all the extracted local image feature quantities.
クラスタ数を自動決定する方法は、ＪＤ法、x‐means法、Ｇａｐ統計量を用いる方法、クラスタ内誤差平方和を用いる方法など、多くの方法が提案されている。本実施形態では、計算が容易な方法として、クラスタ数ｃにおけるクラスタ内誤差平方和をＳＳＥｃとし、クラスタ数増加に伴うクラスタ内誤差平方和の減少率（１−ＳＳＥｃ+１／ＳＳＥｃ）が１％を下回る最小のｃをクラスタ数として決定する。図４に例示した場合、クラスタ数は、１２と決定される。 A number of methods have been proposed for automatically determining the number of clusters, such as the JD method, the x-means method, the method using gap statistics, and the method using intra-cluster error square sum. In this embodiment, as a method easy to calculate, let SSEc be the intra-cluster error square sum in the number of clusters c, and the reduction rate (1-SSEc + 1 / SSEc) of intra-cluster error square sum along with increase in the number of clusters is 1% The smallest c below is determined as the number of clusters. In the case illustrated in FIG. 4, the number of clusters is determined to be twelve.
局所画像特徴量ヒストグラムは、サンプル画像における複数の局所画像特徴量をユークリッド距離が最も近い上記代表パターンで置き換えるベクトル量子化処理を行い、代表パターンの出現頻度を算出することで得られる。図５は、３つのサンプル画像それぞれについて算出された局所画像特徴量ヒストグラムを示す。 The local image feature quantity histogram is obtained by performing vector quantization processing to replace a plurality of local image feature quantities in a sample image with the representative pattern closest to the Euclidean distance, and calculating the appearance frequency of the representative pattern. FIG. 5 shows local image feature quantity histograms calculated for each of the three sample images.
最後に、推定モデルを作成する（Ｓ６００）。推定モデルを作成するために、Ｓ１００で得られたサンプル画像を対象に、５段階評価による官能評価を行い、各評価値のサンプル画像を５０枚（計２５０枚）、準備する。官能評価は、目視によって実施し、５点が最もキメが良く、１点が最もキメが悪いことを示す。次に、これらの画像それぞれに対してガウス関数（σ＝１．５５）による平滑化処理を実行したボケ画像を作成する。ボケ画像の官能評価値は、ボケ画像の元となったサンプル画像の官能評価値と同じ値にする。このようにして、計５００枚のサンプル画像を用意する。 Finally, an estimation model is created (S600). In order to create an estimation model, sensory evaluation is performed by five-step evaluation on the sample images obtained in S100, and 50 sample images (total 250 sheets) of each evaluation value are prepared. The sensory evaluation is carried out by visual observation, with 5 points showing the best texture and 1 point showing the worst texture. Next, a blurred image is generated by performing smoothing processing using a Gaussian function (σ = 1.55) on each of these images. The sensory evaluation value of the blurred image is made the same value as the sensory evaluation value of the sample image which is the origin of the blurred image. Thus, a total of 500 sample images are prepared.
上記の評価画像を用いて、官能評価値を目的変数とし、局所画像特徴量ヒストグラムの代表パターンの出現頻度を説明変数として、ＡＩＣ（赤池情報量規準）最小化による変数選択を実行した線形回帰モデルを推定モデルとして得る。なお、推定モデルは線形回帰モデルに限らず、非線形回帰分析やサポートベクターマシン、判別分析、二分木などの手法を用いたモデルでもよい。 A linear regression model in which variable selection is performed by AIC (Akaike Information Criterion) minimization using the evaluation image described above, with sensory evaluation values as the objective variable, and with the appearance frequency of the representative pattern of the local image feature quantity histogram as the explanatory variable. Is obtained as an estimation model. The estimation model is not limited to the linear regression model, and may be a model using a method such as nonlinear regression analysis, support vector machine, discriminant analysis, and binary tree.
上記のように推定モデルを作成することによって、同じ部位を撮像した画像であれば、明瞭な肌画像を入力しても不明瞭な肌画像を入力しても、出力される官能評価値が同じ値になるような推定モデルが作成される。 By creating an estimation model as described above, in the case of an image obtained by imaging the same region, the sensory evaluation value to be output is the same even if a clear skin image is input or an unclear skin image is input. An estimation model is created to be a value.
キメ評価装置２０は、キメを評価する際には、評価対象となる肌画像を対象にＳ１００〜Ｓ５００を実行し、局所画像特徴量ヒストグラムを得る。そして、局所画像特徴量ヒストグラムを推定モデルに入力することによって評価値を取得し、キメ評価装置２０が備えるディスプレイに表示する。 When evaluating texture, the texture evaluation device 20 executes S100 to S500 on a skin image to be evaluated to obtain a local image feature quantity histogram. And an evaluation value is acquired by inputting a local image feature-value histogram into an estimation model, and it displays on the display with which the texture evaluation apparatus 20 is provided.
以下、推定モデル例１〜４を説明する。推定モデル例１〜４の評価に際しては、推定モデルの作成のために作成した５００枚のサンプル画像と、官能評価値との組み合わせを用いた。 Hereinafter, estimation model examples 1 to 4 will be described. In the evaluation of estimation model examples 1 to 4, a combination of 500 sample images created for creation of the estimation model and a sensory evaluation value was used.
推定モデル例１（皮溝成分抽出処理なし・皮丘部限定処理なし）
上記した実施形態とは異なり、皮溝成分抽出処理および皮丘部限定処理を行わない場合の推定モデルを、推定モデル例１とした。推定モデル例１を用いる場合、実際の評価対象となる肌画像についても、皮溝成分抽出処理および皮丘部限定処理の何れも実施せずに、局所画像特徴量を抽出する。
Estimation model example 1 (without skin gullet component extraction processing, without skin hill portion limited processing)
Unlike the above-described embodiment, an estimated model in the case where the skin groove component extraction process and the skin area limiting process are not performed is taken as an estimated model example 1. When the estimation model example 1 is used, local image feature quantities are extracted without performing skin furrow component extraction processing and skin hill portion limitation processing even for skin images to be actually evaluated.
推定モデル例１では、クラスタ数は９、選択された変数の数は５、ＡＩＣは１６６４．５、重相関係数は０．４５３であった。図６に官能評価値と推定値のクロス集計表を示す。また、官能評価値と線形回帰モデルによる推定値との評価値の差の分散は、１．５８９だった。 In the estimation model example 1, the number of clusters is 9, the number of selected variables is 5, the AIC is 1664.5, and the multiple correlation coefficient is 0.453. FIG. 6 shows a cross tabulation table of sensory evaluation values and estimated values. Moreover, the variance of the difference of the evaluation value of a sensory evaluation value and the estimated value by a linear regression model was 1.589.
推定モデル例２（皮溝成分抽出処理あり・皮丘部限定処理なし）
皮溝成分抽出処理を行う点は実施形態と同じである一方、実施形態とは異なり皮丘部限定処理を行わない場合の推定モデルを、推定モデル例２とした。推定モデル例２を用いる場合、実際の評価対象となる肌画像についても、皮溝成分抽出処理は実施する一方、皮丘部限定処理は実施せずに、局所画像特徴量を抽出する。
Estimation model example 2 (with skin groove component extraction processing, without skin hill portion limited processing)
The skin gullet component extraction process is the same as that of the embodiment, but unlike the embodiment, an estimated model in the case where skin skin area limiting processing is not performed is set as a second estimated model example. When the estimation model example 2 is used, the skin groove component extraction process is performed even on the skin image to be actually evaluated, while the skin hill portion limitation process is not performed, and the local image feature amount is extracted.
推定モデル例２では、クラスタ数は９、選択された変数の数は２、ＡＩＣは１２５０．０、重相関係数は０．８０６であった。図７に官能評価値と推定値のクロス集計表を示す。 In the estimation model example 2, the number of clusters is 9, the number of selected variables is 2, AIC is 1250.0, and the multiple correlation coefficient is 0.806. FIG. 7 shows a cross tabulation table of sensory evaluation values and estimated values.
推定モデル例２では、官能評価値と線形回帰モデルによる推定値との評価値の差の分散は、０．７０２だった。推定モデル例１および推定モデル例２において、官能評価値と線形回帰モデルによる推定値との評価値の差の分散を算出し、統計解析ソフト「Ｒ」を用いて等分散性の検定を実施した。その結果、有意確率であるｐ値は２．２６×１０-16未満と算出された。推定モデル例２では推定モデル例１に比べて有意に分散が小さいことが認められた（ｐ値＜０．０１）。このことから、皮溝成分抽出処理は、局所画像特徴量を用いたキメ評価の精度を向上させることが示された。 In the estimation model example 2, the variance of the difference between the evaluation value of the sensory evaluation value and the evaluation value of the linear regression model was 0.702. In the estimation model example 1 and the estimation model example 2, the variance of the difference between the evaluation values of the sensory evaluation value and the estimation value by the linear regression model was calculated, and the test of equal variance was performed using the statistical analysis software “R”. . As a result, the p value which is the significance probability was calculated to be less than 2.26 × 10 −16 . It was found that the variance of the estimation model example 2 was significantly smaller than that of the estimation model example 1 (p value <0.01). From this, it was shown that the skin groove component extraction processing improves the accuracy of texture evaluation using local image feature quantities.
推定モデル例３（皮溝成分抽出処理なし・皮丘部限定処理あり）
実施形態とは異なり皮溝成分抽出処理を行わない一方、実施形態と同じく皮丘部限定処理を行う場合の推定モデルを、推定モデル例３とした。推定モデル例３を用いる場合、実際の評価対象となる肌画像についても、皮溝成分抽出処理は実施しない一方、皮丘部限定処理は実施して、局所画像特徴量を抽出する。
Estimation model example 3 (without skin gullet component extraction processing, with skin hill portion limited processing)
Unlike the embodiment, while the skin groove component extraction processing is not performed, the estimation model in the case where the skin hill portion limiting processing is performed as in the embodiment is set as an estimation model example 3. When the estimation model example 3 is used, skin furrow component extraction processing is not performed even on a skin image to be actually evaluated, while skin hill portion restriction processing is performed to extract local image feature amounts.
推定モデル例３では、クラスタ数は９、選択された変数の数は８、ＡＩＣは１５２３．４、重相関係数は０．６３９であった。図８に官能評価値と推定値のクロス集計表を示す。 In the estimation model example 3, the number of clusters is 9, the number of selected variables is 8, the AIC is 1523.4, and the multiple correlation coefficient is 0.639. FIG. 8 shows a cross tabulation table of sensory evaluation values and estimated values.
推定モデル例３では、官能評価値と線形回帰モデルによる推定値との評価値の差の分散は、１．１８４だった。推定モデル例２と同様に、推定モデル例１とのｐ値を算出したところ、１．０４４×１０-3となった。推定モデル例３では推定モデル例１に比べて有意に分散が小さいことが認められた（ｐ値＜０．０１）。このことから、皮丘部限定処理は、局所画像特徴量を用いたキメ評価の精度を向上させることが示された。 In the estimation model example 3, the variance of the difference between the evaluation value of the sensory evaluation value and the evaluation value of the linear regression model was 1.184. The p-value of the estimated model example 1 was calculated in the same manner as in the estimated model example 2 to be 1.044 × 10 −3 . The estimated model example 3 was found to have a significantly smaller variance than the estimated model example 1 (p value <0.01). From this, it has been shown that skin hill portion limitation processing improves the accuracy of texture evaluation using local image feature quantities.
推定モデル例４（皮溝成分抽出処理あり・皮丘部限定処理あり）
実施形態として説明した通り皮溝成分抽出処理および皮丘部限定処理を行う場合の推定モデルを、推定モデル例４とした。推定モデル例４を用いる場合、実際の評価対象となる肌画像についても、皮溝成分抽出処理および皮丘部限定処理を実施して、局所画像特徴量を抽出する。
Estimated model example 4 (skin gristle component extraction processing present / skin hill limited processing present)
As described in the embodiment, the estimation model in the case of performing the skin groove component extraction process and the skin area limiting process is set as an estimation model example 4. When the estimation model example 4 is used, the skin groove component extraction process and the skin area limiting process are performed also on the skin image to be actually evaluated, and the local image feature amount is extracted.
推定モデル例４では、クラスタ数は１２、選択された変数の数は７、ＡＩＣは１１９４．８、重相関係数は０．８３２であった。図９に官能評価値と推定値のクロス集計表を示す。 In the estimation model example 4, the number of clusters is 12, the number of selected variables is 7, the AIC is 1194.8, and the multiple correlation coefficient is 0.832. FIG. 9 shows a cross tabulation table of sensory evaluation values and estimated values.
推定モデル例４では、官能評価値と線形回帰モデルによる推定値との評価値の差の分散は、０．６１２だった。推定モデル例２と同様に、推定モデル例１とのｐ値を算出したところ、２．２６×１０-16未満となった。推定モデル例４では推定モデル例１に比べて有意に分散が小さいことが認められた（ｐ値＜０．０１）。このことから、皮溝成分抽出処理と皮丘部限定処理との両方を実施することは、局所画像特徴量を用いたキメ評価の精度を向上させることが示された。 In the estimation model example 4, the variance of the difference between the evaluation value of the sensory evaluation value and the evaluation value of the linear regression model was 0.612. When the p value of the estimated model example 1 was calculated in the same manner as in the estimated model example 2, it was less than 2.26 × 10 −16 . The estimated model example 4 was found to have a significantly smaller variance than the estimated model example 1 (p value <0.01). From this, it was shown that carrying out both skin furrow component extraction processing and skin hill portion limiting processing improves the accuracy of texture evaluation using local image feature quantities.
本開示は、本明細書の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下の実施形態が例示される。 The present disclosure is not limited to the embodiments of the present specification, and can be implemented in various configurations without departing from the scope of the present disclosure. For example, the technical features in the embodiments corresponding to the technical features in the respective forms described in the section of the summary of the invention can be used to solve some or all of the problems described above, or one of the effects described above. Replacements and combinations can be made as appropriate to achieve part or all. If the technical feature is not described as essential in the present specification, it can be deleted as appropriate. For example, the following embodiments are illustrated.
皮溝は、線分として抽出しなくてもよい。例えば、折れ線として抽出してもよい。 The skin groove may not be extracted as a line segment. For example, it may be extracted as a broken line.
推定モデルの作成において、平滑化処理後の不明瞭なサンプル画像を用いず、明瞭なサンプル画像のみを用いてもよい。 In creating the estimation model, only the clear sample image may be used without using the unclear sample image after the smoothing process.
不明瞭のサンプル画像を作成するに、平滑化以外の手法を用いてもよい。例えば、明瞭な画像を撮像した後、故意にピントをずらして撮像することで、不明瞭な画像を作成してもよい。官能評価は、明瞭な画像を用いて実施すればよい。 Techniques other than smoothing may be used to create the unclear sample image. For example, after capturing a clear image, an unclear image may be created by capturing images intentionally out of focus. Sensory evaluation may be performed using a clear image.
皮溝成分抽出と皮丘部限定処理とについて、推定モデルの作成に用いるものと、実際の評価の場合に用いるものとが一致していなくてもよい。例えば、推定モデルの作成には皮溝成分抽出と皮丘部限定処理との両方を用いて作成した場合であっても、実際の評価の場合には、皮溝成分抽出と皮丘部限定処理との何れか一方のみを用いてもよい。 What is used for preparation of a presumed model and what is used in the case of actual evaluation does not need to correspond about skin furrow component extraction and skin hill part limitation processing. For example, even in the case where the estimation model is created using both skin groove extraction and skin hill limiting processing, in the case of actual evaluation, skin groove extraction and skin hill limiting processing Only one of the above may be used.
２０…キメ評価装置、３０…マイクロスコープ 20 ... texture evaluation device, 30 ... microscope
Claims (7)
前記複数の局所画像特徴量を対象にしてベクトル量子化を施すことによってヒストグラムを取得するヒストグラム取得部と、
予め用意された推定モデルに、前記ヒストグラムを入力することによってキメを評価する評価部と、を備え、
前記特徴量取得部は、前記肌画像から皮溝成分を抽出する皮溝成分抽出処理部を有し、前記皮溝成分抽出処理部によって処理された画像から前記複数の局所画像特徴量を取得する
キメ評価装置。 A feature amount acquisition unit that acquires a plurality of local image feature amounts from a skin image;
A histogram acquisition unit that acquires a histogram by performing vector quantization on the plurality of local image feature amounts;
And an evaluation unit that evaluates texture by inputting the histogram to an estimation model prepared in advance.
The feature amount acquisition unit has a skin groove component extraction processing unit that extracts a skin groove component from the skin image, and acquires the plurality of local image feature amounts from the image processed by the skin groove component extraction processing unit. Evaluation device.
請求項１に記載のキメ評価装置。 The texture evaluation device according to claim 1, wherein the skin groove component extraction processing unit extracts the skin groove component as a line segment.
前記肌画像を２値化処理する２値化部と、
前記２値化処理した画像から、基準方向の１次微分成分および２次微分成分を抽出する第１抽出部と、
前記１次微分成分から、基準方向と直交する方向からの偏差が所定角度以内の線分を抽出する第２抽出部と、
前記抽出した線分のうち、前記２次微分成分の平均値が正値であるものを抽出する第３抽出部と、
前記第３抽出部によって抽出された線分と、前記２値化部によって２値化された画像との論理和を取ることによって、前記皮溝成分を線分として抽出する第４抽出部とを備え、
前記第１，第２及び第３抽出部は、前記基準方向としてｎ（ｎは２以上の整数）個の方向を採用することによって、前記ｎ回の抽出を実行する
請求項１に記載のキメ評価装置。 The skin groove component extraction processing unit
A binarization unit that binarizes the skin image;
A first extraction unit for extracting a first derivative component and a second derivative component in a reference direction from the image subjected to the binarization processing;
A second extraction unit that extracts, from the first derivative component, a line segment whose deviation from a direction orthogonal to the reference direction is within a predetermined angle;
A third extraction unit for extracting one of the extracted line segments that has a positive mean value of the second derivative component;
A fourth extraction unit for extracting the furrow component as a line segment by taking the logical sum of the line segment extracted by the third extraction unit and the image binarized by the binarization unit; Equipped
The first, second, and third extraction units execute the n times of extraction by adopting n (n is an integer of 2 or more) directions as the reference direction. Evaluation device.
請求項１から請求項３までの何れか一項に記載のキメ評価装置。 The texture evaluation device according to any one of claims 1 to 3, wherein the feature amount acquisition unit acquires a local image feature amount centered on a skin area.
前記複数の局所画像特徴量を対象にしてベクトル量子化を施すことによってヒストグラムを取得するヒストグラム取得部と、
予め用意された推定モデルに、前記ヒストグラムを入力することによってキメを評価する評価部と、を備え、
前記特徴量取得部は、皮丘部を中心とする局所画像特徴量を、取得対象とする
キメ評価装置。 A feature amount acquisition unit that acquires a plurality of local image feature amounts from a skin image;
A histogram acquisition unit that acquires a histogram by performing vector quantization on the plurality of local image feature amounts;
And an evaluation unit that evaluates texture by inputting the histogram to an estimation model prepared in advance.
The feature amount acquisition unit is a texture evaluation device for obtaining a local image feature amount centered on a skin area.
前記抽出された皮溝成分を用いて、前記複数の局所画像特徴量を取得し、
前記複数の局所画像特徴量を対象にしてベクトル量子化を施すことによってヒストグラムを取得し、
予め用意された推定モデルに、前記ヒストグラムを入力することによってキメを評価する
キメ評価方法。 Extract the skin groove component from the skin image,
The plurality of local image feature quantities are acquired using the extracted skin groove component,
Obtaining a histogram by performing vector quantization on the plurality of local image feature quantities;
A texture evaluation method for evaluating texture by inputting the histogram into a previously prepared estimation model.
前記複数の局所画像特徴量を対象にしてベクトル量子化を施すことによってヒストグラムを取得し、
予め用意された推定モデルに、前記ヒストグラムを入力することによってキメを評価する
キメ評価方法。 From the skin image, acquire multiple local image feature values centered on the skin area,
Obtaining a histogram by performing vector quantization on the plurality of local image feature quantities;
A texture evaluation method for evaluating texture by inputting the histogram into a previously prepared estimation model.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017223330A JP7061347B2 (en) | 2017-11-21 | 2017-11-21 | Texture evaluation device, texture evaluation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017223330A JP7061347B2 (en) | 2017-11-21 | 2017-11-21 | Texture evaluation device, texture evaluation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019092694A true JP2019092694A (en) | 2019-06-20 |
| JP7061347B2 JP7061347B2 (en) | 2022-04-28 |
Family
ID=66970227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017223330A Active JP7061347B2 (en) | 2017-11-21 | 2017-11-21 | Texture evaluation device, texture evaluation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7061347B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020261442A1 (en) * | 2019-06-26 | 2020-12-30 | 株式会社資生堂 | Program, information processing device, skin texture estimating method, learned model, information processing system and method for generating learned model |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006061170A (en) * | 2004-07-30 | 2006-03-09 | Pola Chem Ind Inc | Discrimination method for skin |
| JP2006305184A (en) * | 2005-04-28 | 2006-11-09 | Shiseido Co Ltd | Skin condition analyzing method, skin condition analyzer, skin condition analyzing program, and recording media where that program is recorded |
| JP2008061892A (en) * | 2006-09-08 | 2008-03-21 | Tokyo Univ Of Science | Epidermal tissue quantification device and program |
| JP2010079398A (en) * | 2008-09-24 | 2010-04-08 | Fuji Xerox Co Ltd | Similar image providing device and program |
| JP2014228995A (en) * | 2013-05-21 | 2014-12-08 | パイオニア株式会社 | Image feature learning device, image feature learning method and program |
| WO2015015793A1 (en) * | 2013-07-31 | 2015-02-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Skin analysis method, skin analysis device, and method for controlling skin analysis device |
-
2017
- 2017-11-21 JP JP2017223330A patent/JP7061347B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006061170A (en) * | 2004-07-30 | 2006-03-09 | Pola Chem Ind Inc | Discrimination method for skin |
| JP2006305184A (en) * | 2005-04-28 | 2006-11-09 | Shiseido Co Ltd | Skin condition analyzing method, skin condition analyzer, skin condition analyzing program, and recording media where that program is recorded |
| JP2008061892A (en) * | 2006-09-08 | 2008-03-21 | Tokyo Univ Of Science | Epidermal tissue quantification device and program |
| JP2010079398A (en) * | 2008-09-24 | 2010-04-08 | Fuji Xerox Co Ltd | Similar image providing device and program |
| JP2014228995A (en) * | 2013-05-21 | 2014-12-08 | パイオニア株式会社 | Image feature learning device, image feature learning method and program |
| WO2015015793A1 (en) * | 2013-07-31 | 2015-02-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Skin analysis method, skin analysis device, and method for controlling skin analysis device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020261442A1 (en) * | 2019-06-26 | 2020-12-30 | 株式会社資生堂 | Program, information processing device, skin texture estimating method, learned model, information processing system and method for generating learned model |
| JPWO2020261442A1 (en) * | 2019-06-26 | 2020-12-30 | ||
| JP7366133B2 (en) | 2019-06-26 | 2023-10-20 | 株式会社 資生堂 | Program, information processing device, skin texture state estimation method, trained model, information processing system, and learning model creation method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7061347B2 (en) | 2022-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Arroyo et al. | Detection of pigment network in dermoscopy images using supervised machine learning and structural analysis | |
| Olugbara et al. | Segmentation of melanoma skin lesion using perceptual color difference saliency with morphological analysis | |
| Valliammal et al. | Plant leaf segmentation using non linear K means clustering | |
| Hussain et al. | A comparative analysis of edge detection techniques used in flame image processing | |
| Su et al. | A new method for linear feature and junction enhancement in 2D images based on morphological operation, oriented anisotropic Gaussian function and Hessian information | |
| Ali et al. | Towards the automatic detection of skin lesion shape asymmetry, color variegation and diameter in dermoscopic images | |
| CN101984916A (en) | Blood vessel diameter measuring method based on digital image processing technology | |
| US10743769B2 (en) | Skin evaluation apparatus, skin evaluation method, and skin evaluation program | |
| CN105718931B (en) | System and method for determining clutter in acquired images | |
| JP2015536732A (en) | Image processing apparatus and method | |
| DE112015006378T5 (en) | Image processing apparatus, image processing method and image processing program | |
| CN108471967B (en) | Apparatus and method for measuring quality of extracted signal | |
| JP2018068748A5 (en) | ||
| Roussel et al. | Automatic knot segmentation in CT images of wet softwood logs using a tangential approach | |
| Li et al. | Sublingual vein extraction algorithm based on hyperspectral tongue imaging technology | |
| Swamy et al. | Skin disease classification using machine learning algorithms | |
| JP2019092694A (en) | Texture evaluation device and texture evaluation method | |
| Purnama et al. | Follicle detection on the usg images to support determination of polycystic ovary syndrome | |
| Sun | K-Cosine Corner Detection. | |
| Saparudin et al. | Segmentation of fingerprint image based on gradient magnitude and coherence | |
| KR101151154B1 (en) | Image processing method for determinimg the skin elasticity using moireimage | |
| Malode | New approach of statistical analysis for lung disease diagnosis using microscopy images | |
| Entacher et al. | Towards an automated generation of tree ring profiles from CT-images | |
| Chinna Babu et al. | Melanoma skin segmentation process using PCA and morphological methods | |
| Pei et al. | A no-reference image sharpness metric based on large-scale structure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201023 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220411 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7061347 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |