JP2015500722A - 皮膚ゾーンにおける皮膚症状を検出して数量化する方法および装置 - Google Patents

皮膚ゾーンにおける皮膚症状を検出して数量化する方法および装置 Download PDF

Info

Publication number
JP2015500722A
JP2015500722A JP2014548160A JP2014548160A JP2015500722A JP 2015500722 A JP2015500722 A JP 2015500722A JP 2014548160 A JP2014548160 A JP 2014548160A JP 2014548160 A JP2014548160 A JP 2014548160A JP 2015500722 A JP2015500722 A JP 2015500722A
Authority
JP
Japan
Prior art keywords
skin
image
wavelengths
classification
color intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014548160A
Other languages
English (en)
Inventor
ドス・サントス,セルジオ
ブレイ,バンジャマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chanel Parfums Beaute SAS
Original Assignee
Chanel Parfums Beaute SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chanel Parfums Beaute SAS filed Critical Chanel Parfums Beaute SAS
Publication of JP2015500722A publication Critical patent/JP2015500722A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

皮膚ゾーンにおける皮膚症状を検出して数量化する方法であって、予め決められた複数の肌の色の濃淡度の分類と複数のタイプの皮膚症状とに対して、選択された複数の波長を識別することにより、皮膚症状のタイプと肌の色の濃淡度の分類との各組み合わせに対して、上記波長の1つによって、この分類に属する肌の色の濃淡度を有する人の肌の皮膚におけるこのようなタイプの症状を、コントラストによって検出でき、白色光による画像を撮影し、この画像から肌の色の濃淡度と、対応する分類とを自動的に識別し、この肌の色の濃淡度の分類に応じて、この肌の色の濃淡度の分類と、検出しようとしているタイプの皮膚症状との組み合わせに対応する波長の画像を自動的に捕捉し、次いで、このように捕捉された画像を少なくとも処理して、前記検出しようとする上記タイプの皮膚症状を検出する方法である。

Description

本発明は、皮膚ゾーン、特に顔(さらには首)のゾーンにおけるさまざまな皮膚症状を自動的に(あるいは少なくとも半自動的に)検出して数量化する方法および装置に関する。これらの症状は、特に、くま、皺、色素沈着等とすることができる。これらの症状のタイプは、「グレード」によって数量化することができる。
本明細書では、各表現を次のような意味で使用する。
−皮膚症状:美容または治療による処置が必要となるような、考慮された皮膚ゾーンの変化。これらの皮膚症状は、肌の老化、皮膚の乾燥、疲労、あるいはさらに肌の色の変化に関連する症状とすることができる。
・「皮膚の老化症状」とは、老化による皮膚の表面の外観のあらゆる変化を意味し、たとえば皺および小じわ、色素沈着、皮膚のたるみ症状の全体、皮膚の厚みの変化、皮膚の弾力および/またはハリの欠如、みずみずしさのないくすんだ肌等である。
・「皮膚の乾燥の症状」とは、くすんでいる、ざらざらしている、かさかさである、きめが粗い、赤みがかっている、および/またはサメ肌であるといった、水分含有量の変化および上皮角質層内部の水分の分布の変化に特に起因する肌の表面特性のあらゆる変化と、柔軟性の損失および肌の厚みの変化とを意味する。皮膚の乾燥の症状は、かゆみ、ちくちくする、および/または、つっぱり等の、乾燥現象に関連する感覚を含み、これらは、たとえば過敏症、アトピー性皮膚炎、または冬季皮膚乾燥症等の、実際の病気となって現れることがある。
・「皮膚の疲労症状」および「皮膚の色の変化」とは、たとえば目の下のくま、またはたるみ等の疲労または血液の悪循環による肌の表面特性のあらゆる変化、ならびに、特にさまざまな生活様式(日光を浴びた、睡眠不足、ストレス、時差など)にさらされた結果として顔の老化の症状がいっそうひどくなったという印象を伴う、肌の色のあらゆる変化を意味する。
−皮膚(または美容学的)症状(または基準)のグレード:皮膚の症状または基準の重大性および/または深刻性の度合い。この度合いの値は、このタイプの皮膚症状を示す記述子によっても規定される。
−肌の色の濃淡度:あらゆる色彩表示とは別に、皮膚ゾーンの多少とも明るい特徴または沈んだ特徴を数量化するパラメータである。肌の色の濃淡度は、統計的な分類分析、好ましくは、主成分分析(PCA)、さらには独立成分分析(Independent Component Analysis:ICA)、非負値行列因子分解(Non−negative Matrix factorization:NNMF)あるいは、当業者が公知の他のあらゆる分類方法によって、カラー画像(RGBの3成分)について決定することができる。肌の色の濃淡度で考えられる各値を少なくとも2個の複数の分類に配分する。
−モノクローム画像または単色性画像:所定の1つの波長に結合される画像である。より詳しくは、1つのモノクローム画像が所定の周波数の照明下で(特定のフィルタリングなしに)撮影される。このようなモノクローム画像は、必ずしもというわけではないが、異なる仕方で捕捉可能である。
−白色照明:基本的に可視スペクトル(すなわち約400nmから700nm)の照明とし、この照明を得る方法については問わない。白色LED類、RGB LED類、ハロゲン電球、白熱電球、蛍光管、小型蛍光ランプなど)。
−モルフォロジー演算:画像上にあるタイプの皮膚症状を関連付け、このタイプの皮膚症状の存在を検出し、位置を確認するのに適した演算である。
−比率画像:同一ゾーンの2個のフィルタリング画像間の比率により生じる画像(各画素において、比率画像は、この画素の値の代わりに、この画素を直接的に囲むゾーンの画素値の平均値と、このゾーン付近の画素値の平均値との比率を用いたものである。)
すでに米国特許出願公開第2009/0201365号明細書(Fukuoka et al)により、皮膚ゾーンのコンディションを診断して皮膚をケアするアドバイスを生成するシステムが知られている。このシステムは、1つのデータ収集アセンブリ(さらには、複数のデータ収集アセンブリ)と、これらのデータの分析アセンブリとを含み、双方が通信手段を介して協働する。データ収集アセンブリは、解像度が非常に高いデジタル画像を捕捉する画像捕捉装置と、高圧縮率の圧縮装置と、表示装置とを含んでいる。データ分析アセンブリは、データ分析装置と、高圧縮率の圧縮アセンブリと、データ保存手段とを含んでいる。データ収集アセンブリは、被験者の顔全体の画像を撮影し、圧縮手段が圧縮画像を生成し、データ分析装置は、通信手段を介して受信したこの圧縮画像に基づいて肌のコンディションを分析するとともに、診断結果として視覚情報を生成する。これらの視覚情報は、圧縮され、次いでデータ収集アセンブリに送信されて、表示装置によりディスプレイ上に表示される。データ分析アセンブリは、データ捕捉アセンブリとは独立しており、データ捕捉アセンブリから遠隔に配置することができる。データの捕捉は、予め決められた条件で簡単なデジタルカメラにより行われるので、これは、特別な研修を受けていないオペレータでも実施可能である。分析作業に関しては、好ましくは、非常に豊富なデータベースを参照しながら多数の基準に関して行われる。
このようなシステムは複雑であり、また、考えられる多様な分析項目に分けているために、非常に豊富な参照データベースを生成することが必要である。
米国特許出願公開第2004/0218810号明細書によれば、肌の画像のコンピュータ分析のための方法およびシステムが同様に知られている。この明細書によれば、白色光により照射される顔のゾーンのデジタル画像をRGBセンサにより撮影し、このように捕捉された画像のR(赤)画像、G(緑)画像、B(青)画像をさまざまな分析(肌の色、色素沈着、毛穴など)によって処理し、それによって、経時的な変化を必要に応じて評価可能な多種多様なデータをそこから導くことができる。画像は、実際には顔の近くに色座標系を設けることによって、顔の正確な位置決め装置を用いて撮影される。しかし、このシステムは、快適性に欠けることがある一方で分析が複雑であり、同一ゾーンの複数の画像R、GまたはBについて、実際にはHSVタイプの変換により分析を実施しなければならないことが多く、その精度は、しばしば基準との比較に左右される。
同様に、国際公開第94/16622号明細書によれば、皮膚の病変部を検出するために白色光またはUV光で照射されたゾーンの画像を収集する方法が知られている。この方法の主な特徴は、白色光で照射されたゾーンから反射される第2のビームにおける光の波長帯域の選択にある。この選択は、皮膚の病変部の検出と分類との最終的な結果にとって必要不可欠である。ところで、こうした選択は、たとえば、関係する光帯域の連続処理を必要とするフィルタホイールを用いて、あるいは、これらの光帯域を同時処理可能なビームスプリッタを用いて、第2のビームにフィルタリングを実施することを意味するが、しかし、それと引き換えに各帯域の信号対雑音比が著しく劣化する。
米国特許出願公開第2009/240653号明細書は、フィッツパトリック分類により可能とされる6つのフォトタイプの中で、志願者の肌のフォトタイプを決定可能な、白色光で照射されたゾーンの画像を収集する方法を開示している。この方法は、ガウス分布によって志願者のゾーンの画像におけるR、G、B帯域のヒストグラムのモデル化を実施し、各分布の平均値と標準偏差とから、ツリー構造のアルゴリズムによってフィッツパトリックのフォトタイプが導かれるというものである。
米国特許出願公開第2009/0201365号明細書(Fukuoka et al) 米国特許出願公開第2004/0218810号明細書 国際公開第94/16622号明細書 米国特許出願公開第2009/240653号明細書
CandesE およびDonoho D.、《Curvelets A surprisingly effective nonadaptative representation for objects with edges、 curves and surfaces》、Curves and Surfaces 1999年
本発明は、手頃なサイズの計算手段を含むことが可能で、たとえば適切な性能のPCさえあれば、それ以外は不要な、簡単かつコンパクトな皮膚ゾーンの分析システムを目的とする。
このため、本発明は、皮膚ゾーンにおける皮膚症状を検出して数量化する方法を提案し、それによれば、
少なくとも2個である予め決められた複数の肌の色の濃淡度の分類と、予め決められた複数のタイプの皮膚症状とに対して、選択された複数の波長を識別することにより、この複数のタイプの皮膚症状の中の任意の1つのタイプの皮膚症状と、前記複数の肌の色の濃淡度の分類の中の任意の1つの肌の色の濃淡度の分類との各組み合わせに対して、複数の波長の中の少なくとも1つの波長により、前記分類の中に配置される肌の色の濃淡度を有する人の肌におけるこのようなタイプの皮膚症状を、コントラストによって検出でき、
・被験者の顔の選択されたゾーンの少なくとも1つの画像を白色照明のもとで撮影し、
・この画像から、関与する人に対応する肌の色の濃淡度を自動的に識別するとともに、この肌の色の濃淡度が属する分類を識別し、
・この肌の色の濃淡度の分類に応じて自動的に、当該肌の色の濃淡度に対して顔の選択されたゾーンで検出しようとしているタイプの症状を検出可能にする前記複数の波長のうちの1つまたは(複数)を選択し、
・少なくともこの1つ(または複数)の波長の少なくとも1つのモノクローム画像を取得し、肌の色の濃淡度の分類に応じて主に選択されたアルゴリズムとパラメータとを用いてこの画像を処理することにより、前記検出しようとするタイプの症状を検出してグレードを決定する。
このようにして、本発明は、主に肌の色の濃淡度だけを考慮することによって、適切に選択された周波数に対応するモノクローム画像(あるいは単色性画像、上記定義参照)に基づいて、限られた数のアルゴリズムとパラメータとを用いて皮膚症状を分析可能であることを確認し、これを利用している。適切に選択された幾つかの個々の波長により照射されるゾーンの幾つかの画像を取得することによって、既存のすべての肌の色の濃淡度に対して、かなりの美容学的症状を検出可能である。こうした状況では、考えられる非常に多様な志願者における多数の美容学的症状を検出可能にするために、肌の色の濃淡度を、自由に選択されたごくわずかな数に分けるだけで十分であり、この数は、2個程度の小さい数にすることができる。
したがって、本発明は、非常に簡素であることが分かる。その理由は、特に、本発明が、ごく限られた数の肌の色の濃淡度を自由に選択可能であるからであり、米国特許出願公開第2009/240653号明細書のように特にフィッツパトリックの6つのフォトタイプを考慮する必要がなく、そのため、それに対応する数のアルゴリズムやパラメータ群を用いる必要がないからであり、また、国際公開第94/16622号明細書とは違って、本発明では、第2のビームのフィルタリングも分離も不要であることから、この第2のビームすなわち検査中のゾーンにより反射されるビームをいっそう完全に使用できるからである。本発明の長所の一部は、(反射信号の全体を使用可能にしながら)選択された波長で関心のあるゾーンを照射することにより得られるのに対し、引用文献の方は、実際には、反射ビームの一部だけを使用しながら白色光で照射を行っていることに留意されたい。
有利には、この複数の波長が、好ましくは、肌の色の濃淡度の分類の集合に対して2つから5つである。実際、好ましくは約500nm(プラスマイナス20nm)および570nm(プラスマイナス20nm)になるように選択された、わずか2つの波長によって、肌の色の濃淡度の集合に対して複数のタイプの皮膚症状を検出できることが分かっている。しかし、好ましくは、肌の色の濃淡度の分類の集合に対する複数の波長は、さらに、約620nm(プラスマイナス20nm)の波長を含んでいる。そのため、有利には、上記分類の集合に対する波長の数は最大で3つである。
好ましくは、この方法により検出されて数量化可能にされる複数のタイプの皮膚症状が、特に、皺、くま、色素性母斑を含んでいる。
有利には、少なくとも1つの肌の色の濃淡度に対して、同一のタイプの皮膚症状(さらには複数のタイプの皮膚症状)のために2つの波長を選択する。好ましい構成では、複数の波長が3つの波長から構成され、複数の肌の色の濃淡度の分類が2つの分類、すなわち色白の肌の分類と色黒の肌の分類とから構成される。このように波長数と肌の色の濃淡度の分類数とが少ないにもかかわらず、皺、くま、色素沈着等を含む多様な肌の皮膚症状を検出して数量化することができる。特に有利には、簡単だが有効な構成において、色白の肌のための皮膚症状のタイプに対して最大で2つの波長を割り当て、また、色黒の肌の皮膚症状のタイプに対して最大で2つの波長を割り当てる。
有利には、所定の波長に対応する各モノクローム画像の捕捉が、対応する周波数による照射の有無にかかわらず撮影される同一の皮膚ゾーンの2個の連続画像の入力と、この2個の画像の差によるモノクローム画像の生成とを含む。これによって、室内照明による影響、特に、日中に生じることのある室内照明の変動あるいは、場合によっては生じるその空間的な変動をなくすことができる。特に好ましくは、同一の波長に対して、照射パワーレベルを徐々に増加しながら複数の画像を捕捉し、飽和なしに最大の照射パワーレベルで得られる画像を選択する。
本発明は、さらに、この方法を実施するために、皮膚ゾーンにおける皮膚症状を検出して数量化する装置を提案し、この装置は、
任意選択により、複数の照射状況下で、所定の位置に配置された皮膚ゾーンを照射するように構成された照射装置と、
この所定の位置に配置された皮膚ゾーンのモノクローム画像を捕捉するように構成された画像捕捉装置と、
処理装置と、
この捕捉装置と、照射装置と、処理装置との間のインターフェースとを有して、処理装置が、照射装置により決定された照明のもとで画像捕捉装置により捕捉される画像を処理するようにされ、
この処理装置が、
−少なくとも2つである予め決められた複数の肌の色の濃淡度の分類と、複数のタイプの皮膚症状とに対して、選択された複数の波長を識別するデータを含み、それによって、複数のタイプの皮膚症状の中の任意の1つのタイプの皮膚症状と、複数の肌の色の濃淡度の分類の中の任意の1つの肌の色の濃淡度の分類との各組み合わせに対して、複数の波長の中の1つの波長により、前記肌の色の濃淡度の分類の中に配置される1つの肌の色の濃淡度を有する人の肌におけるこのようなタイプの皮膚症状を、コントラストによって検出でき、
−白色光と前記複数の波長の各波長とで選択された皮膚ゾーンの画像を捕捉するために、捕捉装置と照射装置とに協働するように設計され、照射状況によって、白色光におけるこのような捕捉と、この複数の波長の各波長における捕捉とができるようにされ、
−白色光の画像捕捉装置によって捕捉された少なくとも1つの画像内で、関与する人に対応する肌の色の濃淡度と、この肌の色の濃淡度が属する分類とを自動的に識別し、この肌の色の濃淡度の分類に応じて自動的に、当該肌の色の濃淡度に対して検出しようとしているタイプの症状を検出可能にする波長の1つ(または複数)を選択し、少なくともこの選択された波長の少なくとも1つの画像を自動的に捕捉し、肌の色の濃淡度の分類に応じて主に選択されたアルゴリズムとパラメータとを用いて、選択されたこの波長で捕捉された少なくともこの画像を自動的に処理することにより、前記検出しようとするタイプの症状を検出する。
本発明の目的、特徴、および長所は、添付図面を参照しながらなされた以下の説明から明らかになるであろう。
本発明による方法の原理を示す図である。 本発明による方法の実施に適したシステムを示すブロック図である。 撮影装置と被験者の顔の照射装置とによって形成される対を示す断面図である。 画像の差分撮影のための所定の波長における照射シーケンスの1例を示すグラフである。 多種多様な志願者に対して捕捉された2個の画像成分を相関的に示すグラフである。 図5の結果を別の仕方でまとめたグラフである。 毛穴を検出して数量化するように処理される画像の1例を示す図である。 目の下のくまを検出して数量化するように処理された画像の1例を示す図である。 毛穴、剥離、色素沈着、および毛細管拡張症の検出で用いられる「比率」画像の構成原理を示す図である。 「比率」画像の構成により毛穴を明らかにする1例を示す図である。 毛穴の検出アルゴリズムの1例を示す図である。 剥離の検出アルゴリズムの1例を示す図である。 2つの肌の色の濃淡度の分類に対して、色素沈着の検出の1例を示す図である。 成分1を横座標の下部に、2個の第1の成分を横座標の上部に、成分2を縦座標に記し、色素沈着/毛細管拡張症を主成分分析(PCA)によって分離している1つの例を示す図である。
図1から分かるように、本発明による方法は、皮膚ゾーンにおける皮膚症状を検出して数量化するために、主に以下のステップを含んでいる。
予め決められた複数(少なくとも2個)の肌の色の濃淡度の分類(Diで示す)と、複数のタイプの皮膚症状(Siで示す)とを事前に識別する(並行する予備ステップ1と2)。次に、これらの肌の色の濃淡度の分類Diと皮膚症状のタイプSiとに応じて、選択された複数の波長λiを識別し(予備ステップ3)、それによって、任意の1つのタイプの皮膚症状と、任意の1つの肌の色の濃淡度の分類との各組み合わせに対して、複数の波長の中の1つの波長により、考慮された分類に入る肌の色の濃淡度を有する人の肌におけるこのようなタイプの皮膚症状を、コントラストによって検出できる。これらの波長の識別はまた、場合によっては、このような波長における画像撮影の個別条件を含む(照射強度条件および/または差分画像の撮影条件については、たとえば下記の説明を参照されたい)。換言すれば、検出して数量化することが望まれる各種のタイプの皮膚症状を検出かつ数量化可能にする画像を得るために、分類の各々に対して種々の取得条件を識別する。さらに、このような画像の処理条件(実際にはアルゴリズムおよび、必要な場合にはパラメータ)を決定し、それによって、このような検出と数量化を実際には自動的に実施する。
例として、また、後述するように、2つの肌の色の濃淡度の分類すなわち「色白の肌」と「色黒の肌」(たとえばD1とD2で示す)とを区別し、各分類に対して、考慮された各種のタイプの皮膚症状を検出かつ数量化可能にするアルゴリズムを決定しさえすればよい。
皮膚症状のタイプとその数との選択は、さまざまなニーズに応じて決められる。例としては、以下を識別することが有利である。
−皺、必要な場合には皺の位置に応じて以下を区別する。
・ほうれい線(naso−labial fold)
・額の皺
・眉と眉の間にある、いわゆる「眉間の皺」(frown lines)
・目の隅にある、いわゆる「目尻の皺」(カラスの足跡crow’s feet)
・目の下の皺
・口角の皺
・唇の周囲の皺
−色素沈着、必要な場合には、そばかすと、老化によるしみとを区別する。
−毛穴と剥離、さらには
−毛細管拡張症(telangiectasias)すなわち、表皮の毛細管がわずかに拡張した状態
波長は、各々の肌の色の濃淡度の分類に対して、検出して数量化可能にすることが望まれる少なくとも幾つかのタイプの皮膚症状を識別できるように選択される。後述するように、色白の肌の場合も色黒の肌の場合も、肌の色の濃淡度の分類の集合に対して3つの波長だけを考慮して、上記のタイプの症状を検出および数量化することができる。実際には、6つ(さらには5つ)以上の異なる波長を利用することは(したがって、各種の分類に対して6つ、さらには5つ以上の異なる処理アルゴリズムを決定すること)は、必要ないように思われる。同様に、4つ(さらには3つ)以上の肌の色の濃淡度の分類を用いることは必要ないように思われる。
前述のように、所定の周波数に対応するモノクローム画像の撮影は、この特定の周波数に制限される照射を受ける対象物の画像の(可視域における)パンクロマティックデータ入力に対応する。換言すれば、モノクローム画像の撮影は、モノクローム照明により1つのゾーンを照射し、その一方で、このモノクローム照射に対する反応として、観察ゾーンからのあらゆる光線を捕捉することからなり、画像捕捉装置に存在する可能性のあるもの以外の特別なフィルタリングは行わない。実際には、同じ画像捕捉装置が、白色光の画像(すなわち白色照明によって照射される画像)と、モノクローム(または単色性)画像とを入力する。
各種の波長と、「症状タイプ」/「濃淡度の分類」の各対との間のいろいろな相関関係については、事前に(たとえば実施装置を実際に始動する前の「サンプリング」と呼べるステップで)確定して記録しておくことができるので、実際には、所定の人に対するこの方法の実施を次のようなステップに制限することができる。
最初に、被験者の顔(さらには顔全体)の選択されたゾーンの白色光の画像を撮影する(ステップ4)。このステップの開始後、自動的に他のステップを続行することができる。
関与する人に対応する肌の色の濃淡度をこの画像から識別する(ステップ5)。次に、この肌の色の濃淡度に応じて、当該肌の色の濃淡度が入る分類の画像を選択する(これは、実際には、予備ステップのときに収集されたデータに基づいて自動的に行われる)。
この分類に対して、当該分類のために予め決められた上記の取得パラメータ(特に照射波長など)に応じて、検出しようとしているタイプの症状に対応する画像を取得する(ステップ6)。検出して数量化すべきタイプの皮膚症状の数が少ない場合、画像の取得が、選択された波長の全体を含んでいないことが考えられる。実際には、皮膚症状のタイプの検出および数量化に必要な画像だけを取得することが好ましい。波長の選択は、検査中の肌が属する分類の識別に基づいて自動的に行われる。この取得の開始もまた自動化することができる。この方法は、白色光画像の撮影をオペレータが開始する瞬間から自動的に実施可能である。この方法はまた、たとえば、このような白色光による画像撮影の開始から波長の選択までの第1の段階、次いで、選択されたこの(1つまたは複数の)波長の照射のもとで(1つまたは複数の)画像を撮影して処理が終了するまでの(たとえばこの処理の結果を表示するまでの)第2の段階からなる複数段階に分けて実施可能である。可能性のある幾つかの皮膚症状を検出するにとどまるように処理が構成される場合、この選択については、白色光による画像撮影の開始前あるいは上記の第2の段階の開始前にオペレータがデータ入力することができる。
サンプル採取は、所定数のタイプの皮膚症状に対して行われるが、この方法の実施に際しては、各顧客により表明される個々の要求に応じて、もっと少ない数の症状タイプだけの検査としてもよいことに留意されたい(このため、ステップ1から3のサンプル採取は、組み合わせ全部を使う必要があるわけではなく、後段で満たすことが望まれる要求のすべてに対処することからなる。)
次いで、主に肌の色の濃淡度の分類に応じて予め選択された少なくとも1つのアルゴリズムとパラメータとを用いて、選択された条件で取得されたこれらの画像を処理し(ステップ7)、検出しようとしているタイプの症状を検出する。この処理によって、皮膚症状が検出され、その濃淡度のグレードが決定される。
さらに、あらゆる適切な形態で(特に、必要に応じてグラフまたは表の形式で)、選択されたタイプの皮膚症状のための検出およびグレード決定の結果を表示する(ステップ8)。このような表示ステップは、特に、たとえば、この方法を、グレードを確認しながら当該タイプの皮膚症状の処理に適した薬剤の自動処方段階によって補完する場合、省略してもよいことが分かる。そのため、より一般的には、結果を保存および/または表示する。
図2は、このような方法を実施するように構成されたシステムを概略的に示している。
システムは、主に以下を含んでいる。
−観察ゾーンが配置されるべき位置からのあらゆる光線を捕捉するように構成された、デジタルカメラ11等の画像捕捉(または撮影)装置(この捕捉装置から送られる光線における任意の周波数を優先するフィルタはない)。
−白色光源と、選択された多様な波長の光源とを含む照射装置12
−上記のカメラと照射装置とに結合されるインターフェース13、14
−簡単なPCにもなる情報処理装置を備えたインターフェース装置15
−この方法の自動操作を実施するように構成された複数のモジュール(図示せず)を備えた、PC16等の情報処理装置
−電源17
このような装置はかさばらず、したがって、必要な場合には移動が容易であることは注目に値する。
図3は、画像捕捉装置と照射装置とからなる好ましい構成を示している。照射装置12は、皮膚の状態の診断を望む被験者に向けられる凹状の表面を含み、この表面は、好ましくは、たとえば、アーチ型の「プレキシグラス(登録商標)」からなる凹状の拡散スクリーン12Bから形成される。このスクリーンの裏側に、選択された波長の1つでそれぞれが放射を行う基準12Aに基づいて包括的に図式的に配置されたモノクローム光源または白色光源が配分される。所定の各波長で放射する光源は、有利には、他の光源の中に規則正しく配分されるので、その結果、これらの波長の1つだけの波長に対応する光源が給電されると、特徴づけすべき皮膚ゾーンで規則正しい均質な照射が確保される(これは白色光源についても同様である)。
有利には、照射システム12は、同じく均質に配分されて、選択された各波長にそれぞれ対応するダイオードLEDと、同じく均質に配分された、白色光のダイオードLEDとを含み、多様な画像取得のための適切な電源を備えている(さまざまな光源に対して、さまざまな濃淡度レベルを利用する可能性が考えられる)。
画像撮影装置11は、好ましくは、拡散スクリーンを通って、この拡散スクリーンにより形成された照射面の中心に配置される。
肌の状態を診断してもらうことを望む被験者が、図3の装置のアーチ型の表面に対して中心を合わせた位置に配置されることが分かる。次いで、最初は白色光で、その後は利用される波長で、選択された連続的な画像捕捉が実施される。必要に応じて、画像の捕捉時に(照射装置12が放射する照射以外に)室内照明を変えてもよいし、あるいは変えなくてもよい。
有利には、画像捕捉は、2個の連続画像の撮影によって行われ、画像の一方は、室内照明で撮影され、他方は、同じ室内照明により撮影されるが、しかし、捕捉しようとする画像に対応する周波数/波長の照明を加えて撮影される。このモノクローム照明は、連続する2個の粗画像の間の差異を生じさせるように十分に強力でなければならないが、あまりに強力すぎて画像捕捉装置内で飽和を生じる危険性がないようにすべきである。連続画像の差異によって、当該周波数で捕捉された画像を識別する。これは、さらに、それが望ましい場合は白色光による画像撮影にも適用することができる(しかし、白色光画像のみと、モノクローム光による差分画像とを取り込めば十分とすることができる)。
図4は、(白色光と、選択された波長とに対して)画像撮影期間中の照射シーケンスを例として示している。
このグラフは、同一の照射モードに対して連続する3つの画像を撮影するシーケンスを示している。第1のサイクルは、この照射モードに結合されるダイオードLEDを低レベルで励起して(「ショット1」で示される瞬間に)第1の画像を撮影し、その後、(「ショット dif」で示される瞬間に)これらのLEDを励起せずに画像を撮影することからなる。次いで第2のサイクルは、当該照射モードの励起レベルがそれまでよりも高いために、この第1のサイクルから遅れて開始され(ここでも同様に、「ショット2」とその後の「ショット dif」で示される瞬間に2回の画像捕捉が行われる)、その後の第3のサイクルは、ここでは、上記照射モードに対して最大の励起レベルで開始される(同様に、瞬間「ショット3」および「ショット dif」で2個の画像が捕捉される)。瞬間「ショット dif」は、各サイクルにおいて同じ呼び名で示されており、同一のゾーンにおいて同じ室内照明で画像が撮影されているために対応画像が原則として同じであることを意味している。
各照射モード(白色光または波長)に結合されるダイオードに付与される励起パルスの持続時間ならびに画像撮影の間隔は、任意であることが分かる。例として、約1秒未満の間隔でサイクルが続行される。実際、被験者により感じとられる光度変化および色の変化は、被験者の緊張をゆるめる役割を果たすことができるので、このように捕捉された画像に基づいて実施されることになる診断の正当性が高められる。その後に保存される画像は、好ましくは、(特にモノクローム画像の撮影の場合)飽和を有することなくダイオードの最大強度に対応する画像であるが、しかし、予備サイクルによって、最大照射の瞬間に被験者がこわばってしまうあらゆるリスクを最小化することができるだろう。
このような手順によって、以下に起因する困難を克服できる。
−室内照明をコントロールできない。
−被験者のポーズをとる時間が長くなりすぎて被験者が思わず動いてしまう。
画像処理の結果は、有利には、スクリーンに映し出され、あるいは印刷される。これらの結果は、好ましくは、調べた皮膚症状タイプの識別を含み、これらの皮膚症状の存在のレベル(使用されるアルゴリズムのパラメータ化に応じて頻度および/またはサイズ)が示される。
このようにして、例として白色光による画像取得を実施し、次いで、
−色白の肌に関するか色黒の肌に関するかを弁別し(肌の色の濃淡度の分類が2個だけの場合)、
−この弁別に応じて画像を取得し、
−これらの画像における美容学的なさまざまな基準を検出するためにアルゴリズムを投入し、
−各アルゴリズムに対して、分類に必要な(考慮された顔の各基準に対してグラデーションを可能にする)データを保存する。
−予め規定されたディレクトリに(特に視覚的な)検出結果を保存する。
例として、テキストファイルではあるが、次のように結果をファイルに書き込む。
被験者の氏名:C002 色白肌
ほうれい線: グレード3
額の皺: グレード4
眉間の皺: グレード3
目尻の皺: グレード2
目の隅の皺: グレード5
口角の皺: グレード3
唇の周囲の皺: グレード2
額の色素沈着: グレード1
頬の色素沈着: グレード1
毛細管拡張症: グレード2
毛穴: グレード1
剥離: グレード1
くま: グレード2
例として、グレード1は、存在が少しであるか、またはゼロに対応し、グレード5は、最大値に対応する。
保存された結果は、また、考慮される撮影画像の少なくとも1つを含むことができる。
肌の色の濃淡度
本発明は、コーカサス系、アジア系、アフリカ系、ヒスパニック系またはインド系民族等の、従来の民族分類の概念を介在させていない点を指摘することができる。実際、本発明は、処理の選択に際して、肌の色の濃淡度という概念だけを介在させている。
我々は、写真パネルで分類分析を実施した。民族とは別に、肌の色の濃淡度を特徴として考慮した場合、全体として等質なグループを識別できることが明らかになった。
これについては、さまざまな分類方法(「clustering」)により説明かつ証明することができた。ここで図5に示した例は、志願者の写真470枚からなる写真データベースで実施された分析をグラフで示しており、主成分分析(PCA)という名称で知られている分析を使用している。たとえば非負値行列因子分解(NNMF)あるいは独立成分分析(ICA)という英語名で知られているもののような他の分類方法もまた使用可能である点に留意されたい。
これらの画像の各々に対して、顔のRGB(すなわち赤、緑、青)成分の平均値を測定し、この平均値成分にPCAを適用した。図5にPCAの結果を示した。この図は、PCAの最初の2つの主成分によって形成される基準座標系に配置された、写真470枚の対象となる志願者に対応するすべての点を示している。これらの点は、第1の主成分の値について4つの閾値を定めることによって任意に5つの領域(5個の長方形で示されている)に分けられている。この結果から、明らかに、第1の主成分が、民族とは無関係に肌の色白または色黒の性質に関係することが示されている。たとえばヒスパニック系の志願者は、最初の長方形(第1の成分の平均値は−0.3)と最後から2つめの長方形(平均値は0.25)との間に分散している。
PCAの結果は、非常にはっきりと、第1の主成分によって志願者間の肌色のあらゆるバリエーションをほとんど説明できることを示している。すなわち、このバリエーションの98.7%は、第1の主成分の値の変化によりモデル化することができる。たとえば、図5の右下に位置する志願者は、第1の主成分の値が0.5より大きいのに対し、左下に位置する被験者の値は約−0.2である。そのため、第1の主成分の値の−0.4から0.6の間の変化は、あらゆる民族の肌色の変化を示すことができる。したがって、この第1の主成分に基づいて肌の色の濃淡度を識別することが可能である。
かくして、民族の概念というよりもむしろ肌色(より詳しくは肌の色の濃淡度)の選択に根拠を置くことの正しさが証明され、これによって、処理を大幅に単純化することができる。なぜなら、有利には2つの肌の色の濃淡度の分類を弁別するだけで十分であるからである。独立成分分析ICAまたは非負値行列因子分解NNMFのような他の分類方法でも同じタイプの結果が得られる。さらに、使用される方法に応じて、肌の色の濃淡度の分類を所望の濃淡度分類に分けられることに留意されたい。
肌の色の濃淡度の選択
図6は、志願者470名の第1の主成分の値を示すヒストグラムである。このヒストグラムでは、エンベロープを決定することにより凸状ラインにより強調された2つの成分に注目する。この2つの成分を分離する唯一の特徴は、簡単なヒストグラム二値化アルゴリズム(大津の二値化アルゴリズムなど)によって自動的に見つけることができる。すなわち閾値Sが見つかる。
PCAによって、1つの成分に1つの閾値を見つけることができる。使用される分類方法(クラスタリング《clustering》)によってn+1個の分類を有するようにするためにn個の閾値を見つけられる。
このようにして、一人の志願者に対する第1の主成分の値が閾値Sより大きい場合、この志願者は、色黒の肌を有するとみなされ、反対の場合には、色白の肌を有するとみなされる。これによって、さまざまな被験者をたった2つの肌の色の濃淡度の分類に容易に配置することができる。
新しい被験者に対する肌の色の濃淡度
被験者の新しい画像が提供されると仮定した場合、この画像を2つの肌グループのうちの一方に分類するだけである。
これを行うために、主成分分析は、2つの基準座標軸系の間で基底変換を行うことに他ならない。第1の基準座標系は(R、G、B)(測定値)であり、第2の基準座標系(x、y、z)は、点の最終集合の分散を最小化する。したがって、新しい画像を分類する場合、新しい座標軸系における座標xと、テストグループのために決定される閾値(上記参照)とを比較すればよい。それには、新しい画像において平均値〈R〉、〈G〉および〈B〉を測定する。これらの平均値〈R〉、〈G〉および〈B〉が得られる場合、これは、新しい画像が、基準座標軸系(R、G、B)における1つの点とみなされることを意味する。したがって基底変更が必要であるが、これは、当然のことながら、テスト集合に対して得られた基底変換行列による行列計算によって行われる。変換係数は、行列の形態で示され、各々の列が1つの成分に対応する1つの行列により示される。それ自体知られているように、これらの列は、最も有意でない成分に対する最も有意な主成分に応じて分類される。新しい基準座標系における点座標をそこから導くことができることが分かる。このように得られた座標(x、y、z)の点は、主成分の基底における新しい志願者を示す点であり、この値xと閾値Sとを比較することによって、新しい被験者がどの分類に配置されるかを決定することができる。閾値未満の場合は色白の肌に関与し、閾値を上回る場合は、色黒の肌に関与する。
上記の予め決められた条件で必要な画像を取得した後、これらを処理し、適切なアルゴリズムを用いて少なくとも1つのタイプの皮膚症状を探して数量化することができる。
検出アルゴリズム
以下、アルゴリズムおよび/またはそれらのパラメータの適切な選択によって多様なタイプの皮膚症状を特徴づけ可能にする方法に関して、各種の例を挙げる。図7と図8は、毛穴または、くまを例として示す図である。
a.「比率」画像
それ自体として独創的な本発明の1つの特徴によれば、ここでは、出発画像を、2個のフィルタリング画像の比率である1つの画像(「比率」画像という)に変換する革新的な変換を導入する。この比率画像は、有利には、毛穴および剥離を検出する基本の役割を果たし、その一方では、また、特に色素沈着の検出にも有用とすることができる。
1つの比率画像は、1つの画素(あるいは複数の画素からなる1つのゾーン)と、この画素の周辺との間の局部的なコントラストを重視する、画像のフィルタリングバージョンである。比率画像は、1つのゾーンの画素の平均値と、この画素の周辺にある画素の平均値との比率とみなされる。1つのゾーンが、このゾーンの周辺よりも暗い場合、この同じゾーンの画素の平均値は、この画素の周辺にある画素の平均値よりも小さく、そのため、比率画像の値は、このゾーンでは1未満となる。
したがって、比率画像は、出発画像をフィルタリングした2つのバージョン間の比率である。第1のフィルタリングは、「平均値」フィルタによる画像のコンボリューションである(図9では、3×3)。第2のフィルタリングは、中央画素が離隔された、「平均値」フィルタによるコンボリューションである(図では、7×7フィルタ、中央の3×3個の画素が0にされている)。図10は、1つの画像(左側)を比率画像(右側)に変換し、この変換により毛穴、色素沈着、および皺にもたらされる結果を示している。
1つの画像のこうした局部的な変換によって、上の例の毛穴のような特定の皮膚基準を明らかにすることができる。実際、比率画像における暗い値は、初期画像における出発ゾーンがその周辺よりも暗いことを意味する。しかし、(求められている基準が毛穴である場合)第1のフィルタリングのサイズは、1つの画像における1つの毛穴の大きさを示すものであることが推奨される。生成された比率画像は均質であるので、有利には、これによって照明の問題が解消される。この画像は、ほくろ、色素沈着、皺を明らかにする(しかし、いかなる場合も、画像のぶれの問題を解消することはできない)。
b.毛穴/剥離
毛穴と剥離の検出アルゴリズムも同じ原理に従う(毛穴は、しばしば、色の明るい地における色の暗い小ゾーンであり、剥離は、しばしば、色のさらに暗い地における色の明るい小ゾーンである)。ここでは、毛穴の検出アルゴリズムについて詳しく説明し、剥離の検出アルゴリズムについては相違点だけを指摘する。ここでは、1つのゾーンに存在する毛穴または剥離を網羅的に検出しようとしているのではなく、むしろ、密度の高いゾーンを評価しようとしていることに留意されたい。実際、網羅的な計数化は、非常に低い閾値による検出が必要であり、そのため、疑陽性が少なからず現れることが分かっている。ところで、このような網羅的な計数化は、現実には不要である。
一般的な毛穴の検出方法は、図11が示すように、比率画像で実施される色の暗いゾーンの検出段階と分類段階とからなる。剥離の場合、一般的な方法は、図12が示すように、比率画像で実施される色の明るいゾーンの検出段階と、分類段階とからなる。
検出段階の主な目的は、色のより明るい肌に配置される色の暗いゾーン(あるいは剥離の場合は、色のより暗い肌に配置される色の明るいゾーン)を明らかにすることにある。ここでの1つの問題は、照明の不均質性の問題を修正することにある。実際、画像は、光の斑点として示される照射ゾーンを含んでいて、その後の検出結果を誤らせることがある。この問題を解消するために、比率画像の概念を用いる(上記参照)。1つの毛穴は、色の明るい表面における色の暗いゾーンであるので、その検出は局所的にのみ行えばよく、すなわち、有限のゾーンにおいて、色のさらに明るい画素によって囲まれた幾つかの色の暗い画素が潜在的な毛穴である。したがって、コントラストの差を局所的に重視するために、比率画像を構成する。
比率画像は照明の不均質性の問題を解消することができるので、(毛穴のピークに対応するような)最も色の暗い点は、比率画像における閾値決定により検出可能であり、値が画像の平均値未満である点だけを保持して、幾つかの数の標準偏差を差し引く。画像の画素の値の平均値mと、その標準偏差σとに基づいて、閾値はm−2.5*σになるとみなされる。上記で計算された閾値未満の値を有する画像の画素の中で、場合によっては存在する毛穴のサイズについての閾値を決定する。実際、幾つかの画素数(たとえば1664×2496画素の解像度に対して画素数81個)を上回るサイズは、毛穴に対応することができない。なぜなら、これらは、たとえ拡張されているとしても1個の毛穴の通常サイズを超えていると思われるからである。同様に、6画素未満のサイズは、(所定のサイズの1つの画像に対する)1個の毛穴に対応するにはあまりに小さすぎる。この2つの追加的な閾値決定の結果、画像内に残っているゾーンが、より色の明るい表面における色の暗いゾーンであり、1つの毛穴を示すサイズを有している。
比率画像は、また、最も色の明るい点を検出しようとすることにより、剥離に対しても用いられ、その場合には、比率画像において画像の平均値よりも値が大きい点だけを保持して、2.5×標準偏差を加算する。
毛穴の検出段階1のアルゴリズムのパラメータは、たとえば1664×2496画素の解像度の画像に対して次のとおりである(撮影に応じて値を適合させること)。
・比率画像を計算するためのフィルタ1のサイズ(5×5)
・比率画像を計算するためのフィルタ2のサイズ(9×9)
・閾値決定における標準偏差の乗算係数(2.5)
・1個の毛穴の最大サイズ(TailleMax 81画素)
・1個の毛穴の最小サイズ(TailleMin 10画素)
また、検出段階のアルゴリズムは次のようにすることができる。
・画像を読み込む。
・これを灰色レベルに変換する(INDG)
・INDGに基づいて比率画像(Itaux)を計算する。
・Itauxで毛穴を検出する。
・ m−2.5*σ未満の画素値だけを考慮する。
・ TailleMaxより大きい保持ゾーンを除去する。
・ TailleMinより小さい保持ゾーンを除去する。
場合によっては存在する毛穴を検出した後で、形態と、周辺に対するコントラストとに応じて、分類ステップが実施される。1個の毛穴の総画素数が特定の閾値未満であるという規則だけでは、この毛穴が適切な形状を有している場合を除いて十分ではない。毛穴は一般に円形であり、広がっている場合には楕円形の形状になる。内部調査によれば、1つの毛穴は、周囲長の2乗で割ったエリアが1/6πを超えないゾーンに対応する。楕円形の場合、この閾値は、長軸と短軸との比率が2.61未満であることを意味する。
このことから、分類ステップの間、先行して検出された各対象物のゾーンは、1つの楕円形としてモデル化される。長軸と短軸の比率が上記閾値未満の場合、このゾーンが保持され、そうでない場合は破棄される。
この分類は、対象物における色情報を使用している。一般には、1つのゾーンに1つの毛穴が存在すると、この同じゾーンにおける当該毛穴の有無に応じて、このゾーンの幾つかのパラメータが変化する。より具体的には、1つの毛穴を含む1つのゾーンの色の平均値は、この毛穴を除去したときの同じゾーン未満である。中央値に対しても同様の状況が確認される。同様に、1つの毛穴の最も色の暗い値は、この同じ毛穴を中心とする周辺全体の中で最も色の暗い値であるとみなされる。
有利には、上記の3つの規則を用いて、1つの毛穴のサイズと形状とを有する1つの暗いゾーンが実際に毛穴であるかどうか決定する。このため、次のような構成にしたがって、平均値と中央値とに対する偏差を計算する。
・(検出段階1の後で)1つの毛穴の形状とサイズを有する暗いゾーンを選択する。
・このゾーンの付近にある画素の中央値と平均値を(このゾーンを含めて)計算する。
・このゾーンを除外して、周辺だけで同じパラメータを計算する。
・中央値と平均値とに関する標準偏差を出す。
毛穴の分類段階におけるアルゴリズムのパラメータは、たとえば次のとおりである(画像の解像度に合わせること)。
・平均値に関する偏差(−0.005)
・中央値に関する偏差(−0.005)
分類段階のアルゴリズムは、次のようにまとめることができる。検出段階1のときに保持された各ゾーンに対して、
・このゾーンを囲む楕円形の軸の値を推定する。
・ 長軸と短軸との比率が2.61より大きい場合、ゾーンを破棄する。
・このゾーンの毛穴を除去した後で、平均値と中央値とに関する偏差を計算する。
・ 偏差が閾値より大きい場合、ゾーンを破棄する。
・このゾーンの最も暗い画素を計算する。
・ この画素が、周辺で最も暗い場合、このゾーンが毛穴である。
・ そうでない場合、ゾーンを破棄する。
この分類段階は、ここでは、各画像R、G、BとNDG(灰色レベルの画像)に適用されることに留意されたい。この場合、最終結果は、各画像あるいは、これらの4つの画像のうちの1つ(好ましくは灰色レベルの画像)の画像に関して、4つの個々の結果の共通部分に対応する。
剥離に対する分類段階のアルゴリズムについても同様である。
c.くま
くまは、非常に広く知られている1つの美容学的な症状である。すなわち、くまは、皮膚の色が変化した結果であり、下まぶたの下に多少とも目立つ色の領域を形成する。
志願者の肌の色に関しては民族間で著しいばらつきが存在する。このため、志願者の肌の色の濃淡度(上記参照)に応じて、くまを検出する2つの個々のアルゴリズムを展開することが有効である。このような2つのアルゴリズムについて、以下に例として説明する。
「色白肌」アルゴリズム(またはPC)
志願者が色白肌と分類された場合、くまの検出アルゴリズムの第1のステップは、画像の帯域GとBのヒストグラムを均等化することからなる。次いで、RGB色空間の画像をLb色空間に変換する。その後、画像aと画像bの差すなわちa−bを計算する。次いで、この結果画像について閾値を決定して、(最も色の暗いくまの領域に対応する)最も色の明るい画素を検出し、(主として収縮/膨張等の形態学的な変換により)閾値決定後に保持されたゾーンをクリーニングする。その後、くまの最終ゾーンを導き出し、このゾーンで測定された最終記述子(面積、各帯域における平均濃淡度、くまのない肌の色の濃淡度と比較した相対濃淡度など)を得る。
したがって、各ステップは、たとえば次のとおりである。
・処理ゾーンを定義する(これは、形態学的なモデルを用いて実施可能である)。
・チャンネルGとBでヒストグラムを均等化する(1)。
・Lb色空間に変換する。
・結果画像:a−bを計算する。
・最も色の明るい画素だけを保持するために画像の閾値を決定する。
・これらのゾーンを、一般には、膨張、収縮、および瞳と鼻の影のゾーンの除去によって、クリーニングする。その後、
・たとえば、くまの輪郭を浮き立たせる画像の形態で結果を復元する(図8参照)。
「色黒肌」アルゴリズム(またはPF)
色白肌の場合と同様に、Lb色空間で作業する。一方、比色分析による分割は、Lb系の帯域“b”で行う。その後のアルゴリズムは、色白肌に対する上記の説明と同じである。
d.色素沈着
色素沈着の概念は、肌の色の濃淡度に応じて異なる場合があることが分かっている(色白肌における黒いしみ、色黒肌における明るいしみなど)。
以下、色素沈着の検出について、より明るい表面における暗いゾーンの検出とみなす。その反対の事例の検出については、適切なパラメータによる同様の検出/分類方式に従うものとする。後者の事例については詳しい説明を省く。
色素沈着を検出するために可能なアルゴリズムは、2段階すなわち、色の暗いゾーンの検出段階と、これらの色素沈着ゾーンの分類段階とから構成される。次の段落では、この方法について紹介する。以下、図13を参照しながら、色黒肌と色白肌のためのメソッドの総合的な方式の1例について説明する。
色素沈着を含む初期の画像に基づいて比率画像を計算する。比率画像では、色素沈着の輪郭が、この色素沈着自体の他の部分よりも暗く、その結果、比率画像からは、完全な色素沈着ではなく、色素沈着の断片しか検出することができない。完全に色素沈着を検出するためには、色素沈着のゾーンを結合することを目的とするアルゴリズムを使用しなければならない。この種の問題については、いわゆる「有効輪郭」アルゴリズムによって解決することができる。
有効輪郭は、(本発明の場合には)画像の色等の所定の基準に応じて、1つの構造に自動的に適合される輪郭である。初期の輪郭を起点として、これを繰り返し修正することにより、最終的な輪郭が、たとえば所定の色の1つの均質なゾーンを示すようにする。
複数の有効輪郭方法が存在するが、その中で、「レベルセット」(レベル面積)法を選択する。これは、「内部エネルギー」(特定の数学的な基準を満たす)と「外部エネルギー」(ゾーンの長さと面積とによって示される)との和である「エネルギー」機能を最小化するというものである。このエネルギーの最小化によって、アルゴリズムを最適ゾーンに収束させる。
上記の方法を、比率画像で検出された輪郭に適用する。検出性能を改善するために、色白肌の場合はコントラストを上げる必要があることが判明した。色黒肌を有する志願者の場合、コントラストを高めなくてもアルゴリズム性能が色白肌の場合よりもよいので、このステップを省略する。
したがって、検出段階のアルゴリズムは次のとおりである。
パラメータ(値は撮影に合わせること)
・比率画像を計算するためのフィルタの大きさ
・比率画像の暗い値に関する閾値(10%)
・有効輪郭のアルゴリズムのパラメータ
アルゴリズム
・画像を読み込む。
・色白肌の場合、コントラストを上げる。
・RGB画像の成分Bを選択する(色白肌の場合は高める)
・成分Bの画像から比率画像を計算する。
・ 比率画像内の色素沈着を検出する。
・比率画像の最も暗い画素の10%だけを保持する。
・有効輪郭のアルゴリズムを投入する。
・残りのゾーンは、潜在的に色素沈着である(段階2で確定する)。
場合によっては存在する色素沈着を検出した後で、分類ステップを実施する。分類ステップは、周辺に対するコントラストの比較と、毛穴の形状基準および存在基準とに基づいて行われる。このステップは、毛穴および剥離の検出に用いられたステップと類似しており、色素沈着とその周辺との間の色の差に基づいて行われる。これは、1つの色素沈着がその周辺よりも暗いという原理を起点としており、以下の2つの項を計算するだけでよい。
・第1の項は、色素沈着と、この色素沈着の周囲との統計学的な分布の差である。実際、1つの色素沈着は、一段と暗いので、その分布は、この色素沈着の周辺の分布とは、ずれており、これは、色素沈着がよく目立つときは分布差がいっそう大きいことを意味している。
・第2の項は、色素沈着を含むゾーンの平均的な色と、(色素沈着を除いた)周辺の平均的な色との比率である。色素沈着は、この色素沈着の周辺よりも暗いので、この項目は、(周辺よりも暗い)1つの色素沈着に実際に関与する場合、1未満である。
したがって、コントラストによる分類アルゴリズムは、次のとおりである。
パラメータ(画像の解像度と撮影条件とに合わせること)
・平均的な色の比率(0.99)
・分布間の差に関する閾値は、色の比率により破棄されるゾーンに応じて自動的に計算される。
アルゴリズム 選択された上記の各色素沈着に対して
・2つの分布(色素沈着とその周辺)との差と、平均値の比とを計算する。
・平均値の比が閾値より大きい色素沈着を除外する。
・これらの除外された色素沈着に対し、分布差の平均値を計算し、この平均値を閾値として選択する。
・分布差がこの閾値より大きい色素沈着を除外する。
最後に、色素沈着の形態と存在とに応じて分類を行う。このステップは、1つの色素沈着が楕円形を有していることを起点としており、毛穴および剥離の検出に使用された閾値と同様の閾値(たとえば、実験的に得られた閾値3.06)を想定している。特定の場合、とりわけ額の位置では、毛穴の存在が色素沈着の確定アルゴリズムを狂わせることがある。なぜなら、一連の毛穴によって、色の基準と形状の基準が、実際の色素沈着に対して観察されるゾーンと類似したゾーンが誘導されることがあるからである(1つのゾーンの分布は全体的であって局部的ではなく、平均値もまたそうである)。この問題を解決するために、毛穴検出アルゴリズムを使用することによって、毛穴の数と、毛穴が各ゾーンで占有している相対面積とを識別する。このステップの終わりに残っているゾーンが、アルゴリズムが収束される色素沈着に対応する。
したがって、形態学的な分類アルゴリズムは、次のとおりである。
パラメータ(画像の解像度と撮影条件とに合わせること)
・色素沈着の最大サイズ(画素で表す)
・色素沈着に外接する楕円形の軸の比率(3.06)
・1つの色素沈着が含むことができる最大数の毛穴(毛穴2個)
・それ以上になると色素沈着が除外される最大の毛穴数(毛穴5個)
・1つの色素沈着における毛穴の最大の相対面積(15%)
アルゴリズム:上記で選択された各色素沈着に対して
・外接楕円形の軸の比率を計算し、この比率が閾値より大きい場合は色素沈着を除外する。
・検討ゾーンの面積を計算し、この面積が当該閾値より大きい場合は除外する。
・色素沈着における毛穴の数を数える。
・ この数が2以下の場合は、色素沈着を保持する。
・ この数が6以上の場合は、色素沈着を除外する。
・そうでない場合、相対面積を計算し、相対面積が当該閾値未満の場合のみ、色素沈着を保持する。
・ときには、たとえば鼻または瞳のゾーン等を除去する場合のように画像にマスクをかけることが必要である。
e.毛細管拡張症
毛細管拡張症は、血管の大きさが慢性的に異常に拡張する症状を意味する。毛細管拡張症は赤く、拍動を感じず、しばしば樹木状または網状の曲がりくねった細い線を形成し、大抵は位置が特定され、特に顔に現れる。このタイプの皮膚症状は、色黒の肌には存在しないか、あるいは検出できない可能性のあることが分かっている。
カラー画像(R、GおよびB成分)を起点として、コントラストを上げた。このようにコントラストを上げた画像によって、脈管を容易に視覚化でき、これが初期画像となる。
例として、第1段階では、RGB空間のこの画像をLb空間に変換し、そこで、画像を平滑化するためにメディアンフィルタをかける。紫がかった赤色は、特にチャンネル「a」に示される。この画像を規格化することによって「トップハット」フィルタ処理を実行し、暗い地に色の明るいゾーンを浮き上がらせる。毛細管拡張症の第1の大まかな検出画像を得るために画像の閾値を決定する。
第2段階では、コントラストを上げた後で得られたRGB画像を起点として比色分析による分割を実施する。その場合、「a」における平均値が最大である領域だけを保持する。
それにより毛細管拡張症の第2の大まかな検出画像が得られる。
その後、この2つの画像を組み合わせる。その場合、毛細管拡張症ではない領域をクリーニングする。なぜなら、皺および色素沈着もまたこのアルゴリズムにより検出されるからであり、この検出については考慮してはならない。そのため、一般には色素沈着である丸みを帯びた形状の領域を除去する。同様にマスクをかけて、ほうれい線の位置に配置される領域を考慮しないようにする。最後に、毛細管拡張症だけを保持するために、検出された各領域に対して、各画素のR、GおよびB値を考慮する。この画素がどちらかといえば栗色である場合、これを除去する。画素がどちらかといえば赤紫色である場合は保持する。比色に関して(暗くても明るくても)色素沈着に近い画素を除去可能にするこの閾値を決定するために、コントラストを上げた後で得られた画像から、幾つかの画素数に対してR、GおよびB値を含むデータベースを収集した。一方では、色素沈着に対応するR、GおよびB値を、他方では、毛細管拡張症に対応するR、GおよびB値を集める。このデータベースについてPCA分析を実施すると、色素沈着と毛細管拡張症とが分けられることがはっきりと分かる(図14参照)。
f.皺
関与する皺のタイプは特に次のとおりである。
・額の表情皺
・眉間の皺
・目尻の皺
・目の下の皺
・ほうれい線
・唇の周囲の皺
・口角の皺
検出アルゴリズム
例として、これらの症状を検出するために使用されるアルゴリズムは、主に「カーブレット」に基づいている(CandesE およびDonoho D.、《Curvelets A surprisingly effective nonadaptative representation for objects with edges、 curves and surfaces》、Curves and Surfaces 1999年 参照)。これは、輪郭に沿った不連続性を表すのに非常に適した異方性ウェーブレット種の特別なバージョンである。
カーブレットに使用されるパラメータならびに皺の抽出のための閾値は、検出しようとしている皺の大きさ(太いか細いか)に応じて決定される。その後、関与性の低い構造を切り離すために、一般には皺の向きに応じて後処理をすることが有効である。
皺の検出アルゴリズムはすべて、次のような同じ方式に従うことができる。
・処理すべき画像Iについてカーブレット変換を計算する。
・各タイプの皺に適切な1つのパラメータ(ノイズσの標準偏差)を用いて、カーブレットの空間における画像の閾値を決定することにより、画像Iのノイズを除去する。画像「Ic」が得られる。
・形態学な処理(最初に使用される画像に応じてトップハットまたはボトムハット)を実施して、関心のある輪郭を明らかにする。画像「Icm」が得られる。
・画像Icmの閾値を決定し、上記で明らかにされた構造だけを含む二値化画像を生成する。閾値の値は、検出しようとしている皺のタイプに応じて変化し、平均値(Icm)+k標準偏差(Icm)のタイプである。すなわち、閾値決定された画像「Icms」が得られる。
・次いで、調べている皺のタイプに対応しない画像Icmsの素子を除去するために後処理を実施する。選択基準は、特に、大きさ、配向および形状を含む。残っている構造が皺とみなされるので、したがって、それらの記述子を計算する。記述子の種類は皺のタイプによって決められるが、大きさ、長さまたは平均濃淡度に及ぶことがある。
以上にまとめられた一般的なアルゴリズムは、各タイプの皺に適合させなければならない。適合パラメータは、以下のとおりである。すなわち、
・カーブレット変換と、それに続く操作とが実施される画像I(例:画像L、画像bなど)
・変換された画像Iについて閾値決定の前に実施される形態学的な操作
・この形態学的な操作を構成する素子の大きさ
・シグマ(カーブレットにおけるノイズ除去パラメータ)
・k(最終閾値決定のための閾値を付与するパラメータ)
分類アルゴリズム
一般に、分類方法の選択は、利用できるデータに依存する。本発明の場合、画像と、それに関連するグレードとが分かっているので、教師付き分類方法を使用することがいっそう有効である。そのため、ここで例として挙げる分類方法は、次の2つの柱に基づいている。
1.画像の記述子の抽出
特徴またはパラメータとも呼ばれる記述子は、画像に基づいて得られる測定値の集合であり、画像を記述または特徴づけることができる。記述子は、画像の内容を記述するので、したがって、画像を識別可能である。
2.教師付き分類
教師付き分類は、分類パラメータを学習する(およびモデルを構築する)ためのサンプル集合(学習集合という)を使用し、分類品質を定義可能な別の集合(テスト集合という)で上記の分類パラメータをテストするように構成されている。これは、新しい画像に1つの分類を割り当てるために、構築されたモデルを使用することからなる予測段階である。
例として、以下に、SVM(サポートベクターマシン)分類方法の適用例を示す。これは、眉間の皺の画像から導き出された記述子について、分類間の分離マージン最大化基準に基づいて行われる。後段の操作がうまくいくかどうかは、画像から抽出されたこの情報にかかっているので、使用される記述子のタイプは重要である。
眉間の皺の事例における記述子の識別と抽出
たとえば眉間の皺を分類するために必要な基準は、色素沈着のために使用する基準と必ずしも同じとは限らない。さらに、各基準に対して、記述子は、同一グレードのすべての画像を認識することができるように、かなり関与的なものでなければならず、それと同時に、他の分類との混同がないようにかなり弁別的なものでなければならない。
実際には、眉間の皺では、グレードに応じて皺の数が変化し、また、これらの皺の長さと厚みが変化することが認められる。したがって、このことから、眉間の皺のさまざまなグレードを分離できるようにすることを望む場合、これらの特徴を考慮すべきであると結論することができる。
そのため、この調査では、スペクトル記述子(さまざまなスペクトル帯域の灰色レベル、ヒストグラム)および幾何学的な記述子(形状測定)を主に使用した。眉間の皺のために抽出された記述子のリストは、以下のとおりである。すなわち、
−皺の数
−長い方の2つの皺の厚み
−長い方の2つの皺の長さ
記述子の選択
したがって、記述子の抽出手順の後は、上記の特徴の集合として画像が示される。分類の性能を高めるために、これらの特徴は、しばしば組み合わされ、あるいは連結される。データのサイズ設計、すなわち特徴の数を考慮することが重要であり、この数は分類の結果に著しい影響を及ぼすことがある。実際には、分類装置の性能が、記述子のベクターのサイズとともに際限なく高くなるということはない。さらに、計算時間の観点からいえば、特徴ベクターのサイズが大きくなればなるほど分類の複雑性が上がる。そのため、最も関与的な記述子を選択することによって、実質的な記述子の数を「最適」数に制限することが有効である。このような記述子については、使用される分類方法に応じて複数の方式で選択可能である。たとえば、これらの記述子の値と、陽性の例および陰性の例の数とに応じて、各記述子に対して1つのスコアを計算することにより、記述子の集合を起点とする関与的な1つの部分集合を選択する。このようにして、記述子が秩序立てられるので、学習段階の間に生成されたモデルの評価に際して、最良の性能を付与するn個の最初の記述子だけを保持することができる。
画像撮影波長
大部分の症状に対して、この症状が最大の信号対ノイズ比を有する1つのスペクトル帯域を組み合わせることができる。
下表に示された波長は、1つの基準が最も顕著になる波長である(この基準は、これらの帯域以外でも見られるが、そのコントラストはずっと低い)
Figure 2015500722
色黒肌に対しては、620ナノメートルの周波数の代わりに570ナノメートルの波長が適していることを指摘できる(この周波数は、くまに対する最低閾値よりやや低いかもしれないが、他の欠陥の範囲に適切に位置しているように思われる)。このことから、約500ナノメートルと570ナノメートルとのわずかに2つの波長に制限することによって、上記のタイプの皮膚症状を検出可能である。しかし、変形実施形態では、色黒肌に対して620ナノメートルの周波数と570ナノメートルの周波数とを組み合わせて、最適なコントラストを可能にする画像の周波数を処理することができる。したがって、肌の色の濃淡度とは無関係に、皮膚症状を検出するために少なくとも3つの波長範囲、ここでは、500nm(+/−20nm)、570nm(+/−20nm)、620nm(+/−20nm)を用いることが有利である。
色素沈着(ほくろとそばかすは、その例である)は、主にメラニンによる吸収によって跡が付く(色白肌の場合、約500nmで指数関数的に減少する)。それに対して、色黒肌の場合、肌全体に多量のメラニンが存在し、また信号対ノイズ比が約500nmで下がるので、色素沈着が見える帯域が約560−630nmに移動する。
くまは、ヘモグロビンのピークを中心として非常に目立つ。これは、おそらく、くまができる位置の肌が繊細であり、したがって、血管の吸収性がより優れていることによって説明できる。
発色団は、所定の波長で電磁エネルギーを吸収する分子であり、分子の吸光係数により付与される特徴的な収量を有することが想起される。たとえば、カロチンは、多数の果実(ニンジンなど)にそれらの色を付与する発色団であり、この分子は、実際には、可視スペクトルの青の範囲で波長を吸収するので、そのため、補色(オレンジと赤)だけを反射する。メラニンとヘモグロビンは、肌の機能を理解するために最も重要な発色団である。
肌のメラニンは、表皮の主要な発色団である。ユーメラニンとフェオメラニンとの2種類のメラニン色素が存在する。
ヘモグロビンは、主に赤血球に見られる赤い発色団である。ヘモグロビンが酸素を含む場合、オキシヘモグロビンという。その反対の場合は、デオキシヘモグロビンという。大まかにいえば、表皮はメラニン層、真皮はヘモグロビン層とみなすことができる。
その結果、肌の色は、ヘモグロビンの量とメラニンの量の変化に依存する。
オキシヘモグロビンとデオキシヘモグロビンは、それらに特徴的な吸収ピークを有し、オキシヘモグロビンとデオキシヘモグロビンの最大吸収は、可視スペクトルの約430nmと約550nmで観察される。
例として、本発明の実施システム(図2または図3のシステムなど)は、以下を含んでいる。すなわち、
・以下を有する画像捕捉装置
5Mピクセルのセンサ
焦点(たとえばオートフォーカスなしの固定焦点)
・以下の波長を有する、規則正しく配分されたLED
・λ約500(+/−20nm)すなわち青−緑色
・λ約570(+/−20nm)すなわち黄色オレンジ色
・λ約620(+/−20nm)すなわち赤色
・規則正しく配分された白色光LED。
処理時間をそれほど長くすることなく10Mピクセルのセンサのサイズを大型化することができる。逆に、ズーム効果によって2Mピクセルの解像度に下げることができる。
以上から、次のような複数の独創的なポイントを識別することができる。
・2つの基準による顔の自動的な事前分類
アルゴリズムは、(異なるアルゴリズムを介して、または、異なる画像を入力で取り入れる同じアルゴリズムを介して、または、異なる肌の色のために異なるパラメータを有するアルゴリズムを介して)皮膚のさまざまな色に適合される。本発明によれば、新しい被験者の画像を取得して、オペレータの一切の介入なしに自動的にアルゴリズムを選択可能な方法が提供される。すなわち、肌の色の濃淡度に対するPCAの結果によって自動的に画像を分類するので、使用されるアルゴリズムまたはパラメータの選択もまた自動的に行われる。
事前分類のために使用される基準は以下のとおりである。すなわち、
・肌の色の濃淡度(主要基準):写真データベースの470個の画像の頬のゾーンでPCA(主成分分析)を用いた調査を実施し、色白肌と色黒肌とを分ける閾値を明らかにすることができた。
・形態学的基準(補助基準):データベースの大半の画像の割り出し(すなわち、顔の特徴点を測定すること。割り出しは手動で実施可能であるが、好ましくは自動的に行われる)。この割り出しに含まれる情報によって、顔をその形態型に応じて分類し、したがって、顔の特徴ゾーン(額、鼻、目、口、あご、耳など)を容易に明らかにすることができるので、自動処理の簡素化に貢献できる。
場合によっては、これらの基準のうちの第1の基準を第2の基準と組み合わせて使用し、顔の事前分類を行って、異なるアルゴリズムにより自動処理する。これにより、非常に重要な長所がもたらされる。
・「比率」画像:毛穴、剥離、色素沈着、および毛細管拡張症を検出するために「比率」画像を導入する。比率画像は、フィルタリングした2個の画像比の結果である。すなわち各画素において、比率画像は、この画素の値の代わりに、この画素を直接囲むゾーンの画素の平均値と、このゾーンの周囲にある画素の平均値との比を用いる。所定の画素を直接囲むゾーンのサイズが、検出すべき構造の特徴を示す場合、この構造のコントラストが高められる。さらに、この変換は局所的であるので、1つの画像の照明の不均質性を解消することができる。
・皺の検出のためのカーブレット:皺を検出するためのカーブレットすなわちウェーブレットを一般化したものを使用する。カーブレットは、(ウェーブレットと同様の)空間的な位置とスケールとを有する一方で、また一方向を有する基底関数を用いる。これによって、長くて薄い構造を検出する場合、カーブレットに高い感度が付与され、所定の一方向を有する構造だけを選択することができる(額の水平の皺、あるいは、たとえば所定の一方向を有する大部分の皺に有効である)。
・グレードに分類するためのSVMの使用。記述子を抽出後、グレードに分類するためにSVM(サポートベクターマシン)タイプの方法の使用。学習を必要とするこの方法は、検出によって派生する記述子を確率論に基づいて分類することができる。この方法は、皮膚のグレードを弁別するためにはまだ使用されてはいないようである。 ・画像差分取得方式の適用:照明環境が制御されていないことによる問題を回避するために、一方は室内照明で照射され、他方は室内照明と制御照明とにより照射される2つの連続画像の撮影からなるこの方式を適用する。次いで、第1の照明の画像から第2の照明の画像を差し引いて、制御下の照明環境で1つの画像を得る。
・より一般的には、本発明は、また、処理すべき顔を所望の瞬間に照明することにより差分的に画像を収集するとともに、顔の肌のタイプに応じて自動的にパラメータが選択されるアルゴリズムを用いて幾つかの皮膚症状に対するグレードを自動的に計算する器具を用いて、美容術のためのタスクを実行するハードウェアおよびソフトウェアの組み合わせを提案し、これによって大きな長所がもたらされる。

Claims (14)

  1. 皮膚ゾーンにおける皮膚症状を検出して数量化する方法であって、
    少なくとも2個である予め決められた複数の肌の色の濃淡度の分類と、予め決められた複数のタイプの皮膚症状とに対して、選択された複数の波長を識別することにより、前記複数のタイプの皮膚症状の中の任意の1つのタイプの皮膚症状と、前記複数の肌の色の濃淡度の分類の中の任意の1つの肌の色の濃淡度の分類との各組み合わせに対して、複数の波長の中の少なくとも1つの波長により、前記分類内の1つの肌の色の濃淡度を有する人の肌における前記タイプの皮膚症状を、コントラストによって検出でき、
    被験者の顔の選択されたゾーンの少なくとも1つの画像を白色照明のもとで撮影し、
    前記撮影された画像から、関与する人に対応する肌の色の濃淡度を自動的に識別するとともに、前記肌の色の濃淡度が属する分類を識別し、
    前記肌の色の濃淡度の分類に応じて自動的に、当該肌の色の濃淡度に対して顔の選択されたゾーンで検出しようとしているタイプの症状を検出可能にする前記複数の波長のうちの1つまたは複数を選択し、
    選択された波長の少なくとも1つのモノクローム画像を撮影し、肌の色の濃淡度の分類に応じて主に選択されたアルゴリズムとパラメータとを用いて前記モノクローム画像を処理することにより、検出しようとする前記タイプの症状を検出し、かつグレードを決定する、方法。
  2. 複数の波長が、約500nm(+/−20nm)と約570nm(+/−20nm)の波長を含んでいることを特徴とする請求項1に記載の方法。
  3. 前記複数の波長が、肌の色の濃淡度の分類の集合に対して最大でも3個であることを特徴とする、請求項1または請求項2に記載の方法。
  4. 前記複数の波長が、さらに、約620nm(+/−20nm)の波長を含んでいることを特徴とする、請求項2または請求項3に記載の方法。
  5. 複数のタイプの皮膚症状が、皺、くま、色素性母斑を含んでいることを特徴とする請求項1から4のいずれか一項に記載の方法。
  6. 少なくとも1つの肌の色の濃淡度の分類に対して、同一タイプの皮膚症状のための2つの波長を選択することを特徴とする請求項1から5のいずれか一項に記載の方法。
  7. 前記複数の波長が3つの波長から構成され、複数の肌の色の濃淡度の分類が、2つの肌の色の濃淡度すなわち色白の肌と色黒の肌とから構成されることを特徴とする、請求項1から6のいずれか一項に記載の方法。
  8. 色白の肌のための皮膚症状のタイプに対して最大で2つの波長を割り当て、色黒の肌のための皮膚症状のタイプに対して最大で2つの波長を割り当てることを特徴とする、請求項7に記載の方法。
  9. 所定の波長における画像は、前記所定の波長に特別な照明を加えた所定の室内照明で撮影された第1の粗画像と、前記所定の室内照明だけで撮影された同一の皮膚ゾーンの第2の粗画像との間の差異によって得られることを特徴とする、請求項1から8のいずれか一項に記載の方法。
  10. 同一の波長に対して照射パワーレベルを徐々に増加しながら複数の画像を捕捉し、飽和を示さない最大のパワーレベルで得られる画像を選択することを特徴とする、請求項1から9のいずれか一項に記載の方法。
  11. 皮膚ゾーンにおける皮膚症状を検出して数量化する装置であって、
    任意選択により、複数の照射状況下で、所定の位置に配置された皮膚ゾーンを照射するように構成された照射装置と、
    前記所定の位置に配置された皮膚ゾーンのモノクローム画像を捕捉するように構成された画像捕捉装置と、
    処理装置と、
    画像捕捉装置と、照射装置と、処理装置との間のインターフェースとを有し、処理装置が、照射装置により決定された照明のもとで画像捕捉装置により捕捉された画像を処理し、
    前記処理装置が、
    −少なくとも2つである予め決められた複数の肌の色の濃淡度の分類と、予め決められた複数のタイプの皮膚症状とに対して、選択された複数の波長を識別するデータを含んでおり、それによって、複数のタイプの皮膚症状の中の任意の1つのタイプの皮膚症状と、複数の肌の色の濃淡度の分類の中の任意の1つの肌の色の濃淡度の分類との各組み合わせに対して、複数の波長の中の1つの波長による、前記肌の色の濃淡度の分類の中の1つの肌の色の濃淡度を有する人の肌における前記タイプの皮膚症状を、コントラストによって検出でき、
    −白色光と前記複数の波長とで選択された皮膚ゾーンの画像を捕捉するために、画像捕捉装置と照射装置とに協働するように構成されており、照射状況によって、白色光におけるこのような捕捉と、前記複数の波長の各波長における捕捉とが可能であり、
    −白色光の画像捕捉装置によって捕捉された少なくとも1つの画像内で、関与する人に対応する肌の色の濃淡度と、前記肌の色の濃淡度が属する分類とを自動的に識別し、前記肌の色の濃淡度の分類に応じて自動的に、当該肌の色の濃淡度に対して検出しようとしているタイプの症状を検出可能にする波長の画像を選択し、少なくともこの選択された波長の少なくとも1つの画像を自動的に捕捉し、肌の色の濃淡度の分類に応じて主に選択されたアルゴリズムとパラメータとを用いて、選択された前記波長で捕捉された少なくとも前記画像を自動的に処理することにより、前記検出しようとするタイプの症状を検出する、装置。
  12. 照射装置が、画像捕捉装置を中心として配置された複数の光源を含み、前記光源が、選択された波長のいずれか一方を有するか、または白色光源であることを特徴とする、請求項11に記載の装置。
  13. 複数の光源は、凹部が前記所定の位置に向けられた凹状湾曲面に配置されていることを特徴とする、請求項12に記載の装置。
  14. 照射装置が、約500(+/−20nm)、約570nm(+/−20nm)、および約620nm(+/−20nm)の波長を有する複数の基本光源を含んでいることを特徴とする請求項11から13のいずれか一項に記載の装置。
JP2014548160A 2011-12-26 2012-12-20 皮膚ゾーンにおける皮膚症状を検出して数量化する方法および装置 Pending JP2015500722A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1162456A FR2984721B1 (fr) 2011-12-26 2011-12-26 Procede et dispositif de detection et de quantification de signes cutanes sur une zone de peau
FR1162456 2011-12-26
PCT/FR2012/053028 WO2013098512A1 (fr) 2011-12-26 2012-12-20 Procédé et dispositif de détection et de quantification de signes cutanés sur une zone de peau

Publications (1)

Publication Number Publication Date
JP2015500722A true JP2015500722A (ja) 2015-01-08

Family

ID=47599103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014548160A Pending JP2015500722A (ja) 2011-12-26 2012-12-20 皮膚ゾーンにおける皮膚症状を検出して数量化する方法および装置

Country Status (4)

Country Link
JP (1) JP2015500722A (ja)
KR (1) KR20140112046A (ja)
FR (1) FR2984721B1 (ja)
WO (1) WO2013098512A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016190063A (ja) * 2016-06-23 2016-11-10 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2017209280A (ja) * 2016-05-25 2017-11-30 パナソニックIpマネジメント株式会社 肌診断装置および肌診断方法
JP2018171516A (ja) * 2018-08-06 2018-11-08 カシオ計算機株式会社 画像処理方法、診断装置、並びにプログラム
EP3933851A1 (en) * 2020-07-02 2022-01-05 The Gillette Company LLC Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin laxity
CN116385760A (zh) * 2023-01-15 2023-07-04 西安电子科技大学广州研究院 一种皮肤烟酸反应分类设备
US11801610B2 (en) 2020-07-02 2023-10-31 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a hair growth direction value of the user's hair
US11890764B2 (en) 2020-07-02 2024-02-06 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a hair density value of a user's hair

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718517B1 (ko) * 2015-04-03 2017-04-05 재단법인대구경북과학기술원 피부 헬스케어를 위한 모바일 다중 분광 이미징 디바이스, 사용자 모바일 기기 연결, 이미지 분석 방법
CN112083001B (zh) * 2020-08-25 2023-09-19 北京黎马敦太平洋包装有限公司 一种烫金产品质量检测方法
CN113128377B (zh) * 2021-04-02 2024-05-17 西安融智芙科技有限责任公司 基于图像处理的黑眼圈识别方法、黑眼圈识别装置及终端
CN113592851B (zh) * 2021-08-12 2023-06-20 北京滴普科技有限公司 一种基于全脸图像的毛孔检测方法
KR102450422B1 (ko) * 2022-06-28 2022-10-06 주식회사 룰루랩 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치
KR102465728B1 (ko) 2022-06-28 2022-11-15 주식회사 룰루랩 다크서클을 검출하여 다크서클의 정도를 정량화하는 방법 및 장치
KR102592413B1 (ko) * 2022-07-29 2023-10-30 한용석 피부 초근접카메라 센서 장착용 마스크 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK489485D0 (da) * 1985-09-26 1985-10-24 Silvergruppen As Fremgangsmaade og apparat til bestemmelse af et individs foelsomhed over for uv-lys og dosimeter til maaling af uv-straaledosis
US4894547A (en) * 1987-09-28 1990-01-16 Yale University Optical method and apparatus for detecting and measuring aging, photoaging, dermal disease and pigmentation in skin
IL108350A0 (en) * 1993-01-19 1994-04-12 Computer Aided Medical Inc Diagnostic imaging method and device
WO2001034027A1 (en) * 1999-11-10 2001-05-17 The University Of Toledo System and method for skin lesion examination using multi-spectral, multi-source transillumination
US7233693B2 (en) 2003-04-29 2007-06-19 Inforward, Inc. Methods and systems for computer analysis of skin image
DE602005019769D1 (de) 2004-10-22 2010-04-15 Shiseido Co Ltd Tungssystem
US8548570B2 (en) * 2004-11-29 2013-10-01 Hypermed Imaging, Inc. Hyperspectral imaging of angiogenesis
US20090245603A1 (en) * 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
KR100905571B1 (ko) * 2007-07-19 2009-07-02 삼성전자주식회사 생체 정보 측정 장치
US8898179B2 (en) 2008-03-21 2014-11-25 Trimble Navigation Limited Method for extracting attribute data from a media file

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017209280A (ja) * 2016-05-25 2017-11-30 パナソニックIpマネジメント株式会社 肌診断装置および肌診断方法
JP2016190063A (ja) * 2016-06-23 2016-11-10 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2018171516A (ja) * 2018-08-06 2018-11-08 カシオ計算機株式会社 画像処理方法、診断装置、並びにプログラム
EP3933851A1 (en) * 2020-07-02 2022-01-05 The Gillette Company LLC Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin laxity
US20220000417A1 (en) * 2020-07-02 2022-01-06 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin laxity
US11801610B2 (en) 2020-07-02 2023-10-31 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a hair growth direction value of the user's hair
US11890764B2 (en) 2020-07-02 2024-02-06 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a hair density value of a user's hair
CN116385760A (zh) * 2023-01-15 2023-07-04 西安电子科技大学广州研究院 一种皮肤烟酸反应分类设备
CN116385760B (zh) * 2023-01-15 2024-04-30 西安电子科技大学广州研究院 一种皮肤烟酸反应分类设备

Also Published As

Publication number Publication date
KR20140112046A (ko) 2014-09-22
WO2013098512A1 (fr) 2013-07-04
FR2984721A1 (fr) 2013-06-28
FR2984721B1 (fr) 2014-08-22

Similar Documents

Publication Publication Date Title
JP2015500722A (ja) 皮膚ゾーンにおける皮膚症状を検出して数量化する方法および装置
Fernandes et al. A novel nonintrusive decision support approach for heart rate measurement
US10413180B1 (en) System and methods for automatic processing of digital retinal images in conjunction with an imaging device
US9317761B2 (en) Method and an apparatus for determining vein patterns from a colour image
Cavalcanti et al. A two-stage approach for discriminating melanocytic skin lesions using standard cameras
KR20200116107A (ko) 의료적 이미지화 절차의 자동화된 모니터링
JP5165732B2 (ja) マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム
JP4599520B2 (ja) マルチスペクトル画像処理方法
EP3959724A1 (en) Apparatus and method for visualizing cosmetic skin attributes
WO2008109322A1 (en) Method and apparatus for simulation of facial skin aging and de-aging
JP2013534851A (ja) 皮膚ゾーンにおける皮膚症状の検出および量子化方法および装置
JP5405994B2 (ja) 画像処理装置、画像処理方法、画像処理システム、肌評価方法
KR20160086687A (ko) 얼굴의 온도분포 특이성을 이용한 상태 분석 방법
Wang et al. Accurate disease detection quantification of iris based retinal images using random implication image classifier technique
US20230363697A1 (en) Acne severity grading methods and apparatuses
Liu et al. Automatic detection and classification of dental fluorosis in vivo using white light and fluorescence imaging
JP3548473B2 (ja) 眼底画像の動静脈識別方法、記録媒体及び装置
TWI430776B (zh) 智慧型影像膚質檢測系統及方法
US20210209755A1 (en) Automatic lesion border selection based on morphology and color features
JP2007252892A (ja) 皮膚表面の立体形状の目視評価値の推定方法
CN116092157A (zh) 一种智能面舌诊方法、系统及智能设备
Rimskaya et al. Development Of A Mobile Application For An Independent Express Assessment Of Pigmented Skin Lesions
JP2005345310A (ja) 血液健康支援システム
KR20210074720A (ko) 자가 두피 진단 시스템 및 방법
Heyi et al. Development of a retinal image segmentation algorithm for the identifying prevalence markers of diabetic retinopathy using a neural network