JP2017209280A - 肌診断装置および肌診断方法 - Google Patents

肌診断装置および肌診断方法 Download PDF

Info

Publication number
JP2017209280A
JP2017209280A JP2016104307A JP2016104307A JP2017209280A JP 2017209280 A JP2017209280 A JP 2017209280A JP 2016104307 A JP2016104307 A JP 2016104307A JP 2016104307 A JP2016104307 A JP 2016104307A JP 2017209280 A JP2017209280 A JP 2017209280A
Authority
JP
Japan
Prior art keywords
skin
image
value
luminance value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016104307A
Other languages
English (en)
Other versions
JP2017209280A5 (ja
JP6793325B2 (ja
Inventor
孝治 堀内
Koji Horiuchi
孝治 堀内
忠則 手塚
Tadanori Tezuka
忠則 手塚
冨田　裕人
Hiroto Tomita
裕人 冨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016104307A priority Critical patent/JP6793325B2/ja
Priority to EP17802511.0A priority patent/EP3466324A4/en
Priority to US16/303,430 priority patent/US11069057B2/en
Priority to PCT/JP2017/016128 priority patent/WO2017203913A1/ja
Priority to CN201780031309.9A priority patent/CN109152535B/zh
Publication of JP2017209280A publication Critical patent/JP2017209280A/ja
Publication of JP2017209280A5 publication Critical patent/JP2017209280A5/ja
Application granted granted Critical
Publication of JP6793325B2 publication Critical patent/JP6793325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dermatology (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】より安定した肌診断を行う事ができる肌診断装置を提供する事。【解決手段】肌診断装置１００は、肌を撮影して得られる肌画像３１０を取得する画像取得部４１０と、取得された肌画像３１０から、肌の変色領域の色の濃さのレベルを示す指標値を算出する画像解析部４２０と、算出された指標値と、肌画像３１０のコントラストの大きさとに基づいて、閾値ＢＴｈを決定する閾値決定部４３０と、決定された閾値ＢＴｈと、肌画像３１０の輝度値データ３２０を当該輝度値データ３２０の平均輝度値で正規化して得られる正規化輝度値データ３３０とを比較する事により、肌に対する診断を行う肌診断部４４０と、を有する。【選択図】図１５

Description

本開示は、肌に対する診断を行う肌診断装置および肌診断方法に関する。
従来、顔等の肌に対する診断を行う各種技術が提案されている（例えば特許文献１参照）。特許文献１に記載の技術（以下「従来技術」という）は、肌を撮影して得られる肌画像について、濃度分布を作成し、閾値と各部の濃度とを比較する事により、肌のシミ（メラニン）等の変色領域を抽出する。また、従来技術は、手動操作による上記閾値の設定および変更を受け付ける。このような従来技術によれば、肌にプローブ等を接触させる事なく、変色領域の抽出を含む肌に対する診断（以下、適宜「肌診断」という）を行う事ができる。
特開２００４−１０５７４８号公報 国際公開第２０１４／２０８０６７号
間下以大、向川康博、八木康史、「多層表面下散乱モデルによる皮膚の異方性散乱と不均一性の表現」、画像の認識・理解シンポジウム（ＭＩＲＵ２００９）、２００９年７月、ＩＳ２−５３：１２１６〜１２２２
しかしながら、肌を撮影した画像（以下「肌画像」という）の各所の濃度（輝度）は、肌に対する照明の状態、撮影感度、および地の肌の色等に応じて大きく変化するため、閾値が一定であっても、撮影環境に応じて肌診断の結果には差異が生じる。したがって、従来技術による肌診断は、撮影環境の影響を受け易い。
本開示の目的は、より安定した肌診断を行う事ができる肌診断装置および肌診断方法を提供する事である。
本開示の肌診断装置は、肌を撮影して得られる肌画像を取得する画像取得部と、取得された前記肌画像から、前記肌の変色領域の色の濃さのレベルを示す指標値を算出する画像解析部と、算出された前記指標値と、前記肌画像のコントラストの大きさとに基づいて、閾値を決定する閾値決定部と、決定された前記閾値と、前記肌画像の輝度値データを当該輝度値データの平均輝度値で正規化して得られる正規化輝度値データとを比較する事により、前記肌に対する診断を行う肌診断部と、を有する。
本開示の肌診断方法は、肌を撮影して得られる肌画像を取得するステップと、取得された前記肌画像から、前記肌の変色領域の色の濃さのレベルを示す指標値を算出するステップと、算出された前記指標値と、前記肌画像のコントラストの大きさとに基づいて、閾値を決定するステップと、決定された前記閾値と、前記肌画像の輝度値データを当該輝度値データの平均輝度値で正規化して得られる正規化輝度値データとを比較する事により、前記肌に対する診断を行うステップと、を有する。
本開示によれば、より安定した肌診断を行う事ができる。
本開示の実施の形態１に係る肌診断装置の使用状態の一例を示す図 実施の形態１における肌診断の概略の一例を示す図 閾値が固定値の場合の、シミが濃い肌に対する肌診断の様子の一例を示す図 閾値が固定値の場合の、シミが薄い肌に対する肌診断の様子の一例を示す図 閾値が固定値で環境が明るい場合の、シミが濃い肌に対する肌診断の様子の例を示す図 閾値が固定値で環境が明るい場合の、シミが薄い肌に対する肌診断の様子の例を示す図 コントラストに応じて閾値を決定した場合の、シミが濃い肌に対する肌診断の様子の例を示す図 コントラストに応じて閾値を決定した場合の、シミが薄い肌に対する肌診断の様子の例を示す図 閾値がコントラストに応じた可変値で環境が明るい場合の、シミが濃い肌に対する肌診断の様子の例を示す図 閾値がコントラストに応じた可変値で環境が明るい場合の、シミが薄い肌に対する肌診断の様子の例を示す図 シミが薄い肌の輝度値ヒストグラムの一例を示す図 シミが濃い肌の輝度値ヒストグラムの一例を示す図 実施の形態１における、閾値をコントラストおよび歪度に応じて決定した場合の、シミが濃い肌に対する肌診断の様子の例を示す図 実施の形態１における、閾値をコントラストおよび歪度に応じて決定した場合の、シミが薄い肌に対する肌診断の様子の例を示す図 実施の形態１に係る肌診断装置の構成の一例を示すブロック図 実施の形態１に係る肌診断装置の動作の一例を示すフローチャート 実施の形態１におけるブロックと歪度算出対象領域との関係の一例を示す図 本開示の実施の形態２に係る肌診断装置の外観の一例を示す図 実施の形態２に係る肌診断装置の使用状態の一例を示す図 実施の形態２に係る肌診断装置の構成の一例を示すブロック図 実施の形態２における肌色タイプに応じた照明制御の一例を示す図 実施の形態２における肌色タイプに応じた閾値係数決定の一例を示す図 実施の形態２に係る肌診断装置の動作の一例を示すフローチャート 実施の形態２の変形例に係る肌診断装置の外観の一例 実施の形態２の変形例に係る肌診断装置の使用状態の一例を示す図
以下、本開示の各実施の形態について、図面を参照して詳細に説明する。本開示の実施の形態１は、撮影照明の制御を行わない場合の肌診断装置の態様の一例であり、本開示の実施の形態２は、撮影照明の制御を行う場合の肌診断装置の態様の一例である。
（実施の形態１）
＜装置の概要＞
まず、本実施の形態に係る肌診断装置の概要について説明する。
図１は、本実施の形態に係る肌診断装置の使用状態の一例を示す図である。
図１に示すように、肌診断装置１００は、例えば、デジタルカメラ等の撮像部１１０と、タッチパネル付き液晶ディスプレイ等の表示部１２０とを、互いに近接して同じ方向に向けて配置した、卓上設置型の装置である。なお、肌診断装置１００は、必ずしも肌診断専用の装置ではなくてもよく、スマートフォン、タブレット型端末、およびパーソナルコンピュータ等、汎用の装置であってもよい。
肌診断装置１００は、撮像部１１０において、ユーザの顔２００を撮影し、表示部１２０において、撮影された画像を左右に反転させた鏡像画像１３０を表示する。
このとき、肌診断装置１００は、撮影された画像または鏡像画像１３０を解析する事により、顔２００の肌に対する診断（以下「肌診断」という）を行い、診断結果を併せて表示する。例えば、肌診断装置１００は、鏡像画像１３０に基づいて肌のシミ部分を判定し、判定されたシミ部分を示すシミ画像１３１を、鏡像画像１３０に重畳（マッピング）して表示する。
図２は、肌診断装置１００が行う肌診断の概略の一例を示す図である。
図２に示すように、肌診断装置１００は、まず、鏡像画像１３０のうち、肌が映っている領域（以下「肌領域」または「肌画像」という）３１０の各画素の輝度値を、所定の座標系の座標値と対応付けられた輝度値データ３２０として取得する（Ｓ１０１０）。かかる座標系は、肌診断装置１００により、鏡像画像１３０または肌画像３１０を基準として顔の肌（または肌画像）に沿って設定される、３次元または２次元の座標系である。
そして、肌診断装置１００は、肌画像３１０から取得された輝度値データ３２０を、複数のブロックに分割し、ブロック毎に、輝度値データの平均値が所定の値となるようにする正規化を行う（Ｓ１０２０）。かかる正規化は、例えば、所定の値を輝度値データの平均値で除して得られる値（ゲイン、１以上の値および１以下の値を含む）を、各輝度値に乗じることにより行われる。また、ブロックの区切りは、例えば、肌画像３１０を等間隔のマトリクス状に区切ったときのブロックの区切りに対応している。この結果、肌画像３１０のブロック毎に、正規化された輝度値データ（以下「正規化輝度値データ」という）３３０が得られる。
また、肌診断装置１００は、肌画像３１０の輝度値データ３２０から、肌画像３１０の輝度値ヒストグラム３４０を生成する（Ｓ１０３０）。輝度値ヒストグラム３４０は、輝度値を階級とし、肌画像３１０における各輝度値の頻度を度数とするヒストグラムである。
そして、肌診断装置１００は、例えば以下の式（１）を使用して、輝度値ヒストグラム３４０の輝度分布の対称性の度合いを示す歪度Ｓ（Skewness）を算出する（Ｓ１０４０）。
Figure 2017209280
 ここで、ｉは、肌画像３１０の各ピクセルの番号であり、ｎは、肌画像３１０のピクセル数（ｉの最大値）である。また、ｘｉは、番号ｉのピクセルの正規化された輝度値であり、ｘバーは、肌画像３１０の全ピクセルの正規化された輝度値の平均値である。
そして、肌診断装置１００は、所定の変換ルール３５０に従って、算出された歪度Ｓから閾値係数αを決定する（Ｓ１０５０）。更に、肌診断装置１００は、決定された閾値係数αを使用して、正規化輝度値データ３３０毎に、例えば以下の式（２）を使用して、閾値ＢＴｈを算出する（Ｓ１０６０）。
ＢＴｈ ＝ ＢＡ−ｓ×α ・・・（２）
ここで、ＢＡは、正規化輝度値データ３３０における輝度値の平均値（以下「平均輝度値」という）であり、ｓは、正規化輝度値データ３３０における輝度値の標準偏差である。なお、元のブロックの輝度値データの平均値で正規化する事により正規化輝度値データ３３０が生成されるため、平均輝度値ＢＡは一定の値となる。
そして、肌診断装置１００は、算出された閾値ＢＴｈと正規化輝度値データ３３０の値とを比較し、正規化輝度値データ３３０の値が閾値ＢＴｈ未満の領域（座標値）３６０を、シミ部分３７０として抽出する（Ｓ１０７０）。
すなわち、肌診断装置１００は、肌画像３１０の輝度値データから歪度Ｓを算出し、歪度Ｓに基づいて閾値ＢＴｈを決定し、閾値ＢＴｈよりも輝度値が低い領域をシミ領域と判定する。
＜歪度を使用する事の意義＞
ここで、歪度Ｓを使用する事の意義について説明する。比較として、まず、歪度Ｓを使用せずに、正規化輝度値データ３３０の比較対象となる閾値ＢＴｈを固定値とした場合について説明する。
図３は、閾値ＢＴｈを固定値とした場合における、シミが濃い肌に対する肌診断の様子の一例を示す図である。また、図４は、閾値を固定値とした場合における、シミが薄い肌に対する肌診断の様子の一例を示す図である。
図３および図４において、肌画像３１０ＮＤ、３１０ＮＬは、それぞれ、基準となる撮影環境（以下「基準環境」という）において撮影された、濃いシミ３１１ＮＤを有する肌の画像および薄いシミ３１１ＮＬを有する肌の画像であり、目視の印象に近い状態で示したものである。
図３および図４に示すように、薄いシミ３１１ＮＬの肌画像３１０ＮＬのコントラスト（正規化輝度値データ３３０ＮＬの振れ幅）は、濃いシミ３１１ＮＤの肌画像３１０ＮＤのコントラスト（正規化輝度値データ３３０ＮＤの振れ幅）に比べて小さい。
ここで、肌画像３１０ＮＤ、３１０ＮＬの両方において、目視で認識される濃さのシミ３１１が、できるだけ漏れなくかつ誤りなく検出されるような固定値の閾値ＢＴｈを、実験等に基づいて決定したとする。この場合、肌画像３１０ＮＤ、３１０ＮＬの正規化輝度値データ３３０ＮＤ、３３０ＮＬと閾値ＢＴｈとの比較により抽出されるシミ部分３７０ＮＤ、３７０ＮＬは、当然ながら、目視で認識されるシミ３１１ＮＤ、３１１ＮＬの領域とほぼ一致する。すなわち、シミが程良く検出される。
ところが、基準環境よりも明るい環境では、シミ３１１と周辺の肌部分との間のコントラストが大きくなり、シミ３１１の検出結果に変化が生じる。
図５および図６は、基準環境よりも明るい（照度が高い）環境における肌診断の様子の例を示す図であり、図３および図４に対応するものである。
明るい環境の場合、図５および図６に示すように、肌画像３１０ＨＤ、３１０ＨＬは、図３および図４に示す肌画像３１０ＮＤ、３１０ＮＬに比べて全体的に輝度が高くなる。ところが、シミ３１１ＨＤ、３１１ＨＬは周囲の肌に比べて色が濃いため、その相対的な輝度変化が小さくなる。このため、シミ３１１ＨＤ、３１１ＨＬと他の肌部分３１２ＨＤ、３１２ＨＬとの間の輝度差は大きくなり、正規化輝度値データ３３０ＨＤ、３３０ＨＬの振れ幅（コントラスト）も大きくなる。
その結果、図５および図６に示すように、基準環境の場合と同じ固定値の閾値ＢＴｈを用いると、輝度値が閾値ＢＴｈ未満となる領域が増え、より多くの領域がシミ部分３７０ＨＤ、３７０ＨＬとして抽出される。すなわち、シミが過剰に検出される。
そこで、正規化輝度値データ３３０の振れ幅が大きいほどシミの検出がより抑制されるように、例えば、以下の式（３）を使用して、閾値ＢＴｈを決定する。
ＢＴｈ ＝ ＢＡ−ｓ×β ・・・（３）
ここで、βは、閾値係数であり、シミが濃い肌の肌画像３１０ＮＤ、３１０ＨＤおいてシミが程良く検出されるような値であり、実験等により求められた固定値である。
図７および図８は、上述の式（３）を用いて閾値ＢＴｈを決定した場合における肌診断の様子の例を示す図であり、図３および図４に対応するものである。
上述の式（３）では、正規化輝度値データ３３０の標準偏差ｓが大きいほど閾値ＢＴｈは低くなり、シミが検出され難くなる。したがって、濃いシミ３１１ＮＤの肌画像３１０ＮＤでは、程好い量でシミ部分３７０ＮＤが抽出される。
ところが、薄いシミ３１１ＮＬの肌画像３１０ＮＬの正規化輝度値データ３３０ＮＬの標準偏差ｓは、濃いシミ３１１ＮＤの肌画像３１０ＮＤの正規化輝度値データ３３０ＮＤの標準偏差ｓに比べて小さいため、閾値ＢＴｈは相対的に高くなる。
その結果、図７および図８に示すように、濃いシミ３１１ＮＤからは、程良い量のシミ部分３７０ＮＤが抽出されるのに対し、薄いシミ３１１ＮＬからは、やや多めのシミ部分３７０ＮＬが抽出される。すなわち、薄いシミ３１１ＮＬは、やや過剰に検出される。この傾向は、明るい環境においても同様である。
図９および図１０は、基準環境よりも明るい（照度が高い）環境において、上述の式（３）を用いて閾値ＢＴｈを決定した場合における肌診断の様子の例を示す図であり、図５および図６に対応するものである。図１０に示すように、照明が明るい場合においても、薄いシミ３１１ＨＬは、やや過剰に検出される。
そこで、本実施の形態に係る肌診断装置１００は、標準偏差ｓに乗じる閾値係数（式（２）におけるα）を、シミ３１１がより薄いほどより低い値となるように決定する事により、薄いシミ３１１ＨＬの過剰検出を低減する。
ところが、シミ３１１の色の濃さのレベルを、どのようにして判定するかが課題となる。そこで、本実施の形態に係る肌診断装置１００は、図２で説明したように、正規化輝度値データ３３０毎に歪度Ｓを算出し、算出結果に基づいて変数である閾値係数αを決定する。これにより、肌診断装置１００は、シミ３１１の色の濃さによって生じる抽出精度の差を低減する。
ここで、シミ３１１の色の濃さと歪度Ｓとの関係について説明する。
図１１は、シミ３１１が薄い場合の輝度値ヒストグラム３４０の一例を示す図である。また、図１２はシミ３１１が濃い場合の輝度値ヒストグラム３４０の一例を示す図である。
図１１および図１２に示すように、輝度値ヒストグラム３４０は、肌のシミ３１１の無い部分の輝度値成分３４１に頂点を有する、山状の形状となる。肌画像３１０の輝度値ヒストグラム３４０は、シミ３１１が少ない場合、輝度値軸において対称な、正規分布に近い形状であると仮定される（例えば、非特許文献１参照）。
ところが、シミ３１１の存在によりかかる対称性は失われていく。そして、シミ３１１が濃いほど、シミ部分の輝度値成分３４２の影響がより強くなり、輝度値ヒストグラム３４０は頂点よりも輝度値が低い側の成分が増大する。その結果、シミ３１１が濃いほど、輝度値ヒストグラム３４０対称性がより大きく低減する。
一方、上述の式（１）で表される歪度Ｓは、輝度値ヒストグラム３４０の輝度値軸方向における対称性（輝度分布の対称性）の度合いを示す指標値である。歪度Ｓは、ゼロまたは負の値を取り、対称性が高いほど（非対称性が低いほど）ゼロに近付き、対称性が低いほど（非対称性が高いほど）減少する（負の値の絶対値が増大する）。
したがって、歪度Ｓが低いほど、対応する領域のシミ３１１が濃いと言える。肌診断装置１００は、かかる対応関係を利用して、歪度Ｓが高いほどより高い値となるように、閾値係数αを決定する。
肌診断装置１００は、例えば、正規化輝度値データ３３０毎に、歪度Ｓを算出し、歪度Ｓ−閾値関数αの一次関数の回帰式である変換ルール３５０（図２参照）に従って、歪度Ｓを閾値関数αへと変換する。変換ルール３５０は、例えば、歪度Ｓに第１の正の値を加算した後に第２の正の値を乗じて得られる値を、閾値係数αとする内容である。そして、肌診断装置１００は、かかる閾値関数αから、上述の式（２）を使用して閾値ＢＴｈを算出する。
図１３および図１４は、閾値ＢＴｈを歪度に応じて決定した場合における肌診断の様子の一例を示す図であり、図９および図１０に対応するものである。
薄いシミ３１１ＨＬの場合、歪度Ｓは高い（ゼロに近い）ため、閾値関数αの値は大きい値となり、平均輝度値ＢＡから差し引かれる式（２）の右辺の第２項（ｓ×α）も大きくなる。この結果、図１４に示すように、回帰式を適切に設定することで、算出される閾値ＢＴｈは、図１０で用いたＢＴｈよりも小さくなり、程良い量のシミ部分３７０ＨＬが抽出される。
このように、肌診断装置１００は、歪度Ｓに基づいて閾値ＢＴｈを調整する事により、様々な濃さのシミ３１１を、撮影環境による影響を抑え、程好い量で抽出する事ができる。
＜装置の構成＞
次に、肌診断装置１００の構成について説明する。
図１５は、肌診断装置１００の構成の一例を示すブロック図である。
図１５において、肌診断装置１００は、画像取得部４１０、画像解析部４２０、閾値決定部４３０、肌診断部４４０、および情報出力部４５０を有する。
画像取得部４１０は、肌を撮影して得られる肌画像３１０を取得し、取得した肌画像３１０を画像解析部４２０へ出力する。画像取得部４１０は、例えば、上述の撮像部１１０（図１参照）を含み、上述のタッチパネルにおけるユーザ操作等を受けて、ユーザの顔２００を撮影し、顔２００の肌画像３１０を含む撮影画像を左右に反転させて、鏡像画像１３０を画像解析部４２０へ出力する。
画像解析部４２０は、例えば、鏡像画像１３０から、パターン認識技術や色解析技術等の公知の画像解析手法により、顔の領域、および、目、鼻、口等の顔部品を抽出し、顔の領域から顔部品の領域を除いた領域を、肌画像３１０として抽出する。また、画像解析部４２０は、抽出された肌画像３１０に基づいて、例えば上述の式（１）を使用して、肌画像３１０の歪度Ｓを算出する。
そして、画像解析部４２０は、鏡像画像１３０、抽出された肌画像３１０（または、鏡像画像１３０における肌領域の範囲を示す情報）、および算出された歪度Ｓを、閾値決定部４３０へ出力する。なお、歪度Ｓの算出は、後段の閾値決定部４３０において行われてもよい。
閾値決定部４３０は、歪度Ｓに基づき、所定の変換ルール３５０（図１参照）に従って、閾値係数αを決定すると共に、肌画像３１０から、ブロック毎の正規化輝度値データ３３０を生成し、各正規化輝度値データ３３０の標準偏差ｓを算出する。そして、閾値決定部４３０は、決定された閾値係数αおよび算出された標準偏差ｓに基づき、例えば上述の式（２）を使用して、閾値ＢＴｈを算出する。
そして、閾値決定部４３０は、鏡像画像１３０、各ブロックの正規化輝度値データ３３０、および算出された閾値ＢＴｈを、肌診断部４４０へ出力する。なお、ブロック毎の正規化輝度値データ３３０の生成および標準偏差ｓの算出は、画像解析部４２０において行われてもよい。
肌診断部４４０は、肌画像３１０のブロック毎に、正規化輝度値データ３３０の各値と閾値ＢＴｈとを比較し、輝度値が閾値ＢＴｈ未満である部分を、シミ部分であると判定する。そして、肌診断部４４０は、鏡像画像１３０、および、鏡像画像１３０におけるシミ部分の領域を示す情報（以下「シミ領域情報」という）を、情報出力部４５０へ出力する。
なお、肌診断部４４０は、輝度値が閾値ＢＴｈ未満である連続した一まとまりの領域が、所定の面積以上（所定の画素数以上）である事を条件として、当該領域をシミ部分であると判定してもよい。これにより、画像ノイズによる影響を低減した状態で、シミ検出を行う事ができる。
情報出力部４５０は、シミ領域情報に基づき、シミ部分を示すシミ画像１３１を生成して、鏡像画像１３０の肌領域（肌画像３１０）に重畳して表示する（図１参照）。情報出力部４５０は、例えば、上述の表示部１２０（図１参照）を含む。
また、肌診断装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行する事により実現される。
このような構成により、肌診断装置１００は、肌画像３１０の歪度Ｓに応じて、肌画像３１０の各部の輝度値を比較する対象となる閾値ＢＴｈを調整して、シミ部分３７０の抽出を行う事ができる。
＜装置の動作＞
次に、肌診断装置１００の動作について説明する。
図１６は、肌診断装置１００の動作の一例を示すフローチャートである。
ステップＳ２０１０において、画像取得部４１０は、撮影された画像を左右に反転させた鏡像画像１３０を取得する。
ステップＳ２０２０において、画像解析部４２０は、鏡像画像１３０から、顔部品および肌領域（肌画像３１０）を取得する。
ステップＳ２０３０において、画像解析部４２０は、肌領域（肌画像３１０）の輝度値データから、歪度Ｓを算出する。なお、歪度の算出に使用する肌領域（以下「歪度算出対象領域」という）は、複数のブロックについて共通（例えば、全ての肌領域）であってもよいし、ブロック毎に異なっていてもよい。但し、画像解析部４２０は、肌画像３１０のうち、ブロックを含み当該ブロックよりも大きい画像範囲を、当該ブロックについての歪度算出対象領域とする事が望ましい。
図１７は、ブロックと当該ブロックについての歪度算出対象領域との関係の一例を示す図である。
図１７に示すように、画像解析部４２０は、ブロック３１３を包含し、かつ、当該ブロック３１３よりも大きくなるように、歪度算出対象領域３１４を設定する。
図１６のステップＳ２０４０において、閾値決定部４３０は、算出された歪度Ｓに基づき、変換ルール３５０および式（２）に従って、閾値ＢＴｈを決定する。かかる閾値ＢＴｈは、上述の通り、歪度Ｓが高いほど（シミ３１１が薄いほど）、かつ、肌画像３１０のコントラストが大きいほど（撮影環境が明るいほど）、より低い値となる。
ステップＳ２０５０において、肌診断部４４０は、ブロック毎に、肌領域（肌画像３１０）の各画素の輝度値を、決定された閾値ＢＴｈと比較する。
ステップＳ２０６０において、肌診断部４４０は、上記比較の結果に基づいて、肌画像３１０（鏡像画像１３０）のシミ部分を判定する。
ステップＳ２０７０において、情報出力部４５０は、シミ部分を示すシミ画像を、肌画像３１０（鏡像画像１３０）に重畳して表示する。
そして、ステップＳ２０８０において、画像取得部４１０は、ユーザ操作等により処理の終了を指示されたか否かを判定する。画像取得部４１０は、処理の終了を指示されていない場合（Ｓ２０８０：ＮＯ）、処理をステップＳ２０１０へ戻す。また、画像取得部４１０は、処理の終了を指示された場合（Ｓ２０８０：ＹＥＳ）、一連の処理を終了する。
なお、鏡像画像１３０が時系列の画像データ、つまり映像（動画）であるとき、肌診断部４４０は、シミ部分を示す領域を、顔部品や顔特徴点（目尻や口角等の顔の特徴となる点）を基準とした相対座標系の値に変換して保持してもよい。この場合、肌診断装置１００は、例えば、２周目以降の処理においてはステップＳ２０３０〜Ｓ２０７０を省略し、ユーザの顔２００の位置、向き、表情の変化に追従して、シミ画像を逐次、移動および変形させる。
このような動作により、肌診断装置１００は、肌画像３１０の歪度Ｓに応じて、肌画像３１０の各部の輝度値を比較する対象となる閾値ＢＴｈを調整して、シミ部分３７０の抽出を行う事ができる。
＜本実施の形態の効果＞
以上のように、本実施の形態に係る肌診断装置１００は、肌を撮影して得られる肌画像３１０を取得する画像取得部４１０と、取得された肌画像３１０から、肌の変色領域の色の濃さのレベルを示す指標値（歪度Ｓ）を算出する画像解析部４２０とを有する。また、肌診断装置１００は、算出された指標値（歪度Ｓ）と、肌画像３１０のコントラストの大きさ（標準偏差ｓ）とに基づいて、閾値ＢＴｈを決定する閾値決定部４３０を有する。そして、肌診断装置１００は、決定された閾値ＢＴｈと、肌画像３１０の輝度値データ３２０を当該輝度値データ３２０の平均輝度値で正規化して得られる正規化輝度値データ３３０とを比較する事により、肌に対する診断を行う肌診断部４４０を有する。
このような構成により、より安定した肌診断を行う事ができる。
＜本実施の形態の変形例＞
なお、画像解析部４２０が算出する、肌の変色領域の色の濃さのレベルを示す指標値や、肌画像のコントラストの大きさは、上述の歪度Ｓおよび標準偏差ｓに限定されない。例えば、肌の変色領域の色の濃さのレベルを示す指標値としては、肌画像の画素値の最小値、肌画像の画素値の平均値と最小値との差分、および、平均輝度値よりも高い輝度値を有する画素の数から平均輝度値以下の輝度値を有する画素の数を差し引いた値を採用する事ができる。また、肌画像のコントラストの大きさとしては、肌画像の画素値の最大値と最小値との差分を採用する事ができる。
また、色の濃さのレベルを示す指標値およびコントラストの大きさに基づいて正規化輝度値データとの比較対象となる閾値ＢＴｈの決定手法は、上述の例に限定されない。例えば、閾値決定部４３０は、以下の式（４）を用いて、閾値ＢＴｈを決定してもよい。
ＢＴｈ ＝ α×（色の濃さのレベルを示す指標値）＋β×（コントラストの大きさ）
・・・（４）
なお、係数α、βは、例えば、肌画像と、肌画像のうち主観評価等によりシミと判定された領域をラベリングした画像のセットを用いて、公知の学習手法を用いて決定される値である。
また、輝度値を取得する画像領域の単位は、必ずしも画素でなくてもよく、複数の画素により構成される、面積が一定の小領域であってもよい。例えば、輝度値を取得する画像領域の単位は、上述のブロックを更にマトリクス状に分割して得られる小ブロックであってもよい。この場合、小ブロックの輝度値としては、例えば、小ブロック内の各画素の輝度値の平均値を採用することができる。
また、肌診断の内容および診断結果の提示手法は、上述の例に限定されない。例えば、肌診断部４４０は、検出されたシミ部分の量や濃さに基づいて、肌の透明感を示す肌状態指標値を算出し、算出された値の分布を示す、肌の指標値マップを作成してもよい。そして、情報出力部４５０は、生成された指標値マップを示す画像を、肌画像３１０に重畳して表示してもよい。また、情報出力部４５０は、顔全体の評価結果を１００点満点等で表示してもよい。更に、情報出力部４５０は、肌診断結果に基づいて、スキンケア情報、化粧品情報、食生活改善情報等、各種の情報を提示してもよい（例えば、特許文献２参照）。
また、肌診断装置１００は、診断結果を含む各種データを内部で保存、あるいは、外部のデータベースに送信して蓄積し、保存／蓄積された情報のログ管理を行ってもよい。さらに、肌診断装置１００は、最新のデータと過去のデータとの比較、および、比較結果の提示を行ってもよい。
また、検出の対象となる変色領域は、シミに限定されるものではなく、ホクロ、痣等、肌の領域のうち周囲に比べて所定のレベル以上で明度が低くなっている領域であってもよい。更に、検出の対象となる変色領域は、必ずしも視認され易い変色領域でなくてもよく、例えば、皮膚の奥に存在する潜在的な変色領域を含んでもよい。また、「輝度値」は、ＲＧＢのＲ値等、他の各種画素値に置き換えてもよい。更に、肌診断の内容に応じて、肌診断装置１００は、偏光フィルタ、波長フィルタ等を使用して、肌画像の取得を行ってもよい。
また、肌診断装置１００の構成の一部は、当該装置の構成の他の部分と物理的に離隔していてもよい。この場合、それらの離隔した複数の部分は、互いに通信を行うための通信部をそれぞれ備える必要がある。
（実施の形態２）
各図において、実施の形態１の各図と同一の部分には同一符号／ステップ番号を付し、これについての説明を適宜省略する。
＜装置の概要＞
まず、本実施の形態に係る肌診断装置の概要について説明する。
図１８は、本実施の形態に係る肌診断装置の外観の一例を示す図である。また、図１９は、本実施の形態に係る肌診断装置の使用状態の一例を示す図である。
図１８に示すように、本実施の形態に係る肌診断装置１００ａは、表示部１２０の左右に、照明部１４０ａＲ、１４０ａＬ（以下、適宜「照明部１４０ａ」という）を配置している。照明部１４０ａは、肌診断の対象となるユーザの顔２００を、撮像部１１０が撮像を行うタイミングで照明する。なお、後述するが、照明部１４０ａは、出力調整が可能となっている。
また、肌診断装置１００ａは、表示部１２０に、鏡像画像１３０だけでなく、肌色タイプ選択画面１５０ａを表示する。肌色タイプ選択画面１５０ａは、鏡像画像１３０に映し出されるユーザの肌色タイプを選択するためのユーザインタフェースであり、「暗い」（Dark）、「中間」（Intermediate）、および「明るい」（Light）の３つの肌色タイプを選択肢として表示する。
肌診断装置１００ａは、例えば、肌色タイプ選択画面１５０ａを介して、ユーザの顔２００の肌色タイプを取得し、取得された肌色タイプに応じて、照明部１４０ａの光量、および、歪度Ｓから閾値ＢＴｈを決定する際の変換ルール３５０を変化させる。
＜装置の構成＞
次に、肌診断装置１００ａの構成について説明する。
図２０は、肌診断装置１００ａの構成の一例を示すブロック図であり、実施の形態１の図１５と対応するものである。
図２０に示すように、肌診断装置１００ａは、図１５に示す構成に加えて、肌色タイプ取得部４６０ａおよび照明制御部４７０ａを有する。また、肌診断装置１００ａは、図１５に示す閾値決定部４３０に代えて、閾値決定部４３０ａを有する。
肌色タイプ取得部４６０ａは、肌診断の対象となる肌の肌色タイプを取得し、取得された肌色タイプを、照明制御部４７０ａおよび画像解析部４２０へ通知する。肌色タイプ取得部４６０ａは、例えば、上述の肌色タイプ選択画面１５０ａ（図１８参照）を生成して表示部１２０に表示させ、肌色タイプ選択画面１５０ａの肌色タイプの選択肢に対して行われた選択操作を検出する事により、肌色タイプを取得する。
照明制御部４７０ａは、通知された肌色タイプに応じて、肌診断の対象となる肌に対する照明の光量（明るさ）を変更する。照明制御部４７０ａは、例えば、上述の照明部１４０ａ（図１８参照）を含み、照明部１４０ａの出力を制御する事により、照明の明るさを変更する。
図２１は、肌色タイプに応じた照明制御の一例を示す図である。
人種、年齢、および生活環境等に応じて、地の肌の色（明度）は大きく異なる。図２１に示すように、肌色タイプ５１１が異なると、たとえシミの色の濃さのレベル（目視で認識される変色領域の濃さの印象）が同等であったとしても、正規化輝度値データ３３０（５１２）の振れ幅（コントラスト）は、肌の色が明るいほど大きく、肌の色が暗いほど小さくなる。正規化輝度値データ３３０の振れ幅が小さいと、ノイズとシミ部分との区別がつき難くなり、正規化輝度値データ３３０の振れ幅が大きいと、輝度値が飽和すると共に、シミ部分が過剰に検出される。
そこで、照明制御部４７０ａは、撮影環境が明るいほど正規化輝度値データ３３０の振れ幅が大きくなり、逆に撮影環境が暗いほど正規化輝度値データ３３０の振れ幅が小さくなる事を利用して、肌色タイプ５１１に応じて明るさを変化させる照明の調整５１３を行う。すなわち、照明制御部４７０ａは、暗い肌色タイプに対しては明るめの照明を行い、中間の肌色タイプに対しては標準の明るさの照明を行い、明るい肌色タイプに対しては標準か暗めの照明を行う。
例えば、照明制御部４７０ａは、肌色タイプ毎に、実験等により予め決定された、照明部１４０ａに対する出力制御信号の値を保持している。照明制御部４７０ａは、通知された肌色タイプに対応する値で信号出力を行う事により、照明を調整する。
このような調整が行われた照明で撮影される肌画像３１０は、シミの色の濃さのレベルが同等であれば、肌色タイプによらず、正規化輝度値データ３３０（５１４）の振れ幅は同等となる。
このような照明制御を行う事により、照明制御部４７０ａは、肌の色の濃さによる影響を低減した正規化輝度値データ３００を得る事ができる。なお、照明制御部４７０ａは、画像取得部４１０との間で、照明のタイミングと撮影のタイミングとを同期させる。また、照明制御部４７０ａは、画像取得部４１０を制御し、撮像部１１０のシャッタースピードや絞り等の照明以外の撮影条件についても、肌色タイプに応じて調整してもよい。
図２０の閾値決定部４３０ａは、実施の形態１の画像解析部４２０と同様の機能を有する。但し、閾値決定部４３０ａは、通知された肌色タイプに応じて、歪度Ｓに基づいて閾値係数αを決定する決定手法（つまり閾値ＢＴｈの決定手法）を変更する。
図２２は、肌色タイプに応じた閾値係数α決定の一例を示す図である。
図２２に示すように、肌色タイプ５２１が異なると、たとえシミの色の濃さのレベル（目視で認識される変色領域の濃さの印象）が同等であったとしても、歪度Ｓ（５２２）は異なってくる。シミが薄い場合の歪度ＳＬおよびシミが濃い場合の歪度ＳＤの両方とも、肌の色が明るいほど負の方向に大きくなる。
そこで、閾値決定部４３０ａは、肌色タイプ５１１に応じて、内容が異なる歪度Ｓ−閾値関数αの一次関数の回帰式５２３（変換ルール３５０）を採用する。すなわち、閾値決定部４３０ａは、歪度Ｓ−閾値関数αの回帰式５２３について、上述の第１の正の値および／または上述の第２の正の値を変化させる事により、閾値関数αを、シミの色の濃さのレベルを基準として正規化する。例えば、閾値決定部４３０ａは、肌色タイプ毎に、実験等により予め決定された、第１の正の値および第２の正の値の組を保持している。
これにより、閾値決定部４３０ａは、肌色タイプによらず、シミの色の濃さのレベルが同等であれば同等の値となるように、閾値関数αを決定する事ができる。
なお、肌診断装置１００ａは、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行する事により実現される。
このような動作により、肌診断装置１００ａは、肌診断の対象となる肌の色の濃さに応じて、肌画像３１０を撮影する際の照明の明るさ、および、歪度Ｓを閾値ＢＴｈに変換する際の変換手法を調整して、シミ部分３７０の抽出を行う事ができる。
＜装置の動作＞
次に、肌診断装置１００ａの動作について説明する。
図２３は、肌診断装置１００ａの動作の一例を示すフローチャートであり、実施の形態１の図１６と対応するものである。
肌診断装置１００ａは、図１６のステップＳ２０２０の処理に先立って、ステップＳ２００１ａ〜Ｓ２０１０ａの処理を行う。また、肌診断装置１００ａは、図１６のステップＳ２０４０の処理に代えて、ステップＳ２０４０ａの処理を行う。
ステップＳ２００１ａにおいて、肌色タイプ取得部４６０ａは、肌診断の対象となる肌の肌色タイプを取得する。
ステップＳ２００２ａにおいて、照明制御部４７０ａは、肌診断の対象となる肌の肌色タイプに基づき、当該肌に対する照明の明るさを決定する。
ステップＳ２０１０ａにおいて、画像取得部４１０は、決定された明るさの照明で撮影を行い、肌画像３１０を取得する。
そして、ステップＳ２０４０ａにおいて、閾値決定部４３０ａは、肌画像３１０から算出された歪度Ｓと、上記肌タイプとに基づいて、閾値ＢＴｈを決定する。
このような動作により、肌診断装置１００ａは、肌診断の対象となる肌の色の濃さに応じて、肌画像３１０を撮影する際の照明の明るさ、および、歪度Ｓを閾値ＢＴｈに変換する際の変換手法を調整して、シミ部分３７０の抽出を行う事ができる。なお、鏡像画像１３０が映像であるとき、実施の形態１での説明と同様に、適宜、ステップＳ２００１ａ、Ｓ２００１ａ、ステップＳ２０３０〜Ｓ２０７０を省略してもよい。
＜本実施の形態の効果＞
以上説明したように、本実施の形態に係る肌診断装置１００ａは、肌の肌色タイプを取得する肌色タイプ取得部４６０ａを有する。そして、肌診断装置１００ａは、取得された肌色タイプに応じて、肌に対する照明の明るさを変更する照明制御部４７０ａと、取得された肌色タイプに応じて、指標値（歪度Ｓ）に基づいて閾値ＢＴｈを決定する手法を変更する閾値決定部４３０ａとを有する。
このような構成により、本実施の形態に係る肌診断装置１００ａは、肌の色の濃さによる影響が少ない肌診断を行う事ができる。
＜本実施の形態の変形例＞
なお、以上説明した実施の形態２では、照明部１４０ａが撮像部１１０に対して相対位置および相対向きが固定である場合について説明したが、照明部１４０ａの態様はこれに限定されない。
図２４は、変形例に係る肌診断装置の外観の一例を示す図であり、図１８に対応するものである。また、図２５は、変形例に係る肌診断装置の使用状態の一例を示す図であり、図１９に対応するものである。
図２４および図２５に示すように、照明部１４０ｂは、例えば、肌診断装置１００ｂの本体に無線または有線により接続された、位置および向きの自由度が高いプロジェクタ装置であってもよい。この場合、照明制御部４７０ａは、撮像部１１０と、照明部１４０ｂと、顔２００との間の相対位置関係を取得し、取得された相対位置関係に応じて、照明部１４０ｂの光量を調整する事が望ましい。また、照明部１４０ｂの光の指向性が高い場合、照明制御部４７０ａは、画像解析部４２０から顔の目の領域を示す情報を取得し、目に対して照射される光を他の領域に比べて低く（またはゼロに）する事が望ましい。
また、肌色タイプ取得部４６０ａが肌色タイプを取得する手法は、上述の例に限定されない。例えば、肌色タイプ取得部４６０ａは、撮影された画像に対する画像解析、例えば、顔部分の色と顔以外の部分の色との比較等により、肌色タイプを判定してもよい。
また、肌診断装置１００ａ、１００ｂは、肌診断の内容に応じて、偏光や紫外光等の特定の波長の光等を使用して、肌画像の撮影を行ってもよい。
また、肌診断装置１００ａ、１００ｂの構成の一部は、当該装置の構成の他の部分と物理的に離隔していてもよい。この場合、それらの離隔した複数の部分は、互いに通信を行うための通信部をそれぞれ備える必要がある。
＜本開示のまとめ＞
本開示の肌診断装置は、肌を撮影して得られる肌画像を取得する画像取得部と、取得された前記肌画像から、前記肌の変色領域の色の濃さのレベルを示す指標値を算出する画像解析部と、算出された前記指標値と、前記肌画像のコントラストの大きさとに基づいて、閾値を決定する閾値決定部と、決定された前記閾値と、前記肌画像の輝度値データを当該輝度値データの平均輝度値で正規化して得られる正規化輝度値データとを比較する事により、前記肌に対する診断を行う肌診断部と、を有する。
なお、上記肌診断装置において、前記指標値は、前記肌画像の輝度値ヒストグラムの輝度値軸における対称性の度合いを示す歪度であってもよい。
また、上記肌診断装置において、前記閾値決定部は、前記歪度が高いほど、かつ、前記肌画像のコントラストが大きいほど、より低い値を前記閾値として決定し、前記肌診断部は、前記肌画像を構成する１つまたは複数の部分のうち、前記正規化輝度値データの値が前記閾値未満である前記部分を、前記変色領域であると判定してもよい。
また、上記肌診断装置において、前記閾値決定部は、前記歪度が高いほど、より高い値を閾値係数として決定し、前記正規化輝度値データの標準偏差と決定された前記閾値係数との乗算値を前記平均輝度値から減算して得られる値を、前記閾値として決定してもよい。
また、上記肌診断装置は、前記肌の肌色タイプを取得する肌色タイプ取得部と、取得された前記肌色タイプに応じて、前記肌に対する照明の明るさを変更する照明制御部と、を有してもよい。
また、上記肌診断装置は、前記肌の肌色タイプを取得する肌色タイプ取得部、を有し、前記閾値決定部は、取得された前記肌色タイプに応じて、前記指標値に基づいて前記閾値を決定する手法を変更してもよい。
また、上記肌診断装置において、判定された前記変色領域を示すシミ画像を、前記肌画像に重畳して表示する情報提示部、を有してもよい。
また、上記肌診断装置において、前記肌診断部は、前記肌画像の所定のブロック毎に、前記診断を行い、前記画像解析部は、前記肌画像のうち、前記ブロックを含み前記ブロックよりも大きい画像範囲から、前記歪度を算出してもよい。
本開示の肌診断方法は、肌を撮影して得られる肌画像を取得するステップと、取得された前記肌画像から、前記肌の変色領域の色の濃さのレベルを示す指標値を算出するステップと、算出された前記指標値と、前記肌画像のコントラストの大きさとに基づいて、閾値を決定するステップと、決定された前記閾値と、前記肌画像の輝度値データを当該輝度値データの平均輝度値で正規化して得られる正規化輝度値データとを比較する事により、前記肌に対する診断を行うステップと、を有する。
本開示に係る肌診断装置および肌診断方法は、より安定した肌診断を行う事ができる肌診断装置および肌診断方法として有用である。
１００、１００ａ 肌診断装置
１１０ 撮像部
１２０ 表示部
１４０ａ 照明部
１５０ａ 肌色タイプ選択画面
４１０ 画像取得部
４２０ 画像解析部
４３０、４３０ａ 閾値決定部
４４０ 肌診断部
４５０ 情報出力部
４６０ａ 肌色タイプ取得部
４７０ａ 照明制御部

Claims (9)

  1. 肌を撮影して得られる肌画像を取得する画像取得部と、
    取得された前記肌画像から、前記肌の変色領域の色の濃さのレベルを示す指標値を算出する画像解析部と、
    算出された前記指標値と、前記肌画像のコントラストの大きさとに基づいて、閾値を決定する閾値決定部と、
    決定された前記閾値と、前記肌画像の輝度値データを当該輝度値データの平均輝度値で正規化して得られる正規化輝度値データとを比較する事により、前記肌に対する診断を行う肌診断部と、を有する、
    肌診断装置。
  2. 前記指標値は、前記肌画像の輝度値ヒストグラムの輝度値軸における対称性の度合いを示す歪度である、
    請求項１に記載の肌診断装置。
  3. 前記閾値決定部は、
    前記歪度が高いほど、かつ、前記肌画像のコントラストが大きいほど、より低い値を前記閾値として決定し、
    前記肌診断部は、
    前記肌画像を構成する１つまたは複数の部分のうち、前記正規化輝度値データの値が前記閾値未満である前記部分を、前記変色領域であると判定する、
    請求項２に記載の肌診断装置。
  4. 前記閾値決定部は、
    前記歪度が高いほど、より高い値を閾値係数として決定し、前記正規化輝度値データの標準偏差と決定された前記閾値係数との乗算値を前記平均輝度値から減算して得られる値を、前記閾値として決定する、
    請求項３に記載の肌診断装置。
  5. 前記肌の肌色タイプを取得する肌色タイプ取得部と、
    取得された前記肌色タイプに応じて、前記肌に対する照明の明るさを変更する照明制御部と、を有する、
    請求項１に記載の肌診断装置。
  6. 前記肌の肌色タイプを取得する肌色タイプ取得部、を有し、
    前記閾値決定部は、
    取得された前記肌色タイプに応じて、前記指標値に基づいて前記閾値を決定する手法を変更する、
    請求項１に記載の肌診断装置。
  7. 判定された前記変色領域を示すシミ画像を、前記肌画像に重畳して表示する情報提示部、を有する、
    請求項３に記載の肌診断装置。
  8. 前記肌診断部は、
    前記肌画像の所定のブロック毎に、前記診断を行い、
    前記画像解析部は、
    前記肌画像のうち、前記ブロックを含み前記ブロックよりも大きい画像範囲から、前記歪度を算出する、
    請求項２に記載の肌診断装置。
  9. 肌を撮影して得られる肌画像を取得するステップと、
    取得された前記肌画像から、前記肌の変色領域の色の濃さのレベルを示す指標値を算出するステップと、
    算出された前記指標値と、前記肌画像のコントラストの大きさとに基づいて、閾値を決定するステップと、
    決定された前記閾値と、前記肌画像の輝度値データを当該輝度値データの平均輝度値で正規化して得られる正規化輝度値データとを比較する事により、前記肌に対する診断を行うステップと、を有する、
    肌診断方法。
JP2016104307A 2016-05-25 2016-05-25 肌診断装置および肌診断方法 Active JP6793325B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016104307A JP6793325B2 (ja) 2016-05-25 2016-05-25 肌診断装置および肌診断方法
EP17802511.0A EP3466324A4 (en) 2016-05-25 2017-04-24 SKIN DIAGNOSIS DEVICE AND SKIN DIAGNOSIS PROCEDURE
US16/303,430 US11069057B2 (en) 2016-05-25 2017-04-24 Skin diagnostic device and skin diagnostic method
PCT/JP2017/016128 WO2017203913A1 (ja) 2016-05-25 2017-04-24 肌診断装置および肌診断方法
CN201780031309.9A CN109152535B (zh) 2016-05-25 2017-04-24 皮肤诊断装置和皮肤诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016104307A JP6793325B2 (ja) 2016-05-25 2016-05-25 肌診断装置および肌診断方法

Publications (3)

Publication Number Publication Date
JP2017209280A true JP2017209280A (ja) 2017-11-30
JP2017209280A5 JP2017209280A5 (ja) 2019-07-04
JP6793325B2 JP6793325B2 (ja) 2020-12-02

Family

ID=60412354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016104307A Active JP6793325B2 (ja) 2016-05-25 2016-05-25 肌診断装置および肌診断方法

Country Status (5)

Country Link
US (1) US11069057B2 (ja)
EP (1) EP3466324A4 (ja)
JP (1) JP6793325B2 (ja)
CN (1) CN109152535B (ja)
WO (1) WO2017203913A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012748A1 (ja) * 2017-07-10 2019-01-17 マクセルホールディングス株式会社 肌状態センサおよび美容器具
JP2022104215A (ja) * 2020-12-28 2022-07-08 株式会社美ガーデン 美容施術装置の制御システム
JP2022140505A (ja) * 2018-03-26 2022-09-26 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019230724A1 (ja) * 2018-05-31 2019-12-05 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体
JP2020123304A (ja) * 2018-05-31 2020-08-13 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、プログラム
WO2020014779A1 (en) * 2018-07-16 2020-01-23 Swift Medical Inc. Apparatus for visualization of tissue
US20200100722A1 (en) * 2018-10-02 2020-04-02 Forward Science Technologies, LLC Dermatological Examination
US11100639B2 (en) * 2018-12-11 2021-08-24 H-Skin Aesthetics Co., Ltd. Method for skin examination based on RBX color-space transformation
CN111956184A (zh) * 2020-08-12 2020-11-20 广东食品药品职业学院 一种基于皮肤图像检测色斑的系统及方法
CN113411507B (zh) * 2021-05-10 2023-01-06 深圳数联天下智能科技有限公司 测肤图像的获取方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0755447A (ja) * 1993-06-30 1995-03-03 Shiseido Co Ltd 肌の表面状態の解析システム
JP2004041753A (ja) * 2002-07-09 2004-02-12 Ric:Kk デジタルズーム肌診断装置
US20060269111A1 (en) * 2005-05-27 2006-11-30 Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc Automatic detection of critical dermoscopy features for malignant melanoma diagnosis
JP2009131336A (ja) * 2007-11-28 2009-06-18 Kao Corp 肌状態の評価方法
JP2011130808A (ja) * 2009-12-22 2011-07-07 Kao Corp 情報処理装置、情報処理方法、および、プログラム
WO2014017092A1 (ja) * 2012-07-25 2014-01-30 パナソニック株式会社 撮像システム
US20140088440A1 (en) * 2011-05-26 2014-03-27 Elliot Krishna Swart Stereoscopic Plug-And-Play Dermatoscope And Web Interface
JP2015500722A (ja) * 2011-12-26 2015-01-08 シャネル パルファン ボーテＣｈａｎｅｌ Ｐａｒｆｕｍｓ Ｂｅａｕｔｅ 皮膚ゾーンにおける皮膚症状を検出して数量化する方法および装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3530523B1 (ja) 2002-07-09 2004-05-24 株式会社リック デジタルズーム肌診断装置
DE10309873A1 (de) 2002-07-09 2004-01-29 RIC Co. Ltd. Digitale-Zoom-Hautdiagnosevorrichtung
JP3762725B2 (ja) * 2002-08-22 2006-04-05 オリンパス株式会社 撮像システムおよび画像処理プログラム
AT511265B1 (de) * 2011-03-24 2013-12-15 Red Soft It Service Gmbh Einrichtung zur ermittlung eines hautentzündungswertes und verfahren zur auswertung von dreidimensionalen bildern
CN103455790B (zh) * 2013-06-24 2017-10-13 厦门美图网科技有限公司 一种基于肤色模型的皮肤识别方法
JP6345176B2 (ja) 2013-06-28 2018-06-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 肌の官能評価装置および肌の評価方法
JP5907196B2 (ja) * 2014-02-28 2016-04-26 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0755447A (ja) * 1993-06-30 1995-03-03 Shiseido Co Ltd 肌の表面状態の解析システム
JP2004041753A (ja) * 2002-07-09 2004-02-12 Ric:Kk デジタルズーム肌診断装置
US20060269111A1 (en) * 2005-05-27 2006-11-30 Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc Automatic detection of critical dermoscopy features for malignant melanoma diagnosis
JP2009131336A (ja) * 2007-11-28 2009-06-18 Kao Corp 肌状態の評価方法
JP2011130808A (ja) * 2009-12-22 2011-07-07 Kao Corp 情報処理装置、情報処理方法、および、プログラム
US20140088440A1 (en) * 2011-05-26 2014-03-27 Elliot Krishna Swart Stereoscopic Plug-And-Play Dermatoscope And Web Interface
JP2015500722A (ja) * 2011-12-26 2015-01-08 シャネル パルファン ボーテＣｈａｎｅｌ Ｐａｒｆｕｍｓ Ｂｅａｕｔｅ 皮膚ゾーンにおける皮膚症状を検出して数量化する方法および装置
WO2014017092A1 (ja) * 2012-07-25 2014-01-30 パナソニック株式会社 撮像システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GRUZMAN S. I.: ""Threshold Binarization of Images Based on the Skewness and Kurtosis of Truncated Distributions"", OPTOELECTRONICS, INSTRUCTION AND DATA PROCESSING, vol. Vol. 49、Issue 3, JPN6020019050, 31 May 2013 (2013-05-31), pages 215 - 220, ISSN: 0004278787 *
SFORZA GIANLUCA ET AL.: ""Adaptive segmentation of gray areas in dermoscopy images"", 2011 IEEE INTERNATIONAL SYMPOSIUM ON MEDICAL MEASUREMENTS AND APPLICATIONS, JPN6020019049, 31 May 2011 (2011-05-31), ISSN: 0004278786 *
大津 展之: "「判別および最小２乗基準に基づく自動しきい値選定法」", 電子通信学会論文誌, vol. 63, no. 4, JPN6020019048, 25 April 1980 (1980-04-25), pages 349 - 356, ISSN: 0004278785 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012748A1 (ja) * 2017-07-10 2019-01-17 マクセルホールディングス株式会社 肌状態センサおよび美容器具
JP2022140505A (ja) * 2018-03-26 2022-09-26 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
JP7409440B2 (ja) 2018-03-26 2024-01-09 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
JP2022104215A (ja) * 2020-12-28 2022-07-08 株式会社美ガーデン 美容施術装置の制御システム

Also Published As

Publication number Publication date
US20200320683A1 (en) 2020-10-08
US11069057B2 (en) 2021-07-20
WO2017203913A1 (ja) 2017-11-30
EP3466324A1 (en) 2019-04-10
CN109152535A (zh) 2019-01-04
CN109152535B (zh) 2021-06-11
EP3466324A4 (en) 2019-06-26
JP6793325B2 (ja) 2020-12-02

Similar Documents

Publication Publication Date Title
WO2017203913A1 (ja) 肌診断装置および肌診断方法
US10758119B2 (en) Automatic fundus image capture system
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
JP4307496B2 (ja) 顔部位検出装置及びプログラム
WO2016121518A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4309927B2 (ja) まぶた検出装置及びプログラム
KR20150024769A (ko) 촬상 장치 및 그 촬상 방법, 화상 처리 장치 및 그 화상 처리 방법, 및, 프로그램
US20210082127A1 (en) Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity
EP2976990B1 (en) Pupil detection device and pupil detection method
CN109978810B (zh) 痣的检测方法、系统、设备及存储介质
KR20160110019A (ko) 화상 생성 장치 및 화상 생성 방법
US11980420B2 (en) Dynamic adjustment of flash intensity based on retinal pigmentation
JP6898150B2 (ja) 毛穴検出方法及び毛穴検出装置
JP4059829B2 (ja) 皮膚測定値より肌年齢を算出する方法及びその表示方法
Liu et al. Image-based attributes of multi-modality image quality for contactless biometric samples
JP2021058361A (ja) 生体情報取得装置およびプログラム
JP2017012384A (ja) シワ状態分析装置及びシワ状態分析方法
JP2009258770A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
TWI729338B (zh) 皮膚檢測方法及影像處理裝置
KR102086756B1 (ko) 하이 다이내믹 레인지 이미지 생성 장치 및 방법
KR20220134918A (ko) 복수의 이미지들을 이용하여, 전자 장치의 발광 모듈에서 출력된 광의 성분과 주변 광의 성분을 포함하는 이미지를 각각 획득하는 전자 장치 및 그 제어 방법
JP2024004516A (ja) 測定装置、測定方法及びプログラム
CN117671250A (zh) 单眼遮挡判断方法、装置、存储介质及设备
CN115039147A (zh) 眼睛检测方法、眼睛检测装置以及眼睛检测程序
JP2011138558A (ja) 目の位置の検出方法および検出システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190527

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201023

R151 Written notification of patent or utility model registration

Ref document number: 6793325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151