CN116113984A - 皮肤表面分析装置及皮肤表面分析方法 - Google Patents

皮肤表面分析装置及皮肤表面分析方法 Download PDF

Info

Publication number
CN116113984A
CN116113984A CN202180061633.1A CN202180061633A CN116113984A CN 116113984 A CN116113984 A CN 116113984A CN 202180061633 A CN202180061633 A CN 202180061633A CN 116113984 A CN116113984 A CN 116113984A
Authority
CN
China
Prior art keywords
image
skin
skin surface
sweat
patch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180061633.1A
Other languages
English (en)
Inventor
小出哲士
秀道広
青山裕美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Academy
Hiroshima University NUC
Original Assignee
Kawasaki Academy
Hiroshima University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Academy, Hiroshima University NUC filed Critical Kawasaki Academy
Publication of CN116113984A publication Critical patent/CN116113984A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14507—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue specially adapted for measuring characteristics of body fluids other than blood
    • A61B5/14517—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue specially adapted for measuring characteristics of body fluids other than blood for sweat
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Dermatology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Abstract

对拍摄转印材料而得到的图像执行局部图像增强处理。将增强处理图像分割成多张补丁图像并输入到机器学习识别器中。将从机器学习识别器输出的分割处理后的补丁图像合成，根据分割处理结果从整体图像生成皮丘的似然图图像。对似然图图像执行二值化处理并生成二值化图像。根据二值化图像提取皮丘区域并计算皮丘区域的面积。

Description

皮肤表面分析装置及皮肤表面分析方法
技术领域
本公开涉及一种分析人的皮肤表面的皮肤表面分析装置及皮肤表面分析方法。
背景技术
在人体皮肤的表面(皮肤表面)存在有被称为皮沟的沟状部分、以及由皮沟划分的被称为皮丘的隆起状部分。人在安静时也会出微量的汗，在该安静时的出汗被称为基础排汗。众所周知，基础排汗时所出的汗主要由皮沟分泌，与角质层含水量有关，对于维持皮肤的屏障功能具有重要作用。例如，特应性皮炎、胆碱性荨麻疹、痒疹、淀粉样变苔藓等炎症性皮肤疾病有时会因皮肤的屏障功能降低、即基础排汗障碍引起，或者由于基础排汗障碍而导致症状恶化。如果能够检测患者的基础排汗情况，则能够制定治疗方案、缓解症状、判断治愈的程度，这对于诊断和治疗很有效。
作为基础排汗的检测方法，例如已知有印模技术(Impression mold technique，也称为IMT或IM法)。IMT是一种排汗功能定量测量法，该方法是：在将牙科用的硅橡胶印模材料以膜状涂布在皮肤表面并放置规定时间后，将硅橡胶印模材料从皮肤上剥离，由此获得皮肤表面结构并获取排汗状态。
专利文献1：日本再表2018/230733号公报
发明内容
－发明要解决的技术问题－
通过使用IMT，皮肤表面结构被精确地转印在膜状的硅橡胶材料上，因此能够对皮丘进行识别和面积测量，此外，由于汗滴也被精确地转印在硅橡胶材料上，因此还能够测量汗滴的数量、直径和面积。由此，能够对皮肤表面状态进行分析。例如在特应性皮炎的情况下，与健康人相比，存在皮丘面积大、汗滴数量少的倾向，利用该分析结果，具有能够定量地获得这种倾向的优点。
在IMT中对皮丘和汗滴进行判别时，能够根据将硅橡胶材料的转印面放大后所得到的图像来进行判别。具体而言，在获得用光学显微镜将硅橡胶材料的转印面放大了的图像并显示在显示器上后，检查员一边在显示器上观察该图像，一边对皮丘和皮沟进行识别并且将相当于皮丘的部分围起来并着色，计算着色区域的面积，进一步，找出汗滴并对相当于汗滴的部分着色，计算着色区域的面积。这样，就能够定量地获取皮肤表面的状态，但存在以下问题。
也就是说，皮肤表面的结构不仅复杂，而且根据所患有的皮肤疾病也有很大差异，因此检查员在进行判别时，需要花费很多时间来判断图像中哪个部分是皮沟、或者哪个部分是皮丘，在一定时间内能够处理的样品数量很有限。另外，有时在硅橡胶中会含有气泡，很难将该气泡与汗滴区分开来，对于汗滴的判别也是很费时费力的工作。另外，判别皮沟与皮丘的判别工作、判别汗滴的判别工作所需的时间变长，并且个体差异也是一个问题：由于是看图像进行判断，因此根据检查员的能力不同，判别结果也会有差异。由于工作时间变长，因而也有可能发生漏看等情况。
此外，即使是同一个人，汗滴数也会根据皮肤表面的部位而不同，如果不以汗滴数为平均数的部位作为测量对象，则有可能得出不适当的分析结果。如果想要得到该汗滴数为平均数的部位，就必须对大范围的皮肤表面进行上述皮沟与皮丘的判别以及汗滴的判别，这成为分析所需时间进一步变长的主要原因。
本公开正是为解决上述技术问题而完成的，其目的在于：提高皮肤表面状态的分析精度，并且缩短分析所需的时间。
－用于解决技术问题的技术方案－
为达成上述目的，本公开的第一方面涉及一种皮肤表面分析装置，所述皮肤表面分析装置使用转印了人的皮肤表面结构的转印材料来对皮肤表面进行分析，其中：所述皮肤表面分析装置包括图像输入部、局部图像增强处理部、补丁图像生成部、机器学习识别器、整体图像生成部、似然图生成部、二值化处理部、区域提取部以及皮丘分析部，拍摄所述转印材料而得到的图像被输入到所述图像输入部中，所述局部图像增强处理部执行局部图像增强处理并生成增强处理图像，所述局部图像增强处理使输入到所述图像输入部中的图像的局部区域的对比度增强，所述补丁图像生成部将由所述局部图像增强处理部生成的增强处理图像分割成多张补丁图像，由所述补丁图像生成部生成的各补丁图像被输入到所述机器学习识别器中，所述机器学习识别器对所输入的各补丁图像执行分割处理，所述整体图像生成部将从所述机器学习识别器输出的分割处理后的补丁图像合成，而生成整体图像，所述似然图生成部根据所述分割处理的结果，从由所述整体图像生成部生成的整体图像生成皮丘的似然图图像，所述二值化处理部对由所述似然图生成部生成的似然图图像执行二值化处理，而生成二值化图像，所述区域提取部根据由所述二值化处理部生成的二值化图像提取皮丘区域，所述皮丘分析部计算由所述区域提取部提取出的皮丘区域的面积。
根据该结构，当转印了人的皮肤表面结构的转印材料的图像被输入时，对该图像执行局部图像增强处理并生成增强处理图像。这样一来，图像细节的可视性提高。执行局部图像增强处理前的图像既可以是彩色图像，也可以是灰度化后的图像。增强处理图像在被分割成多张补丁图像后，各补丁图像被输入到机器学习识别器中时，各补丁图像被进行分割处理。对于各补丁图像所进行的分割处理的方法是一直以来所使用的深度学习的方法，通过该分割处理，例如求出每个像素属于哪个类别，如区分为皮丘、皮沟、汗滴及其以外的类别。将从机器学习识别器输出的分割处理后的补丁图像合成，而生成整体图像时，根据分割处理结果从该整体图像生成皮丘的似然图图像。在从似然图图像生成二值化图像后，例如在白色为皮丘区域的情况下，通过对白色区域进行提取，而能够判别皮丘区域。通过计算提取出的皮丘区域的面积，从而能够对皮肤表面进行分析。
在第二方面、第三方面中，所述皮肤表面分析装置包括似然图生成部、汗滴提取部以及汗滴分析部，所述似然图生成部根据所述分割处理的结果，从由整体图像生成部生成的整体图像生成汗滴的似然图图像，所述汗滴提取部根据由所述似然图生成部生成的似然图图像提取汗滴，所述汗滴分析部计算由所述汗滴提取部提取出的汗滴的分布。
根据该结构，将从机器学习识别器输出的分割处理后的补丁图像合成，而生成整体图像后，根据分割处理结果从该整体图像生成汗滴的似然图图像。在似然图图像中例如白色为汗滴的情况下，通过对白色区域进行提取，从而能够判别汗滴。通过计算提取出的汗滴的分布，而能够对皮肤表面进行分析。
在第四方面中，所述转印材料是通过印模技术(Impression mold technique)获得的，所述皮肤表面分析装置包括灰度处理部，所述灰度处理部将拍摄所述转印材料而得到的图像灰度化。
也就是说，根据IMT，能够使用硅橡胶对皮肤表面进行精密转印，因此分析精度进一步提高。该硅橡胶有时被着色为例如粉色等，根据本结构，拍摄转印材料而得到的图像由灰度处理部进行灰度化，因此能够作为适用于分析的灰度图像来加以处理。由此，能够提高处理速度。
在第五方面中，所述补丁图像生成部能够以相邻的补丁图像各自的一部分彼此重叠的方式生成补丁图像。
也就是说，在分割成多张补丁图像时使相邻的补丁图像不重叠的情况下，偶尔会有皮丘的边缘或汗滴重叠在相邻的补丁图像的边界上，这可能会导致重叠在边界上的皮丘或汗滴的判别精度降低。相对于此，根据本结构，通过使相邻的补丁图像各自的一部分彼此重叠，即使对于位于上述位置的皮丘或汗滴，也能够高精度地进行判别。
在第六方面中，所述机器学习识别器能够使输入图像的分辨率与输出图像的分辨率相同。根据该结构，能够将例如细微的皮丘形状和汗滴的大小等准确地输出。
在第七方面中，所述皮丘分析部能够在图像上设置规定大小的多个网格，并计算各个所述网格内的皮丘区域与皮沟区域的比率。
根据该结构，例如在想要评估皮肤表面的肌理细腻度的情况下，能够根据设置在二值化图像上的网格内的皮丘区域与皮沟区域的比率进行评估。在皮丘区域的比率为规定值以上的情况下，能够作为判断为肌理粗糙的指标之一来使用，另外，在皮丘区域的比率小于规定值的情况下，能够作为判断为肌理细腻的指标之一来使用。
在第八方面中，所述皮丘分析部能够将各个所述网格内的皮丘区域与皮沟区域的比率数值化，并计算频数分布(直方图)。
在第九方面中，所述区域提取部能够在对皮丘区域进行提取后，判断提取出的皮丘区域的各部分是否为凸部，并根据判断为不是凸部的部分来分割所述皮丘区域。
也就是说，根据症状的不同，有时在皮丘的一部分形成有沟，在该情况下，在提取出的皮丘区域内就会存在不是凸部的部分，即存在凹部。通过根据该凹部来分割皮丘区域，可以期待用于进行症状或临床评估。
在第十方面中，由于所述皮肤表面分析装置包括信息输出部，所述信息输出部生成与由所述区域提取部提取出的皮丘区域的形状相关的信息并输出，因此能够将各种信息提示给医疗工作者等并用于诊断等。
－发明的效果－
如上所述，根据本公开，利用机器学习识别器生成皮肤表面的似然图图像，能够利用似然图图像来判别皮丘区域和汗滴，因此能够排除分析时的个体差异，提高皮肤表面状态的分析精度，并且能够缩短分析所需的时间。
附图说明
图1是示出本发明的实施方式所涉及的皮肤表面分析装置的结构的示意图；
图2是所述皮肤表面分析装置的方框图；
图3是对皮肤表面分析方法的前半部分流程进行说明的流程图；
图4是对皮肤表面分析方法的后半部分流程进行说明的流程图；
图5A是对现有技术进行说明的图，其示出了通过IMT判别皮丘并测量皮丘的面积的处理方法；
图5B是对现有技术进行说明的图，其示出了通过IMT判别汗滴并测量汗滴的数量、直径和面积的处理方法；
图6是示出灰度图像之一例的图；
图7是示出局部图像增强处理后的图像之一例的图；
图8是示出将局部图像增强处理之后的图像分割成多张补丁图像的图；
图9是示出由机器学习识别器进行的分割处理之一例的图；
图10是示出皮丘/皮沟的整体图像之一例的图；
图11是示出汗滴的整体图像之一例的图；
图12是示出皮丘/皮沟的似然图图像之一例的图；
图13是示出汗滴的似然图图像之一例的图；
图14是示出将皮丘/皮沟的似然图二值化后的图像之一例的图；
图15是示出对皮丘/皮沟进行提取后的图像之一例的图；
图16是示出对汗滴进行提取后的图像之一例的图；
图17是示出将汗滴的位置与皮丘/皮沟加以比较后示出的图像之一例的图；
图18是示出对位于皮丘/皮沟的汗滴进行鉴别后的图像之一例的图；
图19是皮丘信息的直方图；
图20是示出汗滴的热图图像之一例的图；
图21是示出皮丘区域图像之一例的图；
图22是示出皮丘区域的规格的表；
图23是示出每个网格中的皮丘与皮沟的二维分布的图表；
图24是示出设置多个网格来进行分析时的图像之一例的图；
图25是示出将9个视野的拍摄区域合成起来的图像之一例的图；
图26是示出健康人的前臂上的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为100×100的网格的情况；
图27是示出健康人的前臂上的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为150×150的网格的情况；
图28是示出健康人的前臂上的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为200×200的网格的情况；
图29是示出健康人的前臂上的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为250×250的网格的情况；
图30是示出特应性皮炎患者的大腿上的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为100×100的网格的情况；
图31是示出特应性皮炎患者的大腿上的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为150×150的网格的情况；
图32是示出特应性皮炎患者的大腿上的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为200×200的网格的情况；
图33是示出特应性皮炎患者的大腿上的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为250×250的网格的情况；
图34是示出特应性皮炎患者的额头处的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为100×100的网格的情况；
图35是示出特应性皮炎患者的额头处的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为150×150的网格的情况；
图36是示出特应性皮炎患者的额头处的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为200×200的网格的情况；
图37是示出特应性皮炎患者的额头处的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为250×250的网格的情况；
图38是示出特应性皮炎患者的肘部的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为100×100的网格的情况；
图39是示出特应性皮炎患者的肘部的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为150×150的网格的情况；
图40是示出特应性皮炎患者的肘部的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为200×200的网格的情况；
图41是示出特应性皮炎患者的肘部的皮丘/皮沟的比率的图表，其示出了设置像素尺寸为250×250的网格的情况。
具体实施方式
以下，基于附图对本发明的实施方式进行详细的说明。需要说明的是，以下对优选实施方式的说明在本质上仅为举例说明而已，并没有限制本发明、其应用对象或其用途的意图。
图1是示出本发明的实施方式所涉及的皮肤表面分析装置1的结构的示意图。皮肤表面分析装置1是使用转印了人的皮肤表面结构的转印材料100来对皮肤表面进行分析的装置，通过使用该皮肤表面分析装置1，从而能够实施本发明所涉及的皮肤表面分析方法。
在该实施方式的说明中，说明了使用通过IMT(impression mold technique，印模技术)获得的转印材料100对皮肤表面进行分析的情况，但转印材料100也可以通过IMT以外的其他方法来转印人的皮肤表面结构。
IMT是一种排汗功能定量测量法，该方法是：在将牙科用的硅橡胶印模材料以膜状涂布在皮肤表面并放置规定时间后，将硅橡胶印模材料从皮肤上剥离，由此获得皮肤表面结构并获取排汗状态。该IMT作为基础排汗的检测方法一直以来都在被使用，因此省略对其进行详细的说明。牙科用的硅橡胶印模材料有时例如被染色成粉色。
在图1中，说明了在将上述硅橡胶涂抹在前臂上并放置规定时间使其固化后，从皮肤上剥离从而得到转印材料100的情况，但不限于此，也可以对腿、胸、后背、额头等任意部位的皮肤表面结构进行转印。通过使用IMT，皮肤表面结构被精确地转印在膜状的硅橡胶材料上，因此能够对皮丘进行识别和面积测量，此外，由于汗滴也被精确地转印在硅橡胶材料上，因此还能够测量汗滴的数量、直径和面积。
图5A是对现有技术进行说明的图，其示出了通过IMT判别皮丘并测量皮丘的面积的处理方法。该图是以用反射式立体显微镜101(如图1所示)将转印材料100的转印面放大后所拍摄到的图像为基础的。检查员将该图像显示在显示器上，以浓淡和明暗为依据来判别皮丘区域和皮沟区域。以将判别为皮丘区域的区域包围起来的方式绘制图形，并测量该绘制的图形的面积，由此得到皮丘的面积。
另一方面，图5B是对现有技术进行说明的图，其示出了通过IMT判别汗滴并测量汗滴的数量、直径和面积的处理方法。在该图中，检查员也使用由立体显微镜101将转印材料100的转印面放大后所拍摄到的图像，将该图像显示在显示器上，以浓淡、明暗及其形状为依据来判别汗滴。用圆形标记汗滴。改变标记的颜色，以区分位于皮丘的汗滴和位于皮沟的汗滴。由此，能够测量汗滴的数量、直径和面积。需要说明的是，由于有时在硅橡胶中会含有气泡，因此将例如直径为40μm以下的、形状近似圆形的部分判别为气泡。
以上就是检查员判别皮丘/皮沟以及判别汗滴的方法，但如图5A、图5B所示，皮肤表面的结构不仅复杂，而且根据所患的皮肤疾病也有很大差异，因此检查员在进行判别时，需要花很多时间来判断图像中哪个部分是皮沟、或者哪个部分是皮丘，在一定时间内能够处理的样品数很有限。另外，有时在硅橡胶中会含有气泡，很难将该气泡与汗滴区分开来，汗滴的判别也是很费时费力的工作。
采用本实施方式所涉及的皮肤表面分析装置1，即使是如图5A、图5B所示的图像，也能够利用后述的机器学习识别器24生成皮肤表面的似然图图像，并利用似然图图像判别皮丘区域和汗滴，能够提高皮肤表面状态的分析精度，并且能够缩短分析所需的时间。
下面，对皮肤表面分析装置1的结构进行具体说明。如图1所示，皮肤表面分析装置1例如能够由个人电脑等构成，其包括主体部10、显示器11、键盘12以及鼠标13。通过在例如通用的个人电脑中安装执行后述的控制内容、图像处理、运算处理和统计处理的程序，从而构成皮肤表面分析装置1。另外，也可以由安装有所述程序的专用的硬件来构成皮肤表面分析装置1。
显示器11用于显示各种图像和设置用用户界面图像等，例如能够由液晶显示屏等构成。键盘12和鼠标13一直以来被用作个人电脑等的操作装置。也可以代替键盘12和鼠标13而设置触摸操作面板等，或者在键盘12和鼠标13的基础上增设触摸操作面板等。主体部10、显示器11和操作装置也可以实现一体化。
如图2所示，主体部10包括通信部10a、控制部10b以及存储部10c。通信部10a是与外部进行数据交换的部分，其由各种通信模块等构成。通过经由通信部10a与互联网等网络线路连接，从而能够从外部读入数据或将主体部10的数据发送出去。存储部10c例如由硬盘或SSD(Solid State Drive，固态硬盘)等构成，能够存储各种图像、设置信息、分析结果和统计处理结果等。存储部10c既可以由外部存储装置构成，也可以由所谓的云服务器等构成。
控制部10b例如能够由系统大规模集成电路、MPU、GPU、DSP或专用硬件等构成，基于各种程序进行数值计算和信息处理，并且对硬件各部分进行控制，未图示。各硬件经由总线等电通信线路(布线)，以能够双向通信或能够单向通信的方式连接起来。控制部10b构成为能够如后述那样进行各种处理，这些处理既可以通过逻辑电路来实现，也可以通过执行软件来实现。在控制部10b能够执行的处理中，还包括一般的各种图像处理。另外，控制部10b能够通过硬件与软件的组合来构成。
首先，对控制部10b的结构进行说明，然后，示出具体的图像示例，来对控制部10b的皮肤表面分析方法进行说明。
(控制部10b的结构)
能够经由通信部10a或直接从外部向控制部10b导入图像。导入后的图像能够存储在存储部10c中。所导入的图像是用立体显微镜101将转印材料100的转印面放大后所拍摄到的图像，是作为例如图5A、图5B的基础的图像。所导入的图像既可以是彩色图像，也可以是灰度化后的灰度图像。
控制部10b包括供彩色图像或灰度化后的图像所输入的图像输入部20。既可以向图像输入部20输入由后述的灰度处理部21灰度化后的图像，也可以向图像输入部20输入在皮肤表面分析装置1的外部预先进行了灰度化的图像。在将图像输入到图像输入部20时，与向上述灰度处理部21读入图像的情况相同，能够由皮肤表面分析装置1的用户来执行。也可以向图像输入部20输入彩色图像。
控制部10b包括灰度处理部21，在所导入的图像为彩色图像的情况下，所述灰度处理部21将该彩色图像灰度化。彩色图像并非必须进行灰度化，也可以保持彩色图像的状态执行后述的局部图像增强处理及其后续处理。
例如，图像导入能够由皮肤表面分析装置1的用户来执行。例如，构成为：在用拍摄元件(未图示)拍摄由立体显微镜101放大了的图像后，能够进行将由此得到的图像数据读入到灰度处理部21中的操作。在本示例中，使用了将从拍摄元件输出的图像数据以JPEG格式保存起来的图像，但不限于此，既可以是以其他的压缩格式压缩的图像数据，也可以是RAW图像。另外，在本示例中，将图像的尺寸设为1600×1200pixel(像素)，但该尺寸也可以任意设定。
灰度处理部21例如以8bit(位)的色深将彩色图像灰度化。具体而言，灰度处理部21将彩色图像转换成构成图像的各像素的采样值中不包含除了亮度以外的信息的图像。该灰度与二值图像不同，其是以在亮度最强的白色到亮度最弱的黑色之间还包含灰色的明暗的方式来表现图像的。该色深不限于8bit，而是能够设定为任意色深。
控制部10b包括局部图像增强处理部22。局部图像增强处理部22执行局部图像增强处理并生成增强处理图像，在该局部图像增强处理中，使输入到图像输入部20中的灰度化后的图像的局部区域的对比度增强。这样一来，图像细节的可视性提高。局部图像增强处理例如能够例举出：如直方图均衡化处理(histogram equalization)等那样，通过增强图像中局部区域的对比度来提高细节可视性的处理。
控制部10b包括补丁图像生成部23。补丁图像生成部23是将由局部图像增强处理部22生成的增强处理图像分割成多张补丁图像的部分。具体而言，例如，当增强处理图像是尺寸为1600×1200pixel的图像时，补丁图像生成部23将该图像分割成每张尺寸为256×256pixel的图像(补丁图像)。补丁图像生成部23也能够以相邻的补丁图像各自的一部分彼此重叠的方式来生成补丁图像。也就是说，由补丁图像生成部23生成的补丁图像与相邻的补丁图像的一部分相重叠，该重叠范围例如能够设定为64pixel左右。该重叠范围的设定例如可以称为“64pixel stride(像素跨距)”。需要说明的是，上述pixel的值只是一个示例，也可以设为其他值。
假设在分割成多张补丁图像时使相邻的补丁图像不重叠的情况下，偶尔会有皮丘的边缘或汗滴重叠在相邻的补丁图像的边界上，这可能会导致机器学习识别器24(后述)对于重叠在边界上的皮丘或汗滴的判别精度降低。相对于此，通过如本示例那样使相邻的补丁图像各自的一部分彼此重叠，则即使对于位于上述位置的皮丘或汗滴，也能够高精度地进行判别。
控制部10b包括机器学习识别器24。机器学习识别器24是被输入由补丁图像生成部23生成的各补丁图像，并对所输入的各补丁图像执行分割处理的部分。机器学习识别器24自身按照公知的深度学习方法对输入图像进行分割处理，通过该分割处理，例如求出每个像素属于哪个类别，并作为输出图像输出。机器学习识别器24具有供输入图像输入的输入层和将输出图像输出的输出层，并且在输入层与输出层之间具有多个隐藏层。机器学习识别器24通过学习大量的教学数据，从而能够自动地提取共同的特征量并灵活地进行判断，该机器学习识别器24已经完成学习。
在本示例中，机器学习识别器24使输入图像的分辨率与输出图像的分辨率相同。在一般的机器学习识别器的情况下，输入图像的分辨率高，而在降低输出图像的分辨率后再进行输出，但在本示例中，由于需要对细微的皮丘形状和汗滴大小等精确地进行判别，因此不降低输出图像的分辨率。举一个例子，在尺寸为256×256pixel的补丁图像被输入机器学习识别器24的输入层的情况下，从输出层输出尺寸为256×256pixel的输出图像。
另外，本示例的机器学习识别器24构成为能够同时执行皮丘/皮沟检测和汗滴检测。也就是说，机器学习识别器24具有检测皮丘/皮沟的皮丘/皮沟检测器24a和检测汗滴的汗滴检测器24b。皮丘/皮沟检测器24a和汗滴检测器24b能够分别使用例如Unet作为网络来构建。
控制部10b包括整体图像生成部25。整体图像生成部25是将从机器学习识别器24输出的分割处理后的补丁图像合成并生成整体图像的部分。具体而言，整体图像生成部25将从皮丘/皮沟检测器24a输出的补丁图像合成为如分割前的图像那样，从而生成用于判别皮丘/皮沟的整体图像，另外，以同样的方式将从汗滴检测器24b输出的补丁图像合成，从而生成用于判别汗滴的整体图像。整体图像与分割前的图像尺寸相同。
控制部10b包括似然图生成部26。似然图生成部26是根据机器学习识别器24的分割处理结果，从由整体图像生成部25生成的用于判别皮丘/皮沟的整体图像生成皮丘的似然图图像的部分。似然图图像是按照各像素的似然度以不同的颜色显示出来的图像，其相对地表示哪个像素的似然度高、或哪个像素的似然度低。例如，能够将以下的色图图像作为皮丘/皮沟的似然图图像：似然度最高的像素用红色表示，似然度最低的像素用蓝色表示，似然度最高与似然度最低之间的像素用8bit的色深表示。需要说明的是，该显示形态只是一个示例，既可以用灰度来显示，也可以采用改变亮度的显示形态，色深也可以是除了8bit以外的色深。
另外，似然图生成部26根据机器学习识别器24的分割处理结果，从由整体图像生成部25生成的用于判别汗滴的整体图像来生成汗滴的似然图图像。能够将以下的色图图像作为汗滴的似然图图像：汗滴的似然度最高的像素用红色表示，汗滴的似然度最低的像素用蓝色表示，似然度最高与似然度最低之间的像素用8bit的色深表示。与皮丘/皮沟的情况相同，汗滴的似然图图像既可以用灰度来显示，也可以采用改变亮度的显示形态，色深也可以是除了8bit以外的色深。
控制部10b具有二值化处理部27。二值化处理部27是对由似然图生成部26生成的似然图图像进行二值化处理并生成二值化图像(黑白图像)的部分。二值化处理时所使用的阈值Th可以设定为任意的值，例如在色深为8bit的情况下，能够设定为Th＝150等的值。通过利用根据用于判别皮丘/皮沟的整体图像所得到的似然图图像，例如能够如下进行判别：黑色为皮沟，白色为皮丘。另外，根据用于判别汗滴的整体图像，例如能够如下进行判别：白色为汗滴，黑色为除了汗滴以外的部分。
控制部10b包括区域提取部28。区域提取部28是根据由二值化处理部27生成的二值化图像来提取皮丘区域的部分。具体而言，在二值化图像中的白色为皮丘的情况下，将二值化图像中的白色的像素集合作为皮丘区域进行提取。另外，区域提取部28也可以根据由二值化处理部27生成的二值化图像来提取皮沟区域。在该情况下，如果二值化图像中的黑色为皮沟，则将二值化图像中的黑色的像素集合作为皮沟区域进行提取。区域提取部28也可以在提取出皮沟后，将其他区域作为皮丘区域进行提取。另外，区域提取部28也可以在提取出皮丘后，将其他区域作为皮沟区域进行提取。
控制部10b包括汗滴提取部29。汗滴提取部29是根据汗滴的似然图图像来提取汗滴的部分。具体而言，在汗滴的似然图图像中的白色(或红色)为汗滴的情况下，将汗滴的似然图图像中的白色(或红色)的像素集合作为汗滴进行提取。另外，汗滴提取部29也可以根据汗滴的似然图图像来提取除了汗滴以外的部分。在该情况下，如果汗滴的似然图图像中的黑色(或蓝色)为除了汗滴以外的部分，则将汗滴的似然图图像中的黑色(或红色)的像素集合作为除了汗滴以外的部分进行提取。汗滴提取部29也可以在提取出汗滴的似然图图像中的除了汗滴以外的部分后，将其他区域作为汗滴进行提取。
在转印材料100中含有气泡的情况下，该气泡可能会被判别为汗滴。在该情况下，还要使用利用尺寸的判别方法。例如，作为判别阈值之一例，通过将判别阈值设定为“40μm”，从而将直径为40μm以下的较小的区域判别为气泡，仅将直径超过40μm的区域判别为汗滴。作为判别阈值的其他示例，能够例举出面积，例如求出直径为40μm的圆的面积，将该面积以下的较小的区域判别为气泡，仅将超过该面积的区域判别为汗滴。所述“直径”也可以是例如取椭圆近似时的长轴。
控制部10b包括皮丘分析部30。皮丘分析部30是计算由区域提取部28提取出的皮丘区域的面积的部分。皮丘分析部30例如通过生成将由区域提取部28提取出的皮丘区域包围起来的轮廓线，从而能够获得皮丘的形状。皮丘分析部30通过求算由皮丘的轮廓线包围起来的区域的面积，从而能够计算出皮丘的面积。另外，皮丘分析部30例如通过生成将由区域提取部28提取出的皮沟区域包围起来的轮廓线，从而能够获得皮沟的形状。皮丘分析部30通过求算由皮沟的轮廓线包围起来的区域的面积，从而也能够计算出皮沟的面积。
皮丘分析部30在二值化图像上或灰度图像上设置规定大小的多个网格，并计算各网格内的皮丘区域与皮沟区域的比率。具体而言，作为一例，在皮丘分析部30以将二值化图像九等分的方式设置网格并假设为第一分割图像～第九分割图像的情况下，计算各分割图像中所包含的皮丘区域的面积和皮沟区域的面积，来计算皮丘区域的面积与皮沟区域的面积的比率。例如在想要评估皮肤表面的肌理细腻度的情况下，能够根据设置在二值化图像上或灰度图像上的网格内的皮丘区域与皮沟区域的比率来进行评估。在皮丘区域的比率为规定值以上的情况下，则可以作为判断为肌理粗糙的基准。另外，在皮丘区域的比率小于规定值的情况下，则可以作为判断为肌理细腻的基准。
在以下对实施方式的说明中，在皮丘分析部30中使用了通过灰度图像分析皮丘与皮沟(皮丘接近于白色，皮沟接近于黑色)的结果。在是健康人的情况下，皮丘与皮沟之间的边界很清楚，能够测量皮丘的面积，但在是特应性皮炎患者的情况下，有时皮丘与皮沟之间的边界不清楚，在该情况下，通过将灰度图像直接用于分析，求出多个网格中皮丘与皮沟的比率，使用其网格内的像素的灰度值来分析皮丘与皮沟的比率，并用直方图表示，由此能够用作皮肤肌理的细腻度等的判断基准(后述)。
另外，皮丘分析部30将上述各网格内的皮丘区域与皮沟区域的比率数值化并计算频数分布。具体而言，在计算出皮丘区域的面积与皮沟区域的面积的比率后，将该比率数值化，以频数分布表的形式进行数据收集。另外，皮丘分析部30能够计算各皮丘区域的重心位置、皮丘区域的周长、矩形近似值、椭圆近似值、圆度、长宽比以及稠密度等。
另外，根据症状的不同，有时在皮丘的一部分形成有沟，在该情况下，在提取出的皮丘区域内会存在不是凸部的部分，即存在凹部。通过利用该凹部分割皮丘区域，从而可以作为适当地进行症状或临床评估的基准。为了应对该情况，皮丘分析部30在对皮丘区域进行提取后，判断提取出的皮丘区域的各部分是否为凸部，并根据判断为不是凸部的部分来分割皮丘区域。例如，有时在皮丘区域存在沟状部分，在该情况下，皮丘区域并非全为凸部，而是一部分(沟状部分)为凹部。由于判断为不是凸部的部分、即判断为凹部的部分是沟状部分，因此根据该沟状部分来分割皮丘区域，这样一来，一个皮丘区域就变成了多个皮丘区域。
控制部10b包括汗滴分析部31。汗滴分析部31计算由汗滴提取部29提取出的汗滴的分布。汗滴分析部31例如能够计算皮肤表面的每单位面积(1mm2、1cm2等)存在的汗滴的数量、各汗滴的大小(直径)、汗滴的面积等。另外，汗滴分析部31还能够计算皮肤表面的每单位面积存在的汗滴的总面积。
控制部10b包括信息输出部32。信息输出部32生成与由区域提取部28提取出的皮丘区域的形状相关的信息、以及与由汗滴提取部29提取出的汗滴相关的信息并输出。作为与皮丘区域的形状相关的信息，包括由皮丘分析部30计算出的结果，例如能够例举出皮丘区域的面积、皮丘区域的重心位置、皮丘区域的周长、矩形近似值、椭圆近似值、圆度、长宽比以及稠密度等。另外，作为与汗滴相关的信息，包括由汗滴分析部31计算出的结果，例如能够例举出每单位面积存在的汗滴的数量、每单位面积存在的汗滴的总面积等。
(皮肤表面分析方法)
接下来，示出具体的图像示例，来说明使用如上所述那样构成的皮肤表面分析装置1进行的皮肤表面分析方法。皮肤表面分析方法的流程如图3和图4的流程图所示。在图3所示的流程图的步骤S1中，实施IMT。在该步骤中，如图1所示，将牙科用的硅橡胶印模材料以膜状涂布在皮肤表面并放置规定时间后，将硅橡胶印模材料从皮肤上剥离，从而获得转印了人的皮肤表面结构的转印材料100。
然后，进入步骤S2。在步骤S2中，将转印材料100放置在立体显微镜101上，以规定的倍率进行观察，并利用拍摄元件对观察视野进行拍摄。由此，获得JPEG格式的彩色图像(1600×1200pixel)。接下来进入步骤S3，将由拍摄元件拍摄到的彩色图像读入到皮肤表面分析装置1的控制部10b中。然后，进入步骤S4，通过灰度处理部21(如图2所示)对在步骤S3中读入的彩色图像进行8bit的灰度化，生成灰度图像。生成的灰度图像之一例如图6所示。在灰度图像上，颜色浅的部分为皮丘，颜色深的部分为皮沟，但它们之间的边界不清楚，检查员在进行判别时，需要花很多时间来判断图像中的哪个部分是皮沟、或者哪个部分是皮丘，在一定时间内能够处理的样品数很有限。如果被读入控制部10b中的图像为灰度图像，则不需要进行灰度处理。
在接下来的步骤S5中，将灰度图像输入到图像输入部20中。该步骤为图像输入步骤。然后，在步骤S6中，局部图像增强处理部22对在步骤S5中输入的灰度图像执行局部图像增强处理。该步骤为局部图像增强处理步骤。执行了局部图像增强处理后的图像如图7所示。由图可知，图7所示的图像与图6所示的图像相比，增强了局部区域的对比度，从而细节的可视性提高。
然后，进入步骤S7。在步骤S7中，补丁图像生成部23将在步骤S6中生成的增强处理图像分割成多张补丁图像。在图8中示出了分割成补丁图像后的情况，网格状的线相当于补丁图像的边界。此时，使图中在上下方向上和左右方向上相邻的补丁图像以“64像素跨距”彼此重叠。该步骤为补丁图像生成步骤。
在生成补丁图像后，进入步骤S8。在步骤S8中，将在步骤S7中生成的各补丁图像输入到机器学习识别器24中，并通过机器学习识别器24对已输入的各补丁图像执行分割处理。此时，向皮丘/皮沟检测器24a和汗滴检测器24b这两者输入相同的补丁图像(步骤S9、S10)。该步骤为分割处理步骤。
具体而言，如图9所示，在存在八张补丁图像作为输入图像的情况下，将八张补丁图像输入到皮丘/皮沟检测器24a中，并且也输入到汗滴检测器24b中。皮丘/皮沟检测器24a针对所有的输入图像生成输出图像并进行输出，在所述输出图像中，各像素的颜色被设定为：皮丘的可能性越高，则像素的颜色越白；皮丘的可能性越低(皮沟的可能性越高)，则像素的颜色越黑。另外，汗滴检测器24b针对所有的输入图像生成输出图像并进行输出，在所述输出图像中，各像素的颜色被设定为：汗滴的可能性越高，则像素的颜色越白；汗滴的可能性越低，则像素的颜色越黑。
在图9中，示出了从皮丘/皮沟检测器24a输出的皮丘/皮沟输出图像和从汗滴检测器24b输出的汗滴输出图像之一例。皮丘/皮沟输出图像中的白色部分为皮丘区域，黑色部分为皮沟区域。另外，汗滴输出图像中的白色部分为汗滴。
在本示例中，如上所述，在步骤S7中分割成多张补丁图像时，使相邻的补丁图像重叠。假设在使补丁图像不重叠的情况下，偶尔会有皮丘的边缘或汗滴重叠在相邻的补丁图像的边界上，这可能会导致对于重叠在边界上的皮丘或汗滴的判别精度降低。相对于此，在本示例中，通过使相邻的补丁图像各自的一部分彼此重叠，则即使对于位于上述位置的皮丘或汗滴，也能够高精度地进行判别。
然后，进入步骤S11，将经过步骤S9后的皮丘/皮沟输出图像(补丁图像)合成，生成如图10所示的整体图像。另外，在该步骤S11中，也将经过步骤S9后的汗滴输出图像(补丁图像)合成，生成如图11所示的整体图像。各整体图像的像素数与在步骤S5中输入的图像的像素数相同。该步骤为整体图像生成步骤。
接下来进入图4所示的步骤S12，似然图生成部26根据分割处理结果，从在步骤S11中生成的整体图像生成皮丘的似然图图像和汗滴的似然图图像。该步骤为似然图生成步骤。图12示出了皮丘的似然图图像之一例。在该图中，为了便于说明而使用了灰度图像，但在本示例中使用了以下的彩色图像：皮丘的似然度最高的像素用红色表示，皮丘的似然度最低的像素用蓝色表示，似然度最高与似然度最低之间的像素用8bit的色深表示。这样一来，皮丘区域与皮沟区域的判别变得容易。
另外，图13示出了汗滴的似然图图像之一例。该图像原本也是彩色图像，其为：汗滴的似然度最高的像素用红色表示，汗滴的似然度最低的像素用蓝色表示，似然度最高与似然度最低之间的像素用8bit的色深表示。这样一来，汗滴的判别变得容易。
在生成皮丘的似然图图像和汗滴的似然图图像后，进入步骤S13。在步骤S13中，对在步骤S12中生成的皮丘的似然图图像执行二值化处理，并生成二值化图像。该步骤是由二值化处理部27执行的步骤，为二值化处理步骤。图14示出了通过对皮丘的似然图图像执行二值化处理而生成的二值化图像。
然后，进入步骤S14，区域提取部28根据在步骤S13中生成的二值化图像来提取皮丘区域。此时，也可以提取皮沟区域。图15是对皮丘/皮沟进行提取后的图像，通过用黑线将皮丘区域包围起来的方式来显示皮丘区域。该步骤为区域提取步骤。
另外，进入步骤S15，汗滴提取部29根据在步骤S12中生成的汗滴的似然图图像来提取汗滴。该步骤为汗滴提取步骤。图16是对汗滴进行提取后的图像，通过用黑线将汗滴包围起来的方式来显示汗滴。
接下来进入步骤S16。在步骤S16中，对汗滴的位置与皮丘/皮沟进行比较。汗滴的位置和范围能够通过图像上的XY坐标来确定。另外，皮丘/皮沟的位置和范围也能够通过图像上的XY坐标来确定。由于用于确定汗滴的位置和范围的图像与用于确定皮丘/皮沟的位置和范围的图像原本是相同的，因此能够如图17所示的那样将汗滴布置在表示皮丘/皮沟的图像上。这样一来，能够获得汗滴与皮丘/皮沟的相对位置关系。此时，可以使用皮丘的区域和汗滴的重心位置坐标。
然后，进入步骤S17。在步骤S17中，对位于皮丘/皮沟的汗滴进行鉴别。图18是对位于皮丘/皮沟的汗滴进行鉴别后的图像，由此能够将位于皮丘的汗滴与位于皮沟的汗滴区别开来。在图18中，形状接近圆形的部分是汗滴。
在进行了鉴别后，进入步骤S18和步骤S19。关于步骤S18和步骤S19的顺序，无论哪一者在前都可以。在步骤S18中，制作皮丘信息的直方图，并将其显示在显示器11上。首先，皮丘分析部30分别计算在步骤S14中提取出的各皮丘区域的面积。然后，如图19所示，制作以横轴表示面积、以纵轴表示频数的直方图。该步骤为皮丘分析步骤。这样一来，就能够掌握皮丘区域面积的分布情况。例如，在是特应性皮炎的情况下，单个皮丘的面积往往较大，如果较大面积的频数高，则表明特应性皮炎所引起的排汗障碍的倾向强。
另外，在步骤S19中，制作汗滴的热图图像，并将其显示在显示器11上。首先，汗滴分析部31计算在步骤S15中提取出的汗滴的分布。例如，如图20所示，在对转印材料100进行拍摄而得到的图像上形成网格，并对存在于各网格内的汗滴的数量进行计数。这能够通过判断在步骤S15中提取出的汗滴的重心位置的坐标位于哪个网格内来实现。例如，通过按照不存在汗滴的网格、存在一个汗滴的网格、存在两个汗滴的网格、存在三个汗滴的网格、…等进行颜色区分并对各网格涂色，从而能够掌握汗滴的分布情况，可以将像这样区分颜色来显示的图像称为热图图像。该步骤为汗滴分析步骤。如果汗滴的分布稀疏，则表明特应性皮炎所引起的排汗障碍的倾向强。
另外，通过制作热图图像，还具有以下优点：能够以小范围内的排汗和皮丘的状态作为模式进行判断，这在单个分析区域中是无法得出的，或者在以大范围对整体进行平均的情况下，也是无法判断出来的。另外，也能够将热图图像按照时间顺序排列并显示在显示器11上。例如，在特应性皮炎患者开始治疗后经过一周、两周、三周的时间点分别生成热图图像，并将这些热图图像以列表的形式显示出来，由此能够判断症状是否正在改善，并且能够对其过程进行定量判断。
图21是皮丘区域图像之一例，示出了将在步骤S14中提取出的各皮丘区域包围起来的线。该图所示的图像是由皮丘分析部30生成的，能够显示在显示器11上。在图中，在存在用“15”表示的第十五个皮丘区域和用“16”表示的第十六个皮丘区域的情况下，如图22所示，皮丘分析部30将规格的测量结果制作成表，并显示在显示器11上。
在图22所示的表中，“Label”是为了将第十五个皮丘区域和第十六个皮丘区域区别开而设置的。表中的规格如下：“Area”为皮丘区域的面积，“XM”和“YM”为皮丘区域的重心位置，“Perimeter”为皮丘区域的周长，“BX”、“BY”、“Width”和“Height”示出矩形近似，“Major”、“Minor”和“Angle”示出椭圆近似，“Circularity”为圆度、“Aspect Ratio”为长宽比，“Solidity”为稠密度。这些规格值能够由皮丘分析部30通过使用例如图像分析软件来计算。如上所述，通过使用多个指标而不仅仅是一个指标，从而能够与临床信息相对应地进行判断。另外，这些指标也能够有助于皮肤表面肌理的细腻度的判别，因此也能够用机器学习识别器24进行皮肤表面肌理的细腻度的判别。另外，如图22所示，也能够从统计的角度(合计值、最大值、最小值、偏差值等)进行处理。
图23是示出每个128×128pixel的网格中的皮丘与皮沟的二维分布的图表，这样的图表也能够由皮丘分析部30生成并显示在显示器11上。例如，能够用8bit的彩色图像来显示，其中，用红色表示皮丘区域，用蓝色表示皮沟区域。例如，能够作为表示皮肤表面肌理的细腻度或症状已得到改善的方法之一例来使用，也可以作为热图来表示，在将皮丘与皮沟的面积的比率数值化时，如果用直方图来表示，在皮肤表面肌理细腻的情况下，中央值周边的频度变高，而在是特应性皮炎的情况下，分布在整体上变宽，并向末端扩散。这样一来，能够将二维信息量化并用作诊断信息。
图24示出了皮丘分析部30在图像上设置规定大小的多个网格(在本示例中为二十四个)，并计算网格内的皮丘区域与皮沟区域的比率的情况。在该情况下，能够将各网格内的皮丘区域与皮沟区域的比率数值化并计算频数分布，并能够以直方图的形式显示在显示器11上。例如，为了评估皮肤表面肌理的细腻度，可以考虑仅使用皮丘的面积的方法，在该情况下，当相邻的两个皮丘非常接近而被判别为一个皮丘时，则变成两倍左右大小的皮丘，这可能导致分析结果变得不准确。如本示例那样，通过求各网格中的皮丘与皮沟的比率，而能够定量地计算皮肤表面肌理的细腻度。
图25是将3×3＝9个视野的拍摄区域合成在一起的图像。这样一来，能够对大范围进行观察，从而对大范围中的、排汗较为平均的视野的图像进行上述各种分析。例如，在仅着眼于一个视野的情况下，无法判别该视野是排汗较少的视野，还是排汗较多的视野，亦或是排汗较为平均的视野，而通过预先对大约9个视野的大范围视野全部进行汗滴分析，从而能够将排汗较少的视野和排汗较多的视野排除掉，选择排汗较为平均的视野，即适合皮肤表面分析的视野。这样一来，分析结果变得更准确。在由检查员进行分析的情况下，由于时间上的限制，以往所处理的视野约为3个视野，但根据本发明，能够对大大超过3个视野的多个视野进行分析，从而能够更准确地进行皮肤表面分析。
皮丘分析部30也能够将如图25所示的图像按照时间顺序排列并显示在显示器11上。例如，在特应性皮炎患者开始治疗后经过一周、两周、三周的时间点分别如图25所示的那样生成图像，并将这些图像以列表的形式显示在显示器11上，由此能够判断症状是否正在改善，并且能够对其过程进行定量判断。
(基于皮丘/皮沟比率进行的皮肤肌理的量化)
图26是示出健康人的前臂上的皮丘与皮沟的比率的图表(直方图)，示出了在灰度图像中设置像素尺寸为100×100的网格的情况。横轴为皮丘与皮沟的比率，纵轴为数量。图26右侧的图表还示出了核密度估计的图表。另外，同样地，图27示出了设置像素尺寸为150×150的网格的情况，图28示出了设置像素尺寸为200×200的网格的情况，图29示出了设置像素尺寸为250×250的网格的情况。
在如健康人的前臂那样皮肤肌理细腻的情况下，在像素尺寸为100×100、150×150、200×200、250×250的任一个网格中，都呈现在中央部分具有峰的分布。另外，由于已知皮丘与皮沟的比率，因此根据网格尺寸，不仅能够将皮丘的尺寸量化，还能够将皮沟的尺寸量化。
接下来，对特应性皮炎患者的情况进行说明。图30～图33是示出特应性皮炎患者的大腿上的皮丘与皮沟的比率的图表，分别相当于图26～图29。与表示健康人的图26～图29的图表相比，峰从中央偏离或出现多个峰，因此通过查看这些图表，就能够掌握健康人与特应性皮炎患者之间的差异。
另外，图34～图37是示出特应性皮炎患者的额头处的皮丘与皮沟的比率的图表，分别相当于图26～图29。与示出健康人的图26～图29的图表相比，峰整体上向右侧(皮丘/皮沟比率大的一侧)偏移或出现多个峰，因此通过查看这些图表，就能够掌握健康人与特应性皮炎患者之间的差异，并且能够掌握特应性皮炎患者的皮肤肌理的细腻度和皮肤的状态，因此在随访中，能够作为客观的指标来展示治疗效果。
另外，图38～图41是示出特应性皮炎患者的肘部的皮丘与皮沟的比率的图表，分别相当于图26～图29。与示出健康人的图26～图29的图表相比，峰从中央偏离或出现多个峰，因此通过查看这些图表，就能够掌握健康人与特应性皮炎患者之间的差异，并且能够掌握特应性皮炎患者的皮肤肌理的细腻度和皮肤的状态，因此在随访中，能够作为客观的指标来展示治疗效果。
(实施方式的作用和效果)
综上所述，根据该实施方式，利用机器学习识别器24生成皮肤表面的似然图图像，能够利用似然图图像来判别皮丘区域和汗滴，因此能够排除分析时的个体差异，提高皮肤表面状态的分析精度，并且能够缩短分析所需的时间。
上述实施方式在所有方面都仅为单纯的示例而已，不得对本发明作出限定性解释。此外，属于权利要求书的等同范围的变形、变更全部包括在本发明的范围内。
－产业实用性－
综上所述，本发明所涉及的皮肤表面分析装置及皮肤表面分析方法能够用于例如对人的皮肤表面进行分析的情况。
－符号说明－
1          皮肤表面分析装置
20         图像输入部
21         灰度处理部
22         图像增强处理部
23         补丁图像生成部
24         机器学习识别器
24a        皮丘/皮沟检测器
24b        汗滴检测器
25         整体图像生成部
26         似然图生成部
27         二值化处理部
28         区域提取部
29         汗滴提取部
30         皮丘分析部
31         汗滴分析部
100        转印材料。

Claims (12)

1.一种皮肤表面分析装置，所述皮肤表面分析装置使用转印了人的皮肤表面结构的转印材料来对皮肤表面进行分析，其特征在于：
所述皮肤表面分析装置包括图像输入部、局部图像增强处理部、补丁图像生成部、机器学习识别器、整体图像生成部、似然图生成部、二值化处理部、区域提取部以及皮丘分析部，
拍摄所述转印材料而得到的图像被输入到所述图像输入部中，
所述局部图像增强处理部执行局部图像增强处理并生成增强处理图像，所述局部图像增强处理使输入到所述图像输入部中的图像的局部区域的对比度增强，
所述补丁图像生成部将由所述局部图像增强处理部生成的增强处理图像分割成多张补丁图像，
由所述补丁图像生成部生成的各补丁图像被输入到所述机器学习识别器中，所述机器学习识别器对所输入的各补丁图像执行分割处理，
所述整体图像生成部将从所述机器学习识别器输出的分割处理后的补丁图像合成，而生成整体图像，
所述似然图生成部根据所述分割处理的结果，从由所述整体图像生成部生成的整体图像生成皮丘的似然图图像，
所述二值化处理部对由所述似然图生成部生成的似然图图像执行二值化处理，而生成二值化图像，
所述区域提取部根据由所述二值化处理部生成的二值化图像提取皮丘区域，
所述皮丘分析部计算由所述区域提取部提取出的皮丘区域的面积。
2.一种皮肤表面分析装置，所述皮肤表面分析装置使用转印了人的皮肤表面结构的转印材料来对皮肤表面进行分析，其特征在于：
所述皮肤表面分析装置包括图像输入部、局部图像增强处理部、补丁图像生成部、机器学习识别器、整体图像生成部、似然图生成部、汗滴提取部以及汗滴分析部，
拍摄所述转印材料而得到的图像被输入到所述图像输入部中，
所述局部图像增强处理部执行局部图像增强处理并生成增强处理图像，所述局部图像增强处理使输入到所述图像输入部中的图像的局部区域的对比度增强，
所述补丁图像生成部将由所述局部图像增强处理部生成的增强处理图像分割成多张补丁图像，
由所述补丁图像生成部生成的各补丁图像被输入到所述机器学习识别器中，所述机器学习识别器对所输入的各补丁图像执行分割处理，
所述整体图像生成部将从所述机器学习识别器输出的分割处理后的补丁图像合成，而生成整体图像，
所述似然图生成部根据所述分割处理的结果，从由所述整体图像生成部生成的整体图像生成汗滴的似然图图像，
所述汗滴提取部根据由所述似然图生成部生成的似然图图像提取汗滴，
所述汗滴分析部计算由所述汗滴提取部提取出的汗滴的分布。
3.根据权利要求1所述的皮肤表面分析装置，其特征在于：
所述皮肤表面分析装置包括似然图生成部、汗滴提取部以及汗滴分析部，
所述似然图生成部根据所述分割处理的结果，从由所述整体图像生成部生成的整体图像生成汗滴的似然图图像，
所述汗滴提取部根据由所述似然图生成部生成的似然图图像提取汗滴，
所述汗滴分析部计算由所述汗滴提取部提取出的汗滴的分布。
4.根据权利要求1到3中任一项权利要求所述的皮肤表面分析装置，其特征在于：
所述转印材料是通过印模技术获得的，
所述皮肤表面分析装置包括灰度处理部，所述灰度处理部将拍摄所述转印材料而得到的图像灰度化。
5.根据权利要求1到4中任一项权利要求所述的皮肤表面分析装置，其特征在于：
所述补丁图像生成部以相邻的补丁图像各自的一部分彼此重叠的方式生成补丁图像。
6.根据权利要求1到5中任一项权利要求所述的皮肤表面分析装置，其特征在于：
所述机器学习识别器使输入图像的分辨率与输出图像的分辨率相同。
7.根据权利要求1所述的皮肤表面分析装置，其特征在于：
所述皮丘分析部在图像上设置规定大小的多个网格，并计算各个所述网格内的皮丘区域与皮沟区域的比率。
8.根据权利要求7所述的皮肤表面分析装置，其特征在于：
所述皮丘分析部将各个所述网格内的皮丘区域与皮沟区域的比率数值化，并计算频数分布。
9.根据权利要求1所述的皮肤表面分析装置，其特征在于：
所述区域提取部在对皮丘区域进行提取后，判断提取出的皮丘区域的各部分是否为凸部，并根据判断为不是凸部的部分来分割所述皮丘区域。
10.根据权利要求3所述的皮肤表面分析装置，其特征在于：
所述皮肤表面分析装置包括信息输出部，所述信息输出部生成与由所述区域提取部提取出的皮丘区域的形状相关的信息并输出。
11.一种皮肤表面分析方法，所述皮肤表面分析方法使用转印了人的皮肤表面结构的转印材料来对皮肤表面进行分析，其特征在于：
所述皮肤表面分析方法包括图像输入步骤、局部图像增强处理步骤、补丁图像生成步骤、分割处理步骤、整体图像生成步骤、似然图生成步骤、二值化处理步骤、区域提取步骤以及皮丘分析步骤，
在所述图像输入步骤中，将拍摄所述转印材料而得到的图像输入，
在所述局部图像增强处理步骤中，执行局部图像增强处理并生成增强处理图像，所述局部图像增强处理使在所述图像输入步骤中输入的图像的局部区域的对比度增强，
在所述补丁图像生成步骤中，将由所述局部图像增强处理步骤生成的增强处理图像分割成多张补丁图像，
在所述分割处理步骤中，将由所述补丁图像生成步骤生成的各补丁图像输入到机器学习识别器中，并通过机器学习识别器对已输入的各补丁图像执行分割处理，
在所述整体图像生成步骤中，将所述分割处理步骤后的补丁图像合成，而生成整体图像，
在所述似然图生成步骤中，根据所述分割处理的结果，从由所述整体图像生成步骤生成的整体图像生成皮丘的似然图图像，
在所述二值化处理步骤中，对由所述似然图生成步骤生成的似然图图像执行二值化处理，而生成二值化图像，
在所述区域提取步骤中，根据由所述二值化处理步骤生成的二值化图像提取皮丘区域，
在所述皮丘分析步骤中，计算由所述区域提取步骤提取出的皮丘区域的面积。
12.一种皮肤表面分析方法，所述皮肤表面分析方法使用转印了人的皮肤表面结构的转印材料来对皮肤表面进行分析，其特征在于：
所述皮肤表面分析方法包括图像输入步骤、局部图像增强处理步骤、补丁图像生成步骤、分割处理步骤、整体图像生成步骤、似然图生成步骤、汗滴提取步骤以及汗滴分析步骤，
在所述图像输入步骤中，将拍摄所述转印材料而得到的图像输入，
在所述局部图像增强处理步骤中，执行局部图像增强处理并生成增强处理图像，所述局部图像增强处理使在所述图像输入步骤中输入的图像的局部区域的对比度增强，
在所述补丁图像生成步骤中，将由所述局部图像增强处理步骤生成的增强处理图像分割成多张补丁图像，
在所述分割处理步骤中，将由所述补丁图像生成步骤生成的各补丁图像输入到机器学习识别器中，并通过机器学习识别器对已输入的各补丁图像执行分割处理，
在所述整体图像生成步骤中，将所述分割处理步骤后的补丁图像合成，而生成整体图像，
在所述似然图生成步骤中，根据所述分割处理的结果，从由所述整体图像生成步骤生成的整体图像生成汗滴的似然图图像，
在所述汗滴提取步骤中，根据由所述似然图生成步骤生成的似然图图像提取汗滴，
在所述汗滴分析步骤中，计算由所述汗滴提取步骤提取出的汗滴的分布。
CN202180061633.1A 2020-09-17 2021-09-09 皮肤表面分析装置及皮肤表面分析方法 Pending CN116113984A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-156214 2020-09-17
JP2020156214 2020-09-17
PCT/JP2021/033184 WO2022059596A1 (ja) 2020-09-17 2021-09-09 皮表解析装置及び皮表解析方法

Publications (1)

Publication Number Publication Date
CN116113984A true CN116113984A (zh) 2023-05-12

Family

ID=80777006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180061633.1A Pending CN116113984A (zh) 2020-09-17 2021-09-09 皮肤表面分析装置及皮肤表面分析方法

Country Status (6)

Country Link
US (1) US20230214970A1 (zh)
EP (1) EP4216153A4 (zh)
JP (1) JPWO2022059596A1 (zh)
KR (1) KR20230069953A (zh)
CN (1) CN116113984A (zh)
WO (1) WO2022059596A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264296B1 (ja) 2022-04-20 2023-04-25 堺化学工業株式会社 毛髪の状態を判別する状態判別方法、状態判別装置、および状態判別プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793549A (ja) * 1993-09-24 1995-04-07 Shiseido Co Ltd 帰納学習を用いた物理情報分類装置及び帰納学習を用いた物理情報分類規則生成方法
JPH09308619A (ja) * 1996-05-23 1997-12-02 Kao Corp 皮膚表面分析方法及び装置
JP5993587B2 (ja) * 2012-03-13 2016-09-14 株式会社 資生堂 肌状態解析方法、肌状態解析装置、及び、肌状態解析システム、並びに、該肌状態解析方法を実行させるためのプログラム、及び、該プログラムを記録した記録媒体
WO2015029452A1 (ja) * 2013-08-30 2015-03-05 株式会社ニュートリション・アクト 解析装置、解析方法、プログラム、および肌サンプル採取キット
DK179723B1 (en) 2017-02-15 2019-04-12 Vkr Holding A/S A method for attaching a pane element to a sash and a pane module including a pane element
WO2018230733A1 (ja) 2017-06-16 2018-12-20 マルホ株式会社 皮膚外用剤
US20200234444A1 (en) * 2019-01-18 2020-07-23 Tissue Analytics, Inc. Systems and methods for the analysis of skin conditions

Also Published As

Publication number Publication date
KR20230069953A (ko) 2023-05-19
EP4216153A4 (en) 2024-04-03
US20230214970A1 (en) 2023-07-06
JPWO2022059596A1 (zh) 2022-03-24
WO2022059596A1 (ja) 2022-03-24
EP4216153A1 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
Yang et al. Clinical skin lesion diagnosis using representations inspired by dermatologist criteria
Garnavi et al. Automatic segmentation of dermoscopy images using histogram thresholding on optimal color channels
CN109727243A (zh) 乳腺超声图像识别分析方法及系统
JP5878125B2 (ja) 認知症診断支援装置及び認知症診断支援方法
US20140018681A1 (en) Ultrasound imaging breast tumor detection and diagnostic system and method
EP2637570A2 (en) System and method of ultrasound image processing
Ghaedi et al. An automated dental caries detection and scoring system for optical images of tooth occlusal surface
Lakshmi et al. Classification of Dental Cavities from X-ray images using Deep CNN algorithm
KR102206621B1 (ko) 딥러닝 알고리즘을 이용한 근감소증 분석 프로그램 및 애플리케이션
JPWO2019044095A1 (ja) 医用情報表示装置、方法及びプログラム
JP2019028887A (ja) 画像処理方法
CN117877691A (zh) 一种基于图像识别的智能化伤口信息采集系统
JPWO2019044081A1 (ja) 医用画像表示装置、方法及びプログラム
US20230214970A1 (en) Skin surface analysis device and skin surface analysis method
Olsen et al. An image-processing enabled dental caries detection system
JP5640280B2 (ja) 骨粗鬆症診断支援装置及び骨粗鬆症診断支援プログラム
CN113688942A (zh) 基于深度学习的头侧片腺样体图像自动评估方法和装置
JP2011115393A (ja) 肌特徴判別システム、肌特徴判別方法及び肌特徴判別プログラム
US9773307B2 (en) Quantification and imaging methods and system of the echo texture feature
EP2980757B1 (en) Quantification and imaging methods of the echo-texture feature
JP6390458B2 (ja) 情報処理装置、情報処理システム及び情報処理方法並びに情報処理用プログラム
CN118212235B (zh) 一种胶囊内窥镜图像筛选方法及系统
KR102183073B1 (ko) 치매 판단을 위한 단층 촬영 이미지 선택 장치 및 방법
Kang et al. Dental plaque segmentation and quantification using histogram-aided fuzzy c-means algorithm
Sciortino et al. Morphological analysis combined with a machine learning approach to detect utrasound median sagittal sections for the nuchal translucency measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination