CN114616631A - 评估皮肤 - Google Patents

评估皮肤 Download PDF

Info

Publication number
CN114616631A
CN114616631A CN202080076476.7A CN202080076476A CN114616631A CN 114616631 A CN114616631 A CN 114616631A CN 202080076476 A CN202080076476 A CN 202080076476A CN 114616631 A CN114616631 A CN 114616631A
Authority
CN
China
Prior art keywords
skin
images
melanin
subject
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080076476.7A
Other languages
English (en)
Inventor
S·D·费尔南多
K·C·范布雷
K·K·苏马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114616631A publication Critical patent/CN114616631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B18/203—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser applying laser energy to the outside of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00057—Light
    • A61B2017/00061—Light spectrum
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
    • A61B2018/00452—Skin
    • A61B2018/00476—Hair follicles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00642—Sensing and controlling the application of energy with feedback, i.e. closed loop control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/0066—Sensing and controlling the application of energy without feedback, i.e. open loop control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00666—Sensing and controlling the application of energy using a threshold value
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00696—Controlled or regulated parameters
    • A61B2018/00702—Power or energy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00696—Controlled or regulated parameters
    • A61B2018/00702—Power or energy
    • A61B2018/00708—Power or energy switching the power on or off
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00898—Alarms or notifications created in response to an abnormal condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B2018/1807—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using light other than laser radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2015—Miscellaneous features
    • A61B2018/202—Laser enclosed in a hand-piece
    • A61B2018/2023—Self-contained devices, i.e. with power supply in the hand-piece
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2035—Beam shaping or redirecting; Optical components therefor
    • A61B2018/20361—Beam shaping or redirecting; Optical components therefor with redirecting based on sensed condition, e.g. tissue analysis or tissue movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0431—Portable apparatus, e.g. comprising a handle or case
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Dermatology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Otolaryngology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

根据一个方面，提供了一种用于评估受试者的皮肤的装置。该设备包括处理单元，该处理单元被配置为从成像单元接收该受试者的皮肤的一个或多个图像，其中该成像单元被布置为获得该受试者的皮肤的图像；处理一个或多个图像，以基于皮肤的色素网络结构的一个或多个特性来确定受试者的皮肤的黑色素指数和/或皮肤类型；以及输出指示所确定的皮肤类型和/或黑色素指数的第一信号。

Description

评估皮肤
技术领域
本公开涉及评估皮肤，并且特别地，涉及确定皮肤的黑色素指数和/或皮肤类型。
背景技术
强脉冲光(IPL)技术用于许多应用的流行解决方案，该应用例如但不限于光子脱毛、损伤治疗、光子嫩肤、家庭个人护理、专业个人护理和医疗设置。对于家庭环境中的光子脱毛，IPL光子脱毛设备瞄准毛发中的黑色素，向皮肤表面施加广谱光。毛发和毛囊(处于其生长周期的生长期)吸收该能量并进入其静止期。这可以防止毛发的再生长。为了将这种IPL技术有效地用于毛发去除(例如，使对皮肤的损伤或刺激最小化)，应当基于皮肤的肤色来调整IPL光子脱毛设备的能量设置。一些IPL光子脱毛装置(例如，飞利浦LumeaPrestige)可以检测肤色并选择适当的能量设置。可以检测肤色并将肤色分类为例如六种不同类型中的一种。皮肤类型1至6可以广义地标记为：“白色”、“米色”、“浅棕色”、“中等棕色”、“深棕色”、“深棕色及棕黑色及更暗”。一般地，IPL光子脱毛装置不应当与较暗的皮肤一起使用，因为皮肤将吸收光脉冲中的能量而不是毛发或毛囊吸收该能量。在这种情况下，如果检测到例如棕黑色及更暗的肤色，则设备不应当触发闪光。
除了毛发去除之外，基于光的技术也可以用于其他类型的皮肤病学治疗，包括治疗痤疮和皮肤损伤。
IPL设备中的皮肤类型检测的当前方法使用反射光谱，例如Feather J.W.、EllisD.J.和Leslie G.的论文“A portable reflectometer for a rapidquantification of cutaneous haemoglobin and melanin”,Phys.Med.Biol.1988,33,711-722.中所描述的。在该技术中，使用两个反射波长(红色和近红外-与水和血红蛋白相比，黑色素在这两个波长处具有更高的吸收系数)之间的比率来计算黑色素指数，然后使用该指数来计算皮肤类型。这些反射的能量信号受温度、环境光、和IPL设备的波导的影响。此外，可以相对于参考合成皮肤样品来对该比率进行校准。该方法的另一个替代方案是使用皮肤区域的智能手机相机图像来计算肤色。由于皮肤的镜面反射性、照明条件的变化、以及图像传感器特性的变化，这个方案也是非常具有挑战性的。此外，图像测量可能需要使用颜色校准卡。
因此，需要在确定皮肤的黑色素指数和/或皮肤类型方面做出改进，例如以用在IPL装置的能量水平设置中。
发明内容
根据第一方面，提供了一种用于评估受试者的皮肤的装置。该设备包括处理单元，该处理单元被配置为从成像单元接收该受试者的皮肤的一个或多个图像，该成像单元被布置为获得该受试者的皮肤的图像；处理一个或多个图像，以基于皮肤的色素网络结构的一个或多个特性来确定所述受试者的皮肤的黑色素指数和/或皮肤类型；以及输出指示所确定的皮肤类型和/或黑色素指数的第一信号。因此，该装置能够从皮肤的(一个或多个)图像确定皮肤的黑色素指数和/或皮肤类型。
在一些实施方案中，皮肤的色素网络结构的一个或多个特性与以下中的任一项有关：该结构中存在黑色素、该结构中的角质形成细胞和/或黑色素细胞中存在黑色素；沿皮肤中的真皮-表皮结合处的角质形成细胞和/或黑色素细胞中存在黑色素；以及皮肤中的真皮乳头存在突和/或嵴。
在一些实施例中，处理单元被配置为从一个或多个图像确定皮肤中的角质形成细胞和/或黑色素细胞中的黑色素的存在和/或密度。在这些实施例中，处理单元被配置为通过将所确定的黑色素的存在和/或密度与对应于相应的皮肤类型和/或黑色素指数的相应的阈值进行比较，来确定皮肤类型和/或黑色素指数。
在一些实施例中，处理单元被配置为从一个或多个图像确定真皮乳头的突和/或嵴的图案。在这些实施例中，处理单元被配置为通过将所确定的突和/或嵴的图案与对应于相应的皮肤类型和/或黑色素指数的相应的图案进行比较，来确定皮肤类型和/或黑色素指数。
在一些实施例中，处理单元被配置为使用经训练的机器学习模型来处理一个或多个图像，以基于色素网络结构的一个或多个特性来确定受试者的皮肤的黑色素指数和/或皮肤类型。经训练的机器学习模型可以是人工神经网络，例如深度神经网络。
在一些实施例中，所确定的皮肤类型包括以下中的任一项：正常皮肤、干性皮肤、油性皮肤、晒黑皮肤、未晒黑皮肤、混合性皮肤、以及菲茨帕特里克(Fitzpatrick)量表上的皮肤类型。
在一些实施方案中，所确定的黑色素指数包括黑色素量表上的数值。
在一些实施例中，该装置还包括被配置为接收第一信号的用户界面，并且第一信号被配置为使用户界面向用户输出指示所确定的皮肤类型和/或黑色素指数的反馈。
在一些实施例中，第一信号被输出到治疗设备的控制单元，并且控制单元使用第一信号来确定治疗设备的一个或多个操作设置。因此，因为治疗设备可以响应于第一信号而自动应用操作设置，所以这些实施例在治疗设备的治疗操作的设置基于皮肤类型和/或黑色素指数而变化的情况下是有用的。
在一些实施例中，处理单元被配置为对所接收的一个或多个图像进行颜色归一化，并且处理一个或多个归一化的图像以确定皮肤的黑色素指数和/或皮肤类型。以这种方式，可以确保皮肤的颜色不影响皮肤类型和/或黑色素指数的确定，并且相反地，基于色素网络结构的特性来进行确定。
根据第二方面，提供了一种系统，该系统包括：成像单元，其被布置为获得受试者的皮肤的图像；以及根据第一方面或其任何实施例的装置。
在一些实施例中，该系统还包括用于在受试者的皮肤上执行治疗操作的治疗设备。
在一些实施例中，该治疗设备包括控制单元，该控制单元被配置为接收第一信号，并且该控制单元被配置为基于第一信号中指示的皮肤类型和/或黑色素指数来确定该治疗设备的一个或多个操作设置。
在这些实施例中，治疗设备可以包括成像单元和/或装置。在替代实施例中，治疗设备可以与该装置分开。
在一些实施例中，该系统还包括用于照明皮肤的一个或多个光源。当获得图像时，这些(一个或多个)光源可以用于照亮皮肤。
在一些实施例中，(一个或多个)光源被配置为发射具有可见光谱中的波长的光，并且所发射的蓝光具有比其他颜色的光更高的强度。
在一些实施例中，该系统还包括第一偏振器，第一偏振器被布置为使由该一个或多个光源发射的光偏振。在一些实施例中，该系统还包括第二偏振器，第二偏振器被布置为使从皮肤入射到成像单元上的光偏振。使用偏振光和/或使入射到成像单元上的光偏振可以改进在所获得的图像中可见的皮肤的深度。
在包括第一偏振器和第二偏振器的实施例中，第一偏振器和第二偏振器可以相对于彼此正交地或基本上正交地布置。
根据第三方面，提供了一种用于评估受试者的皮肤的计算机实施的方法，该方法包括：从成像单元接收受试者的皮肤的一个或多个图像，该成像单元被布置为获得受试者的皮肤的图像；处理一个或多个图像，以基于受试者的皮肤的色素网络结构的一个或多个特性来确定皮肤的黑色素指数和/或皮肤类型；以及输出指示所确定的皮肤类型和/或黑色素指数的第一信号。因此，该方法能够从皮肤的(一个或多个)图像确定皮肤的黑色素指数和/或皮肤类型。
在一些实施方案中，皮肤的色素网络结构的一个或多个特性与以下中的任一项有关：该结构中存在黑色素、该结构中的角质形成细胞和/或黑色素细胞中存在黑色素；沿皮肤中的真皮-表皮结合处的角质形成细胞和/或黑色素细胞中存在黑色素；以及皮肤中真皮乳头存在突和/或嵴。
在一些实施例中，处理步骤包括从一个或多个图像确定皮肤中的角质形成细胞和/或黑色素细胞中黑色素的存在和/或密度。在这些实施例中，处理步骤包括通过将所确定的黑色素的存在和/或密度与对应于相应的皮肤类型和/或黑色素指数的相应的阈值进行比较，来确定皮肤类型和/或黑色素指数。
在一些实施例中，处理步骤包括从一个或多个图像确定真皮乳头的突和/或嵴的图案。在这些实施例中，处理步骤包括通过将所确定的突和/或嵴的图案与对应于相应的皮肤类型和/或黑色素指数的相应的图案进行比较，来确定皮肤类型和/或黑色素指数。
在一些实施例中，处理步骤包括使用经训练的机器学习模型来处理一个或多个图像，以基于色素网络结构的一个或多个特性来确定受试者的皮肤的黑色素指数和/或皮肤类型。经训练的机器学习模型可以是人工神经网络，例如深度神经网络。
在一些实施例中，所确定的皮肤类型包括以下中的任一项：正常皮肤、干性皮肤、油性皮肤、晒黑皮肤、未晒黑皮肤、混合性皮肤、以及Fitzpatrick量表上的皮肤类型。
在一些实施方案中，所确定的黑色素指数包括黑色素量表上的数值。
在一些实施例中，输出步骤包括向用户界面输出第一信号，并且该方法还包括通过用户界面向用户输出指示所确定的皮肤类型和/或黑色素指数的反馈。
在一些实施例中，输出步骤包括将第一信号输出到治疗设备的控制单元，并且该方法还包括由控制单元使用第一信号来确定治疗设备的一个或多个操作设置。因此，因为治疗设备可以响应于第一信号而自动应用操作设置，这些实施例在治疗设备的治疗操作的设置基于皮肤类型和/或黑色素指数而变化的情况下是有用的。
在一些实施例中，该方法还包括以下步骤：对所接收的一个或多个图像进行归一化，以及处理所述一个或多个归一化的图像以确定皮肤的黑色素指数和/或皮肤类型。以这种方式，可以确保皮肤的颜色不影响皮肤类型和/或黑色素指数的确定，而是基于色素网络结构的特性来进行确定。
在一些实施例中，该方法还包括使用成像单元获得一个或多个图像。在这些实施例中，该方法还可以包括在获得一个或多个图像时使用一个或多个光源照亮皮肤。
在一些实施例中，照亮步骤包括(一个或多个)光源发射具有可见光谱中的波长的光，并且以比其他颜色的光更高的强度发射蓝光。
在一些实施例中，该方法还包括使由一个或多个光源发射的光偏振。在一些实施例中，该方法还包括使从皮肤入射到成像单元上的光偏振。使用偏振光和/或使入射到成像单元上的光偏振可以改进在所获得的图像中可见的皮肤的深度。
根据第四方面，提供了一种用于训练机器学习模型MLM的装置，其用在根据本发明的用于评估受试者的皮肤的装置中。用于训练MLM的装置包括处理单元，该处理单元被配置为：获得一个或多个测试受试者的皮肤的多个图像，其中每个图像被标注有皮肤类型和/或黑色素指数的指示；以及基于皮肤的色素网络结构的一个或多个特性，使用多个图像来训练MLM以区分不同的皮肤类型和/或黑色素指数的图像。
在一些实施例中，处理单元还被配置为对多个图像进行颜色归一化，并使用多个归一化的图像来训练MLM。
根据第五方面，提供了一种用于使用机器学习模型MLM的装置，该装置包括处理单元，该处理单元被配置为从成像单元接收皮肤区域的一个或多个图像，其中该成像单元被布置为获得受试者的皮肤的图像；使用根据第四方面或其任何实施例进行训练的MLM来分析该一个或多个图像，以基于皮肤的色素网络结构的一个或多个特性来确定受试者的皮肤的黑色素指数和/或皮肤类型；以及输出指示所确定的皮肤类型和/或黑色素指数的第一信号。
根据第六方面，提供了一种训练机器学习模型MLM的方法，该方法用在根据本发明的用于评估受试者的皮肤的装置中。该方法包括获得一个或多个测试受试者的皮肤的多个图像，其中每个图像被标注有皮肤类型和/或黑色素指数的指示；以及基于皮肤的色素网络结构的一个或多个特性，使用多个图像来训练该MLM以区分不同皮肤类型和/或黑色素指数的图像。
在一些实施例中，该方法还包括对多个图像进行颜色归一化，并使用多个归一化的图像来训练MLM。
根据第七方面，提供了一种使用机器学习模型MLM的方法，该方法包括从成像单元接收皮肤区域的一个或多个图像，其中该成像单元被布置为获得受试者的皮肤的图像；使用根据第六方面或其任何实施例进行训练的MLM来分析该一个或多个图像，以基于皮肤的色素网络结构的一个或多个特性来确定受试者的皮肤的黑色素指数和/或皮肤类型；以及输出指示所确定的皮肤类型和/或黑色素指数的第一信号。
根据第八方面，提供了一种包括计算机可读介质的计算机程序产品，该计算机可读介质具有被实施在其中的计算机可读代码，该计算机可读代码被配置为使得在由适当的装置、计算机或处理单元执行时，使该装置、计算机或处理单元执行根据第三方面、第六方面、或第七方面或其任何实施例的方法。
参考下文中所述的(一个或多个)实施例，这些和其他方面将是显而易见的并被阐明。
附图说明
现在将参考以下附图仅以示例的方式描述示例性实施例，在附图中：
图1是可以与本发明一起使用的示例性治疗设备的图示；
图2是根据各种实施例的包括成像单元和装置的示例性系统的框图；
图3是图示出用于照亮皮肤的光源的示例性光谱的曲线图；
图4示出了不同类型的皮肤的六个图像；
图5图示出了皮肤中的色素网络；
图6是图示出用于评估皮肤的示例性方法的流程图；
图7示出了不同类型的皮肤的四个图像；
图8示出了在颜色归一化之后不同类型的皮肤的四个图像；
图9是示出不同皮肤类型的推理结果的曲线图；
图10是图示出训练用于评估皮肤的机器学习模型的方法的流程图；
图11是示出用于训练折叠(training fold)的推理结果的曲线图；
图12是示出用于另一训练折叠的推理结果的曲线图；以及
图13是示出用于再一训练折叠的推理结果的曲线图。
具体实施方式
如上所述，本文所述的技术可以用于评估一个或多个图像中所示的皮肤以确定皮肤的黑色素指数和/或皮肤类型。这些技术可以由可以使用所确定的皮肤类型和/或黑色素指数的治疗设备来实施(例如，这些技术可以由治疗设备中的处理单元来实施)，或者由分开的装置中的处理单元来实施。如下所述，可以使用皮肤类型和/或黑色素指数的示例性类型的治疗设备是使用光脉冲来去除毛发和/或减少毛发生长的治疗设备。应当理解，所确定的皮肤类型和/或黑色素指数不是必须由治疗设备使用、或必须用于与治疗设备相关联的目的。例如，皮肤类型和/或黑色素指数可以用于推荐皮肤产品(例如，化妆品或遮瑕膏)、和/或评定色素病症。
成像单元(例如，相机)用于获得受试者的皮肤区域的一个或多个图像。成像单元可以是治疗设备的一部分(如果可应用的话)、分开的装置的一部分、或与治疗设备和实施本文所述技术的任何装置分开。例如，成像单元可以是或包括诸如智能电话的设备上的相机。
已经发现，皮肤类型和/或黑色素指数与皮肤的结构有关，并且该结构可以在皮肤的(一个或多个)图像中观察到。特别地，皮肤中色素网络结构的一个或多个特性(例如，色素网络的密度)可以与皮肤类型和/或黑色素指数有关。对于较暗的皮肤类型，色素网络通常是良好连接的(即，致密连接的)且良好填充的蜂窝结构，而对于浅色皮肤类型，色素网络是断开的且较稀疏的(即，较不致密的)，并且在一些情况下色素是不可感知的。因此，根据本文所述的技术，分析皮肤的一个或多个图像以基于皮肤的色素网络结构的一个或多个特性来确定受试者皮肤的黑色素指数和/或皮肤类型。
图1是可以用于向皮肤区域施加光脉冲的示例性治疗设备2的图示。应当理解，图1中的治疗设备2仅作为可以与本发明一起使用的手持式治疗设备2的示例而呈现，并且治疗设备2不限于图1中所示的形式或不限于作为手持式治疗设备。如上所述，本发明同样不限于在治疗设备2中或与治疗设备2一起实施。
图1中的治疗设备2用于在受试者(例如，人或动物)的身体上使用，并且在使用期间被握在用户的一只或两只手中。当治疗设备2与受试者的身体部分接触时，治疗设备2使用一个或多个光脉冲对受试者身体上的毛发执行一些治疗操作。该治疗操作可以是通过激光和/或光治疗(被称为光子脱毛治疗或强脉冲光(IPL)治疗)去除不需要的毛发。
如本文所述，治疗设备2由“用户”操作或使用，并且治疗设备2在“受试者”的身体上使用。在一些情况下，用户和受试者是同一个人，即，用户将治疗设备2握在手中并对自己使用(例如，用在他们腿上的皮肤上)。在其他情况下，用户和受试者是不同的人，例如，用户将治疗设备2握在手中并对其他人使用。在任一种情况下，由于在施加光脉冲之后不久，皮肤或毛发几乎没有或没有用户可察觉的变化，因此对于用户而言难以实现对身体区域的完全覆盖和/或避免过度处理身体区域的某些区域。
示例性治疗设备2包括壳体4，壳体4至少包括手柄部分5和头部部分6。手柄部分5的形状使得用户能够用一只手握住治疗设备2。头部部分6位于壳体4的头部端8处，并且头部部分6被放置为与受试者接触，以便在头部部分6与身体或皮肤接触的位置处对受试者的身体或皮肤执行个人护理操作。
治疗设备2用于使用光脉冲执行治疗操作。因此，在图1中，头部部分6包括被布置在壳体4中或壳体4上的孔10，使得孔10可以邻近受试者的皮肤放置或放置在受试者的皮肤上(即，与受试者的皮肤接触)。治疗设备2包括用于生成光脉冲的一个或多个光源12，该光脉冲将经由孔10被施加到受试者的皮肤并实现治疗操作。一个或多个光源12被布置在壳体4中，使得从一个或多个光源12通过孔10提供光脉冲。孔10可以是在壳体4的头部端8处的开口的形式，或者孔10可以是对于光脉冲透明或半透明的窗口(包括波导)的形式(即，光脉冲可以穿过的窗口)。
在图1所示的示例性实施例中，孔10具有大致矩形形状，这在皮肤上产生大致矩形形状的皮肤治疗区域。应当理解，孔10可以具有任何其他所需要的形状。例如，孔10可以是正方形、椭圆形、圆形、或任何其他多边形的。
一个或多个光源12可以生成任何适当的或所需要的波长(或，波长范围)和/或强度的光脉冲。例如，光源12可以生成可见光、红外(IR)光和/或紫外(UV)光。每个光源12可以包括任何适当类型的光源，例如一个或多个发光二极管(LED)、(氙)闪光灯、一个或多个激光器等。(一个或多个)光源12可以提供光谱含量在560-1200纳米(nm)范围内持续约2.5毫秒(ms)的光脉冲，因为这些波长通过吸收来加热毛发和毛发根部中的黑色素，这将毛囊置于静止期，从而防止毛发再生长。
一个或多个光源12被配置为提供光脉冲。换言之，(一个或多个)光源12被配置为在短持续时间(例如，小于1秒)内生成高强度的光。光脉冲的强度应当足够高，以在邻近孔10的皮肤或身体部分上实现治疗操作。
所图示的治疗设备2还包括被定位于头部部分6上或头部部分6中的两个皮肤接触传感器14、16，用于确定头部部分6是否与皮肤接触。皮肤接触传感器14、16测量指示头部部分6是否与皮肤接触的参数，并生成相应的测量信号，该相应的测量信号包括该参数的按时间顺序的测量值。可以处理测量信号以确定头部部分6是否与皮肤接触。一般地，皮肤接触传感器被用在治疗设备2中，特别是用在光子脱毛仪中，以确保在生成光脉冲之前治疗设备2正确地与皮肤接触，从而避免光脉冲被引导到用户或受试者的眼睛中。
在一些实施例中，该参数可以是电容，并且因此皮肤接触传感器14、16可以经由头部部分6的表面上的相应的一对电接触部或电极来测量电容，所测量的电容指示是否存在皮肤接触。在替代实施例中，参数可以是光的强度或水平，并且因此皮肤接触传感器14、16可以是测量入射到光传感器上的光的强度或水平的光传感器，所测量的强度或水平指示是否存在皮肤接触(例如，因为皮肤使光传感器14、16模糊，所以少量光/没有光可以指示皮肤接触，并且反之亦然)。在其他替代实施例中，参数可以是接触压力的测量值，并且因此皮肤接触传感器14、16可以经由相应的压力传感器或机械开关来测量接触压力，所测量的接触压力指示是否存在皮肤接触。
所图示的治疗设备2还包括用户控制器20，用户可以操作用户控制器20来激活治疗设备2，使得头部部分6在受试者的身体上执行所需要的治疗操作(例如，由(一个或多个)光源12生成一个或多个光脉冲)。用户控制器20可以是开关、按钮、触摸板等形式。
图2是包括用于评估受试者的皮肤的装置42和成像单元44的示例性系统40的框图。在一些实施方式中，治疗设备2可以被认为是系统40的一部分，尽管在图2中未示出治疗设备2。如上所述，装置42可以是与治疗设备2分开的设备，并且因此装置42可以是电子设备的形式，例如智能电话、智能手表、平板电脑、个人数字助理(PDA)、膝上型电脑、台式计算机、远程服务器、智能镜等。在其他实施例中，装置42，并且特别是由装置42提供的根据本发明的功能性是治疗设备2的一部分。
提供成像单元44来生成受试者的皮肤的一个或多个区域的一个或多个图像(或视频序列)。成像单元44可以包括用于捕获图像的任何适当的部件，例如，电荷耦合器件(CCD)和一个或多个透镜和/或镜。在一些实施例中，成像单元44是相机，例如，数码相机。在一些实施例中，成像单元44是被设置为提供皮肤的微观图像的相机(即，成像单元44提供皮肤的放大的或扩大的图像)。在一些实施例中，一个或多个附加光学部件与成像单元44相关联，或者是成像单元44的一部分。例如，可以提供放置在成像单元44前面的偏振器，以便使入射在成像单元44上的光偏振。偏振器的使用可以改进图像中可见的皮肤区域的深度(即，偏振器使得能够在皮肤中的不同穿透深度处观察到光)。在一些实施例中，可以提供(一个或多个)光源，用于在获得图像的同时照亮待成像的皮肤区域。这些(一个或多个)光源与治疗设备2中的用于实现处理操作的任何(一个或多个)光源12分开。在这些实施例中，可以提供偏振器以在由(一个或多个)光源发射的光照亮皮肤之前使该光偏振。用于照亮皮肤以获得(一个或多个)图像的(一个或多个)光源可以是任何适当的光源，例如，一个或多个LED。
在特定实施例中，可以提供第一偏振器，其在由一个或多个光源发射的光照亮皮肤之前使该光偏振，并且可以提供第二偏振器，其使从皮肤入射到成像单元44上的光偏振。第一偏振器和第二偏振器可以被布置为使得它们是“交叉的”，即，它们被布置为使得它们的偏振方向彼此正交(即，相对于彼此成90°)、或基本上彼此正交(即，相对于彼此成90°左右)。使用交叉的偏振器可以改进图像中可见的皮肤区域的深度，并且因此能够观察皮肤的结构。
成像单元44在图2中被示出为与装置42分开，但是将理解，在其他实施例中，成像单元44可以与装置42整合在一起或者是装置42的一部分。在成像单元44与装置42分开的实施例中，成像单元44可以是治疗设备2的一部分，或者成像单元44也可以与治疗设备2分开。在成像单元44是治疗设备2的一部分的实施例中，成像单元44可以被布置在治疗设备2中靠近孔10，使得当治疗设备2在皮肤上或靠近皮肤时可以获得图像。
在提供一个或多个光源用于照亮待成像的皮肤区域的示例性实施例中，该一个或多个光源可以发射特定波长或特定波长范围的光。所选择的光谱可以使得能够在所得到的(一个或多个)图像中识别和/或分析皮肤的结构，例如色素网络。图3是示出当获得(一个或多个)图像时用于照亮皮肤的(一个或多个)光源的示例性照明光谱的曲线图。因此可以看出，(一个或多个)光源可以发射波长在400纳米(nm)至760nm范围内的光(即，可见光)，所发射的光的最高强度处于约450nm(即，蓝光)。也发射500nm-700nm范围内的光(即，绿光-红光)，但强度(远)低于蓝光。在图3的示例中，所发射的光的强度朝着光谱的红色端显著降低。结合上述交叉的偏振器，具有图3中的照明光谱的(一个或多个)光源(或类似光源)能够从黑色素/色素网络所在的皮肤深度获得图像。这些图像将不包括由血管的存在而引起的来自较深皮肤区域的镜面成分或红色成分。
装置42包括处理单元46，处理单元46通常控制装置42的操作并使装置42能够执行本文所述的方法和技术。简而言之，处理单元46从成像单元44接收一个或多个图像，处理(一个或多个)图像，以基于如那些图像中所示的皮肤色素网络结构的一个或多个特性，来确定受试者皮肤的黑色素指数和/或皮肤类型，并输出指示所确定的皮肤类型和/或黑色素指数的第一信号。
因此，处理单元46可以被配置为从成像单元44接收(一个或多个)图像，在成像单元44是装置42的一部分的实施例中处理单元46直接从成像单元44接收(一个或多个)图像，或者在成像单元44与装置42分开的实施例中处理单元46经由另一部件从成像单元44接收(一个或多个)图像。在任一种情况下，处理单元46可以包括或包含一个或多个输入端口或线路，该一个或多个输入端口或线路用于从成像单元44或适当的其他部件接收图像(或携带表示(一个或多个)图像的信息的信号)。处理单元46也可以包括或包含一个或多个输出端口或线路，该一个或多个输出端口或线路用于输出指示皮肤区域上的毛发是否已经用光脉冲进行治疗的信号。
处理单元46可以用软件和/或硬件以多种方式实施，以执行本文所述的各种功能。处理单元46可以包括一个或多个微处理器或数字信号处理器(DSP)，该一个或多个微处理器或DSP可以使用软件或计算机程序代码进行编程以执行所需功能和/或控制处理单元46的组件以实现所需功能。处理单元46可以被实施为执行某些功能的专用硬件(例如，放大器、前置放大器、模数转换器(ADC)、和/或数模转换器(DAC))和执行其他功能的处理器(例如，一个或多个编程的微处理器、控制器、DSP和相关联的电路)的组合。本发明的各种实施例中可以采用的部件的示例包括但不限于常规微处理器、DSP、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于实施神经网络的硬件和/或所谓的人工智能(AI)硬件加速器(即，可以与主处理器一起使用的(一个或多个)处理器或为AI应用专门设计的其他硬件)。
处理单元46可以包括存储器单元48或与存储器单元48相关联。存储器单元48可以储存数据、信息和/或信号(包括(一个或多个)图像)，以供处理单元46在控制装置42的操作和/或在进行或执行本文所述的方法时使用。在一些实施方式中，存储器单元48储存可以由处理单元46执行的计算机可读代码，使得处理单元46执行包括本文所述的方法的一个或多个功能。在特定实施例中，程序代码可以是用于智能电话、平板电脑、膝上型电脑、计算机或服务器的应用的形式。存储器单元48可以包括任何类型的非瞬态机器可读介质，例如，高速缓存或系统存储器，包括易失性和非易失性计算机存储器，诸如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)和电可擦除PROM(EEPROM)，并且存储器单元可以以存储器芯片、光盘(诸如光盘(CD)、数字多功能盘(DVD)或蓝光盘)、硬盘、磁带储存解决方案、或固态设备(包括记忆棒、固态驱动器(SSD)、存储卡等)的形式来实施。
在图2所示的实施例中，由于装置42被示出为与成像单元44分开，所以装置42还包括接口电路50以使得装置42能够从成像单元44接收(一个或多个)图像。装置42中的接口电路50能够实现与其他设备的数据连接和/或数据交换，该其他设备包括成像单元44、治疗设备2、服务器、数据库、用户设备、和传感器中的任何一个或多个。到成像单元44(或任何电子设备，例如治疗设备2)的连接可以是直接的或间接的(例如，经由因特网)，并且因此接口电路50可以经由任何所需要的有线或无线通信协议实现装置42和网络之间的连接、或者直接实现装置42和另一设备(例如，成像单元44和/或治疗设备2)之间的连接。例如，接口电路50可以使用WiFi、蓝牙、Zigbee、或任何蜂窝通信协议(包括但不限于全球移动通信系统(GSM)、通用移动电信系统(UMTS)、长期演进(LTE)、高级LTE等)来进行操作。在无线连接的情况下，接口电路50(并且因此装置42)可以包括用于通过传输介质(例如，空气)进行发送/接收的一个或多个适当的天线。替代地，在无线连接的情况下，接口电路50可以包括使得接口电路50能够连接到装置42外部的一个或多个适当的天线的工具(例如，连接器或插头)，该一个或多个适当的天线用于通过传输介质(例如，空气)进行发送/接收。接口电路50连接到处理单元46。
尽管在图2中未示出，但是装置42可以包括一个或多个用户界面部件，该一个或多个用户界面部件包括使装置42的用户能够将信息、数据和/或命令输入到装置42中、和/或使装置42能够将信息或数据输出给装置42的用户的一个或多个部件。用户界面可以包括任何适当的(一个或多个)输入部件，包括但不限于键盘、小键盘、一个或多个按钮、开关或拨号盘、鼠标、跟踪板、触摸屏、手写笔、相机、麦克风等，并且用户界面可以包括任何适当的(一个或多个)输出部件，包括但不限于显示单元或显示屏、一个或多个灯或灯元件、一个或多个扬声器、振动元件等。
应当理解，装置42的实际实施方式可以包括附加于图2所示的那些部件的部件。例如，装置42还可以包括电源，例如电池、或用于使装置42能够连接到市电电源的部件。
图4示出了不同类型皮肤的六个示例性图像。使用成像单元44获得这些图像，用根据图3所示光谱的光、并且用交叉的偏振器照亮皮肤。每个图像示出了上述的六种不同皮肤类型(即类型1至6：分别为“白色”、“米色”、“浅棕色”、“中等棕色”、“深棕色”、“深棕色及棕黑色及更暗”)。
皮肤结构的一般性描述参见Kittler等人的“Standardization of terminologyin dermoscopy/dermatoscopy:Results of the third consensus conference of theInternational Society of Dermoscopy”，并且正常色素网络的图示如图5所示。图5可以在以下网址找到：https://dermoscopedia.org/Pigment_network。
色素网络60由形成蜂窝图案64的相交着色的“线”62的网格组成。色素网络60的解剖学基础是沿皮肤中的真皮-表皮(表皮66和真皮68)结合处的角质形成细胞和/或黑色素细胞中的黑色素，表示当在水平面中查看时表皮66的网膜嵴(rete ridge)图案出现的方式。色素网络60的色素较少的“孔”70对应于真皮乳头的尖端和表皮66的上覆的乳头上部板(suprapapilillary plate)。宽的真皮乳头的直径在皮肤镜下对应于较宽的网络“孔”70，而窄的真皮乳头将导致更致密的网格的“筛”。如果网膜嵴图案包含较少的黑色素，则色素网络60可能是不可见的。图4中的6个显微图像中所示的图案沿从上到下的视图对应于沿膜层嵴的黑色素分布。
因此，可以从皮肤的(一个或多个)图像观察或确定皮肤中色素网络结构的一个或多个特性(例如，色素网络的密度)，并且该(一个或多个)特性与皮肤类型和/或黑色素指数有关。对于较暗的皮肤类型(例如，皮肤类型5.0或6.0)，色素网络通常具有良好连接的(例如，致密连接的)且良好填充的蜂窝结构，而对于浅色的皮肤类型(例如，皮肤类型1.0和2.0)，色素网络结构是断开的且较稀疏的，并且在一些情况下色素是不可感知的。在P.Kumarasinghe的“Advances in Dermoscopy of Pigmented Lesions,Pigmentary SkinDisorders,pp79-92”中也一般性地描述了皮肤结构。-
图6中的流程图图示出了根据本文所述技术的用于评估受试者的皮肤的示例性方法。该方法的一个或多个步骤可以由装置42中的处理单元46来适当地执行，处理单元46与装置42的存储器单元48和接口电路50中的任一个、和/或成像单元44结合在一起。处理单元46可以响应于执行可以被储存在计算机可读介质(例如，存储器单元48)上的计算机程序代码来执行一个或多个步骤。
在步骤101中，接收皮肤区域的一个或多个图像。当图像由成像单元44生成时，例如可以实时或接近实时地直接从成像单元44接收(一个或多个)图像。替代地，(一个或多个)图像可以已经由成像单元44预先生成并且被储存在例如存储器单元48中、与治疗设备2或成像单元44相关联的存储器单元中、或远程数据库中以用于随后的分析，在这种情况下，步骤101可以包括处理单元46从储存位置(例如，从存储器单元48等)获得或检索(一个或多个)图像。在步骤101中所接收的(一个或多个)图像与特定受试者有关。在接收多个图像的情况下，该多个图像可以包括同一皮肤区域的多个图像。多个图像也可以包括或替代地包括受试者的身体的不同部分上的皮肤的图像。
图7示出了可以在步骤101中所接收或获得的四种不同类型的皮肤的图像。将理解，在步骤101的单次迭代中将不会从单个受试者获得这种不同的图像，并且相反地，图7仅仅图示出了可以在步骤101中获得的图像中示出的不同类型的皮肤。尽管图7中的四个图像是根据浮点连续分类(类似于离散Fitzpatrick皮肤类型)来标记的，但是将理解，此分类在所述方法的此阶段是未知的。
在步骤103中，处理一个或多个图像，以基于皮肤的色素网络结构的一个或多个特性(例如，密度)来确定(一个或多个)图像中的皮肤的黑色素指数和/或皮肤类型。
步骤103可以包括将皮肤类型确定以下中的任一项：正常皮肤、干性皮肤、油性皮肤、晒黑皮肤、未晒黑皮肤、混合性皮肤(即，前面类型的组合)、以及Fitzpatrick量表上的皮肤类型。另外地或替代地，步骤103可以包括将黑色素指数确定为黑色素量表上的分数(例如，0-1000范围内的分数、或类似分数)。
在一些实施方式中，步骤103可以包括基于皮肤的色素网络结构的一个或多个特性确定皮肤类型和/或黑色素指数，该一个或多个特性与结构中的角质形成细胞和/或黑色素细胞中存在黑色素有关。在一些实施方案中，皮肤类型和/或黑色素指数可以基于沿皮肤中的真皮-表皮结合处的角质形成细胞和/或黑色素细胞中的黑色素的存在-结合。特别地，步骤103可以包括确定皮肤中的角质形成细胞和/或黑色素细胞中黑色素的存在和/或密度。在一些实施例中，可以通过将所确定的黑色素的存在和/或密度与对应于相应的皮肤类型和/或黑色素指数的相应的阈值进行比较来确定皮肤类型和/或黑色素指数。
另外地或替代地，步骤103可以包括基于与皮肤中真皮乳头的存在突和/或嵴有关的皮肤色素网络结构的一个或多个特性，来确定皮肤类型和/或黑色素指数。特别地，步骤103可以包括从一个或多个图像确定真皮乳头的突和/或嵴的图案，并且通过将所确定的突和/或嵴的图案与对应于相应的皮肤类型和/或黑色素指数的相应的图案进行比较，来确定皮肤类型和/或黑色素指数。
在步骤103的一些优选实施例中，使用经训练的机器学习模型(MLM)来处理一个或多个图像以确定皮肤的黑色素指数和/或皮肤类型。MLM被训练成基于色素网络结构的一个或多个特性(例如，密度)来确定皮肤的黑色素指数和/或皮肤类型。MLM可以是任何适当类型的MLM，例如经典的机器学习模型，例如使用支持向量机、决策树、随机森林等的特征提取；或者人工神经网络，例如深度神经网络，其在输入层和输出层之间具有多个层并且识别输入层和输出层之间的线性或非线性关系。MLM对皮肤区域的每个图像或一组图像进行评估，以确定皮肤类型和/或黑色素指数。在一些实施例中，MLM直接接收(一个或多个)图像并且执行图像的所有所需的分析和处理(例如，确定色素网络结构的特性)，以便确定皮肤类型和/或黑色素指数。对于作为人工神经网络(例如，深度神经网络)的MLM，情况尤其如此。在其他实施例中，例如在使用经典MLM的情况下，可以在将(一个或多个)图像提供给MLM之前对其进行处理，例如以确定色素网络结构的结构特性的值，并且可以将这些值提供给MLM用于分析(可选地除了(一个或多个)图像之外)以确定皮肤类型和/或黑色素指数。在一些实施例中，可以提供分开经训练的MLM(相同类型或不同类型的)以分别确定皮肤类型和黑色素指数。
在一些实施例中，在步骤103之前，或者作为步骤103中的初始操作，所接收的一个或多个图像可以进行颜色归一化(即，从(一个或多个)图像中去除颜色信息，留下灰度图像)，并且可以处理颜色归一化的(一个或多个)图像以确定皮肤的黑色素指数和/或皮肤类型。对(一个或多个)图像进行颜色归一化从决定过程去除颜色，这意味着对皮肤类型和/或黑色素指数的决定可以基于色素网络结构的特性。图8示出了已经进行了颜色归一化的四种不同类型的皮肤的图像。应当注意，这些图像与图7中的图像相比是不同受试者的皮肤的不同区域。应当理解，在步骤101的单次迭代中将不会从单个受试者获得这种不同的图像，并且相反地，图8仅仅图示出了可以在颜色归一化的图像中示出的皮肤类型。与图7一样，尽管图8中的四个图像是根据浮点连续分类(类似于离散Fitzpatrick皮肤类型)来标记的，但是将理解，直到步骤103完成才知道此分类。
在步骤103中确定了皮肤类型和/或黑色素指数之后，在步骤105中，输出指示所确定的皮肤类型和/或黑色素指数的信号。该信号可以被提供给装置42或治疗设备2的用户界面部件，并且该信号被配置为使用户界面部件指示所确定的皮肤类型和/或所确定的黑色素指数。治疗设备2的用户可以使用该指示来确定是否在治疗设备2的当前位置处触发光脉冲，或者是否根据皮肤类型来调节治疗设备2中的一个或多个光源12的功率设置。作为另一个示例，在装置42是智能电话或类似类型的设备的形式的情况下，关于所确定的皮肤类型和/或所确定的黑色素指数的反馈可以经由在装置42上执行的app(软件应用)提供给用户或受试者。本领域技术人员将意识到可以存在向用户提供关于所确定的皮肤类型和/或所确定的黑色素指数的反馈的其他方式，例如包括使用显示屏、扬声器、触觉反馈等。
替代地(或另外地)，在治疗设备2可以自动触发光脉冲或其他治疗操作的情况下，如果条件适当(例如，治疗设备2与皮肤接触，(一个或多个)光源12被充电以准备生成光脉冲等)，信号可以被提供给治疗设备2的控制单元，并且控制单元可以使用第一信号来确定治疗设备2的一个或多个操作设置。例如，控制单元可以使用第一信号中所确定的皮肤类型和/或黑色素指数的指示来决定是否用光脉冲治疗当前邻近孔10的皮肤区域、和/或治疗当前邻近孔10的皮肤区域要使用的能量/功率。
在替代实施例中，指示所确定的皮肤类型和/或黑色素指数的信号可以用于为受试者可以使用的特定皮肤护理产品和/或化妆产品提供推荐或建议。例如，所确定的皮肤类型可以用于识别适于该皮肤类型的皮肤护理产品(或反之亦然)。作为另一个示例，所确定的黑色素指数可以用于推荐特定的遮瑕膏。
图9中的曲线示出了深度神经网络在基于皮肤的色素网络结构的(一个或多个)特性从针对不同皮肤类型的多个不同颜色归一化的图像中识别皮肤类型中的性能。图9绘出了真实皮肤类型(“预期皮肤类型”)相对于深度神经网络所识别的皮肤类型(“推断皮肤类型”)的关系。因此，可以看出，神经网络能够从(一个或多个)图像中准确地识别皮肤类型，对于范围任一端的皮肤类型(即，皮肤类型2.0和6.0)，准确度特别高。
步骤103的实施例中所使用的MLM将在使用之前被训练。图10中的流程图示出了训练MLM的方法，该MLM用在根据本发明的用于评估皮肤的装置中，以确定皮肤类型和/或黑色素指数。图10中的训练方法可以由任何适当的装置或设备来执行，包括装置42，但是将理解，图10中的方法不需要由执行图6的同一装置或设备来执行。例如，图10中的训练方法可以由中央位置的服务器或计算机来执行，并且经训练的MLM(或表示经训练的MLM的计算机代码)被分配给各种装置42，以用于根据图6中的方法来评估皮肤。
在装置42实施图6中的方法的实施例中，该方法的一个或多个步骤可以由处理单元46来适当地执行，处理单元与装置42的存储器单元48和接口电路50中的任一个、和/或成像单元44结合在一起。处理单元46可以响应于执行可以被储存在计算机可读介质(例如，存储器单元48)上的计算机程序代码来执行一个或多个步骤。
为了训练MLM，需要训练数据集。训练数据集包括一个或多个测试受试者(并且可以包括或不包括图6的方法所使用的受试者)的多个皮肤图像。多个图像可以是一个或多个测试受试者的身体的不同部分上的皮肤的图像。训练数据集中的每个图像被标注有皮肤类型和/或黑色素指数(取决于MLM将被训练为识别哪个参数)的指示。该标注可以由用户或其他人手动进行。训练数据集应当包括至少一个图像(但优选地为多个图像)，该至少一个图像与将由经训练的MLM识别的不同皮肤类型和/或黑色素指数中的每一个有关。将理解，训练数据集越大，所得到的MLM可能越准确。
在图13的步骤111中获得训练数据集。该步骤可以包括收集图像和相关联的标注(例如，使用成像单元和用户界面来收集)，或者从数据库或其他电子储存设备中检索用于训练数据集的图像。
接下来，在步骤113中，使用训练数据集中的多个图像来训练MLM，使得MLM能够区分皮肤类型和/或黑色素指数(取决于MLM能够识别哪个(一个或多个)参数)。MLM被训练为基于图像中可见的色素网络结构的(一个或多个)特性来区分图像。如上所述，对于较暗的皮肤类型(例如，皮肤类型5.0或6.0)，色素网络一般具有良好连接且良好填充的蜂窝结构，而对于浅色的皮肤类型(例如，皮肤类型1.0和2.0)，色素网络是断开的且较稀疏的，并且在一些情况下色素是不可感知的。因此，可以将MLM训练为基于色素网络的密度来区分皮肤类型和/或黑色素指数。
特别地，可以将MLM训练为基于与皮肤网络结构中的角质形成细胞和/或黑色素细胞中存在黑色素、和/或沿皮肤中的真皮-表皮结合处的角质形成细胞和/或黑色素细胞中存在黑色素有关的一个或多个特性，-结合例如通过确定皮肤中的角质形成细胞和/或黑色素细胞中黑色素的存在和/或密度，来确定皮肤类型和/或黑色素指数。另外地或替代地，可以将MLM训练为基于与皮肤中真皮乳头存在突和/或嵴有关的一个或多个特性(例如，真皮乳头的突和/或嵴的图案)，来确定皮肤类型和/或黑色素指数。使用训练数据集来训练MLM的技术是本领域技术人员已知的，并且本文没有提供细节。尽管如此，作为一个示例，可以使用交叉验证来训练MLM，其中使用训练数据集中的图像的子集来训练MLM，并且使用训练数据集中的一个或多个其他图像来测试经训练的MLM的准确性。可以对训练数据集中的图像的不同子集重复进行该训练和测试，以便得到最终的经训练的MLM。然后可以在图6的步骤103中使用经训练的MLM。
在一些实施例中，在将训练数据集中的图像用于训练MLM之前，可以对它们进行颜色归一化。这样，在MLM的训练期间，MLM然后偏向图像中的皮肤结构而不是颜色差异。
在示例性实现中，跨越所有不同皮肤类型收集27个受试者的皮肤数据(图像)，每个皮肤类型至少5个受试者。这些图像包括季节性晒黑之前和之后的皮肤图像，以及来自几个不同身体位置(例如，脸颊、内臂、外臂、和腿)的皮肤图像。还测量了每个图像中所示的每个皮肤贴片的参考黑色素指数。使用典型的训练技术用上述收集的数据来训练MLM(例如，深度神经网络)。为了证明用于黑色素指数(和皮肤类型)量化的皮肤结构的普遍性，将数据集(27个受试者的图像)分成“折叠(fold)”以用于交叉折叠验证实验。每个折叠包括训练组(来自27名受试者中的24名受试者)和验证组(来自27名受试者中的3名受试者)。训练集和验证集相互排斥。每个折叠包括分散到训练集和验证集中的不同排列的受试者。对于每个折叠，使用训练集训练MLM，并使用验证集测试和评估经训练的MLM。因此，使用来自3名受试者的皮肤结构图像对MLM进行测试和评估，该3名受试者没有被包括在训练集中，并且MLM以前没有看到过该3名受试者。图11、图12和图13中的曲线示出了由经训练的MLM根据原始数据集的三个不同折叠获得的推理结果。因此，每个曲线图示出了深度神经网络在为特定折叠的验证图像集识别黑色素指数方面的性能。每个图绘出了真实黑色素指数(“预期黑色素指数”)相对于深度神经网络所识别的黑色素指数(“推断黑色素指数”)。因此，从每个图中可以看出，神经网络能够以最小的误差扩散准确地识别黑色素指数。
因此，在确定皮肤的黑色素指数和/或皮肤类型方面提供了改进。这些改进可以例如用于为每个待被闪光位置设置IPL设备的能量水平或者用于为每个待被闪光位置调节IPL治疗的能量水平，这可以提高IPL用户的舒适度与功效比率。
本领域的技术人员在实践本文中所述的原理和技术时，通过研究附图、公开内容和所附权利要求，可以理解并实现所公开的实施例的变化形式。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中所记载的若干项的功能。仅在相互不同的从属权利要求中记载的某些措施的事实并不表示不能有利地使用这些措施的组合。计算机程序可以被储存或分布在适当的介质上，例如与其他硬件一起提供或作为其他硬件的一部分提供的光储存介质或固态介质，但是也可以以其他形式分布，例如经由因特网或其他有线或无线电信系统。权利要求中的任何附图标记不应当被解释为限制范围。

Claims (15)

1.一种用于评估受试者的皮肤的装置(42)，所述装置(42)包括处理单元(46)，所述处理单元(46)被配置为：
从成像单元(44)接收所述受试者的所述皮肤的一个或多个图像，其中所述成像单元(44)被布置为获得所述受试者的所述皮肤的图像；
处理所述一个或多个图像，以基于所述皮肤的色素网络结构的一个或多个特性来确定所述受试者的所述皮肤的黑色素指数和/或皮肤类型；以及
输出指示所确定的皮肤类型和/或黑色素指数的第一信号。
2.根据权利要求1所述的装置(42)，其中所述皮肤的所述色素网络结构的所述一个或多个特性与以下中的任一项有关：
所述结构中存在黑色素；
所述结构中的角质形成细胞和/或黑色素细胞中存在黑色素；
沿所述皮肤中的真皮-表皮结合处的角质形成细胞和/或黑色素细胞中存在黑色素，以及
所述皮肤中的真皮乳头存在突和/或嵴。
3.根据权利要求1或2所述的装置(42)，其中所述处理单元(46)被配置为从所述一个或多个图像确定所述皮肤中的角质形成细胞和/或黑色素细胞中的黑色素的存在和/或密度。
4.根据权利要求1-3中任一项所述的装置(42)，其中所述处理单元(46)被配置为从所述一个或多个图像确定真皮乳头的突和/或嵴的图案。
5.根据权利要求1-4中任一项所述的装置(42)，其中所述处理单元(46)被配置为使用经训练的机器学习模型来处理所述一个或多个图像，以基于所述色素网络结构的一个或多个特性来确定所述受试者的所述皮肤的所述黑色素指数和/或所述皮肤类型。
6.根据权利要求1-5中任一项所述的装置(42)，其中所确定的皮肤类型包括以下中的任一项：正常皮肤、干性皮肤、油性皮肤、晒黑皮肤、未晒黑皮肤、混合性皮肤、以及菲茨帕特里克量表上的皮肤类型。
7.根据权利要求1-6中任一项所述的装置(42)，其中所述装置(42)还包括被配置为接收所述第一信号的用户界面，并且其中所述第一信号被配置为使所述用户界面向用户输出指示所确定的皮肤类型和/或黑色素指数的反馈。
8.根据权利要求1-7中任一项所述的装置(42)，其中所述第一信号被输出到治疗设备(2)的控制单元，并且其中所述控制单元使用所述第一信号来确定所述治疗设备(2)的一个或多个操作设置。
9.根据权利要求1-8中任一项所述的装置(42)，其中所述处理单元(46)被配置为对所接收的一个或多个图像进行颜色归一化，并且处理所述一个或多个归一化的图像以确定所述皮肤的所述黑色素指数和/或所述皮肤类型。
10.一种系统，包括：
成像单元(44)，所述成像单元(44)被布置为获得受试者的皮肤的图像；以及
根据权利要求1-9中任一项所述的装置(42)。
11.根据权利要求10所述的系统，还包括：
用于照亮所述皮肤的一个或多个光源(12)。
12.根据权利要求11所述的系统，其中所述一个或多个光源(12)被配置为发射具有可见光谱中的波长的光，并且其中所发射的蓝光具有比其他颜色的光更高的强度。
13.一种用于评估受试者的皮肤的计算机实施的方法，所述方法包括：
从成像单元接收(101)受试者的皮肤的一个或多个图像，所述成像单元被布置为获得所述受试者的所述皮肤的图像；
处理(103)所述一个或多个图像，以基于所述皮肤的色素网络结构的一个或多个特性来确定所述受试者的所述皮肤的黑色素指数和/或皮肤类型；以及
输出(105)指示所确定的皮肤类型和/或黑色素指数的第一信号。
14.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质具有被实施在其中的计算机可读代码，所述计算机可读代码被配置为使得在由适当的计算机或处理单元执行时，使所述计算机或处理单元执行根据权利要求13所述的方法。
15.一种用于训练机器学习模型MLM的装置，用在根据权利要求5所述的用于评价受试者的皮肤的装置中，用于训练所述MLM的所述装置包括处理单元，所述处理单元被配置为：
获得(111)一个或多个测试受试者的皮肤的多个图像，其中每个图像被标注有皮肤类型和/或黑色素指数的指示；以及
基于所述皮肤的色素网络结构的一个或多个特征，使用所述多个图像来训练(113)所述MLM以区分不同皮肤类型和/或黑色素指数的图像。
CN202080076476.7A 2019-11-01 2020-10-28 评估皮肤 Pending CN114616631A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19206773.4A EP3815601A1 (en) 2019-11-01 2019-11-01 Evaluating skin
EP19206773.4 2019-11-01
PCT/EP2020/080220 WO2021083923A1 (en) 2019-11-01 2020-10-28 Evaluating skin

Publications (1)

Publication Number Publication Date
CN114616631A true CN114616631A (zh) 2022-06-10

Family

ID=68461721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080076476.7A Pending CN114616631A (zh) 2019-11-01 2020-10-28 评估皮肤

Country Status (8)

Country Link
US (1) US20240225528A9 (zh)
EP (2) EP3815601A1 (zh)
JP (1) JP2022554010A (zh)
KR (1) KR20220091577A (zh)
CN (1) CN114616631A (zh)
BR (1) BR112022008139A2 (zh)
MX (1) MX2022005122A (zh)
WO (1) WO2021083923A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102654796B1 (ko) * 2021-11-29 2024-04-11 (주)스톤랩 시각 인공지능 활용 비침습 피부 생체지표 추정 기반 피부염 판별 시스템 및 그 방법
WO2024070753A1 (ja) * 2022-09-30 2024-04-04 株式会社資生堂 肌評価方法、肌評価装置、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0905668A2 (pt) * 2008-01-07 2015-07-07 Myskin Inc Sistema e método para análise da interação matéria-luz baseada na convulação espectral
US20150032092A1 (en) * 2013-07-26 2015-01-29 Yossef Ori ADANNY Image-based cosmetic skin treatment system
JP6138745B2 (ja) * 2014-11-19 2017-05-31 株式会社 資生堂 シミ評価装置、及びシミ評価プログラム
KR102581945B1 (ko) * 2017-02-07 2023-09-25 삼성전자주식회사 스킨 정보 제공 방법 및 이를 지원하는 전자 장치
CN110573066A (zh) * 2017-03-02 2019-12-13 光谱Md公司 用于多光谱截肢部位分析的机器学习系统和技术
CN107680128B (zh) * 2017-10-31 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20240130667A1 (en) 2024-04-25
US20240225528A9 (en) 2024-07-11
EP3815601A1 (en) 2021-05-05
BR112022008139A2 (pt) 2022-07-19
EP4051088A1 (en) 2022-09-07
MX2022005122A (es) 2022-05-30
WO2021083923A1 (en) 2021-05-06
JP2022554010A (ja) 2022-12-27
KR20220091577A (ko) 2022-06-30

Similar Documents

Publication Publication Date Title
Silpa-Archa et al. Postinflammatory hyperpigmentation: A comprehensive overview: Epidemiology, pathogenesis, clinical presentation, and noninvasive assessment technique
US10045820B2 (en) Internet connected dermatological devices and systems
US20210220667A1 (en) Real time monitoring of cosmetic laser aesthetic skin treatment procedures
KR101929360B1 (ko) 피부 진단 및 치료를 통합한 피부 미용 장치
CN216124549U (zh) 被配置为在受试者的皮肤上执行个人护理操作的系统
EP4076641B1 (en) Treatment device and method
US20240225528A9 (en) Evaluating skin
Ash et al. Evaluation of a novel skin tone meter and the correlation between Fitzpatrick skin type and skin color
JP7527353B2 (ja) 皮膚の領域の毛が光パルスで処置されたかの決定
Squiers et al. Multispectral imaging burn wound tissue classification system: a comparison of test accuracies between several common machine learning algorithms
Verdel et al. Hybrid technique for characterization of human skin by combining machine learning and inverse Monte Carlo approach
CN114258282A (zh) 标识身体部位
JP2024536397A (ja) 対象者の身体の毛及び皮膚の画像を解析するための方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination