CN111433861B - 用于识别色素沉着过度的斑点的系统和方法 - Google Patents

用于识别色素沉着过度的斑点的系统和方法 Download PDF

Info

Publication number
CN111433861B
CN111433861B CN201880053616.1A CN201880053616A CN111433861B CN 111433861 B CN111433861 B CN 111433861B CN 201880053616 A CN201880053616 A CN 201880053616A CN 111433861 B CN111433861 B CN 111433861B
Authority
CN
China
Prior art keywords
hyperpigmented
spot
image
subject
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880053616.1A
Other languages
English (en)
Other versions
CN111433861A (zh
Inventor
A·普尔瓦
W·K·A·孔
余佩聪
箱崎智洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procter and Gamble Co
Original Assignee
Procter and Gamble Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Procter and Gamble Co filed Critical Procter and Gamble Co
Publication of CN111433861A publication Critical patent/CN111433861A/zh
Application granted granted Critical
Publication of CN111433861B publication Critical patent/CN111433861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供了一种用于识别皮肤中的色素沉着过度的斑点的系统。该系统包括用于捕获受试者的图像的图像捕获装置和用于分析该图像的计算机。该计算机存储逻辑，当由该处理器执行时，该逻辑使得该计算机接收该受试者的该图像，接收该受试者的基线图像，识别该受试者的该图像中的色素沉着过度的斑点，以及注释该受试者的该图像以辨别该图像中的该色素沉着过度的斑点。该逻辑部还可以使得该系统将该色素沉着过度的斑点分类到预先确定的类，根据该预先确定的类来确定用于治疗该色素沉着过度的斑点的产品，以及提供与该产品相关的信息以供该受试者使用。

Description

用于识别色素沉着过度的斑点的系统和方法
技术领域
本公开整体涉及用于识别色素沉着过度的斑点的系统和方法。更具体地，本公开涉及将色素沉着过度的斑点分类到多个分类中的一个并且提供治疗方案或产品以治疗色素沉着过度的斑点。
背景技术
色素沉着过度的斑点是皮肤美容行业中常见的问题。与其他感知到的皮肤美容瑕疵一样，色素沉着过度的斑点可引起受该病症影响的那些人的情绪与心理上的困扰。绝大多数色素沉着过度的面部斑点都是良性的，但在一些罕见的情况下，色素沉着过度的斑点可指示更严重的皮肤状况(例如，黑素瘤)。虽然组织病理学通常用于皮肤斑点的诊断，但通常优选非侵入性测量，因为它减少或消除与破坏皮肤屏障相关联的一些缺点(感染风险、形成疤痕等)。
非侵入性诊断技术是已知的，但一些非侵入性诊断技术可能不能为诊断斑点类型和/或严重程度提供所期望的准确度。例如，使用肉眼检查可能难以区分不同类型的色素沉着过度的斑点。另外，肉眼检查可能在皮肤斑点诊断中引入不同程度的主观性，这可能导致不一致的护肤方案或护肤产品推荐，特别是在咨询不同的人进行诊断的情况下(例如，美容顾问与皮肤科医生)。因此，期望使用一种非侵入性诊断方法，该方法消除与肉眼检查相关联的至少一些主观性，并且理想地消除全部的主观性。
在一些情况下，可以通过使用色度计或光谱仪来提供对色素沉着过度的更客观的评估，但在每次测量时仅能检查小面积的皮肤。因此，如果所涉及的斑点的数量很大，则此过程需要进行多次测量。在一些情况下，可能难以使用色度计或光谱仪来提供所期望水平的重复性，因为在每次测试中难以重新定位相同的精确区域。因此，在行业中需要一种用于对受试者身上的色素沉着过度的斑点进行识别和分类的系统。
发明内容
本文公开了一种用于识别色素沉着过度的斑点的系统。在一些情况下，该系统包括图像捕获装置，该图像捕获装置配备有用于捕获受试者的图像的交叉偏振滤波器。该系统还可包括计算装置，该计算装置包括处理器和存储器部件。存储器部件存储逻辑，当由处理器执行时，该逻辑使得计算装置接收受试者的图像，接收受试者的基线图像，识别受试者的图像中的色素沉着过度的斑点，以及注释受试者的图像以辨别图像中的色素沉着过度的斑点。在一些情况下，该逻辑使得系统将色素沉着过度的斑点分类到预先确定的类，根据该预先确定的类确定用于治疗色素沉着过度的斑点的产品，以及提供与产品相关的信息以供受试者使用。
在一些情况下，本文的系统可包括存储逻辑的计算装置，当由处理器执行时，该逻辑使得计算装置接收受试者的数字图像，其中受试者的数字图像使用交叉偏振照明来捕获，接收未使用交叉偏振照明捕获的受试者的基线图像，以及识别受试者的数字图像中的色素沉着过度的斑点。该逻辑可使计算装置提供基线图像和受试者的数字图像的电子注释型式以辨别用于显示的色素沉着过度的斑点，将该色素沉着过度的斑点分类到预先确定的类，以及根据该预先确定的类确定用于治疗色素沉着过度的斑点的产品。该逻辑还可以使计算装置提供与产品相关的信息以供受试者使用。
本发明还公开了一种分配装置。该分配装置可包括存储逻辑的计算装置，当由处理器执行时，该逻辑使分配装置接收受试者的数字图像，由计算装置识别受试者的数字图像中的色素沉着过度的斑点，以及由计算装置以电子方式注释受试者的数字图像以辨别数字图像中的色素沉着过度的斑点。在一些情况下，该逻辑使分配装置通过计算装置将色素沉着过度的斑点分类到预先确定的类，由计算装置根据该预先确定的类确定用于治疗色素沉着过度的斑点的治疗方案，以及由计算装置提供与治疗方案相关的信息以供受试者使用。在一些情况下，分配装置可响应于用户选择来分配作为治疗方案的一部分的产品。
附图说明
图1描绘了根据本文描述的实施方案的用于识别色素沉着过度的斑点的计算环境；
图2描绘了根据本文描述的实施方案的用于捕获受试者的图像并执行斑点确定的用户界面；
图3描绘了根据本文描述的实施方案的用于注释色素沉着过度的斑点的用户界面；
图4描绘了根据本文描述的实施方案的用于创建椭圆以限定色素沉着过度的斑点的用户界面；
图5描绘了根据本文描述的实施方案的用于捕获受试者身上的多个色素沉着过度的斑点的用户界面；
图6描绘了根据本文描述的实施方案的用于对受试者身上的多个不同的色素沉着过度的斑点进行分类的用户界面；
图7描绘了根据本文描述的实施方案的用于提供产品和治疗推荐的用户界面；
图8描绘了根据本文描述的实施方案的用于识别色素沉着过度的斑点的流程图；以及
图9描绘了根据本文描述的实施方案的用于识别色素沉着过度的斑点的远程计算装置。
具体实施方式
“约”意指包括在所述值的15％内。
“美容的”意指在人体的区域上提供所期望的视觉效果的非医疗方法。视觉美容效果可以是临时的、半持久的、或持久的。
“美容剂”意指旨在经擦涂、倾倒、喷洒、喷涂、导入或以其他方式施用于哺乳动物身体或其任意部位，以提供化妆效果(例如，清洁、美化、提高吸引力，以及/或者改变外观)的任何物质及其任何组分。
“美容产品”是包括美容剂(例如，皮肤保湿剂、乳液、香料、唇膏、指甲抛光剂、眼睛和面部化妆制剂、清洁洗发剂、染发制剂、剃刮准备剂和除臭剂)的产品。
“色素沉着过度的”和“色素沉着过度的斑点”意指与身体的相同一般区域中的皮肤的附近部分相比具有相对较高黑色素含量的皮肤的局部部分。色素沉着过度的斑点的示例包括但不限于老年斑、黑斑、黄褐斑、雀斑、发炎后色素沉着过度、日光诱导的色素沉着瑕疵，等等。
“改善外观”意指在皮肤外观上提供可测量的、期望的变化或有益效果，其可例如通过色素沉着过度的斑点的斑点面积分数的减少和/或色素沉着过度的斑点的L*值的增加来量化。用于确定斑点面积分数和L*值的方法以及这些特性的变化是本领域技术人员已知的。这些方法的一些非限制性示例在共同未决的美国序列号15/402,332中有所描述。
“护肤”是指调节和/或改善皮肤状况。一些非限制性示例包括通过提供更光滑、更均匀的外观和/或感觉来改善皮肤外观和/或感觉；增加皮肤的一个或多个层的厚度；改善皮肤的弹性或回弹性；改善皮肤的紧致度；以及减少皮肤的油性的、有光泽的、和/或无光泽的外观、改善皮肤的水合状态或保湿状态、改善细纹和/或皱纹的外观、改善皮肤剥落或脱屑、使皮肤丰满、改善皮肤阻隔性、改善皮肤色调、减少发红或皮肤疹斑的外观、和/或改善皮肤的亮度、光彩、或半透明性。
“受试者”是指使用本文的方法和系统用于美容目的的人。
本文公开了用于识别色素沉着过度的斑点的系统和方法。不同类型的色素沉着过度的斑点具有不同的治疗和预后，因此本文的系统和方法可被配置为提供对色素沉着过度的斑点的正确诊断和一致监测以用于规划管理。例如，本文的系统和方法可被配置为将色素沉着过度的面部斑点自动分类到八种不同类型的色素沉着过度：哂斑、黑斑、脂溢性角化病、黑素细胞痣、雀斑、光化性角化病、发炎后色素沉着过度，以及不属于上述任何一种。令人惊讶的是，已发现，如本文所述对色素沉着过度的斑点进行分类和添加注释对于适当治疗和减少色素沉着过度的斑点具有显著效果。还已发现，围绕色素沉着过度的斑点的图像形成拟合椭圆并且进行像素分析以确定色素沉着过度的斑点的纹理的方法大大改善了色素沉着过度的斑点的分类、治疗和外观。具体地，本发明的方法提高了计算机准确预测色素沉着过度的斑点的分类的能力。
图1描绘了用于识别色素沉着过度的斑点的示例性计算环境。如图所示，网络100耦接到用户计算装置102a、分配装置102b、移动装置102c和远程计算装置104。网络100可包括任何广域网、局域网等。例如，网络100可包括互联网、公共交换电话网络、蜂窝网络(诸如，3G、4G、LTE等)。类似地，网络100可包括本地网络，诸如局域网、蓝牙网络、Zigbee、近场通信等。
耦接到网络100的是用户计算装置102a、分配装置102b和移动装置102c(在本文中单独地和统称为“装置102”)。用户计算装置102a可被配置为可以用于捕获图像，与远程计算装置104通信和/或向用户提供一个或多个用户界面的任何计算装置。因此，用户计算装置102a可被配置为个人计算机、膝上型电脑，等等。另外，虽然图像捕获装置可被集成到用户计算装置102a(和/或装置102b、102c)中，但系统的一些实施方案可包括捕获本文所述的图像并且能够将该图像(或与该图像相关的数据)传输至适当装置的独立图像捕获装置(例如，常规的独立数字照相机)。
分配装置102b可包括计算机、显示器、输入装置，以及用于分配一个或多个产品的硬件。因此，除具有分配产品诸如一种或多种美容产品或美容剂的能力之外，分配装置102b可包括与用户计算装置102a类似的功能。移动装置102c还可包括类似的硬件和功能，但可被配置为移动电话、平板电脑、个人数字助理等。
无论如何，用户计算装置102a、分配装置102b和/或移动装置102c可包括被配置为捕获受试者的数字图像的图像捕获装置。如下文所更详述，一些图像可包括交叉偏振光和/或滤波器。因此，图像捕获装置的一些实施方案在捕获图像时可利用一个或多个透镜。在其他实施方案中，交叉偏振可能是不期望的，因此未被利用。
远程计算装置104可被配置为经由网络100与用户计算装置102a、分配装置102b和/或移动装置102c进行通信。因此，远程计算装置104可被配置为服务器、个人计算机、智能电话、膝上型电脑、笔记本、信息亭，等等。远程计算装置104可包括存储器部件140和图9中描绘的其他部件，其存储标识符逻辑144a和治疗逻辑144b。如下文所更详述，标识符逻辑144a可被配置为分析图像以识别色素沉着过度的斑点。治疗逻辑144b可被配置为确定用于治疗所识别的色素沉着过度的斑点的一个或多个产品和/或治疗方案。
应当理解，虽然标识符逻辑144a和治疗逻辑144b被描绘为驻留在远程计算装置104的存储器部件140中，但这仅是一个示例。一些实施方案可被配置为具有用于在用户计算装置102a、分配装置102b和/或移动装置102c中执行所述功能的逻辑。类似地，一些实施方案可被配置为利用图1中未示出的另一计算装置来提供所述功能的至少一部分。
还应当理解，根据实施方案，本文所述的系统和方法可用于化妆品领域的消费者(例如，用于护肤)或用于医疗领域的患者。与医疗领域相关的实施方案包括用于治疗医学病症的产品和/或与治疗医学病症相关的方法。这包括需要由医疗保健专业人员操作的产品；由保健专业人员在医疗诊断过程中使用的产品；用于治疗需要由保健专业人员治疗的疾病或其他医学病症的产品；凭处方出售的产品；以及美容/整形外科医生、皮肤科医生、普通科医生和制药公司的活动。
另外，应当理解，虽然图1中将远程计算装置104描绘为包括逻辑144a、144b，但这也仅仅是一个示例。在一些实施方案中，装置102可独立于远程计算装置104运行，并且可仅与远程计算装置104通信以获取更新和其他管理数据。其他实施方案可被配置为使得远程计算装置104基本上提供本文所述的所有处理，并且用户计算装置102a仅用作终端。其他实施方案可作为这些示例的混合体运行以及/或者利用装置102中的一者或多者来为装置102中的另一者提供功能。例如，用户可经由移动装置102c捕获图像，并且可将该图像发送至分配装置102b以分析并提供产品和治疗建议。
图2描绘了根据本文描述的实施方案的用于捕获受试者的图像并且执行斑点确定的用户界面230。如图所示，用户界面230包括捕获的图像、捕获图像选项232、捕获经滤波的图像选项234、运行斑点确定选项236和手动识别斑点选项238。
响应于对捕获图像选项232的选择，装置102可捕获受试者的图像。如上所述，图像可被装置102捕获或可被传送至装置102和/或远程计算装置104。无论如何，图像可描绘受试者面部上的一个或多个色素沉着过度的斑点，并且可为受试者的白光图像、未经滤波的图像和/或基线图像。
响应于对捕获经滤波的图像选项234的选择，可捕获交叉偏振图像。根据具体实施方案，交叉偏振图像可使用交叉偏振光捕获以及/或者可经由交叉偏振滤波器捕获。在一些实施方案中，交叉偏振图像是数字图像。响应于对运行斑点确定选项236的选择，可开始斑点识别和分类。响应于对手动识别斑点选项238的选择，用户可手动识别色素沉着过度的斑点，如下文所更详述。
响应于从图2中选择运行斑点确定选项236，可提供图3中所示的用户界面330。另外，远程计算装置104(和/或装置102，取决于实施方案)可处理图像以识别和分类受试者的图像上的色素沉着过度的斑点。用户界面330还包括注释斑点选项332、缩放滤波斑点选项334、手动注释斑点选项336、缩放斑点选项338和移除斑点选项340。
用户界面330中还提供了受试者的图像342以及色素沉着过度的斑点的图像344和346。响应于对注释斑点选项332的选择，可以用突出显示所识别的斑点的覆盖348对图像342进行注释。响应于对缩放滤波斑点选项334的选择，可以提供受试者344的数字图像，该数字图像是所识别斑点的交叉偏振和缩放图像(例如，2x、3x、4x、5x、10x或甚至高达100x的放大)。响应于对手动注释斑点选项336的选择，可提供附加选项以供用户手动选择和注释图像。响应于对缩放斑点选项338的选择，可提供基线图像346，该基线图像为带注释的色素沉着过度的斑点(无滤波)的缩放图像(例如，2x、3x、4x、5x、10x或甚至高达100x的放大)。在一些实施方案中，可将受试者的数字图像344与基线图像346进行比较以确定色素沉着过度的斑点的至少一个特征。响应于对移除斑点选项340的选择，用户可从考虑中移除先前识别的斑点。
应当理解，虽然可此较图像的缩放型式，如图3所描绘，但这仅仅是一个实施方案。一些实施方案被配置为将可包含多个色素沉着过度的斑点的受试者皮肤的较大部分的基线图像与相同区域的经滤波的图像进行此较。另外，虽然一些实施方案利用基线图像作为未经滤波的图像并且将数字图像用作交叉滤波图像，但这也仅仅是一个实施方案。一些实施方案在不同时间点此较相同(或基本上相似)的图像以比较色素沉着过度的斑点的进程。
图4描绘了根据本文描述的实施方案的用于创建拟合椭圆以限定色素沉着过度的斑点的空间特征的用户界面430。响应于从图3中选择注释斑点选项332和/或从图2中选择运行斑点确定选项236，可以分析受试者皮肤中的变色。例如，对于每个斑点的分类，可从交叉偏振图像的相应区域导出25个维度特征(或至多约25个)以表征色素沉着过度的斑点。这些实施方案考虑了每个斑点的对此度、形状、尺寸、纹理，以及不同通道(例如，RGB色彩空间)中的颜色。可使用一个或多个多类学习算法对斑点进行分类，包括决策树、AdaBoosting等。也可以利用多类纠错输出代码(ECOC)。ECOC算法是由二元基学习器构建的多类分类器，并且利用代码设计来辨别不同的类(即，用于表征斑点的特征)。ECOC为每个类分配一组预定义的二进制代码，并且针对二进制代码中的每个位位置对二元基学习器进行训练。针对测试样本特征，分类器将生成代表性的二进制代码，该代表性的二进制代码将与现有类的预定义二进制代码进行此较。该样本将被分配到具有最短代码距离的类。用于分类的特征的示例在下表1中提供。
表1
为了导出形状相关参数，将具有与斑点区域相同(或基本上相似的)归一化的第二中心矩的拟合椭圆432拟合到斑点边界，如图4所示。拟合椭圆432可用于限定和/或创建用于识别色素沉着过度的斑点的像素邻域。拟合椭圆的偏心度可被定义为：
其中a为长轴长度，并且b为短轴长度。值为0的偏心度指示圆，而值为1的偏心度指示线段。
斑点的纹理特征可从旋转不变的均匀局部二元模式(LBP)导出。LBP操作者通过将图像中每个像素的3×3像素邻域与中心像素值(如以下表2中所示)进行阈值处理并且映射所得的二元模式来将标签分配给图像的每个像素(或多个像素)。旋转不变的均匀LBP标签被定义为
其中如果(gi-g0)≥0，s(gi-g0)＝1，如果(gi-g0)≤0，并且U(lBP8)为统一运算符，计算模式中的空间转换次数(例如，从0到1的逐位更改，反之亦然)，s(gi-g0)＝0。这导致10个不同的标签(0，1,2...，9)，其出现表示为10-分箱归一化的直方图以描述图像的纹理特征。这可用于测量和/或此较像素邻域中的多个像素的像素强度和/或像素颜色，诸如表2中所描绘的。
g4 g3 g2
g5 g0 g1
g6 g7 g8
表2
通过使用该LBP方法，可确定色素沉着过度的斑点的低水平纹理特征。由于纹理通常是不同类型的色素沉着过度的斑点中的区分因子，因此该类可有益于识别特定类型的色素沉着过度的斑点。
再次参见图4，可提供用于查看上述计算的视图计算选项434。重新处理选项436可使得用相同信息、不同信息和/或使用不同图像来重新处理斑点。一旦识别出色素沉着过度的斑点的特征，便可根据八种可能的分类中的一种或多种来对色素沉着过度的斑点进行分类：哂斑、黑斑、脂溢性角化病、黑素细胞痣、雀斑、光化性角化病、发炎后色素沉着过度，以及以上皆非。应当理解，图4被描绘为可能发生的计算和处理的图示。因此，一些实施方案可实际上不提供用户界面430以用于显示给用户，但可在内部进行计算以提供本文所述的所得输出。
图5描绘了根据本文描述的实施方案的用于捕获受试者身上的多个色素沉着过度的斑点的用户界面530。如图所示，可在受试者身上识别并分类多个色素沉着过度的斑点。另外，所识别的斑点中的一个或多个可被注释以向用户显示所识别的斑点的位置和类型。另外，可在受试者的图像上注释出治疗区域以示出施加用产品的位置。图5还示出了用户可选择的多种选项，包括提供治疗选项532、提供产品选项534、提供斑点分类选项536和返回选项538。
响应于对提供治疗选项532的选择，可提供治疗方案，如图7所示。响应于对提供产品选项534的选择，可向用户提供产品，也如图7所示。响应于对提供斑点分类选项536的选择，一个或多个色素沉着过度的斑点的分类列表可例如经由图像上的文本列表和/或颜色编码(或其他编码)传送给用户，以识别多个不同的分类的斑点，如图6所示。响应于对返回选项538的选择，用户可返回到先前的用户界面。
图6描绘了根据本文描述的实施方案的用于对受试者身上的多个不同的色素沉着过度的斑点进行分类的用户界面630。响应于色素沉着过度的斑点的分类，用户界面630为用户提供那些斑点的颜色编码，以使用户更容易地识别每种类型的斑点的位置，以及识别问题区域和治疗区域。对用户可能可用的其他选项包括提供治疗选项632、提供产品选项634和返回选项636。
响应于对提供治疗选项632的选择，可提供治疗方案，如图7所示。响应于对提供产品选项634的选择，可提供产品推荐，也如图7所示。
图7描绘了根据本文描述的实施方案的用于提供产品和治疗推荐的用户界面730。响应于用户对选项532、534(图5)632和/或634(图6)中的一个或多个的选择，可提供用户界面730。如图所示，用户界面730可提供推荐产品以及购买选项732、734、736以供用户购买用于一般护肤和/或用于治疗所识别和分类的色素沉着过度的斑点的类型的产品。根据具体实施方案，响应于对一个或多个购买选项732、734、736的选择，产品可被分配和/或列队以供订购。
另外，可针对所识别的问题区域中的一个或多个提供治疗方案。治疗方案和推荐的产品可基于色素沉着过度的斑点的分类。如人们将理解的那样，由于受试者可能无法将不同的产品施用到每个单独的斑点，因此产品和治疗方案设想受试者将仅能够将产品施用到覆盖多于一个斑点的皮肤区域。因此，可提供定制的治疗方案和产品以考虑产品的这种预期的宏观水平施用。
还提供了追踪进度选项738、模拟产品选项740和主页选项742。响应于对追踪进度选项的选择，用户可查看受试者的历史图像以示出色素沉着过度的斑点是如何随时间推移而改变的(通过治疗方案改善或在不使用治疗方案的情况下恢复)。响应于对模拟产品选项740的选择，可提供模拟受试者在遵循治疗方案的情况下可能期望的改善的图像。响应于对主页选项742的选择，可将用户带到先前的用户界面。
图8示出了根据本文描述的实施方案的识别色素沉着过度的斑点的方法。如流程图800的框850所示，可接收受试者的数字图像。在框852中，可在受试者的数字图像中确定和/或识别色素沉着过度的斑点。在框854中，色素沉着过度的斑点可被分类到预先确定的类。在框856中，可根据预先确定的类来确定用于治疗色素沉着过度的斑点的治疗方案。在框858中，可提供与治疗方案相关的信息以供受试者使用。在框860中，响应于用户选择，可分配作为治疗方案的一部分的产品。应当理解，在前述公开中可找到图8中所示方法的每个步骤的更详细的描述。
图9示出了根据本文描述的实施方案的用于识别色素沉着过度的斑点的远程计算装置104。如图所示，远程计算装置104，其包括处理器930、输入/输出硬件932、网络接口硬件934、数据存储部件936(其存储斑点数据938a、治疗数据938b和/或其他数据)、和存储器部件140。存储器部件140可被构造成易失性和/或非易失性存储器，并且同样可包括随机存取存储器(包括SRAM、DRAM、和/或其它类型的RAM)、闪存存储器、安全数字(SD)存储器、寄存器、光盘(CD)、数字通用盘(DVD)、和/或其它类型的非暂态计算机可读介质。取决于特定实施方案，这些非暂态计算机可读介质可驻留在远程计算装置104内，和/或驻留在远程计算装置104的外部。
存储器部件140可存储操作逻辑942、标识符逻辑144a和治疗逻辑144b。标识符逻辑144a和治疗逻辑144b可各自包括多个不同的逻辑块，其中每一个逻辑块可被实施为例如计算机程序、固件、和/或硬件的形式。图9中还包括本地接口946，并且该本地接口可被实施为总线或其他通信接口以促进在远程计算装置104的部件之间进行通信。
处理器930可包括能够操作以接收并且执行指令(诸如来自数据存储部件936和/或存储器部件140的指令)的任何处理部件。输入/输出硬件932可包括和/或被配置为与麦克风、扬声器、显示器和/或其他硬件交互。
网络接口硬件934可包括和/或被配置为用于与任何有线或无线联网硬件进行通信，包括天线、调制解调器、LAN端口、无线保真(Wi-Fi)卡、WiMax卡、蓝牙芯片、USB卡、移动通信硬件和/或用于与其他网络和/或装置通信的其他硬件。通过此连接，可促进在远程计算装置104与其他计算装置(诸如用户计算装置102a)之间进行通信。
操作逻辑942可包括操作系统和/或用于管理远程计算装置104的部件的其他软件。还如上所述，标识符逻辑144a可驻留在存储器部件140中，并且可被配置为使处理器930识别、分类和注释一个或多个色素沉着过度的斑点。类似地，治疗逻辑144b可用于确定用于治疗如本文所述的一个或多个色素沉着过度的斑点的产品和治疗方案。
应当理解，虽然图9中的部件被示出为驻留在远程计算装置104内，但是这仅仅是一个示例。在一些实施方案中，一个或多个部件可驻留在远程计算装置104的外部。还应当理解，虽然远程计算装置104被示出为单个装置，但是这也仅仅是一个示例。在一些实施方案中，标识符逻辑144a和治疗逻辑144b可驻留在不同的计算装置上。例如，本文描述的功能和/或部件中的一个或多个可由远程计算装置104和/或可经由网络100耦接到远程计算装置104的用户计算装置102a来提供。
另外，虽然远程计算装置104被示出为具有作为单独逻辑部件的标识符逻辑144a和治疗逻辑144b，但是这也仅仅是一个示例。在一些实施方案中，单个逻辑块可使远程计算装置104提供所述功能。
本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反，除非另外指明，否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的尺寸旨在表示“约40mm”。另外，本文所述的所有数值范围包括较窄范围；所描述的范围上限和下限是可互换的，以进一步形成没有明确描述的范围。本文所述的实施方案可包含本文所描述的基本组分以及任选成分，本文所述的实施方案基本上由或由本文所描述的基本组分以及任选成分组成。如说明书和所附权利要求书中所用，除非上下文另外清楚地指明，否则单数形式“一个”、“一种”和“该(所述)”旨在也包括复数形式。
除非明确排除或以其它方式限制，本文中引用的每一篇文献，包括任何交叉引用或相关专利或专利申请以及本申请对其要求优先权或其有益效果的任何专利申请或专利，均据此全文以引用方式并入本文。对任何文献的引用不是对其作为与本发明的任何所公开或本文受权利要求书保护的现有技术的认可，或不是对其自身或与任何一个或多个参考文献的组合提出、建议或公开任何此类发明的认可。此外，当本发明中术语的任何含义或定义与以引用方式并入的文献中相同术语的任何含义或定义矛盾时，应当服从在本发明中赋予该术语的含义或定义。
应当理解，说明书中对“实施方案”或类似方法的引用意指与该实施方案结合描述的具体材料、特征、结构、和/或特性包括在至少一个实施方案、任选多个实施方案中，但这并不意味所有实施方案包括所描述的材料、特征、结构、和/或特性。此外，材料、特征、结构、和/或特性可以任何合适的方式结合在不同的实施方案中，并且材料、特征、结构、和/或特性可以省略或替换所描述的。因此，除非另外说明或声明不相容性，否则尽管未在组合中明确地例示，本文所述的实施方案和方面可包括其它实施方案和/或方面的元件或组件或者可与其它实施方案和/或方面的元件或组件组合。

Claims (11)

1.一种用于识别色素沉着过度的斑点的系统，所述系统包括：计算装置，所述计算装置包括处理器和存储器部件，其中所述存储器部件存储逻辑，在由所述处理器执行时，所述逻辑使得所述计算装置
(i)接收使用交叉偏振光捕获的受试者的数字图像，
(ii)接收所述受试者的基线图像，
(iii)识别所述受试者的所述数字图像中的色素沉着过度的斑点，
(iv)以电子方式注释所述受试者的所述数字图像以辨别所述数字图像中的所述色素沉着过度的斑点，
(v)将所述色素沉着过度的斑点分类到预先确定的类；
(vi)根据所述预先确定的类来确定用于治疗所述色素沉着过度的斑点的产品，以及
(vii)提供与所述产品相关的信息以供所述受试者使用，
其中识别所述数字图像中的所述色素沉着过度的斑点包括确定所述色素沉着过度的斑点的所述数字图像的低水平纹理特征，以及
其中确定所述色素沉着过度的斑点的所述数字图像的低水平纹理特征包括藉由拟合椭圆限定所述数字图像中用于识别所述色素沉着过度的斑点相对于斑点边界的像素邻域以使得所述数字图像的所述纹理特征被描述。
2.根据权利要求1所述的系统，还包括图像捕获装置，所述图像捕获装置包括交叉偏振滤波器，其中所述受试者的所述数字图像使用所述图像捕获装置被捕获。
3.根据权利要求1或2所述的系统，其中所述预先确定的类包括下列各项中的至少一种：晒斑、黑斑、脂溢性角化病、黑素细胞痣、雀斑、光化性角化病、发炎后色素沉着过度，以及以上皆非。
4.根据权利要求1所述的系统，其中所述逻辑还使得所述计算装置将所述基线图像与所述受试者的所述数字图像进行比较以确定所述色素沉着过度的斑点的变化。
5.根据权利要求1所述的系统，其中所述逻辑还使得所述计算装置从旋转不变的均匀局部二元模式(LBP)确定所述色素沉着过度的斑点的纹理特征。
6.根据权利要求1所述的系统，其中所述逻辑还使得所述计算装置通过创建近似所述色素沉着过度的斑点的形状的拟合椭圆来确定所述色素沉着过度的斑点的空间特征。
7.根据权利要求1所述的系统，其中所述逻辑还使得所述计算装置确定所述色素沉着过度的斑点的像素邻域；以及确定所述像素邻域中的多个像素的像素强度。
8.根据权利要求1所述的系统，其中对所述色素沉着过度的斑点进行分类包括对所述色素沉着过度的斑点的两个至二十五个维度特征进行分析。
9.根据权利要求8所述的系统，其中所述维度特征包括选自以下各项的至少两个维度特征：所述色素沉着过度的斑点内的平均强度、所述色素沉着过度的斑点的像素邻域中的平均强度、近似所述色素沉着过度的斑点的拟合椭圆的偏心度、所述拟合椭圆的长轴长度、所述拟合椭圆的短轴长度、所述色素沉着过度的斑点的面积、局部二元模式LBP直方图中的第一分箱值、所述LBP直方图中的第二分箱值、所述LBP直方图中的第三分箱值、所述LBP直方图中的第四分箱值、所述LBP直方图中的第五分箱值、所述LBP直方图中的第六分箱值、所述LBP直方图中的第七分箱值、所述LBP直方图中的第八分箱值、所述LBP直方图中的第九分箱值、所述LBP直方图中的第十分箱值、R通道中的最大强度、所述R通道中的最小强度、所述R通道中的平均强度、G通道中的最大强度、所述G通道中的最小强度、所述G通道中的平均强度、B通道中的最大强度、所述B通道中的最小强度和所述B通道中的平均强度。
10.一种识别色素沉着过度的斑点的方法，所述方法包括：使用根据前述权利要求中任一项所述的系统。
11.一种分配装置，所述分配装置包括：
a)护肤产品；
b)根据权利要求1至9中任一项所述的系统；以及
c)用于分配所述护肤产品的构件。
CN201880053616.1A 2017-08-18 2018-08-16 用于识别色素沉着过度的斑点的系统和方法 Active CN111433861B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762547196P 2017-08-18 2017-08-18
US62/547,196 2017-08-18
PCT/US2018/000294 WO2019036009A1 (en) 2017-08-18 2018-08-16 SYSTEMS AND METHODS FOR IDENTIFYING HYPERPIGMENTED TASKS

Publications (2)

Publication Number Publication Date
CN111433861A CN111433861A (zh) 2020-07-17
CN111433861B true CN111433861B (zh) 2024-03-15

Family

ID=63794586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880053616.1A Active CN111433861B (zh) 2017-08-18 2018-08-16 用于识别色素沉着过度的斑点的系统和方法

Country Status (5)

Country Link
US (1) US20200178881A1 (zh)
EP (1) EP3669375A1 (zh)
JP (1) JP6933772B2 (zh)
CN (1) CN111433861B (zh)
WO (1) WO2019036009A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7023529B2 (ja) * 2019-09-30 2022-02-22 Ｂ－ｂｙ－Ｃ株式会社 美容促進装置、美容促進方法、および美容促進プログラム
CN118662377A (zh) 2020-01-24 2024-09-20 宝洁公司 护肤组合物
WO2022132688A1 (en) 2020-12-14 2022-06-23 The Procter & Gamble Company Method of treating oxidative stress in skin and compositions therefor
CN114176520B (zh) * 2021-12-09 2024-09-27 林丹柯 皮肤色素沉着的非接触测试方法、装置及处理器
WO2023164544A2 (en) * 2022-02-24 2023-08-31 Sorrento Therapeutics, Inc. Novel ionizable cationic lipids

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233322A (zh) * 2014-03-03 2016-12-14 赛曼提克姆德公司 基于个性化内容的患者检索系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110016001A1 (en) * 2006-11-08 2011-01-20 24/8 Llc Method and apparatus for recommending beauty-related products
US20100185064A1 (en) * 2007-01-05 2010-07-22 Jadran Bandic Skin analysis methods
BRPI0806109A2 (pt) * 2007-01-05 2011-08-30 Myskin Inc sistema, dispositivo e método para imagem dérmica
US8218862B2 (en) * 2008-02-01 2012-07-10 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
US20130022557A1 (en) * 2011-07-22 2013-01-24 Cheri Lynn Swanson Methods For Improving the Appearance of Hyperpigmented Spot(s) Using an Extract of Laminaria Saccharina
US8593634B1 (en) * 2012-06-15 2013-11-26 Larry Y Igarashi Custom cosmetic blending machine
JP5794889B2 (ja) * 2011-10-25 2015-10-14 富士フイルム株式会社 シミ種別分類装置の作動方法、シミ種別分類装置およびシミ種別分類プログラム
US20140036054A1 (en) * 2012-03-28 2014-02-06 George Zouridakis Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases
US20150045631A1 (en) * 2013-03-15 2015-02-12 Lee Pederson Skin health system
JP2016112024A (ja) * 2013-08-08 2016-06-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置の制御方法および画像処理方法
SG10201405182WA (en) * 2014-08-25 2016-03-30 Univ Singapore Technology & Design Method and system
US10219737B2 (en) * 2014-12-11 2019-03-05 Skin Depth Inc. Topical product dispensing tool

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233322A (zh) * 2014-03-03 2016-12-14 赛曼提克姆德公司 基于个性化内容的患者检索系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Konstantin Korotkov等."Computerized analysis of pigmented skin lesions: A review".《Artificial Intelligence in Medicine》.2012,第56卷(第2期),第69-90页. *

Also Published As

Publication number Publication date
CN111433861A (zh) 2020-07-17
EP3669375A1 (en) 2020-06-24
JP2020531984A (ja) 2020-11-05
JP6933772B2 (ja) 2021-09-08
WO2019036009A1 (en) 2019-02-21
US20200178881A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
CN111433861B (zh) 用于识别色素沉着过度的斑点的系统和方法
US10818007B2 (en) Systems and methods for determining apparent skin age
US10621771B2 (en) Methods for age appearance simulation
Ramli et al. Acne analysis, grading and computational assessment methods: an overview
US10614623B2 (en) Methods and apparatuses for age appearance simulation
JP7235895B2 (ja) 美容的皮膚特性を視覚化するための装置及び方法
US9445087B2 (en) Systems, devices, and methods for providing products and consultations
CA2751549C (en) Method and apparatus for simulation of facial skin aging and de-aging
JP7108127B2 (ja) 毛穴の色を特定する方法
KR101647318B1 (ko) 휴대용 피부상태 분석 장치 및 이를 이용한 피부 관리 서비스 방법
JP2023526387A (ja) 肌テスト及びカスタマイズ調合のためのスマートシステム、ならびに化粧品の製造方法
US20230255544A1 (en) Method and electronic device for determining skin information using hyper spectral reconstruction
Ko et al. Image-processing based facial imperfection region detection and segmentation
KR101943580B1 (ko) 이미지 분석에 기반한 피부 상태 평가 방법 및 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40029758

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant