CN117651520A - 用于使用高光谱重建来确定皮肤信息的方法和电子装置 - Google Patents

用于使用高光谱重建来确定皮肤信息的方法和电子装置 Download PDF

Info

Publication number
CN117651520A
CN117651520A CN202280047664.6A CN202280047664A CN117651520A CN 117651520 A CN117651520 A CN 117651520A CN 202280047664 A CN202280047664 A CN 202280047664A CN 117651520 A CN117651520 A CN 117651520A
Authority
CN
China
Prior art keywords
skin
electronic device
determining
pigmentation
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280047664.6A
Other languages
English (en)
Inventor
阿希什·戈亚尔
维杰·纳拉扬·蒂瓦里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117651520A publication Critical patent/CN117651520A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dermatology (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Dentistry (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本文的实施例公开了一种用于通过电子装置使用高光谱重建来确定皮肤信息的方法和电子装置。该方法还包括捕获皮肤的红绿蓝(RGB)图像。该方法还包括将RGB图像转换为高光谱图像。该方法还包括通过对高光谱图像应用波长反射率模型来确定至少一个波长带,以及通过对波长带应用神经网络模型来确定皮肤信息。

Description

用于使用高光谱重建来确定皮肤信息的方法和电子装置
技术领域
本公开涉及一种电子装置。例如,本公开涉及一种用于通过电子装置使用高光谱重建来确定皮肤色素沉着的方法和电子装置。
背景技术
通常,对于皮肤色素沉着评估存在很高的需求,皮肤色素沉着评估用于确定肤色、紫外线暴露风险、色素沉着、银屑病、湿疹和任何其他皮肤异常,以用于诸如化妆品、皮肤病学、生物测定等应用。
在皮肤色素沉着评估的常规方法中,只有在侵入性地分离单个组织之后,才能对不同组织(例如毛发、皮肤和血液)进行皮肤色素沉着评估。因此,需要一种可在不需要分离单个组织的情况下非侵入性地对皮肤下存在的不同组织进行皮肤色素沉着评估的皮肤色素沉着评估方法。
此外,在各种其他常规方法中,使用昂贵且难以获得的具有高分辨率的专用高光谱(HS)成像系统进行皮肤色素沉着评估,因此从诸如相机或智能电话的消费电子装置获取的图像数据受到光谱分辨率的限制,并且不适合于常规的皮肤色素沉着评估。因此,需要一种低成本且易于获得的分析皮肤色素沉着的方法。
发明内容
技术问题
因此,期望解决上述劣势或其他缺点,或者至少提供用于皮肤色素沉着评估的有用可选方案。
技术方案
本公开的实施例提供了一种用于通过电子装置使用高光谱重建来确定皮肤色素沉着的方法和电子装置。该方法包括通过应用神经网络模型来确定皮肤信息。电子装置可在不需要分离单个组织的情况下,非侵入性地对皮肤下存在的不同组织进行皮肤色素沉着评估。此外,电子装置易于获得,从而以低成本进行皮肤色素沉着评估。
本公开的实施例通过使用波长反射率模型分析高光谱图像上的多个像素来提取皮肤下的不同组织的每个单个组织的光谱。
本公开的实施例生成皮肤健康和病症报告。该方法还包括通过对高光谱图像应用波长反射率模型来确定波长带,并通过对波长带应用神经网络模型来确定皮肤信息。此外,该方法包括基于所确定的皮肤信息生成皮肤健康和病症报告。
因此,本文的各种示例实施例公开了一种用于通过电子装置使用高光谱重建来确定皮肤色素沉着的方法。该方法包括:捕获皮肤的红绿蓝(RGB)图像;将RGB图像转换成高光谱图像;通过对高光谱图像应用波长反射率模型来确定波长带;以及通过对波长带应用神经网络模型来确定皮肤信息。
在示例实施例中,通过对高光谱图像应用波长反射率模型来确定波长带的操作包括:使用波长反射率模型从高光谱图像非侵入性地分割皮肤下的不同组织;通过使用波长反射率模型分析高光谱图像上的多个像素来提取皮肤下的不同组织中的每个单个组织的光谱;以及基于所提取的各个组织的光谱来确定包括不同组织中的色素浓度的至少一个波长带。
在示例实施例中,皮肤下的不同组织中的色素浓度包括与皮肤的厚度、皮肤中的黑色素浓度、胆红素浓度、皮肤下的毛发厚度、皮肤下的血管厚度、皮肤下的血红蛋白(Hb)浓度和皮肤下的氧合血红蛋白(HBO2)浓度中的至少一个有关的信息。
在示例实施例中,通过对波长带应用神经网络模型来确定皮肤信息的操作包括:将皮肤下的不同组织中的色素浓度输入到神经网络模型中,并从神经网络模型获得关于皮肤的信息。
在示例实施例中,关于皮肤的信息包括肤色、UV暴露风险、色素沉着、银屑病、湿疹和皮肤异常中的至少一个。
在示例实施例中,RGB图像由具有有限光谱分辨率的成像设备中的至少一个所捕获。
在示例实施例中,该方法包括:通过对高光谱图像应用波长反射率模型来生成色素沉着过度报告;基于色素沉着过度报告确定色素沉着程度是否正在改善;以及响应于确定色素沉着程度正在改善,向用户推荐不改变处方,或者响应于确定色素沉着程度没有改善,向用户推荐改变处方,或者响应于确定色素沉着程度正在下降,向用户推荐停止药物治疗并咨询医生。
在示例实施例中,该方法还包括:通过对高光谱图像应用波长反射率模型来确定波长带,并通过对波长带应用神经网络模型来确定皮肤信息;执行以下中的至少一个操作:基于皮肤信息显示皮肤的健康变化;以及基于皮肤信息推荐特定针对皮肤的产品。
因此,本文的示例实施例公开了一种用于使用高光谱重建确定皮肤色素沉着的电子装置,该电子装置包括:存储器、处理器和可操作地耦接到存储器和处理器的皮肤细节检测器。皮肤细节检测器被配置为:捕获皮肤的红绿蓝(RGB)图像;将RGB图像转换成高光谱图像;通过对高光谱图像应用波长反射率模型来确定至少一个波长带;以及通过对波长带应用神经网络模型来确定皮肤信息。
当结合以下描述和附图考虑时,将更好地领会和理解本文的各种示例实施例的这些和其他方面。然而,应当理解,以下描述虽然指示了各种示例实施例及其中的许多具体细节,但是通过说明而非限制的方式给出。在不脱离本公开的精神的情况下,可在本文公开的范围内进行许多改变和修改,并且本文的各种实施例包括所有这些修改。
附图说明
在附图中示出了本公开的各种示例实施例,贯穿附图,相同的附图标记指示各个图中的相应部分。此外,通过结合附图进行的详细描述,本公开的特定实施例的上述和其他方面、特征和优点将更加明显,其中:
图1是示出根据现有技术的皮肤色素沉着的数字分类的菲氏标度的示图;
图2是示出根据现有技术的常规皮肤色素沉着评估工具的示图;
图3A和3B是示出根据现有技术的在备皮之后分析皮肤下的各个组织的工具的示图;
图4是示出根据现有技术的使用RGB数据进行皮肤色素沉着分析的方法的示图;
图5是示出根据各种实施例的用于使用高光谱重建确定皮肤色素沉着的电子装置的示例配置的框图;
图6是示出根据各种实施例的用于使用高光谱重建确定皮肤色素沉着的示例方法的流程图;
图7是示出根据各种实施例的用于使用高光谱重建确定皮肤色素沉着的示例方法的系统图;
图8是示出根据各种实施例的具有不同光反射特性的不同组织的示图;
图9是示出根据各种实施例的从存在于皮肤下的各种组织的反射率曲线的组合获得的光谱反射率曲线的示图;
图10是示出根据各种实施例的用于提取各个组织的光谱的成分分析的示图;
图11是示出根据各种实施例的评估皮肤色素沉着过度进展的示例方法的系统图;
图12是示出根据各种实施例的评估皮肤病症和推荐产品的示例方法的系统图;
图13是示出根据各种实施例的提供个性化的准确见解和推荐的示例方法的示图;
图14是示出根据各种实施例的监测皮肤治疗和化妆品的功效的示例方法的流程图;
图15是示出根据各种实施例的RGB图像和高光谱图像的比较的示图;
图16是示出根据各种实施例的“化妆”相机特征的示图;以及
图17是示出根据各种实施例的用户的增强相机体验的示图。
具体实施方式
参照在附图中示出并在以下描述中详述的非限制性实施例更全面地解释本文的各种示例实施例及其各种特征和有利细节。可省略对公知组件和处理技术的描述,以免不必要地模糊本文的实施例。本文描述的各种实施例不一定是相互排斥的,因为各种实施例可与一个或更多个其他实施例组合以形成新的实施例。除非另有说明,否则如本文所用的术语“或”是指非排他性的或。本文使用的示例仅旨在便于理解可实践本文的实施例的方式,并且进一步使本领域技术人员能够实践本文的实施例。因此,这些示例不应被解释为限制本文公开的范围。
可根据执行所描述的一个或多个功能的块来描述和示出各种实施例。这些块(在本文中可被称为管理器、单元、模块、硬件组件等)由模拟和/或数字电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)物理地实现,并且可以可选地由固件驱动。电路可例如实现在一个或更多个半导体芯片中,或者实现在衬底支撑件(诸如印刷电路板等)上。块的电路可由专用硬件实现,或者由处理器(例如,一个或更多个编程的微处理器和相关联的电路)实现,或者由执行块的一些功能的专用硬件和执行块的其他功能的处理器的组合实现。在不脱离本公开的范围的情况下,实施例的每个块可物理地分成两个或更多个交互和离散的块。同样地,在不脱离本公开的范围的情况下,实施例的块可物理地组合成更复杂的块。
提供附图以帮助理解各种技术特征,并且应当理解,本文呈现的实施例不受附图的限制。因此,本公开应当被解释为扩展到除了在附图中特别阐述的那些之外的任何改变、等同物和替代物。
因此,本文的实施例公开了一种用于通过电子装置使用高光谱重建来确定皮肤色素沉着的方法。该方法还包括捕获皮肤的红绿蓝(RGB)图像。该方法还包括将RGB图像转换为高光谱图像。该方法还包括通过对高光谱图像应用波长反射率模型来确定波长带,以及通过对波长带应用神经网络模型来确定皮肤信息。
因此,本文的实施例公开了一种用于使用高光谱重建确定皮肤色素沉着的电子装置,电子装置包括存储器、处理器和可操作地耦接到存储器和处理器的皮肤细节检测器。皮肤细节检测器被配置为捕获皮肤的RGB图像。此外,皮肤细节检测器被配置为将RGB图像转换为高光谱图像。此外,皮肤细节检测器被配置为通过对高光谱图像应用波长反射率模型来确定至少一个波长带,并且通过对波长带应用神经网络模型来确定皮肤信息。
在现有方法和系统中,只有在侵入性地分离诸如毛发、皮肤和血液的不同组织之后,才能对它们进行色素沉着分析。与现有方法和系统不同,所公开的方法使得在不需要分离单个组织的情况下,能够非侵入性地对皮肤下存在的不同组织进行准确的色素沉着分析。
在现有方法和系统中,使用具有高分辨率(<1nm)的专用HS成像系统进行色素沉着分析。与现有方法和系统不同,所公开的方法组合来自图像的多个像素的信息,这允许该方法使用噪声和低分辨率HS图像(>10nm)进行操作。因此,所公开的方法即使在使用从消费电子产品中存在的相机获得的RGB图像重建的HS图像的情况下也很好地工作。
与现有方法和系统不同,所公开的方法从RGB图像重建高光谱图像。此外,所公开的方法使用皮肤的重建高光谱图像来分析皮肤下存在的不同组织的色素沉着。
与现有方法和系统不同,所公开的方法处理重建的高光谱图像的噪声和低分辨率性质以进行分析。即使使用低分辨率高光谱图像(>10nm),所公开的模型也可提供准确的色素沉着分析。
在现有方法和系统中,基于RGB数据的模型用于色素沉着分析。与现有方法和系统不同,当使用所公开的波长反射率模型时,相对于现有的SOTA RGB图像模型,肤色分类中的测试数据集的性能提高了18%。
图1是示出根据现有技术的皮肤色素沉着的数字分类的菲氏标度的示图。
菲氏标度对于确定紫外线A(UVA)疗法的正确剂量、评估晒伤的风险、评估皮肤癌的风险和化妆品(诸如,防晒霜)中的至少一个是重要的。
在现有系统中,皮肤类型的菲氏标度通过向患者询问一组问题来确定。然而,它是主观的并且容易出现不准确的报告和偏差。
图2是示出根据现有技术的常规皮肤色素沉着评估工具的示图。
图2公开了现有皮肤色素沉着评估之一,使用昂贵且难以获得的高光谱(HS)成像进行皮肤色素沉着评估。因此,由于在化妆品、皮肤病学和生物测定中具有应用,需要一种非侵入性、低价且能够获得的方法来详细分析皮肤色素沉着。
图3A和图3B是示出根据现有技术的在备皮之后分析皮肤下的各个组织的工具的示图。
图3A公开了用于分析的备皮要求。
图3B公开了在备皮之后分析皮肤下的各个组织的工具。
一些现有系统需要备皮或活组织检查以分析皮肤下的各个组织。
图4是示出根据现有技术的使用RGB数据进行皮肤色素沉着分析的方法的示图。
一些其他现有系统使用红绿蓝(RGB)数据进行皮肤色素沉着分析,然而RGB数据受到光谱分辨率的限制,因此不适合皮肤色素沉着分析。
由于在可见范围内存在窄光谱带(>30),因此RGB图像在可见范围内仅具有3个带。此外,RGB图像具有宽光谱带,因此具有粗糙的像素信息。所公开的方法使用具有窄光谱带的高光谱图像,使得在电磁光谱中产生详细的像素信息。
现在参照附图,并且更具体地参照图5至图17示出各种示例实施例,其中,在图5至图17中类似的附图标记在所有附图中始终表示相应的特征。
图5是示出根据各种实施例的用于使用高光谱重建确定皮肤色素沉着的电子装置的示例配置的框图。
参照图5,电子装置(500)的示例包括但不限于膝上型计算机、掌上型计算机、台式计算机、移动电话、智能电话、个人数字助理(PDA)、平板计算机、可穿戴装置、物联网(IoT)装置、虚拟现实装置、可折叠装置、柔性装置、沉浸式系统等。
在实施例中,电子装置(500)包括存储器(501)、处理器(例如,包括处理电路)(502)、通信器(例如,包括通信电路)(503)和皮肤细节检测器(例如,包括各种处理电路和/或可执行程序指令)(504)。
存储器(501)存储要由处理器(502)执行的指令。存储器(501)可包括非易失性存储元件。这种非易失性存储元件的示例可包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。另外,在一些示例中,存储器(501)可被认为是非暂时性存储介质。术语“非暂时性”可指示存储介质不实现在载波或传播信号中。然而,术语“非暂时性”不应被解释为存储器(501)是不可移动的。在一些示例中,存储器(501)可被配置为存储比其存储空间更大量的信息。在特定示例中,非暂时性存储媒体可存储可随时间改变的数据(例如,在随机存取存储器(RAM)或高速缓冲存储器中)。存储器(501)可以是内部存储单元,或者存储器(501)可以是电子装置(500)的外部存储单元、云存储器或任何其他类型的外部存储器。
处理器(502)可包括各种处理电路,并且被配置为执行存储在存储器(501)中的指令。处理器(502)可以是通用处理器(诸如中央处理单元(CPU)、应用处理器(AP)等)、仅图形处理单元(诸如图形处理单元(GPU)、视觉处理单元(VPU)等)。处理器(502)可包括用于执行指令的多个核。
通信器(503)可包括各种通信电路,并且被配置用于在其他用户装置或服务器中的硬件组件之间内部通信。此外,通信器(503)被配置为经由一个或更多个网络(例如,无线电技术)促进电子装置(500)与其他装置之间的通信。通信器(503)包括特定针对实现有线或无线通信的标准的电子电路。
皮肤细节检测器(504)可由处理电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)来实现,并且可以可选地由固件驱动。电路可例如实现在一个或更多个半导体芯片中,或者实现在衬底支撑件(诸如印刷电路板等)上。
用于使用高光谱重建确定皮肤色素沉着的皮肤细节检测器(504)包括成像传感器(505)、高光谱图像生成器(506)、波长反射率模型(507)和神经网络模型(508)。成像传感器(505)捕获皮肤的红绿蓝(RGB)图像。高光谱图像生成器(506)从RGB图像生成高光谱图像。电子装置(500)通过对高光谱图像应用波长反射率模型(507)来确定至少一个波长带,并且通过对波长带应用神经网络模型(508)来确定皮肤信息。
在实施例中,皮肤细节检测器(504)被配置为通过对高光谱图像应用波长反射率模型来确定波长带,包括使用波长反射率模型从高光谱图像非侵入性地分割皮肤下的不同组织。皮肤细节检测器(504)还被配置为通过使用波长反射率模型分析高光谱图像上的多个像素来提取皮肤下的不同组织中的每个单个组织的光谱,并且基于所提取的各个组织的光谱来确定包括不同组织中的色素浓度的至少一个波长带。
在实施例中,皮肤下的不同组织中色素浓度包括与皮肤厚度、皮肤中的黑色素浓度、胆红素浓度、皮肤下的毛发厚度、皮肤下的血管厚度、皮肤下的血红蛋白(Hb)浓度和皮肤下的氧合血红蛋白(HBO2)浓度中的至少一个有关的信息。
在实施例中,皮肤细节检测器(504)被配置为通过对波长带应用神经网络模型来确定皮肤的色素沉着信息包括:将皮肤下的不同组织中的色素浓度输入到神经网络模型,并从神经网络模型获得皮肤的色素沉着信息。
在实施例中,皮肤信息包括肤色、紫外线暴露风险、色素沉着、银屑病、湿疹和皮肤异常中的至少一个。
在实施例中,RGB图像由具有有限光谱分辨率的成像设备中的至少一个捕获。
在实施例中,皮肤细节检测器(504)被配置为通过对高光谱图像应用波长反射率模型来生成色素沉着报告,并通过对波长带应用神经网络模型来确定皮肤信息。皮肤细节检测器(504)还被配置为基于色素沉着报告确定色素沉着是否正在改善或在最佳范围内。皮肤细节检测器(504)还被配置为响应于确定色素沉着正在改善或在最佳范围内,向用户推荐不改变处方,或者响应于确定色素沉着程度没有改善,向用户推荐改变处方,或者响应于确定色素沉着程度正在下降,向用户推荐停止药物治疗并咨询医生。
在实施例中,皮肤细节检测器(504)被配置为在从神经网络模型获得信息之后生成皮肤健康和病症报告。神经网络模型使用由波长反射率模型确定的波长带。皮肤细节检测器(504)被配置为基于皮肤健康和病症报告显示皮肤健康的变化,或者基于皮肤健康和病症报告推荐特定针对皮肤的产品。
图6是示出根据各种实施例的用于使用高光谱重建确定皮肤色素沉着的示例方法的流程图。
在流程图(600)中,在602,电子装置(500)捕获皮肤的红绿蓝(RGB)图像。
在604,电子装置(500)将RGB图像转换为高光谱图像。
在606,电子装置(500)通过对高光谱图像应用波长反射率模型(507)来确定至少一个波长带。
在608,电子装置(500)通过对波长带应用神经网络模型(508)来确定皮肤信息。
该方法中的各种行动、动作、块、步骤等可以以所呈现的顺序、以不同的顺序或同时执行。此外,在各种实施例中,在不脱离本公开的范围的情况下,可省略、添加、修改、跳过等行动、动作、块、步骤等中的一些。
图7是示出根据各种实施例的用于使用高光谱重建确定皮肤色素沉着的示例方法的系统图。
参照图7,示出了端到端系统图,端到端系统图示出了使用从RGB相机图像重建的皮肤的低分辨率高光谱图像来分析皮肤色素沉着的非侵入性和可获得的方法。此外,该方法可对肤色进行分类,预测UV暴露风险和皮肤病症。
在701,电子装置(500)捕获皮肤的红绿蓝(RGB)图像。
在703,电子装置(500)将RGB图像转换为高光谱图像。
在706,电子装置(500)通过对高光谱图像应用波长反射率模型(704A)来确定至少一个波长带,其中,波长带信息是如707中所示的光谱。
在708,从光谱中提取皮肤厚度、黑色素浓度、胆红素浓度、毛发厚度、黑色素浓度、血管厚度、血红蛋白(Hb)浓度、氧合血红蛋白(HBO2)浓度和色素沉着评估细节。
在705,电子装置(500)通过对皮肤厚度、黑色素浓度、胆红素浓度、毛发厚度、黑色素浓度、血管厚度、血红蛋白(Hb)浓度、氧合血红蛋白(HBO2)浓度应用神经网络模型(709)来确定皮肤信息,以显示包括肤色(705A)、色素沉着(705B)、银屑病(705C)、湿疹(705D)的结果。
图8是示出根据各种实施例的具有不同光反射特性的不同组织的示图。
图8示出了具有不同光反射特性的不同组织,诸如皮肤(801)、毛发(802)和血液(803)。
图9是示出根据各种实施例的从存在于皮肤下的所有组织的反射率曲线的组合获得的光谱反射率曲线的示图。
参照图9,当皮肤的图像被捕获到时,皮肤的图像被转换为高光谱图像(905),从该图像的任何像素获得的光谱反射率曲线(910)是存在于皮肤下的所有组织的反射率曲线的组合。为了分析特定组织的色素沉着,一些示例是血液(903)、毛发(902)、皮肤(901)等,需要分离该组织的光谱。与常规系统不同,仅通过侵入性方法进行分析是可能的,该侵入性方法涉及将组织与身体分离,然后分析其光谱。
图10是示出根据各种实施例的用于提取各个组织的光谱的成分分析的示图。
参照图10,所公开的波长反射率模型分析皮肤图像上的多个像素,并使用成分分析来提取各个组织的光谱。使用朗伯比尔定律研究各个组织的光谱以找到色素浓度。朗伯比尔定律方程是吸光度=摩尔系数*光程长度*浓度。由于组织中存在多种色素,朗伯比尔定律给出了仅在存在记录了反射数据的多个波长(诸如皮肤(101)、毛发(102)和血液(103))时才能求解的方程组。
皮肤(101)的波长反映皮肤厚度、黑色素浓度和胆红素浓度。
毛发(102)的波长反映毛发厚度、黑色素浓度。
血液的波长(103)反映血管厚度、Hb浓度、HbO2浓度。
神经网络分析并显示肤色(104)、色素沉着(105)、银屑病(106)和湿疹(107)。
图11是示出根据各种实施例的评估皮肤色素沉着过度进展的示例方法的系统图。
参照图11,提供了端到端系统图,端到端系统图示出了在家中评估皮肤色素沉着过度进展和监测治疗功效。
在1101,用户捕获皮肤图像,并且通过波长反射率模型(1102)分析皮肤图像以确定波长带并提供色素沉着过度标度的报告(1103)。
在1104,如果色素沉着程度正在改善,则电子装置推荐不改变处方(1105)。如果色素沉着的程度没有改善,则在1107处装置检查过敏反应。
在1108,如果在1107检测到任何过敏反应,则电子装置推荐停止用药并咨询医生。
在1109,如果未检测到过敏反应,则电子装置推荐改变处方。用户可每天使用电子装置定期检查皮肤状况。
图12是示出根据各种实施例的评估皮肤病症和推荐产品的示例方法的系统图。
参照图12,提供了端到端系统图,端到端系统图示出了评估皮肤的整体健康和病症并从商业伙伴推荐个性化产品。
在实施例中,在1201,用户捕获皮肤图像,并且通过波长反射率模型(1202)分析皮肤图像以确定波长带。
在1204,电子装置检查过去的报告并在1205显示皮肤健康的每日变化。
在1205,电子装置中的推荐引擎使用所生成的色素沉着过度报告(1203),并且在1207,推荐抗衰老霜、防晒霜和皮肤科医生咨询。
图13是示出根据各种实施例的提供个性化的准确见解和推荐的示例方法的示图。
参照图13,因为黑色素提供了针对皮肤癌和由紫外线(UV)引起的晒伤的保护,所以只有在估计黑色素之后才能提供与UV暴露相关的个性化和准确的见解。
皮肤类型检测(1301)检查检测到的皮肤抗UV指数,以生成个性化的准确见解和推荐(1302),诸如儿童的累积UV暴露(1304)、维生素D产生(1305)、防晒霜的类型和量(1306)。
此外,电子装置显示具有针对皮肤类型的允许暴露的癌症风险监测器(1307)。电子设备装置还可显示针对皮肤类型的估计晒伤时间(1308)。
图14是示出根据各种实施例的监测皮肤治疗和化妆品的功效的示例方法的流程图。
参照图14,该流程图示出了监测皮肤治疗和化妆品(诸如皮肤增亮产品、皮炎治疗、色素沉着过度和色素沉着不足药物)的功效的示例。
在1401,电子装置可通过点击图像来估计皮肤参数。
在1403,电子装置可分析皮肤参数和治疗的趋势和相关性。
在1404,电子装置可估计治疗功效并建议可选方案。
在1402,电子装置可记录药物和化妆品的剂量。电子装置重复该过程。
图15是示出根据各种实施例的RGB图像和高光谱图像的比较的示图。
参照图15,可使用高光谱图像(152)来检测肤色、健康和异常(如晒伤、银屑病、湿疹等)。另外,RGB图像(151)不足以分析黑色素和其他色素。
可通过分析来自高光谱图像(152)的400-700nm之间的波长的反射率来从皮肤图像估计黑色素和其他色素的沉积。高光谱图像(152)可提供肤色和病症的客观且准确的估计。
图16是示出根据各种实施例的“化妆”(1601)相机特征的示图。
参照图16,用于制药和公司的“化妆”相机特征(1601)可用于如对光照条件稳健的皮肤和嘴唇的色调和底色估计的特征。此外,相机特征还可用于黑眼圈和色素沉着过度的斑点分析。此外,相机特征还可用于推荐个性化产品,例如乳液、肥皂和防晒霜。此外,相机特征还可用于使用相机图像效果来帮助购买正确色调的粉底、指甲油和唇膏。
图17是示出根据各种实施例的用户的增强相机体验的示图。
参照图17,用户的增强相机体验类似于例如三星健康应用中的“皮肤护理”特征。此外,增强相机体验包括利用天气数据和UV指数确定池用户肤色,以警告UV暴露和皮肤癌风险。此外,增强相机体验包括确定筛查常见病症,诸如色素沉着过度/色素沉着不足、瘀伤、疤痕、蛛状静脉曲张等。此外,增强相机体验包括确定随时间监测皮肤属性,识别化妆品的趋势和功效。
虽然已经参照各种示例实施例示出和描述了本公开,但是应当理解,各种示例实施例旨在是说明性的而非限制性的。本领域技术人员还将理解,在不脱离本公开的真实精神和全部范围(包括所附权利要求及其等同物)的情况下,可在形式和细节上进行各种改变。还应当理解,本文描述的任何实施例可与本文描述的任何其他实施例结合使用。

Claims (15)

1.一种用于通过电子装置使用高光谱重建来确定皮肤信息的方法,其中,所述方法包括:
由所述电子装置捕获用户皮肤的红绿蓝RGB图像;
由所述电子装置将所述RGB图像转换成高光谱图像;
由所述电子装置通过对所述高光谱图像应用波长反射率模型来确定至少一个波长带;以及
由所述电子装置通过对所述至少一个波长带应用神经网络模型来确定皮肤信息。
2.根据权利要求1所述的方法,其中,由所述电子装置通过对所述高光谱图像应用所述波长反射率模型来确定所述至少一个波长带的操作包括:
由所述电子装置使用所述波长反射率模型从所述高光谱图像非侵入性地分割所述皮肤下的不同组织;
由所述电子装置通过使用所述波长反射率模型分析所述高光谱图像上的多个像素来提取所述皮肤下的所述不同组织中的每个单个组织的光谱;以及
由所述电子装置基于所提取的各个组织的光谱来确定包括所述不同组织中的色素浓度的所述至少一个波长带。
3.根据权利要求2所述的方法,其中,所述皮肤下的所述不同组织中的色素浓度包括与所述皮肤的厚度、所述皮肤中的黑色素浓度、胆红素浓度、所述皮肤下的毛发厚度、所述皮肤下的血管厚度、所述皮肤下的血红蛋白Hb浓度和所述皮肤下的氧合血红蛋白HBO2浓度中的至少一个有关的信息。
4.根据权利要求2所述的方法,其中,由所述电子装置通过对所述至少一个波长带应用所述神经网络模型来确定所述皮肤信息的操作包括:
通过所述电子装置将所述皮肤下的所述不同组织中的色素浓度输入到所述神经网络模型;以及
由所述电子装置从所述神经网络模型获得所述皮肤信息。
5.根据权利要求1所述的方法,其中,所述皮肤信息包括肤色、紫外线暴露风险、色素沉着、银屑病、湿疹和皮肤异常中的至少一个。
6.根据权利要求1所述的方法,其中,所述RGB图像由具有有限光谱分辨率的成像设备中的至少一个所捕获。
7.根据权利要求1所述的方法,其中,所述方法还包括:
由所述电子装置通过应用包含色素沉着程度信息的所述波长反射率模型和神经网络模型来生成色素沉着过度报告;
通过所述电子装置基于所述色素沉着过度报告确定所述色素沉着程度是否正在改善;以及
由所述电子装置执行以下中的至少一个操作:
响应于确定所述色素沉着程度正在改善,向所述用户推荐不改变处方;
响应于确定所述色素沉着程度没有改善,向所述用户推荐改变处方;以及
响应于确定所述色素沉着程度正在下降,向所述用户推荐停止药物治疗并咨询医生。
8.根据权利要求1所述的方法,其中,所述方法包括:
由所述电子装置通过应用所述波长反射率模型和所述神经网络模型来生成皮肤健康和病症报告;以及
由所述电子装置执行以下中的至少一个操作:
基于所述皮肤健康和病症报告显示所述皮肤的健康变化;以及
根据所述皮肤健康和病症报告推荐特定针对所述皮肤的产品。
9.一种电子装置,被配置为使用高光谱重建来确定皮肤信息,所述电子装置包括:
存储器;
处理器;以及
皮肤细节检测器,包括可操作地耦接到所述存储器和所述处理器的电路,所述电路被配置为:
捕获皮肤的红绿蓝RGB图像;
将所述RGB图像转换成高光谱图像;
通过对所述高光谱图像应用波长反射率模型来确定至少一个波长带;以及
通过对所述至少一个波长带应用神经网络模型来确定皮肤信息。
10.根据权利要求9所述的电子装置,其中,通过对所述高光谱图像应用所述波长反射率模型来确定所述至少一个波长带的操作包括:
使用所述波长反射率模型从所述高光谱图像非侵入性地分割所述皮肤下的不同组织;
通过使用所述波长反射率模型分析所述高光谱图像上的多个像素来提取所述皮肤下的所述不同组织中的每个单个组织的光谱;以及
基于所提取的各个组织的光谱来确定包括所述不同组织中的色素浓度的所述至少一个波长带。
11.根据权利要求10所述的电子装置,其中,所述皮肤下的所述不同组织中的所述色素浓度包括与所述皮肤的厚度、所述皮肤中的黑色素浓度、胆红素浓度、所述皮肤下的毛发厚度、所述皮肤下的血管厚度、所述皮肤下的血红蛋白Hb浓度和所述皮肤下的氧合血红蛋白HBO2浓度中的至少一个有关的信息。
12.根据权利要求10所述的电子装置,其中,通过对所述至少一个波长带应用所述神经网络模型来确定所述皮肤信息的操作包括:
将所述皮肤下的所述不同组织中的色素浓度输入到所述神经网络模型;以及
从所述神经网络模型获得所述皮肤信息。
13.根据权利要求9所述的电子装置,其中,所述皮肤信息包括肤色、紫外线暴露风险、色素沉着、银屑病、湿疹和皮肤异常中的至少一个。
14.根据权利要求9所述的电子装置,其中,所述RGB图像由具有有限光谱分辨率的成像设备中的至少一个所捕获。
15.根据权利要求9所述的电子装置,其中,所述电子装置被配置为:
通过应用包含色素沉着程度信息的所述波长反射率模型和神经网络模型来生成色素沉着过度报告;以及
基于所述色素沉着过度报告确定所述色素沉着程度是否正在改善或在最佳范围内;以及
执行以下中的至少一个操作:
响应于确定所述色素沉着程度正在改善或在最佳范围内,推荐不改变处方;
响应于确定所述色素沉着程度没有改善,推荐改变处方;以及
响应于确定所述色素沉着程度正在下降,推荐停止药物治疗并咨询医生。
CN202280047664.6A 2021-09-29 2022-09-27 用于使用高光谱重建来确定皮肤信息的方法和电子装置 Pending CN117651520A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN202141044300 2021-09-29
IN202141044300 2021-09-29
PCT/KR2022/014431 WO2023055025A1 (en) 2021-09-29 2022-09-27 Method and electronic device for determining skin information using hyper spectral reconstruction

Publications (1)

Publication Number Publication Date
CN117651520A true CN117651520A (zh) 2024-03-05

Family

ID=85783717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280047664.6A Pending CN117651520A (zh) 2021-09-29 2022-09-27 用于使用高光谱重建来确定皮肤信息的方法和电子装置

Country Status (4)

Country Link
US (1) US20230255544A1 (zh)
EP (1) EP4312731A4 (zh)
CN (1) CN117651520A (zh)
WO (1) WO2023055025A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230196816A1 (en) * 2021-12-16 2023-06-22 The Gillett Company LLC Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin hyperpigmentation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2604829C (en) * 2005-04-04 2018-05-15 Hypermed, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
US20090318815A1 (en) * 2008-05-23 2009-12-24 Michael Barnes Systems and methods for hyperspectral medical imaging
US9117133B2 (en) * 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
TWI493171B (zh) * 2013-06-27 2015-07-21 Univ China Medical System and method for analyzing tissue cells by using hyperspectral image
WO2020146489A1 (en) * 2019-01-08 2020-07-16 The Rockefeller University Hyperspectral imaging in automated digital dermoscopy screening for melanoma
DE102019113283B4 (de) * 2019-05-20 2023-08-17 FotoFinder Systems GmbH Vorrichtung zur Abbildungserzeugung von Hautläsionen

Also Published As

Publication number Publication date
WO2023055025A1 (en) 2023-04-06
US20230255544A1 (en) 2023-08-17
EP4312731A4 (en) 2024-05-22
EP4312731A1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
US10085643B2 (en) Analytic methods of tissue evaluation
US20120321759A1 (en) Characterization of food materials by optomagnetic fingerprinting
EP2389573B1 (en) Skin analysis methods
US20170246473A1 (en) Method and system for managing treatments
US20100185064A1 (en) Skin analysis methods
Cavalcanti et al. A two-stage approach for discriminating melanocytic skin lesions using standard cameras
US20090245603A1 (en) System and method for analysis of light-matter interaction based on spectral convolution
Leitner et al. Multi-spectral video endoscopy system for the detection of cancerous tissue
EP2243077A1 (en) System and method for analysis of light-matter interaction based on spectral convolution
US8861863B2 (en) Method and system for analyzing lip conditions using digital images
WO2012159012A1 (en) Characterization of food materials by optomagnetic fingerprinting
He et al. Analysis of skin morphological features and real-time monitoring using snapshot hyperspectral imaging
US20230255544A1 (en) Method and electronic device for determining skin information using hyper spectral reconstruction
Koprowski et al. Calibration and segmentation of skin areas in hyperspectral imaging for the needs of dermatology
US20200178881A1 (en) Systems and Methods for Identifying Hyperpigmented Spots
Aloupogianni et al. Hyperspectral and multispectral image processing for gross-level tumor detection in skin lesions: a systematic review
Calin et al. An analysis of human dorsal hand skin texture using hyperspectral imaging technique for assessing the skin aging process
Messaraa et al. Perceived age and perceived health among a Chinese cohort: Does it mean the same thing?
Aloupogianni et al. Effects of dimension reduction of hyperspectral images in skin gross pathology
Huamyun et al. Multispectral and thermal images for acne vulgaris classification
Kye et al. Hyperspectral imaging‐based erythema classification in atopic dermatitis
Bereda Computer Aided Diagnosis System for Melanoma Lesion Detection
TOMIC Published
Vyas Physics-based Computational Modeling of Human Skin using Machine Learning for Physiological Parameter Estimation
Madden A Proposal for Working Group 19–Dermatologic Standards

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination