CN113888540B - 一种用于人脸皮肤成分图像的分离方法和系统 - Google Patents

一种用于人脸皮肤成分图像的分离方法和系统 Download PDF

Info

Publication number
CN113888540B
CN113888540B CN202111477430.9A CN202111477430A CN113888540B CN 113888540 B CN113888540 B CN 113888540B CN 202111477430 A CN202111477430 A CN 202111477430A CN 113888540 B CN113888540 B CN 113888540B
Authority
CN
China
Prior art keywords
image
melanin
hemoglobin
human face
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111477430.9A
Other languages
English (en)
Other versions
CN113888540A (zh
Inventor
郭斌
郁幸超
任哲
黄锦标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haippi Nanooptical Technology Co ltd
Original Assignee
Shenzhen Haippi Nanooptical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haippi Nanooptical Technology Co ltd filed Critical Shenzhen Haippi Nanooptical Technology Co ltd
Priority to CN202111477430.9A priority Critical patent/CN113888540B/zh
Publication of CN113888540A publication Critical patent/CN113888540A/zh
Application granted granted Critical
Publication of CN113888540B publication Critical patent/CN113888540B/zh
Priority to PCT/CN2023/073829 priority patent/WO2023126013A2/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请公开了一种用于人脸皮肤成分图像的分离方法和系统，包括采集预设不同波段内的人脸高光谱图像数据，其中，不同波段内血红蛋白成分与黑色素的相对变化明显；对不同波段内的人脸高光谱图像数据进行白平衡或绝对反射率处理；利用图像处理算法获得原始血红蛋白成分分布图像，构建皮肤反射模型，通过对包括黑色素和血红蛋白成分浓度的像元做线性回归后获得血红蛋白和黑色素成分的含量分布；利用图像处理算法获得黑色素含量差值的分布图像，结合黑色素成分的含量分布获取黑色素分布图像，其中，图像处理算法，包括图像相减或图像相除。本发明用较简单的计算从拍摄最少的波段数的高光谱图像中分理展现出人脸皮肤的两大主成分：血红蛋白和黑色素。

Description

一种用于人脸皮肤成分图像的分离方法和系统
技术领域
本发明涉及高光谱分析领域，特别是一种用于人脸皮肤成分图像的分离方法和系统。
背景技术
高光谱成像技术通过采集同一场景不同波长下的图像,可以同时获得图像信息和光谱信息，结合机器视觉等技术来对物体进行判别的同时，还可以进行依赖于光谱特征的光谱分析。普通RGB彩色成像的三个通道对应光谱带宽（半波宽）大约是80nm-100nm，而高光谱成像对应一个波长位置通常可以精确采集光谱上一个半波宽在2nm-20nm左右窄带信息。高光谱成像技术的光谱分析能力来源于高光谱可以采集一定光谱范围（通常对应100nm-400nm宽的光谱区间）里物质的光谱信息，而这些光谱信息直接反映了物体的各种有用的物理化学成分等信息。结合图像的识别、选区等信息，高光谱成像技术可以实现目标检测-成分判断-结果输出的完全自动化。高光谱图像分析可应用于广泛领域，其中包括医疗和美容。
医疗美容专业人员通常需要检测包括面部等部位的皮肤状况，在大多数情况下，这些需要检测的特征表现为肤色的变化。但是这些症状的检测目前面临几个挑战，一是有一些变化并非肉眼清晰可见，容易被遗漏，二是有些症状之间无法被准确的区分。皮肤的颜色主要由其中的色素决定，皮肤中的主要色素为黑色素和血红蛋白。高浓度的黑色素和血红蛋白通常也是各种皮肤病的标志物。黑色素分布在皮肤的不同深度，是皮肤颜色的主要组成部分。在正常健康的皮肤中，黑色素颗粒较小，分布均匀，使得皮肤表面光滑，肤色均一。黑色素沉积的增加通常是因为长期暴露在阳光下或者皮肤疾病，比如痤疮。因此黑色素的沉积将对肤色的均匀度产生负面影响。血红蛋白以无氧和有氧的形式出现在真皮乳头状的血管结构中，构成了皮肤的红色。一些皮肤状况，如痤疮、酒渣鼻和毛细血管扩张，会导致患者血管结构的器质性改变，并提高真皮中的血红蛋白水平。血红蛋白数量的增加和新的血管结构的形成将导致皮肤呈现红色，因此将对肤色的均匀度产生负面影响。
早在20世纪20年代，人们就开始采用多种方法来衡量皮肤的色素沉积，当时的人们认为“黑色素沉积越多，吸收的光越多，皮肤颜色越深“，但是皮肤的颜色并非只由黑色素决定，血红蛋白依然会吸收可见光，所以需要一种方法来清晰分辨皮肤中的黑色素与血红蛋白。目前市面上主要有两种方法来分辨黑色素和血红蛋白的分布，第一种就是基于RBX技术的VISIA拍摄系统，这种方法以偏振光作为光源，采集设备为RGB相机，通过RBX技术分离出皮肤上的黑色素与血红蛋白。但是这种方法设备笨重，且分离出的黑色素与血红蛋白没有较好的可解释性，某些区域无法完全分离。另一种就是皮肤镜技术，这种技术是一种多光谱技术，通过不同的颜色的偏振光源照射皮肤，RGB相机采集。此类技术的弊端在于需要不同颜色的偏振光源且拍摄时间较长。
发明内容
针对上述高光谱分析方法提取物质光谱信息数据分析流程复杂、拍摄设备光机电结构复杂、分析准确度低等问题。本申请的实施例提供了一种用于人脸皮肤成分图像的分离方法以解决上述存在的问题。
根据本发明的一个方面，提出了一种用于人脸皮肤成分的分离方法，包括以下步骤：
S1：采集预设不同波段内的人脸高光谱图像数据，其中，不同波段内血红蛋白成分与黑色素的相对变化明显；
S2：对不同波段内的人脸高光谱图像数据进行白平衡或绝对反射率处理；
S3：利用图像处理算法获得原始血红蛋白成分分布图像，构建皮肤反射模型，通过对包括黑色素和血红蛋白成分浓度的像元做线性回归后获得血红蛋白和黑色素成分的含量分布；以及
S4：利用图像处理算法获得黑色素含量差值的分布图像，结合黑色素成分的含量分布获取黑色素分布图像，其中，图像处理算法，包括图像相减或图像相除。
在一些具体的实施例中，人脸高光谱图像数据通过半波宽小于50nm的高光谱成像相机摄取。采用较小半波宽的高光谱成像相机能够保证分离人脸成分的效果清晰，使其具备更加严格的物理意义。
在一些具体的实施例中，采集预设三个不同波段内的人脸高光谱图像数据，步骤S2中的白平衡处理包括：利用灰度世界算法获取白平衡，获取白平衡后的三帧人脸高光谱图像I1(x，y)、I2(x，y)、I3(x，y)。
在一些具体的实施例中，采集预设三个不同波段内的人脸高光谱图像数据，步骤S2中的绝对反射率处理包括：获取对应波段内原始人脸位置的参考白板的高光谱数据，将人脸高光谱图像除以参考白板的高光谱数据，获取绝对反射率后处理后的三帧人脸高光谱图像I1(x，y)、I2(x，y)、I3(x，y)。上述两种方法可以扩大应用场景，大大增加应用的灵活性和便携性。
在一些具体的实施例中，预设三个不同波段包括530~560nm、575~585nm和600~630nm，获取对应三个波段内的三帧人脸高光谱图像。580和620nm这两个波长附近的波段将能近似认为黑色素含量不变进而通过差值求出血红蛋白成分的含量和分布；血红蛋白在530至585nm的双峰特征处吸收率变化不大，几乎相等，而黑色素则指数下降，因此可以选择530至550nm以及580至585nm两个双峰波段相比来消除血红蛋白进而获得黑色素成分。
在一些具体的实施例中，利用图像处理算法获得原始血红蛋白成分分布图像包括：将人脸高光谱图像I2(x，y)和I3(x，y)相减，或I2(x，y)和I3(x，y)相除，获得原始血红蛋白成分分布图像O(x，y)。
在一些具体的实施例中，构建皮肤反射模型包括：基于朗伯比尔定律，结合血红蛋 白和黑色素在两个波段的吸光度数值以及拍摄得到的高光谱图像值，对每个像元进行线性 回归：
Figure 433010DEST_PATH_IMAGE002
利用两个波段的图像信息可获取关于
Figure 412468DEST_PATH_IMAGE004
和
Figure 723363DEST_PATH_IMAGE006
的二元一次方 程组，并求出每个像素位置的血红蛋白和黑色素的浓度或含量，其中，R表示人脸皮肤反射 率，O与M分别表示血红蛋白和黑色素的吸光系数，
Figure 416775DEST_PATH_IMAGE008
和
Figure 762306DEST_PATH_IMAGE006
则表示两者对应的含量或浓度。 凭借该步骤无需大量算例即可完成分离两大皮肤主成分的目的。
在一些具体的实施例中，步骤S4中黑色素含量差值的分布图像的获取包括：将人脸高光谱图像I1(x，y)与高斯模糊后的I2(x，y)相减，或I1(x，y)与高斯模糊后的I2(x，y)相除，获得黑色素成分差值分布图像ΔM(x,y)。
在一些具体的实施例中，黑色素分布图像的获取包括：基于图像处理算法，黑色素 分布图
Figure 381506DEST_PATH_IMAGE010
基于皮肤反射模型，黑色素分布图M(x,y)=M’(x, y)+ΔM(x,y)，其中，M’(x,y) 为线性回归后获得黑色素成分的含量分布。
在一些具体的实施例中，还包括对血红蛋白和黑色素含量的灰度图进行图像增强处理，图像增强处理包括最大最小值归一化、对比度增强和直方图均衡化。
根据本发明的第二方面，提出了一种用于人脸皮肤成分的分离系统，该系统包括：
高光谱图像采集单元：配置用于采集预设不同波段内的人脸高光谱图像数据，其中，不同波段内血红蛋白成分与黑色素的相对变化明显；
高光谱图像处理单元：配置用于对不同波段内的人脸高光谱图像数据进行白平衡或绝对反射率处理；
血红蛋白成分分布图像获取单元：配置用于利用图像处理算法获得原始血红蛋白成分分布图像，构建皮肤反射模型，通过对包括黑色素和血红蛋白成分浓度的像元做线性回归后获得血红蛋白和黑色素成分的含量分布；以及
黑色素分布图像获取单元：配置用于利用图像处理算法获得黑色素含量差值的分布图像，结合黑色素成分的含量分布获取黑色素分布图像，其中，图像处理算法，包括图像相减或图像相除。
在一些具体的实施例中，还包括图像增强处理单元：配置用于对血红蛋白和黑色素含量的灰度图进行图像增强处理，图像增强处理包括最大最小值归一化、对比度增强和直方图均衡化。
根据本发明的第三方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述任一项的方法。
本申请实施例提供的一种用于人脸皮肤成分图像的分离方法和系统，可以用较简单的计算稳定可靠地从拍摄最少的波段数（三个）的高光谱图像中分理展现出人脸皮肤的两大主成分：血红蛋白和黑色素，且具有非常良好的视觉展示效果。并且在非暗箱或严格控制光照方式的开放环境中依然有效，且该方法拍摄获得的图像无需拍摄白板或色卡做色彩或白平衡矫正，使得可以扩大应用场景，大大增加应用的灵活性和便携性。另外由于使用窄波段，相比宽波段的普通RGB相机拍摄结果而言，分离的血红蛋白和黑色素成分更清晰明确，具备更严格的物理意义。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
图1为本申请的一个实施例中的用于人脸皮肤成分图像的分离方法的流程图；
图2为本申请的一个具体的实施例中的在可见光范围内的血红蛋白和黑色素的吸收率曲线；
图3为本申请的一个具体的实施例中的对所求血红蛋白和黑色素含量的灰度图进行图像增强的效果图；
图4为本申请的一个具体的实施例中的用于人脸皮肤成分图像的分离方法的流程图；
图5为本申请的实施例中的不同单波段半波宽的分离效果图；
图6为本申请的实施例中的不同单波段半波宽的血红蛋白和黑色素强度差异曲线；
图7为本申请的一个实施例中的用于人脸皮肤成分图像的分离系统的框架图；
图8是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，本发明的实施例提供了一种用于人脸皮肤成分图像的分离方法，包括以下步骤：
S101：采集预设不同波段内的人脸高光谱图像数据，其中，不同波段内血红蛋白成分与黑色素的相对变化明显。
在具体的实施例中，预设不同波段包括530~560nm、575~585nm和600~630nm，获取对应三个波段内的三帧人脸高光谱图像。如图2中示出的本申请的一个具体的实施例中的在可见光范围内的血红蛋白和黑色素的吸收率曲线可以看出，580至620nm这个区间可以看到，血红蛋白出现了急剧下降的现象，而黑色素始终变化平缓，故选择580和620nm这两个波长附近的波段将能近似认为黑色素含量不变进而通过差值求出血红蛋白成分的含量和分布；血红蛋白在530至585nm的双峰特征处吸收率变化不大，几乎相等，而黑色素则指数下降，故可以选择530至550nm以及580至585nm两个双峰波段相比来消除血红蛋白进而获得黑色素成分。因此，可以得到实际应用中分离血红蛋白和黑色素的最佳波长分别在530~560nm之间、575~585nm之间，和600~630nm之间的三个波段，还应该认识到，应存在不同的波段选择来近似实现本发明的技术效果。
S102：对不同波段内的人脸高光谱图像数据进行白平衡或绝对反射率处理。
在具体的实施例中，可以利用灰度世界算法获取白平衡，获取白平衡后的三帧人 脸高光谱图像
Figure 179698DEST_PATH_IMAGE012
也可以通过获取对应波段内原始人脸 位置的参考白板的高光谱数据，将人脸高光谱图像除以参考白板的高光谱数据，获取绝对 反射率后处理后的三帧人脸高光谱图像
Figure 909756DEST_PATH_IMAGE014
扩大应用场 景，在非暗箱或严格控制光照方式的开放环境中依然有效，大大增加应用的灵活性和便携 性。
S103：利用图像处理算法获得原始血红蛋白成分分布图像，构建皮肤反射模型，通过对包括黑色素和血红蛋白成分浓度的像元做线性回归后获得血红蛋白和黑色素成分的含量分布。
在具体的实施例中，将人脸高光谱图像I2(x，y)和I3(x，y)相减，或I2(x，y)和I3 (x，y)相除，获得原始血红蛋白成分分布图像O(x，y)。构建皮肤反射模型包括：基于朗伯比 尔定律，结合血红蛋白和黑色素在两个波段的吸光度数值以及拍摄得到的高光谱图像值， 对每个像元进行线性回归：
Figure 109793DEST_PATH_IMAGE016
利用两个波段的图像信息可获取关于
Figure 899895DEST_PATH_IMAGE018
和
Figure 683918DEST_PATH_IMAGE020
的二元一次方程组，并求出每个像素位置的血红蛋白和黑色素的浓度或含量，其 中，R表示人脸皮肤反射率，O与M分别表示血红蛋白和黑色素的吸光系数，
Figure 952088DEST_PATH_IMAGE022
和
Figure 272211DEST_PATH_IMAGE020
则表示两 者对应的含量或浓度。
S104：利用图像处理算法获得黑色素含量差值的分布图像，结合黑色素成分的含量分布获取黑色素分布图像，其中，图像处理算法，包括图像相减或图像相除。
在具体的实施例中，将人脸高光谱图像I1(x，y)与高斯模糊后的I2(x，y)相减，或I1(x，y)与高斯模糊后的I2(x，y)相除，获得黑色素成分差值分布图像ΔM(x,y)。基于图像处理算法，黑色素分布图M(x,y)=I3(x,y)+ΔM(x,y)；基于皮肤反射模型，黑色素分布图M(x,y)=M’(x,y)+ΔM(x,y)，其中，M’(x,y) 为线性回归后获得黑色素成分的含量分布。
在一些具体的实施例中，该方法还包括对所求血红蛋白和黑色素含量的灰度图进行图像增强，以提升图像对比度和视觉展示效果。图像增强包括了最大最小值归一化、对比度增强、直方图均衡化等多种图像处理手段。最后得到视觉对比明显的血红蛋白和黑色素成分含量图。其效果如图3所示，由左至右分别为灰度图，血红蛋白分布图以及黑色素分布图，该实施例中采用灰世界方法做白平衡，并用皮肤反射模型分离血红蛋白和黑色素，应用本发明的方法得到的最终结果均符合血红蛋白和黑色素的分布特点：毛发（头发、睫毛、眉毛等）处无血红蛋白含量，而嘴唇处的血红蛋白含量最高；而黑色素的分布则集中在毛发、黑头、和痣处；此外，血红蛋白分布为片状区域，而黑色素为点状区域，这些特征均与实际情况吻合。
继续参考图4，图4示出了根据本申请的一个具体的实施例中的用于人脸皮肤成分图像的分离方法的流程图，如图4所示，包括以下步骤：
S401：依照设置好的三个波段采集人脸的高光谱数据。分别记I1(x，y)、I2(x，y)、I3(x，y)；其中三个波段范围分别在530~560nm之间575~585nm之间，以及600~630nm之间；
S402-1：除以白板（另外拍摄或视野中携带）得到绝对反射率，不做白平衡，不矫正偏移量。在人脸位置放置参考白板，并拍摄同样的三个波段高光谱数据，得到W1(x,y)、W2(x,y)、W3(x,y)，然后将I1、I2、I3除以W1、W2、W3，得到人脸图像在该三个波段下的绝对反射率。
S402-2：对拍摄的人脸区域（人脸识别或基于明暗的roi选区）图像做白平衡（如采用灰世界方法）。不拍摄白板，直接对第一步中采集的人脸做图像白平衡，例如，可以针对人脸区域（例如通过人脸识别锁定人脸的ROI选区）采用灰世界方法求得白平衡，将白平衡后的三帧图像更新替代原来的I1(x，y)、I2(x，y)、I3(x，y)。
S403-1,2：将I2(x，y)和I3(x，y)相减或相除，得到原始血红蛋白成分分布图像O(x，y)；O(x，y)=I3(x，y)-I2(x，y)；或O(x，y)=I3(x，y)/I2(x，y)。应当注意的是，上述两种方式可在实际应用中结合实用。
S403-3：借用朗伯比尔公式，联合血红蛋白和黑色素在580和620两个波段的吸收率数值及拍摄的高光谱图像，对每个像元做线性回归（或求解二元方程组），求解出血红蛋白和黑色素成分的含量分布，分别记为O(x，y)和M(x，y)。
在具体的实施例中，构建简单的皮肤反射模型（例如假设其符合朗伯比尔定律）， 实际的皮肤反射规律比其复杂，但可以近似看成成分之间是线性无关的，且反射层数单一， 进而建立简单的数学模型。假设每个像元的皮肤均为黑色素和血红蛋白两种成分不同浓度 的组合，通过假设一定的合理模型，建立反射率与成分浓度之间的关系，对每个像元列出方 程组。本实施例中以朗伯比尔定律模型为参照（实际可以参照或使用多种不同模型，只需要 假设具有合理性），假设血红蛋白和黑色素在该像元处的浓度C均符合反射率R=e^(-Ca)；其 中a表示吸光系数。即反射率与浓度呈指数函数关系，该假设是借由朗伯比尔定律产生，即A =-log（I/I0）；其中A为吸光度，I为透射光，I0为入射光；虽然朗伯比尔定律表示的是介质透 光率，此处需要模拟的是皮肤反射率，但是如果假设皮肤透过的光线除了被吸收的部分均 反射了，则模型可通用。因此，联合血红蛋白和黑色素在两个波段的吸光度数值及拍摄得到 的高光谱图像数值，可以对每个像元做线性回归（或求解二元一次方程组），进而求解出血 红蛋白和黑色素成分的含量分布，若分别记为O(x,y)和M’(x,y)；则有：
Figure 233214DEST_PATH_IMAGE024
其中，R表示人脸皮肤反射率，O与M分别表示血红蛋白和黑色素的 吸光系数，
Figure 5998DEST_PATH_IMAGE026
和
Figure 77859DEST_PATH_IMAGE028
则表示两者对应的含量或浓度。由于-Log（R）对于每个像素在不同的波 段上都是唯一确定并已知的，且O与M也是唯一确定且已知的，即如图1所示的血红蛋白和黑 色素的吸收系数曲线。对于每一个像素，只需要两个波段的图像信息联立即可求出关于
Figure 252488DEST_PATH_IMAGE026
和
Figure DEST_PATH_IMAGE030
的二元一次方程组，得到每个像素位置的血红蛋白和黑色素的浓度或含量。利用该公 式求解由白平衡得到的I2、I3，由于白平衡与绝对反射率相差一个比例系数，其解出的成分 含量将出现一个全图相等的偏移量，这与朗伯比尔公式的指数形式相关，即若用R0表示白 平衡与绝对反射率相差的比例系数，则正确的等式左边为-Log（R/R0），又因为-Log（R/R0）= -Log（R）+ Log（R0），此处的Log（R0）即为全图相等的偏移量。为了得到正确的血红蛋白成 分，利用毛发无血红蛋白只含黑色素的常识，将解得的O(x,y)在例如眉毛区域偏移至0，并 将该偏移量应用至全图。
S404：将I1和高斯模糊后的I2图像相减或相除，得到黑色素含量差值的分布图像， 记为ΔM(x，y); 即ΔM(x，y)=I1(x，y)-B2(x，y)或I1(x，y)/B2(x，y)；其中B2为高斯模糊后 的I2。对上述B2为图像I2做高斯卷积（卷积核不宜过大）得到，二维高斯核的数学解析表达 式为：
Figure DEST_PATH_IMAGE032
实际应用中可以用n*n的数字矩阵代替。得到变模 糊的高光谱图像B2(x，y)= I2(x，y)*g(x，y)。
S405：将初始计算得到的黑色素含量分布加上黑色素含量差值，得到最终显示的黑色素分布图像；M(x，y)=M’(x，y)+ΔM(x，y)。
S406：对所求血红蛋白和黑色素含量的灰度图进行图像增强，提升图像对比度和视觉展示效果。图像增强包括了最大最小值归一化、对比度增强、直方图均衡化等多种图像处理手段，最后得到视觉对比明显的血红蛋白和黑色素成分含量图。
在具体的实施例中，经过本申请发明人的多次实验和计算，如图5和6中的效果图以及曲线图可以看出，单波段半波宽（用于衡量高光谱成像的光谱解析度）大于40nm就无法很好地用此方案分离出较好的效果，介于10-20nm之间的半波宽效果最佳，在普通RGB相机里红色蓝色和绿色滤光片的半波宽通常都高于80nm。可以看到，在窄波段下，嘴唇的黑色素区域呈现浅色（非黑色素高含量区域），而半波宽变宽后，由于图像采集的光谱信息出现混叠，嘴唇将被错误地识别为黑色素区域。同时，随着半波宽增加，通过图像分离出的血红蛋白特征越来越不明显，效果变差。在其他的一些案例中，还能够观察到普通RGB相机成像中本属于黑色素富集区的痣被混淆到血红蛋白特征中。因此，本发明的方法用半波宽较小（如50nm以内）的高光谱成像相机保证分离人脸成分的效果清晰，物理意义严格明确。
图7示出了根据本申请的一个实施例中的用于人脸皮肤成分图像的分离系统的框架图，如图7所示，该系统包括高光谱图像采集单元701、高光谱图像处理单元702、血红蛋白成分分布图像获取单元703和黑色素分布图像获取单元704，其中，高光谱图像采集单元701配置用于采集预设不同波段内的人脸高光谱图像数据，其中，不同波段内血红蛋白成分与黑色素的相对变化明显；高光谱图像处理单元702配置用于对不同波段内的人脸高光谱图像数据进行白平衡或绝对反射率处理；血红蛋白成分分布图像获取单元703配置用于利用图像处理算法获得原始血红蛋白成分分布图像，构建皮肤反射模型，通过对包括黑色素和血红蛋白成分浓度的像元做线性回归后获得血红蛋白和黑色素成分的含量分布；黑色素分布图像获取单元704配置用于利用图像处理算法获得黑色素含量差值的分布图像，结合黑色素成分的含量分布获取黑色素分布图像，其中，图像处理算法，包括图像相减或图像相除。
在具体的实施例中，还包括图像增强处理单元：配置用于对血红蛋白和黑色素含量的灰度图进行图像增强处理，图像增强处理包括最大最小值归一化、对比度增强和直方图均衡化。
下面参考图8，其示出了适于用来实现本申请实施例的电子设备的计算机系统800的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元（CPU）801，其可以根据存储在只读存储器（ROM）802中的程序或者从存储部分808加载到随机访问存储器（RAM）803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出（I/O）接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如液晶显示器（LCD）等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元（CPU）801执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：采集预设不同波段内的人脸高光谱图像数据，其中，不同波段内血红蛋白成分与黑色素的相对变化明显；对不同波段内的人脸高光谱图像数据进行白平衡或绝对反射率处理；利用图像处理算法获得原始血红蛋白成分分布图像，构建皮肤反射模型，通过对包括黑色素和血红蛋白成分浓度的像元做线性回归后获得血红蛋白和黑色素成分的含量分布；利用图像处理算法获得黑色素含量差值的分布图像，结合黑色素成分的含量分布获取黑色素分布图像，其中，图像处理算法，包括图像相减或图像相除。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.一种用于人脸皮肤成分图像的分离方法，其特征在于，包括以下步骤：
S1：采集预设不同波段内的人脸高光谱图像数据，其中，所述不同波段内血红蛋白成分与黑色素的相对变化明显；
S2：对所述不同波段内的人脸高光谱图像数据进行白平衡或绝对反射率处理，获取人脸高光谱图像I1(x，y)、I2(x，y)、I3(x，y)；
S3：利用图像处理算法获得原始血红蛋白成分分布图像，构建皮肤反射模型，通过对包括黑色素和血红蛋白成分浓度的像元做线性回归后获得血红蛋白和黑色素成分的含量分布；以及
S4：利用图像处理算法获得黑色素含量差值的分布图像，结合所述黑色素成分的含量分布获取黑色素分布图像，其中，所述图像处理算法，包括图像相减或图像相除,将所述人脸高光谱图像I1(x，y)与高斯模糊后的I2(x，y)相减，或I1(x，y)与高斯模糊后的I2(x，y)相除，获得黑色素成分差值分布图像ΔM(x,y)；基于图像处理算法，所述黑色素分布图M(x,y)=I3(x,y)+ΔM(x,y)；基于皮肤反射模型，所述黑色素分布图M(x,y)=M’(x,y)+ΔM(x,y)，M’(x,y) 为线性回归后获得黑色素成分的含量分布。
2.根据权利要求1所述的用于人脸皮肤成分图像的分离方法，其特征在于，所述人脸高光谱图像数据通过半波宽小于50nm的高光谱成像相机摄取。
3.根据权利要求1所述的用于人脸皮肤成分图像的分离方法，其特征在于，采集预设三个不同波段内的人脸高光谱图像数据，步骤S2中的白平衡处理包括：利用灰度世界算法获取白平衡，获取白平衡后的三帧人脸高光谱图像I1(x，y)、I2(x，y)、I3(x，y)。
4.根据权利要求1所述的用于人脸皮肤成分图像的分离方法，其特征在于，采集预设三个不同波段内的人脸高光谱图像数据，步骤S2中的绝对反射率处理包括：获取对应波段内原始人脸位置的参考白板的高光谱数据，将所述人脸高光谱图像除以参考白板的高光谱数据，获取绝对反射率后处理后的三帧人脸高光谱图像I1(x，y)、I2(x，y)、I3(x，y)。
5.根据权利要求3或4所述的用于人脸皮肤成分图像的分离方法，其特征在于，所述预设三个不同波段包括530~560nm、575~585nm和600~630nm，获取对应三个波段内的三帧人脸高光谱图像。
6.根据权利要求3或4所述的用于人脸皮肤成分图像的分离方法，其特征在于，利用图像处理算法获得原始血红蛋白成分分布图像包括：将所述人脸高光谱图像I2(x，y)和I3(x，y)相减，或I2(x，y)和I3(x，y)相除，获得原始血红蛋白成分分布图像O(x，y)。
7.根据权利要求1所述的用于人脸皮肤成分图像的分离方法，其特征在于，构建皮肤反射模型包括：基于朗伯比尔定律，结合血红蛋白和黑色素在两个波段的吸光度数值以及拍摄得到的高光谱图像值，对每个所述像元进行线性回归：-Log（R）= COO+CMM，利用两个波段的图像信息可获取关于CO和CM的二元一次方程组，并求出每个像素位置的血红蛋白和黑色素的浓度或含量，其中，R表示人脸皮肤反射率，O与M分别表示血红蛋白和黑色素的吸光系数，CO和CM则表示两者对应的含量或浓度。
8.根据权利要求1所述的用于人脸皮肤成分图像的分离方法，其特征在于，还包括对血红蛋白和黑色素含量的灰度图进行图像增强处理，所述图像增强处理包括最大最小值归一化、对比度增强和直方图均衡化。
9.一种用于人脸皮肤成分图像的分离系统，其特征在于，包括：
高光谱图像采集单元：配置用于采集预设不同波段内的人脸高光谱图像数据，其中，所述不同波段内血红蛋白成分与黑色素的相对变化明显；
高光谱图像处理单元：配置用于对所述不同波段内的人脸高光谱图像数据进行白平衡或绝对反射率处理，获取人脸高光谱图像I1(x，y)、I2(x，y)、I3(x，y)；
血红蛋白成分分布图像获取单元：配置用于利用图像处理算法获得原始血红蛋白成分分布图像，构建皮肤反射模型，通过对包括黑色素和血红蛋白成分浓度的像元做线性回归后获得血红蛋白和黑色素成分的含量分布；以及
黑色素分布图像获取单元：配置用于利用图像处理算法获得黑色素含量差值的分布图像，结合所述黑色素成分的含量分布获取黑色素分布图像，其中，所述图像处理算法，包括图像相减或图像相除, 将所述人脸高光谱图像I1(x，y)与高斯模糊后的I2(x，y)相减，或I1(x，y)与高斯模糊后的I2(x，y)相除，获得黑色素成分差值分布图像ΔM(x,y)；基于图像处理算法，所述黑色素分布图M(x,y)=I3(x,y)+ΔM(x,y)；基于皮肤反射模型，所述黑色素分布图M(x,y)=M’(x,y)+ΔM(x,y)， M’(x,y) 为线性回归后获得黑色素成分的含量分布。
10.根据权利要求9所述的用于人脸皮肤成分图像的分离系统，其特征在于，还包括图像增强处理单元：配置用于对血红蛋白和黑色素含量的灰度图进行图像增强处理，所述图像增强处理包括最大最小值归一化、对比度增强和直方图均衡化。
11.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至8中任一项所述的方法。
CN202111477430.9A 2021-12-06 2021-12-06 一种用于人脸皮肤成分图像的分离方法和系统 Active CN113888540B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111477430.9A CN113888540B (zh) 2021-12-06 2021-12-06 一种用于人脸皮肤成分图像的分离方法和系统
PCT/CN2023/073829 WO2023126013A2 (zh) 2021-12-06 2023-01-30 一种用于人脸皮肤成分图像的分离方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111477430.9A CN113888540B (zh) 2021-12-06 2021-12-06 一种用于人脸皮肤成分图像的分离方法和系统

Publications (2)

Publication Number Publication Date
CN113888540A CN113888540A (zh) 2022-01-04
CN113888540B true CN113888540B (zh) 2022-03-18

Family

ID=79015623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111477430.9A Active CN113888540B (zh) 2021-12-06 2021-12-06 一种用于人脸皮肤成分图像的分离方法和系统

Country Status (2)

Country Link
CN (1) CN113888540B (zh)
WO (1) WO2023126013A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888540B (zh) * 2021-12-06 2022-03-18 深圳市海谱纳米光学科技有限公司 一种用于人脸皮肤成分图像的分离方法和系统
CN116189178A (zh) * 2022-12-30 2023-05-30 广州市明美光电技术有限公司 一种显微细胞图像的识别方法、设备及存储介质
CN116030049B (zh) * 2023-03-27 2024-05-03 皑高森德医疗器械(北京)有限责任公司 一种基于黑色素含量的白斑分区及面积计算的方法
CN116687350B (zh) * 2023-06-07 2023-11-21 中国医学科学院北京协和医院 利用光谱层析技术实现色素类疾病的边界查找方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104825131A (zh) * 2014-02-11 2015-08-12 首尔伟傲世有限公司 皮肤状况评估装置及使用该装置的皮肤状况评估方法
CN108447027A (zh) * 2018-02-09 2018-08-24 武汉嫦娥医学抗衰机器人股份有限公司 人脸皮肤图像黑色素与血色素浓度提取与调控方法
CN113167722A (zh) * 2018-11-06 2021-07-23 索尼集团公司 信息处理装置、信息处理方法和程序
CN113536871A (zh) * 2020-04-17 2021-10-22 纽顿医学美容集团有限公司 图像预处理方法、面部皮肤年龄估计方法及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011103576A1 (en) * 2010-02-22 2011-08-25 Canfield Scientific, Incorporated Reflectance imaging and analysis for evaluating tissue pigmentation
JP6189716B2 (ja) * 2013-10-31 2017-08-30 シャープ株式会社 測定装置
KR102548317B1 (ko) * 2018-07-16 2023-06-26 아너 디바이스 컴퍼니 리미티드 색소 검출 방법 및 전자 장치
CN109325938B (zh) * 2018-08-23 2021-11-30 武汉嫦娥医学抗衰机器人股份有限公司 一种基于光密度空间的中心化图像通道差的色素分离方法
US11779222B2 (en) * 2019-07-10 2023-10-10 Compal Electronics, Inc. Method of and imaging system for clinical sign detection
CN113888540B (zh) * 2021-12-06 2022-03-18 深圳市海谱纳米光学科技有限公司 一种用于人脸皮肤成分图像的分离方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104825131A (zh) * 2014-02-11 2015-08-12 首尔伟傲世有限公司 皮肤状况评估装置及使用该装置的皮肤状况评估方法
CN108447027A (zh) * 2018-02-09 2018-08-24 武汉嫦娥医学抗衰机器人股份有限公司 人脸皮肤图像黑色素与血色素浓度提取与调控方法
CN113167722A (zh) * 2018-11-06 2021-07-23 索尼集团公司 信息处理装置、信息处理方法和程序
CN113536871A (zh) * 2020-04-17 2021-10-22 纽顿医学美容集团有限公司 图像预处理方法、面部皮肤年龄估计方法及电子设备

Also Published As

Publication number Publication date
WO2023126013A3 (zh) 2023-09-21
WO2023126013A2 (zh) 2023-07-06
CN113888540A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN113888540B (zh) 一种用于人脸皮肤成分图像的分离方法和系统
US20190133514A1 (en) System and method for optical detection of skin disease
US8155413B2 (en) Method and system for analyzing skin conditions using digital images
USRE47921E1 (en) Reflectance imaging and analysis for evaluating tissue pigmentation
Cirillo et al. Tensor decomposition for colour image segmentation of burn wounds
CN108430326A (zh) 基于图像确定胆红素
Mondal et al. Single image haze removal using contrast limited adaptive histogram equalization based multiscale fusion technique
Liu et al. Skin image illumination modeling and chromophore identification for melanoma diagnosis
JP2018106720A (ja) 画像処理装置及びその方法
Lecca et al. An image contrast measure based on Retinex principles
JP7141509B2 (ja) 脈波検出装置、脈波検出方法、および情報処理プログラム
Liu et al. Melanin and hemoglobin identification for skin disease analysis
Shah et al. Multimodal image/video fusion rule using generalized pixel significance based on statistical properties of the neighborhood
Alotaibi et al. Biofacenet: Deep biophysical face image interpretation
Yang et al. Multi-scale underwater image enhancement with optimized homomorphic filter and RGB color correction
EP1938245A2 (en) Systems and methods for analyzing skin conditions of people using digital images
Zhang et al. A preprocessing algorithm based on heterogeneity detection for transmitted tissue image
Duliu et al. Illumination compensation and normalization using low-rank decomposition of multispectral images in dermatology
Shi et al. Illumination estimation via nonnegative matrix factorization
Raja Rajeswari Chandni et al. Fundus image enhancement using EAL-CLAHE technique
Chatoux et al. Gradient in spectral and color images: from the di zenzo initial construction to a generic proposition
Cho et al. Hyperspectral face databases for facial recognition research
Tanaka et al. Auto white balance method using a pigmentation separation technique for human skin color
Pierre et al. Hue constrained image colorization in the RGB space
Moriuchi et al. Illumination Invariant Measuring of Skin Pigmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant