CN113807320B - 一种基于多光谱成像技术的人体肤色识别方法及系统 - Google Patents
一种基于多光谱成像技术的人体肤色识别方法及系统 Download PDFInfo
- Publication number
- CN113807320B CN113807320B CN202111207811.5A CN202111207811A CN113807320B CN 113807320 B CN113807320 B CN 113807320B CN 202111207811 A CN202111207811 A CN 202111207811A CN 113807320 B CN113807320 B CN 113807320B
- Authority
- CN
- China
- Prior art keywords
- skin color
- skin
- multispectral image
- human face
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005516 engineering process Methods 0.000 title claims abstract description 29
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 11
- 238000001228 spectrum Methods 0.000 claims abstract description 75
- 238000002310 reflectometry Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 210000003491 skin Anatomy 0.000 claims description 203
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims description 50
- 108010054147 Hemoglobins Proteins 0.000 claims description 35
- 102000001554 Hemoglobins Human genes 0.000 claims description 35
- 210000004207 dermis Anatomy 0.000 claims description 24
- 238000002372 labelling Methods 0.000 claims description 15
- 108010064719 Oxyhemoglobins Proteins 0.000 claims description 13
- 230000001815 facial effect Effects 0.000 claims description 13
- 238000000985 reflectance spectrum Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract 1
- 239000000306 component Substances 0.000 description 40
- 230000003595 spectral effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 239000008358 core component Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012628 principal component regression Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Optimization (AREA)
- Software Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Algebra (AREA)
- Spectrometry And Color Measurement (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种基于多光谱成像技术的人体肤色识别方法及系统，该系统包括多光谱图像采集模块；用于根据多光谱图像数据获得不含环境光的人脸反射率谱的人脸反射率谱计算模块；用于根据人脸反射率谱信息计算得到人脸中影响人脸肤色的各主要成分的含量的主成分含量计算模块；用于将影响人脸肤色的各主要成分的含量与人体肤色色卡上的色号进行关联的肤色色号关联模块；用于对获取的主要成分含量矩阵A与肤色色号矩阵F进行训练的AI训练模块；用于根据人脸皮肤中各主要成分的含量以及AI训练模块计算的对应关系矩阵B计算人脸肤色的肤色反演模块、数据库；该系统克服了现有检测系统所含信息量较少、肤色检测识别不准确、光谱范围小，易受到外界环境影响等缺点。
Description
技术领域
本发明涉及光谱识别技术领域以及皮肤肤色检测技术领域，具体涉及一种基于多光谱图像探测技术的肤色识别方法及系统。
背景技术
随着人工智能的快速发展，智能化的肤色检测技术受到了美容院、皮肤研究机构等的广泛关注。目前常用的肤色检测技术主要以RGB和YCbCr颜色空间信息技术为主；例如：申请号为202010091828.8的中国专利公开的《肤色显示方法及装置》、申请号为202110285263.1的中国专利公开的《一种基于颜色空间转换的RGB人脸图像判断方法》以及申请号为201410653563.0的中国专利公开的《一种基于单张图像的肤色人脸检测方法及系统》均是采用RGB技术；然而，利用RGB信息描述肤色的方法所包含的信息量较小，并且会出现RGB值相同而面部光谱反射率不同，从而导致肤色识别误差较大的问题，对肤色识别不够准确。申请号为201911376349.4的中国专利公开的《皮肤检测方法、装置、终端设备及计算机存储介质》采用YCbCr技术，这种利用YCbCr颜色空间描述肤色特征的方法同样无法解决复杂光照环境下人脸的肤色识别问题。申请号为201510864315.5的中国专利公开了《手机中人脸检测方法》，该方法利用肤色在YCgCr颜色空间的聚类特性完成肤色分割，对经处理后的人脸图像加权欧氏距离来度量与人脸模板的匹配度，其可以在多种环境下检测人脸，解决了复杂光照环境下人脸的肤色识别问题，但存在信息量欠缺、过程繁琐等缺点。
为了克服了上述以RGB、YCbCr以及YCgCr颜色空间为代表的肤色检测技术上信息量小、环境光干扰等局限性问题，近年来出现一种基于多光谱的皮肤检测方法和系统。例如：中国专利CN211155741U公开了《基于光谱检测技术的皮肤检测仪》，该检测仪采用UV光、伍德氏光、白光三种光检测肤质，但对于面部肤色方面未做到精确识别。中国专利CN111528807A公开了《基于多光谱和3D模型重建的人脸图像分析系统及其方法》，该方法通过采用UV光、伍德氏光、白光、正偏振光、负偏振光获取人脸皮肤信息，但该系统结构复杂，不具备便携性，应用场景较为单一。中国专利CN103268499A公开了《基于多光谱成像的人体皮肤检测方法》，该方法利用多光谱成像系统获取图像中人脸及物体的反射特性，用于区分物体与人脸，但并未对肤色的准确识别方面做出进一步的成果。中国专利CN104545815A公开了《一种基于多光谱视频的面部光谱反射率复原方法》，该方法通过光谱反射率复原技术对面部进行面部光谱反射率复原，该系统体积较大，使用条件较为严格，不具备便携性，难以满足人们日常生活中检测肤色的需求。中国专利CN105380609A公开了《基于多光谱的皮肤检测方法与系统》，该方法利用多光谱对皮肤黑色素、胶原蛋白等物质进行分析检测，但该方法并未考虑多种光源下肤色检测识别精度较低的问题，在实际应用中仍存在较大误差，且系统结构复杂，不具备便携性。中国专利CN109124575A公开了《多光谱面部皮肤图像获取装置及系统》，该系统能够在统一色温、景深、光源位置、曝光参数、拍摄背景和被检测对象面部体位的标准化拍摄条件和环境下，完成被检测对象面部皮肤图像自动连续获取，反映被检测对象面部皮肤的肤质状况。但该方法实施条件较为严格，仪器体积较大，不具便携性，难以满足日常生活环境中检测肤色的需求。
综上可以看出，虽然现有肤色的测量方法多种多样，但基于RGB颜色空间、YCbCr颜色空间以及YCgCr颜色空间的肤色检测方法，均存在信息量较小、无法在复杂光源下准确检测皮肤肤色，检测过程繁琐的问题。而基于多光谱成像技术的皮肤检测虽然能够对皮肤肤质进行全面检测，但仪器较大，不具备便携性，且未考虑多种光源下肤色检测识别精度较低的问题，无法满足在各种生活场景中进行肤色检测的需求。
发明内容
鉴于上述问题和缺陷，本发明的目的在于提供一种基于多光谱图像探测技术的肤色识别方法，该方法利用人体面部皮肤多光谱图像信息实现人体肤色快速、高效、准确的识别，识别过程中不受环境光的影响，克服了现有检测方法所含信息量较少、肤色检测识别不准确、光谱范围小，易受到外界环境影响等缺点。
为实现上述目的，本发明采用如下技术方案：
一种基于多光谱图像探测技术的肤色识别方法，该方法包括以下步骤：
步骤S1、以白板为背景，利用多光谱图像采集模块在指定照明光源下采集白板多光谱图像数据以及多名肤色各异的志愿者面部肤色的多光谱图像数据，建立数据库；其中，所述白板的反射率为1；
步骤S2、利用色差仪对每个志愿者的面部肤色进行检测，之后在肤色色卡上找出与检测结果最接近的肤色色号，并依据肤色色卡上的肤色色号对步骤S1获取的多名志愿者的多光谱图像数据进行肤色标签；
步骤S3、根据步骤S1采集到的人脸多光谱图像数据和白板多光谱图像数据，获得人脸反射率谱，之后将已进行肤色标签的人脸多光谱图像数据与对应的人脸反射率谱进行色号标签；其中，所述人脸反射率谱的计算公式如下：
其中，R(λ)表示测试目标的反射率；D(λ)表示探测光强度信息；λ为波长；
步骤S4、利用多光谱图像采集模块采集人脸中影响肤色的主要成分的多光谱图像数据，计算各主要成分的标准反射率谱；
步骤S5、根据步骤S3获取的人脸反射率谱以及步骤S4获取的影响人脸肤色的各主要成分的标准反射率谱，计算各志愿者人脸皮肤上各主要成分的含量；
步骤S6、将已进行肤色标签的人脸反射率谱的肤色色号与步骤S5计算得到的多名志愿者人脸皮肤上各主要成分的含量进行标签，建立皮肤中影响肤色的各主要成分含量矩阵A与肤色色号矩阵F的对应关系；
步骤S7、将步骤S6获取的数据进行AI训练，确定影响肤色的主要成分含量与肤色色号对应关系矩阵B；
步骤S8、按照步骤S1的方法采集待测人脸的多光谱图像数据，之后根据人脸的多光谱图像数据计算人脸反射率谱，再按照步骤S5的方法根据人脸反射率谱计算人脸皮肤中影响肤色的各主要成分的含量，之后根据步骤S7获得的矩阵B即可直接输出人脸肤色。
作为本发明的优选，所述多光谱图像采集模块的光谱覆盖范围为350-850nm，谱段数大于6段；采集数据时，多光谱图像采集模块镜头端距离人脸水平距离40-50cm。
作为本发明的优选，所述志愿者的人数应大于肤色色卡中肤色色号的数量，保证肤色色卡中的每一个肤色色号均与至少一名志愿者相对应。
作为本发明的优选，所述肤色色卡采用Pantone人体肤色色卡，该色卡由110种色号构成。
作为本发明的优选，步骤S4中所述的影响人脸肤色的主要成分包括真皮、黑色素、血红蛋白和氧合血红蛋白；步骤S5在计算真皮、黑色素、血红蛋白和氧合血红蛋白含量时，将光谱覆盖范围分为N个波段，N大于6，构建每个波段内人脸的反射率谱R与真皮、黑色素、血红蛋白和氧合血红蛋白的标准反射率谱X、Y、Z、N的关系，表达式如下：
R1＝aX1+bY1+cZ1+dN1
R2＝aX2+bY2+cZ2+dN2
R3＝aX3+bY3+cZ3+dN3
R4＝aX4+bY4+cZ4+dN4
……
RN＝aXN+bYN+cZN+dNN N>6
根据上述超定方程组采用最小二乘法求解出a、b、c和d值；其中，a、b、c、d分别代表皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的含量。
作为本发明的优选，步骤S7所述的AI训练采用SVM支持向量机训练。
本发明的另一目的在于提供一种基于多光谱成像技术的人体肤色识别系统，该系统包括多光谱图像采集模块、人脸反射率谱计算模块、主成分含量计算模块、肤色色号关联模块、AI训练模块、肤色反演模块、数据库；其中，所述多光谱图像采集模块，用于采集多光谱图像数据；
所述人脸反射率谱计算模块，用于根据测试者的多光谱图像数据以及数据库内存储的白板探测光强度信息，获得不含环境光的人脸反射率谱；
主成分含量计算模块，用于根据人脸反射率谱图像信息以及数据库中存储的人脸中影响人脸肤色的各主要成分的标准反射率谱，计算得到人脸中影响人脸肤色的各主要成分的含量；
肤色色号关联模块，用于将获取的多光谱图像数据、人脸反射率谱以及影响人脸肤色的各主要成分的含量与人体肤色色卡上的色号进行关联，建立影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系；
AI训练模块，用于对获取的影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系进行AI训练，计算影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系矩阵B；
肤色反演模块，用于根据测试者中人脸皮肤中影响人脸肤色的各主要成分的含量，以及AI训练模块计算的对应关系矩阵B计算人脸肤色。
本发明的第三个目的在于提供一种电子设备，包括：一个或多个处理器、存储器；其中，所述存储器用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，一个或多个处理器实现上述基于多光谱图像探测技术的肤色识别方法。
本发明的第四个目的在于提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于多光谱图像探测技术的肤色识别方法。
本发明的优点和技术效果是：
1、本发明提供的识别方法中利用皮肤多光谱图像数据中包含影响皮肤肤色的主要成分的光谱信息，根据主要成分的反射率谱，得到影响人脸肤色的主要成分的含量，建立肤色与主要成分含量的对应关系模型，之后通过AI对模型进行训练，从而保证最终得出的肤色数据的准确性。
2、本发明提供的方法以白板为背景，所获得的人脸反射率谱中不含环境光，因此该方法不受环境光的影响，能够在生活中的复杂光照环境下对肤色进行快捷、精准的检测识别，适用于各种日常环境中的肤色检测需求，适用范围广泛。
3、本发明提供的肤色识别系统使用的多光谱成像技术，相比传统的RGB检测人脸肤色的方法，具有光谱信息量更大，光谱范围宽、暗光识别率高等优点。另外，本发明识别系统中多光谱图像采集模块采用光谱芯片对光谱数据进行采集，具有光谱范围广(350-850nm)、体积小、重量轻、兼容性好、操作便捷、检测速度快等优点，可应用于手机、镜子及电子穿戴产品等肤色检测装置中。
附图说明
图1是本发明识别系统的流程图；
图2是人脸皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的标准反射率谱；
图3是本发明识别系统的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其它方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
实施例1一种基于多光谱图像探测技术的肤色识别方法
如图1所示，本发明提供了一种基于多光谱图像探测技术的肤色识别方法，该方法包括以下步骤：
步骤S1、利用多光谱图像采集模块在D65(日光6500K)照明光源下，采集白板多光谱图像数据以及150名肤色各异的志愿者面部肤色的多光谱图像数据，建立数据库；其中，多光谱图像采集模块的核心部件采用吉林求是光谱数据科技有限公司的光谱芯片(申请号2020104492975公开了光谱芯片的结构)，光谱覆盖范围为350-850nm，谱段数为8段；采集数据时，多光谱图像采集模块镜头端距离人脸水平距离40-50cm，在人脸水平放置白板，用于后续背景光消除；
步骤S2、利用色差仪对每个志愿者的面部肤色进行检测，之后在肤色色卡上找出与检测结果最接近的肤色色号，并依据肤色色卡(Pantone人体肤色色卡，该色卡由110种色号构成)上的肤色色号对步骤S1获取的多名志愿者的多光谱图像数据进行肤色标签，保证肤色色卡中的每一个肤色色号均与至少一名志愿者相对应；
步骤S3、根据步骤S1采集到的人脸多光谱图像数据和白板多光谱图像数据，获得人脸反射率谱，之后将已进行肤色标签的人脸多光谱图像数据与对应的人脸反射率谱进行色号标签；
根据多光谱图像采集模块采集到的多光谱图像数据中包含已知光源的光谱信息、探测目标反射率以及仪器传函：
D(λ)＝S(λ)·R·(λ)·T(λ)
其中，D(λ)表示探测光强度信息；S(λ)表示光源信息；R(λ)表示测试目标的反射率，T(λ)表示探测器的传递函数；
人脸和白板探测光强度之比为：
在相同光源，相同探测器下有：又因为R白板(λ)＝1
所以有：
即：根据人脸和白板的多光谱图像数据中的强度信息可获得人脸反射率谱；当然，测试时背景不局限于白板，也可以采用其他已知反射率的板，然后参照上述公式计算人脸的反射率谱，本申请之所以选择白板是为了简化计算过程；
步骤S4、利用多光谱图像采集模块采集人脸中影响肤色的主要成分的多光谱图像数据，计算各主要成分的标准反射率谱(见图2)，对于人体皮肤中油脂、水分等对肤色影响较小的成分予以忽略；其中，所述的影响人脸肤色的主要成分包括真皮、黑色素、血红蛋白和氧合血红蛋白；
步骤S5、根据步骤S3获取的人脸反射率谱以及步骤S4获取的影响人脸肤色的真皮、黑色素、血红蛋白和氧合血红蛋白的标准反射率谱，采用主成分回归模型计算各志愿者人脸皮肤上真皮、黑色素、血红蛋白和氧合血红蛋白的含量，计算公式如下：
R(λ)＝aX(λ)+bY(λ)+cZ(λ)+dN(λ)
其中，R(λ)表示人脸的反射率谱，且在步骤S3中已进行色号标签，X(λ)、Y(λ)、Z(λ)和N(λ)分别表示皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的标准反射率谱，而a、b、c、d则分别代表真皮、黑色素、血红蛋白和氧合血红蛋白的含量。
如：Ri表示志愿者皮肤的第i号谱段反射率谱，Xi、Yi、Zi、Ni则分别代表志愿者第i号谱段上皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的标准反射率谱，a，b，c和d分别代表志愿者皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的含量，所采用的光谱芯片有8个波段，则肤色色号与这四种元素含量的对应关系如下：
R1＝aX1+bY1+cZ1+dN1
R2＝aX2+bY2+cZ2+dN2
R3＝aX3+bY3+cZ3+dN3
R4＝aX4+bY4+cZ4+dN4
……
R8＝aX8+bY8+cZ8+dN8
根据上述超定方程，采用最小二乘法可以求解出a，b，c和d高精度的近似值，分别代表志愿者皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的这四种元素含量；
由110名不同肤色的志愿者产生的影响肤色的主要成分含量数据构成含量矩阵A，即
步骤S6、将已进行肤色标签的人脸反射率谱的肤色色号与步骤S5计算得到的多名志愿者人脸皮肤上各主要成分的含量进行标签，建立皮肤中影响肤色的各主要成分含量矩阵A与肤色色号矩阵F的对应关系，如第i个人影响肤色的主要成分含量为Ai＝[ai bi cidi]，其肤色对应于Fi，则有如下对应关系：
步骤S7、将步骤S6获取的数据进行AI训练(SVM支持向量机)，计算影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系矩阵B：
步骤S8、按照步骤S1的方法采集待测人脸的多光谱图像数据，之后根据人脸的多光谱图像数据计算人脸反射率谱，再按照步骤S5的方法根据人脸反射率谱计算人脸皮肤中影响肤色的各主要成分的含量，之后根据步骤S7获得的矩阵B即可直接输出人脸肤色。
实施例2一种基于多光谱成像技术的人体肤色识别系统
如图3所述，本发明提供的一种基于多光谱成像技术的人体肤色识别系统，该系统包括多光谱图像采集模块1、人脸反射率谱计算模块2、主成分含量计算模块3、肤色色号关联模块4、AI训练模块5、肤色反演模块6、数据库7；
其中，所述多光谱图像采集模块1，用于采集多光谱图像数据，多光谱图像采集模块1的核心部件采用吉林求是光谱数据科技有限公司的光谱芯片(申请号2020104492975公开了光谱芯片的结构)，光谱覆盖范围为350-850nm，谱段数为8段；
所述人脸反射率谱计算模块2，用于根据测试者的多光谱图像数据以及数据库6内存储的白板探测光强度信息，获得不含环境光的人脸反射率谱；
主成分含量计算模块3，用于根据人脸反射率谱图像信息以及数据库中存储的人脸中影响人脸肤色的各主要成分的标准反射率谱，计算得到人脸中影响人脸肤色的各主要成分的含量；所述影响人脸肤色的主要成分包括真皮、黑色素、血红蛋白和氧合血红蛋白；
肤色色号关联模块4，用于将获取的多光谱图像数据、人脸反射率谱以及影响人脸肤色的真皮、黑色素、血红蛋白和氧合血红蛋白的含量与Pantone人体肤色色卡上的色号进行关联，建立影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系；
AI训练模块5，用于根据获取的影响人脸肤色的真皮、黑色素、血红蛋白和氧合血红蛋白的含量与Pantone人体肤色色卡上的色号对应关系，采用SVM支持向量机进行训练分析，计算影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系矩阵B；
肤色反演模块6，用于根据人脸皮肤中影响人脸肤色的各主要成分的含量以及AI训练模块计算的对应关系矩阵B，计算人脸肤色。
需要说明：本发明提供的肤色识别系统可应用于手机、镜子及电子穿戴产品等任一肤色检测装置中，凡采用本申请识别系统的肤色检测的装置均属于本发明保护的范围。
另外，本发明还提供一种电子设备，包括：一个或多个处理器、存储器；其中，所述存储器用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，一个或多个处理器实现实施例1所述的基于多光谱图像探测技术的肤色识别方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的基于多光谱图像探测技术的肤色识别方法。
本领域技术人员可以理解，上述实施方式中各种方法/模块的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。
另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (8)
1.一种基于多光谱图像探测技术的肤色识别方法，其特征在于，该方法包括以下步骤：
步骤S1、以白板为背景，利用多光谱图像采集模块在指定照明光源下采集白板多光谱图像数据以及多名肤色各异的志愿者面部肤色的多光谱图像数据，建立数据库；其中，所述白板的反射率为1；
步骤S2、利用色差仪对每个志愿者的面部肤色进行检测，之后在肤色色卡上找出与检测结果最接近的肤色色号，并依据肤色色卡上的肤色色号对步骤S1获取的多名志愿者的多光谱图像数据进行肤色标签；
步骤S3、根据步骤S1采集到的人脸多光谱图像数据和白板多光谱图像数据，获得人脸反射率谱，之后将已进行肤色标签的人脸多光谱图像数据与对应的人脸反射率谱进行色号标签；其中，所述人脸反射率谱的计算公式如下：
其中，R(λ)表示测试目标的反射率；D(λ)表示探测光强度信息；λ为波长；
步骤S4、利用多光谱图像采集模块采集人脸中影响肤色的主要成分的多光谱图像数据，计算各主要成分的标准反射率谱；
步骤S5、根据步骤S3获取的人脸反射率谱以及步骤S4获取的影响人脸肤色的各主要成分的标准反射率谱，计算各志愿者人脸皮肤上各主要成分的含量；
步骤S6、将已进行肤色标签的人脸反射率谱的肤色色号与步骤S5计算得到的多名志愿者人脸皮肤上各主要成分的含量进行标签，建立皮肤中影响肤色的各主要成分含量矩阵A与肤色色号矩阵F的对应关系；
步骤S7、将步骤S6获取的数据进行AI训练，确定影响肤色的主要成分含量与肤色色号对应关系矩阵B；
步骤S8、按照步骤S1的方法采集待测人脸的多光谱图像数据，之后根据人脸的多光谱图像数据计算人脸反射率谱，再按照步骤S5的方法根据人脸反射率谱计算人脸皮肤中影响肤色的各主要成分的含量，之后根据步骤S7获得的矩阵B即可直接输出人脸肤色；
其中，步骤S4中所述的影响人脸肤色的主要成分包括真皮、黑色素、血红蛋白和氧合血红蛋白；步骤S5在计算真皮、黑色素、血红蛋白和氧合血红蛋白含量时，将光谱覆盖范围分为n个波段，n大于6，构建每个波段内人脸的反射率谱R与真皮、黑色素、血红蛋白和氧合血红蛋白的标准反射率谱X、Y、Z、N的关系，表达式如下：
R1＝aX1+bY1+cZ1+dN1
R2＝aX2+bY2+cZ2+dN2
R3＝aX3+bY3+cZ3+dN3
R4＝aX4+bY4+cZ4+dN4
……
Rn＝aXn+bYn+cZn+dNn n>6
根据上述超定方程组采用最小二乘法求解出a、b、c和d值；其中，a、b、c、d分别代表皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的含量。
2.根据权利要求1所述的基于多光谱图像探测技术的肤色识别方法，其特征在于，所述多光谱图像采集模块的光谱覆盖范围为350-850nm，谱段数大于6段；采集数据时，多光谱图像采集模块镜头端距离人脸水平距离40-50cm。
3.根据权利要求1所述的基于多光谱图像探测技术的肤色识别方法，其特征在于，所述志愿者的人数应大于肤色色卡中肤色色号的数量，保证肤色色卡中的每一个肤色色号均与至少一名志愿者相对应。
4.根据权利要求1所述的基于多光谱图像探测技术的肤色识别方法，其特征在于，所述肤色色卡采用Pantone人体肤色色卡，该色卡由110种色号构成。
5.根据权利要求1所述的基于多光谱图像探测技术的肤色识别方法，其特征在于，步骤S7所述的AI训练采用SVM支持向量机训练。
6.一种基于多光谱成像技术的人体肤色识别系统，其特征在于，该系统包括多光谱图像采集模块、人脸反射率谱计算模块、主成分含量计算模块、肤色色号关联模块、AI训练模块、肤色反演模块、数据库；
其中，所述多光谱图像采集模块，用于采集多光谱图像数据；
所述人脸反射率谱计算模块，用于根据测试者的多光谱图像数据以及数据库内存储的白板探测光强度信息，获得不含环境光的人脸反射率谱；
主成分含量计算模块，用于根据人脸反射率谱图像信息以及数据库中存储的人脸中影响人脸肤色的各主要成分的标准反射率谱，计算得到人脸中影响人脸肤色的各主要成分的含量；
肤色色号关联模块，用于将获取的多光谱图像数据、人脸反射率谱以及影响人脸肤色的各主要成分的含量与人体肤色色卡上的色号进行关联，建立影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系；
AI训练模块，用于对获取的影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系进行AI训练，计算影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系矩阵B；
肤色反演模块，用于根据测试者中人脸皮肤中影响人脸肤色的各主要成分的含量，以及AI训练模块计算的对应关系矩阵B计算人脸肤色；
影响人脸肤色的主要成分包括真皮、黑色素、血红蛋白和氧合血红蛋白；在计算真皮、黑色素、血红蛋白和氧合血红蛋白含量时，将光谱覆盖范围分为n个波段，n大于6，构建每个波段内人脸的反射率谱R与真皮、黑色素、血红蛋白和氧合血红蛋白的标准反射率谱X、Y、Z、N的关系，表达式如下：
R1＝aX1+bY1+cZ1+dN1
R2＝aX2+bY2+cZ2+dN2
R3＝aX3+bY3+cZ3+dN3
R4＝aX4+bY4+cZ4+dN4
……
Rn＝aXn+bYn+cZn+dNn n>6
根据上述超定方程组采用最小二乘法求解出a、b、c和d值；其中，a、b、c、d分别代表皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的含量。
7.一种电子设备，包括：一个或多个处理器、存储器；其特征在于，所述存储器用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，一个或多个处理器实现权利要求1至5任意一项所述的基于多光谱图像探测技术的肤色识别方法。
8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任意一项所述的基于多光谱图像探测技术的肤色识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111207811.5A CN113807320B (zh) | 2021-10-18 | 2021-10-18 | 一种基于多光谱成像技术的人体肤色识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111207811.5A CN113807320B (zh) | 2021-10-18 | 2021-10-18 | 一种基于多光谱成像技术的人体肤色识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113807320A CN113807320A (zh) | 2021-12-17 |
| CN113807320B true CN113807320B (zh) | 2024-07-12 |
Family
ID=78897761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111207811.5A Active CN113807320B (zh) | 2021-10-18 | 2021-10-18 | 一种基于多光谱成像技术的人体肤色识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113807320B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116842436B (zh) * | 2023-06-07 | 2024-01-16 | 中国医学科学院北京协和医院 | 一种多光谱组合的皮肤基底细胞癌识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101288103A (zh) * | 2005-08-18 | 2008-10-15 | 高通股份有限公司 | 用于图像处理、用于色彩分类及用于皮肤色彩检测的系统、方法及设备 |
| CN103077541A (zh) * | 2013-01-18 | 2013-05-01 | 无锡鸿图微电子技术有限公司 | 人脸皮肤色彩的度量与表述的方法及系统 |
-
2021
- 2021-10-18 CN CN202111207811.5A patent/CN113807320B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101288103A (zh) * | 2005-08-18 | 2008-10-15 | 高通股份有限公司 | 用于图像处理、用于色彩分类及用于皮肤色彩检测的系统、方法及设备 |
| CN103077541A (zh) * | 2013-01-18 | 2013-05-01 | 无锡鸿图微电子技术有限公司 | 人脸皮肤色彩的度量与表述的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113807320A (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10498941B2 (en) | Sensor-synchronized spectrally-structured-light imaging | |
| CN106469302B (zh) | 一种基于人工神经网络的人脸肤质检测方法 | |
| US10113910B2 (en) | Sensor-synchronized spectrally-structured-light imaging | |
| KR101140533B1 (ko) | 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법 | |
| CN105973885B (zh) | 一种基于颜色识别的快速检测系统的快速干化学检测方法 | |
| US8705815B2 (en) | Systems and methods for automatic skin-based identification of people using digital images | |
| US8675960B2 (en) | Detecting skin tone in images | |
| CN103268499B (zh) | 基于多光谱成像的人体皮肤检测方法 | |
| Mojsilović et al. | Semantic-friendly indexing and quering of images based on the extraction of the objective semantic cues | |
| US9607374B2 (en) | Color decomposition in histology | |
| US20080080766A1 (en) | Apparatus and Method for Analyzing Skin Using L*a*b* Colorspace | |
| CN102426652A (zh) | 基于图像分析的中医面色识别和检索方法 | |
| CN105662348A (zh) | 基于智能手机的新型皮肤检测系统及产品辅助选择系统 | |
| CN116849612B (zh) | 一种多光谱舌象图像采集分析系统 | |
| CN113807320B (zh) | 一种基于多光谱成像技术的人体肤色识别方法及系统 | |
| CN103077541A (zh) | 人脸皮肤色彩的度量与表述的方法及系统 | |
| CN104688180A (zh) | 一种基于光谱成像的美白效果判断方法 | |
| US20230162354A1 (en) | Artificial intelligence-based hyperspectrally resolved detection of anomalous cells | |
| CN116509326A (zh) | 一种舌象多光谱图像生成方法、装置、设备及存储介质 | |
| CN112464017B (zh) | 一种红外物证提取仪、光谱特征库建立方法和利用方法 | |
| Kibria et al. | Smartphone-based point-of-care urinalysis assessment | |
| KR102504318B1 (ko) | 스마트 엣지 디바이스 기반의 생육 분석 방법 및 그를 위한 장치 및 시스템 | |
| Bhatti et al. | Cell phones as imaging sensors | |
| Lin et al. | Portable in vivo measurement of apple sugar content based on mobile phone | |
| Vasas et al. | Recording animal-view videos of the natural world |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |