CN113688752B - 人脸色素检测模型训练方法、装置、设备及存储介质 - Google Patents
人脸色素检测模型训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113688752B CN113688752B CN202111002463.8A CN202111002463A CN113688752B CN 113688752 B CN113688752 B CN 113688752B CN 202111002463 A CN202111002463 A CN 202111002463A CN 113688752 B CN113688752 B CN 113688752B
- Authority
- CN
- China
- Prior art keywords
- image
- melanin
- detection model
- color
- actual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 19
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims abstract description 352
- 238000012545 processing Methods 0.000 claims abstract description 86
- 239000000049 pigment Substances 0.000 claims abstract description 76
- 230000001815 facial effect Effects 0.000 claims abstract description 28
- 238000012937 correction Methods 0.000 claims abstract description 23
- 239000003086 colorant Substances 0.000 claims abstract description 5
- 239000001054 red pigment Substances 0.000 claims description 69
- 239000011159 matrix material Substances 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000011514 reflex Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 208000020154 Acnes Diseases 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 150000003278 haem Chemical class 0.000 description 3
- 239000011148 porous material Substances 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 208000002874 Acne Vulgaris Diseases 0.000 description 2
- 206010000496 acne Diseases 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000037311 normal skin Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请提供一种人脸色素检测模型训练方法、装置、设备及存储介质，涉及图像处理技术领域。该方法包括：对原始样本图像进行增益处理，得到目标样本图像；将目标样本图像输入初始人脸色素检测模型中，得到实际黑色素高清细节图像和实际红色素高清细节图像；对原始样本图像进行分解处理，得到监督黑色素高清细节图像和监督红色素高清细节图像；以监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据实际黑色素高清细节图像和实际红色素高清细节图像，对初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。本方案解决了低成本相机拍摄画质较差，导致图像相邻像素的颜色趋于一致使人脸图像中不同色素分解质量低的问题。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种人脸色素检测模型训练方法、装置、设备及存储介质。
背景技术
人脸肤色主要是由两种色素构成：黑色素和血红素，这两种色素对光线的吸收和反射有着相对固定的光谱，因此，在图像成像上有着相对固定的颜色，最终呈现出的人脸皮肤的整体颜色则由该两种色素的含量决定；反过来，根据图像成像的结果，计算得到黑色素(结果为棕色图，Brown)和血红素(结果为红色图，Red)的含量。所以，可以对得到的人脸图像的颜色进行分析，从而得到人脸图像中不同色素的分布。
目前，对于图像的分析处理方法往往只适用于图像质量较高的图像，例如由专业的数码相机或单反相机等所采集的图像，而应用于图像质量较低的图像处理时，如手机摄像头拍摄的图像，由于这类质量较低的图像中具有较多的彩色噪声，手机成像算法中的去噪过程，会导致图像相邻像素的颜色趋于一致，进而影响人脸图像中不同色素之间的识别分离效果。
因此，如何解决低成本相机(摄像头)拍摄画质较差导致图像相邻像素的颜色趋于一致使人脸图像中不同色素分解质量低下的问题，是亟待解决的技术问题。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种人脸色素检测模型训练方法、装置、设备及存储介质，以便解决低成本相机(摄像头)拍摄画质较差，导致图像相邻像素的颜色趋于一致使人脸图像中不同色素分解质量低下的问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种人脸色素检测模型训练方法，包括：
对原始样本图像进行增益处理，得到目标样本图像，所述原始样本图像的分辨率高于所述目标样本图像的分辨率；
将所述目标样本图像输入初始人脸色素检测模型中，得到所述初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像；
对所述原始样本图像进行分解处理，得到监督黑色素高清细节图像和监督红色素高清细节图像；
以所述监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据所述实际黑色素高清细节图像和所述实际红色素高清细节图像，对所述初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。
可选地，所述以所述监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据所述实际黑色素高清细节图像和所述实际红色素高清细节图像，对所述初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型，包括：
所述监督黑色素高清细节图像的亮度信息和监督红色素高清细节图像的亮度信息作为监督参数，根据所述实际黑色素高清细节图像的亮度信息和所述实际红色素高清细节图像的亮度信息，对所述初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。
可选地，所述初始人脸色素检测模型包括：编码器、第一解码器以及第二解码器；
所述将所述目标样本图像输入初始人脸色素检测模型中，得到所述初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像，包括：
由所述编码器对所述目标样本图像进行编码，得到编码后特征；
由所述第一解码器对所述编码后特征进行细节解码，得到黑色素细节图像和红色素细节图像；
由所述第二解码器对所述编码后特征进行颜色解码，得到黑色素颜色图像和红色素颜色图像；
由所述初始人脸色素检测模型对所述黑色素细节图像和所述黑色素颜色图像进行叠加处理，得到所述实际黑色素高清细节图像，以及，对所述红色素细节图像和所述红色素颜色图像进行叠加处理，得到所述实际红色素高清细节图像。
可选地，所述由所述第二解码器对所述编码后特征进行颜色解码，得到黑色素颜色图像和红色素颜色图像，包括：
由所述第二解码器对所述编码后特征进行颜色解码，得到中间黑色素系数图矩阵和中间红色素系数图矩阵，并将所述中间黑色素系数图矩阵与所述目标样本图像中各像素位置的像素向量相乘，得到所述黑色素颜色图像，以及，将所述中间红色素系数图矩阵与所述目标样本图像中各像素位置的像素向量相乘，得到所述红色素颜色图像。
可选地，所述由所述初始人脸色素检测模型对所述黑色素细节图像和所述黑色素颜色图像进行叠加处理，得到所述实际黑色素高清细节图像，以及，对所述红色素细节图像和所述红色素颜色图像进行叠加处理，得到所述实际红色素高清细节图像，包括：
由所述初始人脸色素检测模型对所述黑色素细节图像和所述黑色素颜色图像中相同位置相同通道的各像素值分别相加，得到所述实际黑色素高清细节图像，以及，对所述红色素细节图像和所述红色素颜色图像中相同位置相同通道的各像素值分别相加，得到所述实际红色素高清细节图像。
可选地，所述增益处理包括如下至少一项：压缩处理、颜色格式转换处理、色素区域颜色调整处理。
可选地，所述色素区域颜色调整处理包括：从所述原始样本图像中检测出黑色素区域和红色素区域，从所述原始样本图像中剔除所述黑色素区域和红色素区域，并将剔除所述黑色素区域和红色素区域后的图像与所述原始样本图像进行融合处理。
第二方面，本申请实施例还提供了一种人脸色素检测方法，所述方法包括：
获取目标样本图像，所述目标样本图像是由低分率像素相机拍摄到的图像；
将所述目标样本图像输入至目标人脸色素检测模型中，得到所述目标人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像；
根据实际黑色素高清细节图像和实际红色素高清细节图像，确定目标样本图像中黑色素分布信息和红色素分布信息。
第三方面，本申请实施例还提供了一种人脸色素检测模型训练装置，所述装置包括：
增益模块，用于对原始样本图像进行增益处理，得到目标样本图像，所述原始样本图像的分辨率高于所述目标样本图像的分辨率；
处理模块，用于将所述目标样本图像输入初始人脸色素检测模型中，得到所述初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像；对所述原始样本图像进行分解处理，得到监督黑色素高清细节图像和监督红色素高清细节图像；
修正模块，用于以所述监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据所述实际黑色素高清细节图像和所述实际红色素高清细节图像，对所述初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。
可选地，所述修正模块，还用于：
所述监督黑色素高清细节图像的亮度信息和监督红色素高清细节图像的亮度信息作为监督参数，根据所述实际黑色素高清细节图像的亮度信息和所述实际红色素高清细节图像的亮度信息，对所述初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。
可选地，所述初始人脸色素检测模型包括：编码器、第一解码器以及第二解码器；
所述处理模块，还用于：
由所述编码器对所述目标样本图像进行编码，得到编码后特征；
由所述第一解码器对所述编码后特征进行细节解码，得到黑色素细节图像和红色素细节图像；
由所述第二解码器对所述编码后特征进行颜色解码，得到黑色素颜色图像和红色素颜色图像；
由所述初始人脸色素检测模型对所述黑色素细节图像和所述黑色素颜色图像进行叠加处理，得到所述实际黑色素高清细节图像，以及，对所述红色素细节图像和所述红色素颜色图像进行叠加处理，得到所述实际红色素高清细节图像。
可选地，所述处理模块，还用于：
由所述第二解码器对所述编码后特征进行颜色解码，得到中间黑色素系数图矩阵和中间红色素系数图矩阵，并将所述中间黑色素系数图矩阵与所述目标样本图像中各像素位置的像素向量相乘，得到所述黑色素颜色图像，以及，将所述中间红色素系数图矩阵与所述目标样本图像中各像素位置的像素向量相乘，得到所述红色素颜色图像。
可选地，所述处理模块，还用于：
由所述初始人脸色素检测模型对所述黑色素细节图像和所述黑色素颜色图像中相同位置相同通道的各像素值分别相加，得到所述实际黑色素高清细节图像，以及，对所述红色素细节图像和所述红色素颜色图像中相同位置相同通道的各像素值分别相加，得到所述实际红色素高清细节图像。
可选地，所述增益处理包括如下至少一项：压缩处理、颜色格式转换处理、色素区域颜色调整处理。
可选地，所述色素区域颜色调整处理包括：从所述原始样本图像中检测出黑色素区域和红色素区域，从所述原始样本图像中剔除所述黑色素区域和红色素区域，并将剔除所述黑色素区域和红色素区域后的图像与所述原始样本图像进行融合处理。
第四方面，本申请实施例还提供了一种人脸色素检测装置，所述装置包括：
获取模块，用于获取目标样本图像，所述目标样本图像是由低分率像素相机拍摄到的图像；
处理模块，用于将所述目标样本图像输入至目标人脸色素检测模型中，得到所述目标人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像；
确定模块，用于根据实际黑色素高清细节图像和实际红色素高清细节图像，确定目标样本图像中黑色素分布信息和红色素分布信息。
第五方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面或第二方面提供的所述方法的步骤。
第六方面，本申请实施例还提供了一种计算机存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面或第二方面提供的所述方法的步骤。
本申请的有益效果是：
本申请实施例提供一种人脸色素检测模型训练方法、装置、设备及存储介质，该方法包括：对原始样本图像进行增益处理，得到目标样本图像，原始样本图像的分辨率高于目标样本图像的分辨率；将目标样本图像输入初始人脸色素检测模型中，得到初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像；对原始样本图像进行分解处理，得到监督黑色素高清细节图像和监督红色素高清细节图像；以监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据实际黑色素高清细节图像和实际红色素高清细节图像，对初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。在本方案中，主要是对由专业的数码相机或单反相机等所采集的原始样本图像进行增益处理，得到目标样本图像，以实现模拟手机摄像头拍摄的人脸图像的效果，然后，将目标样本图像输入至初始人脸色素检测模型中，得到HB图像和HR图像，并使用原始样本图像分解得到TB图像和TR图像对初始人脸色素检测模型进行迭代修正，以得到目标人脸色素检测模型，使得后续可以将由低成本相机(摄像头)拍摄到的目标样本图像输入至上述训练得到的目标人脸色素检测模型中，得到目标人脸色素检测模型输出的HB图像和HR图像，实现了对由低成本相机(摄像头)采集到的人脸图像中黑色素和红色素的准确检测，解决了低成本相机(摄像头)拍摄画质较差导致图像相邻像素的颜色趋于一致使人脸图像中不同色素的分解质量低下的问题，较好地还原了实际黑色素高清细节图像和实际红色素高清细节图像中的细节信息。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的结构示意图；
图2为本申请实施例提供的一种人脸色素检测模型训练方法的流程示意图；
图3为本申请实施例提供的一种人脸色素检测模型训练方法中初始人脸色素检测模型的框架图；
图4为本申请实施例提供的又一种人脸色素检测模型训练方法的流程示意图；
图5为本申请实施例提供的一种人脸色素检测模型训练装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
图1为本申请实施例提供的一种电子设备的结构示意图；该电子设备如可以是计算机或者服务器等处理设备，以用于实现本申请提供的人脸色素检测模型训练方法。如图1所示，电子设备包括：处理器101、存储器102。
处理器101、存储器102之间直接或间接地电性连接，以实现数据的传输或交互。例如，可通过一条或多条通信总线或信号线实现电性连接。
其中，处理器101可以是一种集成电路芯片，具有信号的处理能力。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器102可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
可以理解，图1所述的结构仅为示意，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
存储器102用于存储程序，处理器101调用存储器102存储的程序，以执行下面实施例提供的人脸色素检测模型训练方法。
如下将通过多个实施例对本申请实施例提供的一种人脸色素检测模型训练方法进行详细介绍。
图2为本申请实施例提供的一种人脸色素检测模型训练方法的流程示意图，可选地，该方法的执行主体可以是服务器、计算机等电子设备，具有数据处理功能。应当理解，在其它实施例中人脸色素检测模型训练方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。如图2所示，该方法包括：
S201、对原始样本图像进行增益处理，得到目标样本图像，原始样本图像的分辨率高于目标样本图像的分辨率。
其中，原始样本图像是指由专业的数码相机或单反相机等所采集的人脸图像。例如，在合适的光源下(一般是交叉偏振光)，利用单反相机拍摄足够多的原始人脸样本图像，单反相机拍摄的原始人脸样本图像的画质高清，可以从原始人脸样本图像中高度区分人脸的棕色区域(如色斑、毛孔)和红色区域(痘痘、敏感肌、眼皮红色血丝)等，区别于正常皮肤区域。其中，黑色素对应的区域最终呈现为棕色图(记为Brown图)，血红素对应的区域呈现为红色图(记为Red图)。
由于专业的数码相机或单反相机等所采集的人脸图像属于高清图像，在本实施例中，为了使后续训练得到的“目标人脸色素检测模型”可以更好地适用于手机拍摄的低分辨率画质，维持每张人脸图像对应的棕色图和红色图不变。因此，本申请提出对原始样本图像进行增益处理，比如，可以利用jpg的压缩原理对原始样本图像进行质量随机的画质压缩，以降低原始样本图像的画质，进而达到模拟真实手机摄像头拍摄的3通道人脸彩色图像的效果。
S202、将目标样本图像输入初始人脸色素检测模型中，得到初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像。
可选地，初始人脸色素检测模型可以选择编码-解码(Encoder-Decoder)网络模型、深度学习网络模型(Deep Neural Networks，简称DNN)、或者其他网络训练模型等，在此，对“初始人脸色素检测模型”不做具体限定。
其中，“实际黑色素高清细节图像”是指含有高清细节的黑色素图像(记为HB图)，“实际红色素高清细节图像”是指含有高清细节的红色素图像(记为HR图)。
在本实施例中，以“初始人脸色素检测模型”是Encoder-Decoder网络模型为例，将步骤S202中得到的目标样本图像输入至初始人脸色素检测模型中，经过Encoder-Decoder网络模型处理，得到Encoder-Decoder网络模型输出的HB图像和HR图像。
S203、对原始样本图像进行分解处理，得到监督黑色素高清细节图像和监督红色素高清细节图像。
在本实施例中，为了使初始人脸色素检测模型输出的HB图和HR图的细节更清晰，提出可以使用监督黑色素高清细节图像和监督红色素高清细节图像，对上述“初始人脸色素检测模型”进行监督训练学习。
其中，监督黑色素高清细节图像是使用传统分解算法对原始样本图像进行分解后得到，并将“监督黑色素高清细节图像”作为初始人脸色素检测模型训练学习时监督的真实目标图，记为TB图像(Brown图)。
同样，监督红色素高清细节图像也是使用传统分解算法对原始样本图像进行分解后得到的，并将“监督红色素高清细节图像”作为初始人脸色素检测模型训练学习时监督的真实目标图，记为TR图像(Red图)。
在本实施例中，可以采用如下分解方法，对原始样本图像进行分解处理，以得到TB图像和TR图像。
通过人工筛选方法，从原始样本图像中筛选得到Brown和Red通道分解向量，各标记为σB＝[σB1，σB2，σB3]t(Brown分解向量)和σR＝[σR1，σR2，σR3]t(Red分解向量)，从而通过从原始样本图像中提取黑色素-棕色图、红色素-红色图。
对于RGB格式表示的图像C，位置i的像素值Ci＝[Ri，Gi，Bi]t，表示3×1的列向量，定义向量：
LCi＝-log(Ci)＝-[log(Ri)，log(Ci)，log(Bi)]t。
其中，t表示转置，log(·)表示取自然对数。
构造2个分解向量，构造如下矩阵：
计算2个分解图如下：
(1)确定大小为3×1的固定常数偏移向量E0，一般取E0＝[0，0，0]t；
(2)计算新的3通道图E，Ei＝D-1×[LCi-E0]；
(3)计算E对2分解向量的投影得到棕色图和红色图，即：
棕色图Brown：
红色图Red：
其中，D-1表示D的逆矩阵，Ei·σB和Ei·σR都表示两个3×1的列向量的点积，仍然得到3×1的列向量，指数运算的含义为(x1，x2，x3)t表示一个3×1的列向量。
其中，棕色图Brown：是本申请中的TB图像；红色图Red：是本申请中的TR图像。
值得说明的是，在本申请中，上述分解方法主要用于得到深度学习训练的监督黑色素高清细节图像和监督红色素高清细节图像，在网络模型训练过程或者网络训练完成后，不会再使用上述分解方法。
S204、以监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据实际黑色素高清细节图像和实际红色素高清细节图像，对初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。
例如，使用上述TB图像对初始人脸色素检测模型输出的HB图像进行监督，以及，使用上述TR图像对初始人脸色素检测模型输出的HR图像进行监督，对初始人脸色素检测模型进行多次迭代训练学习，直至训练得到的人脸色素检测模型输出的HB图像与TB图像的差值、以及HR图像与TR图像的差值降低到预设值以下，即可认为网络训练完成，训练完成后得到目标人脸色素检测模型，此时，该目标人脸色素检测模型可以用于检测低成本相机(摄像头)拍摄到的人脸图像中不同色素的分布情况。
如下对训练得到的目标人脸色素检测模型的应用进行简单说明。
在本实施例中，获取由低成本相机(摄像头)拍摄到的目标样本图像，并将目标样本图像输入至上述训练得到的目标人脸色素检测模型中，得到目标人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像，实现了对由低成本相机(摄像头)采集到的人脸图像中黑色素和红色素的准确检测，解决了低成本相机(摄像头)拍摄画质较差导致图像相邻像素的颜色趋于一致使人脸图像中不同色素分解质量低下的问题，较好地还原了实际黑色素高清细节图像和实际红色素高清细节图像中的细节信息。
综上所述，本申请实施例提供一种人脸色素检测模型训练方法，包括：对原始样本图像进行增益处理，得到目标样本图像，原始样本图像的分辨率高于目标样本图像的分辨率；将目标样本图像输入初始人脸色素检测模型中，得到初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像；对原始样本图像进行分解处理，得到监督黑色素高清细节图像和监督红色素高清细节图像；以监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据实际黑色素高清细节图像和实际红色素高清细节图像，对初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。在本方案中，主要是对由专业的数码相机或单反相机等所采集的原始样本图像进行增益处理，得到目标样本图像，以实现模拟手机摄像头拍摄的人脸图像的效果，然后，将目标样本图像输入至初始人脸色素检测模型中，得到HB图像和HR图像，并使用原始样本图像分解得到TB图像和TR图像对初始人脸色素检测模型进行迭代修正，以得到目标人脸色素检测模型，使得后续可以将由低成本相机(摄像头)拍摄到的目标样本图像输入至上述训练得到的目标人脸色素检测模型中，得到目标人脸色素检测模型输出的HB图像和HR图像，实现了对由低成本相机(摄像头)采集到的人脸图像中黑色素和红色素的准确检测，解决了低成本相机(摄像头)拍摄画质较差导致图像相邻像素的颜色趋于一致使人脸图像中不同色素分解质量低下的问题，较好地还原了实际黑色素高清细节图像和实际红色素高清细节图像中的细节信息。
将通过如下实施例，具体讲解上述S204：如何以监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据实际黑色素高清细节图像的亮度信息和实际红色素高清细节图像的亮度信息，对初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。
可选地，监督黑色素高清细节图像的亮度信息和监督红色素高清细节图像的亮度信息作为监督参数，根据实际黑色素高清细节图像的亮度信息和实际红色素高清细节图像的亮度信息，对初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。
在本实施例中，为了使“初始人脸色素检测模型”输出的HB图像和HR图像中的细节信息更清晰，除了采用常规的损失函数监督，如L1等。本申请还提出额外使用TB图像和TR图像中的“对齐亮度细节信息”作为监督参数，对初始人脸色素检测模型进行监督训练学习，并不断循环更新临时人脸色素检测模型，直至某次循环得到的临时人脸色素检测模型输出的HB图像与TB图像的误差、以及HR图像与TR图像的误差均满足预设条件后，结束迭代循环过程，并将此时得到的临时人脸色素检测模型作为目标人脸色素检测模型。
以HB图像和TB图像为例，对于3通道的HB图像和TB图像，可以取其3通道的最大值(用max表示)和最小值(用min表示)，通过c调节max的比例，以提取亮度细节信息，如下：
HBL＝[c×max(HB)+min(HB))]/(1+c)
TBL＝[c×max(TB)+min(TB)]/(1+c)
用TBL来监督HBL，训练学习时更好地还原HB图像的细节信息，同理，对HR和TR进行同样的监督。经实验在训练学习对比时，c取1.5-2.0的范围内时的训练结果相对较好。
将通过如下实施例，具体讲解S202：如何将目标样本图像输入初始人脸色素检测模型中，得到初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像本申请所使用的初始人脸色素检测模型。
其中，图3为本申请实施例提供的一种初始人脸色素检测模型的框架图，如图3所示，初始人脸色素检测模型包括：编码器(Encoder)、第一解码器(Decoder1)以及第二解码器(Decoder2)。
其中，初始人脸色素检测模型选取的是Encoder-Decoder的网络模型，在本实施例中不考虑Encoder-Decoder的网络模型中具体的网络层构成，编码器用于对输入至初始人脸色素检测模型中的目标样本图像进行编码，得到编码后特征；解码有2个分支Decoder1和Decoder2，其中，Decoder1用来生成图像的细节信息，Decoder2用来生成图像的颜色信息，将细节信息和颜色信息相加得到最终的含高清细节信息的HB图像(棕色图)和HR图像(Red图)。
如下将结合图3-图4对如何得到初始人脸色素检测模型输出的实际黑色素高清细节图像HB和实际红色素高清细节图像HR进行具体介绍。
图4为本申请实施例提供的又一种人脸色素检测模型训练方法的流程示意图，如图4所示，上述步骤S202：将目标样本图像输入初始人脸色素检测模型中，得到初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像，包括：
S401、由编码器对目标样本图像进行编码，得到编码后特征。
其中，目标样本图像是模拟真实手机拍摄到的3通道彩色图LI，LI的大小为3xHxW，其中，H是指图像的高度信息，W是指图像的宽度信息。
可选地，编码器对目标样本图像进行编码，以将目标样本图像转化成一个固定长度的向量，并得到编码后特征。
S402、由第一解码器对编码后特征进行细节解码，得到黑色素细节图像和红色素细节图像。
可选地，通过第一解码器Decoder1对编码后特征进行细节解码，逐渐恢复目标样本图像的空间细节信息，并得到DB图像和DB图像。
值得注意的是，DB图像和DB图像的大小均与目标样本图像相同，都是3通道，大小为HxW。
S403、由第二解码器对编码后特征进行颜色解码，得到黑色素颜色图像和红色素颜色图像。
可选地，由第二解码器对编码后特征进行颜色解码，得到黑色素颜色图像和红色素颜色图像，包括：
由第二解码器对编码后特征进行颜色解码，得到中间黑色素系数图矩阵和中间红色素系数图矩阵，并将中间黑色素系数图矩阵与目标样本图像中各像素位置的像素向量相乘，得到黑色素颜色图像，以及，将中间红色素系数图矩阵与目标样本图像中各像素位置的像素向量相乘，得到红色素颜色图像。
其中，中间黑色素系数图矩阵和中间红色素系数图矩阵是指由第二解码器Decoder2对编码后特征进行颜色解码，得到的与目标样本图像大小一致的12通道Brown系数图KB矩阵和Red系数图KR矩阵。
其中，Brown系数图KB矩阵和Red系数图KR矩阵的大小均为12xHxW，12实际上代表每个像素位置i有12个系数，为了后续构建每个位置i的系数矩阵3x4，矩阵包含12个系数。
在本实施例中，对于大小为12xHxW的系数图矩阵以及大小为3xHxW的目标样本图像LI，对于LI的每个像素位置i，对应的像素值记为Ii(IPi1，IPi2，IPi3)，对应于系数图位置i上的12个系数，可以转换成大小为3x4的矩阵Ki34，对于位置i的像素值Ii(IPi1，IPi2，IPi3)，加上1，组成齐次像素值Ii(IPi1，IPi2，IPi3，1)，并对齐次像素值Ii(IPi1，IPi2，IPi3，1)转置，将齐次像素值Ii(IPi1，IPi2，IPi3，1)变为4x1的齐次向量，从而转为矩阵和向量相乘的方式，得到对应位置i的颜色结果Oi(OPi1，OPi2OPi3)，即：
Qi＝Ki34×Ii(IPi1，IPi2，IPi3)
通过上式计算方法，均可以计算得到黑色素颜色图像OB和红色素颜色图像OR。
在本实施例中，针对不同类型摄像头拍摄到的图像画质，需要不断重复分析筛选，同时分解结果容易导致色块等过渡不均匀的问题，本申请提出黑色素系数图矩阵和红色素系数图矩阵方式来避免过渡不均匀的问题，并且通过细节学习的过程来还原分解图的细节信息，使人脸色素检测结果的结果突出皮肤特殊区域，如色斑、痘痘、毛孔等。
S404、由初始人脸色素检测模型对黑色素细节图像和黑色素颜色图像进行叠加处理，得到实际黑色素高清细节图像，以及，对红色素细节图像和红色素颜色图像进行叠加处理，得到实际红色素高清细节图像。
在本实施例中，将上述得到最终的含有高清细节的DB图像与含有黑色素颜色的OB图像进行叠加，得到HB图像。也即，HB＝OB+DB。
同理，将上述得到最终的含有高清细节的DR图像与含有红色素颜色的OR图像进行叠加，得到HR图像。也即，HR＝OR+DR。
可选地，由初始人脸色素检测模型对黑色素细节图像和黑色素颜色图像进行叠加处理，得到实际黑色素高清细节图像，以及，对红色素细节图像和红色素颜色图像进行叠加处理，得到实际红色素高清细节图像，包括：
由初始人脸色素检测模型对黑色素细节图像和黑色素颜色图像中相同位置相同通道的各像素值分别相加，得到实际黑色素高清细节图像，以及，对红色素细节图像和红色素颜色图像中相同位置相同通道的各像素值分别相加，得到实际红色素高清细节图像。
在本实施例中，由于细节图像和颜色图像的大小一模一样，且都是3通道，故代表逐像素相加，以对黑色素细节图像和黑色素颜色图像进行叠加处理，得到实际黑色素高清细节图像，以及，对红色素细节图像和红色素颜色图像进行叠加处理。
例如，以HR图像为例，每个像素位置i，HR对应的像素值记为HRi(HRi1，HRi2，HRi3)，OR对应的像素值记为ORi(ORi1，ORi2，ORi3)，DR对应的像素值记为ORi(ORi1，ORi2，ORi3)，则有：
HRi＝ORi+DRi＝(ORi1+DRi1，ORi2+DRi2，ORi3+DRi3)
同理，采用上述叠加方式可以得到HB图像。
将通过如下实施例，具体讲解上述S202中提到的增益处理包括哪些处理。
可选地，增益处理包括如下至少一项：压缩处理、颜色格式转换处理、色素区域颜色调整处理。
由于单反相机拍摄得到的数据属于高清图像，在本实施例中，为了使目标人脸色素检测模型能够更好地适用于手机拍摄的画质，维持每张图对应的Brown图和Red图不变，需要降低单反相机拍摄到的原始样本图像的画质。因此，本申请提出对单反相机拍摄得到的原始样本图像还需要额外进行增益处理，增益处理可以包括至少一项：压缩处理、颜色格式转换处理、色素区域颜色调整处理，以为解决实际应用过程中使用手机摄像头或其他设备拍摄的相对低画质的图像进行人脸色素检测的问题。
可选地，色素区域颜色调整处理包括：从原始样本图像中检测出黑色素区域和红色素区域，从原始样本图像中剔除黑色素区域和红色素区域，并将剔除黑色素区域和红色素区域后的图像与原始样本图像进行融合处理。
(1)压缩处理，对于每张输入的原始样本图像利用jpg的压缩原理对其进行质量随机的画质压缩，训练时设定为80-99的随机画质压缩，让卷积神经网络(ConvolutionalNeural Network，简称CNN)在学习的过程中消除不同压缩画质的影响。
(2)颜色格式转换处理，主要是利用饱和度的算法降低原始样本图像的饱和度，削弱棕色区域(如色斑、毛孔)、红色区域(痘痘、敏感肌、红色血丝)和其他正常区域的色差，手机拍摄的图像的色差会弱于单反拍摄的色差。
其中，降饱和度的方法，一般统一将原始样本图像统一转换为HSL格式，其中H代表色相，S代表饱和度，L代表亮度，通过调整S通道，以降低原始样本图像的饱和度。在训练中为适应分解通道的任务，采用新的降低饱和度的方式。
一般计算S通道的计算流程为：将任意3通道的彩色图像转换为RGB表示的彩色图，并将数值转化为0.0-1.0；
计算RGB的最大值smax＝max(R，G，B)和最小值smin＝min(R，G，B)；计算亮度通道为L＝(smax+smin)/2，两者之差为Diff＝(smax-smin)，则饱和度的计算公式为：
根据上述饱和度的计算流程，提出降低饱和度S的具体方式，保持L大小不变，减小最大值smax，增大最小值smin，即可降低饱和度，饱和度降低程度的系数为cs(0.0≤cs≤1.0)，其降低的方式计算得到新的smax1和smin1为：
smax1＝(1.0f-0.5×cs×Diff2)×smax
smin1＝min(2×L-smax1，smax1)
其中，max(·)表示取最大值，min(·)表示取最小值。
新的差值Diff1为Diff1＝smax1-smin1，替换饱和度的计算公式，得到新的饱和度S，即：
一般，红色痘痘、色斑等属于饱和度较高的区域，对应的Diff值也较大，上述公式也满足把Diff值较大的区域的饱和度给降下来，较小的区域尽量维持饱和度不变，从而削弱痘痘、色斑和正常皮肤区域的色差。
(3)色素区域颜色调整处理，对于手机拍摄的图像画质，人脸上比较浅的棕色/红色区域相比于其他皮肤区域无法凸出显示，为了使原始样本图像更好地模拟手机拍摄的图像画质，使Brown图更好地突出棕色斑、毛孔等，Red图更好地突出红色痘痘、红色血丝、红色敏感区域，因此，在本实施例中，提出利用检测算法识别原始样本图像Origin中的这些Brown区域、Red区域，并使用inpainting算法对这些Brown区域、Red区域予以祛除，得到一张干净的结果图，记为Clean图，然后，再用alpha融合的方式进行融合，即Clean*(alpha)+Origin*(1.0-alpha)，其中，*表示乘法，alpha取值在0.0-0.5范围内，这样可以更好地将脸上比较浅的棕色/红色区域相比于其他皮肤区域凸显出来。
值得说明的是，对原始样本图像进行增益处理时，只选取压缩处理、颜色格式转换处理、色素区域颜色调整处理中的任一项、或者任意两项组合，还可以是全部组合，以模拟真实手机摄像头拍摄到的图像，使得后续训练得到的目标人脸色素检测模型可以适用于低成本相机(摄像头)拍摄的低画质图像，降低了皮肤测试仪一类的设备的生产成本，也提升了人脸色素检测方法在手机拍摄上的应用效果。
下述对用以执行本申请所提供的人脸色素检测模型训练装置及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
图5为本申请实施例提供的一种人脸色素检测模型训练装置的结构示意图；如图5所示，该装置包括：增益模块501、处理模块502及修正模块503。
增益模块501，用于对原始样本图像进行增益处理，得到目标样本图像，原始样本图像的分辨率高于目标样本图像的分辨率；
处理模块502，用于将目标样本图像输入初始人脸色素检测模型中，得到初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像；对原始样本图像进行分解处理，得到监督黑色素高清细节图像和监督红色素高清细节图像；
修正模块503，用于以监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据实际黑色素高清细节图像和实际红色素高清细节图像，对初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。
可选地，修正模块503，还用于：
监督黑色素高清细节图像的亮度信息和监督红色素高清细节图像的亮度信息作为监督参数，根据实际黑色素高清细节图像的亮度信息和实际红色素高清细节图像的亮度信息，对初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。
可选地，初始人脸色素检测模型包括：编码器、第一解码器以及第二解码器；
处理模块502，还用于：
由编码器对目标样本图像进行编码，得到编码后特征；
由第一解码器对编码后特征进行细节解码，得到黑色素细节图像和红色素细节图像；
由第二解码器对编码后特征进行颜色解码，得到黑色素颜色图像和红色素颜色图像；
由初始人脸色素检测模型对黑色素细节图像和黑色素颜色图像进行叠加处理，得到实际黑色素高清细节图像，以及，对红色素细节图像和红色素颜色图像进行叠加处理，得到实际红色素高清细节图像。
可选地，处理模块502，还用于：
由第二解码器对编码后特征进行颜色解码，得到中间黑色素系数图矩阵和中间红色素系数图矩阵，并将中间黑色素系数图矩阵与目标样本图像中各像素位置的像素向量相乘，得到黑色素颜色图像，以及，将中间红色素系数图矩阵与目标样本图像中各像素位置的像素向量相乘，得到红色素颜色图像。
可选地，处理模块502，还用于：
由初始人脸色素检测模型对黑色素细节图像和黑色素颜色图像中相同位置相同通道的各像素值分别相加，得到实际黑色素高清细节图像，以及，对红色素细节图像和红色素颜色图像中相同位置相同通道的各像素值分别相加，得到实际红色素高清细节图像。
可选地，增益处理包括如下至少一项：压缩处理、颜色格式转换处理、色素区域颜色调整处理。
可选地，色素区域颜色调整处理包括：从原始样本图像中检测出黑色素区域和红色素区域，从原始样本图像中剔除黑色素区域和红色素区域，并将剔除黑色素区域和红色素区域后的图像与原始样本图像进行融合处理。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (9)
1.一种人脸色素检测模型训练方法，其特征在于，包括：
对原始样本图像进行增益处理，得到目标样本图像，所述原始样本图像的分辨率高于所述目标样本图像的分辨率；
将所述目标样本图像输入初始人脸色素检测模型中，得到所述初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像；
对所述原始样本图像进行分解处理，得到监督黑色素高清细节图像和监督红色素高清细节图像；
以所述监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据所述实际黑色素高清细节图像和所述实际红色素高清细节图像，对所述初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型，其中，所述目标人脸色素检测模型用于检测低成本相机拍摄到的人脸图像中不同色素的分布情况；
所述初始人脸色素检测模型包括：编码器、第一解码器以及第二解码器；
所述将所述目标样本图像输入初始人脸色素检测模型中，得到所述初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像，包括：
由所述编码器对所述目标样本图像进行编码，得到编码后特征；
由所述第一解码器对所述编码后特征进行细节解码，得到黑色素细节图像和红色素细节图像；
由所述第二解码器对所述编码后特征进行颜色解码，得到黑色素颜色图像和红色素颜色图像；
由所述初始人脸色素检测模型对所述黑色素细节图像和所述黑色素颜色图像进行叠加处理，得到所述实际黑色素高清细节图像，以及，对所述红色素细节图像和所述红色素颜色图像进行叠加处理，得到所述实际红色素高清细节图像。
2.根据权利要求1所述的方法，其特征在于，所述以所述监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据所述实际黑色素高清细节图像和所述实际红色素高清细节图像，对所述初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型，包括：
所述监督黑色素高清细节图像的亮度信息和监督红色素高清细节图像的亮度信息作为监督参数，根据所述实际黑色素高清细节图像的亮度信息和所述实际红色素高清细节图像的亮度信息，对所述初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型。
3.根据权利要求1所述的方法，其特征在于，所述由所述第二解码器对所述编码后特征进行颜色解码，得到黑色素颜色图像和红色素颜色图像，包括：
由所述第二解码器对所述编码后特征进行颜色解码，得到中间黑色素系数图矩阵和中间红色素系数图矩阵，并将所述中间黑色素系数图矩阵与所述目标样本图像中各像素位置的像素向量相乘，得到所述黑色素颜色图像，以及，将所述中间红色素系数图矩阵与所述目标样本图像中各像素位置的像素向量相乘，得到所述红色素颜色图像。
4.根据权利要求1所述的方法，其特征在于，所述由所述初始人脸色素检测模型对所述黑色素细节图像和所述黑色素颜色图像进行叠加处理，得到所述实际黑色素高清细节图像，以及，对所述红色素细节图像和所述红色素颜色图像进行叠加处理，得到所述实际红色素高清细节图像，包括：
由所述初始人脸色素检测模型对所述黑色素细节图像和所述黑色素颜色图像中相同位置相同通道的各像素值分别相加，得到所述实际黑色素高清细节图像，以及，对所述红色素细节图像和所述红色素颜色图像中相同位置相同通道的各像素值分别相加，得到所述实际红色素高清细节图像。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述增益处理包括如下至少一项：压缩处理、颜色格式转换处理、色素区域颜色调整处理。
6.根据权利要求5所述的方法，其特征在于，所述色素区域颜色调整处理包括：从所述原始样本图像中检测出黑色素区域和红色素区域，从所述原始样本图像中剔除所述黑色素区域和红色素区域，并将剔除所述黑色素区域和红色素区域后的图像与所述原始样本图像进行融合处理。
7.一种人脸色素检测模型训练装置，其特征在于，所述装置包括：
增益模块，用于对原始样本图像进行增益处理，得到目标样本图像，所述原始样本图像的分辨率高于所述目标样本图像的分辨率；
处理模块，用于将所述目标样本图像输入初始人脸色素检测模型中，得到所述初始人脸色素检测模型输出的实际黑色素高清细节图像和实际红色素高清细节图像；对所述原始样本图像进行分解处理，得到监督黑色素高清细节图像和监督红色素高清细节图像；
修正模块，用于以所述监督黑色素高清细节图像和监督红色素高清细节图像作为监督参数，根据所述实际黑色素高清细节图像和所述实际红色素高清细节图像，对所述初始人脸色素检测模型进行迭代修正，得到目标人脸色素检测模型，其中，所述目标人脸色素检测模型用于检测低成本相机拍摄到的人脸图像中不同色素的分布情况；
所述初始人脸色素检测模型包括：编码器、第一解码器以及第二解码器；
所述处理模块，还用于：
由所述编码器对所述目标样本图像进行编码，得到编码后特征；
由所述第一解码器对所述编码后特征进行细节解码，得到黑色素细节图像和红色素细节图像；
由所述第二解码器对所述编码后特征进行颜色解码，得到黑色素颜色图像和红色素颜色图像；
由所述初始人脸色素检测模型对所述黑色素细节图像和所述黑色素颜色图像进行叠加处理，得到所述实际黑色素高清细节图像，以及，对所述红色素细节图像和所述红色素颜色图像进行叠加处理，得到所述实际红色素高清细节图像。
8.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-6任一所述方法的步骤。
9.一种计算机存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-6任一所述方法的步骤。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111002463.8A CN113688752B (zh) | 2021-08-30 | 2021-08-30 | 人脸色素检测模型训练方法、装置、设备及存储介质 |
| PCT/CN2021/132558 WO2023029233A1 (zh) | 2021-08-30 | 2021-11-23 | 人脸色素检测模型训练方法、装置、设备及存储介质 |
| JP2022566607A JP7455234B2 (ja) | 2021-08-30 | 2021-11-23 | 顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体 |
| KR1020227037680A KR20230035225A (ko) | 2021-08-30 | 2021-11-23 | 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111002463.8A CN113688752B (zh) | 2021-08-30 | 2021-08-30 | 人脸色素检测模型训练方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113688752A CN113688752A (zh) | 2021-11-23 |
| CN113688752B true CN113688752B (zh) | 2024-02-02 |
Family
ID=78584130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111002463.8A Active CN113688752B (zh) | 2021-08-30 | 2021-08-30 | 人脸色素检测模型训练方法、装置、设备及存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP7455234B2 (zh) |
| KR (1) | KR20230035225A (zh) |
| CN (1) | CN113688752B (zh) |
| WO (1) | WO2023029233A1 (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325928A (zh) * | 2018-10-12 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种图像重建方法、装置及设备 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111768354A (zh) * | 2020-08-05 | 2020-10-13 | 哈尔滨工业大学 | 基于多尺度人脸部位特征字典的人脸图像复原系统 |
| CN112070848A (zh) * | 2020-09-18 | 2020-12-11 | 厦门美图之家科技有限公司 | 图像色素分离方法、装置、电子设备和可读存储介质 |
| CN113076685A (zh) * | 2021-03-04 | 2021-07-06 | 华为技术有限公司 | 图像重建模型的训练方法、图像重建方法及其装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011103576A1 (en) * | 2010-02-22 | 2011-08-25 | Canfield Scientific, Incorporated | Reflectance imaging and analysis for evaluating tissue pigmentation |
| KR102548317B1 (ko) | 2018-07-16 | 2023-06-26 | 아너 디바이스 컴퍼니 리미티드 | 색소 검출 방법 및 전자 장치 |
-
2021
- 2021-08-30 CN CN202111002463.8A patent/CN113688752B/zh active Active
- 2021-11-23 WO PCT/CN2021/132558 patent/WO2023029233A1/zh unknown
- 2021-11-23 JP JP2022566607A patent/JP7455234B2/ja active Active
- 2021-11-23 KR KR1020227037680A patent/KR20230035225A/ko not_active Application Discontinuation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325928A (zh) * | 2018-10-12 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种图像重建方法、装置及设备 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111768354A (zh) * | 2020-08-05 | 2020-10-13 | 哈尔滨工业大学 | 基于多尺度人脸部位特征字典的人脸图像复原系统 |
| CN112070848A (zh) * | 2020-09-18 | 2020-12-11 | 厦门美图之家科技有限公司 | 图像色素分离方法、装置、电子设备和可读存储介质 |
| CN113076685A (zh) * | 2021-03-04 | 2021-07-06 | 华为技术有限公司 | 图像重建模型的训练方法、图像重建方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023546307A (ja) | 2023-11-02 |
| KR20230035225A (ko) | 2023-03-13 |
| JP7455234B2 (ja) | 2024-03-25 |
| CN113688752A (zh) | 2021-11-23 |
| WO2023029233A1 (zh) | 2023-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106960416B (zh) | 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法 | |
| CN109842799B (zh) | 颜色分量的帧内预测方法、装置及计算机设备 | |
| DE102019106252A1 (de) | Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung | |
| US20130308858A1 (en) | Systems and Methods for Restoring Color and Non-Color Related Integrity in an Image | |
| Shao et al. | No-reference view synthesis quality prediction for 3-D videos based on color–depth interactions | |
| Wang et al. | Compressive hyperspectral imaging with complementary RGB measurements | |
| CN108737797B (zh) | 白平衡处理方法、装置和电子设备 | |
| Cao et al. | Quality measurement for high dynamic range omnidirectional image systems | |
| Song et al. | Real-scene reflection removal with raw-rgb image pairs | |
| CN113781326A (zh) | 解马赛克方法、装置、电子设备及存储介质 | |
| CN113688752B (zh) | 人脸色素检测模型训练方法、装置、设备及存储介质 | |
| WO2023231535A1 (zh) | 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法 | |
| CN116208812A (zh) | 一种基于立体事件和强度相机的视频插帧方法及系统 | |
| Liang et al. | Multi-scale and multi-patch transformer for sandstorm image enhancement | |
| Li et al. | Context convolution dehazing network with channel attention | |
| Weng et al. | L-CAD: Language-based Colorization with Any-level Descriptions using Diffusion Priors | |
| CN115496819B (zh) | 一种基于能量集中特性的快速编码光谱成像方法 | |
| CN105791879B (zh) | 视频码流错误隐藏中丢失块的运动矢量补偿方法与系统 | |
| Wang et al. | Spatial-temporal network for no reference video quality assessment based on saliency | |
| CN114040140B (zh) | 一种视频抠图方法、装置、系统及存储介质 | |
| CN117611954B (zh) | 一种红外视频图像有效性评价方法、设备及存储设备 | |
| Zhang et al. | Long Range Imaging Using Multispectral Fusion of RGB and NIR Images | |
| Li et al. | Image Defogging Algorithm Based on Dual-Stream Skip Connections | |
| Liu | Directional interpolation based on improved adaptive residual interpolation for image demosaicking | |
| Mei et al. | FEUWNet: A Fast and Effective Baseline for Underwater Image Enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |