CN110633662B - 一种图像处理方法、装置及系统 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置及系统，方法包括：获取图像采集设备采集的用户面部的交叉偏振光图像；利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图；对所述灰度纹理图进行彩色合成处理，得到反映所述用户面部色素沉着情况的目标图像；输出所述目标图像。通过该技术方案，可以通过预设卷积神经网络模型处理交叉偏振光图像，得到灰度纹理图，再对灰度纹理图进行彩色合成处理，得到可以客观、真实反映用户面部色素沉着情况的图像，从而帮助用户了解自己面部的色素沉着情况。

Description

一种图像处理方法、装置及系统

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置及系统。

背景技术

人脸的肤质好坏是评价一个人美与健康的重要依据。随着时代的进步，人们对自己的容貌愈发重视，皮肤护理成为热点话题。拥有光滑亮洁的皮肤不仅对自己的健康有益，而且能提高自身的整体形象，在人际交往和日常生活中也有着至关重要的作用。由于人工智能的快速发展，自动化、智能化的人脸图像定量分析技术受到了美容院、皮肤研究机构、皮肤医疗机构等的广泛关注。

人脸皮肤评测系统一般包含两大部分：第一部分为多光谱光学成像部分，不仅可以检测已经暴露在肌肤表面的问题，还能够通过定量分析将隐藏在皮肤基底层的问题呈现出来；第二部分为检测与评估分析部分，可以精确、定量地诊断皮肤情况，并提供精确、清楚、易懂的皮肤诊断报告。它的出现使皮肤治疗告别了以往单凭肉眼和医生经验判断的历史，因此，研究、设计、开发一种人脸面部图像皮肤定量分析系统具有重要意义。站在科学研究的角度，它不仅可用于医疗大数据分析研究还可用于皮肤医疗诊断研究；站在实际应用的角度，它可以帮助皮肤科医生全面了解以肉眼无法透视的皮肤深层状况；根据分析结果，针对皮肤特征提出最佳个性治疗解决方案；还可实现全程电脑数控记录，保存电子病历档案，实现跨时期不同检测图片的细致对比分析，对治疗方案的功效做出客观科学的评价。

发明内容

鉴于上述问题，本发明提出了一种图像处理方法和相应的装置及系统，其可以通过预设卷积神经网络模型处理交叉偏振光图像，得到灰度纹理图，再对灰度纹理图进行彩色合成处理，得到可以客观、真实反映用户面部色素沉着情况的图像，从而帮助用户了解自己面部的色素沉着情况。

根据本发明实施例的第一方面，提供一种图像处理方法，包括：

获取图像采集设备采集的用户面部的交叉偏振光图像；

利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图；

对所述灰度纹理图进行彩色合成处理，得到反映所述用户面部色素沉着情况的目标图像；

输出所述目标图像。

在一个实施例中，优选地，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：

针对所述交叉偏振光图像，分别提取其各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；

针对每个通道分量，计算出一个规范因子；

根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到所述交叉偏振光图像各个像素点对应的各个通道分量的处理后的像素值；

将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到所述交叉偏振光图像对应的灰度纹理图。

在一个实施例中，优选地，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：

对所述交叉偏振光图像进行裁剪，将所述交叉偏振光图像分成多个区域；

针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；将所述原始像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；

将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述交叉偏振光图像对应的所述灰度纹理图。

在一个实施例中，优选地，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：

对所述交叉偏振光图像进行裁剪，将所述交叉偏振光图像分成多个区域；

针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；针对每个通道分量，计算出一个规范因子；根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到本区域的图像各个像素点对应的各个通道分量的处理后的像素值；将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；

将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述交叉偏振光图像对应的所述灰度纹理图。

在一个实施例中，优选地，针对每个通道分量，计算出一个规范因子，包括：

计算每个通道分量对应的像素值均值；

获取每个通道分量对应的预设均值；

根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，

在一个实施例中，优选地，所述根据每个通道分量对应的规范因子对各个原始像素值进行处理，得到处理后的像素值，包括：

分别利用每个通道分量对应的规范因子与本通道分量的各个像素点的原始像素值相乘。

在一个实施例中，优选地，所述对所述灰度纹理图进行彩色合成处理，得到反映所述用户面部色素沉着情况的目标图像，包括：

将所述灰度纹理图的各个像素点的像素值定义为R通道分量，G通道分量和B通道分量中的任一个通道分量的目标像素值，并通过像素值的线性变化生成另外两个通道分量的目标像素值；

根据R通道分量，G通道分量和B通道分量的目标像素值，合成反映所述用户面部色素沉着情况的目标图像。

在一个实施例中，优选地，所述预设卷积神经网络模型包括第一编码模块、第二编码模块、第三编码模块、第一解码模块、第二解码模块、第三解码模块和解卷积模块，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：

利用第一编码模块、第二编码模块、第三编码模块和第一解码模块、第二解码模块、第三解码模块和解卷积模块对所述交叉偏振光图像进行处理，得到对应的灰度纹理图；

其中，所述第一编码模块的输出，一方面作为所述第二编码模块的输入，另一方面作为所述第一解码模块的输入，所述第二编码模块的输出，一方面作为所述第三编码模块的输入，另一方面作为所述第二解码模块的输入，所述第三编码模块的输出作为所述第三解码模块的输入，所述第一解码模块、所述第二解码模块和所述第三解码模块的输出作为所述解卷积模块的输入，所述解卷积模块的输出即为所述灰度纹理图；

所述第一编码模块使用卷积层对输入的图像进行卷积处理，生成32×512×512的第一特征图，所述第一卷积层的卷积核大小为3×3，卷积核步长为1；

所述第一编码模块使用第一全连接层对所述卷积层生成的第一特征图进行全连接处理，生成64×512×512的第二特征图，所述第一全连接层的稠密块个数为1，生长率为32；

所述第二编码模块使用第一过渡层对所述第一全连接层生成的第二特征图进行过渡处理，生成64×256×256的第三特征图，所述第一过渡层的过渡核大小为2×2，过渡核步长为2；

所述第二编码模块使用第二全连接层对所述第一过渡层生成的第四特征图进行全连接处理，生成128×256×256的第四特征图，所述第二全连接层的稠密块个数为2，生长率为32；

所述第三编码模块使用第二过渡层对所述第二全连接层生成的第四特征图进行过渡处理，生成128×128×128的第五特征图，所述第二过渡层的过渡核大小为2×2，过渡核步长为2；

所述第三编码模块使用第三全连接层对所述第二过渡层生成的第五特征图进行全连接处理，生成256×256×256的第六特征图，所述第三全连接层的稠密块个数为4，生长率为32；

所述第一解码模块使用第一解卷积层对所述第二特征图进行解码操作，生成第七特征图，所述第一解卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；

所述第二解码模块使用第二解卷积层对所述第四特征图进行解码操作，生成第八特征图，所述第二解卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；

所述第三解码模块使用第三解卷积层对所述第六特征图进行解码操作，生成第九特征图，所述第三解卷积层的卷积核数量为16个，卷积核大小为3×3，卷积核步长为1；

所述解卷积模块使用第四解卷积层对三个解码模块生成的总特征图进行解码操作，生成解码特征图，所述第四解卷积层的卷积核数量为32个，卷积核大小为3×3，卷积核步长为1；

所述解卷积模块使用第五解卷积层对解码特征图进行解码操作，生成所述灰度纹理图，所述第五解卷积层的卷积核数量为1个，卷积核大小为3×3，卷积核步长为1。

在一个实施例中，优选地，所述方法还包括：

根据所述目标图像输出针对所述用户的皮肤诊断建议和/或面膜定制方案。

根据本发明实施例的第二方面，提供一种图像处理装置，包括：

一个或多个处理器；

一个或多个存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行如第一方面或第一方面任一实施例中所述的方法。

根据本发明实施例的第三方面，提供一种图像处理系统，包括：

第二方面所述的图像处理装置，用于发送图像采集命令至图像采集装置，以及发送包含面膜定制参数的配置文件至面膜制作装置，所述面膜定制参数根据所述灰度纹理图确定；

所述图像采集设备，与所述图像处理装置连接，根据所述图像处理装置发送的图像采集命令采集用户面部的交叉偏振光图像；

所述面膜制作装置，与所述图像处理装置连接，用于根据所述图像处理装置发送的所述配置文件制作面膜。

由于交叉偏振光图像可以有效避免反光造成的面部图像不清晰的问题，本发明实施例中，采用交叉偏振光图像进行处理得到目标图像，提高了图像处理的准确性。另外，通过预设卷积神经网络模型处理交叉偏振光图像，目的是提取面部色素沉着图像特征，得到突出色素沉着图像特征而弱化其他图像特征的灰度纹理图，再对灰度纹理图进行彩色合成处理，得到反映用户面部色素沉着情况、且符合用户观察习惯的图像，从而帮助用户了解自己脸部的色素沉着情况。可见，本发明实施例提供的方法可以有效、准确地进行面部色素沉着特征的提取，进而得到目标图像，其处理方式具有较高的准确率和较好的效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明一个实施例的图像处理方法流程图。

图2示出了根据本发明一个实施例的图像处理方法中步骤S102的流程图。

图3示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。

图4示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。

图5示出了根据本发明一个实施例的图像处理方法中步骤S103的流程图。

图6示出了根据本发明一个实施例的预设卷积神经网络的解码过程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了根据本发明一个实施例的图像处理方法流程图。

如图1所示，根据本发明的实施例的图像处理方法，包括：

步骤S101，获取图像采集设备采集的用户面部的交叉偏振光图像；

步骤S102，利用预设卷积神经网络模型对交叉偏振光图像进行处理，得到对应的灰度纹理图；

步骤S103，对灰度纹理图进行彩色合成处理，得到反映用户面部色素沉着情况的目标图像；

步骤S104，输出目标图像。

由于交叉偏振光图像可以有效避免反光造成的面部图像不清晰的问题，本发明实施例中，采用交叉偏振光图像进行处理得到目标图像，提高了图像处理的准确性。另外，通过预设卷积神经网络模型处理交叉偏振光图像，目的是提取面部色素沉着图像特征，得到突出色素沉着图像特征而弱化其他图像特征的灰度纹理图，再对灰度纹理图进行彩色合成处理，得到反映用户面部色素沉着情况、且符合用户观察习惯的图像，从而帮助用户了解自己脸部的色素沉着情况。可见，本发明实施例提供的方法可以有效、准确地进行面部色素沉着特征的提取，进而得到目标图像，其处理方式具有较高的准确率和较好的效果。

图2示出了根据本发明一个实施例的图像处理方法中步骤S102的流程图。

如图2所示，在一个实施例中，优选地，上述步骤S102包括：

步骤S201，针对交叉偏振光图像，分别提取其各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；

步骤S202，针对每个通道分量，计算出一个规范因子；

在一个实施例中，优选地，针对每个通道分量，计算出一个规范因子，包括：

计算每个通道分量对应的像素值均值；

获取每个通道分量对应的预设均值；

根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，

步骤S203，根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到交叉偏振光图像各个像素点对应的各个通道分量的处理后的像素值；

步骤S204，将处理后的像素值作为预设卷积神经网络模型的输入，得到交叉偏振光图像对应的灰度纹理图。

在该实施例中，为每个通道分量计算一个规范因子，通过规范因子对通道分量的原始像素值进行处理，之后再输入到预设卷积神经网络模型，这样，可以规范输入预设卷积神经网络模型的数据，消除各种光照条件以及色差的影响。

图3示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。

如图3所示，在一个实施例中，优选地，上述步骤S102包括：

步骤S301，对交叉偏振光图像进行裁剪，将交叉偏振光图像分成多个区域；

步骤S302，针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；将原始像素值作为预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；

步骤S303，将各个区域的图像对应的灰度纹理分区图进行拼接，以得到交叉偏振光图像对应的灰度纹理图。

在该实施例中，将交叉偏振光图像分成多个区域，如平均划分成九个区域，这样，每个区域的图像分别输入到预设卷积神经网络模型进行处理，得到对应的灰度纹理分区图，再将所有区域得到的灰度纹理分区图进行拼接，得到灰度纹理图，这样，可以加快处理速度，提高处理效率。

图4示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。

如图4所示，在一个实施例中，优选地，上述步骤S102包括：

步骤S401，对交叉偏振光图像进行裁剪，将交叉偏振光图像分成多个区域；

步骤S402，针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；针对每个通道分量，计算出一个规范因子；根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到本区域的图像各个像素点对应的各个通道分量的处理后的像素值；将处理后的像素值作为预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；

在一个实施例中，优选地，针对每个通道分量，计算出一个规范因子，包括：

计算每个通道分量对应的像素值均值；

获取每个通道分量对应的预设均值；

根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，

步骤S403，将各个区域的图像对应的灰度纹理分区图进行拼接，以得到交叉偏振光图像对应的灰度纹理图。

在该实施例中，将交叉偏振光图像分成多个区域，如平均划分成九个区域，并针对每个区域计算出各通道向量对应的规范因子，通过规范因子对通道分量的原始像素值进行处理，之后再输入到预设卷积神经网络模型，这样，可以规范输入预设卷积神经网络模型的数据，消除各种光照条件以及色差的影响。而通过分区域处理和预设卷积神经网络模型得到各区域图像对应的灰度纹理分区图，再拼接得到灰度纹理图，则可以加快处理速度，提高处理效率。

在一个实施例中，优选地，根据每个通道分量对应的规范因子对各个原始像素值进行处理，得到处理后的像素值，包括：

分别利用每个通道分量对应的规范因子与本通道分量的各个像素点的原始像素值相乘。

在该实施例中，通过通道分量的规范因子与该通道分量的原始像素值的乘积确定处理后的像素值，这样，可以消除光照和色差的影响。

图5示出了根据本发明一个实施例的图像处理方法中步骤S103的流程图。

如图5所示，在一个实施例中，优选地，上述步骤S103包括：

步骤S501，将灰度纹理图的各个像素点的像素值定义为R通道分量，G通道分量和B通道分量中的任一个通道分量的目标像素值，并通过像素值的线性变化生成另外两个通道分量的目标像素值；

步骤S502，根据R通道分量，G通道分量和B通道分量的目标像素值，合成反映用户面部色素沉着情况的目标图像。

在该实施例中，将灰度纹理图的各个像素点的像素值定义为R通道分量，G通道分量和B通道分量中的任一个通道分量的目标像素值，如将灰度纹理图的各个像素点的像素值定义为R通道分量的目标像素值，并通过像素值的线性变化生成G通道分量和B通道分量的目标像素值，进而合成反映用户面部色素沉着情况的目标图像。

在一个实施例中，优选地，所述预设卷积神经网络模型包括第一编码模块、第二编码模块、第三编码模块、第一解码模块、第二解码模块、第三解码模块和解卷积模块，利用预设卷积神经网络模型对交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：

利用第一编码模块、第二编码模块、第三编码模块和第一解码模块、第二解码模块、第三解码模块和解卷积模块对交叉偏振光图像进行处理，得到对应的灰度纹理图；

其中，如表1和图6所示，第一编码模块Stage 0的输出，一方面作为第二编码模块Stage 1的输入，另一方面作为第一解码模块D1的输入，第二编码模块Stage 1的输出，一方面作为第三编码模块Stage 2的输入，另一方面作为第二解码模块D2的输入，第三编码模块Stage 2的输出作为第三解码模块D3的输入，第一解码模块D1、第二解码模块D2和第三解码模块D3的输出作为解卷积模块D4的输入，解卷积模块D4的输出即为灰度纹理图；

表1

所述第一编码模块Stage 0使用卷积层对输入的图像进行卷积处理，生成32×512×512的第一特征图，所述第一卷积层的卷积核大小为3×3，卷积核步长为1；

所述第一编码模块Stage 0使用第一全连接层对所述卷积层生成的第一特征图进行全连接处理，生成64×512×512的第二特征图，所述第一全连接层的稠密块个数为1，生长率为32；

所述第二编码模块Stage 1使用第一过渡层对所述第一全连接层生成的第二特征图进行过渡处理，生成64×256×256的第三特征图，所述第一过渡层的过渡核大小为2×2，过渡核步长为2；

所述第二编码模块Stage 1使用第二全连接层对所述第一过渡层生成的第四特征图进行全连接处理，生成128×256×256的第四特征图，所述第二全连接层的稠密块个数为2，生长率为32；

所述第三编码模块Stage 2使用第二过渡层对所述第二全连接层生成的第四特征图进行过渡处理，生成128×128×128的第五特征图，所述第二过渡层的过渡核大小为2×2，过渡核步长为2；

所述第三编码模块Stage 2使用第三全连接层对所述第二过渡层生成的第五特征图进行全连接处理，生成256×256×256的第六特征图，所述第三全连接层的稠密块个数为4，生长率为32；

所述第一解码模块D1使用第一解卷积层对所述第二特征图进行解码操作，生成第七特征图，所述第一解卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；

所述第二解码模块D2使用第二解卷积层对所述第四特征图进行解码操作，生成第八特征图，所述第二解卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；

所述第三解码模块D3使用第三解卷积层对所述第六特征图进行解码操作，生成第九特征图，所述第三解卷积层的卷积核数量为16个，卷积核大小为3×3，卷积核步长为1；

所述解卷积模块D4使用第四解卷积层对三个解码模块生成的总特征图进行解码操作，生成解码特征图，所述第四解卷积层的卷积核数量为32个，卷积核大小为3×3，卷积核步长为1；

所述解卷积模块D4使用第五解卷积层对解码特征图进行解码操作，生成所述灰度纹理图，所述第五解卷积层的卷积核数量为1个，卷积核大小为3×3，卷积核步长为1。

根据本发明实施例的第二方面，提供一种图像处理装置，包括：

一个或多个处理器；

一个或多个存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行如第一方面或第一方面任一实施例中所述的方法。

根据本发明实施例的第三方面，提供一种图像处理系统，包括：

第二方面所述的图像处理装置，用于发送图像采集命令至图像采集装置，以及发送包含面膜定制参数的配置文件至面膜制作装置，所述面膜定制参数根据所述灰度纹理图确定；

所述图像采集设备，与所述图像处理装置连接，根据所述图像处理装置发送的图像采集命令采集用户面部的交叉偏振光图像；

所述面膜制作装置，与所述图像处理装置连接，用于根据所述图像处理装置发送的所述配置文件制作面膜。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种图像处理装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种图像处理方法，其特征在于，包括：

获取图像采集设备采集的用户面部的交叉偏振光图像；

利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图；

对所述灰度纹理图进行彩色合成处理，得到反映所述用户面部色素沉着情况的目标图像；

输出所述目标图像；

其中，所述预设卷积神经网络模型包括第一编码模块、第二编码模块、第三编码模块、第一解码模块、第二解码模块、第三解码模块和解卷积模块，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：

利用第一编码模块、第二编码模块、第三编码模块和第一解码模块、第二解码模块、第三解码模块和解卷积模块对所述交叉偏振光图像进行处理，得到对应的灰度纹理图；

所述第一编码模块的输出，一方面作为所述第二编码模块的输入，另一方面作为所述第一解码模块的输入，所述第二编码模块的输出，一方面作为所述第三编码模块的输入，另一方面作为所述第二解码模块的输入，所述第三编码模块的输出作为所述第三解码模块的输入，所述第一解码模块、所述第二解码模块和所述第三解码模块的输出作为所述解卷积模块的输入，所述解卷积模块的输出即为所述灰度纹理图；

所述第一编码模块使用卷积层对输入的图像进行卷积处理，生成32×512×512的第一特征图，第一卷积层的卷积核大小为3×3，卷积核步长为1；

所述第一编码模块使用第一全连接层对所述卷积层生成的第一特征图进行全连接处理，生成64×512×512的第二特征图，所述第一全连接层的稠密块个数为1，生长率为32；

所述第二编码模块使用第一过渡层对所述第一全连接层生成的第二特征图进行过渡处理，生成64×256×256的第三特征图，所述第一过渡层的过渡核大小为2×2，过渡核步长为2；

所述第二编码模块使用第二全连接层对所述第一过渡层生成的第四特征图进行全连接处理，生成128×256×256的第四特征图，所述第二全连接层的稠密块个数为2，生长率为32；

所述第三编码模块使用第二过渡层对所述第二全连接层生成的第四特征图进行过渡处理，生成128×128×128的第五特征图，所述第二过渡层的过渡核大小为2×2，过渡核步长为2；

所述第三编码模块使用第三全连接层对所述第二过渡层生成的第五特征图进行全连接处理，生成256×256×256的第六特征图，所述第三全连接层的稠密块个数为4，生长率为32；

所述第一解码模块使用第一解卷积层对所述第二特征图进行解码操作，生成第七特征图，所述第一解卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；

所述第二解码模块使用第二解卷积层对所述第四特征图进行解码操作，生成第八特征图，所述第二解卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；

所述第三解码模块使用第三解卷积层对所述第六特征图进行解码操作，生成第九特征图，所述第三解卷积层的卷积核数量为16个，卷积核大小为3×3，卷积核步长为1；

所述解卷积模块使用第四解卷积层对三个解码模块生成的总特征图进行解码操作，生成解码特征图，所述第四解卷积层的卷积核数量为32个，卷积核大小为3×3，卷积核步长为1；

所述解卷积模块使用第五解卷积层对解码特征图进行解码操作，生成所述灰度纹理图，所述第五解卷积层的卷积核数量为1个，卷积核大小为3×3，卷积核步长为1。

2.根据权利要求1所述的图像处理方法，其特征在于，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：

针对所述交叉偏振光图像，分别提取其各个像素点对应的R通道分量、G通道分量和B通道分量的原始像素值；

针对每个通道分量，计算出一个规范因子，其中，针对每个通道分量，计算出一个规范因子包括如下步骤：

计算每个通道分量对应的像素值均值；

获取每个通道分量对应的预设均值；

根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，

根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到所述交叉偏振光图像各个像素点对应的各个通道分量的处理后的像素值；

将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到所述交叉偏振光图像对应的灰度纹理图。

3.根据权利要求1所述的图像处理方法，其特征在于，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：

对所述交叉偏振光图像进行裁剪，将所述交叉偏振光图像分成多个区域；

针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；将所述原始像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；

将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述交叉偏振光图像对应的所述灰度纹理图。

4.根据权利要求1所述的图像处理方法，其特征在于，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：

对所述交叉偏振光图像进行裁剪，将所述交叉偏振光图像分成多个区域；

针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；针对每个通道分量，计算出一个规范因子；根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到本区域的图像各个像素点对应的各个通道分量的处理后的像素值；将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；

将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述交叉偏振光图像对应的所述灰度纹理图；

其中，针对每个通道分量，计算出一个规范因子包括如下步骤：

计算每个通道分量对应的像素值均值；

获取每个通道分量对应的预设均值；

根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，

。

5.根据权利要求2或4所述的图像处理方法，其特征在于，所述根据每个通道分量对应的规范因子对各个原始像素值进行处理，得到处理后的像素值，包括：

分别利用每个通道分量对应的规范因子与本通道分量的各个像素点的原始像素值相乘。

6.根据权利要求1所述的图像处理方法，其特征在于，所述对所述灰度纹理图进行彩色合成处理，得到反映所述用户面部色素沉着情况的目标图像，包括：

将所述灰度纹理图的各个像素点的像素值定义为R通道分量，G通道分量和B通道分量中的任一个通道分量的目标像素值，并通过像素值的线性变化生成另外两个通道分量的目标像素值；

根据R通道分量，G通道分量和B通道分量的目标像素值，合成反映所述用户面部色素沉着情况的目标图像。

7.一种图像处理装置，其特征在于，包括：

一个或多个处理器；

一个或多个存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序被配置为执行权利要求1至6任一项所述的方法。

8.一种图像处理系统，其特征在于，包括：

如权利要求7所述的图像处理装置，用于发送图像采集命令至图像采集设备，以及发送包含面膜定制参数的配置文件至面膜制作装置，所述面膜定制参数根据所述灰度纹理图确定；

所述图像采集设备，与所述图像处理装置连接，根据所述图像处理装置发送的图像采集命令采集用户面部的交叉偏振光图像；

所述面膜制作装置，与所述图像处理装置连接，用于根据所述图像处理装置发送的所述配置文件制作面膜。

Images