CN110796648A - 一种基于黑色素提取的面部黄褐斑区域自动分割方法 - Google Patents

Abstract

本发明公开了一种基于黑色素提取的面部黄褐斑区域自动分割方法，步骤为：采集人脸图像；采用人脸特征点检测模型对采集的人脸图像进行面部特征点识别；根据识别的面部特征点信息裁剪出需要进行黄褐斑分割的人脸皮肤区域；对裁剪出来的人脸皮肤区域图像进行黑色素色沉区域提取，然后根据分割阈值进行黄褐斑区域的分割；计算黄褐斑区域的总面积，得到黄褐斑区域在整个面部的面积占比。本发明利用计算机视觉技术实现对面部黄褐斑区域的自动分割，可以作为后续黄褐斑诊断和治疗的辅助信息。

Description

一种基于黑色素提取的面部黄褐斑区域自动分割方法

技术领域

本发明属于计算机视觉领域，特别涉及了一种面部黄褐斑区域自动分割方法。

背景技术

黄褐斑(melasma)为面部对称性分布的黄褐色斑片，多见于育龄期女性，生成原因尚不完全清楚，血中雌激素水平高是主要原因。其产生可能与遗传、日晒、化妆品、雌激素变化自身免疫性甲状腺疾病、肝脏疾病等相关，其表现为淡褐色、深褐色斑片，常对称分布于面部、颊部，且边缘清楚。

随着计算机技术与人工智能技术的发展，计算机视觉技术在人脸检测方面有了广泛的应用，如何利用计算机视觉技术实现面部黄褐斑区域的自动检测，从而为后续黄褐斑的诊断和治疗提供精准的辅助信息，已经成为本领域的一个新的研究方向。

发明内容

为了解决上述背景技术提到的技术问题，本发明提出了一种基于黑色素提取的面部黄褐斑区域自动分割方法。

为了实现上述技术目的，本发明的技术方案为：

一种基于黑色素提取的面部黄褐斑区域自动分割方法，包括以下步骤：

(1)采集人脸图像；

(2)采用人脸特征点检测模型对采集的人脸图像进行面部特征点识别；

(3)根据识别的面部特征点信息裁剪出需要进行黄褐斑分割的人脸皮肤区域；

(4)对裁剪出来的人脸皮肤区域图像进行黑色素色沉区域提取，然后根据分割阈值进行黄褐斑区域的分割；

(5)计算黄褐斑区域的总面积，得到黄褐斑区域在整个面部的面积占比。

进一步地，在步骤(1)中，在稳定环境下，采集待测人员的左侧脸图像、右侧脸图像和正脸图像；对应地，在步骤(3)中，左侧脸图像上裁剪出左脸皮肤区域，正脸图像上裁剪出额头和下巴的皮肤区域，右侧脸图像上裁剪出右脸皮肤区域。

进一步地，在步骤(3)中，首先将人脸皮肤区域图像转化为YCrCb格式，然后利用图像的Cr、Cb通道数据进行黑色素色沉区域的提取。

进一步地，在步骤(4)中，先对输入图像的高光反射分量进行分离，得到漫反射分量和镜面反射分量；再对漫反射分量进行分离，得到黑色素分量、血色素分量和阴影部分分量，根据黑色素分量提取出黑色素色沉区域，该黑色素色沉区域与黄褐斑皮损区域一致。

进一步地，对于反射分量的分离，在双色反射模型中，反射光由镜面反射和漫反射组成：

L(λ，θ)＝L_b(λ，θ)+L_s(λ，θ)

上式中，L(λ，θ)、L_b(λ，θ)和L_s(λ，θ)分别为反射光、镜面反射分量和漫反射分量；λ为主波长，θ为入射角；

将两个反射分量分离：

L(λ，θ)＝m_bC_b+m_sC_s

上式中，C_b和C_s分别为镜面反射分量和漫反射分量的光谱能量分布，m_b和m_s为对应的比例系数；

I(x，y)＝m_bI_b+m_sI_s

上式中，I(x，y)表示像素点在坐标(x，y)处的RGB通道光强，I_b和I_s分别表示镜面反射分量和漫反射分量的光强；h(λ)为相机对入射光谱的感应函数；Ω表示整个可见光光谱段；

利用上式得到镜面反射分量和漫反射分量的光强，根据下式转换将两个反射分量的光强转化为亮度，再根据亮度分离镜面反射分量和漫反射分量：

l＝[0.3086，0.6094，0.0820]·[R，G，B]^T

上式中，l表示亮度，R，G，B表示三通道光强，上标T表示转置。

进一步地，对于黑色素分量的分离，首先计算出分离矩阵：

FV＝[Egn₁，Egn₂]

上式中，V表示分离矩阵，包括黑色素分离分量V_m和血色素分离分量V_h；λ₁，λ₂分别为主成分分析法中最大的两个特征值，Egn₁，Egn₂分别为λ₁，λ₂对应的特征向量；W为利用独立成分分析法求出的分离矩阵；Λ为用来将V_m和V_h的模标准化为1的矩阵；上标T表示转置；

然后通过下式计算色素分布：

[D_m，D_h，D_shadow]^T＝[V_m，V_h，1]^-1(C^log-e^log)

γ＝min{[V_m，V_h，1]^-1C^log}

上式中，D_m，D_h，D_shadow分别为黑色素分量，血色素分量和阴影分量；上标log表示log运算；min表示取最小元素值的运算；e为自然常数；C^log表示原始图像；

表示最终图像；将黑色素分量D_m和血色素分量D_h分别设为0向量，分别得到最终只含有血色素和黑色素的分量图。

进一步地，在步骤(4)中，将提取出的黑色素色沉区域图像转化为灰度图，将像素点的灰度值设为分割阈值，进行黄褐斑区域分割。

进一步地，在步骤(5)中，首先将分割出的黄褐斑区域图像与正常的人脸皮肤区域图像进行二值化处理，然后根据下式计算黄褐斑区域在整个面部的面积占比：

上式中，P表示面积占比，A表示黄褐斑区域像素点数目，S表示面部总像素点数目。

采用上述技术方案带来的有益效果：

本发明利用训练好的人脸特征点检测模型对人脸轮廓、眉毛、眼睛等部位的特征点进行检测，然后根据检测出来的特征点对人脸图像进行区域划分，再通过黑色素提取的方法分割出人脸中的黄褐斑区域，可以为后续黄褐斑的诊治提供准确的辅助信息。

附图说明

图1是本发明的基本流程图；

图2是本发明中黑色素提取流程图；

图3是本发明中黄褐斑区域分割效果图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明设计了一种基于黑色素提取的面部黄褐斑区域自动分割方法，如图1所示，包括以下步骤：

步骤1：采集人脸图像；

步骤2：采用人脸特征点检测模型对采集的人脸图像进行面部特征点识别；

步骤3：根据识别的面部特征点信息裁剪出需要进行黄褐斑分割的人脸皮肤区域；

步骤4：对裁剪出来的人脸皮肤区域图像进行黑色素色沉区域提取，然后根据分割阈值进行黄褐斑区域的分割；

步骤5：计算黄褐斑区域的总面积，得到黄褐斑区域在整个面部的面积占比。

在本实施例中，上述步骤1可以采用如下优选方案实现：

在稳定环境下，采集待测人员人的左侧脸图像、右侧脸图像和正脸图像。具体地，为了全面获取面部区域信息，设置左、前、右三个摄像头，分别采集左侧脸、正脸、右侧脸图像，为了使图像采集环境更加稳定，将摄像头与座椅位置固定，并在座椅周围设置纯色白色背景，减少环境干扰，采集图像时，人需坐在固定的位置，保持面部与摄像机位置的相对固定。

在本实施例中，上述步骤2和3可以采用如下优选方案实现：

将采集到的左侧脸、正脸和右侧脸图像输入到预先训练好的人脸特征点检测模型中，人脸特征点检测模型可以采用深度神经网络结构，将整张图像作为网络的输入，网络的输出为人脸轮廓的特征点坐标信息。然后根据这些坐标信息，进行人脸的区域划分，将左侧脸图像部分中的左脸区域、正脸图像中的额头以及下巴区域以及右侧脸图像中的右脸区域分别裁剪出来作为黑色素提取的输入图像。

在本实施例中，上述步骤4可以采用如下优选方案实现：

首先将人脸皮肤区域图像转化为YCrCb格式，然后利用图像的Cr、Cb通道数据进行黑色素色沉区域的提取。

检测前，先用大量的样本数据进行黑色素分离效果的大量尝试，然后对黑色素提取的结果进行统计分析。然后根据分析的结果进行合适的黑色素提取程度以及提取方向的选择，以用来分割出黄褐斑区域。在黑色素提取过程中，如图2所示，先对输入图像的高光反射分量进行分离，得到漫反射分量和镜面反射分量；再对漫反射分量进行分离，得到黑色素分量、血色素分量和阴影部分分量，根据黑色素分量提取出黑色素色沉区域，由于黑色素沉淀是导致黄褐斑的重要原因，所以该黑色素色沉区域与黄褐斑皮损区域一致。

对于反射分量的分离，在双色反射模型中，反射光由镜面反射和漫反射组成：

L(λ，θ)＝L_b(λ，θ)+L_s(λ，θ)

上式中，L(λ，θ)、L_b(λ，θ)和L_s(λ，θ)分别为反射光、镜面反射分量和漫反射分量；λ为主波长，θ为入射角。

将两个反射分量分离：

L(λ，θ)＝m_bC_b+m_sC_s

上式中，C_b和C_s分别为镜面反射分量和漫反射分量的光谱能量分布，m_b和m_s为对应的比例系数；

I(x，y)＝m_bI_b+m_sI_s

上式中，I(x，y)表示像素点在坐标(x，y)处的RGB通道光强，I_b和I_s分别表示镜面反射分量和漫反射分量的光强；h(λ)为相机对入射光谱的感应函数；Ω表示整个可见光光谱段。

利用上式得到镜面反射分量和漫反射分量的光强，根据下式转换将两个反射分量的光强转化为亮度，再根据亮度分离镜面反射分量和漫反射分量：

l＝[0.3086，0.6094，0.0820]·[R，G，B]^T

上式中，l表示亮度，R，G，B表示三通道光强，上标T表示转置。

对于黑色素分量的分离，首先计算出分离矩阵：

FV＝[Egn₁，Egn₂]

上式中，V表示分离矩阵，包括黑色素分离分量V_m和血色素分离分量V_h；λ₁，λ₂分别为主成分分析法中最大的两个特征值，Egn₁，Egn₂分别为λ₁，λ₂对应的特征向量；W为利用独立成分分析法求出的分离矩阵；Λ为用来将V_m和V_h的模标准化为1的矩阵；上标T表示转置。

然后通过下式计算色素分布：

[D_m，D_h，D_shadow]^T＝[V_m，V_h，1]^-1(C^log-e^log)

γ＝min{[V_m，V_h，1]^-1C^log}

上式中，D_m，D_h，D_shadow分别为黑色素分量，血色素分量和阴影分量；上标log表示log运算；min表示取最小元素值的运算；e为自然常数；C^log表示原始图像；

表示最终图像；将黑色素分量D_m和血色素分量D_h分别设为0向量，分别得到最终只含有血色素和黑色素的分量图。

将提取出的黑色素色沉区域图像转化为灰度图，将像素点的灰度值设为分割阈值(像素点的灰度值等于125)，进行黄褐斑区域分割。黄褐斑区域分割效果如图3所示。

在本实施例中，上述步骤5可以采用如下优选方案实现：

首先将分割出的黄褐斑区域图像与正常的人脸皮肤区域图像进行二值化处理，使二者区分开来分别进行统计，然后根据下式计算黄褐斑区域在整个面部的面积占比：

上式中，P表示面积占比，A表示黄褐斑区域像素点数目，S表示面部总像素点数目。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (8)

1.一种基于黑色素提取的面部黄褐斑区域自动分割方法，其特征在于，包括以下步骤：

(1)采集人脸图像；

(2)采用人脸特征点检测模型对采集的人脸图像进行面部特征点识别；

(3)根据识别的面部特征点信息裁剪出需要进行黄褐斑分割的人脸皮肤区域；

(4)对裁剪出来的人脸皮肤区域图像进行黑色素色沉区域提取，然后根据分割阈值进行黄褐斑区域的分割；

(5)计算黄褐斑区域的总面积，得到黄褐斑区域在整个面部的面积占比。

2.根据权利要求1所述基于黑色素提取的面部黄褐斑区域自动分割方法，其特征在于，在步骤(1)中，在稳定环境下，采集待测人员的左侧脸图像、右侧脸图像和正脸图像；对应地，在步骤(3)中，左侧脸图像上裁剪出左脸皮肤区域，正脸图像上裁剪出额头和下巴的皮肤区域，右侧脸图像上裁剪出右脸皮肤区域。

3.根据权利要求1所述基于黑色素提取的面部黄褐斑区域自动分割方法，其特征在于，在步骤(3)中，首先将人脸皮肤区域图像转化为YCrCb格式，然后利用图像的Cr、Cb通道数据进行黑色素色沉区域的提取。

4.根据权利要求1所述基于黑色素提取的面部黄褐斑区域自动分割方法，其特征在于，在步骤(4)中，先对输入图像的高光反射分量进行分离，得到漫反射分量和镜面反射分量；再对漫反射分量进行分离，得到黑色素分量、血色素分量和阴影部分分量，根据黑色素分量提取出黑色素色沉区域，该黑色素色沉区域与黄褐斑皮损区域一致。

5.根据权利要求4所述基于黑色素提取的面部黄褐斑区域自动分割方法，其特征在于，对于反射分量的分离，在双色反射模型中，反射光由镜面反射和漫反射组成：

L(λ，θ)＝L_b(λ，θ)+L_s(λ，θ)

上式中，L(λ，θ)、L_b(λ，θ)和L_s(λ，θ)分别为反射光、镜面反射分量和漫反射分量；λ为主波长，θ为入射角；

将两个反射分量分离：

L(λ，θ)＝m_bC_b+m_sC_s

上式中，C_b和C_s分别为镜面反射分量和漫反射分量的光谱能量分布，m_b和m_s为对应的比例系数；

计算下式：

I(x，y)＝m_bI_b+m_sI_s

上式中，I(x，y)表示像素点在坐标(x，y)处的RGB通道光强，I_b和I_s分别表示镜面反射分量和漫反射分量的光强；h(λ)为相机对入射光谱的感应函数；Ω表示整个可见光光谱段；

利用上式得到镜面反射分量和漫反射分量的光强，根据下式转换将两个反射分量的光强转化为亮度，再根据亮度分离镜面反射分量和漫反射分量：

l＝[0.3086，0.6094，0.0820]·[R，G，B]^T

上式中，l表示亮度，R，G，B表示三通道光强，上标T表示转置。

6.根据权利要求4所述基于黑色素提取的面部黄褐斑区域自动分割方法，其特征在于，对于黑色素分量的分离，首先计算出分离矩阵：

上式中，V表示分离矩阵，包括黑色素分离分量V_m和血色素分离分量V_h；λ₁，λ₂分别为主成分分析法中最大的两个特征值，Egn₁，EgN₂分别为λ₁，λ₂对应的特征向量；W为利用独立成分分析法求出的分离矩阵；人为用来将V_m和V_h的模标准化为1的矩阵；上标T表示转置；

然后通过下式计算色素分布：

[D_m，D_h，D_shadow]^T＝[V_m，V_h，1]^-1(C^log-e^log)

γ＝min{[V_m，V_h，1]^-1C^log}

上式中，D_m，D_h，D_shadow分别为黑色素分量，血色素分量和阴影分量；上标log表示log运算；min表示取最小元素值的运算；e为自然常数；C^log表示原始图像；

表示最终图像；将黑色素分量D_m和血色素分量D_h分别设为0向量，分别得到最终只含有血色素和黑色素的分量图。

7.根据权利要求1所述基于黑色素提取的面部黄褐斑区域自动分割方法，其特征在于，在步骤(4)中，将提取出的黑色素色沉区域图像转化为灰度图，将像素点的灰度值设为分割阈值，进行黄褐斑区域分割。

8.根据权利要求1所述基于黑色素提取的面部黄褐斑区域自动分割方法，其特征在于，在步骤(5)中，首先将分割出的黄褐斑区域图像与正常的人脸皮肤区域图像进行二值化处理，然后根据下式计算黄褐斑区域在整个面部的面积占比：

上式中，P表示面积占比，A表示黄褐斑区域像素点数目，S表示面部总像素点数目。

Images