CN108492278B - 人体皮肤片图像黑色素和血色素分离与浓度调控方法 - Google Patents

Abstract

本发明公开了人体皮肤片图像黑色素和血色素分离与浓度调控方法，包括以下步骤：获取人体皮肤片RGB彩色图像，并对其R/G/B三通道的信号进行主成分分析，得到二维信号；对该二维信号，进行二层级联非负矩阵分解，得到混合矩阵，并对其做升维及统计变换处理；设计混合矩阵有效性判定约束条件，以判断分离的有效性，若无效，则中止处理过程；设计混合矩阵的权重调控因子，分别构建浓度可调的人体皮肤片黑色素或血色素浓度分布图像及综合合成图像。本发明设计了一种二层非负矩阵分解方法和混合矩阵有效性判定约束条件，解决了现有黑色素和血色素分离方法中，由于混合矩阵的不稳定性所导致的分离结果鲁棒性差的技术问题。

Description

人体皮肤片图像黑色素和血色素分离与浓度调控方法

技术领域

本发明属于数字图像处理技术领域，更具体地，涉及一种基于非负矩阵分解的人体皮肤片图像黑色素和血色素分离与浓度调控方法。

背景技术

人体皮肤由表至里可分为三大层面：表皮层、真皮层和皮下脂肪组织层。并且，通过通用的RGB摄像头拍摄的人体皮肤片图像的颜色主要受表皮层的黑色素和真皮层的血色素以及背景轮廓决定。其中，背景轮廓对皮肤图像的彩色呈现效果影响较黑色素和血色素小得多。因此，若能将皮肤中的黑色素和血色素浓度分离出来，将有助于深层次的观察人体皮肤的受损情况，对皮肤的针对性护理或治疗起到极大的帮助，具有很强的实用价值。

现有的黑色素和血色素浓度提取方法主要采用独立成分分析算法进行，如：采用经典的fastICA算法进行黑色素和血色素分离。但由于此类算法所分离出的独立成分并不具有唯一性和保序性，并且独立成分的符号可能发逆转(即：正、负无法确定)，导致结果不够稳定，如：每次运行的结果都可能不一致，或者，得到的多个独立成分会发生调换，等等。再者，目前的方法对拍摄照片的要求较高，通常会要求采用偏振光环境下进行拍摄，很少有白光环境下的公开方法。最后，目前的方法均针对整个人脸进行分析，算法复杂度较高，通常应用于专用大型设备，难以应用于小型的嵌入式设备中运用。因此，对于黑色素和血色素分离问题，还存在较大的改进提升空间。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于非负矩阵分解的人体皮肤片图像黑色素和血色素分离与浓度调控方法，其目的在于，通过运用非负矩阵分解算法，从在正常白光环境下(或偏振光环境下) 获取的人体皮肤片RGB彩色图像中分离出黑色素和血色素浓度分布结果，实现对黑色素和血色素浓度的按需调控，从而自由的构建浓度可调的黑色素和血色素浓度分布图像以及人体皮肤片综合合成图像。着重地，在本发明中，设计了二层级联非负矩阵分解方法和混合矩阵变换方法，并制定了混合矩阵有效性判定约束条件，实现了对混合矩阵的操控和有效性判断，解决了现有黑色素和血色素分离方法中，由于混合矩阵的不稳定性所导致的分离结果鲁棒性差的技术问题。同时，由于本发明中的方法复杂度较低，因而，本发明应用于小型嵌入式设备中。

为实现上述目的，按照本发明的一个方面，提供了一种基于非负矩阵分解的人体皮肤片图像黑色素和血色素分离与浓度调控方法，包括以下步骤：

(1)获取人体皮肤片RGB彩色图像；

(2)对所得人体皮肤片图像的R/G/B三通道信号进行主成分分析，并保留2个最大特征值对应的主成分信号，从而得到一个二维信号；

(3)将步骤(2)中所得的二维信号，进行二层级联非负矩阵分解，得到混合矩阵，并对其做升维及统计变换处理；

(4)根据光线在人体皮肤中的传播特性，设计混合矩阵有效性判定约束条件，以判断分离的有效性，若无效，则中止处理过程；

(5)运用以上步骤所得到的混合矩阵及原输入的人体皮肤片RGB彩色图像，结合人体皮肤成分构造原理，并设计混合矩阵的权重调控因子，分别构建浓度可调的人体皮肤片黑色素或血色素浓度分布图像和综合合成图像。

优选地，步骤(1)中使用RGB彩色图像摄像头，在偏弱的外部环境光源条件下，拍摄人体皮肤片图像照片。其中，拍摄时可在白光下进行，也可加偏振光镜片进行，但不使用紫外光等特殊波段的成像照片。

优选地，步骤(2)包括以下子步骤：

(2-1)将皮肤片图像R(红)、G(绿)、B(蓝)三通道信号重整为三个行向量信号，并将其组成一个行数为3的矩阵，记为imRGB；

(2-2)对imRGB作负Log变换，得到影射矩阵，记为imRGBLog，即：imRGBLog＝-log(imRGB)；

(2-3)对imRGBLog矩阵按行去均值，即：对矩阵的每一行求其算术平均值，再将每一行的每个元素均减去该行对应的算术平均值；

(2-4)运用经典的主成分分析算法(注：PCA(Principal Component Analysis)算法)，对去均值后的imRGBLog矩阵进行PCA降维，取前2个最大特征值对应的主成分信号，得到新的行数为2的二维矩阵信号，记为 pcaRGBLog，并得到对应的特征值矩阵和特征向量，分别记为Dpca和Epca。其中，Dpca维度为2*2，Epca维度为3*2.

优选地，步骤(3)中设计了一种二层级联操作的非负矩阵分解方法，包括以下子步骤：

(3-1)采用基本的非负矩阵分解算法(即：经典Lee-Seung算法)，对(2-4)步骤得到的pcaRGBLog二维矩阵信号进行非负矩阵分解，得到混合矩阵和基信号，分别记为A1和S1，其中，非负矩阵分解算法所需的基矩阵采用默认随机函数生成；

(3-2)以(3-1)步骤中所得的S1和A1作为输入信号和基矩阵，再次采用基本的非负矩阵分解算法，重新进行非负矩阵分解，得到新的基信号和新的混合矩阵，分别记为S2和A2；

(3-3)对混合矩阵A2进行升维，以得到PCA降维前的信号对应的混合矩阵，记为A。升维计算公式如下：

其中，inv()操作为广义逆矩阵计算，()^-1操作为矩阵的逆运算，()^T为矩阵转置运算。

优选地，步骤(4)包括以下子步骤：

(4-1)将步骤(3)中得到的混合矩阵A，按列进行模归一化；

(4-2)将列模归一化后的混合矩阵A，根据第一列元素的值，按升序对矩阵进行按行置换；

(4-3)根据黑色素和血色素在R/G/B三色中的分布特性，设计混合矩阵的有效性判定约束条件，具体如下：

约束条件1：混合矩阵A的第一个元素A(1,1)满足取值范围A(1,1)∈ [0.1,0.6]；

约束条件2：混合矩阵A的元素A(2,1)满足取值范围A(2,1)∈[0.3,0.6]；

约束条件3：混合矩阵A的元素A(1,2)不是A矩阵第二列元素中的最大值；

(4-4)若(4-3)中所有的约束条件均得到满足，则进行后续处理；否则，中止处理过程，要求重新拍摄皮肤片图像。

优选地，步骤(5)包括以下子步骤：

(5-1)设计混合矩阵的权重调控因子矩阵：

K＝dm*Km+dh*Kh,dm≥0,dh≥0

其中，dm和dh分别为黑色素和血色素的浓度调控权重系数，Km＝[1 0； 0 0]和Kh＝[0 0；0 1]分别为黑色素和血色素的浓度分离矩阵。

(5-2)人体皮肤片综合合成图像对应信号的计算公式如下：

其中，SynSkin为人体皮肤片综合合成图像对应的矩阵信号，A为混合矩阵，K为混合矩阵的权重调控因子矩阵，inv()为广义逆矩阵运算， imRGBLog为原输入RGB彩色图像的影射矩阵，b为影射矩阵的每行的最小值，i为阴影成分控制系数，I为3维对角矩阵，Epca为步骤(2-4)中所得的特征向量，()^T为转置运算；

(5-3)黑色素浓度图合成对应信号可通过(5-2)中的计算公式得到，即：令dm＝1,dh＝0,i＝0.其中，若dm为不等于1的正数，则黑色素浓度被调控，即：若dm大于1，则黑色素浓度加深，若dm小于1大于0，则黑色素浓度变浅。

(5-4)血色素浓度图合成对应信号可通过(5-2)中的计算公式得到，即：令dm＝0,dh＝1,i＝0.其中，若dh为不等于1的正数，则血色素浓度被调控，即：若dh大于1，则血色素浓度加深，若dh小于1大于0，则血色素浓度变浅。

(5-5)将(5-2)、(5-3)或(5-4)步骤中所得的合成信号的第一、二、三行分别作为R、G、B三通道的信号，按原输入RGB彩色图像的宽高像素值，将每行重整为各通道对应的矩阵，从而得到人体皮肤片综合合成图像、黑色素浓度分布图像和血色素浓度分布图像。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明运用了二层级联非负矩阵分解算法并设计了混合矩阵变换处理方法以及混合矩阵有效性判定约束条件，解决了现有黑色素和血色素分离方法中，由于混合矩阵的不稳定性所导致的分离结果鲁棒性差的技术问题；相比现有方法，本发明可获得更加稳定的黑色素和血色素浓度分离结果，并且，本发明的分离结果具有更高的准确性和一致性，因而，具有更强的实用性。

(2)本发明设计的混合矩阵变换处理方法和有效性判定约束条件，充分的考虑了皮肤组成结构原理以及皮肤光照成像特性，能够克服非负矩阵分解算法直接输出的混合矩阵的不唯一性所带来的负面影响，并且，本方法有能力排除掉非皮肤片图像，而不至于造成后续分离与合成的无效操作或无意义合成；相比现有方法，本发明的变换处理方法和约束条件使得本发明的方法更具鲁棒性。

(3)相对于现有的黑色素和血色素分离方法，本发明的方法可应用于白光环境，并且，由于本方法的计算复杂度较低，本发明的方法可部署于小型的嵌入式设备中，因此，本发明对相关机构或普通用户均更强的具有实用价值以及更好的易用性。

附图说明

图1是本发明基于非负矩阵分解的人体皮肤片图像黑色素和血色素分离与浓度调控方法的流程图；

图2a是本发明黑色素和血色素浓度分布图中原输入的人体皮肤片RGB 彩色图像；

图2b是本发明黑色素和血色素浓度分布图中合成的黑色素浓度分布图；

图2c是本发明黑色素和血色素浓度分布图中合成的血色素浓度分布图；

图3a是本发明人体皮肤片综合合成图像的黑色素浓度乘3的综合合成图像；

图3b是本发明人体皮肤片综合合成图像的血色素浓度乘3的综合合成图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的整体思路在于，提出了一种基于非负矩阵分解的人体皮肤片图像黑色素和血色素分离与浓度调控方法，该方法总体可分为三部分：一、人体皮肤片图像预处理，主要为获取人体皮肤片RGB彩色图像和独立成分分析的信号降维处理；二、非负矩阵分解及混合矩阵变换处理，主要包括对前期降维的信号进行二层级联非负矩阵分解，以得到混合矩阵，再设计混合矩阵变换处理方法和有效性判定约束条件，以得到更好的混合矩阵，或者，在不符合约束条件的情况下中止处理过程；三、构建黑色素和血色素浓度分布图像以及人体皮肤片综合合成图像，包括设计混合矩阵的权重调控因子，构建浓度可调的人体皮肤片黑色素或血色素浓度分布图像及综合合成图像。

如图1所示，本发明基于非负矩阵分解的人体皮肤片图像黑色素和血色素分离与浓度调控方法包括以下步骤：

一、人体皮肤片图像预处理，具体包括：

(1)获取人体皮肤片RGB彩色图像。具体而言，本步骤中使用RGB 彩色图像摄像头，在偏弱的外部环境光源条件下，拍摄人体皮肤片图像照片。其中，拍摄时可在白光下进行，也可加偏振光镜片进行，但不使用紫外光等特殊波段的成像照片，如图2(a)所示。

(2)对所得人体皮肤片图像的R/G/B三通道信号进行主成分分析，并保留2个最大特征值对应的主成分信号，从而得到一个二维信号；本步骤具体包括以下子步骤：

(2-1)将皮肤片图像R(红)、G(绿)、B(蓝)三通道信号重整为三个行向量信号，并将其组成一个行数为3的矩阵，记为imRGB；

(2-2)对imRGB作负Log变换，得到影射矩阵，记为imRGBLog，即：imRGBLog＝-log(imRGB)；

(2-3)对imRGBLog矩阵按行去均值，即：对矩阵的每一行求其算术平均值，再将每一行的每个元素均减去该行对应的算术平均值；

(2-4)运用经典的主成分分析算法(注：PCA(Principal Component Analysis)算法)，对去均值后的imRGBLog矩阵进行PCA降维，取前2个最大特征值对应的主成分信号，得到新的行数为2的二维矩阵信号，记为 pcaRGBLog，并得到对应的特征值矩阵和特征向量，分别记为Dpca和Epca。其中，Dpca维度为2*2，Epca维度为3*2.

二、非负矩阵分解及混合矩阵变换处理，具体包括：

(3)将步骤(2)中所得的二维信号，进行二层级联非负矩阵分解，得到混合矩阵，并对其做升维及统计变换处理；本步骤具体包括以下子步骤：

(3-1)采用基本的非负矩阵分解算法(即：经典Lee-Seung算法)，对(2-4)步骤得到的pcaRGBLog二维矩阵信号进行非负矩阵分解，得到混合矩阵和基信号，分别记为A1和S1，其中，非负矩阵分解算法所需的基矩阵采用默认随机函数生成；

(3-2)以(3-1)步骤中所得的S1和A1作为输入信号和基矩阵，再次采用基本的非负矩阵分解算法，重新进行非负矩阵分解，得到新的基信号和新的混合矩阵，分别记为S2和A2；

(3-3)对混合矩阵A2进行升维，以得到PCA降维前的信号对应的混合矩阵，记为A。升维计算公式如下：

其中，inv()操作为广义逆矩阵计算，()^-1操作为矩阵的逆运算，()^T为矩阵转置运算。

(4)根据光线在人体皮肤中的传播特性，设计混合矩阵有效性判定约束条件，以判断分离的有效性，若无效，则中止处理过程；本步骤具体包括以下子步骤：

(4-1)将步骤(3)中得到的混合矩阵A，按列进行模归一化；

(4-2)将列模归一化后的混合矩阵A，根据第一列元素的值，按升序对矩阵进行按行置换；

(4-3)根据黑色素和血色素在R/G/B三色中的分布特性，设计混合矩阵的有效性判定约束条件，具体如下：

约束条件1：混合矩阵A的第一个元素A(1,1)满足取值范围A(1,1)∈[0.1,0.6]；

约束条件2：混合矩阵A的元素A(2,1)满足取值范围A(2,1)∈[0.3,0.6]；

约束条件3：混合矩阵A的元素A(1,2)不是A矩阵第二列元素中的最大值；

(4-4)若(4-3)中所有的约束条件均得到满足，则进行后续处理；否则，中止处理过程，要求重新拍摄皮肤片图像。

三、构建黑色素和血色素浓度分布图像以及人体皮肤片综合合成图像，主要包括：

(5)运用以上步骤所得到的混合矩阵及原输入的人体皮肤片RGB彩色图像，结合人体皮肤成分构造原理，并设计混合矩阵的权重调控因子，分别构建浓度可调的人体皮肤片黑色素或血色素浓度分布图像和综合合成图像；本步骤具体包括以下子步骤：

(5-1)设计混合矩阵的权重调控因子矩阵：

K＝dm*Km+dh*Kh,dm≥0,dh≥0

其中，dm和dh分别为黑色素和血色素的浓度调控权重系数，Km＝[1 0； 0 0]和Kh＝[0 0；0 1]分别为黑色素和血色素的浓度分离矩阵。

(5-2)人体皮肤片综合合成图像对应信号的计算公式如下：

其中，SynSkin为人体皮肤片综合合成图像对应的矩阵信号，A为混合矩阵， K为混合矩阵的权重调控因子矩阵，inv()为广义逆矩阵运算，imRGBLog 为原输入RGB彩色图像的影射矩阵，b为影射矩阵的每行的最小值，i为阴影成分控制系数，I为3维对角矩阵，Epca为步骤(2-4)中所得的特征向量，()^T为转置运算；

(5-3)黑色素浓度图合成对应信号可通过(5-2)中的计算公式得到，即：令dm＝1,dh＝0,i＝0.其中，若dm为不等于1的正数，则黑色素浓度被调控，即：若dm大于1，则黑色素浓度加深，若dm小于1大于0，则黑色素浓度变浅。

(5-4)血色素浓度图合成对应信号可通过(5-2)中的计算公式得到，即：令dm＝0,dh＝1,i＝0.其中，若dh为不等于1的正数，则血色素浓度被调控，即：若dh大于1，则血色素浓度加深，若dh小于1大于0，则血色素浓度变浅。

(5-5)将(5-2)、(5-3)或(5-4)步骤中所得的合成信号的第一、二、三行分别作为R、G、B三通道的信号，按原输入RGB彩色图像的宽高像素值，将每行重整为各通道对应的矩阵，从而得到人体皮肤片综合合成图像、黑色素浓度分布图像和血色素浓度分布图像。如图2(b)和图2(c)所示，给出了图2(a)原图对应的黑色素和血色素浓度分布图的示例图(注：图2(b) 或图2(c)所示为仅含有该色素的浓度分布图)。如图3(a)和图3(b)所示，给出了图2(a)原图对应的人体皮肤片综合合成图像示例图(注：图3(a)或图 3(b)中所示仅某一种色素浓度乘3倍，另一种色素浓度保持不变)。其中，图3(b)出现的少许绿色部分，为本示例所特有，由本示例的原图背景轮廓部分的光照所引起，属于无意义的干扰因素，但并不影响整体的血色素的视角观察。从图2(c)和图3(b)中均可以明显看出原图中不太明显的两处痘胞，而从图2(c)和图3(a)中则明显展现了原图中皮肤的不太明显的黑斑点。这些结果都证实了本发明的有效性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种人体皮肤片图像黑色素和血色素分离与浓度调控方法，其特征在于，包括以下步骤：

(1)获取人体皮肤片RGB彩色图像；

(2)对所得人体皮肤片图像的R、G、B三通道信号进行主成分分析，并保留2个最大特征值对应的主成分信号，从而得到一个二维信号；包括以下子步骤：

(2-1)将皮肤片图像R(红)、G(绿)、B(蓝)三通道信号重整为三个行向量信号，并将其组成一个行数为3的矩阵，记为imRGB；

(2-2)对imRGB作负Log变换，得到影射矩阵，记为imRGBLog，即：imRGBLog＝-log(imRGB)；

(2-3)对imRGBLog矩阵按行去均值，即：对矩阵的每一行求其算术平均值，再将每一行的每个元素均减去该行对应的算术平均值；

(2-4)运用经典的主成分分析算法，即PCA算法，对去均值后的imRGBLog矩阵进行PCA降维，取前2个最大特征值对应的主成分信号，得到新的行数为2的二维矩阵信号，记为pcaRGBLog，并得到对应的特征值矩阵和特征向量，分别记为Dpca和Epca，其中，Dpca维度为2*2，Epca维度为3*2；

(3)将步骤(2)中所得的二维信号，进行二层级联非负矩阵分解，得到混合矩阵，并对其做升维及统计变换处理；其中，二层级联操作的非负矩阵分解方法，包括以下子步骤：

(3-1)采用基本的非负矩阵分解算法，对(2-4)步骤得到的pcaRGBLog二维矩阵信号进行非负矩阵分解，得到混合矩阵和基信号，分别记为A1和S1，其中，非负矩阵分解算法所需的基矩阵采用默认随机函数生成；

(3-2)以(3-1)步骤中所得的S1和A1作为输入信号和基矩阵，再次采用基本的非负矩阵分解算法，重新进行非负矩阵分解，得到新的基信号和新的混合矩阵，分别记为S2和A2；

(3-3)对混合矩阵A2进行升维，以得到PCA降维前的信号对应的混合矩阵，记为A，升维计算公式如下：

其中，inv()操作为广义逆矩阵计算，()^-1操作为矩阵的逆运算，()^T为矩阵转置运算，Dpca为步骤(2-4)中所得的特征值矩阵，Epca为步骤(2-4)中所得的特征向量；

(4)根据光线在人体皮肤中的传播特性，设计混合矩阵有效性判定约束条件，以判断分离的有效性，若无效，则中止处理过程；包括以下子步骤：

(4-1)将步骤(3)中得到的混合矩阵A，按列进行模归一化；

(4-2)将列模归一化后的混合矩阵A，根据第一列元素的值，按升序对矩阵进行按行置换；

(4-3)根据黑色素和血色素在R、G、B三色中的分布特性，设计混合矩阵的有效性判定约束条件，具体如下：

约束条件1：混合矩阵A的第一个元素A(1,1)满足取值范围A(1,1)∈[0.1,0.6]；

约束条件2：混合矩阵A的元素A(2,1)满足取值范围A(2,1)∈[0.3,0.6]；

约束条件3：混合矩阵A的元素A(1,2)不是A矩阵第二列元素中的最大值；

(4-4)若(4-3)中所有的约束条件均得到满足，则进行后续处理；否则，中止处理过程，要求重新拍摄皮肤片图像；

(5)运用以上步骤所得到的混合矩阵及原输入的人体皮肤片RGB彩色图像，结合人体皮肤成分构造原理，并设计混合矩阵的权重调控因子，分别构建浓度可调的人体皮肤片黑色素或血色素浓度分布图像和综合合成图像。

2.根据权利要求1所述的人体皮肤片图像黑色素和血色素分离与浓度调控方法，其特征在于，步骤(1)中使用RGB彩色图像摄像头，在偏弱的外部环境光源条件下，拍摄人体皮肤片图像照片。

3.根据权利要求1所述的人体皮肤片图像黑色素和血色素分离与浓度调控方法，其特征在于，步骤(5)包括以下子步骤：

(5-1)设计混合矩阵的权重调控因子矩阵：

K＝dm*Km+dh*Kh,dm≥0,dh≥0

其中，dm和dh分别为黑色素和血色素的浓度调控权重系数，Km和Kh分别为黑色素和血色素的浓度分离矩阵，

(5-2)人体皮肤片综合合成图像对应信号的计算公式如下：

其中，SynSkin为人体皮肤片综合合成图像对应的矩阵信号，A为混合矩阵，K为混合矩阵的权重调控因子矩阵，inv()为广义逆矩阵运算，imRGBLog为原输入RGB彩色图像的影射矩阵，b为影射矩阵的每行的最小值，i为阴影成分控制系数，I为3维对角矩阵，Epca为步骤(2-4)中所得的特征向量，()^T为转置运算；

(5-3)黑色素浓度图合成对应信号通过(5-2)中的计算公式得到，即：令dm＝1，dh＝0，i＝0；其中，若dm为不等于1的正数，则黑色素浓度被调控，即：若dm大于1，则黑色素浓度加深，若dm小于1大于0，则黑色素浓度变浅；

(5-4)血色素浓度图合成对应信号通过(5-2)中的计算公式得到，即：令dm＝0，dh＝1，i＝0；其中，若dh为不等于1的正数，则血色素浓度被调控，即：若dh大于1，则血色素浓度加深，若dh小于1大于0，则血色素浓度变浅；

(5-5)将(5-2)、(5-3)或(5-4)步骤中所得的合成信号的第一、二、三行分别作为R、G、B三通道的信号，按原输入RGB彩色图像的宽高像素值，将每行重整为各通道对应的矩阵，从而得到人体皮肤片综合合成图像、黑色素浓度分布图像和血色素浓度分布图像。