CN105469407B - 一种基于改进的引导滤波器的人脸图像图层分解方法 - Google Patents

Abstract

本发明提供一种基于改进的引导滤波器的人脸图像图层分解方法，对人脸图像亮度通道进行改进型引导滤波，得到人脸结构信息层，进一步差分运算得到纹理细节层。本发明对引导滤波器进行正则化因子自适应调整优化和对参数矩阵图像进行高斯模糊和腐蚀处理，使得人脸图像在不同区域获得不同滤波效果。应用于数字化妆系统，获得优异的图层分解效果，显著降低图层分解的时间复杂度。

Description

一种基于改进的引导滤波器的人脸图像图层分解方法

技术领域

本发明属于图像处理与人工智能技术领域，特别是涉及一种针对数字化妆应用的改进的引导滤波器的人脸图像图层分解方法。

背景技术

随着数字照片的普及，以及计算机技术和图像处理技术的飞速发展，利用图像处理技术给人脸图像进行数字化妆成为热点研究问题。同时，数字化妆技术在日常生活中有巨大的应用潜力。化妆品电商利用数字化妆为客户提供虚拟试用功能，化妆服务机构利用数字化妆为客户提供最佳化妆方案，人们日常生活中利用数字化妆挑选合适自己的妆容，分享图片到社交网络前利用数字化妆给自己的照片化妆等等。

目前，数字人脸化妆技术的文献为数不多。祝秀萍等人在2008年计算机与信息技术期刊上发表的论文“人脸虚拟化妆系统的研究”中提出建立化妆品颜色和肤色模型，来模拟人脸化妆效果，但只能提供一些美白、唇彩等基本效果，眼影、眼线等效果并不明显。Wai-Shun Tong等人在2007年发表的会议论文“Example-based cosmetic transfer”中提出从同一人脸化妆前和化妆后的人脸图像对中学习出化妆对人脸外观的影响，再将这个影响添加到另外一张人脸中，实现化妆转移效果。这种方法限制较多，因为对每一个想实现的化妆效果都必须要收集同一个人脸几乎相同角度的化妆前后图片，而且要求样本图像和目标图像有相似脸型和表情，甚至需要手动操作使得样本图片和目标图片的眼睛、嘴巴在相同位置，操作复杂，实用程度较低。Dong Guo等人在2009年会议论文“Digital face makeup byexample”中提出基于化妆转移思想的数字人脸化妆技术，但不再需要样本人脸化妆前后的图像对，只需要有化妆后的人脸图像。由于使用薄片扭曲形变算法对准样本人脸和目标人脸图像，因此不要求样本人脸和目标人脸脸型相似，不需担心两个人脸的五官位置对不齐。但是，该算法采用主动形状模型ASM标注特征点，这个算法准确率不够高，很多时候需要用户手动去调整特征点位置。

本发明针对基于样本模板的数字化妆应用，需要将提供妆容的样本图像的妆容信息转移到人脸图像中。要达到转移且仅转移妆容信息的效果，需要把妆容信息从样本图像中分离出来，这就需要用到图层分解技术。图层分解需要构建边缘保留平滑滤波器。本发明提出构建引导滤波器进行人脸图像的图层分解，并根据数字化妆技术的实际需求，提出改进策略，达到更好的数字化妆效果并降低算法复杂度。

发明内容

本发明的目的在于利用计算机处理方法，提供一种数字化妆的人脸图像图层分解方法，构建改进的引导滤波器，对人脸图像亮度通道进行引导滤波获得人脸结构层，在此基础上与其它色相通道融合完成人脸图像妆容信息的分离。本发明获得优秀图层分解效果的同时降低了算法的时间复杂度，显著优化了数字化妆效果。

一种基于改进的引导滤波器的人脸图像图层分解方法，其选择CIELAB颜色空间，将人脸图像分解为亮度通道L*、色相通道a*和色相通道b*，在亮度通道L*上进行改进型引导滤波，得到大尺度信息层，即人脸结构层；亮度通道L*信息减去人脸结构层得到纹理细节信息层；引导滤波器进行改进后，在不同图像区域获得不同滤波效果；a*指“红-绿”轴，b*指“黄-蓝”轴；

所述图层分解方法具体包括如下步骤：

1)进行CIELAB颜色空间转换以分离人脸图像的亮度和色相，即将人脸图像由RGB颜色空间转换到CIELAB空间：第一步进行人脸图像从RGB颜色空间到CIE XYZ空间的线性转换；第二步从XYZ空间进行非线性转换到L*a*b*空间；

2)利用引导滤波器获得人脸图像结构层，针对人脸图像数字化妆技术对引导滤波器进行改进，即考虑到人脸不同区域采取完全不同的化妆策略，自适应地调节滤波窗口半径r和正则化因子ε，使滤波窗口在人脸不同区域获得不同程度的平滑和边缘保留效果；

3)将滤波输出后的图层和CIELAB通道进行融合，完成人脸图像的细节层、结构层和色相层分解：首先，用改进的引导滤波器从亮度通道L*中分离出结构层，亮度通道L*信息减去人脸图像的结构层，得到纹理细节信息层，最后，将两个颜色通道a*和b*合并成为色相层。

该方法选择CIELAB颜色空间，将人脸图像分解为亮度通道L*、色相通道a*和色相通道b*，在亮度通道L*上进行改进型引导滤波，得到大尺度信息层，即人脸结构层；亮度通道L*信息减去人脸结构层得到纹理细节信息层；引导滤波器进行改进后，在不同图像区域获得不同滤波效果，使得数字化妆应用的图层分解效果优秀，同时显著降低图层分解的时间复杂度。

本发明采用的技术方案具体包括如下步骤：

(1)、CIELAB颜色空间转换；

(2)、引导滤波器改进及滤波；

(3)、图层分解。

所述步骤(1)是CIELAB颜色空间转换，目的是分离人脸图像的亮度和色相。将图像由RGB转换到CIELAB颜色空间，需要以下两个步骤：第一步从RGB颜色空间到CIE XYZ空间的线性转换；第二步从CIE XYZ空间进行非线性转换到L*a*b*空间。具体操作如下：

首先，将人脸图像从RGB颜色空间到CIE XYZ空间作线性转换，即：

接着，从XYZ空间进行非线性转换到L*a*b*空间，如下式所示：

式中，X_n、Y_n和Z_n是标准白光的CIE XYZ值。f代表非线性变换函数，定义为：

且δ＝6/29

所述步骤(2)是引导滤波器改进及滤波，目的是利用引导滤波器获得人脸图像的结构层，同时针对人脸图像数字化妆技术提出引导滤波的改进方案。真实化妆时，人脸不同区域采取完全不同的化妆策略。例如，皮肤区域主要是美白、遮瑕和美化肤色，需较大程度的平滑；嘴唇区域主要修饰唇色，但不改变纹理。因此，人脸不同区域要求的平滑程度完全不一样，直接应用引导滤波器，不能达到数字化妆要求的图层分解效果。因此，将引导滤波器运用到数字化妆技术中，必须对其进行改进。本发明提出针对性的引导滤波器改进策略，通过自适应地调节滤波窗口半径r和正则化因子ε，使其在图像不同区域获得不同程度的平滑和边缘保留效果。

具体操作如下：定义一个涉及引导图像I、输入的待滤波图像p和输出图像q的线性滤波过程，I和p为输入数据，两者可以相同。输出定义为：

式中，W是由引导图像I和输入的待滤波图像p共同决定的滤波核函数，i和j是像素位置索引。引导图像I与滤波输出图像q在局部区域内存在着一个简单的线性模型，即在局部区域滤波输出图像q的像素值可以由引导图像I在对应位置的像素值的线性变换获得，如下式所示：

式中，ω_k代表以像素k为中心的滤波窗口，a_k和b_k是线性因子，其数值与其所在的窗口ω_k有关。引导滤波器采用的滤波窗口是半径为r的方形窗。式q_i＝a_kI_i+b_k对空间进行求导可得：▽q＝a▽I。由此知，式q_i＝a_kI_i+b_k定义的局部线性模型，确保了当且仅当引导图像I中含有边缘的时候，输出图像q有边缘。通过最小化输入待滤波图像与输出图像直接的差异求模型中的线性因子，即使得的值最小。将式q_i＝a_kI_i+b_k代入得：

式中，ε是为了避免参数a_k的取值太大而引入的正则化参数。最小化得：

其中，μ_k和σ_k ²分别代表引导图像I在窗口ω_k中所有像素的均值和方差，|ω|代表窗口ω_k中的像素点的数量，代表输入的待滤波图像p在窗口ω_k中所有像素值的均值。

这个局部线性模型会逐像素运用到整张输入待滤波图像中，所以图像中的每个像素都可能被包含在多个局部窗口中，而不同窗口的线性因子a_k和b_k的值不一样，因此可以由式q_i＝a_kI_i+b_k计算出来多个不同的q_i值，即输出图像的同一个像素位置可能会有多个不同的值。本发明采取求平均值策略，取所有可能的q_i值的平均，作为最后的输出像素值。因此，把和代入到q_i＝a_kI_i+b_k中，并对多个窗口取平均，求得：

考虑到真实化妆情况下，人脸的不同区域采取完全不同的化妆策略，因此，通过控制r或者ε的大小，使其在图像不同区域获得不同程度的平滑和边缘保留效果。将正则化因子ε改为与像素位置有关的可变参数β。β的作用是将人脸图像区分为脸部皮肤、眉毛和其他人脸区域三个部分。本发明直接对这三个区域的β参数取不同的值，即β_i∈皮肤＝1，β_i∈眉毛＝0.7，β_i∈其他＝0。这种差异化的β参数的矩阵图像在不同人脸区域之间不能平滑过渡，得出的数字化妆效果在各个区域边界可能会出现瑕疵。本发明进一步对β矩阵进行高斯模糊和腐蚀处理，使得它在值较低的区域有一定的边界扩张，满足不同的人脸区域之间平滑过渡的要求，同时确保图像边界锐度。

引入β参数，替换中的固定参数ε，可得：

最小化可得：

式中，为β_i在窗口ω_k中的均值。这样获得了平滑度可以根据基于位置的参数变化的引导滤波器。

所述步骤(3)是图层分解，具体操作为：L*通道进行改进型引导滤波后得到大尺度信息层，用于代表人脸结构层，L*层减去人脸结构层则可以得到纹理细节信息层。a*和b*通道组成色相层。

本发明的基本原理是：利用引导滤波器并加以改进实现优异的人脸图像图层分解效果，降低算法时间复杂度，优化人脸图像的数字化妆效果。利用改进的引导滤波器实现图层分解主要包括三个步骤，分别是CIELAB颜色空间转换、引导滤波器改进及滤波、图层分解分离人脸图像妆容信息等。

本发明与已有方法相比，具有如下的优点和有益效果：

(1)、改进的引导滤波器实现了对CIELAB颜色空间中亮度层的边缘保留平滑，从而将亮度层分解为结构层和细节层；

(2)、改进的引导滤波器有更小的时间复杂度；

(3)、改进的引导滤波器的应用使得基于样本模板的数字化妆算法更具实用性；

(4)、使基于样本模板的数字化妆算法获得了相当好的分辨率扩展性。

附图说明

图1是本发明的图层分解流程图；

图2是本发明的β参数的矩阵图像；

图3是本发明的腐蚀和高斯模糊后的β参数矩阵图像。

具体实施方式

以上内容已经对本发明要求保护的技术方案作了详细的充分说明，下面再结合附图对本发明做进一步的说明，实施本发明所用是移动智能终端，在苹果公司iOS平台下实现。采用基于客户端-服务器(client-server)架构，因此包括基于iOS平台的移动客户端，和基于微软公司Windows平台的服务器两个主要部分。在服务器端，用程序语言C#编写Windows Server，主要负责会话管理、基于样本模板的数字化妆的算法调用和数据库管理等。在基于iOS平台的客户端，用程序语言Objective-C编写移动端应用程序，负责图像搜集、数据传输和用户交互等。

本发明的人脸图像图层分解流程如附图1所示，将图像从原始RGB空间转换到CIELAB颜色空间后，在L*通道中进行引导滤波，得到大尺度信息层，用于代表人脸结构，L*层减去人脸结构层得到纹理细节信息层。a*和b*通道合成人脸图像的色相层。

本发明的参数矩阵图像如附图2所示，在引导滤波器中引入自适应正则化因子ε，即改为与像素位置有关的可变参数β。将人脸图像区分为脸部皮肤、眉毛和其他人脸区域三个部分，区别性地确定参数β。本发明直接对这三个区域的β参数取不同的值，分别为β_i∈皮肤＝1，β_i∈眉毛＝0.7，β_i∈其他＝0，获得如附图2所示的β参数矩阵图像。但是，这样得到的β参数矩阵图像在不同人脸区域之间并不能平滑过渡，因此得出的数字化妆效果在各个区域边界可能会出现瑕疵。

本发明的腐蚀和高斯模糊后的β参数矩阵图像如附图3所示，对β矩阵进行高斯模糊和腐蚀处理，使它在值较低的区域有一定的边界扩张，从而满足在不同人脸区域之间平滑过渡的要求，同时确保图像边界的锐度。本发明用腐蚀算法和高斯模糊算法对β矩阵处理后的β参数矩阵图像如附图3所示。

Claims (3)

1.一种基于改进的引导滤波器的人脸图像图层分解方法，其特征在于选择CIELAB颜色空间，将人脸图像分解为亮度通道L*、色相通道a*和色相通道b*，在亮度通道L*上进行改进型引导滤波，得到大尺度信息层，即人脸结构层；亮度通道L*信息减去人脸结构层得到纹理细节信息层；引导滤波器进行改进后，在不同图像区域获得不同滤波效果；a*指“红-绿”轴，b*指“黄-蓝”轴；

所述图层分解方法具体包括如下步骤：

1)进行CIELAB颜色空间转换以分离人脸图像的亮度和色相，即将人脸图像由RGB颜色空间转换到CIELAB空间：第一步进行人脸图像从RGB颜色空间到CIE XYZ空间的线性转换；第二步从XYZ空间进行非线性转换到L*a*b*空间；

2)利用引导滤波器获得人脸图像结构层，针对人脸图像数字化妆技术对引导滤波器进行改进，即考虑到人脸不同区域采取完全不同的化妆策略，自适应地调节滤波窗口半径r和正则化因子ε，使滤波窗口在人脸不同区域获得不同程度的平滑和边缘保留效果；具体操作如下：

首先定义引导图像I，输入图像p和输出图像q，I和p为输入数据，再定义一个涉及引导图像I、输入待滤波图像p和输出图像q的线性滤波过程，即：

式中，i和j是像素位置索引，W_ij表示像素位置索引ij对应的滤波核函数值，W是由引导图像I和输入图像p共同决定的滤波核函数；p_j,q_i表示待滤波图像p和输出图像q在位置索引ij的像素值；假定引导图像I与滤波输出图像q在局部区域内存在一个线性模型，即在局部区域滤波输出图像q的像素值可以由引导图像I在对应位置的像素值的线性变换获得，即：

q_i＝a_kI_i+b_k,

式中，ω_k代表以像素k为中心的滤波窗口，a_k和b_k是线性因子，其数值与其所在的滤波窗口ω_k有关；引导滤波器采用的滤波窗口是半径为r的方形窗；式q_i＝a_kI_i+b_k对空间进行求导可得由此知，式q_i＝a_kI_i+b_k定义的局部线性模型，确保了当且仅当引导图像I中含有边缘的时候，输出图像q有边缘；通过最小化输入待滤波图像与输出图像直接的差异求模型中的线性因子，即使得的值最小，将式q_i＝a_kI_i+b_k代入得：

式中，ε是为了避免参数a_k的取值太大而引入的正则化因子，其取值根据应用调节；最小化得：

其中，μ_k和σ_k ²分别代表引导图像I在窗口ω_k中所有像素的均值和方差，|ω|代表窗口ω_k中的像素点的数量，代表输入的待滤波图像p在窗口ω_k中所有像素值的均值；

鉴于所述局部线性模型会逐像素运用到整张输入待滤波图像中，所以图像中的每个像素都可能被包含在多个局部窗口中，而不同窗口的线性因子a_k和b_k的值不一样，因此可以由式q_i＝a_kI_i+b_k计算出来多个不同的q_i值，也就是说输出图像的同一个像素位置可能会有多个不同的值，因此采取所有可能q_i值取平均值的策略，作为最后的输出像素值，把和代入到q_i＝a_kI_i+b_k中，并对多个窗口取平均，求得其中，

真实化妆情况下，人脸不同区域采取不同化妆策略，对引导滤波器进行改进，通过控制r或者ε的大小来控制不同人脸区域的平滑程度和边缘保持效果；将正则化因子ε改为与像素位置有关的可变参数β，β的作用是将人脸图像区分为脸部皮肤、眉毛和其他人脸区域三个部分；直接对这三个区域的β参数取不同的值，分别为β_i∈皮肤＝1，β_i∈眉毛＝0.7，β_i∈其他＝0，同时，差异化β参数的矩阵图像在不同人脸区域之间不能平滑过渡，得出的数字化妆效果在各个区域边界可能会出现瑕疵，因此对β矩阵进行模糊和腐蚀处理，使得它在其值调低到使数字化妆区域有边界扩张现象，以满足在不同的人脸区域之间平滑过渡的要求，同时确保图像边界的锐度；具体是引入β参数，替换式中的固定参数ε，则可得到：

最小化可得：

其中，为β_i在窗口ω_k中的均值，这样就获得了平滑度可以根据基于位置的参数变化的引导滤波器；

3)将滤波输出后的图层和CIELAB通道进行融合，完成人脸图像的细节层、结构层和色相层分解：首先，用改进的引导滤波器从亮度通道L*中分离出结构层，亮度通道L*信息减去人脸图像的结构层，得到纹理细节信息层，最后，将两个颜色通道a*和b*合并成为色相层。

2.根据权利要求1所述的一种基于改进的引导滤波器的人脸图像图层分解方法，其特征在于所述步骤1)的具体操作如下：第一步将人脸图像从RGB颜色空间到CIE XYZ空间作线性转换，即：

式中R、G、B分别表示RGB颜色空间的三个通道，X、Y、Z分别表示CIE XYZ颜色空间的三个通道；第二步从CIE XYZ空间进行非线性转换到L*a*b*空间，转换公式如下：

式中，X_n、Y_n和Z_n是标准白光的CIE XYZ值；t代表函数自变量，f代表非线性变换函数，即：

3.根据权利要求1所述的一种基于改进的引导滤波器的人脸图像图层分解方法，其特征在于所述步骤3)具体操作为：对L*进行改进型引导滤波后得到大尺度信息层，用于代表人脸结构层，L*层减去人脸结构层则可以得到纹理细节信息层，a*和b*通道组成色相层。