CN106845455A - 基于肤色检测的图像处理方法、系统及服务器 - Google Patents

Abstract

本发明提供一种基于肤色检测的图像处理方法、系统及服务器，所述基于肤色检测的图像处理方法包括以下步骤：将原始图像转换至指定色彩空间，以区分出适于检测肤色的第一肤色区域；对所述第一肤色区域进行优化处理，以提取优化后的第二肤色区域；对所述第二肤色区域进行色温估计及白平衡校正，以获取经过白平衡处理的图像。本发明计算复杂度低可有效提高增益校正因子的准确度，并能有效的减小图像显示的功耗。

Description

基于肤色检测的图像处理方法、系统及服务器

技术领域

本发明属于图像处理技术领域，涉及一种处理方法及系统，特别是涉及一种基于肤色检测的图像处理方法、系统及服务器。

背景技术

人类视觉系统能在与光源无关下分辨物体的颜色，这被称为色彩恒常性。实现计算色彩恒常性很重要对于诸如图像增强等很重要，此外也会提升图像质量。计算色彩恒常性时最重要的步骤就是光源色彩估计。随后进行色度调节，以此来减小由于在非标准光源下拍摄图像所引起的色彩偏差，达到平衡图像色彩的目的。在Lambertian假设下，一幅图像f由以下部分组成：

其中，c表示色彩通道，x表示所给图像像素，λ表示光源的波长波长，w表示可见光谱，I(λ)表示光源的光谱分布，R(x,λ)表示表面反射，ρ_c(λ)表示相机对c-th色彩通道的灵敏度。假设在标准光源的下，所观测到光源色彩e可由下式计算：

但是I(λ)和ρ(λ)大多数情况都是未知的，因此计算光源色彩e是一个不适定的问题，解决它还需要其他的假设。调节图像的色彩恒常性一般采用自动白平衡(AWB)算法。在过去几十年中，许多研究人员提出了诸多不同方式的AWB算法，其中大多数基于某些特定的假设和要求。AWB算法大致分为两大类，其一为灰度世界算法(Gray-world)。灰色世界算法是一个历史悠久非常著名的算法，它假设在自然光源下的场景中的平均反射是无色差的，即R，G和B通道的所有像素灰度值接近相等，并且整幅图像各个通道中的颜色平均值为灰色。由于灰色世界假定场景的颜色由足够的且各种颜色组成，如果在场景中存在单一颜色的大块取悦或某些主要颜色(例如面部，草地和海)，则灰色世界算法将有较大的误差。另外一种白平衡算法称为完美反射(White-Patch)算法。它的基本原理是假设观察到的具有最大灰度值的像素必须对应于场景中为白色的点。由图像中的R，G和B通道的灰度最大值，计算光源的色度，便能有效地计算图像的色彩偏差。根据White-Patch假设，只有完全反射才会有颜色通道的最大响应，而这在类似镜面的光泽表面才能达到。这个算法和Gray-World一样简单，并且会有较为良好的AWB效果。但是在场景中亮度不足或光滑表面不存在的情况下，它将是无效的。针对这个缺陷，许多研究人员提出了许多改进的算法。虽然White-Patch算法修改了Gray-World方法的缺陷，但是当图像中存在大量明亮像素时，还是不可避免存在色彩校正错误的问题。

大多数白平衡算法或多或少都基于一些假设，这使得它们局限于只在某些特定条件下才适用。为了提高算法的鲁棒性，一些研究人员组合不同的方法来实现白平衡。针对灰色世界和White-Patch方法的缺陷，E.Lam对它们各自的结果做二次映射，调整实际像素的值，此方法优势明显并且增强白平衡的处理效果。V.Cardei提出一种基于线性和非线性方法，结合了灰色世界、白色补丁和神经网络算法，通过对处理图像的加权平均，并根据最小均方优化权重，仅通过图像数据就能更精确地估计出光源的色度。相反A.Gijsenij不是组合多种算法的输出到以达到更精确的色度估计，而是使用图像的某些统计特性来识别彩色图像的最重要的特征，并且为特定图像选择适当的颜色恒常算法。显然，这些与那些现有技术中的单个算法相比，这种组合大大提高了算法性能。

因此，如果提供一种基于肤色检测的图像处理方法、系统及服务器，以解决现有技术中在图像中存在大量明亮像素时，仍不可避免存在色彩校正错误，以导致仍无法适用于所有场景等缺陷，实已成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于肤色检测的图像处理方法、系统及服务器，用于解决现有技术中在图像中存在大量明亮像素时，不可避免存在色彩校正错误，以导致仍无法适用于所有场景的问题。

为实现上述目的及其他相关目的，本发明一方面提供一种基于肤色检测的图像处理方法，所述基于肤色检测的图像处理方法包括以下步骤：将原始图像转换至指定色彩空间，以区分出适于检测肤色的第一肤色区域；对所述第一肤色区域进行优化处理，以提取优化后的第二肤色区域；对所述第二肤色区域进行色温估计及白平衡校正，以获取经过白平衡处理的图像。

于本发明的一实施例中，所述指定色彩空间为YCbCr色彩空间。

于本发明的一实施例中，根据所述YCbCr色彩空间中图像像素Cb色度分量、Cr色度分量区分适于检测肤色的第一肤色区域。

于本发明的一实施例中，检测适于检测肤色的第一肤色区域的步骤包括：将图像像素Cb色度分量、Cr色度分量组成色度分量矩阵；以色度分量矩阵为特征向量，原始图像的二维欧式空间为特征空间；其中，所述特征空间中的肤色分布满足二维正态分布；该二维正态分布中包括均值向量和协方差矩阵；计算色度分量矩阵中每一像素点与所述均值向量的马氏距离，以建立肤色检测模型；根据所建立的肤色检测模型和马氏距离的距离判断阈值，判断每一像素点的马氏距离是否小于等于所述距离判断阈值；若是，则判定该像素点为肤色像素，并将判定为肤色像素点组成的区域，标识为第一肤色区域；若否，则判定该像素点为非肤色像素，并将判定为非肤色像素点组成的区域，标识为非肤色区域；其中，所述第一肤色区域与非肤色区域组成第一肤色二值图像。

于本发明的一实施例中，所述对所述第一肤色区域进行优化处理的步骤为采用形态学运算对检测出来的第一肤色二值图像进行优化处理，提取优化后的第二肤色区域，形成于所述第二肤色区域对应的第二肤色二值图像。

于本发明的一实施例中，在对所述第二肤色区域进行色温估计及白平衡校正的步骤之前，所述基于肤色检测的图像处理方法还包括采用双边滤波对第二肤色二值图像中第二肤色区域进行肤色平滑处理；其中，经过肤色平滑处理后的第二肤色区域适于色温估计。

于本发明的一实施例中，所述对所述第二肤色区域进行色温估计及白平衡校正的步骤包括：判断肤色平滑处理后的第二肤色区域中每一图像像素Cb色度分量、Cr色度分量是否位于预定色度分量分布区间内；若该图像像素位于预定色度分量分布区间内，则获取用于计算该第二肤色区域是否需要进行白平衡处理的第一判定阈值，若该图像像素未位于预定色度分量分布区间内，则获取用于计算该第二肤色区域是否需要进行白平衡处理的第二判定阈值；根据所述第一判定阈值和第二判定阈值，计算第二肤色区域是否需要进行白平衡处理的阈值判断因子；判断所述阈值判断因子是否大于预设阈值；若是，表示肤色平滑处理后的第二肤色区域无需进行白平衡处理；若否，表示肤色平滑处理后的第二肤色区域需进行白平衡处理。

于本发明的一实施例中，对肤色平滑处理后的第二肤色区域进行白平衡处理的步骤包括：计算肤色平滑处理后的第二肤色区域中每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值；根据每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值，计算与Cb色度分量对应的第一增益校正因子、Cr色度分量对应的第二增益校正因子，及与亮度分量对应的第三增益校正因子；分别利用所述第一增益校正因子校正所述YCbCr色彩空间中图像像素Cb色度分量，利用所述第二增益校正因子校正所述YCbCr色彩空间中图像像素Cr色度分量，及利用所述第三增益校正因子，以获取经过白平衡处理的图像。

本发明另一方面提供一种基于肤色检测的图像处理系统，所述基于肤色检测的图像处理系统包括：区分模块，用于将原始图像转换至指定色彩空间，以区分出适于检测肤色的第一肤色区域；优化模块，用于对所述第一肤色区域进行优化处理，以提取优化后的第二肤色区域；处理模块，用于对所述第二肤色区域进行色温估计及白平衡校正，以获取经过白平衡处理的图像。

于本发明的一实施例中，所述指定色彩空间为YCbCr色彩空间；所述检测模块根据所述YCbCr色彩空间中图像像素Cb色度分量、Cr色度分量区分适于检测肤色的第一肤色区域。

于本发明的一实施例中，所述处理模块包括用于采用双边滤波对第二肤色二值图像中第二肤色区域进行肤色平滑处理的预处理模块；其中，经过肤色平滑平滑处理后的第二肤色区域适于色温估计。

于本发明的一实施例中，所述检测模块用于将图像像素Cb色度分量、Cr色度分量组成色度分量矩阵；以色度分量矩阵为特征向量，原始图像的二维欧式空间为特征空间；其中，所述特征空间中的肤色分布满足二维正态分布；该二维正态分布中包括均值向量和协方差矩阵；计算色度分量矩阵中每一像素点与所述均值向量的马氏距离，以建立肤色检测模型；根据所建立的肤色检测模型和马氏距离的距离判断阈值，判断每一像素点的马氏距离是否小于等于所述距离判断阈值；若是，则判定该像素点为肤色像素，并将判定为肤色像素点组成的区域，标识为第一肤色区域；若否，则判定该像素点为非肤色像素，并将判定为非肤色像素点组成的区域，标识为非肤色区域；其中，所述第一肤色区域与非肤色区域组成第一肤色二值图像。

于本发明的一实施例中，所述优化模块用于采用采用形态学运算对检测出来的第一肤色二值图像进行优化处理，提取优化后的第二肤色区域，形成于所述第二肤色区域对应的第二肤色二值图像。

于本发明的一实施例中，所述处理模块包括：第一处理单元，用于判断第二肤色区域中每一图像像素Cb色度分量、Cr色度分量是否位于预定色度分量分布区间内；若该图像像素位于预定色度分量分布区间内，则获取用于计算该第二肤色区域是否需要进行白平衡处理的第一判定阈值，若该图像像素未位于预定色度分量分布区间内，则获取用于计算该第二肤色区域是否需要进行白平衡处理的第二判定阈值；根据所述第一判定阈值和第二判定阈值，计算第二肤色区域是否需要进行白平衡处理的阈值判断因子；判断所述阈值判断因子是否大于预设阈值；若是，表示肤色平滑处理后的第二肤色区域无需进行白平衡处理；若否，表示肤色平滑处理后的第二肤色区域需进行白平衡处理。

于本发明的一实施例中，所述处理模块还包括与所述第一处理单元连接的第二处理单元，用于计算肤色平滑处理后的第二肤色区域中每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值；根据每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值，计算与Cb色度分量对应的第一增益校正因子、Cr色度分量对应的第二增益校正因子，及与亮度分量对应的第三增益校正因子；分别利用所述第一增益校正因子校正所述YCbCr色彩空间中图像像素Cb色度分量，利用所述第二增益校正因子校正所述YCbCr色彩空间中图像像素Cr色度分量，及利用所述第三增益校正因子对原始图像的Y亮度分量、Cb色度分量、Cr色度分量进行校正，以获取经过白平衡处理的图像。

本发明又一方面提供一种服务器，所述服务器包括所述的基于肤色检测的图像处理系统。

如上所述，本发明的基于肤色检测的图像处理方法、系统及服务器，具有以下有益效果：

本发明所述的基于肤色检测的图像处理方法、系统及服务器在计算上并不复杂，也没有像其他算法一样有很多自适应的循环检测或者运算，极大程度上减小了算法复杂度。此外本发明通过对识别的肤色区域进行滤除噪声等相关运算，能够有效提高增益校正因子的准确度，最后得到经过调节的自动白平衡算法具有优秀的显示效果。另外，本发明中考虑到了功耗的问题，在求色度校正因子的同时，相应的得到亮度校正因子，有效的减小图像显示的功耗。

附图说明

图1显示为本发明的基于肤色检测的图像处理方法于一实施例中的流程示意图。

图2显示为本发明的步骤S1中区分出第一肤色区域步骤的流程示意图。

图3显示为本发明的步骤S7的流程示意图。

图4显示为本发明的步骤S75的流程示意图。

图5显示为本发明的基于肤色检测的图像处理系统于一实施例中的原理结构示意图。

图6显示为本发明的服务器于一实施例中的原理结构示意图。

元件标号说明

1 基于肤色检测的图像处理系统

11 区分模块

12 优化模块

13 处理模块

130 预处理单元

131 第一处理单元

132 第二处理单元

2 服务器

S1～Sn 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明基于肤色检测的图像处理方法、系统及服务器的技术原理为：

通过一个精确的肤色检测器来识别出输入图像的肤色信息。肤色检测器可以识别出图像中的任何肤色区域。如果图像中没有肤色区域，那输入图像可以采用目前主流的任何自动白平衡算法来进行色偏调节。检测到肤色区域之后对肤色区域进行双边滤波处理，这可以对肤色区域进行平滑处理，滤除其中的异常点(例如由噪声引起的黑点或者斑点等等)，而且能很好的保留边缘信息。以上对肤色区域的预处理完成后，可以通过判断肤色区域的色偏程度来估计光源色温，通过求得的增益对图像进行最后的色偏校正。

实施例一

本实施例提供一种基于肤色检测的图像处理方法，所述基于肤色检测的图像处理方法包括以下步骤：

将原始图像转换至指定色彩空间，以区分出适于检测肤色的第一肤色区域；

对所述第一肤色区域进行优化处理，以提取优化后的第二肤色区域；

对所述第二肤色区域进行色温估计及白平衡校正，以获取经过白平衡处理的图像。

以下将结合图示对本实施例所提供的基于肤色检测的图像处理方法进行详细描述。请参阅图1，显示为基于肤色检测的图像处理方法于一实施例中的流程示意图。如图1所示，所述基于肤色检测的图像处理方便具体包括以下几个步骤：

S1，将原始图像转换至指定色彩空间，以区分出适于检测肤色的第一肤色区域。进行肤色检测之前需要选择合适的色彩空间。根据在图像中人类皮肤与背景的色彩分布有着明显区别，通常使用图像像素的色度分量而不是亮度分量进行肤色检测。一方面是因为不同种族的肤色差异(例如，黑人与白人)主要是由亮度差异的区别引起的，而不是色度分量；另一原因则是仅考虑色度分量，图像的特征空间从三维减少到二维，可以降低肤色检测的计算复杂度。现可利用不同的色彩空间进行肤色检测，例如YCbCr，HSV，CIE Lab，归一化RGB色彩空间等。然而这些色彩空间有一定的不足，比如在RGB色彩空间中，亮度分量和色度分量未区分，而且特征空间是三维的，而不是肤色检测所需要的二维特征空间。而对于HSV和CIE Lab，它们与RGB的色彩空间转换是非线性的，而输入图像大部分是RGB格式，需要额外的色彩空间非线性转换模块，这会极大增加算法时间成本。因此，在本实施例中所述指定色彩空间采用YCbCr色彩空间，根据所述YCbCr色彩空间中图像像素Cb色度分量、Cr色度分量区分适于检测肤色的第一肤色区域。采用YCbCr色彩空间一方面因为它对人类肤色建模非常有效，色度分量和亮度分量有着明显的区分，另一方面是因为数字视频和图像通过YCbCr色彩空间来编码和存储的，所以通过采用YCbCr色彩空间的图像不需要色彩空间转换，可以直接进行显示或者存储。

在本实施例中，区分出适于检测肤色的第一肤色区域的原理是根据肤色与非肤色区域的马氏距离不同进行检测。请参阅图2，显示为步骤S1中区分出第一肤色区域步骤的流程示意图。如图2所示，所述区分出适于检测肤色的第一肤色区域的步骤具体包括以下几个步骤：

S21，将图像像素Cb色度分量、Cr色度分量组成色度分量矩阵。

具体地，输入图像记为I，图像像素尺寸为N*M，所识别的肤色图像记为F。输入图像的肤色和非肤色区域分别用A_S和表示。根据第一小节中的分析，采用YCbCr色彩空间来进行肤色检测，即根据图像像素的Cb、Cr色度分量来识别肤色区域。图像像素的色度分量用矩阵C表示，记为C＝(c_ij)_N*M,其中c_ij＝[cb_ij,cr_ij]^T；i∈[1,N],j∈[1,M]。

S22，以色度分量矩阵C为特征向量，原始图像的二维欧式空间R²为特征空间；其中，所述特征空间中的肤色分布满足二维正态分布该二维正态分布中包括均值向量μ_S和协方差矩阵Σ_S。μ_S、Σ_S可在训练图片集中对肤色像素估计得到。

S23，计算色度分量矩阵中每一像素点与所述均值向量的马氏距离，以建立肤色检测模型。

具体地，从c到μ_S的马氏距离D，D＝(d_ij)_N×M。其中，d_ij用公式(3)表示。

其中，公式(3)表示恒定密度的椭圆曲线，且d_ij为相应的常数。椭圆的主轴位Σ_S的特征向量，特征值轴的长度为Σ_S的特征值。d_ij的大小与像素的类别有关，即不同的椭圆曲线对应着不同的d_ij，若是肤色区域则d_ij比较小，反之亦然。公式(3)将二维特征空间映射到一维距离空间。

S24，根据公式(3)所建立的肤色检测模型，选取马氏距离D的距离判断阈值T_d，判断每一像素点的马氏距离是否小于等于所述距离判断阈值T_d；若是，则执行步骤S25；若否，则执行步骤S26。

S25，当某个像素的马氏距离小于等于所述距离判断阈值T_d，判定该像素点为肤色像素，并将判定为肤色像素点组成的区域，标识为第一肤色区域S，输入待处理图像I。

S26，判定该像素点为非肤色像素，并将判定为非肤色像素点组成的区域，标识为非肤色区域；其中，所述第一肤色区域与非肤色区域组成第一肤色二值图像I_f。

S3，对所述第一肤色区域进行优化处理，以提取优化后的第二肤色区域。在本实施例中，为了提高所识别的第一肤色区域中肤色像素的比例，采用采用形态学运算对检测出来的第一肤色二值图像I_f进行优化处理，提取优化后的第二肤色区域S’，形成于所述第二肤色区域S’对应的第二肤色二值图像I′_f。通常形态学图象处理表现为一种邻域(即结构元素，Structure Element)运算形式，在每个象素位置上它与二值图象对应的区域进行特定的逻辑运算，逻辑运算的结果为输出图像的相应像素。形态学运算的效果取决于结构元素的大小、内容以及逻辑运算的性质。常见的形态学运算有腐蚀、膨胀、开运算、闭运算等。

所述闭运算可以填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积的特点，而闭运算是先膨胀后腐蚀的过程，在本实施例中，采用不同结构元素的先膨胀后腐蚀的闭运算对检测出的第一肤色二值图像I_f进行处理。具体过程为：首先通过膨胀将与物体接触的所有背景点合并到该物体中，使边界向外部扩张，填补物体中的空洞。因此以平滑肤色边缘为目的取四邻域作为膨胀运算的结构元素。其次，通过腐蚀消除边界小且无意义的点，使边界向内部收缩。因此以肤色区域向内收缩为目的取八邻域作为腐蚀运算的结构元素。对识别的肤色二值图像I_f进行“闭运算”运算之后，得到优化后肤色区域，记为第二肤色区域S′，形成于所述第二肤色区域S’对应的第二肤色二值图像I′_f。

S5，采用双边滤波对第二肤色二值图像中第二肤色区域S’进行肤色平滑处理；其中，经过肤色平滑处理后的第二肤色区域适于色温估计。由于肤色区域内部的噪声影响，并不能立即根据提取到肤色区域进行色温估计，需要对肤色进行平滑处理。双边滤波是一种非线性的滤波方法，结合空间信息和亮度相似性对图像进行滤波处理，在平滑滤波的同时能大量保留图像的边缘和细节特征。双边滤波如公式(4)所示：

其中，f为输入肤色区域图像，为输出图像，Ω是以像素点x为中心的邻域窗口，w(x,y)为滤波核。双边滤波的滤波核由空域核与值域核ψ(x,y)两部分的乘积组成，如公式(5)所示。

两个滤波核通常都采用高斯函数的形式，由下列公式(6)给出：

其中σ_d为空域高斯函数的标准差，σ_r为值域高斯函数的标准差。空域滤波系数由像素间的空间距离决定，距离越小，系数越大。值域滤波系数由像素间的相似度决定，像素灰度值越接近，系数越大。在灰度变化平缓区域，值域滤波系数接近1，此时空域滤波起主要作用，双边滤波器退化为传统的高斯低通滤波器，对图像进行平滑操作。而在图像变化剧烈的部分(即图像边缘)，像素间差异较大，值域滤波起主要作用，因而能保持边缘信息。经过双边滤波平滑处理后的肤色平滑处理后的第二肤色区域表示为S′_b，二值图像表示为I′_fb。在本实施例中，对识别的肤色进行了噪声滤波和相关平滑处理，这有助于极大提升光源色温估计的准确度。

S7，对所述第二肤色区域，即对肤色平滑处理后的第二肤色区域S′_b进行色温估计及白平衡校正，以获取经过白平衡处理的图像。请参阅图3，显示为步骤S7的流程示意图。如图3所示，步骤S7具体包括以下几个步骤：

S71，判断肤色平滑处理后的第二肤色区域中每一图像像素Cb色度分量、Cr色度分量是否位于预定色度分量分布区间内；若该图像像素位于预定色度分量分布区间内，则执行步骤S72，若该图像像素未位于预定色度分量分布区间内，则执行步骤S73。在本实施例中，根据肤色来进行图像色差调节的原理是肤色与背景的色彩分布相比有着明显的区别，肤色在色彩空间中有明显的聚类。在本发明选取的YCbCr色彩空间中，预定色度分量分布区间W为：W:133<Cr<177；77<Cb<127；156.8<Cb+0.6Cr<190。因此，可以通过计算所识别肤色的色度分量CbCr是否属于W内或者在W内的分布情况来求解色温增益。

S72，获取用于计算该第二肤色区域是否需要进行白平衡处理的第一判定阈值Th1，第一判定阈值Th1为1。

S73，获取用于计算该第二肤色区域是否需要进行白平衡处理的第二判定阈值Th2，第二判定阈值Th2为0。

S74，根据所述第一判定阈值Th1和第二判定阈值Th2，计算第二肤色区域是否需要进行白平衡处理的阈值判断因子Th。在本实施例中，第二肤色区域是否需要进行白平衡处理的阈值判断因子Th的计算公式如公式(7)。

其中n为所识别肤色中的像素个数。输入图像是否需要进行白平衡处理可以用阈值判断因子Th进行检测，Th的值可以通过数据集训练得到。本发明的肤色检测准确度高，取Th大于80％或者85％时输入图像不需要白平衡处理；反之输入图像存在色偏，需要进行白平衡增益估计和校正。

S75，对经过步骤S71，步骤S72，步骤S73，步骤S74处理后的第二肤色区域进行白平衡。请参阅图4，显示为步骤S75的流程示意图。如图4所示，所述步骤S75具体包括以下几个步骤：

S751，计算肤色平滑处理后的第二肤色区域中每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值。上述提到肤色区域在YCbCr空间中在区间W内聚类，W：133<Cr<177；77<Cb<127；156.8<Cb+0.6Cr<190，这是对于单个肤色像素的限定范围。对于识别出来的具有数以千计像素的肤色区域来说，也满足这个分布，会在W内取得极值，也会取得中值。因此可认为肤色在区间W内是满足均匀分布的。令Mr和Mb分别表示肤色聚类的中心值，即Mr＝(133+177)/2，Mb＝(77+127)/2；表示肤色平滑处理后的第二肤色区域的Cb、Cr通道的灰度均值，即通过公式(8)获取灰度均值。

S752，根据每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值，根据公式(9)计算与Cb色度分量对应的第一增益校正因子Kb、Cr色度分量对应的第二增益校正因子Kr，及与亮度分量对应的第三增益校正因子Ky。

因为Y通道代表亮度分量，为了减小图片的显示功耗，根据公式(10)计算亮度分量Y的第三增益校正因子Ky＝(Cb+Cr)/2。

S753，分别利用所述第一增益校正因子校正所述YCbCr色彩空间中图像像素Cb色度分量，利用所述第二增益校正因子校正所述YCbCr色彩空间中图像像素Cr色度分量，及利用所述第三增益校正因子对输入图像(原始图像)I的Y亮度分量、Cb色度分量、Cr色度分量进行校正，以获取经过白平衡处理的图像。在本实施例中，根据公式(11)对输入图像I的Y亮度分量、Cb色度分量、Cr色度分量进行校正。

本实施例所述的基于肤色检测的图像处理方法通过精确的肤色识别，经过一系列的噪声滤波等操作，对肤色进行平滑和噪声滤除处理，最后求解出白平衡的增益校正因子。所述基于肤色检测的图像处理方法在计算上并不复杂，也没有像其他算法一样有很多自适应的循环检测或者运算，极大程度上减小了算法复杂度。此外所述图像处理方法通过对识别的肤色区域进行滤除噪声等相关运算，能够有效提高增益校正因子的准确度，最后得到经过调节的自动白平衡算法具有优秀的显示效果。另外，在所述图像处理方法中还考虑到了功耗的问题，在求色度校正因子的同时，相应的得到亮度校正因子，有效的减小图像显示的功耗。

本实施例还提供一种基于肤色检测的图像处理系统1，请参阅图5，显示为基于肤色检测的图像处理系统于一实施例中的原理结构图。如图5所示，所述基于肤色检测的图像处理系统1包括：区分模块11、优化模块12、及处理模块13。

区分模块，用于将原始图像转换至指定色彩空间，以区分出适于检测肤色的第一肤色区域。进行肤色检测之前需要选择合适的色彩空间。根据在图像中人类皮肤与背景的色彩分布有着明显区别，通常使用图像像素的色度分量而不是亮度分量进行肤色检测。一方面是因为不同种族的肤色差异(例如，黑人与白人)主要是由亮度差异的区别引起的，而不是色度分量；另一原因则是仅考虑色度分量，图像的特征空间从三维减少到二维，可以降低肤色检测的计算复杂度。现可利用不同的色彩空间进行肤色检测，例如YCbCr，HSV，CIELab，归一化RGB色彩空间等。然而这些色彩空间有一定的不足，比如在RGB色彩空间中，亮度分量和色度分量未区分，而且特征空间是三维的，而不是肤色检测所需要的二维特征空间。而对于HSV和CIE Lab，它们与RGB的色彩空间转换是非线性的，而输入图像大部分是RGB格式，需要额外的色彩空间非线性转换模块，这会极大增加算法时间成本。因此，在本实施例中所述指定色彩空间采用YCbCr色彩空间，根据所述YCbCr色彩空间中图像像素Cb色度分量、Cr色度分量区分适于检测肤色的第一肤色区域。采用YCbCr色彩空间一方面因为它对人类肤色建模非常有效，色度分量和亮度分量有着明显的区分，另一方面是因为数字视频和图像通过YCbCr色彩空间来编码和存储的，所以通过采用YCbCr色彩空间的图像不需要色彩空间转换，可以直接进行显示或者存储。

在本实施例中，所述区分模块区分出适于检测肤色的第一肤色区域的原理是根据肤色与非肤色区域的马氏距离不同进行检测。

具体地，所述区分模块11将图像像素Cb色度分量、Cr色度分量组成色度分量矩阵；以色度分量矩阵C为特征向量，原始图像的二维欧式空间R²为特征空间；计算色度分量矩阵中每一像素点与所述均值向量的马氏距离，以建立肤色检测模型；根据所建立的肤色检测模型，选取马氏距离D的距离判断阈值T_d，判断每一像素点的马氏距离是否小于等于所述距离判断阈值T_d；若是，则判定该像素点为肤色像素，并将判定为肤色像素点组成的区域，标识为第一肤色区域S，输入待处理图像I；若否，则判定该像素点为非肤色像素，并将判定为非肤色像素点组成的区域，标识为非肤色区域；其中，所述第一肤色区域与非肤色区域组成第一肤色二值图像I_f。

与所述区分模块11连接的优化模块12用于对所述第一肤色区域进行优化处理，以提取优化后的第二肤色区域。具体地，所述优化模块12对所述第一肤色区域进行优化处理，以提取优化后的第二肤色区域，在本实施例中，为了提高所识别的第一肤色区域中肤色像素的比例，采用采用形态学运算对检测出来的第一肤色二值图像I_f进行优化处理，提取优化后的第二肤色区域S’，形成于所述第二肤色区域S’对应的第二肤色二值图像I′_f。

与所述优化模块12连接的处理模块13用于对所述第二肤色区域进行色温估计及白平衡校正，以获取经过白平衡处理的图像。继续参阅图5，所述处理模块13包括预处理单元130、第一处理单元131、及第二处理单元132。

所述预处理单元130用于采用双边滤波对第二肤色二值图像中第二肤色区域S’进行肤色平滑处理；其中，经过肤色平滑处理后的第二肤色区域适于色温估计。由于肤色区域内部的噪声影响，并不能立即根据提取到肤色区域进行色温估计，需要对肤色进行平滑处理。双边滤波是一种非线性的滤波方法，结合空间信息和亮度相似性对图像进行滤波处理，在平滑滤波的同时能大量保留图像的边缘和细节特征。

与所述预处理单元130连接的第一处理单元131用于判断肤色平滑处理后的第二肤色区域中每一图像像素Cb色度分量、Cr色度分量是否位于预定色度分量分布区间内；若该图像像素位于预定色度分量分布区间内，则执行获取用于计算该第二肤色区域是否需要进行白平衡处理的第一判定阈值Th1，第一判定阈值Th1为1，若该图像像素未位于预定色度分量分布区间内，则获取用于计算该第二肤色区域是否需要进行白平衡处理的第二判定阈值Th2，第二判定阈值Th2为0；根据所述第一判定阈值Th1和第二判定阈值Th2，计算第二肤色区域是否需要进行白平衡处理的阈值判断因子Th；其中n为所识别肤色中的像素个数。输入图像是否需要进行白平衡处理可以用阈值判断因子Th进行检测，Th的值可以通过数据集训练得到。本发明的肤色检测准确度高，取Th大于80％或者85％时输入图像不需要白平衡处理；反之输入图像存在色偏，需要进行白平衡增益估计和校正。在本实施例中，根据肤色来进行图像色差调节的原理是肤色与背景的色彩分布相比有着明显的区别，肤色在色彩空间中有明显的聚类。在本发明选取的YCbCr色彩空间中，预定色度分量分布区间W为：W:133<Cr<177；77<Cb<127；156.8<Cb+0.6Cr<190。因此，可以通过计算所识别肤色的色度分量CbCr是否属于W内或者在W内的分布情况来求解色温增益。

与所述第一处理单元131连接的第二处理单元132用于对经过所述第一处理单元131处理的第二肤色区域进行白平衡。

具体地，所述第二处理单元132用于计算肤色平滑处理后的第二肤色区域中每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值。上述提到肤色区域在YCbCr空间中在区间W内聚类，W：133<Cr<177；77<Cb<127；156.8<Cb+0.6Cr<190，这是对于单个肤色像素的限定范围。对于识别出来的具有数以千计像素的肤色区域来说，也满足这个分布，会在W内取得极值，也会取得中值。因此可认为肤色在区间W内是满足均匀分布的。令Mr和Mb分别表示肤色聚类的中心值；表示肤色平滑处理后的第二肤色区域的Cb、Cr通道的灰度均值。根据每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值，计算与Cb色度分量对应的第一增益校正因子Kb、Cr色度分量对应的第二增益校正因子Kr，及与亮度分量对应的第三增益校正因子Ky；分别利用所述第一增益校正因子校正所述YCbCr色彩空间中图像像素Cb色度分量，利用所述第二增益校正因子校正所述YCbCr色彩空间中图像像素Cr色度分量，及利用所述第三增益校正因子对输入图像I的Y亮度分量、Cb色度分量、Cr色度分量进行校正，以获取经过白平衡处理的图像。

本实施例还提供一种服务器2，请参阅图6，显示为服务器于一实施例中的原理结构示意图。如图6所示，所述服务器2包括上述基于肤色检测的图像处理系统1。在本实施例中，所述服务器2通过存储器和处理器一并实现将原始图像转换至指定色彩空间，以区分出适于检测肤色的第一肤色区域；对所述第一肤色区域进行优化处理，以提取优化后的第二肤色区域；对所述第二肤色区域进行色温估计及白平衡校正，以获取经过白平衡处理的图像。该存储器可以包括只读存储器和随机存取存储器，并像处理器提供原始图像及预存的计算公式。存储器的一部分还可以包括非易失性随机存取存储器。

综上所述，本发明所述的基于肤色检测的图像处理方法、系统及服务器通过精确的肤色识别，并经过一系列的噪声滤波等操作，对肤色进行平滑和噪声滤除处理，最后求解出白平衡的增益校正因子。本发明所述的基于肤色检测的图像处理方法、系统及服务器在计算上并不复杂，也没有像其他算法一样有很多自适应的循环检测或者运算，极大程度上减小了算法复杂度。此外本发明通过对识别的肤色区域进行滤除噪声等相关运算，能够有效提高增益校正因子的准确度，最后得到经过调节的自动白平衡算法具有优秀的显示效果。另外，本发明中考虑到了功耗的问题，在求色度校正因子的同时，相应的得到亮度校正因子，有效的减小图像显示的功耗。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (16)

1.一种基于肤色检测的图像处理方法，其特征在于，所述基于肤色检测的图像处理方法包括以下步骤：

将原始图像转换至指定色彩空间，以区分出适于检测肤色的第一肤色区域；

对所述第一肤色区域进行优化处理，以提取优化后的第二肤色区域；

对所述第二肤色区域进行色温估计及白平衡校正，以获取经过白平衡处理的图像。

2.根据权利要求1所述的基于肤色检测的图像处理方法，其特征在于：所述指定色彩空间为YCbCr色彩空间。

3.根据权利要求2所述的基于肤色检测的图像处理方法，其特征在于：

根据所述YCbCr色彩空间中图像像素Cb色度分量、Cr色度分量区分适于检测肤色的第一肤色区域。

4.根据权利要求3所述的基于肤色检测的图像处理方法，其特征在于：检测适于检测肤色的第一肤色区域的步骤包括：

将图像像素Cb色度分量、Cr色度分量组成色度分量矩阵；

以色度分量矩阵为特征向量，原始图像的二维欧式空间为特征空间；其中，所述特征空间中的肤色分布满足二维正态分布；该二维正态分布中包括均值向量和协方差矩阵；

计算色度分量矩阵中每一像素点与所述均值向量的马氏距离，以建立肤色检测模型；

根据所建立的肤色检测模型和马氏距离的距离判断阈值，判断每一像素点的马氏距离是否小于等于所述距离判断阈值；若是，则判定该像素点为肤色像素，并将判定为肤色像素点组成的区域，标识为第一肤色区域；若否，则判定该像素点为非肤色像素，并将判定为非肤色像素点组成的区域，标识为非肤色区域；其中，所述第一肤色区域与非肤色区域组成第一肤色二值图像。

5.根据权利要求3所述的基于肤色检测的图像处理方法，其特征在于：所述对所述第一肤色区域进行优化处理的步骤为采用形态学运算对检测出来的第一肤色二值图像进行优化处理，提取优化后的第二肤色区域，形成于所述第二肤色区域对应的第二肤色二值图像。

6.根据权利要求5所述的基于肤色检测的图像处理方法，其特征在于：在对所述第二肤色区域进行色温估计及白平衡校正的步骤之前，所述基于肤色检测的图像处理方法还包括采用双边滤波对第二肤色二值图像中第二肤色区域进行肤色平滑处理；其中，经过肤色平滑处理后的第二肤色区域适于色温估计。

7.根据权利要求6所述的基于肤色检测的图像处理方法，其特征在于：所述对所述第二肤色区域进行色温估计及白平衡校正的步骤包括：

判断肤色平滑处理后的第二肤色区域中每一图像像素Cb色度分量、Cr色度分量是否位于预定色度分量分布区间内；若该图像像素位于预定色度分量分布区间内，则获取用于计算该第二肤色区域是否需要进行白平衡处理的第一判定阈值，若该图像像素未位于预定色度分量分布区间内，则获取用于计算该第二肤色区域是否需要进行白平衡处理的第二判定阈值；

根据所述第一判定阈值和第二判定阈值，计算第二肤色区域是否需要进行白平衡处理的阈值判断因子；

判断所述阈值判断因子是否大于预设阈值；若是，表示肤色平滑处理后的第二肤色区域无需进行白平衡处理；若否，表示肤色平滑处理后的第二肤色区域需进行白平衡处理。

8.根据权利要求7所述的基于肤色检测的图像处理方法，其特征在于：对肤色平滑处理后的第二肤色区域进行白平衡处理的步骤包括：

计算肤色平滑处理后的第二肤色区域中每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值；

根据每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值，计算与Cb色度分量对应的第一增益校正因子、Cr色度分量对应的第二增益校正因子，及与亮度分量对应的第三增益校正因子；

分别利用所述第一增益校正因子校正所述YCbCr色彩空间中图像像素Cb色度分量，利用所述第二增益校正因子校正所述YCbCr色彩空间中图像像素Cr色度分量，及利用所述第三增益校正因子，以获取经过白平衡处理的图像。

9.一种基于肤色检测的图像处理系统，其特征在于，所述基于肤色检测的图像处理系统包括：

区分模块，用于将原始图像转换至指定色彩空间，以区分出适于检测肤色的第一肤色区域；

优化模块，用于对所述第一肤色区域进行优化处理，以提取优化后的第二肤色区域；

处理模块，用于对所述第二肤色区域进行色温估计及白平衡校正，以获取经过白平衡处理的图像。

10.根据权利要求9所述的基于肤色检测的图像处理系统，其特征在于：所述指定色彩空间为YCbCr色彩空间；所述检测模块根据所述YCbCr色彩空间中图像像素Cb色度分量、Cr色度分量区分适于检测肤色的第一肤色区域。

11.根据权利要求9所述的基于肤色检测的图像处理系统，其特征在于：所述处理模块包括用于采用双边滤波对第二肤色二值图像中第二肤色区域进行肤色平滑处理的预处理单元；其中，经过肤色平滑平滑处理后的第二肤色区域适于色温估计。

12.根据权利要求11所述的基于肤色检测的图像处理系统，其特征在于：所述检测模块用于将图像像素Cb色度分量、Cr色度分量组成色度分量矩阵；以色度分量矩阵为特征向量，原始图像的二维欧式空间为特征空间；其中，所述特征空间中的肤色分布满足二维正态分布；该二维正态分布中包括均值向量和协方差矩阵；计算色度分量矩阵中每一像素点与所述均值向量的马氏距离，以建立肤色检测模型；根据所建立的肤色检测模型和马氏距离的距离判断阈值，判断每一像素点的马氏距离是否小于等于所述距离判断阈值；若是，则判定该像素点为肤色像素，并将判定为肤色像素点组成的区域，标识为第一肤色区域；若否，则判定该像素点为非肤色像素，并将判定为非肤色像素点组成的区域，标识为非肤色区域；其中，所述第一肤色区域与非肤色区域组成第一肤色二值图像。

13.根据权利要求10所述的基于肤色检测的图像处理系统，其特征在于：所述优化模块用于采用采用形态学运算对检测出来的第一肤色二值图像进行优化处理，提取优化后的第二肤色区域，形成于所述第二肤色区域对应的第二肤色二值图像。

14.根据权利要求12所述的基于肤色检测的图像处理系统，其特征在于：所述处理模块包括：

第一处理单元，用于判断第二肤色区域中每一图像像素Cb色度分量、Cr色度分量是否位于预定色度分量分布区间内；若该图像像素位于预定色度分量分布区间内，则获取用于计算该第二肤色区域是否需要进行白平衡处理的第一判定阈值，若该图像像素未位于预定色度分量分布区间内，则获取用于计算该第二肤色区域是否需要进行白平衡处理的第二判定阈值；根据所述第一判定阈值和第二判定阈值，计算第二肤色区域是否需要进行白平衡处理的阈值判断因子；判断所述阈值判断因子是否大于预设阈值；若是，表示肤色平滑处理后的第二肤色区域无需进行白平衡处理；若否，表示肤色平滑处理后的第二肤色区域需进行白平衡处理。

15.根据权利要求13所述的基于肤色检测的图像处理系统，其特征在于：所述处理模块还包括与所述第一处理单元连接的第二处理单元，用于计算肤色平滑处理后的第二肤色区域中每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值；根据每一图像像素Cb色度分量、Cr色度分量的肤色聚类中心值，及灰度均值，计算与Cb色度分量对应的第一增益校正因子、Cr色度分量对应的第二增益校正因子，及与亮度分量对应的第三增益校正因子；分别利用所述第一增益校正因子校正所述YCbCr色彩空间中图像像素Cb色度分量，利用所述第二增益校正因子校正所述YCbCr色彩空间中图像像素Cr色度分量，及利用所述第三增益校正因子对原始图像的Y亮度分量、Cb色度分量、Cr色度分量进行校正，以获取经过白平衡处理的图像。

16.一种服务器，其特征在于，所述服务器包括如权利要求9-15中任一项所述的基于肤色检测的图像处理系统。