CN103914699A - 一种基于色彩空间的自动唇彩的图像增强的方法 - Google Patents

Abstract

本发明涉及一种基于色彩空间的自动唇彩的图像增强的方法，步骤如下：1）对图像进行人脸识别与五官定位，确定嘴唇轮廓区域；2）对嘴唇轮廓区域进行模糊处理，生成嘴唇轮廓模糊图；3）根据色彩空间的概率图，计算嘴唇轮廓区域里每个像素点是嘴唇的概率，记为嘴唇概率图，并结合步骤2）生成的嘴唇轮廓模糊图，计算获得最终概率图；4）根据最终概率图与通过滤镜所选择的唇彩颜色，对嘴唇轮廓区域的每个像素点进行自动上唇彩，最后得到自动唇彩后的结果图。本发明所述的方法相较现有技术的唇彩处理方法，在实现难易程度上更加简易，速度更快，而且识别精度更好，更适用于移动智能设备。

Description

一种基于色彩空间的自动唇彩的图像增强的方法

技术领域

本发明涉及一种图像处理方法，更具体地说，涉及一种基于色彩空间的自动唇彩的图像增强的方法。

背景技术

每个人分享自拍照之前都会对图像进行模糊美白处理，以及调整肤色、唇彩等。因此，如何调整好唇彩，成为每个图像处理软件的重点。

中国专利申请201210100239.7公开了一种按照嘴唇的形态特征对嘴唇进行分类的分类方法及由按照该分类法生成的坐标组成的嘴唇的分类图谱及运用嘴唇的图像平面及立体的分析嘴唇的形态，按照平面的分析信息判定嘴唇形态上的平衡，按照立体的分析信息判定嘴唇的立体感，再按照该分析结果，为了使嘴唇达到适合的形态的平衡，而提出嘴唇的形态补正信息。

上述发明的技术特征主要为，由表示以从脸的正面看到的嘴唇的大小，形状为指标的第1分类指标的程度的第1坐标轴和表示以嘴唇的立体形态为第2指标的程度的第2坐标轴组成，构成第1第2坐标轴垂直相交的坐标的分类图谱，在嘴唇的摄影图像上，设定多个把握嘴唇的形态特征的点，按照该设定的点测定的嘴唇的平面特征的分析值，判定对象者的嘴唇的形态特征，生成按照预先设定的基准平面补正对象者的嘴唇的化妆信息。

上述发明涉及到的嘴唇色彩美化是通过周围环境的光来实现不同的唇彩效果，如果在光线复杂的情况下，上述发明的方法则无法适用。

发明内容

本发明的目的在于克服现有技术的不足，提供一种通过五官特征点定位与色彩空间得到的概率和各种色调来进行智能唇彩美化的基于色彩空间的自动唇彩的图像增强的方法。

本发明的技术方案如下：

一种基于色彩空间的自动唇彩的图像增强的方法，步骤如下：

1）对图像进行人脸识别与五官定位，确定嘴唇轮廓区域；

2）对嘴唇轮廓区域进行模糊处理，生成嘴唇轮廓模糊图；

3）根据色彩空间的概率图，计算嘴唇轮廓区域里每个像素点是嘴唇的概率，记为嘴唇概率图，并结合步骤2）生成的嘴唇轮廓模糊图，计算获得最终概率图；

4）根据最终概率图与通过滤镜所选择的唇彩颜色，对嘴唇轮廓区域的每个像素点进行自动上唇彩，最后得到自动唇彩后的结果图。

作为优选，步骤1）中，对图像进行五官定位的方法为：通过卷积神经网络的方法进行五官位置的定位，并且获取左眼中心位置、右眼中心位置、鼻子中心位置、嘴唇左端位置、嘴唇右端位置，然后根据STASM进行结合获取嘴唇的轮廓点，并利用贝塞尔曲线连成一个封闭的嘴唇轮廓曲线。

作为优选，步骤2）中，根据获取得到的嘴唇轮廓曲线，对嘴唇轮廓曲线的区域生成黑白的嘴唇轮廓图，其中，是嘴唇区域的用白色表示，其他区域用黑色表示；

接着对该嘴唇轮廓图进行模糊处理，得到有渐变层的嘴唇概率模糊图。

作为优选，步骤3）中，色彩空间的概率图为：根据YIQ色彩空间进行设置的嘴唇颜色的分布图。

作为优选，步骤3）中，根据色彩空间的概率图，计算嘴唇轮廓区域里每个像素点是嘴唇的概率，生成嘴唇概率图，步骤如下：

3.1）获取嘴唇轮廓区域里每个像素点的RGB颜色值；

3.2）将RGB色彩空间转换为YIQ色彩空间；

3.3）将步骤3.2）得到的YIQ色彩空间的嘴唇轮廓区域的IQ的颜色值与标准YIQ色彩空间的概率图进行一一映射，获取每个像素点是嘴唇颜色的概率；

其中，从RGB色彩空间转为YIQ色彩空间的计算公式如下：

Y=0.299*R+0.587*G+0.114*B；

I=0.596*R-0.275*G-0.321*B；

Q=0.212*R-0.523*G+0.311*B；

其中，Y、I、Q分别为计算后得到的YIQ色彩空间对应像素点的颜色值，Y的范围从0到255，I的范围从-152到152，Q的范围从-134到134；R、G、B分别为RGB色彩空间对应像素点的颜色值。

作为优选，步骤3）中，嘴唇概率图结合步骤2）得到的嘴唇轮廓模糊图，计算获得最终概率图，具体计算公式如下：

resultGray=gaussGray*iqGray/255；

其中，resultGray为最终概率图上对应像素点的灰度颜色值；gaussGray为嘴唇轮廓模糊图对应像素点的灰度颜色值；iqGray为嘴唇概率图的灰度颜色值。

作为优选，步骤4）的具体步骤如下：

4.1）获取嘴唇轮廓区域里每个像素点的初始颜色值与选择的唇彩的颜色值，

4.2）通过颜色混合叠加模式将其进行颜色混合叠加，得到混合颜色值；

4.3）获取最终概率图上对应像素点的唇彩概率作为透明度，将混合颜色值与初始颜色值通过透明度计算得到结果颜色值，公式如下：

fAlpha=resultGray/255.0；

result=oral*（1.0-fAlpha）+fAlpha*color；

其中，result为结果图上对应像素点的红、绿、蓝通道的结果颜色值；fAlpha为透明度；resultGray为最终概率图上对应像素点的灰度颜色值；oral为原始图像上对应像素点的红、绿、蓝通道的颜色值；color为步骤4.2）中计算得到的混合颜色值。

作为优选，所述的模糊处理选用：中值模糊处理、高斯模糊处理、均值模糊处理、卷积处理的一种或几种结合。

本发明的有益效果如下：

本发明所述的方法主要通过五官特征点定位与色彩空间得到的概率和各种色调来实现智能唇彩美化，并且运用模糊处理，达到更好的唇彩过渡效果，模糊处理可以主要是为了解决五官定位不准而导致不是嘴唇的地方也被美化，加上色彩空间的概率分布，可以更好地排除非嘴唇区域的皮肤被美化，从而大大提升了嘴唇区域的识别精度，为智能唇彩美化奠定坚实的基础。相较现有技术的唇彩处理方法，本发明所述的方法在实现难易程度上更加简易，速度更快，而且识别精度更好，更适用于移动智能设备。

附图说明

图1是YIQ色彩空间上IQ通道颜色分布图；

图2是YIQ色彩空间上IQ颜色是嘴唇颜色的概率图；

根据申请文件的格式要求，图1、图2供提供黑白图像，实际其为彩色图像，可在公开文献中找到。

具体实施方式

以下结合附图及实施例对本发明进行进一步的详细说明。

一种基于色彩空间的自动唇彩的图像增强的方法，步骤如下：

1）对图像进行人脸识别与五官定位，根据嘴唇左端的位置以及右端的位置计算得到嘴唇轮廓区域；

2）对嘴唇轮廓区域进行模糊处理，生成嘴唇轮廓模糊图；

3）根据色彩空间的概率图，计算嘴唇轮廓区域里每个像素点是嘴唇的概率，记为嘴唇概率图，并结合步骤2）生成的嘴唇轮廓模糊图，计算获得最终概率图；

4）根据最终概率图与通过滤镜所选择的唇彩颜色，对嘴唇轮廓区域的每个像素点进行自动上唇彩，最后得到自动唇彩后的结果图。

步骤1）中，对图像进行五官定位的方法为：通过卷积神经网络的方法进行五官位置的定位，并且获取左眼中心位置、右眼中心位置、鼻子中心位置、嘴唇左端位置、嘴唇右端位置，然后根据STASM进行结合获取嘴唇的轮廓点，并利用贝塞尔曲线连成一个封闭的嘴唇轮廓曲线。

其中，卷积神经网络（Convolutional Neural Networks，简称CNN）是近年来广泛应用于模式识别、图像处理等领域的一种高效识别算法，它具有结构简单、训练参数少和适应性强等特点，卷积神经网络与传统的人脸检测方法不同，它是通过直接作用于输入样本，用样本来训练网络并最终实现检测任务的，它是非参数型的人脸检测方法，可以省去传统方法中建模、参数估计以及参数检验、重建模型等的一系列复杂过程；例如，通过收集各种不同类型的人脸样本，并进行归一化和预处理步骤，减小图像噪声的影响和消除图像亮度及对比度的差异，提高数据的针对性和鲁棒性，得到统计的方法进行学习处理样本的最基本的特征向量，然后使用这些特征向量训练网络。

STASM根据其得到人脸特征点的具体位置，比如眼睛、鼻子、嘴巴、眉毛等的具体位置信息。STASM主要参照Stephen Milborrow于2010年9月23日公开的针对Stasm3.0撰写的技术文档《Active Shape Models with Stasm》。

步骤2）中，根据获取得到的嘴唇轮廓曲线，对嘴唇轮廓曲线的区域生成黑白的嘴唇轮廓图，其中，是嘴唇区域的用白色表示，其他区域用黑色表示；

接着对该嘴唇轮廓图进行模糊处理，得到有渐变层的嘴唇概率模糊图。

所述的模糊处理选用：中值模糊处理、高斯模糊处理、均值模糊处理、卷积处理的一种或几种结合。

中值模糊处理，即中值滤波处理，主要是对要处理的像素点周围的N*N模板像素点的颜色值进行从大到小或者从小到大的排序，得到排序后最中间的那个颜色值，即中位数，然后将该像素点的颜色值设置为其中位数的颜色值；其中，N为模糊的半径。

高斯模糊处理，主要是采用正态分布计算图像中每个像素的变换，其中，在N维空间的正态分布方程为：

$G\left(T\right)=\frac{1}{{\sqrt{2{\mathrm{\π\σ}}^2}}^N}{e}^{-r^2/\left({2\mathrm{\σ}}^2\right)};$

在二维空间的正态分布方程为：

$G(u,\mathrm{\υ})=\frac{1}{{\sqrt{2{\mathrm{\π\σ}}^2}}^N}{e}^{-(u^2+{\mathrm{\υ}}^2)/\left({2\mathrm{\σ}}^2\right)};$

其中r是模糊半径(T²=u²+υ²),σ是正态分布的标准偏差，u是原像素点在x轴上的位置偏移值，v是原像素点在y轴上的位置偏移值。

均值模糊处理是典型的线性滤波算法，它是指在图像上对目标像素给一个模板，该模板包括了其周围的临近像素；该临近像素是指以目标象素为中心的周围8个象素，构成一个滤波模板，即去掉目标象素本身；再用模板中的全体像素的平均值来代替原来像素值。

卷积处理：卷积是对矩阵中的每一个元素进行的操作，卷积所实现的功能是由其卷积核的形式决定的，卷积核是一个大小固定、有数值参数构成的矩阵，矩阵的中心为参考点或锚点，矩阵的大小称为核支撑；要计算一个像素点的卷积后的颜色值，首先将核的参考点定位到该像素点，核的其余元素覆盖矩阵中相对应的局部周围点；对于每一个核中的的像素点，得到这个像素点的值与卷积核数组中特定点的值的乘积并求所有这些乘积的累加和，即该特定点的卷积值，用这个结果替代该像素点的颜色值；通过在整个图像上移动卷积核，对图像的每个像素点重复此操作。

步骤3）中，色彩空间的概率图为：根据YIQ色彩空间进行设置的嘴唇颜色的分布图。

YIQ色彩空间通常被北美的电视系统所采用，属于NTSC系统。这里的Y就是图像的灰度值，而I和Q则是指色调（Chrominance），即描述图像色彩及饱和度的属性。在YIQ系统中，Y分量代表图像的亮度信息，I、Q两个分量则携带颜色信息，I分量代表从橙色到青色的颜色变化，而Q分量则代表从紫色到黄绿色的颜色变化，具体如图1、图2所示。

由于牙齿是白色的，而嘴唇是红色的，因此根据牙齿在嘴唇概率图上是不表示为嘴唇的，而结合轮廓模糊图以后得到的最终概率图上，牙齿的透明度基本为0，因此可以很好地识别牙齿区域。即嘴唇张开的牙齿区域是可以识别出来的。

步骤3）中，根据色彩空间的概率图，计算嘴唇轮廓区域里每个像素点是嘴唇的概率，生成嘴唇概率图，步骤如下：

3.1）获取嘴唇轮廓区域里每个像素点的RGB颜色值；

3.2）将RGB色彩空间转换为YIQ色彩空间；

3.3）将步骤3.2）得到的YIQ色彩空间的嘴唇轮廓区域的IQ的颜色值与标准YIQ色彩空间的概率图进行一一映射，获取每个像素点是嘴唇颜色的概率；

其中，从RGB色彩空间转为YIQ色彩空间的计算公式如下：

Y=0.299*R+0.587*G+0.114*B；

I=0.596*R-0.275*G-0.321*B；

Q=0.212*R-0.523*G+0.311*B；

其中，Y、I、Q分别为计算后得到的YIQ色彩空间对应像素点的颜色值，Y的范围从0到255，I的范围从-152到152，Q的范围从-134到134；R、G、B分别为RGB色彩空间对应像素点的颜色值。

步骤3）中，嘴唇概率图结合步骤2）得到的嘴唇轮廓模糊图，计算获得最终概率图，具体计算公式如下：

resultGray=gaussGray*iqGray/255；

其中，resultGray为最终概率图上对应像素点的灰度颜色值；gaussGray为嘴唇轮廓模糊图对应像素点的灰度颜色值；iqGray为嘴唇概率图的灰度颜色值。

步骤4）的具体步骤如下：

4.1）获取嘴唇轮廓区域里每个像素点的初始颜色值与选择的唇彩的颜色值，

4.2）通过颜色混合叠加模式将其进行颜色混合叠加，得到混合颜色值；颜色混合叠加模式（着色模式，Color模式）——用当前图层的色相值与饱和度替换下层图像的色相值和饱和度，而亮度保持不变。决定生成颜色的参数包括：底层颜色的明度，上层颜色的色调与饱和度。这种模式能保留原有图像的灰度细节。这种模式能用来对黑白或者是不饱和的图像上色。

4.3）获取最终概率图上对应像素点的唇彩概率作为透明度，将混合颜色值与初始颜色值通过透明度计算得到结果颜色值，公式如下：

fAlpha=resultGray/255.0；

result=oral*（1.0-fAlpha）+fAlpha*color；

其中，result为结果图上对应像素点的红、绿、蓝通道的结果颜色值；fAlpha为透明度；resultGray为最终概率图上对应像素点的灰度颜色值；oral为原始图像上对应像素点的红、绿、蓝通道的颜色值；color为步骤4.2）中计算得到的混合颜色值。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (8)

1.一种基于色彩空间的自动唇彩的图像增强的方法，其特征在于，步骤如下：

1）对图像进行人脸识别与五官定位，确定嘴唇轮廓区域；

2）对嘴唇轮廓区域进行模糊处理，生成嘴唇轮廓模糊图；

3）根据色彩空间的概率图，计算嘴唇轮廓区域里每个像素点是嘴唇的概率，记为嘴唇概率图，并结合步骤2）生成的嘴唇轮廓模糊图，计算获得最终概率图；

4）根据最终概率图与通过滤镜所选择的唇彩颜色，对嘴唇轮廓区域的每个像素点进行自动上唇彩，最后得到自动唇彩后的结果图。

2.根据权利要求1所述的基于色彩空间的自动唇彩的图像增强的方法，其特征在于，步骤1）中，对图像进行五官定位的方法为：通过卷积神经网络的方法进行五官位置的定位，并且获取左眼中心位置、右眼中心位置、鼻子中心位置、嘴唇左端位置、嘴唇右端位置，然后根据STASM进行结合获取嘴唇的轮廓点，并利用贝塞尔曲线连成一个封闭的嘴唇轮廓曲线。

3.根据权利要求2所述的基于色彩空间的自动唇彩的图像增强的方法，其特征在于，步骤2）中，根据获取得到的嘴唇轮廓曲线，对嘴唇轮廓曲线的区域生成黑白的嘴唇轮廓图，其中，是嘴唇区域的用白色表示，其他区域用黑色表示；

接着对该嘴唇轮廓图进行模糊处理，得到有渐变层的嘴唇概率模糊图。

4.根据权利要求3所述的基于色彩空间的自动唇彩的图像增强的方法，其特征在于，步骤3）中，色彩空间的概率图为：根据YIQ色彩空间进行设置的嘴唇颜色的分布图。

5.根据权利要求4所述的基于色彩空间的自动唇彩的图像增强的方法，其特征在于，步骤3）中，根据色彩空间的概率图，计算嘴唇轮廓区域里每个像素点是嘴唇的概率，生成嘴唇概率图，步骤如下：

3.1）获取嘴唇轮廓区域里每个像素点的RGB颜色值；

3.2）将RGB色彩空间转换为YIQ色彩空间；

3.3）将步骤3.2）得到的YIQ色彩空间的嘴唇轮廓区域的IQ的颜色值与标准YIQ色彩空间的概率图进行一一映射，获取每个像素点是嘴唇颜色的概率；

其中，从RGB色彩空间转为YIQ色彩空间的计算公式如下：

Y=0.299*R+0.587*G+0.114*B；

I=0.596*R-0.275*G-0.321*B；

Q=0.212*R-0.523*G+0.311*B；

其中，Y、I、Q分别为计算后得到的YIQ色彩空间对应像素点的颜色值，Y的范围从0到255，I的范围从-152到152，Q的范围从-134到134；R、G、B分别为RGB色彩空间对应像素点的颜色值。

6.根据权利要求5所述的基于色彩空间的自动唇彩的图像增强的方法，其特征在于，步骤3）中，嘴唇概率图结合步骤2）得到的嘴唇轮廓模糊图，计算获得最终概率图，具体计算公式如下：

resultGray=gaussGray*iqGray/255；

其中，resultGray为最终概率图上对应像素点的灰度颜色值；gaussGray为嘴唇轮廓模糊图对应像素点的灰度颜色值；iqGray为嘴唇概率图的灰度颜色值。

7.根据权利要求6所述的基于色彩空间的自动唇彩的图像增强的方法，其特征在于，步骤4）的具体步骤如下：

4.1）获取嘴唇轮廓区域里每个像素点的初始颜色值与选择的唇彩的颜色值，

4.2）通过颜色混合叠加模式将其进行颜色混合叠加，得到混合颜色值；

4.3）获取最终概率图上对应像素点的唇彩概率作为透明度，将混合颜色值与初始颜色值通过透明度计算得到结果颜色值，公式如下：

fAlpha=resultGray/255.0；

result=oral*（1.0-fAlpha）+fAlpha*color；

其中，result为结果图上对应像素点的红、绿、蓝通道的结果颜色值；fAlpha为透明度；resultGray为最终概率图上对应像素点的灰度颜色值；oral为原始图像上对应像素点的红、绿、蓝通道的颜色值；color为步骤4.2）中计算得到的混合颜色值。

8.根据权利要求3所述的基于色彩空间的自动唇彩的图像增强的方法，其特征在于，所述的模糊处理选用：中值模糊处理、高斯模糊处理、均值模糊处理、卷积处理的一种或几种结合。