CN105976309A

CN105976309A - 一种高效且易于并行实现的美颜移动终端

Info

Publication number: CN105976309A
Application number: CN201610286489.2A
Authority: CN
Inventors: 赖守波; 韩志宏; 余刚
Original assignee: Chengdu Sobey Digital Technology Co Ltd
Current assignee: Chengdu Sobey Digital Technology Co Ltd
Priority date: 2016-05-03
Filing date: 2016-05-03
Publication date: 2016-09-28
Anticipated expiration: 2036-05-03
Also published as: CN105976309B

Abstract

本发明公开了一种高效且易于并行实现的美颜移动终端，它包括图像输入模块、图像输出模块、存储器以及分别与所述图像输入模块、图像输出模块、所述发射模块、所述接收模块和所述存储器连接的GPU，其中，所述存储器中存储一组程序代码，所述GPU用于调用所述存储器中存储的程序代码，执行以下操作：获取图像输入模块输入的一副RGB彩色图像；通过GPU硬件加速逐像素独立执行图像的整体美化、图像的增强处理和生成图像的皮肤区域的遮罩处理；根据得到的皮肤区域的遮罩分别对整体美白后的图像及整体去噪后的图像进行逐像素融合；通过图像输出模块输出。本发明借助GPU的硬件加速特性，对系统的多个子模块进行处理，可以解决使用CPU时的效率低下问题。

Description

一种高效且易于并行实现的美颜移动终端

技术领域

本发明涉及一种高效且易于并行实现的美颜移动终端。

背景技术

美颜方法通常由多个基础步骤组成，包括图像中外部光照及人体皮肤等噪声的去除、人体皮肤检测、人脸检测、祛斑、皮肤美白、图像融合等。

图像去噪作为最基本也是最重要的一环，对后续的算法处理具有至关重要的作用，目前去噪的算法较多，通常包括高斯平滑、双线性滤波平滑、平均滤波平滑、基于块匹配的三维去噪等算法，其中各算法的性能和效果均有不同程度的差异，以及各自具有不同程度的局限性，这对于应用场景的算法选择上有较大的影响。例如，平均滤波平滑效率很高，但往往会过滤掉图像的更多细节如头发、睫毛、眉毛等人脸具有明显特征的区域；高斯平滑在滤波半径较小时效率较高但滤波半径较大时效率很低；双线性滤波平滑能很好的保留图像边缘细节但会产生混色现象；基于块匹配的三维去噪算法能很好的处理高斯白噪声但效率特别低下。因此，选择一种能在效率和效果上平衡的算法，对整体算法的结果是一种挑战，同时又需要很好的适用于相应的应用场景。

皮肤检测与人脸检测，主要需要处理的是皮肤及人脸区域，保证在皮肤与非皮肤区域的接缝处无明显人工痕迹，这是由应用场景所决定的。当用于高分辨率图像时人脸检测算法的性能较低，这往往是由于需要进行金字塔逐层检测人脸区域，同时并不适用于其它皮肤区域如手臂、肩膀、脖颈等，因此选择一种适合的皮肤及人脸区域的检测算法，同时具备较高的性能，尤为重要。

祛斑祛痘主要指皮肤区域的局部区域处理，通常的做法是人工手选区域进行祛除，不适用于图像的自动处理。

皮肤美白与图像增强可以有多种处理方式，包括指数映射、对数映射、幂函数映射、线性加深、自动色阶等，其目的为将图像中较暗的区域进行增强处理，增强细节呈现效果，同时更好的保留较亮区域的细节变化，防止出现泛白现象。

整体而言，由于美颜方法通常需要若干个子方法的相互衔接才能完成，因此各子方法的微弱变化也会对最后的效果产生较大的影响，选择合适的子方法并有效的组合在一起，同时满足效率较高且效果即时呈现，使其具有更好的应用前景，这是本发明将要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种高效且易于并行实现的美颜移动终端，借助GPU的硬件加速特性，可以解决使用CPU时的效率低下问题，同时系统提出并使用的各个子模块都能很好的应用于GPU加速处理，在保证效率实时的同时，可以得到即时的效果呈现。

本发明的目的是通过以下技术方案来实现的：一种高效且易于并行实现的美颜移动终端，它包括图像输入模块、图像输出模块、存储器、发射模块、接收模块以及分别与所述图像输入模块、图像输出模块、发射模块、接收模块和存储器连接的GPU，其中，所述存储器中存储一组程序代码，所述GPU用于调用所述存储器中存储的程序代码，执行以下操作：

获取图像输入模块输入的一副RGB彩色图像；

通过GPU硬件加速逐像素独立执行图像的整体美化、图像的增强处理和生成图像的皮肤区域的遮罩处理；

在图像整体美化、图像增强处理、皮肤区域遮罩处理均完成处理后，根据得到的皮肤区域的遮罩分别对整体美白后的图像及整体去噪后的图像进行逐像素融合；

通过图像输出模块输出；

其中，所述的图像的整体美化包括：

将输入图像的RGB颜色空间转化到YUV颜色空间，同时保留UV通道；

设置采样窗口大小，判断采样窗口的大小是否大于预设的阈值：如果是则使用积分图，否则使用盒子滤波；所述的使用积分图包括：生成亮度图像的积分图，包括一次项与二次项的积分图，对于图像中的所有像素逐个处理，在以每个像素为中心的窗口中，分别计算此窗口中所有像素的均值和方差；所述的盒子滤波单元对图像进行盒子滤波；

在得到基于此像素为中心的窗口的均值和方差后，根据得到的均值和方差进行平滑滤波，实现去噪；

对图像进行锐化处理，对图像的纹理细节进行补偿提升；

将锐化后的图像与去噪前RGB转换得到的UV通道合并成YUV图像；

将得到的YUV图像转换回RGB颜色空间；

所述的图像增强处理采用非线性图像增强，对图像进行整体美白处理，通过提升图像的暗部细节的同时保持亮度细节的方式实现，首先将图像归一化至[0,1]的范围内，然后采用指数函数映射的方法进行处理；

所述的生成图像的皮肤区域的遮罩处理使用阈值处理，检测时当图像的像素值大于统计值时则划分为皮肤区域，否则为非皮肤区域，得到一个皮肤区域的初步检测；所述的遮罩处理单元用于在得到皮肤区域的遮罩后，采用指定窗口大小的高斯模糊对遮罩作进一步的细化处理；所述的统计值为对多张图像的皮肤与非皮肤区域进行统计分类而得到的一组值。

所述的将输入图像的RGB颜色空间转化到YUV颜色空间的转换公式如下：

(\begin{matrix} Y \\ U \\ V \end{matrix}) = (\begin{matrix} 0.299 & 0.587 & 0.114 \\ - 0.169 & - 0.331 & 0.5 \\ 0.5 & - 0.419 & - 0.081 \end{matrix}) (\begin{matrix} R \\ G \\ B \end{matrix})

所述的将得到的YUV图像转换回RGB颜色空间的转换公式如下：

(\begin{matrix} R \\ G \\ B \end{matrix}) = (\begin{matrix} 1 & 0 & 1.402 \\ 1 & - 0.344 & - 0.714 \\ 1 & 1.772 & 0 \end{matrix}) (\begin{matrix} Y \\ U \\ V \end{matrix}) .

所述的对多张图像的皮肤与非皮肤区域进行统计分类而得到的一组值中的多张为1000张。

本发明的有益效果是：

(1)本发明提出一种易于理解且性能优异的图像去噪算法处理框架，利用基于图像积分图的快速图像去噪方案，保证计算速度与采样窗口的大小无关，同时很好的去除图像噪声如斑点的同时保持细节。

(2)本发明提出一种更高效的皮肤区域检测处理框架，使用首先进行粗步检测再进行细化的多步骤快速处理方法，可以很好在皮肤与非皮肤区域的接缝处实行无缝合成。

(3)本发明使用非线性图像增强方法，对图像进行整体增强。

(4)本发明借助GPU的硬件加速特性，对本系统的多个步骤同时进行处理，可以解决使用CPU时的效率低下问题，同时本系统提出并使用的多个步骤都能很好的应用于GPU加速处理，在保证效率实时的同时，可以得到即时的效果呈现，应用于单幅图像的特效处理。

附图说明

图1为本发明结构方框图；

图2为GPU执行代码流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案：

如图1所示，一种高效且易于并行实现的美颜移动终端，它包括图像输入模块、图像输出模块、存储器、发射模块、接收模块以及分别与所述图像输入模块、图像输出模块、发射模块、接收模块和存储器连接的GPU，其中，所述存储器中存储一组程序代码，所述GPU用于调用所述存储器中存储的程序代码，执行以下操作：

获取图像输入模块输入的一副RGB彩色图像；

在图像整体美化、图像增强处理、皮肤区域遮罩处理均完成处理后，根据得到的皮肤区域的遮罩分别对整体美白后的图像及整体去噪后的图像进行逐像素融合；整合公式为：

Final_i,j＝B_i,j*(1-α_i.j)+F_i,j*α_i.j

式中，B表示整体去噪后的图像，F表示整体美白后的图像，α表示得到的皮肤区域的遮罩，Final表示图像融合结果。

通过图像输出模块输出。

其中，所述的图像的整体美化包括对人体皮肤区域平滑处理，如人脸及其它皮肤区域的斑点、痣等其它影响美观的区域擦除，以及整体光照引进的环境噪声如曝光不足等，其它后期处理时引进的其它噪声如椒盐噪声等，包括图片或者视频传输过程中的信号丢失、编解码有损处理、方块效应等，包括：

将输入图像的RGB颜色空间转化到YUV颜色空间，这主要是为了操作于亮度图像以提高效率，同时保留UV通道；其中，所述的将输入图像的RGB颜色空间转化到YUV颜色空间的转换公式如下：

(\begin{matrix} Y \\ U \\ V \end{matrix}) = (\begin{matrix} 0.299 & 0.587 & 0.114 \\ - 0.169 & - 0.331 & 0.5 \\ 0.5 & - 0.419 & - 0.081 \end{matrix}) (\begin{matrix} R \\ G \\ B \end{matrix})

由于生成积分图的过程上存在前后上下邻域像素的计算相关性，这会涉及一次上下行的开销时间。在我们的方案中，会设定一个阈值，如果采样窗口的大小超过此阈值，则使用积分图，否则使用盒子滤波。

设置采样窗口大小，判断采样窗口的大小是否大于预设的阈值：如果是则使用积分图，否则使用盒子滤波；所述的使用积分图包括：生成亮度图像的积分图，包括一次项与二次项的积分图，其中迭代公式分别如下

sum_i,j＝sum_i,j-1+sum_i-1,j-sum_i-1,j-1+f_i,j；

{sumsq}_{i, j} = {sumsq}_{i, j - 1} + {sumsq}_{i - 1, j} - {sumsq}_{i - 1, j - 1} + f_{i, j}^{2};

式中，sum表示直接和，sumsq表示平方和，f表示亮度值，保存上述得到的两幅积分图像；可用于下一步图像去噪的基于窗口的快速滤波，即使在采样窗口较大时也不会影响计算效率；

之后再对图像中的所有像素逐个处理，在以每个像素为中心的窗口中，分别计算此窗口中所有像素的均值和方差；

E = \frac{{sum}_{i + N, j + N} - {sum}_{i + N, j - N - 1} - {sum}_{i - N - 1, j + N} + {sum}_{i - N - 1, j - N - 1}}{(2 * N + 1) * (2 * N + 1)}

E s q = \frac{{sumsq}_{i + N, j + N} - {sumsq}_{i + N, j - N - 1} - {sumsq}_{i - N - 1, j + N} + {sumsq}_{i - N - 1, j - N - 1}}{(2 * N + 1) * (2 * N + 1)}

VAR＝Esq-E²

式中，E表示均值，VAR表示方差；i,j分别表示相对于图像左上角的垂直和水平方向的坐标，N表示窗口半径。

所述的盒子滤波单元对图像进行盒子滤波；所述的使用盒子滤波的计算公式如下：

E = \frac{Σ_{m = - N}^{N} Σ_{n = - N}^{N} f_{i + m, j + n}}{(2 * N + 1) * (2 * N + 1)}

E s q = \frac{Σ_{m = - N}^{N} Σ_{n = - N}^{N} f_{i + m, j + n}^{2}}{(2 * N + 1) * (2 * N + 1)}

VAR＝Esq-E²

式中，E表示均值，VAR表示方差；m,n分别表示垂直和水平方向与当前像素位置的相对距离。

对亮度图像进行去噪处理，由于人的眼睛对亮度信号比色度信号更敏感，因此在亮度信号的噪声会比色度信号噪声更加敏感，在去除亮度信号噪声之后，人的眼睛会感觉到明显的变化，同时在提高计算效率的基础上不会影响整体质量。

在得到基于此像素为中心的窗口的均值和方差后，根据得到的均值和方差进行平滑滤波，实现去噪；其原理上图像越平滑，则得到的方差值越接近于0，从而该像素值则越接近均值E。所述的平滑滤波的校正方式为：

k = \frac{V A R}{V A R + β + ϵ}

f_i,j＝E*(1-k)+f_i,j*k

式中，β表示调节的参数值，其值越大，表示平滑的程度越大，则去除的噪声越大；∈是一个接近于0的小数，其目的是为了防止被除数为0时的异常；从对像素值进行校正的公式中可以得出，当调节的参数值越大时，该像素值越接近E。

对图像进行锐化处理，对图像的纹理细节进行补偿提升；处理公式为：

S_{i, j} = f_{i, j} + \frac{f_{i, j - 1} + f_{i, j + 1} + f_{i - 1, j} + f_{i + 1, j} - f_{i, j} * 4}{4} * α

式中，S表示锐化后的图像，α表示锐化的程度，即4-邻域拉普拉斯梯度对像素值的贡献百分比，α值越大，锐化程度越大；

将得到的YUV图像转换回RGB颜色空间，所述的将得到的YUV图像转换回RGB颜色空间的转换公式如下：

(\begin{matrix} R \\ G \\ B \end{matrix}) = (\begin{matrix} 1 & 0 & 1.402 \\ 1 & - 0.344 & - 0.714 \\ 1 & 1.772 & 0 \end{matrix}) (\begin{matrix} Y \\ U \\ V \end{matrix});

所述的图像增强处理采用非线性图像增强，对图像进行整体美白处理，通过提升图像的暗部细节的同时保持亮度细节的方式实现，首先将图像归一化至[0,1]的范围内，然后采用指数函数映射的方法进行处理：

f_{i, j} = f_{i, j}^{p}

式中，p表示美白的程度；

皮肤区域与非皮肤区域相比，通常具有较易区分的颜色，尤其是与较暗的黑色区域相比，对于美颜的应用场景，主要需要区分的是人的皮肤与人的头发、眉毛、睫毛、眼睛的分区域处理。所述的生成图像的皮肤区域的遮罩处理使用阈值处理，首先划分出皮肤与非皮肤的粗选区域，通常人的皮肤区域的RGB统计值为[a,b,c]，其中a、b、c为对1000张图像的皮肤与非皮肤区域进行统计分类而得到的一组值，检测时当图像的像素值大于统计值时则划分为皮肤区域，否则为非皮肤区域，得到一个皮肤区域的初步检测；

所述的遮罩处理单元用于在得到皮肤区域的遮罩后，采用指定窗口大小的高斯模糊对遮罩作进一步的细化处理；得到皮肤区域的遮罩后，对遮罩作进一步的细化处理，而不能直接参与图像融合，否则在图像的皮肤区域与非皮肤区域的接缝处会有明显的人工痕迹。具体地，采用指定窗口大小的高斯模糊进行遮罩处理，高斯函数的二维公式如下：

f (x, y) = \frac{1}{2 {πσ}^{2}} e^{- \frac{x^{2} + y^{2}}{2 σ^{2}}};

式中，x,y分别表示垂直和水平方向与当前操作像素的相对距离，σ表示标准差。

在整个方案中，由于涉及的处理步骤较多，但是每个步骤都可以逐像素独立执行，因此在CPU不能实时的情况下，使用基于GPU的硬件加速，可以实时处理，其中移动端使用OpenGLES加速。

Claims

1.一种高效且易于并行实现的美颜移动终端，其特征在于：它包括图像输入模块、图像输出模块、存储器、发射模块、接收模块以及分别与所述图像输入模块、图像输出模块、发射模块、接收模块和存储器连接的GPU，其中，所述存储器中存储一组程序代码，所述GPU用于调用所述存储器中存储的程序代码，执行以下操作：

获取图像输入模块输入的一副RGB彩色图像；

通过图像输出模块输出；

其中，所述的图像的整体美化包括：

对图像进行锐化处理，对图像的纹理细节进行补偿提升；

将得到的YUV图像转换回RGB颜色空间；

2.根据权利要求1所述的一种高效且易于并行实现的美颜移动终端，其特征在于：所述的将输入图像的RGB颜色空间转化到YUV颜色空间的转换公式如下：

(\begin{matrix} Y \\ U \\ V \end{matrix}) = (\begin{matrix} 0.299 & 0.587 & 0.114 \\ - 0.169 & - 0.331 & 0.5 \\ 0.5 & - 0.419 & - 0.081 \end{matrix}) (\begin{matrix} R \\ G \\ B \end{matrix})

所述的将得到的YUV图像转换回RGB颜色空间的转换公式如下：

(\begin{matrix} R \\ G \\ B \end{matrix}) = (\begin{matrix} 1 & 0 & 1.402 \\ 1 & - 0.344 & - 0.714 \\ 1 & 1.772 & 0 \end{matrix}) (\begin{matrix} Y \\ U \\ V \end{matrix}) .

3.根据权利要求1所述的一种高效且易于并行实现的美颜移动终端，其特征在于：所述的对多张图像的皮肤与非皮肤区域进行统计分类而得到的一组值中的多张为1000张。