CN104811684B - 一种图像的三维美颜方法及装置 - Google Patents

Abstract

本发明公开了一种图像的三维美颜方法及装置。所述美颜的方法包括：获取当前场景对应的基础图像和辅助图像，其中所述基础图像和所述辅助图像的景深与视差均不相同；确定所述基础图像和所述辅助图像的区别像素点；对所述基础图像进行美颜处理，并依据确定的区别像素点对所述辅助图像进行图像处理；将处理后的基础图像和辅助图像合成为三维图像。通过本发明解决了人脸区域的两侧由于过暗或者图像信息太少，不利于或无法进行细致美颜，进而影响美颜后的图像的画面质量的问题，提高了图像的质量。

Description

一种图像的三维美颜方法及装置

技术领域

本发明涉及图像处理领域，尤其是一种图像的三维美颜方法及装置。

背景技术

随着科技的发展，智能手机的功能也得到不断的完善。智能手机也像个人电脑一样，具有独立的操作系统，独立的运行空间，可以由用户自行安装第三方服务商提供的程序，并可以通过移动网络来实现无线网络接入。由于智能手机功能越来越强大，人们的应用已经不仅限于通话或发送信息，还可以应用智能手机进行拍照。

人们在拍摄图片如在自拍后，有时会通过美颜应用对图片进行处理，以提高图片的美化程度。目前，智能手机拍摄的图像一般是以二维模式显示，即目前只能对图像进行二维的美颜处理。另外，由于拍摄的条件不同或拍摄者的拍摄经验不同，还可能会导致面部两侧由于过暗或者信息太少，不利于或无法对图片进行细致美颜，影响美颜后的图像的画面质量。

发明内容

本发明提供一种图像的三维美颜方法及装置，以丰富美颜处理信息，提高图像的质量。

第一方面，本发明提供一种图像的三维美颜方法，包括：

获取当前场景对应的基础图像和辅助图像，其中所述基础图像和所述辅助图像的景深与视差均不相同；

确定所述基础图像和所述辅助图像的区别像素点；

对所述基础图像进行美颜处理，并依据确定的区别像素点对所述辅助图像进行图像处理；

将处理后的基础图像和辅助图像合成为三维图像。

第二方面，本发明提供一种图像的三维美颜装置，包括：

图像获取单元，用于获取当前场景对应的基础图像和辅助图像，其中所述基础图像和所述辅助图像的景深与视差均不相同；

像素点确定单元，用于确定所述基础图像和所述辅助图像的区别像素点；

基础处理单元，用于对所述基础图像进行美颜处理；

辅助处理单元，用于依据确定的区别像素点对所述辅助图像进行图像处理；

图像合成单元，用于将处理后的基础图像和辅助图像合成为三维图像。

本发明提供一种图像的三维美颜方法及装置，通过获取当前场景对应的景深与视差不同的基础图像和辅助图像，并分别对基础图像和辅助图像进行处理，且将处理后的基础图像和辅助图像合成为三维图像，即丰富了当前场景对应的图像信息，解决了人脸区域的两侧由于过暗或者图像信息太少，不利于或无法进行细致美颜，影响美颜后的图像的画面质量的问题，提高了图像的质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1是本发明实施例一提供的图像的三维美颜方法的流程图；

图2a是本发明实施例二提供的图像的三维美颜方法的流程图；

图2b是本发明实施例二提供的将基础图像与辅助图像划分为多个子图像的示意图；

图3是本发明实施例三提供的图像的三维美颜装置的结构示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

实施例一

图1是本发明实施例一提供的图像的三维美颜方法的流程图。参见图1所示，所述图像的三维美颜方法，包括如下步骤：

步骤S100、获取当前场景对应的基础图像和辅助图像，其中所述基础图像和所述辅助图像的景深与视差均不相同。

其中，当前场景是指移动终端的摄像头的镜头所获取的当前拍摄目标所在的画面。示例性的，可以通过如下方式获取基础图像和辅助图像：

获取移动终端的第一摄像头拍摄当前场景得到的图像作为基础图像，并获取所述移动终端的第二摄像头拍摄当前场景得到的图像作为辅助图像，其中，第一摄像头与第二摄像头并列设置，且第一摄像头与第二摄像头的景深不同。第一摄像头和第二摄像头设置于移动终端的同侧且并列摆放，两者相距预设的距离，所述距离可以是6至10厘米。通过将两颗摄像头并列摆放，可以达到模拟人眼的目的，在两个摄像头获取在一定距离处的同一拍摄目标的图像时，就会产生方向差异，也就是视差。另外，将两颗摄像头的景深设置为不同值。分别通过所述第一摄像头和第二摄像头同时对当前拍摄目标所在的画面进行拍摄，获取景深和视差均不相同的基础图像和辅助图像。

示例性的，也可以通过以下方式获取基础图像和辅助图像：

获取移动终端的摄像头拍摄当前场景得到的图像作为基础图像；调整所述基础图像的景深和视差，将调整后的图像作为辅助图像。获取基础图像之后，对所述基础图像进行备份，以获得所述基础图像的备份图像。对所述基础图像的备份图像进行颜色空间转换，从RGB颜色空间转换为YUV颜色空间，以获取YUV颜色空间下的基础图像的备份图像；对所述YUV颜色空间下的基础图像的备份图像进行滤波处理，以去除图像在获取和传输的过程中可能产生的噪声；还采用高斯滤波器抑制噪声，可使图像变得平滑。在对YUV颜色空间下的基础图像的备份图像进行滤波处理之后，再进行锐化处理，并对锐化处理后的图像，进行添加预设的深度信息(深度信息是指景深，该深度信息与基础图像的景深不同)的处理。根据所述深度信息，将锐化处理后的基础图像的备份图像的每个像素从原来的位置映射到新的位置，以获取一幅新的图像。将所获取的新的图像作为辅助图像。

步骤S101、确定所述基础图像和所述辅助图像的区别像素点。

示例性的，对所述基础图像和所述辅助进行灰化，二值化处理，并将两张图像分别划分成多个子图像，然后逐一比对相应的子图像的像素，将两张图像中位置对应，且像素值不同的点，作为区别像素点。

步骤S102、对所述基础图像进行美颜处理，并依据确定的区别像素点对所述辅助图像进行图像处理。

以所述基础图像为对象，进行人脸识别，以确定所述基础图像中人脸的轮廓以及五官的位置。根据所确定的人脸轮廓以及五官位置，对所述基础图像进行图像处理，以达到人脸美化的目的。例如：对五官以外的人脸区域执行磨皮、调整肤色的操作，以达到美白的效果。对五官可以应用相应的模板进行调整，以达到美化五官的效果。

同时，以所确定的辅助图像相对于基础图像的区别像素点为操作对象，进行图像处理，以达到均匀肤色的目的。例如：提高辅助图像包含的并与基础图像具有不同像素的区域的亮度。然后，对该区域进行磨皮、调整肤色的操作，使得该区域的肤色值与基础图像的肤色值相同，达到均匀肤色的目的。

步骤S103、将处理后的基础图像和辅助图像合成为三维图像。

提取处理后的基础图像和辅助图像的视差信息和景深信息，通过移动终端的CPU处理生成左眼视图和右眼视图，将所述左眼视图和所述右眼视图合成为三维视图，并在移动终端显示。

本实施例提供的图像的三维美颜方法，通过获取当前场景对应的景深与视差不同的基础图像和辅助图像，并分别对基础图像和辅助图像进行美颜处理，且将处理后的基础图像和辅助图像合成为三维图像。通过本方法丰富了当前场景对应的图像信息，解决了人脸区域的两侧由于过暗或者图像信息太少，不利于或无法进行细致美颜，影响美颜后的图像的画面质量的问题；同时，美颜后的图像以三维图像形式显示，给用户带来一种全新的美颜方式，优化了用户的使用体验。

实施例二

图2是本发明实施例二提供的图像的三维美颜方法的流程图。本实施例提供的图像的三维美颜方法以实施例一为基础，进一步的，将所述对所述基础图像进行美颜处理具体优化为：确定基础图像中的脸部区域的五官部分；将确定的基础图像中的五官部分与预设的模板图像中的五官部分进行比较，获得比较结果，并根据比较结果对所述基础图像中的五官部分进行图像处理。

参见图2所示，所述图像的三维美颜方法，包括如下步骤：

步骤S200、获取当前场景对应的基础图像和辅助图像，其中所述基础图像和所述辅助图像的景深与视差均不相同。

示例性的，采用移动终端中并排设置的第一摄像头和第二摄像头同时对相同的拍摄目标所在的画面进行拍摄，以获取景深与视差均不相同的两张图像，即基础图像和辅助图像。

步骤S201、确定所述基础图像和所述辅助图像的区别像素点。

分别将基础图像和辅助图像划分为多个子图像，比较对应的子图像的像素，获取像素不同的子图像所包含的像素点作为区别像素点。例如，参见图2b所示，将基础图像22和辅助图像21均划分成m×n个子图像，每个子图像的区域面积是其中m>0,n>0。并且，以A1表示辅助图像21的边缘区域，B1表示辅助图像21的次边缘区域；以A2表示基础图像22的边缘区域，B2表示基础图像22的次边缘区域。

首先，从中选择基础图像22和辅助图像21的边缘区域的子图像进行比较，若辅助图像与基础图像的边缘区域的相应的子图像所包含的像素不同，则确定所述子图像所包含的像素点为区别像素点。其次，获取次边缘区域的子图像进行比较，若辅助图像与基础图像的次边缘区域的相应的子图像所包含的像素不同，则确定所述子图像所包含的像素点为区别像素点。按照上述方法，继续比较辅助图像与基础图像相应的子图像的像素点，直至，辅助图像与基础图像的相应的子图像所包含的像素完全相同为止。

若辅助图像与基础图像的次边缘区域的相应的子图像的像素部分不同，则将辅助图像的次边缘B1的每个子图像均分为两个图像块，相应的，将基础图像的次边缘B2的每个子图像均分为两个图像块。分别比较辅助图像和基础图像相应的图像块，若辅助图像的次边缘B1的子图像的图像块与基础图像的次边缘B2的子图像的图像块所包含的像素不同，则确定图像块所包含的像素点为区别像素点。若辅助图像与基础图像的次边缘区域的相应的子图像的图像块的像素部分不同，按照上述方法，将所述图像块均分为两个子图像块，以子图像块为比较的最小单元，继续比较相应的子图像块所包含的像素，直至所述最小单元中包含的像素完全相同为止。

步骤S202、确定基础图像中的脸部区域的五官部分。

利用人脸识别算法将基础图像与人脸数据库中的人脸图像作比较，根据比较结果判断基础图像中的人脸的区域。若未检测到人脸，则转至执行步骤S205，直接显示基础图像与辅助图像合成的三维图像。

若检测到人脸，可以采用模板匹配的方法确定基础图像中的脸部区域的五官部分。具体是采用一个规则的几何图像作为模板，在人脸的区域进行查找和判别，以定位人脸的五官部分。还可以基于神经网络算法确定人脸区域的五官部分。利用神经网络的自学习功能获取人脸和五官特征，在对每个器官定位时，构造一个与其对应的人工神经网络，将每个人工神经网络输出人脸图像得到该器官在人脸图像中的位置。对每一个器官都进行大量的训练得到稳定的神经元系数，再通过神经网络反射回传待检测图像的信息，可以确定该器官的位置。

步骤S203、对所述基础图像中的五官部分进行图像处理。

将确定的基础图像中的五官部分与预设的模板图像中的五官部分进行比较，获得比较结果，并根据比较结果对所述基础图像中的五官部分进行图像处理。其中，预设的模板图像可以是用户输入的模板图像，或者是用户选择的模板图像，还可以是通过其它方式获取的模板。例如，获取一张图片作为模板图像，该模板图像中人眼较大，且瞳孔的颜色是蓝色，肤色为白色。而基础图像中人眼较小，且瞳孔为黑色，肤色为黄色。对基础图像进行如下处理：根据人脸肤色的RGB颜色值确定人脸的轮廓，对人脸除五官以外的区域进行降噪、虚化等处理，以达到磨皮的效果。根据预设的模板图像的皮肤的RGB颜色值调整基础图像的肤色值，以达到美白的效果。以预设的模板图像的眼睛为参照，对基础图像的眼睛进行图像拉伸处理，以达到大眼的效果。按照预设的模板图像中瞳孔的RGB颜色值调整基础图像的瞳孔的颜色值。

步骤S204、依据确定的区别像素点对所述辅助图像进行图像处理。

从所确定的基础图像和所述辅助图像的区别像素点中，选择所述辅助图像包含的区别像素点。所述区别像素点表示所述基础图像的脸部侧面没有被检测到的位置。

将辅助图像中区别像素点的亮度值与预设的亮度阈值进行比较，并根据比较结果调整辅助图像的曝光值；对调整曝光值后的辅助图像进行磨皮和/或美肤处理。所述预设的亮度阈值与基础图像的亮度值接近，以确保通过人眼不易观察到两幅图像的亮度偏差。例如，获取基础图像的亮度值作为预设的亮度阈值，获取所述区别像素点的亮度值，并与预设的亮度阈值比较。若所述区别像素点的亮度值小于预设的亮度阈值，则提高辅助图像的曝光值；否则，降低辅助图像的曝光值。对调整曝光值后的辅助图像中人脸除五官以外的区域进行降噪、虚化等处理，以达到磨皮的效果。根据预设的模板图像的皮肤的RGB颜色值改变调整曝光值后的辅助图像的肤色值，以达到美白的效果。

步骤S205、将处理后的基础图像和辅助图像合成为三维图像。

移动终端的CPU提取美颜处理后的基础图像和辅助图像的视差信息和景深信息，以生成左眼视图和右眼视图，将所述左眼视图和所述右眼视图合成为三维视图，并在移动终端显示。

本实施例提供的图像的三维美颜方法，通过获取当前场景对应的景深与视差不同的基础图像和辅助图像，确定基础图像和辅助图像的区别像素点，通过比较基础图像中的五官部分与预设的模板图像中的五官部分进行美颜，依据所确定的基础图像和辅助图像的区别像素点对所述辅助图像进行图像处理，将处理后的基础图像和辅助图像合成为三维图像。通过模板比对的方法对基础图像进行美颜处理，处理速度更快，无需用户手动逐项设置美颜参数，方便用户使用，提高美颜处理的效率。同时，将美颜后的图像以三维图像形式显示，与以往的美颜操作相比，更具趣味性，优化了用户体验。

实施例三

图3是本发明实施例三提供的图像的三维美颜装置的结构示意图。参见图3所示，所述图像的三维美颜装置，包括：

图像获取单元300，用于获取当前场景对应的基础图像和辅助图像，其中所述基础图像和所述辅助图像的景深与视差均不相同；

像素点确定单元310，用于确定所述基础图像和所述辅助图像的区别像素点；

基础处理单元320，用于对所述基础图像进行美颜处理；

辅助处理单元330，用于依据确定的区别像素点对所述辅助图像进行图像处理；

图像合成单元340，用于将处理后的基础图像和辅助图像合成为三维图像。

其中，所述图像获取单元300具体用于：

获取移动终端的第一摄像头拍摄当前场景得到的图像作为基础图像，并获取所述移动终端的第二摄像头拍摄当前场景得到的图像作为辅助图像，其中，第一摄像头与第二摄像头并列设置，且第一摄像头与第二摄像头的景深不同。

其中，所述图像获取单元300包括：

基础图像获取子单元，用于获取移动终端的摄像头拍摄当前场景得到的图像作为基础图像；

辅助图像获取子单元，用于调整所述基础图像的景深和视差，将调整后的图像作为辅助图像。

其中，所述基础处理单元320包括：

五官信息确定子单元，用于确定基础图像中的脸部区域的五官部分；

基础处理子单元，用于将确定的基础图像中的五官部分与预设的模板图像中的五官部分进行比较，获得比较结果，并根据比较结果对所述基础图像中的五官部分进行图像处理。

其中，所述辅助处理单元330包括：

曝光值调整子单元，用于将辅助图像中区别像素点的亮度值与预设的亮度阈值进行比较，并根据比较结果调整辅助图像的曝光值；

辅助处理子单元，用于对调整曝光值后的辅助图像进行磨皮和/或美肤处理。

本实施例提供的图像的三维美颜装置，通过图像获取单元300获取当前场景对应的景深与视差不同的基础图像和辅助图像，并通过基础处理单元320对基础图像进行美颜处理，通过辅助处理单元330，依据由像素点确定单元310所确定的区别像素点，对辅助图像进行图像处理，且通过辅助处理单元330将处理后的基础图像和辅助图像合成为三维图像。解决了人脸区域的两侧由于过暗或者图像信息太少，不利于或无法进行细致美颜，影响美颜后的图像的画面质量的问题，提高了图像的质量。

上述装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种图像的三维美颜方法，其特征在于，包括：

获取当前场景对应的基础图像和辅助图像，其中所述基础图像和所述辅助图像的景深与视差均不相同；

确定所述基础图像和所述辅助图像的区别像素点；

对所述基础图像进行美颜处理，并将辅助图像中区别像素点的亮度值与预设的亮度阈值进行比较，并根据比较结果调整辅助图像的曝光值；

对调整曝光值后的辅助图像进行磨皮和/或美肤处理；

将处理后的基础图像和辅助图像合成为三维图像。

2.根据权利要求1所述的方法，其特征在于，所述获取当前场景对应的基础图像和辅助图像，包括：

获取移动终端的第一摄像头拍摄当前场景得到的图像作为基础图像，并获取所述移动终端的第二摄像头拍摄当前场景得到的图像作为辅助图像，其中，第一摄像头与第二摄像头并列设置，且第一摄像头与第二摄像头的景深不同。

3.根据权利要求1所述的方法，其特征在于，所述获取当前场景对应的基础图像和辅助图像，包括：

获取移动终端的摄像头拍摄当前场景得到的图像作为基础图像；

调整所述基础图像的景深和视差，将调整后的图像作为辅助图像。

4.根据权利要求1所述的方法，其特征在于，所述对所述基础图像进行美颜处理，包括：

确定基础图像中的脸部区域的五官部分；

将确定的基础图像中的五官部分与预设的模板图像中的五官部分进行比较，获得比较结果，并根据比较结果对所述基础图像中的五官部分进行图像处理。

5.一种图像的三维美颜装置，其特征在于，包括：

图像获取单元，用于获取当前场景对应的基础图像和辅助图像，其中所述基础图像和所述辅助图像的景深与视差均不相同；

像素点确定单元，用于确定所述基础图像和所述辅助图像的区别像素点；

基础处理单元，用于对所述基础图像进行美颜处理；

辅助处理单元，用于依据确定的区别像素点对所述辅助图像进行图像处理；其中，所述辅助处理单元包括：

曝光值调整子单元，用于将辅助图像中区别像素点的亮度值与预设的亮度阈值进行比较，并根据比较结果调整辅助图像的曝光值；

辅助处理子单元，用于对调整曝光值后的辅助图像进行磨皮和/或美肤处理；

图像合成单元，用于将处理后的基础图像和辅助图像合成为三维图像。

6.根据权利要求5所述的装置，其特征在于，所述图像获取单元具体用于：

获取移动终端的第一摄像头拍摄当前场景得到的图像作为基础图像，并获取所述移动终端的第二摄像头拍摄当前场景得到的图像作为辅助图像，其中，第一摄像头与第二摄像头并列设置，且第一摄像头与第二摄像头的景深不同。

7.根据权利要求5所述的装置，其特征在于，所述图像获取单元包括：

基础图像获取子单元，用于获取移动终端的摄像头拍摄当前场景得到的图像作为基础图像；

辅助图像获取子单元，用于调整所述基础图像的景深和视差，将调整后的图像作为辅助图像。

8.根据权利要求5所述的装置，其特征在于，所述基础处理单元包括：

五官信息确定子单元，用于确定基础图像中的脸部区域的五官部分；

基础处理子单元，用于将确定的基础图像中的五官部分与预设的模板图像中的五官部分进行比较，获得比较结果，并根据比较结果对所述基础图像中的五官部分进行图像处理。