CN111583163A - 基于ar的人脸图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种基于AR的人脸图像处理方法、装置、设备及存储介质，涉及图像处理技术领域。该方法包括：对人脸图像进行处理，确定人脸图像的逆光程度，根据逆光程度和预设的妆容浓度，确定目标妆容浓度，根据目标妆容浓度，对人脸图像进行上妆。通过确定人脸图像的逆光程度，并根据逆光程度对预设的妆容浓度进行调整，根据调整后的目标妆容浓度对人脸图像进行上妆，从而使得人脸图像上妆更具灵活性，提高了上妆效果，用户体验度较好。

Description

基于AR的人脸图像处理方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于AR(Augmented Reality，增强现实)的人脸图像处理方法、装置、设备及存储介质。

背景技术

随着人们对拍照需求的不断增加，拍照不仅仅限制于照片的清晰度、真实性等，对于照片的美化效果也是人们关注的重点之一，例如：人像上妆、美食滤镜等。

现有技术中，在采用美妆软件进行人脸上妆时，是先拍摄照片，再在拍摄好的照片上，采用一键上妆的方式进行人像美化，也即，对于任意的人像照片，其上妆浓淡程度均是相同的。

这样，由于拍照环境的问题，拍摄人脸可能出现逆光、模糊等情况，而采用上述一键上妆的方式，将导致妆容与人脸的匹配度较差，上妆缺乏灵活性，用户体验较差。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种基于AR的人脸图像处理方法、装置、设备及存储介质，以便于解决现有技术中存在的人脸图像上妆缺乏灵活性，上妆效果差的问题。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种基于增强现实AR的人脸图像处理方法，包括：

对人脸图像进行处理，确定所述人脸图像的逆光程度；

根据所述逆光程度和预设的妆容浓度，确定目标妆容浓度；

根据所述目标妆容浓度，对所述人脸图像进行上妆。

可选地，所述对人脸图像进行处理，确定所述人脸图像的逆光程度，包括：

对所述人脸图像进行转换，得到所述人脸图像的灰度直方图；

根据所述灰度直方图中各灰度值对应的像素点个数，以及预设的灰度区间对应的权重值，确定所述灰度直方图的加权平均值；

根据所述加权平均值，确定所述人脸图像的逆光比率，所述逆光比率用于表示所述逆光程度。

可选地，所述根据所述加权平均值，确定所述人脸图像的逆光程度，包括：

若所述加权平均值大于或等于预设阈值，则根据所述加权平均值、所述预设阈值以及预设归一化系数，确定所述人脸图像的逆光比率。

可选地，所述根据所述逆光程度和预设的妆容浓度，确定目标妆容浓度，包括：

若所述逆光比率大于0，则根据所述逆光比率对所述预设的妆容浓度进行减淡调节，得到所述目标妆容浓度。

可选地，所述根据所述逆光程度和预设的妆容浓度，确定目标妆容浓度，包括：

若所述逆光比率为0，则确定所述目标妆容浓度为所述预设的妆容浓度。

第二方面，本申请实施例还提供了一种基于增强现实AR的人脸图像处理装置，包括：确定模块、计算模块及处理模块；

所述确定模块，用于对人脸图像进行处理，确定所述人脸图像的逆光程度；

所述计算模块，用于根据所述逆光程度和预设的妆容浓度，确定目标妆容浓度；

所述处理模块，用于根据所述目标妆容浓度，对所述人脸图像进行上妆。

可选地，所述确定模块，具体用于对所述人脸图像进行转换，得到所述人脸图像的灰度直方图；根据所述灰度直方图中各灰度值对应的像素点个数，以及预设的灰度区间对应的权重值，确定所述灰度直方图的加权平均值；根据所述加权平均值，确定所述人脸图像的逆光比率，所述逆光比率用于表示所述逆光程度。

可选地，所述确定模块，具体用于若所述加权平均值大于或等于预设阈值，则根据所述加权平均值、所述预设阈值以及预设归一化系数，确定所述人脸图像的逆光比率。

可选地，所述计算模块，具体用于若所述逆光比率大于0，则根据所述逆光比率对所述预设的妆容浓度进行减淡调节，得到所述目标妆容浓度。

可选地，所述计算模块，具体用于若所述逆光比率为0，则确定所述目标妆容浓度为所述预设的妆容浓度。

第三方面，本申请实施例还提供了一种图像处理设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当图像处理设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行时执行如上述第一方面所述的基于增强现实AR的人脸图像处理方法的步骤。

第四方面，本申请实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面所述的基于增强现实AR的人脸图像处理方法的步骤。

本申请的有益效果是：本申请实施例提供的基于AR的人脸图像处理方法、装置、设备及存储介质，对人脸图像进行处理，确定人脸图像的逆光程度，根据逆光程度和预设的妆容浓度，确定目标妆容浓度，根据目标妆容浓度，对人脸图像进行上妆。通过确定人脸图像的逆光程度，并根据逆光程度对预设的妆容浓度进行调整，根据调整后的妆容浓度(目标妆容浓度)对人脸图像进行上妆，从而使得人脸图像上妆更具灵活性，可使得妆容与人脸图像的匹配度更高，提高了上妆效果，用户体验度较好。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种基于AR的人脸图像处理方法的流程示意图；

图2为本申请实施例提供的另一种基于AR的人脸图像处理方法的流程示意图；

图3为本申请实施例提供的一种基于AR的人脸图像处理装置的结构示意图；

图4为本申请实施例提供的另一种基于AR的人脸图像处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

需要说明的是，AR也被称为扩增现实。它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。

本申请中将AR技术应用到人像上妆中，也即在对人像进行相机预览或拍照时，适应性的对人脸图像增加妆容修饰，可以帮助用户迅速预览各种不同风格的妆容使用效果，拍摄出满意的照片，而无需用户真实的去使用化妆品进行化妆，从而有效提高了用户体验度。

下面将结合具体实施例对本申请提供的基于AR的人脸图像处理方法进行解释说明。

图1为本申请实施例提供的一种基于AR的人脸图像处理方法的流程示意图；该方法可由终端设备执行，该终端设备可以为可安装并运行图像应用程序的终端设备，如智能手机、平板电脑等。该图像应用程序例如可以为具有AR功能的图像应用程序。如图1所示，该方法可包括：

S101、对人脸图像进行处理，确定人脸图像的逆光程度。

可选地，人脸图像可以是从相机、云端或是其他终端设备中下载的静态照片，或者也可以是采用具有拍摄功能的设备实时获取的照片预览界面的动态人脸图像，本申请对此不作具体限制。

需要说明的是，当在逆光情况下获取人脸图像时，人脸图像一定程度上会出现发雾模糊等情况，若对于任何拍摄情况下获取的人脸图像采用相同的上妆浓度，将导致一些人脸图像上妆效果较差，影响用户体验。

本申请实施例中，可以先对获取的人脸图像进行处理，可选地，可以采用图像处理算法，确定当前人脸图像的逆光程度。

S102、根据逆光程度和预设的妆容浓度，确定目标妆容浓度。

在一些实施例中，可以预先设定一默认的妆容浓度，也即，对于获取的任意人脸图像，均采用该预设的妆容浓度进行上妆，也即进行初始上妆。进一步地，为了使得妆容与人脸图像更加匹配，上妆效果更好，可以根据上述确定的逆光程度以及该预设的妆容浓度，计算目标妆容浓度，从而对预设的妆容浓度进行调整，以得到与人脸图像更加匹配的妆容浓度。

可选地，逆光程度越大，人脸图像发雾越严重，相应的，确定的目标妆容浓度越淡，从而有效避免了妆容不真实，不贴合人脸的问题。

S103、根据目标妆容浓度，对人脸图像进行上妆。

需要说明的是，上述确定了人脸图像对应的目标妆容浓度后，可以根据该目标妆容浓度对人脸图像进行上妆。其中，上妆也可以理解为，将用户选择的妆面效果根据确定的妆容浓度，添加到人脸图像上。

可选地，用户可以根据自己的喜好，选择不同的妆面效果，而对于不同的妆面效果，均可以根据确定的妆容浓度进行上妆。

综上，本申请实施例提供的基于AR的人脸图像处理方法，对人脸图像进行处理，确定人脸图像的逆光程度，根据逆光程度和预设的妆容浓度，确定目标妆容浓度，根据目标妆容浓度，对人脸图像进行上妆。通过确定人脸图像的逆光程度，并根据逆光程度对预设的妆容浓度进行调整，根据调整后的妆容浓度(目标妆容浓度)对人脸图像进行上妆，从而使得人脸图像上妆更具灵活性，提高了上妆效果，用户体验度较好。

图2为本申请实施例提供的另一种基于AR的人脸图像处理方法的流程示意图，进一步地，如图2所示，上述步骤S101中，对人脸图像进行处理，确定人脸图像的逆光程度，可包括：

S201、对人脸图像进行转换，得到人脸图像的灰度直方图。

可选地，可以采用图像灰度化处理，将人脸图像进行转换，获取人脸图像对应的灰度图像，并得到相应的灰度直方图。

S202、根据所述灰度直方图中各灰度值对应的像素点个数，以及预设的灰度区间对应的权重值，确定灰度直方图的加权平均值。

可选地，根据上述获取的灰度直方图，可以获取不同灰度值对应包含的像素点的个数。通常，图像的灰度值为0-255，图像经过灰度转换后，获取的灰度直方图中，可以对不同的灰度值会对应包含的像素点的个数进行统计显示，例如：灰度值为10对应有20个像素点，灰度值为20对应有30个像素点等，这样，根据上述人脸图像的灰度直方图，可以获取到不同像素点对应的像素点个数。

另外，在进行直方图的加权平均值时，还需要根据直方图每个bin的权重进行加权平均计算。其中，在获取到人脸图像的灰度直方图后，可以将灰度直方图划分为若干小的灰度区间，即直方图的bin，而对于不同的bin，对应有不同的权重。

需要说明的是，逆光程度的计算是对图像中高亮的像素进行最主要的统计，辅助其他灰度值的像素，因此对越高亮处的像素，对应的权重会设置越大，本申请实施例中，可以根据灰度值将直方图分为4个bin，其中，0-190bin为中低灰度值，其权重可以为1；191-222bin为低高亮灰度值，其权重可以为2；223-249bin为中高亮灰度值，其权重可以为4，250-255bin为极高亮灰度值，其权重可以为6。

可选地，上述灰度直方图的加权平均值可以根据公式

进行计算。其中，histogram[i]也即灰度值为i的像素点的个数，weight[i]也即灰度值为i时所对应的权重值。这样，通过计算可以获取人脸图像的灰度直方图的加权平均值。

S203、根据加权平均值，确定人脸图像的逆光比率，逆光比率用于表示逆光程度。

在一些实施例中，通过将获取的加权平均值与预设阈值进行比较，可以确定人脸图像是否存在逆光，当存在逆光时，可以进一步计算逆光比率，其中，逆光比率也即表示上述人脸图像逆光程度的大小。

采用本申请所提供的方法，不仅算法简单、运算速度快，还可对人脸图像逆光程度的检测效果敏感准确，从而保证逆光环境下的人脸图像的上妆效果。

进一步地，上述步骤S203中，根据加权平均值，确定人脸图像的逆光程度，可以包括：

若加权平均值大于或等于预设阈值，则根据加权平均值、预设阈值以及预设归一化系数，确定人脸图像的逆光比率。

需要说明的是，通常，把图像灰度值最大值的0.75的亮度值，即255*0.75≈190，当做图像的高亮区域，也即图像中亮度值大于或等于190的区域可以被认为是出现逆光的区域。本实施例中，预设阈值可以设定为190，预设归一化系数可以设定为60。将上述计算获取的加权平均值与该预设阈值190进行比较，若加权平均值小于190，则确定人脸图像不存在逆光，也即逆光比率为0，而若加权平均值大于或等于190，则确定人脸图像存在逆光，进而计算人脸图像的逆光比率。

可选地，上述根据则根据加权平均值、预设阈值以及预设归一化系数，确定人脸图像的逆光比率ratio，可以根据公式ratio＝1.0*(mean-190)/60来进行计算，其中，参数mean表示上述计算得到的加权平均值，190也即预设阈值，60表示预设归一化系数，从而计算得到了目标人脸图像的逆光比率。

进一步地，上述步骤S102中，根据逆光程度和预设的妆容浓度，确定目标妆容浓度，可以包括：

若逆光比率大于0，则根据逆光比率对预设的妆容浓度进行减淡调节，得到目标妆容浓度。

在一些实施例中，当计算获取的灰度图的加权平均值大于或等于190时，确定人脸图像存在逆光，进而计算出逆光比率大于0，此时，若采用初始的预设妆容浓度进行上妆，由于人脸图像发雾模糊，图像较淡，将会导致上妆妆容相比发雾的人脸图像较浓，从而影响了上妆效果。因此，在本申请中，若逆光比率大于0，可确定该人脸图像的过曝程度，继而根据该逆光比率对预设的妆容浓度，进行减淡调节，以使得目标妆容浓度与人脸图像更匹配。

可选地，可以根据逆光比率以及预设的妆容浓度，获取妆容浓度的调节范围，其中，逆光比率越大，妆容浓度调节范围也越大。

上述对计算得到的逆光比率，以及预设的妆容浓度进行差值计算，从而根据差值结果对预设的妆容浓度进行减淡调节。例如：预设的妆容浓度为200，计算得到的逆光比率为70，那么在利用美妆软件进行人像上妆时，可以通过妆容浓度调节键，将预设的妆容浓度调节至130，也即当前人脸图像对应的目标妆容浓度为130，点击确定按键后，即可根据该目标妆容浓度对当前相机预览界面的人脸图像进行上妆，或者是对预先获取的人脸照片进行上妆，这样，处理后的人脸图像上妆更加贴合，上妆效果也得到了有效提升。

进一步地，根据逆光程度和预设的妆容浓度，确定目标妆容浓度，包括：

若逆光比率为0，则确定目标妆容浓度为预设的妆容浓度。

在另一些实施例中，当计算获取的灰度图的加权平均值小于190时，可以确定人脸图像不存在逆光，此时对应的逆光比率为0，那么，在美妆相机的操作界面中，可以不对上妆浓度进行调节，直接点击确定，即可根据该预设的妆容浓度对相机预览界面的人脸图像进行上妆，亦或者对预先获取的人脸照片进行上妆。

可选的，上述的预设妆容浓度可以根据收集的用户对妆容浓度需求的反馈信息数据进行适应性调整，该预设妆容浓度不限于一固定值，此处不做具体限制。

另外，还需说明的是，本申请中，根据目标妆容浓度对人脸图像进行上妆时，可以但不限于对人脸的五官：眼睛、眉毛、嘴等进行上妆，也可以对头发、肤色等进行颜色浓度调节，本申请不做具体限制。

综上所述，本申请实施例提供的基于AR的人脸图像处理方法及装置，对人脸图像进行处理，确定人脸图像的逆光程度，根据逆光程度和预设的妆容浓度，确定目标妆容浓度，根据目标妆容浓度，对人脸图像进行上妆。通过确定人脸图像的逆光程度，并根据逆光程度对预设的妆容浓度进行调整，根据调整后的妆容浓度(目标妆容浓度)对人脸图像进行上妆，从而使得人脸图像上妆更具灵活性，提高了上妆效果，用户体验度较好。

图3为本申请实施例提供的一种基于AR的人脸图像处理装置的结构示意图，如图3所示，该装置包括：确定模块301、计算模块302及处理模块303；

确定模块301，用于对人脸图像进行处理，确定人脸图像的逆光程度；

计算模块302，用于根据逆光程度和预设的妆容浓度，确定目标妆容浓度；

处理模块303，用于根据目标妆容浓度，对人脸图像进行上妆。

可选地，确定模块301，具体用于对人脸图像进行转换，得到人脸图像的灰度直方图；根据灰度直方图中各灰度值对应的像素点个数，以及预设的灰度区间对应的权重值，确定灰度直方图的加权平均值；根据加权平均值，确定人脸图像的逆光比率，逆光比率用于表示逆光程度。

可选地，确定模块301，具体用于若加权平均值大于或等于预设阈值，则根据加权平均值、预设阈值以及预设归一化系数，确定人脸图像的逆光比率。

可选地，计算模块302，具体用于若逆光比率大于0，则根据逆光比率对预设的妆容浓度进行减淡调节，得到目标妆容浓度。

可选地，计算模块302，具体用于若逆光比率为0，则确定目标妆容浓度为预设的妆容浓度。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

图4为本申请实施例提供的另一种基于AR的人脸图像处理装置的结构示意图，该装置可以集成于终端设备或者终端设备的芯片，该终端可以是具备图像处理功能的处理设备。

该装置包括：处理器401、存储器402。

存储器402用于存储程序，处理器401调用存储器402存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种基于AR的人脸图像处理方法，其特征在于，包括：

对人脸图像进行处理，确定所述人脸图像的逆光程度；

根据所述逆光程度和预设的妆容浓度，确定目标妆容浓度；

根据所述目标妆容浓度，对所述人脸图像进行上妆。

2.如权利要求1所述的方法，其特征在于，所述对人脸图像进行处理，确定所述人脸图像的逆光程度，包括：

对所述人脸图像进行转换，得到所述人脸图像的灰度直方图；

根据所述灰度直方图中各灰度值对应的像素点个数，以及预设的灰度区间对应的权重值，确定所述灰度直方图的加权平均值；

根据所述加权平均值，确定所述人脸图像的逆光比率，所述逆光比率用于表示所述逆光程度。

3.如权利要求2所述的方法，其特征在于，所述根据所述加权平均值，确定所述人脸图像的逆光程度，包括：

若所述加权平均值大于或等于预设阈值，则根据所述加权平均值、所述预设阈值以及预设归一化系数，确定所述人脸图像的逆光比率。

4.如权利要求3所述的方法，其特征在于，所述根据所述逆光程度和预设的妆容浓度，确定目标妆容浓度，包括：

若所述逆光比率大于0，则根据所述逆光比率对所述预设的妆容浓度进行减淡调节，得到所述目标妆容浓度。

5.如权利要求3所述的方法，其特征在于，所述根据所述逆光程度和预设的妆容浓度，确定目标妆容浓度，包括：

若所述逆光比率为0，则确定所述目标妆容浓度为所述预设的妆容浓度。

6.一种基于AR的人脸图像处理装置，其特征在于，包括：确定模块、计算模块及处理模块；

所述确定模块，用于对人脸图像进行处理，确定所述人脸图像的逆光程度；

所述计算模块，用于根据所述逆光程度和预设的妆容浓度，确定目标妆容浓度；

所述处理模块，用于根据所述目标妆容浓度，对所述人脸图像进行上妆。

7.如权利要求6所述的装置，其特征在于，所述确定模块，具体用于对所述人脸图像进行转换，得到所述人脸图像的灰度直方图；根据所述灰度直方图中各灰度值对应的像素点个数，以及预设的灰度区间对应的权重值，确定所述灰度直方图的加权平均值；根据所述加权平均值，确定所述人脸图像的逆光比率，所述逆光比率用于表示所述逆光程度。

8.如权利要求7所述的装置，其特征在于，所述确定模块，具体用于若所述加权平均值大于或等于预设阈值，则根据所述加权平均值、所述预设阈值以及预设归一化系数，确定所述人脸图像的逆光比率。

9.如权利要求8所述的装置，其特征在于，所述计算模块，具体用于若所述逆光比率大于0，则根据所述逆光比率对所述预设的妆容浓度进行减淡调节，得到所述目标妆容浓度。

10.如权利要求8所述的装置，其特征在于，所述计算模块，具体用于若所述逆光比率为0，则确定所述目标妆容浓度为所述预设的妆容浓度。

11.一种图像处理设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当图像处理设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行时执行如权利要求1至5任一所述的基于AR的人脸图像处理方法的步骤。

12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一所述的基于AR的人脸图像处理方法的步骤。

Images