CN111882567A - Ar效果的处理方法、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开一种AR效果的处理方法、电子设备及可读存储介质。所述AR效果的处理方法包括：获取场景信息和/或图像信息；根据场景信息和/或图像信息识别出至少一效果处理区域；获取效果处理区域对应的效果贴图；将效果贴图显示在效果处理区域。本申请能够实现多人脸多特效，并且支持自定义效果贴图，从而实现多人脸特效互动。

Description

AR效果的处理方法、电子设备及可读存储介质

技术领域

本申请涉及增强现实(Augmented Reality,AR)领域，具体涉及一种AR效果的处理方法、电子设备及可读存储介质。

背景技术

AR技术是一种全新的人机交互技术，通过智能终端和可视化技术将虚拟内容应用到真实世界，使得虚拟内容和真实世界同时叠加到同一个画面或空间呈现给用户。随着智能终端的普及，AR技术的应用愈加广泛，可以通过在智能终端上安装AR类应用进行体验。AR技术的工作原理为：智能终端通过摄像头拍摄图像或者录制视频，然后识别拍摄到的图像或者视频中的目标物体；对目标物体进行跟踪；获取与目标物体相关联的AR虚拟内容，对图像帧渲染，将AR虚拟内容叠加在目标物体上，并最终显示在智能终端上，完成最终的交互。

目前，AR技术在游戏、购物、广告、教育、旅游等领域的应用越来越广泛，尤其自拍场景和视频通话场景。但此类场景中，在检测到多个人脸图像时，对所有人脸图像简单复制效果贴图，多个人脸图像只能呈现同一个效果，并且目前AR技术不支持用户对效果贴图的自定义操作，既不支持用户修改自身人脸图像的效果贴图，更不允许修改他人人脸图像的效果贴图，无法实现多人脸特效的互动。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

鉴于此，本申请提供一种AR效果的处理方法、电子设备及可读存储介质，以解决当前AR技术不利于实现多人脸多特效，以及不支持自定义效果贴图，无法实现多人脸特效互动的问题。

本申请提供一种的AR效果的处理方法，包括：

S11、获取场景信息和/或图像信息；

S12、根据所述场景信息和/或所述图像信息识别出至少一效果处理区域；

S13、获取所述效果处理区域对应的效果贴图；

S14、将所述效果贴图显示在所述效果处理区域。

可选地，所述S12步骤包括：

对所述场景信息和/或所述图像信息进行识别；

判断所述场景信息和/或所述图像信息中是否存在预设特征信息；

若是，则将至少一所述预设特征信息所在区域识别为所述效果处理区域。

可选地，所述预设特征信息包括以下至少一种：

物体信息、人物信息、面部信息、景物信息。

可选地，所述获取所述效果处理区域对应的效果贴图的方式，包括以下至少一种：

根据选择操作获取对应的效果贴图；

根据编辑操作生成效果贴图；

根据所述场景信息和/或所述图形信息获取对应的效果贴图。

可选地，所述根据编辑操作生成效果贴图的步骤，包括：

显示编辑区域及元素；

根据选择的元素在所述编辑区域进行编辑；

根据确认操作生成效果贴图。

可选地，所述编辑区域与所述效果处理区域相对应。

可选地，所述S14步骤，包括：

将所述效果贴图显示于所述效果处理区域；和/或，

按照预设规则对所述效果贴图进行调整后，显示于所述效果处理区域。

可选地，所述按照预设规则对所述效果贴图进行调整的步骤，包括：

获取所述效果处理区域的变化信息；

根据所述变化信息对所述效果贴图进行调整。

可选地，所述S14步骤，还包括：

根据所述效果贴图的选择顺序，将所述效果贴图依次显示于对应的所述效果处理区域。

本申请提供的一种AR效果的处理方法，包括：

S21、通过一选择界面获取至少一效果处理区域；

S22、根据场景信息和/或图像信息获取所述效果处理区域对应的效果贴图；

S23、将所述效果贴图显示在所述效果处理区域。

可选地，所述S21步骤，包括：

根据接收到的选择操作，在所述场景信息中和/或所述图像信息中确定至少一效果处理区域。

可选地，所述S22步骤，包括：

对所述场景信息和/或所述图像信息进行识别；

判断所述场景信息和/或所述图像信息中是否存在预设特征信息；

若是，则获取与所述预设特征信息对应的效果贴图。

可选地，所述预设特征信息包括以下至少一种：

物体信息、人物信息、面部信息、景物信息。

可选地，所述S23步骤，包括：

将所述效果贴图显示于所述效果处理区域；和/或，

按照预设规则对所述效果贴图进行调整后，显示于所述效果处理区域。

可选地，所述按照预设规则对所述效果贴图进行调整的步骤，包括：

检测所述效果处理区域的变化信息；

根据所述变化信息对所述效果贴图进行调整。

可选地，所述S23步骤，还包括：

根据所述效果贴图的选择顺序，将所述效果贴图依次显示于对应的所述效果处理区域。

本申请提供的一种电子设备，包括存储器和处理器，所述存储器存储有程序，所述程序用于被所述处理器运行以执行上述任一项所述的AR效果的处理方法。

本申请提供的一种可读存储介质，存储有程序，所述程序用于被处理器运行以执行上述任一项所述的AR效果的处理方法。

本申请提供的一种AR效果的处理方法，包括：

实时获取摄像头捕捉到的现实场景并采集其中的多个人脸图像；

建立每一人脸图像与效果贴图之间的映射关系；

为所述现实场景中的人脸图像渲染符合所述映射关系的效果贴图；

响应用户指令选定并编辑效果贴图；

将编辑后的效果贴图实时渲染至所述摄像头采集到的与选定的效果贴图具有所述映射关系的人脸图像上。

可选地，所述映射关系包括每一人脸图像与不同效果贴图之间的一一对应关系，和/或，同一效果贴图与不同人脸图像之间的一一对应关系。

可选地，所述方法还包括：预存有多个效果贴图；

所述建立每一人脸图像与效果贴图之间的映射关系，包括：

获取用户从预存的多个效果贴图中选择的人脸图像或者效果贴图；

根据选择结果建立效果贴图与人脸图像之间的映射关系。

可选地，所述建立每一人脸图像与效果贴图之间的映射关系，包括：

获取用户自定义的效果贴图；

建立用户自定义的效果贴图与人脸图像之间的映射关系。

可选地，所述获取用户自定义的效果贴图，包括：对预存的效果贴图进行编辑，获取编辑后的效果贴图；和/或，获取用户新建的效果贴图。

可选地，所述建立每一人脸图像与效果贴图之间的映射关系之前，所述方法包括：预先为各个人脸图像输出自定义区域，所述自定义区域为人脸图像中允许用户自定义效果贴图的区域；

所述建立每一人脸图像与效果贴图之间的映射关系，包括：建立每一人脸图像的自定义区域与效果贴图之间的映射关系。

可选地，所述响应用户指令选定并编辑效果贴图，包括：

依次输出每一人脸图像的所有自定义区域；以及响应用户指令选定的自定义区域，并编辑对应的效果贴图；

或者，依次输出所有人脸图像的相同自定义区域；以及响应用户指令选定的自定义区域，并编辑对应的效果贴图。

可选地，所述建立每一人脸图像与效果贴图之间的映射关系，包括：

检测用户将选定的效果贴图投放至所述现实场景中的位置；

位于所述位置或者所述位置的预定范围内的人脸图像与所述选定的效果贴图建立映射关系。

可选地，所述位于所述位置的预定范围内的人脸图像与所述选定的效果贴图建立映射关系，包括：

检测所述位置的预定范围内是否存在多个人脸图像；以及

在存在多个人脸图像时，获取与所述位置距离最近或者尺寸最大的一个人脸图像，并与所述选定的效果贴图建立映射关系；

在存在单个人脸图像时，则位于所述位置的预定范围内的单个人脸图像与所述选定的效果贴图建立映射关系。

可选地，所述建立每一人脸图像与效果贴图之间的映射关系，包括：

检测用户选择效果贴图的顺序；

按照所述顺序依次建立效果贴图与所述现实场景中按预定顺序排布的人脸图像之间的映射关系。

本申请提供的一种电子设备，包括存储器和处理器，存储器存储有程序，用于被处理器运行以执行所述AR效果的处理方法。

本申请提供的一种可读存储介质，存储有程序，所述程序用于被处理器运行以执行所述AR效果的处理方法。

本申请通过场景信息和/或图像信息识别出至少一效果处理区域，将效果贴图显示在效果处理区域，不仅支持自定义特效，而且在效果处理区域为多个时，可实现多人脸多特效，提高智能互动效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请第一实施例的AR效果的处理方法的流程示意图；

图2、图3、图4、图8和图9为人脸图像添加效果贴图的示意图；

图5是本申请第二实施例的AR效果的处理方法的流程示意图；

图6是本申请第三实施例的AR效果的处理方法的流程示意图；

图7是本申请第四实施例的AR效果的处理方法的流程示意图；

图10是本申请第五实施例的AR效果的处理方法的流程示意图；

图11是本申请一实施例的电子设备的结构示意图。

具体实施方式

下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文描述中，采用了诸如S11、S12等步骤代号，其目的是为了更清楚简要地表述相应内容，并不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S12后执行S11等，但这些均应在本申请的保护范围之内。

现有的AR技术不利于实现多人脸多特效，不支持自定义效果贴图，无法实现多人脸特效互动的问题。针对此，本申请实施例提供一种AR效果的处理方法，通过场景信息和/或图像信息识别出至少一效果处理区域，将效果贴图显示在效果处理区域，不仅支持自定义特效，而且在效果处理区域为多个时，可实现多人脸多特效，提高智能互动效果。

下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述实施例仅是一部分实施例，而非全部。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。

图1是本申请一实施例的AR效果的处理方法的流程示意图。图1所描述方法的执行主体可以为电子设备，例如智能手机(Android手机、iOS手机等)、平板电脑、PDA(PersonalDigital Assistant,个人数字助理)等移动互联网设备(Mobile Internet Devices,MID)，或者具有AR特效功能的可穿戴设备，本申请实施例不予以限定。

请参阅图1，该AR效果的处理方法包括如下步骤S11～S14。

S11、获取场景信息和/或图像信息。

场景信息可以为电子设备的摄像头实时捕捉到的现实场景，包括但不限于为自拍、游戏、场景布置或者视频通话时摄像头的取景。

图像信息可以为电子设备屏幕显示的图像，该图像可以为摄像头实时捕捉到的，或者电子设备预存的现实场景。图像中可以包含现实人物的人脸图像、人物图像、其他物体成像中的至少一种。

电子设备将现实场景渲染效果贴图后作为AR场景。相比现实场景，AR场景增加了效果贴图。效果贴图可以为2D或者3D素材，相当于涂鸦，具体到本申请实施例中，可视为例如对人脸图像的涂鸦。

S12、根据场景信息和/或图像信息识别出至少一效果处理区域。

效果处理区域为需要显示AR效果贴图的区域。

在一种场景中，当捕捉到的现实场景中出现多个现实人物时，例如多个现实人物进入摄像头的镜头时，电子设备通过人脸识别技术识别出每一现实人物，从而确定AR场景中的各个人脸图像。人脸图像所在区域，或者五官成像区域均可以称为效果处理区域。

在一种实现中，通过识别场景信息和/或图像信息的预设特征信息来得到效果处理区域，即，步骤S12包括：

对场景信息和/或图像信息进行识别；

判断场景信息和/或图像信息中是否存在预设特征信息；以及，

若是，即场景信息和/或图像信息中存在预设特征信息，则将至少一预设特征信息所在区域识别为效果处理区域；而若否，即未识别到预设特征信息，则继续对场景信息和/或图像信息进行识别。

其中，预设特征信息包括以下至少一种：物体信息、人物信息、面部信息、景物信息。物体信息包括但不限于现实场景中物体的位置、形状、颜色等信息。人物信息包括但不限于现实人物在现实场景中的位置、肢体动作等信息。面部信息可以为面部表情、五官位置及形状等信息。景物信息可以为蓝天、白云、高山、大海及建筑物等信息。

S13、获取效果处理区域对应的效果贴图。

获取效果处理区域对应的效果贴图的方式，包括以下至少一种：

根据选择操作获取对应的效果贴图；

根据编辑操作生成效果贴图；以及，

根据场景信息和/或图形信息获取对应的效果贴图。

对于第一种方式，在一种实现中，效果处理区域与效果贴图之间具有预先设定的对应关系。例如，每一人脸图像与一个效果贴图相对应，例如人脸图像A与效果贴图A1对应，人脸图像B与效果贴图B1对应。或者，单个人脸图像与多个效果贴图相对应，例如人脸图像A与效果贴图A1和A2对应，人脸图像B与效果贴图B1对应。

电子设备中预存有多个效果贴图，例如建立有图2所示的图库，供用户从中挑选效果贴图。电子设备获取用户从预存的多个效果贴图中选择的人脸图像或者效果贴图，并根据选择结果建立效果贴图与人脸图像之间的映射关系。例如，在AR场景的下部或者终端侧边区域显示图库，用户选择图库中的效果贴图A1，并拖动其朝向人脸图像A移动，并在移动至人脸图像A时手指离开电子设备的触控屏，则电子设备自动记录人脸图像A与效果贴图A1具有映射关系。又例如，用户双击图库中的效果贴图A1，电子设备自动将该效果贴图A1与相应位置或者按照预定顺序排位的人脸图像A建立对应关系。

对于第二种方式，本实施例可以通过对编辑区域的编辑操作来生成效果贴图，即，根据编辑操作生成效果贴图这一步骤，包括：

显示编辑区域及元素；

根据选择的元素在编辑区域进行编辑；以及

根据确认操作生成效果贴图。

其中，编辑区域为用户选定的需要修改或者添加效果贴图的显示区域。该编辑区域与效果处理区域相对应，即，编辑区域与效果处理区域具有对应关系，编辑区域在电子设备屏幕上的位置并不予以限定，例如可以图3所示的位于效果处理区域(人脸区域)内，以及图3所示的位于电子设备屏幕的下部的区域。

元素包括以下至少一种：线条、颜色、贴纸、文字。如图3所示，在编辑区域内，线条的粗细以及颜色可调整，并且电子设备将编辑后的效果贴图实时同步显示于效果处理区域上。

所谓对元素的编辑包括对既有效果贴图的修改，和/或用户完全自定义效果贴图。所谓用户自定义的效果贴图可理解为用户并未直接采用预存的效果贴图，例如图库中的效果贴图，而是采用自定义的效果贴图。该自定义的效果贴图可以为对预存的效果贴图进行编辑后的效果贴图，也可以为用户完全新建的效果贴图。

在一种实现方式中，电子设备获取用户自定义的效果贴图，并建立其与人脸图像之间的对应关系。

具体地，用户可以单击AR场景中的人脸图像，其首先用于选定人脸图像，然后对当前渲染至其上的效果贴图(称为初始效果贴图)进行编辑。所谓编辑可为修改，例如为该人脸图像更换另一张效果贴图(更换后的效果贴图称为最终效果贴图)，或者对初始效果贴图的元素进行调整，又或者对额头对应区域的初始效果贴图的元素进行修改。

在第三种方式中，场景信息和/或图形信息与效果贴图之间具有预先设定的对应关系。在AR场景中，

在一种实现中，被渲染的效果贴图可以在AR类应用刚开启时直接根据预先设定自动显示，即默认效果贴图。

在另一种实现中，该预先设定的对应关系也可以为现实人物和/或物体信息与效果贴图的对应关系，通俗而言，当摄像头实时捕捉到的现实场景中出现现实人物时，电子设备通过人脸识别技术确定现实人物的身份，例如标识为现实人物A，此时即可自动在现实场景中渲染与现实人物A具有对应关系的效果贴图，比如“老虎脸”；而当摄像头实时捕捉到现实人物B出现于现实场景中时，电子设备自动在现实场景中渲染与现实人物B具有对应关系的效果贴图，比如兔子。

S14、将效果贴图显示在效果处理区域。

效果贴图的显示方式可以为如下两种方式中的至少一种：

在一种实现中，电子设备将效果贴图直接显示于效果处理区域。

在另一种实现中，电子设备按照预设规则对效果贴图进行调整后，显示于效果处理区域。例如，首先获取效果处理区域的变化信息，然后根据变化信息对效果贴图进行调整。

所述变化信息包括如下至少一种：角度变化、效果处理区域的动作变化、形状变化、距离变化。

角度变化可理解为人物或物体在AR场景中面向用户视线方向的角度发生了变化。对应地，需要对效果贴图的显示角度进行调整，调整后效果贴图与人物或物体在AR场景中的成像角度相符。例如，人脸朝向左侧偏转，效果贴图“老虎脸”则应当与人脸同步偏转。

动作变化和形状变化导致人物和/或物体在AR场景中的成像姿态发生变化，对应地，对效果贴图的姿态也进行调整，例如，人物的嘴巴由闭合变为张开，则效果贴图“老虎脸”也应当张开大嘴。

距离变化使得人物和/或物体在AR场景中的成像大小发生变化，因此需要对效果贴图进行等比例大小的调整。

另外，在步骤S14中，电子设备可以根据效果贴图的选择顺序，将效果贴图依次显示于对应的效果处理区域。

具体地，先检测用户选择效果贴图的顺序，然后，按照顺序依次建立效果贴图与现实场景中按预定顺序排布的人脸图像之间的映射关系。例如，请参阅图4所示，用户选择的顺序依次为效果贴图A1、A2和B1，若按照从左到右的预定顺序创建映射关系，则人脸图像A与效果贴图A1建立映射关系，人脸图像B与效果贴图A2建立映射关系，人脸图像C与效果贴图B1建立映射关系。

其中，在现实场景中的预定顺序并不限于中从左到右，还可以为从上至下、从中心到边缘等，本申请实施例不予以限制。

本实施例提供的AR效果的处理方法，根据场景信息和/或图像信息识别出至少一效果处理区域，将效果贴图显示在效果处理区域，不仅支持自定义特效，而且在效果处理区域为多个时，可实现多人脸多特效，提高智能互动效果。

在上述实施例的基础上，图5为本申请另一实施例的AR效果的处理方法的流程示意图。请参阅图5，该AR效果的处理方法包括如下步骤S21～S23。

S21、通过一选择界面获取至少一效果处理区域。

选择界面可以为触控屏幕或者该触控屏幕上的某一区域，通过在该区域内的触控操作来划定效果处理区域。

在一种实现中，电子设备根据接收到的选择操作，在场景信息中和/或图像信息中确定至少一效果处理区域。其中，选择操作包括但不限于为双击、单击、触控滑动等操作。

例如，请参阅3或图4所示，用户单击或双击选定人脸，电子设备基于人脸识别技术自动识别到人脸图像所在区域，即可将其作为效果处理区域。又或者，用户手指在图3所示屏幕上滑动圈定人脸图像所在区域，也可以将圈定区域作为效果处理区域。

S22、根据场景信息和/或图像信息获取效果处理区域对应的效果贴图。

在一种实现中，通过识别场景信息和/或图像信息的预设特征信息来得到对应的效果贴图，即，步骤S22包括：

对场景信息和/或图像信息进行识别；

判断场景信息和/或图像信息中是否存在预设特征信息；以及，

若是，即场景信息和/或图像信息中存在预设特征信息，则获取与预设特征信息对应的效果贴图；而若否，即未识别到预设特征信息，则继续对场景信息和/或图像信息进行识别。

其中，预设特征信息包括以下至少一种：物体信息、人物信息、面部信息、景物信息。物体信息包括但不限于现实场景中物体的位置、形状、颜色等信息。人物信息包括但不限于现实人物在现实场景中的位置、肢体动作等信息。面部信息可以为面部表情、五官位置及形状等信息。景物信息可以为蓝天、白云、高山、大海及建筑物等信息。

获取与预设特征信息对应的效果贴图这一步骤，在一种实现中，效果处理区域与效果贴图之间具有预先设定的对应关系。例如，每一人脸图像与一个效果贴图相对应，例如人脸图像A与效果贴图A1对应，人脸图像B与效果贴图B1对应。或者，单个人脸图像与多个效果贴图相对应，例如人脸图像A与效果贴图A1和A2对应，人脸图像B与效果贴图B1对应。在识别到预设特征信息时，根据该对应关系，电子设备自动获取到与该预设特征信息对应的效果贴图。

S23、将效果贴图显示在效果处理区域。

步骤S23的实现方式，请参阅前述实施例中步骤S24的描述，此处不再予以赘述。

在图1所述的实施例中，根据场景信息和/或图像信息识别出效果处理区域，效果贴图不仅可以根据场景信息和/或图像信息自动获取，也可以通过用户选择操作或者编辑操作生成。在本实施例中，在AR应用启动后，根据用户在选择界面上的操作来手动获取效果处理区域，并且效果贴图是根据场景信息和/或图像信息自动获取的。

图6是本申请实施例公开的一种AR效果的处理方法的流程示意图。请参阅图6，所述AR效果的处理方法包括步骤S31～S35。

S31：实时获取摄像头捕捉的现实场景并采集其中的多个人脸图像。

在检测到AR类应用(或者说具有AR功能的应用)启动后，电子设备会将摄像头实时捕捉到的现实场景作为AR场景。所述现实场景包括但不限于为自拍或者视频通话时摄像头所能取景的场景。

当实时捕捉到的现实场景中出现多个现实人物时，例如多个现实人物进入摄像头的镜头时，电子设备通过人脸识别技术对每一现实人物进行有效识别，从而确定AR场景中的各个人脸图像。

而在具有保密或者鉴权需求的应用场景中，电子设备可以根据人脸图像对现实人物进行身份验证，以进一步判断该现实人物是否为该AR应用的用户以及该现实人物是否能访问该AR应用的信息，其中，电子设备根据人脸图像对该现实人物进行身份验证可以包括：

电子设备向AR应用的服务器发送身份验证请求，该身份验证请求包括捕捉到的人脸图像，且用于请求验证。电子设备接收AR应用的服务器响应身份验证请求返回的身份验证响应。当该身份验证响应指示存在该人脸图像对应的信息时，电子设备确定该现实人物为该AR应用的有效用户或者确定该现实人物的身份验证通过，并将身份验证通过的现实人物的人脸图像显示于AR场景中。而对于身份验证未通过的现实人物，电子设备可以不将其人脸图像显示于AR场景中。

进一步地，在实时捕捉到的现实场景中，电子设备可以显示或输出身份验证通过的各个现实人物的信息，其中，该信息可以包括服务器中记录到的信息，例如该现实人物的姓名、年龄等。

S32：建立每一人脸图像与效果贴图之间的映射关系。

所谓映射关系表示人脸图像与效果贴图之间的对应关系，通常来说，每一人脸图像可以与一个效果贴图相对应，例如人脸图像A与效果贴图A1对应，人脸图像B与效果贴图B1对应。或者，每一人脸图像可以与多个效果贴图相对应，例如人脸图像A与效果贴图A1和效果贴图A2对应，人脸图像B与效果贴图B1对应。

其中，效果贴图可以为2D素材或者3D素材，相当于通常所说的涂鸦，具体到本申请实施例中，可视为对人脸图像的涂鸦。

在所述映射关系中，不同脸图像可以与不同效果贴图之间具有所述一一对应关系，也就是说，不同的人脸图像使用不同的效果贴图，例如，人脸图像A与效果贴图A1对应，人脸图像B与效果贴图B1对应。当然，同一效果贴图可以与不同人脸图像之间具有所述一一对应关系，也就是说，不同的人脸图像可以使用相同的效果贴图，例如，人脸图像A与效果贴图A1对应，人脸图像B也与效果贴图A1对应。

通过该映射关系，电子设备可以为每一人脸图像渲染效果贴图。

在本申请实施例中，建立映射关系包括但不限于如下四种方式：

第一种：电子设备中预存有多个效果贴图，例如建立有图2所示的图库，供用户从中挑选效果贴图。电子设备获取用户从预存的多个效果贴图中选择的人脸图像或者效果贴图，并根据选择结果建立效果贴图与人脸图像之间的映射关系。例如，在AR场景的下部或者终端侧边区域显示图库，用户选择图库中的效果贴图A1，并拖动其朝向人脸图像A移动，并在移动至人脸图像A时手指离开电子设备的触控屏，则电子设备自动记录人脸图像A与效果贴图A1具有映射关系。又例如，用户双击图库中的效果贴图A1，电子设备自动将该效果贴图A1与相应位置或者按照预定顺序排位的人脸图像A建立映射关系。

第二种：获取用户自定义的效果贴图，并建立用户自定义的效果贴图与人脸图像之间的映射关系。所谓用户自定义的效果贴图可理解为用户并未直接采用预存的效果贴图，例如图库中的效果贴图，而是采用自定义的效果贴图。该自定义的效果贴图可以为对预存的效果贴图进行编辑后的效果贴图，也可以为用户完全新建的效果贴图。

第三种：请一并参阅图7和图3所示，电子设备首先检测用户选定的效果贴图(从预存中选择或者自定义)，例如图2所示的脸谱效果贴图A1，投放至现实场景(AR场景)中的位置，然后将位于所述位置的人脸图像A与该选定的效果贴图A1建立映射关系。

在实际应用场景中，用户投放的位置实质上是一个大概区域，该位置可能并未有人脸图像，为避免误差，可以选取位于所述位置的预定范围内的人脸图像，并将其与选定的效果贴图建立映射关系。

进一步地，考虑到预定范围内存在多个人脸图像的情况，对此，电子设备先检测所述位置(小虚线圆圈所示区域)的预定范围(大虚线圆圈所示区域)内是否存在多个人脸图像，在存在多个人脸图像时，请参阅图2所示，获取与该位置距离最近或者尺寸最大的一个人脸图像A，并将其与选定的效果贴图A1建立映射关系。而在存在单个人脸图像时，则直接将该单个人脸图像与选定的效果贴图建立映射关系。

第四种：先检测用户选择效果贴图的顺序，然后，按照所述顺序依次建立效果贴图与所述现实场景中按预定顺序排布的人脸图像之间的映射关系。例如，请参阅图4所示，用户选择的顺序依次为效果贴图A1、A2和B1，若按照从左到右的预定顺序创建映射关系，则人脸图像A与效果贴图A1建立映射关系，人脸图像B与效果贴图A2建立映射关系，人脸图像C与效果贴图B1建立映射关系。

其中，在现实场景中的预定顺序并不限于中从左到右，还可以为从上至下、从中心到边缘等，本申请实施例不予以限制。

S33：为现实场景中的人脸图像渲染符合映射关系的效果贴图。

对于人脸图像与效果贴图为一一对应的映射关系，电子设备直接将效果贴图渲染至对应的人脸图像，并实时显示于AR场景中。

而对于每一人脸图像与多个效果贴图相对应的映射关系，电子设备可以根据用户指令或者预定规则(具体过程参阅后文)选取其中的一个或者多个效果贴图进行渲染，并实时显示于AR场景中。

S34：响应用户指令选定并编辑效果贴图。

用户指令可以为对AR场景中的人脸图像的单击操作，其首先用于选定人脸图像，然后对当前渲染至其上的效果贴图(称为初始效果贴图)进行编辑。所谓编辑即为修改，例如为该人脸图像更换另一张效果贴图(更换后的效果贴图称为最终效果贴图)，或者对初始效果贴图的颜色进行调整，又或者对额头对应区域的初始效果贴图进行修改。

在本申请实施例中，下达该用户指令的用户既可以为被编辑效果贴图的人脸图像对应的现实人物，也可以为该AR场景中其他人脸图像对应的现实人物，还可以为未显示于AR场景中的现实人物。

当然，电子设备可以设置权限，并仅允许具有权限的用户下达所述用户指令。例如，具有权限的用户可以为该AR场景中任一人脸图像对应的现实人物。权限的验证方式可基于人脸识别技术。

S35：将编辑后的效果贴图实时渲染至摄像头采集到的与选定的效果贴图具有所述映射关系的人脸图像上。

由上述可知，电子设备建立人脸图像与效果贴图之间的映射关系，不同的人脸图像可以对应不同的效果贴图，能够实现多人脸多特效，并且通过响应用户指令编辑效果贴图，在编辑后实时渲染至与对应人脸图像上，支持用户实时修改效果贴图，能够实现多人脸特效互动。

例如，结合图9所示，在视频通话的应用场景中，AR场景包括通话双方，现实人物A和现实人物B分别对应人脸图像A和人脸图像B，人脸图像A与初始效果贴图A1具有映射关系，人脸图像B与初始效果贴图B1具有映射关系，在通话一方的显示界面(AR场景)上，现实人物A不仅可以对初始效果贴图A1进行编辑，例如图9所示将其替换为效果贴图A2，还可以对初始效果贴图B1进行编辑，例如图9所示将其替换为效果贴图B2。同理，现实人物B不仅可以对初始效果贴图B1进行编辑，还可以对初始效果贴图A1进行编辑。

其中，编辑后的效果贴图与人脸图像建立映射关系，而初始效果贴图与人脸图像之间的映射关系可以接触，也可以保留。也就是说，步骤S33中的映射关系是可以根据用户指令而改变的，在步骤S35之后，一旦再次接收到用户指令，会重复执行步骤S33～S35。

图10是本申请另一实施例的AR效果的处理方法的流程示意图。请参阅图10所示，所述AR效果的处理方法包括步骤S41～S46。

S41：实时获取摄像头捕捉的现实场景并采集其中的多个人脸图像。

S42：预先为各个人脸图像输出自定义区域，所述自定义区域为人脸图像中允许用户自定义效果贴图的区域。

S43：建立每一人脸图像的自定义区域与效果贴图之间的映射关系。

S44：为现实场景中的人脸图像渲染符合映射关系的效果贴图。

S45：响应用户指令选定并编辑效果贴图。

S46：将编辑后的效果贴图实时渲染至摄像头采集到的与选定的效果贴图具有所述映射关系的人脸图像上。

在前述描述基础上，但与之不同的是，本实施例考虑到人脸图像包括面部器官，允许用户对各个面部器官分别渲染效果贴图。

所述自定义区域可以为人脸图像中允许进行渲染的面部器官所在区域，例如，预先设定某一人脸图像输出的自定义区域为额头、嘴巴和耳朵这三个面部器官所对应的区域，其中，额头与老虎额头的“王”字图案这一效果贴图建立映射关系，嘴巴与鹰嘴图案这一效果贴图建立映射关系，耳朵与猪耳朵图案这一效果贴图建立映射关系，根据用户指令可以对额头、嘴巴和耳朵中的任一个或多个进行渲染，但是对于该人脸图像的其他部位，例如眼睛和鼻子，则无法进行渲染。

在本实施例的步骤S35中，电子设备可以依次输出每一人脸图像的所有自定义区域，然后响应用户指令选定的自定义区域，并编辑对应的效果贴图。例如，先依次输出人脸图像A的所有自定义区域，以及自定义区域对应的效果贴图，以允许用户对该人脸图像A的面部器官的效果贴图进行编辑，然后，电子设备再输出人脸图像B的所有自定义区域及其自定义区域对应的效果贴图，依此类推。

或者，电子设备可以依次输出所有人脸图像的相同自定义区域，然后响应用户指令选定的自定义区域，并编辑对应的效果贴图。例如，电子设备显示所有人脸图像A、B…的额头，以及额头对应的效果贴图，以供用户进行编辑，然后，终端显示所有人脸图像A、B…的嘴巴以及嘴巴对应的效果贴图，以供用户编辑，依此类推。

在本实施例中，步骤S35的两种方式不仅用于编辑效果贴图，也可以参阅此方式来为现实场景中的每一人脸图像添加效果贴图。

不同于前述图1和图2所描述的方法，本实施例对人脸图像的各个面部器官可单独特效渲染，多人脸特效互动性更高，趣味性更强。

图11是本申请一实施例的电子设备的结构示意图。请参阅图11所示，所述电子设备80可视为前述电子设备，包括处理器81和存储器82，两者可通过通信总线83实现数据或信号传输连接。

处理器81是电子设备80的控制中心，利用各种接口和线路连接整个电子设备80的各个部分，通过运行或加载存储在存储器82内的程序，以及调用存储在存储器82内的数据，执行电子设备80的各种功能和处理数据，从而对电子设备80进行整体监控。

其中，所述处理器81会按照预定步骤，将一个或一个以上的程序的进程对应的指令加载到存储器82中，并由处理器81来运行存储在存储器82中的程序，从而实现上述任一实施例的方法中的步骤。

对于各个步骤的具体实现方式，即处理器81调用程序所执行步骤的具体内容可参阅前述实施例，此处不再予以一一赘述。

应该理解到，在实际应用场景中具体实施时，根据电子设备80所属的设备类型，以上各个步骤的执行主体可以并非处理器81和存储器82，而是由其他模块和单元分别实现。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种可读存储介质，该可读存储介质中存储有程序，该程序能够被处理器进行加载，以执行本申请实施例所提供的任一种AR效果的处理方法中的一个或多个步骤。

该可读存储介质可以包括只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该可读存储介质中所存储的程序，可以执行本申请实施例所提供的任一种AR效果的处理方法中的一个或多个步骤，因此，可以实现本申请实施例所提供的任一种AR效果的处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

本申请还提供一种设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的方法的步骤。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中所述的方法。

本申请实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中所述的方法。

需要说明的是，本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

另外，尽管本文采用术语“第一、第二、第三”等描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可被称为第二信息，类似地，第二信息也可被称为第一信息，取决于语境。术语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。再者，本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

进一步地，虽然本文流程图中的各个步骤按照箭头的指示依次显示，但并非必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤并没有严格按顺序执行，也可按其他顺序执行。而且，图中的至少一部分步骤可包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

尽管已经相对于一个或多个实现方式示出并描述了本申请，但本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本申请包括所有此修改和变型，并且由前述实施例的技术方案进行支撑。即，以上所述仅为本申请的部分实施例，并非因此限制本申请的专利范围，凡是利用本说明书及附图内容所作的等效结构变换，例如各实施例之间技术特征的结合，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (18)

1.一种AR效果的处理方法，其特征在于，所述方法包括：

S11、获取场景信息和/或图像信息；

S12、根据所述场景信息和/或所述图像信息识别出至少一效果处理区域；

S13、获取所述效果处理区域对应的效果贴图；

S14、将所述效果贴图显示在所述效果处理区域。

2.根据权利要求1所述的方法，其特征在于，所述S12步骤包括：

对所述场景信息和/或所述图像信息进行识别；

判断所述场景信息和/或所述图像信息中是否存在预设特征信息；

若是，则将至少一所述预设特征信息所在区域识别为所述效果处理区域。

3.根据权利要求2所述的方法，其特征在于，所述预设特征信息包括以下至少一种：

物体信息、人物信息、面部信息、景物信息。

4.根据权利要求1所述的方法，其特征在于，所述获取所述效果处理区域对应的效果贴图的方式，包括以下至少一种：

根据选择操作获取对应的效果贴图；

根据编辑操作生成效果贴图；

根据所述场景信息和/或所述图形信息获取对应的效果贴图。

5.根据权利要求4所述的方法，其特征在于，所述根据编辑操作生成效果贴图的步骤，包括：

显示编辑区域及元素；

根据选择的元素在所述编辑区域进行编辑；

根据确认操作生成效果贴图。

6.根据权利要求5所述的方法，其特征在于，所述编辑区域与所述效果处理区域相对应。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述S14步骤，包括：

将所述效果贴图显示于所述效果处理区域；和/或，

按照预设规则对所述效果贴图进行调整后，显示于所述效果处理区域。

8.根据权利要求7所述的方法，其特征在于，所述按照预设规则对所述效果贴图进行调整的步骤，包括：

获取所述效果处理区域的变化信息；

根据所述变化信息对所述效果贴图进行调整。

9.根据权利要求1至6中任一项所述的方法，其特征在于，所述S14步骤，还包括：

根据所述效果贴图的选择顺序，将所述效果贴图依次显示于对应的所述效果处理区域。

10.一种AR效果的处理方法，其特征在于，所述方法包括：

S21、通过一选择界面获取至少一效果处理区域；

S22、根据场景信息和/或图像信息获取所述效果处理区域对应的效果贴图；

S23、将所述效果贴图显示在所述效果处理区域。

11.根据权利要求10所述的处理方法，其特征在于，所述S21步骤，包括：

根据接收到的选择操作，在所述场景信息中和/或所述图像信息中确定至少一效果处理区域。

12.根据权利要求10所述的方法，其特征在于，所述S22步骤，包括：

对所述场景信息和/或所述图像信息进行识别；

判断所述场景信息和/或所述图像信息中是否存在预设特征信息；

若是，则获取与所述预设特征信息对应的效果贴图。

13.根据权利要求12所述的方法，其特征在于，所述预设特征信息包括以下至少一种：

物体信息、人物信息、面部信息、景物信息。

14.根据权利要求10至13中任一项所述的方法，其特征在于，所述S23步骤，包括：

将所述效果贴图显示于所述效果处理区域；和/或，

按照预设规则对所述效果贴图进行调整后，显示于所述效果处理区域。

15.根据权利要求14所述的方法，其特征在于，所述按照预设规则对所述效果贴图进行调整的步骤，包括：

检测所述效果处理区域的变化信息；

根据所述变化信息对所述效果贴图进行调整。

16.根据权利要求10至13中任一项所述的方法，其特征在于，所述S23步骤，还包括：

根据所述效果贴图的选择顺序，将所述效果贴图依次显示于对应的所述效果处理区域。

17.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有程序，所述程序用于被所述处理器运行以执行权利要求1至16中任一项所述的AR效果的处理方法。

18.一种可读存储介质，其特征在于，所述可读存储介质中存储有程序，所述程序用于被处理器运行以执行如上述权利要求1至16中任一项所述的AR效果的处理方法。

Images