CN112990020A - Ar效果的处理方法、移动终端及可读存储介质 - Google Patents

Abstract

本申请提供一种AR效果的处理方法、移动终端及可读存储介质。所述方法包括：S11、识别人脸图像中的预定区域的特征信息；S12、获取所述特征信息对应的效果贴图；S13、将效果贴图显示在人脸图像的预定区域。本申请能够根据人脸微表情自定义效果贴图，并实现多人脸特效互动。

Description

AR效果的处理方法、移动终端及可读存储介质

技术领域

本申请涉及增强现实(Augmented Reality,AR)技术领域，具体涉及一种AR效果的处理方法、移动终端及可读存储介质。

背景技术

AR技术是一种全新的人机交互技术，通过可视化技术将虚拟内容应用到真实世界，使得虚拟内容和真实世界同时叠加到同一个画面或空间呈现给用户。随着智能终端的普及，AR技术的应用愈加广泛，可以通过在智能终端上安装AR类应用进行体验。AR技术的工作原理为：智能终端通过摄像头拍摄图像或者录制视频，然后识别拍摄到的图像或者视频中的目标物体；对目标物体进行跟踪；获取与目标物体相关联的AR虚拟内容，对图像帧渲染，将AR虚拟内容叠加在目标物体上，并最终显示在智能终端上，完成最终的交互。

目前，AR技术在游戏、购物、广告、教育、旅游等领域的应用越来越广泛，尤其自拍场景和视频通话场景。在构思及实现本申请过程中，发明人发现至少存在如下问题：此类场景中，在检测到多个人脸图像时，对所有人脸图像简单复制效果贴图，多个人脸图像只能呈现同一个效果，并且目前AR技术不支持用户对效果贴图的自定义操作，既不支持用户修改自身人脸图像的效果贴图，包括对自身面部微表情(例如嘴巴、眼睛等面部器官)的自定义操作，更不允许修改他人人脸图像的效果贴图，无法实现多人脸特效的互动。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

针对上述技术问题，本申请提供一种AR效果的处理方法、移动终端及可读存储介质，使用户能够自定义效果贴图，并实现多人脸特效互动。

为解决上述技术问题，本申请提供一种AR效果的处理方法，包括：

S11、识别人脸图像中的预定区域的特征信息；

S12、获取所述特征信息对应的效果贴图；

S13、将效果贴图显示在人脸图像的预定区域。

可选地，所述S11步骤包括：

对人脸图像建立坐标点集合；

识别人脸图像中的第一预设特征信息；

将第一预设特征信息所在区域识别为预定区域，并记录所述第一预设特征信息在所述预定区域内的坐标点；

根据预定区域内的坐标点信息确定对应的特征信息。

可选地，所述根据预定区域内的坐标点信息确定对应的特征信息之前，包括：

获取所述预定区域内的坐标点的位移幅度；

判断所述位移幅度是否大于预设位移幅度；

若是，则根据所述预定区域内的坐标点信息确定对应的特征信息。

可选地，所述对人脸图像建立坐标点集合，包括：

识别所述人脸图像中的第二预设特征信息；

根据所述第二预设特征信息对所述人脸图像建立坐标点集合。

可选地，所述第一预设特征信息和/或第二预设特征信息，包括以下至少一种：人脸轮廓信息、五官信息、面部生理特征信息。

可选地，所述获取特征信息对应的效果贴图的方式，包括以下至少一种：

根据选择操作获取对应的效果贴图；

根据编辑操作生成效果贴图；

根据场景信息和/或图形信息获取对应的效果贴图。

可选地，所述S13步骤包括：将第一人脸图像的效果贴图显示在第一人脸图像的预定区域和/或第二人脸图像的预定区域。

可选地，预定区域包括面部器官和/或五官中至少一者的所在区域。

本申请还提供一种移动终端，包括：存储器、处理器，其中，所述存储器上存储有AR效果的处理程序，所述AR效果的处理程序被所述处理器执行时实现如上述方法的步骤。

本申请还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

如上所述，本申请的AR效果的处理方法、移动终端及可读存储介质，通过识别人脸图像中的预定区域的特征信息，来获取对应的效果贴图，将效果贴图显示在人脸图像的预定区域，不仅能够根据人脸微表情自定义效果贴图，而且在多个人脸图像和/或多个预定区域时，可实现多人脸特效互动。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为实现本申请各个实施例的一种移动终端的硬件结构示意图；

图2为本申请实施例提供的一种通信网络系统架构图；

图3是本申请第一实施例的AR效果的处理方法的流程示意图；

图4是本申请建立人脸图像的坐标点集合的方法一实施例的流程示意图；

图5、图6、图7、图8、图9和图11为人脸图像和/或面部器官添加效果贴图的示意图；

图10是本申请第二实施例的AR效果的处理方法的流程示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

需要说明的是，在本文中，采用了诸如S11、S12等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S12后执行S11等，但这些均应在本申请的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。

移动终端可以以各种形式来实施。例如，本申请中描述的移动终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本申请各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：RF(Radio Frequency，射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000，码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution，频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution，分时双工长期演进)等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，可选地，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，可选地，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，可选地，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本申请实施例，下面对本申请的移动终端所基于的通信网络系统进行描述。

请参阅图2，图2为本申请实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括依次通讯连接的UE(User Equipment，用户设备)201，E-UTRAN(Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网)202，EPC(Evolved Packet Core，演进式分组核心网)203和运营商的IP业务204。

具体地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地，eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME(Mobility Management Entity，移动性管理实体)2031，HSS(Home Subscriber Server，归属用户服务器)2032，其它MME2033，SGW(Serving Gate Way，服务网关)2034，PGW(PDN Gate Way，分组数据网络网关)2035和PCRF(Policy andCharging Rules Function，政策和资费功能实体)2036等。可选地，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem，IP多媒体子系统)或其它IP业务等。

虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知晓，本申请不仅仅适用于LTE系统，也可以适用于其他无线通信系统，例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络系统等，此处不做限定。

基于上述移动终端硬件结构以及通信网络系统，提出本申请各个实施例。

第一实施例

请参阅图3，为本申请第一实施例的AR效果的处理方法的流程示意图。所述方法可包括如下步骤S11至S13。

S11、识别人脸图像中的预定区域的特征信息。

本实施例可以从场景信息和/或图像信息中获取人脸图像。

场景信息可以为移动终端的摄像头实时捕捉到的现实场景，包括但不限于为自拍、游戏、场景布置或者视频通话时摄像头的取景。

图像信息可以为移动终端显示的图像，该图像由摄像头实时捕捉到的，或者移动终端预存的现实场景。图像中可以包含现实人物的人脸图像、人物图像、其他物体/景物成像中的至少一种。

移动终端将现实场景渲染效果贴图后作为AR场景。相比较于现实场景，AR场景增加了效果贴图。效果贴图为2D或3D素材，相当于涂鸦，具体到本文中，可视为例如对人脸图像的涂鸦。

预定区域包括面部器官和/或五官中至少一者的所在区域。五官指的是眉、眼、耳、鼻、口，面部器官包括但不限于额头、印堂、眉头、眉骨、眼角、颧骨、下唇、下颚、两颊、两颊之下至耳朵的面部中的至少一者。

特征信息可以为表示前述预定区域内器官的变化信息，器官的变化信息标识人脸面部表情在对应器官处的变化。例如，在人脸面部表情为开怀大笑时，嘴巴的特征信息是张开，而在人脸面部表情为严肃时，嘴巴的特征信息为闭上。

在一实现中，可以通过坐标点的位移来识别所述特征信息。结合图4所示的方法，所述S11步骤包括如下步骤S111至S114。

S111：对人脸图像建立坐标点集合。

在一场景中，例如根据面部微表情来调整效果贴图的场景中，将人脸图像进行网格化处理，如图5和图6所示的人脸面部网格，人脸面部网格覆盖人脸图像，并通过点(例如图中所示的共468个点)、索引、法向及纹理相结合，来标识人脸的朝向角度，以及各个器官在面部的位置和形状。并且，不同人的人脸图像不相同，所建立的人脸面部网格也不相同。

各个器官所在区域对应坐标点集合。每个坐标点的位置，可参照头部物理中心点来定义。按照器官位置，人脸面部网格可划分为多个预定区域。各个器官所在区域可作为所述预定区域，即AR效果处理区域。

在另一实现中，可以通过识别人脸图像中的面部特征信息来，对人脸图像建立坐标点集合。于此，步骤S111包括：

识别人脸图像中的预设特征信息，为区别于步骤S112中的第一预设特征信息，本文将该预设特征信息称为第二预设特征信息；以及，根据该第二预设特征信息对人脸图像建立坐标点集合。

第二预设特征信息为标识人脸特征的信息，包括以下至少一种：人脸轮廓信息、五官信息、面部生理特征信息。面部生理特征信息包括但不限于前述面部器官、皱纹、胎记等用于标识人脸生理特征的信息。

S112：识别人脸图像中的第一预设特征信息。

第一预设特征信息包括以下至少一种：人脸轮廓信息、五官信息、面部生理特征信息。

应理解，第一预设特征信息和前述第二预设特征信息虽然均为标识人脸特征的信息，但两者的作用不同，因此具体内容可以相同，也可以不相同。例如，第二预设特征信息用于建立人脸图像的坐标点集合，其应尽量包含尽可能多的(如全部)标识人脸特征的信息，具体内容越丰富，人脸图像的坐标点集合越精确；在本步骤中，第一预设特征信息是用于识别人脸表情的面部信息，其并不必然需要包含全部标识人脸特征的信息，例如可以仅包含嘴巴和眼睛、眉毛的信息即可。第一预设特征信息的具体内容可以小于第二预设特征信息的具体内容。

S113：将第一预设特征信息所在区域识别为预定区域，并记录第一预设特征信息在预定区域内的坐标点。

S114：根据预定区域内的坐标点信息确定对应的特征信息。

当现实人物的表情发生改变时，面部上至少一器官的形状会发生变化，对应的预定区域的坐标点发生位移。根据各个预定区域中坐标点是否发生位移，可得到各个预定区域对应的坐标点信息。然后，移动终端可以根据预定规则(例如坐标点信息与预设特征信息之间的映射关系)来确定对应的特征信息，即可确定现实人物做出了哪一种微表情。

例如，步骤S112中识别人脸图像中的嘴巴和脸颊，基于步骤S111建立的人脸网格，步骤S113记录嘴巴和脸颊在对应的预定区域内的坐标点，根据这两个预定区域内的坐标点信息可以确定人物当前表情。

所述坐标点信息可以为器官在一帧人脸图像画面中的坐标点信息，例如在一帧人脸图像画面中，只要嘴巴所在预定区域的多个点位于预定坐标，即可根据这些点的坐标获取到对应的特征信息(表情)。

或者，所述坐标点信息也可以为多帧人脸图像画面中的坐标点位移信息，例如在前一帧人脸图像画面中，嘴巴所在预定区域的多个点位于第一预定坐标，在后一帧人脸图像画面中，嘴巴所在预定区域的多个点位于第二预定坐标，根据第一预定坐标和第二预定坐标得到这些点的坐标位移信息，通过这些点的坐标位移信息也可以获取到对应的特征信息(表情)。

坐标点位移信息可标识人脸表情中各个器官的动作幅度，基于此，用户可以自定义触发表情认定的动作幅度。于此，步骤S114之前，还包括：

S1141：获取预定区域内的坐标点的位移幅度。

S1142：判断位移幅度是否大于预设位移幅度。

若是，则执行步骤S114。和/或，若否，则继续执行步骤S1141，直至预定区域内的坐标点的位移幅度大于或等于预设位移幅度，确定对应的人脸表情。

S12、获取所述特征信息对应的效果贴图。

获取特征信息对应的效果贴图，也就获取到了人脸图像的预定区域对应的效果贴图，该获取方式包括以下至少一种：

根据选择操作获取对应的效果贴图；

根据编辑操作生成效果贴图；以及，

根据场景信息和/或图形信息获取对应的效果贴图。

对于第一种方式，在一种实现中，特征信息(例如面部微表情)与效果贴图之间具有预先设定的对应关系。

例如，单个器官所显区域与一个效果贴图对应，例如人脸图像A的眼睛睁开与效果贴图A1、嘴巴闭上与效果贴图A2对应，人脸图像B的额头皱起与效果贴图B1对应。或者，单个器官所做出的微表情可以与多个效果贴图对应，例如人脸图像A的嘴巴张开与效果贴图A1和A2对应，人脸图像B的额头皱起与效果贴图B1对应。

可选地，移动终端预存多个效果贴图，例如具有图7所示的图库，供用户挑选。根据选择结果建立效果贴图与特征信息的映射关系。

例如，在AR场景的下部或者移动终端的侧边区域显示图库，用户选择图库中的效果贴图A1，并拖动其朝向人脸图像A移动，并在移动至人脸图像A的睁开的眼睛时手指离开移动终端的触控屏，则自动记录人脸图像A的睁开眼睛与效果贴图A1具有映射关系。

又例如，用户可以通过双击效果贴图A1，移动终端自动将效果贴图A1与相应面部器官所做出的微表情建立映射关系。

在实际应用场景中，用户投放的位置实质上是一个大概区域，该位置可能并未有人脸图像和/或面部器官，为避免误差，可以选取位于所述位置的预定范围内的人脸图像和/或面部器官，并将其与选定的效果贴图建立映射关系。

可选地，考虑到预定范围内存在多个人脸图像的情况，对此，移动终端先检测所述位置(小虚线圆圈所示区域)的预定范围(大虚线圆圈所示区域)内是否存在多个人脸图像，在存在多个人脸图像时，请参阅图7和图9所示，获取与该位置距离最近或者尺寸最大的一个人脸图像A和/或面部器官，并将其和/或面部器官与选定的效果贴图A1建立映射关系。和/或，若只存在单个人脸图像和/或面部器官时，则可以直接将该单个人脸图像和/或面部器官与选定的效果贴图建立映射关系。

对于第二种方式，本实施例可以通过对编辑区域的编辑操作来生成效果贴图，即，根据编辑操作生成效果贴图这一步骤，包括：

显示编辑区域及元素；

根据选择的元素在编辑区域进行编辑；以及

根据确认操作生成效果贴图。

可选地，编辑区域为用户选定的需要修改，或者添加效果贴图的显示区域。该编辑区域与预定区域相对应，即，编辑区域与预定区域具有对应关系，编辑区域在移动终端屏幕上的位置并不予以限定，例如可以为图8所示的位于预定区域(人脸区域)内，或者图8所示的位于移动终端屏幕的下部的区域。

可选地，元素可以包括以下至少一种：线条、颜色、贴纸、文字。如图8所示，在编辑区域内，线条的粗细以及颜色可调整，并且移动终端可以将编辑后的效果贴图显示于预定区域上。

所谓对元素的编辑包括对既有效果贴图的修改，和/或用户完全自定义效果贴图。所谓用户自定义的效果贴图可理解为用户并未直接采用预存的效果贴图，例如图库中的效果贴图，而是采用自定义的效果贴图。该自定义的效果贴图可以为对预存的效果贴图进行编辑后的效果贴图，也可以为用户完全新建的效果贴图。

在一种实现方式中，移动终端获取用户自定义的效果贴图，并建立其与人脸图像和/或器官之间的对应关系。

具体地，用户可以单击AR场景中的人脸图像，其首先用于选定人脸图像，然后对当前渲染至其上的效果贴图(称为初始效果贴图)进行编辑。所谓编辑可为修改，例如为该人脸图像更换另一张效果贴图(更换后的效果贴图称为最终效果贴图)，或者对初始效果贴图的元素进行调整，又或者对额头对应区域的初始效果贴图的元素进行修改。

在第三种方式中，场景信息和/或图形信息与效果贴图之间具有预先设定的对应关系。在AR场景中，

在一种实现中，被渲染的效果贴图可以在AR类应用刚开启时直接根据预先设定自动显示，如默认效果贴图。

在另一种实现中，该预先设定的对应关系也可以为现实人物与效果贴图的对应关系，如当摄像头实时捕捉到的现实场景中出现现实人物时，移动终端通过人脸识别技术确定现实人物的身份，例如标识为现实人物A，此时即可自动在现实场景中渲染与现实人物A具有对应关系的效果贴图，比如“老虎脸”，效果贴图“老虎脸”与现实人物A面部的各个器官之间也具有对应关系；而当摄像头实时捕捉到现实人物B出现于现实场景中时，移动终端自动在现实场景中渲染与现实人物B具有对应关系的效果贴图，比如兔子。

S13、将所述效果贴图显示在人脸图像的预定区域。

本申请实施例的AR效果的处理方法，通过识别人脸图像中的预定区域的特征信息，来获取对应的效果贴图，将效果贴图显示在人脸图像的预定区域，不仅能够根据人脸微表情自定义效果贴图，而且在多个人脸图像和/或多个预定区域时，还可实现多人脸特效互动。

本申请实施例考虑到人脸图像包括多个面部的器官，允许用户对面部的各个器官分别渲染效果贴图，即根据微表情自定义各个面部器官的效果贴图。下面以微表情来自定义AR效果这一场景进行示例性描述。

预定区域为人脸图像中允许进行渲染的面部器官所在区域，例如，预先设定某一人脸图像输出的预定区域为额头、嘴巴和耳朵这三个面部器官所对应的区域，其中，各个面部器官在不同微表情时对应有效果贴图，例如，额头皱起与老虎额头的“王”字图案这一效果贴图建立映射关系，嘴巴张开与老虎张开嘴巴图案这一效果贴图建立映射关系，耳朵与猪耳朵图案这一效果贴图建立映射关系，根据用户指令可以对额头、嘴巴和耳朵中的任一个或多个进行渲染，但是对于该人脸图像的其他部位，例如眼睛和鼻子，则可以不进行渲染。

移动终端可以依次输出每一人脸图像的所有预定区域，然后响应用户指令选定的预定区域，并编辑对应的效果贴图。例如，先依次输出人脸图像A的所有预定区域，以及预定区域对应的效果贴图，以允许用户对该人脸图像A的面部器官的效果贴图进行编辑，然后，移动终端再输出人脸图像B的所有预定区域及各个预定区域对应的效果贴图，依此类推。

或者，移动终端可以依次输出所有人脸图像的相同预定区域，然后响应用户指令选定的预定区域，并编辑不同微表情时各个预定区域对应的效果贴图。例如，移动终端显示所有人脸图像A、B…的额头，以及额头在不同微表情(例如皱起)时对应的效果贴图，以供用户进行编辑，然后，终端显示所有人脸图像A、B…的嘴巴以及嘴巴张开时对应的效果贴图，以供用户编辑，依此类推。

这两种方式不仅用于编辑面部器官在不同微表情时的效果贴图，也可以参阅此方式来为现实场景中的每一人脸图像添加效果贴图。

第二实施例

在上述实施例的基础上，图10为本申请另一实施例的AR效果的处理方法的流程示意图。请参阅图10，该方法包括如下步骤S11至S13。

S11、识别至少一人脸图像中的预定区域的特征信息。

S12、获取所述特征信息对应的效果贴图。

S13、将第一人脸图像的效果贴图显示在第一人脸图像的预定区域，和/或第二人脸图像的预定区域。

在前述实施例的描述基础上，本实施例允许多个人脸特效的互动。其中，对于每一人脸图像的操作，例如识别预定区域的特征信息、获取特征信息对应的效果贴图、和/或将效果贴图显示在人脸图像的预定区域，可以参阅前述实施例的描述，此处不再予以赘述。

例如，结合图11所示，在视频通话的应用场景中，AR场景包括通话双方，现实人物A和现实人物B分别对应人脸图像A和人脸图像B，人脸图像A(和/或其微表情)与初始效果贴图A1具有映射关系，人脸图像B(和/或其微表情)与初始效果贴图B1具有映射关系，在通话一方的显示界面(AR场景)上，现实人物A不仅可以对初始效果贴图A1进行编辑，例如图11所示将其替换为效果贴图A2，还可以对初始效果贴图B1进行编辑，例如图11所示将其替换为效果贴图B2。同理，现实人物B不仅可以对初始效果贴图B1进行编辑，还可以对初始效果贴图A1进行编辑。

编辑后的效果贴图与人脸图像和/或其微表情建立映射关系，而初始效果贴图与人脸图像和/或其微表情之间的映射关系可以解除，也可以保留。即，前述映射关系可以根据用户指令而改变。

本申请还提供一种移动终端设备，终端设备包括存储器、处理器，存储器上存储有AR效果的处理程序，AR效果的处理程序被处理器执行时实现上述任一实施例中的方法的步骤。

本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有AR效果的处理程序，AR效果的处理程序被处理器执行时实现上述任一实施例中的AR效果的处理方法的步骤。

在本申请提供的移动终端和计算机可读存储介质的实施例中，包含了上述AR效果的处理方法各实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不做再赘述。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中的方法。

本申请实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的方法。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本申请技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。

在本申请中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本申请技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本申请记载的范围。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种AR效果的处理方法，其特征在于，包括：

S11、识别人脸图像中的预定区域的特征信息；

S12、获取所述特征信息对应的效果贴图；

S13、将所述效果贴图显示在所述人脸图像的预定区域。

2.根据权利要求1所述的方法，其特征在于，所述S11步骤包括：

对人脸图像建立坐标点集合；

识别所述人脸图像中的第一预设特征信息；

将所述第一预设特征信息所在区域识别为预定区域，并记录所述第一预设特征信息在所述预定区域内的坐标点；

根据所述预定区域内的坐标点信息确定对应的特征信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述预定区域内的坐标点信息确定对应的特征信息之前，包括：

获取所述预定区域内的坐标点的位移幅度；

判断所述位移幅度是否大于预设位移幅度；

若是，则根据所述预定区域内的坐标点信息确定对应的特征信息。

4.根据权利要求2所述的方法，其特征在于，所述对人脸图像建立坐标点集合，包括：

识别所述人脸图像中的第二预设特征信息；

根据所述第二预设特征信息对所述人脸图像建立坐标点集合。

5.根据权利要求4所述的方法，其特征在于，所述第一预设特征信息和/或第二预设特征信息，包括以下至少一种：

人脸轮廓信息、五官信息、面部生理特征信息。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述获取所述特征信息对应的效果贴图的方式，包括以下至少一种：

根据选择操作获取对应的效果贴图；

根据编辑操作生成效果贴图；

根据场景信息和/或图形信息获取对应的效果贴图。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述S13步骤包括：

将第一人脸图像的效果贴图显示在第一人脸图像的预定区域和/或第二人脸图像的预定区域。

8.根据权利要求1至5中任一项所述的方法，其特征在于，所述预定区域包括面部器官和/或五官中至少一者的所在区域。

9.一种移动终端，其特征在于，所述移动终端包括：存储器、处理器，其中，所述存储器上存储有AR效果的处理程序，所述AR效果的处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的AR效果的处理方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的AR效果的处理方法的步骤。

Images