CN111145283A - 一种用于输入法的表情个性化生成方法及装置 - Google Patents

Abstract

本发明提供了一种用于输入法的表情个性化生成方法及装置，该方法包括：S1：获取目标图像，对目标图像进行人脸检测，提取人脸中的关键特征；S2：预设特征库，在特征库中预设人脸组件；建立关键特征与人脸组件之间的映射关系，将关键特征与人脸组件进行相似度比较，筛选出与关键特征相似的人脸组件；S3：将筛选出的人脸组件进行拼接，合成人脸图像；S4：在特征库中预设场景信息，选取多个场景信息；将人脸图像分别与多个场景信息进行组建，生成人脸图像的多个表情候选项；S5：建立输入法应用的输入序列与多个表情候选项的对应关系，并在检测到对应的输入序列输入时，显示匹配的表情候选项。本发明满足用户对输入法应用中的表情候选项的个性化需求。

Description

一种用于输入法的表情个性化生成方法及装置

技术领域

本发明涉及计算机技术领域，具体涉及用于输入法的表情个性化生成方法及装置。

背景技术

输入法是帮助用户在计算机/移动设备上输入文本的计算机/移动应用。输入法可以基于用户的输入提供多个候选词。用户的输入和所提供的文本可以是相同语言或者不同语言诸如英文之类的拉丁字符和/或诸如汉字之类的非拉丁字符。用户通过选择某个候选词而将该候选词输入到当前活跃的应用。

输入法除了提供文本输入功能之外，还可以为用户提供其他类型的输入，诸如表情输入。通过提供表情输入增加用户输入内容的趣味性，使得用户借用直观的表情传递期望的信息。用户通过对输入法应用提供的表情的选择，将相应的表情输入到当前活跃的应用中。

目前输入法应用支持输出多种表情候选项，但其输出的表情候选项的来源比较单一，无法满足用户对表情候选项的个性化需求。

发明内容

基于此，本申请提供一种用于输入法的表情个性化生成方法及装置，用以满足用户对输入法应用中表情个性化需求，通过用户在输入法应用中自定义设置表情候选项以满足个性化需求。

为解决上述技术问题，本申请的技术方案如下：

一种用于输入法的表情个性化生成方法，所述方法包括：

S1：获取目标图像，对所述目标图像进行人脸检测，提取人脸中的关键特征；

S2：预设特征库，在所述特征库中预设人脸组件；建立所述关键特征与所述人脸组件之间的映射关系，将所述关键特征与所述人脸组件进行相似度比较，筛选出与所述关键特征相似的所述人脸组件；

S3：将筛选出的所述人脸组件进行拼接，合成人脸图像；

S4：在所述特征库中预设场景信息，选取多个场景信息；将所述人脸图像分别与多个所述场景信息进行组建，生成所述人脸图像的多个表情候选项；

S5：建立输入法应用的输入序列与多个所述表情候选项的对应关系，并在检测到对应的所述输入序列输入时，显示匹配的所述表情候选项。

在一种实施方式中，在S1中，获取目标图像，对所述目标图像进行人脸检测，提取人脸中的关键特征，进一步包括：

S11：获取目标图像；

S12：对所述目标图像进行人脸范围检测，确定所述目标图像中的人脸范围；

S13：基于所述人脸范围，利用图片遮罩功能进行裁剪，获取源人脸图像；

S14：获取所述源人脸图像中的关键特征。

在一种实施方式中，在S12中，利用多任务级联卷积神经网络检测所述目标图像中的所述人脸范围，以获取所述目标图像中的所述人脸范围。

在一种实施方式中，在S1中，所述关键特征为眉毛、眼睛、鼻子、嘴巴、耳朵、配饰、发型、脸型或肤色中的一种或多种。

在一种实施方式中，在S2中，所述特征库包括多个特征子库；在所述特征子库中预设有与所述关键特征匹配的所述人脸组件的的集合。

在一种实施方式中，在S2中，各所述人脸组件与一个所述关键特征相匹配；各所述关键特征与多个所述人脸组件匹配。

在一种实施方式中，在S2中，将所述关键特征与所述人脸组件进行相似度比较，筛选出与所述关键特征相似的所述人脸组件之前，还包括：预设识别模型，在所述识别模型中预设有标准人脸图像，所述标准人脸图像用于映射所述人脸组件，进一步包括：

将提取的所述关键特征输入到所述识别模型中，并映射到所述标准人脸图像中；基于所述关键特征，在所述标准人脸图像中映射出所述特征库中的所述人脸组件，筛选出所述人脸组件。

在一种实施方式中，在S2中，将提取的所述关键特征通过所述识别模型映射到所述标准人脸图像中，计算映射到所述标准人脸图像中的所述关键特征的欧式距离，筛选出映射到所述标准人脸图像中的所述人脸组件。

在一种实施方式中，在S3中，将筛选出的所述人脸组件进行拼接，合成人脸图像之前，还包括，对筛选出的所述人脸组件进行微调，在所述特征库中选取所述人脸组件，并将选取的所述人脸组件替换筛选出的所述人脸组件。

在一种实施方式中，在S4中，在所述特征库中预设场景信息，选取多个场景信息；将所述人脸图像分别与多个所述场景信息进行组建，生成与所述人脸图像对应的多个表情候选项，包括：

所述场景信息包括场景图片，以及所述场景信息与所述人脸组件的关联规则；选取多个场景信息包括选取多个场景图片，以及选取多个与所述场景信息匹配的所述人脸组件；所述人脸图像与所述场景信息组建时，与所述场景信息相关联的所述人脸组件替换所述人脸图像中的所述人脸组件，与所述场景图片拼接生成表情候选项。

在一种实施方式中，在S4中，还包括：添加表情文本，包括步骤：

S41：接收文本添加指令，获取录入的不同场景信息中的文本信息，以及调整所述文本信息的格式及尺寸，其中，所述文本信息对应于所述输入序列；

S42：在所述场景图片的预设位置或者选定的位置设置所述文本信息；

S43：对所述场景图片与所述文本信息拼装处理

在一种实施方式中，在S5中，建立所述输入法应用的表情访问接口与所述表情候选项的对应关系，通过所述表情访问接口访问所述表情候选项。

一种用于输入法的表情个性化生成装置，应用于终端设备，该装置包括：

关键特征获取模块：用于获取目标图像，对所述目标图像进行人脸检测，提取人脸中的多个关键特征；

人脸组件筛选模块：用于预设特征库，在所述特征库中预设人脸组件；建立所述关键特征与所述人脸组件之间的映射关系，将所述关键特征与所述人脸组件进行相似度比对，筛选出与所述关键特征相似的所述人脸组件；

人脸图像合成模块：用于将筛选出的所述人脸组件进行拼接，合成人脸图像；

表情候选项生成模块：用于在所述特征库中预设场景信息，选取多个场景信息；将所述人脸图像与多个所述场景信息进行组建，生成所述人脸图像的多个表情候选项；

候选项嵌入模块：用于建立输入法应用的输入序列与多个所述表情候选项的对应关系，并在检测到对应的所述输入序列输入时，显示匹配的所述表情候选项。

在一种实施方式中，所述关键特征获取模块还包括：人脸图像识别模块：用于获取目标图像，对所述目标图像进行人脸范围检测，确定所述目标图像中的人脸范围，基于所述人脸范围，利用图片遮罩功能进行裁剪，获取源人脸图像。

在一种实施方式中，所述人脸组件筛选模块包括：

人脸组件预设模块：用于预设特征库，所述特征库包括多个特征子库；在所述特征子库中预设有与所述关键特征匹配的所述人脸组件的的集合；用于预设识别模型，在所述识别模型中预设标准人脸图像，所述标准人脸图像用于映射所述人脸组件；

人脸组件匹配模块：用于将提取的所述关键特征输入到所述识别模型中，并映射到所述标准人脸图像中；基于所述关键特征，在所述标准人脸图像中映射出所述人脸组件，筛选出所述人脸组件。

在一种实施方式中，所述人脸图像合成模块还包括：组件微调模块：用于对筛选出的所述人脸组件进行微调，在所述特征库中选取所述人脸组件，并将选取的所述人脸组件替换筛选出的所述人脸组件。

在一种实施方式中，所述表情候选项生成模块包括：

文本信息添加模块：文本信息添加模块：用于接收文本添加指令，获取录入的不同场景的所述文本信息，调整所述文本信息的格式及尺寸，所述文本信息对应于所述输入序列；在所述场景的预设位置或者选定的位置设置所述文本信息；对所述场景与所述文信息拼装处理。

在一种实施方式中，所述人脸组件筛选模块包括：

人脸组件预设模块：用于预设特征库，在所述特征库中预设与所述关键特征相关联的特征子库，各所述特征子库中预设有与所述关键特征匹配的所述人脸组件的多个属性及状态的集合；

人脸组件匹配模块：各所述人脸组件与一个关键特征的一个属性匹配；各所述关键特征与多个所述人脸组件匹配。

一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机指令，处理器执行计算机可读指令时，实现上述任意一项所述的用于输入法的表情个性化生成方法。

一种计算机可读存储介质，计算机可读存储介质存储有计算机可读指令，计算机可读指令被处理器执行时，实现如上述任意一项所述的用于输入法的表情个性化生成方法。

相比现有技术，本申请由以上本申请实施方式提供的技术方案可见，本申请的实施方式利用目标图像中的人脸，进行人脸图像的构造，并对人脸图像进行个性化设置，以便应用到不同场景信息中，生成一系列的表情候选项并应用到输入法应用中，当检测到该输入序列输入时，显示对应的表情候选项。与现有技术相比，本申请实施方式可以满足用户对输入法应用中的表情候选项的个性化需求，通过添加表情候选项的来源以及在输入法应用中提供用户个性化设置需求。

附图说明

为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请的一个实施方式的提取人脸图像的流程图；

图2为本申请的一个实施方式的获取表情候选项的流程图；

图3为本申请的一个实施方式的输入法表情个性化生成方法的流程图；

图4为本申请的一种实施方式的输入法的表情个性化的应用示意图。

具体实施方式

为使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本说明书一部分实施方式，而不是全部的实施方式。基于本说明书中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都应当属于本说明书保护的范围。

本申请的实施方式提供了一种用于输入法的表情个性化生成方法及装置。

首先对本申请实施方式提供的一种用于输入法的表情个性化生成方法进行描述。其中需要说明的是，本申请实施方式提供的方法适用于终端设备，在实际应用中，终端设备包括但不限于：智能手机、平板电脑、智能手表、笔记本、台式电脑，本申请实施方式对此不作限定。

参考图1为本申请的一个实施方式的提取人脸图像的流程图；图2为本申请的一个实施方式的获取表情候选项的流程图；图3为本申请的一个实施方式的输入法表情个性化生成方法的流程图；图4为本申请的一种实施方式的输入法的表情个性化的应用示意图。

一种用于输入法的表情个性化生成方法包括以下步骤：

步骤S1：获取目标图像，对目标图像进行人脸检测，获取人脸中的关键特征。进一步包括以下步骤：S11，S12，S13，S14。

步骤S11：获取目标图像。

在一种可选的实施方式中，可通过拍照方式获取目标图像，也可以调用预存在终端设备的目标图像，如通过添加的方式获取目标图像。

在另一种可选的实施方式中，通过终端设备本地存储的图像中获取目标图像。进一步地，在本实施方式中，可以从终端设备的本地存储的图像中选取一幅图像作为目标图像，根据用户触发的获取图像的选择指令，从终端设备本地存储的图像中选择一幅图像作为目标图像，或者，随机从终端设备的本地存储的图像中选取一幅图像作为目标图像，对此本实施方式不作限制。

另外，终端设备中预先存储的图像可以是终端设备的摄像模块采集到的图像，也可以来源于终端设备从互联网各个渠道下载的图像，比如从WEB服务器下载，或者APP传输在当前终端设备，对此本实施方式不作限制。

在另一个可选的实施方式中，可以通过终端设备的摄像模块获取目标图像。在本实施方式中，可以通过终端设备内置的前摄像模块获取目标图像，可以通过终端设备的后置摄像模块获取图像，还可以通过终端设备的外接摄像模块获取图像。当通过外接摄像模块时，可以通过有线连接方式连接于终端设备，也可以通过无线连接方式连接于终端设备。在实际应用中，无线连接方式包括但不限于WiFi连接、蓝牙连接，对此本实施方式不做限制。

另外，需要说明的是，本实施方式中的目标图像可以是但不局限于人物图像、风景图像，并且，目标图像的格式可以是但不局限于JPEG、PNG，对此本实施方式不做限制。

进一步地，在终端设备的输入法应用中，将对目标图像进行个性化处理保存并加载到输入法应用中，使得在进行输入相关序列操作时，检测到对应的输入序列，显示出匹配的经过个性化处理的目标图像，以满足用户个性化需求。

步骤S12：对目标图像进行人脸范围检测，确定目标图像中的人脸范围。

在本实施方式中，对目标图像进行人脸检测，以便获取源人脸图像。进一步地，从本实施方式中的目标图像中获取至少一个人脸图像。

本申请实施方式中，对获取的目标图像进行人脸检测，并检测出目标图像中的至少一个有效人脸图像。在一个可选的实施方式中，通过终端设备对目标图像进行人脸检测。

在步骤S12中，对目标图像进行人脸范围检测，在一种可选的实施方式中，包括检测目标图像中是否有人脸特征；在一种可选的实施方式中，人脸特征包括但不限于眉毛、眼睛、鼻子、嘴巴、耳朵；若检测到的目标图像中具有人脸特征，则执行S13；若没有检测出目标图像中的人脸特征，则中断执行后续步骤。

在一种实施方式中，终端设备采用安卓系统(Android)终端，通过安卓系统的内置的人脸检测API Face Detector检测目标图像中的人脸。本实施方式中需要说明的是，FaceDetector可通过少量程序代码完成人脸基本检测，即可检测出是否具有人脸，并不能更精确的识别。终端设备采用IOS系统的移动终端，可通过IOS系统中的人脸检测API CoreImage检测到目标图像中的人脸。

本实施方式中，利用多任务级联卷积神经网络检测目标图像中的人脸范围，以获取目标图像中的人脸范围。

进一步地采用上述方法，根据人脸特征的相对关系确定目标图像中的人脸范围。本实施方式的人脸特征还可以包括面部轮廓以及头发。进而本实施方式中可以根据人脸特征，得出人脸范围。因此，当人脸特征包括眼睛、眉毛、嘴巴、鼻子、耳朵时，可以根据眼睛、眉毛、嘴巴、鼻子、耳朵及相互之间的几何位置关系来确定出人脸的范围。

进而在检测到人脸特征的相对关系后，确定目标图像中的人脸范围，进一步地还包括：根据人脸特征，确定目标图像中面部特征有效的人脸范围。可以理解为，确定目标图像中人脸特征较明显的人脸的范围。在本实施方式中，当目标图像中包含多个人脸图像时，可以获取其中一个人脸图像，也可获取多个人脸图像，进一步地，可对其中一个人脸进行个性化设置，也可以对多个人脸进行个性化设置，并继续后续的操作。

步骤S13：基于人脸范围，利用图片遮罩功能进行裁剪，获取源人脸图像。

本实施方式中采用的图片遮罩技术，即为MASKR CNN，通过输出图片去除旁边的空白区域，为一种防止在图像层区域中执行画笔、橡皮擦以及某些图像层操作(例如清除图像层、模糊图像层等)的一种方式。本申请实施方式中，可以通过遮罩置于人脸范围所对应的区域上，以保护目标图像中的人脸范围内的图像完整。

本实施方式中，通过终端设备进行源人脸图像的提取，不依赖于服务器，可避免由终端设备与服务器进行通信产生的流量消耗。考虑到服务器的数据处理能力通常超出终端设备的数据处理能力，相应的，服务器的处理结果精度通常也超出终端设备的处理结果，在一种可选的实施方式中，可以通过服务器进行人脸图像的提取，并由服务器将提取出的源人脸图像发送给终端设备。

步骤S14：获取源人脸图像中的关键特征。

在一种可选的实施方式中，关键特征包括但不限于眉毛、眼睛、鼻子、嘴巴、耳朵、配饰、发型、脸型、肤色中的一种或多种。因此，对于源人脸图像中的关键特征的提取，在获取出源人脸图像的基础上，对眼睛、眉毛、嘴巴、鼻子、耳朵、配饰、发型、肤色等都进行获取，从而根据获取的源人脸图像中的关键特征以及之间的几何位置关系确定筛选出来的人脸组件。

进一步地，在步骤S14中，在源人脸图像中提取关键特征。在实际应用中，可采用Python、Tensor Flow、Open CV技术，从目标图像中提取关键特征，当然也可以通过其他技术实现人脸图像中的关键特征的提取，比如采用灰度信息方法、先验规则的法、几何形状方法、统计模型方法、小波方法、3D方法等。

在步骤S14中，提取源人脸图像中的关键特征，包括提取源人脸图像中的人脸特征，人脸特征包括眉毛、眼睛、鼻子、嘴巴、耳朵等；还包括提取源人脸图像中的配饰、发型、脸型、肤色。当然本实施方式中还包括关键特征所在的面部轮廓，比如，源人脸图像中还包括″痣″，那么″痣″也作为关键特征的一部分，对此本实施方式不做限定。

步骤S2：预设特征库，在特征库中预设人脸组件；建立关键特征与人脸组件之间的映射关系，将关键特征与人脸组件进行比较，筛选出与关键特征相似的人脸组件。

在一种可选的实施方式中，步骤S2中，特征库包括多个特征子库；在各特征子库中预设有与关键特征匹配的人脸组件的集合。以便筛选出与各个关键特征相似的人脸组件构成人脸图像。进一步地，在步骤S2中，建立关键特征与人脸组件之间的映射关系，其中，每个人脸组件与源人脸图像中的一个关键特征相匹配；一个关键特征与多个人脸组件匹配。进而，源人脸图像中的一个关键特征与特征子库中预设的与关键特征匹配的人脸组件的集合相匹配。

在本实施方式中，各人脸组件与人脸图像中的一个关键特征匹配。因此，预设特征库中对人脸组件进行保存时，对应匹配不同关键特征的人脸组件设置标签，对应于一关键特征设置为一个人脸组件的集合，即为多个人脸组件。比如，源人脸图像中的关键特征包括：眉毛、眼睛、鼻子、嘴巴、耳朵、头发、脸型、配饰等，对应的特征库中预设特征子库中包括：眉毛特征子库、眼睛特征子库、鼻子特征子库、嘴巴特征子库、耳朵特征子库、头发特征子库、脸型特征子库，头饰特征子库、耳饰特征子库等，进一步地，在眼睛特征子库中预设多个眼睛形状(比如，丹凤眼、杏眼、狐狸眼)、眼睛状态(比如，睁开、闭合、半眯)，从而在对应特征子库中找出与源人脸图像中的关键特征相似的人脸组件。

进一步地，将关键特征与人脸组件进行比较，筛选出与关键特征相似的人脸组件之前，还包括预设识别模型，该识别模型中预设有标准人脸图像，进一步包括：先提取源人脸图像中的关键特征，将关键特征输入到识别模型中，并映射到标准人脸图像中；基于关键特征，在标准人脸图像中映射出特征库中的人脸组件，筛选出人脸组件。因此，本实施方式中，基于源人脸图像中提取的关键特征(眼睛形状、鼻子形状、肤色、嘴巴形状、脸型......)，在标准人脸图像中映射出相似的人脸组件，筛选出映射到标准人脸图像中的人脸组件。

在步骤S2中，提取关键特征，将关键特征通过识别模型映射到标准人脸图像中，计算映射到标准人脸图像中的关键特征的欧式距离，筛选出映射到标准人脸图像中的人脸组件，对此本实施方式不作限制，实现相似度筛选即可。

步骤S3：将筛选出的人脸组件进行拼接，合成人脸图像。

在一种可选的实施方式中，将所筛选出的人脸组件进行拼接，合成人脸图像之前，还包括，对筛选出的人脸组件进行微调，在特征库中选取人脸组件，并将选取的人脸组件替换筛选出的人脸组件。

在构件人脸图像时，基于源人脸图像与特征库中的人脸组件的相似度进行筛选，筛选出与源人脸图像中的关键特征相似的人脸组件，然后再进一步地进行用户的个性化人脸图像设置体验，对基于相似度筛选出的人脸组件进行相应的美化处理，比如，进行相似度筛选出的人脸组件中的眼睛呈″狐狸眼″，可根据用户需求，将与关键特征近似的″狐狸眼″的人脸组件替换为其他形状眼睛的人脸组件，进一步地，选取眼睛所在特征子库中的其他眼睛形状，比如选择一″杏眼″，替换筛选出的″狐狸眼″；又比如，筛选出的人脸组件有″方框眼镜″，进行微调时，可根据用户喜好，选择一″圆框眼镜″，替换″方框眼镜″；还比如，在筛选出的人脸组件中没有″胡子″，在进行微调时，可添加″胡子″。当然，基于相似度筛选出的人脸图像中的表情呈固定的，可根据需求，进行表情调整，当然也可以在场景配置中，实现表情调整。因此在本实施方式中，人脸图像的表情可与场景信息配合连接，对应于不同场景信息设置不同的人脸表情。也可以在进行人脸图像微调时，进行人脸表情调整，对此，本实施方式不做限定。

将选取的人脸组件替换与之匹配的筛选出的人脸组件后，进行拼接处理，合成人脸组件构成的人脸图像。

另外，还包括对人脸图像进行进一步地美化处理，本实施方式中，可对人脸图像中的人脸组件的轮廓边缘进行调整。

在一种可选的实施方式中，利用Open CV边缘保护过滤器对面部进行适当滤镜处理，以便得到的人脸图像相对原始图像更为美观。因此，在本实施方式中，先对合成的新的人脸图像进行关键特征及替换的人脸组件提取，得到新的人脸图像中的各个关键特征及替换的人脸组件，对各个关键特征及替换的人脸组件的轮廓进行边缘处理，比如，对脸型进行调整的″瘦脸″、″拉长″功能，比如，对眼睛进行调整的″大眼″功能。

步骤S4：在特征库中预设场景信息，选取多个场景信息；将人脸图像分别与多个场景信息进行组建，生成人脸图像的多个表情候选项。

在一种可选的实施方式中，场景信息包括场景图片，以及场景信息与人脸组件的关联规则；本实施方式中的关联规则为人脸组件调用，对应于不同场景中的人脸图像呈现的表情状态，从多个不同类型的人脸组件组合实现不同的人脸表情状态，比如，人脸图像呈现出来的是″哭泣″表情，通常展现在嘴巴、眼睛的人脸组件上，所选场景信息为″开心″，那么关联规则中调用与开心状态有关的″眼睛″、″嘴巴″的人脸组件，并将调用的人脸组件替换合成的人脸图像中的相对应的人脸组件。

本实施方式中，选取多个场景信息包括选取多个场景图片，以及选取多个与场景信息匹配的人脸组件；人脸图像与场景信息组建时，与场景信息相关联的人脸组件替换人脸图像中的人脸组件，并与场景图片拼接生成表情候选项。

在步骤S4中，还包括：添加表情文本，包括步骤：S41，S42，S43。

步骤S41：接收文本添加指令，获取录入的不同场景信息中的文本信息，以及调整文本信息的格式及尺寸，其中，文本信息对应于输入序列；

步骤S42：在场景图片的预设位置或者选定的位置设置文本信息；

步骤S43：对场景图片与文本信息拼装处理。

因此，步骤S4包括：选取多个场景信息，以及在特征库中选取与各个场景信息匹配的人脸组件，使得各个场景信息匹配不同的人脸图像表情，并在一种可选的实时方式中，根据人脸图像表情添加表情文本，将场景文本结合到场景信息中，进一步与不同表情的人脸图像组建，生成一系列的多个表情候选项。

步骤S5：建立输入法应用的输入序列与多个表情候选项的对应关系，并在检测到输入序列输入时，显示匹配的表情候选项。

在一种可选的实施方式的步骤S5中，建立输入法应用的表情访问接口与表情候选项的对应关系，通过表情访问接口访问表情候选项。

在另一种可选的实施方式的步骤S5中，表情候选项可作为用户习惯用词处理，即，在本实施方式中输入序列包括但不限于汉字、拼音、字母及数字，可将本实施方式中的文本信息对应于输入序列，即，当对应的输入序列输入时，涉及到文本信息有关内容时，即可显示与该输入序列有关的所有表情候选项。可以理解为，在此种实施方式中，勿需设置显示的接口供选择，在检测到相关输入序列时，即可显示有关的表情候选项。

本申请实施方式中，在生成表情候选项后，可由用户建立终端设备中的输入法应用的输入序列与生成的表情候选项的对应关系，进一步地，将对应的表情候选项作为输入法应用词库的一种显示存储于终端设备的输入法应用的词库中，并在检测到对应的输入序列输入时，从输入法应用的词库中检索与对应的输入序列匹配的表情候选项，并显示该表情候选项以供选择。

另外，还可以设置表情候选项的优先级，以便在检测到对应的输入序列输入时，从输入法应用的词库中检索与该输入序列对应的表情候选项，优先显示用户习惯使用的对应的表情候选项。

在另一种可选的实施方式中，在建立输入法应用的输入序列与该表情候选项的对应关系时，基于表情候选项所表达的情感，确定对应的输入序列，建立该输入序列与表情候选项的对应关系。例如，表情候选项中的人脸为哭泣或生气的表情，则可以建立输入序列″不开心″时，并设置与″不开心″有关的表情候选项的对应关系。

本申请的实施方式还提供了一种用于输入法的表情个性化生成装置，该装置包括：

关键特征获取模块：用于获取目标图像，对目标图像进行人脸检测，提取人脸中的多个关键特征。

人脸组件筛选模块：用于预设特征库，在特征库中预设人脸组件；建立关键特征与人脸组件之间的映射关系，将关键特征与人脸组件进行相似度比对，筛选出与关键特征相似的人脸组件。

人脸图像合成模块：用于将筛选出的人脸组件进行拼接，合成人脸图像。

表情候选项生成模块：用于在特征库中预设场景信息，选取多个场景信息；将人脸图像与多个场景信息进行组建，生成人脸图像的多个表情候选项。

候选项嵌入模块：用于建立输入法应用的输入序列与多个表情候选项的对应关系，并在检测到对应的输入序列输入时，显示匹配的表情候选项。

进一步地，本实施方式中的关键特征获取模块还包括：

人脸图像识别模块：用于获取目标图像，对目标图像进行人脸范围检测，确定目标图像中的人脸范围，基于人脸范围，利用图片遮罩功能进行裁剪，获取源人脸图像。

进一步地，本实施方式中的人脸组件筛选模块包括：

人脸组件预设模块：用于预设特征库，特征库包括多个特征子库；在特征子库中预设有与关键特征匹配的人脸组件的的集合；用于预设识别模型，在识别模型中预设标准人脸图像，标准人脸图像用于映射人脸组件；

人脸组件匹配模块：用于将提取的关键特征输入到识别模型中，并映射到标准人脸图像中；基于关键特征，在标准人脸图像中映射出人脸组件，筛选出人脸组件。

进一步地，本实施方式中的人脸图像合成模块还包括：

组件微调模块：用于对筛选出的人脸组件进行微调，在特征库中选取人脸组件，并将选取的人脸组件替换筛选出的人脸组件。

进一步地，本实施方式中的表情候选项生成模块中还包括：

文本信息添加模块：用于接收文本添加指令，获取录入的不同场景信息的文本信息，调整文本信息的格式及尺寸，文本信息对应于输入序列；在场景信息的预设位置或者选定的位置设置文本信息；对场景信息与文本信息拼装处理。

在实施方式阐述的装置或模块，可以通过计算机芯片具体实体实现，当然也可以由具有某种功能的产品来实现。

在本实施方式中的一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机指令，该处理器执行计算机可读指令时，实现用于输入法的表情个性化生成方法。比如典型的实现设备：计算机；计算机可以是但不局限于个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

进一步地，在硬件层面，计算机设备为一电子设备，该电子设备包括处理器，因此，可选地电子设备中还包括内部总线、网络接口、存储器。其中，存储器可以是高速随机存取存储器(Random Access Memory，RAM)，也可以是非易失性存储器(non volati lememory)等。当然，该电子设备还可能包括其他功能所需要的硬件。

在本实施方式中，处理器、网络接口和存储器可以通过内部总线相互连接，内部总线可以采用ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或 EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。

在本实施方式中，存储器，用于存放程序。进一步地，该程序可以包括程序代码，程序代码包括计算机操作指令。存储器包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成表情嵌入输入法候选项的装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取目标图像，对目标图像进行人脸检测，提取人脸中的关键特征；

预设特征库，在特征库中预设人脸组件；建立关键特征与人脸组件之间的映射关系，将关键特征与人脸组件进行相似度比较，筛选出与关键特征相似的人脸组件；

将筛选出的人脸组件进行拼接，合成人脸图像；

在特征库中预设场景信息，选取多个场景信息；将人脸图像分别与多个场景信息进行组建，生成人脸图像的多个表情候选项；

建立输入法应用的输入序列与多个表情候选项的对应关系，并在检测到对应的输入序列输入时，显示匹配的表情候选项；

在本实施方式用于输入法的表情个性化生成装置执行的方法可以应用于处理器中，或者由处理器实现。因此处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施方式中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施方式所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施方式还提出了一种计算机可读存储介质，通过计算机可读存储介质存储一个或多个程序，一个或多个程序包括相应的指令，当该指令被包括多个应用程序的便携式电子设备执行时，本实施方式中用于执行以下方法：

S100：获取目标图像，对目标图像进行人脸检测，提取人脸中的关键特征；

S200：预设特征库，在特征库中预设人脸组件；建立关键特征与人脸组件之间的映射关系，将关键特征与人脸组件进行相似度比较，筛选出与关键特征相似的人脸组件；

S300：将筛选出的人脸组件进行拼接，合成人脸图像；

S400：在特征库中预设场景信息，选取多个场景信息；将人脸图像分别与多个场景信息进行组建，生成人脸图像的多个表情候选项；

S500：建立输入法应用的输入序列与多个表情候选项的对应关系，并在检测到对应的输入序列输入时，显示匹配的表情候选项。

另外，本实施方式中的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (19)

1.一种用于输入法的表情个性化生成方法，其特征在于，所述方法包括：

S1：获取目标图像，对所述目标图像进行人脸检测，提取人脸中的关键特征；

S2：预设特征库，在所述特征库中预设人脸组件；建立所述关键特征与所述人脸组件之间的映射关系，将所述关键特征与所述人脸组件进行相似度比较，筛选出与所述关键特征相似的所述人脸组件；

S3：将筛选出的所述人脸组件进行拼接，合成人脸图像；

S4：在所述特征库中预设场景信息，选取多个场景信息；将所述人脸图像分别与多个所述场景信息进行组建，生成所述人脸图像的多个表情候选项；

S5：建立输入法应用的输入序列与多个所述表情候选项的对应关系，并在检测到对应的所述输入序列输入时，显示匹配的所述表情候选项。

2.如权利要求1所述的用于输入法的表情个性化生成方法，其特征在于，在S1中，获取目标图像，对所述目标图像进行人脸检测，提取人脸中的关键特征，进一步包括：

S11：获取目标图像；

S12：对所述目标图像进行人脸范围检测，确定所述目标图像中的人脸范围；

S13：基于所述人脸范围，利用图片遮罩功能进行裁剪，获取源人脸图像；

S14：获取所述源人脸图像中的关键特征。

3.如权利要求2所述的用于输入法的表情个性化生成方法，其特征在于，在S12中，利用多任务级联卷积神经网络检测所述目标图像中的所述人脸范围，以获取所述目标图像中的所述人脸范围。

4.如权利要求2或3所述的用于输入法的表情个性化生成方法，其特征在于，在S1中，所述关键特征为眉毛、眼睛、鼻子、嘴巴、耳朵、配饰、发型、脸型或肤色中的一种或多种。

5.如权利要求1所述的用于输入法的表情个性化生成方法，其特征在于，在S2中，所述特征库包括多个特征子库，在所述特征子库中预设有与所述关键特征匹配的所述人脸组件的集合。

6.如权利要求5所述的用于输入法的表情个性化生成方法，其特征在于，在S2中，各所述人脸组件与一个所述关键特征相匹配；各所述关键特征与多个所述人脸组件匹配。

7.如权利要求1所述的用于输入法的表情个性化生成方法，其特征在于，在S2中，将所述关键特征与所述人脸组件进行相似度比较，筛选出与所述关键特征相似的所述人脸组件之前，还包括：预设识别模型，在所述识别模型中预设标准人脸图像，所述标准人脸图像用于映射所述人脸组件，进一步包括：

将提取的所述关键特征输入到所述识别模型中，并映射到所述标准人脸图像中；基于所述关键特征，在所述标准人脸图像中映射出所述人脸组件，筛选出所述人脸组件。

8.如权利要求7所述的用于输入法的表情个性化生成方法，其特征在于，在S2中，将提取的所述关键特征通过所述识别模型映射到所述标准人脸图像中，计算映射到所述标准人脸图像中的所述关键特征的欧式距离，筛选出映射到所述标准人脸图像中的所述人脸组件。

9.如权利要求1所述的用于输入法的表情个性化生成方法，其特征在于，在S3中，将筛选出的所述人脸组件进行拼接，合成人脸图像之前，还包括，对筛选出的所述人脸组件进行微调，在所述特征库中选取所述人脸组件，并将选取的所述人脸组件替换筛选出的所述人脸组件。

10.如权利要求1所述的用于输入法的表情个性化生成方法，其特征在于，在S4中，在所述特征库中预设场景信息，选取多个场景信息；将所述人脸图像分别与多个所述场景信息进行组建，生成与所述人脸图像对应的多个表情候选项，包括：

所述场景信息包括场景图片，以及所述场景信息与所述人脸组件的关联规则；选取多个场景信息包括选取多个场景图片，以及选取多个与所述场景信息匹配的所述人脸组件；所述人脸图像与所述场景信息组建时，与所述场景信息相关联的所述人脸组件替换所述人脸图像中的所述人脸组件，与所述场景图片拼接生成表情候选项。

11.如权利要求10所述的用于输入法的表情个性化生成方法，其特征在于，在S4中，还包括：添加表情文本，包括步骤：

S41：接收文本添加指令，获取录入的不同场景信息中的文本信息，以及调整所述文本信息的格式及尺寸，其中，所述文本信息对应于所述输入序列；

S42：在所述场景图片的预设位置或者选定的位置设置所述文本信息；

S43：对所述场景图片与所述文本信息拼装处理。

12.如权利要求1所述的用于输入法的表情个性化生成方法其特征在于，在S5中，建立所述输入法应用的表情访问接口与所述表情候选项的对应关系，通过所述表情访问接口访问所述表情候选项。

13.一种用于输入法的表情个性化生成装置，其特征在于，应用于终端设备，所述装置包括：

关键特征获取模块：用于获取目标图像，对所述目标图像进行人脸检测，提取人脸中的多个关键特征；

人脸组件筛选模块：用于预设特征库，在所述特征库中预设人脸组件；建立所述关键特征与所述人脸组件之间的映射关系，将所述关键特征与所述人脸组件进行相似度比对，筛选出与所述关键特征相似的所述人脸组件；

人脸图像合成模块：用于将筛选出的所述人脸组件进行拼接，合成人脸图像；

表情候选项生成模块：用于在所述特征库中预设场景信息，选取多个场景信息；将所述人脸图像与多个所述场景信息进行组建，生成所述人脸图像的多个表情候选项；

候选项嵌入模块：用于建立输入法应用的输入序列与多个所述表情候选项的对应关系，并在检测到对应的所述输入序列输入时，显示匹配的所述表情候选项。

14.如权利要求13所述的用于输入法的表情个性化生成装置，其特征在于，所述关键特征获取模块还包括：

人脸图像识别模块：用于获取目标图像，对所述目标图像进行人脸范围检测，确定所述目标图像中的人脸范围，基于所述人脸范围，利用图片遮罩功能进行裁剪，获取源人脸图像。

15.如权利要求14所述的用于输入法的表情个性化生成装置，其特征在于，所述人脸组件筛选模块包括：

人脸组件预设模块：用于预设特征库，所述特征库包括多个特征子库；在所述特征子库中预设有与所述关键特征匹配的所述人脸组件的的集合；用于预设识别模型，在所述识别模型中预设标准人脸图像，所述标准人脸图像用于映射所述人脸组件；

人脸组件匹配模块：用于将提取的所述关键特征输入到所述识别模型中，并映射到所述标准人脸图像中；基于所述关键特征，在所述标准人脸图像中映射出所述人脸组件，筛选出所述人脸组件。

16.如权利要求13所述的用于输入法的表情个性化生成装置，其特征在于，所述人脸图像合成模块还包括：

组件微调模块：用于对筛选出的所述人脸组件进行微调，在所述特征库中选取所述人脸组件，并将选取的所述人脸组件替换筛选出的所述人脸组件。

17.如权利要求13所述的用于输入法的表情个性化生成装置，其特征在于，所述表情候选项生成模块还包括：

文本信息添加模块：用于接收文本添加指令，获取录入的不同场景信息的所述文本信息，调整所述文本信息的格式及尺寸，所述文本信息对应于所述输入序列；在所述场景信息的预设位置或者选定的位置设置所述文本信息；对所述场景信息与所述文本信息拼装处理。

18.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机指令，其特征在于，所述处理器执行所述计算机可读指令时，实现如权1-12任意一项所述的用于输入法的表情个性化生成方法。

19.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时，实现如权1-12任意一项所述的用于输入法的表情个性化生成方法。

Images