CN104063683A - 一种基于人脸识别的表情输入方法和装置 - Google Patents

Abstract

本发明公开了一种基于人脸识别的表情输入方法和装置，涉及输入法技术领域；所述方法包括：启动输入法；获取用户拍摄的照片；采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；基于情感标签与各主题中的表情的对应关系，分别获取所述情感标签的各主题的表情；将所述各主题的表情进行排序，并作为候选项在客户端进行展示。本发明可直接根据用户当前拍摄的照片，识别并匹配标签，方便用户输入表情，表情准确度高，并且为用户提供了丰富、广范围的表情资源。

Description

一种基于人脸识别的表情输入方法和装置

技术领域

本发明涉及输入法技术领域，具体涉及一种基于人脸识别的表情输入方法和装置。

背景技术

输入法是为将各种符号输入计算机或其他设备(如手机)而采用的编码方法。常见的输入法包括搜狗输入法，微软输入法等等。

传统的表情输入大致有几种情况：其一是平台本身具有表情输入模块，比如qq等聊天工具嵌入的表情输入模块，其自带默认的输入表情，也可以安装第三方表情包，用户也可以自定义图片资源作为表情，当用户输入表情时，点击表情的输入按钮，选择表情进行输入，但是该种情况与输入法完全脱离，用户在输入过程中需要单独点击表情输入按钮，逐页翻找并点击自己需要和喜欢的表情来完成输入过程；

其二，是输入法自带简单的符号表情，当用户输入到相应字符时，比如(“哈哈”对应的符号表情“O(∩_∩)O～”)，符号表情以候选项的形式供用户选择。单这种方法的候选表情简单，无法给用户提供丰富多彩的表情输入。

其三，是输入法提供加载的第三方表情包，提供用户表情输入的入口，当用户有需求输入表情时，需要点击进入该应用程序表情输入的入口，然后在大量的表情资源中，逐页翻找并点击自己需要或喜欢的表情完成输入过程。

以按钮接口的形式嵌入在应用程序中，提供给用户进行表情输入，这种方法存在多种问题：

1.因为考虑到用户使用表情的操作成本，表情包制作方也会酌情精简表情内容，这也从某种程度上制约了聊天表情的发展和广泛使用。

2.大多数聊天工具只会提供默认表情。默认表情相对比较单调，更多丰富的多元化的主题聊天表情资源可以有效提高与朋友聊天的好感度，但是为了使用这些表情，用户需要经过很多网上操作步骤，从各种渠道获取表情包信息并将表情包下载到本地，有时还需要进行手工加载才可以正常使用表情包。对于操作生疏或者没有足够耐心的用户，在网络资源中成功获取并安装合适的表情包所花费的时间成本，可能会导致他们选择放弃。

3.对于下载好的表情包，如果用户切换聊天平台等输入场景，表情包需要重新下载或更新，用户的常用表情收藏信息也同样面临移植的问题。

4.用户自己选择表情，可能由于选择界面过于复杂，表情选项过多，无法准确选中与自己当前实际表情更相匹配的表情。

上述过程输入的候选表情内容仅限于第三方制作好的表情包。若非特意整理，很多明星人物、政治人物的夸张表情照片、GIF等多媒体资源并不能够及时的作为候选表情，降低了用户的输入效率。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于人脸识别的表情输入装置和相应的一种基于人脸识别的表情输入方法。

依据本发明的一个方面，提供了一种基于人脸识别的表情输入方法，包括：

启动输入法；

获取用户拍摄的照片；

采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；

基于情感标签与各主题中的表情的对应关系，分别获取所述情感标签的各主题的表情；

将所述各主题的表情进行排序，并作为候选项在客户端进行展示。

根据本发明的另一方面，提供了一种基于人脸识别的表情输入装置，包括：

启动模块，适于启动输入法；

照片获取模块，适于获取用户拍摄的照片；

情感标签确定模块，适于采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；

表情获取模块，适于基于情感标签与各主题中的表情的对应关系，分别获取所述情感标签的各主题的表情；

展示模块，适于将所述各主题的表情进行排序，并作为候选项在客户端进行展示。

相对现有技术，本发明具有如下优点：

本发明将各种来源的表情资源数据，利用语聊资源数据，比如聊天日志(如匿名获取qq、微信等聊天工具有表情输入的聊天日志)、社区评论(如京东、大众点评等有表情输入的评论内容)、社交内容(如qq空间、新浪微博、人人网等有表情输入的状态或评论内容)，对所有获取的表情资源数据进行分析，以构建情感标签与各主题中的表情的对应关系。

本发明通过输入法获得用户拍摄的照片，然后对获得的照片提取人脸表情特征，再代入人脸表情识别模型以确定用户输入对应的情感标签，然后再根据构建的情感标签和表情的对应关系，提取对应的表情作为候选项以供用户选择。

上述过程中，

其一，直接对用户拍摄的照片进行解析，利用构建的人脸表情识别模型，可精准的匹配到当前用户的面部表情，避免用户在杂乱的大量的表情中选择表情而导致的可能选择错误或者选择迟钝的情况，也加快了表情输入的效率；

其二，上述过程是通过精确匹配用户表情输入需求，提高表情的使用效率，降低用户在表情输入过程中翻找待输入的表情所花费的时间成本；

其三，该种方式不用考虑表情包的制作成本和内容，可以任意发挥制作方的创造力，降低对聊天表情的发展和广泛使用的制约；

其四，由于本发明将各主题的表情进行集中分类处理，用户不用到处下载各主题的表情包，降低用户寻找表情包的时间成本；

其五，由于本发明的表情是输入法的候选项，用户在切换聊天平台等输入场景时，不需要重新下载或更新表情包，也避免用户的常用表情收藏信息的移植问题；

其六，本发明各主题的表情范围广，覆盖面积大，可以给用户提供更多、更丰富的表情。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种基于人脸识别的表情输入方法的流程示意图；

图2示出了根据本发明一个实施例的情感标签与各主题中的表情之间的对应关系的构建流程示意图；

图3示出了根据本发明一个实施例的语聊资源示例；

图4示出了根据本发明一个实施例的建情感识别模型的构建流程示意图；

图4A示出了根据本发明一个实施例的根据情感标签的搜索结果示例；

图4B示出了根据本发明一个实施例的从搜索结果中抽取人脸表情特征示例；

图4C示出了根据本发明一个实施例的提取用户照片中的人脸表情特征示例；

图5示出了根据本发明一个实施例的一种基于人脸识别的表情输入方法的流程示意图；

图6示出了根据本发明一个实施例的一种基于人脸识别的表情输入方法的流程示意图；

图7示出了根据本发明一个实施例的一种基于人脸识别的表情输入装置的结构示意图；

图8示出了根据本发明一个实施例的一种基于人脸识别的表情输入装置的结构示意图；

图9示出了根据本发明一个实施例的一种基于人脸识别的表情输入系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。

本发明的核心思想之一是：本发明将收集的各种来源的表情资源数据，比如互联网中各主题的表情包资源(如qq的阿狸、嘻哈猴、郭德纲真人夸张表情照片集等的表情包)、第三方合作的表情包资源(输入法直接与卡通表情生产方进行合作并搭建获取流程)、用户产生的自定义的表情内容(输入法直接开放接口是用户可以添加自定义表情并共享)等表情资源数据，利用语聊资源数据，比如聊天日志(如匿名获取qq、微信等聊天工具有表情输入的聊天日志)、社区评论(如京东、大众点评等有表情输入的评论内容)、社交内容(如qq空间、新浪微博、人人网等有表情输入的状态或评论内容)，对所有获取的表情资源数据进行分析，按表情类别情感标签与各主题中的表情之间的对应关系，并利用情感标签与各主题中的表情之间的对应关系构建人脸表情识别模型，然后即可在用户使用输入法的过程中，直接对用户拍摄的照片中的面部表情进行分析和匹配，以直接提供表情候选项给客户端，给用户提供更方便、更快捷、更丰富的表情输入。

实施例一

参照图1，其示出了本发明一种基于人脸识别的表情输入方法的流程示意图。

在本发明实施例中，会预先构建情感标签与各主题中的表情的对应关系和人脸表情识别模型。

下面介绍建情感标签与各主题中的表情的对应关系的构建过程：

步骤S100，根据收集的语聊资源数据和各主题的表情资源数据构建所述情感标签与各主题中的表情之间的对应关系。

本发明中，情感标签与各主题中的表情的对应关系可通过收集语聊资源数据和各主题的表情资源数据,并利用语聊资源数据对表情资源数据进行分析得到。

在本发明实施例中，可在线或线下构建情感标签与各主题中的表情之间的对应关系。在本发明中各种来源的表情资源数据包括各种来源下的各种主题的表情资源数据。比如阿狸、嘻哈猴、郭德纲等真人夸张表情照片集等主题表情包。

在本发明实施例中，可以从不同的数据途径获取表情资源，比如网络中的各种主题的表情资源(包括自定义主题的表情资源等)。然后利用语聊资源，也即利用海量用户在实际的评论、聊天过程中输入文本内容时与其输入的表情的对应关系，通过对用户输入的文本内容和与文本内容对应的表情，对表情资源中的各主题的表情进行分类，从而得到关键词与表情资源中的各主题的表情的对应关系，该关键词即可作为情感标签与对应的表情进行关联。

优选的，参照图2，其示出了本发明优选的构建情感标签与各主题中的表情之间对应关系的方法，即步骤S100包括：

步骤S101，获取语聊资源数据和各主题的表情资源数据；所述语聊资源数据包括第二表情及其对应的文本内容；

本发明实施例可以从多个方面获取语聊资源数据，语聊资源数据是用户在聊天、评论等过程中产生的数据，其可能在输入文字时输入与文字相关的表情，比如：聊天日志(如获取qq、微信等聊天工具有表情输入的聊天日志，当然在获取时可将用户名等私人信息进行匿名加密处理)，社区评论(如京东、大众点评等有表情输入的评论内容)，社交内容(如qq空间、新浪微博、人人网等有表情输入的状态或评论内容)。那么本发明实施例则可通过获取各种来源的语聊资源数据，以收集里面的文本内容和与该文本内容相关的第二表情，以备后续分析。

本发明也可从多个方面获取表情资源数据，比如：从互联网中获取各主题的表情包资源(如qq的阿狸、嘻哈猴、郭德纲真人夸张表情照片集等主题表情包，用户通过自定义表情接口添加的自定义表情包,该自定义表情包可以理解为自定义主题表情包)，与第三方合作，直接获取第三方合作的主题表情包资源(输入法直接与卡通表情生产方进行合作并搭建获取流程)等。

优选的，获得所述源表情资源数据之后还包括：将所述源表情资源数据中的表情转换为统一系统平台下的标准格式的表情。

由于获取的原始聊天表情资源与各个输入环境之间存在兼容性的问题，因此，需要对各种渠道来源的表情制定标准，通过转换和转码，实现规格和编码在同一系统平台的统一(即移动软件平台、PC软件平台均设立不同的标准)。

步骤S102，结合所述语聊资源数据包括的对应第二表情的文本内容，对所述各主题的表情资源数据中的每个第一表情分别进行分类，基于所述分类后的第一表情构建情感标签与每个主题的各种表情之间的对应关系。

在本发明实施例中，上述第一表情是从各种来源获取的各种主题表情资源中的表情；第二表情是从各种来源获取的语聊资源中的表情。在本发明中，以各主题表包中的表情为例，对各主题表情中的每个第一表情进行分类，将属于同一类别的不同主题的表情放入一个表情类别中，比如微笑。

另外，在本发明中，会预先设置表情类别，比如微笑，大笑，冷笑等表情类别，每个表情类别下会预先设置第二分类对应的关键词。分类时，以表情资源数据库中的第二表情为分类的目标，结合语聊资源数据中对应第二表情的文本内容，和预先标注好的表情类别，对表情资源数据库中的第一表情进行分类。

优选的，所述结合所述语聊资源数据包括的对应第二表情的文本内容，对所述各主题的表情资源数据中的每个第一表情分别进行分类，包括：

子步骤S1021，根据所述语聊资源数据包括的第二表情及其文本内容，分别挖掘所述表情资源数据中每个主题的各个第一表情各自对应的各第一关键词；

在本发明实施例中，语聊资源数据中的第二表情基本上包含于表情资源数据中的第二表情中，那么对于两者，可通过表情匹配获取第一表情的文本内容，从而可从所述文本内容中挖掘第一表情的第一关键词。所述第一关键词为所述表情资源数据中第一表情对应预置的标签文字。

优选的，本子步骤S1021包括：

子步骤A11，使用符号匹配规则和图片内容判断规则从所述语聊资源数据中提取所述第二表情和所述第二表情对应的文本内容；

对于收集到的各种来源的语聊资源数据，其中可能存在大量没有与表情相关的文本内容，那么本发明可通过符号匹配规则和图片内容判断规则从所述语聊资源数据中提取第二表情和对应的文本内容。比如对于符号表情“：)”，则可通过符号匹配规则获取其前或者其后出现的文本内容(比如聊天内容，或者评论内容等)；对于图片，则可通过图片内容判断规则去判断图片是否为表情图片，如果是，则提取该图片之前和/或者之后的文本内容。其中，图片内容判断规则采用通用的图片内容判断方法即可，本发明不对其加以限制，比如通过预先对各种类别的表情图片，收集大量样本进行像素矩阵训练(训练方法可以采用任意一种，本发明不对其加以限制)，获得表情图片识别模型，那么对于语聊资源数据中的图片表情，则可获取其像素矩阵，然后输入表情图片识别模型进行识别。

子步骤A12，在所述各主题的表情资源数据中，分别将所述第一表情与提取的第二表情进行匹配，匹配成功则分别将第一表情与第二表情的文本内容进行关联，并从所述文本内容中挖掘各第一关键词与第一表情进行对应。

具体的，本步骤将所述源表情资源数据中的第一表情与从所述语聊资源数据中提取的第二表情进行匹配。即在本发明实施例中，在提取了第二表情及其对应的文本内容后，那么即可将第二表情和各主题的表情资源数据中的第一表情进行匹配，该匹配可以是一一匹配，也可以是模糊匹配(即对相似度高于阈值的图片也进行匹配)。

然后，对于匹配上的第一表情，则将其与第二表情对应的文本内容进行关联，并从所述文本内容中挖掘各第一关键词。

子步骤S1022，根据所述第一关键词和预置的对应每个表情类别的各第二关键词，对所述各第一表情分别进行分类。

在本发明实施例中，会预置各种表情类别，可通过结合人工标注的方法，确定所有的标志性的明确细分的表情类别(包括微笑、哈哈大笑、猥琐的笑等等)，在每个表情类别下会设置与该类别强相关的各第二关键词。

然后即可针对第一表情的各关键词和预置的每个表情类别下的各第二关键词，对各个第一表情进行分类。

优选的，所述子步骤S1022包括：

子步骤A13，针对匹配上的各第一表情，基于每个表情类别下的各第二关键词，以该第一表情下的各第一关键词进行情感分类预测，确定所述第一表情的表情类别；

在本发明实施例中，使用通用的情感分析分类的方法，基于第一表情下面的第一关键词进行预测，以对第一表情进行分类，从而确定每个表情的所属类别。情感分析分类方法原理大致为：利用每个类别的标注样本训练分类器，比如利用朴素贝叶斯方法(Naive Bayes,NB)构建分类器，然后针对每个分类对象的分类特征(在本发明实施例中，第一表情为分类对象，相应第一关键词即为分类特征)利用所述分类器进行识别。在本发明实施例中，对各个类别表情类别分别对应一个情感分值，比如大笑为+5，微笑+4，猥琐的笑+3等，分别与分类器的分类结果对应。

子步骤A14，针对未匹配上的各第一表情，基于每个表情类别下的各第二关键词，将所述第一表情标注为具体的表情类别。

而对于表情资源数据中的未匹配上的各第一表情，即没有文本内容以挖掘第一关键词的第一表情，本发明可以通过标注指派到具体的表情分类。

再分类完毕后，根据各表情所属类别的关键词以及挖掘的关键词与表情的对应关系，将各表情所属类别的关键词以及挖掘的关键词作为该表情的情感标签。

优选的，所述基于所述分类后的第一表情构建情感标签与每个主题的各种表情之间的对应关系包括：

子步骤S1023，针对每个主题的第一表情，将其对应的第一关键词和第二关键词合并为所述第一表情的情感标签，从而获得情感标签与每个主题中的表情的对应关系。

在本发明实施例中，可将分析得到的每个第一表情的第一关键词和第二关键词合并为该第一表情的情感标签，那么即可获得情感标签与每个主题中的表情的对应关系。

在其他实施例中，所述情感标签与各主题中的表情之间的对应关系可通过：

步骤S103，根据所述情感标签的近义词和所述近义词分别在各主题中的对应表情的构建所述情感标签与各主题中的表情之间的对应关系。

所述情感标签的近义词和所述近义词分别在各主题中的对应表情的进行构建。通过预置的词典查找所述情感标签的近义词，将各近义词分别在各主题的表情包中进行检索，获取各近义词分别对应的表情，从而得到所述情感标签与各主题的表情的对应关系。

比如，预先针对每一个表情类别选定一个基础的情感标签，然后针对每个类别的基础的情感标签，通过查询预置的词典，获得该基础情感标签的近义词，然后基于每个近义词获取各主题的表情资源中对应的表情，那么即可以该基础的情感标签对应到不同近义词的表情。

当然，本发明还可以人工配置情感标签和表情之间的对应关系。即选择情感标签，然后人工将各主题中的相应表情与该情感标签对应。

优选的，在合并之前，还包括：根据语聊资源数据中对各第一关键词的使用频率，对各第一关键词进行筛选，将筛选后的第一关键词和第二关键词合并为该第一表情的标签词汇。

即将使用频率大于阈值的第一关键词保留，然后和第二关键词合并为该第一表情的标签词汇。当然，对于不存在第一关键词的第一表情，直接采用第二关键词作为该第一表情的标签词汇。

优选的，在合并之前，可对类别关键词进行优化，即将某一类别下的所有的表情的第一关键词和初始确定的第二关键词进行汇总，将在语聊资源数据中词频大于阈值的各关键词作为最终的第二关键词。

当然，还可将各表情情感标签进行汇总，构建索引；所述索引为各情感标签到表情的对应关系。

本步骤可优化类别的关键词，使其更精准。

下面以一个实际例子一说明上述过程：

1，从微博默认表情，我们知道“V5”这个符号是一种表情。

2，从新浪微博获取带有表情图片的微博。例如，网友称赞李娜获得澳网冠军的微博。参照图3。

3，利用微博数据接口获得诸如此类的微博内容，利用原始表情数据库的内容记录，可以将微博识别成文字部分“李娜实在是太棒了！骄傲！”和表情“V5”以及李冰冰微博的文字部分“你是我们李家的骄傲……”和表情“V5”。于是，这两段文字都可以作为表情“V5”的描述文字。抽取其中的形容词，可以发现“骄傲”出现了2次，“太棒了”出现了1次。提取其中的高频词汇可知，“骄傲”是所有类似微博所表达的核心情感的文字。因此，可以建立文字“骄傲”和表情“V5”之间的关系，并存入表情标签关系库。同理，更多包含表情“V5”的微博内容集中在一起可以获得“V5”表情的描述关键词集合。那么即可将V5的关键词作为其情感标签，即得到情感标签和表情的对应关系。

下面介绍人脸表情识别模型构建过程：

在本发明中可根据情感标签与各主题中的表情之间的对应关系中的情感标签构建情感识别模型，参照图4，可包括：

步骤S201，针对每种表情类别，以所述表情类别下对应的情感标签检索各人脸表情图片；

在前述步骤中构建了情感标签和表情的对应关系后，其各情感标签对应一个表情类别，那么本发明以一个表情类别为单位，提取该表情类别下的各情感标签，输入搜索引擎搜索人脸表情图片。当然，本发明实施例中对前述获得的情感标签和表情之间的对应关系还可进行人工标注整理和标注，确定所有情感的细分标签，及其确定的表情样例，比如高兴、哈哈大笑、得瑟等等。然后以整理后的情感标签作为查询词去搜索引擎检索人脸表情图片。

优选的，所述步骤S201包括：

子步骤B11，针对每种表情类别，以所述表情类别下的情感标签检索各图片；

比如，获取到前述情感标签后，以微笑类别的情感标签“微笑”，在搜狗图片和百度图片等图片垂直搜索中分别查询微笑，获得大量的照片或者图片资源。

子步骤B12，针对所述各图片，过滤非人脸的图片。

优选的，子步骤B12包括：

子步骤B121，将各图片进行灰度的归一化；

比如将大于阈值的灰度归一化为黑，小于阈值的灰度归一化为白。

子步骤B122，使用预置的Haar分类器对训练数据图片的人脸进行检测，过滤非人脸的图片。

本步骤使用事先训练好的Haar分类器对训练数据图片的人脸进行检测。过滤没有人脸的图片，保留人脸表情图片。

其中，Haar分类器算法的要点如下：

①使用Haar-like特征做检测。

②使用积分图(Integral Image)对Haar-like特征求值进行加速。

③使用AdaBoost算法训练区分人脸和非人脸的强分类器。

④使用筛选式级联把强分类器级联到一起，提高准确率。

其中，Haar-like特征应用于人脸表示，分为3种类型4种形式的特征：1类：边缘特征，2类：线性特征，3类：中心特征和对角线特征。Haar特征值反映了图像的灰度变化情况。例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。以上述的特征组合成特征模板，特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。通过改变特征模板的大小和位置，可在图像子窗口中穷举出大量的特征。上图的特征模板称为“特征原型”；特征原型在图像子窗口中扩展(平移伸缩)得到的特征称为“矩形特征”；矩形特征的值称为“特征值”。矩形特征可位于图像任意位置，大小也可以任意改变，所以矩形特征值是矩形模版类别、矩形位置和矩形大小这三个因素的函数。

本发明可通过如下过程训练Haar分类器：

首先训练弱分类器：

其中，一个弱分类器h(x，f，p，θ)由子窗口图像x，一个特征f，指示不等号方向的p和阈值θ组成。P的作用是控制不等式的方向，使得不等式都是<号，形式方便。

弱分类器具体训练过程如下：

1)对于每个特征f，计算所有训练样本的特征值，并将其排序。

扫描一遍排好序的特征值，对排好序的表中的每个元素，计算下面四个值：

全部人脸样本的权重的和t1；

全部非人脸样本的权重的和t0；

在此元素之前的人脸样本的权重的和s1；

在此元素之前的非人脸样本的权重的和s0；

2)最终求得每个元素的分类误差。

找误差最小的元素，则该元素作为最优阈值。

训练得到T个最优弱分类器后，进行叠加得到强分类器。如此循环可得到N个强分类器，进行级联训练即可得到Haar分类器。

使用训练好的Haar分类器对图片进行人脸检测和识别，过滤掉不包含人脸信息的图片。例如，图4A搜索结果中的前两张就被过滤掉。

然后通过人工标注和纠正的方式去掉数据中不是微笑表情的照片，例如，搜索结果中第二行的第五张，将标注结果保存并形成有效的训练数据库。

步骤S202，针对每张人脸表情图片，提取人脸表情特征；

对照片的人脸进行常用的基本的人脸表情特征提取:

将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构的向量等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理，降维处理后，自然性能有所提升，识别率有所下降。在本发明实施例中，可选择一定量的样本进行降维处理，然后以降维后的数据构建分类模型去识别样本，判断识别后的结果与样本之间的误差比例，如果低于阈值则可采用当前维度进行将维。将维是将图片的RGB空间的特征向量降低维度，其采用的方法包括多种，比如采用Locally linear embedding(LLE)无监督的非线性降维方法。

然后对降维后的进行特征提取：特征提取的主要方法有：提取几何特征、统计特征、频率域特征和运动特征等。

其中，几何特征的提取主要是对人脸表情的显著特征,如眼睛、眉毛、嘴巴等的位置变化进行定位、测量,确定其大小、距离、形状及相互比例等特征,进行人脸表情识别。基于整体统计特征的方法主要强调尽可能多的保留原始人脸表情图像中的信息,并允许分类器发现表情图像中相关特征,通过对整幅人脸表情图像进行变换,获取特征进行人脸表情识别。频率域特征提取:是将图像从空间域转换到频率域提取其特征(较低层次的特征),本发明可通过Gabor小波变换获取频率域特征。小波变换能够通过定义不同的核频率、带宽和方向对图像进行多分辨率分析，能有效提取不同方向不同细节程度的图像特征并相对稳定，但作为低层次的特征，不易直接用于匹配和识别，常与ANN或SVM分类器结合使用，提高表情识别的准确率。基于运动特征的提取：提取动态图像序列的运动特征(今后研究的重点)，本发明可通过光流法提取运动特征，光流是指亮度模式引起的表观运动，是景物中可见点的三维速度矢量在成像平面上的投影，它表示景物表面上的点在图像中位置的瞬时变化，同时光流场携带了有关运动和结构的丰富信息，光流模型是处理运动图像的有效方法，其基本思想是将运动图像函数f(x,y,t)作为基本函数，根据图像强度守恒原理建立光流约束方程，通过求解约束方程，计算运动参数。

本步骤对所有训练数据抽取特征。例如，抽取图4B图片中的面部位置特征。

步骤S203，以各人脸表情特征和对应的表情类别训练人脸表情识别模型。

得到了人脸表情特征后，结合表情类别构建训练样本，带入人脸表情识别模型进行训练。在本发明实施例中可采用支持向量机(SVM)分类算法，以上述人脸表情特征和表情类别构建样本进行训练，得到该类别的情感分析器。当然还可采用其他分类算法，比如朴素贝叶斯，最大熵算法等进行分类。

以简单的支持向量机为例，假如函数为：

$h_{\mathrm{\&theta;}}\left(x\right)=g\left({\mathrm{\&theta;}}^{T}x\right)=\frac{1}{1+e^{{-\mathrm{\&theta;}}^{T}x}},$

其中，θ^Tx＝θ₀+θ₁x₁+θ₂x₂+…+θ_nx_n，然后以θ₀替换为b，替换θ₁x₁+θ₂x₂+…+θ_nx_n为w₁x₁+w₂x₂+…+w_nx_n即w^Tx，然后即可定义单个函数样本函数间隔为:(x⁽ⁱ⁾,y⁽ⁱ⁾)是训练样本，在本发明实施例中x是输入的由文本特征，y是情感标签。

那么以所述第一表情对应的情感标签和各人脸特征，构建上述训练样本,即可训练情感分析模型。也即训练前述公式中的参数w^T和b，从而以备后续使用。在使用支持向量机时，一个分类器对应一个表情类别，本发明可针对不同表情类别构建多个分类器，然后以上述多个分类器构建整个的情感分类模型。

如此循环，即可针对每个类别训练得到相应类别的情感分析器，然后将各情感分析器叠加即可得到本发明的人脸表情识别模型。

优选的，在本发明实施例中人脸表情识别模型和情感标签与各主题中的表情的对应关系的构建可以在云端服务器执行。

在建立上述人脸表情识别模型和情感标签与各主题中的表情的对应关系之后，即可执行本发明包括的步骤110至150。

步骤110，启动输入法；

用户启动输入法开始进行输入。

步骤120，获取用户拍摄的照片；

当用户需要表情输入时，则可通过输入法启用摄像头(比如移动设备的前置，比如接入电脑的摄像头)摄像，然后输入法即可获得摄像头拍摄的照片。

在本发明实施例中，在步骤120之后还包括：

子步骤S121，判断照片的内容是否符合识别要求。

本发明实施例中，输入法云端使用Haar分类器检测人脸特征信息，如果因光线、角度等多种原因导致检测失败，则触发前置摄像头重新拍摄。

步骤130，采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；

如图4C，提取照片的人脸表情特征，将提取的特征输入到人脸表情识别模型，获得用户的实际情感标签，也是“微笑”。

优选的，所述步骤130包括：

子步骤131，从所述照片中提取人脸对应的表情特征，采用人脸表情识别模型对于所述表情特征进行分类；

其中提取人脸特征如前所述，将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等，然后提取几何特征、统计特征、频率域特征和运动特征等其中之一或者多个人脸表情特征，然后将人脸表情特征带入人脸表情识别模型进行分类。

子步骤132，根据分类的到的表情类别获取对应的情感标签。

比如分类结果为微笑，则可获得对应的情感标签为“微笑”的情感标签。

步骤140，基于情感标签与各主题中的表情的对应关系，获取对应所述情感标签的各主题的表情；所述情感标签与各主题中的表情之间的对应关系根据收集的语聊资源数据和各主题的表情资源数据构建；

使用情感标签“微笑”作为查询词在表情索引库(本发明可基于情感标签与各主题中的表情的对应关系构建索引库)中进行检索，获得不同主题的表情包中的所有标签为“微笑”和对应的近义词“憨笑”、“讪笑”的表情。

在其他实施例中，所述情感标签与各主题中的表情之间的对应关系可通过所述情感标签的近义词和所述近义词分别在各主题中的对应表情的进行构建。通过预置的词典查找所述情感标签的近义词，将各近义词分别在各主题的表情包中进行检索，获取各近义词分别对应的表情，从而得到所述情感标签与各主题的表情的对应关系。

步骤150，将所述各主题的表情进行排序，并作为候选项在客户端进行展示。

再对表情进行排序，推荐“微笑”相关的来自不同主题表情包的表情。

优选的，步骤150包括：

子步骤S151，针对每个表情类别的各第一表情，根据所述第一表情在语聊资源数据中的出现次数和/或用户的个性化信息对相应候选项进行排序。

在本发明实施例中，可能针对同一个字词、字符表情对应的第一表情的表情候选项有多个，那么本发明可利用各第一表情在语聊资源数据中的使用次数，(通过与第一表情对应的第二表情进行统计)对表情候选项进行排序；或者利用用户的个性化信息(包括性别、爱好等)对表情候选项进行排序，即在本发明中对于第一表情本身可预先设置其排序类别，这些排序类别与用户的偏好进行对应，比如以性别再分类(年轻男士经常使用的，年轻女性经常使用的，中年男性经常使用的，中年女性经常使用的等等排序类别)，那么在排序时，获取用户的个性化信息，并与排序类别进行比较分析，将与个性化信息相似度更高的类别排前。

然后，将排好序的表情集合展示在输入法表情周围合适的位置，供用户选择或翻页查看更多。

本发明实施例以海量用户产生的语聊资源为分析的数据源头，对各种表情资源数据(包括各种主题的表情资源数据)进行分类，构建字符序列和/或字词序列与每个主题的各表情之间的对应关系，用户在后续使用输入法的过程中，可以获得不同主题的、不同风格的相应表情作为候选项，本发明表情的范围广，覆盖面积大，可以给用户提供更多、更丰富的表情。另外，将表情作为输入法的词库，将根据对用户拍摄的照片进行分析从而获得的表情候选项，直接提供给用户选择。上述过程是通过精确匹配当前用户的面部表情，提高表情的使用效率，降低用户在表情输入过程中翻找表情所花费的时间成本、节省用户的精力，方便用户快捷的输入选择表情进行输入。该种方式不用考虑表情包的制作成本和内容，可以任意发挥制作方的创造力，降低对聊天表情的发展和广泛使用的制约。由于本发明将各种表情进行集中分类处理，用户不用到处下载各种安装包，降低用户寻找安装包的时间成本。由于本发明的表情是输入法的候选项，用户在切换聊天平台等输入场景时，不需要重新下载或更新表情包，也避免用户的常用表情收藏信息的移植问题。并且，通过对照片的分析，避免了用户无法精确描述和选择表情的问题，可直接与用户当前的表情进行匹配，获得的表情更精确。

实施例二

参照图5，其示出了其示出了本发明一种基于人脸识别的表情输入方法的流程示意图。包括：

步骤510，启动输入法；

步骤520，判断客户端输入法当前的输入环境是否需要表情输入；如果需要表情输入，则进入步骤530；如果不需要，则进入传统输入方式。

即输入法识别用户正在输入的环境。如果是聊天环境、网页输入等较大可能有表情输入需求的环境，则执行步骤130。如果不需要，则直接接收用户的输入序列，进行字词转换生成候选项展示给用户。

步骤530，获取用户拍摄的照片；

当用户在输入过程中触发拍照功能后，本发明实施例则获取用户拍摄的照片。

步骤540，采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；

步骤550，基于情感标签与各主题中的表情的对应关系，获取对应所述情感标签的各主题的表情；

根据语聊资源数据和各主题的表情资源数据构建所述情感标签与各主题中的表情之间的对应关系；或者根据情感标签的近义词和所述近义词分别在各主题中的对应表情的构建所述情感标签与各主题中的表情之间的对应关系。

步骤560，针对每个表情类别的各第一表情，根据所述第一表情在语聊资源数据中的出现次数和/或用户的个性化信息对相应候选项进行排序；

步骤570，将排序后的表情作为候选项在客户端进行展示。

本发明实施例也会预先构建情感标签与各主题中的表情之间的对应关系，以及人脸表情识别模型，其原理与实施例一中的描述类似。当然本发明实施例其他与实施例一相同的步骤，其原理参见实施例一的描述，在此不再详述。

实施例三

参照图6，其示出了其示出了本发明一种基于人脸识别的表情输入方法的流程示意图。包括：

步骤610，移动客户端启动输入法；

步骤620，移动客户端判断客户端输入法当前的输入环境是否需要表情输入；如果需要表情输入，则进入步骤630；如果不需要，则进入传统输入方式。

步骤630，获取移动客户端的前置摄像头拍摄的用户照片，并将照片传送至云端服务器。

步骤640，云端服务器采用人脸表情识别模型确定照片中的面部表情对应的情感标签；

步骤650，云端服务器基于情感标签与各主题中的表情的对应关系，分别获取对应所述情感标签的各主题的表情；

根据语聊资源数据和各主题的表情资源数据构建所述情感标签与各主题中的表情之间的对应关系；或者根据情感标签的近义词和所述近义词分别在各主题中的对应表情的构建所述情感标签与各主题中的表情之间的对应关系。

步骤660，云端服务器将各主题的表情进行排序，并返回移动客户端；

步骤670，移动客户端将排序后的表情作为候选项在客户端进行展示。

当然，在本发明实施例中，可根据实际情况将某些步骤放置于云端服务器进行处理，不必限定于上述过程中的描述。其中，可在云端服务器构建情感标签与各主题中的表情之间的对应关系，以及情感分类模型。

当然本发明实施例还可用于PC客户端等终端中，不限定于移动客户端。

实施例四

参照图7，其示出了其示出了本发明一种基于人脸识别的表情输入装置的结构示意图。包括：

启动模块710，适于启动输入法；

优选的，在启动模块710之后还包括：

环境判断模块，适于判断客户端输入法当前的输入环境是否需要表情输入；如果需要表情输入，则进入照片获取模块720；如果不需要，则进入传统输入模块。

照片获取模块720，适于获取用户拍摄的照片；

情感标签确定模块730，适于采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；

优选的，所述情感标签确定模块730包括：

第一识别模块，适于从所述照片中提取人脸对应的表情特征，采用人脸表情识别模型对于所述表情特征进行分类；

第一情感标签确定模块，适于根据分类的到的表情类别获取对应的情感标签。

表情获取模块740，适于采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；

展示模块750，适于将所述各主题的表情进行排序，并作为候选项在客户端进行展示。

优选的，所述展示模块750包括：

排序模块，适于针对每个表情类别的各第一表情，根据所述第一表情在语聊资源数据中的出现次数和/或用户的个性化信息对相应候选项进行排序。

优选的，还包括关系构建模块，适于根据语聊资源数据和各主题的表情资源数据构建所述情感标签与各主题中的表情之间的对应关系；或者根据情感标签的近义词和所述近义词分别在各主题中的对应表情的构建所述情感标签与各主题中的表情之间的对应关系。

所述关系构建模块包括：

资源获取模块，适于获取语聊资源数据和各主题的表情资源数据；所述语聊资源数据包括第二表情及其对应的文本内容；

第一构建模块，适于结合所述语聊资源数据包括的对应第二表情的文本内容，对所述各主题的表情资源数据中的每个第一表情分别进行分类，基于所述分类后的第一表情构建情感标签与每个主题的各种表情之间的对应关系。

优选的，所述第一构建模块包括：

关键词挖掘模块，适于根据所述语聊资源数据包括的第二表情及其文本内容，分别挖掘所述表情资源数据中每个主题的各个第一表情各自对应的各第一关键词；

分类模块，适于根据所述第一关键词和预置的对应每个表情类别的各第二关键词，对所述各第一表情分别进行分类。

优选的，所述关键词挖掘模块包括：

第一内容提取模块，适于使用符号匹配规则和图片内容判断规则从所述语聊资源数据中提取所述第二表情和所述第二表情对应的文本内容；

匹配模块，适于在所述各主题的表情资源数据中，分别将所述第一表情与提取的第二表情进行匹配，匹配成功则分别将第一表情与第二表情的文本内容进行关联，并从所述文本内容中挖掘各第一关键词与第一表情进行对应。

优选的，所述分类模块包括：包括：

第一分类模块,适于针对匹配上的各第一表情，基于每个表情类别下的各第二关键词，以该第一表情下的各第一关键词进行情感分类预测，确定所述第一表情的表情类别；

第二分类模块,适于针对未匹配上的各第一表情，基于每个表情类别下的各第二关键词，将所述第一表情标注为具体的表情类别。

优选的，所述第一构建模块包括：

第二构建模块，适于针对每个主题的第一表情，将其对应的第一关键词和第二关键词合并为所述第一表情的情感标签，从而获得情感标签与每个主题中的表情的对应关系。

优选的，还包括人脸表情识别模型构建模块，所述人脸表情识别模型构建模块具体包括：

图片获取模块，适于针对每种表情类别，以所述表情类别下对应的情感标签检索各人脸表情图片；

表情特征提取模块，适于针对每张人脸表情图片，提取人脸表情特征；

模型训练模块，适于以各人脸表情特征和对应的表情类别训练人脸表情识别模型。

实施例五

参照图8，其示出了其示出了本发明一种基于人脸识别的表情输入装置的结构示意图。包括：

启动模块810，适于启动输入法；

环境判断模块820，适于判断客户端输入法当前的输入环境是否需要表情输入；如果需要表情输入，则进入照片获取模块830；如果不需要，则进入传统输入模块。

照片获取模块830，适于获取用户拍摄的照片；

情感标签确定模块840，适于采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；

表情获取模块850，适于基于情感标签与各主题中的表情的对应关系，获取对应所述情感标签的各主题的表情；

根据语聊资源数据和各主题的表情资源数据构建所述情感标签与各主题中的表情之间的对应关系；或者根据情感标签的近义词和所述近义词分别在各主题中的对应表情的构建所述情感标签与各主题中的表情之间的对应关系。

排序模块860，适于针对每个表情类别的各第一表情，根据所述第一表情在语聊资源数据中的出现次数和/或用户的个性化信息对相应候选项进行排序。

展示模块870，适于将排序后的表情作为候选项在客户端进行展示。

实施例六

参照图9，其示出了其示出了本发明一种基于人脸识别的表情输入系统的结构示意图。包括：

客户端910与服务器920；

所述客户端910包括：

启动模块911，适于启动输入法；

环境判断模块912，适于判断客户端输入法当前的输入环境是否需要表情输入；如果需要表情输入，则进入照片获取模块830；如果不需要，则进入传统输入模块。

展示模块913，适于将排序后的表情作为候选项在客户端进行展示。

所述服务器920包括：

照片获取模块921，适于获取用户拍摄的照片；

情感标签确定模块922，适于采用人脸表情识别模型确定照片对应的情感标签；

表情获取模块923，适于基于情感标签与各主题中的表情的对应关系，获取对应所述情感标签的各主题的表情；所述情感标签与各主题中的表情之间的对应关系根据收集的语聊资源数据和各主题的表情资源数据构建；

排序模块924，适于针对每个表情类别的各第一表情，根据所述第一表情在语聊资源数据中的出现次数和/或用户的个性化信息对相应候选项进行排序。

以上对本申请所提供的一种基于人脸识别的表情输入的方法、装置和系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种基于人脸识别的表情输入方法，其特征在于，包括：

启动输入法；

获取用户拍摄的照片；

采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；

基于情感标签与各主题中的表情的对应关系，分别获取所述情感标签的各主题的表情；

将所述各主题的表情进行排序，并作为候选项在客户端进行展示。

2.如权利要求1所述的方法，其特征在于，所述情感标签与各主题中的表情之间的对应关系通过以下步骤构建：

根据收集的语聊资源数据和各主题的表情资源数据构建所述情感标签与各主题的表情之间的对应关系；

或者根据所述情感标签的近义词和所述近义词分别在各主题对应的表情构建所述情感标签与各主题的表情之间的对应关系。

3.如权利要求2所述的方法，其特征在于，所述根据收集的语聊资源数据和各主题的表情资源数据构建所述情感标签与各主题的表情之间的对应关系包括：

获取语聊资源数据和各主题的表情资源数据；所述语聊资源数据包括第二表情及其对应的文本内容；

结合所述语聊资源数据包括的对应第二表情的文本内容，对所述各主题的表情资源数据中的每个第一表情分别进行分类，基于所述分类后的第一表情构建情感标签与每个主题的各种表情之间的对应关系。

4.如权利要求3所述的方法，其特征在于，所述结合所述语聊资源数据包括的对应第二表情的文本内容，对所述各主题的表情资源数据中的每个第一表情分别进行分类，包括：

根据所述语聊资源数据包括的第二表情及其文本内容，分别挖掘所述表情资源数据中每个主题的各个第一表情各自对应的各第一关键词；

根据所述第一关键词和预置的对应每个表情类别的各第二关键词，对所述各第一表情分别进行分类。

5.如权利要求4所述的方法，其特征在于，根据所述语聊资源数据包括的第二表情及其文本内容，分别挖掘所述表情资源数据中每个主题的各个第一表情对应的各第一关键词，包括：

使用符号匹配规则和图片内容判断规则从所述语聊资源数据中提取所述第二表情和所述第二表情对应的文本内容；

在所述各主题的表情资源数据中，分别将所述第一表情与提取的第二表情进行匹配，匹配成功则分别将第一表情与第二表情的文本内容进行关联，并从所述文本内容中挖掘各第一关键词与第一表情进行对应。

6.如权利要求4所述的方法，其特征在于，所述根据所述第一关键词和预置的每个表情类别下的各第二关键词，对所述各第一表情分别进行分类，包括：

针对匹配上的各第一表情，基于每个表情类别下的各第二关键词，以该第一表情下的各第一关键词进行情感分类预测，确定所述第一表情的表情类别；

针对未匹配上的各第一表情，基于每个表情类别下的各第二关键词，将所述第一表情标注为具体的表情类别。

7.如权利要求4所述的方法，其特征在于，所述基于所述分类后的第一表情构建情感标签与每个主题的各种表情之间的对应关系包括：

针对每个主题的第一表情，将其对应的第一关键词和第二关键词合并为所述第一表情的情感标签，从而获得情感标签与每个主题中的表情的对应关系。

8.如权利要求1所述的方法，其特征在于，所述人脸表情识别模型通过以下步骤构建：

针对每种表情类别，以所述表情类别下对应的情感标签检索各人脸表情图片；

针对每张人脸表情图片，提取人脸表情特征；

以各人脸表情特征和对应的表情类别训练人脸表情识别模型。

9.如权利要求8所述的方法，其特征在于，所述采用人脸表情识别模型确定所述照片中的人脸对应的情感标签包括：

从所述照片中提取人脸对应的表情特征，采用人脸表情识别模型对于所述表情特征进行分类；

根据分类的到的表情类别获取对应的情感标签。

10.如权利要求1所述的方法，其特征在于，所述将所述各主题的表情进行排序包括：

针对每个表情类别的各第一表情，根据所述第一表情在语聊资源数据中的出现次数和/或用户的个性化信息对相应候选项进行排序。

11.一种基于人脸识别的表情输入装置，其特征在于，包括：

启动模块，适于启动输入法；

照片获取模块，适于获取用户拍摄的照片；

情感标签确定模块，适于采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；

表情获取模块，适于基于情感标签与各主题中的表情的对应关系，分别获取所述情感标签的各主题的表情；

展示模块，适于将所述各主题的表情进行排序，并作为候选项在客户端进行展示。

12.如权利要求11所述的方法，其特征在于，还包括关系构建模块，适于根据收集的语聊资源数据和各主题的表情资源数据构建所述情感标签与各主题的表情之间的对应关系；

或者根据所述情感标签的近义词和所述近义词分别在各主题对应的表情构建所述情感标签与各主题的表情之间的对应关系。

13.如权利要求12所述的装置，其特征在于，所述关系构建模块包括：

资源获取模块，适于获取语聊资源数据和各主题的表情资源数据；所述语聊资源数据包括第二表情及其对应的文本内容；

第一构建模块，适于结合所述语聊资源数据包括的对应第二表情的文本内容，对所述各主题的表情资源数据中的每个第一表情分别进行分类，基于所述分类后的第一表情构建情感标签与每个主题的各种表情之间的对应关系。

14.如权利要求11所述的装置，其特征在于，还包括人脸表情识别模型构建模块，所述人脸表情识别模型构建模块具体包括：

图片获取模块，适于针对每种表情类别，以所述表情类别下对应的情感标签检索各人脸表情图片；

表情特征提取模块，适于针对每张人脸表情图片，提取人脸表情特征；

模型训练模块，适于以各人脸表情特征和对应的表情类别训练人脸表情识别模型。

15.如权利要求11所述的装置，其特征在于，所述展示模块包括：

排序模块，适于针对每个表情类别的各第一表情，根据所述第一表情在语聊资源数据中的出现次数和/或用户的个性化信息对相应候选项进行排序。