CN107609458A - 基于人脸表情识别的情绪反馈方法及装置 - Google Patents

Abstract

本发明公开了一种基于人脸表情识别的情绪反馈方法及装置，其中，上述情绪反馈方法包括：获取人脸图像；对获取的所述人脸图像进行M个维度的人脸表情识别，获得各个维度对应的表情分值，其中，每个维度对应一类表情，所述M大于或等于2的自然数；综合获得的所述各个维度的表情分值确定一情绪分值；输出所述情绪分值。本发明提供的技术方案能够更真实地反馈人脸图像中的人物情绪。

Description

基于人脸表情识别的情绪反馈方法及装置

技术领域

本发明涉及人脸识别技术领域，具体涉及一种基于人脸表情识别的情绪反馈方法及装置。

背景技术

员工的工作情绪对企业来说是一种资本，同其它资本一样，对企业发展起着至关重要的作用，因此，企业管理者需要善于洞察员工消极抱怨、愤怒压抑等不良情绪。

目前存在的人脸识别系统能够识别出人脸表情所属的类别(例如：高兴、惊讶、愤怒、恐惧、厌恶和悲伤等)，企业管理者可以通过该人脸识别系统捕捉员工某一时刻的图像来检测该员工表情，进而获知该员工的情绪，然而，人脸的表情是复杂多变的，同一表情中可能夹杂着多种情感，上述人脸识别系统只能单一地区分出人脸表情，难以为企业管理者把握员工的情绪提供有效的帮助。

发明内容

本发明提供一种基于人脸表情识别的情绪反馈方法及装置，用于更真实地反馈人脸图像中的人物情绪。

本发明一方面提供一种基于人脸表情识别的情绪反馈方法，包括：

获取人脸图像；

对获取的上述人脸图像进行M个维度的人脸表情识别，获得各个维度对应的表情分值，其中，每个维度对应一类表情，上述M大于或等于2的自然数；

综合获得的上述各个维度的表情分值确定一情绪分值；

输出上述情绪分值。

基于上述第一方面，在第一种可能的实现方式中，所述综合获得的所述各个维度的表情分值确定一情绪分值，包括：

根据获得的各个维度的表情分值以及预设的各个维度的权值，对所述各个维度的表情分值进行加权求和；

将加权求和的结果确定为情绪分值。

基于上述第一方面，在第二种可能的实现方式中，所述综合获得的所述各个维度的表情分值确定一情绪分值，具体为：

根据获得的各个维度的表情分值，从预设的回归模型获取与所述各个维度的表情分值的组合对应的情绪分值；

其中，所述回归模型包含：所述M个维度的各种可能的表情分值组合与情绪分值的对应关系信息。

基于上述第一方面，或者上述第一方面的第一种可能的实现方式，或者上述第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述综合获得的所述各个维度的表情分值确定一情绪分值，之后还包括：

根据所述情绪分值，查找预设的与所述情绪分值对应的情绪评价信息；

输出查找到的与所述情绪分值对应的情绪评价信息。

基于上述第一方面，或者上述第一方面的第一种可能的实现方式，或者上述第一方面的第二种可能的实现方式，在第四种可能的实现方式中，所述综合获得的所述各个维度的表情分值确定一情绪分值，之后还包括：

为所述人脸图像的对象分配与所述情绪分值关联的一个或两个以上任务。

本发明第二方面提供一种基于人脸表情识别的情绪反馈装置，包括：

获取单元，用于获取人脸图像；

人脸表情识别单元，用于对上述获取单元获取的上述人脸图像进行M个维度的人脸表情识别，获得各个维度对应的表情分值，其中，每个维度对应一类表情，上述M大于或等于2的自然数；

确定单元，用于综合获得的上述各个维度的表情分值确定一情绪分值；

输出单元，用于输出上述确定单元确定的上述情绪分值。

基于本发明第二方面，在第一种可能的实现方式中，所述确定单元包括：

计算单元，用于根据所述人脸表情识别单元获得的各个维度的表情分值以及预设的各个维度的权值，对所述各个维度的表情分值进行加权求和；

子确定单元，用于将所述计算单元加权求和的结果确定为情绪分值。

基于本发明第二方面，在第二种可能的实现方式中，所述确定单元具体用于：根据获得的各个维度的表情分值，从预设的回归模型获取与所述各个维度的表情分值的组合对应的情绪分值；

其中，所述回归模型包含：所述M个维度的各种可能的表情分值组合与情绪分值的对应关系信息。

基于本发明第二方面，或者本发明第二方面的第一种可能的实现方式，或者本发明第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述情绪反馈装置还包括：

查找单元，用于根据所述确定单元确定的情绪分值，查找预设的与所述情绪分值对应的情绪评价信息；

所述输出单元还用于：输出查找到的与所述情绪分值对应的情绪评价信息。

基于本发明第二方面，或者本发明第二方面的第一种可能的实现方式，或者本发明第二方面的第二种可能的实现方式，在第四种可能的实现方式中，所述情绪反馈装置还包括：

任务分配单元，用于为所述人脸图像的对象分配与所述确定单元确定的情绪分值关联的一个或两个以上任务。

由上可见，本发明中通过对获取到的人脸图像进行M个维度的人脸表情识别，并基于人脸表示识别获得的各个维度对应的表情分值确定出情绪分值后输出，由于情绪分值的确定是由M个维度的表情分值综合得到，而每个维度对应一类表情，因此，通过该情绪分值能够更真实地反馈人脸图像中的人物情绪。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于人脸表情识别的情绪反馈方法一个实施例流程示意图；

图2为本发明提供的一种基于人脸表情识别的情绪反馈装置一个实施例结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例提供一种基于人脸表情识别的情绪反馈方法，请参阅图1，本发明实施例中的情绪反馈方法，包括：

步骤101、获取人脸图像；

本发明实施例中，人脸图像是指包含人脸的图像。

具体的，在步骤101中，可以获取拍摄用户的人脸图像，例如周期性或者实时或者等待预设事件发生时(预设事件例如可以是接收到触发图1所示实施例的方法流程的指令)通过摄像头对用户人脸进行拍摄，以此获取人脸图像。或者，也可以从图像库中获取已存储的人脸图像，此处不作限定。

步骤102、对获取的上述人脸图像进行M个维度的人脸表情识别，获得各个维度对应的表情分值；

本发明实施例中，上述M大于或等于2的自然数，具体的，M的取值可以根据实际需求进行设定。上述M个维度中的每个维度对应一类表情(例如高兴、惊讶、愤怒、恐惧、厌恶和悲伤等)。

在步骤102中，对步骤101获取的人脸图像进行M个维度的人脸表情识别，以便根据识别的结果获得上述M个维度中各个维度对应的表情分值。

具体的，在一种应用场景中，可通过识别人脸图像中的人脸是否包含上述M个维度所对应的各个表情来获得相应维度对应的表情分值，举例说明，设定M个维度中的各个维度对应的表情分值包含0和1两种，其中，对于表情分值为0的维度，表明识别到人脸图像中的人脸不包含该维度对应的表情，对于表情分值为1的维度，表明识别到人脸图像中的人脸包含该维度对应的表情，由此通过对步骤101获取的人脸图像进行M个维度的人脸表情识别，即可获得各个维度对应的表情分值。进一步以M为2为例进行说明，设定第一维度和第二维度分别对应高兴的表情和悲伤的表情，在步骤102中对步骤101获取的人脸图像进行第一维度和第二维度的人脸表情识别，当步骤102识别出人脸图像中包含高兴的表情时，将第一维度对应的表情分值设为1，当步骤102识别出人脸图像中未包含高兴的表情时，将第一维度对应的表情分值设为0，同理，当步骤102识别出人脸图像中包含悲伤的表情时，将第二维度对应的表情分值设为1，当步骤102识别出人脸图像中未包含悲伤的表情时，将第一维度对应的表情分值设为0。

或者，在另一种应用场景中，可通过识别人脸图像中的人脸包含各个表情(即上述M个维度分别对应的表情)的明显程度来获得相应维度的表情分值。举例说明，设定M个维度中的各个维度对应的表情分值的在一定的取值范围内，并设定各维度对应的表情分值与人脸图像中的人脸包含相应表情的明显程度成正相关，也即在设定分取值范围内，当人脸图像中的人脸包含某一维度所对应的表情越明显，该维度对应的表情分值也越大。在步骤102中，对步骤101获取的人脸图像进行各个维度的人脸表情识别，根据识别出的人脸图像中包含的各类表情(即上述M个维度分别对应的表情)的明显程度，即可确定出各个维度对应的表情分值。进一步以M为2，表情分值的取值范围为0到1为例进行说明，设定第一维度和第二维度分别对应高兴的表情和悲伤的表情，在步骤102中对步骤101获取的人脸图像进行第一维度和第二维度的人脸表情识别，根据步骤102识别出人脸图像中包含高兴的明显程度，确定第一维度对应的表情分值的取值(取值大于等于0且小于等于1)，同理，根据步骤102识别出人脸图像中包含悲伤的明显程度，确定第二维度对应的表情分值的取值(取值大于等于0且小于等于1)。

具体的，步骤102中对人脸图像进行人脸表情识别过程中所采用的人脸表情识别算法可以参照已有技术实现，此处不再赘述。

步骤103、综合获得的上述各个维度的表情分值确定一情绪分值；

本发明实施例中，将步骤102获得的各个维度对应的表情分值作为确定情绪分值的输入参数来进行情绪分值的确定。

具体的，在一种应用场景中，为每个维度分别设定相应的权值，在获得M个维度的表情分后，将M个维度的表情分加权求和得到工作分。则步骤103具体包括：根据步骤102获得的各个维度的表情分值以及预设的各个维度的权值，对上述各个维度的表情分值进行加权求和；将加权求和的结果确定为情绪分值。

或者，在另一种应用场景中，预先为可能存在的M个维度的表情分的组合设定对应的工作分(即建立回归模型)，在获得M个维度的表情分后，将M个维度的表情分作为组合输入，回归得到情绪分值。则步骤103具体表现为：根据步骤102获得的各个维度的表情分值，从预设的回归模型获取与上述各个维度的表情分值的组合对应的情绪分值，其中，上述回归模型包含：上述M个维度的各种可能的表情分值组合与情绪分值的对应关系信息，以便根据步骤102获得的M个维度的表情分值的组合，即可从该对应关系信息中找到相应的情绪分值。

步骤104、输出上述情绪分值；

在步骤103确定出情绪分值后，输出该情绪分值，以便相关人员可以获知该情绪分值并可基于该情绪分值了解上述人脸图像的对象(即上述人脸图像中的人物)的情绪。

在一种应用场景中，可以预先分析各种可能的情绪分值以及情绪分值所对应的情绪评价信息，并记录下各种可能的情绪分值以及情绪分值所对应的情绪评价信息，以便相关人员可以根据输出的上述情绪分值查阅该情绪分值所对应的情绪评价信息，以此了解上述人脸图像的对象的情绪。

或者，在另一种应用场景中，在获得上述情绪分值之后，也可以由情绪反馈装置根据获得的情绪分值自动查找预设的与该情绪分值对应的情绪评价信息，并输出查找到的与该情绪分值对应的情绪评价信息(可以在步骤104输出上述情绪分值的同时输出该情绪分值对应的情绪评价信息，或者，也可以在步骤103之后的某一时刻输出该情绪分值对应的情绪评价信息)。

进一步，还可以基于步骤103确定的情绪分值安排任务，以达到提高工作效率或缓解对象情绪的目的。具体的，可预先设定多种任务(任务安排或者任务模块(该任务模块用于完成指定的任务))，并依据情绪分值所反映的情绪为各种情绪分值关联一个或两个以上任务，则在步骤103确定情绪分值之后，为上述人脸图像的对象分配与上述情绪分值关联的一个或两个以上任务。

需要说明的是，本发明实施例中的情绪反馈方法具体可以由情绪反馈装置实现，该情绪反馈装置可以集成在智能终端中。上述智能终端具体可以为智能手机、平板电脑、监视终端或其它电子终端，此处不作限定。

由上可见，本发明中通过对获取到的人脸图像进行M个维度的人脸表情识别，并基于人脸表示识别获得的各个维度对应的表情分值确定出情绪分值后输出，由于情绪分值的确定是由M个维度的表情分值综合得到，而每个维度对应一类表情，因此，通过该情绪分值能够更真实地反馈人脸图像中的人物情绪。

实施例二

本发明实施例提供一种基于人脸表情识别的情绪反馈装置。请参阅图2，本发明实施例中的情绪反馈装置200，包括：

获取单元201，用于获取人脸图像；

人脸表情识别单元202，用于对获取单元201获取的上述人脸图像进行M个维度的人脸表情识别，获得各个维度对应的表情分值，其中，每个维度对应一类表情，上述M大于或等于2的自然数；

确定单元203，用于综合获得的上述各个维度的表情分值确定一情绪分值；

输出单元204，用于输出确定单元203确定的上述情绪分值。

可选的，确定单元203包括：

计算单元，用于根据人脸表情识别单元202获得的各个维度的表情分值以及预设的各个维度的权值，对上述各个维度的表情分值进行加权求和；

子确定单元，用于将上述计算单元加权求和的结果确定为情绪分值。

可选的，确定单元203具体用于：根据获得的各个维度的表情分值，从预设的回归模型获取与上述各个维度的表情分值的组合对应的情绪分值；其中，上述回归模型包含：上述M个维度的各种可能的表情分值组合与情绪分值的对应关系信息。

可选的，本发明实施例中的情绪反馈装置还包括：查找单元，用于根据确定单元203确定的情绪分值，查找预设的与上述情绪分值对应的情绪评价信息；输出单元204还用于：输出查找到的与上述情绪分值对应的情绪评价信息。

可选的，本发明实施例中的上述情绪反馈装置还包括：任务分配单元，用于为上述人脸图像的对象分配与确定单元203确定的情绪分值关联的一个或两个以上任务。

需要说明的是，本发明实施例中的情绪反馈装置可以集成在智能终端中。上述智能终端具体可以为智能手机、平板电脑、监视终端或其它电子终端，此处不作限定。

应理解，本发明实施例中的情绪反馈装置的各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述方法实施例中的相关描述，此处不再赘述。

由上可见，本发明中通过对获取到的人脸图像进行M个维度的人脸表情识别，并基于人脸表示识别获得的各个维度对应的表情分值确定出情绪分值后输出，由于情绪分值的确定是由M个维度的表情分值综合得到，而每个维度对应一类表情，因此，通过该情绪分值能够更真实地反馈人脸图像中的人物情绪。

需要说明的是，在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的一种基于人脸表情识别的情绪反馈方法及装置的描述，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于人脸表情识别的情绪反馈方法，其特征在于，包括：

获取人脸图像；

对获取的所述人脸图像进行M个维度的人脸表情识别，获得各个维度对应的表情分值，其中，每个维度对应一类表情，所述M大于或等于2的自然数；

综合获得的所述各个维度的表情分值确定一情绪分值；

输出所述情绪分值。

2.根据权利要求1所述的方法，其特征在于，所述综合获得的所述各个维度的表情分值确定一情绪分值，包括：

根据获得的各个维度的表情分值以及预设的各个维度的权值，对所述各个维度的表情分值进行加权求和；

将加权求和的结果确定为情绪分值。

3.根据权利要求1所述的方法，其特征在于，所述综合获得的所述各个维度的表情分值确定一情绪分值，具体为：

根据获得的各个维度的表情分值，从预设的回归模型获取与所述各个维度的表情分值的组合对应的情绪分值；

其中，所述回归模型包含：所述M个维度的各种可能的表情分值组合与情绪分值的对应关系信息。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述综合获得的所述各个维度的表情分值确定一情绪分值，之后还包括：

根据所述情绪分值，查找预设的与所述情绪分值对应的情绪评价信息；

输出查找到的与所述情绪分值对应的情绪评价信息。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述综合获得的所述各个维度的表情分值确定一情绪分值，之后还包括：

为所述人脸图像的对象分配与所述情绪分值关联的一个或两个以上任务。

6.一种基于人脸表情识别的情绪反馈装置，其特征在于，包括：

获取单元，用于获取人脸图像；

人脸表情识别单元，用于对所述获取单元获取的所述人脸图像进行M个维度的人脸表情识别，获得各个维度对应的表情分值，其中，每个维度对应一类表情，所述M大于或等于2的自然数；

确定单元，用于综合获得的所述各个维度的表情分值确定一情绪分值；

输出单元，用于输出所述确定单元确定的所述情绪分值。

7.根据权利要求6所述的情绪反馈装置，其特征在于，所述确定单元包括：

计算单元，用于根据所述人脸表情识别单元获得的各个维度的表情分值以及预设的各个维度的权值，对所述各个维度的表情分值进行加权求和；

子确定单元，用于将所述计算单元加权求和的结果确定为情绪分值。

8.根据权利要求6所述的情绪反馈装置，其特征在于，所述确定单元具体用于：根据获得的各个维度的表情分值，从预设的回归模型获取与所述各个维度的表情分值的组合对应的情绪分值；

其中，所述回归模型包含：所述M个维度的各种可能的表情分值组合与情绪分值的对应关系信息。

9.根据权利要求6至8任一项所述的情绪反馈装置，其特征在于，所述情绪反馈装置还包括：

查找单元，用于根据所述确定单元确定的情绪分值，查找预设的与所述情绪分值对应的情绪评价信息；

所述输出单元还用于：输出查找到的与所述情绪分值对应的情绪评价信息。

10.根据权利要求6至8任一项所述的情绪反馈装置，其特征在于，所述情绪反馈装置还包括：

任务分配单元，用于为所述人脸图像的对象分配与所述确定单元确定的情绪分值关联的一个或两个以上任务。