CN109919006A - 表情检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

一种表情检测方法，所述方法包括：监控服务用户与客户的产品沟通过程，获得沟通视频；从所述沟通视频中，提取所述客户的语音信息；判断所述语音信息中是否存在预设的关键词；若所述语音信息中不存在预设的关键词，则从所述沟通视频中获取所述客户的表情信息，对所述表情信息进行识别，并提取表情特征；使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。本发明还提供一种表情检测装置、电子设备及存储介质。本发明能提高对客户产品购买意向判断的准确率。

Description

表情检测方法、装置、电子设备及存储介质

技术领域

本发明涉及智能终端技术领域，尤其涉及一种表情检测方法、装置、电子设备及存储介质。

背景技术

随着经济水平的日益提高，人们的购买意识越来越强烈。随处可见销售人员与顾客在沟通产品，通常，销售人员会采用各种沟通技巧和营销策略来与顾客沟通，最终的目的是想顾客购买产品。

目前，销售人员在与顾客沟通产品的过程中，销售人员通常是通过观察顾客的言行举止来判断顾客是否具有购买产品的意向，如果顾客具有购买产品的意向，销售人员会做进一步地推荐，如果顾客不具有购买产品的意向，销售人员往往会选择适当放弃，以免浪费时间。然而，对顾客是否具有购买产品的意向通常是有销售人员个人的销售经验以及个人情商决定的，而这些因素往往是因人而异的。如果销售人员没有经验，或者销售人员个人的情商较低，则对顾客的产品购买意向的判断会出现偏差，从而失去潜在的顾客。

发明内容

鉴于以上内容，有必要提供一种表情检测方法、装置、电子设备及存储介质，能够提高对客户产品购买意向判断的准确率。

本发明的第一方面提供一种表情检测方法，所述方法包括：

监控服务用户与客户的产品沟通过程，获得沟通视频；

从所述沟通视频中，提取所述客户的语音信息；

判断所述语音信息中是否存在预设的关键词；

若所述语音信息中不存在预设的关键词，则从所述沟通视频中获取所述客户的表情信息，对所述表情信息进行识别，并提取表情特征；

使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。

在一种可能的实现方式中，所述监控服务用户与客户的产品沟通过程，获得沟通视频之前，所述方法还包括：

获取需要进行表情训练的多个正向表情人脸图像以及多个负向表情人脸图像；

提取多个所述正向表情人脸图像的正向表情特征，以及提取多个所述负向表情人脸图像的负向表情特征；

对多个所述正向表情特征以及多个所述负向表情特征进行训练，获得表情模型。

在一种可能的实现方式中，所述方法还包括：

使用第一标识对所述正向表情特征进行标记；

使用第二标识对所述负向表情特征进行标记；

所述对多个所述正向表情特征以及多个所述负向表情特征进行训练，获得表情模型包括：

对标记后的多个所述正向表情特征以及标记后的多个所述负向表情特征进行训练，获得表情模型。

在一种可能的实现方式中，所述使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测包括：

使用预先训练好的表情模型，对所述表情特征进行分类，获得分类结果；

若所述分类结果为所述第一标识，确定所述客户的表情分值；

判断所述表情分值是否大于预设阈值；

若所述表情分值大于预设阈值，则确定所述客户具有购买产品的意向。

在一种可能的实现方式中，所述确定所述客户的表情分值包括：

从所述表情信息中，确定所述客户的人脸的器官以及每个所述器官在物理上的几何属性；

将所有所述器官的几何属性进行加权，获得加权分值；

将所述加权分值确定为所述客户的表情分值。

在一种可能的实现方式中，所述使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测包括：

使用预先训练好的表情模型，对所述表情特征进行分类，获得分类结果；

若所述分类结果为所述第二标识，则确定所述客户不具有购买产品的意向。

在一种可能的实现方式中，所述方法还包括：

输出所述客户的产品购买意向的检测结果；

根据所述检测结果以及所述客户的属性，向所述服务用户推荐营销策略。

本发明的第二方面提供一种表情检测装置，所述装置包括：

监控模块，用于监控服务用户与客户的产品沟通过程，获得沟通视频；

提取模块，用于从所述沟通视频中，提取所述客户的语音信息；

判断模块，用于判断所述语音信息中是否存在预设的关键词；

获取模块，用于若所述语音信息中不存在预设的关键词，则从所述沟通视频中获取所述客户的表情信息；

所述提取模块，还用于对所述表情信息进行识别，并提取表情特征；

检测模块，用于使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。

本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的表情检测方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的表情检测方法。

由以上技术方案，本发明中，可以监控服务用户与客户的产品沟通过程，获得沟通视频，进一步地，可以从所述沟通视频中，提取所述客户的语音信息，并判断所述语音信息中是否存在预设的关键词，若所述语音信息中不存在预设的关键词，则从所述沟通视频中获取所述客户的表情信息，对所述表情信息进行识别，并提取表情特征，更进一步地，可以使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。可见，本发明中，在客户的语音信息不存在预设的关键词的情况下，还可以结合客户的表情信息，通过对客户的表情信息进行分析，提取表情特征，来对客户的产品购买意向进行判断，从而能够提高对客户产品购买意向判断的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明公开的一种表情检测方法的较佳实施例的流程图。

图2是本发明公开的一种表情检测装置的较佳实施例的功能模块图。

图3是本发明实现表情检测方法的较佳实施例的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例的表情检测方法应用在电子设备中，也可以应用在电子设备和通过网络与所述电子设备进行连接的服务器所构成的硬件环境中，由服务器和电子设备共同执行。网络包括但不限于：广域网、城域网或局域网。

所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述电子设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、交互式网络电视(Internet ProtocolTelevision，IPTV)、智能式穿戴式设备等。

请参见图1，图1是本发明公开的一种表情检测方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S11、电子设备监控服务用户与客户的产品沟通过程，获得沟通视频。

其中，服务用户主要指提供服务的一方，比如提供产品介绍的销售人员、销售经理，客户主要指享受服务的一方，比如咨询产品的用户，购买产品的用户。其中，该产品可以包括但不限于银行内的产品，比如理财产品、贷款产品以及保险产品等。

当客户需要咨询或想要购买某种产品时，该客户可以与服务用户进行沟通。在服务用户与客户的沟通过程中，可以通过电子设备内置的摄像头或外部设备的摄像头(如监控设备的摄像头)来对服务用户与客户的产品沟通过程进行监控，获得沟通视频。

其中，该沟通视频既可以包括所述客户的语音信息，还可以包括所述客户的表情信息。

S12、电子设备从所述沟通视频中，提取所述客户的语音信息。

其中，预设的关键词可以为预先设置的，用于衡量客户具有购买产品意向的词语，比如：产品不错，功能很完善，体验不错，风险很低，利率比较高。

本发明实施例中，通常，客户在咨询产品时，如果对产品比较满意，客户会表达一些对产品表示赞美的语音信息，这些语音信息可以提示客户具有购买产品的意向。而有些客户在咨询产品时，表现的比较保守，即使所述客户有购买产品的意向，但是所述客户也不会表达任何有关购买产品的语音提示信息，因而，电子设备从所述客户的语音信息中也无法判断所述客户是否具有购买产品的意向。

S13、电子设备判断所述语音信息中是否存在预设的关键词，若不存在，则执行步骤S14，若存在，结束本流程。

本发明实施例中，当电子设备获得沟通视频后，可以从所述沟通视频中，提取所述客户的语音信息，并判断所述语音信息中是否存在预设的关键词。如果所述语音信息中不存在预设的关键词，表明所述客户属于比较保守的客户，此时，还需要对所述客户进一步判断。

可选的，如果所述语音信息中存在预设的关键词，表明所述客户具有购买产品的意向。

S14、电子设备从所述沟通视频中获取所述客户的表情信息，对所述表情信息进行识别，并提取表情特征。

本发明实施例中，如果所述语音信息中不存在预设的关键词，表明所述客户属于比较保守的客户，电子设备还需要从所述沟通视频中获取所述客户的表情信息，通过对所述表情信息进行识别，并提取表情特征，以对所述客户的产品购买意向做进一步地判断。

其中，面部表情是面部肌肉的一个或多个动作或状态的结果。这些运动表达了个体对观察者的情绪状态。面部表情是非语言交际的一种形式。它是表达人类之间的社会信息的主要手段，不过也发生在大多数其他哺乳动物和其他一些动物物种中。

人类的面部表情至少有21种，除了常见的高兴、吃惊、悲伤、愤怒、厌恶和恐惧6种，还有惊喜(高兴+吃惊)、悲愤(悲伤+愤怒)等15种可被区分的复合表情。

其中，不同的表情所对应的面部变化是不同的，主要是眉毛、眼睛、眼睑以及嘴唇等是如何变化的。

如下为表情脸的运动特质的具体表现：

其中，表情识别可以分为四个阶段：人脸图像的获取与预处理、人脸检测、表情特征提取和表情分类。其中，表情识别可以忽略个体差异，提取人脸在不同表情模式下的差异特征，而人体个体差异成为干扰信号。

其中，表情识别特征提取需要对人脸的器官特征、纹理区域和预定义的特征点进行定位和提取。从脸部信息中提取能够对表情进行分类的特征信息。常见的提取方法包括：基于统计的方法、基于集合特征的方法、基于模型的方法、基于神经网络的方法。

S15、电子设备使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。

在获得所述客户的表情特征之后，可以将所述表情特征送入预先训练好的表情模型，通过该表情模型，可以对所述客户的产品购买意向进行检测。

作为一种可选的实施方式，步骤S11监控服务用户与客户的产品沟通过程，获得沟通视频之前，所述方法还包括以下步骤：

11)获取需要进行表情训练的多个正向表情人脸图像以及多个负向表情人脸图像；

12)提取多个所述正向表情人脸图像的正向表情特征，以及提取多个所述负向表情人脸图像的负向表情特征；

13)对多个所述正向表情特征以及多个所述负向表情特征进行训练，获得表情模型。

在该可选的实施方式中，正向表情比如高兴、惊喜、喜悦等，负向表情比如悲伤、愤怒、恐怖等，正向表情人脸图像为携带有正向表情的人脸图像，负向表情人脸图像为携带有负向表情的人脸图像。

其中，获得的表情模型可以对客户的正向表情和负向表情进行分类。

可选的，在获取到需要进行表情训练的多个正向表情人脸图像以及多个负向表情人脸图像之后，为了消除光照和噪声对所述多个正向表情人脸图像以及多个负向表情人脸图像的影响，电子设备还可以对所述多个正向表情人脸图像进行归一化处理、池化处理等，以去除冗余信息进一步提取正向表情特征，同时，电子设备还可以对所述多个负向表情人脸图像进行归一化处理、池化处理等，以去除冗余信息进一步提取负向表情特征。

作为一种可选的实施方式，所述方法还包括以下步骤：

21)使用第一标识对所述正向表情特征进行标记；

22)使用第二标识对所述负向表情特征进行标记；

步骤13)对多个所述正向表情特征以及多个所述负向表情特征进行训练，获得表情模型包括：

对标记后的多个所述正向表情特征以及标记后的多个所述负向表情特征进行训练，获得表情模型。

其中，所述第一标识用于表明所述客户的表情为正向表情，所述第二标识用于表明所述客户的表情为负向表情。

作为一种可选的实施方式，步骤S15使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测包括：

使用预先训练好的表情模型，对所述表情特征进行分类，获得分类结果；

若所述分类结果为所述第一标识，确定所述客户的表情分值；

判断所述表情分值是否大于预设阈值；

若所述表情分值大于预设阈值，则确定所述客户具有购买产品的意向。

其中，若所述分类结果为第一标识，表明所述客户的表情为正向表情，可以根据正向表情在人脸上的几何属性来确定正向表情的表情分值。

其中，针对具有正向表情的客户，所述客户的产品购买意向可以用表情分值来体现。通常，正向表情的表情分值越高，代表所述客户的购买意愿就越强烈，反之，正向表情的表情分值越低，代表所述客户的购买意愿就越弱。

其中，可以从六个维度对客户的表情进行打分，比如微笑的表情：高兴(95分)、厌恶(0分)、愤怒(0分)、恐惧(0分)、悲伤(0分)、惊讶(5分)，并按照预设的权重来对这六个维度进行加权，获得最终分值，该最终分值即为所述客户的表情分值。

此外，还可以根据表情在人脸上各器官的几何属性来确定所述客户的表情分值。

作为一种可选的实施方式，所述确定所述客户的表情分值包括：

从所述表情信息中，确定所述客户的人脸的器官以及每个所述器官在物理上的几何属性；

将所有所述器官的几何属性进行加权，获得加权分值；

将所述加权分值确定为所述客户的表情分值。

其中，器官可以包括所述客户的眉毛、眼睛、眼睑、鼻子以及嘴唇，器官的物理属性主要是器官在物理上的形态变化，如抬起的高度弯度，眼睛睁大的程度，上下嘴唇张开的大小等。可以预先设置每个器官对应的加权系数，比如眉毛占30％，眼睛占30％，眼睑占20％，鼻子占10％以及嘴唇占10％等。比如微笑的表情：眉毛(3分)、眼睛(1分)、眼睑(2分)、鼻子(1分)以及嘴唇(3分)，将各个器官的分值以及加权系数进行加权，就可以获得加权分值，即3*30％+1*30％+2*20％+1*10％+3*10％＝2。

作为一种可选的实施方式，步骤S15使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测包括：

使用预先训练好的表情模型，对所述表情特征进行分类，获得分类结果；

若所述分类结果为所述第二标识，则确定所述客户不具有购买产品的意向。

在该可选的实施方式中，若所述分类结果为第二标识，表明所述客户的表情为负向表情，通常，具有负向表情的客户对产品具有某种程度的偏见，该客户不具有购买产品的意向。

作为一种可选的实施方式，所述方法还包括以下步骤：

31)输出所述客户的产品购买意向的检测结果；

32)根据所述检测结果以及所述客户的属性，向所述服务用户推荐营销策略。

其中，所述检测结果包括所述客户具有购买产品的意向或所述客户不具有购买产品的意向。所述客户的属性包括新客户或老客户。

如果所述检测结果表明所述客户具有购买产品的意向，且所述客户为新客户，电子设备可以向服务用户推荐第一营销策略；如果所述检测结果表明所述客户具有购买产品的意向，且所述客户为老客户，电子设备可以向服务用户推荐第二营销策略。如果所述检测结果表明所述客户不具有购买产品的意向，且所述客户为新客户，电子设备可以向服务用户推荐第三营销策略；如果所述检测结果表明所述客户不具有购买产品的意向，且所述客户为老客户，电子设备可以向服务用户推荐第四营销策略。

举例来说，针对具有购买产品的意向的客户，无论是新客户还是老客户，均可以在产品价格上设置一些优惠，此外，如果是老客户，还可以在购买产品的基础上，在赠送些附加产品。

针对不具有购买产品的意向的客户，如果是新客户，可以尽量从客户的个人需要出发来设置营销策略，如果是老客户，可以向老客户分析历史中购买的产品与现在的新产品之间的区别，以及新产品能够为老客户解决的实际问题。

可选的，营销策略还可以根据所述客户在沟通过程中的语音信息以及表情信息做适当调整。比如：所述客户对产品的某个功能咨询的比较多，后续推荐的营销策略可以重点针对该产品的某个功能进行展开。又比如，所述客户在谈论产品的某个功能时的表情不同于其他功能时的表情，则后续推荐的营销策略可以重点针对该产品的某个功能进行展开。

本发明实施例中，电子设备根据检测结果以及所述客户的属性，向所述服务用户推荐营销策略，有助于没有销售经验的服务用户，能够根据推荐的营销策略来更好地进行推销产品，提高产品推销的成功率。

在图1所描述的方法流程中，可以监控服务用户与客户的产品沟通过程，获得沟通视频，进一步地，可以从所述沟通视频中，提取所述客户的语音信息，并判断所述语音信息中是否存在预设的关键词，若所述语音信息中不存在预设的关键词，则从所述沟通视频中获取所述客户的表情信息，对所述表情信息进行识别，并提取表情特征，更进一步地，可以使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。可见，本发明中，在客户的语音信息不存在预设的关键词的情况下，还可以结合客户的表情信息，通过对客户的表情信息进行分析，提取表情特征，来对客户的产品购买意向进行判断，从而能够提高对客户产品购买意向判断的准确率。

以上所述，仅是本发明的具体实施方式，但本发明的保护范围并不局限于此，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。

请参见图2，图2是本发明公开的一种表情检测装置的较佳实施例的功能模块图。

在一些实施例中，所述表情检测装置运行于电子设备中。所述表情检测装置可以包括多个由程序代码段所组成的功能模块。所述表情检测装置中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的表情检测方法中的部分或全部步骤。

本实施例中，所述表情检测装置根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：监控模块201、提取模块202、判断模块203、获取模块204及检测模块205。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在一些实施例中，关于各模块的功能将在后续的实施例中详述。

监控模块201，用于监控服务用户与客户的产品沟通过程，获得沟通视频；

其中，服务用户主要指提供服务的一方，比如提供产品介绍的销售人员、销售经理，客户主要指享受服务的一方，比如咨询产品的用户，购买产品的用户。其中，该产品可以包括但不限于银行内的产品，比如理财产品、贷款产品以及保险产品等。

当客户需要咨询或想要购买某种产品时，该客户可以与服务用户进行沟通。在服务用户与客户的沟通过程中，可以通过电子设备内置的摄像头或外部设备的摄像头(如监控设备的摄像头)来对服务用户与客户的产品沟通过程进行监控，获得沟通视频。

其中，该沟通视频既可以包括所述客户的语音信息，还可以包括所述客户的表情信息。

提取模块202，用于从所述沟通视频中，提取所述客户的语音信息；

其中，预设的关键词可以为预先设置的，用于衡量客户具有购买产品意向的词语，比如：产品不错，功能很完善，体验不错，风险很低，利率比较高。

本发明实施例中，通常，客户在咨询产品时，如果对产品比较满意，客户会表达一些对产品表示赞美的语音信息，这些语音信息可以提示客户具有购买产品的意向。而有些客户在咨询产品时，表现的比较保守，即使所述客户有购买产品的意向，但是所述客户也不会表达任何有关购买产品的语音提示信息，因而，电子设备从所述客户的语音信息中也无法判断所述客户是否具有购买产品的意向。

判断模块203，用于判断所述语音信息中是否存在预设的关键词；

本发明实施例中，当电子设备获得沟通视频后，可以从所述沟通视频中，提取所述客户的语音信息，并判断所述语音信息中是否存在预设的关键词。如果所述语音信息中不存在预设的关键词，表明所述客户属于比较保守的客户，此时，还需要对所述客户进一步判断。

可选的，如果所述语音信息中存在预设的关键词，表明所述客户具有购买产品的意向。

获取模块204，用于若所述语音信息中不存在预设的关键词，则从所述沟通视频中获取所述客户的表情信息；

于比较保守的客户，电子设备还需要从所述沟通视频中获取所述客户的表情信息，通过对所述表情信息进行识别，并提取表情特征，以对所述客户的产品购买意向做进一步地判断。

其中，面部表情是面部肌肉的一个或多个动作或状态的结果。这些运动表达了个体对观察者的情绪状态。面部表情是非语言交际的一种形式。它是表达人类之间的社会信息的主要手段，不过也发生在大多数其他哺乳动物和其他一些动物物种中。

人类的面部表情至少有21种，除了常见的高兴、吃惊、悲伤、愤怒、厌恶和恐惧6种，还有惊喜(高兴+吃惊)、悲愤(悲伤+愤怒)等15种可被区分的复合表情。

其中，不同的表情所对应的面部变化是不同的，主要是眉毛、眼睛、眼睑以及嘴唇等是如何变化的。

所述提取模块202，还用于对所述表情信息进行识别，并提取表情特征；

其中，表情识别可以分为四个阶段：人脸图像的获取与预处理、人脸检测、表情特征提取和表情分类。其中，表情识别可以忽略个体差异，提取人脸在不同表情模式下的差异特征，而人体个体差异成为干扰信号。

其中，表情识别特征提取需要对人脸的器官特征、纹理区域和预定义的特征点进行定位和提取。从脸部信息中提取能够对表情进行分类的特征信息。常见的提取方法包括：基于统计的方法、基于集合特征的方法、基于模型的方法、基于神经网络的方法。

检测模块205，用于使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。

在获得所述客户的表情特征之后，可以将所述表情特征送入预先训练好的表情模型，通过该表情模型，可以对所述客户的产品购买意向进行检测。

作为一种可选的实施方式，所述获取模块204，还用于在所述监控模块监控服务用户与客户的产品沟通过程，获得沟通视频之前，获取需要进行表情训练的多个正向表情人脸图像以及多个负向表情人脸图像；

所述提取模块202，还用于提取多个所述正向表情人脸图像的正向表情特征，以及提取多个所述负向表情人脸图像的负向表情特征；

所述表情检测装置还包括：

训练模块，用于对多个所述正向表情特征以及多个所述负向表情特征进行训练，获得表情模型。

在该可选的实施方式中，正向表情比如高兴、惊喜、喜悦等，负向表情比如悲伤、愤怒、恐怖等，正向表情人脸图像为携带有正向表情的人脸图像，负向表情人脸图像为携带有负向表情的人脸图像。

其中，获得的表情模型可以对客户的正向表情和负向表情进行分类。

可选的，在获取到需要进行表情训练的多个正向表情人脸图像以及多个负向表情人脸图像之后，为了消除光照和噪声对所述多个正向表情人脸图像以及多个负向表情人脸图像的影响，电子设备还可以对所述多个正向表情人脸图像进行归一化处理、池化处理等，以去除冗余信息进一步提取正向表情特征，同时，电子设备还可以对所述多个负向表情人脸图像进行归一化处理、池化处理等，以去除冗余信息进一步提取负向表情特征。

作为一种可选的实施方式，所述表情检测装置还包括：

标记模块，用于使用第一标识对所述正向表情特征进行标记；

所述标记模块，还用于使用第二标识对所述负向表情特征进行标记；

所述训练模块对多个所述正向表情特征以及多个所述负向表情特征进行训练，获得表情模型包括：

对标记后的多个所述正向表情特征以及标记后的多个所述负向表情特征进行训练，获得表情模型。

其中，所述第一标识用于表明所述客户的表情为正向表情，所述第二标识用于表明所述客户的表情为负向表情。

作为一种可选的实施方式，所述检测模块205使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测包括：

使用预先训练好的表情模型，对所述表情特征进行分类，获得分类结果；

若所述分类结果为所述第一标识，确定所述客户的表情分值；

判断所述表情分值是否大于预设阈值；

若所述表情分值大于预设阈值，则确定所述客户具有购买产品的意向。

其中，若所述分类结果为第一标识，表明所述客户的表情为正向表情，可以根据正向表情在人脸上的几何属性来确定正向表情的表情分值。

其中，针对具有正向表情的客户，所述客户的产品购买意向可以用表情分值来体现。通常，正向表情的表情分值越高，代表所述客户的购买意愿就越强烈，反之，正向表情的表情分值越低，代表所述客户的购买意愿就越弱。

其中，可以从六个维度对客户的表情进行打分，比如微笑的表情：高兴(95分)、厌恶(0分)、愤怒(0分)、恐惧(0分)、悲伤(0分)、惊讶(5分)，并按照预设的权重来对这六个维度进行加权，获得最终分值，该最终分值即为所述客户的表情分值。

此外，还可以根据表情在人脸上各器官的几何属性来确定所述客户的表情分值。

作为一种可选的实施方式，所述确定所述客户的表情分值包括：

从所述表情信息中，确定所述客户的人脸的器官以及每个所述器官在物理上的几何属性；

将所有所述器官的几何属性进行加权，获得加权分值；

将所述加权分值确定为所述客户的表情分值。

其中，器官可以包括所述客户的眉毛、眼睛、眼睑、鼻子以及嘴唇，器官的物理属性主要是器官在物理上的形态变化，如抬起的高度弯度，眼睛睁大的程度，上下嘴唇张开的大小等。可以预先设置每个器官对应的加权系数，比如眉毛占30％，眼睛占30％，眼睑占20％，鼻子占10％以及嘴唇占10％等。比如微笑的表情：眉毛(3分)、眼睛(1分)、眼睑(2分)、鼻子(1分)以及嘴唇(3分)，将各个器官的分值以及加权系数进行加权，就可以获得加权分值，即3*30％+1*30％+2*20％+1*10％+3*10％＝2。

作为一种可选的实施方式，所述检测模块205使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测包括：

使用预先训练好的表情模型，对所述表情特征进行分类，获得分类结果；

若所述分类结果为所述第二标识，则确定所述客户不具有购买产品的意向。

在该可选的实施方式中，若所述分类结果为第二标识，表明所述客户的表情为负向表情，通常，具有负向表情的客户对产品具有某种程度的偏见，该客户不具有购买产品的意向。

作为一种可选的实施方式，所述表情检测装置还包括：

输出模块，用于输出所述客户的产品购买意向的检测结果；

推荐模块，用于根据所述检测结果以及所述客户的属性，向所述服务用户推荐营销策略。

其中，所述检测结果包括所述客户具有购买产品的意向或所述客户不具有购买产品的意向。所述客户的属性包括新客户或老客户。

如果所述检测结果表明所述客户具有购买产品的意向，且所述客户为新客户，电子设备可以向服务用户推荐第一营销策略；如果所述检测结果表明所述客户具有购买产品的意向，且所述客户为老客户，电子设备可以向服务用户推荐第二营销策略。如果所述检测结果表明所述客户不具有购买产品的意向，且所述客户为新客户，电子设备可以向服务用户推荐第三营销策略；如果所述检测结果表明所述客户不具有购买产品的意向，且所述客户为老客户，电子设备可以向服务用户推荐第四营销策略。

举例来说，针对具有购买产品的意向的客户，无论是新客户还是老客户，均可以在产品价格上设置一些优惠，此外，如果是老客户，还可以在购买产品的基础上，在赠送些附加产品。

针对不具有购买产品的意向的客户，如果是新客户，可以尽量从客户的个人需要出发来设置营销策略，如果是老客户，可以向老客户分析历史中购买的产品与现在的新产品之间的区别，以及新产品能够为老客户解决的实际问题。

可选的，营销策略还可以根据所述客户在沟通过程中的语音信息以及表情信息做适当调整。比如：所述客户对产品的某个功能咨询的比较多，后续推荐的营销策略可以重点针对该产品的某个功能进行展开。又比如，所述客户在谈论产品的某个功能时的表情不同于其他功能时的表情，则后续推荐的营销策略可以重点针对该产品的某个功能进行展开。

本发明实施例中，电子设备根据检测结果以及所述客户的属性，向所述服务用户推荐营销策略，有助于没有销售经验的服务用户，能够根据推荐的营销策略来更好地进行推销产品，提高产品推销的成功率。

在图2所描述的表情检测装置中，可以监控服务用户与客户的产品沟通过程，获得沟通视频，进一步地，可以从所述沟通视频中，提取所述客户的语音信息，并判断所述语音信息中是否存在预设的关键词，若所述语音信息中不存在预设的关键词，则从所述沟通视频中获取所述客户的表情信息，对所述表情信息进行识别，并提取表情特征，更进一步地，可以使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。可见，本发明中，在客户的语音信息不存在预设的关键词的情况下，还可以结合客户的表情信息，通过对客户的表情信息进行分析，提取表情特征，来对客户的产品购买意向进行判断，从而能够提高对客户产品购买意向判断的准确率。

如图3所示，图3是本发明实现表情检测方法的较佳实施例的电子设备的结构示意图。所述电子设备3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。

本领域技术人员可以理解，图3所示的示意图仅仅是所述电子设备3的示例，并不构成对所述电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备3还可以包括输入输出设备、网络接入设备等。

所述电子设备3还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(InternetProtocol Television，IPTV)、智能式穿戴式设备等。所述电子设备3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述电子设备3的控制中心，利用各种接口和线路连接整个电子设备3的各个部分。

所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备3的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

结合图1，所述电子设备3中的所述存储器31存储多个指令以实现一种表情检测方法，所述处理器32可执行所述多个指令从而实现：

监控服务用户与客户的产品沟通过程，获得沟通视频；

从所述沟通视频中，提取所述客户的语音信息；

判断所述语音信息中是否存在预设的关键词；

若所述语音信息中不存在预设的关键词，则从所述沟通视频中获取所述客户的表情信息，对所述表情信息进行识别，并提取表情特征；

使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。

在一种可选的实施方式中，所述监控服务用户与客户的产品沟通过程，获得沟通视频之前，所述处理器32可执行所述多个指令从而实现：

获取需要进行表情训练的多个正向表情人脸图像以及多个负向表情人脸图像；

提取多个所述正向表情人脸图像的正向表情特征，以及提取多个所述负向表情人脸图像的负向表情特征；

对多个所述正向表情特征以及多个所述负向表情特征进行训练，获得表情模型。

在一种可选的实施方式中，所述处理器32可执行所述多个指令从而实现：

使用第一标识对所述正向表情特征进行标记；

使用第二标识对所述负向表情特征进行标记；

所述对多个所述正向表情特征以及多个所述负向表情特征进行训练，获得表情模型包括：

对标记后的多个所述正向表情特征以及标记后的多个所述负向表情特征进行训练，获得表情模型。

在一种可选的实施方式中，所述使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测包括：

使用预先训练好的表情模型，对所述表情特征进行分类，获得分类结果；

若所述分类结果为所述第一标识，确定所述客户的表情分值；

判断所述表情分值是否大于预设阈值；

若所述表情分值大于预设阈值，则确定所述客户具有购买产品的意向。

在一种可选的实施方式中，所述确定所述客户的表情分值包括：

从所述表情信息中，确定所述客户的人脸的器官以及每个所述器官在物理上的几何属性；

将所有所述器官的几何属性进行加权，获得加权分值；

将所述加权分值确定为所述客户的表情分值。

在一种可选的实施方式中，所述使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测包括：

使用预先训练好的表情模型，对所述表情特征进行分类，获得分类结果；

若所述分类结果为所述第二标识，则确定所述客户不具有购买产品的意向。

在一种可选的实施方式中，所述处理器32可执行所述多个指令从而实现：

输出所述客户的产品购买意向的检测结果；

根据所述检测结果以及所述客户的属性，向所述服务用户推荐营销策略。

具体地，所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

在图3所描述的电子设备3中，可以监控服务用户与客户的产品沟通过程，获得沟通视频，进一步地，可以从所述沟通视频中，提取所述客户的语音信息，并判断所述语音信息中是否存在预设的关键词，若所述语音信息中不存在预设的关键词，则从所述沟通视频中获取所述客户的表情信息，对所述表情信息进行识别，并提取表情特征，更进一步地，可以使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。可见，本发明中，在客户的语音信息不存在预设的关键词的情况下，还可以结合客户的表情信息，通过对客户的表情信息进行分析，提取表情特征，来对客户的产品购买意向进行判断，从而能够提高对客户产品购买意向判断的准确率。

所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种表情检测方法，其特征在于，所述方法包括：

监控服务用户与客户的产品沟通过程，获得沟通视频；

从所述沟通视频中，提取所述客户的语音信息；

判断所述语音信息中是否存在预设的关键词；

若所述语音信息中不存在预设的关键词，则从所述沟通视频中获取所述客户的表情信息，对所述表情信息进行识别，并提取表情特征；

使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。

2.根据权利要求1所述的方法，其特征在于，所述监控服务用户与客户的产品沟通过程，获得沟通视频之前，所述方法还包括：

获取需要进行表情训练的多个正向表情人脸图像以及多个负向表情人脸图像；

提取多个所述正向表情人脸图像的正向表情特征，以及提取多个所述负向表情人脸图像的负向表情特征；

对多个所述正向表情特征以及多个所述负向表情特征进行训练，获得表情模型。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

使用第一标识对所述正向表情特征进行标记；

使用第二标识对所述负向表情特征进行标记；

所述对多个所述正向表情特征以及多个所述负向表情特征进行训练，获得表情模型包括：

对标记后的多个所述正向表情特征以及标记后的多个所述负向表情特征进行训练，获得表情模型。

4.根据权利要求3所述的方法，其特征在于，所述使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测包括：

使用预先训练好的表情模型，对所述表情特征进行分类，获得分类结果；

若所述分类结果为所述第一标识，确定所述客户的表情分值；

判断所述表情分值是否大于预设阈值；

若所述表情分值大于预设阈值，则确定所述客户具有购买产品的意向。

5.根据权利要求4所述的方法，其特征在于，所述确定所述客户的表情分值包括：

从所述表情信息中，确定所述客户的人脸的器官以及每个所述器官在物理上的几何属性；

将所有所述器官的几何属性进行加权，获得加权分值；

将所述加权分值确定为所述客户的表情分值。

6.根据权利要求3所述的方法，其特征在于，所述使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测包括：

使用预先训练好的表情模型，对所述表情特征进行分类，获得分类结果；

若所述分类结果为所述第二标识，则确定所述客户不具有购买产品的意向。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

输出所述客户的产品购买意向的检测结果；

根据所述检测结果以及所述客户的属性，向所述服务用户推荐营销策略。

8.一种表情检测装置，其特征在于，所述装置包括：

监控模块，用于监控服务用户与客户的产品沟通过程，获得沟通视频；

提取模块，用于从所述沟通视频中，提取所述客户的语音信息；

判断模块，用于判断所述语音信息中是否存在预设的关键词；

获取模块，用于若所述语音信息中不存在预设的关键词，则从所述沟通视频中获取所述客户的表情信息；

所述提取模块，还用于对所述表情信息进行识别，并提取表情特征；

检测模块，用于使用预先训练好的表情模型，对所述表情特征进行分类，以对所述客户的产品购买意向进行检测。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的表情检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7任意一项所述的表情检测方法。