CN104298682A - 一种基于人脸表情图像的信息推荐效果的评价方法及手机 - Google Patents

Abstract

本发明涉及一种基于人脸表情图像的信息推荐效果的评价方法及手机，该方法将推荐信息如图片、文字、视频、游戏等给用户阅读观看，采集用户阅读时的人脸表情图像，抽取人脸表情图像特征，采用人脸表情分类器判断用户当时的情感状况，将情感状态作为信息推荐的评价效果。本发明还公开了一种基于人脸表情图像的信息推荐效果评价手机，包括：推荐信息阅读模块，人脸表情图像采集模块，人脸表情图像的特征向量构造模块，人脸表情分类模块，信息推荐效果评价模块，以及一个人脸表情训练样本数据库。本发明的效果是人脸表情采集更自然，评价更真实，使用更方便，可应用于改进广告投放方法，改进视频的推荐方法，改进游戏的设计策略等。

Description

一种基于人脸表情图像的信息推荐效果的评价方法及手机

技术领域

本发明涉及一种基于人脸表情图像的信息推荐效果的评价方法及手机，属于信息推荐和模式识别领域。 

背景技术

信息推荐是近年来的一个热门领域，如电子商务，社交网站等，它为用户解决了信息的过载问题，承担了在识别客户消费偏好的基础上，使客户避免信息“超载”所带来的麻烦。精准广告投放是另一种特殊的信息推荐，目前很多商家不惜在广告上花费巨资，希望利用庞大的用户群，进行大范围地推广广告，这类信息推荐减少了对用户的困扰。还有一类信息推荐，用来改进营销策略和开展新业务，例如在电信、银行、保险、零售等行业，准确的信息推荐，有利于引导用户消费，拓展市场。信息推荐中的信息是指展现给用户观看的任何信息，包括图片、文字、视频、游戏等，推荐的效果则是指这些信息对用户产生的吸引力和心理反映，如感到惊奇，厌恶，高兴等，这些效果进一步导致用户的偏好行为，消费倾向改变和购买行动等，因此可以利用这些评价作为反馈来改进信息的推荐方法，例如改进广告的投放方法，改进视频的推荐方法，改进游戏的设计策略等。 

推荐系统不但要考虑推荐的精度，还要考虑信息的来源和用户对信息微妙的情感因素，而这些因素在现有推荐算法中难以建模和衡量。现有推荐系统也没有考虑用户在领域内的动态成长模型，例如推荐内容对用户行为的影响，用户对推荐信息的评价等。没有将用户对推荐信息的评价作为负反馈，推荐系统是不稳定的。存在这些困难的主要原因之一是现有推荐算法没有准确地判断用户对推荐信息的心理反映。本发明直接通过用户在阅读推荐信息时的人脸表情来推断用户对推荐信息的满意程度，以此评价信息推荐的效果。人脸表情包含了丰富的情感信息，是我们理解情感的重要途径，因此通过人脸表情分析就可以实现人类的情感状态判别，进而获得用户对推荐信息效果的评价。 

智能手机的普及以及移动互联网的发展使得很多推荐系统能够将推荐的信息发送到手机上，很多人也习惯用手机来阅读这些推荐的信息。手机具有摄像功能，人们在阅读推荐的信息时，人脸表情是用户对推荐信息的满意程度的自然反映，因此通过自动采集用户阅读推荐信息时的人脸表情，进而通过人脸表情分析就可以判断用户的情感状态，以此推断信息推荐的效果。目前国内还没有发现通过用手机人脸表情来评估信息推荐效果的方法。 

发明内容

本发明要解决的技术问题是：现有信息推荐系统缺乏对推荐信息的自动评估问题，特别是没有考虑用户对推荐信息的心理反映，难以取得满意的推荐效果。 

本发明涉及一种基于人脸表情图像的信息推荐效果的评价方法，其特征在于该方法包括以下步骤： 

[1]用户阅读推荐信息如图片、文字、网页、视频、游戏等形式的信息 

[2]采集用户阅读推荐信息时的人脸表情图像 

[3]抽取人脸表情图像的情感特征，构造特征向量 

[4]利用人脸表情分类模型预测用户的情感状态 

[5]将用户的情感状态作为推荐效果的评价 

其中人脸情感分类模型的获取过程包含以下步骤 

[1]采集N个人脸表情图像及其对应的情感类别 

[2]构造每个人脸表情图像的特征向量 

[3]构造训练数据，以人脸表情图像的特征向量为输入，其对应的情感类别为输出，构成训练样本集合 

[4]采用训练样本集合，学习人脸情感分类模型 

[5]以M倍交叉验证方式选择人脸情感分类模型的最佳参数，进而获得对应参数的人脸情感分类模型。 

本发明还涉及一种基于人脸表情图像的信息推荐效果的评价手机，其特征在于，所述的手机系统包括：一个人脸表情训练样本数据库，推荐信息阅读模块，手机摄像头控制模块，人脸表情图像采集模块，人脸表情图像的特征向量构造模块，人脸表情分类模块，信息推荐效果评价模块，人脸表情分类模型学习模块，信息推荐效果显示模块，信息推荐效果档案管理模块。其中推荐信息阅读模块的输出与手机摄像头控制模块的输入连接，手机摄像头控制模块的输出与人脸表情图像采集模块的输入连接，人脸表情图像采集模块的输出与人脸表情图像的特征向量构造模块的输入连接，人脸表情图像的特征向量构造模块的输出与人脸表情分类模块的输入连接，人脸表情分类模型学习模块的输出与人脸表情分类模块的输入连接，人脸表情分类模块的输出与信息推荐效果评价模块的输入连接，信息推荐效果评价模块的输出与信息推荐效果显示模块的输入连接，信息推荐效果显示模块的输出与信息推荐效果档案管理模块的输入连接。 

有益效果 

与现有技术相比，本发明的一种基于人脸表情图像的信息推荐效果的评价方法及手机具有以下优点： 

[1]手机阅读推荐信息时，系统自动采集阅读者的人脸表情图像，不需要用户特别关注，这样采集的人脸表情更自然，分析的结果更真实。 

[2]仅使用日用手机就能对用户的推荐信息的效果进行实时分析，简单易用； 

[3]应用范围广泛，可应用于改进广告投放方法，改进视频的推荐方法，改进游戏的设计策略等。 

附图说明

图1一种基于人脸表情图像的信息推荐效果的评价方法的流程图 

图2一种基于人脸表情图像的情感分类模型的训练流程 

图3一种基于人脸表情图像的信息推荐效果的评价手机的结构图 

具体实施方式

本发明提出的一种基于人脸表情图像的信息推荐效果的评价方法及手机，结合附图和实施例说明如下。 

如图1所示，为一种基于人脸表情图像的信息推荐效果的评价方法的流程图， 

该方法包括以下步骤： 

[1]用户阅读推荐的信息，例如用图片游览器观看推荐的图片，用视频播放器观看推荐的视频，用IE游览器游览推荐的网页等。 

[2]采集用户阅读时的人脸表情图像，按设定时间间隔采集人脸表情图像，并以采集时的时间为文件名称将采集的人脸表情图像保存为JPEG格式的图片文件。 

[3]提取每个JPEG格式图片文件的图像情感特征，形成一个情感特征向量。 

[4]采用支持向量机作为情感分类器，对每个人脸情感特征向量分类，判断的情感类别为愤怒，高兴，悲伤，惊讶，厌恶，恐惧和平静。 

[5]用户阅读推荐信息期间，将获得多幅人脸情感图像及对应的情感状态，除平静状态外，对其余的所有情感状态进行投票，将获得最多票数的情感状态作为推荐效果的评价值。 

其中人脸表情分类模型是通过机器学习获得的，包括以下步骤 

[1]采集1000个人脸表情图像及对应的情感类别 

[2]抽取每个人脸表情图像的特征向量 

[3]构造训练数据，以人脸表情图像特征向量为输入，其对应的情感类别为输出，构成训练样本集合 

[4]利用训练样本集合，训练支持向量机，获得人脸表情分类模型 

[5]以10倍交叉验证方式选择支持向量机的合适参数，进而获得对应的支持向量机人脸表情分类模型 

本实施案例中，人脸图像处理采用Android OpenCV提供的API函数实现，Android OpenCV是OpenCV在Android手机上的移植版。情感分类器采用支持向量机。在一种基于人脸表情图像的信息推荐效果的评价方法中，关键步骤的是人脸图像的采集与人脸检测，人脸图像的特征向量构造，和支持向量机情感分类器，现对它们的实现描述如下。 

人脸采集与检测方法 

首先是人脸图像的采集，通过摄像头等图像捕捉工具获取人脸的静态图像，然后完成图像预处理，包括图像的大小和灰度的归一化，头部姿态的矫正，和人脸图像的检测等 

人脸检测算法采用Viola-Jones的级联分类器算法，它是现在的一个比较优秀的人脸检测算法。这种算法使用基于Haar特征的级联分类器策略，可快速且有效地找到多种姿态和尺寸的人脸图像。在Android OpenCV上有一个该算法的实现。Android OpenCV是Intel开源计算机视觉库(Computer Version)，由一系列C函数和少量C++类构成，实现了图像处理和计算机视觉方面的很多通用算法。Android OpenCV拥有包括300多个C函数的跨平台的中、高层API。Android OpenCV对非商业应用和商业应用都是免费的。同时Android OpenCV提供了对硬件的访问，可以直接访问摄像头，因而我们利用Android OpenCV编程实现人脸图像的采集和检测，从而获得人脸图像。包括两个步骤。第1步是图片预处理，从摄像头中获得一个帧(一张图片)后，先对这张图片进行一些预处理：将图片从RGB模式转为灰度图，然后进行灰度图直方图均衡化操作，这步在Android OpenCV中的实现非常简单。第2步，检测并标记人脸目标，在Android OpenCV中，对于人脸检测的模型已经建立为一个XML文件，其中包含了上面提到的Haar特征的分类器的训练结果，我们直接使用这个结果，将待检测的人脸图像和级联分类器模型一同传递给Android OpenCV的目标检测算法即得到一个检测到的人脸图像。 

人脸表情图像的特征向量构造方法 

本实施案例提取人脸表情图像的特征有两类：第1类，先利用二维离散小波在不明显损失图像信息的基础上对表情图像进行变换，变换后的图像数据量大大减少，再利用离散于余弦变换变换提取代表原图像绝大部分能量的数据作为表情特征矢量。第2类，首先对人脸情感图像进行分割、消噪处理，然后对其作标准化处理，包括尺度归一化和灰度均衡化。对标准化处理后的图像使用固定像素的网格进一步分割，对每一个网格进行Gabor小波变换，取Gabor变换后的小波系数模的均值、方差作为该网格的情感特征向量。最后将两类特征向量串接为一个特征向量作为人脸表情图像的特征向量。 

本实施案例利用Android OpenCV提供的多种API函数来构造图像的特征向量。 

情感分类模型采用支持向量机 

本实施案例的情感分类模型采用支持向量机(Support Vector Machine，SVM)。支持向量机(Support Vector Machine，SVM)是近几年刚发展起来的一种分类方法，它基于结构风险最小化原则，具有良好的泛化能力。给定训练样本 

{(x₁，y₁)，(x₁，y₁)，…，(x_N，y_N)}集，其中x_i∈Rⁿ为输入向量，y_i∈{+1，-1}为对应的类别，SVM在特征空间中寻找能将两类样本正确分开的最优分界超平面。对于输入空间中的向量x，假如使用z＝Φ(x)表示其在特征空间中对应的特征向量，则最优分界超平面表示为w·z+b＝0。相应的决策方程为f(x)＝sign(w·z+b)。在任何情况下，SVM并不要求知道映射Φ。引入核函数k(·)，特征空间中向量间的点积能在输入空间中通过核函数表示为z₁·z₂＝k(x₁，x₂)。 

训练SVM等价于求解如下最优化问题： 

$\left\{\begin{array}{c}\mathrm{MaxL}=\underset{i}{\mathrm{\Σ}}{a}_i-\frac{1}{2}\underset{i,j}{\mathrm{\Σ}}{a}_i{a}_j{y}_i{y}_{j}k(x_i\·x_j)\\ s.t.0\≤a_i\≤C\\ \mathrm{\Σ}{a}_i{y}_i=0\end{array}\right.$

这是正定的二次规划问题，目标方程由拉格朗日乘子向量a决定。一旦向量a已知，决策方程中的权重向量w和阈值b能够通过KKT条件容易地计算出来。KKT条件是上述二次规划问题的充分必要条件。定义 

$F_i=w\·z_i-y_i=\underset{j}{\mathrm{\Σ}}{a}_j{y}_{j}k(x_j,x_i)-y_i$

则KKT条件为 

$\left\{\begin{array}{c}{a}_i=0\&DoubleLeftRightArrow;y_i(F_i-b)\&GreaterEqual;0\\ 0<a_i<C\&DoubleLeftRightArrow;y_i(F_i-b)=0\\ a_i=C\&DoubleLeftRightArrow;y_i(F_i-b)\&le;0\end{array}\right.$

其中a_i不为零对应的样本就是支持向量，它们通常只是全体样本中的少部分。计算出支持向量后，便得到决策函数 

$f\left(x\right)=\mathrm{sgn}\{\underset{x_i\&Element;s}{\mathrm{\&Sigma;}}{a}_i{y}_{i}k(x_i\&CenterDot;x)+b\}$

其中S为支持向量集合。决策函数中的常用核函数有： 

多项式核k(x_i，x_j)＝(x_i·x_j+1)^d

径向基核函数(RBF)：k(x_i，x_j)＝exp{-||x_i-x_j||²/2α²} 

Sigmoid核函数k(x_i，x_j)＝tanh[b(x_i·x_j)+c]等。 

本实施案例选择径向基核函数RBF作为核函数，以预测性能为准则，以10倍交叉验证方式选择SVM的合适参数，进而获得对应的支持向量机分类模型。 

如图3所示，为一种基于人脸图像的信息推荐效果的评价手机的结构图，其特征在于，所述的手机包括：一个人脸表情训练样本数据库310，用以储存多个人脸表情图像的特征向量和对应的情感状态；一个信息推荐效果档案数据库311，用以储存推荐的信息及对应情感状态的档案数据，其中每个记录包含推荐的信息内容，人脸表情的特征向量，人脸表情对应的情感状态，和时间。推荐信息阅读模块300，手机摄像头控制模块301，人脸表情图像采集模块302，人脸表情图像的特征向量构造模块303，人脸表情分类模块304，人脸表情分类模型学习模块305，信息推荐效果评价模块306，信息推荐效果显示模块307，信息推荐效果档案管理模块308。其中推荐信息阅读模块300的输出与手机摄像头控制模块301的输入连接，手机摄像头控制模块301的输出与人脸表情图像采集模块302的输入连接，人脸表情图像采集模块302的输出与人脸表情图像的特征向量构造模块303的输入连接，人脸表情图像的特征向量构造模块303的输出与人脸表情分类模块304的输入连接，人脸表情分类模型学习模块305的输出与人脸表情分类模块304的输入连接，人脸表情分类模块的输出304与信息推荐效果评价模块306的输入连接，信息推荐效果评价模块306的输出与信息推荐效果显示模块307的输入连接，信息推荐效果显示模块307的输出与信息推荐效果档案管理模块 308的输入连接。 

1)推荐信息阅读模块300，通过手机的阅读软件阅读信息推荐系统推荐的信息，包括图片、文字、网页、视频、游戏等 

2)手机摄像头控制模块301，通过控制手机的照相机对人脸照相，采集人脸表情图像。 

3)人脸表情图像采集模块302，对手机摄像头控制模块301采集的人脸表情图像进行预处理，去除背景，获得预处理后的人脸表情图像。 

4)人脸表情图像的特征向量构造模块303，负责将检测的人脸表情图像抽取特征，转化为人脸表情图像的特征向量表示。 

5)人脸表情分类模块304，采用支持向量机分类器对人脸表情图像的特征向量进行情感分类，获得情感类别。 

6)人脸表情分类模型学习模块305，通过人脸表情训练样本数据库310中的学习样本集，训练支持向量机分类器，获得支持向量机分类模型。 

7)信息推荐效果评价模块306，根据人脸表情的情感类别，给出对应的效果评价值。这里直接将用户的情感类别作为信息推荐效果的评价类别，例如推荐的信息令人惊奇(情感状态为惊奇)。 

8)信息推荐效果显示模块307，将推荐的信息，预测的情感类别，及时间显示在手机屏上。 

9)血压档案管理模块308，将推荐的信息，预测的情感类别，时间等信息保存到信息推荐效果档案数据库311，并能查询信息推荐效果档案数据库311的历史记录。 

本实施案例中的手机采用Android智能手机。Android平台提供了应用程序框架，提供了传感器、语音识别、桌面组件开发、Android游戏引擎设计、Android应用优化等各类开发工具，提供了对音频、视频和图片等多媒体的支持，提供了用于结构化数据存储的关系型数据库SQLite3。本实施案例采用Android的SDK和Android OpenCV来编写程序实现人脸图像的采集、处理和保存，用SQLite3数据库来实现对训练及档案数据的管理。 

本领域的普通技术人员应当理解，本发明的技术方案可以进行修改，变形或等同变换，而不脱离本发明技术方案的本质和范围，均覆盖在本发明的权利要求范围之中。 

Claims (4)

1.一种基于人脸表情图像的信息推荐效果的评价方法，其特征在于该方法包括以下步骤：

[1]用户阅读推荐的信息

[2]按设定时间间隔采集用户阅读推荐信息时的人脸表情图像，得到多幅人脸表情图像

[3]抽取每幅人脸表情图像的情感特征，构造特征向量

[4]利用人脸表情分类模型预测每幅人脸表情图像的情感状态

[5]将预测的用户的各类情感状态的统计值作为推荐效果的评价。用户阅读推荐信息期间，将获得多幅人脸情感图像及对应的情感状态类别，统计每类情感状态类别的次数，然后将各个情感状态类别的统计次数作为推荐效果的评价值。

2.根据权利要求1所述的一种基于人脸表情图像的信息推荐效果的评价方法，其特征在于所述的步骤[2]按设定时间间隔采集用户阅读推荐信息时的人脸表情图像，得到多幅人脸表情图像。

3.根据权利要求1所述的一种基于人脸表情图像的信息推荐效果的评价方法，其特征在于所述的步骤[5]将预测的用户阅读推荐信息时的各类人脸情感状态的统计值作为推荐效果的评价。

4.本发明一种基于人脸表情图像的信息推荐效果的评价手机，其特征在于所述的手机包括：人脸表情训练样本数据库，手机摄像头控制模块，推荐信息阅读模块，人脸表情图像采集模块，人脸表情图像的特征向量构造模块，人脸表情分类模块，信息推荐效果评价模块，人脸表情分类模型学习模块，信息推荐效果显示模块，信息推荐效果档案管理模块。其中推荐信息阅读模块的输出与手机摄像头控制模块的输入连接，手机摄像头控制模块的输出与人脸表情图像采集模块的输入连接，人脸表情图像采集模块的输出与人脸表情图像的特征向量构造模块的输入连接，人脸表情图像的特征向量构造模块的输出与人脸表情分类模块的输入连接，人脸表情分类模型学习模块的输出与人脸表情分类模块的输入连接，人脸表情分类模块的输出与信息推荐效果评价模块的输入连接，信息推荐效果评价模块的输出与信息推荐效果显示模块的输入连接，信息推荐效果显示模块的输出与信息推荐效果档案管理模块的输入连接。