CN106485227A - 一种基于视频面部表情的客户满意度分析方法 - Google Patents

Abstract

本发明中提出的一种基于视频面部表情的客户满意度分析方法，其主要内容包括：获取客户视频资料，采用部分为基础的表示方法为面部形状和外观进行建模，判别拟合，更新增量表示，并行拟合，拟合评价，根据拟合评价结果分析客户满意度，其过程为，首先获取客户视频资料，再根据视频中人脸的表情变化，采用部分为基础的表示方法为面部形状和外观进行建模，判别拟合，更新增量表示，并行拟合，接着进行拟合评价，最后根据拟合评价结果分析客户满意度。本发明的样本范围广，不需要客户主观的进行评价评分，排除了人为主观因素，使得数据更加客观；同时，避免了大量问卷数据，减少人工劳力，提高了效率和准确率。

Description

一种基于视频面部表情的客户满意度分析方法

技术领域

本发明涉及视频面部表情分析领域，尤其是涉及了一种基于视频面部表情的客户满意度分析方法。

背景技术

传统的客户满意度调查，都是通过客户口头反馈和问卷调查的形式来实现的。这样的调查所耗费的人力物力财力都很大，效率和准确度都不高，数据也带有人为主观因素。

本发明提出了一种基于视频面部表情的客户满意度分析方法，先通过调取服务场地如银行、收费站等地方的摄像头中的视频信息，获取客户面部表情的视频资料，利用人脸表情图像数据集进行训练；根据视频中人脸的表情变化，采用部分为基础的表示方法为面部形状和外观进行建模，判别拟合，更新增量表示，并行拟合，接着进行拟合评价，最后根据拟合评价结果分析客户满意度。本发明的样本范围广，不需要客户主观的进行评价评分，排除了人为主观因素，使得数据更加客观；同时，避免了大量问卷数据，减少人工劳力，提高了效率，增加了准确率。

发明内容

针对数据多，效率和准确度不高等问题，本发明的目的在于提供一种基于视频面部表情的客户满意度分析方法，先获取客户视频资料，再根据视频中人脸的表情变化，采用部分为基础的表示方法为面部形状和外观进行建模，判别拟合，更新增量表示，并行拟合，接着进行拟合评价，最后根据拟合评价结果分析客户满意度。

为解决上述问题，本发明提供一种利用图片检索定位导航的方法，其主要内容包括：

(一)获取客户视频资料；

(二)采用部分为基础的表示方法为面部形状和外观进行建模；

(三)判别拟合；

(四)更新增量表示；

(五)并行拟合；

(六)拟合评价；

(七)根据拟合评价结果分析客户满意度。

其中，所述的获取客户视频资料，是通过调取服务场地如银行、收费站等地方摄像头中的视频信息，获取客户面部表情的视频资料，利用人脸表情图像数据集进行训练，根据视频信息分析客户满意度。

其中，所述的采用部分为基础的表示方法为面部形状和外观进行建模，形状表示首先通过分析培训获取图像的归一化的面部形态学；然后采用主成分分析(PCA)以获得的平均形状和特征向量{M^S,V^S}，其中S代表形状；面部形状可以被建模为s(p)＝M^S+V^Sp，其中p代表形状表示；使用本地响应图像学习外观表示，给定一个图像I和形状表示p，第l个特征点的本地响应图为

其中是通过交叉验证的补丁，是特征向量；

变化响应图布置为一个张量其中，i和j分别对图像和变化计数；类似形状表示的方法，对运用主成分分析获得平均值和特征向量其中a是指外观；第l特征点可以通过快速投影计算；可以用一个面部p和 来模拟一个实例的形状和外观。

进一步地，所述的形状表示，构建了一个训练集u＝{(I,S)；y}，其中y∈{1,-1}；I是标注的训练图像；当y＝1时，标志图S是使用对比形状时产生的；当y＝-1时，形状产生变化；计算交叉熵损失的反向传播。

其中，所述的判别拟合，学习一个级联的非线性映射的外观表示x(p,I)和形状更新△p；细化的形状表示为p，从最初的预测p⁰到对比组，一步一步进行计算

p^k+1＝p^k+x(p^k,I)R^k+b^k (2)

{R^k,b^k}是在第k步的回归，p^*是对比组，使回归系数可通过求解最小二乘问题进行计算：

使和回归可以用闭合解计算，即：

其中，所述的更新增量表示，为了实现形状和外观的个性化表示，目标是在一个统一的框架中更新增量离线训练的子空间{M^S,V^S}和假设离线模型利用平均M_A和特征向量V_A训练m离线数据T_A，其中T_A的SVD为T_A＝U∑V^T，采用n个新的在线数据T_B平均M_B来有效地计算串联的[T_AT_B]＝U′∑’V′^T的SVD；

遵循Sequential Karhunen-Loeve(SKL)算法来计算级联：

其中，

只需要在中期代替整个级联进行奇异值分解

通过插入T_C到公式(4)，有

立即更新的平均值和特征向量：

与初级方法相比，增量子空间学习从O(d(m+n))到O(dn)，显着降低空间复杂度，从O(d(m+n)²)到O(dn²)降低计算复杂度，m＞＞n，d代表一次观测的长度；它保证了个性化表示的有效建模。

其中，所述的并行拟合，一旦形状和外观表象进行更新，就需要更新回归级联追踪网络的变化；然而，在一个顺序适应回归的级联比较复杂，需要在基础上进行计算；为了解决这个问题，通过常态分布直接采样p^k减弱级联的依赖，其中∧^k是离线学习的形状变化；一旦级联被扁平化为独立的映射，所有的解释变量可以同时并行更新；

在离线训练过程中，按照给定的定义计算和在线测试期间，基于规范分布取样△p_B，重新计算新的外观表示 可以适应通过

其中考虑到d＞＞n，方程(9)中级联退耦模型矩阵求逆的计算成本显着降低O(d³)到O(n³)。

其中，所述的拟合评价，利用深层神经网络的鲁棒拟合评价；只有适应度很好的面部能用于更新增量表示和适应回归梯级具体人脸的建模；

相反，在网络开始将人脸图像聚集，在特征显示中的每一个像素是一个二进制值，标志 着相应的标志性的存在；初始化训练过程中的权重训练的大型数据集的对象分类。

其中，所述的根据拟合评价结果分析客户满意度，是根据视频表情和对比组的拟合评价结果分析不同拟合度，利用训练数据集中的对象表情的客户的不同反馈结果分类，根据不同的拟合度和客户满意度形成映射，从而自动获得客户满意度结果。

进一步地，所述的根据拟合评价结果分析客户满意度，是根据拟合评价结果来确定客户的满意程度，不需要客户主观的进行评价评分，从而排除人为主观因素，使数据更加客观，避免大量问卷数据，减少人工劳力，提高效率，增加准确率。

附图说明

图1是本发明一种基于视频面部表情的客户满意度分析方法的系统流程图。

图2是本发明一种基于视频面部表情的客户满意度分析方法的人脸表情图像数据集。

图3是本发明一种基于视频面部表情的客户满意度分析方法的采用部分为基础的表示方法。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于视频面部表情的客户满意度分析方法的系统流程图。主要包括获取客户视频资料，采用部分为基础的表示方法为面部形状和外观进行建模，判别拟合，更新增量表示，并行拟合，拟合评价，根据拟合评价结果分析客户满意度。

其中，获取客户视频资料，是通过调取服务场地如银行、收费站等地方摄像头中的视频信息，获取客户面部表情的视频资料，利用人脸表情图像数据集进行训练，根据视频信息分析客户满意度。

其中，采用部分为基础的表示方法为面部形状和外观进行建模，形状表示首先通过分析培训获取图像的归一化的面部形态学；然后采用主成分分析(PCA)以获得的平均形状和特征向量{M^S,V^S}，其中S代表形状；面部形状可以被建模为s(p)＝M^S+V^Sp，其中p代表形状表示；使用本地响应图像学习外观表示，给定一个图像I和形状表示p，第l个特征点的本地响应图为

其中是通过交叉验证的补丁，是特征向量；

变化响应图布置为一个张量其中，i和j分别对图像和变化计数；类似形状表示的方法，对运用主成分分析获得平均值和特征向量其中a是指外观；第l特征点可以通过快速投影计算；可以用一个面部p和 来模拟一个实例的形状和外观。

进一步地，所述的形状表示，构建了一个训练集u＝{(I,S)；y}，其中y∈{1,-1}；I是标注的训练图像；当y＝1时，标志图S是使用对比形状时产生的；当y＝-1时，形状产生变化；计算交叉熵损失的反向传播。

其中，判别拟合，学习一个级联的非线性映射的外观表示x(p,I)和形状更新△p；细化的形状表示为p，从最初的预测p⁰到对比组，一步一步进行计算

p^k+1＝p^k+x(p^k,I)R^k+b^k (2)

{R^k,b^k}是在第k步的回归，p^*是对比组，使回归系数可通过求解最小二乘问题进行计算：

使和回归可以用闭合解计算，即：

其中，更新增量表示，为了实现形状和外观的个性化表示，目标是在一个统一的框架中更新增量离线训练的子空间和假设离线模型利用平均M_A和特征向量V_A训练m离线数据T_A，其中T_A的SVD为T_A＝U∑V^T，采用n个新的在线数据T_B平均M_B来有效地计算串联的[T_AT_B]＝U′∑’V′^T的SVD；

遵循Sequential Karhunen-Loeve(SKL)算法来计算级联：

其中，

只需要在中期代替整个级联进行奇异值分解

通过插入T_C到公式(4)，有

立即更新的平均值和特征向量：

与初级方法相比，增量子空间学习从O(d(m+n))到O(dn)，显着降低空间复杂度，从O(d(m+n)²)到O(dn²)降低计算复杂度，m＞＞n，d代表一次观测的长度；它保证了个性化表示的有效建模。

其中，并行拟合，一旦形状和外观表象进行更新，就需要更新回归级联追踪网络的变化；然而，在一个顺序适应回归的级联比较复杂，需要在基础上进行计算；为了解决这个问题，通过常态分布直接采样p^k减弱级联的依赖，其中∧^k是离线学习的形状变化；一旦级联被扁平化为独立的映射，所有的解释变量可以同时并行更新；

在离线训练过程中，按照给定的定义计算和在线测试期间，基于规范分布取样△p_B，重新计算新的外观表示 可以适应通过

其中考虑到d＞＞n，方程(9)中级联退耦模型矩阵求逆的计算成本显着降低O(d³)到O(n³)。

其中，拟合评价，利用深层神经网络的鲁棒拟合评价；只有适应度很好的面部能用于更新增量表示和适应回归梯级具体人脸的建模；

相反，在网络开始将人脸图像聚集，在特征显示中的每一个像素是一个二进制值，标志着相应的标志性的存在；初始化训练过程中的权重训练的大型数据集的对象分类。

其中，根据拟合评价结果分析客户满意度，是根据视频表情和对比组的拟合评价结果分析不同拟合度，利用训练数据集中的对象表情的客户的不同反馈结果分类，根据不同的拟合度和客户满意度形成映射，从而自动获得客户满意度结果。

进一步地，所述的根据拟合评价结果分析客户满意度，是根据拟合评价结果来确定客户的满意程度，不需要客户主观的进行评价评分，从而排除人为主观因素，使数据更加客观，避免大量问卷数据，减少人工劳力，提高效率，增加准确率。

图2是本发明一种基于视频面部表情的客户满意度分析方法的人脸表情图像数据集。获取客户视频资料，是通过调取服务场地如银行、收费站等地方摄像头中的视频信息，获取客户 面部表情的视频资料，形成表情图集。利用人脸表情图像数据集进行训练，根据视频信息分析客户满意度。

图3是本发明一种基于视频面部表情的客户满意度分析方法的采用部分为基础的表示方法。形状表示首先通过分析培训获取图像的归一化的面部形态学；然后采用主成分分析(PCA)以获得的平均形状和特征向量{M^S,V^S}，其中S代表形状；面部形状可以被建模为s(p)＝M^S+V^Sp，其中p代表形状表示；使用本地响应图像学习外观表示，给定一个图像I和形状表示p，第l个特征点的本地响应图为其中是通过交叉验证的补丁，是特征向量；

变化响应图布置为一个张量其中，i和j分别对图像和变化计数；类似形状表示的方法，对运用主成分分析获得平均值和特征向量其中a是指外观；第l特征点可以通过快速投影计算；可以用一个面部p和 来模拟一个实例的形状和外观。

形状表示构建了一个训练集u＝{(I,S)；y}，其中y∈{1,-1}；I是标注的训练图像；当y＝1时，标志图S是使用对比形状时产生的；当y＝-1时，形状产生变化；计算交叉熵损失的反向传播。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于视频面部表情的客户满意度分析方法，其特征在于，主要包括获取客户视频资料(一)；采用部分为基础的表示方法为面部形状和外观进行建模(二)；判别拟合(三)；更新增量表示(四)；并行拟合(五)；拟合评价(六)；根据拟合评价结果分析客户满意度(七)。

2.基于权利要求书1所述的获取客户视频资料(一)，其特征在于，通过调取服务场地如银行、收费站等地方摄像头中的视频信息，获取客户面部表情的视频资料，利用人脸表情图像数据集进行训练，根据视频信息分析客户满意度。

3.基于权利要求书1所述的采用部分为基础的表示方法为面部形状和外观进行建模(二)，其特征在于，形状表示首先通过分析培训获取图像的归一化的面部形态学；然后采用主成分分析(PCA)以获得的平均形状和特征向量{M^S,V^S}，其中S代表形状；面部形状可以被建模为s(p)＝M^S+V^Sp，其中p代表形状表示；使用本地响应图像学习外观表示，给定一个图像I和形状表示p，第l个特征点的本地响应图为

其中是通过交叉验证的补丁，是特征向量；

变化响应图布置为一个张量其中，i和j分别对图像和变化计数；类似形状表示的方法，对运用主成分分析获得平均值和特征向量其中a是指外观；第l特征点可以通过快速投影计算；可以用一个面部p和来模拟一个实例的形状和外观。

4.基于权利要求书3所述的形状表示，其特征在于，构建了一个训练集u＝{(I,S)；y}，其中y∈{1,-1}；I是标注的训练图像；当y＝1时，标志图S是使用对比形状时产生的；当y＝-1时，形状产生变化；计算交叉熵损失的反向传播。

5.基于权利要求书1所述的判别拟合(三)，其特征在于，学习一个级联的非线性映射的外观表示x(p,I)和形状更新△p；细化的形状表示为p，从最初的预测p⁰到对比组，一步一步进行计算

p^k+1＝p^k+x(p^k,I)R^k+b^k (2)

{R^k,b^k}是在第k步的回归，p^*是对比组，使回归系数可通过求解最小二乘问题进行计算：

$\underset{R^k,b^k}{\mathrm{argmin}}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\left|\right|{\mathrm{\Δp}}_{ij}^k-x(p_{ij}^k,I_i)R^k-b^k|{|}^2---\left(3\right)$

使和回归可以用闭合解计算，即：

6.基于权利要求书1所述的更新增量表示(四)，其特征在于，为了实现形状和外观的个性化表示，目标是在一个统一的框架中更新增量离线训练的子空间{M^S,V^S}和假设离线模型利用平均M_A和特征向量V_A训练m离线数据T_A，其中T_A的SVD为T_A＝U∑V^T，采用n个新的在线数据T_B平均M_B来有效地计算串联的[T_AT_B]＝U′∑’V′^T的SVD；

遵循Sequential Karhunen-Loeve(SKL)算法来计算级联：

$\[\begin{array}{cc}U& E\end{array}\]\left[\begin{array}{cc}\mathrm{\Σ}& U^T{\hat{T}}_B\\ 0& E({\hat{T}}_B-{\mathrm{UU}}^T{\hat{T}}_B)\end{array}\right]\left[\begin{array}{cc}{V}^T& 0\\ 0& I\end{array}\right]---\left(4\right)$

其中，

$\widehat{T_B}=\[T_B\sqrt{\frac{mn}{m+n}}(V_B-V_A)\],E=orth(\widehat{T_B}-{\mathrm{UU}}^T\widehat{T_B})---\left(5\right)$

只需要在中期代替整个级联进行奇异值分解

$T_C=\tilde{U}\widetilde{\Σ}{\tilde{V}}^T,T_C=\left[\begin{array}{cc}\mathrm{\Σ}& U^T{\hat{T}}_B\\ 0& E({\hat{T}}_B-{\mathrm{UU}}^T{\hat{T}}_B)\end{array}\right]---\left(6\right)$

通过插入T_C到公式(4)，有

$\[\begin{array}{cc}{T}_A& T_B\end{array}\]=(\[\begin{array}{cc}U& E\end{array}\]\tilde{U})\widetilde{\mathrm{\Σ}}\left({\tilde{V}}^T\left[\begin{array}{cc}{V}^T& 0\\ 0& I\end{array}\right]\right)---\left(7\right)$

立即更新的平均值和特征向量：

$M_{AB}=\frac{m}{m+n}{M}_A+\frac{n}{m+n}{M}_B$

$U^{\′}=\[\begin{array}{cc}U& E\end{array}\]\tilde{U},{\Σ}^{\′}=\widetilde{\Σ}.---\left(8\right)$

与初级方法相比，增量子空间学习从O(d(m+n))到O(dn)，显着降低空间复杂度，从O(d(m+n)²)到O(dn²)降低计算复杂度，m＞＞n，d代表一次观测的长度；它保证了个性化表示的有效建模。

7.基于权利要求书1所述的并行拟合(五)，其特征在于，一旦形状和外观表象进行更新，就需要更新回归级联追踪网络的变化；然而，在一个顺序适应回归的级联比较复杂，需要在基础上进行计算；为了解决这个问题，通过常态分布直接采样p^k减弱级联的依赖，其中∧^k是离线学习的形状变化；一旦级联被扁平化为独立的映射，所有的解释变量可以同时并行更新；

在离线训练过程中，按照给定的定义计算和在线测试期间，基于规范分布取样△p_B，重新计算新的外观表示可以适应通过

${\tilde{R}}_{AB}={\tilde{R}}_A-P_{AB}{\tilde{R}}_A+(P_A-P_{AB}{P}_A){\left({\tilde{x}}_B\right)}^T{\mathrm{\Δp}}_B---\left(9\right)$

其中考虑到d＞＞n，方程(9)中级联退耦模型矩阵求逆的计算成本显着降低O(d³)到O(n³)。

8.基于权利要求书1所述的拟合评价(六)，其特征在于，利用深层神经网络的鲁棒拟合评价；只有适应度很好的面部能用于更新增量表示和适应回归梯级具体人脸的建模；

相反，在网络开始将人脸图像聚集，在特征显示中的每一个像素是一个二进制值，标志着相应的标志性的存在；初始化训练过程中的权重训练的大型数据集的对象分类。

9.基于权利要求书1所述的根据拟合评价结果分析客户满意度(七)，其特征在于，根据视频表情和对比组的拟合评价结果分析不同拟合度，利用训练数据集中的对象表情的客户的不同反馈结果分类，根据不同的拟合度和客户满意度形成映射，从而自动获得客户满意度结果。

10.基于权利要求书9所述的根据拟合评价结果分析客户满意度，其特征在于，根据拟合评价结果来确定客户的满意程度，不需要客户主观的进行评价评分，从而排除人为主观因素，使数据更加客观，避免大量问卷数据，减少人工劳力，提高效率，增加准确率。