CN106210820A - 一种交互性能良好的智能电视系统 - Google Patents

Abstract

本发明提供了一种交互性能良好的智能电视系统，其特征是，包括智能电视系统和与智能电视系统相连的情感控制系统，所述智能电视系统包括智能电视，所述智能电视外部设有插槽，插槽内设有能够与智能手机相连的接口模块，所述智能电视设有切换模块，接口模块与切换模块相连，智能手机通过接口模块与智能电视相连或分离，然后通过切换模块实现智能电视和智能手机之间的动态切换。本发明通过切换模块可以自如的在智能电视模式和智能手机模式之间进行切换，不需要重复安装应用程序，可为智能电视节省大量内存。

Description

一种交互性能良好的智能电视系统

技术领域

本发明涉及智能电视领域，具体涉及一种交互性能良好的智能电视系统。

背景技术

智能电视极大的方便了人们的生活，但是应用程序占用了智能电视的很大存储空间。

情感在人们相互交际过程中起着极其重要的作用。借助情感表达所伴随着的外在表现信息，如情感化的语音信号或面部表情，人们可以很方便地相互沟通、相互了解。对于人类情感方面的研究，一直是生理学、神经学、心理学等领域的重要研究方向，近几年来倍受工程领域研究者的关注。当前，对于单模态情感研究较多，但是对于多模态情感融合的研究较为有限。

发明内容

针对上述问题，本发明提供一种交互性能良好的智能电视系统。

本发明的目的采用以下技术方案来实现：

一种交互性能良好的智能电视系统，其特征是，包括智能电视系统和与智能电视系统相连的情感控制系统，所述智能电视系统包括智能电视，所述智能电视外部设有插槽，插槽内设有能够与智能手机相连的接口模块，所述智能电视设有切换模块，接口模块与切换模块相连，智能手机通过接口模块与智能电视相连或分离，然后通过切换模块实现智能电视和智能手机之间的动态切换，智能手机插入插槽内时，智能电视系统切换至智能手机模式，并由智能电视的显示屏显示，智能手机拔出插槽时，智能电视系统切换至普通智能电视模式；

所述智能电视还设有调配模块，调配模块输入端与切换模块相连，调配模块输出端与智能电视处理器相连。

优选地，所述智能电视设有选择模块，选择模块设置在接口模块和切换模块之间。

优选地，所述智能电视设有交互模块，所述交互模块包括获取单元、识别单元、执行单元。

本发明的有益效果为：通过切换模块可以自如的在智能电视模式和智能手机模式之间进行切换，不需要重复安装应用程序，可为智能电视节省大量内存。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明智能电视系统的结构示意图；

图2是本发明情感控制系统的结构示意图。

附图标记：

语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3、控制模块4、声学特征提取子模块11、声学特征降维子模块12、语音情感分类处理子模块13、表情特征提取子模块21、表情特征降维子模块22、表情情感分类处理子模块23。

具体实施方式

结合以下实施例对本发明作进一步描述。

应用场景1

参见图1、图2，本应用场景中的一个具体实施例一种交互性能良好的智能电视系统，其特征是，包括智能电视系统和与智能电视系统相连的情感控制系统，所述智能电视系统包括智能电视，所述智能电视外部设有插槽，插槽内设有能够与智能手机相连的接口模块，所述智能电视设有切换模块，接口模块与切换模块相连，智能手机通过接口模块与智能电视相连或分离，然后通过切换模块实现智能电视和智能手机之间的动态切换，智能手机插入插槽内时，智能电视系统切换至智能手机模式，并由智能电视的显示屏显示，智能手机拔出插槽时，智能电视系统切换至普通智能电视模式；

所述智能电视还设有调配模块，调配模块输入端与切换模块相连，调配模块输出端与智能电视处理器相连。

优选地，所述智能电视设有选择模块，选择模块设置在接口模块和切换模块之间。

本优选实施例通过切换模块可以自如的在智能电视模式和智能手机模式之间进行切换，不需要重复安装应用程序，可为智能电视节省大量内存。

优选地，所述智能电视设有交互模块，所述交互模块包括获取单元、识别单元、执行单元。

本优选实施例方便维修。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制智能电视系统执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制智能电视系统执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制智能电视系统执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_1\max \left(L\right)+{\mathrm{\δ}}_2\min \left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{\mathrm{\α},\mathrm{\β}}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若 选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.4，识别精度相对提高了12％。

应用场景2

参见图1、图2，本应用场景中的一个具体实施例一种交互性能良好的智能电视系统，其特征是，包括智能电视系统和与智能电视系统相连的情感控制系统，所述智能电视系统包括智能电视，所述智能电视外部设有插槽，插槽内设有能够与智能手机相连的接口模块，所述智能电视设有切换模块，接口模块与切换模块相连，智能手机通过接口模块与智能电视相连或分离，然后通过切换模块实现智能电视和智能手机之间的动态切换，智能手机插入插槽内时，智能电视系统切换至智能手机模式，并由智能电视的显示屏显示，智能手机拔出插槽时，智能电视系统切换至普通智能电视模式；

所述智能电视还设有调配模块，调配模块输入端与切换模块相连，调配模块输出端与智能电视处理器相连。

优选地，所述智能电视设有选择模块，选择模块设置在接口模块和切换模块之间。

本优选实施例通过切换模块可以自如的在智能电视模式和智能手机模式之间进行切换，不需要重复安装应用程序，可为智能电视节省大量内存。

优选地，所述智能电视设有交互模块，所述交互模块包括获取单元、识别单元、执行单元。

本优选实施例方便维修。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制智能电视系统执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制智能电视系统执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制智能电视系统执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{\mathrm{\α},\mathrm{\β}}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若 选择q_j(x0_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.45，识别精度相对提高了10％。

应用场景3

参见图1、图2，本应用场景中的一个具体实施例一种交互性能良好的智能电视系统，其特征是，包括智能电视系统和与智能电视系统相连的情感控制系统，所述智能电视系统包括智能电视，所述智能电视外部设有插槽，插槽内设有能够与智能手机相连的接口模块，所述智能电视设有切换模块，接口模块与切换模块相连，智能手机通过接口模块与智能电视相连或分离，然后通过切换模块实现智能电视和智能手机之间的动态切换，智能手机插入插槽内时，智能电视系统切换至智能手机模式，并由智能电视的显示屏显示，智能手机拔出插槽时，智能电视系统切换至普通智能电视模式；

所述智能电视还设有调配模块，调配模块输入端与切换模块相连，调配模块输出端与智能电视处理器相连。

优选地，所述智能电视设有选择模块，选择模块设置在接口模块和切换模块之间。

本优选实施例通过切换模块可以自如的在智能电视模式和智能手机模式之间进行切换，不需要重复安装应用程序，可为智能电视节省大量内存。

优选地，所述智能电视设有交互模块，所述交互模块包括获取单元、识别单元、执行单元。

本优选实施例方便维修。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制智能电视系统执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制智能电视系统执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制智能电视系统执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{\mathrm{\α},\mathrm{\β}}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\Σ}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若 选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.5，识别精度相对提高了15％。

应用场景4

参见图1、图2，本应用场景中的一个具体实施例一种交互性能良好的智能电视系统，其特征是，包括智能电视系统和与智能电视系统相连的情感控制系统，所述智能电视系统包括智能电视，所述智能电视外部设有插槽，插槽内设有能够与智能手机相连的接口模块，所述智能电视设有切换模块，接口模块与切换模块相连，智能手机通过接口模块与智能电视相连或分离，然后通过切换模块实现智能电视和智能手机之间的动态切换，智能手机插入插槽内时，智能电视系统切换至智能手机模式，并由智能电视的显示屏显示，智能手机拔出插槽时，智能电视系统切换至普通智能电视模式；

所述智能电视还设有调配模块，调配模块输入端与切换模块相连，调配模块输出端与智能电视处理器相连。

优选地，所述智能电视设有选择模块，选择模块设置在接口模块和切换模块之间。

本优选实施例通过切换模块可以自如的在智能电视模式和智能手机模式之间进行切换，不需要重复安装应用程序，可为智能电视节省大量内存。

优选地，所述智能电视设有交互模块，所述交互模块包括获取单元、识别单元、执行单元。

本优选实施例方便维修。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制智能电视系统执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制智能电视系统执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制智能电视系统执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{\mathrm{\α},\mathrm{\β}}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\Σ}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若 选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.55，识别精度相对提高了10％。

应用场景5

参见图1、图2，本应用场景中的一个具体实施例一种交互性能良好的智能电视系统，其特征是，包括智能电视系统和与智能电视系统相连的情感控制系统，所述智能电视系统包括智能电视，所述智能电视外部设有插槽，插槽内设有能够与智能手机相连的接口模块，所述智能电视设有切换模块，接口模块与切换模块相连，智能手机通过接口模块与智能电视相连或分离，然后通过切换模块实现智能电视和智能手机之间的动态切换，智能手机插入插槽内时，智能电视系统切换至智能手机模式，并由智能电视的显示屏显示，智能手机拔出插槽时，智能电视系统切换至普通智能电视模式；

所述智能电视还设有调配模块，调配模块输入端与切换模块相连，调配模块输出端与智能电视处理器相连。

优选地，所述智能电视设有选择模块，选择模块设置在接口模块和切换模块之间。

本优选实施例通过切换模块可以自如的在智能电视模式和智能手机模式之间进行切换，不需要重复安装应用程序，可为智能电视节省大量内存。

优选地，所述智能电视设有交互模块，所述交互模块包括获取单元、识别单元、执行单元。

本优选实施例方便维修。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制智能电视系统执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制智能电视系统执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制智能电视系统执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点W_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{\mathrm{\α},\mathrm{\β}}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若 选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.6，识别精度相对提高了8％。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种交互性能良好的智能电视系统，其特征是，包括智能电视系统和与智能电视系统相连的情感控制系统，所述智能电视系统包括智能电视，所述智能电视外部设有插槽，插槽内设有能够与智能手机相连的接口模块，所述智能电视设有切换模块，接口模块与切换模块相连，智能手机通过接口模块与智能电视相连或分离，然后通过切换模块实现智能电视和智能手机之间的动态切换，智能手机插入插槽内时，智能电视系统切换至智能手机模式，并由智能电视的显示屏显示，智能手机拔出插槽时，智能电视系统切换至普通智能电视模式；

所述智能电视还设有调配模块，调配模块输入端与切换模块相连，调配模块输出端与智能电视处理器相连。

2.根据权利要求1所述的一种交互性能良好的智能电视系统，其特征是，所述智能电视设有选择模块，选择模块设置在接口模块和切换模块之间。

3.根据权利要求2所述的一种交互性能良好的智能电视系统，其特征是，所述智能电视设有交互模块，所述交互模块包括获取单元、识别单元、执行单元。