CN106027712A - 一种交互性能良好的镶嵌式手机 - Google Patents

Abstract

本发明提供了一种交互性能良好的镶嵌式手机，其特征是，包括镶嵌式手机和与镶嵌式手机相连的情感控制系统，所述镶嵌式手机包括主手机和子手机。本发明既能满足手机通话功能、不用办理多卡浪费资费、且能同时满足手机娱乐功能下对通话功能续航保障。

Description

一种交互性能良好的镶嵌式手机

技术领域

本发明涉及手机领域，具体涉及一种交互性能良好的镶嵌式手机。

背景技术

手机极大的方便了人们的生活，随着人们对手机的要求越来越高，如何同时满足娱乐功能和通话功能亟待解决。

情感在人们相互交际过程中起着极其重要的作用。借助情感表达所伴随着的外在表现信息，如情感化的语音信号或面部表情，人们可以很方便地相互沟通、相互了解。对于人类情感方面的研究，一直是生理学、神经学、心理学等领域的重要研究方向，近几年来倍受工程领域研究者的关注。当前，对于单模态情感研究较多，但是对于多模态情感融合的研究较为有限。

发明内容

针对上述问题，本发明提供一种交互性能良好的镶嵌式手机。

本发明的目的采用以下技术方案来实现：

一种交互性能良好的镶嵌式手机，其特征是，包括镶嵌式手机和与镶嵌式手机相连的情感控制系统，所述镶嵌式手机包括主手机和子手机，所述子手机可拆卸嵌接在主手机上且二者通讯连接，所述子手机包括子手机壳体，所述子手机壳体上设置有子手机显示屏，所述子手机壳体内设有子手机PCB板、子手机电源、SIM卡插槽；所述子手机PCB板上设有第一控制芯片、第二控制芯片、通讯模块和驱动模块；所述主手机包括主手机壳体，所述主手机壳体上设置有主手机显示屏，所述主手机壳体内设置有主手机PCB板和主手机电源，所述主手机PCB板上设置有主手机控制芯片；

所述子手机与主手机分离时，所述子手机电源联通子手机PCB板并给第一控制芯片、第二控制芯片、通讯模块和驱动模块供电；

所述子手机与主手机嵌接时，所述子手机切断子手机电源与第一控制芯片和通讯模块的供电且通过主手机电源给通讯模块供电并给子手机充电。

优选地，所述主手机壳体包括面壳和背板，所述背板上有凹槽，所述凹槽内设有与主手机PCB板连接的主手机连接通讯端口，所述子手机嵌接在凹槽内且所述子手机通过主手机连接通讯端口与主手机PCB板电连接，所述子手机通过定位件定位固定在凹槽内。

优选地，所述定位件设置在凹槽顶部两侧，所述定位件底面与凹槽底面之间的间距与子手机两侧对应厚度配合使得所述定位件分别压紧所述子手机两侧将子手机限位且固定在凹槽内。

本发明的有益效果为：既能满足手机通话功能、不用办理多卡浪费资费、且能同时满足手机娱乐功能下对通话功能续航保障。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明镶嵌式手机的结构示意图；

图2是本发明情感控制系统的结构示意图。

附图标记：

语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3、控制模块4、声学特征提取子模块11、声学特征降维子模块12、语音情感分类处理子模块13、表情特征提取子模块21、表情特征降维子模块22、表情情感分类处理子模块23。

具体实施方式

结合以下实施例对本发明作进一步描述。

应用场景1

参见图1、图2，本应用场景中的一个具体实施例一种交互性能良好的镶嵌式手机，其特征是，包括镶嵌式手机和与镶嵌式手机相连的情感控制系统，所述镶嵌式手机包括主手机和子手机，所述子手机可拆卸嵌接在主手机上且二者通讯连接，所述子手机包括子手机壳体，所述子手机壳体上设置有子手机显示屏，所述子手机壳体内设有子手机PCB板、子手机电源、SIM卡插槽；所述子手机PCB板上设有第一控制芯片、第二控制芯片、通讯模块和驱动模块；所述主手机包括主手机壳体，所述主手机壳体上设置有主手机显示屏，所述主手机壳体内设置有主手机PCB板和主手机电源，所述主手机PCB板上设置有主手机控制芯片；

所述子手机与主手机分离时，所述子手机电源联通子手机PCB板并给第一控制芯片、第二控制芯片、通讯模块和驱动模块供电；

所述子手机与主手机嵌接时，所述子手机切断子手机电源与第一控制芯片和通讯模块的供电且通过主手机电源给通讯模块供电并给子手机充电。

优选地，所述主手机壳体包括面壳和背板，所述背板上有凹槽，所述凹槽内设有与主手机PCB板连接的主手机连接通讯端口，所述子手机嵌接在凹槽内且所述子手机通过主手机连接通讯端口与主手机PCB板电连接，所述子手机通过定位件定位固定在凹槽内。

本优选实施例与现在镶嵌式手机相比，既能满足手机通话功能、不用办理多卡浪费资费、且能同时满足手机娱乐功能下对通话功能续航保障。

优选地，所述定位件设置在凹槽顶部两侧，所述定位件底面与凹槽底面之间的间距与子手机两侧对应厚度配合使得所述定位件分别压紧所述子手机两侧将子手机限位且固定在凹槽内。

本优选实施例方便用户使用。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制镶嵌式手机执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制镶嵌式手机执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制镶嵌式手机执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{{\mathrm{\α\β}}^z}}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若q_j(x)_max≤选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.4，识别精度相对提高了12％。

应用场景2

参见图1、图2，本应用场景中的一个具体实施例一种交互性能良好的镶嵌式手机，其特征是，包括镶嵌式手机和与镶嵌式手机相连的情感控制系统，所述镶嵌式手机包括主手机和子手机，所述子手机可拆卸嵌接在主手机上且二者通讯连接，所述子手机包括子手机壳体，所述子手机壳体上设置有子手机显示屏，所述子手机壳体内设有子手机PCB板、子手机电源、SIM卡插槽；所述子手机PCB板上设有第一控制芯片、第二控制芯片、通讯模块和驱动模块；所述主手机包括主手机壳体，所述主手机壳体上设置有主手机显示屏，所述主手机壳体内设置有主手机PCB板和主手机电源，所述主手机PCB板上设置有主手机控制芯片；

所述子手机与主手机分离时，所述子手机电源联通子手机PCB板并给第一控制芯片、第二控制芯片、通讯模块和驱动模块供电；

所述子手机与主手机嵌接时，所述子手机切断子手机电源与第一控制芯片和通讯模块的供电且通过主手机电源给通讯模块供电并给子手机充电。

优选地，所述主手机壳体包括面壳和背板，所述背板上有凹槽，所述凹槽内设有与主手机PCB板连接的主手机连接通讯端口，所述子手机嵌接在凹槽内且所述子手机通过主手机连接通讯端口与主手机PCB板电连接，所述子手机通过定位件定位固定在凹槽内。

本优选实施例与现在镶嵌式手机相比，既能满足手机通话功能、不用办理多卡浪费资费、且能同时满足手机娱乐功能下对通话功能续航保障。

优选地，所述定位件设置在凹槽顶部两侧，所述定位件底面与凹槽底面之间的间距与子手机两侧对应厚度配合使得所述定位件分别压紧所述子手机两侧将子手机限位且固定在凹槽内。

本优选实施例方便用户使用。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制镶嵌式手机执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制镶嵌式手机执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制镶嵌式手机执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{{\mathrm{\α\β}}^z}}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若q_j(x)_max≤选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.45，识别精度相对提高了10％。

应用场景3

参见图1、图2，本应用场景中的一个具体实施例一种交互性能良好的镶嵌式手机，其特征是，包括镶嵌式手机和与镶嵌式手机相连的情感控制系统，所述镶嵌式手机包括主手机和子手机，所述子手机可拆卸嵌接在主手机上且二者通讯连接，所述子手机包括子手机壳体，所述子手机壳体上设置有子手机显示屏，所述子手机壳体内设有子手机PCB板、子手机电源、SIM卡插槽；所述子手机PCB板上设有第一控制芯片、第二控制芯片、通讯模块和驱动模块；所述主手机包括主手机壳体，所述主手机壳体上设置有主手机显示屏，所述主手机壳体内设置有主手机PCB板和主手机电源，所述主手机PCB板上设置有主手机控制芯片；

所述子手机与主手机分离时，所述子手机电源联通子手机PCB板并给第一控制芯片、第二控制芯片、通讯模块和驱动模块供电；

所述子手机与主手机嵌接时，所述子手机切断子手机电源与第一控制芯片和通讯模块的供电且通过主手机电源给通讯模块供电并给子手机充电。

优选地，所述主手机壳体包括面壳和背板，所述背板上有凹槽，所述凹槽内设有与主手机PCB板连接的主手机连接通讯端口，所述子手机嵌接在凹槽内且所述子手机通过主手机连接通讯端口与主手机PCB板电连接，所述子手机通过定位件定位固定在凹槽内。

本优选实施例与现在镶嵌式手机相比，既能满足手机通话功能、不用办理多卡浪费资费、且能同时满足手机娱乐功能下对通话功能续航保障。

优选地，所述定位件设置在凹槽顶部两侧，所述定位件底面与凹槽底面之间的间距与子手机两侧对应厚度配合使得所述定位件分别压紧所述子手机两侧将子手机限位且固定在凹槽内。

本优选实施例方便用户使用。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制镶嵌式手机执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制镶嵌式手机执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制镶嵌式手机执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{{\mathrm{\α\β}}^z}}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若q_j(x)_mαx≤选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.5，识别精度相对提高了15％。

应用场景4

参见图1、图2，本应用场景中的一个具体实施例一种交互性能良好的镶嵌式手机，其特征是，包括镶嵌式手机和与镶嵌式手机相连的情感控制系统，所述镶嵌式手机包括主手机和子手机，所述子手机可拆卸嵌接在主手机上且二者通讯连接，所述子手机包括子手机壳体，所述子手机壳体上设置有子手机显示屏，所述子手机壳体内设有子手机PCB板、子手机电源、SIM卡插槽；所述子手机PCB板上设有第一控制芯片、第二控制芯片、通讯模块和驱动模块；所述主手机包括主手机壳体，所述主手机壳体上设置有主手机显示屏，所述主手机壳体内设置有主手机PCB板和主手机电源，所述主手机PCB板上设置有主手机控制芯片；

所述子手机与主手机分离时，所述子手机电源联通子手机PCB板并给第一控制芯片、第二控制芯片、通讯模块和驱动模块供电；

所述子手机与主手机嵌接时，所述子手机切断子手机电源与第一控制芯片和通讯模块的供电且通过主手机电源给通讯模块供电并给子手机充电。

优选地，所述主手机壳体包括面壳和背板，所述背板上有凹槽，所述凹槽内设有与主手机PCB板连接的主手机连接通讯端口，所述子手机嵌接在凹槽内且所述子手机通过主手机连接通讯端口与主手机PCB板电连接，所述子手机通过定位件定位固定在凹槽内。

本优选实施例与现在镶嵌式手机相比，既能满足手机通话功能、不用办理多卡浪费资费、且能同时满足手机娱乐功能下对通话功能续航保障。

优选地，所述定位件设置在凹槽顶部两侧，所述定位件底面与凹槽底面之间的间距与子手机两侧对应厚度配合使得所述定位件分别压紧所述子手机两侧将子手机限位且固定在凹槽内。

本优选实施例方便用户使用。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制镶嵌式手机执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制镶嵌式手机执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制镶嵌式手机执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{{\mathrm{\α\β}}^z}}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若q_j(x)_max≤选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.55，识别精度相对提高了10％。

应用场景5

参见图1、图2，本应用场景中的一个具体实施例一种交互性能良好的镶嵌式手机，其特征是，包括镶嵌式手机和与镶嵌式手机相连的情感控制系统，所述镶嵌式手机包括主手机和子手机，所述子手机可拆卸嵌接在主手机上且二者通讯连接，所述子手机包括子手机壳体，所述子手机壳体上设置有子手机显示屏，所述子手机壳体内设有子手机PCB板、子手机电源、SIM卡插槽；所述子手机PCB板上设有第一控制芯片、第二控制芯片、通讯模块和驱动模块；所述主手机包括主手机壳体，所述主手机壳体上设置有主手机显示屏，所述主手机壳体内设置有主手机PCB板和主手机电源，所述主手机PCB板上设置有主手机控制芯片；

所述子手机与主手机分离时，所述子手机电源联通子手机PCB板并给第一控制芯片、第二控制芯片、通讯模块和驱动模块供电；

所述子手机与主手机嵌接时，所述子手机切断子手机电源与第一控制芯片和通讯模块的供电且通过主手机电源给通讯模块供电并给子手机充电。

优选地，所述主手机壳体包括面壳和背板，所述背板上有凹槽，所述凹槽内设有与主手机PCB板连接的主手机连接通讯端口，所述子手机嵌接在凹槽内且所述子手机通过主手机连接通讯端口与主手机PCB板电连接，所述子手机通过定位件定位固定在凹槽内。

本优选实施例与现在镶嵌式手机相比，既能满足手机通话功能、不用办理多卡浪费资费、且能同时满足手机娱乐功能下对通话功能续航保障。

优选地，所述定位件设置在凹槽顶部两侧，所述定位件底面与凹槽底面之间的间距与子手机两侧对应厚度配合使得所述定位件分别压紧所述子手机两侧将子手机限位且固定在凹槽内。

本优选实施例方便用户使用。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制镶嵌式手机执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制镶嵌式手机执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制镶嵌式手机执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{{\mathrm{\α\β}}^z}}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若q_j(x)_max≤选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.6，识别精度相对提高了8％。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种交互性能良好的镶嵌式手机，其特征是，包括镶嵌式手机和与镶嵌式手机相连的情感控制系统，所述镶嵌式手机包括主手机和子手机，所述子手机可拆卸嵌接在主手机上且二者通讯连接，所述子手机包括子手机壳体，所述子手机壳体上设置有子手机显示屏，所述子手机壳体内设有子手机PCB板、子手机电源、SIM卡插槽；所述子手机PCB板上设有第一控制芯片、第二控制芯片、通讯模块和驱动模块；所述主手机包括主手机壳体，所述主手机壳体上设置有主手机显示屏，所述主手机壳体内设置有主手机PCB板和主手机电源，所述主手机PCB板上设置有主手机控制芯片；

所述子手机与主手机分离时，所述子手机电源联通子手机PCB板并给第一控制芯片、第二控制芯片、通讯模块和驱动模块供电；

所述子手机与主手机嵌接时，所述子手机切断子手机电源与第一控制芯片和通讯模块的供电且通过主手机电源给通讯模块供电并给子手机充电。

2.根据权利要求1所述的一种交互性能良好的镶嵌式手机，其特征是，所述主手机壳体包括面壳和背板，所述背板上有凹槽，所述凹槽内设有与主手机PCB板连接的主手机连接通讯端口，所述子手机嵌接在凹槽内且所述子手机通过主手机连接通讯端口与主手机PCB板电连接，所述子手机通过定位件定位固定在凹槽内。

3.根据权利要求2所述的一种交互性能良好的镶嵌式手机，其特征是，所述定位件设置在凹槽顶部两侧，所述定位件底面与凹槽底面之间的间距与子手机两侧对应厚度配合使得所述定位件分别压紧所述子手机两侧将子手机限位且固定在凹槽内。