CN106239533A - 一种通过情感控制的机器人 - Google Patents

Abstract

本发明提供了一种通过情感控制的机器人，其特征是，包括机器人和与机器人相连的情感控制系统，所述机器人包括：底盘、机器人外壳和机器人手臂。本发明操作方便、功能多样、灵活性好、使用效果好、设计人性化。

Description

一种通过情感控制的机器人

技术领域

本发明涉及机器人领域，具体涉及一种通过情感控制的机器人。

背景技术

机器人是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类工作的工作，目前在工业、医学、农业甚至军事等领域中均等有重要用途。

情感在人们相互交际过程中起着极其重要的作用。借助情感表达所伴随着的外在表现信息，如情感化的语音信号或面部表情，人们可以很方便地相互沟通、相互了解。对于人类情感方面的研究，一直是生理学、神经学、心理学等领域的重要研究方向，近几年来倍受工程领域研究者的关注。当前，对于单模态情感研究较多，但是对于多模态情感融合的研究较为有限。

发明内容

针对上述问题，本发明提供一种通过情感控制的机器人。

本发明的目的采用以下技术方案来实现：

一种通过情感控制的机器人，其特征是，包括机器人和与机器人相连的情感控制系统，所述机器人包括：底盘、机器人外壳和机器人手臂，所述底盘上安装有直流无刷电机、驱动轮、轴支架、二层支柱，所述轴支架一侧设置有用于支撑直流无刷电机的电机支架，所述二层支柱上安装有二层支撑板，所述二层支撑板上部左右两侧分别安装电机驱动器，所述二层支撑板下部设置有减震弹簧，所述二层支撑板上部中间位置安装三层支柱，所述三层支柱上部设置三层支撑板，所述三层支撑板上部安装机器人控制单元，所述机器人控制单元包括主控制板和设置在主控制板上的保险、继电器、空气开关、WIFI模块、天线；所述机器人外壳上设置有电源开关、急停开关、操作触摸屏和光电传感器。

优选地，所述底盘上还设置有LMS激光传感器。

优选地，所述机器人手臂上设置有用户触摸屏。

本发明的有益效果为：操作方便、功能多样、灵活性好、使用效果好、设计人性化。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明机器人的结构示意图；

图2是本发明情感控制系统的结构示意图。

附图标记：

语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3、控制模块4、声学特征提取子模块11、声学特征降维子模块12、语音情感分类处理子模块13、表情特征提取子模块21、表情特征降维子模块22、表情情感分类处理子模块23。

具体实施方式

结合以下实施例对本发明作进一步描述。

应用场景1

参见图1、图2，本应用场景中的一个具体实施例一种通过情感控制的机器人，其特征是，包括机器人和与机器人相连的情感控制系统，所述机器人包括：底盘、机器人外壳和机器人手臂，所述底盘上安装有直流无刷电机、驱动轮、轴支架、二层支柱，所述轴支架一侧设置有用于支撑直流无刷电机的电机支架，所述二层支柱上安装有二层支撑板，所述二层支撑板上部左右两侧分别安装电机驱动器，所述二层支撑板下部设置有减震弹簧，所述二层支撑板上部中间位置安装三层支柱，所述三层支柱上部设置三层支撑板，所述三层支撑板上部安装机器人控制单元，所述机器人控制单元包括主控制板和设置在主控制板上的保险、继电器、空气开关、WIFI模块、天线；所述机器人外壳上设置有电源开关、急停开关、操作触摸屏和光电传感器。

优选地，所述底盘上还设置有LMS激光传感器。

本优选实施例通过引入数据透传技术，操作方便、功能多样、灵活性好、使用效果好、设计人性化。

优选地，所述机器人手臂上设置有用户触摸屏。

本优选实施例更加方便客户体验。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制机器人执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制机器人执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制机器人执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{\mathrm{\α},\mathrm{\β}}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,_j(x)_max-2，若 选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.4，识别精度相对提高了12％。

应用场景2

参见图1、图2，本应用场景中的一个具体实施例一种通过情感控制的机器人，其特征是，包括机器人和与机器人相连的情感控制系统，所述机器人包括：底盘、机器人外壳和机器人手臂，所述底盘上安装有直流无刷电机、驱动轮、轴支架、二层支柱，所述轴支架一侧设置有用于支撑直流无刷电机的电机支架，所述二层支柱上安装有二层支撑板，所述二层支撑板上部左右两侧分别安装电机驱动器，所述二层支撑板下部设置有减震弹簧，所述二层支撑板上部中间位置安装三层支柱，所述三层支柱上部设置三层支撑板，所述三层支撑板上部安装机器人控制单元，所述机器人控制单元包括主控制板和设置在主控制板上的保险、继电器、空气开关、WIFI模块、天线；所述机器人外壳上设置有电源开关、急停开关、操作触摸屏和光电传感器。

优选地，所述底盘上还设置有LMS激光传感器。

本优选实施例通过引入数据透传技术，操作方便、功能多样、灵活性好、使用效果好、设计人性化。

优选地，所述机器人手臂上设置有用户触摸屏。

本优选实施例更加方便客户体验。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制机器人执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制机器人执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制机器人执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{\mathrm{\α},\mathrm{\β}}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,_j(x)_max-2，若 选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.45，识别精度相对提高了10％。

应用场景3

参见图1、图2，本应用场景中的一个具体实施例一种通过情感控制的机器人，其特征是，包括机器人和与机器人相连的情感控制系统，所述机器人包括：底盘、机器人外壳和机器人手臂，所述底盘上安装有直流无刷电机、驱动轮、轴支架、二层支柱，所述轴支架一侧设置有用于支撑直流无刷电机的电机支架，所述二层支柱上安装有二层支撑板，所述二层支撑板上部左右两侧分别安装电机驱动器，所述二层支撑板下部设置有减震弹簧，所述二层支撑板上部中间位置安装三层支柱，所述三层支柱上部设置三层支撑板，所述三层支撑板上部安装机器人控制单元，所述机器人控制单元包括主控制板和设置在主控制板上的保险、继电器、空气开关、WIFI模块、天线；所述机器人外壳上设置有电源开关、急停开关、操作触摸屏和光电传感器。

优选地，所述底盘上还设置有LMS激光传感器。

本优选实施例通过引入数据透传技术，操作方便、功能多样、灵活性好、使用效果好、设计人性化。

优选地，所述机器人手臂上设置有用户触摸屏。

本优选实施例更加方便客户体验。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制机器人执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制机器人执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制机器人执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{\mathrm{\α},\mathrm{\β}}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若 选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.5，识别精度相对提高了15％。

应用场景4

参见图1、图2，本应用场景中的一个具体实施例一种通过情感控制的机器人，其特征是，包括机器人和与机器人相连的情感控制系统，所述机器人包括：底盘、机器人外壳和机器人手臂，所述底盘上安装有直流无刷电机、驱动轮、轴支架、二层支柱，所述轴支架一侧设置有用于支撑直流无刷电机的电机支架，所述二层支柱上安装有二层支撑板，所述二层支撑板上部左右两侧分别安装电机驱动器，所述二层支撑板下部设置有减震弹簧，所述二层支撑板上部中间位置安装三层支柱，所述三层支柱上部设置三层支撑板，所述三层支撑板上部安装机器人控制单元，所述机器人控制单元包括主控制板和设置在主控制板上的保险、继电器、空气开关、WIFI模块、天线；所述机器人外壳上设置有电源开关、急停开关、操作触摸屏和光电传感器。

优选地，所述底盘上还设置有LMS激光传感器。

本优选实施例通过引入数据透传技术，操作方便、功能多样、灵活性好、使用效果好、设计人性化。

优选地，所述机器人手臂上设置有用户触摸屏。

本优选实施例更加方便客户体验。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制机器人执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制机器人执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制机器人执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{\mathrm{\α},\mathrm{\β}}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若 选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.55，识别精度相对提高了10％。

应用场景5

参见图1、图2，本应用场景中的一个具体实施例一种通过情感控制的机器人，其特征是，包括机器人和与机器人相连的情感控制系统，所述机器人包括：底盘、机器人外壳和机器人手臂，所述底盘上安装有直流无刷电机、驱动轮、轴支架、二层支柱，所述轴支架一侧设置有用于支撑直流无刷电机的电机支架，所述二层支柱上安装有二层支撑板，所述二层支撑板上部左右两侧分别安装电机驱动器，所述二层支撑板下部设置有减震弹簧，所述二层支撑板上部中间位置安装三层支柱，所述三层支柱上部设置三层支撑板，所述三层支撑板上部安装机器人控制单元，所述机器人控制单元包括主控制板和设置在主控制板上的保险、继电器、空气开关、WIFI模块、天线；所述机器人外壳上设置有电源开关、急停开关、操作触摸屏和光电传感器。

优选地，所述底盘上还设置有LMS激光传感器。

本优选实施例通过引入数据透传技术，操作方便、功能多样、灵活性好、使用效果好、设计人性化。

优选地，所述机器人手臂上设置有用户触摸屏。

本优选实施例更加方便客户体验。

优选地，所述情感控制系统包括语音情感识别处理模块1、表情情感识别处理模块2、多模态情感融合识别处理模块3和控制模块4：

(1)语音情感识别处理模块1，用于获取用户的语音信号，并对语音信号进行处理，最终输出语音情感识别结果，其包括声学特征提取子模块11、声学特征降维子模块12和语音情感分类处理子模块13；所述声学特征提取子模块11用于提取声学特征数据；所述声学特征降维子模块12用于采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理；所述语音情感分类处理子模块13用于采用已训练好的支持向量机作为语音情感识别分类器，对降维后的声学特征数据进行情感识别并输出语音情感识别结果，支持向量机的核函数采用高斯核函数；

(2)表情情感识别处理模块2，用于获取用户的表情图像，并对表情图像特征进行处理，最终生成表情情感识别结果，其包括表情特征提取子模块21、表情特征降维子模块22和表情情感分类处理子模块23；所述表情特征提取子模块21用于采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取；所述表情特征降维子模块22用于采用所述改进的局部线性嵌入方法对所述表情特征数据进行降维处理，并采用形态学处理方法做滤波处理；所述表情情感分类处理子模块23用于采用已训练好的稀疏分类器作为表情情感识别分类器，对降维、滤波处理后的表情特征数据进行情感识别并输出表情情感识别结果；

(3)多模态情感融合识别处理模块3，用于基于所述语音情感识别结果和表情情感识别结果，根据预定的多模态情感融合策略生成用户情感识别结果；

(4)控制模块，用于根据所述用户情感识别结果，在验证用户身份的前提下控制机器人执行相应的操作。

本优选实施例设置多模态情感融合识别处理模块3，基于所述语音情感识别结果和表情情感识别结果，增强了识别结果的可靠性。

优选地，所述用户情感识别结果包括高级别和低级别的褒义情感，中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型。

所述在验证用户身份的前提下控制机器人执行相应的操作，具体为：所述控制模块基于预先设置的语音特征数据库，匹配所述用户的语音信号的语音特征，从而进行用户身份验证，若验证通过，控制模块控制机器人执行相应的操作。

所述采用改进的局部线性嵌入方法对所述声学特征数据进行降维处理，包括：

(1)将提取的声学特征数据中的声学特征向量看成是高维空间中的样本数据点，设M维的N个样本数据点为X_i，X_i∈R^M，i∈[1，N]，类别号为C_i，嵌入输出的N个m维的降维数据点为Y_i，Y_i∈R^m，i∈[1，N]，m≤M，且m值的范围为[2,20]，对每个样本数据点X_i确定其邻域点的数目K，邻域点的距离公式为：

$L^{\′}=\left\{\begin{array}{cc}1-e^{-\frac{L}{\sqrt{\mathrm{\λ}}}},& C_i=C_j\\ L+{\mathrm{\δ}}_{1}max\left(L\right)+{\mathrm{\δ}}_{2}min\left(L\right),& C_i\≠C_j\end{array}\right.$

式中，L′是结合样本数据点类别信息计算后的距离，L是忽略样本数据点类别信息的原始欧氏距离，参数λ用来防止L过快增长，max(L)表示最大欧氏距离，min(L)表示最小欧式距离，常数因子δ₁、δ₂(0≤δ₁、δ₂≤1)，共同控制距离计算时样本数据点类别信息的结合数量程度；

(2)利用每个样本数据点X_i的邻域点计算出样本数据点的局部重建权值矩阵W_ij，要求最小化下列损失函数：

$s\left(W\right)={\mathrm{\Σ}}_{i=1}^N\left|\right|X_i-{\mathrm{\Σ}}_{j=1}^K{W}_{ij}{X}_j|{|}^2$

式中，W_ij为X_i与X_j之间的权值，且需满足对X_i的非邻域点，W_ij＝0；

(3)计算各样本数据点X_i的K个邻域点的权重之和：

$Q_{ij}={\mathrm{\Σ}}_{j=1}^K{Z}_{ij}$

其中，

式中，Z_ij为各邻域点之间的加权矩阵，d(X_i,X_j)表示样本数据点间的Fisher投影距离，ξ为可调参数；

(4)利用该样本数据点的局部重建权值矩阵W_ij以及其邻域点计算出该样本数据点的输出值，具体是将所有的样本数据点X_i映射嵌入到低维空间中，并使得低维重构的误差达到最小，要求最小化下列损失函数：

$\mathrm{\ω}\left(Y\right)={\mathrm{\Σ}}_{i=1}^N{Q}_{ij}\left|\right|Y_i-\underset{X_j\∈\mathrm{\Ω}\left(X_i\right)}{\Σ}{W}_{ij}{Y}_j|{|}^2=tr\left({\mathrm{YMY}}^T\right)$

式中，需满足其中构建一个稀疏矩阵M＝(I-W)^T(I-W)，通过求解这个稀疏矩阵的前m个最小的非零特征值所对应的特征向量作为样本数据点X_i的嵌入输出值。

所述自适应二维Gabor小波变换方法中的Gabor滤波器的核函数定义为：

${\mathrm{\Φ}}_{\mathrm{\α},\mathrm{\β}}=\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|k_{\mathrm{\α},\mathrm{\β}}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}}\[e^{{\mathrm{ik}}_{\mathrm{\α},\mathrm{\β}}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}\]$

式中，α、β分别表示核函数的方向和频率大小，α、β按照按如下方法设置：当表情图像质量较好时，选取三个中心频率β＝{0，1，2}和六个方向α＝{0，1，…，5}组成的18个Gabor滤波器用于特征提取；当表情图像受到腐蚀、遮挡时，选取四个中心频率β＝{0，1…，3}和八个方向α＝{0，1，…，7}组成的32个Gabor滤波器用于特征提取；

σ表示采用高斯函数窗口的大小，用来决定滤波器的带宽，σ能够根据参数设置进行自适应调整：将表情图像分成v×v子块，根据每个子块特征数目选择σ，特征数目大的子块设定σ＝π，特征数目少的子块设定σ＝2π；

k_α,β为小波矢量，其中，k_β和分别表示Gabor滤波器在频率和方向空间的采样方式。

所述预定的多模态情感融合策略为：

设已经计算出一个测试样本x对于c类的分类情况下，采用n个分类器进行分类得到的后验概率集合为{p_ij(x)，i＝1,2,…,n,j＝1,2,…,c}，对n个分类器取得的后验概率按照方差规则集成得到一个新的后验概率集合{q_j(x)，j＝1,2,…,c}，从中按照预定的挑选规则挑选出合适的后验概率值所对应的类别作为要输出的用户情感识别结果；

对于j类测试样本，按照方差规则获得的新的后验概率q_j(x)可表示为：

$q_j\left(x\right)=\frac{q_j^{\′}\left(x\right)}{{\mathrm{\Σ}}_j{q}_j^{\′}\left(x\right)}$

式中，

$q_j^{\′}\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(p_{ij}\right(x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{p}_{ij}(x\left)\right)}^2$

对于j类测试样本，最终所获得的识别类别可表示为：

ρ(x)＝argmax_j(q_j(x))

其中，所述预定的挑选规则为：将所述新的后验概率集合中的后验概率值按照从大到小顺序进行排列的前3个后验概率值为q_j(x)_max,q_j(x)_max-1,q_j(x)_max-2，若 选择q_j(x)_max作为合适的后验概率值，否则选择q_j(x)_max-1作为合适的后验概率值,其中Q_q为设定的后验概率权值，取值范围为[1.4,1.6]。

本优选实施例设置改进的局部线性嵌入方法，需要确定的参数比较少，只有邻域数k和输出维数d，大大减少了运算量，且可以学习出任意维数的低维流形，提高了识别速度；采用自适应二维Gabor小波变换方法对表情图像中的表情特征进行提取，具有旋转、平移以及伸缩变换条件下不变的性质，而且能得到一个解析的全局最优解；在声学特征降维子模块12对声学特征数据进行降维处理的过程中，计算各样本数据点X_i的K个邻域点的权重之和，并将其考虑到低维重构的损失函数中，降低了噪声的影响和数据样本外点对降维的干扰，进一步提高了情感识别的精度；设置预定的多模态情感融合策略，并根据多模态情感融合策略生成用户情感识别结果，使识别结果更加可靠准确。

本应用场景设定后验概率权值为Q_q＝1.6，识别精度相对提高了8％。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种通过情感控制的机器人，其特征是，包括机器人和与机器人相连的情感控制系统，所述机器人包括：底盘、机器人外壳和机器人手臂，所述底盘上安装有直流无刷电机、驱动轮、轴支架、二层支柱，所述轴支架一侧设置有用于支撑直流无刷电机的电机支架，所述二层支柱上安装有二层支撑板，所述二层支撑板上部左右两侧分别安装电机驱动器，所述二层支撑板下部设置有减震弹簧，所述二层支撑板上部中间位置安装三层支柱，所述三层支柱上部设置三层支撑板，所述三层支撑板上部安装机器人控制单元，所述机器人控制单元包括主控制板和设置在主控制板上的保险、继电器、空气开关、WIFI模块、天线；所述机器人外壳上设置有电源开关、急停开关、操作触摸屏和光电传感器。

2.根据权利要求1所述的一种通过情感控制的机器人，其特征是，所述底盘上还设置有LMS激光传感器。

3.根据权利要求2所述的一种通过情感控制的机器人，其特征是，所述机器人手臂上设置有用户触摸屏。