CN106914903A - 一种面向智能机器人的交互系统 - Google Patents

Abstract

一种面向智能机器人的交互系统，包括应答状态确定子系统和交互处理子系统，所述应答状态确定子系统包括状态确定装置和情绪识别装置，所述状态确定装置用于根据获取到的用户输入的交互应答信息判断用户是否对当前交互话题做出回答，得到用户的应答状态，所述情绪识别装置根据获取到的用户图像信息得到用户的情绪状态；所述交互处理子系统，用于根据所述应答状态和情绪状态，生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号。本发明的有益效果为：机器人能够根据用户情绪状态，做出更加合理以及人性化的表达，从而提高了用户体验。

Description

一种面向智能机器人的交互系统

技术领域

本发明创造涉及人机交互技术领域，具体涉及一种面向智能机器人的交互系统。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人。

目前在情感计算领域己出现了诸多情感模型，但大多仅适用于离散状态下的情感计算，对于人与服务机器人的自然交互过程中，认知情绪状态的连续时空特性仍无法满足。

发明内容

针对上述问题，本发明旨在提供一种面向智能机器人的交互系统。

本发明创造的目的通过以下技术方案实现：

一种面向智能机器人的交互系统，包括应答状态确定子系统和交互处理子系统，所述应答状态确定子系统包括状态确定装置和情绪识别装置，所述状态确定装置用于根据获取到的用户输入的交互应答信息判断用户是否对当前交互话题做出回答，得到用户的应答状态，所述情绪识别装置根据获取到的用户图像信息得到用户的情绪状态；

所述交互处理子系统，用于根据所述应答状态和情绪状态，生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号。

本发明的有益效果为：机器人能够根据用户情绪状态，做出更加合理以及人性化的表达，从而提高了用户体验。

附图说明

利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明结构示意图。

附图标记：

应答状态确定子系统1，交互处理子系统2。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1，本实施例的一种面向智能机器人的交互系统，包括应答状态确定子系统1和交互处理子系统2，应答状态确定子系统1包括状态确定装置和情绪识别装置，所述状态确定装置用于根据获取到的用户输入的交互应答信息判断用户是否对当前交互话题做出回答，得到用户的应答状态，所述情绪识别装置根据获取到的用户图像信息得到用户的情绪状态；

交互处理子系统2，用于根据所述应答状态和情绪状态，生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号。

本实施例机器人能够根据用户情绪状态，做出更加合理以及人性化的表达，从而提高了用户体验。

优选的，所述应答状态确定子系统1配置为判断在预设时长内所述用户是否对所述当前交互话题进行了回答，如未进行回答，则判定所述用户的应答状态为未做应答，

如所述用户的应答状态为未做应答，所述交互处理子系统2配置为根据在所述预设时长内所获取到的用户图像信息确定所述用户的情绪状态，并根据所述情绪状态生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号。

本优选实施例提供了用户未做应答时的系统配置方法。

优选的，所述情绪识别装置包括第一识别模块、第二识别模块和融合识别模块，所述第一识别模块用于将表情情绪映射到连续的情感空间进行识别，所述第二识别模块用于对细微的情绪变化进行识别，所述融合识别模块用于确定情绪状态；

其中，第一识别模块通过以下步骤对表情进行识别：

步骤1：使用方向梯度直方图对输入图像表情特征进行提取，根据特征维数建立多维表情空间，设表情空间中基本表情Bx_i的中心点为Bx_ic，i＝1，2，…，n，表情空间中某表情点s处的该基本表情的势能定义为：上述式子中，||·||表示输入表情与基本表情的欧式距离，α为基本表情的衰减因子；

步骤2：表情空间中，表情点s的势能定义为：

RL(s)＝[RL(s，Bx₁)，RL(s，Bx₂)，…，RL(s，Bx_n)]，

上述式子中，Bx_i表示第i个基本表情，i＝1，2，…，n，E(s)为由表情点s相对各基本表情势能组成的向量，由此确定表情点s的表情。

本优选实施例在实际人机交互过程中，基于多种基本表情的混合表情不可避免，惊恐的表情便同时具备惊讶和恐惧两种表情的特征，系统通过第一识别模块将表情情绪映射到的连续情感空间中，更加符合表情认知的实际情况，这种连续性同时可以使机器人情感认知能力得到极大的提高，人机交互更加顺畅。

优选的，第二识别模块通过以下步骤对细微的情绪变化进行识别：

步骤1：用3个尺度，4个方向的Gabor小波对输入图像特征区域特征进行提取，将特征区域划分为m个区域Q₀，Q₁，…，Q_m-1，用直方图统计每个区域的灰度分布属性，具体为：设图像p(x，y)具有为H个灰度级别，定义图像的直方图为：z_j＝1+ln[∑_x，ya×(I{p(x，y)＝j}+1)]，j＝0，1，…，H-1，上述式子中，I·表示满足括号中条件则记1，否则记0，a表示直方图放大因子，j代表第j个灰度级别，z_j是灰度级为j的像素点的个数；

步骤2：则从每个区域提取H个灰度级别的直方图可表示为：

其中，GLBP(x，y，α，β)表示Gabor小波提取的特征值采用局部二值算子进行运算的值，j＝0，1，…，H-1，k＝0，1，…，m-1，α＝0，1，2，β＝0，1，2，3；

步骤3：微表情可最终表示为m个区域的直方图序列：

KY＝(KY_0，0，0，KY_0，0，m-1，KY_0，1，0，…，KY_2，3，m-1)，上述式子中，KY为12×m×H维的特征向量；假设样本KY_i都有其对应的微表情类别，计算待分类微表情直方图序列与已知类别微表情直方图序列的欧式距离，与已知类别微表情直方图序列欧式距离最近的确定为待分类微表情类别C。

由于在人机交互的过程中，微表情既可能包含普通表情的全部肌肉动作，也可能只包含普通表情肌肉动作的一部分，识别过程具有较大的困难，本优选实施例第二识别模块通过特征区域划分和直方图计算，减少了计算量，提高了识别精度。

优选的，融合识别模块采用以下方式确定情绪状态：

采用情感参数来反映情绪，情感参数定义为：

GK＝1+×δ₁+RL(s，Bx_i)C(Bx_i)×δ₂

上述式子中，δ₁、δ₂为权重，RL(s，Bx_i)表示表情空间中某表情点s处的基本表情Bx_i的势能，C(Bx_i)＝1，表示微表情类别C所属基本表情类别为Bx_i。

本优选实施例面向智能机器人的交互系统采用基于表情认知结果和微表情认知结果相结合的方法，既从宏观上把握了表情类别，提高了识别效率，进而提高了交互效率，又获取了更为细微的情绪变化，识别结果更为准确，用户交互体验更佳。

采用本发明面向智能机器人的交互系统，在δ₁、δ₂不同情况下对用户和机器人200次交互情况进行了统计，同未采用本发明相比，用户满意度均有不同程度的提高且机器人平均应答时间都有不同程度的缩短，产生的有益效果如下表所示：

	用户满意度提高	机器人平均应答时间缩短
				50％	30％
	40％	35％
				35％	45％
	30％	50％

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (7)

1.一种面向智能机器人的交互系统，其特征在于，包括应答状态确定子系统和交互处理子系统，所述应答状态确定子系统包括状态确定装置和情绪识别装置，所述状态确定装置用于根据获取到的用户输入的交互应答信息判断用户是否对当前交互话题做出回答，得到用户的应答状态，所述情绪识别装置根据获取到的用户图像信息得到用户的情绪状态；

所述交互处理子系统，用于根据所述应答状态和情绪状态，生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号。

2.根据权利要求1所述的一种面向智能机器人的交互系统，其特征在于，所述应答状态确定子系统配置为判断在预设时长内所述用户是否对所述当前交互话题进行了回答，如未进行回答，则判定所述用户的应答状态为未做应答。

3.根据权利要求2所述的一种面向智能机器人的交互系统，其特征在于，如所述用户的应答状态为未做应答，所述交互处理子系统配置为根据在所述预设时长内所获取到的用户图像信息确定所述用户的情绪状态，并根据所述情绪状态生成相应的控制信号来控制所述智能机器人产生相应的多模态输出信号。

4.根据权利要求3所述的一种面向智能机器人的交互系统，其特征在于，所述情绪识别装置包括第一识别模块、第二识别模块和融合识别模块，所述第一识别模块用于将表情情绪映射到连续的情感空间进行识别，所述第二识别模块用于对细微的情绪变化进行识别，所述融合识别模块用于确定情绪状态。

5.根据权利要求4所述的一种面向智能机器人的交互系统，其特征在于，第一识别模块通过以下步骤对表情进行识别：

步骤1：使用方向梯度直方图对输入图像表情特征进行提取，根据特征维数建立多维表情空间，设表情空间中基本表情Bx_i的中心点为Bx_ic，i＝1,2,…,n，表情空间中某表情点s处的该基本表情的势能定义为：上述式子中，‖·‖表示输入表情与基本表情的欧式距离，α为基本表情的衰减因子；

步骤2：表情空间中，表情点s的势能定义为：

RL(s)＝[RL(s,Bx₁),RL(s,Bx₂),…,RL(s,Bx_n)]，

上述式子中，Bx_i表示第i个基本表情，i＝1,2,…,n，E(s)为由表情点s相对各基本表情势能组成的向量，由此确定表情点s的表情。

6.根据权利要求5所述的一种面向智能机器人的交互系统，其特征在于，第二识别模块通过以下步骤对细微的情绪变化进行识别：

步骤1：用3个尺度，4个方向的Gabor小波对输入图像特征区域特征进行提取，将特征区域划分为m个区域Q₀,Q₁,…,Q_m-1，用直方图统计每个区域的灰度分布属性，具体为：设图像p(x,y)具有为H个灰度级别，定义图像的直方图为：z_j＝1+ln[∑_x,ya×(I{p(x,y)＝j}+1)],j＝0,1,…,H-1，上述式子中，I·表示满足括号中条件则记1，否则记0，a表示直方图放大因子，j代表第j个灰度级别，z_j是灰度级为j的像素点的个数；

步骤2：则从每个区域提取H个灰度级别的直方图可表示为：其中，GLBP(x,y,α,β)表示Gabor小波提取的特征值采用局部二值算子进行运算的值，j＝0,1,…,H-1，k＝0,1,…,m-1，α＝0,1,2，β＝0,1,2,3；

步骤3：微表情可最终表示为m个区域的直方图序列：KY＝(KY_0,0,0,KY_0,0,m-1,Y_0,1,0,…,KY_2,3,m-1)，上述式子中，KY为12×m×H维的特征向量；假设样本KY_i都有其对应的微表情类别，计算待分类微表情直方图序列与已知类别微表情直方图序列的欧式距离，与已知类别微表情直方图序列欧式距离最近的确定为待分类微表情类别C。

7.根据权利要求6所述的一种面向智能机器人的交互系统，其特征在于，融合识别模块采用以下方式确定情绪状态：

采用情感参数来反映情绪，情感参数定义为：

GK＝1+×δ₁+RL(s,Bx_i)C(Bx_i)×δ₂

$LS=\left\{{\mathrm{\Σ}}_{i=1}^n\frac{RL(s,{\mathrm{Bx}}_i)}{{\mathrm{\Σ}}_{i=1}^n\[RL\left(s,{\mathrm{Bx}}_i\right)\]}\[RL\left(s,{\mathrm{Bx}}_i\right)\]\right\}$

上述式子中，δ₁、δ₂为权重，RL(s,Bx_i)表示表情空间中某表情点s处的基本表情Bx_i的势能，C(Bx_i)＝1，表示微表情类别C所属基本表情类别为Bx_i。