CN101661569A

CN101661569A - 一种智能情感机器人多模态行为关联表达系统

Info

Publication number: CN101661569A
Application number: CN200910177066A
Authority: CN
Inventors: 解仑; 王志良; 王巍; 谷学静
Original assignee: University of Science and Technology Beijing USTB
Current assignee: University of Science and Technology Beijing USTB
Priority date: 2009-09-18
Filing date: 2009-09-18
Publication date: 2010-03-03
Anticipated expiration: 2029-09-18
Also published as: CN101661569B

Abstract

本发明基于人工心理模型，从心理学的角度研究机器人行为表达模式和方法，提供一种智能情感机器人多模态行为关联表达系统，所述系统接受人工心理模型输出的情感信号的统一驱动，具有统一的行为驱动机制，各行为的表达更加协调和谐。其包括语言表达模块、表情表达模块和动作表达模块三大模块，所述三大模块接受人工心理模型输出的情感信号的统一驱动，智能情感机器人语言、表情、动作的表达在时序上：同一时刻执行语言、表情、动作的表达，在逻辑上：接受情感信号的统一驱动而具有一致性。

Description

一种智能情感机器人多模态行为关联表达系统

技术领域

本发明涉及一种人机交互技术，尤其涉及一种智能情感机器人情感驱动的多模态行为关联表达系统。

背景技术

人机交互是研究人、计算机以及它们间相互影响的技术，是21世纪的重大信息技术。广义的人机交互是人机工程学、人类工效学等学科的研究内容；狭义的人机交互是指人与计算机的交互。人机交互是一门涉及到多门学科的领域，应该说自从计算机诞生之日起人们就开始注意人机交互问题，但真正引起人们广泛的研究兴趣并获得重大发展是80年代以来的事情。以80年代早期为起点，交互设备迅猛发展，鼠标、手写笔、游戏杆、声卡、显卡纷纷登上舞台，带动了人机交互技术的革新，图形用户界面成为主流交互界面。声音、视频、手写等多通道交互方式则直接促进了人与计算机之间的沟通与交流，使得计算机的使用门槛急剧下降，直接促进了计算机的大范围普及。可以说，正是人机交互设备与技术的革命性进步，造就了个人计算机时代的辉煌。90年代末，国内外对人机交互技术的研究方兴未艾。近年来，包括Microsoft，IBM，MIT，NSF(美国国家科学基金会)，Cambridge Univ.，Oxford，Birmingham，Tokyo Univ.日本国家工业研究院等著名院校和研究院所都成立了人机交互的专门课题组。

国内目前对交互技术的研究，主要集中在智能人机交互方面，例如中科院软件所人机交互技术和智能信息处理实验室戴国忠研究员提出纸笔将是普适计算的一种主要设备，纸笔计算是普适计算的一种主要形态，笔式交互无所不在。微软亚洲研究院的王坚博士等人开发的数字墨水技术，也着眼于笔式交互。中科院合肥智能机械研究所人机接触交互实验室致力于通过获取手写力信息与字型信息，分析手写者的心理状态，实现对用户的情感认知，使其能更好为用户提供服务。清华大学人机交互与媒体集成研究所的研究则集中于人机交互的多模态融合与多媒体信息处理。北京航空航天大学人机交互实验室以触觉交互为主要研究领域。目标是发现和理解触觉在信息交流中的作用规律，同时研究触觉和视觉，听觉等多通道融合下的人机交互规律和工程应用。高文教授等提出了一个基于多模态接口技术的聋人与正常人交流系统，从而使聋哑人能够与正常人进行交流。

但是目前，人机交互技术存在一些问题，其中之一是缺乏统一的行为驱动机制，以便各行为之间更加协调。因此，基于人工心理和情感计算的人工心理模型，以智能情感机器人为对象，研究情感驱动的多模态行为关联表达技术对于自然和谐人机交互的推动作用是显而易见的。

所谓人工心理模型(情感模型)，就是使用数学方法：如维度空间、非线性、统计、灰色理论、随机过程等方法。把人类的情绪模型化，目的在于能够使计算机实现人工情感的形式化，实现能够具有人工情感的机器系统。

目前心理学中有两种不同情感研究途径——基本情绪论和维度论，因此，对于情感模型的分类也大致分为这两种。Watson根据对儿童进行的一系列观察，假定有三种类型的情感反应：恐惧、愤怒和爱；Ekman等从实验中发现快乐、愤怒、厌恶、恐惧、惊讶和悲伤是基本情感。对于基本情感应包括哪些情感，则有不同的看法。情感具有多维度结构，维度是情感的一种特性。同样，迄今为止，提出的维度划分方法是不同的和各式各样的，并没有统一的标准来评价那种维度划分更好。

基于上述心理学研究的现状，可以看出，人工心理模型(情感模型)的建立，没有基本的架构，但是却有其主要的评判标准——模拟人类情感的真实度和是否可利于计算机实现。本申请中，根据需要，设定的是四维情感模型，其四个维度包括快乐、愤怒、悲哀、恐惧四个维度。

在现有技术中，自主移动机器人、仿生机器人等新形态的机器人，在动态环境中，其行为控制几只通常可分为下述几类：1.程控架构，又称规划式架构，即根据给定初始状态和目标状态规划器给出一个行为动作的序列，按部就班地执行。较复杂的程控模型也会根据传感器的反馈对控制策略进行调整，例如在程序的序列中采用“条件判断+跳转”这样的方法；2.包容式架构和基于行为的控制模型，又称为反应式模型，复杂任务被分解成为一系列相对简单的具体特定行为，这些行为均基于传感器信息并针对综合目标的一个方面进行控制。基于行为的机器人系统对周围环境的变化能作出快速的响应，实时性好，但它没有对任务做出全局规划，因而不能保证目标的实现是最优的；3.混合式架构，是规划和基于行为的集成体系，不仅对环境的变化敏感，而且能确保目标的实现效率。通常混合式架构有两种模式：一种模式是，决策系统的大框架是基于规划的，在遇到动态情况时再由行为模型主导；另一种模式是，决策系统的大框架基于行为，在具体某些行为中采用规划模型。总之，混合式架构的设计目的是尽可能综合程控架构和包容式架构的优点，避免其缺点。

这三种控制方式，综合起来，可以认为分成程序驱动和任务驱动两大类。程序驱动是事先规定好机器人的行为动作，在后期仅仅执行；任务驱动是指在接受新任务后，把任务分成若干小任务，发给不同的执行器去执行，比如说同一时刻执行表情表达和肢体动作。对于程序驱动来说，它的缺点是动作只能按部就班的执行，无法对某时刻特有的输入进行反应；而任务驱动会带来各个执行器对于小任务执行的不匹配问题。因此，上述控制方式在智能情感机器人的情感表达上缺乏统一的驱动机制，都可能存在着时序和逻辑上不一致的问题。

发明内容

在此背景下，以智能情感机器人为对象，如何使智能情感机器人在情感的表达上实现时序和逻辑的一致性成为研究的重点。本发明的目的正是基于人工心理模型，从心理学的角度研究机器人行为表达模式和方法，提供一种智能情感机器人多模态行为关联表达系统，所述系统接受人工心理模型输出的情感信号的统一驱动，具有统一的行为驱动机制，各行为的表达更加协调和谐。

如图1所示，本发明一种智能情感机器人多模态行为关联表达系统，所述语言表达模块完成智能情感机器人的语言表达；

所述表情表达模块播放表情图片表达表情；

所述动作表达模块实现智能情感机器人头部、上肢的动作及底盘的行走；

其特征在于：所述语言表达模块、表情表达模块和动作表达模块接受人工心理模型输出的情感信号的统一驱动，智能情感机器人语言、表情、动作的表达在时序上：同一时刻执行语言、表情、动作的表达，在逻辑上：接受情感信号的统一驱动而具有一致性。

一、语言表达模块

如图2所示，此模块可以实现多模态行为关联表达功能的第一部分——情感驱动的语言表达。在获得用户动作、行为以及要求等信息的基础上，通过智能情感机器人的人工心理模型，并根据其当前的情感状态，自发地合成带有情感的语音输出。

通过使用中文语音合成软件，可以实现较为自然的中文语音合成。在合成的过程中，需要设定语速、音量和音调值来改变合成芯片的输出效果。因此本发明所述语言表达模块包括情感-语音声学特性关联模型、合成芯片及音频设备；所述情感-语音声学特性关联模型：接受人工心理模型输出的情感信号驱动，并根据该情感信号解析相应的语音声学特性语速、音量和音调，调节合成芯片输出的语速、音量和音调值；所述合成芯片：将语速、音量和音调值输出至音频设备；所述音频设备：完成智能情感机器人的语言表达。

情绪或情感语音的研究难点之一在于没有一个统一的情绪理论。赵元任先生在《汉语的字调跟语调》一文中提出情感表达的语音手段有音质、音强、音高和语速等。情感信息的一个重要特点就是对它所处的条件具有依赖性，不同情况下，表达情感信息的方式一般也不相同。因此与语音情感相关的这些声学特征也无法用某些函数来加以标示，通过大量的试验人们发现一下一些规律：

1)当人处于生气的情感时，其生理特征较平时突出，如心跳加快、皮肤电压升高、血压升高等，这同时也影响到了情感特征参数的变化。首先由于生理变化的缘故，胸腔的回声和呼吸声在语音信号中所占的比重将有所增加，振幅强度也大大高于普通的情感，语速也较普通语句快，是加速句和加强句的结合。为了增加生气的效果，基音在重音处语调的突变，成为了生气状态的一个重要特征。句中的动词和修饰动词的副词和振幅强度比平均值要高一些。句子的调阈抬高，但调形不一定变平，有时它们的拱度甚至更加扩展了。句尾的感叹词的也不同于轻声，而变成类似于上声的声调。

2)对于高兴时的情感，语音信号中的语速一般不能准确确定，在不同的情况下会有不同的表现。与生气情感时的生理特征有相似之处，它的声音中也往往带有呼吸的声音，但是和其它情感的主要不同之处在于，人处于高兴的状态时，它的基音变化通常是一条向上弯曲的曲线。由于句子的尾部带来的影响，句子的前部和中部都比相应内容的平静语句的语速要快一些。句子的振幅强度也集中在句子的末尾的一两个字，整个句子的声调的调域要比平静语句高。由于句子的前中部语速加快，受到生理原因和语法条件的制约，句中非关键性的字和词的调形拱度就变得平坦一些，甚至失去本调，而成为前后相邻两调的中间过渡。句尾的感叹词在平叙句中读轻声，在这里语气有很强的加重，并且调形变成为先升后降的山包形。

3)由于悲伤情感属于压抑情感类，所以它的时长较平静语句慢，强度也大大低于其它各种情感，基音的变化也是一条向下弯曲的曲线。由于语速较慢的缘故，每一个字的读音彼此都拉得很开，所以字调的调形保留了其单字的调形，多字调的效果弱化。但由于在悲的语句中几乎每个字都夹杂了一定程度的鼻音，所以要进行鼻音化的处理，使悲的语句的调阈降低，整个语句趋于平坦化。

4)恐惧情感在语速、基音、基音范围上同高兴情感、生气情感的语句相类似，不同的地方仅在于语句的清晰度较其它情感精确。在实际的识别过程中目前还没有找到识别该种情感的有效特征参数。

还有的资料提出了一些定性描述的声学特征控制规则表。

因此，本发明语言表达模块可以进一步的改进为：所述情感-语音声学特性关联模型，是基于状态空间的关联模型，模型为：A_1×3＝E_1×4·G_4×3。其中，空间A称为语音声学特征空间；E是基本情绪状态空间集合；G为变换矩阵。

本发明语言表达模块可以进一步的改进为：所述情感-语音声学特性关联模型，是基于模糊推理的关联模型，通过模糊推理

得到声学参数值Y的模糊值，再利用最大法解模糊化可到精确值，其中，p是情感值；R_i ^j是模糊规则。

1、基于状态空间的关联

定义1(情感状态超正四面体概率空间)：设基本情绪状态空间集合E＝{e₁，e₂，e₃，e₄}，e_i＝i(i＝1，2，3，4)，p_i(i＝1，2，3，4)为取第i种情绪状态的概率，且满足情绪状态概率分布方程

0≤p_i≤1(i＝1，2，…，N)，这样所构成的情感状态的概率空间称为情感状态超正四面体概率空间，记为：

定义2(语音声学特征空间)：由语速S、音量V和音调T作为此空间的坐标维度，建立的空间称为语音声学特征空间，记为A。

定义3(变换矩阵)：从情感状态超正四面体概率空间到语音声学特征空间建立的关联变换，称为变换矩阵，记为G。

此外设情感状态数N＝4，情绪等级数L＝6，根据上述定义，我们得到基于状态空间的情感——语音声学特性的关联模型，表述如下：

A_1×3＝E_1×4·G_4×3 (1)

由于把情绪分为了4种，并对4种基本情绪又分为了6级，以此为基础，得到某种情绪某个等级的语音声学特征。与此相对应，我们也把变换矩阵分为两部分：

G_{4 \times 3} = G_{4 \times 6}^{1} \cdot G_{6 \times 3}^{2} - - - (2)

其中，

G_{4 \times 6}^{1} = {[\begin{matrix} f_{1}^{m_{1}, n_{1}} (p_{1}) & f_{1}^{m_{2}, n_{2}} (p_{1}) & . . . & f_{1}^{m_{6}, n_{6}} (p_{1}) \\ f_{2}^{m_{1}, n_{1}} (p_{2}) & f_{2}^{m_{2}, n_{2}} (p_{2}) & . . . & f_{2}^{m_{6}, n_{6}} (p_{2}) \\ f_{3}^{m_{1}, n_{1}} (p_{3}) & f_{3}^{m_{2}, n_{2}} (p_{3}) & . . . & f_{3}^{m_{6}, n_{6}} (p_{3}) \\ f_{4}^{m_{1}, n_{1}} (p_{4}) & f_{4}^{m_{2}, n_{2}} (p_{4}) & . . . & f_{4}^{m_{6}, n_{6}} (p_{4}) \end{matrix}]}_{4 \times 6},

m_{i} = \frac{1}{N} + \frac{1 - 1 / N}{L} \times (i - 1),

n_{i} = \frac{1}{N} + \frac{1 - 1 / N}{L} \times i .

= \frac{1}{4} + \frac{1 - 1 / 4}{6} \times (i - 1) = \frac{i + 1}{8}

= \frac{1}{4} + \frac{1 - 1 / 4}{6} \times i = \frac{i + 2}{8}

对基于状态空间的关联方法，在由情感信息驱动的语言表达过程中，从情感量值到语音声学特性(语速、音量和音调)的具体计算方法将在下面介绍。

2、基于模糊推理的关联

类比于控制系统，设输入为p＝max{p₁，p₂，p₃，p₄}，输出S_i，V_i，T_i(i＝1，2，3，4)。对输入进行模糊化后，通过模糊关系的推理，得到模糊输出，再经去模糊化得到确定的声学参数值。

模糊取值定义为：

p∈{I，II，III，IV，V，VI}，S_i，V_i，T_i∈{I，II，III，IV，V，VI}，如图5。

进行模糊推理

后，得到声学参数值的模糊值，再利用最大法解模糊化可到精确值。其中Y为S_i，V_i，T_i(i＝1，2，3，4)模糊值中的一个，j＝1，2，3分别对应着S_i，V_i，T_i。

对基于模糊推理的关联，在由情感信息驱动的语言表达过程中，从情感量值到语音声学特性(语速、音量和音调)的具体计算方法将在下面介绍。

基于状态空间的关联和模糊推理关联的语言表达模块，实现了从情感量值到语音声学特性(语速、音量和音调)的具体计算过程，完成情感信息驱动下的语言表达。并加以软件化，形成此发明中的语言表达模块。其中各等级对应情感概率范围在[0，1]间选择，具体取值根据答卷统计得出，对应语速音量音调值的设定也是根据经验调整的。这些值可在实际使用时动态调整。

二、表情表达模块

如图3所示，此模块实现的硬件平台采用液晶屏。情感信息驱动的表情表达通过上、下位机的配合完成。

所述表情表达模块的技术方案为：所述上位机接受人工心理模型输出的情感信号驱动并解析对应的动作代号，通过无线设备发送动作代号给下位机；

所述下位机存储有与动作代号相对应的、表达表情所需要的表情图片，根据上位机的动作代号，控制液晶屏对表情图片的播放；

所述液晶屏播放表情图片。

上述技术方案可以进一步的改进为：所述表情表达模块的下位机存储有四组20张表情图片，每组5张渐变图片对应大笑、愤怒、哭泣和恐惧四种情感。

三、动作表达模块

如图4所示，所述动作表达模块包括上位机、下位机及动作执行机器人；

所述上位机接受人工心理模型输出的情感信号驱动并解析出相应的动作代号，并通过无线设备发送动作代号给下位机；

所述下位机内嵌有动作控制模块，所述动作控制模块根据上位机的动作代号，控制动作执行机器人的动作表达；

所述动作执行机器人包括头部、上肢及底盘，其接受下位机动作控制模块的控制，完成机器人头部、上肢的动作及底盘的行走。

上述技术方案可以进一步的改进为：所述下位机中的动作控制模块包括头部运动控制模块、单臂关节运动控制模块及底盘行走控制模块；

所述头部运动控制模块：控制动作执行机器人头部的点头和摇头动作；通过控制动作执行机器人头部的颈部电机，控制其头部的摇头动作左右角度各为80度，点头动作角度为45度；

所述单臂关节运动控制模块：控制动作执行机器人上肢的动作，采用三次B样条曲线生成路径，控制运动过程中机器人各关节位置、速度和加速度的连续性；

在机器人的肢体运动上，采用了基于三次B样条曲线运动规划方法。假定机器人具有n个自由度，即机器人关节空间为n维空间，机器人路径由该n维空间中的m个离散路径点

j＝1，2，...，m所组成，其中θ_j ¹，θ_j ²，…，θ_j ⁿ可表示机器人在Q_j点时n个关节的关节值。为保证机器人高速运动时平稳无冲击，需对规划出的离散路径点进行插值和逼近。对离散路径点插值的曲线类型有多种选择。三次样条曲线要求曲线通过各个路径点，但实际上并不能自然地表示出路径点对曲线形状的控制情况。而且，单个路径点的扰动将影响整个曲线，使得必须重新对整条路径进行相平面建模。Bezier曲线虽然不要求曲线通过所有路径点，但曲线阶次由路径点的数量决定，单个路径点的扰动也会影响整个曲线。B样条曲线不要求曲线通过各控制点，曲线的阶次也与控制点数无关，允许对路径进行局部扰动。故本发明采用三次B样条曲线生成路径，确保运动过程中机器人各关节位置、速度和加速度的连续性。

所述底盘行走控制模块：包括底盘行走的建模与控制，其把机器人的运动简化为与地面接触的两点运动，两点的位置决定了机器人的位置，两点的运动状态决定了机器人的运动状态，采用双行走轮差动控制的驱动方式控制底盘的行走；

机器人的行走控制系统采用的是双行走轮差动控制的驱动方式。机器人行走的建模这里假定机器人和地面之间是纯滚动的，行走轮只旋转不打滑，得到运动学模型公式：

\{\begin{matrix} \dot{x} = v \cdot \sin θ (t) \\ \dot{y} = v \cdot \cos θ (t) \\ \dot{θ} = ω \end{matrix} - - - (3)

其中：(x，y)——为机器人中心O点的参考坐标；

θ——为机器人中心O点的运动方向角；

v——为机器人中心0点的速度；

ω——为机器人差动转向的角速度。

根据上述数学模型，结合机器人的结构特点，把机器人的运动简化为与地面接触的两点运动，两点的位置决定了机器人的位置，两点的运动状态决定了机器人的运动状态。如图6中，XOY为全局坐标系，xoy为机器人坐标系。在此，把前进的方向作为正方向，把后退的方向作为负方向，统一起来分析，设在某一时刻，左、右行走轮的速度为v_L，v_R，左、右行走轮角速度为ω_L，ω_R，在很短的时间间隔Δt内，机器人的方向和线速度可以近似认为不改变。两行走轮与地面接触点之间的距离(即机器人两行走轮的跨距)为l。

在上述头部运动控制模块、单臂关节运动控制模块及底盘行走控制模块的基础上，动作表达模块的情感驱动表达方式如下：

上位机通过分布式认知技术，综合判断用户的输入情感，在此情感的激励下，基于智能情感机器人自身的情感模型，产生机器人所要表达的情感信号。通过解析情感信号，判断要表达的动作。这些动作以下位机存储的基本动作及其组合为基础，上位机通过无线设备发送动作号给下位机，下位机接收到动作号后，解析上位机发送的动作号，基于动作控制模块控制动作执行机器人的动作表达，执行基本动作和动作组合。使上下位机协调配合，完成情感驱动的动作表达。

上述技术方案中，所述动作执行机器人包括：

头部：接受头部运动控制模块的控制，包括有两个颈部电机、颈部轴承、头部支架，一颈部电机连接颈部轴承，带动整个头部转动完成转头动作；另一颈部电机通过一个连杆机构带动颈部支架，完成点头动作；

上肢：接受单臂关节运动控制模块的控制，包括左臂及右臂，各由5个电机及其连接件构成，所述电机构成上肢活动的关节，所述连接件则构成肢体部分；

底盘：接受底盘行走控制模块的控制，包括底盘支持架、电机、电机架、连接轴、主动滚轮及从动角轮，所述电机、电机架、及主动滚轮依次安装在底盘支持架上，两个主动滚轮通过连接轴形成联动，每个主动滚轮各由一电机驱动，带动机器人运动；所述从动角轮安装在底盘支持架的前方、连接轴的中线上，保持平衡和转向便利。

其中，头部及上肢的材质优选为硬铝。

本发明种智能情感机器人多模态行为关联表达系统，基于情感驱动多模态行为关联表达技术的人机交互，其有益效果在于，从心理学的角度来研究机器人行为表达模式和方法。并以智能情感机器人为对象，研究情感驱动多模态行为关联表达技术对自然和谐人机交互的推动作用。基于情感信号，驱动语音、表情和动作等行为，能够使智能情感机器人的行为表达具有时序和逻辑上的一致性。

附图说明

图1是智能情感机器人多模态行为关联表达技术的框架图。

图2是语言表达模块框图。

图3是表情表达模块框图。

图4是动作表达模块框图。

图5是模糊隶属度函数图。

图6是服务机器人行走驱动模型图。

图7是动作执行机器人头部结构示意图。

图8是动作执行机器人上肢结构示意图。

图9是动作执行机器人底盘结构示意图。

图10是采用LMD18200单极性驱动电机图。

图11是PID控制器原理框图。

图12是机器人单臂各关节的运动轨迹曲线图。

具体实施方式

本发明采用的是四维情感模型，包括快乐、愤怒、悲哀、恐惧四个维度。

一、语言表达模块。

本发明的语言表达模块中，所使用的中文语音合成模块是新版的科大讯飞XF-S4240。

根据四维情感模型，把4种基本情绪又分了6级，以便更加细化情感，能够得到情感的合理表达。根据已有的定性描述的情感——语音规则、音调和音量的定义，以及他们与音强和基频的关系，可以得到下面的情绪——声学特性关联表。本发明给出了一种情感概率范围、语速音量音调值的设定方案，如表1所示。

表1情绪等级分类

本发明中给出了两种情感-语音声学特性的关联模型：1、基于状态空间的关联；2、基于模糊推理的关联。情感到语音声学特性的具体计算实施过程如下：

基于状态空间的关联：

假设此时的情感状态为

(\begin{matrix} E \\ P \end{matrix}) = (\begin{matrix} e_{1} & e_{2} & e_{3} & e_{4} \\ 0.400 & 0.250 & 0.166 & 0.184 \end{matrix}),

根据G_4×6 ¹的定义，得到

G_{4 \times 6}^{1} = {[\begin{matrix} 0 & 1 & . . . & 0 \\ 0 & 0 & . . . & 0 \\ 0 & 0 & . . . & 0 \\ 0 & 0 & . . . & 0 \end{matrix}]}_{4 \times 6}

G_{6 \times 3}^{2} = {[\begin{matrix} 6 & 7 & 8 & 9 & 9 & 9 \\ 6 & 6 & 7 & 8 & 9 & 10 \\ 5 & 5 & 5 & 6 & 6 & 7 \end{matrix}]}^{T},

所以由式(2)，

G_{4 \times 3} = G_{4 \times 6}^{1} \cdot G_{6 \times 3}^{2} = {[\begin{matrix} 0 & 1 & . . . & 0 \\ 0 & 0 & . . . & 0 \\ 0 & 0 & . . . & 0 \\ 0 & 0 & . . . & 0 \end{matrix}]}_{4 \times 6} \cdot [\begin{matrix} 6 & 6 & 5 \\ 7 & 6 & 5 \\ 8 & 7 & 5 \\ 9 & 8 & 6 \\ 9 & 9 & 6 \\ 9 & 10 & 7 \end{matrix}] = [\begin{matrix} 7 & 6 & 5 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{matrix}] .

G_4×3矩阵的行对应情感e_i(i＝1，2，3，4)，列分别对应此种情感下的声学特性参数S_i，V_i，T_i(i＝1，2，3，4)。

基于模糊推理的关联：

仍然假设此时的情感状态为

则输入p＝max{p₁，p₂，p₃，p₄}＝p₁＝0.4。

取隶属度函数为：

{mf}_{i} (p) = \{\begin{matrix} \frac{1}{(1 - 0.25) / 7} \times [p - a_{j}] & if (a_{j} < p < b_{j}) \\ \frac{- 1}{(1 - 0.25) / 7} \times [p - c_{j}] & if (b_{j} < p < c_{j}) \\ 0 & if (p < b_{j} orp > c_{j}) \end{matrix} - - - (4)

其中的i表示情感e_i，

a₁＝0.25，a₂＝0.357，a₃＝0.464，a₄＝0.571，a₅＝0.678，a₆＝0.785，

b₁＝0.357，b₂＝0.464，b₃＝0.571，b₄＝0.678，b₅＝0.785，b₆＝0.892，

c₁＝0.464，c₂＝0.571，c₃＝0.678，c₄＝0.785，c₅＝0.892，c₆＝1.000。

根据上面的隶属度函数，当p＝0.4时，经模糊化后变为：

p = \frac{0.598}{1} + \frac{0.402}{2} + \frac{0}{3} + \frac{0}{4} + \frac{0}{5} + \frac{0}{6} - - - (5)

作为举例，这里仅推导快乐情感下的声学特征参数——语速的取值。取模糊规则：

R_{i}^{j} = R_{1}^{1} = [\begin{matrix} 0 & 0.2 & 0.4 & 0.2 & 0 & 0 \\ 0 & 0.3 & 0.6 & 0.3 & 0 & 0 \\ 0 & 0.2 & 0.5 & 0.7 & 0.2 & 0 \\ 0 & 0 & 0.3 & 0.7 & 0.3 & 0 \\ 0 & 0 & 0.1 & 0.3 & 0.5 & 0 \\ 0 & 0 & 0 & 0.4 & 0.7 & 0 \end{matrix}] - - - (6)

所以，

即：

S_{1} = \frac{0}{5} + \frac{0.3}{6} + \frac{0.402}{7} + \frac{0.3}{8} + \frac{0}{9} + \frac{0}{10} .

经最大值取模糊化后，得到当情感状态为

时，语音声学特性输出语速为7，这个与上面所述的基于状态空间的关联是一致的。

在对上述两种关联方法软件化后，本发明中的语言表达模块就完成了。利用本模块，能够实现情感信息驱动的智能情感机器人多模态行为关联系统中的的语言表达功能。

本发明的表情表达模块中，上位机把这种情感信息进行分类，由于采用的情感空间包括四个维度，因此，把情感信息分为四类，并设计实现了四种情感的表情表达(大笑、愤怒、哭泣和恐惧)来对应情感的四个维度——快乐维、愤怒维、悲哀维和恐惧维，待所要表达的表情动作确定后，由上位机通过无线设备发送动作代号i(i＝1，2，3，4)给下位机，实现对下位机的控制。

下位机中已存储了四种表情表达所需要的20张相关图片

图片共有四组分别对应四种表情。其中，a_i1，a₁₂，...，a_i5(i＝1，2，3，4)表示第i种表情对应的5张渐变图片。利用视觉暂留效应，每一种表情由5张图片连续播放实现表达。

本发明的动作表达模块的具体实施，包括硬件和及相关控制模块的设计。相关控制模块设计内嵌于下位机中。上位机接受人工心理模型输出的情感信号驱动并解析，并通过无线设备发送动作号至下位机，下位机接收上位机的发送的动作号并解析，通过控制模块控制动作表达机器人的的动作表达；

动作表达模块的硬件部分及动作执行机器人分为三部分：头部、上肢和底盘。硬件部分作为动作表达模块的基础。

1)头部：如图7所示，所述头部包括有颈部电机11、颈部电机12、颈部轴承13、头部支架14，颈部电机11连接颈部轴承13，带动整个头部转动完成转头动作；颈部电机12通过一个连杆机构带动颈部支架14，完成点头动作；电机选用MG-995，因为电机转矩相对较小，为保证转动平稳，要求头部较轻相对于颈部转轴的惯性矩较小，因此整个头部的材质选用硬铝(LY17)，既可满足强度要求又能减轻重量。

2)上肢：根据人体工效学中身体的体型结构，机器人的结构模型如图8所示，包括左臂及右臂，各由5个电机及其连接件构成，所述电机构成上肢活动的关节，所述连接件则构成肢体部分；机器人手臂完全模拟人的手臂共有10个自由度(左、右臂各5个)。在该结构模型中，机器人可实现两臂前摆、外摆、大臂前摆、小臂伸曲、转腕、摆手等基本动作，手臂由电机驱动，根据仿真结果，电机分别选用DynamixelRX64、Futaba-S9156、MG-995等3种类型，各电机性能参数均满足手臂运动到各个位置的最大扭矩要求。考虑减轻手臂的重量，零件所选材料均为硬铝。

每只手臂的5个自由度分别是：肩部向前抬手臂(电机1驱动)、大臂转动(电机2驱动)、肩部侧向抬手臂(电机3驱动)、肘部弯曲(电机4驱动)、小臂转动(电机5驱动)。

3)底盘：如图9所示，包括底盘支持架34、电机31、电机架32、连接轴33、主动滚轮35及从动角轮36，所述电机31、电机架32、及主动滚轮35依次安装在底盘支持架34上，两个主动滚轮35通过连接轴33形成联动，每个主动滚轮各由一电机驱动，带动机器人运动；所述从动角轮(36)安装在底盘支持架34的前方、连接轴33的中线上，保持平衡和转向便利。

在综合考虑机器人重量、结构强度、移动的平稳性及底盘内空间布置等因素后，底盘支持架采用铁制衍架结构。

步进电机型号选用86BYG250B-SAFRBC-0402。根据仿真计算结果，最终选定了由两个步进电机对称布置的驱动方式。通过改变两电机的转动状态可以很便捷地实现机器人的移动功能：控制两电机同步正转实现机器人向前移动，同步反转实现机器人向后移动，两步进电机速度差动实现左右转动，并可以实现0转弯半径的高性能指标。

电机支持架采用硬铝材料，中间嵌入转动轴承，轴承支撑的连接轴将电机轴和滚轮连接起来。因为电机轴、连接轴、滚轮三者之间有同轴度的要求，连接轴的加工及安装精度要求较高，连接轴的强度要求也较高，材料使用45钢。

主动滚轮使用充气轮胎，使得机器人移动过程中振动较小，运动平稳，有一定越障性能，充分满足机器人在室内环境下的移动要求。滚轮直径为150mm。从动滚轮为一个小角轮，起到支撑和平衡的作用。

在上述底盘支持架、电机、电机架、连接轴和滚轮协调工作下，机器人的行走控制系统采用的是双行走轮差动控制的驱动方式。利用LMD18200进行电机驱动，基于此，可以与主处理器、电机和增量型编码器构成一个完整的运动控制系统。底盘电机驱动加码盘形成反馈，驱动电路加温控保护，用LMD18200直流电动机驱动的H桥组件，代替H桥电路，如图10所示。

开发的行走驱动系统采用数字转速、电流双闭环控制结构。控制原理如图11所示。系统的工作原理是：首先，速度给定U_n ^*与速度反馈U_n进行比较，得到的速度差值经速度控制器输出相应的相电流的给定值U_n ^*，与相应的相电流的反馈U_n进行比较之后，电流差值经电流控制器变换成对应PWM波的脉冲宽度，然后综合转子位置信号后产生所需的PWM控制信号，经隔离驱动之后，驱动逆变电路中相应的开关器件工作。其中，通过对电流检测的分时反馈处理，使相反电势和相电流的相位始终保持一致；通过对集成位置传感器输出的交变信号的软件计算，得到速度反馈值。

下位机中的动作控制模块也分为三部分：头部运动控制模块、单臂关节运动控制模块、底盘行走控制模块。

头部运动控制模块：控制动作执行机器人头部的点头和摇头动作；通过控制动作执行机器人头部的颈部电机，控制其头部的摇头动作左右角度各为80度，点头动作角度为45度；

单臂关节运动控制中，设机器人操作臂的关节空间中每一个采样区间的端点组成一系列型值点P₁，P₂，...，P_m，由连续性条件及边界条件可以求出m+2个控制结点V₁，V₂，...，V_m，每相邻两个型值点之间可用一条B样条曲线将其连接，整个轨迹由m-1段B样条曲线拼接而成。设第i段B样条曲线连接两点只P_i，P_i+1，第i段曲线由V_i-1，V_i，V_i+1，V_i+2共四个控制结点来控制。由于B样条曲线具有分段处理性的优点，各段仅由相邻的四个控制点确定，因此，变动特性多边形的某个顶点，只会影响与该顶点有关的相邻四段曲线，其他地方的曲线不会引起变化。这一性质在机器手臂轨迹优化时表现为，机器手臂的整段轨迹可逐步优化，因此，机器人沿整个B样条曲线运动的总时间的优化，可转化为对机器人沿每一段B样条曲线运动所需的时间h的分段优化。我们以机器人举手的动作进行轨迹规划实验，采用离线编程，对五个关节θ_i(i＝1，2，...，5)分别插入四个型值点。

设关节从型值点P_i到下一型值点P_i+1的时间是t，这里取t＝1s，采样周期为20ms，则在P_i和P_i+1之间插入点数1s/20ms＝50个，u＝1/50，2/50，…，50/50。得出手臂五个关节的位置曲线，如图12所示。

对于底盘行走控制模块包括底盘行走的建模与行走控制，在行走过程中，主控制系统把规划好的路径转变成随时间变化的两个独立驱动轮的角速度的控制，通过驱动器和电动机，分别去驱动两个驱动轮，两个驱动轮的角速度都要根据规划路径的变化而变化。当用户发出指令让机器人去指定地点的时候，机器人根据事先规划好的路径自主到达指定的目的地。

在上述控制模块的基础上，动作表达模块实现智能情感机器人头部、上肢的动作及底盘的行走。其情感驱动表达的具体实现方式作如下的举例说明：

由于考虑的情感空间维度是4维，因此，动作表达种类也对应设计为4种(挥手、前进振臂、低头和后退捂脸)以便对应情感的四个维度——快乐维、愤怒维、悲哀维和恐惧维。由上位机向下位机发送的消息格式包如表2所示。

表2包格式

情绪	动作	cmd$	机构名	动作号	动作时间	充气轮胎转角或行程	NULL
情绪	动作	cmd$	机构名	动作号	动作时间	充气轮胎转角或行程	NULL	快乐	挥手	cmd$	arm	3	100	0	NULL
愤怒	前进振臂	cmd$	wheelarm	Forward1	0100	500	NULLNULL	快乐	挥手	cmd$	arm	3	100	0	NULL
愤怒	前进振臂	cmd$	wheelarm	Forward1	0100	500	NULLNULL	悲哀	低头	cmd$	head	2	100	0	NULL
恐惧	后退捂脸	cmd$cmd$	wheelarm	Backward2	0100	1000	NULLNULL	悲哀	低头	cmd$	head	2	100	0	NULL

机构名中arm表示是上肢的动作，利用上述的单臂关节运动控制方法控制相应的10个电机；head表示是头部的动作，控制头部的2个电机；wheel表示是底盘的动作，控制双轮步进电机。在动作时间的约束下，产生动作号对应的动作。当机器人左转或右转时，充气轮胎转角或行程处写入旋转角度；当前行或后退时，填入轮子转动圈数*20(20是充气轮胎的周长)。

Claims

1、一种智能情感机器人多模态行为关联表达系统，所述系统包括语言表达模块、表情表达模块和动作表达模块；

所述语言表达模块完成智能情感机器人的语言表达；

所述表情表达模块播放表情图片表达表情；

2、根据权利要求1所述的一种智能情感机器人多模态行为关联表达系统，其特征在于：所述语言表达模块包括情感-语音声学特性关联模型、合成芯片及音频设备；

所述情感-语音声学特性关联模型：接受人工心理模型输出的情感信号驱动，并根据该情感信号解析相应的语音声学特性语速、音量和音调，调节合成芯片输出的语速、音量和音调值；

所述合成芯片：将语速、音量和音调值输出至音频设备；

所述音频设备：完成智能情感机器人的语言表达。

3、根据权利要求2所述的一种智能情感机器人多模态行为关联表达系统，其特征在于：所述情感-语音声学特性关联模型，是基于状态空间的关联模型，模型为：A_1×3＝E_1×4·G_4×3。其中，空间A称为语音声学特征空间；E是基本情绪状态空间集合；G为变换矩阵。

4、根据权利要求2所述的一种智能情感机器人多模态行为关联表达系统，其特征在于：所述情感-语音声学特性关联模型，是基于模糊推理的关联模型，通过模糊推理得到声学参数值Y的模糊值，再利用最大法解模糊化可到精确值，其中，p是情感值；R_i ^j是模糊规则。

5、根据权利要求1所述的一种智能情感机器人多模态行为关联表达系统，其特征在于：所述表情表达模块包括上位机、下位机、液晶屏；

所述上位机接受人工心理模型输出的情感信号驱动并解析对应的动作代号，通过无线设备发送动作代号给下位机；

所述液晶屏播放表情图片。

6、根据权利要求5所述的一种智能情感机器人多模态行为关联表达系统，其特征在于：所述表情表达模块的下位机存储有四组20张表情图片，每组5张渐变图片对应大笑、愤怒、哭泣和恐惧四种情感。

7、根据权利要求1所述的一种智能情感机器人多模态行为关联表达系统，其特征在于：所述动作表达模块包括上位机、下位机及动作执行机器人；

8、根据权利要求7所述的一种智能情感机器人多模态行为关联表达系统，其特征在于：所述下位机中的动作控制模块包括头部运动控制模块、单臂关节运动控制模块及底盘行走控制模块；

所述头部运动控制模块：控制动作执行机器人头部的点头和摇头动作；

所述单臂关节运动控制模块：采用三次B样条曲线生成路径，控制运动过程中机器人单臂各关节位置、速度和加速度的连续性；

所述底盘行走控制模块：把机器人的运动简化为与地面接触的两点运动，两点的位置决定了机器人的位置，两点的运动状态决定了机器人的运动状态，采用双行走轮差动控制的驱动方式控制底盘行走；

9、根据权利要求7或8所述的一种智能情感机器人多模态行为关联表达系统，其特征在于，所述动作执行机器人包括头部、上肢及底盘：

头部：接受头部运动控制模块的控制，包括有颈部电机(11)、颈部电机(12)、颈部轴承(13)、头部支架(14)，颈部电机(11)连接颈部轴承(13)，带动整个头部转动完成转头动作；颈部电机(12)通过一个连杆机构带动颈部支架(14)，完成点头动作；

底盘：接受底盘行走控制模块的控制，包括底盘支持架(34)、电机(31)、电机架(32)、连接轴(33)、主动滚轮(35)及从动角轮(36)，所述电机(31)、电机架(32)、及主动滚轮(35)依次安装在底盘支持架(34)上，两个主动滚轮(35)通过连接轴(33)形成联动，每个主动滚轮各由一电机驱动，带动机器人运动；所述从动角轮(36)安装在底盘支持架(34)的前方、连接轴(33)的中线上，保持平衡和转向便利。

10、根据权利要求9所述的一种智能情感机器人多模态行为关联表达系统，其特征在于：所述动作执行机器人头部及上肢的材质选用硬铝。