CN101474481B - 情感机器人系统 - Google Patents

Abstract

本发明涉及情感机器人系统，尤其是指一种能够产生仿人面部表情并且能够与人进行交互的机器人。本发明由具有六种面部表情的机器人头部系统和以PC为控制中心的软件平台构成。情感机器人通过红外传感器、麦克、摄像头等设备检测外部环境的信息。PC对收集到的外部环境信息首先进行情感特征提取，其次分析出语音情感和检测到的人脸的面部表情，然后决策出机器人要表达的情感。情感机器人通过语音输出，面部表情和身体语言来表达其情感。PC通过串口向单片机发送指令，单片机在接收到指令后，驱动电机运动从而产生机器人的面部表情和身体语言。它可用于家庭服务机器人，助老助残机器人，迎宾机器人，解说机器人，以及人与机器人的交互研究平台。

Description

情感机器人系统

技术领域

本发明涉及机器人，尤其是指一种能够产生仿人面部表情并且能够与人进行交互的机器人

背景技术

人类是有意向的动物，同时把那些与他们互动的生物理解为是有意向的。Dennet的人类能动性的观点表明人们表达和解释他们的行为通过意愿，信念和渴望的形式。因此，情感机器人对用户传达意愿的能力是其设计中需要考虑的重要部分。这并不需要以人类的方式赋予机器意愿和信念，但是用户要可以直观和可靠的以这些形式解释和预测机器人的行为。为了与人自然的交流，情感机器人必须能够读懂用户的情感。这就需要机器人能用视觉感知用户的脸，身体，语言和眼睛。除了识别用户的话语，感知声音韵律也很重要。当然情感机器人也必须可以把这些线索传递给用户。这些都强有力的表明必须赋予情感机器人能够表达感情的脸，可以转的眼睛，有韵律的声音和做出各种姿势的身体。

经文献检索发现，中国专利申请号03280106，名称：机器人头部，该专利系统由两台计算机实现图像和语音信息处理。仅能实现简单的视觉跟踪、语音识别、语音合成功能。中国专利申请号CN101020315A，名称：仿人机器人头部系统，该专利系统只是一个六自由度的装置，只能模拟双眼、颈部和下巴的运动，具有简单的图像预处理和语音交互。以上两个专利都没有仿人的面部表情，不能检测人脸、不能通过语音的情感分析来理解与机器人交互的人类的情感，也不能与人类进行情感交互。为了是机器人能够与人类进行更好的和谐交互，要求机器人必须能够理解人类的行为，并根据交互的内容做出行为表达。为了使人与机器人之间的交互像人与人一样自然、亲切和生动，以仿生学为基础，设计并研制了具有情感处理和表达能力的情感机器人。情感计算及其情感模型赋予了该机器人具有类似于人一样的观察、理解和生成各种情感特征的能力。通过视觉(摄像头)、听觉(麦克风)和触觉(红外传感器)等来感知外部环境的变化，利用六种面部表情、肢体动作和语音来表达自身的情感。

发明内容

发明的目的，即解决的技术问题；

现在大多数的机器人是作为一种具有特殊功能的工具，其功能比较单一，与人类没有情感上的交互。具有情感交互的表情机器人可以广泛应用于家庭服务、病人护理、助老助残、导购导游、表演、机器人玩具、机器人宠物等人们的日常生活中。

本发明的主要目的在于提供一种情感机械头，具有惊讶、恐怖、厌恶、愤怒、欣喜、悲痛等6种细微的面部表情；提供一种具有情感的机器人，通过对伺服电机的PID控制能够实现惊讶、恐怖、厌恶、愤怒、欣喜、悲痛等6种表情之间的自然过渡；提供一种具有情感的机器人，该情感机器人的情感模型与情感表达具有映射关系；提供一种具有情感的机器人，能够通过表情、计算机视觉、语音交互等方式与人类自然交流；提供一种情感机器人，能够通过语音交互理解人类的情感；提供一种情感机器人，能够通过中文、英文、男声、女声等四种方式与人进行语音交互，在交互过程中实现中英文对译。

本发明是通过以下技术方案实现的。本发明包括：机械头本体、PIC控制器、以PC为中心的上位机。机器人通过红外传感器、麦克、USB摄像头检测外部环境的信息。检测到的红外传感器信息经过PIC控制器的处理，通过串口通讯传递给以PC为中心的上位机。麦克和USB摄像头检测到的信息直接传递给以PC为中心的上位机。红外传感器用来检测外部障碍，麦克是作为语音输入的工具，USB摄像头用来进行人脸识别。PC对收集到的外部环境信息首先进行情感特征提取，分析出语音情感和识别到的人脸的面部表情。收集到外部信息经过PC处理后合成机器人要表达的情感。语音输出模块，机械头的身体语言和机械头的面部表情构成了情感机器人的情感表达。PC通过串口指令向PIC单片机发送要调用的面部表情数据包和身体语言数据包。PIC单片机在接收到数据包后，产生相应的PWM，PWM驱动电机运动。机器人头部电机通过连接线拉动面部皮肤的运动单元运动，从而产生机械头的面部表情。机械头颈部电机的运动产生点头摇头等身体语言。PC在经过语音识别和语音合成后通过音响设备输出具有情感的语音。主要应用了语音识别技术、语音合成技术、图像识别技术、电机控制技术、计算机通信技术、单片机应用技术、机械设计技术、材料成型技术，涉及到信息、机械、材料、美学等多个学科。情感机械头的机械设计是参照成年男性头部，以1∶1的比例进行设计，有12个自由度。以Ekman和Friesen的FACS分类方法为理论基础，参考人类面部表情肌的分布和运动，设计了眉毛、上下眼睑、眼球、嘴、下颚、颈部等六个运动模块。运动模块参照FACS里面的特征点运动合成机器人的面部表情。

所述具有12个自由度的机械头本体的机械连接部分采用铝合金，面部皮肤采用具有高弹性的硅胶。机械头本体部分用来模拟人类头部的面部表情。机器人头部里面的空间非常小，而要求的自由度有12个，所以机器人头部的动力驱动器采用非常小的伺服电机。与同类型的舵机相比较，GWS扭矩比较大，易于控制，也比较稳定。机器人颈部采用扭矩和体积都大的HG14-M。机器人动作包括：上下点头、左右摇头。它们各用一台伺服电机带动。其它十台电机是控制头部的面皮动作的。它包括：下巴(1台)、眼球的上下运动(1台)、眼球的左右运动(2台)、眨眼(2台)、皱眉(1台)、挑眉(1台)、嘴角(2台)。

机械头本体22包括眼部固定底座1，固定底座1固定在头部骨架17上；眼球上下动驱动部分2；眼球上下动连杆3；眼球上下动作执行部分4；眼球原地转动基座5固定在眼球上下动作执行部分4之上；右眼原地转动驱动及执行部分6、左眼原地转动驱动及执行部分7，两者固定在5之上；右眼眼睑运动固定基座8、左眼眼睑运动固定基座9，各自固定在各侧眼球原地转动执行件之上；右眼眼睑运动驱动部分10、左眼眼睑运动驱动部分11，各自固定在对应侧眼睑运动固定基座上；右眼眼睑连杆及执行部分12、左眼眼睑连杆及执行部分13，分别与相应侧驱动部件连接；头部左右转动驱动及执行部分14固定在基座上，其伸出轴通过连接件15与低头抬头驱动及执行部分16相连接；头部骨架17通过连接件15固定在14执行部分的伸出轴之上；嘴张合驱动部分18固定在头部骨架17上，嘴张合执行件20通过嘴张合连杆19与嘴张合驱动部分18相连接；面部皮肤21通过拉线与右眼眼睑运动驱动部分10、左眼眼睑运动驱动部分11嘴张合驱动部分18相连接。

下位机系统23由PIC单片机控制器25和红外传感器模块24组成，红外传感器模块24通过数据线与PIC单片机控制器25相连，PIC单片机控制器25通过数据线与机械头本体22相连接；下位机系统23与上位机系统26通过串口线相连接。

上位机系统26由PC28、麦克29、摄像头30和音响31组成；麦克29、摄像头30和音响31分别通过各自的数据线与PC28相连接。

面部表情：心理学研究表明人脸能够产生大约55000种不同的表情，其中有多种能够用人类自然语言词汇区别开来。Ekman和Friesen在1978年通过总结过去对面部表情评定工作的基础上制定出的一个尽最大可能区分面部运动的综合系统，称作面部动作编码系统(facialaction coding system，简称FACS)，在制订过程中详细地研究了面部肌肉运动与面容变化的关系，。它把人的脸部动作分解成44种称为AU(动作单位)的基本动作。各个AU可以根据脸部的特点予以定义，也可以从解剖学角度考虑系由一个或几个肌肉收缩、松弛所引起的。于是，所有表情都可以用AU的组合来表示。在心理学领域，把人的基本表情分为惊讶、恐怖、嫌恶、愤怒、欣喜、悲痛6种。表2列出了六种基本表情与AU的关系。AU1(提升眉毛)、AU4(下拉眉毛)、AU9(收缩鼻子)、AU12(拉动嘴角)、AU15(嘴角下压)、AU16(提高颧部)、AU26(下拉下巴)、AU27(张大嘴巴)。表情机器人的表情合成可以通过用VC++编写的调试界面(GUI)进行表情的调试、保存和调用。

PIC控制器有PIC单片机、电源模块、串口通讯模块、舵机接口、传感器模块等6部分组成。PIC单片机主要是对头部的12台舵机和传感器模块的进行控制。PIC单片机具有高速度、实时执行、低功耗、用户可选择振荡器、具有程序代码保护功能、功能强大的I/O性能、具有PWM、A/D、D/A转换器等多种有点。电源模块采用具有7.4V锂电池进行供电，通过电源开关进行控制。串口通信模块是整个系统与PC机发送及接受数据和命令的通道，情感机器人的运动数据以及控制命令均由PC机通过串口通信发送到PIC单片机中。串口通信模块包括有线通信和无线通信两种，有线通信由MAX232芯片与其外围电路构成，；无线通信则由专门的无线通信模块完成，无线通信模块共有两个，PC机与机器人各有一个，收发功能由模块内部命令字控制。舵机接口主要由一个三针插座以及与之相配套的电阻构成，具体实现功能是，给舵机提供工作电源，发送控制脉冲。传感器模块是利用红外传感器来检测机器人周围的障碍物，或者是有没有人在靠近机器人。当有人或者机器人周围有障碍物时红外传感器的信号会出现变化。

以PC为中心的上位机控制系统，就是用PC机发出程序，完成对整个情感机器人的引导和控制。PC机的功能很强大，不管是硬件资源还是软件资源，嵌入式系统都无法和PC相比。因此我们设计的PC端的软件必须具备如下功能：语音识别、人脸检测、数据生成、数据通信和机器人初态补偿。下面分别介绍每一种状态的处理过程和方法。

(1)同步状态处理

所谓的同步状态就是情感机器人根据PC机传输的控制数据，可以实时的进行运动，也就是PC机传输一组数据，情感机器人就可以马上做出相应的动作，这就为情感机器人的动作微调打下了基础。

(2)运行状态处理

运行状态就是当情感机器人将数据接收完毕的时候，或者是机器人本身已经预先存储了运行数据的时候，执行运行程序，情感机器人就可以按照所规定的数据进行动作。

(3)接收数据状态处理

接收数据状态就是当情感机器人处于接收PC机传送过来的数据时所要执行的运动状态，在这个状态里PIC单片机要将所接收到的数据存储起来，以备其他程序调用。

(4)初始化状态处理

当情感机器人要进行初始化数据设置时，就要调用初始化数据处理状态。在这个处理状态中，首先要对处于PIC单片机内部EEPROM中指定位置的初始化数据有效标志位进行置位(设定该指定位置为0X3EE)，然后再在片内EEPROM的指定位置顺次写入所接收到的初始化位置数据，以备其他程序调用。初始化数据有效标志位主要为了标志当前状态下是否有可用的初始化数据，以便其他程序调用。

(5)复位状态处理

复位状态也可以说是情感机器人的保持状态，即进入复位状态之后，情感机器人可以保持现有的运动状态。除了保持的作用之外，复位状态还可以作为其他四种状态相互之间转化的衔接状态，从而使得状态之间的转化更为可靠、简单。

人脸检测：该表情机器人在Windows平台下进行图像采集是基于VFW(Video for Windows)进行的，它的特点是播放视频时不需要专用的硬件设备，而且应用灵活，可以满足视频应用程序开发的需要。Windows操作系统自身就携带了VFW，系统安装时，会自动安装VFW的相关组件。

目前，大多数的视频采集卡驱动程序都支持VFW接口，它主要包括多个动态连接库，通过这些组件间的协调合作，来完成视频的捕获、视频压缩及播放功能。VFW以消息驱动方式对视频设备进行存取，可以很方便地控制设备数据流的工作过程。为了能够实时采集并处理图像信息，我们在机器人平台中采用VFW作为应用层的图像采集工具，直接对内存中的视频数据进行操作。

本发明为一种情感机械头，具有惊讶、恐怖、厌恶、愤怒、欣喜、悲痛等6种细微面部表情；一种具有情感的机器人，通过对伺服电机的PID控制能够实现惊讶、恐怖、厌恶、愤怒、欣喜、悲痛等6种表情之间的自然过渡；一种具有情感的机器人，该情感机器人的情感模型与情感表达具有映射关系；一种具有情感的机器人，能够通过表情、计算机视觉、语音交互等多种交互手段来模拟人类情感的自然交流；一种情感机器人，能够通过语音交互理解人类的情感；一种情感机器人，能够通过软件设置自动改变中文、英文、男声、女声等四种方式与人进行语音交互，在交互过程中实现中英文对译提供了完整的解决方案。

附图说明

图1本发明结构示意图

图2本发明功能框图

图3本发明实物图

图4本发明机械原理图

图5本发明面部皮肤

图6本发明语音识别流程图

图7本发明语音合成流程图

图8本发明面部表情图

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

图1本发明结构示意图。如图1所示，本发明包括：一个具有12个自由度的机械头本体22，机械头由机械部分和面部皮肤21组成，一个以PIC单片机为中心的下位机系统23，下位机系统有控制器25和红外传感器模块24组成，一个以PC为中心的上位机系统26，上位机系统有PC28，麦克27，摄像头29，音响30等4部分组成。

图2本发明的功能框图。如图2所示该发明通过机器视觉，语音识别，红外传感器等3个模块感知外部环境信息。机器视觉通过上位机处理后具有人脸识别的功能。语音识别模块经过麦克将语音传递给上位机，上位机对语音信号进行语音的情感特征提取，得到输入语音的情感。红外传感器具有感应在机器人周围是否有障碍或者是否有人员靠近的功能，将探测到的信号传输给下位机系统，下位机系统经过处理后通过RS232通讯传递给上位机系统。上位机系统将图像信息，语音信息，下位机信息进行综合处理，得到与机器人交互的人的信息或者机器人的外部环境信息，然后通过机器人的情感输出模块向下位机系统和语音合成模块发送指令。下位机系统通过PWM控制电机运动产生身体语音(点头、摇头)和面部表情。上位机的在经过语音合成后通过音响向人类表达机器人的语言。情感机器人的语音，身体语言和表情三者共同构成了情感机器人的情感表达。人类可以通过上位机系统的调试界面对机器人的各个功能模块进行调试。

图3本发明实物图。本发明所采用的各种实物设备和最终实物如图3所示。

图4本发明的机械原理图。如图4所示，表情机器人系统的机械原理图用Pro/E来完成设计与绘制，机械头本体包括有底座支杆31、底板32、颈部轴承座33、颈部轴承盖34、点头驱动电机35、点头电机座36、U形架37、下颌柄38、下颌连杆39、眼底板40、左眼皮驱动电机41、左眼球42、底块下颌驱动电机43、眼球上下驱动电机44、头骨支架45、左眉毛运动电机46、右眉毛运动电机47、固定支杆48、左眼皮驱动电机固定架49、眼球上下机构连杆50、右眼皮驱动电机固定架51、动支架52、右眼球底块53、左眼皮54、右眼皮55、右眼球56、左眼球57、眼球左右运动电机固定架58、右眼球左右运动驱动电机59、上颌片60、左眼球左右运动驱动电机61、下颌片62、点头电机底支架63、摇头驱动电机64等34个部分连接构成。

图5本发明的面部皮肤。面部皮肤的制作要经过泥模制作、石膏模制作、硅胶面皮制作、面皮的固定4步来完成。泥模制作：头部面皮的制作主要靠手工制作，制作前首先要按照人物的外形做一个泥模型，石膏模制作：由于泥模型会随水分的蒸发而产生收缩、龟裂，所以泥模型制造完成之后，应及时翻制成石膏模。石膏模不仅可以长久的保留所塑造的产品形态，同时也可以通过制作石膏模具的方法进行多次复制原型。硅胶面皮制作：利用做好的石膏模具就可以做硅胶面皮了，用液体状的硅胶加入固化剂，搅拌均匀，根据所需面皮厚度倒入一定量的硅胶液体于模具中，均匀摇动，一直等到硅胶面皮完全干后面皮就制作完成了。面皮的固定：在硅胶面皮需要有表情的位置如嘴角和眉头部分，先预先埋置好线，以便拉动面皮而产生表情。

图6本发明语音识别流程图。语音识别，表情机器人语音识别功能模块利用Pattek ASRSDK在Visual C++6.0环境下进行开发。Pattek ASR具有易用性强、识别率高的特点，用户无需进行训练，引擎的设计已经保证了非特定人这一重要特点；API提供的管理工具可以使得用户自如地定义自己所需的词表和语法，以便应付不同的应用需求。机器人语音识别功能模块的程序流程图如图6所示。

图7本发明语音合成流程图。语音合成，表情机器人语音合成功能模块利用iFly TTS SDK在Visual C++6.0环境下进行开发。本节采用iFly TTS SDK开发语音合成模块具有高质量的文本语音转换效果，采用了大型语料库合成技术；采用了超大规模的自然语流数据库的制作，并以此作为数据统计和机器学习的训练数据；依据语言学、语音学、人工智能知识基础，利用机器学习中的决策树、神经网络系统，分别建立了较为完善的基频、时长、能量、停顿模型；具有高效的集成策略，系统可以通过边合成边播放的策略，避免了由于合成长文本带来的较大的延时，系统在分段播放语音时，用户的任何打断都可以中止该次合成任务，免去了无谓的资源消耗；支持对语速、合成风格、音量等合成参数的调整；能保证合成语音连续、可懂、自然，相当于普通人说话标准。机器人语音合成模块的程序流程如图7所示。

图8本发明面部表情图。基本表情：以FACS编码为理论依据手动调试各种表情，建立基本表情库。基本表情库包括惊讶、恐怖、嫌恶、愤怒、欣喜、悲痛等6种基本表情。表情库里面的六种表情如图8所示。

本发明能够实现惊讶、恐怖、嫌恶、愤怒、欣喜、悲痛等6种人类基本表情，具有非特定人中英文语音识别语音合成功能，能够进行人脸检测，识别人类情感，通过面部表情、语音和肢体行为表达机器人自身的情感。

Claims (2)

1.情感机器人系统，其特征在于：系统由机械头本体、下位机系统、上位机系统组成；

机械头本体(22)包括眼部固定底座(1)，固定底座(1)固定在头部骨架(17)上；眼球上下动驱动部分(2)；眼球上下动连杆(3)；眼球上下动作执行部分(4)；眼球原地转动基座(5)固定在眼球上下动作执行部分(4)之上；右眼原地转动驱动及执行部分(6)、左眼原地转动驱动及执行部分(7)，两者固定在眼球原地转动基座(5)之上；右眼眼睑运动固定基座(8)固定在右眼原地转动驱动及执行部分(6)，左眼眼睑运动固定基座(9)固定在左眼原地转动驱动及执行部分(7)；右眼眼睑运动驱动部分(10)、左眼眼睑运动驱动部分(11)，各自固定在对应侧眼睑运动固定基座上；右眼眼睑连杆及执行部分(12)、左眼眼睑连杆及执行部分(13)，分别与相应侧驱动部件连接；头部左右转动驱动及执行部分(14)固定在眼部固定底座(1)上，头部左右转动驱动及执行部分(14)伸出轴通过连接件(15)与低头抬头驱动及执行部分(16)相连接；头部骨架(17)通过连接件(15)固定在头部左右转动驱动及执行部分(14)执行部分的伸出轴之上；嘴张合驱动部分(18)固定在头部骨架(17)上，嘴张合执行件(20)通过嘴张合连杆(19)与嘴张合驱动部分(18)相连接；面部皮肤(21)通过拉线与右眼眼睑运动驱动部分(10)、左眼眼睑运动驱动部分(11)、嘴张合驱动部分(18)相连接；

下位机系统(23)由PIC单片机控制器(25)和红外传感器模块(24)组成，红外传感器模块(24)通过数据线与PIC单片机控制器(25)相连，PIC单片机控制器(25)通过数据线与机械头本体(22)相连接；下位机系统(23)与上位机系统(26)通过串口线相连接；

上位机系统(26)由PC(28)、麦克(29)、摄像头(30)和音响(31)组成；麦克(29)、摄像头(30)和音响(31)分别通过各自的数据线与PC(28)相连接；

机器人系统通过红外传感器、麦克、摄像头检测外部环境信息；检测到的红外传感器信息经过PIC控制器的处理，通过串口通讯传递给以PC为中心的上位机；麦克和摄像头检测到的信息直接传递给以PC为中心的上位机；红外传感器用来检测外部障碍，麦克是作为语音输入的工具，摄像头用来进行人脸识别；PC对收集到的外部环境信息首先进行情感特征提取，分析出语音情感和识别到的人脸的面部表情；收集到外部信息经过PC处理后合成机器人要表达的情感；PC通过串口指令向PIC单片机发送要调用的面部表情数据包和身体语言数据包；PIC单片机在接收到数据包后，产生相应的PWM，PWM驱动电机运动；机器人头部电机通过连接线拉动面部皮肤的运动单元运动，从而产生机械头的面部表情；机械头颈部电机的运动产生点头摇头等身体语言；PC在经过语音识别和语音合成后通过音响设备输出具有情感的语音；

机器人动作包括：上下点头、左右摇头，它们各用一台伺服电机带动，其它十台电机是控制头部的面皮动作的，它包括：1台下巴、1台眼球的上下运动、2台眼球的左右运动、2台眨眼、1台皱眉、1台挑眉、2台嘴角；PIC控制器有PIC单片机、电源模块、串口通讯模块、舵机接口、传感器模块等6部分组成；PIC单片机主要是对头部的12台舵机和传感器模块的进行控制；电源模块采用具有7.4V锂电池进行供电，通过电源开关进行控制；舵机接口主要由一个三针插座以及与之相配套的电阻构成，具体实现功能是，给舵机提供工作电源，发送控制脉冲；传感器模块是利用红外传感器来检测机器人周围的障碍物。

2.如权利要求1所述的情感机器人系统，其特征在于PC端的软件具备如下功能：语音识别、人脸检测、数据生成、数据通信和机器人初态补偿；PC端的软件包含同步状态处理、运行状态处理、接收数据状态处理、初始化状态处理、复位状态处理、人脸检测；

同步状态处理：是情感机器人根据PC机传输的控制数据，可以实时的进行运动，也就是PC机传输一组数据，情感机器人就可以马上做出相应的动作，为情感机器人的动作微调打下了基础；

运行状态处理：当情感机器人将数据接收完毕的时候，或者是机器人本身已经预先存储了运行数据的时候，执行运行程序，情感机器人就可以按照所规定的数据进行动作；

接收数据状态处理：当情感机器人处于接收PC机传送过来的数据时所要执行的运动状态，在这个状态里PIC单片机要将所接收到的数据存储起来，以备其他程序调用；

初始化状态处理：当情感机器人要进行初始化数据设置时，就要调用初始化数据处理状态，在这个处理状态中，首先要对处于PIC单片机内部EEPROM中指定位置的初始化数据有效标志位进行置位，然后再在片内EEPROM的指定位置顺次写入所接收到的初始化位置数据，以备其他程序调用，初始化数据有效标志位主要为了标志当前状态下是否有可用的初始化数据，以便其他程序调用；

复位状态处理：是情感机器人的保持状态，即进入复位状态之后，情感机器人可以保持现有的运动状态，除了保持的作用之外，复位状态还可以作为其他四种状态相互之间转化的衔接状态，从而使得状态之间的转化更为可靠、简单；

人脸检测：该表情机器人在Windows平台下进行图像采集是基于VFW进行的，它的特点是播放视频时不需要专用的硬件设备，而且应用灵活，可以满足视频应用程序开发的需要，Windows操作系统自身就携带了VFW，系统安装时，会自动安装VFW的相关组件。

Images