CN103853071A - 基于生物信号的人机面部表情交互系统 - Google Patents

Abstract

本发明提供了一种基于生物信号的人机面部表情交互系统，包括：头戴式肌电采集仪和具有感官及表情功能的机器人头部；所述机器人头部具有两个颈部运动自由度、两个嘴唇运动自由度、两个眼睛运动自由度，可以实现眼、唇等面部器官的运动，形成各种表情，提供多种与操作者的交互通道。本发明提出了基于生物信号的方法与数字图像处理相结合交互获取人面部表情的方法，克服了传统表情交互系统中人必须面对摄像头、使用环境必须有光照等限制，极大的提高了使用的灵活性。经过实验验证，本发明具有可行性，且能克服传统表情交互系统无法克服的使用环境限制，具有很好的使用灵活性。

Description

基于生物信号的人机面部表情交互系统

技术领域

本发明涉及人机交互技术领域，具体地，涉及一种基于生物信号的人机面部表情交互系统。

背景技术

随着科技的发展，机器人走入人类社会是一种必然。机器人与人的相处使得对它仿人化的要求也越来越高，而仿人脸部表情技术在实现仿人机器人与人的沟通交流上尤其重要。日常生活充满了面对面的交流，脸部对表达一个人的个性和情感起着非常重要的作用。对进入人们生活的机器人，要求它具有适合人和环境的形态和功能，能和人进行有效的情感和信息的交流。因此它要从外表、形态上更像人，具有与人相近的表达情感的脸部动作形式。

这种需求推动了对仿人机器人脸部表情技术和机器人情感的研究，也就是脸部人机交互系统的研究。国内最早的、真正通过驱动和控制弹性面部实现喜、怒、哀、乐等表情的仿人头像机器人是2004年研制成功的H＆Frobot-I型机器人系统，；2006年又推出H&Frobot-II型系统，其基于知识及神经网络的方法实现了对人类面部基本表情的视觉识别及机器人再现。

但是，现有技术中，人机交互系统仍然存在着工作时人必须面对摄像头、使用环境必须有光照等限制，并且人机交互功能少。

中国发明专利(公开号：CN201088839)机器人笑表情肌肉动作机构，其技术方案仅能通过骨架以及橡胶表皮表示出各种微笑表情，但是不足以完成人机交互功能。

中国发明专利(公开号：CN101458778)具有面部表情及多感知功能的仿人头像机器人，其技术方案通过牵引橡胶表皮，表示出多种表情，也具备视觉，听觉传感器，但是不具备与操作者表情的交互能力，也不具备主动发声的交互能力。

中国发明专利(公开号：CN102750555)一种应用于即时通讯工具的表情机器人，其技术方案中，用户仅能通过手动在聊天窗口中输入表情符号作为系统输入，但是不能实时直接模拟人的表情，不具有直接的人机交互性。

中国发明专利(公开号：CN102566474)仿人面部表情机器人交互系统和方法以及人脸检测和跟踪方法，其技术方案中，仅能通过图像采集装置采集并识别人脸面部表情，系统输入受到人面部运动范围、光照等外部许多因素的影响，系统的运行有很大的不自由性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种使用范围广、应用灵活和人机交互功能强大的基于生物信号的脸部人机交互系统。

为了达到上述目的，本发明是通过以下技术方案实现的。

一种基于生物信号的人机面部表情交互系统，包括头戴式肌电采集仪和具有感官及表情功能的机器人头部；其中，所述机器人头部包括以下部件：

-外廓；

-颈部，所述颈部用于支撑外廓并带动外廓运动；

-嵌入式计算机；

-嘴部、眼部和耳部，分别设置于外廓上，并分别与嵌入式计算机相连接；

所述头戴式肌电采集仪与嵌入式计算机相连接。

优选地，所述颈部包括：颈部底板、颈部屈伸电机、颈部连接板、颈部侧转电机、颈部上连接板和颈部连接柱；其中，所述颈部底板与机器人头部固定平台相连，从而构成机器人头部的底座；所述颈部屈伸电机的外壳与颈部底板相连，用于驱动颈部屈伸自由度；所述颈部连接板分别与颈部屈伸电机的转轴和颈部侧转电机的外壳相连，所述颈部侧转电机用于驱动颈部侧转自由度；所述颈部上连接板与颈部侧转电机的转轴相连；颈部连接柱的一侧与颈部上连接板相连，颈部连接柱的另一侧与机器人头部的外廓相连。

优选地，所述嘴部包括：上唇电机、上唇、下唇电机、下唇和扬声器；其中，所述上唇电机的外壳与外廓相连，用于驱动上唇自由度；上唇与上唇电机的转轴相连，从而构成机器人的上唇部；下唇电机的外壳与外廓相连，用于驱动机器人下唇自由度；下唇与下唇电机的转轴相连，从而构成机器人的下唇部；扬声器设置于外廓内部，用于发出声音，并与操作者进行交互。

优选地，所述眼部包括：上眼睑电机、上眼睑、下眼睑电机、下眼睑和眼球；其中，上眼睑电机的外壳与外廓相连，用于驱动机器人上眼睑自由度；上眼睑与上眼睑电机的转轴相连，从而构成机器人上眼睑部；下眼睑电机的外壳与外廓相连，用于驱动机器人下眼睑自由度；下眼睑与下眼睑电机的转轴相连，从而构成机器人下眼睑部；眼球设置于上眼睑部和下眼睑部之间，眼球内置摄像机，用于获取视觉信号。

优选地，所述耳部包括：耳部外廓和耳部麦克风；其中，所述耳部外廓与外廓相连；耳部麦克风与耳部外廓相连，用于获取听觉信号。

优选地，所述嵌入式计算机包括：硬件单元和软件单元，所述硬件单元包括嵌入式处理器和运动控制卡；所述软件单元设置于嵌入式处理器上，包括用于对获取信号进行预处理的信号预处理模块、用于人脸面部表情识别的表情识别模块和用于驱动机器人头部面部运动的运动控制模块；其中，所述嵌入式处理器与头戴式肌电采集仪通过无线通信相连接，所述运动控制卡与机器人头部的驱动电机相连接。

优选地，所述驱动电机包括：颈部屈伸电机、颈部侧转电机、上唇电机、下唇电机、上眼睑电机以及下眼睑电机。

优选地，所述运动控制卡通过总线方式与颈部屈伸电机、颈部侧转电机、上唇电机、下唇电机、上眼睑电机以及下眼睑电机连接。

优选地，所述头戴式肌电采集仪设有具备14通道的头部生物信号采集模块和表情识别处理模块。

本发明提供的基于生物信号的脸部人机交互系统，其工作原理为：

使用者首先佩戴EPOC，然后通过EPOC运用一种被称为非侵入性的肌电仪(EMG)技术，感测脸部肌肉电信号，将采集到的数据以无线方式传输到具有感官及表情功能的机器人头部的嵌入式计算机，嵌入式计算机首先对通过无线通信获取操作者头部肌肉信号进行预处理及特征提取，然后通过表情识别软件模块进行判断识别，解读使用者表情，随后转化成计算机能理解的信息；然后根据识别结果判断机器人需要做出的响应，将相应指令发送到运动控制卡上驱动机器人头部各部分表情模块对应的伺服电机，借助传动机制带动具有感官及表情功能的机器人头部各部分做出相应的表情，驱动具有感官及表情功能的机器人头部各部分进行简单的动作，同时将所需相应音频信号发送给扬声器，机器人发出相应声音，与操作者实现交互。

此外，本发明可以通过安装于眼部的摄像机对操作者的面部表情进行采集分析，通过采集到的使用者面部图像，嵌入式计算机通过相应面部识别软件识别出表情，然后所述计算机发出指令信号去驱动具有感官及表情功能的机器人头部各部分完成表情或发出声音，同样实现脸部人机交互。

另外，本发明还可以通过安装于耳部的麦克风对操作者的声音进行采集分析，通过采集到的使用者声音信号，嵌入式计算机通过相应语音识别软件识别出声音内容，然后所述计算机发出指令信号去驱动具有感官及表情功能的机器人头部各部分完成表情或发出声音，同样实现脸部人机交互。

与现有技术相比，本发明具有以下技术特点：

(1)本发明解决了传统的基于摄像头对人面部表情进行采集分析而应用范围受限制的缺点，在应用摄像头的同时，采用佩戴式的EPOC，操作者无需一直面对摄像头，使用环境也无需有光照，大大增加了应用的灵活性；

(2)本发明采用了基于生物信号与摄像头、麦克风相结合的识别方式，扩大了应用范围，提高了识别的准确度，也为其他领域中的相关研究提供了借鉴思想；

(3)本发明提供了语音交互、表情交互等多种交互功能。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的整体结构示意图；

图2为本发明具有感官及表情功能的机器人头部结构示意图；

图3为本发明具有感官及表情功能的机器人颈部示意图；

图4为本发明具有感官及表情功能的机器人嘴部示意图；

图5为本发明具有感官及表情功能的机器人眼部示意图；

图6为本发明具有感官及表情功能的机器人耳部示意图；

图7为本发明控制流程图；

图中：1为头戴式肌电采集仪，2为机器人头部，3为外廓，4为颈部，5为嘴部，6为眼部，7为耳部，9为颈部底板，10为颈部屈伸电机，11为颈部连接板，12为颈部侧转电机，13为颈部上连接板，14为颈部连接柱，15为上唇电机，16为上唇，17为下唇电机，18为下唇，19为扬声器，20为上眼睑电机，21为上眼睑，22为下眼睑电机，23为下眼睑，24为眼球，25为耳部外廓，26为耳部麦克风，27为嵌入式处理器，28为运动控制卡。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

请同时参阅图1至图7。

本实施例提供了一种基于生物信号的人机面部表情交互系统，包括：头戴式肌电采集仪1和具有感官及表情功能的机器人头部2。

所述头戴式肌电采集仪可以采集操作者头部的肌电信号，识别处理代表操作者不同脸部表情的各种信号；所述机器人头部具备交互信息输入与输出功能，其包括外廓3、颈部4、嘴部5、眼部6、耳部7、嵌入式计算机、安装于嘴部的扬声器、安装于耳部的麦克风和安装于眼部的摄像机，通过上述装置，所述机器人头部既能够获取来自于操作者和头戴式肌电采集仪的各种信号，又能够表示出各种表情及发出声音，与操作者进行交互。

具体为，所述机器人头部包括以下部件：

-外廓；

-颈部，所述颈部用于支撑外廓并带动外廓运动；

-嵌入式计算机；

-嘴部、眼部和耳部，分别设置于外廓上，并分别与嵌入式计算机相连接；

所述头戴式肌电采集仪与嵌入式计算机信号连接。

进一步地，所述头戴式肌电采集仪1设有具备14通道的头部生物信号采集模块和表情识别处理模块，可以采用美国的神经科技公司(Emotiv Systems，EMOTIV)的意念控制器(EPOC)装置。

进一步地，所述颈部4包括：颈部底板9、颈部屈伸电机10、颈部连接板11、颈部侧转电机12、颈部上连接板13和颈部连接柱14。其中，颈部底板9与机器人头部固定平台相连，形成整个具有感官及表情功能的机器人头部2的底座；颈部屈伸电机10外壳与颈部底板9，驱动颈部屈伸自由度；颈部连接板11与颈部屈伸电机10转轴相连，连接两个颈部电机；颈部侧转电机12外壳与颈部连接板11相连，驱动颈部侧转自由度；颈部上连接板13与颈部侧转电机12转轴相连；颈部连接柱14一侧与颈部上连接板13相连，另一侧与机器人头部外廓3相连。

进一步地，所述外廓3构成了具有感官及表情功能的机器人头部2的主体；颈部4具有2个自由度，可以带动所述外廓3运动。

进一步地，所述嘴部5包括：上唇电机15、上唇16、下唇电机17、下唇18和扬声器19。其中，上唇电机15外壳与外廓3相连，驱动上唇自由度；上唇16与上唇电机15转轴相连，构成机器人的上唇；下唇电机17与外廓3相连，驱动机器人下唇自由度；下唇18与下唇电机17转轴相连，构成机器人的下唇；扬声器19置于外廓3内部，可以发出声音，与操作者进行交互。

进一步地，所述眼部6包括：上眼睑电机20、上眼睑21、下眼睑电机22、下眼睑23和眼球24。其中，上眼睑电机20外壳与外廓3相连，驱动机器人上眼睑自由度；上眼睑21与上眼睑电机20转轴相连，构成机器人上眼睑；下眼睑电机22外壳与外廓3相连，驱动机器人下眼睑自由度；下眼睑23与下眼睑电机22转轴相连，构成机器人下眼睑；眼球24内置摄像机，可以获取视觉信号。

进一步地，所述耳部7包括：耳部外廓25和耳部麦克风26。其中，耳部外廓25与外廓3相连；耳部麦克风26与耳部外廓25相连，可以获取听觉信号。

进一步地，所述嵌入式计算机包括：硬件单元和软件单元。其中，硬件单元包括嵌入式处理器27和运动控制卡28；软件单元包括信号预处理模块、表情识别模块、运动控制模块，可分别实现对获取信号的预处理、人脸面部表情识别、驱动面部运动的功能。其中，运动控制卡与各电机相连，可通过总线方式发送指令给面部伺服电机；嵌入式处理器上面运行机器人软件单元。具体为，所述嵌入式计算机包括：嵌入式处理器和运动控制卡；所述嵌入式处理器上软件部分包括：用于人脸面部表情识别的表情识别模块、用于对获取信号进行预处理的信号预处理模块和用于驱动机器人头部面部运动的运动控制模块；其中，所述的嵌入式处理器与头戴式肌电采集仪通过无线通信方式连接，所述运动控制卡与机器人头部的驱动电机相连接。

进一步地，所述驱动电机包括：颈部屈伸电机、颈部侧转电机、上唇电机、下唇电机、上眼睑电机以及下眼睑电机。

本实施例提供的基于生物信号的脸部人机交互系统，其工作原理为：

使用者首先佩戴EPOC，然后通过EPOC运用一种被称为非侵入性的肌电仪(EMG)技术，感测脸部肌肉电信号，将采集到的数据以无线方式传输到具有感官及表情功能的机器人头部的嵌入式计算机，嵌入式计算机首先对通过无线通信获取操作者头部肌肉信号进行预处理及特征提取，然后通过表情识别软件模块进行判断识别，解读使用者表情，随后转化成计算机能理解的信息；然后根据识别结果判断机器人需要做出的响应，将相应指令发送到运动控制卡上驱动机器人头部各部分表情模块对应的伺服电机，借助传动机制带动具有感官及表情功能的机器人头部各部分做出相应的表情，驱动具有感官及表情功能的机器人头部各部分进行简单的动作，同时将所需相应音频信号发送给扬声器，机器人发出相应声音，与操作者实现交互。

此外，也可以通过安装于眼部的摄像机对操作者的面部表情进行采集分析，通过采集到的使用者面部图像，嵌入式计算机通过相应面部识别软件识别出表情，然后所述计算机发出指令信号去驱动具有感官及表情功能的机器人头部各部分完成表情或发出声音，同样实现脸部人机交互。

另外，还可通过安装于耳部的麦克风对操作者的声音进行采集分析，通过采集到的使用者声音信号，嵌入式计算机通过相应语音识别软件识别出声音内容，然后所述计算机发出指令信号去驱动具有感官及表情功能的机器人头部各部分完成表情或发出声音，同样实现脸部人机交互。

在本实施例中：

1、头戴式肌电采集仪和具有感官及表情功能的机器人头部两部分，其中具有感官及表情功能的机器人头部部分包括：机器人头部外廓，机器人颈部，机器人嘴部，机器人眼部，机器人耳部。整个装置具备交互信息输入与输出功能，可与操作者进行交互。其特征在于：操作者可通过佩戴头戴式肌电采集仪，与具有表情表达能力的机器人进行交互。头戴式肌电采集仪可以根据采集到的人面部肌电信号实时判断出佩戴者的表情，并将识别结果实时传递给具有感官及表情功能的机器人，机器人接收到肌电采集仪无线发送的指令后，根据指令完成相应的表情或者发声，与操作者进行交互。

2、使用的头戴式肌电采集仪采用EMOTIV公司的EPOC装置，具备14通道的头部生物信号采集能力，可通过佩戴在头部，采集人体脸部的肌电信号，分析判断出佩戴者的表情。

3、机器人头部外廓构成了具有感官及表情功能的机器人头部的主体；机器人颈部具有两个自由度，可以带动机器人头部外廓运动；机器人嘴部具备独立运动的两边嘴唇，且内置扬声器，可以发出声音信号；机器人眼部具备独立运动的上、下眼睑，且眼球内置摄像机，可以获取视觉信号；机器人耳部内置麦克风，可以获取听觉信号。可以响应肌电采集仪分析的结果，完成相关的表情动作，与操作者进行交互。

本实施例提供的基于生物信号的人机面部表情交互系统，包括：头戴式肌电采集仪，具有感官及表情功能的机器人头部。人体佩戴的头戴式肌电采集仪采集佩戴者的面部表情。所述具有感官及表情功能的机器人头部包括安装于眼睛部分的摄像机获取视觉信号，安装于耳部的麦克风获取听觉信号，并配有两个颈部运动自由度、两个嘴唇运动自由度、两个眼睛运动自由度，可以实现眼、唇等面部器官的运动，形成各种表情，提供多种与操作者的交互通道。上述两部分整合形成了一套完整的人机交互系统，整合上述功能后，本发明与现有表情机器人技术相比，创新性地提出了基于生物信号的方法与数字图像处理相结合交互获取人面部表情的方法，可以克服传统表情交互系统中人必须面对摄像头、使用环境必须有光照等限制，极大的提高了使用的灵活性。经过实验验证，该系统具有可行性，且能克服传统表情交互系统无法克服的使用环境限制，具有很好的使用灵活性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于生物信号的人机面部表情交互系统，其特征在于，包括头戴式肌电采集仪和具有感官及表情功能的机器人头部；其中，所述机器人头部包括以下部件：

-外廓；

-颈部，所述颈部用于支撑外廓并带动外廓运动；

-嵌入式计算机；

-嘴部、眼部和耳部，分别设置于外廓上，并分别与嵌入式计算机相连接；

所述头戴式肌电采集仪与嵌入式计算机相连接。

2.根据权利要求1所述的基于生物信号的人机面部表情交互系统，其特征在于，所述颈部包括：颈部底板、颈部屈伸电机、颈部连接板、颈部侧转电机、颈部上连接板和颈部连接柱；其中，所述颈部底板与机器人头部固定平台相连，从而构成机器人头部的底座；所述颈部屈伸电机的外壳与颈部底板相连，用于驱动颈部屈伸自由度；所述颈部连接板分别与颈部屈伸电机的转轴和颈部侧转电机的外壳相连，所述颈部侧转电机用于驱动颈部侧转自由度；所述颈部上连接板与颈部侧转电机的转轴相连；颈部连接柱的一侧与颈部上连接板相连，颈部连接柱的另一侧与机器人头部的外廓相连。

3.根据权利要求1所述的基于生物信号的人机面部表情交互系统，其特征在于，所述嘴部包括：上唇电机、上唇、下唇电机、下唇和扬声器；其中，所述上唇电机的外壳与外廓相连，用于驱动上唇自由度；上唇与上唇电机的转轴相连，从而构成机器人的上唇部；下唇电机的外壳与外廓相连，用于驱动机器人下唇自由度；下唇与下唇电机的转轴相连，从而构成机器人的下唇部；扬声器设置于外廓内部，用于发出声音，并与操作者进行交互。

4.根据权利要求1所述的基于生物信号的人机面部表情交互系统，其特征在于，所述眼部包括：上眼睑电机、上眼睑、下眼睑电机、下眼睑和眼球；其中，上眼睑电机的外壳与外廓相连，用于驱动机器人上眼睑自由度；上眼睑与上眼睑电机的转轴相连，从而构成机器人上眼睑部；下眼睑电机的外壳与外廓相连，用于驱动机器人下眼睑自由度；下眼睑与下眼睑电机的转轴相连，从而构成机器人下眼睑部；眼球设置于上眼睑部和下眼睑部之间，眼球内置摄像机，用于获取视觉信号。

5.根据权利要求1所述的基于生物信号的人机面部表情交互系统，其特征在于，所述耳部包括：耳部外廓和耳部麦克风；其中，所述耳部外廓与外廓相连；耳部麦克风与耳部外廓相连，用于获取听觉信号。

6.根据权利要求1至5中任一项所述的基于生物信号的人机面部表情交互系统，其特征在于，所述嵌入式计算机包括：硬件单元和软件单元，所述硬件单元包括嵌入式处理器和运动控制卡；所述软件单元设置于嵌入式处理器上，包括用于对获取信号进行预处理的信号预处理模块、用于人脸面部表情识别的表情识别模块和用于驱动机器人头部面部运动的运动控制模块；其中，所述嵌入式处理器与头戴式肌电采集仪通过无线通信相连接，所述运动控制卡与机器人头部的驱动电机相连接。

7.根据权利要求6所述的基于生物信号的人机面部表情交互系统，其特征在于，所述驱动电机包括：颈部屈伸电机、颈部侧转电机、上唇电机、下唇电机、上眼睑电机以及下眼睑电机。

8.根据权利要求7所述的基于生物信号的人机面部表情交互系统，其特征在于，所述运动控制卡通过总线方式与颈部屈伸电机、颈部侧转电机、上唇电机、下唇电机、上眼睑电机以及下眼睑电机连接。

9.根据权利要求1所述的基于生物信号的人机面部表情交互系统，其特征在于，所述头戴式肌电采集仪设有具备14通道的头部生物信号采集模块和表情识别处理模块。

Images