CN102566474A

CN102566474A - 仿人面部表情机器人交互系统和方法以及人脸检测和跟踪方法

Info

Publication number: CN102566474A
Application number: CN2012100628242A
Authority: CN
Inventors: 柯显信; 杨晓晨; 冒小萍; 刘杨; 陈玉亮; 柏垠
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2012-03-12
Filing date: 2012-03-12
Publication date: 2012-07-11

Abstract

本发明公开了一种仿人面部表情机器人交互系统和方法及人脸检测和跟踪方法，它包括图像采集装置（I）、上位机（II）、控制单元（III）和机器人本体（IV）。控制机器人的面部表情输出，一方面可以通过上位机控制系统的控制界面进行选择，上位机将表情模式通过串口通信发送到控制单元来控制机器人输出六种基本面部表情（高兴、愤怒、恐惧、惊讶、厌恶、悲伤）；另一方面，图像采集装置采集到人脸面部表情，输入到上位机进行特征提取和基础面部表情（眼睛的睁闭、嘴巴的张合）的识别，上位机将表情识别结果通过串口通信发送到控制单元，控制单元根据接收到的表情指令控制机器人再现表情。该面部表情机器人交互系统能够实现六种基本面部表情，并具有基础面部表情实时再现的能力。

Description

仿人面部表情机器人交互系统和方法以及人脸检测和跟踪方法

技术领域

本发明涉及仿人机器人领域，具体地说是一种仿人面部表情机器人交互系统。

技术背景

一般的仿人机器人它的形状与人类似，具有移动功能、操作功能、感知功能、记忆和自治能力，能够实现人机交互。随着对于仿人机器人的研究不断深入，机器人研究对生物学、心理学、社会学、行为学、语言学等领域的知识与技术的需求会不断增加，各学科之间的交叉性越来越强。可以预见未来机器人技术是朝着网络化、高度智能化的方向发展，所以必然导致仿人机器人与人类相互交流、共存。

因此这就要求仿人机器人不仅要具有双腿、双臂、头、眼、颈、腰等与人类相似的物理特征，还能模仿人类的视觉、触觉、语言，甚至情感等抽象特征。美国著名心理学家Albert Mehrabian经过研究发现，人在进行情感表达时，语言只表达7%的内容，声调也只能表达38%的内容，而55%的内容全由人的表情与动作来表达，可见表情交流的必要性。由此可见，研究人类与机器人的面部表情交流是很有必要的。

发明内容

本发明的目的在于针对已有技术存在的，提供一种仿人面部表情机器人交互系统和方法以及人脸检测和跟踪方法，可以实现六种基本面部表情（高兴、愤怒、恐惧、惊讶、厌恶、悲伤）的再现以及基础面部表情（眼睛的睁闭、嘴巴的张合）的识别与再现。

本发明的仿人面部表情机器人交互系统，包括图像采集装置（I）、上位机（II）、控制单元（III）和机器人本体（IV），其特征在于所述图像采集装置（I）的输出连接到上位机（II），上位机（II）的输出经控制单元（III）连接到机器人本体（IV）；控制机器人的面部表情输出，一方面可以通过上位机（II）的控制界面进行选择，上位机（II）将表情模式通过串口通信发送到控制单元（III）来控制机器人输出六种基本面部表情—高兴、愤怒、恐惧、惊讶、厌恶和悲伤；另一方面，图像采集装置（I）采集到人脸面部表情，输入到上位机（II）进行特征提取和基础面部表情—眼睛的睁闭、和嘴巴的张合的识别，上位机（II）将表情识别结果通过串口通信发送到控制单元（III），控制单元（III）根据接收到的表情指令控制机器人再现表情。

上述仿人面部表情机器人交互系统，其特征在于所述的机器人本体（IV）的结构：在一个架构（0）上仿人体面部安装有两个眉毛转动部件（1）、两个眼睑转动部件（2）、两个眼球转动部件（3）以及一个下颌运动部件（4）；所述两个眼睑转动部件（2）分别固定于左右两个对称的支座（13）上，再由所述支座（13）固定在本体构架（0）上；所述两个眼球转动部件（3）通过一个舵机架（20）连接在本体构架（0）上；所述下颌运动部件（4）由另一个舵机架（35）固定于所述本体构架（0）上；

上述每个所述的眉毛转动部件（1）的结构：眉毛（7）与眉毛舵机臂（6）通过螺栓联接，眉毛舵机臂（6）安装在舵机（5）的输出轴上，所述眉毛舵机（5）与所述连杆（8）连接；

上述每个所诉眼睑转动部件（2）的结构：眼睑（11）由螺栓紧固在所述眼睑舵机臂（10）上，眼睑舵机臂（10）安装在眼睑舵机（9）输出轴上，眼睑舵机（9）由一根连杆（12）固定在所述支座（13）上；

上述每个所述眼球转动部件（3）由两部分组成：眼球左右转动部件（14）和眼球上下转动部件（15）；所述眼球左右转动部件的结构：眼球左右转动舵机（16）通过螺钉与舵机架（20）相联，左右转动关节轴承（18）分别连接眼球左右转动舵机臂（17）与眼球部件（19），眼球部件（19）通过一个轴承座（21）固定在底板（22）上，底板（22）与本体构架（0）固定连接。所述眼球上下运动部件的结构：眼球上下转动舵机（23）通过螺钉与一个舵机架（26）相联，舵机架（26）固定在本体构架（0）上，上下转动关节轴承（25）分别连接眼球上下转动舵机臂（24）与眼球部件（19），眼球部件（19）通过一个轴承座（21）固定在底板（22）上；

上述每个所述眼球部件（19）的结构：眼球（29）连接在转轴（26）上，转轴（26）安装在轴承座（21）上，通过固定于滑块（28）上的一个叉型连接杆（30）与转轴（26）相配合；

上述下颌运动部件（4）的结构：颌舵机（31）通过螺钉与一个下颌舵机架（35）相联，下颌舵机架（35）固连在一个下颌支架（36）上，关节轴承（34）分别连接下颌舵机臂（32）和所述下颌（33），下颌（33）上端固定在一个轴承座（37）上，轴承座（37）和下颌支架（36）用螺栓固定在一个上板（38）上，上板（38）与本体构架（0）固定连接。

上述控制单元括以DSP2812处理器、JTAG接口、复位电路、电源电路、晶振电路、舵机驱动与隔离电路以及串口通信接口电路；

上述JTAG接口采用14芯的接口，计算机通过USB2.0接口与仿真器盒相连，再通过JTAG接口线连接到DSP控制板，用于系统调试和装入程序；

上述复位电路采用LDO的复位输出作为处理器的复位控制信号，与控制芯片的复位端相连接；

上述电源电路中SPX1117-3.3 电源转换芯片作为5V 转3.3V 的高性能稳压芯片，为舵机驱动与隔离电路提供电源；SPX1117-1.8 电源转换芯片提供1.8V 给DSP 内核使用；

上述晶振电路选用外部有源晶振30MHZ来提供芯片的时钟信号，与处理器的X1/XCLK1N和X2引脚连接；

上述舵机驱动与隔离电路采用DSP2812的事件管理器模块，产生7路PWM脉冲控制信号，同时控制7路舵机，引脚为：GPIOA0、GPIOA2、GPIOA4、GPIOA6、GPIOB0、GPIOB2和GPIOB4；同时采用了高速光耦合器6N137对来自控制器的脉冲信号和驱动信号进行隔离电路，提高系统的抗干扰能力；

上述串口通信接口电路采用RS-232接口，与处理器的GPIOF4和GPIOF5引脚连接。

一种仿人面部表情机器人交互方法，采用上述仿人面部表情机器人交互系统进行人机交互，其特征在于包括三种交互模式—运动部件选择模式、面部表情选择模式和表情识别模式，操作步骤如下：

（1）进入上位机控制界面，打开串口，选择一种交互模式进行交互，上位机（II）将控制指令通过串口发送给控制单元；

（2）控制单元（III）接收到上位机（II）发出的指令后，控制面部表情机器人实现相应的面部器官运动；

（3）控制单元（III）将接收到的表情控制指令发回给上位机（II）；

（4）上位机（II）接收到控制单元（III）的指令后，显示此时面部表情机器人的表情状态。

上述运动部件选择交互模式，操作步骤如下：

（1）打开串口，选择运动部件控制按钮，将面部器官运动控制指令通过串口发送给控制单元（III）；

（4）上位机接收到控制单元（III）的指令后，显示此时面部表情机器人的表情状态。

上述面部表情选择交互模式，操作步骤如下：

（1）打开串口，选择面部表情控制按钮，将面部表情控制指令发通过串口送给控制单元（III）；

上述表情识别交互模式，操作步骤如下：

（1）打开串口，打开摄像头，选择表情识别控制按钮，进行基础面部表情识别；

（2）在识别到基础面部表情后，将表情识别结果以表情控制指令的形式发送给控制单元（III）；

（3）控制单元（III）接收到上位机（II）发出的指令后，控制面部表情机器人实现相应的面部器官运动；

（4）控制单元（III）将接收到的表情控制指令发回给上位机（II）；

（5）上位机（II）接收到控制单元（III）的指令后，显示此时面部表情机器人的表情状态。

一种人脸检测与跟踪方法，采用上述仿人面部表情机器人交互系统进行人脸检测和跟踪，操作步骤如下：

（1）加载分类器、打开摄像头获取人脸图像；

（2）采用Adaboost人脸检测算法从视频流中检测人脸，若检测到一个人脸，则将该人脸区域作为跟踪的初始窗口，计算颜色直方图并得到各种颜色的概率分布，并记录这时人脸区域的面积为S；

（3）从视频流中捕获下一帧图像，用Camshift算法进行跟踪，在每次跟踪时，判断跟踪目标区域面积是否大于S/3并且小于5S/3，如果在这个范围内，则继续跟踪；如果不在，则重新采用Adaboost检测人脸，再作为人脸跟踪的初始窗口，依次迭代，从而实现人脸的自动跟踪。

与现有的技术相比，本发明具有以下显著优点：所述的表情机器人交互系统机器人本体内部结构简单、空间利用率大、易控制并且成本较低，具有视觉、面部表情识别与再现的功能，能够实现机器人与人类的面部表情交互。

附图说明

图1是仿人面部表情机器人交互系统组成。

图2是机器人本体的整体结构示意图。

图3是图2的左视图。

图4是图2示例的眉毛转动部件结构示意图。

图5是图2的左视图。

图6是图2示例的眼睑转动部件结构示意图。

图7是图6的左视图。

图8是图2示例的眼球左右转动部件结构示意图。

图9是图2示例的眼球上下转动部件结构示意图。

图10是图2示例的眼球部件结构示意图。

图11是图2示例的下颌运动部件结构示意图。

图12是仿人面部表情机器人交互系统的图像采集装置。

图13是控制单元的结构图。

图14是仿人面部表情机器人交互系统的DSP2812控制单元。

图15是控制单元的电源电路。

图16是控制单元的舵机驱动与隔离电路。

图17是控制单元的串口通信电路。

图18是控制单元主程序流程图。

图19是控制单元串口通信子程序流程图。

图20是舵机驱动程序流程图。

图22是上位机控制系统控制界面。

图22是上位机控制系统主程序流程图。

图23是上位机串口通信子程序流程图。

图24是运动部件选择子程序流程图。

图25是面部表情选择子程序流程图。

图26是面部表情识别子程序流程图。

图27是人脸检测与跟踪程序算法流程图。

图28是基础面部表情识别程序流程图。

具体实施方式

本发明的优选实施实例结合附图说明如下：

实施实例一：

参见图1，本仿人面部表情机器人交互系统，包括包括图像采集装置I、上位机（II）、控制单元（III）和机器人本体（IV）。图像采集装置（I）的输出连接到上位机（II），上位机（II）的输出经控制单元（III）连接到机器人本体（IV）；控制机器人的面部表情输出，一方面可以通过上位机（II）的控制界面进行选择，上位机（II）将表情模式通过串口通信发送到控制单元（III）来控制机器人输出六种基本面部表情—高兴、愤怒、恐惧、惊讶、厌恶和悲伤；另一方面，图像采集装置（I）采集到人脸面部表情，输入到上位机（II）进行特征提取和基础面部表情—眼睛的睁闭、和嘴巴的张合的识别，上位机（II）将表情识别结果通过串口通信发送到控制单元（III），控制单元（III）根据接收到的表情指令控制机器人再现表情。

实施实例二：

参见图2-图17，本实施实例与实施实例一基本相同，特别之处如下：

图2和图3是所述的机器人本体（IV）的结构：在一个架构（0）上仿人体面部安装有两个眉毛转动部件（1）、两个眼睑转动部件（2）、两个眼球转动部件（3）以及一个下颌运动部件（4）；所述两个眉毛转动部件（1）分别由连接杆（8）对称的固定于本体构架（0）的上部；所述两个眼睑转动部件（2）分别固定于左右两个对称的支座（13）上，再由所述支座（13）固定在本体构架（0）上；所述两个眼球转动部件（3）通过一个舵机架（20）连接在本体构架（0）上；所述下颌运动部件（4）由另一个舵机架（35）固定于所述本体构架（0）上；

图4和图5是上述每个所述眉毛转动部件（1）的结构：眉毛（7）与眉毛舵机臂（6）通过螺栓联接，眉毛舵机臂（6）安装在舵机（5）的输出轴上，眉毛舵机（5）与连杆（8）连接，眉毛对表情主要作用在4个自由度上，眉毛两端的4个自由度可近视为2个1组，绕某个中心做旋转运动。因此，将眉毛4个自由度简化到1个旋转自由度，眉毛长54mm,转动中心位于三分点的位置。由舵机直接驱动，转动范围为±20°。

图6和图7是上述每个眼睑转动部件（2）的结构：眼睑（11）由螺栓紧固在所述眼睑舵机臂（10）上，眼睑舵机臂（10）安装在眼睑舵机（9）输出轴上，眼睑舵机（9）由一根连杆（12）固定在支座（13）上。眼睑睁开的幅度对表情有很大影响，眼睑分为上、下眼睑，但下眼睑运动太小，因此将眼睑运动简化为可近视包围眼睛并与眼睛水平同轴转动的一个自由度，亦是由舵机直接驱动,转动范围为60°。

上述眼球转动部件3有两部分组成：眼球左右转动部件（14）和眼球上下转动部件（15）。眼球转动部件双眼具有上下转动和左右转动4个自由度。将双眼左右、上下转动考虑为同步同方向运动，整个眼睛结构只有2个自由度。饶水平方向的转动采用双摇杆机构如，眼睛上下转动范围为±15°。由于在垂直方向上机构零件的重力将成为负载加于电机驱动上，将眼睛饶垂直方向的转动由1个曲柄滑块机构和1个导杆机构组合实现。舵机通过曲柄滑块机构驱动滑块水平直线移动，眼睛的左右转动由滑块的直线移动带动导杆的左右转动，直线滑轨承受了大部分零件的重力。眼睛左右转动范围为±30°。

图8是上述眼球左右转动部件（16）的结构：眼球左右转动舵机（16）通过螺钉与所述舵机架（20）相联，左右转动关节轴承（18）分别连接眼球左右转动舵机臂（17）与眼球部件（19），眼球部件（19）通过一个轴承座（21）固定在底板（22）上，底板（22）与本体构架（0）固定连接。

图9是上述眼球上下转动部件（15）的结构：眼球上下转动舵机（23）通过螺钉与一个舵机架（26）相联，所述舵机架（26）固定在本体构架（0）上，上下转动关节轴承（25）分别连接眼球上下转动舵机臂（24）与眼球部件（19），眼球部件（19）通过一个轴承座（21）固定在底板（22）上。

图10是上述眼球部件（19）的结构：眼球（29）连接在转轴（26）上，转轴（26）安装在轴承座（21）上，通过固定于滑块（28）上的一个叉型连接杆（30）与转轴（26）相配合。

图11是上述下颌运动部件（4）的结构：下颌舵机（31）通过螺钉与一个下颌舵机架（35）相联，下颌舵机架（35）固连在一个下颌支架（36）上，关节轴承（34）分别连接下颌舵机臂（32）和下颌（33），下颌（33）上端固定在一个轴承座（37）上，轴承座（37）和下颌支架（36）用螺栓固定在一个上板（38）上，上板（38）与本体构架（0）固定连接。下颌运动部件（4）的作用下颌的运动可以带动嘴唇的张合，因此将下颌饶水平方向的转动简化嘴巴的4个自由度。在后来的实验中验证基本能辅助实现几中基本表情。该自由度由双摇杆机构实现，舵机半周转带动下颌上下转动30°。下颌水平向上10°表示闭合，向下20°表示张开，张开幅度为20mm。

图12是上述图像采集装置，采用普通CCD摄像机WATEC WAT-902H以及USB Mine vcap2860图像采集卡来获取良好的原始图像。

图13是上述控制单元框图，选用TI公司的TMS320F2812芯片作为主控处理器，主要由控制单元、JTAG接口、电源电路（图15）、晶振电路（图16）、舵机驱动与隔离电路（图16）和串口通信电路（图17）组成。

图12是上述TMS320F2812主控处理器，它不但具有传统微处理器可编程、灵活性强、集成度高等良好性能，而且其内核频率高达150MHZ，采用改进的哈佛结构使得运算的速度、精度和处理能力大幅度提高，是目前控制应用领域最先进数字处理器之一，能够实时在线地处理许多复杂的控制算法。同时，DSP2812控制器的事件管理单元有非常适合电机控制信号的PWM输入和输出通道，通过对PWM的控制就可以实现电机的换相和位置的检测。

图15是上述电源电路，电源由外部电源引入，电源插孔JACK2 标识为内正外负，＋5V 稳压直流电源输入，SPX1117-3.3 电源转换芯片（U1）作为5V 转3.3V 的高性能稳压芯片，SPX1117-1.8 电源转换芯片（U3）提供1.8V 给DSP 内核使用。

图16是上述舵机驱动与隔离电路，本系统采用DSP2812的事件管理器模块，产生7路PWM脉冲控制信号，同时控制7路舵机。EVA模块中有3个比较单元（比较单元1、2和3），每个比较单元输出一对互补的PWM波形，同时，EVB模块中也有3个比较单元（比较单元4、5和6），每个比较单元输出一对互补的PWM波形，再加通用定时器T1产生的一路T1PWM_T1CMP，一共引出7路独立的PWM波，用于分别控制7路舵机，PWM与舵机的对应关系如表3-1所示。比较单元的时钟基准由通用定时器1和通用定时器3提供。同时，为了避免其对DSP2812运行的影响，在DSP2812与7路舵机之间增加了信号隔离电路，实现不同电源之间的信号传输，减少了电路中的干扰信号，从而有效地提高系统的抗干扰能力。这里采用了高速光耦合器6N137对来自控制器的脉冲信号和驱动信号进行隔离电路。

图17是上述控制单元的串口通信电路，控制单元与主控计算机的通信采用SCI方式，是异步串行通信接口，通过RS-232接口与主控计算机连接。RS-232接口的电平转换芯片采用的是MAX232，它是TI公司推出的一款兼容RS-232标准的芯片。

实施实例三：

参见图18-图23，本仿人面部表情机器人交互方法，包括三种交互模式—运动部件选择模式、面部表情选择模式和表情识别模式，操作步骤如下：

（1）进入上位机（II）控制界面，打开串口，选择一种交互模式进行交互，上位机（II）将控制指令通过串口发送给控制单元（III）；

（3）控制单元（III）将接收到的表情控制指令发回给上位机；

（4）上位机（II）接收到给控制单元（III）的指令后，显示此时面部表情机器人的表情状态。

图18是控制单元主程序流程图。在控制单元控制程序中，包含主程序、SCI串口通信程序、舵机驱动程序、延时子程序、中断子程序等程序块。当系统上电之后，对DSP系统初始化，并给7路舵机赋初值，使它们处于零位置。接着进入循环等待，等待上位机是否发送表情运动指令，如果接收到表情运动指令，则启动定时器，进入舵机驱动子程序，输出7路PWM信号，驱动7路舵机的运动，使机器人实现面部表情。然后接着查询上位机是否发送停止指令。

图19是控制单元串口通信子程序。串口通信子程序的设计是为实现接收上位机控制系统的控制指令信号，并将接收的信号发送回上位机控制系统。本系统采用DSP2812的SCI通信接口实现控制单元与上位机控制系统的数据传输。

图20是控制单元舵机驱动子程序。由于机器人本体表情的输出是由安装在面部器官机构上的7路舵机驱动实现的，所以舵机驱动子程序设计是为实现对7路舵机的单独控制，从而控制机器人面部表情的输出。7路舵机的运动由输入的7路脉冲信号控制，即通过改变比较寄存器EvaRegs.CMPR1、EvaRegs.CMPR2、EvaRegs.CMPR3、EvaRegs.T1CMPR、EvbRegs.CMPR4、EvbRegs.CMPR5和EvbRegs.CMPR6的值来控制7路脉冲信号的占空比。当控制单元控制系统接收到上位机控制系统的表情指令时，根据接收到的表情指令不同，为比较寄存器设置不同的值。如果是单步表情模式，只需设置相应的一个比较寄存器的值，此时只控制1路舵机的运动，实现单个面部器官的运动。如果是四种面部表情模式，需要对3个比较寄存器设置相应的值，此时需要控制3路舵机（左眼、右眼、嘴巴）的运动，实现四种表情模式。如果是基本面部表情模式，需要对7个比较寄存器设置相应的值，此时需要控制7路舵机的运动，实现6种基本面部表情。在面部表情机器人完成相应的面部表情后，控制单元控制系统向上位机控制系统发送表情完成指令；如果发送数据结束，可以接收上位机发送的表情控制指令，进入下一个循环，控制面部表情机器人实现其它面部表情。如果发送数据未结束，返回SCI发送数据，等待发送数据结束。

图21是上位机的控制界面。上位机主要功能包括：实现人脸的检测与跟踪，并对脸部特征进行提取，定位眼睛和嘴巴的位置，进一步判断眼睛和嘴巴的状态。同时，上位机控制系统也可以通过运动部件选择模块或者面部表情选择模块来控制机器人的面部表情输出。该系统由串口通信模块、运动部件选择模块、面部表情选择模块、人脸图像采集模块、基础面部表情识别模块、表情状态显示模块组成。

图22是上位机主程序流程图。在运行程序时，首先选择与上位机匹配的串口号，打开串口；串口打开后，可以根据控制要求进行表情模式选择，包括运动部件选择模式、面部表情选择模式和表情识别模式。运动部件选择模式和面部表情选择模式可以直接选择表情控制指令并发送给控制单元；表情识别模式是实现自动识别面部表情，在表情识别前，需要将图像采集装置打开；在识别到表情后，将识别结果发送给控制单元系统。在控制单元接收到上位机表情控制指令并使机器人SHFR-II实现相应的面部表情后，控制单元将接收到的表情控制指令发送回上位机；上位机接收到控制单元的指令后，显示此时面部表情机器人的表情状态。接着可以选择下一个表情控制指令，循环对面部表情机器人进行控制。如果没有接收到控制单元发回的指令，返回到表情模式选择。

图23是上位机串口通信子程序。串口通信模块是为了实现机器人的上位机控制系统与控制单元控制系统之间的通信，在VC++环境下采用了多线程串口编程工具CSerialPort类来实现串口通信。

实施实例四：

参见图24-图28，本实例与实施实例三基本相同，特别之处如下：

所述运动部件选择交互模式的操作步骤如下：

（1）进入上位机（II）控制界面，打开串口，选择运动部件控制按钮，将面部器官运动控制指令通过串口发送给控制单元（III）；

所述面部表情选择交互模式操作步骤如下：

（1）进入上位机（II）控制界面，打开串口，选择面部表情控制按钮，将面部表情控制指令发通过串口发送给控制单元（III）；

所述表情识别交互模式操作步骤如下：

（2）在识别到基础面部表情后，上位机（II）将表情识别结果以表情控制指令的形式发送给控制单元（III）；

图24是运动部件选择交互模式。运动部件选择模块能实现对机器人的左眉毛运动、右眉毛运动、左眼睑运动、右眼睑运动、眼球左右运动、眼球上下运动以及下颌运动进行独立控制，即每次只有一个面部器官运动。操作步骤如下：在运行程序时，首先检查串口是否打开；如果没有检查到串口，弹出“串口没有打开或被占用”对话框，提示用户重新选择串口号，并打开串口。串口打开后，选择运动部件控制按钮，将面部器官运动控制指令发送给控制单元系统。在控制单元接收到上位机的控制指令并控制面部表情机器人实现相应的面部器官运动后，控制单元将接收到的表情控制指令发送回上位机；上位机接收到控制单元的指令后，显示此时面部表情机器人的表情状态。接着可以选择下一个表情控制指令，循环对面部表情机器人进行控制。如果没有接收到控制单元发回的指令，返回到运动部件选择。

图25是面部表情选择交互模式。面部表情选择模块的功能是直接向控制单元控制系统发送面部表情控制指令，控制机器人实现相应的6种基本面部表情。操作步骤如下：串口打开后，选择面部表情控制按钮，将面部表情控制指令发送给控制单元。在控制单元接收到上位机的面部表情控制指令并控制面部表情机器人实现相应的面部表情后，控制单元将接收到的表情控制指令发送回上位机；上位机接收到控制单元的指令后，显示此时面部表情机器人的面部表情状态。

图26是面部表情识别交互模式。表情识别模块的功能是实现对基础面部表情（眼睛的睁闭、嘴部的张合等）的识别，将表情识别结果以表情控制指令的形式发送给控制单元控制系统，控制机器人实现相应的面部表情。操作步骤如下：串口打开后，打开图像采集装置，选择表情识别控制按钮，进入表情识别子程序。在识别到基础面部表情后，将表情识别结果以表情控制指令的形式发送给控制单元控制系统。在控制单元接收到上位机的表情控制指令并控制面部表情机器人实现相应的面部表情后，控制单元将接收到的表情控制指令发送回上位机；上位机接收到控制单元的指令后，显示此时面部表情机器人的面部表情状态。

图27是一种人脸检测与跟踪方法，采用具有高鲁棒性和高识别率的Harr-like特征的AdaBoost算法完成人脸检测与定位，并在检测到人脸之后采用camshift跟踪算法对人脸进行跟踪，操作步骤如下：首先，加载分类器、打开摄像头获取人脸图像；然后，采用Adaboost人脸检测算法从视频流中检测人脸，若检测到一个人脸，则将该人脸区域作为跟踪的初始窗口，计算颜色直方图并得到各种颜色的概率分布，并记录这时人脸区域的面积为S。接着从视频流中捕获下一帧图像，用Camshift算法进行跟踪，在每次跟踪时，判断跟踪目标区域面积是否大于S/3并且小于5S/3，如果在这个范围内，则继续跟踪；如果不在，则重新采用Adaboost检测人脸，再作为人脸跟踪的初始窗口，依次迭代，从而实现人脸的自动跟踪。

图28是一种基础面部表情识别方法。基础面部表情识别包括三方面的内容：人脸检测和定位，眼睛和嘴巴特征提取和眼睛和嘴巴状态识别。操作步骤如下：当获取到人脸参数后，分别对分别进行左眼、右眼和嘴巴检测，并获取它们在视频图像中的位置和大小。在获取到眼睛和嘴巴参数后，采用Hough变换圆检测对眼睛状态和嘴巴状态进行判定，输出眼睛和嘴巴的状态（眼睛的睁闭、嘴部的张合），完成一次基础面部表情识别过程。

Claims

1. 一种仿人面部表情机器人交互系统，包括图像采集装置（I）、上位机（II）、控制单元（III）和机器人本体（IV），其特征在于所述图像采集装置（I）的输出连接到上位机（II），上位机（II）的输出经控制单元（III）连接到机器人本体（IV）；控制机器人的面部表情输出，一方面可以通过上位机（II）的控制界面进行选择，上位机（II）将表情模式通过串口通信发送到控制单元（III）来控制机器人输出六种基本面部表情—高兴、愤怒、恐惧、惊讶、厌恶和悲伤；另一方面，图像采集装置（I）采集到人脸面部表情，输入到上位机（II）进行特征提取和基础面部表情—眼睛的睁闭、和嘴巴的张合的识别，上位机（II）将表情识别结果通过串口通信发送到控制单元（III），控制单元（III）根据接收到的表情指令控制机器人再现表情。

2. 根据权利要求1所述的仿人面部表情机器人交互系统，其特征在于所述的机器人本体（IV）的结构：在一个架构（0）上仿人体面部安装有两个眉毛转动部件（1）、两个眼睑转动部件（2）、两个眼球转动部件（3）以及一个下颌运动部件（4）；所述两个眉毛转动部件（1）分别由连接杆（8）对称的固定于本体构架（0）的上部；所述两个眼睑转动部件（2）分别固定于左右两个对称的支座（13）上，再由所述支座（13）固定在本体构架（0）上；所述两个眼球转动部件（3）通过一个舵机架（20）连接在本体构架（0）上；所述下颌运动部件（4）由另一个舵机架（35）固定于所述本体构架（0）上；

每个所述的眉毛转动部件（1）的结构：眉毛（7）与眉毛舵机臂（6）通过螺栓联接，眉毛舵机臂（6）安装在舵机（5）的输出轴上，所述眉毛舵机（5）与所述连杆（8）连接；

每个所诉眼睑转动部件（2）的结构：眼睑（11）由螺栓紧固在所述眼睑舵机臂（10）上，眼睑舵机臂（10）安装在眼睑舵机（9）输出轴上，眼睑舵机（9）由一根连杆（12）固定在所述支座（13）上；

每个所述眼球转动部件（3）由两部分组成：眼球左右转动部件（14）和眼球上下转动部件（15）；所述眼球左右转动部件的结构：眼球左右转动舵机（16）通过螺钉与舵机架（20）相联，左右转动关节轴承（18）分别连接眼球左右转动舵机臂（17）与眼球部件（19），眼球部件（19）通过一个轴承座（21）固定在底板（22）上，底板（22）与本体构架（0）固定连接；

所述眼球上下运动部件的结构：眼球上下转动舵机（23）通过螺钉与一个舵机架（26）相联，舵机架（26）固定在本体构架（0）上，上下转动关节轴承（25）分别连接眼球上下转动舵机臂（24）与眼球部件（19），眼球部件（19）通过一个轴承座（21）固定在底板（22）上；

每个所述眼球部件（19）的结构：眼球（29）连接在转轴（26）上，转轴（26）安装在轴承座（21）上，通过固定于滑块（28）上的一个叉型连接杆（30）与转轴（26）相配合；

所述的下颌运动部件（4）的结构：颌舵机（31）通过螺钉与一个下颌舵机架（35）相联，下颌舵机架（35）固连在一个下颌支架（36）上，关节轴承（34）分别连接下颌舵机臂（32）和所述下颌（33），下颌（33）上端固定在一个轴承座（37）上，轴承座（37）和下颌支架（36）用螺栓固定在一个上板（38）上，上板（38）与本体构架（0）固定连接。

3. 根据权利要求1所述的仿人面部表情机器人交互系统，其特征在于所述的控制单元（III）括以DSP2812处理器、JTAG接口、复位电路、电源电路、晶振电路、舵机驱动与隔离电路以及串口通信接口电路；

所述JTAG接口采用14芯的接口，计算机通过USB2.0接口与仿真器盒相连，再通过JTAG接口线连接到DSP控制板，用于系统调试和装入程序；

所述复位电路采用LDO的复位输出作为处理器的复位控制信号，与控制芯片的复位端相连接；

所述电源电路中SPX1117-3.3 电源转换芯片作为5V 转3.3V 的高性能稳压芯片，为舵机驱动与隔离电路提供电源；SPX1117-1.8 电源转换芯片提供1.8V 给DSP 内核使用；

所述晶振电路选用外部有源晶振30MHZ来提供芯片的时钟信号，与处理器的X1/XCLK1N和X2引脚连接；

所述舵机驱动与隔离电路采用DSP2812的事件管理器模块，产生7路PWM脉冲控制信号，同时控制7路舵机，引脚为：GPIOA0、GPIOA2、GPIOA4、GPIOA6、GPIOB0、GPIOB2和GPIOB4；同时采用了高速光耦合器6N137对来自控制器的脉冲信号和驱动信号进行隔离电路，提高系统的抗干扰能力；

所述串口通信接口电路采用RS-232接口，与处理器的GPIOF4和GPIOF5引脚连接。

4. 一种仿人面部表情机器人交互方法，采用根据权利要求1所述的仿人面部表情机器人交互系统进行人机交互，其特征在于包括三种交互模式—运动部件选择模式、面部表情选择模式和表情识别模式，操作步骤如下：

5. 根据权利要求4所述的仿人面部表情机器人交互方法，其特征在于所述运动部件选择交互模式的操作步骤如下：

6. 根据权利要求4所述的仿人面部表情机器人交互方法，其特征在于所述面部表情选择交互模式操作步骤如下：

7. 根据权利要求4所述的仿人面部表情机器人交互方法，其特征在于所述表情识别交互模式操作步骤如下：

8. 一种人脸检测与跟踪方法，采用根据权利要求1所述的仿人面部表情机器人交互系统进行人脸检测和跟踪，其特征在于采用基于Haar-like特征的AdaBoost算法完成人脸检测与定位，并在检测到人脸之后，采用camshift跟踪算法对人脸进行跟踪，操作步骤如下：

（1）加载分类器、打开摄像头获取人脸图像；

9. 一种基础面部表情识别方法，采用上述仿人面部表情机器人交互系统进行基础面部表情识别，其特征在于操作步骤如下：

（1）打开摄像头，通过权利要求8的方法获取人脸在视频中的位置以及人脸的长度和宽度；

（2）进行左眼、右眼和嘴巴的检测，并获取它们在视频中的位置和大小；

（3）采用Hough变换圆检测对眼睛和嘴巴的状态进行判定，输出眼睛和嘴巴的状态。