CN102500113A - 基于智能手机交互的综合型迎宾机器人 - Google Patents

Abstract

本发明公开了一种基于智能手机交互的综合型迎宾机器人，特征是包括机器人本体和智能手机，二者之间自动组成Ad hoc对等网络进行通信；机器人本体包括基座、位于基座上的躯干部、位于躯干部顶端的头部和分别位于躯干部左右两侧带有多个活动关节的左手臂与右手臂，以及嵌入式工控机、触摸屏、LCD显示器、CAN总线通信模块、运动控制模块、USB摄像头、无线音频接收器、手持发射器、扬声器和电源。本发明实现了利用一种体积小、功能强的智能手机为辅助的具有人脸识别、语音交流、舞蹈表演、表情表演、地图导航、拍照等多功能为一体的整体形象生动逼真、活泼可爱的综合型迎宾机器人。

Description

基于智能手机交互的综合型迎宾机器人

技术领域

本发明涉及一种机器人，尤其涉及一种基于可重构型强、可靠性高、灵活、方便的智能手机交互的综合型迎宾机器人。

背景技术

智能机器人作为一个快速发展的新兴产业，已成为我国“十二五”发展规划的扶植重点。中国工程院院士徐杨生先生2010年在科学时报上发表这样的一段话，“加大对智能机器人科学的基础研究，加强对机器人核心技术的攻关，培育机器人产业市场，不仅能够带动智能机器人技术本身的发展，同时也必将引领其他相关高新技术的发展和壮大”。可见鼓励和扶持发展机器人产业，不仅能推动微电子、通信、计算机、人工智能、控制和图像处理等学科领域的发展，而且将推动我国社会服务业、制造业、教育、娱乐等相关行业的科技进步和发展。目前，通信、计算机、人工智能、控制、语音识别和图像处理等学科发展迅速，已为机器人的高度智能化奠定了基础。因此，研究一种实用、灵活、可靠性高的智能机器人势在必行。

综合分析目前智能机器人有以下特点：

1、判断客人出现的方式有两种：人脸识别和传感器探测。

利用传感器探测的方式实现简单，但只能判断客人的来去，比如：CN101450260A、CN201978479U、CN201823309U或CN2551614Y等公开的技术方案。而人脸识别可以根据识别结果判断出客人是熟人还是陌生人，甚至可以分清是男是女，是动物还是人，更加智能，是目前大部分智能机器人所采用的方式。

2、表情表达方式主要有四种：计算机仿真表情、LED显示表情、关节控制显示、图片显示。

为了使机器人更具亲和力，很多机器人都具有表情，其中利用LED显示表情实现简单，但亲和力不够，拟人程度低，比如：CN101571930A、CN101751852A或CN201638526U等公开的技术方案；利用关节控制实现表情表达，拟人程度高，但结构设计困难，控制非常复杂，而且可靠性差，如：CN101458778B、CN101570019B、CN101618280B、CN101474481B、CN 201445795U或CN 101804257A等公开的技术方案；利用计算机仿真表情，成本低，拟人程度也高，但计算方法复杂，不同的人面部结构特征不同，男人、女人、老人、小孩需要不同的特征数据，不具通用性，如：CN100527170C公开的技术方案，利用图片方式显示表情，具有较高的亲和力，拟人程度介于LED和关节控制之间，但实现简单，表情表达丰富，是目前推向市场比较容易接受的一种方式。

3、外部辅助交互控制手段：鼠标/键盘、触摸屏、遥控器、智能手机等。

为了可靠、完整的完成迎宾服务，机器人需要借助外部设备来辅助机器人完成任务。目前的很多机器人主要通过鼠标/键盘(CN 101618542A)、触摸屏(CN 201899878U)、智能手机(CN 201327585Y，CN 101977240A)等方式将信息传输给机器人。智能手机小巧、功能齐全、不受距离限制，而且价格越来越低、智能化程度越来越高，较其他控制方式更好。但目前已有的3G智能手机(CN 201327585Y)和iPhone智能手机(CN 101977240A)都属于高端产品，价格相对较高，应用还不广泛，因此，采用低端智能手机作为机器人辅助设备更具实用性。

4、通讯方式：3G网络、Internet网络、无线网络。

随着网络技术的不断发展，外部控制器与机器人之间的通信利用网络实现，比如3G网络(CN201327585Y)，Internet网络(CN101977240A)，无线网络(CN201899878U)。无线网络中的有基础设施方式网络、3G网络和Internet网络都与外界有关，若在山区或一些信号比较弱的地方将无法实现通信。另外，无论什么网都有连接不上的情况，连接可靠性并不是很高，因此不能完全依赖网络实现控制，若对网络依赖性太强将会阻止机器人的进一步推广应用，如：CN201327585Y和CN201899878U公开的技术方案都过分的依赖网络。

综上所述，目前智能机器人功能还不完善、技术还不成熟，为了使机器人进入人们的生活还需做大量的工作。

发明内容

本发明的任务在于提供一种可重构型强、可靠性高、灵活、方便的智能手机交互的综合型迎宾机器人。

其技术解决方案是：

一种基于智能手机交互的综合型迎宾机器人，包括机器人本体和智能手机，二者之间自动组成Ad hoc对等网络进行通信；上述机器人本体包括基座、位于基座上的躯干部、位于躯干部顶端的头部和分别位于躯干部左右两侧带有多个活动关节的左手臂与右手臂，以及嵌入式工控机、触摸屏、LCD显示器、CAN总线通信模块、运动控制模块、USB摄像头、无线音频接收器、手持发射器、扬声器和电源；上述嵌入式工控机安装在基座内部；LCD显示器安装在头部的前脸侧，用于显示面部表情；触摸屏安装在躯干部的前胸侧，用于显示主控程序主界面，以及设置有便于进行人机交互的一些图形化的系统功能按钮；摄像头安装在头部前脸侧上部，用于采集外部人脸信息；无线音频接收器放置在基座内部，手持发射器放置在左手臂上的左手中，电源放置在基座内部，扬声器安装在头部的两侧；运动控制模块包括能控制左、右手臂各活动关节动作的关节电机和电机驱动器，电机驱动器放置在基座内部；CAN总线通信模块安装在基座内部。

上述运动控制模块包括设置在各手臂上的手关节直流电机及其驱动器、肘关节直流电机及其驱动器、肩关节直流电机及其驱动器。

上述躯干部与基座之间设置有腰部转动关节，头部与躯干部之间设置有颈部转动关节；上述运动控制模块还包括腰部转动关节直流电机及其驱动器，颈部转动关节直流电机及其驱动器。

上述智能手机安装有Android系统，带有WIFI功能，无线电波的有效覆盖范围为100米；机器人本体配有无线网卡，该无线网卡完美兼容802.11N标准，连接速率最高可达150Mbps，能工作在2.4GHZ工业频段；所采取的组网方式为Ad-hoc模式，不设置无线路由器。

上述嵌入式工控机包括人脸注册模块、人脸识别模块、语音识别模块、信息处理模块、语音合成模块、机械动作模块或表情显示模块；通过人脸识别模块和语音识别模块来接收宾客的需求信息及身份信息，经过信息处理模块处理后，给出“说话”、“动作”、“表情”或它们之间组合的指令，并根据指令调用语音合成模块、机械动作模块、表情显示模块独立或配合完成迎宾任务。

上述人脸注册模块包括视频注册和照片注册；其中视频注册方法采用AdaBoost算法实时在线对人脸进行检测，标定人脸区域，再利用隐马尔科夫算法从已标定的人脸区域中提取并训练特征，最后将训练好的特征保存为特征文件并存储在人脸特征库路径下，供人脸识别模块使用；上述照片注册方法采用AdaBoost算法离线对照片上的人脸部分进行检测，标定人脸区域，再利用隐马尔科夫算法从已标定的人脸区域中提取并训练特征，最后将训练好的特征保存为特征文件并存储在人脸特征库路径下，供人脸识别模块使用；上述人脸识别模块包括单人人脸识别和多人人脸识别；单人人脸识别利用隐马尔科夫算法将已标定的人脸区域与人脸特征库中的特征文件进行对比，并判断特征文件是视频注册所获得还是照片注册所获得，分别设定不同的对比阈值，照片注册的特征对比阈值小于视频注册的特征对比阈值；然后进行识别，设定识别结果为三个，选识别相似度最大的作为该次的识别结果，并重复该过程两次，如果这两次结果相同并且都大于0，则表示认识此人，并说出此人的名字；如果等于0则表示不认识；多人人脸识别是在单人人脸识别方法基础上进行，利用摄像头对多人集体拍照，通过人脸检测算法标定照片中的人脸区域，并从左到右进行排序，然后按顺序与人脸特征库中的特征文件进行对比，流程与单人人脸识别类似，最后依次输出识别结果；上述信息处理模块能根据人脸识别模块和语音识别模块获得的结果来决定迎宾过程中执行的动作、合成的语音和显示的表情；上述表情显示模块作为一个独立的进程，能够根据信息处理模块的指令在LCD显示器上做出代表微笑、搞怪、伤心、哭泣、害羞或疑问的表情图形。

本发明具有以下有益技术效果：

本发明实现了利用一种体积小、功能强的智能手机为辅助的具有人脸识别、语音交流、舞蹈表演、表情表演、地图导航、拍照等多功能为一体的整体形象生动逼真、活泼可爱的综合型迎宾机器人。

附图说明

下面结合附图与具体实施方式对本发明作进一步说明：

图1为本发明一种实施方式的结构原理示意图，主要示出了机器人本体部分。

图2为图1方式的整体系统组成框图。

图3为图1方式中嵌入式工控机的程序流程图。

具体实施方式

结合图1、图2与图3，一种基于智能手机交互的综合型迎宾机器人，包括机器人本体2和智能手机1，二者之间自动组成Ad hoc对等网进行通信。上述机器人本体包括基座201、位于基座上的躯干部202、位于躯干部顶端的头部203和分别位于躯干部左右两侧带有多个活动关节的左手臂205与右手臂204，以及嵌入式工控机、触摸屏206、LCD显示器207、CAN总线通信模块、运动控制模块、USB摄像头208、无线音频接收器、手持发射器209、扬声器210和电源；躯干部与基座之间设置有腰部转动关节，头部与躯干部之间设置有颈部转动关节。上述嵌入式工控机安装在基座内部；可采用研华ARK-3440作为机器人的主控制器，配置为Intel Core i5 520E CPU，4G内存、320G硬盘、串口、双显卡、集成网卡、4个USB插口。上述LCD显示器安装在头部的前脸侧，分辨率为800*600，能清晰真实地显示面部表情。上述触摸屏安装在躯干部的前胸侧，用于显示主控程序主界面，以及设置有便于进行人机交互的一些图形化的系统功能按钮，为用户提供了一种直观的人机交互方式。摄像头安装在头部前脸侧上部，采用USB摄像头2.0，用于采集外部人脸信息。无线音频接收器放置在基座内部，手持发射器放置在左手臂上的左手中或右手臂上的右手中，二者采用射频载波通信，载波范围为470-493MHZ，覆盖范围约100米，手持发射器是一款单向(心形)动圈人声话筒，其球形过滤器可有效地降低噪声，提高音质。电源放置在基座内部，采用免维护铅蓄电池，供电电压为12V，具有耐震、耐高温、体积小、自放电小的特点，能稳定地为机器人提供连续6小时的电力供应。扬声器安装在头部的两侧，采用MD129有源音箱系统，内部采用全防磁设计，音频效果逼真且不会造成干扰。运动控制模块包括能控制左、右手臂各活动关节动作的关节电机和电机驱动器，电机驱动器放置在基座内部；包括比如设置在各手臂上的手关节直流电机及其驱动器、肘关节直流电机及其驱动器、肩关节直流电机及其驱动器，以及腰部转动关节直流电机及其驱动器、颈部转动关节直流电机及其驱动器上述各中直流电机都采用瑞士Maxon直流微电机，驱动器采用美国Copley驱动器。CAN总线通信模块安装在基座内部，CAN卡采用瑞士KvaserCAN卡。

上述方式中，智能手机安装有Android系统，带有WIFI功能，无线电波的有效覆盖范围为100米；机器人本体配有无线网卡，该无线网卡完美兼容802.11N标准，连接速率最高可达150Mbps，能工作在2.4GHZ工业频段；所采取的组网方式为Ad-hoc模式，不设置无线路由器。智能手机的操作系统为Android，可开发有效的远程控制程序，该程序采用双线程同步socket网络套接字与机器人主体进行通信。目前已实现停止机器人本体说话、关闭某个线程、更新人脸特征库、补充语音语法等功能；另外，该类智能手机支持讯飞语音输入，手写输入使用方便，在保证整体系统的可靠性的同时还具有灵活、方便的特点，使其更具实用性。

上述嵌入式工控机包括人脸注册模块、人脸识别模块、语音识别模块、信息处理模块、语音合成模块、机械动作模块或表情显示模块；通过人脸识别模块和语音识别模块来接收宾客的需求信息及身份信息，经过信息处理模块处理后，给出“说话”、“动作”、“表情”或它们之间组合的指令，并根据指令调用语音合成模块、机械动作模块、表情显示模块独立或配合完成迎宾任务。

上述人脸注册模块主要分为两部分：视频注册和照片注册。其中视频注册方法采用了改进的AdaBoost算法进行实时人脸检测，标定人脸区域，再利用隐马尔科夫算法从已标定的人脸区域中提取并训练特征，最后将训练好的特征保存为特征文件并存储在人脸特征库路径下，供人脸识别模块使用。照片注册与视频注册算法相同，不同的是一个是离线注册，一个是在线注册，前者用的是一张是旧照片，背景、光照、特征都与现场照片差别较大，将其作为特征数据将影响识别结果。为了提高识别率，照片注册时需尽量选取正面、免冠、清晰的照片，并改进识别算法。

上述人脸识别模块包括单人人脸识别和多人人脸识别。单人人脸识别利用隐马尔科夫算法将已标定的人脸区域与人脸特征库中的特征文件进行对比，并判断特征文件是视频注册所获得还是照片注册所获得，分别设定不同的对比阈值，照片注册的特征对比阈值小于视频注册的；然后进行识别，设定识别结果为三个，选识别相似度最大的作为该次的识别结果，并重复该过程两次，如果这两次结果相同并且都大于0，则表示认识此人，并说出此人的名字；等于0则表示不认识。多人人脸识别是在单人人脸识别方法基础上进行改进，利用摄像头对多人集体拍照，通过人脸检测算法标定照片中的人脸区域，并从左到右进行排序，然后按顺序与人脸特征库中的特征文件进行对比，流程与单人人脸识别类似，最后依次输出识别结果。

上述语音识别模块采用科大讯飞的InterReco 4.0的端点检测开发接口，可以将语音数据从背景噪声中分离出来，有效地提高了识别效率以及识别效果。

上述信息处理模块主要根据人脸识别和语音识别的结果来决定迎宾过程中执行的动作、合成的语音和显示的表情。在与宾客进行交流时，机器人会将识别结果与系统中预先设定的情感分类(包括愉快、得意、羞涩、难过、疑惑等)进行比对，判断说话人表达的情感，作出回应，有感情的跟客人交流。

上述语音合成模块采用了科大讯飞的ViviVoice 2.1语音合成系统，可以实现甜美的声音合成。本系统利用此模块开发出了自我介绍、介绍学校、朗诵诗歌、唱歌、口技表演、路径导航等功能。

上述机械动作模块是在接受到信息处理模块发送的动作执行消息后，将内存中预存的动作指令通过CAN总线发送至10个驱动器，然后经过协议解析驱动直流微电机运动，最终通过10个电机的组合运动完成舞蹈、体操等表演。

上述表情显示模块为一个独立的进程，实现了微笑、搞怪、伤心、哭泣、害羞、疑问等丰富的人类表情图形。表情图形由多张连续的图片组成，采用定时器进行图片循环变换，画面扫描频率为30FPS，为了防止切换图片时出现闪屏，采用了双缓冲技术。采用同样的方法可以方便地制作其他常见的人类表情。

具体工作流程大致是：

当有宾客来临时，摄像头会采集宾客的视频图像信息，将此信息传输给人脸识别模块，如果成功识别此人，LCD显示器显示微笑表情，语音合成模块输出：“你好，XXX先生(或女士)，欢迎您来到AAA”，同时主动伸出右手跟宾客握手，然后与宾客进行交流；若不认识此人，机器人会直接与其交流。机器人将告诉宾客自己的本领，如现场注册、自我介绍、介绍学校/企业历史、朗诵诗歌、唱歌、表情表演、口技表演、路径导航等供宾客选择，宾客通过外置无线麦克告诉机器人所需的服务，机器人将愉快的、得意的、羞涩的、难过的还是疑惑表达自己的情感，都将根据信息处理模块的处理结果执行。无论哪种情感都将需要机械动作模块、语音合成模块、表情显示模块独立或同时配合完成，这样机器人就会声容并茂的完成一个迎宾服务。

在上述的整个过程中，机器人将自己的状态通过Ad hoc网络发送给智能手机，智能手机也可以根据需求中止机器人说话、关闭某个线程、更新人脸特征库、补充语音语法等，从而提高了机器人的稳定性和可靠性。

本发明能够着重从提高机器人的可靠性和实用性的角度出发，具备以下特点：

1、充分利用了智能手机自有的语音输入、手写输入、无线通信、开放系统等强大功能，开发有效的应用程序辅助机器人完成任务，比如停止说话、关闭某个线程、更新人脸特征库、补充语音语法等功能，以保证整体系统的可靠性、实用性。

2、开发了基于照片注册的方式，即客人不需要亲临现场，通过事先获得的照片进行注册，这样机器人第一次见到客人时可以直呼其名，会给客人一个意外的惊喜；另外，还可以同时识别多人脸，提高了识别效率；

3、利用连续播放图片方式实现表情显示功能，开发了十多种表情可供客户选择，还可配合人脸识别结果和语音识别结果做出相应的表情，使机器人更具人性化。

4、实现了手臂、头部、腰部10个自由度，除了可以打招呼、握手之外，还可以进行各种舞蹈动作表演，增加了趣味性。

以上所述，仅是对本发明的具体举例说明，并非因此限制本发明的专利保护范围，本领域的技术人员根据本发明的进一步改进也应落入本发明的保护范围。

Claims (6)

1.一种基于智能手机交互的综合型迎宾机器人，其特征在于包括机器人本体和智能手机，二者之间自动组成Ad hoc对等网络进行通信；所述机器人本体包括基座、位于基座上的躯干部、位于躯干部顶端的头部和分别位于躯干部左右两侧带有多个活动关节的左手臂与右手臂，以及嵌入式工控机、触摸屏、LCD显示器、CAN总线通信模块、运动控制模块、USB摄像头、无线音频接收器、手持发射器、扬声器和电源；上述嵌入式工控机安装在基座内部；LCD显示器安装在头部的前脸侧，用于显示面部表情；触摸屏安装在躯干部的前胸侧，用于显示主控程序主界面，以及设置有便于进行人机交互的一些图形化的系统功能按钮；摄像头安装在头部前脸侧上部，用于采集外部人脸信息；无线音频接收器放置在基座内部，手持发射器放置在左手臂上的左手中，电源放置在基座内部，扬声器安装在头部的两侧；运动控制模块包括能控制左、右手臂各活动关节动作的活动关节电机和电机驱动器，电机驱动器放置在基座内部；CAN总线通信模块安装在基座内部。

2.根据权利要求1所述的一种基于智能手机交互的综合型迎宾机器人，其特征在于：所述运动控制模块包括设置在各手臂上的手关节直流电机及其驱动器、肘关节直流电机及其驱动器、肩关节直流电机及其驱动器。

3.根据权利要求2所述的一种基于智能手机交互的综合型迎宾机器人，其特征在于：所述躯干部与基座之间设置有腰部转动关节，头部与躯干部之间设置有颈部转动关节；上述运动控制模块还包括腰部转动关节直流电机及其驱动器，颈部转动关节直流电机及其驱动器。

4.根据权利要求1所述的一种基于智能手机交互的综合型迎宾机器人，其特征在于：所述智能手机安装有Android系统，带有WIFI功能，无线电波的有效覆盖范围为100米；机器人本体配有无线网卡，该无线网卡完美兼容802.11N标准，连接速率最高可达150Mbps，能工作在2.4GHZ工业频段；所采取的组网方式为Ad-hoc模式，不设置无线路由器。

5.根据权利要求1所述的一种基于智能手机交互的综合型迎宾机器人，其特征在于：所述嵌入式工控机包括人脸注册模块、人脸识别模块、语音识别模块、信息处理模块、语音合成模块、机械动作模块或表情显示模块；通过人脸识别模块和语音识别模块来接收宾客的需求信息及身份信息，经过信息处理模块处理后，给出“说话”、“动作”、“表情”或它们之间组合的指令，并根据指令调用语音合成模块、机械动作模块、表情显示模块独立或配合完成迎宾任务。

6.根据权利要求5所述的一种基于智能手机交互的综合型迎宾机器人，其特征在于：所述人脸注册模块包括视频注册和照片注册；其中视频注册方法采用AdaBoost算法实时在线对人脸进行检测，标定人脸区域，再利用隐马尔科夫算法从已标定的人脸区域中提取并训练特征，最后将训练好的特征保存为特征文件并存储在人脸特征库路径下，供人脸识别模块使用；照片注册方法采用AdaBoost算法离线对照片上的人脸部分进行检测，标定人脸区域，再利用隐马尔科夫算法从已标定的人脸区域中提取并训练特征，最后将训练好的特征保存为特征文件并存储在人脸特征库路径下，供人脸识别模块使用；所述人脸识别模块包括单人人脸识别和多人人脸识别；单人人脸识别利用隐马尔科夫算法将已标定的人脸区域与人脸特征库中的特征文件进行对比，并判断特征文件是视频注册所获得还是照片注册所获得，分别设定不同的对比阈值，照片注册的特征对比阈值小于视频注册的特征对比阈值；然后进行识别，设定识别结果为三个，选识别相似度最大的作为该次的识别结果，并重复该过程两次，如果这两次结果相同并且都大于0，则表示认识此人，并说出此人的名字；如果等于0则表示不认识；多人人脸识别是在单人人脸识别方法基础上进行，利用摄像头对多人集体拍照，通过人脸检测算法标定照片中的人脸区域，并从左到右进行排序，然后按顺序与人脸特征库中的特征文件进行对比，流程与单人人脸识别类似，最后依次输出识别结果；所述信息处理模块能根据人脸识别模块和语音识别模块获得的结果来决定迎宾过程中执行的动作、合成的语音和显示的表情；所述表情显示模块作为一个独立的进程，能够根据信息处理模块的指令在LCD显示器上做出代表微笑、搞怪、伤心、哭泣、害羞或疑问的表情图形。

Images