CN102323817A - 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法 - Google Patents

Abstract

本发明公开了一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法。一种服务机器人控制平台系统，包括语音控制模块，双目图像采集模块，RFID收发模块，底轮运动模块，避障模块，机械臂控制模块。一种服务机器人多模式智能交互与智能行为的实现方法，包括以下步骤：（1）语音交互；（2）自主导航与定位；（3）机械臂控制；（4）人脸检测与识别。本发明能够让机器人进行智能交互和智能行为，增强了机器人智能抓取的能力。除了特定人的识别，加入了对图片脸与真实人脸的区分，有效排除了图片脸对程序的影响；本发明对拟人机械臂抓取的控制，采用特定拟人化路径抓取方式，使机器人的服务方式更加智能化、人性化。

Description

一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法

技术领域

本发明属于机器人技术领域，具体涉及的是一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法。

背景技术

在过去五六十年间，研究者们一直在致力研究机器人应用的相关技术。在上世纪60年代早期，随着工业的发展，机器人用来帮助人们实现危险的操作和任务，然而这些机器人主要在结构环境下工作，只能按照特定的模式进行工作。但是，随着技术的发展以及人类的日常生活的需求，机器人却面临非结构化、复杂化等一系列问题的挑战。因此为了使机器人能够模拟一定的家庭环境，可以再日常生活中为人们服务，它应该具备一定的人机交互能力，能够根据语音指令智能识别物体，然后进行自主定位与导航，并能根据自身感知的环境进行避障，然后抓取指定物品并交给指定的人。

原有的机器人平台系统中的智能行为与智能交互大多是在结构化的环境中，不能满足人类家庭非结构性环境的应用需求，并且存在一些技术方面的缺陷。第一，原有的人脸识别算法无法分辨图片人脸与真实人脸；第二，原有的智能机器人平台使用的大多是简单少自由度的单臂操作，抓取动作拟人化比较差，主要靠底部万向轮调整抓取位置，而手臂的路径是固定的；第三，在特定人识别方面，原有的智能平台涉及的比较少。

发明内容

针对现有技术存在的缺陷，本发明的目的是提供一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法，使机器人在一种非结构化的环境中为人类提供更加智能化的服务。本发明中机器人可以通过视觉、射频、超声、光电等传感器与外部环境进行智能交互，语音模块可以实现机器人与人类的智能语音交互。机器人具备人脸检测与识别、自主导航与定位、拾取目标物体并交给特定人等智能行为。

为达到上述目的，本发明的技术方案是：

一种服务机器人控制平台系统，包括语音控制模块，双目图像采集模块，RFID（Radio Frequency Identification）收发模块，底轮运动模块，避障模块，机械臂控制模块。

所述语音控制模块包括语音识别模块和语音合成模块两部分；语音识别模块把语音转换成字符串和文字，输出为文本格式；语音合成模块把字符串和文字合成为语音；所述的双目图像采集模块，是指本系统基于双目立体视觉系统；所述的RFID收发装置为无源型射频标签，含有物品的位置、功能等信息；所述的底轮运动模块采用双轮差动方式，并在底部安装有两个色标传感器；所述的避障模块采用多路超声波与多路光电传感器，分别安装于机器人腹部与底部裙摆处，实现不同高度的障碍物检测；所述机械臂控制模块的仿人机械臂为6+1自由度，通过正解与逆解算法到达运动位置，机械臂可以实现抓取、跳舞、双臂协调等动作。

一种服务机器人多模式智能交互与智能行为的实现方法，应用于所述服务机器人控制平台系统，包括以下步骤：

（1）语音交互，服务机器人通过语音控制模块与人进行语音交互，识别及分析人向服务机器人发出的命令，并且能够按照命令人发出的语音命令实施相应的动作；

（2）自主导航与定位，机器人融合双目图像采集模块与RFID收发模块的信息，自主导航到指定目标点，导航过程机中器人通过避障模块实现避障功能，并能够介绍所途经的重要物品信息；

（3）机械臂控制，通过目标物体的颜色、形状、纹理等特征，双目图像采集模块得到目标物体的三维坐标信息；经过坐标变换后得到目标物体相对于右手机械臂的坐标值；对6+1自由度机械臂求运动学逆解，得到手臂各关节的角度，按照特定的轨迹抓取目标物体；

（4）人脸检测与识别，机器人可以检测出视野范围内的人脸，实现人脸跟随功能，并对检测出的人脸进行智能识别，包括图片人脸和真实人脸的识别以及特定人的识别，能从多人中识别出需要服务的特定对象。

所述步骤（1）中的语音交互包括语音识别模块和语音合成模块进行人机交互，所述语音识别模块选择隐马尔科夫(Hidden Markov Model，HMM)模型和提取梅尔倒谱系数（Mel-Frequency Cepstral Coefficients，MFCC）特征参数进行训练，并对测试语音进行识别，其具体步骤为：

1）通过麦克风获取语音信号；

2）语音信号的预处理，主要包括分帧、加窗处理；

3）用梅尔倒谱系数提取特征；

4）用HMM模型统计计算；

5）把识别的结果用文本形式表示；

所述语音合成模块是通过文本到语音（Text To Sound，TTS）系统实现，其具体步骤为：

1）对语音库语音进行特征提取；

2）把这些特征经HMM聚类后生成合成语音对应的HMM序列；

3）输入文本信息，经聚类后的HMM模型生成合成语音对应的HMM序列；

4）利用最大似然法生成语音参数；

5）把这些参数经语音合成器合成语音；

当有语音命令输入时，机器人系统会识别出来并做出相应的动作；智能语音识别使机人可以理解语音指令，不管是单词还是连续说的话都可以识别，在语音采集识别以后，每句话都对应相应的指令，使机器人明白自己的任务。

所述步骤（2）中的自主导航与定位，主要步是机器人行走时获取带有绝对坐标信息和地理信息的标签，并在空间提取物体颜色，通过颜色引导机器人前进到抓取物体的位置；主要步骤如下：

1）机器人先在空间旋转，通过双目图像采集模块获取目标物体。若跟踪的物体丢失，机器人就重新旋转寻找到目标物体，此时在远距离上可以得到大致的三维坐标信息；

2）在行走过程中遇到RFID的标签，读取其中的绝对位置信息更正位置和读取当前实验室信息；

3）若在前进过程中遇到障碍物，机器人先停下一段时间，再检测前方是否有障碍物。若还有障碍就向左右前进避开障碍物，再去寻找目标物体；若没有障碍物，继续向前走；

4）在机器人获取目标物体的距离较小时，为了在有效的范围内实现抓取，此时减低机器人行进的速度，同时利用双目图像采集模块获取的左右坐标值经行更小的左右调整，指导适合机器人抓取的位置，当机器人到达目标一定距离后就停止前进。

所述步骤（3）中的机械臂控制为仿人机械臂定位并抓取目标物体是指机器人导航到指定位置后控制机械臂抓取目标物体，主要包括以下步骤： 

1）双目图像采集模块通过目标物体的颜色、形状、纹理等特征得到目标物体的三维坐标信息；

2）经过坐标变换后得到目标物体相对于右手臂的坐标值；

3）对6+1自由度机械臂求运动学逆解，得到手臂各关节的角度，按照特定的轨迹抓取目标物体。

所述步骤（4）中的人脸检测与识别，可以通过从双目相机得出的深度信息来区分图片脸和真实人脸；人脸识别部分通过主分量分析算法提取人脸图像的主分量，用欧氏距离对比训练人脸库中人脸和双目摄取到人脸的主分量，以距离最小者作为识别结果；分别采用了肤色检测、深度处理方法及主成分分析（Principal component analysis，PCA）法，其具体算法如下：

，                              ①

                          ②

 

                                         ③

其中，R，G，B为图像中像素的原始值；r，g，y为再次计算得到的像素值，当式①②中的r、g、y满足式③时，则该像素为人脸区域像素。

对于人脸检测，主要步骤如下：

1）基于Adaboost（Adaptive boosting）方法得出可能的人脸区域；

2）在此人脸区域图像中，通过RGB肤色模型①—③检测出肤色部分；

3）针对每一个肤色像素得出其距双目的距离值和所有肤色像素区域距相机的平均距离，计算欧氏距离；

4）再对比真实人脸与图片人脸的欧氏距离，得出区分参数并以此实现出真假人脸检测；

对于人脸识别，主要是PCA方法，主要步骤如下：

1）建立训练库，库中的脸部图像要满足对于特定人进行识别的需求；

2）计算特征脸向量及其特征脸空间，将待识别的脸部样本图片放入特征脸空间，计算出其坐标系数；

3）比较待测样本与训练库中坐标系数的不同，计算出样本脸与训练集中人脸的欧式距离，得出识别结果。

本发明与现有技术相比较，具有以下突出的优点：

本发明将语音识别、手臂控制、运动控制以及机器视觉与RFID应用于服务机器人，能够让机器人进行智能交互和智能行为，增强了机器人智能抓取的能力。人脸识别模块中，除了特定人的识别，加入了对图片脸与真实人脸的区分，有效排除了图片脸对程序的影响；本发明所采用平台为六自由度双臂，更加拟人化，对拟人机械臂抓取的控制，采用特定拟人化路径抓取方式，使机器人的服务方式更加智能化、人性化。

附图说明

图１为本发明的系统结构框图；

图2为本发明机器人外观视图；

图3为本发明基于家庭模拟环境实验的流程图；

图4为本发明实施例的实验结果图。

具体实施方式

下面结合附图对本发明的实施做详细说明： 

如图1所示，一种服务机器人控制平台系统，包括语音控制模块，双目图像采集模块，RFID收发模块，底轮运动模块，壁障模块，机械臂控制模块。

所述语音控制模块包括语音识别模块和语音合成模块两部分；语音识别模块把语音转换成字符串和文字，输出为文本格式；语音合成模块把字符串和文字合成为语音；所述的双目图像采集模块，是指本系统基于双目立体视觉系统；所述的RFID收发装置为无源型射频标签，含有物品的位置、功能等信息；所述的底轮运动模块采用双轮差动方式，并在底部安装有两个色标传感器；所述的避障模块采用多路超声波与多路光电传感器，分别安装于机器人腹部与底部裙摆处，实现不同高度的障碍物检测；所述机械臂控制模块的仿人机械臂为6+1自由度，通过正解与逆解算法到达运动位置，机械臂可以实现抓取、跳舞、双臂协调等动作。

如图2所示，本实例的实验平台机器人拥有双目视觉摄像头，3个前部超声波传感器，2个侧部超声波传感器，7个底盘避障传感器，2个扬声器，2个机械臂，1块触摸屏，用户可通过人机界面的按钮完成机器人的控制。用户可以外接麦克风，直接和机器人进行对话，对话内容用户可以自己设计。此外，还可以通过遥控器，完成对机器人的运动、信息和娱乐等功能选取。

如图3所示，一种服务机器人多模式智能交互与智能行为的实现方法，应用于所述服务机器人控制平台系统，包括以下步骤：

（1）语音交互，服务机器人通过语音控制模块与人进行语音交互，识别及分析人向服务机器人发出的命令，并且能够按照命令人发出的语音命令实施相应的动作；

（2）自主导航与定位，机器人融合双目图像采集模块与RFID收发模块的信息，自主导航到指定目标点，导航过程机中器人通过避障模块实现避障功能，并能够介绍所途经的重要物品信息；

（3）机械臂控制，通过目标物体的颜色、形状、纹理等特征，双目图像采集模块得到目标物体的三维坐标信息；经过坐标变换后得到目标物体相对于右手机械臂的坐标值；对6+1自由度机械臂求运动学逆解，得到手臂各关节的角度，按照特定的轨迹抓取目标物体。

（4）人脸检测与识别，机器人可以检测出视野范围内的人脸，实现人脸跟随功能，并对检测出的人脸进行智能识别，包括图片人脸和真实人脸的识别以及特定人的识别，能从多人中识别出需要服务的特定对象。

所述步骤（1）中的语音交互包括语音识别模块和语音合成模块进行人机交互，所述语音识别模块选择隐马尔科夫(HMM)模型和提取梅尔倒谱系数（MFCC）特征参数进行训练，并对测试语音进行识别，其具体步骤为：

1）通过麦克风获取语音信号；

2）语音信号的预处理，主要包括分帧、加窗处理；

3）用梅尔倒谱系数提取特征；

4）用HMM模型统计计算；

5）把识别的结果用文本形式表示；

所述语音合成模块是通过文本到语音（TTS）系统实现，其具体步骤为：

1）对语音库语音进行特征提取；

2）把这些特征经HMM聚类后生成合成语音对应的HMM序列；

3）输入文本信息，经聚类后的HMM模型生成合成语音对应的HMM序列；

4）利用最大似然法生成语音参数；

5）把这些参数经语音合成器合成语音；

当有语音命令输入时，机器人系统会识别出来并作出相应的动作；智能语音识别使机人可以理解语音指令，不管是单词还是连续说的话都可以识别，在语音采集识别以后，每句话都对应相应的指令，使机器人明白自己的任务。

所述步骤（2）中的自主导航与定位，主要步是机器人行走时获取带有绝对坐标信息和地理信息的标签，并在空间提取物体颜色，通过颜色引导机器人前进到抓取物体的位置；主要步骤如下：

1）机器人先在空间旋转，通过双目图像采集模块获取目标物体。若跟踪的物体丢失，机器人就重新旋转寻找到目标物体，此时在远距离上可以得到大致的三维坐标信息；

2）在行走过程中遇到RFID的标签，读取其中的绝对位置信息更正位置和读取当前实验室信息；

3）若在前进过程中遇到障碍物，机器人先停下一段时间，再检测前方是否有障碍物。若还有障碍就向左右前进避开障碍物，再去寻找目标物体；若没有障碍物，继续向前走；

4）在机器人获取目标物体的距离较小时，为了在有效的范围内实现抓取，此时减低机器人行进的速度，同时利用双目图像采集模块获取的左右坐标值经行更小的左右调整，指导适合机器人抓取的位置，当机器人到达目标一定距离后就停止前进。

所述步骤（3）中的机械臂控制为仿人机械臂定位并抓取目标物体是指机器人导航到指定位置后控制机械臂抓取目标物体，主要包括以下步骤： 

1）双目图像采集模块通过目标物体的颜色、形状、纹理等特征得到目标物体的三维坐标信息；

2）经过坐标变换后得到目标物体相对于右手臂的坐标值；

3）对6+1自由度机械臂求运动学逆解，得到手臂各关节的角度，按照特定的轨迹抓取目标物体。

所述步骤（4）中的人脸检测与识别，可以通过从双目相机得出的深度信息来区分图片脸和真实人脸；人脸识别部分通过主分量分析算法提取人脸图像的主分量，用欧氏距离对比训练人脸库中人脸和双目摄取到人脸的主分量，以距离最小者作为识别结果；分别采用了肤色检测、深度处理方法及PCA法，其具体算法如下：

，                              ①

                          ②

 

                                         ③

其中，R，G，B为图像中像素的原始值；r，g，y为再次计算得到的像素值，当式①②中的r、g、y满足式③时，则该像素为人脸区域像素。

对于人脸检测，主要步骤如下：

1）基于Adaboost方法得出可能的人脸区域；

2）在此人脸区域图像中，通过RGB肤色模型①—③检测出肤色部分；

3）针对每一个肤色像素得出其距双目的距离值和所有肤色像素区域距相机的平均距离，计算欧氏距离；

4）再对比真实人脸与图片人脸的欧氏距离，得出区分参数并以此实现出真假人脸检测；

对于人脸识别，主要是PCA方法，主要步骤如下：

1）建立训练库，库中的脸部图像要满足对于特定人进行识别的需求；

2）计算特征脸向量及其特征脸空间，将待识别的脸部样本图片放入特征脸空间，计算出其坐标系数；

3）比较待测样本与训练库中坐标系数的不同，计算出样本脸与训练集中人脸的欧式距离，得出识别结果。

本实施例以模拟家庭环境，实现机器人能够智能的为人类服务。本实施例主要包括以下步骤：

第一步，命令人通过麦克风输入语音，经由语音识别模块进行识别，并把识别结果送给机器人控制平台，机器人则根据识别结果执行相关命令。在本实施例中，我们对机器人做如下命令：“把绿茶交给小红”。机器人会把这句话分解为两部分有用信息，绿茶和小红。实施图如图4中(a)所示。

第二步，机器人根据第一步的语音指令，进行物体识别，确定目标物体以后，利用底轮运动模块和避障模块进行自主导航。在此过程中，机器人向着绿茶方向运动，如果途中没有发现障碍物，机器人会直接运动到绿茶附近；但当途中避障模块检测到有障碍物时，机器人会自主改变运动轨迹，在躲避过障碍物以后，如果绿茶还在双目的视野内，继续向着目标前进；倘若绿茶已经不再视野内，机器人将再次重复第二步的步骤，进行执行。如图4中(b)所示。

第三步，当机器人到达目的地后，首先利用双目视觉图像采集模块得到绿茶的三维坐标信息，经过坐标变换后得到目标物体相对于右机械臂的坐标值，接着对右手机械臂求解逆解，得到机械臂各关节角度，按照特定的轨迹抓取目标物体。如图4中(c)所示。

第四步，在抓取到物体以后，机器人自主搜索周围环境中的人脸，然后逐一通过PCA方法进行人脸识别，当发现目标人脸时，停止旋转，向着目标任务人物“小红”自主行进，在行进过程中机器人会自主实施避障功能。如图4中(d)所示。

第五步，在把绿茶交给小红后，机器人处于待命状态，等待下一条指令。

本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于上述的实施例。

Claims (6)

1.一种服务机器人控制平台系统，其特征在于，包括语音控制模块，双目图像采集模块，RFID收发模块，底轮运动模块，避障模块，机械臂控制模块；

所述语音控制模块包括语音识别模块和语音合成模块两部分；语音识别模块把语音转换成字符串和文字，输出为文本格式；语音合成模块把字符串和文字合成为语音；所述的双目图像采集模块，是指本系统基于双目立体视觉系统；所述的RFID收发装置为无源型射频标签，含有物品的位置、功能等信息；所述的底轮运动模块采用双轮差动方式，并在底部安装有两个色标传感器；所述的避障模块采用多路超声波与多路光电传感器，分别安装于机器人腹部与底部裙摆处，实现不同高度的障碍物检测；所述机械臂控制模块的仿人机械臂为6+1自由度，通过正解与逆解算法到达运动位置，机械臂可以实现抓取、跳舞、双臂协调等动作。

2.一种服务机器人多模式智能交互与智能行为的实现方法，应用于权利要求1所述的服务机器人控制平台系统，其特征在于，包括以下步骤：

（1）语音交互，服务机器人通过语音控制模块与人进行语音交互，识别及分析人向服务机器人发出的命令，并且能够按照命令人发出的语音命令实施相应的动作；

（2）自主导航与定位，机器人融合双目图像采集模块与RFID收发模块的信息，自主导航到指定目标点，导航过程机中器人通过避障模块实现避障功能，并能够介绍所途经的重要物品信息；

（3）机械臂控制，通过目标物体的颜色、形状、纹理等特征，双目图像采集模块得到目标物体的三维坐标信息；经过坐标变换后得到目标物体相对于右手机械臂的坐标值；对6+1自由度机械臂求运动学逆解，得到手臂各关节的角度，按照特定的轨迹抓取目标物体；

（4）人脸检测与识别，机器人可以检测出视野范围内的人脸，实现人脸跟随功能，并对检测出的人脸进行智能识别，包括图片人脸和真实人脸的识别以及特定人的识别，能从多人中识别出需要服务的特定对象。

3.根据权利要求2所述的一种服务机器人多模式智能交互与智能行为的实现方法，其特征在于，所述步骤（1）中的语音交互包括语音识别模块和语音合成模块进行人机交互，所述语音识别模块选择隐马尔科夫模型和提取梅尔倒谱系数特征参数进行训练，并对测试语音进行识别，其具体步骤为：

1）通过麦克风获取语音信号；

2）语音信号的预处理，主要包括分帧、加窗处理；

3）用梅尔倒谱系数提取特征；

4）用HMM模型统计计算；

5）把识别的结果用文本形式表示；

所述语音合成模块是通过文本到语音系统实现，其具体步骤为：

1）对语音库语音进行特征提取；

2）把这些特征经HMM聚类后生成合成语音对应的HMM序列；

3）输入文本信息，经聚类后的HMM模型生成合成语音对应的HMM序列；

4）利用最大似然法生成语音参数；

5）把这些参数经语音合成器合成语音；

当有语音命令输入时，机器人系统会识别出来并作出相应的动作；智能语音识别使机人可以理解语音指令，不管是单词还是连续说的话都可以识别，在语音采集识别以后，每句话都对应相应的指令，使机器人明白自己的任务。

4.根据权利要求2所述的一种服务机器人多模式智能交互与智能行为的实现方法，其特征在于，所述步骤（2）中的自主导航与定位，主要步是机器人行走时获取带有绝对坐标信息和地理信息的标签，并在空间提取物体颜色，通过颜色引导机器人前进到抓取物体的位置；主要步骤如下：

1）机器人先在空间旋转，通过双目图像采集模块获取目标物体，若跟踪的物体丢失，机器人就重新旋转寻找到目标物体，此时在远距离上可以得到大致的三维坐标信息；

2）在行走过程中遇到RFID的标签，读取其中的绝对位置信息更正位置和读取当前实验室信息；

3）若在前进过程中遇到障碍物，机器人先停下一段时间，再检测前方是否有障碍物，若还有障碍就向左右前进避开障碍物，再去寻找目标物体；若没有障碍物，继续向前走；

4）在机器人获取目标物体的距离较小时，为了在有效的范围内实现抓取，此时减低机器人行进的速度，同时利用双目图像采集模块获取的左右坐标值经行更小的左右调整，指导适合机器人抓取的位置，当机器人到达目标一定距离后就停止前进。

5.根据权利要求2所述的一种服务机器人多模式智能交互与智能行为的实现方法，其特征在于，所述步骤（3）中的机械臂控制为仿人机械臂定位并抓取目标物体是指机器人导航到指定位置后控制机械臂抓取目标物体，主要包括以下步骤： 

1）双目图像采集模块通过目标物体的颜色、形状、纹理等特征得到目标物体的三维坐标信息；

2）经过坐标变换后得到目标物体相对于右手臂的坐标值；

3）对6+1自由度机械臂求运动学逆解，得到手臂各关节的角度，按照特定的轨迹抓取目标物体。

6.根据权利要求2所述的一种服务机器人多模式智能交互与智能行为的实现方法，其特征在于，所述步骤（4）中的人脸检测与识别，可以通过从双目相机得出的深度信息来区分图片脸和真实人脸；人脸识别部分通过主分量分析算法提取人脸图像的主分量，用欧氏距离对比训练人脸库中人脸和双目摄取到人脸的主分量，以距离最小者作为识别结果；分别采用了肤色检测、深度处理方法及PCA法，其具体算法如下：

，

                              ①

                          ②

 

                                         ③

其中，R、G、B为图像中像素的原始值；r、g、y为再次计算得到的像素值，当式①②中的r、g、y满足式③时，则该像素为人脸区域像素；

对于人脸检测，主要步骤如下：

1）基于Adaboost方法得出可能的人脸区域；

2）在此人脸区域图像中，通过RGB肤色模型①—③检测出肤色部分；

3）针对每一个肤色像素得出其距双目的距离值和所有肤色像素区域距相机的平均距离，计算欧氏距离；

4）再对比真实人脸与图片人脸的欧氏距离，得出区分参数并以此实现出真假人脸检测；

对于人脸识别，主要是PCA方法，主要步骤如下：

1）建立训练库，库中的脸部图像要满足对于特定人进行识别的需求；

2）计算特征脸向量及其特征脸空间，将待识别的脸部样本图片放入特征脸空间，计算出其坐标系数；

3）比较待测样本与训练库中坐标系数的不同，计算出样本脸与训练集中人脸的欧式距离，得出识别结果。

Images