CN110281247A - 一种用于养老助残机器人的人机交互系统和方法 - Google Patents

Abstract

本发明公开了一种用于养老助残机器人的人机交互系统和方法，包括语音采集装置、摄像装置、语音输出装置、显示装置、运动控制装置和主控制系统。本发明可以有效提高残疾人士的生活质量，更加方便用户出行，静态手势识别中提出的基于双层深度图像信息的手指轮廓识别方法，不仅能够检测伸直手指的轮廓而且能够检测出弯曲手指的轮廓；此外，动态手势识别，采用动态手势识别与静态手势识别结合的方法，不仅提高了动态手势的准确性，也增加了手势组合的数量，进而增加了手势指令的丰富程度，智能化人机交互技术，不仅具有较强的可靠性，还能提高其用户的体验度。

Description

一种用于养老助残机器人的人机交互系统和方法

技术领域

本发明涉及机器人技术领域，具体是一种用于养老助残机器人的人机交互系统和方法。

背景技术

助老助残智能人形机器人在运行过程中，需要将使用者所表达的操作意图通过人机交互系统识别，从而控制机器人的运行。助老助残智能人形机器人使用语音识别、手势识别和表情识别分别模拟人类“听觉”、“视觉”进行人机交互。

智能化人机交互技术，包括采用声源定位，语言识别，语义理解，声音合成等技术实现机器人听说功能，在现有的技术中，不仅能实现机器人的听说功能，还可以实现机器人的洞察功能。

机器人的人机交互比较简单，一般的机器人只能实现语音识别进行分析，从数据库中抽取应答信息进行语音输出。机器人通过对用户人脸识别处理，获得用户的表情数据，对用户的手势识别通过手掌轮廓图像进行获取分析，此方法死板生硬，使用体验效果不好，识别效率、准确率低。

发明内容

本发明的目的在于提供一种用于养老助残机器人的人机交互系统和方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种用于养老助残机器人的人机交互方法，包含语音识别过程、手势识别过程和人脸表情识别过程；所述语音识别过程、手势识别过程和人脸表情识别过程同步进行，识别结果的优先级为语音识别最高，手势识别其次，人脸表情识别最后，最终的识别结果控制机器人的动作。

作为本发明的进一步技术方案：所述语音识别过程采用如下步骤：a1、基于输入所述语音采集装置采集的语音数据，对语音数据预处理以及端点检测，根据双门限端点检测算法在使用不同参数进行门限时的效果，进行比较并选择最合适的参数；a2、对LPCC和MFCC进行特征参数提取，并通过实验比较各参数的特点及选择最合适的特征参数；a3、把特征参数存储在模板库中，并对特征参数进行测试估计；a4、利用动态时间规整算法以及隐马尔可夫模型算法的语音识别算法，对遇到的问题进行改进，通过仿真实验比较各算法及其改进算法的识别效果，包括失真测度，最后输出识别结果。

作为本发明的进一步技术方案：所述手势识别过程采用如下步骤：针对静态手势，利用3D相机提供的深度信息分割出手掌部分，并结合人体骨骼图像中的手掌节点信息，采用基于双层深度图像信息的手指轮廓识别方法，通过采用K曲率算法来定位指尖点，实现静态手势的识别，针对动态手势识别，通过利用动态时间规整算法并结合静态手势识别，采用动态手势识别与静态手势识别结合的方法，完成静态和动态手势识别之后，将有效识别的手势作为指令，实现机器人与人体动作的互动。

作为本发明的进一步技术方案：所述人脸表情识别过程采用如下步骤：首先，系统通过图像采集设备釆集到人脸表情图像，每一幅表情图像由预处理模块读取图像信息，并将之转换为灰度图像，然后经过直方图均衡处理后，得到理想的灰度图像，把理想的灰度图像作为特征提取的输入，由Gabor小波与表情图像进行卷积运算，并计算特征值，得到一个由特征向量组成的特征矩阵，特征矩阵的特征向量数与Gabor滤波器的数目一致，因为Gabor小波提取的特征向量维数较高，需要通过特征选择降低特征向量的维数，系统采用AdaBoost算法进行特征选择，此时经过降维的特征向量作为SVM分类器的训练样本，先对训练样本进行数据规范化，使特征值规范在一定范围内，将规范化后的特征数据作为SVM训练器的输入，经过训练后得到一个记录训练时使用的核函数及其参数，支持向量数等参数的模型文件，然后选择测试样本，经过上面描述的图像与特征提取的步骤，与模型文件一起输入SVM分类器，得到最后的识别结果。

一种用于养老助残机器人的人机交互系统，包括语音采集装置、摄像装置、语音输出装置、显示装置、运动控制装置和主控制系统，其特征在于，所述主控制系统分别连接语音采集装置、摄像装置、语音输出装置、显示装置和运动控制装置。

作为本发明的进一步技术方案：所述语音采集装置包括麦克风阵列模块和声源定位处理模块。

作为本发明的进一步技术方案：所述摄像装置采用3D相机。

作为本发明的进一步技术方案：所述显示装置采用液晶显示屏。

作为本发明的进一步技术方案：所述运动控制装置为电机，并且通过电机转动以驱动机器人本体的移动和旋转、机器人手臂的抬升、以及机器人头部的俯仰与旋转。

与现有技术相比，本发明的有益效果是：本发明通过在不同噪音环境下识别率实验和语音运动控制实验，改善系统抗噪性能，基于手势识别的服务机器人交互系统可以有效提高残疾人士的生活质量，更加方便用户出行，静态手势识别中提出的基于双层深度图像信息的手指轮廓识别方法，不仅能够检测伸直手指的轮廓而且能够检测出弯曲手指的轮廓；此外，动态手势识别，采用动态手势识别与静态手势识别结合的方法，不仅提高了动态手势的准确性，也增加了手势组合的数量，进而增加了手势指令的丰富程度，智能化人机交互技术，不仅具有较强的可靠性，还能提高其用户的体验度。

附图说明

图1是一种用于养老助残机器人的人机交互系统及方法的结构示意图；

图2是一种用于养老助残机器人的人机交互方法示意图；

图3是语音识别流程示意图；

图4是人脸表情识别流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：请参阅图1-4，一种用于养老助残机器人的人机交互系统和方法，包括：语音采集装置、摄像装置、语音输出装置、显示装置、运动控制装置以及主控制系统；

语音采集装置，用于捕获用户的语音数据，以供主控制系统进行语音处理，语音数据包括：机器人环境空间上的声音信息和声源方位信息，采用了麦克风阵列模块，用于对机器人周围环境不同空间角度声场的空间特性进行采样并处理，即对任何角度空间的声音信息采集；采用声源定位处理模块，用于检测环境中的声源方向和距离。

摄像装置，采用3D相机，用于获取待识别的用户目标图片，以便识别用户的手势和表情信息。

语音输出装置，用于根据主控制系统对用户的行为操作信息进行分析后得到的语音数据，而输出对应的反馈语音。

显示装置，采用液晶显示屏，用于输出机器人的表情。

运动控制装置，用于通过电机转动以驱动机器人本体的移动和旋转、机器人手臂的抬升、以及机器人头部的俯仰与旋转。

一种用于养老助残机器人的人机交互方法，给予上述的系统实现，包含语音识别过程、手势识别过程和人脸表情识别过程；所述语音识别过程、手势识别过程和人脸表情识别过程同步进行，识别结果的优先级为语音识别最高，手势识别其次，人脸表情识别最后，最终的识别结果控制机器人的动作。

其中：语音识别过程采用如下步骤：a1、基于输入所述语音采集装置采集的语音数据，对语音数据预处理以及端点检测，根据双门限端点检测算法在使用不同参数进行门限时的效果，进行比较并选择最合适的参数；a2、对LPCC和MFCC进行特征参数提取，并通过实验比较各参数的特点及选择最合适的特征参数；a3、把特征参数存储在模板库中，并对特征参数进行测试估计；a4、利用动态时间规整算法以及隐马尔可夫模型算法的语音识别算法，对遇到的问题进行改进，通过仿真实验比较各算法及其改进算法的识别效果，包括失真测度，最后输出识别结果。

手势识别过程采用如下步骤：针对静态手势，利用3D相机提供的深度信息分割出手掌部分，并结合人体骨骼图像中的手掌节点信息，采用基于双层深度图像信息的手指轮廓识别方法，通过采用K曲率算法来定位指尖点，实现静态手势的识别，针对动态手势识别，通过利用动态时间规整算法并结合静态手势识别，采用动态手势识别与静态手势识别结合的方法，完成静态和动态手势识别之后，将有效识别的手势作为指令，实现机器人与人体动作的互动。

人脸表情识别过程采用如下步骤：首先，系统通过图像采集设备釆集到人脸表情图像，每一幅表情图像由预处理模块读取图像信息，并将之转换为灰度图像，然后经过直方图均衡处理后，得到理想的灰度图像，把理想的灰度图像作为特征提取的输入，由Gabor小波与表情图像进行卷积运算，并计算特征值，得到一个由特征向量组成的特征矩阵，特征矩阵的特征向量数与Gabor滤波器的数目一致，因为Gabor小波提取的特征向量维数较高，需要通过特征选择降低特征向量的维数，系统采用AdaBoost算法进行特征选择，此时经过降维的特征向量作为SVM分类器的训练样本，先对训练样本进行数据规范化，使特征值规范在一定范围内，将规范化后的特征数据作为SVM训练器的输入，经过训练后得到一个记录训练时使用的核函数及其参数，支持向量数等参数的模型文件，然后选择测试样本，经过上面描述的图像与特征提取的步骤，与模型文件一起输入SVM分类器，得到最后的识别结果。

实施例2，在实施例1的基础上，本设计的主控制系统采用FPGA(Field－Programmable Gate Array，现场可编程门阵列)、DSP(Digital Signal Processing，数字信号处理)、GPU(Graphics Processing Unit，图形处理器)或者单片机来实现；上述几种控制器芯片均能够较好的完成本设计的控制需求。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种用于养老助残机器人的人机交互方法，其特征在于，包含语音识别过程、手势识别过程和人脸表情识别过程；所述语音识别过程、手势识别过程和人脸表情识别过程同步进行，识别结果的优先级为语音识别最高，手势识别其次，人脸表情识别最后，最终的识别结果控制机器人的动作。

2.根据权利要求1所述的一种用于养老助残机器人的人机交互方法，其特征在于，所述语音识别过程采用如下步骤：a1、基于输入所述语音采集装置采集的语音数据，对语音数据预处理以及端点检测，根据双门限端点检测算法在使用不同参数进行门限时的效果，进行比较并选择最合适的参数；a2、对LPCC和MFCC进行特征参数提取，并通过实验比较各参数的特点及选择最合适的特征参数；a3、把特征参数存储在模板库中，并对特征参数进行测试估计；a4、利用动态时间规整算法以及隐马尔可夫模型算法的语音识别算法，对遇到的问题进行改进，通过仿真实验比较各算法及其改进算法的识别效果，包括失真测度，最后输出识别结果。

3.根据权利要求1所述的一种用于养老助残机器人的人机交互方法，其特征在于，所述手势识别过程采用如下步骤：针对静态手势，利用3D相机提供的深度信息分割出手掌部分，并结合人体骨骼图像中的手掌节点信息，采用基于双层深度图像信息的手指轮廓识别方法，通过采用K曲率算法来定位指尖点，实现静态手势的识别，针对动态手势识别，通过利用动态时间规整算法并结合静态手势识别，采用动态手势识别与静态手势识别结合的方法，完成静态和动态手势识别之后，将有效识别的手势作为指令，实现机器人与人体动作的互动。

4.根据权利要求1所述的一种用于养老助残机器人的人机交互方法，其特征在于，所述人脸表情识别过程采用如下步骤：首先，系统通过图像采集设备釆集到人脸表情图像，每一幅表情图像由预处理模块读取图像信息，并将之转换为灰度图像，然后经过直方图均衡处理后，得到理想的灰度图像，把理想的灰度图像作为特征提取的输入，由Gabor小波与表情图像进行卷积运算，并计算特征值，得到一个由特征向量组成的特征矩阵，特征矩阵的特征向量数与Gabor滤波器的数目一致，因为Gabor小波提取的特征向量维数较高，需要通过特征选择降低特征向量的维数，系统采用AdaBoost算法进行特征选择，此时经过降维的特征向量作为SVM分类器的训练样本，先对训练样本进行数据规范化，使特征值规范在一定范围内，将规范化后的特征数据作为SVM训练器的输入，经过训练后得到一个记录训练时使用的核函数及其参数，支持向量数等参数的模型文件，然后选择测试样本，经过上面描述的图像与特征提取的步骤，与模型文件一起输入SVM分类器，得到最后的识别结果。

5.一种用于养老助残机器人的人机交互系统，包括语音采集装置、摄像装置、语音输出装置、显示装置、运动控制装置和主控制系统，其特征在于，所述主控制系统分别连接语音采集装置、摄像装置、语音输出装置、显示装置和运动控制装置。

6.根据权利要求5所述的一种用于养老助残机器人的人机交互系统，其特征在于，所述语音采集装置包括麦克风阵列模块和声源定位处理模块。

7.根据权利要求5所述的一种用于养老助残机器人的人机交互系统，其特征在于，所述摄像装置采用3D相机。

8.根据权利要求5所述的一种用于养老助残机器人的人机交互系统，其特征在于，所述显示装置采用液晶显示屏。

9.根据权利要求5所述的一种用于养老助残机器人的人机交互系统，其特征在于，所述运动控制装置为电机，并且通过电机转动以驱动机器人本体的移动和旋转、机器人手臂的抬升、以及机器人头部的俯仰与旋转。