CN106570473A - 基于机器人的聋哑人手语识别交互系统 - Google Patents

Abstract

基于机器人的聋哑人手语识别交互系统，它涉及智能服务机器人及其应用技术领域，它包含手语识别子系统、机器人本体和文字语音输入输出子系统，手语识别子系统主要由手语识别模块以及手语翻译模块组成，手语识别模块安装于机器人本体上；文字语音输入输出子系统包括将手语识别子系统中的手势识别模块的文字或语音进行输出显示、将正常人的语言或文字转换成机器人系统可以理解的语言信号。为改善和提高聋哑人士的生活、学习和工作条件提供更好的服务，借助于机器人平台，提升了聋哑人士与正常人交谈的交互质量和交互体验，融合最新的手语识别、语音识别和机器人等技术，使聋哑人士也能够受到社会的平等对待，接受更好的教育。

Description

基于机器人的聋哑人手语识别交互系统

技术领域

本发明涉及智能服务机器人及其应用技术领域，具体涉及一种基于机器人的聋哑人手语识别交互系统。

背景技术

随着科学技术的快速发展，高性能、高智能和高实用性被普遍认为是当前计算科学发展的主要方向，如何利用科学技术的高速发展转化为实际的应用成果造福人类也成为当前科学发展的主旋律。据了解，我国听力、语言残障人士超过2000万人，而且每年还在以2万-3万的速度递增。对“手语”这类人群最重要的交际手段进行研究，不仅有助于改善和提高这些残疾人士的生活、学习和工作条件，为他们提供更好的服务，同时也可以应用于医疗研究、电视节目双语播放、虚拟人研究等诸多方面。

目前，手语识别系统主要分为基于数据手套的识别和基于视觉（图像）的手语识别系统。基于数据手套的手语识别系统，是利用数据手套和位置跟踪器测量手势在空间运动的轨迹和时序信息，这种方法的缺点是打手语的人要穿戴复杂的数据手套和位置跟踪器，并且输入设备比较昂贵；另外一种基于视觉（图像）的手语识别系统，被识别者站在摄像头传感器前面，利用摄像头传感器采集三维立体的手语数据，并将采集到的数据转换为文字或者语音信息，但是此种模式人机交互体验感差。

发明内容

本发明的目的是提供一种改善和提高聋哑人士的生活、学习和工作条件提供更好服务的基于机器人的聋哑人手语识别交互系统。

为了解决背景技术所存在的问题，本发明是采用以下技术方案：一种基于机器人的聋哑人手语识别交互系统，它包含手语识别子系统、机器人本体和文字语音输入输出子系统，手语识别子系统主要由手语识别模块以及手语翻译模块组成，手语识别模块安装于机器人本体上；机器人本体由机器人硬件系统和机器人软件系统组成，机器人硬件系统主要包括机器人头部关节、机器人手臂手指关节、机器人脸部表情和机器人底盘；机器人本体上运行机器人软件系统，负责控制机器人各肢体的运动和调用系统功能应用接口，所述的机器人系统主要调用机器人各关节和语音播放模块实现对话交流情景的还原；文字语音输入输出子系统包括将手语识别子系统中的手势识别模块的文字或语音进行输出显示、将正常人的语言或文字转换成机器人系统可以理解的语言信号。

作为本发明的进一步改进，所述手语识别模块包括手语数据的捕捉、数据提取和算法计算；手语识别模块由Leap Motion控制器实现，设备中内置两个红外线摄像头；所述手语翻译模块是指根据交流者使用语言习惯，能够将手语翻译成各种语言，能更方便聋哑人和正常人之间的交流，实现实时交谈。

作为本发明的进一步改进；所述的文字语音输入输出子系统包括文字语音输入模块和文字语音输出模块；所述的文字语音输出模块包含文字显示模块、语音播报模块；文字语音输入模块包含文字输入模块、语音输入模块。

本发明以机器人为载体，集成手语识别传感器等外设，将手语识别传感器识别到聋哑人手语动作，通过机器人语音播放设备、肢体动作、底盘运动、脸部表情还原为正常人说话时的表达方式；同时也可以通过输入文字或语音，通过机器人肢体动作，将文字或语音翻译为手语，方便正常人与聋哑人之间的交流。

采用上述技术方案后，本发明具有以下有益效果：

为改善和提高聋哑人士的生活、学习和工作条件提供更好的服务，借助于机器人平台，提升了聋哑人士与正常人交谈的交互质量和交互体验，融合最新的手语识别、语音识别和机器人等技术，使聋哑人士也能够受到社会的平等对待，接受更好的教育，走出狭小的圈子成为残而不废的对国家和社会有用的人。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的实施例的系统原理图；

图2为本发明所提供的实施例的手语识别子系统原理图；

图3为本发明所提供的实施例的机器人手语还原流程图；

图4为本发明所提供的实施例的文字语音输入输出子系统原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不用于限定本发明。

请参阅图1，本具体实施方式采用以下技术方案：一种基于机器人的聋哑人手语识别交互系统，它包含手语识别子系统、机器人本体和文字语音输入输出子系统，手语识别子系统主要由手语识别模块以及手语翻译模块组成，手语识别模块安装于机器人本体上；机器人本体由机器人硬件系统和机器人软件系统组成，机器人硬件系统主要包括机器人头部关节、机器人手臂手指关节、机器人脸部表情和机器人底盘；机器人本体上运行机器人软件系统，负责控制机器人各肢体的运动和调用系统功能应用接口，所述的机器人系统主要调用机器人各关节和语音播放模块实现对话交流情景的还原；文字语音输入输出子系统包括将手语识别子系统中的手势识别模块的文字或语音进行输出显示、将正常人的语言或文字转换成机器人系统可以理解的语言信号。

请参阅图2，所述手语识别子系统由手语识别模块和手语翻译模块组成，所述手语识别模块包括手语数据的捕捉、数据提取和算法计算。手语识别模块由Leap Motion控制器实现，设备中内置两个红外线摄像头，可捕捉到设备面前的一块半球形区域中的人手和棍棒状的工具，虚构出XYZ三个坐标轴，生成将检测到的物体的数据模型，并计算生成相关的数据。所述手语翻译模块是指根据交流者使用语言习惯，能够将手语翻译成各种语言，能更方便聋哑人和正常人之间的交流，实现实时交谈。

请参阅图3，所述机器人本体由机器人硬件系统和机器人软件系统组成，机器人硬件系统主要包括机器人头部关节、机器人手臂手指关节、机器人脸部表情和机器人底盘。机器人本体上运行机器人软件系统，负责控制机器人各肢体的运动和调用系统功能应用接口，本发明所述的机器人系统主要调用机器人各关节和语音播放模块实现对话交流情景的还原。

当手语识别传感器识别到被识别者的手臂手指关节运动时，手语识别子系统负责将识别到的手语转换成机器人软件系统可理解的数字语言信号，机器人软件系统接收到手别识别子系统发送过来的数字语言信号之后，通过以下步骤实现对话情景的还原：

首先是将接收到的手语模型转换成文字信号，再将文字信号转换成音频信号，通过机器人音箱外设播放音频信号；

接着是通过理解接收到手语模型，还原成正常人对话交流时的肢体动作，通过控制机器人各肢体关节运动，使之接近正常人的语言表达方式；

然后是根据理解接收到手语模型，还原为正常人对话交流的底盘信号，通过控制机器人底盘运动，使之接近正常人的语言表达方式；然后是根据解析的文字表达意思，识别出文字所对应变化的喜怒哀乐情绪，通过机器人脸部表情模块将情绪进行表达；

最后是根据手语模型的表达意思，结合机器人语音播放、肢体动作、底盘运动、脸部表情，使对话交流情景还原更现实、逼真。

请参阅图4，所述文字语音输入输出子系统包括文字语音输入模块和文字语音输出模块。文字语音输出模块利用文字显示模块或语音播报模块，将手语识别子系统识别的文字或语音通过显示器或音箱外设输出；文字语音输入模块利用文字输入模块或语音输入模块，将通过鼠标键盘输入的文字或麦克风输入的语音转换成机器人本体系统可理解的数字信号。所述文字显示模块通过显示器将多语言翻译结果进行显示，系统根据交谈人的语言习惯进行语言设定。所述语音播报模块使用TTS引擎和发音包，对应使用者的喜好，通过调整男女声音、音量大小、语速快慢，使得机器人语音表达效果更具有可调整性和实用性。所述文字输入模块利用鼠标键盘输入的文字转换成机器人可识别的数字信号，输入的文字可为多种语言文本，系统根据交谈人的语言习惯进行文本语言输入设定。所述的语音输入模块通过麦克风输入音频信号，利用语音识别技术将麦克风输入的音频信号转换成文字信号，输入的语音可为多语言语音，系统根据交谈人的语言习惯进行语音识别设定。

本具体实施方式以机器人为载体，通过集成手语识别传感器等外设，检测被识别人的手指运动姿势变化，并把这种动作变化进行数字式量化，将手语转换为文字或语音，并配合机器人丰富的表情以及肢体动作将单纯的手语姿势还原为正常人的说话表达方式；正常人也可以通过输入文字或者语音，利用机器人丰富的表情以及肢体动作转换为手语姿势，聋哑人可以通过机器人的手语姿势理解正常人的表达意思，降低正常人与聋哑人交互的难度，并提升交互体验。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.基于机器人的聋哑人手语识别交互系统，其特征在于，它包含手语识别子系统、机器人本体和文字语音输入输出子系统，手语识别子系统主要由手语识别模块以及手语翻译模块组成，手语识别模块安装于机器人本体上；机器人本体由机器人硬件系统和机器人软件系统组成，机器人硬件系统主要包括机器人头部关节、机器人手臂手指关节、机器人脸部表情和机器人底盘；机器人本体上运行机器人软件系统，负责控制机器人各肢体的运动和调用系统功能应用接口，所述的机器人系统主要调用机器人各关节和语音播放模块实现对话交流情景的还原；文字语音输入输出子系统包括将手语识别子系统中的手势识别模块的文字或语音进行输出显示、将正常人的语言或文字转换成机器人系统可以理解的语言信号。

2.根据权利要求1所述的基于机器人的聋哑人手语识别交互系统，其特征在于，所述手语识别模块包括手语数据的捕捉、数据提取和算法计算；手语识别模块由Leap Motion控制器实现，设备中内置两个红外线摄像头，可捕捉到设备面前的一块半球形区域中的人手和棍棒状的工具，虚构出XYZ三个坐标轴，生成将检测到的物体的数据模型，并计算生成相关的数据；所述手语翻译模块是指根据交流者使用语言习惯，能够将手语翻译成各种语言，能更方便聋哑人和正常人之间的交流，实现实时交谈。

3.根据权利要求1所述的基于机器人的聋哑人手语识别交互系统，其特征在于，所述的文字语音输入输出子系统包括文字语音输入模块和文字语音输出模块；

所述的文字语音输出模块利用文字显示模块或语音播报模块，将手语识别子系统识别的文字或语音通过显示器或音箱外设输出；文字语音输入模块利用文字输入模块或语音输入模块，将通过鼠标键盘输入的文字或麦克风输入的语音转换成机器人本体系统可理解的数字信号；

所述文字显示模块通过显示器将多语言翻译结果进行显示，系统根据交谈人的语言习惯进行语言设定；

所述语音播报模块使用TTS引擎和发音包，对应使用者的喜好，通过调整男女声音、音量大小、语速快慢，使得机器人语音表达效果更具有可调整性和实用性；

所述文字输入模块利用鼠标键盘输入的文字转换成机器人可识别的数字信号，输入的文字可为多种语言文本，系统根据交谈人的语言习惯进行文本语言输入设定；

所述的语音输入模块通过麦克风输入音频信号，利用语音识别技术将麦克风输入的音频信号转换成文字信号，输入的语音可为多语言语音，系统根据交谈人的语言习惯进行语音识别设定。

4.根据权利要求1所述的基于机器人的聋哑人手语识别交互系统，其特征在于，所述的机器人本体中，当手语识别传感器识别到被识别者的手臂手指关节运动时，手语识别子系统负责将识别到的手语转换成机器人软件系统可理解的数字语言信号，机器人软件系统接收到手别识别子系统发送过来的数字语言信号之后，通过以下步骤实现对话情景的还原：

首先是将接收到的手语模型转换成文字信号，再将文字信号转换成音频信号，通过机器人音箱外设播放音频信号；

接着是通过理解接收到手语模型，还原成正常人对话交流时的肢体动作，通过控制机器人各肢体关节运动，使之接近正常人的语言表达方式；

然后是根据理解接收到手语模型，还原为正常人对话交流的底盘信号，通过控制机器人底盘运动，使之接近正常人的语言表达方式；然后是根据解析的文字表达意思，识别出文字所对应变化的喜怒哀乐情绪，通过机器人脸部表情模块将情绪进行表达；

最后是根据手语模型的表达意思，结合机器人语音播放、肢体动作、底盘运动、脸部表情，使对话交流情景还原更现实、逼真。