CN109976338A - 一种多模态四足机器人人机交互系统及方法 - Google Patents

Abstract

本公开提出了一种多模态四足机器人人机交互系统及方法，包括操作员端和四足机器人端，所述操作员端设置有多个模态的操作控制单元及第一处理器模块，每个模态下的操作控制单元将相应的人机交互的操作信息传输至第一处理器模块；四足机器人端包括第二处理器模块，所述第一处理器模块与第二处理器模块之间相互通信，所述第二处理器模块接收由第一处理器模块传输来的操作信息，并控制四足机器人运动并将四足机器人的运动信息反馈至操作员端进行显示。本公开技术方案实现基于手势、语音、控制杆及可触屏的多模态四足机器人人机交互，提高了人机工效，改善操控四足机器人的用户体验，并提高了从四足机器人操控过程的可靠性。

Description

一种多模态四足机器人人机交互系统及方法

技术领域

本公开涉及机器人技术领域，特别是涉及一种多模态四足机器人人机交互系统及方法。

背景技术

四足机器人作为当前最普遍的一种仿生机器人，已经被成功应用于军事、教育和娱乐等领域。而在四足机器人作业过程中，人机交互无疑是至关重要的环节。

发明人在研究中发现，目前现有的四足机器人人机交互方式多是用遥控器通过按钮或者操纵杆进行控制。这种单一的交互方式完全占用了操作者的双手，限制了操作者的动作，人机功效低，用户体验差。

发明内容

本说明书实施方式的目的之一是提供一种多模态四足机器人人机交互系统，结合语音、手势、控制杆及可触屏等控制方法，各种功能之间彼此交互，且相对独立，根据不同的应用场景及使用条件选择不同的交互方式，能够实现更高效的人机交互。

本说明书实施方式提供一种多模态四足机器人人机交互系统，通过以下技术方案来实现：

包括操作员端和四足机器人端，所述操作员端设置有多个模态的操作控制单元及第一处理器模块，每个模态下的操作控制单元将相应的人机交互的操作信息传输至第一处理器模块；

所述第一处理器模块对不同的人机交互模块的操作信息的控制指令进行优先级判断，保留优先级高的人机交互的操作信息的控制指令；

所述四足机器人端包括第二处理器模块，所述第一处理器模块与第二处理器模块之间相互通信，所述第二处理器模块接收由第一处理器模块传输来的操作信息，并控制四足机器人运动并将四足机器人的运动信息反馈至操作员端进行显示。

通过上述技术方案，本公开实施例子能够实现多种方式下对机器人的不同操作，不占用嵌入式系统的内部资源，识别效果好且识别速度快。同时用户根据不同的应用场景及需求，进行选择及装配相应模块并实现不同的控制模式。

本说明书实施方式目的之二是提供一种多模态四足机器人人机交互方法，通过以下技术方案来实现：

模式选择，选择控制模式；

选择四足机器人的主人机交互模式；

在选定某种主交互模式对四足机器人进行控制后，人机交互系统同时接受来自不同交互模块的对应不同控制指令的数据；

根据不同控制指令所设定的优先级进行控制指令处理，在接到不同优先级的控制指令时，优先级较低的控制指令将会被屏蔽；接到相同优先级的控制指令时，主交互模式的控制指令将屏蔽其他模式的指令。

在一实施例子中，若主人机交互模式为手势控制模式，操作员端第一处理器模块接收数据手套模块的识别结果并将其作为主指令，同时接收来自其他交互模块的数据作为辅指令，第一处理器模块进行控制指令处理，比较不同主指令和辅指令的优先级，优先级低的指令将会被高优先级的指令屏蔽；相同优先级的指令，主指令将会屏蔽辅指令。

在一实施例子中，若主人机交互模式为控制杆控制模式，操作员端第一处理器模块接收控制杆数据并将其作为主指令，同时接受来自其他交互模块的数据作为辅指令，第一处理器模块进行控制指令处理，比较不同主指令和辅指令的优先级，优先级低的指令将会被高优先级的指令屏蔽；相同优先级的指令，主指令将会屏蔽辅指令。

在一实施例子中，若主人机交互模式为语音控制模式，操作员端第一处理器模块接收语音模块识别结果作为主指令，同时接受来自其他交互模块的数据作为辅指令，第一处理器模块进行控制指令处理，比较都不同主指令和辅指令的优先级，优先级低的指令将会被高优先级的指令屏蔽；相同优先级的指令，主指令将会屏蔽辅指令。

四足机器人的不同控制指令的优先级可以由操作员设置并存储在操作员端的第一处理器模块中，在四足机器人运动控制方面，通常急停等控制命令具有最高优先级，停止类指令的优先级高于移动类指令优先级。

在每种控制模式下，四足机器人的运动状态信息进行反馈并显示。

本公开实施例子中所指手势控制模式与语音控制模式，其对应控制手势和控制语音的种类或数量并不固定，可以根据实际需要在学习模式下进行添减或修改。

与现有技术相比，本公开的有益效果是：

本公开技术方案实现基于手势、语音、控制杆及可触屏的多模态四足机器人人机交互，提高了人机工效，改善操控四足机器人的用户体验，并提高了从四足机器人操控过程的可靠性。

本公开技术方案语音、手势控制模式摆脱传统的控制杆或者按键控制模式，解放用户的双手或者单手，在多任务的情境中，提供了另外附加反应的通道。

不同交互方式之间不仅仅是单独的硬件或者功能的叠加，通过来自不同交互模块的指令的区分以及优先级判定，可以实现不同模块在功能上的互补。这种方式使得人机交互系统的稳定性增强，人机功效显著提高，是真正的多模式操控。

本公开技术方案手势控制模式、语音控制模式均采用模块化的硬件识别技术，不占用嵌入式系统的内部资源，识别效果好且识别速度快。同时用户根据不同的应用场景及需求，进行选择及装配相应模块并实现不同的控制模式。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例子人机交互系统结构示意图；

图2位本公开实施例子人交互总流程图；

图3为本公开实施例子人机交互控制方法流程图；

图4为本公开实施例子人机交互语音控制流程图；

图5位本公开实施例子人机交互学习模式流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

当前语音、手势、表情等模式识别技术的发展，为四足机器人的人机交互方式提供了更多丰富的解决方案。而如何合理设计各模块之间的交互关系，实现系统的整体最优化，是本领域技术人员亟待解决的问题。

本公开实施例中各不同模块之间既可相互独立又可相互影响。在选定某种主交互模式后，操作员通过对应的交互模块可以完成四足机器人的控制。同时为了进一步提高四足机器人人机交互的功效，在选定某种交互模式对四足机器人进行控制后，来自其他交互模块的控制指令并不会完全被屏蔽。操作员端的处理器模块1可同时接受来自不同交互模块的对应不同控制指令的数据，在处理器模块1的内部可进行控制指令处理，其具体是不同的控制指令具有相应的优先级，在接到不同优先级的控制指令时，优先级较低的控制指令将会被屏蔽，接到相同优先级的控制指令时，主交互模式的控制指令将屏蔽其他模式的指令。

不同交互模块实现功能上的补充，这种交互方式使得人机交互系统的稳定性增强，人机功效显著提高。

针对目前的四足机器人的人机交互控制需要一套有效、便捷、可靠的四足机器人遥控系统，本公开实施例子公开了相应的技术方案。

实施例子一

该实施例子公开了一种多模态四足机器人人机交互系统，参见附图1所示，在该实施例子中，四足机器人人机交互系统包括操作员端和四足机器人端，在操作员端设置有多种操作模式，每种操作模式下均会将相应的操作指令通过操作员端的处理器模块发送至四足机器人端的处理器模块，四足机器人端的处理器模块在接收到相应的控制命令后控制机器人执行相应的工作，并将相应的运动信息反馈至操作员端进行显示。

在一实施例中，操作员端主要由处理器模块1、语音识别模块、数据手套模块和无线通讯模块1组成；四足机器人端主要由处理器模块2和无线通信模块2组成。处理器模块1接受并处理触摸屏、控制杆、语音模块、数据手套模块的数据信息。操作员端处理器模块1通过无线通讯模块1以及四足机器人端的无线通信模块2与四足机器人端的处理器模块实现通信，同时处理器模块1接受处理器模块2的反馈信息并通过液晶可触屏显示。

在一实施例中，处理器模块1为微程序控制器，该微控制器驱动触摸屏显示，并获得触摸屏的触点信息，同时接受控制杆、语音模块、数据手套模块的数据信息。处理器模块1根据实现设定好的应用程序将收到的数据信息进行处理，转换成相应的发送指令并通过无线通信模块1进行发送。

处理器模块2接收无线通信模块2传来的信号数据，并根据处理器模块根据事先设定的应用逻辑程序对信号数据进行处理，并转换成相应的控制四足机器人运动的控制指令，同时处理器模块2将机器人的状态信息通过无线通信模块2发送给操作员端。

在该实施例子中，通过无线通信模块1传来的数据，其中包括控制杆数据、语音识别模块数据、数据手套模块、触屏数据等对四足机器人进行控制的数据。该数据处理主要是根据四组机器人模型进行运动学及动力学解算。

在一实施例中，数据手套模块主要由数据手套、姿态传感器和处理器模块3组成。数据手套可采集手指的弯曲状态信息，姿态传感器可获得操作手的姿态信息，A/D转换器将手指弯曲信息和手掌姿态信息进行采集和数字化处理并发送给处理器模块3。处理器模块3采集数据手套和姿态传感器的信息，并通过内置算法进行提取手势特征信息进行手势识别，将识别结果发送给处理器模块1。

在具体实施例子中，该内置算法为首先进行数据滤波处理，再进行特征提取，再通过机器学习算法识别出对应控制指令的手势。信号处理的方法、特征提取的也很多，能实现手势识别的机器学习算法也不唯一，在该实施例子中并不特指某种具体算法。

在一实施例中，语音模块主要由采集麦克风、耳机和语音芯片组成。麦克风采集声音。语音芯片对声音信息进行数字化和预处理，并通过内置的算法提取语音特征信息进行语音识别，将识别结果发送给处理器模块1。语音模块的耳机进行语音识别情况的反馈。

在具体实施例子中，该内置的算法首先对语音信号进行数字化并进行特征提取，提取出的特征与语音芯片中存储的语模板库进行匹配，匹配成功的模板作为识别语音识别结果。在该实施例子中该算法并不只具体某种算法，现在能实现语音识别的算法并不唯一。

在一实施例中，无线通信模块1和无线通信模块2采用红外线、RF I D、WI-F I、Zigbee、蓝牙等方式实现。

不同主交互方式的切换采用物理按键的形式切换。整个四足机器人交互系统默认使用控制杆控制模式，用户根据需求切换不同的主交互方式实现对机器人的控制。用此人机交互系统进行四足机器人遥控控制。

当然，在具体实施时，并不局限于一定为上述三种操作的组合，也可为两两组合或者增加其他的模式进行组合。例如：控制杆与语音识别模块相结合，控制杆与数据手套模块相结合，或者语音识别模块与数据手套模块相结合等。

实施例子二

该实施例子公开了一种多模态四足机器人人机交互方法，其人交互总体流程图参见附图2所示，具体步骤如下：

进行模式选择，选择控制模式进行四足机器人运动控制或者选择学习模式进行新的四足机器人手势控制或者语音学习以添加新的手势或者语音指令。

进入控制模式，进行四足机器人运动控制其人交互系统控制方法流程图参见附图3，具体步骤如下：

初始化；

通过液晶可触屏，设置四足机器人的步高、步频、步长等基本参数，可触显示屏同时显示四足机器人端回传的状态信息。

选择不同主交互方式进行四足机器人控制：

在一实施例中，关于控制杆控制模式：

进入控制杆控制模式，处理器模块1接收控制杆发送数据信息并转换成相应的控制指令。用户通过推动和扭转控制杆控制四足机器人的移动，四足机器人运动方向与控制杆的运动方向一致，四足机器人的运动速度与控制杆的偏移角度成正比，四足机器人的转动朝向与控制杆的扭转方向一致，四足机器人的转动速度与控制杆的扭转角度成正比。将控制杆向左推动，则四足机器人向左行走，行走速度与控制杆向左摆动的幅度成正比。同理，将控制杆向右推动则四足机器人向右行走，将控制杆向前推动则四足机器人向前行走，将控制杆向后推动则四足机器人向后行走。若将控制杆沿顺时针方向扭转，则四足机器人绕自身几何中心进行顺时针方向自转，自传角速度与控制杆的扭转角度成正比；同理将控制杆沿逆时针方向旋转则四足机器人将向逆时针方向自转。上述前后、左右、顺/逆时针自转可以按任意比例叠加，如将控制杆向前向右推动，则四足机器人将向右前方移动。

处理器模块1将控制杆的控制指令通过液晶可触屏显示，同时处理器模块1通过无线通信模块1接收的四足机器人反馈的运动速度、方向等状态信息，并通过液晶可触屏进行显示。

在一实施例中，关于手势控制模式：

进入手势控制模式时，处理器模块1首先检测数据手套模块各部分连接是否正常，当数据手套模块各部分存在连接异常，则无法实现不同交换模式的切换，处理器模块1将发出停止指令。当检测到数据手套模块连接正常时，则继续进行下面的判断：

处理器模块1读取数据手套模块的手势识别结果，判断操作手是否处于握拳状态，当操作手不处于握拳状态时，交互模式无法切换到手势控制模式，处理器模块1发出停止指令；当操作手处于握拳状态时，切换到手势控制模式，并进行下述判断：

处理器模块1根据接收到的数据手套模块的识别结果判断操作手的手势并发送控制指令：当操作手食指与中指伸直其余手指蜷缩，手面水平时，处理器模块1发出前进指令；当操作手竖五指伸直且手面向上时，处理器模块1发出后退指令；当操作手食指与中指伸直其余手指蜷缩，手面竖直向左摆动时，处理器模块1发出向左前进指令；当操作手食指与中指伸直，其余手指蜷缩，手面竖直向右摆动时，处理器模块1发出向右前进指令；当操作手除拇指外四指伸直，手面竖直且向左摆动时，处理器模块1发出向原地左转指令；当操作手除拇指外四指伸直，手面竖直且向右摆动时，处理器模块1发出原地右转指令；当操作手五指蜷缩且手面水平时，处理器模块1发出站立指令。

不同手势对应控制指令是设置并存储在操作员端处理器模块1中的，可以根据具体应用场景和不同操作员进行重新设置和存储，也就实现了手势并不对应单一控制命令。

处理器模块1将数据手套模块的控制指令通过液晶可触屏显示，同时处理器模块1通过无线通信模块1接收四足机器人反馈的运动速度、方向等状态信息，并通过液晶可触屏进行显示。

若操作手的手势未在给定的手势中或未能被正确识别出，处理器模块1将按照上一次识别出的手势发出指令，即四足机器人将保持现有的运动状态。

在具体实施例子中，操作手势可以增加，通过学习模式添加新的手势并设置其对应的控制指令即可。

在一实施例中，关于语音控制模式：

语音控制流程参见附图4所示。进入语音控制模式，处理器模块1首先检测语音模块各部分连接是否正常，当语音模块部分存在连接异常时，则无法实现不同交换模式的切换，处理器模块1将发出停止指令。当检测到语音模块各部分连接正常时，语音模块进行初始化，处理器模块1通过语音模块的耳机反馈“语音识别开始”，并继续进行下面的判断：

用户通过麦克风向语音模块发送语音指令，语音模块识别语音指令并将识别结果发送至处理器模块1，处理器模块1根据接收到语音模块的信息判断用户的语音指令并发出四足机器人控制指令：当用户输入“前进”指令并被语音模块正确识别时，处理器模块1将发出前进指令；当用户输入“后退”指令并被语音模块正确识别时，处理器模块1将发出后退指令；当用户输入“向左前进”指令并被语音模块正确识别时，处理器模块1将发出向左前进指令；当用户输入“向右前进”指令并被语音模块正确识别时，处理器模块1将发出向右前进指令；当用户输入“左转”指令并被语音模块正确识别时，处理器模块1将发出左转指令；当用户输入“右转”指令并被语音模块正确识别时，处理器模块1将发出右转指令；当用户输入“站立”指令并被语音模块正确识别时，处理器模块1将发出站立指令。

语音模块识别出用户的语音指令的同时，将通过耳机向用户反馈识别出的语音指令。处理器模块1将语音模块识的识别结果通过液晶可触屏显示，同时处理器模块1通过无线通信模块1接收四足机器人反馈的运动速度、方向等状态信息，并通过液晶可触屏进行显示。

语音指令被相应处理后整个系统将进入循环识别等待，即处理器模块1按照已经识别出的指令不断发送控制指令，四足机器人将保持现有的运动状态。

若用户的语音指令未被语音模块识别出，处理器模块1将按照上一次识别出的语音指令发出控制指令，即四足机器人将保持现有的运动状态。

在具体实施例子中，通过学习模式增加新的语音指令并设置其对应的控制指令即可。

实施例子三

该实施例子公开了一种多模态四足机器人人机交互方法，其人交互总体流程图参见附图2所示，具体步骤如下：

进行模式选择，选择控制模式进行四足机器人运动控制或者选择学习模式进行新的四足机器人手势控制或者语音学习以添加新的手势或者语音指令。

进入学习模式，为四足机器人多模式交互方式增加新控制手势或者新语音指令其学习模式流程图参见附图5，具体步骤如下：

选择手势学习模式或者语音学习模式，进行新的操作手势的训练或者新的语音指令的训练，其具体是：

进入手势学习模式，操作手做出相应控制手势，操作手多次做出该手势，数据手套模块在此过程中通过机器学习算法学习该手势模板。操作手再次做出该手势进行手势识别率检测，若手势识别率高于一定阈值，数据手套模块存储该手势模板。

新手势模板生成后，操作员可设置该手势对应的控制指令。

语音学习模式的流程与手势学习模式类似，不再赘述。

可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种多模态四足机器人人机交互系统，其特征是，包括操作员端和四足机器人端，所述操作员端设置有多个模态的操作控制单元及第一处理器模块，每个模态下的操作控制单元将相应的人机交互的操作信息传输至第一处理器模块；

所述第一处理器模块对不同的人机交互模块的操作信息的控制指令进行优先级判断，保留优先级高的人机交互的操作信息的控制指令；

所述四足机器人端包括第二处理器模块，所述第一处理器模块与第二处理器模块之间相互通信，所述第二处理器模块接收由第一处理器模块传输来的操作信息，并控制四足机器人运动并将四足机器人的运动信息反馈至操作员端进行显示。

2.如权利要求1所述的一种多模态四足机器人人机交互系统，其特征是，模态的操作控制单元为控制杆、语音模块和/或数据手套模块；

操作员端的第一处理器模块中设置并存储有不同控制指令的优先级，在四足机器人运动控制方面，急停控制命令具有最高优先级，停止类指令的优先级高于移动类指令优先级。

3.如权利要求2所述的一种多模态四足机器人人机交互系统，其特征是，所述数据手套模块包括数据手套、姿态传感器、A/D转换器和第三处理器模块，数据手套采集操作手的手指的弯曲状态信息，姿态传感器获得操作手的姿态信息，A/D转换器将手指弯曲信息和手掌姿态信息进行采集和数字化处理并发送给第三处理器模块，第三处理器模块采集数据手套和姿态传感器的信息，并通过内置算法进行提取手势特征信息进行手势识别，将识别结果发送给第一处理器模块。

4.如权利要求2所述的一种多模态四足机器人人机交互系统，其特征是，所述语音模块包括采集麦克风、耳机和语音芯片，麦克风采集声音，语音芯片对声音信息进行数字化和预处理，并通过内置的算法提取语音特征信息进行语音识别，将识别结果发送给第一处理器模块，语音模块的耳机进行语音识别情况的反馈。

5.基于权利要求1-4任一所述的多模态四足机器人人机交互系统的人机交互方法，其特征是，包括：

模式选择，选择控制模式；

选择四足机器人的主人机交互模式；

在选定主人机交互模式对四足机器人进行控制后，第一处理器模块同时接受来自不同交互模块的对应不同控制指令的数据；

第一处理器模块根据不同控制指令所设定的优先级进行控制指令处理，在接到不同优先级的控制指令时，优先级较低的控制指令将会被屏蔽，接到相同优先级的控制指令时，主交互模式的控制指令将屏蔽其他模式的指令。

6.如权利要求5所述的所述的多模态四足机器人人机交互系统的人机交互方法，其特征是，若主人机交互模式为手势控制模式，操作员端第一处理器模块接收数据手套模块的识别结果并将其作为主指令，同时接收来自其他交互模块的数据作为辅指令，第一处理器模块进行控制指令处理，比较不同主指令和辅指令的优先级，优先级低的指令将会被高优先级的指令屏蔽；相同优先级的指令，主指令将会屏蔽辅指令；

若主人机交互模式为控制杆控制模式，操作员端第一处理器模块接收数控制杆数据并将其作为主指令，同时接受来自其他交互模块的数据作为辅指令，第一处理器模块进行控制指令处理，比较不同主指令和辅指令的优先级，优先级低的指令将会被高优先级的指令屏蔽；相同优先级的指令，主指令将会屏蔽辅指令；

若主人机交互模式为语音控制模式，操作员端第一处理器模块接收语音模块识别结果作为主指令，同时接受来自其他交互模块的数据作为辅指令，第一处理器模块进行控制指令处理，比较都不同主指令和辅指令的优先级，优先级低的指令将会被高优先级的指令屏蔽；相同优先级的指令，主指令将会屏蔽辅指令。

7.如权利要求5所述的所述的多模态四足机器人人机交互系统的人机交互方法，其特征是，模式选择，选择四足机器人的学习模式时，选择手势学习模式或者语音学习模式，进行新的操作手势的训练或者新的语音指令的训练，生成该手势模板或语音模板，设置该手势或语音对应的控制指令。

8.基于权利要求5所述的一种多模态四足机器人人机交互方法，其特征是，控制杆控制模式下，四足机器人运动方向与控制杆的运动方向一致，四足机器人的运动速度与控制杆的偏移角度成正比，四足机器人的转动朝向与控制杆的扭转方向一致，四足机器人的转动速度与控制杆的扭转角度成正比。

9.基于权利要求5所述的一种多模态四足机器人人机交互方法，其特征是，进入手势控制模式时，首先检测数据手套模块各部分连接是否正常，当数据手套模块各部分存在连接异常，则无法实现不同交换模式的切换，停止；

当检测到数据手套模块连接正常时，则读取数据手套模块的手势识别结果，判断操作手是否处于握拳状态，当操作手不处于握拳状态时，交互模式无法切换到手势控制模式，停止；当操作手处于握拳状态时，切换到手势控制模式；

若操作手的手势未在给定的手势中或未能被正确识别出，将按照上一次识别出的手势发出指令，即四足机器人将保持现有的运动状态。

10.基于权利要求5所述的一种多模态四足机器人人机交互方法，其特征是，语音控制模式下，首先检测语音模块各部分连接是否正常，当语音模块部分存在连接异常时，则无法实现不同交换模式的切换，停止，当检测到语音模块各部分连接正常时，语音模块进行初始化，通过语音模块的耳机反馈“语音识别开始”；

若用户的语音指令未被语音模块识别出，将按照上一次识别出的语音指令发出控制指令，即四足机器人将保持现有的运动状态。