CN109410940A - 一种基于显控台的人机交互方法及系统 - Google Patents

Abstract

本发明涉及一种基于显控台的人机交互方法及系统，所述方法包括如下步骤：获取用户的语音信息和手势信息；对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令；根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令；比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令；根据所述最终控制指令控制显控台执行对应的动作。本发明的技术方案能够提高人机交互的便捷性和安全性。

Description

一种基于显控台的人机交互方法及系统

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于显控台的人机交互方法及系统。

背景技术

显控台作为军用、交通等领域的电子装备信息平台，采用计算机信息处理技术、显示技术、触控技术和人机交互技术等，用于完成设备电源管理、图像显示和操作控制，可实现相关场景的态势显示、图形标绘、方案推演、动作捕捉和动态数据展示，具有人机交互性强、模块化程度高、舒适度好等优势，在军用、交通等领域的指挥控制系统中发挥重要作用。现有的显控台大多通过显示器、键盘、鼠标或触摸屏完成人机交互。但是，一方面，需要借助键盘、鼠标等辅助设备，人机交互不够便捷；另一方面，只需通过点击等输入就能实现控制，交互过程不够安全，存在安全隐患。

发明内容

针对上述现有技术的不足，本发明提供一种基于显控台的人机交互方法及系统。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供了一种基于显控台的人机交互方法，所述方法包括如下步骤：

获取用户的语音信息和手势信息。

对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令。

根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令。

比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令。

根据所述最终控制指令控制显控台执行对应的动作。

第二方面，本发明提供了一种基于显控台的人机交互系统，其特征在于，包括：

获取模块，获取用户的语音信息和手势信息。

语音识别模块，对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令。

手势匹配模块，根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令。

比对模块，比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令。

控制模块，根据所述最终控制指令控制显控台执行对应的动作。

本发明的基于显控台的人机交互系统及方法的有益效果是：获取用户的语音信息和手势信息，可通过不同的通道输入用户的语音信息和手势信息，能够避免信息冲突，对语音信息进行语音识别，确定用户的意图，获得与该语音信息对应的第一控制指令，并根据手势信息确定用户的手势，将手势与数据库中的手势模板进行匹配，能够快速确定与该手势信息对应的第二控制指令。比对第一控制指令和第二控制指令，当第一控制指令与第二控制指令相同时，确定第一控制指令为最终控制指令，当第一控制指令与第二控制指令不同时，可提示用户重新输入语音信息和手势信息，根据最终控制指令就可控制显控台执行对应的动作。本发明中通过语音和手势进行交互，不需另外设置辅助设备，简单便捷，并且将语音信息对应的第一控制指令和手势信息对应的第二控制指令进行对比，只有两个控制指令相同时，确定最终控制指令，能够有效保证交互过程中的安全。

附图说明

图1为本发明实施例提供的一种基于显控台的人机交互方法的流程示意图；

图2为本发明实施例提供的一种基于显控台的人机交互系统的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例提供的一种基于显控台的人机交互方法，所述方法包括如下步骤：

S110，获取用户的语音信息和手势信息。

S120，对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令。

S130，根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令。

S140，比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令。

S150，根据所述最终控制指令控制显控台执行对应的动作。

本实施例中，获取用户的语音信息和手势信息，可通过不同的通道输入用户的语音信息和手势信息，能够避免信息冲突，对语音信息进行语音识别，确定用户的意图，获得与该语音信息对应的第一控制指令，并根据手势信息确定用户的手势，将手势与数据库中的手势模板进行匹配，能够快速确定与该手势信息对应的第二控制指令。比对第一控制指令和第二控制指令，当第一控制指令与第二控制指令相同时，确定第一控制指令为最终控制指令，当第一控制指令与第二控制指令不同时，可提示用户重新输入语音信息和手势信息，根据最终控制指令就可控制显控台执行对应的动作。本发明中通过语音和手势进行交互，不需另外设置辅助设备，简单便捷，并且将语音信息对应的第一控制指令和手势信息对应的第二控制指令进行对比，只有两个控制指令相同时，确定最终控制指令，能够有效保证交互过程中的安全。

优选地，通过语音通道输入用户的语音信息，并通过手势通道输入用户的手势信息。

具体地，通过不同的通道输入用户的语音信息和手势信息，能够避免信息冲突，对语音信息和手势信息进行分开处理。

优选地，根据需要选择语音通道或者手势通道，当选择其中一路通道输入对应的信息时，关闭另一路通道，确定输入的信息对应的控制指令为最终控制指令。

具体地，当需要加快交互速度，减少交互步骤时，可根据需要选择对应的通道，并关闭另一路通道，通过选择的通道输入对应的信息，确定该信息对应的控制指令，该控制指令即为最终控制指令。能够在需要时，提高交互速度，实现快速控制。

优选地，所述对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令具体包括如下步骤：

对所述语音信息进行滤波和分帧，获得预处理后的语音信息。

基于线性预测倒谱系数，对所述预处理后的语音信息进行特征提取，获得特征向量。

根据所述数据库中预先存储的声学模型和语言模型对所述特征向量进行解码，获得所述第一控制指令。

具体地，首先对语音信息进行预处理，切除语音信息首端和尾端的静音部分，能够避免静音部分对后续步骤造成干扰，并对切除后的语音信息进行声音分帧，切割成多段，相邻帧之间部分重叠。通过对语音帧信息进行预加重、分帧、加窗、自相关分析，而后提取出线性预测倒谱系数，对语音帧信息分析处理，能够去除对语音识别无关紧要的冗余信息，便于后续识别解码。在声学模型中根据声学特征计算每个特征向量在声学特征上的分值，而语言模型中根据语言学的相关理论，计算出该语音信息对应可能的词组序列的概率，根据数据库中的字典，对词组序列进行解码，得到对应的文本信息，进而确定第一控制指令，具体解码过程为现有技术，此处不再赘述。其中，声学模型是通过对大量语音数据进行训练获得的，语言模型是对大量文本信息进行训练获得的。

优选地，其特征在于，所述根据所述手势信息确定手势的具体实现为：

每间隔标定时间提取所述手势信息中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。

具体地，可通过Leap Motion体感控制器获取用户的手势信息，每一帧都包括对应时刻用户手的位置，根据手部坐标的相对位置和方向向量确定手势，例如：获取的手部数据中只有一只手的数据时，后面关键帧中的手部坐标与前面关键帧中的手部坐标相比，只有一个方向轴上的坐标发生改变时，则手做平移运动，如Z轴上的坐标发生改变时，则手做上下平移移动，方向向量为正，则向上平移，方向向量为负，则向下平移。若有两只手的数据时，若后一关键帧中两只手的相对位置相对于前一关键帧中的相对位置更接近时，则两只手靠近，反之，为两只手远离。

优选地，所述根据比对结果确定最终控制指令的具体实现为：

当所述第一控制指令与所述第二控制指令相同时，确定所述最终控制指令，所述最终控制指令为所述第一控制指令。

具体地，只有当第一控制指令与第二控制指令为同一指令时，确定第一控制指令为最终控制指令，能够提高交互过程的安全，用户只有在说出正确的语音信息并摆出正确的手势时，才能控制显控台执行对应的动作，当用户只说出正确的语音信息或只摆出正确的手势时，显控台无动作，实现语音信息和手势信息的相互验证，从而保证交互过程的安全。

优选地，所述根据比对结果确定最终控制指令还包括如下步骤：

当所述第一控制指令与所述第二控制指令不同时，提示用户重新输入语音信息和手势信息。

具体地，当用户只说出正确的语音信息或只摆出正确的手势时，显控台无动作，提示用户重新输入语音信息和手势信息，便于用户及时更改语音和手势动作，实现人机交互。

如图2所示，本发明实施例提供的一种基于显控台的人机交互系统，包括：

获取模块，获取用户的语音信息和手势信息。

语音识别模块，对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令。

手势匹配模块，根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令。

比对模块，比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令。

控制模块，根据所述最终控制指令控制显控台执行对应的动作。

优选地，所述语音识别模块具体用于：

对所述语音信息进行滤波和分帧，获得预处理后的语音信息。

基于线性预测倒谱系数，对所述预处理后的语音信息进行特征提取，获得特征向量。

根据所述数据库中预先存储的声学模型和语言模型对所述特征向量进行解码，获得所述第一控制指令。

优选地，所述手势匹配模块具体用于：

每间隔标定时间提取所述手势信息中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。

优选地，所述比对模块具体用于：

比对所述第一控制指令和所述第二控制指令，当所述第一控制指令与所述第二控制指令相同时，确定所述最终控制指令，所述最终控制指令为所述第一控制指令。

优选地，所述比对模块具体还用于：

当所述第一控制指令与所述第二控制指令不同时，提示用户重新输入语音信息和手势信息。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于显控台的人机交互方法，其特征在于，所述方法包括如下步骤：

获取用户的语音信息和手势信息；

对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令；

根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令；

比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令；

根据所述最终控制指令控制显控台执行对应的动作。

2.根据权利要求1所述的基于显控台的人机交互方法，其特征在于，所述对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令具体包括如下步骤：

对所述语音信息进行滤波和分帧，获得处理后的语音信息；

基于线性预测倒谱系数，对所述处理后的语音信息进行特征提取，获得特征向量；

根据所述数据库中预先存储的声学模型和语言模型对所述特征向量进行解码，获得所述第一控制指令。

3.根据权利要求1所述的基于显控台的人机交互方法，其特征在于，所述根据所述手势信息确定手势的具体实现为：

每间隔标定时间提取所述手势信息中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。

4.根据权利要求1至3任一项所述的基于显控台的人机交互方法，其特征在于，所述根据比对结果确定最终控制指令的具体实现为：

当所述第一控制指令与所述第二控制指令相同时，确定所述最终控制指令，所述最终控制指令为所述第一控制指令。

5.根据权利要求4所述的基于显控台的人机交互方法，其特征在于，所述根据比对结果确定最终控制指令还包括如下步骤：

当所述第一控制指令与所述第二控制指令不同时，提示用户重新输入所述语音信息和所述手势信息。

6.一种基于显控台的人机交互系统，其特征在于，包括：

获取模块，获取用户的语音信息和手势信息；

语音识别模块，对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令；

手势匹配模块，根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令；

比对模块，对比所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令；

控制模块，根据所述最终控制指令控制显控台执行对应的动作。

7.根据权利要求6所述的基于显控台的人机交互系统，其特征在于，所述语音识别模块具体用于：

对所述语音信息进行滤波和分帧，获得处理后的语音信息；

基于线性预测倒谱系数，对所述处理后的语音信息进行特征提取，获得特征向量；

根据所述数据库中预先存储的声学模型和语言模型对所述特征向量进行解码，获得所述第一控制指令。

8.根据权利要求6所述的基于显控台的人机交互系统，其特征在于，所述手势匹配模块具体用于：

每间隔标定时间提取所述手势信息中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。

9.根据权利要求6至8任一项所述的基于显控台的人机交互系统，其特征在于，所述比对模块具体用于：

比对所述第一控制指令和所述第二控制指令，当所述第一控制指令与所述第二控制指令相同时，确定所述最终控制指令，所述最终控制指令为所述第一控制指令。

10.根据权利要求9所述的基于显控台的人机交互系统，其特征在于，所述比对模块具体还用于：

当所述第一控制指令与所述第二控制指令不同时，提示用户重新输入所述语音信息和所述手势信息。