CN109283999A - 一种手势交互方法以及交互系统 - Google Patents

Abstract

本发明公开了一种手势交互方法以及交互系统，涉及一种手势识别技术领域，解决了现有技术中有部分设备上难以安装触摸屏或难以根据用户手势操作设备的各种功能的问题，其技术方案要点是：手势交互方法包括以下步骤：S1：通过手势采集设备采集手势的运动轨迹数据；S2：根据所述运动轨迹数据识别出所述手势的手部关节位置信息；S3：根据所述手部关节位置信息在预设时间内的停留情况或移动情况触发识别为对应的触发手势以在交互界面实现交互操作，其中，所述手势在所述手势采集设备的采集范围内，本发明的一种手势交互方法以及交互系统，能够根据用户的手势实现对不同终端设备的用户界面进行操控，方便了用户对终端设备的用户界面操控。

Description

一种手势交互方法以及交互系统

技术领域

本发明涉及一种手势识别技术领域，尤其涉及一种手势交互方法以及交互系统。

背景技术

目前，支持触摸输入法已成为很多设备的基本能力。例如，智能手机、IPAD、ATM等设备支持触摸输入法，用户能够方便地使用手指通过触摸动作操作设备的各种功能。设备支持触摸输入法，需要具备两个条件，一个是获得用户手势的空间位置，一个是获得用户手势的动作。

现有技术中，智能手机、IPAD、ATM等设备上均安装有触摸屏，上述设备能够通过触摸屏从用户的触摸动作中获得用户手势的空间位置和动作，根据用户手势操作设备的各种功能。

然而现有技术中，也有部分设备上难以安装触摸屏，或安装触摸屏的代价太高而不安装触摸屏，例如电视等设备，导致设备难以获得用户手势的空间位置和动作，难以根据用户手势操作设备的各种功能，还有改进的空间。

发明内容

本发明的目的一是提供一种手势交互方法，能够根据用户的手势实现对不同终端设备的用户界面进行操控，方便了用户对终端设备的用户界面操控。

一种手势交互方法，包括以下步骤：

S1：通过手势采集设备采集手势的运动轨迹数据；

S2：根据所述运动轨迹数据识别出所述手势的手部关节位置信息；

S3：根据所述手部关节位置信息在预设时间内的停留情况或移动情况触发识别为对应的触发手势以在交互界面实现交互操作，其中，所述手势在所述手势采集设备的采集范围内。

采用上述方案，运动轨迹数据的采集有利于获取手势的手部关节位置信息，而通过手势的手部关节位置信息以及具体到手部关节位置信息的停留情况或移动情况，获取相应手势所代表的指令，并且在交互界面根据所传递的指令进行相应的交互操作，从而提高了用户对终端设备的用户界面操控的便捷性。

作为优选，S1所提到的手势采集设备套装在某一手掌中的任意一个手指位置处，S2所提到的手部关节位置信息为同一手掌除手势采集设备所套装手指外其余手指的关节坐标。

采用上述方案，通过将手势采集设备套装在一个手掌中，并且通过在一个手势采集设备对一个手掌中其余手部关节所形成手势的采集，由于在一个手掌，所以手势采集设备对手势的采集较为方便，间接提高了手势采集设备的采集效率和采集的准确率。

作为优选，S3具体包括：

S3.1：手势采集设备实时抓取手势图像并传送至交互界面所在终端设备；

S3.2：交互界面所在终端设备通过对抓取的手势图像进行分割，并提取其中的手势特征；

S3.3：调取交互界面所在终端设备的手势特征数据库中的手势特征，与所提取的手势特征进行比对，将比对一致的手势特征所代表的指令传送至交互界面所在终端设备中以实现交互界面的交互操作。

采用上述方案，通过手势图像的采集、手势图像的分隔，以及对手势特征的采集，有效实现了对手势信息的采集，并且结合手势特征数据库和手势信息的比对，从而判断手势所代表的指令，并进行正确的操作。

本发明的目的二是提供一种手势交互系统，能够根据用户的手势实现对不同终端设备的用户界面进行操控，方便了用户对终端设备的用户界面操控。

一种手势交互装置，包括：

手势采集模块，用于通过手势采集设备采集手势的运动轨迹数据；

位置计算模块，根据所述运动轨迹数据识别出所述手势的手部关节位置信息；

手势识别模块，用于根据所述手部关节位置信息在预设时间内的停留情况或移动情况触发识别为对应的触发手势以在交互界面实现交互操作，其中，所述手势在所述手势采集设备的采集范围内。

采用上述方案，通过手势采集模块可以采集手势的运动轨迹数据，而位置计算模块可以基于运动轨迹数据识别出手部关节位置信息，而手势识别模块的设置可以基于手部关节位置信息获取相应手势所代表的指令，并且在交互界面进行具体指令的操控。

作为优选，手势交互装置还包括设置于终端设备以供用户自定义不同手势特征所代表指令的自定义输入模块。

采用上述方案，自定义输入模块的设置有利于使用人员根据个人的习惯需要调节不同手势所代表的指令，从而使所设置的手势和指令的对应更符合相应人的行为习惯。

作为优选，手势交互装置还包括中央处理器、语音识别模块，以及，存储有语音与对应指令的指令语音数据库；

手势采集设备实时采集手势图像并传送至交互界面所在终端设备，与此同时中央处理器控制语音识别模块同步识别用户所发送的语音，并与调取于指令语音数据库中的语音进行一一比对，将比对一致的语音在指令语音数据库中所匹配的指令，作为在终端设备的交互界面实现交互操作的交互操作指令。

采用上述方案，减少了人为输入到自定义输入模块的过程，通过指令语音数据库、以及语音识别模块可以有效获取相应的语音指令，通过语音指令和具体手势的一一匹配，提高了用户自定义输入的效率。

作为优选，手势交互装置还包括存储有通过自定义输入模块对手势所代表指令更换次数的自定义输入指令更换次数数据库、以及存储有通过语音方式对手势所代表指令更换次数的语音更换次数数据库，以及，基于用户需求进行指令更改模式切换的切换模块；

若中央处理器调取于自定义输入指令更换次数数据库的更换次数超过调取于语音更换次数数据库的更换次数，则中央处理器默认自定义输入模块为默认更换模式；反之，中央处理器默认语音输入模式为默认更换模式。

采用上述技术方案，通过中央处理器、自定义输入指令更换次数数据库、

语音更换次数数据库的设置可以有效分析出具体是手动输入比较多还是语音输入比较多，并基于次数的比较结果来选择默认的模式，再者而言，通过切换模块的设置可以方便用户在需要的时候进行具体模式的选择。

作为优选，手势交互装置还包括语音提示模块、存储有近期手势以及手势所对应指令变更的近期变更手势数据库；

若中央处理器以手势采集设备所采集的手势在近期变更手势数据库查询到的时候，交互界面所在终端设备通过控制语音提示模块提示变更完成的指令。

采用上述方案，结合近期变更手势特征数据库的设置、以及语音提示模块的设置可以在手势输出至交互界面所在终端设备的时候尤其是该手势所代表的指令近期发生变化的情况，通过语音提示模块的提示，帮助用户再次确认手势所代表的指令，以避免手势所代表的指令出现问题。

作为优选，手势交互装置还包括存储有手势以及对应手势指令变更次数的手势指令变更次数数据库；

中央处理器调取手势指令变更次数数据库中每个手势所对应指令的更换次数，并依据手势对应的更换次数由多至少对手势在自定义输入模块处由上至下进行排序。

采用上述方案，通过手势指令变更次数数据库、中央处理器的设置可以基于手势的变更次数对手势进行智能化的排序，从而方便了用户有更大的概率看到需要修改的手势并进行第一时间的指令修改。

作为优选，手势交互装置还包括近期手势以及手势指令变更次数的手势指令近期变更次数数据库；

若中央处理器通过手势指令近期变更次数数据库所获取的手势对应的更换次数相同的时候，中央处理器通过更换次数相同的手势于手势指令近期变更次数数据库中调取近期手势指令变更次数由多至少，对更换次数相同的手势在自定义输入模块处由上至下进行再次排序。

采用上述方案，通过手势指令近期变更次数数据库、中央处理器的设置可以在在出现总的变更次数相同的时候，更加侧重近期发生变化较多的手势进一步进行合理的排序，提高用户进行合理修改手势指令的概率。

综上所述，本发明具有以下有益效果：通过自定义输入模块、指令语音数据库、中央处理器的设置方便用户根据实际需要对手势的指令进行手动操作或进行语音操作，以改变手势所代表的指令。

附图说明

图1为一种手势交互方法整体框架图；

图2为一种手势操控用户界面步骤S3的具体框架图；

图3为一种手势交互系统的逻辑框图一；

图4为一种手势交互系统的逻辑框图二；

图5为一种手势交互系统的逻辑框图三；

图6为一种手势交互方法中的一种具体指令方式；

图7为图6指令中具体指令方式的一种九宫格组合方式。

附图标记：1、自定义输入模块；2、语音识别模块；3、指令语音数据库；4、语音提示模块；5、近期变更手势数据库；6、手势变更指令次数数据库；7、中央处理器；8、手势采集模块；9、位置计算模块；10、手势识别模块；11、自定义输入指令更换次数数据库；12、语音更换次数数据库；13、切换模块；14、手势指令近期变更次数数据库。

具体实施方式

以下结合附图对本发明作进一步详细说明。

如图1所示，一种手势交互方法，包括以下步骤：S1：通过手势采集设备采集手势的运动轨迹数据；S2：根据所述运动轨迹数据识别出所述手势的手部关节位置信息；S3：根据所述手部关节位置信息在预设时间内的停留情况或移动情况触发识别为对应的触发手势以在终端设备所在交互界面实现交互操作，其中，所述手势在所述手势采集设备的采集范围内。

其中，S1所提到的手势采集设备套装在某一手掌中的任意一个手指位置处，手势采集设备与终端设备之间优选通过蓝牙连接，手势采集设备优选红外线摄像头，也可以采用其他满足手部关节数量要求以及数据精度的采集设备，其中如采用红外摄像头，优选Realsense，通过其内置的传感器和红外线感应器，可以检测用户手指关节的动作情况，而S2所提到的手部关节位置信息为同一手掌除手势采集设备所套装手指外其余手指的关节坐标。

如图2所示，S3具体包括：S3.1：手势采集设备实时抓取手势图像并传送至交互界面所在终端设备，其中交互界面所在终端可以为手机、电脑等等终端设备；S3.2：交互界面所在终端设备通过对抓取的手势图像进行分割，并提取其中的手势特征；S3.3：调取交互界面所在终端设备的手势特征数据库中的手势特征，与所提取的手势特征进行比对，将比对一致的手势特征所代表的指令传送至交互界面所在终端设备中以实现交互界面的交互操作。

依据以上方法，举例来说，将手势采集设备套装在拇指位置处，那么手势采集设备所针对的其余手指就是食指、中指、无名指、小指，其中在食指、中指、无名指、小指的预设置，另外，假定食指的上中下关节所代表的数字依次为1、2、3，中指的上中下关节所代表的数字依次为4、5、6，无名指所代表的数字依次为7、8、9，小指的上中下关节所代表的数字依次为10、11、12，具体如图6所示。

除了以上的输入方法，还可以对关节的组合使用定义为相应的指令，例如，其中食指、中指、以及小指所代表的数字分别依次设置可以形成九宫格(如图7所示），在初步设置时，依次划过1、2、3时食指的动作所代表的指令为删除，中指在4或6的动作代表空格，中指在数字5的动作代表鼠标中ENTER的作用，而小指在11位置的动作代表大小写切换指令，小指在10位置的动作代表计算模式。

除了以上的单手输入方式，在实际操作过程中，还可以在双手的拇指位置处均套装手势采集设备，通过两只手拇指位置处的手势采集设备来分别采集两只手的手势，类似于键盘输入的方式，可以对双手的手势组合分别匹配不同字母的输入，从而实现类似于键盘输入字的目的，

以上仅仅为几种使用模式，具体操作使用并不局限于上述方式，可由用户自由设置。

上面对本申请实施例的手势交互方法进行了描述，以下对本申请实施例中的手势交互系统进行具体描述。

如图3所示，一种手势交互系统，包括用于通过手势采集设备采集手势的运动轨迹数据的手势采集模块8、根据所述运动轨迹数据识别出所述手势的手部关节位置信息的位置计算模块9、用于根据所述手部关节位置信息在预设时间内的停留情况或移动情况触发识别为对应的触发手势以在交互界面实现交互操作的手势识别模块10，其中，所述手势在所述手势采集设备的采集范围内。

如图4所示，以上为手势和指令的识别分析过程，由于每个人的输入习惯不同，手势交互系统还包括设置于终端设备以供用户自定义不同手势特征所代表指令的自定义输入模块1，自定义输入模块1的输入方式此处优选遥控输入方式。

进一步的，为方便一些不方便遥控输入更改手势指令的人对手势所对应的指令进行修改，手势交互系统还包括中央处理器7、语音识别模块2，以及，存储有语音与对应指令的指令语音数据库3；手势采集设备实时采集手势图像并传送至交互界面所在终端设备，与此同时中央处理器7控制语音识别模块2同步识别用户所发送的语音，并与调取于指令语音数据库3中的语音进行一一比对，将比对一致的语音在指令语音数据库3中所匹配的指令，作为在终端设备的交互界面实现交互操作的交互操作指令。

进一步的，为基于用户的使用习惯对输入模式进行智能化的安排，手势交互系统还包括存储有通过自定义输入模块1对手势所代表指令更换次数的自定义输入指令更换次数数据库11、以及存储有通过语音方式对手势所代表指令更换次数的语音更换次数数据库12，以及，基于用户需求进行指令更改模式切换的切换模块13；若中央处理器7调取于自定义输入指令更换次数数据库11的更换次数超过调取于语音更换次数数据库12的更换次数，则中央处理器7默认自定义输入模块1为默认更换模式；反之，中央处理器7默认语音输入模式为默认更换模式。

如图5所示，同时为避免在最近手势变更的时候，用户由于个人的习惯出现遗忘的现象，手势交互系统还包括语音提示模块4、存储有近期手势以及手势所对应指令变更的近期变更手势数据库5；若中央处理器7以手势采集设备所采集的手势在近期变更手势数据库5查询到的时候，交互界面所在终端设备通过控制语音提示模块4提示变更完成的指令。

如图5所示，进一步的，为保证自定义输入模块1处的手势排序较为合理，以便于用户在操控的时候能够根据实际变更的次数进行变化，手势交互系统还包括存储有手势以及对应手势指令变更次数的手势指令变更次数数据库6；中央处理器7调取手势指令变更次数数据库6中每个手势所对应指令的更换次数，并依据手势对应的更换次数由多至少对手势在自定义输入模块1处由上至下进行排序。

此外，为避免出现总体到达手势所代表的指令的更换次数相同的情况发生，手势交互系统还包括近期手势以及手势指令变更次数的手势指令近期变更次数数据库14；中央处理器7通过更换次数相同的手势于手势指令近期变更次数数据库14中调取近期手势指令变更次数由多至少，对更换次数相同的手势在自定义输入模块1处由上至下进行再次排序。

整体的过程如下：

通过手势采集设备对手势的采集，并与手势特征数据库中的手势进行比对，若出现比对一致的情况，则将对应手势所代表的指令在交互界面处进行操作。

而且为方便用户根据个人需要对手势所对应的指令进行修改，通过自定义输入模块1可以更改手势所代表的指令，用户亦可以通过指令语音数据库3、指令语音数据库3以语音的方式对手势所对应的指令进行更改，另外为保持自定义输入模块1所需要更改的指令能够在更改的时候更加切合于用户的实际需求，通过手势指令变更次数数据库6、以及中央处理器7的设置可以将自定义输入模块1切换成相应排序情况。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (10)

1.一种手势交互方法，其特征是，包括以下步骤：

S1：通过手势采集设备采集手势的运动轨迹数据；

S2：根据所述运动轨迹数据识别出所述手势的手部关节位置信息；

S3：根据所述手部关节位置信息在预设时间内的停留情况或移动情况触发识别为对应的触发手势以在终端设备的交互界面实现交互操作，其中，所述手势在所述手势采集设备的采集范围内。

2.根据权利要求1所述的一种手势交互方法，其特征是，S1所提到的手势采集设备套装在某一手掌中的任意一个手指位置处，S2所提到的手部关节位置信息为同一手掌除手势采集设备所套装手指外其余手指的关节坐标。

3.根据权利要求1所述的一种手势交互方法，其特征是，S3具体包括：

S3.1：手势采集设备实时抓取手势图像并传送至交互界面所在终端设备；

S3.2：交互界面所在终端设备对抓取的手势图像进行分割，并提取其中的手势特征；

S3.3：调取交互界面所在终端设备的手势特征数据库中的手势特征，与所提取的手势特征进行比对，将比对一致的手势特征所代表的指令传送至交互界面所在终端设备中以实现交互界面的交互操作。

4.一种手势交互系统，其特征在于，包括：

手势采集模块（8），用于通过手势采集设备采集手势的运动轨迹数据；

位置计算模块（9），根据所述运动轨迹数据识别出所述手势的手部关节位置信息；

手势识别模块（10），用于根据所述手部关节位置信息在预设时间内的停留情况或移动情况触发识别为对应的触发手势以在交互界面实现交互操作，其中，所述手势在所述手势采集设备的采集范围内。

5.根据权利要求4所述的一种手势交互系统，其特征是：手势交互系统还包括设置于终端设备以供用户自定义不同手势特征所代表指令的自定义输入模块（1）。

6.根据权利要求5所述的一种手势交互系统，其特征是：手势交互系统还包括中央处理器（7）、语音识别模块（2），以及，存储有语音与对应指令的指令语音数据库（3）；

手势采集设备实时采集手势图像并传送至交互界面所在终端设备，与此同时中央处理器（7）控制语音识别模块（2）同步识别用户所发送的语音，并与调取于指令语音数据库（3）中的语音进行一一比对，将比对一致的语音在指令语音数据库（3）中所匹配的指令，作为在终端设备的交互界面实现交互操作的交互操作指令。

7.根据权利要求6所述的一种手势交互系统，其特征是：手势交互系统还包括存储有通过自定义输入模块（1）对手势所代表指令更换次数的自定义输入指令更换次数数据库（11）、以及存储有通过语音方式对手势所代表指令更换次数的语音更换次数数据库（12），以及，基于用户需求进行指令更改模式切换的切换模块（13）；

若中央处理器（7）调取于自定义输入指令更换次数数据库（11）的更换次数超过调取于语音更换次数数据库（12）的更换次数，则中央处理器（7）默认自定义输入模块（1）为默认更换模式；反之，中央处理器（7）默认语音输入模式为默认更换模式。

8.根据权利要求6所述的一种手势交互系统，其特征是：手势交互系统还包括语音提示模块（4）、存储有近期手势以及手势所对应指令变更的近期变更手势数据库（5）；

若中央处理器（7）以手势采集设备所采集的手势在近期变更手势数据库（5）查询到的时候，中央处理器（7）控制语音提示模块（4）提示变更完成的指令。

9.根据权利要求8所述的一种手势交互系统，其特征是：手势交互系统还包括存储有手势以及对应手势指令变更次数的手势指令近期变更次数数据库（6）；

中央处理器（7）调取手势指令变更次数数据库（6）中每个手势所对应指令的更换次数，并依据手势对应的更换次数由多至少对手势在自定义输入模块（1）处由上至下进行排序。

10.根据权利要求9所述的一种手势交互系统，其特征是：手势交互系统还包括近期手势以及手势指令变更次数的手势指令近期变更次数数据库（14）；

若中央处理器（7）通过手势指令近期变更次数数据库（14）所获取的手势对应的更换次数相同的时候，中央处理器（7）通过更换次数相同的手势于手势指令近期变更次数数据库（14）中调取近期手势指令变更次数由多至少，对更换次数相同的手势在自定义输入模块（1）处由上至下进行再次排序。