CN117666797A - 基于拇指相对位置识别的隔空手势输入方法和装置 - Google Patents

Abstract

本发明公开了一种基于拇指相对位置识别的隔空手势输入方法，所述隔空手势输入方法包括：获取第一手部图像；辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置；根据预先建立的手部的拇指尖搭在手部的其他手指指节上的位置与一虚拟矩阵键盘中某一按键被点击的第一映射关系，执行与所述虚拟矩阵键盘中被点击按键相关的指令。本发明隔空通过手势输入复杂的文字内容，从而让智能设备完全摆脱键盘鼠标的束缚，同时本发明将手部的手指指节上的位置与虚拟矩阵键盘上按键的键位准确的对应起来，因此，用户无需记忆繁琐的手势动作，看到手部就如同看到键盘，能立马做出其需要的指令对应的手势，用户的使用体验大大的提高。

Description

基于拇指相对位置识别的隔空手势输入方法和装置

技术领域

本发明涉及手势输入技术领域。更具体地说，本发明涉及一种基于拇指相对位置识别的隔空手势输入方法和装置。

背景技术

当前在人工智能领域，人和机器的交流已经开始渐渐脱离传统的键盘，在现有技术下，主要的输入方式是语音，在不用语音的情况下，也发展出了一些手势的交互能力，比如某些手机实现了基于手势的上翻、下翻页等功能，然后也可以通过AI识别手指伸出的数量来确定基本的数字。但是在聋哑人应用或一些需要静音的场景，需要有新的人机交互输入法。给机器下达更为丰富的指令，但是现有技术下无法解决通过手势来隔空输入英文、甚至是汉字的难题。

发明内容

本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种基于拇指相对位置识别的隔空手势输入方法和装置，解决了当前人机交互的过程中，在需要静音和有聋哑人使用需求的特殊场景下，隔空通过手势输入复杂的文字内容，从而让智能设备完全摆脱键盘鼠标的束缚。

为了实现根据本发明的这些目的和其它优点，提供了一种基于拇指相对位置识别的隔空手势输入方法，所述隔空手势输入方法包括：

S1、获取第一手部图像；

S2、辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置；

S3、根据预先建立的手部的拇指尖搭在手部的其他手指指节上的位置与一虚拟矩阵键盘中某一按键被点击的第一映射关系，执行与所述虚拟矩阵键盘中被点击按键相关的指令。

优选的是，与所述虚拟矩阵键盘中被点击按键相关的指令为：于一显示画面中输入预设内容的信息。

优选的是，与所述虚拟矩阵键盘中被点击按键相关的指令为：遥控一设备的某一功能。

优选的是，所述虚拟矩阵键盘中的至少一按键关联输入法中的字母，被关联字母至少有一个。

优选的是，所述虚拟矩阵键盘中被点击按键为关联输入法中的字母的按键时，与所述虚拟矩阵键盘中被点击按键相关的指令为：于一显示画面中显示与所述虚拟矩阵键盘被点击按键关联的至少一个字母作为待选信息。

优选的是，所述虚拟矩阵键盘中被点击按键为关联输入法中的字母的按键时，与所述虚拟矩阵键盘中被点击按键相关的指令为：于一显示画面中显示声母或韵母包含与所述虚拟矩阵键盘中被点击按键关联的至少一个字母的汉字作为待选信息。

优选的是，所述虚拟矩阵键盘中的至少一按键关联输入法中的笔画，被关联笔画至少有一个。

优选的是，所述虚拟矩阵键盘中被点击按键为关联输入法中的笔画的按键时，与所述虚拟矩阵键盘中被点击按键相关的指令为：于一显示画面中显示汉字结构中包含与所述虚拟矩阵键盘中被点击按键关联的至少一个笔画的汉字作为待选信息。

优选的是，获取第一手部图像时，获取至少一帧具有时序的第一手部图像，按所述时序对每一帧第一手部图像执行S2～S3，当对最后一帧第一手部图像执行S2～S3后，所述待选信息为单词或短语或句子。

优选的是，所述隔空手势输入方法还包括：

获取第二手部图像；

辨识第二手部图像中的手势；

根据预先建立的所述手势与数字的第二映射关系，于所述待选信息中选择排序与所述数字对应的待选信息，且将该待选信息输入所述显示画面中。

优选的是，所述虚拟矩阵键盘为九宫格键盘。

优选的是，所述第一映射关系包括：所述手部的拇指尖搭在所述手部的食指的三指节、中指的三指节、无名指的三指节分别对应于九宫格键盘中的上三格按键、中三格按键、下三格按键分别被点击，其中至少一项对应关系。

优选的是，获取第一手部图像前，所述虚拟矩阵键盘预先显示于所述显示画面中，所述虚拟矩阵键盘的每一按键框内显示有数字和/或字母和/或笔画。

优选的是，所述第二映射关系包括：1～9的中国数字手势分别对应于数字1～9，其中至少一项对应关系。

优选的是，采用OpenCV+mediapipe实现辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置和/或第二手部图像中的手势。

优选的是，采用凸包检测算法实现辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置。

本发明还提供一种基于拇指相对位置识别的隔空手势输入装置，所述隔空手势输入装置包括：

图像获取模块，其用于获取第一手部图像；

辨识模块，其用于辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置；

执行模块，其用于根据预先建立的手部的拇指尖搭在手部的其他手指指节上的位置与一虚拟矩阵键盘中某一按键被点击的第一映射关系，执行与所述虚拟矩阵键盘中被点击按键相关的指令。

本发明还提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述的隔空手势输入方法。

本发明还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现上述的隔空手势输入方法。

本发明至少包括以下有益效果：本发明通过将手部的拇指尖搭在手部的其他手指指节上的位置与虚拟矩阵键盘中某一按键被点击动作之间建立第一映射关系，用户只需将手指掐出相应的手势就能触发所述虚拟矩阵键盘中某一按键被点击，从而执行与所述虚拟矩阵键盘中被点击按键相关的指令。由于手部的拇指尖搭在手部的其他手指指节上的位置与虚拟矩阵键盘上按键的键位能够比较好的对应起来，因此，用户无需记忆繁琐的手势动作，看到手部就如同看到键盘，能立马做出其需要的指令对应的手势，用户的使用体验能大大的提高。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明实施例所述隔空手势输入方法的流程图；

图2为本发明实施例所述使用OpenCV+mediapipe技术识别手部的21个关键点的示意图；

图3为本发明实施例所述使用OpenCV+mediapipe技术识别手部的拇指尖搭在手部的其他手指指节上的位置的示意图；

图4为本发明实施例所述使用凸包检测算法识别手部的拇指尖搭在手部的其他手指指节上的位置的示意图；

图5为本发明实施例所述手部的拇指尖搭和手部的其他手指指节的位置的示意图；

图6为本发明实施例所述手部的其他手指指节与九宫格键盘的按键对应关系的示意图；

图7为本发明实施例所述采用隔空手势输入方法输入汉字时的显示画面示意图；

图8为本发明实施例所述采用隔空手势输入装置的结构示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

需要说明的是，下述实施方案中所述实验方法，如无特殊说明，均为常规方法，所述试剂和材料，如无特殊说明，均可从商业途径获得；在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1所示，本发明一实施例提供一种所述基于拇指相对位置识别的隔空手势输入方法，所述包括隔空手势输入方法：

S1、获取第一手部图像；

具体地，获取的第一手部图像可以是一帧，也可以是多帧。获取第一手部图像的设备可以摄像头或者集成于移动终端或固定终端上的摄像模块，但不以此为限。

S2、辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置；

具体地，辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置可使用OpenCV+mediapipe技术；

OpenCV是一个跨平台的计算机视觉库，它提供了许多用于图像和视频处理的功能，包括图像和视频的读取、预处理、特征提取、特征匹配、目标检测等。OpenCV是C++编写的，也提供了Python、Java等语言的接口，可方便地在不同平台上使用。

Mediapipe使用了图形数据流编程模型，可以快速地构建出复杂的机器学习应用程序。使用Mediapipe，开发人员可以构建跨平台的机器学习应用程序，包括移动应用、Web应用和桌面应用。Mediapipe还提供了多种语言的接口，包括C++、Python和Java等、可以方便地与其他应用程序进行集成。

使用OpenCV+mediapipe技术时，先于移动终端或者固定终端上安装OpenCV和mediapipe。Mediapipe中的Mediapipe hand tracking模型可以精准地检测手部的21个关键点，如图2所示，以上21个关键点描述了手部的节本形状和姿态。然后对以上21个关键点进行识别追踪，再根据手部关键点的坐标位置，来判断第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置，比如：如图3所示，以图像左下角为坐标原点，以向右为x轴正向，向上为y轴正向建立平面坐标系，拇指上的关键点4的y坐标大于中指上的关键点12的y坐标，小于食指上的关键点8的y坐标，因此拇指出现在中指上，接着通过拇指上的关键点4出现在各个手指上的x坐标区间，判断拇指指尖按在了哪个位置上，图3中，拇指上的关键点4的x坐标大于中指上的关键点11的x坐标，小于中指上的关键点10的x坐标，因此认为拇指按在了中指的第二关节处，以此类推。

另外，辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置还可采用还可以采用凸包检测算法；

如图4所示，采用凸包检测算法对第一手部图像中各个手指进行检查，如果发现某个手指有凸起，则认为拇指压在了对应手指上，再根据凸起的位置，判断拇指压在哪个指节上。

当然，辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置的方法还有多种，本申请不以上述列举的两种为限。

S3、根据预先建立的手部的拇指尖搭在手部的其他手指指节上的位置与一虚拟矩阵键盘中某一按键被点击的第一映射关系，执行与所述虚拟矩阵键盘中被点击按键相关的指令。

具体地，所述虚拟矩阵键盘是指按键排布类似于矩阵的虚拟键盘，所述虚拟键盘可以是移动终端或固定终端上的软键盘。当用户熟悉虚拟键盘上各个按键对应的指令时，用户可以进行不看键盘的盲打输入，因此，所述虚拟键盘可以显示于一显示设备的显示画面上，也可以不显示在显示设备的显示画面上。

由于一只手的手部的拇指尖搭在手部的其他手指指节上的位置共有12种手势，如图5所示。因此对应于单手的所述虚拟矩阵键盘可以设置12个键位，这样能够与手势相对应(当使用两只手时，所述虚拟矩阵键盘可以设置24个键位)。当然也可以不设置如此多的手势和键位。比如：仅设置手部的拇指尖分别搭在手部的食指指节的三种手势，虚拟矩阵键盘采用1行3个按键的排布方式；或者设置手部的拇指尖分别搭在手部的食指指节和中指指节的六种手势，虚拟矩阵键盘采用2行，每行3个键盘的排布方式；又或者设置手部的拇指尖分别搭在手部的食指指节、中指指节和无名指指节的九种手势，虚拟矩阵键盘采用3行，每行3个键盘的九宫格排布方式等等，如图6所示。

通过将手部的拇指尖搭在手部的其他手指指节上的位置与虚拟矩阵键盘中某一按键被点击动作之间建立第一映射关系，用户只需将手指掐出相应的手势就能触发所述虚拟矩阵键盘中某一按键被点击，从而执行与所述虚拟矩阵键盘中被点击按键相关的指令。

上述实施例中，由于手部的拇指尖搭在手部的其他手指指节上的位置与虚拟矩阵键盘上按键的键位能够比较好的对应起来，因此，用户无需记忆繁琐的手势动作，看到手部就如同看到键盘，能立马做出其需要的指令对应的手势，用户的使用体验能大大的提高。解决了当前人机交互的过程中，在需要静音和聋哑人特殊场景的情况下，隔空通过手势输入复杂的文字内容，从而让智能设备完全摆脱键盘鼠标的束缚。

以下将列举数个应用实施例来说明本发明的技术特征。

第一应用实施例，当用户欲以手部的拇指尖搭在手部的其他手指指节上的位置来实现预设内容的信息输入时，用户手部进入用于获取第一手部图像的设备的采集图像范围，并将手部的拇指尖搭在手部的另一手指的一指节上，该手势对应所述虚拟矩阵键盘上关联预设内容的信息的按键被点击。此时用于获取第一手部图像的设备获取用户的第一手部图像，并识别出其中的手势，从而触发所述虚拟矩阵键盘上对应按键被点击，进而在一显示画面中输入预设内容的信息。

另外，若预设内容的信息与所述虚拟矩阵键盘上的多个按键共同关联，还可以重复将手部的拇指尖搭在手部的其他手指指节上，从而演示出多个手势，该多个手势对应所述虚拟矩阵键盘上共同关联预设内容的信息的多个按键依次被点击。此时用于获取第一手部图像的设备获取用户的多帧第一手部图像，并依次识别出其中的手势，从而触发所述虚拟矩阵键盘上对应按键被依次点击，进而在一显示画面中输入预设内容的信息。

这里所述预设内容的信息可以是数字或者单词或者短语或者句子。

上述实施例可以用于日常用语、报警信息或求救信息的输入，无需演示过多手势就能在较短时间内完成固定信息的输入。同时，由于固定信息只与所述虚拟矩阵键盘上为数不多的按键关联，用户便于记忆，因此，完全不用将虚拟矩阵键盘显示于显示画面，用户可以直接比划手势就能完成信息输入，使用起来较为简单快捷。

第二应用实施例，当用户欲以手部的拇指尖搭在手部的其他手指指节上的位置来实现遥控一设备的某一功能时，用户手部进入用于获取第一手部图像的设备的采集图像范围，并将手部的拇指尖搭在手部的另一手指的一指节上，该手势对应所述虚拟矩阵键盘上关联遥控一设备的某一功能的按键被点击。此时用于获取第一手部图像的设备获取用户的第一手部图像，并识别出其中的手势，从而触发所述虚拟矩阵键盘上对应按键被点击，进而控制所述设备执行所述某一功能。

这里所述设备可以是家用电器，比如电视，电视常用的功能按键有频道加减按键、音量加减按键，若采用九宫格的虚拟矩阵键盘，通过将电视的频道加减按键功能关联到虚拟矩阵键盘上的上三格的中间按键、下三格的中间按键，将音量加减按键功能关联到虚拟矩阵键盘上的中三格的第一按键和第三按键，用户只需将手部的拇指尖搭在食指的中间指节，即可实现遥控电视前翻更换频道，用户只需将手部的拇指尖搭在无名指的中间指节，即可实现遥控电视后翻更换频道，用户只需将手部的拇指尖搭在中指的第一指节，即可实现遥控电视增大音量，用户只需将手部的拇指尖搭在无名指的第三指节，即可实现遥控电视减小音量。

上述实施例中，由于遥控一设备的某一功能只与所述虚拟矩阵键盘上为数不多的按键关联，又虚拟矩阵键盘关联功能的按键布局与设备遥控器上常用按键布局接近，因此，完全不用将虚拟矩阵键盘显示于显示画面，用户可以直接比划手势就能完成指令输入，使用起来较为简单便捷。

第三应用实施例，当用户欲以手部的拇指尖搭在手部的其他手指指节上的位置来实现字母输入时，用户手部进入用于获取第一手部图像的设备的采集图像范围，并将手部的拇指尖搭在手部的另一手指的一指节上，该手势对应所述虚拟矩阵键盘上关联输入法中的字母的按键被点击，该按键关联至少一个字母。此时用于获取第一手部图像的设备获取用户的第一手部图像，并识别出其中的手势，从而触发所述虚拟矩阵键盘上对应按键被点击，进而在一显示画面中显示与所述虚拟矩阵键盘被点击按键关联的至少一个字母作为待选信息。接着用户手部继续比划预先与数字建立第二映射关系的手势，此时用于获取第二手部图像的设备获取用户的第二手部图像，并识别出其中的手势，根据手势对应的数字，进而在所述显示画面中选择排序与所述数字对应的待选信息且将该待选信息输入所述显示画面中。

这里获取第二手部图像的设备可以与获取第一手部图像的设备相同。辨识所述第二手部图像中的手势也可使用OpenCV+mediapipe技术。当然，辨识所述第二手部图像中的手势的方法还有多种，本申请不以上述列举的为限。后述实施例与本实施例相同。

这里预先与数字建立第二映射关系的手势可采用分别对应1～9的中国数字手势。当然也可以继续采用将手部的拇指尖搭在手部的其他手指指节上的手势，比如将手部的拇指尖搭在手部的食指三指节、中指三三指节、无名字三指节时分别对应1～9，只是此种选择手势在输入单一字母时能够使用，当一次输入多个字母时，输入手势与选择手势重合容易产生错误。

例如，所述虚拟矩阵键盘为九宫格键盘时，所述虚拟矩阵键盘的上三格的中间按键关联输入法中的字母A、B、C，当用户想输入字母B时，先将手部的拇指尖搭在手部的食指中间指节上，此时所述显示画面中显示的待选信息有A、B、C，接着再将手部的食指和中指伸出比划2或再将手部的拇指尖搭在手部的食指中间指节，则在显示画面中输出B。

第四应用实施例，当用户欲以手部的拇指尖搭在手部的其他手指指节上的位置来实现英文单词或短语或句子输入时，用户手部进入用于获取第一手部图像的设备的采集图像范围，并重复将手部的拇指尖搭在手部的其他手指指节上，从而演示出多个手势，多个手势对应所述虚拟矩阵键盘上关联输入法中的字母的多个按键依次被点击，被点击的每一按键关联至少一个字母。此时用于获取第一手部图像的设备获取多帧用户的第一手部图像，并识别出其中的多个手势，从而触发所述虚拟矩阵键盘上对应按键依次被点击，进而在一显示画面中显示包含每一被点击按键关联的至少一个字母的单词或短语或句子作为待选信息。接着用户手部继续比划预先与数字建立第二映射关系的手势，此时用于获取第二手部图像的设备获取用户的第二手部图像，并识别出其中的手势，根据手势对应的数字，进而在所述显示画面中选择排序与所述数字对应的待选信息，且将该待选信息输入所述显示画面中。

这里预先与数字建立第二映射关系的手势可采用分别对应1～9的中国数字手势。后述实施例与本实施例相同。

例如，所述虚拟矩阵键盘为九宫格键盘时，所述虚拟矩阵键盘的上三格的第三按键关联输入法中的字母D、E、F，中三格的第一按键关联输入法中的字母G、H、I，中三格的第二按键关联输入法中的字母J、K、L，中三格的第三按键关联输入法中的字母M、N、O，当用户想输入单词hello时，将手部的拇指尖依次搭在中指第一指节上、食指第三指节上、中指第二指节上两次、中指第三指节上，此时所述显示画面中显示hello、HelloKitty等等待选信息，接着再将手部的食指伸出比划1，则在显示画面中输出hello。

第五应用实施例，如图7所示，当用户欲以手部的拇指尖搭在手部的其他手指指节上的位置来实现拼音输入法输入汉字时，用户手部进入用于获取第一手部图像的设备的采集图像范围，并将手部的拇指尖搭在手部的另一手指的一指节上，该手势对应所述虚拟矩阵键盘上关联输入法中的字母的按键被点击，该按键关联至少一个字母。此时用于获取第一手部图像的设备获取用户的第一手部图像，并识别出其中的手势，从而触发所述虚拟矩阵键盘上对应按键被点击，进而在一显示画面中显示声母或韵母包含与所述虚拟矩阵键盘中被点击按键关联的至少一个字母的汉字作为待选信息。接着用户手部继续比划预先与数字建立第二映射关系的手势，此时用于获取第二手部图像的设备获取用户的第二手部图像，并识别出其中的手势，根据手势对应的数字，进而在所述显示画面中选择排序与所述数字对应的待选信息且将该待选信息输入所述显示画面中。

例如，所述虚拟矩阵键盘为九宫格键盘时，所述虚拟矩阵键盘的中三格的第三按键关联输入法中的字母M、N、O，当用户想输入汉字“你”时，将手部的拇指尖搭在中指第三指节上，此时所述显示画面中显示“哦，你，噢，么”等等待选信息，接着再将手部的食指伸出比划2，则在显示画面中输出“你”。当然为了更准确的输入汉字，也可参见下面的应用实施例。

第六应用实施例，当用户欲以手部的拇指尖搭在手部的其他手指指节上的位置来实现汉语单词或短语或句子输入时，用户手部进入用于获取第一手部图像的设备的采集图像范围，并重复将手部的拇指尖搭在手部的其他手指指节上，从而演示出多个手势，多个手势对应所述虚拟矩阵键盘上关联输入法中的字母的多个按键依次被点击，被点击的每一按键关联至少一个字母。此时用于获取第一手部图像的设备获取多帧用户的第一手部图像，并识别出其中的多个手势，从而触发所述虚拟矩阵键盘上对应按键依次被点击，进而在一显示画面中显示包含每一被点击按键关联的至少一个字母的单字或单词或短语或句子作为待选信息。接着用户手部继续比划预先与数字建立第二映射关系的手势，此时用于获取第二手部图像的设备获取用户的第二手部图像，并识别出其中的手势，根据手势对应的数字，进而在所述显示画面中选择排序与所述数字对应的待选信息且将该待选信息输入所述显示画面中。这里汉语单词可以是单个汉字和/或多个汉字组成的词组。

例如，所述虚拟矩阵键盘为九宫格键盘时，所述虚拟矩阵键盘的上三格的第一按键关联输入法中的字母A、B、C，中三格的第一按键关联输入法中的字母G、H、I，中三格的第三按键关联输入法中的字母M、N、O，当用户想更准确的输入汉字“你”时，可以采用全拼手势，将手部的拇指尖依次搭在中指第三指节上和中指第一指节上，此时所述显示画面中显示“你，米，迷，尼”等等待选信息，接着再将手部的食指伸出比划1，则在显示画面中输入汉字“你”。当用户想输入单词“你好”时，将手部的拇指尖依次搭在中指第三指节上、中指第一指节上两次，此时所述显示画面中已显示“迷惑，你好，你还”等等待选信息，接着再将手部的食指伸出比划2，则在显示画面中输入汉字“你好”。当然为了更准确的输入单词，用户也可以采用全拼手势。当用户想输入短语或者句子时，整个过程与输入单词的基本一致。

第七应用实施例，当用户欲以手部的拇指尖搭在手部的其他手指指节上的位置来实现笔画输入法输入汉字时，用户手部进入用于获取第一手部图像的设备的采集图像范围，并将手部的拇指尖搭在手部的另一手指的一指节上，该手势对应所述虚拟矩阵键盘上关联输入法中的笔画的按键被点击，该按键关联至少一个笔画。此时用于获取第一手部图像的设备获取用户的第一手部图像，并识别出其中的手势，从而触发所述虚拟矩阵键盘上对应按键被点击，进而在一显示画面中显示汉字结构中包含与所述虚拟矩阵键盘中被点击按键关联的至少一个笔画的汉字作为待选信息。接着用户手部继续比划预先与数字建立第二映射关系的手势，此时用于获取第二手部图像的设备获取用户的第二手部图像，并识别出其中的手势，根据手势对应的数字，进而在所述显示画面中选择排序与所述数字对应的待选信息且将该待选信息输入所述显示画面中。

例如，所述虚拟矩阵键盘为九宫格键盘时，所述虚拟矩阵键盘的上三格的第三按键关联输入法中的笔画“丿”，当用户想输入汉字“你”时，将手部的拇指尖搭在中指第三指节上，此时所述显示画面中显示“我，的，你，他”等等待选信息，接着再将手部的食指伸出比划3，则在显示画面中输出“你”。当然为了更准确的输入汉字，也可参见下面的应用实施例。

第八应用实施例，当用户欲以手部的拇指尖搭在手部的其他手指指节上的位置来实现更准确的输入汉字时，用户手部进入用于获取第一手部图像的设备的采集图像范围，并重复将手部的拇指尖搭在手部的其他手指指节上，从而演示出多个手势，多个手势对应所述虚拟矩阵键盘上关联输入法中的笔画的多个按键依次被点击，被点击的每一按键关联至少一个笔画。此时用于获取第一手部图像的设备获取多帧用户的第一手部图像，并识别出其中的多个手势，从而触发所述虚拟矩阵键盘上对应按键依次被点击，进而在一显示画面中显示包含每一被点击按键关联的至少一个笔画的汉语单词作为待选信息。接着用户手部继续比划预先与数字建立第二映射关系的手势，此时用于获取第二手部图像的设备获取用户的第二手部图像，并识别出其中的手势，根据手势对应的数字，进而在所述显示画面中选择排序与所述数字对应的待选信息且将该待选信息输入所述显示画面中。

当用户欲以手部的拇指尖搭在手部的其他手指指节上的位置来实现单词或短语或句子输入时，可以重复上述汉字输入过程，直至单词或短语或句子完成输入。

例如，所述虚拟矩阵键盘为九宫格键盘时，所述虚拟矩阵键盘的上三格按键分别关联输入法中的笔画“一”、“丨”、“丿”，中三格的第一、二按键分别关联输入法中的笔画“丶”、“乛”，当用户想更准确的输入汉字“你”时，可以采用全笔画手势。当用户想输入单词“你好”时，可以先按第七或第八应用实施例的方法输入“你”，再按第七或第八应用实施例的方法输入“好”。当用户想输入短语或者句子时，整个过程与输入单词的基本一致。

上述实施例中，较优的方案是，所述虚拟矩阵键盘为九宫格键盘，由于手部食指、中指、无名指的指节能与九宫格键盘准确的对应上，因此，用户比划手势进行输入的过程与采用九宫格键盘输入的过程极为相似，这样能最大程度的适应用户的输入习惯，提高用户的使用体验。

上述实施例中，较优的方案是，所述第一映射关系包括：所述手部的拇指尖搭在所述手部的食指的三指节、中指的三指节、无名指的三指节分别对应于九宫格键盘中的上三格按键、中三格按键、下三格按键分别被点击，其中至少一项对应关系。比如，在第一应用实施例中，只要有一项对应关系，即可完成预设内容的信息输入；在第二应用实施例中，可以采用四项对应关系，完成遥控一设备的某一功能；在第三至第七应用实施例中，可以采用九项对应关系，完成英语或汉语的输入。

上述实施例中，较优的方案是，获取第一手部图像前，所述虚拟矩阵键盘预先显示于所述显示画面中，所述虚拟矩阵键盘的每一按键框内显示有数字和/或字母和/或笔画，这样用户通过显示画面可以直观的看到虚拟矩阵键盘的按键关联的信息，无需记忆，用户采用手势输入时更加便捷。

上述实施例中，较优的方案是，所述第二映射关系包括：1～9的中国数字手势分别对应于数字1～9，其中至少一项对应关系。由于1～9的中国数字手势国人较为熟悉，因此使用起来更为顺畅，同时，第二映射关系中采用的选择手势与第一映射关系中采用的输入手势不同，不会产生识别错误。

基于同一发明构思，本发明还提供一种基于拇指相对位置识别的隔空手势输入装置，所述隔空手势输入装置可以是个人计算机、服务器，或者其他实现前述基于拇指相对位置识别的隔空手势输入方法的装置。

请参见图8所示，本实施例提供的基于拇指相对位置识别的隔空手势输入装置包括：

图像获取模块，其用于获取第一手部图像；

辨识模块，其用于辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置；

执行模块，其用于根据预先建立的手部的拇指尖搭在手部的其他手指指节上的位置与一虚拟矩阵键盘中某一按键被点击的第一映射关系，执行与所述虚拟矩阵键盘中被点击按键相关的指令。

在另一实施例中，所述隔空手势输入装置还包括：

显示模块，其用于显示输入的预设内容的信息，和/或被选择的待选信息，和/或虚拟矩阵键盘。

前述的基于拇指相对位置识别的隔空手势输入方法的实施例涉及的各步骤的所有相关内容均可以援引到本申请实施例中的隔空手势输入装置所对应的功能模块的功能描述，在此不再赘述。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

本发明提供的系统实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或者多条通信总线或信号线。

本发明还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述的隔空手势输入方法。该电子设备可以为包括手机、笔记本电脑、台式电脑、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备。

本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述的隔空手势输入方法。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (17)

1.一种基于拇指相对位置识别的隔空手势输入方法，其特征在于，所述隔空手势输入方法包括：

S1、获取第一手部图像；

S2、辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置；

S3、根据预先建立的手部的拇指尖搭在手部的其他手指指节上的位置与一虚拟矩阵键盘中某一按键被点击的第一映射关系，执行与所述虚拟矩阵键盘中被点击按键相关的指令。

2.如权利要求1所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，与所述虚拟矩阵键盘中被点击按键相关的指令为：于一显示画面中输入预设内容的信息。

3.如权利要求1所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，与所述虚拟矩阵键盘中被点击按键相关的指令为：遥控一设备的某一功能。

4.如权利要求1所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，所述虚拟矩阵键盘中的至少一按键关联输入法中的字母，被关联字母至少有一个。

5.如权利要求4所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，所述虚拟矩阵键盘中被点击按键为关联输入法中的字母的按键时，与所述虚拟矩阵键盘中被点击按键相关的指令为：于一显示画面中显示与所述虚拟矩阵键盘被点击按键关联的至少一个字母作为待选信息。

6.如权利要求4所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，所述虚拟矩阵键盘中被点击按键为关联输入法中的字母的按键时，与所述虚拟矩阵键盘中被点击按键相关的指令为：于一显示画面中显示声母或韵母包含与所述虚拟矩阵键盘中被点击按键关联的至少一个字母的汉字作为待选信息。

7.如权利要求1所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，所述虚拟矩阵键盘中的至少一按键关联输入法中的笔画，被关联笔画至少有一个。

8.如权利要求7所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，所述虚拟矩阵键盘中被点击按键为关联输入法中的笔画的按键时，与所述虚拟矩阵键盘中被点击按键相关的指令为：于一显示画面中显示汉字结构中包含与所述虚拟矩阵键盘中被点击按键关联的至少一个笔画的汉字作为待选信息。

9.如权利要求5、6、8中任一项所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，获取第一手部图像时，获取至少一帧具有时序的第一手部图像，按所述时序对每一帧第一手部图像执行S2～S3，当对最后一帧第一手部图像执行S2～S3后，所述待选信息为单词或短语或句子。

10.如权利要求9所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，所述隔空手势输入方法还包括：

获取第二手部图像；

辨识第二手部图像中的手势；

根据预先建立的所述手势与数字的第二映射关系，于所述待选信息中选择排序与所述数字对应的待选信息，且将该待选信息输入所述显示画面中。

11.如权利要求1所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，所述虚拟矩阵键盘为九宫格键盘。

12.如权利要求11所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，所述第一映射关系包括：所述手部的拇指尖搭在所述手部的食指的三指节、中指的三指节、无名指的三指节分别对应于九宫格键盘中的上三格按键、中三格按键、下三格按键分别被点击，其中至少一项对应关系。

13.如权利要求2或10所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，获取第一手部图像前，所述虚拟矩阵键盘预先显示于所述显示画面中，所述虚拟矩阵键盘的每一按键框内显示有数字和/或字母和/或笔画。

14.如权利要求10所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，所述第二映射关系包括：1～9的中国数字手势分别对应于数字1～9，其中至少一项对应关系。

15.如权利要求10所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，采用OpenCV+mediapipe实现辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置和/或第二手部图像中的手势。

16.如权利要求10所述的基于拇指相对位置识别的隔空手势输入方法，其特征在于，采用凸包检测算法实现辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置。

17.一种基于拇指相对位置识别的隔空手势输入装置，其特征在于，所述隔空手势输入装置包括：

图像获取模块，其用于获取第一手部图像；

辨识模块，其用于辨识所述第一手部图像中手部的拇指尖搭在手部的其他手指指节上的位置；

执行模块，其用于根据预先建立的手部的拇指尖搭在手部的其他手指指节上的位置与一虚拟矩阵键盘中某一按键被点击的第一映射关系，执行与所述虚拟矩阵键盘中被点击按键相关的指令。