CN117148967A - 一种基于手势的人机交互的方法、介质及电子设备 - Google Patents

Abstract

本申请实施例提供一种基于手势的人机交互的方法、介质及电子设备，所述方法包括：响应于监测到的预位手势，进入预位状态并提供预位状态提示信息；响应于监测到的至少一次触发手势，在从所述预位状态切换得到的触发状态下执行与所述至少一次触发手势对应的至少一次指令。本申请的实施例通过重新设计交互逻辑，在手势交互的不同阶段都引入了反馈，明显提升了人机功效，从而避免误触发和盲区遮挡问题，同时也让重复发指令的过程更加自然而准确。

Description

一种基于手势的人机交互的方法、介质及电子设备

技术领域

本申请涉及人机交互领域，具体而言本申请实施例涉及一种基于手势的人机交互的方法、介质及电子设备。

背景技术

电脑、手机、车辆、增强现实(AR，Augmented Reality)/虚拟现实(VR，VirtualReality)等设备中使用手势进行人机交互时，现有技术通常会基于人手的朝向、关键点坐标、以及骨骼间的角度来识别不同的手势。当使用者做出的手势符合提前设定的限制条件，或在符合限制条件的基础上保持一段时间后，就视为使用者向设备发出了手势所对应的指令。

本申请的发明人在研究中发现相关技术方案至少存在以下缺点：

第一，容易误触发：当使用者不想给设备发送手势指令时，日常正常的抓握物品或是对他人进行手势表达时，也会触发手势识别算法，导致设备违背使用者本意执行操作。

第二，难以快速准确地重复发出指令：一方面当使用者想要仅下达一次手势指令时，设备有可能误认为使用者下达了多次指令；另一方面当使用者确实需要重复多次发出同一指令时，所需的手势动作繁琐且费时。

发明内容

本申请实施例的目的在于提供一种基于手势的人机交互的方法、介质及电子设备，本申请的实施例通过重新设计交互逻辑，在手势交互的不同阶段都引入了反馈，明显提升了人机功效，从而避免误触发问题，同时也让重复发指令的过程更加自然而准确。

第一方面，本申请实施例提供一种基于手势的人机交互的方法，所述方法包括：响应于监测到的预位手势，进入预位状态并提供预位状态提示信息；响应于监测到的至少一次触发手势，在从所述预位状态切换得到的触发状态下执行与所述至少一次触发手势对应的至少一次指令。

本申请的一些实施例设置预位状态和触发状态两种状态，在触发状态下才能通过触发手势执行指令，且在进入预位状态时通过监测预位手势给出预位状态提示信息以向用户提示可以执行触发手势进行人机交互，从而避免直接通过监测手势执行指令造成的误触发，因此与相关技术相比可以有效减少误触发事件的发生概率，同时也让重复发指令的过程更加自然而准确。

在一些实施例中，所述方法还包括：处在所述预位状态时，若监测到预位状态撤销事件则从所述预位状态切换到空闲状态，其中，所述预位状态撤销事件包括：将作出所述预位手势的手收回至图像采集范围之外，或者监测到当前手势调整为除所述预位手势和所述触发手势对应手势之外的手势。

本申请的一些实施例在处于预位状态时会实时监测是否发生了撤销预位状态的事件，可以有效补救预位状态被错误触发的事件。

在一些实施例中，所述方法还包括：处在所述预位状态时，提供手势图像采集状态提示信息，其中，所述图像采集状态提示信息用于向用户反馈影响图像采集质量的事件的严重程度。

本申请的一些实施例通过即时提供监测到的影响图像采集质量的事件，进而可以有效避免由于被采集对象靠近图像采集单元的边界、靠近图像采集单元盲区或者被采集对象被遮挡等事件导致的预位手势或者触发手势不能被即时探测的问题。

在一些实施例中，所述提供手势图像采集状态提示信息，包括：通过视觉信息提供所述手势图像采集状态提示信息。

本申请的一些实施例为了使得相关用户即时获取影响图像采集质量的事件的情况通过视觉信息提供相应的提示信息。

在一些实施例中，所述通过视觉信息提供所述手势图像采集状态提示信息，包括：通过调整第二可视对象的属性来提供所述手势图像采集状态提示信息。

本申请的一些实施例通过调整可视对象的属性来显示影响图像采集质量的事件的严重程度，提升人机交互的直观性和可感受性。

在一些实施例中，所述属性包括：亮度、透明度、尺寸和清晰度中的至少一种。

在本申请的一些实施例中，所述预位状态提示信息包括第一可视对象的图案，所述第二可视对象与所述第一可视对象相同。

在一些实施例中，所述通过视觉信息提供所述图像采集状态提示信息，包括：若影响图像采集质量的事件的严重程度越轻微，则所述视觉信息的视觉效果越突出；若影响图像采集质量的事件的严重程度越严重，则所述视觉信息的视觉效果越弱化。

本申请的一些实施例通过调整视觉信息的清晰度来反映影响图像质量的事件的严重程度，提升对这类信息传递的直观性进而提升人机交互的技术效果。

在一些实施例中，所述影响图像采集质量的事件包括：作出所述预位手势的手与图像采集盲区或图像采集区域边界的距离不满足要求，或者作出所述预位手势的手被遮挡。

在一些实施例中，在所述响应于监测到的至少一次触发手势之前，所述方法还包括：处于所述预位状态时，通过所述预位状态提示信息提示所述触发手势。

本申请的一些实施例为了减轻用户对于指令对应的预位手势和触发手势的学习难度，会在预位状态时提供下一状态的触发手势的具体类型，提升人机交互的技术效果。

在一些实施例中，所述触发手势包括动态触发手势和静态触发手势中至少一个，所述动态触发手势包括手平移和手旋转中的至少一个，所述静态触发手势属于与所述预位手势不同的手势。

本申请的一些实施例通过设计更加合理的触发手势可以提升人机交互的技术效果。

在一些实施例中，所述预位手势为五指握拳，以及所述触发手势为竖起拇指且其余四指握拳；或者，所述预位手势为：伸出食指且其余四指握拳的手势，以及所述触发手势为向目标方向挥动保持所述预位手势的手。

在一些实施例中，所述方法还包括：在空闲状态时监测手部姿势；所述响应于监测到的预位手势，进入预位状态，包括：响应于监测到的所述预位手势，从所述空闲状态切换至所述预位状态。

本申请的一些实施例通过设置空闲状态可以使得交互设备可以从预位状态返回空闲状态，避免误触发。

在一些实施例中，在从所述预位状态切换至所述触发状态之后，所述方法还包括：提供触发状态已切换的提示信息。

本申请的一些实施例通过在切换至某状态时即时提供对应的状态切换提示信息，使得用户即时了解人机交互所处的阶段进而使得用户可以更加准确的控制整个人机交互过程与意向的交互过程保持一致。

在一些实施例中，从所述预位状态切换至所述触发状态之后，所述方法还包括：处在所述触发状态时，响应于检测到的所述预位手势，由所述触发状态切换为所述预位状态。

本申请的一些实施例通过从触发状态切换至预位状态后可以再次启动执行同一指令，这样可以更好的支持重复执行指令的过程，使得重复执行同一指令的过程更加自然而准确。

在本申请的一些实施例中，所述响应于监测到的至少一次触发手势，在从所述预位状态切换得到的触发状态下执行与所述至少一次触发手势对应的至少一次指令，包括：响应于监测到的首次触发手势，从所述预位状态切换至所述触发状态并执行与所述首次触发手势对应的指令；响应于监测到的第i次触发手势，执行与所述第i触发手势对应的指令，其中，所述第i次触发手势是除所述首次触发手势之外的任意一次被监测到的触发手势。

第二方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任意实施例所述的方法。

第三方面，本申请的一些实施例提供一种基于手势的人机交互的装置，所述装置包括：预位状态处理模块，被配置为响应于监测到的预位手势，进入预位状态并提供预位状态提示信息；触发状态处理模块，被配置为响应于监测到的至少一次触发手势，在从所述预位状态切换得到的触发状态下执行与所述至少一次触发手势对应的至少一次指令。

第四方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任意实施例所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的人机交互场景的示意图；

图2为本申请实施例提供的基于手势的人机交互的方法的流程图；

图3为本申请实施例提供的示例一中人机交互的空闲状态示意图；

图4为本申请实施例提供的示例一中人机交互的预位状态示意图；

图5为本申请实施例提供的示例一中人机交互的触发状态示意图；

图6为本申请实施例提供的示例二中人机交互的空闲状态示意图；

图7为本申请实施例提供的示例二中人机交互的预位状态示意图；

图8为本申请实施例提供的示例二中人机交互的触发状态示意图；

图9为本申请实施例提供的基于手势的人机交互的装置的组成框图；

图10为本申请实施例提供的电子设备组成示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

与相关技术方案提供的人工交互方式不同，本申请的一些实施例通过重新设计交互逻辑，在人机交互的预位阶段引入反馈(进入预位状态的预位状态提示信息)，或者在预位阶段和和触发阶段(例如，本申请一些实施例的预位状态阶段和触发状态阶段等)均引入反馈(进入对应状态的状态提示信息)，明显提升了人机功效，从而避免误触发，同时也让重复发指令的过程更加自然而准确。

请参看图1，图1为本申请一些实施例提供的人机交互场景示意图，在该场景中包括：在空间(包括虚拟空间或者物理空间)映射的交互界面110、位于交互界面上的确认按钮111以及取消按钮112，在图1的场景中用户可以通过第一手120来选中交互界面110上的确认按钮或者取消按钮，以执行这两条指令中的一条。

与相关技术的人机交互方式不同，本申请的一些实施例将执行一条指令的过程根据不同手势划分为多个状态，并在至少一个状态启动时提供对应状态的提示信息，进而至少可以使得用户即时感知由于误触发导致的状态变化并及时采取补救措施，并最终提升人机交互的技术效果。

需要说明的是，图1仅用于示例性提供一个人机交互场景。可以理解的是，本领域技术人员可以将本申请实施例提供的基于手势的人机交互的方法应用在基于电脑、手机、车辆、头戴式显示设备等各种设备进行人机交互的场景中，本申请的实施例也可以应用在采用虚拟现实、增强现实(AR，Augmented Reality)等技术的人机交互场景中。例如，在本申请的一些实施例中图1的交互界面也可以是显示空间上提供的交互界面。本申请一些实施例的交互对象也可以是除交互界面外其他交互对象。

下面结合图2示例性阐述本申请一些实施例的基于手势的人机交互的方法。

如图2所示，本申请实施例提供一种基于手势的人机交互的方法，该方法包括：

S101，响应于监测到的预位手势，进入预位状态并提供预位状态提示信息。

需要说明的是，本申请一些实施例的预位状态是到达可执行指令的触发状态的一个前置状态，在该预位状态时不会给交互设备下达实际操作的命令，在本申请的一些实施例中处于预位状态时可以提供预位状态提示信息和手势图像采集状态信息中的至少一类信息，例如，在本申请的一些实施例中通过一个可视对象在显示屏幕或者交互界面上提供手势图像采集状态信息和/或预位状态提示信息。在本申请的一些实施例中预位状态提示信息可用于向用户或测试者等对象反馈已成功进入预位状态且已经做好手势触发(即通过进一步的触发手势执行指令)的准备。本申请一些实施例的预位状态提示信息可以在进入预位状态时提供短时间提示表明成功进入，也可以保持持续性提示表明处于预位状态，可以是声音提示或者视觉提示。例如，在本申请一些实施例的视觉提示的实现方案包括通过第一可视对象的图案、颜色、形状或动态视觉提示如闪烁等进行提示，具体地第一可视对象可以是处于该状态下单独显示出的对象，也可以是交互界面上原有的对象，例如交互界面的边框颜色改变、交互按钮形状改变等。在本申请的另一些实施例中预位状态提示信息还用于携带触发手势提示信息，用于向用户或者测试者等对象提供触发手势的具体类型。例如，在本申请的一些实施例中预位状态提示信息包括第一可视对象的图案。在本申请的一些实施例中，预位状态提示信息包括触发手势的手势类型，例如，在本申请的一些实施例中通过第一可视对象的图案提供该手势类型对应的图标。例如，在本申请的一些实施例中不同图案(即第一可视对象对应的图案)对应不同的触发手势的手势类型，该图案还可以直接展示触发手势类型的缩略图。在本申请的一些实施例采用听觉信息提供预位状态提示信息，在本申请的一些实施例中采用视觉信息提供预位状态提示信息，本申请的实施例不限定提供预位状态提示信息的具体类型。

本申请一些实施例的预位手势可以为预先定义的任意一种可被图像采集单元采集的手势。例如，预位手势为握拳或者伸出大拇指点赞的手势或者其他任意可被图像采集单元采集到的手势。本申请一些实施例的一种预位手势对应一种触发手势，即，在本申请的一些实施例中作出一种预位手势后，仅需要作出与该预位手势对应的一种类型的触发手势，才能进入到触发状态并执行指令。本申请一些实施例的一种预位手势对应多种触发手势(例如，可根在不同的应用环境下作出不同的触发手势)，即，在本申请的一些实施例中作出一种类型的预位手势后，作出与该预位手势对应的不同类型的多种触发手势，均能够进入到触发状态，不同类型的多种触发手势执行其对应的指令。

S102，响应于监测到的至少一次触发手势，在从所述预位状态切换得到的触发状态下执行与所述至少一次触发手势对应的至少一次指令。

需要说明的是，触发手势属于可被图像采集单元感知采集的任意一种或多种手势，在本申请的一些实施例中触发手势是基于所述预位手势进一步作出的。可以理解的是，触发手势属于与预位手势不同的手势。例如，在本申请的一些实施例中，所述预位手势为五指握拳，以及与该预位手势对应的所述触发手势为竖起拇指且其余四指握拳(可以理解的是，该竖起大拇指的手势可以是基于所述握拳手势而伸出大拇指得到的手势)；或者，所述预位手势为伸出食指且其余四指握拳的手势，以及与该预位手势对应的所述触发手势为向目标方向挥动保持所述预位手势的手。例如，在本申请的一些实施例中，所述预位手势为：伸出食指，其余四指握拳且掌心朝前的手势，且所述触发手势为向目标方向挥动保持所述预位手势的手。例如，在本申请的一些实施例中，所述触发手势包括动态触发手势和静态触发手势中至少一个，所述动态触发手势包括手平移(例如，挥手)和手旋转中的至少一个(例如，本申请的一些实施例的触发手势是挥动处于预位手势的手，本申请一些实施例的触发手势是旋转处于预位手势的手)，所述静态触发手势属于与所述预位手势不同的手势(例如，在本申请的一些实施例静态触发手势是基于所述预位手势进一步作出的一个手势)。可以理解的是，本申请的一些实施例通过设计更加合理的触发手势可以提升人机交互的技术效果。在本申请的一些实施例中，一次触发手势对应一次指令执行过程。

不难理解的是，本申请的一些实施例在执行某个指令的过程中需要监测到预位手势和之后的触发手势，并在预位手势时给出处于该状态的提示信息以便让用户确认该预位状态的启动是否属于误触发导致的，因此与相关技术相比可以有效减少误触发事件的发生概率。

为了补救由于误触发导致的意外启动预位状态的问题，本申请的一些实施例提供的方法还包括：处在预位状态时，若监测到预位状态撤销事件则从所述预位状态切换到空闲状态。

需要说明的是，在本申请的一些实施例中预位状态撤销事件示例性包括：将作出所述预位手势的手收回至图像采集范围之外(例如，收回至图像采集范围之外可以是手完全退出该范围，和/或手部分退出该范围而识别不出手势)，或者监测到当前手势调整为除所述预位手势和所述触发手势对应手势之外的手势。本领域技术人员可以根据应用场景的差异扩充预位状态撤销事件的具体类型。

例如，在本申请的一些实施例中所述基于手势的人机交互的方法包括：首先，响应于监测到的预位手势，进入预位状态并提供预位状态提示信息；其次，若采用图像采集单元采集的图像确认作出所述预位手势的手被收回至图像采集范围之外，则退出预位状态(例如，返回预位状态的前一个状态)；在本申请的一些实施例中所述人机交互方法包括：首先，响应于监测到的预位手势，进入预位状态并提供预位状态提示信息；其次，若采用图像采集单元采集的图像确认作出所述预位手势的手改变为其他手势(该手势属于非预位手势)，则退出预位状态(例如，返回预位状态的前一个状态)。

可以理解的是，本申请一些实施例的预位状态撤销事件是通过判定图像采集单元采集的手势图像确认的。在本申请的一些实施例中也可以通过判定用户输入的语音信息的内容确认是否发生预位状态撤销事件，例如，在本申请的一些实施例中，所述人机交互方法包括：首先，响应于监测到的预位手势，进入预位状态并提供预位状态提示信息；其次，若确认用户输入的语音信息的语意为取消预位状态，则返回预位状态的前一个状态。

不难理解的是，本申请的一些实施例在交互设备处于预位状态时会实时监测是否发生了撤销预位状态的事件，若确认发生了该事件则控制交互设备退出预位状态，这样可以有效补救被错误触发的预位状态。

为了让使用者即时感知到手势检测的盲区和边界，或者感知由于手部遮挡而造成手势图像无法正确采集的问题，本申请的一些实施例在交互设备处于预位状态时还需要实时探测影响图像采集质量的事件是否发生以及这些事件的严重程度并实时向用户反馈事件的严重程度，进而可以使得相关使用者感知并避开这些情形改善图像采集的质量，并提升根据手势进行人机交互的效果。

也就是说，在本申请的一些实施例中，基于手势的人机交互的方法还包括：处在所述预位状态时，提供手势图像采集状态提示信息，其中，所述手势图像采集状态提示信息用于向用户反馈影响图像采集质量的事件的严重程度。例如，在本申请的一些实施例中，处在所述预位状态时，通过视觉信息提供手势图像采集状态提示信息；在本申请的另一些实施例中，处在所述预位状态时，通过语音提供手势图像采集状态提示信息，例如，通过语音高低区分影响图像采集质量的事件的严重程度；在本申请的另一些实施例中，处在所述预位状态时，通过触觉信息提供手势图像采集状态提示信息，例如，通过交互设备的震动频率区分影响图像采集质量的事件的严重程度。不难理解的是，本申请的一些实施例可以通过任意一种或多种可被感知的信息提供手势图像采集状态提示信息。

可以理解的是，本申请的一些实施例通过向用户提供监测到的影响图像采集质量的事件的严重程度，可以有效避免由于被采集对象靠近图像采集单元的边界、靠近图像采集单元盲区或者被采集对象被遮挡等事件导致的相应触发手势或者预位手势不能被有效探测的问题。

下面以视觉信息为例示例性阐述本申请一些实施例的提供手势图像采集状态提示信息的过程。

在本申请的一些实施例中，上述提供手势图像采集状态提示信息，示例性包括：通过视觉信息提供所述手势图像采集状态提示信息。例如，本申请的一些实施例提供的通过视觉信息提供所述手势图像采集状态提示信息的过程示例性包括：通过调整第二可视对象的属性来提供所述手势图像采集状态提示信息，其中，所述属性包括：亮度、透明度、尺寸和清晰度中的至少一种。需要说明的是，在本申请的一些实施例中第二可视对象与第一可视对象可以不同，即第二可视对象为独立于第一可视对象单独显示的对象。在本申请的另一些实施例中，所述预位状态提示信息包括第一可视对象的图案，第二可视对象与第一可视对象相同。

例如，在本申请的一些实施例中，可视对象为界面上的图标，相应的通过调整第二可视对象的属性来提供所述手势图像采集状态提示信息示例性包括：通过调整图标的亮度来提供该图像采集状态提示信息；或者，通过调整图标的透明度来提供该图像采集状态提示信息；或者，调整图标的尺寸来提供该图像采集状态提示信息。也就是说，本申请的一些实施例可以采用任意一种或多种可被观察调整的属性来提供手势图像采集状态提示信息。

不难理解的是，本申请的一些实施例通过调整可视对象的属性来显示影响图像采集质量的事件的严重程度，提升人机交互的直观性和可感受性。

例如，在本申请的一些实施例中，上述通过视觉信息提供所述手势图像采集状态提示信息示例性包括：若影响图像采集质量的事件的严重程度越轻微，则所述视觉信息的视觉效果越突出，例如，在本申请的一些实施例中视觉效果越突出是指第二可视对象的图案更清晰，更亮、尺寸更大和/或者更不透明等，通过这种方式可提升图案显示效果；若影响图像采集质量的事件的严重程度越严重，则所述视觉信息的视觉效果越弱化(例如，在本申请的一些实施例中视觉效果越弱化是指第二可视对象的图案分辨率更低或称为更模糊，更暗、尺寸更小和/或图案更不透明等，这样可降低图案显示效果。

本申请的一些实施例通过调整视觉信息的属性来反映影响图像质量的事件的严重程度，以提示用户进行手部位置或姿态的调整，降低影响图像采集质量的事件的严重程度，进而达到避免产生影响图像采集质量的事件，提升对这类信息传递的直观性进而提升人机交互的技术效果。

需要说明的是，本申请一些实施例的影响图像采集质量的事件示例性包括：作出所述预位手势的手与图像采集盲区或图像采集区域边界的距离不满足要求(例如，该手与图像采集区域边界或图像采集盲区的距离小于可正常采集手部图像的阈值)，或者作出所述预位手势的手被遮挡。可以理解的是，本申请的影响图像质量的事件也可以包括其他任意类型的可能降低图像采集质量的事件。

为了减轻相关用户学习与各指令对应的触发手势的负担，进而提升人机交互的效果，本申请的一些实施例在预位状态时会进一步提供触发手势的具体类型。在本申请的一些实施例中通过语音提示触发手势的类型，在本申请的另一些实施例中可以通过可观察的视觉信息提示触发手势的具体类型。

例如，在本申请的一些实施例中，在所述响应于监测到的至少一次触发手势之前，所述基于手势的人机交互的方法还包括：处于所述预位状态时，通过所述预位状态提示信息提示所述触发手势。

不难理解的是，本申请的一些实施例为了减轻用户对于指令对应的预位手势和触发手势的学习难度，会在预位状态时提供下一状态的触发手势的具体类型，提升人机交互的技术效果。

需要说明的是，本申请的一些实施例的预位状态之前的状态为空闲状态，当人机交互设备处于空闲状态时会通过图像采集单元实时采集手部图像，确认对应手部是否作出预位手势，以便即时切换至预位状态。

例如，在本申请的一些实施例中，所述方法还包括：在空闲状态时监测手部姿势；相应的S101示例性包括：响应于监测到的所述预位手势，从所述空闲状态切换至所述预位状态。不难理解的是，本申请的一些实施例通过设置空闲状态可以使得交互设备可以从预位状态返回空闲状态，避免误触发。

为了进一步提升用户对当前状态的感知效果，进而改善误触发导致的错误状态触发问题，本申请的一些实施例针对启动的触发状态也需要即时提供状态启动提示信息。

也就是说，在本申请的一些实施例中，在从所述预位状态切换至所述触发状态之后，所述方法还包括：提供触发状态已切换的提示信息。不难理解的是，本申请的一些实施例通过在切换至某状态时即时提供对应的状态切换提示信息，使得用户即时了解人机交互所处的阶段进而使得用户可以更加准确的控制整个人机交互过程与意向的交互过程保持一致。

本申请的一些实施例在本次执行完相应指令之后会切换为预位状态，等待触发下一次的指令执行过程。

例如，在本申请的一些实施例中，从所述预位状态切换至触发状态之后，所述基于手势的人机交互的方法还包括：处在所述触发状态时，响应于检测到的所述预位手势，由所述触发状态切换为所述预位状态。需要说明的是，在本申请的一些实施例中如果用户不再下发指令，可以从触发状态退回到预位状态进行触发等待。

本申请的一些实施例通过探测各次触发手势并启动对应指令的执行来提升同一指令多次执行的便捷性。例如，在本申请的一些实施例中，S102示例性包括：响应于监测到的首次触发手势，从所述预位状态切换至所述触发状态并执行与所述首次触发手势对应的指令；响应于监测到的第i次触发手势，执行与所述第i次触发手势对应的指令，其中，所述第i次触发手势除所述首次触发手势之外的任意一次被监测到的触发手势。可以理解的是，每次触发手势可以相同，可以不同，每次触发手势相同时，在触发状态下，可以多次重复执行某一指令，手势动作简单，通过这些实施例可以更好的支持重复执行指令的过程，使得重复执行同一指令的过程更加自然而准确

下面以空闲状态、预位状态和触发状态为例示例性阐述本申请一些实施例的基于手势的人机交互的方法。

本申请一些实施例的空闲状态(Idle)是默认状态，系统完成启动之后就会进入空闲状态。这时候系统会通过传感器(即图像采集单元)不断检测使用者手的位置、朝向和姿态，当被检测手满足某一个手势的位置、朝向和姿态范围(作为作出预位手势的一个示例)，就会进入对应手势的预位状态，同时提供预位状态提示信息，该信息属于第一感知反馈信息(该信息用于表征空闲状态的结束和预位状态已开启且表征用户处于已经做好准备作出触发手势以触发指令执行过程的状态)，例如，可以采用声音信息或者视觉信息提供该第一感知反馈信息。

本申请一些实施例通过图标或特定颜色等类型的视觉信息向使用者反馈交互设备当前处于预位状态(Pre-position)，以让使用者了解当前状态并确认当前状态是否属于使用者意向的状态。需要说明的是，本申请一些实施例的预位状态不会实际指示交互设备执行某个具体指令，因此如果是使用者不小心误触发的预位状态，则使用者可以撤销预位状态(通过探测是否发生预位状态撤销事件来决定是否撤销预位状态)，即在本申请的一些实施例中若交互设备处于预位状态时实时检测手部姿势变化情况，可以在检测到改变预位手势(且该手势不属于触发行为对应的手势)或将预位手势收回时，取消预位状态并回到空闲状态。本申请的一些实施例中，在交互设备处于预位状态中需要反馈探测到的影响图像采集质量的提示信息，例如，在本申请的一些实施例中，如果图像采集单元探测到使用者手部位置靠近图像采集单元即传感器的边界或盲区时，所述的图标或特效等视觉信号会通过亮度、透明度、尺寸等方式给出对应的反馈，即提供手势图像采集状态提示信息。也就是说，本申请的一些实施例通过调整视觉信息的属性反应影响图像采集质量的状况的严重程度，属性包括：视觉信号的亮度、透明度、尺寸或者图像清晰度等。例如，在本申请的一些实施例中，随着使用者的手远离图像传感器有效采集范围边界(处于有效边界范围之内时才可以采集完整的预位手势或者触发手势)，或者手和手指被遮挡的程度减轻，视觉信号会逐渐变得更加清晰可见(即作为若影响图像采集质量的事件的严重程度越轻微，则所述视觉信息的视觉效果越突出的一个示例)；反之随着手逐渐移出图像传感器有效采集范围，或者手和手指逐渐被遮挡，视觉信号会逐渐减弱，直至完全消失(即作为若影响图像采集质量的事件的严重程度越严重，则所述视觉信息的视觉效果越弱化的一个示例)。本申请的一些实施例通过提供这类反馈信息，可以让使用者及时感知到手势检测的盲区和边界，从而有意识或下意识地避开这些情形。

在本申请的一些实施例中，若交互设备处于预位状态中时，使用者可以通过预先设置的进一步的手势动作(即触发手势)来进入触发状态，这些手势动作(即触发手势)可以是下面这些手势或者手势动作之一或多个的组合：

1.轻挥(作为动态触发手势的一个示例)：也即手整体向指定(例如上、下、左、右、前、后)方向快速移动一小段距离后，瞬间停止或者改为向反方向移动。

2.整体旋转(作为动态触发手势的一个示例)：例如掌心从朝前转为朝下，或者由朝后转为朝前。

3.手指关节活动：例如通过握拳手势进入预位状态后，通过竖起拇指变成“点赞”手势(作为静态触发手势的一个示例)。

在本申请的一些实施例中，若交互设备在预位状态，则通过触发动作进入触发状态(Trigger)时，系统会通过视觉特效或者声音发出反馈(即提供进入触发状态或者触发状态已切换的提示信息)，同时执行一次当前触发手势所对应的指令。当使用者的手部动作不再满足触发动作时，系统会退回到预位状态，以便于使用者再次重复下达指令。

需要说明的是，在该示例中设定的预位手势为握拳，且触发动作为竖起拇指作出“点赞”手势，与该预位手势和触发动作对应的指令为“点击”下面结合图3-图5的一个具体操作即一条具体指令示例性阐述本申请一些实施例的基于手势的人机交互的方法。

如图3所示，本申请一些实施例的交互设备在启动时可处于该图的空闲状态，在与该空闲状态对应的交互界面上提供一个对话框，在该对话框中描述对应的具体操作为“确认要永久删除这3项文件吗”且在该对话框还提供一个针对该操作进行确认或者取消的可选择按钮。在图3的空闲状态时本申请的实施例需要实时或者周期性的监控被检测手是否作出预位手势，若检测到如图4所示的预位手势(即握拳状态)则控制交互设备由图3的空闲状态切换为图4的预位状态。在该预位状态时，本申请的一些实施例还需要实时监控作出预位手势的手是否具有靠近图像采集单元的盲区或者边界等其他具有影响图像采集质量的事件发生，若有则需要采用视觉或者听觉信息向相关用户提供这些事件的严重程度，进而使得相关用户即时调整预位手势的手相对于图像采集单元的位置以使得图像采集单元可以完成对预位手势的手的图像采集。在本申请的一些实施例中，在预位状态时，还需要通过视觉信息提供触觉行为的具体类型，例如，图4中在确认按钮下方附近示出的伸出大拇指的点赞手势的图案，该图案用于提示触发手势的手势类型，该点赞手势作为该示例的触觉行为。在本申请的一些实施例中，在预位状态时需要实时监测作出预位手势的手是否作出对应的触发手势，若监测到作出预位手势的手进一步作出点赞的触发手势则交互设备切换为如图5所示的触发状态，在该触发状态时可以执行确认对应的指令，即执行永久删除这3项文件的指令。

需要说明的是，在该示例中一种预位手势可对应一种触发手势，即设定的预位手势为食指伸出，其余四指握拳且掌心朝前，且触发动作为向前轻挥，与该预位手势和触发手势对应的指令为“点击”，在本申请的一些实施例中使用预位手势对准图6-图8要点击的按钮后，向前轻挥(作为触发手势)多少次(作为多次监测到触发手势)，就会点击按钮多少次即实现灵活便捷的多次执行同一指令的目的。下面结合图6-图8的一个具体操作即一条具体指令示例性阐述本申请一些实施例的基于手势的人机交互的方法。

监控被检测手是否作出预位手势，若检测到如图6所示的预位手势(即食指伸出，其余四指握拳且掌心朝前)则触发相应交互设备启动预位状态。在该预位状态时，本申请的一些实施例还需要实时监控作出预位手势的手是否具有靠近图像采集单元的盲区或者边界等其他具有影响图像采集质量的事件发生，若有则需要采用视觉或者听觉信息向相关用户提供这些事件的严重程度，进而使得相关用户即时调整预位手势的手相对于图像采集单元的位置以使得图像采集单元可以完成对预位手势的手的图像采集。在本申请的一些实施例中，在预位状态时需要实时监测作出预位手势的手是否作出对应的触发手势，若监测到作出预位手势的手进一步作出向前轻挥(作为触发手势的一个示例)的触发手势则交互设备切换为如图7所示的触发状态，在该触发状态时可以执行增加购买数量对应的指令。可以理解的是，在本申请的一些实施例中，向前轻挥多少次(即多次监测到触发手势)，就会点击相应增加购买数量或者减少购买数量的按钮多少次(即每监测到一次触发手势即执行一次对应的指令)。也就是说，在本申请的一些实施例中，处于预位手势的手向前挥动(短时间内向前移动一段距离后，不再继续向前移动了)一次，就会进行一次触发即执行一次增加购买数量的指令，图8相对于图7在保持预位手势的基础上再一次监测到触发手势(即多次探测到触发手势)，因此图8基于图7再次执行增加购买数量的指令，相对于图7的购买数量2在图8中的购买数量为3。

需要说明的是，在本申请的一些实施例中在进入预位状态前选中交互界面上某个按钮(例如，选中图3的确认按钮或选中图6的增加购买数量的按钮)或者在通过触发手势执行某一指令之后选中交互就界面上某个按钮的操作(例如，图6的位于增加购买数量的按钮旁边的确认按钮)包括但不限于如下实施例：使用眼动追踪(即追踪使用者的视线注视点)、光标(例如，通过鼠标、轨迹球、头戴式显示设备控制该光标)、或者专门的手势(比如向左挥手来选择左侧的按钮，或者类似电脑上的tab键每挥一次手就选择另一个按钮)来选中某个按钮或者其他UI控件_。

请参考图9，图9示出了本申请实施例提供的基于手势的人机交互的装置，应理解，该装置与上述图2方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块，该人机交互的装置，包括：预位状态处理模块501以及触发状态处理模块502。

预位状态处理模块，被配置为响应于监测到的预位手势，进入预位状态并提供预位状态提示信息。

触发状态处理模块，被配置为响应于监测到的至少一次触发手势，在从所述预位状态切换得到的触发状态下执行与所述至少一次触发手势对应的至少一次指令。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如上述基于手势的人机交互的方法包括的任意实施例所述的方法。

如图10所示，本申请的一些实施例提供一种电子设备700，包括存储器710、处理器720以及存储在所述存储器710上并可在所述处理器720上运行的计算机程序，其中，所述处理器720通过总线730读取程序并执行所述程序时可实现如上述基于手势的人机交互的方法中任意实施例所述的方法。

处理器720可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器720可以是微处理器。

存储器710可以用于存储由处理器720执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器720可以用于执行存储器710中的指令以实现图2中所示的方法。存储器710包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (18)

1.一种基于手势的人机交互的方法，其特征在于，所述方法包括：

响应于监测到的预位手势，进入预位状态并提供预位状态提示信息；

响应于监测到的至少一次触发手势，在从所述预位状态切换得到的触发状态下执行与所述至少一次触发手势对应的至少一次指令。

2.如权利要求1所述的方法，其特征在于，所述预位状态提示信息包括第一可视对象的图案。

3.如权利要求2所述的方法，其特征在于，所述预位状态提示信息还用于提示触发手势的手势类型。

4.如权利要求1-3中任一项所述的方法，其特征在于，一种预位手势可对应一种或多种触发手势。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

处在所述预位状态时，若监测到预位状态撤销事件则从所述预位状态切换到空闲状态，其中，所述预位状态撤销事件包括：将作出所述预位手势的手收回至图像采集范围之外，或者监测到当前手势调整为除所述预位手势和所述触发手势对应手势之外的手势。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

处在所述预位状态时，提供手势图像采集状态提示信息，其中，所述手势图像采集状态提示信息用于向用户反馈影响图像采集质量的事件的严重程度。

7.如权利要求6所述的方法，其特征在于，所述提供手势图像采集状态提示信息，包括：

通过视觉信息提供所述手势图像采集状态提示信息。

8.如权利要求7所述的方法，其特征在于，所述通过视觉信息提供所述手势图像采集状态提示信息，包括：

通过调整第二可视对象的属性来提供所述手势图像采集状态提示信息，其中，所述属性包括：亮度、透明度、尺寸和清晰度中的至少一种。

9.如权利要求8所述的方法，其特征在于，所述预位状态提示信息包括第一可视对象的图案，所述第二可视对象与所述第一可视对象相同。

10.如权利要求7所述的方法，其特征在于，所述通过视觉信息提供所述手势图像采集状态提示信息，包括：

若影响图像采集质量的事件的严重程度越轻微，则所述视觉信息的视觉效果越突出；

若影响图像采集质量的事件的严重程度越严重，则所述视觉信息的视觉效果越弱化。

11.如权利要求6-10中任一项所述的方法，其特征在于，所述影响图像采集质量的事件包括：作出所述预位手势的手与图像采集盲区或图像采集区域边界的距离不满足要求，或者作出所述预位手势的手被遮挡。

12.如权利要求1-3以及权利要求5-10中任一项所述的方法，其特征在于，所述触发手势包括动态触发手势和静态触发手势中至少一个，所述动态触发手势包括手平移和手旋转中的至少一个，所述静态触发手势属于与所述预位手势不同的手势。

13.如权利要求12所述的方法，其特征在于，

所述预位手势为五指握拳，以及所述触发手势为竖起拇指且其余四指握拳；

或者，

所述预位手势为伸出食指且其余四指握拳的手势，以及所述触发手势为向目标方向挥动保持所述预位手势的手。

14.如权利要求1-3以及权利要求5-10中任一项所述的方法，其特征在于，所述方法还包括：

在空闲状态时监测手部姿势；

所述响应于监测到的预位手势，进入预位状态，包括：

响应于监测到的所述预位手势，从所述空闲状态切换至所述预位状态。

15.如权利要求1-3以及权利要求5-10中任一项所述的方法，其特征在于，在从所述预位状态切换至所述触发状态之后，所述方法还包括：

处在所述触发状态时，响应于检测到的所述预位手势，由所述触发状态切换为所述预位状态。

16.如权利要求1-3以及权利要求5-10中任一项所述的方法，其特征在于，所述响应于监测到的至少一次触发手势，在从所述预位状态切换得到的触发状态下执行与所述至少一次触发手势对应的至少一次指令，包括：

响应于监测到的首次触发手势，从所述预位状态切换至所述触发状态并执行与所述首次触发手势对应的指令；

响应于监测到的第i次触发手势，执行与所述第i次触发手势对应的指令，其中，所述第i次触发手势是除所述首次触发手势之外的任意一次被监测到的触发手势。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现如权利要求1-16中任意一项权利要求所述的方法。

18.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如权利要求1-16中任意一项权利要求所述的方法。