CN105404384A - 手势操作方法、利用手势定位屏幕光标的方法及手势系统 - Google Patents

Abstract

本发明涉及一种手势操作方法，包括如下步骤：获取用户的至少一个特征部位；以所述特征部位所在位置为参考，生成与所述特征部位的位置具有固定相对位置关系的虚拟操作空间；检测所述虚拟操作空间中的手势，并执行相应的操作。本发明还涉及一种基于上述手势操作方法定位屏幕光标的方法。上述手势操作方法可以把虚拟操作空间始终保持在用户的手臂能够舒适操作的范围内。上述定位屏幕光标的方法能够非常精确地控制屏幕光标的移动。

Description

手势操作方法、利用手势定位屏幕光标的方法及手势系统

技术领域

本发明涉及体感控制，特别是涉及一种手势操作方法、利用手势定位屏幕光标的方法及手势系统。

背景技术

随着图像识别技术的发展，体用人体动作来实现对智能设备的远距离的操控，特别是在远距离对具有图形界面的智能设备进行操控的技术已经被实现。

在图像界面上进行操作时，若外部在屏幕上的操作被直接探测到操作的位置，则一般不需要一个光标或者框体来提示当前可以操作的对象或者位置，例如触摸屏的操作，人体在触摸屏表面的触控能够被直接探测，并可根据位置进行解析。否则屏幕上就需要一个光标或者提示框指示当前所在的位置，引导用户进行正确的操作。例如鼠标的光标，打字时文本段落中的光标等等。

对于手势操控而言，一般是远距离操控，直接将操作施加到屏幕位置并不现实。因此手势操作时，图像界面上需要提供指示位置的光标。

在传统的方法中，需要依靠摄像设备获取其前方的画面，并识别其中的用户手势，并根据用户的手掌在画面中的位置来确定光标在图像界面中的位置。这种方法存在的问题是，对用户所处的位置要求较高，一般需要当前操作的用户处于摄像装置的正前方，而且用户手臂的运动范围也会直接影响光标能够在图像界面上能够操作的范围。采用传统的检测方法，实际操作起来非常不方便。

发明内容

基于此，有必要提供一种方便的手势操作方法。

此外，还提供一种方便的利用手势定位屏幕光标的方法。

最后，还提供一种手势系统。

一种手势操作方法，包括如下步骤：

获取用户的至少一个特征部位；

以所述特征部位所在位置为参考，生成与所述特征部位的位置具有固定相对位置关系的虚拟操作空间；

检测所述虚拟操作空间中的手势，并执行相应的操作。

在其中一个实施例中，所述特征部位包括头部和手部，所述虚拟操作空间的位置始终跟随头部的位置，并参照具有激活手势的手部位置进行固定。

在其中一个实施例中，以所述头部的中心点的位置代表头部的位置，所述头部的中心点的位置根据具有深度信息的图像获得。

在其中一个实施例中，所述虚拟操作空间为封闭的立方体空间、球形空间或椭球形空间。

在其中一个实施例中，还包括检测结束手势的步骤；所述结束手势用于取消所有的手势检测。

一种利用手势定位屏幕光标的方法，包括如下步骤：

获取用户的至少一个特征部位；

以所述特征部位所在位置为参考，生成与所述特征部位的位置具有固定相对位置关系的虚拟操作空间；所述虚拟操作空间的至少一个截面与所操作的图像界面相互映射；

检测用户手势在所述截面中的位置，并根据映射关系转换为所述图像界面上的光标的位置。

在其中一个实施例中，所述特征部位包括头部和手部，所述虚拟操作空间的位置始终跟随头部的位置，并参照具有激活手势的手部位置进行固定。

在其中一个实施例中，以所述头部的中心点的位置代表头部的位置，所述头部的中心点的位置根据具有深度信息的图像获得。

在其中一个实施例中，所述虚拟操作空间为封闭的立方体空间、球形空间或椭球形空间。

在其中一个实施例中，还包括检测结束手势的步骤；所述结束手势用于取消所有的手势检测。

一种手势系统，其特征在于，包括：

摄像装置，用于摄取用户手势；

显示器，用于显示屏幕画面及屏幕光标；

处理系统，用于执行上述的手势操作方法及上述的利用手势定位屏幕光标的方法。

上述手势操作方法及手势系统，由于是根据用户的特征部位确定一个固定参考位置，然后再由该特征部位获得一个虚拟操作空间。当用户移动身体时，该虚拟操作空间始终跟随特征部位进行相应的移动，这样就可以把虚拟操作空间始终保持在用户的手臂能够舒适操作的范围内。

上述利用手势定位屏幕光标的方法及手势系统，由于建立了虚拟操作空间中的截面与图像界面的映射关系，能够非常精确地控制屏幕光标的移动。

附图说明

图1为一实施例的屏幕光标定位方法流程图；

图2为用户头部与虚拟操作空间的位置关系示意图；

图3为一实施例的手势系统结构图。

具体实施方式

以下结合附图和实施例进行进一步说明。

当利用手势操作图像界面上的对象时，需要首先选中所需操作的对象。图像界面上的指示图形，例如选择框、指针等可以帮助用户选中对象。本实施例中，这些指示图形都称为屏幕光标。以下实施例提供一种利用手势定位屏幕光标的方法，可以使用户利用手势的移动来移动图像界面上的光标。

如图1所示，该实施例的方法包括如下步骤：

步骤S101：获取用户的至少一个特征部位。用户的特征部位是指当前操作用户被拍摄的图像中能够被显著识别的部位。例如面部、双肩等。在本实施例中，所述特征部位为面部。人体的部位相互之间具有固定的相对位置关系，例如头部固定在双肩之上，手部在肩部与身体相接。

获取用户的特征部位是为了获得一个相对固定的参照部位。

可以理解，在其他实施例中，在保证特征部位能够作为相对固定的参照部位的基础上，还可以利用设于用户身上的外部标签作为所述特征部位。比如该外部标签可以包括特定的特征图案，能被识别为某一身体部位。例如佩带在用户左胸位置的心形图案标签，能够指示身体的左胸的位置。

所述特征部位的位置为头部的中心点的位置，所述头部的中心点的位置根据具有深度信息的图像获得。

步骤S102：以所述特征部位所在位置为参考，生成与所述特征部位的位置具有固定相对位置关系的虚拟操作空间。所述虚拟操作空间的至少一个截面与所操作的图像界面相互映射。

在步骤S101的基础上，能够以获得的特征部位所在位置为参考，来生成一个与特征部位的位置具有固定相对位置关系的虚拟操作空间。参考图2，以所述特征部位为头部100为例，从头部100所在位置向前延伸一段距离并取一个封闭的空间作为虚拟操作空间200。用户的手势在操作空间200内被检测和识别，并进行位置的映射。

一般地，利用图像识别的方法可以获得较完整的平面图像信息。本实施例由于还涉及空间位置关系，因此要采用可以获得深度信息的图像处理方法。对于包含深度信息的图像，称为RGBD图像。RGBD图像中包含了所拍摄物体与摄像装置之间的距离信息。

对于用户的特征部位头部100来说，其深度信息一般是指面部与摄像装置之间的距离。为简单起见，面部上的深度信息可以忽略，认为整个面部在一个平面上。因此可以用一个平面的范围来界定面部的位置，也可以简单地利用一个中心点指代面部的位置。

界定了面部的位置后，就可以在相对于面部位置的具有固定位置关系的位置生成虚拟操作空间200。该固定位置关系可以是由基本的平移、翻转动作得到。一般地，该固定位置关系能够保证虚拟操作空间200位于用户身前手臂可活动范围内。

虚拟操作空间200是本实施例的方法所界定的一个空间范围，用户的手势的移动可在该空间范围内被识别。并且手势在一个平面范围内的移动可以对应到图像界面上的光标的移动。图2中，虚拟操作空间200是一个封闭的立方体空间。在面对用户面部的截面202上，其上的坐标与图像界面的位置形成映射。截面202限制的范围可以设定为适合手臂的左右活动范围。例如1280毫米×960毫米的范围内。

可以理解，该截面202可以随用户的手势前后移动(沿z轴)而变化，对于立方体空间来说，截面202前后移动时，x-y平面限制的范围并不会发生变化，可以始终与图像界面保持一致的对应关系。

可以理解，虚拟操作空间200还可以是封闭的圆筒形空间、球形空间或椭球形空间等。这些空间与上述立方体空间的不同在于，可以适用于圆形或椭圆形的图像界面。并且，截面与图形界面的对应关系可能随着用户手势的前后移动发生相应的变化。

步骤S103：检测用户手势在所述截面中的位置，并根据映射关系转换为所述图像界面上的光标的位置。

在截面202所限制的范围内，可以建立平面坐标系来表示截面202范围内的所有点的位置，也就可以根据检测到手势的来确定手势在截面202范围内的位置，进而根据前述的映射关系获得屏幕光标的位置。当用户移动手势时，光标就可以相应地在图像界面上移动。

上述实施例的方法，由于是根据用户的特征部位确定一个固定参考位置，然后再由该特征部位获得一个虚拟操作空间。当用户移动身体时，该虚拟操作空间始终跟随特征部位进行相应的移动，这样就可以把虚拟操作空间始终保持在用户的手臂能够舒适操作的范围内。而且由于建立了虚拟操作空间中的截面与图像界面的映射关系，能够非常精确地控制屏幕光标的移动。

进一步地，在所述获取用户的至少一个特征部位的步骤之前，还包括检测激活手势的步骤；所述激活手势用于激活生成所述虚拟操作空间。激活手势用于告知系统需要进行手势操作，随后的整个过程都要持续检测用户的手势代表的各种指令。

可以理解，本实施例的方法并不必须包含提供处理激活手势的步骤，也可以采用面部识别进入手势操控状态。

进一步地，还包括检测结束手势的步骤；所述结束手势用于取消所有的手势检测。结束手势用于告知系统不再需要进行手势操作，随后的手部动作均不再被检测并解析为相关的指令执行。

可以理解，本实施例的方法并不必须包含提供处理结束手势的步骤，也可以用其他方式来关闭手势操控状态。

以下结合具体的实例对上述的手势操作方法和屏幕光标定位方法进行详细的说明。该实例用于解释上述实施例的方法，不构成对上述实施例方法的限制。

如图3所示，用于实施上述方法的系统包括但不限于：显示器1、摄像装置2以及处理系统(图未示，可以内置于显示器1中或外接)。显示器1用于显示屏幕图像，摄像装置2用于拍摄用户3的动作，处理系统则用于获得摄像装置2的图像数据，然后执行上述实施例的方法。当然，处理系统还可以执行其他的方法。

当用户3观看显示器1呈现的内容时，可以利用手势与显示界面进行交互。摄像装置2可以被配置为随时捕捉用户3的行为，包括：用户3进入摄像区域后，定位用户3的头部位置；检测用户3抬手做出的激活手势(例如摆手、竖起大拇指等)。

当处理系统检测到用户3的激活手势后，就根据用户3头部的位置和当前手部的位置为参考生成一个虚拟操作空间。在用户3面前的位置，以手掌中心的位置向外扩展延伸成一定范围的平面(x-y平面)，然后以头部朝向(z方向)为参考前后延伸形成虚拟操作空间。用户3在该虚拟操作空间内用于操作屏幕光标的手势均有效，也即用户3在x-y平面内的移动均被映射到显示器1的屏幕上，使得用户3手部在虚拟操作空间内移动时，显示器1的图像界面上的光标随之对应的移动，而用户3手部超出虚拟操作空间的范围后，屏幕光标就会停在最后屏幕边缘处。

当用户3从当前位置移动到另外的位置的时候，其头部的位置一般会随之移动，而上述的虚拟操作空间则以一个相对固定的方式随着用户3的头部移动到新的位置。然后用户3就可以在处于新的位置上的虚拟操作空间中继续使用手势进行操作，因为该虚拟操作空间的位置与手臂的相对位置基本没有变化，因此操作上，从用户3的体验来说并没有太大的差别。

当用户3从当前位置移动到另外的位置的时候，用户3也可以利用激活手势重新确定新的虚拟空间。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种手势操作方法，包括如下步骤：

获取用户的至少一个特征部位；

以所述特征部位所在位置为参考，生成与所述特征部位的位置具有固定相对位置关系的虚拟操作空间；

检测所述虚拟操作空间中的手势，并执行相应的操作。

2.根据权利要求1所述的手势操作方法，其特征在于，所述特征部位包括头部和手部，所述虚拟操作空间的位置始终跟随头部的位置，并参照具有激活手势的手部位置进行固定。

3.根据权利要求2所述的手势操作方法，其特征在于，以所述头部的中心点的位置代表头部的位置，所述头部的中心点的位置根据具有深度信息的图像获得。

4.根据权利要求3所述的手势操作方法，其特征在于，所述虚拟操作空间为封闭的立方体空间、球形空间或椭球形空间。

5.根据权利要求1所述的手势操作方法，其特征在于，还包括检测结束手势的步骤；所述结束手势用于取消所有的手势检测。

6.一种利用手势定位屏幕光标的方法，包括如下步骤：

获取用户的至少一个特征部位；

以所述特征部位所在位置为参考，生成与所述特征部位的位置具有固定相对位置关系的虚拟操作空间；所述虚拟操作空间的至少一个截面与所操作的图像界面相互映射；

检测用户手势在所述截面中的位置，并根据映射关系转换为所述图像界面上的光标的位置。

7.根据权利要求6所述的利用手势定位屏幕光标的方法，其特征在于，所述特征部位包括头部和手部，所述虚拟操作空间的位置始终跟随头部的位置，并参照具有激活手势的手部位置进行固定。

8.根据权利要求7所述的利用手势定位屏幕光标的方法，其特征在于，以所述头部的中心点的位置代表头部的位置，所述头部的中心点的位置根据具有深度信息的图像获得。

9.根据权利要求8所述的利用手势定位屏幕光标的方法，其特征在于，所述虚拟操作空间为封闭的立方体空间、球形空间或椭球形空间。

10.根据权利要求6所述的利用手势定位屏幕光标的方法，其特征在于，还包括检测结束手势的步骤；所述结束手势用于取消所有的手势检测。

11.一种手势系统，其特征在于，包括：

摄像装置，用于摄取用户手势；

显示器，用于显示屏幕画面及屏幕光标；

处理系统，用于执行权利要求1～5任一项所述的手势操作方法及权利要求6～10任一项所述的利用手势定位屏幕光标的方法。