CN106383583B - 用于隔空人机交互的控制虚拟物体精确定位的方法与系统 - Google Patents

Abstract

本发明公开了一种用于隔空人机交互的控制虚拟物体精确定位的方法，包括以下步骤：S1、在第一映射模式下，利用第一动作控制虚拟物体进入目标定位区域；S2、执行精确定位触发动作，触发第二映射模式；S3、在第二映射模式下，利用第二动作控制虚拟物体进行精确定位。本发明通过设置两种不同的映射模式，分别对应于用动作控制虚拟物体在向目标位置移动时的粗调与细调过程，实现对目标位置的快速、精确定位，其操作的便捷性高，给用户带来更佳的交互体验。

Description

用于隔空人机交互的控制虚拟物体精确定位的方法与系统

技术领域

本发明涉及计算机以及数字图像处理领域，尤其涉及一种用于隔空人机交互的、用身体动作控制虚拟物体精确定位的方法与系统。

背景技术

人机交互技术在不断发展，由第一代的鼠标加键盘的人机交互已经进化到目前第二代的触摸交互技术，但随着科技的不断革新，第三代基于手势或身体动作的隔空人机交互将会日益受到人们的关注。

利用人体动作交互技术控制电视、计算机等设备将会成为重要的应用方向，目前已有例如体感游戏、试衣、购物等应用。在这些应用中，用户体验至关重要。与鼠标以及触摸交互相比，身体动作交互的优势在于更加自然、可以远离设备进行隔空操作，同时操作范围及幅度较大；然而缺点则由于人体动作的随意性会导致很难实现精确的定位，比如利用手势浏览网页或者选择文字时就需要花费很多的时间进行准确定位，就会给用户带来较差的使用体验，因此提出一种人体动作控制虚拟物体精确定位方法显得十分必要。

发明内容

本发明目的是为解决人体动作控制虚拟物体难以实现精确定位的问题。

本发明的技术问题通过以下的技术方案予以解决：

一种用于隔空人机交互的控制虚拟物体精确定位的方法，包括以下步骤：S1、在第一映射模式下，根据识别到的用户的第一动作，控制虚拟物体进入目标定位区域；S2、根据识别到的用户的精确定位触发动作，触发第二映射模式；S3、在第二映射模式下，根据识别到的用户的第二动作，控制虚拟物体进行目标位置的精确定位；其中，所述第一映射模式为所述第一动作控制虚拟物体向所述目标位置移动时的粗调过程；所述第二映射模式为所述第二动作控制虚拟物体向所述目标位置移动时的细调过程。

优选地，所述第一映射模式，包括第一动作的移动速度与虚拟物体移动速度处于第一映射关系，所述第二映射模式，包括第二动作的移动速度与虚拟物体移动速度处于第二映射关系；所述第一映射关系与所述第二映射关系不同。

优选地，所述第一映射模式，包括虚拟物体大小与目标定位区域的大小处于第一比例关系；所述第二映射模式，包括虚拟物体大小与目标定位区域的大小处于第二比例关系；所述第一比例关系与第二比例关系不同。

如上所述的第一映射关系、第二映射关系、第一比例关系和第二比例关系均可预先调节。

优选地，所述第一动作、触发动作、第二动作均为三维空间动作。

如上所述的第一动作、触发动作、第二动作可以是至少如下之一：人体四肢或躯干或头部的身体动作和面部表情。

优选地，当这些动作为手部做出的动作时，又称为手势，即第一手势、第二手势、触发手势。但此时所说的手势不同于传统的二维触摸屏上进行的触摸手势，而是一种三维手势。

进一步地优选，执行所述触发手势的手与执行所述第一手势的手相同或不同；当执行所述触发手势的手与执行所述第一手势的手相同时，所述触发手势与所述第一手势不同；当执行所述触发手势的手与执行所述第一手势的手不同时，所述触发手势与第一手势相同或不同。

进一步地优选，所述触发手势为停顿。

优选地，所述的控制虚拟物体精确定位的方法，还包括如下步骤：S4、在精确定位后，利用第三动作执行对目标的操作。

如上所述第三动作与所述第一动作或/和所述第二动作不同，优选地，所述第三动作包括单击、双击、选取、复制操作。

本发明还包括一种用于隔空人机交互的控制虚拟物体精确定位的系统，包括图像采集器、处理器以及显示器；其中，图像采集器用于获取包含人体动作的图像；处理器用于检测及识别人体动作，并利用上述方法控制虚拟物体精确定位；显示器用于显示定位界面以及动作定位过程。

本发明与现有技术对比的有益效果是：

本发明的一种身体动作控制虚拟物体精确定位的方法，通过设置两种不同的映射模式，实现控制虚拟物体在向目标位置移动时的粗调与细调过程，通过精确定位触发动作，实现两种映射模式的转换；实现对目标位置的快速、精确定位，其操作的便捷性高，能给用户带来更佳的交互体验。

附图说明

图1为用于隔空人机交互的控制虚拟物体精确定位的方法的流程图。

具体实施方式

一种用于隔空人机交互的控制光标精确定位的方法，其流程图如图1所示，包括以下步骤：S1、在第一映射模式下，根据识别到的用户的第一动作，控制虚拟物体进入目标定位区域；S2、根据识别到的用户的精确定位触发动作，触发第二映射模式；S3、在第二映射模式下，根据识别到的用户的第二动作，控制虚拟物体进行目标位置的精确定位；S4、在精确定位后，利用第三动作执行对目标的操作。

包含手势或体感的人体交互技术即利用相机采集人体的图像并通过分析图像识别出人体动作的意图，从而实现对其他机器或设备的交互。人体的图像主要分为二维图像(如RGB图像、红外图像等)以及三维深度图像。由于利用深度摄像头获取的深度图像反应的是人体的三维信息，因而能更加准确地识别出人体动作。人体动作又包括人体四肢、躯干、头部的动作以及面部表情等。在以下实施例中，人体的动作均指可以利用深度摄像头进行识别的三维空间动作。

利用人体动作控制虚拟物体与传统的鼠标控制虚拟物体的差别在于：人体动作移动不会像鼠标那么精确，比如想要利用手势将虚拟物体从屏幕左上角移动到右下角一个非常小的位置(比如两个文字之间)，由于全程虚拟物体的移动速度与手势的移动速度关系是固定不变的，往往只能很快速地移动到目标位置附近，再想精确地将虚拟物体移到目标位置点处，就需要花费不少的时间，其时间远远超过了鼠标所用的时间，特别是当手势操控一段时间后人手比较累的情形下。

本发明中所指的虚拟物体一般指由计算机程序创建的虚拟化的物体，比如光标、程序、文档、虚拟物品等等。

本发明中提到的虚拟物体定位是指将虚拟物体移动到用户想要的位置上，人体动作控制的功能类似计算机的鼠标。

在硬件上需要一台计算机以及深度相机，深度相机与计算机相连，并且默认已经编写了对应的适配以及人体动作控制虚拟物体的程序。在其他实施例中，计算机也可以被其他智能设备比如智能电视、平板或者手机代替，深度相机与这些智能设备可以是独立存在并通过数据线连接，也可以将深度相机与智能设备集成在一个设备中。

实施例1

本实施例中，利用手势控制虚拟物体精确定位的方法，包括以下步骤。

1、在第一映射模式下，利用第一手势控制虚拟物体进入目标定位区域；

当前用预先定义的第一手势(比如竖起右手掌并朝向显示器)来控制虚拟物体的移动，并将其移动到目标位置附近，即目标定位区域(在某些情形下，用手势能直接将虚拟物体移动到目标位置，本发明关注的是另外一种更加普遍的情形，即利用手势只能将虚拟物体直接快速地移动到目标位置附近)。这里所说的目标定位区域，指的是以当前虚拟物体为中心的一定范围的显示区域，可以是圆形、方形或者其他形状。区域的大小设置可以通过实验的方式来确定，即指定目标位置后，让多名实验者用手势快速控制虚拟物体从不同的位置移动至目标位置附近，统计下每次虚拟物体移动后离目标位置的距离，将该距离取平均值做为目标定位区域的半径。

手势的移动与虚拟物体的移动之间的对应关系也预先定义。一般来说，虚拟物体的移动方向与手势的移动方向一致，但虚拟物体的移动速度则与手势的移动速度之间则设置成非线性关系，比如当手势移动速度较为缓慢时，虚拟物体移动速度与手势移动速度相同；当手势移动速度较快时，虚拟物体的移动速度要大于手势的移动速度。这种设置的好处在于：当显示屏幕较大时，利用较小的手势移动幅度就能实现较大幅度的虚拟物体移动。

此外，虚拟物体大小也预先定义，当目标定位区域大小确定后，虚拟物体大小与目标定位区域大小之间有一个比例关系。

将第一手势的移动速度与虚拟物体的移动速度之间的映射关系以及虚拟物体大小与目标定位区域大小之间的比例关系称为当前手势控制的第一映射模式。

2、执行精确定位手势，触发第二映射模式；

当虚拟物体被移动到目标定位区域后，执行精确定位触发手势，比如将右手手掌向前移动一段距离(或者右手握拳，也可以利用左手手势)。特别注意的是，可以由程序自动触发第二映射模式，比如利用第一手势移动到目标定位区域后，停顿一段时间，则默认触发第二映射模式，此时的精确定位手势即是由第一手势+停顿的组合，停顿的时间一般为2-5s。执行了该精确定位触发手势后，将触发第二映射模式。

3、在第二映射模式下，利用第二手势控制虚拟物体进行精确定位；

第二映射模式被触发后，用第二手势就可以准确地将虚拟物体移动到目标位置从而实现精确定位。具体地，为了更加精确地利用手势控制虚拟物体的移动，手势的移动速度与虚拟物体的移动速度之间的映射比例减小，即与第一映射模式下相比，相同的手势移动幅度下虚拟物体移动幅度变小，以便于准确控制虚拟物体移动。

此外，虚拟物体大小与目标定位区域大小比例关系也将改变，主要有以下几种情形：

虚拟物体大小不变，目标定位区域被放大；

虚拟物体变大，目标定位区域也被放大；

虚拟物体变小，目标定位区域不变；

虚拟物体变小，目标定位区域被放大；

以上几种情形下，虚拟物体大小与目标定位区域大小的比例较之于第一映射模式下均变小。这样做的好处是，会更加有利于利用手势控制虚拟物体进行准确的定位。

总的来说，第二映射模式下，手势的移动速度与虚拟物体的移动速度之间的映射以及虚拟物体大小与目标定位区域的大小之间的比例关系均变小。

第二映射模式下，采用的第二手势一般与第一映射模式下的控制虚拟物体移动的第一手势相同，即竖起右手掌并朝向显示器，当然也可以是其他的手势，在此不做限定。

4、在精确定位后，利用第三手势执行对目标的操作。

通过如上的精确定位之后，就可以实施对该定位目标的操作了。比如单击、双击、选取、复制等，可以通过另外的手势来控制该操作，比如利用将右手由手掌变成握拳即执行单击操作，或者通过左手的手势来执行这些操作，也可以由第二手势在目标位置停顿一段时间则自动执行对目标的操作，即为第二手势+停顿的组合，在此不做限定。

在本实施例中，第一映射与第二映射模式下对虚拟物体的操作一般由一个动作来操控。但在实际操作过程中，比如在利用第一手势控制虚拟物体时，会出现由第二手势，此时，程序会自动对第二手势进行屏蔽。即在当前映射模式下仅识别与其对应的动作。

实施例2

本实施例是与上述实施例1相配合的一种手势控制虚拟物体精确定位的系统，包括深度图像采集器、处理器以及显示器。其中，深度图像采集器用于获取包含手势所在空间的深度图像；处理器用于检测及识别手势，并执行实施例1所述手势控制虚拟物体精确定位的方法；显示器用于显示定位界面以及手势定位过程。

上述两个实施例中的“手势”，可以用其他身体动作来代替，比如：腿脚动作、头部动作、躯干动作等。

以上内容是结合具体的/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施例做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (9)

1.一种用于隔空人机交互的控制虚拟物体精确定位的方法，其特征在于，包括以下步骤：

S1、在第一映射模式下，根据识别到的用户的第一动作，控制虚拟物体进入目标定位区域；

S2、根据识别到的用户的精确定位触发动作，触发第二映射模式；

S3、在第二映射模式下，根据识别到的用户的第二动作，控制虚拟物体进行目标位置的精确定位；

所述第一映射模式，包括第一动作的移动速度与虚拟物体移动速度处于第一映射关系，所述第二映射模式，包括第二动作的移动速度与虚拟物体移动速度处于第二映射关系；所述第一映射关系与所述第二映射关系不同；所述第二映射关系与所述第一映射关系相比，相同的动作移动幅度下虚拟物体移动幅度变小。

2.根据权利要求1所述的控制虚拟物体精确定位的方法，其特征在于，所述第一映射模式，包括虚拟物体大小与目标定位区域的大小处于第一比例关系；所述第二映射模式，包括虚拟物体大小与目标定位区域的大小处于第二比例关系；所述第一比例关系与第二比例关系不同。

3.根据权利要求1所述的控制虚拟物体精确定位的方法，其特征在于，所述第一动作、触发动作、第二动作均为三维空间动作。

4.根据权利要求1所述的控制虚拟物体精确定位的方法，其特征在于，所述第一动作、第二动作、触发动作均为手部做出的手势，即为第一手势、第二手势、触发手势。

5.根据权利要求4所述的控制虚拟物体精确定位的方法，其特征在于，执行所述触发手势的手与执行所述第一手势的手相同或不同；

当执行所述触发手势的手与执行所述第一手势的手相同时，所述触发手势与所述第一手势不同；当执行所述触发手势的手与执行所述第一手势的手不同时，所述触发手势与第一手势相同或不同。

6.根据权利要求4所述的控制虚拟物体精确定位的方法，其特征在于，所述触发手势为停顿。

7.根据权利要求1所述的控制虚拟物体精确定位的方法，其特征在于，还包括以下步骤：

S4、在精确定位后，利用第三动作执行对目标的操作。

8.根据权利要求7所述的控制虚拟物体精确定位的方法，其特征在于，所述第三动作包括单击、双击、选取、复制中的一种或多种。

9.一种用于隔空人机交互的控制虚拟物体精确定位的系统，其特征在于，包括深度图像采集器、处理器以及显示器；其中，深度图像采集器用于获取包含人体动作的深度图像；处理器用于检测及识别人体动作，并利用权利要求1-8中任一所述的方法控制虚拟物体精确定位；显示器用于显示定位界面以及动作定位过程。