CN105843371A - 人机隔空交互方法及系统 - Google Patents

Abstract

本发明公开了一种人机隔空交互方式及系统，该方法包括：检测用户抬起的手的第一空间位置，确定所述第一空间位置在当前操作空间中的子空间坐标及对应的子空间标识；确定与所述子空间标识对应的目标元素标识；检测所述用户的手的进一步操控动作，确定所述用户的动作类型；控制对所述目标元素标识对应的目标元素执行与所述动作类型对应的控制操作；其中，所述子空间标识与所述目标元素标识一一对应。这样用户的手在子空间中的控制动作即是对这个子空间对应的目标元素的控制，也就是，手在子空间中，也就意味着已经选中了与其对应的目标元素，有效解决了现有技术中由于用户手存在自然抖动，导致无法快速选中目标元素，降低用户体验度的问题。

Description

人机隔空交互方法及系统

技术领域

本发明涉及人机交互技术领域，特别是涉及一种人机隔空交互方法及系统。

背景技术

现有技术中，通常采用模拟鼠标方式实现人机隔空交互：先获取操控空间中图像数据，追踪用户手的空间位置，然后将手在这个操控空间中的空间坐标变换成鼠标在操控显示界面上的像素坐标，最后以鼠标操控的方式来执行对目标元素的操作。

然而，由于用户的手存在自然抖动，无法实现在计算机上鼠标那样精细地选取和移动，导致无法快速准确地选中目标元素，降低了用户体验度。

发明内容

有鉴于此，本发明提供了一种人机隔空交互方式及系统，以解决现有技术中由于用户的手存在自然抖动，导致无法快速选中目标元素，降低用户体验度的问题。

为解决上述技术问题，本发明提供一种人机隔空交互方法，包括：

检测用户抬起的手的第一空间位置，确定所述第一空间位置在当前操作空间中的子空间坐标及对应的子空间标识；

参考预存子空间标识与操控显示界面中目标元素标识的对应关系，确定与所述子空间标识对应的目标元素标识，以实现子空间与目标元素之间的映射；

检测所述用户的手的进一步操控动作，依据所述进一步操控动作，确定所述用户的动作类型；

参考预存动作类型与控制操作的对应关系，控制对所述目标元素标识对应的目标元素执行与所述动作类型对应的控制操作；

其中，所述子空间标识与所述目标元素标识一一对应。

上述方法中，优选的，当检测到所述子空间坐标在至少两个子空间标识之间来回切换时，还包括：

利用第一预设算法，修正所述用户的手的子空间坐标及对应的子空间标识；

确定与所述修正的子空间标识对应的目标元素标识；

执行检测所述用户的手的进一步操控动作及后续相关控制操作。

上述方法中，优选的，通过以下步骤修正所述用户的手的子空间坐标及对应的子空间标识：

确定当前子空间坐标；

计算所述当前子空间坐标到当前子空间的中心点的距离；

比较所述距离与预设动态边界阈值的大小；

当所述距离大于所述预设动态边界阈值时，确定预存的上一个子空间坐标为修正的子空间坐标；

否则，确定所述当前子空间坐标为修正的子空间坐标。

上述方法中，优选的，通过以下步骤确定所述第一空间位置在当前操作空间中的子空间坐标及对应的子空间标识：

检测用户抬起的手的第一空间位置，确定所述第一空间位置的空间坐标；

当所述第一空间位置在所述当前操作空间内时，利用第二预设算法，确定所述空间坐标的子空间坐标；

参考预存子空间坐标与子空间标识的对应关系，确定所述子空间坐标对应的子空间标识。

上述方法中，优选的，所述检测用户抬起的手的第一空间位置之前，还包括：

实时获取并解析摄像头可视空间内场景的图像数据，得到所述场景中用户的体型信息；

利用所述操控显示界面尺寸和所述体型信息，实时动态地构建所述当前操控空间，所述操作空间的尺寸与所述操控显示界面和所述用户的体型相适应；

其中，所述操作空间的尺寸包括：宽度、纵深及高度；所述体型信息包括：臂长、肩宽及左、右肩膀位置。

上述方法中，优选的，通过以下步骤利用所述操控显示界面尺寸和所述体型信息，构建所述当前操控空间：

判断所述用户是否抬起左手；如果是，则建立以左肩膀为原点的坐标系；如果否，则建立以右肩膀为原点的坐标系；

利用所述用户的肩宽和臂长，确定所述操作空间的宽度；

利用所述用户的臂长，确定所述操作空间的纵深；

参考所述操控显示界面的宽高比，确定所述操作空间的高度；

利用确定的所述操作空间的宽度、纵深及高度，在所述坐标系中构建所述当前操控空间。

上述方法中，优选的，还包括：

参考所述操控显示界面中所有目标元素的分布情况，划分所述操控空间，得到与各个所述目标元素对应的子空间；

为各个所述目标元素分配各自的目标元素标识；

为所述各个目标元素对应的子空间分配各自的子空间标识；

保存各个所述子空间标识与所述目标元素标识的对应关系。

上述方法中，优选的，还包括：

当所述第一空间位置不在当前操作空间内时，生成并显示相应的手超出操作空间的提示信息。

上述方法中，优选的，当所述用户为两个或两个以上的用户时，分别构建与每个用户对应的当前操作空间。

本发明还提供了一种人机隔空交互系统，包括：

子空间坐标及对应标识确定单元，用于检测用户抬起的手的第一空间位置，确定所述第一空间位置在当前操作空间中的子空间坐标及对应的子空间标识；

目标元素标识确定单元，用于参考预存子空间标识与操控显示界面中目标元素标识的对应关系，确定与所述子空间标识对应的目标元素标识，以实现子空间与目标元素之间的映射；

动作类型确定单元，用于检测所述用户的手的进一步操控动作，依据所述进一步操控动作，确定所述用户的动作类型；

控制执行单元，用于参考预存动作类型与控制操作的对应关系，控制对所述目标元素标识对应的目标元素执行与所述动作类型对应的控制操作；

其中，所述子空间标识与所述目标元素标识一一对应。

以上本发明所提供的人机隔空交互方法及系统中，利用在当前操作空间中划分的子空间，且子空间与应用程序的操控显示界面中的目标元素一一对应，这样用户的手在子空间中的控制动作即是对这个子空间对应的目标元素的控制，也就是，手在子空间中，也就意味着已经选中了与其对应的目标元素，这时，即使手存在自然的抖动，也不会影响对目标元素的准确选取，有效解决了现有技术中由于用户手存在自然抖动，导致无法快速选中目标元素，降低用户体验度的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明一种人机隔空交互方法实施例1的流程图；

图2为本发明一种人机隔空交互方法实施例1的一种应用场景示意图；

图3为本发明一种人机隔空交互方法实施例2的一种流程图；

图4为本发明一种人机隔空交互方法实施例2的另一种流程图；

图5为本发明一种人机隔空交互方法实施例3的流程图；

图6为本发明一种人机隔空交互方法实施例4的一种流程图；

图7为本发明一种人机隔空交互方法实施例4的另一流程图；

图8为本发明一种人机隔空交互方法实施例5的流程图；

图9为本发明一种人机隔空交互方法实施例6的一种应用场景示意图；

图10为本发明一种人机隔空交互系统实施例1的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的核心是提供一种人机隔空交互方式及系统，以解决现有技术中由于用户的手存在自然抖动，导致无法快速选中目标元素，降低用户体验度的问题。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

本发明所提供的技术方案中，利用物理空间中人体的关键点信息，实时动态地建立一个虚拟的操控空间，并根据计算机中可操控元素对操控者关键点所在的操控空间进行实时划分，将划分的子空间与可操控目标元素形成一个动态的对应关系，从而达到人在物理空间中任意移动的条件下，在人手可触及范围内，形成一个虚拟交互环境，实现对计算机可操控目标元素的隔空交互控制，并且能按照不同策略支持多人同时进行隔空交互操控。

本发明能够应用在任何一种能连接深度数据设备的计算机上，典型的深度数据设备有微软的Kinect和华硕的Xtion等，能与深度数据设备相连接的计算机系统如个人电脑、平板、手机、机顶盒、智能电视等。本发明的操控方法具有很高的实时性、灵活性和稳定性，可应用于多种嵌入式设备上。

本发明的关键内容承载于人机隔空交互应用软件服务程序中(后简称软件服务)，该软件服务通过操作系统的驱动程序支持，获取到深度摄像头所采集到的深度数据。软件服务由关键点追踪模块、多人切换管理模块、空间分割模块、子空间计算模块、边界管理模块、自稳定模块组成，这几个软件模块相互配合来完成对计算机的控制。

本发明的软件服务可以以系统服务的形式(client-server)，也可以以软件库(library)的形式支持多个不同的具体应用软件。组成软件服务的模块中，关键点追踪模块是以第三方的插件形式集成在软件服务当中。具备识别人体并追踪人体关键点功能的软件包括但不限于微软公司Kinect SDK、PrimeSense公司的NITE、SoftKinect公司的Lisu等。关键点追踪模块可以合并到摄像机硬件中，也可以分开运行在系统内存中。

参考图1，示出了本发明一种人机隔空交互方法实施例1的流程图，该方法具体可以包括以下步骤：

需要说明的是，本发明所提供的技术方案既支持单人应用，也支持多人应用，多人切换管理模块根据当前的应用场景需求(是单人还是多人应用)，以及当前场景中的用户数量，确定当前的操控模式。在操控模式确定之后，软件服务对场景中的每个单独的用户，进行下面的数据处理流程。

步骤S100、检测用户抬起的手的第一空间位置，确定所述第一空间位置在当前操作空间中的子空间坐标及对应的子空间标识；

需要说明的是，本发明中，执行上述步骤S100的前提是，所述第一空间位置处于当前操作空间中；针对所述第一空间位置不在当前操作空间内的情况，则生成并显示相应的手超出操作空间的提示信息，以提醒用户更正操作，具体地，软件服务检测到手超出操控空间边界的典型场景，这种场景下，由软件服务的边界管理模块来发送相应的指令，使得计算机系统操作界面上会出现相应的变化，反馈给操作者手已超出控制区域的提示，这个要分两种情况来讨论：

第一种情况，当用户的手抬起太高、太低、向两侧伸得太直的情况，已超出操控空间边界，但是没超出摄像头的可视视野，摄像头仍然能够追踪到用户的手的位置。这个时候，仍然认为手处于有效区域，软件服务的边界管理模块会向操作系统发出指令，让计算机显示界面显示一个特殊的信息来提示用户，典型的实施方式就是在用户超出的方向显示一个高亮的弧形元素，例如用户手抬得太高，则在显示界面正上方出现一个高亮弧形元素，太低则显示在正下方；若用户注意到此提示，将手移回操控空间，则弧形元素马上消失，可操控的界面上的元素会重新做出响应。

第二种情况，用户的手高过摄像头可视角度，已经超出了摄像头的有效范围，这种场景通常出现在用户体型特别高大、用户距离摄像头太近、摄像头摆放位置不正确的时候。对于这样的场景，本发明能检测到用户处于无效操作区域并对具体情况(身体太高、身体太近等)加以辨识，然后在显示界面以显著的文字或符号的方式通知用户，给出用户的调整建议。例如用户体型特别高大的场景，会提示用户将摄像头角度做出相应调整；用户距离摄像头特别近的场景，会提示用户往后退直到一个较为理想的操控位置；摄像头摆放位置不正确或摄像头被物体遮挡的情况，会提示用户请检查摄像头的摆放位置。

步骤S101、参考预存子空间标识与操控显示界面中目标元素标识的对应关系，确定与所述子空间标识对应的目标元素标识，以实现子空间与目标元素之间的映射；

具体地，对每个子空间和对应的目标元素进行编号，一个子空间分配一个目标元素的索引ID值，这样就完成了操控空间中子空间与显示界面目标元素之间的映射关系。

参考图2，示出了本发明一种人机隔空交互方法实施例1的一种使用场景示意图，用户210在深度摄像机201的可视空间202内的任意位置，在不需要接触或佩戴任何物理设备的情况下，通过手势或身体动作和计算机203进行交互。深度摄像机201是能够获得场景的三维深度数据的设备，包括但不限于Kinect、Xtion等红外深度传感器、双目RGB深度摄像机等产品。深度摄像机201和计算机相203连接，连接方式包括但不限于USB接口、WiFi、蓝牙等连接方式。显示设备204显示用户界面，包括但不限于电视机、显示器、投影、大屏幕设备等。显示设备与计算机相连，连接方式包括但不限于HDMI、VGA、无线方式等，也可以是二者以一体机的形式出现。

具体地，显示界面中包含1×2形式的第一目标元素208和第二目标元素209，相应的，在操作空间205中划分出了1×2形式的第一子空间206和第二子空间207；其中，第一目标元素208与第一子空间206相对应，第二目标元素209与第二子空间207相对应；

步骤S102、检测所述用户的手的进一步操控动作，依据所述进一步操控动作，确定所述用户的动作类型；

其中，所述用户的手的进一步操控动作，是相对上述提及的第一空间位置而言的，也就是在完成操控空间中子空间与界面显示目标元素之间的映射之后，用户执行的操控动作，该操作动作为预先设定的动作，可以是进一步的快速向前推、快速向右挥手、手掌抓放或者手掌旋转，也可以是停留一段时间等；实际应用中，通常采用摄像头一段时间内的若干个序列帧所追踪到的手的位置来检测用户的操控动作，然后依据追踪到的收的位置情况确定动作类型；

步骤S103、参考预存动作类型与控制操作的对应关系，控制对所述目标元素标识对应的目标元素执行与所述动作类型对应的控制操作；

其中，所述子空间标识与所述目标元素标识一一对应。

实际应用中，首先是软硬件初始化过程，将计算机和摄像机、显示设备正确连接并正确启动之后，操作系统和驱动程序会完成加载，然后软件服务会作为操作系统的一个系统服务而自动启动，也可以在用户通过硬件控制的情况下手动启动。软件服务完成正确的初始化之后，将会顺利地以一定的速率从深度摄像头获取到深度数据，并同时从具体应用软件中获取到当前的应用场景和显示内容。软件服务会将二者结合起来，通过软件服务各个模块的一系列方法，完成本发明所描述的整个隔空人机交互流程。

本发明是运行在计算机中的软件服务，该软件服务以深度摄像机采样的深度数据为输入，通过对深度数据的处理，分析出物理空间中用户身体的关键点数据，依据这些关键点，把摄像机的可视空间进行动态划分为操控空间、有效空间和无效空间，在用户的前方实时动态地虚拟一个三维的操作空间，并根据具体应用软件的操控需求动态把操作空间分成若干子空间，用户的手在子空间停留或者在子空间之间任意移动时，实时分析计算应用操控对应的目标元素，并通知该目标元素对用户的操作产生响应。

以上本发明所提供的技术方案中，利用在当前操作空间中划分的子空间，且子空间与应用程序的操控显示界面中的目标元素一一对应，这样用户的手在子空间中的控制动作即是对这个子空间对应的目标元素的控制，也就是，手在子空间中，也就意味着已经选中了与其对应的目标元素，这时，即使手存在自然的抖动，也不会影响对目标元素的准确选取，有效解决了现有技术中由于用户手存在自然抖动，导致无法快速选中目标元素，降低用户体验度的问题。

需要说明的是，本发明的子空间计算模块在响应用户的手的操控动作，确定动作类型的时候，不仅对显示界面内已显示出来的固定位置的元素进行操控，对于某些为用户手势而特别制定的动作指令，也可以完成操控。在这类动态的操控过程中，软件服务不仅仅会记录当前手所在的位置，还会记录摄像头一段时间内若干个序列帧所追踪到的手的位置，通过这个序列帧的前后关系来判断是否触发相应的操作；

比如以下典型的应用场景：当用户的手从操控空间的右边界开始，在一个相对短的时间内连续地移动到操控空间的左边界的时候，并且手在移动过程中没有碰到上边界或下边界，移动过程是一个自然的弧形轨迹，这一个序列帧所产生效果，软件服务就认为是序列一个就认为是一个切换显示界面的操作，这个时候软件服务会发送界面切换指令来完成相应的显示过程。同样的场景，用户的手也可以从上边界开始，在一个相对短的时间内连续地移动到操控空间的下边界，并且在移动过程中没有碰到左边界或右边界，也可以形成一个上下翻页的指令。

参考图3，示出了本发明一种人机隔空交互方法实施例2的一种流程图，当检测到所述子空间坐标在至少两个子空间标识之间来回切换时，还包括：

步骤S300、利用第一预设算法，修正所述用户的手的子空间坐标及对应的子空间标识；

步骤S301、确定与所述修正的子空间标识对应的目标元素标识；

步骤S302、执行检测所述用户的手的进一步操控动作及后续相关控制操作。

本发明在具体实施过程中，由于摄像头的精度、关键点追踪模块的误差和操控者的手的自然抖动等客观条件的影响，这时候软件服务获取到的手的坐标值在每时每刻都是在变化的，在具体操控的过程中，当手的位置位于操控子空间的两个元素相邻边界处，就有可能出现手的坐标值在几个子空间之间来回切换的问题，在显示界面上会表现为在几个操控元素之间来回抖动而难以操控。本发明特别地设计了自稳定模块(修正模块)，以尽可能地避免这种情况；

参考图4，示出了本发明一种人机隔空交互方法实施例2的另一种流程图，通过以下步骤修正所述用户的手的子空间坐标及对应的子空间标识：

步骤S400、确定当前子空间坐标(x_g,y_g,z_g)；

步骤S401、计算所述当前子空间坐标(x_g,y_g,z_g)到当前子空间的中心点(x_oc,y_oc,z_oc)的距离distance；

首先，初始化计算动态的行边界和列边界：

$\begin{array}{c}{\mathrm{col}}_{\mathrm{dynamic}}=(\frac{\mathrm{boundary}}{2}+1)*\mathrm{width}/2\\ {\mathrm{row}}_{\mathrm{dynamic}}=(\frac{\mathrm{boundary}}{2}+1)*\mathrm{height}/2\\ {\mathrm{depth}}_{\mathrm{dynamic}}=(\frac{\mathrm{boundary}}{2}+1)*\mathrm{depth}/2\end{array}---\left(1\right)$

单个子空间的宽度width、高度height和纵深depth分别通过公式(11)计算得出，抗抖动边界阈值boundary是根据应用场景事先设定好的，其取值范围在[0-1.0]之间，根据当前应用场景的元素密集程度而定。

其中，如果是第一次调用，则确定所述当前子空间坐标(x_g,y_g,z_g)为修正的子空间坐标(x_f,y_f,z_f)。

然后，计算当前子空间中心点坐标：

$\begin{array}{c}{x}_{\mathrm{oc}}=x_o+\frac{{\mathrm{col}}_{\mathrm{dynamic}}}{2}\\ y_{\mathrm{oc}}=y_o+\frac{{\mathrm{row}}_{\mathrm{dynamic}}}{2}\\ z_{\mathrm{oc}}=z_o+\frac{{\mathrm{depth}}_{\mathrm{dynamic}}}{2}\end{array}---\left(2\right)$

最后，计算距离distance：

distance＝max(abs(x_g-x_oc),abs(y_g-y_oc),abs(z_g-z_oc)) (3-1)

也可以使用欧氏距离公式：

$\mathrm{dis}\tan \mathrm{ce}=\sqrt{{(x_g-x_{\mathrm{oc}})}^2+{(y_g-y_{\mathrm{oc}})}^2+{(z_g-z_{\mathrm{oc}})}^2}---(3-2)$

步骤S402、比较所述距离与预设动态边界阈值的大小；当所述距离大于所述预设动态边界阈值时，进入步骤S303，否则进入步骤S304；

判断距离是否大于预设动态边界阈值

步骤S403、确定预存的上一个子空间坐标(x_o,y_o,z_o)为修正的子空间坐标(x_f,y_f,z_f)；

步骤S404、确定所述当前子空间坐标(x_g,y_g,z_g)为修正的子空间坐标(x_f,y_f,z_f)。

在某些情况下，由于显示界面元素很多，子空间的密集度会变得很高，典型的例如键盘输入的情况下，手的微小移动都会触碰到子空间的边界，因此更容易让计算出的子空间坐标来回切换，导致对应的显示界面元素有剧烈的变化，从而失去输入焦点，无法完成输入。这个时候，针对该场景增加自稳定边界阈值，可以让对应的显示界面元素变得稳定。

在自稳定模块完成修正之后，最终的手的坐标所对应的子空间坐标就确定了，软件服务一旦获知相应的子空间ID被选中，立刻能够索引到显示界面对应的元素，该子空间对应的界面元素会有预定的响应，典型的如颜色、声音、形状的变化、发光，高亮显示等。这一显示效果是由具体应用软件向驱动程序发送指令来实现的。

当软件服务获知操作界面上相应的元素对象被选中之后，在做出特别显示显示效果的过程中，如果用户的手在进行下一步的预定手势，例如停留一段时间、快速向前推、快速向右挥手、手掌抓放、手掌旋转等，该ID对应的进一步的指令将被执行，典型包括对计算机发送点击、滚动条、打开、关闭、前进、后退等事件信息，也可以包括以及为手势特别定制的交互指令。

参考图5，示出了本发明一种人机隔空交互方法实施例3的流程图，通过以下步骤确定所述第一空间位置在当前操作空间中的子空间坐标及对应的子空间标识：

步骤S500、检测用户抬起的手的第一空间位置，确定所述第一空间位置的空间坐标；

步骤S501、当所述第一空间位置在所述当前操作空间内时，利用第二预设算法，确定所述空间坐标的子空间坐标；

具体地，根据手所在的空间坐标来计算手在子空间中的坐标：

x_g＝fmod(x_hand-x_o,width)

y_g＝fmod(y_hand-y_o,height) (4)

z_g＝fmod(z_hand-z_o,depth)

其中，width、height和depth表示grid中单个子空间的宽、高和纵深，由公式(11)得到。fmod定义为浮点数模运算:

$f\mathrm{mod}(p,q)=\left[\frac{p}{q}\right]\mathrm{round\; towards\; zero}---\left(5\right)$

当计算机的显示界面发生变化的时候，软件服务会同时改变显示元素网格划分和操控空间的子空间划分，以及重新计算单个子空间单元的尺寸(长度和宽度)，以保持显示界面中目标元素与子空间对应关系。

但是对于同一个体型(身高、肩宽、臂长)的用户而言，操控空间的总体尺寸(长度和宽度)保持不变。本发明保证了对同一用户，无论在何种操作场景，都能有相同的舒适地操控体验。

步骤S502、参考预存子空间坐标与子空间标识的对应关系，确定所述子空间坐标对应的子空间标识。

参考图6，示出了本发明一种人机隔空交互方法实施例4的一种流程图，所述检测用户抬起的手的第一空间位置之前，还包括：

步骤S600、实时获取并解析摄像头可视空间内场景的图像数据，得到所述场景中用户的体型信息；

步骤S601、利用所述操控显示界面尺寸和所述体型信息，实时动态地构建所述当前操控空间，所述操作空间的尺寸与所述操控显示界面和所述用户的体型相适应；

其中，所述操作空间的尺寸包括：宽度、纵深及高度；所述体型信息包括：臂长、肩宽及左、右肩膀位置。

实际应用中，本发明的软件服务可以让用户在整个空间中任意移动，在移动的过程对计算机的操控是一致的。在用户移动的场景下，通过软件服务的关键点追踪算法，系统会时刻追踪人体的主要关节点，并重新计算操控空间。在本发明中，主要关节点包括但是不限于左右肩膀的关节点和左右手掌的关节点，也可以是人体躯干上稳定的关节点。

无论用户处于摄像头可视空间的任何位置，只要关键点追踪模块能有效地获取到几个关键的关节点的信息，空间分割模块就可以实时地(毫秒级)以用户肩膀所在区域的附近建立坐标系，形成一个与显示内容对应的操控空间，这个空间的尺寸(宽度、高度和纵深)是通过一些经验公式(11)计算得出，以保证用户可以很舒适地在此区域内完成对计算机的操控。当操作用户主动离开操控空间，例如离开摄像头可视空间或者软件服务识别到了用户的某个特殊的退出手势，软件服务会马上取消属于该用户的操控空间；反过来，新的进入摄像头可视空间的用户被关键点追踪模块追踪到关节点之后，软件服务将在新用户的肩膀周围形成新的操控空间。

在本发明的整个数据处理的流程中，一个关键步骤是如何定义用户所在的操控空间。在实际应用场景中，需要考虑不同用户的体型(如身高、臂长、肩宽等)会有很大的差别，比如低龄(儿童)用户和成年用户，这其中，低龄用户的身高、臂长、肩膀宽度的与成年用户的身高、臂长、肩膀宽度有着显著的差别，同样地，男性用户与女性用户在体型上也存在着差别。本发明的一个关键技术是操控空间的尺寸(宽度、高度和纵深)定义，会根据当前真正操控的用户的肩宽和臂长，进行动态地调整，形成一个与用户体型相对协调的舒适操控空间；这一调整过程是完全自动化的，不需要用户做任何特定的外部输入，只需要在本发明的使用场景中用户被关键点追踪模块追踪到，软件服务的空间分割模块会自动计算用户的肩宽和臂长，并可针对用户的肩宽和臂长，为当前用户定义一个舒适的操控空间。

参考图7，示出了本发明一种人机隔空交互方法实施例4的另一流程图，通过以下步骤利用所述操控显示界面尺寸和所述体型信息，构建所述当前操控空间：

步骤S700、判断所述用户是否抬起左手；如果是，则建立以左肩膀为原点的坐标系；如果否，则建立以右肩膀为原点的坐标系；

首先，初始化，追踪用户的左、右肩膀和左、右手掌的位置，获取这四个关键关节点在空间中以摄像头为原点的三维坐标，这个追踪功能可以通过关键点追踪模模块来完成，在此不再累述。

然后，判断用户是否抬手，抬手的依据是计算手与肩膀所成的直线与躯干部分的夹角值θ，若夹角θ大于一个经验值则认定为抬手。

其中，若是抬起右手，则取右肩膀在摄像机中的坐标为原点(X_shoulder,Y_shoulder,Z_shoulder)建立坐标系；抬起左手，则取左肩膀在摄像机中的坐标为原点(X_shoulder,Y_shoulder,Z_shoulder)建立坐标系；若双手都抬起，则还是以右肩膀关键点为坐标原点来建立坐标系。对于左右手同时操作的特殊应用场景，则分别以左右肩膀为原点建立两个坐标系。坐标系建立之后，需要通过坐标变换，将原来的以摄像机为原点的坐标系，变换成以肩膀为原点的坐标系。不失一般性，本发明中的描述全部都以右肩膀为参考原点来叙述，同样的结论对于左肩膀或其他人体躯干关键点也适用。

步骤S701、利用所述用户的肩宽和臂长，确定所述操作空间的宽度；

首先，计算操控空间的宽度，该宽度W_area由肩宽L_shoulder和臂长L_Arm的一个经验公式来确定：

W_area＝αL_Arm+βL_shoulder (6)

其中肩宽L_shoulder和臂长L_Arm的计算公式为：

$\begin{array}{c}{L}_{\mathrm{Arm}}=\max \left(\sqrt{{(X_{\mathrm{Righthand}}-X_{\mathrm{Rightshoulder}})}^2+{(Y_{\mathrm{Righthand}}-Y_{\mathrm{Rightshoulder}})}^2+{(Z_{\mathrm{Righthand}}-Z_{\mathrm{Rightshoulder}})}^2}\right)\\ L_{\mathrm{shoulder}}=\sqrt{{(X_{\mathrm{Rightshoulder}}-X_{\mathrm{Leftshoulder}})}^2+{(Y_{\mathrm{Rightshoulder}}-Y_{\mathrm{Leftshoulder}})}^2+{(Z_{\mathrm{Rightshoulder}}-Z_{\mathrm{Leftshoulder}})}^2}\end{array}---\left(7\right)$

其中，α和β取值范围是两个经验值，α取值一般在1.2-1.5之间，β的取值一般在0.1-0.5之间；总的约束条件是整个宽度计算的结果不能超过整个臂长，否则会导致操控空间大于人的臂长，在此情况下会出现有的元素无法操控的情况。公式(7)中L_Arm计算公式表示了手完全伸直的情况下(max函数求出最大距离)，肩膀关节点到手掌关节点的欧氏距离，L_shoulder计算公式表示了左右肩膀关节点的欧氏距离。

本发明所指定的有效空间，范围是大于操控空间的。这是因为如果将整个用户站立不动的时候手所能到达的极限范围当作操控空间，与显示内容进行对应的话，某些处于显示界面边缘的元素会难以舒适地操控到。故在这个极限距离(手臂的最大长度L_Arm)的基础上通过一个经验公式(6)来计算出操控空间的大小，经验公式的参数取值保证了用户可以非常舒适地在手臂无需完全伸直的情况下遍历所有子空间，可以顺利地操控该空间内的所有可操控元素。只要用户的手在操控空间内，移动到任何位置，显示屏幕上总是能保证有明显的内容反馈。然而，当用户手超出操控空间时，无法对计算机显示界面元素进行操控，软件服务依然保证对用户有明显的反馈。

步骤S702、利用所述用户的臂长，确定所述操作空间的纵深；

其中，纵深不能超过臂长，考虑到用户舒适操作的需求，应该是臂长的一个经验比例：

D_area＝μL_Arm，0＜μ＜1 (8)

步骤S703、参考所述操控显示界面的宽高比，确定所述操作空间的高度；

为了保证整体体验的一致性，建议操控空间的宽高比与显示界面的宽高比例保持一致，因此操控空间的高度的计算公式为：

$H_{\mathrm{area}}=\frac{H_{\mathrm{screen}}}{W_{\mathrm{screen}}}{W}_{\mathrm{area}}---\left(9\right)$

其中，显示区域的宽度W_screen和高度H_screen是软件服务已知的，对某些特殊的情况，例如键盘输入的应用场景，操控空间宽高比可以进行特殊的定制。

步骤S704、利用确定的所述操作空间的宽度、纵深及高度，在所述坐标系中构建所述当前操控空间。

实际应用中，在用户舒适的操控空间内，人的同一只手往肩膀的两侧移动的距离是不相等的，考虑到此不对称性，因此还需要对坐标原点进行一个修正，修正后的值为：

X_o＝X_shoulder+δ(X_hand-X_shoulder)/|X_hand-X_shoulder|

Y_o＝Y_shoulder+δ(Y_hand-Y_shoulder)/|Y_hand-Y_shoulder| (10)

Z_o＝Z_shoulder

其中δ为一个经验值，取值范围一般建议在肩宽的0.1-0.25之间。

参考图8，示出了本发明一种人机隔空交互方法实施例5的流程图，还包括对操作空间的子空间划分步骤：

步骤S800、参考所述操控显示界面中所有目标元素的分布情况，划分所述操控空间，得到与各个所述目标元素对应的子空间；

本发明的软件服务在完成操控空间的划分之后，紧接着要对操控空间做进一步的划分，形成若干个子空间，这个划分的结果能最终保证子空间和显示界面的元素在空间上形成对应关系；

比如，在显示界面为2x2布局的场景下，整个操控空间被自动划分成了2x2的子空间。需要说明的是，这个对应关系可以是整个界面显示元素与各个子空间的一一对应，也可以是界面部分显示元素与子空间的对应(例如多人同时操控的场景，每个人只能操控显示界面的一个子区域的元素)。

子空间划分的依据，是计算机的操作界面元素的对应位置，这些位置可以由人工事先进行标注，也可以通过一些元数据对计算机当前显示的内容进行实时图像识别，然后根据当前显示内容元素的分布情况，通过子空间分割算法得出一个合理的子空间划分。在大多数情况下，显示界面的元素都能进行典型的网格(grid)划分，网格包括但不限于矩形网格，也可以是其他非对称的多边形网格，例如操控计算机进行键盘输入即为典型的非对称网格。非对称网格通常由人工在事先进行标注，软件服务在该场景直接获得网格对象。然而，大多数操控空间的子空间划分都可以根据界面显示元素的布局进行自动化划分，这一划分是由软件服务中的子空间计算模块来完成的。

其中，显示界面元素划分流程，即区域分割算法如以下描述：

输入：显示界面内容元素的坐标P＝{p₁，p₂，…，p_n}；

输出：操控空间的网格(grid)分割{m,n}，元素的网格(grid)坐标；

步骤A：sp1＝{对集合P按x排序，并去除重复元素}，

sp2＝{对集合P按y排序，并去除重复元素}；

步骤B：n＝sp1.Length,m＝sp2.Length，

其中，Length表示去重之后的集合元素个数；

步骤C：初始化grid＝空列表；

步骤D：遍历P中的所有元素elem:

gcord＝(elem.x mod n,elem.y mod m)，

grid.appendTo(gcord)；

步骤E：返回(m，n，grid)。

获得显示界面的网格划分之后，子空间计算模块会立刻计算单个子空间的尺寸(宽、高和纵深)，计算公式为：

width＝W_area/m

height＝H_area/n (11)

depth＝D_area

这其中，W_area由公式(6)得到，H_area由公式(9)得到，D_area由公式(8)得到，m,n的值由上述区域分割算法得到；

步骤S801、为各个所述目标元素分配各自的目标元素标识；

步骤S802、为所述各个目标元素对应的子空间分配各自的子空间标识；

步骤S803、保存各个所述子空间标识与所述目标元素标识的对应关系。

具体地，一个子空间分配一个目标元素的索引ID值，这样就完成了操控空间中子空间与界面显示目标元素之间的映射关系。

本发明中的实施场景不限于单个用户的操控，也可以用于多人用户操控的应用场景。当有多个人同时处于深度摄像机的视野范围内的时候，摄像机的能同时追踪到多个人的关节点，并分辨出不同的用户。在适当的应用场景中，例如视频游戏的实时多人对抗的场景，可以实现多人同时隔空操控计算机。

当所述用户为两个或两个以上的用户时，也就是应用场景为多人模式时，每个用户正前方都会生成一个属于该用户的操控空间，即分别构建与每个用户对应的当前操作空间，这种情况下，每个构建流程对每个用户是独立的，生成的操控空间是互不影响的。

参考图9，示出了本发明一种人机隔空交互方法实施例6的一种应用场景示意图，图中，针对用户905和用户906分别构建了操控空间904和操控空间903，在用户907离开摄像头901的可视空间之后，撤销了针对用户907构建的操控空间，其中，操控空间903和操控空间904互不影响；

特别地，操控空间互不影响是本发明的一个关键技术点，由于用户可以在空间自由移动，当出现用户之间的距离很靠近的时候，其中一个用户的手很有可能达到另外一个用户的操控空间中，极端的情况可能是两个用户的操控空间发生部分重叠，这个时候，软件服务会将操控空间与用户形成一个对应关系，每次只计算该用户的手在该用户对应的操控空间内的位置，其它情况不计算，这样就做到了互不影响。然而，在多人操控的场景下，为了每个用户操控的舒适起见，软件服务还是会提示用户保持合理的间距。

和单人操作的场景不同，多人用户操作的情况下，用户的操控空间与界面显示内容的映射关系可以非常灵活，可以分为多种操控模式。例如，将显示界面划分为若干个子区域，位于物理位置左边的用户操控显示界面左边的子区域元素，位于物理位置右边的用户操控显示界面右侧子区域的元素，这称之为子区域模式；也可以让每个用户都能操控显示界面所有的显示元素，先做出有效动作者先被响应，这称之为竞争模式；还有就是多个用户操控的情况下，一个用户为主控者，其它用户为参与者，主控者操控大部分元素和动作响应，参与者只能操作屏幕子区域的元素，这成为主从模式。主控者的可以每次选择站位最优者，也可以固定为某一位置的用户。软件服务会根据具体应用场景和当前操控的人数来自动切换相应的操控模式。

多人用户操作的模式下，既要考虑用户离开的情况，也要考虑新用户加入的情况。本发明设计了多人场景下的用户切换策略，各种模式之间的变化关系和变化条件如下：

在系统初始化完成之后，软件服务先判断当前追踪到的用户人数，若只有一个人，则进入单人操控模式，若有多个人，则进入多人操控模式。

多人模式下，一旦某个操控者离开摄像头视野范围，软件服务会立即取消属于该用户的操控空间，并重新分配显示界面元素，修改当前用户数。若修改用户数之后发现只剩下一个用户操控，则切换到单用户操作的模式；

反过来，在单人操作的模式下，如果一个新的用户进入到摄像头视野并被追踪到关键点，同时当前的应用场景支持多人操作模式，则软件服务会自动切换到前面提到的两人操控模式(子区域模式、主从模式、竞争模式)中的一种。若原本已经是处于两人操控模式下，再有新的用户进入到摄像头视野，这时候，若当前应用场景支持增加用户，则进入另外一个多人模式，否则就保持当前的模式，仍然只跟踪原来的多个用户，不会为新增的用户建立操控空间。

若因为场景切换的原因，也可能导致多人模式的切换，例如从一个支持三人同时进行的视频游戏切换到了只支持两人同时进行的视频游戏，这个时候会根据站位优先级选取策略自动最合适的两名玩家，并切换到两人模式；再者，又更多的用户进入场景，则系统会进行类似的更复杂的判断策略。

在多人操控模式下，如果有人的手抬得太高或太低，超出了操控空间，也会分情况来提示用户。例如在多人子区域模式，则在该用户所负责的子区域提示用户手已出界。

与上述本发明一种更人机隔空交互方法实施例1相对应，本发明还提供了一种人机隔空交互系统实施例1，参考图10，该系统1000具体可以包括：

子空间坐标及对应标识确定单元1001，用于检测用户抬起的手的第一空间位置，确定所述第一空间位置在当前操作空间中的子空间坐标及对应的子空间标识；

目标元素标识确定单元1002，用于参考预存子空间标识与操控显示界面中目标元素标识的对应关系，确定与所述子空间标识对应的目标元素标识，以实现子空间与目标元素之间的映射；

动作类型确定单元1003，用于检测所述用户的手的进一步操控动作，依据所述进一步操控动作，确定所述用户的动作类型；

控制执行单元1004，用于参考预存动作类型与控制操作的对应关系，控制对所述目标元素标识对应的目标元素执行与所述动作类型对应的控制操作；

其中，所述子空间标识与所述目标元素标识一一对应。

综合上述本发明提供的技术方案，首先是关键点追踪模块通过深度摄像机输入数据，追踪人体关键的关节点，本发明所依赖的典型的关键点包括躯干和手臂上的关节点，例如肩膀和手掌的空间坐标。接下来多人切换管理模块根据当前的应用场景需求和用户的数量，确定当前的操控模式。然后是空间分割模块根据具体应用软件操控的需求，根据人的体型(例如身高、臂长)建模，在空间中建立一个适合用户操作的舒适的操控空间，当用户的手位于这个操控空间的时候，子空间计算模块会计算人的手所在的空间位置，这些位置可以是静态的也可以是连续帧组成的动态位置，这些位置需要自稳定模块加以进一步的处理。最后，根据需要转换为计算机的控制指令，具体的应用程序会对这些指令加以响应，从而完成对计算机的控制。特别地，对于一些特定的输入，没有对应的系统事件，由边界管理模块来给予响应，最终的效果会反应到显示界面上面。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的人机隔空交互方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种人机隔空交互方法，其特征在于，包括：

检测用户抬起的手的第一空间位置，确定所述第一空间位置在当前操作空间中的子空间坐标及对应的子空间标识；

参考预存子空间标识与操控显示界面中目标元素标识的对应关系，确定与所述子空间标识对应的目标元素标识，以实现子空间与目标元素之间的映射；

检测所述用户的手的进一步操控动作，依据所述进一步操控动作，确定所述用户的动作类型；

参考预存动作类型与控制操作的对应关系，控制对所述目标元素标识对应的目标元素执行与所述动作类型对应的控制操作；

其中，所述子空间标识与所述目标元素标识一一对应。

2.如权利要求1所述的方法，其特征在于，当检测到所述子空间坐标在至少两个子空间标识之间来回切换时，还包括：

利用第一预设算法，修正所述用户的手的子空间坐标及对应的子空间标识；

确定与所述修正的子空间标识对应的目标元素标识；

执行检测所述用户的手的进一步操控动作及后续相关控制操作。

3.如权利要求1所述的方法，其特征在于，通过以下步骤修正所述用户的手的子空间坐标及对应的子空间标识：

确定当前子空间坐标；

计算所述当前子空间坐标到当前子空间的中心点的距离；

比较所述距离与预设动态边界阈值的大小；

当所述距离大于所述预设动态边界阈值时，确定预存的上一个子空间坐标为修正的子空间坐标；

否则，确定所述当前子空间坐标为修正的子空间坐标。

4.如权利要求1所述的方法，其特征在于，通过以下步骤确定所述第一空间位置在当前操作空间中的子空间坐标及对应的子空间标识：

检测用户抬起的手的第一空间位置，确定所述第一空间位置的空间坐标；

当所述第一空间位置在所述当前操作空间内时，利用第二预设算法，确定所述空间坐标的子空间坐标；

参考预存子空间坐标与子空间标识的对应关系，确定所述子空间坐标对应的子空间标识。

5.如权利要求1所述的方法，其特征在于，所述检测用户抬起的手的第一空间位置之前，还包括：

实时获取并解析摄像头可视空间内场景的图像数据，得到所述场景中用户的体型信息；

利用所述操控显示界面尺寸和所述体型信息，实时动态地构建所述当前操控空间，所述操作空间的尺寸与所述操控显示界面和所述用户的体型相适应；

其中，所述操作空间的尺寸包括：宽度、纵深及高度；所述体型信息包括：臂长、肩宽及左、右肩膀位置。

6.如权利要求5所述的方法，其特征在于，通过以下步骤利用所述操控显示界面尺寸和所述体型信息，构建所述当前操控空间：

判断所述用户是否抬起左手；如果是，则建立以左肩膀为原点的坐标系；如果否，则建立以右肩膀为原点的坐标系；

利用所述用户的肩宽和臂长，确定所述操作空间的宽度；

利用所述用户的臂长，确定所述操作空间的纵深；

参考所述操控显示界面的宽高比，确定所述操作空间的高度；

利用确定的所述操作空间的宽度、纵深及高度，在所述坐标系中构建所述当前操控空间。

7.如权利要求1所述的方法，其特征在于，还包括：

参考所述操控显示界面中所有目标元素的分布情况，划分所述操控空间，得到与各个所述目标元素对应的子空间；

为各个所述目标元素分配各自的目标元素标识；

为所述各个目标元素对应的子空间分配各自的子空间标识；

保存各个所述子空间标识与所述目标元素标识的对应关系。

8.如权利要求1所述的方法，其特征在于，还包括：

当所述第一空间位置不在当前操作空间内时，生成并显示相应的手超出操作空间的提示信息。

9.如权利要求5所述的方法，其特征在于，当所述用户为两个或两个以上的用户时，分别构建与每个用户对应的当前操作空间。

10.一种人机隔空交互系统，其特征在于，包括：

子空间坐标及对应标识确定单元，用于检测用户抬起的手的第一空间位置，确定所述第一空间位置在当前操作空间中的子空间坐标及对应的子空间标识；

目标元素标识确定单元，用于参考预存子空间标识与操控显示界面中目标元素标识的对应关系，确定与所述子空间标识对应的目标元素标识，以实现子空间与目标元素之间的映射；

动作类型确定单元，用于检测所述用户的手的进一步操控动作，依据所述进一步操控动作，确定所述用户的动作类型；

控制执行单元，用于参考预存动作类型与控制操作的对应关系，控制对所述目标元素标识对应的目标元素执行与所述动作类型对应的控制操作；

其中，所述子空间标识与所述目标元素标识一一对应。