CN102650906B - 一种用户界面的控制方法及装置 - Google Patents

Abstract

本发明实施例公开了一种用户界面的控制方法，包括：采集用户手部的三维空间信息；根据采集的三维空间信息，在用户界面上构建出与用户手部动作一致的三维虚拟手；检测三维虚拟手对用户界面的操作，并根据检测到的操作，执行相应的功能。本发明实施例还公开了一种用户界面的控制装置。采用本发明，可以让用户灵活和方便的控制用户界面，提高用户体验。

Description

一种用户界面的控制方法及装置

技术领域

本发明涉及通信领域，尤其涉及一种用户界面的控制方法及装置。

背景技术

随着科技的发展，人们在人性化和智能化上对多媒体设备要求越来越高，越来越多的多媒体设备置有手势控制功能，手势控制功能使用户仅仅通过手势动作便能对多媒体设备下达控制指令。目前，手势控制装置大体分为两类：一类是采用摄像头来识别手势动作，该类装置需要识别手的投影是否符合特定形状(每一种特定形状对应一种指令)；另一类是采用需要用户佩戴的传感器来识别手势动作。这两类装置的共性是代表控制命令的手势固定且单一，并且需要用户熟记各种手势所对应的控制指令，当指令过多时，很容易让人混淆，使得用户体验不佳。

发明内容

本发明实施例所要解决的技术问题在于，提供一种用户界面的控制方法及装置。可以让用户灵活和方便的控制用户界面，提高用户体验。

为了解决上述技术问题，本发明实施例提供了一种用户界面的控制方法，包括：

采集用户手部的三维空间信息；

根据所述采集的三维空间信息，在用户界面上构建出与用户手部动作一致的三维虚拟手；

检测所述三维虚拟手对所述用户界面的操作，并根据所述检测到的操作，执行相应的功能，其中，将所述三维虚拟手针对用户界面的操作的动作特征与数据库中预存的动作特征进行匹配，生成针对用户界面的控制命令，以对用户界面执行相应的功能。

其中，所述采集用户手部动作的三维空间信息包括：

周期性获取用户的手心面上的点在参考坐标系中的空间坐标。

其中，所述根据所述采集的三维空间信息，在用户界面上构建出与用户手部动作一致的三维虚拟手包括：

根据用户手心面上的点的三维空间坐标的变化，构建出与用户手心面动作一致的虚拟手心面；

根据所述与用户手心面动作一致的虚拟手心面，构建出与用户手背面动作一致的虚拟手背面。

其中，所述三维虚拟手对用户界面的操作包括：旋转所述用户界面的操作、拖拽所述用户界面的操作、缩小所述用户界面的操作和放大所述用户界面的操作中的至少一项。

其中，所述用户界面还包括：至少一个三维式的功能选项；

所述三维虚拟手对用户界面的操作还包括：用于请求执行所述功能选项所对应的功能的操作。

相应地，本发明实施例还提供了一种用户界面的控制装置，包括：

采集模块，用于采集用户手部的三维空间信息；

三维虚拟手构建模块，用于根据所述采集的三维空间信息，在用户界面上构建出与用户手部动作一致的三维虚拟手；

处理模块，用于检测所述三维虚拟手对所述用户界面的操作，并根据所述检测到的操作，执行相应的功能，其中，将所述三维虚拟手针对用户界面的操作的动作特征与数据库中预存的动作特征进行匹配，生成针对用户界面的控制命令，以对用户界面执行相应的功能。

其中，所述采集模块包括：

坐标获取单元，用于周期性获取用户的手心面上的点在参考坐标系中的空间坐标。

其中，所述三维虚拟手构建模块包括：

手心面构建单元，用于根据用户手心面上的点的三维空间坐标的变化，构建出与用户手心面动作一致的虚拟手心面；

手背面构建单元，用于根据所述与用户手心面动作一致的虚拟手心面，构建出与用户手背面动作一致的虚拟手背面。

其中，所述三维虚拟手对用户界面的操作包括：旋转所述用户界面的操作、拖拽所述用户界面的操作、缩小所述用户界面的操作和放大所述用户界面的操作中的至少一项。

其中，所述用户界面还包括：至少一个三维式的功能选项；

所述三维虚拟手对用户界面的操作还包括：用于请求执行所述功能选项所对应的功能的操作。

实施本发明实施例，具有如下有益效果：

本发明的实施例通过在用户界面上构建出与用户手部动作一致的三维虚拟手，使得用户可以通过用户界面中的三维虚拟手直接控制用户界面，操作方法简单且灵活，由于用户通过三维虚拟手操作控制用户界面，因此可以同时提高用户触觉和视觉的真实度，大大提高了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的用户界面的控制方法的第一实施例的流程示意图；

图2是本发明的用户界面的控制方法的第二实施例的流程示意图；

图3是本发明的用户界面的控制装置的实施例的结构示意图；

图4是图3所示的采集模块的实施例的结构示意图；

图5是图3所示的三维虚拟手构建模块的实施例的结构示意图；

图6是本发明的双目立体视觉的基本原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，是本发明的用户界面控制方法的第一实施例的流程示意图。所述方法包括：

步骤S11，采集用户手部的三维空间信息。

用户手部的三维空间信息可以是用户手心面或手背面的三维空间信息，也可以是整只手的三维空间信息。为了减少数据处理量，可以只获取用户手心面的三维空间信息。

三维空间信息可以通过三维超声仪、三维摄像机、或者包含激光分光扫描器与两个摄像机的三维采集装置来获取。

其中，包含激光分光扫描器与两个摄像机的三维采集装置是基于双目立体视觉技术的。双目立体视觉方法就是利用两个摄像机模拟人眼双眼处理景物的方式，从两个视点观察同一场景，获得不同视角下的两个图像，然后通过计算图像对应点间的位置偏差，便能推断出场景中目标物体或目标点的三维空间信息。

具体地，激光分光扫描器包括：分光镜和红激光管。激光分光扫描器用于标定用户手部上的需要采集三维空间信息的点。

分光镜可以将红激光管产生的红激光束分散成多条平行于X轴方向的光线和多条平行于Y轴方向的光线，并且通常情况下，这些光线是肉眼不可见的。这些光线互相交织，形成在三维空间上有序排列的光线交点(这些光线交织点不止排布在XY平面上，在整个三维空间均有排布)。当用户的手部进入该光线交织区域时，位于用户手心面上的光线交织点即为需要采集三维空间信息的点。

双目立体视觉的基本原理如图6所示。图中分别以下标l和r标注左、右摄像机的相应参数。位于用户手心面上某一光线交织点A(X，Y，Z)在左右摄像机的成像面Cl和Cr上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是A点的像，称为“共轭点”。分别作出这两个共轭像点与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为A点。在Ol、Or、al、ar四点已确定的前提下，通过计算便能得到A点在现实空间的三维坐标。

步骤S12，根据采集的三维空间信息，在用户界面上构建出与用户手部动作一致的三维虚拟手。

为了更好的提高用户的视觉体验，用户界面可以设计成为虚拟三维式的。应该注意的是，三维虚拟手在虚拟三维式的用户界面中动作幅度与用户手部动作幅度一致或是等比例缩放。

用户手部的三维空间信息可以是用户手心面和/或手背面上的点在预设的参考坐标系中的三维空间坐标。

在构建三维虚拟手时，可以根据获取的手心面和/或手背面上的点的三维空间坐标，在三维的用户界面中构建出与用户手部具有相同或等比例缩放的位置坐标的三维虚拟手，值得注意的是，构建出的三维虚拟手与用户手部形状、大小相同或是其的等比例缩放。

为了能够获取用户手部的动作信息，步骤S11中的三维空间信息的采集过程是周期性的，并且这个周期的时长很短，例如可以每0.01秒采集一次用户手心面和/或手背面的上点的三维空间坐标。根据多次采集的三维空间坐标，在用户界面中重复性构建出三维虚拟手，由于三维虚拟手的构建周期很短，这就使得用户在用户界面中看到的三维虚拟手的画面就是连续的，且三维虚拟手的动作与用户手部动作完全一致。

步骤S13，检测三维虚拟手对用户界面的操作，并根据检测到的操作，执行相应的功能。

通常三维虚拟手对用户界面的操作包括：旋转用户界面的操作、拖拽用户界面的操作、缩小用户界面的操作和放大用户界面的操作等。

此外，用户界面还包括：至少一个三维式的功能选项。相应地，三维虚拟手对用户界面的操作还包括：旋转三维式功能选项的操作、拖拽三维式功能选项的操作、缩小三维式功能选项的操作和放大三维式功能选项的操作、以及用于请求执行功能选项所对应的功能的操作。其中，三维式的功能选项可以是三维立体图形，每个三维立体图形可以对应一个或多个功能选项。用于请求执行功能选项所对应的功能的操作包括：拖拽、点击、按等。

通常情况下，用户通过三维虚拟手对用户界面的各种操作都会有其特有的动作特征，通过提取三维虚拟手的当前操作的动作特征信息，并将其与数据库中预存的动作特征(数据库中每一动作特征都会对应一控制命令)进行匹配，从而确定用户对用户界面下达的控制命令。

在检测三维虚拟手对用户界面的操作时，可以定期性将获取的手心面和/或手背面上的点的三维空间坐标进行抽样对比(例如每隔0.05秒将当前采集的三维空间坐标和前0.05秒采集的三维空间坐标进行比较)，从而确定用户手部的动作趋势，再根据确定的用户手部动作趋势，来提取三维虚拟手的当前操作的动作特征信息。

例如，用户在旋转用户界面时，其特有的动作特征通常会是：手掌心抬起，五指指尖绕着手掌心转动。其相应的动作特征信息可以从周期性采集的三维空间坐标的来提取，通过将不同时间获取的用户手心面和/或手背面的三维空间坐标进行分析和对比，可以判定用户手部的动作趋势，进而确定用户期望旋转用户界面的方向及弧度。

用户在拖拽用户界面时，其特有的动作特征通常会是：一根或几根手指做按住状或捏住状沿某一方向直线运动，同样得可以根据周期性采集的三维空间坐标来获取用户手指的移动方向和移动距离，进而依此来确定用户期望拖拽用户界面的方向及拖拽距离。

用户在缩小用户界面时，其特有的动作特征通常会是：掌心抬起，五指指尖收拢，同样得可以根据周期性采集的三维空间坐标来获取用户手指的收拢幅度，进而依此来确定用户期望缩小用户界面的幅度。

用户在放大用户界面时，其特有的动作特征通常会是：掌心抬起，五指指尖向外张开，同样得可以根据周期性采集的三维空间坐标来获取用户手指的张开幅度，进而依此来确定用户期望放大用户界面的幅度。

当用户需要对用户界面中的某一三维式功能选项做出操作时，通常情况下，用户会通过手部动作将用户界面中的三维虚拟手放在或靠近该三维式功能选项所在的位置。由此，当用户通过手部动作将用户界面中的三维虚拟手移放在或者靠近三维式功能选项所在的位置时，则认为用户期望的是对该三维式功能选项进行操作。

用户旋转、拖拽、放大、缩小三维式功能选项的操作与用户旋转、拖拽、放大、缩小用户界面的操作大致相同，不同之处只在于动作幅度的大小，可以根据动作幅度的大小来区分是对整个用户界面或只是某一三维式功能选项的操作。例如，用户在旋转用户界面时，通常五指张开的幅度较大，而用户在旋转用户界面中的某一三维式功能选项时，通常五指张开的幅度较小，同样的通过分析手部的三维空间坐标便能准确获取用户五指张开的幅度，如此可以将该幅度值与预设的幅度值进行比较，大于预设幅度值时，则认为用户期望的是旋转整个用户界面；小于预设幅度值时，则认为用户期望的是旋转三维式功能选项。

通常用户在请求执行三维式功能选项所对应的功能的操作包括：点击、按等。当用户期望执行某一三维式功能选项所对应的功能时，通常会通过移动手部将用户界面中的三维虚拟手置于或靠近该三维式功能选项所在的位置，依此，便可以确定用户期望是对该三维式选项进行操作。当用户做出点击动作时，其特有的动作特征通常会是：食指或中指抬起再放下，而手掌心和其它手指固定不动，由此，根据该操作其特有的动作特征，便可以确定用户期望执行该三维式功能选项所对应的功能。

本发明的实施例通过在用户界面上构建出与用户手部动作一致的三维虚拟手，使得用户可以通过用户界面中的三维虚拟手直接控制用户界面，用户不需要牵记特定的手势，也不需要佩戴传感器。并且由于用户通过三维虚拟手操作控制用户界面，因此可以同时提高用户视觉和触觉的真实度，提高用户体验度。

请参照图2，是本发明的用户界面控制方法的第二实施例的流程示意图。所述方法包括：

步骤S21，判断所需采集三维空间信息的物体的形状是否符合手型，如果判断结果为是则进入步骤S23，如果判断结果为否则进入步骤S22。

步骤S22，停止采集该物体的三维空间信息，并在用户界面上作出相应的提示。

步骤S23，周期性获取用户的手心面上的点在参考坐标系中的空间坐标。

三维空间坐标可以通过三维超声仪、三维摄像机、或者包含激光分光扫描器与两个摄像机的三维采集装置来获取。

其中，包含激光分光扫描器与两个摄像机的三维采集装置是基于双目立体视觉技术的。双目立体视觉方法就是利用两个摄像机模拟人眼双眼处理景物的方式，从两个视点观察同一场景，获得不同视角下的两个图像，然后通过计算图像对应点间的位置偏差，便能推断出场景中目标物体或目标点的三维空间信息。

具体地，激光分光扫描器包括：分光镜和红激光管。激光分光扫描器用于标定用户手部上的需要采集三维空间信息的点。

分光镜可以将红激光管产生的红激光束分散成多条平行于X轴方向的光线和多条平行于Y轴方向的光线，并且通常情况下，这些光线是肉眼不可见的。这些光线互相交织，形成在三维空间上有序排列的光线交点(这些光线交织点不止排布在XY平面上，在整个三维空间均有排布)。当用户的手部进入该光线交织区域时，位于用户手心面上的光线交织点即为需要采集三维空间信息的点。

双目立体视觉的基本原理如图6所示。图中分别以下标l和r标注左、右摄像机的相应参数。位于用户手心面上某一光线交织点A(X，Y，Z)在左右摄像机的成像面Cl和Cr上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是A点的像，称为“共轭点”。分别作出这两个共轭像点与各自摄像机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为A点。因此在Ol、Or、al、ar四点已确定的前提下，通过计算便能得到A点在现实空间的三维坐标。

步骤S24,根据用户手心面上的点的三维空间坐标的变化，构建出与用户手心面动作一致的虚拟手心面；根据与用户手心面动作一致的虚拟手心面，构建出与用户手背面动作一致的虚拟手背面。

步骤S25，检测三维虚拟手对用户界面的操作，并根据检测到的操作，执行相应的功能。

通常三维虚拟手对用户界面的操作包括：旋转用户界面的操作、拖拽用户界面的操作、缩小用户界面的操作和放大用户界面的操作等。

此外，用户界面还包括：至少一个三维式的功能选项。相应地，三维虚拟手对用户界面的操作还包括：旋转三维式功能选项的操作、拖拽三维式功能选项的操作、缩小三维式功能选项的操作和放大三维式功能选项的操作、以及用于请求执行功能选项所对应的功能的操作。其中，三维式的功能选项可以是三维立体图形，每个三维立体图形可以对应一个或多个功能选项。用于请求执行功能选项所对应的功能的操作包括：拖拽、点击、按等。

通常情况下，用户通过三维虚拟手对用户界面的各种操作都会有其特有的动作特征，通过提取三维虚拟手的当前操作的动作特征信息，并将其与数据库中预存的动作特征(数据库中每一动作特征都会对应一控制命令)进行匹配，从而确定用户对用户界面下达的控制命令。

在检测三维虚拟手对用户界面的操作时，可以定期性将获取的手心面和/或手背面上的点的三维空间坐标进行抽样对比(例如每隔0.05秒将当前采集的三维空间坐标和前0.05秒采集的三维空间坐标进行比较)，从而确定用户手部的动作趋势，再根据确定的用户手部动作趋势，来提取三维虚拟手的当前操作的动作特征信息。

发明的实施例通过在用户界面上构建出与用户手部动作一致的三维虚拟手，使得用户可以通过用户界面中的三维虚拟手直接控制用户界面，用户不需要牵记特定的手势，也不需要佩戴传感器。并且由于用户通过三维虚拟手操作控制用户界面，因此可以同时提高用户视觉和触觉的真实度，提高用户体验度。图1至图2对用户界面的控制方法的实施例进行了详细阐述后，下面将继续结合附图，对相应于上述方法流程的装置进行说明。

请参照图3，是本发明的用户界面的控制装置的实施例的结构示意图。所述控制装置100包括：

采集模块110，用于采集用户手部的三维空间信息。

其中，采集模块110的功能可以由三维超声仪、三维摄像机、或者包含激光分光扫描器与摄像机的三维采集装置来实现。

三维虚拟手构建模块120，用于根据采集的三维空间信息，在用户界面上构建出与用户手部动作一致的三维虚拟手。

为了更好的提高用户的视觉体验，用户界面可以设计成为虚拟三维式的。应该注意的是，三维虚拟手在虚拟三维式的用户界面中动作幅度与用户手部动作幅度一致或是等比例缩放。

用户手部的三维空间信息可以是用户手心面和/或手背面上的点在预设的参考坐标系中的三维空间坐标。

在构建三维虚拟手时，可以根据获取的手心面和/或手背面上的点的三维空间坐标，在三维的用户界面中构建出与用户手部具有相同或等比例缩放的位置坐标的三维虚拟手，值得注意的是，构建出的三维虚拟手与用户手部形状、大小相同或是其的等比例缩放。

为了能够获取用户手部的动作信息，三维空间信息的采集过程是周期性的，并且这个周期的时长很短，例如可以每0.01秒采集一次用户手心面和/或手背面的上点的三维空间坐标。根据多次采集的三维空间坐标，在用户界面中重复性构建出三维虚拟手，由于三维虚拟手的构建周期很短，这就使得用户在用户界面中看到的三维虚拟手的画面就是连续的，且三维虚拟手的动作与用户手部动作完全一致。

处理模块130，用于检测三维虚拟手对用户界面的操作，并根据检测到的操作，执行相应的功能。

通常三维虚拟手对用户界面的操作包括：旋转用户界面的操作、拖拽用户界面的操作、缩小用户界面的操作和放大用户界面的操作等。

此外，用户界面还包括：至少一个三维式的功能选项。相应地，三维虚拟手对用户界面的操作还包括：旋转三维式功能选项的操作、拖拽三维式功能选项的操作、缩小三维式功能选项的操作和放大三维式功能选项的操作、以及用于请求执行功能选项所对应的功能的操作。其中，三维式的功能选项可以是三维立体图形，每个三维立体图形可以对应一个或多个功能选项。用于请求执行功能选项所对应的功能的操作包括：拖拽、点击、按等。

通常情况下，用户通过三维虚拟手对用户界面的各种操作都会有其特有的动作特征，通过提取三维虚拟手的当前操作的动作特征信息，并将其与数据库中预存的动作特征(数据库中每一动作特征都会对应一控制命令)进行匹配，从而确定用户对用户界面下达的控制命令。

在检测三维虚拟手对用户界面的操作时，可以定期性将获取的手心面和/或手背面上的点的三维空间坐标进行抽样对比(例如每隔0.05秒将当前采集的三维空间坐标和前0.05秒采集的三维空间坐标进行比较)，从而确定用户手部的动作趋势，再根据确定的用户手部动作趋势，来提取三维虚拟手的当前操作的动作特征信息。

例如，用户在旋转用户界面时，其特有的动作特征通常会是：手掌心抬起，五指指尖绕着手掌心转动。其相应的动作特征信息可以从周期性采集的三维空间坐标的来提取，通过将不同时间获取的用户手心面和/或手背面的三维空间坐标进行分析和对比，可以判定用户手部的动作趋势，进而确定用户期望旋转用户界面的方向及弧度。

用户在拖拽用户界面时，其特有的动作特征通常会是：一根或几根手指做按住状或捏住状沿某一方向直线运动，同样得可以根据周期性采集的三维空间坐标来获取用户手指的移动方向和移动距离，进而依此来确定用户期望拖拽用户界面的方向及拖拽距离。

用户在缩小用户界面时，其特有的动作特征通常会是：掌心抬起，五指指尖收拢，同样得可以根据周期性采集的三维空间坐标来获取用户手指的收拢幅度，进而依此来确定用户期望缩小用户界面的幅度。

用户在放大用户界面时，其特有的动作特征通常会是：掌心抬起，五指指尖向外张开，同样得可以根据周期性采集的三维空间坐标来获取用户手指的张开幅度，进而依此来确定用户期望放大用户界面的幅度。

当用户需要对用户界面中的某一三维式功能选项做出操作时，通常情况下，用户会通过手部动作将用户界面中的三维虚拟手放在或靠近该三维式功能选项所在的位置。由此，当用户通过手部动作将用户界面中的三维虚拟手移放在或者靠近三维式功能选项所在的位置时，则认为用户期望的是对该三维式功能选项进行操作。

用户旋转、拖拽、放大、缩小三维式功能选项的操作与用户旋转、拖拽、放大、缩小用户界面的操作大致相同，不同之处只在于动作幅度的大小，可以根据动作幅度的大小来区分是对整个用户界面或只是某一三维式功能选项的操作。例如，用户在旋转用户界面时，通常五指张开的幅度较大，而用户在旋转用户界面中的某一三维式功能选项时，通常五指张开的幅度较小，同样的通过分析手部的三维空间坐标便能准确获取用户五指张开的幅度，如此可以将该幅度值与预设的幅度值进行比较，大于预设幅度值时，则认为用户期望的是旋转整个用户界面；小于预设幅度值时，则认为用户期望的是旋转三维式功能选项。

通常用户在请求执行三维式功能选项所对应的功能的操作包括：点击、按等。当用户期望执行某一三维式功能选项所对应的功能时，通常会通过移动手部将用户界面中的三维虚拟手置于或靠近该三维式功能选项所在的位置，依此，便可以确定用户期望是对该三维式选项进行操作。当用户做出点击动作时，其特有的动作特征通常会是：食指或中指抬起再放下，而手掌心和其它手指固定不动，由此，根据该操作其特有的动作特征，便可以确定用户期望执行该三维式功能选项所对应的功能。

发明的实施例通过在用户界面上构建出与用户手部动作一致的三维虚拟手，使得用户可以通过用户界面中的三维虚拟手直接控制用户界面，用户不需要牵记特定的手势，也不需要佩戴传感器。并且由于用户通过三维虚拟手操作控制用户界面，因此可以同时提高用户视觉和触觉的真实度，提高用户体验度。请参照图4，是图3所示的采集模块的实施例的结构示意图。所述三维手型采集模块110包括：

判断单元111，用于判断所需采集三维空间信息的物体的形状是否符合手型，如果符合手型，则采集用户手部动作的三维空间信息；如不符合手型，则在用户界面中作出相应的提示。

坐标获取单元112，用于周期性获取用户的手心面上的点在参考坐标系中的空间坐标。

其中，坐标获取单元112可以由三维超声仪、三维摄像机、或者包含激光分光扫描器与两个摄像机的三维采集装置来实现。

其中，包含激光分光扫描器与两个摄像机的三维采集装置是基于双目立体视觉技术的。双目立体视觉方法就是利用两个摄像机模拟人眼双眼处理景物的方式，从两个视点观察同一场景，获得不同视角下的两个图像，然后通过计算图像对应点间的位置偏差，便能推断出场景中目标物体或目标点的三维空间信息。

用户手部的三维空间信息可以是用户手心面或手背面的三维空间信息，也可以是整只手的三维空间信息。为了减少数据处理量，可以只获取用户手心面的三维空间信息。

具体地，激光分光扫描器包括：分光镜和红激光管。激光分光扫描器用于标定用户手部上的需要采集三维空间信息的点。

分光镜可以将红激光管产生的红激光束分散成多条平行于X轴方向的光线和多条平行于Y轴方向的光线，并且通常情况下，这些光线是肉眼不可见的。这些光线互相交织，形成在三维空间上有序排列的光线交点(这些光线交织点不止排布在XY平面上，在整个三维空间均有排布)。当用户的手部进入该光线交织区域时，位于用户手心面上的光线交织点即为需要采集三维空间信息的点。

双目立体视觉的基本原理如图6所示。图中分别以下标l和r标注左、右摄像机的相应参数。位于用户手心面上某一光线交织点A(X，Y，Z)在左右摄像机的成像面Cl和Cr上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是A点的像，称为“共轭点”。分别作出这两个共轭像点与各自摄像机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为A点。因此在Ol、Or、al、ar四点已确定的前提下，通过计算便能得到A点在现实空间的三维坐标。

请参照图5，是图3所示的三维虚拟手构建模块的实施例的结构示意图。所述三维虚拟手构建模块120包括：

手心面构建单元121，用于根据用户手心面上的点的三维空间坐标的变化，构建出与用户手心面动作一致的虚拟手心面；

手背面构建单元122，用于根据与用户手心面动作一致的虚拟手心面，构建出与用户手背面动作一致的虚拟手背面。

由于三维手型采集模块只是获取手心面上部分点的空间坐标，在构建虚拟手心面时，手心面构建单元121会根据用户手心面上已获取的点的空间坐标来模拟重现手心面上其它点的坐标，从而得到完整的手心面。

本发明在上述实施例中所提及的旋转、拖拽、缩小、放大、点击等操作都只是作为举例说明，在本发明的实施例中，还可以包括其它界面操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种用户界面控制方法，其特征在于，包括：

采集用户手部的三维空间信息；

根据所述采集的三维空间信息，在用户界面上构建出与用户手部动作一致的三维虚拟手；

检测所述三维虚拟手对所述用户界面的操作，并根据所述检测到的操作，执行相应的功能，其中，将所述三维虚拟手针对用户界面的操作的动作特征与数据库中预存的动作特征进行匹配，生成针对用户界面的控制命令，以对用户界面执行相应的功能；

在检测所述三维虚拟手对所述用户界面的操作时，定期将获取的手心面和/或手背面上的点的三维空间坐标进行抽样对比，从而确定用户手部的动作趋势，根据所述动作趋势提取所述三维虚拟手当前操作的所述动作特征。

2.如权利要求1所述的方法，其特征在于，所述采集用户手部动作的三维空间信息包括：

周期性获取用户的手心面上的点在参考坐标系中的空间坐标。

3.如权利要求2所述方法，其特征在于，所述根据所述采集的三维空间信息，在用户界面上构建出与用户手部动作一致的三维虚拟手包括：

根据用户手心面上的点的三维空间坐标的变化，构建出与用户手心面动作一致的虚拟手心面；

根据所述与用户手心面动作一致的虚拟手心面，构建出与用户手背面动作一致的虚拟手背面。

4.如权利要求1所述的方法，其特征在于，所述三维虚拟手对用户界面的操作包括：旋转所述用户界面的操作、拖拽所述用户界面的操作、缩小所述用户界面的操作和放大所述用户界面的操作中的至少一项。

5.如权利要求4所述的方法，其特征在于，所述用户界面还包括：至少一个三维式的功能选项；

所述三维虚拟手对用户界面的操作还包括：用于请求执行所述功能选项所对应的功能的操作。

6.一种用户界面的操作控制装置，其特征在于，包括：

采集模块，用于采集用户手部的三维空间信息；

三维虚拟手构建模块，用于根据所述采集的三维空间信息，在用户界面上构建出与用户手部动作一致的三维虚拟手；

处理模块，用于检测所述三维虚拟手对所述用户界面的操作，并根据所述检测到的操作，执行相应的功能，其中，将所述三维虚拟手针对用户界面的操作的动作特征与数据库中预存的动作特征进行匹配，生成针对用户界面的控制命令，以对用户界面执行相应的功能；

所述处理模块在检测所述三维虚拟手对所述用户界面的操作时，定期将获取的手心面和/或手背面上的点的三维空间坐标进行抽样对比，从而确定用户手部的动作趋势，根据所述动作趋势提取所述三维虚拟手当前操作的所述动作特征。

7.如权利要求6所述的装置，其特征在于，所述采集模块包括：

坐标获取单元，用于周期性获取用户的手心面上的点在参考坐标系中的空间坐标。

8.如权利要求7所述的装置，其特征在于，所述三维虚拟手构建模块包括：

手心面构建单元，用于根据用户手心面上的点的三维空间坐标的变化，构建出与用户手心面动作一致的虚拟手心面；

手背面构建单元，用于根据所述与用户手心面动作一致的虚拟手心面，构建出与用户手背面动作一致的虚拟手背面。

9.如权利要求6所述的装置，其特征在于，所述三维虚拟手对用户界面的操作包括：旋转所述用户界面的操作、拖拽所述用户界面的操作、缩小所述用户界面的操作和放大所述用户界面的操作中的至少一项。

10.如权利要求9所述的装置，其特征在于，所述用户界面还包括：至少一个三维式的功能选项；

所述三维虚拟手对用户界面的操作还包括：用于请求执行所述功能选项所对应的功能的操作。