CN111062360A - 一种手部追踪系统及其追踪方法 - Google Patents

Abstract

本申请公开了一种手部追踪方法和手部跟踪系统，该方法包括如下步骤：获得手部检测数据；根据手部检测数据获得手指列表；根据手指的距离和方向信息，获得手部关节位置信息；定位手部关节位置，生成手指关节根节点；根据手指列表和手指关节根节点，判断手指弯曲程度；根据手指弯曲程度执行相应的操作。本申请的手部跟踪方法和手部跟踪系统，可以弥补现有传感器或摄像装置所获得的手指图像精度不够，手部动作识别不精确的缺陷，获得精确地识别手部动作的技术效果。

Description

一种手部追踪系统及其追踪方法

技术领域

本申请涉及计算机领域，特别的涉及一种手部追踪系统及其追踪方法。

背景技术

随着智能技术的发展，人机交互技术成为计算机领域的发展热点。从最早的大型机上的开关系统，到键盘和鼠标的出现，以及当下流行的触摸屏，人机交互技术的发展速度日新月异。

近年来，由于计算机视觉技术的飞速发展，以及新的传感器(比如深度相机Kinect、LeapMotion等)的出现，使得各种便捷式的人机交互方式层出不穷。

但是，现有的传感器存在参数精度不高，无法达到高精确度的技术问题，以当前流行的LeapMotion传感器为例，其检测的范围大体在传感器上方25毫米到600毫米之间，检测的空间大体是一个倒四棱锥体。检测过程中，LeapMotion传感器首先会建立一个直角座标系，座标的原点是传感器的中心，座标的X轴平行于传感器，指向屏幕右方，Y轴指向上方，Z轴指向背离屏幕的方向，单位为真实世界的毫米。在使用过程中，Leap Motion传感器会定期的发送关于手的运动信息，每份这样的信息称为帧(frame)。

在实际工作时，由于现有传感器精度的限制，同时由于人的手本身就是非常不稳定的，所以在手势识别的过程中，帧率非常不稳定，导致精度不够，这会影响跟踪手势的效果和应用进程之间的通信。

发明内容

基于此，本申请提供一种手部追踪系统及其追踪方法，用于为用户提供高精度的手部追踪效果，提升用户交互体验。

本申请提供一种手部追踪方法，包括如下步骤：获得手部检测数据；根据手部检测数据获得手指列表；根据手指的距离和方向信息，获得手部关节位置信息；定位手部关节位置，生成手指关节根节点；根据手指列表和手指关节根节点，判断手指弯曲程度；根据手指弯曲程度执行相应的操作。

优选的，其中获得手部检测数据包括如下子步骤：获得手部图像；将手部图像与背景图像分离，获得手部数据；对手部数据执行去噪处理，获得手部检测数据。

优选的，其中根据手部检测数据获得手指列表包括如下子步骤：根据手部检测数据获得手掌的方向和手指指尖的方向；根据手掌的方向和指尖的方向所存在的夹角和手掌的法向量与指尖方向的夹角，判断每个手指尖所表示的每个手指，将获得的每个手指的手指数据记录在手指列表中。

优选的，其中根据手指的距离和方向信息，获得手部关节位置信息包括如下子步骤：根据手指列表获得每个手指的手指数据；从手指数据中提取手指指尖坐标；从手部检测数据中获得手腕坐标以及手心坐标；依据手指指尖坐标、手腕坐标和手心坐标，获得手部关节位置信息；所述手部关节位置信息包括五个手指的指尖坐标及手腕坐标，或者五个手指的指尖坐标及手心坐标。

优选的，其中定位手部关节位置，生成手指关节根节点包括如下子步骤：根据手部关节位置信息定位手部关节位置；将每个手部关节位置作为一个节点；生成包括全部手部关节节点的手部关节根节点。

进一步地，本申请还提供一种手部追踪系统，包括如下部件：输入部件，获得手部检测数据；处理部件，执行以下操作：根据手部检测数据获得手指列表；根据手指的距离和方向信息，获得手部关节位置信息；定位手部关节位置，生成手指关节根节点；根据手指列表和手指关节根节点，判断手指弯曲程度；根据手指弯曲程度执行相应的操作。

优选的，其中输入部件获得手部检测数据包括如下子步骤：获得手部图像；将手部图像与背景图像分离，获得手部数据；对手部数据执行去噪处理，获得手部检测数据。

优选的，其中根据手部检测数据获得手指列表包括如下子步骤：根据手部检测数据获得手掌的方向和手指指尖的方向；根据手掌的方向和指尖的方向所存在的夹角和手掌的法向量与指尖方向的夹角，判断每个手指尖所表示的每个手指，将获得的每个手指的手指数据记录在手指列表中。

优选的，其中根据手指的距离和方向信息，获得手部关节位置信息包括如下子步骤：根据手指列表获得每个手指的手指数据；从手指数据中提取手指指尖坐标；从手部检测数据中获得手腕坐标以及手心坐标；依据手指指尖坐标、手腕坐标和手心坐标，获得手部关节位置信息；所述手部关节位置信息包括五个手指的指尖坐标及手腕坐标，或者五个手指的指尖坐标及手心坐标。

优选的，其中定位手部关节位置，生成手指关节根节点包括如下子步骤：根据手部关节位置信息定位手部关节位置；将每个手部关节位置作为一个节点；生成包括全部手部关节节点的手部关节根节点。

本申请的手部跟踪方法和手部跟踪系统，可以弥补现有传感器或摄像装置所获得的手指图像精度不够，手部动作识别不精确的缺陷，获得精确地识别手部动作的技术效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请的手部追踪方法的方法流程图。

图2是本申请的手部追踪系统的系统结构图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供一种手部追踪方法，包括如图1所示的步骤：

步骤S110、获得手部检测数据；包括如下子步骤：

获得手部图像；

使用摄像头或传感器获得手部图像。

将手部图像与背景图像分离，获得手部数据；

对手部数据执行去噪处理，获得手部检测数据。

步骤S120、根据手部检测数据获得手指列表；包括如下子步骤：

根据手部检测数据获得手掌的方向和手指指尖的方向；

根据手掌的方向和指尖的方向所存在的夹角和手掌的法向量与指尖方向的夹角，判断每个手指尖所表示的每个手指，将获得的每个手指的手指数据记录在手指列表中。

步骤S130、根据手指的距离和方向信息，获得手部关节位置信息；包括如下子步骤：

根据手指列表获得每个手指的手指数据；

从手指数据中提取手指指尖坐标；

从手部检测数据中获得手腕坐标以及手心坐标；

依据手指指尖坐标、手腕坐标和手心坐标，获得手部关节位置信息。

所述手部关节位置信息包括五个手指的指尖坐标及手腕坐标，或者五个手指的指尖坐标及手心坐标。

步骤S140、定位手部关节位置，生成手指关节根节点；

根据手部关节位置信息定位手部关节位置；

将每个手部关节位置作为一个节点；

生成包括全部手部关节节点的手部关节根节点。

其中手部关节根节点是一个节点集合，包括了全部手部关节节点。

步骤S150、根据手指列表和手指关节根节点，判断手指弯曲程度；

依据手指列表和手指关节根节点获得手指形态信息；

根据手指位置信息和方向信息结合手指关节根节点中的手指关节节点，获得手指形态信息，手指形态信息用以描述每个关节节点和每个手指的连接关系，例如包括从节点到手指的方向信息，位置信息等。

将手指形态信息与手指基向量进行比较；

其中手指基向量是手指伸直状态下指尖与该指尖所在的手指根部关节的向量值，表示手指伸直状态下的方向和位置信息；将手指形态信息与手指基向量进行比较，判断是否满足预先设定的阈值范围。

依据比较结果判断手指弯曲程度；

根据比较结果，判断手指弯曲程度。例如手指与基向量偏离越多，表示弯曲程度越大。

步骤S160、根据手指弯曲程度执行相应的操作。

依据手指弯曲程度判断手指所执行的操作。预先设置弯曲程度所对应的操作的列表，将手指的弯曲程度与列表中的数据进行比较，从而获得手指所执行的操作。

实施例2

本申请请求保护一种手指追踪系统200，以执行上述手指追踪方法，该系统如图2所示吧，包括如下部件：

输入部件210，获得手部检测数据；

处理部件220，执行实施例1中所述的手指追踪方法。

其中输入部件为摄像头或传感器，用于获得手部图像。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述在线签发eSIM证书的方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种手部追踪方法，包括如下步骤：

获得手部检测数据；

根据手部检测数据获得手指列表；

根据手指的距离和方向信息，获得手部关节位置信息；

定位手部关节位置，生成手指关节根节点；

根据手指列表和手指关节根节点，判断手指弯曲程度；

根据手指弯曲程度执行相应的操作。

2.如权利要求1所述的手部追踪方法，其中获得手部检测数据包括如下子步骤：

获得手部图像；

将手部图像与背景图像分离，获得手部数据；

对手部数据执行去噪处理，获得手部检测数据。

3.如权利要求1所述的手部追踪方法，其中根据手部检测数据获得手指列表包括如下子步骤：

根据手部检测数据获得手掌的方向和手指指尖的方向；

根据手掌的方向和指尖的方向所存在的夹角和手掌的法向量与指尖方向的夹角，判断每个手指尖所表示的每个手指，将获得的每个手指的手指数据记录在手指列表中。

4.如权利要求3所述的手部追踪方法，其中根据手指的距离和方向信息，获得手部关节位置信息包括如下子步骤：

根据手指列表获得每个手指的手指数据；

从手指数据中提取手指指尖坐标；

从手部检测数据中获得手腕坐标以及手心坐标；

依据手指指尖坐标、手腕坐标和手心坐标，获得手部关节位置信息；

所述手部关节位置信息包括五个手指的指尖坐标及手腕坐标，或者五个手指的指尖坐标及手心坐标。

5.如权利要求1所述的手部追踪方法，其中定位手部关节位置，生成手指关节根节点包括如下子步骤：

根据手部关节位置信息定位手部关节位置；

将每个手部关节位置作为一个节点；

生成包括全部手部关节节点的手部关节根节点。

6.一种手部追踪系统，包括如下部件：

输入部件，获得手部检测数据；

处理部件，执行以下操作：

根据手部检测数据获得手指列表；

根据手指的距离和方向信息，获得手部关节位置信息；

定位手部关节位置，生成手指关节根节点；

根据手指列表和手指关节根节点，判断手指弯曲程度；

根据手指弯曲程度执行相应的操作。

7.如权利要求6所述的手部追踪系统，其中输入部件获得手部检测数据包括如下子步骤：

获得手部图像；

将手部图像与背景图像分离，获得手部数据；

对手部数据执行去噪处理，获得手部检测数据。

8.如权利要求6所述的手部追踪系统，其中根据手部检测数据获得手指列表包括如下子步骤：

根据手部检测数据获得手掌的方向和手指指尖的方向；

根据手掌的方向和指尖的方向所存在的夹角和手掌的法向量与指尖方向的夹角，判断每个手指尖所表示的每个手指，将获得的每个手指的手指数据记录在手指列表中。

9.如权利要求8所述的手部追踪系统，其中根据手指的距离和方向信息，获得手部关节位置信息包括如下子步骤：

根据手指列表获得每个手指的手指数据；

从手指数据中提取手指指尖坐标；

从手部检测数据中获得手腕坐标以及手心坐标；

依据手指指尖坐标、手腕坐标和手心坐标，获得手部关节位置信息；

所述手部关节位置信息包括五个手指的指尖坐标及手腕坐标，或者五个手指的指尖坐标及手心坐标。

10.如权利要求6所述的手部追踪系统，其中定位手部关节位置，生成手指关节根节点包括如下子步骤：

根据手部关节位置信息定位手部关节位置；

将每个手部关节位置作为一个节点；

生成包括全部手部关节节点的手部关节根节点。

Images