CN106340039B - 跟踪指部轮廓的方法及其装置 - Google Patents

Abstract

本发明公开了一种跟踪指部轮廓的方法，包括：从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓；以所述指部的初始外轮廓上的每一个离散点为基准，获取每一个离散点的邻近候选点集合，并分别从每一个离散点的邻近候选点集合中选取一个候选点构建成所述指部的候选轮廓；从所述指部的候选轮廓中选取候选轮廓作为所述指部的跟踪外轮廓。相应地，本发明还公开了一种跟踪指部轮廓的装置。采用本发明实施例，能准确跟踪指部的外轮廓。

Description

跟踪指部轮廓的方法及其装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种跟踪指部轮廓的方法及其装置。

背景技术

在许多手部交互应用中，不仅仅需要跟踪手部的骨架坐标与朝向，还需要跟踪手指宽度等信息。为了获得精确的手指宽度，较为合理的方案是通过跟踪手指轮廓估算。而现有的手指级别的轮廓跟踪算法往往把重点放在指尖跟踪或大致手指位姿关系，较少关注手指侧边缘的精度，跟踪效果难以满足实际应用需求。

发明内容

本发明实施例提出一种跟踪指部轮廓的方法及装置，能准确跟踪指部的外轮廓。

在第一方面，本发明实施例提供一种跟踪指部轮廓的方法，包括：

从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓；

以所述指部的初始外轮廓上的每一个离散点为基准，获取每一个离散点的邻近候选点集合，并分别从每一个离散点的邻近候选点集合中选取一个候选点构建成所述指部的候选轮廓；

从所述指部的候选轮廓中，选取偏移程度和轮廓总长度两者数值之和最低的候选轮廓，作为所述指部的跟踪外轮廓；其中，所述偏移程度是指候选轮廓偏离所述彩色图像中对应所述指部的指部边缘的程度。

结合第一方面，在第一方面的第一种可能的实现方式中，所述指部的初始外轮廓上的第i个离散点为v_i，则所述指部的初始外轮廓为V＝{v_i,i∈{1,2,...,N}}，所述指部的候选轮廓为X＝{x_i,x_i∈θ_i,i∈{1,2,...,N}}；其中，θ_i为第i个离散点的邻近候选点集合；

进而，从所述指部的候选轮廓中，选取偏移程度和轮廓总长度两者数值之和最低的候选轮廓为其中，I为描述所述彩色图像中的每一个像素点的像数值的离散函数，α为预设系数。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所选取的候选轮廓

在所选取的候选轮廓为时，存在有状态方程为则在预设时间内通过动态规划求解所述状态方程，获得所述选取的候选轮廓X^*所包含的每一个离散点的坐标。

结合第一方面，在第一方面的第三种可能的实现方式中，从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓，具体为：

获取记录用户手部的同一影像的深度图像和彩色图像；

从所述深度图像或所述彩色图像中提取所述手部的外轮廓；

以所述手部的外轮廓的指蹼作为分割指部的分割点，分割所述手部的外轮廓，获得每个指部的初始外轮廓。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，从所述深度图像中提取所述手部的外轮廓，具体为：

根据预设的手部关节点模型，从所述深度图像中计算出所述手部的每一个关节点的深度；

取所有所述关节点的深度的中值作为参考深度d_ref；

从所述深度图像中提取深度在手部深度范围[d_ref-δ,d_ref+δ]内的区域的外轮廓；其中，δ为衡量所述手部的手背与手掌之间厚度的参数值；

从所述外轮廓中选取轮廓的质心距离所述关节点的平均距离最近，且轮廓曲线总长度最长的外轮廓作为所述手部的外轮廓；

以及，从所述彩色图像中提取所述手部的外轮廓，具体为：

从所述彩色图像中提取像素值在手部像素区间的区域的外轮廓；

从所述外轮廓中选取轮廓的质心距离所述关节点的平均距离最近，且轮廓曲线总长度最长的外轮廓作为所述手部的外轮廓。

结合第一方面的第三种可能的实现方式，在第一方面的第五种可能的实现方式中，所述跟踪指部轮廓的方法还包括提取所述手部的外轮廓的指蹼的位置，具体为：

从所述手部的外轮廓的相邻指尖之间的轮廓点中，选取距离连接所述相邻指尖的直线最远的轮廓点作为轮廓拐点；

以所述轮廓拐点作为指蹼的当前位置，从所述彩色图像中提取以所述当前位置为中心点的局部区域；

将所述当前位置进行偏移获得多个偏移位置，并对于每一个偏移位置，从所述彩色图像中提取以该偏移位置为中心点且与所述局部区域相同形状的区域作为候选区域；其中，所述当前位置为(x,y)，所述偏移位置为(x+δ_x,y+δ_y)；δ_x∈{-1,0,1}，δ_y∈{-1,0,1}，且δ_x和δ_y不同时为0；

计算每一个所述候选区域与所述局部区域的结构偏差程度；对于每一个候选区域，所述候选区域与所述局部区域的结构偏差程度为d(P,Q)，其中，P为包含所述局部区域的每一个像素点的像素值的集合，Q为包含所述候选区域的每一个像素点的像素值的集合，μ_P为集合P中所有像素值的均值，μ_Q为集合Q中所有像素值的均值，σ_PQ为集合P和集合Q的协方差，σ_P为集合P的方差，σ_Q为集合Q的方差，c₁和c₂为预设常数；

若每一个所述候选区域与所述局部区域的结构偏差程度均大于预设阈值，则将所述当前位置作为所述指蹼的位置；

若存在一个所述候选区域与所述局部区域的结构偏差程度不大于所述预设阈值，则选取与所述局部区域的结构偏差程度最小的候选区域所对应的偏移位置来更新所述当前位置，并更新所述局部区域和所述候选区域。

对应于第一方面，在第二方面，本发明实施例还提供一种跟踪指部轮廓的装置，包括：

初始外轮廓获取模块，用于从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓；

候选轮廓获取模块，用于以所述指部的初始外轮廓上的每一个离散点为基准，获取每一个离散点的邻近候选点集合，并分别从每一个离散点的邻近候选点集合中选取一个候选点构建成所述指部的候选轮廓；

跟踪轮廓获取模块，用于从所述指部的候选轮廓中，选取偏移程度和轮廓总长度两者数值之和最低的候选轮廓，作为所述指部的跟踪外轮廓；其中，所述偏移程度是指候选轮廓偏离所述彩色图像中对应所述指部的指部边缘的程度。

结合第一方面，在第一方面的第一种可能的实现方式中，所述指部的初始外轮廓上的第i个离散点为v_i，则所述指部的初始外轮廓为V＝{v_i,i∈{1,2,...,N}}，所述指部的候选轮廓为X＝{x_i,x_i∈θ_i,i∈{1,2,...,N}}；其中，θ_i为第i个离散点的邻近候选点集合；

进而，从所述指部的候选轮廓中，选取偏移程度和轮廓总长度两者数值之和最低的候选轮廓为其中，I为描述所述彩色图像中的每一个像素点的像数值的离散函数，α为预设系数。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所选取的候选轮廓所述跟踪轮廓获取模块具体用于：

当所选取的候选轮廓为时，存在有状态方程为时，在预设时间内通过动态规划求解所述状态方程，获得所述选取的候选轮廓X^*所包含的每一个离散点的坐标。

结合第一方面，在第一方面的第三种可能的实现方式中，所述初始外轮廓获取模块具体包括：

图像获取单元，用于获取记录用户手部的同一影像的深度图像和彩色图像；

外轮廓提取单元，用于从所述深度图像或所述彩色图像中提取所述手部的外轮廓；

轮廓分割单元，用于以所述手部的外轮廓的指蹼作为分割指部的分割点，分割所述手部的外轮廓，获得每个指部的初始外轮廓。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述外轮廓提取单元具体为：

关节点深度计算子单元，用于根据预设的手部关节点模型，从所述深度图像中计算出所述手部的每一个关节点的深度；

参考深度确定子单元，用于取所有所述关节点的深度的中值作为参考深度d_ref；

第一轮廓提取子单元，用于从所述深度图像中提取深度在手部深度范围[d_ref-δ,d_ref+δ]内的区域的外轮廓；其中，δ为衡量所述手部的手背与手掌之间厚度的参数值；

轮廓选取子单元，用于从所述外轮廓中选取轮廓的质心距离所述关节点的平均距离最近，且轮廓曲线总长度最长的外轮廓作为所述手部的外轮廓；

第二轮廓提取子单元，用于从所述彩色图像中提取像素值在手部像素区间的区域的外轮廓。

结合第一方面的第三种可能的实现方式，在第一方面的第五种可能的实现方式中，所述跟踪指部轮廓的装置还包括用于提取所述手部的外轮廓的指蹼的位置的指蹼提取模块，所述指蹼提取模块包括：

轮廓拐点选取单元，用于从所述手部的外轮廓的相邻指尖之间的轮廓点中，选取距离连接所述相邻指尖的直线最远的轮廓点作为轮廓拐点；

局部区域确定单元，用于以所述轮廓拐点作为指蹼的当前位置，从所述彩色图像中提取以所述当前位置为中心点的局部区域；

候选区域确定单元，用于将所述当前位置进行偏移获得多个偏移位置，并对于每一个偏移位置，从所述彩色图像中提取以该偏移位置为中心点且与所述局部区域相同形状的区域作为候选区域；其中，所述当前位置为(x,y)，所述偏移位置为(x+δ_x,y+δ_y)；δ_x∈{-1,0,1}，δ_y∈{-1,0,1}，且δ_x和δ_y不同时为0；

偏差程度计算单元，用于计算每一个所述候选区域与所述局部区域的结构偏差程度；对于每一个候选区域，所述候选区域与所述局部区域的结构偏差程度为d(P,Q)，其中，P为包含所述局部区域的每一个像素点的像素值的集合，Q为包含所述候选区域的每一个像素点的像素值的集合，μ_P为集合P中所有像素值的均值，μ_Q为集合Q中所有像素值的均值，σ_PQ为集合P和集合Q的协方差，σ_P为集合P的方差，σ_Q为集合Q的方差，c₁和c₂为预设常数；

指蹼位置确定单元，用于当每一个所述候选区域与所述局部区域的结构偏差程度均大于预设阈值时，将所述当前位置作为所述指蹼的位置；

当前位置更新单元，用于当存在一个所述候选区域与所述局部区域的结构偏差程度不大于所述预设阈值时，选取与所述局部区域的结构偏差程度最小的候选区域所对应的偏移位置来更新所述当前位置，并更新所述局部区域和所述候选区域。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的跟踪指部轮廓的方法及装置，能从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓；然后以所述指部的初始外轮廓上的每一个离散点为基准，获取每一个离散点的邻近候选点集合，并分别从每一个离散点的邻近候选点集合中选取一个候选点构建成所述指部的候选轮廓；进而，从所述指部的候选轮廓中，选取偏离所述彩色图像中对应所述指部的指部边缘的偏移程度和轮廓总长度两者数值之和最低的候选轮廓，作为所述指部的跟踪外轮廓，能准确地跟踪到用户手部的指部轮廓。

附图说明

图1是本发明提供的跟踪指部轮廓的方法的一个实施例的流程示意图；

图2是图1提供的跟踪指部轮廓的方法的步骤S1的一个实施例的流程示意图

图3是本发明提供的一种跟踪指部轮廓的装置一个实施例的结构示意图；

图4是本发明提供的一种跟踪指部轮廓的装置的初始外轮廓获取模块的一个实施例的结构示意图；

图5是本发明提供的一种跟踪指部轮廓的装置的外轮廓提取单元的一个实施例的结构示意图；

图6是本发明提供的一种跟踪指部轮廓的装置的指蹼提取模块的一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

发明人在实施本发明实施例提供跟踪指部轮廓的方法时，发现在将跟踪指部轮廓的问题转化指部曲化优化的问题的过程中，曲线的解空间是连续的高维实数空间，但在实际操作中并不需要跟踪指部轮廓达到很高的精度(例如误差低于0.3像素)，而且要达到如此高精度则在实时跟踪指部轮廓的优化速度将会非常慢，无法满足计算的实时性需求。因而，可对指部的跟踪外轮廓的每一个点的搜索位置或优化位置离散化，这样可以大大减少优化过程的搜索空间。具体而言，可假设需要要优化的指部的初始外轮廓是由N个顶点构成，则所述指部的初始外轮廓上的第i个离散点为v_i，则所述指部的初始外轮廓为V＝{v_i,i∈{1,2,...,N}}，进而限定每一个离散点的优化空间只能在初始外轮廓点的附近搜索，则对于其中的一条指部的候选轮廓为X＝{x_i,x_i∈θ_i,i∈{1,2,...,N}}；其中，θ_i为第i个离散点的邻近候选点集合。综上，得益于θ_i的范围的限制，跟踪指部轮廓的实时计算量大大减少。另外，θ_i的范围可以根据精度要求进行设置。

以下将描述跟踪指部轮廓的具体过程：

参见图1，是本发明提供的跟踪指部轮廓的方法的一个实施例的流程示意图，该方法包括步骤S1至S3，具体为：

S1，从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓；

S2，以所述指部的初始外轮廓上的每一个离散点为基准，获取每一个离散点的邻近候选点集合，并分别从每一个离散点的邻近候选点集合中选取一个候选点构建成所述指部的候选轮廓；

如同前述所说的，所述指部的初始外轮廓上的第i个离散点为v_i，则所述指部的初始外轮廓为V＝{v_i,i∈{1,2,...,N}}，进而对于所述指部其中的一条的候选轮廓可描述为X＝{x_i,x_i∈θ_i,i∈{1,2,...,N}}；其中，θ_i为第i个离散点的邻近候选点集合；对于候选轮廓的选取可以使实时跟踪指部轮廓的计算量大大减少。由于所述指部的候选轮廓有多个，需要从中选取一个候选轮廓作为所述指部的跟踪外轮廓，则下述步骤S3将描述进行候选轮廓的筛选的过程：

S3，从所述指部的候选轮廓中，选取偏移程度和轮廓总长度两者数值之和最低的候选轮廓，作为所述指部的跟踪外轮廓；其中，所述偏移程度是指候选轮廓偏离所述彩色图像中对应所述指部的指部边缘的程度。

需要说明的是，步骤3所包括的候选轮廓的筛选准则为：从所述指部的候选轮廓中，选取偏移程度和轮廓总长度两者数值之和最低的候选轮廓，其表达式为其中，I为描述所述彩色图像中的每一个像素点的像数值的离散函数，α为预设系数。此实施方式所选取的候选轮廓作为所述指部的跟踪外轮廓，除了能够沿所述彩色图像中梯度最大的位置走向变化之后，还能够约束指部的外轮廓的总长度。并且由于限定了x_i∈θ_i,i∈{1,2,...,N}，可减少选取过程的计算量，而且，θ_i为指部的初始外轮廓的第i个离散点的邻近候选点集合，即可约束优化后的轮廓点不会远离初始轮廓点。

所选取的候选轮廓所包含的每一个元素可标记为：则基于上述所选取的候选轮廓的表达式则所选取的候选轮廓符合以下状态方程：

该状态方案满足最优子结构，则在预设时间内通过动态规划求解所述状态方程，获得所选取的候选轮廓X^*所包含的每一个离散点(每一个元素)的坐标，从而可以快速得计算出所选取的候选轮廓的坐标。

参见图2，图2是图1提供的跟踪指部轮廓的方法的步骤S1的一个实施例的流程示意图，以下将结合图2描述步骤S1中从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓的具体过程，包括步骤S11至S13：

S11，获取记录用户手部的同一影像的深度图像和彩色图像；

需要说明的是，深度图像是由深度摄像装置捕获到被拍摄物体的图像，其所包含的每一个像素点的像素值反映的是该被拍摄物体与该像素点对应的位置距离摄像头之间的距离信息；彩色图像是由普通摄像装置捕获到被拍摄物体的图像，其所包含的每一个像素点的像素值反映的是该被拍摄物体与该像素点对应的位置的外观颜色信息。

S12，从所述深度图像或所述彩色图像中提取所述手部的外轮廓；

以下将描述本步骤S12中从所述深度图像中提取所述手部的外轮廓的具体过程：

根据预设的手部关节点模型，从所述深度图像中计算出所述手部的每一个关节点的深度；

取所有所述关节点的深度的中值作为参考深度d_ref；

从所述深度图像中提取深度在手部深度范围[d_ref-δ,d_ref+δ]内的区域的外轮廓；其中，δ为衡量所述手部的手背与手掌之间厚度的参数值；

从所述外轮廓中选取轮廓的质心距离所述关节点的平均距离最近，且轮廓曲线总长度最长的外轮廓作为所述手部的外轮廓。

在本发明实施例中，所获取到手部的外轮廓应是由一群坐标点构成的坐标点集合。手部关节点模型是预先利用大量的记录有手部的深度图像的训练集训练出来的模型，该模型包括：基于kinect的手部关节点踪模型、多随机森林模型等，其是基于手部的深度图像的信息训练生成的，可优选利用随机森林算法训练手部关节点模型。手部关节点提供手部各关节点的大致位置，并且通过各关节点的深度可以估算出整个手部的深度范围。另外，在少数情况下，计算到的部分关节点也可能因精度不足超出该手部的区域，或是因深度图像噪声导致关节点的深度误差较大，因而，为了减少这些异常关节点的影响，取所述关节点的深度的中值作为参考深度，则整个手部的深度处于手部深度范围[d_ref-δ,d_ref+δ]内，δ为衡量所述手部的手背与手掌之间厚度的参数值，则提取该范围内的区域的边缘的外轮廓出来，即为该手部的初始外轮廓。但是由于受到噪声或其它干扰区域的影响，提取出来的外轮廓可能会有多个，此时，从中选取轮廓的质心距离所述关节点的平均距离最近，且轮廓曲线总长度最长的外轮廓即可。

以下将描述本步骤S12中从所述彩色图像中提取所述手部的外轮廓的具体过程：

从所述彩色图像中提取像素值在手部像素区间的区域的外轮廓；

从所述外轮廓中选取轮廓的质心距离所述关节点的平均距离最近，且轮廓曲线总长度最长的外轮廓作为所述手部的外轮廓。

需要说明的是，手部的皮肤颜色在RGB空间中有一个范围，可以将这个范围作为本发明实施例的手部像素区间，则根据该手部像素区间对上述彩色图像作区间阈值化，即可获得手部区域。

S13，以所述手部的外轮廓的指蹼作为分割指部的分割点，分割所述手部的外轮廓，获得每个指部的初始外轮廓。

在执行本发明提供的跟踪指部轮廓的方法的步骤S3的之前，还包括确定所述手部的外轮廓上的每一个指蹼的位置，则每一个指蹼的位置的获取过程为：

从所述手部的外轮廓的相邻指尖之间的轮廓点中，选取距离连接所述相邻指尖的直线最远的轮廓点作为轮廓拐点；

以所述轮廓拐点作为指蹼的当前位置，从所述彩色图像中提取以所述当前位置为中心点的局部区域；

将所述当前位置进行偏移获得多个偏移位置，并对于每一个偏移位置，从所述彩色图像中提取以该偏移位置为中心点且与所述局部区域相同形状的区域作为候选区域；其中，所述当前位置为(x,y)，所述偏移位置为(x+δ_x,y+δ_y)；δ_x和δ_y包括但不限于为：δ_x∈{-1,0,1}、δ_y∈{-1,0,1}；δ_x和δ_y不同时为0；

计算每一个所述候选区域与所述局部区域的结构偏差程度；对于每一个候选区域，所述候选区域与所述局部区域的结构偏差程度为d(P,Q)，其中，P为包含所述局部区域的每一个像素点的像素值的集合，Q为包含所述候选区域的每一个像素点的像素值的集合，μ_P为集合P中所有像素值的均值，μ_Q为集合Q中所有像素值的均值，σ_PQ为集合P和集合Q的协方差，σ_P为集合P的方差，σ_Q为集合Q的方差，c₁和c₂为预设常数；

若每一个所述候选区域与所述局部区域的结构偏差程度均大于预设阈值，则将所述当前位置作为所述指蹼的位置；

若存在一个所述候选区域与所述局部区域的结构偏差程度不大于所述预设阈值，则选取与所述局部区域的结构偏差程度最小的候选区域所对应的偏移位置来更新所述当前位置，并更新所述局部区域和所述候选区域。

需要说明的是，当局部区域处于指蹼时，该局部区域与邻近的候选区域的颜色分布(即像素值分布)均有较大差别；当局部区域处于指缝时，该局部区域与沿指缝方向上的邻近的候选区域的颜色分布差别相对较小，且该局部区域与其他的候选区域的颜色分布差较大。因而，当在比较出每一个所述候选区域与所述局部区域的结构偏差程度均大于预设阈值时，即可判断出局部区域落在指蹼上，将该局部区域的中心位置(上述当前位置)作为指蹼的位置，从而完成对指蹼的位置的修正；反之，可判断出该局部区域落在指缝上，需要继续对该指蹼的当前位置进行修正，且选取与该局部区域的结构偏差程度最小的候选区域所对应的中心位置(上述偏移位置)更新为该指蹼的当前位置，可以确保后续更新后的指蹼的当前位置仍处于指缝上，不偏移到非指缝的其他位置上。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的跟踪指部轮廓的方法，能从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓；然后以所述指部的初始外轮廓上的每一个离散点为基准，获取每一个离散点的邻近候选点集合，并分别从每一个离散点的邻近候选点集合中选取一个候选点构建成所述指部的候选轮廓；进而，从所述指部的候选轮廓中，选取偏离所述彩色图像中对应所述指部的指部边缘的偏移程度和轮廓总长度两者数值之和最低的候选轮廓，作为所述指部的跟踪外轮廓，能准确地跟踪到用户手部的指部轮廓。

本发明实施例还提供一种跟踪指部轮廓的装置能够实现上述提供的跟踪指部轮廓的方法的全部流程，如图3所示，图3是本发明提供的一种跟踪指部轮廓的装置一个实施例的结构示意图，该装置具体包括：

初始外轮廓获取模块10，用于从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓；

候选轮廓获取模块20，用于以所述指部的初始外轮廓上的每一个离散点为基准，获取每一个离散点的邻近候选点集合，并分别从每一个离散点的邻近候选点集合中选取一个候选点构建成所述指部的候选轮廓；

跟踪轮廓获取模块30，用于从所述指部的候选轮廓中，选取偏移程度和轮廓总长度两者数值之和最低的候选轮廓，作为所述指部的跟踪外轮廓；其中，所述偏移程度是指候选轮廓偏离所述彩色图像中的对应所述指部的指部边缘的程度。

结合第一方面，在第一方面的第一种可能的实现方式中，所述指部的初始外轮廓上的第i个离散点为v_i，则所述指部的初始外轮廓为V＝{v_i,i∈{1,2,...,N}}，所述指部的候选轮廓为X＝{x_i,x_i∈θ_i,i∈{1,2,...,N}}；其中，θ_i为第i个离散点的邻近候选点集合；

进而，从所述指部的候选轮廓中选取偏离所述彩色图像中的对应所述指部的指部边缘的偏移程度和轮廓总长度两者数值之和最低的候选轮廓为其中，I为描述所述彩色图像中的每一个像素点的像数值的离散函数，α为预设系数。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所选取的候选轮廓所述跟踪轮廓获取模块30具体用于：

当所选取的候选轮廓为存在有状态方程为时，在预设时间内通过动态规划求解所述状态方程，获得所述选取的候选轮廓X^*所包含的每一个离散点的坐标。

结合第一方面，在第一方面的第三种可能的实现方式中，参见图4，图4是本发明提供的一种跟踪指部轮廓的装置的初始外轮廓获取模块的一个实施例的结构示意图；该初始外轮廓获取模块10具体包括：

图像获取单元11，用于获取记录用户手部的同一影像的深度图像和彩色图像；

外轮廓提取单元12，用于从所述深度图像或所述彩色图像中提取所述手部的外轮廓；

轮廓分割单元13，用于以所述手部的外轮廓的指蹼作为分割指部的分割点，分割所述手部的外轮廓，获得每个指部的初始外轮廓。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，参见图5，图5是本发明提供的一种跟踪指部轮廓的装置的外轮廓提取单元的一个实施例的结构示意图；该所述外轮廓提取单元12具体为：

关节点深度计算子单元121，用于根据预设的手部关节点模型，从所述深度图像中计算出所述手部的每一个关节点的深度；

参考深度确定子单元122，用于取所有所述关节点的深度的中值作为参考深度d_ref；

第一轮廓提取子单元123，用于从所述深度图像中提取深度在手部深度范围[d_ref-δ,d_ref+δ]内的区域的外轮廓；其中，δ为衡量所述手部的手背与手掌之间厚度的参数值；

轮廓选取子单元124，用于从所述外轮廓中选取轮廓的质心距离所述关节点的平均距离最近，且轮廓曲线总长度最长的外轮廓作为所述手部的外轮廓；

第二轮廓提取子单元125，用于从所述彩色图像中提取像素值在手部像素区间的区域的外轮廓。

结合第一方面的第三种可能的实现方式，在第一方面的第五种可能的实现方式中，所述跟踪指部轮廓的装置还包括用于提取所述手部的外轮廓的指蹼的位置的指蹼提取模块40，参见图6，图6是本发明提供的一种跟踪指部轮廓的装置的指蹼提取模块的一个实施例的结构示意图；所述指蹼提取模块40包括：

轮廓拐点选取单元41，用于从所述手部的外轮廓的相邻指尖之间的轮廓点中，选取距离连接所述相邻指尖的直线最远的轮廓点作为轮廓拐点；

局部区域确定单元42，用于以所述轮廓拐点作为指蹼的当前位置，从所述彩色图像中提取以所述当前位置为中心点的局部区域；

候选区域确定单元43，用于将所述当前位置进行偏移获得多个偏移位置，并对于每一个偏移位置，从所述彩色图像中提取以该偏移位置为中心点且与所述局部区域相同形状的区域作为候选区域；其中，所述当前位置为(x,y)，所述偏移位置为(x+δ_x,y+δ_y)；δ_x∈{-1,0,1}，δ_y∈{-1,0,1}，且δ_x和δ_y不同时为0；

偏差程度计算单元44，用于计算每一个所述候选区域与所述局部区域的结构偏差程度；对于每一个候选区域，所述候选区域与所述局部区域的结构偏差程度为d(P,Q)，其中，P为包含所述局部区域的每一个像素点的像素值的集合，Q为包含所述候选区域的每一个像素点的像素值的集合，μ_P为集合P中所有像素值的均值，μ_Q为集合Q中所有像素值的均值，σ_PQ为集合P和集合Q的协方差，σ_P为集合P的方差，σ_Q为集合Q的方差，c₁c₁和c₂为预设常数；

指蹼位置确定单元45，用于当每一个所述候选区域与所述局部区域的结构偏差程度均大于预设阈值时，将所述当前位置作为所述指蹼的位置；

当前位置更新单元46，用于当存在一个所述候选区域与所述局部区域的结构偏差程度不大于所述预设阈值时，选取与所述局部区域的结构偏差程度最小的候选区域所对应的偏移位置来更新所述当前位置，并更新所述局部区域和所述候选区域。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种跟踪指部轮廓的方法，其特征在于，包括：

从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓；

以所述指部的初始外轮廓上的每一个离散点为基准，获取每一个离散点的邻近候选点集合，并分别从每一个离散点的邻近候选点集合中选取一个候选点构建成所述指部的候选轮廓；

从所述指部的候选轮廓中，选取偏移程度和轮廓总长度两者数值之和最低的候选轮廓，作为所述指部的跟踪外轮廓；其中，所述偏移程度是指候选轮廓偏离所述彩色图像中对应所述指部的指部边缘的程度；

其中，从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓，具体为：

获取记录用户手部的同一影像的深度图像和彩色图像；

从所述深度图像或所述彩色图像中提取所述手部的外轮廓；

以所述手部的外轮廓的指蹼作为分割指部的分割点，分割所述手部的外轮廓，获得每个指部的初始外轮廓；

所述跟踪指部轮廓的方法还包括提取所述手部的外轮廓的指蹼的位置，具体为：

从所述手部的外轮廓的相邻指尖之间的轮廓点中，选取距离连接所述相邻指尖的直线最远的轮廓点作为轮廓拐点；

以所述轮廓拐点作为指蹼的当前位置，从所述彩色图像中提取以所述当前位置为中心点的局部区域；

将所述当前位置进行偏移获得多个偏移位置，并对于每一个偏移位置，从所述彩色图像中提取以该偏移位置为中心点且与所述局部区域相同形状的区域作为候选区域；

计算每一个所述候选区域与所述局部区域的结构偏差程度；

若每一个所述候选区域与所述局部区域的结构偏差程度均大于预设阈值，则将所述当前位置作为所述指蹼的位置。

2.如权利要求1所述的跟踪指部轮廓的方法，其特征在于，所述指部的初始外轮廓上的第i个离散点为v_i，则所述指部的初始外轮廓为V＝{v_i,i∈{1,2,...,N}}，所述指部的候选轮廓为X＝{x_i,x_i∈θ_i,i∈{1,2,...,N}}；其中，θ_i为第i个离散点的邻近候选点集合；

进而，从所述指部的候选轮廓中，选取偏移程度和轮廓总长度两者数值之和最低的候选轮廓为其中，I为描述所述彩色图像中的每一个像素点的像数值的离散函数，α为预设系数。

3.如权利要求2所述的跟踪指部轮廓的方法，其特征在于，所选取的候选轮廓

在所选取的候选轮廓为时，存在有状态方程为则在预设时间内通过动态规划求解所述状态方程，获得所述选取的候选轮廓X^*所包含的每一个离散点的坐标。

4.如权利要求1所述的跟踪指部轮廓的方法，其特征在于，从所述深度图像中提取所述手部的外轮廓，具体为：

根据预设的手部关节点模型，从所述深度图像中计算出所述手部的每一个关节点的深度；

取所有所述关节点的深度的中值作为参考深度d_ref；

从所述深度图像中提取深度在手部深度范围[d_ref-δ,d_ref+δ]内的区域的外轮廓；其中，δ为衡量所述手部的手背与手掌之间厚度的参数值；

从所述外轮廓中选取轮廓的质心距离所述关节点的平均距离最近，且轮廓曲线总长度最长的外轮廓作为所述手部的外轮廓；

以及，从所述彩色图像中提取所述手部的外轮廓，具体为：

从所述彩色图像中提取像素值在手部像素区间的区域的外轮廓；

从所述外轮廓中选取轮廓的质心距离所述关节点的平均距离最近，且轮廓曲线总长度最长的外轮廓作为所述手部的外轮廓。

5.如权利要求1所述的跟踪指部轮廓的方法，其特征在于，所述当前位置为(x,y)，所述偏移位置为(x+δ_x,y+δ_y)；δ_x∈{-1,0,1}，δ_y∈{-1,0,1}，且δ_x和δ_y不同时为0；

对于每一个候选区域，所述候选区域与所述局部区域的结构偏差程度为d(P,Q)，其中，P为包含所述局部区域的每一个像素点的像素值的集合，Q为包含所述候选区域的每一个像素点的像素值的集合，μ_P为集合P中所有像素值的均值，μ_Q为集合Q中所有像素值的均值，σ_PQ为集合P和集合Q的协方差，σ_P为集合P的方差，σ_Q为集合Q的方差，c₁和c₂为预设常数；所述跟踪指部轮廓的方法还包括：

若存在一个所述候选区域与所述局部区域的结构偏差程度不大于所述预设阈值，则选取与所述局部区域的结构偏差程度最小的候选区域所对应的偏移位置来更新所述当前位置，并更新所述局部区域和所述候选区域。

6.一种跟踪指部轮廓的装置，其特征在于，包括：

初始外轮廓获取模块，用于从记录用户手部的同一影像的深度图像或彩色图像中获取指部的初始外轮廓；

候选轮廓获取模块，用于以所述指部的初始外轮廓上的每一个离散点为基准，获取每一个离散点的邻近候选点集合，并分别从每一个离散点的邻近候选点集合中选取一个候选点构建成所述指部的候选轮廓；

跟踪轮廓获取模块，用于从所述指部的候选轮廓中，选取偏移程度和轮廓总长度两者数值之和最低的候选轮廓，作为所述指部的跟踪外轮廓；其中，所述偏移程度是指候选轮廓偏离所述彩色图像中对应所述指部的指部边缘的程度；

其中，所述初始外轮廓获取模块具体包括：

图像获取单元，用于获取记录用户手部的同一影像的深度图像和彩色图像；

外轮廓提取单元，用于从所述深度图像或所述彩色图像中提取所述手部的外轮廓；

轮廓分割单元，用于以所述手部的外轮廓的指蹼作为分割指部的分割点，分割所述手部的外轮廓，获得每个指部的初始外轮廓；

所述跟踪指部轮廓的装置还包括用于提取所述手部的外轮廓的指蹼的位置的指蹼提取模块，所述指蹼提取模块包括：

轮廓拐点选取单元，用于从所述手部的外轮廓的相邻指尖之间的轮廓点中，选取距离连接所述相邻指尖的直线最远的轮廓点作为轮廓拐点；

局部区域确定单元，用于以所述轮廓拐点作为指蹼的当前位置，从所述彩色图像中提取以所述当前位置为中心点的局部区域；

候选区域确定单元，用于将所述当前位置进行偏移获得多个偏移位置，并对于每一个偏移位置，从所述彩色图像中提取以该偏移位置为中心点且与所述局部区域相同形状的区域作为候选区域；

偏差程度计算单元，用于计算每一个所述候选区域与所述局部区域的结构偏差程度；

指蹼位置确定单元，用于当每一个所述候选区域与所述局部区域的结构偏差程度均大于预设阈值时，将所述当前位置作为所述指蹼的位置。

7.如权利要求6所述的跟踪指部轮廓的装置，其特征在于，所述指部的初始外轮廓上的第i个离散点为v_i，则所述指部的初始外轮廓为V＝{v_i,i∈{1,2,...,N}}，所述指部的候选轮廓为X＝{x_i,x_i∈θ_i,i∈{1,2,...,N}}；其中，θ_i为第i个离散点的邻近候选点集合；

进而，从所述指部的候选轮廓中，选取偏移程度和轮廓总长度两者数值之和最低的候选轮廓为其中，I为描述所述彩色图像中的每一个像素点的像数值的离散函数，α为预设系数。

8.如权利要求7所述的跟踪指部轮廓的装置，其特征在于，所选取的候选轮廓所述跟踪轮廓获取模块具体用于：

当所选取的候选轮廓为时，存在有状态方程为时，在预设时间内通过动态规划求解所述状态方程，获得所述选取的候选轮廓X^*所包含的每一个离散点的坐标。

9.如权利要求6所述的跟踪指部轮廓的装置，其特征在于，所述外轮廓提取单元具体为：

关节点深度计算子单元，用于根据预设的手部关节点模型，从所述深度图像中计算出所述手部的每一个关节点的深度；

参考深度确定子单元，用于取所有所述关节点的深度的中值作为参考深度d_ref；

第一轮廓提取子单元，用于从所述深度图像中提取深度在手部深度范围[d_ref-δ,d_ref+δ]内的区域的外轮廓；其中，δ为衡量所述手部的手背与手掌之间厚度的参数值；

轮廓选取子单元，用于从所述外轮廓中选取轮廓的质心距离所述关节点的平均距离最近，且轮廓曲线总长度最长的外轮廓作为所述手部的外轮廓；

第二轮廓提取子单元，用于从所述彩色图像中提取像素值在手部像素区间的区域的外轮廓。

10.如权利要求6所述的跟踪指部轮廓的装置，其特征在于，所述当前位置为(x,y)，所述偏移位置为(x+δ_x,y+δ_y)；δ_x∈{-1,0,1}，δ_y∈{-1,0,1}，且δ_x和δ_y不同时为0；

对于每一个候选区域，所述候选区域与所述局部区域的结构偏差程度为d(P,Q)，其中，P为包含所述局部区域的每一个像素点的像素值的集合，Q为包含所述候选区域的每一个像素点的像素值的集合，μ_P为集合P中所有像素值的均值，μ_Q为集合Q中所有像素值的均值，σ_PQ为集合P和集合Q的协方差，σ_P为集合P的方差，σ_Q为集合Q的方差，c₁和c₂为预设常数；

所述跟踪指部轮廓的装置还包括当前位置更新单元，用于当存在一个所述候选区域与所述局部区域的结构偏差程度不大于所述预设阈值时，选取与所述局部区域的结构偏差程度最小的候选区域所对应的偏移位置来更新所述当前位置，并更新所述局部区域和所述候选区域。