CN113947683A - 指尖点检测方法、系统及指尖点运动轨迹识别方法、系统 - Google Patents

Abstract

本发明涉及一种指尖点检测方法、系统及指尖点运动轨迹识别方法、系统，在手部区域跟踪的基础上，首先利用边缘检测算法提取手部轮廓，然后采用自适应K值的K‑COS算法计算手部轮廓曲率进而定位候选指尖点，根据手指两侧近似的平行特征和1‑D特征利用平行向量法排除噪声指尖点，进而实现对多自由度指尖点的准确检测；上述采用K‑余弦曲率法和平行向量法检测所述手部轮廓上的指尖点的方法中可得指尖点与掌心的位置和距离，因此可用每个手指点到掌心点的连线(方向矢量)表示自然指尖点运动特征，采用改进的DTW算法实现对指尖点特殊运动轨迹的识别，进而为AR装配系统准确叠加虚拟信息提供支撑。

Description

指尖点检测方法、系统及指尖点运动轨迹识别方法、系统

技术领域

本发明涉及手势识别技术领域，特别是涉及指尖点检测方法、系统及指尖点运动轨迹识别方法、系统。

背景技术

在手部区域跟踪的基础上，对手部轮廓提取后实现对静态指尖点特征的实时、准确检测，将成为多自由度指尖点与AR装配系统中虚拟对象自然、实时且准确交互的关键。现有的静态指尖点检测通常采用凸包缺陷检测和CPM深度神经网络方法，但这些方法易受噪声指尖点的影响，导致对指尖点的检测结果并不准确。

因此，亟需一种对静态指尖点特征准确检测的指尖点检测方法、系统及指尖点运动轨迹识别方法、系统。

发明内容

本发明的目的是提供一种指尖点检测方法、系统及指尖点运动轨迹识别方法、系统，降低噪声指尖点的影响，提高对指尖点特征检测的精度。

为实现上述目的，本发明提供了如下方案：

一种指尖点检测方法，包括：

采集手部图像；

提取所述手部图像中的手部轮廓；

采用K-余弦曲率法和平行向量法检测所述手部轮廓上的指尖点。

可选的，所述提取所述手部图像中的手部轮廓，具体包括：

利用基于自适应的相关滤波KCF算法对所述手部图像中的手部区域进行跟踪，得到跟踪手部区域；

采用码本对所述跟踪手部区域的背景建模，得到背景模型；

根据所述背景模型提取所述跟踪手部区域的前景和背景；

对所述前景进行分水岭变换，得到所述手部轮廓。

可选的，所述采用K-余弦曲率法和平行向量法检测所述手部轮廓上的指尖点，具体包括：

利用所述K-余弦曲率法计算所述手部轮廓上的像素点的曲率；

根据所述曲率和设定阈值检测候选指尖点，并将所述候选指尖点存入候选指尖点集；

利用所述平行向量法判断所述候选指尖点集中是否存在噪声指尖点；

若所述候选指尖点集中存在噪声指尖点，则剔除所述噪声指尖点；

将剔除所述噪声指尖点后的候选指尖点作为最终的指尖点检测结果。

可选的，所述利用所述K-余弦曲率法计算所述手部轮廓上像素点的曲率；根据所述曲率和设定阈值检测候选指尖点，并将所述候选指尖点存入候选指尖点集，具体包括：

以设定常数距离范围为间隔，逆时针遍历所述手部轮廓中某一手指上的像素点，得到像素点集；

选取所述像素点集的一最像指尖点的像素点作为轮廓点；

分别确定所述轮廓点与第一像素点之间的第一向量和与第二像素点之间的第二向量，其中所述第一像素点和所述第二像素点分别为所述轮廓点两侧第预定个数个所述像素点；

根据所述第一向量和所述第二向量计算所述轮廓点的余弦值；

根据所述轮廓点的余弦值计算设定常数距离范围内所有像素点的曲率，得到候选曲率；

判断所述候选曲率与所述设定阈值的大小；

若所述候选曲率小于所述设定阈值，则将所述候选曲率对应的像素点作为预候选指尖点；

判断所述候选指尖点的余弦夹角是否在设定夹角范围内；

若所述预候选指尖点的余弦夹角在设定夹角范围内，则将所述预候选指尖点作为候选指尖点；

将检测出的手部轮廓中所有手指上的候选指尖点存入候选指尖点集。

可选的，所述利用所述平行向量法判断所述候选指尖点集中是否存在噪声指尖点，具体包括：

分别确定所述候选指尖点集中的最像指尖点的候选指尖点、前驱像素点和后继像素点在手部轮廓序列中对应的第一下标、第二下标和第三下标，其中所述前驱像素点和所述后继像素点为所述最像指尖点的候选指尖点两侧的多个所述候选指尖点；

将所述第二下标与所述第一下标的差值大于阈值的所述前驱像素点作为左边指尖点，并将所述左边指尖点存入左边指尖点集合；

将所述第三下标与所述第一下标的差值大于阈值的所述后继像素点作为右边指尖点，并将所述右边指尖点存入右边指尖点集合；

分别计算每一所述左边指尖点与掌心的第一距离和每一所述左边指尖点与每一所述右边指尖点的第二距离；

计算同一所述左边指尖点的所述第一距离与所述第二距离的差值；

将所述差值最小的对应的所述左边指尖点和所述右边指尖点作为左右噪声指尖点对；

剔除夹角不满足设定夹角范围的所述左右噪声指尖点对后，得到剩余候选指尖点；

分别确定所述最像指尖点的候选指尖点与第一前驱像素点之间的第三向量和与第二后继像素点之间的第四向量，其中所述第一前驱像素点和所述第二后继像素点分别为所述最像指尖点的候选指尖点两侧、且距离所述最像指尖点的候选指尖点预定步长的所述前驱像素点和所述后继像素点；

计算所述第三向量和所述第四向量的夹角；

判断所述夹角是否小于设定阈值；

若所述夹角小于设定阈值，则所述待最像指尖点的候选指尖点为指尖点；否则所述最像指尖点的候选指尖点为噪声指尖点；

剔除所述剩余候选指尖点中的噪声指尖点，得到最终的指尖点检测结果。

一种指尖点运动轨迹识别方法，包括：

根据所述指尖点与掌心点的方向矢量，构造指尖点运行轨迹模板；

获取待测指尖点轨迹序列；

利用DTW算法匹配所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列，识别所述待测指尖点轨迹序列的运动轨迹。

可选的，所述利用DTW算法匹配所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列，识别所述待测指尖点轨迹序列的运动轨迹，具体包括：

计算待测特征向量和与所述待测特征向量对应的模板特征向量之间的距离，其中所述待测特征向量为所述待测指尖点轨迹序列中的特征向量，所述模板特征向量为所述指尖点运行轨迹模板中的特征向量；

根据所述距离构建时间规整矩阵；

确定穿越所述时间规整矩阵的规整路径，其中所述规整路径满足边界对应、方向对应和元素对应的约束条件；

根据所述规整路径确定所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的总规整函数；

当所述总规整函数最小时，所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的DTW距离最小；

当所述DTW距离最小时，所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列最接近；

根据确定的最接近的指尖点运行轨迹模板的指尖点序列识别所述待测指尖点轨迹序列的运动轨迹。

可选的，所述DTW算法为改进的DTW算法；所述改进的DTW算法包括：

计算所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的失真度；

比较所述失真度与阈值的大小；

若所述失真度大于阈值，则将所述指尖点运行轨迹模板中对应的特征向量存入冗余指尖点模板；

分别计算所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列以及所述待测指尖点轨迹序列和所述冗余指尖点模板的DTW距离；

将能在所述指尖点运行轨迹模板匹配，同时在所述冗余指尖点模板未被匹配，且所述DTW距离最小的模板指尖点作为识别出的所述待测指尖点轨迹序列中的指尖点，识别所述待测指尖点轨迹序列的运动轨迹。

一种指尖点识别系统，包括：

采集模块，用于采集手部图像；

提取模块，用于提取所述手部图像中的手部轮廓；

指尖点检测模块，用于采用K-余弦曲率法和平行向量法检测所述手部轮廓上的指尖点。

一种指尖点运动轨迹识别系统，包括：

构造模块，用于根据权利要求1中的所述指尖点与掌心点的方向矢量，构造指尖点运行轨迹模板；

获取模块，用于获取待测指尖点轨迹序列；

轨迹识别模块，用于利用DTW算法匹配所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列，识别所述待测指尖点轨迹序列的运动轨迹。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种指尖点检测方法、系统及指尖点运动轨迹识别方法、系统，在手部区域跟踪的基础上，首先利用边缘检测算法提取手部轮廓，然后采用自适应K值的K-COS算法计算手部轮廓曲率进而定位候选指尖点，根据手指两侧近似的平行特征和1-D特征利用平行向量法排除噪声指尖点，进而实现对多自由度指尖点的准确检测；上述采用K-余弦曲率法和平行向量法检测所述手部轮廓上的指尖点的方法中可得指尖点与掌心的位置和距离，因此可用每个手指点到掌心点的连线(方向矢量)表示自然指尖点运动特征，采用改进DTW算法实现对指尖点特殊运动轨迹的识别，进而为AR装配系统准确叠加虚拟信息提供支撑。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种指尖点检测方法的流程图；

图2为本发明实施例1提供的一种指尖点检测方法中轮廓点分别与第一像素点和第二像素点组成的向量的示意图；

图3(a)为本发明实施例1提供的一种指尖点检测方法中非指尖位置的夹角的示意图，图3(b)为指尖位置的夹角的示意图；

图4为本发明实施例1提供的一种指尖点检测方法中手部边界1-D表达的曲线图；

图5为本发明实施例2提供的一种指尖点运动轨迹识别方法的流程图；

图6为本发明实施例2提供的一种指尖点运动轨迹识别方法中指尖点结构分布的示意图；

图7为本发明实施例2提供的一种指尖点运动轨迹识别方法中基准向量区域的示意图；

图8为本发明实施例2提供的一种指尖点运动轨迹识别方法中的相邻节点间最优路径的示意图；

图9为本发明实施例4提供的一种指尖点检测系统的结构图；

图10为本发明实施例5提供的一种指尖点运动轨迹识别系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种指尖点检测方法、系统及指尖点运动轨迹识别方法、系统，以降低噪声指尖点的影响，提高对指尖点特征检测的精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1：

在获得手部跟踪检测框或掩码后进行手部区域跟踪分割，并将指尖点静态图像检测编码，然后对指尖点特殊运动轨迹进行识别理解，能够实现多自由度指尖点与AR装配系统中虚拟对象更丰富自然的交互。其中，指尖点检测是指通过对手部区域跟踪，然后利用图像分割、图像识别等算法实现指尖点特征检测。静态指尖点检测中通常采用凸包缺陷检测和CPM深度神经网络方法，但这些方法易受噪声指尖点的影响，因而存在检测结果精度不高的问题。为解决该技术问题，如图1所示，本实施例提供了一种指尖点检测方法，包括：

S1：采集手部图像；

S2：提取所述手部图像中的手部轮廓，具体包括：

利用基于自适应的相关滤波KCF算法对所述手部图像中的手部区域进行跟踪，得到跟踪手部区域；

采用码本对所述跟踪手部区域的背景建模以提取手部区域前景，得到背景模型；

根据所述背景模型提取所述跟踪手部区域的前景和背景；

对所述前景作为感兴趣的标记进行分水岭变换，利用Freeman链码平滑轮廓得到最贴近视觉效果的手部轮廓；

S3：采用K-余弦曲率法(K-COS算法)和平行向量法检测所述手部轮廓上的指尖点，具体地采用K-COS算法定位候选指尖点，采用平行向量法排除排除候选指尖点中的噪声指尖点，从而检测出手部轮廓上真正的指尖点。

为了使本领域技术人员更清楚地了解S3的具体过程，下述进行具体阐释。

采用K-COS算法定位候选指尖点：在指尖点检测识别时可计算手部边缘轮廓的曲率，并利用向量夹角的余弦值表示。以右手食指为例，设定一个常数K，以K为间隔逆时针遍历其外轮廓上的像素，得到像素点集；

选取像素点集的一最像指尖点的像素点p_i作为轮廓点，并分别确定p_i左右两侧第k个点p_i+k和p_i-k，按逆时针方向将p_i、p_i+k和p_i-k组成的向量，如图2所示。

设在食指上像素点总数为N，对K设定一个范围K_min＜K＜K_max，其中，K_min表示K的最小取值，K_max表示K的最大取值，则有：

由于夹角与曲率有关，因此在计算曲率时，先计算余弦夹角，则手指外轮廓与点p_i的余弦夹角的计算公式为：

对K所在范围内的所有像素点算出余弦值，取所有像素点余弦的平均值作为p点的曲率，其中p点为K所在范围内检测到的任意一个像素点：

设置阈值Th，优选地设Th＝0.7，判断曲率与设定阈值的大小；若曲率小于所述设定阈值，则将曲率对应的像素点作为预候选指尖点，因此判断像素点是否为预候选指尖点的依据为：

Peeks＝{p(x,y)|KCV(p)＜Th} (4)

由于指尖所在位置的向量之间的夹角比较小，因此可通过计算向量的余弦值，根据指尖的余弦夹角进一步判断预候选指尖点是否为候选指尖点，具体地判断候选指尖点的余弦夹角是否在设定夹角范围内；若预候选指尖点的余弦夹角在设定夹角范围内，则将预候选指尖点作为候选指尖点，如图3(a)显示的则是非指尖位置的夹角，(b)则为指尖位置的夹角，在本实施例中优选40°～140°作为候选指尖点位置的应有度数(即设定夹角范围)。

按照上述食指指尖点的检测方法检测其他手指的指尖点，将检测出的手部轮廓中所有手指上的候选指尖点存入候选指尖点集。

虽然通过K-COS算法能够确定候选指尖点，但是由于手腕处噪声指尖点的存在，将影响AR装配引导系统注册的精确度，对此需要去除噪声指尖点。通常将两向量夹角小于300°的向量统称为平行向量，而手指不同状态都可以看作是一组平行线和一段曲线的基元组合。为了排除手腕处的噪声指尖点，本实施例依据每根手指两侧形状近似平行的特性，采用平行向量法排除候选指尖点中的噪声指尖点的具体流程为：

1)确定所述候选指尖点集中的最像指尖点的候选指尖点p_i、前驱像素点p_i+k和后继像素点p_i-k在手部轮廓序列中对应的第一下标A、第二下标A_p和第三下标A_q，其中所述前驱像素点和所述后继像素点为所述最像指尖点的候选指尖点两侧的多个所述候选指尖点；

2)通过试验可先设定一个阈值为20，判断第二下标和第三下标分别与第一下标的差值与阈值的大小；若A_p-A＞20，则将第二下标与第一下标的差值大于阈值的前驱像素点作为左边指尖点，并将左边指尖点存入左边指尖点集合S_l中；同理，将第三下标与第一下标的差值大于阈值的后继像素点作为右边指尖点，并将右边指尖点存入右边指尖点集合S_r中；

3)根据如图4所示的手部边界1-D表达，计算左边指尖点与掌心的第一距离r，依次从S_l中取出左边指尖点p_l，计算其和S_r中每个右边指尖点的第二距离l，计算第一距离与第二距离的差值，比较得出最小的差值d_min，则d_min对应的右边指尖点即为p_l对应的p_r，重复上述步骤找到左右对应的左右噪声指尖点对，然后通过判断左右噪声指尖点对的夹角是否在40°～140°范围内(夹角的判断方法可采用上述K-COS算法)，在该范围内的点则判断为指尖点，其他的则剔除，其中d_min的计算公式为：

其中，

表示左边指尖点p_l与每个右边指尖点的第二距离，

表示左边指尖点p_l与掌心的第一距离；

4)设定步长阈值为15(步长不能超过大拇指长度)，计算出最像指尖点的候选指尖点p_i的第15个后继像素点p_i+15以及第15个前驱像素点p_i-15，得到向量p_ip_i+15和向量p_ip_i-15，并根据式(2)求出夹角α；

5)判断夹角α是否小于阈值30°来判断该夹角对应的两个向量是否为拟平行向量，若是，则该夹角对应的最像指尖点的候选指尖点p_i判定为指尖点，若不是，则予以过滤，使得在手部形变、快速运动及遮挡等复杂环境下，可准确排除噪声指尖点的影响。

本实施例通过K-COS方法对指尖进行检测，并利用平行向量法的剔除噪声指尖点，提高了指尖点识别理解的准确性和稳定性，设定握拳、单指、双指、三指、四指、五指、数字六、大拇指8种指尖点静态图像，本实施例在手部区域发生背景、光照、尺度、旋转等复杂环境下均可成功检测到指尖点特征，使得静态指尖点检测的准确率约为93％。

实施例2：

实施例1得到的静态指尖点由于表示固定，使得动态指尖点AR装配系统可通过手掌滑动产生的指尖点特定运动轨迹进行更为丰富内容的识别注册。对此，基于实施例1中的静态指尖点，本实施例提供了一种动态指尖点运动轨迹识别方法，其中动态指尖点识别：通过跟预存储的指尖点动态轨迹匹配，实现对动态指尖点轨迹的识别。

如图5所示，指尖点运动轨迹识别方法包括：

Sa:根据实施例1的所述指尖点与掌心点的方向矢量，构造指尖点运行轨迹模板；

通过实施例1可得掌心与指尖点的位置和距离，为构造自然指尖点运动特征，可用每个手指点到掌心点的方向矢量(连线)表示自然指尖点特征，具体结构分布描述如图6所示。

自然指尖点运动在模板中可视为平面中的一条运动轨迹，连续图像中掌心点连线可表示完整的指尖点运动轨迹信息。为了消除每个人指尖幅度与习惯不同导致的轨迹差异且计算量较长的问题，可将方向重新编码，使每个方向对应一个特定矢量，使得轨迹的描述得到简化，进而减少计算量。如图7所示，通过将方向矢量量化为八个参考方向矢量，计算动态指尖矢量，与当前参考矢量进行比较，并根据其与基准向量的夹角进行编码，从而得到指尖点运行轨迹模板。

Sb:获取待测指尖点轨迹序列；

Sc:利用DTW算法匹配所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列，识别所述待测指尖点轨迹序列的运动轨迹。

Sc具体包括：

Sc1：计算待测特征向量和与所述待测特征向量对应的模板特征向量之间的距离，其中所述待测特征向量为所述待测指尖点轨迹序列中的特征向量，所述模板特征向量为所述指尖点运行轨迹模板中的特征向量。

将指尖点运行轨迹模板定义为P＝(p₁,p₂,……,p_U)，将待测指尖点序列定义为Q＝(q₁,q₂,……,q_I)，其中指尖点运行轨迹模板的指尖点序列的时间长度为U，待测指尖点序列的时间长度为I，p_U表示第U个模板特征向量，q_I表示第I个待测特征向量，U和I是否相等不确定。

将指尖点运行轨迹模板的指尖点序列中的特征向量空间定义为H，待测指尖点序列的特征向量空间定义为H'，则时间规整函数表示为D＝H×H'，通过D来对两个序列进行比较，当D>0时，两个指尖点序列越接近，说明时间节点上的特征向量DTW距离越近，D(p,q)值较小，反之亦然。

Sc2：计算P和Q中对应特征向量组(p_U,q_I)之间的距离，根据距离计算出相应的时间规整矩阵W，时间规整矩阵W的计算表达式为：W(U,I)＝D(p_U,q_I)，其中W∈R^P×Q，从而判断指尖点运行轨迹模板的指尖点序列和待测指尖点序列是否相似，相当于在W中寻找路径，使序列P与Q之间距离最小。

Sc3：确定穿越所述时间规整矩阵的规整路径，其中所述规整路径满足边界对应、方向对应和元素对应的约束条件；

定义B为规整的手势序列，则有B＝(B₁,B₂,……,B_l)，规整的手势序列的时间长度为l，其中B_l＝(p_U,q_I)，B_l∈[1:P]×[1:Q]，l∈[1:L]，并且B还需要满足三个约束条件：

约束1:边界对应B₁＝(1,1),B_L＝(P,Q)，B_L表示第L个规整的手势序列向量；

约束2:方向对应p₁≤p₂≤……≤p_L,q₁≤q₂≤……≤q_L，p_L表示第L个模板特征向量，q_L表示第L个待测特征向量；

约束3:元素对应B_l+1-B_l∈{(1,0),(0,1),(1,1)}，其中l∈[1:L-1]。

边界对应可使序列P和Q中首尾元素相互对应，即可将两个序列完全比较，而方向对应可使规整路径按照正确走向进行。元素对应则是为了让序列P和Q中所有元素比较，并且沿着正确走向过程中不会重复比较。因此，合法的规整路径必须满足上边的三个条件。

Sc4：根据所述规整路径确定所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的总规整函数；

设所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的总规整函数D_B(P,Q)，则D_B(P,Q)定义为：

其中，p_Ul表示为规整后的第U个模板特征向量，q_Il表示规整后的第I个待测特征向量，l∈[1:L]，最优路径就是D(p,q)最小距离的路径。

将P和Q之间距离定义为DTW(P,Q)，那么序列P和Q的DTW距离就是最优路径B*对应的距离，可表示为：

DTW(P,Q)＝min{D_B(P,Q)} (7)

Sc5：当所述总规整函数D_B(P,Q)最小时，所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的DTW距离最小；

Sc6：当所述DTW距离最小时，所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列最接近；

Sc7：根据确定的最接近的指尖点运行轨迹模板的指尖点序列识别所述待测指尖点轨迹序列的运动轨迹。

为了简化算法的复杂度，采用DTW算法计算两个具有时间特性指尖点序列之间距离时，可定义P和Q两个序列中的某一段P(1:p)＝{p(1),p(2),……,p(u)}和Q(1:q)＝{q(1),q(2),……,q(i)}，其中u∈[1:U],i∈[1:I]，p(u)表示第u个模板特征序列，q(i)表示第i个待测特征序列，计算P和Q两个序列的累计规整矩阵A(u,i)为：

A(u,i)＝DTW(p(1:u),Q(1:i)) (8)

其中，矩阵A是一个U×I的矩阵，A(U,I)＝DTW(P,Q)。而在实际计算过程中，将累计规整矩阵A设置成(U+1)×(I+1)的矩阵后再进行距离计算，其中A(u,0)＝∞，u∈[1:U]；A(0,i)＝∞，i∈[1:I]；A(0,0)＝0。

选取局部最优路径的过程如图8所示，在局部序列中一段最优路径满足约束，并在相邻节点中找出最小路径。在确定局部最优路径后，可在序列匹配结束时沿局部最优路径反向进行，即可得序列匹配开始时最初的匹配点，进而获得整个待测指尖点轨迹序列的最优路径。

DTW算法由于采样阶段待测指尖点轨迹与模板指尖点轨迹时间相同，可获得待测指尖点轨迹与模板指尖点轨迹匹配路径的最优解，使其在指尖点模板建立阶段计算和训练相对简单，并可对连贯指尖点动作进行较高准确率的识别。

虽然DTW算法对于简单的指尖点序列识别率、实时性较高，并且算法复杂度低，但存在对复杂指尖点序列兼容性差和特征梯度变换不明显的问题。采用DTW距离无法敏感进行失真度计算和模板间匹配，因此为了在识别过程中增强指尖点模板兼容性，本实施例对DTW算法进行了改进，以识别对指尖点特殊运动轨迹，该方法包括：

计算待测指尖点轨迹序列和指尖点运行轨迹模板的失真度；

比较失真度与阈值的大小；

若失真度大于阈值，则将指尖点运行轨迹模板中对应的特征向量存入冗余指尖点模板；

分别计算所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列以及所述待测指尖点轨迹序列和所述冗余指尖点模板的DTW距离；

将能在所述指尖点运行轨迹模板匹配，同时在所述冗余指尖点模板未被匹配，且所述DTW距离最小的模板指尖点作为识别出的所述待测指尖点轨迹序列中的指尖点，识别所述待测指尖点轨迹序列的运动轨迹。

为了使本领域技术人员更清楚地了解冗余模板的建立过程，下述进行阐释。

将某一个指尖点模板定义为P，模板P中第j个特征向量设为P_j(1≤j≤N)；定义一个待测指尖点序列Q，序列Q中第i个特征向量设为Q_i(1≤i≤M)，寻找一位置(m_k,n_k)，使g(m_k,n_k)具有最小值，从而使指尖点模板P和待测指尖点序列Q的匹配距离最小，m_k和n_k为模板向量，g(m_k,n_k)为模板m_k和n_k的最小匹配距离，可采用公式(9)为：

公式(9)中，等式右侧第二项为己知量，若梯度变化不明显问题存在于待测指尖点序列：

其中，当c(m_k,n_k)对所有可能的位置向量(m_k,n_k)取最大值时，g(m_k,n_k)取最小值，可定义c(m_k,n_k)是P_j与Q_i在点(m_k,n_k)的交叉相关序列，并对其归一化处理得交叉相关系数为：

己知指尖点序列与待测指尖点序列的相似度可用γ(m_k,n_k)来表示，对于己知指尖点序列P的特征梯度变化未出现匹配不敏感的问题，而待测序列Q也近似没有发生变化，则失真度可表示为：

δ(m_k,n_k)＝1-γ(m_k,n_k) (12)

比较失真度与阈值的大小；若失真度大于阈值，则将指尖点运行轨迹模板中对应的特征向量存入冗余指尖点模板。

因此，本实施例通过获取动态指尖点样本，通过重复相同指尖点，获取类似指尖点序列；然后建立动态指尖点模板库，将指尖点存入常规模板库；为了增强指尖点模板兼容性，通过判断失真度将一些由于体型或动作差异造成的误识别动作放到冗余指尖点模板；随后计算待识别指尖点序列和两种模板库中指尖点的DTW距离；并设定在正确指尖点模板中能被匹配并且在冗余模板中未被匹配的指尖点为正确指尖点，最后与两种模板库中的指尖点进行比对，求出最短路径，识别指尖点运动轨迹，进一步提高了指尖点运动轨迹的识别精度。

在设定握拳、单指、双指、三指、四指、五指、数字六、大拇指8种指尖点静态图像基础上，继续设定静态切换、向右、向上、小于号、对号、圆形、三角形、Z字形8种指尖点特殊运动轨迹，通过静态指尖点+指尖点动态轨迹的组合方式，构建指尖点与虚拟信息交互知识库，可组合成64组AR装配系统交互语义，采用改进的DTW算法进行指尖点运动轨迹检测以及指尖点移动AR虚实装配系统交互注册，AR系统首先会检测指尖点及其特殊运动轨迹，然后加载相关的虚拟模型信息，当指尖点交互语义进行操作切换时，每个交互语义之间停顿至少2秒，进而执行交互语义切换。

不同的指尖点交互语义下，本实施例均可完成指尖点跟踪注册，具有良好的多元化指尖点虚实交互注册效果；采用改进的DTW算法进行动态指尖点序列识别，由于冗余参考模板建立和失真度计算，使得其模板匹配准确率高于DTW算法4.3％，并使得指尖点移动AR装配系统运动模板匹配准确率约为91％。

实施例3：

在获得手部跟踪检测框或掩码后进行手部区域跟踪分割后，采用实施例1的方法对指尖点静态图像检测编码，然后采用实施例2的方法对指尖点运动轨迹进行识别，能够与AR装配系统中的虚拟对象进行更丰富自然的交互。因此本实施例基于实施例1和实施例2的方法，研发的一种基于自然指尖点的AR装配系统，可有效提高指尖点移动AR装配系统的适用性和实用性。

实施例4：

参阅图9，本实施例提供了一种指尖点识别系统，包括：

采集模块M1，用于采集手部图像；

提取模块M2，用于提取所述手部图像中的手部轮廓；

指尖点检测模块M3，用于采用K-余弦曲率法和平行向量法检测所述手部轮廓上的指尖点。

实施例5：

参阅图10，本实施例提供了一种指尖点运动轨迹识别系统，包括：

构造模块Ma，用于根据权利要求1中的所述指尖点与掌心点的方向矢量，构造指尖点运行轨迹模板；

获取模块Mb，用于获取待测指尖点轨迹序列；

轨迹识别模块Mc，用于利用DTW算法匹配所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列，识别所述待测指尖点轨迹序列的运动轨迹。

本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种指尖点检测方法，其特征在于，包括：

采集手部图像；

提取所述手部图像中的手部轮廓；

采用K-余弦曲率法和平行向量法检测所述手部轮廓上的指尖点。

2.根据权利要求1所述的一种指尖点检测方法，其特征在于，所述提取所述手部图像中的手部轮廓，具体包括：

利用基于自适应的相关滤波KCF算法对所述手部图像中的手部区域进行跟踪，得到跟踪手部区域；

采用码本对所述跟踪手部区域的背景建模，得到背景模型；

根据所述背景模型提取所述跟踪手部区域的前景和背景；

对所述前景进行分水岭变换，得到所述手部轮廓。

3.根据权利要求1所述的一种指尖点检测方法，其特征在于，所述采用K-余弦曲率法和平行向量法检测所述手部轮廓上的指尖点，具体包括：

利用所述K-余弦曲率法计算所述手部轮廓上的像素点的曲率；

根据所述曲率和设定阈值检测候选指尖点，并将所述候选指尖点存入候选指尖点集；

利用所述平行向量法判断所述候选指尖点集中是否存在噪声指尖点；

若所述候选指尖点集中存在噪声指尖点，则剔除所述噪声指尖点；

将剔除所述噪声指尖点后的候选指尖点作为最终的指尖点检测结果。

4.根据权利要求3所述的一种指尖点检测方法，其特征在于，所述利用所述K-余弦曲率法计算所述手部轮廓上像素点的曲率；根据所述曲率和设定阈值检测候选指尖点，并将所述候选指尖点存入候选指尖点集，具体包括：

以设定常数距离范围为间隔，逆时针遍历所述手部轮廓中某一手指上的像素点，得到像素点集；

选取所述像素点集的一最像指尖点的像素点作为轮廓点；

分别确定所述轮廓点与第一像素点之间的第一向量和与第二像素点之间的第二向量，其中所述第一像素点和所述第二像素点分别为所述轮廓点两侧第预定个数个所述像素点；

根据所述第一向量和所述第二向量计算所述轮廓点的余弦值；

根据所述轮廓点的余弦值计算设定常数距离范围内所有像素点的曲率，得到候选曲率；

判断所述候选曲率与所述设定阈值的大小；

若所述候选曲率小于所述设定阈值，则将所述候选曲率对应的像素点作为预候选指尖点；

判断所述候选指尖点的余弦夹角是否在设定夹角范围内；

若所述预候选指尖点的余弦夹角在设定夹角范围内，则将所述预候选指尖点作为候选指尖点；

将检测出的手部轮廓中所有手指上的候选指尖点存入候选指尖点集。

5.根据权利要求3所述的一种指尖点检测方法，其特征在于，所述利用所述平行向量法判断所述候选指尖点集中是否存在噪声指尖点，具体包括：

分别确定所述候选指尖点集中的最像指尖点的候选指尖点、前驱像素点和后继像素点在手部轮廓序列中对应的第一下标、第二下标和第三下标，其中所述前驱像素点和所述后继像素点为所述最像指尖点的候选指尖点两侧的多个所述候选指尖点；

将所述第二下标与所述第一下标的差值大于阈值的所述前驱像素点作为左边指尖点，并将所述左边指尖点存入左边指尖点集合；

将所述第三下标与所述第一下标的差值大于阈值的所述后继像素点作为右边指尖点，并将所述右边指尖点存入右边指尖点集合；

分别计算每一所述左边指尖点与掌心的第一距离和每一所述左边指尖点与每一所述右边指尖点的第二距离；

计算同一所述左边指尖点的所述第一距离与所述第二距离的差值；

将所述差值最小的对应的所述左边指尖点和所述右边指尖点作为左右噪声指尖点对；

剔除夹角不满足设定夹角范围的所述左右噪声指尖点对后，得到剩余候选指尖点；

分别确定所述最像指尖点的候选指尖点与第一前驱像素点之间的第三向量和与第二后继像素点之间的第四向量，其中所述第一前驱像素点和所述第二后继像素点分别为所述最像指尖点的候选指尖点两侧、且距离所述最像指尖点的候选指尖点预定步长的所述前驱像素点和所述后继像素点；

计算所述第三向量和所述第四向量的夹角；

判断所述夹角是否小于设定阈值；

若所述夹角小于设定阈值，则所述最像指尖点的候选指尖点为指尖点；否则所述最像指尖点的候选指尖点为噪声指尖点；

剔除所述剩余候选指尖点中的噪声指尖点，得到最终的指尖点检测结果。

6.一种指尖点运动轨迹识别方法，其特征在于，包括：

根据权利要求1中的所述指尖点与掌心点的方向矢量，构造指尖点运行轨迹模板；

获取待测指尖点轨迹序列；

利用DTW算法匹配所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列，识别所述待测指尖点轨迹序列的运动轨迹。

7.根据权利要求6所述的一种指尖点运动轨迹识别方法，其特征在于，所述利用DTW算法匹配所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列，识别所述待测指尖点轨迹序列的运动轨迹，具体包括：

计算待测特征向量和与所述待测特征向量对应的模板特征向量之间的距离，其中所述待测特征向量为所述待测指尖点轨迹序列中的特征向量，所述模板特征向量为所述指尖点运行轨迹模板中的特征向量；

根据所述距离构建时间规整矩阵；

确定穿越所述时间规整矩阵的规整路径，其中所述规整路径满足边界对应、方向对应和元素对应的约束条件；

根据所述规整路径确定所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的总规整函数；

当所述总规整函数最小时，所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的DTW距离最小；

当所述DTW距离最小时，所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列最接近；

根据确定的最接近的指尖点运行轨迹模板的指尖点序列识别所述待测指尖点轨迹序列的运动轨迹。

8.根据权利要求6所述的一种指尖点运动轨迹识别方法，其特征在于，所述DTW算法为改进的DTW算法；所述改进的DTW算法包括：

计算所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的失真度；

比较所述失真度与阈值的大小；

若所述失真度大于阈值，则将所述指尖点运行轨迹模板中对应的特征向量存入冗余指尖点模板；

分别计算所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列以及所述待测指尖点轨迹序列和所述冗余指尖点模板的DTW距离；

将能在所述指尖点运行轨迹模板匹配，同时在所述冗余指尖点模板未被匹配，且所述DTW距离最小的模板指尖点作为识别出的所述待测指尖点轨迹序列中的指尖点，识别所述待测指尖点轨迹序列的运动轨迹。

9.一种指尖点识别系统，其特征在于，包括：

采集模块，用于采集手部图像；

提取模块，用于提取所述手部图像中的手部轮廓；

指尖点检测模块，用于采用K-余弦曲率法和平行向量法检测所述手部轮廓上的指尖点。

10.一种指尖点运动轨迹识别系统，其特征在于，包括：

构造模块，用于根据权利要求1中的所述指尖点与掌心点的方向矢量，构造指尖点运行轨迹模板；

获取模块，用于获取待测指尖点轨迹序列；

轨迹识别模块，用于利用DTW算法匹配所述待测指尖点轨迹序列和所述指尖点运行轨迹模板的指尖点序列，识别所述待测指尖点轨迹序列的运动轨迹。

Images