CN109977740A - 一种基于深度图的手部跟踪方法 - Google Patents

Abstract

本发明实施例公开一种基于深度图的手部跟踪的方法。该方法包括步骤：对深度图像进行逐行扫描，记录每行中深度值连续的行线段，并标记出符合预设条件的行线段；对行扫描后的标记图像进行逐列扫描，将符合预设条件的相邻两条标记点形成的列线段进行标记和连接；对行扫描和列扫描后的标记图像中的团块进行轮廓提取，将每个团块的最高点作为种子点进行局部邻近填充，取填充所有点的重心作为相应团块的当前深度图像帧的空间坐标；根据空间最临近原则，对相邻两帧的团块进行匹配，得到团块的轨迹。本发明实施例所提供的方法可利用图像深度信息且不受光照因素影响，又能增强人机交互体验感。

Description

一种基于深度图的手部跟踪方法

技术领域

本发明涉及人机交互的技术领域，具体涉及一种基于深度图的手部跟踪方法。

背景技术

目前，随着虚拟现实设备和增强现实设备的发展普及，手势由于其具备直观性和自然性的特点，已经成为人机交互的重要手段。相应地，手势识别或手部跟踪也逐渐成为人机交互领域的研究热点。

现有的手势识别技术或手部跟踪技术主要分为两种实现方式：第一种为基于2D图像的识别跟踪技术，该技术由于没有图像深度信息且容易受到光照因素影响，在交互动作的识别和检测方面存在很大的局限性；第二种为基于深度图像的识别跟踪技术，具体如微软的Kinect体感设备，该技术需要基于全身骨架检测作为基础进行手势识别或手部跟踪，需要对人体进行标定后才能识别手势，计算数据过多，使得人机交互体验感大大降低。

因此，针对现有手势识别或手部跟踪技术所存在的问题，急需一种既能利用图像深度信息且不受光照因素影响，又能增强人机交互体验感的手部跟踪方法。

发明内容

针对现有手部跟踪方法所存在的问题，本发明实施例提出一种基于深度图的手部跟踪方法，该方法对深度图像中类似手部的团块进行实时跟踪并输出跟踪轨迹。本发明实施例所提供的手部跟踪方法，采用深度图像序列，不需要对全身骨架进行标定，运算资源需求小且速度快，有效地提高人机交互的体验感。

该基于深度图的手部跟踪方法的具体方案如下：一种基于深度图的手部跟踪的方法，包括步骤S11：对深度图像进行逐行扫描，记录每行中深度值连续的行线段，并标记出符合预设条件的行线段；步骤S12：对行扫描后的标记图像进行逐列扫描，将符合预设条件的相邻两条标记点形成的列线段进行标记和连接；步骤S13：对行扫描和列扫描后的标记图像中的团块进行轮廓提取，将每个团块的最高点作为种子点进行局部邻近填充，取填充所有点的重心作为相应团块的当前深度图像帧的空间坐标；步骤S14：根据空间最临近原则，对相邻两帧的团块进行匹配，得到团块的轨迹。

优选地，所述深度值连续的条件为两个相邻像素的深度值之差小于等于100毫米。

优选地，所述预设条件的判断包括步骤S21：判断行线段最左侧像素的深度值是否小于其左临像素的深度值，判断行线段最右侧像素的深度值是否小于其右临像素的深度值；若是，进入步骤S22，否则判断所述行线段不符合预设条件；步骤S22：计算所述行线段所有像素的深度平均值，获取深度传感器在标定所述深度平均值下的标定行线段长度；步骤S23：判断所述标定行线段长度与手部经验长度的差值是否小于二分之一的手部经验长度，若是则判断所述行线段符合预设条件，否则判断所述行线段不符合预设条件。

优选地，所述手部经验长度为100毫米。

优选地，在逐列扫描时，遇到标记像素开始记录，遇到非标记像素停止记录，形成列线段。

优选地，第一列线段和其相邻的第二列线段需要连接的判断条件如下：步骤S31：定义第一列线段的尾像素的下一个像素的深度值为pDown，定义第二列线段的头像素的上一个像素的深度值为pUp；步骤S32：判断pDown和pUp是否至少一个处于有效范围内，若pDown和pUp至少一个处于有效范围则进入步骤S33，否则判断第一列线段和其相邻的第二列线段不需要连接；步骤S33：判断pDown和pUp深度差是否小于预定深度阈值，若是则进入步骤S34，否则判断第一列线段和其相邻的第二列线段不需要连接；步骤S34：判断第一列线段和第二列线段之间的像素长度是否小于预设像素长度，若是则进入步骤S35，否则判断第一列线段和其相邻的第二列线段不需要连接；步骤S35：判断第一列线段和第二列线段的长度是否同时分别大于预定最小长度值，若是则判断第一列线段和其相邻的第二列线段需要连接，否则判断第一列线段和其相邻的第二列线段不需要连接。

优选地，所述步骤S33中的预定深度阈值为55毫米。

优选地，当pDown和pUp都处于有效范围内时，所述步骤S34中的预设像素长度为2；当pDown和pUp只有一个处于有效范围内时，所述步骤S34中的预设像素长度为20。

优选地，所述填充的条件包括：待填充像素点为已标记点；待填充像素点距离种子点的欧式距离小于预设填充距离。

优选地，所述步骤S14具体包括步骤S41：设定上一帧中所有团块为跟踪团块，记为m个跟踪团块；设定当前帧中所有团块为检测团块，记为n个检测团块；将m个跟踪团块和n个检测团块的配对状态都设为false；步骤S42：从检测团块遍历选取一个团块与所述每个跟踪团块计算距离，组成m*n个(i，j，d)数据组；步骤S43：对m*n个(i，j，d)数据组按照距离从小到大进行排序；对排序后的m*n个(i，j，d)数据组进行判断；所述判断的条件为步骤S44：判断第i个检测团块及第j个跟踪团块的配对状态是否都为false；判断相邻两团块距离d是否小于预设团块阈值；若同时满足上述条件，则进入步骤S45，否则返回步骤S42，继续遍历检测；步骤S45：将第i个检测团块及第j个跟踪团块的配对状态都标记为true，并用第i个团块的位置代替第j个跟踪团的位置。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提出一种基于深度图的手部跟踪方法，该方法对深度图像中类似手部的团块进行实时跟踪并输出跟踪轨迹。本发明实施例所提供的手部跟踪方法，仅采用深度图像序列，一旦检测到特定轨迹的手势运动立即返回，不需要对全身骨架进行标定，运算资源需求小且速度快，有效地提高人机交互的体验感。优选地，可根据本发明实施例所提供的手部跟踪方法进行二次开发，自定义动态手势的检测。

附图说明

图1为本发明实施例中提供的一种人机交互场景的示意图；

图2为本发明实施例中提供的手部跟踪方法的流程示意图；

图3为图2所示实施例中行扫描中预设条件的判断流程示意图；

图4为图2所示实施例中列扫描中列线段连接条件的判断流程示意图；

图5为图2所示实施例中步骤S14具体的流程示意图。

附图中标号说明：

10、深度传感器 20、操作者 22、手部

12、可视范围

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明实施例中提供的一种人机交互场景的示意图。在该实施例中，人机交互场景包括深度传感器10和操作者20。深度传感器10具体包括深度相机或深度摄像机。操作者20面向深度传感器10，抬起手部22并且在深度传感器10的可视范围12内移动。深度传感器10将实时采集手部22的深度图像序列，并且将深度图像数据依次读入内存中采用基于深度图的手部跟踪方法进行处理。对每一帧所获取的深度图像，基于深度图的手部跟踪方法的处理过程如下文所示。

如图2所示，本发明实施例中提供的一种手部跟踪方法的流程示意图。在该实施例中，跟踪手部的方法具体包括四个步骤，具体为：

步骤S11：对深度图像进行逐行扫描，记录每行中深度值连续的行线段，并标记出符合预设条件的行线段。逐行扫描中，只有遇到有效深度值才开始记录。在一实施例中，有效深度值定义为距离深度传感器10中心深度距离为0.8米到4米的范围内的深度值。如本领域技术人员所知，有效深度值的具体范围也可根据深度传感器10的可视范围12而有所变化。在该实施例中，深度值连续的条件为两个相邻像素的深度值之差小于等于100毫米。具体为，扫描的下一个像素的深度值与扫描的上一个像素的深度值差值d1小于100毫米，则保留此处扫描的位置和深度，继续扫描至d1大于100毫米。

在该实施例中，步骤S11的预设条件的判断包括3个步骤，具体的步骤流程示意图如图3所示。预设条件的判断包括：

步骤S21：判断行线段最左侧像素的深度值是否小于其左临像素的深度值，判断行线段最右侧像素的深度值是否小于右临像素的深度值；若是，进入步骤S22，否则判断所述行线段不符合预设条件。该步骤是用于判断所得到的行线段是否满足头尾突出的条件。具体地，定义行线段最左侧像素为pHead，行线段的最右侧像素为pTail。分别判断pHead像素的深度值是否小于其左临像素的深度值，判断pTail像素的深度值是否小于其右临像素的深度值。

步骤S22：计算所述行线段所有像素的深度平均值，获取深度传感器在标定所述深度平均值下的标定行线段长度。具体地，计算行线段pHead至pTail所有像素点的深度值的平均值，并且定义该深度平均值为a1。再根据深度传感器在深度平均值a1下的标定行线段长度L1。

步骤S23：判断所述标定行线段长度与手部经验长度的差值是否小于二分之一的手部经验长度，若是，则判断所述行线段符合预设条件，否则判断所述行线段不符合预设条件。具体地，设定手部经验长度为e1，比较标定行线段长度L1与手部经验长度e1的差值是否小于二分之一的手部经验长度e1，若小于，则判定行线段符合预设条件，对该行线段进行标注；否则，判定该行线段不符合预设条件。在该实施例中，手部经验长度e1可设为100毫米。

步骤S12：对行扫描后的标记图像进行逐列扫描，将符合预设条件的相邻两条标记点形成的列线段进行标记和连接。在逐列扫描时，遇到标记像素开始记录，遇到非标记像素停止记录，形成列线段。具体地，第一次遇到标记像素开始记录，遇到非标记像素停止记录，并且将该记录的列线段定义为线段S1。再次扫描遇到标记像素开始记录，遇到非标记像素停止记录，将该记录的列线段定义为S2。S1为第一列线段，S2为第二列线段，第一列线段S1和第二列线段S2相邻。

第一列线段和其相邻的第二列线段是否需要进行连接，具体的条件判断流程如图4所示。具体包括步骤：

步骤S31：定义第一列线段S1的尾像素的下一个像素的深度值为pDown，定义第二列线段S2的头像素的上一个像素的深度值为pUp。

步骤S32：判断pDown和pUp是否至少一个处于有效范围内，若pDown和pUp至少一个处于有效范围则进入步骤S33，否则判断第一列线段S1和其相邻的第二列线段S2不需要连接。

步骤S33：判断pDown和pUp深度差是否小于预定深度阈值，若是则进入步骤S34，否则判断第一列线段S1和其相邻的第二列线段S2不需要连接。在该实施例中，预定深度阈值设为50毫米。

步骤S34：判断第一列线段S1和第二列线段S2之间的像素长度是否小于预设像素长度，若是则进入步骤S35，否则判断第一列线段S1和其相邻的第二列线段S2不需要连接。当pDown和pUp都处于有效范围内时，所述步骤S34中的预设像素长度为2；当pDown和pUp只有一个处于有效范围内时，所述步骤S34中的预设像素长度为20。

步骤S35：判断第一列线段S1和第二列线段S2的长度是否同时分别大于预定最小长度值，若是则判断第一列线段S1和其相邻的第二列线段S2需要连接，否则判断第一列线段S1和其相邻的第二列线段S2不需要连接。在该实施例中，预定最小长度值设为10。

若判断第一列线段S1和其相邻的第二列线段S2需要连接，则认为两条线段S1和S2是意外分离，将第一列线段S1和第二列线段S2中间的像素进行标记，连成一条线段，并设该连接在一起的线段为S1。若判断第一列线段S1和其相邻的第二列线段S2不需要连接，则认为两条线段S1和S2属于分离情况。此时，再对第一列线段S1与最小长度值进行比较，若第一列线段S1小于最小长度值，则认定第一列限定S1为噪声，清除第一列线段S1的标记，否则保留第一列线段S1。最后将第二列线段S2重新标记为第一列线段S1，继续重复上述列扫描判断过程。

步骤S13：对行扫描和列扫描后的标记图像中的团块进行轮廓提取，将每个团块的最高点作为种子点进行局部邻近填充，取填充所有点的重心作为相应团块的当前深度图像帧的空间坐标。在该步骤中填充的条件具体包括：①待填充像素点为已标记点；②待填充像素点距离种子点的欧式距离小于预设填充距离。在该实施例中，预设填充距离设定为100毫米。

步骤S14：根据空间最临近原则，对相邻两帧的团块进行匹配，得到团块的轨迹。通过上述步骤S11至步骤S13，可以得到单帧深度图像的所有手团块信息，根据动作的连续性，可根据当前帧的团块儿位置信息与上一帧的团块儿的位置信息判断运动轨迹。在步骤S14中，主要利用帧间团块最临近思想进行手部跟踪。步骤S14的具体流程如图5所示，包括以下步骤：

步骤S41：设定上一帧中所有团块为跟踪团块，记为m个跟踪团块；设定当前帧中所有团块为检测团块，记为n个检测团块；将m个跟踪团块和n个检测团块的配对状态都设为false。

步骤S42：从检测团块遍历选取一个团块与所述每个跟踪团块计算距离，组成m*n个(i，j，d)数据组。

步骤S43：对m*n个(i，j，d)数据组按照距离从小到大进行排序；对排序后的m*n个(i，j，d)数据组进行判断；

所述判断的条件为步骤S44：判断第i个检测团块及第j个跟踪团块的配对状态是否都为false；判断相邻两团块距离d是否小于预设团块阈值；若同时满足上述条件，则进入步骤S45，否则返回步骤S42，继续遍历检测。在该实施例中，预设团块阈值设定为100毫米。

步骤S45：将第i个检测团块及第j个跟踪团块的配对状态都标记为true，并用第i个团块的位置代替第j个跟踪团的位置，继续遍历元组，否则直接继续遍历配对元组。最后遍历检测团块集和跟踪团块集中的团块配对状态。在检测团块集中，如果团块状态为false，则说明是新生成的跟踪团块，加入跟踪团块集中。在跟踪团块集中，如果团块状态为false，则说明是跟踪丢失的团块，需要在跟踪团块集中删除。

根据上述步骤S11至步骤S14，进行循环处理，可以得到手部最终的跟踪轨迹。

本发明实施例所提供的手部跟踪方法，仅采用深度图像序列，一旦检测到特定轨迹的手势运动立即返回，不需要对全身骨架进行标定，运算资源需求小且速度快，有效地提高人机交互的体验感。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度图的手部跟踪的方法，其特征在于，所述方法包括步骤：

步骤S11：对深度图像进行逐行扫描，记录每行中深度值连续的行线段，并标记出符合预设条件的行线段；

步骤S12：对行扫描后的标记图像进行逐列扫描，将符合预设条件的相邻两条标记点形成的列线段进行标记和连接；

步骤S13：对行扫描和列扫描后的标记图像中的团块进行轮廓提取，将每个团块的最高点作为种子点进行局部邻近填充，取填充所有点的重心作为相应团块的当前深度图像帧的空间坐标；

步骤S14：根据空间最临近原则，对相邻两帧的团块进行匹配，得到团块的轨迹。

2.根据权利要求1所述的一种基于深度图的手部跟踪的方法，其特征在于，所述深度值连续的条件为两个相邻像素的深度值之差小于等于100毫米。

3.根据权利要求1所述的一种基于深度图的手部跟踪的方法，其特征在于，所述预设条件的判断包括步骤：

步骤S21：判断行线段最左侧像素的深度值是否小于其左临像素的深度值，判断行线段最右侧像素的深度值是否小于其右临像素的深度值；若是，进入步骤S22，否则判断所述行线段不符合预设条件；

步骤S22：计算所述行线段所有像素的深度平均值，获取深度传感器在标定所述深度平均值下的标定行线段长度；

步骤S23：判断所述标定行线段长度与手部经验长度的差值是否小于二分之一的手部经验长度，若是则判断所述行线段符合预设条件，否则判断所述行线段不符合预设条件。

4.根据权利要求3所述的一种基于深度图的手部跟踪的方法，其特征在于，所述手部经验长度为100毫米。

5.根据权利要求1所述的一种基于深度图的手部跟踪的方法，其特征在于，在逐列扫描时，遇到标记像素开始记录，遇到非标记像素停止记录，形成列线段。

6.根据权利要求5所述的一种基于深度图的手部跟踪的方法，其特征在于，第一列线段和其相邻的第二列线段需要连接的判断条件如下：

步骤S31：定义第一列线段的尾像素的下一个像素的深度值为pDown，定义第二列线段的头像素的上一个像素的深度值为pUp；

步骤S32：判断pDown和pUp是否至少一个处于有效范围内，若pDown和pUp至少一个处于有效范围则进入步骤S33，否则判断第一列线段和其相邻的第二列线段不需要连接；

步骤S33：判断pDown和pUp深度差是否小于预定深度阈值，若是则进入步骤S34，否则判断第一列线段和其相邻的第二列线段不需要连接；

步骤S34：判断第一列线段和第二列线段之间的像素长度是否小于预设像素长度，若是则进入步骤S35，否则判断第一列线段和其相邻的第二列线段不需要连接；

步骤S35：判断第一列线段和第二列线段的长度是否同时分别大于预定最小长度值，若是则判断第一列线段和其相邻的第二列线段需要连接，否则判断第一列线段和其相邻的第二列线段不需要连接。

7.根据权利要求6所述的一种基于深度图的手部跟踪的方法，其特征在于，所述步骤S33中的预定深度阈值为55毫米。

8.根据权利要求6所述的一种基于深度图的手部跟踪的方法，其特征在于，当pDown和pUp都处于有效范围内时，所述步骤S34中的预设像素长度为2；当pDown和pUp只有一个处于有效范围内时，所述步骤S34中的预设像素长度为20。

9.根据权利要求1所述的一种基于深度图的手部跟踪的方法，其特征在于，所述填充的条件包括：待填充像素点为已标记点；待填充像素点距离种子点的欧式距离小于预设填充距离。

10.根据权利要求1所述的一种基于深度图的手部跟踪的方法，其特征在于，所述步骤S14具体包括以下步骤：

步骤S41：设定上一帧中所有团块为跟踪团块，记为m个跟踪团块；设定当前帧中所有团块为检测团块，记为n个检测团块；将m个跟踪团块和n个检测团块的配对状态都设为false；

步骤S42：从检测团块遍历选取一个团块与所述每个跟踪团块计算距离，组成m*n个(i，j，d)数据组；

步骤S43：对m*n个(i，j，d)数据组按照距离从小到大进行排序；对排序后的m*n个(i，j，d)数据组进行判断；

所述判断的条件为步骤S44：判断第i个检测团块及第j个跟踪团块的配对状态是否都为false；判断相邻两团块距离d是否小于预设团块阈值；若同时满足上述条件，则进入步骤S45，否则返回步骤S42，继续遍历检测；

步骤S45：将第i个检测团块及第j个跟踪团块的配对状态都标记为true，并用第i个团块的位置代替第j个跟踪团的位置。