CN113128324B - 基于深度数据的手势分割方法及其系统和电子设备 - Google Patents

Abstract

一种基于深度数据的手势分割方法及其系统和电子设备。该基于深度数据的手势分割方法包括步骤：对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向；基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值；根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置；以及根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息。

Description

基于深度数据的手势分割方法及其系统和电子设备

技术领域

本发明涉及手势识别技术领域，尤其是涉及基于深度数据的手势分割方法及其系统和电子设备。

背景技术

手势作为一种传达信息的方式，在许多学科中都有广泛的应用。由于手势独特的便捷性和可操作性，并且符合自然人的操作习惯，因此手势识别已经成为人机交互领域的研究热点，并且手势识别技术在手语翻译、车载系统、游戏娱乐以及头戴式设备(如AR眼镜)的人机交互等非接触控制等领域都扮演着重要的角色。

目前，手势识别通常分为两大类：一类是基于辅助设备的识别技术，主要是利用手套等传感器；另一是基于视觉的识别技术，主要是利用二维图像或深度数据，已经成为当下手势识别技术的主流研究趋势。而手势分割作为手势识别中的基础技术之一，其分割结果将直接影响手势识别的精度，因此从复杂的应用场景中准确地进行手势分割成为手势识别技术的重中之重。

现有的手势分割方法通常存在三个假设：1)手距离相机最近；2)手掌区域距离最小深度的距离小于阈值；3)通过形态学处理，在整体的手掌手臂范围内，手掌中心距离背景最远。这样，该现有的手势分割方法先进行前景分割，即利用上述假设和该阈值进行前景和背景的分割，以得到前景的手掌和手臂；再进行手掌定位，即通过形态学处理，找到前景中距离背景最远的点，作为手掌中心并确定最小内切圆；最后在确定主方向之后，通过手掌心、主方向和最小内切圆半径进行手势分割。

然而，该现有的手势分割方法虽然对符合其假设的理想情况可以由较好的效果，但在其他场景下的手掌检测鲁棒性较低或者不适用。例如，当手距离相机较近时，该现有的手势分割方法就提高了对点云的要求，即要求手掌和相机之间没有噪点和其他任何点云；该现有的手势分割方法只适用于第三视角(即相机位于人眼和手的前方，使得相机主要拍摄手心侧的操作情况)，而不适用于第一视角(即相机位于人的头部，且手在相机和人眼的前方，使得相机主要拍摄手背侧的操作情况)。此外，该现有的手势分割方法仅通过手掌中心距离背景最远的特征来确定掌心，局限性较大。例如，当手臂距离相机更近或手臂处存在衣袖时，手臂将变粗而使该现有的手势分割方法不适用；当角度和视角的变化导致距离背景最远点发生偏移时，该现有的手势分割方法也不适用，无法在复杂的应用场景中使用。

发明内容

本发明的一优势在于提供一基于深度数据的手势分割方法及其系统和电子设备，其能够提高对复杂场景的适应能力。

本发明的另一优势在于提供一基于深度数据的手势分割方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度数据的手势分割方法能够利用轮廓宽度的极大值和极小值为掌心的定位提供有利信息，有助于准确地提取掌心。

本发明的另一优势在于提供一基于深度数据的手势分割方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度数据的手势分割方法能够根据轮廓主方向计算的轮廓距离更真实地反映手势轮廓宽度的变化趋势，为掌心的计算提供更加可靠的信息。

本发明的另一优势在于提供一基于深度数据的手势分割方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度数据的手势分割方法能够运用滤波对轮廓宽度进行平滑处理，以便减小衣服褶皱、点云质量等噪声的影响，有助于提高极大极小值的准确性和对复杂场景的适应能力。

本发明的另一优势在于提供一基于深度数据的手势分割方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度数据的手势分割方法能够对手部的尺寸结构信息进行了深入分析，并结合距离图像和轮廓宽度等信息，保证了掌心提取的准确性和鲁棒性。

本发明的另一优势在于提供一基于深度数据的手势分割方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度数据的手势分割方法能够采用距离图像最大距离和极大值极小值联合定位方法，保证了所提取的手掌中心正确可靠。

本发明的另一优势在于提供一基于深度数据的手势分割方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度数据的手势分割方法采用极大值抑制方法，能够有效地解决在第一视角下手臂宽度大于手掌宽度的问题，同时也解决了在手臂上存在衣袖时，手臂宽度可能大于手掌的情况，进而大幅地提高对不同场景的适应能力。

本发明的另一优势在于提供一基于深度数据的手势分割方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度数据的手势分割方法考虑了握拳或手掌张开等不同的手势状态，以用不同的算法分支对其进行描述，提高了对不同手势状态的适应能力。

本发明的另一优势在于提供一基于深度数据的手势分割方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度数据的手势分割方法在较好地解决了基于深度数量的手势分割问题的同时，也为二维图像(如RGB图像)的手势分割方法提供了借鉴和参考。

本发明的另一优势在于提供一基于深度数据的手势分割方法及其系统和电子设备，其中为了达到上述优势，在本发明中不需要采用复杂的结构和庞大的计算量，对软硬件要求低。因此，本发明成功和有效地提供一解决方案，不只提供一基于深度数据的手势分割方法及其系统和电子设备，同时还增加了所述基于深度数据的手势分割方法及其系统和电子设备的实用性和可靠性。

为了实现上述至少一优势或其他优势和目的，本发明提供了基于深度数据的手势分割方法，包括步骤：

对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向；

基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值；

根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置；以及

根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息。

在本发明的一实施例中，该深度数据为经由深度相机拍摄手势而直接获得的结构化的点云数据或者经由深度相机采集的深度图通过转换而间接获得的结构化的点云数据。

在本发明的一实施例中，所述对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向的步骤，包括步骤：

对该深度数据进行深度滤波处理，以得到深度值在预设的深度范围之内的有效深度数据；

通过提取该有效深度数据的轮廓，获得至少一候选轮廓；

根据预设的面积范围和该候选轮廓的面积，确定该手势区域的轮廓；以及

根据所述手势区域的轮廓，计算所述轮廓主方向，其中该轮廓主方向为由该手掌指向该手势区域中手臂的方向。

在本发明的一实施例中，所述根据预设的面积范围和该候选轮廓的面积，确定该手势区域的轮廓的步骤，包括步骤：

计算每个该候选轮廓所包围的面积，以得到面积最大的候选轮廓；

响应于该面积最大的候选轮廓的面积在该预设的面积范围之内，将该面积最大的候选轮廓确定为该手势区域的轮廓；以及

响应于该面积最大的候选轮廓的面积在该预设的面积范围之外，退出此次手势分割操作。

在本发明的一实施例中，所述的基于深度数据的手势分割方法，进一步包括步骤：

基于该手势区域的轮廓，在该深度数据中获取轮廓的最小包络四边形区域，以确定为感兴趣区域。

在本发明的一实施例中，所述基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值的步骤，包括步骤：

在该感兴趣区域内，计算该手势区域的轮廓在垂直于该轮廓主方向上的宽度，以得到一系列的轮廓宽度；

对该一系列的轮廓宽度进行滤波处理，以获得一系列滤波后的轮廓宽度；以及

基于该一系列滤波后的轮廓宽度，求解出该轮廓宽度的该极值。

在本发明的一实施例中，所述根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置的步骤，包括步骤：

对该手势区域的轮廓进行距离变换，以得到该距离图像；

计算该距离图像中距离最大的像素与该感兴趣区域的顶部像素之间的距离，以作为参考距离；

响应于该参考距离大于第一距离阈值，对该距离图像中位于该距离最大的像素附近的像素进行极大值抑制处理，以重新计算该参考距离，并将迭代次数加一；

响应于该参考距离小于等于该第一距离阈值且大于第二距离阈值，根据该轮廓宽度的该极值判断该手掌的中心位置；

响应于该参考距离小于等于该第二距离阈值且大于第三距离阈值，将该距离图像中该距离最大的像素所在的位置确定为该手掌的中心位置；以及

响应于该参考距离小于等于该第三距离阈值，根据该迭代次数判断该手掌的中心位置。

在本发明的一实施例中，所述响应于该参考距离小于等于该第一距离阈值且大于第二距离阈值，根据该轮廓宽度的该极值判断该手掌的中心位置的步骤，包括步骤：

响应于该参考距离小于等于该第一距离阈值且大于第二距离阈值，在该距离最大值位置的预定邻域范围内，统计该轮廓宽度沿着该轮廓主方向的变化趋势，以判断相应的变化趋势统计结果是否满足预设的变化趋势要求；

响应于该变化趋势统计结果满足该预设的变化趋势要求，判断该轮廓宽度的该极值是否满足预设的极值要求；

响应于该轮廓宽度的该极值满足该预设的极值要求，将该距离最大值位置确定为该手掌的中心位置；以及

响应于该变化趋势统计结果不满足该预设的变化趋势要求或该轮廓宽度的该极值不满足该预设的极值要求，对该距离图像中位于该距离最大的像素附近的像素进行极大值抑制处理，以重新计算该参考距离，并将该迭代次数加一。

在本发明的一实施例中，该预设的极值要求为当该轮廓宽度的该极值中存在极小值时，由该距离最大值位置指向第一个极小值所处的位置对应于该轮廓主方向；当该轮廓宽度的该极值中存在极大值时，第一个极大值所处的位置与该距离最大位置之间的距离小于预定最大距离阈值。

在本发明的一实施例中，所述响应于该参考距离小于等于该第三距离阈值，根据该迭代次数判断该手掌的中心位置的步骤，包括步骤：

响应于该参考距离小于等于该第三距离阈值，判断该迭代次数是否为零；

响应于该迭代次数为零，退出此次手势分割操作；以及

响应于该迭代次数不为零，将极大值抑制前后的两个距离最大值位置之间的位置确定为该手掌的中心位置。

在本发明的一实施例中，所述根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息的步骤，包括步骤：

沿着该轮廓主方向将该手掌的中心位置偏移预定的偏移距离，以确定为分割点的位置；

基于该分割点的位置，沿着垂直于该轮廓主方向的方向构建穿过该分割点的分割线；以及

基于该分割线，对该感兴趣区域中的该手势区域进行手掌手臂分割处理，以得到该分割后的手掌信息。

根据本发明的另一方面，本发明还提供了基于深度数据的手势分割系统，包括相互可通信地连接的：

一轮廓提取模块，用于对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向；

一极值获得模块，用于基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值；

一掌心确定模块，用于根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置；以及

一手势分割模块，用于根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息。

在本发明的一实施例中，所述轮廓提取模块包括相互可通信地连接的一深度滤波模块、一候选轮廓获得模块、一轮廓确定模块以及一主方向计算模块，其中所述深度滤波模块用于对该深度数据进行深度滤波处理，以得到深度值在预设的深度范围之内的有效深度数据；其中所述候选轮廓获得模块用于通过提取该有效深度数据的轮廓，获得至少一候选轮廓；其中所述轮廓确定模块用于根据预设的面积范围和该候选轮廓的面积，确定该手势区域的轮廓；其中所述主方向计算模块用于根据所述手势区域的轮廓，计算所述轮廓主方向，其中该轮廓主方向为由该手掌指向该手势区域中手臂的方向。

在本发明的一实施例中，所述的基于深度数据的手势分割系统，进一步包括一感兴趣区域确定模块，用于基于该手势区域的轮廓，在该深度数据中获取轮廓的最小包络四边形区域，以确定为感兴趣区域。

在本发明的一实施例中，所述极值获得模块包括相互可通信地连接的一轮廓宽度计算模块、一宽度滤波模块以及一极值求解模块，其中所述轮廓宽度计算模块用于在该感兴趣区域内，计算该手势区域的轮廓在垂直于该轮廓主方向上的宽度，以得到一系列的轮廓宽度；其中所述宽度滤波模块用于对该一系列的轮廓宽度进行滤波处理，以获得一系列滤波后的轮廓宽度；其中所述极值求解模块用于基于该一系列滤波后的轮廓宽度，求解出该轮廓宽度的该极值。

在本发明的一实施例中，所述掌心确定模块包括相互可通信地连接的一距离变换模块、一参考距离计算模块、一极大值抑制模块、一极值判断模块、一位置确定模块以及一迭代判断模块，其中所述距离变换模块用于对该手势区域的轮廓进行距离变换，以得到该距离图像；其中所述参考距离计算模块用于计算该距离图像中距离最大的像素与该感兴趣区域的顶部像素之间的距离，以作为参考距离；其中所述极大值抑制模块用于响应于该参考距离大于第一距离阈值，对该距离图像中位于该距离最大的像素附近的像素进行极大值抑制处理，以重新计算该参考距离，并将迭代次数加一；其中所述极值判断模块用于响应于该参考距离小于等于该第一距离阈值且大于第二距离阈值，根据该轮廓宽度的该极值判断该手掌的中心位置；其中所述位置确定模块用于响应于该参考距离小于等于该第二距离阈值且大于第三距离阈值，将该距离图像中该距离最大的像素所在的位置确定为该手掌的中心位置；其中所述迭代判断模块用于响应于该参考距离小于等于该第三距离阈值，根据该迭代次数判断该手掌的中心位置。

在本发明的一实施例中，所述手势分割模块包括相互可通信地连接的一分割点确定模块、一分割线构建模块以及一手掌手臂分割模块，其中所述分割点确定模块用于通过沿着该轮廓主方向将该手掌的中心位置偏移预定的偏移距离，确定为分割点的位置；其中所述分割线构建模块用于基于该分割点的位置，沿着垂直于该轮廓主方向的方向构建穿过该分割点的分割线；其中所述手掌手臂分割模块用于基于该分割线，对该感兴趣区域中的该手势区域进行手掌手臂分割处理，以得到该分割后的手掌信息。

根据本发明的另一方面，本发明还提供了电子设备，包括：

至少一处理器，用于执行指令；和

与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行基于深度数据的手势分割方法中的部分或全部步骤，其中所述基于深度数据的手势分割方法包括步骤：

对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向；

基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值；

根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置；以及

根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息。

根据本发明的另一方面，本发明还提供了电子设备，包括：

一AR设备；和

一基于深度数据的手势分割系统，其中所述基于深度数据的手势分割系统被配置于所述AR设备，用于对经由所述AR设备采集的深度数据进行手势分割处理，其中所述基于深度数据的手势分割系统包括依次可通信地连接的：

一轮廓提取模块，用于对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向；

一极值获得模块，用于基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值；

一掌心确定模块，用于根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置；以及

一手势分割模块，用于根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息。

通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。

附图说明

图1是根据本发明的一实施例的基于深度数据的手势分割方法的过程示意图。

图2示出了根据本发明的一实施例的所述基于深度数据的手势分割方法的标记识别步骤的流程示意图。

图3A和图3B示出了根据本发明的上述实施例的所述基于深度数据的手势分割方法的轮廓提取步骤的流程示意图。

图4A示出了根据本发明的上述实施例的所述基于深度数据的手势分割方法的极值获取步骤的流程示意图。

图4B示出了根据本发明的所述极值获取步骤中手势区域的轮廓的一个示例。

图5A至图5C示出了根据本发明的上述实施例的所述基于深度数据的手势分割方法的掌心确定步骤的流程示意图。

图6示出了根据本发明的上述实施例的所述基于深度数据的手势分割方法的手势分割步骤的流程示意图。

图7示出了根据本发明的一实施例的基于深度数据的手势分割系统的框图示意图。

图8示出了根据本发明的一实施例的一电子设备的框图示意图。

图9示出了根据本发明的一实施例的另一电子设备的立体示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。

在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连结。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

近年来，虽然随着深度学习技术的快速发展，其应用也越来越广泛，但现有的数据驱动分割方法(如基于深度学习的手势分割方法)因需要大量的训练样本和模型的运行较为耗时而导致成本较大且难以实现实时的手势分割。而现有的模型驱动分割方法因事先设定了诸多假设(如手距离相机最近、手掌中心距离背景最远、背景是干净的、或者手腕部分在水平方向的像素距离最小等等)而具有较大的局限性，往往只适用于第三视角和简单场景，难以在第一视角或复杂场景下应用。

因此，本发明提出一种基于深度数据的手势分割方法及其系统和电子设备，其能够利用深度数据结合形态学距离、前景宽度特征、距离特征等信息进行手势分割，以提高对复杂场景的适应能力，尤其能够满足当下增强现实(AR眼镜)等领域在第一视角下的手势分割。具体地，如图1所示，本发明的所述基于深度数据的手势分割方法能够在深度滤波之后，从输入的深度数据中提取手势轮廓，并剔除掉手势轮廓外部的无效数据，以完成手势轮廓定位；接着，根据手势轮廓所包围的面积来判断所述手势轮廓是否满足要求，当提取的手势轮廓满足要求时，则提取手势轮廓的主方向；之后，沿着主方向计算手势轮廓在垂直于主方向上的距离(即轮廓宽度)，以提取轮廓宽度的极大值和极小值；最后，基于极大值和极小值、手掌的几何特性等信息，计算手掌的中心位置，并判断掌心是否计算成功；如果成功，再利用所述手掌的中心位置进行手势分割，以得到分割后的手掌信息，进而输出分割结果。可以理解的是，

示意性方法

参考说明书附图之图2至图6所示，根据本发明的一实施例的一种基于深度数据的手势分割方法被阐明。具体地，如图2所示，所述基于深度数据的手势分割方法包括步骤：

S100：对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中所述手势轮廓数据包括手势区域的轮廓和轮廓主方向；

S200：基于所述手势区域的轮廓，通过计算所述手势区域在垂直于所述轮廓主方向上的轮廓宽度，获得所述轮廓宽度的极值；

S300：根据所述轮廓宽度的所述极值，通过距离图像中的距离最大值位置确定所述手势区域中手掌的中心位置；以及

S400：根据所述手掌的中心位置、所述轮廓主方向以及所述距离图像的最大距离进行手掌手臂分割，以获得分割后的手掌信息。

值得注意的是，本发明的所述基于深度数据的手势分割方法利用轮廓宽度的极值(包括极大值和极小值)为掌心的定位提供有利信息，并根据轮廓主方向计算的轮廓距离更能真实地反映手势轮廓宽度的变化趋势，为掌心的计算提供更加可靠的信息，有助于准确地提取掌心，进而提高所述基于深度数据的手势分割方法对复杂场景的适应能力。可以理解的是，所述轮廓主方向可以对应于由手掌指向手臂的方向。

此外，在本发明的上述实施例中，所述深度数据优选地被实施为结构化的点云数据，其中所述结构化的点云数据可以是经由深度相机拍摄手势而直接获得的三维点云数据，也可以是经由深度相机采集的深度图通过转换而间接获得的三维点云数据。当然，在本发明的其他示例中，所述深度数据也可以被实施为深度图，本发明对此不再赘述。

特别地，针对手势识别或手势分割的应用场景，手掌和相机之间的距离通常具有一定的约束关系，因此本发明根据实际的应用场景预设出一定的深度范围，对所述深度数据进行深度滤波，以便滤除掉一些背景杂点，只保留有效区域的深度数据。另外，在通过有效区域的深度数据提取轮廓信息的过程中，由于背景信息或其他噪点的影响，除了手势轮廓以外还可能存在其他轮廓，因此本发明还根据预设的面积阈值对手势区域的轮廓面积进行筛选，以尽可能消除其他轮廓的干扰，进而提升手势轮廓提取的准度。

更具体地，如图3A所示，本发明的所述基于深度数据的手势分割方法的所述步骤S100，可以包括步骤：

S110：对所述深度数据进行深度滤波处理，以得到深度值在预设的深度范围之内的有效深度数据；

S120：通过提取所述有效深度数据的轮廓，获得至少一候选轮廓；

S130：根据预设的面积范围和所述候选轮廓的面积，确定所述手势区域的轮廓；以及

S140：根据所述手势区域的轮廓，计算所述轮廓主方向，其中所述轮廓主方向为由所述手掌指向所述手势区域中手臂的方向。

值得注意的是，本发明的所述预设的深度范围可以但不限于根据所述深度相机与所述手掌之间的距离来确定。而所述深度相机与所述手掌之间的距离往往取决于具体的应用场景或所述深度数据对应的视角，例如对于第一视角下的深度数据，所述预设的深度范围优选地被实施为0.2米至0.8米，也就是说，所述有效深度数据中所有点云的深度值均大于等于0.2米且小于等于0.8米。

此外，本发明的所述预设的面积范围可以根据与所述深度数据对应的深度图的分辨率和所述预设的深度范围来确定。例如，对于第一视角下的所述深度数据，所述预设的面积范围优选地被实施为所述深度图的总面积的二十分之一至四分之一，也就是说，所述手势区域的轮廓面积大于等于所述深度图的总面积的二十分之一且小于等于所述深度图的总面积的四分之一。

示例性地，如图3B所示，所述基于深度数据的手势分割方法的所述步骤S130，可以包括步骤：

S131：计算每个所述候选轮廓所包围的面积，以得到面积最大的候选轮廓；

S132：响应于所述面积最大的候选轮廓的面积在所述预设的面积范围之内，将所述面积最大的候选轮廓确定为所述手势区域的轮廓；以及

S133：响应于所述面积最大的候选轮廓的面积在所述预设的面积范围之外，退出此次手势分割操作。

这样，在所述步骤S130中，本发明的所述基于深度数据的手势分割方法充分考虑了不同应用场景对手势区域的轮廓提取造成的影响，只有所述面积最大的候选轮廓的面积在所述预设的面积范围之内，才被确定为所述手势区域的真实轮廓，以便确保对提取所述手势区域的轮廓具有较高的精度。与此同时，当所述面积最大的候选轮廓的面积在所述预设的面积范围之外时，则认为当前的所述深度数据属于问题数据，直接退出此次手势分割操作，以避免进行大量的无效运算，有助于快速地进行下一帧深度数据的处理，便于尽快获得分割后的手掌信息以进行后续的手势识别。

特别地，在所述步骤S140中，可以先将所述手势区域的轮廓之外的数据置零，再通过主成分分析法计算所述手势区域的轮廓的主方向(即所述轮廓主方向)。当然，在本发明的其他示例中，也可以通过其他方法来计算所述手势区域的轮廓的主方向，本发明对此不再赘述。

值得一提的是，在获得所述手势轮廓数据中的所述手势区域的轮廓之后，需要进一步根据所述手势区域的轮廓来求取手掌的中心位置。而为了减少后续的计算量，本发明的所述基于深度数据的手势分割方法基于所述手势区域的轮廓获取包含所述手势区域的感兴趣区域(ROI)，使得后续仅利用所述感兴趣区域进行计算。

具体地，如图2所示，本发明的所述基于深度数据的手势分割方法，进一步包括步骤：

S500：基于所述手势区域的轮廓，在所述深度数据中获取轮廓的最小包络四边形区域以确定为感兴趣区域。

优选地，所述感兴趣区域的四边分别对应于所述深度数据中深度图的行像素和列像素，也就是说，所述感兴趣区域的四边分别对应地平行于所述深度图的四边。

值得一提的是，如图2所示，本发明的所述步骤S500(即确定所述感兴趣区域)可以在所述步骤S100(即获得所述手势轮廓数据)和所述步骤S200(即获得所述轮廓宽度的极值)之间进行，使得所述感兴趣区域是在获得所述轮廓主方向之后才通过计算确定的。当然，在本发明的其他示例中，本发明的所述步骤S500(即确定所述感兴趣区域)也可以在所述步骤S130(即确定所述手势区域的轮廓)和所述步骤S140(即获得所述轮廓主方向)之间进行。

此外，根据手势轮廓的几何特征，在所述感兴趣区域中，所述手势区域的轮廓宽度沿着所述轮廓主方向将呈现出一定的波动性，即所述轮廓宽度会存在极值(包括极大值和极小值)，而这些极大值或极小值有可能对应于手掌的中心位置、手腕位置或手臂位置等等，能够为手掌的中心位置计算提供参考信息。

因此，根据本发明的上述实施例，在获得所述手势区域数据和所述感兴趣区域之后，本发明的所述基于深度数据的手势分割方法会计算所述手势区域的轮廓的宽度，以获得轮廓宽度的极大值和极小值，为后续计算所述手掌的中心位置提供所需的数据。可以理解的是，本发明的所述轮廓宽度指的是在所述轮廓主方向的垂线方向上，所述手势区域所覆盖的宽度。换言之，所述轮廓宽度指的是所述手势区域的轮廓在垂直于所述轮廓主方向上的宽度。

而考虑到所述深度数据中点云质量的波动性以及手势姿态的灵活性和多边形，所述轮廓宽度可能会出现突变和波动，因此本发明的所述基于深度数据的手势分割方法需要对所述轮廓宽度进行滤波处理，以使滤波后的轮廓宽度在所述轮廓主方向上的变化更加平滑。

具体地，如图4A所示，本发明的所述基于深度数据的手势分割方法的所述步骤S200，可以包括步骤：

S210：在所述感兴趣区域内，计算所述手势区域的轮廓在垂直于所述轮廓主方向上的宽度，以得到一系列的轮廓宽度；

S220：对所述一系列的轮廓宽度进行滤波处理，以获得一系列滤波后的轮廓宽度；以及

S230：基于所述一系列滤波后的轮廓宽度，求解出所述轮廓宽度的所述极值。

值得注意的是，优选地通过均值滤波对所述一系列的轮廓宽度进行滤波处理。此外，所述均值滤波的滤波半径可以但不限于根据所述深度图的分辨率大小和点云质量来综合确定。

特别地，如图4B所示，在本发明的所述步骤S210中，所述轮廓宽度可以从所述感兴趣区域的顶部像素开始，沿着所述轮廓主方向计算，直至所述感兴趣区域的底部像素为止，使得所述轮廓宽度与所述感兴趣区域中像素的y坐标一一对应。可以理解的是，所述深度数据中坐标系原点通常位于所述深度图的左上角，x轴对应于所述深度图的行像素，y轴对应于所述深度图的列像素，因此所述感兴趣区域的顶部像素对应于所述感兴趣区域中y坐标最小的像素。这样，在所述步骤S220中，对所述一系列的轮廓宽度随着y坐标的变化可能会出现突变和波动，因此通过滤波处理后的轮廓宽度随着y坐标的变化将更加平滑，以便后续所述轮廓宽度的极值的确定。

在本发明的所述步骤S230中，本发明的所述基于深度数据的手势分割方法可以通过多项式拟合模型或比较模型来求解所述轮廓宽度的所述极大值和所述极小值。当然，所述基于深度数据的手势分割方法也可以但不限于通过诸如多项式拟合模型或左右数值比较模型等等之类的模型来求解所述轮廓宽度的所述极大值和所述极小值。

示例性地，当采用所述左右数值比较模型来求解所述轮廓宽度的极值时，对于某一轮廓宽度d，统计左侧r个轮廓宽度和邻域宽度的相对大小，即第m个轮廓宽度d₁和第m+1个轮廓宽度d₂之间的大小；如果d₁＞d₂，则宽度减小计数器加1；如果d₁＝d₂，则宽度相等计数器加1；如果d₁＜d₂，则宽度增大计数器加1。右侧的轮廓宽度统计类似。这样，当左侧的所述宽度减小计数器不为零且所述宽度增加计数器为零，而右侧的所述宽度增加计数器不为零且所述宽度减小计数器为零时，则所述轮廓宽度d为极小值；当左侧的所述宽度减小计数器为零且所述宽度增加奇数器不为零，而右侧的所述宽度增加计数器为零且所述宽度减小计数器不为零时，则所述轮廓宽度d为极大值。

值得注意的是，现有的手势分割方法通常都是假设手掌的中心位于所述距离图像中的距离最大值位置(即所述距离图像中距离最大值的像素所在的位置)，但在实际场景中，由于第一视角时手臂距离相机较近，导致手臂变粗，或者衣袖的存在，使得最大距离和极大值均有可能位于手臂和衣袖的位置，因此需要结合手部的形状特征对手掌的中心位置进行条件判断，也就是说，本发明的所述基于深度数据的手势分割方法对手部的尺寸结构信息进行了深入分析，结合了距离图像以及轮廓宽度等信息，保证了掌心提取的正确性和鲁棒性。可以理解的是，所述距离图像中每像素的像素值可以被实施为相应像素与所述手势区域的轮廓之间的最小距离。

具体地，如图5A所示，本发明的所述基于深度数据的手势分割方法的所述步骤S300，可以包括步骤：

S310：对所述手势区域的轮廓进行距离变换，以得到所述距离图像；

S320：计算所述距离图像中距离最大的像素与所述感兴趣区域的顶部像素之间的距离，以作为参考距离；

S330：响应于所述参考距离大于第一距离阈值，对所述距离图像中位于所述距离最大的像素附近的像素进行极大值抑制，以重新计算所述参考距离，并将迭代次数加一；

S340：响应于所述参考距离小于等于所述第一距离阈值且大于第二距离阈值，根据所述轮廓宽度的所述极值判断所述手掌的中心位置；

S350：响应于所述参考距离小于等于所述第二距离阈值且大于第三距离阈值，将所述距离图像中所述距离最大的像素所在的位置确定为所述手掌的中心位置；以及

S360：响应于所述参考距离小于等于所述第三距离阈值，根据所述迭代次数判断所述手势区域中的所述手掌的中心位置。

值得注意的是，在所述步骤S310中，可以先根据所述手势区域的轮廓对所述深度数据进行二值化处理，以获得与所述手势区域对应的二值图像(其中所述手势区域的轮廓之外的像素值置为0，并且所述手势区域的轮廓之内的像素值置为255)，再对所述二值图像进行距离变换，以得到所述距离图像。

此外，本发明的所述第一距离阈值可以根据在手掌张开状态下手部的形状特征进行设计，以表示所述手掌的中心位置与指尖的最大距离。优选地，所述第一距离阈值被实施为0.18米。换言之，在手掌张开状态下，当所述参考距离大于所述第一距离阈值时，所述距离图像中距离最大的像素可能位于手臂；而当所述参考距离小于等于所述第一距离阈值时，所述距离图像中距离最大的像素才有可能定位到正确的手掌中心。可以理解的是，所述距离图像中距离最大的像素所在的位置被定义为所述距离最大值位置，也就是说，所述距离最大值位置可以通过比较所述距离图像中各个像素的像素值来确定，以将所述距离图像中像素值最大的像素所在的位置确定为所述距离最大值位置。

本发明的所述第二距离阈值可以根据在握拳状态下手部的形态特征进行设计，以表示所述手掌的中心位置与拳头顶部的最大距离。优选地，所述第二距离阈值被实施为0.1米。换言之，在握拳状态下，当所述参考距离大于所述第二距离阈值时，所述距离图像中距离最大的像素可能位于手臂；而当所述参考距离小于等于所述第二距离阈值时，所述距离图像中距离最大的像素才有可能定位到正确的手掌中心。

综上，当所述参考距离小于等于所述第一距离阈值且大于第二距离阈值，需要根据所述手掌部分的形态特征(即从掌心开始，向手腕方向，轮廓宽度应逐渐减小)，因此本发明可以根据所述轮廓宽度的所述极值来进一步判断所述手势区域中的所述手掌的中心位置。

示例性地，如图5B所示，本发明的所述基于深度数据的手势分割方法的所述步骤S340，可以包括步骤：

S341：响应于所述参考距离小于等于所述第一距离阈值且大于第二距离阈值，在所述距离最大值位置的预定邻域范围内，统计所述轮廓宽度沿着所述轮廓主方向的变化趋势，以判断相应的变化趋势统计结果是否满足预设的变化趋势要求；

S342：响应于所述变化趋势统计结果满足所述预设的变化趋势要求，判断所述轮廓宽度的所述极值是否满足预设的极值要求；

S343：响应于所述极值满足所述预设的极值要求，将所述距离最大值位置确认为所述手掌的中心位置；以及

S344：响应于所述变化趋势统计结果不满足所述预设的变化趋势要求或所述极值不满足所述预设的极值要求，对所述距离图像中位于所述距离最大的像素附近的像素进行极大值抑制，以重新计算所述参考距离，并将所述迭代次数加一。

优选地，在所述步骤S341中，所述预定邻域范围的开始位置被实施为所述距离最大值位置；而所述预定邻域范围的结束位置与所述开始位置之间的距离被实施为所述距离图像中最大距离(即与所述距离最大值位置对应的最大距离)的0.5倍至1倍，并且所述轮廓主方向对应于由所述开始位置指向所述结束位置的方向，以减轻噪声的影响。与此同时，所述预设的变化趋势要求优选地被实施为在所述预定邻域范围内，存在至少一半的像素对应的轮廓宽度大于相应的紧邻像素对应的轮廓宽度。

例如，在所述距离最大值位置的所述预定邻域范围内，统计轮廓宽度大于与沿着所述轮廓主方向的下一紧邻像素(即y坐标增大的像素)对应的轮廓宽度的像素数量，以判断统计出的像素数量是否大于在所述预定邻域范围内像素总数量的一半，如果是，则认为所述变化趋势统计结果满足所述预设的变化趋势要求；反之，则认为所述变化趋势统计结果不满足所述预设的变化趋势要求。

更优选地，所述预设的极值要求被实施为当所述轮廓宽度的所述极值中存在极小值时，由所述距离最大值位置指向第一个极小值(即y坐标最小的极小值)所处的位置的方向对应于所述轮廓主方向；并且当所述轮廓宽度的所述极值中存在极大值时，第一个极大值(即y坐标最小的极大值)所处的位置与所述距离最大值位置之间的距离小于预定最大距离阈值。

最优选地，所述预定最大距离阈值可以被实施为所述距离图像中最大距离的0.5倍至1倍。

示例性地，所述预设的极值要求可以被实施为：当所述轮廓宽度的所述极值中存在极小值时，所述距离最大值位置对应的y坐标小于所述第一个极小值对应的y坐标；并且当所述轮廓宽度的所述极值中存在极大值时，y坐标最小的极大值所处的位置与所述距离最大值位置之间的距离小于与所述距离最大值位置对应的最大距离。

值得一提的是，本发明的所述第三距离阈值可以根据手部的结构特征进行设计，以表示所述手掌的中心位置与所述手部轮廓的最小距离。优选地，所述第三距离阈值被实施为0.03米。换言之，在正常的手势中，当所述参考距离小于所述第三距离阈值时，所述距离图像中距离最大的像素所在的位置不可能是所述手掌的中心位置，而所述手掌的真实中心位置则有可能在上次极大值抑制过程中因极大值抑制范围太大而被抑制掉了，需要根据极大值抑制的迭代次数来判断是否经过极大值抑制处理。如果未经过极大值抑制处理，即迭代次数为零，则认为正常的手势不会出现这种情况，所述手掌的中心位置的计算失败，也就是表明用于计算此次掌心的深度数据存在错误，因此本发明可以退出此次手势分割操作，以进行下一深度数据的手势分割处理。而如果经过极大值抑制处理，即迭代次数不为零，则认为所述手掌的真实中心位置在上次极大值抑制过程中因极大值抑制范围太大而被抑制掉了，因此本发明可以将极大值抑制前后两次的所述距离最大值位置之间的位置作为所述手掌的真实中心位置。

示例性地，如图5C所示，本发明的所述基于深度数据的手势分割方法的所述步骤S360，可以包括步骤：

S361：响应于所述参考距离小于等于所述第三距离阈值，判断所述迭代次数是否为零；

S362：响应于所述迭代次数为零，退出此次手势分割操作；以及

S363：响应于所述迭代次数不为零，将所述极大值抑制前后的两个距离最大值位置之间的位置确定为所述手掌的中心位置。

优选地，在所述步骤S363中，响应于所述迭代次数不为零，将所述极大值抑制前后的两个距离最大值位置的平均位置确定为所述手掌的中心位置。当然，在本发明的其他示例中，还可以根据所述极大值抑制前后的两个距离最大值位置的权重系数，计算出相应的权重位置以确定为所述手掌的中心位置。

可以理解的是，在所述步骤S362中，当所述迭代次数为零时，在退出此次手势分割操作后，可以继续对下一深度数据进行手势分割处理。

此外，根据本发明的上述实施例，如图6所示，所述基于深度数据的手势分割方法的所述步骤S400，可以包括步骤：

S410：沿着所述轮廓主方向将所述手掌的中心位置偏移预定的偏移距离，以确定为分割点的位置；

S420：基于所述分割点的位置，沿着垂直于所述轮廓主方向的方向构建穿过所述分割点的分割线；以及

S430：基于所述分割线，对所述感兴趣区域中的所述手势区域进行手掌手臂分割处理，以得到所述分割后的手掌信息。

优选地，所述预定的偏移距离被实施为所述距离图像中的最大距离的0.8至1.2倍。也就是说，本发明的所述预定的偏移距离优选地被实施为所述距离图像中与所述距离最大值位置对应的像素的像素值的0.8至1.2倍。

示例性地，在所述步骤S430中，将所述感兴趣区域中位于所述分割线下方(即面向所述轮廓主方向的一侧)的像素坐标(或像素值)置为零，并保留所述感兴趣区域中位于所述分割线上方(即背向所述轮廓主方向的一侧)的像素坐标(或像素值)，以获得所述分割后的手掌信息，从而实现手势分割。

值得注意的是，虽然本发明的所述基于深度数据的手势分割方法主要是对深度数据进行处理以完成手势分割，但所述基于深度数据的手势分割方法中掌心位置的判断和确定思路仍可以在基于二维图像(如RGB图像)的手势分割方法中得以借鉴和应用，本发明对此不再赘述。

示意性系统

参考说明书附图之图7所示，根据本发明的一实施例的一基于深度数据的手势分割系统被阐明，其中所述基于深度数据的手势分割系统用于对深度数据进行手势分割处理。具体地，如图7所示，所述基于深度数据的手势分割系统1包括相互可通信地连接的一轮廓提取模块10、一极值获得模块20、一掌心确定模块30以及一手势分割模块40。所述轮廓提取模块10用于对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向。所述极值获得模块20用于基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值。所述掌心确定模块30用于根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置。所述手势分割模块40用于根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息。

更具体地，如图7所示，所述轮廓提取模块10包括相互可通信地连接的一深度滤波模块11、一候选轮廓获得模块12、一轮廓确定模块13以及一主方向计算模块14，其中所述深度滤波模块11用于对该深度数据进行深度滤波处理，以得到深度值在预设的深度范围之内的有效深度数据；其中所述候选轮廓获得模块12用于通过提取该有效深度数据的轮廓，获得至少一候选轮廓；其中所述轮廓确定模块13用于根据预设的面积范围和该候选轮廓的面积，确定该手势区域的轮廓；其中所述主方向计算模块14用于根据所述手势区域的轮廓，计算所述轮廓主方向，其中该轮廓主方向为由该手掌指向该手势区域中手臂的方向。

值得注意的是，在本发明的上述实施例中，如图7所示，所述的基于深度数据的手势分割系统1进一步包括一感兴趣区域确定模块50，用于基于该手势区域的轮廓，在该深度数据中获取轮廓的最小包络四边形区域，以确定为感兴趣区域。

在本发明的一示例中，如图7所示，所述极值获得模块20包括相互可通信地连接的一轮廓宽度计算模块21、一宽度滤波模块22以及一极值求解模块23，其中所述轮廓宽度计算模块21用于在该感兴趣区域内，计算该手势区域的轮廓在垂直于该轮廓主方向上的宽度，以得到一系列的轮廓宽度；其中所述宽度滤波模块22用于对该一系列的轮廓宽度进行滤波处理，以获得一系列滤波后的轮廓宽度；其中所述极值求解模块23用于基于该一系列滤波后的轮廓宽度，求解出该轮廓宽度的该极值。

在本发明的一示例中，如图7所示，所述掌心确定模块30包括相互可通信地连接的一距离变换模块31、一参考距离计算模块32、一极大值抑制模块33、一极值判断模块34、一位置确定模块35以及一迭代判断模块36，其中所述距离变换模块31用于对该手势区域的轮廓进行距离变换，以得到该距离图像；其中所述参考距离计算模块32用于计算该距离图像中距离最大的像素与该感兴趣区域的顶部像素之间的距离，以作为参考距离；其中所述极大值抑制模块33用于响应于该参考距离大于第一距离阈值，对该距离图像中位于该距离最大的像素附近的像素进行极大值抑制处理，以重新计算该参考距离，并将迭代次数加一；其中所述极值判断模块34用于响应于该参考距离小于等于该第一距离阈值且大于第二距离阈值，根据该轮廓宽度的该极值判断该手掌的中心位置；其中所述位置确定模块35用于响应于该参考距离小于等于该第二距离阈值且大于第三距离阈值，将该距离图像中该距离最大的像素所在的位置确定为该手掌的中心位置；其中所述迭代判断模块36用于响应于该参考距离小于等于该第三距离阈值，根据该迭代次数判断该手掌的中心位置。

在本发明的一示例中，如图7所示，所述手势分割模块40包括相互可通信地连接的一分割点确定模块41、一分割线构建模块42以及一手掌手臂分割模块43，其中所述分割点确定模块41用于通过沿着该轮廓主方向将该手掌的中心位置偏移预定的偏移距离，确定为分割点的位置；其中所述分割线构建模块42用于基于该分割点的位置，沿着垂直于该轮廓主方向的方向构建穿过该分割点的分割线；其中所述手掌手臂分割模块43用于基于该分割线，对该感兴趣区域中的该手势区域进行手掌手臂分割处理，以得到该分割后的手掌信息。

示意性电子设备

下面，参考图8来描述根据本发明的一实施例的电子设备。如图8所示，电子设备90包括一个或多个处理器91和存储器92。

所述处理器91可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备90中的其他组件以执行期望的功能。换言之，所述处理器91包括被配置成执行指令的一个或多个物理设备。例如，所述处理器91可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。

所述处理器91可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，所述处理器91可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。所述处理器91的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。所述处理器91的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。所述处理器91的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

所述存储器92可以包括一个或多个计算程序产品，所述计算程序产品可以包括各种形式的计算可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算可读存储介质上可以存储一个或多个计算程序指令，所述处理器11可以运行所述程序指令，以实现上文所述的本发明的上述示意性方法中的部分或全部步骤，以及/或者其他期望的功能。

换言之，所述存储器92包括被配置成保存可由所述处理器91执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换所述存储器92的状态(例如，保存不同的数据)。所述存储器92可以包括可移动和/或内置设备。所述存储器92可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。所述存储器92可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

可以理解，所述存储器92包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。所述处理器91和所述存储器92的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。

在一个示例中，如图8所示，所述电子设备90还可以包括输入装置93和输出装置94，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入装置93可以是例如用于采集图像数据或视频数据的摄像模组等等。又如，所述输入装置93可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，所述输入装置93可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；和/或任何其他合适的传感器。

该输出装置94可以向外部输出各种信息，包括分类结果等。该输出装置94可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，所述电子设备90还可以进一步包括所述通信装置，其中所述通信装置可被配置成将所述电子设备90与一个或多个其他计算机设备通信地耦合。所述通信装置可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，所述通信装置可允许所述电子设备90经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。

将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

当然，为了简化，图8中仅示出了该电子设备90中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。

根据本发明的另一方面，本发明进一步提供了诸如AR设备、智能机器人、智能手机等等之类的电子设备，其中所述电子设备配置有上述基于深度数据的手势分割系统，用于对经由所述电子设备采集的深度数据进行手势分割。示例性地，如图9所示，所述电子设备包括一AR设备600和所述基于深度数据的手势分割系统1，其中所述基于深度数据的手势分割系统1被配置于所述AR设备600，用于对经由所述AR设备600采集的深度数据进行手势分割处理。可以理解的是，所述AR设备600可以但不限于被实施为配置有深度相机的AR眼镜(如图9所示)。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (13)

1.基于深度数据的手势分割方法，其特征在于，包括步骤：

对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向；

基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值；

根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置；以及

根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息；

其中，所述对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向的步骤，包括步骤：

对该深度数据进行深度滤波处理，以得到深度值在预设的深度范围之内的有效深度数据；

通过提取该有效深度数据的轮廓，获得至少一候选轮廓；

根据预设的面积范围和该候选轮廓的面积，确定该手势区域的轮廓；以及

根据该手势区域的轮廓，通过主成分分析法计算该轮廓主方向，其中该轮廓主方向为由该手掌指向该手势区域中手臂的方向；

其中所述基于深度数据的手势分割方法，进一步包括步骤：

基于该手势区域的轮廓，在该深度数据中获取轮廓的最小包络四边形区域，以确定为感兴趣区域；

其中，所述根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置的步骤，包括步骤：

对该手势区域的轮廓进行距离变换，以得到该距离图像；

计算该距离图像中距离最大的像素与该感兴趣区域的顶部像素之间的距离，以作为参考距离；

响应于该参考距离大于第一距离阈值，对该距离图像中位于该距离最大的像素附近的像素进行极大值抑制处理，以重新计算该参考距离，并将迭代次数加一；

响应于该参考距离小于等于该第一距离阈值且大于第二距离阈值，根据该轮廓宽度的该极值判断该手掌的中心位置；

响应于该参考距离小于等于该第二距离阈值且大于第三距离阈值，将该距离图像中该距离最大的像素所在的位置确定为该手掌的中心位置；以及

响应于该参考距离小于等于该第三距离阈值，根据该迭代次数判断该手掌的中心位置。

2.如权利要求1所述的基于深度数据的手势分割方法，其中，该深度数据为经由深度相机拍摄手势而直接获得的结构化的点云数据或者经由深度相机采集的深度图通过转换而间接获得的结构化的点云数据。

3.如权利要求2所述的基于深度数据的手势分割方法，其中，所述根据预设的面积范围和该候选轮廓的面积，确定该手势区域的轮廓的步骤，包括步骤：

计算每个该候选轮廓所包围的面积，以得到面积最大的候选轮廓；

响应于该面积最大的候选轮廓的面积在该预设的面积范围之内，将该面积最大的候选轮廓确定为该手势区域的轮廓；以及

响应于该面积最大的候选轮廓的面积在该预设的面积范围之外，退出此次手势分割操作。

4.如权利要求1至3中任一所述的基于深度数据的手势分割方法，其中，所述基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值的步骤，包括步骤：

在该感兴趣区域内，计算该手势区域的轮廓在垂直于该轮廓主方向上的宽度，以得到一系列的轮廓宽度；

对该一系列的轮廓宽度进行滤波处理，以获得一系列滤波后的轮廓宽度；以及

基于该一系列滤波后的轮廓宽度，求解出该轮廓宽度的该极值。

5.如权利要求4所述的基于深度数据的手势分割方法，其中，所述响应于该参考距离小于等于该第一距离阈值且大于第二距离阈值，根据该轮廓宽度的该极值判断该手掌的中心位置的步骤，包括步骤：

响应于该参考距离小于等于该第一距离阈值且大于第二距离阈值，在该距离最大值位置的预定邻域范围内，统计该轮廓宽度沿着该轮廓主方向的变化趋势，以判断相应的变化趋势统计结果是否满足预设的变化趋势要求；

响应于该变化趋势统计结果满足该预设的变化趋势要求，判断该轮廓宽度的该极值是否满足预设的极值要求；

响应于该轮廓宽度的该极值满足该预设的极值要求，将该距离最大值位置确定为该手掌的中心位置；以及

响应于该变化趋势统计结果不满足该预设的变化趋势要求或该轮廓宽度的该极值不满足该预设的极值要求，对该距离图像中位于该距离最大的像素附近的像素进行极大值抑制处理，以重新计算该参考距离，并将该迭代次数加一。

6.如权利要求5所述的基于深度数据的手势分割方法，其中，该预设的极值要求为当该轮廓宽度的该极值中存在极小值时，由该距离最大值位置指向第一个极小值所处的位置对应于该轮廓主方向；当该轮廓宽度的该极值中存在极大值时，第一个极大值所处的位置与该距离最大值位置之间的距离小于预定最大距离阈值。

7.如权利要求5所述的基于深度数据的手势分割方法，其中，所述响应于该参考距离小于等于该第三距离阈值，根据该迭代次数判断该手掌的中心位置的步骤，包括步骤：

响应于该参考距离小于等于该第三距离阈值，判断该迭代次数是否为零；

响应于该迭代次数为零，退出此次手势分割操作；以及

响应于该迭代次数不为零，将极大值抑制前后的两个距离最大值位置之间的位置确定为该手掌的中心位置。

8.如权利要求7所述的基于深度数据的手势分割方法，其中，所述根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息的步骤，包括步骤：

沿着该轮廓主方向将该手掌的中心位置偏移预定的偏移距离，以确定为分割点的位置；

基于该分割点的位置，沿着垂直于该轮廓主方向的方向构建穿过该分割点的分割线；以及

基于该分割线，对该感兴趣区域中的该手势区域进行手掌手臂分割处理，以得到该分割后的手掌信息。

9.基于深度数据的手势分割系统，其特征在于，包括相互可通信地连接的：

一轮廓提取模块，用于对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向；

一极值获得模块，用于基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值；

一掌心确定模块，用于根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置；以及

一手势分割模块，用于根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息；

其中，所述轮廓提取模块包括相互可通信地连接的一深度滤波模块、一候选轮廓获得模块、一轮廓确定模块以及一主方向计算模块，其中所述深度滤波模块用于对该深度数据进行深度滤波处理，以得到深度值在预设的深度范围之内的有效深度数据；其中所述候选轮廓获得模块用于通过提取该有效深度数据的轮廓，获得至少一候选轮廓；其中所述轮廓确定模块用于根据预设的面积范围和该候选轮廓的面积，确定该手势区域的轮廓；其中所述主方向计算模块用于根据所述手势区域的轮廓，通过主成分分析法计算所述轮廓主方向，其中该轮廓主方向为由该手掌指向该手势区域中手臂的方向；

其中所述基于深度数据的手势分割系统，进一步包括一感兴趣区域确定模块，用于基于该手势区域的轮廓，在该深度数据中获取轮廓的最小包络四边形区域，以确定为感兴趣区域；

其中，所述掌心确定模块包括相互可通信地连接的一距离变换模块、一参考距离计算模块、一极大值抑制模块、一极值判断模块、一位置确定模块以及一迭代判断模块，其中所述距离变换模块用于对该手势区域的轮廓进行距离变换，以得到该距离图像；其中所述参考距离计算模块用于计算该距离图像中距离最大的像素与该感兴趣区域的顶部像素之间的距离，以作为参考距离；其中所述极大值抑制模块用于响应于该参考距离大于第一距离阈值，对该距离图像中位于该距离最大的像素附近的像素进行极大值抑制处理，以重新计算该参考距离，并将迭代次数加一；其中所述极值判断模块用于响应于该参考距离小于等于该第一距离阈值且大于第二距离阈值，根据该轮廓宽度的该极值判断该手掌的中心位置；其中所述位置确定模块用于响应于该参考距离小于等于该第二距离阈值且大于第三距离阈值，将该距离图像中该距离最大的像素所在的位置确定为该手掌的中心位置；其中所述迭代判断模块用于响应于该参考距离小于等于该第三距离阈值，根据该迭代次数判断该手掌的中心位置。

10.如权利要求9所述的基于深度数据的手势分割系统，其中，所述极值获得模块包括相互可通信地连接的一轮廓宽度计算模块、一宽度滤波模块以及一极值求解模块，其中所述轮廓宽度计算模块用于在该感兴趣区域内，计算该手势区域的轮廓在垂直于该轮廓主方向上的宽度，以得到一系列的轮廓宽度；其中所述宽度滤波模块用于对该一系列的轮廓宽度进行滤波处理，以获得一系列滤波后的轮廓宽度；其中所述极值求解模块用于基于该一系列滤波后的轮廓宽度，求解出该轮廓宽度的该极值。

11.如权利要求10所述的基于深度数据的手势分割系统，其中，所述手势分割模块包括相互可通信地连接的一分割点确定模块、一分割线构建模块以及一手掌手臂分割模块，其中所述分割点确定模块用于通过沿着该轮廓主方向将该手掌的中心位置偏移预定的偏移距离，确定为分割点的位置；其中所述分割线构建模块用于基于该分割点的位置，沿着垂直于该轮廓主方向的方向构建穿过该分割点的分割线；其中所述手掌手臂分割模块用于基于该分割线，对该感兴趣区域中的该手势区域进行手掌手臂分割处理，以得到该分割后的手掌信息。

12.电子设备，其特征在于，包括：

至少一处理器，用于执行指令；和

与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行基于深度数据的手势分割方法中的全部步骤，其中所述基于深度数据的手势分割方法包括步骤：

对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向；

基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值；

根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置；以及

根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息；

其中，所述对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向的步骤，包括步骤：

对该深度数据进行深度滤波处理，以得到深度值在预设的深度范围之内的有效深度数据；

通过提取该有效深度数据的轮廓，获得至少一候选轮廓；

根据预设的面积范围和该候选轮廓的面积，确定该手势区域的轮廓；以及

根据该手势区域的轮廓，通过主成分分析法计算该轮廓主方向，其中该轮廓主方向为由该手掌指向该手势区域中手臂的方向；

其中所述基于深度数据的手势分割方法，进一步包括步骤：

基于该手势区域的轮廓，在该深度数据中获取轮廓的最小包络四边形区域，以确定为感兴趣区域；

其中，所述根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置的步骤，包括步骤：

对该手势区域的轮廓进行距离变换，以得到该距离图像；

计算该距离图像中距离最大的像素与该感兴趣区域的顶部像素之间的距离，以作为参考距离；

响应于该参考距离大于第一距离阈值，对该距离图像中位于该距离最大的像素附近的像素进行极大值抑制处理，以重新计算该参考距离，并将迭代次数加一；

响应于该参考距离小于等于该第一距离阈值且大于第二距离阈值，根据该轮廓宽度的该极值判断该手掌的中心位置；

响应于该参考距离小于等于该第二距离阈值且大于第三距离阈值，将该距离图像中该距离最大的像素所在的位置确定为该手掌的中心位置；以及

响应于该参考距离小于等于该第三距离阈值，根据该迭代次数判断该手掌的中心位置。

13.电子设备，其特征在于，包括：

一AR设备；和

一基于深度数据的手势分割系统，其中所述基于深度数据的手势分割系统被配置于所述AR设备，用于对经由所述AR设备采集的深度数据进行手势分割处理，其中所述基于深度数据的手势分割系统包括依次可通信地连接的：

一轮廓提取模块，用于对获取的深度数据进行手势轮廓提取处理，以得到手势轮廓数据，其中该手势轮廓数据包括手势区域的轮廓和轮廓主方向；

一极值获得模块，用于基于该手势区域的轮廓，通过计算该手势区域在垂直于该轮廓主方向上的轮廓宽度，获得该轮廓宽度的极值；

一掌心确定模块，用于根据该轮廓宽度的该极值，通过距离图像中的距离最大值位置确定该手势区域中手掌的中心位置；以及

一手势分割模块，用于根据该手掌的中心位置、该轮廓主方向以及该距离图像中的最大距离进行手掌手臂分割，以获得分割后的手掌信息；

其中，所述轮廓提取模块包括相互可通信地连接的一深度滤波模块、一候选轮廓获得模块、一轮廓确定模块以及一主方向计算模块，其中所述深度滤波模块用于对该深度数据进行深度滤波处理，以得到深度值在预设的深度范围之内的有效深度数据；其中所述候选轮廓获得模块用于通过提取该有效深度数据的轮廓，获得至少一候选轮廓；其中所述轮廓确定模块用于根据预设的面积范围和该候选轮廓的面积，确定该手势区域的轮廓；其中所述主方向计算模块用于根据所述手势区域的轮廓，通过主成分分析法计算所述轮廓主方向，其中该轮廓主方向为由该手掌指向该手势区域中手臂的方向；

其中所述基于深度数据的手势分割系统，进一步包括一感兴趣区域确定模块，用于基于该手势区域的轮廓，在该深度数据中获取轮廓的最小包络四边形区域，以确定为感兴趣区域；

其中，所述掌心确定模块包括相互可通信地连接的一距离变换模块、一参考距离计算模块、一极大值抑制模块、一极值判断模块、一位置确定模块以及一迭代判断模块，其中所述距离变换模块用于对该手势区域的轮廓进行距离变换，以得到该距离图像；其中所述参考距离计算模块用于计算该距离图像中距离最大的像素与该感兴趣区域的顶部像素之间的距离，以作为参考距离；其中所述极大值抑制模块用于响应于该参考距离大于第一距离阈值，对该距离图像中位于该距离最大的像素附近的像素进行极大值抑制处理，以重新计算该参考距离，并将迭代次数加一；其中所述极值判断模块用于响应于该参考距离小于等于该第一距离阈值且大于第二距离阈值，根据该轮廓宽度的该极值判断该手掌的中心位置；其中所述位置确定模块用于响应于该参考距离小于等于该第二距离阈值且大于第三距离阈值，将该距离图像中该距离最大的像素所在的位置确定为该手掌的中心位置；其中所述迭代判断模块用于响应于该参考距离小于等于该第三距离阈值，根据该迭代次数判断该手掌的中心位置。

Images