CN114387626B - 一种手势分类方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及手势分类技术领域，公开了一种手势分类方法、装置、电子设备及存储介质。上述手势分类方法包括：根据手势图像的深度图数据，获取所述手势图像的三维数据集；提取所述三维数据集中的第三维度数据；根据所述第三维度数据获取所述手势图像的特征数据；将所述特征数据输入预先训练好的手势分类模型中，得到所述手势图像的分类结果；其中，所述手势分类模型通过多种手势图像的所述特征数据训练得到。本发明实施例的手势分类方法，可以在降低计算量的同时，有效地进行手势分类。

Description

一种手势分类方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及手势分类技术领域，特别涉及一种手势分类方法、装置、电子设备及存储介质。

背景技术

目前在对手势图像进行分类时，主要是基于手势图像的彩色图、灰度图、深度图，或者其他非图像传感器获得的数据，结合机器学习算法进行分类，或者检测出手部骨架后基于物理规律进行分类。主要包括以下方案：

一种方案是在彩色图数据上，结合机器学习算法进行手势分类，但独立使用彩色图很难进行手部的精细分割，分类准确率低；另一种方案是同时采用深度图数据和彩色图数据，深度图数据辅助彩色图数据将手部分割出来，然后结合深度学习算法进行手势分类，但是深度学习算法计算量相对较大，对硬件性能要求高；第三种方案是基于深度图，结合深度学习算法进行手势分类，同样计算量较大。

发明内容

本发明实施方式的目的在于提供一种手势分类方法、装置、电子设备及存储介质，可以在降低计算量的同时，有效地进行手势分类。

为至少解决上述技术问题，本发明的实施方式提供了一种手势分类方法，包括以下步骤：根据手势图像的深度图数据，获取所述手势图像的三维数据集；提取所述三维数据集中的第三维度数据；根据所述第三维度数据，获取所述手势图像的特征数据；将所述特征数据输入预先训练好的手势分类模型中，得到所述手势图像的分类结果；其中，所述手势分类模型通过多种手势图像的所述特征数据训练得到。

为至少解决上述技术问题，本发明的实施方式还提供了一种手势分类装置，包括：第一获取模块，用于根据手势图像的深度图数据，获取所述手势图像的三维数据集；提取模块，用于提取所述三维数据集中的第三维度数据；第二获取模块，用于根据所述第三维度数据，获取手势图像的特征数据；分类模块，用于将所述特征数据输入预先训练好的手势分类模型中，得到所述手势图像的分类结果；其中，所述手势分类模型通过多种手势图像的所述特征数据训练得到。

为至少解决上述技术问题，本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的手势分类方法。

为至少解决上述技术问题，本发明的实施方式还提供了计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的手势分类方法。

本发明实施方式相对于现有技术而言，根据手势图像的深度图数据，获取手势图像的三维数据集，然后提取三维数据集中的第三维度数据，并根据第三维度数据，获取手势图像的特征数据，将特征数据输入到预先训练好的手势分类模型中，可以得到手势图像的分类结果。由于预先通过上述方式获取了多种手势图像的特征数据，并根据多种手势图像的特征数据训练得到手势分类模型，因此，通过将手势图像的特征数据输入到预先训练好的手势分类模型中，即可得到手势图像的分类结果，在降低计算量的同时，有效地进行手势分类。

另外，在所述根据手势图像的深度图数据，获取所述手势图像的三维数据集之后，还包括：对所述三维数据集采取去重心化操作，得到去重心化的三维数据集；对所述去重心化的三维数据集采取去尺度化操作，得到去尺度化的三维数据集。通过手势图像的深度图数据采取去重心化与去尺度化操作，可以使得后续得到的手势图像的特征数据更加通用，提高手势分类效果。

另外，所述提取所述三维数据集中的第三维度数据，包括：将所述三维数据集中的平面维度数据所在的平面进行行列等分，得到N个相等的划分平面；其中，N≥1；提取每个所述划分平面内的平面维度数据对应的第三维度数据。通过将三维数据集的平面维度数据进行行列等分，以得到与行列等分后的平面维度数据对应的细化的第三维度数据，易于后续进行分类操作。

另外，所述根据所述第三维度数据，获取手势图像的特征数据，包括：获取所述每个划分平面内的平面维度数据对应的第三维度数据的算数均值，得到N个算数均值结果，并将所述N个算数均值结果作为所述特征数据。通过计算得到第三维度数据的算数均值，使得获取的特征数据更符合手势图像的特征。

另外，在所述将所述特征数据输入预先训练好的手势分类模型中，得到所述手势图像的分类结果之前，还包括：根据所述N个相等的划分平面的排列顺序，对所述N个算数均值结果进行排序。以划分平面的排列顺序对算数均值结果进行排序，使得输入手势分类模型的特征数据更符合手势图像的特征，以提升手势分类的效果。

另外，在所述根据手势图像的深度图数据，获取所述手势图像的三维数据集之前，还包括：获取所述手势图像的深度值数据，并根据所述深度值数据确定所述手势图像中手部的三维限制范围；对所述三维限制范围内的所述手势图像进行检测，得到所述手势图像中对应所述手部的深度图数据。通过对三维限制范围内的手势图像进行检测，以获取手势图像中感兴趣区域的深度图数据。

另外，所述手势分类模型基于随机森林算法训练得到。通过随机森林算法训练得到的手势分类模型，计算量更小，并且对硬件性能要求不高。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明一个实施例提供的一种手势分类方法的流程图；

图2是根据本发明一个实施例提供的一种实现步骤102的流程图；

图3是根据本发明另一个实施例提供的一种手势分类方法的流程图；

图4是根据本发明另一个实施例提供的一种手势分类装置的示意图；

图5是根据本发明另一个实施例提供的一种电子设备的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明的一个实施例涉及一种手势分类方法，具体流程如图1所示，包括：

步骤101，根据手势图像的深度图数据，获取手势图像的三维数据集。

步骤102，提取三维数据集中的第三维度数据。

步骤103，根据第三维度数据，获取手势图像的特征数据。

步骤104，将特征数据输入预先训练好的手势分类模型中，得到手势图像的分类结果。

本实施例中，根据手势图像的深度图数据，获取手势图像的三维数据集，然后提取三维数据集中的第三维度数据，并根据第三维度数据，获取手势图像的特征数据，将特征数据输入到预先训练好的手势分类模型中，可以得到手势图像的分类结果。由于预先通过上述方式获取了多种手势图像的特征数据，并根据多种手势图像的特征数据训练得到手势分类模型，因此，通过将手势图像的特征数据输入到预先训练好的手势分类模型中，即可得到手势图像的分类结果，在降低计算量的同时，有效地进行手势分类。

下面对本实施方式的手势分类方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

在步骤101中，根据获取的手势图像的深度图数据，将手势图像逐像素点转化为三维数据集，即得到手势图像的三维数据集。

在一个例子中，在根据手势图像的深度图数据，获取手势图像的三维数据集之前，首先可以获取手势图像的深度值数据，并根据深度值数据确定手势图像中手部的三维限制范围，然后对三维限制范围内的手势图像进行检测，得到手势图像中对应手部的深度图数据。通过对三维限制范围内的手势图像进行检测，以获取手势图像中感兴趣区域的深度图数据。

其中，由于手势图像中会存在无关手势的区域，因此，手势图像的深度值数据为手势图像中手部定位处的深度值数据。

在步骤102中，手势图像的三维数据集，例如，{V₁}，则{V_X}为X维度数据集，{V_Y}为Y维度数据集，{V_Z}为Z维度数据集。具体地，提取三维数据集中的第三维度数据集，XOY为X维度数据集与Y维度数据集，即平面维度数据所组成的平面，Z为第三维度数据，即提取{V₁}中的{V_Z}。

在一个例子中，步骤102还可以通过以下子步骤实现，具体流程图如图2所示，包括：

子步骤1021，将三维数据集中的平面维度数据所在的平面进行行列等分，得到N个相等的划分平面。其中，N≥1。

具体地，通过预设一个行列数目相等的二维网格，将三维数据集中的平面维度数据所在的平面进行划分，即可得到N个相等的划分平面。例如，预设一个16X16的二维网格，对XOY平面进行划分，可以得到256个相等的划分平面。

子步骤1022，提取每个划分平面内的平面维度数据对应的第三维度数据。例如，分别提取256个划分平面内的与X维度数据集，Y维度数据集所对应的Z维度数据集。

通过将三维数据集的平面维度数据进行行列等分，以得到与行列等分后的平面维度数据对应的细化的第三维度数据，易于后续进行分类操作。

在步骤103中，根据提取到的第三维度数据，可以获取手势图像的特征数据。

在一个例子中，通过获取每个划分平面内的平面维度数据对应的第三维度数据的算数均值，得到N个算数均值结果，然后将N个算数均值结果作为特征数据。例如，计算256个划分平面内的与X维度数据集，Y维度数据集所对应的Z维度数据集的的算数均值，得到256个算数均值结果。通过计算得到第三维度数据的算数均值，使得获取的特征数据更符合手势图像的特征。

在步骤104中，由于手势分类模型通过多种手势图像的所述特征数据训练得到，则将手势图像的特征数据，即N个算数均值结果输入到预先训练好的手势分类模型中，即可得到手势图像的分类结果。

在一个例子中，手势分类模型可以基于随机森林算法训练得到。通过随机森林算法训练得到的手势非标类模型，计算量更小，并且对硬件性能要求不高，使得本实施例的手势分类方法可以在相对较弱的CPU上实时运行，从而节省了成本。

在一个例子中，在将特征数据输入预先训练好的手势分类模型中，得到手势图像的分类结果之前，可以根据N个相等的划分平面的排列顺序，对N个算数均值结果进行排序。以划分平面的排列顺序对算数均值结果进行排序，使得输入手势分类模型的特征数据更符合手势图像的特征，以提升手势分类的效果。

为了便于理解，现对算数均值结果排序过程进行举例说明：根据预设的二维网格，每一个小网格即为一个划分平面，以二维网格的第一行第一列的小网格为开始，将小网格中平面维度数据对应的第三维度数据的算数均值结果作为首个算数均值结果，依次向右，至第一行最后一列的小网格中平面维度数据对应的第三维度数据的算数均值结果，然后从第二行第一列的小网格开始，至第二行最后一列的小网格，以此类推，将最后一行最后一列的小网格中平面维度数据对应的第三维度数据的算数均值结果作为最后一个算数均值结果。

需要说明的是，上述对N个算数均值结果进行排序的过程仅为举例说明，具体实现方式可不唯一，例如，还可以从最后一行最后一列的小网格开始，第一行第一列的小网格结束。

本发明的另一个实施例涉及一种手势分类方法，本实施方式与第一实施方式大致相同，不同之处在于在获取手势图像的三维数据集之后，对手势图像的三维数据集进行了去重心化和去尺度化操作，具体流程如图3所示，包括：

步骤301，根据手势图像的深度图数据，获取手势图像的三维数据集。

步骤301与步骤101大致相同，此处不再赘述。

步骤302，对三维数据集采取去重心化操作，得到去重心化的三维数据集。

具体而言，获取三维数据集中的重心，其中，三维数据集中的重心的计算公式为：

其中，{V₁}为三维数据集，G为三维数据集中的重心。

对三维数据集采取去重心化操作，得到去重心化的三维数据集{V₂}。

其中，{V₂}={V₁₁-G，V₁₂-G，…，V_1n-G，}

步骤303，对去重心化的三维数据集采取去尺度化操作，得到去尺度化的三维数据集。

具体而言，获取去尺度化的三维数据集具体方式如下：

V_{2_x_min}=min{V_{2_x}}，V_{2_x_max}=max{V_{2_x}};

V_{2_y_min}=min{V_{2_y}}，V_{2_y_max}=max{V_{2_y}};

V_{2_z_min}=min{V_{2_z}}，V_{2_z_max}=max{V_{2_z}};

其中，{V_{2_x}}是去重心化的三维数据集{V₂}中的X维度数据集，{V_{2_y}}是去重心化的三维数据集{V₂}中的Y维度数据集，{V_{2_z}}是去重心化的三维数据集{V₂}中的Z维度数据集；V_{2_x_min}为{V_{2_x}}中最小的X维度数据，V_{2_x_max}为{V_{2_x}}中最大的X维度数据，V_{2_y_min}为{V_{2_y}}中最小的Y维度数据，V_{2_y_max}为{V_{2_y}}中最大的Y维度数据，V_{2_z_min}为{V_{2_z}}中最小的Z维度数据，V_{2_z_max}为{V_{2_z}}中最大的Z维度数据。

，

，

去尺度化的三维数据集{V₃}的计算公式为：

其中，V_{2_min}为{V₂}中最小的三维数据，V_{2_max}为{V₂}中最大的三维数据，符号“

”表示对应维度的数据相乘，即（V₂₁-V_{2_min}）

S表示将（V₂₁-V_{2_min}）中计算得到的X维度数据与S中的1/V_{2_x_max}- V2__{x_min}相乘，将（V₂₁-V_{2_min}）中计算得到的Y维度数据与S中的1/V_{2_y_max}-V2__{y_min}相乘，将（V₂₁-V_{2_min}）中计算得到的Z维度数据与S中的1/V_{2_z_max}- V2__{z_min}相乘，（V₂₂-V_{2_min}）

S和剩余数据的含义与此类似，不再赘述。

步骤304，提取去尺度化的三维数据集中的第三维度数据。

步骤305，根据第三维度数据，获取手势图像的特征数据。

步骤306，将特征数据输入预先训练好的手势分类模型中，得到手势图像的分类结果。

步骤304至步骤306与步骤102至步骤104大致相同，此处不再赘述。

在本实施例中，通过手势图像的深度图数据采取去重心化与去尺度化操作，可以使得后续得到的手势图像的特征数据更加通用，提高手势分类效果。

需要说明的是，本实施方式中的上述各示例均为方便理解进行的举例说明，并不对本发明的技术方案构成限定。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明另一个实施例涉及一种手势分类装置，下面对本实施例的手势分类装置的细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本例的必须，图4是本实施例所述的手势分类装置的示意图，包括：第一获取模块401，提取模块402，第二获取模块403，分类模块404。

具体而言，第一获取模块401，用于根据手势图像的深度图数据，获取手势图像的三维数据集。

提取模块402，用于提取三维数据集中的第三维度数据。

在一个例子中，提取模块402，还用于将三维数据集中的平面维度数据所在的平面进行行列等分，得到N个相等的划分平面；其中，N≥1；提取每个划分平面内的平面维度数据对应的第三维度数据。

第二获取模块403，用于根据第三维度数据，获取手势图像的特征数据。

在一个例子中，第二获取模块403，还用于获取每个划分平面内的平面维度数据对应的第三维度数据的算数均值，得到N个算数均值结果，并将N个算数均值结果作为特征数据。

分类模块404，用于将特征数据输入预先训练好的手势分类模型中，得到手势图像的分类结果；其中，手势分类模型通过多种手势图像的特征数据训练得到。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明另一个实施例涉及一种电子设备，如图5所示，包括：至少一个处理器501；以及，与所述至少一个处理器501通信连接的存储器502；其中，所述存储器502存储有可被所述至少一个处理器501执行的指令，所述指令被所述至少一个处理器501执行，以使所述至少一个处理器501能够执行上述各实施例中的手势分类方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本发明另一实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (8)

1.一种手势分类方法，其特征在于，包括：

根据手势图像的深度图数据，获取所述手势图像的三维数据集；

提取所述三维数据集中的第三维度数据；

根据所述第三维度数据，获取所述手势图像的特征数据；

将所述特征数据输入预先训练好的手势分类模型中，得到所述手势图像的分类结果；

其中，所述手势分类模型通过多种手势图像的所述特征数据训练得到；

其中，所述提取所述三维数据集中的第三维度数据，包括：

将所述三维数据集中的平面维度数据所在的平面进行行列等分，得到N个相等的划分平面；其中，N≥1；

提取每个所述划分平面内的平面维度数据对应的第三维度数据；

其中，所述根据所述第三维度数据，获取手势图像的特征数据，包括：

获取每个所述划分平面内的平面维度数据对应的第三维度数据的算数均值，得到N个算数均值结果，并将所述N个算数均值结果作为所述特征数据。

2.根据权利要求1所述的手势分类方法，其特征在于，在所述根据手势图像的深度图数据，获取所述手势图像的三维数据集之后，还包括：

对所述三维数据集采取去重心化操作，得到去重心化的三维数据集；

对所述去重心化的三维数据集采取去尺度化操作，得到去尺度化的三维数据集；

其中，所述对所述三维数据集采取去重心化操作，得到去重心化的三维数据集，包括：

对于所述三维数据集中的每个三维数据，减去所述三维数据集的重心，以获取去重心化的三维数据集；

所述三维数据集的重心的计算公式为：

G表示所述三维数据集的重心，{V₁}表示所述三维数据集；

其中，所述去尺度化的三维数据集的计算公式为：

{V₃}表示所述去尺度化的三维数据集，{V₂}表示所述去重心化的三维数据集，S=1/（V_{2_max}-V_{2_min}），V_{2_min}为所述{V₂}中最小的三维数据，V_{2_max}为所述{V₂}中最大的三维数据；

其中，所述

表示对应维度的数据相乘。

3.根据权利要求1所述的手势分类方法，其特征在于，在所述将所述特征数据输入预先训练好的手势分类模型中，得到所述手势图像的分类结果之前，还包括：

根据所述N个相等的划分平面的排列顺序，对所述N个算数均值结果进行排序。

4.根据权利要求1至3中任一项所述的手势分类方法，其特征在于，在所述根据手势图像的深度图数据，获取所述手势图像的三维数据集之前，还包括：

获取所述手势图像的深度值数据，并根据所述深度值数据确定所述手势图像中手部的三维限制范围；

对所述三维限制范围内的所述手势图像进行检测，得到所述手势图像中对应所述手部的深度图数据。

5.根据权利要求1所述的手势分类方法，其特征在于，所述手势分类模型基于随机森林算法训练得到。

6.一种手势分类装置，其特征在于，包括：

第一获取模块，用于根据手势图像的深度图数据，获取所述手势图像的三维数据集；

提取模块，用于提取所述三维数据集中的第三维度数据；

其中，所述提取模块还用于将所述三维数据集中的平面维度数据所在的平面进行行列等分，得到N个相等的划分平面；其中，N≥1；提取每个所述划分平面内的平面维度数据对应的第三维度数据；

第二获取模块，用于根据所述第三维度数据，获取所述手势图像的特征数据；

其中，所述第二获取模块还用于获取每个所述划分平面内的平面维度数据对应的第三维度数据的算数均值，得到N个算数均值结果，并将所述N个算数均值结果作为所述特征数据；

分类模块，用于将所述特征数据输入预先训练好的手势分类模型中，得到所述手势图像的分类结果；其中，所述手势分类模型通过多种手势图像的所述特征数据训练得到。

7.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的手势分类方法。

8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的手势分类方法。

Images