CN113553884A - 手势识别方法、终端设备及计算机可读存储介质 - Google Patents

手势识别方法、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113553884A
CN113553884A CN202010337876.0A CN202010337876A CN113553884A CN 113553884 A CN113553884 A CN 113553884A CN 202010337876 A CN202010337876 A CN 202010337876A CN 113553884 A CN113553884 A CN 113553884A
Authority
CN
China
Prior art keywords
gesture
attribute
skeleton data
node
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010337876.0A
Other languages
English (en)
Other versions
CN113553884B (zh
Inventor
刘璐
胡振邦
刘阳兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202010337876.0A priority Critical patent/CN113553884B/zh
Priority to PCT/CN2020/130575 priority patent/WO2021218126A1/zh
Publication of CN113553884A publication Critical patent/CN113553884A/zh
Application granted granted Critical
Publication of CN113553884B publication Critical patent/CN113553884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请适用于手势识别技术领域，提供了一种手势识别方法、终端设备及计算机可读存储介质，包括：获取目标手势对应的手势骨架数据；根据所述手势骨架数据，确定所述目标手势对应的手部属性数据，其中，所述手部属性数据用于反映所述目标手势的关节点特性和骨头特性；根据所述手部属性数据，确定所述目标手势对应的初始全局属性，其中，所述初始全局属性用于反映所述目标手势的手势特性；根据所述初始全局属性，确定所述目标手势对应的手势类型。通过本申请可提高手势识别速度。

Description

手势识别方法、终端设备及计算机可读存储介质
技术领域
本申请属于手势识别技术领域，尤其涉及一种手势识别方法、终端设备及计算机可读存储介质。
背景技术
手势识别是一种新兴的人机交互方式，由于其对用户友好，交互方式比较自然，已应用到较多场景，例如手语理解、虚拟现实、机器人控制等。现有的手势识别方法是采用卷积神经网络，将手势图像输入至卷积神经网络进行特征提取，识别得到手势图像中手势所属类型，由于卷积神经网络需要对整个手势图像进行特征提取，导致其手势识别速度较慢。
发明内容
本申请提供了一种手势识别方法、终端设备及计算机可读存储介质，以提高手势识别速度。
第一方面，本申请实施例提供了一种手势识别方法，所述手势识别方法包括：
获取目标手势对应的手势骨架数据；
根据所述手势骨架数据，确定所述目标手势对应的手部属性数据，其中，所述手部属性数据用于反映所述目标手势的关节点特性和骨头特性；
根据所述手部属性数据，确定所述目标手势对应的初始全局属性，其中，所述初始全局属性用于反映所述目标手势的手势特性；
根据所述初始全局属性，确定所述目标手势对应的手势类型。
第二方面，本申请实施例提供了一种手势识别装置，所述手势识别装置包括：
骨架数据获取模块，用于获取目标手势对应的手势骨架数据；
属性数据确定模块，用于根据所述手势骨架数据，确定所述目标手势对应的手部属性数据，其中，所述手部属性数据用于反映所述目标手势的关节点特性和骨头特性；
初始属性确定模块，用于根据所述手部属性数据，确定所述目标手势对应的初始全局属性，其中，所述初始全局属性用于反映所述目标手势的手势特性；
手势类型确定模块，用于根据所述初始全局属性，确定所述目标手势对应的手势类型。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述手势识别方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述手势识别方法的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行如上述第一方面所述手势识别方法的步骤。
由上可见，本申请通过使用手势骨架数据能够有效提取反映目标手势的姿态特性的手部属性数据，并根据手部属性数据提取反映目标手势的手势特性的初始全局属性，进而根据初始全局属性识别出目标手势的手势类型，相比于对整个手势图像进行特征提取，手势骨架数据的数据量较小，使用手势骨架数据进行手势识别，减少了手势识别过程中的数据计算量，提高了手势识别速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的手势识别方法的实现流程示意图；
图2a是手势骨架中关节点示例图；图2b是动态手势示例图；
图3本申请实施例二提供的手势识别方法的实现流程示意图；
图4是手势识别过程示例图；
图5a是在包括14种手势类型的手势骨架数据集上手势分类的混淆矩阵示例图；图5b是在包括28种手势类型的手势骨架数据集上手势分类的混淆矩阵示例图；
图6是本申请实施例三提供的手势识别装置的结构示意图；
图7是本申请实施例四提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
参见图1，是本申请实施例一提供的手势识别方法的实现流程示意图，该手势识别方法应用于终端设备，如图所示该手势识别方法可以包括以下步骤：
步骤101，获取目标手势对应的手势骨架数据。
在本申请实施例中，可以通过手势骨架检测装置获取目标手势对应的手势骨架数据，也可以从手势图像中获取目标手势对应的手势骨架数据，在此不作限定。其中，手势骨架检测装置是一种能够直接采集目标手势对应的手势骨架数据的装置，手势图像是包含目标手势的图像。手势骨架数据的数量可以为一组或者至少两组，在此不作限定。目标手势可以是指待进行手势识别的手势。手势是指手的姿势，是人在运用手部时所体现的各种姿势或动作。手势骨架数据是指手势骨架数据对应的手势骨架中关节点的位置信息，针对手势骨架数据可以建立一个坐标系，关节点的位置信息可以是指关节点在坐标系中的坐标，上述坐标系可以是二维坐标系，也可以是三维坐标系，在此不作限定。手势骨架中关节点是手势骨架的骨头之间的连接点，手势骨架通常包含21个关节点，如图2a所示是手势骨架中关节点示例图，图2a所示手势骨架中的符号“·”即为关节点，图2a中关节点在手势骨架中的位置信息即为手势骨架数据。
可选的，在获取目标手势对应的手势骨架数据之前，还包括：
获取一帧手势图像或者连续N帧手势图像，其中，N为大于1的整数；
相应的，所述获取目标手势对应的手势骨架数据包括：
根据所述一帧手势图像或者所述连续N帧手势图像，获取所述目标手势对应的手势骨架数据。
手势通常分为静态手势和动态手势。静态手势的识别主要考虑某个时间点上手势的外形特征，故在对静态手势进行识别时，可以通过图像采集装置获取一帧手势图像，基于一帧手势图像进行手势识别；动态手势的识别主要是考虑一段时间内的一系列动作，由一系列静态手势构成，故在对动态手势进行识别时，可以通过图像采集装置获取连续N帧手势图像，基于连续N帧手势图像进行手势识别。需要说明的是，在本实施例中手势图像的获取方式可以是通过图像采集装置获取到的，也可以是通过服务器或者其他设备获取到的，在本实施例中不对手势图像的获取方式进行限定。
连续N帧手势图像可以是指图像采集装置以预设时间间隔采集的N帧手势图像，例如图像采集装置以0.05秒进行一次手势图像采集，直到采集N帧手势图像，上述N帧手势图像中任一相邻两帧手势图像的采集时间间隔均为0.05 秒。
如果获取一帧手势图像，则可以从该一帧手势图像中获取一组手势骨架数据；如果获取连续N帧手势图像，则可以从该N帧手势图像中获取N组手势骨架数据，该N帧手势图像各自对应一组手势骨架数据。
步骤102，根据所述手势骨架数据，确定所述目标手势对应的手部属性数据。
其中，手部属性数据用于反映目标手势的关节点特性和骨头特性。
在本申请实施例中，可以从手势骨架的所有骨头中查找所有目标骨头，每个目标骨头是两个相邻关节点之间的骨头，可以将每个目标骨头的长度和相对于坐标轴的转动角度等作为每个目标骨头的属性，将手势骨架的每个关节点的位置信息和运动速度等作为每个关节点的属性，并确定目标手势的手势骨架中所有目标骨头的属性和所有关节点的属性为目标手势对应的手部属性数据。其中，上述关节点的属性即为关节点特性，上述目标骨头的属性即为骨头特性。
示例性的，以关节点1为原点，建立二维坐标系，X轴和Y轴的单位为cm，以图2a中关节点1和关节点3之间的目标骨头，以及关节点3为例，该目标骨头的长度为1.02cm，该目标骨头与X轴的转动角度为100°，与Y轴的转动角度为30°，那么该目标骨头的属性可以为(1.02，100°，30°)，关节点3的坐标为(-0.2，1)，运动速度为0.02m/s，那么关节点3的属性可以为(-0.2， 1，0.02)。
步骤103，根据所述手部属性数据，确定所述目标手势对应的初始全局属性。
其中，初始全局属性用于反映目标手势的手势特性，目标手势的手势特性可以是指目标手势所呈现的手势形状，如图2a中手势的手势特性是张开。
在本申请实施例中，针对目标手势对应的手势骨架数据，可以预先设置手势骨架数据的全局属性，手势骨架数据的全局属性用于融合手势骨架数据的所有关节点的属性和所有目标骨头的属性，得到能够反映目标手势的手势特性的初始全局属性。其中，手势骨架数据的全局属性是指用于聚合手势骨架数据的所有关节点的属性和所有目标骨头的属性的特征，用户可以根据实际需要自行设置手势骨架数据的全局属性(例如设置为0)，在此不作限定。
步骤104，根据所述初始全局属性，确定所述目标手势对应的手势类型。
在一种实现方式中，可以预先设置不同手势类型各自对应的初始全局属性，在确定目标手势对应的初始全局属性后，获取目标手势对应的初始全局属性与上述不同手势类型各自对应的初始全局属性的相似度，将相似度最大的手势类型作为目标手势对应的手势类型。其中，手势类型是目标手势所呈现的姿势，例如抓取、张开、摇动等。
在另一种实现方式中，可以使用已训练的分类模型识别目标手势对应的手势类型，在使用分类模型进行手势识别之前，需对分类模型进行训练，例如，可以先获取训练样本数据，将训练样本数据和标签(该标签是训练样本数据对应的正确的手势类型)输入分类模型中，对分类模型进行参数更新学习，不断减小目标函数(例如损失函数)的数值，当目标函数的数值小到可以达到准确率要求的时候，模型训练结束，得到已训练的分类模型。
手势通常分为静态手势和动态手势，静态手势的识别主要考虑某个时间点上手势的外形特征(即手势特性)，动态手势的识别主要是考虑一段时间内的一系列动作，由一系列静态手势构成。
可选的，在目标手势为静态手势时，初始全局属性的数量为一个，所述根据所述初始全局属性，确定所述目标手势对应的手势类型包括：
将所述初始全局属性输入至已训练的分类模型，通过所述分类模型识别出所述目标手势对应的手势类型。
在目标手势是静态手势时，可以将能够反映目标手势的手势特性的一个初始全局属性直接输入已训练的分类模型进行手势识别，获得目标手势对应的手势类型。如图2a所示手势即为静态手势。
在目标手势为动态手势时，初始全局属性的数量为至少两个，所述根据所述初始全局属性，确定所述目标手势对应的手势类型包括：
根据至少两个所述初始全局属性，确定目标全局属性，其中，所述目标全局属性用于反映所述目标手势的运动特性；
根据所述目标全局属性，确定所述目标手势对应的手势类型。
在目标手势是动态手势时，获取至少两个初始全局属性，并将至少两个初始全局属性进行拼接，拼接结果即为能够反映目标手势的运动特性的目标全局属性，根据能够反映目标手势的运动特性的目标全局属性识别出目标手势对应的手势类型。其中，动态手势的识别主要是考虑一段时间内的一系列动作，由一系列静态手势构成，如图2b所示是动态手势示例图，该动态手势由8帧静态手势构成。例如，初始全局属性的数量为8个，分别为
Figure BDA0002467357550000071
Figure BDA0002467357550000072
为第一组手势骨架数据对应的初始全局属性，
Figure BDA0002467357550000073
为第二组手势骨架数据对应的初始全局属性，
Figure BDA0002467357550000074
为第三组手势骨架数据对应的初始全局属性，
Figure BDA0002467357550000075
为第四组手势骨架数据对应的初始全局属性，
Figure BDA0002467357550000076
为第五组手势骨架数据对应的初始全局属性，
Figure BDA0002467357550000077
为第六组手势骨架数据对应的初始全局属性，
Figure 2
为第七组手势骨架数据对应的初始全局属性，
Figure BDA0002467357550000079
为第八组手势骨架数据对应的初始全局属性，将上述8个初始全局属性进行拼接，得到目标全局属性为
Figure BDA00024673575500000710
对于动态手势，在一种实现方式中，可以预先设置不同手势类型各自对应的目标全局属性，在确定目标手势对应的目标全局属性后，获取目标手势对应的目标全局属性分别与上述不同手势类型各自对应的目标全局属性的相似度，将相似度最大的手势类型作为目标手势对应的手势类型。以抓取、张开、摇动、敲击等四种不同手势类型为例，目标手势对应的目标全局属性与抓取的目标全局属性的相似度为80％，与张开的目标全局属性的相似度为10％，与摇动的目标全局属性的相似度为5％，与敲击的目标全局属性的相似度为5％，可见，目标手势对应的目标全局属性与抓取的目标全局属性的相似度最大，故确定目标手势为抓取。
在另一种实现方式中，将目标全局属性输入至已训练的分类模型，通过该分类模型识别出目标手势对应的手势类型。
上述已训练的分类模型是根据多个训练样本训练得到的，每组训练样本包括一个目标全局属性和该目标全局属性对应的手势类型。
本申请实施例通过使用手势骨架数据能够有效提取反映目标手势的姿态特性的手部属性数据，并根据手部属性数据提取反映目标手势的手势特性的初始全局属性，进而根据初始全局属性识别出目标手势的手势类型，相比于对整个手势图像进行特征提取，手势骨架数据的数据量较小，使用手势骨架数据进行手势识别，减少了手势识别过程中的数据计算量，提高了手势识别速度。
参见图3，是本申请实施例二提供的手势识别方法的实现流程示意图，该手势识别方法应用于终端设备，如图所示该手势识别方法可以包括以下步骤：
步骤301，获取目标手势对应的手势骨架数据。
该步骤与步骤S101相同，具体可参见步骤S101的相关描述，在此不再赘述。
步骤302，根据所述手势骨架数据中每个节点的位置信息，获取所述手势骨架数据中每个节点的第一属性。
其中，手势骨架数据包括至少两个节点的位置信息，上述至少两个节点均为手势骨架数据对应的手势骨架的关节点。针对手势骨架数据建立一个坐标系，手势骨架数据中每个节点的位置信息是每个节点在坐标系中的坐标，每个节点的第一属性可以是指根据每个节点的位置信息确定的节点的属性，包括但不限于节点的位置信息和节点的运动速度等。需要说明的是，每个节点均有各自对应的第一属性。
可选的，所述目标手势对应N组手势骨架数据，N为大于1的整数，所述N组手势骨架数据的排列顺序是根据所述目标手势的运动顺序确定的，所述N 组手势骨架数据包括首组手势骨架数据和N-1组非首组手势骨架数据；
对于所述首组手势骨架数据，所述根据所述手势骨架数据中每个节点的位置信息，获取所述手势骨架数据中每个节点的第一属性包括：
确定所述首组手势骨架数据中每个节点的位置信息和预设运动速度为该节点的第一属性。
其中，在目标手势对应N组手势骨架数据时，目标手势是动态手势，对应一个手势运动过程，按照N组手势骨架数据在此手势运动过程中获取的先后顺序对N组手势骨架数据进行排序，例如图2b中的动态手势包括8帧静态手势，分别为b1、b2、b3、b4、b5、b6、b7、b8，上述8帧静态手势按照顺序b1、b2、 b3、b4、b5、b6、b7、b8完成一个动态手势，那么此动态手势对应的8组手势骨架数据的排序顺序即为b1、b2、b3、b4、b5、b6、b7、b8。
在计算一组手势骨架数据中节点的运动速度时，需要根据节点在该组手势骨架数据中的位置信息和在前一组手势骨架数据中的位置信息进行计算，如果该组手势骨架数据是首组手势骨架数据，其并不存在前一组手势骨架数据，故可以将预设运动速度作为首组手势骨架数据中节点的运动速度；如果该组手势骨架数据是非首组手势骨架数据，其存在前一组手势骨架数据，故可以根据节点在该组手势骨架数据中的位置信息和前一组手势骨架数据中的位置信息计算非首组手势骨架数据中节点的运动速度。
预设运动速度是预先设置的运动速度，用户可以根据实际需要自行设定该运动速度的取值，例如将预设运动速度设置为零。
对于所述N-1组非首组手势骨架数据，所述根据所述手势骨架数据中每个节点的位置信息，获取所述手势骨架数据中每个节点的第一属性包括：
根据所述N-1组非首组手势骨架数据各自包含的每个节点的位置信息，获取所述N-1组非组手势骨架数据各自包含的每个节点的第一属性；
其中，第j组非首组手势骨架数据为所述N-1组非首组手势骨架数据中的任一组，j为小于或等于N-1的正整数，所述第j组非首组手势骨架数据中每个节点的第一属性的确定方式为：
根据所述第j组非首组手势骨架数据中每个节点的位置信息和该节点在j-1 组非首组手势骨架数据中的位置信息，获取所述第j组非首组手势骨架数据中每个节点的运动速度；
确定所述第j组非首组手势骨架数据中每个节点的位置信息和该节点的运动速度为该节点的第一属性。
其中，在获取第j组非首组手势骨架数据中第i个节点(即第j组非首组手势骨架数据中的任一节点)的运动速度时，需要先获取第j组非首组手势骨架数据和第j-1组非首组手势骨架数据之间的采集时间间隔，计算第i个节点在第 j组非首组手势骨架数据中的位置信息与在第j-1组非首组手势骨架数据中的位置信息之间的差值，该差值除以采集时间间隔的所得值即为第i个节点的运动速度。在手势骨架数据的坐标轴为二维坐标系时，第i个节点在第j组非首组手势骨架数据中的位置信息是二维坐标
Figure BDA0002467357550000101
在第j-1组非首组手势骨架数据中的位置信息是二维坐标
Figure BDA0002467357550000102
第i个节点在X轴方向的速度为
Figure BDA0002467357550000103
Figure BDA0002467357550000104
在Y轴方向的速度为
Figure BDA0002467357550000105
即为第i个节点的运动速度为
Figure BDA0002467357550000106
在手势骨架数据的坐标轴为三维坐标系时，第i个节点在第j组非首组手势骨架数据中的位置信息是三维坐标
Figure BDA0002467357550000107
在第j-1组非首组手势骨架数据中的位置信息是三维坐标
Figure BDA0002467357550000108
第i个节点在X轴方向的速度为
Figure BDA0002467357550000109
在Y轴方向的速度为
Figure BDA00024673575500001010
在Z轴方向的速度为
Figure BDA00024673575500001011
即第i个节点的运动速度为
Figure BDA00024673575500001012
Δt为相邻两组手势骨架数据之间的采集时间间隔。其中，上述x、y、z的上标表示非首组手势骨架数据的组号，下标表示节点号，例如上标为j表示第j组非首组手势骨架数据，下标为i表示第i个节点；上述
Figure BDA00024673575500001013
中的上标j表示非首组手势骨架数据的组号(即第j组非首组手势骨架数据)，下标x表示X轴，y表示Y轴，z 表示Z轴，下标i表示节点号(即第i个节点)。
需要说明的是，在j取值为1时，第j-1组非首组手势骨架数据(即第零组非首组手势骨架数据)是指首组手势骨架数据。
以手势骨架数据的坐标轴为三维坐标系为例，Δt为相邻两组手势骨架数据之间的采集时间间隔，连续采集4组手势骨架数据，根据采集时间的先后顺序可以分别称之为首组手势骨架数据、第一组非首组手势骨架数据、第二组非首组手势骨架数据和第三组非首组手势骨架数。对于首组手势骨架数据中的第i 个节点(该第i个节点为首组手势骨架数据中的任意一个节点)，确定该节点在首组手势骨架数据中的位置信息
Figure BDA0002467357550000111
和预设运动速度为该节点的第一属性；对于第一组非首组手势骨架数据中的第i个节点(该第i个节点为第一组非首组手势骨架数据中的任意一个节点)，该节点在第一组非首组手势骨架数据中的位置信息为
Figure BDA0002467357550000112
在首组手势骨架数据中的位置信息为
Figure BDA0002467357550000113
则计算得到该节点在X轴方向的速度为
Figure BDA0002467357550000114
在Y轴方向的速度为
Figure BDA0002467357550000115
Figure BDA0002467357550000116
在Z轴方向的速度为
Figure BDA0002467357550000117
即该节点的运动速度为
Figure BDA0002467357550000118
确定该节点在第一组非首组手势骨架数据中的位置信息
Figure BDA0002467357550000119
和运动速度
Figure BDA00024673575500001110
为该节点的第一属性；对于第二组非首组手势骨架数据中的第i个节点(该第i个节点为第二组非首组手势骨架数据中的任意一个节点)，该节点在第二组非首组手势骨架数据中的位置信息为
Figure BDA00024673575500001111
在第一组非首组手势骨架数据中的位置信息为
Figure BDA00024673575500001112
则计算得到该节点在X轴方向的速度为
Figure BDA00024673575500001113
在Y轴方向的速度为
Figure BDA00024673575500001114
在Z轴方向的速度为
Figure BDA00024673575500001115
Figure BDA00024673575500001116
即该节点的运动速度为
Figure BDA00024673575500001117
确定该节点在第二组非首组手势骨架数据中的位置信息
Figure BDA00024673575500001118
和运动速度
Figure BDA00024673575500001119
为该节点的第一属性；对于第三组非首组手势骨架数据中的第i个节点(该第i个节点为第三组非首组手势骨架数据中的任意一个节点)，该节点在第三组非首组手势骨架数据中的位置信息为
Figure BDA0002467357550000121
在第二组非首组手势骨架数据中的位置信息为
Figure BDA0002467357550000122
则计算得到该节点在X轴方向的速度为
Figure BDA0002467357550000123
在Y轴方向的速度为
Figure BDA0002467357550000124
在Z轴方向的速度为
Figure BDA0002467357550000125
即该节点的运动速度为
Figure BDA0002467357550000126
确定该节点在第三组非首组手势骨架数据中的位置信息
Figure BDA0002467357550000127
和运动速度
Figure BDA0002467357550000128
为该节点的第一属性。其中，
Figure BDA0002467357550000129
中的上标0表示首组手势骨架数据。
步骤303，根据所述手势骨架数据中每对目标节点的位置信息，获取所述手势骨架数据中每条边的第一属性。
其中，所述每对目标节点是指满足预设条件的两个相邻节点，所述两个相邻节点之间通过一条边进行连接。
上述预设条件与手势骨架的生物特征有关，可以是指位于手势骨架中一块骨头的两个端点的节点。上述两个相邻节点之间的一条边是指上述两个相邻节点之间的一块骨头，如图2a所示，图2a中节点1和节点2是一对目标节点，节点1和节点3也是一对目标节点，而节点2和节点3不是一对目标节点。
可选的，所述根据所述手势骨架数据中每对目标节点的位置信息，获取所述手势骨架数据中每条边的第一属性包括：
根据所述手势骨架数据中每对目标节点的位置信息，获取所述手势骨架数据中每条边的长度和该边的转动角度；
确定所述手势骨架数据中每条边的长度和该边的转动角度为该边的第一属性。
其中，每对目标节点的位置信息是指每对目标节点中每个目标节点在手势骨架数据中的位置信息，如图2a中节点1和节点2组成的一对目标节点，该对目标节点的位置信息是指节点1的位置信息和节点2的位置信息。手势骨架数据中每条边的转动角度是指每条边与坐标系中各坐标轴之间的夹角。
以第t组手势骨架数据(如果手势骨架数据的数量为一组，该组手势骨架数据即为第t组手势骨架数据；如果手势骨架数据的数量为N，第t组手势骨架数据即为N组手势骨架数据中的任一组手势骨架数据)和三维坐标系为例，对于手势骨架数据中任一对目标节点，该对目标节点中的两个目标节点分别用第 i个节点和第g个节点表示，第i个节点的位置信息为
Figure BDA0002467357550000131
第g个节点的位置信息为
Figure BDA0002467357550000132
那么该对目标节点对应的一条边(例如第k条边)的长度
Figure BDA0002467357550000133
该边与X轴之间的夹角
Figure BDA0002467357550000134
该边与Y轴之间的夹角
Figure BDA0002467357550000135
该边与Z轴之间的夹角
Figure BDA0002467357550000136
步骤304，获取所述手势骨架数据的第一全局属性。
其中，可以预先设置手势骨架数据的第一全局属性，例如，将手势骨架数据的第一全局属性设置为零。可选的，用户可以根据实际需要自行设定手势骨架数据的第一全局属性，在此不作限定。
步骤305，确定所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性为所述目标手势对应的手部属性数据。
如图2a所示，一组手势骨架数据包括21个节点，21个节点中存在21对目标节点，那么一组手势骨架数据包括21条边，可以确定一组手势骨架数据的第一全局属性、21个节点中各节点的第一属性、21条边中各边的第一属性为目标手势对应的手部属性数据。
步骤306，根据所述手部属性数据，确定所述目标手势对应的初始全局属性。
该步骤与步骤S103相同，具体可参见步骤S103的相关描述，在此不再赘述。
可选的，所述根据所述手部属性数据，确定所述目标手势对应的初始全局属性包括：
将所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性输入至已训练的图网络进行处理，所述图网络输出所述目标手势对应的初始全局属性。
其中，图网络是一种用于对图数据进行操作和计算的神经网络，本实施例将手部属性数据作为图数据输入至已训练的图网络进行处理，可以得到目标手势对应的能够反映手势特性的初始全局属性。
在使用图网络对手部属性数据进行处理之前，需要先对图网络进行训练，可以采用监督式的训练，损失函数定义为交叉熵损失，使用反向传播算法计算梯度，采用优化器对图网络进行训练，其中优化器可以是随机梯度下降 (Stochastic Gradient Descent，SGD)、Adam、Momentum等常用的优化器，通过最小化损失函数实现训练，图网络训练到收敛之后保存模型参数，获得已训练的图网络。
可选的，所述图网络包括第一图网络块、第二图网络块和第三图网络块，所述将所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性输入至已训练的图网络进行处理，所述图网络输出所述目标手势对应的初始全局属性包括：
将所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性输入至所述第一图网络块，所述第一图网络块分别对所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性进行更新，输出所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性；
将所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性输入至所述第二图网络块，所述第二图网络块对所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性进行更新和聚合，输出所述手势骨架数据的第三全局属性；
将所述手势骨架数据的第三全局属性输入至所述第三图网络块，所述第三图网络块对所述第三全局属性进行更新，输出所述目标手势对应的初始全局属性。
其中，手势骨架数据的第二全局属性是使用第一图网络块对手势骨架数据的第一全局属性进行更新后所得属性；手势骨架数据中每个节点的第二属性是使用第一图网络块对每个节点的第一属性进行更新后所得属性；手势骨架数据中每条边的第二属性是使用第一图网络块对每条边的第一属性进行更新后所得属性。手势骨架数据的第三全局属性是使用第二图网络块对手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性进行更新和聚合后所得属性。目标手势对应的初始全局属性是使用第三图网络对手势骨架数据的第三全局属性进行更新后所得属性。
可选的，所述第一图网络块包括第一属性更新层、第一节点更新层和第一边更新层，所述第一属性更新层、所述第一节点更新层和所述第一边更新层为全连接层或者卷积层，将所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性输入至所述第一图网络块，所述第一图网络块分别对所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性进行更新，输出所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性包括：
将所述手势骨架数据的第一全局属性输入至所述第一属性更新层，对所述手势骨架数据的第一全局属性进行更新，输出所述手势骨架数据的第二全局属性；
将所述手势骨架数据的每个节点的第一属性输入至所述第一节点更新层，对所述手势骨架数据的每个节点的第一属性进行更新，输出所述手势骨架数据的每个节点的第二属性；
将所述手势骨架数据的每条边的第一属性输入至所述第一边更新层，对所述手势骨架数据的每条边的第一属性进行更新，输出所述手势骨架数据的每条边的第二属性。
在本申请实施例中，第一图网络块中的第一属性更新层、第一节点更新层和第一边更新层可以为全连接层，也可以为卷积层。若第一属性更新层为全连接层，则第一属性更新层对手势骨架数据的第一全局属性进行更新可以是指将第一全局属性乘以全连接层的权重矩阵，所得结果即为手势骨架数据的第二全局属性；若第一属性更新层为卷积层，则第一属性更新层对手势骨架数据的第一全局属性进行更新可以是指使用卷积核对第一全局属性进行卷积操作，所得结果即为手势骨架数据的第二全局属性。若第一节点更新层为全连接层，则第一节点更新层对手势骨架数据的每个节点的第一属性进行更新可以是指将每个节点的第一属性乘以全连接层的权重矩阵，所得结果即为每个节点的第二属性；若第一节点更新层为卷积层，则第一节点更新层对手势骨架数据的每个节点的第一属性进行更新可以是指使用卷积核对每个节点的第一属性进行卷积操作，所得结果即为每个节点的第二属性。若第一边更新层为全连接层，则第一边更新层对手势骨架数据的每条边的第一属性进行更新可以是指将每条边的第一属性乘以全连接层的权重矩阵，所得结果即为每条边的第二属性；若第一边更新层为卷积层，则第一边更新层对手势骨架数据的每条边的第一属性进行更新可以是指使用卷积核对每条边的第一属性进行卷积操作，所得结果即为每条边的第二属性。
可选的，所述第二图网络块包括第二属性更新层、第二节点更新层、第二边更新层、第一聚合层、第二聚合层和第三聚合层，所述第二属性更新层、所述第二节点更新层和所述第二边更新层为全连接层或者卷积层，所述将所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性输入至所述第二图网络块，所述第二图网络块对所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性进行更新和聚合，输出所述手势骨架数据的第三全局属性包括：
将所述手势骨架数据中每条边的第二属性、每条边对应的每对目标节点的第二属性、所述手势骨架数据的第二全局属性输入至所述第二边更新层，所述第二边更新层对所述手势骨架数据中每条边的第二属性进行更新，输出所述手势骨架数据中每条边的第三属性；
将所述手势骨架数据中每个节点所属边的第三属性输入至所述第一聚合层，所述第一聚合层对所述手势骨架数据中每个节点所属边的第三属性进行聚合，输出所述手势骨架数据中每个节点所属边对应的节点属性；
将所述手势骨架数据中每个节点的第二属性、每个节点所属边对应的节点属性和所述手势骨架数据的第二全局属性输入至所述第二节点更新层，所述第二节点更新层对所述手势骨架数据中每个节点的第二属性进行更新，输出所述手势骨架数据中每个节点的第三属性；
将所述手势骨架数据中所有节点的第三属性输入至所述第二聚合层，所述第二聚合层对所述手势骨架数据中所有节点的第三属性进行聚合，输出所述手势骨架数据中所有节点对应的全局属性；
将所述手势骨架数据中所有边的第三属性输入至所述第三聚合层，所述第三聚合层对所述手势骨架数据中所有边的第三属性进行聚合，输出所述手势骨架数据中所有边对应的全局属性；
将所述手势骨架数据的第二全局属性、所有节点对应的全局属性和所有边对应的全局属性输入至所述第二属性更新层，所述第二属性更新层对所述手势骨架数据的第二全局属性进行更新，输出所述手势骨架数据的第三全局属性。
其中，将手势骨架数据中每条边的第二属性、每条边对应的每对目标节点的第二属性、手势骨架数据的第二全局属性输入至第二边更新层，第二边更新层对每条边的第二属性进行更新具体可以是指将手势骨架数据中每条边的第二属性、每条边对应的每对目标节点的第二属性、手势骨架数据的第二全局属性进行拼接，拼接结果乘以全连接层的权重矩阵或者卷积层的卷积核，得到每条边的第三属性。以手势骨架数据中第k条边为例介绍属性拼接过程，第k条边的第二属性为
Figure BDA0002467357550000171
第k条边对应的两个目标节点的第二属性分别为
Figure BDA0002467357550000172
和
Figure BDA0002467357550000173
手势骨架数据的第二全局属性为h2，将第k条边的第二属性
Figure BDA0002467357550000174
第k条边对应的两个目标节点的第二属性
Figure BDA0002467357550000175
和
Figure BDA0002467357550000176
以及手势骨架数据的第二全局属性h2进行拼接，拼接后所得属性为
Figure BDA0002467357550000177
需要说明的是，手势骨架数据中每条边的第二属性、每条边对应的每对目标节点的第二属性、手势骨架数据的第二全局属性的拼接顺序在此不作限定，例如拼接后所得属性
Figure BDA0002467357550000181
为或者
Figure BDA0002467357550000182
第一聚合层为求和层，将手势骨架数据中每个节点所属边的第三属性输入至第一聚合层，第一聚合层对每个节点所属边的第三属性进行求和，求和结果即为每个节点所属边对应的节点属性，例如手势骨架数据中第i个节点所属边为第k条边和第n条边，第k条边的第三属性为
Figure BDA0002467357550000183
第n条边的第三属性为
Figure BDA0002467357550000184
那么第一聚合层对第k条边的第三属性
Figure BDA0002467357550000185
和第n条边的第三属性
Figure BDA0002467357550000186
进行求和，第i个节点所属边对应的节点属性为
Figure BDA0002467357550000187
其中，
Figure BDA0002467357550000188
为第n条边对应的两个目标节点 (分别为第i个节点和第d个节点)的第二属性。
将手势骨架数据中每个节点的第二属性、每个节点所属边对应的节点属性和手势骨架数据的第二全局属性输入至第二边更新层，第二边更新层对每个节点的第二属性进行更新具体可以是指将手势骨架数据中每个节点的第二属性、每个节点所属边对应的节点属性和手势骨架数据的第二全局属性进行拼接，拼接结果乘以全连接层的权重矩阵或者卷积层对应的卷积核，得到每个节点的第三属性。需要说明的是，上述属性拼接过程可参考每条边的第二属性、每条边对应的每对目标节点的第二属性以及手势骨架数据的第二全局属性的拼接过程，在此不再赘述。
第二聚合层为求和层，将手势骨架数据中所有节点的第三属性输入至第二聚合层，第二聚合层对所有节点的第三属性进行求和，求和结果即为所有节点对应的全局属性。
第三聚合层为求和层，将手势骨架数据中所有边的第三属性输入至第三聚合层，第三聚合层对所有边的第三属性进行求和，求和结果即为所有边对应的全局属性。
将手势骨架数据的第二全局属性、所有节点对应的全局属性和所有边对应的全局属性输入至第二属性更新层，第二属性更新层对手势骨架数据的第二属性进行更新具体可以是指将手势骨架数据的第二全局属性、所有节点对应的全局属性和所有边对应的全局属性进行拼接，拼接结果乘以全连接层的权重矩阵或者卷积层对应的卷积核，得到手势骨架数据的第三全局属性。需要说明的是，上述属性拼接过程可参考每条边的第二属性、每条边对应的每对目标节点的第二属性以及手势骨架数据的第二全局属性的拼接过程，在此不再赘述。
可选的，所述第三图网络块包括第三属性更新层，所述第三属性更新层为全连接层或者卷积层，所述将所述手势骨架数据的第三全局属性输入至所述第三图网络块，所述第三图网络块对所述第三全局属性进行更新，输出所述手势骨架数据的初始全局属性包括：
将所述手势骨架数据的第三全局属性输入至所述第三属性更新层，所述第三属性更新层对所述第三全局属性进行更新，输出所述目标手势对应的初始全局属性。
将手势骨架数据的第三全局属性输入至第三属性更新层，第三属性更新层对手势骨架数据的第三全局属性进行更新具体可以是指将手势骨架数据的第三全局属性乘以全连接层的权重矩阵或者卷积层对应的卷积核，得到目标手势对应的初始全局属性。
步骤307，根据所述初始全局属性，确定所述目标手势对应的手势类型。
该步骤与步骤S104相同，具体可参见步骤S104的相关描述，在此不再赘述。
在本申请实施例中，在将初始全局属性输入分类模型之前，可以先将初始全局属性输入至输出层，将通过输出层处理的初始全局属性输入至分类模型进行手势识别，该输出层可以为全连接层，以对初始全局属性进行降维，提高图网络的鲁棒性。
如图4所示是手势识别过程示例图，包括T(T为大于1的整数)组手势骨架数据，一组手势骨架数据对应一个图网络，T组手势骨架数据对应T个图网络，不同手势骨架数据对应不同图网络，每个图网络包括第一图网络块、第二图网络块和第三图网络块；以第一组手势骨架数据为例说明，u1为第一组手势骨架数据的第一全局属性，V1为第一组手势骨架数据的任一个节点的第一属性，E1为第一组手势骨架数据的任一条边的第一属性，在第一个图网络块中，
Figure BDA0002467357550000201
为第一属性更新层，
Figure BDA0002467357550000202
为第一节点更新层，
Figure BDA0002467357550000203
为第一边更新层，
Figure BDA0002467357550000204
为第一组手势骨架数据的第二全局属性，
Figure BDA0002467357550000205
为上述任一个节点的第二属性，
Figure BDA0002467357550000206
为上述任一条边的第二属性；在第二个图网络块中，
Figure BDA0002467357550000207
为第二属性更新层，
Figure BDA0002467357550000208
为第二节点更新层，
Figure BDA0002467357550000209
为第二边更新层，ρe→v为第一聚合层，ρv→u为第二聚合层，ρe→u为第三聚合层，
Figure BDA00024673575500002010
为第一组手势骨架数据的第三全局属性；在第三图网络块中，
Figure BDA00024673575500002011
为第三属性更新层，
Figure BDA00024673575500002012
为第一组手势骨架数据对应的初始全局属性，可以先将第一组手势骨架数据对应的初始全局属性输入至输出层(即图4中output)，输出处理后全局属性
Figure BDA00024673575500002013
T组手势骨架数据对应T个处理后全局属性，将T个处理后全局属性进行拼接，得到目标全局属性
Figure BDA00024673575500002014
将目标全局属性输入至已训练的分类模型，即可得到目标手势对应的手势类型。其中，第t组手势骨架数据(为T组手势骨架数据中的任一组手势骨架数据)对应的处理后全局属性
Figure BDA00024673575500002015
Figure BDA00024673575500002016
为第t组手势骨架数据对应的初始全局属性，
Figure BDA00024673575500002017
为输出层的权重矩阵。
以包括14种手势类型的手势骨架数据集和包括28种手势类型的手势骨架数据集为例，将该手势骨架数据集中的每组手势骨架数据分别输入至本实施例的图网络以及现有的神经网络，分别进行手势识别，并计算本实施例的图网络的手势识别准确率以及现有的神经网络的手势识别准确率进行对比。表1是本实施例的图网络的手势识别准确率与现有的神经网络的手势识别准确率的对比表。其中Parallel GNN为本实施例的图网络，由表1可知，本实施例的图网络的手势识别准确率超过了现有的神经网络。
表1
Figure BDA0002467357550000211
如图5a所示是在包括14种手势类型的手势骨架数据集上手势分类的混淆矩阵示例图，由图5a可知，在14种手势类型中，顺时针旋转、逆时针旋转、向右滑动、摇动等9种手势类型的识别准确率达到了100％，敲击、张开和向下滑动等3种手势类型的识别准确率达到了90％，证明了本实施例的图网络对于识别常见手势类型的有效性。图5b是在包括28种手势类型的手势骨架数据集上手势分类的混淆矩阵示例图，由图5b可知，在28种手势类型中，本实施例的图网络依然有18种手势类型的识别准确率达到了100％，5种手势类型的识别准确率达到80％，证明了在手势类型之间相似性进一步提高的情况下，本实施例的图网络仍可较为准确地进行手势识别。其中，图5b中28种手势类型是对图5a中14种手势类型的进一步细化，是按照手势的执行方式将图5a中每种手势类型细化为两种手势类型，通过在手势类型之后添加后缀1和2区分不同的执行方式，后缀1表示执行方式为使用一根手指完成手势，后缀2表示执行方式为使用整只手完成手势。如图5b中的抓取1表示使用一根手指完成的抓取手势，抓取2表示使用整只手完成的抓取手势。
本申请实施例通过使用图网络对目标手势进行手势识别，能够将目标手势对应的手势骨架数据的节点属性和边属性融合到手势骨架数据的全局属性中，获得能够反映手势运动特性的目标全局属性，根据该目标全局属性即可识别出目标手势对应的手势类型，相比于现有的神经网络，提高了手势识别的准确率。
参见图6，是本申请实施例三提供的手势识别装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。
所述手势识别装置包括：
骨架数据获取模块61，用于获取目标手势对应的手势骨架数据；
属性数据确定模块62，用于根据所述手势骨架数据，确定所述目标手势对应的手部属性数据，其中，所述手部属性数据用于反映所述目标手势的关节点特性和骨头特性；
初始属性确定模块63，用于根据所述手部属性数据，确定所述目标手势对应的初始全局属性，其中，所述初始全局属性用于反映所述目标手势的手势特性；
手势类型确定模块64，用于根据所述初始全局属性，确定所述目标手势对应的手势类型。
可选的，所述手势骨架数据包括至少两个节点的位置信息，所述至少两个节点均为手势骨架数据对应的手势骨架的关节点，所述属性数据确定模块62包括：
节点属性获取单元，用于根据所述手势骨架数据中每个节点的位置信息，获取所述手势骨架数据中每个节点的第一属性；
边属性获取单元，用于根据所述手势骨架数据中每对目标节点的位置信息，获取所述手势骨架数据中每条边的第一属性，其中，所述每对目标节点是指满足预设条件的两个相邻节点，所述两个相邻节点之间通过一条边进行连接；
全局属性获取单元，用于获取所述手势骨架数据的第一全局属性；
属性数据确定单元，用于确定所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性为所述目标手势对应的手部属性数据。
可选的，所述目标手势对应N组手势骨架数据，N为大于1的整数，所述 N组手势骨架数据的排列顺序是根据所述目标手势的运动顺序确定的，所述N 组手势骨架数据包括首组手势骨架数据和N-1组非首组手势骨架数据；
对于所述首组手势骨架数据，所述节点属性获取单元包括：
确定子单元，用于确定所述首组手势骨架数据中每个节点的位置信息和预设运动速度为该节点的第一属性；
对于所述N-1组非首组手势骨架数据，所述节点属性获取单元包括：
获取子单元，用于根据所述N-1组非首组手势骨架数据各自包含的每个节点的位置信息，获取所述N-1组非组手势骨架数据各自包含的每个节点的第一属性；
其中，第j组非首组手势骨架数据为所述N-1组非首组手势骨架数据中的任一组，j为小于或等于N-1的正整数，所述第j组非首组手势骨架数据中每个节点的第一属性的确定方式为：
根据所述第j组非首组手势骨架数据中每个节点的位置信息和该节点在j-1 组非首组手势骨架数据中的位置信息，获取所述第j组非首组手势骨架数据中每个节点的运动速度；
确定所述第j组非首组手势骨架数据中每个节点的位置信息和该节点的运动速度为该节点的第一属性。
可选的，所述边属性获取单元具体用于：
根据所述手势骨架数据中每对目标节点的位置信息，获取所述手势骨架数据中每条边的长度和该边的转动角度；
确定所述手势骨架数据中每条边的长度和该边的转动角度为该边的第一属性。
可选的，所述初始属性确定模块63具体用于：
将所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性输入至已训练的图网络进行处理，所述图网络输出所述目标手势对应的初始全局属性。
可选的，所述图网络包括第一图网络块、第二图网络块和第三图网络块，所述初始属性确定模块63包括：
第一更新单元，用于将所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性输入至所述第一图网络块，所述第一图网络块分别对所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性进行更新，输出所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性；
第二更新单元，用于将所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性输入至所述第二图网络块，所述第二图网络块对所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性进行更新和聚合，输出所述手势骨架数据的第三全局属性；
第三更新单元，用于将所述手势骨架数据的第三全局属性输入至所述第三图网络块，所述第三图网络块对所述第三全局属性进行更新，输出所述目标手势对应的初始全局属性。
可选的，所述第一图网络块包括第一属性更新层、第一节点更新层和第一边更新层，所述第一属性更新层、所述第一节点更新层和所述第一边更新层为全连接层或者卷积层，所述第一更新单元具体用于：
将所述手势骨架数据的第一全局属性输入至所述第一属性更新层，对所述手势骨架数据的第一全局属性进行更新，输出所述手势骨架数据的第二全局属性；
将所述手势骨架数据的每个节点的第一属性输入至所述第一节点更新层，对所述手势骨架数据的每个节点的第一属性进行更新，输出所述手势骨架数据的每个节点的第二属性；
将所述手势骨架数据的每条边的第一属性输入至所述第一边更新层，对所述手势骨架数据的每条边的第一属性进行更新，输出所述手势骨架数据的每条边的第二属性。
可选的，所述第二图网络块包括第二属性更新层、第二节点更新层、第二边更新层、第一聚合层、第二聚合层和第三聚合层，所述第二属性更新层、所述第二节点更新层和所述第二边更新层为全连接层或者卷积层，所述第二更新单元具体用于：
将所述手势骨架数据中每条边的第二属性、每条边对应的每对目标节点的第二属性、所述手势骨架数据的第二全局属性输入至所述第二边更新层，所述第二边更新层对所述手势骨架数据中每条边的第二属性进行更新，输出所述手势骨架数据中每条边的第三属性；
将所述手势骨架数据中每个节点所属边的第三属性输入至所述第一聚合层，所述第一聚合层对所述手势骨架数据中每个节点所属边的第三属性进行聚合，输出所述手势骨架数据中每个节点所属边对应的节点属性；
将所述手势骨架数据中每个节点的第二属性、每个节点所属边对应的节点属性和所述手势骨架数据的第二全局属性输入至所述第二节点更新层，所述第二节点更新层对所述手势骨架数据中每个节点的第二属性进行更新，输出所述手势骨架数据中每个节点的第三属性；
将所述手势骨架数据中所有节点的第三属性输入至所述第二聚合层，所述第二聚合层对所述手势骨架数据中所有节点的第三属性进行聚合，输出所述手势骨架数据中所有节点对应的全局属性；
将所述手势骨架数据中所有边的第三属性输入至所述第三聚合层，所述第三聚合层对所述手势骨架数据中所有边的第三属性进行聚合，输出所述手势骨架数据中所有边对应的全局属性；
将所述手势骨架数据的第二全局属性、所有节点对应的全局属性和所有边对应的全局属性输入至所述第二属性更新层，所述第二属性更新层对所述手势骨架数据的第二全局属性进行更新，输出所述手势骨架数据的第三全局属性。
可选的，所述第三图网络块包括第三属性更新层，所述第三属性更新层为全连接层或者卷积层，所述第三更新单元具体用于：
将所述手势骨架数据的第三全局属性输入至所述第三属性更新层，所述第三属性更新层对所述第三全局属性进行更新，输出所述目标手势对应的初始全局属性。
可选的，所述手势识别装置还包括：
图像获取模块，用于在获取目标手势对应的手势骨架数据之前，获取一帧手势图像或者连续N帧手势图像，其中，N为大于1的整数；
相应的，所述骨架数据获取模块61具体用于：
根据所述一帧手势图像或者所述连续N帧手势图像，获取所述目标手势对应的手势骨架数据。
可选的，在所述初始全局属性的数量为一个时，所述手势类型确定模块64 具体用于：
将所述初始全局属性输入至已训练的分类模型，通过所述分类模型识别出所述目标手势对应的手势类型；
在所述初始全局属性的数量为至少两个时，所述手势类型确定模块64包括：
第一确定单元，用于根据至少两个所述初始全局属性，确定目标全局属性，其中，所述目标全局属性用于反映所述目标手势的运动特性；
第二确定单元，用于根据所述目标全局属性，确定所述目标手势对应的手势类型。
可选的，所述第二确定单元具体用于：
将所述目标全局属性输入至所述分类模型，通过所述分类模型识别出所述目标手势对应的手势类型。
本申请实施例提供的手势识别装置可以应用在前述方法实施例一和实施例二中，详情参见上述方法实施例一和实施例二的描述，在此不再赘述。
图7是本申请实施例四提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各个手势识别方法实施例中的步骤。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述存储器71可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (14)

1.一种手势识别方法，其特征在于，所述手势识别方法包括：
获取目标手势对应的手势骨架数据；
根据所述手势骨架数据，确定所述目标手势对应的手部属性数据，其中，所述手部属性数据用于反映所述目标手势的关节点特性和骨头特性；
根据所述手部属性数据，确定所述目标手势对应的初始全局属性，其中，所述初始全局属性用于反映所述目标手势的手势特性；
根据所述初始全局属性，确定所述目标手势对应的手势类型。
2.如权利要求1所述的手势识别方法，其特征在于，所述手势骨架数据包括至少两个节点的位置信息，所述至少两个节点均为手势骨架数据对应的手势骨架的关节点，所述根据所述手势骨架数据，确定所述目标手势对应的手部属性数据包括：
根据所述手势骨架数据中每个节点的位置信息，获取所述手势骨架数据中每个节点的第一属性；
根据所述手势骨架数据中每对目标节点的位置信息，获取所述手势骨架数据中每条边的第一属性，其中，所述每对目标节点是指满足预设条件的两个相邻节点，所述两个相邻节点之间通过一条边进行连接；
获取所述手势骨架数据的第一全局属性；
确定所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性为所述目标手势对应的手部属性数据。
3.如权利要求2所述的手势识别方法，其特征在于，所述目标手势对应N组手势骨架数据，N为大于1的整数，所述N组手势骨架数据的排列顺序是根据所述目标手势的运动顺序确定的，所述N组手势骨架数据包括首组手势骨架数据和N-1组非首组手势骨架数据；
对于所述首组手势骨架数据，所述根据所述手势骨架数据中每个节点的位置信息，获取所述手势骨架数据中每个节点的第一属性包括：
确定所述首组手势骨架数据中每个节点的位置信息和预设运动速度为该节点的第一属性；
对于所述N-1组非首组手势骨架数据，所述根据所述手势骨架数据中每个节点的位置信息，获取所述手势骨架数据中每个节点的第一属性包括：
根据所述N-1组非首组手势骨架数据各自包含的每个节点的位置信息，获取所述N-1组非组手势骨架数据各自包含的每个节点的第一属性；
其中，第j组非首组手势骨架数据为所述N-1组非首组手势骨架数据中的任一组，j为小于或等于N-1的正整数，所述第j组非首组手势骨架数据中每个节点的第一属性的确定方式为：
根据所述第j组非首组手势骨架数据中每个节点的位置信息和该节点在j-1组非首组手势骨架数据中的位置信息，获取所述第j组非首组手势骨架数据中每个节点的运动速度；
确定所述第j组非首组手势骨架数据中每个节点的位置信息和该节点的运动速度为该节点的第一属性。
4.如权利要求2所述的手势识别方法，其特征在于，所述根据所述手势骨架数据中每对目标节点的位置信息，获取所述手势骨架数据中每条边的第一属性包括：
根据所述手势骨架数据中每对目标节点的位置信息，获取所述手势骨架数据中每条边的长度和该边的转动角度；
确定所述手势骨架数据中每条边的长度和该边的转动角度为该边的第一属性。
5.如权利要求2所述的手势识别方法，其特征在于，所述根据所述手部属性数据，确定所述目标手势对应的初始全局属性包括：
将所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性输入至已训练的图网络进行处理，所述图网络输出所述目标手势对应的初始全局属性。
6.如权利要求5所述的手势识别方法，其特征在于，所述图网络包括第一图网络块、第二图网络块和第三图网络块，所述将所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性输入至已训练的图网络进行处理，所述图网络输出所述目标手势对应的初始全局属性包括：
将所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性输入至所述第一图网络块，所述第一图网络块分别对所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性进行更新，输出所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性；
将所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性输入至所述第二图网络块，所述第二图网络块对所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性进行更新和聚合，输出所述手势骨架数据的第三全局属性；
将所述手势骨架数据的第三全局属性输入至所述第三图网络块，所述第三图网络块对所述第三全局属性进行更新，输出所述目标手势对应的初始全局属性。
7.如权利要求6所述的手势识别方法，其特征在于，所述第一图网络块包括第一属性更新层、第一节点更新层和第一边更新层，所述第一属性更新层、所述第一节点更新层和所述第一边更新层为全连接层或者卷积层，将所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性输入至所述第一图网络块，所述第一图网络块分别对所述手势骨架数据的第一全局属性、每个节点的第一属性和每条边的第一属性进行更新，输出所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性包括：
将所述手势骨架数据的第一全局属性输入至所述第一属性更新层，对所述手势骨架数据的第一全局属性进行更新，输出所述手势骨架数据的第二全局属性；
将所述手势骨架数据的每个节点的第一属性输入至所述第一节点更新层，对所述手势骨架数据的每个节点的第一属性进行更新，输出所述手势骨架数据的每个节点的第二属性；
将所述手势骨架数据的每条边的第一属性输入至所述第一边更新层，对所述手势骨架数据的每条边的第一属性进行更新，输出所述手势骨架数据的每条边的第二属性。
8.如权利要求6所述的手势识别方法，其特征在于，所述第二图网络块包括第二属性更新层、第二节点更新层、第二边更新层、第一聚合层、第二聚合层和第三聚合层，所述第二属性更新层、所述第二节点更新层和所述第二边更新层为全连接层或者卷积层，所述将所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性输入至所述第二图网络块，所述第二图网络块对所述手势骨架数据的第二全局属性、每个节点的第二属性和每条边的第二属性进行更新和聚合，输出所述手势骨架数据的第三全局属性包括：
将所述手势骨架数据中每条边的第二属性、每条边对应的每对目标节点的第二属性、所述手势骨架数据的第二全局属性输入至所述第二边更新层，所述第二边更新层对所述手势骨架数据中每条边的第二属性进行更新，输出所述手势骨架数据中每条边的第三属性；
将所述手势骨架数据中每个节点所属边的第三属性输入至所述第一聚合层，所述第一聚合层对所述手势骨架数据中每个节点所属边的第三属性进行聚合，输出所述手势骨架数据中每个节点所属边对应的节点属性；
将所述手势骨架数据中每个节点的第二属性、每个节点所属边对应的节点属性和所述手势骨架数据的第二全局属性输入至所述第二节点更新层，所述第二节点更新层对所述手势骨架数据中每个节点的第二属性进行更新，输出所述手势骨架数据中每个节点的第三属性；
将所述手势骨架数据中所有节点的第三属性输入至所述第二聚合层，所述第二聚合层对所述手势骨架数据中所有节点的第三属性进行聚合，输出所述手势骨架数据中所有节点对应的全局属性；
将所述手势骨架数据中所有边的第三属性输入至所述第三聚合层，所述第三聚合层对所述手势骨架数据中所有边的第三属性进行聚合，输出所述手势骨架数据中所有边对应的全局属性；
将所述手势骨架数据的第二全局属性、所有节点对应的全局属性和所有边对应的全局属性输入至所述第二属性更新层，所述第二属性更新层对所述手势骨架数据的第二全局属性进行更新，输出所述手势骨架数据的第三全局属性。
9.如权利要求6所述的手势识别方法，其特征在于，所述第三图网络块包括第三属性更新层，所述第三属性更新层为全连接层或者卷积层，所述将所述手势骨架数据的第三全局属性输入至所述第三图网络块，所述第三图网络块对所述第三全局属性进行更新，输出所述手势骨架数据的初始全局属性包括：
将所述手势骨架数据的第三全局属性输入至所述第三属性更新层，所述第三属性更新层对所述第三全局属性进行更新，输出所述目标手势对应的初始全局属性。
10.如权利要求1所述的手势识别方法，其特征在于，在获取目标手势对应的手势骨架数据之前，还包括：
获取一帧手势图像或者连续N帧手势图像，其中，N为大于1的整数；
相应的，所述获取目标手势对应的手势骨架数据包括：
根据所述一帧手势图像或者所述连续N帧手势图像，获取所述目标手势对应的手势骨架数据。
11.如权利要求1至10任一项所述的手势识别方法，其特征在于，在所述初始全局属性的数量为一个时，所述根据所述初始全局属性，确定所述目标手势对应的手势类型包括：
将所述初始全局属性输入至已训练的分类模型，通过所述分类模型识别出所述目标手势对应的手势类型；
在所述初始全局属性的数量为至少两个时，所述根据所述初始全局属性，确定所述目标手势对应的手势类型包括：
根据至少两个所述初始全局属性，确定目标全局属性，其中，所述目标全局属性用于反映所述目标手势的运动特性；
根据所述目标全局属性，确定所述目标手势对应的手势类型。
12.如权利要求11所述的手势识别方法，其特征在于，所述根据所述目标全局属性，确定所述目标手势对应的手势类型包括：
将所述目标全局属性输入至所述分类模型，通过所述分类模型识别出所述目标手势对应的手势类型。
13.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至12任一项所述手势识别方法的步骤。
14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述手势识别方法的步骤。
CN202010337876.0A 2020-04-26 2020-04-26 手势识别方法、终端设备及计算机可读存储介质 Active CN113553884B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010337876.0A CN113553884B (zh) 2020-04-26 2020-04-26 手势识别方法、终端设备及计算机可读存储介质
PCT/CN2020/130575 WO2021218126A1 (zh) 2020-04-26 2020-11-20 手势识别方法、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010337876.0A CN113553884B (zh) 2020-04-26 2020-04-26 手势识别方法、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113553884A true CN113553884A (zh) 2021-10-26
CN113553884B CN113553884B (zh) 2023-04-18

Family

ID=78129797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010337876.0A Active CN113553884B (zh) 2020-04-26 2020-04-26 手势识别方法、终端设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113553884B (zh)
WO (1) WO2021218126A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI798038B (zh) * 2022-03-30 2023-04-01 國立勤益科技大學 具有手部姿勢操控之人機介面裝置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142055A (zh) * 2011-04-07 2011-08-03 上海大学 基于增强现实交互技术的真三维设计方法
CN106125925A (zh) * 2016-06-20 2016-11-16 华南理工大学 基于手势和语音控制的智能抓捕方法
CN106326881A (zh) * 2016-09-21 2017-01-11 济南超感智能科技有限公司 用于实现人机交互的手势识别方法和手势识别设备
KR20170024636A (ko) * 2015-08-25 2017-03-08 (의료)길의료재단 동작인식을 이용한 운동 보조 시스템
CN108549490A (zh) * 2018-05-03 2018-09-18 林潼 一种基于Leap Motion设备的手势识别互动方法
CN108664877A (zh) * 2018-03-09 2018-10-16 北京理工大学 一种基于三维深度数据的动态手势识别方法
CN109753876A (zh) * 2018-12-03 2019-05-14 西北工业大学 一种三维手势的提取识别和三维手势交互系统的构建方法
US10296102B1 (en) * 2018-01-31 2019-05-21 Piccolo Labs Inc. Gesture and motion recognition using skeleton tracking
CN109993073A (zh) * 2019-03-14 2019-07-09 北京工业大学 一种基于Leap Motion的复杂动态手势识别方法
CN110163045A (zh) * 2018-06-07 2019-08-23 腾讯科技（深圳）有限公司 一种手势动作的识别方法、装置以及设备
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328211B2 (en) * 2018-07-06 2022-05-10 Facebook Technologies, Llc Delimitation in unsupervised classification of gestures
CN109634415B (zh) * 2018-12-11 2019-10-18 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN109902583B (zh) * 2019-01-28 2020-04-24 电子科技大学 一种基于双向独立循环神经网络的骨架手势识别方法
CN110390305A (zh) * 2019-07-25 2019-10-29 广东工业大学 基于图卷积神经网络的手势识别的方法及装置
CN110895683B (zh) * 2019-10-15 2023-03-28 西安理工大学 一种基于Kinect的单视点手势姿势识别方法
CN110991319B (zh) * 2019-11-29 2021-10-19 广州市百果园信息技术有限公司 手部关键点检测方法、手势识别方法及相关装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142055A (zh) * 2011-04-07 2011-08-03 上海大学 基于增强现实交互技术的真三维设计方法
KR20170024636A (ko) * 2015-08-25 2017-03-08 (의료)길의료재단 동작인식을 이용한 운동 보조 시스템
CN106125925A (zh) * 2016-06-20 2016-11-16 华南理工大学 基于手势和语音控制的智能抓捕方法
CN106326881A (zh) * 2016-09-21 2017-01-11 济南超感智能科技有限公司 用于实现人机交互的手势识别方法和手势识别设备
US10296102B1 (en) * 2018-01-31 2019-05-21 Piccolo Labs Inc. Gesture and motion recognition using skeleton tracking
CN108664877A (zh) * 2018-03-09 2018-10-16 北京理工大学 一种基于三维深度数据的动态手势识别方法
CN108549490A (zh) * 2018-05-03 2018-09-18 林潼 一种基于Leap Motion设备的手势识别互动方法
CN110163045A (zh) * 2018-06-07 2019-08-23 腾讯科技（深圳）有限公司 一种手势动作的识别方法、装置以及设备
CN109753876A (zh) * 2018-12-03 2019-05-14 西北工业大学 一种三维手势的提取识别和三维手势交互系统的构建方法
CN109993073A (zh) * 2019-03-14 2019-07-09 北京工业大学 一种基于Leap Motion的复杂动态手势识别方法
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHU ZHAO 等: "Wireless Photoplethysmograph Knuckle Sensor System for Measuring Finger Motions", 《2014 INTERNATIONAL SYMPOSIUM ON OPTOMECHATRONIC TECHNOLOGIES》 *
吕蕾 等: "一种基于数据手套的静态手势识别方法", 《计算机辅助设计与图形学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI798038B (zh) * 2022-03-30 2023-04-01 國立勤益科技大學 具有手部姿勢操控之人機介面裝置

Also Published As

Publication number Publication date
CN113553884B (zh) 2023-04-18
WO2021218126A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
CN110020620B (zh) 一种大姿态下的人脸识别方法、装置及设备
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN112613581B (zh) 一种图像识别方法、系统、计算机设备和存储介质
CN108228844B (zh) 一种图片筛选方法及装置、存储介质、计算机设备
US20220414439A1 (en) Neuromorphic Synthesizer
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
JP7013489B2 (ja) 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム
Zhao et al. Joint face alignment and segmentation via deep multi-task learning
CN112990318B (zh) 持续学习方法、装置、终端及存储介质
WO2017116879A1 (en) Recognition of hand poses by classification using discrete values
CN110738070A (zh) 基于视频的行为识别方法、行为识别装置及终端设备
CN111126249A (zh) 一种大数据和贝叶斯相结合的行人重识别方法及装置
CN107944381A (zh) 人脸跟踪方法、装置、终端及存储介质
CN115223239B (zh) 一种手势识别方法、系统、计算机设备以及可读存储介质
Jiang et al. independent hand gesture recognition with Kinect
Barbhuiya et al. Alexnet-cnn based feature extraction and classification of multiclass asl hand gestures
CN113553884B (zh) 手势识别方法、终端设备及计算机可读存储介质
Lahiani et al. Real Time Static Hand Gesture Recognition System for Mobile Devices.
CN115066687A (zh) 放射性数据生成
CN111104911A (zh) 一种基于大数据训练的行人重识别方法及装置
Huang et al. Learning rebalanced human parsing model from imbalanced datasets
Lin et al. Robot grasping based on object shape approximation and LightGBM
CN112507954B (zh) 一种人体关键点识别方法、装置、终端设备及存储介质
CN112686300B (zh) 一种数据处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant