CN114648807A - 手势动作识别方法、装置、终端设备及存储介质 - Google Patents
手势动作识别方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114648807A CN114648807A CN202011480620.1A CN202011480620A CN114648807A CN 114648807 A CN114648807 A CN 114648807A CN 202011480620 A CN202011480620 A CN 202011480620A CN 114648807 A CN114648807 A CN 114648807A
- Authority
- CN
- China
- Prior art keywords
- gesture
- motion
- track
- section
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 39
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 15
- 238000013519 translation Methods 0.000 claims abstract description 13
- 230000001133 acceleration Effects 0.000 claims description 39
- 230000003068 static effect Effects 0.000 claims description 21
- 238000011084 recovery Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 10
- 238000012706 support-vector machine Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 208000003443 Unconsciousness Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241000203475 Neopanax arboreus Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像识别领域，具体涉及一种手势动作识别方法、装置、终端设备及计算机可读存储介质，所述方法包括：获取至少两个手势图像；确定第一骨骼点在所述至少两个手势图像中的第一位置；根据所述第一位置获取所述第一骨骼点的曲线运动轨迹；根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段；根据所述有效轨迹段进行语义翻译得到手势动作识别结果；本申请能够实现了手势动作中的有效动作与无效动作的区分，提高手势动作的识别效率与正确率。
Description
技术领域
本申请涉及图像识别领域，具体涉及一种手势动作识别方法和装置，以及一种终端设备及计算机可读存储介质。
背景技术
基于视觉的手势识包含手势分割、手势形状特征提取、手势识别三个过程，手势识别中涉及静态手势语义和动态手势语义，静态手势语义通过手指的舒、伸直及蜷缩的组合与其指尖的相对位置来做判定；而动态手势可以视作多个静态手势的组合，动态手势的识别不仅需要有效地识别多个静态手势的语义，还需要识别多个静态手势组合得到的语义。
目前，对于动态手势的识别，需要完整地录入从手势开始到手势结束地全部过程，再对全部过程的手势进行识别，而动态手势不同于静态手势，动态手势的整个过程存在非必要识别的阶段，目前无法有效地区分动态手势的过程中的必要识别阶段和非必要识别阶段，无法高效、准确地进行动态手势的识别。
发明内容
为克服以上技术问题，特别是现有技术无法准确区分有效动作与无效动作的问题，特提出以下技术方案：
第一方面，本申请提供了一种手势动作识别方法，包括以下步骤：
获取至少两个手势图像；
确定第一骨骼点在所述至少两个手势图像中的第一位置；
根据所述第一位置获取所述第一骨骼点的曲线运动轨迹；
根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段；
根据所述有效轨迹段进行语义翻译得到手势动作识别结果。
在一个实施例中，其特征在于，在获取至少两个手势图像之前，还包括：
获取终端设备前方区域的至少两个图像；
分别从所述图像中识别至少两个骨骼点，并获取所述至少两个骨骼点在对应图像中的位置信息；
根据所述位置信息确定所述图像对应的手势类型；
在所述至少两个图像为相同的手势类型时，确定所述至少两个图像为所述手势图像。
在一个实施例中，根据所述有效轨迹段进行语义翻译得到手势动作识别结果，包括：
对所述有效轨迹段进行动态手势语义识别，确定所述有效轨迹段对应的动态轨迹类型；
对所述手势图像的骨骼点进行静态手势语义识别，确定所述手势图像对应的静态手势类型；
根据所述动态轨迹类型和静态手势类型获取手势动作识别结果。
在一个实施例中，所述根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段包括：
计算曲线运动轨迹上的运动点的运动状态参数；
对所述运动点的运动状态参数进行阈值判断，将满足所述阈值条件的运动点对应的轨迹分段确定为有效轨迹段。
在一个实施例中，所述运动状态参数包括曲线运动轨迹的运动点的速度、加速度，以及曲线运动轨迹在该运动点处的曲率半径。
在一个实施例中，将满足所述参数阈值条件的运动点对应的轨迹分段确定为有效轨迹段，包括：
对所述曲线运动轨迹的运动点的曲率半径进行阈值判断，确定所述曲线运动轨迹的转折段；
对所述曲线运动轨迹的运动点的速度、加速度进行阈值判断，确定起始段和加速段；
根据所述转折段、起始段和加速段确定所述曲线运动轨迹的有效轨迹段。
在一个实施例中，确定所述曲线运动轨迹中的有效轨迹段之后，还包括：
将所述有效轨迹段输入至SVM轨迹模型；其中，所述SVM轨迹模型为预先训练的轨迹段识别模型；
利用所述SVM轨迹模型识别所述有效轨迹段的起始段、加速段、转折段和/或回收段。
第二方面，本申请提供一种手势动作识别装置，包括：
手势图像获取模块，用于获取至少两个手势图像；
骨骼点位置识别模块，用于确定第一骨骼点在所述至少两个手势图像中的第一位置；
曲线轨迹获取模块，用于根据所述第一位置获取所述第一骨骼点的曲线运动轨迹；
有效轨迹确定模块，用于根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段；
手势动作识别模块，用于根据所述有效轨迹段进行语义翻译得到手势动作识别结果。
第三方面，本申请提供一种终端设备，包括：
一个或多个处理器；
存储器；
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行上述的手势动作识别方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的手势动作识别方法。
本申请与现有技术相比，具有以下有益效果：
本申请的技术方案，通过确定第一骨骼点在手势图像中的位置来获得曲线运动轨迹，然后根据曲线运动轨迹上的运动状态参数，确定曲线运动轨迹中的有效轨迹段，进而根据有效轨迹段进行语义翻译得到手势动作识别结果。该技术方案，可以识别出曲线运动轨迹中的有效轨迹段，去除了无效轨迹段的影响，利用有效轨迹段来识别的动态手势动作的语义，提高了手势动作识别的准确率，区分动态手势动作中的有意识动作与无意识动作，便于准确地判定动态手势动作的交互意图；而且仅仅识别有效轨迹段内的手势动作，还能减少图像识别的运算，也提高手势动作识别的数据处理效率。
进一步的，通过计算曲线运动轨迹上的运动点的速度、加速度以及曲率半径等运动状态参数，对这些运动状态参数进行阈值判断，识别曲线运动轨迹的起始段、加速段、转折段和回收段，或者新手势轨迹的起始点等，从而有效识别用户有意识动作与无意识动作。
更进一步的，本申请的方案还将有效轨迹段输入至预先训练的SVM轨迹模型，利用SVM轨迹模型识别有效轨迹段的起始段、加速段、转折段和/或回收段；上述方案二次验证有效轨迹段的正确性，从而提高曲线运动轨迹分段的正确率。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一实施例的手势动作识别方法的流程图；
图2为一实施例的手势骨骼点的示意图；
图3是一个实施例的手势动作示意图；
图4是曲线运动轨迹的示意图；
图5是各个分段对应曲率半径示意图；
图6是一种手势轨迹策略流程图；
图7是各个轨迹段的形状示意图；
图8是基于SVM的手势轨迹策略规则的流程图；
图9是一个实施例的手势动作识别装置结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本申请实施例提供一种手势动作识别方法，如图1所示，图1为本申请一实施例的手势动作识别方法的流程图，包括以下步骤：
S10：获取至少两个手势图像。
对于手势图像，可以是指手势动作的若干种图像可以在一时间段内的多张静态手势动作图像的结合，动态手势动作可以是在一段时间内在空间中运动的手部形成的动作，当需要识别动态手势动作时，需要获取动态手势动作在一时间段内的若干手势张图像。
本实施例中，可以通过拍摄多帧的手势动作的图像，该多帧手势动作的图像根据时间顺序组成动态手势动作图像，通过获取组合后的图像从而获取动态手势动作的若干张图像。另外，也可以通过获取拍摄一段动态手势动作的视频，从该段动态手势动作的视频即可获取不同时间点的每一张手势动作的图像，从而获取动态手势动作的若干张图像。
在一个实施例中，在步骤S10的获取至少两个手势图像之前，还可以包括如下步骤：
(1)获取终端设备前方区域的至少两个图像；
(2)分别从所述图像中识别至少两个骨骼点，并获取所述至少两个骨骼点在对应图像中的位置信息；
(3)根据所述位置信息确定所述图像对应的手势类型；
(4)在所述至少两个图像为相同的手势类型时，确定所述至少两个图像为所述手势图像。
参考图2所示，图2为一实施例的手势骨骼点的示意图，手势骨骼点是用来识别、标记手掌的标记点，通过对手部轮廓的研究，筛选确定出图像中具有代表性意义的手势骨骼点，可以记录动态手势动作包含的每一张图像中的手势骨骼点的坐标。
具体的，在终端设备前方区域获取到至少两个图像，识别图像中包含的手势骨骼点，通过图像识别技术识别动态手势动作的若干张图像，将动态手势动作的若干张图像进行RGB通道转换，然后确定图像中包含的手势骨骼点。
例如，确定的手势骨骼点包括在每根手指的指尖选取1个手势骨骼点、在每根手指的中间选取2个手势骨骼点、在每根手指的底端与手掌的连接处选取2个手势骨骼点，如图2所示，从图像中确定手掌包含的21个手势骨骼点，可对每个手势骨骼点进行标记。如图3所示，图3是一个实施例的手势动作示意图，通过骨骼点可以识别出所拍摄图像中手势图像。
S20：确定第一骨骼点在所述至少两个手势图像中的第一位置。
通过骨骼点来识别手势图像后，通过确定第一骨骼点在各个手势图像中的第一位置，从而可以确定手势运动轨迹，对于第一骨骼点，可以是至少两个骨骼点中的任一个或根据至少两个骨骼点计算得到的骨骼点；如图2中，可以选取任一个骨骼点，也可以根据多个骨骼点来计算得到的骨骼点。
S30：根据所述第一位置获取所述第一骨骼点的曲线运动轨迹。
此步骤中，可以提取各个手势图像中第一骨骼点的第一位置所对应的坐标，根据所述坐标生成动态手势动作的运动轨迹。
例如，可以提取各所述图像中若干个手势骨骼点的坐标，将至少一个所述手势骨骼点坐标与对应图像的时间戳关联存储，生成运动轨迹上的运动点的坐标，根据所述运动点的坐标生成动态手势动作的曲线运动轨迹。另外，也可以提取各所述图像中若干个手势骨骼点的坐标，根据所述若干个手势骨骼点的坐标确定手势骨骼点的中心坐标，将所述手势骨骼点的中心坐标与对应图像的时间戳关联存储，生成运动轨迹上的运动点的坐标，根据所述运动点的坐标生成动态手势动作的曲线运动轨迹。
具体的，将每个手势骨骼点以坐标值(x，y)在图像中进行标记，首先确定一个坐标原点，由于不同手势图像中的同一个手势骨骼点与坐标原点的相对位置不同，再获取每张手势图像中的手势骨骼点相对于原点的坐标值，从而提取各手势图像中的手势骨骼点的坐标，根据所述坐标的变化便可记录手势骨骼点在空间中的移动轨迹，从而根据所述坐标生成动态手势动作的曲线运动轨迹。
在一个实施例中，手势图像包含了若干张图像，且每张图像中的手势动作包含了多个手势骨骼点的坐标，为了减少运动轨迹中坐标点的数量，提高生成运动轨迹的效率，可以采用如下方案获取曲线运动轨迹：
具体的，在提取了各图像中若干个手势骨骼点的坐标后，选择每张手势图像中的至少一个所述手势骨骼点坐标，并且在每张手势图像中所选取的手势骨骼点是对应的，例如在手势图像P1中选择手势骨骼点坐标A1，B1；在手势图像P2中选择手势骨骼点坐标A2，B2；在手势图像P3中选择手势骨骼点坐标A3，B3；然后将将至少一个所述手势骨骼点坐标与对应图像的时间戳关联存储，生成所述运动轨迹上的运动点的坐标，再根据所述运动点的坐标生成动态手势动作的曲线运动轨迹。
上述技术方案，通过选取至少一个手势骨骼点坐标表征手势坐标，减少运算量，提高动态手势动作的曲线运动轨迹的生成效率。
S40：根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段。
在实际应用，如图4所示，图4是曲线运动轨迹的示意图，动态手势动作的曲线运动轨迹中包含了有效轨迹段与无效轨迹段，为了准确识别动态手势动作的有效动作，避免无效轨迹段影响手势动作识别，上述步骤，根据运动状态参数从曲线运动轨迹上将运动轨迹划分为有效轨迹段和无效轨迹段，从而确定曲线运动轨迹中的有效轨迹段。
在一个实施例中，对于上述步骤S40的根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段的方案，具体可以包括如下：
计算曲线运动轨迹上的运动点的运动状态参数；对所述运动点的运动状态参数进行阈值判断，将满足阈值条件的运动点对应的轨迹分段确定为有效轨迹段。其中，运动状态参数可以包括曲线运动轨迹的运动点的速度、加速度，以及曲线运动轨迹在该运动点处的曲率半径。
继续参考图4，图4中所示的有效轨迹段包括了起始段和加速段，在有效轨迹段和无效轨迹段之间是通过转折段来过渡；因此，可以通过如下方法来确定有效轨迹段，具体包括：
对所述曲线运动轨迹的运动点的曲率半径进行阈值判断，确定所述曲线运动轨迹的转折段；对所述曲线运动轨迹的运动点的速度、加速度进行阈值判断，确定起始段和加速段；根据所述转折段、起始段和加速段确定所述曲线运动轨迹的有效轨迹段。
具体的，曲线运动轨迹由点坐标拟合而成，通过提取曲线运动轨迹上的运动点的坐标(x，y，t)，运动点坐标不仅包含了空间坐标，还包含了时间坐标，计算曲线运动轨迹上各运动点的速度、加速度，以及曲线运动轨迹的曲率半径；然后对曲线运动轨迹的曲率半径以及曲线运动轨迹上的运动点的速度、加速度进行阈值判断，从而可以确定相应的运动点所组成的有效轨迹段。
对于曲线运动轨迹上各运动点的速度、加速度、以及运动轨迹的曲率半径的计算方法，其中，运动点的速度计算公式为：
曲线运动点的加速度计算公式为：
曲线运动轨迹的曲率半径计算公式如下：
其中，x，y，t分别表示运动点的横轴坐标、竖轴坐标及时间轴坐标，R为曲率半径。
根据曲线运动轨迹的曲率半径以及曲线运动轨迹上的运动点的速度、加速度，如图4中，假设将用户动态手势的曲线运动轨迹分为起始段、加速段、转折段及回收段，那么在计算运动点的曲率半径之后，根据当前运动点形成的曲率半径可以判定出转折段，转折段前面的为有效轨迹(曲率半径R1大)、转折段(曲率半径R2中等)及新轨迹(曲率半径R3小)，新轨迹是下一个手势动作的轨迹；参考图5所示，图5是各个分段对应曲率半径示意图，各个分段轨迹曲率半径满足以下关系：
R1>R2>R3
在确定了转折段后，再根据运动点的速度、加速度，即可判断出用户动态手势的起始段、加速段，还有回收段。据此，根据以上设置的手势轨迹策略，可以容易的判断出用户动态手势的起始段、加速段、转折段及回收段；并能根据运动点的曲率半径判断出新手势轨迹的起始点，从而有效识别用户有意识动作(有效动作)与无意识动作(无效动作)。
例如，用户用力挥手，在起始阶段手掌运动的速度与加速度明显跟加速阶段、回收阶段与完成阶段不同，起始阶段手掌运动的速度慢而加速度大，加速阶段手掌运动的速度快而加速度小，转折段的曲率半径明显小于起始段和加速段，新轨迹段的曲率半径明显小于转折段；据此，通过运动点的曲率半径、速度和加速度的阈值判断，即可识别有效轨迹段、无效轨迹段和新轨迹段。为不同阶段的运动轨迹对应的手势动作的语义分析提供基础。
S50：根据所述有效轨迹段进行语义翻译得到手势动作识别结果。
在确定了有效轨迹段后，对有效轨迹段进行语义翻译，识别有效轨迹段的手势动作，从而确定有效轨迹段的动态手势动作，并得到最终手势动作识别结果。
在一个实施例中，对于上述识别手势动作的过程，可以如下：
S501：对所述有效轨迹段进行动态手势语义识别，确定所述有效轨迹段对应的动态轨迹类型；
S502：对所述手势图像的骨骼点进行静态手势语义识别，确定所述手势图像对应的静态手势类型；
S503：根据所述动态轨迹类型和静态手势类型获取手势动作识别结果。
具体的，可以对动态手势进行语义识别，根据动态手势动作的语义匹配表，匹配出动态手势动作的语义，确定有效轨迹段对应的动态轨迹类型，并对静态手势进行语义识别，根据手势的各个骨骼点形状，确定手势图像对应的静态手势类型；最后结合动态轨迹类型和静态手势类型得到手势动作。
例如，识别到的手势动作，对应的静态手势和动态手势动作的语义是“五指张开，向左滑动”或“五指张开，向右滑动”，从而可以输出相应的手势语义。
本实施例的技术方案，基于运动轨迹的属性信息分离出运动轨迹的有效轨迹段与无效轨迹段，从而确定曲线运动轨迹中的有效轨迹段，识别并输出有效轨迹段内的动态手势动作的语义，仅仅识别有效轨迹段内的手势动作，能够减少图像识别的运算，从而提高手势动作识别的效率，并且实现了对动态手势动作中的有意识动作(曲线运动轨迹的有效轨迹段)与无意识动作(曲线运动轨迹的无效轨迹段)的区分，准确地判定动态手势动作的交互意图，提高手势动作识别的准确率。
参考6所示，图6是一种手势轨迹策略流程图，主要包括如下：
s601，获取曲线运动轨迹；
s602，计算当前运动点的曲率半径，速度和加速度；
s603，对运动点的曲率半径，速度和加速度进行阈值判断，识别有效轨迹段、无效轨迹段和新轨迹段；
s604，识别曲线运动轨迹中的转折段；
s605，判断有效轨迹段的运动点的速度和加速度是否满足第一阈值，若是，识别为起始段，否则识别为加速段；
s606，判断无效轨迹段的运动点的速度和加速度是否满足第二阈值，若是，识别为转折段，否则识别为回收段；
s607，对曲线运动轨迹中的各个分段进行语义处理。
为了更加清晰本申请的技术方案，下面阐述更多相关实施例。
在一个实施例中，在步骤S40的确定所述曲线运动轨迹中的有效轨迹段之后，还可以包括：
将所述有效轨迹段输入至SVM轨迹模型；利用所述SVM轨迹模型识别所述有效轨迹段的起始段、加速段、转折段和/或回收段；其中，所述SVM轨迹模型为预先训练的轨迹段识别模型。
具体的，本实施例可以基于离线数据训练基于SVM(支持向量机)轨迹模型，得到基于SVM模型的手势轨迹策略规则，该模型根据短时段(0.1s～0.3s)内的手势轨迹的连续位置信息对手势轨迹进行分类，参考图7所示，图7是各个轨迹段的形状示意图，可以将手势轨迹分为起始段、加速段、转折段及回收段，还可以包括新轨迹转折段。
模型训练是通过对手势轨迹进行采样，得到手势轨迹的坐标点集合作为特征向量，利用SVM训练分类器，并采用线性核函数进行分类训练，实现多类别轨迹的分类，从而得到SVM轨迹模型。
在实际应用中，参考图8所示，图8是基于SVM的手势轨迹策略规则的流程图，具体包括：
s801，获取短时段的轨迹数据；
s802，将轨迹数据进行归一化处理；
S803，将有效轨迹段输入至SVM轨迹模型进行识别；
s804，识别起始段、加速段、转折段、回收段和新轨迹转折段；
s805，对各个分段进行语义翻译，得到手势动作。
上述技术方案，即基于运动轨迹上各个坐标的属性信息确定有效轨迹段之后，而原始的轨迹作为SVM轨迹模型的输入的计算较为困难，先对有效轨迹段的数据进行归一化，将不同轨迹映射到固定维数的特征空间中，使得特征向量将具有相同的大小，使用特征向量作为SVM轨迹模型的输入，基于SVM轨迹模型判断所述有效轨迹段的分类。上述分类过程二次验证有效轨迹段的正确性，从而确定所述有效轨迹段的判断正确，提高运动轨迹分段的正确率。
本申请的技术方案，结合了静态手势和动态手势类型进行语义翻译，可以得到手势动作交互意图，例如，“五指张开”手势、“数字1”手势、“OK”手势。对于“五指张开”手势，可以是“五指张开手势在空间中从左向右移动”，又如“从五指张开手势变化到五指闭合为拳头手势再变化到五指张开手势”，在对第一种“同一个手势动作在空间中进行移动”的动态手势动作的语义进行识别，在确定了有效轨迹段及该有效轨迹段内的手势动作后，根据所述有效轨迹段及该有效轨迹段内的手势动作确定动态手势动作的语义，例如，识别到的动态手势动作的语义是“五指张开，向左滑动”或“五指张开，向右滑动”。
进一步的，本申请的方案在确定动态手势动作的语义之后，还可以根据动态手势动作的语义结合动态手势动作的运动上下文信息确定动态手势动作的交互意图，根据交互意图生成相应的控制指令。
例如，当在“浏览页面”场景时，“五指张开向左滑动”的动态手势动作生成的控制指令为后退至上一页面，当在“浏览图片”场景时，“五指张开向左滑动”动态手势动作生成的控制指令为切换至下一图片，相同的动态手势动作结合不同的运动上下文信息，能够触发不同的控制指令，满足不同场景下的交互需求，提高不同场景下动态手势动作的交互效率。
更进一步的，本申请的方案还可以根据手势骨骼点确定手势动作，根据手势动作生成第一控制指令；然后根据第一控制指令与有效轨迹段生成第二控制指令。具体的，在识别所述图像，确定图像中包含的手势骨骼点，并提取各图像中的手势骨骼点之后，首先确定对应的手势动作，确定了用户的手势动作之后，根据手势动作生成第一控制指令，第一控制指令可以第一时间反馈用户手势动作的开始，即反馈交互的开始，并且在曲线运动轨迹的有效轨迹段上确定动态手势动作的语义之后，根据第一控制指令与有效轨迹段生成第二控制指令，从而完成完整的交互过程。
例如，识别到的手势骨骼点匹配的手势动作为“五指张开”手势，确定该手势动作的语义为“拖”语义；识别到的手势骨骼点匹配的手势动作为“五指捏合”手势，确定该手势动作的语义为“缩放”语义。
下面阐述手势动作识别装置的实施例。
如图9所示，图9是一个实施例的手势动作识别装置结构示意图，包括：
手势图像获取模块10，用于获取至少两个手势图像；
骨骼点位置识别模块20，用于确定第一骨骼点在所述至少两个手势图像中的第一位置；
曲线轨迹获取模块30，用于根据所述第一位置获取所述第一骨骼点的曲线运动轨迹；
有效轨迹确定模块40，用于根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段；
手势动作识别模块50，用于根据所述有效轨迹段进行语义翻译得到手势动作识别结果。
下面阐述终端设备的实施例。
本申请实施例提供的一种终端设备，可以实现上述提供的手势动作识别方法的实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
下面阐述本申请计算机可读存储介质的实施例。
本申请提供的计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例所述的手势动作识别方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
本申请实施例提供的计算机可读存储介质可以实现上述手势动作识别方法的实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种手势动作识别方法，其特征在于，包括以下步骤：
获取至少两个手势图像；
确定第一骨骼点在所述至少两个手势图像中的第一位置；
根据所述第一位置获取所述第一骨骼点的曲线运动轨迹；
根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段；
根据所述有效轨迹段进行语义翻译得到手势动作识别结果。
2.根据权利要求1所述的手势动作识别方法，其特征在于，在获取至少两个手势图像之前，还包括：
获取终端设备前方区域的至少两个图像；
分别从所述图像中识别至少两个骨骼点，并获取所述至少两个骨骼点在对应图像中的位置信息；
根据所述位置信息确定所述图像对应的手势类型；
在所述至少两个图像为相同的手势类型时，确定所述至少两个图像为所述手势图像。
3.根据权利要求1所述的手势动作识别方法，其特征在于，根据所述有效轨迹段进行语义翻译得到手势动作识别结果，包括：
对所述有效轨迹段进行动态手势语义识别，确定所述有效轨迹段对应的动态轨迹类型；
对所述手势图像的骨骼点进行静态手势语义识别，确定所述手势图像对应的静态手势类型；
根据所述动态轨迹类型和静态手势类型获取手势动作识别结果。
4.根据权利要求1所述的手势动作识别方法，其特征在于，所述根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段包括：
计算曲线运动轨迹上的运动点的运动状态参数；
对所述运动点的运动状态参数进行阈值判断，将满足所述阈值条件的运动点对应的轨迹分段确定为有效轨迹段。
5.根据权利要求4所述的手势动作识别方法，其特征在于，所述运动状态参数包括曲线运动轨迹的运动点的速度、加速度，以及曲线运动轨迹在该运动点处的曲率半径。
6.根据权利要求5所述的手势动作识别方法，其特征在于，将满足所述参数阈值条件的运动点对应的轨迹分段确定为有效轨迹段，包括：
对所述曲线运动轨迹的运动点的曲率半径进行阈值判断，确定所述曲线运动轨迹的转折段；
对所述曲线运动轨迹的运动点的速度、加速度进行阈值判断，确定起始段和加速段；
根据所述转折段、起始段和加速段确定所述曲线运动轨迹的有效轨迹段。
7.根据权利要求5所述的手势动作识别方法，其特征在于，确定所述曲线运动轨迹中的有效轨迹段之后，还包括：
将所述有效轨迹段输入至SVM轨迹模型；其中，所述SVM轨迹模型为预先训练的轨迹段识别模型；
利用所述SVM轨迹模型识别所述有效轨迹段的起始段、加速段、转折段和/或回收段。
8.一种手势动作识别装置，其特征在于，包括：
手势图像获取模块，用于获取至少两个手势图像；
骨骼点位置识别模块，用于确定第一骨骼点在所述至少两个手势图像中的第一位置；
曲线轨迹获取模块，用于根据所述第一位置获取所述第一骨骼点的曲线运动轨迹；
有效轨迹确定模块，用于根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段；
手势动作识别模块，用于根据所述有效轨迹段进行语义翻译得到手势动作识别结果。
9.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行根据权利要求1至7任一项所述的手势动作识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的手势动作识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011480620.1A CN114648807A (zh) | 2020-12-15 | 2020-12-15 | 手势动作识别方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011480620.1A CN114648807A (zh) | 2020-12-15 | 2020-12-15 | 手势动作识别方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114648807A true CN114648807A (zh) | 2022-06-21 |
Family
ID=81989902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011480620.1A Pending CN114648807A (zh) | 2020-12-15 | 2020-12-15 | 手势动作识别方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114648807A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117193534A (zh) * | 2023-09-13 | 2023-12-08 | 北京小米机器人技术有限公司 | 运动交互方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106391A (zh) * | 2011-11-14 | 2013-05-15 | 株式会社东芝 | 手势识别设备及其方法 |
| KR20130141657A (ko) * | 2010-12-29 | 2013-12-26 | 톰슨 라이센싱 | 제스처 인식을 위한 시스템 및 방법 |
| CN107340861A (zh) * | 2017-06-26 | 2017-11-10 | 联想(北京)有限公司 | 手势识别方法及其设备 |
| CN110069126A (zh) * | 2018-11-16 | 2019-07-30 | 北京微播视界科技有限公司 | 虚拟对象的控制方法和装置 |
| CN111062312A (zh) * | 2019-12-13 | 2020-04-24 | RealMe重庆移动通信有限公司 | 手势识别方法、手势控制方法、装置、介质与终端设备 |
-
2020
- 2020-12-15 CN CN202011480620.1A patent/CN114648807A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130141657A (ko) * | 2010-12-29 | 2013-12-26 | 톰슨 라이센싱 | 제스처 인식을 위한 시스템 및 방법 |
| CN103106391A (zh) * | 2011-11-14 | 2013-05-15 | 株式会社东芝 | 手势识别设备及其方法 |
| CN107340861A (zh) * | 2017-06-26 | 2017-11-10 | 联想(北京)有限公司 | 手势识别方法及其设备 |
| CN110069126A (zh) * | 2018-11-16 | 2019-07-30 | 北京微播视界科技有限公司 | 虚拟对象的控制方法和装置 |
| CN111062312A (zh) * | 2019-12-13 | 2020-04-24 | RealMe重庆移动通信有限公司 | 手势识别方法、手势控制方法、装置、介质与终端设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117193534A (zh) * | 2023-09-13 | 2023-12-08 | 北京小米机器人技术有限公司 | 运动交互方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Athira et al. | A signer independent sign language recognition with co-articulation elimination from live videos: an Indian scenario | |
| Ibrahim et al. | An automatic Arabic sign language recognition system (ArSLRS) | |
| Shan et al. | 3D human action segmentation and recognition using pose kinetic energy | |
| Tang | Recognizing hand gestures with microsoft’s kinect | |
| US8923559B2 (en) | Image processing apparatus, image processing method, and program | |
| US20160171293A1 (en) | Gesture tracking and classification | |
| CN104123529B (zh) | 人手检测方法及系统 | |
| CN103150019A (zh) | 一种手写输入系统及方法 | |
| Roy et al. | A CNN based framework for unistroke numeral recognition in air-writing | |
| JP2014137818A (ja) | 手の平開閉動作識別方法と装置、マン・マシン・インタラクション方法と設備 | |
| CN102270035A (zh) | 以非触摸方式来选择和操作对象的设备和方法 | |
| CN107357414B (zh) | 一种点击动作的识别方法及点击动作识别装置 | |
| De Smedt et al. | 3d hand gesture recognition by analysing set-of-joints trajectories | |
| Koelstra et al. | Non-rigid registration using free-form deformations for recognition of facial actions and their temporal dynamics | |
| US11482001B2 (en) | Image processing device, image processing method, and image processing system | |
| KR102530516B1 (ko) | 자동 수어 인식 방법 및 시스템 | |
| Ghimire et al. | Recognition of facial expressions based on tracking and selection of discriminative geometric features | |
| Yousefi et al. | 3D gesture-based interaction for immersive experience in mobile VR | |
| JP2013228847A (ja) | 顔表情解析装置および顔表情解析プログラム | |
| Choudhury et al. | A CNN-LSTM based ensemble framework for in-air handwritten Assamese character recognition | |
| Wang et al. | AAN-face: attention augmented networks for face recognition | |
| CN114648807A (zh) | 手势动作识别方法、装置、终端设备及存储介质 | |
| Sen et al. | Deep Learning-Based Hand Gesture Recognition System and Design of a Human–Machine Interface | |
| Fakhfakh et al. | Deep Learning Shape Trajectories for Isolated Word Sign Language Recognition. | |
| Bai et al. | Dynamic hand gesture recognition based on depth information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |