CN109992106B - 手势轨迹识别方法、电子设备及存储介质 - Google Patents
手势轨迹识别方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109992106B CN109992106B CN201910022484.2A CN201910022484A CN109992106B CN 109992106 B CN109992106 B CN 109992106B CN 201910022484 A CN201910022484 A CN 201910022484A CN 109992106 B CN109992106 B CN 109992106B
- Authority
- CN
- China
- Prior art keywords
- gesture
- recognized
- track
- similarity
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012952 Resampling Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000002759 z-score normalization Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 230000002068 genetic effect Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 abstract description 14
- 230000009471 action Effects 0.000 description 12
- 238000000513 principal component analysis Methods 0.000 description 7
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种手势轨迹识别方法、电子设备及存储介质，所述方法包括：根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度和角度方向相似度；根据所述待识别手势轨迹的坐标获取所述待识别手势轨迹的速度轨迹，根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板预先获取的速度轨迹模板，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度；基于加权法将所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度、角度方向相似度和速度相似度进行融合，根据融合结果对所述待识别手势轨迹进行识别。本发明实施例提高了手势动作轨迹的识别精度。
Description
技术领域
本发明实施例属于模式识别技术领域，更具体地，涉及一种手势轨迹识别方法、电子设备及存储介质。
背景技术
手势可以源自身体运动或手持传感器的运动。用户可以使用简单的手势来控制设备状态或与设备交互，而无需接触它们。姿势、步态和人类行为的识别也是手势识别技术的主题。手势分割是手势识别过程中关键的一步，手势分割的效果直接影响到下一步手势分析及最终的手势识别。
手势识别是将模型参数空间里的轨迹或点分类到该空间里某个子集的过程，其包括静态手势识别和动态手势识别，动态手势识别最终可转化为静态手势识别。常见的手势识别方法主要有:模板匹配法、神经网络法和隐马尔可夫模型法。对于模版匹配法，用于匹配的模版质量与匹配算法的精确度密切相关。比较主流的方法是计算模板中的手势轨迹坐标和待识别手势轨迹坐标之间的距离相似度，根据轨迹坐标相似度判断是否为同一种手势动作。由于相似度计算使用的指标单一，没有考虑手势轨迹的内部细节特征，从而导致手势识别的准确性不高。例如，在手势动作幅度较小的情况下对手势的区别效果较差。
综上所述，通过轨迹坐标单一指标的相似度识别手势轨迹的方法有一定局限性，没有考虑到轨迹坐标的细节特征，从而导致对轨迹坐标的识别不准确。
发明内容
为克服上述现有的手势轨迹识别方法识别结果不准确的问题或者至少部分地解决上述问题，本发明实施例提供一种手势轨迹识别方法、电子设备及存储介质。
根据本发明实施例的第一方面，提供一种手势轨迹识别方法，包括：
根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度和角度方向相似度；
根据所述待识别手势轨迹的坐标获取所述待识别手势轨迹的速度轨迹，根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板预先获取的速度轨迹模板，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度；
基于加权法将所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度、角度方向相似度和速度相似度进行融合，根据融合结果对所述待识别手势轨迹进行识别。
根据本发明实施例的第二个方面，还提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的手势轨迹识别方法。
根据本发明实施例的第三个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的手势轨迹识别方法。
本发明实施例提供一种手势轨迹识别方法、电子设备及存储介质，该方法通过根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标获取两个轨迹之间的距离相似度和角度方向相似度，根据待识别手势轨迹的速度轨迹和各手势轨迹模板的速度轨迹模板，获取两个轨迹之间的速度相似度，将三种相似度通过加权融合法得到包含距离、角度方向以及速度的综合相似度，能实现对较小动作幅度的手势和手势动作内部快慢节奏进行区分，提高了手势动作轨迹的识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的手势轨迹识别方法整体流程示意图；
图2为本发明实施例提供的手势轨迹识别装置整体结构示意图；
图3为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一个实施例中提供一种手势轨迹识别方法，图1为本发明实施例提供的手势轨迹识别方法整体流程示意图，该方法包括：S101，根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度和角度方向相似度；
其中，待识别手势轨迹为需要进行识别的手势轨迹。首先通过用户佩戴的传感器采集原始的手势数据。根据传感器采集的原始手势数据采用轨迹生成算法得到手势轨迹曲线的三维坐标。手势轨迹模板为预先获取的手势轨迹样本。距离相似度用于表示待识别手势轨迹和手势轨迹模板之间的空间位置相似性。角度方向相似度用于表示待识别手势轨迹和手势轨迹模板之间的变化方向相似性。本实施例不限于距离相似度和角度方向相似度的计算方法。
S102，根据所述待识别手势轨迹的坐标获取所述待识别手势轨迹的速度轨迹，根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板的速度轨迹模板，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度；
根据所述待识别手势轨迹的坐标可以获取手势的运动距离，根据手势的运动距离除以手势的运动时间获取手势的运动速度。此外，也可以通过速度传感器直接捕捉待识别手势轨迹的速度。根据待识别手势轨迹的多个速度，绘制待识别手势轨迹的速度轨迹。本实施例不限于待识别手势轨迹的获取方法。参照待识别手势轨迹的速度轨迹获取的方法，获取每个手势轨迹模板的速度轨迹。将手势轨迹模板的速度轨迹作为速度轨迹模板。计算待识别手势轨迹的速度轨迹和各速度轨迹模板之间的相似度，将其作为识别手势轨迹和各手势轨迹模板之间的速度相似度。
S103，基于加权法将所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度、角度方向相似度和速度相似度进行融合，根据融合结果对所述待识别手势轨迹进行识别。
将待识别手势轨迹和各手势轨迹模板之间的距离相似度记作sim1，将角度方向相似度记作sim2，将速度相似度记作sim3，将三种相似度基于加权法融合得到包含轨迹距离、角度方向、速度的综合相似度，公式如下：
Sim(S1，S2)＝a*Sim1+b*Sim2+c*Sim3；
其中，Sim(S1，S2)表示待识别手势轨迹S1和任一手势轨迹模板S2之间的综合相似度，即融合结果。Sim1表示S1和S2之间的距离相似度，Sim2表示S1和S2之间的角度方向相似度，Sim3表示S1和S2之间的速度相似度。根据融合结果确定与待识别手势轨迹相匹配的手势轨迹模板。根据相匹配的手势轨迹模板的标签识别出待识别手势轨迹的手势动作。
本发明实施例通过根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标获取两个轨迹之间的距离相似度和角度方向相似度，根据待识别手势轨迹的速度轨迹和各手势轨迹模板的速度轨迹模板，获取两个轨迹之间的速度相似度，将三种相似度通过加权融合法得到包含距离、角度方向以及速度的综合相似度，能实现对较小动作幅度的手势和手势动作内部快慢节奏进行区分，提高了手势动作轨迹的识别精度。
在上述实施例的基础上，本实施例中根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度和角度方向相似度的步骤之前还包括：对所述待识别手势轨迹进行均值重采样、PCA空间坐标系转换对齐、Z-score归一化处理和SVR回归处理。
具体地，在对待识别手势轨迹进行识别之前，先对待识别手势轨迹进行预处理。同样地，对各手势轨迹模板进行相同的预处理。由于同种手势动作每次通过传感器采集到的轨迹坐标数量长短不一，为了保证生成准确的手势轨迹模版、排除一些干扰，以及便于匹配，需要对各手势轨迹模板和待识别手势轨迹分别进行均值重采样、PCA(PrincipalComponent Analysis，主成分分析)空间坐标系转换对齐和Z-score归一化处理，然后用SVR(Support Vector Regression，支持向量回归)方法拟合出待识别手势轨迹和各手势轨迹模板。
在上述实施例的基础上，本实施例中根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取所述待识别手势轨迹的步骤具体包括：根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标进行DTW相似度计算，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度。
具体地，DTW(Dynamic Time Warping，动态时间规整)是一种衡量两个离散时间序列相似度的方法，主要特点是在序列长度不一或X轴无法完全对齐的情况下，用满足一定条件的时间规整函数描述两者之间的时间对应关系。由于待识别手势轨迹和各手势轨迹模板中每个点都有对应的时间，因此可以将待识别手势轨迹和各手势轨迹模板分别看成一个离散时间序列。基于DTW算法计算出待识别手势轨迹和各手势轨迹模板之间的距离相似度。
在上述实施例的基础上，本实施例中根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取待识别手势轨迹和各所述手势轨迹模板之间的角度方向相似度的步骤具体包括：根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标进行余弦相似度计算，获取待识别手势轨迹和各手势轨迹模板之间的角度方向相似度。
具体地，余弦相似度又称为余弦相似性，是将向量根据坐标值绘制到向量空间中，通过计算两个向量的夹角余弦值来评估两个向量之间的相似度。将待识别手势轨迹的坐标和各手势轨迹模板的坐标分别作为一个向量，基于余弦相似度计算出待识别手势轨迹和各手势轨迹模板之间的角度方向相似度。
在上述实施例的基础上，本实施例中根据所述待识别手势轨迹的坐标获取所述待识别手势轨迹的速度轨迹的步骤具体包括：将所述待识别手势轨迹中相邻两点之间的距离作为经过所述相邻两点之间路径的速度；根据所有所述相邻两点对应的速度，获取所述待识别手势轨迹的速度轨迹。
具体地，对于待识别手势轨迹，依次循环计算相邻两点之间的距离。将相邻两点之间的距离作为经过相邻两点之间路径的速度。根据所有相邻两点对应的速度，生成速度轨迹曲线。计算公式如下：
d＝sqrt((x1-x2)2+(y1-y2)2+(z1-z2)2)；
其中，d为任意相邻两点之间的距离，相邻两点的坐标分别为(x1，y1，z1)和(x2，y2，z2)。使用相同的方法获取各手势轨迹模板的速度轨迹。
在上述实施例的基础上，本实施例中根据所有所述相邻两点对应的速度，获取所述待识别手势轨迹的速度轨迹的步骤之后还包括：对所述待识别手势轨迹的速度轨迹进行均值重采样、PCA空间坐标系转换对齐、Z-score归一化处理和SVR回归处理。
具体地，采用相同的方法对各速度轨迹模板进行均值重采样、PCA空间坐标系转换对齐、Z-score归一化处理和SVR回归处理，从而拟合出标准的速度轨迹模板。根据待识别手势轨迹处理后的速度轨迹，使用标准的速度轨迹目标进行速度匹配，使匹配更加精准。
在上述实施例的基础上，本实施例中根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板的速度轨迹模板，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度的步骤具体包括：根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板的速度轨迹模板进行DTW相似度计算，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度。
具体地，由于待识别手势轨迹的速度轨迹和各速度轨迹模板中每个速度都有对应的时间，因此可以将待识别手势轨迹的速度轨迹和各速度轨迹模板分别看成一个离散时间序列。基于DTW算法计算出待识别手势轨迹的速度轨迹和各速度轨迹模板之间的相似度，即速度相似度。
在上述各实施例的基础上，本实施例中将所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度、角度方向相似度和速度相似度进行融合的步骤具体包括：基于遗传算法对所述距离相似度、所述角度方向相似度和所述速度相似度分别对应的权重进行优化；根据所述距离相似度、所述角度方向相似度和所述速度相似度对应的优化后的权重，基于加权法将所述距离相似度、所述角度方向相似度和所述速度相似度进行融合。
具体地，设定距离相似度、角度方向相似度和速度相似度对应的权重分别为a、b和c。需要寻找一组可能的参数组合{a，b，c}，使相似度的计算更加准确，即在随后的相似度计算评价函数中，准确率和召回率的综合指标值达到最大。为了准确计算出各相似度的权重，引入遗传算法，对轨迹相似度计算中的参数进行优化，获得在一定范围内参数的最佳组合。具体方法为首先限定a、b、c三个参数的取值范围为(0，1)，根据经验取适当的代数，经过迭代选优，找出参数的最佳组合。采用遗传算法求权重，避免了通过经验值确定参数的不可靠性以及主观性，通过数学模型的描述、求解以及训练数据使参数组合(a、b、c)自适应调整达到最优，以此得到最终的综合相似度，以用于手势动作识别。
在本发明的另一个实施例中提供一种手势轨迹识别装置，该装置用于实现前述各实施例中的方法。因此，在前述势轨迹识别方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图2为本发明实施例提供的势轨迹识别装置整体结构示意图，该装置包括第一计算模块201、第二计算模块202和融合识别模块203；其中：
第一计算模块201用于根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度和角度方向相似度；
其中，待识别手势轨迹为需要进行识别的手势轨迹。首先通过用户佩戴的传感器采集原始的手势数据。根据传感器采集的原始手势数据采用轨迹生成算法得到手势轨迹曲线的三维坐标。手势轨迹模板为预先获取的手势轨迹样本。距离相似度用于表示待识别手势轨迹和手势轨迹模板之间的空间位置相似性。角度方向相似度用于表示待识别手势轨迹和手势轨迹模板之间的变化方向相似性。本实施例不限于距离相似度和角度方向相似度的计算方法。
第二计算模块202用于根据所述待识别手势轨迹的坐标获取所述待识别手势轨迹的速度轨迹，根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板预先获取的速度轨迹模板，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度；
第二计算模块202根据所述待识别手势轨迹的坐标可以获取手势的运动距离，根据手势的运动距离除以手势的运动时间获取手势的运动速度。此外，也可以通过速度传感器直接捕捉待识别手势轨迹的速度。根据待识别手势轨迹的多个速度，绘制待识别手势轨迹的速度轨迹。本实施例不限于待识别手势轨迹的获取方法。参照待识别手势轨迹的速度轨迹获取的方法，获取每个手势轨迹模板的速度轨迹。将手势轨迹模板的速度轨迹作为速度轨迹模板。计算待识别手势轨迹的速度轨迹和各速度轨迹模板之间的相似度，将其作为识别手势轨迹和各手势轨迹模板之间的速度相似度。
融合识别模块203用于基于加权法将所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度、角度方向相似度和速度相似度进行融合，根据融合结果对所述待识别手势轨迹进行识别。
将待识别手势轨迹和各手势轨迹模板之间的距离相似度记作sim1，将角度方向相似度记作sim2，将速度相似度记作sim3，融合识别模块203将三种相似度基于加权法融合得到包含轨迹距离、角度方向、速度的综合相似度。根据融合结果确定与待识别手势轨迹相匹配的手势轨迹模板。根据相匹配的手势轨迹模板的标签对待识别手势轨迹的手势动作进行识别。
本发明实施例通过根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标获取两个轨迹之间的距离相似度和角度方向相似度，根据待识别手势轨迹的速度轨迹和各手势轨迹模板的速度轨迹模板，获取两个轨迹之间的速度相似度，将三种相似度通过加权融合法得到包含距离、角度方向以及速度的综合相似度，能实现对较小动作幅度的手势和手势动作内部快慢节奏进行区分，提高了手势动作轨迹的识别精度。
在上述实施例的基础上，本实施例中还包括第一预处理模块，用于对所述待识别手势轨迹进行均值重采样、PCA空间坐标系转换对齐、Z-score归一化处理和SVR回归处理。
在上述实施例的基础上，本实施例中第一计算模块进一步用于：根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标进行DTW相似度计算，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度。
在上述实施例的基础上，本实施例中第一计算模块进一步用于：根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标进行余弦相似度计算，获取所述待识别手势轨迹和各所述手势轨迹模板之间的角度方向相似度。
在上述各实施例的基础上，本实施例中第二计算模块进一步用于：将所述待识别手势轨迹中相邻两点之间的距离作为经过所述相邻两点之间路径的速度；根据所有所述相邻两点对应的速度，获取所述待识别手势轨迹的速度轨迹。
在上述实施例的基础上，本实施例中还包括第二预处理模块，用于对所述待识别手势轨迹的速度轨迹进行均值重采样、PCA空间坐标系转换对齐、Z-score归一化处理和SVR回归处理。
在上述实施例的基础上，本实施例中第二计算模块进一步用于：根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板的速度轨迹模板进行DTW相似度计算，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度。
在上述各实施例的基础上，本实施例中融合识别模块具体用于：基于遗传算法对所述距离相似度、所述角度方向相似度和所述速度相似度分别对应的权重进行优化；根据所述距离相似度、所述角度方向相似度和所述速度相似度对应的优化后的权重，将所述距离相似度、所述角度方向相似度和所述速度相似度进行融合。
本实施例提供一种电子设备，图3为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器301、至少一个存储器302和总线303；其中，
处理器301和存储器302通过总线303完成相互间的通信；
存储器302存储有可被处理器301执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度和角度方向相似度；根据所述待识别手势轨迹的坐标获取所述待识别手势轨迹的速度轨迹，根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板预先获取的速度轨迹模板，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度；基于加权法将所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度、角度方向相似度和速度相似度进行融合，根据融合结果对所述待识别手势轨迹进行识别。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度和角度方向相似度；根据所述待识别手势轨迹的坐标获取所述待识别手势轨迹的速度轨迹，根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板预先获取的速度轨迹模板，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度；基于加权法将所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度、角度方向相似度和速度相似度进行融合，根据融合结果对所述待识别手势轨迹进行识别。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种手势轨迹识别方法，其特征在于，包括：
根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度和角度方向相似度；
根据所述待识别手势轨迹的坐标获取所述待识别手势轨迹的速度轨迹，根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板预先获取的速度轨迹模板，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度；
其中，将所述待识别手势轨迹的坐标和各手势轨迹模板的坐标分别作为一个向量，基于余弦相似度计算出所述待识别手势轨迹和各手势轨迹模板之间的角度方向相似度；
基于加权法将所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度、角度方向相似度和速度相似度进行融合，根据融合结果对所述待识别手势轨迹进行识别；
基于加权法将所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度、角度方向相似度和速度相似度进行融合的步骤具体包括：
基于遗传算法对所述距离相似度、所述角度方向相似度和所述速度相似度分别对应的权重进行优化；
根据所述距离相似度、所述角度方向相似度和所述速度相似度对应的优化后的权重，将所述距离相似度、所述角度方向相似度和所述速度相似度进行融合。
2.根据权利要求1所述的方法，其特征在于，根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度和角度方向相似度的步骤之前还包括：
对所述待识别手势轨迹进行均值重采样、PCA空间坐标系转换对齐、Z-score归一化处理和SVR回归处理。
3.根据权利要求1所述的方法，其特征在于，根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度的步骤具体包括：
根据待识别手势轨迹的坐标和各预先获取的手势轨迹模板的坐标进行DTW相似度计算，获取所述待识别手势轨迹和各所述手势轨迹模板之间的距离相似度。
4.根据权利要求1所述的方法，其特征在于，根据所述待识别手势轨迹的坐标获取所述待识别手势轨迹的速度轨迹的步骤具体包括：
将所述待识别手势轨迹中相邻两点之间的距离作为经过所述相邻两点之间路径的速度；
根据所有所述相邻两点对应的速度，获取所述待识别手势轨迹的速度轨迹。
5.根据权利要求4所述的方法，其特征在于，根据所有所述相邻两点对应的速度，获取所述待识别手势轨迹的速度轨迹的步骤之后还包括：
对所述待识别手势轨迹的速度轨迹进行均值重采样、PCA空间坐标系转换对齐、Z-score归一化处理和SVR回归处理。
6.根据权利要求1所述的方法，其特征在于，根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板的速度轨迹模板，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度的步骤具体包括：
根据所述待识别手势轨迹的速度轨迹和各所述手势轨迹模板的速度轨迹模板进行DTW相似度计算，获取所述待识别手势轨迹和各所述手势轨迹模板之间的速度相似度。
7.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器和总线；其中，
所述处理器和存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910022484.2A CN109992106B (zh) | 2019-01-10 | 2019-01-10 | 手势轨迹识别方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910022484.2A CN109992106B (zh) | 2019-01-10 | 2019-01-10 | 手势轨迹识别方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109992106A CN109992106A (zh) | 2019-07-09 |
| CN109992106B true CN109992106B (zh) | 2022-05-10 |
Family
ID=67129998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910022484.2A Active CN109992106B (zh) | 2019-01-10 | 2019-01-10 | 手势轨迹识别方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109992106B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111459395A (zh) * | 2020-03-30 | 2020-07-28 | 北京集创北方科技股份有限公司 | 手势识别方法、系统、存储介质、人机交互设备 |
| CN113093913A (zh) * | 2021-04-20 | 2021-07-09 | 北京乐学帮网络技术有限公司 | 试题处理方法、装置、电子设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103995665A (zh) * | 2014-04-14 | 2014-08-20 | 深圳市汇顶科技股份有限公司 | 移动终端及其在待机状态进入应用程序的实现方法、系统 |
| CN104331164A (zh) * | 2014-11-27 | 2015-02-04 | 韩慧健 | 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法 |
| KR20160087423A (ko) * | 2015-01-13 | 2016-07-22 | 전남대학교산학협력단 | 전자기기에서의 동작 인식 시스템 및 방법 |
| CN107209577A (zh) * | 2015-02-03 | 2017-09-26 | 谷歌公司 | 用户状态自适应文本输入 |
| CN108563988A (zh) * | 2018-03-06 | 2018-09-21 | 上海数迹智能科技有限公司 | 一种指尖轨迹识别分类方法 |
-
2019
- 2019-01-10 CN CN201910022484.2A patent/CN109992106B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103995665A (zh) * | 2014-04-14 | 2014-08-20 | 深圳市汇顶科技股份有限公司 | 移动终端及其在待机状态进入应用程序的实现方法、系统 |
| CN104331164A (zh) * | 2014-11-27 | 2015-02-04 | 韩慧健 | 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法 |
| KR20160087423A (ko) * | 2015-01-13 | 2016-07-22 | 전남대학교산학협력단 | 전자기기에서의 동작 인식 시스템 및 방법 |
| CN107209577A (zh) * | 2015-02-03 | 2017-09-26 | 谷歌公司 | 用户状态自适应文本输入 |
| CN108563988A (zh) * | 2018-03-06 | 2018-09-21 | 上海数迹智能科技有限公司 | 一种指尖轨迹识别分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多特征融合的指挥手势识别方法研究;王远明、张珺、秦远辉、柴秀娟;《系统仿真学报》;20180323;第1至8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109992106A (zh) | 2019-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kishore et al. | Motionlets matching with adaptive kernels for 3-d indian sign language recognition | |
| CN104616028B (zh) | 基于空间分割学习的人体肢体姿势动作识别方法 | |
| CN109657537A (zh) | 基于目标检测的图像识别方法、系统和电子设备 | |
| Nayak et al. | Hyper-parameter tuned light gradient boosting machine using memetic firefly algorithm for hand gesture recognition | |
| Ibañez et al. | Approximate string matching: A lightweight approach to recognize gestures with Kinect | |
| CN109992106B (zh) | 手势轨迹识别方法、电子设备及存储介质 | |
| Cai et al. | Visual focus of attention estimation using eye center localization | |
| KR20190061538A (ko) | 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치 | |
| KR102363879B1 (ko) | 환자의 상지 동작에 의해 도출되는 특징값을 이용한 임상평가척도 예측 방법 | |
| Tan et al. | Online signature verification based on dynamic features from gene expression programming | |
| JP2016045884A (ja) | パターン認識装置およびパターン認識方法 | |
| CN109685104B (zh) | 一种识别模型的确定方法和装置 | |
| CN110163130B (zh) | 一种用于手势识别的特征预对齐的随机森林分类系统及方法 | |
| Sooai et al. | Comparison of recognition accuracy on dynamic hand gesture using feature selection | |
| Santhalingam et al. | Synthetic smartwatch imu data generation from in-the-wild asl videos | |
| CN111429481A (zh) | 一种基于自适应表达的目标追踪方法、装置及终端 | |
| CN111126268A (zh) | 关键点检测模型训练方法、装置、电子设备及存储介质 | |
| Arbain et al. | Offline handwritten digit recognition using triangle geometry properties | |
| Pan et al. | Magicinput: Training-free multi-lingual finger input system using data augmentation based on mnists | |
| Jian et al. | RD-Hand: a real-time regression-based detector for dynamic hand gesture | |
| CN112733758B (zh) | 黎曼几何不变性下基于曲线的三维人脸识别方法及系统 | |
| Li et al. | Research on hybrid information recognition algorithm and quality of golf swing | |
| Safonov et al. | An approach for model assissment for activity recognition | |
| Tsatiris et al. | Variance-based shape descriptors for determining the level of expertise of tennis players | |
| Vedalankar et al. | LIVE YOGA POSE DETECTION BY USING IMAGE PROCESSING AND DEEP LEARNING |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240520 Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui. Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 100022 No. 100 Chaoyang District Ping Tian Park, Beijing Patentee before: Beijing University of Technology Country or region before: China |