CN104267835B - 自适应手势识别方法 - Google Patents
自适应手势识别方法 Download PDFInfo
- Publication number
- CN104267835B CN104267835B CN201410464452.5A CN201410464452A CN104267835B CN 104267835 B CN104267835 B CN 104267835B CN 201410464452 A CN201410464452 A CN 201410464452A CN 104267835 B CN104267835 B CN 104267835B
- Authority
- CN
- China
- Prior art keywords
- gesture
- point
- distance
- sampling
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Abstract
本发明揭示了一种自适应手势识别方法，所述方法包括：步骤S1、基于向量对手势进行采样；步骤S2、将基于向量采样的手势进行动态时间归整DTW匹配识别；步骤S3、将步骤S2返回的结果与设定阈值进行比较，做初步筛选；若没有匹配到手势，则转至步骤S4；若匹配到若干相似结果，则转至步骤S5；若成功匹配到唯一的手势，则直接返回结果；步骤S4、通过模板匹配识别方式进行识别，返回结果；步骤S5、利用向量的距离进行筛选，或者通过模板匹配识别方式方式进行识别，返回结果。
Description
技术领域
本发明属于手势识别技术领域，涉及一种手势识别方法，尤其涉及一种自适应手势识别方法。
背景技术
近年来，随着世界移动通信产业的高速发展，智能手持设备逐渐的融入了大众的日常生活，销量持续上升。目前，智能手持设备已经迈入了全触屏时代。对于全触屏的智能手持设备，触屏手势操作的支持是必不可少的，这给用户带来了全新的人机交互体验，以其方便快捷的特性，得到了用户的认可并取代了传统的按键操作。
然而，现有的手势识别方法存在精确度不高、识别效率低等问题。有鉴于此，如今迫切需要设计一种新的手势识别方法，以便克服现有识别方法的上述缺陷。
发明内容
本发明所要解决的技术问题是：提供一种自适应手势识别方法，可提高手势识别的精确度及效率。
为解决上述技术问题，本发明采用如下技术方案：
一种自适应手势识别方法，所述方法包括：
步骤S1、基于向量对手势进行采样；
将手势通过有方向和大小的向量来构造；输入的手势的每一个点代表触屏设备识别到的触屏点，并根据录入的顺序依次储存在点数组里；随后对手势点数组进行遍历，求出相邻点的方向，方向由前面的点指向后面的点，再将方向值转换为与设定的方向值组中最相近的方向值，并存为方向数组；对方向数组中连续的相同方向上点进行合并，计算连续方向点的距离同时将距离过短的向量作为噪点去除；再合并连续的相同方向点，这时提取出来的向量首尾相接能够大致描绘出手势的骨架，骨架保留了手势的主要特征，具有良好的区分度；最后对向量的距离进行标准化，保存为采样的数组；
步骤S2、将基于向量采样的手势进行动态时间归整DTW匹配识别；
动态时间归整DTW匹配识别步骤包括：提供一种在时间轴上富有更大弹性的相似度对比方法，使做匹配的数据能透过在时间轴上的扭曲，即伸展或压缩，找到最小误差的非线性对应；由于手势输入在时间轴上的连续性，使得基于向量的数据很适合用DTW匹配识别步骤；运用动态规划的思想，利用局部最佳化的处理来寻找一条路径使得两个特征矢量之间的累积失真量最小；X轴和Y轴分别为模板数据和待匹配的数据；X轴和Y轴的交点值代表所对应两个数组数据r[i]和t[j]的距离值，用D(r[i]，t[j])表示，距离值的计算方法用欧式距离算法实现；随后选择路径起点，利用局部路径约束使其朝规定方向动态规划，累加计算距离；
步骤S3、将步骤S2返回的结果与设定阈值进行比较，做初步筛选；若没有匹配到手势，则转至步骤S4；若匹配到若干相似结果，则转至步骤S5；若成功匹配到唯一的手势，则直接返回结果；
步骤S4、通过模板匹配识别方式进行识别，返回结果；模板匹配识别步骤包括：
通过手势点类来记录手指在触屏上滑动产生的点(x，y)，点数据类型为浮点型；一段连续的手势点构造成手势笔画类，通过该类不仅储存连续的点信息，还提供计算手势点包围盒的方法，用于后期进行点的位移缩放；最后由一系列手势笔画构成最终的手势类；
对获取的手势进行预处理；预处理采用两种取样方法：时间采样temporalSampling和空间抽样spatialSampling；
时间采样temporalSampling规定了采样点的个数N，计算所有手势点的总长度L，将N个点根据L/N得到的距离，平均分布到手势线路上；最后分配好的N个点的坐标作为取样点；
空间抽样spatialSampling是将手势渲染成N*N大小的2D位图，其先对手势大小缩放到统一大小，然后根据坐标点的小数部分判断点的比重，来填充N*N大小位图的数组，最后返回该数组作为取样结果；
经过变换取样标准化后会得到统一长度的样本数组，Android平台采用两种相似度算法分别为欧几里得距离和余弦距离；
欧几里得距离假设在d维空间有两点a＝[a1,a2,…,ad]，b＝[b1,b2,…,bd]则其欧几里得距离表示为：
余弦距离表示为：
根据计算得到相似度最高的手势即为最匹配手势；
步骤S5、利用向量的距离进行筛选，或者通过模板匹配识别方式进行识别，返回结果；模板匹配识别步骤包括：
通过手势点类来记录手指在触屏上滑动产生的点(x，y)，点数据类型为浮点型；一段连续的手势点构造成手势笔画类，通过该类不仅储存连续的点信息，还提供计算手势点包围盒的方法，用于后期进行点的位移缩放；最后由一系列手势笔画构成最终的手势类；
对获取的手势进行预处理；预处理采用两种取样方法：时间采样temporalSampling和空间抽样spatialSampling；
时间采样temporalSampling规定了采样点的个数N，计算所有手势点的总长度L，将N个点根据L/N得到的距离，平均分布到手势线路上；最后分配好的N个点的坐标作为取样点；
空间抽样spatialSampling是将手势渲染成N*N大小的2D位图，其先对手势大小缩放到统一大小，然后根据坐标点的小数部分判断点的比重，来填充N*N大小位图的数组，最后返回该数组作为取样结果；
经过变换取样标准化后会得到统一长度的样本数组，Android平台采用两种相似度算法分别为欧几里得距离和余弦距离；
欧几里得距离假设在d维空间有两点a＝[a1,a2,…,ad]，b＝[b1,b2,…,bd]则其欧几里得距离表示为：
余弦距离表示为：
根据计算得到相似度最高的手势即为最匹配手势。
一种自适应手势识别方法，所述方法包括：
步骤S1、基于向量对手势进行采样；
步骤S2、将基于向量采样的手势进行动态时间归整DTW匹配识别；
步骤S3、将步骤S2返回的结果与设定阈值进行比较，做初步筛选；若没有匹配到手势，则转至步骤S4；若匹配到若干相似结果，则转至步骤S5；若成功匹配到唯一的手势，则直接返回结果；
步骤S4、通过模板匹配识别方式进行识别，返回结果；
步骤S5、利用向量的距离进行筛选，或者通过模板匹配识别方式进行识别，返回结果。
作为本发明的一种优选方案，所述步骤S4、步骤S5中的模板匹配识别步骤包括：
通过手势点类来记录手指在触屏上滑动产生的点(x，y)，点数据类型为浮点型；一段连续的手势点构造成手势笔画类，通过该类不仅储存连续的点信息，还提供计算手势点包围盒的方法，用于后期进行点的位移缩放；最后由一系列手势笔画构成最终的手势类；
对获取的手势进行预处理；预处理采用两种取样方法：时间采样temporalSampling和空间抽样spatialSampling；
时间采样temporalSampling规定了采样点的个数N，计算所有手势点的总长度L，将N个点根据L/N得到的距离，平均分布到手势线路上；最后分配好的N个点的坐标作为取样点；
空间抽样spatialSampling是将手势渲染成N*N大小的2D位图，其先对手势大小缩放到统一大小，然后根据坐标点的小数部分判断点的比重，来填充N*N大小位图的数组，最后返回该数组作为取样结果；
经过变换取样标准化后会得到统一长度的样本数组，Android平台采用两种相似度算法分别为欧几里得距离和余弦距离；
欧几里得距离假设在d维空间有两点a＝[a1,a2,…,ad]，b＝[b1,b2,…,bd]则其欧几里得距离表示为：
余弦距离表示为：
根据计算得到相似度最高的手势即为最匹配手势。
作为本发明的一种优选方案，所述步骤S1具体包括：将手势通过有方向和大小的向量来构造；输入的手势的每一个点代表触屏设备识别到的触屏点，并根据录入的顺序依次储存在点数组里；随后对手势点数组进行遍历，求出相邻点的方向，方向由前面的点指向后面的点，再将方向值转换为与设定的方向值组中最相近的方向值，并存为方向数组；对方向数组中连续的相同方向上点进行合并，计算连续方向点的距离同时将距离过短的向量作为噪点去除；再合并连续的相同方向点，这时提取出来的向量首尾相接能够大致描绘出手势的骨架，骨架保留了手势的主要特征，具有良好的区分度；最后对向量的距离进行标准化，保存为采样的数组。
作为本发明的一种优选方案，所述步骤S2中，动态时间归整DTW匹配识别步骤包括：提供一种在时间轴上富有更大弹性的相似度对比方法，使做匹配的数据能透过在时间轴上的扭曲，即伸展或压缩，找到最小误差的非线性对应；由于手势输入在时间轴上的连续性，使得基于向量的数据很适合用DTW匹配识别步骤；运用动态规划的思想，利用局部最佳化的处理来寻找一条路径使得两个特征矢量之间的累积失真量最小；X轴和Y轴分别为模板数据和待匹配的数据；X轴和Y轴的交点值代表所对应两个数组数据r[i]和t[j]的距离值，用D(r[i]，t[j])表示，距离值的计算方法用欧式距离算法实现；随后选择路径起点，利用局部路径约束使其朝规定方向动态规划，累加计算距离。
本发明的有益效果在于：本发明提出的自适应手势识别方法，可提高手势识别的精确度及效率。
传统的Android自定义手势识别采样，虽然会保证手势的完整性，但是产生了大量的数据冗余，并且伴随着大量的计算，导致效率不高。本文提出的提出基于向量的手势识别方法，利用该识别方式能够针对移动设备快速高效筛选简单的操作手势同时与android原有的基于距离(欧氏距离、余弦距离)的识别方法相结合，形成自适应的识别方法。较原有的识别方式在速度和精确度上都有一定的提高，在手持智能移动设备上有广泛的应用前景。
附图说明
图1为本发明方法的流程图。
图2为Android手势存储结构示意图。
图3为向量方向示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例一
请参阅图1，本发明揭示了一种自适应手势识别方法，所述方法包括如下步骤：
【步骤S1】基于向量对手势进行采样；
将手势通过有方向和大小的向量来构造；输入的手势的每一个点代表触屏设备识别到的触屏点，并根据录入的顺序依次储存在点数组里；随后对手势点数组进行遍历，求出相邻点的方向，方向由前面的点指向后面的点，再将方向值转换为与设定的方向值组中最相近的方向值，并存为方向数组；对方向数组中连续的相同方向上点进行合并，计算连续方向点的距离同时将距离过短的向量作为噪点去除；再合并连续的相同方向点，这时提取出来的向量首尾相接能够大致描绘出手势的骨架，骨架保留了手势的主要特征，具有良好的区分度；最后对向量的距离进行标准化，保存为采样的数组；
【步骤S2】将基于向量采样的手势进行动态时间归整DTW匹配识别；
动态时间归整DTW匹配识别步骤包括：提供一种在时间轴上富有更大弹性的相似度对比方法，使做匹配的数据能透过在时间轴上的扭曲，即伸展或压缩，找到最小误差的非线性对应；由于手势输入在时间轴上的连续性，使得基于向量的数据很适合用DTW匹配识别步骤；运用动态规划的思想，利用局部最佳化的处理来寻找一条路径使得两个特征矢量之间的累积失真量最小；X轴和Y轴分别为模板数据和待匹配的数据；X轴和Y轴的交点值代表所对应两个数组数据r[i]和t[j]的距离值，用D(r[i]，t[j])表示，距离值的计算方法用欧式距离算法实现；随后选择路径起点，利用局部路径约束使其朝规定方向动态规划，累加计算距离；
【步骤S3】将步骤S2返回的结果与设定阈值进行比较，做初步筛选；若没有匹配到手势，则转至步骤S4；若匹配到若干相似结果，则转至步骤S5；若成功匹配到唯一的手势，则直接返回结果；
【步骤S4】通过模板匹配识别方式进行识别，返回结果；模板匹配识别步骤包括：
通过手势点类来记录手指在触屏上滑动产生的点(x，y)，点数据类型为浮点型；一段连续的手势点构造成手势笔画类，通过该类不仅储存连续的点信息，还提供计算手势点包围盒的方法，用于后期进行点的位移缩放；最后由一系列手势笔画构成最终的手势类；
对获取的手势进行预处理；预处理采用两种取样方法：时间采样temporalSampling和空间抽样spatialSampling；
时间采样temporalSampling规定了采样点的个数N，计算所有手势点的总长度L，将N个点根据L/N得到的距离，平均分布到手势线路上；最后分配好的N个点的坐标作为取样点；
空间抽样spatialSampling是将手势渲染成N*N大小的2D位图，其先对手势大小缩放到统一大小，然后根据坐标点的小数部分判断点的比重，来填充N*N大小位图的数组，最后返回该数组作为取样结果；
经过变换取样标准化后会得到统一长度的样本数组，Android平台采用两种相似度算法分别为欧几里得距离和余弦距离；
欧几里得距离假设在d维空间有两点a＝[a1,a2,…,ad]，b＝[b1,b2,…,bd]则其欧几里得距离表示为：
余弦距离表示为：
根据计算得到相似度最高的手势即为最匹配手势；
【步骤S5】利用向量的距离进行筛选，或者通过模板匹配识别方式进行识别，返回结果；模板匹配识别步骤包括：
通过手势点类来记录手指在触屏上滑动产生的点(x，y)，点数据类型为浮点型；一段连续的手势点构造成手势笔画类，通过该类不仅储存连续的点信息，还提供计算手势点包围盒的方法，用于后期进行点的位移缩放；最后由一系列手势笔画构成最终的手势类；
对获取的手势进行预处理；预处理采用两种取样方法：时间采样temporalSampling和空间抽样spatialSampling；
时间采样temporalSampling规定了采样点的个数N，计算所有手势点的总长度L，将N个点根据L/N得到的距离，平均分布到手势线路上；最后分配好的N个点的坐标作为取样点；
空间抽样spatialSampling是将手势渲染成N*N大小的2D位图，其先对手势大小缩放到统一大小，然后根据坐标点的小数部分判断点的比重，来填充N*N大小位图的数组，最后返回该数组作为取样结果；
经过变换取样标准化后会得到统一长度的样本数组，Android平台采用两种相似度算法分别为欧几里得距离和余弦距离；
欧几里得距离假设在d维空间有两点a＝[a1,a2,…,ad]，b＝[b1,b2,…,bd]则其欧几里得距离表示为：
余弦距离表示为：
根据计算得到相似度最高的手势即为最匹配手势。
实施例二
本发明揭示一种自适应手势识别方法，所述方法包括：
步骤S1、基于向量对手势进行采样；
步骤S2、将基于向量采样的手势进行动态时间归整DTW匹配识别；
步骤S3、将步骤S2返回的结果与设定阈值进行比较，做初步筛选；若没有匹配到手势，则转至步骤S4；若匹配到若干相似结果，则转至步骤S5；若成功匹配到唯一的手势，则直接返回结果；
步骤S4、通过模板匹配识别方式进行识别，返回结果；
步骤S5、利用向量的距离进行筛选，或者通过模板匹配识别方式进行识别，返回结果。
实施例三
Android平台手势识别原理：Android手势识别采用的是模板匹配技术。Android通过GesturePoint类(手势点类)来记录手指在触屏上滑动产生的点(x，y)，点数据类型为浮点型。一段连续的手势点构造成GestureStroke类(手势笔画类)，通过该类不仅储存连续的点信息，还提供计算手势点包围盒的方法，用于后期进行点的位移缩放。最后由一系列手势笔画构成最终的Gesture(手势类)，见图2。一般情况下，构成手势的笔画不宜太多，复杂的手势无论在操作上和识别上的效率都过于低下。
Android对获取的手势进行预处理。预处理采用两种取样方法：temporalSampling和spatialSampling。
temporalSampling规定了采样点的个数N(Android采用的相似度算法需要保证所有手势点序列具有相同的维度，所以N在每次采样时都是一个固定常数)，计算所有手势点的总长度L，将N个点根据L/N得到的距离，平均分布到手势线路上。最后分配好的N个点的坐标作为取样点。
spatialSampling是将手势渲染成N*N大小的2D位图，其先对手势大小缩放到统一大小，然后根据坐标点的小数部分判断点的比重，来填充N*N大小位图的数组，最后返回该数组作为取样结果。
经过变换取样标准化后会得到统一长度的样本数组，Android平台采用两种相似度算法分别为欧几里得距离和余弦距离。
欧几里得距离假设在d维空间有两点a＝[a1,a2,…,ad]，b＝[b1,b2,…,bd]则其欧几里得距离表示为：余弦距离表示为：最后根据计算得到相似度最高的手势即为最匹配手势。
但是由于以下两点：(1)平均化的采样算法会改变原有的手势结构，时而会出现本身差异性比较大的手势经过平均化后会趋于相似的情况，从而导致识别错误；(2)对手势的标准化处理也会对手势的特征产生影响，从而产生误差。导致temporalSampling采样得到的结果错误率比较高。
而且spatialSampling采样虽然会保证手势的完整性，但是产生了大量的数据冗余，并且伴随着大量的计算，导致效率不高。
本发明通过分析Android平台上手势的输入和存储方式，提出基于向量的采样方式，并根据采样序列在时间上连续的良好特性应用动态时间规整相似度算法进行手势识别。
基于向量的采样：简单的手势能够通过有方向和大小向量来构造。其输入的手势的每一个点代表触屏设备识别到的触屏点，并根据录入的顺序依次储存在点数组里。随后对手势点数组进行遍历，求出相邻点的方向，方向由前面的点指向后面的点，再将方向值转换为与图3最相近的方向值，并存为方向数组。对方向数组中连续的相同方向上点进行合并，计算连续方向点的距离同时将距离过短的向量作为噪点去除。再合并连续的相同方向点，这时提取出来的向量首尾相接能够大致描绘出手势的骨架，骨架保留了手势的主要特征，具有良好的区分度。最后对向量的距离进行标准化，保存为采样的数组。
相似度算法：Android系统采用的相似度算法是需要保证通过采样获得的数据具有相同的维度，然而采用temporalSampling和spatialSampling采样算法会引起过多细节的丢失或数据的冗余等问题。采用基于向量的采样方法是对这两种采样方式的折中，但是得到的是长度不定的数组。根据数据长度不固定但是数组数据在时间上的连续特性，本文采用动态时间规整算法(Dynamic Time Warping，简称DTW)作为相似度算法。DTW算法是语音讯号处理上经常被使用的一种相似度估量方式，其主要的思想便是希望提供一种在时间轴上富有更大弹性的相似度对比方法。使做匹配的数据能透过在时间轴上的扭曲(即伸展或压缩)，找到最小误差的非线性对应。因为手势输入在时间轴上的连续性，使得基于向量的数据很适合用该算法。DTW算法的实质就是运用动态规划的思想，利用局部最佳化的处理来寻找一条路径使得两个特征矢量之间的累积失真量最小。
自适应手势识别算法：
对于过于简单的手势，当匹配相似度没有一个手势达到阈值时，可以重新采用Android原有的匹配方式进行匹配，欧几里得距离对这种简单的手势识别率较高。对于相同方向序列的手势，，但从方向的角度考虑这两种手势是基本相同的，因此在相似度上都会大于阈值。因此利用向量的方向来进行匹配的方法只做了初步的筛选，当存在多个相似度大于阈值的手势时，需要进行第二轮筛选，此时利用向量的距离进行筛选可以较好地区分手势或者也可以利用Android原有的识别方式进行识别，算法流程如图1所示。
综上所述，本发明提出的自适应手势识别方法，可提高手势识别的精确度及效率。传统的Android自定义手势识别采样，虽然会保证手势的完整性，但是产生了大量的数据冗余，并且伴随着大量的计算，导致效率不高。本文提出的提出基于向量的手势识别方法，利用该识别方式能够针对移动设备快速高效筛选简单的操作手势同时与android原有的基于距离(欧氏距离、余弦距离)的识别方法相结合，形成自适应的识别方法。较原有的识别方式在速度和精确度上都有一定的提高，在手持智能移动设备上有广泛的应用前景。
这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。
Claims (4)
1.一种自适应手势识别方法，其特征在于，所述方法包括：
步骤S1、基于向量对手势进行采样；
将手势通过有方向和大小的向量来构造；输入的手势的每一个点代表触屏设备识别到的触屏点，并根据录入的顺序依次储存在点数组里；随后对手势点数组进行遍历，求出相邻点的方向，方向由前面的点指向后面的点，再将方向值转换为与设定的方向值组中最相近的方向值，并存为方向数组；对方向数组中连续的相同方向上点进行合并，计算连续方向点的距离同时将距离过短的向量作为噪点去除；再合并连续的相同方向点，这时提取出来的向量首尾相接能够大致描绘出手势的骨架，骨架保留了手势的主要特征，具有良好的区分度；最后对向量的距离进行标准化，保存为采样的数组；
步骤S2、将基于向量采样的手势进行动态时间归整DTW匹配识别；
动态时间归整DTW匹配识别步骤包括：提供一种在时间轴上富有大弹性的相似度对比方法，使做匹配的数据能透过在时间轴上的扭曲，即伸展或压缩，找到最小误差的非线性对应；由于手势输入在时间轴上的连续性，使得基于向量的数据很适合用DTW匹配识别步骤；运用动态规划的思想，利用局部最佳化的处理来寻找一条路径使得两个特征矢量之间的累积失真量最小；X轴和Y轴分别为模板数据和待匹配的数据；X轴和Y轴的交点值代表所对应两个数组数据r[i]和t[j]的距离值，用D(r[i]，t[j])表示，距离值的计算方法用欧式距离算法实现；随后选择路径起点，利用局部路径约束使其朝规定方向动态规划，累加计算距离；
步骤S3、将步骤S2返回的结果与设定阈值进行比较，做初步筛选；若没有匹配到手势，则转至步骤S4；若匹配到若干相似结果，则转至步骤S5；若成功匹配到唯一的手势，则直接返回结果；
步骤S4、通过模板匹配识别方式进行识别，返回结果；模板匹配识别步骤包括：
通过手势点类来记录手指在触屏上滑动产生的点(x，y)，点数据类型为浮点型；一段连续的手势点构造成手势笔画类，通过该类不仅储存连续的点信息，还提供计算手势点包围盒的方法，用于后期进行点的位移缩放；最后由一系列手势笔画构成最终的手势类；
对获取的手势进行预处理；预处理采用两种取样方法：时间采样temporalSampling和空间抽样spatialSampling；
时间采样temporalSampling规定了采样点的个数N，计算所有手势点的总长度L，将N个点根据L/N得到的距离，平均分布到手势线路上；最后分配好的N个点的坐标作为取样点；
空间抽样spatialSampling是将手势渲染成N*N大小的2D位图，其先对手势大小缩放到统一大小，然后根据坐标点的小数部分判断点的比重，来填充N*N大小位图的数组，最后返回该数组作为取样结果；
经过变换取样标准化后会得到统一长度的样本数组，Android平台采用两种相似度算法分别为欧几里得距离和余弦距离；
欧几里得距离假设在d维空间有两点a＝[a1,a2,…,ad]，b＝[b1,b2,…,bd]则其欧几里得距离表示为：
余弦距离表示为：
根据计算得到相似度最高的手势即为最匹配手势；
步骤S5、利用向量的距离进行筛选，或者通过模板匹配识别方式进行识别，返回结果；模板匹配识别步骤包括：
通过手势点类来记录手指在触屏上滑动产生的点(x，y)，点数据类型为浮点型；一段连续的手势点构造成手势笔画类，通过该类不仅储存连续的点信息，还提供计算手势点包围盒的方法，用于后期进行点的位移缩放；最后由一系列手势笔画构成最终的手势类；
对获取的手势进行预处理；预处理采用两种取样方法：时间采样temporalSampling和空间抽样spatialSampling；
时间采样temporalSampling规定了采样点的个数N，计算所有手势点的总长度L，将N个点根据L/N得到的距离，平均分布到手势线路上；最后分配好的N个点的坐标作为取样点；
空间抽样spatialSampling是将手势渲染成N*N大小的2D位图，其先对手势大小缩放到统一大小，然后根据坐标点的小数部分判断点的比重，来填充N*N大小位图的数组，最后返回该数组作为取样结果；
经过变换取样标准化后会得到统一长度的样本数组，Android平台采用两种相似度算法分别为欧几里得距离和余弦距离；
欧几里得距离假设在d维空间有两点a＝[a1,a2,…,ad]，b＝[b1,b2,…,bd]则其欧几里得距离表示为：
余弦距离表示为：
根据计算得到相似度最高的手势即为最匹配手势。
2.一种自适应手势识别方法，其特征在于，所述方法包括：
步骤S1、基于向量对手势进行采样；
步骤S2、将基于向量采样的手势进行动态时间归整DTW匹配识别；
步骤S3、将步骤S2返回的结果与设定阈值进行比较，做初步筛选；若没有匹配到手势，则转至步骤S4；若匹配到若干相似结果，则转至步骤S5；若成功匹配到唯一的手势，则直接返回结果；
步骤S4、通过模板匹配识别方式进行识别，返回结果；
步骤S5、利用向量的距离进行筛选，或者通过模板匹配识别方式进行识别，返回结果；
所述步骤S4、步骤S5中的模板匹配识别步骤包括：
通过手势点类来记录手指在触屏上滑动产生的点(x，y)，点数据类型为浮点型；一段连续的手势点构造成手势笔画类，通过该类不仅储存连续的点信息，还提供计算手势点包围盒的方法，用于后期进行点的位移缩放；最后由一系列手势笔画构成最终的手势类；
对获取的手势进行预处理；预处理采用两种取样方法：时间采样temporalSampling和空间抽样spatialSampling；
时间采样temporalSampling规定了采样点的个数N，计算所有手势点的总长度L，将N个点根据L/N得到的距离，平均分布到手势线路上；最后分配好的N个点的坐标作为取样点；
空间抽样spatialSampling是将手势渲染成N*N大小的2D位图，其先对手势大小缩放到统一大小，然后根据坐标点的小数部分判断点的比重，来填充N*N大小位图的数组，最后返回该数组作为取样结果；
经过变换取样标准化后会得到统一长度的样本数组，Android平台采用两种相似度算法分别为欧几里得距离和余弦距离；
欧几里得距离假设在d维空间有两点a＝[a1,a2,…,ad]，b＝[b1,b2,…,bd]则其欧几里得距离表示为：
余弦距离表示为：
根据计算得到相似度最高的手势即为最匹配手势。
3.根据权利要求2所述的自适应手势识别方法，其特征在于：
所述步骤S1具体包括：将手势通过有方向和大小的向量来构造；输入的手势的每一个点代表触屏设备识别到的触屏点，并根据录入的顺序依次储存在点数组里；随后对手势点数组进行遍历，求出相邻点的方向，方向由前面的点指向后面的点，再将方向值转换为与设定的方向值组中最相近的方向值，并存为方向数组；对方向数组中连续的相同方向上点进行合并，计算连续方向点的距离同时将距离过短的向量作为噪点去除；再合并连续的相同方向点，这时提取出来的向量首尾相接能够大致描绘出手势的骨架，骨架保留了手势的主要特征，具有良好的区分度；最后对向量的距离进行标准化，保存为采样的数组。
4.根据权利要求2所述的自适应手势识别方法，其特征在于：
所述步骤S2中，动态时间归整DTW匹配识别步骤包括：提供一种在时间轴上富有大弹性的相似度对比方法，使做匹配的数据能透过在时间轴上的扭曲，即伸展或压缩，找到最小误差的非线性对应；由于手势输入在时间轴上的连续性，使得基于向量的数据很适合用DTW匹配识别步骤；运用动态规划的思想，利用局部最佳化的处理来寻找一条路径使得两个特征矢量之间的累积失真量最小；X轴和Y轴分别为模板数据和待匹配的数据；X轴和Y轴的交点值代表所对应两个数组数据r[i]和t[j]的距离值，用D(r[i]，t[j])表示，距离值的计算方法用欧式距离算法实现；随后选择路径起点，利用局部路径约束使其朝规定方向动态规划，累加计算距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410464452.5A CN104267835B (zh) | 2014-09-12 | 2014-09-12 | 自适应手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410464452.5A CN104267835B (zh) | 2014-09-12 | 2014-09-12 | 自适应手势识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104267835A CN104267835A (zh) | 2015-01-07 |
| CN104267835B true CN104267835B (zh) | 2017-08-08 |
Family
ID=52159362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410464452.5A Active CN104267835B (zh) | 2014-09-12 | 2014-09-12 | 自适应手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104267835B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105700677A (zh) * | 2015-12-29 | 2016-06-22 | 努比亚技术有限公司 | 一种移动终端及其控制方法 |
| CN107358171B (zh) * | 2017-06-22 | 2019-08-02 | 华中师范大学 | 一种基于余弦距离与动态时间规整的手势识别方法 |
| CN109165587B (zh) * | 2018-08-11 | 2022-12-09 | 国网福建省电力有限公司厦门供电公司 | 智能图像信息抽取方法 |
| CN115079882B (zh) * | 2022-06-16 | 2024-04-05 | 广州国威文化科技有限公司 | 基于虚拟现实的人机交互处理方法及系统 |
| CN115576431B (zh) * | 2022-11-18 | 2023-02-28 | 北京蔚领时代科技有限公司 | 一种vr手势编码、识别方法与装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0686931A2 (en) * | 1994-06-06 | 1995-12-13 | Xerox Corporation | Searching and matching unrecognized handwriting |
| CN102640085A (zh) * | 2009-09-29 | 2012-08-15 | 莫韦公司 | 用于识别手势的系统和方法 |
| CN103543826A (zh) * | 2013-07-30 | 2014-01-29 | 广东工业大学 | 一种基于加速度传感器的手势识别方法 |
| CN103971102A (zh) * | 2014-05-21 | 2014-08-06 | 南京大学 | 基于手指轮廓和决策树的静态手势识别方法 |
-
2014
- 2014-09-12 CN CN201410464452.5A patent/CN104267835B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0686931A2 (en) * | 1994-06-06 | 1995-12-13 | Xerox Corporation | Searching and matching unrecognized handwriting |
| CN102640085A (zh) * | 2009-09-29 | 2012-08-15 | 莫韦公司 | 用于识别手势的系统和方法 |
| CN103543826A (zh) * | 2013-07-30 | 2014-01-29 | 广东工业大学 | 一种基于加速度传感器的手势识别方法 |
| CN103971102A (zh) * | 2014-05-21 | 2014-08-06 | 南京大学 | 基于手指轮廓和决策树的静态手势识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104267835A (zh) | 2015-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104267835B (zh) | 自适应手势识别方法 | |
| Richard et al. | Temporal action detection using a statistical language model | |
| Shi et al. | Represent, compare, and learn: A similarity-aware framework for class-agnostic counting | |
| CN106951484B (zh) | 图片检索方法及装置、计算机设备及计算机可读介质 | |
| JP2667954B2 (ja) | 静的及び動的パラメータを使用する自動手書き文字認識装置及び方法 | |
| EP1934941B1 (en) | Bi-directional tracking using trajectory segment analysis | |
| Feng et al. | Depth-projection-map-based bag of contour fragments for robust hand gesture recognition | |
| US8730157B2 (en) | Hand pose recognition | |
| Yang et al. | Robust sign language recognition by combining manual and non-manual features based on conditional random field and support vector machine | |
| CN109472234B (zh) | 一种手写输入智能识别的方法 | |
| US20100329562A1 (en) | Statistical Online Character Recognition | |
| KR20200120739A (ko) | 공중 필기 인식을 위한 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장 매체 | |
| Elpeltagy et al. | Multi‐modality‐based Arabic sign language recognition | |
| Cheng et al. | A windowed dynamic time warping approach for 3D continuous hand gesture recognition | |
| CN109558855B (zh) | 一种基于手掌轮廓特征与模版匹配法相结合的空间手势识别方法 | |
| Gaur et al. | Generation of synthetic training data for handwritten Indic script recognition | |
| CN113657274A (zh) | 表格生成方法、装置、电子设备、存储介质及产品 | |
| CN106919884A (zh) | 面部表情识别方法及装置 | |
| CN104680196A (zh) | 手写字符识别方法和系统 | |
| CN108717436B (zh) | 一种基于显著性检测的商品目标快速检索方法 | |
| CN114730241B (zh) | 触摸式用户界面输入中的手势笔画识别 | |
| CN105243352A (zh) | 一种3d运动识别的方法及装置 | |
| CN110414402B (zh) | 一种手势数据标注方法、装置、电子设备及存储介质 | |
| Kapsouras et al. | Action recognition by fusing depth video and skeletal data information | |
| Axyonov et al. | Method of multi-modal video analysis of hand movements for automatic recognition of isolated signs of Russian sign language |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |