CN104102450A - 一种基于触摸屏手势识别的方法及系统 - Google Patents

Abstract

本发明适用于触摸控制领域，提供了一种基于触摸屏手势识别的方法，包括以下步骤：A、获取触摸屏的触摸手势轨迹位置组成的坐标矩阵；B、对获取的手势坐标矩阵进行优化处理；C、提取获取手势坐标的触摸轨迹的特征信息；D、计算与手势库中现有预设手势的匹配程度；E、判断相关值是否大于等于预设的阈值；F、判断相关值能否进行手势校正。通过滤除运算和插值运算对触摸手势轨迹进行了均匀和光滑运算，以及从横竖屏方向的角度对触摸手势轨迹进行的校正运算，去除了触摸屏上移动速度过快或过慢和有一定角度偏转的触摸引起的噪声，确保触摸手势与手势库中预设手势匹配的准确性，在基于触摸屏的智能终端中，具有良好的实时性、稳定性和准确性。

Description

一种基于触摸屏手势识别的方法及系统

技术领域

本发明属于触摸控制领域，尤其涉及一种识别准确率高并且功耗低的触摸屏手势识别方法及系统。 

背景技术

由于触控显示装置的更加便捷的操作使用方式，目前，已经广泛的应用到了各种智能消费电子产品中。基于触摸屏的手势识别是一种人机交互的重要途径，并且得到了越来越广泛的应用。 

触摸屏由触摸屏幕和触摸屏控制器两部分组成。智能终端在正常工作状态下，触摸屏控制器感知发生在触摸屏的触摸操作，向操作系统上报触摸轨迹，由系统提取触摸轨迹的特征信息，然后匹配手势库中的预设手势，响应触摸手势对应的应用，完成操作。 

智能终端在待机状态下，触摸屏控制器感知发生在触摸屏的触摸操作，向触摸屏固件上报触摸轨迹，由触摸屏固件提取触摸轨迹的特征信息，然后匹配手势库中的预设手势，唤醒操作系统，由系统响应触摸手势对应的应用，完成操作。 

目前，在提高手势识别准确率的基础上，对触摸轨迹有效特征信息的提取，手势匹配算法复杂度的降低，是触摸屏手势识别技术改进的主要方向。 

由于触摸屏的分辨率和一些人为的操作因素(如在触摸屏上移动速度过快或过慢，有一定角度偏转的触摸等)，往往带来一些不可预知的噪声， 降低了对现有触摸屏手势识别技术的准确率。 

发明内容

本发明的目的在于提供一种基于触摸屏手势识别的方法，旨在解决不可预知的噪声降低对触摸屏手势识别准确率的问题。 

本发明是这样实现的，一种基于触摸屏手势识别的方法，所述方法包括以下步骤： 

A、获取触摸屏的触摸手势轨迹位置组成的坐标矩阵； 

B、对获取的手势坐标矩阵进行优化处理； 

C、提取获取手势坐标的触摸轨迹的特征信息； 

D、计算与手势库中现有预设手势的匹配程度； 

E、判断相关值是否大于等于预设的阈值；如是，则相应对应的应用程序；如否，则执行步骤F； 

F、判断相关值能否进行手势校正，如是，则进行手势校正运算并执行步骤D，如否，则执行步骤A。 

本发明的进一步技术方案是：所述步骤A与步骤B之间还包括判断步骤： 

判断步骤，判断触摸手势包含的坐标点数是否超过设定阈值，如是，则执行步骤B；如否，则执行步骤A。 

本发明的进一步技术方案是：所述步骤B包括以下步骤： 

B1、对触摸手势轨迹进行均匀、光滑及校正处理； 

B2、对第一次采样平滑处理的数据进行数值标准化； 

B3、对数值标准化的数据进行均匀、光滑处理。 

本发明的进一步技术方案是：所述均匀处理采用的是滤除运算处理。 

本发明的进一步技术方案是：所述光滑处理采用的是插值运算处理，所述差值运算处理采用的是线性插值方法。 

本发明的另一目的在于提供一种基于触摸屏手势识别的系统，该系统包括： 

触摸轨迹获取模块，用于获取触摸屏的触摸手势轨迹位置组成的坐标矩阵； 

优化模块，用于对获取的手势坐标矩阵进行优化处理； 

提取模块，用于提取获取手势坐标的触摸轨迹的特征信息； 

匹配模块，用于计算与手势库中现有预设手势的匹配程度； 

相关值判断模块，用于判断相关值是否大于等于预设的阈值；如是，则相应对应的应用程序；如否，则执行步骤F； 

校正判断模块，用于判断相关值能否进行手势校正，如是，则进行手势校正运算并执行步骤D，如否，则执行步骤A。 

本发明的进一步技术方案是：所述触摸轨迹获取模块与所述优化模块之间还包括； 

手势点数判断模块，用于判断触摸手势包含的坐标点数是否超过设定阈值，如是，则执行步骤B；如否，则执行步骤A。 

本发明的进一步技术方案是：所述优化模块包括： 

一次采样处理单元，用于对触摸手势轨迹进行均匀、光滑及校正处理； 

数值标准化单元，用于对第一次采样平滑处理的数据进行数值标准化； 

二次采样处理单元，用于对数值标准化的数据进行均匀、光滑处理。 

本发明的进一步技术方案是：所述均匀处理采用的是滤除运算处理。 

本发明的进一步技术方案是：所述光滑处理采用的是插值运算处理，所述差值运算处理采用的是线性插值方法。 

本发明的有益效果是：通过滤除运算和插值运算对触摸手势轨迹进行了均匀和光滑运算，以及从横竖屏方向的角度对触摸手势轨迹进行的校正运算，去除了触摸屏上移动速度过快或过慢和有一定角度偏转的触摸引起的噪声，确保触摸手势与手势库中预设手势匹配的准确性，在基于触摸屏的智能终端中，具有良好的实时性、稳定性和准确性。 

附图说明

图1是本发明实施例提供的基于触摸屏手势识别的方法流程图； 

图2是本发明中触摸手势轨迹原始数据和第一次平滑采样后的数据对比图； 

图3是本发明中触摸手势轨迹经过数值标准化和第二次平滑采样后的数据对比图； 

图4是本发明中触摸手势轨迹经过点数标准化和特征变换后的数据对比图； 

图5是本发明中有角度偏转手势原始数据的图； 

图6是本发明中有角度偏转手势特征变换后和校正后的图。 

具体实施方式

本发明中的实施例中的触摸轨迹数据均在分辨率为[480，800]触摸屏得到。 

图1示出了本发明提供的基于触摸屏手势识别的方法流程图，其详述如下： 

步骤S1中，在本步骤中，基于触摸屏的智能终端处于休眠状态或工作状态，并且开启了手势识别功能。触摸屏控制器都可以以正常方式工作，能够对在触摸屏上手写单笔或多笔的手势进行反应。休眠状态下的扫描频率低于正常工作状态下的扫描频率，因此通过设置后面算法的参数，可以使得本方法能够识别更为复杂的手势。在获取触摸屏的触摸手势轨迹位置组成的坐标矩阵，系统通过接受触摸屏反馈的数据，计算出对应的坐标，由于手势识别系统对应在触摸屏上单笔书写，所有的坐标组成一个N*2的矩阵，其中每一行对应一个触摸点坐标，第一列为横坐标，第二列表示纵坐标。 

步骤S2，在本步骤中，判断触摸手势包含的坐标点数是否超过设定阈值；系统通过计算在触摸屏上单笔书写采集到的触摸点的数目，判断手否构成需要手势识别的有效触摸，如果是，则执行步骤S3，继续手势识别的运算；如果否，则执行步骤S1，进行下一次触摸轨迹坐标采集。 

步骤S3，在本步骤中，对获取的手势坐标矩阵进行优化处理；首先在针对在触摸屏上移动速度过快或过慢，有一定角度偏转的触摸等所引起的导致手势识别准确率低的问题，采用通过滤除运算和插值运算对触摸手势 轨迹进行了均匀和光滑运算，以及从横竖屏方向的角度对触摸手势轨迹进行的校正运算；滤除运算为对前后帧距离小于下限预设阈值的点直接滤除，该运算有效的降低了手势识别算法的复杂度，同时通过去除在触摸屏上移动速度过慢导致特征信息提取鲁棒性低的影响；插值运算为对前后帧距离大于上限预设阈值的点进行插值，插值的点决定前后帧距离与上下限预设阈值的关系。插值的方法包括各种插值方法，本实施例采用线性插值方法，该运算通过去除在触摸屏上移动速度过快导致特征信息提取鲁棒性低的影响；滤除运算与插值运算为同时进行的运算，记为第一次平滑采样，其横纵坐标分别记为x和y。其中触摸手势轨迹分别为原始数据和第一次平滑采样后的数据对比图，如图2(交底中图4)所示。其次，对第一次平滑采样后的数据进行数值标准化处理；其中，数值标准化的目的是使得不同分辨率的触摸屏在同一单位下进行运算，消除分辨率不同带来的噪声，数值标准化的过程如下： 

step1：分别计算Δx和Δy；其中Δx和Δy分别表示x坐标和y坐标中对应最大值与最少值之差，即Δx＝x_max-x_min，Δy＝y_max-y_min； 

step2：将x坐标和y坐标分别减去x_min和y_min后，再分别除以Δx和Δy，记为和；其中 $\stackrel{\‾}{x},\stackrel{\‾}{y}\∈\left[\mathrm{0,1}\right];$

s tep3：将和化成指定范围内的数值，得到x′和y′；分别将和乘以预设的数值ResX和ResY，即 $x^{\′}=\mathrm{ResX}*\stackrel{\‾}{x},y^{\′}=\mathrm{ResY}*\stackrel{\‾}{y}.$

由于对触摸轨迹横纵坐标不同的分辨率进行数值标准化，而导致数值 标准化之后的相邻坐标点距离会出现过近或远的情况，因此，需要继续对x′和y′组成的序列进行均匀和光滑运算，记为第二次平滑采样；第二次平滑采样具体实现同第一次平滑采样算法，其横纵坐标分别记为x″和y″。其中触摸手势轨迹经过第一次平滑采样后的数据依次经过数值标准化和第二次平滑采样后的数据对比图，如图3(交底图5)所示。 

步骤S4，在本步骤中，提取获取手势坐标的触摸轨迹的特征信息；触摸轨迹坐标数据经过上述的优化处理后，为了继续消除触摸过程中人为操作引起的噪声，提取更为准确的特征信息，因此，触摸第二次平滑采样完成后对x″和y″组成的坐标数据一次进行点数标准化和特征变换。本实施例提取的触摸轨迹特征信息包括经过数据处理后的坐标信息，首尾连续三点坐标的夹角信息，首尾连续两点坐标与横坐标正方向的夹角信息。其中提取坐标信息的过程包括点数标准化和特征变换两个步骤。 

点数标准化的过程如下： 

step1：计算出x″和y″组成坐标的点数，记为Num。 

step2：计算x″和y″组成坐标矩阵中每行数据对应的行数Row乘上需要得到的标准化点数NormNum后除以Num，记为

step3：对x″和y″组成坐标矩阵中满足  $\frac{\mathrm{Row}*\mathrm{NormNum}}{\mathrm{Num}}\≤\mathrm{ceil}\left(\frac{\mathrm{Row}*\mathrm{NormNum}}{\mathrm{Num}}\right)$ 的坐标行数Row的点加权平均化为一点；其中，ceil为偏离零的方向取整函数。 

x″和y″组成坐标矩阵经过点数标准化运算后，得到一个行数为 NormNum列数为2的矩阵，这里第一列第二列分别为横纵坐标，分别记为和

和组成的坐标矩阵的特征变换方法如下： 

将和序列分别减去对应的首点，得到的差值除以一个整数M取整后再乘以一个整数N，得到和；其计算公式为： 

$\stackrel{\‾}{x^{\′\′}}=(\left(\right[\stackrel{\‾}{x^{\′}}-\stackrel{\‾}{x^{\′}}\left(1\right))/M])*N,\stackrel{\‾}{y^{\′\′}}=(\left(\right[\stackrel{\‾}{y^{\′}}-\stackrel{\‾}{y^{\′}}\left(1\right))/M])*N.$

提取经过数据处理后的坐标中的首尾连续三点坐标的夹角信息的过程如下： 

以经过数据处理后的坐标组成一个环形计算单元，计算当前点坐标与前一点坐标组成的向量，以及后一点坐标与当前点坐标组成的向量，并且求得两向量的夹角。 

提取经过数据处理后的坐标中的首尾连续两点坐标与横坐标正方向的夹角信息的过程如下： 

以经过数据处理后的坐标组成一个环形计算单元，计算当前点坐标与前一点坐标组成的向量，原点(0，0)与横轴正方向点组成的向量，并且求得两向量的夹角。 

其中触摸手势轨迹经过第二次平滑采样后的数据依次经过点数标准化和特征变换后的数据对比图，如图4(交底图6)所示。 

步骤S5，在本步骤中，计算与手势库中现有预设手势的匹配程度；匹配程度包括经过数据处理后的坐标信息与预设手势的坐标信息的相关值，首尾连续三点坐标的夹角信息的差的绝对值之和。相关值的计算公式如下： 

$R_{X\stackrel{\‾}{x^{\′\′}}}=\frac{\mathrm{\Σ}{X}_i\stackrel{\‾}{x_i^{\′\′}}-\mathrm{nX}\stackrel{\‾}{x^{\′\′}}}{n{S}_X{S}_{\stackrel{\‾}{x^{\′\′}}}}=\frac{\mathrm{n\Σ}{X}_i\stackrel{\‾}{x_i^{\′\′}}-\mathrm{\Σ}{X}_i\mathrm{\Σ}\stackrel{\‾}{x_i^{\′\′}}}{\sqrt{\mathrm{n\Σ}{X_i}^2-{\left(\mathrm{\Σ}{X}_i\right)}^2}\sqrt{\mathrm{n\Σ}{\stackrel{\‾}{x_i^{\′\′}}}^2-{\left(\mathrm{\Σ}\stackrel{\‾}{x_i^{\′\′}}\right)}^2}};$

$R_{Y\stackrel{\‾}{y^{\′\′}}}=\frac{\mathrm{\Σ}{Y}_i\stackrel{\‾}{y_i^{\′\′}}-\mathrm{nY}\stackrel{\‾}{y^{\′\′}}}{n{S}_Y{S}_{\stackrel{\‾}{y^{\′\′}}}}=\frac{\mathrm{n\Σ}{Y}_i\stackrel{\‾}{y_i^{\′\′}}-\mathrm{\Σ}{Y}_i\mathrm{\Σ}\stackrel{\‾}{y_i^{\′\′}}}{\sqrt{\mathrm{n\Σ}{Y_i}^2-{\left(\mathrm{\Σ}{Y}_i\right)}^2}\sqrt{\mathrm{n\Σ}{\stackrel{\‾}{y_i^{\′\′}}}^2-{\left(\mathrm{\Σ}\stackrel{\‾}{y_i^{\′\′}}\right)}^2}};$ 其中由X和Y组成的矩阵为预设手势的坐标矩阵，分别表示经过数据处理后的横纵坐标与预设手势的横纵坐标的相关值；根据Cauchy-Schwarz不等式，由上述计算相关值公式可知，相关值计算首尾连续三点坐标的夹角信息的差的绝对值之和，记为AngleSum；计算首尾连续两点坐标与横坐标正方向的夹角，依序组成一向量，记为CorrectAngleInfo；其中，两向量夹角由下面的公式计算：这里·表示向量的点积运算，|·|表示向量的求模运算，cos^-1为反余弦函数。 

步骤S6，在本步骤中，判断相关值是否大于等于预设的阈值；以及AngleSum是否小于等于预设的阈值，如果是，则响应对应的应用程序；如果否，则执行步骤S7。 

步骤S7，在本步骤中，判断相关值能否进行手势校正；通过首尾连续三点坐标的夹角信息的差的绝对值之和，即AngleSum，来判断是否进行手势校正；若AngleSum小于等于预设阈值，则进行手势校正运算并执行步骤S5，如否则转入步骤S1。手势校正运算包括以下步骤： 

step1：计算触摸手势首尾连续两点坐标与横坐标正方向的夹角与预设手势首尾连续两点坐标与横坐标正方向的夹角的向量差，记为CorrectAngle； 

step2：计算触摸手势坐标点向横坐标正方向偏转CorrectAngle角度的值，得到的值为校正的触摸手势坐标。其中图6示出了本发明中有角度偏转手势特征变换后和校正后的对比图形。 

其中，响应对应的应用程序；智能终端响应对应的应用程序包括情况： 

在待机状态下，触摸匹配成功后，触摸屏固件唤醒操作系统进行应用切换等功能。例如，休眠状态下，在触摸屏上写入W，可以直接唤醒系统，然后跳转入微信界面进行操作； 

在正常工作状态下，触摸匹配成功后，系统直接进行应用切换等功能。例如，正常工作状态下，在触摸屏上写入W，可以直接跳转入微信界面进行操作。 

综上所述，本发明所提供的一种基于触摸屏手势识别的方法是通过采集在触摸屏上触摸轨迹坐标信息，对坐标信息进行数据处理后与预设的触摸轨迹信息进行相关计算，并且实现了一定角度偏转手势的校正。因此，本发明相比较现有的技术具有下列优点：第一，对触摸轨迹坐标信息的处理，提高了识别手势的准确度；第二，相关计算使得对手势识别的复杂度选择具有弹性，同时为识别更为复杂的手势提供了理论依据；第三，偏转手势的校正，使得基于触摸屏的人机交互设备更为智能。 

本发明的另一目的在于提供一种基于触摸屏手势识别的系统，该系统包括： 

触摸轨迹获取模块，用于获取触摸屏的触摸手势轨迹位置组成的坐标矩阵； 

优化模块，用于对获取的手势坐标矩阵进行优化处理； 

提取模块，用于提取获取手势坐标的触摸轨迹的特征信息； 

匹配模块，用于计算与手势库中现有预设手势的匹配程度； 

相关值判断模块，用于判断相关值是否大于等于预设的阈值；如是，则相应对应的应用程序；如否，则执行步骤F； 

校正判断模块，用于判断相关值能否进行手势校正，如是，则进行手势校正运算并执行步骤D，如否，则执行步骤A。 

所述触摸轨迹获取模块与所述优化模块之间还包括； 

手势点数判断模块，用于判断触摸手势包含的坐标点数是否超过设定阈值，如是，则执行步骤B；如否，则执行步骤A。 

所述优化模块包括： 

一次采样处理单元，用于对触摸手势轨迹进行均匀、光滑及校正处理； 

数值标准化单元，用于对第一次采样平滑处理的数据进行数值标准化； 

二次采样处理单元，用于对数值标准化的数据进行均匀、光滑处理。 

所述均匀处理采用的是滤除运算处理。 

所述光滑处理采用的是插值运算处理，所述差值运算处理采用的是线性插值方法。 

本发明所提供的一种基于触摸屏手势识别的系统是通过采集在触摸屏上触摸轨迹坐标信息，对坐标信息进行数据处理后与预设的触摸轨迹信息进行相关计算，并且实现了一定角度偏转手势的校正。因此，本发明相比较现有的技术具有下列优点：第一，对触摸轨迹坐标信息的处理，提高了 识别手势的准确度；第二，相关计算使得对手势识别的复杂度选择具有弹性，同时为识别更为复杂的手势提供了理论依据；第三，偏转手势的校正，使得基于触摸屏的人机交互设备更为智能。 

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。 

Claims (10)

1.一种基于触摸屏手势识别的方法，其特征在于，所述方法包括以下步骤：

A、获取触摸屏的触摸手势轨迹位置组成的坐标矩阵；

B、对获取的手势坐标矩阵进行优化处理；

C、提取获取手势坐标的触摸轨迹的特征信息；

D、计算与手势库中现有预设手势的匹配程度；

E、判断相关值是否大于等于预设的阈值；如是，则响应对应的应用程序；如否，则执行步骤F；

F、判断相关值能否进行手势校正，如是，则进行手势校正运算并执行步骤D，如否，则执行步骤A。

2.根据权利要求1所述的方法，其特征在于，所述步骤A与步骤B之间还包括判断步骤：

判断步骤，判断触摸手势包含的坐标点数是否超过设定阈值，如是，则执行步骤B；如否，则执行步骤A。

3.根据权利要求2所述的方法，其特征在于，所述步骤B包括以下步骤：

B1、对触摸手势轨迹进行均匀、光滑及校正处理；

B2、对第一次采样平滑处理的数据进行数值标准化；

B3、对数值标准化的数据进行均匀、光滑处理。

4.根据权利要求3所述的方法，其特征在于， 所述均匀处理采用的是滤除运算处理。

5.根据权利要求4所述的方法，其特征在于，所述光滑处理采用的是插值运算处理，所述差值运算处理采用的是线性插值方法。

6.一种基于触摸屏手势识别的系统，其特征在于，该系统包括：

触摸轨迹获取模块，用于获取触摸屏的触摸手势轨迹位置组成的坐标矩阵；

优化模块，用于对获取的手势坐标矩阵进行优化处理；

提取模块，用于提取获取手势坐标的触摸轨迹的特征信息；

匹配模块，用于计算与手势库中现有预设手势的匹配程度；

相关值判断模块，用于判断相关值是否大于等于预设的阈值；如是，则相应对应的应用程序；如否，则执行步骤F；

校正判断模块，用于判断相关值能否进行手势校正，如是，则进行手势校正运算并执行步骤D，如否，则执行步骤A。

7.根据权利要求6所述的系统，其特征在于，所述触摸轨迹获取模块与所述优化模块之间还包括；

手势点数判断模块，用于判断触摸手势包含的坐标点数是否超过设定阈值，如是，则执行步骤B；如否，则执行步骤A。

8.根据权利要求7所述的系统，其特征在于，所述优化模块包括：

一次采样处理单元，用于对触摸手势轨迹进行均匀、光滑及校正处理；

数值标准化单元，用于对第一次采样平滑处理的数据进行数值标准化；

二次采样处理单元，用于对数值标准化的数据进行均匀、光滑处理。

9.根据权利要求8所述的系统，其特征在于，所述均匀处理采用的是滤除运算处理。

10.根据权利要求9所述的系统，其特征在于，所述光滑处理采用的是插值运算处理，所述差值运算处理采用的是线性插值方法。