CN102830858B - 一种手势识别方法、装置及触摸屏终端 - Google Patents

Abstract

本发明适用于触摸屏终端领域，提供了一种手势识别方法、装置及触摸屏终端，所述方法包括下述步骤：根据触摸屏上的手势操作，采集手势操作信号数据；通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据；识别连接的操作系统；将所述各触摸点坐标数据和手势操作数据转换为可被操作系统识别的各触摸点坐标数据和手势操作数据。本发明实现了至少一个手指的手势识别，并根据连接的不同操作系统将手势识别结果处理成相应的格式；本发明采用手势识别算法实现了多种手势的识别，并实现了对不同种类的操作系统的兼容。

Description

一种手势识别方法、装置及触摸屏终端

技术领域

本发明属于触摸屏终端领域，尤其涉及一种手势识别的方法、装置及触摸屏终端。

背景技术

现阶段，比较成熟的触摸屏技术包括：电阻式触摸屏、电容式触摸屏、声波式触摸屏和红外式触摸屏。然而，现有的触摸屏终端只是简单地输出触摸点的坐标，没有集成高级的手势识别算法，无法通过更多的手势操作来快捷地操作。

另外，windows操作系统系列中windows7支持多点触摸，但是windowsxp等更低的版本却不支持；Linux操作系统系列、MACOS操作系统系列和Andorid操作系统系列等的部分版本都不支持触摸屏技术。然而，现有的触摸屏技术主要是针对单一的操作系统开发的，难以兼容各操作系统。

发明内容

本发明实施例的目的在于提供一种手势识别方法，旨在解决触摸屏的多点识别和兼容多种操作系统的问题。

本发明实施例是这样实现的，一种手势识别方法，所述手势识别方法包括下述步骤：

根据触摸屏上的手势操作，采集手势操作信号数据；

通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据；

识别连接的操作系统；

将所述各触摸点坐标数据和手势操作数据转换为可被操作系统识别的各触摸点坐标数据和手势操作数据。

进一步地，所述手势操作包括：单手指单击、双击和长按，双手指移动、远离、靠近和旋转，三手指移动，单手移动、合拢和放开，双手移动、远离和靠近。

进一步地，所述通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据，包括下述步骤：

根据所述手势操作信号数据，获取各触摸点的运动坐标数据；

根据所述各触摸点的运动坐标数据，计算各触摸点之间的距离、各触摸点的移动距离和各触摸点之间连成的直线与预先设定的水平线形成的角度；

判断计算出的所述各触摸点之间的距离、计算出的所述各触摸点的移动距离以及计算出的所述各触摸点之间连成的直线与预先设定的水平线形成的角度是否满足预设的手势识别阈值，若是，则判定为进行了相应的手势操作，获取该手势操作各触摸点坐标数据和手势操作数据。

进一步地，所述识别连接的操作系统具体为：通过枚举法识别连接的操作系统。

本发明实施例的另一目的在于提供一种手势识别装置，所述手势识别装置包括：

采集单元，用于根据触摸屏上的手势操作，采集手势操作信号数据；

分析处理单元，通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据；

识别单元，用于识别连接的操作系统；以及

格式转换单元，用于将触摸点坐标数据和手势操作代码数据转换为可被操作系统识别的触摸点坐标数据和手势操作代码数据。

进一步地，所述手势操作包括：单手指单击、双击和长按，双手指移动、远离、靠近和旋转，三手指移动，单手移动、合拢和放开，双手移动、远离和靠近。

进一步地，所述分析处理单元包括：

获取单元，用于根据所述手势操作信号数据，获取各触摸点的运动坐标数据；

计算单元，用于根据各触摸点的运动坐标数据，计算各触摸点之间的距离、各触摸点的移动距离和各触摸点之间连成的直线与预先设定的水平线形成的角度；以及

手势识别单元，用于判断计算出的所述各触摸点之间的距离、计算出的所述各触摸点的移动距离以及计算出的所述各触摸点之间连成的直线与预先设定的水平线形成的角度是否满足预设的手势识别阈值，若是，则判定为进行了相应的手势操作，获取该手势操作各触摸点坐标数据和手势操作数据。

进一步地，所述识别单元实现所述识别连接的操作系统的方式具体为：通过枚举法识别连接的操作系统。

本发明实施例的另一目的在于提供一种触摸屏终端，所述触摸屏终端包括：上述手势识别装置以及触摸屏。

进一步地，所述触摸屏为红外式触摸屏。

进一步地，所述触摸屏采用磁性吸附的安装方式。

本发明实施例根据触摸屏上的手势操作，采集手势操作信号数据；通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据；识别连接的操作系统；将所述各触摸点坐标数据和手势操作数据转换为可被操作系统识别的各触摸点坐标数据和手势操作数据。本发明实施例实现了多点触控；并且，本发明实施例可以智能识别连接的操作系统，从而可以兼容多种操作系统。

附图说明

图1是本发明实施例一提供的手势识别方法的实现流程图；

图2是本发明实施例二提供的基于红外触摸屏采用手势识别方法的流程图；

图3是本发明实施例三提供的手势识别装置的组成结构图；

图4是本发明实施例四提供的触摸屏终端的组成结构图。

具体执行方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例根据触摸屏上的手势操作，采集手势操作信号数据；通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据；识别连接的操作系统；将所述各触摸点坐标数据和手势操作数据转换为可被操作系统识别的各触摸点坐标数据和手势操作数据。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明第一实施例提供的手势识别方法的实现流程，详述如下：

在步骤S101中，根据触摸屏上的手势操作，采集手势操作信号数据。

本实施例可以用于进行手势操作的触摸屏，包括电阻式触摸屏，电容式触摸屏、声波式触摸屏和红外式触摸屏等。当用户在触摸屏上进行手势操作时，触摸屏终端会进行手势操作信号数据的采集工作。

在步骤S102中，通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据。

优选的是，所述手势操作包括：单手指单击、双击和长按，双手指移动、远离、靠近和旋转，三手指移动，单手移动、合拢和放开，双手移动、远离和靠近。

优选的是，所述通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据，包括下述步骤：

根据所述手势操作信号数据，获取各触摸点的运动坐标数据；

根据所述各触摸点的运动坐标数据，计算各触摸点之间的距离、各触摸点的移动距离和各触摸点之间连成的直线与预先设定的水平线形成的角度；

判断计算出的所述各触摸点之间的距离、计算出的所述各触摸点的移动距离以及计算出的所述各触摸点之间连成的直线与预先设定的水平线形成的角度是否满足预设的手势识别阈值，若是，则判定为进行了相应的手势操作，获取该手势操作各触摸点坐标数据和手势操作数据。

在本实施例中，单手放开和单手合拢的手势识别的阈值一般取5mm到10mm之间的任一值作为阈值，例如：默认值为6mm；即，当单手的每两根相邻手指的触摸点之间的距离的变化量增加到大于或等于6mm时，判定为进行了单手放开的手势操作；当单手的每两根相邻的手指的触摸点之间的距离的变化量减小到大于或等于6mm时，判定为进行了单手合拢的手势操作。

在本实施例中，双手指旋转的手势识别的阈值一般取10度到15度之间的任一值作为阈值，例如：默认值为10度；当双手指的两个触摸点确定的直线与预先确定的水平线所形成的角度的变化量大于或等于10度时，根据具体情况，判定为进行了一次顺时针或逆时针旋转的手势操作。

在本实施例中，单手指单击、双击和长按，双手指移动、远离、靠近和旋转，三手指移动，单手移动、合拢和放开，双手移动、远离和靠近等手势操作的手势识别，所述手势识别采用的阈值范围或默认值可以根据实际情况习惯确定。

在步骤S103中，识别连接的操作系统。

优选的是，所述识别连接的操作系统具体为：通过枚举法识别连接的操作系统。

当触摸屏终端与操作系统进行初始连接时，操作系统会发送指令对触摸屏终端进行初步检测；触摸屏终端可以通过所述指令智能识别与其连接的操作系统，例如：windows操作系统系列、Linux操作系统系列、MACOS操作系统系列和Andorid操作系统系列等。

在步骤S104中，将各触摸点坐标数据和手势操作数据转换为可被操作系统识别的各触摸点坐标数据和手势操作数据。

当将可被操作系统识别的各触摸点坐标数据和手势操作数据发送给操作系统后，操作系统会根据预先设定的手势操作对应操作系统的操作内容，进行操作。

本实施例提供的手势识别方法实现了多点触摸的手势识别；本实施例提供的手势识别方法可以智能识别连接的操作系统，将手势识别结果即触摸点坐标数据和手势操作数据，处理成满足所述操作系统处理规范的格式，实现多种操作系统的兼容。

实施例二：

为了更进一步地解释实施例一中所述通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据这一步骤，以在红外触摸屏上进行手势操作，触摸屏终端采用手势识别算法进行手势识别为例；所述红外触摸屏包括红外单元；所述触摸屏终端包括USB接口和微控制单元(MicroControlUnit，MCU)等。

图2示出了基于红外触摸屏进行手势操作，触摸屏终端采用手势识别算法进行手势识别的流程图，详述如下：

在步骤S201中，设备初始化。红外触摸屏和触摸屏终端进行初始化。

在步骤S202中，MCU控制红外管矩阵，采集初始信号值。

在步骤S203中，MCU控制红外管矩阵，采集当前信号值。

在步骤S204中，比较步骤S203中采集到的所述当前信号值和步骤S202中采集到的所述初始信号值。

在步骤S205中，是否存在触摸点。根据步骤S204中的比较结果，如果不存在触摸点，返回步骤S203；如果存在触摸点，进入步骤S206。

在步骤S206中，计算各触摸点之间的距离、各触摸点的移动距离和各触摸点之间连成的直线与预先设定的水平线形成的角度等。

在步骤S207中，触摸点的变化量是否达到手势识别的阈值。判断步骤S206中计算出的各触摸点之间的距离、计算出的各触摸点的移动距离和计算出的各触摸点之间连成的直线与预先设定的水平线形成的角度是否满足手势识别阈值，若是，判定为进行了相应的手势操作，进入步骤S208；如果识别出为触摸点坐标没有变化时，进入步骤S209。

在步骤S208中，发送手势识别的识别结果，返回步骤S203。根据在步骤S207中的手势识别结果，获取手势操作数据，发送给与触摸屏终端的操作系统。

在步骤S209中，发送触摸点的坐标，返回步骤S203。在步骤S207中，当识别出的手势操作为单击、双击和长按等触摸点坐标不变的手势操作类型时，获取各触摸点坐标数据和手势操作数据，发送触摸点坐标数据和手势操作数据给触摸屏终端的操作系统。

本实施例提供的手势识别方法实现了多点触摸的手势识别。

实施例三：

图3示出了本发明第三实施例提供的手势识别装置的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。

该手势识别装置可以是运行于移动终端（例如手机、平板电脑）内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件集成到所述移动终端中或者运行于所述移动终端的应用系统中。

该手势识别装置包括采集单元31、分析处理单元32、识别单元33和格式转换单元34，各功能单元详述如下：

采集单元31根据触摸屏上的手势操作，采集手势操作信号数据。

分析处理单元32通过预存的手势识别算法分析处理采集单元31中的手势操作信号数据，获取各触摸点坐标数据和手势操作数据。

优选的是，所述分析处理单元32包括获取单元321、计算单元322和手势识别单元323。

获取单元321根据手势操作信号数据，获取各触摸点的运动坐标数据。

计算单元322根据获取单元321中的各触摸点的运动坐标数据，计算各触摸点之间的距离、各触摸点的移动距离和各触摸点之间连成的直线与预先设定的水平线形成的角度。

手势识别单元323判断计算单元322中计算出的所述各触摸点之间的距离、计算出的所述各触摸点的移动距离以及计算出的所述各触摸点之间连成的直线与预先设定的水平线形成的角度是否满足预设的手势识别阈值，若是，则判定为进行了相应的手势操作，获取该手势操作各触摸点坐标数据和手势操作数据。

识别单元33识别连接的操作系统。

优选的是，所述识别单元实现所述识别连接的操作系统的方式具体为：通过枚举法识别连接的操作系统。

当触摸屏终端与操作系统进行初始连接时，操作系统会发送指令对触摸屏终端进行初步检测；触摸屏终端中的识别单元33可以通过所述指令智能识别与其连接的操作系统，例如：windows操作系统系列、Linux操作系统系列、MACOS操作系统系列和Andorid操作系统系列等。

格式转换单元34将分析处理单元32中的各触摸点坐标数据和手势操作数据转换为可被识别单元33中所述操作系统能够识别的各触摸点坐标数据和手势操作数据。

本实施例提供的手势识别装置可以使用实施例一中所述手势识别方法，详情参见实施例一中所述手势识别方法的相关描述，在此不再赘述。

本领域技术人员可以理解为上述实施例三包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

为了更好地理解本实施例，以红外式触摸屏和包含手势识别装置的触摸屏终端为例。

所述触摸屏终端包含有微控制单元(MicroControlUnit，MCU)和模/数转换器（Analog-to-DigitalConverter，ADC）。

MCU具有所述手势识别装置拥有的功能。

MCU通过通用输入/输出（GeneralPurposeInputOutput，GPIO）分别控制红外发射管矩阵和接收管矩阵；MCU通过ADC采集红外接收管的信号值，并在内存中进行实时保存。

MCU计算内存中所述信号值的变化量，并采用手势识别算法进行手势识别；手势识别的结果采用各触摸点坐标数据和手势操作数据格式保存。

手势识别的具体步骤：获取单元获取手势操作信号数据，包括触摸点的坐标以及触摸点在X轴和Y轴产生的阴影（红外光被遮挡的区域）；计算单元根据获取单元中的手势操作信号数据计算触摸点的各种相关信息，比如各触摸点之间的距离、各触摸点的移动距离、各触摸点之间连成的直线与预先设定的水平线形成的角度和各触摸点的移动速度等；手势识别单元监测计算单元中所述各触摸点的各种相关信息的变化量，当变化量达到某个手势的相应阈值时，则识别结果为该手势；例如：当两个触摸点的距离增加到双手指远离手势的阈值时，则认为用户做了双手指远离手势；同理可以识别双指缩小等手势操作。

当触摸屏终端通过USB接口或者RS-232接口连接到操作系统时，操作系统在对触摸屏终端进行初次检测时，触摸屏终端采用枚举法识别所述操作系统的类别。然后，将各触摸点坐标数据和手势操作数据转换为可被所述操作系统识别的各触摸点坐标数据和手势操作数据，发送给所述操作系统。

表1示出了在触摸屏进行手势操作，在操作系统上响应的系统操作。表1中列出的手势识别效果为默认配置状态，用户可以根据需求进行自由配置。

表1

本实施例实现了至少一个手指的手势操作的手势识别，并能智能识别与所述手势识别装置连接的操作系统，将手势识别结果即触摸点坐标数据和手势操作数据，处理成所述操作系统需要的数据格式。

实施例四：

本发明实施例提供了一种触摸屏终端，所述触摸屏终端包括实施例三提供的手势识别装置以及触摸屏。

图4示出了本发明第四实施例提供的触摸屏终端的组成结构，所述触摸屏终端包括触摸屏41和实施例三提供的手势识别装置42，具体描述如下：

触摸屏41是用于采集用户的手势操作的装置。

本实施例中，用于采集手势操作的触摸屏，包括电阻式触摸屏，电容式触摸屏、声波式触摸屏和红外式触摸屏等。当用户在触摸屏上进行手势操作时，触摸屏终端进行手势操作信号数据的采集。

优选的是，本实施例采用红外式触摸屏；所述红外式触摸屏无需添加介质，具有较高的透光度。

进行触摸屏安装操作时，可以采用双面胶粘贴、背带捆绑和磁性吸附等方式。优选的是，本实施例采用磁性吸附方式，在进行安装和拆卸方面都比较方便、快捷。

本实施例根据显示器是否带有磁性边框或是否带有可被磁铁吸附的金属边框分三种处理方式，详述如下：

带有磁性边框的显示器：在设计触摸屏时，选用带有可被磁性吸附的材料设计触摸屏边框；当进行触摸屏安装在显示器上时，根据磁性吸附原理，触摸屏只需要靠近显示器即可被吸附。

带有可被磁铁吸附的金属边框的显示器：在设计触摸屏时，选用磁性材料设计触摸屏边框，或者在触摸屏边框内部嵌入强力磁铁等方式；当进行触摸屏安装在显示器上时，根据磁性吸附原理，触摸屏可以直接吸附在显示器上。

不带有磁性或可被磁铁吸附的金属边框的显示器：对于不带有磁性或者可被磁铁吸附的金属边框的显示器，采用制作磁铁贴方式（即将磁铁与双面胶结合，预先把磁铁贴在显示器上）；这样触摸屏的安装按照上述带有磁性边框的显示器的方式实施即可。

手势识别装置42识别触摸屏41上的手势操作。

本发明实施例根据触摸屏上的手势操作，采集手势操作信号数据；通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据；识别连接的操作系统；将所述各触摸点坐标数据和手势操作数据转换为可被操作系统识别的各触摸点坐标数据和手势操作数据。本发明实施例可以识别至少一个手指的手势操作；本发明实施例可以智能识别连接的操作系统，将各触摸点坐标数据和手势操作数据处理成所述操作系统规定的格式。

本领域普通技术人员还应该理解，上述实施例方法中的全部或部分步骤是可以通过程序的方式实现，上述实施例装置中的全部或部分功能单元可以通过程序的方式实现，所述程序可以存储于可读取存储介质中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种手势识别方法，其特征在于，所述方法包括下述步骤：

根据触摸屏上的手势操作，采集手势操作信号数据；

通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据；

识别连接的操作系统；

将所述各触摸点坐标数据和手势操作数据转换为可被操作系统识别的各触摸点坐标数据和手势操作数据；

所述通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据，包括下述步骤：

根据所述手势操作信号数据，获取各触摸点的运动坐标数据；

根据所述各触摸点的运动坐标数据，计算各触摸点之间的距离、各触摸点的移动距离和各触摸点之间连成的直线与预先设定的水平线形成的角度；

判断计算出的所述各触摸点之间的距离、计算出的所述各触摸点的移动距离以及计算出的所述各触摸点之间连成的直线与预先设定的水平线形成的角度是否满足预设的手势识别阈值，若是，则判定为进行了相应的手势操作，获取该手势操作各触摸点坐标数据和手势操作数据。

2.如权利要求1所述的方法，其特征在于，所述手势操作包括：单手指单击、双击和长按，双手指移动、远离、靠近和旋转，三手指移动，单手移动、合拢和放开，双手移动、远离和靠近。

3.如权利要求1所述的方法，其特征在于，所述识别连接的操作系统具体为：

通过枚举法识别连接的操作系统。

4.一种手势识别装置，其特征在于，所述手势识别装置包括：

采集单元，用于根据触摸屏上的手势操作，采集手势操作信号数据；

分析处理单元，用于通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据；

识别单元，用于识别连接的操作系统；以及

格式转换单元，用于将各触摸点坐标数据和手势操作数据转换为可被操作系统识别的各触摸点坐标数据和手势操作数据；

所述分析处理单元包括：

获取单元，用于根据所述手势操作信号数据，获取各触摸点的运动坐标数据；

计算单元，用于根据所述各触摸点的运动坐标数据，计算各触摸点之间的距离、各触摸点的移动距离和各触摸点之间连成的直线与预先设定的水平线形成的角度；以及

手势识别单元，用于判断计算出的所述各触摸点之间的距离、计算出的所述各触摸点的移动距离以及计算出的所述各触摸点之间连成的直线与预先设定的水平线形成的角度是否满足预设的手势识别阈值，若是，则判定为进行了相应的手势操作，获取该手势操作各触摸点坐标数据和手势操作数据。

5.如权利要求4所述的手势识别装置，其特征在于，所述手势操作包括：单手指单击、双击和长按，双手指移动、远离、靠近和旋转，三手指移动，单手移动、合拢和放开，双手移动、远离和靠近。

6.如权利要求4所述的手势识别装置，其特征在于，所述识别单元实现所述识别连接的操作系统的方式具体为：

通过枚举法识别连接的操作系统。

7.一种触摸屏终端，其特征在于，所述触摸屏终端包括：

如权利要求4至5任一项所述的手势识别装置以及触摸屏。

8.如权利要求7所述的触摸屏终端，其特征在于，所述触摸屏为红外式触摸屏。

9.如权利要求7所述的触摸屏终端，其特征在于，所述触摸屏采用磁性吸附的安装方式。