CN106293434A - 车载触摸屏终端的多点手势识别方法及装置 - Google Patents

Abstract

本发明涉及一种车载触摸屏终端的多点手势识别方法，包括步骤：监控触摸屏，当发生触摸事件时，从触摸屏终端获取触摸事件信息；通过手势驱动算法将触摸事件信息转换成预先定义好的手势信息；通过预先定义的通信协议将手势信息发送至目的应用程序；以及，目的应用程序将手势信息转换为可被应用程序识别的手势信息，并且应用程序响应该手势信息，执行对应的操作。本发明的车载触摸屏终端的多点手势识别方法，通过定义通信协议，使车载操作系统能够支持多点触摸屏终端的多点手势控制。

Description

车载触摸屏终端的多点手势识别方法及装置

技术领域

本发明涉及触摸屏终端领域，尤其涉及一种车载触摸屏终端的多点手势识别方法及装置。

背景技术

现有的触摸屏技术包括：电阻式触摸屏、电容式触摸屏、声波式触摸屏和红外式触摸屏。触摸屏终端设置有触摸屏，用户在使用时，直接在触摸进行触摸，触摸屏终端识别该触摸动作，转换为手势信息，执行对应手势信息的操作指令。因此，不需要用户使用传统字符输入方式输入操作指令，给用户带来了很好的用户体验，使得触摸屏终端在应用领域上得到广泛的使用。

在触摸屏终端的操作系统中加载识别触摸动作的模块，比如在车载Android操作系统中中加载识别触摸动作的模块后，用户在触摸屏上进行触摸时，触摸屏终端创建一个动作事件，该事件包括该触摸动作的触摸点坐标和时间等触摸操作参数；然后，触摸屏终端获取触摸动作信息，并执行相应的动作。

然而，现有的触摸屏终端通常只是简单地输出触摸点的坐标，没有集成高级的多点手势识别算法，无法通过多点手势操作来快捷地操作。并且，现有的触摸屏技术主要是针对单一的操作系统开发的，难以兼容各种操作系统。

发明内容

本发明的目的在于提供一种车载触摸屏终端的多点手势识别方法，使车载操作系统能够支持多点触摸屏终端的多点手势控制。

一种车载触摸屏终端的多点手势识别方法，应用于一车载触摸屏终端，车载触摸屏终端设置有一触摸屏，车载触摸屏终端与一车载操作系统相连接；车载操作系统装载有一个或多个应用程序；车载触摸屏终端的多点手势识别方法包括步骤：

监控触摸屏，当发生触摸事件时，从触摸屏终端获取触摸事件信息；

通过手势驱动算法将触摸事件信息转换成预先定义好的手势信息；

通过预先定义的通信协议将手势信息发送至目的应用程序；以及

目的应用程序将手势信息转换为可被应用程序识别的手势信息，并且应用程序响应该手势信息，执行对应的操作；

其中，应用程序预先在车载触摸屏终端注册，使应用程序能够访问车载触摸屏终端，并且车载触摸屏终端能够操作应用程序；触摸事件信息包括点坐标信息和点状态信息。

进一步地，通过预先定义的通信协议将手势信息发送至应用程序的步骤具体包括下述步骤：

按照通信协议的规定，将手势信息处理封装形成数据包；

数据包传输至车载操作系统；以及

根据数据包携带的信息，将数据包传送至目的应用程序。

进一步地，数据包的包括帧头、帧数据部分；帧头包含数据包校验位、通信协议版本信息、当前车载触摸屏的触摸点数量、目的应用程序地址；帧数据部分包含用于描述手势信息的类型的数据描述符和用于记录手势信息的数据信息。

进一步地，手势驱动算法包括放大缩小手势算法，放大缩小手势算法包括以下步骤：

采集同一时间发生的第一触摸事件和第二触摸事件，第一触摸事件和第二触摸事件的触摸点分别定义为第一触摸点和第二触摸点，定义第一触摸事件的触摸点坐标集合为第一触摸点集合，定义第二触摸事件的触摸点坐标集合为第二触摸点集合，第一触摸点集合和第二触摸点集合中的触摸点坐标按照时间顺序排列；定义同一时间采集到的第一触摸点坐标和第二触摸点坐标为一组，并将该组坐标数据添加至多点触摸事件集合；其中，多点触摸事件集合中的元素按照时间顺序排列；

判断第一触摸点坐标和第二触摸点坐标是否在触摸屏的坐标范围内，若不在，则删除该组坐标；

判断第一触摸点坐标和第二触摸点坐标是否为鬼点，若二者其中一个为鬼点，则删除包括有鬼点的该组坐标；以及

根据多点触摸事件集合中的元素，判定第一触摸事件和第二触摸事件形成的多点触摸事件的手势信息是放大手势还是缩小手势。

进一步地，判断第一触摸点坐标和第二触摸点坐标是否为鬼点的步骤相同，具体包括以下步骤：

判断第一触摸点集合/第二触摸点集合中的相邻两个触摸点坐标的移动距离是否大于一预定阈值，若大于预定阈值，则相邻两个触摸点坐标中时间较迟的触摸点坐标为鬼点。

进一步地，还包括步骤：通过通信协议将手势信息发送至与车载操作系统互联的移动终端；移动终端响应手势信息，执行对应的操作。

进一步地，触摸事件的类型包括单点触摸和多点触摸；手势信息的类型包括点状态，点坐标，单点手势，两点手势，以及以上各类型的组合。

本发明还提供一种车载触摸屏终端的多点手势识别装置，应用于一车载触摸屏终端，车载触摸屏终端设置有一触摸屏，车载触摸屏终端与一车载操作系统相连接；操作系统装载有一个或多个应用程序；本发明的车载触摸屏终端的多点手势识别装置包括：

触摸屏驱动器，用于实时监控触摸屏发生的触摸事件，并采集触摸事件的触摸事件信息；

手势识别模块，用于将触摸事件信息转换成预先定义好的手势信息；以及，

数据转发模块，用于将手势信息封装成数据包，然后发送至目的应用程序；

其中，数据转发模块与车载操作系统相连接；应用程序预先在车载触摸屏终端注册，使应用程序能够访问车载触摸屏终端，并且车载触摸屏终端能够操作所述应用程序。

进一步地，触摸事件的类型包括单点触摸和多点触摸。

进一步地，数据包包括帧头、数据描述、数据信息；帧头包含数据类型、通信协议版本信息、当前触摸事件中的触摸点数量、目的应用程序地址；数据描述用于描述手势信息的类型；数据信息用于记录所述手势信息。

本发明的车载触摸屏终端的多点手势识别方法，通过定义多点手势识别装置与车载操作系统之间的通信协议，采用数据包的方式实现数据的点对点传送，实现了通过车载触摸屏终端的多点手势对车载操作系统的应用程序的操作，并且通过定义车载触摸屏终端与车载操作系统之间的通信协议，能够使得车载触摸屏终端能够适应于不同的车载操作系统。

附图说明

图1为一实施例的车载触摸屏终端的多点手势识别方法的流程图。

图2为一实施例中数据包结构的示意图。

图3为一实施例中车载触摸屏终端的多点手势识别装置的示意图。

具体实施方式

下面将结合具体实施例及附图对本发明车载触摸屏终端的多点手势识别方法作进一步详细描述。

本发明的车载触摸屏终端的多点手势识别方法应用于一车载触摸屏终端，车载触摸屏终端设置有一触摸屏，车载触摸屏终端通过一多点手势识别装置与一车载操作系统相连接，车载操作系统装载有一个或多个应用程序。利用本发明的车载触摸屏终端的多点手势识别方法，可通过车载触摸屏操控车载操作系统中的应用程序。优选地，触摸屏可以是电阻式触摸屏、电容式触摸屏、声波式触摸屏或红外式触摸屏等。

如图1所示，一较佳实施例中，本发明的车载触摸屏终端的多点手势识别方法包括步骤：

步骤1，实时监控触摸屏，当发生触摸事件时，从触摸屏终端获取触摸事件信息；其中，触摸事件信息包括点坐标信息和点状态信息。

优选地，触摸事件的类型包括单点触摸和多点触摸，具体地，单点触摸包括但不限于以下的一种或多种：单手指单击、双击、长按和移动等；多点触摸包括但不限于以下的一种或多种：双手指移动、远离、靠近和旋转，三手指移动等。

步骤2，通过手势驱动算法将触摸事件信息转换成预先定义好的手势信息；其中，手势信息的类型包括点状态，点坐标，单点手势，两点手势，以及以上各类型的组合。

优选地，手势驱动算法包括放大缩小手势算法、单点移动算法、旋转手势算法等。手势驱动算法可采用现有的算法。

步骤3，通过预先定义的通信协议，将手势信息发送至目的应用程序；

其中，步骤3具体包括以下步骤：

步骤a，应用程序安装至车载操作系统时，应用程序在车载操作系统中进行注册，车载操作系统加载该应用程序，定义一通信协议，使应用程序能够通过多点手势识别装置访问车载触摸屏终端，并且所述车载触摸屏终端能够通过多点手势识别装置操作所述应用程序；

步骤b，通过通信协议的规定，将手势信息处理封装成数据包；

步骤c，将数据包传输至车载操作系统；以及

步骤d，根据数据包携带的信息，车载操作系统将数据包传送至目的应用程序。

如图2所示，在一优选的实施例中，数据包包括帧头和帧数据部分。优选地，其中，数据包的大小是固定的，定义数据包的大小为21字节，数据包的大小也可以根据实际需要定义。数据包的帧头可确保传输的可靠性，帧头定义为4个字节，其大小也可以根据实际需要定义。

表1示出了帧头的结构。帧头包含数据检验位、通信协议版本信息、当前车载触摸屏的触摸点数量、目的应用程序地址等信息。其中，在本实施例中，帧头的0~7位为数据校验位，8~15位表示通信协议版本信息，16~23位表示车载触摸屏当前的触摸点数量，24~31位保留为扩展使用。

表1

数据包的帧数据部分包含数据描述符和数据信息。数据描述符用于描述手势信息类型，优选地，数据描述符大小为1个字节。手势信息类型包括点状态、点坐标、单点手势、两点手势、以及以上各类型的组合。表2示出了数据描述符对应的手势信息类型。其中，用数字定义各手势信息类型，由于数据描述符大小为1个字节，因此可用数字0~255定义各手势信息类型。

表2

数据信息用于记录手势信息的具体描述内容。下面通过具体的例子进行说明。

表3示出了点状态的具体描述内容。优选地，点状态描述内容的大小为4个字节，表3中示出了点状态描述内容的4个字节的每个位表示的意思。

表3

表4示出了点坐标的具体描述内容。优选地，点坐标描述内容的大小为4个字节，表4中示出了点坐标描述内容的4个字节的每个位表示的意思。X轴坐标和Y轴坐标的最大范围由显示终端的分辨率决定，若显示终端的分辨率为1920*1080，则设置X轴坐标的最大值为1920，Y轴坐标的最大值为1080。

表4

表5示出了两点手势的具体描述内容。优选地，两点手势描述内容的大小为4个字节，表5中示出了两点手势描述内容的4个字节的每个位表示的意思。

表5

步骤4：目的应用程序将接收到的数据包解封装，将数据包包含的手势信息转换为可被应用程序识别的手势信息，目的应用程序接收到手势信息后，响应该手势信息，并执行对应的操作。

本发明的车载触摸屏终端的多点手势识别方法还支持通过车载触摸屏终端对与车载操作系统互联的移动终端的操作，具体包括步骤：通过所述通信协议将封装成数据包的手势信息发送至与车载操作系统互联的移动终端；移动终端将接收到的数据包解封后，将数据包包含的手势信息转换为可被移动终端识别的手势信息，移动终端响应手势信息，执行对应的操作。

在一优选的实施例中，放大缩小手势算法包括以下步骤：

采集同一时间发生的第一触摸事件和第二触摸事件，第一触摸事件和第二触摸事件的触摸点分别定义为第一触摸点和第二触摸点，定义第一触摸事件的触摸点坐标集合为第一触摸点集合，定义第二触摸事件的触摸点坐标集合为第二触摸点集合，第一触摸点集合和第二触摸点集合中的触摸点坐标按照时间顺序排列；定义同一时间采集到的第一触摸点坐标和第二触摸点坐标为一组，并添加至多点触摸事件集合；其中，多点触摸事件集合中的元素按照时间顺序排列；

判断第一触摸点坐标和第二触摸点坐标是否在触摸屏的坐标范围内，若不在，则删除该组坐标；

判断第一触摸点坐标和第二触摸点坐标是否为鬼点，若二者其中一个为鬼点，则删除包括有鬼点的该组坐标；以及

根据多点触摸事件集合中的元素，判定第一触摸事件和第二触摸事件形成的多点触摸事件的手势信息，具体包括步骤：检测多点触摸事件集合中每一组的两个触摸点坐标之间的距离，若多点触摸事件集合中每一组的两个触摸点坐标之间的距离随着时间增大，则预测判定为放大手势；若多点触摸事件集合中每一组的两个触摸点坐标之间的距离随着时间减小，则预测判定为缩小手势。

放大缩小手势可用于操作地图的放大缩小。

其中，判断所述第一触摸点坐标和第二触摸点坐标是否为鬼点的步骤相同，具体包括以下步骤：

判断第一触摸点集合/第二触摸点集合中的相邻两个触摸点坐标的移动距离是否大于一预定阈值，若大于预定阈值，则相邻两个触摸点坐标中时间较迟的触摸点坐标为鬼点。

因此，本发明的车载触摸屏终端的多点手势识别方法，通过定义多点手势识别装置与车载操作系统之间的通信协议，采用数据包的方式实现数据的点对点传送，实现了通过车载触摸屏终端的多点手势对车载操作系统的应用程序的操作；通过定义车载触摸屏终端与车载操作系统之间的通信协议，能够使得车载触摸屏终端能够适应于不同的车载操作系统。

如图3所示，本发明还提供一种车载触摸屏终端的多点手势识别装置，应用于一车载触摸屏终端，车载触摸屏终端设置有一触摸屏，车载触摸屏终端与一车载操作系统相连接，操作系统装载有一个或多个应用程序。本发明的车载触摸屏终端的多点手势识别装置包括：触摸屏驱动器、手势识别模块以及数据转发模块。

触摸屏驱动器用于实时监控触摸屏发生的触摸事件，当有触摸事件发生时，触摸屏驱动器采集触摸事件信息，包括触摸点坐标及触摸点状态。

手势识别模块用于将触摸事件信息转换成预先定义好的手势信息。触摸事件信息根据手势驱动算法转换成手势信息。手势驱动算法包括放大缩小手势算法、单点移动算法、旋转手势算法等。手势驱动算法可采用现有的算法。

数据转发模块用于将手势信息封装成数据包，根据数据包携带的信息，将封装成数据包的手势信息发送至目的应用程序。其中，数据转发模块与所述车载操作系统相连接。应用程序安装至车载操作系统时，应用程序在车载操作系统中进行注册，车载操作系统加载该应用程序，定义一通信协议，使应用程序能够通过该多点手势识别装置访问车载触摸屏终端，并且所述车载触摸屏终端能够通过多点手势识别装置操作所述应用程序。

触摸事件的类型包括单点触摸和多点触摸。手势信息类型包括点状态、点坐标、单点手势、两点手势、以及以上各类型的组合。

数据包包括帧头、数据描述、数据信息；所述帧头包含数据类型、通信协议版本信息、当前触摸事件中的触摸点数量、目的应用程序地址；所述数据描述用于描述手势信息的类型；所述数据信息用于记录所述手势信息。

本发明的车载触摸屏终端的多点手势识别装置，通过定义多点手势识别装置与车载操作系统之间的通信协议，采用数据包的方式实现数据的点对点传送，实现了通过车载触摸屏终端的多点手势对车载操作系统的应用程序的操作；通过定义车载触摸屏终端与车载操作系统之间的通信协议，能够使得车载触摸屏终端能够适应于不同的车载操作系统。

虽然对本发明的描述是结合以上具体实施例进行的，但是，熟悉本技术领域的人员能够根据上述的内容进行许多替换、修改和变化、是显而易见的。因此，所有这样的替代、改进和变化都包括在附后的权利要求的精神和范围内。

Claims (10)

1. 一种车载触摸屏终端的多点手势识别方法，应用于一车载触摸屏终端，所述车载触摸屏终端设置有一触摸屏，所述车载触摸屏终端与一车载操作系统相连接；所述车载操作系统装载有一个或多个应用程序；其特征在于，包括步骤：

监控所述触摸屏，当发生触摸事件时，从所述触摸屏终端获取触摸事件信息；

通过手势驱动算法将所述触摸事件信息转换成预先定义好的手势信息；

通过预先定义的通信协议将所述手势信息发送至目的应用程序；以及

所述目的应用程序将所述手势信息转换为可被所述应用程序识别的手势信息，并且所述应用程序响应该手势信息，执行对应的操作；

其中，所述应用程序预先在所述车载操作系统注册，使所述应用程序能够访问所述车载触摸屏终端，并且所述车载触摸屏终端能够操作所述应用程序；所述触摸事件信息包括点坐标信息和点状态信息。

2. 根据权利要求1所述的车载触摸屏终端的多点手势识别方法，其特征在于， 所述通过预先定义的通信协议将所述手势信息发送至所述应用程序的步骤具体包括下述步骤：

按照所述通信协议的规定，将所述手势信息处理封装形成数据包；

所述数据包传输至所述车载操作系统；以及

根据所述数据包携带的信息，将所述数据包传送至目的应用程序。

3. 根据权利要求2所述的车载触摸屏终端的多点手势识别方法，其特征在于，所述数据包的包括帧头、帧数据部分；所述帧头包含数据包校验位、通信协议版本信息、当前车载触摸屏的触摸点数量、目的应用程序地址；所述帧数据部分包含用于描述手势信息的类型的数据描述符和用于记录所述手势信息的数据信息。

4. 根据权利要求1所述的车载触摸屏终端的多点手势识别方法，其特征在于，所述手势驱动算法包括放大缩小手势算法，所述放大缩小手势算法包括以下步骤：

采集同一时间发生的第一触摸事件和第二触摸事件，所述第一触摸事件和所述第二触摸事件的触摸点分别定义为第一触摸点和第二触摸点，定义所述第一触摸事件的触摸点坐标集合为第一触摸点集合，定义第二触摸事件的触摸点坐标集合为第二触摸点集合，所述第一触摸点集合和第二触摸点集合中的触摸点坐标按照时间顺序排列；定义同一时间采集到的第一触摸点坐标和第二触摸点坐标为一组，并将该组坐标数据添加至多点触摸事件集合；其中，所述多点触摸事件集合中的元素按照时间顺序排列；

判断所述第一触摸点坐标和第二触摸点坐标是否在所述触摸屏的坐标范围内，若不在，则删除该组坐标；

判断所述第一触摸点坐标和第二触摸点坐标是否为鬼点，若二者其中一个为鬼点，则删除包括有鬼点的该组坐标；以及

根据所述多点触摸事件集合中的元素，判定所述第一触摸事件和第二触摸事件形成的多点触摸事件的手势信息是放大手势还是缩小手势。

5. 根据权利要求2所述的车载触摸屏终端的多点手势识别方法，其特征在于，判断所述第一触摸点坐标和第二触摸点坐标是否为鬼点的步骤相同，具体包括以下步骤：

判断第一触摸点集合/第二触摸点集合中的相邻两个触摸点坐标的移动距离是否大于一预定阈值，若大于所述预定阈值，则所述相邻两个触摸点坐标中时间较迟的触摸点坐标为鬼点。

6. 根据权利要求1所述的车载触摸屏终端的多点手势识别方法，其特征在于， 还包括步骤：通过所述通信协议将所述手势信息发送至与所述车载操作系统互联的移动终端；所述移动终端响应所述手势信息，执行对应的操作。

7. 根据权利要求1-6任一项所述的车载触摸屏终端的多点手势识别方法，其特征在于，所述触摸事件的类型包括单点触摸和多点触摸；所述手势信息的类型包括点状态，点坐标，单点手势，两点手势，以及以上各类型的组合。

8. 一种车载触摸屏终端的多点手势识别装置，应用于一车载触摸屏终端，所述车载触摸屏终端设置有一触摸屏，所述车载触摸屏终端与一车载操作系统相连接；所述操作系统装载有一个或多个应用程序；其特征在于，包括：

触摸屏驱动器，用于实时监控触摸屏发生的触摸事件，并采集所述触摸事件的触摸事件信息；

手势识别模块，用于将所述触摸事件信息转换成预先定义好的手势信息；以及，

数据转发模块，用于将所述手势信息封装成数据包，然后发送至目的应用程序；

其中，数据转发模块与所述车载操作系统相连接；所述应用程序预先在所述车载触摸屏终端注册，使所述应用程序能够访问所述车载触摸屏终端，并且所述车载触摸屏终端能够操作所述应用程序。

9. 根据权利要求8所述的车载触摸屏终端的多点手势识别方法，其特征在于，所述触摸事件的类型包括单点触摸和多点触摸。

10. 根据权利要求8所述的车载触摸屏终端的多点手势识别方法，其特征在于， 所述数据包包括帧头、数据描述、数据信息；所述帧头包含数据类型、通信协议版本信息、当前触摸事件中的触摸点数量、目的应用程序地址；所述数据描述用于描述手势信息的类型；所述数据信息用于记录所述手势信息。