CN103529976A - 手势识别系统中的干扰消除 - Google Patents
手势识别系统中的干扰消除 Download PDFInfo
- Publication number
- CN103529976A CN103529976A CN201210253353.3A CN201210253353A CN103529976A CN 103529976 A CN103529976 A CN 103529976A CN 201210253353 A CN201210253353 A CN 201210253353A CN 103529976 A CN103529976 A CN 103529976A
- Authority
- CN
- China
- Prior art keywords
- gesture
- contact
- type
- touch event
- identification module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开描述手势识别系统中的干扰消除。一种方法可以包括:至少部分地基于手势类型配置手势识别模块的预处理器,手势识别模块与手势相关;响应第一触摸事件生成第一接触历史向量,第一触摸事件基于对触摸屏的第一接触;将第一触摸事件提供到手势识别模块;以及至少部分地基于手势类型来确定是否要将第二触摸事件提供到手势识别模块。
Description
技术领域
以下公开涉及手势识别系统,更具体地说,涉及手势识别系统中的干扰消除。
背景技术
在包括例如智能电话和平板计算机在内的许多移动装置中,触敏显示器提供了用户界面。例如,可以向用户显示图标,并且用户可以通过点击图标来选择图标,和/或用户可以通过滑动或横扫(即,将手指放在显示器上,并快速地向左或向右移动手指)来显示另一页图标。用户输入(“手势”)通常包括对触敏显示器的一个或多个接触。然后,可以捕获并解释每种接触,从而产生响应。常用手势包括点击(tap)、长击(long tap)(也称为按住(press)或点击不放(tap and hold))、捏合(pinch)和横扫(swipe)。手势识别通常包括检测一个或多个接触、接触的位置、接触的持续时间和/或运动。手势识别依赖于用户对手势的恰当表现。如果在手势识别过程之前和/或期间用户不经意地或无意地接触触敏显示器(“干扰”),则可能会发生意外的结果。此类意外的结果可能会因为导致非期望的结果或妨碍期望的结果而导致下降的用户体验。
发明内容
本发明涉及一种系统,包括:
触摸屏,其配置成接收接触并基于所接收的接触生成触摸事件;
处理器电路,其配置成执行指令;以及
一个或多个存储介质,在所述一个或多个存储介质上单独地或以组合方式存储有指令,所述指令在由一个或多个处理器执行时导致如下操作,这些操作包括:
至少部分地基于手势类型配置手势识别模块的预处理器,所述手势识别模块与手势相关;
响应第一触摸事件生成第一接触历史向量,所述第一触摸事件基于对所述触摸屏的第一接触;
将所述第一触摸事件提供到所述手势识别模块;以及
至少部分地基于所述手势类型来确定是否要将第二触摸事件提供到所述手势识别模块。
本发明涉及一种方法,包括:
至少部分地基于手势类型配置手势识别模块的预处理器,所述手势识别模块与手势相关;
响应第一触摸事件生成第一接触历史向量,所述第一触摸事件基于对触摸屏的第一接触;
将所述第一触摸事件提供到所述手势识别模块;以及
至少部分地基于所述手势类型来确定是否要将第二触摸事件提供到所述手势识别模块。
本发明涉及一种系统,包括一个或多个存储介质,在所述一个或多个存储介质上单独地或以组合方式存储有指令,所述指令在由一个或多个处理器执行时导致如下操作,这些操作包括:
至少部分地基于手势类型配置手势识别模块的预处理器,所述手势识别模块与手势相关;
响应第一触摸事件生成第一接触历史向量,所述第一触摸事件基于对触摸屏的第一接触;
将所述第一触摸事件提供到所述手势识别模块;以及
至少部分地基于所述手势类型来确定是否要将第二触摸事件提供到所述手势识别模块。
附图说明
参考附图结合下文的具体实施方式的阐述,要求权利的发明主题的各个实施例的特征和优点将变得显而易见,在附图中,相似的数字指代相似的部分,并且其中:
图1示出包括根据本公开的各个实施例的示例干扰消除系统的示例装置;
图2A示出根据本公开的一个实施例的干扰消除系统的示例;
图2B示出根据本公开的一个实施例的接触历史系统的示例;
图2C示出根据本公开的各个实施例的预处理器的示例;
图3示出根据本公开的至少一个实施例的手势识别模块的状态转变图;
图4是根据本公开的至少一个实施例的手势识别的示例操作的流程图;
图5是根据本公开的至少一个实施例的干扰消除的示例操作的流程图;
图6是根据本公开的至少一个实施例的响应TouchStart事件的干扰消除的示例操作的流程图;以及
图7是根据本公开的至少一个实施例的响应TouchMove或TouchEnd事件的干扰消除的示例操作的流程图。
虽然下文的具体实施方式将参考说明性实施例来进行阐述,但是本领域技术人员将显见到其许多备选、修改和变化。
具体实施方式
一般来说,本公开描述一种用于手势识别系统的干扰消除方法和系统。用户可以触摸(即,接触)配置成捕获接触并至少部分地基于捕获的接触生成触摸事件的触敏显示器。干扰消除系统可以基于关联的手势识别模块的手势类型来预处理触摸事件。然后,可以将基于预处理器结果的触摸事件输出提供到关联的手势识别模块。手势识别系统可以包括一个或多个手势识别模块。每个手势识别模块配置成识别一个手势。可以对每个手势和对应的手势识别模块独立且并行地处理触摸事件。
该方法和系统配置成检测对触敏显示器(即,触摸屏)的不经意和/或无意接触,并避免由这些干扰接触(noise contact)导致意外的结果。在第一示例中,干扰接触可能发生在手势识别过程的有意起动之前,从而扰乱后续手势识别过程。在此第一示例中,在例如手持包括触摸屏的装置时,用户可能会无意地接触到触摸屏的角部。此接触可能会妨碍后续手势被识别,从而导致无响应或不正确的响应。在第二示例中,干扰接触可能发生在手势识别过程期间。在此第二示例中,在执行手势时,用户可能会用一个或多个其它手指无意地接触触摸屏。这种不经意接触可能导致中止当前手势识别过程或可能导致错误的手势状态。符合本公开的干扰消除系统和方法配置成降低用户的不经意接触扰乱手势识别过程的概率。本文所使用的“手势识别过程”表示解释触摸事件以基于对触摸屏的一个或多个接触的特征来确定对应的手势。
符合本公开的方法和系统配置成根据基于手势特征(即,与手势关联的接触的特征)的手势类型将与相应的手势识别模块关联的每个手势分类。手势特征包括接触的持续时间和/或接触的初始位置与最近位置之间的距离。例如,手势类型1对应于具有相对较短的持续时间且不移动的接触,例如点击。手势类型2对应于具有相对较长的持续时间且不移动的接触,例如长击。手势类型3对应于移动的接触(即,从其初始接触位置行进非零距离的接触),例如捏合。符合本公开的系统和方法可以根据手势类型来配置每个手势识别模块的相应的预处理器。
该方法和系统配置成生成并存储每个检测到的接触的接触历史(即,接触历史向量)。可以响应接触启动(TouchStart)创建接触历史向量,在接触持续的同时(例如,TouchMove或时间)更新接触历史向量,并在接触结束(TouchEnd)时删除接触历史向量。每个接触历史向量可以至少部分地基于触摸事件数据和/或时间(例如,时间间隔期满)来创建和/或更新。每个触摸事件可以包括与接触在触摸屏上的位置对应的x、y坐标以及与接触关联的时间戳。接触历史向量配置成包括接触初始位置的x、y坐标以及与接触初始位置关联的时间戳、最近接触位置的x、y坐标以及与最近位置关联的时间戳、接触的持续时间、以及接触从接触初始位置移到最近接触位置的总距离。位置可以由与触摸屏关联的x、y坐标来表示。
然后,可以在将与每个接触关联的触摸事件提供到相应的手势识别模块之前将其提供到预处理器。基于接触历史、活动的(即,同时发生的)接触的数量和/或手势类型,可以不进行修改地将触摸事件提供到相应的手势识别模块,或者可以按本文所描述地那样修改触摸事件。
因此,符合本公开的方法和系统配置成将有效接触与干扰(无意)接触区分。该系统和方法还配置成当干扰接触不存在时避免阻碍手势识别,以及避免中断正在进行中的手势。该系统和方法配置成从多个候选接触中选择有效接触,并将与有效接触关联的触摸事件提供到手势识别模块。在一些实施例中,可以将与干扰接触对应的触摸事件提供到手势识别模块。至少部分地基于手势类型和接触特征,可以标识有效接触,可以用有效接触替换干扰接触,然后可以将与有效接触关联的触摸事件提供到手势识别模块。在一些实施例中,可以至少部分地基于手势类型和关联的接触特征从多个可能的有效接触中选择最佳有效接触。以此方式,可以防止干扰接触导致不经意或无意手势被识别。
图1示出包括符合本公开的各个实施例的示例干扰消除系统的装置100。例如,装置100可以包括计算装置,包括但不限于桌面型计算机、膝上型计算机、平板计算机(例如,等)、超便携式计算机、超移动计算机、上网本计算机、小笔记本计算机、移动电话、智能电话(例如,基于的电话、基于的电话、基于的电话等)、特色电话、个人数字助理、企业数字助理、移动因特网装置、个人导航装置等。
装置100包括处理器电路102、存储器104、触摸屏106和显示器108。存储器104配置成存储操作系统OS120(例如, 等)、一个或多个应用(“app”)122、一个或多个手势识别模块124和干扰消除系统126。干扰消除系统126包括接触历史128和一个或多个预处理器130。在一些实施例中,可以将接触历史128包括在每个预处理器中。处理器电路102可以包括一个或多个处理器,并且配置成执行与OS120、app122、手势识别模块124、接触历史128和预处理器130关联的操作。
接触历史128配置成存储与接触对应的接触历史向量。可以响应接触启动(例如,响应TouchStart事件)而将接触历史向量初始化。可以基于(与接触关联的)时间和/或另一个触摸事件对于接触的持续时间更新接触历史向量。然后,可以在接触结束(例如,TouchEnd事件)时将接触历史向量复位(例如,删除)。
预处理器130配置成从触摸屏106接收触摸事件以及从手势识别模块124接收手势状态。正如本文所描述地,预处理器130还配置成至少部分地基于接触历史128、触摸事件、手势类型和手势状态来提供触摸事件输出。
触摸屏106配置成捕获与接触关联的触摸,包括但不限于点击(例如,单击、双击、长击(即,点击不放)等)、捏合和展开、横扫等,并且基于所捕获的接触输出触摸事件。触摸事件可以包括接触位置,例如与接触在触摸屏上的位置对应的x、y坐标。触摸事件还可以包括时间参数,例如与检测到接触的时间对应的时间戳。时间戳可以由OS120响应接触来提供。显示器108包括配置成显示文本、静态图像、移动图像(例如,视频)、用户界面、图形等的任何装置。可以将触摸屏106和显示器108集成到触敏显示器110中。触敏显示器110可以集成在装置100内,或者可以经由有线(例如,通用串行总线(USB)、以太网、火线等)或无线(例如,WiFi、蓝牙等)通信与装置交互。
手势识别模块124配置成接收触摸事件,并确定与所接收的触摸事件关联的接触是否对应于预先定义的手势。手势可以包括一个或多个接触。可以基于例如持续时间和/或移动来表征接触。手势识别模块124可以包括一般定义明确且可进行操作以确定所接收的触摸事件是否对应于预先定义的手势的定制的、专有的、公知的和/或后开发的手势识别代码(或指令集)。通常,每个手势识别模块配置成确定(即,“识别”)一个手势。例如,点击手势模块配置成识别点击手势,捏合手势模块配置成识别捏合手势,长击手势模块配置成识别长击手势,等等。
图2A示出根据本公开的一个实施例的干扰消除系统202的示例。该干扰消除系统202可以耦合到触摸屏204和多个手势识别模块(GRM)206A、...、206P。触摸屏204对应于图1中的触摸屏106。正如本文所描述地,触摸屏204配置成捕获(即,接收)一个或多个接触,即,接触1、...、接触n,并且基于所捕获的接触生成触摸事件。触摸屏204可以配置成捕获最大数量的同时发生的接触,即,已经起动(initiate)但尚未结束的接触。例如,接触的最大数量可以是n。
干扰消除系统202配置成从触摸屏204接收触摸事件输入,并至少部分地基于触摸事件输入将一个或多个触摸事件输出(即,经过预处理的触摸事件)提供到相应的GRM206A、...、206P。干扰消除系统202还配置成从每个GRM206A、...、206P接收相应的手势状态。每个GRM206A、...、206P配置成至少部分地基于从干扰消除系统202接收的经过预处理的触摸事件来生成相应的手势输出。为了易于描述,本文所使用的“GRM206”是指手势识别模块206A、...、或206P的其中任何一个。提到特定GRM时将包括字母,例如,GRM206A是指第一个手势识别模块,GRM206B是指第二个手势识别模块,等等。
干扰消除系统202包括至少一个接触历史系统210和一个或多个预处理器220A、...、220P。接触历史系统210配置成从触摸屏204接收触摸事件输入。接触历史系统210还配置成至少部分地基于触摸事件输入将接触历史数据提供到预处理器220A、...、220P。在一些实施例中,接触历史系统210可以配置成将触摸事件输入提供到预处理器220A、...、220P。在一些实施例中,可以将触摸事件输入数据从触摸屏204提供到预处理器220A、...、220P。
在一个实施例中,一个接触历史系统210可以供所有预处理器220A、...、220P使用。在另一个实施例中,每个预处理器220A、...、220P可以包括和/或耦合到相应的接触历史系统210。在本实施例中,接触历史系统210可以重复用于每个预处理器220A、...、220P。为了易于描述,本文所使用的“预处理器220”是指预处理器220A、...、或220P的其中任何一个,并且预处理器220A是指第一个预处理器,预处理器220B是指第二个预处理器,等等。每个预处理器可以与相应的GRM关联。例如,预处理器220A与GRM206A关联,预处理器220B与GRM206B关联,依此类推。
图2B示出根据本公开的一个实施例的接触历史系统210的示例。接触历史系统210包括接触历史模块212和一个或多个接触历史向量214A、...、214N。每个接触历史向量214A、...、214N对应于相应的接触。因此,接触历史向量的最大数量对应于可能的接触的最大数量n。正如本文所使用的,“接触历史向量214”是指接触历史向量214A、...、或214N的其中任何一个。接触历史模块212配置成响应与新接触对应的触摸事件初始化接触历史向量214,响应后续触摸事件(和/或时间间隔期满)更新接触历史向量214,以及响应与接触结束对应的触摸事件删除接触历史向量214。每个接触历史向量可以包括配置成标识最多n种接触中的每种接触的唯一接触标识符(“接触ID”)。
符合本公开的接触历史向量214可以包括四个元素。第一元素包括接触的初始触摸事件(例如,TouchStart)的x、y坐标和时间戳。第二元素包括与接触关联的最近更新的x、y坐标和时间戳。更新可以因时间间隔期满和/或接收到后续触摸事件而被触发。第三元素包括接触的持续时间,即,最近更新的时间戳与初始触摸事件的时间戳之差。第四元素包括与接触关联的总距离。可以将该总距离确定为与初始触摸事件关联的位置、与中间触摸事件(如果有的话)关联的位置和与最近更新关联的位置之间的递增距离之和。因此,可以将接触ID为Contact ID的接触的接触历史向量H表示为:
H(Contact ID)={Io(xo,yo,to);Iq(xq,yq,tq);(tq-to);DT}
其中I0对应于TouchStart事件,x0和y0是此接触的初始接触位置的x、y坐标,并且t0对应于TouchStart事件的时间戳,Iq对应于最近更新,并且xq和yq是最近更新的接触位置的坐标,而tq对应于最近更新的时间戳,并且DT(例如,总计欧几里德距离)可以确定为:
其中i对应于与接触关联的开始于TouchStart事件(i=0)直到最近更新(i=q)的每个触摸事件。
因此,接触历史210可以包括最多n个接触历史向量214A、...、214N,这些接触历史向量包括触摸事件信息以及配置成允许每个预处理器从多个接触中选择有效接触的持续时间和距离数据。正如本文所描述地,每个预处理器还配置成至少部分地基于相应的手势识别模块的手势类型来选择有效接触。
图2C示出根据本公开的各个实施例的预处理器220的示例。预处理器220包括预处理器模块222,并且配置成存储手势类型224、有效接触列表226和候选接触列表228。手势类型与关联的手势识别模块经配置要识别的手势的特征相关。正如本文所描述地,可以在干扰消除系统202的初始化过程期间利用手势类型来配置预处理器220。
正如本文所描述地,可以利用手势类型和与手势类型关联的度量值(即,接触特征)来区分有效接触与干扰接触,将候选接触重新归类为有效接触,和/或从多个候选接触中选择最佳有效接触。表1包括手势类型和关联的度量。
表1
表1中列出的度量(距离和持续时间)对应于接触历史向量214中的第三和第四元素。这些度量对应于关联的手势类型的优选接触特征。例如,与手势类型1关联的度量为最小距离和最短持续时间。点击是手势类型1的手势的示例。因此,包括很小移动或不移动且持续时间相对较短的接触可以对应于手势类型1的手势。与手势类型2关联的度量为最小距离和最长持续时间。长击是手势类型2的手势的示例。因此,包括很小移动或不移动但是经过至少最小时间间隔才结束的接触可以对应于手势类型2的手势。与手势类型3关联的度量为最大距离。捏合是手势类型3的示例。因此,包括移动的接触可以对应于手势类型3的手势。
可以至少部分地基于与相应的手势识别模块关联的手势的特征利用手势类型来配置每个预处理器。可以利用度量的相对值来从多个候选接触中选择有效接触。例如,对于手势类型2的手势,可以至少部分地基于多个候选接触的相对持续时间来从这多个候选接触中选择最佳有效接触。例如,可以将持续时间最长的候选接触选为最佳有效接触。在另一个示例中,如果手势类型是手势类型3且有两个活动的接触(例如,第一接触和第二接触),如果与第一接触关联的接触历史向量中的DT大于与第二接触关联的接触历史向量中的DT,则将第一接触选为有效接触。因此,可以使用基于关联的接触历史向量确定的度量的相对值来从多个候选接触中选择有效接触。
预处理器220配置成接收触摸事件输入、接触历史数据和(关联的手势识别模块的)手势状态并且提供触摸事件输出。有效接触列表226配置成存储对应于这样的接触的一个或多个接触ID,这些接触可能对于与关联的手势识别模块对应的手势有效。正如下文将更详细地描述,如果干扰接触是起动手势识别过程的第一个接触,则最初可以将干扰接触存储在有效接触列表中。有效接触列表226配置成存储数量为m个的接触ID。数量m可以基于对应手势中所包括的接触的数量。例如,利用两种接触的捏合手势可以对应于大小为两种接触的有效接触列表。候选接触列表228配置成存储对应于这样的接触的一个或多个接触ID,这些接触可能是干扰或者可能对于与关联的手势识别模块对应的手势有效。候选接触列表228配置成存储数量为n减m个的接触ID,其中n是可在某个时间点活动的接触的最大数量。正如本文所描述地,预处理器模块222配置成至少部分地基于触摸事件输入数据、接触历史数据、手势类型224和/或手势状态来确定触摸事件输出。
因此,干扰消除系统202配置成从触摸屏204接收触摸事件输入,生成接触历史,并且至少部分地基于触摸事件输入、接触历史、相应的手势类型和相应的手势状态将相应的触摸事件输出数据提供到每个手势识别模块206A、...、206P。可以检测干扰接触,并且可以用与有效接触关联的触摸事件来替换干扰接触。
图3示出根据本公开的至少一个实施例与手势识别模块关联的手势状态的状态转变图300。手势状态对应于由手势识别模块(例如,GRM206)执行的手势识别过程的状态。“进行中(ongoing)”是在例如确定是否要将触摸事件输出提供到关联的手势识别模块时和/或在有效接触与干扰接触之间进行区分时预处理器所利用的手势状态的特征。手势状态“启动(Started)”可以表征为“进行中”。手势状态“更新(Updated)”表征为“进行中”。对于不具有更新状态的手势,例如点击,将手势状态“启动”表征为“进行中”。对于具有更新状态的手势,例如捏合,将手势状态“更新”表征为“进行中”。具有更新状态的手势在它们处于“启动”状态时是否表征为“进行中”取决于手势。
手势状态“无(None)”302对应于尚未开始的手势识别过程。在“无”302状态中,先前的手势识别过程已结束310和/或已取消312。取决于手势,响应促使生成TouchStart事件的新接触,手势状态可以或者可以不转变到“启动”304。例如,长击手势识别模块可以不立即响应TouchStart事件而转变到“启动”。而是,长击手势状态可在一定时间间隔过去之后转变到“启动”状态。这样配置允许点击发生而不会在长击手势识别模块中触发识别过程。
处于“启动”304的手势状态可以转变到“取消”312或可以转变到“更新”308。例如,对于长击手势和“启动”的关联的手势状态,在一定时间间隔过去之后,手势状态可以从“启动”304转变到“更新”308。在另一个示例中,与包括移动的手势(例如,捏合手势)关联的手势识别模块的手势状态可以响应接触在触摸屏上的移动而从“启动”304转变到“更新”308。在本示例中,只要移动持续,则手势状态可以保持“更新”308。手势状态可以响应TouchEnd事件(例如,接触结束)而从“更新”308转变到“结束”310。作为附加或备选,如果例如手势对应于另一个手势识别模块,则手势状态可以从“更新”308转变到“取消”312。
对于点击,手势识别能以不同方式起作用。点击是相对较短持续时间的接触,例如对应于鼠标敲击。在一些实施例中,点击手势识别模块可以直到接收到TouchEnd触摸事件时才转变到启动状态(即,“启动”304)。当接触起动时,点击手势识别模块可接收TouchStart事件,并且如果点击手势识别模块在一定时间间隔结束之前接收到TouchEnd,则点击手势识别模块可以将手势状态转变到“启动”并持续另一时间间隔,然后再转变到TouchEnd。然后,在手势状态处于“启动”时,可以将点击手势表征为“进行中”。因此,取决于手势,关联的手势识别模块可以不立即响应TouchStart事件而将手势状态转变到“启动”。转变到“启动”(如果发生的话)可以至少部分地基于时间间隔。
符合本公开的干扰消除系统配置成在手势识别模块关联的手势状态对应于“进行中”(即,手势状态处于“启动”或“更新”)时不中断手势识别模块。“进行中”意味着OS和/或app可能正在响应所识别的手势。在进行中时暂停此过程可能不利于用户体验,因此应该避免。
图4是根据本公开的至少一个实施例的手势识别的示例操作的流程图400。流程图400示出通常手势识别过程。流程图400中示出的手势识别过程可以由一个或多个手势识别模决来执行。程序流程可以在检测到输入事件(例如,接触导致触摸事件)402时开始。在操作404处,可以将触摸事件派发到手势识别模块。在操作406处,可以确定事件类型。事件类型包括TouchStart、TouchMove和TouchEnd。TouchStart对应于触摸屏204上的新接触。TouchMove对应于现有接触的位置改变。TouchEnd对应于接触不再触摸触摸屏204(例如,正在触摸触摸屏的手指抬起离开触摸屏)。如果事件类型是TouchStart,则可以在操作408处,处理TouchStart事件。如果事件类型是TouchMove,则可以在操作410处,处理TouchMove事件。如果事件类型是TouchEnd,则可以在操作412处,处理TouchEnd事件。操作414可以包括更新手势状态并存储结果。手势识别模块可以独立于输入事件是来自触摸屏的触摸事件还是来自相应预处理器的经过预处理的触摸事件输出来执行流程图400的操作。
图5示出符合本公开的实施例的示例操作的流程图500。可以由例如接触历史模块212和预处理器220来执行这些操作。具体来说,流程图500描绘配置成在手势识别系统中执行干扰消除的示范操作。程序流程可以在开始502处开始。操作504包括至少部分地基于手势类型和相应的关联的手势识别模块的手势的接触数量m来配置每个预处理器。例如,可以用对应于手势类型1的手势类型和等于1的接触数量来配置与点击手势识别模块关联的预处理器。在另一个示例中,可以用对应于手势类型2的手势类型和等于1的接触数量来配置与长击手势识别模块关联的预处理器。在另一个示例中,可以用对应于手势类型3的手势类型和等于2的接触数量来配置与捏合手势识别模块关联的预处理器。
在操作506处,可以接收触摸事件。触摸事件可以基于接触,并且可以包括接触的x、y坐标和与接触关联的时间戳。在操作508处,可以确定触摸事件类型。例如,触摸事件类型可以包括TouchStart、TouchMove和TouchEnd。操作510包括基于触摸事件类型来预处理触摸事件。操作510可以由多个预处理器同时执行,其中每个预处理器与相应的手势识别模块关联。在操作512处,可以将经过预处理的触摸事件输出提供到手势识别模块。经过预处理的触摸事件输出是否对应于所接收的触摸事件可以至少部分地基于所接收的触摸事件、手势类型和手势状态。然后,程序流程可以进行到操作506。
因此,所接收的触摸事件可以产生可能不全部相同的多个触摸事件输出。可以将每个相应的触摸事件输出提供到关联的手势识别模块。然后,每个手势识别模块可以利用来自与操作402处检测的输入事件对应的预处理器的触摸事件输出来执行流程图400的操作。
图6是根据本公开的至少一个实施例响应TouchStart事件的干扰消除的示例操作的流程图600。流程图600的操作对应于当事件类型是TouchStart(即,在起动新接触时生成)时的流程图500中的操作510和操作512。流程图600的操作配置成避免中断正在进行中的手势,并且避免在不存在干扰接触时扰乱通常手势识别。程序流程可以在从例如触摸屏204接收到TouchStart事件时开始。
操作602包括将新接触的接触历史初始化。例如,操作602可以包括为新接触生成接触历史向量并存储该接触历史向量。在操作604处,可以确定关联的手势识别模块的手势状态是否对应于“进行中”。例如,如果从手势识别模块接收的手势状态是“启动”或“更新”,则手势状态对应于“进行中”。
现在转到操作604和606,如果手势状态对应于“进行中”或接触列表是满的,则在操作612处,可以将与该接触对应的接触ID存储在候选接触列表中。如果该接触ID存储在候选接触列表中,则可以不将TouchStart事件提供到关联的手势识别模块。然后,可以不基于TouchStart事件更新手势状态。如果有效接触列表是满的,则新的候选接触可以是有效接触或可以是干扰接触。
如果手势状态不对应于“进行中”,则在操作606处,可以确定有效接触列表是否已满。例如,如果在流程图600的操作开始之前接收的TouchStart事件的数量对应于关联的手势的接触数量,则有效接触列表可能已满。虽然有效接触列表可能已满,但可能有效接触列表中并非全部的接触实际上都是有效接触。换言之,至少一个接触可能对应于干扰接触。如果有效接触列表未满,则在操作608处,可以将与该接触对应的接触ID存储在有效接触列表中。操作608还可以包括将TouchStart事件提供到关联的手势识别模块。操作610包括更新手势状态并存储结果。例如,可以将关联的手势识别模块配置成至少部分地基于所接收的TouchStart事件来更新和存储手势状态。
因此,可以不响应新接触和关联的TouchStart事件而中断正在进行中的手势。如果有效接触列表未满,则流程图600的操作配置成允许更新手势状态,即,将不阻止通常手势识别。如果有效接触列表已满,则可能存在干扰接触。
图7是根据本公开的至少一个实施例响应TouchMove或TouchEnd事件的干扰消除的示例操作的流程图700。流程图700的操作对应于当事件类型是TouchMove或TouchEnd时的流程图500中的操作510和512。流程图700的操作配置成确定与干扰接触关联的TouchStart事件是否已提供到手势识别模块,并且如果已经提供了,则标识关联的有效接触并将与所标识的有效接触关联的TouchStart事件数据和最近触摸事件数据提供到手势识别模块。可以从关联的接触历史向量检索TouchStart事件数据和最近触摸事件数据。然后,将与有效接触关联的后续触摸事件(如果有的话)转发到手势识别模块。当结合表1和表2阅读时,可以更好地理解图7。
表2
图7与表2组合表示至少部分地基于手势类型、手势状态是否对应于“进行中”、接触是与有效接触列表关联还是与候选接触列表关联以及触摸事件是对应于TouchMove还是TouchEnd的判断规则。表1中所包括的手势类型度量配置成允许在手势类型之间进行区分并从相同手势类型的多个接触中选择最佳接触。表2配置成提供与有效接触和干扰接触相关的优选项。表中的字母N对应于非优选选择(即,手势类型的非优选事件),而字母Y对应于优选选择(即,手势类型的优选事件)。
流程图700的操作可以响应基于由例如触摸屏204检测到(捕获)的接触生成的TouchMove或TouchEnd触摸事件而开始。操作702可以包括更新接触的历史(即,接触历史向量)。在操作704处,可以确定接触是否在有效接触列表中。参考表2,有效接触列表中的接触对应于具有标题“有效接触的事件”的列,而不在有效接触列表中(即,在候选接触列表中)的接触对应于具有标题“候选接触的事件”的列。
如果接触在有效接触列表中,则在操作706处,可以确定触摸事件是否是优选的。参考表2,优选触摸事件由“Y”指示,而非优选触摸事件由“N”指示。因此,操作706可以包括确定关联的手势识别模块的手势状态是对应于“进行中”还是对应于“非进行中”。然后,在操作706处,可以基于手势类型以及触摸事件是TouchMove还是TouchEnd来确定触摸事件是否是优选的。例如,再次参考表2,如果手势状态对应于“进行中”或“非进行中”,并且手势类型是手势类型3,而触摸事件类型是TouchMove,则触摸事件是优选的。参考表1,与手势类型3关联的度量对应于移动,即,初始接触位置与最近接触位置之间的最大距离。
如果触摸事件是优选的,则在操作707处,可以将触摸事件(即,TouchMove或TouchEnd)提供到关联的手势识别模块。在操作708处,可以更新手势状态并存储结果。例如,关联的手势识别模块可以至少部分地基于所接收的触摸事件来更新和存储手势状态。如果触摸事件对应于TouchEnd触摸事件,则在操作730处,可以移除关联的接触历史向量。例如,可以清除关联的接触历史向量,并且可以将接触ID再用于后续的新接触。
如果触摸事件不是优选的,则在操作710处,可以将手势复位。例如,可以通过向手势识别模块提供复位命令以使手势状态转变到“取消”来将手势复位。在操作712处,可以用来自候选接触列表的最佳优选接触来替换(即,置换)与非优选事件关联的接触。例如,如果检测到接触标识符为接触1和接触2的两个接触并且首先检测到接触1,则接触1可促使生成第一TouchStart事件。可以将接触1存储在有效接触列表中,并且可以第一将TouchStart事件提供到长击手势识别模块(假定手势状态不对应于“进行中”)。然后,接触2可促使生成第二TouchStart事件。在此示例中,如果预处理器-手势识别模块对配置成识别长击,则对应的手势类型是手势类型2。因为长击手势仅需要一个接触,所以接触2可能被置于长击预处理器的候选接触列表中,并且可能不将第二TouchStart事件提供到长击手势识别模块。对于接触1和接触2,均可分别响应第一TouchStart事件和第二TouchStart事件生成关联的接触历史向量。
继续此示例,如果检测到与接触1关联的TouchMove事件,则TouchMove事件对于长击手势识别模块不是优选的,因为关联的手势类型是手势类型2。因此,接触1对于长击手势识别器来说可能是干扰接触。如果与接触2关联的接触历史向量的距离参数DT为0或接近0,则接触2可对应于来自候选列表的最佳优选接触。因为手势类型2的优选特征是对应于很少移动或不移动的最小距离,所以接触2是优选的。因此,可以在长击预处理器的有效接触列表中以接触2替换(即,置换)接触1。
如果候选接触列表包括多个优选接触(即,根据表1所示的它们的手势类型具有优选特征的接触),则操作712可以包括基于优选特征选择最佳优选接触。例如,如果关联的手势识别模块的手势类型是手势类型2,则优选特征包括最小距离和最长持续时间。如果候选接触列表包括第一接触和第二接触,并且如果与第一和第二接触关联的接触历史向量具有0距离值(DT)和非0持续时间,则它们都可以是优选接触。如果第一接触的接触历史向量包括大于第二接触的持续时间值的持续时间值,则第一接触可能是最佳优选接触,因为持续时间的优选特征是最长持续时间。以此方式,可以基于手势类型和每个手势类型的优选特征从多个优选接触中选择最佳优选接触。
操作714可以包括重放所有有效接触的接触历史。例如,可以将存储在有效接触的接触历史向量中的TouchStart事件数据提供到手势识别模块,然后提供最近触摸事件数据。以此方式,可以将与确认的有效接触对应的触摸事件数据提供到关联的手势识别模块。然后,程序流程可以进行到操作730。
再次转到操作704,如果接触不在有效接触列表中,则在操作720处,可以确定触摸事件是否是优选的。在操作720处,可以基于手势类型、手势状态是对应于“进行中”还是“非进行中”以及触摸事件是TouchMove还是TouchEnd(遵循表2和标题“候选接触的事件”下的列的逻辑)来确定触摸事件是否是优选的。如果触摸事件不是优选的,则程序流程可以进行到操作730。
如果触摸事件是优选的,则在操作722处,可以将手势复位。在操作724处,可以用来自有效接触列表的最差优选接触来替换(即,置换)与优选事件关联的接触。例如,参考表2,对于与手势类型3的手势以及对应于“非进行中”的手势状态关联的手势识别模块的候选接触,TouchMove事件是优选的。手势类型3的手势类型的优选特征是接触的最大距离,即,优选移动。因此,来自有效接触列表的最差优选接触可对应于关联的接触历史向量中其距离值DT相对于有效接触列表中的其它接触的距离值为最小的接触。以此方式,可以将候选接触移到有效接触列表,并且可以将来自有效接触列表的最差优选接触移到候选接触列表。
操作726可以包括重放所有有效接触的接触历史。例如,可以将存储在移到有效接触列表的接触的接触历史向量中的TouchStart事件数据提供到手势识别模块,然后提供最近触摸事件数据。以此方式,可以将与确定是有效接触的候选接触对应的触摸事件数据提供到关联的手势识别模块。然后,程序流程可以进行到操作730。
虽然图4至图7示出根据实施例的各种操作,但是要理解,对于其它实施例来说,并非图4至图7中所描绘的所有操作都是必需的。实际上,本文中完全可设想,在本公开的其它实施例中,可以采用任何附图中未确切地示出、但仍然完全符合本公开的方式将图4至图7中所描绘的操作和/或本文描述的其它操作组合。因此,涉及确实未在一个附图中示出的特征和/或操作的权利要求被视为在本公开的范围和内容内。
正如本文的任何实施例中所使用的,术语“模块”可以指配置成执行前文提到的任何操作的app、软件、固件和/或电路。软件可以作为非临时性计算机可读存储介质上所记录的软件包、代码、指令、指令集和/或数据来实施。固件可以作为存储器装置中硬编码(例如,非易失性的)的代码、指令或指令集和/或数据来实施。
正如本文中任何实施例中所使用的,“电路”可以例如单一地或以任何组合形式包括硬线连接的电路、诸如包括一个或多个个体指令处理核的计算机处理器的可编程电路、状态机电路和/或存储有可由可编程电路执行的指令的固件。这些模块可以统一地或单独地作为形成诸如集成电路(IC)、芯片上系统(SoC)、桌面型计算机、膝上型计算机、平板计算机、服务器、智能电话等的较大系统的一部分的电路来实施。
本文描述的任何操作可以在包括一个或多个存储介质的系统中实现,在这一个或多个存储介质上单独地或以组合方式存储有在由一个或多个处理器执行时执行这些方法的指令。此处,处理器可以包括例如服务器CPU、移动装置CPU和/或其它可编程电路。并且,本文描述的操作理应可以分布在多个物理装置上,如位于多于一个不同物理位置处的处理结构上。存储介质可以包括任何类型的有形介质,例如:任何类型的盘,包括硬盘、软盘、光盘、致密盘只读存储器(CD-ROM)、可重写致密盘(CD-RW)和磁光盘;半导体装置,例如只读存储器(ROM)、随机存取存储器(RAM)(如动态和静态RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、固态盘(SSD)、磁卡或光卡;或者适于存储电子指令的任何类型的介质。其它实施例可以作为由可编程控制装置执行的软件模块来实现。存储介质可以是非临时性的。
因此,本公开提供一种用于手势识别系统中的干扰消除的方法和系统。基于手势类型和接触历史,可以从可能包括干扰接触的多个接触中选择有效接触。该系统包括与每个手势识别模块关联的预处理器。最初,可以根据关联的手势识别模块的手势类型和关联的手势的接触数量来配置每个预处理器。可以响应TouchStart事件来生成每个接触的接触历史向量,在接触持续时可以更新每个接触的接触历史向量,并且可以在接触结束(例如,TouchEnd触摸事件)时删除每个接触的接触历史向量。该系统配置成避免扰乱在无干扰接触情况下进行的手势识别过程并避免中断进行中的手势识别过程。该系统还配置成从多个可能的有效接触中选择最优选接触。
根据一个方面,提供一种系统。该系统可以包括触摸屏和处理器电路,该触摸屏配置成接收接触并基于所接收的接触生成触摸事件,该处理器电路配置成执行指令。该系统还可包括一个或多个存储介质,在这一个或多个存储介质上单独地或以组合方式存储有在由一个或多个处理器执行时导致如下操作的指令,这些操作包括:至少部分地基于手势类型配置手势识别模块的预处理器,手势识别模块与手势相关;响应第一触摸事件生成第一接触历史向量,第一触摸事件基于对触摸屏的第一接触;将第一触摸事件提供到手势识别模块;以及至少部分地基于手势类型来确定是否要将第二触摸事件提供到手势识别模块。
另一个示例系统包括上述组件,并且还包括至少部分地基于与手势关联的接触数量来配置预处理器。
另一个示例系统包括上述组件,并且还包括从手势识别模块接收手势状态。
另一个示例系统包括上述组件,并且还包括响应与第一接触相关的第三触摸事件更新第一接触历史向量。
另一个示例系统包括上述组件,并且上述确定步骤包括将第二触摸事件的特征与第三触摸事件的对应特征比较,手势类型与特征相关。
另一个示例系统包括上述组件,并且手势类型与手势相关。
另一个示例系统包括上述组件,并且手势类型与包括持续时间和距离的至少其中之一的接触特征相关。
另一个示例系统包括上述组件,并且上述确定步骤至少部分地基于与第一接触关联的手势状态是否对应于进行中。
另一个示例系统包括上述组件,并且上述确定步骤至少部分地基于第一接触历史向量。
另一个示例系统包括上述组件,并且第一接触历史向量配置成存储与第一接触关联的第一位置和时间、与第一接触关联的最近位置和时间、与第一接触关联的持续时间、以及最近位置与第一位置之间的距离。
另一个示例系统包括上述组件,并且第一手势类型对应于相对较短持续时间的接触,第二手势类型对应于相对较长持续时间的接触,并且第三手势类型对应于移动的接触。
根据另一个方面,提供一种方法。该方法可以包括:至少部分地基于手势类型配置手势识别模块的预处理器,手势识别模块与手势相关;响应第一触摸事件生成第一接触历史向量,第一触摸事件基于对触摸屏的第一接触;将第一触摸事件提供到手势识别模块;以及至少部分地基于手势类型来确定是否要将第二触摸事件提供到手势识别模块。
另一个示例方法包括上述操作,并且还包括从手势识别模块接收手势状态。
另一个示例方法包括上述操作,并且还包括响应与第一接触相关的第三触摸事件更新第一接触历史向量。
另一个示例方法包括上述操作,并且上述确定步骤包括将第二触摸事件的特征与第三触摸事件的对应特征比较,手势类型与特征相关。
另一个示例方法包括上述操作,并且手势类型与手势相关。
另一个示例方法包括上述操作,并且手势类型与包括持续时间和距离的至少其中之一的接触特征相关。
另一个示例方法包括上述操作,并且上述确定步骤至少部分地基于与第一接触关联的手势状态是否对应于进行中。
另一个示例方法包括上述操作,并且上述确定步骤至少部分地基于第一接触历史向量。
另一个示例方法包括上述操作,并且第一接触历史向量配置成存储与第一接触关联的第一位置和时间、与第一接触关联的最近位置和时间、与第一接触关联的持续时间、以及最近位置与第一位置之间的距离。
另一个示例方法包括上述操作,并且第一手势类型对应于相对较短持续时间的接触,第二手势类型对应于相对较长持续时间的接触,并且第三手势类型对应于移动的接触。
根据另一个方面,提供一种系统。该系统可以包括一个或多个存储介质,在这一个或多个存储介质上单独地或以组合方式存储有在由一个或多个处理器执行时导致如下操作的指令,这些操作包括:至少部分地基于手势类型配置手势识别模块的预处理器,手势识别模块与手势相关;响应第一触摸事件生成第一接触历史向量,第一触摸事件基于对触摸屏的第一接触;将第一触摸事件提供到手势识别模块;以及至少部分地基于手势类型来确定是否要将第二触摸事件提供到手势识别模块。
另一个示例系统包括在由一个或多个处理器执行时导致上述操作的指令,并且还包括至少部分地基于与手势关联的接触数量来配置预处理器。
另一个示例系统包括在由一个或多个处理器执行时导致上述操作的指令,并且还包括从手势识别模块接收手势状态。
另一个示例系统包括在由一个或多个处理器执行时导致上述操作的指令,并且还包括响应与第一接触相关的第三触摸事件更新第一接触历史向量。
另一个示例系统包括在由一个或多个处理器执行时导致上述操作的指令,并且上述确定步骤包括将第二触摸事件的特征与第三触摸事件的对应特征比较,手势类型与特征相关。
另一个示例系统包括在由一个或多个处理器执行时导致上述操作的指令,并且手势类型与手势相关。
另一个示例系统包括在由一个或多个处理器执行时导致上述操作的指令,并且手势类型与包括持续时间和距离的至少其中之一的接触特征相关。
另一个示例系统包括在由一个或多个处理器执行时导致上述操作的指令,并且上述确定步骤至少部分地基于与第一接触关联的手势状态是否对应于进行中。
另一个示例系统包括在由一个或多个处理器执行时导致上述操作的指令,并且上述确定步骤至少部分地基于第一接触历史向量。
另一个示例系统包括在由一个或多个处理器执行时导致上述操作的指令,并且第一接触历史向量配置成存储与第一接触关联的第一位置和时间、与第一接触关联的最近位置和时间、与第一接触关联的持续时间、以及最近位置与第一位置之间的距离。
另一个示例系统包括在由一个或多个处理器执行时导致上述操作的指令,并且第一手势类型对应于相对较短持续时间的接触,第二手势类型对应于相对较长持续时间的接触,而第三手势类型对应于移动的接触。
本文中所采用的术语和表述是用作描述而非限制的术语,并且无意在使用此类术语和表述时排斥所示出和描述的特征的任何等效物(或其一部分),并且认识到,在权利要求的范围内的各种修改是可能的。相应地,权利要求要涵盖所有此类等效物。
Claims (33)
1.一种系统,包括:
触摸屏,其配置成接收接触并基于所接收的接触生成触摸事件;
处理器电路,其配置成执行指令;以及
一个或多个存储介质,在所述一个或多个存储介质上单独地或以组合方式存储有指令,所述指令在由一个或多个处理器执行时导致如下操作,这些操作包括:
至少部分地基于手势类型配置手势识别模块的预处理器,所述手势识别模块与手势相关;
响应第一触摸事件生成第一接触历史向量,所述第一触摸事件基于对所述触摸屏的第一接触;
将所述第一触摸事件提供到所述手势识别模块;以及
至少部分地基于所述手势类型来确定是否要将第二触摸事件提供到所述手势识别模块。
2.如权利要求1所述的系统,其中所述指令在由一个或多个处理器执行时导致如下附加操作:
至少部分地基于与所述手势关联的接触的数量来配置所述预处理器。
3.如权利要求1所述的系统,其中所述指令在由一个或多个处理器执行时导致如下附加操作:
从所述手势识别模块接收手势状态。
4.如权利要求1所述的系统,其中所述指令在由一个或多个处理器执行时导致如下附加操作:
响应与所述第一接触相关的第三触摸事件更新所述第一接触历史向量。
5.如权利要求4所述的系统,其中所述确定步骤包括将所述第二触摸事件的特征与所述第三触摸事件的对应特征比较,所述手势类型与所述特征相关。
6.如权利要求1至5中任一项所述的系统,其中所述手势类型与所述手势相关。
7.如权利要求1至5中任一项所述的系统,其中所述手势类型与包括持续时间和距离的至少其中之一的接触特征相关。
8.如权利要求1至5中任一项所述的系统,其中所述确定步骤至少部分地基于与所述第一接触关联的手势状态是否对应于进行中。
9.如权利要求1至5中任一项所述的系统,其中所述确定步骤至少部分地基于所述第一接触历史向量。
10.如权利要求1至5中任一项所述的系统,其中所述第一接触历史向量配置成存储与所述第一接触关联的第一位置和时间、与所述第一接触关联的最近位置和时间、与所述第一接触关联的持续时间以及所述最近位置与所述第一位置之间的距离。
11.如权利要求1至5中任一项所述的系统,其中第一手势类型对应于相对较短持续时间的接触,第二手势类型对应于相对较长持续时间的接触,并且第三手势类型对应于移动的接触。
12.一种方法,包括:
至少部分地基于手势类型配置手势识别模块的预处理器,所述手势识别模块与手势相关;
响应第一触摸事件生成第一接触历史向量,所述第一触摸事件基于对触摸屏的第一接触;
将所述第一触摸事件提供到所述手势识别模块;以及
至少部分地基于所述手势类型来确定是否要将第二触摸事件提供到所述手势识别模块。
13.如权利要求12所述的方法,还包括:
至少部分地基于与所述手势关联的接触的数量来配置所述预处理器。
14.如权利要求12所述的方法,还包括:
从所述手势识别模块接收手势状态。
15.如权利要求12所述的方法,还包括:
响应与所述第一接触相关的第三触摸事件更新所述第一接触历史向量。
16.如权利要求15所述的方法,其中所述确定步骤包括将所述第二触摸事件的特征与所述第三触摸事件的对应特征比较,所述手势类型与所述特征相关。
17.如权利要求12至16中任一项所述的方法,其中所述手势类型与所述手势相关。
18.如权利要求12至16中任一项所述的方法,其中所述手势类型与包括持续时间和距离的至少其中之一的接触特征相关。
19.如权利要求12至16中任一项所述的方法,其中所述确定步骤至少部分地基于与所述第一接触关联的手势状态是否对应于进行中。
20.如权利要求12至16中任一项所述的方法,其中所述确定步骤至少部分地基于所述第一接触历史向量。
21.如权利要求12至16中任一项所述的方法,其中所述第一接触历史向量配置成存储与所述第一接触关联的第一位置和时间、与所述第一接触关联的最近位置和时间、与所述第一接触关联的持续时间以及所述最近位置与所述第一位置之间的距离。
22.如权利要求12至16中任一项所述的方法,其中第一手势类型对应于相对较短持续时间的接触,第二手势类型对应于相对较长持续时间的接触,并且第三手势类型对应于移动的接触。
23.一种系统,包括一个或多个存储介质,在所述一个或多个存储介质上单独地或以组合方式存储有指令,所述指令在由一个或多个处理器执行时导致如下操作,这些操作包括:
至少部分地基于手势类型配置手势识别模块的预处理器,所述手势识别模块与手势相关;
响应第一触摸事件生成第一接触历史向量,所述第一触摸事件基于对触摸屏的第一接触;
将所述第一触摸事件提供到所述手势识别模块;以及
至少部分地基于所述手势类型来确定是否要将第二触摸事件提供到所述手势识别模块。
24.如权利要求23所述的系统,其中所述指令在由一个或多个处理器执行时导致如下附加操作:
至少部分地基于与所述手势关联的接触的数量来配置所述预处理器。
25.如权利要求23所述的系统,其中所述指令在由一个或多个处理器执行时导致如下附加操作:
从所述手势识别模块接收手势状态。
26.如权利要求23所述的系统,还包括:
响应与所述第一接触相关的第三触摸事件更新所述第一接触历史向量。
27.如权利要求26所述的系统,其中所述确定步骤包括将所述第二触摸事件的特征与所述第三触摸事件的对应特征比较,所述手势类型与所述特征相关。
28.如权利要求23至27中任一项所述的系统,其中所述手势类型与所述手势相关。
29.如权利要求23至27中任一项所述的系统,其中所述手势类型与包括持续时间和距离的至少其中之一的接触特征相关。
30.如权利要求23至27中任一项所述的系统,其中所述确定步骤至少部分地基于与所述第一接触关联的手势状态是否对应于进行中。
31.如权利要求23至27中任一项所述的系统,其中所述确定步骤至少部分地基于所述第一接触历史向量。
32.如权利要求23至27中任一项所述的系统,其中所述第一接触历史向量配置成存储与所述第一接触关联的第一位置和时间、与所述第一接触关联的最近位置和时间、与所述第一接触关联的持续时间以及所述最近位置与所述第一位置之间的距离。
33.如权利要求23至27中任一项所述的系统,其中第一手势类型对应于相对较短持续时间的接触,第二手势类型对应于相对较长持续时间的接触,并且第三手势类型对应于移动的接触。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210253353.3A CN103529976B (zh) | 2012-07-02 | 2012-07-02 | 手势识别系统中的干扰消除 |
PCT/US2012/071823 WO2014007839A1 (en) | 2012-07-02 | 2012-12-27 | Noise elimination in a gesture recognition system |
EP12880523.1A EP2867750A4 (en) | 2012-07-02 | 2012-12-27 | ELIMINATION OF NOISE IN A GESTURE RECOGNITION SYSTEM |
US14/129,600 US20150205479A1 (en) | 2012-07-02 | 2012-12-27 | Noise elimination in a gesture recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210253353.3A CN103529976B (zh) | 2012-07-02 | 2012-07-02 | 手势识别系统中的干扰消除 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103529976A true CN103529976A (zh) | 2014-01-22 |
CN103529976B CN103529976B (zh) | 2017-09-12 |
Family
ID=49882400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210253353.3A Expired - Fee Related CN103529976B (zh) | 2012-07-02 | 2012-07-02 | 手势识别系统中的干扰消除 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150205479A1 (zh) |
EP (1) | EP2867750A4 (zh) |
CN (1) | CN103529976B (zh) |
WO (1) | WO2014007839A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105045501A (zh) * | 2015-06-23 | 2015-11-11 | 上海斐讯数据通信技术有限公司 | 一种电子设备及其应用的滑动动作响应方法和系统 |
CN106557683A (zh) * | 2015-09-29 | 2017-04-05 | 联想企业解决方案(新加坡)有限公司 | 对触摸屏设备进行解锁 |
CN106648400A (zh) * | 2015-11-03 | 2017-05-10 | 华为终端(东莞)有限公司 | 一种触摸数据上报的方法及电子设备 |
CN109325399A (zh) * | 2018-07-13 | 2019-02-12 | 哈尔滨工程大学 | 一种基于信道状态信息的陌生人手势识别方法及系统 |
CN109901940A (zh) * | 2017-12-11 | 2019-06-18 | 通用电气航空系统有限公司 | 促进基于模型数据为触摸屏手势评估生成标准化测试 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9766723B2 (en) | 2013-03-11 | 2017-09-19 | Barnes & Noble College Booksellers, Llc | Stylus sensitive device with hover over stylus control functionality |
US9785259B2 (en) | 2013-03-11 | 2017-10-10 | Barnes & Noble College Booksellers, Llc | Stylus-based slider functionality for UI control of computing device |
US9946365B2 (en) * | 2013-03-11 | 2018-04-17 | Barnes & Noble College Booksellers, Llc | Stylus-based pressure-sensitive area for UI control of computing device |
US9261985B2 (en) | 2013-03-11 | 2016-02-16 | Barnes & Noble College Booksellers, Llc | Stylus-based touch-sensitive area for UI control of computing device |
US10613642B2 (en) * | 2014-03-12 | 2020-04-07 | Microsoft Technology Licensing, Llc | Gesture parameter tuning |
US9310929B2 (en) * | 2014-06-06 | 2016-04-12 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Unlocking touch screen devices |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853133A (zh) * | 2010-05-31 | 2010-10-06 | 中兴通讯股份有限公司 | 一种自动识别手势的方法及移动终端 |
US20110102464A1 (en) * | 2009-11-03 | 2011-05-05 | Sri Venkatesh Godavari | Methods for implementing multi-touch gestures on a single-touch touch surface |
CN102135858A (zh) * | 2010-01-26 | 2011-07-27 | 苹果公司 | 具有用于控制和修改手势识别的代表的手势识别器 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8479122B2 (en) * | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
TWI269997B (en) * | 2005-06-08 | 2007-01-01 | Elan Microelectronics Corp | Multi-object detection method of capacitive touch pad |
US20090225036A1 (en) * | 2007-01-17 | 2009-09-10 | Wright David G | Method and apparatus for discriminating between user interactions |
US8605037B2 (en) * | 2008-10-21 | 2013-12-10 | Atmel Corporation | Noise reduction in capacitive touch sensors |
US8217909B2 (en) * | 2008-12-19 | 2012-07-10 | Cypress Semiconductor Corporation | Multi-finger sub-gesture reporting for a user interface device |
US20100162181A1 (en) * | 2008-12-22 | 2010-06-24 | Palm, Inc. | Interpreting Gesture Input Including Introduction Or Removal Of A Point Of Contact While A Gesture Is In Progress |
US8730187B2 (en) * | 2009-10-29 | 2014-05-20 | Cypress Semiconductor Corporation | Techniques for sorting data that represents touch positions on a sensing device |
KR101639383B1 (ko) * | 2009-11-12 | 2016-07-22 | 삼성전자주식회사 | 근접 터치 동작 감지 장치 및 방법 |
CN102939578A (zh) * | 2010-06-01 | 2013-02-20 | 诺基亚公司 | 用于接收用户输入的方法、设备和系统 |
US8854316B2 (en) * | 2010-07-16 | 2014-10-07 | Blackberry Limited | Portable electronic device with a touch-sensitive display and navigation device and method |
US8922499B2 (en) * | 2010-07-26 | 2014-12-30 | Apple Inc. | Touch input transitions |
CN102870076A (zh) * | 2010-09-24 | 2013-01-09 | 捷讯研究有限公司 | 便携式电子设备及其控制方法 |
US20120092286A1 (en) * | 2010-10-19 | 2012-04-19 | Microsoft Corporation | Synthetic Gesture Trace Generator |
US9870141B2 (en) * | 2010-11-19 | 2018-01-16 | Microsoft Technology Licensing, Llc | Gesture recognition |
US20120133579A1 (en) * | 2010-11-30 | 2012-05-31 | Microsoft Corporation | Gesture recognition management |
KR101645685B1 (ko) * | 2010-12-20 | 2016-08-04 | 애플 인크. | 이벤트 인식 |
US20120169619A1 (en) * | 2011-01-05 | 2012-07-05 | Research In Motion Limited | Electronic device and method of controlling same |
US8810529B2 (en) * | 2011-02-11 | 2014-08-19 | Blackberry Limited | Electronic device and method of controlling same |
US20130002601A1 (en) * | 2011-07-01 | 2013-01-03 | Mccracken David Harold | Touch device gesture recognition |
TW201316211A (zh) * | 2011-10-13 | 2013-04-16 | Novatek Microelectronics Corp | 可濾除誤觸面板的手勢判斷方法 |
-
2012
- 2012-07-02 CN CN201210253353.3A patent/CN103529976B/zh not_active Expired - Fee Related
- 2012-12-27 US US14/129,600 patent/US20150205479A1/en not_active Abandoned
- 2012-12-27 WO PCT/US2012/071823 patent/WO2014007839A1/en active Application Filing
- 2012-12-27 EP EP12880523.1A patent/EP2867750A4/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110102464A1 (en) * | 2009-11-03 | 2011-05-05 | Sri Venkatesh Godavari | Methods for implementing multi-touch gestures on a single-touch touch surface |
CN102135858A (zh) * | 2010-01-26 | 2011-07-27 | 苹果公司 | 具有用于控制和修改手势识别的代表的手势识别器 |
CN101853133A (zh) * | 2010-05-31 | 2010-10-06 | 中兴通讯股份有限公司 | 一种自动识别手势的方法及移动终端 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105045501A (zh) * | 2015-06-23 | 2015-11-11 | 上海斐讯数据通信技术有限公司 | 一种电子设备及其应用的滑动动作响应方法和系统 |
CN106557683A (zh) * | 2015-09-29 | 2017-04-05 | 联想企业解决方案(新加坡)有限公司 | 对触摸屏设备进行解锁 |
CN106557683B (zh) * | 2015-09-29 | 2019-08-02 | 联想企业解决方案(新加坡)有限公司 | 对触摸屏设备进行解锁 |
CN106648400A (zh) * | 2015-11-03 | 2017-05-10 | 华为终端(东莞)有限公司 | 一种触摸数据上报的方法及电子设备 |
CN106648400B (zh) * | 2015-11-03 | 2020-04-03 | 华为终端有限公司 | 一种触摸数据上报的方法及电子设备 |
CN109901940A (zh) * | 2017-12-11 | 2019-06-18 | 通用电气航空系统有限公司 | 促进基于模型数据为触摸屏手势评估生成标准化测试 |
CN109325399A (zh) * | 2018-07-13 | 2019-02-12 | 哈尔滨工程大学 | 一种基于信道状态信息的陌生人手势识别方法及系统 |
CN109325399B (zh) * | 2018-07-13 | 2021-11-19 | 哈尔滨工程大学 | 一种基于信道状态信息的陌生人手势识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103529976B (zh) | 2017-09-12 |
EP2867750A1 (en) | 2015-05-06 |
WO2014007839A1 (en) | 2014-01-09 |
EP2867750A4 (en) | 2016-06-15 |
US20150205479A1 (en) | 2015-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103529976A (zh) | 手势识别系统中的干扰消除 | |
TWI569171B (zh) | 手勢辨識 | |
US10373359B2 (en) | Method and device for erasing a writing path on an infrared electronic white board, and a system for writing on an infrared electronic white board | |
CN102422264B (zh) | 事件识别 | |
CN110058782B (zh) | 基于交互式电子白板的触摸操作方法及其系统 | |
WO2017185575A1 (zh) | 一种触摸屏轨迹识别方法及装置 | |
CN104246679A (zh) | 虚拟键盘处的手势输入 | |
CN104360805A (zh) | 应用程序图标管理方法及装置 | |
US20120131513A1 (en) | Gesture Recognition Training | |
CN114365075B (zh) | 用于选择图形对象的方法和对应装置 | |
US9189152B2 (en) | Touch device and method for dynamically setting touch inactive area, and non-transitory recording medium | |
US9746929B2 (en) | Gesture recognition using gesture elements | |
US20120249448A1 (en) | Method of identifying a gesture and device using the same | |
US20150309690A1 (en) | Method and system for searching information records | |
JP5659777B2 (ja) | 認証処理装置、認証処理方法、及びプログラム | |
CN109710111B (zh) | 一种防误触方法及电子设备 | |
JP5917461B2 (ja) | 情報処理装置、プログラム | |
CN103605460B (zh) | 一种手势识别方法和相关终端 | |
US9950542B2 (en) | Processing digital ink input subject to monitoring and intervention by an application program | |
CN110737341A (zh) | 变更接触物件的识别种类的方法 | |
US11435896B1 (en) | Secured operation with optional cancellation on touch-sensitive devices | |
US10528181B2 (en) | Touch controlling method, electronic device and non-transitorycomputer-readable recording medium | |
CN117157611A (zh) | 触摸屏和轨迹板触摸检测 | |
CN115774675A (zh) | 页面测试方法、装置、服务器及存储介质 | |
CN111158574A (zh) | 一种数学符号输入的装置、方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170912 Termination date: 20210702 |