CN106687967B - 用于对与触敏设备的接触进行分类的方法和装置 - Google Patents

用于对与触敏设备的接触进行分类的方法和装置 Download PDF

Info

Publication number
CN106687967B
CN106687967B CN201580051868.7A CN201580051868A CN106687967B CN 106687967 B CN106687967 B CN 106687967B CN 201580051868 A CN201580051868 A CN 201580051868A CN 106687967 B CN106687967 B CN 106687967B
Authority
CN
China
Prior art keywords
touch
subdivision
contact
category
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580051868.7A
Other languages
English (en)
Other versions
CN106687967A (zh
Inventor
朱莉娅·施华兹
罗伯特·肖
克里斯·哈里森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zicosio
Original Assignee
Zicosio
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zicosio filed Critical Zicosio
Publication of CN106687967A publication Critical patent/CN106687967A/zh
Application granted granted Critical
Publication of CN106687967B publication Critical patent/CN106687967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0433—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了触敏设备、方法以及计算机可读记录介质，允许基于对表示在一段时间期间与所述触敏表面的接触的数据的细分进行分析来改善对抵靠触摸设备的触敏表面的物体的分类。

Description

用于对与触敏设备的接触进行分类的方法和装置
发明人：朱莉娅·施华兹
罗伯特·肖波
克里斯·哈里森
相关申请的交叉引用
本申请要求于2014年9月25日提交的美国临时专利申请号62/055,416的权益。进一步，交叉引用了以下共同受让的且共同未决的美国专利申请：2015年2月2日提交的标题为“Method and Apparatus for Classifying Finger Touch Events on a Touch Screen(用于对触摸屏上的手指接触事件进行分类的方法和装置)”的美国专利申请号14/612,089；2013年8月2日提交的标题为“Capture of Vibro-Acoustic Data used to DetermineTouch Types(用于确定触摸类型的振动声学数据捕捉)”的美国专利申请号13/958,427；2013年2月28日提交的标题为“Input Tools Having Vibro-Acoustically DistinctRegions and Computing Device For Use With Same(具有振动声学相异区域的输入工具以及与其一起使用的计算设备)”的美国专利申请号13/780,494；2013年3月25日提交的标题为“Method and System For Activating Different Interactive Functions UsingDifferent Types of Finger Contact(使用不同类型的手指接触来激活不同交互功能的方法和系统)”的美国专利申请号13/849,698；2014年3月19日提交的标题为“Method andDevice for Sensing Touch Inputs(用于感测触摸输入的方法和设备)”的美国专利申请号14/219,919；2013年5月6日提交的标题为“Using Finger Touch Types to Interactwith Electronic Devices(使用手指触摸类型来与电子设备交互)”的美国专利申请号13/887,711；以及2014年2月26日提交的标题为“Using Capacitive Images for Touch TypeClassification(使用电容性图像进行触摸类型分类)”的美国专利申请号14/191,329，所述申请各自的全部内容通过援引并人本文。
版权声明
本专利文献的公开的一部分包含受到版权保护的材料。版权所有者不反对任何人对本专利文献或本专利公开的复制，由于其出现在专利和商标局专利文件或记录中，但无论如何在其他方面保留所有版权。
技术领域
本发明总体上涉及触摸屏技术领域，并且更具体地涉及一种用于基于触摸感测来确定用户输入的方法、装置和系统。
背景技术
背景部分中所讨论的主题不应该仅仅由于其在背景部分中有所提及而被假定为现有技术。类似地，背景部分中所提及的问题或者与背景部分的主题相关联的问题不应被假定为先前已在现有技术中被认识到。背景部分的主题仅仅代表不同的方法，在其中和其自身也可能是发明。
典型地，当今的各种电子设备由使用者通过与触摸屏的交互而操作。此特征具体地是最近一代智能手机的特性。通常，触摸屏显示屏响应手指接触来激活所述显示器，以便进一步处理。还可以使用工具例如校准笔、手的其他部分例如手掌以及手指的不同部分来实现接触。智能电话制造商一直在开发新技术以便改善智能电话的用户体验。
附图说明
所包括的附图仅为说明目的，并且仅用于提供用于所公开技术的可能结构和过程步骤的示例。这些附图决不会限制本领域技术人员在不脱离本公开的精神和范围的情况下对实施例做出的形式和细节上的任何修改。
图1示出了现有技术触敏设备的顶视图；
图2示出了是具有无接触帧的帧数据的现有技术触敏设备的顶视图；
图3示出了是具有两点接触帧的帧数据的现有技术触敏设备的顶视图；
图4示出了是具有两点接触帧的帧数据的现有技术触敏设备的顶视图，所述帧数据具有强度数据；
图5示出了是具有耳朵接触的帧数据的现有技术触敏设备的顶视图；
图6示出了触敏设备以及与其接触的物体的顶视图；
图7是触敏设备的一个实施例的框图；
图8展示了本发明的一种方法；
图9展示了边界区域的一种安排的示例；
图10展示了边界区域的另一种安排的示例；
图11展示了边界区域的另一种安排的示例；
图12展示了边界区域的又一种安排的示例；
图13展示了被保持靠着用户头部的触敏设备；
图14展示了当触敏设备被保持靠着用户头部(如图13所示保持时)可以感测到的帧数据的图像的示例；
图15展示了当触敏设备与其他物体接触时可以感测到的帧数据的图像的另一个示例；并且
图16展示了用于操作触敏设备的方法的另一个示例实施例。
发明内容
提供了触敏设备、用于操作触敏设备的方法、以及计算机程序产品。在一个方面，提供了一种用于对与触敏表面相接触的物体进行分类的方法，在所述方法中：接收帧数据，分析所述帧数据的特性以便确定指示所述物体的用于细分所述帧数据的多个描述性特征，并且根据所述描述性特征和所述细分的位置来确定与所述触敏表面相接触的所述物体的帧接触类别。通过查看下文的附图、详细描述和权利要求书可以了解本发明的其他方面和优点。
具体实施方式
本部分中描述了根据一个或多个实施例的方法和装置的应用。提供这些示例仅是为了添加上下文并帮助理解本公开。因此，对于本领域技术人员而言将明显的是可在没有这些具体细节中的某些或全部的情况下实践在此所描述的技术。在其他示例中，为了避免不必要地模糊本公开，未详细描述公知的过程步骤。其他应用也是可能的，这样使得以下示例不应视为对范围或设置的限定或限制。
在以下详细描述中，参考了形成说明书一部分的附图，在附图中以说明的方式示出了具体实施例。尽管足够详细地对这些实施例进行了描述以使得本领域技术人员能够实践本公开，但应理解的是，这些示例不是限制性的，这样使得在不脱离本公开的精神和范围的情况下可以使用其他实施例并且可以做出改变。
可以用多种方式来实现一个或多个实施例，包括如过程、装置、系统、设备、方法、计算机可读介质(如包含计算机可读指令或计算机程序代码的计算机可读存储介质)、或如包括内嵌有计算机可读程序代码的计算机可用介质的计算机程序产品。
以下说明中的特征仅通过展示的方式涉及优选实施例。这些附图并非必须成比例。从以下讨论应当注意到，在此所公开的结构和方法的替代性实施例将被轻易地认为是在不背离权利要求书的原则的情况下可以采用的可行的替代方案。
图1展示了触敏设备20的示例，例如手机、个人计算机、显示板、个人数字助理、电视、或触敏图形板典型地具有触敏表面22，所述触敏表面能够感测到物体何时与触敏表面22相接触。在典型的安排中，触敏表面22具有感测元件阵列24，每个感测元件与触敏表面22的预定部分相关联。当物体与触敏表面22接触时，所述感测元件阵列24中的元件感测这样的接触并产生信号，控制设备可以根据所述信号来确定所述阵列中的哪些元件在与所述物体相接触。
触敏设备20扫描感测元件阵列24或以其他方式轮询阵列24中的每个元件，以使得控制系统(未示出)可以确定在给定时间段(例如l/30、l/60或l/l00秒)中触敏表面22的哪些部分在与另一物体相接触。此信息通常被整理成表示在所述给定时间段中所述阵列中的每个元件的接触状态的x、y二维数据形式的帧数据。
帧数据在概念上可以被理解为提供具有较高密度部分的图像或帧图像，所述较高密度部分表示触敏表面22的与另一物体相接触的区域。图2展示了此类帧图像的第一示例。在这个示例中，没有物体与所述触敏表面相接触并且因此所有感测元件都报告它们没有与另一个物体相接触。在发生这种情况时，帧图像40可以具有图2中展示的外观，没有较高密度部分。
然而，当使物体与触敏表面22接触时，这些感测元件中的一些将报告某种接触，并且在代表此种状态的帧图像中出现接触图案。在图3中展示了这种情况的示例，所述图中示出了在一个时刻感测到的帧的示例性帧图像42，在给时刻两根手指压抵靠在触敏表面22上。在这个示例中，触敏表面22具有感测元件阵列24，读取所述阵列以便指示接触或无接触的二进制状态。在与触敏表面22进行接触的事件中，这样的接触要么足以越过每个感测元件处的检测阈值，要么不是。在这个示例中，帧图像(例如图3所示的帧图像42)可以在概念上理解为包括对接触的指示或对无接触的指示并且包括由满密度区域的图案所限定的团块30和32，在所述区域处感测元件阵列24中的多个感测元件感测到与另一个物体的接触。
在许多现代触摸屏系统中，感测元件阵列24能够确定某种水平的接触强度信息，例如施加的压力量、在点接触之处体验到的电阻强度、与感测元件阵列24中的每个元件处的接触相关的电容强度或其他强度。在使用这样的感测技术时，帧图像(例如图4所示的帧图像44)可以表示由感测元件阵列24感测到的接触强度。将了解的是，在这个实施例中，接触强度信息可以在概念上了解为作为所述帧图像中被反映为灰度图像数据。图4所示的示例描绘了使用这样的系统响应于图3中描绘的与触敏表面22的相同手指接触而得到的帧图像44，然而如图4所示，帧图像44结合了指示团块34和36内的接触的一些方面的强度的灰度信息。
将了解的是，在应用中，与触敏表面22接触的物体集合不局限于手指。例如，手机、个人数字助理、以及平板设备可以时不时地很好地被保持在用户的耳朵或脸上以便使得用户能够更好地听到所述设备发出的声音、或更可信地听到所述设备发出的声音。这可以与触敏表面22产生多个接触。图5展示了帧图像46，所述帧图像例示了当触敏表面22具有对强度敏感且与耳朵接触的感测元件阵列24时可以捕捉的帧图像。由此可以看到，可能挑战性的是使触敏设备20确定这是否代表了与触敏表面22的一个或多个手指接触的图案、或这个接触图案是否代表了与用户的耳朵或其他物理特征的接触。
触敏设备20区分这样的不同接触类型可以达到的准确性和效率可能对所述设备的用户、激活、可用性、以及功能性具有显著影响。
因此准确进行这种区分的能力是设计现代触敏设备的更具挑战性的方面之一。因此本领域需要的是一种触敏设备的新的、新颖的且非显而易见的方法特性，使得触敏设备20将准确地在表示由多点式手指接触所造成的接触信息的帧数据与具有同其他类型的多点式头部接触相关联的接触信息的帧数据之间进行区分。
将了解的是，在一些情况下，区分可以基于触敏表面22上的触敏接触的图案。也就是，可以使用图案识别工具来分析所述帧图像图像，以便确定触敏表面22所提供的二维图形是否具有与特定接触类型相关联的外观。例如，手掌触摸接触看起来是大的不规则团块，而手指趋向于看起来是较小的椭圆体。这种形状和大小的区别可以用来将它们区分开(即，通过不同的分类技术，例如机器学习)。
可替代地，还可以使用补充信息来协助这样的区分。例如，在用于检测当用户头部紧靠触摸屏表面时用户何时定位其头部的数字显示设备中已经包含了可见光传感器和红外传感器。这可以在手指接触与头部接触之间进行区分。类似地，可以监测振动声学数据以便提供可以帮助在与触敏设备的多种接触类型之间进行区分的信息。例如，可以感测振动声学数据并使用其来鉴别触敏表面何时与指尖、指节、指甲、校准笔或多种多样其他类型的事物相接触。
然而，虽然这样的补充系统是商业上和事件中非常有用且有价值的，但还有用的是考虑可以允许在与触敏表面的多点式接触类型之间进行稳健区分而不必使用这样的补充系统的其他途径。因此，更一般地，本领域需要的因此是一种触敏设备20的新的、新颖的且非显而易见的方法或特性，使得触敏设备20将较少地依赖于其他感测系统而准确地区分与触敏表面的不同类型的多点式接触。
图6示出了根据本发明的一个实施例的触敏设备100的外部视图，并且图7示出了触敏设备100的框图。在这个实施例中，触敏设备100具有显示系统120，所述显示系统具有在二维呈现区域126上呈现图像的显示器122。在这个实施例中，触摸感测系统110提供了触敏表面112，所述触敏表面是至少部分地与呈现区域126同延的。触敏表面112被适配成用于检测物体124例如指尖或所展示的校准笔何时被定位成与触敏表面112相接触并且产生信号，根据所述信号它可以确定触敏表面112的哪部分在与物体124接触。
图6和图7的触敏设备100可以采用多种形式中的任一种，包括图6所示的智能电话。然而在其他实施例中，触敏设备100可以采用其他形式，包括但不限于具有触摸感测系统110和处理器130的任一类型的数字设备，所述处理器是例如微处理器、微控制器、或任何其他类型的可编程控制设备、或预编程的或专用的处理或控制系统。此类触敏设备100的示例包括台式计算机、笔记本计算机、工作站、PDA、连网板、以及移动电话(并非智能电话)。类型地，触敏设备100可以采用其他形式，例如独立触摸板和触控板、以及结合了触敏表面和22例如触摸板、图形输入板和触控板的系统的形式。在此方面将了解的是，虽然触敏设备100的部件被展示为在单一壳体102内，但这是可选的，并且这些部件可以位于触敏设备100的多个分开容纳的部件内。
在图6和图7所示的实施例中，触敏设备100具有结合了触敏表面112的触摸感测系统110，所述触敏表面感测物体124何时与触敏表面112接触。例如可以使用感测元件阵列22，例如感测元件阵列24。触摸感测系统110产生信号，它可以根据所述信号来确定触敏表面112的哪部分在与物体124接触。处理器130接收来自触摸感测系统110的信号并且分析所述信号以便检测物体124在触敏表面112上所做的敲击或其他接触。
在图6和图7展示的实施例中，触敏设备100进一步具有存储系统140。存储系统140可能能够向处理器130提供编程的以及其他形式的指令，所述指令可以用于其他目的。存储系统140可以包括只读存储器、随机存取半导体存储器、或其他类型的可以永久安装或分开地安装至触敏设备100上的存储器或计算机可读介质。此外，触敏设备100还可以提供可选的通信系统180访问与触敏设备100分离的存储系统140。
触敏设备100还被示出为具有其他可选的部件，例如具有音频传感器162和音频输出端164的音频系统160，所述音频传感器是例如麦克风和/或与麦克风的连接，所述音频输出端是例如扬声器或与扬声器的连接。触敏设备100如图所示还与包括具有显示器122的显示系统120、多个传感器170、接口单元210、信号处理单元220、物体分类单元230、以及事件确定单元250和数据库260。
传感器170可以采用多种形式中的任一种并且可以总体上包括用于感测感测设备100内部或外部的条件的任何已知的设备。传感器170可以(不进行限制)采用以下形式：声学传感器，加速度计，光传感器，测距仪，温度计，霍尔效应传感器，开关、例如2路、4路开关、6路开关、8路开关，鼠标与轨迹球系统，操纵杆系统，语音识别系统，基于语音的手势识别系统或其他此类系统，射频标识和近场通信传感器，条形码传感器，位置传感器，以及本领域已知的可以用来检测可能对于掌控图像传感器的操作或执行其将此信息转换成处理器130可以使用的形式的这些功能有用的条件的其他传感器，所述处理器可以使用所述形式来掌控触敏设备100的操作。传感器170还可以包括被适配成用于为了安全性和情感成像目的而检测用户的特性的生物传感器。
替代地或此外，传感器170可以包括加速度计、振动传感器、超声传感器、压电设备、或可以感测指示物体124与触敏表面112之间的接触的振动或声音的其他已知的电路和系统。
传感器170还可以包括可以感测物体124对触敏表面112施加的压力的量的压力传感器。在这种类型的一些实施例中，触敏表面112可以是不仅可以感测触敏表面112的哪个部分已经与物体124接触、而且还可以感测对触敏表面施加的压力的量的类型。这种类型的不同技术是已知的，其示例包括但不限于由日本埼玉县加须市(Kazo,Saitama,Japan)的Wacom Co.,Ltd.以商标Wacom出售的图形输入板，这些图形输入板目前能够感测1024个不同压力水平。
在另外的其他实施例中，传感器170可以包括可以可选地结合到物体124之中或其上的一个或多个传感器170，所述传感器可以感测指示在物体124与触敏表面112之间施加的力的量的条件。在这样的实施例中，力传感器170可以采用以下形式，例如但不限于：压电传感器、应力传感器、应变传感器、压缩传感器、偏转传感器、或弹性偏置感测系统，所述弹性偏置感测系统可以基于接触表面抵抗弹性构件的力而进行偏转移动的量来感测力并且可以生成指示由或通过指示器对触敏表面112施加的力的量的信号。
这样的力传感器170可以通过有线连接或无线连接、例如通过可选的能够与通信系统180通信的无线通信模块182而直接连接至接口单元210。
在另外的实施例中，可以通过提供在一些实施例中可以具有圆化的挠性尖端例如橡胶或金属网尖端)的物体124(例如图6所示的校准笔)来实现力感测，所述尖端被安排成在被压靠在触敏表面112上时以弹性方式展平从而增加与触敏表面112接触的表面积的量。在这样的实施例中，触敏表面112接触的面积的大小是对用户对触敏表面112施加的力的量的有效代表，并且在此方面，能够感测与触敏表面112接触的面积的触摸表面可以用于此目的。通过适当的校准、使用指尖或其他这样的物体124可以实现相似的结果。
通信系统180可以采用以下形式：可以将数据转换成能够通过光信号、射频信号或其他形式的有线或无线信号传送到外部设备的任何光学、射频或其他电路或系统。通信系统180可以用于多个目的，包括但不限于发送和接收指令集、以及与远程传感器或存储系统交换数据。
如图7所示，根据本发明的一个实施例的触敏设备100可以包括接口单元210。接口单元210可以接收例如来自触摸感测系统110、音频系统160和/或传感器170或其他任何部件的信号并且处理这些信号以便被处理器130或被采用信号处理器或信号处理电路的形式的信号处理单元220使用。
接口单元210可以例如连接至来自触摸感测系统110、音频系统160、以及传感器170的输出上。这样的输出通常是模拟形式，并且接口单元210可以包括任何类型的、可以将此类输出转换成可以被信号处理单元220或处理器130使用的数字信号的模数转换器。接口单元210还可以包括放大器、滤波器(包括但不限于噪声滤波器、带通/带阻滤波器、或联接器)、断路器、熔丝连接环、或保护触敏系统100的其他部件免于潜在损坏的其他系统。
根据本发明的一个实施例的接口单元210可以执行与音频传感器162和传感器170接界的功能，以便感测当物体124接触触敏表面112、或在其他实施例中接触触摸输入感测设备100的其他特定部分(即，外部部分)时产生的声音或振动。
一种途径可以利用具有一个或多个传感器(例如，一个用于空中声学，而一个用于机械振动，也称为结构声学)的振动声学信号来源两者。可以使用若干类型的音频传感器162或其他传感器170，包括但不限于：
压电弯曲元件；
压电薄膜；
加速度计(例如，线性可变差动变压器(LVDT)，
电位计式、可变磁阻、压电式、压阻式、电容式、
伺服(力平衡)、MEMS)；
位移传感器；
速度传感器；
振动传感器；
陀螺仪；
接近度传感器；
电传声器；
水听器；
电容传声器；
驻极体电容传声器；
动态传声器；
带式传声器；
碳粒传声器；
压电传声器；
光纤传声器；
激光传声器；
液体传声器；以及
MEMS传声器。
重要的是，许多触摸屏计算设备现在已经内置传声器和加速度计(例如，用于声音和输入感应)。这些可以在不需要附加传感器的情况下使用，或可以与专门的传感器协同工作。
为此，接口单元210可以接收来自音频传感器162或感测振动的传感器170的信号，并可以准备所述信号以供信号处理器220使用。在这个实施例中，这采用以下形式来进行：将此类信号转换成数字形式并提供表示由音频传感器162和传感器170感测到的条件的数字信号。
接口单元210还可以接收来自处理器130和/或信号处理单元220的信号并且使用这些信号来控制显示系统120、音频系统140和通信系统180的操作。在此方面，接口单元210可以包括显示器驱动器、包含放大器的音频输出系统等等。应了解的是，属于接口单元210的这些功能中的一些或全部可以由集成在触摸音频系统160、传感器170、或通信系统180内的硬件或程序来执行。
信号处理单元220接收来自接口单元210的可能处于数字形式的信号，并且准备所述信号以用于进一步处理。信号处理单元220可以执行采样、量化和编码过程中的至少一者并且可选地还可以用于将此类模拟信号转换成数字信号。信号处理单元220可以将这些数字信号发送至处理器130或物体分类单元230。
在这个实施例中，提供了事件确定单元250，所述事件确定单元至少部分地基于所述物体的类别来确定已经发生了事件，并且这种确定被用于控制触敏设备100的操作。还提供了数据库260，程序软件和其他数据可以存储在所述数据库中。
根据本发明的一个实施例，接口单元210、信号处理单元220、物体分类单元230、事件确定单元250、以及数据库260的功能中的至少一项可以是用于控制其他公知硬件部件或用于执行软件的部件的程序模块，所述程序模块是例如被包含在触敏设备100中，包括例如但不限于处理器130、存储系统140、接口单元210、并且在一些实施例中在信号处理单元220中。这些程序模块可以以操作系统、应用程序模块、或其他程序模块的形式被包含在触敏设备100中，同时它们可以物理地存储在多种公知存储设备中。进一步，这些程序模块可以被存储在可以通过通信系统180与触敏设备100通信的远程存储设备中。同时，这样的程序模块可以包括但不限于：用于执行特定任务或执行根据本发明如下文描述的特定抽象数据类型的例程、子例程、程序、对象、部件、数据结构等等。也可以在被适配成用于执行与此类模块相关联的功能的硬件配置的方面表示这样的程序模块。
物体分类单元230分析从信号处理单元220发出的这些数字信号以便对于被带到与触敏表面112相接触的物体124的类型进行分类。
总体上，当物体分类单元230表征这样的物体时，分类单元230接收具有x、y坐标值形式的帧信息信息的信号，每个坐标值表示触敏表面24的哪个部分在与物体124接触。如本领域已知的，使用典型的触敏表面112来获得这样的x、y坐标值涉及以预定的速率(例如每秒一百次)对触敏表面112采样。在一个这样的实施例中，每秒一百次地感测与物体124接触的触敏表面112(如果存在的话)，并且生成表示指示了物体124与触敏表面112之间的接触部分的x坐标值和y坐标图的帧数据数据，并且在一些实施例中对所述x-y坐标值分派强度值。
物体124可以包括可以与触敏表面112相接触并且由此可以被检测的任何物体。虽然以单数形式被称为“物体”124，但将了解的是，出于本公开的目的，“物体”可以包括可以在一帧的过程中与触敏表面122相接触的任何事物组合，包括但不限于手指、手指的不同部位的组合、包括校准笔或笔在内的指示器、身体的不同部位例如头部、颧骨、嘴、脸、胡子或头发、帽子、头帽、以及头巾或其组合。
在其他实施例中，物体124可以采用任何电子笔、或其中具有或不具有电子电路的其他工具的兴衰，所述指示器可以属于或不属于感测设备100，除了当物体124是用户的身体部位例如用户手指时。物体124可以由多种不同的材料制成，例如金属、木材、塑料、橡胶、以及玻璃并且可以包括身体部位例如手指、手、手臂、头部和颈。当物体124是用户手指时，所述手指的特定部位中的每一个都可以变成根据本发明的物体124，因为手指通常是由多个不同的部分例如指尖、指甲、指关节、以及关节构成。
提供了一种物体分类单元230。物体分类单元230使用了表示触敏表面200的与另一个物体接触的部分的x、y坐标数据以及可选地来自所述帧数据的任何强度数据，并且对触敏表面112所感测到的一个或多个接触的性质。
参照图8-图11展示了物体分类单元230的操作。图8展示了用于对触敏表面112上的接触进行分类的方法的第一实施例。如图8所示的实施例，接收帧数据成(步骤400)。图9展示了表示所述帧数据的图像300的示例。在这个示例中，例如但不限于当物体例如耳朵与触敏表面110接触时，感测图像300中描绘的所述帧数据。
在触敏设备100中，物体分类单元230接收表示触敏表面100的与另一个表面接触的每个部分的x、y坐标的帧数据并且执行一种用于对接触类型进行分类的方法，所述接触类型接着被供应地事件确定单元250。
在这个实施例中，分类包括细分分析(步骤410)。在所述细分分析中，将所述帧数据划分成多个细分部，并且分析每个细分部的特性，所述特性可能指示或没有指示与所述预定类别的一致性。此类细分部具有不同的形式。这些细分部被界定用于随后在边界区域的意义上进行讨论，并且多种边界区域形状是可能的。边界区域形状可以是相互排他的、被限定成使得边界区域的任一部分都不与另一个边界区域的部分重叠，或者它们可以被限定成使得这些边界区域可以至少部分地重叠。
图9展示了可以在细分分析中使用的边界区域300的图案的一个示例。在图9的示例，使用边界区域352的总体上均匀的图案化阵列350来细分帧数据300。然而将了解的是，这不是关键的。例如在图10所示的实施例中，使用具有多种不同大小的边界区域352并且如图10所示的一种图案358的边界区域352，并且一种图案358的边界区域352可以具有任何数量的不同大小的边界区域352。此外，如图11所示，一种图案360的边界区域352可以具有被成形为多种构型中的任一种的边界区域352。最后，如图12所示，边界区域352可以采用边界区域352图案362的形式，这些边界区域是至少部分地基于所述帧数据本身限定的，其中所述图案围绕与触敏表面112的集中接触部分描绘了不同的边界区域。此外，可以使用所有上文边界安排的衍生物(一阶和二阶)。
在一些实施例中，可以使用预定图案的边界区域352来分析所有帧数据。可替代地，所述图案的边界区域352可以基于触敏设备100的操作模式动态地确定。
接着分析由边界区域352限定的这些细分部内的帧数据以便确定每个细分部的潜在接触类型(步骤410)。这可以例如通过确定所述帧数据是否存在与所述细分分析一致的图案分析来完成。这种图案分析可以使用常规的图案鉴定方法来定位指示了与某些物体的触摸的触摸图案，例如通过鉴定这些细分部内的图案。接着当图案分析与所述细分分析一致时，可以针对与所述触敏表面接触的物体确定类别。可选地，在一个实施例中，可以例如基于触摸强度来确定所述类别。可以用多种方式来确定触摸强度，例如可以将触摸强度确定为高于或低于阈值、或确定为低、中等和高强度之一。替代地，触摸强度可以被确定为连续数值，例如在0.0与100.0之间。在此情况下，触摸强度的类型数量是根据用于区分触摸强度的振幅的量的指标数量确定的。
由于触摸强度可以取决于施加触摸的物体124从根本上改变，因此可能有利的是相对于这些独立的物体124类型来确定用于区分所述数字的声音/振动信号的振幅的量的上述物体124类型指标。这样的确定可以用多种方式中的任一种进行。例如，这样的区分可以至少部分地通过使用振动声学数据来进行，如在2015年2月2日提交的标题为“用于对触敏表面上的触摸事件进行分类的方法和装置(Method and Apparatus for ClassifyingTouch Events on a Touch Sensitive Surface)”的共同受让的且共同未决的美国专利申请号14/612,089中描述的，所述申请通过援引以其全部内容并入本文。本申请部分地描述了一种用于对触摸事件进行分类的装置，所述装置具有触敏表面、触摸检测器以及触摸事件分类器，所述触敏表面被配置成用于在物体或手指触摸所述触敏表面时产生触摸事件，其中，所述触摸事件引起在与所述表面接触时产生的机械振动，所述触摸检测器被配置成与检测触摸的开始，并且所述触摸事件分类器被配置成用于对触摸事件进行分类以便鉴定所述触摸事件所使用的物体。
此外，还可以至少部分地使用在2013年8月2日提交的共同受让的且共同未决的“捕捉用于确定触摸类型的振动声学数据(Capture of Vibro-Acoustic Data used toDetermine Touch Types)”美国专利申请号13/958,427中描述的技术来进行这样的确定，所述申请通过援引以其全部内容并入本文。所述申请部分地描述了一种用于在用户与具有触敏表面的电子设备之间进行交互的方法。在所述方法中，接收触摸事件触发信息，所述触摸事件触发信息指示了所述触敏表面上的物理触摸事件的发生。访问由所述触摸事件产生的触摸数据，并且在时间窗口上访问由所述物理触摸事件产生的振动声学数据，所述时间窗口在接收所述触摸事件触发信息之前的时刻开始，并且基于所述触摸数据和所述振动声学数据来确定所述触摸事件的触摸类型。
此外，可以至少部分地使用在2014年3月19日提交的标题为“用于感测触摸输入的方法和设备(Method and Device for Sensing Touch Inputs)”的共同受让的且共同未决的美国专利申请号14/219,919中描述的技术来进行这样的确定，所述申请通过援引以其全部内容并入本文。所述申请部分地描述了一种用于感测输入数字设备中的触摸输入的方法，在所述方法中，感测由触摸产生的声音/振动信号，并且对所感测到的声音/振动信号进行数字处理。在此，基于从经处理的声音/振动信号的时域和频域表示得到的特征来确定触摸装置的类型以及触摸强度。
在一些情况下，可以至少部分地基于当输入工具的不同部分接触触敏表面时与感测表面进行的接触之间的振动-声学差异来确定触摸强度。这种情况的一个示例可以在2013年2月28日提交的标题为“具有振动-声学相异区域的输入工具和与之一起使用的计算设备(Input Tools Having Vibro-Acoustically Distinct Regions and ComputingDevice For Use With Same)”的共同受让的且共同未决的美国专利申请号13/780,494中找到，所述申请通过援引以其全部内容并入本文。
所述申请部分地描述了一种用于与触摸屏交互的输入工具，所述输入工具包括：校准笔形式的本体，所述本体具有一个或多个振动-声学相异区域，其中每个振动-声学区域在触摸所述触摸屏的表面时产生离散的振动-声学信号，并且所述振动-声学信号被用于检测使用的是所述输入工具的哪个区域。这样的振动-声学信号还可以用于在不同类型的手指接触(例如与指关节、指甲和指尖的接触)之间进行区分，例如在2013年3月25日提交的标题为“使用不同类型的手指接触来激活不同交互功能的方法和系统(Method and SystemFor Activating Different Interactive Functions Using Different Types ofFinger Contact)”的共同受让的且共同未决的美国专利申请号13/849,698中描述的，所述申请通过援引以其全部内容并入本文。
手指触摸类型确定可以例如导致针对第一手指触摸类型执行第一动作并且针对第二手指触摸类型执行第二动作。例如，2013年5月06日提交的并且通过援引以其全部内容并入本文的标题为“使用手指触摸类型来与电子设备交互(Using Finger Touch Types toInteract with Electronic Devices)”的美国专利申请号13/887,711描述了这样的应用。
至少部分地基于电容性数据也可以获得触摸强度。例如在2014年2月26日提交的标题为“使用电容性图像进行触摸类型分类(Using Capacitive Images for Touch TypeClassification)”的共同受让的且共同未决的美国专利申请号14/191,329部分地描述了一种在用户与具有触敏表面的电子设备之间进行交互的方法。在其一个方面，访问电容性图像，所述电容性图像包括与所述触摸表面上的多个位置处的电容相对应的电容性图像数据，这些电容响应于所述触摸表面上的物理触摸而变化。处理所述电容性图像数据，并且基于所述处理的电容性图像数据来确定所述物理接触的触摸类型。还可能有用的是(在有可能这样做的情况下)维持关于此类物体的启发式数据。
可以基于物体124与触敏表面112之间的触摸强度来确定触摸强度数据，所述触摸强度进而可以例如基于电容、电阻、或剪切力测量来确定。此外，可以基于所感测到的对触敏表面112施加的力的量的变化来确定触摸强度数据，这种变化可以用上文更详细描述的这些不同方式以及用于感测对表面施加的力的任何其他已知方式进行感测。
物体分类单元230可以发送物体表征信息。此外，物体分类单元230可以发送表征力的量的触摸强度数据、或表征在触摸过程中由或通过物体124施加的触摸强度的其他触摸强度信息。这在一个实施例中可以通过提供与触摸强度数据的每个元素相对应的触摸强度数据、或通过采样、数学处理、或以其他方式处理用于表征在获得所述帧数据的时间段期间施加的力的量的力数据来实现。
在每个细分部中进行的帧数据分析可以采用多种形式，包括：
平均
标准偏差
标准偏差(经整体振幅归一化)
方差
偏斜度、峰度、和
绝对值和
均方根(RMS)
峰值因数
离差、熵、功率和
重心(质心)
变差系数、过零
使用以下方法得到的一组已知示例性信号的模板匹配得分：
卷积
逆滤波匹配技术
和-平方差(SSD)，以及
弹性匹配。
在一些实施例中，触摸感测系统110单独地、或与触敏设备100的其他部件的组合将产生可以使用的额外数据，包括但不限于：
触摸接触位置(2D、或在曲面玻璃或其他非平面几何形状的情况下为3D)，
触摸接触的大小(一些触摸技术提供了具有长轴和短轴的触摸接触椭圆)，
触摸接触的旋转，
触摸的形状(一些触摸技术可以提供触摸的实际形状、并且并非正好是圆或椭圆)，
触摸接触的表面积(例如，单位是mm的平方或像素)、触摸压力(在一些触摸系统上可获得)，
触摸的剪切力(在一些触摸系统上可获得)，
“切应力”(在文献中也称为“切向力”)由垂直于触摸屏的表面法线(即，平行于触摸屏表面)的力矢量引起。这类似于：法向应力(一般称为压力)，所述法向应力由平行于表面法线的力矢量引起；触摸接触的数量；
触摸的电容(如果使用电容性触摸屏)；
触摸的扫频电容(如果使用扫频电容性触摸屏)，以及
触摸的扫频阻抗(如果使用扫频电容性触摸屏)。
在一个实施例中，可以在所述帧数据中通过将边界区域320变换成频域表示(例如，使用快速傅里叶变换或类似函数)来限定边界区域的图案。从所述频域表示中提取以下特征：
频谱重心，
频谱密度，
球谐函数，
总平均频谱能量，以及
对数谱带比。
物体分类单元230可以使用任何数量的方法，包括但不限于基本启发法、决策树、支持向量机、随机森林、朴素贝叶斯、弹性匹配、动态时间规整、模板匹配、k均值聚类、K最近邻算法、神经网络、多层感知器、多项逻辑回归、高斯混合模型、和AdaBoost。
此外，物体分类单元230还可以将来自若干不同分类途径的结果通过例如表决方案、或通过分析一种图案进行组合，由所述图案可以确定在一定时间段期间所述触敏表面的哪些部分在与物体接触。
物体分类单元230基于与所述帧数据相关联的相关数据的分析来确定所述图案分析的类别是否与所述细分分析的结果一致。在这不一致的情况下，获得并分析随后的帧(步骤440)。
然而，在所述分析一致的情况下，确定440所述帧数据与所述图案分析或其他分类以及任何进一步的分析(例如，一旦确定了与所述触敏表面接触的物体就可以对所述帧数据执行的精细分析)一致。
一旦针对与触敏设备100接触的物体确定了类别，可以基于所述类别来确定事件。为了减小假的正模式改变的机会(例如，切换至使用耳朵)，可以遵循两种示例性策略。图8的实施例展示了这两种示例性策略中的第一种。
在这个实施例中，事件确定单元250使用来自多于一个时间段的帧数据辅助这种分类。例如，接触敏感性表面112可以以具体帧速率来捕捉触摸图像/帧数据(例如，每秒30帧)。在这些帧的过程中捕捉的帧数据可以被单独分类(例如，“耳朵接触”或“无接触”)。虽然任何给定帧数据中的任何接触可能具有较低类别置信度，通过使用小的表决窗口可以实现更稳健结果。例如，如果最后10个触摸屏帧具有以下分类结果——“耳朵、耳朵、无接触、耳朵、无接触、耳朵、耳朵、耳朵、耳朵、无接触”——所述结果将是“耳朵”类别(最后10个类别结果中的6个)(步骤450)。类似地，对于可以出于分类目的而鉴定和使用的接触，可能存在预定图案类别随时间的变化。例如，可以预期在耳朵接触过程中将存在一定比率的“无接触”确定结果。例如，如果预期在维持耳朵靠在触摸屏上的时间段期间的十个接触类别中的三个将显示无接触，或者如果预期五个帧中的只是一个将显示无接触，则“无接触”确定结果的存在增强了以上事例中耳朵接触类别的可靠性。所进行的确定可以被称为当前类别状态，并且可以使用所述当前类别状态来确定例如将启用或停用显示器110或显示器110的一部分或采取其他措施的事件(步骤460)。
可替代地，一些分类器产生类别置信度。为了得到更稳健行为，所述设备的模式将仅在高置信度类别时进行切换。如果产生低置信度类别，所述设备将简单地维持其当前模式。所述过程接着可以终止或继续(步骤470)。
此外，为了避免两种或更多种模式之间的“闪变”(即，在模式之间快速切换)，可以使用滞后函数。
将了解的是，多种不同的接触类别是可能的，并且在所接收的帧数据中可以找到多于一种接触类别。例如，考虑图13和14中展示的情景。如图13所示，用户500不常将触敏设备100例如手机放置成靠在其头部502上而使得在多于一个地方存在触敏表面112与头部502之间的接触图案508。如图13所示，在头部502与触敏表面之间存在若干不同的接触，包括耳朵接触510、脸颊接触512以及可能的头发/头部接触514。
图14展示了在获取一个帧的帧数据时的时间段期间可以确定的帧数据的帧图像520的示例。在此，耳朵接触510得到了接触图案530，而脸颊接触512提供了具有卵形形状的相对均匀的接触图案540，而头发/头部接触得到了具有一定均匀性但由于与头发接触而潜在地受长形条纹552的存在所影响的接触图案550。
将了解的是，接触图案530、540和550中的每一个提供了一种签名，所述签名联合地或单独地来看可能能够被分类、或者可能能够被用于证实一种类别。
还将了解的是，这种情况的许多不同变体是可能的。例如，用户可能佩戴眼镜，所述眼镜包绕耳朵的后部并且因此以可以调节在手指被搁放在耳朵上时所感测到的接触图案的方式来支撑耳朵。类似地，所述用户可能佩戴可以感测到的头帽、或与触敏表面100产生特定接触图案的刺孔/珠宝，所述接触图案对于确定头部何时搁放在触敏表面112上是特别有用的。
图15示出了进一步展示以上描述的原理的应用的另一个示例。图15展示了表示具有多个接触562、564和566的帧数据的帧图像560。在这个示例中，如上文描述地进行分类，其中通过检测帧数据560中的图案来对帧数据进行分类。然而，将了解的是，对帧数据560进行图案分类可能没有得出具有高置信度的结果。相应地，可以应用细分分析(步骤410)。在这种情况下，这样的细分分析可以帮助基于以上描述的分析来对例如接触562是否是指关节接触或指尖接触进行更高置信度的确定。类型地，可以基于以上描述的分析关于接触556是否是与触敏表面112的指甲接触、校准笔接触、或其他接触作出确定。
由此将了解的是，使用在此描述的技术，可以提供具有解释与触敏表面的接触图案的更高能力的触敏设备。
例如，将理解的是，在本发明的精神和范围内，方法步骤的排序和数量可以改变。
图16展示了这种情况的示例。在图16的实施例中，执行细分分析(步骤410)，并且接着基于所述细分分析来进行帧接触类别确定(步骤430)。
如上文总体上描述的，在细分分析(步骤410)中，接着可以计算每个细分部中一定数量的描述性特征。例如可以通过分析所述细分部内的数据而确定这些描述性特征。所述分析的示例包括上文关于细分分析步骤4所描述的分析、并且例如可以包括确定所述细分部内的高或低强度(例如最大强度)、细分部内的强度区域的大小或形状、细分部内的强度的标准偏差、或基于细分部内的帧数据可以确定的任何其他信息。此外，与正在分析的细分部相邻或邻近的一个或多个细分部的特性也可以用于计算细分部的描述性特征。
在图16的实施例中，接着可以基于所述细分部的描述性特征可以进行类别确定(步骤430)。例如，细分分析(步骤410)可以鉴定细分部的描述性特征，所述描述性特征指示了所述帧数据的具体细分部似乎代表了耳垂。当耳朵与触敏表面112接触时，类别确定(步骤430)接着可以确定细分部是否位于形成更大接触面积的一个或多个细分部的底部的近处，所述更大接触面积看起来可以是耳朵的中间部分。相反，如果细分部看起来是耳垂但出现在接触区域的中间，则类别确定可以判定这不是在耳朵处。
从上文将理解的是，在图8或图16中展示的实施例之一中，可以创造性地使用针对所述帧数据的细分部确定的任一个或所有描述性特征、细分部的位置、以及细分部的位置、连同帧数据以及与正在分析的细分部相邻或邻近的细分部相关联的描述性特征，以便改进所述过程的可靠性、速度或效率中的任一项或全部。
类别确定可以可选地进行置信度测试(步骤435)以便确定在类别确定中是否存在足够的置信度(步骤430)。如上文指出的，一些分类器产生类别置信度。为了得到更稳健行为，触敏设备100的模式仅在置信度类别达到阈值水平时进行切换，所述阈值水平可以包括使得类别置信度高的阈值水平。可选地，可以通过与替代性的类别确定进行比较来评估分类的置信度。这样的替代性分类可以用任意数量的方式来确定并且可以使用替代性分类方法来进行，例如使用如上文描述的图案分析进行的分类、或使用细分部的描述性特征进行的次好的分类。
将了解的是，在完成这点的情况下，图8的一致性确定步骤(步骤440)或图16的类别置信度确定(步骤435)可以创造性地使用在细分分析过程中确定的特征与位置信息的组合。此外，可以使用关于任何细分部的形状的形状信息。最后，还可能出现的是，可以通过计算用于类别确定的置信度度量标准并且基于这个度量标准来确定置信度，而进行确定类别置信度的步骤。
在图16的实施例中，接着可以总体上如上文描述的来执行将帧接触类别与之前的帧类别进行比较(步骤450)以及基于当前接触状态来确定事件(步骤460)的过程。
如上文描述的根据本发明的实施例可以以不同计算机部件可以执行的程序指令的形式来实施、并且可以存储在计算机可读记录介质上。所述计算机可读记录介质可以包括分开的或组合的程序指令、数据文件、数据结构等等。存储在所述计算机可读记录介质上的程序指令可以是专门针对本发明设计和配置的、或者还可以是计算机软件领域的计算人员已知的和可获得的。所述计算机刻可读记录介质的示例包括以下各项：磁介质如硬盘、软盘、和磁带；光介质例如压缩盘只读存储器(CD-ROM)和数字通用盘(DVD)；磁光介质例如光盘；以及专门被配置成用于存储和执行程序指令的硬件设备，例如只读存储器(ROM)、随机存取存储器(RAM)和闪存。这些程序指令的示例不仅包括由编译器等等产生的机器语言代码，而且还可以包括可以由计算机使用解释器执行的高级代码。以上硬件设备可以更换成一个或多个软件模块，用于执行本发明的操作，反之亦然。
虽然上文是结合具体限制例如详述的部件、以及受限的实施例和图来描述本发明的，但这些仅被提供用于帮助对本发明的一般性理解。本发明不局限于以上实施例，并且本领域技术人员将了解的是，根据本说明作出不同的改变和修改是可能的。
因此，本发明的精神不应局限于以上描述的实施例，并且所附权利要求书及其等同物的总体范围将落入本发明的范围和精神之内。

Claims (24)

1.一种用于对与触敏表面相接触的物体进行分类的方法，所述方法包括：
接收表示物体和所述触敏表面之间的多个触敏接触的帧数据，其中将所述帧数据划分成细分部，并且所述细分部以多种边界区域形状划分；
进行图案分类，以便基于所述触敏接触中的图案在所述物体的不同接触类别之间区分；
对所述帧数据的特性执行细分分析，以便确定指示所述物体的、用于所述帧数据的每个细分部的多个描述性特征，基于所述细分部的多个描述性特征进行类别确定，以确定每个细分部的所述细分分析的结果和所述图案分类是否一致，其中所述细分分析包括确定所述细分部内的高或低强度、细分部内的强度区域的大小或形状、或细分部内的强度的标准偏差；
如果所述细分分析的结果和所述图案分类一致，导致根据所述描述性特征和所述细分的位置产生和所述触敏表面相接触的所述物体的帧接触类别，则基于所述帧接触类别确定事件；以及
如果所述细分分析的结果和所述图案分类不一致，则重复接收、进行图案分类、执行细分分析以及确定下一帧数据的事件的操作。
2.如权利要求1所述的方法，进一步包括：将所述物体的所述帧接触类别与之前的帧接触类别进行比较以便确定当前接触状态。
3.如权利要求1所述的方法，其中，将所述帧数据转化成频域表示，并且其中，所述细分是在所述频域表示中限定的。
4.如权利要求3所述的方法，其中，所述细分分析包括：使用所述频域表示来提取频谱重心、频谱密度、球面调和函数、总平均频谱能量和对数频带比中的至少一项；以及使用所述提取来对每个细分内的任何接触进行分类。
5.如权利要求1所述的方法，其中所述不同接触类别包括脸、耳朵、以及多个手指。
6.如权利要求1所述的方法，进一步包括：将所述物体的所述帧接触类别与在之前所接收帧数据中针对所述物体确定的帧接触类别进行比较；以及仅当之前确定的帧接触类别中的大多数与当前帧接触类别不同时改变当前帧接触类别。
7.如权利要求1所述的方法，进一步包括：基于至少一个细分的所述描述性特征来确定类别置信度；以及仅当所述类别置信度达到阈值水平时将触敏设备的模式从现有模式进行切换。
8.如权利要求1所述的方法，进一步包括：使用多种方法来确定多个类别；以及基于对所述方法所产生的类别的表决或预期图案来确定物体的类别。
9. 一种触敏设备，包括：
触敏表面，所述触敏表面具有能感测与另一物体的接触的传感器阵列；以及
处理器，所述处理器与所述触敏表面合作来接收具有多个细分部的、表示物体与所述触敏表面的多个接触的帧数据，其中所述细分部以多种边界区域形状划分，所述处理器执行下列操作：
进行图案分类，以便基于所述触敏接触中的图案在物体的不同接触类别之间区分；
对所述帧数据的特性执行细分分析，以便确定指示所述物体的帧数据的每个细分部的描述性特征，基于所述细分部的多个描述性特征进行类别确定，以确定每个细分部的所述细分分析的结果和所述图案分类是否一致，其中所述细分分析包括确定所述细分部内的高或低强度、细分部内的强度区域的大小或形状、或细分部内的强度的标准偏差；
如果所述细分分析的结果和所述图案分类一致，导致根据所述描述性特征和所述细分的位置产生与所述触敏表面相接触的所述物体的帧接触类别，则基于所述帧接触类别确定事件；以及
如果所述细分分析的结果和所述图案分类不一致，则重复接收、进行图案分类、执行细分分析以及确定下一帧数据的事件的操作。
10.如权利要求9所述的触敏设备，所述处理器进一步被配置为：将所述物体的所述帧接触类别与之前的帧接触类别进行比较以便确定当前接触状态。
11.如权利要求9所述的触敏设备，其中，将所述帧数据转化成频域表示，并且其中，所述细分是在所述频域表示中限定的。
12.如权利要求11所述的触敏设备，其中，所述细分分析包括：使用所述频域表示来提取频谱重心、频谱密度、球面调和函数、总平均频谱能量和对数频带比中的至少一项；并且使用所述提取来对每个细分内的任何接触进行分类。
13.如权利要求9所述的触敏设备，其中所述不同接触类别包括脸、耳朵、以及多个手指。
14.如权利要求9所述的触敏设备，其中，所述处理器进一步将所述物体的所述帧接触类别与之前所接收帧数据中针对所述物体确定的帧接触类别进行比较，并且仅当之前确定的帧接触类别中的大多数与当前帧接触类别不同时改变当前帧接触类别。
15.如权利要求9所述的触敏设备，其中，所述处理器进一步基于至少一个细分的所述描述性特征来确定类别置信度，并且仅当所述类别置信度达到阈值水平时将触敏设备的模式从现有模式进行切换。
16.如权利要求9所述的触敏设备，其中，所述处理器进一步使用多种方法来确定多个类别，并且基于对所述方法所产生的类别的表决或预期图案来确定物体的最终类别。
17.一种计算机可读记录介质，具有可以被不同的计算机部件执行以实施方法的程序指令，所述方法包括：
接收表示物体和触敏表面之间的多个触敏接触的帧数据，其中所述帧数据被划分成细分部，并且所述细分部以多种边界区域形状划分；
进行图案分类，以便基于所述触敏接触中的图案在所述物体的不同接触类别之间区分；
对所述帧数据的特性执行细分分析，以便确定指示所述物体的、用于所述帧数据的每个细分部的多个描述性特征，基于所述细分部的多个描述性特征进行类别确定，以确定每个细分部的所述细分分析的结果和所述图案分类是否一致，其中所述细分分析包括确定所述细分部内的高或低强度、细分部内的强度区域的大小或形状、或细分部内的强度的标准偏差；
如果所述细分分析的结果和所述图案分类一致，导致根据所述描述性特征和所述细分的位置产生与所述触敏表面相接触的所述物体的帧接触类别，则基于所述帧接触类别确定事件；以及
如果所述细分分析的结果和所述图案分类不一致，则重复接收、进行图案分类、执行细分分析以及确定下一帧数据的事件的操作。
18.如权利要求17所述的计算机可读记录介质，所述方法进一步包括：将所述物体的所述帧接触类别与之前的帧接触类别进行比较以便确定当前接触状态。
19.如权利要求17所述的计算机可读记录介质，其中，将所述帧数据转化成频域表示，并且其中，所述细分是在所述频域表示中限定的。
20.如权利要求19所述的计算机可读记录介质，其中，所述细分分析包括：使用所述频域表示来提取频谱重心、频谱密度、球面调和函数、总平均频谱能量和对数频带比中的至少一项；并且使用所述提取来对每个细分内的任何接触进行分类。
21.如权利要求17所述的计算机可读记录介质，其中所述不同接触类别包括脸、耳朵、以及多个手指。
22.如权利要求17所述的计算机可读记录介质，所述方法进一步包括：将所述物体的所述帧接触类别与在之前所接收帧数据中针对所述物体确定的帧接触类别进行比较；以及仅当之前确定的帧接触类别中的大多数与当前帧接触类别不同时改变当前帧接触类别。
23.如权利要求17所述的计算机可读记录介质，所述方法进一步包括：基于至少一个细分的所述描述性特征来确定类别置信度；以及仅当所述类别置信度达到阈值水平时将触敏设备的模式从现有模式进行切换。
24.如权利要求17所述的计算机可读记录介质，所述方法进一步包括：使用多种方法来确定多个类别；以及基于对所述方法所产生的类别的表决或预期图案来确定物体的类别的步骤。
CN201580051868.7A 2014-09-25 2015-09-22 用于对与触敏设备的接触进行分类的方法和装置 Active CN106687967B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462055416P 2014-09-25 2014-09-25
US62/055,416 2014-09-25
PCT/US2015/051355 WO2016048961A1 (en) 2014-09-25 2015-09-22 Method and apparatus for classifying contacts with a touch sensitive device

Publications (2)

Publication Number Publication Date
CN106687967A CN106687967A (zh) 2017-05-17
CN106687967B true CN106687967B (zh) 2021-06-04

Family

ID=55581882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580051868.7A Active CN106687967B (zh) 2014-09-25 2015-09-22 用于对与触敏设备的接触进行分类的方法和装置

Country Status (4)

Country Link
US (1) US10712858B2 (zh)
EP (2) EP4083762A1 (zh)
CN (1) CN106687967B (zh)
WO (1) WO2016048961A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582180A (zh) 2011-10-18 2019-04-05 卡内基梅隆大学 用于分类触敏表面上的触摸事件的方法和设备
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
CN105247461B (zh) 2014-02-12 2019-05-31 齐科斯欧公司 为触摸屏交互确定俯仰和偏航
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
WO2017004262A1 (en) * 2015-07-01 2017-01-05 Qeexo, Co. Determining pitch for proximity sensitive interactions
US20170052631A1 (en) * 2015-08-20 2017-02-23 Futurewei Technologies, Inc. System and Method for Double Knuckle Touch Screen Control
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US10007378B2 (en) * 2016-06-24 2018-06-26 Dell Products L.P. Information handling system touchscreen tool discrimination
KR102444286B1 (ko) * 2017-06-19 2022-09-16 삼성전자주식회사 지압 인식 장치 및 이를 포함하는 전자 기기
EP3521983A1 (en) * 2018-02-01 2019-08-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
CN110413189B (zh) * 2018-04-28 2021-12-10 北京钛方科技有限责任公司 一种虚拟键盘控制方法及系统
US11016568B2 (en) * 2018-07-24 2021-05-25 The Nielsen Company (Us), Llc Methods and apparatus to monitor haptic vibrations of touchscreens
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US11264130B2 (en) * 2019-02-28 2022-03-01 Fujifilm Business Innovation Corp. System and method for estimating pathogen transfer from mobile interaction in clinical environments and a warning system and method for reducing cross-contamination risks
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
TWI715252B (zh) * 2019-10-18 2021-01-01 宏碁股份有限公司 電子裝置及其利用觸控資料的物件資訊辨識方法
CN112764565B (zh) * 2019-11-01 2023-11-14 宏碁股份有限公司 电子装置及其利用触控数据的物件信息识别方法
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
WO2022222979A1 (zh) * 2021-04-22 2022-10-27 广州创知科技有限公司 书写方法、装置、交互平板和存储介质
CN117873339A (zh) * 2022-10-12 2024-04-12 广州显创科技有限公司 压电传感器、弹性波传感器、交互平板及其生产方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1161455A (zh) * 1996-02-29 1997-10-08 三星电子株式会社 处理器接触检测装置和测试集成电路装置的方法
US6323846B1 (en) * 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
CN102004925A (zh) * 2010-11-09 2011-04-06 无锡中星微电子有限公司 物体分类模型的训练方法及利用该模型的识别方法
CN104160364A (zh) * 2011-10-18 2014-11-19 卡内基梅隆大学 用于分类触敏表面上的触摸事件的方法和设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246395B1 (en) * 1998-12-17 2001-06-12 Hewlett-Packard Company Palm pressure rejection method and apparatus for touchscreens
JP3988476B2 (ja) 2001-03-23 2007-10-10 セイコーエプソン株式会社 座標入力装置及び表示装置
ATE557337T1 (de) 2002-02-06 2012-05-15 Soundtouch Ltd Touch pad
JP4071620B2 (ja) 2002-12-27 2008-04-02 株式会社日立製作所 情報処理装置
WO2006070044A1 (en) 2004-12-29 2006-07-06 Nokia Corporation A method and a device for localizing a sound source and performing a related action
US7499039B2 (en) * 2005-01-10 2009-03-03 3M Innovative Properties Company Iterative method for determining touch location
US7643010B2 (en) * 2007-01-03 2010-01-05 Apple Inc. Peripheral pixel noise reduction
TWI439705B (zh) * 2007-07-26 2014-06-01 N trig ltd 用於診斷格柵式數位器之系統與方法
US8175728B2 (en) * 2007-12-13 2012-05-08 Georgia Tech Research Corporation Detecting user gestures with a personal mobile communication device
JP2011028555A (ja) 2009-07-27 2011-02-10 Sony Corp 情報処理装置および情報処理方法
US9696856B2 (en) * 2009-09-29 2017-07-04 Elo Touch Solutions, Inc. Method and apparatus for detecting simultaneous touch events on a bending-wave touchscreen
US9632605B2 (en) * 2012-10-17 2017-04-25 Perceptive Pixel, Inc. Input classification for multi-touch systems
US20140168141A1 (en) * 2012-12-18 2014-06-19 Logitech Europe S.A. Method and system for discriminating stylus and touch interactions
US9019244B2 (en) 2013-02-28 2015-04-28 Qeexo, Co. Input tools having viobro-acoustically distinct regions and computing device for use with the same
KR102373311B1 (ko) 2013-03-15 2022-03-11 일렉트로 싸이언티픽 인더스트리이즈 인코포레이티드 레이저 빔 위치결정 시스템용의 위상 어레이 조향
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US10599250B2 (en) 2013-05-06 2020-03-24 Qeexo, Co. Using finger touch types to interact with electronic devices
US20150035759A1 (en) 2013-08-02 2015-02-05 Qeexo, Co. Capture of Vibro-Acoustic Data Used to Determine Touch Types
US20150242009A1 (en) 2014-02-26 2015-08-27 Qeexo, Co. Using Capacitive Images for Touch Type Classification
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US9864453B2 (en) 2014-09-22 2018-01-09 Qeexo, Co. Method and apparatus for improving accuracy of touch screen event analysis by use of edge classification
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10095402B2 (en) 2014-10-01 2018-10-09 Qeexo, Co. Method and apparatus for addressing touch discontinuities
WO2017004262A1 (en) 2015-07-01 2017-01-05 Qeexo, Co. Determining pitch for proximity sensitive interactions
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1161455A (zh) * 1996-02-29 1997-10-08 三星电子株式会社 处理器接触检测装置和测试集成电路装置的方法
US6323846B1 (en) * 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
CN102004925A (zh) * 2010-11-09 2011-04-06 无锡中星微电子有限公司 物体分类模型的训练方法及利用该模型的识别方法
CN104160364A (zh) * 2011-10-18 2014-11-19 卡内基梅隆大学 用于分类触敏表面上的触摸事件的方法和设备

Also Published As

Publication number Publication date
EP3198497A1 (en) 2017-08-02
EP3198497B1 (en) 2022-04-20
EP4083762A1 (en) 2022-11-02
EP3198497A4 (en) 2018-05-16
US10712858B2 (en) 2020-07-14
WO2016048961A1 (en) 2016-03-31
US20160299615A1 (en) 2016-10-13
CN106687967A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN106687967B (zh) 用于对与触敏设备的接触进行分类的方法和装置
US11009989B2 (en) Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10282024B2 (en) Classifying contacts or associations with a touch sensitive device
US11029785B2 (en) Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
CN106716317B (zh) 解决触摸不连续性的方法和装置
US10642404B2 (en) Touch sensitive device with multi-sensor stream synchronized data
EP3198384B1 (en) Method and apparatus for improving accuracy of touch screen event analysis by use of edge classification
US9329715B2 (en) Method and apparatus for differentiating touch screen users based on touch event analysis
US20150242009A1 (en) Using Capacitive Images for Touch Type Classification
EP3966673A1 (en) Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
EP3521983A1 (en) Classifying contacts or associations with a touch sensitive device
US10241583B2 (en) User command determination based on a vibration pattern
CN113939789A (zh) 使用触敏表面感测和超声感测来检测对象接近度

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant