CN102648445A - 提取代表触摸表面上一个或多个物体的触摸数据 - Google Patents

提取代表触摸表面上一个或多个物体的触摸数据 Download PDF

Info

Publication number
CN102648445A
CN102648445A CN2010800468365A CN201080046836A CN102648445A CN 102648445 A CN102648445 A CN 102648445A CN 2010800468365 A CN2010800468365 A CN 2010800468365A CN 201080046836 A CN201080046836 A CN 201080046836A CN 102648445 A CN102648445 A CN 102648445A
Authority
CN
China
Prior art keywords
touch
light
detection line
basis function
collapsing field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800468365A
Other languages
English (en)
Inventor
托马斯·克里斯蒂安松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FlatFrog Laboratories AB
Original Assignee
FlatFrog Laboratories AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FlatFrog Laboratories AB filed Critical FlatFrog Laboratories AB
Publication of CN102648445A publication Critical patent/CN102648445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Abstract

一种触摸传感装置是基于受抑全内反射(FTIR)。这种装置包括一个板,在这个板内多个光线片层可以通过内反射在一个触摸表面和一个相对表面之间传播。一个光传感器安排被光学连接于该板上,用于在穿过该触摸表面的多条检测线上测量透射光能量。每条检测线代表从一个光源到一个传感器穿过该触摸表面的一条光路。一个触碰了该触摸表面的物体将会阻抑正在传播的光线并在这些检测线中造成一种局部衰减。一个数据处理器被连接在这个光传感器安排上并且被配置成执行一种用于提取与触碰相关的数据的处理。在这种处理中,生成了一个输出向量来包括多个信号值,这些信号值表示在一组检测线上由该光传感器安排所接收到的光(步骤52),并且在该触摸表面上的一个二维衰减场是由一个或多个二维基函数来代表的。每个基函数在其二维的形状内定义了一个衰减强度。基于该组检测线到每个基函数的一种映射,这种处理从这个输出向量重构了这个衰减场(步骤54)。在这种重构中,通过对每个基函数的该衰减强度和位置中的至少一项进行优化来计算出一个估算衰减场,这样使得这个估算衰减场给出这个输出向量。然后对这个估算衰减场进行处理以便提取与触摸相关的数据(步骤56)。

Description

提取代表触摸表面上一个或多个物体的触摸数据
相关申请的交叉引用
本申请要求于2009年10月19日提交的第0950770-8号瑞典专利申请以及于2009年10月19日提交的第61/272,667号美国临时申请的权益,这两个申请通过引用结合在此。
技术领域
本发明涉及触摸传感板以及与此类板相关数据处理技术。
背景技术
在更大形状内,触摸传感板正用于向计算机、移动电话、电子测量和测试装置、游戏装置等提供输入数据。板可以为用户配置一个图形用户接口(GUI),以便用户使用例如指针、触笔或一个或多个手指进行相互作用。GUI可以是固定的或动态的。固定GUI可以是例如置于板之上、之下或内部的印刷物的形式。动态GUI可以由与板相整合或置于板下方的一个显示屏来提供,或由一个投射器投射到板上的图像来提供。
存在很多已知的为板提供触摸传感的技术,例如通过使用照相机来捕获从板上的触摸点散射的光,或者通过将电阻式线删、电容式传感器、应变计等结合到板中。
US2004/0252091披露了一种基于受抑全内反射(FTIR)的替代技术。光线片层被耦合进入板以便通过全内反射在板内部进行传播。当一个物体触碰板的表面时,两个或更多个光线片层将在触摸点上局部地衰减。多个光传感器阵列位于板的周边以便对每个光线片层进行检测。通过对所接收到的光内所观察到的所有衰减进行几何回溯并对其进行三角测量可创建穿过表面的光场的大致断层扫描重构。以此得出有关每个接触区域的位置和大小的数据。
US2009/0153519还提出了使用FTIR技术进行板的触摸检测以及用于板内光场重构的断层扫描处理。这里,断层扫描处理是基于断层扫描系统的一种线性模型,Ax=b。矩阵A是在工厂时测定的,并且其伪逆矩阵A-1是使用截断SVD算法来计算的,并它在测量信号上操作从而产生板内光电导率的一种二维展示。x=A-1b。该提议方法既是就处理而言要求很高并且缺乏对高频成分的抑制,从而可以在二维展示中导致大量噪点。
发明内容
本发明的一个目的是为穿过触摸表面的光场重构提供一种替代技术,具体是一种如下技术:能够确定足够精度的触摸相关数据以便区分同时接触触摸表面的多个物体并且还能够区分不同类型的物体。
借助于方法、计算机程序产品、提取触摸数据的装置、以及根据独立的权利要求触摸传感装置、由从属权利要求定义的其实施方案至少部分地实现在以下描述中可以出现的此目的以及其他目的。
本发明的一个第一方面是一种用在触摸传感装置中的方法。该装置包括:定义了一个触摸表面和一个相对表面的一个透光板;用于在该板内部提供多个光线片层的一个光源安排,其中所述片层包括通过内反射在该触摸表面和该相对表面之间传播的光;以及用于测量透射光能量的一种光传感器安排,其中该光源安排与该光传感器安排被安排成在触摸表面上定义多条检测线Dj的一个网格,而每条检测线Dj都代表从该光源安排到该光传感器安排穿过该触摸表面的一条光路,其中将该触摸传感装置配置为使得触碰触摸表面的一个或多个物体在所述的检测线Dj网格造成一种局部衰减。该方法包括以下步骤:获取一个输出向量,该输出包含多个信号值,这些信号值表示由该光传感器安排在一组检测线上的所接收的光;由至少一个二维基函数来代表在该触摸表面的一个二维衰减场,其中这个或每个基函数在其二维形状内定义了一个衰减强度;并且基于所述检测线组到这个或每个基函数的映射,通过对该衰减强度和这个或每个基函数的位置中至少一项进行优化来计算一个估算衰减场,这样使得该估算衰减场给出该输出向量;并且对该估算衰减场进行处理以便提取与所述的一个或多个物体相关的触摸数据。
这个第一方面产生了穿过触摸表面的一个二维估算衰减场,即,衰减值的空间分布,其中每个触摸物体造成典型地表现为一个衰减改变的区域。因此,可以对衰减场进行处理从而区分同时接触触摸表面的多个物体。进而,有可能的是提取二维触摸数据,例如,每个触摸物体在触摸表面的坐标体系内的位置和/或衰减。其他类型的触摸数据包括每个触摸物体的面积和/或形状,这允许进一步区分不同的物体。因此,对于一个给定尺寸的物体而言,接触面积可以是所施加压力的函数,至少对于灵活物体(例如指尖)而言,还可以为每个触摸物体估算物体和触摸表面之间的接触压力。
如在此所使用的,“衰减场”和“衰减值”能够以一个绝对测量值的形式给出,如光能,或者一个相对测量值,如相对衰减(例如由光能量与参考值/背景值的比率给定的一个分数或百分比)或相对透射。但是,如在以下详细说明中所使用的,“衰减”通常与相对衰减同义。
根据第一方面,以一组二维基函数(也可以是一个单独的基函数)的形式对衰减场进行建模。每个基函数并不一定是严格数学意义上的基函数,而是一个构建块,该构建块可以用来完全或至少部分地代表在触摸传感装置的衰减场中出现的基本(触摸相关)形状。因而,能够以一个或多个基函数的形式对触摸传感装置的系统反应进行建模,尤其是以各条检测线与该组基函数之间的映射的形式。例如,针对每条检测线,可以将该映射给定为一个公式,该公式基于检测线与一个或多个基函数的相互作用来表达检测线的总衰减/透射。因此,一组这样的公式在这个或这些基函数的衰减强度和/或位置与该检测线集上所期望的信号值之间提供了一种关系。使用这种关系,有可能的是通过对这个或这些基函数的衰减强度和位置中至少一项进行优化来估算该衰减场,以便确定将会产生该输出向量的衰减场,即,可观测的信号值。可以针对一个具体的触摸传感装置分析性地和/或实验性地获取前述映射。表述“产生输出向量”并不需要精确匹配,但有可能的是这种优化产生了一个估算衰减场,该衰减场近似产生可观测的信号值。
因此,使用一个或多个基函数来代表衰减场为描述系统反应提供了一种便利途径。如下文所描述,一个或多个基函数的使用也使之有可能对描述系统反应的关系作出简单的修改从而解释不同批次的触摸传感装置的之间的制造差异。基函数的使用还能够有效地确定触摸表面内一个或多子集的衰减场。
存在不同的途径来实现基函数的使用。在一个实施方案中,每个基函数被设计成代表由一个单独的触摸物体所造成的衰减。在该优化方案中,基函数可以在衰减场表示形式内是可移动的,因此,每个基函数的位置被获取从而使得所产生的衰减场对该组检测线的影响近似地与输出向量中的信号值匹配。
在另一个实施方案中,衰减场由多个基函数代表,这些基函数被安排在触摸表面内一个重构网格里。因此,每个基函数在重构网格内都有一个已知并固定的位置。这将有助于检测线与基函数集之间的映射,因为检测线的位置和基函数的位置都是已知的。在这种实施方案中,每个基函数可以用一个衰减参数来定义。由衰减参数定义的基函数的使用可以有助于对检测线和基函数之间的相互作用进行评估,尤其是当这些基函数具有相同的形状并且其不同之处仅在于它们的位置和衰减参数的值。由此,该评估可以被减少从而计算不同检测线和一个默认基函数之间的相互作用,该默认基函数代表在重构网格中所有基函数。针对每个基函数,对相互作用的计算产生了一个值,该值的大小是基函数的衰减参数所决定。
在一个实施方案中,衰减参数是该形状的中心点处的衰减强度。这也将有助于评估检测线和基函数之间的相互作用。
在一个实施方案中,每个基函数的中心是在在重构网格里的一个对应的顶点上。这可以有助于衰减场的表示,尤其是当重构网格定义了顶点的一种规则排列。
在一个实施方案中,重构网格是三角形的。已经发现三角形网格的使用可以改善估算衰减场的能力从而适当地代表椭圆形状,这些椭圆形状通常出现在由触摸物体所导致的衰减场内。
在一个实施方案中,这些基函数具有相同的形状。这也可进一步有助于检测线和基函数之间的相互作用的评估。
在一个实施方案中,每个基函数都具有一个六角形形状,优选地是一个规则的六角形形状。
在一个实施方案中,每个基函数定义了一个随距形状的中心点的距离的增加而递减的衰减。通过将这种基函数安排为部分地重叠,有可能的是获取估算衰减场的更高分辨率而无需额外处理,因为将来自所有相互作用的贡献与沿着一条检测线的多个基函数加在一起会在重构网格中的衰减参数之间的直接产生一个插值。该插值改善了估算衰减场的能力从而在触摸表面上模拟一个真实(实际)的衰减场。对于计算效率而言,每个基函数可以被设计成在重构网格中除了一个顶点以外其他地方都具有零衰减。例如,每个基函数可被安排为其形状的中心在一个顶点上,并且其形状的角点具有零衰减并且与相邻顶点保持一致。在这种实施方案中,如果每个基函数都具有一个规则的六边形形状,那么每个网格点到其相邻顶点的距离将相等,这可以有助于估算衰减场的计算。在一个实施方案中,每个基函数定义了一个线性递减衰减,这在重构网格里产生了一个线性插值。
在一个实施方案中,每个光线片层的信号值形成了一个投影信号,该投影信号表示光在透光板上的外耦合位点内的空间分布,该方法进一步包括:为每个光线片层识别针对每个基函数的一个片层内核,其中该片层内核被生成用于代表当基函数对光线片层进行衰减时所产生的投影信号。
片层内核可以通过基于触摸传感装置的光学设计的理论计算而确定,也可以通过一个实际触摸传感装置中的测量而确定,或其组合。片层内核的使用可以有助于生成前述映射,并且具体地可以有助于一个基函数和一个具体的光线片层的检测线之间的相互作用的评估。在一个这种实施方案中,可以为每条检测线生成映射,这是通过以下方式:识别该检测线与所述多个基函数之间的所有交点;并且针对与该检测线相交的每个基函数,通过将交点映射到片层内核上来推导出一个衰减分数值rv,j。此外,映射可进一步通过以下方式生成:将输出向量d中的每个输出值dm估算为∑rv,j·av,其中该总和在所有与检测线Dj相交的基函数上计算的,并且av是这个对应的基函数的衰减参数。
在一个实施方案中,片层内核还可由以下方式生成:根据距通过基函数的中心的光线片层内的一条光线的距离,通过对由基函数导致的光线片层的衰减的进行估算来生成一个估算片层内核。例如,可以基于理论计算来确定估算片层内核。可替代地,估算片层内核也可通过实验来确定。
在某些光学设计中,同样的片层内核(标准片层内核)可用于重构网格的所有基函数,然而,在其他的光学设计里,片层内核会在基函数之间变化。
在一个实施方案中,片层内核可进一步通过如下方式来生成:获取一个补偿内核,该补偿内核代表了因为由该触摸表面与该相对表面中的至少一个所造成的光散射而导致的信号分布曲线宽度对于在该触摸表面上基函数的位置的一种相关性,并且基于该补偿内核来对所估算的面层内核进行修改。该补偿内核还可以可替代地或额外地解释非理论的检测线的其他原因,如光束宽度和密度分布曲线、板上的扩展光内耦合点和光外耦合点、通过光束扫描生成光线片层等。
通过获取补偿内核,有可能的是对一个估算片层内核进行修改从而更加准确地将穿过触摸表面的真实光路考虑在内,即使光在板内传播时被散射。进而,该修改能够以一种简单的方式完成。例如,所有基函数都与一个标准的片层内核相关联,该标准片层内核是基于补偿内核为每个基函数进行单独的修改,例如,将补偿内核与估算片层内核进行卷积。
可以通过理论计算或通过对实际触摸传感装置进行测量来确定信号分布曲线宽度与基函数位置相关性。在一个实施方案中,根据距外耦合位点的距离,基于一个宽度函数来确定补偿内核的宽度,该宽度函数代表一个物体的真实宽度,该物体在投影信号上生成了一个给定的信号特征。
如果可以应用的话,片层内核和补偿内核的使用可被视为一个通用概念的实现方式,其中当为每条检测线计算估算衰减场时,将有待使用的映射生成为线积分的一种聚合,其中沿着检测线与与一个对应的基函数之间的交点来评估每个线积分。在一种实现方式中,该聚合函数是一个求和函数。可以对线积分进行评估从而代表检测线与基函数之间的交点下的面积。在某些实施方案中,可以在触摸表面的平面内为检测线赋予一个宽度和/或密度分布曲线,这是由触摸传感装置的物理属性造成的,如上所述。在这种实施方案中,可以生成映射以解释检测线的宽度和密度分布曲线中的至少一个。
在一个实施方案中,该方法进一步包括针对一系列相应的触摸传感装置,获取一种通用映射;为所述系列中的一个单独的触摸传感装置测量标定参数;并且通过基于所述标定参数对通用模型进行适配来获取批次专用映射。这可以用来增加触摸传感装置的生产量,同时在估算衰减场中可以使用更高的精度。
在一个实施方案中,对通用映射进行适配的步骤包括对在通用映射中使用的片层内核进行适配。例如,标定参数可以是为每个单独的触摸传感装置的片层内核测量的,这仅适合在触摸表面的几个位置(即,低密度测量)。另一个例子中,标定参数可以是能够为每个单独的触摸传感装置计算片层内核的数据(宽度函数、检测线位置等)。
在一个实施方案中,计算估算衰减场的步骤是基于贝叶斯反演根据以下公式:p(a|d)=κ·p(a)·p(d|a),其中a是一个衰减向,它包含用于每个基函数的一个衰减值av;κ是一个常量;p(a)是一种先验分布,它代表在衰减场内独立于输出向量d的衰减值av的概率分布;p(d|a)是一种似然分布,它代表在给定衰减向量a的情况下这些信号值dm的概率分布,并且p(a|d)代表在给定输出向量d的情况下这些衰减值av的概率分布。在这种实施方案,估算衰减场是基于对信号值进行统计建模和处理来获取的。统计方法使之有可能实现足够精确的估算衰减场,即使检测线网格很细,这致使输出向量包含一组稀疏信号值。如果使用了很少光线片层,或者如果光传感器安排沿着触摸表面的周边定义了一组稀疏检测线,会出现细网格。因此,这个实施方案可以相对降低触摸传感装置的光学系统设计的复杂度,和/或可减少光源安排和光传感器安排中一个(或两者)的许多部件。进而,使用贝叶斯反演会更好地抑制噪点,如以下将进一步描述的。同样,贝叶斯反演可以使用先验值来定义估算衰减场的期望属性,即有可能会出现在触摸传感装置的衰减场内的属性。这些属性包括:衰减场是非负值组成的、在触摸物体下的衰减场基本上是平的、每次触摸的周边都有大幅减少衰减、每次触摸的周边呈现椭圆形等。
在一个实施方案中,先验分布p(a)包含一个总变差先验。已经发现总变差先验适当地代表了当多个物体与触摸传感装置相互作用时产生的衰减值的概率分布。例如,在允许衰减的局部逐步改变的同时,该总变差先验可以促使平滑的衰减场,这典型地出现在一个触摸的周边。这个总变差先验可以给定为衰减场内的相邻衰减值之间的绝对差值之和的函数。
在一个实施方案中,对似然分布p(d|a)进行建模从而代表测量噪点,即,捕获测量噪点的影响。通过基于p(a|d)寻找最可以的衰减场来推导估算衰减场,这可以包括对p(a|d)中的一个最优值进行定位。这进而可以对应于将测量噪点最小化或至少对其进行抑制。可以用一个高斯分布来代表测量噪点。这可有助于贝叶斯反演,例如,因为它可以简化梯度的计算。
在一个实施方案中,测量噪点被计算输出向量d和预定模型函数P(a)之间的差值,该差值代表前述映射并且在给定衰减向量a的情况下提供了输出向量d的一个估算值。这将确定似然分布p(d|a)的任务简化为确定模型P(a)的任务。
在一个实施方案中,概率分布p(a|d)由以下公式给出:其中α和γ是常量,P(a)是模型函数,并且∑|a-an|是衰减场内的相邻衰减值之间的绝对差值之和。
在一个实施方案中,计算估算衰减场的步骤包括寻找衰减向量a,该衰减向量可以将概率分布p(a|d)最大化。
在一个实施方案中,该方法工作从而针对输出向量d的一个时间序列来顺序地估算衰减场,其中为前一个输出向量找到的一个衰减向量被用作为一个当前输出向量发现衰减向量的步骤的起点。通常,寻找将概率分布p(a|d)最大化的衰减向量a的步骤是一个相对处理密集的操作,这会涉及到迭代分析。假设衰减场仅在输出向量之间缓慢改变,可以通过基于前一个输出向量的估算衰减场寻找p(a|d)上的最大值明显降低处理要求和/或处理时间。
在以上所有实施方案中,应当理解的是输出向量中的信号值可以是从光传感器安排里获取的测量值或其推导值。因此,衰减场不必直接代表穿过触摸表面的衰减,而是可替代地代表光能的分布。在所有实施方案中,提取触摸数据的步骤包括将衰减场和一个参考分布进行比较,其中当前衰减场和参考分布之间的变化可以用来表明触摸物体。该参考分布可以是为前一个输出向量计算的估算衰减场,或在一个专门的标定测量中。本申请人的第61/272,666号美国临时专利申请中披露了用来获取并使用参考分布的其他替代方案,该申请提交于2009年10月19日并且通过引用结合在此。
在一个实施方案中,获取输出向量的步骤包括:获取代表在一组检测线上接收到的光能量的测量值,并且使用一个对应的背景值归一化该测量值。归一化操作可以补偿不同检测线之间的名义能量中的变化,因此提高了估算衰减场的准确性并且有助于触摸数据的提取。背景值可以代表当没有物体触碰触摸表面时所接收到的光能,并且它可是作为工厂标定值而获取的,或者通过在没有物体触碰触摸表面的操作中获取这些测量值,例如在启动时。本申请人的第PCT/SE2010/050932号国际专利申请中披露了用于获取并使用背景值的更多替代方案,该申请提交于2010年9月1日并且通过引用结合在此。归一化步骤可以代表由背景值除以每个测量值的一次除法操作。因此,所产生的信号值将代表用于检测线的一个真实的透射率值或衰减值。这将有助于衰减场的重构,并且还可以改善检测线和基函数之间的映射。这样的映射因此可以是基于以下假设而定义的:每条检测线上的总透射率值是由每个触碰该检测线的单独的物体的透射率值的乘积所给定的。进而,获取输出向量的步骤可以包括计算测量值的对数的步骤。这可以简化计算估算衰减场的步骤,因为每条检测线上的总透射率值可以被计算为每个碰触该检测线的单独物体的对数透射率值的总和。还应意识到归一化还可以由一个(有可能是对数)背景值的减法来代表。
本发明的一个第二方面是包括计算机代码的一种计算机程序产品,当在一个数据处理系统上执行时,该计算机代码被适配用于执行该第一方面的方法。
本发明的一个第三方面是一种器件,该器件用于提取在包括在一个触摸传感装置的触摸表面上的与一个或多个物体相关的触摸数据。该装置包括:定义了一个触摸表面和一个相对表面的一个透光板;一种用于在该板内部提供多个光线片层的光源安排,其中所述光线片层包括通过内反射在该触摸表面和该相对表面之间传播的光;一种用于检测透射光能量的光传感器安排,其中该光源安排和该光传感器安排被安排为用于定义该触摸表面上的一条检测线网格,每条检测线都代表从该光源安排到该光传感器安排穿过该触摸表面的一条光路,并且其中该触摸传感装置被配置为使得触碰触摸表面的一个或多个物体在所述检测线网格中造成一种局部衰减。该器件包括:用于获取一个输出向量的一个元件,该输出向量包含多个信号值,这些信号值表示的是由该光传感器安排在一组检测线上接收到的光;用于通过至少一个二维基函数代表触摸表面上的一个二维衰减场的一个元件,其中这个或者每个基函数都在其二维形状内定义了一个衰减强度;用于计算一个估算衰减场的一个元件,这是基于所述检测线组到这个或每个基函数的映射、通过对这个或每个基函数的衰减强度和位置中至少一项进行优化从而使得整个估算衰减场生成该输出向量;以及用于处理估算衰减场以便提取所述触摸数据的一个元件。
本发明的一个第四方面是一种触摸传感装置,该装置包括:包含一个触摸表面和一个相对表面的一个透光板;用于在该板内部提供多个光线片层的一种光源安排,其中所述光线片层包括通过内反射在该触摸表面和该相对表面之间传播的光;用于检测透射光能量的一种光传感器安排,其中该光源安排和该光传感器安排被安排为定义触摸表面上的一条检测线网格,每条检测线都代表从该光源安排到该光传感器安排穿过该触摸表面的一条光路,并且将该触摸传感装置配置为使得触碰触摸表面的一个或多个物体在所述检测线网格中造成一种局部衰减;以及用于根据该第三方面提取触摸数据的一种器件。
该第一方面的实施方案中的任意一个可以与第二至第四方面相结合。
本发明的一个第五方面是一种用在触摸传感装置中的方法,所述方法包括以下步骤:获取一个包含多个信号值的输出向量d,这些信号值表示是由一种光传感器安排在一组检测线上接收到的光;由衰减向量a中包含的衰减值代表触摸表面上一个二维衰减场;根据贝叶斯公式通过贝叶斯反演估算衰减场:p(a|d)=κ·p(a)·p(d|a),其中κ是一个常量;p(a)是一种先验分布,它代表独立于输出向量d的衰减值的概率分布;p(d|a)是一种似然分布,它代表在给定衰减向量a的情况下这些信号值的概率分布;p(a|d)代表在给定输出向量d的情况下这些衰减值的概率分布;并且对估算衰减场进行处理以便提取触碰触摸表面一个或多个触摸物体的触摸相关数据。
从以下详细描述、从所附权利要求以及从附图中本发明的另一些其他目的、特点、方面以及优点将变得明显。
附图说明
现在将参考所附示意图更为详细地描述本发明的实施方案。
图1是一种触摸传感装置的侧视图。
图2A是图1中触摸传感装置的一种扫描光束实施方案的俯视图,图2B展示了在扫描光束实施方案中生成的一个投射信号,并且图2C是另一个扫描光束实施方案的俯视图。
图3A是图1中触摸传感装置的一种扇形光束实施方案的俯视图,图3B是另一个扇形光束实施方案的俯视图。
图4是一个触摸板的侧视图用于展示一个正在传播的光束。
图5A是一种触摸数据提取方法的实施方案的流程图,并且图5B是一种触摸数据提取器件的实施方案的框图。
图6A至6C是估算衰减场的绘图。
图7A至图7B分别是矩形重构网格和三角形重构网格的平面图。
图8A至图8B分别是一个基函数的俯视图和透视图,图8C是一组相邻基函数的透视图,并且图8D展示了图8D中的这些基函数所代表的一个衰减场。
图9A至9C中的俯视图用于展示一条检测线与一个基函数之间的交点。
图10A至10C展示了图9A-9C中交点所对应的投影内核。
图11是一个扫描光束实施方案的俯视图,用于展示由扫描造成的信号变宽。
图12A至12B是由一个触摸传感装置中的散射而产生的散射函数的示意图。
图13A至13B分别是一个扫描光束实施方案和一个扇形光束实施方案的俯视图,用于展示散射如何影响检测线。
图14展示了不同的校正内核。
图15A至15B展示了图10A和图10B中投影内核分别与图14的校正内核的卷积结果。
图16展示了代表一个触摸形状的四种样本衰减场。
图17是一个图是,概括地展示了基于贝叶斯反演在统计重构中的可用方案。
图18A是一个接近绝对值函数(虚线)的函数(实线)的图形,并且图18B是逼近函数求导图形。
具体实施方式
本发明涉及用于提取与一个触摸传感装置的触摸表面相接触的至少一个物体(典型地是多个物体)的触摸数据的多种技术。本文的描述始于针对很多示例安排(用于照亮透光板的内部)展示使用的受抑全内反射(FTIR)用于触摸确定。接着,描述了一种用于触摸确定的方法并将更为详细地讨论该方法的某些步骤。
贯穿整个描述中,相同的参考标号用于标识相应的元素。
以下符号用于标识某些信号、信号参数展示、以及模型参数/展示。
Si:投影信号Si
Pi,n:投影信号i中的尖峰n
Dj:触摸表面上的检测线j
Tj:检测线j上的信号透射
d:基于光传感器读数所推导出的输出向量
dm:输出向量d中信号值m
a:代表触摸表面上的衰减场的衰减向量
fv:安排在衰减场的网格点v内的基函数
av:在衰减场内的网格点v中的衰减值
kv:基函数fv的投影内核
mv:基函数fv的补偿内核
rv,j:基函数fv和检测线j的投影内核系数
1.照明和检测
图1是一个触摸传感装置中的一种示例安排的侧视图。该安排包括一个透光板1、一个或多个光发射器2(示出了一个)以及一个或多个光传感器3(示出了一个)。该板定义了两个相对的并且通常平行的表面4、5,并且可以是平坦的或弯曲的。在图1中,该板1是矩形,但是它可以具有其他形状(多边形、圆形、椭圆等)。在板的两个边界表面之间提供了一个辐射透射通道,其中这些边界表面中的至少一个允许传播的光与一个触摸物体6相互作用。典型地,来自这个或这些发射器2的光通过全内反射(TIR)在辐射透射通道中进行传播,并且这些传感器3被安排在板1的边缘以产生表示所接收光的能量的一个对应的输出信号。
如图1所示,光可以直接通过连接板1的上和下表面4、5的边缘部分而耦合进入和离开板1。可替代地,独立的耦合元件(例如具有楔形物的形状)可以附接到边缘部分或板1的上或下表面4、5上,以便使光耦合进入和/或离开板1。当物体6足够近地移至边界表面时,一部分光可以由物体6散射,一部分光可以被物体6吸收,并且一部分光可以不受影响地继续传播。因此,当物体6触碰板的边界表面(如上表面4)时,全内反射被阻抑,并且透射光的能量被减弱。这种类型的触摸传感装置在下文中被称为“FTIR系统”(FTIR-受抑全内反射)。
可以通过测量在多条检测线上传播通过板1的光的能量来确定触摸物体6的位置。例如,这可以通过以下方式来实现:对多个的空间分隔的发射器2进行操作从而在板1内产生相应数目的光线片层,并且通过对传感器3进行操作从而检测每个光线片层的透射光的能量。对发射器2和传感器3的操作可以由数据处理装置7控制。在图1A的实施方案中,装置7被配置用于对来自于一个或多个传感器3的一个或多个测量信号进行处理,以便提取触摸物体6的相关数据,包括其位置。
图2A至2C展示了一个FTIR系统的实施方案中,其中在板内使一个光束扫过触摸表面来产生光线片层。这种类型的实施方案在下文中还被称为“扫描光束实施方案”。
在图2A的实施方案中,使两个光束B1、B2在两个不同的方向R1、R2扫过这个板,并且在扫描过程中对每个透射光束的能量进行测量。典型地,每个光束B1、B2在板1的平面内是准直的。准直光束B1、B2的扫描形成了一个光线片层。具体而言,每个光束B1、B2由一种输入扫描器安排8产生并且沿着板1上的内耦合位点10中的一组入口或内耦合点扫描。在板1上的外耦合位点11内的多个外耦合点上的透射能量由一种检测安排9测量的,该检测安排与该输入扫描器安排8同步以便当它扫过板1时接收光束B1、B2。
每个输入扫描器安排8典型地包括一个光发射器和一个光束扫描器(未示出)。然而,可以想象,两个或多个输入扫描器安排8共用同一个光发射器。典型地,光束在板上平移,即它们在板的平面内具有基本不变的角度(扫描角)。虽然图2A中未示出,但专用的光学组件与内耦合位点和外耦合位点10、11相关联,以便分别地将来自输入扫描器安排8的入射光重新定向到所期望的方向(“扫描角”)并将透射光重新定向到输出扫描器安排9上的一个公共聚焦区域和/点上。
检测安排9也可通过其他方法来配置。在一种变化形式中(未示出),每个检测安排9包括一个光束扫描器和一个光传感器,其中该光束扫描器被安排在该公共焦点区域/点上并且被控制为在扫描过程中将透射光束指向光传感器。在一种变化形式中(未示出),光束扫描器被忽略,并且将一个单独的光传感器安排在上述公共焦点区域/点上。在这种变化形式中,静态辐射检测器被控制为测量随时间而变化的接收能量,同时使光束沿着板上的内耦合位点扫过。在另一种变化形式中(未示出),每个检测安排9(以及重定向光学组件)由一个对应的延伸传感器来替代,该延伸传感器沿着板边缘延展并光学地连接至板上。每个这种延伸传感器被控制为测量随时间变化的接收能量,同时使光束沿着板上的内耦合位点扫过。在另一种变化形式中(未示出),检测安排9被省略并且由回射器取代,这样使得光束B1、B2被反射回对应的输入扫描器安排8。因此,输入扫描器安排8被配置为既扫描又接收光的收发器以便测量透射能量。
在本文披露的扫描光束实施方案中,为每个光束扫描获取一个测量信号,其中该测量信号包括一个能量值序列,该序列是在使一个特定的光束沿着系统中(典型地是在一个单一的外耦合位点内)的外耦合点扫描的同时测量的。因此,该测量信号形成了一个投影信号,该投影信号代表来自一个光束片层的光沿着触摸表面的边界部分的空间分布。为了进一步示例此方面,图2B展示了从图2A的右端检测安排9获取的一个测量信号S1。图2B还示意性地展示了光束B1在扫过板1的同时所对应的一组检测线D1,...,DN,其中检测线的密度是任意的并且依赖于检测安排9的抽样率。测量信号S1可以例如是时间的函数,这相当于沿着板1的右端边缘的位置。测量信号S1被展示为包括源自一个触摸物体(未示出)的信号分布曲线P1,1。通常,这种信号分布曲线P1,1在下面又被称“触摸签名”。
可以理解,任何数目的光束可以扫过触摸表面。图2C展示了一个扫描光束实施方案,其中6个光束B1至B6扫过触摸表面,由此在板内产生了个六光线片层。图2C是该板的一个平面图并且展示了所有光束的中心光线与触摸表面上的4个触摸物体6的外边界之间相互作用。在图2C中,第一组光束B1、B3、B4被入射为从第一内耦合位点10向第一外耦合位点11传播,同时在一个第一主方向R1上进行扫描,并且第二组光束B2、B5、B6被入射为从第二内耦合位点10向第二外耦合位点11传播,同时在一个第二主方向R2上进行扫描。第一及第二主方向R1、R2相互垂直且平行于板的边缘。第一组光束包括垂直于第一内耦合位点的一个光束B1,并且B3、B4两个光束采用不同的扫描角。第二组光束包括垂直于第二内耦合位点的一个光束B2,并且B5、B6两个光束采用不同的扫描角。每个光束的透射能量由检测安排(未示出)测量,产生了6个测量信号S1至S6.
图3A至3B展示了一种FTIR系统的实施方案,其中每个光线片层是由位于板1周边的一个对应的发射器2生成的。每个发射器2产生一个光束,该光束在传播离开发射器2的同时在板1的平面中扩展。这种光束被标识为扇形光束,并且此类型的实施方案在下文通常被称为“扇形光束实施方案”。每个扇形光束从板1上内耦合位点中的一个或多个入口或内耦合点进行传播。光传感器3的阵列位于板1周边附近以便在板1的外耦合位点内的很多间隔的外耦合点上接收来自发射器2的光。如图3A虚线所示,每对发射器-传感器定义了一条检测线。因此,数据处理装置7为来自传感器3的阵列中的每条检测线采样一个测量值。应当理解的是(如果必须的话)全体测量值可被数据处理装置7重新安排以便形成一个投影信号(见图2B),该信号代表来自每个扇形光束的光沿着触摸表面的一个对应的边界的空间分布。图3B展示了具有更多发射器(表示为半圆形)和传感器(表示为正方形)的扇形光束实施方案。图3B是板的平面图并且展示了由触摸物体影响的所有检测线。
2.透射
如图1所示,触摸物体6不会阻挡光。因此,如果两个物体恰巧沿着从发射器2到传感器3的光路上前后相接地放置,一部分光会与两个物体相互作用。假设有足够的光能量,光的剩余部分将到达传感器3并产生一个输出信号,该输出信号允许识别两个相互作用(触摸点)。由此,在多点触摸FTIR系统中,透射光会承载有多个接触的信息。
以下,Tj是第j条检测线的透射率,Tv是沿着检测线在一个特定位置处的透射率,并且av是该同一点上的相对衰减。因此,沿着检测线的总衰减(模型化)是:
T j = Π v T v = Π v ( 1 - a v )
上式适用于分析由触摸表面上的分立物体所造成的衰减,当点足够大且彼此相隔一段距离时。但是,如果系统完全被认为是乘法时,可以使用通过衰减介质的一个更正确的衰减定义:
I j = I 0 , j · e - ∫ a ( x ) dx → T j = I j / I 0 , j = e - ∫ a ( x ) dx
在这个公式里,Ij代表有一个或多个衰减物体时检测线Dj上的透射能量,I0,j代表没有衰减物体时检测线D j 上的透射能量,并且a(x)是沿检测线Dj上的相对衰减。我们还使检测线与触摸表面沿整条检测线的长度进行相互作用,即检测线被表示为一条数学线。针对图4中所示的任一FTIR系统,这是一种合理的假设,其中触摸表面中的两个反弹之间的距离ΔB小于触摸物体的尺寸ΔT。该假设还可以在ΔB≥ΔT的FTIR系统中得到可接受的结果。
为了便于实现如下所示的触摸数据提取过程,测量值都除以对应的背景值。通过选择合适的背景值,测量值被转换成透射率值,这因此代表在每条检测线上测量的可用光能量的一部分。还可能有益的是将透射率值转换成对数值(在任何基中),因为沿检测线的总透射率的对数就等于在该检测线上离散位置处的单独的透射率Tv的对数总和:
log(Tj)=log(∏Tv)=∑log(Tv)
3.触摸数据的提取
图5展示了一种用于在FTIR系统里提取触摸数据的实施方案。该方法包括典型地由数据处理装置7(图1至3)重复执行的步骤50至58的一个序列。在本说明的背景下,步骤50至58的每个序列被标识为一个感测实例。
每个感测实例在数据采集步骤50开始,其中从FTIR系统的光传感器对测量值进行采样。数据采集为每条检测线产生一个测量值。需要指出的是,在FTIR系统中可以或没有必要为所有可用检测线采集数据。
在处理步骤52中,对测量值进行预处理,如通过滤波降噪、转换成透射率值(或相当于衰减值)、转换成对数值等。步骤52的预处理还包括对输出向量d中可能的预处理测量值进行安排。输出向量d因此由一组排好序的信号值dm组成,每个信号值对应于一个特定的检测线并且是基于相应的测量值而生成的。
在重构步骤54中,对输出向量d进行处理从而获取穿过触摸表面的最有可能的衰减值分布(“衰减场”)。步骤54利用了一个预定数学公式,该数学公式将衰减场与输出向量d相关。衰减场被表述为一组基函数,这样使得可以基于一个模型而生成该预先确定的数学公式,该模型描述了由检测线和该组基函数之间的相互作用所造成的每条检测线的衰减。换言之,该模型描述了触摸物体会如何影响FTIR系统的这些检测线。在有待在接下来的章节中进一步详细描述的实施方案中,基于贝叶斯反演,该模型被用在一个统计重构算法中从而根据输出向量d获取衰减值的概率分布。在这样的实施方案中,重构步骤54可以对概率分布进行处理从而从输出向量d的角度找到一个“可能的”衰减场。
寻找可能的衰减场包括获取衰减场的最大后验概率(MAP)。这一点以识别可能的衰减场的其他方式是一种优化/最小化问题,该问题可以使用任何已知的数值或解析算法来解决,如伪逆法、最速下降法、接合体梯度法、牛顿拉夫逊法、拟牛顿法等。在由Press等人合著的《数值分析(Numerical Recipes)》(第三版)一书中进一步描述了这些和其他有用的算法。最速下降算法的另一个有用变化形式在Barzilai与Borwein合著的在1988年8月第一期数值分析IMA期刊的141至148页的《两点步长梯度法(Two-Point Step Size Gradient Methods)》一文中有所阐述。
许多优化/最小化算法都是迭代的。减少迭代次数方法之一是使用将来自前一个感测实例的重构衰减场作为步骤54中的优化/最小化的起点。
图6A的3D绘图给出了重构衰减场的一个例子,该例子示出了触摸表面的x,y坐标系下的重构衰减值。在此例中,衰减场内的尖峰是由与触摸表面相接触的一个单独的物体所导致的。图6B展示了四个物体与触摸表面相接触时的重构衰减场。可以看出,每个物体都会在衰减场内造成一个尖峰。
由此,图6A至6B是衰减场的全重构的例子,即在触摸表面的形状内估算所有衰减值。在一个替代实施方案,仅在触摸表面的一个或多个子区域内重构衰减场。基于上述投影映射信号,可以通过分析穿过触摸表面的衰减路径的交点来识别子区域。本申请人的第61/272,665号美国临时专利申请中进一步披露了一种用于识别这种子区域的技术,该申请提交于2009年10月19日并且通过引用结合在此。图6C展示了基于与图6B中全重构相同的输出向量的五个子区域内的局部重构的结果。再次,在衰减场里可以看到来源于触摸物体的四个尖峰。
在提取步骤56中,然后对重构衰减场进行处理用于识别触摸相关特征并提取触摸数据。任何已知的技术将用于隔离衰减场内的真实(实际)触摸点。例如,普通的团块检测和跟踪技术可用于寻找实际触摸点。在一个实施方案中,首先对衰减场应用了一个阈值以便去除噪点。可以对衰减值超过该阈值的任何区域进行进一步的处理以便通过为衰减值拟合例如一个二维二阶多项式或高斯钟形状、或通过寻找衰减值的惯性椭圆来找到中心和形状。还存在很多本领域已知的其他技术,如聚类算法、边缘检测算法等。
可以提取任何可用的触摸数据,包括但不限于触摸点的x,y坐标、面积、形状和/或压力。
在步骤58里,输出所提取的数据,并且该处理过程返回到数据采集步骤50。
应当理解的是步骤50至58中的一个或多个可以是同时受影响。例如,可以同时与52至58步骤中的任何一个启动一个后续感测实例中的数据采集步骤50。
触摸数据提取过程典型地是由一个数据处理装置(参见图1中的7和图3A)来执行,该装置被连接为对来FTIR系统中光传感器安排的测量值进行采样。图5B示出了这种数据处理装置7的一个实例,该装置用于执行图5A的过程。在所示的实例中,装置7包括用于获取输出向量d的一个元件(或装置)150。装置7还包括用于由一个或多个二维基函数代表触摸表面上的一个二维衰减场的一个元件(或装置)152,其中每个基函数在二维形状内定义了一个衰减强度。还有一个用于计算一个估算衰减场的元件(或装置)154,这是在该组检测线到每个基函数的映射、通过对每个基函数的衰减强度和位置中的至少一项进行优化来计算估算衰减场,这样使得估算衰减场生成输出向量d。装置7还包括一个用于对估算衰减场进行处理以便提取触摸数据的元件(或装置)156。
装置7可以由运行在一个或多个通用的或专用的计算装置上的专用软件(或固件)来实现。在本文的语境中,应当理解这种计算装置的每一个“元件”或“装置”是指一个方法步骤的概念等效物;元件/装置与具体的硬件或软件程序体之间不总是一一对应。:一个硬件有时包括不同的装置/元件。例如,处理单元在执行一条指令时用作一个元件/装置,但在执行另一条指令时用作另一个元件/装置。另外,在一些情况中,一个元件/装置可以由一条指令来实现,但在一些其他情况中由多条指令来实现。这种软件控制的计算装置可以包括一个或多个处理单元,例如CPU(“中央处理单元”)、DSP(“数字信号处理器”)、ASIC(“专用集成电路”)、分立的模拟和/数字组件、或一些其他可编程逻辑器件,如FPGA(“现场可编程门阵列”)。该计算装置可以进一步包括一个系统内存以及一条系统总线,该系统总线连接各种系统组件(包括系统内存大到处理单元)。系统总线可以是若干类型总线结构中的任意一种,包括存储器总线或存储控制器、外围总线以及使用各种总线架构中任意一种的本地总线。系统存储器可以包括易失和/或非易失存储器形式的计算机存储媒质,例如只读存储器(ROM)、随机存储器(RAM)以及闪存。专用软件可以存储在系统存储器中、或存储在其他可移除/不可移除的易失和/或非易失计算机存储媒质上,该存储媒质包括在计算装置中或可接入该计算装置,例如磁介质、光介质、闪存卡、数字磁带、固态RAM、固态ROM等。计算装置7可以包括一个或多个通信接口,例如串行接口、并行接口、USB接口、无线接口、网络适配器等,以及一个或多个数据获取装置,例如A/D转换器。该专用软件可以在任意适当的计算机可读媒质上提供给计算装置,包括记录媒质、只读存储器或电载波信号。
4.FTIR系统的建模
如上所述,重构步骤54是基于具体FTIR系统的相互作用模型。贯穿这一章节,将参考上述定义的扫描光束和扇形光束实施方案来阐释此模型的设计。然而,本发明不限于这两种几何形状而是可以适用于任何FTIR系统的设计。
可以为每一个FTIR系统设计一次相互作用模型,即作为制造过程中的一个校准步骤的一部分。然而,它还可以被设计为在制作好后任何时刻的一个再校准程序的一部分,如解释以下事实:光学和力学可以随时间变化而改变。
4.1 衰减场
为了准确地对触摸表面上一个或多个触摸的衰减进行建模,需要选择衰减场的一个适当的展现形式。可以用不同的方法来实现这一点。下文中,基函数的概念被用于代表衰减场。存在多种多样的为此目的可使用的基函数。下面列举一些例子。
在下面的例子中,衰减场是由穿过触摸表面(或在触摸表面的坐标系中)的部分重叠的基函数的一种分布来代表。为了对该衰减场建模,为每个基函数赋予一个位置和一个衰减参数。
4.1.1 重构网格
在触摸表面上的重构网格中,所有的基函数可以具有相似的形状并且其位置可以是固定的。下面,假设在重构网格中每个网格点或顶点处有一个基函数。网格可以例如是矩形网格或三角形网格。图7A展示了叠加在一个触摸表面的矩形网格。这种网格对应于一个计算图像的普通表示,即本质上是一个矩形或正方形像素矩阵。图7B是一个三角形网格的一个对应的视图,它是三角元素的一个连续网络。在所展示的例子里,每个重构网格在网格线的交点处定义了一组规则的网格点(又称顶点)。
下文将重点描述三角形网格的使用,因为已经发现与使用矩形网格相比,它能够更好地表现椭圆形触摸物体边缘处的衰减的改变步骤。此外,将要为由等边三角形(也指“正六边形网格”)组成的一个三角形网格给出所有例子。当我们使用一个正六边形网格时,由于六个邻点距每个网格点的距离相等,因此这些基函数的邻点结构的定义会变得容易。这一方面会是有用的,例如在基于相邻网格点的先验构造中。
4.1.2 基函数和插值阶数
如上所示,可以至少是从沿着对应的检测线的衰减的积分而大致推导出每个所检测的透射率值。为了能够表示并重构衰减场,将其从一个真实世界R2域映射到Z2域,以减少维度。这对于获取衰减场的一个稳定重构会是重要的。在这种映射中,我们希望在维持合理的处理量的同时尽可能地模拟真实世界衰减场。
为了发现基函数是如何在FTIR系统中与检测线相互作用,我们还需要为基函数选择一个插值阶数。通过对表示衰减场的基函数进行适当的设计和安排,有可能的是有效地产生重构衰减场的插值而重构步骤中无需太多的处理。下面列出了不同插值阶数列表:
●零阶插值:在其整个区域,每一个基函数有相同的衰减,即基函数是一个顶帽函数。
●线性或一阶插值:特定基函数的衰减随着距基函数的距离的增加而线性减小到零。当相邻基函数的衰减被加在一起(用从检测线到其中心的距离来加权),就可获取到该衰减场的一个线性插值。
●高阶插值:使用更高阶的插值会提供更平滑的插值。然而,基函数将会重叠越多,并且重构步骤也将需要更多的处理。在一个例子中,该基函数是样条函数。
插值从零阶提升到一阶将会显著改善模型的能力从而模拟一个真实连续衰减场。这种改进也是通过少量额外的计算成本来得到的。同样,通过使用插值基函数,在重构网格里,相比于顶帽基函数,稀疏的重构网格可以用来在重构中达到给定的精度。
4.1.3 线性插值举例
如将展示的,一个六角网格能够使用其形状被形成为有一个六角形底边的棱锥的基函数,其底边的中心点与一个网格点一致,并且其底边的角点与相邻的网格点一致。通过将一个基函数放置在每一个网格点处,我们得到了一个三角形网格,该三角形网格在其三角以及边缘处具有增强的连续性。
图8A至8D进一步展示了使用基函数来实现线性插值。在所展示的这个例子中,网格点(称为“网格点单位”,g.p.u)与相邻基函数之间的距离是2mm。图8A是一个基函数在一个六边形网格图中的平面图,并且图8B是该基函数的透视图。
为了适当地表示衰减场,每个基函数都有自己的特定衰减。这基本上意味着每个基函数是一个具有单独高度的棱锥。图8C展示了8A中基函数和其三个相邻的基函数,每个基函数都具有单独的高度。图8D展示了将这些单独的基函数(虚线)的叠加贡献加到一起的结果,以便在重构网格内产生一个线性插值。因此,三个重叠的基函数在顶部的两个三角形(实线)中的每一个中共同确定了一个插值衰减场。
从图8应当认识到一个六边形网格可能善于近似衰减场内的圆形边缘。一般来说,在六边形网格中安排任何类型的基函数都可以有助于准确地表示触摸形状,这在衰减场里通常是一个类似椭圆结构。
4.1.4 单个基函数的相互作用模型
当设置衰减场的表现形式时,有可能的是分析每个基函数如何与每条检测线相互作用。为了重构的目的,我们需要知道针对每条检测线通过整个衰减场的总线积分。因此,对于与检测线相交的所有基函数而言,该总线积分将是的线积分的总和(或其他适当的取决于透射模型的聚集函数)。
如在此所使用的,“线积分”是指一个函数,对该函数进行评估从而生成一个经过基函数的切片区的测量,该切片可以是由检测线和基函数之间的交点形成的。此线积分可以被生成为该切片的一种解析积分、或其近似。这种近似可以包括基于多个数据点计算该区域,这些数据点定义了该切片,典型地至少有3个数据点。每个这样的数据点定义了该基函数在基函数内的特定位置处的值。
由于基函数和检测线有一个已知的形状,可以针对一个具体的检测线和一个具体的基函数对线积分进行预计算。图9至10用于进一步展示针对处于六边形棱锥形式的基函数而计算线积分。在图9至10中,距离是以网格点单位给出的。
因此,可以想象的是针对每条检测线,为与每条检测线相交的所有基函数预计算线积分。一个有待在下文中描述的具体实施方案被设计为使用所谓的“投影内核”,例如在触摸数据提取过程中使得对线积分进行记忆并有效地对其进行处理(图5)。
图9A是一个基函数与一条检测线的平面图,该检测线在距其中心0.5个网格点的距离处与该基函数相交。图10A展示了产生的线积分,该线积分被给定为检测线和基函数的中心之间的距离的函数,假设检测线的角度在每个距离下都一样。因此,这样一个线积分函数被称作基函数的“投影内核”。图10A中的虚线表明图9A中示出的检测线的线积分值。在下文中,该值还称为检测线的“投影内核系数”。
基本上,投影内核可以被当做基函数和一个具体的光线片层之间的交互作用的一种表现形式。例如,图10A中的投影内核可以代表基函数与由图2C中的光束B2产生的光线片层之间的相互作用。
图9B与图9A对应,但展示了倾斜了10度的检测线。图10B展示了相对应的投影内核,该投影内核代表基函数与由图2C中的光束B5产生的光线片层之间的相互作用。
图9C与图9A对应,但展示了倾斜了30度的检测线。图10C展示了一个相对应的投影内核。
在此例中,结合检测线的不变量“扫描角”,通过一个基函数的检测线的线积分仅依赖以下两个变量:从基函数的中心点到检测线之间的最短距离,以及在检测线和基函数的方向之间的角度。
由于FTIR系统的几何特性是明确的,有可能的是确定每条检测线和每个基函数之间的距离和方向。因此,对于每一个函数而言,可以计算其与所有检测线的相互作用,并且可以一起存储所产生的线积分值与基函数的位置。值得注意的是,一个单一基函数对一个单一检测线的透射的衰减效应是线积分与赋予该基函数的衰减参数的乘积。因此,原则上,这样一种计算产生了一个用于将衰减场与输出向量相关的模型。
4.1.5 非理想检测线的补偿
虽然有可能的是通过评估基函数与检测线之间的相互作用来获得衰减场的模型,但应当理解的是这样一种评估无需基于简化的假设,即检测线没有“宽度”。实际上,每条检测线都有有限的宽度。这样的宽度是由以下事实导致的:除其他外,每个外耦合点具有一定的形状,例如由于传感器的感光表面的形状和/或检测安排的视域。宽度还可以由以下事实导致:光源/内耦合位点可以具有一定的形状。这适用于扫描光束和扇形光束实施方案。
现在将针对图11中的扫描光束实施方案将检测线的扩宽示例化,其中光线片层是由在板的平面内具有一定形状的扫描光束(仅示出了一个光束)形成。图11示出了一个宽光束B1在与一个物体6相互作用。图11还示出了生成的投影信号S1,以及如果光束B1的宽度是无限小时或至少明显小于物体6的宽度的所获得投影信号S1’。如图所示,触摸签名P1,1与B1的宽度和密度分布曲线按比例扩大,因为光束B1在由物体6和光束B1的宽度之和给定的距离上与物体6相互作用。可以看出投影信号S1中的一个信号值对应于(即沿其生成)具有与光束B1的宽度相等的宽度的一条检测线。在图11中,这种对应关系是由从信号值dm扩展到光束B1的虚线所表示的。
还应当理解的是光束在触摸表面的平面内具有一个特定密度分布曲线,而且应当理解这种密度分布曲线还可导致检测线的一个相应的密度分布曲线。密度分布曲线可以是例如顶帽分布、高斯分布等。
因此,可以想象的是解释衰减场模型中的检测线的宽度和/或密度分布曲线,例如通过一个单一基函数的相互作用模型。
本申请人已经认识到板内的光散射可以对检测线造成影响,并且认识到这种现象根源在模型上。
在触摸表面4和/或相对表面5上,这种光散射可由一个漫反射表面结构(也称为遮光结构(AG))产生。AG结构可用于减少来自触摸表面上的外部照射产生的眩光。而且,当触摸物体是裸指时,手指和触摸表面之间的接触一般会在触摸表面上留下指纹。在一个理想的平坦表面上,这样的指纹是清晰可见的,并且通常是不希望的。通过将AG结构添加到触摸表面,可以降低指纹的可见度。而且,当使用AG结构时,减少了手指和触摸表面之间的摩擦,这因此可以增强用户体验。AG结构以光泽度为单位(GU)规定,其中较低的GU值产生较少的眩光。
当一个光束通过内反射在一个透光板中传播时,该透光板在其边界表面中的一个或两个上具有AG结构,针对这种散射界面的每一次内反射会导致一些光偏离离开光束的主方向并且还可以使辐射通过该边界表面逃逸。
光散射可以具有其他原因,例如其他类型的涂层、透光板上的层面或表面结构、板中或相关光学组件中的缺陷或瑕疵、板的边界表面上的杂质(指纹、灰尘等)、触摸传感装置内的衍射效应等。
不论起因如何,本申请人已经发现当光束从其一个或多个入口点在板上传播时,光散射通常会导致光束在板的平面内扩展。
这种扩展使得投影信号中的触摸签名的形状依赖于触摸物体在板上的位置,尤其是触摸物体和相关内耦合/入口点之间的距离。图12A展示由了触摸物体产生的触摸签名的宽度与触摸物体和入口点之间的距离之间一种示例相关性,对于一个小宽度波束而言。触摸物体的实际宽度是Wn。当触摸物体靠近入口点时,所检测到的触摸签名会相对不同并且具有与实际宽度相似的宽度。当触摸物体背离入口点移动时,所检测到的触摸签名会逐渐扩展。当接近外耦合点时,触摸签名的宽度会再次变得稍微小些。应当理解宽度和触摸位置之间的实际函数相关性主要依赖于FTIR系统实际光学设计,并且应当理解图12A仅作为一个示例而给出。例如,如果光束的宽度增加(例如像图11所示),所检测到的触摸签名会与实际宽度相差的更多。
图12A中,可以看出位于入口和外耦合点之间中央处的小触摸物体会产生与更接近于入口点的较大触摸物体一样的触摸签名宽度。基于图12A中的数据类型,有可能的是根据触摸物体与入口点(或相当于外耦合点)之间的距离确定产生某一个触摸签名宽度的触摸物体的实际宽度。这种类型的函数相关性是指下文的散射函数。图12B是用于确定图12A中数据的散射函数的示意图。因此,图12B展示了不同位置处真实的物体宽度,这些不同位置在投影信号中产生相同的触摸签名宽度。散射函数可通过对一个特定FTIR系统进行理论计算或通过测量而得到。这种散射函数可用于改善触摸数据的提取过程。
但首先,我们将分别展示在扫描光束实施方案和扇形光束实施方案中散射对检测线的影响。
图13A是一个扫描光束实施方案的平面图,其中3个准直的非平行光束扫过(平移)该板,产生了3个投影信号S1至S3。触摸物体6的每一个投影信号S1至S3包括一个对应的触摸签名P1,1、P2,1、P3,1。图13A展示了每个触摸签名P1,1、P2,1、P3,1的一对未校正的检测线(直平行线),其中未校正的检测线是通过简单地沿对应的扫描角来回在触摸表面上跟踪触摸签名P1,1、P2,1、P3,1的极限点。图13A还展示了相应的校正后的检测线。显然,如果在触摸数据的提取过程中忽略了散射,会在检测线到触摸表面的映射过程中引入明显的错误。由此可看出,如果触摸物体6是靠近入口点,那么实际宽度基本上等于触摸签名的宽度。已经通过对每个触摸签名P1,1、P2,1、P3,1的宽度应用散射函数而获得了图13A中的校正检测线,这样使得这些校正检测线之间的距离对应于产生所检测到的触摸签名宽度的触摸物体6的实际宽度(参见图12B)。
在扇形光束实施方案中,散射函数可类似地用于产生校正检测线。与扫描光束实施方案相比,一个不同之处在于扇形光束通常来源于一个更小的内耦合位点并且甚至在无光散射的情况下在板的平面中扩展。因此,在一个扇形光束实施方案中,触摸签名包括与入口点和触摸物体之间的距离有关的信息,即使板基本上没有光散射现象。然而,光散射的存在使得扇形光束在从内耦合位点向外耦合位点传播的同时在板的平面中变宽。因此,可以为一个特定的扇形光束实施方案测量或计算一个散射函数。应用散射函数的基本原则与扫描光束实施方案相同。图13B是一个扇形光束实施方案的平面图并且展示了两个光线片层的投影信号S1、S2。图13B展示了每个触摸签名P1,1、P1,2、P2,1、P2,2的一对未校正的检测线(直线),其中未校正检测线是通过对穿过触摸表面的触摸签名的极限点进行几何回溯而产生。图13B还展示了对应的校正检测线,这些检测线是通过对透射信号S1、S2中的触摸签名P1,1、P1,2、P2,1、P2,2应用适当的散射函数而获得的。因此认识到在一个扇形光束实施方案存在光散射的情况下,散射函数可用于改进触摸数据的提取过程。
不论其来源如何,检测线的宽度和/或密度分布曲线可以从理论上确定,或在校准测量过程中通过实验获取。
因此,取决于实现方式以及有待提取的触摸数据的所要求的精度,可能所希望的是说明衰减场的模型中的非理想检测线,即检测线的非零宽度和/或密度分布曲线。
这可以通过将宽度/密度分布曲线包括在沿着检测线和基函数之间的交点的线积分的评估中来完成,例如,通过将线积分定义为代表检测线的宽度/密度分布曲线的表面积分,或通过为多条光线评估并汇集一组线积分,这些光线在检测线里并排扩展,其中每条光线都沿检测线扩展并且表示在检测线内一个特定的横向位置。在有待在下文中描述的一个实施方案中,由一个所谓的“补偿内核”表示检测线的宽度和/或密度分布曲线。补偿内核是一个函数,该函数对检测线的宽度和/或密度分布曲线的影响进行模型,并该函数可以与签署投影内核进行卷积从而生成一个校正投影内核。
可以在一个单独的校准步骤中和/或从散射函数中获取补偿内核的形状(参见图12)。在一个实施方案中,一个简化的但相当准确的补偿内核由具有统一面积积分集的高斯钟来表示。因此,补偿内核可以仅用一个单一的参数来定义,例如它的宽度、半宽度或高度。补偿内核的宽度取决于F TIR系统的特征,包括触摸板、可能具有AG结构、内耦合和外耦合光学设计、光束的特性等。
图14展示了具有以下半宽的补偿内核:0.01mm(左上)、0.5mm(右上)、1mm(中左)、2mm(中右)、4mm(左下)和8mm(右下)。注意补偿内核的积分是保持内敛的。
图15A示出了对图14中对应的补偿内核与图10A的投影内核进行卷积的结果。我们可以看出校正投影内核随着补偿内核的宽度增加而变地更宽和更低。图15B示出了对图14中对应的补偿内核与图10C的投影内核进行卷积的结果,即三角形投影内核。。
通过对图15A和图15B进行比较,可以注意到更宽的补偿内核(如该补偿内核是在由散射造成的明显散射的FTIR系统中获得的),校正投影内核的形状不那么依赖于基函数的选择。然而,在许多FTIR系统里,我们具有一部分不受散散影响的触摸表面,并且其他部分更是如此。
4.1.6 确定投影内核
从上可知,可以得出以下结论:在一个扫描光束实施方案中,在没有或很少散射的情况下,可以为每个光线片层确定一个单一(校正)投影内核,并且同一组投影内核适用于重构网格中的所有网格点。在一个扫描光束实施方案中,在具有相当可观的散射的情况下,对于每个光线片层而言,校正投影内核在整个重构网格上不同。
通过类比,应当认识到在一个扇形实施方案中,无论有无散射,对于每个光线片层而言,校正投影内核在整个重构网格内不同。
一种求解校正投影内核的途径是使用系统的光学设计信息对投影内核进行理论建模,有可能基于实验数据,例如FTIR系统的散射函数。
另一个途径是凭经验确定投影内核。例如,可以将一个具有已知触摸特征的小触摸物体定位在整个触摸表面的不同位置,并且为不同位置的触摸物体记录所产生的投影信号。通过所记录的数据,于是有可能的是计算所有不同的基函数的校正投影内核。
如果要求重构衰减场有高精度,那么重构网格的密度会变得相当高。在一个2mm的网格点间隔的例子中,30英寸直径的宽屏制式的触摸表面会要求一个由60000个以上的网格点组成的重构网格。由于制造量的原因,为FTIR系统的每个单独批次确定所有校正投影内核可能不是所期望的。相反,可以在一个或多个参考批次上进行计算或测量,从而确定所有或至少主要部分的网格点的校正投影内核。这种高密度测量因此产生了一组假定适用于所有批次的通用投影内核。为了解释各个批次之间的差异,可以想象的是对每个批次进行低密度测量,即对一组有限的网格点确定校正投影内核。低密度测量可以包括任何上述用于经验测定校正投影内核方法方法。另外,低密度测量包括投影内核的理论确定,例如基于批次专用标定参数的前一次测量,如扫描角、散射函数、测量值到外耦合点的映射等。在低密度确定的基础上,该通用组中的全部或部分投影内核可以被更新以便合适地反映批次的检测线特性。
测量模型
真实测量过程可以建模为:
Figure BDA0000154097390000311
其中d是包含信号值的输出向量,ε表示测量过程中的噪点,是真实的衰减场,并且
Figure BDA0000154097390000313
描述真实衰减场如何产生测量值。真实的衰减场是无限的维度(是R2域内的一个函数)。测量过程的输出具有有限的维度(它是R2域内的一个函数,其输出在Z2域)由于在过程中引入了噪点,测量值变成随机变量。
Figure BDA0000154097390000315
Figure BDA0000154097390000316
都用无限维度确定的然而,我们不能得到真正的衰减场或有关测量过程的全部信息。因此我们还可以把它们作为随机变量。
为了重构衰减场,FTIR系统可被描述为线性测量模型:
d=Pa+ε
在这个方程中,d是包含信号值的输出向量,例如透射率或透射率值的对数等,a是有待重构的衰减场,并且ε是测量中的噪点。由于我们缺乏衰减场的完整信息,因为d和a都被当做随机变量。应该指出的是,这些变量不是标量实体,仅是向量。P是一个描述衰减场如何影响信号值的矩阵。
另一种描述FTIR系统的变体是使用非线性测量模型:
Figure BDA0000154097390000321
在此方程中,P(a)表示衰减场如何影响信号值,即测量模型。今后,我们使用以下公式表示线性和非线性模型,即对于线性模型而言,P(a)≡Pa。
由于我们缺乏衰减场的完整信息,因为将衰减场以及测量值建模为随机变量。
该模型函数P(a)可通过对重构网格中的每条检测线与每个单一基函数之间的相互作用进行评估来确定。如上所述,有关位置、插值阶数、基函数的大小和形状的知识使之有可能预先计算出每个基函数是如何与每条检测线相互作用。这种相互作用可由前述投影内核来表示。应该指出的是,所有基函数不与所有检测线相互作用,并且因此有可能的是减少所需的计算量。
该模型函数P(a),除其他因素之外,受FTIR系统的几何设置的影响,包括板的大小和厚度(不一定是矩形)、以及定义这些检测线的内耦合点和外耦合点的位置。该模型函数P(a)也受FTIR系统的光学属性影响,例如内耦合和外耦合的宽度、片层生成机制、因光散射而造成的散射、以及衰减机制,即沿一条检测线的多个触摸如何衰减光。
如上所述,衰减机制可被视为乘法,它可以带来一定的简化,该简化可以用于显著加速优化。在下式中,Tj是检测线Dj的透射率,rv,j是基函数fv和检测线Dj的投影内核参数,并且av是基函数fv的衰减参数(高)。投影内核系数rv,j表示通过将检测线Dj映射到投影内核上而取得的值(见图10中的虚线)。因此,沿检测线Dj的总透射率(模型化的)是:
T j = Π v T j , v = Π v ( 1 - r v , j · a v )
并且因此检测线Dj的模型函数P(a)j是:
Figure BDA0000154097390000332
只有当log(1-x)≈-x,即x远远小于1(但仍是正的)时,可进行简化。以上两个方程适用于当我们看触摸表面上的离散点的情况,其中这些点是相当大并且距离上分隔开。然而,由于我们考虑了一组基函数,已经计算出该组基函数的正确线积分,我们可以通过衰减介质使用更准确的衰减定义:
I j = I 0 , j · e - ∫ a ( x ) dx = I 0 , j · e - Σ v r v , j · a v ,
针对检测线Dj上的总透射率得到了一个更精确的公式:
T j = I j / I 0 , j = e - Σ v r v , j · a v .
这会导致上述同一模型函数P(a)j
由此,我们看到对于产生传播的对数值的模型函数P(a)j而言,其导数变为:
Figure BDA0000154097390000336
如果我们选择使用的全透射率值作为模型函数的输出:
Figure BDA0000154097390000341
Figure BDA0000154097390000342
导数变为:
反演
在定义了测量模型
Figure BDA0000154097390000344
并且获取了P(a)的一个表达式,剩下的任务是确定一个将衰减场a内每个衰减信号av与输出向量d中信号值dm相关的表达式。该任务下文称之为“反演”。反演可由多种不同方法来完成。下面,我们基于贝叶斯理论描述了一种统计途径,并基于求解正则方程描述了一种替代途径。
4.3.1 贝叶斯理论在反演中的应用
贝叶斯统计的前提是结合以前的知识以及一组给定的测量数据,以便进行统计推断。现有知识(也被称为先验信息)来源于操作或观测数据、来自以往类似的实验或来自工程知识。此处,先验信息是指有关衰减场的行为的先验知识,即在检测线中触摸和杂质如何对光进行衰减。
贝叶斯公式给出了后验分布:
p(a|d)∝p(a)p(d|a)
其中p(a)是先验分布,即我们对衰减场如何动作的理解,独立于输出向量d,p(a|d)是似然分布,它表示在给定的衰减场a中信号值dm的概率分布。先验分布的目标是为我们所期望的衰减场赋予高概率并且为不期望的衰减场赋予低概率。
一旦我们具有后验分布p(a|d)的表达式,它代表给定输出向量d的情况下的衰减场中的衰减值的概率分布,我们就可以找到衰减场的一个估算。该估算可以例如被恢复为具有最高概率的解决方案,即最大后验概率估算(MAP)。
似然分布可以被建模以表示测量噪点。通常,测量噪点可以被认为是一个高斯分布的随机值。由下可得似然分布可以被建模为:
Figure BDA0000154097390000351
其中pε(x)是高斯噪点的概率模型。
如上所述,先验分布p(a)应该与测量本身无关。许多不同类型的先验可以用于定义该先验分布p(a)一些基于邻点结构的先验例子是:平滑度(L2)和总变差。也有其他类型的先验,例如L1-先验(也称之为脉冲先验)以及积极性约束。在本文语境的F TIR系统中,可以涉及基于相邻衰减值之间的相互作用来研究先验,因为衰减场可以被认为分别地展现低衰减(没有触摸)和高衰减(触摸)的连续区域,其中每个区域包括几个顶点,即衰减值。例如,可定义相邻的L2平滑度先验:
p ( a ) = e - γ Σ n ∈ N | | a - a n | | 2 2
其中an是在a中一个特定的基函数的相邻基函数的衰减参数。求和公式被当做所有基函数和其邻点的总和。在上述六边形网格的例子中,对每个基函数而言,p(a)可以通过计算基函数与其六个邻点之间的衰减参数值中的平方差总和而得到。例如,我们可以为每个基函数计算六个差值和六个平方值,并然后把这些值添加到所有基函数的总和中。
这个先验对衰减骤变进行了显著的惩罚。它因而可促使平滑的衰减场,这在没有触摸存在的情况下在一个触摸下方以及多个位置上可以是所期望的。然而,还可以期望的是在衰减场内触摸边缘将表现为不同的骤变,并且平滑度先验可对这些变化进行显著的惩罚。因此,使用总变差先验可能更合适:
p ( a ) = e - γ Σ n ∈ N | a - a n | ,
其中
Figure BDA0000154097390000362
是所谓的惩罚因子,它表示相邻基函数之间的衰减参数值中的绝对差值的总和。总变差先验不惩罚衰减中的大幅度变化。
可以为一个具有四邻结构的矩形网格评估L2平滑度的影响和总变差先验。在此评估中,我们已经计算了惩罚因子的L2平滑度先验和总变差先验的四种不同的模拟衰减场,如图16所示。在所有四个衰减场里的总衰减是相同的(黑色表示最高衰减,具有一个被设置成任意单位的1的衰减)。在此评估中,结果表示圆(左上)为两个先验产生了可比较的惩罚因子的值。相似地,椭圆(右上)为两个先验产生了可比较的惩罚值,虽然略高于圆。交叉(左下)产生了为两个先验产生了显著偏高的惩罚值。平滑圆(右下)与圆一样基本上产生了相同的惩罚值,对于总变差先验而言,该惩罚值明显低于L2平滑度先验。因此,发现L2平滑度先验不适合用于具有触摸的衰减场的重构。
尽管有许多其他先验可用,但是以下描述的重点是总变差先验的使用,因为它是一个合适的先验且简单易于理解和实施。
在此基础上,后验分布可建模为:
Figure BDA0000154097390000363
可以看出对MAP的检索与将这个方程的负对数最小化相同。因此,优化可以被表达为:
Figure BDA0000154097390000371
因为这个最小化方程两边被约束在下面(正面)并且是连续的,我们可以确定有解。两个常量α和γ之间的比率定义了优化是否与测量数据(信号值)一致还是与先验一致。γ/α的商对每个FTIR系统而言是专有的,但一般是在0.01-0.75近似区间内。
通常,优化包括从一组无限多的解决方案中选择一个解决方案(最有可能的)。图17对这一方面作了进一步展示。
另一个会有助于优化的先验是所有衰减值必须都是正数。这可以在有待最小化的表达式中的额外先验(“积极性先验”)中用公式表达。
Figure BDA0000154097390000372
其中θ(t)是赫维赛德阶跃函数,并且f(x)是随着绝对值x增长的正函数,优选地比线性增长更快,例如f(x)=x2。使用这样一个额外先验将对远低于零的衰减值进行更大的惩罚。为了便于理解,下面的讨论忽略了积极性先验。
许多优化算法对有待优化的函数的导数进行操作。最小方程的前部的导数很容易求解。可是,总变差先验的导数不是连续的。为此,可能有益的是稍微修改总变差先验以便产生有连续导数的先验。对绝对值进行模拟的函数的一个例子是
| x | ~ 1 τ log ( cosh ( τ · x ) )
图18A展示了绝对值(实线)和逼近函数(虚线)之间的相似性,这是针对τ=200来评估的。逼近函数的导数是:
sinh ( τ · x ) cosh ( τ · x )
图18B示出了作为x的函数的导数,并且展示了该导数是一条光滑的曲线。
衰减值av的最小化方程的导数因此可被表示为:
其中,Nv是基函数fv的相邻集合。因此所有衰减值的梯度(即衰减场)可以被表示为:
▿ F = ∂ F ∂ a 1 ∂ F ∂ a 2 · · · ∂ F ∂ a v
熟练技术人员认识到可采用任何适当的优化方法来寻找将函数F最小化的衰减场a,即,在梯度▽F变为零的情况中。
如果重构网格是不规则六边形,那么一个顶点和它的邻点之间的距离可能不同。例如,在一个二次网格中,每个顶点将具有八个相邻顶点,其中四个与其他四个相邻顶点相比较定位比该定点更远一个因子√2。因此,可能有利的是用相邻基函数的中心点之间的距离来权衡对总变差先验的影响。
应当理解的是如果有待最小化的最小化方程包括上述积极性先验,比如,
Figure BDA0000154097390000391
其导数
Figure BDA0000154097390000392
应该被添加到上述表达式
Figure BDA0000154097390000393
中,例如作为
Figure BDA0000154097390000394
4.3.2 通过对正规方程进行求解的反演
如果线性测量模型用于表示F TIR系统,并且如果没有或仅有能够对最小化问题的进行矩阵公式表达的先验被用到,通过求解正规方程可以求解最小化方程。如果测量模型是超定的,这种求解方法将特别有关。正规方程可被公式化:
(PTP)a=PTd
该方程可以使用下列公式被分析性地求解(如果PTP是一个可逆矩阵):
a=(PTP)-1(PTd)
然而,这可能并不是对这个方程系求解的最有效方法。可以通过计算乔列斯基分解发现一个对正规方程求解的更有效的方法。因此,如果矩阵PTP条件充足且正定,即,满秩,那么可以直接利用乔列斯基分解RTR=PTP来直接求解该正规方程,这里R是一个上三角矩阵。通过对下式进行一个第一前向替代和一个后向替代找到了一个解:
RTRa=PTd
两个操作都是较容易求解,因为它们是在三角矩阵上执行的。还应指出,可以计算一次乔列斯基分解,并且没有必要为每个测感实例对其进行计算。
还有可能的是通过使用正交分解技术(如QR分解)来求解。正交方法的使用可以在解中产生更多数值的稳定性,但是通常是计算上低效的。其他合适的方法对本领域的熟练技术人员而言也是已知的。
已经主要参考一些实施方案描述了本发明。然而,正如本领域的熟练技术人员容易理解的是,除了以上披露的实施方案外,其他实施方案同样可以在本发明的范围和精神之内,这是仅由所附专利权利要求来限制和定义的。
在一个替代实施方案中,每个基函数都被设计成描述触摸表面上的一个对应的接触。如上所述,可以评估检测线和基函数的相互作用来确定测量模型。然而,每个描述触摸的基函数的位置在触摸表面上是适当地可变的,这样使得这种优化过程包括确定这个或这些基函数的位置(以及大小、形状和衰减参数值)以获得输出向量中的信号值。当在没有触摸的地方衰减场被认为是0(或者接近0)时,这种实施方案会是有用的。触摸描述的基函数可以例如是出于圆形、或者椭圆、或者是二维的高斯钟的形式。典型地,衰减场由一组模拟的基函数来描述,这些基函数各自描述具有一组有限参数的一次触摸。例如,一个二维高斯钟可由以下6个参数描述:x和y位置、高度、最大宽度、最小宽度和旋转。圆形或椭圆的基函数可以被建模为顶帽函数。还可通过FTIR系统上的测量根据经验来获得这些触摸描述的基函数的形状。

Claims (38)

1.一种用在触摸传感装置内的方法,所述装置包括:定义了一个触摸表面(4)和一个相对表面(5)的一个透光板(1);用于在该板(1)内提供多个光线片层的一种光源安排(2;8),其中所述片层包括通过内反射在该触摸表面(4)和该相对表面(5)之间传播的光;以及用于测量透射光能量的一种光传感器安排(3;9),其中该光源安排(2;8)与该光传感器安排(3;9)被安排成在该触摸表面(4)上定义多条检测线Dj的一个网格,而每条检测线Dj都代表从该光源安排(2;8)到该光传感器安排(3;9)穿过该触摸表面(4)的一条光路,并且其中该触摸传感装置被配置成使得触碰该触摸表面(4)的一个或多个物体(6)会在所述检测线Dj的网格中造成一种局部衰减;所述的方法包括以下步骤:
获取一个输出向量d,该输出向量包含多个信号值dm,这些信号值表示由该光传感器安排(3;9)在一组检测线Dj上所接收的光;
由至少一个二维基函数fv来代表在该触摸表面(4)上的一个二维衰减场,其中这个或每个基函数fv在其二维形状内定义了一个衰减强度;并且
基于所述检测线Dj组到这个或每个基函数fv的一种映射,通过对这个或每个基函数fv的衰减强度与位置中的至少一项进行优化来计算出一个估算衰减场,这样使得该估算衰减场产生该输出向量d;并且
对该估算衰减场进行处理以便提取与所述一个或多个物体(6)相关的触摸数据。
2.如权利要求1所述的方法,其中该衰减场是由多个基函数fv来代表的,这些基函数被安排在该触摸表面(4)上的一个重构网格之中。
3.如权利要求2所述的方法,其中每个基函数fv在该重构网格中有一个给定的位置并且是由一个衰减参数av定义的。
4.如权利要求3所述的方法,其中该衰减参数av是在该形状的中心点处的衰减强度。
5.如权利要求2至4中任意一项所述的方法,其中每个基函数是以该重构网格中的一个对应顶点为中心。
6.如权利要求2至5中任意一项所述的方法,其中该重构网格是三角形的。
7.如权利要求2至6中任意一项所述的方法,其中这些基函数fv具有相同的形状。
8.如权利要求7所述的方法,其中每个基函数fv具有一个六边形的形状。
9.如权利要求2至8中任意一项所述的方法,其中每个基函数fv定义了一个随着距该形状的中心点的距离增加而减小的衰减。
10.如权利要求9所述的方法,其中每个基函数fv在该重构网格中除了一个顶点之外的所有其他地方都具有零衰减。
11.如权利要求3至10中任意一项所述的方法,其中为每个光线片层的这些信号值dm形成一个投影信号Si,该信号表示光在该透光板(1)上的一个外耦合位点(11)内的空间分布,所述方法进一步包括:为每个光线片层识别针对每个基函数fv的一个片层内核kv,其中该片层内核kv被生成为用于代表当该基函数fv衰减了这个光线片层时所造成的投影信号Si
12.如权利要求11所述的方法,其中所述映射是针对每条检测线Dj而生成的,这是通过:识别出在该检测线Dj与所述多个基函数fv之间的所有交点;并且针对与该检测线Dj相交的每个基函数fv通过将该交点映射到该片层内核kv上而推导出一个衰减分数值rvj
13.如权利要求12所述的方法,其中所述映射可进一步通过以下方式来生成:将输出向量d中的每个输出值dm估算为∑rv,j·av,其中该总和是在与检测线Dj相交的所有基函数fv上计算出的,并且av是这个对应的基函数fv的衰减参数。
14.如权利要求11至13中任意一项所述的方法,其中该片层内核kv是通过以下方式来生成的:根据到在该光线片层中通过该基函数fv的中心的一条光线的距离,通过估算由该基函数fv造成的该光线片层的衰减而生成一个估算的片层内核。
15.如权利要求14所述的方法,其中该片层内核kv是进一步通过以下方式来生成的:获取一个补偿内核mv,该补偿内核代表了因为由该触摸表面(4)与该相对表面(5)中的至少一个所造成的光散射而导致的信号分布曲线宽度对基函数fv在该触摸表面(4)上的位置的一种相关性,并且基于该补偿内核mv来对所估算的片层内核进行修改。
16.如权利要求15所述的方法,其中该补偿内核mv的宽度是基于一个宽度函数来确定的,该宽度函数代表了一个物体(6)的实际宽度,该物体根据到该外耦合位点(11)的距离在该投影信号Si中生成了一个给定的信号特征。
17.如权利要求1至10中任意一项所述的方法,其中所述映射是针对每条检测线Dj作为多个线积分的一种聚合而生成的,其中每个线积分是沿着在该检测线Dj与一个对应的基函数fv之间的一个交点来进行评估的。
18.如权利要求17所述的方法,其中生成所述映射以便解释该检测线Dj的一个宽度和一个密度分布曲线中的至少一个。
19.如以上权利要求中任意一项所述的方法,进一步包括:为一系列相应的触摸传感装置获取一种通用映射;对所述系列中的一个单独的触摸传感装置测量多个标定参数;并且通过基于这些标定参数对通用模型函数进行适配而获取一种批次专有映射。
20.如权利要求11至16中任意一项所述的方法,进一步包括:为一系列相应的触摸传感装置获取一种通用模型函数;对所述系列中的一个单独的触摸传感装置测量多个标定参数;并且通过基于这些标定参数对在该通用模型函数中使用的这些片层内核kv进行适配而获取一种批次专有映射。
21.如权利要求2至20中任意一项所述的方法,其中所述计算该估算衰减场的步骤是基于贝叶斯反演,这是根据:
p(a|d)=κ·p(a)·p(d|a),
其中a是一个衰减向量,它包含用于每个基函数fv的一个衰减值av;κ是一个常数;p(a)是一种先验分布,它代表在该衰减场内独立于该输出向量d的衰减值av的概率分布;p(d|a)是一种似然分布,它代表在给定的衰减向量a下这些信号值dm的概率分布,并且p(a|d)代表在给定的输出向量d下这些衰减值av的概率分布;
22.如权利要求21所述的方法,其中该先验分布p(a)包括一个总变差先验。
23.如权利要求22所述的方法,其中该总变差先验是根据在该衰减场内多个相邻衰减值av之间的绝对差值之和来给出的。
24.如权利要求21至23中任意一项所述的方法,其中对该似然分布p(d|a)进行建模来代表测量噪点。
25.如权利要求24所述的方法,其中该测量噪点是以一种高斯分布来代表的。
26.如权利要求24或25所述的方法,其中该测量噪点是作为在该输出向量d与一个预定的模型函数P(a)之间的一个差值来计算的,它代表了所述映射并在给定一个衰减向量a的情况下提供了该输出向量d的一个估算值。
27.如权利要求26所述的方法,其中该概率分布p(a|d)是由以下公式给出的:
Figure FDA0000154097380000051
其中α和γ是常量,P(a)是该模型函数,并且∑|a-an|是在该衰减场内相邻衰减值之间的这些绝对差值之和。
28.如权利要求21至27中任意一项所述的方法,其中计算该估算衰减场的步骤包括寻找将该概率分布p(a|d)最大化的衰减向量a。
29.如权利要求28所述的方法,该方法工作从而对输出向量d的一个时间顺序依次估算该衰减场,其中为前一个输出向量所找到的一个衰减向量被用作为一个当前输出向量寻找该衰减向量的步骤的起点。
30.如以上任意一项权利要求所述的方法,其中所述获取步骤包括:获取多个测量值,这些测量值代表在该组检测线Dj上所接收的光能量;并且用一个对应的背景值将这些测量值归一化。
31.如权利要求30所述的方法,其中该背景值代表在物体(6)没有触碰该触摸表面(4)时所接收的光能量。
32.如权利要求30或31所述的方法,其中所述归一化代表将该背景值除以每个测量值的一次除法。
33.如权利要求30至32中任意一项所述的方法,其中所述获取步骤包括:计算这些测量值的对数。
34.如以上任意一项权利要求所述的方法,其中所述触摸数据包括针对该至少一个物体(6)的位置、区域、形状、以及压力中的至少一项。
35.一种计算机程序产品,包括计算机代码,当在一个数据处理系统上执行时,该代码被适配成用于执行如权利要求1至34中任意一项所述的方法。
36.一种用于提取包括于触摸传感装置中的触摸表面上与一个或多个物体相关的触摸数据的器件,所述触摸传感装置包括:定义了一个触摸表面(4)和一个相对表面(5)的一个透光板(1);用于在该板(1)内部提供多个光线片层的一个光源安排(2;8),其中每个片层包括通过内反射在该触摸表面(4)与该相对表面(5)之间传播的光;用于检测所传播的光的一个光传感器安排(3;9),其中该光源安排(2;8)和该光传感器安排(3;9)被安排成定义了在该触摸表面(4)上的多条检测线Dj的一个网格,每条检测线Dj代表从该光源安排(2;8)到该光传感器安排(3;9)穿过该触摸表面(4)的一条光路,并且其中该触摸传感装置被安排成使得触碰该触摸表面(4)的所述一个或多个物体(6)造成在所述检测线Dj网格中的一种局部衰减,所述器件包括:
用于获取一个输出向量d的一个元件(150),该输出向量包含多个信号值dm,这些信号值表示由该光传感器安排(3;9)在一组检测线Dj上接收的光;
用于通过至少一个二维基函数fv代表在该触摸表面(4)上的一个二维衰减场的一个元件(152),其中这个或每个二维基函数fv在其二维形状内定义了一个衰减强度;
用于计算一个估算衰减场的一个元件(154),这是基于所述检测线Dj组到这个或每个基函数fv上的一种映射、通过对该衰减强度和这个或每个基函数fv的位置中的至少一项进行优化从而使得这个估算衰减场给出该输出向量d;以及
用于处理这个估算衰减场以便提取所述触摸数据的一个元件(156)。
37.一种触摸传感装置,包括:
定义了一个触摸表面(4)以及一个相对表面(5)的一个透光板(1),
用于在该板(1)内部提供多个光线片层的一种光源安排(2;8),其中所述片层包括通过内反射在该触摸表面(4)和该相对表面(5)之间传播的光;
用于检测透射光能量的一种光传感器安排(3;9),其中该光源安排(2;8)和该光传感器安排(3;9)被安排成定义在该触摸表面(4)上的多条检测线Dj的一个网格,每条检测线Dj代表从该光源安排(2;8)到该光传感器安排(3;9)穿过该触摸表面(4)的一条光路,并且其中该触摸传感装置被配置成使得触碰该触摸表面(4)的一个或多个物体(6)造成在所述检测线Dj网格中的一种局部衰减;以及
根据权利要求36所述的用于提取触摸数据的一个器件(7)。
38.一种用在触摸传感装置中的方法,所述装置包括:定义了一个触摸表面(4)和一个相对表面(5)的一个透光板(1);用于在该板(1)内部提供多个光线片层的一个光源安排(2;8),其中所述片层包括通过内反射在该触摸表面(4)与该相对表面(5)之间传播的光;以及用于透射光能量的一个光传感器安排(3;9),其中该光源安排(2;8)和该光传感器安排(3;9)被安排成定义出在该触摸表面(4)上的多条检测线Dj的一个网格,每条检测线Dj代表从该光源安排(2;8)到该光传感器安排(3;9)穿过该触摸表面(4)的一条光路,并且其中该触摸传感装置被配置成使得触碰该触摸表面(4)的一个或多个物体(6)造成在所述检测线Dj网格中的一种局部衰减,所述的方法包括以下步骤:
获取包含多个信号值dm的一个输出向量d,这些信号值表示由该光传感器安排(3;9)在一组检测线Dj上接收的光;
由一个衰减向量a中的多个衰减值av来代表在该触摸表面(4)上的一个二维衰减场,
通过基于以下贝叶斯公式的贝叶斯反演来估算该衰减场:
p(a|d)=κ·p(a)·p(d|a),
其中κ是一个常数;p(a)是一个先验分布,它代表独立于该输出向量d的这些衰减值av的概率分布;p(d|a)是一个似然分布,它代表在给定该衰减向量a下这些信号值dm的概率分布,并且p(a|d)代表在给定输出向量d下这些衰减值av的概率分布;并且
处理所估算衰减场以便提取与所述一个或多个物体(6)相关的触摸数据。
CN2010800468365A 2009-10-19 2010-10-13 提取代表触摸表面上一个或多个物体的触摸数据 Pending CN102648445A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US27266709P 2009-10-19 2009-10-19
SE0950770 2009-10-19
SE0950770-8 2009-10-19
US61/272,667 2009-10-19
PCT/SE2010/051103 WO2011049511A1 (en) 2009-10-19 2010-10-13 Extracting touch data that represents one or more objects on a touch surface

Publications (1)

Publication Number Publication Date
CN102648445A true CN102648445A (zh) 2012-08-22

Family

ID=43900540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800468365A Pending CN102648445A (zh) 2009-10-19 2010-10-13 提取代表触摸表面上一个或多个物体的触摸数据

Country Status (10)

Country Link
US (1) US9024916B2 (zh)
EP (1) EP2491479B1 (zh)
JP (1) JP2013508804A (zh)
KR (1) KR20120083916A (zh)
CN (1) CN102648445A (zh)
AU (1) AU2010308594A1 (zh)
CA (1) CA2778153A1 (zh)
IL (1) IL219030A0 (zh)
RU (1) RU2012118595A (zh)
WO (1) WO2011049511A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902422A (zh) * 2012-08-30 2013-01-30 深圳市印天印象科技有限公司 多点触摸系统及方法
CN110100226A (zh) * 2016-11-24 2019-08-06 平蛙实验室股份公司 触摸信号的自动优化

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092092B2 (en) 2008-08-07 2015-07-28 Rapt Ip Limited Detecting multitouch events in an optical touch-sensitive device using touch event templates
US9063615B2 (en) 2008-08-07 2015-06-23 Rapt Ip Limited Detecting multitouch events in an optical touch-sensitive device using line images
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
RU2012118597A (ru) 2009-10-19 2013-11-27 ФлэтФрог Лэборэторис АБ Определение данных касания для одного или нескольких предметов на сенсорной поверхности
TW201203052A (en) 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction
WO2012002894A1 (en) 2010-07-01 2012-01-05 Flatfrog Laboratories Ab Data processing in relation to a multi-touch sensing apparatus
KR101778127B1 (ko) * 2010-12-14 2017-09-13 엘지전자 주식회사 터치 패널 및 터치 패널을 포함하는 디스플레이 장치
WO2012082055A1 (en) 2010-12-15 2012-06-21 Flatfrog Laboratories Ab Touch determination with signal enhancement
EP2466429A1 (en) 2010-12-16 2012-06-20 FlatFrog Laboratories AB Scanning ftir systems for touch detection
EP2466428A3 (en) 2010-12-16 2015-07-29 FlatFrog Laboratories AB Touch apparatus with separated compartments
US9552103B2 (en) 2011-02-02 2017-01-24 Flatfrog Laboratories Ab Optical incoupling for touch-sensitive systems
WO2012158105A2 (en) * 2011-05-16 2012-11-22 Flatfrog Laboratories Ab Device and method for determining reduced performance of a touch sensitive apparatus
US9170683B2 (en) 2011-07-22 2015-10-27 Rapt Ip Limited Optical coupler for use in an optical touch sensitive device
TW201329821A (zh) 2011-09-27 2013-07-16 Flatfrog Lab Ab 用於觸控決定的影像重建技術
TW201333787A (zh) 2011-10-11 2013-08-16 Flatfrog Lab Ab 觸控系統中改良的多點觸控偵測
WO2013081894A1 (en) 2011-11-28 2013-06-06 Corning Incorporated Optical touch-screen systems and methods using a planar transparent sheet
KR20140097380A (ko) 2011-11-28 2014-08-06 코닝 인코포레이티드 평면 투명 시트를 사용한,강력한 광학 터치 스크린 시스템 및 방법
JP2015505093A (ja) 2011-12-16 2015-02-16 フラットフロッグ ラボラトリーズ アーベーFlatFrog Laboratories AB 接触表面上の物体の追跡
US9927920B2 (en) 2011-12-16 2018-03-27 Flatfrog Laboratories Ab Tracking objects on a touch surface
EP2791763B1 (en) 2011-12-16 2018-10-31 FlatFrog Laboratories AB Tracking objects on a touch surface
EP2795437A4 (en) * 2011-12-22 2015-07-15 Flatfrog Lab Ab TOUCH DETERMINATION WITH INTERACTION COMPENSATION
US9588619B2 (en) 2012-01-31 2017-03-07 Flatfrog Laboratories Ab Performance monitoring and correction in a touch-sensitive apparatus
EP2817696A4 (en) * 2012-02-21 2015-09-30 Flatfrog Lab Ab TOUCH DETERMINATION WITH ENHANCED DETECTION OF WEAK INTERACTIONS
US8779780B1 (en) 2012-02-23 2014-07-15 Cypress Semiconductor Corporation Methods and apparatus to detect presence of an input object
EP2845081A4 (en) 2012-05-02 2015-12-16 Flatfrog Lab Ab OBJECT DETECTION IN TOUCH SYSTEMS
US9626018B2 (en) 2012-05-02 2017-04-18 Flatfrog Laboratories Ab Object detection in touch systems
EP2852879A4 (en) 2012-05-23 2016-02-17 Flatfrog Lab Ab TOUCH APPARATUS WITH ENHANCED SPATIAL RESOLUTION
US9626040B2 (en) 2012-05-23 2017-04-18 Flatfrog Laboratories Ab Touch-sensitive apparatus with improved spatial resolution
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
US9524060B2 (en) 2012-07-13 2016-12-20 Rapt Ip Limited Low power operation of an optical touch-sensitive device for detecting multitouch events
US9405382B2 (en) 2012-07-24 2016-08-02 Rapt Ip Limited Augmented optical waveguide for use in an optical touch sensitive device
US9857916B2 (en) 2012-07-24 2018-01-02 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems using diffusively transmitting element
US9086763B2 (en) 2012-09-11 2015-07-21 Flatfrog Laboratories Ab Touch force estimation in an FTIR-based projection-type touch-sensing apparatus
US9785287B2 (en) 2012-12-17 2017-10-10 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
WO2014098742A1 (en) 2012-12-17 2014-06-26 Flatfrog Laboratories Ab Edge-coupled touch-sensitive apparatus
WO2014098740A1 (en) 2012-12-17 2014-06-26 Flatfrog Laboratories Ab Optical coupling of light into touch-sensing systems
US10365768B2 (en) 2012-12-20 2019-07-30 Flatfrog Laboratories Ab TIR-based optical touch systems of projection-type
JP2014153936A (ja) * 2013-02-08 2014-08-25 Japan Display Inc タッチ位置検出装置およびタッチ位置検出方法
WO2014168567A1 (en) 2013-04-11 2014-10-16 Flatfrog Laboratories Ab Tomographic processing for touch detection
TWI507947B (zh) * 2013-07-12 2015-11-11 Wistron Corp 修正觸控訊號的裝置、系統以及其方法
US9874978B2 (en) 2013-07-12 2018-01-23 Flatfrog Laboratories Ab Partial detect mode
US9430097B2 (en) * 2013-09-30 2016-08-30 Synaptics Incorporated Non-orthogonal coding techniques for optical sensing
US10152176B2 (en) 2013-11-22 2018-12-11 Flatfrog Laboratories Ab Touch sensitive apparatus with improved spatial resolution
WO2015108480A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Improvements in tir-based optical touch systems of projection-type
WO2015108479A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Light coupling in tir-based optical touch systems
US9582117B2 (en) * 2014-04-28 2017-02-28 Qualcomm Incorporated Pressure, rotation and stylus functionality for interactive display screens
US9864470B2 (en) 2014-05-30 2018-01-09 Flatfrog Laboratories Ab Enhanced interaction touch system
EP3161594A4 (en) 2014-06-27 2018-01-17 FlatFrog Laboratories AB Detection of surface contamination
TWI525511B (zh) * 2014-08-06 2016-03-11 Infilm Optoelectronic Inc Light guide plate optical touch device
US9921685B2 (en) * 2014-12-15 2018-03-20 Rapt Ip Limited Tactile effect waveguide surface for optical touch detection
US10996795B2 (en) * 2014-12-15 2021-05-04 Beechrock Limited Anti-glare and anti-reflective tactile effect surface for optical touch detection
US11182023B2 (en) 2015-01-28 2021-11-23 Flatfrog Laboratories Ab Dynamic touch quarantine frames
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
US10496227B2 (en) 2015-02-09 2019-12-03 Flatfrog Laboratories Ab Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
CN107250855A (zh) 2015-03-02 2017-10-13 平蛙实验室股份公司 用于光耦合的光学部件
US9684407B2 (en) 2015-04-22 2017-06-20 Samsung Electronics Co., Ltd. Method and apparatus for determining shape and orientation of a touch object on handheld devices
US10001882B2 (en) * 2015-12-02 2018-06-19 Rapt Ip Limited Vibrated waveguide surface for optical touch detection
KR102400705B1 (ko) 2015-12-09 2022-05-23 플라트프로그 라보라토리즈 에이비 개선된 스타일러스 식별
WO2017156316A1 (en) * 2016-03-09 2017-09-14 Reflexion Medical, Inc. Fluence map generation methods for radiotherapy
KR102495467B1 (ko) 2016-12-07 2023-02-06 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
CN116679845A (zh) 2017-02-06 2023-09-01 平蛙实验室股份公司 触摸感测装置
US10481737B2 (en) 2017-03-22 2019-11-19 Flatfrog Laboratories Ab Pen differentiation for touch display
EP4036697A1 (en) 2017-03-28 2022-08-03 FlatFrog Laboratories AB Optical touch sensing apparatus
JP6693478B2 (ja) * 2017-06-13 2020-05-13 株式会社デンソー 入力装置
US11256371B2 (en) 2017-09-01 2022-02-22 Flatfrog Laboratories Ab Optical component
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
CN110442273A (zh) * 2019-07-19 2019-11-12 深圳市华星光电半导体显示技术有限公司 红外触控显示装置
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置
US11709568B2 (en) 2020-02-25 2023-07-25 Promethean Limited Convex interactive touch displays and related systems and methods
KR20240048468A (ko) 2022-10-05 2024-04-15 한국과학기술원 진동형 마찰전기 발전기 및 이를 포함하는 자가 청소 태양광 패널

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007072A2 (en) * 2000-07-19 2002-01-24 Next Holdings Limited Touch panel display system
CN101137956A (zh) * 2005-03-10 2008-03-05 皇家飞利浦电子股份有限公司 用于检测与触摸屏显示器交互的多个对象的位置、大小和形状的系统和方法
WO2009102681A2 (en) * 2008-02-11 2009-08-20 Next Holdings, Inc. Systems and methods for resolving multitouch scenarios for optical touchscreens
CN101551730A (zh) * 2008-03-31 2009-10-07 义隆电子股份有限公司 具有均衡修正的电容式触控板及其侦测定位方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3673327A (en) 1970-11-02 1972-06-27 Atomic Energy Commission Touch actuable data input panel assembly
US4254333A (en) 1978-05-31 1981-03-03 Bergstroem Arne Optoelectronic circuit element
US5525764A (en) * 1994-06-09 1996-06-11 Junkins; John L. Laser scanning graphic input system
US6972753B1 (en) 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
JP2001147772A (ja) * 1999-11-19 2001-05-29 Fujitsu Takamisawa Component Ltd タッチパネル
US7432893B2 (en) 2003-06-14 2008-10-07 Massachusetts Institute Of Technology Input device based on frustrated total internal reflection
CN1867881B (zh) 2003-09-12 2010-08-18 平蛙实验室股份公司 确定辐射散射/反射件的位置的系统和方法
US8599140B2 (en) 2004-11-17 2013-12-03 International Business Machines Corporation Providing a frustrated total internal reflection touch interface
US8847924B2 (en) 2005-10-03 2014-09-30 Hewlett-Packard Development Company, L.P. Reflecting light
WO2007112742A1 (en) * 2006-03-30 2007-10-11 Flatfrog Laboratories Ab A system and a method of determining a position of a scattering/reflecting element on the surface of a radiation transmissive element
EP2067093B1 (en) * 2006-09-13 2010-11-24 Koninklijke Philips Electronics N.V. Determining the orientation of an object
US8094129B2 (en) 2006-11-27 2012-01-10 Microsoft Corporation Touch sensing using shadow and reflective modes
EP2160673A1 (en) 2007-06-25 2010-03-10 Nokia Corporation Improvements in or relating to user interfaces and associated apparatus and methods
US8094137B2 (en) * 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US8716614B2 (en) 2007-10-10 2014-05-06 Flatfrog Laboratories Ab Touch pad and a method of operating the touch pad
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
TW201013492A (en) 2008-06-23 2010-04-01 Flatfrog Lab Ab Determining the location of one or more objects on a touch surface
TW201005606A (en) 2008-06-23 2010-02-01 Flatfrog Lab Ab Detecting the locations of a plurality of objects on a touch surface
TW201007530A (en) 2008-06-23 2010-02-16 Flatfrog Lab Ab Detecting the location of an object on a touch surface
US8542217B2 (en) 2008-06-23 2013-09-24 Flatfrog Laboratories Ab Optical touch detection using input and output beam scanners
TW201001258A (en) 2008-06-23 2010-01-01 Flatfrog Lab Ab Determining the location of one or more objects on a touch surface
SE533704C2 (sv) * 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
WO2010134865A1 (en) 2009-05-18 2010-11-25 Flatfrog Laboratories Ab Determining the location of an object on a touch surface
EP2473905A4 (en) 2009-09-02 2014-07-09 Flatfrog Lab Ab TOUCH SURFACE WITH COMPENSATED SIGNAL PROFILE
RU2012118597A (ru) 2009-10-19 2013-11-27 ФлэтФрог Лэборэторис АБ Определение данных касания для одного или нескольких предметов на сенсорной поверхности
EP2491480A4 (en) 2009-10-19 2014-07-30 Flatfrog Lab Ab TOUCH SURFACE WITH TWO-DIMENSIONAL COMPENSATION
WO2011078769A1 (en) 2009-12-21 2011-06-30 Flatfrog Laboratories Ab Touch surface with identification of reduced performance
TW201203052A (en) 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007072A2 (en) * 2000-07-19 2002-01-24 Next Holdings Limited Touch panel display system
CN101137956A (zh) * 2005-03-10 2008-03-05 皇家飞利浦电子股份有限公司 用于检测与触摸屏显示器交互的多个对象的位置、大小和形状的系统和方法
WO2009102681A2 (en) * 2008-02-11 2009-08-20 Next Holdings, Inc. Systems and methods for resolving multitouch scenarios for optical touchscreens
CN101551730A (zh) * 2008-03-31 2009-10-07 义隆电子股份有限公司 具有均衡修正的电容式触控板及其侦测定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902422A (zh) * 2012-08-30 2013-01-30 深圳市印天印象科技有限公司 多点触摸系统及方法
CN110100226A (zh) * 2016-11-24 2019-08-06 平蛙实验室股份公司 触摸信号的自动优化

Also Published As

Publication number Publication date
RU2012118595A (ru) 2013-11-27
EP2491479B1 (en) 2018-10-03
AU2010308594A1 (en) 2012-04-26
CA2778153A1 (en) 2011-04-28
US9024916B2 (en) 2015-05-05
EP2491479A4 (en) 2014-09-03
JP2013508804A (ja) 2013-03-07
US20120268403A1 (en) 2012-10-25
IL219030A0 (en) 2012-06-28
KR20120083916A (ko) 2012-07-26
EP2491479A1 (en) 2012-08-29
WO2011049511A1 (en) 2011-04-28

Similar Documents

Publication Publication Date Title
CN102648445A (zh) 提取代表触摸表面上一个或多个物体的触摸数据
US11748657B2 (en) Source identification by non-negative matrix factorization combined with semi-supervised clustering
Bakka et al. Spatial modeling with R‐INLA: A review
Herenz et al. LSDCat: Detection and cataloguing of emission-line sources in integral-field spectroscopy datacubes
Diggle et al. Model-based geostatistics
CN102656547A (zh) 确定一个或多个物体在触摸表面上的触摸数据
CN105247455B (zh) 光学触摸断层扫描
Maufroy et al. Frequency‐scaled curvature as a proxy for topographic site‐effect amplification and ground‐motion variability
Ye et al. Maximum likelihood Bayesian averaging of spatial variability models in unsaturated fractured tuff
Diggle Statistical analysis of spatial and spatio-temporal point patterns
White et al. PyKonal: a Python package for solving the eikonal equation in spherical and Cartesian coordinates using the fast marching method
Heydenreich et al. Persistent homology in cosmic shear: constraining parameters with topological data analysis
Oksanen et al. Uncovering the statistical and spatial characteristics of fine toposcale DEM error
US20160070413A1 (en) Method and System for Resolving Multiple Proximate Touches
US20110216038A1 (en) Systems and methods for detecting multiple touch points in surface-capacitance type touch panels
CN103842946A (zh) 用于触摸确定的图像重建
CN101137956A (zh) 用于检测与触摸屏显示器交互的多个对象的位置、大小和形状的系统和方法
Xia et al. Bayesian hierarchical model for combining misaligned two-resolution metrology data
CN105683886A (zh) 用于在触摸应用中以抗高噪声性计算坐标的方法和装置
Liu et al. An acoustic multi-touch sensing method using amplitude disturbed ultrasonic wave diffraction patterns
Petty et al. The FUV to near-IR morphologies of luminous infrared galaxies in the goals sample
Stölzner et al. Self-calibration and robust propagation of photometric redshift distribution uncertainties in weak gravitational lensing
Byrohl et al. Variations in shape among observed Lyman-α spectra due to intergalactic absorption
US10394390B2 (en) Touch screen, touch display device and touch detection method
Kendall et al. Levels of naturally occurring gamma radiation measured in British homes and their prediction in particular residences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120822