CN104662496A - 在基于ftir的投影型触摸感测装置中的触摸力估计 - Google Patents

在基于ftir的投影型触摸感测装置中的触摸力估计 Download PDF

Info

Publication number
CN104662496A
CN104662496A CN201380046731.3A CN201380046731A CN104662496A CN 104662496 A CN104662496 A CN 104662496A CN 201380046731 A CN201380046731 A CN 201380046731A CN 104662496 A CN104662496 A CN 104662496A
Authority
CN
China
Prior art keywords
touch
touching object
amplitude
time series
peak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380046731.3A
Other languages
English (en)
Other versions
CN104662496B (zh
Inventor
安德里亚斯·约翰森
尼克拉斯·奥尔松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FlatFrog Laboratories AB
Original Assignee
FlatFrog Laboratories AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FlatFrog Laboratories AB filed Critical FlatFrog Laboratories AB
Priority to CN201710456418.7A priority Critical patent/CN107402670A/zh
Publication of CN104662496A publication Critical patent/CN104662496A/zh
Application granted granted Critical
Publication of CN104662496B publication Critical patent/CN104662496B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种实现用于在基于FTIR的投影型触摸感测装置中估计触摸物体到触摸表面上的施加力的方法的设备。装置产生投影信号，投影信号表示通过在透射面板内部的全内反射(TIR)在透射面板的触摸表面之下在多个传播路径上已经传播的辐射，使得在触摸表面上的触摸物体引起投影信号中的至少一个投影信号的衰减(抑制)。设备基于表示通过投影信号的图像重建处理而产生的二维交互模式中的峰的幅度的幅值的时间序列来产生(40)表示施加力的力值的时间序列，峰对应于在触摸表面上的触摸物体。力估计可包括关于增低速状态中的触摸物体的持续时间、触摸物体的速度和峰的尺寸以及力值的低通滤波器(42)的一个或多个校正(41)。

Description

在基于FTIR的投影型触摸感测装置中的触摸力估计
相关申请的交叉引用
本申请要求2012年9月11日提交的第1251014-5号瑞典专利申请和2012年9月11日提交的第61/699503号的美国临时申请的权益，这两个专利申请都通过引用被并入本文。
技术领域
本发明通常涉及在光学触摸感测系统的触摸表面上的触摸的施加力的估计，且特别是涉及基于FTIR的投影型的触摸系统。
背景技术
在各种应用中普遍使用触摸感测系统(“触摸系统”)。一般，通过触摸物体(例如手指或手写笔)与触摸表面直接接触或通过接近(即，没有接触)触摸表面来启动触摸系统。触摸系统例如用作笔记本电脑的触控板、用于控制面板中并用作例如手持设备(移动电话)上的显示器的覆盖层。覆盖在显示器上或集成在显示器中的触控面板也表示“触摸屏”。很多其它应用在本领域中是已知的。
存在用于例如通过将电阻丝栅、电容传感器、应变计等合并到触控面板中来提供触摸灵敏度的很多已知的技术。也存在各种类型的光学触摸系统，其例如检测由触摸物体投射到触摸表面上的阴影或检测从在触控面板上的触摸物体的点散射的光。
一种特定类型的光学触摸系统使用在光透射面板内部的多个传播路径上传播的光的投影测量。投影测量因此在光穿过面板时量化在单独的传播路径上的光的特性(例如功率)。为了触摸检测，可通过简单的三角测量或通过更高级的图像重建技术来处理投影测量，图像重建技术在触摸表面上产生干扰的二维分布，即，在触摸表面上的影响所测量的特性的每个东西的“图像”。光通过在面板内部的全内反射(TIR)来传播，使得触摸物体使在一个或多个传播路径上的传播光由于所谓的受抑全内反射(FTIR)而衰减。因此，这种类型的系统是基于FTIR的投影型触摸系统。在US3673327、US4254333、US6972753、US2004/0252091、US2006/0114237、US2007/0075648、WO2009/048365、US2009/0153519、WO2010/006882、WO2010/064983和WO2010/134865中找到这样的触摸系统的例子。
通常在触摸系统中，存在不仅确定触摸物体的位置而且估计通过触摸物体施加到触摸表面的力的量的期望。这个所估计的量常常被称为“压力”，虽然它一般是力。力/压力信息的可用性开辟了创建与触摸屏的更高级的用户交互的可能性，例如通过实现针对软件应用的基于触摸的控制的新手势或通过实现在具有触摸屏的游戏设备上玩新类型的游戏。
电容触摸系统可设计以估计触摸的施加力/压力，例如，如在EP2088501和US4736191中公开的。
现有技术还包括通过位于透射面板后面的摄像机使用直接成像来检测从接触该面板的物体散射的光的光学触摸系统。摄像机因此捕获在触摸表面上的光散射物体的直接图像。WO2011/082477和US2009/0143141公开了这样的光学触摸系统并且建议测量在图像中的每个触摸的尺寸并将当前尺寸与同一触摸的以前检测的尺寸进行比较，用于建立触摸的压力的等级。因此，当尺寸增加时，力被认为增加，反之亦然。
根据触摸尺寸来估计施加力也被建议用于基于FTIR的投影型触摸系统中。WO2011/049511、WO2011/049513和WO2012/002894都提到如果检测到的触摸的区域根据所施加的压力而改变，则可针对每次触摸通过检测随着时间的推移在触摸区域中的变化而监控在物体和触摸表面之间的施加力。
然而，针对力估计使用在触摸区域中的改变限于某种类型的触摸物体，因为物体需要足够软和柔韧以展示尺寸随着施加力的变化。很多物体(例如指尖)在增加的施加力的情况下只展示相对小的变形，且尺寸中的改变可能难以以足够的准确度检测。此外，峰的尺寸的变化可具有除了施加力的变化以外的其它原因，例如触摸物体的位置的改变。
概述
本发明的目的是至少部分地克服现有技术的以上识别的限制中的一个或多个以上识别的限制。
另一目的是提供用于估计在基于FTIR的投影型触摸感测装置中的施加力的替代技术。
又一目的是提供针对给定触摸实现对随着时间的推移在施加力中的相对改变的监控的替代技术。
再一目的是提供用于估计施加力的、对触摸的尺寸有减小的依赖性的这样的替代技术。
根据独立权利要求、通过从属权利要求限定的其实施例，借助于用于数据处理的方法、用于数据处理的计算机可读介质、设备和基于FTIR的投影型触摸感测装置来至少部分实现这些目的中的一个或多个目的，以及根据下文描述可出现的另外的目的。
本发明的第一方面是关于基于FTIR的投影型触摸感测装置的数据处理的方法，其中触摸感测装置可操作来产生投影信号，其表示通过在透射面板内部的全内反射在透射面板的触摸表面之下在多个传播路径上传播的辐射，使得在触摸表面上的触摸物体引起至少一个投影信号的衰减。该方法包括得到表示在通过投影信号的图像重建处理而产生的二维交互模式中的峰的幅度的幅值的时间序列的步骤，峰对应于在触摸表面上的触摸物体；以及根据幅值的时间序列产生表示触摸物体到触摸表面上的施加力的力值的时间序列的步骤。
第一方面基于下面的惊人的洞察力：至少当在交互模式的整个时间序列中跟踪对应于给定的触摸物体的峰时，在二维交互模式中的峰的幅度与施加力成比例。目前认为在交互模式中的峰的这个意外的特性至少部分地由在微观尺度上在触摸物体和触摸表面之间的随着施加力的增加而增加的接触引起。这个增加的接触可导致在透射面板和触摸物体之间的更好的光耦合，引起在触摸物体的位置处的传播辐射的增强的衰减(抑制)。辐射可以是在任何波长的偏振的或非偏振的、相干或非相干的光。
第一方面因此提供用于跟踪关于在基于FTIR的投影型触摸感测装置上的给定触摸物体的施加力中的相对改变的简单技术。用于估计施加力的创造性技术并不依赖于触摸尺寸的检测，且因此相对于对柔性物体和触摸尺寸的准确测量的需要克服了现有技术的限制。
应注意，该方法不是必须涉及用于产生交互模式、用于检测在交互模式中的一个或多个峰和用于计算所检测的峰中的一个或多个所检测的峰的幅值的时间序列的步骤。相反，该方法可在从数据处理器(例如在触摸感测装置内部的控制器)取回的幅值的时间序列上操作，数据处理器重复地对来自在触摸感测装置中的信号检测器的投影信号进行采样并处理所采样的投影信号用于产生关于给定触摸物体的幅值的时间序列。
在可选的实施方式中，该方法被实现，使得得到幅值的时间序列的步骤包括重复下列步骤：得到投影信号的当前值，通过图像重建处理当前值以产生关于触摸表面的当前交互模式，识别在当前交互模式中与触摸物体相关的峰，以及计算峰的幅值。因而，得到的步骤针对给定触摸物体产生幅值的时间序列。
每个幅值表示在交互模式中的峰的幅度。如在本领域中已知的，交互模式包括表示与在给定时间点在整个触摸表面上的传播辐射的局部交互的“交互值”的二维分布。根据实现，可产生每个交互值以在广泛意义上表示在触摸表面上的特定位置处的辐射的衰减或透射的程度。因此，可产生每个幅值以表示在触摸表面上的给定触摸物体的位置处的辐射的衰减或透射的程度。根据实现，触摸物体可以因此由交互模式中的正峰(增加的衰减)或负峰(减小的透射)表示。
可以用很多不同的方式计算峰的幅值。在一个例子中，幅值由峰的极值(最大/最小交互值)给出。在另一例子中，幅值被计算为在极值附近的交互值的平均值。在又一例子中，幅值由被拟合到峰内的交互值的三维函数(峰模板)的极值给出。在另一例子中，幅值由在峰内的给定位置(例如重心、几何中心等处)的插入的交互值给出。在另一例子中，幅值由在峰的范围内的衰减值的总和给出。
本申请人还识别可对幅值做出的潜在的校正以提高在峰的幅值中的时间改变和实际或预期施加力中的时间改变之间的相应性。
一个这样的潜在的校正基于下列观察：静止物体(即，随着时间的推移保持在触摸表面上的本质上相同的位置上的触摸物体)导致随着时间的推移的衰减的渐近增加，即使施加力不改变。对随着时间的推移只在触摸表面上缓慢移动的触摸物体做出类似的观察。产生力值的时间序列的步骤可包括校正度量以抵消这个现象。
另一潜在的校正基于下列观察：衰减随着触摸物体的速度的增加而减小，即使施加力不改变。产生力值的时间序列的步骤可包括校正度量以抵消这个现象。
应注意，这些潜在的校正中的两者都直接或间接地与触摸物体的当前速度(速率)相关。因此，可根据在触摸物体的幅值当中的当前幅值以及当前速度来产生在力值的时间序列中的当前力值。
可例如从如上所述的数据处理器连同幅值的时间序列取回触摸物体的当前速度时间序列。可选地，该方法还可包括下列步骤：得到表示在触摸表面上的触摸物体的位置的位置值的时间序列；以及基于位置值的时间序列来估计触摸物体的当前速度。可基于任何数量的以前的位置值使用任何想得到的算法来估计当前速度。此外，可实现任何常规测量以确保所估计的速度正确地表示在整个触摸表面上的触摸物体的真实位移，例如以防止在触摸物体的位置中的小的不稳定性影响所估计的速度。此外，当前速度可被计算为在给定时间段期间的位移(在位置值之间的距离)。
在一个实施方式中，该方法还包括下列步骤：基于当前速度检测到触摸物体在低速状态中，并将基于持续时间的修改函数应用于当前幅值，以便对于在低速状态中的触摸物体抵消衰减随着时间的推移的逐渐增加。这个实施方式实现对关于静止物体和缓慢移动的物体观察的衰减的时间增加的校正或补偿。可通过将触摸物体的当前速度与预定的速度阈值进行比较来识别低速状态，可通过测试触摸感测装置的特定配置或对触摸感测装置的特定配置进行建模来确定预定的速度阈值。目前认为速度阈值的适当值在1-50mm/s(例如5、10、15或20mm/s)的范围内。
在一个实施方式中，该方法还包括下列步骤：使触摸物体与随着触摸物体在低速状态中的持续时间而递增的年龄计数器相关，其中基于持续时间的修改函数在年龄计数器和当前幅值上操作。基于持续时间的修改函数可以是在所需程度上抵消在低速状态中的触摸物体的衰减中的时间增加的任何适当的函数。在一个例子中，基于持续时间的修改函数包括以年龄计数器作为变量的指数衰减函数。
在一个实施方式中，该方法还包括下列步骤：当触摸物体在低速状态中时将增量应用于随着当前速度而减小的年龄计数器。因此，年龄计数器随着速度的增加而较慢地递增，结果是对于增加的速度产生较小校正。这被发现当触摸物体的速度在低速状态内变化时产生在力值的时间序列中的较小可变性。
每当当前速度超过低速限制时，年龄计数器就可被设置到零，使得每当触摸物体到达在低速限制之上的速度时，通过基于持续时间的修改函数进行的校正被停止。然而，这在触摸物体被加速而经过低速限制时可导致力值的时间序列中的阶跃变化。当触摸物体离开低速状态时，可通过替代地将减量应用于年龄计数器来克服这个不需要的效应。当触摸物体被加速而经过低速限制并继续以高于低速限制的速度移动时，年龄计数器和相应的校正因而随着时间的推移逐渐减小。此外，减量可随着速度的增加而增加，或等效地随着到参考位置(例如当触摸物体被加速而经过低速限制时触摸物体的位置)的距离的增加而增加。
在一个实施方式中，该方法还包括下列步骤：将基于速度的修改函数应用于当前幅值，以便抵消随着触摸物体的速度的增加而减小的衰减。基于速度的修改函数可以是在所需的程度上抵消随着触摸物体的速度的增加的衰减中的所观察到的减小的任何适当的函数。
在一个实施方式中，该方法还包括下列步骤：在力值的时间序列和幅值的时间序列中的至少一个上操作低通滤波器。低通滤波器的使用可减小在力值的时间序列中的任何不希望的可变性。这样的可变性可由测量噪声、图像重建噪声和其它处理噪声、在校正中的一个或多个校正(如果被应用的话)中的不准确性等引起。此外，发现可变性对于移动的触摸比对于静止物体更明显。这可能部分地是移动物体的内在特性，因为它们有由于摩擦而引起的对着触摸表面反弹或振动的趋势。在施加力中的这些变化从用户的视角看是无意的，且抑制这样的变化可能是适当的。此外，当移动物体经过触摸表面上的污染物(例如指纹)时，在交互模式内且因此在幅值中的变化可出现。
使用低通滤波器的一个缺点是，它可引入不想要的时延。在一个实施方式中，该方法还包括下列步骤：随着触摸物体的当前速度的增加而减小低通滤波器的截止频率。因此，以高速移动的物体受到比静止物体更强的平滑化。这实现在力值的时间序列中的可变性的足够抑制和相对于静止物体和从静止不动加速的物体的低时延两者。
在一个实施方式中，该方法还包括下列步骤：当触摸物体被认为接近在触摸表面上静止不动时，选择性地延迟低通滤波器的截止频率的增加。这可例如操作来抑制在当用户使触摸物体的移动停止时可能出现的施加力中的无意变化的影响。
本申请人观察到，至少在一些实现中，峰幅度可随着峰尺寸而增加，即使外加压力保持不变。在一个实施方式中，该方法还包括下列步骤：得到表示在二维交互模式中的峰的尺寸度量的尺寸值的时间序列；以及将基于尺寸的修改函数应用于当前幅值，以便抵消随着峰的尺寸的增加而增加的衰减。这将使力值能够独立于峰中的任何尺寸变化而产生，例如由用户使靠着触摸表面的手指倾斜同时在整个触摸表面上移动手指或由用户使手指从垂直于触摸表面的指示位置倾斜到平靠在触摸表面上的位置而引起的尺寸变化。
应理解，可以以任何组合和以任何顺序应用以上描述的校正。
本发明的第二方面是包括计算机指令的计算机可读介质，计算机指令在由数据处理系统执行时配置成执行第一方面的方法。
本发明的第三方面是用于关于基于FTIR的投影型触摸感测装置的数据处理的设备，该基于FTIR的投影型触摸感测装置可操作来产生辐射的投影信号，辐射通过在透射面板内部的全内反射在透射面板的触摸表面之下在多个传播路径上传播，使得在触摸表面上的触摸物体引起投影信号中的至少一个投影信号的衰减。设备包括信号处理器，其配置成：得到表示在通过投影信号的图像重建处理而产生的二维交互模式的时间序列中的峰的幅度的幅值的时间序列，峰对应于在触摸表面上的触摸物体；以及根据幅值的时间序列产生表示触摸物体到触摸表面上的施加力的力值的时间序列。
本发明的第四方面是用于关于上面提到的基于FTIR的投影型触摸感测装置的数据处理的设备。设备包括：用于得到表示在通过投影信号的图像重建处理而产生的二维交互模式的时间序列中的峰的幅度的幅值的时间序列的器件，峰对应于在触摸表面上的触摸物体；以及用于根据幅值的时间序列产生表示触摸物体到触摸表面上的施加力的力值的时间序列的器件。
本发明的第五方面是基于FTIR的投影型触摸感测装置，其包括：透射面板，其配置成通过在透射面板内部的全内反射进行从多个耦入点到多个耦出点的辐射，从而限定在成对的耦入点和耦出点之间的透射面板上的触摸表面之下的多个传播路径，使得在触摸表面上的触摸物体通过抑制全内反射使在传播路径中的至少一个传播路径上的辐射衰减；耦合到耦入点以产生辐射的至少一个信号发生器；耦合到耦出点以检测在多个传播路径上的辐射并产生相应的投影信号的至少一个信号检测器；以及根据第三或第四方面的设备。
第一方面的上面识别的实施方式中的任何上面识别的实施方式可被适应并实现为第二到第五方面中的实施方式。
根据以下详细描述、根据所附权利要求以及根据附图将得到本发明的另外的其它目的、特征、方面和优点。
附图的简要说明
现在将参考附随的示意图来更详细描述本发明的实施方式。
图1A-1B是投影型的基于FTIR的触摸系统的剖面图和俯视图。
图2是在图1的系统中的数据提取过程的流程图。
图3A-3C分别是总衰减模式、背景模式和抵消模式的3D图。
图4是在由图2中的过程提供的数据上操作的力估计过程的流程图。
图5A-5B示出了分别在补偿之前和补偿之后的静止触摸和缓慢移动触摸的力值的时间序列。
图6示出了用于在图4的力估计过程中使用的计数器的增量改变的基于速度的控制函数。
图7A示出了在触摸的加速期间的相关衰减值和速度值，并且图7B是在图7A中的衰减值和速度值的散布图。
图8示出了用于在图4的力估计过程中使用的低通滤波器的平滑因子的基于速度的控制函数。
图9A-9C分别示出相关速度值、衰减值和力值的时间序列。
图10是用于实现在图3-4中的过程的结构的方框图。
示例实施方式的详细描述
在描述本发明的实施方式之前，将给出几个定义。
“触摸物体(touch object)”或“接触物体(touching object)”是接触触摸表面或被带到足够接近触摸表面以便由触摸系统中的一个或多个传感器检测的物理物体。物理物体可以是有生命的或无生命的。
当触摸物体影响由传感器测量的参数时，“交互(interaction)”出现。
“交互强度(interaction strength)”是交互的程度的相对度量或绝对度量。“交互强度”可被表示为“衰减”。
“交互图”或“交互模式”是在整个触摸表面或其一部分上的交互强度的二维(2D)分布。如果交互被表示为衰减，则交互图/模式也表示“衰减图(attenuation map)”或“衰减模式(attenuation pattern)”。
“触摸”表示如在交互模式中看到的交互的点。
“帧”或“迭代”表示以数据收集开始和以触摸数据的确定结束的重复事件。
如在本文使用的，“轨迹”是关于交互的时间历史的信息。来自在一序列帧中(即，在不同的时间点)检测的交互的触摸被收集到轨迹中。
在整个下面的描述中，相同的参附图标记用于识别相应的元件。
1.触敏装置
图1A-1B示出基于FTIR(受抑全内反射)的概念的触敏装置100(也表示“FTIR系统”)的示例实施方式。通过将在面板1内部的光从光发射器2透射到光传感器或探测器3来操作装置，以便从面板1内照亮触摸表面4。面板1由在一层或多层中的固体材料制成，并可具有任何形状。面板1限定内部辐射传播通道，其中光通过内反射传播。在图1的例子中，传播通道被限定在面板1的边界表面5、6之间，其中顶表面5允许传播光与触摸物体7交互作用，并从而限定触摸表面4。这通过将光注入到面板1中来实现，使得在光穿过面板1传播时在触摸表面4中通过全内反射(TIR)反射光。可在底表面6中或对着其上的反射涂层由TIR反射光。还设想传播通道与底表面6间隔开，例如，如果面板包括不同材料的多层。装置100可设计成覆盖在显示设备或监视器上或集成到显示设备或监视器中。
装置100允许被带到触摸表面4的极接近区域内或与触摸表面4接触的物体7与在触摸点处的传播光交互作用。在这个交互作用中，光的部分可由物体7散射，光的部分可由物体7吸收，且光的部分可继续在穿越面板1的其原始方向上传播。因此，触摸物体7引起全内反射的局部抑制，其导致所透射的光的能量(功率/-强度)的减小，如通过图1A中的触摸物体7的下游的细线指示的。
发射器2沿着触摸表面4的周长分布以产生在面板1内部的相应数量的光薄板。在图1B的例子中，每个发射器2产生在面板1的平面中扩展同时在面板1中传播的光束。每个光束从一个或多个入口或面板1上的耦入点传播。传感器3沿着触摸表面4的周长分布以在面板1上的多个间隔开的耦出点处接收来自发射器2的光。应理解，耦入点和耦出点仅仅指光束分别进入面板1和离开面板1的位置。因此，一个发射器/传感器可光学地耦合到多个耦入点/耦出点。然而在图1B的例子中，检测线D由单独的发射器-传感器对限定。
传感器3共同提供输出信号，其由信号处理器10接收和采样。输出信号包含也表示“投影信号”的多个子信号，每个子信号表示由某个光发射器2发射和由某个光传感器3接收的光的能量。根据实现，信号处理器10可能需要处理输出信号用于分离单独的投影信号。在概念上，触摸装置100被认为为限定触摸表面4上的检测线D的栅格，其中每个检测线D对应于从发射器2到传感器3的光传播路径(如投影在触摸表面4上)。因此，投影信号表示在单独的检测线D上所接收的光的能量或功率。应认识到，触摸物体7导致在一个或多个检测线D上的所接收的能量的减小(衰减)。
如将下面说明的，信号处理器10可配置成处理投影信号，以便确定在整个触摸表面1上的衰减值(为了简单起见，被称为“衰减模式”)的分布，其中每个衰减值表示光的局部衰减。衰减模式可以被用很多不同的方式来表示为例如布置在规则x-y-栅格(例如在普通数字图像中)中的衰减值，虽然可想得到其它类型的栅格，例如六边形模式或三角形网格。
在所示例子中，装置100还包括被连接成选择性地控制发射器2的激活和可能来自传感器3的数据的读出的控制器12。信号处理器10和控制器12可被配置为单独的单元，或它们可合并在单个单元中。信号处理器10和控制器12中的一个或两个可至少部分地由处理单元14所执行的软件实现。
应理解，图1仅仅示出FTIR系统的一个例子。例如，可替代地通过扫过或扫描在面板1内部的一束光或多束光来产生检测线，且光可替代地经由顶表面和底表面5、6(例如通过使用附接到面板1的专用耦合元件)来耦合进面板1和耦合出面板1。在背景部分中列出了公开可选的FTIR系统的现有技术文件，其中所有文件通过这个引用被合并在本文中。这个创造性概念可也应用于这样的可选FTIR系统。
图2是在FTIR系统中的数据提取过程的流程图。该过程包括例如由信号处理器10(图1)重复地执行的一序列步骤20-23。在这个描述的上下文中，步骤20-23中的每个序列被表示为帧或迭代。
每个帧从数据收集步骤20开始，其中通常通过对来自前述投影信号中的每个前述投影信号的值进行采样来从在FTIR系统中的光传感器3得到测量值。数据收集步骤20导致关于每个检测线的一个投影值。可注意到，可以但不需要为FTIR系统中的所有可用的检测线收集数据。数据收集步骤30也可包括测量值的预先处理，例如用于噪声减小的滤波。
在重建步骤21中，处理投影值用于产生衰减模式。为了在第2章中进一步描述，步骤21可包括将投影值转换成以预定格式的输入值，在输入值上操作专用重建函数用于产生衰减模式，并可能处理衰减模式以抑制在触摸表面上的污染(指纹等)的影响。
在峰检测步骤22中，然后处理衰减模式用于例如使用任何已知的技术来检测峰。在一个实施方式中，全局或局部阈值首先应用于抵消模式以抑制噪声。可进一步处理具有落在阈值之上的衰减值的任何区域以找到局部最大值。可进一步处理所识别的最大值用于例如通过将二维二阶多项式或高斯钟形拟合到衰减值或通过找到衰减值的惯性的椭圆来确定触摸形状和中心位置。也存在如在本领域中公知的很多其它技术，例如聚类算法、边缘检测算法、标准blob检测、水去除技术、泛洪填充技术等。步骤22导致峰数据的收集，峰数据可包括每个所检测的峰的位置、衰减、尺寸和形状的值。衰减可由最大衰减值或在峰形状内的衰减值的加权总和给出。
在匹配步骤23中，所检测的峰与现有轨迹(即，被认为存在于紧接着在前面的帧中的轨迹)匹配。轨迹表示作为时间的函数的在触摸表面上的单独的触摸物体的轨线。每个轨迹可与多个轨迹参数(例如全局年龄、衰减、位置、尺寸、位置历史、速度等)相关。轨迹的“全局年龄”指示轨迹已存在了多长时间，并可作为多个帧、在轨迹中的最早触摸的帧数、时间周期等被给出。轨迹的衰减、位置和尺寸分别由轨迹中的最近触摸的衰减、位置和尺寸给出。“位置历史”表示在整个触摸表面上的轨迹的空间扩展的至少一部分，例如作为在轨迹中的最后几个触摸的位置或在轨迹中的所有触摸的位置、近似轨迹的形状的曲线或卡尔曼滤波器被给出。“速度”可作为速度值或距离(其隐含地与给定的时间周期有关)被给出。考虑到最近位置的任何选择，可使用用于估计轨迹的切线速度的任何已知的技术。在又一可选方案中，“速度”可由在给定区域内的轨迹花费的时间的倒数给出，给定区域被关于在衰减模式中的轨迹定义。该区域可具有预定的范围或在衰减模式中被测量，例如由在衰减模式中的峰的范围给出。
匹配步骤23可基于公知的原理并将不被详细描述。例如，步骤23可操作来预测所有现有轨迹的某些轨迹参数(位置和可能尺寸和形状)的最可能的值，并接着使轨迹参数的预测值与在峰检测步骤22中产生的峰数据中的相应参数值相匹配。预测可被省略。步骤23导致“轨迹数据”，其是现有轨迹的更新记录，其中基于峰数据来更新现有轨迹的轨迹参数值。应认识到，更新还包括删除被认为不存在的轨迹(由被从触摸表面抬起的物体引起，“向上触摸”)并添加新轨迹(由在触摸表面上放下的物体引起，“向下触摸”)。
在步骤23之后，过程返回到步骤20。
应理解，可同时实施步骤20-23中的一个或多个步骤。例如，可与步骤21-23中的任何一个步骤同时发起后续帧的数据收集步骤20。
2.重建函数和输入格式(步骤21)
用于基于投影信号值的图像重建的任何可用的算法可用作在步骤21(图2)中的重建函数，包括层析成像重建方法例如滤过反向投影、基于FFT的算法、ART(代数重建技术)、SART(同时代数重建技术)等。可选地，重建函数可通过适应一个或多个基本函数和/或通过统计方法(例如贝叶斯反演)来产生衰减模式。在WO2009/077962、WO2011/049511、WO2011/139213、WO2012/050510、WO2013/062471、2013年3月7日提交的PCT/SE2013/050197、2013年3月7日提交的PCT/SE2013/050198、2013年4月29日提交的PCT/SE2013/050473和2013年4月29日提交的PCT/SE2013/050474中找到设计成用于在触摸确定中使用的图像重建函数的例子，所有这些通过引用并入本文。在数学文献(例如Natterer的“TheMathematics of Computerized Tomography”以及Kak和Slaney的“Principlesof Computerized Tomographic Imaging”)中找到常规图像重建技术。
根据投影函数p，基于在时间点t的输入值st取决于衰减模式αt的假设来设计图像重建函数，该投影函数反映物理触摸系统的特性：st＝p(αt)。重建算法因此被设计成通过使用重建函数αt＝p′(st)从st重建αt。
应理解，输入值st的格式可以特定于重建函数p′。为了实现衰减模式的重建，输入值st可被表示为单独的检测线的衰减值。这样的衰减值可例如基于通过使第k个检测线的投影值Ik除以相应的参考值Tk＝Ik/REFk来得到的透射值。通过参考值的正确选择，可产生透射值以表示在检测线中的每个检测线上测量的可用光能的小部分(例如在范围[0,1]内)。为了表示衰减，每个检测线的输入值例如由sk＝-log(Tk)或其近似值(例如sk＝1-Tk)给出。
重建的衰减模式αt将表示在时间点t在触摸表面上的累积衰减的分布。累积衰减包括由触摸物体引起的衰减和由在触摸表面上的污染物引起的衰减。这样的衰减模式αt在下文中表示“总模式”。
在本领域中也已知针对在触摸表面上的污染物的影响至少部分地补偿总衰减模式αt，导致在下文中表示“抵消模式”的补偿的衰减模式ot。因此，抵消模式ot被产生以反映在触摸表面上的触摸相关衰减中的长期改变，例如与没有触摸物体的干净触摸表面比较的衰减改变。例如在WO2011/028169、WO2011/049512、WO2012/121652和WO2013/048312中找到用于产生这样的补偿的衰减模式的不同技术，所有申请通过引用以其整体并入本文。在另一可选方案中，每个单独的投影信号可能受到在时域中的高通滤波，由此，这样滤波的投影信号可至少部分地补偿在触摸表面上的污染物的影响。
图3给出根据上面提到的WO2011/049512的补偿可如何实现的例子。在所示例子中，“背景模式”被维持(即，在图2中的步骤20-23的迭代期间被更新)以表示源自触摸表面上的污染物的衰减的估计。图3A是在触摸表面(参见图1B)的坐标系X、Y中的总模式αt的3D图。模式αt表示来自触摸和污染物两者的在触摸表面上的累积衰减。图3B是上面提到的背景模式bt-1的3D图，其展示由来自较早触摸的指纹引起的第一衰减分量α1、由来自搁在触摸表面上的手掌的污迹引起的第二衰减分量α2和由液体溢出引起的第三衰减分量α3。图3B因此是由污染物引起的所估计的衰减的“快照(snap-shot)”。图3C是通过逐个像素地从模式αt减去模式bt-1而得到的抵消模式ot的3D图。对照接近于零衰减的均匀背景水平看到形成三个触摸的三个峰β1、β2、β3。
根据实现，峰检测步骤22(图2)可在总模式αt或抵消模式ot(如果产生的话)上操作。应理解，总模式αt或抵消模式ot可在步骤22之前受到后处理。这样的后处理可包括不同类型的滤波，用于噪声移除和/或图像增强。
3.力估计
在本发明的实施方式中，相应轨迹的当前衰减用于估计轨迹的当前施加力，即，用户将相应的触摸物体压到触摸表面上所用的力。应记起，对于当前衰减模式中的峰由步骤22(图2)所确定的衰减值给出轨迹的当前衰减。
通常，在绝对尺度上估计施加力可能很难，因为存在影响衰减的多个因素，且在触摸系统的操作期间以足够的准确度控制或估计这些因素可能很难。这样的因素包括例如随着时间的推移在触摸表面上的污染物中和在触摸表面上的不同位置之间的差异、在触摸物体的接触特性(湿度、油脂的数量等)中的差异。虽然将所估计的施加力校准为绝对单位可能是可能的，但是下面的公开将聚焦于用于产生所估计的力值的时间序列的技术，所估计的力值表示随着时间的推移对于相应的轨迹并且也可能在不同轨迹之间的施加力中的相对改变。因此，所估计的力值可被处理以检测用户在轨迹期间有意增加或减小施加力，或用户相对于另一轨迹有意增加或减小一个轨迹的施加力。
图4是根据实施方式的力估计过程的流程图。力估计过程在由图2中的数据提取过程提供的轨迹数据上操作。应注意，图4中的过程与图2中的过程同步地操作，使得从图2中的帧产生的轨迹数据然后在图4的帧中被处理。在第一步骤40中，基于由轨迹数据给出的相应轨迹的当前衰减来计算每个轨迹的当前力值。在一个实现中，当前力值可被设置为等于衰减，且步骤40可以只相当于从轨迹数据得到衰减。在另一实现中，步骤40可包括衰减的按比例缩放。在步骤40之后，过程可直接继续进行到步骤42。然而，为了提高所估计的力值的准确度，步骤41将多个不同的校正中的一个或多个应用于在步骤40中产生的力值。步骤41可因此用来相对于在施加力中的相对变化来提高力值的可靠性，减小在由步骤40-42的重复执行产生的力值的产生的时间序列中的噪声(可变性)，并甚至抵消由用户引起的在施加力中的无意改变。如在图4中指示的，步骤41可包括持续时间校正、速度校正和尺寸校正中的一个或多个。
实验表明，静止轨迹(即，保持在触摸表面上的本质上相同的位置中的轨迹)具有随着时间的推移朝着渐近值明显增长的衰减，即使施加力在这个时间段中不改变。对于两个新的轨迹(即，直接在向下触摸之后且当移动的轨迹(拖动)停下来时)观察到这个持续时间增长现象。对缓慢移动的轨迹，也观察到持续时间增长现象，但对于在较高速度下的估计较不重要。图5A是自从向下触摸(使用恒定的施加力)以来作为时间函数的静止轨迹的一系列力值F的曲线图，且图5B是关于缓慢移动的轨迹(使用恒定的施加力)的相应曲线图。
为了抑制持续时间增长现象的影响，在步骤41中应用“持续时间校正”。持续时间校正主要对于通过将轨迹的当前速度(包括在轨迹数据中)与给定速度阈值TLS进行比较而识别的静止轨迹和缓慢移动的轨迹是相关的。速度阈值TLS可在不同的触摸系统之间不同，并可能需要通过测试被调节到给定的触摸系统。在下文中，速度阈值TLS被设置到10mm/s。因此，具有低于速度阈值TLS的速度的所有轨迹被考虑为在“低速状态”(LS状态)中。可通过应用抵消增长的任何适当的函数来进行持续时间校正。在下面的例子中，持续时间校正实际上应用于所有轨迹，但当轨迹离开LS状态时，校正的量急剧减小。因为衰减被发现自从进入LS状态以来随着时间的推移而增长，步骤41将LS年龄计数器分配给所有轨迹并使LS年龄计数器随着在LS状态中的每个轨迹的持续时间而递增。LS年龄计数器不是固定点计数器，出于由于稍后解释的原因，因为根据轨迹速度而修改每帧的递增改变。LS年龄计数器被限制到在零和最大值之间的值，其被设置成当轨迹在静止一段长时间之后开始移动时避免持续时间校正导致力值的相当大的欠补偿。
在非限制性例子中，持续时间校正函数将指数延迟应用于来自步骤40的每个力值：
F c = F c 1 ( 1 + c 2 e - Δt t 0 )
其中Fc是校正的力值，Δt是LS年龄计数器，t0是时间常数，且c1和c2是常数。图5A和5B示出了通过在相应系列的未校正的力值上操作指数衰减函数获得的一系列校正的力值Fc。在所示例子中，校正函数被设计成朝着未校正的力值的渐近水平提高力值，但可通过常数c1的正确选择来使用任何其它水平。
为了避免当静止轨迹开始移动时经校正的力值中的突然变化，LS年龄计数器的递增改变随着在LS状态中的速度的增加而逐步减小。一个例子在图6中示出，其中虚线指示速度阈值TLS。如看到的，增量改变在速度阈值TLS下减小到零。因此，只要轨迹在LS状态中，LS年龄计数器逐帧增加，但当轨迹的速度接近速度阈值TLS时具有逐渐较小的增量。在图6的例子中，在速度阈值TLS以上，增量改变被设置为负的(即，递减)，且增量随着速度的增加的而增加。因此，当轨迹离开LS状态时，持续时间校正将继续，但在快速减小的程度。
实验还表明，衰减随着轨迹的速度的增加而减小。在图7A中看到这个下降现象，其为当触摸的速度通常增加时对于触摸由步骤20-23产生的衰减值的曲线图。施加力在测量期间是不变的。图7B是图7A中的测量数据的散布图，其示出在衰减和拖动速度之间的关联。在数据中存在明显的扩展，这至少部分地是由于触摸物体(其为指尖)在触摸表面上扫过其自己的指纹沉淀物引起的。这个数据散布的影响在步骤42中由低通滤波器抑制(见下文)。
为抑制随着速度的下降的影响，在步骤41中通过在来自持续时间校正的力值上操作速度校正函数来应用“速度校正”。在一个例子中，速度校正函数从力值减去随着轨迹的当前速度而减小的校正因子，以抑制随着速度的变化。在一个例子中，校正因子随着速度的增加而线性地减小，以抵消在图7B中由线70指示的在衰减和速度之间的所估计的线性关系。当然，根据在衰减和速度之间的关系，其它速度校正函数是可能的。速度校正可应用于所有轨迹，或只应用于具有高于某个阈值的速度的轨迹，该阈值可以但不需要是阈值TLS。
速度校正函数可被设计成用速度稍微过补偿力值，以抵消用户对于较快的拖动比对于较慢的拖动不注意地施加更小的力的趋势。在触摸物体和触摸表面之间的摩擦可能使用户不舒服地将相同的压力施加到较慢和较快的拖动。因此，过补偿可导致更准确地反映用户的意图的力值。
实验还表明，衰减可随着轨迹的尺寸而增加，即使施加力未改变。为了抑制这个现象的影响，在步骤41(图4)中应用“尺寸校正”，这相对于轨迹的当前尺寸(包括在轨迹数据中)修改力值。应注意，尺寸可以但不需要表示在交互模式中的峰的真实范围。作为可选方案，尺寸可由与峰的尺寸成比例的任何度量(例如将峰的衰减值与一个或多个周围像素的衰减值进行比较的度量)给出。
应理解，可按任何顺序应用上述校正，且步骤41可被限制于上述校正中的仅仅一个或两个。此外，如果轨迹的速度未包括在轨迹数据中，则图4中的力估计过程可包括基于轨迹的位置历史来计算每个轨迹的当前速度的单独的步骤(未示出)。
低通滤波步骤42被包括以减小由步骤40/41产生的力值的时间序列中的变化。可使用任何可用的低通滤波器。在下面的例子中，步骤42应用实现指数平滑化的低通滤波器：
s 0 = x o s t = α x t + ( 1 - α ) s t - 1 , t > 0
其中xt表示当前力值，而α表示所谓的平滑因子，0＜α＜1。指数平滑化产生每个经滤波的力值作为当前力值和以前的力值的加权平均值，其中被分配给以前的观察的权重通常与几何级数{1,(1-α),(1-α)2,(1-α)3,…}的项成比例。因此，较大的平滑因子α导致较小的平滑，这等效于低通滤波器的较高截止频率。
应用低通滤波器的一个效应是它在经过滤的力值中引入不想要的时延。在一个实施方式中，通过相对于当前轨迹速度动态地改变平滑因子α(并且因而截止频率))来减小时延，使得较小的平滑应用于静止或几乎静止的触摸的力值。对低通滤波的需要通常对于移动轨迹比对于静止轨迹更显著，因为所估计的力值对于移动轨迹更不确定(嘈杂的)。一个原因是，每当移动轨迹经过触摸表面上的污染物时，衰减可变化。另一原因是，在触摸表面上的移动物体由于摩擦而有靠着触摸表面振动的趋势，导致衰减中的变化。因此，如图8中所示，可对较低的轨迹速度比对较高的轨迹速度应用更大的平滑因子α。在图8的例子中，平滑因子α对于开始移动的轨迹逐渐减小，以防止在力值上强加的平滑的程度的快速变化。
步骤42也被实现以延迟到停下来的移动轨迹的较高截止频率(较小的平滑)的过渡，以便防止平滑的程度的快速改变。技术人员认识到，可以用很多方式实现这样的延迟。在一个例子中，如果LS年龄计数器具有低值(关于预定限制)，则步骤42操作来减小平滑因子α。
图9A-9C示出了触摸物体的速度值、衰减值和力值。如图9A中的速度数据指示的，触摸物体与触摸表面接触，触摸表面被加速到大约110mm/s的速度，以大致这个速度移动一段时间(直到帧400为止)，并接着停下来。施加力在事件的这个序列期间不改变。在图9B中示出了相应触摸的衰减值的时间序列。单独的衰减值由图2中的步骤22产生并通过图2中的步骤23匹配到时间序列(轨迹)中。如在图9B中看到的，当触摸物体停下来时，上面提到的持续时间增长现象使衰减增至三倍(增加200％)。图9C示出了由图4中的步骤40-42产生的力值的相应时间序列，同时应用在步骤41中的持续时间校正和在步骤42中的指数滤波。如所看到的，当触摸物体停止并接着返回到与在触摸物体的移动期间相同的力水平时，力值暂时增加50％。应理解，在图9C中的力值的序列中比在图9B中的衰减值的序列中更容易检测和解释在施加力中的相对改变。
图4中的力估计过程可(例如在单独的设备上或在单个设备(例如图1中的信号处理器10))与图2中的数据提取过程分开地执行。可选地，在图2和4中的过程可集成到一个过程中用于在单个设备上执行。图10示出包括用于接收投影信号的输入端100的数据处理设备10的例子。设备10还包括用于得到当前投影值的数据收集元件(或器件)200、实现步骤21的重建元件201、实现步骤22的峰检测元件(或器件)202、实现步骤23的匹配元件(或器件)203、实现步骤40的力估计元件(或器件)204、实现步骤41的力校正元件(或器件)205、实现步骤42的滤波元件(或器件)206、用于经由输入端102提供当前力值(和由匹配元件203确定的轨迹数据)的输出元件(或器件)207。
设备10可由在一个或多个通用计算设备或专用计算设备上运行的专用软件(或固件)实现。在这个上下文中，应理解，这样的计算设备中的每个“元件”或“器件”指的是方法步骤的概念等效形式；在元件/器件和特定多件硬件或软件例程之间并不总是一对一对应。一件硬件有时包括不同的器件/元件。例如，处理单元当执行一个指令时可用作一个元件/器件，但在执行另一指令时可用作另一元件/器件。此外，一个元件/器件在一些情况中可由一个指令实现，但在一些其它情况中由多个指令实现。自然地，可设想一个或多个元件(装置)完全由模拟硬件部件实现。
软件控制的设备10可包括一个或多个处理单元(例如CPU(“中央处理单元”)、DSP(“数字信号处理器”)、ASIC(“专用集成电路”)、分立模拟和/或数字部件)或某个其它可编程逻辑设备(例如FPGA(“现场可编程门阵列”))。设备10还可包括系统存储器和将包括系统存储器的各种系统部件耦合到处理单元的系统总线。系统总线可以是几种类型的总线结构中的任一种，几种类型的总线结构包括存储器总线或存储器控制器、外围总线和使用各种总线架构中的任一种的局部总线。系统存储器可包括以易失性和/或非易失性存储器的形式的计算机存储器，例如只读存储器(ROM)、随机存取存储器(RAM)和闪存。专用软件和相关控制参数值可存储在系统存储器中或在被包括在计算设备中或计算设备可访问的其它可移动/不可移动、易失性/非易失性计算机存储介质(例如磁性介质、光学介质、闪存卡、数字磁带、固态RAM、固态ROM等)上。数据处理器设备10可包括一个或多个通信接口，例如串行接口、并行接口、USB接口、无线接口、网络适配器等以及一个或多个数据获取设备，例如A/D转换器。专用软件可被提供到在任何适当的计算机可读介质(包括记录介质和只读存储器)上的设备10。
4.结束语
虽然关于目前被考虑为最实际和优选的实施方式的内容描述了本发明，但是应理解，本发明不限于所公开的实施方式，而相反旨在涵盖包括在所附权利要求的精神和范围内的各种修改和等效布置。
根据重建函数，上面提到的输入值st的格式可以不是表示衰减而是被给出为透射(例如由参考值所归一化的投影值给出)、能量差(例如由在投影值和参考值之间的差给出)或能量差的对数。应认识到，重建函数可产生反应输入值的格式的交互模式。如在上文使用的，在任何情况下，“对数”被预期也包括近似真实对数函数的函数。此外，输入值st可具有任何符号，即，它们可以乘以负值或可以不乘以负值。
此外，可想得到将另外的校正应用于力值。例如，衰减可随着轨迹的持续时间(即，自从向下触摸以来的时间)稍微增加。轨迹的持续时间由上面提到的全局年龄指示，全局年龄因此可用作到设计成校正力值的修改函数的输入，因为这个衰减随着时间的推移而增加。

Claims (18)

1.一种关于基于FTIR的投影型触摸感测装置(100)的数据处理的方法，其中所述触摸感测装置(100)可操作来产生投影信号，所述投影信号表示通过在透射面板(1)内部的全内反射在所述透射面板(1)的触摸表面(4)之下在多个传播路径上已经传播的辐射，使得在所述触摸表面(4)上的触摸物体(7)引起所述投影信号中的至少一个投影信号的衰减，所述方法包括：
得到表示在通过所述投影信号的图像重建处理而产生的二维交互模式(at；ot)中的峰的幅度的幅值的时间序列，所述峰对应于在所述触摸表面(4)上的触摸物体(7)；以及
根据幅值的所述时间序列产生表示所述触摸物体(7)到所述触摸表面(4)上的施加力的力值的时间序列。
2.如权利要求1所述的方法，其中根据在所述幅值当中的当前幅值和所述触摸物体(7)的当前速度来产生在力值的所述时间序列中的当前力值。
3.如权利要求2所述的方法，还包括：基于所述当前速度检测所述触摸物体(7)在低速状态中，并将基于持续时间的修改函数应用于所述当前幅值，以便对于在所述低速状态中的触摸物体(7)抵消衰减随着时间的推移的逐渐增加。
4.如权利要求3所述的方法，还包括：使所述触摸物体(7)与随着在所述低速状态中的所述触摸物体(7)的持续时间而递增的年龄计数器相关，其中所述基于持续时间的修改函数在所述年龄计数器和所述当前幅值上操作。
5.如权利要求4所述的方法，还包括：当所述触摸物体(7)在所述低速状态中时，将增量应用于随着所述当前速度而减小的所述年龄计数器。
6.如权利要求4或5所述的方法，还包括：当所述触摸物体(7)离开所述低速状态时，将减量应用于所述年龄计数器。
7.如权利要求6所述的方法，其中所述减量随着所述触摸物体(7)的当前速度的增加而增加。
8.如前述权利要求中任一项所述的方法，还包括：在力值的所述时间序列和幅值的所述时间序列中的至少一个上操作低通滤波器。
9.如权利要求8所述的方法，还包括：随着所述触摸物体(7)的当前速度的增加而减小所述低通滤波器的截止频率。
10.如权利要求9所述的方法，还包括：当所述触摸物体(7)被认为接近在所述触摸表面(4)上静止不动时，选择性地使所述低通滤波器的截止频率的增加延迟。
11.如前述权利要求中任一项所述的方法，还包括：将基于速度的修改函数应用于所述当前幅值，以便抵消随着所述触摸物体(7)的速度的增加而减小的衰减。
12.如前述权利要求中任一项所述的方法，还包括：得到表示在所述二维交互模式(at；ot)中的峰的尺寸度量的尺寸值的时间序列；以及将基于尺寸的修改函数应用于所述当前幅值，以便抵消随着所述峰的尺寸的增加而增加的衰减。
13.如前述权利要求中任一项所述的方法，其中得到幅值的时间序列的步骤包括重复地进行以下操作：得到所述投影信号的当前值，通过图像重建来处理所述当前值以产生所述触摸表面(4)的当前交互模式(at；ot)，识别在所述当前交互模式(at；ot)中与触摸相关的峰，以及计算所述峰的幅值。
14.如前述权利要求中任一项所述的方法，其中所述幅值表示在所述触摸表面(4)上的所述触摸物体(7)的位置处的辐射的衰减或透射的程度。
15.一种包括计算机指令的计算机可读介质，所述计算机指令配置成在由数据处理系统运行时执行前述权利要求中任一项所述的方法。
16.一种用于关于基于FTIR的投影型触摸感测装置(100)的数据处理的设备，其中所述触摸感测装置(100)可操作来产生辐射的投影信号，所述辐射通过在透射面板(1)内部的全内反射在所述透射面板上的触摸表面(4)之下已经在多个传播路径上传播，使得在所述触摸表面(4)上的触摸物体(7)引起所述投影信号中的至少一个投影信号的衰减，所述设备包括信号处理器(10)，所述信号处理器(10)配置成：
得到表示在通过所述投影信号的图像重建处理而产生的二维交互模式(at；ot)的时间序列中的峰的幅度的幅值的时间序列，所述峰对应于在所述触摸表面(4)上的所述触摸物体(7)；以及
根据幅值的所述时间序列产生表示所述触摸物体(7)到所述触摸表面(4)上的施加力的力值的时间序列。
17.一种用于关于基于FTIR的投影型触摸感测装置(100)的数据处理的设备，其中所述触摸感测装置(100)可操作来产生辐射的投影信号，所述辐射通过在透射面板(1)内部的全内反射在所述透射面板(7)上的触摸表面(4)之下已经在多个传播路径上传播，使得在所述触摸表面(4)上的触摸物体(7)引起所述投影信号中的至少一个投影信号的衰减，所述设备包括：
器件(201-203；204)，所述器件(201-203；204)用于得到表示在通过所述投影信号的图像重建处理而产生的二维交互模式(at；ot)的时间序列中的峰的幅度的幅值的时间序列，所述峰对应于在所述触摸表面(4)上的所述触摸物体(7)；以及
器件(204-206)，所述器件(204-206)用于根据幅值的所述时间序列产生表示所述触摸物体(7)到所述触摸表面(4)上的施加力的力值的时间序列。
18.一种基于FTIR的投影型触摸感测装置，包括：
透射面板(1)，其配置成通过在所述透射面板(1)内部的全内反射进行从多个耦入点到多个耦出点的辐射，从而限定在成对的耦入点和耦出点之间、在所述透射面板(1)上的触摸表面(4)之下的多个传播路径，使得在所述触摸表面(4)上的触摸物体(7)使在所述传播路径中的至少一个传播路径上的辐射被对所述全内反射的抑制衰减；
至少一个信号发生器(2)，其耦合到所述耦入点以产生所述辐射；
至少一个信号检测器(3)，其耦合到所述耦出点以检测在所述多个传播路径上的所述辐射并产生相应的投影信号；以及
根据权利要求16或17所述的设备。
CN201380046731.3A 2012-09-11 2013-09-09 在基于ftir的投影型触摸感测装置中的触摸力估计 Expired - Fee Related CN104662496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710456418.7A CN107402670A (zh) 2012-09-11 2013-09-09 在基于ftir的投影型触摸感测装置中的触摸力估计

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261699503P 2012-09-11 2012-09-11
SE1251014-5 2012-09-11
US61/699,503 2012-09-11
SE1251014 2012-09-11
PCT/SE2013/051044 WO2014042576A2 (en) 2012-09-11 2013-09-09 Touch force estimation in an ftir-based projection-type touch-sensing apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710456418.7A Division CN107402670A (zh) 2012-09-11 2013-09-09 在基于ftir的投影型触摸感测装置中的触摸力估计

Publications (2)

Publication Number Publication Date
CN104662496A true CN104662496A (zh) 2015-05-27
CN104662496B CN104662496B (zh) 2017-07-07

Family

ID=49161983

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380046731.3A Expired - Fee Related CN104662496B (zh) 2012-09-11 2013-09-09 在基于ftir的投影型触摸感测装置中的触摸力估计
CN201710456418.7A Pending CN107402670A (zh) 2012-09-11 2013-09-09 在基于ftir的投影型触摸感测装置中的触摸力估计

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710456418.7A Pending CN107402670A (zh) 2012-09-11 2013-09-09 在基于ftir的投影型触摸感测装置中的触摸力估计

Country Status (5)

Country Link
US (2) US9086763B2 (zh)
EP (2) EP3327557A1 (zh)
CN (2) CN104662496B (zh)
TW (1) TW201426450A (zh)
WO (1) WO2014042576A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628529A (zh) * 2017-03-23 2018-10-09 英特尔公司 用于触摸设备中的斑点角度定向识别的方法和装置
CN112068727A (zh) * 2019-06-10 2020-12-11 阿尔派株式会社 按下操作检测装置及按下操作检测方法
CN114026530A (zh) * 2019-07-09 2022-02-08 剑桥触控科技有限公司 力信号处理

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
EP3327557A1 (en) * 2012-09-11 2018-05-30 FlatFrog Laboratories AB Touch force estimation in a projection-type touch-sensing apparatus based on frustrated total internal reflection
US9891759B2 (en) * 2012-09-28 2018-02-13 Apple Inc. Frustrated total internal reflection and capacitive sensing
US9910527B2 (en) 2013-02-15 2018-03-06 Flatfrog Laboratories Ab Interpretation of pressure based gesture
US10019113B2 (en) 2013-04-11 2018-07-10 Flatfrog Laboratories Ab Tomographic processing for touch detection
WO2015005847A1 (en) 2013-07-12 2015-01-15 Flatfrog Laboratories Ab Partial detect mode
WO2015108479A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Light coupling in tir-based optical touch systems
US10126882B2 (en) 2014-01-16 2018-11-13 Flatfrog Laboratories Ab TIR-based optical touch systems of projection-type
US10161886B2 (en) 2014-06-27 2018-12-25 Flatfrog Laboratories Ab Detection of surface contamination
EP3250993B1 (en) 2015-01-28 2019-09-04 FlatFrog Laboratories AB Dynamic touch quarantine frames
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
EP3537269A1 (en) 2015-02-09 2019-09-11 FlatFrog Laboratories AB Optical touch system
CN107250855A (zh) 2015-03-02 2017-10-13 平蛙实验室股份公司 用于光耦合的光学部件
CN108369470B (zh) 2015-12-09 2022-02-08 平蛙实验室股份公司 改进的触控笔识别
CN106843714B (zh) * 2016-11-15 2020-05-12 广州视源电子科技股份有限公司 触控笔笔迹的优化方法及系统
CN110100226A (zh) 2016-11-24 2019-08-06 平蛙实验室股份公司 触摸信号的自动优化
EP3667475B1 (en) 2016-12-07 2022-09-07 FlatFrog Laboratories AB A curved touch device
US10963104B2 (en) 2017-02-06 2021-03-30 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
WO2018174786A1 (en) 2017-03-22 2018-09-27 Flatfrog Laboratories Pen differentiation for touch displays
WO2018182476A1 (en) 2017-03-28 2018-10-04 Flatfrog Laboratories Ab Touch sensing apparatus and method for assembly
CN111052058B (zh) 2017-09-01 2023-10-20 平蛙实验室股份公司 改进的光学部件
WO2019172826A1 (en) 2018-03-05 2019-09-12 Flatfrog Laboratories Ab Improved touch-sensing apparatus
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
EP4104042A1 (en) 2020-02-10 2022-12-21 FlatFrog Laboratories AB Improved touch-sensing apparatus
US11693555B1 (en) * 2022-01-12 2023-07-04 Adobe Inc. Pressure value simulation from contact area data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011049511A1 (en) * 2009-10-19 2011-04-28 Flatfrog Laboratories Ab Extracting touch data that represents one or more objects on a touch surface
EP2339437A2 (en) * 2009-12-03 2011-06-29 STMicroelectronics (Research & Development) Limited Improved touch screen device
CN102292696A (zh) * 2008-12-05 2011-12-21 平蛙实验室股份公司 触摸感应装置及其操作方法
CN102414651A (zh) * 2009-04-24 2012-04-11 Vtt技术研究中心 用户输入装置及相关的制造方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3673327A (en) 1970-11-02 1972-06-27 Atomic Energy Commission Touch actuable data input panel assembly
US4254333A (en) 1978-05-31 1981-03-03 Bergstroem Arne Optoelectronic circuit element
US4736191A (en) 1985-08-02 1988-04-05 Karl E. Matzke Touch activated control method and apparatus
US5543591A (en) * 1992-06-08 1996-08-06 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US6972753B1 (en) 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
US20090143141A1 (en) 2002-08-06 2009-06-04 Igt Intelligent Multiplayer Gaming System With Multi-Touch Display
US7432893B2 (en) 2003-06-14 2008-10-07 Massachusetts Institute Of Technology Input device based on frustrated total internal reflection
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8599140B2 (en) 2004-11-17 2013-12-03 International Business Machines Corporation Providing a frustrated total internal reflection touch interface
US20060164443A1 (en) * 2005-01-26 2006-07-27 Kettle Wiatt E Modulating spatial light modulator with logically OR'ed values of bit planes
US8847924B2 (en) 2005-10-03 2014-09-30 Hewlett-Packard Development Company, L.P. Reflecting light
US7786975B2 (en) * 2005-12-23 2010-08-31 Apple Inc. Continuous scrolling list with acceleration
JP2009522669A (ja) * 2005-12-30 2009-06-11 アップル インコーポレイテッド マルチタッチ入力を備えた携帯電子装置
US8615131B2 (en) * 2006-07-27 2013-12-24 Bgn Technologies Ltd Online Arabic handwriting recognition
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8587559B2 (en) * 2007-09-28 2013-11-19 Samsung Electronics Co., Ltd. Multipoint nanostructure-film touch screen
EP2212763A4 (en) 2007-10-10 2012-06-20 Flatfrog Lab Ab TOUCH FIELD AND METHOD FOR OPERATING THE TOUCH FIELD
AR064377A1 (es) 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
EP2088500A1 (en) 2008-02-11 2009-08-12 Idean Enterprises Oy Layer based user interface
US8745514B1 (en) * 2008-04-11 2014-06-03 Perceptive Pixel, Inc. Pressure-sensitive layering of displayed objects
TW201005606A (en) 2008-06-23 2010-02-01 Flatfrog Lab Ab Detecting the locations of a plurality of objects on a touch surface
US9024907B2 (en) * 2009-04-03 2015-05-05 Synaptics Incorporated Input device with capacitive force sensor and method for constructing the same
US20120068973A1 (en) 2009-05-18 2012-03-22 Flatfrog Laboratories Ab Determining The Location Of An Object On A Touch Surface
EP2473905A4 (en) 2009-09-02 2014-07-09 Flatfrog Lab Ab TOUCH SURFACE WITH COMPENSATED SIGNAL PROFILE
KR20120095926A (ko) 2009-10-19 2012-08-29 플라트프로그 라보라토리즈 에이비 2차원 보상을 가지는 터치 면
CN102656547A (zh) 2009-10-19 2012-09-05 平蛙实验室股份公司 确定一个或多个物体在触摸表面上的触摸数据
US8502789B2 (en) 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
TW201203052A (en) 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction
EP2588942A4 (en) 2010-07-01 2017-01-25 FlatFrog Laboratories AB Data processing in relation to a multi-touch sensing apparatus
EP2628068A4 (en) 2010-10-11 2014-02-26 Flatfrog Lab Ab TOUCH DETECTION BY TOMOGRAPHIC RECONSTRUCTION
WO2012121652A1 (en) 2011-03-09 2012-09-13 Flatfrog Laboratories Ab Touch determination with signal compensation
JP5453351B2 (ja) 2011-06-24 2014-03-26 株式会社Ｎｔｔドコモ 移動情報端末、操作状態判定方法、プログラム
US8194036B1 (en) * 2011-06-29 2012-06-05 Google Inc. Systems and methods for controlling a cursor on a display using a trackpad input device
WO2013062471A2 (en) 2011-10-27 2013-05-02 Flatfrog Laboratories Ab Touch determination by tomographic reconstruction
TW201329821A (zh) 2011-09-27 2013-07-16 Flatfrog Lab Ab 用於觸控決定的影像重建技術
US8866870B1 (en) * 2011-10-20 2014-10-21 Lockheed Martin Corporation Methods, apparatus, and systems for controlling from a first location a laser at a second location
TWI462000B (zh) * 2011-12-26 2014-11-21 Mstar Semiconductor Inc 觸控面板的信號處理方法與觸控面板系統
US9285952B2 (en) * 2012-01-24 2016-03-15 Blackberry Limited Method and apparatus for operation of a computing device
EP2823388B1 (en) 2012-03-09 2019-01-23 FlatFrog Laboratories AB Efficient tomographic processing for touch determination
WO2013133757A2 (en) 2012-03-09 2013-09-12 Flatfrog Laboratories Ab Efficient tomographic processing for touch determination
EP2845080A4 (en) 2012-05-02 2015-12-16 Flatfrog Lab Ab OBJECT DETECTION IN TOUCH SYSTEMS
WO2013165305A2 (en) 2012-05-02 2013-11-07 Flatfrog Laboratories Ab Object detection in touch systems
US8928609B2 (en) * 2012-07-09 2015-01-06 Stmicroelectronics International N.V. Combining touch screen and other sensing detections for user interface control
EP3327557A1 (en) * 2012-09-11 2018-05-30 FlatFrog Laboratories AB Touch force estimation in a projection-type touch-sensing apparatus based on frustrated total internal reflection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102292696A (zh) * 2008-12-05 2011-12-21 平蛙实验室股份公司 触摸感应装置及其操作方法
CN102414651A (zh) * 2009-04-24 2012-04-11 Vtt技术研究中心 用户输入装置及相关的制造方法
WO2011049511A1 (en) * 2009-10-19 2011-04-28 Flatfrog Laboratories Ab Extracting touch data that represents one or more objects on a touch surface
EP2339437A2 (en) * 2009-12-03 2011-06-29 STMicroelectronics (Research & Development) Limited Improved touch screen device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628529A (zh) * 2017-03-23 2018-10-09 英特尔公司 用于触摸设备中的斑点角度定向识别的方法和装置
CN112068727A (zh) * 2019-06-10 2020-12-11 阿尔派株式会社 按下操作检测装置及按下操作检测方法
CN114026530A (zh) * 2019-07-09 2022-02-08 剑桥触控科技有限公司 力信号处理
CN114026530B (zh) * 2019-07-09 2023-10-27 剑桥触控科技有限公司 力信号处理

Also Published As

Publication number Publication date
CN104662496B (zh) 2017-07-07
US20150317036A1 (en) 2015-11-05
EP2706443A1 (en) 2014-03-12
WO2014042576A2 (en) 2014-03-20
WO2014042576A3 (en) 2014-05-08
CN107402670A (zh) 2017-11-28
TW201426450A (zh) 2014-07-01
US9086763B2 (en) 2015-07-21
EP3327557A1 (en) 2018-05-30
EP2706443B1 (en) 2017-12-27
US20140320460A1 (en) 2014-10-30
US10088957B2 (en) 2018-10-02

Similar Documents

Publication Publication Date Title
CN104662496A (zh) 在基于ftir的投影型触摸感测装置中的触摸力估计
US9927920B2 (en) Tracking objects on a touch surface
EP2791763B1 (en) Tracking objects on a touch surface
US8982084B2 (en) Tracking objects on a touch surface
KR101941730B1 (ko) 터치 결정을 위한 이미지 복원
US10031623B2 (en) Touch determination with improved detection of weak interactions
US9411464B2 (en) Touch determination with signal compensation
US11182023B2 (en) Dynamic touch quarantine frames
KR20140014106A (ko) 신호 향상에 의한 터치 판단
TW201333787A (zh) 觸控系統中改良的多點觸控偵測
EP2845080A2 (en) Object detection in touch systems
TW201346683A (zh) 觸控裝置中監偵及修正方法
EP2845081A2 (en) Object detection in touch systems
TW201342162A (zh) 具交互作用補償之觸控判定

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170707

Termination date: 20200909

CF01 Termination of patent right due to non-payment of annual fee