CN104081323A - 跟踪触摸表面上的对象 - Google Patents

跟踪触摸表面上的对象 Download PDF

Info

Publication number
CN104081323A
CN104081323A CN201280068403.9A CN201280068403A CN104081323A CN 104081323 A CN104081323 A CN 104081323A CN 201280068403 A CN201280068403 A CN 201280068403A CN 104081323 A CN104081323 A CN 104081323A
Authority
CN
China
Prior art keywords
touch
crest
vestige
obvious
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280068403.9A
Other languages
English (en)
Other versions
CN104081323B (zh
Inventor
托马斯·克里斯蒂安松
尼克拉斯·奥尔松
安德里斯·比约克隆德
马茨·彼得·沃兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FlatFrog Laboratories AB
Original Assignee
FlatFrog Laboratories AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FlatFrog Laboratories AB filed Critical FlatFrog Laboratories AB
Publication of CN104081323A publication Critical patent/CN104081323A/zh
Application granted granted Critical
Publication of CN104081323B publication Critical patent/CN104081323B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种设备实施一种跟踪基于FTIR的触敏装置的触摸表面上的对象的方法。该方法反复地运行，以生成(50-52)一个指示该触摸表面上的交互的多个局部变化的交互图案，识别(53)该交互图案中的多个明显波峰，并且基于这些明显波峰更新(54)多条现有的移动轨迹。在该方法中至少间歇性地执行一个差错抑制过程(56)以处理这些明显波峰和/或这些现有的移动轨迹，从而识别所涉及的多条具有一个潜在跟踪问题的轨迹，为所涉及的每条轨迹定义两个或更多个移动命题，并使得在该方法的一次或多次后续反复中对这些移动命题进行一次评估。该差错抑制过程通过将关于怎样跟踪所涉及的轨迹的对象的最终决定延期至可获得更多信息为止来改善跟踪。还允许该跟踪问题的起源减弱和/或该对象从展现多种干扰的该触摸表面上的一个区域移开。

Description

跟踪触摸表面上的对象
相关申请的交叉引用
本申请要求于2011年12月16日提交的瑞典专利申请号1151209-2和于2011年12月16日提交的美国临时申请号61/576458的权益，这两个申请均通过引用结合在此。
技术领域
本发明涉及用于跟踪触摸表面(具体地，触敏装置的触摸表面)上的对象的技术，该触敏装置通过在透光板内部将光从多个入耦合点传播到多个出耦合点从而从该面板内部照亮该触摸表面而运行。
背景技术
触摸感测系统(“触摸系统”)广泛应用于各种应用中。典型地，这些触摸系统由一个触摸对象(如手指或触笔)或者与一个触摸表面直接接触或者通过与该触摸表面接近(即，没有接触)来致动。触摸系统例如用作膝上计算机的触摸板、用于控制面板中以及用作例如手持装置(如移动电话)上的显示器的覆盖层。覆盖在显示器上或整合在显示器中的触摸面板还被表示为“触摸屏”。许多其他应用在本领域中是已知的。
触摸系统越来越多地被设计成能够同时检测两个或更多个触摸，这种能力在本领域通常称为“多点触摸”。
存在许多已知的用于提供多点触摸灵敏性的技术，例如通过使用照相机来捕捉触摸面板上的一个(或多个)触摸点所散射出的光，或通过将电阻式线栅、电容性传感器、应变计等整合到触摸面板中。
WO2011/028169和WO2011/049512披露了基于受抑全内反射(FTIR)的多点触摸系统。多个光片被耦合到一个面板中以通过全内反射(TIR)来在该面板内部进行传播。当对象与面板的触摸表面接触时，传播光在触摸点处衰减。在多个出耦合点处通过一个或多个光传感器测量透射光。来自这些光传感器的信号被处理以用于输入至一个图像重建算法中，该图像重建算法生成该触摸表面上的交互的2D表示。这使得能够在一位或多位用户与触摸表面进行交互时对该2D表示中的触摸的当前位置/大小/形状进行反复的确定。
需要在存在干扰的情况下检测这些触摸，比如触摸表面上的测量噪声、环境光、污染物(例如指纹和其他类型的污点)、振动等。这些干扰可能不仅随时间而变化而且可能在触摸表面上变化，使得难以始终正确地检测到触摸表面上的触摸。此外，触摸对象与触摸表面之间的交互的程度可能既随时间变化又在不同对象之间变化。例如，该交互可以取决于对象是在触摸表面上被轻击、拖拽还是保持处于一个固定位置。不同对象可能产生不同程度的交互，例如，交互的程度可能在用户的手指之间变化，并且甚至更可能在不同用户的手指之间变化。
若干触摸、复杂手势以及交互和干扰的时空变化的组合将使触摸的识别成为一项苛刻的任务。如果(例如)触摸屏上前进的手势被在该手势的过程中未能检测到某些触摸的系统中断，会妨碍用户体验。
上述的WO2011/028169和WO2011/049512提出了不同的技术来抑制污染物的影响，例如通过借助对污染物所引起的交互进行估计的间歇性地更新的2D背景状态来补偿2D表示，或通过借助被间歇性地更新以表示污染物的影响的参考值来对这些测量信号进行规范化。到达这种抑制不完整或存在其他类型的干扰的地步，2D表示仍然可能包含被错认为触摸对象的错误的波峰。
现有技术还包括WO2010/006883，其披露了一种用于光学多点触摸系统中的触摸确定的技术，其中，识别和处理衰减的光路以用于确定一组备选触摸，这些触摸可能包括真实触摸以及虚假触摸。然后基于每个备选触摸的形状和/或面积验证备选位置，从而允许识别并排除进一步处理这些虚假触摸。
本申请人已经确定需要在存在干扰的情况下跟踪触摸表面上的对象的改进的技术。
概述
本发明的一个目标是至少部分地克服现有技术的上述所确定的限制中的一种或多种。
另一个目标是使得能够跟踪通过FTIR运行的多点触摸系统的触摸表面上的对象。
一个进一步的目标是使这种跟踪能够基于触摸表面上的交互的2D表示，即使该2D表示包含干扰所造成的波峰。
借助于根据独立权利要求、由从属权利要求所限定的独立权利要求的实施例的一种方法、一种计算机程序产品、一种设备、以及一种触敏装置，这些目标和从以下说明中可见的进一步目标中的一个或多个目标至少部分地得以实现。
本发明的一个第一方面是一种跟踪触敏装置上的触摸表面上的一个或多个对象的移动的方法。该触敏装置可操作以通过一个透光板内部的多次内反射将光从多个入耦合点传播到多个出耦合点，从而从该透光板的内部照亮该触摸表面，其中，至少一个光检测器与这些出耦合点光耦合以生成一个表示在这些出耦合点处所接收到的光的输出信号。该方法以一个反复时序运行，每次反复包括：处理该输出信号以生成表示该触摸表面上的交互的多个局部变化的交互图案；处理该交互图案以用于多个明显波峰的识别；以及基于这些明显波峰更新前一次反复中被认为存在于该触摸表面上的多个对象的多条现有的移动轨迹。该方法进一步包括一个差错抑制过程，以所述反复时序至少间歇性地执行该差错抑制过程，并且该差错抑制过程包括：处理这些明显波峰和/或这些现有的移动轨迹以识别所涉及的多条具有一个潜在跟踪问题的轨迹；为所涉及的每条轨迹定义至少两个移动命题；以及使得在一次或多次后续的反复中对所述至少两个移动命题进行评估。
借助该差错抑制过程，给予了该第一方面的方法一种改善的跟踪通过FTIR运行的多点触摸系统的触摸表面上的多个对象的能力。被设计成用于识别和处理潜在跟踪问题的差错抑制过程为所涉及的轨迹或痕迹定义了不同的移动命题。每个移动命题表示即将到来的反复中所涉及的轨迹的假设性移动。由此，可以相对于在后续反复中所检测的明显波峰而对这些移动命题进行评估，从而允许最终决定怎样跟踪所涉及的有待延期的轨迹的对象。因为它允许对更多的信息做最终决定，这将改善跟踪。此外，允许该跟踪问题的起源减弱和/或该对象从展示多种干扰的该触摸表面上的一个区域移开。
通常，可以基于该潜在跟踪问题的一个分类和/或基于所涉及的轨迹在前述的多次反复过程中的一种移动特性来定义该至少两个移动命题。从而，不同类型的潜在跟踪问题可能导致在定义步骤中定义不同的移动命题。类似地，所涉及的轨迹的最近的移动特性(速度、加速度等)会导致在定义步骤中定义不同的移动命题。
在一个实施例中，该评估导致为所涉及的每条轨迹选择所述至少两个移动命题之一。此外，更新现有的移动轨迹的步骤可以包括基于该选择来更新所涉及的每条轨迹的步骤。
在一个实施例中，通过处理这些明显波峰以识别潜在地错误的波峰，并将这些潜在地错误的波峰映射至这些现有的移动轨迹来识别所涉及的这些轨迹。
在一个实施例中，所述至少两个移动命题包括一个第一命题：对应于所涉及的轨迹的该对象是静止的，以及一个第二命题：对应于所涉及的轨迹的该对象是移动的。
在一个实施例中，所述至少两个移动命题包括一个第一命题：对应于所涉及的轨迹的该对象被从该触摸表面移除，以及一个第二命题：对应于所涉及的轨迹的该对象是移动的。
该差错抑制过程可以根据一种预测方法而运行。在该预测方法的一个实施例中，该第二移动命题指示该对象在一个第一评估时间段内继续沿着一条预测轨迹移动。进一步地，定义所述至少两个移动命题的步骤可以包括一个根据所涉及的轨迹生成该预测轨迹的步骤，和/或该评估可以包括一个将在第一评估时间段内所识别的明显波峰的至少一部分与该预测轨迹进行匹配的步骤。再者，如果更新步骤包括一个将这些明显波峰的至少一部分与这些现有的移动轨迹进行匹配的步骤，该差错抑制过程可以进一步包括一个防止在一个第二评估时间段内将这些明显波峰的所述至少一部分与所涉及的轨迹进行匹配的步骤。由此，该差错抑制过程可以进一步包括一个在该第二评估时间段内定义环绕该交互图案中所涉及的这些轨迹的不确定性区域的步骤，以及一个在该第二评估时间段内防止更新步骤作用于位于这些不确定性区域内的这些明显波峰的步骤。
可替代或另外地，该差错抑制过程可以根据一种反应方法而运行。在该反应方法的一个实施例中，如果更新步骤包括识别并添加多条新的移动轨迹至这些现有的移动轨迹，该评估包括一个将所述新的移动轨迹的多个备选项与所涉及的轨迹匹配的步骤。进一步地，该匹配步骤可以根据下列各项中的至少一项：所述备选项的起源的估计方向，以及所涉及的轨迹与所述备选项的当前位置之间的距离。再者，该差错抑制过程可以包括在一个第二评估时间段内定义该交互图案中环绕所涉及的这些轨迹的多个不确定性区域从而防止在这些不确定性区域内识别多条新的移动轨迹的步骤。
在一个实施例中，该潜在跟踪问题是由下列各项中的至少一项所引起的：该触摸表面上的光散射，和该触摸表面上污染物的一种变化。
在一个实施例中，通过应用以下各项中的至少一项识别该潜在跟踪问题：对这些明显波峰的一个区域进行评估的一种区域试探法、对这些现有的移动轨迹的一个速度进行评估的一种速度试探法、对这些现有的移动轨迹的一个加速度进行评估的一种加速度试探法、一种散射检测试探法、以及一种污染物检测试探法。
当这些明显波峰包括正和负明显波峰时，可以应用该散射检测试探法，并且每个正明显波峰表示该交互图案中的局部增强的交互，并且每个负明显波峰表示该交互图案中的局部减轻的交互。在一个实施例中，当一个正明显波峰被认为与这些负明显波峰中的一个或多个相关联时，该散射检测试探法识别潜在跟踪问题。在一个实施例中，该散射检测试探法可以进一步要求这些负明显波峰中的所述一个或多个位于这些现有的移动轨迹之外。当该正明显波峰与所述一个或多个负明显波峰具有一种给定的空间关系时，该正明显波峰可以被认为与所述一个或多个负明显波峰相关联。该给定的空间关系可以定义该正明显波峰和所述一个或多个负波峰之间的一个最大距离。
当这些明显波峰包括表示该交互图案中局部增强的交互的正明显波峰时，可以应用该污染物检测试探法。在一个实施例中，当一个正明显波峰被认为沿着这些现有的移动轨迹之一定位时，该污染物检测试探法识别潜在跟踪问题。在一个实施例中，如果该方法包括一个将这些正明显波峰的至少一部分与这些现有的移动轨迹匹配从而识别一组匹配明显波峰和一组非匹配明显波峰的步骤，该污染物检测试探法可以进一步要求该正明显波峰被包括在所述非匹配明显波峰组内。
可以实施该第一方面以处理该触摸表面上的双击。在一个这种实施例中，当一个现有的移动轨迹在该触摸表面上是静止的并且具有一个超过一个第一阈值(同时表示一个瞬时最小值)的交互强度时，该潜在跟踪问题可以被识别。进一步地，所述至少两个移动命题可以包括一个第一命题：对应于所涉及的轨迹的该对象是静止的并且在一个评估时间段内保持与触摸表面接触，以及一个第二命题：对应于所涉及的轨迹的该对象被间歇性地从该触摸表面移除并且然后在该评估时间段内恢复与该触摸表面接触。再者，该评估可以包括一个在该评估时间段内相对于一个第二阈值监测该交互强度的步骤。
在一个实施例中，当多个正波峰被认为会在该交互图案中形成一个环形时，该潜在跟踪问题可以被识别。
本发明的一个第二方面是一种包括计算机代码的计算机程序产品，当在数据处理系统上被执行时，该计算机程序产品被适配成执行该第一方面的方法。
本发明的一个第三方面是一种用于跟踪触敏装置上的触摸表面上的一个或多个对象的移动的设备。该触敏装置可运行以通过一个透光板内部的多次内反射将光从多个入耦合点传播到多个出耦合点，从而从该透光板的内部照亮该触摸表面，其中，一个光敏装置与这些出耦合点光耦合以生成一个表示在这些出耦合点处所接收到的光的输出信号。该设备包括：一个用于该输出信号的输入端；以及一个被配置成以一个反复时序运行的信号处理器。每次反复包括以下步骤：处理该输出信号以生成表示该触摸表面上的交互的多个局部变化的交互图案；处理该交互图案以用于多个明显波峰的识别；以及基于这些明显波峰更新前一次反复中被认为存在于该触摸表面上的多个对象的多条现有的移动轨迹。该设备进一步包括一个差错抑制模块，该差错抑制模块被配置成用于通过下列步骤以所述反复时序至少间歇性地运行：处理这些明显波峰和/或这些现有的移动轨迹以识别所涉及的多条具有一个潜在跟踪问题的轨迹；为所涉及的每条轨迹定义至少两个移动命题；以及使得在一次或多次后续的反复中对所述至少两个移动命题进行评估。
本发明的一个第四方面是一种用于跟踪上述触敏装置上的触摸表面上的一个或多个对象的移动的设备。该设备被配置成用于以一个反复时序运行，并且包括：用于接收该输出信号的装置；用于处理该输出信号以生成表示该触摸表面上的交互的多个局部变化的交互图案的装置；用于处理该交互图案以用于多个明显波峰的识别的装置；以及用于基于这些明显波峰更新前一次反复中被认为存在于该触摸表面上的多个对象的多条现有的移动轨迹的装置。该设备进一步包括一个差错抑制装置，该差错抑制装置被配置成以所述反复时序至少间歇性地运行，并且包括：用于处理这些明显波峰和/或这些现有的移动轨迹以识别所涉及的多条具有一个潜在跟踪问题的轨迹的装置；用于为所涉及的每条轨迹定义至少两个移动命题的装置；以及用于使在一次或多次后续的反复中对所述至少两个移动命题进行评估的装置。
本发明的一个第五方面是一种触敏装置，包括：一个透光板，被配置成用于通过多次内反射将光从多个入耦合点传播至多个出耦合点，从而从该透光板的内部照亮该触摸表面；用于在这些入耦合点处提供该光的装置；用于生成一个表示这些出耦合点处所接收的光的输出信号的装置；以及根据该第三和第四方面的用于跟踪一个或多个对象的移动的设备。
本发明的一个第六方面是一种触敏装置，包括：一个透光板，被配置成用于通过多次内反射将光从多个入耦合点传播至多个出耦合点，从而从该透光板的内部照亮该触摸表面；至少一个与这些入耦合点光耦合以提供光的光发射器；至少一个与这些出耦合点光耦合以生成一个表示在这些出耦合点处所接收到的光的输出信号的光检测器；以及根据该第三和第四方面的用于跟踪一个或多个对象的移动的设备。
该第一方面的上述所确定的实施例中的任意一个可以被适配和实施成为该第二至第六方面的一个实施例。
本发明的另外的其他目标、特征、方面以及优点将从以下详细说明、从所附权利要求书以及从附图明显。
附图简要说明
现在将参考所附示意图更详细地描述本发明的实施例。
图1A至图1B是触摸感测FTIR系统的截面视图和俯视图。
图2A至图2C分别是总衰减图案、背景图案、和偏移图案的3D绘图。
图3A至图3B是表示两个移动对象的一个不同图案的绘图。
图4展示了触摸表面上的两个对象的移动轨迹。
图5A是根据本发明的实施例的用于跟踪对象的方法的流程图，并且图5B是用于实施图5A的方法的结构的框图。
图6A至图6B展示了没有差错抑制的跟踪，以及该触摸表面上的对象移动的相应解释。
图7A至图7F例示了用于抑制跟踪差错的预测方法。
图8A至图8B例示了用于抑制跟踪差错的反应方法。
图9是具有环面形状的一个不同图案的绘图。
图10A至图10D是用于不同类型的用户交互的作为时间的函数的衰减曲线图。
图11A至图11D是展示光散射可以怎样引起干扰的FTIR系统的平面视图。
图12是包含由光散射引起的真实波峰和虚假波峰的偏移图案的绘图。
图13A至图13B是展示污染物的改变可以怎样引起干扰的FTIR系统的平面视图。
图14是包含由污染物的变化而引起的真实波峰和虚假波峰的偏移图案的绘图。
图15是包含由污染物的变化而引起的真实波峰和虚假波峰的不同的图案的绘图。
图16A至图16F展示了没有差错抑制的跟踪。
图17A至图17F展示了沿着一个痕迹作为时间的函数的光散射的结果。
图18是根据本发明的另一实施例的用于跟踪对象的方法的流程图。
图19展示了图18的方法中的维护痕迹历史列表的过程。
示例实施方案的详细描述
在描述本发明的实施例之前将给出一些定义。
“触摸对象(touch object)”或“触摸对象(touching object)”是主动或故意触摸或被带到足够接近一个触摸表面从而被触摸系统中的一个或多个传感器检测到的物理对象。该物理对象可以是有生命的(例如手指)或无生命的。
当该触摸对象影响传感器所测得的参数时会发生“交互”。
“交互强度”是交互程度的相对或绝对量度。
“交互图”或“交互图案”是触摸表面或其一部分上的交互的二维(2D)分布。如果该“交互图”包含衰减值，则其还被表示为“衰减图”或“衰减图案”。
“触摸”表示如在交互图案中所见的交互点。触摸可以与不同的触摸参数相关联，如在任何坐标系中的触摸表面上的位置、交互强度、尺寸(例如直径、面积等)、形状等。
“帧”或“迭代”表示以数据采集开始并以触摸数据的确定结束的反复的事件。该触摸数据可以包括或基于触摸参数的任意组合。
如在此所使用的，“痕迹”是交互的时间历史的信息。来自在一个帧序列内(即，在不同时间点)所检测到的交互的触摸被收集到一个痕迹中。
痕迹可以与不同的痕迹参数相关联，如年龄、位置、位置历史、尺寸、形状等。痕迹的“年龄”表示该痕迹已经存在了多久，并且可以被作为许多帧、痕迹中最早的触摸的帧数、时间段等给出。痕迹的“位置”由痕迹中最近触摸的位置所给出，并且痕迹的“尺寸”表示该痕迹中最近的触摸的尺寸。“位置历史”或“移动轨迹”表示触摸表面上的痕迹的空间延伸的至少一部分，例如作为痕迹中最近的几个触摸的位置、或痕迹中所有触摸的位置、与痕迹的形状接近的曲线或卡尔曼滤波器而给出。
贯穿下列说明书，相同的参考标号用来标识相应的元件。
1.触敏装置
图1A至图1B展示了基于FTIR(受抑全内反射)(还被表示为“FTIR系统”)概念的触敏装置100的示例实施例。该装置通过在面板1内将光从光发射器2透射至光传感器或检测器3而运行，从而从面板1的内部照亮触摸表面4。面板1由固体材料以一个或多个层制成并且可以具有任意形状。面板1限定一个内辐射传播通道，光通过内反射在该通道中传播。在图1的示例中，传播通道被限定在面板1的边界表面5、6之间，其中，顶表面5允许传播光与触摸对象7交互，并且由此限定触摸表面4。这是通过将光注入面板1中来实现的，这样使得当光传播通过面板1时被触摸表面4中的全内反射(TIR)所反射。光可以被底表面6中的TIR或对着底表面6上的反射涂层所反射。还可以想到的是，传播通道与底表面6间隔开，例如，如果面板包括多个不同材料的层的话。装置100可以被设计成覆盖在一个显示装置或监视器上或整合在其中。
装置100允许被带到与触摸表面4非常接近或与其接触的对象7与在触摸点处的传播光交互。在此交互中，部分光可能被对象7散射，部分光可能被对象7吸收，并且部分光可能继续在其在面板1上以其原始方向传播。从而，触摸对象7引起对全内反射的局部抑制，这会造成透射光的能量(功率/强度)降低，如图1A中的触摸对象7的下游的变薄的线条所指示的。
发射器2沿着触摸表面4的周长分布，以在面板1内部生成相应数量的光片。在图1B的示例中，每个发射器2生成一束光，这束光在面板1的平面中展开，同时在面板1内传播。每一束从面板1上的一个或多个入口或入耦合点(端口)传播。传感器3沿着触摸表面4的周长分布，以在面板1上的许多间隔开的出耦合点(端口)处接收来自发射器2的光。应当理解的是，这些入耦合点和出耦合点仅仅是指该光束分别进入和离开面板1的位置。因此，一个发射器/传感器可以光耦合至许多入耦合点/出耦合点。然而，在图1B的示例中，这些检测线D由单独的发射器-传感器对来限定。
这些传感器3集体地提供一个输出信号，该输出信号由信号处理器10接收并采样。该输出信号包含许多子信号，这些子信号也被称为“投影信号”，各自表示由某一光发射器2发射并由某一光传感器3接收的光量。取决于实现方式，信号处理器10可能需要处理该输出信号，以便分离这些单独的投影信号。从概念上讲，触摸装置100被认为定义了触摸表面4上的检测线D的网格，其中，每条检测线D对应于一条(如投影到触摸表面4上的)从发射器2至传感器3的光传播通路。从而，这些投影信号表示单独的检测线D上所接收到的光的能量和功率。已经认识到的是，触摸对象7会导致一个或多个检测线D上所接收到的能量的降低(衰减)。
如下面将解释的，信号处理器10可以被配置成用于处理这些投影信号，从而确定衰减值在触摸表面1上的分布(为了简化，称为“衰减图案”)，其中，每个衰减值表示一个局部光衰减。该衰减图案可以用许多不同方式表示，例如，被表示为安排在常规x-y网格中(如在普通数字图像中)的衰减值，尽管其他类型的网格也是可以想到的，例如，六边形图案或三角网格。该衰减图案可以进一步由信号处理器10或由单独的装置(未示出)处理以用于触摸确定，这可能涉及触摸数据的提取，如每个触摸对象的位置(例如，x，y坐标)、形状或面积。
在所展示的示例中，装置100还包括一个控制器12，该控制器被连接成选择性地控制这些发射器2的激活和(可能地)来自这些检测器3的数据的读出。信号处理器10和控制器12可以被配置为单独的单元，或者它们可以被结合在单个单元中。信号处理器10和控制器12之一或两者可以至少部分地由处理单元14所执行的软件来实施。
应当理解的是，图1仅展示了FTIR系统的一个示例。例如，可以改为通过扫掠或扫描面板1内部的一束或多束光来生成这些检测线，并且该光可以改为通过顶表面和底表面5、6(例如通过使用附装至面板1的专用耦合元件)耦合至面板1中或外。例如，US6972753、US7432893、US2006/0114237、US2007/0075648、WO2009/048365、WO2010/006882、WO2010/006883、WO2010/006884、WO2010/006885、WO2010/006886、WO2010/064983以及WO2010/134865中披露了替代性FTIR系统的示例，所有这些申请通过此引用结合在此。本发明概念也可以应用于这类替代性的FTIR系统。
2.衰减图案
重建函数或算法可以用于基于输出信号中的投影信号来确定触摸表面4上的衰减图案。本发明的实施例可以使用用于基于多个投影信号值进行图像重建的任何可获得的算法，包括层析重建方法，如过滤反向投影、基于FFT的算法、ART(代数重建技术)、SART(同时代数重建技术)等。可替代地，该重建函数可以通过改编一个或多个基函数和/或通过统计方法(如贝叶斯反演)来生成该衰减图案。被设计成用于触摸确定的此类重建函数的示例可在WO2010/006883、WO2009/077962、WO2011/049511、WO2011/139213以及WO2012/050510中找到，所有这些申请均通过引用结合在此。常规图像重建技术可在数学文献例如奈特尔(Natterer)的“计算机层析成像的数学方法(The Mathematics ofComputerized Tomography)”以及卡克(Kak)和斯兰妮(Slaney)的“计算机层析成像原理(Principles of Computerized Tomographic Imaging)”中找到。
重建函数基于以下假设来设计：根据反映物理触摸系统的特性的投影函数时间点t处的输入值st取决于衰减图案at：因此，重建算法被设计成通过使用一个重建函数：从st重建at。
应当理解的是，输入值st的格式对于重建函数可以是特定的。为了使得能够进行衰减图案的重建，输入值st可以被表示为用于单独检测线的衰减值。此类衰减值可以例如基于通过k:th检测线的投影值Ik除以对应的参考值：Tk＝Ik/REFk而获得的透射值。通过适当地选择参考值，可以生成透射值，以表示在这些检测线的每一条上已测得的可用的光能的分数(例如范围[0，1]中)。每条检测线的输入值可以例如由：sk＝-log(Tk)或其近似值(例如sk＝1-Tk)所给出。
所重建的衰减图案at将表示在时间点t处触摸表面上所累计的衰减的分布。所累计的衰减包括该触摸表面上由触摸对象所引起的衰减和由污染物所造成的衰减，并且这种交互图案at因此可以被表示为“总衰减图案”或“总图案”。
如在背景章节中所指示的，本领域中已知至少部分地用总衰减图案at对触摸表面上的污染物的影响进行补偿，从而产生经补偿的衰减图案ot，被表示为“触摸衰减图案”或“偏移图案”。例如，WO2011/049512提出了一种触摸装置，该触摸装置反复地生成当前光状态(对应于总图案)。该触摸装置还反复地更新背景状态(或“背景图案”)，该背景状态是由触摸表面上的污染物所引起的估计衰减值的二维分布。然后通过从当前光状态减去该背景状态来形成一个经补偿的光状态(对应于偏移图案)。在WO2011/028169中提出了一种替代性或补充性补偿技术，其中，在将投影值转换成输入值的过程中所使用的参考值(REFk)被间歇性地更新，从而包括触摸表面4上的污染物的影响。通过经由参考值的更新来跟踪污染物的影响，触摸装置补偿已经存在于重建函数的输入中的污染物，由此直接生成了偏移图案。WO2011/049512和WO2011/028169以及2012年9月24日提交的申请人的PCT申请PCT/SE2012/051006都以其整体通过引用被结合。
在图2A中，总图案at在触摸表面(参见图1B)的坐标系X，Y中被展示为一幅3D绘图。图案at表示触摸表面上来自触摸和污染物两者的累计衰减。图2B是背景图案bt-1的绘图，展现了由来自早先触摸的指纹引起的第一衰减分量α1、由来自停留在触摸表面上的手掌的污迹引起的第二衰减分量α2，以及由液体溅撒引起的第三衰减分量α3。图2C是通过从at逐像素地减去bt-1而得到的偏移图案ot的绘图。在接近零衰减的均匀背景水平下看见形成三个触摸的三个波峰β1、β2、β3。
已经认识到的是，推导此偏移图案ot以反映触摸表面上触摸相关的衰减的长期变化，例如由触摸表面上的对象的当前安排与不具有触摸对象的干净的触摸表面相比所引起的衰减差，以及或多或少不包括污染物所造成的差。
还可以生成一个差分衰减图案，该差分衰减图案表示更短的时间标度的变化，通常是比痕迹的时间范围短(短得多)的时间段Δt内发生的变化。这种差分衰减图案在此被表示为“差图案”并且由dat指定。
可以通过用前一偏移图案减去当前的偏移图案来计算该差图案dat：dat＝ot-ot-Δt。可替代地，可以通过用前一总图案减去当前的总图案来计算该差图案dat：dat＝at-at-Δt，前提是Δt被选定为足够小以避免污染物的显著积累，同时足够长以供触摸对象的移动产生衰减改变。在一个示例中，时间差大于大约5ms，优选地大约20-80ms(但是可以有1-5秒那么大)。
在另一种替代性方案中，可以从变化值dst来重建差图案dat，这些变化值是通过采取当前时间点(t)和前一时间点(t-Δt)之间的输入值之差：
ds t = s t - s t - Δt = log ( I t - Δt REF ) - log ( I t REF ) = - log ( I t REF / I t - Δt REF ) = - log ( I t / I t - Δt ) ,
或，等效地，通过对数信号值之差：
dst＝-log(It/It-Δt)＝log(It-Δt)-log(It)而得到的。
从而，重建函数可以作用于变化值dst以生成差图案dat，假设该重建函数至少近似地线性：
通过作用于变化值，可以排除计算、存储和检索不同时间点处的总图案或偏移图案的需要。
在2012年10月8日提交的申请人的PCT申请PCT/SE2012/051073中披露了用于生成差图案的进一步替代性方案，该申请以其整体通过引用被结合。
不考虑实施方式，该差图案dat是差值在触摸表面(或该触摸表面的一个相关部分)上的分布，其中，每个差值可以表示在该触摸表面上的特定位置或重建单元(像素)中Δt内的衰减的局部变化(增强/减弱)。因此，差图案dat可以被视为在Δt内触摸表面上的触摸交互和污染物贡献的变化的图像。差图案dat主要表示由与触摸表面接触的移动对象以及在Δt内从触摸表面移除或添加至该触摸表面的对象所造成的衰减的时间变化。移动对象通常作为差图案中的“偶极子波峰(dipole peak)”出现，即，一个正波峰和一个负波峰的组合。图3A是包含两个偶极子波峰和的差图案dat的3D绘图。图3B是图3A中的差图案dat的平面视图。当在Δt内移动对象时，相应的触摸会占据新的像素(从而产生一个正波峰)，并离开旧像素(从而产生一个负波峰)。如果要从该触摸表面将对象移除，则将由差图案中的单个负波峰来表示所移除的触摸，并且如果使对象与触摸表面接触，将由单个正波峰来表示新的触摸。在图3B中，已经认识到在Δt内已经将对象从彼此移开。
本发明的实施例可以作用于或者总图案、偏移图案或者差图案、或者这些图案的组合以跟踪触摸表面上的对象的移动。因此在下文中参考了“衰减图案”或“图案”，该衰减图案或图案旨在指定上述所有类型的图案，除非另行指明。
3.跟踪
运行触摸装置100以在多个连续的时间点生成图案，从而使得能够根据时间来跟踪触摸表面上的多个对象的移动。跟踪在触摸表面上产生移动轨迹，并且可以例如允许触摸表面上的用户控制的手势的识别。例如，图4展示了在触摸表面4上用“非捏紧的(un-pinch)”手势(该手势可以被解释为“缩小”命令)拖拽的两个对象7的移动轨迹T1、T2。
图5是一种用于在图1的装置100中跟踪多个对象的方法的实施例的流程图。该方法涉及由(典型地由信号处理器10(图1))反复执行的步骤50-56序列。在本说明书的上下文中，每个步骤50-56序列称为一个“帧”或一次“迭代”。
每个帧以数据采集步骤50开始，在该步骤中，从光传感器3获取输出信号，例如通过从前述投影信号It中的每一个采样一个值。数据采集步骤50产生每条检测线的一个投影值。可以注意到，可以(但不必)为装置100中的所有可用的检测线采集数据。数据采集步骤50还可以包括预处理这些投影值，例如，过滤以降低噪声。
在转换步骤51中，取决于实施方式，处理投影值It以用于转换成输入值st或变化值dst。
随后的图案生成步骤52对输入或变化值运行重建函数以生成图案，例如根据第2章中所描述的技术的任意一种。
在波峰检测步骤53中，然后处理图案以用于波峰的检测，例如使用任何已知技术。在一个实施例中，首先将一个总体或局部阈值应用于该图案以抑制噪声。可以对任何具有落在该阈值以上的衰减值的区域进行进一步处理以找到局部极大值。可以对所识别的极大值进行进一步处理以用于触摸形状和中心位置的确定，例如通过使二维的二阶多项式或高斯钟形适配衰减值，或通过找到这些衰减值的惯量椭圆。可以用类似的方式识别局部极小值。还存在很多其他本领域中熟知的技术，如聚类算法、边缘检测算法、标准团块检测、分水岭技术、洪水填充技术等。步骤53产生一个波峰列表，该波峰列表可以包括不同波峰参数的值，例如波峰位置、波峰尺寸、波峰形状、波峰衰减、和波峰符号。该波峰衰减可以由一个波峰衰减值或该波峰形状内的衰减值的加权和给定。该波峰符号表示该波峰在该图案中为正还是负。
步骤54将该波峰列表中所检测到的波峰与痕迹历史列表THLt-1中现有的痕迹进行匹配，该痕迹历史列表是现有痕迹的记录并被从电子存储器M检索。可以用任何适当的数据结构(线性的或非线性的)(如列表、哈希表、二叉树等)来实施该记录。维护该痕迹历史列表以包含被认为与当前帧相关的痕迹(例如所有被认为存在的痕迹，还可以包括任何被认为并非不可能存在的痕迹)的痕迹参数的值。如上述所指出的，这些痕迹参数可以例如包括每个痕迹的年龄、位置、位置历史、衰减强度、尺寸、和形状。匹配会产生匹配波峰、非匹配波峰和非匹配痕迹。然后基于该匹配对该痕迹历史列表THLt-1进行更新，并且该列表被存储为存储器M中的当前痕迹历史列表THLt以用于即将到来的帧。该更新可以涉及对现有痕迹的痕迹参数值的更新、对终止的痕迹的移除以及新的痕迹的痕迹参数值的插入。
在步骤55中，确定和输出当前触摸数据，此时，过程返回至数据采集步骤50。该当前触摸数据可以指示终止的痕迹(向上触摸)、新的痕迹(向下触摸)和相关联的参数值、以及前进的痕迹和相关联的参数值。可以通过选定在波峰检测步骤的过程中所确定的值、匹配和更新如波峰参数值或痕迹参数值来确定这些参数值。步骤55可以输出触摸数据以用于步骤54中所识别的所有的现有的和新的痕迹。然而，可以想到的是，步骤55实现了一种“输出滤波器”，该输出滤波器操控当前触摸数据以改善用户体验。例如，该输出滤波器可以将许多帧的新的痕迹的输出延期以抑制错误的波峰检测的影响。同样，该输出滤波器可以被配置成用于延迟许多帧的非匹配痕迹的移除，例如通过在这些帧中输出非匹配痕迹的最近触摸数据或通过输出基于触摸历史列表中的痕迹参数值针对这些帧而投影的触摸数据。还可以想到的是，该输出滤波器被配置成用于在步骤55中所找到的痕迹中进行一次主动选择，并且仅针对所选定的这些痕迹输出当前触摸数据。
已经认识到的是，跟踪是一项苛刻的任务，尤其是存在干扰的情况下，因为不仅必须正确地匹配在不同时刻所检测到的触摸，而且必须正确地检测新的触摸的发生(即新的移动轨迹的开始，“向下触摸”)和现有触摸的消失(即，前进的移动轨迹的终止，“向上触摸”)。还注意到的是，触摸不仅在图案内而且根据时间在衰减方面明显地不同。例如，在基于FTIR的触摸装置中通常看见移动对象(“拖拽”)产生比静止对象更弱的衰减。干扰可以例如由测量噪声、重建函数所引入的伪像、或环境光(即，源自面板外部的源并被传感器所检测到的光)所造成。如下面将在第4节中所解释的，干扰还可能源自对触摸表面上的污染物的不完整补偿和/或由触摸对象所散射的光所造成。已经认识到的是，如果干扰被错认为是真实触摸并被用作新的痕迹的开始点或作为位置添加至现有痕迹中，可能会严重地妨碍跟踪过程。通过上述输出滤波器的合理设计，可以避免用户受到遭受微小的跟踪差错影响。然而，更大的跟踪差错可能在跟踪历史列表中传播并破坏用户体验。在图6A至图6B中给出了一种示例。图6A展示了多个触摸位置(黑点)，当在触摸表面上拖拽手指时以帧时序识别和匹配这些触摸位置。虚线表示一些帧的跟踪失败，使得跟踪将拖拽分离至被停止的第一痕迹T1中，以及从第一痕迹T1移开的第二痕迹T2中。失败的跟踪可能例如由留下匹配至第一痕迹T1中的指纹的手指所造成，由此第一痕迹T1被视为停止。当手指从该指纹移开时，该跟踪再次检测由手指所造成的波峰并且将这些波峰确定为属于新的痕迹T2。如图6B所示，让用户惊讶和失望的是，从输出步骤55接收此触摸数据的应用控制器可以将第一和第二痕迹解释成表示两个对象7的非捏紧的手势(参见图4)并发起缩小操作。
为了抑制跟踪差错，图5A中的方法包括一个差错抑制步骤56，该步骤被设计成用于减少当在步骤54中更新痕迹历史列表时引入和传播跟踪差错的可能性。在所展示的实施例中，差错抑制步骤56为一个具体的痕迹(被表示为“所涉及的痕迹”)识别了一个潜在跟踪问题，并且然后为所涉及的痕迹定义多个移动命题。这些移动命题是在跟踪过程中在下游被评估(例如在一个给定的评估时间段内)的不同假设。在下文中，假设评估作为步骤56的一部分被执行。然后，在后续帧的步骤54中，评估的结果被用于控制所涉及的痕迹的更新。要理解的是，可以(但不必)在每个帧中执行步骤56。同样地，可以(但不必)在评估时间段内对每个帧执行移动命题的后续评估。
在一个实施例中，通过将专用试探法应用于步骤53中所检测到的波峰中来确定潜在跟踪问题，从而识别任何不确定的波峰(“可能错误的波峰”)，即，广义上讲被认为很可能(或被认为并非不可能)源自干扰的波峰。该试探法可以被定制成用于识别来自特定类型的干扰的波峰。在下文的第4节中给出了不同试探法的示例。
参照图5A的实施例及其变体，应该理解的是，可以同时地使所指示的步骤中的一个或多个生效。例如，一个后续帧的数据采集步骤50可以与步骤51-56中的任一步骤同时开始。
3.1预测方法
在一个实施例中，差错抑制步骤56基于一种预测方法，即，移动命题表示所涉及的痕迹的可能的未来轨迹。为了解决图6中所展示的跟踪问题，步骤56可以定义两个不同的移动命题：“停止命题”：对象被停止，和“移动命题”：对象继续以其当前方向沿着试验性痕迹移动。
图7中例示了该预测方式，其中，黑点表示匹配触摸位置，正方形表示一个所识别的跟踪问题，十字表示所检测到的波峰，白点表示预测触摸位置，实线表示痕迹，并且虚线表示试验性痕迹。图7A将试验性痕迹的概览作为安排在评估时间段Δt1内而给出。生成了这些预测位置p1-p6以表示当评估移动命题时连续帧f1-f6中的每一个中所涉及的痕迹的似乎可能的位置。如技术人员所熟知的，可以由步骤56来定义(例如通过从所涉及的痕迹的位置历史来推测)这些推测位置p1-p6。相对于每个预测位置p1-p6定义了一个搜索区域s1-s6，该搜索区域可以(但不必)包括对应的预测位置p1-p6。在移动命题的评估过程中，对所检测到的落入搜索区域s1-s6的波峰进行处理以用于评估移动命题。如果该移动命题被认为很可能在评估时间段Δt1内或末尾，步骤54将收到信号而相应地更新痕迹历史列表中所涉及的痕迹。否则，步骤54将收到信号而将所涉及的痕迹更新为被停止。评估时间段Δt1的长度影响FTIR系统对跟踪问题的灵敏性。该时间段应该足够长以使得能够检测连续的移动，同时足够短以避免其他对象的此移动错误地连接至所涉及的痕迹。该评估时间段Δt1的长度以及搜索区域s1-s6的尺寸和布置是日常实验的主题。
在图7B至图7D中展示了许多可以想到的实施方式中的一种。在图7B中，在搜索区域s3中在帧f3内发现了一个波峰，并且该波峰被指定为备选位置c3。如果在搜索区域发现了不只一个波峰，该评估可以将最佳匹配(例如基于相互距离和/或尺寸的类似性、衰减强度等)选定为备选位置，或作用于多个备选位置。在图7C中，发现在帧f4中所识别的波峰与备选位置c3匹配(例如基于相互距离和/或尺寸的类似性、衰减强度等)。这可能会造成步骤56选择移动命题，并造成步骤54如图7D中所指示地更新所涉及的痕迹。清楚地，在接受移动命题之前，步骤56可以要求一个更大的匹配备选位置序列。在一个变体(未示出)中，在接受移动命题之前，步骤56可以要求连续的备选位置位于对应的搜索区域内。在另一个变体(未示出)中，这些搜索区域之一内一有一个备选位置，步骤56就可以接受移动命题。参照图7D，应当理解的是，当其在步骤54中被更新时，预测位置(p1、p2和可能地p3)可以(但不必)被添加至所涉及的痕迹。
如果步骤56改为选择停止命题，将如图7E中所示地更新所涉及的痕迹。应当认识到的是，经更新的痕迹的前端在彼此的顶部包括多个触摸位置(每个帧f1-f6一个)。
在一个变体(未示出)中，搜索区域s1-s6被相对于所涉及的痕迹而定义的单个搜索区域替换或补充。单个搜索区域可以被定义为包括评估时间段Δ□i内的试验性痕迹的范围(参见图7A)。例如，单个搜索区域中所检测到的所有波峰可以用于对移动命题进行评估。
图7F展示了预测方法的延伸。在此，步骤56定义了一个包括跟踪问题的阻塞区域或不确定性区域b1。可以相对于跟踪问题的位置、所涉及的痕迹的当前位置、所涉及的痕迹在即将到来的帧中的预测位置等来设置阻塞区域b1。阻塞区域b1将解决以下事实：跟踪问题的原因可以持续并且影响即将到来的帧中的跟踪过程。该阻塞区域可以与不同的函数相关联。在一个变体中，可以防止步骤53检测阻塞区域b1内的波峰。在另一个变体中，防止步骤56中的评估基于在阻塞区域b1中所检测到的波峰来评估移动命题。而在另一个变体中，防止步骤54将在阻塞区域b1中所检测到的波峰与其他的痕迹(即，不只是所涉及的痕迹)进行匹配。这些变体的组合是可能的。例如，在图7F中，阻塞区域b1中的波峰既不能产生新的痕迹又不能用于对移动主题进行评估。阻塞区域b1通常存在于评估时间段Δt2内，该评估时间段可以(但不必)与时间段Δt1一样。可能希望独立于Δt1来设置Δt2，因为Δt2与跟踪问题的起源的时间标度相关，而Δt1与同触摸表面的真实交互的时间标度相关。
在一个变体(未示出)中，省略了阻塞区域，并且允许新的波峰直接被步骤53所检测到并被步骤54所使用，但不用于与所涉及的痕迹匹配。从而，可以允许步骤54仅使用所检测到的波峰来创建新的痕迹和/或更新所涉及的痕迹之外的其他痕迹。
3.2反应方法
在另一个实施例中，差错抑制步骤56基于一种反应方法，即，基于在所涉及的痕迹附近所识别的痕迹来评估移动命题，由此这种痕迹可以与所涉及的痕迹相连。该反应方法还可以使用停止命题和移动命题。
在图8中例示了反应方法，其中，黑点表示匹配触摸位置，正方形表示所识别的跟踪问题，点表示波峰，并且虚线箭头表示所估计的起源轨迹。图8A示出了在检测潜在跟踪问题之后对一些帧的跟踪。定义了一个阻塞区域或不确定性区域b1来包括潜在跟踪问题，(例如)如上文参照图7F所描述的。阻塞区域b1将存在于评估时间段Δt2内并被用于防止阻塞区域b1中出现的波峰被用于评估移动命题。取决于实施方式，可以限制步骤53检测阻塞区域b1内的波峰，或可以防止步骤56基于在阻塞区域b1中所检测到的波峰来评估移动命题。与图7F中的示例类似，阻塞区域b1可以具有防止步骤54将在阻塞区域b1中所检测到的波峰与其他痕迹匹配的附加效果。步骤56通过分析评估时间段Δt1内在阻塞区域b1外部检测到的新的痕迹来评估移动命题，以用于与所涉及的痕迹可能的连接。此评估可以包括对每个新的痕迹的起源的明显方向的确定，例如通过向后投影新的痕迹，如图8A中的虚线箭头所指示的。如果起源方向离所涉及的痕迹足够近，步骤56可以选择移动命题并使步骤54如图8B中所指示的那样更新所涉及的痕迹。可替代地或另外地，步骤56中的评估可以基于所涉及的轨迹和每个新的痕迹的起源之间的距离，和/或所涉及的痕迹中的触摸和新的痕迹中的触摸之间的面积和/或形状的相似度。
在一个可以与阻塞区域的使用相结合的变体(未示出)中，步骤56被限制成对在专用搜索区域内具有起源的新轨迹进行评估，可以相对于所涉及的痕迹或跟踪问题来定义这些新的痕迹。这种搜索区域的使用可以通过限制要评估的新的痕迹的数量来减少处理。该搜索区域可以具有固定的位置和范围，或它在评估时间段Δ□i内可以具有一个时变的范围和/或位置。
3.3其他移动命题
停止和移动命题仅是步骤56中可以使用的命题的示例。即使这些命题捕捉了触摸表面上的多个对象的许多移动，可以与其组合或将其替换以用于其他且更详细的移动命题，例如(对象倒转方向的)倒转命题、(对象向左旋转90°的)左转命题、(对象向右旋转90°的)右转命题等。
在某些FTIR系统中，对于跟踪过程来说区别向上触摸事件(被从触摸表面提起的触摸对象)和开始移动的触摸对象(静止痕迹)可能比较困难。例如，在不同的图案中，向上触摸事件不仅可以产生负波峰，而且可以产生环绕该负波峰的圆中的小正波峰“环面”。图9是具有这种环面形状的一个不同图案dat的示例。返回至图3B，已经认识到的是正和负波峰的结果的组合可能被错误地解释为对象的移动而非向上触摸事件。为了处理这种潜在跟踪差错，步骤56可以被配置成用于将环面形状识别为潜在跟踪问题，并定义有待在评估时间段Δt1内评估的一个移动命题和一个“向上触摸命题”。可以根据这些预测或反应方法中的任意一种评估该移动命题。如果移动命题被拒绝，则可以选择向上触摸命题。可替代地，可以通过在潜在跟踪问题的位置处存在/不存在波峰的评估来确认向上触摸命题。
通常，应该注意的是，如果步骤56能够对不同类型的潜在跟踪问题进行识别或分类，如环面形状、小伪波峰、方形极点(quadropole)(见下文)，步骤56可以取决于潜在跟踪问题的类型定义有待评估的命题的不同组合。例如，方形极点可能导致移动或停止命题，而环面形状可能导致移动和向上触摸命题。可替代地或另外地，步骤56可以取决于所涉及的痕迹的位置历史(即，前述帧中所涉及的痕迹的移动特性)定义不同的命题，(例如)这样使得在运动中为所涉及的痕迹定义停止和移动命题，并且使得在其余部分中为所涉及的痕迹定义向上触摸和移动命题。
3.4跟踪间歇性地提起的对象
本发明跟踪技术还适用于跟踪从触摸表面间歇性地提起的对象，例如以产生双击。双击包括两次连续的点击，即，向下触摸、向上触摸、向下触摸、以及向上触摸。如果这些点击之间的时间较短，双击可能被误认为是静止痕迹，即，对象对触摸表面进行触摸并且然后保持在此位置。图10包括不同类型的触摸事件的偏移图案内的一个位置处的衰减强度的时间变化图。图10A表示触摸表面上的单击。当衰减强度上升至阈值水平TH以上时检测到向下触摸事件，并且当衰减强度落至该阈值水平TH(或不同的阈值水平)以下时检测到向上触摸事件。图10B至图10C是当对象对触摸表面进行触摸并且然后保持静止时的衰减强度的时间变化的示例。向下触摸事件一段时间之后的衰减强度的下降可能(部分地)归因于触摸对象和触摸表面之间的作用压力的变化。图10D表示连接不断的两次点击，其中，这些点击之间的时间并不允许衰减强度落到阈值TH以下。因此，常规的跟踪过程将忽略图10D中的双击。差错抑制步骤56可以被适配成用于处理此状况。例如，当其发现从其开始(即，从向下触摸事件)的某个时间段内具有衰减强度的瞬时最小值时，步骤56可以识别潜在跟踪问题。在图10C至图10D中在箭头处找到瞬时最小值。步骤56还可以定义一个“接触命题”(对象保持与触摸表面接触)和一个“双击命题”(对象生成双击)。然后步骤56在评估时间段Δt1内对这些命题进行评估。如果衰减强度在Δt1内落到阈值水平TH以下，可以选择双击命题，否则可以选择接触命题。
4.错误的波峰的起源和检测
如上文中所解释的，错误的波峰可以被用作潜在跟踪问题的标志。某些错误的波峰是由特定于FTIR系统的干扰而生成的。下文中，相当详细地讨论了错误的波峰的两个不同起源，紧跟着是对可以用于识别错误的波峰的不同试探法的描述。
4.1光散射所引起的错误的波峰
光散射是造成面板内的部分传播光从其原光路偏离的物理过程。在FTIR系统中，面板内可能存在固有散射，例如由限定辐射传播通道的边界表面的不规则性所造成的散射，和面板的粒状材料的不规则性所造成的散射。此散射可能随着时间是不变的，并且可能被装置的校准考虑在内。
在FTIR系统中，光散射还可能是由触摸对象以及触摸表面上的污染物(如指纹和污点)所造成的。这种类型的光散射是动态的，即，它随着系统的使用而改变，因为对象的位置和污染物的分布两者都可以随着时间而变化。此外，光散射可以取决于对象的类型以及该对象有多紧地压在触摸表面上而不同。同样地，不同类型的污染物(例如指纹和液体溅撒)的光散射可以不同。例如，人手指上或指纹中的山谷和山脊(valleys andridges)的图案可能会造成光的不规则散射，以及取决于传播光的一致性的干扰/衍射现象。
图11A至图11D展示了光散射对由FTIR系统中的光传感器3所测得的投影值的影响。为了简化的目的，该系统被展示为具有一个光发射器2和五个光传感器3。在图11A中，使对象7与触摸表面接触。在图11B中，假设该装置免于动态光散射。发射器2被激活以生成一条第一和一条第二检测线。该第一检测线直接穿过对象7和该触摸表面之间的接触区域，从而产生一个减小的投影值(即，增大的衰减)。该第二检测线直接传到触摸表面的右侧，并且将产生一个不变的投影值(即，没有衰减)。图11C展示了动态光散射效应。向前碰撞该接触区域的光的一部分被该对象散射并照射在第二检测线的传感器上。从而，如图11D所示，第二检测线的投影值将表示到达其传感器的传播光(图11B)和到达其传感器的散射的光(图11C)之和。这会导致该第二检测线的增大的投影值(即，减轻的衰减)。当对象7被局部污染物(如指纹)所替代时，关于图11的讨论同样地适用。
如果图11D中的对象7现在被从触摸表面提起(或等效地，如果局部污染物至少部分地被移除)，第一检测线的投影值将增大，同时第二检测线的投影值将减小(因为散射光被移除了)。从而，第二检测线的衰减将增强，这可能会在结果图案中产生一个正波峰，该结果图案可能会被错误地解释成新的触摸。
已经认识到的是，动态光散射导致检测线之间的光能的重新分布。典型地(但不是一般地)，动态光散射会影响传至散射的对象/污染物附近的检测线。这将导致所得图案中的衰减的重新分布。因为光散射没有创建新的光，该图案中的重新分布的衰减之和应当是零。这意味着动态光散射在该图案中产生正和负波峰两者。这些散射诱导的波峰通常作为环绕散射的对象/污染物的局部现象而发出。图12是覆盖在偏移图案(ot)上的痕迹T1的示意性图解，该痕迹包含源自单个触摸对象的波峰。这些波峰形成了一个具有两个正波峰和两个负波峰的封闭的组，在此集体地表示为“方形极点”。这种方形极点可以重叠在表示对象7的一个或多个真实波峰(正/负)上。这些真实波峰可以由此被该方形极点至少部分地掩盖。
4.2污染物变化所导致的错误的波峰
当对象在触摸表面上沿着一条轨迹移动时，它会改变该触摸表面上的污染物。例如，如果该对象是一只手指，它既可以将手指油脂增加到触摸表面上又可以重新安排触摸表面上现有的污染物。此类污染物变化或“残留物变化”可以被解释为图案中的波峰，即使图案被处理以主动地补偿污染物(例如在前面所描述的)。
图13A是触摸表面4上的对象7的示意图，其中，该对象留下了如虚线所指示的污染物尾部90。可以对尾部90所引起的衰减进行估计并通过现有的技术对其进行补偿。然而，彻底地补偿污染物的影响可能会比较困难，尤其是如果污染物沿着尾部90并在其内部不均衡地分布的话。例如，图13A指示了两个区域91、92，这两个区域中的污染物显著地多于所期望的。由此，这些区域91、92将会导致沿着图案中的移动轨迹的正波峰。在图14中的偏移图案ot中对此进行了进一步展示，其中，沿着单个触摸对象的现有的痕迹T1观察由局部增多的污染物所导致的正波峰。如图15中所展示的，类似的干扰可能发生在不同的图案dat中，其中，痕迹T1在其前端包括一个由对象在Δt内向触摸表面上的新区域内的移动所导致的正波峰，一个由该对象从其前一位置离开的移动所导致的负波峰，以及两个由导致局部增强的衰减的新增加的指纹所导致的正波峰。
图13B是触摸表面4上的对象7的示意图，该触摸表面上具有一个旧污染物尾部93。当擦去尾部93内的一部分污染物时，对象7已经被在表面4上移动，同时在表面4上留下一个新的污染物尾部90。如果当生成图案时未正确地估计尾部93内的污染物，可能会或者过低估计或者过高估计区域94中的污染物的量，从而导致沿着对象的痕迹的一个正或负波峰。
4.3错误的波峰的检测
可以基于潜在地错误的波峰识别或预测潜在跟踪问题。可以通过借助专用试探法来评估所检测的波峰来检测错误的波峰，该专用试探法被设计成用于检测已知以特定方式发生(例如，如前文所描述的方形极点、环面形状、和污染物波峰)的错误的波峰。可替代地或另外地，可以通过一般试探法来检测错误的波峰，该一般试探法被设计成用于检测痕迹中的错误的波峰的不合理的或至少不太可能的表现，如过高的速度或速度变化。现在接下来是专用和和一般试探法的一些示例。
4.3.1一般试探法
一般试探法可以计算和分析痕迹的速度和/或加速度，以判定一个错误的波峰已经被匹配在该痕迹中。如果(例如)发现痕迹的向心速度和/或向心加速度太大(例如以人力不可能的)，可以识别该痕迹的一个跟踪问题。同样，切向加速度(尤其是减速)和切向速度可以指示一个跟踪问题。
图16展示了常规的跟踪过程中当错误的波峰匹配到痕迹中时痕迹的表观速度和加速度是怎样受影响的。图16A展示了由五个波峰所形成的第一痕迹。在图16B中，第一痕迹到达具有多个错误的波峰的区域，例如方形极点，并且被与一个波峰匹配，同时另一波峰(错误的)形成第二痕迹的起点。在图16C至图16F中，第一和第二痕迹被连续地与这些在衰减图案中普遍的错误的波峰匹配。已经认识到的是，第一痕迹将在图16C中展现一个显著的向心速度和加速度，并在图16D中展现一个显著的切向减速。这些异常中的任意一种或两者可以用于识别潜在跟踪问题。
应当注意的是，速度和/或加速度的异常可以不考虑错误的波峰的起源而发生。例如，如果大量污染物被遗留在移动对象上而产生匹配到对应的痕迹中的正波峰，可能会发生过大的减速。
另一种一般探测法可以分析所检测的波峰的面积和/或形状以识别错误的波峰。
4.3.2专用试探法
一种专用试探法可以被设计成用于识别上述方形极点。图17展示了方形极点的时间演化，该方形极点是当对象被扫掠过时由触摸表面上的污染区域生成的并由此导致显著的光散射。用一条实线来指示该痕迹，该实线在问题区域中变成虚线。应当注意的是，衰减图案中的波峰是由光散射所导致的波峰、触摸对象所导致的波峰、和污染物(如指纹)所导致的波峰的叠加。图17A和图17B展示了分别紧接方形极点的形成前和后的痕迹。图17C至图17E指示了当对象经过问题区域时方形极点在范围和幅度上逐渐地降低。在图17E至图17F中，当离开问题区域时，该对象由一个正波峰表示。图17F还包括痕迹上的一个由持久的指纹所导致的错误的波峰。显然，负波峰的存在通常(并且具体在痕迹外部)可以指示光散射。
相应地，可以通过应用包括一个第一规则的“散射试探法”来识别潜在跟踪问题，该第一规则规定与一个或多个负波峰相关联(例如位于其附近)的正波峰有待被指定为一个不确定的波峰。该第一规则可以应用于多个正波峰，这些正波峰与一个或多个负波峰一起位于给定范围的搜索区域内。该搜索区域可以例如被定义为环绕每个负波峰。在一个变体中，该搜索区域被定义为环绕这些正波峰中的一个或多个，例如已经被与图17B中的痕迹匹配的正波峰。可以取决于FTIR系统的设计、该重建函数和散射的对象/污染物的可想到的最大尺寸来设置该搜索区域的范围。在一个非限制性示例中，该搜索区域被设置为1-50mm范围内的一个直径。在一个替代性方案中，通过为正和负波峰的特定空间组合搜索波峰来识别与负波峰相关联的正波峰，例如通过模板匹配。这种模板匹配可以是与规模和/或旋转无关的，或可以将单独波峰的衰减强度、尺寸、形状等因素包括进来。
如上所述，不同的图案可以表示并非源自干扰但是自然地沿着触摸对象(参见图3B和图15)的移动轨迹(痕迹)而发生的负波峰。从而，当作用于不同图案时，只要该(或这些)相关联的负波峰与当前痕迹空间地分离，就可以但不必修改该第一规则以规定正波峰有待被设计成不确定的波峰。这种已修改的第一规则还可以应用于偏移图案，这些偏移图案可以呈现类似的负波峰，例如由延迟的或不完整的污染物补偿所引起。
在一个进一步的变体中，散射试探法可以包括一个第二规则：所有负波峰都有待被指定为不确定的波峰，从而防止将负波峰引入痕迹历史列表中。然而，本领域技术人员已经认识到存在其他的排除负波峰的方式，例如在匹配和更新步骤54(图5A)中排除所有负波峰的使用。
该散射试探法将降低散射现象所造成的波峰被识别为表明触摸对象的可能性。此外，散射试探法可以用来抑制源自其他类型的干扰的波峰的影响。
另一种专用试探法可以被设计成用于识别上述环面形状，例如通过模板匹配或任何用于检测环形构造(如模糊聚类、霍夫变换等)的技术。
但是另一种专用的试探法可以被设计成用于识别污染物诱导的正波峰。这种“污染物试探法”可以包括一个第一规则，该第一规则规定：如果它沿着现有的痕迹定位，正波峰有待被指定为不确定的。该污染物试探法可以包含一个第二规则，该第二规则规定：只要它与现有的痕迹是非匹配的，这种正波峰就有待被指定为不确定的。该第二规则将允许该方法跟踪与另一痕迹相交的触摸，因为污染物试探法没有识别匹配波峰。可以想到的是，该污染物试探法还包括一个第三规则，该第三规则规定：只要它位于离现有的痕迹的前端的最大距离内，正(匹配或非匹配)波峰就有待被指定为不确定的波峰。该第三规则可以降低现有痕迹中发生的新的触摸被指定为不确定的波峰并防止将其添加至痕迹历史列表中的风险。由于污染物诱导的波峰很有可能在相对接近痕迹的前端处发生，可以在不将错误的波峰引入痕迹历史列表的情况下使用该第三规则。该第三规则中所使用的最大距离可以是欧氏距离(Euclidian distance)或沿着痕迹的距离。在一种实施方式中，该最大距离是一个固定的、绝对的距离。在另一种实施方式中，根据痕迹速度动态地设置该最大距离，这样使得更高的痕迹速度导致更大的最大距离。这将保证污染物诱导的波峰对于在触摸表面上快速移动的对象也被设计成不确定的。在一个示例中，该最大距离是一个沿着痕迹从其当前位置到其给定数量的帧之前(例如5个、10个或20个帧)的前一位置。由此，只要它落入痕迹的最近的轨迹中，正波峰就将被指定为不确定的，其中，最近的轨迹的范围随着痕迹的速度而自动地缩放。
5.跟踪方法的示例
图18是跟踪方法的实施例的流程图，并且展示了单帧中的不同步骤是怎样运行以占据不同数据结构的。紧接着步骤52中的衰减图案生成(参见图5A)的是，波峰检测步骤53检测所有相关的波峰(正的和负的两者)，并将波峰的信息存储在波峰列表中。从而，波峰列表的内容与当前帧相关。然后，步骤54作用于将痕迹历史列表中多个现有的痕迹与该波峰列表中的正波峰匹配。匹配结果用于通过将当前数据添加至现有痕迹(同时移除丢失的痕迹并添加新的痕迹)来更新痕迹历史列表。从而，用跨若干帧的痕迹信息来更新痕迹历史列表。下一步骤56A通过应用以上所识别的试探法中的一种或多种来检测潜在跟踪问题。如果为一个或多个痕迹找到了潜在跟踪问题，为所涉及的每个痕迹发起两个或更多个移动命题，并且将相应的信息存储在试验性痕迹列表中。从而，用(上述评估时间段Δt1内)与跨若干帧的所涉及的每个痕迹的移动命题中的一个或多个相关的信息来更新试验性痕迹列表。下一步骤56B对移动命题进行评估，并选择(如果可能的话)试验性痕迹列表中所涉及的痕迹中的一个或多个的移动命题之一。然后用所涉及的痕迹的所选择的移动命题来更新痕迹历史列表。步骤56B通常作用于在前述帧内添加试验性痕迹列表的移动命题。然后，步骤55输出痕迹历史列表中的所有痕迹或其一个子集的最佳推测，并且还输出表示所涉及的所有痕迹及其一个子集的数据。存在许多处理所涉及的痕迹的方式。在一个示例中，步骤55可以根据这些命题之一输出触摸数据，例如移动命题或停止命题，然后切换至步骤56B最终选择的移动命题(如果需要的话)。
所展示的数据结构仅为示例。例如，痕迹历史列表和试验性痕迹列表可以被结合在常用数据结构中。
步骤54可以被视为维护痕迹历史列表的过程。图19给出了这种维护过程的详细示例，其目的在于基于(步骤53中所检测到的)当前波峰和痕迹历史列表中的痕迹之间的匹配用当前痕迹参数值来更新痕迹历史列表。
在步骤61中，用于痕迹历史列表中的痕迹的痕迹参数值被处理以用于针对当前帧而生成预测值。取决于实施方式，步骤61可以运行以预测痕迹历史列表中所有痕迹的最可能的位置(坐标)、尺寸和形状。步骤61可以被省略，但是目前被认为当计算匹配值(下文)时会提高距离测量的质量。
在步骤62中，痕迹参数的(预测)值与波峰列表中的波峰的相应参数值匹配。由此，在每个波峰和痕迹历史列表中的每个痕迹之间计算一个匹配值。该匹配值指示波峰和特定痕迹之间匹配的可能性。例如可以根据波峰的位置和痕迹的(预测)位置之间的欧氏距离，和/或根据尺寸和/或形状和/或衰减强度的近似度来计算该匹配值。同样，可以为被认为不可能的波峰-痕迹组合设置无效的匹配值。波峰-痕迹组合的一种限制可以由波峰的(预测)位置和痕迹的位置之间的最大距离给出。在一个示例中，如果该距离大于15mm，匹配被认为是不可能的。对所允许的波峰-痕迹组合施加约束还使得使用更巧妙的算法进行匹配值计算(例如，触摸表面上的分层搜索)成为可能。应当理解的是，可以计算匹配值以将痕迹历史列表中所包括的进一步的痕迹参数(例如，痕迹的年龄)的因素包括进来。
在总图案和偏移图案中，用一个正波峰表示触摸对象。对于此类衰减图案而言，步骤62可以忽略所有负波峰，即，只有正波峰与现有的痕迹匹配。在不同的图案中，可以用正和负波峰两者表示触摸对象，并且步骤62可以使或者正波峰或者负波峰(或者其组合)与现有的痕迹匹配。
在步骤62中，还基于匹配值将所识别的波峰分配(即，匹配)至痕迹历史列表中，从而将一个痕迹(如果有的话)确定为每个波峰的最佳匹配。如果计算这些匹配值来用更大的匹配值来表示更好的匹配，进行这种分配的一种简单方式是以最大的匹配值开始并转到逐渐更低的匹配值(一种贪婪方法)，并且如果用更小的匹配值来表示更好的匹配则反之亦然。存在许多其他的且更详细的用于进行这种分配的算法，如匈牙利法(库恩算法)或基于匹配值解决偶匹配的任何其他算法。在一个替代性方案中，该分配对与对应的匹配值相关联的痕迹的年龄进行解释，例如通过以最老的匹配值/痕迹(历史参数的最大值)并转到逐渐年轻的匹配值/痕迹。
步骤62之后，每个波峰或者被分配给现有的痕迹(“匹配波峰”)或者被识别为没有分配的痕迹(“非匹配波峰”)。同样地，现有的每个痕迹或者被分配给一个波峰，或者被识别为没有关联(“非匹配痕迹”)。
在步骤63中，通过根据匹配波峰或波峰的波峰参数值的函数来更新相应的痕迹参数，为所有匹配波峰更新痕迹历史列表。
在步骤64中，非匹配波峰被解释为新的痕迹或被添加至痕迹历史列表。与步骤63中相似，痕迹参数值可以由波峰参数值给定或作为其函数计算。
在步骤65中，非匹配痕迹被解释为丢失的痕迹或被从痕迹历史列表移除。在一个变体中，这种痕迹的移除被延迟几(例如1个-10个)帧，使得在稍后的帧中发现数据该痕迹的波峰。这可以例如避免可以暂时隐藏在噪声或伪像中的弱轨迹的移除。在另一个变体中，如果一个或多个痕迹参数值满足给定的标准，将非匹配痕迹移除，例如，如果局部噪声降到期望以下，或如果痕迹的衰减强度以一个前述帧序列快速地降低(这可以指示相应的对象正在被从触摸表面提起)。
根据在此所披露的各种实施例的跟踪方法可以由一个数据处理设备(参照图1中的10)来实施，该数据处理设备被连接成对来自该FTIR系统中的光传感器3的测量值进行采样。图5B示出了这种数据处理设备10的示例，该数据处理设备包括一个用于接收输出信号的输入端102A。该设备10进一步包括：一个数据采集元件(或装置)200，用于获得多个当前投影值，一个转换元件(或装置)201，用于将当前投影值转换成当前输出值或变化值，一个图案生成元件(或装置)202，用于生成一个当前衰减图案，一个波峰检测元件(或装置)203，用于检测该当前衰减图案中的多个波峰，一个差错抑制元件(或装置)204，用于识别多个潜在跟踪问题、定义多个移动命题以及引起对这些移动命题的后续评估，一个更新元件(或装置)205，用于更新痕迹历史列表，一个输出元件(或装置)206，用于提供当前触摸数据以便输出，以及一个输出端102B，用于输出当前触摸数据。
设备10可以由在一个或多个通用或专用计算装置上运行的专用软件(或固件)来实施。在此上下文中，应当理解的是，这样的计算装置的每个“元件”或“装置”(或等效地，“模块”)是指一个方法步骤的概念等效物；在元件/装置与特定硬件或软件例程之间并不总存在一对一对应性。一个硬件有时实施不同的装置/元件。例如，处理单元可以在执行一个指令时用作一个元件/装置，但在执行另一指令时用作另一个元件/装置。自然地，一个或多个元件(装置)完全由模拟硬件组件来实施是可以想到的。
软件控制的装置10可以包括一个或多个处理单元(参见图1B中的14)，例如CPU(“中央处理单元”)、DSP(“数字信号处理器”)、ASIC(“特定用途集成电路”)、分立模拟和/或数字组件、或某个其他可编程逻辑器件，如FPGA(“现场可编程门阵列”)。该设备10可以进一步包括一个系统存储器和将各种系统部件(包括该系统存储器)耦合到处理单元的一个系统总线。该系统总线可以是若干类型的总线结构中的任何一种，包括使用各种总线体系结构中的任何一种的存储器总线或存储器控制器、外围总线、以及局部总线。该系统存储器可以包括呈易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)、随机存取存储器(RAM)以及闪存存储器。专用软件、痕迹历史列表和执行过程中需要的任何其他数据可以被存储在系统存储器中或其他可移除/非可移除的易失性/非易失性计算机存储介质上，这些计算机存储介质包括在计算装置中或是计算装置可访问的，如磁介质、光介质、闪存卡、数字磁带、固态RAM、固态ROM等。数据处理设备10可以包括一个或多个通信接口(如串行接口、并行接口、USB接口、无线接口、网络适配器等)，以及一个或多个数据采集设备(如A/D转换器)。可以在包括记录介质和只读存储器的任何适合的计算机可读介质上向设备10提供该专用软件。
以上已参考一些实施例主要描述了本发明。然而，本领域技术人员容易认识到的是，除以上披露的实施例之外的其他实施例在仅由所附专利权利要求书限定并限制的本发明的范围和精神内同样是可能的。
例如，实施跟踪过程以使用预测和反应方法的组合从而进一步抑制跟踪问题的影响是可以想到的。
进一步地，输入值st的格式取决于重建函数和所重建的图案的希望的/要求的精确度(或由其给定)。在替代性实施方式中，该格式可以例如被给定为透射(例如由参考值所规范化的投影值)、能量差(例如由投影值和参考值之间的差所给定)、或能量差的对数。如在上文中所使用的，“对数”旨在还包含任何基中的近似真实对数函数的函数。此外，输入值可以具有任何符号，即，它们可以或可以不乘以一个负值。取决于重建函数，甚至可以将投影值用作输入值。相对于不同图案的生成可以进行类似的修改。从而，在更一般的层面上，上述的总图案、偏移图案和差图案可以被视为“交互图案”，该交互图案包括具有由一个或多个触摸对象所造成的传播光的局部交互的变化的分布。

Claims (30)

1.一种用于跟踪触敏装置(100)的触摸表面(4)上的一个或多个对象(7)的移动的方法，该触敏装置(100)可运行以通过一个透光板(1)内部的多次内反射将光从多个入耦合点传播到多个出耦合点，从而从该透光板(1)的内部照亮该触摸表面(4)，其中，至少一个光检测器(3)与这些出耦合点光耦合以生成一个表示在这些出耦合点处所接收到的光的输出信号，其中，该方法以一个反复时序运行，每次反复包括：
处理(50-52)该输出信号以生成一个指示该触摸表面(4)上的交互的多个局部变化的交互图案；处理(53)该交互图案以用于多个明显波峰的识别；以及基于这些明显波峰更新(54)前一次反复中被认为存在于该触摸表面(4)上的多个对象(7)的多条现有的移动轨迹；
其中，所述方法进一步包括一个差错抑制过程，以所述反复时序至少间歇性地执行该差错抑制过程，并且该差错抑制过程包括：
处理(56；56A)这些明显波峰和/或这些现有的移动轨迹，以识别所涉及的多条具有一个潜在跟踪问题的轨迹；
为所涉及的每条轨迹定义(56；56A)至少两个移动命题；以及
使得(56；56B)在一次或多次后续的反复中对所述至少两个移动命题进行一次评估。
2.如权利要求1所述的方法，其中，所述评估导致为所涉及的每条轨迹选择所述至少两个移动命题之一。
3.如权利要求2所述的方法，其中，更新(54)这些现有的移动轨迹的步骤包括基于该选择更新所涉及的每条轨迹。
4.如任意前述权利要求所述的方法，其中，通过处理这些明显波峰以识别潜在地错误的波峰并将这些潜在地错误的波峰映射至这些现有的移动轨迹来识别所涉及的这些轨迹。
5.如任意前述权利要求所述的方法，其中，所述至少两个移动命题包括一个第一命题：对应于所涉及的轨迹的该对象(7)是静止的，以及一个第二命题：对应于所涉及的轨迹的该对象(7)是移动的。
6.如权利要求1-5中任意一项所述的方法，其中，所述至少两个移动命题包括一个第一命题：对应于所涉及的轨迹的该对象(7)被从该触摸表面移除，以及一个第二命题：对应于所涉及的轨迹的该对象(7)是移动的。
7.如权利要求5或6所述的方法，其中，该第二移动命题指示该对象(7)在一个第一评估时间段内继续沿着一条预测轨迹移动。
8.如权利要求7所述的方法，其中，定义(56；56A)所述至少两个移动命题的步骤包括：根据所涉及的轨迹生成该预测轨迹。
9.如权利要求7或8所述的方法，其中，所述评估包括：将该第一评估时间段内所识别的这些明显波峰的至少一部分与该预测轨迹进行匹配。
10.如权利要求7-9中任意一项所述的方法，其中，更新步骤(54)包括将这些明显波峰的至少一部分与这些现有的移动轨迹进行匹配；其中，所述差错抑制过程进一步包括：防止在一个第二评估时间段内这些明显波峰的所述至少一部分与所涉及的轨迹的所述匹配。
11.如权利要求10所述的方法，其中，该差错抑制过程进一步包括：在该第二评估时间段内定义多个环绕该交互图案中的所涉及的这些轨迹的不确定性区域(b1)，以及在该第二评估时间段内防止更新步骤(54)作用于位于这些不确定性区域(b1)内的这些明显波峰。
12.如权利要求5或6所述的方法，其中，更新步骤(54)包括识别并添加多条新的移动轨迹至这些现有的移动轨迹，并且其中，所述评估包括将所述新的移动轨迹的多个备选项与所涉及的轨迹进行匹配。
13.如权利要求12所述的方法，其中，所述匹配是根据下列各项中的至少一项：所述备选项的起源的一个估计方向，以及所涉及的轨迹和所述备选项的一个当前位置之间的一个距离。
14.如权利要求12或13所述的方法，其中，该差错抑制过程进一步包括：在一个第二评估时间段内定义多个环绕该交互图案中的所涉及的这些轨迹的不确定性区域(b1)，从而防止在这些不确定性区域(b1)内识别多条新的移动轨迹。
15.如任意前述权利要求所述的方法，其中，该潜在跟踪问题是由下列各项中的至少一项所引起的：该触摸表面上的光散射，和该触摸表面上污染物的一种变化。
16.如任意前述权利要求所述的方法，其中，通过应用以下各项中的至少一项来识别该潜在跟踪问题：一种对一个具有这些明显波峰的区域进行评估的区域试探法、一种对这些现有的移动轨迹的一个速度进行评估的速度试探法、一种对这些现有的移动轨迹的一个加速度进行评估的加速度试探法、一种散射检测试探法、以及一种污染物检测试探法。
17.如权利要求16所述的方法，其中，这些明显波峰包括多个正和负明显波峰，其中，每个正明显波峰表示该交互图案中的一次局部增强的交互，并且每个负明显波峰表示该交互图案中的一次局部减轻的交互；其中，当一个正明显波峰被认为与这些负明显波峰中的一个或多个相关联时，该散射检测试探法识别该潜在跟踪问题。
18.如权利要求17所述的方法，其中，该散射检测试探法进一步要求这些负明显波峰中的所述一个或多个位于这些现有的移动轨迹之外。
19.如权利要求17或18所述的方法，其中，当该正明显波峰与所述一个或多个负明显波峰具有一种给定的空间关系时，该正明显波峰被认为与所述一个或多个负明显波峰相关联。
20.如权利要求19所述的方法，其中，该给定的空间关系定义了该正明显波峰和所述一个或多个负波峰之间的一个最大距离。
21.如权利要求16所述的方法，其中，这些明显波峰包括表示该交互图案中的多次局部增强的交互的多个正明显波峰；其中，当一个正明显波峰被认为沿着这些现有的移动轨迹之一而定位时，该污染物检测试探法识别该潜在跟踪问题。
22.如权利要求21所述的方法，进一步包括：将这些正明显波峰的至少一部分与这些现有的移动轨迹进行匹配，从而识别一组匹配明显波峰和一组非匹配明显波峰；其中，该污染物检测试探法进一步要求该正明显波峰被包括在所述非匹配明显波峰组内。
23.如权利要求1-3中任意一项所述的方法，其中，当一个现有的移动轨迹在该触摸表面(4)上是静止的并且具有一个超过一个第一阈值同时展现一个瞬时最小值的交互强度时，该潜在跟踪问题被识别。
24.如权利要求23所述的方法，其中，所述至少两个移动命题包括一个第一命题：对应于所涉及的轨迹的该对象(7)是静止的，并且在一个评估时间段内保持与该触摸表面(4)接触，以及一个第二命题：对应于所涉及的轨迹的该对象(7)被间歇性地从该触摸表面(4)移除，并且然后在该评估时间段内恢复与该触摸表面(4)接触。
25.如权利要求24所述的方法，其中，所述评估包括：在该评估时间段内相对于一个第二阈值监测该交互强度。
26.如权利要求6所述的方法，其中，当多个正波峰被认为在该交互图案中形成一个环形时，该潜在跟踪问题被识别。
27.如任意前述权利要求所述的方法，其中，可以在定义步骤(56；56A)中基于该潜在跟踪问题的一个分类和/或基于所涉及的轨迹在前述的多次反复过程中的一种移动特性来定义所述至少两个移动命题。
28.一种包括计算机代码的计算机程序产品，当在一个数据处理系统上被执行时，该计算机程序产品被适配成用于执行任意前述权利要求所述的方法。
29.一种用于跟踪触敏装置(100)的触摸表面上的一个或多个对象的移动的设备，该触敏装置(100)可运行以通过一个透光板(1)内部的多次内反射将光从多个入耦合点传播到多个出耦合点，从而从该透光板(1)的内部照亮该触摸表面(4)，其中，一个光敏装置(3)与这些出耦合点光耦合以生成一个表示在这些出耦合点处所接收到的光的输出信号，其中，该设备包括：
一个用于该输出信号的输入端(102A)；
以及一个信号处理器(14)，被配置成用于以一个反复时序运行，每次反复包括：
处理(50-52)该输出信号以生成一个指示该触摸表面(4)上的交互的多个局部变化的交互图案；处理(53)该交互图案以用于多个明显波峰的识别；以及基于这些明显波峰更新(54)前一次反复中被认为存在于该触摸表面(4)上的多个对象(7)的多条现有的移动轨迹；
所述设备进一步包括一个差错抑制模块(204)，该差错抑制模块被配置成通过下列步骤以所述反复时序至少间歇性地运行：
处理(56；56A)这些明显波峰和/或这些现有的移动轨迹，以识别所涉及的多条具有一个潜在跟踪问题的轨迹；
为所涉及的每条轨迹定义(56；56A)至少两个移动命题；以及
使得(56；56B)在一次或多次后续的反复中对所述至少两个移动命题进行一次评估。
30.一种触敏装置，包括：
一个透光板(1)，被配置成用于通过多次内反射将光从多个入耦合点传播至多个出耦合点，从而从该透光板(1)的内部照亮该触摸表面(4)；
用于在这些入耦合点处提供该光的装置(2，12)；
用于生成一个表示这些出耦合点处所接收的光的输出信号的装置(3)；以及
根据权利要求29所述的用于跟踪一个或多个对象(7)的移动的设备(10)。
CN201280068403.9A 2011-12-16 2012-12-10 跟踪触摸表面上的对象 Expired - Fee Related CN104081323B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161576458P 2011-12-16 2011-12-16
US61/576,458 2011-12-16
SE1151209 2011-12-16
SE1151209-2 2011-12-16
PCT/SE2012/051369 WO2013089623A2 (en) 2011-12-16 2012-12-10 Tracking objects on a touch surface

Publications (2)

Publication Number Publication Date
CN104081323A true CN104081323A (zh) 2014-10-01
CN104081323B CN104081323B (zh) 2016-06-22

Family

ID=48613325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280068403.9A Expired - Fee Related CN104081323B (zh) 2011-12-16 2012-12-10 跟踪触摸表面上的对象

Country Status (7)

Country Link
US (1) US8982084B2 (zh)
EP (1) EP2673697A4 (zh)
JP (1) JP2015505093A (zh)
KR (1) KR20140107452A (zh)
CN (1) CN104081323B (zh)
TW (1) TW201339927A (zh)
WO (1) WO2013089623A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368223A (zh) * 2017-07-31 2017-11-21 青岛海信电器股份有限公司 多点触控的触摸点匹配方法及装置
CN108345415A (zh) * 2017-01-25 2018-07-31 辛纳普蒂克斯公司 利用对象速度信息的对象追踪
CN109189273A (zh) * 2018-11-06 2019-01-11 业成科技（成都）有限公司 触控事件处理方法、装置、计算机设备和存储介质

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
TW201203052A (en) 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
US9952719B2 (en) 2012-05-24 2018-04-24 Corning Incorporated Waveguide-based touch system employing interference effects
US20140210770A1 (en) * 2012-10-04 2014-07-31 Corning Incorporated Pressure sensing touch systems and methods
US10019113B2 (en) 2013-04-11 2018-07-10 Flatfrog Laboratories Ab Tomographic processing for touch detection
WO2015005847A1 (en) 2013-07-12 2015-01-15 Flatfrog Laboratories Ab Partial detect mode
US20150074597A1 (en) * 2013-09-11 2015-03-12 Nvidia Corporation Separate smoothing filter for pinch-zooming touchscreen gesture response
WO2015108479A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Light coupling in tir-based optical touch systems
WO2015108480A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Improvements in tir-based optical touch systems of projection-type
US9323449B2 (en) * 2014-05-09 2016-04-26 Htc Corporation Electronic apparatus and drawing method using the same
WO2015199602A1 (en) 2014-06-27 2015-12-30 Flatfrog Laboratories Ab Detection of surface contamination
EP3186696B1 (en) * 2014-08-27 2020-11-04 Hewlett-Packard Development Company, L.P. Screen contact detection using total internal reflection
WO2016122385A1 (en) 2015-01-28 2016-08-04 Flatfrog Laboratories Ab Dynamic touch quarantine frames
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
US10496227B2 (en) 2015-02-09 2019-12-03 Flatfrog Laboratories Ab Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
CN107250855A (zh) 2015-03-02 2017-10-13 平蛙实验室股份公司 用于光耦合的光学部件
FR3028341A1 (fr) * 2015-03-26 2016-05-13 Continental Automotive France Systeme de detection de la presence d'une portion de main sur un volant
CN108369470B (zh) 2015-12-09 2022-02-08 平蛙实验室股份公司 改进的触控笔识别
WO2018096430A1 (en) 2016-11-24 2018-05-31 Flatfrog Laboratories Ab Automatic optimisation of touch signal
PT3667475T (pt) 2016-12-07 2022-10-17 Flatfrog Lab Ab Dispositivo tátil curvo
EP3458946B1 (en) 2017-02-06 2020-10-21 FlatFrog Laboratories AB Optical coupling in touch-sensing systems
US20180275830A1 (en) 2017-03-22 2018-09-27 Flatfrog Laboratories Ab Object characterisation for touch displays
EP3602259A4 (en) 2017-03-28 2021-01-20 FlatFrog Laboratories AB TOUCH DETECTION DEVICE AND ITS ASSEMBLY PROCESS
CN111052058B (zh) 2017-09-01 2023-10-20 平蛙实验室股份公司 改进的光学部件
US10915782B2 (en) * 2017-12-14 2021-02-09 Pixart Imaging Inc. Image parameter calculating method, object tracking method, and image parameter calculating system
JP2021028733A (ja) * 2017-12-14 2021-02-25 国立研究開発法人産業技術総合研究所 物体識別装置及び物体識別システム
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
CN109613483B (zh) * 2018-10-30 2021-07-20 上海无线电设备研究所 一种基于Hough变换的多目标航迹起始方法
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
EP4104042A1 (en) 2020-02-10 2022-12-21 FlatFrog Laboratories AB Improved touch-sensing apparatus
CN111609858B (zh) * 2020-05-28 2021-10-22 新石器慧通（北京）科技有限公司 定位误差确定方法、轨迹生成方法、装置及交通工具
CN112597922B (zh) * 2020-12-28 2024-03-26 深圳市普汇智联科技有限公司 一种基于无碰撞lstm的多目标轨迹预测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137956A (zh) * 2005-03-10 2008-03-05 皇家飞利浦电子股份有限公司 用于检测与触摸屏显示器交互的多个对象的位置、大小和形状的系统和方法
WO2009137355A2 (en) * 2008-05-06 2009-11-12 Next Holdings, Inc. Systems and methods for resolving multitouch scenarios using software filters
CN101583924A (zh) * 2007-01-03 2009-11-18 苹果公司 多点触摸输入辨别
WO2010006883A2 (en) * 2008-06-23 2010-01-21 Flatfrog Laboratories Ab Determining the location of one or more objects on a touch surface
US20100245292A1 (en) * 2009-03-31 2010-09-30 Arima Lasers Corp. Optical detection apparatus and method
WO2011028169A1 (en) * 2009-09-02 2011-03-10 Flatfrog Laboratories Ab Touch surface with a compensated signal profile
WO2011049512A1 (en) * 2009-10-19 2011-04-28 Flatfrog Laboratories Ab Touch surface with two-dimensional compensation

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972753B1 (en) 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
US20120188206A1 (en) * 2001-11-02 2012-07-26 Neonode, Inc. Optical touch screen with tri-directional micro-lenses
US7432893B2 (en) 2003-06-14 2008-10-07 Massachusetts Institute Of Technology Input device based on frustrated total internal reflection
US8599140B2 (en) 2004-11-17 2013-12-03 International Business Machines Corporation Providing a frustrated total internal reflection touch interface
US8847924B2 (en) 2005-10-03 2014-09-30 Hewlett-Packard Development Company, L.P. Reflecting light
EP2126673A4 (en) * 2006-12-08 2015-03-04 Flatfrog Lab Ab POSITION DETERMINATION IN OPTICAL INTERFACE SYSTEMS
WO2009048365A1 (en) 2007-10-10 2009-04-16 Flatfrog Laboratories Ab A touch pad and a method of operating the touch pad
AR064377A1 (es) 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
TW201001258A (en) 2008-06-23 2010-01-01 Flatfrog Lab Ab Determining the location of one or more objects on a touch surface
TW201005606A (en) 2008-06-23 2010-02-01 Flatfrog Lab Ab Detecting the locations of a plurality of objects on a touch surface
US8542217B2 (en) 2008-06-23 2013-09-24 Flatfrog Laboratories Ab Optical touch detection using input and output beam scanners
TW201007530A (en) 2008-06-23 2010-02-16 Flatfrog Lab Ab Detecting the location of an object on a touch surface
JP2012508913A (ja) * 2008-11-12 2012-04-12 フラットフロッグ ラボラトリーズ アーベー 一体型タッチセンシングディスプレー装置およびその製造方法
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
WO2010134865A1 (en) 2009-05-18 2010-11-25 Flatfrog Laboratories Ab Determining the location of an object on a touch surface
CN102648445A (zh) 2009-10-19 2012-08-22 平蛙实验室股份公司 提取代表触摸表面上一个或多个物体的触摸数据
AU2010308596A1 (en) * 2009-10-19 2012-06-07 Flatfrog Laboratories Ab Determining touch data for one or more objects on a touch surface
TW201203052A (en) 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction
EP2628068A4 (en) 2010-10-11 2014-02-26 Flatfrog Lab Ab TOUCH DETECTION BY TOMOGRAPHIC RECONSTRUCTION
TW201329821A (zh) 2011-09-27 2013-07-16 Flatfrog Lab Ab 用於觸控決定的影像重建技術
TW201333787A (zh) 2011-10-11 2013-08-16 Flatfrog Lab Ab 觸控系統中改良的多點觸控偵測

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137956A (zh) * 2005-03-10 2008-03-05 皇家飞利浦电子股份有限公司 用于检测与触摸屏显示器交互的多个对象的位置、大小和形状的系统和方法
CN101583924A (zh) * 2007-01-03 2009-11-18 苹果公司 多点触摸输入辨别
WO2009137355A2 (en) * 2008-05-06 2009-11-12 Next Holdings, Inc. Systems and methods for resolving multitouch scenarios using software filters
WO2010006883A2 (en) * 2008-06-23 2010-01-21 Flatfrog Laboratories Ab Determining the location of one or more objects on a touch surface
US20100245292A1 (en) * 2009-03-31 2010-09-30 Arima Lasers Corp. Optical detection apparatus and method
WO2011028169A1 (en) * 2009-09-02 2011-03-10 Flatfrog Laboratories Ab Touch surface with a compensated signal profile
WO2011049512A1 (en) * 2009-10-19 2011-04-28 Flatfrog Laboratories Ab Touch surface with two-dimensional compensation

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345415A (zh) * 2017-01-25 2018-07-31 辛纳普蒂克斯公司 利用对象速度信息的对象追踪
CN108345415B (zh) * 2017-01-25 2023-06-30 豪威Tddi安大略有限合伙公司 利用对象速度信息的对象追踪
CN107368223A (zh) * 2017-07-31 2017-11-21 青岛海信电器股份有限公司 多点触控的触摸点匹配方法及装置
CN107368223B (zh) * 2017-07-31 2020-12-04 海信视像科技股份有限公司 多点触控的触摸点匹配方法及装置
CN109189273A (zh) * 2018-11-06 2019-01-11 业成科技（成都）有限公司 触控事件处理方法、装置、计算机设备和存储介质
CN109189273B (zh) * 2018-11-06 2021-11-26 业成科技（成都）有限公司 触控事件处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2013089623A2 (en) 2013-06-20
TW201339927A (zh) 2013-10-01
EP2673697A2 (en) 2013-12-18
WO2013089623A3 (en) 2013-09-12
KR20140107452A (ko) 2014-09-04
JP2015505093A (ja) 2015-02-16
CN104081323B (zh) 2016-06-22
EP2673697A4 (en) 2014-07-02
US8982084B2 (en) 2015-03-17
US20140055421A1 (en) 2014-02-27

Similar Documents

Publication Publication Date Title
CN104081323A (zh) 跟踪触摸表面上的对象
US9927920B2 (en) Tracking objects on a touch surface
EP2791763B1 (en) Tracking objects on a touch surface
US10031623B2 (en) Touch determination with improved detection of weak interactions
US8797280B2 (en) Systems and methods for improved touch screen response
KR101941730B1 (ko) 터치 결정을 위한 이미지 복원
US8692807B2 (en) Touch surface with a compensated signal profile
EP3250993B1 (en) Dynamic touch quarantine frames
CN104662496A (zh) 在基于ftir的投影型触摸感测装置中的触摸力估计
CN112041799A (zh) 触摸敏感装置中的不需要的触摸管理
US20120200538A1 (en) Touch surface with two-dimensional compensation
US8730187B2 (en) Techniques for sorting data that represents touch positions on a sensing device
US20120249471A1 (en) Method of identifying a multi-touch rotation gesture and device using the same
CN103492985A (zh) 带有信号增强的触摸确定
US20120249440A1 (en) method of identifying a multi-touch rotation gesture and device using the same
US20120249487A1 (en) Method of identifying a multi-touch shifting gesture and device using the same
US20150242112A1 (en) Human interface device with touch sensor
CN103345738A (zh) 基于感兴趣区域的对象检测方法及装置
US20110185310A1 (en) Method and system for detecting a finger contact on a touchpad
US20230035865A1 (en) Optical Touch Screen
CN116450455A (zh) 网页事件安全的判断方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160622

Termination date: 20211210