CN112041799A - 触摸敏感装置中的不需要的触摸管理 - Google Patents

触摸敏感装置中的不需要的触摸管理 Download PDF

Info

Publication number
CN112041799A
CN112041799A CN201980026637.9A CN201980026637A CN112041799A CN 112041799 A CN112041799 A CN 112041799A CN 201980026637 A CN201980026637 A CN 201980026637A CN 112041799 A CN112041799 A CN 112041799A
Authority
CN
China
Prior art keywords
touch
events
touch event
event
touches
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980026637.9A
Other languages
English (en)
Inventor
O·德拉姆
N·奥克莱里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beckett Co ltd
Original Assignee
Laput Intellectual Property
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Laput Intellectual Property filed Critical Laput Intellectual Property
Publication of CN112041799A publication Critical patent/CN112041799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

光学触敏装置能够确定表面上的多个同时触摸事件的位置。光学触敏装置包括多个发射器和检测器。每个发射器产生由检测器接收的光束。表面上的触摸事件干扰检测器接收到的光束。基于受干扰的光束，生成表面上的触摸活动的映射图。根据映射图确定每个触摸事件的触摸特性和触摸类型。通过将触摸特性和触摸类型应用于上下文信息、机器学习模型或一组预定义规则，可以将触摸分类为需要的触摸事件或不需要的触摸事件。不需要的触摸事件可能会被忽略以改善用户体验。

Description

触摸敏感装置中的不需要的触摸管理
相关申请的交叉引用
本申请要求于2018年2月19日提交的美国临时申请62/632,140“Unwanted TouchManagement in Optical Touch Sensors”的优先权，其全部内容通过引用合并于此。
技术领域
本发明总体上涉及检测触敏装置中的触摸事件，更具体地涉及用于对需要的触摸和不需要的触摸进行分类的方法。
背景技术
用于与计算装置相互作用的触敏显示器变得越来越普遍。存在用于实现触敏显示器和其他触敏装置的许多不同技术。这些技术的示例包括例如电阻式触摸屏、表面声波触摸屏、电容式触摸屏和某些类型的光学触摸屏。
然而，这些方法中的许多当前遭受缺点。例如，某些技术可能适合许多现代移动电话中使用的小型显示器，但不能很好地缩放到如笔记本电脑或台式机使用的显示器那样更大的屏幕大小。对于需要特殊处理的表面或在表面中使用特殊元素的技术，将屏幕大小以线性倍数N增加意味着必须按比例缩放特殊处理以处理N2大的屏幕区域，或者需要N2倍多的特殊元素。这会导致不可接受的低产量或过高的成本。
一些技术的另一个缺点是它们不能或难以处理多点触摸事件。当多个触摸事件同时发生时，发生多点触摸事件。这可能在原始检测信号中引入歧义，然后必须解决歧义。此外，解决这些歧义可用的时间有限。如果采用的方法太慢，则该技术将无法提供系统需要的触摸采样率。如果采用的方法在计算上过于密集，则将增加该技术的成本和功耗。
在与装置的触敏表面进行相互作用时，用户可能会无意中引起触摸事件。例如，在触摸表面上书写时，用户的手掌可能搁在表面上或以其他方式与之相互作用。这可能导致用户与装置之间的界面效率低下以及用户沮丧。因此，需要改进的触敏系统。
发明内容
实施例涉及将触摸表面上或触摸表面附近的触摸事件分类为需要的触摸事件或不需要的触摸事件。示例触敏装置是能够确定多个同时触摸事件的位置的光学触敏装置。光学触敏装置包括多个发射器和检测器。每个发射器产生由检测器接收的光束。光束优选地以一种使得多个光束可以被检测器同时接收的方式被多路复用。触摸事件干扰光束。触摸事件模板用于基于哪些光束已经受到干扰来确定实际触摸事件。
一些实施例涉及一种用于对表面上或表面附近的触摸事件进行分类的方法。识别一个或多个触摸事件，每个触摸事件具有形状和大小。基于形状和大小，为一个或多个触摸事件中的每一个分配触摸类型。至少部分地基于至少一个触摸事件的所分配的触摸类型，将至少一个触摸事件分类为不需要的触摸事件。在一些实施例中，该方法包括接收上下文信息，该上下文信息包括可以被分类为需要的触摸类型的列表。在这些实施例中，将至少一个触摸事件分类为不需要的触摸事件进一步至少部分地基于上下文信息。
一些实施例涉及另一种用于对表面上或表面附近的同时触摸事件进行分类的方法。识别一个或多个触摸事件，每个触摸事件具有位置和形状。将一个或多个触摸事件分组成组，该分组基于一个或多个触摸事件中的每一个的位置和形状。至少部分地基于分组，将至少一个组分类为一组不需要的触摸事件。在一些实施例中，在识别一个或多个触摸事件之后，基于触摸事件的形状，将触摸事件中的一个或多个分类为指尖触摸事件、手写笔触摸事件、背侧触摸事件或手掌触摸事件。
一些实施例涉及一种用于形成表面上或表面附近的触摸事件的映射图的方法。该表面具有沿其外围的至少一部分布置的发射器和检测器。发射器产生由检测器接收的光束。触摸事件干扰光束。先验地确定用于一组预期触摸事件的一组触摸事件模板，每个触摸事件模板表示表面的区域，并且由将受到该区域处的预期触摸事件的干扰的一组对应的至少两个光束来限定。接收指示哪些光束已被实际触摸事件干扰的信息。从该组触摸事件模板中确定活动模板的子集，每个活动模板是其中一组对应的光束被实际触摸事件干扰的触摸事件模板。基于活动模板的子集形成活动映射图，该活动映射图表示表面上或表面附近的实际触摸事件。
附图说明
现在将参考附图，通过示例的方式描述本发明的实施例，其中：
图1是根据一个实施例的光学触敏装置的图。
图2是根据一个实施例的用于确定触摸事件的位置的流程图。
图3A-图3F示出根据一些实施例的用于触摸与光束相互作用的不同机制。
图4是根据一些实施例的二元和模拟触摸相互作用的图。
图5A-图5C是根据一些实施例的不同形状的光束覆盖区的俯视图。
图6A-图6B是示出根据一些实施例的触摸点分别行进通过窄光束和宽光束的俯视图。
图7是根据一些实施例的针对图6A-图6B的窄光束和宽光束的二元和模拟响应的曲线图。
图8A-图8B是示出根据一些实施例的由发射器覆盖的有源区域的俯视图。
图8C-图8D是示出根据一些实施例的由检测器覆盖的有源区域的俯视图。
图8E是示出根据实施例的交替的发射器和检测器的俯视图。
图9A-图9C是示出根据一些实施例的从不同光束终端的角度来看被触摸点中断的光束图案的俯视图。
图9D是示出根据实施例的基于图9A-图9C的中断的光束和图10A-图10C的线图像的触摸点的估计的俯视图。
图10A-图10C是根据一些实施例的与图9A-图9C中所示的情况相对应的线图像的曲线图。
图11A是示出根据实施例的触摸点行进通过两个相邻的宽光束的俯视图。
图11B是根据一些实施例的针对图11A的两个宽光束的模拟响应的曲线图。
图11C是示出根据一个实施例的触摸点行进通过多个相邻的窄光束的俯视图。
图12A-图12E是根据一些实施例的示出用于触摸事件的模板的光束路径的俯视图。
图13是根据一些实施例的用于确定触摸位置的多遍(multi-pass)方法的流程图。
图14-图17是示出根据一些实施例的不同触摸事件的组合的俯视图。
图18A-图18B是示出根据一些实施例的表示触摸表面的区域的模板的俯视图。
图19是示出根据实施例的六边形触摸事件的俯视图。
图20-图22是示出根据一些实施例的用于对触摸进行分组和分类的方法的流程图。
图23是示出根据实施例的用于对不需要的触摸事件进行分类的方法的流程图。
图24是示出根据实施例的用于对不需要的触摸事件进行分类的另一方法的流程图。
图25是示出根据实施例的用于形成表面上或表面附近的触摸事件的映射图的方法的流程图。
具体实施方式
I.引言
A.装置概述
图1是根据一个实施例的光学触敏装置100的图示。光学触敏装置100包括控制器110、发射器/检测器驱动电路120和触敏表面组件130。表面组件130包括要在其上检测触摸事件的表面131。为了方便起见，即使表面本身可以是完全无源的结构，但由表面131限定的区域有时也可以称为有源区域或有源表面。组件130还包括沿有源表面131的外围的至少一部分布置的发射器和检测器。在该示例中，存在标记为Ea-EJ的J个发射器和标记为D1-DK的K个检测器。该装置还包括触摸事件处理器140，其可以被实现为控制器110的一部分或如图1所示单独地实现。标准化的API可以用于与触摸事件处理器140进行通信，例如在触摸事件处理器140和控制器110之间，或在触摸事件处理器140和触摸事件处理器的另一侧上的任何装置之间进行通信。
发射器/检测器驱动电路120用作控制器110与发射器Ej和检测器Dk之间的接口。发射器产生由检测器接收的光学“光束”。优选地，由一个发射器产生的光由多于一个检测器接收，并且每个检测器从多于一个发射器接收光。为了方便起见，“光束”将指从一个发射器到一个检测器的光，即使它可能是到达许多检测器的大扇形光的一部分而不是单独的光束。从发射器Ej到检测器Dk的光束将被称为光束jk。作为示例，图1明确标记了光束a1、a2、a3、e1和eK。有源区域131内的触摸将干扰某些光束，因此改变在检测器Dk处接收的光束。关于这些改变的数据被传送到触摸事件处理器140，其分析数据以确定在表面131上的触摸事件的(多个)位置(和时间)。
如图1所示的光学方法的一个优点是该方法良好地缩放到更大的屏幕大小。由于发射器和检测器围绕外围定位，因此将屏幕大小以线性因数N增大意味着外围也以因数N而不是N2增大。
B.过程概述
图2是根据一个实施例的用于确定触摸事件的位置的流程图。将使用图1的装置来图示该过程。过程200被大致分为两个阶段，这将被称为物理阶段210和处理阶段220。概念上，两个阶段之间的分界线是一组透射系数Tjk(也称为透射值Tjk)。
透射系数Tjk是与没有触摸事件与光束相互作用的情况下透射的光束相比，从发射器j到检测器k的光束的透射率。在以下示例中，我们将使用0(完全阻挡的光束)到1(完全透射的光束)的比例。因此，未被触摸事件干扰的光束jk具有Tjk＝1。被触摸事件完全阻挡的光束jk具有Tjk＝0。被触摸事件部分阻挡或衰减的光束jk具有0<Tjk<1。例如，Tjk>1是可能的，取决于触摸相互作用的性质，或者在光偏转或散射到通常不会到达的检测器k的情况下。
使用该特定度量仅是示例。可以使用其他度量。特别是，由于我们对中断光束最感兴趣，因此可以使用反度量诸如(1-Tjk)，因为它通常为0。其他示例包括吸收、衰减、反射或散射的度量。另外，尽管使用Tjk作为物理阶段210和处理阶段220之间的分界线来解释图2，然而不需要明确地计算Tjk。物理阶段210和处理阶段220之间也不需要清晰划分。
返回图2，物理阶段210是从物理设置确定Tjk的过程。处理阶段220从Tjk确定触摸事件。图2所示的模型在概念上是有用的，因为它在某种程度上将物理设置和基础物理机制与后续处理分离。
例如，物理阶段210产生透射系数Tjk。用于触敏表面组件130的许多不同的物理设计是可能的，并且取决于最终应用，将考虑不同的设计折衷。例如，发射器和检测器可以更窄或更宽、更窄的角度或更宽的角度、各种波长、各种功率、相干或不相干等。作为另一个示例，可以使用不同类型的复用以允许来自多个发射器的光束由每个检测器接收。下面主要在第II节中描述了这些物理设置和操作方式中的若干种。
框210的内部示出过程210的一种可能的实施方式。在该示例中，发射器将光束传输212到多个检测器。穿过触敏表面行进的光束中的一些被触摸事件干扰。检测器以复用光学形式接收214来自发射器的光束。对接收的光束进行解复用216以将各个光束jk彼此区分开。然后确定218每个单独光束jk的透射系数Tjk。
处理阶段220还可以以许多不同的方式实现。候选触摸点、线成像、位置插值、触摸事件模板和多遍方法都是可以用作处理阶段220的一部分的技术示例。下面主要在第III节中描述这些方法中的若干种。
II.物理设置
可以以多种不同方式实现触敏装置100。以下是设计变化的一些示例。
A.电子
关于电子方面，注意，图1本质上是示例性的和功能性的。来自图1中不同框的功能可以在同一部件中一起实现。
例如，控制器110和触摸事件处理器140可以被实现为硬件、软件或两者的组合。它们也可以一起实现(例如，实现为具有在SoC中的处理器上运行的代码的SoC)或单独实现(例如，将控制器实现为ASIC的一部分，并且将触摸事件处理器实现为在与ASIC通信的单独处理器芯片上运行的软件)。示例实施方式包括专用硬件(例如，ASIC或编程的现场可编程门阵列(FPGA))，以及运行软件代码(包括固件)的微处理器或微控制器(嵌入式或独立的)。可以在制造后通过更新软件来修改软件实施方式。
发射器/检测器驱动电路120用作控制器110与发射器和检测器之间的接口。在一个实施方式中，到控制器110的接口本质上至少部分是数字的。关于发射器，控制器110可以发送控制发射器的操作的命令。这些命令可以是指令，例如表示要采取某些动作的位序列：开始/停止光束传输、对光束的特定图案或序列的改变、调节功率、将电路加电/断电。它们也可以是更简单的信号，例如“光束启用信号”，其中在光束启用信号为高时，发射器传输光束，并且在光束使能信号为低时，发射器不传输光束。
电路120将接收到的指令转换成驱动发射器的物理信号。例如，电路120可以包括耦合到数模转换器的一些数字逻辑，以便将接收到的数字指令转换成用于发射器的驱动电流。电路120还可以包括用于操作发射器的其他电路系统：例如，用以将电调制施加到光束上(或施加到驱动发射器的电信号上)的调制器、控制回路和来自发射器的模拟反馈。发射器还可以向控制器发送信息，例如提供报告其当前状态的信号。
关于检测器，控制器110还可以发送控制检测器的操作的命令，并且检测器可以将信号返回给控制器。检测器还传输关于由检测器接收的光束的信息。例如，电路120可以从检测器接收原始或放大的模拟信号。然后，电路可以调整这些信号(例如，噪声抑制)，将它们从模拟形式转换成数字形式，并且还可能应用一些数字处理(例如，解调)。
B.触摸相互作用
图3A-图3F示出用于触摸与光束相互作用的不同机制。图3A示出基于受挫全内反射(TIR)的机制。如虚线所示的光束从发射器E通过光学透明的平面波导302行进到检测器D。该光束通过全内反射被限制在波导302中。波导可以由例如塑料或玻璃构成。与透明波导302接触的物体304(诸如手指或手写笔)具有比通常围绕波导的空气更高的折射率。在接触区域上方，由于物体引起的折射率增加干扰波导内的光束的全内反射。全内反射的破坏增加了从波导泄漏的光，从而削弱了穿过接触区域的所有光束。相应地，物体304的移除将停止穿过的光束的衰减。穿过触摸点的光束的衰减将导致检测器处的功率降低，从而可以计算出减小的透射系数Tjk。
图3B示出基于光束阻挡的机制。发射器产生的光束非常接近表面306。与表面306接触的物体304将部分或全部阻挡接触区域内的光束。图3A和图3B示出用于触摸相互作用的两种物理机制，但是也可以使用其他机制。例如，触摸相互作用可以基于偏振的改变、散射或传播方向或传播角度(竖直或水平)的改变。
例如，图3C示出基于传播角度的不同机制。在该示例中，光束经由TIR在波导302中被引导。光束以一定角度撞击波导-空气界面，并以相同角度反射回去。然而，触摸304改变(通过散射)光束传播的角度，并且还可以吸收一些入射光。在图3C中，光束在触摸304之后以较陡的传播角度行进。注意，改变光的角度还可能导致其下降到全内反射的临界角以下，从而它将离开波导。检测器D具有随传播角度而变化的响应。检测器D可以对以原始传播角度行进的光束更敏感，或者可以更不敏感。无论如何，被触摸304干扰的光束将在检测器D处产生不同的响应。
在图3A-图3C中，触摸物体也是与光束相互作用的物体。这将被称为直接相互作用。在间接相互作用中，触摸物体与中间物体相互作用，中间物体与光束相互作用。图3D示出使用中间阻挡结构308的示例。通常，这些结构308不阻挡光束。然而，在图3D中，物体304接触阻挡结构308，这导致其部分或全部阻挡光束。在图3D中，结构308被示为离散的物体，但是不必如此。
在图3E中，中间结构310是可压缩的部分透射的片材。当没有触摸时，片材使光束衰减一定量。在图3E中，触摸304压缩片材，从而改变光束的衰减。例如，片材的上部可以比下部更不透明，使得压缩降低透射率。可替代地，片材可以具有一定密度的散射位点。压缩增加了接触区域的密度，因为相同数量的散射位点占据更小的体积，因此降低了透射率。类似的间接方法也可用于受挫TIR。注意，该方法可用于基于压缩程度或压缩率来测量接触压力或触摸速度。
代替或附加于减小透射，触摸机制还可以增强透射。例如，图3E中的触摸相互作用可以增加透射而不是减小透射。片材的上部可以比下部更透明，使得压缩增加透射率。
图3F示出另一个示例，其中发射器和检测器之间的透射率由于触摸相互作用而增加。图3F是俯视图。发射器Ea通常产生由检测器D1接收的光束。当没有触摸相互作用时，Ta1＝1并且Ta2＝0。然而，触摸相互作用304阻挡光束到达检测器D1并且将一些被阻挡的光散射到检测器D2。因此，检测器D2从发射器Ea接收比正常情况下更多的光。因此，当存在触摸事件304时，Ta1减小并且Ta2增大。
为了简单起见，在本说明书的其余部分中，将假定触摸机构主要具有阻挡性质，这意味着从发射器到检测器的光束将被中间的触摸事件部分或完全阻挡。这不是必需的，但是方便用于说明各种概念。
为了方便起见，触摸相互作用机制有时可以分类为二元或模拟的。二元相互作用是一种根据触摸基本上具有两种可能的响应的相互作用。示例包括非阻挡和完全阻挡，或非阻挡和10％+衰减，或非受挫和受挫TIR。模拟相互作用是一种对触摸具有“灰度”响应的相互作用：非阻挡经过部分阻挡的渐变到阻挡。触摸相互作用机制是二元的还是模拟的部分取决于触摸与光束之间相互作用的性质。它不取决于光束的横向宽度(如下所述，也可以对其进行操纵以获得二元或模拟衰减)，然而它可能取决于光束的竖直大小。
图4是示出与模拟触摸相互作用机制相比的二元触摸相互作用机制的曲线图。图4示出透射率Tjk是触摸的深度z的函数。维度z进入和离开有源表面。曲线410是二元响应。在低z处(即，当触摸尚未干扰光束时)，透射率Tjk处于其最大值。然而，在某点z0处，触摸使光束中断，并且透射率Tjk突然下降至其最小值。曲线420示出模拟响应，其中在较宽的z范围内发生从最大Tjk到最小Tjk的转变。如果曲线420表现良好，则可以从Tjk的测量值估计z。
C.发射器、检测器和耦合器
每个发射器将光传输到多个检测器。通常，每个发射器同时将光输出到多于一个检测器。类似地，每个检测器接收来自多个不同发射器的光。光束可以是可见、红外和/或紫外光。术语“光”旨在包括所有这些波长，并且术语诸如“光学”应作相应解释。
用于发射器的光源的示例包括发光二极管(LED)和半导体激光器。也可以使用IR源。光束的调制可以通过直接调制光源或通过使用外部调制器(例如液晶调制器或偏转镜调制器)来实现。用于检测器的传感器元件的示例包括电荷耦合器件、光电二极管、光敏电阻、光电晶体管和非线性全光检测器。通常，检测器输出电信号，该电信号是接收的光束的强度的函数。
除了主光源和传感器元件之外，发射器和检测器还可以包括光学器件和/或电子器件。例如，光学器件可以用于在发射器/检测器和期望的光束路径之间耦合。光学器件还可以对由发射器产生的光束或由检测器接受的光束进行整形或其他调整。这些光学器件可以包括透镜、菲涅耳透镜、面镜、滤光片、非成像光学器件和其他光学部件。
在本公开中，为了清楚起见，光学路径将被示出为未折叠。因此，源、光束和传感器将被示出为位于一个平面中。在实际的实施方式中，源和传感器将通常不与光束位于同一平面中。可以使用各种耦合方法。可以使用平面波导或光纤将光耦合到实际光束路径/从实际光束路径耦合。也可以使用自由空间耦合(例如，透镜和面镜)。也可以使用组合，例如沿一个维度波导以及沿另一个维度的自由空间。在2011年7月22日提交的美国申请序列号61/510,989“Optical Coupler”中描述了各种耦合器设计，其全部内容通过引用合并于此。
D.光束路径
触敏系统的另一方面是光束和光束路径的形状和位置。在图1-图2中，光束示出为线。这些线应解释为代表光束，但光束本身不一定是窄笔形光束。图5A-图5C示出不同光束形状。
图5A示出点发射器E、点检测器D和从发射器至检测器的窄“笔形”光束510。在图5B中，点发射器E产生由宽检测器D接收的扇形光束520。在图5C中，宽发射器E产生由宽检测器D接收的“矩形”光束530。这些是光束的俯视图，并且所示形状是光束路径的覆盖区。因此，光束510具有线状覆盖区，光束520具有三角形覆盖区，该三角形覆盖区在发射器处为窄并且在检测器处为宽，并且光束530具有相当恒定宽度的矩形覆盖区。在图5中，检测器和发射器由其宽度表示，如通过光束路径所见。实际的光源和传感器可能没有那么宽。相反，光学器件(例如，柱面透镜或面镜)可以用于有效地加宽或变窄实际源和传感器的横向范围。
图6A-图6B和图7示出覆盖区的宽度如何可以确定透射系数Tjk是否表现为二元还是模拟的量。在这些图中，触摸点具有接触区域610。假定触摸完全阻挡，因此撞击接触区域610的任何光线将被阻挡。图6A示出当触摸点从左到右移动经过窄光束时发生的情况。在最左侧的情况下，光束完全不被阻挡(即，最大Tjk)，直到接触区域610的右边缘中断光束。在这一点处，光束被完全阻挡(即，最小Tjk)，在中间情况下也是如此。它继续被完全阻挡，直到整个接触区域移动通过光束。然后，光束再次完全不被阻挡，如右手情况中所示。图7中的曲线710示出透射率Tjk作为接触区域610的横向位置x的函数。最小和最大Tjk之间的急剧转变示出该响应的二元性质。
图6B示出当触摸点从左到右移动经过宽光束时发生的情况。在最左侧的情况下，光束刚刚开始被阻挡。透射率Tjk开始下降，但处于最小值和最大值之间的某个值。随着触摸点阻挡更多的光束，透射率Tjk继续下降，直到光束完全被阻挡的中间情况为止。然后，如右手情况中所示，随着接触区域离开光束，透射率Tjk再次开始增大。图7中的曲线720示出透射率Tjk作为接触区域610的横向位置x的函数。在x的宽范围内的转变示出该响应的模拟性质。
图5-图7考虑了单个光束路径。在大多数实施方式中，每个发射器和每个检测器将支持多个光束路径。
图8A是示出由点发射器产生的光束图案的俯视图。发射器Ej将光束传输到宽检测器D1-DK。为了清楚起见，将三个光束阴影化，即光束j1、光束j(K-1)和中间光束。每个光束具有扇形的覆盖区。所有覆盖区的聚集是发射器Ej的覆盖区域。也就是说，落在发射器Ej的覆盖区域内的任何触摸事件将干扰来自发射器Ej的至少一个光束。图8B是类似的图，不同之处在于发射器Ej是宽发射器并产生具有“矩形”覆盖区(实际上是梯形，但我们将其称为矩形)的光束。三个阴影光束用于与图8A中相同的检测器。
注意，每个发射器Ej可以不为每个检测器Dk产生光束。在图1中，考虑将从发射器Ea到达检测器DK的光束路径aK。首先，由发射器Ea产生的光可能不在该方向上行进(即，发射器的辐射角可能不够宽)，因此可能根本没有物理光束，或者检测器的接收角可能不够宽，使得检测器无法检测到入射光。其次，即使存在光束并且可检测到，也可以忽略它，因为光束路径没有处于产生有用信息的位置。因此，透射系数Tjk可能并非对于发射器Ej和检测器Dk的所有组合都具有值。
可以使用不同的量来描述来自发射器的各个光束的覆盖区和来自发射器的所有光束的覆盖区域。空间范围(即宽度)、角度范围(即发射器的辐射角、检测器的接受角)和覆盖区形状是可以用来描述各个光束路径以及各个发射器的覆盖区域的量。
从一个发射器Ej到一个检测器Dk的单个光束路径可以用发射器Ej的宽度、检测器Dk的宽度和/或定义两者之间的光束路径的角度和形状来描述。
可以针对用于一个发射器Ej的所有检测器聚集这些各个光束路径，以产生发射器Ej的覆盖区域。发射器Ej的覆盖区域可以用发射器Ej的宽度、相关检测器Dk的聚集宽度和/或定义来自发射器Ej的光束路径的聚集的角度和形状来描述。注意，各个覆盖区可以重叠(参见图8B，靠近发射器处)。因此，发射器的覆盖区域可能不等于其覆盖区的总和。(发射器的覆盖区的总和)/(发射器的覆盖区域)之比是重叠量的一种度量。
可以针对所有发射器聚合各个发射器的覆盖区域，以获得系统的总覆盖。在这种情况下，总覆盖区域的形状不是非常令人关注，因为它应该覆盖有源区域131的整个区域。然而，并不是有源区域131内的所有点都将被均等地覆盖。某些点可能被许多光束路径穿过，而其他点却被少得多的光束路径穿过。可以通过计算多少个光束路径穿过有源区域内的不同(x，y)点的来表征有源区域131上的光束路径的分布。光束路径的取向是分布的另一方面。从都沿大致相同方向延伸的三个光束路径得出的(x，y)点通常将比都以彼此的60度角延伸的三个光束路径所穿过的点的分布更弱。
上面关于发射器的讨论也适用于检测器。图8A-图8B中为发射器构造的图也可以为检测器构造。例如，图8C示出图8B的检测器D1的类似图。即，图8C示出检测器D1接收的所有光束路径。请注意，在此示例中，到达检测器D1的光束路径仅来自沿有源区域的底部边缘的发射器。左侧边缘的发射器不值得连接到D1，并且右侧边缘上没有发射器(在此示例设计中)。图8D示出检测器Dk的图，该检测器Dk是与图8B中的发射器Ej类似的位置。
然后，检测器Dk的覆盖区域是检测器Dk接收到的光束的所有覆盖区的聚集。所有检测器覆盖范围的聚集给出了总系统覆盖。
E.有源区域覆盖
有源区域131的覆盖取决于光束路径的形状，但还取决于发射器和检测器的布置。在大多数应用中，有源区域的形状为矩形，并且发射器和检测器沿矩形的外围的至少一部分定位。
在优选的方法中，不是沿某些边缘仅具有发射器并且沿其他边缘仅具有检测器，而是沿边缘交错发射器和检测器。图8E示出这样的示例，其中发射器和检测器沿所有四个边缘交替。阴影光束示出发射器Ej的覆盖区域。
F.复用
由于多个发射器将多个光束传输到多个检测器，并且由于通常期望单独光束的行为，所以使用了复用/解复用方案。例如，每个检测器通常输出指示入射光的强度的单个电信号，而不管该光是来自由一个发射器产生的一个光束还是来自由许多发射器产生的许多光束。然而，透射率Tjk是单独光束jk的特性。
可以使用不同类型的复用。取决于所使用的复用方案，光束的透射特性(包括其内容以及其何时透射)可能会发生变化。因此，复用方案的选择可能会影响光学触敏装置的物理构造及其操作。
一种方法基于码分复用。在这种方法中，由每个发射器产生的光束都使用不同的代码进行编码。检测器接收光信号，该光信号是来自不同发射器的光束的组合，然而可以基于代码将接收到的光束分为其分量。这在标题为“Optical Control System WithModulated Emitters”的美国专利No.8,227,742中进一步详细描述，该专利通过引用并入本文。
另一种类似方法是频分复用。在这种方法中，来自不同发射器的光束不是由不同的代码调制，而是由不同的频率调制。频率足够低，使得可以通过电子滤波或其他电子或软件手段来恢复检测到的光束中的不同分量。
也可以使用时分复用。在这种方法中，不同的发射器在不同的时间传输光束。基于定时来识别光束和透射系数Tjk。如果仅使用时间复用，则控制器必须足够快地循环通过发射器以满足需要的触摸采样率。
通常与光学系统一起使用的其他复用技术包括波分复用、偏振复用、空间复用和角度复用。电子调制方案(诸如PSK、QAM和OFDM)也可以应用于区分不同的光束。
可以一起使用若干种复用技术。例如，时分复用和码分复用可以组合。不是对128个发射器进行码分复用或对128个发射器进行时分复用，而是可以将这些发射器分为8组，每组16个。8个组是时分复用的，使得任何时候只有16个发射器在操作，并且那些16个发射器被码分复用。例如，这可能是有利的，以最小化在任何给定时间点活动的发射器的数量，以减少装置的功率需求。
III.处理阶段
在图2的处理阶段220中，透射系数Tjk用于确定触摸点的位置。可以使用不同的方法和技术，包括候选触摸点、线成像、位置插值、触摸事件模板、多遍处理和光束加权。
A.候选触摸点
一种确定触摸点的位置的方法是基于识别受触摸事件影响的光束(基于透射系数Tjk)，并且然后将这些中断光束的交点识别为候选触摸点。可以通过考虑邻近候选触摸点的其他光束或通过考虑其他候选触摸点来完善候选触摸点的列表。在美国专利No.8,350,831，“Method and Apparatus for Detecting a Multitouch Event in an OpticalTouch-Sensitive Device”中进一步详细描述了该方法，该专利通过引用合并于此。
B.线成像
该技术基于以下概念：检测器接收的一组光束形成触摸点的线图像，其中视点是检测器的位置。该检测器用作观察发射器的集合的一维相机。由于相互性，发射器也是如此。发射器发射的一组光束形成触摸点的线图像，其中视点是发射器的位置。
图9-图10使用图8B-图8D所示的发射器/检测器布局示出了这一概念。为了方便起见，术语“光束终端”将用于指代发射器和检测器。因此，来自光束终端(可以是发射器或检测器)的一组光束形成触摸点的线图像，其中视点是光束终端的位置。
图9A-图9C示出有源区域、发射器和检测器的物理设置。在该示例中，存在具有接触区域910的触摸点。图9A示出用于光束终端Dk的光束图案，该光束图案是从发射器Ej到检测器Dk的所有光束。阴影的发射器指示光束至少部分地被触摸点910中断。图10A示出光束终端Dk“看到”的对应的线图像1021。到终端Ea、Eb、...E(J-4)的光束没有中断，因此透射系数处于全值。触摸点显示为具有光束终端E(J-3)、E(J-2)和E(J-1)的光束的中断，其中终端E(J-2)为主要阻塞。即，跨越光束终端E(J-3)至E(J-1)的线形图像的部分是触摸事件的一维图像。
图9B示出光束终端D1的光束图案，并且图10B示出光束终端D1看到的对应的线图像1022。请注意，线图像没有跨越所有发射器，因为有源区域的左边缘上的发射器不与检测器D1形成光束路径。图9C和图10C示出光束图案和由光束终端Ej看到的对应的线图像1023。
图9-图10中的示例使用宽光束路径。然而，线图像技术也可以与窄或扇形的光束路径一起使用。
图10A-图10C示出触摸点910的不同图像。可以通过处理线图像来确定触摸事件的位置。例如，基于相关性或计算机断层摄影算法的方法可以用于确定触摸事件910的位置。然而，更简单的方法是优选的，因为它们需要较少的计算资源。
触摸点910在线图像1021-1023中的每一个中投射“阴影”。一种方法是基于在线图像中找到阴影的边缘，并使用阴影中的像素值来估计阴影的中心。然后可以从表示光束终端的位置到阴影的中心画一条线。假定触摸点沿该线位于某处。即，该线是触摸点的位置的候选线。图9D示出这一点。在图9D中，线920A是与图9A和图10A相对应的候选线。即，它是从检测器Dk的中心到线图像1021中的阴影的中心的线。类似地，线920B是与图9B和图10B相对应的候选线，并且线920C是与图9C和与10C相对应的线。所得的候选线920A-920C的一端固定在光束终端的位置，其中候选线的角度从线图像中的阴影插值。可以通过组合这些候选线的交点来估计触摸事件的中心。
使用从单个光束终端到所有对应的互补光束终端的光束图案(即，从一个检测器到所有对应的发射器，或从一个发射器到所有对应的检测器的光束图案)产生图10所示的每个线图像。作为另一变体，可以通过组合来自不止一个光束终端的光束图案的信息来产生线图像。图8E示出发射器Ej的光束图案。然而，由于对应的检测器没有提供连续的覆盖，所以对应的线图像将具有间隙。它们与发射器交错。然而，相邻检测器Dj的光束图案产生大致填充这些间隙的线图像。因此，来自发射器Ej和检测器Dj的两个部分线图像可以被组合以产生完整的线图像。
C.位置插值
在定位触摸点时，应用通常将需要一定水平的准确度。一种增加准确度的方法是增加发射器、检测器和光束路径的密度，以使触摸点位置的微小变化将中断不同的光束。
另一种方法是在光束之间进行插值。在图10A-图10C的线图像中，触摸点中断了若干光束，但是由于光束宽度，该中断具有模拟响应。因此，尽管光束终端的间距为Δ，但可以通过基于模拟值进行插值来更准确地确定触摸点的位置。这也在图7的曲线720中示出。所测量的Tjk可以用于插值x位置。
图11A-图11B示出基于相邻光束路径之间的插值的一种方法。图11A示出两个光束路径a2和b1。这两个光束路径都是宽的，并且它们彼此相邻。在图11A所示的所有三种情况下，触摸点1110都中断两个光束。然而，在左手侧的情况下，触摸点主要中断光束a2。在中间情况下，两个光束被均相等地中断。在右手侧的情况下，触摸点主要是中断光束b1。
图11B绘制了作为x的函数的这两个透射系数。曲线1121用于系数Ta2，并且曲线1122用于系数Tb1。通过考虑两个透射系数Ta2和Tb1，可以插值触摸点的x位置。例如，插值可以基于两个系数的差或比率。
通过考虑光束a2和b1上的任何不均匀的光分布，可以提高插值准确度。例如，如果光束横截面是高斯截面，则在进行插值时可以考虑到这一点。在另一变型中，如果宽的发射器和检测器本身由若干发射或检测单元组成，则可以将它们分解成各个元件，以更准确地确定触摸位置。这可以作为第二遍来完成，首先通过第一遍确定在给定位置中存在触摸活动。可以通过同时驱动若干相邻的发射器来近似宽发射器。可以通过组合若干检测器的输出以形成单个信号来近似宽检测器。
图11C示出其中使用大量窄光束而不是插值较少数量的宽光束的情况。在该示例中，每个光束是由图11C中的线表示的笔形光束。当触摸点1110从左到右移动时，它中断了不同的光束。在确定触摸点1110的位置时，大部分分辨率是通过光束终端的精细间距来实现的。可以对边缘光束进行插值以提供更精细的位置估计。
D.触摸事件模板
如果光束路径的位置和形状是已知的，这对于具有固定的发射器、检测器和光学器件的系统通常是这种情况，则可以预先预测给定触摸事件的透射系数。可以为预期触摸事件先验地生成模板。触摸事件的确定然后成为模板匹配问题。
如果使用强力方法，则可以为每个可能的触摸事件生成一个模板。然而，这可能导致大量模板。例如，假定将一类触摸事件建模为椭圆形接触区域，并假定光束是完全被阻挡或完全未被阻挡的笔形光束。此类触摸事件可以被参数化为五个维度的函数：主轴线的长度、短轴线的长度、主轴线的方向、有源区域内的x位置和有源区域内的y位置。涵盖此类触摸事件的强力详尽的模板集必须跨越这五个维度。另外，模板本身可能具有大量元素。因此，期望简化模板集。
图12A示出30个光束终端中的任意两个光束终端之间的所有可能的笔形光束路径。在此示例中，光束终端未标记为发射器或检测器。假定有足够的发射器和检测器来实现任何可能的光束路径。接触区域1210的一个可能的模板是将受到触摸影响的所有光束路径的集合。然而，这是大量的光束路径，因此模板匹配将更加困难。此外，该模板非常特定于接触区域1210。如果接触区域的大小、形状或位置略有变化，则接触区域1210的模板将不再完全匹配。此外，如果有源区域中其他位置存在附加触摸，则模板将无法很好地匹配检测到的数据。因此，尽管使用所有可能的光束路径可以产生相当可区分的模板，但是实施起来也可能是计算密集的。
图12B示出仅基于将被接触区域1210中断的四个光束的更简单的模板。这是不太具体的模板，因为形状、大小或位置稍有不同的其他接触区域仍将匹配该模板。从将需要较少的模板来覆盖可能的接触区域的空间的意义上讲，这是良好的。此模板的精确度不如基于所有中断光束的完整模板。然而，由于较小的大小，匹配也更快。这些类型的模板通常相对于全集的可能的透射系数稀疏。
注意，可以为接触区域1210定义一系列模板，增加模板中包含的光束的数量：2光束模板、4光束模板等。在一个实施例中，由接触区域1210中断光束从1到N依次排序。然后可以通过按顺序选择前n个光束来构造n光束模板。一般而言，在空间或角度上差异的光束倾向于产生更好的模板。即，具有彼此成60度角延伸并且不在公共点处相交的三个光束路径的模板倾向于产生比基于彼此紧密接近的三个大致平行的光束的模板更稳健的模板。另外，更多的光束倾向于增加模板匹配的有效信噪比，特别是如果光束来自不同的发射器和检测器。
图12B中的模板也可以用于生成一系列类似的模板。在图12C中，接触区域1220与图12B中的相同，但是向右偏移。可以通过将图12B中的光束(1,21)(2,23)和(3,24)向右偏移至如图12C所示的光束(4,18)(5,20)和(6,21)，来生成对应的四光束模板。这些类型的模板可以被抽象(abstracted)。该抽象将被称为模板模型。对于i＝1到6，该特定模型由光束(12,28)(i,22-i)(i+1,24-i)(i+2,25-i)定义。模型用于生成各个模板，并且实际数据与各个模板中的每一个匹配。在另一种方法中，将数据与模板模型进行匹配。然后，匹配过程包括确定是否与模板模型匹配，并且如果匹配，则确定i的哪个值产生该匹配。
图12D示出在接触区域周围使用“无触摸”区的模板。实际接触区域是1230。然而，假定如果在区域1230中进行接触，则在紧邻的周围阴影区域中将没有接触。因此，模板包括(a)在接触区域1230中被中断的光束和(b)在阴影区域中未被中断的光束。在图12D中，实线(2,20)、(5,22)和(11,27)是模板中的中断光束，并且虚线(4,23)和(13,29)是模板中的未中断光束。请注意，模板中的未中断光束可能会被另一触摸点在其他地方中断，因此应考虑它们的使用。例如，虚线光束(13,29)可能被触摸点1240中断。
图12E示出基于减小和增大的透射系数的示例模板。实线(2,20)(5,22)和(11,27)是模板中的中断光束，这意味着它们的透射系数应该减小。但是，虚线(18,24)是由于来自触摸点1250的反射或散射而透射系数应该增加的光束。
其他模板将是显而易见的，并且可以以多种方式来处理模板。在简单的方法中，将模板中光束的干扰简单地求和或平均。这可以增加此类测量的总体SNR，因为每个光束添加附加信号，而来自每个光束的噪声可能是独立的。在另一种方法中，总和或其他组合可以是加权过程，其中并非模板中的所有光束都被赋予相等的权重。例如，靠近被建模的触摸事件的中心通过的光束的权重可以比远处的光束更大。可替代地，模板中的光束的角度差异性也可以通过加权来表达。与不那么差异的光束相比，角度差异的光束的权重更大。
在存在一系列N光束的情况下，分析可以从相对少量的光束开始。可以根据需要将其他光束添加到处理中，直到达到一定的置信度(或SNR)为止。接下来应根据预定时间表来选择应添加哪些光束。可替代地，可以根据当时的处理结果继续进行。例如，如果具有特定取向的光束给出的置信度结果较低，则可以添加更多沿该取向的光束(以沿其他取向的光束为代价)，以增加总体置信度。
模板的数据记录还可以包括有关模板的其他细节。该信息可以包括例如接触区域的位置、接触区域的大小和形状以及要建模的触摸事件的类型(例如，指尖、手写笔等)。
除了智能设计和模板选择之外，对称也可以用于减少模板的数量和/或计算负荷。许多应用使用矩形有源区域，其中发射器和检测器相对于x轴和y轴对称放置。在那种情况下，可以使用象限对称性来实现缩小至原来的四分之一。通过利用对称性，可以将为一个象限创建的模板扩展到其他三个象限。可替代地，可以转换其他三个象限中可能触摸点的数据，并且然后将其与来自单个象限中的模板进行匹配。如果有源区域是正方形，则可以存在八重对称。
其他类型的冗余(诸如移位不变性)也可以减少模板的数量和/或计算负荷。图12B-图12C的模板模型是一个示例。
另外，处理模板的顺序也可以用于减少计算负荷。在附近的触摸模板之间可以存在很大的相似性。例如，它们可以有许多共同的光束。可以通过以允许一个模板利用先前模板的处理的顺序前进模板来利用这一点。
E.多遍处理
参照图2，处理阶段不必是单遍处理，也不限于单一技术。多种处理技术可以被组合或以其他方式一起用于确定触摸事件的位置。
图13是基于若干级的多遍处理阶段的流程图。此示例使用图9中所示的物理设置，其中宽光束从发射器传输到检测器。透射系数Tjk是模拟值，范围从0(完全阻挡)到1(完全不阻挡)。
如关于图12B-图12D所描述的，第一级1310是依赖于快速二元模板匹配的粗略遍。在该级中，模板是二元的，并且透射率T’jk也假定为二元。通过对模拟值舍入或阈值化1312可以从模拟值Tjk产生二元透射率T’jk。将二元值T’jk与二元模板匹配1314，以产生候选触摸点的初步列表。如果某些类型的触摸不产生在阈值之上的任何光束，则对透射率值阈值化可能出现问题。一种替代方案是对各个透射率值的组合(例如求和)进行阈值化。
执行一些简单清理1316以细化该列表。例如，可以消除冗余的候选触摸点或组合彼此接近或相似的候选触摸点来简化。例如，二元透射率T’jk可能与位置(x,y)处5mm直径的接触、(x,y)处7mm直径的接触和(x,y)处9mm直径的接触的模板匹配。这些可以合并为位置(x,y)处的单个候选触摸点。
级1320用于使用更精细的方法来消除误报。对于每个候选触摸点，可以使用相邻光束来验证或消除该候选作为实际触摸点。美国专利No.8,350,831中描述的技术可以用于此目的。除了考虑光束的实际宽度之外，该级还可以使用模拟值Tjk。级1320的输出是已确认的触摸点的列表。
最后一级1330细化每个触摸点的位置。例如，先前描述的插值技术可以用于以更好的准确度确定位置。由于已经知道了大概的位置，所以级1330可以使用少得多的光束(即，在附近的光束)工作，但是可以对该数据应用更密集的计算。最终结果是确定触摸位置。
其他技术也可以用于多遍处理。例如，也可以使用线图像或触摸事件模型。可替代地，相同技术可以不止一次使用或以迭代方式使用。例如，可以首先使用低分辨率模板来确定一组候选触摸位置，并且然后可以使用更高分辨率的模板或触摸事件模型来更精确地确定触摸的精确位置和形状。
F.光束加权
在处理透射系数时，通常对透射系数进行加权或优先排序。加权有效地意味着某些光束比其他光束更重要。可以在处理期间根据需要确定权重，或者可以预先确定权重，并从查找表或列表中检索权重。
对光束加权的一个因素是角度差异性。通常，角度差异的光束比角度不差异的光束具有更高的权重。给定一个光束，具有较小的角度差异性(即，大致平行于第一光束)的第二光束的权重可以较低，因为它提供了关于触摸事件的位置的超出第一光束所提供的信息的相对较少的附加信息。相反，在确定触摸点沿第一光束出现的位置时，可以赋予相对于第一光束具有较高角度差异的第二光束更高的权重。
对光束加权的另一个因素是光束的发射器和/或检测器之间的位置差异(即，空间差异性)。通常，更大的空间差异性被赋予更高的权重，因为与现有资源相比，它表示“更多”信息。
对光束加权的另一个可能因素是光束的密度。如果有许多光束穿过有源区域的一个区域，则每个光束只是许多光束中的一个，并且任何一个单独的光束都不太重要，并且权重也较小。相反，如果几乎没有光束穿过有源区域的该区域，则这些光束中的每一个在其承载的信息中会更重要，并且可能会被更高地加权。
在另一方面，标称光束透射率(即，在没有触摸事件的情况下的透射率)可以用于对光束加权。具有较高标称透射率的光束被认为比具有较低标称透射率的光束更“值得信赖”，因为具有较低标称透射率的光束更容易受到噪声的影响。信噪比(如果可用)可以以类似的方式用于对光束加权。具有较高信噪比的光束可以被认为更“值得信赖”，并且具有较高的权重。
可以在计算与可能的触摸位置相关联的给定模板的品质因数(置信度)时使用权重(无论其如何确定)。光束透射率/信噪比也可以用在插值过程中，被收集到与从线图像中的给定触摸阴影得出的经插值的线相关联的置信度的单个测量中。在确定最终触摸点位置时，与由可疑光束数据得出的那些经插值的线相比，从由“值得信赖”的光束构成的阴影得出的那些经插值的线可以赋予更大的权重。
这些加权可以以多种不同方式使用。在一种方法中，基于对将被候选触摸点干扰的光束(或光束的子集)的透射系数进行组合来确定候选触摸点是否为实际触摸事件。可以以不同的方式组合透射系数：例如，求和、取平均、取中位数/百分数值或取均方根。可以将权重作为此过程的一部分包括在内：例如，采用加权平均值而不是未加权的平均值。组合与公共接触区域重叠的多个光束可以导致更高的信噪比和/或更大的置信度决策。还可以递增地或迭代地执行组合，从而根据需要增加组合的光束的数量，以实现更高的SNR、更高的置信度决策和/或以其他方式减少确定触摸事件时的歧义。
IV.需要的触摸和不需要的触摸
除了有意触摸(也称为需要的触摸)干扰光束之外，不需要的触摸也可能干扰光束。无意或不需要的触摸是用户不想被辨识为触摸的触摸。不需要的触摸也可能是不经意的、不适当的、异常的或不确定的。例如，当与书写或绘图应用程序相互作用时，用户可以在用指尖或手写笔书写时将他们的手的侧面放在表面上。因此，触摸系统可以检测手掌触摸并将其视为触摸事件。此外，如果用户将他们的手放在表面上，则他们的手指(例如，小指和无名指)的背侧也可以中断光束并引起附加触摸事件。在这些情况下，手掌触摸和背侧触摸是不需要的触摸，因为用户不希望它们引起书写系统的响应。一旦触摸被触摸系统分类为需要的或不需要的，则可以将触摸报告给其他系统，诸如操作系统或控制显示器的PC。在一些实施例中，不报告不需要的触摸。
将触摸分类为需要的触摸或不需要的触摸可以随时间改变。在触摸事件期间，触摸可以从不需要的触摸变为需要的触摸(反之亦然)。例如，一个人最初可能以与有意动作不一致的取向来呈现手指，并且然后滚动他们的手指，以使其显示出有意触摸的属性。
图14-图17示出根据一些实施例的可能由在表面附近或表面上的书写位置中的手(例如，表面上的右手拿着手写笔)引起的触摸事件。图14示出有意触摸事件1400和不需要的触摸事件1410的形状。指尖触摸通常将基本上是圆形的。有意触摸1400是圆形的形状，并且因此可以由在触摸表面上的手指的尖端引起(例如，相对于表面法线稍微倾斜)。不需要的触摸1410位于有意触摸1400的旁边，并且具有椭圆形状。椭圆的长轴线相对于页面的竖直轴线倾斜。不需要的触摸1410的形状和取向可能是由于在触摸表面上的手掌下方卷曲的手指的背侧引起的。
图15示出一组不需要的触摸事件1530。类似于图14的不需要的触摸事件1410，各个触摸1500、1510和1520彼此相邻，具有椭圆形状并且相对于页面的竖直轴线倾斜。另外，触摸的长轴线基本彼此平行。例如，触摸的长轴线在彼此的30度内取向，并且触摸之间的距离在彼此的30毫米(mm)以内。触摸事件1500、1510和1520的大小从左到右增加(触摸1500最小，并且触摸1520最大)。组合图案1530的大小、顺序和取向可以由在触摸表面上的手掌下方折叠的倾斜手指组引起。例如，用手握住手写笔，并且指关节在表面上。
手的正面、背面或侧面将通常生成大而细长的触摸。因此，图16示出在组合图案1530附近的不需要的手掌触摸事件1630。手掌触摸事件1630在组合图案1530的右侧并且是椭圆形状的。手掌事件1630的长轴线与页面的竖直轴线平行。
图17示出可以由手写笔或指尖引起的圆形的有意触摸1740和类似于图16的不需要的触摸的一组不需要的触摸1750。在图17的示例中，由于该组触摸1750被辨识为不需要的，因此在组1750周围生成合成边界1760。一旦生成边界1760，就可以将边界1760内的触摸视为不需要的，并且可以将边界1760之外的触摸(诸如1740)视为需要的。在一些实施例中，边界1760是使用图像处理膨胀方法生成的，其中触摸被视为图像中的像素。
V.活动映射图
为了将触摸分类为需要的或不需要的，可以生成触摸事件的映射图。该映射图可以被称为活动映射图，并且是由触摸系统检测到的触摸活动的表示(例如，图14-图19可以表示活动映射图的触摸事件)。活动映射图指示每个检测到的触摸事件的触摸特性，诸如大小、形状、取向和位置。在一些实施例中，活动映射图将表面划分为一组区域，并且(例如，在给定的时间段内)基于与每个区域相对应的光束的干扰将每个区域标记为激活或未激活。
A.模板
可以使用一组先验模板来形成活动映射图。在这些实施例中，每个模板表示触摸表面上的区域(例如，参见图18A)，并且每个模板由将受到该区域处的触摸事件的干扰的一组至少两个光束来定义。因此，如果触摸事件发生在一个或多个区域，则可以通过评估触摸表面的每个区域的模板来形成活动映射图。
可以通过聚集与该区域相关联的光束的透射值Tjk来计算模板值。如果一定比例的聚集的光束值Tjk的已经改变了大于阈值量(例如，相对于在没有触摸事件的情况下的光束透射值Tjk)，则模板可以被确定为活动的。可将该比例的聚集的光束值Tjk指定为包括与该区域相关联的所有光束值，或者指定为包括与该区域相关联的光束值Tjk的较小子集。该比例的聚集的光束值Tjk可以包括光束值Tjk变化超过阈值量的任何光束，或者子集可以包括指定的光束子集。例如，该比例的光束包括从外围的每一侧发射的光束。在另一示例中，该比例的光束包括具有高角度差异性的光束(例如，彼此成60度角延伸的三个光束路径)。可替代地，如果光束透射值Tjk的均值或平均值已经改变超过阈值量，则可以确定模板是活动的。
用于确定光束值是否被触摸事件干扰(例如，被阻挡)的阈值优选地被设置为高于光束透射值Tjk的噪声水平的水平(意味着如果检测器接收到的透射率下降到不可能仅由噪声引起的水平，则光束被认为受到干扰)。然而，如果触摸事件没有强烈地影响光束，则可以通过使用在透射值Tjk的噪声水平内的阈值来执行模板处理。在某些情况下，光束透射Tjk仅由于噪声而超过阈值，但是可以通过指定仅当模板中一定比例的光束高于阈值时才将模板视为是活动的来避免误报，这是因为，由于随机波动，指定比例的光束超过阈值的可能性较低。
还可以使用时间或空间连续性的规则来消除因噪声或其他虚假活动而被认为是活动的模板。关于时间连续性，噪声引起的活动通常是瞬时的。这样，在时间T1，在与光束数据相关联的一次计算中，模板由于噪声而给出活动的结果，该模板不太可能在时间T2、T3等处的光束数据的连续计算中给出活动的结果。因此，规则、试探法或其他类型的约束可以放置在模板上，使得仅在模板在确定的时间窗口内对于阈值数量的光束数据集是活动的时，才将其视为活动模板。附加或替代约束可以要求模板对连续的一组光束数据集是活动的。
可以应用空间连续性规则来消除由于噪声或虚假活动而被错误地认为是活动的模板。因为由于触摸事件而被认为是活动的模板通常靠近或邻近其他活动模板，因此可以通过评估彼此靠近定位的模板来施加空间连续性。通常，虽然在彼此的2mm之内的模板被分组在一起，但是用于确定模板是否靠近的阈值可以取决于要检测的最小接触大小和模板区域的大小。例如，如果触摸系统旨在检测手指并且模板区域的大小(例如，周长)为2mm，则将彼此在4mm之内的模板分组在一起。例如，如果附近没有模板也是活动的，则可以将单个活动模板声明为不活动的。在一些实施例中，应用形态图像处理方法。例如，将模板结果视为图像中的像素，并且执行形态扩张和腐蚀以影响形态关闭功能，从而去除较小或孤立的活动区域。
在各个实施例中，每个区域的面积基于将被识别和分类的触摸的最小大小。例如，如果意图是将手写笔和指尖触摸与较大触摸区分开，则模板大小可以大。这可以有助于减少与分类相关联的处理工作负荷。相反，将模板应用于感测表面的小区域可以使用更多的计算资源，但可以导致活动映射图中的触摸物体的详细表示。特别地，等于光束的宽度的区域大小可以允许最小的触摸被检测到。例如，具有宽度W为4mm的光束的触摸系统可以使用W/4的区域大小(即，将包括中心线在半径之内的光束)，在本示例中为1mm。为了应用这样的模板，可以处理中心线在模板中心的1mm半径内穿过的所有光束的光束透射Tjk，以给出该模板的单个结果，诸如活动/不活动。一组完整的模板在以1mm中心到中心距离覆盖感测表面，这将确保在任何位置的小触摸(直径约2mm)将导致至少一个模板做出响应。
光束和模板活动标准的各种设置可以用于生成多个活动映射图。例如，如果建立了用于确定活动模板的多个阈值，则可以基于强烈影响光束的触摸(例如，强力触摸)来形成活动映射图，并且可以基于弱影响光束的触摸(例如，不那么强力的触摸)来形成另一个活动映射图。这可以是有利的，因为有意触摸通常比不需要的触摸更强力。例如，在光波导触摸系统中，由于在背侧皮肤表面上较低的施加力和较低的皮脂水平，与腹侧手指触摸相比，不需要的背侧手指触摸通常不会对光束透射系数Tjk产生大的变化。在另一个示例中，可以改变模板大小以生成多个活动映射图。例如，由于不需要的(例如，手掌和前臂)触摸倾向于大于需要的(例如，指尖和手写笔)触摸，因此可以生成具有大模板大小的第一活动映射图以对不需要的触摸进行分类(较小的触摸将不干扰足够的光束，以不能激活较大的模板)。在识别出较大的触摸之后，可以生成具有较小模板大小的第二活动映射图以识别较小的触摸。
B.模板聚类和光束分析
一旦确定模板是活动的还是不活动的，活动模板的组就可以表示触摸事件。因此，可以将活动模板收集到群集中以表示触摸事件。结果，可以辨识、确定和报告触摸和触摸特性。在一些实施例中，诸如形状匹配之类的形态方法被用来对活动模板进行聚类。形态分析也可以应用于估计触摸特性，诸如大小、取向、凹度、紧密度、圆形度和群集的形状因子(例如长宽比)。
为了说明模板聚类，图18A示出表示触摸表面的区域的小模板的二维阵列。六边形物体1830已经被呈现给触摸感测表面。在该示例中，将模板透射值Tjk与阈值进行比较，在该阈值以下，该模板被认为是活动的，并且在该阈值处或该阈值以上，该模板被认为是不活动的。模板1810是触摸区域之外的模板的示例，并且被计算为不活动的(例如，因为该区域附近的光束透射值Tjk的变化的聚集低于阈值)。模板1820是触摸区域内部的模板的示例，并且被计算为活动的。确定所有活动模板之后，可以对模板进行聚类。作为结果，确定触摸事件具有六边形形状。参照图19，示出六边形触摸事件1900的高分辨率表示。高分辨率事件1900可以通过使用比图18A所示的模板小的模板来得出。
在另一示例中，图18B示出表示触摸表面的区域的小模板的二维阵列，其中三角形物体1840(以向下指向的顶点取向)已经被呈现给触摸感测表面。模板1810在触摸区域之外，并且被计算为不活动的。模板1820在触摸区域的内部并且被计算为活动的。因此，通过将活动模板聚类，触摸系统确定触摸事件具有三角形形状。
C.识别触摸类型和触摸组
在形成活动映射图之后，可以识别活动映射图上的触摸的触摸类型。触摸事件的触摸类型描述引起触摸事件的物体、触摸事件的形状或触摸事件的大小。触摸类型的示例包括指尖、指背、指腹、小橡皮擦、大橡皮擦、手侧、手写笔-类型1、手写笔-类型2、物体-三角形、物体-正方形、物体-等边三角形、左箭头、右箭头、45度箭头、前臂、袖子等。如下所述，可以通过机器学习模型对触摸类型进行分类。由于触摸物体通常具有一致的触摸特性，因此还可以基于触摸事件的触摸特性(例如，在活动映射图中识别的)来对触摸类型进行分类。例如，指尖触摸通常为圆形，背侧触摸通常为椭圆形，并且袖子触摸通常为三角形。在另一示例中，尽管背侧、手掌和前臂触摸可以具有相似的形状，但是前臂触摸通常大于手掌触摸，并且手掌触摸通常大于背侧触摸(例如，基于每种类型的预定大小范围来分配类型)。
触摸类型也可以通过分析光束透射Tjk值来确定。一种或多种触摸类型的触摸可以干扰光束，使得触摸可识别。例如，由于腹侧皮肤表面上较高的皮脂水平，光波导传感器上的腹侧手指触摸通常产生比背侧触摸更低的透射值Tjk。在某些情况下，手写笔和其他工具(诸如橡皮擦)以可辨识的图案干扰光束。例如，手写笔被设计成使得其对来自一个方向的光束的干扰不同于来自正交方向的光束的干扰。因此，通过分析受干扰的光束的透射值Tjk，可以将来自手写笔的触摸分类为手写笔触摸。
在一些实施例中，在形成活动映射图之后，将触摸事件归类为组。随后可以根据触摸的所分配的组将触摸分类为需要的或不需要的。可以根据触摸类型对触摸进行分组。例如，所有手掌触摸都分组在一起。可以根据触摸与其他触摸的接近程度对触摸进行分组。例如，在距第一触摸事件的阈值距离内的所有触摸被分组在一起。也可以根据触摸特性对触摸进行分组。例如，相似大小和/或形状的触摸被分组在一起。由于有意指尖和手写笔触摸通常是圆形的并且小，因此可以对直径低于阈值的所有圆形触摸进行分组。在一些实施例中，根据触摸事件的组合对触摸进行分组。例如，组被形成为使得每个组包括指尖和手掌触摸。如前面的示例所示，可以根据标准的组合来形成组。例如，手写笔或指尖触摸附近的背侧触摸和手掌触摸被分组在一起。在另一个示例中，手掌附近的背侧触摸被分组在一起。参照图20-图22进一步描述这些示例。
在一些实施例中，上下文信息被提供给系统。上下文信息可以包括用户在与表面相互作用时可以执行的触摸事件的列表。在一些实施例中，上下文信息提供了由在触摸系统上运行的应用已知的触摸事件的列表。上下文信息还可以提供触摸系统的类型、大小和取向。例如，上下文信息提供用户在与触摸表面进行相互作用时可以执行的典型手势。因此，可以基于典型的手势来确定触摸类型和触摸组。例如，与用键盘键入相比，当用户用手写笔书写时，手掌触摸的形状可能会有所不同。
VI.触摸的分类和触摸组
在形成活动映射图之后，可以基于若干种方法将触摸分类为需要的或不需要的。尽管在光学触敏系统的上下文中描述了以下方法，但是这些方法不限于由光学触摸系统执行(例如，电容性触摸系统可以使用这些方法来确定需要的和不需要的触摸事件)。这些方法可以单独执行或组合执行。例如，执行第二方法以验证第一方法的结果。在另一个示例中，第一方法有效地对第一组触摸事件进行分类，并且第二方法有效地对第二组触摸事件进行分类。
虽然在指尖、手写笔、背侧和手掌触摸普遍的上下文中解释了以下方法，但是这些方法不限于这些触摸类型。还可以对其他触摸类型(诸如物体触摸类型)进行分类。例如，这些方法可以用于识别教育应用程序中的形状，诸如将三角形辨识为不同于正方形，或者区分等边三角形和等腰三角形。
A.上下文信息
将触摸分类为需要的或不需要的一般分类可以取决于所接收的系统上下文信息以及在给定时间存在的触摸或手势的配置。在一种上下文中不需要的触摸在另一种上下文中可以是需要的。例如，如果用户用手写笔在表面上书写，则表面上的手掌触摸是不需要的触摸，但是如果该触摸旨在擦除屏幕上的图形，则相同的手掌触摸可以是需要的触摸。在一些实施例中，上下文信息指示系统或应用仅接受具有特定触摸类型或特性的触摸。因此，除了指定的类型和特征之外的任何触摸可以被分类为不需要的。例如，平视显示器(HUD)仅接受通常为圆形形状的单点触摸事件。作为结果，多点触摸和具有非圆形形状的触摸被分类为不需要的触摸事件。在一些实施例中，上下文信息包括用户意图。例如，触摸输入可以识别期望的用户功能(例如，擦除功能)。因此，可以基于用户意图来确定不需要的触摸。例如，如果系统接收到指示用户将在小键盘上执行键入手势的输入，则大于小键盘上的键的触摸或键之间的触摸被分类为不需要的。
B.机器学习
区分需要的触摸和不需要的触摸的另一种方法是将机器学习方法(诸如支持向量机、随机森林分类器或神经网络)应用于活动映射图。通常，这种方法有两个阶段：
第一阶段是使用大量数据来集训练机器学习模型的先验过程。将每个数据集A(例如，活动映射图、一组模板或一组光束透射值Tjk)与关于数据集是否表示需要的触摸，表示不需要的触摸，都不表示，还是都表示的指示I一起呈现给学习系统。附加地或可替代地，指示I包括数据集中存在的触摸类型、触摸特性或触摸组。指示I可以由人类操作员或自动过程提供。在示例自动化过程中，指示I是从训练触摸系统中的附加传感器(例如，图像捕获装置)确定的。在一些实施例中，在训练期间向机器学习模型提供附加的上下文输入C。
在第二阶段中，经训练的模型用于基于来自与触摸系统进行相互作用的用户的实时数据对触摸进行分类。取决于训练过程，模型可以将各个触摸或各组触摸分类为需要的或不需要的。在一些实施例中，经训练的模型对触摸类型(例如，手指背侧)进行分类，并且随后的处理确定触摸是需要的还是不需要的。如果模型缺少足够的数据(诸如上下文信息)，则模型可以将一个或多个触摸分类为“未知”。
C.预定义规则
也可以根据一组预定义规则将触摸分类为需要的或不需要的。这些规则通常基于触摸类型和触摸特性，并且可以进一步基于上下文信息。例如，在书写应用程序中，仅指尖和手写笔触摸被分类为需要的触摸。在这些实施例中，所有其他触摸可以被分组在一起并且被分类为不需要的触摸。用于书写应用程序的附加或替代规则包括将小于阈值大小的触摸指定为需要的触摸的规则以及在给定上下文中将袖子和前臂触摸指定为不需要的触摸的规则。在一些实施例中，忽略另一触摸的阈值距离内的触摸。例如，如果识别出触摸物体(手指或手以外的物体)，则触摸物体附近的手指触摸被分类为不需要的，这大概是因为用户的手指在握住触摸物体时无意地干扰了光束。
来自光束分析和模板聚类的补充信息也可以用于对触摸进行分类。表示整个触摸事件的模板(而不是模板的群集)也可以应用于光束数据。表示触摸的活动模板的群集的形状和大小可以用作用以表示整个触摸事件的可能的触摸模板的第一选择标准。基于光束透射值Tjk的与可能的触摸模板相符的质量可以用于确定触摸事件的分类。因此，不与任何模板相符的触摸可以被分类为无意触摸。例如，如果活动模板的群集形成椭圆形，则可以将光束值Tjk与背侧触摸模板进行比较。如果用于群集的一组光束值Tjk与背侧模板匹配，则触摸可以被分类为背侧触摸。相反，如果未找到匹配(例如，在置信度或匹配阈值内)，则该触摸可以被分类为不需要的触摸。
一个或多个规则可以被组合以形成决策流程图。在图20-图22中示出示例流程图。图20-图22是示出用于对触摸进行分类的方法的流程图。所示方法被设计为解决书写或绘图应用程序中可能的触摸配置，并考虑指尖、背侧和手掌触摸。然而，可以修改该方法以考虑不同或附加的触摸类型。该方法的步骤可以以不同顺序执行，并且该方法可以包括不同的、附加的或更少的步骤。
在所示的实施例中，该方法开始于触摸系统检测2005一个或多个触摸事件。如前所述，响应于触摸事件，生成2007活动映射图。使用该活动映射图，触摸系统确定触摸是否是背侧触摸2010。背侧触摸是由手指的背侧引起的触摸事件。触摸可以基于其大小和形状被确定为背侧触摸。通常，背侧触摸是椭圆形的，并且小于手掌触摸，但是大于指尖或手写笔触摸(例如，触摸1720)。
如果触摸被确定为背侧触摸，则系统等待2015预定时间段。之后，系统确定2020触摸大小和形状是否恒定。如果触摸事件的大小或形状继续变化，则系统等待2015另一个预定时间段，直到大小和形状恒定为止。等待可以确认触摸不是噪声引起的。等待还可以确认触摸不是尚未与表面完全接触的较大触摸(例如，在物体完全接触表面之前，该触摸最初看起来是较小的触摸)。此外，如果触摸的大小或形状改变为大于预定阈值，则可以重新确定触摸的触摸类型。
如果触摸的大小和形状是恒定的，则系统确定2025手掌触摸是否在附近(例如，在触摸表面上的阈值距离内)。
如果手掌触摸在附近，则将背侧触摸和手掌触摸分组2030在一起。作为一组，这些触摸可以被认为是单个触摸。在一些实施例中，如果在附近(例如，距第一背侧触摸的阈值距离)检测到其他背侧触摸，则将其他背侧触摸包括在组中(例如，形成组1750)。取决于上下文，由于该组包括一个或多个背侧触摸和手掌触摸，因此该组被认为是不需要的触摸(除非系统配置为对这种触摸布置进行响应)。
系统确定2035背侧触摸是否位于手掌触摸的右侧。如果背侧触摸位于手掌触摸的右侧，则系统确定2040该组触摸来自左手。如参考图17所描述的，可以在组周围定义合成边界，并且可以将组内和距该组的阈值距离内的新触摸分类为不需要的，并且可以预期需要的触摸(例如，来自指尖或手写笔的触摸)在触摸组的右侧(如果尚不存在)。类似地，如果背侧触摸位于手掌触摸的左侧，则系统确定2045该组触摸来自右手。距该组阈值距离内的触摸可以是不需要的，并且可以预期需要的触摸在组的左侧。参照图17，如果确定了组1750，则装置100预期需要的触摸1740，或者，如果已经存在触摸1740，则装置100可以快速地确定触摸1740是需要的触摸。
参考图21，如果触摸不是背侧触摸，则确定2105触摸是否是指尖触摸。可以基于其大小和形状将触摸确定为指尖触摸。通常，指尖触摸是圆形的，并且小于背侧和手掌的触摸(例如，触摸1740)。
如果该触摸不是指尖触摸，则可以确定2135该触摸是否是另一种触摸类型。如果触摸小，则其可能是手写笔或其他器械。可替代地，触摸可以是大于最大大小阈值的接触，并且因此被分类为过大。如果该触摸未被识别为属于任何已知的触摸类型，则该触摸可以被分类为具有未知类型，并且很可能被认为是不需要的。如上所述，一旦触摸着陆并稳定下来，就可以稍后将其重新归类为已知的触摸类型(由于这些原因，触摸的分类可能延迟例如数十毫秒的数量级)。
与步骤2015和2020相似，装置100在确定2115触摸大小和形状是否恒定之前等待2010预定时间段。如果触摸的大小和形状恒定，则系统确定2120手掌触摸(或背侧触摸)是否在附近(例如，在触摸表面上的阈值距离内)。
如果手掌触摸不在附近，则指尖触摸被分类为需要的触摸，并且报告2125该触摸。在有意指尖触摸常见的情况下，可以将系统设计为使得，与其他方法步骤相比，指尖触摸快速通过该方法到达步骤2125。
如果手掌触摸在附近，则将指尖触摸和手掌触摸分组2130在一起。根据触摸的上下文，该组可以被分类为需要的或不需要的触摸。因此，如果尚不知道上下文信息，则可以检索上下文信息以确定该组是需要的触摸还是不需要的触摸。
参考图22，如果没有手掌触摸在背侧触摸附近，则确定2205附加背侧触摸是否在附近。
如果未找到附加的背侧触摸，则将背侧触摸分类为需要的触摸，并报告2210该触摸。例如，用户将其手指的背侧放置以执行滑动手势(例如，移动图片或执行翻页功能)。
如果附加的背侧触摸在附近，则确定2215附加的背侧触摸是否与该背侧触摸相似。相似性可以基于触摸特性。例如，如果附加的背侧触摸具有相似的取向和大小(例如，基于触摸形状的长轴线)，则将附加的背侧触摸分类为类似于该背侧触摸。
如果附加的背侧触摸和该背侧触摸相似，则将这些触摸分组2220在一起并报告。取决于系统上下文，该组触摸可以指示手平行于触摸表面，并且若干手指的背侧有意触摸该表面。例如，手正在形成用于移动屏幕上图像的手势。
如果附加的背侧触摸与第一背侧触摸不相似，则这些触摸也被分组在一起2225。这可以指示若干手指的背侧正在触摸表面，但是手不平行于表面(例如，触摸1530)。例如，手正在触摸表面上处于书写位置。因此，该组被分类为不需要的触摸。
在将背侧触摸分组在一起之后，确定2230背侧触摸的大小是否从左到右增加。这可以基于每个触摸的面积或另一形状参数，例如每个触摸的长轴线的长度。如果背侧触摸的大小从左到右增加，则确定2240该组来自右手。如果背侧触摸的大小从右到左增加，则确定2235该组是来自左手。类似于步骤2040和2145，则可以预期需要的触摸在该组的书写侧上，并且在距该组阈值距离内的其他触摸可以被分类为不需要的。在一些实施例中，该过程是一般化的。如果将背侧触摸布置成使得触摸的大小沿着沿触摸表面的方向增大，则预期想要的触摸在沿该方向的最小背侧触摸附近，并且在组附近的其他触摸可以归类为不需要的触摸并且随后被忽略。
VII.分布式处理
以上描述的处理方法可以全部或部分地通过分布式处理过程(诸如位于远程的处理节点)来应用。这可以是有利的，因为与典型的指尖或手写笔触摸组相比，这些方法支持的触摸形式的复杂性可能不那么常见。例如，教育环境中的触摸感测系统可能承担辨识呈现给感测表面的几何形状并向学生指示检测到的形状的任务。例如，可以使用云中的经训练的机器学习系统来完成此形状辨识。这样的方案可以扩展到高水平的复杂性，从而允许由不需要被包含在与系统直接相关联的硬件中的资源来辨识或解释各种取向和比例的形状的形式。这样，可以降低硬件的成本。通过暴露于来自一群多个触摸系统的训练数据，可以对远程学习系统进行训练并改善其性能。而且，触摸分析处理的集中管理有助于向远程系统添加新的触摸类型和形式。新的触摸类型可以包括几何形状，或具有独特光学特性的特殊物体或器械，诸如美国专利9,719,976中公开的那些。
使用本地和远程处理系统的组合可以意味着响应于频繁遇到的(和本地处理的)触摸(诸如指尖)，等待时间延迟可以小，而不常见的触摸类型或形式可以被远程处理。远程处理可能导致附加的延迟，但是当触摸类型或形式不常见时，这可以是可容忍的。例如，增加的等待时间可以被远程可用的处理能力的增加所抵消，从而减少了总体处理时间。
VIII.分类的变化
触摸的所确定的触摸特性(例如，大小和形状)可以随着时间变化。例如，由于用户向手写笔施加的力变小，所以来自手写笔的触摸事件的大小减小。另外，可以在给定触摸附近检测到新触摸。作为结果，例如，只要检测到触摸，就可以将这些触摸事件的触摸类型重新分类。触摸类型修改方案可以允许改变触摸类型。例如，如果归因于触摸的类型被改变，则由触摸处于先前类型而引起的活动可以被撤销(例如，解除)，并且可以使用新的触摸类型来追溯触摸轨迹。
在一组先前分开的触摸被修改为属于单个触摸物体的情况下，由所报告的触摸轨迹引起的活动可以被撤销并且被组合为单个轨迹。然后，可以将单个触摸轨迹(或表示触摸物体的运动的新的重新计算的轨迹)作为新的触摸类型进行追溯。可替代地，可以撤销由报告的触摸轨迹所引起的活动，并释放所有这些触摸。然后，可以使用新的触摸类型生成新的触摸，并且可以通过新的触摸来跟踪释放的触摸中的一个的轨迹(或代表触摸物体的运动的新的重新计算的轨迹)。
IX.减少其他触摸事件对触摸事件的冲突
在某些情况下，即使触摸在大小和光学吸收方面相似，分开的触摸也会相互冲突。例如，通过手写笔触摸的光束也可以通过附近较大的手掌触摸。这样，被手写笔触摸干扰的光束的光束透射值Tjk也可以受到手掌触摸的影响。这可能破坏手写笔的位置估计。
在这些情况下，可以将一个或多个干扰触摸暂时分类为不需要的触摸事件，直到确定触摸事件的位置(或其他触摸特性)为止。例如，如果手掌触摸干扰了手写笔触摸的位置估计，则将手掌触摸仍视为不需要的触摸，直到确定了手写笔触摸的位置为止(即使手掌触摸后来被确定为需要的触摸)。
活动映射图可以使得能够识别分开的触摸，并且基础光束数据用于减少触摸之间的冲突相互作用。首先，可以使用诸如递归草火算法之类的图像处理方法将由活动模板的群集表示的触摸分开。然后，将每个触摸的模板分解为相关联的基础光束可以提供每个触摸的光束列表。最后，光束列表数据可用于减少触摸之间的干扰。
在一些实施例中，通过识别用于触摸的光束不与任何其他触摸共享来解决该问题。因此，所识别的光束可以用于确定触摸的位置和其他触摸特性。仅使用触摸特有的光束可以消除或减少其他触摸的影响。
在其他实施例中，系统可以识别与其他触摸共享的受触摸事件影响的光束。对于每个共享光束，系统估计每个触摸对沿该光束的每个触摸引起的透射值Tjk改变的贡献。可以通过应用每单位距离的损耗的规则并跟踪每个光束通过每个触摸的路径长度(例如，通过计算每个触摸中光束通过多少模板区域)来得出此估计。每单位距离的损耗可以通过获取一群通过触摸的光束的透射率值Tjk的变化百分比来估计，或者通过识别未共享的光束(例如，仅受所讨论的触摸影响的光束)并且将这些光束的透射Tjk损耗除以它们通过触摸的路径长度来估计。估计每个触摸对共享光束的透射变化的贡献的另一种方法是，以与共享光束相同或相似的方式，识别应受每个触摸影响的未共享光束。例如，通过圆形触摸的中心的共享光束应该经历与也通过触摸的中心(例如，从不同方向)的未共享光束类似的源自该触摸的透射Tjk损耗。
当每个触摸对共享光束的影响已经分配给触摸时，可以为每个光束计算新的光束值Tjk(1)、Tjk(2)…Tjk(N)，其中这些值是通过触摸1到N的光束段的透射值。因此，这些计算出的共享光束的透射值Tjk(x)可以与非共享光束的测量的透射值Tjk结合，并用于确定触摸的位置(和其他触摸特性)。
X.示例方法
图23是示出根据实施例的用于对触摸进行分类的方法的流程图。该方法的步骤可以以不同顺序执行，并且该方法可以包括不同的、附加的或更少的步骤。
识别2305一个或多个触摸事件。每个触摸事件具有形状和大小。
基于形状和大小，向一个或多个触摸事件中的每一个分配2310触摸类型。触摸类型可以包括指尖触摸类型、手写笔触摸类型和手掌触摸类型。可以通过根据数据集训练的机器学习模型来执行分配触摸类型。每个数据集包括指示多个触摸事件的信息，以及将触摸事件分类为指尖触摸、手写笔触摸和手掌触摸的标签。
至少部分地基于至少一个触摸事件的所分配的触摸类型，将至少一个触摸事件分类2315为不需要的触摸事件。分配为手掌触摸类型的触摸事件可以被分类为不需要的触摸事件。可以通过根据数据集训练的机器学习模型来执行将至少一组分类为一组不需要的触摸事件。每个数据集包括指示多个触摸事件的信息，以及将触摸事件分类为需要的触摸和不需要的触摸的标签。
在一些实施例中，触摸类型还包括手写笔触摸类型、背侧触摸类型、前臂触摸类型和袖子触摸类型。在这些实施例中，将至少一个触摸事件分类为不需要的触摸事件包括将分配为背侧触摸类型和袖子触摸类型的触摸事件分类为不需要的触摸事件。
该方法可以包括接收上下文信息，该上下文信息包括可以被分类为需要的触摸类型的列表。在这些实施例中，将至少一个触摸事件分类为不需要的触摸事件进一步至少部分地基于上下文信息。
该方法可以包括将一个或多个触摸事件分组成组。该分组基于所分配的触摸类型。在这些实施例中，将至少一个触摸事件分类为不需要的触摸事件进一步至少部分地基于分组。
图24是示出根据实施例的用于对触摸进行分类的另一种方法的流程图。该方法的步骤可以以不同顺序执行，并且该方法可以包括不同的、附加的或更少的步骤。
识别2405一个或多个触摸事件。每个触摸事件具有位置和形状。在识别一个或多个触摸事件之后，可以基于触摸事件的形状将一个或多个触摸事件分类为指尖触摸事件、手写笔触摸事件、背侧触摸事件或手掌触摸事件。
将一个或多个触摸事件分组2410成组。该分组基于一个或多个触摸事件中的每一个的位置和形状。该分组还可以基于每个触摸事件的大小和取向。该分组可以由根据数据集训练的机器学习模型来执行。每个数据集包括指示多个触摸事件的信息，以及将触摸事件分类为需要的触摸或不需要的触摸的标签。
至少部分地基于该分组，将至少一组分类2415为一组不需要的触摸事件。可以通过根据数据集训练的机器学习模型来执行对该组进行分类。每个数据集包括指示多个触摸事件的信息，以及将触摸事件分类为指尖触摸、手写笔触摸、背侧触摸和手掌触摸的标签。在一些实施例中，该组不需要的触摸事件包括背侧触摸事件和手掌触摸事件。在一些实施例中，该组不需要的触摸事件包括两个或更多个背侧触摸。
图25是示出根据实施例的用于形成表面上或表面附近的触摸事件的映射图的方法的流程图。该表面具有沿其外围的至少一部分布置的发射器和检测器。发射器产生由检测器接收的光束。触摸事件干扰光束。该方法的步骤可以以不同顺序执行，并且该方法可以包括不同的、附加的或更少的步骤。
先验地确定2505用于一组预期触摸事件的一组触摸事件模板。每个触摸事件模板表示表面的一个区域，并且由将受到该区域处的预期触摸事件的干扰的一组对应的至少两个光束来限定。
接收2510指示哪些光束已被实际触摸事件干扰的信息。
从该组触摸事件模板中确定2515活动模板的子集。每个活动模板都是其中一组对应的光束受到实际触摸事件的干扰的触摸事件模板。
在一些实施例中，确定活动模板的子集包括附加步骤。对于每个触摸事件模板，获得该组对应的光束中的每个光束的光束透射值。对于每个触摸事件模板，确定至少指定比例的透射值的是否超过预定阈值。对于每个触摸事件模板，如果指定比例超过预定阈值，则将触摸事件模板包括在活动模板的子集中。在这些实施例中，确定指定比例是否超过预定阈值包括确定指定比例是否超过预定阈值达阈值时间量。
基于活动模板的子集形成2520活动映射图，该活动映射图表示表面上或表面附近的实际触摸事件。活动映射图的分辨率可以由触摸事件模板表示的区域的大小来确定。
在一些实施例中，通过基于与活动模板相对应的表面的区域将活动模板聚类为群集来形成活动映射图。如果与第一活动模板相对应的表面的第一区域距与第二活动模板相对应的表面的第二区域不大于阈值距离，则第一活动模板可以与第二活动模板一起包括在群集中。
XI.应用
上述触敏装置和方法可以在各种应用中使用。触敏显示器是一类应用。其包括用于平板电脑、笔记本电脑、台式机、游戏机、智能手机和其他类型的计算装置的显示器。其还包括用于电视、数字标牌、公共信息、白板、电子阅读器的显示器以及其他类型的高分辨率显示器。然而，它们也可以在较小或较低分辨率的显示器上使用：较简单的手机、用户控件(复印机控件、打印机控件、家电控件等)。这些触敏装置还可以用于显示器以外的应用。在其上检测到触摸的“表面”可以是无源元件，诸如印刷图像或仅仅是一些硬表面。该应用可以用作用户界面，类似于轨迹球或鼠标。

Claims (21)

1.一种用于对表面上或表面附近的触摸事件进行分类的方法，所述方法包括：
识别一个或多个触摸事件，每个触摸事件具有形状和大小；
基于所述形状和大小，为所述一个或多个触摸事件中的每一个分配触摸类型；并且
至少部分地基于所述至少一个触摸事件的所分配的触摸类型，将至少一个触摸事件分类为不需要的触摸事件。
2.根据权利要求1所述的方法，还包括：
接收上下文信息，所述上下文信息包括可以被分类为需要的触摸类型的列表，
其中将至少一个触摸事件分类为不需要的触摸事件进一步至少部分地基于所述上下文信息。
3.根据权利要求1所述的方法，还包括：
将所述一个或多个触摸事件分组成组，所述分组基于所分配的触摸类型；
其中将至少一个触摸事件分类为不需要的触摸事件进一步至少部分地基于所述分组。
4.根据权利要求1所述的方法，其中通过机器学习模型来执行为所述一个或多个触摸事件中的每一个分配触摸类型，所述机器学习模型根据数据集进行训练，每个所述数据集包括：
指示多个触摸事件的信息，以及
用于将触摸事件分类为指尖触摸、手写笔触摸和手掌触摸的标签。
5.根据权利要求1所述的方法，其中通过机器学习模型来执行将至少一组分类为一组不需要的触摸事件，所述机器学习模型根据数据集进行训练，每个所述数据集包括：
指示多个触摸事件的信息，以及
用于将触摸事件分类为需要的触摸和不需要的触摸的标签。
6.根据权利要求1所述的方法，其中将至少一个触摸事件分类为不需要的触摸事件包括：
将被分配为手掌触摸类型的触摸事件分类为不需要的触摸事件。
7.根据权利要求1所述的方法，其中触摸类型还包括手写笔触摸类型、背侧触摸类型、前臂触摸类型和袖子触摸类型，并且其中将至少一个触摸事件分类为不需要的触摸事件包括：
将被分配为背侧触摸类型和袖子触摸类型的触摸事件分类为不需要的触摸事件。
8.根据权利要求1所述的方法，其中所述触摸类型包括指尖触摸类型、手写笔触摸类型和手掌触摸类型。
9.一种用于对表面上或表面附近的触摸事件进行分类的方法，所述方法包括：
识别一个或多个触摸事件，每个触摸事件具有位置和形状；
将所述一个或多个触摸事件分组成组，所述分组基于所述一个或多个触摸事件中的每一个的所述位置和形状；并且
至少部分地基于所述分组将至少一组分类为一组不需要的触摸事件。
10.根据权利要求9所述的方法，其中通过机器学习模型来执行将所述一个或多个触摸事件分组成组和将至少一组分类为一组不需要的触摸事件，所述机器学习模型根据数据集进行训练，每个所述数据集包括：
指示多个触摸事件的信息，以及
用于将触摸事件分类为需要的触摸和不需要的触摸的标签。
11.根据权利要求9所述的方法，还包括：在识别一个或多个触摸事件之后，基于所述触摸事件的所述形状将所述触摸事件中的一个或多个分类为指尖触摸事件、手写笔触摸事件、背侧触摸事件或手掌触摸事件。
12.根据权利要求11所述的方法，其中通过机器学习模型来执行将所述触摸事件中的一个或多个分类为背侧触摸事件或手掌触摸事件，所述机器学习模型根据数据集进行训练，每个所述数据集包括：
指示多个触摸事件的信息，以及
用于将触摸事件分类为指尖触摸、手写笔触摸、背侧触摸和手掌触摸的标签。
13.根据权利要求11所述的方法，其中所述一组不需要的触摸事件包括背侧触摸事件和手掌触摸事件。
14.根据权利要求11所述的方法，其中所述一组不需要的触摸事件包括两个或更多个背侧触摸。
15.根据权利要求9所述的方法，其中将所述两个或更多个触摸事件分组成组进一步基于每个所述触摸事件的大小和取向。
16.一种用于形成表面上或表面附近的触摸事件的映射图的方法，所述表面具有沿其外围的至少一部分布置的发射器和检测器，所述发射器产生由所述检测器接收的光束，触摸事件干扰所述光束，所述方法包括：
先验地确定用于一组预期触摸事件的一组触摸事件模板，每个触摸事件模板表示所述表面的区域，并且由将受到所述区域处的预期触摸事件的干扰的一组对应的至少两个光束来限定；
接收指示哪些光束已被实际触摸事件干扰的信息；
从所述一组触摸事件模板确定活动模板的子集，每个活动模板是其中一组对应的光束被所述实际触摸事件干扰的触摸事件模板；
基于所述活动模板的子集形成活动映射图，所述活动映射图表示所述表面上或所述表面附近的所述实际触摸事件。
17.根据权利要求16所述的方法，其中所述活动映射图的分辨率由所述触摸事件模板表示的所述区域的大小确定。
18.根据权利要求16所述的方法，其中确定所述活动模板的子集包括：
对于每个触摸事件模板：
获得所述一组对应的光束中的每个光束的光束透射值；
确定至少指定比例的所述透射值是否超过预定阈值；
如果所述指定比例超过所述预定阈值，则将所述触摸事件模板包括在所述活动模板的子集中。
19.根据权利要求18所述的方法，其中确定所述指定比例是否超过所述预定阈值包括确定所述指定比例是否超过所述预定阈值达阈值时间量。
20.根据权利要求16所述的方法，其中形成所述活动映射图包括：
基于所述表面中的与所述活动模板相对应的所述区域，将活动模板聚类成群集。
21.根据权利要求20所述的方法，其中如果与第一活动模板相对应的所述表面的第一区域距与第二活动模板相对应的所述表面的第二区域的距离不超过阈值距离，则所述第一活动模板与所述第二活动模板一起被包括在群集中。
CN201980026637.9A 2018-02-19 2019-02-19 触摸敏感装置中的不需要的触摸管理 Pending CN112041799A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862632140P 2018-02-19 2018-02-19
US62/632,140 2018-02-19
PCT/IB2019/000182 WO2019159012A1 (en) 2018-02-19 2019-02-19 Unwanted touch management in touch-sensitive devices

Publications (1)

Publication Number Publication Date
CN112041799A true CN112041799A (zh) 2020-12-04

Family

ID=66102141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026637.9A Pending CN112041799A (zh) 2018-02-19 2019-02-19 触摸敏感装置中的不需要的触摸管理

Country Status (3)

Country Link
US (1) US11175767B2 (zh)
CN (1) CN112041799A (zh)
WO (1) WO2019159012A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209608A (zh) 2015-01-28 2017-09-26 平蛙实验室股份公司 动态触摸隔离帧
EP3537269A1 (en) 2015-02-09 2019-09-11 FlatFrog Laboratories AB Optical touch system
US10775937B2 (en) 2015-12-09 2020-09-15 Flatfrog Laboratories Ab Stylus identification
DK3667475T3 (da) 2016-12-07 2022-10-17 Flatfrog Lab Ab Buet berøringsapparat
US10963104B2 (en) 2017-02-06 2021-03-30 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
EP3602258B1 (en) 2017-03-22 2024-05-08 FlatFrog Laboratories AB Pen differentiation for touch displays
WO2018182476A1 (en) 2017-03-28 2018-10-04 Flatfrog Laboratories Ab Touch sensing apparatus and method for assembly
CN111052058B (zh) 2017-09-01 2023-10-20 平蛙实验室股份公司 改进的光学部件
WO2019172826A1 (en) 2018-03-05 2019-09-12 Flatfrog Laboratories Ab Improved touch-sensing apparatus
WO2020153890A1 (en) 2019-01-25 2020-07-30 Flatfrog Laboratories Ab A videoconferencing terminal and method of operating the same
WO2020201831A1 (en) * 2019-03-29 2020-10-08 Rapt Ip Limited Unwanted touch management in touch-sensitive devices
GB2591764A (en) * 2020-02-04 2021-08-11 Peratech Holdco Ltd Classifying pressure inputs
WO2021162602A1 (en) 2020-02-10 2021-08-19 Flatfrog Laboratories Ab Improved touch-sensing apparatus
WO2022225150A1 (ko) * 2021-04-19 2022-10-27 삼성전자 주식회사 전자 장치 및 그 동작 방법
EP4099142A4 (en) 2021-04-19 2023-07-05 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD OF OPERATION
US11989369B1 (en) 2023-03-30 2024-05-21 Microsoft Technology Licensing, Llc Neural network-based touch input classification

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120218229A1 (en) * 2008-08-07 2012-08-30 Rapt Ip Limited Detecting Multitouch Events in an Optical Touch-Sensitive Device Using Touch Event Templates
US20150042586A1 (en) * 2013-08-07 2015-02-12 Funai Electric Co., Ltd. Input Device
US20160012348A1 (en) * 2014-07-11 2016-01-14 Microsoft Corporation Touch classification
CN107329634A (zh) * 2012-04-30 2017-11-07 拉普特知识产权公司 光学触敏装置中用触摸事件模板检测多触摸事件

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5372000B2 (ja) * 2007-10-11 2013-12-18 エヌ−トリグ リミテッド デジタイザのためのジェスチャ検出
EP2338104B1 (en) 2008-08-07 2018-06-06 Rapt IP Limited Method and apparatus for detecting a multitouch event in an optical touch-sensitive device
KR101554606B1 (ko) 2008-08-07 2015-10-06 랩트 아이피 리미티드 변조된 에미터를 가진 광학 제어 시스템
US9244545B2 (en) * 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
CN104094203B (zh) 2011-07-22 2017-02-15 拉普特知识产权公司 用于在光学触敏装置中使用的光学耦合器
US10371686B2 (en) 2012-11-15 2019-08-06 Heraeus EIectro-Nite International N.V. Detection device for molten metal
US20140168140A1 (en) 2012-12-18 2014-06-19 Logitech Europe S.A. Method and system for discriminating stylus and touch interactions
US9207802B2 (en) * 2013-07-01 2015-12-08 Atmel Korea Llc Suppression of unintended touch objects
JP5774652B2 (ja) 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9329727B2 (en) * 2013-12-11 2016-05-03 Microsoft Technology Licensing, Llc Object detection in optical sensor systems
US9778789B2 (en) * 2014-05-21 2017-10-03 Apple Inc. Touch rejection
US9864453B2 (en) * 2014-09-22 2018-01-09 Qeexo, Co. Method and apparatus for improving accuracy of touch screen event analysis by use of edge classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120218229A1 (en) * 2008-08-07 2012-08-30 Rapt Ip Limited Detecting Multitouch Events in an Optical Touch-Sensitive Device Using Touch Event Templates
CN107329634A (zh) * 2012-04-30 2017-11-07 拉普特知识产权公司 光学触敏装置中用触摸事件模板检测多触摸事件
US20150042586A1 (en) * 2013-08-07 2015-02-12 Funai Electric Co., Ltd. Input Device
US20160012348A1 (en) * 2014-07-11 2016-01-14 Microsoft Corporation Touch classification

Also Published As

Publication number Publication date
WO2019159012A1 (en) 2019-08-22
US11175767B2 (en) 2021-11-16
US20190258353A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
US11175767B2 (en) Unwanted touch management in touch-sensitive devices
US20200310621A1 (en) Unwanted touch management in touch-sensitive devices
US10795506B2 (en) Detecting multitouch events in an optical touch- sensitive device using touch event templates
US10901556B2 (en) Instrument detection with an optical touch sensitive device
US11036338B2 (en) Touch object discrimination by characterizing and classifying touch events
US10691279B2 (en) Dynamic assignment of possible channels in a touch sensor
US9990696B2 (en) Decimation strategies for input event processing
US10558293B2 (en) Pressure informed decimation strategies for input event processing
US8531435B2 (en) Detecting multitouch events in an optical touch-sensitive device by combining beam information
US11314355B2 (en) Capacitive sensor patterns
US9965101B2 (en) Instrument detection with an optical touch sensitive device
US10620746B2 (en) Decimation supplementation strategies for input event processing
CN107329634B (zh) 光学触敏装置中用触摸事件模板检测多触摸事件
US9791977B2 (en) Transient deformation detection for a touch-sensitive surface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210508

Address after: Castleton, Isle of man

Applicant after: Beckett Co.,Ltd.

Address before: Mariel, Malta

Applicant before: Laput Intellectual Property