CN103098012A - 用于检测多点触控设备上任意数量触摸的方法 - Google Patents

Abstract

一种用于从多点触控设备的输入图像检测任意数量的触摸的方法，该方法包括以下步骤：-处理所述输入图像并且获取被处理图像；-通过所述被处理图像（8000）的阈值转换并且获取被分割图像的分割；-确认被分割图像的区域；-找出局部最大值，每一个局部最大值是在每一个区域内的子区域上的一个像素尺寸；-基于所述局部最大值确定至少一个触摸位置。

Description

用于检测多点触控设备上任意数量触摸的方法

技术领域

本发明涉及用于检测多点触控设备上任意数量触摸的方法。该方法还可以允许跟踪检测到的触摸以及手势识别。

背景技术

尽管示意性实施方式涉及使用电容传感设备，本发明可以基于任何触摸传感技术被实施。所述电容传感设备包括：

-包括第一行数的传感电容器和第二列数的传感电容器的阵列；

-用于生成输入信号以及用于以行扫描率将所述输入信号编址到每一个行的装置；

-第二数量的电路。

在优选的实施方式中，该电路包括：

-低通滤波器；

-包括输入电容器的相关双采样器；

-采样保持器；

-模数转换器；

低通滤波器包括输入电容器和串联电阻。

换句话说，电路在一个区块中集成了低通滤波器和相关双采样器。

多点触控设备是能够同时检测例如手指的一些对象接触或靠近的装置。已知的多点触控设备的示例基于电容传感器并且可以被用于各种设备，例如但不限于电容触摸板、电容触控面板、电容触摸屏或投影电容显示器。基于电容的触摸设备通常由电容器阵列形成。如果具有良好介电性能的对象，例如手指，靠近设备，那么放在下面的电容器的电容会改变。整个阵列可以由电容传感集成电路（CSIC）以中速读取，典型地是100-1000fps。所述电路的数字输出是灰度图像序列，其中像素对应于数字化电容值。

本发明涉及用于处理该图像序列的方法，从而计算任意数量触摸的位置并且通过图像序列对它们进行跟踪。该方法还允许手势识别。

通常使用如图1例示的多点触控方法，从而处理连接到电容触控面板200的CSIC的数字输出。多点触控方法例如包括以下步骤：校准加图像预处理1000、图像分割加分析2000，以及跟踪3000。另选的是，通过使用区块匹配/KLT(Kanade-Lucas-Tomasi)跟踪或其他类似的已知技术，将图像分割加分析2000与跟踪3000结合到一个步骤中。但是，这样的方法需要非常干净的输入图像，即具有良好分辨率的低噪输入图像。如图1所示方法的输出可以被传输到主机5000，例如通过USB连接。

存在对允许鲁棒性且快速的多点触控检测/跟踪的改进方法的需要，包括不受手指/轨迹的数量限制并且允许精确位置确定、适合针对触摸检测的硬件实施需要低的总处理要求的应用的方法。

美国专利US5543591（新思国际（Synaptics））描述了用于检测在触摸-传感器板上的触摸的方法，其中，通过估计在触摸-传感器阵列的单独传感线上测量的电容的加权平均数在水平(x)和垂直(y)方向上计算（几何中心计算）触摸的位置。该方法不允许真实的多点触控检测，因为当多个手指出现时，其不是鲁棒性的。该方法包括仅针对特定的简单手势，例如单击，即上下运动，双击和其他类似手势，而跟踪单一被检测的触摸。跟踪和手势识别是紧密结合的，但是它们涉及不易被扩展的非常具体的实施。

美国专利US5825352（罗技科技（Logitech））描述了用于检测在一个或多个很好对齐的手指和触摸板之间的操作耦合的方法。在噪音抑制以及校准阶段之后，扫描空间手指轮廓并且提取所输入的x-轮廓和y-轮廓。在两个手指的情况下，例如索引和媒介，表示手指轮廓中的第一手指的第一最大值，之后是表示手指间的空间的最小值，再接着是表示第二手指的另一个最大值。由于手指必须是对齐的，为了避免人工制品，阈值可以被应用到两个最大值之间的距离。通过计算单一的质心值，该值定义为两个最大值的中点，来确定触摸位置。所述方法对噪音不是鲁棒性的。此外，位置确定不是非常准确并且如果触摸没有很好地对齐就不进行多点触控检测。此外，当多于三个手指同时出现在触摸板上时，该方法失灵。该文件公开了与手势识别紧密结合的多点触控跟踪器，其中，最左边或最右边的触摸被用作指针，并且其余的触摸（如果存在）被用于简单手势识别。

美国专利US7663607（苹果公司（Apple））描述了用于多点触控检测的方法，其中，通过滤波整个输入图像并且然后基于它们的边界找到触摸区域来执行触摸位置确定：计算表示输入图像的拓扑结构的梯度数据，并且基于梯度数据计算触摸区域边界（该边界计算的输出是二进制拓扑图像，即在边界包含1在其余各处包含0的图像)，然后，通过使用分水岭算法，从边界数据确定触摸区域（该分水岭转化的输出是区域的图像，即，除了在闭合边界内部在其余各处包含0的图像，即触摸区域）。通过利用与每一个触摸区域相关联的数据进行质心计算来完成触摸位置确定。与已知方案相比，所述方法需要很高的处理要求，由于这个原因其不适合手/定位笔的书写/绘画应用。此外，由于该方法被设计用于不超过10个手指，其受限于触摸和/或使用设备的人的数量。

国际专利WO2009/007704（爱特梅尔公司/QRG有限公司（Atmel/QRG Limited））描述了多点触控检测方法，其中，在具有最大电容信号值的传感元件确定之后，定义围绕该元件的区域。通过在每一个后续步骤中排除出现在先前定义的区域中的信号，该方法反复迭代所述两个步骤。所述方法使用相邻按键抑制的修改实施方式。此外，与已知方案相比，所述方法需要很高的处理要求。另外，该方法不准确，并且需要在相邻信号值之间的插入用于更准确地确定在每一个区域中的触摸位置。触摸跟踪是基于在两个不同时间确定的触摸位置之间的所有可能路径的路径长度的计算。然后找到针对每一个组合的总距离，并且具有最低距离值的组合表示针对被考虑的对象的最小跟踪距离，并且因此表示跟踪这些对象的最可能组合。跟踪步骤需要大量计算，特别是出现大量对象时。此外，该方法的跟踪部分不准确。

美国专利US2008/0087477（三星电子（Samsung））描述了多点触控方法，该方法包括基于具有超过阈值的信号强度的传感通道的数量，检测是否传感到了单点触控或多点触控的步骤。如果传感通道的数量超过第二阈值（例如3），控制器确定操作是基于多点触控传感。该方法不准确，并且当出现误检测时不是鲁棒性的。没有提到跟踪。

美国专利US7656394（苹果公司（Apple））描述了多点触控跟踪方法，其中通过使用高级但是消耗计算量的数字信号处理（DSP）步骤可靠地跟踪大量的参数，例如16个参数，例如触摸区域的省略装配，模糊模式识别以及针对手和手指识别的指定问题。换句话说，相比已知方案，该方法对处理和内存要求非常高。手势识别基于运动参数分析和位掩码的组合。但是它不灵活，并且大部分被跟踪参数对手势识别没有用。此外，针对超过两只手或超过一个人该方法不能正确地工作。

国际专利WO2009/108334（纽约大学（New York University））描述了具有表面和用于检测表面压力并且向处理器产生对应于表面压力的信号的传感器阵列的传感器板。为了使用传感器板，使用者必须将其插入计算机上的USB接口。正电压同时施加到传感器阵列的每一行并且同时读取传感器阵列的每一列上的电压值。压力检测不是电容性的。当硬件从传感器板扫描模拟值时，它取回被转化成压力的电压值的2D阵列。计算校准值的额外2D阵列，并且被消去成第一2D阵列从而用于确定哪个点是触摸点或接触点。针对所有的接触点，找出压力最大的点或种子点。在找出种子点之后，找到围绕每一个种子点的所有连接范围并且针对每一个部分计算中心和方差。跟踪连接部分的步骤之后是滤波步骤。该文件没有提到分割步骤、区域识别，也没有提到使用子区域。

欧洲专利EP2077490（苹果公司（Apple））描述了用于有选择地拒绝在触摸传感器板的边缘区域中的触摸接触的方法。但是在边缘区域中的接触超出阈值距离或阈值速度移动时，其可以被识别为手势的一部分。该识别还允许在边缘区域内执行跟踪操作。基于手指或拇指的识别，可以修改边缘区域的尺寸。

因此，需要鲁棒性地、精确地并且独立于手指对齐地检测多点触控设备上任意数量触摸的方法。

还需要用于检测不受待被检测的触摸数量限制的任意数量触摸的并且还适于手/定位笔的书写/绘画应用的方法。

还需要与已知方案相比使用低的总处理要求来检测和跟踪任意数量触摸的方法。

还需要用于跟踪不限于被跟踪触摸的数量的任意数量触摸的并且适于多于一人或多于两只手使用的方法。

还需要用于跟踪允许灵活手势识别的任意数量触摸的方法，即具有任意数量手指的任何类型手势识别。

发明内容

根据本发明，这些目的通过根据权利要求1的用于检测多点触控设备上任意数量触摸的方法、根据权利要求26的非暂时的有形计算机可读介质和根据权利要求27的多点触控装置实现。

与现有技术相比，本文公开的方法的优点具体地包括具有“真实的”多点触控检测而没有关于触摸数量的限制，并且与已知方案相比需要低的总处理要求。

有利地，根据本发明的方法可以允许手/定位笔的书写/绘画应用。

本方法可以允许鲁棒性的多点触控跟踪而没有关于跟踪触摸数量的限制，并且还适于被多于一个人使用。

有利地，根据本发明的方法可以允许灵活手势识别，因为其能够识别任何类型手指的任何类型手势。

当与其它现有技术方法相比，根据本发明的方法是快速的：触摸检测的速度对触摸的数量的依赖可以忽略。此外，本方法在输入数据的质量方面是鲁棒性的：有利地，本文公开的方法很好地处理低质量的输入数据，即具有高噪音电平和低分辨率的输入数据。

附图说明

借助于示例实施方式的说明和例示的附图，将更好地理解本发明。其中：

图1例示性地示出了多点触控方法的主要步骤的视图。

图2示出了根据本发明的一个实施方式的方法的简化流程图。

图3A示出了在3×3子区域原则下局部最大值测试的示例。

图3B示出了被找出的局部最大值和最大值的其它类型。

图4示出了利用在非重叠窗口上的真实平均数的时域滤波的示例。

图5例示了根据本发明的一个实施方式的方法的第一灰度图像滤波步骤的一个实施方式。

图6例示了根据本发明的一个实施方式的方法的第二灰度图像滤波步骤的一个实施方式。

图7A至7C示出了根据本发明的一个实施方式的方法的在二进制图像滤波步骤中需要的3×3方形像素结构元素的基本二进制形态操作的一个实施方式。

图8示出了通过使用具有4个不同2×2方形像素结构元素的形态滤波的二进制图像滤波步骤的一个实施方式。

图9示出了根据本发明的一个实施方式的方法的跟踪步骤的流程图。

图10A至10C示出了根据本发明的一个实施方式具有线性和赋值问题（Linear Sum Assignment Problem）（LSAP）和软电子门示例（soft-gating illustration）的多点触控跟踪的一个示例。

图11示出了根据本发明的一个实施方式通过针对大位移使用预计触摸位置而改变门距离和赋值的示例。

图12例示了包含根据本发明一个实施方式的跟踪部分的主要步骤的简化流程图。

图13例示了包含根据本发明的一个实施方式的手势识别的主要步骤的流程图。

具体实施方式

图2示出了根据本发明的一个优选实施方式的方法的流程图。由多点触控设备的电容传感集成电路（CSIC）输出的图像，例如16位图像，被用作第一校准加预处理区块1000的输入图像7000。该输入图像没有被标注，即，不包含负像素值。第一区块1000后接着是分割加分析区块2000，再后接着是跟踪区块3000。针对输入图像序列的每一个帧处理这些区块。

在上下文中的名词“区块”表示用于提供功能的功能单元。区块可以用硬件部件和/或软件部件实现。

在上下文中的表述“图像”指示多点触控设备的状态的二维表示，该二进制或多值表示在所述设备的每一个传感电容器中的电荷。图像不是必须被显示或旨在被显示的。

跟踪区块3000的输出包括N矢量，每一个矢量是（N,ID,x,y,z）的形式，其中

-N是在一个时间出现在多点触控设备上的触摸的数量；

-ID是识别特定触摸的编号；

-x和y是对应于ID的触摸的触摸位置的平面坐标；

-z是触摸强度，即，与由于对象出现在多点触控设备上或靠近多点触控设备造成的电场改变成比例的值。换句话说，触摸强度z与对象到设备的距离以及对象的等效介电常数或导电率成比例。

用于获取零触摸基准图像或基线或基准图像的初始校准1020，与平均消去1040一起，也就是减去具有所述基准图像的输入图像7000，允许提取能够很好定位触摸的微分和被标记图像。被标注图像可以包含正负像素值。即使零触摸基准原始图像如在理想情况中是“非一致的”，即，尽管在多点触控设备上没有对象，基准图像包含不同的灰度值，步骤1020和1040还允许很好地同样检测触摸。

三个滤波区块1010、1030、1050可以被用于清理高度损坏的图像：

-时域滤波1010主要是基于非递归、快速平均从而滤除主要由系统和环境噪声构成的白噪声。

-第一灰度图像滤波块1030滤除主要由手指在多点触控设备上引起的耦合造成的尖锐噪音，例如，1-像素噪音。其还包括用于恢复真实触摸的单调性的校平器。

-第二灰度图像滤波块1050可以滤除例如由显示器或环境/系统50Hz噪音造成的强扰动。

在处理输入图像7000的这些步骤之后，获得了用作分割加分析区块2000的输入的被处理图像8000。区块2000的第一步骤是用常数阈值执行的图像分割2010从而将被处理图像8000分成前景，即触摸+残留噪声，和背景。然后在被处理图像中识别一个或多个区域。在一个优选实施方式中，区域是对应于一个触摸的像素的连接组，例如都具有大于预定阈值的值的连接像素的一个组。在术语“连接像素”中“连接”的意思涉及N-连接邻近或相邻像素的概念，其中N是偶数。在一个优选实施方式中，N=4。在这种情况下，如果N/2，例如2，邻近或相邻像素在相同的行-或在相同的列-并且如果它们具有大于预定阈值的值，它们属于相同的区域，即它们是N-连接，例如4-连接。

二进制图像滤波2020滤除二进制噪音，例如松散的或没有意义的区域。

执行区域标注2030来获得在该滤波后保留的被识别区域的坐标。然后针对范围、方形形状和局部最大值的数量，在步骤2040分析被标注区域。

在上下文中的术语“方形形状”表示区域方形的程度。其通过用给定宽度（width_R）和高度（height_R）的矩形围绕任何形状的区域并且通过计算如下定义的方形形状因子被估计。

Min（width_R,height_R）/Max（width_R,height_R）

在上下文中的术语“一个像素尺寸的局部最大值”表示最大值，即，其触摸强度z具有最大值的一个像素。因为是在区域内的子区域中被估计的，所以这个最大值是“局部的”。在一个实施方式中，该子区域是N×N像素的尺寸，其中N是奇数。在一个优选实施方式中，N=3。

局部最大值的数字确定的主要问题是其不必强制为单一像素，而可以在多于一个像素上分布。寻找任意尺寸的局部最大值将消耗计算量并且通常意味着计算梯度图像（空间导数）和许多清理并使用导数图像的处理步骤。根据本发明的方法有利地将局部最大值的搜索限制到一个像素尺寸的局部最大值，使得很容易并且不消耗计算量地将它们找出。该方法基于所述限制允许非常重要的处理能力降低而没有显著降低触摸检测可靠性的发现。实际上，本发明改进的方法减少了正误识检测的数量，并且没有显著增加未检测触摸的数量。这部分地由于下面事实，即，具有大于一个像素的局部最大值的子区域通常只是临时的并且通常在一些帧之后被具有一个像素尺寸的局部最大值的子区域替换。

在局部最大值检索之前执行所有滤波步骤1010、1030、1050、2020保证，在多点触控设备上的手指对应于一个像素尺寸的局部最大值具有很高概率。然后，根据本发明的方法不需要导数，不需要导数后处理，并且因此如果与现有技术的其它方法相比需要非常低的处理要求。

图3A示出了包括两个区域A和B的被分割图像SI的一个示例。每一个区域包括像素，每一个像素具有不是0并且与触摸强度z成比例的值。子区域SR集中在每一个区域上的每一个像素上。在图3A的示例中，由虚线表示的该子区域是3×3像素尺寸。如果在子区域内的其它8个像素具有小于受验像素值的值，在子区域SR中心的像素，即受验像素，是局部最大值。

在图3A的示例中，区域B的像素P受验。由于在子区域SR内的其它8个像素之间存在具有大于像素P的值1的值9的两个像素，P不是一个像素尺寸的局部最大值。

区域B的具有值9的两个像素中的每一个，由于同样的原因不是局部最大值，因为在子区域内的其它8个像素之间，存在具有与受验像素的值相同的值9的像素，其中，子区域集中在这些两个像素中的每个像素中。

由于不包含一个像素尺寸的局部最大值，区域B被丢弃。但是图3A的示例示出了在区域B内的不寻常像素的布置，因为其罕见地具有两个具有相同的和高值的相邻像素。

区域B数学上具有值9的两个像素是两个像素尺寸的局部最大值。它们还是针对区域B的区域最大值RM，因为它们具有在区域B内的最大值，以及全局最大值GM，因为它们具有被分割图像SI的所有像素的最大值。在图3B中例示了不同类型的最大值。

根据图3B，在区域A中存在一个像素尺寸的三个局部最大值LM:一个像素尺寸的两个局部最大值具有值6，和一个像素尺寸的局部最大值具有值7，其也是针对区域A的区域最大值RM。

根据本发明的方法，基于找到的一个像素尺寸的局部最大值确定触摸位置。正如讨论的，如果区域不包含一个像素尺寸的至少一个局部最大值，则整个区域被丢弃。如果区域包含一个像素尺寸的一个局部最大值，通过使用区域的所有像素计算该区域的几何中心确定触摸位置。如果存在多于一个像素尺寸的一个局部最大值，对于几何中心计算，只考虑集中在每个局部最大值上的子区域内的9个像素。

根据预定的条件，基于它们的面积、它们的方形形状因子和/或，如已经提及的，在区域内找出的局部最大值的数量，一些区域被丢弃。

例如大区域，远不是方形的区域或具有许多局部最大值的区域很可能是假触摸并因此被拒绝。如果一个区域非常大或如果存在几个大区域，很可能在多点触控设备存在一个大的对象，例如手、耳朵等。在这种情况下，根据本发明的方法停止。还可能基于在区域内局部最大值的位置（我们期待它们或多或少在中心）、基于在图像内的区域的位置（一些区域更可能入选，其它区域可能被禁止或临时禁止）、基于先前或之后的图像（大部分触摸持续至少一些帧）等丢弃一些区域。还可能基于多个条件和考虑因子，计算区域是假触摸并且应该被丢弃的概率。

如果方法继续，根据一些公知的公式，在步骤2050计算每一个有效区域的几何中心。

在这些步骤之后，确定触摸位置9000。然后所有有效触摸被提交至具有已经被跟踪（标注）触摸的线性赋值3010。前馈成功标注的触摸至轨迹滤波3030并且然后输出。轨迹滤波由简单的、短的低通滤波器执行。

前馈未赋值的触摸至具有被跟踪（但是未标注）触摸的线性赋值3020。未标注触摸如果在一些帧期间没有被成功赋值，它们很可能是正误识，且因此被消除。但是，如果未标注触摸针对多帧被成功赋值，它很可能是真实的触摸并因此也被标注。

最后，如果需要可以执行再校准。需要进行动态再校准的主要原因是由于残留在多点触控设备上的油脂、汗渍或液体（雨水）并且可能由于环境电子场改变。

本方法输出的ID在从第一手指接触直到相同的手指释放的运动期间必须是常数。关于相对于多点触控设备的现实触摸位置，坐标x和坐标y必须尽可能准确。

整个方法可以在硬件、固件或软件或它们的组合中实施。

取决于并且包括二进制图像滤波（1010至2010）的区块适合于部分地取决于完全并行（图像）处理。即使如将要讨论的在区块3000中计算的大成本矩阵，小于1毫秒的计算时间是可能的。

如果在多点触控设备上没有触摸或不存在大的对象，所述方法结束并且由此减少计算活动。此外，取决于情况和应用，所述方法每秒循环的数量可以被动态地减少到最小值：在空闲模式中能够确保最大延迟要求的最低频率，针对软键盘应用（电话拨号、打字、菜单选择等）的低频率（10-25Hz）、用于指点（光标）和多点触控应用的平均频率（25-50Hz）以及用于手/定位笔的书写/绘画应用的高频率（50-200Hz）。

在时域滤波1010的过程中，输入图像7000的每一个像素信号的演变及时地被滤波，从而抑制高频内容，即具有高于100-200Hz频率的内容。但是也能够获得平稳信号（例如50Hz）的特定滤波。时域滤波1010可以用在数字滤波技术和数字滤波设计领域（有限脉冲响应和无限脉冲响应滤波器）中已知的各种方式实现。图4示出了具有针对多输入帧的真实平均数而没有重叠窗口的非运行和非递归时域滤波的一个示例。与通过低通滤波装置获得的近似平均数相比，关于窗口的所述平均数是真实的平均数，因为它是用算术平均公式计算的。参考1011表示预定长度的信号，在这种情况下，N=1024，并且参考1012表示尺寸W=16的重叠窗口的真实平均数。所述尺寸对应于信号1012的水平部分的长度。

初始校准1020与时域滤波1010类似地执行从而获取基准图像I_ref。因此，应该在多点触控设备上没有任何剩余对象的情况下执行校准。计算大量帧的真实平均数用于获取基准图像I_ref，该基准图像然后存储在基准图像缓冲器中。如果校准需要不时地重复，被存储的基准图像可以通过利用强权数α对旧的基准图像I_{ref_old}进行加权平均获得的新的时域滤波基准图像I_ref更新。该更新方法也是时域滤波。所述更新的（时域滤波的）基准图像是

αI_{ref_old}+（1-α）I_{ref_new} 其中，0<<α<1。

如果，在初始校准步骤1020，不能保证在多点触控设备上没有导电对象，一些启发式方法可以被用于确定基准图像是否足够“均匀”或足够“稀疏”。如果不是，可以重复校准直到达到期望的均匀或稀疏。还可以组合的一些可能的启发式方法是：

-计算基准图像的标准偏差和平均幅度。一旦它“足够小”，很可能在多点触控设备上没有运动。“足够小”的意思用实验方法确定。

-计算全变差范数，即基准图像的空间导数的L1范数。如果它“足够小”，图像是均匀的。同样，“足够小”的意思用实验方法确定。

提出的第二个启发式方法更快并且更可靠，但是，考虑到输入图像7000的粗分辨率，当离散空间导数时必须小心谨慎。

关于时域滤波1010和校准1020，处理时域滤波图像从而获得在多点触控设备上的真实触摸的真实x-y平面坐标关于每个帧的好判断。

针对多点触控检测的主要困难在于，在多点触控设备上的真实触摸的数量不是事先施加的或已知的。因此，输入图像7000必须被处理从而可靠地获得区域，即对应于不同触摸中的每一个的像素的连接组。

通过多个手指接触的传感电容器间的具有未完全已知耦合模式的耦合导致在输入图像上的以下效果中的一种：

-多点触控设备的一侧（底面），其导致与真实触摸强度和面积相同的“幽灵触摸（ghost touches）”。

-在多点触控设备的另一侧（顶面），幽灵触摸（ghost touches）也很明显，但是强度较弱符号相反。

即使与顶面相比，底面具有一些优点，一般来说也使用顶面。针对已经装配的多点触控设备，例如已经装入一个框架，很难轻击屏幕，因为这需要拆开整个设备，轻击它并且再重新组装。在这些情况下，通常使用顶面。在可能决定使用哪个面的情况下，底面允许获取大的信号噪音比。底面的优点在于可以显著减少图像滤波，但是存在需要用合适的算法解决的幽灵问题。

由于一些其他噪音源，相反符号的小峰值可以变成真实的噪音峰值，所述小峰值通过使用中（列）滤波器，例如1×3像素中滤波器，被第一灰度图像滤波1030滤波。

因为中滤波是非线性的，其不可分离，即没有引入实质信息丧失或失真，不能执行关于行的第二次运行。另选的是，采用2×2像素中滤波器，但是总地来说，因为不存在滤波中心，避免了具有偶数像素掩码的非二进制图像滤波。如果使用3×3像素中滤波器，考虑到输入图像的粗糙，很可能删除大部分真实的触摸。如果仍然需要对行增加第二次运行，其可以如图5所示执行。第一灰度图像滤波1030的输入图像1031被发送到1×3像素中滤波器1032和3×1像素中滤波器1033，两个滤波器并联工作。然后通过平均两个滤波器1032和1033的输出计算滤波图像1035。换句话说，第一灰度图像滤波器1030有利地包括校平器1034，即用于恢复真实触摸的单调性的低通平均器。

然后，滤波图像1035是平均消去区块1040或基准图像消去区块的输入。执行该消去用于获取只包含触摸（和残留噪音）的图像。当使用在顶面的多点触控设备时，真实的触摸一般导致比基线或零触摸基准图像更低的灰度值。因此，在区块1040，根据以下公式从基准图像I_ref减去第一灰度滤波区块1030的输出1035I_{filtered_1}：

I_sub=I_ref-I_{filtered_1}

I_sub是标注图像，其具有主要为正的真实触摸以及主要为负的幽灵触摸。噪音既有正振幅也有负振幅并且可能导致围绕不完全滤波幽灵的正误识。

为了减少出现正误识，标注图像I_sub被发送到第二灰度滤波区块1050并且用掩码滤波，例如如下的3×3像素加权平均法：

I_{filtered_2}=H*I_sub

其中，H是方阵，例如：

$H=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right)=\left(\begin{array}{ccc}0.0113& 0.0838& 0.0113\\ 0.0838& 0.6193& 0.0838\\ 0.0113& 0.0838& 0.0113\end{array}\right)$

I_filtered 2(k,l)=h₁₁I_sub(k-1,l-1)+h₁₂I_sub(k,l-1)+h₁₃I_sub(k+1,l-1)

+h₂₁I_sub(k-1,l)+h₂₂I_sub(k,l)+h₂₃I_sub(k+1,l)

+h₃₁I_sub(k-1,l+1)+h₃₂I_sub(k,l+1)+h₃₃I_sub(k+1,l+1)

k和l分别是每个像素的行索引和列索引，并且符号*表示I_sub和H的卷积。

此外，I_filtered2是标注图像。通过在域[-2,-2]×[2,2]中利用σ=1采样2D高斯核（2D Gaussian Kernal）获得低通滤波器系数h11…h33。

内部和外部噪音源引起每行和/或每列的像素平均数大的变化作为时间的随机非平稳函数。因此，通过传统滤波技术很难滤除这种类型的扰动。因为可以马上改变几乎完整行和/或完整列的平均数，所述过程可以颠倒并且可能计算和减去每行平均值和/或每列平均值，如例示了专用行/列滤波器的图6所示。针对第二灰度滤波区块1050的输入图像1051的每一行，计算（1052）每行平均值，并且如果其为正数，将其减去至当前行（1053）。在处理所有行之后，同样处理列：针对输入图像1051的每一列，计算（1054）每列平均值，并且如果其为正数，将其减去至当前列（1055）。在处理所有列之后，获得了也被标注的滤波图像1056。通过整流，该图像再次被转化成未标注图像8000，即将负值调到0。

专用滤波器的输出8000是非常干净的，即它包含对应于真实触摸或背景的许多像素以及仅一些对应于噪音和正误识的像素。然后该处理后图像被传送到分割加分析区块2000。因此，二进制图像分割2010通过具有低、常数阈值的简单阈值转换法获得：

$I_{\mathrm{TH}}[k,l]=\left\{\begin{array}{cc}1& \mathrm{if}{I}_{\mathrm{TH}}[k,l]\&GreaterEqual;\mathrm{th}\\ 0& \mathrm{otherwise}\end{array}\right.$

所述阈值th可以设置在全频的0.005和0.01之间，例如针对16位数据在64和512之间。被分割图像是二进制的。

有效二进制图像滤波2020可以通过二进制形态滤波执行。更具体地，形态打开操作器保存与结构元素相匹配的像素，即具有预定形状的一组像素，并且将其它像素调到0。换句话说，结构元素是针对关于形式/形状并且不关于灰度/强度滤波的图案或形状掩码。

如图7A至7C所示，二进制形态打开操作器2023被定义为形态腐蚀2021，接着是形态膨胀2022。通过在由结构元素（“滤波器掩码”）覆盖的所述块的输入图像的像素上采用AND操作器，并且将结构元素的中心像素设置为最终结果，可以实施腐蚀2021。通过在由结构元素覆盖的像素上采用OR操作器，并且将所有被覆盖像素设置为结果，可以实施膨胀2022。最后，通过在被覆盖像素上采用AND操作器并且将它们设置为结果可以容易地获得打开操作器2023。

针对结构元素的简单选择可以是需要一个形态打开通道的2×2像素正方形。“一个通道”表示一次经过或滤波待被滤波的图像的每一个像素从而获得滤波图像。“两个通道”表示图像先后两次被滤波从而获得最终图像。与使用四个不同结构元素的方法对比，并因此图8例示了4个通道，术语“一个形态打开通道”表示整个图像被滤波恰好一次从而获得最终输出。

图8示出了针对触摸检测的最有效滤波：存在4个独立的运行或具有4个结构元素2024的形态打开滤波2023的不同通道，并且然后在4个独立运行2023的结果图像上采用图片(pixel-wise)OR操作器2026从而获得滤波图像2027。在结构元素矩阵2024中的基准“Z”表示它不是结构元素本身的部分（它既不是0也不是1）。结构元素可以具有任何形状，但是因为在图像处理矩形矩阵中其用于存储，一些针对不构成结构元素的像素的预定符号，例如“Z”，被用于表示例如类似L的形状。

针对识别区域执行区域标注步骤2030。在上下文中，区域被定义为4-连接像素的范围。相邻像素如果是4-连接的，用相同的ID将它们标注，并且因此属于相同的区域。例如4个像素，如果它们在相同的行或相同的列相邻则属于相同区域。区域标注算法在文献中是众所周知的。

为了验证或拒绝区域（步骤2040），计算针对每一个区域的以下属性：

-围绕矩形的区域宽度=k_max-k_min+1（k_min和k_max是区域的最小和最大列索引）；

-围绕矩形的区域高度=l_max-l_min+1（l_min和l_max是区域的最小和最大行索引）；

-方形形状因子=min（width_R,height_R）/max（width_R,height_R）

-像素中的区域；

-L1范数（对应于区域的所有像素的和）；

-区域的最大值（k,l,z_max），其中z_max是区域最大值的值（强度），

如果在区域中存在多于一个最大值，也就是区域的最大的最大值，或局部最大值的强度。

如参照图3A和3B所讨论的，本方法包括找出并且计算在每一个区域内子区域上的一个像素尺寸的局部最大值的数量。在优选实施方式中，该子区域尺寸是3×3像素。

然后根据预定条件，基于它们的范围、它们的方形形状因子和找出的局部最大值的数量，丢弃一些区域。

在一个实施方式中，如果包含在集中于局部最大值上的3×3子区域上的像素的累加和小于预定阈值，则丢弃局部最大值。

如果满足下面的条件中的一个，很可能区域是假触摸区域：

-范围＜Area_min

-范围＞Area_max

-根据实验，方形形状因子＜7/12（～0.6）

-局部最大值的数量＞5或＜1

Area_min和Area_max的值是用实验方法确定的并且取决于物理电容器尺寸。

如果存在以下条件中的一个，多点触控设备上很可能有大对象（或多点触控设备提供没用数据）：

-最大范围＞2Area_max（或＞总图像范围的～10%）

-拒绝范围的数量＞2（用实验方法，或例如2个拇指夹住板）

然后计算保留区域的重心或几何中心（xc,yc）。如所讨论，如果一个区域包含一个像素尺寸的一个局部最大值，通过使用区域的所有像素的坐标计算该区域的几何中心来确定触摸位置。如果存在多于一个像素尺寸的一个局部最大值，只有集中于每个局部最大值的子区域内的9个像素的坐标被考虑用于几何中心计算。几何中心的计算从文献中是已知的并且可以从以下示例中获得：

$x_c=\frac{\mathrm{\&Sigma;}\underset{\mathrm{region\; pixels}}{(x,y)\mathrm{of}}x{I}_{\mathrm{filtered}2}(x,y)}{\mathrm{\&Sigma;}\underset{\mathrm{region\; pixels}}{(x,y)\mathrm{of}}{I}_{\mathrm{filtered}2}(x,y)}$

$y_c=\frac{\mathrm{\&Sigma;}\underset{\mathrm{region\; pixels}}{(x,y)\mathrm{of}}y{I}_{\mathrm{filtered}2}(x,y)}{\mathrm{\&Sigma;}\underset{\mathrm{region\; pixels}}{(x,y)\mathrm{of}}{I}_{\mathrm{filtered}2}(x,y)}$

在进一步数据处理改进中，如果大对象在多点触控设备上，很可能保留一些至多达上千帧。因此，图像验证/拒绝的结果将被存储在假触摸图像历史位-FIFO中。如果在FIFO中的所有位为FALSE，有效触摸/区域的（x_c,y_c,z_max）被转移到跟踪部分，否则方法可以停止并且通过获取下一帧继续（并且可能在更低频率进行）。

用于多点触控方法的跟踪部分的目的主要是，只要被检测触摸保留在多点触控设备上，维持它们的正确标识。第二但同等重要的目的是抑制正误识触摸，即被检测为真实触摸的但物理上没有出现在多点触摸设备上的触摸。第三目的是收集空间-时间一致的轨迹。其在本质上与保持正确的识别有关。一旦空间-时间一致的轨迹可得，任何复杂轨迹的滤波、校平或分析将是可能的。因此，空间-时间一致轨迹使得能够丰富用户输入机会并且运行。

因为本方法的跟踪部分的输入9000是稀疏的（N触摸坐标矢量），可以采用稀疏的跟踪技术。如果整个方法的原始输入图像7000非常干净，可以使用简单装置来执行关联：最近的邻接（基于距离）、最近的相邻标准滤波器（基于统计/状态）等。但是对于常规多点触控设备，严重损坏的输入数据导致出现许多正误识并且可能在多帧中丢失真实目标。因此，提出了解决线性和赋值问题(LSAP)从而鲁棒性地将新触摸与现有轨迹匹配。针对稀疏（并且甚至针对稠密）数据关联使用LSAP在文献中是众所周知的。图9中示出了提议方法的完整跟踪部分。

针对每一个找出的轨迹，存在赋值状态位FIFO。存在两种类型的轨迹：

-未标注轨迹（TrNL）：包含正误识和真实目标轨迹。未标注轨迹具有ID、相关联赋值状态位FIFO和上一个成功赋值（x,y,z）。

-标注轨迹（TrL）：（应该）只包含真实目标轨迹。标注轨迹具有ID、相关联赋值状态位FIFO和针对前K个成功赋值的长度K的（x,y,z）轨迹FIFO。

如果用标注轨迹的赋值没有成功，通过累加在未标注轨迹（3020）上的触摸，具有两种类型的轨迹允许抑制正误识。一旦未标注轨迹被成功赋值数次，它将被标注，否则它将被删除。最后，只有被标注轨迹被用于输出（3030）。

针对每一个输入触摸，增加轨迹3009的区块创建如下轨迹：

-完整的赋值状态FIFO被重置为FALSE；

-ID是当前可用ID；当前ID在创建轨迹后被增加；

-针对未标注轨迹，（x,y,z）仅被调成被检测触摸的（x,y,z）；

-针对标注轨迹，完整轨迹FIFO被调成0并且被检测触摸的（x,y,z）被插入到FIFO。

如果不存在被检测的触摸，分别地如果完整输入图像被拒绝，则执行零-更新轨迹区块3008。针对出现的每一个轨迹（标注和未标注的轨迹），块将FALSE插入到赋值状态FIFO。

更新的标注轨迹区块3023接收赋值矢量。矢量元素的索引对应于待被更新的轨迹的轨迹ID。赋值矢量的元素的值对应于待被插入到表示对应轨迹还没有更新/赋值到触摸的轨迹或NOT_ASSIGNED的触摸索引。相似区块3024更新未标注轨迹。区块3002至3006是允许分析所有触摸和所有标注和未标注轨迹的决策区块。

如果满足重置条件，则发生条件轨迹重置3025：所有被选择轨迹将被删除。一般来说，合理的重置条件是如果被选择轨迹的每一个状态FIFO缓冲器的每一位是FALSE，这意味着在K帧期间针对任何被选择轨迹不存在成功的赋值，其中K对应于FIFO缓冲器的长度。针对标注轨迹，立刻删除所有轨迹是明智的从而针对未来赋值保证轨迹ID的一致性。

条件清除轨迹3026与条件重置3025类似地实施，但是其不同之处在于，只有一个特定的轨迹赋值状态FIFO被分析并且如果所有位是FALSE，只有该特定的轨迹将被删除。取决于实施，删除轨迹可能不保证轨迹ID的一致性（反正对于未标注轨迹也不重要）。

未标注轨迹的赋值状态FIFO在连接到区块3021的区块3007被分析，该区块3021管理新的未标注轨迹。如果充分条件用于特定的未标注轨迹，将创建（3022）新的标注轨迹并且轨迹FIFO的第一进入将被特定的未标注轨迹的（x,y,z）初始化。然后未标注轨迹将被删除。充分条件可以是TRUE位的数量是否大于某阈值T。这意味着未标注轨迹在过去的K帧期间已经针对多于T帧而成功关联，其中K是FIFO缓冲器的尺寸。

然后被标注轨迹针对它们的时空连贯性和一致性被滤波（3030）。如将讨论的，基于被滤波的轨迹，一些参数可以被更新（3031）。

轨迹滤波3030可以通过使用卡尔曼滤波执行。但是，在使用的系统中，卡尔曼滤波器没有提供充分的平滑度。因此，可以使用卡尔曼平滑，但是针对实时实施，卡尔曼平滑不是一个好的选择。然而，通过使用恒定数量的样本简单移动平均低通滤波器能够应用充分的和满意的平滑度，例如：

$x_f\left[k\right]=\left(x_f\right[k],y_f[k],z_f[k\left]\right)=\frac{1}{N}\underset{i=0}{\overset{N-i}{\mathrm{\&Sigma;}}}x[k-i]$

用实验方法发现针对采用的多点触控系统中的N只存在3个好的选择：

-N=2。最不平滑，响应快速。提供输出很好对应于手指运动的感觉。偶尔留下一些没有完全滤波轨迹的效果。

-N=3。比较平滑，可接受响应速度。提供平滑效果。但是使用者可能注意到（仍然可接受）延迟。

-N=4。非常平滑，响应缓慢。尽管这导致非常平滑的轨迹，在过去计算平均多达3个帧的事实导致响应缓慢。

N=1意味着没有滤波。此外，N的选择明显取决于操作本方法的频率，并且如果频率显著增加选择很高的N是明智的。

线性和赋值问题（LSAP）3010、3020在组合优化中是传统并且已知的问题。在其原始形式中，其如下阐述：

-给出尺寸为N×N的（正方形）矩阵C，其元素为0或正数，在每行和每列找出正好1个元素使得N个查找元素的和尽可能是最小的。

还已知如果成本矩阵C由某些类的距离或把轨迹与目标相匹配的相反似然测量填满，LSAP可以被用于针对多目标跟踪解决数据相关问题。

在上述原始形式中，该方案需要N!求和计算以及比较，并且因此具有指数运行时间。存在解决在最坏情况下O（n³）问题的已知算法。

针对多点触控跟踪，使用Munkres算法来解决LSAP，因为其很容易扩展成矩形矩阵（轨迹的数量不是必须与触摸的数量相同）并且因为其允许软门，即不允许某些预先赋值容易地被实施。

因为未标注轨迹主要用来抑制正误识，针对未标注轨迹的LSAP和触摸的成本矩阵可以仅仅是具有软门距离（soft-gated distance）的距离矩阵：

TrNL_i表示未标注轨迹i的（x,y）。To_j表示触摸j的（x,y）。

软门距离（soft-gated distance）测量DSG由以下公式给出：

$D_{\mathrm{SG}}({\mathrm{TrNL}}_i,{\mathrm{To}}_j)=\left\{\begin{array}{cc}{\mathrm{dist}}_2({\mathrm{TrNL}}_i,{\mathrm{To}}_j)& \mathrm{if}{\mathrm{dist}}_2({\mathrm{TrNL}}_i,{\mathrm{To}}_j)<D_{\max }\\ \&infin;& \mathrm{otherwise}\end{array}\right.$

${\mathrm{dist}}_2({\mathrm{TrNL}}_i,{\mathrm{To}}_j)=\sqrt{{(x_{\mathrm{TrNL},i}-x_{\mathrm{To},j})}^2+{(y_{\mathrm{TrNL},i}-y_{\mathrm{To},j})}^2}$

无限距离∝表示NOT_ALLOWED赋值。在实施方式中，NOT_ALLOWED可以是采用的数值范围的最大值（例如，NOT_ALLOWED=0x FFFF，如果成本矩阵按16位计算）。

D_max是门距离。针对未标注轨迹赋值，可以使用恒定门距离。该门距离可以用实验方法被估计和/或考虑到物理电容器尺寸，通过推理在两个连续帧之间的最大（物理）可能位移的含义，即最大物理手指速率，被估计。

在D_max=3的一个优选实施方式中，其允许在两个连续帧之间～2厘米的最大位移（物理电容器尺寸是～7×7mm²）。

图10A示出了在帧K处的三个被检测触摸3015，其允许初始化未标注轨迹。图10B例示了在帧K处的被检测触摸3015和在帧K+1处的被检测触摸3016。在软门3017外的触摸被确定，因为其未被包括在示出的具有D_max（门距离）半径的圆中。在图10C中，在帧K+1处找到赋值3018。

除了以下差别，用于将标注的轨迹与触摸相匹配的成本矩阵C基本上与用于未被标注的相同：

-如果在轨迹中存在少于4个样本，以用于未标注轨迹相同的方式计算成本矩阵的相关元素。

-如果存在（多于）4个样本，计算关于（最新的）4个样本的平均速率模块（3个接近的瞬间速度值的平均）。

-如果平均速率模块<1，以与用于未标注轨迹相同的方式计算成本矩阵的相关元素。

-如果平均速率模块>=1，执行以下步骤：

·计算关于（最新的）四个样本的方向平均相对变化（3个接近的瞬间速度值的平均）

·基于平均速率模块和方向平均相对变化，可以如下预测触摸位置：

·门距离被调（增加）为：

D_max,new=mean‖v_TrL,i‖D_max

·关于预测的位置，将计算相关轨迹的成本矩阵元素（其中平均速率模块>=1）并且使用增加的门距离执行软门。

因为预测了针对大位移的位置，所述差别允许具有大位移（快速移动）而没有正误识。图11例示了针对大位移使用预测触摸位置的门距离（D’_max<D’’_max<D’’’_max）和赋值的变化。

以下原则上适用成本矩阵计算（针对未标注轨迹和标注轨迹），但是由于跟踪方法设置，其只适用未标注轨迹。

当针对第二LSAP 3020（未用触摸标注的轨迹）计算成本矩阵时，需要继续跟踪在第一LSAP 3010（用触摸标注的轨迹）之后哪个触摸被赋值。

将已经被赋值的触摸元素简单地设成无限（NOT_ALLOWED）。这将确保触摸不会被赋值两次。

换句话说，本方法的跟踪部分表示数据关联（LSAP）和滤波。

跟踪方法的最终输出3032将是N次（ID,N,x,y,z），其中N是赋值状态FIFO满足某些条件的标注轨迹的数量。合理的条件可以是在赋值状态FIFO中的至少一个是1（真）。即使如果标注轨迹在K-1帧期间丢失，这保证了标注轨迹被输出，其中K是状态FIFO的长度。ID是相对应的轨迹的标识并且（x,y,z）是轨迹滤波器的输出。触摸坐标（x,y）和触摸强度z都与特定的手指不相关。

图12例示了包含根据本发明一个实施方式的跟踪方法的主要步骤的简化流程图。基于触摸检测部分1000+2000（当前帧）的输出，计算包含在当前帧的检测位置和预测位置间距离的距离矩阵（3018）。在另一个实施方式中，似然矩阵代替距离矩阵被计算。该矩阵包含4个参数（状态）的联合似然估计：

-距离；

-速率模块改变；

-移动方向改变；

-强度改变。

然后，解决了线性赋值问题（3010,3020）。这表示用于无需图案匹配的跟踪的明智选择，并且即使出现大位移（快速移动）和不连续，其不会发生跟踪丢失。

在一个未示出的滤波之后，轨迹FIFO3029被更新（3031）并且基于在轨迹（3028）中的最后进入重新开始计算矩阵3018。

图13例示了包含根据本发明的一个实施方式的手势识别4000的主要步骤的流程图。在简单手势的情况下，执行轨迹分析。在复杂手势的情况下，针对存储在内存中的参考手势轨迹执行鲁棒对比。

关于轨迹FIFO3029的初步分析4001允许检测简单手势或没有手势。如果不存在手势（4002），输出（4003）坐标或相对运动矢量。如果存在简单手势（4004），输出（4005）简单手势信号。如果不存在简单手势，则执行以下步骤：

-轨迹（4006）的循环编码；

-关于参考轨迹（4008）计算莱文斯坦距离（4007）；

-选择具有最小距离（4009）的手势。

本发明提出的手势识别是灵活的，因为其可能识别具有任何手指的任何种手势。

只要触摸保留在多点触控装置上，即使它们没有运动，用上述方法检测并跟踪触摸。但是，软件键盘应用需要只来自轻击手指的输入而不是来自停留在多点触控设备上其它输入。利用以下必须应用在图2的方法中的步骤，可能实现N-手指软键盘应用，例如10-手指软键盘应用，其中允许手停留在多点触控设备上：

-不是将第二灰度滤波区块1050（F(k):在t=k的帧）的输出提供给图像分割2010，存储在t=k的帧并且从开头重复本方法。

-随后举一个例子，获取第二帧（F（k+1）:在t=k+1的帧）。

-计算离散时间导数：dF（k+1）=F（k+1）-F（k）。

-调整时间导数，即把本应为负的像素调成0。

-dF被提供给其余步骤从而获取（ID,N,x,y,z）。

计算时间导数的步骤将去除适时恒定的信息，并且留下只包含动态信息的图像。因此，在手或手指在多点触控设备上停留的位置dF将是0并且当手指轻击时，其不是0。可能需要采用其它处理从而只允许脉冲（没有运动），每帧只允许一个触摸等。

如果导数图像太差，在跟踪区块3000之后，通过分析轨迹和赋值状态缓冲器也可以提取轻击信息用于本方法的正常执行。

本申请描述的方法和处理步骤可以通过软件执行，所述软件由通用处理器或数字信号处理器（DSP）、应用专用集成电路（ASIC）、场可编程门阵列（FPGA）、离散部件或它们的组合执行。不同的硬件和/或软件部件可以用于执行不同区块的功能，并且即使一个单一区块。

根据本申请的方法的任何步骤可以因此用硬件、由处理器执行的软件模块、或所述两者的组合实现。所述软件可以包括固件、在操作系统中运行的硬件驱动器或应用程序。因此，本发明还涉及用于执行本文出现的操作的计算机程序产品。如果在软件中实施，所描述的功能可以作为计算机可读媒体上的一个或多个指令被存储。可以使用的存储媒体的一些示例包括随机存取存储器（RAM）、只读存储器（ROM）、闪速存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、其它光盘、或任何可以被计算机或任何其它IT设备和装置存取的可用媒体。

Claims (27)

1.用于从多点触控设备传送的输入图像（7000）检测任意数量的触摸的方法，所述方法包括以下步骤：

-处理（1010-1050）所述输入图像（7000）并且获取被处理图像（8000）；

-通过所述被处理图像（8000）的阈值转换并且获取被分割图像的分割（2010）；

-识别所述被分割图像的区域（2030）；

-找出局部最大值，每一个局部最大值是一个像素尺寸并且属于每一个区域内的一个子区域；

-基于所述局部最大值确定至少一个触摸位置（9000）。

2.如权利要求1所述的方法，其中，所述子区域的尺寸是N×N像素，其中N是奇数。

3.如权利要求2所述的方法，其中，N等于3。

4.如前述权利要求中任一项所述的方法，其中，所述找出步骤包括多个迭代，其中在每一个迭代：

-定义所述子区域，所述子区域集中在区域的一个像素，所述像素在每一次迭代被改变;

-检验在所述子区域内的像素而非所述子区域中心的像素是否具有小于在所述子区域中心的所述像素值的值；

-如果上述步骤被证实，将在所述子区域中心的所述像素识别为一个像素尺寸的局部最大值。

5.如前述权利要求中任一项所述的方法，其中，所述区域是一组相连像素。

6.如前述权利要求中任一项所述的方法，其中，所述处理步骤包括滤波（1010,1030,1050,2020）所述输入图像（7000）。

7.如前述权利要求中任一项所述的方法，包括根据预定的条件丢弃一些区域。

8.如权利要求7所述的方法，其中，所述预定的条件基于范围、所述区域的方形形状因子和/或在每一个区域中查找的一个像素尺寸的局部最大值的数量。

9.如权利要求7至8中任一项所述的方法，其中，所述确定至少一个触摸位置的步骤包括计算（2050）在所述丢弃之后保留的每一个区域的几何中心。

10.如权利要求9所述的方法，其中，如果所述区域包含一个像素尺寸的一个局部最大值，所述计算步骤考虑到区域的所有所述像素。

11.如权利要求9所述的方法，其中，如果所述区域包含多于一个像素尺寸的一个局部最大值，所述计算步骤只考虑集中在区域的每个局部最大值的子区域内的所述像素。

12.如前述权利要求中任一项所述的方法，包括用于获取基准图像（Iref）的校准步骤（1020）。

13.如权利要求12所述的方法，包括消去具有所述基准图像（Iref）的输入图像，获取标注图像并且查找假触摸。

14.如权利要求6至13中任一项所述的方法，其中，所述滤波包括第一灰度图像滤波（1030）。

15.如权利要求14所述的方法，其中，所述第一灰度图像滤波（1030）包括校平器。

16.如权利要求6至15中任一项所述的方法，其中，所述滤波还包括所述输入图像（7000）的时域滤波（1010）。

17.如权利要求6至16中任一项所述的方法，其中，所述滤波还包括第一灰度图像滤波（1030）。

18.如权利要求6至17中任一项所述的方法，其中，所述滤波还包括二进制图像滤波（2020）。

19.如权利要求18所述的方法，其中，所述二进制图像滤波包括二进制形态滤波器（2023）。

20.如前述权利要求中任一项所述的方法，其中，所述识别区域（2030）包括区域标注以及所述区域（2040）的分析。

21.如前述权利要求中任一项所述的方法，还包括以下步骤：

-基于所述触摸位置（3009）创建轨迹；

-针对每一个轨迹，赋值识别每一个被赋值或未被赋值的轨迹的状态位（FIFO）；

-解决每一个标注轨迹（3010）的线性赋值问题；

-解决每一个未标注轨迹的线性赋值问题并且更新所述标注轨迹（3020,3023,3024）；

-滤波所述更新的标注轨迹（3030）。

22.如权利要求21所述的方法，其中，针对每一个所述触摸位置创建轨迹的步骤包括计算距离矩阵（C,3018）。

23.如权利要求22所述的方法，其中，针对每一个所述触摸位置创建轨迹的步骤包括考虑以下参数计算似然矩阵：

-位置；

-速率模块；

-方向改变；

-强度改变。

24.如权利要求23所述的方法，包括基于所述滤波（3030）更新（3031）所述参数。

25.如前述权利要求中任一项所述的方法，还包括：

-用于检测手势或简单手势（4001）的初步分析；

-如果没有检测到手势（4003），则输出相对运动矢量的坐标；

-如果检测简单到手势（4005），则输出简单手势信号；

-如果存在手势并且不是简单手势（4006、4007、4009），与参考手势（4008）进行对比。

26.一种具有处理器可执行指令的非暂时的有形计算机可读介质，当所述指令被执行时，其用于执行权利要求1至25中任一项所述的方法。

27.一种用于多点触控设备的多点触控装置，所述装置包括：

-用于处理由多点触控设备输出的输入图像（7000）并且用于获取被处理图像（8000）的处理装置；

-用于所述被处理图像（8000）的阈值转换并且获取被分割图像的分割（2010）装置；

-用于识别所述被分割图像的区域（2030）的识别装置；

-一个像素尺寸的局部最大值的计算装置；

-基于所述局部最大值，用于确定一个或多个触摸位置（9000）的确定装置。

Images