CN102096530A - 一种多点触摸轨迹跟踪方法 - Google Patents

Abstract

一种多点触摸轨迹跟踪方法，所述方法包括以下步骤：A计算各触摸点的初始状态，获取各个触摸点的数据；B采用半卡尔曼滤波法预测各触摸点在下一帧中可能出现的位置；C在给定阈值范围内，在当前帧中搜索与预测位置欧式距离最近的触摸点，若找到，则进行关联；否则，以预测值作为当前帧中触摸点位置；D判断当前帧中是否有新触摸点加入，若检测到新增触摸点，则对新增触摸点执行步骤A，对其他触摸点执行步骤E；E判断当前帧中是否有轨迹结束。本发明采用三帧迭代法判断触摸点的初始和结束状态，在一定程度上避免了将噪声误判为触摸点的可能性，改善了噪声对正确轨迹的影响，尤其改善了新增触摸点和轨迹结束判别的正确性。

Description

一种多点触摸轨迹跟踪方法

技术领域

本发明涉及图像分析、目标检测与目标跟踪领域，特别是一种多点触摸轨迹跟踪方法。

背景技术

随着APPLE公司将触摸技术引入至手机市场，触摸交互技术已改变了人们以往通过机械按键与机器进行交流的方式。伴随着应用方式的多元化，触摸技术也从最开始的单点触摸向多点触摸发展，应用场合也从小尺寸的手机屏幕向大型交互屏幕延伸。然而由于材料工艺和电子元器件特性限制，使得触摸技术在大屏幕上的应用受到了极大挑战。

目前市场上有基于红外、电阻、电容、内嵌式和超声波等多种方式的触摸交互屏，各种情况下又可以细分为多种具体实现方式。其共同点都是为了通过硬件方案的改进尽可能采集到精确的触摸点，但因为硬件材料、技术方案和结构的限制，使得触摸交互屏不可能做成太大尺寸。基于光学图像的触摸交互方式采用图像分析的方法来检测触摸点，理论上可支持更大尺寸的触摸交互屏。从结构上来看，它不需要复杂的硬件设计，从而可以将更多的问题转移到软件算法上来完成。

触摸技术分为单点触摸和多点触摸。单点触摸技术发展较为成熟，在小尺寸触摸装置中应用非常广泛，如触摸手机、PDA等，但在大尺寸触摸装置中效果仍需改善，影响其触摸效果的主要原因是原材料限制、电子元器件的内部噪声、环境因素和非故意偶然接触，致使伪触摸点产生，从而导致误操作。此外，单点触摸功能较为单一，只能表达有限的几种交互操作，因此开发多点触摸技术能使人机之间交互更为自然。

多点触摸因涉及到多个触摸点同时触摸与运动，使得检测问题变得甚为严重，如在基于光学图像触摸设备中，若两触摸点相距较近，可能会误判为一个触摸点；在基于红外网格式的触摸设备中容易产生行业内所述“鬼点”等问题。由于检测错误所导致的另一问题是多触摸点同时移动时，无法得到正确的跟踪轨迹，使得形成的轨迹相互串扰。采用复杂的图像处理与数据关联等技术可以在一定程度上提高检测正确率，但产品实时性必然受到影响。如何折中多点触摸交互产品的精度与实时性，成为市场化大尺寸触摸交互装置的发展瓶颈。

发明内容

本发明解决的技术问题是提供一种基于光学图像的多点触摸检测与跟踪方法，该方法利用图像分析技术对相邻帧间多个触摸点进行关联分析，从而生成正确的运动轨迹，进而使机器能理解轨迹的意义，最终达到自然交互的目的。

为解决上述技术问题，本发明采用的技术方案是：

采用三帧迭代和最小距离限制的方法来消除噪声，提高触摸点检测精度；

采用半卡尔曼滤波的方法进行轨迹跟踪。

步骤1：采用前三帧迭代计算各触摸点的初始状态；

当检测到有触摸点时，分别为各触摸点记录帧数，记当前帧为各触摸点的第一帧，并记录各触摸点坐标；接下来的一帧记为第二帧，同样记录各触摸点坐标，并针对第一帧中各触摸点在给定给定的距离阈值的范围内在第二帧中搜索最近触摸点，若找到则与前一帧中的相应触摸点进行关联，并计算水平与垂直方向速度，若第一帧中某触摸点没有在第二帧中搜索到触摸点，则可认为第一帧中该点为噪声，进行清除；在第三帧中，同样记录各触摸点坐标，并针对第二帧中各触摸点在给定的距离阈值的范围内在第三帧中搜索最近触摸点，若找到则与前一帧中的相应触摸点进行关联，并计算水平与垂直方向速度，并与第二帧中的相应速度求平均，以此作为初始速度，若没有搜索到则可认为第二帧中该触摸点为噪声，进行清除。

该方法称为三帧迭代初始法，采用三帧信息判断前一帧中检测的点是否为噪声，提高了检测精度。该方法中所指“最近触摸点”是指欧式距离测度最小，假定第一帧中的有一触摸点A，在第二帧中同样检测到一触摸点B，则：

欧式距离：                                                

水平速度： 

垂直速度： 

其中

分别为触摸点A、B的横坐标与纵坐标，

为相邻两帧时间间隔。

采用三帧迭代初始法之后，可以得到真实触摸点的状态向量，如某触摸点A其状态向量为：

，其中各分量的意义如上。

步骤2：采用半卡尔曼滤波法预测各触摸点在下一帧中可能出现的位置；

在得到各触摸点的状态向量之后，可以采用卡尔曼滤波方程进行预测，即根据当前帧中触摸点的状态向量值，提前预测在下一帧中各触摸点可能出现于什么地方。由于是预测，肯定存在误差，设置预测误差向量服从均值为

，方差为

的二维高斯分布

，其中

，

卡尔曼预测方程：

    

其中为

帧中某触摸点状态向量，

为状态转移矩阵，

为控制矩阵，

为预测误差向量，

为相邻两帧时间间隔。

由于在此不需要计算标准卡尔曼滤波器中预测状态向量

的协方差阵，也无需根据下一帧中的检测值修正预测值，也不需要计算加权增益和状态向量的后验协方差阵，所以计算复杂度大为降低，仅有的计算复杂度来源于卡尔曼预测方程。由于该方法仅采用了标准卡尔曼滤波器中的预测方程，并没有采用其观测方程，所以称之为半卡尔曼滤波器。

步骤3：在给定的距离阈值的范围内，在当前帧中搜索与预测位置欧式距离最近的触摸点，若找到，则与前一帧中的相应触摸点进行关联；否则，以预则值作为当前帧中触摸点位置；

在传统基于前后帧间触摸点最小欧式距离匹配法中，若两触摸点相距较近、进行旋转运动或交叉运动时，会出现严重的轨迹串扰问题。本发明中该方法充分利用了前一帧各触摸点的状态信息，采用半卡尔曼滤波法对各触摸点在下一帧中可能出现的位置进行预判，然后再进行最小欧式距离搜素，能有效避免传统方法中的轨迹串扰问题。

步骤4：判断当前帧中是否有新触摸点加入；

由于新检测到的触摸点可能是噪声，为提高算法上的检测精度，必须要求新触摸点满足较为严格的条件，才能判为是真实的新增触摸点，并以较高概率拒绝由噪声而误判为真实触摸点的可能性，设定的条件有两个：

新增触摸点与其最近触摸点之间的欧式距离必须大于给定的距离阈值；

新增触摸点满足三帧迭代初始化条件；对每一个新检测出来的触摸点都要执行三帧迭代，所述三帧迭代用于判断新增加的触摸点到底是真实的触摸点还是噪声。

条件1的设定是基于：在基于光学图像的多点触摸操作中，噪声主要源于真实触摸点处对设备光线，一般为红外光或环境光的反射，且距离真实触摸点非常近，并具有较高的灰度值，所以如果是新增加的触摸点，在实际操作中相对于其他触摸点肯定有一定距离，所以可以给出基于距离阈值这一方法来提高真实触摸点检测的正确率。

条件2实际上是从小样本统计的角度保证了真实触摸点检测的正确率与噪声排除的可靠性，它同时也是本发明中判断一个触摸点是否为真实触摸点所必须满足的条件，在实际的软件设计中，可以非常巧妙地融入以下的设计方法：

即先将已确定为是真实触摸点的触摸点在当前帧中进行关联，对新增加的触摸点，在满足条件1下，采用半卡尔曼滤波方法进行预测，计算三帧迭代，若在三帧迭代中都能正确跟踪轨迹，且与已存在的触摸轨迹无串扰，则可认为该触摸点是真实触摸点。由于在该方法中对已存在的触摸点进行了优先考虑，所以进一步强化了新增触摸点被判为真实触摸点的可能性。

在电子屏幕上，如果手指接触到触摸屏，那么在通过摄像头获取的图像中该处呈现白色亮斑，而在其他地方则呈现出均匀的暗色，但是，由于电子元器件或者衣袖等非正常因素的影响，往往在触摸屏的其他地方也会产生白色亮斑，所以需要对这两种亮斑进行判别，消除非正确的亮斑。那么，在这里真实触摸点是用户通过手指触摸触摸屏，想要得到的触摸点；而噪声、衣袖等由于误接触触摸屏而产生的触摸点是虚假触摸点，统称为噪声。

步骤5：判断当前帧中是否有轨迹结束；

在触摸点检测过程中，由于检测电路的精度和触摸点之间的互遮挡等问题，经常导致某些真实的触摸点无法检测到，进而误认为该条轨迹的触摸操作已结束。该问题主要引起以下两方面的表现：

一是触摸轨迹出现断裂现象；

二是增加计算复杂度，因为本不许初始化的问题，现在多引入了一个初始化流程，虽然视觉上无法注意到，但在机器内部确实增加了不少计算量。

为有效避免以上问题，并提高轨迹结束判断的可靠性，本发明仍采用与三帧迭代法类似的方法进行判断，称为三帧迭代结束判断，判断方法如下：

采用上述半卡尔曼滤波方法预测在当前帧中的触摸点位置，并在给定的距离阈值的范围内搜索最近触摸点，若没有搜索到，则启动计数器，计数器初值为0，使其增1；若搜索到触摸点，则不符合轨迹结束条件；

在当前帧中以预测值作为该触摸点在当前帧中的真实触摸值；

以同样的方法继续预测两帧，此时判断计数器的值，若其值等于3，则表明该轨迹结束，并重置计数器为0。

该方法具有以下优点：一是当出现触摸点自遮挡或漏检情况时，可以用半卡尔曼滤波预测值替代真实触摸点位置，从而避免了轨迹断裂的现象，同时，由于半卡尔曼滤波考虑了该触摸点的先验信息，所以预测值具有较高的可靠性；二是因为采用了连续三帧预测的方法，所以当出现触摸点自遮挡或漏检时，不需要再进行初始化，降低了计算复杂度。

该方法的不足在于：由于需要连续预测三帧，所以如果某条轨迹在当前帧中确实已经结束，仍会在之后的两帧中表现出预测出来的轨迹。不过结合实际的触摸交互中触摸动作不会非常迅速，且现在的刷新频率越来越高，该方法在实际操作中不会引入值得改善的必要性。

与现有技术相比，本发明有以下优点：

本发明着重解决基于光学图像的多触摸点检测与跟踪问题，均衡考虑噪声消除、多触摸点跟踪及实时性等重要因素，迭代考虑各触摸点前后三帧之间数据的关联关系，一定程度上避免了将噪声误判为触摸点的可能性，改善了噪声对正确轨迹的影响，尤其改善了新增触摸点和轨迹结束判别的正确性；基于半卡尔曼滤波的轨迹跟踪方法，综合考虑了触摸点在前一帧中的先验信息和当前帧中的测量信息，提高了跟踪精度，有效降低了轨迹断裂与串扰的可能性，由于不需要计算状态变量的后验协方差，使得半卡尔曼滤波速度极大提高，满足了多点触摸实时性要求。

附图说明

图1为本发明多点触摸轨迹跟踪方法的方法流程图；

图2为本发明多点触摸轨迹跟踪方法具体实施例的示意图。

具体实施方式

下面对本发明的实施例加以详细说明，应指出的是，所描述的实施例旨在便于对本发明的理解，对本发明不起限定作用。

本发明的实施流程，如图1所示。

如图2所示，本实施例需要的硬件为触摸屏、红外光源、图像采集设备、计算机和投影仪。该触摸屏是67寸普通背投显示屏，用于触摸与显示。

红外光源为红外一字激光源，用于产生红外光场。因这种光源照射角度有限，本实施例中采用4个此类光源，交错置于投影屏上下侧，保证触摸屏每一区域都被红外光所覆盖。图像采集设备是普通红外摄像头，置于触摸屏后方，当没有触摸物体接触到触摸屏时，通过红外摄像头获取的是灰度图像序列，当有触摸物体接触到触摸屏时，接触区域像素灰度值会明显高于其他区域。正是因为图像序列中存在着不同灰度值区域，后续计算机才能依此自动判别是否有触摸物体接触到触摸屏。

计算机通过USB与摄像头相连，获取摄像头里的图像序列，进而完成一系列的图像处理算法，依序为图像去噪、图像增强、图像二值化、触摸点矫正、重心归一化，从而获得每个触摸点的重心坐标，进而执行本发明中的跟踪算法，最后将跟踪结果输入至投影仪中。

投影仪主要是将计算机处理完成后的跟踪结果投影到触摸屏上，从而使得触摸点处产生亮点，进而当手指在触摸屏上移动时，显示出相应的轨迹。

为使本实施例清晰易懂，本实施例假设为两点触摸跟踪，假设当前帧中检测出两个触摸点，分别记为A、B，其各自对应的状态向量为，

；本实施例中状态向量表示为：

，其中分别为触摸点的横坐标、纵坐标、水平速度和垂直速度，其初值分别设置为

，

分别为初始化计数器、跟踪标志位和结束计数器，其初值分别设置为

；本实施例图像采集帧率为60fps。

该方法具体实现步骤如下：

步骤1：判断各触摸点的跟踪标志位，若

，则执行步骤3；否则，使触摸点的初始化计数器增1，并执行步骤2。

该实施例中触摸点A的跟踪标志位，所以为A执行步骤3；触摸点B的，所以为B的初始化计数器加1，并为B执行步骤2。

步骤2：获取下一帧，判断各触摸点的初始化计数器值，若，则采用欧式最近邻法在当前帧中搜索满足条件的触摸点，若搜索到满足条件的点，则采用搜索到的点更新触摸点的状态向量，且使初始化计数器增1，若

，则置

，并执行步骤3，若

，则重复执行步骤2；否则，结束该轨迹。

本实施例中，记B在当前帧中的最近点为

，两点之间距离记为，若

，则使触摸点B的初始化计数器增1，并以当前帧中触摸点C坐标减去触摸点B坐标，从而获得触摸点B移动的水平速度与垂直速度，再以当前帧中触摸点C坐标替换触摸点B坐标，得到更新后的触摸点B的状态向量，检测初始化计数器的值，若

，则置

，并执行步骤4，否则，执行步骤3；若

，则清除触摸点B，可确定触摸点B为噪声；本实施例中

。

步骤3：检测各触摸点的跟踪标志位，若某触摸点的

，则对该触摸点启动半卡尔曼滤波跟踪，并执行步骤4。

本实施例中取

，

，

，，

分别如下：

        

采用下式预估触摸点A、B在下一帧中应该出现的位置：

        

式中

服从

分布的随机向量。通过半卡尔曼滤波可得到各触摸点在下一帧中可能出现位置的估计值。

步骤4：获取下一帧，根据各触摸点的估计值，在当前帧中搜索欧式距离最近的触摸点，若其距离值小于给定阈值，则进行关联，且更新触摸点的状态向量，并执行步骤3；否则，采用半卡尔曼滤波估计值更新触摸点的状态向量，并使触摸点的结束计数器增1，并执行步骤5。

本实施例中假设A、B都已开始进行跟踪了，并且根据上一帧A、B的位置采用半卡尔曼滤波后得到的状态向量分别为

，

，则根据A、B的预测状态向量在当前帧中搜索最近的触摸点。假设在当前帧中，A搜索到了满足条件的最近点D，则采用D更新A的状态向量，并为A执行步骤3；假设B在当前帧中没有找到满足条件的最近点，则置

=

，并使的结束计数器增1，更新后的触摸点B的状态向量为

，并为B执行步骤5。

步骤5：判断触摸点的结束计数器，若

，则执行步骤3；若

，则结束该条轨迹。

Claims (6)

1.一种多点触摸轨迹跟踪方法，其特征在于，所述方法包括以下步骤：

A计算各触摸点的初始状态，获取各个触摸点的坐标数据；

B采用半卡尔曼滤波法预测各触摸点在下一帧中出现的位置；

C在当前帧中，在给定的距离阈值的范围内，搜索与预测位置欧式距离最近的触摸点，若找到，则与前一帧中的相应触摸点关联；否则，以预测位置作为当前帧中触摸点位置；

D判断当前帧中是否有新触摸点加入，若有则对新增加的触摸点执行步骤A，若没有则转到步骤E；

E判断当前帧中是否有轨迹结束，若有则结束该触摸点跟踪，若没有则转步骤B。

2.根据权利要求1所述的多点触摸轨迹跟踪方法，其特征在于，所述步骤A中采用前三帧迭代计算各触摸点的初始状态，具体步骤为：

A1检测到有触摸点时，分别为各触摸点记录帧数，记当前帧为各触摸点的第一帧，并记录各触摸点坐标；

A2接下来的一帧记为第二帧，同样记录各触摸点坐标数据，在第一帧中各触摸点在给定距离阈值的范围内，搜索第二帧中与第一帧中各个触摸点位置最近触摸点，若找到则与前一帧中的相应触摸点关联，并计算水平与垂直方向速度，若第一帧中某触摸点没有在第二帧中搜索到与其关联的触摸点，则可认为第一帧中该点为噪声，进行清除；

A3在第三帧中，同样记录各触摸点坐标数据，在第二帧中各触摸点在给定距离阈值的范围内，搜索第三帧中与第二帧中各个触摸点位置最近触摸点，若找到则与前一帧中的相应触摸点关联，若找到则进行关联，并计算水平与垂直方向速度，并与第二帧中的相应速度求平均，以此作为初始速度，若没有搜索到则可认为第二帧中该触摸点为噪声，进行清除。

3.根据权利要求1所述的多点触摸轨迹跟踪方法，其特征在于，步骤B中,该方法采用了标准卡尔曼滤波器中的预测方程，方差为                                                的二维高斯分布

；

卡尔曼预测方程：

    

其中设置预测误差向量服从均值为0；

， 

为帧中某触摸点状态向量，

为状态转移矩阵，

为控制矩阵，

为预测误差向量，

为相邻两帧时间间隔。

4.根据权利要求1所述的多点触摸轨迹跟踪方法，其特征在于，步骤D中的判断方法为：

D1计算新增触摸点与其最近的触摸点之间的欧式距离，大于给定的距离阈值，则转步骤D2，若小于给定的距离阈值，则不为新增的触摸点；

D2判断该点是否满足三帧迭代初始化条件，若满足则为新增的触摸点，若不满足，则判断为非新增触摸点。

5.根据权利要求4所述的多点触摸轨迹跟踪方法，其特征在于，还包括以下方法：先将已通过D1判定的触摸点，采用半卡尔曼滤波方法进行预测，经计算后都能正确跟踪轨迹，且与已存在的触摸轨迹无串扰，则判断该触摸点是新增的触摸点。

6.根据权利要求1所述的多点触摸轨迹跟踪方法，其特征在于，步骤E中判断方法如下：

E1采用半卡尔曼滤波方法预测在当前帧中的触摸点位置，并在给定的距离阈值的范围内搜索与该点最近的触摸点，若没有搜索到，则启动计数器,计数器初值为0,使其增1，并转步骤E2；若搜索到触摸点，则不符合轨迹结束条件，并继续执行步骤B；

E2在当前帧中以预测的位置作为该触摸点在当前帧中的位置；

E3以同样的方法继续预测两帧，此时判断计数器的值，若其值等于3，则表明该轨迹结束，并重置计数器为0。

Images