CN103164022B - 多指触摸方法和装置、便携式终端设备 - Google Patents

Abstract

本发明公开一种多指触摸方法和装置、便携式终端设备，该方法包括：响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指；将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标；将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；判断所述第四坐标是否在所述第二坐标附近；响应于判断结果为是，确定所述第二坐标为多指触摸点。

Description

多指触摸方法和装置、便携式终端设备

技术领域

本发明涉及多指触摸，特别涉及通用计算机的多指触摸方法和装置、便携式终端设备。

背景技术

多指触摸(Multi-Touch)技术是指允许计算机用户同时通过多个手指来控制图形界面的一种技术。随着应用多指触模控制技术的智能手机的流行，基于多指触摸控制的手势识别技术逐渐成为人们普遍接受的人机交互技术。

多指触摸输入必须依赖多点触控设备，通常是多指触摸板，或者支持多指触摸输入的触摸屏。这类设备目前还不普及，通常只在高端的电子设备如苹果笔记本上才具备，或者需要单独采购。多数家用或商用的台式计算机和笔记本在硬件上不支持多指触摸，因此限制了多指触摸技术在通用计算机上的应用。

为了在没有多指触摸设备的情况下可以开发和使用支持多指触摸输入的软件系统，人们开发了多种模拟多指触摸输入的技术。例如，有一种模拟多指触摸输入的软件，将此软件的窗口覆盖在支持多指触摸输入的目标软件界面上，先用鼠标在目标软件上点击一个或者几个点，作为固定的输入点，然后用鼠标模拟可以活动的输入点。还有人用两个鼠标来模拟两个输入点。这类方法可以模拟的触摸点数量非常有限，且输入方式与多指触摸的操作差别很大，效果并不理想。

近年来，出现了基于机器视觉的手势识别技术，基于机器视觉的手势识别技术利用摄像机捕捉手势，并且通过计算手势运动轨迹与预定模板之间的相关系数(correlationcoefficient)确定手势的交互语义(interactionsemantics)。现有的通过摄像头来识别手指并模拟多点接触的方法，需要通过一个画好棋盘格的物理表面作为模拟的触摸板，通过支持无线通信的摄像头对手指运动进行拍摄，然后通过无线通信将捕捉的图像发送到计算机上进行分析，通过自动摄像头校正和使用前的姿态学习、使用中的图像识别等方法来获得用户的多指触摸输入。

但是这种基于摄像机的手势识别技术需要额外的辅助设备，如画好棋盘格的物理平面，为了能够拍摄到手指的运动而增加的无线摄像头、嵌入式传输设备，并通过USB无线接收器连接计算机，这些要求显然限制了此种技术的使用，另外，这类方法也没有很好解决输入的开始和结束的问题。图像中刚出现手指的时候，用户可能还没有准备好，或者是操作完毕准备撤回手指，如果不能很好的区分操作的开始和结束，会给用户的操作造成很大的不便，甚至导致操作混乱，使技术失去实用价值。

因此需要一种应用于通用计算机的多指触摸技术，能够克服现有技术的缺陷，在常见的个人计算机上，在不增加额外硬件设备的前提下，支持用户进行多指触摸输入，且操作方式简便自然，尽可能接近实际多指触摸设备的操作方式。

发明内容

基于上述问题，本发明提供一种多指触摸方法和装置。

根据本发明的第一方面，提供一种多指触摸方法，包括：响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指；将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标；将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；判断所述第四坐标是否在所述第二坐标附近；响应于判断结果为是，确定所述第二坐标为多指触摸点。

根据本发明的第二方面，提供一种多指触摸装置，包括：识别模块，被配置为响应于用户伸出至少一个手指指向计算机屏幕识别摄像机采集的图像帧中的人眼和至少一个手指；坐标映射模块，被配置为将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标，以及将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；判断模块，被配置为判断所述第四坐标是否在所述第二坐标附近；多指触摸点确定模块，被配置为响应于判断结果为是确定所述第二坐标为多指触摸点。

根据本发明的第三方面，提供了一种包括上述多指触摸装置的便携式终端设备。

根据本发明实施例的多指触摸方法和装置，在不增加额外硬件设备的前提下，支持用户进行多指触摸输入，且操作方式简便自然，尽可能接近实际多指触摸设备的操作方式。

附图说明

结合附图，通过参考下列的实施例详细描述方法和装置，将会更好地理解本发明本身、优选的实施方式以及本发明的目的和优点，其中：

图1示出根据本发明实施例的多指触摸方法；

图2示出人眼在图像帧中的坐标示意图；

图3示出手指的图像示意图；

图4示出手指在以计算机屏幕为X-Y平面的三维坐标系统中的示意图；

图5示出人眼在以计算机屏幕为X-Y平面的三维坐标系统中的示意图；

图6示出根据本发明实施例的一种多指触摸装置；以及

图7示意性示出了可以实现根据本发明的实施例的计算设备的结构方框图。

具体实施方式

以下结合附图描述根据本发明实施例的一种多指触摸方法和装置，将会更好地理解本发明的目的和优点。

图1示出根据本发明实施例的多指触摸方法，在步骤S101，响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指；在步骤S102，将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标；在步骤S103，将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；在步骤S104，判断所述第四坐标是否在所述第二坐标附近；在步骤S105，响应于判断结果为是，确定识别的手指为多指触摸点。

具体地，在步骤S101，响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指。摄像头已成为通用计算机或笔记本的标准配置，负责实时采集在摄像头视野范围内的用户图像。当用户伸出至少一个手指指向计算机屏幕时，摄像机实时采集摄制范围内的图像，系统识别摄像机采集的图像帧中的人眼和至少一个手指。为了更有效的对图像中手指和人眼进行识别，需要对大量的手指和人眼图像特征进行学习。考虑到不同人的手指和人眼比较类似，系统采用离线的方法对手指和人眼特征进行学习，选取手指和人眼的样本图像作为正样本，选取任意图像作为负样本，利用所述正样本和负样本训练分类器。具体步骤如下：

(1)找到代表用户群手指和人眼图像特点的若干用户(如50个)。

(2)对每个用户，对他每个指头和人眼，以不同的摄像机距离，不同的姿态进行一组摄像。

(3)对摄像中的指头和人眼采用人工的方法进行矩形框标定。

(4)对这些矩形框图像按尺寸归一化到一个选定的典型尺寸上，将这些图像作为正样本。

(5)随机选取各类影像，考虑到本系统的使用场景主要在室内，可重点选取室内影像，从这些影像中任意抽取正方形图像块，尺寸归一后作为负样本。

(6)利用正样本及负样本训练一个分类器(如SVM分类器，或ANN分类器)。

由于手指和人眼影像具有比较显著的特征以及较强的一致性，按目前技术水平，分类器经过训练后能较好的分辨任意一个矩形图像是否是一个手指或者人眼。在后续的步骤中，该分类器将用于(分析和定位)判断图像中的手指或人眼区域。

识别摄像机采集的图像帧中的手指和人眼，需要进行如下三个步骤：

1.图像预处理

对采集的图像帧的像素进行运算，主要是进行图像灰度化，目的是为了图像分割以及特征提取和选择提供基础。

2.图像分割

首先将采集的图像帧按照分类器的矩形图像块的大小划分成多个图像子块，利用分类器来识别所有图像子块中的手指和人眼，由分类器对多个图像子块内的几何形状和像素分布情况进行分析，将采集图像帧中的多个图像子块与分类器训练的手指和人眼的图像样本逐个进行比较，根据相似性找到匹配的图像子块，识别出包含有人眼或手指的图像子块，同时记录该图像子块在图像帧上的位置。通过阈值分割得到人眼或手指的图像，例如，眼球部分与周围部分的图像具有非常明显的特征，即眼球图像的像素值接近于0(眼球)或255(眼白)，因此可以进行阈值分割。通过图像边缘检测提取算法提取识别出的手指和人眼眼球的边界，边界检测和提取的过程同时也是图像特征计算的原始数据获得的过程。

3.图像特征选择与提取

根据眼球边界像素点的数目和坐标计算眼球的图像坐标，图2示出人眼在图像帧中的坐标示意图，用眼球的中心位置坐标(X_t，Y_t)来表示人眼的图像坐标，其中眼球的中心位置坐标(X_t，Y_t)为：

其中：

x_i表示眼球边界点的x坐标；

y_i表示眼球边界点的y坐标；

其中：

(Xmin，Y1)表示眼眶边界上的x坐标最小的像素点；

(xmin，y1)表示眼球边界上的x坐标最小的像素点；

(Xmin，Y2)表示眼眶边界上的x坐标最大的像素点；

(xmax，y2)表示眼球边界上的x坐标最大的像素点。

图3示出手指的图像示意图，其中矩形框表示手指边界，根据手指边界像素点的数目和坐标计算手指的图像坐标，用手指图像的中心位置坐标(X_m，Y_m)来表示手指的图像坐标，其中：

用像素的个数来表示手指图像区域的面积，其计算公式为：

$A=\underset{(x,y)\∈R}{\mathrm{\Σ}}1,---\left(5\right)$

其中A是所求区域所含的像素点数，即区域的面积，R为手指图像边界内区域。

在步骤S102，将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标，具体地，图4示出手指在以计算机屏幕为X-Y平面的三维坐标系统中的示意图，首先设定三维空间坐标系，以屏幕左上角为原点，沿屏幕向右为X轴正向，沿屏幕向下为Y轴正向，X轴和Y轴与屏幕平面重合；垂直屏幕表面为Z轴，沿屏幕正面为Z轴正向。

在首次使用前，用户需要先标定手指图像区域的面积A与屏幕距离d的关系，即，比例系数n＝A/d。在电脑前，用户伸出手指A指向屏幕，根据步骤S101中图像识别的结果，获取手指在图像中的中心位置坐标(X_m，Y_m)，进一步将识别的手指在所述图像中的中心位置坐标映射为计算机屏幕的坐标，一般笔记本摄像头都在屏幕上方正中，不同笔记本的图像的视野与手指的相对位置关系相差不大。根据手指在图像帧中的横纵坐标位置，可以得到此时手指与屏幕平面在X方向和Y方向的角度(α，β)，设图像帧高度和宽度分别为h和w。

α＝90-arctan(Y_m-h/2)/d(6)

β＝90-arctan(X_m-w/2)/d(7)

进一步计算出手指A映射在计算机屏幕的坐标B(X，Y)：

X＝d/tanα，Y＝d/tanβ(8)

在步骤S103，将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标，图5示出人眼在以计算机屏幕为X-Y平面的三维坐标系统中的示意图，其中人眼在计算机屏幕的第四坐标基于以下参数计算：人眼在所述图像帧中的第三坐标、人眼大小a、人眼大小a和人眼与计算机屏幕的距离d的关系系数n、人眼的瞳孔在空间坐标系中的朝向。根据本发明的实施例，可以采用单眼(左眼或右眼)，也可以采用双眼来计算人眼在计算机屏幕的第四坐标。首先设定三维空间坐标系，以屏幕左上角为原点，沿屏幕向右为X轴正向，沿屏幕向下为Y轴正向，X轴和Y轴与屏幕平面重合；垂直屏幕表面为Z轴，沿屏幕正面为Z轴正向。在首次使用前，用户需要先标定人眼大小a和人眼与屏幕距离d的关系，即，比例系数n＝a/d。在电脑前，用户盯住屏幕上某个位置，根据此时人眼在图像中的位置，人眼的瞳孔在空间坐标系中的朝向和用户点击的位置，根据本算法即可推算出唯一未知量n。也可以采用其他方法，如用户直接输入此时人眼与摄像头的距离d，并根据图像中眼球的大小a，然后算出n。系统也可以提供缺省的人眼大小和人眼与屏幕距离d之间的对应关系n，这种情况下可以取消标定。注意在计算人眼大小的时候，不应采用眼球图像的面积，因为人眼睁开的大小是不固定的，根据人眼的面积计算很容易产生误差。根据本发明的实施例，单眼(左眼或右眼)的人眼大小可以采用内眼角到外眼角的直线距离，双眼的人眼大小可以采用双眼瞳孔中心的距离(瞳距)这类相对稳定的量。参照图5，计算将单眼在图像帧中的坐标映射为视线在计算机屏幕的坐标的过程，采用内眼角到外眼角的直线距离作为人眼的大小，即，

a＝横向距离1+横向距离2+眼球直径D(9)

其中：

其中

(Xmin，Y1)表示眼眶边界上的x坐标最小的像素点；

(xmin，y1)表示眼球边界上的x坐标最小的像素点；

(Xmin，Y2)表示眼眶边界上的x坐标最大的像素点；

(xmax，y2)表示眼球边界上的x坐标最大的像素点。

根据本发明的另一个实施例，根据图像帧中人眼的大小和系数n，可计算此时人眼与屏幕和摄像头所在表面的垂直距离d，设此时用户双眼瞳孔中心间距为a₁，

n＝a₁/d(10)

在捕捉人眼图像的时候，如果图像中有多个人，则可根据人眼图像的大小和人眼与图像中心位置的远近等条件来舍弃多余的人眼图像。

根据步骤S101中图像识别的结果，获取人眼在图像帧中的中心位置坐标(X_t，Y_t)，进一步人眼在所述图像帧中的中心位置坐标映射为计算机屏幕的坐标，一般笔记本摄像头都在屏幕上方正中，不同笔记本的图像的视野与人眼的相对位置关系相差不大。根据人眼在图像中的横纵坐标位置，可以得到此时人眼与屏幕平面在X方向和Y方向的角度(α，β)(由眼球位置向Y轴和X轴分别作垂线，这两条线与屏幕所在平面夹角分别为α和β，设图像高度和宽度分别为h和w。

α＝90-arctan(Y_t-h/2)/d(11)

β＝90-arctan(X_t-w/2)/d(12)

笔记本以外的设备可以增加标定步骤来确定这两个角度。根据公式(1)、(2)和(3)的结果，可以计算出人眼在三维空间坐标系中的相对位置关系：

X＝d/tanα，Y＝d/tanβ(13)

进行颜色过滤，把偏黑和偏白的图像分别找出来。中间偏黑的区域为瞳孔，周围偏白的区域为眼白。

设视线映射在屏幕上的位置为B(X₁，Y₁)，在屏幕XY平面上，过(0，Y₁)和(X₁，0)作平行于X轴的平行线X₁轴和平行于Y轴的平行线Y₁轴。

根据瞳孔左右两侧及上下两侧眼白的宽度比值，可以采用查表法计算出人眼的瞳孔在空间坐标系中的朝向，根据本发明的实施例，由眼球位置向Y1轴和X1轴分别作垂线，这两条线与屏幕所在平面夹角分别为α₁和β₁，假设用户正向面对摄像头和屏幕，双眼连线基本平行于屏幕平面，用α₁和β₁来表示人眼的瞳孔在空间坐标系中的朝向。

根据上述结果，使用空间几何方法计算出人眼映射在屏幕上的坐标位置B(X₁，Y₁)：

X₁＝X-d/tanα₁，Y₁＝Y-d/tanβ₁；(14)

在步骤S104，判断所述第四坐标是否在所述第二坐标附近，根据本发明的实施例，对于单个多指触摸点，可以判断人眼映射的坐标位置与单个多指触摸点的映射坐标点的距离是否小于某个阈值(如30个像素点)，如果判断结果为是，则确定第四坐标在第二坐标附近。根据本发明的实施例，对于两个多指触摸点，可以判断人眼映射的坐标位置与两个多指触摸点的坐标连线之间的距离是否小于某个阈值(如30个像素点)，如果判断结果为是，则确定第四坐标在第二坐标附近。根据本发明的实施例，对于三个以上的多指触摸点，可以先判断人眼映射的坐标位置是否在多个多指触摸点映射的坐标连接而成的多边形内，如果判断结果为是，则确定第四坐标在所述第二坐标附近，如果判断结果为否，则进一步判断人眼映射的坐标位置与任一个多指触摸点映射的坐标点之间的距离是否小于某个阈值(如30个像素点)，如果判断结果为是，则确定第四坐标在第二坐标附近。

步骤S105，响应于判断结果为是，确定所述第二坐标为多指触摸点，按照步骤S101-105识别出图像中所有的多指触摸点，并为识别出的每个多指触摸点分配ID，唯一标识该多指触摸点，并将所述标识ID和所述第二坐标作为多指触摸事件的参数发送至操作系统。操作系统会将此事件进一步发送给注册接受此事件的多指触摸应用。多指触摸事件可以是简单事件，例如任意时刻手指触摸的位置。多指触摸应用根据这些位置的变化来分析用户的动作，然后做出相应的处理。多指触摸事件也可以是复杂的事件，例如两手指分开、合并等操作，多指触摸应用可以根据这些事件直接做出响应。响应于判断结果为否，则确定所述第二坐标不是多指触摸点，忽略掉识别出的手指。

根据本发明的实施例，进一步分析包含该手指的图像的相邻帧，识别相邻帧是否存在多指触摸点，如果相邻帧存在多指触摸点，则判断当前帧包含多指触摸点的图像子块与相邻帧包含多指触点的图像子块是否匹配，根据本发明的实施例，可以根据当前帧和相邻帧的多指触摸点在图像子块的位置距离以及图像子块的图像相似度判断当前帧的图像子块与相邻帧的图像子块是否匹配，如果判断结果为是，则用当前图像帧的标识ID标识相邻图像帧中包含的多指触摸点。由多指触摸应用对多个多指触摸事件的多指触摸点的运动轨迹进行分析，确定用户的动作，并作出相应的响应。

基于同一发明构思，本发明提出一种多指触摸装置，图6示出根据本发明实施例的多指触摸装置，该装置包括：识别模块601，被配置为响应于用户伸出至少一个手指指向计算机屏幕识别摄像机采集的图像帧中的人眼和至少一个手指；坐标映射模块602，被配置为将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标，以及将识别的眼球在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；判断模块603，被配置为判断所述第四坐标是否在所述第二坐标附近；多指触摸点确定模块604，被配置为响应于判断结果为是确定所述第二坐标为多指触摸点。

根据本发明实施例的装置，还包括：标识ID分配模块，被配置成为对应于所述第二坐标的多指触摸点分配唯一标识ID；参数发送模块，被配置为将所述标识ID和所述第二坐标作为多指触摸事件的参数发送至操作系统。

根据本发明实施例的装置，其中标识ID分配模块进一步被配置为：响应于识别出所述图像帧的相邻图像帧包含多指触摸点，则判断相邻图像帧中包含多指触摸点的图像子块是否与所述图像帧中包含多指触摸点的图像子块匹配；响应于判断结果为是，则将所述标识ID标识分配给相邻图像帧中包含的多指触摸点。

根据本发明的实施例，其中所述人眼在计算机屏幕的第四坐标基于以下参数计算：人眼在所述图像帧中的第三坐标、人眼大小a、人眼大小a和人眼与计算机屏幕的距离d的关系系数n、人眼的瞳孔在空间坐标系中的朝向。

根据本发明实施例的装置，还包括分类器训练模块，被配置为：选取手指和人眼的样本图像作为正样本；选取任意图像作为负样本；利用所述正样本和负样本训练分类器。

根据本发明实施例的装置，其中识别模块进一步被配置为：将采集的图像帧划分为多个图像子块；利用所述分类器识别所述多个图像子块中的手指和人眼。

根据本发明实施例的装置，还包括图像坐标计算模块，被配置为：通过图像边缘检测提取算法提取识别的手指的边界和人眼的眼球边界；根据手指边界像素点的数目和坐标计算所述第一坐标；根据眼球边界像素点的数目和坐标计算所述第三坐标。

图7示意性示出了可以实现根据本发明的实施例的计算设备的结构方框图。图7中所示的计算机系统包括CPU(中央处理单元)701、RAM(随机存取存储器)702、ROM(只读存储器)703、系统总线704，硬盘监控器705、键盘监控器706、串行接口监控器707、并行接口监控器708、显示器监控器709、硬盘710、键盘711、串行外部设备712、并行外部设备713和显示器714。在这些部件中，与系统总线704相连的有CPU701、RAM702、ROM703、硬盘监控器705、键盘监控器706，串行接口监控器707，并行接口监控器708和显示器监控器709。硬盘710与硬盘监控器705相连，键盘711与键盘监控器706相连，串行外部设备712与串行接口监控器707相连，并行外部设备713与并行接口监控器708相连，以及显示器714与显示器监控器709相连。

图7中每个部件的功能在本技术领域内都是众所周知的，并且图7所示的结构也是常规的。这种结构不仅用于个人计算机，而且用于手持设备，如PalmPC、PDA(个人数据助理)、移动电话等等。在不同的应用中，例如用于实现包含有根据本发明的客户端模块的用户终端或者包含有根据本发明的网络应用服务器的服务器主机时，可以向图7中所示的结构添加某些部件，或者图7中的某些部件可以被省略。图7中所示的整个系统由通常作为软件存储在硬盘710中、或者存储在EPROM或者其它非易失性存储器计算机可读指令控制。软件也可从网络(图中未示出)下载。或者存储在硬盘710中，或者从网络下载的软件可被加载到RAM702中，并由CPU701执行，以便完成由软件确定的功能。

尽管图7中描述的计算机系统能够支持根据本发明提供的技术方案，但是该计算机系统只是计算机系统的一个例子。本领域的熟练技术人员可以理解，许多其它计算机系统设计也能实现本发明的实施例。

虽然图7示出了通用计算机，但本领域技术人员可知，本发明也可应用于如手机、音频播放器等其他便携式终端设备。

虽然这里参照附图描述了本发明的示例性实施例，但是应该理解本发明不限于这些精确的实施例，并且在不背离本发明的范围和宗旨的情况下，本领域普通技术人员能对实施例进行各种变化的修改。所有这些变化和修改意欲包含在所附权利要求中限定的本发明的范围中。

应当理解，本发明的至少某些方面可以可替代地以程序产品实现。定义有关本发明的功能的程序可以通过各种信号承载介质被传送到数据存储系统或计算机系统，所述信号承载介质包括但不限于，不可写存储介质(例如，CD-ROM)、可写存储介质(例如，软盘、硬盘驱动器、读/写CDROM、光介质)以及诸如包括以太网的计算机和电话网络之类的通信介质。因此应当理解，在此类信号承载介质中，当携带或编码有管理本发明中的方法功能的计算机可读指令时，代表本发明的可替代实施例。本发明可以硬件、软件、固件或其组合的方式实现。本发明可以集中的方式在一个计算机系统中实现，或以分布方式实现，在这种分布方式中，不同的部件分布在若干互连的计算机系统中。适于执行本文中描述的方法的任何计算机系统或其它装置都是合适的。优选地，本发明以计算机软件和通用计算机硬件的组合的方式实现，在这种实现方式中，当该计算机程序被加载和执行时，控制该计算机系统而使其执行本发明的方法，或构成本发明的系统。

上面出于举例说明的目的，给出了本发明的优选实施例的说明。优选实施例的上述说明不是穷尽的，也不打算把本发明局限于公开的明确形式，显然鉴于上述教导，许多修改和变化是可能的。对本领域的技术人员来说显而易见的这种修改和变化包括在由附加的权利要求限定的本发明的范围内。

Claims (11)

1.一种多指触摸方法，包括：

响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指；

将识别的所述手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标；

将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；

判断所述第四坐标是否在所述第二坐标附近；

响应于判断结果为是，确定所述第二坐标为多指触摸点；

为对应于所述第二坐标的多指触摸点分配唯一标识ID；

将所述标识ID和所述第二坐标作为多指触摸事件的参数发送至操作系统；

响应于识别出所述图像帧的相邻图像帧包含多指触摸点，则判断相邻图像帧中包含多指触摸点的图像子块是否与所述图像帧中包含多指触摸点的图像子块匹配；以及

响应于判断结果为是，则用所述标识ID标识相邻图像帧中包含的多指触摸点。

2.根据权利要求1所述的方法，其中所述人眼在计算机屏幕的第四坐标基于以下参数计算：人眼在所述图像帧中的第三坐标、人眼大小a、人眼大小a和人眼与计算机屏幕的距离d的关系系数n、人眼的瞳孔在空间坐标系中的朝向。

3.根据权利要求2所述的方法，还包括：

选取手指和人眼的样本图像作为正样本；

选取任意图像作为负样本；

利用所述正样本和负样本训练分类器。

4.根据权利要求3所述的方法，其中识别摄像机采集的图像中的人眼和至少一个手指包括：

将采集的图像帧划分为多个图像子块；

利用所述分类器识别所述多个图像子块中的人眼和至少一个手指。

5.根据权利要求4所述的方法，还包括：

通过图像边缘检测提取算法提取识别的手指的边界和人眼的眼球边界；

根据手指边界像素点的数目和坐标计算所述第一坐标；

根据眼球边界像素点的数目和坐标计算所述第三坐标。

6.一种多指触摸装置，包括：

识别模块，被配置为响应于用户伸出至少一个手指指向计算机屏幕识别摄像机采集的图像帧中的人眼和至少一个手指；

坐标映射模块，被配置为将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标，以及将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；

判断模块，被配置为判断所述第四坐标是否在所述第二坐标附近；

多指触摸点确定模块，被配置为响应于判断结果为是确定所述第二坐标为多指触摸点；

标识ID分配模块，被配置成为对应于所述第二坐标的多指触摸点分配唯一标识ID；以及

参数发送模块，被配置为将所述标识ID和所述第二坐标作为多指触摸事件的参数发送至操作系统，

其中标识ID分配模块进一步被配置为：

响应于识别出所述图像帧的相邻图像帧包含多指触摸点，则判断相邻图像帧中包含多指触摸点的图像子块是否与所述图像帧中包含多指触摸点的图像子块匹配；

响应于判断结果为是，则用所述标识ID标识相邻图像帧中包含的多指触摸点。

7.根据权利要求6所述的装置，其中所述人眼在计算机屏幕的第四坐标基于以下参数计算：人眼在所述图像帧中的第三坐标、人眼大小a、人眼大小a和人眼与计算机屏幕的距离d的关系系数n、人眼的瞳孔在空间坐标系中的朝向。

8.根据权利要求7所述的装置，还包括分类器训练模块，被配置为：

选取手指和人眼的样本图像作为正样本；

选取任意图像作为负样本；

利用所述正样本和负样本训练分类器。

9.根据权利要求8所述的装置，其中识别模块被进一步配置为：

将采集的图像帧划分为多个图像子块；

利用所述分类器识别所述多个图像子块中的人眼和至少一个手指。

10.根据权利要求9所述的装置，还包括图像坐标计算模块，被配置为：

通过图像边缘检测提取算法提取识别的手指的边界和人眼的眼球边界；

根据手指边界像素点的数目和坐标计算所述第一坐标；

根据眼球边界像素点的数目和坐标计算所述第三坐标。

11.一种便携式终端设备，包括根据权利要求6-10中的任一个的多指触摸装置。