CN103186241B - 一种交互桌面触点左右手识别方法 - Google Patents

Abstract

本发明公开了一种基于手的解剖结构特征的触点左右手归属判定方法。本方法具体包括三大步：首先，对原始图像进行一系列图像处理，计算手指触点方向角以及对辅助数据模型互斥矩阵、距离矩阵作初始化；然后，按照人手解剖结构特征将属于不同手的触点分类；最后，根据触点所在位置以及手-臂系统三角形模型判定触点左右手。本发明不需要借助辅助硬件设备简单易行，而且在任意多个手指(1～10个)输入的情况下均具有很高的精确性和鲁棒性。

Description

一种交互桌面触点左右手识别方法

技术领域

本发明涉及左右手识别方法，具体地涉及基于交互桌面的触点信息提取的左右手识别方法，属于多点触控技术领域。

背景技术

随着普适计算、人机交互、计算机辅助协同设计等技术的不断发展，产生了以传统围桌为隐喻的多触点数字化交互桌面，此类数字设备使人们摆脱了现有鼠标键盘的束缚，可使用类似于日常操作桌面物体的方式与数字内容进行交互，该种交互方式直观、自然，在娱乐、媒体传播、设计、教育、军事等诸多领域均有广阔的应用前景。

基于计算机视觉原理的交互桌面由于实现简单、造价较低、性能稳定，目前已成为实现交互桌面的主流方式。然而，基于该原理的交互桌面系统只能提供手指触点的位置和形状信息并不包括触点所属手及该手的左右手手性信息，触点的左右手信息提取通常均需凭借额外的硬件设备，或者会对用户的交互有所限制如使用某只手交互之前必须同时使用5个手指进行手指注册。交互桌面触点所属手及左右手手性信息的提供对于多指手势识别、丰富双手交互技术尤其是双手非对称交互技术具有重要意义。

发明内容

本发明提出一种多点触控交互桌面同手触点聚类方法及左右手识别方法，该方法基于人手解剖结构特征不需借助辅助的硬件设备，可在用户自然交互输入的起始时刻提取单个或者多个手指的左右手信息。

本发明的技术方案为：一种交互桌面触点左右手识别方法，其步骤包括：

1）提取交互桌面帧图像上触点轮廓，计算触点的方向角、中心点以及所有触点两两之间的距离，初始化距离矩阵、互斥矩阵以及Handness数组；

2）根据所述距离矩阵中触点两两之间的距离，并设定距离阈值将同手或异手区分信息记录在互斥矩阵中，使用所述互斥矩阵对触点进行聚类后将同手聚类的结果保存至Handness数组中形成一触点类簇；

3）根据触点类簇在交互桌面位置判断触点所属左右手，若不能判断则根据三角型模型和/或两触点的距离关系判断触点所属左右手信息；

4）重复步骤1）-3），对图像上的触点进行左右手识别。

优选地，所述距离矩阵初始化为：距离矩阵D_num*num=(d_ij)_num*num，初始状态d_ij=0，是触点F_i与F_j之间距离为触点中心点之间的距离，x_i，x_j，y_i，y_j是触点中心点横纵座标值。

优选地，所述互斥矩阵初始化为：将互斥矩阵R_num*num=(r_ij)_num*num中的所有非对角元素赋值为2，对角元素赋值为1，其中num表示当前手指触点的个数，r_ij=0，表示手指F_i与F_j属于不同只手，r_ij=1，表示手指F_i与F_j属于同一只手，r_ij=2，表示手指F_i与F_j尚未分类。

优选地，所述Handness数组初始化为：初始Handness数组H[i]=0，H[i]=1表示触点F_i属于1类，H[i]=2表示触点F_i属于2类，i∈[1～num]。

更进一步，所述设定距离阈值将同手或异手区分信息记录在互斥矩阵中的方法如下：

1）设定三个距离阈值分别为：D_adj不包括大拇指的同手相邻两指最大距，D_thumb同手大拇指与食指最大距，D_max同手手指最大距；

2）若两触点距离d_ij>D_max，则F_i与F_j属于不同手，设置互斥矩阵r_ij=0；

3）若两触点距离d_ij<D_adj，则判断F_i与F_j方向角的差值θ_ij；若θ_ij<θ_adj，则F_i与F_j属于同手，设置互斥矩阵r_ij=1；若θ_ij≥θ_adj，则F_i与F_j属于不同手，设置互斥矩阵r_ij=0；

4）若两触点距离d_ij处于阈值范围D_adj<d_ij<D_max，则根据F_i与F_j方向角的差值θ_ij分类判断；

5)根据上述互斥矩阵对触点聚类，聚类结果保存在Handness数组。

更进一步，所述步骤4）中分类判断的方法为：

4-1）计算两触点方向角延长线交点，若有上交点则F_i与F_j属于不同手，设置r_ij=0；

4-2）计算两触点方向角的差值θ_ij，若θ_ij<θ_adj，则F_i与F_j有一个为大拇指，另一个为另一手的食指，属于不同手，设置r_ij=0；

4-3）若D_thumb<d_i,j<D_max，则F_i与F_j属于不同的手，设置r_ij=0；

4-4）若D_min<d_i,j<D_thumb且尚未分类的手指触点，判定F_i与F_j为同手，设置r_ij=1。

更进一步，所述步骤5）中，按照如下方法进行聚类：

5-1)对Handness数组初次赋值,遍历互斥矩阵查找r_ij=0或者r_ij=1(i≠j)的点，根据所述初次赋值对h_i与h_j赋值；

5-2)遍历Handness数组，对于h_i>0的触点，分别遍历互斥矩阵中的第i行和第i列，并根据互斥矩阵中的值，设置Handness数组的值，直至Handness数组全部被赋值。

更进一步，根据触点类簇的重心在交互桌面位置判断触点所属左右手，所述触点类簇重心G的计算方法为：

其中，向量group1与向量group2中为已分好类的触点类簇，x，y表示横纵座标点。

更进一步，所述交互桌面手-臂系统三角形模型按照如下方法建模：

将用户身体、前臂、手抽象三角形模型，模型中三角形由用户手、前臂、前臂延长线、两肩连线的延长线组成，

所述三角形随用户身体的扭动旋转，对于屏幕中同一被操作对象，若使用左手操作，手指触点方向角小于基准角度，若使用右手操作，手指触点方向角大于基准角度。

更进一步，根据所述三角型模型和/或两触点的距离关系判断触点所属左右手信息的方法为：

单个触点，若基准角α>触点方向角θ，则该触点属于左手；若α<θ，则该触点属于右手；

两个触点，若d_adj<d_ij<d_thumb，两触点长轴交点与两触点中心点连线位置比较，交点在连线左边，则为左手；交点在连线右边，则为右手；若d_ij<d_adj,取中心点与长轴方向角的均值后利用所述三角形模型判断，若α>θ，则该触点类簇属于左手；若α<θ,则该触点类簇属于右手；

两个以上触点，首先对触点方向角排序，然后判断相邻两触点之间距离，若存在d_adj<d_ij<d_thumb，则存在大拇指，删除大拇指后计算剩余手指的平均位置及平均角度，利用三角形模型判断左右手。

本发明的有益效果

本发明中不需要借助辅助硬件设备，而且可识别任意多个手指(1～10个)输入情况下的触点左右手信息，尤其是在单个手指输入情况下该方法仍然具有很高的精度和鲁棒性。本发明为基于计算机视觉原理实现的交互桌面系统的触点输入提供了左右手信息，该信息为交互桌面多指手势识别提供了重要依据，而且为基于交互桌面的双手非对称交互奠定了基础，使基于交互桌面的交互技术更加直观自然，促进了交互桌面的推广应用。本发明的适用范围是：单用户固定位置在开始输入的时候以自然舒适的姿势进行输入。

附图说明

图1（a）～图1（f）为本发明交互桌面触点左右手识别方法一实施例中D_min<d_i,j<D_thumb情况下手指可能位置。

图2为本发明交互桌面触点左右手识别方法一实施例中交互桌面用户双手操作区域示意图。

图3为本发明交互桌面触点左右手识别方法中一实施例中手-臂系统三角形模型示意图。

图4为本发明交互桌面触点左右手识别方法中一实施例中涉及到的系统布局示意图和样机。

图5a～图5b为本发明交互桌面触点左右手识别方法中一实施例中本发明实施例效果图。

图6为本发明交互桌面触点左右手识别方法中一实施例中操作方法的流程图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图6所示为本发明交互桌面触点左右手识别方法中一实施例中操作方法的流程图，一种多点触控交互桌面系统中识别触点左右手信息的方法，包括步骤：

步骤S1：对红外相机采集到的视频帧作处理，提取新增触点，对新增触点做轮廓提取，计算新增触点的方向角、中心点、触点两两之间的距离，对互斥矩阵、距离矩阵、Handness数组初始化。

步骤S2：按照触点两两之间距离的大小分三种情况依次处理，实现同手触点聚类。

步骤S3：首先按照触点类簇重心所处交互桌面位置判断触点所属左右手，若不能判断则根据触点类簇包含触点个数的多少分情况利用手-臂系统三角形模型依次判断触点所属左右手信息。

进一步的，所述步骤S1预处理包括的步骤有：

1)对于图像中的新增触点做轮廓提取。

2)计算触点方向角。计算轮廓上所有点两两之间的欧式距离，选取距离的最大值，该最大距离对应的两个点连线的方向角即为触点方向角，两点连线的中点即为触点中心点。

3)互斥矩阵初始化。互斥矩阵R_num*num=(r_ij)_num*num中保存图像中手指两两之间同手及异手的情况，其中num表示当前手指触点的个数，r_ij=2，表示手指F_i与F_j尚未分类；r_ij=1，表示手指F_i与F_j属于同一只手；r_ij=0，表示手指F_i与F_j属于不同只手。互斥矩阵初始化即为将矩阵中的所有非对角元素赋值为2，对角元素赋值为1。

4)距离矩阵初始化。距离矩阵D_num*num=(d_ij)_num*num中保存图像中手指两两之间的距离，触点F_i与F_j之间距离为触点中心点之间的距离，初始状态d_ij=0。

5)Handness数组初始化。Handness数组保存触点分类结果，H[i]=1表示触点F_i属于1类，H[i]=2表示触点F_i属于2类，i∈[1～num]，初始H[i]=0。

进一步的，所述步骤S2同手触点聚类按照触点与触点之间距离的大小分情况进行处理，三个距离阈值分别为：同手相邻两指（不包括大拇指）最大距D_adj，同手大拇指与食指最大距D_thumb，同手手指最大距D_max。包括的步骤有：

1)d_ij>D_max。若两触点距离d_ij>D_max，则F_i与F_j属于不同手，设置互斥矩阵^r _ij=0

2)d_ij<D_adj。若两触点距离d_ij<D_adj，则判断F_i与F_j方向角的差值θ_ij，若θ_ij<θ_adj，则^F _i与F_j属于同手，设置互斥矩阵^r _ij ⁼¹；若θ_ij≥θ_dj，则F_i与F_j属于不同手，设置互斥矩阵^r _ij=0。

3)D_adj<d_ij<D_max。两触点距离d_ij处于阈值范围D_adj<d_ij<D_max。在该阈值范围内的两触点的可能情况如图1（a）～（f）所示，其中图1(a)、图1(b)为单手操作，其余为双手操作，L表示左手触点，R表示右手触点。判定步骤为：首先，计算两触点方向角延长线交点，若有上交点即为图1(c)所示情况，F_i与F_j属于不同手，设置r_ij=0；其次，计算两触点方向角的差值θ_ij，若θ_ij<θ_adj，则为图1(d)所示情况，F_i与F_j有一个为大拇指，另一个为另一手的食指，应属于不同手，设置r_ij=0；然后，若D_thumb<d_i,j<D_max，则为图1(e)、图1(f)所示情况，则F_i与F_j属于不同的手，设置r_ij=0；最后，对于两点距离D_min<d_i,j<D_thumb且尚未分类的手指触点，可能为图1(a)、图1(b)、图1(e)、图1(f)四种情况，仅利用触点静态信息无法判断触点的左右手，因F_i与F_j为同手食指与大拇指的概率较大，故判定F_i与F_j为同手，设置r_ij=1。

4)根据互斥矩阵对触点做聚类，聚类结果保存在Handness数组。具体步骤为：①对Handness数组初次赋值。遍历互斥矩阵，查找r_ij=0或者r_ij=1(i≠j)的点，根据该值对h_i与h_j赋值；②遍历Handness数组，对于h_i>0的触点，分别遍历互斥矩阵中的第i行和第i列，并根据互斥矩阵中的值，设置Handness数组的值，直至Handness数组全部被赋值。

5）根据Handness数组的值将触点聚类。遍历Handness数组，若Handness[i]=1，将手指F_i的ID存入向量group1；若Handness[i]=2，则将手指F_i的ID存入向量group2。向量group1与向量group2中保存的即为分好类的触点类簇。

进一步的，所述步骤S3触点类簇的左右手识别，也即判断不为空的group中触点类簇的左右手，若group1与group2均不为空，则取group1，判断该类中手指触点的左右手即可同时得到group2的左右手属性。此处以group1为例说明具体的识别过程，同理可对group2的左右手归属作判断。

触点类簇重心G的计算方法为：

$x_G=\frac{1}{\mathrm{num}}\underset{i=1}{\overset{\mathrm{num}}{\mathrm{\&Sigma;}}}\mathrm{group}1\left[i\right].x$

$y_G=\frac{1}{\mathrm{num}}\underset{i=1}{\overset{\mathrm{num}}{\mathrm{\&Sigma;}}}\mathrm{group}1\left[i\right].y$

该步骤根据触点类簇重心所在交互桌面位置（如图2），从左至右是区域1左手操作区域，区2双手操作区和区域3右手操作区，分三种情况分别进行处理：

1)触点类簇重心G位于1区，该触点类簇属于左手。

2)触点类簇重心G位于3区，该触点类簇属于右手。

3)触点类簇重心G位于2区，需作进一步识别。

此处左右手识别的一个重要依据是交互桌面手-臂系统三角形模型（如图3）。用户身体、前臂、手（不包括大拇指）三者可抽象为如图3所示三角形模型，基准角为α，触点方向角为θ，通过该三角形模型可明显看出左右手在操作时的差异。该三角形由用户手、前臂、前臂延长线、两肩连线的延长线组成，随着身体的扭动，该三角形也会随之旋转，如图3虚线（---）三角形所示。图中虚线（-.-.-.）为用户身体中心位置对应的屏幕位置与屏幕中被操作对象的连线。从图3可得，对于屏幕中同一被操作对象，使用左手操作，其左前臂方向总是小于基准角度（（-.-.-.）虚线与X轴的夹角），也即手指触点方向角小于基准角度；同理，使用右手操作，其产生的触点的方向角总是大于基准角度，由此可根据触点角度判断触点左右手的归属。

当触点类簇重心位于2区时，按触点类簇中触点的个数分为三种情况：

a)单个触点。若为单个触点，则利用三角形模型判断触点类簇的左右手，若α>θ，则该触点属于左手；若α<θ，则该触点属于右手。

b)两个触点。若d_adj<d_ij<d_thumb，两触点长轴交点与两触点中心点连线位置比较，交点在连线左边，则为左手；交点在连线右边，则为右手；若d_ij<d_adj,取中心点与长轴方向角的均值，然后利用三角形模型判断，若α>θ，则该触点类簇属于左手；若α<θ,则该触点类簇属于右手。

c)两个以上触点。首先对触点方向角排序，然后判断相邻两触点之间距离，若存在d_adj<d_ij<d_thumb，则存在大拇指，删除大拇指，计算剩余手指的平均位置及平均角度，利用三角形模型判断左右手；若d_ij<d_adj,取中心点与长轴方向角的均值然后利用三角形模型判断，α>θ，左手；α<θ，右手。

在本发明的一实施中，通过计算触点轮廓中距离最远的两点的连线方向获取触点方向信息、使用互斥矩阵保存两触点属于同手或异手的信息同时将互斥矩阵作为触点分类的依据。

在本发明的一实施中，基于解剖结构特征利用触点自身以及触点与触点之间的相对信息对同手触点聚类。

在本发明的一实施中，基于用户活动范围的限制识别触点的左右手、基于手-臂系统三角形模型识别触点的左右手、基于人在交互桌面上的操作习惯识别触点的左右手。

为了实现本发明的方法，本发明一优选实施使用的多触点交互桌面基于LLP（LaserLightPlaneIllumination，LLP）技术，其长宽高分别为140cm、104cm、90cm，内置计算机CPU是1.6G，内存是512M。软件平台的配置为MicrosoftWindowsXPProfessional版本2002ServicePack3。系统布局示意图和样机如图4所示，其中1为屏幕、2为红外灯，分布在屏幕的四周（其余未示出）、3为相机、4为投影仪。

方法在VS2012开发环境下采用C++语言实现，本发明方法的流程图请参见图6，本发明方法的具体实施步骤如下：

步骤S1：设在某一帧检测到3个新增手指触点F₀,F₁,F₂，使用opencv中轮廓检测算法对这三个手指触摸区域作轮廓检测。使用函数voidfindFarestPointsInContour(CvSeq*seq,CvPoint**maxpp1,CvPoint**maxpp2)找到每一轮廓上相距最远的两个点maxpp1、maxpp2。计算这两点连线的方向及中心点坐标。

互斥矩阵初始化：

$R_{3*3}=\left(\begin{array}{ccc}1& 2& 2\\ 2& 1& 2\\ 2& 2& 1\end{array}\right)$

距离矩阵初始化：

$D_{3*3}=\left(\begin{array}{ccc}0& 43.0116& 58.258\\ 43.0116& 0& 36.0555\\ 58.258& 36.0555& 0\end{array}\right)$

Handness数组初始化：

$H=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$

步骤S2：按照距离和触点方向对同手触点进行聚类。

按远距离聚类后的互斥矩阵及Handness数组：

$R_{3*3}=\left(\begin{array}{ccc}1& 2& 2\\ 2& 1& 2\\ 2& 2& 1\end{array}\right)$ $H=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$

按角度聚类后的互斥矩阵及Handness数组：

$R_{3*3}=\left(\begin{array}{ccc}1& 2& 2\\ 2& 1& 2\\ 2& 2& 1\end{array}\right)$ $H=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$

$R_{3*3}=\left(\begin{array}{ccc}1& 0& 2\\ 0& 1& 2\\ 2& 2& 1\end{array}\right)$ $H=\left[\begin{array}{c}1\\ 2\\ 0\end{array}\right]$

$R_{3*3}=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 2\\ 0& 2& 1\end{array}\right)$ $H=\left[\begin{array}{c}1\\ 2\\ 2\end{array}\right]$

Handness数组全被赋值，聚类结束。

步骤S3：对上述聚类结果作左右手识别，取触点类簇1作左右手识别，触点类簇2的识别结果也可随之确定。

触点类簇1中触点的方向角为112.2534°，基准角为99.7996°，根据手-臂系统三角形模型可知该类簇为右手。其结果图见图5（a）～图5（b），图5（b）中矩形表示左手手指，椭圆表示右手手指。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种交互桌面触点左右手识别方法，其步骤包括：

1)提取交互桌面帧图像上触点轮廓，计算触点的方向角、中心点以及所有触点两两之间的距离，初始化距离矩阵、互斥矩阵以及Handness数组；

2)根据所述触点两两之间的距离，并设定距离阈值将同手或异手区分信息记录在互斥矩阵中，使用所述互斥矩阵对触点进行聚类后将同手聚类的结果保存至Handness数组中形成一触点类簇，其中，所述设定距离阀值将同手或异手区分信息记录在互斥矩阵中包括：

2-1)设定三个距离阈值分别为：D_adj不包括大拇指的同手相邻两指最大距，D_thumb同手大拇指与食指最大距，D_max同手手指最大距；

2-2)若两触点距离d_ij>D_max，则手指F_i与手指F_j属于不同手，设置互斥矩阵中的元素r_ij＝0；

2-3)若两触点距离d_ij＜D_adj，则判断手指F_i与手指F_j方向角的差值θ_ij；若θ_ij＜θ_adj，则手指F_i与手指F_j属于同手，设置互斥矩阵中的元素r_ij＝1；若θ_ij≥θ_adj，则手指F_i与手指F_j属于不同手，设置互斥矩阵中的元素r_ij＝0，其中，i表示互斥矩阵中的横坐标，j表示互斥矩阵中的纵坐标，θ_adj为不包括大拇指的同手相邻两指最大夹角；

2-4)若两触点距离d_ij处于阈值范围D_adj＜d_ij＜D_max，则根据手指F_i与手指F_j方向角的差值θ_ij分类判断；

2-5)根据上述互斥矩阵对触点聚类，聚类结果保存在Handness数组；

所述互斥矩阵对触点进行聚类包括：

对Handness数组初次赋值,遍历互斥矩阵查找r_ij＝0或者r_ij＝1(i≠j)的点，其中，r_ij为一参数值，当r_ij＝2，表示手指F_i与F_j尚未分类；r_ij＝1，表示手指F_i与F_j属于同一只手；r_ij＝0，表示手指F_i与F_j属于不同只手；据所述初次赋值对h_i与h_j赋值；h_i与h_j为手指触点分类参数，遍历Handness数组，对于h_i>0的触点，分别遍历互斥矩阵中的第i行和第i列，并根据互斥矩阵中的值，设置Handness数组的值，直至Handness数组全部被赋值；

3)根据触点类簇在交互桌面位置判断触点所属左右手，若不能判断则根据交互桌面手-臂系统三角形模型和/或两触点的距离关系判断触点所属左右手信息，其中，所述交互桌面手-臂系统三角形模型按照如下方法建模：

将用户身体、前臂、手抽象三角形模型，模型中三角形由用户手、前臂、前臂延长线、两肩连线的延长线组成，

所述三角形随用户身体的扭动旋转，对于屏幕中同一被操作对象，若使用左手操作，手指触点方向角小于基准角度，若使用右手操作，手指触点方向角大于基准角度；

4)重复步骤1)-3)，对图像上的触点进行左右手识别。

2.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，所述距离矩阵初始化为：距离矩阵D_num*num＝(d_ij)_num*num，初始状态是手指F_i与手指F_j之间距离为触点中心点之间的距离，x_i，x_j，y_i，y_j是触点中心点横纵座标值，其中，i表示互斥矩阵中的横坐标，j表示互斥矩阵中的纵坐标，num表示当前手指触点的个数。

3.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，所述互斥矩阵初始化为：将互斥矩阵R_num*num＝(r_ij)_num*num中的所有非对角元素赋值为2，对角元素赋值为1，其中，i表示互斥矩阵中的横坐标，j表示互斥矩阵中的纵坐标，num表示当前手指触点的个数，r_ij＝0，表示手指F_i与F_j属于不同只手，r_ij＝1，表示手指F_i与F_j属于同一只手，r_ij＝2，表示手指F_i与F_j尚未分类。

4.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，所述Handness数组初始化为：初始化Handness数组H[i]＝0，H[i]＝1表示触点F_i属于1类，H[i]＝2表示触点F_i属于2类，i∈[1～num]，其中，i表示互斥矩阵中的横坐标，num表示当前手指触点的个数。

5.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，所述步骤2-4)中分类判断的方法为：

2-4-1)计算两触点方向角延长线交点，若有上交点则手指F_i与手指F_j属于不同手，设置r_ij＝0；

2-4-2)计算两触点方向角的差值，即手指F_i与手指F_j方向角的差值θ_ij，若θ_ij＜θ_adj，则手指F_i与手指F_j有一个为大拇指，另一个为另一手的食指，属于不同手，设置r_ij＝0；

2-4-3)若D_thumb＜d_ij＜D_max，则F_i与F_j属于不同的手，设置r_ij＝0；

2-4-4)若D_adj＜d_ij＜D_thumb且尚未分类的手指触点，判定F_i与F_j为同手，设置r_ij＝1。

6.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，根据所述交互桌面手-臂系统三角型模型和/或两触点的距离关系判断触点所属左右手信息的方法为：

单个触点，若基准角α>触点方向角θ，则该触点属于左手；若α＜θ，则该触点属于右手；

两个触点，若D_adj＜d_ij＜D_thumb，两触点长轴交点与两触点中心点连线位置比较，交点在连线左边，则为左手；交点在连线右边，则为右手；若d_ij＜D_adj,取中心点与长轴方向角的均值后利用所述三角形模型判断，若α>θ，则该触点类簇属于左手；若α＜θ,则该触点类簇属于右手；

两个以上触点，首先对触点方向角排序，然后判断相邻两触点之间距离，若存在D_adj＜d_ij＜D_thumb，则存在大拇指，删除大拇指后计算剩余手指的平均位置及平均角度，利用三角形模型判断左右手。