CN102722309B - 一种多点触摸交互系统的触摸手势触控信息识别方法 - Google Patents

Abstract

本发明公开了一种多点触摸交互系统的触控手势触控信息识别方法，属于多点触摸技术领域。本方法为：1)采集相邻两帧多点触摸交互系统输入的手指位置信息，其中第i、i+1帧手指位置集合分别为P{p₁，p₂，…p_n}、Q{q₁，q₂，…q_n}；2)采用齐次坐标表示集合P、Q中每个点的位置信息，建立矩阵P、矩阵Q；3)计算矩阵P经缩放、旋转、平移变换到矩阵Q的变换参数；4)多点触摸交互系统根据所述变换参数确定第i帧到第i+1帧触摸手势输入的触控信息。本发明使触摸屏幕的多点触摸交互系统中识别多指手势更加精确，丰富了触摸屏的交互方式，使得触摸屏更加实用。

Description

一种多点触摸交互系统的触摸手势触控信息识别方法

技术领域

本发明属于多点触摸技术领域，具体地涉及一种多点触摸交互系统的触控手势触控信息识别方法。

背景技术

在多点触摸系统当中，滑动，旋转，缩放已经成为基本的操作方式。但是一般设备由于屏幕较小处理触摸点个数少，如手机只支持两个触摸点。

对于大屏幕的触摸设备，如触摸桌面，触摸屏幕较大，多个用户同时触摸操作，手指个数较多，而且用户一般会用多个手指操作，如使用五个手指进行旋转，缩放操作。由于多个手指的运动状态并不统一，同时触摸操作要求很高的实时性、低延迟。因此，如何准确、快速的识别多指手势便成为一个难题，迫切需要一种快速，稳定的手势识别方法。

发明内容

为了解决现有技术中在多点触摸交互系统中识别多指手势的问题，本发明的目的在于提供一种多点触摸交互系统的触控手势触控信息识别方法，可以在多点触摸交互系统中识别多指手势。

为实现上述目的，本发明的技术方案为：

一种多点触摸交互系统的触控手势触控信息识别方法，其步骤为：

1)采集相邻两帧多点触摸交互系统输入的手指位置信息，其中，第i帧手指位置集合为P{p₁，p₂，…p_n}，第i+1帧手指位置集合为Q{q₁，q₂，…q_n}，n为自然数；

2)采用齐次坐标表示集合P中每个点的位置信息，建立矩阵P；采用齐次坐标表示集合Q中每个点的位置信息，建立矩阵Q；

3)计算矩阵P经缩放、旋转、平移变换到矩阵Q的变换参数；其中，所述变换参数包括：缩放参数r、旋转参数θ、平移参数t_x和t_y；

4)多点触摸交互系统根据所述变换参数确定第i帧到第i+1帧触摸手势输入的触控信息。

进一步的，通过一线性变换矩阵将矩阵P经缩放、旋转、平移变换到矩阵Q。

进一步的，所述线性变换矩阵为

进一步的，根据方程计算所述变换参数。

进一步的，计算所述变换参数的方法为：

1)设置一参数a、b，令a＝rcosθ，b＝rsinθ；

2)将方程转换为方程

3)采用最小二乘法求解转换后的方程，得到所述变换参数；

其中，矩阵P为矩阵Q为

进一步的，采用光流跟踪的方法采集所述手指位置信息。

本发明的主要内容包括：

步骤S1：设第i帧手的手指位置在P{p₁，p₂，…p_n}，第i+1帧的相应手的手指位置Q{q₁，q₂，…q_n}；

步骤S2：根据手指位置P，Q，得到包含变换矩阵的线性方程组，即公式(1)。

步骤S3：根据最小二乘算法，解线性方程组，计算变换矩阵。

步骤S4：将缩放参数，旋转参数，平移参数，发送给系统。

步骤S5：系统根据接收到的参数对当前操作物体进行相关操作。

与现有技术相比，本发明的有益效果是：

提供了多点触摸交互系统中识别多指手势的方法。只需要得到前后两帧对应的手指的位置。便可确定旋转、缩放、平移参数。通过解线性方程组，精确度高，鲁棒性好。本发明使得触摸屏幕的多点触摸交互系统中识别多指手势更加精确，丰富了触摸屏的交互方式，使得触摸屏更加实用。

附图说明

图1为系统布局示意图；

1、桌面，2、红外灯，3、摄像机，4、投影仪，5、主机；

图2为本发明实施列的图示；

图3为本发明的流程图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而不局限于实施例中的实施方式。

为了实现本发明的方法，实施时采用一台CPU是1.6G，内存是512M，硬盘320G的计算机或其他类型的计算机，多点触摸桌面的长度为1.5米，宽度为1.15米。系统布局示意图如图1所示。图2给出了我们实施列的图示，星号表示的五个手指t₁时刻的位置，加号表示的是t₂时刻的5个手指位置。在计算机上采用Matlab编制相关程序，本发明方法的流程图请参见图3，本发明方法的具体实施步骤如下：

1).采用光流跟踪的方法采集手指的位置信息(参考文献：J.L.Barron，D.J.Fleetand S.S.Beauchemi，Performance of optical flow techniques，International Journalof Computer Vision，12：1，43-77，1994)，设第i帧5个手指的位置为P{p₁，p₂，p₃，p₄，p₅}，第i+1帧相应的5个手指位置为Q{q₁，q₂，q₃，q₄，q₅}；其中每个点的位置用齐次坐标来表示，这样P组成下面矩阵：

$P=\left[\begin{array}{ccc}{x}_{p1}& y_{p1}& 1.0000\\ x_{p2}& y_{p2}& 1.0000\\ x_{p3}& y_{p3}& 1.0000\\ x_{p4}& y_{p4}& 1.0000\\ x_{p5}& y_{p5}& 1.0000\end{array}\right]$

Q组成下面矩阵：

$Q=\left[\begin{array}{ccc}{x}_{q1}& y_{q1}& 1.0000\\ x_{q2}& y_{q2}& 1.0000\\ x_{q3}& y_{q3}& 1.0000\\ x_{q4}& y_{q4}& 1.0000\\ x_{q5}& y_{q5}& 1.0000\end{array}\right]$

2).从矩阵P到矩阵Q的变换过程可以近似为一个线性变换，即矩阵P经过缩放，旋转，平移线性变换得到矩阵Q，如式(1)，其中r为缩放参数，θ为旋转参数，t_x，t_y为平移参数。

$\left[\begin{array}{ccc}r\cos \mathrm{\θ}& -r\sin \mathrm{\θ}& t_x\\ -r\sin \mathrm{\θ}& r\cos \mathrm{\θ}& t_y\\ 0& 0& 1\end{array}\right]P^T=Q^T---\left(1\right)$

3).设a＝rcosθ，b＝rsinθ，上述方程可表示为关于a，b，t_x，t_y的线性方程组的形式：

$\left[\begin{array}{cccc}{x}_{p1}& {-y}_{p1}& 1& 0\\ y_{p1}& x_{p1}& 0& 1\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ x_{p5}& {-y}_{p5}& 1& 0\\ y_{p5}& x_{p5}& 0& 1\end{array}\right]\left[\begin{array}{c}a\\ b\\ t_x\\ t_y\end{array}\right]=\left[\begin{array}{c}{x}_{q1}\\ y_{q1}\\ \·\\ \·\\ \·\\ x_{q5}\\ y_{q5}\end{array}\right]---\left(2\right)$

根据最小二乘算法，解线性方程组，计算变换矩阵。

4).将缩放参数r，旋转参数θ，平移参数t_x，t_y发送给系统。

5)系统根据接收到的参数对当前操作物体进行相关操作。

实施例

对图2中的手指的P组成下面矩阵：

$P=\left[\begin{array}{ccc}0.2638& 0.3392& 1.0000\\ 0.2487& 0.4852& 1.0000\\ 0.3022& 0.4368& 1.0000\\ 0.2748& 0.4818& 1.0000\\ 0.2085& 0.4639& 1.0000\end{array}\right]$

Q组成下面矩阵

$Q=\left[\begin{array}{ccc}0.2918& 0.5710& 1.0000\\ 0.3212& 0.6932& 1.0000\\ 0.2836& 0.6919& 1.0000\\ 0.3543& 0.6249& 1.0000\\ 0.3490& 0.6729& 1.0000\end{array}\right]$

按上述方法计算旋转、缩放、平移参数，得到的参数为：

a＝0.3434

b＝-0.2951

t_x＝0.1006

t_y＝0.5758

$r=\sqrt{a^2+b^2}=0.4528$

$\mathrm{\θ}=a\tan (b/a)*\frac{180}{\mathrm{\π}}=-40.6732$

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (2)

1.一种多点触摸交互系统的触控手势触控信息识别方法，其步骤为：

1）采集相邻两帧多点触摸交互系统输入的手指位置信息，其中，第i帧手指位置集合为P{p₁,p₂,…p_n}，第i+1帧手指位置集合为Q{q₁,q₂,…q_n}，n为自然数；

2）采用齐次坐标表示集合P中每个点的位置信息，建立矩阵P；采用齐次坐标表示集合Q中每个点的位置信息，建立矩阵Q；

3）计算矩阵P经缩放、旋转、平移变换到矩阵Q的变换参数；其中，所述变换参数包括：缩放参数r、旋转参数θ、平移参数t_x和t_y；

4）多点触摸交互系统根据所述变换参数确定第i帧到第i+1帧触摸手势输入的触控信息；

其中，通过一线性变换矩阵将矩阵P经缩放、旋转、平移变换到矩阵Q，所述线性变换矩阵为 $\left[\begin{array}{ccc}r\cos \mathrm{\θ}& -r\sin \mathrm{\θ}& t_x\\ -r\sin \mathrm{\θ}& r\cos \mathrm{\θ}& t_y\\ 0& 0& 1\end{array}\right],$ 根据方程 $\left[\begin{array}{ccc}r\cos \mathrm{\θ}& -r\sin \mathrm{\θ}& t_x\\ -\mathrm{rson\θ}& r\cos \mathrm{\θ}& t_y\\ 0& 0& 1\end{array}\right]P^T=Q^T$ 计算所述变换参数；计算所述变换参数的方法为：首先设置一参数a、b，令a=rcosθ,b=rsinθ；然后将方程 $\left[\begin{array}{ccc}r\cos \mathrm{\θ}& -r\sin \mathrm{\θ}& t_x\\ -\mathrm{rson\θ}& r\cos \mathrm{\θ}& t_y\\ 0& 0& 1\end{array}\right]P^T=Q^T$ 转换为方程 $\left[\begin{array}{cccc}{x}_{p1}& -y_{p1}& 1& 0\\ y_{p1}& x_{p1}& 0& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ x_{\mathrm{pn}}& -y_{\mathrm{pn}}& 1& 0\\ y_{\mathrm{pn}}& x_{\mathrm{pn}}& 0& 1\end{array}\right]\left[\begin{array}{c}a\\ b\\ t_x\\ t_y\end{array}\right]=\left[\begin{array}{c}{x}_{q1}\\ y_{q1}\\ .\\ .\\ .\\ x_{\mathrm{qn}}\\ y_{\mathrm{qn}}\end{array}\right];$ 然后采用最小二乘法求解转换后的方程，得到所述变换参数；其中，矩阵P为 $P=\left[\begin{array}{ccc}{x}_{p1}& y_{p1}& 1.0000\\ x_{p2}& y_{p2}& 1.0000\\ .& .& .\\ .& .& .\\ .& .& .\\ x_{\mathrm{pn}}& y_{\mathrm{pn}}& 1.0000\end{array}\right],$ 矩阵Q为 $Q=\left[\begin{array}{ccc}{x}_{q1}& y_{q1}& 1.0000\\ x_{q2}& y_{q2}& 1.0000\\ .& .& .\\ .& .& .\\ .& .& .\\ x_{\mathrm{qn}}& y_{\mathrm{qn}}& 1.0000\end{array}\right].$

2.如权利要求1所述的方法，其特征在于采用光流跟踪的方法采集所述手指位置信息。