CN103713755B - 一种触摸识别装置及识别方法 - Google Patents

Abstract

本发明公开了一种触摸识别装置，包括信号处理单元以及至少两个识别层不在同一平面的触摸信号检测装置，所述触摸信号检测装置均与所述信号处理单元连接，并将检测数据发送到所述信号处理单元，所述信号处理单元对接收的检测数据进行处理，获得表示立体触摸手势的手势数据。同时本发明还提供相应的识别方法及包括本发明触摸识别装置的人机交互系统。本发明利用多层触摸检测装置对立体空间的触摸动作进行识别，识别立体触摸手势，能够更好的引用到立体显示或立体操作系统，例如3D图像的触摸操作等。

Description

一种触摸识别装置及识别方法

技术领域

本发明涉及触摸屏领域，尤其涉及一种利用多层触摸检测装置进行触摸识别的装置及方法。

背景技术

触摸屏的应用越来越广泛，触摸屏是提供人机互动所必不可少的装置，目前的触摸技术仅仅为平面触摸动作提供解析和应用，例如单击、双击和滑动等。但是在现有技术中，显示屏除了提供平面图像或者菜单外，还能提供三维图，目前的针对三维图的操作只有利用鼠标进行一系列选择之后再进行操作，非常的复杂，操作效率也不高。随着显示技术的深入发展，出现了利用视差原理进行立体显示的电视、电脑等，有很多用于商品展示，这样就更加需要能够对立体图像进行操作的触摸技术。

现有技术中（参见中国专利文献CN102156575A）有人针对立体显示技术提出对触摸深度进行检测和应用，不过这种应用很简单，只是在增加了触摸深度这个参数，如图1所示，触摸识别装置包括四层，触摸层1、触摸层2、触摸层3和触摸层4，每个触摸层都有一个纵向坐标，用于体现触摸深度。在另一篇中国专利CN101403952B中公开了利用多层触摸屏去感应触摸力度的技术，但是上述这些公开的技术对三维触摸技术的应用非常简单，并不能满足真正的三维触摸操作的需要。

发明内容

本发明所要解决的技术问题是提供一种能识别立体触摸手势的触摸识别装置和识别方法。

为解决上述技术问题，本发明采用的技术方案如下：

一种触摸识别装置，包括信号处理单元以及至少两个识别层不在同一平面的触摸信号检测装置，其特征在于，所述触摸信号检测装置均与所述信号处理单元连接，并将检测数据发送到所述信号处理单元，所述信号处理单元对接收的检测数据进行处理，获得表示立体触摸手势的手势数据。

优选地，所述信号处理单元包括触摸轨迹整合单元及与所述触摸信号检测装置对应连接的触摸识别单元，所述触摸识别单元均连接到所述触摸轨迹整合单元并将识别的触摸点数据发送到所述触摸轨迹整合单元，所述触摸轨迹整合单元根据各触摸识别单元发送的触摸点数据合成所述手势数据。

优选地，所述手势数据包括非平行于于显示平面的方向上的轨迹数据。

优选地，所述触摸识别装置至少其中之一的触摸信号检测装置包括红外对管阵列。

优选地，所述触摸识别装置至少其中之一的触摸信号检测装置包括光学感应装置。

优选地，所述光学感应装置为摄像头。

优选地，所述运动数据包括各层触摸点映射在同一平面的平面轨迹数据和方向数据。

优选地，所述信号处理单元根据各层触摸信号检测装置的检测数据生成触摸物三维骨线数据，手势数据包括三维骨线的运动轨迹数据。

优选地，所述信号处理单元根据各层触摸信号检测装置的检测数据生成在一特定平面的投影数据，手势数据包括所述投影数据及该投影数据的运动轨迹数据。

本发明还提供一种识别立体触摸手势的方法，

步骤1、首先利用至少两层触摸检测装置采集不同平面的触摸识别数据；

步骤2、将所述不同平面的触摸识别数据进行整合成立体触摸手势数据。

优选地，所述步骤2为根据各层触摸信号检测装置的检测数据生成触摸物三维骨线数据，手势数据包括三维骨线的运动轨迹数据。

优选地，所述步骤2为：将各层触摸检测装置检测的所有点针对其中一层所在平面进行投影，得到一系列基于二维的点集，从二维点集的运动变化获取手势数据。

优选地，所述触摸检测装置包括红外对管阵列或摄像头。

本发明还提供一种人机交互系统，包括权利要求1至9中任一项所述的触摸识别装置。

本发明上述技术方案中多层触摸检测装置对立体空间的触摸动作进行识别，识别立体触摸手势，能够更好的引用到立体显示或立体操作系统，例如3D图像的触摸操作等。

附图说明

图1为现有技术多层触摸装置结构示意图；

图2为本发明的多层触摸装置结构示意图；

图3为触摸物在各层触摸装置形成的2D截面示意图；

图4为触摸物在各层触摸装置形成的截面的骨线示意图；

图5为判断动作抓的示意图；

图6为判断动作提的示意图；

图7为判断动作转的示意图；

图8为本发明另外一种实施例系统结构图。

具体实施方式

下面将结合具体实施方式及附图，对本发明的技术方案进行清楚、完整地描述。

如图2所示，本发明多层触摸识别装置包括层叠设置的多个触摸信号检测装置1、2…、N，与所述多个触摸信号检测装置1、2…、N连接的信号处理单元20，所述触摸信号检测装置将检测数据发送到所述信号处理单元，所述信号处理单元对接收的检测数据进行处理，获得能够表示立体触摸手势的手势数据。该手势数据包括非平行于显示平面方向上的轨迹数据。

所述信号处理单元可以采用多I/O接口的单片机实现，也可以采用单I/O接口的单片机，与所述多个信号检测装置通过总线传输数据，这种实现方式均为本领域公知技术，这里就不再详细叙述。

作为一种优选实施方式，所述信号处理单元20包括触摸轨迹整合单元5及与所述触摸信号检测装置对应连接的触摸识别单元A、B、…、N，所述触摸识别单元均连接到所述触摸轨迹整合单元并将识别的触摸点数据发送到所述触摸轨迹整合单元，所述触摸轨迹整合单元根据各触摸识别单元发送的触摸点数据整合成所述手势数据。

所述触摸识别单元A、B、…、N用于接收与其连接的触摸信号检测装置的检测数据，并识别触摸点坐标，每层的触摸点坐标都有一个Z轴值，坐标点例如：（X、Y、Z）；将触摸点坐标发送到所述触摸轨迹整合单元5，触摸轨迹整合单元5接收到各个触摸识别单元发送的触摸点坐标后，将属于同一手指的坐标点进行关联，跟踪手指的运动曲线，将手指的运动曲线特征（也可以叫手势）发送到与其连接的应用系统6，应用系统6与预存的手指运动曲线特征进行对比识别，根据识别出的手指运动曲线特征所对应的操作命令执行操作。所述运动曲线特征不一定必须是三位的运动曲线，也可以通过映射在平面上的方式去解读手势的运动，下面有详细说明。

下面对手势识别原理进行详细的说明。

如图3所示、当三维物体进入由多层触摸屏（TP1、TP2，…，TPn）构成的立体扫描空间后，在每层的平面中可得到触摸物体在每一层形成的2D截面S1、S2、…、Sn，计算各个截面S1、S2、…、Sn的中心，并以三维坐标表示为:P1(x1,y1,z1),P2(x2,y2,z2),…,Pn(xn,yn,zn)。将由P1到Pn组成的点集进行空间曲线拟合（常见的拟合方法包括B样条曲线拟合法或者投影法等），从而得到一条根据触摸物所形成的基于三维空间的骨线（如图4所示），同时可以预见，触摸层的层数越多，得到的点集越密集，拟合的曲线与实际触摸物的骨线越接近。在三维坐标系中，根据这条三维骨线的形状的变化（三维骨线的形状变化可采用两种方式进行跟踪，一种方式是在激发触摸操作的触摸层进行跟踪触摸物中心点（重心点）的轨迹，另一种方式则为三维方向点集的路线变化，如点集的相对位置未发生变化，但从最底层的触摸层开始往上，由触摸激活的触摸动作由有到无，则可识别为该触摸操作为抬起的操作；如果点集之间相对位置发生变化，并且最新的骨线以原骨线为中心发生了旋转，说明该动作为扭曲的操作），骨线的运动轨迹即反应的触摸手势，根据识别出的动作我们就可以定义出各种触摸手势。

如果有多个触摸物（多个手指），那么我们就可以得到多条基于三维空间的骨线，通过判断多条骨线之间的相对运动关系就可以定义更加复杂的如抓（骨线底部各触摸层的中心点表现为收拢，如图5所示，同一触摸层的P01点和P11点点相互靠拢）、提（在由最底层往上的各触摸层形成骨线的触摸操作陆续由有到无，如图6所示，虚线点P01点和P11点为先有后无）、转（各条骨线沿着一个中心点发生旋转，如图7所示，对应各层中，P01点和P11点相对它们之间的某点旋转，P02点和P12点相对它们之间的某点旋转，P0n点和P1n点相对它们之间的某点旋转，）等三维手势，继而控制虚拟三维物体。

对于从具体的数据中如何识别上述手势的方法，除了跟踪三维骨线的运动轨迹，还有一种较为可行的方法为将各触摸检测装置检测的所有点针对其中一层进行投影，例如针对中间触摸屏这层进行投影，每帧数据都能得到一个投影获得的点集，得到一系列基于二维的点集，从二维点集的运动变化就可以获取手势。以抓为例，多个手指在各触摸层形成的截面中心点投影到最底层触摸层后可得到二维的一个抓的点集，当抓的动作发生后，手指表现为一个收拢的动作，那么在各触摸层的截面中心点也将表现为点集的收拢，因而投影到最底层触摸层的点集也将表现为收拢，同时，由于抓的动作最上层收拢相对较小，最底层收拢最大，所以根据投影后的点集的外围点和内围点的收拢情况便可直接判断该点是否为抓的动作，对于动作勾的动作，能根据手指投影形状、在Z轴的移动方向和速度相结合进行识别。

对骨线的提取的简单方法（更复杂的方法则可采取动态预测跟踪等方法）为设定一个距离阈值，当点与点的距离小于设定的阈值时，则认为改点为同一骨线关联点，否则非关联点。但判断过程中，当多个触摸物体在各触摸层截面的中心距离小于两个触摸层的间距时，可能就无法分辨每一个截面中心点在哪一个骨线上。反之，如果满足多个手指的间距大于两个触摸层之间的间距，就可准确识别触摸物骨线。

对显示器图像中被操作点的确定，可以将被识别的最靠近显示屏的触摸点所在的坐标点确定为被操作点。

上述实施例中以多层红外触摸屏为例进行的说明，还可以采用多个摄像头进行识别，所述多个摄像头包括触摸定位的摄像头和手势识别的摄像头，将触摸定位和手势识别进行结合。如图8所示，在触摸屏7左上角和右上角设置两个触摸定位用摄像头8，分别与触摸定位识别单元A、B连接，触摸屏7左下角和右下角设置两个手势识别用摄像头9，分别与手势识别单元A、B连接，触摸定位识别单元A、B及手势识别单元A、B均连接到触摸轨迹整合单元5，用于整合定位与手势数据，形成控制指令发送到应用系统6。本实施例的触摸轨迹整合单元可以在手势数据的基础上增加触摸位置数据，以便对显示图像中的特定位置进行操作和控制。应用系统6中预先存储了各种触摸方式（手势）的数据，便于将从触摸轨迹整合单元5接收到的数据与存储的触摸方式数据进行比较，以此确定是哪一种触摸方式。

本发明的上述实施方案，能够将触摸及手势识别结合，满足对图像的立体触摸操作，也使得人机交互更加的人性化和智能化。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种触摸识别装置，包括信号处理单元以及至少两个识别层不在同一平面的触摸信号检测装置，其特征在于，所述触摸信号检测装置均与所述信号处理单元连接，并将检测数据发送到所述信号处理单元，所述信号处理单元对接收的检测数据进行处理，获得表示立体触摸手势的手势数据。

2.根据权利要求1所述的触摸识别装置，其特征在于，所述信号处理单元包括触摸轨迹整合单元及与所述触摸信号检测装置对应连接的触摸识别单元，所述触摸识别单元均连接到所述触摸轨迹整合单元并将识别的触摸点数据发送到所述触摸轨迹整合单元，所述触摸轨迹整合单元根据各触摸识别单元发送的触摸点数据合成所述手势数据。

3.根据权利要求2所述的触摸识别装置，其特征在于，所述手势数据包括非平行于于显示平面的方向上的轨迹数据。

4.根据权利要求2所述的触摸识别装置，其特征在于，所述触摸识别装置至少其中之一的触摸信号检测装置包括红外对管阵列。

5.根据权利要求2所述的触摸识别装置，其特征在于，所述触摸识别装置至少其中之一的触摸信号检测装置包括光学感应装置。

6.根据权利要求5所述的触摸识别装置，其特征在于，所述光学感应装置为摄像头。

7.根据权利要求1所述的触摸识别装置，其特征在于，所述信号处理单元根据各层触摸信号检测装置的检测数据生成触摸物三维骨线数据，手势数据包括三维骨线的运动轨迹数据。

8.根据权利要求1所述的触摸识别装置，其特征在于，所述信号处理单元根据各层触摸信号检测装置的检测数据生成在一特定平面的投影数据，手势数据包括所述投影数据及该投影数据的运动轨迹数据。

9.一种识别立体触摸手势的方法，其特征在于，

步骤1、首先利用至少两层触摸检测装置采集不同平面的触摸识别数据；

步骤2、将所述不同平面的触摸识别数据整合成立体触摸手势数据。

10.根据权利要求9所述的一种识别立体触摸手势的方法，其特征在于，所述步骤2为根据各层触摸信号检测装置的检测数据生成触摸物三维骨线数据，手势数据包括三维骨线的运动轨迹数据。

11.根据权利要求9所述的一种识别立体触摸手势的方法，其特征在于，

所述步骤2为：将各层触摸检测装置检测的所有点针对其中一层所在平面进行投影，得到一系列基于二维的点集，从二维点集的运动变化获取手势数据。

12.根据权利要求9所述的一种识别立体触摸手势的方法，其特征在于，所述触摸检测装置包括红外对管阵列或摄像头。

13.一种人机交互系统，包括权利要求1至8中任一项所述的触摸识别装置。