CN103207709A - 一种多点触摸系统及方法 - Google Patents

Abstract

本发明公开了计算机视觉技术领域中的一种多点触摸系统及方法。首先建立Kinect摄像头和投影屏幕的空间对应关系；计算机对Kinect摄像头得到的图像进行预处理；从预处理后的图像中提取手部图像；通过手指触点检测算法得到所述手部图像中手指的坐标和手指的方向；然后通过最小距离优先算法跟踪手指触点；采用模版匹配的方法对手指触点进行识别，得到手指触点对应的操作信息；最后将所述操作信息发送给计算机，计算机通过所述操作信息进行分析，根据分析结果对当前屏幕中的图像对应的操作进行控制。本发明通过Kinect摄像机检测人的手指在投影屏幕上的运动实现人机交互多点操作，替代了鼠标和键盘，实时性好，投影屏幕只要是平面即可，大大提高了屏幕操作的适用性。

Description

一种多点触摸系统及方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及采用一种基于Kinect立体视觉的人机交互方法实现的多点触摸系统及方法。

背景技术

Kinect是微软对XBOX360体感周边外设正式发布的名字，具体说来，它是一个摄像机，但是它比一般的摄像头更智能，更先进，内置于Kinect里的红外传感器可以通过黑白光谱的方式来感知周边的环境：纯黑色代表无穷远，纯白色代表无穷近，而黑白间的灰色地带对应物体到传感器的距离。它收集视野范围内的每一点，并形成一幅代表周围环境的景深图像。传感器以每秒若干帧的速度生成景深图像流，实时3D地再现周围环境。由于它能够产生深度图像及其RGB图像，可以很方便的利用深度信息及其RGB图像信息进行识别，跟踪，定位等。目前，对Kinect在计算机视觉领域内的理论研究以及在实际应用的开发领域都十分热门。

多点触摸作为人机交互的重要组成部分，它指的是允许计算机用户同时通过多个手指来控制图形应用的一种表达方式，通过软件识别同时发生触摸行为的触点。通过用人的手指来代替传统的计算机输入设备鼠标，甚至键盘，是未来人机交互技术的发展趋势。2007年苹果公司推出的iPhone产品是多点触摸技术的一大亮点，微软公司开发推出的Microsoft Surface，多点触摸式计算机，也是多点触摸技术应用的集成大作。现在，iphone4，iphone4S，Surface，Surface2.0等等，给我们的未来的人机交互方式提供了一种无限的想象可能。尽管硬件设备在完善，软件技术在发展，但是要使这种技术成为真正舒适的，自然地，即时的人机交互方式，还有一段很长的路要走，无论是从软件还是从硬件上来说，都还有待发展与完善。

目前的多点触摸系统大部分还停留在需要硬件感知（如电容式触摸屏，红外线触摸屏等）的阶段，感知元件通过感知手指点的触摸来确定是否有输入信息，这种获取输入信息的方式还存在缺陷，即对感知材料的要求较高，不同的感知材料对感知精度影响也不同，这对人机交互的自然性，舒适性，可移植性都产生了影响。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：在现在的多点触摸系统中，大部分还停在硬件感知的阶段，需要通过接触式的机械按压进行人机交互，使得人机交互的自然性与舒适性受到了影响。同时，在多点触摸系统中，对屏幕的要求苛刻，触摸技术的移植性不好。本发明的目的在于提供一种不需要机械按压的多点触摸系统，使得人机交互方式更自然，系统的可移植性更好。

（二）技术方案

为解决上述技术问题，本发明提供了一种多点触摸系统，其特征在于，该系统包括：

Kinect摄像头，用于检测用户的操作动作，得到对应操作动作的彩色图像和深度图像；

和所述Kinect摄像头连接的计算机，用于对所述彩色图像和深度图像进行处理；

和所述计算机连接的投影仪，用于将所述计算机的处理结果投影到投影屏幕上；

投影屏幕，用于显示所述计算机的处理结果。

所述Kinect摄像头的镜头方向和所述投影显示平面之间的夹角在75-105度范围内。

所述Kinect摄像头采集图像的时间间隔为30毫秒。

一种多点触摸方法，通过Kinect摄像头检测手部运动实现多点触摸控制，其特征是，该方法包括以下步骤：

S1：建立Kinect摄像头和投影屏幕的空间对应关系；

S2：计算机对Kinect摄像头得到的图像进行预处理；

S3：从预处理后的图像中提取手部图像；

S4：通过手指触点检测算法得到所述手部图像中手指的坐标和手指的方向；

S5：在步骤S4的基础上，通过最小距离优先算法跟踪手指触点；

S6：采用模版匹配的方法对手指触点进行识别，得到手指触点对应的操作信息；

S7：将所述操作信息发送给计算机，计算机通过所述操作信息进行分析，根据分析结果对当前屏幕中的图像对应的操作进行控制。

所述S1具体为：

S11：在所述投影屏幕的设定位置进行标记；

S12：通过所述标记得到所述投影屏幕和所述Kinect摄像头中图像的空间对应关系。

所述S2具体为：

S21：Kinect摄像头检测用户在投影屏幕上的操作动作，得到对应操作动作的彩色图像和深度图像；

S22：设定深度图像的阈值，提取出操作动作的预处理图像。

所述S3具体为：

采用皮肤颜色分割的方法从预处理后的图像中提取手部图像。

（三）有益效果

本发明通过投影屏幕显示所述计算机的处理结果，替代了现有显示器；通过投影仪将计算机的处理结果投影到投影屏幕上，使得投影的大小可控；利用Kinect摄像头检测用户的操作动作，用人的手指点代替传统的鼠标和键盘，人与计算机的交互方式更加方便，自然，同时操作方式也更加多样化；与目前已有的基于多摄像头的多点触摸一样，在该系统中，用户不需要佩戴任何标签，同时，该系统通过深度摄像机感受手指与显示屏幕的距离来确认是否有触摸信息，与目前存在的大部分需要特殊的触摸感知硬件材料的系统相比，这里的操作平面只是一块简单的玻璃或者其他平面，再在其表面覆盖一层投影用的投影薄膜即可显示。这种方式通过使用单个的Kinect摄像机，与使用多个摄像头相比，它的处理速度较快，系统响应更加快速，及时，能够满足实时人机交互的方式。

附图说明

图1是本发明实施例采用的基于Kinect的多点触摸系统；

图2是系统的算法处理流程图；

图3是单指触点操作规范；

图4是双指触点操作规范。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明提供了一种基于Kinect深度摄像机的多点触摸系统，整个系统的硬件构成示意图如图1所示，包括Kinect摄像机1，投影主体2以及投影显示平面3。用来控制整个系统的计算机则没有表示出来。Kinect与计算机相连，摆放在操作平面上方，视觉稍微倾斜俯视整个触摸屏，这样摆放的方式是为了使操作者在进行触摸操作的时候操作者的身体不会遮挡kinect的视野。投影仪与计算机相连，摆放位置可以视具体的效果好坏进行调整。与计算机连接的Kinect通过捕捉人的手指操作姿势，将获取的图片信息（包括深度图与RGB彩色图）传递给计算机，计算机首先对图像进行预处理，剔除不必要的背景干扰，同时结合深度图信息和RGB彩色图的皮肤颜色信息分割出手指部分，再通过基于机器学习的手指触点检测算法，检测出手指的触点中心坐标。应用最小距离优先算法跟踪手指触点的运动轨迹，得到触点轨迹特征，通过制定触点操作规范，建立手指触点模版，采用模版匹配的方法对手指触点的操作进行识别，判断出手指触点的操作控制信息。获取控制信息以后，把控制信息传递给计算机，从而实现多点触摸操作。

本发明系统包括：

1.Kinect摄像头，用于检测用户的操作动作，得到对应操作动作的彩色图像和深度图像；所述Kinect摄像头的镜头方向和所述投影显示平面之间的夹角在75-105度范围内；Kinect摄像头采集图像的时间间隔为30毫秒。

2.计算机，和所述Kinect摄像头连接，用于对所述彩色图像和深度图像进行处理；

3.投影仪，和所述计算机连接，用于将所述计算机的处理结果投影到投影屏幕上；

4.投影屏幕，用于显示所述计算机的处理结果。

本发明方法包括以下步骤：

S1：建立Kinect摄像头和投影屏幕的空间对应关系；

S11：在所述投影屏幕的设定位置进行标记；

S12：通过所述标记得到所述投影屏幕和所述Kinect摄像头中图像的空间对应关系；

S2：计算机对Kinect摄像头得到的图像进行预处理；

S21：Kinect摄像头检测用户在投影屏幕上的操作动作，得到对应操作动作的彩色图像和深度图像；

S22：设定深度图像的阈值，提取出操作动作的预处理图像；

S3：采用皮肤颜色分割的方法从预处理后的图像中提取手部图像；

S4：通过手指触点检测算法得到所述手部图像中手指的坐标和手指的方向；

S5：在步骤S4的基础上，通过最小距离优先算法跟踪手指触点；

S6：采用模版匹配的方法对手指触点进行识别，得到手指触点对应的操作信息；

S7：将所述操作信息发送给计算机，计算机通过所述操作信息进行分析，根据分析结果对当前屏幕中的图像对应的操作进行控制。

以下通过一个具体实施例对本发明进行说明。

如图2所示，本发明的技术方案由以下几个步骤组成：

步骤一：标定

首先，我们都知道，kinect获取的图像包括彩色（RGB）图像以及深度图像，为了把我们触摸的工作平面的物理坐标与相机中的视野对应起来，我们需要做个标定，我们在投影显示平面的四个角做标记，通过对标记进行检测获得投影显示平面在相机视野中的工作区域，再结合相机的彩色图像信息和深度图像信息，我们可以得到投影显示平面的物理几何位置与在相机视野中的几何对应关系。

步骤二：图像预处理

通过Kinect捕获人的操作信息得到包含深度信息的深度图和彩色图。得到图像信息之后，需要对图像进行分割，考虑到人是站在显示屏前面的，kinect的位置是固定不变的，手在操作显示屏的时候离kinect摄像机的距离是在一个变化不大的范围，因此，可以通过在深度图中设定阈值，使大于这一深度值的区域的像素值置为零。（阈值具体大小视kinect离投影显示平面的距离而定。）这样就可以把远离显示平面位置的背景全部去掉。分割出位于操作平面前方的一定距离内的物体（手部包括在内），得到粗略的手的位置的图像信息。

步骤三：手部分割

通过上述的图像预处理，此时只剩下手势部分与手势附近的干扰背景。结合彩色图像信息，采用皮肤颜色分割的方法，分割出手势，得到准确的手部图像，滤除掉背景干扰。由于人手的皮肤颜色与周围背景的颜色有差别，因此我们可以首先获得人手的皮肤颜色值，根据实际试验，黄种人的皮肤颜色RGB值一般不同，我们设定为RGB：226/182/121，（体视情况而定，）再设置一个合理大小的阈值l。

$l=\sqrt{{(r-226)}^2+{(g-182)}^2+{(b-121)}^2}$

通过l≤m。其中，m为一个大小确定的值，根据实际的分割效果来设定。

步骤四：手指触点检测

在投影显示平面上，触摸准则就是一个指尖的方向、手指与投影显示平面距离的函数。采用一个差异值d_i来表征手指离投影显示平面的实际高度，对于指尖轮廓（可以通过图像处理得到）的每一点X_i=(x_i,y_i)。

d_i=α^ΤX_i+β

(α,β)是该点切平面的参数，α=[α₁ α₂]^T，由于旋转与变换的不变性，d_i的值可以通过深度图来得到。(α,β)可以通过一个加权的最小二乘回归来得到：

$({\mathrm{\α}}^{*},{\mathrm{\β}}^{*})=\arg \underset{(\mathrm{\α},\mathrm{\β})}{\min }\mathrm{\Σ}\frac{1}{{\mathrm{\δ}}_i^2}{[d_i-({\mathrm{\α}}^T{x}_i+\mathrm{\β})]}^2$

这里，

是一个不确定的度量，我们把沿着扫描线进行的立体匹配看作一个正态分布

为了通过α，β值来确定指尖是否在触摸显示器平面，我们对那些参数采用了一种基于机器学习的线性决策。

ω₁α₁+ω₂α₂+ω₃α₃+ω₄>0

{ω₁,ω₂,ω₃,ω₄}是通过支撑向量机（SVM）学习的得来的。通过事先标定好触摸以及没有触摸的指尖当作训练数据。指尖被当作一个球体，当在触摸显示平面上操作时，可以看作是球体在滚动，感知准则就是当球体中心里显示屏的距离小于一个阈值的时候，代表指尖在显示屏上操作。由以上可以得到手指触点的中心（球心），半径的参数，通过这些参数信息为我们下一步的触点跟踪做准备。

步骤五：手指触点的跟踪

前面已经得到了手指触点的参数，现在我们需要对触点进行跟踪。为了获得信息以便去识别特征点的动作，必须跟踪每个触点的移动和状态。采用最小距离优先算法(MDF)，在一系列图像序列中识别相应的触点。假设系统运行时，kinect捕获的图像帧率为30帧/秒，在第一幅图像中有M个触点，在第二幅图像中有N个触点，在第一幅图像中的所有触点的中心坐标被储存在一个二元数组:（xold_i,yold_i），1<i<M。在第二幅图中，所有的触点中心坐标存储在另外的二元数组(xnew_j,ynew_j),1≤j≤M。

根据下面给出的等式，对两幅图像中的触点的中心坐标进行两两计算，得出它们之间的距离，并将其存储在一个动态二元组D(I,J)中。

$D(I,J)=\sqrt{{({\mathrm{xold}}_i-{\mathrm{xnew}}_j)}^2-{({\mathrm{yold}}_i-{\mathrm{ynew}}_j)}^2}$

构建如下距离矩阵：

构建完距离矩阵后，将他们从小到大排列。矩阵中每一个元素d都表示两触摸点间的距离，每个元素的前一个下标表示前一帧中触摸点的标号，后一个下标表示当前帧特征的标号。比如d₀₁就表示前一帧中标号为0的触摸点和当前帧中标号为1的特征点的距离，即触摸点0的中心和特征点中中心1的距离。需要注意的是触摸点的标号顺序是根据触摸点的出现先后次序确定的，而特征点的标号标准是：图像中位于左上方的触摸点标号总是较小标号，同一行中，左边的触摸点总比右边的触摸点的标号小。经过上述前一帧图像与当前帧图像各个点距离D的计算，相邻两帧图像中各个特征点距离最小的就被当作对应的触点。

步骤六：手指触点的识别

对触点进行跟踪，可以得到触点的运动轨迹，为了进行识别，首先得定义手指触点操作规范，我们根据人手指触点常用的运动轨迹定义了以下16种单指触点操作规范以及14种双指触点操作规范，见图3，图4。

然后我们又采集了200人次的数据，每人次都做上述包含三十个操作姿势的动作一次，然后创建触点操作规范模版，最后再采用模版匹配的方法来进行识别，识别手指的行为操作，得到手指触点的操作控制信息。

步骤七：交互

把这些操作信息传输给计算机，计算机根据这些操作信息进行输出。

本发明通过多点触摸的方式代替传统的鼠标，键盘输入，用人的手指点代替传统的鼠标，键盘，人与计算机的交互方式更加方便，自然，同时操作方式也更加多样化。与目前已有的基于多摄像头的多点触摸一样，在该系统中，用户不需要佩戴任何标签，同时，该系统通过深度摄像机感受手指与显示屏幕的距离来确认是否有触摸信息，与目前存在的大部分需要特殊的触摸感知硬件材料的系统相比，这里的操作平面只是一块简单的玻璃或者其他平面，再在其表面覆盖一层投影用的投影薄膜即可显示。这种方式通过使用单个的Kinect摄像机，与使用多个摄像头相比，它的处理速度较快，系统响应更加快速，及时，能够满足实时人机交互的方式。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (7)

1.一种多点触摸系统，其特征在于，该系统包括：

Kinect摄像头，用于检测用户的操作动作，得到对应操作动作的彩色图像和深度图像；

和所述Kinect摄像头连接的计算机，用于对所述彩色图像和深度图像进行处理；

和所述计算机连接的投影仪，用于将所述计算机的处理结果投影到投影屏幕上；

投影屏幕，用于显示所述计算机的处理结果。

2.根据权利要求1所述的多点触摸系统，其特征是，所述Kinect摄像头的镜头方向和所述投影显示平面之间的夹角在75-105度范围内。

3.根据权利要求1所述的多点触摸系统，其特征是，所述Kinect摄像头采集图像的时间间隔为30毫秒。

4.一种根据权利要求1所述系统的多点触摸方法，通过Kinect摄像头检测手部运动实现多点触摸控制，其特征是，该方法包括以下步骤：

S1：建立Kinect摄像头和投影屏幕的空间对应关系；

S2：计算机对Kinect摄像头得到的图像进行预处理；

S3：从预处理后的图像中提取手部图像；

S4：通过手指触点检测算法得到所述手部图像中手指的坐标和手指的方向；

S5：在步骤S4的基础上，通过最小距离优先算法跟踪手指触点；

S6：采用模版匹配的方法对手指触点进行识别，得到手指触点对应的操作信息；

S7：将所述操作信息发送给计算机，计算机通过所述操作信息进行分析，根据分析结果对当前屏幕中的图像对应的操作进行控制。

5.如权利要求4所述的多点触摸方法，其特征是，所述S1具体为：

S11：在所述投影屏幕的设定位置进行标记；

S12：通过所述标记得到所述投影屏幕和所述Kinect摄像头中图像的空间对应关系。

6.如权利要求4所述的多点触摸方法，其特征是，所述S2具体为：

S21：Kinect摄像头检测用户在投影屏幕上的操作动作，得到对应操作动作的彩色图像和深度图像；

S22：设定深度图像的阈值，提取出操作动作的预处理图像。

7.如权利要求4所述的多点触摸方法，其特征是，所述S3具体为：

采用皮肤颜色分割的方法从预处理后的图像中提取手部图像。

Images