CN1912816A - 一种基于摄像头的虚拟触摸屏系统 - Google Patents

Abstract

本发明是一种基于摄像头的虚拟触摸屏系统，属于人机交互领域，旨在利用计算机视觉技术使任意一台普通显示器具有触摸屏的功能。该发明由显示屏、摄像头和计算装置三大部分组成。两个或两个以上摄像头从不同视角指向显示屏，使显示屏完全处于取景范围内。虚拟屏幕是显示屏前面且平行于显示屏的任意一个平面(包括显示屏)。多个摄像头拍摄手指在虚拟屏幕上的移动和点击等动作，计算装置识别这些动作并将其转化为相应的指令加以执行，从而完成人机交互操作。

Description

一种基于摄像头的虚拟触摸屏系统

所属技术领域

本发明是一种基于摄像头的虚拟触摸屏系统，属于人机交互领域。

背景技术

目前，传统的屏幕交互设备是触摸屏，可以用来取代鼠标或键盘。工作时，首先用手指或其它物体来触摸显示在触摸屏上的图标或菜单，然后系统检测手指触摸的位置并根据该位置信息执行预设的交互操作。触摸屏是由触摸检测部件和触摸屏控制器两部分组成。触摸检测部件安装在显示器屏幕前面，用于检测用户触摸的位置，并且将该信息发送到触摸屏控制器；而触摸屏控制器接收来自检测部件的位置信息，将其转换成触点坐标后发送给CPU，同时接收CPU发来的指令并加以执行。触摸屏的价格从千元到几千不等，相对普通用户来说比较昂贵，因此很难得到大规模的普及。2001年美国微软公司的Zhang等设计的Visual Panel系统则是使用单个摄像头实现了虚拟鼠标和键盘的功能。它使用任意的矩形面板作为交互界面，通过手指在纸板上的移动和停留分别实现光标定位和鼠标单击的功能。由于面板可以随意移动，系统的灵活性比较好。然而点击的效果是通过指尖在同一位置停留一定时间来实现，因此交互的效率比较低。2004年日本东京大学的Malik等设计的Visual Touchpad系统使用两个摄像头获取现场视频，通过人手在一块矩形纸板上的动作完成与计算机的交互。它利用射影几何知识判断指尖点是否接触纸板表面，可以使用指尖点击纸板表面来实现模拟鼠标点击的功能。矩形的黑色纸板被用来提供人机交互的界面，使得系统的应用有一定的局限性。

相关的公开专利信息

CN1294336A号发明专利公告公布了一种计算机笔书写和输入系统，该电子书写装置实现了在普通显示屏上直接书写输入和笔控制的功能。它虽然不需要特制的书写板，但需要特制的光笔来产生控制信号。CN1378171A号发明专利公告公布了一种大屏幕非接触式控制方式，使大屏幕显示系统的人机交互变得简单有效，但它也需要带无线鼠标左右键的红色激光笔来产生特殊信号。CN1534544A号发明专利公告公布了一种计算机输入系统，其中介绍了一种触摸屏的实现方法，但它需要特殊的图像感应装置，进行交互操作时手指的滑动和点击都是在该感应装置表面进行。

本发明仅使用多个摄像头即可使普通显示屏具备触摸屏的功能。手指在虚拟屏幕上移动和点击，可以对显示屏上显示的图标、菜单等进行直接操作。虚拟屏幕是显示屏前面且平行于显示屏的任意一个平面(包括显示屏)。

发明内容

本发明的目的是提供一种基于摄像头的虚拟触摸屏系统，采用视觉技术使任意一台普通显示器具备触摸屏的功能。

本发明的技术方案如下：

本发明由两个或两个以上摄像头，显示屏和计算装置三大部分组成，采用计算机视觉技术使任意一台普通显示屏具备触摸屏的功能。两个或两个以上摄像头获取手指的三维运动信息，从不同视角指向显示屏拍摄，使显示屏完全处于取景范围内。虚拟屏幕是显示屏前面且平行于显示屏的任意一个平面(包括显示屏)，手指的移动和点击等动作在虚拟屏幕上进行。计算装置识别这些动作并转化为相应的指令加以执行，从而完成人机交互操作。视觉处理算法由系统标定、手指跟踪、指尖定位、点击检测等部分组成。

系统标定的目的是获得两个摄像头的成像平面与显示屏平面之间的映射关系。利用该映射关系，可以计算出图像中任一象素点在虚拟屏平面中的对应位置。手指跟踪算法完成对手指的实时鲁棒跟踪，本发明采用的粒子滤波器算法可以在复杂的背景下获得可靠的跟踪结果。指尖定位算法对跟踪结果进行处理，实时并且准确地计算出指尖的位置。点击检测算法根据指尖位置和摄像机参数来判断是否产生指尖点击动作。如果检测到点击动作，则完成预设的交互操作。

本发明具有如下优点：

1.本发明利用计算机视觉技术使普通显示器具备触摸屏的功能，通过多个摄像头拍摄手指或其它工具在屏幕前方的移动和点击等动作来完成人机交互。

2.本发明提供一种灵活的虚拟触摸屏实现技术，手指的操作只要处于屏幕前方一定距离之内即可。这样，不接触屏幕也可以实现触摸屏功能。

3.本发明可以扩展到任何屏幕来进行交互，如投影屏幕等。

4.本发明只需要用户配置两个摄像头即可实现，价格便宜，配置简单。

附图说明

图1是本发明的系统框图；

图2是本发明的手指轮廓模型；

图3是本发明指尖接触屏幕的示意图；

图4是本发明指尖远离屏幕的示意图。

下面结合附图和实施例对本发明作进一步说明。

本发明的视觉处理算法主要由系统标定、手指跟踪、指尖定位和点击检测等部分组成。

系统标定的目的是分别确定两个摄像头的成像平面与显示屏平面之间的映射关系。假设图像平面内一点(X，Y)，其在显示屏上的对应点为(x，y)，其映射关系可以用射影变换公式表达如下：

$\mathrm{\λ}\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right)\left(\begin{array}{c}X\\ Y\\ 1\end{array}\right)...\left(1\right)$

其中，3×3矩阵H的独立参数只有八个，最少需要四组对应点即可确定该矩阵。对应点一般使用图像中特征明显的点，本发明在显示屏上显示棋盘格图像，利用角点检测算法提取棋盘格的内角点作为对应点。这样可以获取多组对应点，从而得到更精确的标定结果。得到上述映射关系，即可以计算出屏幕四个顶点在图像中的位置。定屏幕的左下顶点为原点，并由当前显示器分辨率得到其它三个顶点的坐标，然后根据式(1)可以反推出它们在图像中的坐标。依次连接四个顶点可得到图像中屏幕的形状。

为了有效地跟踪手指，首先进行手部检测。本发明通过图像差分得到粗略的人手区域，然后建立肤色模型。在HSV空间使用高斯分布来描述肤色的色调H及饱和度S的分布规律。该方法将输入的彩色图像转换为灰度图像，越接近肤色的象素其灰度值越大，设置一个阈值即可将人手区域分割出来。由于背景中可能存在颜色接近肤色的物体，检测结果中会存在多个较小的噪声区域。本发明利用连通区检测技术来确定图像中最大的肤色区域作为人手区域。根据手部检测的结果，来确定指尖的粗略位置。人手区域的中心点与该区域下边界中心点的连线为主轴，将沿该方向距中心点最远的边缘点定为粗略指尖点。上述得到的灰度图像和粗略指尖位置在后续粒子滤波器跟踪算法中将分别用于提取手指的边缘轮廓和指导粒子的重要采样。

手指跟踪实现对手指的实时鲁棒跟踪，为后续的处理提供手指的位置、形状等信息。本发明使用重要采样的粒子滤波器来实现对单个手指的跟踪。因为单个手指的轮廓形状比较简单且相对固定，该方法可以在保证实时性的基础上提供准确的跟踪结果。手部肤色信息被用于指导粒子的重要采样，可以有效的提高采样的准确性。手指轮廓模型使用7个控制点的B样条曲线来表示，如图3所示。由于手指运动过程中轮廓的形状相对固定，手指轮廓跟踪过程即为确定如下状态向量的过程， x＝[P_x，P_y，α_x(cosθ-1)，α_y(cosθ-1)，-α_ysinθ，α_xsinθ]^T，其中P_x，P_y分别表示手指模板的水平和垂直位移，α_x，α_y表示模板在水平和垂直方向的尺度变化，θ表示模板旋转的角度。本发明采用观测模型来计算粒子的置信度。观测的具体步骤是：(1)对手部检测获取的灰度图像进行Canny滤波；(2)沿预测的样条曲线控制点的法线方向寻找边缘点，选择距离控制点最近的边缘点作为实际轮廓上的点；(3)根据确定的边缘点与控制点之间的最短距离d_i，由公式2计算第n个粒子的置信度，其中σ为密度函数的方差，N为控制点的个数。

${\mathrm{\π}}_t^{\left(n\right)}=\exp (-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{d_i^2}{2{\mathrm{\σ}}^2})...\left(2\right)$

重要采样是借助重要函数来指导粒子到最有可能的目标区域进行采样的方法，其目的是提高采样的准确性。本发明采用手部检测获取的指尖粗略位置来指导粒子的采样。为了避免因指尖检测错误导致的目标丢失，本发明同时使用重要采样和标准的粒子滤波器采样。即一部分粒子到检测出的指尖区域进行重要采样，另一部分则到由上一帧信息预测出的区域进行标准的粒子滤波器采样。该方法只有两部分粒子同时采样失败才会导致跟踪错误，这不但提高了采样的准确性，而且解决了手指突然大幅度运动造成的目标丢失问题，实现了对手指的鲁棒跟踪。由粒子滤波器的实现过程知，参数估计使用全部粒子的加权平均值，当置信度较小的粒子数目很多时结果会不准确。本发明选取样本集中置信度大于给定阈值的粒子进行参数估计。实验表明该方法可以有效提高计算结果的精度。由于在跟踪的过程中可能出现目标丢失等错误，有效的错误恢复算法是非常必要的。本发明通过设定一个重新启动区域来解决上述问题。当目标丢失时，将手指移动到该区域附近即可重新启动跟踪的过程。

指尖定位用于确定指尖的精确位置。手指跟踪部分获得的是手指轮廓的B样条曲线，计算指尖所在控制点的坐标就可以获得指尖的位置。在本发明中，手指样条曲线共使用7个控制点，如图2所示，第4控制点定义在指尖的位置，因此可以直接选取该控制点的坐标为指尖位置。该方法的定位精度取决于手指跟踪的结果。由于上述粒子滤波器可以提供精确的跟踪结果，这种方法是准确有效的。

点击检测部分用于检测在显示屏前方一定距离内是否产生指尖点击的动作。根据系统标定获取的参数，由公式(1)可以计算出两帧图像中的指尖点在显示屏上的对应点位置。由射影几何可知，如果指尖恰好位于显示屏，两个对应点是重合的，如图3所示。而当指尖远离显示屏时两个对应点不重合，如图4所示，且指尖距离显示屏越远，其对应点之间的距离越大。设置一个距离值，当两对应点间的距离等于该距离值时即认为指尖点击虚拟屏幕。通过改变该距离值可以设置虚拟屏的位置。

实施例

本发明的一个实施例是如图1所示的系统，仅使用多个摄像头即可使普通显示屏具备触摸屏的功能。手指在虚拟屏幕上移动和点击，可以对显示屏上显示的图标、菜单等进行直接操作。其中，显示屏可以是LCD或CRT等各种类型，也可以是投影屏幕；可以使用手指来驱动，也可以是其他棍棒等指示物；计算装置可以由计算机软件实现，也可以由硬件实现；摄像头可以是两个或多个，在此实例中只用了两个来实现。

Claims (2)

1.一种基于摄像头的虚拟触摸屏系统，由两个或两个以上摄像头、显示器屏幕和计算装置三大部分组成，其特征是：虚拟屏幕是显示屏前面且平行于显示屏的任意一个平面(包括显示屏)，多个摄像头拍摄手指在虚拟屏幕上的移动和点击等动作，计算装置识别这些动作并将其转化为相应的指令加以执行，从而完成人机交互操作。

2.根据权利要求1所述的一种基于摄像头的虚拟触摸屏系统，其特征是：多个摄像头获取手指的三维运动信息，判断手指是否产生点击动作。

Images