CN103761011B - 一种虚拟触摸屏的方法、系统及计算设备 - Google Patents

Abstract

本发明适用于计算机处理领域，提供了一种虚拟触摸屏的方法、系统及计算设备。所述方法包括以下步骤：通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手；定位所述人手的指尖位置；根据所述指尖位置判断人手是否接触显示设备屏幕；如果判断出人手接触显示设备屏幕，则模拟触摸事件。本发明不需要使用辅助材料，用手指就可以直接操作计算机，在使用过程中，不受显示器背景画面的影响，也不需要进行复杂的摄像机系统内外参数的标定过程。

Description

一种虚拟触摸屏的方法、系统及计算设备

技术领域

本发明属于计算机处理领域，尤其涉及一种虚拟触摸屏的方法、系统及计算设备。

背景技术

随着计算机科学的发展，人机交互的方式更加简单、自然、友好，触摸屏是近些年来新出现的一种电脑输入设备，触摸屏的交互方式十分简单，不用学习，人人都会使用，是触摸屏最大的魔力。常用的触摸屏有电阻式触摸屏和电容式触摸屏。随着计算机视觉技术的发展，也出现了基于视觉的触摸屏。即将目前只具有显示的功能而不具备触摸屏的输入功能的家用电脑的显示器模拟真实的触摸屏，其采用计算机视觉的方法来模拟真实的触摸屏，大致分为两类：一类是使用辅助光进行定位，另一类是用视觉的方法直接寻找手指。

专利CN200910312205.2公开了一种使用红外光进行辅助定位的虚拟触摸屏系统，使用两组摄像机同时进行拍摄，第一组摄像机设置在目标触摸区域背面，用于采集投射到目标触摸区域的光斑动作信号，第二组摄像机设置在目标触摸区域表面，用于采集触摸动作信号。

专利CN200510089933.3公开了一种基于视觉的虚拟触摸屏系统，使用两个或多个摄像机从不同视角同时拍摄显示屏，根据人手的肤色和形状跟踪定位人手，并利用多个摄像机获取手指的三维信息判断手指是否接触屏幕，然后模拟触摸屏的功能。

然而，专利CN200910312205.2公开的使用红外光进行辅助定位的方法，需要将摄像机准确的安装在触摸屏幕的平面，系统的安装过程复杂，并且在进行人机交互时需要特制的红外笔，不符合人们徒手进行交互的习惯。

另外，专利CN200510089933.3公开的基于徒手的虚拟触摸屏系统，利用人手特定的颜色和形状在捕捉到的图像上定位人手，这种方法容易受到显示器图像的影响，例如显示器的图像上也有一只人手，或者有很接近人手肤色的颜色存在时，这种方法就会出现问题。在立体视觉中，摄像机系统的立体标定过程很繁琐，而且标定的结果直接影响着后面三维重建的精度，这种方法不适宜普通用户使用。

发明内容

本发明的目的在于提供一种不需要使用辅助材料，用手指就可以直接操作计算机，在使用过程中，不受显示器背景画面的影响，也不需要进行复杂的摄像机系统内外参数的标定过程的虚拟触摸屏的方法、系统及计算设备。

本发明是这样实现的，一种虚拟触摸屏的方法，所述方法包括以下步骤：

通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手；

定位所述人手的指尖位置；

根据所述指尖位置判断人手是否接触显示设备屏幕；

如果判断出人手接触显示设备屏幕，则模拟触摸事件。

本发明的另一目的在于提供一种虚拟触摸屏的系统，所述系统包括：

提取模块，用于通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手；

定位模块，用于定位所述人手的指尖位置；

判断模块，用于根据所述指尖位置判断人手是否接触显示设备屏幕；

模拟模块，用于如果判断出人手接触显示设备屏幕，则模拟触摸事件。

本发明的另一目的在于提供一种包括上面所述的虚拟触摸屏的系统的计算设备。

在本发明中，将任意一个显示设备变为一个触摸屏，实现方案为：包括两个摄像机、计算设备以及显示设备。两个摄像机同时捕捉显示设备图像，并且两个摄像机的视野范围要完全覆盖整个显示设备。计算设备通过摄像机捕捉到的图像，利用计算设备视觉的方法分析图像上面是否有人手，手指的位置以及判断手指是否接触屏幕，然后根据计算出的指尖位置定位电脑光标位置，模拟触摸屏输入，实现人际交互的目的。本发明不需要使用辅助材料，用手指就可以直接操作计算机，在使用过程中，不受显示器背景画面的影响，也不需要进行复杂的摄像机系统内外参数的标定过程。

附图说明

图1是本发明实施例提供的虚拟触摸屏的方法的实现流程示意图。

图2是本发明实施例提供的控制显示设备显示出一个棋盘格图像的示意图。

图3是本发明实施例提供的虚拟触摸屏的系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，将任意一个显示设备变为一个触摸屏，实现方案为：包括两个摄像机、计算设备以及显示设备。两个摄像机同时捕捉显示设备图像，并且两个摄像机的视野范围要完全覆盖整个显示设备。计算设备通过摄像机捕捉到的图像，利用计算设备视觉的方法分析图像上面是否有人手，手指的位置以及判断手指是否接触屏幕，然后根据计算出的指尖位置定位电脑光标位置，模拟触摸屏输入，实现人际交互的目的。

请参阅图1，为本发明实施例提供的虚拟触摸屏的方法的实现流程，其包括以下步骤：

在步骤S101中，通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手；

在步骤S102中，定位所述人手的指尖位置；

在本发明实施例中，步骤S102具体为：

对轮廓图的每一点上分别进行曲率的计算；

对轮廓图上的所有点进行曲率的计算之后，选择曲率较大的点作为指尖的候选点；其中，曲率较大的点的确定方案为：将所有点进行曲率的计算后得到的值与预设的值进行比较，大于该预设值的点则认为是曲率较大的点。

使用重心抑制条件进行候选点的排除，将距离重心最远的候选点作为指尖所在的位置。

在步骤S103中，根据所述指尖位置判断人手是否接触显示设备屏幕；

在步骤S104中，如果判断出人手接触显示设备屏幕，则模拟触摸事件。

在本发明实施例中，所述通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手的步骤，具体为：

生成预测图像；具体为：采用几何标定及颜色标定生成预测图像。

将所述预测图像与两个摄像机同时捕捉到的显示设备图像进行比对；

提取比对出不一致的区域，所述区域则为人手区域。

在本发明实施例中，使用两个摄像机同时捕捉显示设备图像，对于计算设备来说，显示设备的画面是已知的，所以计算设备可以预测出显示设备本身显示的图像。当我们用手指在显示设备上与计算机进行交互时，因为人手的遮挡，摄像机捕捉的图像和计算设备预测的图像会有一定的差异，根据这个差异，我们可以精确的找到人手区域。

下面详细描述几何标定：

为了生成预测图像，我们需要知道显示设备屏幕上任意一点p在摄像机图像上的位置p'，这就是几何标定的任务。理论上，从一个平面到另一个平面的映射关系，可以使用一个3×3的矩阵H描述。对于显示设备屏幕上任意一点p，我们可以利用公式(1)计算这一点在摄像机图像上的位置p'

p'＝Hp(1)

为了计算矩阵H，本发明实施例采用以下步骤：

a)控制显示设备显示出一个棋盘格图像，如图2所示。

b)通过摄像机捕捉显示设备图像，并分别检测显示设备本身显示的图像与摄像机捕捉图像的棋盘格角点。

c）通过对应的角点，计算转移矩阵H。

下面详细描述颜色标定：

对于显示设备上的一点P，可以通过矩阵H计算出该点在摄像机图像上的位置，我们还需要知道该点经过摄像机成像后在摄像机图像上的像素值，这就是颜色标定的任务。由于摄像机感光不均匀、摄像机镜头畸变以及环境光线的影响等原因，即使相同的颜色在摄像机的边缘和中心也表现出不同的像素值。颜色的标定过程，像素值和像素点的位置必须是相关的。我们的任务是求解一个数学模型，通过这个数学模型，可以根据显示设备本身显示的图像，生成一幅预测图像。

在本发明实施例中，该数学模型可以用公式（2）描述：

C＝A(VP+F) (2)

其中，

$C=\left[\begin{array}{c}{C}_R\\ C_G\\ C_B\end{array}\right],$ $A=\left[\begin{array}{ccc}{A}_R& 0& 0\\ 0& A_G& 0\\ 0& 0& A_B\end{array}\right],$ $F=\left[\begin{array}{c}{F}_R\\ F_G\\ F_B\end{array}\right],$

$A=\left[\begin{array}{ccc}{V}_{\mathrm{RR}}& V_{\mathrm{GR}}& V_{\mathrm{BR}}\\ V_{\mathrm{RG}}& V_{\mathrm{GG}}& V_{\mathrm{BG}}\\ V_{\mathrm{RB}}& V_{\mathrm{GB}}& V_{\mathrm{BB}}\end{array}\right],$ $P=\left[\begin{array}{c}{P}_R\\ P_G\\ P_B\end{array}\right]$

向量C表示摄像机成像的像素值，向量P表示显示设备本身显示的图像的像素值。矩阵A表示物体表面的反射率，向量F表示环境光的贡献，矩阵V被称为颜色混合矩阵，它描述系统中各个颜色通道之间的相互作用。

由公式（2）可以根据显示设备本身显示的图像的像素值计算出摄像机成像之后图像的像素值。将显示设备本身显示的图像上所有点都通过公式（2）计算出来，这样就得到了预测图像。

下面详细描述提取比对出不一致的区域，所述区域则为人手区域。

经过几何标定和颜色标定，对于任意的显示设备本身显示的图像，可以生成一幅预测图像，同时摄像机也捕捉到了实际的画面。当我们用手指在显示设备前进行交互时，因为人手的遮挡，我们改变了显示设备图像的内容，因此我们可以根据画面内容的变化，检测出显示设备表面反射率的变化，反射率变化较为明显的区域，即为人手的区域。

假设Q是物体表面的光强度，A表示物体表面的反射率，T表示摄像机的颜色函数，C表示摄像机捕捉到的亮度值。有下式成立：

C＝ATQ (3)

如果显示设备前方没有障碍物，那么摄像机捕捉到的图像的像素值I应该与C相等。如果显示设备前有人手在进行交互，那么反射率将会被改变用A’表示新的反射率。摄像机捕捉到的图像的像素值符合下面的等式：

I＝A'TQ (4)

反射率的变化比a用公式（5）表示为：

$a=\frac{A^{\′}}{A}$ (5)

对于图像上一点[x,y]，在颜色通道c上的反射率的变化比可以表示为：

$a_{[x,y,c]}=\frac{I_{[x,y,c]}}{C_{[x,y,c]}}$ (6)

在本发明实施例中，如果显示设备前方没有人手或其他障碍，那么反射率比a应该是一个接近1的值，如果显示设备前方有人手遮挡，那么反射率比会发生一定的变化。对于一个图像上一点[x,y]，我们用a_[x,y,sum]表示三个通道的反射率比加合，用a_[ave,sum]表示对整幅图像求取的平均反射率比加合。我们使用如下的决策规则来判定一个像素点是否为前景区域：

像素点[x,y]属于人手区域，当且仅当

a_[x,y,R]+a_[x,y,G]+a_[x,y,B]＜s×a_[ave,sum]或s(a_[x,y,R]+a_[x,y,G]+a_[x,y,B])＞a_[ave,sum] (7)

其中s是一个反射率比变化的阈值，可以通过实验获得，它的典型值是0.5-0.8。

下面详细描述定位所述人手的指尖位置：

通过前面的步骤，获得了人手的前景区域，接下来的任务在得到的手部前景图像上检测指尖。随着计算机视觉技术的发展，使用手指与计算机进行交互是一种全新的交互方式，为了寻找指尖的位置，我们在轮廓图的每一点上分别进行曲率的计算，曲线的曲率就是针对曲线上某个点的切线方向角对弧长的转动率，通过微分来定义，表明曲线偏离直线的程度。数学上表明曲线在某一点的弯曲程度的数值。曲率越大，表示曲线的弯曲程度越大，曲率是物体弯曲程度的一种衡量。在本发明实施例中，轮廓图上一点P_i的曲率K(P_i)使用下式计算：

$K\left(P_i\right)=\frac{P_i{P}_{i-x}*P_i{P}_{i+x}}{\left|\right|P_i{P}_{i-x}\left|\right|*\left|\right|P_i{P}_{i+x}\left|\right|}$ （8）

这里P_i表示要计算曲率的轮廓点，点P_i-x为在P_i点之前的第x点，点P_i+x是P_i点之后的第x点，x表示一个位移量，经过试验测试当x＝5时，可以得到较好的结果。对轮廓上的所有点进行曲率的计算之后，我们选择一些曲率较大的点作为指尖的候选点。

经过上面的步骤，我们得到了一些指尖的候选点，接下来的任务是，从这些候选点中，选出最有可能是指尖的点。因为在投影仪摄像机系统中，人与投影屏幕进行交互时，手指一般是伸直的状态，很少有弯曲的时候。所以，指尖一般都处于边缘的位置上，也就是说，指尖的位置距离手的重心位置较远，在本发明实施例中我们使用重心抑制条件进行候选点的排除，距离重心最远的候选点，我们认为就是指尖所在的位置。

下面详细描述根据所述指尖位置判断人手是否接触显示设备屏幕；

在找到指尖位置之后，我们下一步要做的工作是判断指尖是否接触屏幕。本发明实施例中，双摄像机构成了立体视觉系统，理论上，我们可以利用三角测量原理计算出指尖的深度信息，进而判断指尖是否接触屏幕。

在本发明实施例中，为了判断手指是否接触显示设备，我们只需要判断指尖是否在显示设备屏幕所在的平面即可。两个摄像机和显示设备的相对位置是保持不变的，因而，在开始工作的时候我们可以分别在显示设备屏幕所在平面和两个摄像机图像之间建立一种对应关系，如果一个点在显示设备屏幕所在的平面上，那么通过建立的对应关系，我们可以计算出该点在每个摄像机图像上的位置，而如果一个点不在显示设备屏幕所在的平面上，它一定不符合这种对应关系。根据这个理论，如果指尖接触屏幕，那么指尖点一定符合显示设备屏幕所在平面与摄像机图像之间的对应关系。

通过上面的几何标定过程，我们可以建立起显示设备屏幕与摄像机图像之间的对应关系，假设第一个摄像机与显示设备屏幕之间的关系用H1表示，第二个摄像机与显示设备屏幕之间的关系用H2表示。从两个摄像机图像上找到的指尖位置分别为P₁和P₂我们用下面的公式（9）来判断指尖是否接触显示设备：

||H₁P₁-H₂P₂||＜s （9）

这里s表示一个阈值，可以通过实验的方式获得。如果从两个摄像机图像上得到的两个指尖位置满足上式，则说明指尖接触屏幕，就认为有触摸事件发生。通过指尖在屏幕中的位置，以及之前的几何标定，我们可以将鼠标光标定位至指尖处，并模拟鼠标点击事件。实现人际交互，这样就达到了将任意一个显示设备变为一个触摸屏的目的。

请参阅图3，为本发明实施例提供的虚拟触摸屏的系统的结构。为了便于说明，仅示出了与本发明实施例相关的部分。所述虚拟触摸屏的系统包括：提取模块101、定位模块102、判断模块103、以及模拟模块104。所述虚拟触摸屏的系统可以是内置于计算设备中的软件单元、硬件单元或者是软硬结合的单元。

提取模块101，用于通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手；

定位模块102，用于定位所述人手的指尖位置；

判断模块103，用于根据所述指尖位置判断人手是否接触显示设备屏幕；

模拟模块104，用于如果判断出人手接触显示设备屏幕，则模拟触摸事件。

在本发明实施例中，所述系统还包括：生成模块、比对模块、以及确认模块。

生成模块，用于生成预测图像；具体为：采用几何标定及颜色标定生成预测图像。

比对模块，用于将所述预测图像与两个摄像机同时捕捉到的显示设备图像进行比对；

确认模块，用于提取比对出不一致的区域，所述区域则为人手区域。

在本发明实施例中，所述系统还包括：

计算模块，用于对轮廓图的每一点上分别进行曲率的计算；

选择模块，用于对轮廓图上的所有点进行曲率的计算之后，选择曲率较大的点作为指尖的候选点；其中，曲率较大的点的确定方案为：将所有点进行曲率的计算后得到的值与预设的值进行比较，大于该预设值的点则认为是曲率较大的点。

指尖确定模块，用于使用重心抑制条件进行候选点的排除，将距离重心最远的候选点作为指尖所在的位置。

综上所述，本发明实施例首先是从复杂背景中提取出人手。从复杂背景中提取人手就是从整幅图像中将对应的人手部分提取出来。人手区域的提取为后面精确的定位指尖位置奠定了基础，通常可以采用灰度阈值法、边缘检测算子法、差分法等方法来实现。本发明实施例中，为了去除显示设备画面对人手检测的影响，在人手检测时使用预测图像的方法来分离前景与背景。显示设备本身显示的画面对于计算机来说是已知的，通过几何标定和颜色标定过程我们可以建立几何位置的对应关系与色彩空间的对应关系，通过这些关系，计算机可以对摄像机捕捉到的图像进行预测，通过分析预测图像与摄像机捕捉的实际图像之间的差别，找出人手的位置。

之后，在得到的手部前景图像中精确定位指尖位置。寻找指尖的方法有很多，大多都是在分离出的手部前景的图像上进行的，如轮廓分析、圆Hough变化、径向对称法等，本发明实施例使用曲率极值的方法定位指尖。

最后，判断手指是否接触屏幕，模拟触摸事件。在本发明实施例中，双摄像机构成了立体视觉系统，我们根据两个摄像机和显示设备的位置关系，设计了一种判断手指是否接触屏幕的简单方法，不需要标定摄像机的内参数和外参数。

本发明不需要使用辅助材料，用手指就可以直接操作计算机，在使用过程中，不受显示器背景画面的影响，也不需要进行复杂的摄像机系统内外参数的标定过程。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种虚拟触摸屏的方法，其特征在于，所述方法包括以下步骤：

通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手；

定位所述人手的指尖位置；

根据所述指尖位置判断人手是否接触显示设备屏幕；

如果判断出人手接触显示设备屏幕，则模拟触摸事件；

所述根据所述指尖位置判断人手是否接触显示设备屏幕具体为:

用下面的公式来判断指尖是否接触显示设备：

||H₁P₁-H₂P₂||<s

第一个摄像机与显示设备屏幕之间的关系用H₁表示，第二个摄像机与所述显示设备屏幕之间的关系用H₂表示，从两个摄像机图像上找到的指尖位置分别为P₁和P₂，s表示一个阈值。

2.如权利要求1所述的方法，其特征在于，所述通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手的步骤，具体为：

生成预测图像；

将所述预测图像与两个摄像机同时捕捉到的显示设备图像进行比对；

提取比对出不一致的区域，所述区域则为人手区域。

3.如权利要求2所述的方法，其特征在于，所述生成预测图像的步骤，具体为：

采用几何标定及颜色标定生成预测图像。

4.如权利要求1所述的方法，其特征在于，所述定位所述人手的指尖位置的步骤，具体为：

对轮廓图的每一点上分别进行曲率的计算；

对轮廓图上的所有点进行曲率的计算之后，选择曲率较大的点作为指尖的候选点；

使用重心抑制条件进行候选点的排除，将距离重心最远的候选点作为指尖所在的位置。

5.一种虚拟触摸屏的系统，其特征在于，所述系统包括：

提取模块，用于通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手；

定位模块，用于定位所述人手的指尖位置；

判断模块，用于根据所述指尖位置判断人手是否接触显示设备屏幕；

模拟模块，用于如果判断出人手接触显示设备屏幕，则模拟触摸事件；

所述判断模块根据所述指尖位置判断人手是否接触显示设备屏幕的过程具体为：

所述根据所述指尖位置判断人手是否接触显示设备屏幕具体为:

用下面的公式来判断指尖是否接触显示设备：

||H₁P₁-H₂P₂||<s

第一个摄像机与显示设备屏幕之间的关系用H₁表示，第二个摄像机与所述显示设备屏幕之间的关系用H₂表示，从两个摄像机图像上找到的指尖位置分别为P₁和P₂，s表示一个阈值。

6.如权利要求5所述的系统，其特征在于，所述系统还包括：

生成模块，用于生成预测图像；

比对模块，用于将所述预测图像与两个摄像机同时捕捉到的显示设备图像进行比对；

确认模块，用于提取比对出不一致的区域，所述区域则为人手区域。

7.如权利要求6所述的系统，其特征在于，所述生成模块，具体用于采用几何标定及颜色标定生成预测图像。

8.如权利要求5所述的系统，其特征在于，所述系统还包括：

计算模块，用于对轮廓图的每一点上分别进行曲率的计算；

选择模块，用于对轮廓图上的所有点进行曲率的计算之后，选择曲率较大的点作为指尖的候选点；

指尖确定模块，用于使用重心抑制条件进行候选点的排除，将距离重心最远的候选点作为指尖所在的位置。

9.一种包括权利要求5至8任一项所述的虚拟触摸屏的系统的计算设备。