CN101364159A - 一种基于图像识别的虚拟触摸屏系统 - Google Patents

Abstract

一种基于图像识别的虚拟触摸屏系统，其特征是由至少两个一维图像采集装置、显示屏和计算装置组成，一维图像采集装置设置在虚拟触摸屏的四周，每个一维图像采集装置获取的一维图像所在面与虚拟触摸屏处于同一平面；多个一维图像采集装置将手指在虚拟触摸屏上的位置和点击动作转换成多个一维图像中的点及点的有无，计算装置根据所述一维图像中点的信息识别手指在虚拟触摸屏中的两维直角坐标，并执行相应的操作，完成人机交互功能。本发明解决了使用图像技术实现的触摸屏存在的人体遮挡手指的问题，特别适用于大屏幕触摸系统。

Description

一种基于图像识别的虚拟触摸屏系统

技术领域

本发明是基于图像识别的虚拟触摸屏系统，属于人机交互领域。

背景技术

触摸屏是继键盘、鼠标之后最为普遍接受、极有发展前途的交互式输入方式，应用领域广泛，目前，普通触摸屏主要有红外线式、电阻式、表面声波式、电容式等类型。这些类型的大屏幕尤其是超大屏幕触摸屏产品，均存在价格昂贵、通用性差、稳定性差、准确性差的问题。另一方面，触摸屏技术方便了人们对计算机的操作使用，用户只要用手指轻轻地触碰计算机显示屏上的图符或文字就能实现对主机操作，从而使人机交互更为直截了当，非常适合多媒体信息查询，是一种极有发展前途的交互式输入设备，大屏幕尤其是超大屏幕更具有巨大的应用前景。

CN1912816A号发明专利公告公布了一种基于摄像头的虚拟触摸屏系统，由多个摄像头拍摄手指在虚拟触摸屏上的移动和点击操作，从拍摄的图像中将人手区域分割出来，进而提取手指的边缘轮廓，将手指轮廓的B样条曲线的第4个控制点定义为手指位置，由二维坐标射影变换公式转换进而获得手指在显示屏幕的位置。这一技术方案本质是用多个摄像头将手指及触摸屏的三维图像转换成多个二维图像，进而从这些二维图像中识别出手指及手指的移动、点击等动作。由于拍摄的图像必须包含显示屏幕，所以摄像头必须放置在显示屏幕的前方，这必然存在人体遮挡无法识别手指的问题。

发明内容

本发明是为避免上述现有技术所存在的不足之处，提供一种基于图像识别的虚拟触摸屏系统，其结构简单，实现方便，造价低廉，尤其可以解决人体遮挡无法识别手指的问题；使用一维图像采集装置实现普通触摸屏具有的触摸功能，使任意一个普通显示屏幕具备触摸屏的功能。

本发明解决技术问题采用如下技术方案：

本发明基于图像识别的虚拟触摸屏系统的特点是由至少两个一维图像采集装置、显示屏和计算装置组成，所述一维图像采集装置设置在虚拟触摸屏的四周，每个一维图像采集装置获取的一维图像所在面与所述虚拟触摸屏处于同一平面；所述虚拟触摸屏与显示屏幕的形状和尺寸完全相同，虚拟触摸屏与显示屏幕处在同一平面内，或虚拟触摸屏处于显示屏幕的正前方且平行于显示屏幕；多个一维图像采集装置将手指在虚拟触摸屏上的位置和点击动作转换成多个一维图像中的点及点的有无，计算装置根据所述一维图像中点的信息识别手指在虚拟触摸屏中的两维直角坐标，并执行相应的操作，完成人机交互功能。

本发明的结构特点也在于所述一维图像采集装置采用一维线性传感器；或采用两维图像摄像头，以所述两维图像摄像头中的一行或一列的图像数据为所需的一维图像数据。

本发明采用图像识别和几何投影技术实现计算机显示屏虚拟触摸功能，使任意一个普通显示屏幕具备触摸屏的功能。

本发明计算装置综合应用的识别算法包括：初始定位算法、手指识别算法、手指定位算法、点击判定算法等。

初始定位算法的目的是确定手指在触摸时虚拟触摸屏中若干棋盘格投影到一维图像坐标上的范围、一维图像采集装置拍摄方向的斜率；指尖识别算法完成指尖识别，且给出指尖是否在虚拟触摸屏上的判断；手指定位算法实时并且准确地计算出手指触摸在显示屏上的位置；点击判定算法根据不同时间的手指位置检测是否产生点击操作。

与已有技术相比，本发明有益效果体现在：

1、本发明的图像采集装置设置在虚拟触摸屏的四周，其拍摄方向与虚拟触摸屏平行，从根本上解决了人体遮挡引起手指无法识别的问题，尤其是因其避免了人体遮挡的问题，因而可以扩展到投影屏幕、普通墙面等任何大屏幕，通用性好。

2、本发明为一维图像数据的处理，相比于二维图像的数据处理，其过程大为简化、算法简单。

3、本发明采用一维图像传感器，配合设置镜头、信号转换和接口电路，其配置简单，价格便宜。

4、本发明也可以采用两维图像摄像头，以所述两维图像摄像头中的一行或一列的图像数据为所需的一维图像数据，易于实施。

5、本发明一般情况下只要使用两个图像采集装置。使用两个以上图像采集装置可以减小图像采集装置与显示屏之间的距离，对于较大屏幕来说，可以使整个系统更加紧凑。

附图说明

图1为本发明系统结构主视示意图。

图2a为本发明中虚拟触摸屏与显示屏幕处于同一平面内。

图2b为本发明中虚拟触摸屏处于显示屏幕的正前方。

图3为本发明原理示意图。

图4为本发明坐标设置示意图。

图5为本发明虚拟触摸屏划分为棋盘格及棋盘格内平行投影示意图。

图6为本发明中斜率计算示意图。

图7为本发明截距计算示意图。

图中标号：1显示屏幕、2图像采集装置、3虚拟触摸屏。

以下通过实施例，并结合附图对本发明作进一步说明。

具体实施方式

实施例1：本实施例采用一维图像采集装置。

参见图1，在虚拟触摸屏3的上方设置两个图像采集装置2，本实施例中的图像采集装置2是采用一维图像采集装置，一维图像采集装置获取的一维图像所在面与虚拟触摸屏在同一平面，每个一维图像采集装置的轴线与水平方向成0⁰到90⁰之间的夹角，两条轴线夹角在0⁰到180⁰之间，取接近90⁰为佳。

参见图2a，虚拟触摸屏3可以与显示屏幕1处于同一平面，此时，图像采集装置获取的一维图像所在面与显示屏幕在同一平面。

参见图2b，虚拟触摸屏3也可以处于显示屏幕1的正前方，此时，图像采集装置获取的一维图像所在面与显示屏幕平行且在其正前方。

实施例2：本实施例以摄像头代替一维图像采集装置。

本实施例中，在虚拟触摸屏3的上方设置的图像采集装置2是两个摄像头，摄像头的镜片与显示屏垂直，每个摄像头的轴线与水平方向成0⁰到90⁰之间的夹角，两条轴线夹角在0⁰到180⁰之间，取接近90⁰为佳。摄像头的轴线处于虚拟触摸屏的平面内。由于摄像头镜片与虚拟触摸屏垂直，当用户进行手指触摸操作时，手指的运动平面与镜片垂直，因此手指在虚拟触摸屏上的运动轨迹一直显示在摄像头所拍摄图像的某条确定直线上。于是手指在二维显示屏幕平面上的运动，转换为手指点在摄像头拍摄的两幅图像的某条确定直线上的移动。左右摄像头拍摄的两幅图像中直线上的点和二维显示屏平面中的某点存在一一对应的关系。如图3所示，问题即转换为根据两幅图像中手指移动直线上的点的位置来唯一确定用户手指触摸的二维平面上的点坐标。其实质为由两个一维坐标点和一些初始角度值来唯一确定二维平面内的一点坐标。解决该问题的方法很多，本实施例是其中一种方法。

当用户在虚拟触摸屏上某个位置进行触摸时，左右两个摄像头分别拍摄出两幅图像。手指在虚拟触摸屏上任意一点的触摸均表现为图像的一条确定直线上的点。根据手指在两幅图像中的直线上的位置，确定其在虚拟触摸屏中的两维坐标位置。以两幅图像中直线上的两点来建立虚拟触摸屏平面上的两条直线方程，两条直线相交即获得手指在虚拟触摸屏平面内的点坐标。直线方程y＝k·x+b(式1)，其中k表示斜率，b表示截距。

下面以左边摄像头为例来说明转换过程，右边摄像头类似。

假设虚拟触摸屏是如图4所示的矩形区域，以左下角为原点，建立二维坐标平面x、y。左边摄像头c₁位于虚拟触摸屏左上角某处。其视角范围应包含整个矩形区域，将c₁与矩形的四个顶点连接构成摄像头拍摄各点的光线方向，以经过左下角和右上角顶点的光线方向为腰，c₁为顶点作一个等腰三角形，底为虚线所示的(u₁，u₂)。当手指在矩形区域内任意一点触摸时，其在摄像头所拍摄的图像中表现为虚线上的一点，手指在二维虚拟触摸屏上的移动投影到图像上不会超过这条虚线(u₁，u₂)范围，这是算法关注的兴趣区域，区域以外的部分不需要处理。因此以u₁为原点沿着虚线方向建立一维坐标x₁，右边摄像头拍摄图像中的一维坐标x₂类似设立。

具体实施中，为准确识别手指位置，将虚拟触摸屏划分为n×n的棋盘格，如图5所示，由于摄像头离棋盘格距离较远，且每个棋盘格足够小，于是可以假设在棋盘格内，摄像头拍摄的角度是平行的，以简化点位置的转换。

初始设置时，用户在虚拟触摸屏n×n的棋盘格的每个顶点上均触摸一次，以确定每个棋盘格在摄像头拍摄图像一维坐标上的位置范围，即建立每个棋盘格编号及其投影的起始位置和终止位置坐标的对照表。例如：(i，x₁₁，x₁₂，x₂₁，x₂₂)记录的是第i个棋盘格在x₁坐标轴上的起始位置为x₁₁，终点位置为x₁₂，在x₂坐标轴上的起始位置为x₂₁，终点位置为x₂₂。

同时初始设置时可以根据虚拟触摸屏的长宽和每个棋盘格在图像上的投影确定摄像头拍摄的每个棋盘格平行光的斜率。放大图5中的棋盘格s，得到图6。假设摄像头c₁以斜率k平行拍摄由顶点v₁，v₂，v₃，v₄组成的棋盘格s，其长(v₄，v₃)的长度为a，在图像平面上的投影(v₃，v₅)的长度为a′，其宽(v₁，v₄)的长度为b，在图像平面的投影(v₁，v₅)的长度为b′。已知虚拟触摸屏的长宽，每个棋盘格的长a和宽b为其1/n，a′、b′可从拍摄的图像上获得，于是从摄像头拍摄该棋盘格的平行光的斜率k可由 $\left\{\begin{array}{c}b\′=b\·\mathrm{Cos\θ}\\ a\′=a\·\mathrm{Sin\θ}\end{array}\right.\⇒\mathrm{tg\θ}=\frac{b}{a}\·\frac{a\′}{b\′}=k$ (式2)获得。将每个棋盘格的平行光的斜率构造一张斜率表，例如：(i，k)表示摄像头拍摄第i个棋盘格的平行光的斜率。

另外，初始设置时可以确定手指触摸投影到图像上的直线的位置。如果在该直线上识别出手指，则认为用户进行了触摸操作。

当确定用户进行触摸操作后，首先由左右摄像头拍摄的图像上的点确定用户触摸的位置处于虚拟触摸屏的哪些棋盘格内，再由这些候选的棋盘格内的处理来确定斜率k及其截距b，从而获得两条直线方程，求出直线方程的交点。由于存在交叉问题，某点同时属于若干个棋盘格，出现这种情况，则检查作出的两条直线方程的交点是否落于该棋盘格内，若是则取该点；否则保留下来，取一个离棋盘格中心点偏离值最小的点作为结果。具体方法如下：

首先根据两幅图像中手指点的一维坐标来确定触摸的二维平面的棋盘格范围。查坐标对照表，如果该点既在x₁轴上第i个棋盘格的范围内，又在x₂轴上第i个棋盘格的范围内，则该点属于第i个棋盘格。

确定棋盘格后，查斜率表可获得直线方程的斜率k，接下来需要求出截距b。如图7所示，当用户在某点触摸时，表现为图像中直线上的某点v′，它是由虚拟触摸屏平面内过棋盘格内对角线上的点v、斜率为k的直线上的任意一点产生的，其中点v是由v′作摄像头拍摄光的平行线与棋盘格的对角线的交点。由于 $\frac{|v_{1}v\′|}{|v_1{v}_3\′|}=\frac{\left|v_{1}v\right|}{\left|v_1{v}_3\right|}=\frac{\left|v_{1}v\right|}{\sqrt{a^2+b^2}},$ |v₁v′|和|v₁v₃′|为图像直线上的距离，根据v₁的坐标和 $\left|v_{1}v\right|=\frac{|v_{1}v\′|}{|v_1{v}_3\′|}\sqrt{a^2+b^2}$ (式3)可求出v点的二维坐标，于是以斜率k、点v的坐标代入直线方程y＝k·x+b求出截距b。

于是，图像中的任意一点v′，实际上是手指在直线方程为y＝k·x+b的直线上的运动产生的。其中k是该棋盘格内摄像头拍摄方向的斜率，b是通过v点直线方程的截距。

同时在右边摄像头拍摄的图像中的对应点可以获得虚拟触摸屏平面内的另外一条直线，两条直线相交，即可根据两幅图像中的点坐标求得手指触摸虚拟触摸屏平面上的点坐标。

因此，算法实际上是根据两个摄像头同时拍摄的图像直线上的两点，分别建立虚拟触摸屏平面内的两条直线方程，二者相交的点即为虚拟触摸屏平面上的点。当某点属于若干个棋盘格时，需进行特殊处理，计算出点坐标，检查其是否在该棋盘格内，若是，则得出点坐标；否则，保留直线方程，选择一个离棋盘格中心点距离最近的点作为点坐标。

本发明由初始定位算法、手指识别算法、手指定位算法、点击判定算法等部分组成。

初始定位算法的目的是确定一些初始值。在虚拟触摸屏上显示n×n的棋盘格，用户在各点上触摸一下，以确定手指在其中触摸时投影到摄像头拍摄的图像上一维坐标的范围、每个棋格内的摄像头拍摄方向的斜率及图像上直线的位置。一维坐标范围用来确定任意一维坐标点处于哪些棋盘格内，斜率用来计算直线方程，直线位置用于识别用户手指的触摸。

手指识别算法完成手指识别，且给出手指是否在虚拟触摸屏上的判断。如果在初始定位时设置的直线位置上识别到手指，即表明手指在虚拟触摸屏上，同时获得手指在图像中直线上的一维坐标。

手指定位算法实时并且准确地计算出手指触摸屏幕的位置，即根据两个一维坐标唯一确定一个二维坐标点。首先根据两幅图像中手指的点坐标根据其所属棋盘格范围确定手指在虚拟触摸屏平面内的哪些棋盘格内，再根据式2计算出斜率。由式1、3计算出截距b，以此产生虚拟触摸屏平面内的两条直线方程，二者相交，即求出对应的虚拟触摸屏平面内的点坐标，如果点坐标确实处于某棋盘格内，则得到用户触摸的虚拟触摸屏位置；如果不在该棋盘格内，则保留下来，取离棋盘格中心点偏离值最小的点。

点击判定算法根据不同时间的手指位置检测是否产生点击操作。如果在初始定位时设置的直线位置上极短时间内识别到手指的有无，则表明进行点击操作。

Claims (2)

1、一种基于图像识别的虚拟触摸屏系统，其特征是由至少两个一维图像采集装置、显示屏和计算装置组成，所述一维图像采集装置设置在虚拟触摸屏的四周，每个一维图像采集装置获取的一维图像所在面与所述虚拟触摸屏处于同一平面；所述虚拟触摸屏与显示屏幕的形状和尺寸完全相同，虚拟触摸屏与显示屏幕处在同一平面内，或虚拟触摸屏处于显示屏幕的正前方且平行于显示屏幕；多个一维图像采集装置将手指在虚拟触摸屏上的位置和点击动作转换成多个一维图像中的点及点的有无，计算装置根据所述一维图像中点的信息识别手指在虚拟触摸屏中的两维直角坐标，并执行相应的操作，完成人机交互功能。

2、根据权利要求1所述的一种基于图像识别的虚拟触摸屏系统，其特征是所述一维图像采集装置采用一维线性传感器；或采用两维图像摄像头，以所述两维图像摄像头中的一行或一列的图像数据为所需的一维图像数据。

Images