CN1811683A

CN1811683A - 基于图像识别的可变尺寸的触摸系统

Info

Publication number: CN1811683A
Application number: CN 200610033817
Authority: CN
Inventors: 邢休东; 李瑞良
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-02-27
Filing date: 2006-02-27
Publication date: 2006-08-02

Abstract

一种基于图像识别的可变尺寸的触摸系统，利用一个长度固定或可变的杆体，在这样的杆体的两端分别安装两个摄影机，两个摄影机的视界在触摸区间形成重叠，构成一个以两个摄影机为相邻顶点的覆盖触摸区间的矩形视区，两个摄影机通过USB或1394等高速串行总线直接连接到主计算机，摄影机采集到的图像数据送到主计算机，由运行在主计算机的相应驱动程序进行图像识别，当识别到用户的指尖或其它相似的触摸指示器时，利用坐标变换算法，确定指示器在触摸表面的相对位置。

Description

基于图像识别的可变尺寸的触摸系统

技术领域

本发明涉及一种计算机输入设备，更具体地说，它涉及一种基于图像识别的可变尺寸的触摸系统。

背景技术

目前公知的触摸屏有电阻触摸屏、电容触摸屏、声表面波触摸屏、红外线触摸屏四大类型。

电阻触摸屏的技术原理是：电阻触摸屏的屏体由多层导电复合薄膜，各导电层由许多细小的透明隔离点隔开，当手指接触屏幕，两导电层出现一个接触点，控制器侦测到这个接触后，进行A/D转换，即可得触摸点的坐标。电阻式触摸屏不受尘埃、水、污物影响。电阻触摸屏的导电涂层比较薄且容易脆断，涂层太厚会降低透光率且形成内反射降低清晰度；涂层容易被锐利物件所破坏，且由于经常被触动，使用一定时间后会出现细小裂纹，甚至变型，触摸屏的寿命并不长久；因此不适宜在公众场合使用。例如，中国专利公开号CN1121747，公开日是1996年5月1日，名称为‘透明触摸式面板’中公开了电阻触摸屏的技术。

电容触摸屏的技术原理是：电容式触摸屏是在玻璃表面贴上一层透明的特殊金属导电物质。当手指触摸在金属层上时，触点的电容就会发生变化，使得与之相连的振荡器频率发生变化，通过测量频率变化可以确定触摸位置获得信息。由于电容随温度、湿度或接地情况的不同而变化，故其稳定性较差，往往会产生漂移现象。

声表面波触摸屏的技术原理是：表面声波触摸屏由屏体、声波发生器、反射条纹、声波接受器和控制器组成，其中声波发生器发送声表面波跨越屏幕表面，当手指触及屏幕时，触点上的声波即被阻止，控制器通过分析接收到的声波确定坐标位置。因为屏体只是一块纯粹的强化玻璃，区别于其它触摸屏技术是没有任何贴膜和覆盖层。因此表面声波触摸屏不受温度、湿度等环境因素影响，分辨率极高，有极好的防刮性，寿命长(5000万次无故障)；透光率高(92％)，能保持清晰透亮的图像质量；没有漂移，只需安装时一次校正；有第三轴(即压力轴)响应；最适合公共场所使用。由于表面声波会被水、灰尘等吸收，因此不能在户外使用，且需经常清洁维护。例如，中国专利公开号CN86102275，公开日是1986年12月3日，名称为‘声波接触板系统’中公开了声表面波触摸屏的技术，声波换能装置安装在屏体的表面。

红外线触摸屏的技术原理是：红外线触摸屏是在显示器四周排列了红外线发射管及接收管，在屏幕表面形成一个红外线网。用户以手指触摸屏幕某一点，便会挡住经过该位置的横竖两条红外线，计算机便可即时算出触摸点位置。因为红外触摸屏不受电流、电压和静电干扰，所以适宜某些恶劣的环境条件。但是由于红外线发射管及接收管数量众多，系统的可靠性较低；同时受限于元件的尺寸，系统的分辨率较低。例如，中国专利公开号CN1035733，公开日是1989年9月20日，名称为‘触摸控制装置’中公开了红外线触摸屏的技术。

以上的各类触摸屏均有其局限性，分别有如下缺点：1、电阻触摸屏的导电薄膜易损坏，抗暴力性能差，不适合在公众场合使用；2、水、灰尘等表面污物会吸收声表面波，声表面波触摸屏的使用环境要求较高，不能在户外场合使用，且需定期清洁；3、红外线触摸屏需要较多的电子元件，分辨率较低，且易受到阳光等的干扰，可靠性较低；4、电容触摸屏稳定性较差，会产生漂移现象。5、由于现有的触摸屏所依赖的本身技术的缺陷，导致现有的触摸屏在生产大尺寸触摸屏时有障碍，像电阻屏由于导电薄膜的加工特性导致电阻屏的大尺寸受影响；而表面声波触摸屏由于声波在玻璃表面传递时的衰减也导致了大尺寸的声波触摸屏不能很好的满足市场的需求；红外屏则分辨率无法满足用户的要求。

上述的触摸屏产品都有一个共同的缺点，即产品的平面尺寸与其需要控制的触摸区间密切相关，不同尺寸的显示器需要不同规格的产品，不利于组织生产；而且这些触摸屏产品由于生产工艺的限制，都难以提供大尺寸的产品，同时产品的价格随着产品的尺寸增大而大幅升高。

在中国专利公开号CN1440539A，公开日是2003年9月3日，名称为‘基于摄影机的触摸系统’中公开了一种基于图像识别技术的触摸系统，该系统由一个控制至少两个摄影机的主DSP，和相应的摄像机组成，主DSP接收并处理摄影机发来的图像数据，当在所获取的图像中找到触摸指示器时，用三角测量法确定指示器的相对位置。由于主DSP要完成图像数据的接收、指示器的识别、指示器的位置计算和与主计算机的交互通信等一系列任务，要求使用高档DSP和复杂的控制电路，从而增加了触摸系统的成本；同时确定位置所使用的三角测量法，运算量大，较为繁琐，不利于触摸系统尺寸的变化需要。

发明内容

根据本发明的一个方面，提供一种基于图像识别的可变尺寸的触摸系统，包括：

在一个长度固定或可变的杆体的两端，分别安装两个摄影机，两个摄影机的视界在触摸区间形成重叠，构成一个以两个摄影机为相邻顶点的覆盖触摸区间的矩形视区，两个摄影机通过USB或1394等高速串行总线直接连接到主计算机，摄影机采集到的图像数据送到主计算机，由运行在主计算机的相应驱动程序进行图像识别，当识别到用户的指尖或其它相似的触摸指示器时，利用坐标变换算法，确定指示器在触摸表面的相对位置。

根据本发明的另一个方面，提供一种基于图像识别的可变尺寸的触摸系统，包括：

在一个长度固定或可变的杆体的两端，分别安装两个摄影机，两个摄影机的视界在触摸区间形成重叠，构成一个以两个摄影机为相邻顶点的覆盖触摸区间的矩形视区，两个摄影机采集触摸区间表面的图像数据，当在所获取的图像中识别出指示器时，分别产生指示器在图象序列中的坐标数据，并通过USB或1394等高速串行总线发送到主计算机，由运行在主计算机的相应驱动程序利用坐标变换的计算方法，确定指示器在触摸表面的相对位置。

由于采用上述技术方案，本发明专利提供的基于图像识别的可变尺寸的触摸系统，利用简单的坐标变换算法来进行位置坐标的计算，在触摸区间发生变化时，只需调节杆体的长度，使摄影机的视区覆盖触摸区间，并运行一次触摸区间边界定位程序即可，从而使得产品只需一种规格即可适应不同尺寸的触摸区间，且系统的成本与触摸区间的尺寸无关联；由于使用主计算机直接连接摄影机，极大地简化了触摸系统的硬件电路，从而获得低成本的触摸系统；图像识别的功能模块既可以放在摄影机的图像信号处理器中，也可以放在主计算机的驱动软件中，方便了触摸系统的设计和应用。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明基于图像识别的可变尺寸的触摸系统示意图。

图2是本发明采用的摄影机的电路原理示意图。

图3是本发明采用的坐标变换计算的示意图。

图4是本发明中涉及的驱动程序的流程框图。

图5是本发明中涉及的辅助程序的功能模块框图。

图6是触摸区间表面在摄影机像平面中行位置示意图。

图7是在摄影机像素序列中视区边界和触摸区间的示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

实施例1：

附图1示出了本发明的基于图像识别的可变尺寸的触摸系统，它由附图中的标记10表示。如图所示，触摸系统10包括一可变长度的杆体11，杆体两端安装了两个摄影机12、13，摄影机分别通过USB或1394等高速串行数据总线连接到计算机50，在计算机50上，安装运行着触摸系统10所包括的进行图像识别和位置计算的驱动程序15和相应的辅助程序16；摄影机12、13的视区相互交叉重叠，形成以两个摄影机为相邻顶点的矩形区间14，该区间14覆盖了显示装置60的显示区间；一般情况下，显示装置60的显示区间就是用户进行操作的触摸区间；当用户使用手指、笔或其它物体作为指示器17在显示装置60的显示区间进行操作时，计算机将从摄影机12、13获取的图像数据交由驱动程序15，驱动程序15识别到指示器17后，进行相关的坐标变换计算，计算出指示器17在显示区间的坐标信息，供计算机50的操作系统使用。

杆体11在机械上可能并不是可伸缩的，例如通过选用不同长度的杆体，而不改变其他部分的部件，以达到系统尺寸的变化。

摄影机与主计算机之间的连接可以通过使用USB HUB或类似的总线数据转发设备来进行，以提高连接距离和简化连接线路。

图2示出了摄影机的电路原理图，图像传感器22在图像信号处理器21的控制下，将全部或局部图像存入缓冲区RAM23中，由图像信号处理器21通过USB或1394等类型的高速串行数据总线传到主计算机20；信号处理器21的工作参数可以取自EEPROM24或直接来自主计算机20，当信号处理器本身集成有EEPROM时，就无需附加EEPROM24；随着IC技术的发展，RAM23也可能集成进信号处理器21。

信号处理器21根据保存在EEPROM24中的参数，或接受主计算机的命令，按要求对图像传感器的曝光条件、白平衡等进行设置，使图像传感器22工作在最佳状况下，获得清晰的图像；同时将图像数据中与触摸区间60相关联的部分发送给主计算机。

附图3示出了进行坐标变换计算和边界定位的示意图，为了叙述方便，假定摄影机12、13的视角为90度，且视区的一条边界相重合，像素数目为A，当触摸指示器17出现在图示位置时，其在摄影机的像平面中的像素序列中分别A₁、A₂，(在附图7中，

A_{1} > \frac{A}{2}, A_{2} < \frac{A}{2}

)，则可以用下列算式求得X、Y：

X = \frac{A_{1} {\times A}_{2}}{A^{2} - A \times A_{1} - A \times A_{2} + 2 {\times A}_{1} \times A_{2}};

Y = \frac{(A - A_{1}) \times A_{2}}{A^{2} - A \times A_{1} - A \times A_{2} + 2 \times A_{1} \times A_{2}};

上述等式产生的坐标是相对于摄影机12、13的坐标，是以摄影机之间的距离为单位尺寸的，摄影机视区重叠形成的有效区间只在两个摄影机之间受到限制，在其垂线方向只受限于摄影机的空间分辨率。

当图像序列的起始方向不同时，上述等式的表达形式和计算结果会有相应变化，但不会影响触摸系统的应用。

实际上，由于摄影机的性能和安装位置并不能做到理想化，为此需要使用辅助程序16的视区边界校正模块对视区边界进行校正，以确定以两个摄影机为顶点的正方形视区的边界在各自摄影机的像素序列中的位置，以及与该视区中央点O在各自摄影机的像素序列中的位置，辅助程序16所作的视区边界校正的结果将被驱动程序15用来校正A、A₁、A₂，再按上面的等式进行X、Y的计算；视区边界的校正可以采取其他方式进行，如先对视区中某个规则区域进行校正，对校正结果再进行计算，以达到上述的校正效果。

虽然进行视区边界校正的视区是正方形，但触摸区间并不限于该区域之内，在两个摄影机视区重叠的有效区间都是可以控制的。

辅助程序16中的触摸区间边界定位模块对触摸区间60的边界41、42、43、44进行定位，获得边界数据(X₄₁，Y₄₁)、(X₄₂，Y₄₂)、(X₄₃，Y₄₃)和(X₄₄，Y₄₄)后，驱动程序15使用边界数据对X、Y按下列等式进行坐标归一化计算，得到指示器17在触摸区间60中的相对坐标数据x、y：

x = \frac{X - X_{41} - \frac{(Y - Y_{41}) \times (Y_{42} - Y_{41})}{X_{42} - X_{41}}}{\sqrt{{(X_{42} - X_{41})}^{2} + {(Y_{42} - Y_{41})}^{2}}};

y = \frac{Y - Y_{41} - \frac{(X - X_{41}) \times (Y_{42} - Y_{41})}{X_{42} - X_{41}}}{\sqrt{{(Y_{43} - Y_{41})}^{2} + {(X_{43} - X_{41})}^{2}}};

在上面的等式中，只使用了触摸区间边界参数中3个，第4个参数应当用于校正前3个参数，以提高边界定位的精确性；上面等式计算的结果只在[0，1]的范围内是有效的，否则意味着触摸指示器是处于触摸区间之外的，系统应当予以忽略。

上述的相对坐标计算类似于进行了一次从摄影机视区坐标到触摸区间坐标的平移和旋转。

当触摸区间60的边界41-42平行于两摄影机之间的连接线时，则是简单的坐标平移，上面的等式可简化为：

x = \frac{X - X_{41}}{X_{42} - X_{41}};

y = \frac{Y - Y_{41}}{Y_{43} - Y_{41}};

辅助程序16进行边界定位得到的像素序列起止边界A₁₄₃、A₁₄₂、A₂₄₁和A₂₄₄将分别被发送到摄影机12、13，作为各自有效图像数据的起止像素序列参数，摄影机在传送图像数据时，可以将无效数据剔除。

当触摸区间变化或摄影机之间的距离变化后，需要再次运行辅助程序16的触摸区间边界定位模块，获得新的边界数据，以供驱动程序15使用，并为摄影机提供新的工作参数。

附图4是触摸系统的驱动程序的功能流程图，当主计算机接收到摄影机发来的图像数据，运行图像识别模块，当识别到触摸指示器时，调用坐标变换模块，将触摸指示器在像素序列中的位置数据转换成坐标数据，再调用相对坐标的位置计算模块，把指示器的坐标数据变换为触摸区间的相对坐标数据，在检查数据的有效性后，最后进行坐标数据的系统发布。

图像识别的方法有很多，使用背景图像做比较对照是可行的方法之一。

附图5是触摸系统的辅助程序的功能框图，辅助程序是为了触摸系统正确运行而运行的：

视区边界校正模块：两个摄影机的装配位置无法做到理想化，需要使用本模块获得正确的视区参数；如附图7中所式的各项参数，(A₀₁-A_p)×2作为校正后的像素数A，A₁-A_P作为校正后的A₁，

(A_{2} - A_{02} \times 2 + A_{Q}) \times \frac{A_{Q} - A_{02}}{A_{01} - A_{p}}

作为校正后的A₂，这样摄影机安装的误差和光学误差得以校正；附图7中的N表示摄影机的实际像素数。

触摸区间边界定位模块：进行触摸区间边界定位，所获得的边界参数，将用于设置摄影机的有效图像像素序列区间，以减少数据的处理和传输量；获得的边界坐标将在驱动程序中的触摸区间相对坐标的计算模块中使用。

附图6显示了触摸区间表面在摄影机像平面中的较佳位置，通过安装过程中的调整，即可达到；如图所示，触摸区间所对应的图像数据在摄影机的整帧图像中只占较小部分，通过合适的参数设置，可以减少摄影机对主计算机的数据传输带宽的要求。

实施例2：

本实施例在硬件结构上与实施例1是相同的，区别在于实施例1中的驱动程序15中的图像识别功能是在各自摄影机的图像信号处理器21中完成，摄影机传给主计算机50的不是图像数据，而是识别到的指示器在像素序列中的位置坐标，再由驱动程序15完成相关的坐标变换和相对坐标的计算，计算出指示器17在触摸区间60的坐标信息，供计算机50的操作系统使用。

上面说明了本发明的两个实施例，但本领域的技术人员可在不脱离权利要求限定的精神和范围的情况下，对本发明进行变化和修改。

Claims

1.一种基于图像识别的可变尺寸的触摸系统，包括：

两个摄影机，分别安装在一个长度可变的杆体的两端，且两个摄影机的视区在触摸区间相互重叠，所述的两个摄影机分别从各自的视角获取触摸区间的图像数据，并将图像数据通过USB或1394等高速串行数据总线发送给主计算机；和安装并运行在主计算机上的驱动程序和相关辅助程序。

2.如权利要求1所述的触摸系统，其中：所述的两个摄影机的像平面与触摸区间表面相交，最佳为像平面的中心线与触摸区间的表面是平行的。

3.如权利要求2所述的触摸系统，其中：所述的两个摄影机的视角为75-135度，最佳视角为90-110度。

4.如权利要求3所述的触摸系统，其中：所述的两个摄影机能响应主计算机的命令，发送给主计算机的图像数据的像素尺寸和图像数据在像平面上的位置是可控制的。

5.如权利要求4所述的触摸系统，其中：所述的两个摄影机能响应主计算机的命令，对白平衡、曝光条件等进行控制，以获得清晰的图像供图像识别。

6.如权利要求1所述的触摸系统，其中：所述的驱动程序包含对两个摄影机发来主计算机的图像数据进行图像识别的功能模块，从而获得触摸指示器在图像序列中相对的像素位置坐标。

7.如权利要求6所述的触摸系统，其中：所述的驱动程序包含对根据两个像素位置坐标进行坐标变换的功能模块，所述的坐标变换模块利用下面的算式计算指示器的位置X、Y：

X = \frac{A_{1} \times A_{2}}{A^{2} - A \times A_{1} - A \times A_{2} + 2 {\times A}_{1} \times A_{2}},

Y = \frac{(A - A_{1}) {\times A}_{2}}{A^{2} - A {\times A}_{1} - A {\times A}_{2} + 2 {\times A}_{1} {\times A}_{2}};

其中，A为以两个摄影机为顶点的正方形视区的有效像素数，A₁、A₂分别为指示器在该视区所对应的两个摄影机像素序列中的相对像素位置坐标。

8.如权利要求7所述的触摸系统，其中：所述的驱动程序包含对将指示器的位置X、Y转换到触摸区间的相对坐标的位置计算的功能模块，所述的相对坐标的位置计算模块利用下面的算式计算指示器在触摸区间的相对坐标x、y：

x = \frac{X - X_{41} \frac{(Y - Y_{41}) \times (Y_{42} - Y_{41})}{X_{42} - X_{41}}}{\sqrt{{(X_{42} - X_{41})}^{2} + {(Y_{42} - Y_{41})}^{2}}};

y = \frac{Y - Y_{41} \frac{(X - X_{41}) \times (Y_{42} - Y_{41})}{X_{42} - X_{41}}}{\sqrt{{(Y_{43} - Y_{41})}^{2} + {(X_{43} - X_{41})}^{2}}};

其中：X、Y为指示器的位置坐标，(X₄₁，Y₄₁)、(X₄₂，Y₄₂)和(X₄₃，Y₄₃)分别为触摸区间边界上3个顶点的位置坐标。

9.如权利要求1所述的触摸系统，其中：所述的辅助程序包含视区边界校正模块，所述的视区边界校正模块通过对两个摄影机发来主计算机的图像数据进行处理，得到以两个摄影机为顶点的正方形视区边界的像素位置参数，计算出坐标变换所需的像素数A，供驱动程序用来进行坐标变换。

10.如权利要求1所述的触摸系统，其中：所述的辅助程序包含对触摸区间进行边界定位的功能模块，以获得触摸区间的边界数据，供驱动程序进行触摸区间的相对坐标的位置计算。

11.一种基于图像识别的可变尺寸的触摸系统，包括：

两个摄影机，分别安装在一个长度可变的杆体的两端，且两个摄影机的视区在触摸区间相互重叠，所述的两个摄影机分别从各自的视角获取触摸区间的图像数据，并对所获取的图像数据进行指示器识别，当识别到指示器时，将指示器在图像序列中相对的像素位置坐标通过USB或1394等高速串行数据总发送给主计算机；和安装并运行在主计算机上的驱动程序和相关辅助程序。

12.如权利要求11所述的触摸系统，其中：所述的两个摄影机的像平面与触摸区间表面相交的，最佳为像平面的中心线与触摸区间的表面是平行的。

13.如权利要求12所述的触摸系统，其中：所述的摄影机的视角为75-120度，最佳视角为90-100度。

14.如权利要求13所述的触摸系统，其中：所述的两个摄影机能够响应主计算机的命令，将采集的图像数据全部或部分发送给主计算机。

15.如权利要求14所述的触摸系统，其中：所述的两个摄影机能响应主计算机的命令，对白平衡、曝光条件等进行控制，以获得清晰的图像供图像识别，从而有效地识别出指示器。

16.如权利要求11所述的触摸系统，其中：所述的驱动程序包含对根据两个摄影机发来的指示器的像素位置坐标进行坐标变换的功能模块，所述的坐标变换模块利用下面的算式计算指示器的位置X、Y：

X = \frac{A_{1} \times A_{2}}{A^{2} - A \times A_{1} - A \times A_{2} + 2 {\times A}_{1} \times A_{2}},

Y = \frac{(A - A_{1}) {\times A}_{2}}{A^{2} - A {\times A}_{1} - A {\times A}_{2} + 2 {\times A}_{1} {\times A}_{2}};

17.如权利要求16所述的触摸系统，其中：所述的驱动程序包含对将指示器的位置X、Y转换到触摸区间的相对坐标的位置计算的功能模块，所述的相对坐标的位置计算模块利用下面的算式计算指示器在触摸区间的相对坐标x、y：

x = \frac{X - X_{41} \frac{(Y - Y_{41}) \times (Y_{42} - Y_{41})}{X_{42} - X_{41}}}{\sqrt{{(X_{42} - X_{41})}^{2} + {(Y_{42} - Y_{41})}^{2}}};

y = \frac{Y - Y_{41} \frac{(X - X_{41}) \times (Y_{42} - Y_{41})}{X_{42} - X_{41}}}{\sqrt{{(Y_{43} - Y_{41})}^{2} + {(X_{43} - X_{41})}^{2}}};

18.如权利要求11所述的触摸系统，其中：所述的辅助程序包含视区边界校正模块，所述的视区边界校正模块通过对两个摄影机发来主计算机的图像数据进行处理，得到以两个摄影机为顶点的正方形视区边界的像素位置参数，计算出坐标变换所需的像素数A，供驱动程序用来进行坐标变换。

19.如权利要求11所述的触摸系统，其中：所述的辅助程序包含对触摸区间进行边界定位的功能模块，以获得触摸区间的边界数据，供驱动程序进行触摸区间的相对坐标的位置计算。