CN101145091A - 基于红外线摄像的触摸屏及其定位检测方法 - Google Patents

Abstract

本发明属于计算机多媒体技术领域，具体为一种基于红外线摄像的触摸屏及其定位检测方法。它包括图像采集模块、控制电路板、主机三个部分。图像采集模块由装在显示屏屏幕边框上侧两角的红外线发射管、红外线摄像头以及围贴于屏幕边框另外三边的反光条组成。控制电路板对红外线摄像头采集到的数据进行处理并转换成USB数据形式传送给操作系统。主机则对接收到的图像数据进行分析，计算出手指触摸的位置，从而控制鼠标跟随手指移动。本发明结构简单、体积小、成本低。

Description

基于红外线摄像的触摸屏及其定位检测方法

技术领域

本发明属于计算机多媒体技术领域，具体涉及一种电子计算机多媒体技术用的、基于红外线摄像的触摸屏及其定位检测方法。

背景技术

随着多媒体信息查询的与日俱增，人们越来越多地使用到触摸屏。触摸屏作为一种最新的电脑输入设备，是目前最简单、方便、自然而且又适用于中国国情的输入设备。触摸屏具有坚固耐用、反应速度快、节省空间、易于交流等许多优点。利用这种技术，用户只要手指轻轻触碰计算机显示屏上的图标或文字就能实现对主机操作，从而使人机交互更为直截了当。

目前，触摸屏按照技术原理来区别，可分为五个基本种类：矢量压力传感技术触摸屏、电阻技术触摸屏、电容技术触摸屏、红外线技术触摸屏、表面声波技术触摸屏。其中矢量压力传感技术触摸屏已退出历史舞台。传统的红外线技术触摸屏由装在屏幕外框的红外线发射与接收感测元件构成，在屏幕表面上，形成红外线探测网，任何触摸物体可阻挡该点上的红外线接收从而实现触摸屏操作。其主要的优点是价格低廉、安装方便、响应速度快，但是分辨率较低，容易损坏。

发明内容

本发明的目的在于提供一种分辨率高、不易损坏的基于红外线摄像的触摸屏及其定位检测方法。

本发明所采用的技术方案是，根据光的逆反射特性，使用反光条，使红外线发射管发出的光近似按原路返回，并由红外摄像头拍摄返回的红外线光强图。如发生触摸，会减弱触摸区域返回的红外光的强度，对比无触摸和有触摸的图像，将得到的被遮挡的红外图像与未被遮挡的红外图像相减，得到光强变化绝对值最大的位置即可得到被遮挡的坐标。这样一侧角上的红外摄像头可以确定一根过触摸点的射线，两个摄像头就可以根据同时经过触摸点的两根射线相交确定遮挡的位置。

本发明提出的基于红外线摄像的触摸屏，由图像采集模块1、控制电路板2、计算机6组成，如图1所示。其中，图像采集模块1由分别装在显示屏屏幕边框同侧两角的两个红外线摄像头3、放置在红外线摄像头3两侧的红外发射管4，以及围贴于屏幕边框另外三边的反光条组成。

控制电路板2将红外线摄像头3采集到的图像数据采用USB数据形式传送给计算机主机6，由用户应用程序负责将接收到的数据与未触摸的标准图像比对，确定坐标，返回给操作系统，从而构建一个红外线摄像定位触摸屏系统。

控制电路板2由USB控制传输芯片9、数字图像传感器芯片(CMOS)10、可编程式逻辑芯片(CPLO)11和静态存储器12经电路连接组成；原理框图如图8所示。其中，USB控制传输芯片9通过修改寄存器设置对CMOS数字图像传感器芯片10的窗口设置等参数进行配置，红外光线通过光学透镜以及红外光滤色镜在CMOS数字传感器芯片1 0上成像，数字图像传感器芯片10对其进行空间采样，并按照一定的帧频连续输出8位的数字图像数据Y[7:0]。为了实现数字图像传感器芯片输出数据与USB控制传输芯片9器读取数据速度与时序的匹配，使用了静态存储器(SRAM)12和可编程逻辑芯片(CPLD)11构成高速缓冲区，利用此高速缓冲区将数字图像传感器10采集的图像数据缓存。最后USB控制传输芯片9实现与主机的USB接口通信，将高速缓冲区数据传输到PC机进行后续的图像处理。

计算机主机模块6主要包括固件程序、USB设备驱动程序和客户端应用程序三个部分。

固件程序代码通过装载存于USB控制传输芯片9的RAM中，由片内加强型8051单片机来处理，可采用汇编或C语言编写，主要用来响应各种来自系统的USB设备请求，完成各种数据交换工作和事件处理。采集系统的固件程序基于CYPRESS公司提供的EZ-USB固件程序框架进行开发，添加完成快速块传输的功能代码，并链接设备描述符即可。

USB设备驱动程序为系统提供了应用软件与USB设备的接口，主要作用是使操作系统能够识别USB设备，并建立起主机端和设备之间的通信。USB驱动程序必须基于WDM(Windows Driver Model)，采用分层的体系结构，主要分为3层，高层的USB设备驱动程序、中间层USB核心驱动程序(USB Driver)及底层USB主控制器驱动程序(USB HostController Driver)

用户应用程序的编写采用visual studio C++6.0开发环境，系统应用程序的功能主要分为人机界面初始化、固件装载、图像数据处理、校正测试、数据存储与读取几个部分。其中图像数据处理和校正测试是本系统的重点。图像数据处理程序的任务是将读取到的图像与标准无触摸的图像比对，建立直线方程，计算出触摸点的位置的工作。校正测试则是在初始状态或是出现错误之后自检状态下的校对程序，为图像数据处理程序提供当前操作环境以及照明条件下的标准无触摸图像，并给出触摸屏的各个数据参数，以供调试。

本发明中，所述红外线发射管4、红外线摄像头3，数据传输线5和控制电路板2均固定在显示屏的外框内。

本发明采用模块化设计，扩展性强，能够实现红外线摄像触摸屏的功能，安装方便，原理简单，成本低，分辨率高。

附图说明

图1、系统模块组成结构。

图2、逆反射原理图。

图3、无触摸的图像截图。

图4、有触摸的图像截图。即图3的灰度图，

图5、无触摸图像的灰度统计图。横坐标是屏幕X轴的坐标，纵坐标是相对应的灰度值。可以看到图像上的灰度分布较均匀。

图6、有触摸图像的灰度图。横坐标是屏幕X轴的坐标，纵坐标是相对应的灰度值。可以看到图像上有明显的波峰，和无触摸的图像灰度图比对，可以说明这个坐标位置附近有明显的光强变化。

图7、有触摸与无触摸图像的差值取绝对值之后的图。由差值图像可以更加清楚地看到，波峰的出现说明光强发生强烈变化，与实际测量到的手指触摸位置比对，非常接近。

图8、是控制电路板结构框图。

图9、用户端应用程序功能框图。

图10、数据计算及显示模块程序流程图。

图中标号：1是图像采集模块，2是控制电路板，3是红外线摄像头，4是红外线发射管，5是USB数据传输线，6是计算机主机，7是反光条，α是红外线摄像头和光源张成的角度，即观测角，β是红外线发射管和发射体轴张成的角度，即入射角，8是发射体轴，9是USB控制芯片，10是CMOS数字图像传感器芯片，11是可编程逻辑芯片，12是静态存储器。

具体实施方式

本发明设计的触摸屏系统如图1所示。由图像采集模块1、控制电路板2和计算机6组成，图像采集模块1是一个图像显示屏，显示屏同侧两角分别设置摄像头3，每个摄像头3的两侧设置红外发射管4，显示屏的另三边分别设置反光条7。

放置在红外摄像头3两侧的两个红外线发射管4的光束张角在40°～60°之间，使两个红外发射管4发出的红外光线能够覆盖整个屏幕，照射到对角的反光条7。

红外线摄像头3采用普通的30万-50万像素数码摄像头，摄像头上装有红外线滤色镜，红外线滤色镜的作用是接收红外光，滤出大部分的可见光，这样可使操作环境的光线变化对触摸屏的影响减到最低，只要红外线发射管发出的红外光线稳定，对比用的无触摸图像就可以在初次安装系统的时候一次确定，不会发生由于环境光线的变化造成的无触摸图像随之变化的情况。图像采集模块1的两个摄像头3要求能够观测到围贴于屏幕三边的反光条7，为此摄像头视角要大，故需采用广角镜头，以增加视角范围。

反光条7是利用光学原理，能把光线逆反射回到光源处的一种PVC条。为耐候性能良好的薄膜层，依次由小玻璃珠层、聚焦层、反射层、粘胶层及剥离层构成。逆反射原理图见图2。红外摄像头3采集到的未遮挡及遮挡的图像见图3到图7。

控制电路板2主要包括数字图像传感器芯片(CMOS)10、Cypress公司的内部集成了增强型的51内核的USB控制传输芯片(EZ-USBAN2131QC)9、可编程逻辑芯片(CPLD)11和静态存储器(SRAM)12。由于数字图像传感器输出数据的速率(27Mb/s)与USB控制芯片(AN2131QC)9数据传输速率(12Mb/s)的不匹配，故系统采用了SRAM和CPLD构成中间高速缓冲区。

CMOS数字图像传感器芯片10实时记录图像采集模块1中经过反光条7原路反射回来的红外线图像，该芯片将CMOS光感应核心与外围电路集成在了一起，具有可编程控制与视频模/数混合输出等功能，输出的视频格式与CCIR标准兼容。CMOS数字图像传感器芯片将图像数据传送给USB控制传输芯片。USB控制传输芯片作为系统的核心控制芯片，完成将CMOS图像采集芯片采集到的图像数据转换成为标准的USB总线形式的功能。CMOS图像传感器芯片要输出数字视频流，必须通过对传感器芯片内的数据端口寄存器进行读写操作才能实现，这就要使用到可编程逻辑芯片来产生地址总线信号、片选信号、输出使能信号，并配合CMOS图像采集芯片的时钟信号使上述这些信号有效，从而读取数据端口寄存器。系统读取图像并处理的过程为：

(1)可编程逻辑芯片11初始化，并设置CMOS数字图像传感器芯片10的内部控制寄存器，如曝光控制、增益控制、窗口大小控制等。

(2)可编程逻辑芯片11设置地址信号，选择数字图像传感器芯片10的视频数据端口。

(3)可编程逻辑芯片11产生数字图像传感器芯片的片选信号，通知图像采集芯片10开始采集图像。

(4)可编程逻辑芯片11根据CMOS数字图像传感器芯片10输出的控制信号，产生静态存储器12的片选信号、写信号、地址信号，这样采集到的数字图像即可以连续的方式存入存储器中

(5)可编程逻辑芯片11向CMOS数字图像传感器芯片10发出信号，通知停止采集图像，并通知USB控制传输芯片9开始准备读取静态存储器12中的数据到数据缓冲区。

(6)USB控制传输芯片9将采集到的数据转换成USB格式输入到计算机主机中。流程图见图8。

图像数据经USB控制传输芯片传送到计算机主机的同时，计算机主机端的用户应用主程序的流程如下：

(1)用户端应用程序初始化系统，开启人机互动显示功能，设置系统的基本参数。

(2)安装USB驱动，呼叫USB控制传输芯片。

(3)通知CMOS数字图像传感器的采集芯片开始采集，并进行数据转换，输出数字视频信号。

(4)启动校正测试程序，由用户根据当前室内环境调整系统参数，以取得当前照明条件下的未触摸图像。

(5)在正常模式下，启动数据计算及显示子程序，将计算返回的触摸位置传送给计算机系统，给出鼠标的新位置并显示。流程图见图9。

用户端应用主程序中最核心的就是数据计算及显示子程序，其流程如下：

(1)载入新的一帧图像。

(2)与校正测试之后的标准未触摸图像相减，并取其绝对值，显示差值的灰度图。

(3)将得到的灰度图上的每个像素与校正测试得到的阀值比较，如果差值绝对值小于阀值，说明两幅图像的变化不明显，被认为是无触摸，反之则认为可能是有触摸。将大于阀值的像素点的灰度值置为灰度最高，即为白色前景，而小于阀值的置为灰度最低，即为黑色背景，将灰度图像转化为只有两种颜色的二值图像

(4)上一步得到的二值图像中不仅包含了有用的触摸信息，也有可能包含了无用的噪声，可以根据噪声发生的随机性，不连续性，对二值图像再进行形态学滤波处理，也就是腐蚀化，将噪声去除。

(5)由于用户触摸时手指摆放的随意性，有可能在反光条上出现好几个手指的遮挡情况，可以根据手指大小的经验值，将白色前景面积明显不在正常范围的前景剔除不予考虑。

(6)考虑到用户可能不止一个手指触摸，需要判断个个手指的触摸位置就需要将白色前景按位置分类，用的是经典的聚类Kmeans算法。

(7)对分好的类分别计算类中心，从而得到各个手指的触摸位置，并将此数据传送给系统，以给出鼠标的移动。流程图见图10。

Claims (5)

1.一种基于红外线摄像的触摸屏，其特征在于由图像采集模块(1)、控制电路板(2)、计算机(6)组成，其中，图像采集模块(1)由分别装在显示屏屏幕边框同侧两角的两个红外线摄像头(3)、放置在红外线摄像头(3)两侧的红外发射管(4)，以及围贴于屏幕边框另外三边的反光条(7)组成；

控制电路板(2)将红外线摄像头(3)采集到的图像数据采用USB数据形式传送给计算机主机(6)，由用户应用程序负责将接收到的数据与未触摸的标准图像比对，确定坐标，返回给操作系统，从而构建一个红外线摄像定位触摸屏系统。

2.根据权利要求1所述的基于红外线摄像的触摸屏，其特征在于所述放置在红外摄像头(3)两侧的两个红外发射管(4)的光束张角为40°-60°。

3.根据权利要求1所述的基于红外线摄像的触摸屏，其特征在于所述红外摄像头(3)采用30万-50万像素的数码摄像头，摄像头上装有红外线滤光镜。

4.根据权利要求1所述的基于红外线摄像的触摸屏，其特征在于所述的反光条(7)采用PVC条，依次由玻璃珠层、聚焦层、反射层、粘胶层和剥离层构成。

5.一种如权利要求1所述的基于红外线摄像的触摸屏的定位检测方法，其特征在于具体步骤如下：

(1)载入新的一帧图像；

(2)与校正测试之后的标准未触摸图像相减，并取其绝对值，显示差值的灰度图；

(3)将得到的灰度图上的每个像素与校正测试得到的阀值比较，如果差值绝对值小于阀值，说明两幅图像的变化不明显，被认为是无触摸，反之则认为是有触摸；将大于阀值的像素点的灰度值置为灰度最高，即为白色前景，而小于阀值的置为灰度最低，即为黑色背景，将灰度图像转化为只有两种颜色的二值图像；

(4)对二值图像再进行形态学滤波处理，即去除噪声；

(5)根据手指大小的经验值，将白色前景面积不在正常范围的前景剔除；

(6)用经典的聚类Kmeans算法，将白色前景按位置分类，判断各个手指的触摸位置；

(7)对分好的类分别计算类中心，得到各个手指的触摸位置，并将此数据传送给系统，以给出鼠标的移动。

Images