CN103970367A

CN103970367A - 一种基于立体视觉的多点触摸屏系统

Info

Publication number: CN103970367A
Application number: CN201310588660.1A
Authority: CN
Inventors: 郭轩
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-11-21
Filing date: 2013-11-21
Publication date: 2014-08-06

Abstract

本发明适用于触摸屏领域，提供了一种基于立体视觉的多点触摸屏的方法与装置。所述方法包括：红外线发射装置扫描触摸平面，采用双目线扫描红外摄像头的视频接收装置采集扫描信息，使用图形处理算法识别触摸物映射在摄像头中的位置，采用立体视觉算法还原触摸点相对于摄像头的平面位置关系，进而得到触摸点在触摸屏上的位置。本发明采用图形处理算法与简单硬件设备解决多点触屏的成本问题，并提供了一种安装简易和具有通用性的触摸屏系统。

Description

一种基于立体视觉的多点触摸屏系统

技术领域

本发明涉及光学触摸屏领域，特别涉及采用立体视觉技术来构造多点触摸屏的方法。

背景技术

目前，普遍采用的红外触摸屏技术通常是由触摸屏顶部两端的红外摄像头和与之相邻的红外发射器，包围触摸屏的反射条组成。红外发射装置发出光线经由四周的反射条反射后进入对侧的摄像头。当触摸点进入触摸屏时，红外摄像头感应接受光线的变化，计算出两端的红外摄像头与触摸点以及两红外摄像头之间构成的直线所组成的夹角，进而计算出触摸点的位置。但是现有技术受限于其构造中的反射条，设备不具备可移植性与通用性。例如，现有红外触摸屏设备的使用需要预先测量摄像头之间的距离。因此，现有技术难以做到设备必须固化在屏幕上，不具备可移植性与通用性。

发明内容

本发明的目的是要提供一种基于立体视觉的多点触摸屏系统,该触摸屏系统具备通用性与可移植性，并革新性的发展了现有光学触摸屏技术。

一种基于立体视觉的多点触摸屏系统, 其特征在于，它由(a) 红外线发射装置; (b) 红外线接收装置; (c) 触摸点分析部件; (d) 触摸点传输部件; (e) 屏幕校对模块构成；

(a) 所述红外线发射装置包括：红外LED灯，用于产生覆盖显示屏的红外线平面，LED灯至少一个，并安置于红外线接收装置周边；

(b) 所述红外线接收装置，用于接收红外线信息，该装置包括：双目线扫描红外摄像头，用于采集红外线图像；非红外线过滤装置，用于过滤非红外光线；微控制器，用于协调与控制左右摄像头；将接收的红外线信息传输给触摸点分析部件；

(c) 所述触摸点分析部件，接收红外线接收装置传输的数据并经过分析将结果传输给触摸点传输部件，该装置包括：触摸点识别单元，用于识别触摸物反射的红外光线映射在线扫描红外摄像头中的位置，采用图形处理中二值化算法识别映射位置，两个线扫描红外摄像头分别独立完成识别计算；测距单元，使用立体视觉的公式计算出触摸物在以左侧线扫描红外摄像头为原点的摄像头坐标系中的位置；坐标转换单元，用于将触摸物坐标位置从换摄像头坐标系转换到以显示屏左上角为原点的屏幕坐标系；

(d) 所述触摸点传输部件用于连接触摸点分析部件与计算机数据输入接口，给计算机传输触摸点位置信息；

(e) 所述屏幕校对模块通过用户点击多个触摸显示标示，从而计算出摄像头坐标系到屏幕坐标系之间的转换数据。

所述的双目线扫描红外摄像头包括两个独立的线扫描红外摄像头，两个摄像头的焦距等值，两个摄像头映射的平面均为显示屏的触摸区域，两个摄像头的光轴平行，两个摄像头的感光元件具有相同像素数。

一种基于立体视觉的多点触摸屏系统的操作步骤，其特征在于，具体操作步骤包括：

显示屏显示输出信息；

系统判断是否需要校对屏幕；

如果需要重新校对屏幕，则使用屏幕校对模块建立坐标系联系；

如果不需要重新校对屏幕，则用户触摸显示屏；

触摸物反射红外光线；

双目线扫描红外摄像头接收红外线信息，反射后的红外线映射在摄像头中表现为触摸区域，将其传输给触摸点分析部件；

触摸点分析部件通过二值化算法与立体视觉的公式计算出触摸点位置；

系统判断触摸点位置是否有效，判断是否有效的依据为触摸点位置是否超越屏幕范围；

如果触摸点位置有效，则将触摸点信息传输给计算机；

如果触摸点位置无效，则显示屏显示正常图像；

计算机接收到触摸点信息，计算机响应触控信息。

如权利要求3所述的一种基于立体视觉的多点触摸屏系统，其特征在于，所述屏幕校对模块执行步骤包括：

步骤1，显示器显示触摸标示；

步骤2，用户触摸显示标示；

步骤3，系统计算触摸点在摄像头坐标系中位置；

步骤4，系统判断触摸点位置是否有效；若是无效重复步骤1；

步骤5，保存触摸标示坐标位置与对应触摸点坐标位置；

步骤6，判断时候获取足够对应信息；若是不足够则重复步骤1；

步骤7，计算出摄像头坐标系到屏幕坐标系转换公式。

本发明所设计的多点触摸屏系统，包括的红外线发射装置，在液晶显示屏表面产生强度足够的红外线平面，红外线可以覆盖显示屏的所有显示区域。红外线接收装置，使用双目线扫描红外摄像头接收触摸物反射的红外线。该双目线扫描红外摄像头由两个单独红外摄像头构成，两摄像头光轴平行，焦距相同或近似，且摄像头是接收一维光学信息的线性扫描相机。两个摄像头的感光元件具有相同像素数。红外线滤光器，附着于摄像头用于过滤非红外线的滤光元器件。触摸点分析部件。该部件应用图形处理技术识别触摸物在线扫描摄像头上映射的位置，进而采用立体视觉的公式计算出触摸物相对于摄像头的坐标位置，然后计算出触摸物在液晶显示屏上的位置。触摸点传输部件。该部件将触摸点分析部件计算出的触摸点信息传输给计算机。屏幕校对模块。该模块通过显示屏显示位于屏幕中央及四周的触摸标示，引导用户点击并收集相关数据从而建立摄像头坐标系到屏幕坐标系联系。

本发明提供了一种可以实现多点触摸屏，且具有与通用性与移植性的系统。该系统通过采用图形处理的方法快速计算出触摸物在液晶屏上的位置，实时反馈给计算机相关数据。与传统的触摸屏相比，因为采用了成本低的光学摄像头，极大降低了成本；与现有光学触摸屏相比，具有通用性与可移植性。

附图说明

图1 是本发明提供的一种基于立体视觉的多点触摸屏方法的流程图。

图2 是本发明提供的一种基于立体视觉的多点触摸屏方法的详细流程图。

图3 是本发明的触摸屏校对方法流程图。

图4 是本发明提供的一种基于立体视觉的多点触摸屏系统示意图。

图5 是红外线接收装置构造示意图。

图6 是双目线扫描红外摄像头构造模型示意图。

图7 是触摸屏系统硬件组件的一个布置示意图。

具体实施方法

为了描述本发明的技术细节与优点，以下内容和附图一起详细阐述了本发明的实施步骤与设计方法。需要指出的是，该实施方法是用来描述本发明，而非用于限定本发明之权利范围，依照本发明权利所做的等同变化，仍应被视作本发明涵盖的范围。

图1是本发明，一种基于立体视觉的多点触摸屏方法的流程，其过程如下：

步骤S101，红外线发射器发射红外线扫描显示器平面。在本实施方法中，红外线发射器扫描平面同双目线扫描红外摄像头投射平面为同一平面。红外线发射器安置于双目线扫描红外摄像头周围。

步骤S102，双目线扫描红外摄像头收集触摸物反射的红外线信号，将左右两个摄像头收集到的信息传输给触摸点分析部件用于分析触摸点位置。

步骤S103，根据摄像头捕捉的信息计算出触摸物相对于左侧摄像头的平面空间位置关系；通过摄像头坐标系 X到屏幕坐标系 U的转换模型，计算出触摸点在屏幕中的位置。转换模型如下：

，

其中，旋转矩阵 ,平移矩阵，以左侧摄像头光学原点为坐标系原点的摄像头坐标系位置X = ,代表摄像头坐标系水平轴位置，其与左右摄像头原点连线平行，代表摄像头坐标系竖直轴位置，以屏幕左上角为原点的屏幕坐标系位置 U = ,代表显示屏水平轴位置，代表显示屏竖直轴位置。

步骤S104，将计算出的触摸点信息传输给计算机。

图2是本发明，一种基于立体视觉的多点触摸屏系统的详细实现流程，其过程描述如下：

步骤S21，计算机显示器显示输出信号。

步骤S22，判断系统是否需要校对屏幕。屏幕校对的目的是用于建立步骤S103所描述的摄像头坐标系到屏幕坐标系的转换模型。如果需要校对屏幕，转至步骤S22-1；如果不需要校对屏幕，转至步骤S22-2。

步骤S22-1，系统初始化屏幕校对模块，建立坐标系转换模型。在本发明实施方法图3中，详尽描述如何建立坐标系转换模型。

步骤S22-2，用户对触摸屏进行操作。操作行为可以是点击，拖拽，撤离触摸屏等。

步骤S23，用户接触触摸屏同时，红外线发射器发射红外线，触摸物阻挡红外线并反射红外线。

步骤S24，双目线扫描红外摄像头获取反射的红外光线。反射光线映射在摄像头中的位置表现为触摸区域，其余为背景区域。触摸区域与背景区域存在明显的光学信号差异，触摸区域具有较强的光学信号且具有连续性的特征，采用二值化算法区分出触摸区域与背景区域。

步骤S25，采用图形处理的方法分析摄像头获取的光学信号，获取触摸点在屏幕中坐标位置。其方法为：对摄像头获取的光学信号采用图形处理的算法计算出触摸区域的起始位置与截止位置。采用立体视觉的公式计算出触摸物相对于左侧摄像头的位置关系，

, ,

其中，f为摄像头的焦距，B为两摄像头原点间的距离, U_o是左侧摄像头的投影中心，d 是触摸物映射在左右两个摄像头中的位置U₁与U₂的差值绝对值，d =| U₁-U₂|。构成触摸物在摄像头坐标系中的位置。

采用步骤S103中的公式计算出触摸点在屏幕坐标系中的位置。

步骤S26，系统判断计算出的触摸点位置是否为有效数据。若为无效数据，转至步骤S21；若为有效数据，转至步骤S27。判断是否为有效数据的依据可以是，坐标值是否在屏幕内，触摸物的大小等。

步骤S27，系统将触摸点信息传输给计算机，计算机响应用户触控操作。

图3 是本发明提供的触摸屏校对方法，用于建立摄像头坐标系到屏幕坐标系的转换模型。其过程描述如下：

步骤S31，系统在屏幕上中心及四周位置显示触摸标示，并记录其屏幕坐标系位置。

步骤S32，用户按指示触摸标示点。

步骤S33，系统按照步骤S23, S24, S25计算触摸物在摄像头坐标系的位置，

步骤S34，系统判断计算出的触摸点位置是否为有效数据。若为无效数据，转至步骤S31；若为有效数据，转至步骤S35。

步骤S35，系统保存触摸点在摄像头坐标系的位置与屏幕坐标系的位置对应关系。

步骤S36，系统判断是否获取足够触摸点关联数据。若是不足，转至步骤S31；若是足够，转至步骤S307。

步骤S37，系统计算出步骤S103中的转换公示中的R与T。

图4 是本发明提供的一种基于立体视觉的多点触摸屏系统示意图, 其中包括：

显示器 1，用于输出计算机信号；红外线发射装置2，用于产生可以覆盖显示器的红外线；红外线接收装置3，用于接收经过触摸物反射的红外光线；触摸点分析部件4，计算触摸点相对摄像头的位置，进而计算出其在屏幕中的位置；触摸点传输部件5，用于将计算出的触摸点信息传输给计算机响应。

图5 是红外线接收装置构造示意图, 其中包括：

左侧红外线扫描摄像头31，右侧红外线扫描摄像头32，分别用于捕获红外线信号。红外线过滤器33，用于过滤红外线之外的光线。红外摄像头的光学镜头34。摄像头感光元件35。微控制器36用于控制左右摄像头。

图6 是双目线扫描红外摄像头构造模型示意图, 其中包括：

左侧摄像头光学原点: 601与右侧摄像头光学原点: 602；左右原点之间的距离: 608；摄像头焦距: 604；左侧摄像头的投影中心: 605；左侧与右侧摄像头投影感光平面610，611；三维物体603在感光元件上的投影点: 606，607；需要指出的是，双目摄像头的光轴平行；感光平面609，610需同在或近似在一个平面上；左右摄像头的像素数相同。

图7 是触摸屏系统硬件组件布置示意图。

左侧与右侧摄像头3；红外线发射器2；触摸点分析部件4; 触摸点传输部件 5; 显示屏1；触摸物603。

Claims

1.一种基于立体视觉的多点触摸屏系统, 其特征在于，它由(a) 红外线发射装置; (b) 红外线接收装置; (c) 触摸点分析部件; (d) 触摸点传输部件; (e) 屏幕校对模块构成；

2.如权利要求1所述的双目线扫描红外摄像头，其特征在于，所述的双目线扫描红外摄像头包括两个独立的线扫描红外摄像头，两个摄像头的焦距等值，两个摄像头映射的平面均为显示屏的触摸区域，两个摄像头的光轴平行，两个摄像头的感光元件具有相同像素数。

3.一种基于立体视觉的多点触摸屏系统的操作步骤，其特征在于，具体操作步骤包括：