CN103324359B

CN103324359B - 光学触控屏的抗光干扰的图像信号处理方法

Info

Publication number: CN103324359B
Application number: CN201310120088.6A
Authority: CN
Inventors: 肖阿玲; 赵琨; 徐星
Original assignee: Shanghai Inesa Electronic Multimedia Co Ltd
Current assignee: SHANGHAI INESA ELECTRONIC MULTIMEDIA CO., LTD.
Priority date: 2013-04-09
Filing date: 2013-04-09
Publication date: 2016-11-02
Anticipated expiration: 2033-04-09
Also published as: CN103324359A

Abstract

本发明涉及一种光学触控屏的抗光干扰的图像信号处理方法，包括通过对图像选取中心轴并根据亮度进行参考行选取、及背景跟随和自动曝光的图像处理方法，减小了光源变化下图像信号亮度的突变，增强了图像信号的识别，克服了光学触摸屏在环境光变化时可能导致整个系统瘫痪的弊端，大大提高了光学触控屏的应用范围，增强了书写的用户体验感。

Description

光学触控屏的抗光干扰的图像信号处理方法

技术领域

本发明涉及一种图像信号处理方法，尤其是一种光学触控屏的抗光干扰的图像信号处理方法。

背景技术

多点触控技术是交互式电子设备解决方案中的一项关键技术，即在一个触控应用界面上，通过人的手指触点、手势与外在物理物体接触而达到直接人机交互的目的。多点触控技术改变了人和信息之间的交互方式，实现多点、多用户、同一时间直接与虚拟环境进行交互，增强了用户体验，达到了自然和谐的境界，符合人的行为学特点，与人的认知特点相吻合。

目前基于大屏幕显示器的操作演示已广泛应用于教育、企业、军事等领域的教室、会议室、指挥室。现有的多点触控技术已经在不少领域取得了显著的成功，如触控式投影设备、手写式的手机键盘等。然而，现存的绝大多数触控式的交互系统都存在一些缺陷，如：某些交互系统需要特殊的材料来支持交互，这些材料可能会对投影显示的画面质量产生影响，某些交互系统存在实现技术复杂度高、成本高昂、定位精度低等缺点。此外，由于其技术原因导致屏幕尺寸不能太大也是需要解决的问题之一。

光学触控屏是在大屏幕外围使用光学感应器，从不同角度同时检测触控物体及其运动，其不必通过触压检测就可以实现对触控物体的定位和识别。由于不需要使用特别的涂料或薄膜对其加以保护，所以不会产生由触控操作造成的刮伤、磨损或显示影像模糊不清等问题。大屏幕LED对管技术需要数百个红外发射管和接收管，且随着屏幕的增大其数量伴随增多，制造和维修成本高。光学触控以最经济的方式为大屏幕显示器提供触控能力。无论屏幕尺寸大小，光学触控屏仅需要两个CMOS传感器，因此光学触控屏已渐渐成为当前触控大屏幕的主流方案。

由于光学触控屏采用近红外波段作为光源，其正常工作仍然会受到蕴含大量红外线的太阳光影响，当阳光照射产品时，则可能使整个触控屏幕无法正常工作。光学触控屏幕的抗光能力已是成为光学触控屏在更大范围应用的瓶颈。如何增强红外光源，相对消弱阳光中的近红外分量，适应阳光的缓慢变化与瞬态变化两种情况等抗光问题已是十分迫切的任务。

发明内容

鉴于以上所述现有技术的存在的问题和不足，本发明的目的是提供一种适应阳光缓慢与瞬间变化的图像信号处理方法，以增强触控功能的识别，大幅度提升触控屏的抗光能力，满足光环境变化的触控应用环境。

为解决上述问题，本发明是这样实现的：

一种光学触控屏的抗光干扰的图像信号处理方法，包括以下步骤：

步骤1：获取左右边界内的图像；

步骤2：基于亮度最大值对获取的图像进行选行，

步骤2.1：统计图像的每列有效行范围，取每列有效行的中点作为参考行；

步骤2.2：在左下和右下角触控位置独立选取边缘行作为参考行。

进一步，步骤2.1中，所述参考行像素值大于128且小于240；步骤2.2中，所述参考行像素值大于128且小于180。

进一步，还包括一环境光瞬间跳变判断步骤3，包括：记录正常触控和环境光瞬间变的参考行波形，建立触控波形特征和环境光瞬变波形特征，以区分当前图像触控信号和瞬变信号：如为环境光瞬变信号，则对背景图像进行重新配置、并进一步进行自动曝光处理。

进一步，所述重新配置的背景图像为多帧图像的参考行平均亮度波形。

进一步，所述参考行平均亮度波形为计算如下：

BG_n=(BG+I)/2；

I = \frac{(I_{1} \times K_{1} + I_{2} \times K_{2} + . . . I_{i} \times K_{i} . . . + I_{N} \times K_{N})}{K_{1} + K_{2} + . . . K_{i} . . . + K_{N}}

其中，BG为初始参考亮度波形，N为多帧帧数，I_i为第i帧亮度，K_i为

第i帧的亮度权重，I为参考亮度，则BG_n为参考行平均亮度波形。

进一步，所述自动曝光处理包括以下步骤：按预设的过曝和欠曝门限确定曝光范围，循环设置曝光值，直到所获取图像和参考行的亮度总和在允许的曝光范围内。

籍由上述方案，本发明的有益效果是：

通过对图像参考行的选取及进一步的背景跟随和自动曝光的图像处理方法，减小了光源变化下图像信号亮度的突变，增强了图像信号的识别，克服了光学触摸屏在环境光变化时可能导致整个系统瘫痪的弊端，大大提高了光学触控屏的应用范围，增强了书写的用户体验感。

附图说明

图1为本发明硬件结构示意图；

图2为本发明功能模块示意图；

图3为选行流程图；

图4为选行配置结果示意图；

图5为背景跟随流程图；

具体实施方式

请参阅图1，为本发明为硬件结构示意图，包括一光学触摸屏5，光学触摸屏的顶角分别设有第一红外信号接收发射器C1和第二红外信号接收发射器C2，光学触摸屏底边为一红外反射带3。以红外信号接收发射器C1为例，包括红外信号发射器1和红外信号接收器2，红外信号发射器1发送红外光，反射带3反射红外光，红外信号接收器2获取触控物体4的遮挡图像，从而确定触控点的图像位置。在已知红外信号接收发射器C1和红外信号接收发射器C2的红外信号接收器的物理位置的基础上，利用三角定位算法计算触控点4的实际物理位置，即由触控点4的图像坐标转换为物理坐标和电子屏幕5的像素坐标。以上为左侧红外信号接收发射器C1的红外信号发射器1发射红外光线经回归反射后由红外信号接收器2接收的整个过程。其原理在于，当触控物体4进入红外光场时会产生遮挡效应，这些遮挡导致部分光线不能正常反射，从而在获得的图像上出现了触控物的阴影和形状。右红外信号接收发射器C2的探测过程与此类似，左红外信号接收发射器C1探测通过底部和右侧反光获得回归光线完成，则右红外信号接收发射器C2探测则通过左侧和底部反光获得回归光线完成。通过识别触控物体4的图像位置计算其实际物理位置。本发明实施例中，红外信号发射器1包括一红外LED发射阵列，红外信号接收器2包括一CMOS传感器。

图2为本发明功能模块示意图，其包括左右对称两路，以左路为例，包括一的CMOS传感器，该传感器通过数据缓存同ARM主系统板相连，构成红外信号接收器2，该ARM主系统板（即ARM处理器）还同一红外光源连接，构成红外信号发射器1，右路结构同左路一致，不再赘述。左路、右路的ARM系统板同一主控板相连接。获取图像时，ARM处理器对CMOS传感器进行初始化配置，步骤为配置VGA模式、设置YUV拍摄模式、设定拍摄帧率、设置初始曝光值，ARM处理器获取CMOS传感器的行中断，按配置行的范围开启近红外LED灯。

一种光学触控屏的抗光干扰的图像信号处理方法，包括以下各种方法：

1）基于红外曝光匹配的CMOS传感器视频图像获取：ARM处理器对CMOS传感器进行初始化配置，步骤为配置VGA模式、设置YUV拍摄模式、设定拍摄帧率、设置初始曝光值，ARM处理器计算获得VGA图像中的最亮行位置，把最亮行的左右10行作为配置行图像左右边界，ARM处理器获取CMOS传感器的行中断并进行计数，当计到左边界行数-1时开启近红外LED，当计到右边界行数时关闭近红外LED，以获取该左右边界内的图像。

2）基于光源和环境的自动曝光方法：ARM处理器获取图像，分析光带在配置行图像中的有效区域，统计参考行和光带图像的亮度总和，设定过曝和欠曝的门限，按门限范围循环设置曝光值，直到光带图像的亮度总和在允许的曝光范围内；光带总亮度与选行亮度随着近红外LED的损耗与初始光环境相关。初始曝光值为0x00，统计参考行和光带图像的亮度总和，当满足欠曝门限时，逐次增加预设曝光值，直到参考行和光带图像的亮度总和高于各自的预设欠曝门限。自动曝光实现了自低到高曝光值的自动搜索，使得光带区域与非光带区域有效分离且触控信号免受过曝影响。

3）基于可变背景的触控位置探测，使用了以下三种方法对获取的图像信号进行处理：

a)基于最大信号的进行选行:根据图像亮度值统计光带图像的每列有效行范围，取每列有效行的中点作为参考行，在左下和右下角触控位置独立选取边缘行作为参考行。

从光带图像中找到合适的参考行是触点探测的基础。触点在光学触控屏5的左下和右下角附近时，传感器图像中的阴影信号最小。当光学触控屏5尺寸接近100英寸时，屏幕的左下和右下角触点已接近噪声信号值。

请参考图3，为选行流程图，具体包括以下步骤：

首先，根据图像亮度值统计光带图像的每列有效行范围，取每列有效行的中点作为参考行，即选中物理光带的中心轴。中心轴位置像素的亮度是每列的最高点；中心轴把光带分为近屏与远屏两个部分；

为了尽量避免连笔现象，以中心轴为起始位置向近屏幕位置搜索，完成第2次选行，选行依据为像素大于128且小于240的具有最大亮度值像素；

由于左下和右下角触控位置的阴影最小，针对这2个区域独立进行第3次选行，由于触控书写笔笔筒直径是笔尖的三倍，故在这2个区域以中心轴为起始位置向远屏幕位置搜索，选行依据是像素大于128且小于180的具有最大亮度值像素。

保存像素符合选行条件的行作为参考行。

请参阅图4，为选行配置结果示意图，光带中参考行的亮度值小于数值255且大于数值100，避免过曝和欠曝现象发生，满足全屏幕触发灵敏的要求。

b）基于环境光缓慢变化的背景跟随方法：建立一个能够存储8帧图像的先入先出缓存队列，压入无触控帧参考行亮度波形，求8帧参考行亮度平均作为可变背景；

通过位置选行方法获得最优参考行可最大限度放大触控笔的信号且减小快写连笔现象。但即使在太阳光不进入室内的条件下，其参考行上的亮度波形也会受到噪声、LED持续发光强和CMOS温度变化等因素的影像。通过观察，噪声叠加使得参考行亮度在正负5范围内随机跳变，LED持续发光强和CMOS温度变化将给亮度波形带来正负15范围内缓慢变化。

请参阅图5，为背景跟随流程图，具体包括以下步骤：

首先，建立一个能够存储8帧图像的先入先出缓存队列(FIFO)，每当一帧参考行亮度波形I_n到来，就将其压入队列。触控系统启动时，默认无触控信号，8帧参考行亮度平均后获得初始参考亮度波形并记录为BG。多帧平均有效消除了噪声，使得参考波形光滑。

初始化完毕后进入触控响应状态，读入新的参考行亮度波形并压入FIFO，将其与BG作差值比较，如小于一半的触控门限L就把它的权重K_n标记为1；如大于一半的触控门限且小于触控门限则权重K_n标记为0.5；如大于触控门限则权重K_n标记为0。

依次从新到旧检测FIFO中缓存图像的权重，如果其为1权重的参考行亮度波形大于等于6张，且无权重为0的参考行亮度波形，则采用以下算法输出图像：

I = \frac{(I_{1} \times K_{1} + I_{2} \times K_{2} + . . . + I_{8} \times K_{8})}{K_{1} + K_{2} + . . . + K_{8}} - - - (1)

则新的参考亮度波形BG_n为：

BG_n=(BG+I)/2 (2)

新的背景BG_n在消除随机噪声抖动的基础上还对LED结温和CMOS器件温度上升带来的参考行亮度漂移进行了修正，实现了环境光缓慢变化的背景跟随。

c）基于环境光瞬间跳变的触控信号屏蔽：记录正常触控和环境光瞬间变的参考行波形，标注触控波形特征和环境光瞬变波形，建立波形特征，区分触控信号和瞬变信号。当判断为瞬变信号时，则对图像进行重配背景或自动曝光。

当瞬间拉开或关闭窗帘时，环境光将有一个跳变。拉开窗帘使得环境光瞬间增强。光带总亮度与选行亮度将有持续提高，这种变化不会引起触控响应。根据背景跟随法，光带图像背景亮度值和参考行背景亮度值将在8帧图像后更新为当前环境参数。统计参考行和光带图像的亮度总和，当满足预设过曝门限时，执行前述自动曝光方法，逐次递减曝光值，直到参考行和光带图像I的亮度总和低于各自的预设过曝门限。

关闭窗帘使得环境光瞬间减弱，这种变化将引起触控响应。为了屏蔽环境光瞬间减弱带来的误触控信号，需要分析误触控信号波形与正常触控信号波形，建立误触控信号模型。环境光瞬间减弱的特征包括：2组光学传感器获取的光带图像和参考行同时有大于一半的像素亮度值低于触发门限；2组光学传感器获取参考行亮度值的梯度小于正常触控信号的梯度；2组光学传感器获取的光带图像和参考行亮度值在5秒即300帧内相对不变。如同时满足上述3个条件，即认为出现了环境光瞬间减弱的条件，利用上述背景跟随法，光带图像背景亮度值和参考行背景亮度值将在8帧图像后更新为当前环境参数。统计参考行和光带图像的亮度总和，当满足预设欠曝门限时，执行上述自动曝光方法，逐次增加曝光值，直到参考行和光带图像I的亮度总和高于各自的预设欠曝门限。

所述参考行是有用信息的载体，参考行上的信息用于触控信号识别。

综上所述仅为本发明的较佳实施例而已，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化与修饰，都应为本发明的技术范畴。

Claims

1.一种光学触控屏的抗光干扰的图像信号处理方法，其特征在于，包括以下步骤：

步骤1：ARM处理器计算获得VGA图像中的最亮行位置，把最亮行的左右10行作为配置行图像左右边界，ARM处理器获取CMOS传感器的行中断并进行计数，当计到左边界行数-1时开启近红外LED，当计到右边界行数时关闭近红外LED，以获取该左右边界内的图像；

步骤2：基于亮度最大值对获取的图像进行选行，

步骤2.2：在左下和右下角触控位置独立选取边缘行作为参考行；

步骤3：记录正常触控和环境光瞬间变的参考行波形，建立触控波形特征和环境光瞬变波形特征，以区分当前图像触控信号和瞬变信号：如为环境光瞬变信号，则对背景图像进行重新配置、并进一步进行自动曝光处理；

其中：所述重新配置的背景图像为多帧图像的参考行平均亮度波形。

2.如权利要求1所述的图像信号处理方法，其特征在于，步骤2.1中，所述参考行像素值大于128且小于240；步骤2.2中，所述参考行像素值大于128且小于180。

3.如权利要求2所述的图像信号处理方法，其特征在于，所述参考行平均亮度波形为计算如下：

BG_n＝(BG+I)/2；

I = \frac{(I_{1} \times K_{1} + I_{2} \times K_{2} + ... I_{i} \times K_{i} ... + I_{N} \times K_{N})}{K_{1} + K_{2} + ... K_{i} .. + K_{N}};

其中，BG为初始参考亮度波形，N为多帧帧数，I_i为第i帧亮度，K_i为第i帧的亮度权重，I为参考亮度，则BG_n为参考行平均亮度波形。

4.如权利要求3所述的图像信号处理方法，其特征在于，所述自动曝光处理包括以下步骤：按预设的过曝和欠曝门限确定曝光范围，循环设置曝光值，直到所获取图像和参考行的亮度总和在允许的曝光范围内。