CN102855025B - 一种基于视觉注意模型的光学多点触控触点检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉注意模型的光学多点触控触点检测方法，包括以下流程：采集红外图像→红外图像预处理、得到目标图像→显著区域检测、得到显著图→显著值规整处理、得到规整后显著图→二值化处理→输出触点图像。本发明所采用的视觉注意模型，融合了图像特征和人类先验知识，降低了检测过程的随意性，较好的解决了非触点亮区噪声干扰的问题；本发明具有较好的通用性，适用于多种光学多点触控系统设计方案，并且不需增设额外的辅助设备；本发明能够同时检测光线较强和光照不均等多种复杂现实环境下的触点信号。综上，本发明能够适用于各种光线环境中进行触点检测，推动了光学多点触控检测领域的发展。

Description

一种基于视觉注意模型的光学多点触控触点检测方法

技术领域

本发明涉及一种光学多点触控触点检测方法，尤其涉及一种能够从环境光线不稳定及亮度分布不均匀的红外图像中分割出触点区域的基于视觉注意模型的光学多点触控触点检测方法。

背景技术

基于视觉的目标检测方法由于自身特性，使其容易受到外界环境因素的影响。光学多点触控系统通常采用特定波段的红外线作为光源，在实际应用中由于太阳光线散射的影响，往往会出现光源作用弱化和伪光源干扰的情况，导致图像传感器采集到的视频图像中常发生触点目标特征不明显甚至接触无反应的现象，或者干扰噪声过大，误将噪声区域识别为触点信息。另一方面，硬件设备可能存在的偏差，在一定程度上也增加了触点检测过程的难度。

目前大多数的多点触控产品都只能在特定的环境下使用，并且扩展性较差、不易维护。这些因素极大限制了光学多点触控产品的应用领域和发展空间。因此，为了增强光学多点触控产品的实用性，有效解决复杂环境下的触点检测是关键问题。

为了减少不稳定因素对光学多点触控系统的干扰，根据设计方法的不同，可将目前的触点检测改进方法划分为两大类：一类是通过增进辅助设备来提高触点的检测效率；另一类则主要基于运动目标检测的算法优化。

设备增进是一种从硬件方法入手的优化方法。其基本思想是通过对硬件平台的改造，使其能够满足特定用户或者特定环境的需求；或者在不改变原本架构的情况下，增加额外的辅助设备，通过多通道融合的方法以提高检测的准确率。这种方法的主要缺点是设计较为复杂，不仅需要预先设计好满足特定系统需求的硬件方案，增加了设计成本。此外，采用这种方法的系统扩展性不高、通用性不强，在环境或者需求改变后，不能进行快速有效的扩展，往往需要重新设计系统架构。

另一类触点检测改进方法主要是基于运动目标检测方法的优化。运动检测是一种经典的目标检测方法。这类方法主要采用数理统计的方法，通过建立背景模型来把当前图像分割成两部分，前景区域和背景区域。前景区域为检测过程得到输出结果，而背景区域则为图像中的干扰噪声。目前，实际应用中比较有代表性的运动检测算法大都基于背景减除法。背景减除法主要是利用当前图像与背景图像的差分来检测出运动物体，它一般能够提供最完全的特征数据，再配合形态学处理和团块面积约束，可以得到较好的触点检测结果。但这些方法，必须在室内光线较暗的环境下才能取得较好的触点检测效果，对于场景的动态变化，如光照等干扰因素特别敏感。而在实际应用中，应用环境很难维持稳定不变，极大限制了多点触控系统可实用性。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于视觉注意模型的光学多点触控触点检测方法，这种检测方法能够从环境光线不稳定及亮度分布不均匀的红外图像中分割出触点区域。

为了达到上述目的，本发明采用了以下技术方案：

本发明包括以下流程：采集红外图像→红外图像预处理、得到目标图像→显著区域检测、得到显著图→显著值规整处理、得到规整后显著图→二值化处理→输出触点图像。

所述流程中，红外图像预处理、得到目标图像的方法为：首先将红外图像按照色彩通道分解为红色通道信号、绿色通道信号和蓝色通道信号，然后通过亮度转化进行亮度值计算，得到亮度图像；然后利用双线性插值方法对亮度图像进行尺度变换，将其变换到分辨率为320×240至640×480之间的尺度空间，得到目标图像。所述亮度转化的公式为：

I＝0.3×R+0.52×G+0.18×B

式中，I为亮度值，R为红色通道像素值，G为绿色通道像素值，B为蓝色通道像素值。

所述流程中，显著区域检测、得到显著图的方法为：采用积分图递归计算方法求得对应积分图，然后通过矩形算子对目标图像进行掩模操作，根据特征向量公式来提取图像中显著区域的特征，得到显著图。所述特征向量公式为：

$F_I\left(v\right)=[F_{\mathrm{in}},F_{\mathrm{out}}]=[\left(\frac{1}{N_1}\underset{v_1\∈\mathrm{Rin}}{\mathrm{\Σ}}{p}_{v_1}\right),\left(\frac{1}{N_2}\underset{v_2\∈R_{\mathrm{out}}}{\mathrm{\Σ}}{p}_{v_2}\right)]$

式中，F_I(v)为坐标点v的特征向量，F_in为坐标点v的中心矩形区域内所有元素的亮度均值，F_out为坐标点v的外围矩形区域内所有元素的亮度均值，R_in为坐标点v的中心矩形区域，R_out为坐标点v的外围矩形区域，N₁为R_in中的像素总和，N₂为R_out中的像素总和，pv为坐标点v的像素值；所述Rin为3×3的中心矩形区域，所述R_out为21×21去除所述Rin后的外围矩形区域。

所述流程中，显著值规整处理、得到规整后显著图的方法为：首先去除暗性显著区域；然后进行特征拆分，扩展特征向量；对新特征向量进行排序；基于最值的距离比较；计算显著度，得到规整后显著图。

所述去除暗性显著区域的方法如下：

式中，s(v)表示坐标点v的元素值，F_in为坐标点v的中心矩形区域内所有元素的亮度均值，F_out为坐标点v的外围矩形区域内所有元素的亮度均值。

所述特征拆分方法为：将外围矩形区域按照内部矩形框顶点拆分为8块小的外围矩形区域，拆分公式如下：

$F_{\mathrm{out}}^i=\frac{1}{N_i}\underset{\mathrm{vi}\∈\mathrm{Ri}}{\mathrm{\Σ}}{p}_{\mathrm{vi}}$

式中，i＝1，2，……，8，N_i为矩形区域R_i中的像素总数，R_i为第i块小的外围矩形区域，pv_i为第i块小的外围矩形区域中坐标点v的像素值，Fⁱ _out为第i块小的外围矩形区域内所有元素的亮度均值。

所述基于最值的距离比较采用以下公式：

式中，s^c(v)表示未归一化的坐标点v的元素值，F¹ _max和F² _max分别表示元素值最大的两枚元素。

所述流程中，二值化处理的方法为：采用以下公式进行计算：

式中，b(v)表示分割结果，具体表示二值化后的坐标点v的元素值，b(v)＝1时表示该点为触点区域，b(v)＝0时表示该点为背景区域。

所述流程中，二值化处理之前还包括归一化处理。

所述归一化处理采用以下公式进行计算：

$S^c\left(v\right)=\frac{S^c\left(v\right)-S_{\min }^c}{S_{\max }^c-S_{\min }^c}$

式中，s^c _max和s^c _max分别为计算得到的未归一化的显著图中最大元素值和最小元素值。

在显著区域检测以及显著值规整处理过程中，本发明综合了自下而上的分析方法(即BuA：Bottom-up Analysis)和自上而下的分析方法(即TdA：Top-downAnalysis)这两种检测方法的特性，给出了一种采用视觉显著性为特征的新型光学多点触控检测方法。基于BuA的检测方法采用数据驱动模型，通过快速的从图像中提取特征，从而生成显著图来反映图像最终的显著程度，本发明采用图像中局部范围的亮度值差异为显著性特征。如果单纯的采用这种检测方法，会使得触点区域全被检测出来的同时，图像中具有亮度跳跃性的背景噪声信息也会被当作前景目标分割出来，所以本发明还采用了较为复杂的TdA检测方法，它结合具体的任务以及对于目标的先验知识提取出适合描述该物体的特征来得到检测结果，利用该方法可以较好的克服BuA检测结果的随意性，从而达到减少噪声的目的。

本发明的有益效果在于：

本发明采用局部显著性特征对触点实施检测，整个过程不需要进行背景建模，所有操作都为空域上的简单运算，在提高了算法环境鲁棒性的同时也保证了运行效率；本发明所采用的视觉注意模型，融合了图像特征和先验知识，降低了检测过程的随意性，较好的解决了非触点亮区噪声干扰的问题；本发明给出的触点检测方法具有较好的通用性，适用于多种光学多点触控系统设计方案，并且不需增设额外的辅助设备；本发明能够同时检测光线较强和光照不均等多种复杂光线环境下的触点信号，具有广泛的适用性，并可以推广到其他各种光线环境中的触点检测。

附图说明

图1是本发明的整体流程图；

图2是本发明实施所需三个阶段的示意框图；

图3是本发明中红外图像预处理的流程图；

图4是本发明中显著区域检测和显著值规整处理的具体流程示意图；

图5是本发明具体实施例所采用的流程示意图；

图6是采用本发明处理前的原始红外图像示意图；

图7是采用本发明处理后的清晰触点图像示意图。

具体实施方式

下面结合附图对本发明作进一步具体描述：

如图1和图2所示，本发明包括以下流程：采集红外图像→红外图像预处理、得到目标图像→显著区域检测、得到显著图→显著值规整处理、得到规整后显著图→二值化处理→输出触点图像。

与上述流程相对应地，如图1所示，在获取图像阶段，通过多点触控交互界面获取红外图像，即图像获取101，之后进行图像预处理，得到目标图像的图像信息102，然后进行自下而上分析BuA103，得到显著图104，再进行自上而下分析TdA105，得到规整后的显著图106，再进行二值化107处理，最后输出结果108，即得触点图像。

如图2所示，本发明的核心方法包括三个阶段，分别为数据准备201阶段、显著区域检测202阶段、显著值规整203阶段。

结合图1和图2，数据准备201阶段包括采集红外图像和红外图像预处理，得到目标图像；然后进入目标图像的显著区域检测202阶段，这个阶段与自下而上分析BuA103相对应，本阶段后得到显著图104；再进入显著值规整203阶段，这个阶段与自上而下分析TdA105相对应，本阶段后得到规整后的显著图106；最后输出结果108，与图2中的输出触点信息相对应。

在数字图像中，视觉较为敏感的特征主要有三类：亮度特征F_I、方向特征Fo和纹理特征F_T。其中F_I计算效率最快，并且较符合触点在图像中的区域型视觉变化。本发明采用局部亮度特征，其它视觉显著性特征依照本发明的处理流程，也能达到检测的目的。

由于红外图像中除了亮度通道以外，其它两个色彩通道都不具有较多的有效信息，所以在进行后续处理之前，须先将包括红色通道(R通道)、绿色通道(G通道)、蓝色通道(B通道)的三通道图像转化为只具有亮度信息I的单通道图像。另一方面，触点检测结果的好坏与原始图像分辨率大小也存在着联系，如果分辨率过大，则算法的处理时间也将随之增加，使系统不能满足实时性的要求，所以还需要对亮度图像进行尺寸变换。上述过程即为红外图像预处理过程。

如图3所示，先将红外图像的图像信号301按照色彩通道分解为R通道信号302、G通道信号303和B通道信号304，然后通过亮度转化305进行亮度值计算，得到亮度图像306；然后利用双线性插值方法对亮度图像306进行尺度变换307，将其变换到分辨率为320×240至640×480之间的尺度空间，得到目标图像308。上述亮度转化305采用的公式为：

I＝0.3×R+0.52×G+0.18×B

式中，I为亮度值，R为红色通道像素值，G为绿色通道像素值，B为蓝色通道像素值。从公式可以看出，三种颜色对亮度的转化系数由高到低为：绿色G、红色R、蓝色B。

对于目标图像的显著区域检测、得到显著图和显著值规整处理、得到规整后显著图是本发明的核心，如图4所示，首先对目标图像401采用积分图递归计算方法求得对应积分图402，然后通过矩形算子对目标图像进行掩模操作，进行特征图像提取403，根据以下特征向量公式来提取图像中显著区域的特征：

$F_I\left(v\right)=[F_{\mathrm{in}},F_{\mathrm{out}}]=[\left(\frac{1}{N_1}\underset{v_1\∈R_{\mathrm{in}}}{\mathrm{\Σ}}{p}_{v_1}\right),\left(\frac{1}{N_2}\underset{v_2\∈R_{\mathrm{out}}}{\mathrm{\Σ}}{p}_{v_2}\right)]$

式中，F_I(v)为坐标点v的特征向量，F_in为坐标点v的中心矩形区域内所有元素的亮度均值，即中心均值405，F_out为坐标点v的外围矩形区域内所有元素的亮度均值，即外围均值404，R_in为坐标点v的中心矩形区域，R_out为坐标点v的外围矩形区域，N₁为R_in中的像素总和，N₂为R_out中的像素总和，pv为坐标点v的像素值；所述Rin为3×3的中心矩形区域，所述R_out为21×21去除所述Rin后的外围矩形区域。

于是对于目标图像401与其相对应的显著图407，可定义为中心均值405与外围均值404关于坐标点v的距离比较406，其计算方法如下：

$s\left(v\right)=D\left(F_I\left(v\right)\right)={\left|\right|\frac{1}{N_1}\underset{v_1\∈R_{\mathrm{in}}}{\mathrm{\Σ}}{p}_{v_1}-\frac{1}{N_2}\underset{v_2\∈R_{\mathrm{out}}}{\mathrm{\Σ}}{p}_{v_2}\left|\right|}_2$

其中，D(·)为欧式距离函数。显著图407代表着图像中各区域的显著程度。

对于面积为N₁、N₂的矩形区域，由于采用均值法来计算内外矩形指尖的亮度差值，所以每一个像素发挥的作用都为原值的1/N₁或1/N₂，从而达到减少亮度分布不均和随机噪声的影响的目的。

利用亮度特征中心均值405与外围均值404可以实现对触点区域的初步定位，然而该定位结果是含有噪声的。另一方面，直接的套用距离比较406函数，使得计算得到的显著图407中既包括了亮性显著区域又含有暗性显著区域，然而通过先验知识可知暗性显著区域应该属于干扰噪声。综上所述，显著图407还需进行规整处理来消除干扰噪声，具体实施方法如下：

如图4所示，首先去除暗性显著区域408；然后进行特征拆分409，扩展特征向量；对新特征向量进行排序；基于最值的距离比较410；计算显著度，得到规整后显著图411。上述过程中，所述去除暗性显著区域的方法如下：

式中，s(v)表示坐标点v的元素值，F_in为坐标点v的中心矩形区域内所有元素的亮度均值，F_out为坐标点v的外围矩形区域内所有元素的亮度均值；

所述特征拆分方法为：将外围矩形区域按照内部矩形框顶点拆分为8块小的外围矩形区域，拆分公式如下：

$F_{\mathrm{out}}^i=\frac{1}{N_i}\underset{\mathrm{vi}\∈\mathrm{Ri}}{\mathrm{\Σ}}{p}_{\mathrm{vi}}$

式中，i＝1，2，……，8，N_i为矩形区域R_i中的像素总数，R_i为第i块小的外围矩形区域，pvi为第i块小的外围矩形区域中坐标点v的像素值，Fⁱ _out为第i块小的外围矩形区域内所有元素的亮度均值；

所述基于最值的距离比较采用以下公式：

式中，s^c(v)表示未归一化的坐标点v的元素值，F¹ _max和F² _max分别表示元素值最大的两枚元素。

采用此种计算策略，能够增加显著区域的约束性，能有效的去除线条、边框等非触点物体的干扰，只有与四周同时具有较强亮度差异的区域才能够取得较大的显著值，并且面积过大或者过小的亮性区域都将由于显著值过小而被去除。

然而，当前计算得到的规整后显著图411取值范围分散，为了达到整合的效果，还需对其进行一次归一化412操作，具体计算方法如下：

$S^c\left(v\right)=\frac{S^c\left(v\right)-S_{\min }^c}{S_{\max }^c-S_{\min }^c}$

式中，s^c _max和s^c _max分别为计算得到的未归一化的显著图中最大元素值和最小元素值。

最后，采用阈值对归一化412后的显著图411进行二值化413处理，并输出触点信息414。二值化413计算过程如下：

式中，b(v)表示分割结果，具体表示二值化后的坐标点v的元素值，b(v)＝1时表示该点为触点区域，b(v)＝0时表示该点为背景区域。

下面结合具体实施例对本发明作进一步具体说明：

通过下述实施例的描述，来了解本发明的诸多具体实现细节和优点。本领域普通技术人员能认识到，在没有这些具体细节中的一个或多个的情况下，仍能实施本发明，或者采用其它方法和材料也能实施本发明的思想和方法。另外，为了清楚顺畅的描述本发明的实施方案，对本领域普通技术人员熟知的结构、材料和操作没有给出或进行详细的说明。

如图5所示：

(1)首先输入红外图像501，然后对红外图像进行通道划分进行亮度转换502，亮度转换参考图3中305的计算公式：

I＝0.3×R+0.52×G+0.18×B  。

(2)对得到的亮度图像进行尺度变换503，利用双线性插值将图像分辨率缩放到图3中307规定的320×240至640×480之间的尺度空间，生成目标图像504。

(3)对目标图像进行计算积分图505，选取初始点(图像左上角)开始循环506。判断所选点坐标是否位于图像中507，如果不在图像中，则转入516；如果在图像中，则利用积分图计算该点特征向量508，方法参考图4中403，可通过对图像逐点进行如下计算完成：

$F_I\left(v\right)=[F_{\mathrm{in}},F_{\mathrm{out}}]=[\left(\frac{1}{N_1}\underset{v_1\∈R_{\mathrm{in}}}{\mathrm{\Σ}}{p}_{v_1}\right),\left(\frac{1}{N_2}\underset{v_2\∈R_{\mathrm{out}}}{\mathrm{\Σ}}{p}_{v_2}\right)]$

式中，F_I(v)为坐标点v的特征向量，F_in为坐标点v的中心矩形区域内所有元素的亮度均值，F_out为坐标点v的外围矩形区域内所有元素的亮度均值，R_in为坐标点v的中心矩形区域，R_out为坐标点v的外围矩形区域，N₁为R_in中的像素总和，N₂为R_out中的像素总和，pv为坐标点v的像素值；所述Rin为3×3的中心矩形区域，所述R_out为21×21去除所述Rin后的外围矩形区域。

(4)通过亮度特征判断该坐标点v是否是亮性显著区域509，若为亮性显著区域则需进行511-514的操作，否则直接将该点的显著值赋值为零510。参考图4中去除暗性显著区域408，采用如下的判别方法：

式中，s(v)表示坐标点v的元素值，F_in为坐标点v的中心矩形区域内所有元素的亮度均值，F_out为坐标点v的外围矩形区域内所有元素的亮度均值。

(5)在确定该点为亮性显著区域后，需扩展特征向量511，将外围矩形区域按照内部矩形框顶点拆分为8个小的外围矩形区域，计算方法与操作508类似，参考图4中特征拆分409。

(6)逐步完成对新特征向量排序512和筛选合适特征元素513，选取特征值最大的两个特征元素，计算该点显著度514，参考图4中410公式：

式中，s^c(v)表示未归一化的坐标点v的元素值，F¹ _max和F² _max分别表示元素值最大的两枚元素。

(7)移至下一坐标点515，重复执行507-515，直至所有像素点都处理完，生成经过规整处理的显著图516，并将显著图归一化517，使取值分布紧密，参照图4中412，计算描述如下式：

$S^c\left(v\right)=\frac{S^c\left(v\right)-S_{\min }^c}{S_{\max }^c-S_{\min }^c}$

式中，s^c _max和s^c _max分别为计算得到的未归一化的显著图中最大元素值和最小元素值。

(8)采用阈值分割计算方法将显著图二值化518，输出触点图像519。计算过程参照图4中413公式：

式中，b(v)表示分割结果，具体表示二值化后的坐标点v的元素值，

b(v)＝1时表示该点为触点区域，b(v)＝0时表示该点为背景区域。

最后，如图6所示，采集的原始图像为模糊的红外图像，如图7所示，经过本发明处理后的图像为清晰的触点图像，效果显著。

Claims (4)

1.一种基于视觉注意模型的光学多点触控触点检测方法，其特征在于：包括以下流程：采集红外图像→红外图像预处理、得到目标图像→显著区域检测、得到显著图→显著值规整处理、得到规整后显著图→二值化处理→输出触点图像；所述流程中，显著区域检测、得到显著图的方法为：采用积分图递归计算方法求得对应积分图，然后通过矩形算子对目标图像进行掩模操作，根据特征向量公式来提取图像中显著区域的特征，得到显著图，所述特征向量公式为：

$F_I\left(v\right)=[F_{\mathrm{in}},F_{\mathrm{out}}]=[\left(\frac{1}{N_1}\underset{v_1\∈R_{\mathrm{in}}}{\mathrm{\Σ}}{p}_{v_1}\right),\left(\frac{1}{N_2}\underset{v_2\∈R_{\mathrm{out}}}{\mathrm{\Σ}}{p}_{v_2}\right)]$

式中，F_I(v)为坐标点v的特征向量，F_in为坐标点v的中心矩形区域内所有元素的亮度均值，F_out为坐标点v的外围矩形区域内所有元素的亮度均值，R_in为坐标点v的中心矩形区域，R_out为坐标点v的外围矩形区域，N₁为R_in中的像素总和，N₂为R_out中的像素总和，pv为坐标点v的像素值；所述R_in为3×3的中心矩形区域，所述R_out为21×21去除所述R_in后的外围矩形区域；

所述流程中，显著值规整处理、得到规整后显著图的方法为：首先去除暗性显著区域；然后进行特征拆分，扩展特征向量；对新特征向量进行排序；基于最值的距离比较；计算显著度，得到规整后显著图，所述去除暗性显著区域的方法如下：

式中，s(v)表示坐标点v的元素值，F_in为坐标点v的中心矩形区域内所有元素的亮度均值，F_out为坐标点v的外围矩形区域内所有元素的亮度均值；

所述特征拆分方法为：将外围矩形区域按照内部矩形框顶点拆分为8块小的外围矩形区域，拆分公式如下：

$F_{\mathrm{out}}^i=\frac{1}{N_i}\underset{\mathrm{vi}\∈\mathrm{Ri}}{\mathrm{\Σ}}{p}_{\mathrm{vi}}$

式中，i＝1，2，……，8，N_i为矩形区域R_i中的像素总数，R_i为第i块小的外围矩形区域，pv_i为第i块小的外围矩形区域中坐标点v的像素值，Fⁱ _out为第i块小的外围矩形区域内所有元素的亮度均值；

所述基于最值的距离比较采用以下公式：

式中，s^c(v)表示未归一化的坐标点v的元素值，F¹ _max和F² _max分别表示元素值最大的两枚元素。

2.根据权利要求1所述的基于视觉注意模型的光学多点触控触点检测方法，其特征在于：所述流程中，红外图像预处理、得到目标图像的方法为：首先将红外图像按照色彩通道分解为红色通道信号、绿色通道信号和蓝色通道信号，然后通过亮度转化进行亮度值计算，得到亮度图像；然后利用双线性插值方法对亮度图像进行尺度变换，将其变换到分辨率为320×240至640×480之间的尺度空间，得到目标图像。

3.根据权利要求2所述的基于视觉注意模型的光学多点触控触点检测方法，其特征在于：所述亮度转化的公式为：

I＝0.3×R+0.52×G+0.18×B

式中，I为亮度值，R为红色通道像素值，G为绿色通道像素值，B为蓝色通道像素值。

4.根据权利要求1所述的基于视觉注意模型的光学多点触控触点检测方法，其特征在于：所述流程中，二值化处理之前还包括归一化处理。