CN103793113A - 一种光学触摸模组的成像定位方法及光学触摸控制设备 - Google Patents

Abstract

本发明提出一种光学触摸模组的成像定位方法，包括：在触摸屏的矩形交互区的四个顶点处分别设置红外光源和相机，并且在触摸屏的每个边框处设置反光条；检测交互触摸区是否存在触点，如果是则根据产生该触点的触摸物在每路相机中的阴影目标；分别将触摸物在每路相机中成像位置转换为板面坐标系中的方向，计算触摸物在每路相机的方向数据；根据触摸物在四路相机的方向数据进行定位，得到触点在触摸屏的坐标位置；分析触点对应区域上部的二维图像，采用形态学图像处理以获取触点对应的触摸物的类型。本发明还提出一种光学触摸控制设备。本发明可以实现多点触控及全屏精确触摸，并且可以对触摸物分类进行识别。

Description

一种光学触摸模组的成像定位方法及光学触摸控制设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种光学触摸模组的成像定位方法及光学触摸控制设备。

背景技术

小面积屏幕初期以电容，电阻为主，近几年随着大尺寸屏幕的发展，提出了新的需求。各种触摸屏的特点是优缺参半，现有的触摸屏以红外、电容、表面声波和电阻屏为主，但这几种技术也都存在着瑕疵，下面分别进行说明。

（1）红外触摸屏

A）依靠红外发送接收对发现触点，器件密度和功率限制管对数量，分辨率较低；

B）传感器太多易损坏；

C）需要分时计算各个红外管的信号，反应慢。

（2）电容触摸屏

A）表面非裸露，透光率低且反光强；

B）受限于大面积面板的坏点率，大面积成本高，易损坏；

C）触点有漂移。

（3）电阻触摸屏

A）表面非裸露且有电阻遮挡，透光率低且反光强；

B）受限于大面积面板的坏点率，大面积成本高，易损坏；

C）触点有漂移；

D）怕划伤。

（4）表面声波

A）透光率低；

B）触点有漂移；

C）抵抗干扰的能力较差；

D）需要一定的触摸压力。

综上，传统的光学触摸屏具有以下缺点：

A）点数少，无法完美触控；

B）镜头分布有先天缺陷，无法全屏精确触摸；

C）线列信号，无法排除屏幕触摸空间中出现的干扰；

D）无冗余，一个摄像头异常整个设备就无法使用；

E）无法区分触摸物类型；

F）抗光能力较差，日光直射时无法正常使用。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的一个目的在于提出一种光学触摸模组的成像定位方法，该方法可以实现多点触控及全屏精确触摸，并且可以对触摸物分类进行识别。本发明的另一个目的在于提出一种光学触摸控制设备。

为了实现上述目的，本发明第一方面的实施例提供一种光学触摸模组的成像定位方法，包括如下步骤：

在触摸屏的矩形交互区的四个顶点处分别设置红外光源和相机，并且在所述触摸屏的每个边框处设置反光条，其中所述红外光源向所述矩形交互区提供红外光源，每路所述相机采集所述反光条上的图像，所述四路相机的可见区域的交集为交互触摸区；

检测所述交互触摸区是否存在触点，如果检测到触点，则获取产生该触点的触摸物在每路所述相机中的阴影目标，其中，所述触摸物在所述红外光源的照射下，在所述反光条的对应位置上形成阴影；

根据每路所述相机的镜头参数和阴影目标，分别将所述触摸物在每路相机中成像位置转换为板面坐标系中的方向，计算所述触摸物在每路相机的方向数据；

根据所述触摸物在四路所述相机的方向数据进行定位，得到每路方向上所述触点在所述触摸屏的坐标位置；

使用带有标记环的触摸笔，分析所述触点对应区域上部的二维图像，采用形态学图像处理以获取所述触点对应的触摸物的类型，

$\begin{array}{cc}l\left(i\right)=l\left(i\right)+1& \mathrm{if}\tilde{D}\left(i\right)\≥T_4;\end{array}$

$\left\{\begin{array}{cc}C=0& \mathrm{ifl}\left(i\right)\&GreaterEqual;T_5\\ C=1& \mathrm{ifl}\left(i\right)<T_5\end{array};\right.$

其中，l(i)为所述触点对应区域上部的二维图像中连续高亮区块的个数，

为差值图像，T4为触摸笔反光强度的最小值，T₅为预设阈值，当l(i)≥T₅时，判断触摸物为触摸笔；当l(i)<T₅时，判断触摸物为手指，根据在四路相机的方向上判断得到的触摸物类型结果综合判决触摸物的类型，首先根据成像的边界合成触摸点在屏幕上构成的多边形区域，计算多边形的面积获得触摸点的面积，其中，触摸点的面积大的优先判定为大体积目标触摸物，然后判定发现触摸笔类型的计算电路板的数量，判决触摸物的类型为触摸笔或者手指。

在本发明的一个实施例中，在每路所述相机采集到图像后，还包括如下步骤：自适应的双重背景更新以获取正式背景，

$\left\{\begin{array}{cc}\tilde{B}\left(i\right)=\frac{1}{N}{\mathrm{\&Sigma;}}_{k=1}^N{I}_k\left(i\right)& \mathrm{if}{t}_1\&GreaterEqual;T_1\\ B\left(i\right)=\tilde{B}\left(i\right)& \mathrm{if}{t}_2\&GreaterEqual;T_2\end{array}\right.,$

其中，I_k(i)为第k帧采集图像，为暂存背景，B(i)为正式背景，每隔T₁帧使用N帧图像构建背景，待更新完T₂帧无触点，转为正式背景。

在本发明的又一个实施例中，还包括如下步骤：统计成像带的灰度分布以获取所述触摸物的高度和角度，

$\tilde{D}\left(i\right)=B\left(i\right)-I\left(i\right),$

其中，

为差值图像，

所述触摸物的高度为：

$\left\{\begin{array}{cc}m\left(j\right)=m\left(j\right)+1& \mathrm{if}\tilde{D}(i*W+j)\&GreaterEqual;T_3\\ n\left(j\right)=n\left(j\right)+1& \mathrm{if}\tilde{D}(i*W+j)\&le;T_3\end{array}\right.,$

h(j)=n(j)，

其中，m(j)为单列前景，n(j)为单列背景，W为图像列数，T₃为判定阈值，h为当前列的触摸距离成像高度；

所述触摸物的角度为：

$\mathrm{\&beta;}=\frac{1}{2}({\tan }^{-1}\left(\frac{y_{\mathrm{lt}}-y_{\mathrm{ld}}}{x_{\mathrm{lt}}-x_{\mathrm{ld}}}\right)+{\tan }^{-1}\left(\frac{y_{\mathrm{rt}}-y_{\mathrm{rd}}}{x_{\mathrm{rt}}-x_{\mathrm{rd}}}\right)),$

其中， β为触摸成像倾斜角度，x为触摸物成像区域四边形顶点的横坐标，y为触摸物成像区域四边形顶点的纵坐标。

在本发明的再一个实施例中，还包括如下步骤：利用灰度梯度计算所述触摸物的边缘，

$D\left(j\right)=\frac{1}{m\left(j\right)}{\mathrm{\&Sigma;}}_{i=1}^{m\left(j\right)}\tilde{D}(i*W+j),$

C(j)=D(j)-D(j-1)，

其中，D为统计差值的均值，G为差分计算梯度。

在本发明的一个实施例中，在每路所述相机采集图像之前，还包括如下步骤：对所述相机的镜头进行标定，使用插值算法生成镜头校正表，

$\left\{\begin{array}{cc}\tilde{P}\left(i\right)=T\left(i\right)& \mathrm{if}{P\left(i\right)}_{\min }={P\left(i\right)}_{\max }\\ \tilde{P}\left(i\right)=\frac{{T\left(i\right)}_{\min }}{P\left(i\right)-{P\left(i\right)}_{\min }}+\frac{{T\left(i\right)}_{\max }}{{P\left(i\right)}_{\max }-P\left(i\right)}& \mathrm{if}{P\left(i\right)}_{\min }\&NotEqual;{P\left(i\right)}_{\max }\end{array}\right.,$

其中，P(i)为检测的成像位置，P(i)_min为转换表中和检测位置最接近的最小值，P(i)_max为转换表中和检测位置最接近的最大值，如果检测位置有对应的表值，查表获得转换的成像

如果不存在，查到最近邻表值对应的两个值T(i)_min和T(i)_max，线性插值获得转换的成像

。

在本发明的又一个实施例中，还包括如下步骤：根据成像信息和相机的镜头参数，利用距离张角计算所述触摸物与所述触摸屏的板面的触摸距离，

ω(i)=Cωn(i),

$h\left(i\right)=\mathrm{\&omega;}{\left(i\right)}^2\sqrt{{(x-c_x)}^2+{(y-c_y)}^2},$

其中，C_ω为成像高度和实际角度的比例参数，由镜头光学参数计算得到；ω(i)为成像未穿透部分对应的镜头前张角，x和y为当前点的位置，c_x和c_y为镜头中心世界坐标，h(i)为触摸距离。

在本发明的再一个实施例中，还包括如下步骤：根据所述成像信息，利用多向投影计算初步角度对所述触点的位置进行校准，

$\left\{\begin{array}{c}{z}_x\left(i\right)=\frac{1}{4}{\mathrm{\&Sigma;}}_{i=0}^3\mathrm{\&beta;}\left(i\right)r_x\left(i\right)\\ z_y\left(i\right)=\frac{1}{4}{\mathrm{\&Sigma;}}_{i=0}^3\mathrm{\&beta;}\left(i\right)r_y\left(i\right)\end{array}\right.,$

z(i)=max(β(i))，

$r\left(i\right)=\sqrt[2]{z_x{\left(i\right)}^2+z_y{\left(i\right)}^2},$

$\mathrm{\&theta;}\left(i\right)={\sin }^{-1}\frac{z_x\left(i\right)}{r\left(i\right)},$

其中，r_x(i)和r_y(i)为投影矢量，r_x(i)和r_y(i)根据坐标系预设；z_x(i)和z_y(i)为图像的倾斜角在世界坐标的投影，r(i)为投影向量的大小，θ(i)为计算得到的触笔的水平倾斜投影方向，

计算得到的触笔与z轴的夹角。

根据本发明实施例的光学触摸模组的成像定位方法，通过光电的方式将部件的位置或位移转换成为代码形式，是用于用户和计算机之间交互的输入或者输入和输出组合。本发明采用小距离触点保持机制，小的触点位置计算变化不修改发送位置，变化阈值来源于普通双击或长时间定点触摸时手指可能的最大移动距离，从而使得定点触控更稳定。并且，采用触摸物类型保持机制，可以屏蔽孤立帧的类型检测错误，使得类型的变化更符合一般的操作习惯。此外，本发明采用4～16点屏幕位置校准方法，具有稳定不漂移的特点，并且无需重新启动系统，标完即可准确出点。

本发明第二方面的实施例提供一种光学触摸控制设备，包括：触摸屏，所述触摸屏包括底板和边框，其中，在所述底板上设置有矩形交互区，在每个所述边框处设置反光条；角部成像模组，所述角部成像模组包括红外光源和四路相机，其中，所述红外光源和四路相机分别设置于所述矩形交互区的四个顶点，所述红外光源用于向所述矩形交互区提供红外照射，每路所述相机用于采集所述反光条上的图像，所述四路相机的可见区域的交集为交互触摸区；主控电路板，用于检测所述交互触摸区是否存在触点，如果检测到触点，则发送成像数据计算指令；计算电路板，用于在接收到所述主控电路板的成像数据计算指令后，获取产生该触点的触摸物在每路所述相机中的阴影目标，其中，所述触摸物在所述红外光源的照射下，在所述反光条的对应位置上形成阴影，以及根据每路所述相机的镜头参数和阴影目标，分别将所述触摸物在每路相机中成像位置转换为板面坐标系中的方向，计算所述触摸物在每路相机的方向数据，并将所述方向数据发送至所述主控电路板，其中，所述计算电路板还用于根据所述触摸物在四路所述相机的方向数据进行定位，得到每路方向上所述触点在所述触摸屏的坐标位置，以及分析所述触点对应区域上部的二维图像，采用形态学图像处理以获取所述触点对应的触摸物的类型，

$\begin{array}{cc}l\left(i\right)=l\left(i\right)+1& \mathrm{if}\tilde{D}\left(i\right)\&GreaterEqual;T_4;\end{array}$

$\left\{\begin{array}{cc}C=0& \mathrm{ifl}\left(i\right)\&GreaterEqual;T_5\\ C=1& \mathrm{ifl}\left(i\right)<T_5\end{array};\right.$

其中，l(i)为所述触点对应区域上部的二维图像中连续高亮区块的个数，

为差值图像，T4为触摸笔反光强度的最小值，T₅为预设阈值，当l(i)≥T₅时，判断触摸物为触摸笔；当l(i)<T₅时，判断触摸物为手指；所述主控电路板还用于根据计算电路板在四路相机的方向上判断得到的触摸物类型综合判决触摸物的类型，首先根据成像的边界合成触摸点在屏幕上构成的多边形区域，计算多边形的面积获得触摸点的面积，其中，触摸点的面积大的优先判定为大体积目标触摸物，然后判定发现触摸笔类型的计算电路板的数量，判决触摸物的类型为触摸笔或者手指。

在本发明的一个实施例中，每个所述相机的可见范围等于或大于90度的直角范围。

在本发明的另一个实施例中，所述计算电路板还用于根据成像信息和相机的镜头参数，利用距离张角计算所述触摸物与所述触摸屏的板面的触摸距离，

ω(i)=Cωn(i),

$h\left(i\right)=\mathrm{\&omega;}{\left(t\right)}^2\sqrt{{(x-c_x)}^2+{(y-c_y)}^2},$

其中，C_ω为成像高度和实际角度的比例参数，由镜头光学参数计算得到；ω(i)为成像未穿透部分对应的镜头前张角，x和y为当前点的位置，c_x和c_y为镜头中心世界坐标，h(i)为触摸距离。

根据本发明实施例的光学触摸控制设备，通过光电的方式将部件的位置或位移转换成为代码形式的触控设备，是用于用户和计算机之间交互的输入装置或者输入和输出组合装置。本发明采用小距离触点保持机制，小的触点位置计算变化不修改发送位置，变化阈值来源于普通双击或长时间定点触摸时手指可能的最大移动距离，从而使得定点触控更稳定。并且，采用触摸物类型保持机制，可以屏蔽孤立帧的类型检测错误，使得类型的变化更符合一般的操作习惯。此外，本发明实施例的光学触摸控制设备采用4～16点屏幕位置校准方法，具有稳定不漂移的特点，并且无需重新启动系统，标完即可准确出点。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的光学触摸模组的成像定位方法的流程图；

图2为根据本发明实施例的光学触摸控制设备的示意图；

图3为根据本发明实施例的触摸屏的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明的光学触摸模组的成像定位方法综合利用硬件和软件部分，其中硬件部分主要包括触摸屏及其控制设备，用于实现信号采集。软件部分主要是在硬件采集的数据的基础上进行触点的检测、定位、跟踪及发送。

下面参考图1对本发明实施例的光学触摸模组的成像定位方法进行描述。

如图1所示，本发明实施例提供的光学触摸模组的成像定位方法，包括如下步骤：

步骤S1，在触摸屏的矩形交互区的四个顶点处分别设置红外光源和相机，并且在触摸屏的每个边框处设置反光条。具体地，红外光源和相机分别位于矩形交互区的四个顶点处，在边框处分别设置有反光条。其中，反光条为经过特殊设计的，其可以让红外光原路返回。特殊的光源设计，保证回光接收的均匀性，提取信号更敏锐，响应更精确。并且，高反光率，大角度反射率衰减小的反光条设计，可以适应大尺寸和大长宽比的屏幕（65～120）。

在本发明的实施例中，通过横向投影分割和纵向阶跃检测判定反光条区域。反光条区域可以自适应的精确定位，其搬运和冲击不影响正常使用。

此外，红外光源可以向矩形交互区提供红外光源。每路相机可以采集反光条上的图像。在本发明的实施例中，四路相机的可见区域的交集为交互触摸区。

在本发明的一个示例中，每个相机的可见范围等于或大于90度的直角范围。

在本发明的一个实施例中，在每路相机采集图像之前，还包括如下步骤：自动对相机的镜头进行标定，使用插值算法生成镜头校正表，可以快速精确解决镜头畸变带来的精度恶化。

$\left\{\begin{array}{cc}\tilde{P}\left(i\right)=T\left(i\right)& \mathrm{if}{P\left(i\right)}_{\min }={P\left(i\right)}_{\max }\\ \tilde{P}\left(i\right)=\frac{{T\left(i\right)}_{\min }}{P\left(i\right)-{P\left(i\right)}_{\min }}+\frac{{T\left(i\right)}_{\max }}{{P\left(i\right)}_{\max }-P\left(i\right)}& \mathrm{if}{P\left(i\right)}_{\min }\&NotEqual;{P\left(i\right)}_{\max }\end{array}\right.,---\left(1\right)$

其中，P(i)为检测的成像位置，P(i)_min为转换表中和检测位置最接近的最小值，P(i)_max为转换表中和检测位置最接近的最大值，如果检测位置有对应的表值，查表获得转换的成像

如果不存在，查到最近邻表值对应的两个值T(i)_min和T(i)_max，线性插值获得转换的成像

在本发明的又一个实施例中，在每路相机采集到图像后，还包括如下步骤：自适应进行双重背景更新以获取正式背景，

其中， $\left\{\begin{array}{cc}\tilde{B}\left(i\right)=\frac{1}{N}{\mathrm{\&Sigma;}}_{k=1}^N{I}_k\left(i\right)& \mathrm{if}{t}_1\&GreaterEqual;T_1\\ B\left(i\right)=\tilde{B}\left(i\right)& \mathrm{if}{t}_2\&GreaterEqual;T_2\end{array}\right.,---\left(2\right)$

其中，I_k(i)为第k帧采集图像，

为暂存背景，B(i)为正式背景，每隔T₁帧使用N帧图像构建背景，待更新完T₂帧无触点，转为正式背景。其中，阈值T₁和阈值T₂均为经验值。

通过采用自适应的背景构建，可以在环境光变化的条件下正常使用。自适应的双重背景更新，其使用可以不受环境光变化的干扰。

此外，本发明在对图像处理过程中，进一步采用以下技术：通过带过滤的成像接收，提高信号计算部分对外界光变化的适应能力，日光照射下正常使用。并且，本发明采用可调的曝光参数设计，从而可以有效抵抗器件老化和磨损带来的性能下降。另外，本发明对成像采用分步曝光设计，使得每个顶点的光路互不干扰，可扩充性好。

步骤S2，检测交互触摸区是否存在触点，如果检测到触点，则获取产生该触点的触摸无在每路相机中的阴影目标。其中，触摸物在红外光源的照射下，在反光条的对应位置上会形成阴影。

如果检测到交互触摸区没有触点时，则通过红外光源的回归反射，每路相机都可以可拍摄到白色亮条。如果有触点时，则红外光源发出的光线将被遮挡，在亮带的对应位置上将出现阴影。

步骤S3，根据每路相机的镜头参数和阴影目标，分别将触摸物在每路相机中成像位置转换为板面坐标系中的方向，计算该触摸物在每路相机的方向数据。

利用图像处理方法检测每路相机中的阴影目标和相机镜头参数，转换成像位置为板面坐标系中的方向，综合四路相机得到的方向数据进行定位，可以得到单个点的坐标位置。

在多点的情况下，通过触点成像相互遮挡占用，以及四个方向成像计算位置的合成置信度来判定触点是否存在，然后使用跟踪机制确保触点成为一个连贯的序列，可以支持多点的书写和操作。

在本发明的实施例中，简化成像与世界坐标的转换计算，不需要计算相机安装角度，从而没有复杂三角函数，精度高且速度快。

$\left\{\begin{array}{c}k=-\frac{L_{0}x+L_1}{L_{2}x+L_3}\\ b=c_y-{\mathrm{kc}}_x\end{array}\right.---\left(3\right)$

c_x和c_y为镜头中心世界坐标，L₀至L₃是转换参数，k和b是成像对应的直线在世界坐标系下的点斜式方程参数。上述是由镜头的安装位置和角度决定的参数，安装位置是直接的位置参数，角度参数是由包含安装的3轴倾角参数的公式推算简化得到。

镜头校验和选择机制，即使存在异常相机，在维修之前使用其余的相机也可正常使用。成像数据选择机制，全局精度一致，不存在局部偏移增大的问题。

本发明可以采用3角测量计算触摸物的位置，其中，

$\left\{\begin{array}{c}x=\frac{b_1-b_2}{k_2-k_1}\\ y=k_{1}x+b_1\end{array}\right.---\left(4\right)$

其中，x和y为参数为k₁b₁和k₂k₂的两条直线的交点坐标。

转换成像位置为板面坐标系中的方向时，使用自动的镜头坐标和转换参数标定，只需要使用六个触点，就可以完成参数计算，简单易用，精度高且无漂移。

在本发明的实施例中，综合成像置信度，合成置信度和帧间反馈机制，从而近距离点能够准确识别。

$\mathrm{\&rho;}=\frac{S_{\min }}{S_{\mathrm{rect}}}{\mathrm{\&rho;}}_p{\mathrm{\&rho;}}_d,---\left(5\right)$

$\left\{\begin{array}{cc}{\mathrm{\&rho;}}_p=0.6& \mathrm{if}{m}_p=1\\ {\mathrm{\&rho;}}_p=1.0& \mathrm{if}{m}_p=0\end{array}\right.---\left(6\right)$

$\left\{\begin{array}{cc}{\mathrm{\&rho;}}_d=0.6& \mathrm{if}{d}_p=\min \left(d_p\left(k\right)\right)\\ {\mathrm{\&rho;}}_d=1.0& \mathrm{else}\end{array}\right.---\left(7\right)$

ρρ_pρ_d分别是置信度，对称修正和帧间修正，S_min和S_rect是计算初始置信的两个叠加区域面积，m_p是对称标记，d_p是帧间修正，在全局帧间匹配的距离是所有可能的匹配距离d_p(k)中最小。

步骤S4，根据触摸物在四路相机的方向数据进行定位，得到每路方向上所述触点在触摸屏的坐标位置。

在本发明的一个实施例中，根据成像信息，利用多向投影计算初步角度对触点的位置进行校准。具体地，根据成像信息使用多向投影计算初步角度，配合高度补偿以提高触摸精度，并解决触笔角度变化带来的位置漂移。

$\left\{\begin{array}{c}{z}_x\left(i\right)=\frac{1}{4}{\mathrm{\&Sigma;}}_{i=0}^3\mathrm{\&beta;}\left(i\right)r_x\left(i\right)\\ z_y\left(i\right)=\frac{1}{4}{\mathrm{\&Sigma;}}_{i=0}^3\mathrm{\&beta;}\left(i\right)r_y\left(i\right)\end{array}\right.,---\left(8\right)$

z(i)=max(β(i)，  (9)

$r\left(i\right)=\sqrt[2]{z_x{\left(i\right)}^2+z_y{\left(i\right)}^2},---\left(10\right)$

$\mathrm{\&theta;}\left(i\right)={\sin }^{-1}\frac{z_x\left(i\right)}{r\left(i\right)},---\left(11\right)$

其中，r_x(i)和r_y(i)为投影矢量，r_x(i)和r_y(i)根据坐标系预设；z_x(i)和z_y(i)为图像的倾斜角在世界坐标的投影，r(i)为投影向量的大小，θ(i)为计算得到的触笔的水平倾斜投影方向，

计算得到的触笔与z轴的夹角。

在本发明的一个实施例中，本步骤中还包括如下步骤：统计成像带的灰度分布以获取触摸物的高度和角度，

$\tilde{D}\left(i\right)=B\left(i\right)-I\left(i\right),---\left(13\right)$

其中，

为差值图像，

触摸物的高度为：

$\left\{\begin{array}{cc}m\left(j\right)=m\left(j\right)+1& \mathrm{if}\tilde{D}(i*W+j)\&GreaterEqual;T_3\\ n\left(j\right)=n\left(j\right)+1& \mathrm{if}\tilde{D}(i*W+j)\&le;T_3\end{array}\right.,---\left(14\right)$

h(j)=n(j)，  (I5)

其中，m(j)为单列前景，n(j)为单列背景，W为图像列数，T₃为判定阈值，h为当前列的触摸距离成像高度，阈值T₃为经验值。

触摸物的角度为：

$\mathrm{\&beta;}=\frac{1}{2}({\tan }^{-1}\left(\frac{y_{\mathrm{lt}}-y_{\mathrm{ld}}}{x_{\mathrm{lt}}-x_{\mathrm{ld}}}\right)+{\tan }^{-1}\left(\frac{y_{\mathrm{rt}}-y_{\mathrm{rd}}}{x_{\mathrm{rt}}-x_{\mathrm{rd}}}\right)),---\left(16\right)$

其中， β为触摸成像倾斜角度，x为触摸物成像区域四边形顶点的横坐标，y为触摸物成像区域四边形顶点的纵坐标。

在本发明的又一个实施例中，利用灰度梯度计算触摸物的边缘，

$D\left(j\right)=\frac{1}{m\left(j\right)}{\mathrm{\&Sigma;}}_{i=1}^{m\left(j\right)}\tilde{D}(i*W+j),---\left(17\right)$

G(j)=D(j)-D(j-1),  (18)

其中，D为统计差值的均值，G为差分计算梯度。计算梯度的极大值和极小值，触摸位置位于极大和极小之间，选择极值对原则：（1）中心差值幅度和极值绝对值超过阈值；（2）极大和极小之间距离小于阈值，笔宽成像大小有限；（3）极值对应的图像平均灰度小于阈值，阈值为经验值.

此外，本发明可以根据成像信息和镜头参数，并利用距离张角计算触摸物与触摸屏的板面触摸距离，即触摸物距离触摸屏的板面的高度，可以解决蚊蝇和袖口等干扰。

ω(i)=C_ωn(i),  (19)

$h\left(i\right)=\mathrm{\&omega;}{\left(i\right)}^2\sqrt{{(x-c_x)}^2+{(y-c_y)}^2},---\left(20\right)$

其中，C_ω为成像高度和实际角度的比例参数，由镜头光学参数计算得到；ω(i)为成像未穿透部分对应的镜头前张角，x和y为当前点的位置，c_x和c_y为镜头中心世界坐标，h(i)为触摸距离。

综上，通过对目标成像的精确计算，可以获得目标距板面的距离以及垂直向高度，达到低触摸反应距离和对抗蚊蝇等小目标干扰的目的。

步骤S5，使用带有标记环的触摸笔，分析触点对应区域上部的二维图像，采用形态学图像处理以获取触点对应的触摸物的类型。

具体地，特殊设计的触笔在成像中有明确的标记，可以和触点有效区别，分析触点区域上部的二维图像，使用形态学图像处理，获得触摸物的类型为触笔或手指。

$\begin{array}{cc}l\left(i\right)=l\left(i\right)+1& \mathrm{if}\tilde{D}\left(i\right)\&GreaterEqual;T_4;\end{array}----\left(21\right)$

$\left\{\begin{array}{cc}C=0& \mathrm{ifl}\left(i\right)\&GreaterEqual;T_5\\ C=1& \mathrm{ifl}\left(i\right)<T_5\end{array};\right.---\left(22\right)$

其中，l(i)为触点对应区域上部的二维图像中连续高亮区块的个数，为差值图像，T4为触摸笔反光强度的最小值，T₅为预设阈值，当l(i)≥T₅时，判断触摸物为触摸笔；当l(i)<T₅时，判断触摸物为手指。其中，阈值T₅与成像的平均亮度相关。

根据在四路相机的方向上判断得到的触摸物类型结果综合判决触摸物的类型，首先根据成像的边界合成触摸点在屏幕上构成的多边形区域，计算多边形的面积获得触摸点的面积，其中，触摸点的面积大的优先判定为大体积目标触摸物，大体积触摸物例如为板擦等，然后判定发现触摸笔类型的计算电路板的数量，判决触摸物的类型为触摸笔或者手指等无标志的触摸物。

通过相机对目标的宽度和类型的识别，综合四路相机的结果，可以区分手指，触摸笔和板擦，从而获得更好的操作体验。

在本发明的实施例中，使用位移、速度及加速度的运动模型，更好的适应变速的书写过程。

$\left\{\begin{array}{c}s=s_0+v_0\&times;t+\frac{a_0\&times;t^2}{2}\\ a_0=\frac{v_0-v_1}{t}\\ v_0=\frac{s_0-s_1}{t}\\ v_1=\frac{s_1-s_2}{t}\end{array}\right.,---\left(23\right)$

其中，0～2是标记前帧、上帧和本帧的点，s为位移，v为速度，a为加速度，t为时间。

具体地，通过使用卡尔曼预测来跟踪触摸点，可以根据人的触摸和书写习惯设定和更新卡尔曼模型，从而使得触摸线条更稳定。

$\left[\begin{array}{c}{s}_x\\ s_y\\ v_x\\ v_y\\ a_x\\ a_y\end{array}\right]=\left[\begin{array}{cccccc}1& 0& T& 0& \frac{t^2}{2}& 0\\ 0& 1& 0& T& 0& \frac{T^2}{2}\\ 0& 0& 1& 0& T& 0\\ 0& 0& 0& 1& 0& T\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{s}_x\\ s_y\\ v_x\\ v_y\\ a_x\\ a_y\end{array}\right]+\left[\begin{array}{c}\frac{T^2}{2}\\ \frac{T^2}{2}\\ T\\ T\\ 1\\ 1\end{array}\right]\mathrm{\&omega;}\left(k\right)---\left(24\right)$ $\left[\begin{array}{c}{s}_x\\ s_y\end{array}\right]=\left[\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{s}_x\\ s_y\\ v_x\\ v_y\\ a_x\\ a_y\end{array}\right],---\left(25\right)$

其中，参数的下标x，y分别表示对应参数的横坐标和纵坐标，w为模型噪声。

跟踪触摸点计算过程如下：

${\hat{x}}_{k|k-1}=F_k{\hat{x}}_{k-1|k-1}+B_k{u}_{k-1},---\left(26\right)$

$P_{k|k-1}=F_k{P}_{k-1|k-1}{F}_k^T+Q_k,---\left(27\right)$

${\hat{y}}_k=z_k+H_k{\hat{x}}_{k|k-1},---\left(28\right)$

$S_k=H_k{P}_{k|k-1}{H}_k^T+R_k,---\left(29\right)$

$K_k=P_{k|k-1}{H}_k^T{S}_k^{-1},---\left(30\right)$

${\hat{x}}_{k|k}={\hat{x}}_{k|k-1}+K_k{\tilde{y}}_k,---\left(31\right)$

P_k|k=(1-K_kH_k)P_k|k-1，  (32)

采用标准卡尔曼Kalman滤波，其中PQR参数矩阵的初始值来源于大量绘制曲线的特征统计。使用卡尔曼滤波预测来跟踪触摸点，根据人的触摸和书写习惯设定和更新卡尔曼模型，触摸线条更加稳定。

本发明进一步采用变速指数平滑方法，线条更美观。

（1）横向x：

$\left\{\begin{array}{c}\mathrm{\&alpha;}=0.4+C_{i}v\\ \mathrm{\&beta;}=1-\mathrm{\&alpha;}\end{array}\right.,---\left(33\right)$

$\left\{\begin{array}{c}{s}_{x0}=\mathrm{\&alpha;}{b}_{0x}+\mathrm{\&beta;}{s}_{x0}\\ s_{x1}=\mathrm{\&alpha;}{s}_{x0}+\mathrm{\&beta;}{s}_{x1}\\ s_{x2}=\mathrm{\&alpha;}{s}_{x1}+\mathrm{\&beta;}{s}_{x2}\end{array}\right.,---\left(34\right)$

$\left\{\begin{array}{c}{C}_{\mathrm{ax}}=C_0{s}_{x0}+C_1{s}_{x1}+C_2{s}_{x2}\\ C_{\mathrm{bx}}=\frac{\mathrm{\&alpha;}}{2{\mathrm{\&beta;}}^2}(C_3{s}_{x0}+C_4{s}_{x1}+C_5{s}_{x2})\\ C_{\mathrm{cx}}=\frac{{\mathrm{\&alpha;}}^2}{2{\mathrm{\&beta;}}^2}(C_6{s}_{x0}+C_7{s}_{x1}+C_8{s}_{x2})\end{array}\right.,---\left(35\right)$

x=C_ax-C_bx-C_cx，  (36)

（2）纵向y：

$\left\{\begin{array}{c}\mathrm{\&alpha;}=0.4+C_{i}v\\ \mathrm{\&beta;}=1-\mathrm{\&alpha;}\end{array}\right.,---\left(37\right)$

$\left\{\begin{array}{c}{s}_{y0}=\mathrm{\&alpha;}{b}_{0y}+\mathrm{\&beta;}{s}_{y0}\\ s_{y1}=\mathrm{\&alpha;}{s}_{y0}+\mathrm{\&beta;}{s}_{y1}\\ s_{y2}=\mathrm{\&alpha;}{s}_{y1}+\mathrm{\&beta;}{s}_{y2}\end{array}\right.,---\left(38\right)$

$\left\{\begin{array}{c}{C}_{\mathrm{ay}}=C_0{s}_{y0}+C_1{s}_{y1}+C_2{s}_{y2}\\ C_{\mathrm{by}}=\frac{\mathrm{\&alpha;}}{2{\mathrm{\&beta;}}^2}(C_3{s}_{y0}+C_4{s}_{y1}+C_5{s}_{y2})\\ C_{\mathrm{cy}}=\frac{{\mathrm{\&alpha;}}^2}{2{\mathrm{\&beta;}}^2}(C_6{s}_{y0}+C_7{s}_{y1}+C_8{s}_{y2})\end{array}\right.,---\left(39\right)$

y=C_ay-C_by-C_cy，  (40)

其中，α和β为衰减指数，均与速度v相关，速度越小，平滑力度越大；参数C_i为统计值，其中，i为0～8，b₀为当前检测点，s_x0至s_x2，s_y0至s_y2为各阶指数暂存数据，c_a至C_c为平滑参数，x为平滑后的横坐标，y为平滑后的纵坐标。

此外，本发明进一步采用样条函数的平滑方法，使得线条更美观，同时保持原有字形的骨架不变。

$S_x=\frac{1}{6}\left[\begin{array}{cccc}{x}^3& x^2& x& 2\end{array}\right]\left[\begin{array}{cccc}-1& 3& -3& 1\\ -2& 6& -2& 0\\ -3& 0& 3& 0\\ 1& 4& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right],---\left(41\right)$

$\left\{\begin{array}{c}{S}_0(i+1)=S_0\left(i\right)+S_1\left(i\right)+S_3\left(i\right)+S_5\left(i\right)\\ S_1(i+1)=S_1\left(i\right)+S_2\left(i\right)+S_4\left(i\right)\\ S_2(i+1)=S_2\left(i\right)+S_5\left(i\right)\\ S_3(i+1)={3S}_5\left(i\right)\\ S_4(i+1)={3S}_5\left(i\right)\\ S_5(i+1)=\frac{m^3}{c^3}\end{array}\right.,---\left(42\right)$

其中，s_x为平滑后的横坐标，x为插值横坐标，0～2分别为标记前帧，上帧，本帧的点，c和m为第一式子中前两个矩阵的简写，s₀至s₅为插值节点更新的参数值。

在本发明的实施例中，通过添加传输信息的压缩机制，节省带宽，解决高帧速触摸屏数据传输的瓶颈。具体地，采用以下数据格式：数据包帧头+数据包长度+有效载荷+校验，载荷传输的数据保留足够的有效小数位放大为整数传输。

根据本发明实施例的光学触摸模组的成像定位方法，通过光电的方式将部件的位置或位移转换成为代码形式，是用于用户和计算机之间交互的输入或者输入和输出组合。本发明采用小距离触点保持机制，小的触点位置计算变化不修改发送位置，变化阈值来源于普通双击或长时间定点触摸时手指可能的最大移动距离，从而使得定点触控更稳定。并且，采用触摸物类型保持机制，可以屏蔽孤立帧的类型检测错误，使得类型的变化更符合一般的操作习惯。此外，本发明采用4～16点屏幕位置校准方法，具有稳定不漂移的特点，并且无需重新启动系统，标完即可准确出点。

下面参考图2和图3对本发明实施例提供的光学触摸控制设备进行描述。

如图2所示，本发明实施例提供的光学触摸控制设备包括：触摸屏1、角部成像模组2、主控电路板3和计算电路板4。其中，计算电路板4分别与角部成像模组2和主控电路板3连接。

具体地，如图3所示，触摸屏1包括底板和边框，其中，在底板上设置有矩形交互区A。底板可以触摸和投影平面。此外在每个边框处均设置有反光条11。其中，反光条11为经过特殊设计的，其可以让红外光原路返回。特殊的光源设计，保证回光接收的均匀性，提取信号更敏锐，响应更精确。并且，高反光率，大角度反射率衰减小的反光条设计，可以适应大尺寸和大长宽比的屏幕（65～120）。在本发明的实施例中，通过横向投影分割和纵向阶跃检测判定反光条区域。反光条区域可以自适应的精确定位，其搬运和冲击不影响正常使用。

角部成像模组2包括红外光源21和四路相机22。其中，红外光源21和四路相机22分别设置于矩形交互区A的四个顶点S1至S4，上下排布，主动发光并接收反光。红外光源21用于向矩形交互区A提供红外照射。每路相机22用于采集反光条11上的图像。四路相机22的可见区域的郊区为交互触摸区。在本发明的一个示例中，每个相机22的可见范围等于或大于90度的直角范围。

在本发明的一个实施例中，每路相机22在采集图像之前，可以自动对相机的镜头进行标定，使用插值算法生成镜头校正表，可以快速精确解决镜头畸变带来的精度恶化。

$\left\{\begin{array}{cc}\tilde{P}\left(i\right)=T\left(i\right)& \mathrm{if}{P\left(i\right)}_{\min }={P\left(i\right)}_{\max }\\ \tilde{P}\left(i\right)=\frac{{T\left(i\right)}_{\min }}{P\left(i\right)-{P\left(i\right)}_{\min }}+\frac{{T\left(i\right)}_{\max }}{{P\left(i\right)}_{\max }-P\left(i\right)}& \mathrm{if}{P\left(i\right)}_{\min }\&NotEqual;{P\left(i\right)}_{\max }\end{array}\right.,---\left(1\right)$

其中，P(i)为检测的成像位置，P(i)_min为转换表中和检测位置最接近的最小值，P(i)_max为转换表中和检测位置最接近的最大值，如果检测位置有对应的表值，查表获得转换的成像

，如果不存在，查到最近邻表值对应的两个值T(i)_min和T(i)_max，线性插值获得转换的成像

。

在本发明的又一个实施例中，每路相机22采集到图像后，自适应进行双重背景更新以获取正式背景，

其中， $\left\{\begin{array}{cc}\tilde{B}\left(i\right)=\frac{1}{N}{\mathrm{\&Sigma;}}_{k=1}^N{I}_k\left(i\right)& \mathrm{if}{t}_1\&GreaterEqual;T_1\\ B\left(i\right)=\tilde{B}\left(i\right)& \mathrm{if}{t}_2\&GreaterEqual;T_2\end{array}\right.,---\left(2\right)$

其中，I_k(i)为第k帧采集图像，

为暂存背景，B(i)为正式背景，每隔T₁帧使用N帧图像构建背景，待更新完T₂帧无触点，转为正式背景。其中，阈值T₁和阈值T₂均为经验值。

通过采用自适应的背景构建，可以在环境光变化的条件下正常使用。自适应的双重背景更新，其使用可以不受环境光变化的干扰。

此外，本发明在对图像处理过程中，进一步采用以下技术：通过带过滤的成像接收，提高信号计算部分对外界光变化的适应能力，日光照射下正常使用。并且，本发明采用可调的曝光参数设计，从而可以有效抵抗器件老化和磨损带来的性能下降。另外，本发明对成像采用分步曝光设计，使得每个顶点的光路互不干扰，可扩充性好。

主控电路板3用于检测交互触摸区是否存在触点，如果检测到触点，则向计算电路板4发送成像数据计算指令。如果主控电路板3检测到交互触摸区没有触点时，则通过红外光源21的回归反射，每路相机22都可以可拍摄到白色亮条。如果有触点时，则红外光源21发出的光线将被遮挡，在亮带的对应位置上将出现阴影。

计算电路板4用于在接收到主控电路板3的成像数据计算指令后，获取产生该触点的触摸物在每路相机22中的阴影目标。其中，触摸物在红外光源21的照射下，在反光条11的对应位置上形成阴影。计算电路板4根据每路相机22的镜头参数和阴影目标，分别将触摸物在每路相机22中成像位置转换为板面坐标系中的方向，计算触摸物在每路相机22的方向数据，并将方向数据发送至主控电路板3。此外，计算电路板4还可以用于成像供电和控制。

具体地，计算电路板4利用图像处理方法检测每路相机中的阴影目标和相机镜头参数，转换成像位置为板面坐标系中的方向，综合四路相机得到的方向数据进行定位，可以得到单个点的坐标位置。

在多点的情况下，计算电路板4通过触点成像相互遮挡占用，以及四个方向成像计算位置的合成置信度来判定触点是否存在，然后使用跟踪机制确保触点成为一个连贯的序列，可以支持多点的书写和操作。

在本发明的实施例中，计算电路板4简化成像与世界坐标的转换计算，而不需要计算相机安装角度，从而没有复杂三角函数，精度高且速度快。

$\left\{\begin{array}{c}k=-\frac{L_{0}x+L_1}{L_{2}x+L_3}\\ b=c_y-{\mathrm{kc}}_x\end{array}\right.---\left(3\right)$

c_x和c_y为镜头中心世界坐标，L₀至L₃是转换参数，k和b是成像对应的直线在世界坐标系下的点斜式方程参数。上述是由镜头的安装位置和角度决定的参数，安装位置是直接的位置参数，角度参数是由包含安装的3轴倾角参数的公式推算简化得到。

计算电路板4使用3角测量计算触摸物的位置，其中，

$\left\{\begin{array}{c}x=\frac{b_1-b_2}{k_2-k_1}\\ y=k_{1}x+b_1\end{array}\right.---\left(4\right)$

其中，x和y为参数为k₁b₁和k₂b₂的两条直线的交点坐标。

计算电路板4在转换成像位置为板面坐标系中的方向时，使用自动的镜头坐标和转换参数标定，只需要使用六个触点，就可以完成参数计算，简单易用，精度高且无漂移。

镜头校验和选择机制，即使存在异常相机，在维修之前使用其余的相机也可正常使用。成像数据选择机制，全局精度一致，不存在局部偏移增大的问题。

在本发明的实施例中，计算电路板4用于综合成像置信度，合成置信度和帧间反馈机制，从而近距离点能够准确识别。

$\mathrm{\&rho;}=\frac{S_{\min }}{S_{\mathrm{rect}}}{\mathrm{\&rho;}}_p{\mathrm{\&rho;}}_d,---\left(5\right)$

$\left\{\begin{array}{cc}{\mathrm{\&rho;}}_p=0.6& \mathrm{if}{m}_p=1\\ {\mathrm{\&rho;}}_p=1.0& \mathrm{if}{m}_p=0\end{array}\right.---\left(6\right)$

$\left\{\begin{array}{cc}{\mathrm{\&rho;}}_d=0.6& \mathrm{if}{d}_p=\min \left(d_p\left(k\right)\right)\\ {\mathrm{\&rho;}}_d=1.0& \mathrm{else}\end{array}\right.---\left(7\right)$

ρρ_pρ_d分别是置信度，对称修正和帧间修正，S_min和S_rect是计算初始置信的两个叠加区域面积，m_p是对称标记，d_p是帧间修正，在全局帧间匹配的距离是所有可能的匹配距离d_p(k)中最小。

计算电路板4根据触摸物在四路相机22的方向数据进行定位，得到每路方向上触点在触摸屏的坐标位置。

在本发明的一个实施例中，计算电路板4可以根据成像信息，利用多向投影计算初步角度对触点的位置进行校准。具体地，计算电路板4根据成像信息使用多向投影计算初步角度，配合高度补偿以提高触摸精度，并解决触笔角度变化带来的位置漂移。

$\left\{\begin{array}{c}{z}_x\left(i\right)=\frac{1}{4}{\mathrm{\&Sigma;}}_{i=0}^3\mathrm{\&beta;}\left(i\right)r_x\left(i\right)\\ z_y\left(i\right)=\frac{1}{4}{\mathrm{\&Sigma;}}_{i=0}^3\mathrm{\&beta;}\left(i\right)r_y\left(i\right)\end{array}\right.,---\left(8\right)$

z(i)=max(β(i))，  (9)

$r\left(i\right)=\sqrt[2]{z_x{\left(i\right)}^2+z_y{\left(i\right)}^2},---\left(10\right)$

$\mathrm{\&theta;}\left(i\right)={\sin }^{-1}\frac{z_x\left(i\right)}{r\left(i\right)},---\left(11\right)$

其中，r_x(i)和r_y(i)为投影矢量，r_x(i)和r_y(i)根据坐标系预设；z_x(i)和z_y(i)为图像的倾斜角在世界坐标的投影，r(i)为投影向量的大小，θ(i)为计算得到的触笔的水平倾斜投影方向，

计算得到的触笔与z轴的夹角。

在本发明的一个实施例中，计算电路板4还用于统计成像带的灰度分布以获取触摸物的高度和角度，

$\tilde{D}\left(i\right)=B\left(i\right)-I\left(i\right),---\left(13\right)$

其中，

为差值图像，

触摸物的高度为：

$\left\{\begin{array}{cc}m\left(j\right)=m\left(j\right)+1& \mathrm{if}\tilde{D}(i*W+j)\&GreaterEqual;T_3\\ n\left(j\right)=n\left(j\right)+1& \mathrm{if}\tilde{D}(i*W+j)\&le;T_3\end{array}\right.,---\left(14\right)$

h(j)=n(j)，  (IS)

其中，m(j)为单列前景，n(j)为单列背景，W为图像列数，T₃为判定阈值，h为当前列的触摸距离成像高度，阈值T₃为经验值。

触摸物的角度为：

$\mathrm{\&beta;}=\frac{1}{2}({\tan }^{-1}\left(\frac{y_{\mathrm{lt}}-y_{\mathrm{ld}}}{x_{\mathrm{lt}}-x_{\mathrm{ld}}}\right)+{\tan }^{-1}\left(\frac{y_{\mathrm{rt}}-y_{\mathrm{rd}}}{x_{\mathrm{rt}}-x_{\mathrm{rd}}}\right)),---\left(16\right)$

其中， β为触摸成像倾斜角度，x为触摸物成像区域四边形顶点的横坐标，y为触摸物成像区域四边形顶点的纵坐标。

此外，计算电路板4可以利用灰度梯度计算触摸物的边缘，

$D\left(j\right)=\frac{1}{m\left(j\right)}{\mathrm{\&Sigma;}}_{i=1}^{m\left(j\right)}\tilde{D}(i*W+j),---\left(17\right)$

C(j)=D(j)-D(j-1)，  (18)

其中，D为统计差值的均值，G为差分计算梯度。计算梯度的极大值和极小值，触摸位置位于极大和极小之间，选择极值对原则：（1）中心差值幅度和极值绝对值超过阈值；（2）极大和极小之间距离小于阈值，笔宽成像大小有限；（3）极值对应的图像平均灰度小于阈值，阈值为经验值.

在本发明的一个实施例中，计算电路板4还用于根据成像信息和相机22的镜头参数，利用距离张角计算触摸物与触摸屏的板面的触摸距离。即触摸物距离触摸屏的板面的高度，可以解决蚊蝇和袖口等干扰。

ω(i)=C_ωn(i),  (19)

$h\left(i\right)=\mathrm{\&omega;}{\left(i\right)}^2\sqrt{{(x-c_x)}^2+{(y-c_y)}^2},---\left(20\right)$

其中，C_ω为成像高度和实际角度的比例参数，由镜头光学参数计算得到；ω(i)为成像未穿透部分对应的镜头前张角，x和y为当前点的位置，c_x和c_y为镜头中心世界坐标，h(i)为触摸距离。

综上，计算电路板通过对目标成像的精确计算，可以获得目标距板面的距离以及垂直向高度，达到低触摸反应距离和对抗蚊蝇等小目标干扰的目的。

在本发明的一个实施例中，特殊设计的触笔在成像中有明确的标记，可以和触点有效区别。因此，计算电路板4可以分析触点对应区域上部的二维图像，采用形态学图像处理以获取触点对应的触摸物的类型，其中，

$\begin{array}{cc}l\left(i\right)=l\left(i\right)+1& \mathrm{if}\tilde{D}\left(i\right)\&GreaterEqual;T_4;\end{array}----\left(21\right)$

$\left\{\begin{array}{cc}C=0& \mathrm{ifl}\left(i\right)\&GreaterEqual;T_5\\ C=1& \mathrm{ifl}\left(i\right)<T_5\end{array};\right.---\left(22\right)$

其中，l(i)为触点对应区域上部的二维图像中连续高亮区块的个数，

为差值图像，T4为触摸笔反光强度的最小值，T₅为预设阈值，当l(i)≥T₅时，判断触摸物为触摸笔；当l(i)<T₅时，判断触摸物为手指。其中，阈值T₅与成像的平均亮度相关。

主控电路板3用于根据计算电路板在四路相机的方向上判断得到的触摸物类型综合判决触摸物的类型，首先根据成像的边界合成触摸点在屏幕上构成的多边形区域，计算多边形的面积获得触摸点的面积，其中，触摸点的面积大的优先判定为大体积目标触摸物，大体积触摸物例如为板擦等，然后判定发现触摸笔类型的计算电路板的数量，判决触摸物的类型为触摸笔或者手指等无标志的触摸物。

主控电路板3通过相机对目标的宽度和类型的识别，综合四路相机的结果，可以区分手指，触摸笔和板擦，从而获得更好的操作体验。

在本发明的实施例中，主控电路板3可以使用位移、速度及加速度的运动模型，更好的适应变速的书写过程。

$\left\{\begin{array}{c}s=s_0+v_0\&times;t+\frac{a_0\&times;t^2}{2}\\ a_0=\frac{v_0-v_1}{t}\\ v_0=\frac{s_0-s_1}{t}\\ v_1=\frac{s_1-s_2}{t}\end{array}\right.,---\left(23\right)$

其中，0～2是标记前帧、上帧和本帧的点，s为位移，v为速度，a为加速度，t为时间。

具体地，主控电路板3通过使用卡尔曼预测来跟踪触摸点，可以根据人的触摸和书写习惯设定和更新卡尔曼模型，从而使得触摸线条更稳定。

$\left[\begin{array}{c}{s}_x\\ s_y\\ v_x\\ v_y\\ a_x\\ a_y\end{array}\right]=\left[\begin{array}{cccccc}1& 0& T& 0& \frac{t^2}{2}& 0\\ 0& 1& 0& T& 0& \frac{T^2}{2}\\ 0& 0& 1& 0& T& 0\\ 0& 0& 0& 1& 0& T\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{s}_x\\ s_y\\ v_x\\ v_y\\ a_x\\ a_y\end{array}\right]+\left[\begin{array}{c}\frac{T^2}{2}\\ \frac{T^2}{2}\\ T\\ T\\ 1\\ 1\end{array}\right]\mathrm{\&omega;}\left(k\right)---\left(24\right)$ $\left[\begin{array}{c}{s}_x\\ s_y\end{array}\right]=\left[\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{s}_x\\ s_y\\ v_x\\ v_y\\ a_x\\ a_y\end{array}\right],---\left(25\right)$

其中，参数的下标x，y分别表示对应参数的横坐标和纵坐标，w为模型噪声。

主控电路板3跟踪触摸点计算过程如下：

${\hat{x}}_{k|k-1}=F_k{\hat{x}}_{k-1|k-1}+B_k{u}_{k-1},---\left(26\right)$

$P_{k|k-1}=F_k{P}_{k-1|k-1}{F}_k^T+Q_k,---\left(27\right)$

${\hat{y}}_k=z_k+H_k{\hat{x}}_{k|k-1},---\left(28\right)$

$S_k=H_k{P}_{k|k-1}{H}_k^T+R_k,---\left(29\right)$

$K_k=P_{k|k-1}{H}_k^T{S}_k^{-1},---\left(30\right)$

${\hat{x}}_{k|k}={\hat{x}}_{k|k-1}+K_k{\tilde{y}}_k,---\left(31\right)$

P_k|k=(1-K_kH_k)P_k|k-1，  (32)

标准卡尔曼Kalman滤波，其中PQR参数矩阵的初始值来源于大量绘制曲线的特征统计。主控电路板3使用卡尔曼滤波预测来跟踪触摸点，根据人的触摸和书写习惯设定和更新卡尔曼模型，触摸线条更加稳定。

主控电路板3进一步采用变速指数平滑方法，线条更美观。

（1）横向x：

$\left\{\begin{array}{c}\mathrm{\&alpha;}=0.4+C_{i}v\\ \mathrm{\&beta;}=1-\mathrm{\&alpha;}\end{array}\right.,---\left(33\right)$

$\left\{\begin{array}{c}{s}_{x0}=\mathrm{\&alpha;}{b}_{0x}+\mathrm{\&beta;}{s}_{x0}\\ s_{x1}=\mathrm{\&alpha;}{s}_{x0}+\mathrm{\&beta;}{s}_{x1}\\ s_{x2}=\mathrm{\&alpha;}{s}_{x1}+\mathrm{\&beta;}{s}_{x2}\end{array}\right.,---\left(34\right)$

$\left\{\begin{array}{c}{C}_{\mathrm{ax}}=C_0{s}_{x0}+C_1{s}_{x1}+C_2{s}_{x2}\\ C_{\mathrm{bx}}=\frac{\mathrm{\&alpha;}}{2{\mathrm{\&beta;}}^2}(C_3{s}_{x0}+C_4{s}_{x1}+C_5{s}_{x2})\\ C_{\mathrm{cx}}=\frac{{\mathrm{\&alpha;}}^2}{2{\mathrm{\&beta;}}^2}(C_6{s}_{x0}+C_7{s}_{x1}+C_8{s}_{x2})\end{array}\right.,---\left(35\right)$

x=C_axC_bx-C_cx， (36)

（2）纵向y：

$\left\{\begin{array}{c}\mathrm{\&alpha;}=0.4+C_{i}v\\ \mathrm{\&beta;}=1-\mathrm{\&alpha;}\end{array}\right.,---\left(37\right)$

$\left\{\begin{array}{c}{s}_{y0}=\mathrm{\&alpha;}{b}_{0y}+\mathrm{\&beta;}{s}_{y0}\\ s_{y1}=\mathrm{\&alpha;}{s}_{y0}+\mathrm{\&beta;}{s}_{y1}\\ s_{y2}=\mathrm{\&alpha;}{s}_{y1}+\mathrm{\&beta;}{s}_{y2}\end{array}\right.,---\left(38\right)$

$\left\{\begin{array}{c}{C}_{\mathrm{ay}}=C_0{s}_{y0}+C_1{s}_{y1}+C_2{s}_{y2}\\ C_{\mathrm{by}}=\frac{\mathrm{\&alpha;}}{2{\mathrm{\&beta;}}^2}(C_3{s}_{y0}+C_4{s}_{y1}+C_5{s}_{y2})\\ C_{\mathrm{cy}}=\frac{{\mathrm{\&alpha;}}^2}{2{\mathrm{\&beta;}}^2}(C_6{s}_{y0}+C_7{s}_{y1}+C_8{s}_{y2})\end{array}\right.,---\left(39\right)$

y=C_ay-C_by-C_cy，  (40)

其中，α和β为衰减指数，均与速度v相关，速度越小，平滑力度越大；参数C_i为统计值，其中，i为0～8，b₀为当前检测点，s_x0至s_x2，s_y0至s_y2为各阶指数暂存数据，c_a至C_c为平滑参数，x为平滑后的横坐标，y为平滑后的纵坐标。

此外，主控电路板3进一步采用样条函数的平滑方法，使得线条更美观，同时保持原有字形的骨架不变。

$S_x=\frac{1}{6}\left[\begin{array}{cccc}{x}^3& x^2& x& 2\end{array}\right]\left[\begin{array}{cccc}-1& 3& -3& 1\\ -2& 6& -2& 0\\ -3& 0& 3& 0\\ 1& 4& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right],---\left(41\right)$

$\left\{\begin{array}{c}{S}_0(i+1)=S_0\left(i\right)+S_1\left(i\right)+S_3\left(i\right)+S_5\left(i\right)\\ S_1(i+1)=S_1\left(i\right)+S_2\left(i\right)+S_4\left(i\right)\\ S_2(i+1)=S_2\left(i\right)+S_5\left(i\right)\\ S_3(i+1)={3S}_5\left(i\right)\\ S_4(i+1)={3S}_5\left(i\right)\\ S_5(i+1)=\frac{m^3}{c^3}\end{array}\right.,---\left(42\right)$

其中，s_x为平滑后的横坐标，x为插值横坐标，0～2分别为标记前帧，上帧，本帧的点，c和m为第一式子中前两个矩阵的简写，s₀至s₅为插值节点更新的参数值。

在本发明的实施例中，通过添加传输信息的压缩机制，节省带宽，解决高帧速触摸屏数据传输的瓶颈。具体地，采用以下数据格式：数据包帧头+数据包长度+有效载荷+校验，载荷传输的数据保留足够的有效小数位放大为整数传输。

根据本发明实施例的光学触摸控制设备，通过光电的方式将部件的位置或位移转换成为代码形式的触控设备，是用于用户和计算机之间交互的输入装置或者输入和输出组合装置。本发明采用小距离触点保持机制，小的触点位置计算变化不修改发送位置，变化阈值来源于普通双击或长时间定点触摸时手指可能的最大移动距离，从而使得定点触控更稳定。并且，采用触摸物类型保持机制，可以屏蔽孤立帧的类型检测错误，使得类型的变化更符合一般的操作习惯。此外，本发明实施例的光学触摸控制设备采用4～16点屏幕位置校准方法，具有稳定不漂移的特点，并且无需重新启动系统，标完即可准确出点。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

Claims (10)

1.一种光学触摸模组的成像定位方法，其特征在于，包括如下步骤：

在触摸屏的矩形交互区的四个顶点处分别设置红外光源和相机，并且在所述触摸屏的每个边框处设置反光条，其中所述红外光源向所述矩形交互区提供红外光源，每路所述相机采集所述反光条上的图像，所述四路相机的可见区域的交集为交互触摸区；

检测所述交互触摸区是否存在触点，如果检测到触点，则获取产生该触点的触摸物在每路所述相机中的阴影目标，其中，所述触摸物在所述红外光源的照射下，在所述反光条的对应位置上形成阴影；

根据每路所述相机的镜头参数和阴影目标，分别将所述触摸物在每路相机中成像位置转换为板面坐标系中的方向，计算所述触摸物在每路相机的方向数据；

根据所述触摸物在四路所述相机的方向数据进行定位，得到每路方向上所述触点在所述触摸屏的坐标位置；

使用带有标记环的触摸笔，分析所述触点对应区域上部的二维图像，采用形态学图像处理以获取所述触点对应的触摸物的类型，

$\begin{array}{cc}l\left(i\right)=l\left(i\right)+1& \mathrm{if}\tilde{D}\left(i\right)\&GreaterEqual;T_4;\end{array}$

$\left\{\begin{array}{cc}C=0& \mathrm{ifl}\left(i\right)\&GreaterEqual;T_5\\ C=1& \mathrm{ifl}\left(i\right)<T_5\end{array};\right.$

其中，l(i)为所述触点对应区域上部的二维图像中连续高亮区块的个数，

为差值图像，T4为触摸笔反光强度的最小值，T₅为预设阈值，当l(i)≥T5时，判断触摸物为触摸笔；当l(i)<T₅时，判断触摸物为手指，根据在四路相机的方向上判断得到的触摸物类型结果综合判决触摸物的类型，首先根据成像的边界合成触摸点在屏幕上构成的多边形区域，计算多边形的面积获得触摸点的面积，其中，触摸点的面积大的优先判定为大体积目标触摸物，然后判定发现触摸笔类型的计算电路板的数量，判决触摸物的类型为触摸笔或者手指。

2.如权利要求1所述的光学触摸模组的成像定位方法，其特征在于，在每路所述相机采集到图像后，还包括如下步骤：自适应的双重背景更新以获取正式背景，

$\left\{\begin{array}{cc}\tilde{B}\left(i\right)=\frac{1}{N}{\mathrm{\&Sigma;}}_{k=1}^N{I}_k\left(i\right)& \mathrm{if}{t}_1\&GreaterEqual;T_1\\ B\left(i\right)=\tilde{B}\left(i\right)& \mathrm{if}{t}_2\&GreaterEqual;T_2\end{array}\right.,$

其中，I_k(i)为第k帧采集图像，

为暂存背景，B(i)为正式背景，每隔T₁帧使用N帧图像构建背景，待更新完T₂帧无触点，转为正式背景。

3.如权利要求2所述的光学触摸模组的成像定位方法，其特征在于，还包括如下步骤：统计成像带的灰度分布以获取所述触摸物的高度和角度，

$\tilde{D}\left(i\right)=B\left(i\right)-I\left(i\right),$

其中，

为差值图像，

所述触摸物的高度为：

$\left\{\begin{array}{cc}m\left(j\right)=m\left(j\right)+1& \mathrm{if}\tilde{D}(i*W+j)\&GreaterEqual;T_3\\ n\left(j\right)=n\left(j\right)+1& \mathrm{if}\tilde{D}(i*W+j)\&le;T_3\end{array}\right.,$

h(j)=n(j)，

其中，m(j)为单列前景，n(j)为单列背景，W为图像列数，T₃为判定阈值，h为当前列的触摸距离成像高度；

所述触摸物的角度为：

$\mathrm{\&beta;}=\frac{1}{2}({\tan }^{-1}\left(\frac{y_{\mathrm{lt}}-y_{\mathrm{ld}}}{x_{\mathrm{lt}}-x_{\mathrm{ld}}}\right)+{\tan }^{-1}\left(\frac{y_{\mathrm{rt}}-y_{\mathrm{rd}}}{x_{\mathrm{rt}}-x_{\mathrm{rd}}}\right)),$

其中， β为触摸成像倾斜角度，x为触摸物成像区域四边形顶点的横坐标，y为触摸物成像区域四边形顶点的纵坐标。

4.如权利要求3所述的光学触摸模组的成像定位方法，其特征在于，还包括如下步骤：利用灰度梯度计算所述触摸物的边缘，

$D\left(j\right)=\frac{1}{m\left(j\right)}{\mathrm{\&Sigma;}}_{i=1}^{m\left(j\right)}\tilde{D}(i*W+j),$

G(j)=D(j)-D(j-1)，

其中，D为统计差值的均值，G为差分计算梯度。

5.如权利要求1所述的光学触摸模组的成像定位方法，其特征在于，在每路所述相机采集图像之前，还包括如下步骤：对所述相机的镜头进行标定，使用插值算法生成镜头校正表，

$\left\{\begin{array}{cc}\tilde{P}\left(i\right)=T\left(i\right)& \mathrm{if}{P\left(i\right)}_{\min }={P\left(i\right)}_{\max }\\ \tilde{P}\left(i\right)=\frac{{T\left(i\right)}_{\min }}{P\left(i\right)-{P\left(i\right)}_{\min }}+\frac{{T\left(i\right)}_{\max }}{{P\left(i\right)}_{\max }-P\left(i\right)}& \mathrm{if}{P\left(i\right)}_{\min }\&NotEqual;{P\left(i\right)}_{\max }\end{array}\right.,$

其中，P(i)为检测的成像位置，P(i)_min为转换表中和检测位置最接近的最小值，P(i)_max为转换表中和检测位置最接近的最大值，如果检测位置有对应的表值，查表获得转换的成像

如果不存在，查到最近邻表值对应的两个值T(i)_min和T(i)_max，线性插值获得转换的成像

6.如权利要求1所述的光学触摸模组的成像定位方法，其特征在于，还包括如下步骤：根据成像信息和相机的镜头参数，利用距离张角计算所述触摸物与所述触摸屏的板面的触摸距离，

ω(i)=C_ωn(i),

$h\left(i\right)=\mathrm{\&omega;}{\left(i\right)}^2\sqrt{{(x-c_x)}^2+{(y-c_y)}^2},$

其中，C_ω为成像高度和实际角度的比例参数，由镜头光学参数计算得到；ω(i)为成像未穿透部分对应的镜头前张角，x和y为当前点的位置，c_x和c_y为镜头中心世界坐标，h(i)为触摸距离。

7.如权利要求1或6所述的光学触摸模组的成像定位方法，其特征在于，还包括如下步骤：根据所述成像信息，利用多向投影计算初步角度对所述触点的位置进行校准，

$\left\{\begin{array}{c}{z}_x\left(i\right)=\frac{1}{4}{\mathrm{\&Sigma;}}_{i=0}^3\mathrm{\&beta;}\left(i\right)r_x\left(i\right)\\ z_y\left(i\right)=\frac{1}{4}{\mathrm{\&Sigma;}}_{i=0}^3\mathrm{\&beta;}\left(i\right)r_y\left(i\right)\end{array}\right.,$

z(j)=max(β(i))，

$r\left(i\right)=\sqrt[2]{z_x{\left(i\right)}^2+z_y{\left(i\right)}^2},$

$\mathrm{\&theta;}\left(i\right)={\sin }^{-1}\frac{z_x\left(i\right)}{r\left(i\right)},$

其中，r_x(i)和r_y(i)为投影矢量，r_x(i)和r_y(i)根据坐标系预设；z_x(i)和z_y(i)为图像的倾斜角在世界坐标的投影，r(i)为投影向量的大小，θ(i)为计算得到的触笔的水平倾斜投影方向，

计算得到的触笔与z轴的夹角。

8.一种光学触摸控制设备，其特征在于，包括：

触摸屏，所述触摸屏包括底板和边框，其中，在所述底板上设置有矩形交互区，在每个所述边框处设置反光条；

角部成像模组，所述角部成像模组包括红外光源和四路相机，其中，所述红外光源和四路相机分别设置于所述矩形交互区的四个顶点，所述红外光源用于向所述矩形交互区提供红外照射，每路所述相机用于采集所述反光条上的图像，所述四路相机的可见区域的交集为交互触摸区；

主控电路板，用于检测所述交互触摸区是否存在触点，如果检测到触点，则发送成像数据计算指令；

计算电路板，用于在接收到所述主控电路板的成像数据计算指令后，获取产生该触点的触摸物在每路所述相机中的阴影目标，其中，所述触摸物在所述红外光源的照射下，在所述反光条的对应位置上形成阴影，以及根据每路所述相机的镜头参数和阴影目标，分别将所述触摸物在每路相机中成像位置转换为板面坐标系中的方向，计算所述触摸物在每路相机的方向数据，并将所述方向数据发送至所述主控电路板，

其中，所述计算电路板还用于根据所述触摸物在四路所述相机的方向数据进行定位，得到每路方向上所述触点在所述触摸屏的坐标位置，以及分析所述触点对应区域上部的二维图像，采用形态学图像处理以获取所述触点对应的触摸物的类型，

$\begin{array}{cc}l\left(i\right)=l\left(i\right)+1& \mathrm{if}\tilde{D}\left(i\right)\&GreaterEqual;T_4;\end{array}$

$\left\{\begin{array}{cc}C=0& \mathrm{ifl}\left(i\right)\&GreaterEqual;T_5\\ C=1& \mathrm{ifl}\left(i\right)<T_5\end{array};\right.$

其中，l(i)为所述触点对应区域上部的二维图像中连续高亮区块的个数，

为差值图像，T4为触摸笔反光强度的最小值，T₅为预设阈值，当l(i)≥T₅时，判断触摸物为触摸笔；当l(i)<T₅时，判断触摸物为手指；

所述主控电路板还用于根据计算电路板在四路相机的方向上判断得到的触摸物类型综合判决触摸物的类型，首先根据成像的边界合成触摸点在屏幕上构成的多边形区域，计算多边形的面积获得触摸点的面积，其中，触摸点的面积大的优先判定为大体积目标触摸物，然后判定发现触摸笔类型的计算电路板的数量，判决触摸物的类型为触摸笔或者手指。

9.如权利要求8所述的光学触摸控制设备，其特征在于，每个所述相机的可见范围等于或大于90度的直角范围。

10.如权利要求8所述的光学触摸控制设备，其特征在于，所述计算电路板还用于根据成像信息和相机的镜头参数，利用距离张角计算所述触摸物与所述触摸屏的板面的触摸距离，

ω(i)=C_ωn(i)，

$h\left(i\right)=\mathrm{\&omega;}{\left(t\right)}^2\sqrt{{(x-c_x)}^2+{(y-c_y)}^2},$

其中，C_ω为成像高度和实际角度的比例参数，由镜头光学参数计算得到；ω(i)为成像未穿透部分对应的镜头前张角，x和y为当前点的位置，c_x和c_y为镜头中心世界坐标，h(i)为触摸距离。

Images