CN102004584A - 有源笔定位显示方法及装置 - Google Patents

Abstract

本发明涉及一种电子输入显示方法，特别涉及一种有源笔书写定位显示方法。该方法包括以下步骤：步骤S10：提取有源笔的光斑图像，并将该光斑图像二值化处理得到目标图像；步骤S20：用SUSAN算子计算得到有源笔起笔坐标；步骤S30：将起笔坐标转换成屏幕显示位置坐标并传送给计算机；步骤S40：计算机根据显示位置坐标控制投影机显示有源笔的书写轨迹。本发明的方法克服了有源笔与书写屏幕位置偏斜时，所引的有源笔触点位置与屏幕显示位置不一致的缺陷。此外，本发明还公开了一种有源笔的定位显示装置。

Description

有源笔定位显示方法及装置

技术领域

本发明涉及一种电子输入显示方法，特别涉及一种有源笔书写定位显示方法。

背景技术

基于光学感应的多点触摸系统是用户通过触摸投影屏幕表面，影响光学感应成像设备的输入结果，成像设备将成像结果输入软件系统进行处理，一般经过三个步骤，首先是对原始输入图像进行包括矫正、滤波等预处理，然后通过光斑跟踪引擎对触点进行跟踪，并将其解释为各种输入状态，最后将输入位置、状态等信息发送给上层应用程序。应用程序处理结果最终被投射到显示屏幕表面上，从而与用户产生真正的所见即所得的交互效果。

目前出现一种对激光平面多点触摸技术(laser light plane，简称LLP)进行改进的多点触摸技术，该技术与原有的技术相比无需在触摸表面安装光源。该改进技术通过具备主动发射红外光的触笔1(称之为有源笔)来模拟手指的直接触摸过程，其工作原理如图1所示：通过触笔1在背投屏幕2上的触压发射红外光信号，光信号穿透背投屏幕2后经过背投内部的大反射镜3作镜面反射；摄像头4接收镜面反射的光信号，再传递给计算机5；触笔1产生的信号会在背投屏幕2上形成一个大的光斑，系统采用逐行扫描的方式对信号进行采样(如60帧/秒)，取光斑的最亮值，通过计算光斑图像重心的坐标作为触笔点在CMOS上成像的坐标；计算机5对感应到的光信号进行处理，形成一套坐标系统，并将处理后的数据通过特定的数据格式传递给上层应用程序；从而达到跟踪触笔的运动，模拟出多点触摸的效果。

对于上述这种有源笔触点位置的定位方法，一般是先通过光学摄像头采集到的有源笔光斑图像进行图像二值化处理，然后计算像素点的几何重心坐标，最后把光斑图像的重心作为有源笔触点(起笔)的位置。这种方法虽简单实用，但常常判断不准确。当手握笔与触摸表面垂直时，有源笔发光四周比较均匀，采集的光斑图像边缘比较圆滑，利用饱和度阈值进行二值化，二值化图像近似一个圆，二值化图像的面积较大，图像边缘点数量较多，如图2所示，起笔位置与图像重心位置重合。当手握笔与触摸表面不垂直而倾斜时，有源笔的发光有些被遮挡，采集的光斑图像面积比较小，边缘点的数量较少，利用饱和度阈值进行二值化处理的图像类似小扇形，如图3所示，这样求出的图像的重心就不是起笔的位置，起笔位置在图形边缘比较尖的部位。这样就出现落笔位置和书写显示位置不一样，书写效果显得很不自然，尤其在用直尺画线时，握笔一般是倾斜于触摸表面，显示效果就更不方便。实际上用户在书写时，也会不经意中握笔倾斜，造成书写位置不连贯，这样将会阻碍该产品的推广使用。本发明不论使用者握笔与书写平面垂直与否，都可自动校正显示的位置为落笔的位置，并且满足实时应用需求。

发明内容

本发明解决的第一技术问题是提供一种有源笔定位显示方法，使得该方法可以克服目前有源笔在屏幕书写时，当有源笔与书写屏幕位置不垂直而发生偏斜时，引起书写笔触点位置与显示位置不一致的缺陷。本发明解决的第二技术问题是提供一种有源笔定位显示装置。

为解决上述第一技术问题，本发明采用第一技术方案：

一种有源笔定位显示方法，其特征在于该方法包括以下步骤：

步骤S10：提取有源笔的光斑图像，并将该光斑图像二值化处理得到目标图像；

步骤S20：用SUSAN算子计算该目标图像的面积和/或边缘点数量，并将计算得到的面积和/或边缘点数量与相应的阀值进行比较，若大于阀值则判断有源笔垂直于屏幕，有源笔的起笔坐标为光斑图像重心坐标：

其中R表示所有边缘点的集合，#R表示边缘点像素个数；若小于阀值则判断有源笔倾斜于屏幕，有源笔的起笔坐标为满足

的点(x₀，y₀)；

步骤S30：将起笔坐标转换成屏幕显示位置坐标并传送给计算机；

步骤S40：计算机根据显示位置坐标控制投影机显示有源笔的书写轨迹。

作为改进之一：步骤S10包括以下步骤：

S11：首先用安装在屏幕后面的CMOS图像传感器采集触摸屏幕的图像，并通过比较两帧图像的差值，提取光斑图像；

S12：通过设置饱和度阈值H，对光斑图像进行二值化处理，小于阈值的像素点是背景，大于阈值的像素点是目标图像区域。

作为改进之二：在步骤S20中，用FPGA芯片结合SUSAN算子计算有源笔的起笔坐标值；在步骤S30中，用ARM芯片将起笔坐标转换成屏幕显示位置坐标并传送给计算机。

为解决上述第二技术问题，本发明采用第二技术方案：

一种有源笔定位显示，包括：有源笔、显示单元、定位处理模块、定位坐标传输模块和计算机，该显示单元包括触摸屏幕、设置在触摸屏幕后方图像采集模块和投影机，

该图像采集模块，用于提取有源笔的光斑图像，并将该光斑图像二值化处理得到目标图像；

该定位处理模块，用于根据目标图像计算得到有源笔的起笔位置坐标；

该定位坐标传输模块，用于将起笔位置坐标屏幕显示位置坐标并传送给计算机；

该计算机，用于根据显示位置坐标控制投影机显示有源笔的书写轨迹；

其中：

所述定位处理模块，用于根据用SUSAN算子计算该目标图像的面积和/或边缘点数量，并将计算得到的面积和/或边缘点数量与相应的阀值进行比较，若大于阀值则判断有源笔垂直于屏幕，有源笔的起笔坐标为光斑图像重心坐标：

其中R表示所有边缘点的集合，#R表示边缘点像素个数；若小于阀值则判断有源笔倾斜于屏幕，有源笔的起笔坐标为满足

的点(x₀，y₀)。

作为改进之一：所述图像采集模块包括：用于采集触摸屏幕的图像，并通过比较两帧图像的差值，提取光斑图像的光斑图像提取模块，和用于通过设置饱和度阈值H，对光斑图像进行二值化处理，小于阈值的像素点是背景，大于阈值的像素点是目标图像区域的目标图像处理模块。

与现有技术相比，本发明的有益效果是：本发明的方法和装置克服了有源笔与书写屏幕位置偏斜时，所引的有源笔触点位置与屏幕显示位置不一致的缺陷。本方法实现简单，计算量小，能满足工程应用的实时性需求，而且准确性高。

附图说明

图1是现有基于改进的LLP方式的触摸装置原理示意图；

图2是有源笔垂直于屏幕表面的光斑图像示意图；

图3是有源笔倾斜于屏幕表面的光斑图像示意图；

图4是本发明的有源笔定位显示方法的流程图；

图5是SUSAN算子采用的圆形模板示意图；

图6是本发明的结构示意图。

具体实施方式

下面结合附图对本发明的有源笔定位显示以及其有源笔定位显示方法的实施例进行说明。

如图4所示，该有源笔定位显示方法包括以下步骤：

步骤S10：CMOS图像传感器以60帧/s的速率采集触摸屏幕整幅图像，当有源笔触摸屏幕时，屏幕将产生光斑高亮点区域，利用两帧图像的差值，提取光斑图像。设置饱和度阈值H(本发明取H＝0.25)，对光斑图像进行二值化处理，小于阈值的像素点就是背景，大于阈值的像素点就是目标图像区域；

步骤S20：用FPGA芯片结合SUSAN算子计算该目标图像的面积和/或边缘点数量，并将计算得到的面积和/或边缘点数量与相应的阀值进行比较，若大于阀值则判断有源笔垂直于屏幕，有源笔的起笔坐标为光斑图像重心坐标：

其中R表示所有边缘点的集合，#R表示边缘点像素个数；若小于阀值则判断有源笔倾斜于屏幕，有源笔的起笔坐标为满足的点(x₀，y₀)；

步骤S30：将起笔坐标转换成屏幕显示位置坐标并传送给计算机；

步骤S40：计算机根据显示位置坐标控制投影机显示有源笔的书写轨迹。

其中步骤S10包括以下步骤：

S11：首先用安装在屏幕后面的CMOS图像传感器采集触摸屏幕的图像，并通过比较两帧图像的差值，提取光斑图像；

S12：通过设置饱和度阈值H，对光斑图像进行二值化处理，小于阈值的像素点是背景，大于阈值的像素点是目标图像区域。

如图6所示，该有源笔定位显示包括：

有源笔1、显示单元、定位处理模块3、定位坐标传输模块5和计算机6，该显示单元包括触摸屏幕2、设置在触摸屏幕后方图像采集模块3和投影机7，其中：

该图像采集模块3为安装在屏幕后面的CMOS图像传感器，其用于以60帧/s的速率采集触摸屏幕整幅图像，当有源笔触摸屏幕时，屏幕将产生光斑高亮点区域，利用两帧图像的差值，提取光斑图像。设置饱和度阈值H(本发明取H＝0.25)，对光斑图像进行二值化处理，小于阈值的像素点就是背景，大于阈值的像素点就是目标图像区域。

该定位处理模块4为FPGA芯片，其用于对光斑图像二值化处理，确定有源笔触点坐标。对光斑图像的每个像素点，利用公开发表的SUSAN算子进行操作，本发明的SUSAN算子采用内含37个像素的圆形模板，这37个像素排成7行，分别有3，5，7，7，5，3个像素，相当于半径为3.4个像素的圆，如图5所示。图5中圆心的中心称之为模板核，在模板区域内，与模板核灰度相同的模板区域称之为核同值区域。设模板区域为N(x，y)，定义

$R(x_0,y_0)=\left\{\begin{array}{c}G-S(x_0,y_0),S(x_0,y_0)<G\\ 0,\mathrm{others}\end{array}\right.---\left(I\right)$

其中

$S(x_0,y_0)=\underset{(x,y)\&Element;N(x,y)}{\mathrm{\&Sigma;}}C(x_0,y_0;x,y)$

$C(x_0,y_0;x,y)=\left\{\begin{array}{c}1,|f(x_0,y_0)-f(x,y)|\&le;T\\ 0,|f(x_0,y_0)-f(x,y)|>T\end{array}\right.$

(x₀，y₀)是核在图像中的位置坐标，(x，y)是模板N(x，y)的其他位置，f(x₀，y₀)和f(x，y)分别是在f(x₀，y₀)和(x，y)处像素的灰度，T是灰度的阈值，G是一个固定的几何阈值，本发明取T＝G＝27。根据SUSAN算子理论，s(x₀，y₀)其实就是核同值区域的面积，R(x，y)≠0的点(x，y)就是二值化图像的边缘点坐标。

计算二值图像的面积#S，当#S＞＝M时(本发明M＝10000)，就判断触摸笔位置垂直触摸屏，计算所有边缘像素点的重心坐标，重心坐标即为起笔位置，重心坐标为：

其中R表示所有边缘点的集合，#R表示边缘点像素个数。

当二值图像的面积#S＜M时，判断触摸笔与触摸屏不垂直，发生偏斜，则使得公式(I)中满足

的点(x₀，y₀)就确定为触摸笔的触点坐标。

另外，判断触摸笔位置是否与触摸屏垂直的方法，本发明提出可通过计算二值化图像边缘点数量来判断，当二值化图像边缘点数量#R＞＝n(本发明n＝450)个，就判断为触摸笔与触摸屏垂直，否则就判断为偏斜。

该定位坐标传输模5块为ARM芯片，其用于将FPGA芯片计算得到的定位坐标转化为屏幕的显示位置坐标，并将该坐标传输给计算机。

该计算机6，用于将ARM芯片传输的定位显示坐标指令发给投影机7进行屏幕显示操作，显示跟踪有源笔的书写轨迹。

Claims (5)

1.一种有源笔定位显示方法，其特征在于该方法包括以下步骤：

步骤S10：提取有源笔的光斑图像，并将该光斑图像二值化处理得到目标图像；

步骤S20：用SUSAN算子计算该目标图像的面积和/或边缘点数量，并将计算得到的面积和/或边缘点数量与相应的阀值进行比较，若大于阀值则判断有源笔垂直于屏幕，有源笔的起笔坐标为光斑图像重心坐标：

其中R表示所有边缘点的集合，#R表示边缘点像素个数；若小于阀值则判断有源笔倾斜于屏幕，有源笔的起笔坐标为满足的点(x₀，y₀)；

步骤S30：将起笔坐标转换成屏幕显示位置坐标并传送给计算机；

步骤S40：计算机根据显示位置坐标控制投影机显示有源笔的书写轨迹。

2.根据权利要求1所述的有源笔定位显示方法，其特征在于，步骤S10包括以下步骤：

S11：首先用安装在屏幕后面的CMOS图像传感器采集触摸屏幕的图像，并通过比较两帧图像的差值，提取光斑图像；

S12：通过设置饱和度阈值H，对光斑图像进行二值化处理，小于阈值的像素点是背景，大于阈值的像素点是目标图像区域。

3.根据权利要求1或2所述的有源笔定位显示方法，其特征在于：

在步骤S20中，用FPGA芯片结合SUSAN算子计算有源笔的起笔坐标值；

在步骤S30中，用ARM芯片将起笔坐标转换成屏幕显示位置坐标并传送给计算机。

4.一种有源笔定位显示，包括：有源笔(1)、显示单元、定位处理模块(4)、定位坐标传输模块(5)和计算机(6)，该显示单元包括触摸屏幕(2)、设置在触摸屏幕(2)后方图像采集模块和投影机(7)，

该图像采集模块(3)，用于提取有源笔的光斑图像，并将该光斑图像二值化处理得到目标图像；

该定位处理模块(4)，用于根据目标图像计算得到有源笔的起笔位置坐标；

该定位坐标传输模块(5)，用于将起笔位置坐标屏幕显示位置坐标并传送给计算机；

该计算机(6)，用于根据显示位置坐标控制投影机显示有源笔的书写轨迹；

其特征在于：

所述定位处理模块(4)，用于根据用SUSAN算子计算该目标图像的面积和/或边缘点数量，并将计算得到的面积和/或边缘点数量与相应的阀值进行比较，若大于阀值则判断有源笔垂直于屏幕，有源笔的起笔坐标为光斑图像重心坐标：其中R表示所有边缘点的集合，#R表示边缘点像素个数；若小于阀值则判断有源笔倾斜于屏幕，有源笔的起笔坐标为满足

的点(x₀，y₀)。

5.根据权利要求4所述的一种有源笔定位显示，其特征在于：所述图像采集模块(3)包括：用于采集触摸屏幕的图像，并通过比较两帧图像的差值，提取光斑图像的光斑图像提取模块，和用于通过设置饱和度阈值H，对光斑图像进行二值化处理，小于阈值的像素点是背景，大于阈值的像素点是目标图像区域的目标图像处理模块。

Images