CN102004584B - 有源笔定位显示方法及装置 - Google Patents
有源笔定位显示方法及装置 Download PDFInfo
- Publication number
- CN102004584B CN102004584B CN201010526110A CN201010526110A CN102004584B CN 102004584 B CN102004584 B CN 102004584B CN 201010526110 A CN201010526110 A CN 201010526110A CN 201010526110 A CN201010526110 A CN 201010526110A CN 102004584 B CN102004584 B CN 102004584B
- Authority
- CN
- China
- Prior art keywords
- prime
- zone
- circular shuttering
- image
- active
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
本发明涉及一种电子输入显示方法,特别涉及一种有源笔书写定位显示方法。该方法包括以下步骤:步骤S10:提取有源笔的光斑图像,并将该光斑图像二值化处理得到目标图像;步骤S20:用SUSAN算子计算得到有源笔起笔坐标;步骤S30:将起笔坐标转换成屏幕显示位置坐标并传送给计算机;步骤S40:计算机根据显示位置坐标控制投影机显示有源笔的书写轨迹。本发明的方法克服了有源笔与书写屏幕位置偏斜时,所引的有源笔触点位置与屏幕显示位置不一致的缺陷。此外,本发明还公开了一种有源笔的定位显示装置。
Description
技术领域
本发明涉及一种电子输入显示方法,特别涉及一种有源笔书写定位显示方法。
背景技术
基于光学感应的多点触摸系统是用户通过触摸投影屏幕表面,影响光学感应成像设备的输入结果,成像设备将成像结果输入软件系统进行处理,一般经过三个步骤,首先是对原始输入图像进行包括矫正、滤波等预处理,然后通过光斑跟踪引擎对触点进行跟踪,并将其解释为各种输入状态,最后将输入位置、状态等信息发送给上层应用程序。应用程序处理结果最终被投射到显示屏幕表面上,从而与用户产生真正的所见即所得的交互效果。
目前出现一种对激光平面多点触摸技术(laser light plane,简称LLP)进行改进的多点触摸技术,该技术与原有的技术相比无需在触摸表面安装光源。该改进技术通过具备主动发射红外光的触笔1(称之为有源笔)来模拟手指的直接触摸过程,其工作原理如图1所示:通过触笔1在背投屏幕2上的触压发射红外光信号,光信号穿透背投屏幕2后经过背投内部的大反射镜3作镜面反射;摄像头4接收镜面反射的光信号,再传递给计算机5;触笔1产生的信号会在背投屏幕2上形成一个大的光斑,系统采用逐行扫描的方式对信号进行采样(如60帧/秒),取光斑的最亮值,通过计算光斑图像重心的坐标作为触笔点在CMOS上成像的坐标;计算机5对感应到的光信号进行处理,形成一套坐标系统,并将处理后的数据通过特定的数据格式传递给上层应用程序;从而达到跟踪触笔的运动,模拟出多点触摸的效果。
对于上述这种有源笔触点位置的定位方法,一般是先通过光学摄像头采集到的有源笔光斑图像进行图像二值化处理,然后计算像素点的几何重心坐标,最后把光斑图像的重心作为有源笔触点(起笔)的位置。这种方法虽简单实用,但常常判断不准确。当手握笔与触摸表面垂直时,有源笔发光四周比较均匀,采集的光斑图像边缘比较圆滑,利用饱和度阈值进行二值化,二值化图像近似一个圆,二值化图像的面积较大,图像边缘点数量较多,如图2所示,起笔位置与图像重心位置重合。当手握笔与触摸表面不垂直而倾斜时,有源笔的发光有些被遮挡,采集的光斑图像面积比较小,边缘点的数量较少,利用饱和度阈值进行二值化处理的图像类似小扇形,如图3所示,这样求出的图像的重心就不是起笔的位置,起笔位置在图形边缘比较尖的部位。这样就出现落笔位置和书写显示位置不一样,书写效果显得很不自然,尤其在用直尺画线时,握笔一般是倾斜于触摸表面,显示效果就更不方便。实际上用户在书写时,也会不经意中握笔倾斜,造成书写位置不连贯,这样将会阻碍该产品的推广使用。本发明不论使用者握笔与书写平面垂直与否,都可自动校正显示的位置为落笔的位置,并且满足实时应用需求。
发明内容
本发明解决的第一技术问题是提供一种有源笔定位显示方法,使得该方法可以克服目前有源笔在屏幕书写时,当有源笔与书写屏幕位置不垂直而发生偏斜时,引起书写笔触点位置与显示位置不一致的缺陷。本发明解决的第二技术问题是提供一种有源笔定位显示装置。
为解决上述第一技术问题,本发明采用第一技术方案:
一种有源笔定位显示方法,其特征在于该方法包括以下步骤:
步骤S10:提取有源笔的光斑图像,并将该光斑图像二值化处理得到目标图像;
步骤S20:用SUSAN算子计算该目标图像的面积和/或边缘点数量,并将计算得到的面积和/或边缘点数量与相应的阀值进行比较,若大于阀值则判断有源笔垂直于屏幕,有源笔的起笔坐标为光斑图像重心坐标:其中R表示所有边缘点的集合,#R表示边缘点像素个数;若小于阀值则判断有源笔倾斜于屏幕,有源笔的起笔坐标为满足的点(x0,y0);
步骤S30:将起笔坐标转换成屏幕显示位置坐标并传送给计算机;
步骤S40:计算机根据显示位置坐标控制投影机显示有源笔的书写轨迹。
作为改进之一:步骤S10包括以下步骤:
S11:首先用安装在屏幕后面的CMOS图像传感器采集触摸屏幕的图像,并通过比较两帧图像的差值,提取光斑图像;
S12:通过设置饱和度阈值H,对光斑图像进行二值化处理,小于阈值的像素点是背景,大于阈值的像素点是目标图像区域。
作为改进之二:在步骤S20中,用FPGA芯片结合SUSAN算子计算有源笔的起笔坐标值;在步骤S30中,用ARM芯片将起笔坐标转换成屏幕显示位置坐标并传送给计算机。
为解决上述第二技术问题,本发明采用第二技术方案:
一种有源笔定位显示,包括:有源笔、显示单元、定位处理模块、定位坐标传输模块和计算机,该显示单元包括触摸屏幕、设置在触摸屏幕后方图像采集模块和投影机,
该图像采集模块,用于提取有源笔的光斑图像,并将该光斑图像二值化处理得到目标图像;
该定位处理模块,用于根据目标图像计算得到有源笔的起笔位置坐标;
该定位坐标传输模块,用于将起笔位置坐标屏幕显示位置坐标并传送给计算机;
该计算机,用于根据显示位置坐标控制投影机显示有源笔的书写轨迹;
其中:
所述定位处理模块,用于根据用SUSAN算子计算该目标图像的面积和/或边缘点数量,并将计算得到的面积和/或边缘点数量与相应的阀值进行比较,若大于阀值则判断有源笔垂直于屏幕,有源笔的起笔坐标为光斑图像重心坐标:其中R表示所有边缘点的集合,#R表示边缘点像素个数;若小于阀值则判断有源笔倾斜于屏幕,有源笔的起笔坐标为满足的点(x0,y0)。
作为改进之一:所述图像采集模块包括:用于采集触摸屏幕的图像,并通过比较两帧图像的差值,提取光斑图像的光斑图像提取模块,和用于通过设置饱和度阈值H,对光斑图像进行二值化处理,小于阈值的像素点是背景,大于阈值的像素点是目标图像区域的目标图像处理模块。
与现有技术相比,本发明的有益效果是:本发明的方法和装置克服了有源笔与书写屏幕位置偏斜时,所引的有源笔触点位置与屏幕显示位置不一致的缺陷。本方法实现简单,计算量小,能满足工程应用的实时性需求,而且准确性高。
附图说明
图1是现有基于改进的LLP方式的触摸装置原理示意图;
图2是有源笔垂直于屏幕表面的光斑图像示意图;
图3是有源笔倾斜于屏幕表面的光斑图像示意图;
图4是本发明的有源笔定位显示方法的流程图;
图5是SUSAN算子采用的圆形模板示意图;
图6是本发明的结构示意图。
具体实施方式
下面结合附图对本发明的有源笔定位显示以及其有源笔定位显示方法的实施例进行说明。
如图4所示,该有源笔定位显示方法包括以下步骤:
步骤S10:CMOS图像传感器以60帧/s的速率采集触摸屏幕整幅图像,当有源笔触摸屏幕时,屏幕将产生光斑高亮点区域,利用两帧图像的差值,提取光斑图像。设置饱和度阈值H(本发明取H=0.25),对光斑图像进行二值化处理,小于阈值的像素点就是背景,大于阈值的像素点就是目标图像区域;
步骤S20:用FPGA芯片结合SUSAN算子计算该目标图像的面积和/或边缘点数量,并将计算得到的面积和/或边缘点数量与相应的阀值进行比较,若大于阀值则判断有源笔垂直于屏幕,有源笔的起笔坐标为光斑图像重心坐标:其中R表示所有边缘点的集合,#R表示边缘点像素个数;若小于阀值则判断有源笔倾斜于屏幕,有源笔的起笔坐标为满足的点(x0,y0);
步骤S30:将起笔坐标转换成屏幕显示位置坐标并传送给计算机;
步骤S40:计算机根据显示位置坐标控制投影机显示有源笔的书写轨迹。
其中步骤S10包括以下步骤:
S11:首先用安装在屏幕后面的CMOS图像传感器采集触摸屏幕的图像,并通过比较两帧图像的差值,提取光斑图像;
S12:通过设置饱和度阈值H,对光斑图像进行二值化处理,小于阈值的像素点是背景,大于阈值的像素点是目标图像区域。
如图6所示,该有源笔定位显示包括:
有源笔1、显示单元、定位处理模块3、定位坐标传输模块5和计算机6,该显示单元包括触摸屏幕2、设置在触摸屏幕后方图像采集模块3和投影机7,其中:
该图像采集模块3为安装在屏幕后面的CMOS图像传感器,其用于以60帧/s的速率采集触摸屏幕整幅图像,当有源笔触摸屏幕时,屏幕将产生光斑高亮点区域,利用两帧图像的差值,提取光斑图像。设置饱和度阈值H(本发明取H=0.25),对光斑图像进行二值化处理,小于阈值的像素点就是背景,大于阈值的像素点就是目标图像区域。
该定位处理模块4为FPGA芯片,其用于对光斑图像二值化处理,确定有源笔触点坐标。对光斑图像的每个像素点,利用公开发表的SUSAN算子进行操作,本发明的SUSAN算子采用内含37个像素的圆形模板,这37个像素排成7行,分别有3,5,7,7,5,3个像素,相当于半径为3.4个像素的圆,如图5所示。图5中圆心的中心称之为模板核,在模板区域内,与模板核灰度相同的模板区域称之为核同值区域。设模板区域为N(x,y),定义
其中
(x0,y0)是核在图像中的位置坐标,(x,y)是模板N(x,y)的其他位置,f(x0,y0)和f(x,y)分别是在f(x0,y0)和(x,y)处像素的灰度,T是灰度的阈值,G是一个固定的几何阈值,本发明取T=G=27。根据SUSAN算子理论,s(x0,y0)其实就是核同值区域的面积,R(x,y)≠0的点(x,y)就是二值化图像的边缘点坐标。
计算二值图像的面积#S,当#S>=M时(本发明M=10000),就判断触摸笔位置垂直触摸屏,计算所有边缘像素点的重心坐标,重心坐标即为起笔位置,重心坐标为:其中R表示所有边缘点的集合,#R表示边缘点像素个数。
另外,判断触摸笔位置是否与触摸屏垂直的方法,本发明提出可通过计算二值化图像边缘点数量来判断,当二值化图像边缘点数量#R>=n(本发明n=450)个,就判断为触摸笔与触摸屏垂直,否则就判断为偏斜。
该定位坐标传输模5块为ARM芯片,其用于将FPGA芯片计算得到的定位坐标转化为屏幕的显示位置坐标,并将该坐标传输给计算机。
该计算机6,用于将ARM芯片传输的定位显示坐标指令发给投影机7进行屏幕显示操作,显示跟踪有源笔的书写轨迹。
Claims (5)
1.一种有源笔定位显示方法,其特征在于该方法包括以下步骤:
步骤S10:提取有源笔的光斑图像,并将该光斑图像二值化处理得到目标图像;
步骤S20:用SUSAN算子计算该目标图像的面积和/或边缘点数量,并将计算得到的面积和/或边缘点数量与相应的阀值进行比较,若大于阀值则判断有源笔垂直于屏幕,有源笔的起笔坐标为光斑图像重心坐标:其中R表示所有边缘点的集合,#R表示边缘点像素个数;若小于阀值则判断有源笔倾斜于屏幕,有源笔的起笔坐标为满足的点(x0,y0),其中R(x0,y0)的计算公式如下:
其中
其中,SUSAN算子采用圆形模板,圆形模板圆心称之为模板核,在圆形模板区域内,与模板核灰度相同的圆形模板区域称之为核同值区域;设模板区域为N(x,y),(x0,y0)是模板核在目标图像中的位置坐标,(x,y)是圆形模板N(x,y)的其他位置坐标,f(x0,y0)和f(x,y)分别是在模板核(x0,y0)和圆形模板内其他位置坐标(x,y)处像素的灰度,T是灰度阈值;G为固定的几何阈值,S(x0,y0)是核同值区域的面积;
R(x,y)的计算公式如下:
其中
其中,SUSAN算子采用圆形模板,圆形模板圆心称之为模板核,在圆形模板区域内,与模板核灰度相同的圆形模板区域称之为核同值区域;设模板区域为N(x′,y′),(x,y)是模板核在目标图像中的位置坐标,(x′,y′)是圆形模板N(x′,y′)的其他位置坐标,f(x,y)和f(x′,y′)分别是在模板核(x,y)和圆形模板内其他位置坐标(x′,y′)处像素的灰度,T是灰度阈值;G为固定的几何阈值,S(x,y)是核同值区域的面积;
步骤S30:将起笔坐标转换成屏幕显示位置坐标并传送给计算机;
步骤S40:计算机根据显示位置坐标控制投影机显示有源笔的书写轨迹。
2.根据权利要求1所述的有源笔定位显示方法,其特征在于,步骤S10包括以下步骤:
S11:首先用安装在屏幕后面的CMOS图像传感器采集触摸屏幕的图像,并通过比较两帧图像的差值,提取光斑图像;
S12:通过设置饱和度阈值H,对光斑图像进行二值化处理,小于阈值的像素点是背景,大于阈值的像素点是目标图像区域。
3.根据权利要求1或2所述的有源笔定位显示方法,其特征在于:
在步骤S20中,用FPGA芯片结合SUSAN算子计算有源笔的起笔坐标值;
在步骤S30中,用ARM芯片将起笔坐标转换成屏幕显示位置坐标并传送给计算机。
4.一种有源笔定位显示装置,包括:有源笔(1)、背投影显示单元、定位处理模块(4)、定位坐标传输模块(5)和计算机(6),该背投影显示单元包括触摸屏幕(2)、设置在触摸屏幕(2)后方的图像采集模块(3)和投影机(7),
该图像采集模块(3),用于提取有源笔的光斑图像,并将该光斑图像二值化处理得到目标图像;
该定位处理模块(4),用于根据目标图像计算得到有源笔的起笔位置坐标;
该定位坐标传输模块(5),用于将起笔位置坐标屏幕显示位置坐标并传送给计算机;
该计算机(6),用于根据显示位置坐标控制投影机显示有源笔的书写轨迹;
其特征在于:
所述定位处理模块(4),用于根据用SUSAN算子计算该目标图像的面积和/或边缘点数量,并将计算得到的面积和/或边缘点数量与相应的阀值进行比较,若大于阀值则判断有源笔垂直于屏幕,有源笔的起笔坐标为光斑图像重心坐标:其中R表示所有边缘点的集合,#R表示边缘点像素个数;若小于阀值则判断有源笔倾斜于屏幕,有源笔的起笔坐标为满足的点(x0,y0),其中R(x0,y0)的计算公式如下:
其中
其中,SUSAN算子采用圆形模板,圆形模板圆心称之为模板核,在圆形模板区域内,与模板核灰度相同的圆形模板区域称之为核同值区域;设模板区域为N(x,y),(x0,y0)是模板核在目标图像中的位置坐标,(x,y)是圆形模板N(x,y)的其他位置坐标,f(x0,y0)和f(x,y)分别是在模板核(x0,y0)和圆形模板内其他位置坐标(x,y)处像素的灰度,T是灰度阈值;G为固定的几何阈值,S(x0,y0)是核同值区域的面积;
R(x,y)的计算公式如下:
其中
其中,SUSAN算子采用圆形模板,圆形模板圆心称之为模板核,在圆形模板区域内,与模板核灰度相同的圆形模板区域称之为核同值区域;设模板区域为N(x′,y′),(x,y)是模板核在目标图像中的位置坐标,(x′,y′)是圆形模板N(x′,y′)的其他位置坐标,f(x,y)和f(x′,y′)分别是在模板核(x,y)和圆形模板内其他位置坐标(x′,y′)处像素的灰度,T是灰度阈值;G为固定的几何阈值,S(x,y)是核同值区域的面积。
5.根据权利要求4所述的一种有源笔定位显示装置,其特征在于:所述图像采集模块(3)包括:用于采集触摸屏幕的图像,并通过比较两帧图像的差值,提取光斑图像的光斑图像提取模块,和用于通过设置饱和度阈值H,对光斑图像进行二值化处理,小于阈值的像素点是背景,大于阈值的像素点是目标图像区域的目标图像处理模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010526110A CN102004584B (zh) | 2010-10-28 | 2010-10-28 | 有源笔定位显示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010526110A CN102004584B (zh) | 2010-10-28 | 2010-10-28 | 有源笔定位显示方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102004584A CN102004584A (zh) | 2011-04-06 |
CN102004584B true CN102004584B (zh) | 2012-10-03 |
Family
ID=43811980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010526110A Expired - Fee Related CN102004584B (zh) | 2010-10-28 | 2010-10-28 | 有源笔定位显示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102004584B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103885644A (zh) * | 2012-12-21 | 2014-06-25 | 北京汇冠新技术股份有限公司 | 一种提高红外触摸屏触摸精度的方法及其系统 |
CN103500017B (zh) * | 2013-09-17 | 2016-09-14 | 锐达互动科技股份有限公司 | 一种光电互动模组多笔识别和跟踪方法 |
CN108268157B (zh) * | 2016-12-30 | 2024-03-15 | 北京大学 | 一种应用于大型显示屏幕或投影屏幕的设备定位方法及装置 |
CN110562455B (zh) * | 2019-09-05 | 2021-04-30 | 北京工业大学 | 一种智能型无人机自动充电系统 |
CN114710601B (zh) * | 2022-03-07 | 2024-03-12 | 深圳创维-Rgb电子有限公司 | 一种基于拍摄设备的屏幕书写方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246544A (zh) * | 2008-01-24 | 2008-08-20 | 电子科技大学中山学院 | 一种基于边界点搜索和susan边缘检测的虹膜定位方法 |
CN101621615A (zh) * | 2009-07-24 | 2010-01-06 | 南京邮电大学 | 一种自适应背景建模及运动目标检测方法 |
-
2010
- 2010-10-28 CN CN201010526110A patent/CN102004584B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246544A (zh) * | 2008-01-24 | 2008-08-20 | 电子科技大学中山学院 | 一种基于边界点搜索和susan边缘检测的虹膜定位方法 |
CN101621615A (zh) * | 2009-07-24 | 2010-01-06 | 南京邮电大学 | 一种自适应背景建模及运动目标检测方法 |
Non-Patent Citations (3)
Title |
---|
张映权等.改进的SUSAN角点检测算法.《现代电子技术》.2009,(第20期),42-44. * |
胡利军.小波变换和SUSAN算子在图像处理中的应用.《无线电工程》.2007,第37卷(第8期),13-15. * |
陆宏伟等.最小核值相似区低层次图像处理算法的改进及应用.《应用光学》.2000,第21卷(第1期),32-36. * |
Also Published As
Publication number | Publication date |
---|---|
CN102004584A (zh) | 2011-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6089722B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN101231450B (zh) | 多点及物体触摸屏装置及多点触摸的定位方法 | |
US20120249422A1 (en) | Interactive input system and method | |
US8797271B2 (en) | Input aggregation for a multi-touch device | |
CN201191355Y (zh) | 多点及物体触摸屏装置 | |
CN102004584B (zh) | 有源笔定位显示方法及装置 | |
US9454260B2 (en) | System and method for enabling multi-display input | |
US20120319945A1 (en) | System and method for reporting data in a computer vision system | |
CN101419513A (zh) | 一种红外激光笔遥指虚拟触摸系统 | |
CN102436327B (zh) | 一种屏幕输入系统及其实现方法 | |
CN103425268A (zh) | 图像处理装置、计算机可读记录介质和图像处理方法 | |
CN102508578A (zh) | 投影定位装置及方法、交互系统和交互方法 | |
JP6528964B2 (ja) | 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法 | |
CN104079906A (zh) | 图像处理装置、投影机及图像处理方法 | |
CN107682595B (zh) | 一种交互投影方法、系统及计算机可读存储介质 | |
WO2018076720A1 (zh) | 单手操控方法及操控系统 | |
CN102023759B (zh) | 一种有源笔书写定位方法 | |
US8497852B2 (en) | Minimal parallax coincident digital drawing and display surface | |
CN201369027Y (zh) | 一种红外激光笔遥指虚拟触摸系统 | |
CN102799344B (zh) | 虚拟触摸屏系统以及方法 | |
CN207557895U (zh) | 一种应用于大型显示屏幕或投影屏幕的设备定位装置 | |
CN104732570B (zh) | 一种图像生成方法及装置 | |
CN109871178A (zh) | 一种基于图像识别的虚拟触摸屏系统 | |
CN103558914A (zh) | 基于几何校正优化的单摄像头虚拟键盘 | |
CN116974400B (zh) | 屏幕触显识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Kezhu road high tech Industrial Development Zone, Guangzhou city of Guangdong Province, No. 233 510670 Patentee after: Wei Chong group Limited by Share Ltd Address before: 510663 No. 6, color road, hi tech Industrial Development Zone, Guangdong, Guangzhou, China Patentee before: Guangdong Weichuangshixun Science and Technology Co., Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121003 Termination date: 20191028 |