CN101960412B - 用于数字记录信息的数字笔和方法 - Google Patents
用于数字记录信息的数字笔和方法 Download PDFInfo
- Publication number
- CN101960412B CN101960412B CN2009801081910A CN200980108191A CN101960412B CN 101960412 B CN101960412 B CN 101960412B CN 2009801081910 A CN2009801081910 A CN 2009801081910A CN 200980108191 A CN200980108191 A CN 200980108191A CN 101960412 B CN101960412 B CN 101960412B
- Authority
- CN
- China
- Prior art keywords
- digital pen
- image
- pen
- sensor
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/19—Image acquisition by sensing codes defining pattern positions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Position Input By Displaying (AREA)
- Image Input (AREA)
Abstract
一种数字笔设有带有用于捕获图案化表面的图像的至少一个传感器和用于在通过至少一个传感器捕获图像时照亮图案化表面的至少一个光源的光学系统。为了解决当在光亮表面上使用数字笔时传感器有时由于镜面反射光致盲的问题,光学系统可在以至少一个传感器和至少一个光源的不同的几何布置捕获图像的至少两种图像捕获状态之间被调整。作为补充或替代,数字笔可用具有第一偏振方向的线性偏振光照亮图案化表面,并且还在图像传感器前面设有线性偏振器,该偏振器具有第二不同的偏振方向,从而防止镜面反射光到达传感器。
Description
技术领域
本发明涉及用于通过使用图案化表面数字记录信息的数字笔和方法。
通过在形成笔划的同时捕获表面的图像的数字笔数字记录在表面上形成的笔划是已知的。为了使得能够实现笔划的数字记录,表面设有使得能够通过使用捕获的图像的内容确定表面上的数字笔的相对或绝对位置的图案。
在WO 01/26032 A1中公开了在绝对位置编码图案上操作的数字笔的一个例子。该笔包含用于照亮表面的发光二极管、用于使表面成像的光学传感器和用于将来自图像的位置进行解码的处理器。
根据观察,当在诸如铜版纸或白色书写板的光亮或有光泽的表面上使用数字笔时,由于在一些图像中亮度可能太高以至于难以或者甚至不可能辨别图案,因此有时会出现解码问题。
发明内容
可至少部分地通过用于数字记录信息的数字笔和方法解决上述的解码问题。
根据本发明的第一方面,提供一种用于通过使用图案化表面来数字记录信息的数字笔,该数字笔包括具有用于在数字笔在图案化表面上操作时捕获图案化表面的图像的至少一个传感器和用于在通过该至少一个传感器捕获图像时照亮图案化表面的至少一个光源的光学系统;其中,光学系统可在以该至少一个传感器和该至少一个光源的不同的几何布置捕获图像的至少两种图像捕获状态之间被调整。
根据第二方面,提供一种用于通过使用图案化表面来数字记录信息的数字笔,该数字笔包括具有用于在数字笔在图案化表面上操作时捕获图案化表面的图像的至少一个传感器和用于在通过至少一个传感器捕获图像时照亮图案化表面的至少一个光源的光学系统;其中,数字笔被配置为用具有第一偏振方向的线性偏振光照亮图案化表面,并且,在该至少一个图像传感器的前面提供具有不同的第二偏振方向的线性偏振器。
根据第三方面,提供一种用于通过使用图案化表面和数字笔来数字记录信息的方法,该数字笔包括具有用于在数字笔在图案化表面上操作时捕获图案化表面的图像的至少一个传感器和用于在通过该至少一个传感器捕获图像时照亮图案化表面的至少一个光源的光学系统,该方法包括通过使用该至少一个光源和该至少一个传感器的第一几何布置来在第一图像捕获状态中捕获第一图像和通过使用该至少一个光源和该至少一个传感器的第二几何布置来在第二图像捕获状态中捕获第二图像。
本发明基于从镜面反射光得到有时在光亮或平滑表面上出现的解码问题的认识,镜面反射光对于笔的某些取向到达图像传感器并且支配图像的多个部分或整个图像,从而使得难以辨别表面上的图案。
可通过提供具有带有可被选择性激活的至少两种图像捕获状态的光学系统的笔来解决该问题,在这些图像捕获状态中以至少一个传感器和至少一个光源的不同的几何布置来捕获图像。数字笔可例如具有彼此以一定距离放置并且可被选择性使用的两个光源。由于不同的几何布置,在不同的图像捕获状态中对于不同的笔取向出现镜面反射光的任何问题。因此,可以控制光学系统以减少镜面反射的问题。
如果来自光源的光沿第一方向线性偏振,那么替代性或补充的解决方案可包括在图像传感器的前面放置具有不同的第二偏振方向的线性偏振器。该解决方案基于线性偏振光当被镜面反射时保持其偏振状态但当被散射时不保持其偏振状态的理解。图像传感器前面的线性偏振器可由此防止镜面反射光到达图像传感器,同时,仍然向图像传感 器透射一部分散射的有用光。
附图说明
图1a和1b示意性地示出了数字笔的一部分。
图2示意性地表示了数字笔的部件的几何布置。
图3是指示具有根据图2的部件的几何布置的数字笔的不同取向的解码成功率的示例性示图。
图4~6是具有不同配置的光学系统的数字笔的示意性局部图。
图7a和图7b是示出作为图4的数字笔的不同的图像捕获状态的取向的函数的解码成功率的示图。
图8a~8c是示出作为取向的函数的解码成功率并表示可如何避免镜面反射光的问题的示图。
图9示意性地示出了具有线性偏振器的数字笔的一部分。
图10是示意性地示出了可如何控制数字笔以避免镜面反射光的问题的流程图。
图11示意性地示出了示例性的数字笔。
具体实施方式
现在详细参照在附图中表示的本发明的示例性实施例。在任何可能的情况下,在附图中始终使用相同的附图标记以表示相同或类似的部分。首先将参照图1~3解释镜面反射的问题。然后将参照图4~11描述该问题的不同的解决方案。
图1a和1b示意性地示出了用于从基底103的表面102数字记录笔划的数字笔100的一部分。表面可设有图案(未示出),使得在表面上相对或绝对定位。笔100包含:具有尖端104的标记元件107;包含图像传感器106的光学系统,该图像传感器106用于捕获其在尖端104附近的视场内的表面的图像;和用于至少照亮要被成像的表面的区域的光源108。用双点划线表示图像传感器106的光轴,并且,用点划线表示光源108的光轴。纵向的笔轴L由标记元件107及其尖 端104限定。
由于尖端104仅是笔100和表面102之间的接触点,因此,在笔的使用过程中,笔的取向会明显改变。笔的取向可由倾角和斜角限定,这里,笔的倾角是表面法线和笔轴L之间的角度θ,并且斜角是绕笔轴L的角度Φ。
当来自光源108的光到达表面102时,光的一部分将被镜面反射,即,以与入射光的角度相同的角度被反射,并且,一部分将穿入基底103并且散射回去。相对量当然依赖于表面的特性,但是,光亮表面将一般导致较高量的镜面反射光。一些类型的调色剂和印刷墨也会具有相同的效果。由于光沿所有的方向被散射回,因此,与入射到表面上的光的量相比,沿任意给定的方向辐射的光的量相对较低。在图1a和1b中,镜面反射光的方向由带箭头的点划线表示。
对于笔的某些取向,图像传感器106的光轴可基本上与来自基底103的镜面反射光的方向一致。在图1b中示意性地示出了这种情况。由于与基底中的光的散射相关的损失,因此,镜面反射光的亮度将远高于到达图像传感器106的散射光的亮度。图像将由此由明亮的镜面反射光支配,这使得难以或者甚至不可能辨别设置于表面上的任何图案。
图3通过示出对于电子笔的不同取向的解码成功率的示图来表示镜面反射的效果。与图1a和1b所示的笔相比,如图2所示,用于获得示图的数字笔具有稍微不同的几何布置的尖端104、图像传感器106和光源108。在图3的示图中,倾角被映射成使得0°处于示图的中心且45°处于示图的外周上,并且,斜角在-180°~180°之间被映射。标记域1100指示解码被视为不成功或不令人满意的取向。对于标记域1100外面的取向,解码被视为令人满意或成功的。不令人满意的解码源自当在光亮表面上使用数字笔时来自光源的光进入图像传感器中的镜面反射。
通过提供具有可在至少两种图像捕获状态之间调整的光学系统的数字笔可以避免或至少减少镜面反射光的效果,在至少两种图像捕获 状态中通过不同的几何布置的图像传感器和光源来捕获图像。由于对于在不同的图像捕获状态中的笔的不同取向出现镜面反射光的问题,因此,可通过选择性地使用图像捕获状态来避免问题。
在第一实施例中,如图4示意性地表示的那样,数字笔100可具有彼此以一定距离设置并且距离图像传感器106一定距离设置的两个光源108a和108b。由于与光源108b和图像传感器106的组合相比光源108a和图像传感器106的组合将具有不同的几何布置,因此将对于不同的图像捕获状态中的笔的不同的取向出现镜面反射的问题。
可关于光源以多种不同的方式放置光源。事实上,对于光源,只要它们能够照亮表面上的希望的区域并且只要它们彼此以一定距离被设置以提供照明特性的空间改变,就可以在任意配置中放置它们。图5表示例如其中尖端104、光源108a、108b和图像传感器106排成一行的实施例,一个光源被放置于图像传感器的任一侧。
在另一实施例中,数字笔100可具有多于两个光源,例如,如图6所示的在三角形的角上放置光源使得图像传感器106处于当中的三个光源108a-c。在本实施例中,可以在要为两种或更多种不同的图像捕获状态作准备时激活光源中的一个或更多个。
在另一实施例中,数字笔可仅具有一个光源但具有彼此以一定距离放置两个或更个图像传感器。传感器可选择性地被激活或者可被并行使用。配置可例如类似于图4~6中的任一个,这里,光源由图像传感器替代而图像传感器由光源替代。
在又一实施例中,光源或图像传感器或两者可在至少两个不同的位置之间移动,以为两种不同的图像捕获状态作准备。可通过使部件形成角度或通过沿图像轴横向移动它/它们或通过两者的组合来实现不同的位置。
光源和/或图像传感器可包含一个或更多个反射器或折射器。它们可被用于获得不同的图像捕获状态。具体而言,一个或更多个反射器或折射器可以在至少两个不同的位置之间移动,以为不同的图像捕获状态作准备。
在这后两种情况下,可由此通过仅使用一个光源并仅使用一个图像传感器来获得两种不同的图像捕获状态。通过使用一个光源和一个图像传感器提供两种图像捕获状态的另一方式会具有较大的图像传感器,使得可通过使用传感器的不同部分来获得不同的图像捕获状态。
图7a和图7b示出根据图4的实施例的数字笔的、具有与图3相同的倾角和斜角的映射的、与图3相同的类型的作为取向的函数的解码成功率的示图。图7a的示图示出使用第一光源108a时的解码成功率,而图7b的示图示出使用第二光源108b时的解码成功率。图7a中的域1100和图7b中的域1102指示解码不令人满意的取向。这些域1100和1102可由此被称为数字笔的“盲点”。从图中可以清楚地看出,这些域在这种情况下不重叠,因此,光源可被选择性激活以避免解码会由于到达图像传感器的镜面反射光而失败的域。如果盲点重叠,那么可以使用具有不重叠的盲点的第三个或更多个光源。
下面,将描述选择性激活或使用光学系统的不同的图像捕获状态的不同方法。为了简化,如图4所示,将参照包含两个光源108a和108b和一个图像传感器106的光学系统进行描述,但是,对于由上述的其它部件提供不同的图像捕获状态的光学系统,描述是同样有效的。
在一个实施例中,以交替的方式触发光源108a和108b,使得在光源中的第一个照亮表面的同时时捕获相隔的图像并在光源中的第二个照亮表面的同时时捕获另一相隔的图像。以这种方式,应在没有来自镜面反射光的干涉的情况下捕获至少相隔的图像。如果增加了图像捕获频率,那么可以实现更高的性能。
特别是如果盲点在解码成功率-取向图中不对称定位和/或如果它们具有不同的尺寸,那么还可设想用于在不同的图像捕获状态之间进行切换的其它的确定方案。
在另一实施例中,可以跟踪数字笔100的取向,使得可以在检测到笔取向接近或进入解码成功率-取向图中的解码成功率不令人满意的盲点时实施从一个光源到另一光源的切换。可通过数字笔的取向感测装置感测笔取向,该取向感测装置可包含被配置为基于从表面上的 图案的图像提取的信息计算笔的取向的不同类型的陀螺仪或处理器单元。可例如通过与例如在WO 01/71654 A1中描述的预定图案的知识一起使用代数模型来确定取向,在此加入该专利的全部内容作为参考。为了确立当前的笔取向是否接近盲点或处于盲点中,可以将感测或计算的笔取向与先前确定的已经发现解码成功率不令人满意/令人满意的取向相比较。与对于不同的图像捕获状态的一个或更多个盲点相对应的笔取向的指示可被存储在数字笔中。此外,可以使用多个连续的取向值,以找出笔取向是否接近解码对于当前使用的光源-图像传感器配置会是问题的区域。并且,为了预测笔取向是否接近当前使用的图像捕获状态的盲点,可以考虑例如笔角速度和/或笔角加速度的计算值或测量值。在替代性实施例中,感测或计算的笔取向被用作存储在笔中的查找表中的索引,该索引对于每个笔取向指示是否应实施光源的切换以及在多于两个光源的情况下切换到哪个光源。
在又一实施例中,从一个光源到另一光源的切换可基于解码成功的评价。如果数字笔检测到解码失败或者对于一个图像或预定数量的连续的图像给出不令人满意的结果,那么可以使当前使用的光源失效并激活另一光源。对于确定什么时候进行切换到另一光源,也可以使用诸如图像质量的其它标准。
在一个实施例中,可以使用来自一个或更多个捕获的图像的强度值作为图像质量的度量。图像可例如被分成较小的部分或单元,并且对于每个单元确定最大强度值或平均强度。然后可使用单元的组合的结果以确定图像传感器或其一部分是否由于镜面反射光致盲使得要实施向另一图像捕获状态的切换。组合的结果可以例如为最大强度值等于最高可能的强度值的单元的数量。然后,为了评定是否应实施切换,可将该组合的结果与预定的阈值相比较。WO 03/030082描述了可如何基于来自图像的不同部分的强度值在数字笔中执行曝光控制。基于强度值确定图像质量的过程可利用在曝光控制过程中计算的中间结果,或者,作为单独的过程被实施。
在另一实施例中,在用于解码的图像的捕获之间,以低强度短暂 地接通笔的光源。然后,读取传感器的可分别为例如2×2像素的一个或更多个小的部分,并且,基于读取的部分的像素的强度值,评定镜面反射光是否到达传感器,这又导致是否切换图像捕获状态的决定。由于只需要从传感器读取少许的像素,因此可以在非常短的时间内实施根据本实施例的评价。并且,光源的任何充电在最小的程度上受影响,功耗也是如此。
图8a~8c示出作为类似于图4的具有两个光源和一个图像传感器的数字笔的取向的函数的解码成功率的示意图。倾角和斜角的映射与图3相同。图8a示出适用于当用户开始使用数字笔时被激活的光源的示图,X指示笔在开始时的取向。在笔的随后的操作中,取向如箭头线1200指示的那样改变。在箭头线1200的末端,取向接近解码可由于镜面反射光变得有问题的盲点1201。如上所述,可通过确定笔的当前取向检测向该域的接近。当检测到接近盲点1201时,使第一光源失效并且激活第二光源,由此,图8b所示的解码成功率-取向图变为适用的一个。取向根据第二箭头线1202继续改变。在第二箭头线1202的末端,取向接近解码可由于镜面反射光变得有问题的盲点1203。以与上述的方式类似的方式,笔切换回第一光源,由此,图8a所示的解码成功率-取向图再次变为适用的一个。但是,为了更好地表示事件的过程,在图8c中重复图8a的图,使得箭头表示笔使用过程中的笔取向的改变。取向在不进入可望出现解码问题的任何域的情况下根据第三箭头线1204连续改变。通过以这种方式操作光学系统,可以实现更高的解码率。
根据替代性或增补的实施例,通过用第一偏振方向的线性偏振光照亮表面并将具有不同的第二偏振方向的线性偏振器放置在图像传感器的前面,可避免或减少镜面反射光的问题。
该解决方案基于在表面上镜面反射的线性偏振光将在很大程度上保持其线性偏振的理解。相反,贯穿表面并在基底中散射的光将不保持其线性偏振。因此,通过将第一偏振器放置在光源和表面之间的光路中并将第二偏振器放置在表面和图像传感器之间的光路中并使其偏 振方向基本上与第一偏振器的偏振方向垂直,将只有已在基底中散射的光到达图像传感器。以这种方式,可以避免镜面反射的负面效果。这种解决方案的缺点是,偏振器会吸收相对较大部分的光。可通过使用例如激光二极管的自身发射线性偏振光的光源来减少这些损失。在这种情况下,不需要使用第一偏振器。并且,可以使用两个或更多个光源以补偿偏振器对于光的吸收。在这种情况下,应将具有基本上相同的偏振方向的线性偏振器放置在光源的前面。可选择地,可以使用发射相同偏振方向的线性偏振光的光源。
如果在第一偏振器和第二偏振器之间的光路中使用一个或更多个反射器或影响偏振方向的其它部件,那么当选择第二偏振器的偏振方向时应考虑这一点。一般地,应选择第二偏振器的偏振方向,使得通过第一偏振器线性偏振的光的透射强度被最小化。
图9示意性地表示了数字笔100的一部分,这里,第一线性偏振器118被放置在光源的前面,并且,第二线性偏振器116被放置在图像传感器的前面。用斜线表示不同的偏振方向。在理想情况下,偏振方向相互垂直,但是,也可以在吸收大部分的镜面反射光的其它角度配置中放置偏振器。
在以上的实施例中,偏振器被永久地使用。在另一实施例中,可以只在可望出现或检测到由镜面反射光导致的解码问题时使用偏振器。这种用途与选择性使用两个或更多个光源或图像传感器时的上述用途相对应。具体而言,在没有吸收镜面反射光的偏振器的情况下实施的图像捕获将代表第一图像捕获状态,并且使用吸收镜面反射光的偏振器的图像捕获将代表第二图像捕获状态。偏振器可移动到光路中或只在要被使用时被激活。
图10是示意性地表示如何可控制诸如图4中的数字笔100的具有两种图像捕获状态的数字笔的光学系统以避免由镜面反射光导致的问题的流程图。如框1000所示,假定当激活数字笔时使用第一图像捕获状态。在方法的第一步骤1010中,在当前的图像捕获状态中使用的光源被接通以照亮尖端附近的表面。在步骤1020中,当进行照明时,通 过图像传感器捕获图像。在后面的步骤1030中,实施或至少尝试位置解码。由于失败或者由于结果被视为不确定,因此位置解码的结果可能是令人满意的或不令人满意的。在一个实施例中,下一步骤是强制切换到另一图像捕获状态的步骤1050,使得在一个图像捕获状态中捕获相隔的图像并且在另一图像捕获状态中捕获其它的图像。在另一实施例中,位置解码步骤之后是评价步骤1040,在该评价步骤1040中确定是否要实施向另一图像捕获状态的切换。如上所示,评价可基于一个或更多个取向值、解码步骤的结果、评定的图像质量或其它的测量。如果评价步骤的结果是要改变图像捕获状态,那么在步骤1050中实施向另一图像捕获状态的切换,然后,流程返回步骤1010,否则,流程直接返回步骤1010并且在相同的图像捕获状态中捕获下一图像。
如果光学系统包括多于两种图像捕获状态,那么方法还可包括选择要实施切换到特定的图像捕获状态的选择步骤。
可以完全在数字笔内实施该方法,但也可在数字笔和与笔通信的一个或更多个外部单元之间对其进行分配。可以通过软件、硬件或固件实现方法的步骤。
以上,已经参照图4~6和图9描述了被设计为用于减少由镜面反射光导致的解码问题的光学系统的数字笔100。如上所述,这种数字笔可包含彼此以一定距离放置的一个或更多个图像传感器106和一个或更多个光源108以及具有尖端104的标记元件107。标记元件107可适于或不适于在使用数字笔时在表面上留下标记。如果标记元件107适于在表面上留下可见的标记,那么它可包含诸如水笔芯、中性笔、铅笔、毡尖笔或者甚至完整的白色书写板或标记笔的结构。标记元件107可以是可更换的。每个图像传感器106可例如包含CCD或CMOS传感器或其它的类似于照相机的装置。它可对于可见光和/或不可见光敏感。每个光源108可包含一个或更多个可选择性操作的LED或激光二极管或其它照明装置。只要能够由用户的手来操纵以在表面上形成笔划,数字笔就不需要具有任何特定的形状或比例。
图11更详细地示出了可使用用于减少由镜面反射光导致的问题 的光学系统的示例性数字笔100。笔具有限定用于借其记录图像的窗口或开口122的笔状外壳或壳体120。
图11中的示例性数字笔100的光学系统包含两个照明光源108、透镜布置(图中未示出)和光学图像传感器106。适当地为发光二极管(LED)或激光二极管的光源108通过例如红外辐射的照明辐射选择性照亮可通过窗口122观察的区域的一部分。观察区域的图像通过透镜布置被投影到图像传感器106上。图像传感器可以是被触发以便以一般为约70~100Hz的固定或可变速率捕获图像的二维CCD或CMOS检测器。
用于笔的电源可以是可替代性地由主电源(未示出)替代或补充的电池124。
数字笔100还可设有包含一个或更多个处理器128的处理模块126和存储器块130。处理模块可负责笔中的不同的功能,诸如位置解码、曝光控制和用于避免镜面反射的对于光学系统的控制,并且可由诸如CPU(“中央处理单元”)的市售的微处理器、由DSP(“数字信号处理器”)或由诸如FPGA(“现场可编程门阵列”)或替代性的ASIC(“专用集成电路”)、离散模拟和数字部件或以上的一些组合的一些其它可编程逻辑器件实现。存储器块130可包含不同类型的存储器,诸如工作存储器(例如,RAM)和程序代码以及永久存储存储器(非易失性存储器,例如,闪存)。为了提供用于数字笔的操作的笔控制系统,相关的笔软件可被存储在存储器块130中,并且可由处理模块执行。
外壳120承载标记元件107,该标记元件107允许用户通过沉积于表面上的标记墨水以物理的方式在表面上书写或绘画。为了避免干涉数字笔中的光电检测,标记元件107的标记墨水适当地对于照明辐射透明。接触传感器132可在操作上与标记元件107连接,以检测笔在什么时候被施加(落笔)到表面上和/或从表面被提起(提笔),并且任选地考虑到确定施加力。笔划可由落笔和下一次提笔限定。基于接触传感器132的输出,光学系统可由处理模块控制,以捕获落笔和 提笔之间的图像。处理模块126然后可处理图像数据以计算由编码图案的成像部分编码的位置。可例如根据申请人的以下现有公开实现这种处理:US 2003/0053699、US 2003/0189664、US 2003/0118233、US2002/0044138、US 6667695、US 6732927、US 2003/0122855、US2003/0128194和其中的参考。得到的在时间上相干的位置的序列形成笔划的数字表现。
为了避免镜面反射光的问题,处理模块126可进一步控制光学系统以改变上述的图像捕获状态。它还可实施目标是确立是否要实施向不同的图像捕获状态的切换的任何评价。这种评价可能要求确定笔取向。出于这种目的,数字笔可设有处理模块从其接收取向值(倾角和/或斜角)的取向感测装置(图中未示出)。在另一实施例中,处理模块126可被配置为通过使用图像的内容来计算取向值。
数字笔可以是独立式器件或意图在于向外部设备传送记录的数据的器件。在后一种情况下,数字笔还可包含用于向诸如计算机、移动电话、PDA、网络服务器等的附近的或远程的装置传送或暴露数据的通信接口134。通信接口134可由此一般通过计算机、电话或卫星通信网络提供用于有线或无线短程通信(例如USB、RS232、无线电传送、红外传送、超声传送、电感耦合等)的部件和/或用于有线或无线远程通信的部件。
笔还可包含用于用户反馈的可被笔控制系统选择性激活的MMI(人机接口)。MMI可包含显示器、指示灯、振动器、扬声器等。
另外,笔可包含一个或更多个按钮,通过这些按钮,笔可被激活和/或控制。
数字笔可被配置为大约实时地向外部设备传送记录的信息,或者,存储信息,直到被用户触发以传送信息。在一个实施例中,笔的功能可限于捕获图像并将图像信息传送到外部设备。在另一实施例中,数字笔可将来自图像的位置信息进行解码并且响应解码的位置执行一定的操作。
在另一实施例中,数字笔可被配置为被用于白色书写板上,以数 字记录白色书写板上的笔划。在这种情况下,出于这种目的,标记元件可以是可被插入可拆卸的外壳中的完全的白色书写板笔。在本实施例中,接触传感器可以是设置在外壳的上端的机械开关,使得当在白色书写板上使用数字笔时白色书写板笔压在开关上。数字笔可以在白色书写板笔上留下或不留下痕迹。
数字笔不需要是绝对定位的笔,作为替代,为了数字记录笔划,可被配置为通过匹配连续捕获的图像的内容来确定其相对位置。笔还可考虑到绝对和相对定位的组合。
在又一实施例中,数字笔是所谓的点击笔,该点击笔不被用于记录笔划,而仅仅为了基于图像的内容启动操作或得到某种反馈而指向图案化表面。如果在绝对位置编码图案上使用点击笔,那么从成像的图案部分解码的绝对位置可例如代表使数字笔启动特定的操作或给予特定类型的反馈的指令。
可以在表面上使用不同的图案以使得数字笔能够确定表面上的相对或绝对位置。图案可由或多或少复杂的符号构成,并且,一个或更多个符号可限定位置。在一种类型的图案中,具有给定的尺寸的图案的每个部分可能是唯一的,并由此限定唯一的绝对位置。可选择地,表面可铺有分别限定位置的图案部分。根据期望的用途,图案部分可如希望的那样被重复。图案不需要是位置编码图案。它可替代性地为数字笔用于通过匹配连续捕获的图像确定其相对的位置的非位置编码图案,例如,随机化的图案。
美国专利No.6663008和No.6667695公开了可被用于数字记录手迹的数字笔使用的首先提到的类型的位置编码图案,在此加入这两个专利作为参考。具体而言,在上述的专利中描述的图案由类似的尺寸和形状的点构建。任意一组预定数量的点,例如,6*6个点,可限定唯一的位置。如上述的专利所述,每个点可通过从虚线的正方形网格中的网格点沿四个预定方向中的一个位移来将四种可能的值中的一个编码。可根据产生图案时的算术算法来计算不同点的位移的方向。在理论上,可以在具有上述参数的图案中将436个不同的位置进行编码。 可以用约0.3mm的网格点之间的标称间隔来实现图案,从而使得图案适于高分辨率的手迹记录。该图案布置允许整个图案覆盖粗略等于欧洲和亚洲的总表面积的表面积。因此,为了使得能够数字记录手迹,只需要在诸如图1a和1b中的表面102的表面上提供总图案的极小的百分比或细微的部分。
可以在造纸原料、半透明材料上印刷图案,或导致其出现于可固定或显示它的任何表面或材料上。例如,可以通过投影仪或通过使用任何其它的显示设备诸如在视频屏幕、计算机屏幕上动态显示图案。
作为位移点的替代方案,允许记录手迹的图案可包含不同尺寸的点、直角、斜线、文字、颜色的图案或其它的印刷形状或标记中的一种或更多种。
例如,在US 6752317、WO99/50787、US5661506、US5652412、US5852434、US5442147和WO00/25293中找到可潜在地使用上述本发明的其它位置编码图案和数字笔的例子。
Claims (10)
1.一种用于通过使用图案化表面来数字记录信息的数字笔,所述数字笔包括具有用于在数字笔在图案化表面上操作时捕获图案化表面的图像的至少一个传感器和用于在通过所述至少一个传感器捕获图像时照亮图案化表面的至少一个光源的光学系统;其中,所述光学系统可在以所述至少一个传感器和所述至少一个光源的不同的几何布置捕获图像的至少两种图像捕获状态之间被调整;其中,所述数字笔适于根据笔的操作选择性地改变图像捕获状态。
2.根据权利要求1所述的数字笔,其中,所述光学系统包含至少两个光源,并且,数字笔适于在第一和第二图像捕获状态中激活不同的光源。
3.根据权利要求1所述的数字笔,其中,所述光学系统包含至少两个传感器,并且,数字笔适于在第一和第二图像捕获状态中从不同的图像传感器检索图像。
4.根据权利要求1所述的数字笔,其中,所述至少一个传感器和所述至少一个光源中的至少一个可在第一和第二位置之间移动。
5.根据权利要求1所述的数字笔,包括用于确定数字笔的取向的装置,其中,数字笔适于选择性地基于笔的取向改变图像捕获状态。
6.根据权利要求1~4中的任一项所述的数字笔,其中,数字笔适于通过表面上的绝对位置编码图案电子记录笔划。
7.一种用于通过使用图案化表面和数字笔来数字记录信息的方法,所述数字笔包括具有用于在数字笔在图案化表面上操作时捕获图案化表面的图像的至少一个传感器和用于在通过所述至少一个传感器捕获图像时照亮图案化表面的至少一个光源的光学系统,该方法包括:
通过使用所述至少一个光源和所述至少一个传感器的第一几何布置来在第一图像捕获状态中捕获第一图像和通过使用所述至少一个光源和所述至少一个传感器的第二几何布置来在第二图像捕获状态中捕获第二图像;以及
根据笔的操作选择性地在图像捕获状态之间切换。
8.根据权利要求7所述的方法,还包括:根据笔的取向选择性地在图像捕获状态之间切换。
9.根据权利要求7~8中的任一项所述的方法,还包括:通过借助数字笔捕获由绝对位置编码图案提供的表面的图像的序列并从图像中的绝对位置编码图案对位置进行解码来记录笔划。
10.根据权利要求8所述的方法,还包括:通过借助数字笔捕获由绝对位置编码图案提供的表面的图像的序列并从图像中的绝对位置编码图案对位置进行解码来记录笔划。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US670408P | 2008-01-28 | 2008-01-28 | |
US61/006,704 | 2008-01-28 | ||
SE0800203 | 2008-01-28 | ||
SE0800203-2 | 2008-01-28 | ||
PCT/SE2009/050078 WO2009096886A1 (en) | 2008-01-28 | 2009-01-27 | Digital pens and a method for digital recording of information |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101960412A CN101960412A (zh) | 2011-01-26 |
CN101960412B true CN101960412B (zh) | 2013-06-12 |
Family
ID=40913041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801081910A Expired - Fee Related CN101960412B (zh) | 2008-01-28 | 2009-01-27 | 用于数字记录信息的数字笔和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20110013001A1 (zh) |
EP (1) | EP2257864A1 (zh) |
JP (1) | JP2011511347A (zh) |
KR (1) | KR20100137433A (zh) |
CN (1) | CN101960412B (zh) |
WO (1) | WO2009096886A1 (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100142856A1 (en) * | 2008-12-10 | 2010-06-10 | Shin Takeuchi | Image reading apparatus, and reading method |
TW201115403A (en) * | 2009-10-21 | 2011-05-01 | Kye Systems Corp | Selection method for wavelenght section of pen-shaped optical input device, and its pen-shaped optical input |
TWI453630B (zh) * | 2009-10-21 | 2014-09-21 | Kye Systems Corp | Multi - optical component execution method and pen - type optical input device thereof |
US9128537B2 (en) * | 2010-03-04 | 2015-09-08 | Autodesk, Inc. | Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector |
EP2479650B1 (en) | 2011-01-21 | 2015-09-16 | Anoto AB | Product with coding pattern |
US9716858B2 (en) | 2011-03-07 | 2017-07-25 | Ricoh Company, Ltd. | Automated selection and switching of displayed information |
US9053455B2 (en) | 2011-03-07 | 2015-06-09 | Ricoh Company, Ltd. | Providing position information in a collaborative environment |
US8881231B2 (en) | 2011-03-07 | 2014-11-04 | Ricoh Company, Ltd. | Automatically performing an action upon a login |
US9086798B2 (en) | 2011-03-07 | 2015-07-21 | Ricoh Company, Ltd. | Associating information on a whiteboard with a user |
US8698873B2 (en) | 2011-03-07 | 2014-04-15 | Ricoh Company, Ltd. | Video conferencing with shared drawing |
WO2014038118A1 (ja) * | 2012-09-07 | 2014-03-13 | パナソニック株式会社 | 表示装置および表示制御システム |
US9275448B2 (en) * | 2013-08-27 | 2016-03-01 | Xerox Corporation | Flash/no-flash imaging for binarization |
JP5841587B2 (ja) * | 2013-12-25 | 2016-01-13 | 株式会社Pfu | 撮像システム |
US20150212598A1 (en) * | 2014-01-28 | 2015-07-30 | Pixart Imaging Inc. | Dual mode optical navigation device and mode switching method thereof |
EP3175326B1 (en) * | 2014-07-30 | 2020-09-02 | Hewlett-Packard Development Company, L.P. | Detector for a display |
JP6515637B2 (ja) * | 2015-03-30 | 2019-05-22 | 富士ゼロックス株式会社 | 画像読取装置および画像形成装置 |
CN106057000B (zh) * | 2016-07-05 | 2019-09-27 | 成都东方闻道科技发展有限公司 | 一种基于点阵数码笔的群组教学系统及其工作方法 |
US10564740B2 (en) | 2016-07-21 | 2020-02-18 | Samsung Electronics Co., Ltd. | Pen device—panel interaction based on electromagnetic signals output by the pen device |
CN108664966A (zh) * | 2017-04-02 | 2018-10-16 | 田雪松 | 一种笔记记录方法和装置 |
CN108664155A (zh) * | 2017-04-02 | 2018-10-16 | 田雪松 | 光学数码笔 |
CN108664872A (zh) * | 2017-04-02 | 2018-10-16 | 田雪松 | 基于点阵识别的信息验证系统 |
CN108664153A (zh) * | 2017-04-02 | 2018-10-16 | 田雪松 | 数码笔 |
WO2019094003A1 (en) * | 2017-11-08 | 2019-05-16 | Hewlett-Packard Development Company, L.P. | Determining locations of electro-optical pens |
CN109977940A (zh) * | 2017-12-27 | 2019-07-05 | 田雪松 | 图像采集装置 |
KR102213541B1 (ko) * | 2019-08-01 | 2021-02-08 | 주식회사 이지시스템 | 패턴인쇄필름용 디지털펜을 이용한 인식율 향상 방법 |
KR102263732B1 (ko) * | 2019-09-09 | 2021-06-10 | 주식회사 이지시스템 | 패턴인쇄필름용 디지털펜을 이용한 인식율 향상 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1174996A (zh) * | 1996-07-16 | 1998-03-04 | 曼海姆泊灵格股份公司 | 具有检测小体积样品的装置的分析系统 |
WO2001042824A1 (en) * | 1999-12-08 | 2001-06-14 | Otm Technologies, Ltd. | Improved motion detector and components suitable for use therein |
CN1377487A (zh) * | 1999-10-01 | 2002-10-30 | 阿诺托股份公司 | 用于光学阅读的编码纸 |
CN1442997A (zh) * | 2002-03-01 | 2003-09-17 | 精工爱普生株式会社 | 图像读取系统 |
CN101006452A (zh) * | 2004-07-08 | 2007-07-25 | 阿诺托股份公司 | 光学系统中成像装置的安装 |
CN101021889A (zh) * | 2007-03-15 | 2007-08-22 | 北京航空航天大学 | 面向签名防伪的多维力觉信息测量数字笔 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1992017859A1 (en) * | 1991-04-03 | 1992-10-15 | Hewlett Packard Company | Position-sensing apparatus |
US5852434A (en) * | 1992-04-03 | 1998-12-22 | Sekendur; Oral F. | Absolute optical position determination |
US5652412A (en) * | 1994-07-11 | 1997-07-29 | Sia Technology Corp. | Pen and paper information recording system |
US5661506A (en) * | 1994-11-10 | 1997-08-26 | Sia Technology Corporation | Pen and paper information recording system using an imaging pen |
US6686910B2 (en) * | 1996-04-22 | 2004-02-03 | O'donnell, Jr. Francis E. | Combined writing instrument and digital documentor apparatus and method of use |
JP2942215B2 (ja) * | 1997-06-16 | 1999-08-30 | 八洲電機株式会社 | ペ ン |
US6330976B1 (en) * | 1998-04-01 | 2001-12-18 | Xerox Corporation | Marking medium area with encoded identifier for producing action through network |
GB2340712B (en) * | 1998-05-14 | 2000-07-12 | Virtual Ink Corp | Transcription system |
SE516561C2 (sv) * | 1999-06-28 | 2002-01-29 | C Technologies Ab | Läspenna för inläsning och behandling av text |
US6592039B1 (en) * | 2000-08-23 | 2003-07-15 | International Business Machines Corporation | Digital pen using interferometry for relative and absolute pen position |
US6950104B1 (en) * | 2000-08-30 | 2005-09-27 | Microsoft Corporation | Methods and systems for animating facial features, and methods and systems for expression transformation |
US7203383B2 (en) * | 2001-02-22 | 2007-04-10 | Thinkpen Llc | Handwritten character recording and recognition device |
US6667695B2 (en) * | 2001-06-25 | 2003-12-23 | Anoto Ab | Position code |
US7110604B2 (en) * | 2001-06-26 | 2006-09-19 | Anoto Ab | Processing of digital images |
US6732927B2 (en) * | 2001-06-26 | 2004-05-11 | Anoto Ab | Method and device for data decoding |
US6847353B1 (en) * | 2001-07-31 | 2005-01-25 | Logitech Europe S.A. | Multiple sensor device and method |
US6728455B2 (en) * | 2001-09-04 | 2004-04-27 | Fujikura Ltd. | Optical fiber drop cable and manufacturing method thereof |
US7457476B2 (en) * | 2001-10-03 | 2008-11-25 | Anoto Ab | Optical sensor device and a method of controlling its exposure time |
EP1302891A1 (de) * | 2001-10-12 | 2003-04-16 | Siemens Aktiengesellschaft | Vorrichtung zum Erfassen und Darstellen von Bewegungen |
US7145556B2 (en) * | 2001-10-29 | 2006-12-05 | Anoto Ab | Method and device for decoding a position-coding pattern |
US7283676B2 (en) * | 2001-11-20 | 2007-10-16 | Anoto Ab | Method and device for identifying objects in digital images |
SE520682C2 (sv) * | 2001-12-06 | 2003-08-12 | Anoto Ab | Rekonstruering av ett virtuellt raster |
KR20030062032A (ko) * | 2002-01-16 | 2003-07-23 | 조용호 | 디지털 펜 장치 |
US20050122308A1 (en) * | 2002-05-28 | 2005-06-09 | Matthew Bell | Self-contained interactive video display system |
JP4406430B2 (ja) * | 2003-05-26 | 2010-01-27 | アノト アクティエボラーク | コンピュータからプリンタに送信されるページ記述コードを含むデジタル表現を圧縮するための方法 |
US7492351B2 (en) * | 2003-12-18 | 2009-02-17 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Optical navigation based on laser feedback or laser interferometry |
US20050156915A1 (en) * | 2004-01-16 | 2005-07-21 | Fisher Edward N. | Handwritten character recording and recognition device |
US7439954B2 (en) * | 2004-04-15 | 2008-10-21 | Logitech Europe S.A. | Multi-light-source illumination system for optical pointing devices |
CA2576016A1 (en) * | 2004-08-03 | 2006-02-09 | Silverbrook Research Pty Ltd | Electronic stylus |
JP4135115B2 (ja) * | 2007-05-22 | 2008-08-20 | 健治 吉田 | ドットパターン読取ユニット及びこれを備えたマウス |
-
2009
- 2009-01-27 CN CN2009801081910A patent/CN101960412B/zh not_active Expired - Fee Related
- 2009-01-27 KR KR1020107019085A patent/KR20100137433A/ko not_active Application Discontinuation
- 2009-01-27 EP EP09707051A patent/EP2257864A1/en not_active Withdrawn
- 2009-01-27 JP JP2010544274A patent/JP2011511347A/ja active Pending
- 2009-01-27 WO PCT/SE2009/050078 patent/WO2009096886A1/en active Application Filing
- 2009-01-27 US US12/863,910 patent/US20110013001A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1174996A (zh) * | 1996-07-16 | 1998-03-04 | 曼海姆泊灵格股份公司 | 具有检测小体积样品的装置的分析系统 |
CN1377487A (zh) * | 1999-10-01 | 2002-10-30 | 阿诺托股份公司 | 用于光学阅读的编码纸 |
WO2001042824A1 (en) * | 1999-12-08 | 2001-06-14 | Otm Technologies, Ltd. | Improved motion detector and components suitable for use therein |
CN1442997A (zh) * | 2002-03-01 | 2003-09-17 | 精工爱普生株式会社 | 图像读取系统 |
CN101006452A (zh) * | 2004-07-08 | 2007-07-25 | 阿诺托股份公司 | 光学系统中成像装置的安装 |
CN101021889A (zh) * | 2007-03-15 | 2007-08-22 | 北京航空航天大学 | 面向签名防伪的多维力觉信息测量数字笔 |
Also Published As
Publication number | Publication date |
---|---|
CN101960412A (zh) | 2011-01-26 |
JP2011511347A (ja) | 2011-04-07 |
KR20100137433A (ko) | 2010-12-30 |
WO2009096886A1 (en) | 2009-08-06 |
EP2257864A1 (en) | 2010-12-08 |
US20110013001A1 (en) | 2011-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101960412B (zh) | 用于数字记录信息的数字笔和方法 | |
AU758036B2 (en) | Input unit, method for using the same and input system | |
US6906699B1 (en) | Input unit, method for using the same and input system | |
US20110292199A1 (en) | Handheld display device with microscope optics | |
JPH11345074A (ja) | ハンドヘルド・ポインティングおよび走査デバイス | |
JP5228889B2 (ja) | 読取装置 | |
CN101308426B (zh) | 使用摄像头的个人移动信息设备手写输入装置 | |
CN103003778A (zh) | 交互式输入系统和用于其的笔工具 | |
AU2009213801A1 (en) | Image reading apparatus, and reading method | |
EP0957448A2 (en) | Optical code reader mouse | |
US8513547B2 (en) | Image reading apparatus and image reading method | |
CN101398838A (zh) | 手写信息管理系统和手写信息管理方法 | |
CN108351955A (zh) | 具有测距仪的紧凑型成像模块 | |
JP2009230287A (ja) | 読み取り装置、筆記情報処理システム、読み取り装置の制御装置、プログラム | |
JP2012243201A (ja) | 入力機能付表示装置 | |
JP6503828B2 (ja) | インタラクティブプロジェクションシステム,指示体,およびインタラクティブプロジェクションシステムの制御方法 | |
US8531401B2 (en) | Computer accessory device | |
KR101512082B1 (ko) | 전자펜의 모드 전환시스템 및 방법 | |
AU759166B2 (en) | Device and method for recording hand-written information | |
US9569013B2 (en) | Coordinate detection system, information processing apparatus, and recording medium | |
JP2009223631A (ja) | 電子筆記具及びプログラム | |
JP2012256088A (ja) | 電子ペン、端末装置、及びプログラム | |
US6715686B1 (en) | Device for recording information in different modes | |
KR101454808B1 (ko) | 특정광원을 이용한 펜팁 자동인식장치 및 방법 | |
JPH11338959A (ja) | シンボル読取装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130612 Termination date: 20180127 |