CN101187839B - 与编码标签交互以产生取向数据的感测设备 - Google Patents

与编码标签交互以产生取向数据的感测设备 Download PDF

Info

Publication number
CN101187839B
CN101187839B CN2007101952505A CN200710195250A CN101187839B CN 101187839 B CN101187839 B CN 101187839B CN 2007101952505 A CN2007101952505 A CN 2007101952505A CN 200710195250 A CN200710195250 A CN 200710195250A CN 101187839 B CN101187839 B CN 101187839B
Authority
CN
China
Prior art keywords
label
page
sensor device
netpage
pen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101952505A
Other languages
English (en)
Other versions
CN101187839A (zh
Inventor
保罗·拉普斯顿
卡·西尔弗布鲁克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silverbrook Research Pty Ltd
Original Assignee
Silverbrook Research Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/722,088 external-priority patent/US7105753B1/en
Application filed by Silverbrook Research Pty Ltd filed Critical Silverbrook Research Pty Ltd
Publication of CN101187839A publication Critical patent/CN101187839A/zh
Application granted granted Critical
Publication of CN101187839B publication Critical patent/CN101187839B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/19Image acquisition by sensing codes defining pattern positions

Abstract

提供了一种用于在相对于表面而定位或移动时产生取向数据的感测设备。取向数据指示感测设备相对于该表面的取向,该表面具有设置于其上的编码标签。每个编码标签具有旋转不变结构并且在被该感测设备感测时指示该取向。该感测设备包括:壳体;取向感测装置,配置为使用该编码标签的至少之一来产生该取向数据;以及通信装置,配置为把该取向数据传送给计算机系统以便知道该感测装置相对于该表面的取向。所产生的取向数据表示该壳体相对于该表面的偏转和倾斜中的至少一个,并且该取向感测装置被布置为基于编码标签的该旋转不变结构来感测该编码标签。

Description

与编码标签交互以产生取向数据的感测设备
本申请为2001年11月26日提交的、申请号为01819475.3、发明名称为“方向传感设备”的申请的分案申请。
技术领域
本发明一般地关于与计算机交互的方法、系统和装置。本发明特别关于一种用于在相对于表面被移动或放置时感测其相对于表面的自身取向的感测设备。
本发明已被发展主要用于允许大量分布的用户通过印刷品和光传感器与联网信息交互,从而通过高速联网彩色打印机按需获得交互的印刷品。虽然本发明在本文中主要是参考上述用途说明的,但是应该指出的是,本发明不局限于在上述领域中使用。
共同未决申请
与本发明有关的各种方法、系统和装置在本发明的申请者或代理人与本申明同时申报的下列共同未决申请/授权专利中揭示:
09/721,895,  09/721,8944, 09/722,174,
09/721,896,  09/722,148,  09/722,146,
09/721,861,  6,741,871,   09/722,171,
09/721,858,  09/722,142,  09/722,087,
09/722,141,  09/722,175,  09/722,147,
09/722,172,  09/721,893,  09/722,088,
09/721,862,  6,530,339,   6,631,897,
这些共同未决申请的揭示以互参方式综合在此。每个应用都采用其案号临时标识。
与本发明有关的各种方法、系统和装置在本发明的申请者或代理人于2000年10月20日申报的下列共同未决申请/授权专利中揭示:
09/693,415,  09/693,219,  09/693,280,
09/693,515,  09/693,705,  09/693,647,
09/693,690,  09/693,593,  6,474,888,
6,627,870,   6,724,374,   09/696,514,
6,454,482,   09/693,704,  6,527,365,
6,474,773,   6,550,997
这些共同未决申请的揭示以互参方式综合在此。每个应用都采用其案号临时标识。
与本发明有关的各种方法、系统和装置在本发明的申请者或代理人于2000年9月15日申报的下列共同未决申请/授权专利中揭示:
6,679,420,09/669,599,09/663,701,
6,720,985
这些共同未决申请的揭示以互参方式综合在此。每个应用都采用其案号临时标识。
与本发明有关的各种方法、系统和装置在本发明的申请者或代理人于2000年6月30日申报的下列共同未决申请/授权专利中揭示:
09/609,139, 09/608,970,  6678,499,   09/607,852, 09/607,656,  6,766,942,
09/607,843, 09/607,605,  09/608,178, 09/609,553, 09/609,233,  09/609,149,
09/608,022, 09/607,844,  6,457,883,  09/608,920, 09/607,985,  6,398,332,
6,394,573,  6,622,923
这些共同未决申请的揭示以互参方式综合在此。每个应用都采用其案号临时标识。
与本发明有关的各种方法、系统和装置在本发明的申请者或代理人于2000年5月23日申报的下列共同未决申请/授权专利中揭示:
09/5 75,197,  09/575,195,   09/575,159,   09/575,132,
09/575,123,   09/575,148,   09/575,130,   09/575,165,
09/575,153,   09/575,118,   09/575,131,   09/575,116,
09/575,144,   09/575,139,   09/575,186,   6,681,045,
6,728,000,    09/575,145,   09/575,192,   09/575,181,
09/575,193,   09/575,183,   09/575,160,   09/575,150,
09/575,169,   6,644,642,    6,502,614,    6,622,999
6,669,385,    6,549,935,    09/575,187,   6,727,996,
6,591,884,    6,439,706,    6,760,119,    09/575,198,
6,290,349,    6,428,155,    6,785,016,    09/575,174,
09/575,163,   6,737,591,    09/575,154,   09/575,129,
09/575,124,   09/575,188     09/575,189,   09/575,162,
09/575,172,   09/575,170,   09/575,171,   09/575,161,
6,428,133,    6,526,658,    6,315,699,    6,338,548,
6,540,319,    6,328,431,    6,328,425,    09/575,127,
6,383,833,    6,464,332,    6,390,591,    09/575,152,
6,328,417,    6,409,323,    6,281,912,    6,604,810,
6,318,920,    6,488,422,    09/575,108,   09/575,109,
09/575,110.
这些共同未决申请的揭示以互参方式综合在此。每个应用都采用其案号临时标识。
背景技术
目前,计算机系统的用户通常使用显示信息的监视器和输入信息的键盘和/或鼠标与系统交互。虽然这种接口很强大,但是它比较庞大,不便携。在纸上打印的信息较容易阅读,也比在计算机监视器上显示的信息更便携。但是,与键盘或鼠标不同的是,纸上的笔通常缺少与计算机软件交互的能力。
发明内容
发明目的
本发明的一个目的是把纸上的笔和计算机系统的优点组合起来。
本发明关于一种用于在相对于表面移动或放置时产生取向数据的感测设备,取向数据指示感测设备相对于表面的取向,所述表面具有设置在其上的编码数据,所述编码数据在被感测设备感测时指示取向,所述感测设备包括:
外壳;
配置为使用至少一些所述编码数据产生取向数据的取向感测装置;和
配置为把取向数据传送给计算机系统的通信装置。
在本发明的优选实例中,取向数据指示外壳相对于所述表面的偏转、倾斜和/或滚动。
优选地,所述感测设备包括用于在其相对于所述表面移动时产生移动数据的移动感测装置,配置为把移动数据传送到计算机系统的通信装置。
也是优选的,所述感测设备还包括一种区域标识感测装置,该区域标识感测装置被配置为在该设备相对于所述表面的区域移动或放置时使用至少一些编码数据感测指示区域标识的区域标识数据,所述通信装置被配置为向计算机系统传送区域标识数据。
所述取向感测装置优选地在所述外壳移动时动态地检测外壳相对于所述表面的取向。所述外壳可以为细长形状,其可以被用户握持。在本发明的一个实例中,外壳为笔的形状。所述外壳可以提供有一个标签笔尖,用于标签所述表面,但是这不是必要的。
通过同时捕获取向和移动数据,该系统可用于验证个人签名。可替换地,动态测量的取向信号可以使能所述外壳被用作控制杆(joystick)。例如,这种控制杆可用于三维软件应用。需要注意的是,所述取向感测装置不必须以所有的三维感测外壳的取向。只检测倾斜可能是充分的,因为一些应用可能不需要三维取向信息。例如,所述外壳可用来线性地控制设备的一个方面,例如通过在0°-90°之间改变倾斜来控制光强度或喇叭的音量。
所述滚动、倾斜和偏转可以通过检测编码数据的透视畸变和旋转来计算。
首先,所述设备可用于确定该装置何时首先施加于所述表面以及何时离开表面,在力量施加和力量撤除之间的移动被定义为手绘中的“笔划”。力量数据信息可以加上时间戳。
所述设备优选为包含上述适当装置的独立器具。它可以是任何形状的,但优选的是触针或笔状。
该装置优选地结合一标签尖,用于以手绘信息标签所述表面,但是这不是必须的。
该装置优选地预期用于与计算机系统交互,所述计算机系统可以被控制并能解释用户通过所述设备输入的手绘信息(可以是图形或文字)。优选地,所述感测设备被配置以提供唯一标识所述设备的设备标识信息。  因此,所述计算机系统可以使用此信息来标识所述设备。
从下面的仅为举例的参考附图的本发明实施例的描述,本发明的特征和优点将变明显。
附图说明
现在本文中所述的本发明的优选实例和其它实例是仅通过非限制性的例子,参考附图被描述,其中:
图1是采样打印的netpage与其在线页描述之间关系的示意图。
图2是netpage笔、netpage打印机、netpage页服务器和netpage应用服务器之间的交互的示意图。
图3显示了通过网络互联的netpage服务器和打印机的集合。
图4是打印的netpage和其在线页描述的高级结构的示意图。
图5a是显示netpage标签结构的平面图。
图5b是显示图5a中所示的一组标签与netpage笔式netpage感测设备的视野之间的关系的平面图。
图6a是显示netpage标签的另一种结构的平面图。
图6b是显示图6a中所示的一组标签与netpage笔式netpage感测设备的视野之间的关系的平面图。
图6c是显示图6a中的9个标签的排列的平面图,其中的目标在相邻标签之间共享。
图6d的平面图显示了图6a中所示标签的4个码字的符号的交错和旋转。
图7是标签图像处理和解码算法的流程图。
图8是netpage笔和其相关的标签感测视野锥体的透视图。
图9是图8中所示的netpage笔的透视分解图。
图10是用于图8和图9中的netpage笔的笔控制器的示意性框图。
图11是壁挂式netpage打印机的透视图。
图12是通过图11中的netpage打印机的长度的剖面。
图12a是图12的局部放大图,它显示了双工打印引擎和胶轮组件的一部分。
图13是墨盒、墨、空气和胶路径以及图11和12中的netpage打印机的打印引擎的详细视图。
图14是用于图11和12中所示的netpage打印机的打印机控制器的示意性框图。
图15是与图14中所示的打印机控制器有关的双工打印引擎控制器和MemjetTM打印头的示意性框图。
图16是图14和15中所示的打印引擎控制器的示意性框图。
图17是使用于例如图10-12的netpage打印机中的单个MemjetTM打印元件的透视图。
图18是MemjetTM打印元件阵列的一小部分的透视图。
图19的一系列透视图显示了图13中的MemjetTM打印元件的工作循环。
图20是页宽MemletTM打印头的一短段的透视图。
图21是一个用户类图的示意图。
图22是一个打印机类图的示意图。
图23是一个笔类图的示意图。
图24是一个应用类图的示意图。
图25是一个文档和页描述类图的示意图。
图26是一个文档和页所有权类图的示意图。
图27是一个终端元素专门化类图的示意图。
图28是一个静态元素专门化类图的示意图。
图29是一个超链接元素类图的示意图。
图30是一个超链接元素专门化类图的示意图。
图31是一个超链接组类图的示意图。
图32是一个表单类图的示意图。
图33是一个数字墨类图的示意图。
图34是一个字段元素专门化类图的示意图。
图35是一个复选框字段类图的示意图。
图36是一个文本字段类图的示意图。
图37是一个签名字段类图的示意图。
图38是一个输入处理算法的流程图。
图38a是图38中的流程图的一个步骤的详细流程图。
图39是一个页服务器命令元件类图的示意图。
图40是一个资源描述类图的示意图。
图41是一个收藏列表类图的示意图。
图42是一个历史列表类图的示意图。
图43是订阅递送协议的示意图。
图44是超链接请求类图的示意图。
图45是超链接激活协议的示意图。
图46是表单提交协议的示意图。
图47是手续费支付协议的一个示意图。
图48是一组构成符号的径向楔形的示意图。
图49是环A和环B符号分配方案的示意图。
图50是第一个环C和环D符号分配方案的示意图。
图51是第二个环C和环D符号分配方案的示意图。
图52是三角形标签打包的示意图。
图53是一个二十面体的透视图。
图54是一个频率为3的二十面短程线的透视图。
图55是最小标签间隔的示意图。
图56是可以避免重叠的最小标签间隔的示意图。
图57是第一个标签插入情况的示意图。
图58是第二个标签插入情况的示意图。
图59是第三个标签插入情况的示意图。
图60是第四个标签插入情况的示意图。
图61是相对于表面的笔取向的示意图。
图62是笔倾斜几何形状的示意图。
图63是笔滚动几何形状的示意图。
图64是笔坐标空间的示意图,该坐标空间显示了笔的物理轴和光轴。
图65是弯曲尖几何形状的示意图。
图66是采样频率和标签频率之间的交互的示意图。
图67是笔的光路的示意图。
图68是笔划捕获算法的流程图。
图69是原始数字墨类图的示意图。
图70是包含编号为1-10的等式的表。
图71是包含编号为11-20的等式的表。
图72是包含编号为21-26的等式的表。
图73是包含编号为27-34的等式的表。
图74是包含编号为35-41的等式的表。
图75是包含编号为42-44的等式的表。
图76是包含编号为45-47的等式的表。
图77是包含编号为48-51的等式的表。
图78是包含编号为52-54的等式的表。
图79是包含编号为55-57的等式的表。
图80是包含编号为58-59的等式的表。
图81是包含编号为60-63的等式的表。
图82是包含编号为64-74的等式的表。
图83是包含编号为75-86的等式的表。
图84是包含编号为87-99的等式的表。
图85是包含编号为100-111的等式的表。
图86是包含编号为112-120的等式的表。
图87是包含编号为121-129的等式的表。
图88是包含等式64到71的一组简并形式的表。
图89显示了包含用于零倾斜和零滚动的条件和特殊处理的表的第一部分。
图90是图89中的表的第二部分。
具体实施方式
注:MemjetTM是澳大利亚Silverbrook研究有限公司的一个商标。
在优选实施例中,本发明被配置为与netpage联网计算机系统一起工作,netpage联网计算机系统将在下文中详细描述。需要理解的是,并不是每个实施都必须采用下述与基本系统有关的所有的或甚至大多数的特定细节和扩充。但是,在本文中,我们以最完整的方式说明该系统,这样,当读者试图理解其中有本发明工作的优选实施例和方面的上下文时,减少对外部参考的需求。
总的来说,netpage系统的优选形式利用一种映射表面形式的计算机界面,也就是说,包含对计算机系统中维护的表面的映射的参考的物理表面。映射参考可以由适当的感测设备查询。依赖于特定的实施,所述映射参考可以被可见地或不可见地编码,并且定义为这样的方式即所述映射表面上的局部查询在映射内和不同的映射中产生明确的映射参考。所述计算机系统可以包含关于映射表面上的特征的信息,这种信息可以根据与映射表面一起使用的感测设备提供的映射参考来检索。因此,检索的信息可以采取由计算机系统代表操作员发起的动作的形式来响应操作员与表面特征的交互。
在一种优选形式中,netpage系统依赖于netpage的产生和人与netpage的交互。这些是打印在普通纸上的文本、图形和图像的页,但是其像交互网页一样工作。每个页上的信息使用对肉眼基本不可见的墨编码。但是,墨以及从而所述编码数据可以由一支光学成像笔感测并发送到netpage系统。纸以外的基材可以使用。优选实例中的编码信息是一种红外吸收墨实现的,并且因此可以使用一种对红外敏感的光学传感器。如有必要,还可以使用其它波长或光学感测以外的感测技术;一个选择是使用磁墨和传感器。
在本发明的优选形式中,可以使用所述的笔点击每个页上的活动按钮和超链接,以从网络请求信息或者向网络服务器发送优先选择信号。在本发明的一个实例中,netpage上的手写文本被自动识别和转换为netpage系统中的计算机文本,允许表单被填充。在本发明的其它实施例中,在netpage上记录的签名被自动地验证,允许电子商务交易被安全地授权。
如图1所示,打印的netpage1可以代表由用户在打印的页上物理填充的交互表单或通过笔和netpage系统之间的通信以“电子“填充的交互表单。下述的例子显示了一个包含姓名和地址字段以及一个提交按钮的“请求”表单。该netpage包含使用可见墨打印的图形数据2以及使用不可见墨打印为标签4的集合的编码数据3。在netpage网络上存储的对应的页描述5说明了netpage的各个元素。特别是,它描述了每个交互元素(即本例中的文本域或按钮)的类型和空间范围(区域),从而允许netpage系统通过netpage正确地解释输入。例如,提交按钮6带有一个区域7,该区域对应于对应的图8相应的空间范围。
如图2所示,netpage笔101(该笔的一个优选形式在图8和图9中示出并在下文中详细说明)可以与netpage打印机601相结合地运作,该打印机是用于家庭、办公室或移动使用的因特网连接的打印设备。这种笔是无线的,并能够与netpage打印机通过一条短程无线链路9安全地通信。如果需要,还可以使用线或红外发射器把该笔与所述系统连接起来,尽管两者二中择一地限制可用性。
Netpage打印机601的一个优选形式在图11-13中示出并在下文中详细说明。netpage打印机601可以定期地或在需要时传递个性化的报纸、杂志、目录、小册子及其它出版物,这些出版物的以与交互netpage一样高的质量被打印。与个人计算机不同的是,netpage打印机是一种例如可以墙-安装到被首先消费的早间新闻区域附近(如在用户的厨房中、早餐桌旁、或每日家务工作的起点位置附近)。它还有桌面型、台式、便携式和微型等多种形式。
在其消费地点处打印的Netpage组合了纸张的易用性和交互媒体的及时性和交互性。
如图2所示,netpage笔101与打印的netpage 1上的编码数据交互,还通过短程无线链路9将该交互传送给netpage打印机。打印机601把交互发送给相关的netpage页服务器10用于解释。在适当的情况下,页服务器向运行在netpage应用服务器13上的应用计算机软件发送对应的消息。应用服务器可以依次地发送在起源打印机上打印的响应。
在本发明的优选实例中,通过把所述的netpage系统与基于高速微型机电系统(MEMS)的喷墨(MemjetTM)打印机联用,从而使netpage系统显著地更加方便。在该技术的一种优选形式中,相对高速和高质量的打印变得更让消费者买得起。在其优选形式中,netpage出版物具有传统新闻杂志的物理特性如在双面上以全色彩打印的一组信函大小的光亮页,它们被装订在一起,便于轻易导航和舒适处理。
Netpage打印机利用了宽带互联网接入的增长的可用性。在美国的95%家庭可使用有线服务,提供宽带因特网接入的有线调制解调器服务对于其中的20%已经是可用的。Netpage打印机还可以使用较慢的连接,但是这种连接具有较长的传送时间或较低的图像质量或者两者。实际上,netpage系统可以使用现有的消费者喷墨和激光打印机被使能,尽管所述系统将更慢地操作并且因此从消费者的观点来看将是较不可接受的。在本发明的其它实例中,netpage系统被掌管在专用内部网上。还是在另外的实例中,netpage系统被掌管在单个计算机上或计算机使能的设备如打印机上。
Netpage网络上的Netpage发布服务器14被配置为向netpage打印机传送打印质量公布。周期性公布通过点播和组播互联网协议自动地传递给预订的netpage打印机。个性化的公布根据各个用户简档被过滤和格式化。
可以把Netpage打印机配置为支持任意数量的笔,而一支笔可以与任意数量的netpage打印机一起工作。在本发明的优选实现中,每支netpage笔都带有唯一的标识符。一个家庭可以拥有有色netpage笔的集合,每支笔分配给家庭的每个成员。假设被分配的笔只由相应的家庭成员使用,这允许每个用户维护关于netpage公布服务器或应用服务器的不同的简档。但是,如下文中所述的,还可以使用其它装置来标识用户。
netpage笔还可以向netpage注册服务器11注册,并与一个或多个支付卡账户链接。这样,允许使用netpage笔安全地授权电子商务支付。Netpage注册服务器把由netpage笔捕获的签名与以前注册的签名比较,这允许它验证用户对于电子商务服务器的身份。其它生物识别也可被用来验证身份。一种版本的netpage笔包括指纹扫描,其由netpage注册服务器以类似的方式验证。
虽然netpage打印机可以在没有用户介入的情况下传递期刊如早报,它可以被配置为从来都不传递未经请求的垃圾邮件。在其优选形式中,其只传递来自预订的或其他授权的来源的期刊。在这方面,netpage打印机与传真机或电子邮件账户不同,其对于知道电话号码或电子邮件地址的任何垃圾邮件邮寄者是可见的。二中择一地,也可以使整个系统对外部用户可见,或者每个用户也可以被提供把自己的打印机暴露给外部用户的能力。这可以通过选择允许发送垃圾邮件的外部用户来实现。
1.NETPAGE系统体系结构
系统中的每个对象模型使用统一建模语言(UML)类图来描述。类图由通过关系而连接的对象类的集合组成,这里对两种关系感兴趣:关联和泛化。关联代表对象(即类的实例)之间的某种关系。泛化与实际的类有关,能够用下列方式理解:如果一个类被认为是该类的所有对象的集合,并且类A是类B的泛化,那么B简单地是A的子集。
每个类被描绘为标注有该类的名称的矩形。它包含类的属性列表(与名称之间用一条水平线隔开),和类操作列表(与属性列表之间用一条水平线隔开)。但是,在下面的类图中从未对操作建模。
关联被描绘为连接两个类的线条,其可选地在任一端处标注有该关联的多重性。默认的多重性为一。星号(*)指示多重性“若干”,即零或更多。每个关联可选地标注有其名称,还可选地在任一端处标注有对应类的角色。开放的菱形表示聚合关联(“是…的一部分(is-part-of)”),且被描绘于关联线条的聚合器端处。
泛化关系(“是一种…(is-a)”)被描绘为连接两个类的实线,在泛化端处具有箭头(开放三角形的形式)。
当类图被分割成多个图时,在所有图中(定义该类的主图除外),被复制的任何类以虚线轮廓示出。其只在被定义处以属性示出。
1.1 NETPAGE
Netpages是其上建立netpage网络的基础。它们为发布信息和交互式服务提供了一种基于纸张的用户界面。
netpage包含打印页(或其它表面区域),该打印页被不可见地打有对页的在线描述的参考的标签。标签可以打印在页的表面上,也可以打印在页的表面中,可以在页的子层中或上,或者可以合并在页中。在线页描述由netpage页服务器不间断地维护。页描述说明页的可见布局和内容,包括文本、图形和图像。它还描述页上的输入元素,包括按钮、超链接、以及输入字段。虽然netpage(以及相关的页描述)明显不同,不同netpage的页描述可以共享组件,如图像。每个netpage的页描述可以包括对这些公共组件的引用。Netpage允许使用netpage笔在其表面上做出的标记被netpage系统同时捕获和处理。
多个netpage可以共享相同的页描述。但是,为了允许通过其它相同页的输入被区分,每个netpage被分配有唯一的页标识符。这种页ID具有足够的精度,以在设想用于使用环境中的全部netpage之间区分。如果环境小,那么所述精度不需要与大环境中的一样大。
对于页描述的每个引用被编码在打印的标签中。该标签标识了它出现于其上的唯一页,并且从而间接地标识页描述。在优选实例中,所述标签也标识其自身在所述页上的位置。所述标签的特性在下文中更详细地说明。
标签是以红外吸收墨打印在红外反射的任何基底,例如普通的纸上。近红外波长对人眼是不可见的,但是可以由带有适当滤波器的固态图像传感器容易地感测。可以使用对相关波长或多个波长敏感的传感器,这种情况下不需要使用滤波器。其它的波长可以与适当的基底和传感器时一起被使用。
标签被netpage笔中的区域(area)图像传感器感测,被解码,并且由所述标签编码的数据被传送到netpage系统(优选地通过最近的netpage打印机)。笔是无线的,并且通过短程无线链路与netpage打印机通信。标签为充分小并且被密集地设置,使得即使在页上单击时所述笔能够地可靠地成像至少一个标签。重要的是,由于交互是无状态的,在与所示页的每次交互中,所述笔识别标签、并且提取页ID页以及位置。标签被可纠错地编码,以使它们部分地耐受表面损坏。
netpage页服务器为每个打印的netpage页维护唯一的页实例,这允许其为每个打印的netpage页的页描述中的输入字段维护用户提供的值的不同的集合。
页描述、页实例和打印netpage之间的关系在图4中说明。在优选实施例中,页实例与打印它的netpage打印机和请求它的netpage用户(如果知道的话)两者相关。对于以其基本形式的本发明的工作,页实例与打印对应物理页的netpage打印机或者与请求页的或所述页为其打印的netpage用户相关联不是基本的。
1.2 NETPAGE标签
1.2.1标签数据内容
在优选形式中,每个标签标识它出现于其中的区域,以及标签在区域中的位置。标签还可以包含与作为整体的区域有关或与该标签有关的旗标(flag)。一个或多个旗标位可以例如发信号到标签感测设备以提供反馈,该反馈表示关于该标签的紧邻区域相关联的函数,而不需要感测设备参考(refer to)该区域的描述。例如,当一支netpage笔在一个超链接区域内时,它可以照亮一个“活动区域”LED。
下文中我们将更详细地解释,在优选实施例中,每个标签包含易于识别的不变结构,该结构可以帮助初始检测,并且有助于最小化由表面或感测过程导致的任何歪曲(warp)的影响。该标签优选地平铺(tile)整个页,并且为足够小,并且被密集地设置为:即使在页上单击时,笔仍然能够可靠地将至少一个标签成像。重要的是,由于交互是无状态的,在与页的每次交互时,笔识别页ID和位置。
在优选实例中,标签所参考的区域与整个页一致,并且编码在标签中的区域ID因此与标签出现在其上的页的页ID是同义的。在其它实施例中,标签参考的区域可以是页或其它表面的任意一个子区。例如,它可以与交互元素的区域一致,在该情况下区域ID可以直接标识交互元素。
每个标签通常包含16位的标签ID、至少90位的区域ID,以及许多旗标位。假设最大标签密度为每平方英寸64个,16位标签ID支持多至1024平方英寸的区域大小。简单地通过使用邻接区域和映射可以连续地映射更大的区域,而不需增加标签ID精度。区域ID和标签ID之间的差别主要是一种方便。在大多数情况下,这两者的连接可以视为一种全局唯一标签ID。相反地,其也可以方便地在标签ID中引入结构,例如定义标签的x坐标和y坐标。90位区域ID允许290(~1027或者千万亿万亿)个不同的区域被唯一地标识。标签还可以包含类型信息,并且区域还可以以标签类型的混合被打标签。例如,一个区域可以以一组编码x坐标的标签和另一组与所述第一交错的编码y坐标的标签来打标签。应该理解的是,根据要使用系统的环境,区域ID和标签ID的精度可以高于或低于上述的精度。
1.2.2标签数据编码
在一个实施例中,每个标签包含120位信息。120位标签数据使用(15,5)REED-SOLOMON码被冗余编码。这样产生360个编码位,包含每个都是15个4位符号的6个码字。(15,5)码支持每个码字多达5个符号的差错被校正,也就是说,它容许每个码字达33%的符号差错率。
每个4位符号在标签中以空间相干的方式被表示,而6个码字的符号在标签中被空间地交错。这确保突发错误(影响多个空间相邻位的错误)破坏总体的最小数量的符号和任一个码字中的最小数量的符号,从而使突发错误能够被完全校正的可能性最大化。
可以采用任何合适的错误校正码码代替(15,5)REED-SOLOMON码,例如具有较多或较少冗余,具有相同或不同的符号和码字大小的REED-SOLOMON码,另一分组码(block code)、或不同种类的码如卷积码,(见例如,Stephen B.Wicker,Error Control Systems for Digital Communicationand Storage,Prentice-Hall 1995,其内容通过交叉引用结合在此)。
1.2.3物理的标签结构
图5中所示的标签的物理表示包括固定目标结构15、16、17和可变数据区域18。固定目标结构允许感测设备(如netpage笔)检测标签并推断其相对于传感器的三维取向。数据区域包含编码的标签数据的各个位的表示。
为了实现正确的标签再现,以256×256点的分辨率对标签进行再现。当以每英寸1600点打印时,这产生具有大约直径为4毫米的标签。在这种分辨率下,标签被设计为由半径为16个点的“静区″环绕。由于这种静区也是由相邻标签构成的,因此它只对标签的有效直径增加了16个点。
标签包含6个目标结构。检测环15允许感测设备初始地检测标签。由于这种环是旋转不变的,以及由于其纵横比的简单校正除去大多数透视畸变的影响,所以所述环容易检测。由于传感器的偏转,取向轴16允许感测设备确定标签的近似的平面取向。取向轴是倾斜的,以产生唯一的取向。4个透视目标17允许感测设备推断标签的准确的二维透视变换,以及由此标签相对于传感器的准确的三维位置与取向。
所有目标结构都是冗余地大,以提高它们对噪声的不敏感性。
总体标签形状是圆形的。在其它物中这支持如包在不规则三角格子上的最佳标签如被需要用于平铺一个任意的非平面表面。但是,也可以把标签排列在带有n个顶点的任意多边形的顶点上,其中的n范围从3到无穷大,如所需的。与圆形检测环15组合,这使得了标签内的数据位的圆形排列最佳。如图48所示,为了最大化其尺寸,每个数据位由一个径向楔形510表示,所述楔形处于以两条径向线512、一条径向内弧514和一条径向外弧516为边界的区域的形式。在1600dpi,每个楔形510具有最小尺寸8个点,并且被设计以使其基底(即其内弧514)至少等于这个最小尺寸。楔形510的径向高度始终等于最小尺寸。每个4位数据符号由2×2个楔形510的阵列518表示,如图48中最好地示出。
6个码字中的每个码字的15个4位数据符号被配置到四个同心的符号环18a-18d中,如图5所示,处于如图49-51中所示的交错的方式。第一到第六码字520-525的符号在绕所述标签的圆形行进中被交替地配置。
所述交错被设计以最大化相同码字的任意两个符号之间的平均空间距离。码字或它们的数据符号的其他排列可以被使用。
标签的物理布局或每个标签内的数据符号的形状和/或排列对本发明的工作不是基本的。所必须的仅是每个标签为想要的使用编码足够的信息。标签中冗余的使用是优选的,但是在其基本水平上,对本发明的工作不是真正基本的。同样地可以使用其它的标签排列。其他标签结构的例子被描述于美国专利5,625,412,5,661,506,5,477,012和5,852,434以及PCT申请PCT/US98/20597中,其每个的内容以参考方式结合在此。
为了支持通过感测设备与打标签区域的“单击”交互,不管感测设备被定位在区域中的何处或处于什么取向,感测设备必须能够“看到”其视野中的至少一个完整的标签。因此,所需要的感测设备的视野的直径必须为标签的尺寸和间隔的函数。
假设圆形的标签形状,当标签被平铺在等边三角形格上时,可以获得传感器视野的最小直径,如图6所示。
1.2.4标签图像处理和解码
图5中所示的标签的标签图像处理和解码由感测设备(如图7所示的netpage笔)进行。当从图像传感器获得捕获的图像时,图像的动态范围被确定(在20)。然后,范围的中心被选为图像21的二进制阈值。图像随后被定限并且被分割到连接的像素区(即形状23)中(在22)。太小而无法代表标签目标结构的形状被放弃。每个形状的尺寸和质心(centroid)也被计算。
然后,为每个形状计算(在24处)二进制形状矩(moment)25,并且这些为以后定位目标结构提供了依据。中心形状矩由它们的本性决定是与位置无关的,而且可以容易地成为与缩放(scale)、纵横比和旋转无关。
环形目标结构15是首先要定位的(在26)。环形具有当透视畸变时工作良好的优点。通过对每个形状的矩进行方位(aspect)标准化和旋转标准化进行匹配。一旦其二阶矩被标准化,即使透视畸显著,环也容易识别。环的原始方位和旋转27一起为透视变换提供了有用的近似。
轴目标结构16是下一个要定位的(在28)。通过把环的标准化应用到每个形状的矩和旋转标准化结果矩进行匹配。一旦其二阶矩被标准化,轴目标被容易地识别。需要注意的是,为了消除(disambiguate)轴的两个可能的取向的歧义,还需要一个三阶矩。所述形状被故意向一侧倾斜,以使此成为可能。还需要注意的是,在已经应用了环的标准化后,只能对轴目标进行旋转标准化,因为透视畸变可能隐藏轴目标的轴。由于笔偏转29,轴目标的原始旋转提供了标签旋转的有用近似。
四个透视目标结构17是最后要定位的(在30)。此时,可以根据它们已知的与环和轴目标的空间关系、环的方位和旋转、以及轴的旋转来计算它们的位置的好的估计。通过把环的标准化应用到每个形状的矩来进行匹配。一旦它们的二阶矩被标准化,圆形透视目标容易识别,并且与每个估计位置最近的目标被作为匹配。四个透视目标的原始质心被作为标签空间中已知大小的正方形的透视畸变的转角31,并且基于求解将四个标签空间与图像空间点对相关的很好理解的等式进行求解来推断(在32)八自由度的透视变换33(见Heckbert,P.,Fundamentals of Texture Mapping and Image Warping,Master Thesis,Dept.of EECS,U.of California at Berkeley,Technical ReportNo.UCB/CSD 89/516,June 1989,其内容通过交叉参考结合在此)。
所推断的标签空间到图像空间的透视变换用于把标签空间中的每个已知的数据位位置投射(在36)到图像空间中,在所示图像空间中,实值(real-valued)位置被用于对输入图像中四个相关的相邻像素进行双线性插入(在36)。以前计算得到的图像阈值21用于对所述结果定限,以获得最终位值37。
一旦以这个方式获得了全部360个数据位37,6个60位Reed-Solomon码字的每个被解码(在38),以产生20个解码位39,或者全部120个解码位。需要注意的是,码字符号是以码字的顺序被采样的,因此码字在采样过程中被隐含地去交错。
如上所述,物理标签结构或编码系统对本发明不是基本的,并且可以采用每个标签的其它物理排列。将会理解,识别和解码标签图像以检索编码数据的过程取决于标签的物理结构和用于冗余地编码数据的系统。
环目标15只在图像的子区中被寻找,它与图像的关系能够保证它(如果被找到)是完整标签的一部分。如果完整标签没有被找到以及成功地解码,那么不会为当前帧记录笔的位置。如果有足够的处理能力和理想地非最小视野193,另一种策略涉及在当前图像中寻找另一个标签。
获得的标签数据指示包含该标签的区域的标识和该标签在区域中的位置。然后,从标签上的观察的透视变换33以及笔的物理轴与笔的光轴之间的己知空间关系推断(在34)笔尖在区域中的精确位置35以及笔的总体取向35。
1.2.5另一种标签结构
上述的标签结构被设计成允许平面表面的规则平铺以及非平面表面的不规则平铺两者。通常在非平面表面上规则平铺是不可能的。在标签的规则平铺为可能的较常见的平面表面即如纸张等的表面的情况中,可以使用利用平铺的规则性质的较有效的标签结构。
另一种更适合于规则平铺的标签结构在图6a中示出。所述另一种标签4是正方形的,并且带有4个透视目标17。它在结构上与Bennett等人在美国专利5051746中所述的标签相似。该标签代表60个4位Reed-Solomon符号47,总共为240位。该标签把每一个位表示为点48,并且每个零位由对应点的缺少代表。所述透视目标被设计为在相邻标签之间共享,如图6b和6c所示。图6b显示了16个标签的正方形平铺以及对应的最小视野193,该视野必须跨越两个标签的对角线。图6c显示了9个标签的正方形平铺,包含用于说明目的的所有的一个位。
使用(15,7)Reed-Solomon码,112位标签数据被冗余地编码,以产生240个编码位。4个码字在标签内被空间地交错,以使对突发错误的复原力最大化。假设采用的是如前所述的16位标签ID,这允许达92位的区域ID。
由于标签的数据承载点48被设计为不覆盖相邻点,因此标签组不会产生与目标类似的结构。这也省墨。因此所述透视目标允许检测标签,所以不需要其它目标。标签图像处理如上面1.2.4中所述而进行,所不同的是步骤26和28被省略了。
虽然可以在标签中包含取向特征以允许消除标签相对于传感器的4个可能的取向的歧义,也可在标签数据中嵌入取向数据。例如,4个码字可以排列为使每个标签取向包含一个放置于该取向上的码字,如图6d所示,其中每个符号都标注有其码字的号(1-4)以及符号在码字中的位置(A-O)。然后,标签解码包括在每个取向上解码一个码字。每个码字可以包含指示它是否是第一个码字的单个位,或者包含指示它是哪一个码字的两位。后一种方法的优点是:如果,比方说,只需要一个码字的数据内容,那么最多两个码字需要被解码以获得所需的数据。当在一个笔划中不需要改变区域ID并且因此只在笔划开始处解码该区域ID时,可能出现这种情况。然后在一个笔划中只需要包含标签ID的码字。而且,由于在笔划中感测设备的旋转变化较慢并且是可预测的,所以对于每个帧,通常只需对一个码字解码。
可省去所有透视目标,而依靠自登记的数据表示法。在这种情况下,每个位值(或多位值)典型地由一个明确的字形(glyph)代表,即缺位值由缺少字形表示。这样保证数据格被良好地填充,因而允许可靠地标识格,并且其透视畸变被检测以及随后在数据采样期间被纠正。为了能够检测到标签的边界,每个标签数据必须包含标记图案,并且必须把这些冗余地编码以实现可靠的检测。这种记号图案的开销与明确的透视目标的开销类似。一种这样的方案使用相对于格顶点的各种点放置的斑点来代表不同的字形,从而代表不同的多位值(见Anoto Technology Description,Anoto April2000)。
1.2.6标签映射
对标签进行解码将产生区域ID、标签ID以及相对于标签的笔变换。在标签ID和相对于标签的笔位置能够被转换为标签区域中的绝对位置之前,必须知道标签在区域内的位置。这由标签映射给出,标签映射是一个把打标签区域中的每个标签ID映射到对应位置的函数。标签映射类图在图22中示出,它是netpage打印机类图的部分。
标签映射反映以标签平铺表面区域的方案,并且其可以根据表面类型而变化。当多个打标签的区域共享相同的平铺方案和相同的标签编号方案时,它们也可以共享相同的标签映射。
区域的标签映射必须能够通过区域ID检索。因此,给定区域ID、标签ID和笔变换,可以检索标签映射。标签ID能够被转换为区域内的绝对标签位置,并且相对于标签的笔位置可以加到标签位置上,以产生区域内绝对的笔位置。
1.2.7打标签方案
两种截然不同的表面编码方案是令人感兴趣的,两者都使用本节中先前描述的标签结构。优选的编码方案使用如已讨论的“位置指示”标签。另一种编码方案使用“对象指示”标签。
位置指示标签包含标签ID,当该标签ID通过与标签区域有关的标签映射被转换时,产生区域内唯一的标签位置。笔相对于标签的位置被加到该标签位置上,以产生区域内笔的位置。而笔的位置又可用来确定笔相对于用户接口元素的位置,所述用户接口元素在与区域有关的页描述中。不仅用户接口元素本身被标识,而且相对于用户接口元素的位置也被标识。因此,位置指示标签一般地支持在特定用户接口元素的区域中的绝对笔路径的捕获。
对象指示标签包含一个标签ID,该标签ID直接标识与区域有关的页描述中的用户接口元素。用户接口元素的区域中的所有标签都标识用户接口元素,这使它们都相同并因此不能区分开。所以,对象指示标签不支持绝对笔路径的捕获。但是,它们的确支持相对笔路径的捕获。只要位置采样频率超出所遇到的标签频率的2倍以上,就可以明确地确定在一个笔划中从一个被采样的笔位置到下一个的位移。
在任何一种打标签方案中,标签与netpage上作为用户交互元素的相关视觉元素协同工作,这样,用户可以使用适当的感测设备与打印页交互,从而通过感测设备读取标签数据并在netpage系统中产生适当的响应。
1.3文档与页描述
在图25和26中显示了文档与页描述类图的一个优选实例。
在netpage系统中,文档在三个级别处被描述。在最抽象级上,文档836具有一种层次结构,其终端元素839与内容对象840(例如文本对象、文本风格对象、图像对象等)相关联。一旦文档被以特定页大小并且根据特定用户的缩放因子优选打印到打印机上时,文档被加上页码以及另外被格式化。在某些情况下,格式化的终端元素835与内容对象有关,这些内容对象与相关于它们的对应终端元素的内容对象不同,特别是在内容对象为风格有关的情况下。文档和页的每个打印实例也被分开描述,从而允许通过特定页实例830捕获的输入与通过相同页描述的其它实例捕获的输入分开被记录。
由于在页服务器上存在最抽象的文档描述,允许用户请求文档拷贝,而不被强迫接受源文档的特定格式。例如,用户可以通过具有不同页尺寸的打印机来请求拷贝。相反地,在页服务器上的格式化的文档描述的存在允许页服务器有效地解释在特定打印页上用户动作。
格式化的文档834包含一组格式化的页描述5,其中的每个页描述包含一组格式化的终端元素835。每个格式化的元素在页上有一个空间范围或区域58。这限定了输入元素(如超链接和输入域)的活动区域。
文档实例831与格式化的文档834对应。它包含一组页实例830,每个页实例与格式化文档的一个页描述5对应。每个页实例830描述单个唯一的打印的netpage 1,并记录该netpage的页ID50。如果其代表隔离的被请求页的拷贝,那么页实例不是文档实例的部分。
一个页实例包含一组终端元素实例832。元素实例仅在其记录实例特定信息的情况时存在。因此,对于超链接元素存在超链接实例,因为它记录对页实例为特定的事务处理ID55;对于字段元素存在字段实例,因为它记录对页实例为特定的输入。但是,对于静态元素(如文本流)不存在元素实例。
一个终端元素可以为静态元素843、超链接元素844、字段元素845、或页服务器命令元素846,如图27所示。一个静态元素843可以是带有相关的风格对象854的风格元素847、带有相关的风格化文本对象855的文本流元素848、带有相关的图像元素856的图像元素849、带有相关的图形对象857的图形元素850、带有相关的视频剪辑对象858的视频剪辑元素851、带有相关的音频剪辑对象859的音频剪辑元素852、或带有相关的脚本对象860的脚本元素853,如图28所示。
页实例可以具有背景字段833,该背景字段用于记录在页上捕获的,不应用于特定的输入元素的任何数字墨。
在本发明的优选形式中,标签映射811被与每个页实例关联,以允许页上的标签可以被转换为页上的位置。
1.4 NETPAGE网络
在优选实施例中,一个netpage网络包含通过网络19如因特网连接的netpage页服务器10、netpage注册服务器11、netpageID服务器12、netpage应用服务器13、netpage发布服务器14、以及netpage打印机601的分布设置,如图3所示。
Netpage注册服务器11是一个记录用户、笔、打印机、应用和发布之间的关系以及从而对各种网络活动授权的服务器。在应用事务处理中,它对用户进行鉴权并作为一个代表己鉴权的用户的签名代理。如果需要,它还提供手写识别服务。如上所述,netpage页服务器10维护着与页描述和页实例有关的持久信息。Netpage网络包含任意数量的页服务器,每个页服务器处理页实例的一个子集。由于页服务器还为每个页实例维护用户输入值,客户机(如netpage打印机)可以直接向适当的页服务器发送netpage输入。页服务器对与对应的页描述相关的任意这种输入进行解释。
NetpageID服务器12按照需要分配文档ID51,并通过其ID分配方案提供页服务器的负载均衡。
Netpage打印机使用互联网分布式名称系统(DNS),或类似地将netpage页ID50解析为处理对应页实例的netpage页服务器的网络地址。
Netpage应用服务器13是掌管(host)交互netpage应用的服务器。Netpage发布服务器14是一个应用服务器,它向netpage打印机发布netpage文档。它们在第二节中详细讨论。
Netpage服务器可以被掌管在来自制造商如IBM、Hewlett-Packard和Sun的多种网络服务器平台上。多个netpage服务器可以在单个主机上同时运行,并且单个服务器也可以分布到多个主机上。由netpage服务器提供的部分或全部功能以及特别是由ID服务器和页服务器提供的功能,还可以在netpage设备如netpage打印机、计算机工作站中或在局域网上直接提供。
1.5 NETPAGE打印机
Netpage打印机601是注册到netpage系统并按需以及通过预订来打印netpage文档的设备。每台打印机有唯一的打印机ID62,并且经由如因特网的网络,理想地是经由宽带连接而被连接到netpage网络。
除了在非易失性存储器中的身份和安全设置外,netpage打印机不需要包含任何永久存储。就用户而言,“网络是计算机”。在分布式netpage页服务器10的帮助下,Netpage跨越空间与时间交互地运行,独立于特定的netrage打印机。
Netpage打印机从netpage发布服务器14接收预订的netpage文档。每个文档被分布在两部分中:页布局以及填充页的实际文本和图像对象。由于个性化,页布局典型地是特定预订者特有的,并且因而通过适当的页服务器被点播到预订者的打印机。另一方面,文本和图像对象通常是与其他预订者共享的,并且被多播到所有预订者的打印机和适当的页服务器。
Netpage发布服务器把文档内容的分段优化为点播和多播。在接到文档页布局的点播后,打印机知道监听哪些多播(如果有的话)。
一旦打印机已经接收到限定待打印文档的完整的页布局和对象时,它就可以打印文档了。
打印机栅格化,并且同时在纸张的两侧上打印奇数和偶数页。为此,它包含双打印引擎控制器760和利用MemjetTM打印头350的打印引擎。
打印过程包括两个去耦合的阶段:页描述的栅格化,以及页图象的展开和打印。栅格图像处理器(RIP)由一个或多个并行运行的标准DSP 757构成。双打印引擎控制器由客户处理器构成,这些处理器实时地展开、抖动和打印页图像,同步于打印引擎中的打印头的操作。
未被使能用于不可见IR打印的打印机具有选项以使用IR-吸收的黑墨打印标签,尽管这将标签限制到所述页的其他空白区。虽然这种页比不可见的IR-打印的页具有更有限的功能性,它们仍然被分类为netpage。
普通的netpage打印机在纸张上打印netpage。比较专用的netpage打印机可以在更专用的表面上如球或塑料板上打印。每个打印机支持至少一种表面类型,并且支持用于每个表面类型的至少一种标签平铺方案以及由此的标签映射。描述实际用于打印文档的标签平铺方案的标签映射811成为与该文档关联的,从而使所述文档的标签能够被正确地解释。
图2显示了netpage打印机类图,该图反映了由netpage网络上的注册服务器11维护的、与打印机有关的信息。
在第6节中,我们以图11到16为参考较详细说明了netpage打印机的一个优选实施例。
1.5.1 MemjetTM打印头
Netpage系统可以使用由很宽范围的数字打印技术包括热喷墨,压电喷墨,激光电子照相以及其他所制造的打印机来操作。但是,为了广泛的消费者接受,需要netpage打印机具有下列特性:
●  照相质量彩色打印
●  高质量文本打印
●  高可靠性
●  低的打印机成本
●  低的墨成本
●  低的纸成本
●  简单操作
●  接近无声打印
●  高打印速度
●  同时双面打印
●  紧凑的形状因素
●  低功耗
目前,没有商业可获的打印技术具有所有这些特性。
为了使能生产具有这些特性的打印机,本申请人已经发明了新打印技术,称为MemjetTM技术。MemjetTM是按需供滴喷墨技术,它结合了使用微机电系统(MEMS)技术制造的页宽打印头。图17显示了MemjetTM打印头的单个打印元件300。Netpage壁式打印机结合168960个打印元件300,以构成1600dpi的页宽双工打印机。这种打印机同时打印青、品红、黄、黑和红外墨、以及纸调节剂(conditioner)和墨固定剂。
打印元件300大约为110微米长,32微米宽。这些打印元件的阵列在硅基板301上形成,硅基板301上结合了CMOS逻辑、数据传输、时序以及驱动电路(没有示出)。
打印元件300的主要元件是喷嘴302、喷嘴边303、喷嘴室304、流体密封305、墨沟道边306、杠杆臂307、有源激励器梁对308、无源激励器梁对309、有源激励器锚310、无源激励器锚311、以及墨入口312。
有源激励器梁对308与无源激励器梁对309在接合319处被机械地接合。两个梁对被锚定在它们相应的锚点310和311。元件308、309、310、311和319的组合形成悬臂的电热弯曲执行器320。
图18显示了打印元件300阵列的一小部分,包括打印元件300的截面315。截面315被示出为没有墨,以清晰地示出通过硅晶片301的墨入口312。
图19(a)、19(b)和19(c)显示了MemjetTM打印元件300的工作循环。
图19(a)显示了在打印墨滴前墨弯月面316的静止位置。墨通过在墨弯月面316以及在喷嘴室304和墨沟道边306之间形成的流体密封305处的表面张力而被保留在喷嘴室中。
在打印时,打印头CMOS电路将来自打印引擎控制器的数据分发到正确的打印元件,锁存该数据,并且缓冲该数据以驱动有源激励器梁对308的电极318。这导致电流通过梁对308大约一微秒,引起焦耳加热。由焦耳加热产生的温度升高使梁对308膨胀。由于无源激励器梁对309没有被加热,其不膨胀,引起所述两个梁对之间的应力差。通过电热弯曲激励器320的悬臂端弯向基板301,此应力差被部分消除。杠杆臂307把此移动传递到喷嘴室304。喷嘴室304移动大约2微米图19(b)中所示的位置。这增加了墨压力,迫使墨321脱出喷嘴302,并导致墨弯月面316凸出。喷嘴边303可以防止墨弯月面316伸展越过喷嘴室304的表面。
当所述梁对308和309的温度相等时,激励器320返回到其原始位置。这帮助墨滴317从所述喷嘴室中的墨321断开,如图19(c)中所示。所述喷嘴室通过在墨弯月面3 16处的表面张力作用而被重新填充。
图20显示了打印头350的一段。在netpage打印机中,打印头的长度是纸在方向351上的全部宽度(典型210毫米)。所示段为0.4mm长(整个打印头的大约0.2%)。在打印时,纸在方向352被移动经过所述固定打印头。所述打印头具有6行相互交叉的打印元件300,打印由墨入口312提供的6种色或者类型的墨。
为了在操作期间保护打印头的脆弱的表面,喷嘴防护晶片330被附着到打印头基板301。对于每个喷嘴302存在对应的喷嘴防护孔331,墨滴通过它被发射。为了防止喷嘴护孔331被纸纤维或其它碎片堵塞,在打印过程中,过滤的空气通过空气入口332抽吸并从所述喷嘴防护孔出来。为了防止墨321变干,在打印机空闲时,所述喷嘴防护被密封。
1.6 Netpage笔
Netpage系统的有源感测装置典型地为笔101,其使用其嵌入的控制器134,能够通过图像传感器从页捕获和解码IR位置标签。图像传感器是固态的装置,提供有适当的滤波器,以允许仅在近红外的波长处感测。如下面更详细的说明,所述系统能够感测何时尖与表面接触,并且所述笔能够以充足的速率感测标签以捕获人的手写(即在200dpi或者更大和100Hz或者更快)。由笔捕获的信息被加密并无线传递到打印机(或基站),所述打印机或者基站解释与(已知的)页有关的数据,或者在优选实施例中,传递所述信息到netpage服务器用于解释。
所述Netpage笔的优选实施例作为标记墨笔以及作为非标记触针两者来工作。但是,在把netpage系统作为浏览系统使用时(如当作为互联网界面使用时),标记方面不是必须的。每个netpage笔被注册到netpage系统并且具有唯一的笔ID61。图23显示了netpage笔类图,反映由netpage网络上的注册服务器11维护的与笔有关的信息。
当任一尖触及到netpage时,所述笔确定其相关于所述页的位置和取向。所述尖被附着到力传感器,并且所述尖上的力被关于一阈值而解释,以指示笔是“上”或者“下”。这允许所述页上的交互元素通过所述笔尖的压而被‘点击’,以请求比方说来自网络的信息。另外,所述力作为一连续值被捕获,以允许比方说签名的完整动态被检验。当笔尖受到的力高于正常书写所用的力时,笔尖可以移动。在“点击”时,用户施加的力应足以移动笔尖。与不可移动的笔尖相比,这样可以为用户提供更需要的反馈。
通过在红外谱中成像所述尖附近中的页区域193,所述笔确定其尖在netpage上的位置和取向。它对最接近的标签进行解码,并根据观察到的图像标签的透视畸变和笔的光学装置的已知几何形状计算笔尖相关于标签的位置。虽然标签的位置分辨率可能是低的,因为页上的标签密度与标签大小成反比,调整的位置分辨率相当高,超过准确手写识别所需的最小分辨率。
笔相对于netpage的动作被捕获为一系列笔划。笔划包含页上的一序列打上时间戳的笔位置,由一下笔事件启动并且由随后的提笔事件完成。笔划也被加上netpage页ID50的标签,而不管所述页ID什么时候改变,其在正常情况下是在所述笔划开始时。
每个netpage笔具有与其相关的当前选择826,允许用户进行拷贝和粘贴等操作。该选择被打时间戳以允许所述系统在规定的时段后丢弃它。所述当前选择描述了页实例的域。它包含通过所述笔捕获的相对于所述页的背景区域的最新近的数字墨笔划。一旦其通过选择超链接激活被提交到一应用,其被以应用特定的方式解释。
每个笔带有当前尖824。这是由所述笔最后通告给系统的尖。在上述默认netpage笔的情况下,或者是标记的墨尖或者是非标记的触针尖是当前的。每个笔也有一当前尖类型825。这个笔尖类型是由应用例如响应用户从调色板上选择颜色而与笔最后关联的笔类型。默认的尖类型是与当前尖相关的尖类型。通过笔捕获的笔划被加上当前尖类型的标签。当所述笔划随后再现时,它们以它们被加标签的尖类型而再现。
在所述笔处于与其能够通信的打印机的范围内的任何时候,所述笔缓慢地闪烁其“在线”LED。当笔未能解码关于所述页的笔划时,它立刻激活其“错误”LED。当笔成功地解码了关于所述页的笔划时,它立刻激活其“ok”LED。
一序列被捕获的笔划被称为数字墨。数字墨是图和手写的数字交换的基础,用于手写的在线识别,和用于签名的在线检验。
笔是无线的,并且通过短程无线链路将数字墨传送到netpage打印机。所述传送的数字墨为了隐私和安全而被加密,并且为了高效地传输而被分组。但是,总是在发生提笔事件时刷新,以保证打印机中的及时处理。
当所述笔处于打印机的范围之外时,其在内部存储器中缓冲数字墨,所述存储器具有超过十分钟的连续书写的容量。当笔再次处于打印机的范围内时,其传送任何被缓冲的数字墨。缓冲器可提供或大或小的缓冲器容量。
笔可以注册到任意数量的打印机,但是,由于全部状态数据存在于纸和网络两者上的netpage中,因此在任何特定的时间,与笔通信的是哪个打印机是不重要的。
在第6节中,以图8到10为参考详细说明了所述笔的优选实施例。
1.7 NETPAGE交互
当笔用于与netpage 1交互时,netpage打印机601从笔101接收与笔划相关的数据。当笔用于执行移动如笔划时,标签4的编码数据3被标签读取。所述数据允许所述特定页和相关交互元素的标识被确定以及笔相对于页的相对定位被获得。指示数据被传送到打印机,在该处指示数据被通过DNS将所述笔划的页ID50解析为netpage页服务器10的网络地址,netpage页服务器10维护着对应的页实例830。其然后把笔划传送到所述页服务器。如果页最近在较早的笔划中被标识,那么所述打印机可能在其高速缓存中已经具有所述相关页服务器的地址。每个netpage包含由netpage页服务器永久维护(见下面)的紧凑的页布局。所述页布局指的是对象如图像、字体和文本条,典型地存储在netpage网络上的其他地方。
当页服务器从笔接收到笔划时,其检索所述笔划应用到的页描述,并确定所述笔划与页描述的哪个元素相交。然后其能够解释所述相关元素的类型的上下文中的所述笔划。
“点击”通常是一笔划,下笔位置和随后的提笔位置之间的距离和时间两者都小于一些小的最大值。由点击激活的对象典型地需要点击以被激活,并且因此较长的笔划将被忽略。要记录的笔动作的故障如“散漫的”点击由缺乏来自所述笔的“ok”LED响应来指示。但是,如果netpage包含按钮,那么当落笔和提笔位置都在按钮区域内时“点击”会被登记。
在netpage页描述中有两种输入元素:超链接和表单字段。通过表单字段的输入也能触发相关超链接的激活。
1.7.1超链接
超链接是向远程应用发送消息的一种方法,并且通常引发netpage系统中的打印响应。
超链接元素844标识处理所述超链接的激活的应用71、标识所述超链接到所述应用的链接ID54、请求系统把用户的应用别名ID65包含在超链接激活中的“所要求的别名″旗标,以及当超链接被记录为喜好(favorite)或出现在用户的历史中时被使用的描述。图29中示出了超链接元素类图。
当超链接被激活时,页服务器向网络上某处的应用发送请求。应用由应用ID64标识,并且所述应用ID通过DNS以正常方式被解析。有三类超链接:普通超链接863、表单超链接865、以及选择超链接864,如图30所示。普通超链接可以执行对链接文档的请求,或者可以简单地将偏好(preference)发信号到服务器。表单超链接把对应的表单提交到应用。选择超链接把当前选择提交到应用。如果当前选择包含例如单字文本条,应用可返回给出它所出现的上下文中该字的意义的单页文档,或者把它翻译为不同的语言。每个超链接类型由什么信息被提交到所述应用来表征。
所述对应的超链接实例862记录事务处理ID55,其可以对所述超链接实例出现于其上的页实例为特定的。事务处理ID能够标识到所述应用的用户特定数据,例如由代表用户的购买应用所维护的未决购买的“购物车”。
所述系统包括选择超链接激活中的所述笔的当前选择826。系统在表单超链接激活中包含相关的表单实例868的内容,尽管如果所述超链接具有其“提交德耳塔”属性设置,仅有自最后的表单提交以来的输入被包括。所述系统包括所有超链接激活中的有效返回路径。
超链接组866是一个组元素838,它带有相关的超链接,如图31所示。当通过该组中的任何字段元素进行输入时,与该组有关的超链接844被激活。超链接组可以被用于将超链接行为与字段如复选框相关联。其也可以与表单超链接的“提交德耳塔”属性结合使用,以向应用提供连续的输入。因此,它可用于支持“黑板”交互模式,即在该处输入被捕获并且因此一旦其发生即被共享。
1.7.2表单
表单定义了相关输入字段的汇总,用于通过一个或者更多打印的netpage捕获相关的输入组。表单允许用户提交一个或者更多的参数到运行在服务器上的应用软件程序。
表单867是文档层次中的组元素838。它最终包含一组终端字段元素839。表单实例868代表表单的打印的实例。它包含一组字段实例870,其对应于所述表单的字段元素845。每个字段实例具有相关的值871,其类型取决于所述对应的字段元素的类型。每个字段值通过特定的被打印的表单实例,即通过一个或者更多的被打印的netpage记录输入。所述表单类图被示出在图32中。
每个表单实例具有状态872,其指示所述表单是否为活动的,冻结的,提交的,空的或者到期的。当第一次被打印时表单是活动的。一旦表单被签字则其变为冻结的。一旦表单的提交超链接之一被激活则其变为提交的,除非所述超链接具有其“提交德耳塔”属性设置。当用户调用空的表单、重置表单或者复制表单页命令时表单变为空的。当所述表单处于活动状态的时间超过所述表单的指定的寿命时表单到期。当所述表单为活动时,允许表单输入。通过不活动的表单的输入替代地在相关页实例的背景字段833中捕获。当所述表单为活动或者冻结时,允许表单提交。当表单不是活动或者冻结时任何提交表单的尝试被拒绝,并且取而代之引出一表单状态报告。
每个表单实例优选地与从其导出的任何表单实例相关联(在59),由此提供版本历史。这允许在特定的时间段中除表单的最终版本之外的所有都从搜索中排除。
所有输入都被捕获作为数字墨。数字墨873包含一组打上时间戳的笔划组874,其每个包含一组风格化的笔划875。每个笔划包含一组带有时间戳的笔位置876,其每个还包括笔的取向和尖着力。图33中显示了数字墨类图。
字段元素845可以是复选框字段877、文本字段878、图字段879、或签名字段880。图34中示出字段元素类图。在字段的区域58中捕获的任何数字墨将被分配给该字段。
复选框字段有相关的布尔值881,如图35所示。在复选框字段的区域中捕获的任何标记(勾、十字、笔划、填充之字形(fill zigzag)等)导致真值被分配到所述字段的值。
文本字段带有一个相关的文本值882,如图36所示。在文本字段的区域中捕获的任何数字墨通过在线手写识别被自动地转换为文本,并且所述文本将被分配给该字段的值。在线手写识别是很好理解的(见,例如,Tappert,C.,C.Y.Suen and T.Wakahara,“The State of the Art in On-Line HandwritingRecognition”,IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.12,No.8,August 1990,其内容被结合在这里以供交叉参考)。文本字段的专门化包括日期和数字字段。
签名字段带有相关的数字签名值883,如图37所示。在签名字段的区域中捕获的任何数字墨关于笔的主人的标识而自动地检验,并且字段为其部分的表单内容的数字签名被产生并且被分配到所述字段的值。所述数字签名是使用所述笔用户的私有签名密钥产生的,所述密钥专门用于拥有该表单的应用。在线签名检验是很好理解的(见,例如,Plamondon,R.and GLorette,“Automatic Signature Verification and Writer Identification-The Stateofthe Art”,Pattern Recognition,Vol.22,No.2,1989,其内容被结合在这里以供交叉参考)。
如果字段元素的“隐藏”属性被设置,则其被隐藏。隐藏的字段元素不具有页上的输入区域,也不接受输入。当包含所述字段的表单被提交时,其可以具有包括在所述表单数据中的相关字段值。
在表单字段中还可以识别“编辑”命令如指示删除的删去(strikethrough)。
由于手写识别算法“在线”工作(即具有对笔移动的动态访问),而不是“离线”工作(即仅具有对笔标记的位图的访问),其能够以相对高的精度识别进行的离散书写的字符,没有写入者依赖的训练阶段。手写的写入者依赖的模式随时间被自动产生,但是在必要时也可以预先产生。
如已经陈述的数字墨包含一序列的笔划。开始于特定元素区域的任何笔划都被附加到该元素的数字墨流,准备用于解释。任何没有被附加到对象的数字墨流的笔划被附加到背景字段的数字墨流。
在背景字段中捕获的数字墨被解释为选择姿势。一个或多个对象的界限通常被解释为被限制的对象的选择,尽管实际的解释是应用专用的。
表2汇总了这些笔与netpage的各种交互。
表2-笔与netpage的交互的汇总
对象 类型 笔输入 动作
超链接 一般 点击 提交动作到应用
表单 点击 提交表单到应用
选择 点击 提交选择到应用
表单字段 复选框 任何标记 分配真到字段
文本 手写 转换数字墨到文本,分配文本到字段
绘图 数字墨 分配数字墨到字段
签名 签名 验证数字墨签名,产生表单的数字签名,分配数字签名到字段
- 界限 分配数字墨到当前选择
该系统维护用于每个笔的当前选择。选择简单地包含在背景字段中捕获的最近的笔划。在非活动超时之后所述选择被清除以保证可预知的行为。
在每个字段中捕获的原始数字墨被保留在netpage页服务器上,当把表单提交给应用时,这种数字墨可以与表单数据一起被可选择地传输。这样,如果应用怀疑最初的转换如手写文本的转换时,允许所述应用询问原始数字墨。这能够例如在应用级处引入人的干预,所述应用级用于未能通过某应用专用的一致性检查的表单。作为对此的延伸,还可以把表单的整个背景区域指定为绘图字段。这样,假设用户可能已经将修改指示到那些字段之外的被填充的字段,所述应用随后能够基于所述表单的明确字段之外的数字墨的存在决定路由所述表单到操作员。
图38显示了处理相对于netpage的笔输入的过程流程图。该过程包括从笔接收(在884处)笔划;标识(在885处)所述笔划中的页ID50所指的页实例830,检索(在886处)页描述5;标识(在887处)格式化的元素839(其区58与所述笔划相交);确定(在888处)格式化的元素是否与字段元素对应,如果是,把接收的笔划附加(在892处)到字段值871的数字墨,解释(在893)该字段的累积的数字墨,并确定(在894处)该字段是否是超链接组866的部分,如果是,激活(在895处)相关的超链接;可选择地确定(在889处)格式化的元素是否与超链接元素对应,如果是,激活(在895处)对应的超链接;可选择地,在缺少输入字段或超链接时,附加(在890处)所接收的笔划到背景字段833的数字墨;并拷贝(在891处)所接收的笔划到当前笔的当前选择826,当前笔的当前选择由注册服务器维护。
图38a显示图38示出的过程中的步骤893的详细流程图,其中所述字段的累积的数字墨按照字段的类型而被解释。该过程包括:确定(在896处)所述字段是否是复选框和(在897处)确定数字墨是否代表检查标记,如果是,那么分配(在898处)真值到所述字段值;可选择地确定(在899处)该字段是否是文本字段,如果是,在适当的注册服务器的帮助下把数字墨转换(在900处)为计算机文本,并把转换得来的计算机文本分配(在901处)到所述字段值;可选择地确定(在902处)该字段是否是签名字段,如果是,在适当的注册服务器的帮助下检验(在903处)作为笔拥有者的签名的所述数字墨,也在该注册服务器的帮助下,并且使用笔拥有者的私有签名密钥(与相应的应用有关),产生(在904处)所述对应表单内容的数字签名,并把数字签名分配(在905处)到所述字段值。
1.7.3页服务器命令
页服务器命令是由页服务器本地处理的命令。其直接在表单、页和文档实例上操作。
页服务器命令907可以是空表单命令908、复制表单命令909、重置表单命令910、获取表单状态命令911、复制页命令912、重置页命令913、获取页状态命令914、复制文档命令915、重置文档命令916、或获取文档状态命令917,见图39所示。
空表单命令使对应的表单实例为空。复制表单命令使对应表单实例为空,并且然后产生字段值被保存的当前表单实例的活动的打印拷贝。拷贝中包含与所述原始相同的超链接事务处理ID,因此对于应用来说是与所述原始无法区分的。重置表单命令使对应表单实例为空,并且然后产生字段值被丢弃的表单实例的活动的打印拷贝。拷贝中包含与所述原始相同的超链接事务处理ID。获取表单状态命令产生对应表单实例的状态的打印报告,包括谁公布了它,它是什么时间被打印的、它是为了谁而被打印的、以及表单实例的表单状态。
由于表单超链接实例包含事务处理ID,因此应用必须参与产生新表单实例。因此,请求新表单实例的按钮被典型地实施为超链接。
复制页命令产生背景字段值被保持的对应页实例的打印拷贝。如果页包含表单或者是表单的部分,那么复制页命令被解释为复制表单命令。重置页命令产生背景字段值被丢弃的对应页实例的打印拷贝。如果页包含表单或是表单的部分,那么重置页命令被解释为重置表单命令。获取页状态命令产生关于对应页实例状态的打印报告,包括谁发布它、它是什么时间被打印的、它是为谁而打印的、以及它包含的或者它作为部分的任何表单的状态。
本发明的优选实例中每个netpage上出现的netpage标志通常与复制页元素有关。
当页实例被以保持字段值被复制时,字段值以它们的自然形式打印,即,检查标记出现为标准的检查标记图形,并且文本出现为排版文本。只有绘图和签名以它们的原始形式出现,具有优选地由标准图形伴随的签名,或具有可选择地由标准图形代替的签名,所述标准图形指示成功的签名验证。
复制文档命令产生背景字段值被保持的对应文档实例的打印拷贝。如果文档包含任何表单,那么复制文档命令以复制表单命令相同的方式复制所述表单。重置文档命令产生背景字段值被丢弃的对应文档实例的打印拷贝。如果文档包含任何表单,那么重置文档命令以与重置表单命令相同的方式重置表单。获取文档状态命令产生对应文档实例的状态的打印报告,包括谁公布了它、它是什么时间被打印的、它是为了谁而被打印的、以及它包含的任何表单的状态。
如果页服务器命令的“被选择”属性被设置,那么所述命令在由笔的当前选择标识的页上操作,而不是在包含所述命令的页上。这允许页服务器命令的菜单被打印。如果目标页不包含用于指定的页服务器命令的页服务器命令元素,那么该命令被忽略。
通过在超链接组中嵌入相关的页服务器命令元素,应用可以提供应用专门的处理。页服务器激活与超链接组有关的超链接,而不是执行所述页服务器命令。
如果页服务器命令元素的“隐藏”属性被设置,那么该元素被隐藏。隐藏的命令元素在页上没有输入区并且因此不能由用户直接激活。但是,如果页服务器命令具有其“被选择的”属性设置,那么其能够通过嵌入在不同页中的页服务器命令被激活。
1.8 NETPAGE的标准特征
在所述优选的表单中,每个netpage在其底部被打印netpage标志以指示它是netpage并因此具有交互特性。该标志还可作为拷贝按钮。在大多数情况下,“点击”该标志可以产生所述页的拷贝。在表单的情况中,该按钮产生整个表单的拷贝。并且在安全文档如票或票据的情况中,该按钮引出解释性的注释或广告页。
默认的单页拷贝功能由相关的netpage页服务器直接处理。特殊的拷贝功能通过把该标志按钮链接到应用来处理。
1.9用户帮助系统
在优选的实施例中,netpage打印机带有一个标注为“帮助”的单个按钮。当按下该按钮时,会引出一个包含下列信息的单个页,包括:
●  打印机连接的状态
●  打印机耗材的状态
●  顶级帮助菜单
●  文档功能菜单
●  顶级netpage网络目录
帮助菜单提供如何使用netpage系统的分级的手册。
文档功能菜单包含下列功能:
●  打印文档的拷贝
●  打印表单的干净的拷贝
●  打印文档的状态
文档功能通过按所述按钮以及随后接触所述文档的任何页而启动。文档的状态指明谁发布了它以及什么时间、它被传递到谁、以及它随后在什么时间被作为表单提交以及提交给谁。
Netpage网络目录允许用户在网络上操作发布和服务的层次结构。另外,用户还可以呼叫netpage网络“900”号码“黄页”并向操作员求助。操作员可以找到所需的文档,并把该文档路由到用户的打印机。取决于文档类型,发布者或用户需要支付小的“黄页”服务费。
如果打印机无法打印的话,那么显然无法得到帮助页。在这种情况下,“错误”灯被点亮并且用户可以请求通过网络的远程诊断。
2.个性化的发布模式
在下面的描述中,新闻被作为规范的发布的例子来说明netpage系统的个性化机制。虽然新闻经常以报纸和新闻杂志新闻的有限意义被使用,本上下文中意指的范围是较宽的。
在netpage系统中,新闻发布的编辑内容和广告内容被使用不同的机制个性化。所述编辑内容按照读者的明确陈述和隐含捕获的的兴趣概貌而被个性化。广告内容按照读者的地点和人口统计而被个性化。
2.1编辑个性化
预订者可以使用两种新闻源:传递新闻发布的新闻源和传递新闻流的新闻源。新闻发布由发行人汇总和编辑,新闻流由新闻发行人或者由专门化的新闻汇总者来汇总。新闻发布通常对应于传统的报纸和新闻杂志,而新闻流可以很多并且是不同的:来自新闻服务的“未加工的”新闻、连环漫画、自由撰稿人的专栏、朋友的公告牌、或者读者自己的电子邮件。
Netpage发布服务器支持被编辑的新闻发布的发表以及多个新闻流的汇总。通过处理所述汇总和因此由读者直接选择的新闻流的格式化,所述服务器能够将广告放置在页上,它否则没有对其的编辑控制。
预订者可以选择一个或多个起作用的新闻发布建立日报并建立每个的个性化版本。结果的每日编辑被打印并接合在一起成为单个报纸。家庭的各种成员通常通过选择不同的每日发布并且然后定制它们,从而表达他们不同的兴趣和品味。
对于每个发布,读者可选择地选择特定的节(section)。一些节每天出现,而其他节每周出现。例如可以从纽约时报在线得到的所述每日节包括“附加页一(Page One Plus)”、“国内的”、“国际的”、“意见”、“商务”、“艺术/生活”、“技术”、以及“运动”。可得到的节的集对于发布是特定的,作为默认的子集。
读者可以通过建立定制节而扩展所述日报,所述定制节的每个提取任意数量的新闻流。定制节可以被建立用于电子邮件和朋友的公告(“个人的”),或者用于监视特定标题(“警报”或“剪辑”)的新闻供给。
对于每个节,读者可选择地指定其大小,或者定性地(例如短、中、长)或双量地(即对其页数的限制),以及所需广告的比例,或者定性地(例如高、正常、低、无)或数量地(即为百分数)。
读者也可任选地表达对大量的较短文章或少量的较长文章的偏好。每个文章被理想地以短和长两种形式写成(或编辑),以支持此偏好。
文章还可以以不同的版本来写成(或编辑),以匹配预期的读者的复杂性,例如用于提供给孩子的和成人的版本。适当的版本根据读者的年龄被选择。读者可以指定优先于他们的生理年龄的“阅读年龄”。
构成每个节的文章由编辑者选择和确定优先顺序。并且每个被分配有用的寿命。默认地它们被按照优先顺序传递到所有相关的预订者,服从于所述预订者版本中的空间限制。
在其为适当的节中,读者可任选地使能协作过滤。这然后被应用到具有充分长寿命的文章。合格用于协作过滤的每个文章在文章的结尾被打印上等级按钮。所述按钮可以提供容易的选择(例如“喜欢的”或“不喜欢的”),更可能使读者费事给文章分级。
具有高优先级和短寿命的文章因此有效地被编辑者认为是必读的并且被传递到大多数相关的预订者。
读者任选地指定一偶然因素,或者定性地(例如使或不使我惊奇)或数量地。高的偶然因素降低了在协作过滤期间用于匹配的阈值。高的因素更有可能使对应的节将被填充到所述读者指定的容量。可以为周的不同的天指定不同的偶然因素。
读者还可以任选地指定一节中感兴趣的特定标题,并且这改变了由编辑者分配的优先级。
读者的互联网连接速度影响传递图像的数量和质量。读者任选地指定对较少的图像或者较小的图像或者两者的偏好。如果不减少图像的数量或大小,那么可能以较低的质量传递图像(例如以较低的分辨率或较大的压缩比)。另外,传递图像的数量、大小和质量都可以调整。
在全球水平上,读者指定数量、日期、时间和货币值如何被本地化。这涉及指定单位是英制的还是公制的、本地时区和时间格式、以及本地货币、以及本地化中是否包含就地翻译或注释。这些偏好是通过默认从所述读者的地点得到的。
为了减少由不良视力导致的读取困难,读者可任选地指定较大表示的全球偏好。文本和图像都两者因此被缩放,并且较少的信息被容纳在每个页上。
新闻发布被发布的语言以及其对应的文本编码是所述发布的特性,并且不是由用户表达的偏好。但是,所述netpage系统可以被配置以提供各种外观中的自动翻译服务。
2.2广告本地化和目标化
所述编辑内容的个性化直接影响广告内容,因为广告被典型地放置以利用所述编辑的上下文。例如,旅游广告更有可能出现在旅游节而不是其他地方。到广告者(并且因此到所述发布者)的编辑内容的值存在于其能力中,所述能力用于以正确的人口统计来吸引大量的读者。
有效的广告被基于地点和人口统计而放置。地点确定到特定服务、零售商等的接近,以及与本地的社区和环境有关的特定兴趣和关注。人口统计确定一般兴趣和偏见以及可能的消费模式。
新闻发布者的大多数有利可图的产品是广告“空间”,由发布的地理覆盖、其读者人数的大小、其读者人数的人口统计、以及可用于广告的页区域来确定的多维实体。
在netpage系统中,netpage发布服务器以每节为基础计算发布可销售的广告空间大致的多维尺寸,考虑所述发布的地理覆盖、该节的读者人数、每个读者的节版本的大小,每个读者的广告比例、以及每个读者的人口统计。
与其它媒体比较,netpage系统允许所述广告空间较详细地被限定,并且允许广告空间较小的块被分开卖。其因此允许被以较接近其真实值被卖。
例如,相同的广告“间隙”可以以变化的比例出售给几个广告者,且各个读者的页随机地接收一个广告者或者另一广告者的广告,全面保留出售给每个广告者的空间比例。
该Netpage系统允许广告直接链接到详细的产品信息和在线采购。因此,提升了广告空间的内在价值。
由于个性化和本地化是由netpage发布服务器自动处理的,因此广告汇总者可以提供地理学和人口统计的任意广阔的覆盖。后续的去汇总由于是自动的所以是有效的。这使得发布者处理广告汇总者比直接捕获广告成本有效。即使广告汇总者取得了一个比例的广告收入,由于汇总的较高效率,发布者可发现该变化是利润中性的(profit-neutral)。广告汇总者担当着广告者和发布者之间的中介,并且可以在多个发布中布置相同的广告。
值得注意的是,netpage发布中的广告布置可能比传统对应形式中的广告更复杂,这是因为发布的广告空间较复杂。尽管忽略了广告者、广告汇总者和发布者之间的协商的完全复杂度,netpage系统的优选形式为这些协商提供某些自动化的支持,包括对于广告空间的自动化拍卖的支持。自动化对于产生少量收入的广告如小型或高度本地化的广告的布置是特别理想的。
一旦协商好布置,汇总者捕获和编辑广告,并把它记录于netpage广告服务器上。相应地,发布者将在相关的netpage发布服务器上记录广告布置。当netpage发布服务器布置每个用户的个性化发布时,它从netpage广告服务器中拾取相关的广告。
2.3用户简档
2.3.1信息过滤
新闻和其它发布的个性化取决于对用户特有简档信息的分类,包括:
●发布定制
●协作过滤矢量
●联系细节
●呈现偏好
发布的定制通常是发布特有的,因此,定制信息由相关的netpage发布服务器维护。
协作过滤矢量由用户对许多新闻项的评级(rating)构成。它用于把不同用户的兴趣关联起来,用于推荐的目的。虽然独立于任何特定的发布而维护单个协作过滤矢量是有益的,但是为每个发布来维护单独矢量较为可行的两个原因是:有可能在相同发布的预订者的矢量之间比在不同发布的预订者的矢量之间存在的更多的重叠;以及发布有可能想要将其用户的协作过滤矢量呈现为在其他地方找不到的其商标价值的一部分。因此,协作过滤矢量也由相关的netpage发布服务器维护。
联系细节,包括姓名、街道地址、ZIP码、州、国家、电话号码,在本质上是全局的,并且由netpage注册服务器维护。
呈现偏好,包括数量、日期和时间,同样是全局的,并以相同方式维护。
广告的本地化取决于用户的联系细节中指示的地点,而广告的目标取决于个人信息如出生日期、性别、婚姻状况、收入、职业、教育或定性的推导如年龄范围和收入范围。
对于那些选择展示个人信息用于广告目的的用户,该信息由相关的netpage注册服务器维护。在缺乏这样的信息时,那么可以根据与用户的ZIP或ZIP+4码有关的人口统计状况来确定广告目标。
每个用户、笔、打印机、应用提供者和应用被分配有其自己的唯一的标识符,并且netpage注册服务器维护着它们之间的关系,如图21、22、23和24所示。为了注册的目的,发布者是特殊种类的应用提供者,并且发布是特殊种类的应用。
每个用户800可以被授权为使用任何数量的打印机802,并且每个打印机可允许任意数量的用户使用它。每个用户有单个默认打印机(在66处),周期性发布被默认地递送到该打印机;同时,按需打印的页被递送到用户通过其正在交互的打印机。服务器记住用户已经授权哪些发布者打印到用户默认的打印机。发布者并不记录任何特定打印机的ID,而是在需要时解析所述ID。
当用户订阅808发布807时,出版商806(即应用提供者803)被授权打印到指定的打印机或用户的默认打印机。用户可以在任何时候撤回这种授权。每个用户可以有几个笔801,但是笔对于单个用户是特定的。如果某个用户被授权使用特定的打印机,那么该打印机识别用户笔的任何一个。
笔ID用于通过DNS以正常方式来定位由特定的netpage注册服务器维护的对应用户简档。
Web终端809可以被授权在特定的netpage打印机上打印,这样,在Web浏览过程中遇到的Web页和netpage文档被方便地打印于最近的netpage打印机上。
对于,netpage系统可以代表打印机提供者收集对通过在提供者的打印机上的打印的发布所赚取的费和佣金。这种收入可以包括广告费、点击(click-through)费、电子商务佣金、以及事务处理费用。如果打印机由用户所有,那么用户就是打印机提供者。
每个用户还有:netpage账户820,该账户用于累积微借和贷(例如上一段中描述的那些);联系细节815,包括名称、地址和电话号码;全局偏好816,包括隐私、递送和本地化设置;任意数量的生物识别记录817,包括用户的编码签名818、指纹819等;由系统自动维护的手写模型819;以及SET支付卡账户821,利用它可以进行电子商务支付。
2.3.2喜好列表
netpage用户可以维护“喜好”列表922-到netpage网络上有用文档的链接等。该列表由系统为用户维护。它被组织为文件夹924的一个分级。图41中以类图示出了这种分级的一个优选实施例。
2.3.3历史列表
系统优选地为每个用户维护历史列表929,历史列表中包含由用户通过netpage系统访问的文档的链接等。历史列表是按日期顺序组织的列表,图42以类图示出了历史列表的优选实施例。
2.4智能页布局
Netpage发布服务器在逐节(section-by-section)的基础上自动布局每个用户的个性化发布的页。由于大多数广告处于预先格式化的矩形的形式,所以它们在编辑的内容之前被放置于页上。
一节的广告比率可以借助于该节内的各个页上的变化的广告比率来实现,并且广告布局算法利用了这一点。该算法被配置成尝试把联系紧密的编辑和广告内容放在一起,比如由于自助屋顶修理的专门特征,将用于屋顶材料的广告专门布置在发布之内。
然后,根据各种审美规则来布局为用户选择的编辑内容,包括文本和相关的图像与图形。
一旦该布局已经汇聚,整个过程包括广告的选择和编辑内容的选择必须被重复,以试图较为接近地实现用户指定的节大小偏好。但是,节尺寸偏好可随着时间被平均地匹配,从而允许相当大的逐日变化。
2.5文档格式
一旦文档被布局,则它被编码用于在netpage网络上有效的分发和持久的存储。
首要的效率机制是把单个用户的版本特有的信息与多个用户的版本之间共享的信息分开。所述特有信息由页布局构成。共享信息由页布局引用的对象构成,包括图像、图形和文本条。
文本对象包含完全格式化的文本,其采用可扩展样式表语言(XSL)以可扩展标记语言(XML)表示。独立于文本正在被设置到其中的区域,XSL提供了对文本格式化的精确控制,在此情况下其由布局提供。文本对象包含使能自动翻译的嵌入式语言码以及用于辅助段落格式化的嵌入式连字号连接提示。
图像对象优选地以JPEG 2000基于小波的压缩图像格式对图像编码。图形对象优选地以可缩放矢量图形(SVG)格式对2D图形编码。其它的格式也可用于文本、图像和图形。
布局本身由一系列的所放置的图像和图形对象、链接的文本流对象(文本对象通过它流动)、上述的超链接和输入字段、以及水印区域组成。这些布局对象总结在表3中。该布局使用适合于高效分发和存储的紧凑格式。
图3-netpage布局对象
布局对象 属性 链接对象的格式
  图像   位置   -
  图像对象ID   JPEG 2000
  图形   位置   -
  图形对象ID   SVG
  文本流   文本流ID   -
  区   -
  任选文本对象ID   XML/XSL
  超链接   类型   -
  区   -
  应用ID等   -
  字段   类型   -
  含义   -
  区   -
  水印   区   -
2.6文档分发
如上所述,为了在netpage网络上有效分发和持久存储的目的,用户特有的页布局被与它所引用的共享对象分开。
当预订的发布准备好被分发时,netpage发布服务器在netpageID服务器12的帮助下分配每个页的唯一ID、页实例、文档和文档实例。
服务器计算共享内容的优化子集的集合,并为每个子集创建组播通道,然后用组播通道的名称给每个用户特有的布局打标签,这些通道将承载该布局使用的共享内容。然后,服务器通过适当的页服务器把每个用户的布局点播到用户打印机,并在点播完成时在指定的通道上组播共享内容。在接收到点播后,每个页服务器和打印机预订在页布局中指定的组播通道。在组播期间,每个页服务器和打印机从组播流中提取由其页布局引用的那些对象。页服务器持久地存档收到的页布局和共享内容。另外,也可以使用其它技术分发数据。
一旦打印机已收到由其页布局引用的所有对象,打印机重新创建完全填充的布局,然后栅格化并打印它。
在正常情况下,打印机将页打印得比递送它们更快。假设每个页的四分之一覆盖有图像,那么平均页具有小于400KB的大小。因此,打印机可以在其64MB存储器中存储100个以上这样的页,从而允许临时缓冲等。打印机以每秒一页的速率打印。这等效于每秒400KB或约3Mbit的页数据,这与宽带网络上递送页数据的最高预期速率相似。
即使在异常情况下,如打印机缺纸时,用户将能够在打印机的100页内部存储容量被耗尽之前补充纸供应。
但是,如果打印机的内部存储器的确填满,那么打印机将无法在组播第一次出现之时使用组播。因此,netpage发布服务器允许打印机提交对于重新组播的请求。当收到临界数量的请求或出现超时时,服务器重新组播对应的共享对象。
一旦文档被打印,通过从相关的页服务器中检索其页布局和内容,打印机可以在任何时间产生准确的副本。
2.7按需文档
当按需请求netpage文档时,它可以与期刊大致相同的方式被个性化和递送。但是,由于没有共享内容,在不利用组播的情况下直接进行到请求打印机的递送。
当按需请求非netpage文档时,它不被个性化,并通过指定的netpage格式化服务器来递送,该服务器将把该文档重新格式化为netpage文档。Netpage格式化服务器是netpage发布服务器的特定实例。Netpage格式化服务器具有各种互联网文档格式的知识,包括Adobe的可移植文档格式(PDF)和超文本标记语言(HTML)。如果是HTML文档,它可使用较高的打印页分辨率,以具有内容表的多列格式来呈现Web页。它可以自动地包含直接链接到所请求的页的所有Web页。用户能够通过偏好来调节该行为。
Netpage格式化服务器进行任何互联网文档上可用的标准netpage行为,包括交互性和持久性,不管互联网文档的起源和格式。它隐藏来自necpage打印机和netpage页服务器两者的不同文档格式的知识,也隐藏来自Web服务器的netpage系统的知识。
3.安全性
3.1密码术
密码术被用于在存储中和在传输中保护敏感信息,以及对事务处理的各方进行鉴权。有两类在广泛使用中的密码术:秘密密钥密码术和公用密钥密码术。Netpage网络使用这两类密码术。
秘密密钥密码术也称为对称密码术,使用相同密钥来加密和解密消息。希望交换消息的双方必须首先安排好安全地交换秘密密钥。
公共密钥密码术也称为非对称密码术,使用两个加密密钥。这两个密钥在这样的方式下在数学上被相关:使用一个密钥加密的任何消息只能使用另一个密钥解密。然后这些密钥之一被发布,而另一密钥被保持私有。公共密钥用于对打算提供给持有私有密钥持有者的任何消息进行加密。一旦被使用公共密钥加密后,则消息只能使用私有密钥对其解密。这样,双方可以安全地交换消息,而不必首先交换秘密密钥。为了保证私有密钥是安全的,正常情况下为私有密钥的持有者产生所述密钥对。
公共密钥密码术可用于产生数字签名。私有密钥的持有者可以创建己知的消息的散列(hash),然后使用私有密钥加密该散列。然后,任何人可以通过以下关于所述特定消息来检验构成私有密钥持有者的“签名”的加密的散列:利用公用密钥来解密经加密的散列,并对照该消息来检验该散列。如果签名被附加到该消息,那么消息接收者可以检验消息的真实性,又可以检验该消息在传输中未被更改。
为了使公共密钥密码术工作,必须有一种防止假冒的分发公共密钥的方式。这通常是利用证书和证书权力机构完成的。证书权力机构是可信赖的第三方,它对公共密钥和某人的身份之间的关系进行鉴权。证书权力机构通过检查身份文档来验证该人的身份,然后建立和签署包含该人的身份细节和公共密钥的数字证书。信赖证书权力机构的任何人可在高度确信其是真实时使用证书中的公共密钥。他们只需验证证书已真正由证书授权机构签署,所述证书授权机构的公共密钥是公知的。
在大多数事务处理环境中,公共密钥密码术只用于产生数字签名并安全地交换秘密会话密钥。秘密密钥密码术被用于所有其他目的。
在下面的讨论中,当提及netpage打印机和服务器之间的安全信息传输时,实际发生的是:打印机获得服务器的证书,参照证书权力机构对证书进行鉴权,使用证书中的公共密钥交换密钥与服务器交互秘密对话密钥,然后使用秘密会话密钥加密消息数据。根据定义,会话密钥可以具有任意短的寿命。
3.2NETPAGE打印机安全性
每个netpage打印机在制造时被指定有一对唯一标识符,这些标识符被存储在打印机中的只读存储器中和netpage注册服务器数据库中。第一ID62是公用的,并唯一地标识netpage网络上的打印机。第二ID是秘密的,并且当该打印机第一次在网络上注册时被使用。
当打印机在安装后第一次连接到netpage网络时,它创建签名公用/私有密钥对。它把秘密ID和公共密钥安全地传送到netpage注册服务器。服务器把秘密ID与记录在其数据库中的打印机的秘密ID比较,如果ID相匹配则接受注册。它然后创建和签署包含打印机的公共ID和公用签名密钥的证书,并把该证书存储于注册数据库中。
Netpage注册服务器作为netpage打印机的证书权力机构,因为它具有对秘密信息的访问权,从而允许其验证打印机身份。
当用户预订发布时,在netpage注册服务器数据库中创建记录,其授权发布者将发布打印到用户的默认打印机或指定的打印机。通过页服务器发送到打印机的每个文档被指向特定用户,并由发布者使用发布者的私有签名密钥来签署。页服务器通过注册数据库来验证发布者被授权将发布递送到指定用户。页服务器使用发布者的公共密钥验证签名,发布者的公共密钥从存储在注册数据库中的发布者证书获得。
Netpage注册服务器接受将打印授权添加到数据库的请求,只要这些请求是通过注册到打印机的笔来启动的。
3.3NETPAGE笔的安全性
每个netpage笔在制造时被指定有唯一标识,其存储于笔内的只读存储器中和netpage注册服务器数据库中。笔ID61在netpage网络上唯一地标识该笔。
netpage笔可以“知道”许多netpage打印机,并且打印机可“知道”许多笔。每当它处于打印机的范围内时,笔通过射频信号与打印机通信。一旦笔和打印机被注册,它们定期地交换会话密钥。每当笔向打印机传送数字墨时,数字墨总是被使用适当的会话密钥加密的。数字墨从不被不受阻碍地(in the clear)传送。
笔为它知道的每个打印机存储会话密钥,由打印机ID索引;而打印机为它知道的每个笔存储会话密钥,由笔ID索引。二者具有大的但是有限的用于会话密钥的存储容量,但是在必要时将在最远期使用的基础上忘记会话密钥。
当笔进入打印机的范围之内时,笔和打印机发现它们是否相互认识。如果它们互不认识,则打印机确定它是否被假定为认识该笔。这可能是因为例如该笔属于被注册以使用该打印机的用户。如果打印机想要认识该笔但又并不认识,则它启动自动的笔注册过程。如果打印机不想要认识该笔,则它与笔达成一致以忽略它,直到该笔被置于充电杯(charging cup)中,这时它启动注册进程。
除了它的公用ID之外,该笔还包含秘密密钥-交换密钥。密钥-交换密钥在制造时也被记录于netpage注册服务器的数据库中。在注册期间,笔把它的笔ID传送到打印机,并且打印机把笔ID传送到netpage注册服务器。服务器产生为打印机和笔使用的会话密钥,并将该会话密钥安全地传送到打印机。它还传送使用笔的密钥-交换密钥加密的会话密钥的拷贝。打印机内部地存储由笔ID索引的会话密钥,并将加密的会话密钥传送到笔。笔内部地存储由打印机ID索引的会话密钥。
虽然赝笔可在笔注册协议中冒充笔,但是只有真笔可解密打印机传送的会话密钥。
当先前未注册的笔第首次被注册时,它的使用受到限制的,直到它被链接到用户。已注册的但“未被拥有”的笔仅被允许用于请求和填充netpage用户和笔注册表单,以注册新笔自动链接到的新用户,或者将新笔添加到现有用户。
由于笔中的硬件性能约束,笔使用秘密密钥而非公用密钥加密。
3.4保密文档
Netpage系统支持保密文档如票和票证的递送。Netpage打印机包括用以打印水印的设备,但是仅在被适当授权的发布者的请求时才这样做。发布者指示其证书中打印能够由打印机鉴权的水印。
“水印”打印过程在页的指定“水印”区域中使用可选的抖动矩阵。背对背的页包含了在打印时重合的镜像水印区域。奇数和偶数页的水印区域中所用的抖动矩阵被设计为在将这些区域一起查看时产生干涉效应,其是由透过所打印的张观看来实现的。
该效果与水印的相似之处在于它在仅查看页的一面时是不可见的,并且当该页通过正常手段被拷贝时被丢失。
保密文档的页无法利用上面1.9节中所述的内置netpage拷贝机构来拷贝。这扩展到在netpage察觉的影印机上拷贝netpage。
保密文档典型地作为电子商务事务处理的一部分来产生。因此,它们可以包含用户的照片,该照片是在用户向netpage注册服务器注册生物识别信息时捕获的,如第2节中所述。
当被呈现了保密netpage文档时,接收者可以通过在通常方式下请求其状态来验证其真实性。保密文档的唯一ID仅在文档的寿命期中是有效的,并且保密文档ID被非邻接地分配,以防止机会主义伪造者对其的预计。可以以有关验证失败的内建反馈来发展保密文档验证笔,以支持容易的呈现点(point-of presentation)文档检验。
在密码的意义上,显然水印和用户的照片都不是安全的。它们简单地提供对偶然伪造的显著障碍。特别是使用验证笔的在线文档验证提供了所需的安全性的增加水平,但仍不是对伪造完全免疫的。
3.5不可否认
在netpage系统中,用户提交的表单被可靠地传送给表单处理者,并且被持久地存档于netpage页服务器上。因此,接受者不可能否认传送。
收款者也不可能抵赖通过如第4节所述的系统进行的电子商务支付。
4.电子商务模型
4.1安全电子事务处理(SET)
Netpage系统使用安全电子事务处理(SET)系统作为其支付系统之一。已由MasterCard和Visa开发的SET围绕支付卡而被组织,并且这被反映在术语中。但是,系统的大部分独立于所使用的账户的类型。其它的支付系统也可以使用。
在SET中,持卡人和商家向证书权力机构注册,并被发给包含其公共签名密钥的证书。证书权力机构适当地验证持卡人向卡发行者的注册细节,并适当地验证商家向受让方(acquirer)的注册细节。持卡人和商家把各自的私有签名密钥安全地存储在其计算机上。在支付过程中,这些证书被用于相互鉴权商家和持卡人,并将两者均鉴权到支付网关。
SET尚未被广泛采用,部分是因为持卡人认为密钥和证书的维护是麻烦的。维护服务器上的持卡人密钥和证书,并通过口令给予持卡人访问的临时解决方案已经取得了某些成功。
4.2SET支付
在netpage系统中,netpage注册服务器在SET支付事务处理中用作netpage用户(即持卡人)的代理。
Netpage系统使用生物识别对用户进行鉴权并授权SET支付。由于系统是基于笔的,所用的生物识别是用户的在线签名,包括随时间变化的笔位置和压力。尽管有较高的成本,也可通过将指纹传感器设计到笔中来使用指纹生物识别。所用的生物识别的类型只影响生物识别的捕获,而不是系统的授权方面。
能够进行SET支付的第一步是向netpage注册服务器注册用户的生物识别。这是在受控环境例如在银行中来完成。在这里可在验证用户身份的同时捕获生物识别。生物识别被捕获并存储到注册数据库中,并被链接到用户的记录。用户的照片也被任选地捕获并链接到所述记录。SET持卡人注册过程被完成,并且所获得的私有签名密钥和证书被存储在数据库中。用户支付卡信息也被存储,从而给予netpage注册服务器足够的信息以用作任何SET支付事务处理中的用户代理。
当用户最终例如通过签署netpage订货单来提供生物识别以完成支付时,打印机将订购信息、笔ID和生物识别数据安全地发送到netpage注册服务器。服务器针对由笔ID标识的用户来验证生物识别,并从那时起用作完成在SET支付事务处理中的用户代理。
4.3微支付
Netpage系统包括用于微支付的机构以允许用户为按需打印低成本文档以及拷贝受版权保护的文档而被方便地收费,并且还有可能允许用户被偿还在打印广告材料中发生的费用。后者依赖于已提供给用户的补助的水平。
当用户注册电子商务时,合计微支付的网络账户被建立。用户在定期的基础上接收报表,并且可以使用标准的支付机构来结算任何未付的借记结余。
网络账户可以被扩展以合计期刊的预订费,其否则也将以各个报表的形式被呈现给用户。
4.4事务处理(Transaction)
当用户在特定应用前后关系(context)中请求netpage时,该应用能够在页中嵌入用户特定的事务处理ID55。通过该页的随后输入被用事务处理ID来打标签,并且所述应用由此能够建立用于用户输入的适当前后关系。
但是,当输入通过非用户特定的页而发生时,应用必须使用用户的唯一身份来建立前后关系。典型的例子包括将来自预打印的分类表(catalog)页的项目添加到用户的虚拟“购物车”。但是,为了保护用户的隐私,netpage系统已知的唯一用户ID60优选地不被泄露给应用。这是要防止不同的应用提供者容易地关联独立累积的行为数据。
相反,netpage注册服务器通过唯一的别名ID65维护用户和应用之间的匿名关系,如图24所示。每当用户激活用“已注册”属性来打标签的超链接时,netpage页服务器请求netpage注册服务器将相关的应用ID64连同笔ID61转化成别名ID65。该别名ID然后被提交给超链接的应用。
应用维护由别名ID索引的状态信息,并能够检索用户特定的状态信息,而不必知道用户的全局身份。
系统也维护用于每个用户应用的独立证书和私有签名密钥,从而允许它仅使用应用特定的信息以用户的名义来签署应用事务处理。
为帮助系统路由产品条形码(UPC)“超链接”激活,系统针对任意数量的产品类型以用户的名义来记录喜好的应用。
每个应用都与应用提供者关联,并且系统以每个应用提供者的名义来维护账户,从而允许它为点击费等而贷记和借记提供者。
应用提供者可以是期刊预订内容的发布者。系统记录用户接收预订发布的意愿,以及发布的期望频率。
4.5资源描述和版权
图40显示了资源描述类图的优选实施例。
每个文档和内容对象可以由一个或多个资源描述842来说明。资源描述优选使用Dublin Core元数据元素集,其被设计成便于电子资源的发现。Dublin Core元数据符合万维网协会(W3C)资源描述框架(RDF)。其它的元数据元素集也可以使用。
资源描述可以标识权力持有者920。在用户打印受版权保护的内容时,netpage系统可以自动地从用户向权力持有者传送版权费。
5.通信协议
通信协议限定实体之间的消息的有序交换。在netpage系统中,如笔、打印机和服务器的实体利用一组限定的协议来合作处理与netpage系统的用户交互。
每个协议通过顺序图说明,在顺序图中,水平维度被用于表示消息流而垂直维度被用于表示时间。每个实体由包含实体名称的矩形和表示实体生命线的垂直列来表示。在实体存在的时间内,生命线被示出为虚线。在实体处于活动的时间内,生命线被示出为双线。由于在此考虑的协议不创建或破坏实体,生命线通常是一旦实体停止参与协议时就被中断。
5.1预订递送协议
图43中显示了预订递送协议的优选实施例。
大量用户可订阅期刊发布。每个用户的版本(edition)可被不同地布局,但许多用户的版本将共享共同的内容,如文本对象和图像对象。预订递送协议因此通过点播来递送文档结构到各个打印机,但是通过组播(multicast)来递送共享的内容对象。
应用(即发布者)首先从ID服务器12获得用于每个文档的文档ID51。然后,它向负责文档的新分配ID的页服务器10发送每个文档结构,包括其文档ID和页描述。它包括自己的应用ID64、预订者的别名ID65、以及组播通道名称的相关集。它使用它的私有签名密钥来签署消息。
页服务器使用应用ID和别名ID从注册服务器获得对应用户ID60、用户选择的打印机ID62(其可被明确地选择用于应用,或者可以是用户的默认打印机)、以及应用的证书。
应用的证书允许页服务器验证消息签名。如果应用ID和别名ID不一起标识预订808,那么页服务器的到注册服务器的请求失败。
然后,页服务器分配文档和页实例ID,并把页描述包括页ID50转发给打印机。它包括用于打印机收听的组播通道名称的相关集。
它然后将新分配的页ID返回到应用以便于将来参考。
一旦应用已通过有关页服务器将所有文档结构分发给预订者的所选打印机,则它在先前所选的组播通道上组播共享对象的各种子集。页服务器和打印机两者都监视适当的组播通道并接收其所需内容对象。然后,它们能够进驻(populate)先前点播的文档结构。这允许页服务器将完整的文档添加到其数据库,并且它允许打印机打印文档。
5.2超链接激活协议
图45显示了超链接激活协议的优选实施例。
当用户使用netpage笔在netpage上点击时,笔把点击传送给最近的netpage打印机601。所述点击标识所述页和页上的位置。打印机已从笔连接协议得知笔的ID61。
打印机通过DNS确定处理特定页ID50的页服务器10a的网络地址。如果用户已在近期与相同的页交互,那么所述地址可能已经在其高速缓存中。然后,打印机把笔ID、其自己的打印机ID62、页ID和点击位置转发给页服务器。
页服务器加载由页ID标识的页描述5,并确定点击位于哪个输入元素区58,如果有的话。假设有关输入元素是超链接元素844,页服务器然后获得关联的应用ID64和链接ID54,并且通过DNS来确定掌管应用71的应用服务器的网络地址。
页服务器使用笔ID61从注册服务器11获得对应用户ID60,并且然后分配全局唯一的超链接请求ID52,并构建超链接请求934。图44中示出了超链接请求类图。超链接请求记录请求用户和打印机的ID,并确定所点击的超链接实例862。然后,页服务器向应用发送其自己的服务器ID53、超链接请求ID、以及链接ID。
应用根据应用特定的逻辑来产生响应文档,并从ID服务器12获得文档ID51。然后,它把文档连同请求页服务器的ID和超链接请求ID发送给负责文档的新分配ID的页服务器10b。
第二页服务器向第一页服务器发送超链接请求ID和应用ID,以获得对应用户ID和打印机ID62。如果超链接请求已经到期或者用于不同的应用,那么第一页服务器拒绝该请求。
第二页服务器分配文档实例和页ID50,将新分配的页ID返回到应用,把完整文档添加到其自己的数据库,并且最终向请求的打印机发送页描述。
超链接实例可以包含有意义的事务处理ID55,在此情况下第一页服务器包括发送给应用的消息中的事务处理ID。这允许应用建立用于超链接激活的事务处理特定的前后关系。
如果超链接需要用户别名,即其“需要别名″属性被设置,那么第一页服务器将笔ID61和超链接的应用ID64两者发送到注册服务器11,以不仅获得对应于笔ID的用户ID以及对应于应用ID和用户ID的别名ID65。它包括发送给应用的消息中的别名ID,从而允许应用建立用于超链接激活的用户特定的前后关系。
5.3手写识别协议
当用户用netpage笔在netpage上画出笔划时,笔把该笔划传送给最近的netpage打印机。笔划标识所述页和页上的路径。
打印机以通常的方式将笔ID61、它自己的打印机ID62、页ID50、以及笔划路径转发给页服务器10。
页服务器加载由页ID标识的页描述5,并确定笔划与哪个输入元素区58相交,如果有的话。假设有关的输入元素是文本字段878,那么页服务器将笔划附加到文本字段的数字墨中。
在文本字段区不活动一段时间后,页服务器向注册服务器11发送笔ID和未决的笔划以便于解释。注册服务器辨别与笔对应的用户,并使用用户的累积手写模型822把笔划解释为手写文本。一旦它已将笔划转换为文本,则注册服务器把文本返回到请求的页服务器。页服务器把该文本附加到文本字段的文本值。
5.4签名验证协议
假设其区与笔划相交的输入元素是签名域880,那么页服务器10将所述笔划附加到签名字段的数字墨中。
在签名字段的区不活动一段时间后,页服务器向注册服务器11发送笔ID61和未决的笔划以便于验证。它还发送与签名字段是其部分的表单关联的应用ID64以及表单ID56、以及表单的当前数据内容。注册服务器辨别与笔对应的用户,并使用用户的动态签名生物识别818来将笔划验证为用户的签名。一旦它已验证所述签名,则注册服务器使用应用ID64和用户ID60来辨别用户的应用特定的私有签名密钥。然后,它使用所述密钥产生表单数据的数字签名,并将该数字签名返回到请求的页服务器。页服务器将该数字签名指定给签名字段,并且将关联表单的状态设置成冻结。
数字签名包括对应用户的别名ID65。这允许单个表单捕获多个用户的签名。
5.5表单提交协议
图46示出了表单提交协议的优选实施例。
表单提交通过表单超链接激活进行。因此,它遵循5.2中限定的协议,有一些表单特定的添加。
在表单超链接的情况下,由页服务器10向应用71发送的超链接激活消息还包含表单ID56和表单的当前数据内容。如果表单包含任何签名字段,那么应用通过提取与对应数字签名关联的别名ID65并从注册服务器11获得对应证书来验证每一个。
5.6手续费支付协议
图47显示了手续费支付协议的优选实施例。
在电子商务环境中,应用提供者可以向发布者支付点击、交易和销售的费和佣金。发布者也可以向打印机的提供者支付关于费的佣金和佣金的佣金。
超链接请求ID52用于把费或佣金账款(credit)从目标应用提供者70a(即商家)传送给源应用提供者70b(即发布者)以及从源应用提供者70b传送给打印机提供者72。
在第一次激活超链接时,目标应用会从页服务器10接收超链接请求ID,如5.2所述。当目标应用需要向源应用提供者付款时,它把应用提供者的信用证和超链接请求ID一起发送给原页服务器。页服务器使用超链接请求ID标识源应用,并把信用证和源应用ID64、自己的服务器ID53、以及超链接请求ID一起发送给相关的注册服务器11。注册服务器把帐款发送到相应的应用提供者账户827。同时通知应用提供者。
如果应用提供商需要向打印机提供者付款,它把打印机提供者的帐款和超链接请求ID一起发送给原页服务器。页服务器使用超链接请求ID标识打印机,并把帐款和打印机ID一起发送给相关的注册服务器。注册服务器把帐款发送到相应的打印机提供者的账户814。
源应用提供者任选地被告知目标应用提供者的身份以及源应用提供者的打印机提供者的身份。
6.Netpage笔描述
6.1笔结构
参考图8和图9,由参考数字101概括表示的笔包括塑料模件形式的壳体102,其具有限定用于安装笔部件的内部空间104的壁103。笔顶部105在工作中可旋转地安装在壳体102的一端106。半透明覆盖107被紧固于壳体102的相对端108。覆盖107也是由模制塑料的,并且由半透明材料形成以使用户能够观察安装在壳体102内的LED的状态。覆盖107包括主要部分109,其基本上围绕壳体102的端108,以及伸出部分110,其从主要部分109伸回,并配合于在壳体102的壁103中形成的对应槽111内。无线天线112在壳体102内被安装在伸出部分110之后。围绕覆盖107上的孔113A的螺纹113被设置成接收包括对应的螺纹115的金属端件114。金属端件114是可拆卸的以使能墨盒更换。
在覆盖107内安装的还有挠性PCB117上的三色状态LED116。天线112也安装在挠性PCB117上。状态LED116安装在笔101的顶部以便于良好的周围可见性。
所述笔可以作为正常标记墨笔和作为非标记触针(stylus)两者来工作。具有尖119的墨笔盒118和具有触针尖121的触针120被并排安装在壳体102内。通过旋转笔的顶部105,墨盒尖119或触针尖121可以通过金属端件114的开口端122而提出。相应的滑块123和124被分别安装到墨盒118和触针120。可旋转凸轮桶(rotatable cam barrel)125在工作中被紧固于笔顶部105并且被设置成随其旋转。凸轮桶125包括凸轮桶的壁181内的槽形式的凸轮126。从滑块123和124伸出的凸轮从动件127和128配合于凸轮槽126内。在凸轮桶125旋转时,滑块123或124相对于彼此而移动以将笔尖119或触针尖121通过金属端件114中的孔洞122伸出。笔101有三个工作状态。通过滚动顶部105经过90°的步骤,所述三个状态是:
●    触针120尖121出;
●    墨盒118尖119出;以及
●    墨盒118尖119不出,触针120尖121也不出。
在壳体102内的电子底板130上安装有第二挠性PCB129。第二挠性PCB129安装了红外LED131,用于提供红外辐射以便于投射到表面上。在第二挠性PCB129上提供有图像传感器132,用于接收来自所述表面的经反射的辐射。第二挠性PCB 129还安装射频芯片133,其包括RF发射器和RF接收器,以及控制器芯片134,用于控制笔的工作。光学器件块135(由模制透明塑料形成)坐落在覆盖107内,并且将红外束投射到表面上并且将图像接收到图像传感器132上。电源线136将第二挠性PCB 129上的部件连接到电池接触137,其被安装在凸轮桶125内。端子138连接到电池接触137和凸轮桶125。三伏可再充电电池139坐落在凸轮桶125内与电池接触相接触。在第二挠性PCB129的周围安装有感应充电线圈140,以使能通过感应对电池139的再充电。第二挠性PCB129也安装了红外LED143和红外光电二极管144,用于在触针120或墨盒118被用于书写时检测凸轮桶125内的移位,以便于使能确定笔尖119或触针尖121施加到所述表面的力。IR光电二极管144检测经由通过安装在滑块123和124上的反射体(没有示出)来自IRLED143的光。
橡胶抓垫141和142向着壳体102的端108而被提供以帮助抓住笔,并且顶部105也包括夹具142,用于把笔夹到口袋。
6.2笔控制器
笔101被设置以通过在红外谱中对尖附近的表面区域成像来确定其尖(触针尖121或墨盒尖119)的位置。它记录来自最近的位置标签的位置数据,并被设置以利用光学器件135和控制器芯片134计算尖121或119与位置标志(tab)的距离。控制器芯片134根据在所成像的标签上观测的透视变形来计算笔的取向和尖到标签(nib-to-tag)距离。
来自位置标签的控制数据可以包含指示笔激活其“活动区域”LED的控制位(这实际上是三色LED116的一个模式,当笔根据控制数据确定成像的区域是“活动区域”时,三色LED116将变成黄色)。因此,可以对表面上与按钮或超链接的活动区域对应的区域进行编码,以便激活此LED,这样,当笔101移过按钮或超链接的活动区域时,可以为笔的用户提供按钮或者超链接处于活动的可视反馈。控制数据还可以指示笔捕获连续的笔着力读数。因此,可以对表面上与签名输入区对应的区域进行编码,以捕获连续的笔着力。
笔相对于所述表面的动作可包含一系列笔划。笔划由表面上的一序列带有时间戳的笔位置构成,笔划从落笔事件开始,到提笔事件结束。需要注意的是,可以根据一阈值来解读笔的着力,从而指示笔是“提起”还是“落下”,以及还可以根据连续值例如在笔捕获签名时来解读。捕获的笔划序列构成所谓的“数字墨”。数字墨可由计算系统用来形成绘图和手写的数字交互的基础,以便于手写的在线识别,以及签名的在线检验。
通过利用RF芯片133和天线112,笔101可以将数字墨数据(其被加密用于安全并且被打包以用于高效传输)发送到计算系统。
当笔处于接收器的范围内时,数字墨数据在其形成时被发送。当笔移出范围时,数字墨数据被缓冲于笔内(笔电路包括缓冲器,其被设置成存储表面上的近似12分钟的笔运动的数字墨数据)并且可在以后被发送。
控制器芯片134被安装在笔的第二挠性PCB129上。图10是较详细说明控制器芯片134的体系结构的框图。图10还显示了RF芯片133、图像传感器132、三色状态LED 116、IR照明LED 131、IR力传感器LED143、以及力传感器光电二极管144的表示。
笔控制器芯片134包括控制处理器145。总线146使能控制器芯片134的部件之间的数据交换。闪存147和512 KB DRAM148也被包括。模拟-到-数字转换器149被设置成将来自力传感器光电二极管144的模拟信号转换为数字信号。
图像传感器接口152与图像传感器132对接。收发机控制器153和基带电路154也被包括以与RF芯片133对接,所述RF芯片包括RF电路155和与天线112连接的RF共振器和感应器156。
控制处理器145通过图像传感器132从表面来捕获并解码来自标签的位置数据,监视力传感器光电二极管144,控制LED 116、131和143,并处理通过无线电收发器153的短距离无线电通信。它是中等-性能(~40MHz)通用RISC处理器。
处理器145、数字收发器部件(收发器控制器153和基带电路154)、图像传感器接口152、闪存147和512KB DRAM 148被集成在单个控制器ASIC中。模拟RF部件(RF电路155和RF共振器和感应器156)被提供在分开的RF芯片中。
图像传感器是分辨率为215×215像素左右的CCD(这种传感器由Matsushita电子公司制造,它在IEEE Transaction on Electronic Devices,2000年1月第1期第47卷的由Itakura,K T Nobusada,N Okusenya,R Nagayoshi,和M Ozaki合写的“A 1mm 50k-Pixel IT CCD Image Sensor for MiniatureCamera System”中有所描述,该论文以参考方式综合在此),并带有一个红外滤光器。
当笔101不接触所述表面时,在不活动一段时间之后,控制器ASIC 134进入静止状态。它结合了专用电路150,其监视力传感器光电二极管144,并在下笔事件时,通过电源管理器151唤醒控制器134。
无线电收发器在正常由无绳电话使用的无执照900MHz带内,或可替换地在无执照的2.4GHz工业、科学和医疗(ISM)带内通信,并使用频率跳动和冲突检测来提供无干扰通信。
6.3笔的光学器件
如上所述,笔的光学器件是由模制的光学器件135实现的。图67中示意性地显示了由光学器件本体135实现的光学器件。该光学器件包含第一透镜157(用于对红外LED 131的发光进行聚焦)、镜158、束分离器159、物镜160、以及第二透镜161(用于把图像聚焦到图像传感器132上)。轴向射线162显示了光学路径。
光学路径被设计为向图像传感器132提供在必要的倾斜范围内与视场锥192相交的成像表面的部分193的清晰图像(见下文)。主聚焦元件是物镜160。该物镜还用于从反向把来自IR照明LED 131的照明投射到视场内的表面上。由于无法把图像传感器132和IR LED 131同时放在目标的焦点处,所以使用束分离器159分开该路径并且在每个路径中独立的中继透镜157和161分别对图像传感器132和IR LED 131重新聚焦。这也允许在两个路径上施加不同的孔。
图像传感器132的边可作为捕获场的场限制器,并且捕获路径被设计为使得根据需要获得物体空间角视场(即,对于本实例的应用来说,刚好低于20°)。光照路径被设计为产生与捕获路径相同的物体空间视场,使得该照明以最高的功率和均匀性填充物体空间视场。
IR LED 131的频闪与帧捕获的速度同步。使用聚焦的照明允许短的曝光时间和小的孔两者,短的曝光时间防止运动模糊(motion blur),从而允许在笔移动过程中捕获位置标签数据。小孔允许足够的景深用于由倾斜产生的整个范围的表面深度。该捕获路径包括外在的孔限止器191用于此目的。
由于图像传感器132对光谱的可见和近红外部分都有较强的响应,所以在捕获路径中,在图像传感器的前面增加红外滤光器163,以便使图像传感器捕获到表面上的标记数据的清晰图像,不会受到表面上的其它图形的干扰,这些其它图形可以采用在近红外下透明的墨打印。
6.4笔的处理
当笔的触针尖121或墨盒尖119与表面接触时,笔以100Hz确定其相对于表面的位置和取向,从而允许准确的手写识别(见IEEE Transactions onPatent Analysis and Machine Intelligence,1990年8月第8期第12卷上的“TheState of the Art in On-Line Hand Writing Recognition”,作者:Tappert,C,CY Suen和T Wakahara,该文章的揭示以互参方式综合在此)。力传感器光电二极管144用于相对于阈值指示笔是在“提起”还是在“落下”。如上所述,还可以把力作为连续值捕获,以便于例如使签名的整个动态能够被检验。
通过以红外光谱对尖119、121附近的表面区域成像,笔能够确定其尖119、121在表面上的位置和取向。它对最近的标签数据进行解码,并根据观察到的成像标签的透视畸变和笔的光学器件135的已知几何形计算尖119、121相对于位置标签的位置(见下文)。虽然标签的位置分辨率可能较低,但是调整后的位置分辨率相当高,很轻易地就能超过用于准确的手写识别所需的200dpi分辨率(见上文中的参考)。
笔相对于表面的动作被捕获为一系列笔划。笔划包含表面上的一序列带有时间戳的笔位置,从落笔事件开始,到随后的提笔事件结束。每当区域ID改变时,即在正常情况下笔划刚刚开始时,笔划还被标有表面的区域ID。如上所述,每个位置标签包含指示其在表面上的位置的数据以及指示表面中该标签所位于的区域的区域数据。
图68显示了在笔中进行的位置标签和笔划处理。笔控制器134从空比划开始(在164处)。然后,它通过力传感器光电二极管144不断对尖着力取样(在165处),以检查落笔状态(在166处)。如果笔处于落笔状态,笔控制器134捕获表面的图像(在167处),定位捕获的图像中的标签(在168处),从该标签解码标签数据(在169处),推断笔相对于表面的位置和取向(在170处),并且把位置数据附加到当前的笔划数据(在171处)。在检测到提笔事件时,即由非空笔划的出现所表示的落笔状态后,检测到的提笔状态(在172处)时,笔控制器134对笔划数据进行加密(在173处),并通过RF芯片133和天线112把笔划数据传送给计算系统(在174处),然后以另一个空笔划开始(在164处)。
假设相当快的8位乘法(3循环),那么当处于活动时,该处理算法(见下文)将使用80%左右的处理器的时间。
如果笔超出计算系统的范围来传送,那么它把数字墨缓存在其内部存储器中。当下一次处于计算系统的范围内时,它传送所有缓存的数字墨。当笔的内部存储器充满时,笔停止捕获数字墨,并且每当用户试图用该笔来书写时,该笔上的错误LED将闪烁。
表4列出了从笔向计算系统传送的原始数字墨的成分。图69显示了原始数字墨的结构的图。当笔离线工作时,在笔中缓存的数字墨与传送到所述系统的数字墨以相同的形式储存。
表4.原始数字墨的成分
原始数字墨的成分 单位  精度(位) 范围
笔ID -  128 -
尖ID -  128 -
绝对时间 ms  64 -
最后的系统时间 ms  64 -
区域ID -  100 -
时间偏置 ms  32 49.7天
 标签ID - 16   -
 x偏置 20um S9  ±10mm
 y偏置 20um S9  ±10mm
 x旋转(倾斜) S7  ±90°
 y旋转(滚动) S7  ±90°
 z旋转(偏转) S7  360°
 z力 - 8  255
当笔101连接到计算系统时,控制器134以原始数字墨标题182的形式向系统通知笔ID、尖ID、当前的绝对时间、以及在离线前从系统获得的最后的绝对时间。这使系统可以计算笔的时钟的任何偏差,并对从笔接收的任何数字墨进行相应的时间偏移。然后,笔使用系统的准确实时时钟同步其实时时钟。当有多于一支笔与计算系统操作时,笔ID使计算系统能够标识该笔。在例如用笔来标识笔拥有者并且以特定的定向方式与该拥有者交互的系统中,笔ID可能是很重要的。在其它实施例中,这可以不被要求。尖ID使计算系统能够标识当前使用的是哪个尖、触笔尖121或墨盒尖119。计算系统可以根据哪个尖正在被使用来改变其操作。例如,如果正在使用的是墨盒尖119,那么计算系统可以推迟产生反馈输出,因为即时反馈是由在表面上产生的墨标记提供的。如果触针尖121正在被使用,那么计算系统就可以产生即时反馈输出。
在笔划开始时,笔控制器134将从通知到系统的最后的绝对时间以来经过的时间记录在原始笔划标题183中。对于笔划中的每个笔位置,控制器134以原始笔位置177形式记录笔尖119、121距当前标签的x和y偏置、笔的x、y、z旋转、以及尖的着力。如果标签ID(用来标识区域内的标签)已经改变,那么控制器只会以标签变更178形式记录标签ID。由于标签频率比典型的位置取样频率低得多,所以对于若干个连续的笔位置,标签ID是不变的,而且,如果笔划较短,那么对于整个笔划,标签ID可以是不变的。
由于笔以100Hz对其位置和取向采样,因此笔划中的笔位置被隐含地以100Hz来钟控,不需要明确的时间戳。如果笔未能计算笔位置,如因为它未能解码标签,那么笔也必须记录笔位置以便保持隐含的钟控。因此,笔以未知笔位置179的形式把所述位置记录为“未知”,允许计算系统以后在必要时可以根据相邻取样插入该位置。
由于笔划的32位时间偏置的范围有限(即49.7天),所以笔任选地以时间改变176的形式为笔划记录绝对时间。这成为绝对时间,以后笔划的时间偏置相对于这个绝对时间来测量。
由于对于若干个连续笔划,区域ID是恒定的,所以笔只在区域ID发生变化时以区域改变180的形式记录区域ID。这成为与以后的笔位置隐含关联的区域ID。
由于用户可在一个笔划和下一个之间改变尖119、121,所以笔任选地以尖改变175的形式为笔划记录尖ID。这成为与以后的笔划隐含关联的的尖ID。
笔划的每个成分都有一个按熵编码的前缀,如表5所示。
表5.原始笔划成分前缀
原始笔划成分 前缀
原始笔位置 0
未知笔位置 10
标签改变 1100
笔划结束 1101
区域改变 11100
尖改变 11101
时间改变 11110
为期1秒的10mm笔划跨过两个或三个标签,包含100个位置采样,并且因此具有大约5500位的大小。因此,在线连续数字墨捕获要求5.5Kbps的最高传输速度,离线连续数字墨捕获要求每分钟大约40K字节缓冲存储器。所以笔的512KB DRAM 48可以保持12分钟以上的连续数字墨。时间、区域和尖改变很少发生,因此对所需的传输速度和缓冲存储器的影响可以忽略。笔位置的另外压缩可以进一步降低传输速度和缓冲存储器需求。
在被传送到计算系统之前,每个原始笔划都采用Triple-DES算法加密(见Schneier,B,Applied Cryptography,Second Edition,Wiley 1996,该书的揭示以互参方式综合在此)。为此目的,笔和计算系统在规则的基础上交换会话密钥。按每个加密位50次循环的保守估计,一秒钟5500位笔划的加密消耗处理器的45时间的0.7%。
6.5其它的笔实施例
在可替换的实施例中,笔结合有红外数据协会(IrDA)接口,用于与基站或netpage打印机进行短程通信。
在本另一个实施例中,笔101包含一对正交加速度计,该加速度计安装在笔轴的法平面内。图9和图10中以虚框显示了加速度计190。
加速度计的提供使能这种笔的该实施例感测运动,而不必参考表面位置标签,使位置标签可以以较低的速率被取样。然后每个位置标签ID可以标识关心的对象,而不是表面上的位置。例如,如果对象是用户界面输入元素(例如命令按钮),那么在该输入元素区域内的每个位置标签的标签ID可以直接标识输入元素。
由加速度计在X和Y方向的每个中测量的加速度关于时间被积分以产生瞬时速度和位置。
由于笔划的起始位置是未知的,因此只能计算笔划内的相对位置。虽然位置积分累积在感测的加速度中的误差,加速度计典型地具有高的分辨率,并且笔划的持续时间,即误差累积时间是短的。
7 Netpage打印机描述
7.1打印机的结构
竖直安装的netpage壁式打印机601在图11中被完全组装而示出。它使用双工8
Figure 2007101952505_0
”MemjetTM打印引擎602和603在信函/A4大小的介质上打印netpage,如图12和12a所示。它使用直的纸路径,其中纸604通过双工打印引擎602和603,所述引擎以全色和全出血(full fleed)同时打印一张的两面。
成为整体的装订组件605沿每个所打印的张的一个边缘来应用胶条,从而在对它施压时使它粘附于先前张。由此产生最终的装订文档618,其厚度范围可以从一张到几百张。
图13中所示的与双工打印引擎耦合的可更换墨盒627具有囊或室,用于存储固定剂、粘附剂以及青、洋红、黄、黑和红外墨。所述盒也包含基础模件中的微空气过滤器。该微空气过滤器通过软管639与打印机内的空气泵638对接。由此向打印头提供经过滤的空气,以防止微粒进入到MemietTM打印头350中,否则其可能阻塞打印头喷嘴。通过在所述盒内结合空气过滤器,过滤器的工作寿命被有效地联系(linked)到盒的寿命。墨盒是完全可再循环的产品,其具有打印和粘合3000页(1500张)的能力。
参考图12,机动化的介质拾取辊组件626把顶部的张直接从介质托盘从拉过第一个打印引擎602的纸传感器,拉入双工MemjetTM打印头组件中。两个MemjetTM打印引擎602和603沿直的纸路径以相反的线上(in-line)顺序配置被安装。纸604由成为整体的、动力驱动的(powered)拾取辊626拉到第一打印引擎602中。纸604的位置和尺寸被感测并且全出血打印开始。固定剂被同时打印以帮助在最短的可能时间内干燥。
纸通过一组动力驱动的退出钉状轮(spike wheel)(沿直的纸路径对准)退出第一MemietTM打印引擎602,所述钉状轮作用于涂胶的辊。这些钉状轮接触“湿的”打印表面,并连续将张604馈送到第二MemietTM打印引擎603中。
参考图12和12a,纸张604从双工打印引擎602和603传递到装订器组件605中。所打印的页传递于具有纤维支撑辊的动力驱动的钉状轮轴670和具有钉状轮和瞬间动作胶轮(glue wheel)的另一个可移动轴之间。可移动轴/胶组件673被安装于金属支撑支架,其在凸轮轴的作用下向前运送,通过齿轮与动力驱动轴670对接。单独的马达给该凸轮轴提供动力。
胶轮组件673包含部分空轴679,其具有用于胶合来自墨盒627的供给软管641的旋转耦合。轴679与胶轮连接,胶轮通过径向孔洞通过毛细作用来吸收粘附剂。模制壳体682围绕胶轮,其中在前部具有开口。枢转侧模件和支在弹簧上的(sprung)外门被附着于金属支架并且当组件673的其余部分被向前推进时铰转出旁边(sideway)。该动作通过壳体682的前面而暴露胶轮。张力弹簧关闭组件并有效地在不活动期间内盖住胶轮。
当张604传递到胶轮组件673中时,在其被向下运送到装订组件605中时,粘附剂被应用于前面(与文档的第一张远离)上的一个垂直边缘。
7.2打印机控制器体系结构
Netpage打印机控制器包括控制处理器750、厂家安装或现场安装的网络接口模块625、无线电收发器(收发器控制器753、基带电路754、RF电路755以及RF共振器和感应器756)、双栅格图像处理器(RIP)DSP 757、双工打印引擎控制器760a和760b、闪存658、以及64MB的DRAM 657,如图14中所示。
控制处理器处理与网络19和本地无线netpage笔101的通信,感测帮助按钮617,控制用户接口LED 613-616,并且馈送和同步RIP DSP757和打印引擎控制器760。它由介质-性能通用微处理器构成。控制处理器750通过高速串行总线659与打印引擎控制器760通信。
RIP DSP栅格化和压缩页描述到netpage打印机的压缩页格式。每个打印引擎控制器都实时(即以每分钟30页以上)展开、抖动和打印页图像到其关联的MemjetTM打印头350打印页图像。双工打印引擎控制器同时打印一张的两面。
主打印引擎控制器760a结合主QA芯片665和墨盒QA芯片761来控制纸运送并监视墨使用。
打印机控制器的闪存658容纳用于处理器750和DSP757两者的软件以及配置数据。其在引导时被拷贝到主存储器657。
处理器750、DSP 757、以及数字收发机部件(收发器控制器753和基带电路754)被集成在单个控制器ASIC 656中。模拟RF部件(RF电路755和RF共振器和感应器756)被提供在单独的RF芯片762中。网络接口模块625是单独的,因为netpage打印机允许网络连接是厂家选择的或者现场选择的。闪存658和2X256Mbit(64MB)DRAM 657也是芯片外的。打印引擎控制器760被提供在单独的ASIC中。
各种网络接口模块625被提供,每个都提供了netpage网络接口751和任选的本地计算机或网络接口752。Netpage网络互联网接口包括POTS调制解调器、混合纤一同轴(HFC)线缆调制解调器、ISDN调制解调器、DSL调制解调器、卫星收发器、当前和下一代蜂窝电话收发器以及无线本地环路(WLL)收发器。本地接口包括IEEE 1284(并行端口)、10Base-T和100Base-T以太网、USB和USB 2.0、IEEE 1394(火线)以及各种新兴的家庭联网接口。如果互联网连接在本地网络上可用,那么本地网络接口可被用作netpage网络接口。
无线电收发器753在正常由无绳电话使用的无执照900MHz带内,或者可替换地在无执照的2.4GHz工业、科学和医学(ISM)带内通信,并使用频率跳动和冲突检测来提供无干扰通信。
打印机控制器任选地结合红外线数据协会(IrDA)接口以便于接收从如netpage相机的设备“喷出的(squirted)”数据。在可替换的实施例中,打印机使用IrDA接口以便于与适当配置的netpage笔的短距离通信。
7.2.1栅格化和打印
一旦主处理器750已收到并验证了文档的页布局和页对象,它在就运行DSP 757上的适当RIP软件。
DSP 757栅格化每个页描述并压缩经栅格化的页图像。主处理器在存储器中存储每个经压缩的页图像。负载-平衡多个DSP的最简单方式是让每个DSP栅格化单独的页。由于通常可以在存储器中存储任意数量的经栅格化的页,因此DSP可以始终被保持忙碌。当栅格化短文档时,该策略仅导致潜在差的DSP利用。
页描述中的水印区域被栅格化成连续色调-分辨率双值位图,其被无损地压缩到可忽略的大小并且其形成经压缩的页图像的部分。
打印页的红外(IR)层包含处于大约每英寸6个的密度的经编码的netpage标签。每个标签都编码页ID、标签ID和控制位。并且每个标签的数据内容是在光栅格化期间被产生并被存储在经压缩的页图像中。
主处理器750把背对背页图像传递到双工打印引擎控制器760。每个打印引擎控制器760都在其本地存储器中存储经压缩的页图像,并且开始页展开和打印流水线。页展开和打印是流水线化的,这是因为在存储器中存储全部114MB双值CMYK+IR页图像是不实际的。
7.2.2打印引擎控制器
打印引擎控制器760的页展开和打印流水线包括高速IEEE 1394串行接口659、标准JPEG解码器763、标准Group 4传真解码器764、定制半色调器/合成器单元765、定制标签编码器766、行加载器/格式器单元767以及到MemjetTM打印头350的定制接口768。
打印引擎控制器360以双缓冲方式工作。在一个页通过高速串行接口659加载到DRAM 769中时,先前加载的页从DRAM 769被读取并被传递通过打印引擎控制器流水线。一旦所述页已打印完成,刚刚加载的页被打印,同时另一个页被加载。
流水线的第一阶段(在763)展开JPEG压缩的连续色调CMYK层,(在764处)展开Group 4传真压缩的双值黑层,并且根据在第1.2节中限定的标签格式来再现(在766)双值netpage标签层,全部都是并行的。第二阶段(在765)抖动连续色调CMYK层并(在765)在所得到的双值CMYK层上合成双值黑层。所获得的双值CMYK+IR点数据通过一组行缓冲器来缓冲并格式化(在767)以便于在MemjetTM打印头350上打印。大多数这些行缓冲被存储在芯片外DRAM中。最后阶段通过打印头接口768向MemjetTM打印头350打印6个通道的双值点数据(包括固定剂)。
当如在双工配置中,几个打印引擎控制器760被联合使用时,它们通过共享的行同步信号770来同步化。通过外部主/从针脚771选择的仅一个打印引擎760产生行同步信号770到共享线上。
打印引擎控制器760包含低速处理器772,用于同步页展开和再现流水线,通过低速串行总线773来配置打印头350,并控制步进马达675,676。
在netpage打印机的8
Figure 2007101952505_1
”版本中,两个打印引擎每个都沿页的长尺度(11”)打印每分钟30个信函页,从而在1600dpi给出8.8kHz的行速率。在netpage打印机的12”版本中,两个打印引擎每个都沿页的短尺度(8”)打印每分钟45个信函页,从而给出10.2kHz的行速率。这些行速率完全在MemjetTM打印头的工作频率内,其在当前设计中超过30kHz。
8.Netpage标签
8.1标签平铺
8.1.1平面标签平铺
为了支持通过感测设备与打标签区域的“单击”交互,不论感测设备定位的区域或取向如何,感测设备必须能够看到其视野中的至少一个完整的标签4。因此,所需要的感测设备的视野直径为标签4的尺寸和间隔的函数。
如果标签形状是圆形的,如早些描述的优选标签4,那么当在等边三角格上平铺直径为k的标签500时,可以获得传感器视野的最小直径m,如图52所示并且定义于等式1中。当中心-到-中心标签间隔与标签直径k相同时,可以实现这种情况。
对于256点的标签直径k(在1600dpi为大约4毫米),m因此为552点(~8.8毫米)。对于16点的静区,即有效标签直径k为272点(~4.3毫米),m增加到587点(~9.3毫米)。
当标签4被移开距离s时(s至少与k一样大),则最小视野由公式2给出。
当不希望在水平方向的连续行的标签500之间存在重叠时(例如为了使标签再现较容易),那么必须把标签移开至少由公式3给出的距离。对于256点直径的标签,u因此为40点(在1600dpi为~0.6毫米)。由于这超过了标签所需的静区,如果标签行被再现为不重叠,那么可以忽略静区。
在等式2中设置s=k+u可得等式4。对于256点直径的标签,s因此为296点(在1600dpi为~4.7毫米),并且m为598点(~9.5毫米)。
8.1.2球面标签平铺
通常采用规则二十面体作为基础用于产生球的近似规则三角形平铺。一个规则二十面体如图53中的二十面体526由20个大小相等的等边三角形面528构成,这些三角形面共享30个边530和12个顶点532,其中有5个边530在每个顶点532上相交。
为了实现所需的平铺,需要把二十面体526内接(inscribe)在目标球面中,而二十面体526的每个三角形528被细分为相等数量大小相等的等边细分(subdivision)三角形,以产生所需总数量的三角形。如果把二十面体的每个边530分为v个相等的线段,沿每个边限定一组v-1个点,沿任何两个相邻边的每对对应点由平行于另一个共享的相邻边的线连接,那么这样绘出的线在所需的大小相等并且等边细分三角形的顶点上相交,从而在二十面体526的每个三角形面528上将产生V2个三角形,或者总共20V2个三角形。在结果的10V2+2个顶点中,有五个三角形面在二十面体526的12个原始顶点的每个处相交,并且六个三角形面在其余的每个顶点上相交。12个原始顶点532已经处于球面上,而其余的顶点位于球内。每个产生的顶点因此被中心地投影(project)到球面上,给出所需的平铺。
由正多面体采用上述方式逼近的球面称为短程线(geodesic),并且参数v称为短程线的频率。图54显示了二十面的短程线534,其中v=3,即,有180个面528。
细分三角形与二十面体526的面中心越近,它与球面越远,因此,在投影到球面时也就越大。为了使投影的细分三角形的尺寸的变化被最小化,在投影前,细分顶点可以被系统地移位(Tegmark,M.,“An Icosahedron-BasedMethod for Pixelizing the Celestial Sphere”,ApJ Letters,470,L81,October14,1996)。如果v=1,那么不会产生顶点,而在一个定点上,三角形面对着的角仍为60°。但是,随着v的增加,由围绕每个原始定点的5个三角形面限定的表面变得越来越平,并且每个三角形面的顶角集中在72°(即360°/5)上。这限定了球面上标签平铺的最坏情况。在一个72°的等腰三角形中,底边长度是两侧边长度的1.18倍。因此,用于计算传感器视野的最大标签间隔s接近于1.18k。当标签直径为256点而静区为16点时,即有效标签直径k为272点(~4.3毫米),根据等式2,m因此为643点(~10.2毫米左右)。
位于外接球面中心的二十面体的每个边所对的角由等式5给出。
对于半径为r的球面,每个中心投影边的弧长为rθ。假设标签直径K与r的单位相同,那么覆盖球面所需的标签数量n由等式6给出。
对于给定的n,r由等式7限制。
如果n被限制到216,为了允许使用16位标签ID而不必用多个区域覆盖球面,并且K取为上述的4.3mm,那么r限制到~310毫米。
通常的地球仪(globe)的半径为160毫米。其~177毫米的投影弧长以可忽略的附加间隔配合41个均匀间隔的标签。这样一个地球仪总共使用16812个标签。
8.1.3任意曲面标签平铺
采用三角网格可以逼近任意外形和拓扑结构的表面,而不会引入不连续或奇点。网格的局部比例(local scale)取决于表面的局部曲率和误差范围。假设存在用于特定表面的三角网格,那么只要每个网格三角形注意最小顶角和最短边长度的要求,就可以实现标签的有效不规则平铺。如果感测设备的视野被保证包括处于所述表面上所述感测设备的任意位置的至少一个完整的标签,那么关于特定感测设备的平铺被认为是有效的。
平铺过程从在网格的每个顶点上放置标签开始,这样最短边长度与标签直径k相同。平铺过程通过在长度超过最大标签间距s的所有边的中点处插入标签而进行。如图9所示,最大标签间距s被计算,以使如果两个相邻标签4a和4b之间的距离是s+ε,那么在它们之间有用于另一个标签4c的空间,即等式8。
但是,如果两条长度为s+ε的边之间的项角小于60°,那么插入的标签将重叠。
为了防止插入的标签重叠,引入最小标签间距t,其中t≥k。于是最小顶角α成为k和t的函数,如等式9中所示。
很明显,当t=k时,β被约束为60°,即网格被约束为等边的。但是如图56所示,当t>k时,β可以为小于60°而没有插入标签重叠。
根据公式10,最大标签间距s必须基于新的最小标签间距t。
当考虑特定的网格三角形时,有四种不同的标签插入情况。通过假设最小顶角不小于30°(即60°的一半),我们可以发现,每当网格三角形有至少一个其长度小于或等于s的边时,其余两个边的长度小于2s。实际上,最小顶角通常是至少45°。
在第一种情况下(图57),三角形546没有长度超过s的边。所以三角形的打标签已经完成。
在第二种情况下(图58),三角形550的一个边548的长度超过s,在边548的中点插入标签552以完成三角形550的打标签。
在第三种情况下(图59),三角形558的两个边554和556的长度超过s,在两个长边554,556的每个的中点插入标签560和562,并且这可以完成三角形558的打标签。两个插入标签560和562的中心以及原始三角形558的短边568的两个顶点564,566构成一个梯形。如果所述梯形的任何一条对角线的长度超过s,那么在所述梯形的中心插入一个最终标签570以完成所述三角形的打标签。
在第四种情况下(图60),三角形573的所有三个边572的长度都超过s。打标签的顶点574被插入在每边572的中点并且所述三个新顶点574边576连起来。所述打标签程序循环应用到四个结果的三角形577、578、579和580的每个。需要注意的是,新的三角形遵守最小项角,因为它们具有与原始三角形573相同的形状。
标签平铺变量总结在表4中。
表4.标签平铺变量
  变量     意义
  β     最小顶角
  k     标签直径
  m     表面上传感器视野的最小直径
  s     最大中心-到-中心标签间距
  t     最小中心-到-中心标签间距
8.2标签感测
8.2.1笔取向
为了允许笔类感测设备被用作舒适的书写工具,必须支持笔取向的一范围。由于笔尖被约束为与所述表面接触,笔取向的特征在于偏转(z旋转)、倾斜(x旋转)和滚动(y旋转),如图61所示。虽然笔的偏转必须是不受限制的,但是在限制笔的倾斜和滚动以及由倾斜和滚动的组合导致的笔的总体倾斜是合理的。
偏转通常是在倾斜后被应用,以使例如在笔设备的情况下其限定围绕物理轴而不是表面中的一方向的扭转。但是,在具有标记尖的笔中,图像传感器离开笔的轴被安装,因此,除非笔被保持近似垂直的状态,否则笔的图像感测能力(以及其偏转感测能力)因此将受到限制,如下文所述。因此偏转应在倾斜之前被应用,允许通过相对于所述表面旋转笔来指定其整个偏转范围同时保持倾斜和滚动不变。
倾斜和滚动通常分别定义为y旋转和x旋转。由于它们是相对于表面的x-y坐标系统定义的,其中当被用户观看时,y轴是自然的纵轴,x轴是自然的横轴,因此倾斜和滚动在此分别被定义为x旋转和y旋转。在右手3D坐标系中,当逆时针时滚动通常被定义为正,当顺时针时倾斜和偏转通常被定义为正。这里当逆时针时所有旋转都被定义为正。
根据等式11,笔的总倾角(θ)与其倾斜(φ)和滚动(ψ)有关。
笔的倾角影响视野中不同点上的表面特征的成像比例,因此影响图像传感器的分辨率。由于感测直接在笔尖下方的区域是不实际的,因此笔的倾角还影响尖到成像区域中心的距离。为了允许精确的尖位置从由标签确定的位置导出,这个距离必须是已知的。
8.2.2图像感测
当光轴是垂直的时,视野可以模型化为一个由实半角α(给出2α的角形视野)和所述表面上的顶点高度D确定的圆锥体(cone)。虽然图像传感器通常是矩形的,只有所述图像传感器的最大椭圆分区有关于保证所述表面的足够大部分被成像,如前面量化的。
视野圆锥与所述表面的相交确定了表面上的椭圆窗口。当光轴为垂直时,这个窗口是圆形的。
图62显示了对于笔光轴的给定与倾斜有关的倾角θ,笔的尖(A点)、笔的光轴(CE)、以及窗口视野(FH)之间的几何关系。倾角被定义为从所述垂直沿顺时针为正。下列等式适用于正倾角和负倾角两者。
当笔没有被倾斜时,窗口直径(即|BD|)由等式12给出。
当笔没有被倾斜时,如果笔尖到窗口的边的距离(即|AB|)为T,那么笔尖到窗口中心的距离(即|AC|)S由等式13给出。
当笔的倾角为θ时,沿光轴从视点到表面的距离被减小到d(即|GE|),由等式14给出。
所述窗口的宽度(即|FH|)随后由等式15给出。
D和α必须被选择以使在全部被支持的倾角范围内足够大的区域被成像。所述区域所需的最小直径m由等式4给出,而实际成像区域的宽度由等式15给出。这随后给出等式16。
一旦D和α被确定,必须选择图像传感器分辨率以使成像区域被足够地采样,即,最大特征频率以奈奎斯特速率或更高而被采样。
成像时,表面的比例随着从所述视点的距离的增加以及随着相对于观测光线的倾斜度的增加而减小。对于正倾角,这两个因子的影响在点F达到最大;对于负倾角,它们的影响在点H达到最大,也就是说,在窗口中距视点最远的点处。需要注意的是,当倾角为负时,下列讨论中对F的参考应用到H。
点F到视点的距离(即|EF|)由等式17给出。
因相关于通过F(EF)的观测光线的表面的倾斜导致的缩放由等式18给出。
如果表面的特征频率为f,那么因两个因子导致的在F的角形表面特征频率ω(即相对于视野)由等式19给出。
当没有物面倾角时(即θ=0),这变为等式20。
通过定义,图像传感器必须至少对整个角形视野成像。由于图像传感器的像素密度是均匀的,因此它必须以最高频率对整个视野成像。假设角形视野在2 α’的图像空间中,相关于光轴的图像传感器倾角(即图像平面倾角)为θ’,采样率为n(其中根据奈奎斯特定理,n≥2),最小图像传感器分辨率q由等式21和等式22给出。
等式22中的分子的余弦平方项从与等式19的分母的余弦平方项的相同推理而得到。
当没有图像平面倾角(即θ’=0),并且像空间和物空间的角形视野相等(即α’=α),这变化归纳到等式23和等式24。
当没有物面倾角时(即θ=0),这进一步变化为等式25。
当像面倾角和物面倾角相等(即θ’=θ),且像空间和物空间的角形视野相等(即α’=α),等式22变为等式26。
因此,与固定为0的图像传感器倾角相比,使像平面倾角与物平面倾角匹配因此产生较小的所需的图像传感器尺寸,并且从捕获图像消除透视畸变。但是,在实际中,可变图像传感器倾角是相对昂贵的选项,而且要求较大的景深。
图63显示对于所述笔的光轴的给定的滚动-相关的倾角θ,笔的尖(点A)、笔的光轴(CE)、以及视野窗口(FH)之间的几何关系。所述倾角仍被定义为从所述垂直顺时针为正。除公式13外,上述公式同等地应用到滚动产生的倾角。对于因滚动而产生的倾角,笔尖与窗口中心的距离S(即|AC|)为0,而不是由等式13确定。
对于因倾斜导致的倾角,通过选择具有相同图像传感器要求的最小(负)倾角和最大(正)倾角,所述倾角范围的大小被最大化。因为对于倾斜导致的倾角,所述表面对于负倾角比对于同样大小的正倾角要远,所述最小值具有比所述最大值小的数量。对于因滚动导致的倾角,它们具有相同的大小。
如上所述,标签4的最小特征是编码数据位的结构,并且这些结构具有8个点的最小直径。这给出了在1600dpi处每mm大约7.9的最大特征频率f。
如根据上述等式4的计算,在连续标签行之间没有重叠的256点直径标签的等边三角形平铺要求表面上的最小视野窗口直径至少为598点,或在1600dpi为大约9.5mm。
大多数人以大约+30°倾斜和0°滚动握笔。在所述表面超过大约+50°倾斜时(即从所述水平的40°),圆珠笔尖的出墨珠(inking ball)失去与所述表面的有效接触。合理的目标倾斜范围因此为-10°到+50°,并且合理的滚动范围为-30°到+30°,应当记住的是,对倾斜和滚动的组合的较高的限制如等式11给出。
高度紧凑的(1.5mm2)Matsushita CCD图像传感器(Matsushita电子公司,并且被描述在Itakura,K T Nobusada,N Okusenya,R Nagayoshi和MOzaki的论文“A 1mm 50k-Pixel IT CCD Image Sensor for Miniature CameraSystem”IEEE Transactions on Electronic Devices,Volt 47,number 1,January2000)适合于用在紧凑设备如笔中。其具有大约215×215像素的可用分辨率。假设相等的像和物空间角形视野,没有像平面倾角,且笔到窗口的距离T为4mm,使用等式16和等式24最佳化所述几何形状以实现所需的上述倾斜和滚动范围,产生具有视距D为30mm,角形视野为18.8°(α=9.4°)的-16°到+48°(64°)的倾斜范围和-28°到+28°(56°)的滚动范围。可用的倾斜范围实际为-21 °到+43°,并且其通过把光轴相对于物理轴倾斜-5°被映射到接近所需的范围。需要注意的是,通过最佳化像平面的非零倾角,可以稍稍扩展倾角范围。
因此,总的笔倾角限制在一个椭圆形圆锥内,其在倾斜平面中的优角为64°并且其在滚动平面中的劣角为56°。
图像感测变量总结在表5中。
表5.图像感测变量
    变量    意义
    α    物空间视野半角
    α’    像空间视野半角
    γ    笔偏转
    θ    物平面倾角(即,总的笔倾角)
    θ’    像平面倾角
    φ    笔倾斜
    ψ    笔滚动
    ω    视野的角频率
    D    正常视距
    d    倾斜的视距
    f    表面特征频率
    n    采样率
    q    图像传感器分辨率
    S    从尖到表面上的视野中心的距离(当θ=0时)
  T  从尖到表面上的视野边缘的距离(当θ=0时)
8.3标签解码
8.3.1标签图像处理和解码
标签图像处理较早在1.2.4节中被描述。其在标签上的二维透视变换以及解码的标签数据的知识方面达到顶点。
8.3.2推断笔变换
如上所述,一旦说明捕获的图像中的标签的透视畸变的二维透视变换被得到,相关于笔的光轴的对应的离散3D标签变换能够被推断,如下面8.4节所述。
一旦离散3D标签变换被知道,可以推断对应的3D笔变换,即,笔的物理轴相关于所述表面的变换。笔的物理轴是嵌入在笔的形状内的轴,并且由笔的用户体验。其通过所述尖。物理轴和光轴之间的关系在图64中示出。
定义三个坐标空间是方便的。在传感器空间中,与Z轴以及所述视点重合的所述光轴位于原点。在笔空间中,与Z轴和所述尖重合的物理轴位于原点。在标签空间中,标签4位于x-y平面内,其中心在所述原点。标签变换把标签4从标签空间变换到传感器空间。
传感器空间在图64中示出。在图64中点的标注与图62的标注一致。视点在E,感测点在G,并且尖在A。光轴和表面之间的交点G称为感测点。与图62中所示笔尖被视为点的几何形状大不相同,这里所述尖被视为小球。如果尖是弯曲的,那么物理轴的倾角会影响感测点与笔尖和表面之间的接触点之间的偏移。所述物理轴围绕其枢转的所述球状尖的中心点K被称为枢转点。
当光轴为垂直时,所述尖在A点与表面进行标称的接触。KA定义为与光轴平行。但是,当笔被倾斜时,接触在点L,如图65中所示。假设尖的半径为R,那么枢转点K与所述表面的距离,例如在A或L,始终为R。
离散标签变换包括所述标签中心从所述感测点的平移(translation)、3D标签旋转、以及所述感测点从所述视点的平移。
在离散标签变换中,假设所述感测点从视点的平移为d,并且根据等式14,所述感测点由等式27给出。
由于物理轴只与光轴相差y平移和X旋转(即倾斜),所以物理轴位于y-z平面内。请参考图64,其中|AC|=S和|EC|=D(与图62相同)。很明显,在传感器空间内,所述枢转点的位置由等式28给出。
因此,从感测点到枢转点的矢量由等式29给出。
从枢转点到接触点的矢量定义为长度R的表面法线(surface normal)。其通过对标签空间表面法线施加3D标签旋转M,对结果进行标准化,并且以R缩放而被建立,如等式30和等式31中所示。
从感测点到接触点的所述矢量随后根据等式32得出。
根据等式33,该矢量通过施加逆向标签变换3D旋转被变换到标签空间中,并且随后被添加到从标签中心到感测点的所述矢量,以产生标签空间中(即表面上)从标签中心到接触点的矢量。
其最后被添加到如由其标签ID所暗示的标签的绝对位置,以在打标签的区域内产生所述尖的所需绝对位置:见等式34。
最后的步骤是从标签的3D取向推断笔的3D取向。笔的离散旋转简单地是标签的离散旋转的逆,笔的倾斜也包括光轴相关于笔轴的倾斜(φsensor)效果,如等式35、等式36和等式37中所定义的。
8.4推断标签变换
由图像传感器捕获的标签4的图像包含由图像传感器相关于标签的位置和取向所产生的透视畸变。一旦标签的透视目标在像空间中被发现,基于求解将四个标签空间与像空间点对相联系到很好理解的方程,八自由度的透视变换被推断。产生标签的像的离散变换步骤以符号方式连接起来,并且通过使在连接变换和透视变换中对应的项相等可以获得一组联立的非线性方程。对这些方程进行求解产生所述离散变换步骤,其中包含所需的从所述尖的标签偏移、3D标签旋转、以及从所述表面的视点偏移。
8.4.1对标签变换建模
标签4从标签空间到像空间的变换可以模型化为下列变换步骤的连接:
●    x-y平移(通过标签到视点的偏移)
●    z旋转(通过标签偏转)
●    x旋转(通过标签倾斜)
●    y旋转(通过标签滚动)
●    z平移(通过标签到视点的偏移)
●    透视投影(采用特定的焦距)
●    x-y缩放(到视口大小)
这些以符号方式被连接以产生影响标签变换的单个变换矩阵。表7中总结了用于下列部分的离散变换变量以及每个变量的范围。
表7.离散变换变量和它们的范围
变量  缩写 意义 单位变换 范围
γ  - 偏转 0 0≤γ≤2π
Ф  - 倾斜 0 -π/2<φ<π/2
Ψ  - 滚动 0 -π/4<ψ<π/4
tx  A 标签到视点的x偏移 0 -
ty  B 标签到视点的y偏移 0 -
COSγ  C 偏转的余弦 1 -1≤C≤1
sinγ   D 偏转的正弦 0 -1≤D≤1
COSФ   E 倾斜的余弦 1 0<E≤1
  sinФ   F   倾斜的正弦   0     -1<F<1
  COSΨ   G   滚动的余弦   1     0<G≤1
  sinΨ   H   滚动的正弦   0     -1<H<1
  tz   I   标签到视点的z偏移   -     I<0
  1/λ   J   焦距的倒数   -     J>0
  S   -   视区比例   -     S>0
在x-y平面中根据等式42平移tx和ty(其中A=tx以及B=ty)。
根据等式43(其中C=cos(γ)以及D=sin(γ))绕z旋转γ,给出等式44。
根据等式45(其中E=cos(Ф)以及F=sin(Ф))绕x旋转Ф,给出等式46。
根据等式47(其中G=cos(Ψ)以及H=sin(Ψ))绕y旋转Ψ,给出等式48,其中K和L由等式49和等式50确定。
根据等式51(其中I=tz)沿z平移tz,给出等式52。
根据等式53(其中J=1/λ)以焦距λ和在z=0处的投影平面透视投影,给出等式54。
根据等式55以S缩放到视口(viewport),给出等式56。
根据等式57变换在x-y平面(z=0)中的点,给出等式58。
最后,扩展K和L,给出等式59。
8.4.2 2D透视变换
假设所推断的8个自由度的2D透视变换矩阵如等式60中所定义的,乘以一个未知的i以获得通常的9个自由度形式的矩阵,如等式61中所示。
根据等式62变换2D点,给出等式63。
8.4.3推断标签变换
8.4.3.1配平系数
使用等式63中的系数配平等式59中的系数产生等式64到等式72,它们是带有11个未知中的9个非线性方程。
这些等式如由与角的正弦和余弦(即偏转、倾斜和滚动中任意一个的正弦和余弦)相关的三角恒等式(trigonometric identity)的要求被扩充,如等式73中所示。
给定角的正弦和余弦后,使用如等式74中所示的两个变量的反正切可以获得对应的角。
8.4.3.2求解X-Y偏移
使用等式64和等式65可以把等式66简化而给出等式75和随后的等式76。
使用等式67和等式68可以把等式69简化而给出等式77和随后的等式78。
使用等式70和等式71可以简化等式72以给出等式79和随后的等式80。
等式76可以重写为等式81,等式78可以重写为等式82。
对等式81和等式82配平(equate)并求解B产生等式83到等式85,并且最终产生限定B的等式86。
把B的值代入等式82并简化产生等式87到等式90,并且最终产生限定A的等式91。
这给出了标签4距视点的x-y偏移,原因是A=tx,B=ty
8.4.3.3求解倾斜
从等式68中可获得等式92。
从等式67中可获得等式93。
从等式64、等式92和等式93可获得等式94。
从等式65、等式92和等式93可获得等式95。
从等式70、等式92和等式93可获得等式96。
从等式71、等式92和等式93可获得等式97。
从等式94可获得等式98。
从等式95可获得等式99。
从等式96可获得等式100。
从等式97可获得等式101。
从等式98和等式99可获得等式102和随后的等式103。
从等式100和等式101可获得等式104和随后的等式105。
从等式103和等式105可获得等式106和随后的等式107。
如果G和H都是非零的,等式107只有有效的基础。由于|ψ|<π/2,因此滚动的余弦(G)始终为正值,并且因此为非零。如果滚动为非零,那么滚动的正弦(H)仅为非零。用于零倾斜和滚动的特殊处理描述在第6.7.3.10节中。
根据等式108,这因此给出所述倾斜的正弦的大小,由于F=sin(φ),并且从而所述倾斜的余弦(E)由等式73给出。
由于|φ|<π/2,倾斜的余弦(E)始终为正,因此,在取平方根时没有不确定性。但是,正弦(F)的符号必须由其它方法确定,如第6.7.3.9节所述。
根据等式109,给定E和F后,随后获得所述倾斜。
8.4.3.4求解滚动
从等式103可获得等式110。
从等式73可获得等式111和随后的等式112。
根据等式113,这因此给出了滚动的正弦的大小,因为H=sin(ψ),并且从而滚动的余弦(G)可由等式73给出。
由于|ψ|<π/4,滚动的余弦(G)始终为正值,因此在取平方根时没有不确定性。但是,正弦(H)的符号必须由其它方法确定,如第6.7.3.9节所述。
给定了G和H,根据等式114随后获得所述滚动。
8.4.3.5求解偏转
从等式73、等式92和等式93,可获得等式115和随后的等式116。
从等式92和等式116,可获得等式117和随后的等式118。
从等式92和等式116,可获得等式119和随后的等式120。
在等式116、以及等式118和等式120中,平方根的符号由可从等式80的确定的i的符号确定,给出等式121。
由于,I(tz)为负,J(1/λ)为正,并且IJ<-1(因为|tz|>λ),等式122保持。
给定C和D,根据等式123可以随后获得偏转。
8.4.3.6求解视口比例
根据定义,偏转的余弦(C)和正弦(D)永远不会同时为0。由于倾斜的余弦(E)始终不为0,那么始终可以采用等式67或等式68确定视口比例(S)。
如果D为非零,那么可从等式67得到等式124。
否则,如果C为非0,那么可以从等式68获得等式125。
8.4.3.7求解焦距
类似地,由于滚动的余弦(G)永远不为0,所以只要倾斜或滚动为非零,就可以使用等式70或等式71来确定焦距的倒数(J)。但是,倾斜和滚动的正弦的符号(F和H)可能是未知的。但是所述倾斜和滚动的正弦的积(FH)的符号由等式103给出,如等式126中所示。
所述符号可被任意地分配到F,因为J的符号被已知为先验的。如果gi为非,那么可以从等式70获得等式127。
如果hi为非零,那么可以从等式71获得等式128。
在实际情况下,等式127和等式128之间的选择是基于gi和hi的哪个具有较大的量。如果gi和hi两者都为0,即如果倾斜和滚动都为0,那么焦距的倒数是未知的。
8.4.3.8求解z偏移
一旦焦距的倒数(J)为已知,根据等式129,可以从等式80获得z偏移(I)。
此外,如果焦距的倒数(J)是未知的,即如果倾斜和滚动两者都为0,那么z偏移(I)是未知的。
8.4.3.9确定倾斜和滚动的方向
倾斜和滚动的正弦的积(FH)的符号由等式126给出。由于-π/4<ψπ/4,+π/4的滚动调整可以被引入以保证所述滚动始终为正,而不会使任何其它假设无效。一旦所述滚动调整被引入,等式126单独给出所述倾斜的正弦(F)的符号。
滚动调整被引入如下。视口比例(S)、焦距的倒数(J)、以及z偏移(I)都如所述而计算。3D变换矩阵是从2D透视变换矩阵产生的。按相反顺序把视口比例的倒数、焦距投影和z平移应用到3D矩阵。然后,通过在该矩阵上预乘(pre-multiplying)一个π/4 y旋转矩阵而施加所述滚动调整。滚动、倾斜和偏转被如所述而计算。由于滚动为正,倾斜的方向现在为已知的。最后,所述π/4滚动调整被从所述滚动减去,以给出实际的滚动。
当滚动和倾斜两者都为0时,焦距和z偏移两者都如上所述是未知的。但是在这种情况下没有必要调整滚动,因为倾斜和滚动为已知的。
8.4.3.10处理零倾斜和零滚动
当倾斜或滚动为0时,基于等式107的一般解决方法变为无效的。图85中的表显示了等式64到等式71的12个退化形式,其为所述偏转不同地在0(或π)、π/2(或3π/2)以及为非零,并且倾斜和滚动不同地为0和非零)时的结果。图86和87的表给出了用于检测和处理其中倾斜和/或滚动为0的情况所需要的逻辑,每个情况由出现在图85的表中的0激发。图85的表中的各种情况标有图86和图87的表的情况号。
总结
本发明已参考一个优选实施例和许多可选的特定实施例而被描述。但是,熟悉相关领域的人将会理解,与本文中被具体描述的那些不同的许多其它实施例也将落在本发明的精神和范围内。因此,需要理解的是,本发明并非旨在限制到本说明书(包括作为适当通过交叉参考所结合的文献)中所述的特定实施例。本发明的范围只受所附的权利要求的限制。

Claims (24)

1.一种用于在相对于表面而定位或移动时产生取向数据的感测设备,该取向数据指示该感测设备相对于该表面的取向,该表面具有跨越该表面规则平铺的多个正方形编码标签,每个编码标签具有旋转不变结构并且在被该感测设备感测时指示该取向,该感测设备包括:
壳体;
取向感测装置,配置为使用该编码标签的至少之一来产生该取向数据,该取向数据表示该壳体相对于该表面的偏转和倾斜中的至少一个,并且该取向感测装置被布置为基于该至少一个编码标签的该旋转不变结构来感测该至少一个编码标签;以及
通信装置,配置为把该取向数据传送给计算机系统以便知道该感测装置相对于该表面的取向。
2.如权利要求1所述的感测设备,其中该取向数据指示该壳体相对于该表面的滚动。
3.如权利要求1所述的感测设备,进一步包括用于在该感测设备相对于该表面移动时产生移动数据的运动感测装置,该通信装置配置为把该移动数据传送给该计算机系统。
4.如权利要求3所述的感测设备,进一步包括区域标识感测装置,其配置为在该感测设备相对于该表面的区域而定位或移动时使用所感测的编码标签的至少一些的位置的预定信息来感测指示该区域的标识的区域标识数据,该通信装置被配置为把该区域标识数据传送给该计算机系统。
5.如权利要求4所述的感测设备,其中该运动感测装置配置为使用该编码标签的至少一些来产生该移动数据。
6.如权利要求5所述的感测设备,其中该编码标签还指示该区域的多个标签位置,该运动感测装置配置为根据该感测设备相对于至少一个所述标签位置的移动而产生该移动数据。
7.如权利要求6所述的感测设备,其中该运动感测装置配置为对于该感测设备相对于该至少一个标签位置的位置进行取样,从而产生该移动数据。
8.如权利要求7所述的感测设备,进一步包括控制器,其配置为从该至少一个标签位置估算该感测设备的尖端距离。
9.如权利要求8所述的感测设备,其中该通信装置配置为向该计算机系统发送距离数据,该距离数据指示该距离。
10.如权利要求8所述的感测设备,其中该运动感测装置配置为使用由该控制器估算的距离来求解比由该至少一个标签位置独自指示的更为准确的感测设备位置。
11.如权利要求3所述的感测设备,其中该运动感测装置包括至少一个加速度感测装置,该加速度感测装置配置为在该感测设备相对于该表面区域而移动时通过跟踪所感测的编码标签来感测其加速度,该运动感测装置配置为通过定期对加速度取样来产生该移动数据。
12.如权利要求11所述的感测设备,其中该加速度感测装置配置为感测至少两个基本正交的加速度分量。
13.如权利要求4所述的感测设备,进一步包括计时器装置,其配置为当该感测设备相对于该表面区域移动时产生时间戳。
14.如权利要求13所述的感测设备,其中该通信装置配置为向该计算机系统发送时间数据,该时间数据表示如该计时器装置产生的移动数据的时间戳。
15.如权利要求1所述的感测设备,其中该通信装置是无线通信装置。
16.如权利要求1所述的感测设备,进一步包括力感测装置,其配置为感测由该感测设备施加到该表面的力。
17.如权利要求16所述的感测设备,其中该通信装置配置为向该计算机系统传送力数据,该力数据指示该力。
18.如权利要求16所述的感测设备,进一步包括笔划检测装置,其配置为通过该力来检测该感测设备何时施加到该表面和从该表面离开,从而确定该感测设备向表面施加的笔划的持续时间。
19.如权利要求4、5或11所述的感测设备,进一步包括用于标记该表面的标记尖端。
20.如权利要求19所述的感测设备,其中该感测设备是触针或笔的形式。
21.如权利要求1所述的感测设备,其中该编码标签对于肉眼是基本不可见的。
22.如权利要求21所述的感测设备,其中该编码标签是使用红外墨打印的,该感测设备对红外光谱有响应。
23.如权利要求6所述的感测设备,其中每个编码标签指示该标签所在区域的标识以及该区域中的标签位置,该区域与该表面相关联,该标签位置指示该标签在该区域内的位置。
24.如权利要求1所述的感测设备,其中该取向感测装置配置为从该编码标签的至少一些的透视畸变来推断该取向。
CN2007101952505A 2000-11-25 2001-11-26 与编码标签交互以产生取向数据的感测设备 Expired - Fee Related CN101187839B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/722,088 US7105753B1 (en) 1999-05-25 2000-11-25 Orientation sensing device
US09/722,088 2000-11-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB018194753A Division CN100565432C (zh) 2000-11-25 2001-11-26 取向感测设备

Publications (2)

Publication Number Publication Date
CN101187839A CN101187839A (zh) 2008-05-28
CN101187839B true CN101187839B (zh) 2012-04-04

Family

ID=24900458

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB018194753A Expired - Fee Related CN100565432C (zh) 2000-11-25 2001-11-26 取向感测设备
CN2007101952505A Expired - Fee Related CN101187839B (zh) 2000-11-25 2001-11-26 与编码标签交互以产生取向数据的感测设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB018194753A Expired - Fee Related CN100565432C (zh) 2000-11-25 2001-11-26 取向感测设备

Country Status (9)

Country Link
EP (1) EP1350220A4 (zh)
JP (1) JP3844736B2 (zh)
KR (1) KR100552018B1 (zh)
CN (2) CN100565432C (zh)
AU (2) AU2328902A (zh)
IL (2) IL156085A0 (zh)
SG (1) SG128483A1 (zh)
WO (1) WO2002042993A1 (zh)
ZA (2) ZA200404947B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200517991A (en) * 2003-07-24 2005-06-01 Koninkl Philips Electronics Nv Electronic paint activation with registration codes
US20060244718A1 (en) * 2003-07-24 2006-11-02 Koninklijke Philips Electronics N.V. Robust position detection for a multi-stroke electronic brush display
GB2405959A (en) * 2003-09-10 2005-03-16 Hewlett Packard Development Co A digital pen and paper system
US20050060644A1 (en) * 2003-09-15 2005-03-17 Patterson John Douglas Real time variable digital paper
ES2488090T3 (es) * 2007-07-27 2014-08-26 F. Hoffmann-La Roche Ag Etiqueta de identificación de la orientación, estructura portadora de contenedores de reactivos y dispositivo analizador
DE102008055067A1 (de) * 2008-12-22 2010-07-01 Robert Bosch Gmbh Werkzeugmaschine, insbesondere handgehaltene Werkzeugmaschine
KR101019143B1 (ko) * 2009-08-21 2011-03-03 주식회사 네오랩컨버전스 리더기의 이동 궤적 측정방법 및 이를 적용한 리더기
US8602893B2 (en) * 2010-06-02 2013-12-10 Sony Computer Entertainment Inc. Input for computer device using pattern-based computer vision
CA2803889A1 (en) * 2010-06-25 2011-12-29 Polyvision Corporation Activation objects for interactive systems
US9014469B2 (en) 2012-11-01 2015-04-21 Yael Zimet-Rubner Color-mapping wand
WO2014103274A1 (ja) * 2012-12-28 2014-07-03 パナソニック株式会社 表示制御システムおよび読取装置
US20150028110A1 (en) * 2013-07-29 2015-01-29 Owens-Brockway Glass Container Inc. Container with a Data Matrix Disposed Thereon
JP6267074B2 (ja) * 2014-07-22 2018-01-24 グリッドマーク株式会社 手書き入出力システムおよび光学読取装置
US10168804B2 (en) * 2015-09-08 2019-01-01 Apple Inc. Stylus for electronic devices
CN106971129A (zh) * 2016-01-13 2017-07-21 深圳超多维光电子有限公司 一种3d图像的应用方法和装置
CN105718081B (zh) * 2016-01-15 2019-04-09 陈良彬 一种基于智能笔的互动实现方法
CN108309236B (zh) * 2018-01-15 2021-08-27 新绎健康科技有限公司 人体平衡评估方法及系统
TWI712001B (zh) * 2019-06-25 2020-12-01 國立臺灣師範大學 用以將選定的二維影像投影成裸視三維影像之系統
EP3879441A1 (en) * 2020-03-09 2021-09-15 Société BIC Reusable notebook and methods thereof
CN114756997B (zh) * 2022-05-17 2023-04-07 中国科学院数学与系统科学研究院 船体外板曲面设计自交线检测方法、装置及可存储介质
CN117576293B (zh) * 2024-01-15 2024-04-09 中南大学 一种基于线路分页分层模型的视相关多线程动态更新方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477012A (en) * 1992-04-03 1995-12-19 Sekendur; Oral F. Optical position determination
US5661506A (en) * 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
WO2000072287A1 (en) * 1999-05-25 2000-11-30 Silverbrook Research Pty Ltd Orientation sensing device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5051736A (en) * 1989-06-28 1991-09-24 International Business Machines Corporation Optical stylus and passive digitizing tablet data input system
GB2251508A (en) * 1991-01-03 1992-07-08 Nat Res Dev Variable threshold apparatus
US5239489A (en) * 1991-05-06 1993-08-24 International Business Machines Corporation Pen position and tilt estimators for a digitizer tablet
US5981883A (en) * 1992-07-08 1999-11-09 Lci Technology Group, N.V. Systems for imaging written information
US5652412A (en) * 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
WO1997011386A1 (en) * 1995-09-21 1997-03-27 Omniplanar, Inc. Method and apparatus for determining position and orientation
US6081261A (en) * 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
US6151611A (en) * 1997-10-31 2000-11-21 Hewlett-Packard Company System for editing graphical data based upon relative time of entry
WO1999050736A1 (en) * 1998-04-01 1999-10-07 Xerox Corporation Paper indexing of recordings

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477012A (en) * 1992-04-03 1995-12-19 Sekendur; Oral F. Optical position determination
US5661506A (en) * 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
WO2000072287A1 (en) * 1999-05-25 2000-11-30 Silverbrook Research Pty Ltd Orientation sensing device

Also Published As

Publication number Publication date
EP1350220A4 (en) 2005-01-19
ZA200404947B (en) 2005-11-30
IL156085A0 (en) 2003-12-23
CN100565432C (zh) 2009-12-02
EP1350220A1 (en) 2003-10-08
IL156085A (en) 2009-06-15
WO2002042993A1 (en) 2002-05-30
SG128483A1 (en) 2007-01-30
JP3844736B2 (ja) 2006-11-15
KR100552018B1 (ko) 2006-02-20
KR20030061408A (ko) 2003-07-18
AU2328902A (en) 2002-06-03
ZA200304230B (en) 2004-04-05
JP2004530957A (ja) 2004-10-07
CN101187839A (zh) 2008-05-28
AU2002223289B2 (en) 2005-03-17
CN1498389A (zh) 2004-05-19

Similar Documents

Publication Publication Date Title
CN1359505B (zh) 具有参考点的身份编码表面
CN100555207C (zh) 带有编码标记的计算机系统接口面
CN100361139C (zh) 具有处理器的传感器设备
CN100403231C (zh) 用于会议的方法和系统
CN100383715C (zh) 使用传感器标识符进行协作文档标记的方法和系统
CN101187839B (zh) 与编码标签交互以产生取向数据的感测设备
CN1329799C (zh) 联机付费方法与系统
CN1367899B (zh) 用于银行业务的方法与系统
CN1367903B (zh) 提交报价的方法和系统
CN100430872C (zh) 用于选择对象的方法与系统
KR100752253B1 (ko) 컴퓨터의 명령을 위한 방법 및 시스템
CN100451943C (zh) 文档支付系统
CN1307820C (zh) 交互式设备网络注册协议
CN1333359C (zh) 交互式打印机提供者
CN1377486B (zh) 目录导航方法和系统
CN100392673C (zh) 旋转对称标签
CN100489891C (zh) 在线支付的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120404

Termination date: 20121126