CN1469294B - 印刷用户介面系统及其应用 - Google Patents

印刷用户介面系统及其应用 Download PDF

Info

Publication number
CN1469294B
CN1469294B CN 03145092 CN03145092A CN1469294B CN 1469294 B CN1469294 B CN 1469294B CN 03145092 CN03145092 CN 03145092 CN 03145092 A CN03145092 A CN 03145092A CN 1469294 B CN1469294 B CN 1469294B
Authority
CN
China
Prior art keywords
pixel
fritter
supersign
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN 03145092
Other languages
English (en)
Other versions
CN1469294A (zh
Inventor
张小北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/186,518 external-priority patent/US7123742B2/en
Application filed by Individual filed Critical Individual
Publication of CN1469294A publication Critical patent/CN1469294A/zh
Application granted granted Critical
Publication of CN1469294B publication Critical patent/CN1469294B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Abstract

一种如在纸上印刷的用户介面(PUI)装置,用于解码嵌入的信息以启动一个功能。该PUI可用于将嵌入的信息转换为人类可感知识别的输入。该装置包括光感器和处理器。该光感器可检测来自印刷表面上像素图样的光,并确定这些像素的像素值。像素图样构成前景视觉图像,该图像向用户传达可感知的信息。嵌入信息的主要功能并不一定是登录一个网站,而是显示与该可感知信息相关的更多信息。该处理器具有可由该处理器读取的计算机代码程序,用以从像素图样恢复嵌入信息,该程序包括用于从像素图样确定基于像素的像素值的二进制值的模块和用于根据嵌入信息执行一个功能以导致结果信息显示在适于人类感知接受的显示器上。

Description

印刷用户介面系统及其应用
发明领域
本发明是关于多维坐标信息的编码与解码技术,特别是关于将三维坐标信息编码在图像(其中的坐标是通过目视观察而不能解译的)中、使用方便的手提式装置解译坐标信息并且将其转换成用户所定义的功能与资源的技术。
发明背景
随著科学技术的进步,知识在快速的增进。随之而来的是需要储存读取的信息量大大地增加;如何便捷地取得需要的信息成为一个让人们得到实用知识的关键。一直以来印刷读物(如书刊杂志)是人们得到信息的普遍方法;随著信息量快速的增加,电子方式的存取信息也被广泛接受。现今的信息资料大多存放在电脑的存储器、硬盘驱动器、大容量磁盘、软盘、光盘等内。这样的电子存取方式需要有效的工具来辅助信息的搜寻和取出,因为人类无法直接从电子储存媒介取得可辨认的信息资料。
电子储存媒介中的信息通常是经由如电脑、光碟机、磁带机、电玩机等电子仪器取出。要在大量的数据中搜取某些信息通常必须要使用电脑;典型的方法是使用键盘、屏幕,或许还有指示装置,如鼠标。在很多情况下,已使用基于文本的介面或是图形用户介面;目前图形用户介面(GUI)是被普遍采用的电子信息存取介面,因其提供用户一个直觉的方式与电脑交互。比如说,图形用户介面广泛的使用实物图像(如文件夹、文件柜、垃圾桶)来帮助人们熟悉电脑操作及学习软体应用。这样的图形介面已被微软和苹果电脑等公司采用。近来HTML已与互联网连接的标准;链接的文字或是图像是以不同颜色或加注底线来标示这些对象是“超文本”(hypertext)。例如在网上浏览时,若将光标移动到超文本上(如Johnson′s Bakery),然后按下鼠标即可使浏览器连到Johnson′s Bakery的网站。
传统的图形用户介面与HTML都需要较大的电脑屏幕和较高的分辨率才能有效使用;因此通常须用较笨重的电脑及显示器。这样的要求对“携带式”的应用却是一个很大的限制。人们需要的是一种利用方便、易于移动的图形介面装置来访问电子信息的技术。
发明概述
本发明提供一种技术用来与嵌有多维(如三维)坐标的图像进行互动。在本发明的一方面中,本发明提供一种技术,用于嵌入有用信息,和/或通过恢复已嵌入在可视图像中的三维或多维坐标信息,取出有用的信息。此技术首先将多维(例如三维)坐标嵌入在具有可辨识信息的图像中,之后使用手提式的装置来解读可视图像以解译嵌入的信息并启动一个动作。手提式装置检测可视图像的光的图案,然后根据图像中嵌入的坐标来执行一个功能。在此“手提式“装置是指如笔、鼠标、移动电话、以及个人数字助理,其小巧轻便、易于移动,且可单手在一表面(如书中的页面)上操作。
本发明特别适用于解读印刷图形中的像素中的多维(如三维)坐标,用于快速、局部显示,其中在印刷图形中的嵌入坐标可被转换成信息资源和/或功能指示器,然后将相关信息快速地显示出来.功能指示器可使导致完成期望的功能,并取出期望的信息.图形中的像素可以被印刷出来而具有墨点.此发明提供方便的操作与快速响应.预期如果本地收集的信息不够完整,在该装置可连接互联网的情况下,可以控制该装置的处理器在互联网上搜寻适当的信息.
在一方面,本发明的手提装置可将隐藏于印刷图像中的坐标转换成人类可以感官理解的输入。手提装置内有一光感器与一个处理器;其中的光感器可感测到印刷表面中的像素图样的光,并且确定相关像素的像素值。像素图案组成一幅明显的视觉图像,其向观看者传送可以理解的信息,如此像素图样可以用来传达人类所熟知的图像、文字、数字、符号、图片等等有意义的信息。处理器具有计算机代码程序,用于从像素图案中恢复嵌入的坐标。此程序的功用之一是从图像中的像素来确定基于像素值的二进位码,从而确定嵌入的坐标;另一功用是按照嵌入的坐标值来执行功能,使所得到的信息显示在显示器上。对期望信息的指示器可以被嵌入在像素图样中,解读后的指标再通过一先行定义的转换表即可得到需要的信息。本装置另外可配备显示器以显示信息,以便人类感官能理解接受。
本发明中的装置对互动的操作特别实用。譬如当用户看到印刷页上的图像而感兴趣时,便可用此装置从印刷页上解读特定的像素图案,以接收关于该可视及可识别图像的进一步详细信息。在接收到此详细信息后,此信息可进一步提示用户对印刷页上的其他区域解码,或甚至对其他书页的印刷图像解码。在其他互动操作例子中,用户利用该装置可以对文件中的两处或多处区域解码而得到与其相关的信息。例如在一地图应用中,用户可按在“旅馆”按钮上,再按在某一街道的位置上便能得到此位置附近的旅馆信息。
图形用户介面(GUI)系统的某些例子特别适用于印刷方式所产生的用户介面,“印刷用户介面,PUI”。印刷介面包括印有超码的书、地图、纸面健盘、包装标示等等。在实际应用时,为从印刷物中读取内中有用的信息,必须先选择含有适当嵌入信息的印刷物。与该装置是PUI兼容的印刷物上应有指示该兼容性的标示。在这类系统中,通过使印刷像素成像,可以激活本发明的活动装置(超码机),用于分析编码的嵌入坐标,所得坐标经翻译转换后即会启动一个程序,产生人类可感知的信息,如声音、触觉和/或视觉节目。这些装置很简便的为用户提供有用的信息。在一些实施例中,只需要具有嵌入信息的印刷页以及手写装置,例如其形状和尺寸与笔类似。此装置具有储存所需要信息、程序的存储体、及显示器,用于当该装置被启动来解读印刷页上的热点时显示期望的信息。如无特别说明,这里所谓的显示器可以是影像、音效、或是触觉的输出。此类装置适用于日常在各种场合方便地携带;因为不需要普通电脑的大键盘,这些装置易于使用。用户日常便可将具有嵌入坐标的印刷页和和用于查询坐标的手持式装置放入口袋、手提包等内。要显示相关的信息,操作上只需简单地进行“点和按”(point and click)。这样的图形用户介面(PUI)甚至可以由儿童使用而用于娱乐和学习。在很多情况下,这些系统是非网站相关的,没有在印刷中直接嵌入网站信息或功能。在有些情况下,系统的主要功能在显示系统内储存的信息,只有在要求的信息在本地找不到时才会访问网站(例如,包含在该装置中的地址)。在有些情况,图形用户介面(PUI)可直接启动网站。
本发明中的印刷用户介面(PUI)可提供大量的嵌入信息,其信息量远远高于常规系统(如条形码)所能提供的信息量。例如消费产品的包装盒上可以嵌入与产品的说明相关的文字、网址、数据指标和很多行文字。可以在书的页面上嵌入声音或音乐数据流。这些性能在产品设计中提供极大的灵活性。
根据本发明的一个方面,提供了一种将印刷的影像转换成人类感官可以理解的信息的装置,包括有:
(a)光感器,从印有像素图样的物体上读取光的影像并测定图样中的像素值,上述像素图样构成一明显的视觉影像可传送人们所认知的信息,并包含嵌入信息,其中所述像素被印刷为具有多个小块的二维矩阵像素的印刷图,小块包括带有由背景像素环绕的轮廓像素的若干个单元,每个小块内含有一组多维坐标的嵌入数据,使得每个小块都有独特的坐标数据内容,而在该印刷图上的若干个小块的部分数据内容是相同的;处于二维矩阵中的小块使得在印刷图上一个选定小块的坐标位置可以通过一已知小块的已知二维位置、和选定小块与已知小块在印刷图像上的相对偏移来计算;
(b)处理器,用以恢复像素图样中所嵌入的信息,该处理器包括:
(i)识别模块,识别图样中像素所表示的二进位码,进而识别嵌入在图样内的信息,其中所述识别过程包括在所述印刷的像素图像的视域中读取像素并解码取得视域中小块的坐标数据;在一视域中对一组小块的坐标数据进行平均,为一选定小块产生一模范小块;在该视域中找出该选定小块中的误差单元,并以对应于该误差单元的模范小块中的一单元替换该误差单元;通过计算选定小块的坐标位置和该选定小块到视域中心的相对偏移,得到视域中心的坐标位置;并且由一个预先定义的映射表转换表,将所得到的视域中心的坐标转换成一个资源指针;
(ii)执行模块,按照嵌入在图样中的信息来执行一功能,以将结果显示在适合人类感官接受的显示器上。
根据本发明的实施例,上述装置还包含有一显示器。
根据本发明的实施例,上述装置包含有存储器,其中存有数据和处理器程序,以便从所述存储器内而非通过超链接到网站上来读取显示所需的数据。
根据本发明的实施例,上述装置中的识别模块将图样中的像素分割成若干个单元,且多个单元内含有一个像素矩阵用以识别所述的二进位码。
根据本发明的实施例,上述装置中的识别模块将图样中的像素分割成若干个小块,其中至少一些小块之每一个都含有若干个单元,每个单元包含一个像素矩阵,其中一些单元表示图样中对应小块的位置,一些单元控制所要执行的功能。
根据本发明的实施例,上述装置中的识别模块利用亮度对比度来识别所述的二进位码,其中的亮度对比度是比较该像素图样中选定像素的像素值与其周围像素的像素值而得到的。
根据本发明的实施例,上述装置中,该处理器控制一显示器使其发出信号,以提示用户继续使用此装置来解码此像素图样中的不同位置或一个不同的像素图样,因而为用户提供交互式操作。
根据本发明的实施例,上述装置中,识别模块在视域由光感器成像时找到视域的中心区域以执行该功能。
根据本发明的实施例,上述装置中的识别模块从一显示图形和文字的影像的像素中识别嵌入在其中的信息指针,这指针可代表听觉信息、视觉信息、或是以文字和图示所组成的影视信息,使得当光感器读到上述的像素时,该装置中的执行模块可显示信息指针所指定的影视信息。
根据本发明的另一个方面,提供了一种将印刷图样转换成人类可感知输入的方法,包括有:
(a)从印有像素图样的物体上读取光的影像并测定图样中的像素值,上述像素图样构成一明显的视觉影像可传送人们所认知的信息,并包含嵌入信息,其中所述像素被印刷为具有多个小块的二维矩阵像素的印刷图,小块包括带有由背景像素环绕的轮廓像素的若干个单元,每个小块内含有一组多维坐标的嵌入数据,使得每个小块都有独特的坐标数据内容,而在该印刷图上的若干个小块的部分数据内容是相同的;处于二维矩阵中的小块使得在印刷图上一个选定小块的坐标位置可以通过一已知小块的已知二维位置、和选定小块与已知小块在印刷图像上的相对偏移来计算;
(b)识别图样中像素所表示的二进位码,进而识别嵌入在图样内的信息,其中所述识别过程包括在所述印刷的像素图像的视域中读取像素并解码取得视域中小块的坐标数据;在一视域中对一组小块的坐标数据进行平均,为一选定小块产生一模范小块;在该视域中找出该选定小块中的误差单元,并以对应于该误差单元的模范小块中的一单元替换该误差单元;通过计算选定小块的坐标位置和该选定小块到视域中心的相对偏移,得到视域中心的坐标位置;并且由一个预先定义的映射表转换表,将所得到的视域中心的坐标转换成一个资源指针;
(c)按照嵌入在图样中的信息来执行一功能,以将结果显示在适合人类感官接受的显示器上。
根据本发明的实施例,上述方法包括使用亮度对比度来识别所嵌入的二进位码,其中的亮度对比度是比较像素图样中选定像素的像素值与其周围像素的像素值而得到的。
根据本发明的实施例,上述方法中的所述步骤(a)包括将像素图样中的像素分割成若干个单元,每个单元包括一个像素矩阵,其中至少一些单元内含有一个或多个轮廓像素和其周围的背景像素;然后根据轮廓像素的亮度值与由背景像素的亮度值计算而得到的一数值进行对比,而识别轮廓像素所代表的二进位码,而且所述视觉影像是文字或是物体的影像。
根据本发明的另一个方面,提供了一种将具有三维或多维空间的多维坐标系统嵌入在图像中的方法,包括:
印刷像素为具有多个小块的二维矩阵像素的印刷图,小块包括带有由背景像素环绕的轮廓像素的若干个单元,每个小块内含有一组多维坐标的嵌入数据,使得每个小块都有独特的坐标数据内容,而在该印刷图上的若干个小块的部分数据内容是相同的;处于二维矩阵中的小块使得在印刷图上一个选定小块的坐标位置可以通过一已知小块的已知二维位置、和选定小块与已知小块在印刷图像上的相对偏移来计算。
根据本发明的另一个方面,提供了一种从印刷的像素图像中识别所嵌入数据的方法,所述的像素图像具有若干个小块,并且每个小块都含有相应的多维坐标和已嵌入数据的多个单元;所述的方法包括有:
(a)在一印刷的像素图像的视域中读取像素并解码取得视域中小块的坐标数据;
(b)在一视域中对一组小块的坐标数据进行平均,为一选定小块产生一模范小块;
(c)在该视域中找出该选定小块中的误差单元,并以对应于该误差单元的模范小块中的一单元替换该误差单元;
(d)通过计算选定小块的坐标位置和该选定小块到视域中心的相对偏移,得到视域中心的坐标位置;并且
(e)由一个预先定义的映射表转换表,将所得到的视域中心的坐标转换成一个资源指针。
根据本发明的实施例,上述方法中的步骤(a)-(c)还包括选择多个坐标轴,对每一个选定坐标轴,在选定的一组小块上平均坐标的数据而产生多个模范小块,并用模范小块中的单元来替换一选定小块中的误差单元。
附图简述
本说明包括下面各图以便描述此发明的装置和技术的实施例。在这些图中相同数字表示相同的特征。除特别说明外,这些图中的微点是像素图形的艺术加工图。
图1是本发明中的印刷用户介面系统的实施例。
图2是本发明中的超码图的实施例。
图3是本发明中的超码块的实施例。
图4A和图4B是本发明中的超码单元的实施例。
图5是一个产生超码图和将超码图嵌入视觉图像之流程的实施例。
图6是一个从拍摄取得的视觉图像恢复内嵌的坐标值之流程的实施例。
图7是一个将嵌入数据的二维图像转换成二维数据图之流程的实施例。
图8示出已知块的位置与视域中心之间的关系。
图9A是一个嵌入数据前的视觉图像。
图9B是利用图3中的块300和图4A中单元400嵌入数据之后图9A的视觉图像。
图9C是由图9B所得到的轮廓图。
图9D是由图9B和图9E产生的网格图。
图9E是由图9B产生的单元图。
图9F是由图9B和图9C产生的数据图。
图9G是嵌入数据前的视觉图像。
图9H是利用图3的块300和图4B的单元404嵌入数据后图9G之图像。
图9I是由图9H所得到的轮廓图。
图9J是由图9I和图9K产生的网格图。
图9K是由图9I产生的单元图。
图9L是由图9I和图9J产生的数据图。
图10A至图10D是本发明的一手持式装置内发生之流程的实施例。
图11是超码印刷书应用的实施例。
图12A是本发明的手持式装置的实施例之俯视图。
图12B是本发明之图12A的手持式装置之侧视图。
图13是一种超码印刷字典应用的实施例。
图14是儿童超码益智游戏书应用的实施例。
图15是通用超码功能卡应用的实施例。
图16是一种超码的印刷电视指南应用的实施例。
图17A是超码平面键盘应用的实施例。
图17B是超码平面键盘的超码机的另一实施例。
图18A至图18D是超码包装标示应用的实施例。
图19是超码印刷地图应用的实施例。
具体实施例的详细描述
在一方面,此发明的技术是将三维坐标嵌入到具有可识别信息的编码视觉图像中,并且解码该视觉图像以得到嵌入的多维(例如三维)坐标,而将解码后所得到的坐标转换成本地或远程的资源。另一方面,此发明提供一个手持式解码器,用于从图形印刷用户介面(GPUI)中检测该视觉图像并对图像解码。
在过去,各种不同的信息编码方法已经被使用过。例如美国专利4,263,504(Thomas);美国专利5,189,292(Batterman等人);美国专利5,128,525(Stearns等人);美国专利5,221,833(Hecht);美国专利5,245,165(Zhang);美国专利5,329,107(Priddy等人);美国专利5,439,354(Priddy);美国专利5,481,103(Wang);美国专利5,507,527(Tomioka,等人);美国专利5,515,447(Zheng,等人);美国专利5,521,372(Hecht,等人);美国专利5,541,396(Rentsch);美国专利5,572,010(Petrie);美国专利5,576,532(Hecht);and美国专利5,591,956(Longacre,等人)。这些专利是描述使用二维码来编码并储存信息的例子。2001年7月3号所批的美国专利6,256,398号(张)是本专利申请人所持有。本专利详细说明了信息编码与解码的方法以及所需要的硬件装置。这些引证专利的全部公开内容结合在此作为参考。
印刷用户介面系统
本发明所提出的印刷品用户介面系统,或简称印刷介面(PUI),将已有的图形用户介面(GUI)的功能转变到印刷品上;为用户提供了一个方便的从印刷物品上“读取”数字化信息的方法。如同图形介面系统,印刷介面系统使用真实物体的图像,如键盘,地图,按钮,符号,可点击文本,以及具有视觉可识别符号的对象等作为用户友好介面;不同于电脑屏幕上的图形介面,印刷介面上的图像是不会变化的,(即,印刷品上的图像不因为信息的读取而改变。)并且印刷物品与所需信息存储的装置之间不需要有电线的连接,而是用PUI装置照相感应印刷品上的图像并解读其中的信息来呈现适当的回应。虽然PUI的功能比GUI有更多的限制,但是“轻巧方便”是PUI一个特殊极大的优点。每个印刷表面,如书刊杂志或纸张都可以是个印刷介面(PUI)。事实上,包裹,盒子,器具,或几乎每一个平滑的可印刷表面都可以是PUI。印刷图像是由像素图样组成。印刷媒介可包括任何表面平滑的纸、陶瓷、金属、塑料、玻璃、木料等。
图1描述了一个印刷品用户介面(PUI)系统,此PUI系统包括了三个部分:一个印刷图像102(如书中的一页)包含有图形与文字,印刷介面数据104,及一手持式输入/输出装置110。数据104是由像素组成,经编码及嵌入在图像102中后便合成一数字化地图106,或称为HyperCode Map(超码地图)。此处“图形”包括照片、图像、动画、各种键盘上没有的形状;“文字”包括一般键盘上可以看到的字母,数字,符号等。本发明的“超码”(HyperCode)是一个将数字化信息嵌入印刷图像中的编码系统。超码图是一个介面媒介,一方面提供给用户一个能理解的图形与文字介面,另一方面通过所嵌入的介面数据为各种装置提供一个数字化介面。嵌入的数字化数据可以用各种装置(包括手持式装置)来解读。这些装置(也称为超码机)配置有屏幕与内置光感器,它们可以同时是一输出与输入的装置,用以读取超码图(HyperCode Map)中嵌入的介面数据,并显示相关的文字或是播放相关的音频和/或视频信号.
图1中超码图106是一印刷介面(PUI),含有人们能理解的文字与图像的印刷介面;也含有嵌入在文字与图像中的数字化数据,用于作为与各种PUI解读器的连接接口。一个印刷介面至少有两个功能,其一是通过印刷文字与图像作为与人的接口,其二是通过嵌入在文字与图像中的数据作为与PUI解读器的接口。一个好的PUI包含至少下列几个特征,第一,介面数据可以简易地嵌入在印刷图像内容中,并可被快速正确地读取。第二,印刷物品的外表(如文字与图像的设计)不会因为有印刷介面(PUI)数据的嵌入而有明显的改变。第三,所嵌入的印刷介面数据不会影响用户对印刷内容的识别。如果印刷图案有任何的变化,这变化对于识别印刷内容应是不会有影响的。一般来讲,任何一个印刷表面(如书刊杂志)在嵌入印刷介面数据后,都可作为印刷物品与人之间的接口。
一个理想的PUI装置是一个可用来读取印刷表面的介面数据也可以输出恰当反应的输入/输出装置。一个典型的PUI装置可能是一个含有光学感测器与喇叭的手持式MP3播放器;感测器用以读取文字与图案中的介面数据;喇叭则用以播放音效。在有些实施例中,输入与输出装置也可以是分开的。
一个印刷介面(PUI)系统最重要的是能将数据嵌入印刷图像中并能正确读取。在美国专利6,256,398中,发明人张描述了如何将数据信息嵌入印刷图像中并且用光学解读器正确读取的方法。通常来讲,本发明中印刷介面的信息是嵌入在可包含文字与图形的图像中;此图像可以是彩色图像,单色图像,或者是灰度级图像(grayscale)。图像是由像素组成,其像素值是可以更改的,以便更多的数据(如PUI数据)能被嵌入。PUI数据是经编码变为一个多维(如三维)空间的坐标系统。以一个三维空间为例,其中的任何一点都可以用坐标(x,y,z)来表示。当PUI数据嵌入一图像之后,此图像就变为一个数字化图,或简称“超码图”;因为藉由读取所嵌入的坐标,图像中的每一点可以被确认。
为了有效地将数据嵌入图像并读取,图像中的像素被分割或合成若干个单元(也称超码单元),单元被分成小块(tile)(也称超码块),超码块被分为图。一个超码单元里可以嵌入数个PUI数据位。例如坐标数据(X,Y,Z)中的数据位;一个超码块里可以嵌入一单个坐标点(X,Y,Z)的数据;在一个超码图里可以嵌入印刷表面(如书页)的完整的坐标。这样的超码块可简称为“小块”;而超码单元可简称为“单元”。
超码图
超码图是将PUI数据嵌入印刷图象之后所生成的。一个超码图有两个介面,一是视觉图象介面,如图1中的106,另一是嵌入图像中的数字介面如图2中的200。超码图提供了一个坐标系统,使印刷的图象中的每一点都能以其坐标(X,Y,Z)来表示。在超码图中,坐标(X,Y)表示图象中的某一点,坐标Z表示一个地图识别代号。超码图坐标Z可以是一般的地图代号,也可以是应用相关数据。为了使印刷图象与处理器(如电脑)相互接口,图象中的每一个像点通过一功能相关表可以与各种功能相连接(将在功能相关表部分详细描述);当特定条件满足时,相应的功能得以执行。例如当X>0,X<20,Y>0,Y<20并且Z=7777777时,相关的功能如“增加音量”就得以执行。
超码图是由超码块的阵列所组成.例如图2,超码图200是以一5x4矩阵的超码块所组成,如超码块201,202等.每一个超码块中若有8x8个超码单元是一个较理想的矩阵,但其他的组合方式也可使用,而且每一个单元中有一个数据位元.图206描述了一放大的超码块T4.超码图内的数据是储存在多个超码块(如201,202等)中的,而且每一个超码块中储存了一完整的坐标点(X,Y,Z)及其位置信息.
超码块
图3进一步描述了一超码块,图中的超码块有四个组成部分X,Y,Z和E,其中X表示块的水平位置,Y表示块的垂直位置,Z是超码块中所存放的数据,E是超码块中的误差校正值。超码块中的数据Z可以是一个地图代号,也可以是由应用相关数据。误差校正值是由X,Y和Z所产生的,用来校正在X,Y,和Z中可能发生的错误。很多校正错误的方法如Reed-Solomon与BCH都可以用来计算E的数值。根据此发明中的说明,一个本领域技术人员可以使用上面提到的方法或其他方法来进行错误校正。一般来讲,在同一超码图中,所有的超码块都有相同的Z数值,X与Y值是随超码块所在的位置而变化的,而每一个超码块的E数值都是不同的。根据此发明,超码块中可以加入其它的组成部分,本领域公知的其它的错误校正方法也是可以被采用。
一个超码块是一个二维矩阵的超码单元。图3描述了超码块300与排列在其中的组成部分X,Y,Z和E。在超码块300的例子中,8行与8列的超码单元(例如单元301与302)总共代表64个位元的信息,其中有8个位元分配给X(X1到X8),8个位元分配给Y(Y1到Y8),32个位元分配给Z(Z1到Z32)和16个位元分配给E(E1到E16)。以图3的配置,X和Y的数值可以从0变到255,单元之分辨率可达到2048(就是28x8=2048)。图306描述了放大后在Z4的单元306。在单元306中有一“轮廓像素”(glyph pixel,GP)与周围的数个“背景像素”(backgroundpixel,BP)。在这里,X和Y的方向最多各有256个超码块,而且每个由8x8个单元组成,所以超码块单元之分辨率是256x8=2048。Z数值是一个32位元可由实际应用来定义的数据。错误校正值E是由X,Y和Z值计算而得到的,并且E是一个16位元的数值。二进位的数值(即0与1)可以由类似于图4A的单元400和4B中的单元404,或是美国专利6256398中图5与图6中的单元来表示。其他的超码块组成方法(包括不同位元数的X,Y,Z和E)都是可以使用的。此外,图3中X,Y,Z和E的排列方式只是一例证,任何本领域技术人员都可以更改其排列或顺序。
在实际应用时,假设图3中的超码块300是由6x6个像素单元组成,并且以600DPI(每寸的点数)的分辨率印在纸上,则超码单元的大小是0.01x0.01英寸,超码块300的大小是0.08x0.08英寸,小于一个12点大小的英文字母。在一个“超码书”的应用中(详述于后),Z数值中的20位元可以代表书的编号,12位元可代表书中页的编号。这样的超码块可以编码1048576(就是220=1048576)本书,而且每本书最多可有4096页(212=4096)。当然,也可以使用不同大小或是类似于USPN 6256398中图4与图5中的超码单元。此外,每一书页可以大到20.48x20.48英寸(0.08英寸x256=20.48英寸),并且在水平与垂直方向各有可达到2,048的分辨率(超码单元的分辨率)。总之,这样的配置可提供:
20位的书编号从0到1048575,
12位的页编号从0到4095,
X水平测量范围从0到2047(超码单元),
Y垂直测量范围从0到2047(超码单元)。
X和Y的分辨率各为100DPI(即打印分辨率为600DPI,并且使用6x6像素的超码单元).目前分辨率为1200DPI,2400DPI或更高的打印机已相当普遍.根据此发明中的方法,数据信息可编码并嵌入在印刷图象内之后并可还原与读取出来,而且也不影响用户辨认图象中常用大小尺寸(如10点或12点大小的Courier)印刷字体的辨认.
超码单元
从一方面来看,超码单元是由二维像素阵列所组成的。其中的像素若不是特定的轮廓像素(GP)就是背景像素(BP)。图4A和4B描述了两个5x5超码单元400和404的例证。在单元400中有一个轮廓像素GP(402)和24个背景像素,BP1到BP24,(401)。GP402是位于由25个像素所组成的正方形的正中间,并且被其余的24个背景像素围绕。在超码单元404中有2个轮廓像素GP0和GP1(图4B中的406和407)和23个背景像素,BP1到BP23,(405)。另外的一个单元例证如图4B中的400,此单元由25个像素组成,在其中有2个GP(406和407),并且每个GP都被8个BP所围绕。总体的讲,一个单元可由m个GP和n个BP所组成,数字化数据可经由改变GP与BP之间的关系而嵌入在单元中。
数据嵌入的方法
在美国专利6256398(张)中,使用将单元对比度(Cell Contrast,CC)加到最大的方法将二进位数值嵌入在超码单元中,其中CC是由在一单元中所有的像素的像素值经如下计算而得的。
CC=ABS((GP1+GP2+...+GPm)/m-CW)
CW=(BP1+BP2+...+BPn)/n
在此公式中,CC是单元对比度,CW是单元加权,ABS代表取绝对值,GP1,GP2和GPm是轮廓像素的像素值,BP1,BP2和BPn是背景像素的像素值。
在以上专利(张)的方法中,单元对比度CC可由两种方法来改变:(1)单单改变GP的数值(如果有多个GP在某一单元中,则改变每个GP值);(2)改变所有的GP与BP的数值。在方法(1)中,如果编码二进位的“1”,借由改变GP的像素数值可达到使单元对比度变大或是最大(同时,如前所述保持背景单元的数值不变);如编码二进位的“0”,则可改变GP的像素数值使单元对比度变小或是最小。维持背景像素BP的数值不变可使原始视觉图象(具有前景图像)的失真减为最小。在方法(2)中,轮廓像素GP与背景像素BP的数值都可以改变以使单元对比度变大,代表二进位的“1”;或变小,代表二进位的“0”。在此相关的领域中已有很多已知方法可以用来完成这样的改变。其中的方法之一是按照比例来改变GP与BP的数值以使单元对比度变大或变小。例如,假设GB与BP的数值都是100,GP的值可以增加50%同时BP的值减少50%,使得单元对比度从0变到100来代表二进位的“1”。同样地,假设GP是120,BP是80,GP的值可以减少20%,而BP值增加20%,使得单元对比度CC从40变到0,代表二进位的“0”。在下面的描述中将了清楚上述第一种方法。
在具体实践中,单元的CW是已知的。如要嵌进二进位的“1”,可设定GP的数值与CW的数值“相反”。同样地,如要编码嵌入二进位的0,可设定GP的数值与CW的数值相同。以一个灰色(grayscale)的图象为例,如要嵌入二进位的“1”,如果CW的值是大的(显示灰到白色),GP值可设定为小(显示灰到黑色)或是优选为最小(显示黑色)。如果CW值是小的(显示从灰到黑色),GP值可设定为大(显示从灰到白色),或是最大(显示白色)。在另一方面,GP的值可设定为与CW值相同用以表示编码二进位的“0”。此方法中用高对比度表示1,用低对比度表示0的方法是可以对调的。
同样地,在灰白图象中嵌入二进位数值的方法也可以应用在彩色图象中,也就是合成的多颜色图象(例如使用三种基本色的像素:黄色,青色,红紫色).有两种方法可将二进位的数值嵌入彩色图象中.第一种方法是将所有GP的颜色设定为同一基本颜色,如黄色.类似灰度级图象的计算方法,以黄色为基本颜色的CW与CC的计算方法如下:
CW(yellow)=(BP1(yellow)+BP2(yellow)+....+BPn(yellow))/n
CC(yellow)=(GP1(yellow)+GP2(yellow)+....+GPm(yellow))/m-CW(yellow)
在这里,BP1(yellow)到BPn(yellow)是BP的黄色像素值,GP1(yellow)到GPm(yellow)是GP的黄色像素值,CW(yellow)是以黄色为基本色的单元加权,代表BP的平均“黄色”,CC(yellow)是以黄色为基本色的单元对比度。在一个合成的多颜色图象中,不同的颜色是由三种颜色成份如黄,青与红紫色组合而成的。例如,由黄,青与红紫色的小点所组成图象看起来是有多种不同颜色的。在以上的示例中,其它的颜色成份如青与红紫色是被忽略不计的。如要嵌入二进位的“1”,只需调正GP的值使得单元的黄色成份对比度变大,也就是取最大黄色成份的CC值。如要嵌入二进位“0”,只需调正GP值使单元的黄色成份对比度变为最小。更具体地说,如要嵌入二进位“1”,如果CW(yellow)值是小,只需将所有GP变为纯黄色(也就是将黄色成份变为最大,其它颜色成份如青色与红紫色变为零)使得单元之黄色成份对比度为最大。如果CW(yellow)的值是大,只需将所有GP值变为零,同样可使单元之黄色成份对比度为最大。如要嵌入二进位“0”,只需将所有GP值设定为与CW(yellow)的值相同,是单元之黄色成份对比度变为零。
相对于其它颜色,人类视觉对黄色是较不敏感的,因此使用黄色作为轮廓像素的颜色可以减少原始图象的失真。同样地,某些人眼几乎看不见的颜色如紫外线,红外线也可用来将数据嵌入在印刷图象中以减少图象在视觉上的失真。但这样的情况必需配备紫外线或红外线光源来照射印刷品上的图象并解读其中所嵌入的数据。
第二种将数据嵌入彩色图象的方法是使不同超码单元的GP像素有不同的颜色。为了简单清楚,以下的描述以单一的GP像素和三种颜色成份(黄,青,红紫)为例。类似于第一种数据嵌入方式,单元加权和彩色对比度的计算如下:
CW(yellow)=(BP1(yellow)+BP2(yellow)+.+BPn(yellow))/n
CW(cyan)=(BP1(cyan)+BP2(cyan)+.+BPn(cyan))/n
CW(magenta)=(BP1(magenta)+BP2(magenta)+.+BPn(magenta))/n
CC(yellow)=ABS(GP(yellow)-CW(yellow))
CC(cyan)=ABS(GP(cyan)-CW(cyan))
CC(magenta)=ABS(GP(magenta)-CW(magenta))
CC=SQRT(CC(yellow)2+CC(cyan)2+CC(magenta)2),
在以上公式中,GP(yellow),GP(cyan)和GP(magenta)分别是以黄色,青色和红紫色为组成色的GP数值。CW(yellow),CW(cyan)和CW(magenta)分别是以黄色,青色和红紫色为组成色的CW数值。CC(yellow),CC(cyan)和CC(magenta)分别是以黄色,青色和红紫色为组成色的CC数值。上角文字“2”表示二次方。“ABS”表示绝对值函数;SQRT表示二次方根。如要嵌入二进位“1”,只需改变GP(yellow),GP(cyan)和GP(magenta)的数值来增加单元对比度CC。如须嵌入二进位“0”,只需设定GP(yellow),GP(cyan)和GP(magenta)的数值分别与CW(黄色),CW(cyan)和CW(magenta)的数值相同。
大体上,一个GP可以用来将一完整或是一部分的二进位嵌入在一单元中,图4A和4B分别描述了2个5x5的超码单元(400和404).因为单元400只包含一个GP(402),所以一个二进位的位元可嵌入在单元内;而单元404包含有二个GP(406和407),所以可以选择嵌入一个或二个二进位的位元.当嵌入二个二进位的位元时,GP406和407是相互独立的,并且有各自的CC值和嵌入的位元数值.此外也可共用两个GP将一个二进位的位元嵌入在一个单元中.这种方法的一个特例是使两个GP值相反.例如,当嵌入二进位“0”时,可以使GP1的数值与CW的数值相同,因而使GP1的CC值变小;同时使GP0的数值与CW数值相反(也就是说,如CW数值小,则使GP0数值变为最大,如CW数值大,则使GP0值变为最小),因而使GP0的CC值变大.同样地,当嵌入二进位“1”时,可以将GP0的CC值设小并且GP1的CC值设大,以这祥的方式,轮廓像素GP0和GP1总是取相互相反的CC数值.图9B显示了一个用超码单元400将数据嵌入图象之后的实例,其中的像素图样含有真实的数据.图9H显示了一个使用超码单元404将数据嵌入之后的图象实例,其中超码单元404的GP0与GP1总是取相反的CC数值.
超码图的编码与数据嵌入
图5描述了超码图的编码与数据嵌入的流程的实施例;此图中的超码块类似图3中的超码块。不同的数据信息可编码与嵌入在不同的应用(例如超码印刷书,地图,或者键盘等)中。首先,根据所要显示的图像,照片,图形和文字以及所要嵌入的信息量,步骤502确定超码块的配置和超码块行列的大小。接着,根据超码块的大小以及所选择的图像,步骤504计算超码块的总数。步骤506计算每个超码块的X,Y,Z和E的数值。根据所选择的超码块的配置X,Y,Z和E被混合排入超码块。也就是说,X,Y,Z和E中的位元是按某种图样来排列而成,以便有效,少误差地读取内容。步骤508和510将超码块排列组合成一超码图。步骤512将包含有二进位数字″0″与″1″的超码图嵌入一使用的图像中,(此图像中可有图形,文字及照片等内容),而产生一个暗藏数据的图像。在美国专利6,256,398(张)中所提出的将二进位数字″0″与″1″嵌入图像与文字中的方法亦可被采用。将藏有数据的图像与文字印刷在光滑表面(如纸张上),就产生一个印刷介面(PUI)。图9A描述了一个未嵌入数据的文字图像。图9B描述了使用图4A中超码单元400嵌入数据之后的文字图像。同样地,图9H描述了使用图4B中超码单元404将数据嵌入文字之后的图像。
解码获取的图像或超码图
图6中的600描述了一个超码图的图像(或简称为撷取图像)解码流程。此流程与美国专利6,256,398(张)中的解码流程是相似的。在步骤602中,当在一个印刷介面(PUI)的热点被触按时,利用数码相机拍摄(撷取)到PUI上的一块图像(如图1中的106)。所拍摄的影像可称为“视域”(″fieldof view″或″FOV″)。步骤604将所拍摄的影像转换成一个如图9F所表示的“数据图”(Data Map)。数据图是一个二维的数字矩阵,小的数值表示二进位的0,大的数值表示二进位的1(见图9F)。图9中的数值是规范化后的数值,范围由最小的0到最大的9。这转化过程在稍后有进一步的描述(图7中的700)。大体上一超码图中所有的超码块内的Z数值(图3,Z1到Z32)都是相同的,所有在同一水平线上的超码块都有相同的Y值(如图3中的Y1到Y8),所有在同一垂直线上的超码块都有相同的X值(如图3中的X1到X8).因为有这样的特征,超码块的边界(大小与位置)可经由对比数据图(图9)中的X,Y和Z值被确定.在计算时,可选择数据图中的一点为可能的超码块边界,计算X、Y、Z的对比值.如果对比值高,则所选择之点是超码块边界的机率也高.这个步骤可重复进行直到数据图中(图9)所有的点都被计算过.之后可比较选出最大的对比值,其相关的位置即是超码块的边界点.当某边界点被确定之后,即可计算在“视域”中所有超码块的Z1到Z32的平均值;以及在同一行的超码块的Y1到Y8的平均值(步骤610).步骤612挑选一超码块来解码.步骤614比较选出的超码块中的X、Y、Z与相关的X、Y、Z平均值,如果任一位元有偏差,此位元可能是一误差位元,可以使用X、Y、Z的平均值来替代以达到所谓误差矫正或改错的目的.步骤616对所选定的超码块进行误差矫正.如若矫正失败,流程将转回到步骤612,选择别处一个超码块解码.步骤612到616可重复多次直到某一超码块解码成功或是整个解码操作失败.从解码所得到的某一超码块位置(x,y,z)可计算出撷取影像的“视域”中心,也就是图8所表示的FOV-Center(X,Y,Z).图8中的坐标x和y是以超码块为单位,坐标X和Y是以超码单元为单位.因此X、Y、Z可以用如下的公式来计算(步骤618):
X=x*TW+DX
Y=y*TH+DY
Z=z,
在这公式中,TW是超码块的宽,TH是高,DX是从x到X的水平距离,DY是从y到Y的垂直距离,TH、TW、DX、DY都是以超码单元为单位。
转换内藏数据的图像为数据图
图7描述了将内藏数据的图像(图9B)转变为数据图(图9F)的过程。转换过程的某些细节可参考美国专利6,256,398。在此只做简短的陈述。步骤一(701)用一个二维的CCD/CMOS传感器、通过一个启动器来感应印刷式热点,而得到一含有数据值的影像。步骤二(702)检查图像中轮廓像素GP的颜色(即图像中微点的颜色,如图9B)。此步骤是藉著多次试验的方法来完成。首先,设定一个轮廓颜色(Glyph Color)如黑、黄、或任何一个其他颜色,然后计算此颜色的轮廓像素之总数,藉此验证所选轮廓颜色的正确性。如果总数值高,则所选颜色为正确的机率也高。当查验所有可能的轮廓颜色之后,有最大机率的颜色就被选作是实际使用的轮廓颜色。步骤三(703)将含有数据的图像(图9B)转换成轮廓图(图9C)以便容易地找到轮廓像素的位置。(图9C中的轮廓像素数值是用图像的方式表示的;白色代表最大的数值,黑色代表最小的数值。这个转换是按照一个公式对转换前的像素值进行计算得出转换后的像素值。)从概念上讲,转换后的像素值是单元对比度(CC),用来描述一单元中轮廓像素与背景像素之间的差别大小。从计算上讲,CC值的计算是取轮廓像素与其周围像素之平均的绝对差值,(如轮廓像素GP与背景像素BP之间的绝对差值)。图像中的每个像素包括所有的GP与BP都需要计算CC值。以一个超码单元为例,其中轮廓像素GP被八个背景像素包围时,其相关的CC值计算如下:
CC=ABS(GP-AVE(BPs))
AVE(BPs)=(BP1+BP2+BP3+BP4+BP5+BP6+BP7+BP8+BP9)/8
以上公式中″ABS″代表取绝对值,″AVE″代表取平均值,GP是轮廓像素的测量像素值,BPs是所有围绕GP的背景像素的测量像素值(包括BP1,BP2,BP3,BP4,BP5,BP6,BP7,BP8,和BP9),单元对比值标示了轮廓像素的位置.如果与某一像素相关的CC值大,此像素可能是一个含有二进位位元″1″的GP像素;如果某像素的CC值小,相关像素可能是含有二进位″0″的GP像素或是不含有数据的背景像素.像素值与颜色有关;对灰白色图像来讲,像素值是测量到的像素亮度;对于彩色图像来讲,像素值是相对于所选颜色的像素亮度的测量值.举例来说,如果步骤702所检测到的轮廓像素颜色是黄色,则上面所说的GP与BP是指以黄色为基准的像素亮度,像素中其他的颜色如青色(cyan)和红紫色(magenta)都可忽略不计.因此若以黑色作为轮廓像素的颜色,则嵌入数据的灰白色图像只是彩色图像的一个特例.
或者,轮廓像素也可以是不同的颜色,从一个单元到另一个单元的颜色是变化的,以产生高单元对比度(CC)。在这种情形下,CC值的计算如下:
CC=CC(red)2+CC(green)2+CC(red)2
CC(red)=ABS(GP(red)-AVE(BPs(red)))
CC(green)=ABS(GP(green)-AVE(BPs(green)))
CC(blue)=ABS(GP(blue)-AVE(BPs(blue)))
以上公式中CC(red)是以红色为基准色的单元对比度;CC(blue)是以蓝色为基准色的单元对比度;CC(green)是以绿色为基准色的单元对比度。上标″2″表示二次方。
步骤704从轮廓图(图9C)中找出相关的超码单元。由于GP是位于超码单元的中心,找出GP的位置也就找出了超码单元。轮廓图(图9C)中用寻找“最大局部像素值”的方法来寻找超码单元的位置;″最大局部像素值″(local maximum pixels)是指若一个像素值大于或等于在某一像素矩阵中所有邻近的像素值,此像素即是一个“最大局部”像素。当已知某一轮廓像素后,以此像素为中心设定一个“局部视窗”(local window),可以找出超码单元的大小。局部视窗的大小至少要能够涵盖多个超码单元。举例来说,视窗大小可以用W来表示,并且w=3x(最大单元尺寸大小)+1;如果单元大小可以是6x6个像素,那么w=3x6+1=19。每一最大局部像素都有一个相关的局部视窗。
在步骤705中,藉由累积所有可能的超码单元之方法来产生一″超码单元图″(9E)。(超码单元图9E中的数值是被规范在0到9的范围内。)在实际应用时,可以将所有局部视窗内的像素值相加而得到一个二维(如20x20)的分布图。此分布图实际上就是一个超码单元图,其中的数值表示以最大局部像素为中心(见图9E中901的″x″标示)所累积的像素值。图9E是由图9B产生的一个单元图的例证。
步骤706的目的是由单元图(9E)中,以计算最大相关的方法来找出单元的大小和倾斜角。如果以D表示单元大小,以A表示单元倾斜角,那么就可以产生一个以A和D为参数的虚拟单元图。接下来可以计算这个虚拟单元图和从图像中所产生的真实单元图的相似程度或相关度。改变变量D和A可以找出最大的相关值,那么相应D与A可以做单元的实际大小与倾斜角参数。D与A的计算可以用多次试验的方法,例如D可以从3变到10,A可以从-45度变到+45度,当然也可选择其他的变化范围。以图9所示的单元图为例,当单元大小D=7个像素,倾斜角A=0度时,相关值为最大。因而从此单元图中所得的单元大小是7像素,倾斜角是0度。若超码单元中有多个轮廓像素如图4B中的404,也可用此方法来计算单元的大小及倾斜角。
步骤707用超码单元图(9E)和轮廓图(9C)进行二维积分(convolution)产生的一网格图(图9D)。(图9D中的数值是以图像来表示的;白色表示最大可能数值,黑色表示最小可能数值)。二维积分的计算方法是已知的。此步骤的基本方法是以超码单元图为样板,将其在轮廓图上延展,以固定在图像中每个轮廓像素(GP)的位置。
当已知超码单元大小,倾斜角和位置之后;以网格图9D为辅助,步骤708,709和710将轮廓图9C转变成数据图9F(此图已在前面描述过)。在这个过程中可以从网格图中找出一轮廓像素的位置,然后在相关位置的轮廓图中取出轮廓像素数值。若此数值大,则相关像素中嵌入的数值是二进位的″1″,反之则是二进位的″0″。在得到所嵌入的数值之后,可以将此值设在数据图9F相关的位置。以上步骤可重复多次直到产生一个完整的数据图。
在上面的描述中,图9B到9F显示了图7操作700所产生的一些中间结果。热点影像(如9B)是单元中具有单个GP的嵌入单元的图像(如图4A中的400)。(热点影像可包多个轮廓像素)。这只是说明性的而非限制性的。流程700也可同样地应用在具有GP的嵌入单元的图像。例如图9H是使用有两个GP(图4B,404)的超码单元来将数据嵌入图像。图9I到9L是应用于图9H的热点的流程700的中间结果。
轮廓图(图9C或9I)可用其他方法转换成数据图9F或9L。例如,以D代表单元大小参数,A代表倾斜角大小参数就可产生一个虚拟的轮廓图,改变参数D与A就可得到不同的虚拟轮廓图。将虚拟图与从撷取图像中所得的轮廓图相比较可得到一相似值。当相似值最大时,相应的参数D与A就可作为所找到的单元大小与倾斜角的实际值。得到参数D与A之后便可产生一虚拟的网格图如图9D或9J。由此网格图,可使用步骤708、709、710,将轮廓图(9C或9I)解码转变成数据图(9F或9L)。
启动区域与超码机指令
在印刷图像上的热点(hotspot)是用一称为“启动区域”的边界长方区域来定义的。本发明中的启动区域包含5个参数,分别是x1,y1定义启动区域左上角位置;x2,y2定义左下角位置;参数z是地图编号。每一个热点的设定会产生一个相关的启动区域(x1,y1,x2,y2,z)。
一启动区域同时也与一个超码机指令相关;此指令可以是一“功能指令”或是一“数据指令”。当某热点被启动后其相关的超码机指令即会被执行。例如,″IncreaseSpeakerVolume()″是一超码机指令,其功能是增高喇叭的音量;当相关的热点被启动(或被触按)时,喇叭的音量会被增高。大体来说,当视域中心(FOV,指被撷取图像时视域的中心点)满足下列条件时:
Z=z
X>x1和X<x2
Y>y1和Y<y2,
(此处″>″表示“大于”,″<″表示“小于”),其相关的超码机指令即会被执行。若被撷取影像中含有多个热点,则选择离视域中心最近的热点。热点与视域中心之间的距离计算如下:
ox=(x2+x1)/2
oy=(y2+y1)/2
DIST=SQRT((X-ox)2+(Y-oy)2),
此处热点的中心是以(ox,oy)来表示的,x1,y1,x2,y2是其相关的启动区域坐标,SQRT代表平方根值,DIST是热点到FOV之间的距离。
功能表
此发明中的功能表的作用是将印刷式热点转换成各种各样的功能。功能表中有很多的项目。在一个实施例中,每一个项目通常有启动区域,功能指令或数据指令,以及一些其它选项参数。当被撷取的印刷式热点的图像经过解码得到其视域中心坐标(x,y,z),此坐标将被用来与功能表中所有的启动区域相比较。当视域中心的坐标落在某一启动区域中间,该启动区域便会被挑选出来。若选出来的启动区域多于一个,则离视域中心距离最近的启动区域以及项目中其相关的指令将会被执行。例如,功能表中的项目的内容如下:
启动区域=[x1=10,x2=30,y1=20,y2=40,z=7777777]
超码机指令=[IncreaseSpeakerVolume()]
选项参数=[null]
假设一视域中心坐标是(X=20,Y=30,Z=7777777),满足相关的启动条件,X>x1,X<x2,Y>y1,Y<y2,Z=z;那么与视域中心相关的热点可能便是所需要的热点。如果视域中只有此一热点,或此热点是离视域中心最近的热点,则其相关的超码机指令,″IncreaseSpeakerVolume()″,将会被执行;喇叭的输出音量会被加大。用户可以用超码机按在印刷介面上标有增/减音量的功能键继续调整音量。这是本发明的装置的交互操作的另一例子。
功能表可以内建于超码机内,或是在一网络的服务器内。上面所描述的对比运算也可在超码机内或网络服务器内进行。
单次与多次点击操作
有些超码机指令,如″IncreaseSpeakerVolume()″,(增高喇叭音量),只需在印刷式功能热点上一次的点击操作就可完成。某些指令如″FindHotelNear(xyz)″,(寻找邻近某处xyz的旅馆),可能需要一或二次点击在不同的热点上方可完成。其他指令如″FindDirectionsBetween(a,b)″,(寻找从a点到b点的路径),需要最多三次按键方可完成。因为在这些实施例中需要多次点击或轻击来启动一个功能,操作是互动式的操作。在互动式操作中,一次按键的结果通常与上一次按键的结果有关。因此,超码机上会显示回应信息以提示用户目前的按键操作已完成,可继续下一个按键操作。若无提示,用户可能需要重覆某个按键操作。在某些情形下,超码机可发出声音(如“嘟嘟”声)来提示用户按键操作已完成,可继续进行接下来的操作。
以超码地图(图19,将在后面描述)的应用为例,找出在某处附近的旅馆需要两次的按键操作.第一次按″Hotel″(图19,1903)键,第二次按所选的地方,例如″市场街与第12街″(图19,1902)的交叉口.在第二次按键之后找出″市场街″与″第12街″交叉口附近的旅馆的操作就可完成.按键″Hotel″(图19,1903)是与超码机指令″FindHotelNear(xyz)″相关,地图的区域(图19,1902)是与参数xyz相关.第一次按过″Hotel″(1903)键之后,其相关功能″FindHotelNear(xyz)″就被登入在寄存器内,但是所需的参数xyz尚未有数值.第二次按键在地图区域之后,超码机将得到参数xyz的数值,因此完成寻找“在xyz附近的旅馆”的动作.同样地,按键″FindDirections″是与某一功能如″FindDirectionsBetween(a,b)″相关.当按在″FindDirections″键之后,相关的功能就被登入在寄存器内;在第二次按键于地图某区域之后,参数a就有了数值;而第三次按键在地图另一区域之后,参数b就有了数值.此后在地图中找出从a点到b点路径的指令就可完成.大体来讲,地图的主要功用是指示用户街道的位置与方向.然而,与街道有关的信息,如旅馆、餐馆、观光景点、戏院、银行、加油站等的位置对用户(尤其是游客或不熟悉某地区的人)也是很重要的.
其它的多次按键的操作也可用于此发明中各种应用。例如在儿童的书中可以印有多个按键,每一个按键与一个主题相关。儿童可以按在书上标有“声音”的按键,再按“大象”的图像便能听到大象的声音。同样地,药品包装上也可印有多个按键,并使每一个按键与某一功能相关。按键也可印在虚拟键盘上,例如″Shift″或是字母键。此外,按键也可控制信息显示的机械操作。这些机械操作与信息的显示方式相关而与信息的内容无关。例如,可以用印刷式的按键来控制录音机或录影机上的“停止”、“暂停”、“向前”、“向后”等信息显示方式的机械操作;也可以用印刷按键来控制音量大小、颜色、或是影像放大倍数等功能。
指令寄存器,数据队列,和控制旗标
此发明中的启动器(activator,超码机)是用来启动某一功能的;其运作方式如下。大体上,超码机内有一操作系统,其中有指令寄存器(Command Register)、数据队列(Data Queue)、和许多控制旗标(ControlFlag)。指令寄存器用以纪录现行指令;数据队列用以存放现行指令的数据;而控制旗标是用以控制超码机的操作方式。超码机内一般有“功能指令”与“数据指令”两种指令。例如,″IncreaseSpeakerVolume()″是一功能指令,用来增加超码机的音量输出;″AppendData(xyz)″是一数据指令,用来加放数据xyz于超码机内的数据队列中;″NewData(xyz)″是一数据指令,用来清除数据队列中的内容,并将新数据xyz加放在数据队列中。
在正常情况下,当接收到一新(功能指令或数据指令)指令后,超码机将运作在某几种预设的状态下。图10A到10D描述了这些预设的运作状态。当超码机接收到一功能指令并且指令不需附加数据时(见图10A),超码机将立刻执行这指令;并且指令寄存器与数据队列中的内容将保持不变。当接收到一功能指令并且指令需要附加数据时(图10B,流程1010),接收到的功能指令将变为现行指令登录在指令寄存器内。如果数据队列中有足够的数据来满足现行指令,现行指令即会被执行。当接收到一数据指令,并且现行指令需要一个数据参数时(图10C,流程1020),数据队列中的内容将被清除,新数据被放入数据队列中,并且现行指令将会被执行。当接收到数据指令并且现行指令需要两个或多个数据时,新数据将被加入在数据队列的后面。当数据队列中有足够的数据来满足现行指令时,现行指令将会被执行,数据队列的内容被清除。
举例讲,图19中的按键是功能指令键。图19中地图区域中的印刷式热点(如1902)是数据指令键。当用户按在″Hotel″(图19,1903)键之后,超码机接收到一功能指令″FindHotelsNear(xyz)″,并将这指令存入指令寄存器。当用户继续按键在地图区域(1902)后,超码机接收到一数据指令,这指令将被存入数据队列中。此时因为数据队列中有足够的数据来满足现行指令″FindHotelsNear(xyz)″,这功能指令将得到执行。在这之后,数据队列中仍有数据″xyz″,并且超码机处在等候新指令的状态下。
控制旗标的内容是用来改变超码机的预设运作状态。控制旗标与单一的印刷式热点相关;每个印刷式热点可能有超过一个控制旗标,并且随著不同的应用而变化。
超码印刷书应用
此发明之“超码印刷(例如在纸上)书”,(简称“超码书”),为一般印刷书,但其文字与图像均由许多微小的点(即″超码″)所组成.换言之,超码书中用以传达可辨认的信息(如活物,景象,数字,文字,符号等目标的画面)的文字与图像是由极微小的点组成.这些超码点肉眼不易察觉,甚或是几近看不见,因此也不会影响读者正常的阅读书籍.举例来说,图11描述一超码书,其中1101代表一超码书,即一由超码组成嵌入之电子坐标(x,y,z)的普通纸本书.这些代表逻辑0和1的微点经排列组合后便将超码书的坐标系统编码并嵌入在每页文字与图像中.从功能上说,这些微点储存电子坐标于超码印刷书页的″字里行间″,即文字与图像中,当使用者用一手持式超码机1106来解读这些微点时,解读出的坐标会通过功能表被连接到各种不同的功能或数据.比方说,功能表中可能有一功能(如PlayAudio(...))被设定为x<20,y<20,z=999999999.同时,坐标z的数值范围可以设定的很大,其中的所有数值皆可独立表示某一功能或数据.坐标x和y可精确到能分辨纸上一小于12点大小的字母.这样的精度可使书本上任何单一字母或是字母大小的图样与一独特的功能相链接.
超码机1106是一有双重功能的电子装置。当用户将其“按于”或“触于”一超码书上时,它会解读书上嵌入的电子码且会执行所指定的功能,如播放出一单字的字义等。超码机的功能结构在图12内有更详细的描述。图11显示一超码书,其上印有一下载按钮1102。当超码机1106触于此按钮上时,全本书的电子语音或是影像内容会被下载到超码机内,使得这本书变得更丰富。1107表示超码书中的一书页1103被放大的一个区域,其中文字与超码混合一起,但分别代表眼见的内容(文字)及嵌入的信息(超码)。图11中显示1103为超码书1101上一经过微点编码的例页,并有二列的文字与图像。左列1105为一般印刷书本的内容,其中具有文字、图像和嵌入超码(或是数据),右列1104包含与实际应用相关的各种不同功能。
右列1104的功能选项可包括“控制功能”如音量大小、速度快慢等,以及“任务功能”如字义、发音等。大多数的“控制功能”是独立操作的,并已预先调到某一设定点,之后用户可逐步调整这些设定。举例来说,每当“调高音量”的功能被按到时,处理器即会调高并设定新音量,喇叭音量也会被调高;此功能可重覆直到音量被调至最高。另一方面,当某一“任务功能”被选定时此任务通常被登记在“功能寄存器”内。也就是说当用户改变“任务功能”时,“控制功能”的每个设定不会被影响。比方说,用户可用超码机按在右列1104“任务功能”中选择“WordDefinition(字义)”之后,即可按在左列1105的单字上,而由超码机播出所按单字的字义。在反覆学习单字中用户可能按在“控制功能”的“Faster Speed(加快速度)”上以增快播音速度,超码机内的速度设定即会被调快,但其他的“控制功能”设定(如音量)及“任务功能”(设定在“字义”)都会保留不变。用户可接着用较快速度听到各个不同单字的字义直到另一个功能被选定。
超码书的应用之一为孩童书.藉由一手持式解读/播放装置(或简称为“超码机”,但此装置亦可显示用户所需之信息)孩童可以听到并学习词汇或字句的正确发音.只须将超码机轻触在所欲阅读的文字或图像上,超码机将会解读内嵌的数据及其坐标,然后将相关的语音或影音片段播放出来.如上所述,故事书中之文字和图像亦可连接影音和动画将生动的声音影像带入书中,使孩童的阅读活动变为一种丰富的互动学习.举例来说,故事书中可能有一个大象的图像,表明有更多与大象有关的信息隐含在图像中,读者可用超码机与数据(或大象图像)接口以取得信息.为达成这样的互动,超码书中可设计有按钮使读者能简便的得到互动信息.此类活泼多变化互动的表达方式远较平常的印刷书籍能吸引读者保持阅读兴趣.超码书的应用除了显示器或屏幕外,也必需有音效输出设备(如喇叭);这种音效设备很容易配置在像本发明之手持式装置这类超码机中.目前许多PDA和移动电话均已配备有显示器及音效输出功能.
超码书(超码)解读/播放器
超码解读/播放器(或简称“超码机”)是每个超码应用很重要的一个设备。同一个超码机可广泛使用于各种应用中,用户只须在不同的应用时换用正确的存储器即可。超码机可有各种不同的形体,在图12A和12B中描述的是一个小的手持式装置,此外也可采纳其它装置(如移动电话或是光学鼠标),使之转变为超码机。
大多数的超码机是可携带型的装置,其中的特点或配置大略与图12A和12B相似。携带型装置的实施例包含内置CCD/CMOS感测器1205的电子输入/输出装置、音效喇叭1202、液晶显示器1201、有线或是无线的网络或互联网的接口1207、外接式存储器插口1206、内部的处理器和存储器、及设置在超码机尖端的压敏式(pressure-sensitive)开关或是扳机1203。CCD/CMOS感测器1205用的是自己的光源并由一透明物1208遮盖住;而此处列举的开关或是扳机1203虽是压敏式的,也可依据每个应用的需要采用其他方法如“点和按“(point and click)。除此外,超码机也可配备某些功能按钮(像是音量升高和降低)以方便用户操作。
与应用相关的数据信息可在应用开始前先输入超码机内;实际操作可是在线(online)或不在线(offline)的。在在线状态里,超码机经由有线或无线(如电脑或是移动电话)连接在互联网或其他网络,即时下载与播放所需的数据信息。在不在线状态里,数据信息可先由网络下载到超码机的内部存储器;完成下载后超码机便不需在线上。举例来说当超码机连于互联网或别的网络时,用户可将超码机按在超码书上印著的下载按钮,嵌于按钮位置的指令即会指示超码机自动连到并下载所需的数据资源。下载完毕后超码机便不需要再接在线上而转换成移动式超码机。除此外也可利用外接式存储器如插入式储存器、磁带、或是外接卡来提供数据信息。只要将外接式存储器插在超码机的外接式存储器接口1206便可输入数据信息到超码机内部存储器1209;待输入完毕后抽出即可。之后用户便能将超码机按在超码书页上来触发开关1203。手持式超码机包含机械配件与电路。当触按在超码书页上时,CCD/CMOS感测器1205会撷取并感应在所按位置,经处理器1209读取像素图样后便会执行解码还原后的指令,像是由音效喇叭1202播放一语音片段、在液晶屏幕显示一影像片段1201、或是调高/调低超码机音量等。此装置可在本发明描述的应用中广泛被采用。
图11和12中详述的技术及设备大都能适用于各种超码应用。下面的图解将会更多集中在应用和处理过程。因为本说明书的有限篇幅,图11,13至19为概要略图,图中的微点(像素)只是举例用的略图,并不真实包含内嵌的信息。
超码字典之应用
“超码字典(active print dictionary)”是儿童超码书的一种变化应用,主要包括一本其页面印有像素或微点的一般字典及一个阅读器/播放器“启动器”(超码机),袖珍型旅游用字典是其中一例.此类字典的语音功能对如在国外旅行时的多种语言即时传译有很大助益.用户可先在超码字典选择一须用的语言,接着将超码机点按在想知道的字句上,此字句即被翻译并播放出来.
图13描述一超码字典之应用,除了内存的资料不同外,此应用与超码书十分类似。在超码字典1301的首页1302有一印刷式下载按钮1304(Download This Book)。首页中可能有不同的语言1305如英文,西班牙文,中文,日文等。此外首页也可包括超码机1310上不同的显示选项1306(Media Selection)如语音、文字、语音和文字等。其他页数可印有多于一列的字汇,词句1308及一“功能选项”1303(如图13中的最右列)。这些功能可包括字义、发音、同义字、短句和音量大小1309等。为适用不同的语言,手持式超码机可设计成能插接外接式储存器如插入式存储器、磁带、或是外接卡等配件的装置。每个存储器单元可储存一种或多种语言,将此存储器插入超码机后即可把语言资料输入超码机内,省略掉上网下载的步骤。这样用户只需将超码机轻按在语言选项1305便能很快的从一个语言(如德文)转换到另一个语言(如法文)。用户在挑选完需要的语言后,可接着挑选合适的功能如字义、发音等,然后即可查阅生字或短句等并从显示器、喇叭等得到资料。
儿童超码益智书之应用
另一个儿童超码书的应用变化为“超码益智书”(或称”游戏书“)。此应用在图14内包含一个印有键盘1406的游戏板1401、一指令选项1404、多个儿童能翻阅的互动超码页1402、以及一个手持式超码机1408。和其他应用相同,游戏内容可经由下载按钮取得,也可插入外接式存储器取得。所有超码页(或卡片)、键盘、以及指令面都有微点编码表示不同的信息,超码机因此能正确的解读、执行用户要求的每项动作。
互动超码页1402的内容可依据不同年龄群的程度来设计,并分类为英文、数学等。指令按钮可包括不同的功能如拼法1405(Spelling)、发音、测验、动画等等。通过亮丽的图片和生动的音效、影像片段来与儿童互动,本应用能鼓励并刺激儿童的学习兴趣。针对幼儿的需要,本应用可使用一较大的显示器和一笔状超码机使幼儿能轻易的操作超码机并观赏图片动画。
简单说明本游戏方法,儿童只需将超码机1408点在指令按钮如拼法1405(Spelling)上,接着点在一图片(如狮子1403)上,超码机1408即会读出L、I、O、N,这个拼字也会显示在超码机的屏幕上。另外儿童可用超码机分别按在指令按钮“测验”(Quiz)和老虎的照片上以测试对老虎的认识。假设测验的是老虎的拼法,儿童即可用超码机1408在键盘1406的按键1407上依序点在T、I、G、E、R上,之后按一下“输入”(Enter)键,超码机中之处理器就会决定拼法是否正确,并将结果用一个声音、一段音乐、其他音效、或类似的组合在显示器上表示出来。显示器可包括PDA或移动电话的液晶显示或是电视电脑屏幕等等。
通用超码功能卡之应用
本发明的另一个应用为“通用超码功能卡”,(简称“超码卡”)。这张卡可能有不同的形式如信用卡大小的超码卡,或甚至是个鼠标垫。形式可能多样但功能是通用的,因此可适用于多种超码应用。这些功能的像素图样可印在任何平滑的表面,如纸张、塑胶、或金属表面,而控制功能1504可能包含一般性的功能按钮如开始、停止、快速往前/往后、加快/减慢速度、及增/减音量等等。
本应用(图15)包含了一本超码书1501,一个超码机1505,和一张超码卡1503.超码机可以是无线的(如移动电话),也可以是有线连接的(如光学鼠标).超码书的扩展电子语音、影像内容可由外接式存储器输入手提超码机,也可如上述应用中所述使用超码书中之下载按钮下载至超码机内.如若使用的装置是全时间连在互联网上(如移动电话或光学鼠标),信息内容便可即时下载,即时播放语音、影像内容.
用户可随身携带信用卡大小的超码卡1503;预先设定适当的音量速度后,加上一个无线超码机1505(看上去如移动电话),便可随时将超码机按在嵌有超码的书刊杂志1501来取得所需的信息(音频/视频片段)。或者,若此卡的形式是一个鼠标垫,用户即可在电脑或电视前很快地使用光学鼠标按在鼠标垫上来播放超码书刊内的语音影像内容,(未显示于图15中)。比方说要调整音量或速度时,用户可将超码机1505点在控制功能“音量升高”1504(Volume Up)上,在解读微点、指令被输送到超码机后,音量便会被调高。除了超码书,通用超码功能卡加上一个全时间连接于互联网的装置亦可广泛使用于各类超码印刷刊物,如杂志、产品目录、科研发表报告、学生手册等等。这样用户便能在翻阅超码书刊杂志时迅速获得更多的产品资料或是各类相关数据信息。本应用中的电子讯息(或是坐标)和超码书中一样,是经过编码后隐藏于超码报刊杂志内的文字和图像中;不同的是类似图11,1104的″功能选项″在超码报刊杂志页面上可被省略。这是因为超码卡的″通用功能″1504替代了书中的″功能选项″1104,使宝贵的版面空间得以保留。
超码电视节目索引之应用
本发明之另一项应用是“超码电视节目索引系统”(简称“超码索引”),包括一印有超码之电视节目索引1604,一个电视1601(可以是普通电视,也可以是有上网功能的网络电视),及一个配有CCD/CMOS感应器1603的电视遥控器1602。图16说明了这样一套系统。超码电视节目索引的例页1604包含普通电视指南的项目(如日期、频道、节目时间1608、节目名称1610等等);此外也可能包含功能选项1607(如节目介绍、录像、频道转换),或是主要互联网网站选项1609(如AOL、Yahoo、eBay、CNN,Disney等),同时在每个网站下可能再包含如股市、财经、新闻、体育等项目。超码索引系统的操作也类似本发明之其他应用。当用户将遥控器点在超码指引上任何一处,遥控器内之处理器即会解读像素并执行相关的指令,如使电视自动转台到另一节目,或是对选定的一节目录相,又或是跳到某一网站等。
开始使用时,观众可用遥控器1602先决定使用状态(按在电视1606或是上网1605)。遥控器会记取此状态直到用户改变选择。电视和上网状态1606(Watch TV),1605(Surf the Web)是可相互切换的“开关”。当选择的是电视1606,观众可用遥控器1602按在超码指引中想观看的节目上(例如一部电影),即可直接跳到该影片频道而不需使用遥控器转台。如若观众希望多知道某一节目内容或是设定某一节目录影,可先用遥控按在适合的功能选项(1607)上再按在节目上,便可将整个指令输入遥控器中并且执行该指令。若想选择上网,用户可同样将遥控器1602点在上网1605(Surf the Web)即可开始上网。举例说明,用户可接着依序按在雅虎(Yahoo)、新闻(News)上,便可跳至雅虎新闻网页。
超码印刷式键盘的应用
尽管笔记型电脑已相当普遍,但还是不十分方便携带与使用。更小的装置如PDA就比较容易携带,然而要将数据输入到这样小的装置中也不是很容易。事实上,由于PDA、掌上型电脑、移动电话等装置内没有内置的键盘,文字的输入是相当具有挑战性的。此发明中的超码印刷式键盘,(简称“超码键盘”)对此难题提供了一个方便的解决方法。超码印刷式键盘(active print keyboard)是一印有图形式介面的媒介,以方便将文字输入到小型手持装置内.“超码”(active)是表示超码印刷式键盘具有嵌入的信息;当使用一解读装置读取印刷键盘上的图样时,嵌入的字母、符号即被输入到使用的装置内.图17A中1701显示出一超码键盘装置的实施例.图17A中的超码机1706形似移动电话,并有移动电话的功能.图17B是另外一个可能的超码机的实施例.
超码印刷式键盘1701可使用配备有显示器1708的手持超码机1710(或超码机1708)将文字输入到超码机内。此处称为“文字”(characters)的“字母对象”包括字母、数字、符号(如A、B、C、1、2、3、@、*)等是经过编码嵌入在超码印刷键盘1701内的。例如图1703是按键1711经过超码的微点编码并放大后的图像,所代表的是小写的数字″2″(1705)和大写的符号″@″(1704)。这是一个像素图样内含有数据的实例。用户可使用超码键盘1701来输入文字,只需用手持超码机1710“点触”在超码印刷式键盘1701上所要的按键便可。手持式超码机1710尖端的CCD/CMOS感测器1709可以使一内部机制(未显示在图中)启动感测器1709拍摄键盘上符号(或是按键)的影像,超码机1710接着解读影像内嵌在按键内的字母、符号、或是数字,并将解读的结果以文字(text)的形式输入超码机内。手持式超码机1710也可以配备有外接式存储器如芯片、卡片、磁带等,使得超码键盘能应用在不同的语言中。当要使用某一语言的超码键盘时可将存储器(如芯片、卡片、磁带)插入到手持超码机内,之后便可用此超码机按在超码键盘来输入文字。在输入过程中,文字会显现在图17B的手持超码机1710的显示器1708中。这些显示器可包括液晶显示、发光二极管等等。此外,为了能看得更清楚,手持超码机1710也可连接于屏幕、移动电话显示器、PDA、笔写输入式电脑等等。目前多数人都使用移动电话上的数字键来输入资料,但因为每一按键上有三个英文字母及一个数字,此输入方式不十分简便。超码键盘1701也可和安装有适当程序与配件的移动电话一起使用。而一配备有CCD/CMOS感测器1707的移动电话1706即拥有超码机的功能;用户便能如使用手持超码机1710便利地输入文字。
图17A表示超码键盘的一个实施例的示意图。超码键盘1701的每一个按键1702都代表一个功能;当这些按键被适当地启动并传送到有相关程序的电脑时,超码键盘便会模仿一般键盘的功能以产生适当的数据。所谓一般键盘包括普通电脑的键盘,打字机键盘,或特殊仪器(如计算机,法庭纪录机等)的键盘。每个按键1702包含许多不同组合成群的印刷微点(或像素);这些点可表示人们肉眼能辨识的字母、数字、符号等,同时也组成每个按键“字母对象”后的背景。像素是以逻辑″0″和″1″来代表编码嵌入(隐藏)的信息。根据本发明的“信息嵌入”方案,当含有适当程序的超码机(如1710)中的CCD/CMOS感测器1709感应到按键1702上的热点时,超码机将被启动,相关的功能即会被输入超码机,(如将按键上的字母、数字、符号等显示在超码机的显示器上)。这样的“启动”是通过解读在按键上像素排列所编码的嵌入信息产生的结果,而不是一种机械操作的结果,也不是由按键直接传出的电子信号的结果。
超码包装标示之应用
产品包装在产品行销中是很重要的一环,对消费者产品尤其重要.但尽管购物者通常希望能在购物前得到更多所欲购买之产品的信息,一般来说产品包装盒上所标示的信息都相当有限.比方说在购买光盘前;若是一张唱碟,消费者可能会想多听其中歌曲的片段;若是一软件或电脑游戏,可能会想更多知道使用方法或特点.又或者消费者对使用的药品可能想更详细知道它的服用方法或是相关信息.也可能购物者想知道他们感兴趣的某产品(如个人电脑1801)更详细的规格.图18A之1802描述一个局部放大嵌入本发明之超码的SONY电脑Vaio产品包装盒.截至目前多数产品包装提供的仍是有限的产品信息,因为这些信息会占用盒上有限的位置,直接影响包装的美观;另外受实际限制,小物件也不可能标示太多信息.
图18A到18D描述本发明的超码包装标示应用。这个应用类似于前面提到的应用,含有超码的像素图样是印刷在产品的包装上,并且不影响产品包装上的标示。图18A到18D中的微点代表图样中的像素,以提供用户即时地从互联网上或服务器内得到与产品有关的咨询。用户可用一接于互联网并有解读超码功能的移动电话1803(图18B)取得产品信息。实际上当移动电话1803中的CCD/CMOS感测器1805触及一个印有超码像素的产品包装时,(如图18D中之药瓶1808),感测器1805感应在所触及的区域,经解读超码后,产品的相关资料也即时显示于移动电话上。在某些情形,解码后的信息可能是一网站(如www.@.com)或一网页,移动电话便会直接连到该网址取得信息后(如此例中药物的详细服用方法或个人医疗信息),显示在电话的液晶屏幕804上。与前述其他应用相同,本应用不局限于移动电话,亦可使用其他手提或有线的超码机(未表示在图18A-18D内)。各类百货商店便可设立装备有超码机与显示屏幕的产品咨询处或演示台为顾客提供商品信息服务;既降低雇员成本,也使顾客能自由地将商品带到演示台得到详细的语音或影像解说。在这演示台的例子中,所有信息可直接存在演示台的装置内,亦可存在互联网上。同样,移动电话启动器1805可用在图18A所示的包装上或图18D所示的CD封面1807上。
本应用可延伸到各个时常有信息查询须要的场合,如展示中心的信息台、旅游咨询处、政府机关等等。包含有超码信息指南或手册、超码机、音效输出、及显示屏幕的咨询台可设立在这些场所,访客便能很快翻阅超码手册找到需要的主题,用超码机按在页面上所需要的区域,然后在屏幕上读取相关信息。与“触屏”式信息站电脑(touch-screen kiosks)相比,印刷版的超码信息手册较易使用,因其介面是一般人熟悉的平面印刷,并且使用时也不需通过层层的电脑菜单选项才到达所要搜寻的信息。对许多人而言纸张类的文件资料比较方便的,也容易在上面做记号笔记等;所以印刷品介面对用户是很有用的,特别是在查询某些常用的文件时。
超码地图之应用
本发明的GUI的另一个实施例为超码地图系统(active print mapsystem),其中包括一个超码地图(即,纸质地图)和一个超码机。互联网已成为一很方便找地图及方位的工具;但若使用超码地图和恰当的设备,不仅在地图上能找到街名、地址,也可找到附近的餐厅旅馆等其他信息。这类信息可以“交互式地图”的形式呈现在计算机屏幕上,图上具有菜单、选项按钮和热点。举例说,用户可用指示器在电脑屏幕上的地图挑选某一位置热点,然后按在餐厅或旅馆按钮上以寻找此热点附近的餐厅或旅馆。此类互动地图系统通常需要一个大电脑显示器,对在外旅行或喜爱随身型装备的用户并不方便实用。
根据此发明,超码地图可大致达到电脑屏幕上互动地图的功能,不同的是热点及按钮都印在平面(如纸张)上。与每个热点相关的信息(如位置坐标x,y)都经过编码嵌入超码印刷地图中;与每个按钮相关的信息(如功能)也同样编码嵌入超码印刷地图内。而地图中的信息(餐馆、旅游点等)也和前述应用一样可用一手持式超码机得到。这个装备可包括用于输入的一内置的CCD/CMOS传感器及一个显示输出的小屏幕。
图19表示本发明之超码印刷地图的一个实施例的示意图。从表面看,用户看到的是一般有街道显示的地图;超码地图1901是由许多微点(代表像素排列成的超码单元)排列组成,以表现一般地图上可辨认的如街道、字母、编号、路名、单词、符号、背景等。这些组成街道、字母、编号、符号等的微点被排列以表示嵌入的逻辑0和1,对嵌入的坐标编码并嵌入在地图内;唯使用含有适当程序、并与传感器连接的处理器方能认出这些超码图样,传感器使得微点的图样输入处理器。在超码地图系统中,当用户将超码机按在地图上的一热点时,超码机(如移动电话1904)内的CCD/CMOS传感器1906即摄取热点的快相,感应在该位置以解读还原嵌于此位置的数据x,y,而相关的信息也会显示在输出屏幕1905上。超码地图系统可通过编程而设计有不同的功能以适用不同的需要。举例说,用户先将超码机按在地图上一热点,再按于地图上一“动作按钮”以完成一询问动作,如“在位置x,y附近寻找住宿旅馆”。此询问便会被传送到内置或在别处的信息服务器,搜索的结果会显示在输出屏幕上。不同地理区域的讯息可分别存在不同的外接式存储器内,而不同形式的外接式存储器如磁带、晶片、外接卡皆可作为外接式讯息存储器。比方说当用户想在某一城市(如旧金山)某一地区(如12街与市街)寻找旅馆时,只需打开此地区嵌有旅馆信息的超码地图,用超码机在相关的地区依序按在地图上的“旅馆”热点1903(Hotels),及地区1902(12th St和Market St)上即可。此装置亦可将程序设计为先按在地区再按在询问动作(如寻找旅馆)。在询问过程中,若是需要的信息不在超码机的存储器内,屏幕可显示要求换接正确的存储器。当找到需要的信息(如餐馆)时,屏幕便会出现餐馆地址及方位等。此外,若是需要的信息不在超码机的存储器内,超码机也可自动连到互联网阅览器,从预先选定的网站中搜寻信息或执行一搜寻的指令。使用电脑或处理器编写程序来提供用户咨询的信息或是连线到互联网在今天已是成熟的技术。一个拥有相关技能的本领域技术人员可根据本发明的详细说明和知识编写类似的程序。应当理解的是,本发明详细描述的是较优选的实施例,本领域技术人员可以在本发明的范围内做出修改而实现可替换的和/或附加的实施例。

Claims (15)

1.一种将印刷的影像转换成人类感官可以理解的信息的装置,包括有:
(a)光感器,从印有像素图样的物体上读取光的影像并测定图样中的像素值,上述像素图样构成一明显的视觉影像可传送人们所认知的信息,并包含嵌入信息,其中所述像素被印刷为具有多个小块的二维矩阵像素的印刷图,小块包括带有由背景像素环绕的轮廓像素的若干个单元,每个小块内含有一组多维坐标的嵌入数据,使得每个小块都有独特的坐标数据内容,而在该印刷图上的若干个小块的部分数据内容是相同的;处于二维矩阵中的小块使得在印刷图上一个选定小块的坐标位置可以通过一已知小块的已知二维位置、和选定小块与已知小块在印刷图像上的相对偏移来计算;
(b)处理器,用以恢复像素图样中所嵌入的信息,该处理器包括:
(i)识别模块,识别图样中像素所表示的二进位码,进而识别嵌入在图样内的信息,其中所述识别过程包括在所述印刷的像素图像的视域中读取像素并解码取得视域中小块的坐标数据;在一视域中对一组小块的坐标数据进行平均,为一选定小块产生一模范小块;在该视域中找出该选定小块中的误差单元,并以对应于该误差单元的模范小块中的一单元替换该误差单元;通过计算选定小块的坐标位置和该选定小块到视域中心的相对偏移,得到视域中心的坐标位置;并且由一个预先定义的映射表转换表,将所得到的视域中心的坐标转换成一个资源指针;
(ii)执行模块,按照嵌入在图样中的信息来执行一功能,以将结果显示在适合人类感官接受的显示器上。
2.根据权利要求1的装置,还包含有一显示器。
3.根据权利要求1的装置,包含有存储器,其中存有数据和处理器程序,以便从所述存储器内而非通过超链接到网站上来读取显示所需的数据。
4.根据权利要求1的装置,其中的识别模块将图样中的像素分割成若干个单元,且多个单元内含有一个像素矩阵用以识别所述的二进位码。
5.根据权利要求1的装置,其中的识别模块将图样中的像素分割成若干个小块,其中至少一些小块之每一个都含有若干个单元,每个单元包含一个像素矩阵,其中一些单元表示图样中对应小块的位置,一些单元控制所要执行的功能。
6.根据权利要求1的装置,其中的识别模块利用亮度对比度来识别所述的二进位码,其中的亮度对比度是比较该像素图样中选定像素的像素值与其周围像素的像素值而得到的。
7.根据权利要求1的装置,其中,该处理器控制一显示器使其发出信号,以提示用户继续使用此装置来解码此像素图样中的不同位置或一个不同的像素图样,因而为用户提供交互式操作。
8.根据权利要求1的装置,其中,识别模块在视域由光感器成像时找到视域的中心区域以执行该功能。
9.根据权利要求1的装置,其中的识别模块从一显示图形和文字的影像的像素中识别嵌入在其中的信息指针,这指针可代表听觉信息、视觉信息、或是以文字和图示所组成的影视信息,使得当光感器读到上述的像素时,该装置中的执行模块可显示信息指针所指定的影视信息。
10.一种将印刷图样转换成人类可感知输入的方法,包括有:
(a)从印有像素图样的物体上读取光的影像并测定图样中的像素值,上述像素图样构成一明显的视觉影像可传送人们所认知的信息,并包含嵌入信息,其中所述像素被印刷为具有多个小块的二维矩阵像素的印刷图,小块包括带有由背景像素环绕的轮廓像素的若干个单元,每个小块内含有一组多维坐标的嵌入数据,使得每个小块都有独特的坐标数据内容,而在该印刷图上的若干个小块的部分数据内容是相同的;处于二维矩阵中的小块使得在印刷图上一个选定小块的坐标位置可以通过一已知小块的已知二维位置、和选定小块与已知小块在印刷图像上的相对偏移来计算;
(b)识别图样中像素所表示的二进位码,进而识别嵌入在图样内的信息,其中所述识别过程包括在所述印刷的像素图像的视域中读取像素并解码取得视域中小块的坐标数据;在一视域中对一组小块的坐标数据进行平均,为一选定小块产生一模范小块;在该视域中找出该选定小块中的误差单元,并以对应于该误差单元的模范小块中的一单元替换该误差单元;通过计算选定小块的坐标位置和该选定小块到视域中心的相对偏移,得到视域中心的坐标位置;并且由一个预先定义的映射表转换表,将所得到的视域中心的坐标转换成一个资源指针;
(c)按照嵌入在图样中的信息来执行一功能,以将结果显示在适合人类感官接受的显示器上。
11.根据权利要求10的方法,包括使用亮度对比度来识别所嵌入的二进位码,其中的亮度对比度是比较像素图样中选定像素的像素值与其周围像素的像素值而得到的。
12.根据权利要求10的方法,所述步骤(a)包括将像素图样中的像素分割成若干个单元,每个单元包括一个像素矩阵,其中至少一些单元内含有一个或多个轮廓像素和其周围的背景像素;然后根据轮廓像素的亮度值与由背景像素的亮度值计算而得到的一数值进行对比,而识别轮廓像素所代表的二进位码,而且所述视觉影像是文字或是物体的影像。
13.一种将具有三维或多维空间的多维坐标系统嵌入在图像中的方法,包括:
印刷像素为具有多个小块的二维矩阵像素的印刷图,小块包括带有由背景像素环绕的轮廓像素的若干个单元,每个小块内含有一组多维坐标的嵌入数据,使得每个小块都有独特的坐标数据内容,而在该印刷图上的若干个小块的部分数据内容是相同的;处于二维矩阵中的小块使得在印刷图上一个选定小块的坐标位置可以通过一已知小块的已知二维位置、和选定小块与已知小块在印刷图像上的相对偏移来计算。
14.一种从印刷的像素图像中识别所嵌入数据的方法,所述的像素图像具有若干个小块,并且每个小块都含有相应的多维坐标和已嵌入数据的多个单元;所述的方法包括有:
(a)在一印刷的像素图像的视域中读取像素并解码取得视域中小块的坐标数据;
(b)在一视域中对一组小块的坐标数据进行平均,为一选定小块产生一模范小块;
(c)在该视域中找出该选定小块中的误差单元,并以对应于该误差单元的模范小块中的一单元替换该误差单元;
(d)通过计算选定小块的坐标位置和该选定小块到视域中心的相对偏移,得到视域中心的坐标位置;并且
(e)由一个预先定义的映射表转换表,将所得到的视域中心的坐标转换成一个资源指针。
15.根据权利要求14的方法,其中步骤(a)-(c)还包括选择多个坐标轴,对每一个选定坐标轴,在选定的一组小块上平均坐标的数据而产生多个模范小块,并用模范小块中的单元来替换一选定小块中的误差单元.
CN 03145092 2002-07-01 2003-07-01 印刷用户介面系统及其应用 Expired - Lifetime CN1469294B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/186,518 US7123742B2 (en) 2002-04-06 2002-07-01 Print user interface system and its applications
US10/186,518 2002-07-01

Publications (2)

Publication Number Publication Date
CN1469294A CN1469294A (zh) 2004-01-21
CN1469294B true CN1469294B (zh) 2010-05-12

Family

ID=34192698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 03145092 Expired - Lifetime CN1469294B (zh) 2002-07-01 2003-07-01 印刷用户介面系统及其应用

Country Status (1)

Country Link
CN (1) CN1469294B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3830956B1 (ja) * 2005-09-14 2006-10-11 健治 吉田 情報出力装置
US8619278B2 (en) * 2009-12-04 2013-12-31 Ricoh Company, Limited Printed matter examination apparatus, printed matter examination method, and printed matter examination system
CN102522007B (zh) * 2011-12-16 2015-02-18 方正国际软件有限公司 具有暗纹码图的印刷物的识别方法及系统
CN102710978B (zh) * 2012-04-12 2016-06-29 深圳Tcl新技术有限公司 电视机的光标移动方法及装置
CN102724578B (zh) * 2012-05-10 2016-12-14 深圳Tcl新技术有限公司 电视频道导航的方法及装置
CN103208067B (zh) * 2013-03-13 2016-08-10 张小北 防伪系统及其标签的形成、嵌入、解读、鉴别及权属改变方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6265398B1 (en) * 1996-04-15 2001-07-24 Hoechst Schering Agrevo Gmbh Substituted pyridines/pyrimidines, their preparation and their use as pesticides

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6265398B1 (en) * 1996-04-15 2001-07-24 Hoechst Schering Agrevo Gmbh Substituted pyridines/pyrimidines, their preparation and their use as pesticides

Also Published As

Publication number Publication date
CN1469294A (zh) 2004-01-21

Similar Documents

Publication Publication Date Title
US7123742B2 (en) Print user interface system and its applications
CN101401059B (zh) 信息处理装置的输入处理系统
CN106648146B (zh) 点图形、使用点图形的信息重放及输入输出方法
RU2457532C2 (ru) Система обработки ввода для устройства обработки информации
US6256638B1 (en) Printable interfaces and digital linkmarks
US8358320B2 (en) Interactive transcription system and method
CN102792248B (zh) 输入输出装置、信息输入输出系统
KR101067360B1 (ko) 정보 처리 장치의 인쇄 방법 및 아이콘 화상의 인쇄 제어 시스템
US20100331043A1 (en) Document and image processing
CN101551724A (zh) 在触摸屏上书写文字的方法与装置
CN102224484A (zh) 手写输入输出系统、手写输入薄板、信息输入系统、信息输入辅助薄板
KR101971161B1 (ko) 인쇄물용 분리된 애플리케이션
US20150296092A1 (en) Method for digitizing paper documents by using transparent display or device having air gesture function and beam screen function and system therefor
CN1469294B (zh) 印刷用户介面系统及其应用
CN1922611B (zh) 电子笔-计算机多媒体交互式系统
KR101495492B1 (ko) 투명디스플레이를 통해 페이퍼문서를 전자화하고 활용하는 방법 및 시스템.
CN100573419C (zh) 将印刷材料与由计算机系统产生的响应关联的方法和系统
Barneva et al. Combining ubiquitous direction‐sensitive digitizing with a multimedia electronic dictionary for enhanced understanding
Rajaraman et al. Computer primer
TWI664604B (zh) 電腦手寫中文字集創建及應用系統
US20110304130A1 (en) Identifying Film for Optical Code
WO2012008466A1 (ja) ストリームドットを用いた情報入出力方法、情報入出力装置、音声情報記録装置
JP2008009219A (ja) カラオケシステム及びこれに使用される選曲目次本
Pepela Foundations of Computer Studies 1
JP2012022423A (ja) ストリームドットを用いた入力処理システム、入出力処理システムおよび印刷制御システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20100512

CX01 Expiry of patent term