CN1190756A - 信息输入方法、信息输入板以及信息输入设备 - Google Patents

信息输入方法、信息输入板以及信息输入设备 Download PDF

Info

Publication number
CN1190756A
CN1190756A CN97123008A CN97123008A CN1190756A CN 1190756 A CN1190756 A CN 1190756A CN 97123008 A CN97123008 A CN 97123008A CN 97123008 A CN97123008 A CN 97123008A CN 1190756 A CN1190756 A CN 1190756A
Authority
CN
China
Prior art keywords
information
image
tablet
target pattern
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN97123008A
Other languages
English (en)
Other versions
CN1134725C (zh
Inventor
臼田裕
宫嵜充弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1190756A publication Critical patent/CN1190756A/zh
Application granted granted Critical
Publication of CN1134725C publication Critical patent/CN1134725C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046Constructional details
    • G06K19/06131Constructional details the marking comprising a target pattern, e.g. for indicating the center of the bar code or for helping a bar code reader to properly orient the scanner or to retrieve the bar code inside of an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding

Abstract

一种用户不必了解硬件也可容易操作的信息输入设备、信息输入方法和信息输入板。信息输入板包括显示区,该显示区具有输入信息区和提供输入信息的识别代码的识别区。该识别代码用作具有旋转模式的目标图案,其中由目标图案的方向来定义代码。图像拾取单元通过使信息输入板成像来产生成像信息。据此确定图像认知单元所认知的目标图案的旋转模式。旋转模式指定信息输入板的识别代码。由确认处理装置来确认信息输入板上的信息。

Description

信息输入方法、信息输入板以及信息输入设备
本发明涉及把数据和/或控制信息输入电子装置的方法和设备。尤其是,本发明涉及利用图像认知把信息输入计算机或其它数据和/或控制系统的系统和方法。
已提出实现多媒体信息输入/输出的各种新型多媒体装置,它们组合了现有音频-视频(AV)、信息和通信装置所具有的功能。这些新型装置的例子包括具有通信能力的便携式信息终端、具有通信能力的摄录机以及具有通信能力和AV功能个人计算机。此外,正在开发专用于使这些新型多媒体经由不同的网络进行相互通信的系统。用于装置间通信的一些不同类型网络包括Ethernet局域网(LANS)、Token Ring LANs、ATM广域网(WANs)、类似于公用电话网的有线通信网以及无线通信网诸如红外线通信系统、蜂窝式电话系统和卫星通信系统。
这些新型多媒体装置中的许多装置使用与现有AV、信息和通信装置所使用的相同的常规接口。例如,常规和新型的多媒体装置都使用键盘、鼠标器、触摸屏、专用控制器和麦克风。
如图15A所示,条形码是把信息输入多媒体系统的常规装置的另一个例子。条形码一般包括具有变化宽度(代表二进制代码)的线条图案。它们一般用于通过机器来识别商品和其它物品,或者指定一目标物体。条形码可以是一维或两维的。换句话说,条形码可如此排列,从而条形码读出器可沿一个或两个不同的扫描方向对条形码进行扫描。图15B示出两维的条形码。
不幸的是,操作常规的输入接口很糟糕,而且与人的感觉不相适应。这不是说现有装置的本身不符合人类工程学,而是说其操作方法不是直观的,一般在有效地使用这些装置前需要进行特殊的训练和练习。例如,虽然键盘具有多种调节和特别舒适的特点,但如果不教会用户如何触摸-敲击如何进行练习,用户要有效地使用即使是最符合人类工程学的键盘也是困难的。常规多媒体装置中的鼠标器、触摸屏、专用控制器和麦克风也是如此。这些输入装置远不适应人的感觉。换句话说,没有习惯操作这些装置的用户不能直观地理解有关的操作方法,它们需要特别的知识和训练来熟练地操作这些装置。
除了人类不易于认知或读出以外,适应条形码的系统还有别的问题,即对于一给定的条形图案显示面积,只有有限数目的代码。此系统要识别的物品越不同,则所需的独有图案越多。这种,要么增加条形码图案的数目,要么限制可被识别的物品数目。增加图案数目必须增加物品上的条形图案显示面积。这不是一个较佳的解决办法。例如,在一产品上,物品的表面积一般是有限的而且通常用于显示其它信息。此外,如果通过增加附加的条(每一条一般只增加两位有用信息)来增加更多的独有图案,则会增加识别条形码所需的时间。
于是,本发明的一个目的是提供一种信息输入设备、一种信息输入板和一种信息输入方法,它们让用户不必学习如何使用专业化的硬件或甚至不必完全理解专业化的硬件就可进行简单、有效而直观地操作或甚至完全理解专业化的硬件。
本发明的另一个目的是提供一种信息输入设备和一种信息输入方法,它们让用户通过简单的操作从大量数据中指定、联系和引用信息。
本发明的还有一个目的是提供一种信息输入设备、一种信息输入方法和一种信息输入板,它们能明显地增加在识别商品和物品中所使用的每单位面积独有识别符的数目。
由本发明的信息输入方法、信息输入板和信息输入设备可实现本发明的以上和其它目的。依据本发明的信息输入方法包括以下步骤:把具有旋转模式的预定目标图案附加到物体表面,在所述旋转模式中,由一个方向定义一个代码;以及通过对认知目标图案进行图像认知来输入相应于认知目标图案的旋转模式的代码信息。
依据本发明,也提供了一种信息输入板,它包括至少具有一输入信息区和一识别区的显示区。输入信息区提供了输入信息,识别区提供了用于输入信息的识别代码。在显示区中,输入信息的识别代码具体表现为具有一旋转模式的认知目标图案,在所述旋转模式中,由目标图案的一个方向特征来定义一个代码。
依据本发明,也提供了一种信息输入设备,它包括一信息输入板,所述信息输入板包括一显示区,所述显示区至少具有提供输入信息的输入信息区和提供输入信息的识别代码的识别区。所述显示区中,输入信息的识别代码具体表现为具有一旋转模式的认知目标图案,在所述旋转模式中,由目标图案的一个方向来定义一个代码。信息输入设备还包括:图像拾取单元,用于使信息输入板的显示区成像;图像认知单元,用于使用图像拾取单元成像的信息输入板识别区的成像信息,对认知目标图案进行图像认知;以及处理装置,用于确定由图像认知单元所认知的认知目标图像的旋转模式,从而通过对信息输入板进行成像来指定信息输入板的识别代码和确认信息。
在思考以下对本发明的信息描述以及附图后,将理解本发明的这些和其它特点及优点。
图1是示出依据本发明的信息输入设备一个实施例的功能方框图。
图2是示出应用图1的信息输入设备的多媒体系统结构的方框图。
图3是示出图1中一部分信息输入设备硬件结构的一个实施例的方框图。
图4是示出图1的信息输入设备中输入板的一个实施例的示例布局的平面示意图。
图5A是示出可在图4的输入板上使用的旋转图标代码的代码值分配的一个例子的示意图。
图5B是示出可在图4的输入板上使用的旋转图标代码的第一个例子的示意图。
图6是示出图4输入板的一个示例实施例的平面示意图,该输入板用于控制具有常规视频卡带录制器控制的电子装置。
图7是示出使用图6所示输入板的依据本发明的信息输入设备一个实施例的输出单元的示例输出显示区的示意图。
图8是示出识别处理方法的一个实施例的流程图,该方法通过依据本发明的信息输入设备一个实施例的图像认知单元来认知目标。
图9是示出由依据本发明的信息输入设备一个实施例的图像认知单元在位置校正期间检测到的位移数量的示意图。
图10是示出在依据本发明用于认知目标的识别处理方法的一个实施例中,通过旋转图标选取处理选取的每个图标的质心和外接矩形的示意图。
图11是示出在依据本发明用于认知目标的识别处理方法的一个实施例中,在旋转图标代码确认处理中所使用的一部分预定旋转图标代码组的示意图。
图12示出在本发明的信息输入设备一个实施例的图像认知单元的一个实施例中,输入/选择指示处理方法一个实施例的流程图。
图13是示出给出通过本发明的信息输入设备一个实施例的图像认知单元所选取的输入/选择指示选取处理所选取的输入/选择指示的访问(access)指示输入图案的示意图。
图14是示出图4中输入板上所描述的旋转图标第二个例子的示意图。
图15A是示出已有技术的输入系统所使用的一维条形码的不同格式的示意图。
图15B是示出已有技术的输入系统所使用的两维条形码的示意图。
参考图1,依据本发明的信息输入设备100的一个较佳实施例包括图像拾取单元101、图像认知单元102、控制单元103、存储单元104和输出单元105。控制单元103通过通信链路108连到信息分配单元106,并通过通信链路109连到外部设备107。通信链路108可以是例如网络,而通信链路109可以是例如主总线(home bus)。
图2示出图1的信息输入设备100的一个应用。换句话说,图2示出本发明可用于例如一多媒体系统。参考图1和2,图像拾取单元101形成附加到物体表面(诸如纸)上的认知目标图案的图像以及形成用户用手指或任何其它类似指示器指定的入口指示图案。尤其是,图像拾取单元101最好具体表现为感应式数字摄像机,诸如图2所示的电荷耦合器件(CCD)视频摄像机201或量子井红外线照相监测器(QWIP)视频摄像机。CCD视频摄像机201最好位于图2的多媒体系统中显示器205A的顶部。对CCD视频摄像机201进行聚焦,以获取设置在媒体基板(medium base)208上的输入板209的图像。媒体基板208靠近置于竖直位置的显示器205A,从而位于显示器205A顶部的CCD视频摄像机201可以聚焦在媒体基板208的输入板209上。
在此实施例中,输入板209用作被分成不同类别区的信息选择媒体。可以用例如纸或薄的塑料板来制成输入选择板209。参考图4,示出图2的输入板209布局的一个实施例。图4所示的实施例示出一示例的输入板209,它包括标为A、B、C、D和E的五个不同的类别区。注意一特定的类别可包括输入板209上多个不同的区域。
在输入板209的第一类别区A中,提供了一确认图标,它可用于确认特定塑料板或纸片是允许被本发明的信息输入设备所使用的输入板209。换句话说,如果输入板209包括类别区A中信息输入设备100可确认的确认图标,则此系统可以用该特定输入板209进行操作。否则系统将不能用该特定的输入板209进行操作。预定类别区中确认图标的组合叫做认知目标图案。
在输入板209的一个较佳实施例的第二类别区B中,有用于把特定的板与所存储或可存取的电子信息相关联的一个识别图标(或一些识别图标)。识别图标也叫做认知目标图案。在第三类别区C中,提供了输入板209的位置校正标志。在第四类别区D中,提供了让用户指定一个选择的图像。最后,在第五类别区E中,提供了列出系统信息内容的某种形式。以下将更详细地描述输入板209的结构和它所提供的图形的布局。
图1的图像认知单元102对图像拾取单元101提供的图像信息进行图像认知。在图2的实施例中,CCD视频摄像机201通过形成输入板209的图像来产生图像信息。图像认知单元102是在图2所示多媒体系统的控制箱202中实现的。具有图像认知单元102的控制箱202接收来自CCD视频摄像机201的图像信息输出。图像认知单元102对包含在从CCD视频摄像机201接收到的图像信息中的认知目标图案进行识别和确认处理。根据识别和确认处理,图像认知单元102向控制单元103输出识别结果和确认结果。
如以下详细所述,一旦作为认知目标图案的结果在输入板209和电子信息之间形成关联,则图像认知单元102继续对用户指定的输入/选择指示进行认知,然后把认知结果信号输出到控制单元103。
与图像认知单元102相同,控制单元103也设置在图2所示多媒体系统的控制箱202中。控制单元103控制各种其它元件之间的信息发射和接收。根据图像认知单元102对认知目标图案进行的认知结果,控制单元103确定认知目标图案是否与在本地存储在存储单元104中的信息相关。如果相关,则控制单元103存取相关的本地存储的信息。
如果认知目标图案与未在本地存储的信息相关,则把认知结果传输到信息分配单元106。在此情况下,相关的信息被存储在信息分配单元106中,或存储在位于与信息分配单元106相连的外部通信网络上的信息处理单元中。信息分配单元106存取相关的远地存储的信息。
在任一种情况下,一旦找到相关信息,则控制单元103把相关信息的拷贝传送到设置在控制单元103内的临时存储单元(未示出)。相关信息最好包括几种数据。例如,与输入板209相关的信息最好包括用于向用户提供输出单元105上的反馈的显示信息,用于控制外部设备107的控制信息,找出其它有关信息的连接信息,以及用于说明和使用输入板209的命令构成信息。
一旦控制单元103在暂存单元中有相关信息的拷贝,对每一个从图像认知单元102接收到的输入/选择指示图像执行确认。当输入/选择指示图像被确认,输出单元105上的显示屏被更新,并执行外部设备107的控制功能。换句话说,当执行这些不同的操作功能时,这些不同的操作功能和信息分布结果的表示被显示在输出单元105上。
现在将进一步详细地解释上面列出的信息类型,这些类型与不同的输入板209,或者一个输入板209中的不同区域相关。显示信息包含字符,图像,版面信息,声音信息等等。根据该显示信息,控制单元103在输出单元105上作出显示并控制声音的产生。
控制信息包含用于控制一个外部设备107的控制命令,这个命令响应用户在输入板209上作出的输入/选择的指示。控制单元103控制基于和输入板209相关的控制信息外部设备107。例如,如果外部设备107是一个视频盒式录音机(VCR),控制信息包含复制(播放),停止,快进,倒带,和暂停控制信息,用于控制VCR的运作。比如当用户指在输入板209上表示播放的控制信息的图像,图像摄像单元101将图像信息送达图像认知单元102,图像认知单元102对播放输入/选择指示进行识别,并将播放命令送达VCR。
连接信息包含地址,用于当用户作出输入/选择指示时读出另外的信息。连接指令可以指向存储在存储单元104,信息分配单元106中的信息,或连接到通讯网络上的外部信息处理单元。根据连接信息,控制单元103对其它信息进行访问。例如,一个在国际信息通信网上使用的统一资源定位器(URL)可以在本发明中被用作连接信息。
命令构成信息包含当用户选择了信息输入板209的D或E类区域中的一个图形时,指示将要执行的功能的信息。用户在输入板209上选择图形的过程在这里称为用户输入/选择指示。命令构成信息以输入板209的位置的形式由用户选择,而且下一个处理命令便响应那个选出的位置。例如,当用户选择了适当的位置坐标时,命令构成信息可以作为一个位置坐标和一个处理命令,用于执行上述控制信息或者连接信息。
除了控制单元103和图像认知单元102,在图2所示的多媒体系统中的控制箱202中还提供了存储单元104。存储单元104存储和识别目标图案相关的信息。存储在存储单元104中的信息包含用于控制外部设备107的信息。该信息可以通过信息分配单元106,从一个连接到网络上的外部信息处理单元,或者通过卫星通信系统,从一个远程信息源进行检索。通过在控制箱202中设置存储单元104,可以减小网络上的通信,用户输入/选择指示的相应的时间可以缩短。
输出单元105最好包含显示器,扬声器,和/或打印机。因此,输出单元105可以提供用户选择的操作功能和信息分布结果的声音和可视显示。图7是一个输出到输出单元105显示屏上的示例信息的例子。在显示屏700的左边,有一个图形710,这个图形说明了用户所选择的操作的功能。注意它表示了对VCR的控制并且播放命令图形720(指向右的箭头)颜色变深了。这显示了用户选择了播放命令。在显示屏700的右边,有一个从外部设备107输出的图像730,这个图像表现了信息分布结果。在系统的控制下的各种其它装置的图像输出也被合成并输出到输出单元105,如图7所示。图2所示的多媒体系统的输出单元105被具体化为一个显示器205A和一个视频扫描转换器205B。
信息分配单元106可以通过有线通信网络例如Ethernet LANs,Token RingLANs,或者ATM WANs连接到控制单元103。或者可以使用无线通信网络,例如红外线,PHS电话,数字蜂窝电话,或卫星通信系统。
当控制单元103确定来自图像认知单元102的识别结果需要和特别的输入板209相关联的信息(在存储单元104中无法就地得到)时,信息分配单元106对通过通信网络连接到系统的来自外部信息处理单元的相关信息进行检索。在图2所示的多媒体系统中,信息分配单元106被具体化为程序工作站206。
外部装置107可以是任何一个数量的不同电子装置,这些电子装置可以由控制单元103响应输入/选择指示来控制。例如,在图2中,外部装置包含AV控制装置207,VCR208B,调制解调器207C,电话机207D,和一个照相机207E。外部设备107还可以包含许多其它类型的电子器件,例如,计算机和游戏机。外部设备107可以通过有线通信线路或无线通信系统连接到控制单元103。
图3描述了图2的控制箱202的一个典型硬件实施例。图2的控制箱202包含中央处理器(CPU)301,图像处理单元302,照相机接口303,显示器接口304,网络接口305,主干网络接口306,只读存储器(ROM)307,随机存储器(RAM)308,硬盘驱动器(HDD)309。控制箱202的所有的部件可以通过总线310连接。或者,这些部件可以通过专用的通信路径相互连接。例如,所示照相机接口303通过专用的链路直接连接到图像处理单元302。同样地,CPU可以有第二个分离的总线,用于连接到ROM307和/或RAM308。
依照存储在ROM307中的系统程序或在RAM308中拟定的程序,CPU301适宜于控制控制箱202。CPU301提供了一些图像认知单元102的功能以及图1中描述的控制单元103的一些功能。换句话说,图像认知单元102和控制单元103都可以被部分地具体化为一个CPU301。
CPU301执行各类处理所必需的程序和数据存储在ROM307中。ROM307提供图1的控制单元103的一些功能。RAM308适宜于改进和暂时存储程序和数据,这些程序和数据是CPU301执行各类处理所必需的。RAM308还提供图1的控制单元103的一些功能。换句话说,控制单元10可和CUP310一起被部分地具体化为ROM307和RAM308。HDD309提供图1的存储单元104,因此存储单元104可以被具体化为HDD309。
图像处理单元302通过照相机接口303从CCD视频照相机201接收到图像信息。由图像处理单元302执行各类图像处理比如图像识别处理。图像处理单元302提供图1的图像认知单元102的一些功能。照相机接口303从CCD视频照相机201接收图像信息,然后将图像信息转换为可与图像处理单元302兼容的信号形式。然后,照相机接口303输出转换过的图像信息给图像处理单元302。因此,图像认知单元102可以和CPU301一起,被部分地具体化为照相机接口303和图像处理单元302。
显示器接口304接收到由CPU301和图像处理单元302处理过的显示数据,将该显示数据转换为可以和显示器兼容的信号,并随后将转换过的信号输出到显示器205。显示器接口304和显示器205提供图1的输出单元105的一些功能。因此,输出单元105可以被部分地具体化为一个显示器接口304和显示器205A。
网络接口305提供到工作站206的连接,藉此可以访问一个外部的网络。网络接口305和工作站206提供图1的通信链路108和信息分配单元106的一些功能。因此,通信链路108和信息分配单元106可以部分地被具体化为一个网络接口305和工作站206。
主干网络接口306提供到外部装置107的连接。因此,CPU301能够通过总的网络接口306控制外部装置207A-207E。主干网络接口306和外部装置207A-207E提供图1的通信线路109和外部装置107的一些功能。因此,通信线路109和外部装置107可以被部分地具体化为主干网络接口306和多个外部装置207A-207E,比如VCRs,调制解调器,装配照相机等等。
上述构成部件301-309通过总线310相互连接。它们一同提供根据图1描述的信息输入装置的各种功能。
下面参照图4更详细地解释由上述参照图1到图3描述的信息输入装置作出图像的输入板209。如上所述,最好将输入板209分为五类区域A,B,C,D和E。
在输入板209的第一类区域A中,提供一确认图像,用于确认一个特别的塑料板或纸张是将被允许和本发明的信息输入装置100一起使用的输入板209。如上面参照图1,2和3所解释的,确认图像被供作识别目标图案。由CCD视频照相机201作出类别区A中的确认图像,并由CPU301将其和存储在ROM307中的比较图像信息进行比较。当CPU301可以在输入板209的确认图像和存储在ROM307中的比较图像信息之间找到匹配,操作进入使用类别区B的确认处理。如果不存在匹配则在显示器205A上显示一个错误消息。
在第二类别区B中,提供一个(或几个图标)作为识别目标图案用于将特别的板和电子信息相联系。确认图标具有方向性和数量预定的可以辨认的不同的方位。例如,在图4的输入板209的实施例中,使用了类似钥匙的图标。该钥匙的形状有一个窄的端和一个宽的端,这两端给出了它的方向性并允许一端可以识别方位。此外,确认图标的不同的方位表示不同的数值,编码和含义。在图4所画的实施例中,每一个作为类别区B中识别目标图案的一部分的确认图标有八个不同的方位。因此,可以确认一个确认图像的方向,从而可以单根据图像的方位表示八个不同的编码值。图5A描述了一个钥匙形状的图像的八个不同方位的例子,其中八个不同的编码值被指派给各个方位。
通过将少量附加的不同的方位图像按一顺序一起使用,可以表示更多的不同编码。例如,使用四个确认图像的顺序排列,每一个有八个不同的方位,可以表示4096个不同的编码。可以用四个有八个方位的图像表示的值的数量计算如下:
(8方位)图像1×(8方位)图像2×(8方位)图像3×(8方位)图像4=84=4096个值
使用图5中描述的方位值分配的例子,图5B所示的确定图像500的排列好的次序表示大小为“2574”的编码值。
在第三类别区C中,提供一个位置校正标志。位置校正标志用于执行由CCD视频照相机201拍摄的图像的位置校正。
在第四类别区D中,为用户提供了一个图表,用于执行选择指示。通过在区域D中选择图表,用户可以选择在显示器205A上显示哪个的信息(但并不显示在输入板209的类别区E)。就是说,当在输入板209的类别区E中提供的选择信息不同于显示器205A上显示的选择信息时,类别区D被用于作出选择指示。这允许信息输入装置100可以通过显示器205A动态地添加未显示在类别区E中的输入选项。
例如,如图4所示,当在类别区D中提供了上,下,左,和右的箭头图形时,用户可以在类别区D中选择一个任意的箭头图形,以执行光标的移位操作和/或显示在显示器205A上功能选择屏中的确定操作。虽然在类别区D中所提供的图形可以被具体化为一个上,下,左,和/或右的箭头图形以提供光标的移动功能,图形并不需被限制于这种箭头形状的图形,而且功能也并不需被限制于这种光标的移动功能。
例如,如果输入板要被用作用于控制VCR和音频系统的公用多媒体,要提供为两个外部装置所共有的用于控制功能的图形。VCR和音频系统常常具有共同的功能,如重演,停止,和录制功能。因此,通过将类别区D中的图形和包含了被嵌入的处理命令和位置信息的命令配置信息相关联,便能够执行被嵌入的处理命令。在上述例子中,被嵌入的处理命令包含:向上,向下,向左,和向右的光标移动命令,以及运行,停止和录制命令。但是,举一个例子,对于小型的CD唱机,类似的图示可以被用于例如光道内前进,前进到下一个光道,光道内倒退,倒退到原先的光道,退出,停止,和改变信息显示模式的命令。请回忆当信息板209被确认和识别后,命令配置信息被复制到控制单元103中的暂时存储单元中。
在第五类别区E中提供通过信息输入装置100可以得到的实质信息的内容。这种内容列表可以以许多不同的方式显示。例如,它可以按表格的形式显示,该表格例举了以基于主题的次序排列的总标题,或者作为一个图像映像,该映像类似于Internet上万维网(WWW)的网页上所使用的超文本传输协议(HTTP),和/或作为一个详细索引,该索引详细列举了可按字母顺序逐项罗列的实际信息的每一位。用户可以通过看在这个类别区E中描述的信息,知道由CCD视频照相机201作出的什么信息是可以用特别的输入板209访问的。
另外,当特别的输入板209由图1所示的信息输入装置100认出,用户可简单地通过指点到内容信息中想要的信息项,从在类别区E中提供的内容信息进行选择。这个指点的步骤提供一个可以由接口系统100识别的指示选择图像的图案。然后,这个特别的选择的指示被提供给能够执行某个预定的处理的控制单元103。
作为一个例子,考虑图6的输入板209。类别区E包括VCR控制按钮的图形图像映像。图形600代表提供一组直观控制的六个不同的控制按钮,这些控制相应于播放610、停止620、暂停630、倒带640、进带650和弹出660的VCR功能。此示例布局让用户便于使用六个控制按钮来操作VCR。虽然使用VCR的控制按钮来说明类别区E中所述的信息内容,但本领域内的技术人员应知道可使用适当地输入板209来控制许多不同的装置,尤其是,信息内容不必限于此VCR控制按钮。
作为另一个例子,类别区E中的内容信息可以具有一系列菜单的形式。于是,响应于用户用手指指定类别区E中的一个特定菜单,在显示器205A上显示相应于选中菜单的后续菜单项目显示。于是,通过把类别区E中的菜单与连接信息和命令结构信息(包括嵌入的处理命令和位置信息)相连,来显示连接信息并执行嵌入的处理命令。在此例中,响应于用户指定输入板209上有关初始菜单的位置,在显示器205A上显示一系列菜单项目。一旦确认和识别信息板209,则再次把相关的连接信息和命令结构信息拷贝到控制单元103中的临时存储单元中。
在如上所述构成的多媒体系统中,图像认知单元102进行识别所使用的输入板209类型的识别处理。这是在通过对从CCD视频摄像机201接收到的输入板209的图像进行确认处理而确认输入板209发生的。
通过首先进行的诸如消除噪声、可变密度处理以及调节阈值等预处理来实施确认处理。接着,进行位置校正。然后系统继续选取用作输入板209上部中心处类别区A中认知目标图案的确认图标的质心和轮廓。最后,系统尝试把图像信息与所存储的确认图标图案相匹配。
接着,进行识别处理。例如,如图8的流程所示,相对于获得的作为聚焦在输入板209上的CCD视频摄像机201的成像输出的图像信息,首先进行诸如消除噪声、可变密度处理以及阈值调节阈值等预处理(S801)。然后,首先根据类别区C(最好位于输入板209的四个角上)中所提供的位置校正标志的图像信息检测和测量位移,来进行位置校正处理(S802)。位置校正处理(S802)然后对相应于位移数量的坐标系进行转换。接着,对作为输入板209的类别区B中认知目标图案的识别图标实施选取处理(S803),并对旋转的图标代码进行确定处理(S804)。
在位置校正处理(S802)中,根据获得的作为聚焦在输入板209类别区C上的CCD视频摄像机201的成像输出的图像信息,检测离开基准位置的位移。如图9所示,系统覆盖了位置校正标志上的校正图案,并检测任意位置误差的方向和大小。例如,如果适当地放置输入板209,则发生重合900,如果输入板209太高并向左偏离,则发生向左上偏移910,如果输入板209太高并向右偏离,则发生向右上偏移920。然后,通过依据位移的方向和大小对图像认知的坐标系进行数学转换来实施位置校正,除非检测到重合900的图案。
在对识别图标进行的选取处理(S803)中,从图10所示作为聚焦在输入板209类别区B上的CCD视频摄像机201的成像输出而获得的图像信息中,来找到每个图标的可变密度值的质心以及外接矩形。在图10中,用白色的点来表示通过识别图标选取处理(S803)所确定的每个图标的质心,并用虚线来表示外接矩形。
在旋转图标代码强度处理(S804)中,通过参考旋转图标的方向特征表来确定图标八个不同方向中的一个方向。方向特征表按照两个参数来限定八个不同的方向;即,在识别代码选取处理(S803)中找到的质心和外接矩形的宽高比。方向特征表如下表1所示。它是根据每个图标方向特征所示的条件预先确定的。例如,表中的第二行读作:“如果外接矩形的宽高比为2.5或更大,且质心位置处于外接矩形的上半部分,则旋转图标向下。”根据给图标方向分配如图5A所示的代码值,可把旋转图标转换成代码。对四个图标中的每个图标都重复此处理,从而确定一系列四个代码。
表1
  图标的方向                  特征
向上   宽高比5∶2,质心位于矩形的下半部分
向西   宽高比5∶2,质心位于矩形的上半部分
向右   宽高比2∶5,质心位于矩形的左半部分
向左   宽高比2∶5,质心位于矩形的右半部分
向右上   宽高比1∶1,质心位于矩形的左下区域
向右下   宽高比1∶1,质心位于矩形的左上区域
向左上   宽高比1∶1,质心位于矩形的右下区域
向左下   宽高比1∶1,质心位于矩形的右上区域
接着,把从四个旋转图标中找到旋转图标代码序列与图11所示的预定旋转图标代码组相比较。选中旋转图标代码序列和一个预定代码组之间的最佳匹配作为输入板209的旋转图标代码。通过找出预定旋转图标代码组,该预定旋转图标代码组的各部分与旋转图标代码序列之间存在的差别总和最小,从而来确定最佳匹配。如果适于预定旋转图标代码组的差别总和超过一阈值,则不认为认知目标是已知代码,把该认知目标判定为不可认知。
如上所述,控制单元103确定图像认知单元102对认知目标的认知结果与存储单元104中所存储的一些信息之间是否可能相关。如果可能相关,则存取该信息。即,如果可能与设备本身所存储的信息相关,则立即存取相关信息。如果没有信息与当前存储在存储单元104中的图像认知单元102的认知结果相关,则把认知结果传输到信息分配单元106。
在此情况下,把相关信息存储在信息分配单元106或位于连到信息分配单元106的外部通信网络的信息处理单元中。于是,在信息分配单元106找出与图像认知单元102对认知目标进行的认知结果相关的信息后,控制单元103把相关信息读入设置在控制单元103内的临时存储单元中。
于是,当完成对输入板209所进行的识别并确定其类型时,根据读入设置在控制单元103内的临时存储单元的信息来进行处理。这响应于来自图像认知单元102的输入/选择指示而发生。
图12示出图像认知单元102所进行的输入/选择指示处理中所使用步骤的一个实施例。首先进行预处理(S1201)。这包括消除噪声、可变密度处理和调节阈值等功能。在用户在输入板209上进行输入/选择指示期间,对作为CCD值摄像机201的成像输出而获得的图像信息进行预处理(S1201)。
接着,根据输入板209四个角处的类别区C中所提供的位置校正标志的图像信息来检测图9所示的位移,从而开始位置校正处理(S1201)。通过对相应于上述图9所示位移大小和方向的坐标系进行数学转换来进行位置校正处理(S1202)。结果,获得经位置校正的二进制图像信息。
在下一个步骤中,进行输入/选择指示的选取处理(S1203),然后进行输入/选择指示的确定处理(S1204)。
在输入/选择指示选取处理(S1203)中,把预先存储的输入板209的原始图像与检测到输入/选择指示的可变密度图像相比较。例如,经位置校正的可变密度图像信息可以是如图13所示由手指指定的图案,选取该图像信息作为不同于输入板209原始图像的差别图像。即,确定用于指定输入/选择指示的访问指示输入方式。指示区包括选取的整个差别图像。于是,可确定指示区内的外接矩形和像素分布。
接着,在输入/选择指示确定处理(S1204)中,从外接矩形每条边上的像素密度分配来确定指示区内指示器的进入方向。相对于进入方向在矩形内进行图像扫描,从而确定指示器的端点位置。在图11的示例实施例中,通过确认是否有大量高密度的像素分布在指示区的特定边来找出指示器的进入方向。类别区E被分成多块已知区域,根据表2中所指定的指示器进入方向和相应的扫描方式,对这些方块中内的像素进行扫描,从而进行图像扫描。于是,通过只扫描被分成多块的图像的指示区,可在有限的扫描区中对指示器的端点进行高速检测。
表2
   进入方向            扫描方式
从右边进入 从上边扫描矩形中的左端方块
从左边进入 从上边扫描矩形中的右端方块
从上边进入 从左边扫描矩形中的下端方块
从下边进入 从左边扫描矩形中的上端方块
从右上边进入 从左边扫描矩形中的左下端方块
从右下边进入 从左边扫描矩形中的左上端方块
从左上边进入 从左边扫描矩形中的右下端方块
从左下边进入 从左边扫描矩形中的右上端方块
检测到的端点位置被转换成相应的命令/信息,它们被传输到控制单元103。在图13所示的例子中,手指的端点位置被转换成相应的区域标号“6”。在图13中,由交叉阴影所示的区域是类别区E内相应于区域标号“6”的一个方块。
最后,控制单元103执行相应于区域标号“6”的处理,该处理由命令构成信息所限定,该信息包含在存储在控制单元103的临时存储单元中识别输入板209所获取的相关信息中。
因此,在信息输入设备100中,通过对输入板209上的认知目标图案进行图像认知来进行确认处理。即,可把一静态媒体作为认知目标,并在认知目标和相应信息之间进行联系。通过对访问指示输入图形进行图像认知来检测指定相关信息的访问指示输入。于是,使用显示在静态媒体上的认知目标可进行对信息的动态存取。
认知目标图案不限于上述实施例所述的钥匙形状的图案。它可以是具有某个方向性的任意特定图案。因此,通过把诸如图14所示的其它认知图案的形状与方向相组合,可定义不同类型输入板209的无限标号。
此外,在对输入板209进行认知后,可以只用手指给输入板209指定所需的输入/选择指示内容,来进行输入/选择指示。于是,可便于进行信息输入/输出/选择操作,而不必直接了解硬件,而且可使输入/选择指示内容与来自非常大量数据的特定信息相联系。
此外,在上述实施例中,使用图标图像的可变密度值的质心和外接矩形对旋转的图标代码矩形认知。然而,可通过匹配处理来找到相对于所准备的样板图像的方向。
在依据本发明的信息输入方法中,把具有旋转模式的认知目标图案附加到物体表面上,在所述旋转模式中,由一个方向定义一个代码,响应于此,通过对认知目标图案进行图像认知,来输入相应于认知目标图案的旋转模式的代码信息。于是,对于一给定的认知目标图案,可以产生相应于不同旋转模式的许多不同的代码值。此外,还可明显地增加代码值的数目。
依据本发明的信息输入板具有一显示区,所述显示区至少具有一用于输入信息的区域和一用于输入信息的识别代码的识别区。在显示区中,输入信息的识别代码具体表现为具有旋转模式的认知目标图案,在该旋转模式中,由一个方向对于一个代码。于是,对一个给定的认知目标图案,可获得许多识别代码值,从而明显地增加每单位面积中的独有识别符。
此外,在依据本发明的信息输入板中,由于在显示区的多个位置处设有一位置校正区,且每个位置校正区包括一位置校正标志,所以在图像认知处理期间,可从任一个位置校正标志中确定由于进行位置校正的信息。
此位置依据本发明的信息输入装置中,使用具有多个位置校正标志的输入板保证由信息输入设备准确地确认特定输入的认知目标图案。于是,通过防止因位置误差的结果而把认知目标图案错误地作为另一板的认知目标图案,可保持认知处理和整个系统的安全性。
依据本发明的信息输入设备包括信息输入板。信息输入板包括一显示区,该显示区至少具有一提供输入信息的输入信息区。信息输入板的显示区也包括至少一个提供输入信息的识别代码的识别区。在显示区中,输入信息的识别代码具体表现为认知目标图案。目标图案包括由目标图案的方向所定义的旋转模式特征。通过图像拾取单元使信息输入板成像来获得成像信息。图像认知单元通过对图像拾取单元输出的成像信息进行处理,来认知信息输入板上的认知目标图案。根据识别区的成像信息,来确定认知目标图案的旋转模式。如上所述,目标图案的旋转模式找到了信息输入板的识别代码。一旦已进行此确定且信息输入板已被识别,则通过确认处理装置确认通过信息输入板输入的信息。于是,可使用所识别的信息输入板安全地输入信息。此外,使用信息输入板上的一个认知目标图案,也可产生相应于不同旋转模式的许多不同的识别代码值。从而,可明显地增加用于识别不同物体的识别代码的数目。
于是,本发明提供了用户不必了解硬件也可容易操作的信息输入设备、信息输入方法和信息输入板。此外,本发明可把小型的简单接口与包含在大量数据内的特殊信息直接相连。通过简单的操作,用户可直接存取所需的信息。本发明也可明显地增加识别商品和物品所使用的每单位面积内独有识别符的数目。
在不背离本发明范围和精神的情况下,本发明的结构和操作方法的各种其它的修改和改变对本领域内的那些熟练技术人员是很明显的。虽然结合特殊的较佳实施例来描述本发明,但应理解提出的本发明不限于这些特殊实施例。试图通过以下的权利要求来限定本发明的范围,从而覆盖在这些权利要求及其等价形式内的结构和方法。

Claims (6)

1.一种信息输入方法,其特征在于包括以下步骤:
把目标图案附加到物体表面,目标图案具有一旋转模式,在所述旋转模式中由目标图案的一个方向来定义一个代码;以及
通过对目标图案进行图像认知来输入相应于目标图案旋转模式的代码信息。
2.如权利要求1所述的方法,其特征在于相对于附加到物体表面的位置校正标志来确定目标图案的方向。
3.一种信息输入板,其特征在于包括:
显示区,包括
输入信息区,其中提供了输入信息;以及
识别区,其中提供了输入信息的识别代码,
设置在显示区的识别区中的输入信息的识别代码包括具有旋转模式的目标图案,在所述旋转模式中,由目标图案的一个方向来定义一个代码。
4.如权利要求3所述的信息输入板,其特征在于显示区还包括分布于显示区上的一个或多个位置校正区,每个位置校正区包括一位置校正标志。
5.一种信息输入设备,其特征在于包括:
信息输入板,包括一显示区,所述显示区包括其中提供输入信息的输入信息区和其中提供输入信息的识别代码的识别区,输入信息的识别代码包括具有旋转模式的目标图案,在所述旋转模式中,由目标图案的一个方向来定义一个代码;
图像拾取单元,用于使信息输入板的显示区成像并产生相应的成像信息;
图像认知单元,用于使用来自图像拾取单元的成像信息对目标图案进行图像认知,其中成像信息包括信息输入板中显示区的设备区的图像;以及
处理装置,用于确定图像认知单元所认知的目标图案的旋转模式,从而确定信息输入板的识别代码以及在信息输入板上所包含的确认信息。
6.如权利要求5所述的设备,其特征在于信息输入板还包括分布于显示区上的一个或多个位置校正区,每个位置校正区包括一位置校正标志,以及
图像认知单元包括使用来自图像拾取单元的成像信息对目标图案进行位置校正处理,其中成像信息包括信息输入板中显示区的位置校正区的图像。
CNB971230080A 1996-11-26 1997-11-26 信息输入方法、信息输入板以及信息输入设备 Expired - Fee Related CN1134725C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP31528996 1996-11-26
JP315289/1996 1996-11-26
JP315289/96 1996-11-26

Publications (2)

Publication Number Publication Date
CN1190756A true CN1190756A (zh) 1998-08-19
CN1134725C CN1134725C (zh) 2004-01-14

Family

ID=18063613

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB971230080A Expired - Fee Related CN1134725C (zh) 1996-11-26 1997-11-26 信息输入方法、信息输入板以及信息输入设备

Country Status (10)

Country Link
US (1) US6188802B1 (zh)
EP (1) EP0844586B1 (zh)
KR (1) KR100698976B1 (zh)
CN (1) CN1134725C (zh)
CA (1) CA2221669C (zh)
DE (1) DE69732213T2 (zh)
ID (1) ID18991A (zh)
MY (1) MY119088A (zh)
SG (1) SG54595A1 (zh)
TW (1) TW356545B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100382095C (zh) * 2004-12-14 2008-04-16 索尼株式会社 信息处理装置、输入设备以及方法、程序和信息处理系统
CN100399795C (zh) * 2004-12-31 2008-07-02 乐金电子(中国)研究开发中心有限公司 相机手机的照片文件保存及传输方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204232B1 (en) * 1997-10-30 2001-03-20 Novo Nordisk A/S α-amlase mutants
KR20000038878A (ko) * 1998-12-09 2000-07-05 윤종용 사용자를 인식하는 화면 보호기를 갖는 컴퓨터 시스템 및 그의화면 보호기 처리 방법
AUPQ439299A0 (en) * 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
AU2002952259A0 (en) 2002-10-25 2002-11-07 Silverbrook Research Pty Ltd Methods and apparatus
US7128270B2 (en) 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
JP4018855B2 (ja) * 1999-11-22 2007-12-05 Necアクセステクニカ株式会社 タッチパネル入力座標変換装置およびタッチパネル入力座標変換方法
FR2803411B1 (fr) * 2000-01-04 2002-03-15 David Ruby Procede de codage optique d'une adresse internet imprimee sur un support visible
JP2001222375A (ja) * 2000-02-08 2001-08-17 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
JP4048836B2 (ja) * 2002-05-24 2008-02-20 ソニー株式会社 端末装置、端末装置のコンテンツ取得方法、及びサーバ
AU2003266852B2 (en) * 2002-10-25 2007-06-14 Silverbrook Research Pty Ltd Orientation-indicating cyclic position codes
CA2502483C (en) 2002-10-25 2010-12-21 Silverbrook Research Pty Ltd Orientation-indicating cyclic position codes
JP2006127025A (ja) * 2004-10-27 2006-05-18 Design Barcode Kk デザインバーコード

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5887652A (ja) * 1981-11-19 1983-05-25 Ricoh Co Ltd 画像処理装置
US4776464A (en) 1985-06-17 1988-10-11 Bae Automated Systems, Inc. Automated article handling system and process
JPH01220075A (ja) * 1988-02-29 1989-09-01 Nippon Taisanbin Kogyo Kk 表示部読取方法
US4958064A (en) 1989-01-30 1990-09-18 Image Recognition Equipment Corporation Bar code locator for video scanner/reader system
JP2873338B2 (ja) * 1991-09-17 1999-03-24 富士通株式会社 動物体認識装置
JPH05334470A (ja) * 1991-12-27 1993-12-17 Xerox Corp 自己クロッキング図形記号コード
US5221833A (en) * 1991-12-27 1993-06-22 Xerox Corporation Methods and means for reducing bit error rates in reading self-clocking glyph codes
US5245165A (en) * 1991-12-27 1993-09-14 Xerox Corporation Self-clocking glyph code for encoding dual bit digital values robustly
JP3074214B2 (ja) * 1992-03-04 2000-08-07 富士通株式会社 移動物体認識装置
US5288986A (en) * 1992-09-17 1994-02-22 Motorola, Inc. Binary code matrix having data and parity bits
CN1104791A (zh) * 1993-12-30 1995-07-05 富冈信 一种数据处理用的二维代码纸
JP3230371B2 (ja) * 1994-05-30 2001-11-19 新日本製鐵株式会社 文字認識装置及び文字認識方法
JP2788604B2 (ja) * 1994-06-20 1998-08-20 インターナショナル・ビジネス・マシーンズ・コーポレイション 2次元情報パターンを有する情報表示タグ、それを用いた画像処理方法及び画像処理装置
US5718457A (en) * 1994-07-29 1998-02-17 Elpatronic Ag Method of marking objects with code symbols
US5887140A (en) 1995-03-27 1999-03-23 Kabushiki Kaisha Toshiba Computer network system and personal identification system adapted for use in the same
EP0817727A1 (en) * 1995-03-31 1998-01-14 Kiwisoft Programs Limited Machine-readable label
JPH09185695A (ja) * 1995-12-27 1997-07-15 Sanyo Electric Co Ltd 画像認識システム、文書処理装置、コンピュータ及びカメラ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100382095C (zh) * 2004-12-14 2008-04-16 索尼株式会社 信息处理装置、输入设备以及方法、程序和信息处理系统
CN100399795C (zh) * 2004-12-31 2008-07-02 乐金电子(中国)研究开发中心有限公司 相机手机的照片文件保存及传输方法

Also Published As

Publication number Publication date
CA2221669A1 (en) 1998-05-26
ID18991A (id) 1998-05-28
DE69732213T2 (de) 2005-12-15
CA2221669C (en) 2007-09-18
KR100698976B1 (ko) 2007-07-09
TW356545B (en) 1999-04-21
EP0844586A1 (en) 1998-05-27
CN1134725C (zh) 2004-01-14
DE69732213D1 (de) 2005-02-17
KR19980042732A (ko) 1998-08-17
SG54595A1 (en) 1998-11-16
MY119088A (en) 2005-03-31
EP0844586B1 (en) 2005-01-12
US6188802B1 (en) 2001-02-13

Similar Documents

Publication Publication Date Title
CN1183589A (zh) 信息输入的方法及设备
CN1134725C (zh) 信息输入方法、信息输入板以及信息输入设备
CN1138407C (zh) 因特网电视装置及其外围装置和热点聚焦的移动方法
CN1866184A (zh) 2-d阵列中的译码和差错校正
CN100345094C (zh) 再现装置、照相机及再现装置的显示转换方法
CN1344102A (zh) 电视接收机、接收机和程序执行方法
CN1196056C (zh) 信息处理装置
CN1697509A (zh) 用户接口控制设备、用户接口控制方法以及计算机程序
CN1725168A (zh) 三维运动图形用户接口和提供其的方法和设备
CN1752912A (zh) 电子设备以及用于控制其菜单显示的方法
US9232094B2 (en) System and method for move and drop of clone image on a touch panel
CN101056387A (zh) 会议系统
CN1855013A (zh) 用于识别数据输入终止的系统和方法
CN1610904A (zh) 运动图像数据管理设备和方法
CN1810022A (zh) 成像方法及其系统
JP5929883B2 (ja) 画面生成装置、遠隔操作装置、遠隔制御装置、画面生成方法、および画面生成プログラム
CN1901637A (zh) 遥控系统,遥控器,遥控方法,信息处理设备和信息处理方法
CN102572172B (zh) 图像处理系统
CN1691729A (zh) 图像数据通信系统、图像服务器、便携式电子装置及控制方法
CN2705828Y (zh) 通信系统
CN1367990A (zh) 便携机以及遥控系统
CN1484165A (zh) 文件信息的输入设备,输入方法,输入程序以及记录介质
CN1240323A (zh) 摄像机用户接口、摄像机控制方法及计算机程序产品
JP3879208B2 (ja) 情報入力方法、情報入力媒体及び情報入力装置
JP2008035532A (ja) 画像表示方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040114