CN1316335C - 信息输入指示方法及信息输入指示装置 - Google Patents

信息输入指示方法及信息输入指示装置 Download PDF

Info

Publication number
CN1316335C
CN1316335C CNB028026217A CN02802621A CN1316335C CN 1316335 C CN1316335 C CN 1316335C CN B028026217 A CNB028026217 A CN B028026217A CN 02802621 A CN02802621 A CN 02802621A CN 1316335 C CN1316335 C CN 1316335C
Authority
CN
China
Prior art keywords
information
mentioned
signal conditioning
sign indicating
indicating number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028026217A
Other languages
English (en)
Other versions
CN1465003A (zh
Inventor
臼田裕
出泽正德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1465003A publication Critical patent/CN1465003A/zh
Application granted granted Critical
Publication of CN1316335C publication Critical patent/CN1316335C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

拍摄部(11)拍摄对象物表面,根据由拍摄部(11)拍摄的拍摄信息,通过图象识别部(12)和控制部(13),使用于表示存储部(14)存储的对象物对应的信息集的物体识别码和用于在上述对象物对应的信息集内指示信息的信息与对象物表面上的位置对应,读取识别上述对象物对应的信息并鉴定对象物。从而,利用信息系统内存储的知识等时,可在不产生断点的情况下自由地访问。

Description

信息输入指示方法及信息输入指示装置
技术领域
本发明涉及采用图象识别的信息输入指示方法及信息输入指示装置。
背景技术
以前,通过组合已有的AV(音频·视频)设备、信息设备和通信设备的各功能,提供了带通信功能的便携型信息终端和带通信功能的摄象机一体型VTR(Video Tape Recorder:磁带录象机),以及同时具备通信功能和AV功能的个人计算机等的各种多媒体设备,作为可输入输出多媒体信息的装置。进而,经由以太网、令牌环、ATM等组成的通信网络和公共电话线路等的有线通信网或红外线通信和无线电话通信、卫星通信等的无线通信网连接各种多媒体设备,构成多媒体系统。
传统的多媒体设备中,作为个人计算机的输入装置采用的键盘和鼠标、触板、专用控制器、麦克风等,直接作为输入装置使用。这些输入装置中,信息输入指示的所有线索在计算机内,通常人类活动的空间内的对象物和计算机内的数据之间存在很大的差别,成为阻碍人类的连续思考的要因。
另外,现在,利用以i模式(iMode)为代表的便携终端的互联网访问占有很大的比重。以便携电话为代表的便携型的信息终端中,考虑终端面积的限制和电话的操作性等,采用电话用多功能键和微动键。从而,为了进行网页检索的关键字输入和网址输入,要求熟练多功能键的操作,这对初学者等来说相当困难。
作为上述传统的多媒体设备的输入装置使用的键盘和鼠标、触板、专用控制器,麦克风等的输入装置的操作方法,不能说是适于人类的感觉的操作方法,对计算机等的操作不熟悉的用户,难以想象直观的操作方法,为了熟练必须具备有专门的知识和训练。
另外,人类以3维活动空间内的各种各样的对象物为线索进行记忆和各种各样的思考,因而,希望支持自然的人类智力活动的信息系统,在进行这些3维活动环境中的思考和利用信息系统内存储的知识等时,可在不产生断点的情况下自由地访问。
发明的公开
本发明的目的为提供信息输入指示方法及信息输入指示装置,其在利用信息系统内存储的知识等时,可在不产生断点的情况下自由地访问。
本发明中,通过使用户的活动环境中的对象物与信息系统内存储的信息集对应,向各对象物表面附加用于表示在信息系统的存储装置中存储的该对象物对应的信息集的物体识别码,使用于在上述对象物对应的信息集内指示信息的信息与对象物表面上的位置对应,自动地读取识别上述对象物对应的信息并鉴定对象物,在对象物表面上指示位置,从而,可在存储装置内的信息集及信息集内指示选择并利用信息。
即,通过使对象物与信息系统内存储的信息集对应,人类可不不脱离活动环境,通过指示对象物来指示、选择目标信息集。另外,在对象物上指示位置而选择的信息集内必要的信息可以以人类的活动环境内同样的自然形态进行指示、选择。
本发明的一种信息处理方法,其特征在于:读取在对象物上附加的物体识别码;选择所读取的物体积别码所示记录部中所记录的信息集;读取与上述物体识别码不同的、使用者所指示的对象物表面上的位置信息;根据上述读取的位置信息,认识与位置信息对应的信息集中的信息;根据所认识的信息集中的信息,对控制部作控制。
另外,本发明的一种信息处理装置,其特征在于包括:存储单元,存储与对象物对应的信息集;物体识别码读取单元,读取对象物表面的物体识别码;控制部,选择与表示物体识别码的上述存储单元中存储的对象物对应的信息集;位置信息检测单元,检测使用者所选择的对象物上的位置信息;上述控制部根据检出的位置信息,认识与位置信息对应的信息集中的信息;根据所认识的信息集中的信息作控制。
另外,本发明的信息输入指示装置,例如,具备拍摄对象物表面的拍摄单元,作为上述物体识别码读取单元及位置信息检测单元,上述信息处理单元根据上述拍摄单元拍摄的信息,使用于表示上述存储单元存储的对象物对应的信息集的物体识别码及用于在上述对象物对应的信息集内指示信息的信息与对象物表面上的位置对应,读取识别对象物对应的信息并鉴定对象物。
另外,本发明的信息输入指示装置中,作为上述对象物,采用例如板状的信息输入介质。
另外,本发明的信息输入指示装置,例如,具备板状的坐标输入单元,作为上述位置信息检测单元,由上述板状的坐标输入单元检测上述板状的信息输入介质上的位置信息。
另外,本发明的信息输入指示装置中,上述板状的坐标输入单元由透明材料形成。
另外,本发明的信息输入指示装置中,上述板状的坐标输入单元形成网孔状。
另外,本发明的信息输入指示装置,例如,具备光信息读取单元,作为上述物体识别码读取单元,在对象物表面读取以光可读取方式记录的物体识别码。
而且,本发明的信息输入指示装置,例如,具备磁信息读取单元,作为上述物体识别码读取单元,在对象物表面读取以磁可读取方式记录的物体识别码。
图面的简单说明
图1表示采用本发明的信息输入指示装置的功能构成方框图。
图2是上述信息输入指示装置的示意的外观透视图。
图3是上述信息输入指示装置中使用的信息输入板的示意平面图。
图4是表示上述信息输入板中显示的Umark图形码的结构平面图。
图5A及图5B是表示上述Umark图形码的码形式例的图。
图6是表示上述Umark图形码的排列例的图。
图7是表示上述信息输入指示装置的主要硬件构成的方框图。
图8是表示作为便携终端中的可视互动用户接口的文字输入接口的结构定义的示意图。
图9是表示图案匹配法的文字识别的处理顺序的流程图。
图10是表示使用安装有图形码识别程序的便携终端的数据业务系统的构成例的图。
图11是表示使用安装有图形码识别程序的便携终端的多媒体数据业务系统的构成例的图。
图12是表示使用安装有图形码识别程序的便携终端的家电设备控制业务系统的构成例的图。
图13是表示使用安装有图形码识别程序的便携终端的邮件业务系统的构成例的图。
图14是视图板系统的外观透视图。
图15A及图15B表示由信息输入指示装置的拍摄部拍摄的圆柱形状的对象物及三角锥形状的对象物的示意透视图。
图16是具有光信息读取部和板状坐标输入部的信息输入指示装置的示意平面图。
图17是表示构成磁信息读取部的基本单位的电磁元件的构造的示意正视图。
图18是成二维矩阵状配置上述基本单位的电磁元件而形成的磁信息读取部的示意透视图。
实施发明的最佳实施例
以下,参照图面详细说明本发明的实施例。
本发明由例如图1所示构成的信息输入指示装置10实施。该图1所示信息输入指示装置10具备:拍摄部11、图象识别部12、控制部13、存储部14、输出部15。而且控制部13经由网络和家庭总线等的通信线路18、19与信息分发部16及外部装置17连接。
拍摄部11拍摄纸等的物体表面上附加的识别对象图案和用户用手指等访问指示的图案。具体地说,例如图2所示,由观测器25A上设置的CCD视频摄象机21组成。CCD视频摄象机21拍摄垂直安装有观测器25A的介质基座28上安装的信息输入板29。
该图3所示信息输入板29用于设备控制,设置有各个机种和设备的远距离操作用的识别码的显示部29A、机种和设备对应的控制内容的显示部29B、机种和设备对应的控制内容的控制中止命令的显示部29C。
识别码的显示部29A中,如图4所示,显示了以旋转图形要素作为一个单位的识别码(以下,称为Umark图形码。)30,其由圆标记31及其周围在8个方向成放射状配置的8个长方形标记32组成。一个单位的Umark图形码30中,定义了与8个长方形标记32对应的8种码。
该Umark图形码30由于可由利用者自由定义信息,可从上述8个长方形标记32选择其一进行涂抹而使用。另外,该Umark图形码通过设置码检测标记40,可容易地由码单独进行图象识别。
这里,一个单位的Umark图形码由于依存于图形的旋转方向,因而基本表示成图5A所示8进制数,如图5B所示,也可表示成10进制数,以便于利用者识别。
另外,实际利用上述Umark图形码时,组合多个一个单位的Umark图形码30,如图6所示情况1、2,可在纵方向或横方向的一个方向上排列显示,或如图6所示情况3、4、5,可进行采用模块化配置的高效率码显示。以码检测标记40为基准,可容易地进行上述Umark图形码30的图象识别。
另外,图象识别部12图象识别由拍摄部11拍摄的图象信息。由图2所示CCD视频摄象机21供给作为信息输入板29的拍摄输出而获得的图象信息。然后,该图象识别部12中,对由CCD视频摄象机21供给的作为信息输入板29的拍摄输出而获得的图象信息,执行识别对象的识别和认证处理,将该识别结果及认证结果向控制部13输出。另外,图象识别部12在与后述的识别对象的识别结果对应的信息执行相关后,随时识别用户发出的输入/选择指示,向控制部13输出该识别结果。
控制部13如下控制各部间的信息收发。
首先,判断图象识别部12的识别对象的识别结果是否可以与存储部14存储的信息执行相关。可与存储部14内存储的信息执行相关时,执行与存储部14存储的信息的相关。即,可以与自己的装置内存储的信息执行相关时,与该信息执行相关。不能与存储部14存储的信息执行相关时,向信息分发部16发送图象识别部12的识别对象的识别结果,接收来自信息分发部16的相关结果。此时,相关的信息存储到信息分发部16或与信息分发部16连接的外部通信网络中存在的信息处理装置内。这样,获得与图象识别部12的识别对象的识别结果对应的信息的相关后,控制部13将相关的信息读入控制部13内设置的暂时存储部。该读入的信息中,包括:输出输出部15并显示的显示信息和用于控制外部装置17的控制信息、链接到其他信息的链接信息、信息输入板29的构成信息等。然后,对每个来自图象识别部12的输入/选择指示都进行认证,对显示画面的更新和外部装置17进行控制,其操作内容和信息的分发结果在输出部15上显示。
这里,说明读入上述的控制部13内的暂时存储部的各种信息。
显示信息包括文字、图象、布局信息、声音信息等。控制部13根据该显示信息,控制输出部15的画面显示和发音。
控制信息包含在有来自用户的输入/指示时用于控制外部装置17的控制命令。控制部13根据该控制信息控制外部装置17。例如,外部装置17为VTR(Video Tape Recorder)时,包括:控制VTR的动作的再生控制信息、停止控制信息、快进控制信息、倒带控制信息、暂停停止控制信息等。
链接信息包含在有来自用户的输入/指示时用于从存储部14、信息分发部16或与通信网络连接的外部的信息处理装置读出存储的其他信息的地址等。控制部13根据该链接信息,还进行其他信息的读入处理。例如,互联网中采用的URL(Uniform Resource Locator)等可作为该链接信息。
构成信息包含有表示信息输入板29的机种和设备对应的控制内容的显示部29B中记载有哪些内容的信息,还包含当用户输入/选择指示时,用户指示的板上的物理位置和与该位置对应的下一个处理命令。例如,与位置坐标对应,记述有该位置由用户指示时,与用于执行上述的控制信息或链接信息的处理命令。
另外,存储部14存储与识别对象图案相关的信息。存储部14存储的信息是用于控制外部装置17的信息。这些信息通过事先经由信息分发部16与网络连接的外部的信息处理装置和卫星通信等发送到存储部14。
输出部15由输出根据来自图象识别部12的输入输出指示的操作内容和信息的分发结果的显示器、扬声器和打印机等组成。
信息分发部16经由以太网、令牌环、ATM的网络等的有线通信网或红外线通信和PHS通信、卫星通信等的无线通信网,与控制部13连接。信息分发部16在控制部13不能执行图象识别部12的识别对象的识别结果和存储部14存储的信息的相关时,将识别对象的识别结果和与网络连接的外部的信息处理装置中存储的信息执行相关。
外部装置17是根据输入/选择指示由控制部13控制的设备,通过有线通信线或无线通信线与控制部13连接。
即,这种构成的信息输入指示装置10中,通过读取信息输入板29的各个机种和设备的远距离操作用的识别码的显示部29A,在各对象物表面,使用于表示信息系统内的存储系统内存储的该对象物对应的信息集的物体识别码及用于在上述对象物对应的信息集内指示信息的信息与对象物表面上的位置对应,自动地读取识别对象物对应的信息并鉴定对象物,通过在信息输入板29的机种和设备对应的控制内容的显示部29B中指定位置,可以在存储装置内的信息集及信息集内指示选择信息。
如图7所示,上述信息输入指示装置10由CPU(Central ProcessingUnit:中央处理单元)51、图象处理装置52、摄象机接口53、显示器接口54、网络接口55、家庭网络接口56、ROM(Read Only Memory:只读存储器)57、RAM(Random Access Memory:随机存取存储器)58及HDD(Hard Disk Drive:硬盘驱动器)59、主总线60构成。
CPU51根据ROM57存储的系统程序和RAM58中展开的程序进行控制。CPU51是实现图1的图象识别部12的部分功能及控制部13的部分功能的装置。
图象处理装置52将CCD视频摄象机21拍摄的图象经由摄象机接口53输入,执行图象识别处理等的各种图象处理。该图象处理装置52是实现图1的图象识别部12的部分功能的装置。摄象机接口53将CCD视频摄象机21拍摄的图象输入,变换成与图象处理装置52对应的信号格式并输出。显示器接口54将CPU51及图象处理装置52中处理的显示数据输入,变换成与观测器25A对应的信号并输出。显示器接口54和观测器25A是实现图1的输出部15的部分功能的装置。
网络接口55是用于连接服务器站的接口,通过其与外部的网络连接。网络接口55是实现图1的信息分发部16和通信线路18的部分功能的装置。
家庭网络接口56是用于与外部装置17连接的接口。CPU51经由该家庭网络接口56控制外部设备。家庭网络接口56和外部设备是实现图1的外部装置17和通信线路19的部分功能的装置。
ROM57存储CPU51执行各种处理中所必要的程序和数据。RAM58暂时展开并存储CPU51执行各种处理中必要的程序和数据。ROM57和RAM58是实现图1的控制部13的部分功能的装置。
HDD59存储与信息输入板29相关的信息。HDD59是实现图1的存储部14的功能的装置。
另外,在上述各对象物表面,使用于表示信息系统内的存储系统内存储的该对象物对应的信息集的物体识别码及用于在上述对象物对应的信息集内指示信息的信息与对象物表面上的位置对应,自动地读取识别对象物对应的信息并鉴定对象物,通过在对象物表面上指定位置而在存储装置内的信息集及信息集内指示选择信息的功能,例如,通过安装到便携终端中,起可视互动用户接口的功能。
该接口中,(1)文字定义采用印刷物的文字和利用者手写的文字,(2)文字输入是通过采用便携终端的附属摄象机来获得必要的文字。此时,由于获得的文字的意义属性有网页的网址、检索文字、文件名等多个分支,因而可由类似上述的信息输入板29中的Umark图形码的图形码指定在输入前预先进行这样的处理。
即,文字输入接口的结构定义成如图8所示。
图8中,(A)指定与http、ftp、telnet、file等对应的文字处理用图形码。另外,图8的(B)是记述例如URL的节点名的区域,(C)是组织名的区域,(D)是组织种类的区域,(E)是记述国别号的区域。
即,文字处理码基本由图8的(A)-1的码检测图形和(A)-2的Umark图形码构成。
这里,码检测图形用作正规化图形码的指标,将指定文字处理属性的图形码从摄象机拍摄的2维图象中抽出,例如,当对象物的图象内的大概的面积比率P已知时,确定阈值T、执行2值化处理的所谓P并列显示(P-tile)法来进行阈值决定和通过旋转来进行修正处理,使2值图象中的1个象素比例等于P。
然后,对正规化的图形码,分离图8的(A)-2的各个图形码,通过图象处理算出该各个图形码的重心,配合来自重心矢量的8个方向,变换成8种数字数据。
这种图形码识别程序安装到便携终端,由摄象机识别图形码的瞬间,可起动对应的文字处理程序。
作为采用摄象机进行文字的抽出的文字识别方法,采用例如图案匹配法。
如图9所示,图案匹配法进行的文字识别,按照图象数据的前处理(步骤S1)、图象数据的分割(步骤S2)、文字解析·特征抽出(步骤S3)、文字的图案匹配(步骤S4)、文字的决定和显示(步骤S5)的顺序进行处理。
通过普及安装有这种图形码识别程序的便携终端,例如,可进行图10所示数据业务。
即,图10所示数据业务系统100中。供应商110向网络银行120交纳许可费(A1)。
网络银行120将许可分发给供应商110(A2)。
海报130上粘贴的URL地址的封印120A的内容由便携电话140的CCD摄象机140A获取(A3)。
便携电话140将获得的URL地址自动地发送到基站150(A4)。
基站150向通信公司的交换局160发送URL地址(A5)。
通信公司的交换局160经由互联网等向供应商110发送该URL地址(A6)。
由供应商110向通信公司的交换局160发送符合的HTML(HDML)(A7)。
通信公司的交换局160对接收的HTML(HDML)等进行整形,向符合的基站150发送数据(A8)。
然后,基站150向符合的便携电话140发送数据(A9)。
网络银行120收取访问费(A10)。
另外,例如,可进行如图11所示多媒体数据业务。
即,如图11所示多媒体数据业务系统200中,供应商210向网络银行220交纳许可费(B1)。
网络银行220向供应商210分发许可(B2)。
海报230上粘贴的短片(游戏、图形)等的URL地址的封印230A的内容由便携电话240的CCD摄象机240A获取(B3)。
便携电话240向基站250自动地发送获得的URL地址(B4)。
基站250向通信公司的交换局260发送URL地址(B5)。
通信公司的交换局260经由互联网等向供应商210发送该URL地址(B6)。
由供应商210向通信公司的交换局260发送符合的HTML(HDML)(B7)。
通信公司的交换局260对接收的HTML(HDML)等进行整形,向符合的基站250发送数据(B8)。
然后,基站250向符合的便携电话240发送多媒体对象(B9)。
网络银行220收取访问费(B10)。
另外,例如,可进行如图12所示家电设备控制业务。
即,如图12所示家电设备控制业务系统300中,供应商310向网络银行320交纳许可费(C1)。
网络银行320向供应商310分发许可(C2)。
手册(记事本)330上粘贴的家电设备控制信息330A的内容由便携电话340的CCD摄象机340A获取(C3)。
便携电话340将获得的家电设备控制信息向基站350自动地发送(C4)。
基站350向通信公司的交换局360发送家电设备控制信息(C5)。
通信公司的交换局360对接收的家电设备控制信息进行认证,获得认证时向符合的供应商310发送家电设备控制信息(C6)。
由供应商310向对方370发送家电设备控制信息(C7)。
用对方370接收的家电设备控制信息控制符合的家电设备(C8)。
发送对方370的安全摄象机的图象(C9)。
网络银行320收取访问费(C10)。
另外,例如,可进行如图13所示邮件业务。
即,如图13所示邮件业务系统400中,供应商410向网络银行420交纳许可费(D1)。
网络银行420向供应商410分发许可(D2)。
海报430上粘贴的电子邮件·地址430A的内容由便携电话440的CCD摄象机440A获取(D3)。
由便携电话440进行声音输入,自动地进行文字变换,作成电子邮件。通过按下便携电话440的发送键,将作成的电子邮件向基站450发送(D4)。
基站450向通信公司的交换局460发送电子邮件(D5)。
通信公司的交换局460经由互联网等向符合的对方地址发送电子邮件(D6)。
发送正常结束时,发送结束的消息向通信公司的交换局460发送(D7)。
通信公司的交换局460将接收的结束消息向符合的基站450发送(D8)。
基站450向符合的便携电话440发送发送结束的消息(D9)。
网络银行420收取访问费(D10)。
另外,在上述各对象物表面,使用于表示信息系统内的存储系统内存储的该对象物对应的信息集的物体识别码及用于在上述对象物对应的信息集内指示信息的信息与对象物表面上的位置对应,自动地读取识别对象物对应的信息并鉴定对象物,通过在对象物表面上指定位置,在存储装置内的信息集及信息集内指示选择信息,利用上述功能,例如图14所示,可构成视图板系统500。
该视图板系统500具备:装卸型的无线摄象机510,可从利用者的视线位置不停地捕捉图象;图象识别提示装置520,随着利用者的视野移动,理解动态对象物体的操作指示内容,向利用者提供适当的信息。
该视图板系统500中,利用者通过在该视线位置装上无线摄象机510,随着视线的移动,自动地识别对象物体,在视野内提供操作·指示。即,通过采用装卸型的无线摄象机510,可从利用者的视点位置动态捕捉对象物体的图象。
该视图板系统500中,利用者在附加有Umark类型码的手册和纸等的对象物上的位置设置空格码板。接着,利用者在视野内通过装卸型的无线摄象机510识别对象物体的Umark类型码。而且,利用者通过在视野内用手指等输入和指示板的特定部分后,从装卸型的无线摄象机510向图象识别提示装置520输入手指和该板的部分的图象。图象识别提示装置520通过图象识别该部分的图象,判断利用者的指示内容,提供最适当的信息。
如上所述,本发明中,使用户的活动动环境中的对象物与信息系统内存储的信息集对应,在各对象物表面,通过附加用于表示信息系统的存储系统内存储的该对象物对应的信息集的物体识别码,使用于在与上述对象物对应的信息集内指示信息的信息与对象物表面上的位置对应,自动地读取识别与上述对象物对应的信息并鉴定对象物,在对象物表面上指示位置,从而可以在存储装置内的信息集及信息集内指示选择并利用的信息。从而,在利用信息系统内存储的知识等时,可在不产生断点的情况下进行自由访问。
这里,上述的信息输入指示装置10中,由拍摄部11拍摄信息输入板29记录的识别对象图案和用户用手指等访问指示的图案,根据该拍摄信息,使用于在对象物对应的信息集内指示信息的信息与对象物表面上的位置对应,自动地读取识别上述对象物对应的信息并鉴定对象物,也可以在对象物表面直接记录信息输入板29记录的识别对象图案和用户用手指等访问指示的图案。
由拍摄部11拍摄对象物表面记录的识别对象图案和用户用手指等访问指示的图案,根据该拍摄信息,使用于在对象物对应的信息集内指示信息的信息与对象物表面上的位置对应,自动地读取识别上述对象物对应的信息并鉴定对象物时,对象物的形状不限于板形状,也可由拍摄部11拍摄并识别立体形状的对象物,例如,图15A所示圆柱形状的对象物129A的表面上记录的物体识别码即Umark图形码30和图15B所示三角锥形状的对象物129B的表面上记录的物体识别码即Umark图形码30。
另外,上述的信息输入指示装置10中,由拍摄部11拍摄识别对象图案和用户用手指等访问指示的图案,根据该拍摄信息,使用于在上述对象物对应的信息集内指示信息的信息与对象物表面上的位置对应,自动地读取识别上述对象物对应的信息并鉴定对象物,但是,也可以取代上述拍摄部11及图象识别部12,如图16的信息输入指示装置10A所示,由光信息读取部81读取在对象物表面以光可读取方式记录的物体识别码,由板状坐标输入部82输入上述对象物上的位置,使用于在上述对象物对应的信息集内指示信息的信息与对象物表面上的位置对应,自动地读取识别上述对象物对应的信息并鉴定对象物。
该信息输入指示装置10A具备扫描仪等的光信息读取部81,后者具备CCD摄象机和CCD图象传感器,读取对象物例如上述的信息输入板29上以光可读取方式记录的物体识别码即Umark图形码30。
另外,该信息输入指示装置10A具备由所谓触板组成的板状坐标输入部82,其通过矩阵状配置例如因施加压力而导通的平面开关,检测该板面上施加压力部分的位置信息。
上述板状坐标输入部82,例如,在施加压力部分的上面和下面之间由导电性高的板状材料构成,在上述板状材料的上面及下面设置相互交差方向的导体线群,在上述板状材料的上面及下面设置的导体线群与各个线方向和交差方向的分割电阻连接,检测来自分割电阻的两端的输出电流。
另外,该板状坐标输入部82采用安装在对象物例如上述的信息输入板29而使用的形态时,为了看见下侧的信息输入板29,由透明材料形成或形成网孔状。另外,形成不透明状态的板状坐标输入部82采用在上面安装信息输入板29并使用的形态。
这样,采用板状坐标输入部82的信息输入指示装置10A,在上述的信息输入板29上形成提供例如手册和目录等的册子的概要信息的各页,使上述概要信息和信息系统存储的各种详细信息之间相关,翻看上述手册和目录等的册子并进行确定,在上述手册和目录等的册子的符合页上重叠该信息输入指示装置10A,通过在该表面上指示必要位置,还可以构成容易地参照详细信息的系统。该系统中,对于使用者,由于利用信息系统内存储的信息时的操作与日常的活动非常接近,可进行更便利的信息输入指示动作。
这里,在上述的信息输入板29用例如包含高导磁率材料的磁性墨水记录物体识别码即Umark图形码30时,可取代上述信息输入指示装置10A中的光信息读取部81而采用磁信息读取部。
以磁读取方式读取上述磁性墨水描绘的图案的信息读取部,如图17所示,以在环状磁路的一部分被切去的构造的高导磁率材料形成的铁芯91上卷绕2个线圈92A、92B而成的电磁元件90,作为基本单位。该基本单位的电磁元件90,通过使上述环状磁路的一部分被切去的部分朝向由上述高导磁率材料记录有图案的信息输入板29的表面方向,由形成有上述Umark图形码30的高导磁率材料组成的图案形成磁闭路,由于2个线圈92A、92B间的相互电感发生变化,一方的线圈92A流过电流,由该电流在另一方的线圈92B感应出电信号,通过检测该信号,可检测上述环状磁路的切去的部分是否与上述信息输入板29上记录的高导磁率材料形成的图案相对。然后,信息读取部81A,如图18所示,以二维的矩阵状配置上述基本单位的电磁元件90,形成各个线圈92A在纵方向上串联,各个线圈92B在横方向上串联的构造。
这种构造的信息读取部81A中,例如横方向串联的线圈群H1、H2...依次流过电流,通过检测纵方向上串联的线圈群V1、V2...感应的电压,不必进行与信息记录面的相对运动,就可读取高导磁性体图案的分布图象。
另外,该信息读取部81A也构成可看见下侧的信息输入板29的结构。

Claims (11)

1.一种采用图像识别的信息处理装置的信息处理方法,其特征在于:
用该信息处理装置的物体识别码读取单元读取在对象物上附加的物体识别码;
用该信息处理装置的控制部选择所读取的物体识别码所示的记录部中所记录的信息集;
用该信息处理装置的位置信息检测单元读取与上述物体识别码不同的、使用者所指示的对象物表面上的位置信息;
根据上述读取的位置信息,认识与位置信息对应的信息集中的信息;
根据所认识的信息集中的信息,对该信息处理装置的控制部作控制。
2.如权利要求1所述的信息处理方法,其特征在于:
上述信息集中的信息还包含控制外部机器的控制信息,将该控制信息输出到外部机器。
3.一种采用图像识别的信息处理装置,其特征在于包括:
存储单元,存储与对象物对应的信息集;
物体识别码读取单元,读取对象物表面的物体识别码;
控制部,选择表示物体识别码的与上述存储单元中存储的对象物对应的信息集;
位置信息检测单元,检测使用者所选择的对象物上的位置信息;
上述控制部根据检出的位置信息,认识与位置信息对应的信息集中的信息;
根据所认识的信息集中的信息作控制。
4.如权利要求3所述的信息处理装置,其特征在于:
上述信息集中的信息还包含控制外部机器的控制信息,所述信息处理装置具有将控制外部机器的控制信息输出的输出部。
5.如权利要求3所述的信息处理装置,其特征在于:
上述物体识别码读取单元及上述位置信息检测单元是拍摄部。
6.如权利要求3所述的信息处理装置,其特征在于:
上述对象物是板状的信息输入介质。
7.如权利要求6所述的信息处理装置,其特征在于:
上述位置信息检测单元具备板状的坐标输入单元,所述坐标输入单元通过将由施加压力而导通的平面开关配置成矩阵形,以使得将在该板面上施加压力的部分的位置信息检出而构成。
8.如权利要求7所述的信息处理装置,其特征在于:
上述板状的坐标输入单元由透明材料形成。
9.如权利要求7所述的信息处理装置,其特征在于:
上述板状的坐标输入单元形成网孔状。
10.如权利要求3所述的信息处理装置,其特征在于:
上述物体识别码读取单元具备光学信息读取单元,在对象物表面读取以光学可读取方式记录的物体识别码。
11.如权利要求3所述的信息处理装置,其特征在于:
上述物体识别码读取单元具备磁信息读取单元,在对象物表面读取以磁可读取方式记录的物体识别码。
CNB028026217A 2001-07-12 2002-07-11 信息输入指示方法及信息输入指示装置 Expired - Fee Related CN1316335C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP212875/2001 2001-07-12
JP2001212875 2001-07-12
JP212875/01 2001-07-12

Publications (2)

Publication Number Publication Date
CN1465003A CN1465003A (zh) 2003-12-31
CN1316335C true CN1316335C (zh) 2007-05-16

Family

ID=19047957

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028026217A Expired - Fee Related CN1316335C (zh) 2001-07-12 2002-07-11 信息输入指示方法及信息输入指示装置

Country Status (4)

Country Link
US (1) US7526122B2 (zh)
JP (1) JPWO2003007137A1 (zh)
CN (1) CN1316335C (zh)
WO (1) WO2003007137A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076980A1 (en) * 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
KR101246293B1 (ko) * 2006-04-24 2013-03-21 삼성전자주식회사 홈 네트워크에서 사용자 인터페이스 방법 및 장치와 그전자기기 및 저장 매체
JP2009178843A (ja) 2006-08-22 2009-08-13 Rynne Group Llc 識別カードおよびその識別カードを使用した識別カード取引システム
JP2008052403A (ja) * 2006-08-23 2008-03-06 Univ Of Tokyo 2次元位置情報がコード化された模様、当該模様を用いた位置同定システム及び方法
KR101315961B1 (ko) * 2007-01-18 2013-10-08 엘지전자 주식회사 슬라이딩커버 구비 이동단말기
DE102007015514A1 (de) * 2007-03-30 2008-10-09 Iconmobile Gmbh Übermittlungsverfahren
WO2009104272A1 (ja) * 2008-02-22 2009-08-27 リン グループ エルエルシー 識別カードを使用した総合取引システム
CN104135587B (zh) 2013-04-30 2017-06-09 京瓷办公信息系统株式会社 电子设备和印刷预览方法
GB2526261B (en) 2014-04-28 2017-08-02 Gelliner Ltd Encoded cells and cell arrays
US11190684B2 (en) * 2018-03-30 2021-11-30 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US11790722B2 (en) 2020-08-11 2023-10-17 Best Lockers, Llc Single-sided storage locker systems accessed and controlled using machine-readable codes scanned by mobile phones and computing devices
US11631295B2 (en) 2020-08-11 2023-04-18 ScooterBug, Inc. Wireless network, mobile systems and methods for controlling access to lockers, strollers, wheel chairs and electronic convenience vehicles provided with machine-readable codes scanned by mobile phones and computing devices
US11995943B2 (en) 2020-08-11 2024-05-28 ScooterBug, Inc. Methods of and systems for controlling access to networked devices provided with machine-readable codes scanned by mobile phones and computing devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0984349A2 (en) * 1998-08-31 2000-03-08 Sony Corporation Image processing
JP2000148372A (ja) * 1998-09-11 2000-05-26 Ricoh Co Ltd 情報入力システム
JP2001075971A (ja) * 1999-08-31 2001-03-23 Sony Corp 情報処理装置及び情報処理方法並びにプログラム格納媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5200845A (en) * 1989-10-31 1993-04-06 University Of Hawaii At Manoa Color liquid crystal display consisting of polymer-dispersed chiral liquid crystal having negative dielectric anisotropy
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JPH10254802A (ja) 1996-02-01 1998-09-25 Takashi Ikeda デジタル・コードを識別子として用い一元的に相手先を指定する通信システム及び方法
EP0915859B1 (en) 1996-07-23 2003-01-02 Neurogen Corporation Certain substituted benzylamine derivatives; a new class of neuropeptide y1 specific ligands
JP3879208B2 (ja) 1996-11-26 2007-02-07 ソニー株式会社 情報入力方法、情報入力媒体及び情報入力装置
MY118364A (en) * 1996-11-26 2004-10-30 Sony Corp Information input method and apparatus using a target pattern and an access indication pattern
WO1998051036A1 (en) 1997-05-07 1998-11-12 Neomedia Technologies, Inc. Scanner enhanced remote control unit and system for automatically linking to on-line resources
CA2302553A1 (en) 1997-09-04 1999-03-11 Internet Cargo Services, Inc. System and method for remote transactions between a customer and vendors
US5995150A (en) 1998-02-20 1999-11-30 Winbond Electronics Corporation America Dual compressed video bitstream camera for universal serial bus connection
TW434520B (en) * 1998-06-30 2001-05-16 Sony Corp Two-dimensional code recognition processing method, device therefor and medium
JP2000132485A (ja) 1998-08-21 2000-05-12 Pasukaru:Kk Url、電子メ―ルアドレスなどの通信アドレスの表記方法及びこの方法を用いて通信アドレスを記した印刷物、シ―ル
JP4352287B2 (ja) 1998-08-31 2009-10-28 ソニー株式会社 画像処理装置、画像処理方法、および画像処理プログラム媒体
EP1141880B1 (en) 1998-12-29 2005-07-06 Symbol Technologies, Inc. Method of using a bar code scanner
JP2000207097A (ja) 1999-01-17 2000-07-28 Graphic Toto:Kk コンピュ―タに接続する入力シ―ト
JP2000207338A (ja) 1999-01-20 2000-07-28 Sony Corp 情報処理装置および方法、並びに提供媒体
JP3826606B2 (ja) 1999-03-12 2006-09-27 カシオ計算機株式会社 端末装置
JP3585030B2 (ja) 1999-10-18 2004-11-04 松下電器産業株式会社 通信システムおよび情報送信ユニット
JP3506081B2 (ja) 1999-12-27 2004-03-15 日本電気株式会社 情報提供方法
US6782119B1 (en) * 2000-06-29 2004-08-24 Ernest Ross Barlett Space planning system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0984349A2 (en) * 1998-08-31 2000-03-08 Sony Corporation Image processing
JP2000148372A (ja) * 1998-09-11 2000-05-26 Ricoh Co Ltd 情報入力システム
JP2001075971A (ja) * 1999-08-31 2001-03-23 Sony Corp 情報処理装置及び情報処理方法並びにプログラム格納媒体

Also Published As

Publication number Publication date
US20040061725A1 (en) 2004-04-01
US7526122B2 (en) 2009-04-28
WO2003007137A1 (fr) 2003-01-23
CN1465003A (zh) 2003-12-31
JPWO2003007137A1 (ja) 2004-11-04

Similar Documents

Publication Publication Date Title
CN1316335C (zh) 信息输入指示方法及信息输入指示装置
CN108024079A (zh) 录屏方法、装置、终端及存储介质
US20120008003A1 (en) Apparatus and method for providing augmented reality through generation of a virtual marker
WO2013086375A1 (en) Method, client device and server of accessing network information through graphic code
US8787985B2 (en) Screen capture method of mobile communication terminal
CN107888978A (zh) Key码烧录方法、装置及计算机可读存储介质
KR20040054445A (ko) 코드를 이용한 각종 유무선 컨텐츠 및 정보 제공 서비스시스템, 이에 사용되는 유저 단말, 이에 사용되는통신업체 플랫폼, 이에 사용되는 운영 대행사 플랫폼,이에 사용되는 온라인 관계사 모듈 및 오프라인 관계사모듈, 및 서비스 제공 방법
CN108182211A (zh) 视频舆情获取方法、装置、计算机设备及存储介质
EP3070681A1 (en) Display control device, display control method and program
CN105489072A (zh) 用于确定电子设备中增补内容的方法
CN109034242A (zh) 图像处理算法的评分方法、装置及系统
CN100410849C (zh) 对背景图像进行设定的信息处理装置、信息显示方法及程序
US10552515B2 (en) Information processing terminal and information processing method capable of supplying a user with information useful for selecting link information
CN101180672A (zh) 声音信息记录装置
CN108718423A (zh) 一种二维码信息共享系统
JP4306250B2 (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN204515768U (zh) 用于增强现实的地图服务系统
JP2012252453A (ja) 読書システム、端末装置、連携方法およびプログラム
US10489491B2 (en) Information processing device and information processing method for presenting a plurality of pieces of link information to a user
CN103607655B (zh) 一种直播节目的回播方法及电子设备
KR100866379B1 (ko) 모바일 환경에서의 객체 기반 온라인 포스트잇 서비스시스템 및 방법
CN101980526A (zh) 遥控器及其识读方法
CN108989703A (zh) 回忆视频创建方法及相关装置
TWI835574B (zh) 點讀系統及該點讀系統的操作方法
CN105812699B (zh) 一种生成动态图片方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070516

Termination date: 20100711