CN103106236A - 信息登记装置、方法、系统及信息呈现装置、方法和系统 - Google Patents

信息登记装置、方法、系统及信息呈现装置、方法和系统 Download PDF

Info

Publication number
CN103106236A
CN103106236A CN2012104421918A CN201210442191A CN103106236A CN 103106236 A CN103106236 A CN 103106236A CN 2012104421918 A CN2012104421918 A CN 2012104421918A CN 201210442191 A CN201210442191 A CN 201210442191A CN 103106236 A CN103106236 A CN 103106236A
Authority
CN
China
Prior art keywords
information
obtains
content
content information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012104421918A
Other languages
English (en)
Inventor
池上涉一
坂本隆之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103106236A publication Critical patent/CN103106236A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了信息登记装置、方法、系统及信息呈现装置、方法和系统。一种信息登记装置包括对象信息获取单元和内容信息登记单元。所述对象信息获取单元获取通过对图像数据执行用于检测和标识对象的处理获得的信息。所述内容信息登记单元将目标内容信息与所述对象信息相关联地登记在数据库中。

Description

信息登记装置、方法、系统及信息呈现装置、方法和系统
技术领域
本技术涉及信息登记装置、信息登记方法、信息登记系统、信息呈现装置、信息呈现方法、信息呈现系统和程序。更具体来说,本技术涉及执行诸如图像、声音和文本的内容信息的登记和呈现(查看)的信息登记装置、信息登记方法、信息登记系统、信息呈现装置、信息呈现方法、信息呈现系统和程序。
背景技术
近年来,由于广泛使用诸如蜂窝式电话的便携式信息终端,通常已经执行将私人信息(包括例如计划表、注释等)视作内容信息(诸如电子形式的图像、声音和文本)。然而,由信息的计算机化引起的数据量和数据类型的显著增加使信息设备操作更复杂。因此,变得难以容易地取得所需信息。
同时,由于基于文本的搜索方法的发展,通过向信息适当地添加元信息(标题、标签等),变得非常容易基于关键字取得所需信息。然而,当将不同类型的元信息添加到一个信息时,难以回想起用于搜索的适当关键字。为此目的,将改进用于登记和查看信息的用户介面。
例如,在日本专利No.3558104中提出了用于使用对象识别技术来在相机图像(camera-through image)上覆盖信息的技术。
发明内容
需要改进诸如图像、声音和文本的内容信息的登记和呈现(查看)的用户友好性。
本技术的一个实施例的概念在于信息登记装置,其包括:对象信息获取单元,其获取通过对图像数据执行用于检测和标识对象的处理而获得的对象信息;以及内容信息登记单元,其将目标内容信息与对象信息相关联地登记在数据库中。
在本技术的一个实施例中,对象信息获取单元获取通过对图像数据执行用于检测和标识对象的处理而获得的对象信息。例如,对象信息可以包括关于对象的元信息以及对象标识信息。元信息为例如关于对象的位置信息和关于对象的姿态信息中的至少一个。通过同时定位和地图创建(SLAM)技术、图像追踪技术、由陀螺仪传感器获得的值等,可以校正上述信息,并且可以在检测到对象之后在未检测状态下执行信息预测。
在这种情况下,可以在外部(例如,通过连接到网络的服务器装置)执行或者由信息呈现装置中提供的对象识别单元来执行通过对图像数据执行用于检测和标识对象的处理来获取对象信息。另外,在这种情况下,图像数据可以为存储在存储单元(诸如半导体存储器或硬盘驱动器)中的图像数据,或者为由信息呈现装置中提供的图像拾取单元(相机)获得的图像数据。
内容信息登记单元将目标内容信息与对象信息相关联地登记在数据库中。在这种情况下,目标内容信息为诸如图像、声音和文本的内容信息。在这种情况下,可以例如在连接到网络的服务器装置中或者在信息呈现装置中提供数据库。
如上所述,在本技术的一个实施例中,目标内容信息被与对象信息相关联地登记在数据库中。因此,用户不必考虑适当的搜索关键字来登记内容信息,因此改进了用户友好性。也就是说,用户能够仅通过执行用于捕捉特定对象的图像的操作或者用于选择通过捕捉特定对象获得并且存储在存储单元中的图像数据的操作来登记内容信息。
另外,在本技术的一个实施例中,例如,信息呈现装置可以进一步包括用户标识信息获取单元,其获取通过用于检测和标识用户的处理获得的用户标识信息。内容信息登记单元可以将目标内容信息与对象信息和用户标识信息相关联地登记在数据库中。
在这种情况下,可以在外部(例如,通过连接到网络的服务器装置)执行或者由信息登记装置中提供的用户识别单元来执行通过用于检测和标识用户的处理来获取用户标识信息。用于检测和标识用户的处理可以基于图像识别(如面部识别或指纹识别)来执行,或者基于由用户手动输入的用户ID和密码来执行。也就是说,用于检测和标识用户的处理可以为用户认证的一般处理。
在这种情况下,目标内容信息被与用户标识信息以及对象信息相关联地登记在数据库中。因此,容易从数据库取得与用户标识信息以及对象信息相关联的所需内容信息。也就是说,可以取得适用于用户的内容信息。
另外,在本技术的一个实施例中,例如,信息登记装置可以进一步包括登记环境信息获取单元,其获取登记环境信息。内容信息登记单元将目标内容信息与对象信息和登记环境信息相关联地登记在数据库中。例如,登记环境信息可以包括位置信息和时间信息中的至少一个。
在这种情况下,登记环境信息可以使用时钟单元、位置信息获取单元等来获得,或者可以例如通过网络从外部获得。登记环境信息可以包括天气信息、气候信息等以及由位置信息获取单元获得的信息(纬度和经度、海拔、速度、移动方向等)和由时钟单元获得的时间信息。登记环境信息可以进一步包括关于可以查看信息的用户的用户信息,也就是说,关于被允许查看信息的用户的用户信息。
另外,登记环境信息也可以包括以下信息中的部分或全部:例如,(1)温度、大气压力和湿度,(2)朝向和加速度,(3)接近度,(4)照度,(5)噪音,(6)照明,(7)噪音,(8)日期,(9)姿态(六个轴)和(10)文本。
此外,登记环境信息可以包括:例如,(11)用户的生命数据(肤色、身体温度、身体质量指数(BMI)、血压、心率、脂肪质量、基础代谢、指纹、声纹等),(12)用户的操作(通勤、玩高尔夫、用餐、清洗等,所述操作可以由传感器自动检测到或者根据用户的手动操作获得),(13)声音(可以由传感器自动检测到或者由用户的记录获得),和(14)信息查看历史。
在这种情况下,目标内容信息被与登记环境信息以及对象信息相关联地登记在数据库中。因此,基于登记环境信息,可以优先呈现适用于查看环境的内容信息。
另外,本技术的另一个概念在于信息呈现装置,其包括:对象信息获取单元,其获取通过对图像数据执行用于检测和标识对象的处理而获得的对象信息;以及内容信息呈现单元,其获取与对象信息相关联的内容信息并呈现所获取的内容信息。
在本技术的一个实施例中,对象信息获取单元获取通过对图像数据执行用于检测和标识对象的处理而获得的对象信息。例如,对象信息可以包括关于对象的元信息以及对象标识信息。元信息为例如关于对象的位置信息和关于对象的姿态信息中的至少一个。通过SLAM技术、图像追踪技术、由陀螺仪传感器获得的值等,可以校正上述信息,并且可以在检测到对象之后在未检测状态下执行信息预测。
在这种情况下,可以在外部(例如,通过连接到网络的服务器装置)执行或者由信息呈现装置中提供的对象识别单元来执行通过对图像数据执行用于检测和标识对象的处理来获取对象信息。另外,在这种情况下,图像数据可以为存储在存储单元(如半导体存储器或硬盘驱动器)中的图像数据,或者为由信息呈现装置中提供的图像拾取单元(相机)获得的图像数据。
内容信息呈现单元获取与对象信息相关联的内容信息并呈现所获取的内容信息。内容信息为诸如图像、声音和文本的内容信息。内容信息为例如由用户预先登记在数据库中的内容信息或者通过诸如因特网的网络获得的内容信息。另外,在这种情况下,数据库可以提供在例如通过网络连接的服务器装置中或者信息呈现装置中。
如上所述,在本技术的一个实施例中,获取并呈现与对象信息相关联的内容信息。因此,用户能够在无需执行复杂操作的情况下查看内容信息,因此改进了用户友好性。也就是说,可以呈现所需的内容信息,并且用户能够仅通过执行用于捕捉特定对象的图像的操作或者执行用于选择通过捕捉特定对象获得并且存储在存储单元中的图像数据的操作来查看所呈现的信息。
在本技术的一个实施例中,信息呈现装置可以进一步包括用户标识信息获取单元,其获取通过用于检测和标识用户的处理获得的用户标识信息。内容信息呈现单元可以获取与对象信息和用户标识信息相关联的内容信息,并呈现所获取的内容信息。
在这种情况下,可以在外部(例如,通过连接到网络的服务器装置)执行或者由信息呈现装置中提供的用户识别单元来执行通过用于检测和标识用户的处理来获取用户标识信息。用于检测和标识用户的处理可以基于图像识别(诸如面部识别或指纹识别)来执行,或者基于由用户手动输入的用户ID和密码来执行。也就是说,用于检测和标识用户的处理可以为用户认证的一般处理。
在这种情况下,获取与对象信息和用户标识信息相关联的内容信息。也就是说,可以获取与用户标识信息以及对象信息相关联的所需内容信息。也就是说,可以取得适用于用户的内容信息。
另外,在本技术的一个实施例中,信息呈现装置可以进一步包括查看环境信息获取单元,其获取查看环境信息。内容信息呈现单元所获得的内容信息可以包括添加到其的登记环境信息。内容信息呈现单元可以基于查看环境信息和登记环境信息来确定呈现特定数目的所获得内容信息的顺序。
在这种情况下,查看环境信息可以使用时钟单元、位置信息获取单元等来获得,或者可以通过网络从外部获得。查看环境信息可以包括天气信息、气候信息等以及由位置信息获取单元获得的信息(纬度和经度、海拔、速度、移动方向等)和由时钟单元获得的时间信息。
另外,查看环境信息也可以包括以下信息中的部分或全部:例如,(1)温度、大气压力和湿度,(2)朝向和加速度,(3)接近度,(4)照度,(5)噪音,(6)照度,(7)噪音,(8)日期,(9)姿态(六个轴)和(10)文本。此外,查看环境信息可以包括:例如,(11)用户的生命数据(肤色、身体温度、BMI、血压、心率、脂肪质量、基础代谢、指纹、声纹等),(12)用户的操作(通勤、玩高尔夫、用餐、清洗等,所述操作可以由传感器自动检测到或者根据用户的手动操作获得),(13)声音(可以由传感器自动检测到或者由用户的记录获得),和(14)信息查看历史。
在这种情况下,基于查看环境信息来确定呈现特定数目的所获得内容信息的顺序。也就是说,可以优先呈现适用于查看环境的内容信息。
另外,在本技术的一个实施例中,例如,信息呈现装置可以进一步包括例如:图像拾取单元,其获取图像数据;和相对位置信息获取单元,其获取关于对象与图像拾取单元之间的相对位置的相对位置信息,所述相对位置信息是通过对图像数据执行处理来获得。内容信息呈现单元可以获取与对象信息和相对位置信息相关联的内容信息,并呈现所获得的内容信息。
在这种情况下,获得与对象信息和相对位置信息相关联的内容信息。也就是说,可以获得与操作(诸如,例如通过图像拾取单元(相机)执行的形成特定图形)以及对象信息相关联的所需内容信息。
根据本技术的一个实施例,可以改进诸如图像、声音和文本的内容信息的登记和呈现(查看)的用户友好性。
附图说明
图1是示出根据本技术的第一实施例的信息登记系统的配置的示例的框图;
图2A是用于说明仅包括客户端装置的系统的图;
图2B是用于说明作为包括通过网络连接的客户端装置和服务器装置的网络系统的系统的图;
图3是示出信息登记系统中的信息登记处理的示例的流程图;
图4是示出根据本技术的第二实施例的信息呈现系统的配置的示例的框图;
图5是示出信息呈现系统中的信息呈现处理的示例的流程图;
图6包括用于说明在访问目的地时信息查看的示例作为具体示例的图;
图7包括用于说明在访问目的地时信息查看的示例作为具体示例的图;
图8是示出信息呈现系统的配置的另一示例的框图;
图9是用于说明其中使用关于对象的位置(x,y,z)和旋转(横滚、俯仰、偏航)的信息以及对象标识信息的示例的图;以及
图10包括用于说明其中使用关于对象的位置(x,y,z)和旋转(横滚、俯仰、偏航)的信息以及对象标识信息的示例的图.
图11是示出根据本技术的第三实施例的信息呈现系统的配置的示例的框图;
图12是示出信息呈现系统中的信息呈现处理的示例的流程图;
图13是用于说明基于位置的手势识别的图;
图14包括用于说明信息查看系统的示例作为具体示例的图;
图15包括用于说明信息查看系统的示例作为具体示例的图;
图16是用于说明物品信息呈现系统的示例作为具体示例的图;
图17是示出信息登记系统的配置的示例的框图;以及
图18是示出信息登记系统中的信息登记处理的示例的流程图。
具体实施方式
下文中,将描述实施本技术的实施例(下文中,称为“实施例”)。将按照以下顺序来进行描述:
1.第一实施例
2.第二实施例
3.第三实施例
4.修改
1.第一实施例
信息登记系统
图1示出根据本技术的第一实施例的信息登记系统100的配置的示例。信息登记系统100包括对象识别单元101、对象标识数据库102、用户识别单元103、用户标识数据库104和登记环境检测单元105。信息登记系统100也包括信息登记单元106、信息输入单元107、呈现单元108、操作输入单元109和登记信息数据库110。
对象识别单元101执行用于检测和标识图像数据的对象的处理,并基于存储在对象标识数据库102中的对象标识数据来获得对象信息。在此使用的图像数据可以为存储在用作存储单元的半导体存储器、硬盘驱动器等中的图像数据,或者可以为通过由图像拾取单元(相机)捕捉图像获得的图像数据。在这种情况下,在系统中使用公共对象标识数据库102,以使得一个对象不会被识别为不同的对象。在此,对象包括人和动物。
由对象识别单元101获得的对象状态含有例如,对象标识信息(对象ID)和关于对象的位置和姿态的信息(诸如关于对象的元信息)。通过同时定位和地图创建(SLAM)技术、图像追踪技术、由陀螺仪传感器获得的值等,可以校正上述信息,并且可以在检测到对象之后在未检测状态下执行信息预测。由对象识别单元101获得的对象状态可以包括关于位置或姿态的信息。例如,对象识别单元101基于图像中含有的对象的特征点的位置来识别对象。另外,对象识别单元101基于对象的特征点的位置来计算对象在世界坐标系中的位置和姿态。此位置信息包括关于对象与图像拾取单元(相机)之间的相对位置的相对位置信息。以下将不详细说明由对象识别单元101执行的处理,而在例如日本未经审查的专利申请公开案No.2008-304268中进行描述。
用户识别单元103执行用于检测和标识用户的处理,并且基于存储在用户标识数据库104中的用户标识数据来获得用户标识信息。用于检测和标识用户的处理可以基于图像识别(诸如面部识别或指纹识别)来执行,或者基于由用户手动输入的用户ID和密码来执行。也就是说,用于检测和标识用户的处理可以为用户认证的一般处理。在这种情况下,在系统中使用公共用户标识数据库104,以使得一个用户(人)不会被识别为不同的用户。
登记环境检测单元105从信息登记终端、因特网等(未示出)检测登记时的环境信息。环境信息包括例如由位置信息获取单元获得的信息(纬度和经度、海拔、速度、移动方向等)、由时钟单元获得的时间信息、从因特网获得的天气信息等。在这种情况下,在系统中使用用于调整时间和计算纬度和经度的公共方法,以使得一个环境不会被识别为不同的环境。待登记的环境信息可以包括关于可以查看信息的用户的用户信息。
位置信息获取单元使用全球定位系统(GPS)或无线保真(WiFi)测量或使用便携式基站的测量来获取信息(纬度和经度、海拔、速度、移动方向等)。
环境信息也可以包括以下信息中的部分或全部:例如,(1)温度、大气压力和湿度,(2)朝向和加速度,(3)接近度,(4)照度,(5)噪音,(6)照度,(7)噪音,(8)日期,(9)姿态(六个轴)和(10)文本。此外,环境信息可以包括:例如,(11)用户的生命数据(肤色、身体温度、身体质量指数(BMI)、血压、心率、脂肪质量、基础代谢、指纹、声纹等),(12)用户的操作(通勤、玩高尔夫、用餐、清洗等,所述操作可以由传感器自动检测到或者根据用户的手动操作获得),(13)声音(可以由传感器自动检测到或者由用户的记录获得),和(14)信息查看历史。
信息登记单元106将从信息输入单元107输入的内容信息与对象信息、用户标识信息和上述登记环境信息相关联地登记在登记信息数据库110中。内容信息为例如各种类型的内容信息,诸如图像、声音和文本。信息登记单元106通过操作输入单元109使用显示在呈现单元108上的图形用户介面(GUI)根据用户的操作来登记由用户选择的类型的内容信息。
在这种情况下,用户可能能够选择一种与待登记的内容信息有关的环境信息。例如,在登记环境检测单元105获得位置信息、时间信息和天气信息的情况下,仅位置信息和时间信息可以被选择为与待登记的内容信息有关的环境信息。
图1中所示的信息登记系统100可以为例如图2A所示的客户端装置500A或图2B所示的网络系统,所述网络系统包括通过网络500C连接的客户端装置500A和服务器装置500B。在图2B所示的网络系统的情况下,形成信息登记系统100的单元是以分布方式适当分配给客户端装置500A和服务器装置500B。例如,对象识别单元101、对象标识数据库102、用户识别单元103、用户标识数据库104、登记环境检测单元105的部分以及登记信息数据库110可以被分配给服务器装置500B。
现在将参考图3所示的流程图来说明由图1所示的信息登记系统100执行信息登记的处理的示例。在步骤ST1,信息登记系统100开始处理。随后,信息登记系统100进行到步骤ST2的处理。在步骤ST2,用户识别单元103执行用于检测和标识用户的处理,并基于输入用户信息(面部图像、指纹图像、关于账户的手动输入信息和用户密码等)获得用户标识信息。
在步骤ST3,对象识别单元101执行用于检测和标识输入图像数据的对象的处理,并获得对象信息。在这个处理中,例如,用户使用附接到客户端装置500A的图像拾取单元(相机)来获得特定对象的图像,并获得输入图像数据。可替代地,例如,用户选择存储在客户端装置500A的存储单元中的图像数据,并获得输入图像数据。
在步骤ST4,呈现单元108呈现在步骤ST3中标识出的目标(对象),可以登记关于所述目标(对象)的信息。在步骤ST5,信息登记系统100确定用户是否已经执行用于选择在步骤ST4中呈现的目标的操作。用户能够通过操作操作输入单元109来执行用于选择的操作。
当用户已经执行用于选择的操作时,信息登记系统100进行到步骤ST6。在步骤ST6,呈现单元108呈现能够输入的类型的内容信息。例如,在能够输入图像、声音和文本中的任一种的情况下,呈现单元108呈现指示能够输入图像、声音和文本中的任一种的消息。在步骤ST7,信息登记系统100确定是否已经输入所呈现类型的内容信息。用户能够使用信息输入单元107来输入所需的内容信息。
当输入了内容信息时,在步骤ST8,呈现单元108呈现由登记环境检测单元105检测到的登记环境。在步骤ST9,信息登记系统100确定是否已经执行了用于选择所呈现的环境的操作。用户能够通过操作操作输入单元109来执行用于选择的操作。
当用户已经执行了用于选择的操作时,信息登记系统100进行到步骤ST10的处理。在步骤ST10,信息登记单元106登记在步骤ST7中输入的关于在步骤ST5中选择的目标(对象)的内容信息。也就是说,信息登记单元106将内容信息与目标(对象)相关联地登记在登记信息数据库110中。在这个处理中,内容信息也与用户标识信息和在步骤ST9中选择的登记环境信息相关联。在步骤ST10的处理之后,信息登记系统100在步骤ST11终止处理。
如上所述,在图1所示的信息登记系统100中,目标内容信息被与对象信息相关联地登记在登记信息数据库110中。因此,用户能够在不考虑适当的搜索关键字的情况下登记内容信息,因此改进了用户友好性。也就是说,用户能够仅通过执行用于捕捉特定对象的图像的操作或者执行用于选择存储在存储单元中并且通过捕捉特定对象的图像获得的图像数据的操作来登记内容信息。
此外,在图1所示的信息登记系统100中,目标内容信息被与用户标识信息以及对象信息相关联地登记在登记信息数据库110中。因此,容易从登记信息数据库110取得与用户标识信息以及对象信息相关联的所需内容信息。也就是说,可以取得适用于用户的内容信息。
此外,在图1所示的信息登记系统100中,目标内容信息被与登记环境信息以及对象信息相关联地登记在登记信息数据库110中。因此,基于登记环境信息,可以优先呈现用于查看环境的内容信息。
2.第二实施例
信息呈现系统
图4示出根据本技术的第二实施例的信息呈现系统200的配置的示例。信息呈现系统200包括对象识别单元201、对象标识数据库202、用户识别单元203、用户标识数据库204以及查看环境检测单元205。信息呈现系统200也包括用户状态检测单元206、信息呈现单元207、登记信息数据库208、因特网209以及操作输入单元210。
对象识别单元201执行用于检测和标识图像数据的对象的处理,并基于存储在对象标识数据库202中的对象标识数据来获得对象信息。在此使用的图像数据可以为存储在用作存储单元的半导体存储器、硬盘驱动器等中的图像数据,或者可以为通过由图像拾取单元(相机)捕捉图像获得的图像数据。在这种情况下,在系统中使用公共对象标识数据库202,以使得一个对象不会被识别为不同的对象。在此,对象包括人和动物。
由对象识别单元201获得的对象状态含有例如,对象标识信息(对象ID)和关于对象的位置和姿态的信息(诸如关于对象的元信息)。通过SLAM技术、图像追踪技术、由陀螺仪传感器获得的值等,可以校正上述信息,并且可以在检测到对象之后在未检测状态下执行信息预测。由对象识别单元201获得的对象状态可以为关于位置或姿态的信息。例如,对象识别单元201基于图像中含有的对象的特征点的位置来识别对象。另外,对象识别单元201基于对象的特征点的位置来计算对象在世界坐标系中的位置和姿态。此位置信息包括关于对象与图像拾取单元(相机)之间的相对位置的相对位置信息。以下将不详细说明由对象识别单元201执行的处理,而在例如日本未经审查的专利申请公开案No.2008-304268中进行描述。
用户识别单元203执行用于检测和标识用户的处理,并且基于存储在用户标识数据库204中的用户标识数据来获得用户标识信息。用于检测和标识用户的处理可以基于图像识别(诸如面部识别或指纹识别)来执行,或者基于由用户手动输入的用户ID和密码来执行。也就是说,用于检测和标识用户的处理可以为用户认证的一般处理。在这种情况下,在系统中使用公共用户标识数据库204,以使得一个用户(人)不会被识别为不同的用户。
查看环境检测单元205从信息登记终端、因特网等(未示出)检测查看时的环境信息。环境信息包括例如由位置信息获取单元获得的信息(纬度和经度、海拔、速度、移动方向等)、由时钟单元获得的时间信息、从因特网获得的信息等。在这种情况下,在系统中使用用于调整时间和计算纬度和经度的公共方法,以使得一个环境不会被识别为不同的环境。
位置信息获取单元使用GPS或WiFi测量或使用便携式基站的测量来获取信息(纬度和经度、海拔、速度、移动方向等)。
环境信息也可以包括以下信息中的部分或全部:例如,(1)温度、大气压力和湿度,(2)朝向和加速度,(3)接近度,(4)照度,(5)噪音,(6)照度,(7)噪音,(8)日期,(9)姿态(六个轴)和(10)文本。此外,环境信息可以包括:例如,(11)用户的生命数据(肤色、身体温度、BMI、血压、心率、脂肪质量、基础代谢、指纹、声纹等),(12)用户的操作(通勤、玩高尔夫、用餐、清洗等,所述操作可以由传感器自动检测到或者根据用户的手动操作获得),(13)声音(可以由传感器自动检测到或者由用户的记录获得),和(14)信息查看历史。
用户状态检测单元206基于对象标识信息、用户标识信息、查看环境信息等生成信息搜索查询。例如,生成信息搜索查询,从而以基于查看环境信息(时间信息、位置信息等)的顺序,呈现与对象信息中包括的对象标识信息和用户标识信息相关联的内容信息。
信息呈现单元207基于由用户状态检测单元206生成的信息搜索查询,从登记信息数据库208获取内容信息。信息呈现单元207也从因特网209获取相关联信息,并呈现所获取的信息。在这种情况下,当获取到多个信息时,待呈现的信息根据信息优先级来自动切换,或者由用户使用操作输入单元210的切换操作来切换。在这种情况下,例如,操作输入单元210可以包括触摸传感器或加速度传感器。相关联信息可以不从因特网209获取。
图4中所示的信息呈现系统200可以为例如图2A所示的客户端装置500A或图2B所示的网络系统,所述网络系统包括通过网络500C连接的客户端装置500A和服务器装置500B。在图2B所示的网络系统的情况下,形成信息呈现系统200的单元是以分布方式适当分配给客户端装置500A和服务器装置500B。例如,对象识别单元201、对象标识数据库202、用户识别单元203、用户标识数据库204、查看环境检测单元205的部分以及登记信息数据库208可以被分配给服务器装置500B。
现在将参考图5所示的流程图来说明由图4所示的信息呈现系统200执行信息呈现的处理的示例。在步骤ST21,信息呈现系统200例如在打开电源时开始处理。随后,信息呈现系统200进行到步骤ST22的处理。在步骤ST22,用户识别单元203执行用于检测和标识用户的处理,并基于输入用户信息(面部图像、指纹图像、关于账户的手动输入信息和用户密码等)获得用户标识信息。
在步骤ST23,查看环境检测单元205从信息登记终端、因特网等(未示出)检测查看时的环境信息,诸如位置信息(纬度和经度信息)、时间信息等。随后,信息呈现系统200进行到步骤ST24。
在步骤ST24,对象识别单元201执行用于检测和标识输入图像数据的对象的处理,并获得对象信息。在这个处理中,例如,用户使用附接到客户端装置500A的图像拾取单元(相机)来获得特定对象的图像,并获得输入图像数据。可替代地,例如,用户选择存储在客户端装置500A的存储单元中的图像数据,并获得输入图像数据。
在步骤ST25,信息呈现系统200确定是否已经标识出对象。当已经标识出对象时,在步骤ST26,用户状态检测单元206基于对象标识信息、用户标识信息、查看环境信息等生成信息搜索查询。例如,生成信息搜索查询,从而根据基于查看环境信息(时间信息、位置信息等)的顺序,呈现与对象信息中包括的对象标识信息和用户标识信息相关联的内容信息。
在步骤ST27,信息呈现单元207基于在步骤ST26生成的信息搜索查询,从登记信息数据库208和因特网209获取信息,并呈现所获取的信息。在这种情况下,从登记信息数据库208获取与对象标识信息和用户标识信息相关联地登记的内容信息。在此,例如,即使用户标识信息与信息搜索查询不匹配,当用户标识信息在关于可以查看在登记时包括在环境信息中的信息的用户的用户信息的允许范围内时(例如,亲戚、朋友等),也能够获取相应的内容信息。另外,在这种情况下,从因特网209获取相关联信息。
在步骤ST28,信息呈现系统200确定是否已经执行用于切换的操作。用于切换的操作例如是根据由用户使用操作输入单元210执行的切换操作来执行,或者是在过去某段时间之后自动地执行。当已经执行用于切换的操作时,在步骤ST27,信息呈现单元207从登记信息数据库208和因特网209获取呈现顺序的下个地方的信息,并呈现所获取的信息。当仅要呈现一个信息时,该信息被持续呈现。当在执行用于切换的操作同时呈现待呈现的多个信息中呈现顺序的最后一个地方的信息时,执行切换到呈现顺序的第一个地方的信息的呈现。
在步骤ST28,当尚未执行用于切换的操作时,信息呈现系统200确定标识出对象的对象标识状态(步骤ST25中进入的状态)是否被保持在步骤ST29中。当保持了对象标识状态时,信息呈现系统200返回到步骤ST28的处理。当未能保持对象标识状态时,信息呈现系统200返回到步骤ST24的处理,并且重复类似于上述处理的处理。
例如,当用户取消捕捉对象的图像的状态并且系统进入捕捉不同对象的图像的状态时,对象标识状态被打断。因此,处理返回到步骤ST24的处理。当未能保持对象标识状态时,处理可以不返回到步骤ST24的处理,直到用户执行明确操作。信息呈现系统200在例如关闭电源时终止处理。
具体示例
现在将描述具体示例。在此,在访问目的地时的信息查看的示例、信誉查看系统的示例和公告牌系统的示例将分别被说明为第一示例、第二示例和第三示例。
第一示例:在访问目的地时的信息查看
当访问目的地时,用户想要快速获得所需信息。在这种情况下,使用图1所示的信息登记系统100和图4所示的信息呈现系统200,实施一种系统,其中可以为用户携带的对象(物品)在用户访问某处时执行的“信息附接”和“信息取得”。
在此示例中,假定能够访问因特网并且包括相机(图像拾取单元)的诸如蜂窝式电话的信息终端。在用户将信息终端保持在目标上并如图6的部分(a)所示预先捕捉对象的图像之后,如图6的部分(b)所示,登记了关于访问的信息。随后,当如图7的部分(a)所示用户将息终端保持在目标上时,呈现了信息,如图7的部分(b)至(d)所示。
此时,基于由对象识别单元201和用户识别单元203获得的标识结果,对登记信息数据库208执行信息搜索。另外,不仅显示登记的信息,而且从因特网获取并呈现用于访问的信息。根据通过触摸传感器或加速度传感器的用户操作或者在过去某段时间之后切换待呈现的信息。
此外,基于中用户状态检测单元206执行的信息排序来控制呈现顺序。例如,基于为每个信息计算的优先级来进行排序,使用等式(1):
V=a0·D0(t)+a1·D1(x,y)(1),
其中D0(t)表示到计划时间的时间,D1(x,y)表示到目的地的距离,并且a0和a1各自表示系数。
在等式(1)中,“到计划时间的时间”和“到目的地的距离”基于信息呈现时的查看环境来归一化,并且计算优先级V。在图7所示的显示示例中,基于优先级V,“计划表”、“移动信息”和“天气信息”是以所述顺序显示。在此,信息可以附到各种对象(物品),如在去高尔夫练习场时使用的高尔夫会员卡,在看医生时使用的病人登记卡、在去办公室时使用的员工身份卡等。
第二示例:信誉查看系统
在考虑是否购买糖果、玩具等时,用户想要容易地登记并查看目标的信誉。在这种情况下,使用图1所示的信息登记系统100和图4所示的信息呈现系统200实施一种系统,其中可以针对目标执行“信息附接”和“信息取得”。
在此示例中,假定能够访问因特网并且包括相机(图像拾取单元)的诸如蜂窝式电话的信息终端。基本上,实施与第一示例中使用的系统相同的系统。第二示例中使用的系统与第一示例中使用的系统的不同之处在于用户状态检测单元206。在第一示例中,仅在执行信息搜索时使用用户标识结果。然而,在第二示例中,用户标识结果是用于计算优先级V,如等式(2)中:
V=a0·D0(t)+a1·D1(x,y)+a2·D2(n)(2),
其中“D0(t)”表示到信息登记时间的时间,“D1(x,y)”表示到信息登记位置的距离,“D2(n)”表示登记信息的用户之间的距离,并且“a0”、“a1”和“a2”各自表示系数。
例如,值(如年龄、性别、年收入、BMI等)的差的加权和被归一化。因此,用户能够仅通过将信息终端保持在目标上来根据重要性容易地查看由各种人登记的信息。此示例不仅可以应用于糖果的购买,而且可以应用于执行任何物品选择的各种状况。此外,第二示例也应用于物品卖方等登记活动信息等的状况。在推特(Twitter)等的情况下,基于人之间的关系(诸如跟随者)的时间线显示等可用。然而,在此示例中,基于对象来呈现信息。
第三示例:公告牌系统
在大群体中聚会的情况下,用户想要在特定位置留下消息。车站的消息板的缺点在于,例如,公众看到消息,消息板仅在有限地方可用,并且用户难以从由许多人提供的大量信息中区别出与用户有关的信息。在这种情况下,使用图1所示的信息登记系统100和图4所示的信息呈现系统200,实施能够解决上述缺点并且能够安装在所需位置的公告牌系统。
可以从普通网络浏览器访问此公告牌系统。在登入之后,用户选择预先登记在系统中的标记(所述标记与标记所处地方一起呈现),并且选择和登记目标信息以及关于所述标记的相对位置和旋转信息。此时,也可以设置对信息查看的限制。
为了对查看进行限制,可以执行设置,以使得可以仅在标记前执行形成三角形的手势时才能查看到登记的信息。因此,可以使用手势来对由用户或第三方为所述标记登记的大量信息执行信息过滤。
通过此系统,例如,由于可以在用户留在家中时登记信息,所以用户可以使用此系统,以使得用户选择涩谷站前的忠犬八公作为酒会的聚会地点,并将举行酒会的地点和所述地点的地图登记写有文字“忠犬八公”的青铜板略向右的空间中作为信息。
可以从信息终端(诸如包括相机(图像拾取单元)的蜂窝式电话)访问此公告牌系统。也就是说,通过捕捉预先登记在系统中的标记的图像,用户能够查看为所述标记登记的信息。此时,在与用户状态相关联地登记的各种类型的信息中,优先呈现适用于用户当前状态的信息。另外,通过在所呈现信息的标记前执行形成特定形状(如三角形或五角星形)的手势,可以执行信息的切换、过滤等。
因此,例如,在用户在家时登记关于在忠犬八公前青铜板的信息的情况下,通过实际访问场所、用相机捕捉青铜板的图像并执行形成三角形的手势,用户能够查看信息。在这种情况下,当用户知道用户应在标记前执行哪个手势时,用户能够查看信息。因此,期望聚会的人们如果预先知道标记和手势则可以访问信息。如果一个人不知道标记和手势,那么该人难以访问信息。因此,可以容易地实施仅使得所需人能够查看信息的功能。
此外,在此公告牌系统中,可以使用便携式终端来登记信息。也就是说,在捕捉到预先登记在系统中的标记图像之后,通过调用信息登记GUI并对该信息登记GUI执行操作,用户能够登记信息。因此,例如,在登记关于上述聚会地点的信息的情况下,用户能够在写有文字“忠犬八公”的青铜板的右下方等将指示用户已经到达聚会地点并且首先前进到酒会地点的信息登记为注释。
图8中所示的信息呈现系统200A包括手势识别单元211,以支持上述第三示例。在图8中,对应于图4中的部分的部分以相同参考数字提及,并且将省略那些部分的描述。
手势识别单元211基于存储在手势标识数据库212中的手势标识数据来执行用于检测和标识用于从对象识别单元201输出的对象的位置信息的手势的处理,并获得手势标识信息。在此,对象位置信息包括关于对象与相机(图像拾取单元)之间的相对位置的相对位置信息。
位置呈现单元207基于来自用户状态检测单元206的信息搜索查询和手势标识信息来从登记信息数据库208和因特网209获取信息,并呈现所获得的信息。尽管未详细说明,但是信息呈现系统200A的其它部分是与图4中所示的信息呈现系统200的部分类似地配置。
在以上提供的描述中,诸如图像、声音和文本的内容信息被与对象标识信息相关联地登记在登记信息数据库208中。信息呈现单元207从登记信息数据库208获取与对象标识信息相关联的内容信息,并显示所获得的内容信息。
然而,例如,用户可能想要将内容信息与关于对象的位置(x,y,z)和旋转(横滚、俯仰、偏航)以及对象标识信息相关联地登记在登记信息数据库208中。通过图1所示的信息登记系统100,可以登记此类信息。图9示出为位置(x1,y1,z1)登记消息信息,所示位置远离对象所处的位置。
在这种情况下,在信息呈现系统200(例如,便携式终端)中,当图像拾取位置从图10的部分(a)所示的位置移动到图10的部分(b)所示的位置时,对象移出相机的框,如图10的部分(c)至(d)所示。通过此操作,可以从登记信息数据库208获取与位置(x1,y1,z1)相关联的消息信息,如上所述。因此,可以显示隐藏的消息信息,如图10的部分(d)所示。
如上所述,在图4所示的信息呈现系统200中,从登记信息数据库208获取与对象信息(对象标识信息)相关联的内容信息,并且呈现所获得的内容信息。因此,用户能够在无需执行复杂操作的情况下查看内容信息,从而改进了用户友好性。也就是说,可以向用户呈现所需内容信息,并且用户能够仅通过执行用于捕捉特定对象的图像的操作或者选择通过捕捉特定对象获得并且存储在存储单元中的图像数据来查看所呈现的信息。
另外,在图4所示的信息呈现系统200中,可以从登记信息数据库208获取与对象信息和用户标识信息相关联的内容信息。也就是说,可以获取与用户标识信息以及对象信息相关联的所需内容信息。即,可以取得适用于用户的内容信息。
另外,在图4所示的信息呈现系统200中,可以基于查看环境信息(位置信息、时间信息等)来确定呈现特定数目的所获得内容信息的顺序。也就是说,在呈现内容信息的情况下,可以优先呈现适用于查看环境的内容信息。
3.第三实施例
信息呈现系统
图11示出根据本技术的第三实施例的信息呈现系统300的配置的示例。信息呈现系统300包括对象识别单元301、对象标识数据库302、手势识别单元303、手势标识数据库304、信息呈现单元305以及呈现信息数据库306。
对象识别单元301执行用于检测和标识图像数据的对象的处理,并基于存储在对象标识数据库302中的对象标识数据来获得对象信息。在此使用的图像数据可以为通过由图像拾取单元(相机)捕捉图像获得的图像数据,或者可以为存储在用作存储单元的半导体存储器、硬盘驱动器等中的图像数据。在这种情况下,在系统中使用公共对象标识数据库302,以使得一个对象不会被识别为不同的对象。在此,对象包括人和动物。
由对象识别单元301获得的对象状态包括例如,对象标识信息(对象ID)和关于相机(图像拾取单元)相对于对象的位置信息。相机位置信息是基于例如对象的位置,并且用作关于对象与相机之间的相对位置的相对位置信息。对象识别单元301基于例如图像中含有的对象的特征点的位置来识别对象。
对象识别单元301也基于对象的特征点的位置来计算例如相机(图像拾取单元)相对于对象的位置。也就是说,对象识别单元301基于对象(目标)如何出现在图像中并且基于预先登记在对象标识数据库302中的识别字典中描述的对象的实际大小来计算相机的位置。以下将不详细说明由对象识别单元301执行的处理,而在例如本申请人的日本未经审查的专利申请公开案No.2008-304268中进行描述。
手势识别单元303基于存储在手势标识数据库304中的手势标识数据来执行用于检测和标识用于从对象识别单元301输出的相机位置信息的手势的处理,并获得手势标识信息(手势ID)。手势标识信息包括添加到其的表示确定性程度的确定性信息。也就是说,手势识别单元303将相机位置信息的位置或轨道与手势标识数据进行比较,并计算和输出最接近的手势标识信息和手势标识的确定性信息。
信息呈现单元305基于对象标识信息、手势标识信息和确定性信息,获取与对象标识信息和手势标识信息相关联的内容信息,诸如图像、声音或文本,并呈现所获取的内容信息。在这种处理中,如果手势标识的确定性程度小于或等于特定值,那么信息呈现单元305呈现与对象标识信息相关联的多个信息,并等待接收手势输入。在此执行的手势识别可以由触点或按键操作取代,并且可以为部分或统一的混合操作。
图11中所示的信息呈现系统300可以为例如图2A所示的客户端装置500A或图2B所示的网络系统,所述网络系统包括通过网络500C连接的客户端装置500A和服务器装置500B。在图2B所示的网络系统的情况下,形成信息呈现系统300的单元是以分布方式适当分配给客户端装置500A和服务器装置500B。例如,对象识别单元301、对象标识数据库302、手势识别单元303、手势标识数据库304以及呈现信息数据库306可以被分配给服务器装置500B。
现在将参考图12所示的流程图来说明由图11所示的信息呈现系统300执行信息呈现的处理的示例。在步骤ST31,信息呈现系统300例如在打开电源时开始处理。随后,信息呈现系统300进行到步骤ST32的处理。
在步骤ST32,对象识别单元301执行用于检测和标识输入图像数据的对象的处理,并获得对象标识信息。在这个处理中,例如,用户使用附接到客户端装置500A的图像拾取单元(相机)来捕捉特定对象的图像,以获得输入图像数据。可替代地,在这个处理中,例如,用户选择存储在客户端装置500A的存储单元中的图像数据,以获得输入图像数据。
在步骤ST33,信息呈现单元300确定是否已经标识出对象。当已经标识出对象时,在步骤ST34,手势识别单元303确定是否已经标识出手势。在这个处理中,当手势标识的确定性程度大于特定值时,信息呈现系统300确定已经标识出手势。
当标识出手势时,在步骤ST35,信息呈现单元305从呈现信息数据库306获取与对象标识信息和手势标识信息相关联的内容信息(诸如图像、声音或文本),并呈现所获取的内容信息。当尚未标识出手势时,在步骤ST36,信息呈现单元305呈现与对象标识信息相关联的多个内容信息(诸如图像、声音或文本),并等待接收手势输入。
现在将说明用于识别手势的方法的示例。在此,将说明基于位置的手势识别。在这种情况下,如图13所示,对由对象识别单元301获取的相机位置信息表示的相机位置的坐标(x0,y0,z0)执行阈值处理。也就是说,计算相机位置是否落在指定空间内。在这个处理中,指定空间的示例由虚线表示。个别的指定空间可以彼此接触。
在输入移动图像数据的情况下,可以按照时间顺序方式获得相机位置。因此,在这种情况下,重要的是确保由用户通过使用中值过滤器等适当执行过滤来执行的操作的稳定性。另外,识别出的对象不存在于框中(也就是说,不执行对象识别)的状态被检测为状态,并输出结果。
可以使用各种其它方法(诸如基于对轨道(隐马尔可夫模型(HMM)、动态程序设计(DP)匹配等)的时间顺序处理的识别)以及使用粒子滤波器应用循轨时间的方法。然而,可以使用任何方法,只要其为用于仅基于对象(目标)与相机之间的相对位置关系来识别手势的方法即可。
实施方式的具体示例
现在将说明实施方式的具体示例。在此,信息查看系统的示例和物品信息呈现系统的示例将分别被说明为第一示例和第二示例。
第一示例:信息查看系统
在增强现实中,例如,当通过将相机保持在墙壁上的日历或海报、路上的广告牌、报纸中的插页、高尔夫练习场的会员卡等上来获取信息时,呈现多个信息。用户想要对所呈现的信息执行诸如选择、放大、取消等的操作。通过使用图11所示的信息呈现系统300,可以实现这些操作。
在此示例中,假定诸如包括相机(图像拾取单元)的蜂窝式电话的信息终端。例如,当捕捉目标图像时,用户想要接收能够被选择的多种类型的信息的呈现,如图14的部分(a)所示。随后,如图14的部分(b)所示,当平移相机时,可以改变选定和聚焦位置。此时,为了便于用户操作,例如,指示表示选定和聚焦位置的向导,并且移动所述向导以表示根据相机位置移动的选定和聚焦位置。
随后,如图14的部分(c)所示,当在选择一种类型的信息的同时移动相机靠近目标时,可以选择该种类型的信息,并且呈现第一个所选类型的信息。在这种状态下,如图14的部分(d)所示,当移动相机以在目标上形成圆形时,呈现下一个信息。在这种状态下,也可以执行信息的登记、所登记信息的编辑等。
当在如图15的部分(a)所示选择某种类型的信息的状态下移动相机远离如图15的部分(b)所示的目标时,可以取消选择所述某种类型的信息的状态。在这种状态下,当如图15的部分(c)所示移动相机以在目标上形成三角形时,删除了登记在所述类型的信息中的信息。
第二示例:物品信息呈现系统
在固定相机的同时移动目标(与上述第一示例相反)的示例将被说明为第二示例。在增强现实中,当用户将相机保持在目标上时,可以获取信息。例如,如图16所示,用相机捕捉透明搁架的背面图像。根据用户将物品放置在搁架的哪个部分上来改变待呈现的信息。可以容易地实施此系统,因为所述系统不使用标识芯片等,并且系统仅使用相机和监控器。
图17示出用于将内容信息(诸如图像、声音和文本)登记在图11所示的信息呈现系统300的呈现信息数据库306中的信息登记系统400的配置的示例。信息登记系统400包括对象识别单元401、对象标识数据库402、手势识别单元403、手势标识数据库404以及信息登记单元405。信息登记系统400也包括信息输入单元406、呈现单元407、操作输入单元408以及呈现信息数据库306。
对象识别单元401与图11所示的信息呈现系统300的对象识别单元301类似地配置。对象识别单元401执行用于检测和标识图像数据的对象的处理,并基于存储在对象标识数据库402中的对象标识数据来获得对象信息。在此使用的图像数据可以为通过由图像拾取单元(相机)捕捉图像获得的图像数据,或者可以为存储在用作存储单元的半导体存储器或硬盘驱动器中的图像数据。在这种情况下,在系统中使用公共对象标识数据库402,以使得一个对象不会被识别为不同的对象。在此,对象包括人和动物。
由对象识别单元401获得的对象状态包括例如,对象标识信息(对象ID)和关于相机(图像拾取单元)相对于对象的位置信息。相机位置信息是基于例如对象的位置,并且用作关于对象与相机之间的相对位置的相对位置信息。对象识别单元401基于例如图像中含有的对象的特征点的位置来识别对象。
对象识别单元401也基于对象的特征点的位置来计算例如相机(图像拾取单元)相对于对象的位置。也就是说,对象识别单元401基于对象(目标)如何出现在图像中并且基于预先登记在对象标识数据库402中的识别字典中描述的对象的实际大小来计算相机的位置。以下将不详细说明由对象识别单元401执行的处理,而在例如本申请人的日本未经审查的专利申请公开案No.2008-304268中进行描述。
手势识别单元403与图11所示的信息呈现系统300的手势识别单元303类似地配置。手势识别单元403基于存储在手势标识数据库404中的手势标识数据来执行用于检测和标识用于从对象识别单元401输出的相机位置信息的手势的处理,并获得手势标识信息(手势ID)。
信息登记单元405将从信息输入单元406输入的内容信息与对象标识信息(对象ID)和上述手势标识信息(手势ID)相关联地登记在呈现信息数据库306中。内容信息可以为例如各种类型的内容信息,诸如图像、声音和文本。信息登记单元405例如根据用户使用显示在呈现单元407上的GUI在操作输入单元408上执行的操作来登记由用户选择的类型的内容信息。
图17中所示的信息登记系统400还可以为例如图2A所示的客户端装置500A或图2B所示的网络系统,所述网络系统包括通过网络500C连接的客户端装置500A和服务器装置500B。在图2B所示的网络系统的情况下,形成信息登记系统400的单元是以分布方式适当分配给客户端装置500A和服务器装置500B。例如,对象识别单元401、对象标识数据库402、手势识别单元403、手势标识数据库404以及呈现信息数据库306可以被分配给服务器装置500B。
现在将参考图18所示的流程图来说明由图17所示的信息登记系统400执行信息登记的处理的示例。在步骤ST41,信息登记系统400开始处理。随后,信息登记系统400进行到步骤ST42的处理。在步骤ST42,对象识别单元401执行用于检测和标识输入图像数据的对象的处理,并获得对象标识信息。在这个处理中,例如,用户使用附接到客户端装置500A的图像拾取单元(相机)来捕捉特定对象的图像,并获得输入图像数据。可替代地,例如,用户选择存储在客户端装置500A的存储单元中的图像数据,并获得输入图像数据。在步骤ST43,信息登记系统400确定是否已经标识出对象。当在步骤ST43已经标识出对象时,处理进行到步骤ST44。
在步骤ST44,信息登记系统400确定是否已经执行用于信息登记的输入。当手势识别单元403标识手势或者按下操作输入单元408的登记按钮时,信息登记系统400确定已经执行用于信息登记的输入。当已经执行用于信息登记的输入时,信息登记系统400进行到步骤ST45。
在步骤ST45,信息登记系统400将基于对象标识信息(对象ID)和手势标识信息(手势ID)的信息登记GUI呈现在呈现单元407上。也就是说,对象标识信息、手势标识信息和能够输入的类型的内容信息被呈现在呈现单元407上。例如,当能够输入图像、声音和文本中的任一个时,指示能够输入图像、声音和文本中的任一个的消息被显示在呈现单元407上。
在步骤ST46,信息登记系统400确定是否已经输入所呈现类型的内容信息。用户能够输入来自信息输入单元406的所需内容信息。当输入内容信息时,信息登记单元405与对象标识信息和手势标识信息相关联地将输入细节登记在呈现信息数据库306中。
如上所述,在图11所示的信息呈现系统300中,基于对象标识信息和相对位置信息(手势标识信息)来控制信息呈现。因此,可以取得与对象和手势相关联的信息,并且从呈现信息数据库306呈现所述信息。另外,可以在无需触点或按钮操作的情况下呈现用户所需的信息。例如,当用相机(图像拾取单元)捕捉目标图像时,用户能够仅通过移动相机或者移动目标来执行操作。因此,可以为一个目标(对象)呈现多个信息。
4.修改
在上述实施例中,分开布置个别数据库。然而,数据库可以包括多种类型的数据库。另外,在上述实施例中,在网络系统包括个别装置的情况下,个别单元以分布方式适当分配给客户端装置500A和服务器装置500B。
然而,以适当的方式,客户端装置500A可以包括所有功能单元,并且服务器装置500B可以包括识别单元和数据库。在这种情况下,当通信令人满意时,服务器装置500B可以有效地执行识别处理。即使在通信不令人满意时,也可以仅由客户端装置500A执行所有处理,从而不引起信息呈现的问题。
另外,在上述实施例中,以光学方式(使用相机等)执行对象识别。然而,对象识别并不是必须以光学方式(使用相机等)执行。例如,可以使用任何单元,诸如无线装置(蓝
Figure BDA00002368315500261
等)或距离测量装置(超声波、激光等)与具有标识功能的传感器的组合,只要所述单元可以标识对象并获取相对位置即可。
本技术可以采用以下配置:
(1)一种信息登记装置,包括:对象信息获取单元,其获取通过对图像数据执行对象的检测和标识处理而获得的对象信息;以及内容信息登记单元,其将登记对象的目标内容信息与所述对象信息相关联地登记在数据库中。
(2)如(1)中描述的信息登记装置,其中所述对象信息包括关于所述对象的元信息以及对象标识信息。
(3)如(2)中描述的信息登记装置,其中所述元信息包括关于所述对象的位置信息和关于所述对象的姿态信息中的至少一个。
(4)如(1)至(3)中任一项描述的信息登记装置,进一步包括用户标识信息获取单元,其获取通过用于检测和标识用户的处理获得的用户标识信息,其中所述内容信息登记单元将所述登记对象的目标内容信息与所述对象信息和所述用户标识信息相关联地登记在数据库中。
(5)如(1)至(4)中任一项描述的信息登记装置,进一步包括登记环境信息获取单元,其获取登记环境信息,其中所述内容信息登记单元将所述登记对象的目标内容信息与所述对象信息和所述登记环境信息相关联地登记在数据库中。
(6)如(5)中描述的信息登记装置,其中所述登记环境信息包括位置信息和时间信息中的至少一个。
(7)一种信息登记方法,包括:获取通过对图像数据执行对象的检测和标识处理而获得的对象信息;以及将登记对象的目标内容信息与所述对象信息相关联地登记在数据库中。
(8)一种用于使计算机用作以下构件的程序:对象信息获取构件,其用于获取通过对图像数据执行对象的检测和标识处理而获得的对象信息;以及内容信息登记构件,其用于将登记对象的目标内容信息与所述对象信息相关联地登记在数据库中。
(9)一种信息登记系统,包括:图像数据获取单元,其获取图像数据;对象识别单元,其通过对图像数据执行对象的检测和标识处理来获取对象信息;数据库;内容信息输入单元,其将目标内容信息输入所述数据库中;以及内容信息登记单元,其将所述目标内容信息与所述对象信息相关联地登记在数据库中。
(10)一种信息呈现装置,包括:对象信息获取单元,其获取通过对图像数据执行对象的检测和标识处理而获得的对象信息;以及内容信息呈现单元,其获取与所述对象信息相关联的内容信息并呈现所述获取的内容信息。
(11)如(10)中描述的信息呈现装置,其中所述对象信息包括关于所述对象的元信息以及对象标识信息。
(12)如(11)中描述的信息呈现装置,其中所述元信息包括关于所述对象的位置信息和关于所述对象的姿态信息中的至少一个。
(13)如(10)至(12)中任一项描述的信息呈现装置,进一步包括用户标识信息获取单元,其获取通过用于检测和标识用户的处理获得的用户标识信息,其中所述内容信息呈现单元获取与所述对象信息和所述用户标识信息相关联的内容信息并呈现所述获取的内容信息。
(14)如(10)至(13)中任一项描述的信息呈现装置,进一步包括查看环境信息获取单元,其获取查看环境信息,其中所述内容信息呈现单元所获得的所述内容信息包括添加到其的登记环境信息,并且所述内容信息呈现单元基于所述查看环境信息和所述登记环境信息来确定呈现所述获取的内容信息的顺序,所述内容信息包括特定数目的信息。
(15)如(10)至(14)中任一项描述的信息呈现装置,进一步包括:图像拾取单元,其获取所述图像数据;以及相对位置信息获取单元,其获取关于所述对象与所述图像拾取单元之间的相对位置的相对位置信息,所述相对位置信息通过对所述图像数据执行处理获取,其中所述内容信息呈现单元获取与所述相对位置信息以及所述对象信息相关联的内容信息并呈现所述获取的内容信息。
(16)一种信息呈现方法,包括:获取通过对图像数据执行对象的检测和标识处理而获得的对象信息;以及获取与所述对象信息相关联的内容信息并呈现所述获取的内容信息。
(17)一种用于使计算机用作以下构件的程序:对象信息获取构件,其用于获取通过对图像数据执行对象的检测和标识处理而获得的对象信息;以及内容信息呈现构件,其用于获取与所述对象信息相关联的内容信息并呈现所述获取的内容信息。
(18)一种信息呈现系统,包括:图像数据获取单元,其获取图像数据;对象识别单元,其通过对图像数据执行对象的检测和标识处理来获取对象信息;以及内容信息呈现单元,其获取与所述对象信息相关联的内容信息并呈现所述获取的内容信息。
本公开含有与2011年11月14日在日本专利局提交的日本优先权专利申请JP 2011-249178中的公开内容有关的主题,该申请的全部内容以引用的方式并入本文。
本领域技术人员应理解,各种修改、组合、子组合和改变可以取决于设计要求和其它因素而发生,只要其在随附权利要求或其等效内容的范围内即可。

Claims (18)

1.一种信息登记装置,包括:
对象信息获取单元,其获取通过对图像数据执行用于检测和标识对象的处理而获得的对象信息;以及
内容信息登记单元,其将目标内容信息与所述对象信息相关联地登记在数据库中。
2.根据权利要求1所述的信息登记装置,其中所述对象信息包括关于所述对象的元信息以及对象标识信息。
3.根据权利要求2所述的信息登记装置,其中所述元信息包括关于所述对象的位置信息和关于所述对象的姿态信息中的至少一个。
4.根据权利要求1所述的信息登记装置,进一步包括用户标识信息获取单元,其获取通过用于检测和标识用户的处理获得的用户标识信息,
其中所述内容信息登记单元将所述目标内容信息与所述对象信息和所述用户标识信息相关联地登记在数据库中。
5.根据权利要求1所述的信息登记装置,进一步包括登记环境信息获取单元,其获取登记环境信息,
其中所述内容信息登记单元将所述目标内容信息与所述对象信息和所述登记环境信息相关联地登记在数据库中。
6.根据权利要求5所述的信息登记装置,其中所述登记环境信息包括位置信息和时间信息中的至少一个。
7.一种信息登记方法,包括:
获取通过对图像数据执行用于检测和标识对象的处理而获得的对象信息;以及
将目标内容信息与所述对象信息相关联地登记在数据库中。
8.一种用于使计算机用作以下构件的程序:
对象信息获取构件,其用于获取通过对图像数据执行用于检测和标识对象的处理而获得的对象信息;以及
内容信息登记构件,其用于将目标内容信息与所述对象信息相关联地登记在数据库中。
9.一种信息登记系统,包括:
图像数据获取单元,其获取图像数据;
对象识别单元,其通过对所述图像数据执行用于检测和标识对象的处理来获取对象信息;
数据库;
内容信息输入单元,其将目标内容信息输入所述数据库中;以及
内容信息登记单元,其将所述目标内容信息与所述对象信息相关联地登记在数据库中。
10.一种信息呈现装置,包括:
对象信息获取单元,其获取通过对图像数据执行用于检测和标识对象的处理而获得的对象信息;以及
内容信息呈现单元,其获取与所述对象信息相关联的内容信息并呈现所述获取的内容信息。
11.根据权利要求10所述的信息呈现装置,其中所述对象信息包括关于所述对象的元信息以及对象标识信息。
12.根据权利要求11所述的信息呈现装置,其中所述元信息包括关于所述对象的位置信息和关于所述对象的姿态信息中的至少一个。
13.根据权利要求10所述的信息呈现装置,进一步包括用户标识信息获取单元,其获取通过用于检测和标识用户的处理获得的用户标识信息,
其中所述内容信息呈现单元获取与所述对象信息和所述用户标识信息相关联的内容信息并呈现所述获取的内容信息。
14.根据权利要求10所述的信息呈现装置,进一步包括查看环境信息获取单元,其获取查看环境信息,
其中所述内容信息呈现单元所获得的所述内容信息包括添加到其的登记环境信息,并且
所述内容信息呈现单元基于所述查看环境信息和所述登记环境信息来确定呈现所述获取的内容信息的顺序,所述内容信息包括特定数目的信息。
15.根据权利要求10所述的信息呈现装置,进一步包括:
图像拾取单元,其获取所述图像数据;以及
相对位置信息获取单元,其获取关于所述对象与所述图像拾取单元之间的相对位置的相对位置信息,所述相对位置信息通过对所述图像数据执行处理获取,
其中所述内容信息呈现单元获取与所述相对位置信息以及所述对象信息相关联的内容信息并呈现所述获取的内容信息。
16.一种信息呈现方法,包括:
获取通过对图像数据执行用于检测和标识对象的处理而获得的对象信息;以及
获取与所述对象信息相关联的内容信息并呈现所述获取的内容信息。
17.一种用于使计算机用作以下构件的程序:
对象信息获取构件,其用于获取通过对图像数据执行用于检测和标识对象的处理而获得的对象信息;以及
内容信息呈现构件,其用于获取与所述对象信息相关联的内容信息并呈现所述获取的内容信息。
18.一种信息呈现系统,包括:
图像数据获取单元,其获取图像数据;
对象识别单元,其获取通过对所述图像数据执行用于检测和标识对象的处理来获取对象信息;以及
内容信息呈现单元,其获取与所述对象信息相关联的内容信息并呈现所述获取的内容信息。
CN2012104421918A 2011-11-14 2012-11-07 信息登记装置、方法、系统及信息呈现装置、方法和系统 Pending CN103106236A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011249178A JP2013105345A (ja) 2011-11-14 2011-11-14 情報登録装置、情報登録方法、情報登録システム、情報提示装置、情報提示方法、情報提示システムおよびプログラム
JP2011-249178 2011-11-14

Publications (1)

Publication Number Publication Date
CN103106236A true CN103106236A (zh) 2013-05-15

Family

ID=48281625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012104421918A Pending CN103106236A (zh) 2011-11-14 2012-11-07 信息登记装置、方法、系统及信息呈现装置、方法和系统

Country Status (3)

Country Link
US (1) US9020918B2 (zh)
JP (1) JP2013105345A (zh)
CN (1) CN103106236A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808542A (zh) * 2014-12-29 2016-07-27 联想(北京)有限公司 信息处理方法以及信息处理装置
CN108198613A (zh) * 2018-01-31 2018-06-22 九州通医疗信息科技(武汉)有限公司 信息登记方法及装置
CN111970411A (zh) * 2019-05-20 2020-11-20 夏普株式会社 图像形成装置、控制方法、记录介质以及系统
JP2022550757A (ja) * 2019-09-29 2022-12-05 維沃移動通信有限公司 メモ情報表示方法、メモ情報送信方法及び電子機器

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5863423B2 (ja) * 2011-11-30 2016-02-16 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6286123B2 (ja) * 2012-12-27 2018-02-28 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置、コンテンツ提供方法及びコンピュータプログラム
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
JP2017123050A (ja) * 2016-01-07 2017-07-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及びサーバ
CN113407743A (zh) * 2016-04-08 2021-09-17 北京三星通信技术研究有限公司 物体信息翻译、以及衍生信息获取方法和装置
US11100367B2 (en) 2018-07-12 2021-08-24 EMC IP Holding Company LLC Dynamic digital information retrieval implemented via artificial intelligence

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1121245B1 (en) * 1998-06-18 2008-12-24 Kline & Walker L.L.C. Automated devices to control equipment and machines with remote control and accountability worldwide
JP3957468B2 (ja) * 2000-03-31 2007-08-15 日立造船株式会社 複合現実感実現システム
DE10253714A1 (de) * 2002-11-18 2004-06-09 Siemens Ag Verfahren zum Verarbeiten von Datenpaketen in einem Datennetz mit Mobilitätsfunktion
US7212662B2 (en) * 2003-02-27 2007-05-01 T-Mobile Deutschland Gmbh Method for the compressed transmission of image data for 3-dimensional representation of scenes and objects
US20080165082A1 (en) * 2007-01-05 2008-07-10 Manico Joseph A Function enhancing array for multi-frame display system
US7882442B2 (en) * 2007-01-05 2011-02-01 Eastman Kodak Company Multi-frame display system with perspective based image arrangement
US7877696B2 (en) * 2007-01-05 2011-01-25 Eastman Kodak Company Multi-frame display system with semantic image arrangement

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808542A (zh) * 2014-12-29 2016-07-27 联想(北京)有限公司 信息处理方法以及信息处理装置
CN105808542B (zh) * 2014-12-29 2019-12-24 联想(北京)有限公司 信息处理方法以及信息处理装置
CN108198613A (zh) * 2018-01-31 2018-06-22 九州通医疗信息科技(武汉)有限公司 信息登记方法及装置
CN111970411A (zh) * 2019-05-20 2020-11-20 夏普株式会社 图像形成装置、控制方法、记录介质以及系统
JP2022550757A (ja) * 2019-09-29 2022-12-05 維沃移動通信有限公司 メモ情報表示方法、メモ情報送信方法及び電子機器
JP7400091B2 (ja) 2019-09-29 2023-12-18 維沃移動通信有限公司 メモ情報表示方法、メモ情報送信方法及び電子機器

Also Published As

Publication number Publication date
US20130124518A1 (en) 2013-05-16
US9020918B2 (en) 2015-04-28
JP2013105345A (ja) 2013-05-30

Similar Documents

Publication Publication Date Title
CN103106236A (zh) 信息登记装置、方法、系统及信息呈现装置、方法和系统
US11859982B2 (en) System for determining position both indoor and outdoor
US11398088B2 (en) Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
US9269011B1 (en) Graphical refinement for points of interest
US8494215B2 (en) Augmenting a field of view in connection with vision-tracking
CN103106235A (zh) 信息呈现装置、方法和系统、信息登记装置、方法和系统
US8943420B2 (en) Augmenting a field of view
CN102708120B (zh) 生活流式传输
CN108241737A (zh) 用于提供地点信息的系统和支持该系统的电子装置和方法
CN111638796A (zh) 虚拟对象的展示方法、装置、计算机设备及存储介质
CN104699732B (zh) 形成用户简档的方法和信息处理设备
CN109643158A (zh) 使用多模态信号分析进行命令处理
CN107787459A (zh) 提供、组织及管理移动装置的位置历史记录
CN106462598A (zh) 信息处理设备、信息处理方法与程序
CN104718765A (zh) 与具有增强现实的存在粒度相关的方法
US20190320061A1 (en) Proximity-based event networking system and wearable augmented reality clothing
US11289084B2 (en) Sensor based semantic object generation
CN108351884A (zh) 用于用户相关活动的语义位置层
CN107003382A (zh) 信息处理设备、信息处理方法及程序
CN105009114A (zh) 预测性地呈现搜索能力
CN113994351A (zh) 用于动态和增量人脸识别的方法和系统
CN110118603A (zh) 目标对象的定位方法、装置、终端及存储介质
JP2023027548A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN112417323A (zh) 基于兴趣点信息的到达行为检测方法、装置及计算机设备
US20240115955A1 (en) Classifying real-world points of interest in a parallel virtual world

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130515