CN107407967A - 信息处理系统、信息处理方法和程序 - Google Patents

信息处理系统、信息处理方法和程序 Download PDF

Info

Publication number
CN107407967A
CN107407967A CN201680017769.1A CN201680017769A CN107407967A CN 107407967 A CN107407967 A CN 107407967A CN 201680017769 A CN201680017769 A CN 201680017769A CN 107407967 A CN107407967 A CN 107407967A
Authority
CN
China
Prior art keywords
information
real object
display
content
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680017769.1A
Other languages
English (en)
Other versions
CN107407967B (zh
Inventor
池田哲男
齐藤博
蒲池马亚
林优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107407967A publication Critical patent/CN107407967A/zh
Application granted granted Critical
Publication of CN107407967B publication Critical patent/CN107407967B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种信息处理设备，其包括：电路系统，被配置为根据第一内容信息控制第一内容的输出，确定与用户进行内容选择或对象操作所使用的操作体不同的真实对象有关的信息，以及根据第二内容信息控制与第一内容不同的第二内容的输出，其中，第二内容信息是基于第一内容信息和所确定的与真实对象有关的信息的。

Description

信息处理系统、信息处理方法和程序
相关申请的交叉引用
本申请要求于2015年3月31日提交的日本优先权专利申请JP 2015-073883的权益，其全部内容通过引用合并到本文中。
技术领域
本公开内容涉及信息处理系统、信息处理方法和程序。
背景技术
被配置为根据对于智能电话或平板式终端的触摸面板的操作来显示各种信息的装置是普及的。在平板式终端中，考虑大屏幕尺寸的实现方式和多个用户同时执行操作的方法。此外，昔日以来，投影仪已被用作被配置为显示信息的装置。
随着被配置为显示信息的这样的装置的涌现，已提出了用于实现对于显示的信息的各种操作的各种用户界面。例如，在下面的专利文献1中，公开了一种用于将由移动终端捕获的图像用作关键字而参考数据库读取诸如URL的相应信息的技术。
引用列表
专利文献
PTL1 JP 2006-48672A
发明内容
技术问题
在显示信息时装置的周围环境或显示的信息的状态不会总是不变的。例如，各种真实对象可能在设备附近，并且可以显示各种显示对象。考虑到上述状况，需要根据真实对象或显示的对象来适当且高效地显示信息，并且提高用户便利性。
因此，本公开内容提出了能够提高用户便利性的、新颖的且改进的信息处理系统、信息处理方法和程序。
针对问题的解决方案
根据本公开内容的一个方面，提供一种信息处理设备，其包括：电路系统，其被配置为根据第一内容信息控制第一内容的输出，确定与用户进行内容选择或对象操作所使用的操作体不同的真实对象有关的信息，以及根据第二内容信息控制与第一内容不同的第二内容的输出，其中，第二内容信息是基于第一内容信息和所确定的与真实对象有关的信息的。
根据本公开内容的另一方面，提供了一种信息处理方法，其包括：根据第一内容信息输出第一内容；确定与用户进行内容选择或对象操作所使用的操作体不同的真实对象有关的信息；以及根据第二内容信息输出与第一内容不同的第二内容，其中，第二内容信息是基于第一内容信息和所确定的与真实对象有关的信息的。
根据本公开内容的另一方面，提供了一种非暂态计算机可读介质，其上包括有程序，该程序在由计算机执行时使得计算机执行包括下述操作的方法：根据第一内容信息输出第一内容；确定与用户进行内容选择或对象操作所使用的操作体不同的真实对象有关的信息；以及根据第二内容信息输出与第一内容不同的第二内容，其中，第二内容信息是基于第一内容信息和所确定的与真实对象有关的信息的。
发明的有益效果
根据本公开内容的上述实施例，能够提高用户便利性。注意，上述有益效果不是严格限制的，并且除了上述有益效果之外或代替上述有益效果，还可以呈现本公开内容中指示的任何有益效果或可以从本公开内容推出的其他有益效果。
附图说明
图1是示出根据实施例的信息处理系统的外部配置示例的图。
图2是示出根据实施例的信息处理系统的外部配置示例的图。
图3是示出根据实施例的信息处理系统的外部配置示例的图。
图4是示出根据实施例的信息处理系统的示例性逻辑配置的框图。
图5是示出根据实施例的信息处理系统的示例性逻辑配置的框图。
图6是示出根据实施例的信息处理系统中执行的对应关系DB更新处理的示例性流程的流程图。
图7是示出根据实施例的信息处理系统中执行的真实对象识别处理的示例性流程的流程图。
图8是示出根据实施例的信息处理系统中执行的真实对象标识处理的示例性流程的流程图。
图9是用于描述根据实施例的获取位置图的示例性处理的图。
图10是用于描述根据实施例的计算位置图的一致率(concordance rate)的示例性处理的图。
图11是示出根据实施例的信息处理系统中执行的真实对象DB更新处理的示例性流程的流程图。
图12是用于描述根据实施例的更新真实对象DB中的位置图的示例性处理的图。
图13是示出根据实施例的信息处理系统中执行的提供信息显示处理的示例性流程的流程图。
图14是示出根据实施例的信息处理系统中执行的提供信息显示处理的示例性流程的流程图。
图15是示出根据实施例的、存储在显示对象DB中的示例性信息的图。
图16是示出根据实施例的、存储在真实对象DB中的示例性信息的图。
图17是示出根据实施例的、存储在真实对象DB中的示例性信息的图。
图18是用于描述根据实施例的对真实对象进行标识的示例性处理的图。
图19是用于描述根据实施例的对真实对象进行标识的示例性处理的图。
图20是用于描述根据实施例的本地对应关系DB的示例性处理的图。
图21是用于描述根据实施例的本地对应关系DB的示例性处理的图。
图22是用于描述根据实施例的云对应关系DB的示例性处理的图。
图23是用于描述根据实施例的云对应关系DB的示例性处理的图。
图24是用于描述根据实施例的云对应关系DB的示例性处理的图。
图25是用于描述根据实施例的云对应关系DB的示例性处理的图。
图26是示出根据实施例的信息处理设备的示例性硬件配置的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的实施例。注意，在本说明书和附图中，用相同的附图标记标示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
此外，在本说明书和附图中，具有基本上相同的功能和结构的元件在一些情况下可能通过附于相同标记的不同字母进行区分。例如，适当地将具有基本上相同的功能和结构的多个元件区分为信息处理系统100A、100B、100C等。另一方面，在没有特别区分具有基本上相同功能和结构的多个元件中的每一个时，将仅给出相同的标记。例如，在不进行特别区分时，将信息处理系统100A、100B和100C简单地指定为信息处理系统100。
将以下述顺序进行描述。
1.配置示例
1.1外部配置示例
1.2功能配置示例
2.功能细节
2.1 DB更新功能
2.2提供信息显示功能
3.具体示例
4.硬件配置示例
5.总结
<<1.配置示例>>
<<1.1外部配置示例>>
首先，将描述根据本公开内容的实施例的信息处理系统100的外部配置。
图1是示出根据实施例的信息处理系统100A的外部配置示例的图。如图1所示，根据实施例的信息处理系统100A包括输入单元110A和输出单元130A。图1所示的信息处理系统100A是如下系统：该系统将信息显示在桌子140A的上表面上，并且使得使用该信息处理系统100A的用户能够对桌子140A上显示的信息进行操作。如图1所示的、在桌子140A的上表面上显示信息的方法称为“投影型”。
输入单元110A是被配置为输入使用信息处理系统100A的用户的操作内容或放置在桌子140A上的对象的形状或图案的装置。在图1所示的示例中，输入单元110A设置在桌子140A上方，并悬挂于例如天花板。也就是说，输入单元110A与用作在其上显示信息的目标的桌子140A分离设置。作为输入单元110A，例如，可以使用被配置为用一个镜头对桌子140A进行成像的摄像装置或者能够用两个镜头对桌子140A进行成像并记录深度方向信息(深度信息)的立体摄像装置。
在将被配置为用一个镜头对桌子140A进行成像的摄像装置用作输入单元110A时，如果信息处理系统100A分析由该摄像装置捕获的图像，则可以识别放置在桌子140A上的对象。此外，在将立体摄像装置用作输入单元110A时，输入单元110A可以获取深度信息。在输入单元110A获取深度信息时，信息处理系统100A可以识别例如放置在桌子140A上的手或对象。此外，在输入单元110A获取深度信息时，信息处理系统100A可以识别用户的手与桌子140A之间的接触、靠近或释放。注意，在以下描述中，用户使诸如手的操作体接触或接近信息显示表面的情况通常简称为“接触”。以这种方式，输入单元110A起到如下传感器的作用：被配置为对桌子140A进行成像的图像传感器、被配置为获取关于桌子140A的深度信息的深度传感器以及被配置为识别对桌子140A的接触的触摸传感器。
在下文中，将主要描述根据输入单元110A所捕获的图像对用户的操作进行识别的情况，但是本公开内容不限于此。用户的操作也可以通过被配置为识别用户的手指等的接触的触摸面板来识别。另外，除此之外，输入单元110A可以获取的用户的操作可以包括例如对于信息显示表面的触控笔操作和对于摄像装置的肢体动作操作。
输出单元130A是如下设备：该设备根据由输入单元110A输入的、使用信息处理系统100A的用户的操作内容、从输出单元130A输出的信息的内容、以及放置在桌子140A上的对象的形状、图案等信息，来将信息显示在桌子140A上并输出音频。作为输出单元130A，例如使用投影仪或扬声器。在图1所示的示例中，输出单元130A设置在桌子140A上方并悬挂于例如天花板。当输出单元130A由投影仪构成时，输出单元130A将信息投影在桌子140A的上表面上。
使用信息处理系统100A的用户可以将手指等放置在桌子140A上，并且执行对由输出单元130A显示在桌子140A上的信息的操作。此外，当对象被放置在桌子140A上并且被输入单元110A识别时，使用信息处理系统100A的用户可以对所识别的对象执行各种操作。
另外，尽管图1中未示出，但是其他装置可以连接到信息处理系统100A。例如，用于照亮桌子140A的照明装置可以连接到信息处理系统100A。当用于照亮桌子140A的照明装置连接到信息处理系统100A时，信息处理系统100A可以根据信息的显示表面的状态来控制照明装置的照明状态。
根据本公开内容的实施例的信息处理系统100的模式不限于图1中的实例。在下文中，将参照图2和图3来举例说明根据实施例的信息处理系统100的其他模式。
图2是示出根据实施例的信息处理系统100B的外部配置示例的图。在图2所示的信息处理系统100B中，触摸面板型显示器形成在桌子140B的上表面上。在本配置示例中，输出单元130B可以由触摸面板型显示器构成。也就是说，在本配置示例中，信息显示表面是触摸面板型显示器。如图2所示的、在设置在桌子140B的上表面上的触摸面板上显示信息的方法也称为“触摸面板型”。如图2所示，输入单元110B可以由触摸面板型显示器构成，或者可以设置在桌子140B上方并且与桌子140B分离。例如，由触摸面板型显示器构成的输入单元110B用作触摸传感器，并且设置在桌子140B上方的输入单元110B用作图像传感器和深度传感器。
图3是示出根据实施例的信息处理系统100C的外部配置示例的图。图3所示的信息处理系统100C被形成为将信息从桌子140C下方投影到输出单元130C，并因此将信息显示在桌子140C的表面上。也就是说，在图3所示的信息处理系统100C中，信息显示表面是桌子140C的上表面。桌子140C的表面由透明或半透明材料(诸如，玻璃板或透明塑料板)形成。如图3所示的、将信息从桌子140C下方投影到输出单元130C并因此将信息显示在桌子140C的上表面上的方法也称为“背投影型”。如图3所示，输入单元110C可以设置在桌子140C上方并且与桌子140C分离，或者可以设置在桌子140C下方并且与桌子140C分离。例如，设置在桌子140C上方的输入单元110C用作图像传感器和深度传感器，并且设置在桌子的140C下方的输入单元110C用作触摸传感器。
在以下描述中，将举例说明图1所示的投影型信息处理系统100。此外，由输出单元130显示的信息(诸如应用窗口、图像或视频)也称为“显示对象”。在下文中，显示对象将被描述为应用窗口。此外，放置在信息处理系统100附近的桌子140A的上表面上或者保持在桌子140A的上表面之上的对象也称为“真实对象”。用户的身体也可以被认为是真实对象。显示对象可以显示在各种对象表面上。例如，显示对象可以被投影在桌子140A的上表面上，或者可以被投影在真实对象(诸如，放置在桌子140A上的屏幕)上。在本说明书中，显示对象显示在其上的对象表面也简称为“显示表面”。
<1.2.功能配置示例>
接下来，将描述根据实施例的信息处理系统100的功能配置。
图4是示出根据实施例的信息处理系统100的示例性逻辑配置的框图。如图4所示，根据实施例的信息处理系统100包括输入单元110、控制单元120、输出单元130和存储单元150。
(1)输入单元110
输入单元110具有接收至输入单元110的各条信息的输入的功能。例如，如上所述的那样，输入单元110起到如下传感器的作用：被配置为对桌子140A进行成像的图像传感器、被配置为获取关于桌子140A的深度信息的深度传感器以及被配置为识别对桌子140A的接触的触摸传感器。输出单元130显示信息的范围与输入单元110接收信息输入的范围可以相同或不同。例如，输入单元110可以从比输出单元130显示的范围更宽的范围获取图像数据、深度信息或接触信息。
作为图像传感器，输入单元110可以由例如可见光摄像装置或红外摄像装置构成。作为深度传感器，输入单元110可以由例如立体摄像装置、使用飞行时间法的测距传感器或使用结构光法的测距传感器构成。作为触摸传感器，输入单元110也可以由触摸面板构成，或者可以根据深度信息对接触进行识别。
此外，输入单元110可以由被配置为获取生物特征信息(诸如，用户的体温、汗水或脉搏)的生物传感器构成。
(2)控制单元120
控制单元120用作算术处理单元和控制装置，并且根据各种程序来控制信息处理系统100的全部操作。例如，控制单元120使用由输入单元110输入的信息，并且生成要从输出单元130输出的信息。如图4所示，控制单元120用作识别单元122、存储控制单元124和显示控制单元126。
(2.1)识别单元122
识别单元122具有识别信息处理系统100附近的真实对象的功能。例如，识别单元122识别显示对象显示在其上的对象(例如，图1所示的桌子140A)表面上的显示对象和真实对象。例如，识别单元122可以参考由输出单元130输出的信息，并且识别显示在显示表面上的显示对象。此外，识别单元122可以基于由输入单元110输入的图像信息和深度信息来识别真实对象的形状、图案等。此外，识别单元122可以基于由输入单元110输入的感测结果来识别用户的生物特征信息。此外，识别单元122可以基于由输入单元110输入的图像信息和深度信息来识别附近的装置，诸如用户佩戴的手表或持握的智能电话。
此外，在信息处理系统100具有图1所示的投影类型时，预先对信息的显示表面的坐标和与显示表面接触的操作体(诸如，用户的手)的坐标进行校准，以使其匹配。因此，识别单元122可以识别到操作体(诸如，用户的手)与GUI的一部分接触。
(2.2)存储控制单元124
存储控制单元124具有访问存储单元150并且获取和存储信息的功能。
例如，存储控制单元124可以使与由识别单元122识别的显示对象和真实对象的组合相关联的信息存储在存储单元150中。因此，同时识别到的在显示表面上显示的至少一个显示对象和显示表面上的至少一个真实对象是相关联的。在下文中，指示这样的对应关系的信息也称为“对应关系信息”。另外，存储控制单元124可以从存储单元150获取显示对象与真实对象之间的对应关系信息。因此，存储控制单元124可以获取指示先前同时识别到的显示对象和真实对象的组合的信息。
存储单元150是被配置为将数据记录在预定记录介质中并且再现数据的单元。存储单元150可以存储将在下面描述的显示对象DB(数据库)、真实对象DB以及对应关系DB。存储单元150可以存储信息处理系统100中的特定信息，或者可以存储与另一信息处理系统100共享的信息。例如，存储单元150可以设置在信息处理系统100中，并且可以被设置为单独的装置，诸如连接到网络的服务器等。为了便于描述，在本说明书中，信息处理系统100中的特定信息可以被描述为“本地的”，并且与另一信息处理系统100共享的信息可以被描述为“云”。
显示对象DB存储关于显示对象的信息。例如，显示对象DB存储下面的表1所示的信息。标识信息是用于标识显示对象的信息。标识信息可以包括用于唯一地标识显示对象本身的信息，并且可以包括指示显示对象的类别(诸如，在显示对象例如是音乐播放器时为“娱乐应用”)的信息。显示对象的内容是指示显示对象的内容(诸如，应用类型)的信息。
[表1]
标识信息 显示对象的内容
… …
真实对象DB存储关于真实对象的信息。例如，真实对象DB存储下面的表2所示的信息。标识信息是用于标识真实对象的信息。标识信息可以包括用于唯一地标识真实对象本身的信息，并且可以包括指示真实对象的类别(诸如，在真实对象是例如咖啡杯时为“餐具”)的信息。图像信息是根据由输入单元110获取的图像数据而获得的、指示真实对象的捕获图像的信息。3D形状信息是指示真实对象的3D形状的信息，并且例如是由输入单元110获取的真实对象的深度信息。位置图是根据由输入单元110获取的深度信息而获得的、指示显示表面中存在真实对象的可能性的信息。其他属性信息是指示真实对象的属性的信息，并且可以包括例如指示识别到真实对象的时间段的信息或指示真实对象的温度的信息。此外，指示时间段的信息可以是任何单位(诸如，以分钟、小时或天为单位)，或者可以通过星期几或工作日/节假日来区分日子。
[表2]
标识信息 图像信息 3D形状信息 位置图 其他属性信息
--- --- --- --- ---
对应关系DB存储对应关系信息。例如，对应关系DB存储下面的表3所示的信息。条目的标识信息是对应关系信息的标识信息。显示对象的标识信息是用于标识相关联的显示对象的标识信息，并且可以包括至少一条标识信息。真实对象的标识信息是用于标识相关联的真实对象的标识信息，并且可以包括至少一条标识信息。布置信息是指示真实对象与显示对象之间的相对布置的信息。指示布置的信息包括相对方向、距离、定向、尺寸等。关联度是指示真实对象与显示对象之间的关联度的信息，并且例如随着同时使用显示对象和真实对象的时间或其次数的增加而增大。此外，作为对应关系信息，可以包括指示时间延迟(time lag)的信息。例如，可以包括指示如下时间延迟的信息：从用户将真实对象放置在桌子140A上直到显示对象被显示的时间延迟，或者从显示对象被显示直到用户将真实对象放置在桌子140A上的时间延迟。
[表3]
此外，虽然上面已在表中示出DB的内容，但是其可以例如关系数据库的形式来实现。
(2.3)显示控制单元126
显示控制单元126具有控制输出单元130以使得输出信息的功能。
例如，显示控制单元126根据由输入单元110输入的信息，来生成用于对显示对象的显示进行控制的显示控制信号。具体地，显示控制单元126根据对每个显示对象的触摸来执行对显示对象的绘制控制或画面转变控制。
例如，显示控制单元126可以使得基于识别单元122的识别结果而在输出单元130上显示与所识别的显示对象和真实对象中的至少任一个对应的提供信息。因此，用户可以接收例如与显示的显示对象对应的真实对象的信息的提供，以及接收与放置在桌子140A上的真实对象对应的显示对象的信息的提供。在这种情况下，显示控制单元126还可以基于存储控制单元124获取的对应关系信息而显示提供信息。在这种情况下，用户可以接收包括她或他自己过去对显示对象和真实对象的使用方法以及根据其他用户的使用方法的内容的信息的提供。以这种方式，可以提高用户便利性。
提供信息的显示形式和内容可以根据识别单元122的识别结果而改变。首先，将描述显示形式。
例如，显示控制单元126可以基于所识别的显示对象和/或真实对象的标识信息来控制布置，诸如显示提供信息的位置、尺寸和/或定向。具体地，在放置咖啡杯(真实对象)和显示网页浏览器(显示对象)的环境中，显示控制单元126可以采用与咖啡杯对应的布置、与网页浏览器对应的布置或者与咖啡杯和网页浏览器对应的布置。此外，在同一环境中，显示控制单元126可以采用与类别“餐具”对应的布置、与类别“娱乐应用”对应的布置或者与类别“餐具”和类别“娱乐应用”对应的布置。
此外，显示控制单元126可以使得基于所识别的显示对象和/或真实对象的位置来显示提供信息。具体地，显示控制单元126可以基于所识别的显示对象和/或真实对象的位置来控制提供信息的布置。此外，显示控制单元126可以控制诸如亮度或对比度的显示参数。因此，用户可以接收以根据真实对象被放置的位置和/或显示对象被显示的位置的显示形式的信息的提供。
除了显示对象和真实对象的位置之外，显示控制单元126还可以基于各条信息来控制布置。例如，显示控制单元126可以基于以下示例中所示的至少任一条信息来控制布置。
-真实对象的位置、尺寸和/或定向
-显示对象的位置、尺寸和/或定向
-真实对象与显示对象之间的相对位置和/或定向
-显示对象的处理状态
-时间段
-用户简档(profile)
根据上面举例说明的信息，即使识别到同一真实对象和/或显示对象，当绝对位置、尺寸和/或定向不同时，显示控制单元126也可以采用不同的布置。此外，即使识别到同一真实对象和/或显示对象，当相对位置和/或定向不同时，显示控制单元126也可以采用不同的布置。此外，即使识别到同一显示对象，显示控制单元126也可以根据显示对象的处理状态，(例如，处理正在进行或正在等待用户输入)而采用不同的布置。例如，显示控制单元126可以使得在应用等待用户输入时以大比例显示提供信息，并且可以使得在用户输入正在进行时以小比例显示提供信息以便不产生干扰。此外，即使识别到同一真实对象和/或显示对象，当时间段和/或用户简档不同时，显示控制单元126也可以采用不同的布置。
上面已经描述了显示形式。接下来，将描述内容。
例如，可以基于所识别的显示对象和/或真实对象的标识信息来生成和显示提供信息。具体地，在放置咖啡杯并且显示网页浏览器的环境中，显示控制单元126可以使得显示与咖啡杯对应的提供信息，显示与网页浏览器对应的提供信息，以及显示与咖啡杯和网页浏览器对应的提供信息。此外，在同一环境中，显示控制单元126可以使得显示与类别“餐具”对应的提供信息，显示与类别“娱乐应用”对应的提供信息，以及显示与类别“餐具”和类别“娱乐应用”对应的提供信息。
这里，将描述与显示对象和真实对象对应的提供信息的示例。例如，在放置咖啡杯并且显示网页浏览器的环境中，可以将音乐播放器作为与咖啡杯和网页浏览器对应的提供信息而显示。此外，在放置咖啡杯并且显示新闻应用的环境中，可以将日程应用作为与咖啡杯和新闻应用对应的提供信息而显示。此外，在放置杂志并且显示新闻应用的环境中，可以将广告作为与杂志和新闻应用对应的提供信息而显示。
此外，可以基于所识别的显示对象和/或真实对象的位置来生成提供信息。具体地，当布置信息不同时，将根据相同的显示对象和真实对象的组合的对应关系信息处理为不同的对应关系信息。因此，当所识别的显示对象和/或真实对象的位置不同时，为了生成提供信息，可以参考不同的对应关系信息，并且可以生成不同的提供信息。因此，用户可以接收与真实对象被放置的位置和/或显示对象被显示的位置对应的信息的提供。
可以基于除了显示对象和真实对象的位置以外的各条信息而生成提供信息。例如，显示控制单元126可以使得基于下面举例说明的信息中的至少任何一条来显示提供信息。
-真实对象的位置、尺寸和/或定向
-显示对象的位置、尺寸和/或定向
-真实对象与显示对象之间的相对位置和/或定向
-显示对象的处理状态
-时间段
-用户简档
根据上面举例说明的信息，即使识别到同一真实对象和/或显示对象，显示控制单元126也可以在绝对位置、尺寸和/或定向不同时使得显示不同的提供信息。此外，即使识别出同一真实对象和/或显示对象，显示控制单元126也可以在相对位置和/或定向不同时使得显示不同的提供信息。此外，即使识别出同一显示对象，显示控制单元126也可以根据显示对象的处理状态而使得显示不同的提供信息。例如，显示控制单元126可以在网页浏览器正在下载文件时使得显示音乐播放器，以有效地利用等待时间，并且在下载完成之后使得显示文件管理器。此外，即使识别出同一真实对象和/或显示对象，显示控制单元126也可以在时间段和/或用户简档不同时使得显示不同的提供信息。
上面已经描述了根据识别结果而改变的提供信息的显示形式和内容。
当识别出对应关系信息的组合的一部分并且未识别出其另一部分时，显示控制单元126可以将关于未识别出的真实对象或显示对象的信息作为提供信息而显示。提供信息也可以是对应关系信息中的、与识别单元122所识别的真实对象相关联的显示对象的信息。例如，当尚未显示与所识别的真实对象对应的显示对象时，显示控制单元126还可以显示该显示对象。因此，例如，当用户仅将真实对象放置在桌子140A上时，显示经常与真实对象一起使用的应用。提供信息还可以是对应关系信息中的、与识别单元122所识别的显示对象相关联的显示对象的信息。例如，当尚未识别到与所显示的显示对象对应的真实对象时，显示控制单元126还可以显示与该真实对象相关的显示对象。因此，当用户例如仅激活应用时，显示用作经常与该应用一起使用的真实对象的提醒的显示对象。
替选地，提供信息还可以是显示对象或真实对象的广告信息。例如，显示控制单元126还可以显示与识别单元122识别的显示对象和真实对象中的至少任一个相关联的广告信息。因此，用户可以接收例如激活的应用的介绍或者与放置在桌子140A上的真实对象相关联的应用和产品的介绍。例如，当用户放置咖啡杯时，可以推荐巧克力或饼干。广告信息可以例如由第三方(诸如公司)登记在云对应关系DB中。
显示控制单元126还可以基于由信息处理系统100本身获得的对应关系信息而显示提供信息。也就是说，显示控制单元126还可以参考本地对应关系DB而显示提供信息。因此，用户可以接收根据他自己或她自己的使用方法的信息的提供。替选地，显示控制单元126还可以基于另一信息处理系统100的对应关系信息而显示提供信息。也就是说，显示控制单元126还可以参考云对应关系DB而显示提供信息。因此，用户可以接收基于综合知识的信息的提供，该综合知识包括与该用户一样使用相同的使用方法的其他用户。此外，例如，当信息处理系统100安装在一栋房子的每个不同房间中时，考虑到在使用显示对象与使用真实对象之间存在差异的情况，可以参考相互对应关系DB。此外，显示控制单元126还可以基于与识别单元122识别的用户相似的另一用户的对应关系信息来显示提供信息。例如，存储控制单元124参考预登记的用户简档信息，根据手部图像或话音确定性别或年龄组，基于她或他是否佩戴戒指而确定她或他是否结婚，或者根据皮肤的颜色或区域而确定种族。因此，显示控制单元126还可以基于登记在云对应关系DB中的、与另一用户相关的对应关系信息来显示提供信息，该另一用户具有与该用户的简档相似的简档。因此，用户可以接收基于与另一用户相关的综合知识的信息的提供，该另一用户具有与该用户的简档相似的简档。
控制单元120可以由例如中央处理单元(CPU)构成。当控制单元120由诸如CPU的装置构成时，这样的装置可以由电子电路构成。
另外，尽管在图4中未示出，但是控制单元120可以具有与其他装置无线通信的通信功能或者控制连接到信息处理系统100的其他装置(例如，照明装置)的操作的功能。
(3)输出单元130
输出单元130具有基于根据显示控制单元126的控制而输出信息的功能。例如，输出单元130用作如下显示单元：该显示单元被配置为根据由显示控制单元126生成的显示控制信号而对显示对象进行显示。输出单元130可以由例如触摸面板、液晶屏幕或投影仪构成。
图4所示的信息处理系统100可以由单个装置构成，或者其一部分或全部可以由分离的装置构成。例如，在图4所示的信息处理系统100的功能配置示例中，控制单元120可以设置在经由网络连接到输入单元110和输出单元130的装置(诸如，服务器)中。当控制单元120设置在诸如服务器的装置中时，来自输入单元110的信息经由网络被传送到诸如服务器的装置，控制单元120根据来自输入单元110的信息而执行处理，并且输出单元130要输出的信息经由网络被从诸如服务器的装置传送到输出单元130。下面将参照图5来描述这样的配置示例。
图5是图示根据实施例的信息处理系统100的示例性逻辑配置的框图。如图5所示，根据实施例的信息处理系统100包括输入和输出装置200、服务器300和存储单元150。
输入和输出装置200包括通信单元160以及上述的输入单元110和输出单元130。通信单元160具有与服务器300进行通信的功能。通信单元160将由输入单元110输入的信息传送至服务器300，并且将从服务器300接收到的显示控制信号输出至输出单元130。
服务器300包括通信单元170以及上述的识别单元122、存储控制单元124和显示控制单元126。通信单元170具有与输入和输出装置200进行通信的功能。通信单元170从输入和输出装置200接收由输入单元110输入的信息，并且将显示控制信号传送至输入和输出装置200。
上面已经描述了根据实施例的信息处理系统100的功能配置示例。接下来，将参照图6至图14详细描述根据实施例的信息处理系统100的功能。
<<2.功能详情>>
<2.1.DB更新功能>
首先，将描述DB更新功能。作为用于显示提供信息的提前准备，信息处理系统100更新对应关系DB、真实对象DB和显示对象DB，。下文中，将描述这样的更新处理。注意，对于显示对象DB，由于在该DB中仅仅登记或更新可以显示的显示对象，因此将省略对其的描述。
(对应关系DB更新处理)
图6是示出根据实施例的信息处理系统100中执行的对应关系DB更新处理的示例性流程的流程图。
如图6所示，首先，在步骤S102中，识别单元122确定是否显示了可用的显示对象。识别单元122确定例如被图标化且未被用户使用的应用是不可用的。此外，识别单元122确定例如自从激活以来的时间小于预定时间的应用是不可用的。以该方式，防止对没有使用的显示对象或错误显示的显示对象执行以下处理。当确定没有显示可用的显示对象时(在S102中为“否”)，处理再次返回到步骤S102。
当确定显示了可用的显示对象时(在S102中为“是”)，在步骤S104中，信息处理系统100执行真实对象识别处理。真实对象识别处理是用于识别真实对象的处理。下面将参照图7详细描述该处理。在可用的显示对象之中，将未对其执行步骤S106至S122的处理的显示对象用作目标，针对每个目标显示对象执行该步骤之后的处理。
接下来，在步骤S106中，识别单元122确定在步骤S104中是否识别到真实对象。当确定没有识别到真实对象时(在S106中为“否”)，处理进行至后面的步骤S124。
当确定识别到真实对象时(在S106中为“是”)，在步骤S108中，信息处理系统100执行真实对象标识处理。真实对象标识处理是将目标真实对象标识为真实对象DB中登记的真实对象的处理。下面将参照图8详细描述该处理。在所识别的真实对象中，将未对其执行步骤S108至S120的处理的真实对象用作目标，针对每个目标真实对象执行该步骤之后的处理。
接下来，在步骤S110中，信息处理系统100执行真实对象DB更新处理。真实对象DB更新处理是更新真实对象DB的处理。下面将参照图11详细描述该处理。
接下来，在步骤S112中，存储控制单元124确定在对应关系DB中是否登记了可用显示对象与目标真实对象的组合的对应关系信息。
当确定没有登记该信息(在S112中为“否”)时，在步骤S120中，存储控制单元124将条目登记在本地对应关系DB中。例如，存储控制单元124将对应关系信息的条目添加到对应关系DB中。在这种情况下，存储控制单元124基于真实对象与显示对象之间的布置关系(例如，从真实对象看到的显示对象的方向、距离、定向或尺寸)来登记布置信息。此外，存储控制单元124设置关联度的初始值。然后，处理进行至后面的步骤S122。
当确定登记了该信息时(在S112中为“是”)，在步骤S114中，存储控制单元124更新本地对应关系DB的条目。例如，存储控制单元124增大对应关系DB中的对应关系信息的关联度。因此，基于对应关系信息而提供提供信息的可能性增加。此外，当对于对应关系DB或提供信息的直接操作被用户拒绝时，关联度可能降低。因此，基于对应关系信息而提供提供信息的可能性降低。此外，存储控制单元124可以根据真实对象与显示对象之间的布置关系来更新条目的布置信息。
接下来，在步骤S116中，存储控制单元124确定更新后的条目是否满足预定条件。例如，当关联度超过阈值时，存储控制单元124确定满足预定条件，否则，存储控制单元124确定不满足预定条件。当确定满足预定条件(在S116中为“是”)时，在步骤S118中，存储控制单元124更新云信息提供DB。当没有登记该条目时，存储控制单元124登记该条目。当登记了该条目时，存储控制单元124更新该条目。因此，与另一信息处理系统100共享具有高关联度的条目的信息。当确定不满足预定条件(在S116中为“否”)时，处理进行至后面的步骤S122。
在步骤S122中，存储控制单元124确定是否处理了所有目标真实对象。当确定存在未处理的真实对象时(在S122中为“否”)，处理再次返回到步骤S108。当确定对象均被处理时(在S122中为“是”)，在步骤S124中，识别单元122确定是否处理了所有可用的显示对象。当确定对象均被处理时(在S124中为“是”)，处理结束。否则，当确定存在未处理的显示对象(在S124中为“否”)时，处理再次返回到步骤S104。
(真实对象识别处理)
图7是示出根据实施例的信息处理系统100中执行的真实对象识别处理的示例性流程的流程图。
如图7所示，首先，在步骤S202中，识别单元122设定初始状态的深度信息。例如，识别单元122将在特定时间的关于显示表面的深度信息设定为初始状态的深度信息。识别单元122可以将激活信息处理系统100的时间的状态设定为初始状态的深度信息，或者每当添加或移除真实对象时，都可以更新初始状态的深度信息。初始状态的深度信息可以是显示表面上没有真实对象的状态的深度信息，或者可以是在任何真实对象位于显示表面上时的深度信息。
接下来，在步骤S204中，识别单元122获取关于显示表面的深度信息。因此，在步骤S206中，识别单元122将初始状态的深度信息与所获取的深度信息进行比较。例如，当在所获取的深度信息中存在高度比初始状态的深度信息的高度更高的区域时，识别单元122确定向该区域添加了真实对象。否则，当在所获取的深度信息中存在高度比初始状态的深度信息的高度更低的区域时，识别单元122确定从该区域移除了真实对象。
当确定添加了真实对象时(在S208中为“是”)，在步骤S210中，识别单元122将所添加的真实对象识别为目标真实对象。根据该步骤，可以防止将始终放置在桌子140A上的不可移动的真实对象(诸如，纸巾盒)、桌子140A的不规则等处理为目标。
另一方面，当确定没有添加真实对象时(在S208中为“否”)，如果确定移除了真实对象(在S212中为“是”)，则在步骤S214中，识别单元122将移除的真实对象从识别目标中排除。
以这种方式，识别单元122连续监视是否向显示表面添加了真实对象或者从显示表面移除了真实对象。因此，信息处理系统100随时可以适当地识别用户放下或移除的真实对象。
(真实对象标识处理)
图8是示出根据实施例的在信息处理系统100中执行的真实对象标识处理的示例性流程的流程图。
如图8所示，首先，在步骤S302中，识别单元122获取目标真实对象的信息。例如，识别单元122获取捕获图像、指示3D形状的信息以及指示目标真实对象在显示表面的位置的信息。具体地，识别单元122获取由输入单元110输入的真实对象的捕获图像、深度信息和位置图。这里，将参照图9描述获取位置图的方法。
图9是用于描述根据实施例的、获取位置图的示例性处理的图。如图9所示，用户将咖啡杯301放置在桌子140A的上表面上。然后，识别单元122基于深度信息而识别具有高度的区域302，并且获取位置图303，在位置图303中，区域302在桌子140A的上表面的坐标系中的范围被表示为真实对象所位于的区域。在位置图303中，在识别到高度的网格中，存在可能性为1，而在其他网格中，存在可能性为0。在图9中，根据存在可能性的级别而以不同的明暗度(shade)表现网格，并且存在可能性随着网格变暗而增加。位置图的坐标系例如是如下正交坐标系：在该正交坐标系中，桌子140A的上表面以5cm为单位被划分为网格。
接下来，在步骤S304中，存储控制单元124获取真实对象DB的条目。例如，存储控制单元124获取登记在真实对象DB中的所有条目。
然后，在步骤S306中，存储控制单元124标识真实对象。例如，存储控制单元124根据捕获图像、指示3D形状的信息以及指示真实对象在对象表面的位置的信息中的至少任一个来标识真实对象。具体地，存储控制单元124在真实对象DB中搜索与在步骤S302中获取的真实对象的捕获图像、深度信息和位置图中的至少任一个相似的条目(图像信息、3D形状信息和位置图)。例如，存储控制单元124将目标真实对象与登记在该条目中的真实对象进行比较，基于以下等式来计算评估值，并且基于评估值来标识真实对象。
Score＝FiMi+FdMd+FpMp (等式1)
这里，Fi、Fd和Fp是总和为1的权重系数。存储控制单元124可以根据环境或设置来控制权重系数。Mi表示捕获图像的一致率。一致率与使用图像的通用对象识别技术中的相似率对应。Md表示深度信息的一致率。根据Mi，可以标识没有纹理的真实对象以及具有相同外观和不同高度的真实对象，这些对象不能仅使用图像来识别。可以与计算位置图的一致率的方法相同的方式来计算Mi，其将在下面描述。Mp表示位置图的一致率。根据Mp，图像和3D形状匹配。就是说，可以标识具有相同外观和高度的真实对象。这里，将参照图10描述计算Mp的方法。
图10是用于描述根据实施例的、计算位置图的一致率的示例性处理的图。附图标记311指示登记在真实对象DB中的真实对象的位置图。附图标记312指示在步骤S302中获取的真实对象的位置图。例如，存储控制单元124获得具有位置图311与位置图312之间的差的绝对值的位置图313，并且计算位置图313的各个网格的差的平均值，作为位置图的一致率。
作为示例，将描述所识别的真实对象A至C被标识为登记的真实对象的示例。例如，当Mi、Md和Mp被计算为如下面的表4所示的那样时，如在以下等式中那样计算真实对象A至C的评估值。存储控制单元124可以将具有最大评估值的真实对象A标识为登记的真实对象。
Fi＝0.5,Fd＝0.3,Fp＝0.2
ScoreA＝0.5×0.9+0.3×0.9+0.2×0.9＝0.9
ScoreB＝0.5×0.9+0.3×0.1+0.2×0.8＝0.64
ScoreC＝0.5×0.6+0.3×0.2+0.2×0.9＝0.54
---(等式2)
[表4]
真实对象标识信息 Mi Md Mp
A 90％ 90％ 90％
B 90％ 10％ 80％
C 60％ 20％ 90％
存储控制单元124还可以基于其他属性信息来标识真实对象。例如，存储控制单元124可以根据指示识别到真实对象的时间段的信息来标识真实对象。因此，当时间段(包括时间、星期几、工作日/节假日)不同时，存储控制单元124可以将同一真实对象标识为不同的真实对象。此外，存储控制单元124可以根据例如真实对象的温度来标识真实对象。因此，当温度不同时，存储控制单元124可以将同一真实对象标识为不同的真实对象。
(真实对象DB更新处理)
图11是示出根据实施例的、在信息处理系统100中执行的真实对象DB更新处理的示例性流程的流程图。
如图11所示，首先，在步骤S402中，存储控制单元124确定在真实对象DB中是否登记了目标真实对象。例如，存储控制单元124根据以上参照图8描述的真实对象标识处理，来确定该目标真实对象是否被标识为真实对象DB中登记的真实对象。
当确定登记了该对象时(在S402中为“是”)，在步骤S404中，存储控制单元124更新真实对象DB的条目。例如，存储控制单元124更新真实对象DB的条目的位置图。这里，将参照图12描述更新位置图的方法。
图12是用于描述根据实施例的、更新真实对象DB中的位置图的示例性处理的图。在图12中，附图标记321指示这次所识别的真实对象的位置图，并且附图标记322指示真实对象的过去几次的位置图。存储控制单元124生成通过对这样的位置图进行平均而获得的位置图323，并且根据位置图323更新条目。此外，存储控制单元124可以相同的方式更新3D形状信息或图像信息。
<2.2.提供信息显示功能>
接下来，将描述提供信息显示功能。信息处理系统100使用通过DB更新功能更新的对应关系DB、真实对象DB和显示对象DB，并且执行显示提供信息的提供信息显示处理。
(提供信息显示处理)
图13是示出根据实施例的、在信息处理系统100中执行的提供信息显示处理的示例性流程的流程图。
如图13所示，首先，在步骤S502中，信息处理系统100执行真实对象识别处理。该处理与以上参照图7所描述的处理相同。
接下来，在步骤S504中，识别单元122确定是否添加了新的真实对象。当确定未添加新的真实对象时(在S504中为“否”)，处理再次返回到步骤S502。
当确定添加了新的真实对象时(在S504中为“是”)，在步骤S506中，信息处理系统100执行对所添加的真实对象的真实对象标识处理。该处理与以上参照图8所描述的处理相同。注意，信息处理系统100可以一起执行以上参照图11所描述的真实对象DB更新处理。
接下来，在步骤S508中，识别单元122执行显示对象标识处理。显示对象标识处理是标识当前显示的显示对象的处理。例如，识别单元122基于由输出单元130输出的信息来获取显示在显示表面上的显示对象的信息，并且参考显示对象DB而标识显示对象。
接下来，在步骤S510中，存储控制单元124确定在对应关系DB中是否登记了在步骤S506中标识的真实对象和在步骤S508中标识的显示对象中的至少任一个。
当确定没有登记该对象时(在S510中为“否”)，处理结束。当确定登记了该对象时(在S510中为“是”)，在步骤S512中，信息处理系统100参考对应关系DB而显示提供信息。下面将参照图14详细描述该处理.
图14是示出根据实施例的、在信息处理系统100中执行的提供信息显示处理的示例性流程的流程图。
如图14所示，首先，在步骤S602中，存储控制单元124从本地对应关系DB获取关联的条目。例如，存储控制单元124从对应关系DB获取包括在步骤S506中标识的真实对象和在步骤S508中标识的显示对象中的至少任一个的条目。在所获取的条目中，将未对其执行步骤S604至S608的处理的条目用作目标，针对每个目标条目执行该步骤之后的处理。
接下来，在步骤S604中，确定是否已显示基于同一条目的提供信息。当确定显示了该信息时(在S604中为“是”)，处理进行至后面的步骤S610。当确定没有显示信息时(在S604中为“否”)，在步骤S606中，显示控制单元126确定目标条目的关联度是否超过阈值。
当确定关联度没有超过阈值时(在S606中为“否”)，处理进行至后面的步骤S610。当确定关联度超过阈值时(在S606中为“是”)，在步骤S608中，显示控制单元126显示提供信息。例如，当识别到对应关系信息的组合的一部分并且未识别到其另一部分时，显示控制单元126可以将关于未识别到的真实对象或显示对象的信息作为提供信息而显示。在这种情况下，显示控制单元126还可以基于布置信息来显示提供信息。例如，当识别到真实对象并且未识别到相关联的显示对象时，以将所识别到的真实对象用作参考的相对方向、距离、定向和尺寸显示该显示对象。因此，例如，当用户仅将真实对象放置在桌子140A上时，可以经常使用的模式激活经常与该真实对象一起使用的应用。此外，显示控制单元126可以将显示对象或真实对象的广告信息作为提供信息而显示。
这里，显示控制单元126可以优先基于具有高相似度(即，当识别单元122已经多次或长时间识别到该对象时)的组合的对应关系信息来显示提供信息。因此，例如，当用户仅将真实对象放置在桌子140A上时，可以优先激活经常与该真实对象一起使用的应用。此外，当识别到真实对象或显示对象时，显示控制单元126可以施加指定的时间延迟并且显示提供信息。因此，例如，当用户仅将真实对象放置在桌子140A上时，可以结合开始使用的定时来激活经常与该真实对象一起使用的应用。
注意，显示控制单元126还可以根据由识别单元122识别的用户的生物特征信息来显示提供信息。例如，当识别到用户的体温高时，显示控制单元126可以为被估计为处于兴奋状态的用户显示放大的字符。以该方式，用户可以接收根据她自己或他自己的状态的信息的提供。此外，显示控制单元126可以根据由识别单元122识别的在用户附近的装置来显示提供信息。例如，当用户没有佩戴手表时，显示控制单元126可以显示时钟应用。以该方式，用户可以接收根据她或他附近的装置的信息的提供。
上面已经描述了步骤S608中的处理。在下文中，描述将返回到流程图。
接下来，在步骤S610中，存储控制单元124确定是否处理了获取的所有条目。当确定条目未被处理时(在S610中为“否”)，处理返回到步骤S604。当确定条目均被处理时(在S610中为“是”)，在步骤S612中，存储控制单元124从云对应关系DB获取相关联的条目。
接下来，在步骤S614中，显示控制单元126基于从云对应关系DB获取的条目来显示提供信息。处理内容与步骤S608中的处理内容相同。尽管本地对应关系DB学习使用信息处理系统100的用户的使用方法时，但是云对应关系DB参考包括其他用户的综合知识。出于该原因，显示控制单元126可以例如在步骤608中自动激活应用，或者可以例如在该步骤中以半透明的方式执行建议激活应用的显示。因此，显示控制单元126可以当在预定时间内进行接收时执行激活，或者可以当不进行接收时撤销。
<<3.具体示例>>
接下来，将描述根据实施例的、由信息处理系统100实现的功能的具体示例。
(DB的具体示例)
首先，在图15至图17以及表5和表6中显示存储在存储单元150中的DB的具体示例。
图15是示出根据实施例的、存储在显示对象DB中的示例性信息的图。如图15所示，条目D1的显示对象是电视应用。条目D2的显示对象是新闻应用。条目D3的显示对象是计时器应用。条目D4的显示对象是定时器应用。条目D5的显示对象是无线电广播应用。条目D6的显示对象是日历应用。条目D7的显示对象是传单应用。条目D8的显示对象是食谱应用。
图16和图17是示出根据实施例的、存储在实际对象DB中的示例性信息的图。如图16所示，条目R1的真实对象是杯面。条目R2的真实对象是杯面的盖子。条目R3的真实对象是丈夫早晨使用的咖啡杯。条目R4的真实对象是妻子早晨使用的咖啡杯。如图17所示，条目R5的真实对象是西餐。条目R6的真实对象是茶壶。条目R7的真实对象是茶杯。条目R8的真实对象是花。条目R9的真实对象是餐具。另外，在图16和17中，3D形状信息的图案指示相对于桌子140A的高度。
表5是示出根据实施例的、存储在本地对应关系DB中的示例性信息的表。表6是示出根据实施例的、存储在云对应关系DB中的示例性信息的表。作为示例，布置信息举例说明从真实对象看到的显示对象的方向。此外，为了便于理解，在括号中描述了显示对象的标识信息和真实对象的标识信息的内容。
[表5]
[表6]
(标识真实对象的具体实例)
接下来，将参照图18和图19描述标识真实对象的具体示例。
图18是用于描述根据实施例的、标识真实对象的示例性处理的图。真实对象401杯面，并且被分配有如图16所示的标识信息R1。真实对象402是杯面的盖子，并且被分配有如图16所示的标识信息R2。真实对象403是类似于杯面的容器，并且未被登记在真实对象DB中。
这里，考虑将真实对象401至403放置在桌子140A上的相似位置并且对条目R1的真实对象进行标识的示例。对于该示例，用真实对象401至403替代参考等式2和表4所描述的示例的真实对象A至C，并且用条目R1的真实对象替代登记的真实对象。如表4所示，在真实对象401至403中，捕获图像的一致率Mi由于相似的外观而没有差异，但深度信息的一致率Md存在显著差异。出于该原因，存储控制单元124可以区分并标识这些真实对象。
图19是用于描述根据实施例的、标识真实对象的示例性处理的图。图19示出了在早晨的时间段内的UI的示例。
如附图标记411所示，首先，丈夫正坐在座位上，并且将咖啡杯421放置在桌子140A上。如图16所示的那样，咖啡杯421作为条目R3被登记在真实对象DB中，并且如表5所示的那样，咖啡杯421被登记在与条目LE2中的电视应用相关联的对应关系DB中。因此，信息处理系统100参考条目LE2，并且如附图标记412所示的那样，激活在咖啡杯421的左侧的电视应用422。
接下来，如附图标记413所示，妻子正坐在座位上，并且将咖啡杯423放置在桌子140A上。如图16所示的那样，咖啡杯423作为条目R4被登记在真实对象DB中，并且如表5所示的那样，咖啡杯423被登记在与条目LE5中的传单应用相关联的对应关系DB中。因此，信息处理系统100参考条目LE5，并且如附图标记414所示的那样，激活在咖啡杯423的左侧的传单应用424。
以该方式，即使具有基本上相同的图像信息和3D形状信息的真实对象也可以通过信息处理系统100使用位置图来区分，并且可以与不同的显示对象相关联。此外，为了在将真实对象用作参考的相对位置处对显示对象进行显示，信息处理系统100可以在用户眼前激活应用，例如当用户用她或他的右手放下一杯咖啡时。
这里，可以理解的是，摄像装置难以被配置为从桌子140A上方捕获图像以捕获用户的脸部图像并且识别用户。然而，如图19所示，信息处理系统100可以实际上使用位置图来标识用户，诸如丈夫或妻子。此外，即使用户相同，当时间段不同时，信息处理系统100在同一咖啡杯被放置在同一位置时也可以激活不同的应用。以该方式，即使真实对象相同，当使用方法时不同时，信息处理系统100可以显示适合于该使用方法的不同显示对象。
(本地对应关系DB的具体示例)
接下来，将参照图20和图21描述在本地对应关系DB中登记条目的具体示例。
图20是用于描述根据实施例的、本地对应关系DB的示例性处理的图。将参照图20描述显示对象和真实对象最初相关联的示例。
如附图标记431所示，用户观看桌子140A上的电视应用441。接下来，如附图标记432所示，用户将咖啡杯442放置在电视应用441的右侧。在这种情况下，信息处理系统100执行对应关系DB更新处理，并且登记表5所示的条目LE2。此外，电视应用441被定位于咖啡杯442的左侧。当由附图标记432所示的状态多次再现时，条目LE2的关联度递增并且变为等于或大于阈值。因此，如附图标记433所示，当用户将咖啡杯442放置在桌子140A上时，信息处理系统100自动激活在咖啡杯442的左侧的电视应用442，如附图标记434所示的那样。
图21是用于描述根据实施例的本地对应关系DB的示例性处理的图。将参照图21描述显示对象和真实对象最初相关联的示例。
如附图标记451所示，用户将杯面461放置在桌子140A上并且触摸启动器462。因此，如附图标记452所示，显示应用列表463，并且用户将列表中的计时器应用464拖动到杯面461的右下方，并且将其激活。然后，如附图标记453所示的那样，用户关闭应用列表463，并且如附图标记454所示的那样，该用户使用计时器应用464。在这种情况下，信息处理系统100执行对应关系DB更新处理，并且登记如表5所示的条目LE1。因此，当放置杯面时，信息处理系统100自动地在其右下方激活计时器应用。另一方面，当用户激活计时器应用时，信息处理系统100可以显示用于建议应该将杯面放置于其左上方的信息或者另一杯面的广告信息。
(云对应关系DB的具体示例)
接下来，将参照图22至图25描述参考云对应关系DB来显示提供信息的具体示例。
图22是用于描述根据实施例的、云对应关系DB的示例性处理的图。将参照图22描述基于云对应关系DB来显示提供信息的示例。
如附图标记471所示，用户将杯面481放置在桌子140A上。因此，信息处理系统100参考表所示的条目LE1，并且如附图标记472所示的那样，激活在杯面481的右下方的定时器应用482。然后，信息处理系统100参考登记在表6所示的云对应关系DB中的条目CE1，并且如附图标记473所示的那样，显示用于建议激活新闻应用的半透明显示对象483。如附图标记473所示，当用户触摸半透明显示对象483并且接受该建议时，如附图标记474所示的那样，信息处理系统100显示新闻应用484。此外，信息处理系统100可以将与杯面481和新闻应用484相关联的对应关系信息登记在本地对应关系DB中。
图23是用于描述根据实施例的、云对应关系DB的示例性处理的图。将参照图23描述基于云对应关系DB来显示提供信息的示例。
如附图标记491所示，用户将咖啡杯501放置在桌子140A上，并且观看电视应用502。然后，信息处理系统100参考表6所示的、登记在云对应关系DB中的条目CE2，并且如附图标记492所示的那样，显示用于建议激活日历应用的半透明显示对象503。如附图标记493所示，当用户触摸半透明显示对象503并且接受该建议时，如附图标记494所示的那样，信息处理系统100显示日历应用504。此外，信息处理系统100可以将与咖啡杯501和日历应用504相关联的对应关系信息登记在本地对应关系DB中。
图24是用于描述根据实施例的、云对应关系DB的示例性处理的图。将参照图24描述基于云对应关系DB来显示提供信息的示例。
如附图标记511所示，用户将茶杯521和茶壶522放置在桌子140A上。然后，信息处理系统100参考表5所示的、登记在本地对应关系DB中的条目LE3和LE4，并且如附图标记512所示的那样，激活定时器应用523。因此，信息处理系统100参考表6所示的、登记在云对应关系DB中的条目CE3，并且如附图标记513所示的那样，显示用于建议激活无线电广播应用的半透明显示对象524。如附图标记513所示，当用户触摸半透明显示对象524并且接受该建议时，如附图标记514所示的那样，信息处理系统100显示无线电广播应用525。此外，信息处理系统100可以将与茶杯521和/或茶壶522以及无线电广播应用525相关联的对应关系信息登记在本地对应关系DB中。
图25是用于描述根据实施例的云对应关系DB的示例性处理的图。将参照图25描述基于云对应关系DB来显示提供信息的示例。
如附图标记531所示，用户将西餐541放置在装饰有花542的桌子140A上。然后，信息处理系统100参考表5所示的条目LE6，并且如附图标记532所示的那样，激活食谱应用543。此外，如表6所示，在云对应关系DB中也登记了相同的条目CE4。然而，由于信息处理系统100已激活食谱应用543，所以不显示基于条目CE4的建议信息。另一方面，信息处理系统100参考表6所示的、登记在云对应关系DB中的条目CE5，并且如附图标记533所示的那样，显示推荐餐具的显示对象544。如附图标记如图533所示，当用户对建议感兴趣并且触摸其时，如附图标记534所示的那样，信息处理系统100激活显示餐具的购买网站的网页浏览器545。
<<4.硬件配置示例>>
最后，将参照图26描述根据实施例的信息处理设备的硬件配置的示例。图26是示出根据实施例的信息处理设备的示例性硬件配置的框图。此外，图26所示的信息处理设备900可以实现例如图4所示的信息处理系统100以及图5所示的输入和输出装置200及服务器300。由根据实施例的信息处理系统100进行的信息处理通过下面要描述的软件与硬件的协作来实现。
如图26所示，信息处理设备900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，信息处理设备900包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911以及通信装置913。代替CPU 901或者除了CPU 901以外，信息处理装置900可以包括诸如DSP或ASIC的处理电路。
CPU 901用作算术处理单元和控制装置，并且根据各种程序来控制信息处理装置900中的全部操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、计算参数等。RAM 903临时存储在执行CPU 901时所使用的程序以及在执行中适当改变的参数。CPU 901可以构成例如图4和图5所示的识别单元122、存储控制单元124以及显示控制单元126。
CPU 901、ROM 902以及RAM 903通过包括CPU总线的主机总线904a彼此连接。主机总线904a通过桥接器904连接到诸如外围部件互连/接口(PCI)总线的外部总线904b。此外，不需要分别配置主机总线904a、桥接器904以及外部总线904b，而是这样的功能可以在一个总线中实现。
输入装置906由用户向其输入信息的装置实现，例如鼠标、键盘、触摸面板、按钮、麦克风、开关和操纵杆。此外，输入装置906可以是例如使用红外线或其他无线电波的远程控制装置，或者可以是与信息处理设备900的操作对应的外部连接装置，诸如移动电话或PDA。此外，输入装置906可以是可见光摄像装置、红外摄像装置、立体摄像装置、使用飞行时间法的测距传感器、使用结构光法的测距传感器或者生物传感器。此外，输入装置906可以包括输入控制电路，该输入控制电路基于用户使用例如上述输入装置而输入的信息来生成输入信号，并且将该信号输出至CPU 901。信息处理设备900的用户可以通过操纵输入装置906来输入各种类型的数据或指示对于信息处理设备900的处理操作。输入装置906可以构成例如图4和图5所示的输入单元110。
输出装置907形成为能够以可视化或可听见的方式向用户通知所获取的信息的装置。这样的装置包括诸如投影仪、CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置和灯的显示装置、诸如扬声器和耳机的音频输出装置、打印机装置等。输出装置907输出通过例如信息处理设备900执行的各种处理而获得的结果。具体地，显示装置以各种形式(诸如文本、图像、表或图表)可视地显示通过信息处理设备900执行的各种处理而获得的结果。另一方面，音频输出装置将再现的音频数据或声学数据的音频信号转换为模拟信号，并且以可听见的方式输出结果。显示装置和音频输出装置可以构成例如图4和图5所示的输出单元130。
存储装置908是形成为信息处理设备900的存储单元的示例的数据存储装置。存储装置908例如由诸如HDD的磁存储装置、半导体存储装置、光存储装置或磁光存储装置实现。存储装置908可以包括存储介质、被配置为将数据记录在存储介质中的记录装置、被配置为从存储介质读取数据的读取装置以及被配置为删除存储介质中记录的数据的删除装置。存储装置908存储由CPU 901执行的程序和各种类型的数据以及从外部获取的各种类型的数据。存储装置908可以构成例如图4和图5所示的存储单元150。
驱动器909是用于存储介质的读写器(reader/writer)，并且内置在信息处理设备900中或从外部附接至信息处理设备900。驱动器909读取记录在可移动存储介质(诸如，安装的磁盘、光盘、磁光盘或半导体存储器)中的信息，并且将该信息输出至RAM 903。此外，驱动器909可以将信息写入可移动存储介质中。
连接端口911是连接至外部装置的接口，并且是能够通过例如通用串行总线(USB)传送数据的外部装置的连接端口。
通信装置913是形成在通信装置中的用于与例如网络920连接的通信接口。通信装置913是用于例如有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡。此外，通信装置913可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器或用于各种类型的通信的调制解调器。通信装置913可以通过例如因特网或者利用其他通信装置发送和接收符合预定协议(例如TCP/IP)的信号等。通信装置913可以构成例如图5所示的通信单元160和通信单元170。
此外，网络920是从连接到网络920的装置传送的信息的有线或无线传输路径。例如，网络920可以包括公共网络(诸如因特网、电话线路网络和卫星通信网络)、包括以太网(注册商标)的各种类型的局域网(LAN)、以及广域网(WAN)。此外，网络920可以包括专用线路网络，诸如因特网协议-虚拟专用网络(IP-VPN)。
上面已经说明了可以实现根据实施例的信息处理设备900的功能的示例性硬件配置。上述的各个部件可以使用通用构件来实现，或者可以由专用于各个部件的功能的硬件来实现。因此，可以根据在实现实施例时的技术水平来适当地改变要使用的硬件配置。
注意，可以准备用于实现根据实施例的信息处理设备900的上述各个功能的计算机程序并且将该计算机程序安装在PC等中。此外，可以提供其中存储有这样的计算机程序的计算机可读记录介质。该记录介质包括例如磁盘、光盘、磁光盘和闪速存储器。此外，计算机程序可以通过例如网络递送，而不使用记录介质。
<<5.总结>>
上面已参照图1至图26详细描述了本公开内容的实施例。如上所述，根据实施例的信息处理系统100从存储单元获取指示显示对象与真实对象之间的对应关系的信息，并且基于指示对应关系的信息来显示如下的提供信息，该提供信息与在显示对象显示在其上的对象表面上所识别的真实对象和显示对象中的至少任一个对应。因此，用户可以接收例如与显示的显示对象对应的真实对象的信息的提供，并且接收与放置在显示表面上的真实对象对应的显示对象的信息的提供。例如，当用户仅将真实对象放置在显示表面上时，由于自动激活具有高关联度的应用，所以可以省略激活步骤。以该方式，可以提高用户便利性。
此外，信息处理系统100根据真实对象的捕获图像、3D形状信息和位置图来标识真实对象。因此，信息处理系统100可以标识没有纹理的真实对象、具有相同外观和不同高度的真实对象、以及具有相同外观和高度及不同使用位置的真实对象。此外，信息处理系统100可以实际地使用位置图来实现在使用被配置为从用户上方捕获图像的摄像装置的图像识别中难以实现的用户识别。也就是说，即使真实对象相同，当使用方法不同时，信息处理系统100也可以显示不同的提供信息。此外，由于信息处理系统100以捕获图像、3D形状信息和位置图的组合来标识真实对象，因此与仅使用捕获图像的识别方法相比，真实对象的识别准确度会增加。此外，信息处理系统100控制用于识别的等式1的权重系数，并因此可以根据使用环境来优化捕获图像、3D形状信息和位置图的使用比例。在上述专利文献1中公开的技术中，由于仅使用图像进行标识，所以难以标识没有纹理的真实对象、具有相同外观和不同高度的真实对象、以及具有相同外观和高度及不同使用位置的真实对象。
此外，信息处理系统100根据包括在对应关系信息中的指示相对布置的信息来显示提供信息。因此，信息处理系统100可以以从真实对象看到的适当布置来显示提供信息，并且以从显示对象看到的适当布置来显示提供信息。
此外，信息处理系统100将与所识别的显示对象和真实对象的组合相关联的条目存储在对应关系DB中。因此，即使当用户不知道真实对象和显示对象之间的关联时，信息处理系统100也可以学习用户的使用状态并以高准确度呈现信息。在上述专利文献1中，仅公开了先前与图像相关联的信息的呈现，并且没有公开对应关系的动态学习和更新。
此外，信息处理系统100可以显示与所识别的显示对象和真实对象中的至少任一个相关联的另一显示对象或另一真实对象的提供信息。例如，当信息处理系统100参考云对应关系DB时，可以建议用户不知道的应用和与桌子140A的使用状态匹配的新产品。此外，当第三方将广告信息登记在云对应关系DB中时，可以向用户推荐应用、产品等，并且进行客户开发。
本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们落入所附权利要求或其等同方案的范围内即可。
例如，在本实施例中，主要描述固定用户(诸如丈夫或妻子)使用信息处理系统100的示例，但是本技术不限于此。例如，信息处理系统100可以安装在餐馆或咖啡馆中并由多个未指定的客户使用。在这种情况下，例如，信息处理系统100可以根据客户激活的应用来推荐菜单，并且根据客户饮用的饮料显示信息。
此外，本说明书中描述的各个装置可以由单个装置实现，或者其一部分或全部可以由分离的装置实现。例如，识别单元122、存储控制单元124以及显示控制单元126可以设置在分离的装置中。
此外，在本实施例中，已经描述了识别单元122识别显示对象和真实对象的示例，但是本技术不限于此。例如，可以设置被配置为识别显示对象的第一识别单元和被配置为识别真实对象的第二识别单元。此外，第一识别单元和第二识别单元可以设置在分离的装置中。
注意，本说明书中参照流程图所描述的处理不需要按照流程图所示的顺序执行。可以并行执行一些处理步骤。此外，可以采用一些附加步骤，或者可以省略一些处理步骤。此外，可以重复执行流程图的处理，或者该处理可以根据结束中断而在任何时间结束。
此外，本说明书中描述的效果仅仅是说明性和示范性的，而不是限制性的。换言之，根据本公开内容的技术可以连同基于本说明书的效果或者代替基于本说明书的效果而呈现对于本领域技术人员而言显而易见的其他效果。
此外，本技术还可以被配置如下。
(1)一种信息处理设备，包括:
电路系统，被配置为：
根据第一内容信息控制第一内容的输出，
确定与真实对象有关的信息，该真实对象与用户进行内容选择或对象操作所使用的操作体不同，以及
根据第二内容信息控制与所述第一内容不同的第二内容的输出，
其中，所述第二内容信息是基于述第一内容信息和所确定的与所述真实对象有关的信息的。
(2)根据(1)所述的信息处理设备，其中，所述第一内容的输出包括第一显示对象。
(3)根据(1)或(2)所述的信息处理设备，其中，所述第一内容信息包括所述第一显示对象在显示表面上的第一显示位置。
(4)根据(1)至(3)中任一项所述的信息处理设备，其中，所述第一内容信息包括所述第一显示对象的标识信息。
(5)根据(1)至(4)中任一项所述的信息处理设备，其中，所述第二内容的输出包括第二显示对象。
(6)根据(1)至(5)中任一项所述的信息处理设备，其中，所述第二内容信息包括所述第二显示对象在所述显示表面上的第二显示位置。
(7)根据(1)至(6)中任一项所述的信息处理设备，其中，在与所述真实对象有关的信息指示所述真实对象与所述电路系统的一个或更多个部件之间的空间关系时，所述电路系统启动所述第二显示对象的显示。
(8)根据(1)至(7)中任一项所述的信息处理设备，其中，与所述电路系统的一个或更多个部件的空间关系为如下状态：其中，所述真实对象被在距所述电路系统的一个或更多个部件的预定距离内的用户佩戴或持握。
(9)根据(1)至(8)中任一项所述的信息处理设备，其中，与所述电路系统的一个或更多个部件的空间关系是在距所述显示表面的阈值距离内的状态。
(10)根据(1)至(9)中任一项所述的信息处理设备，其中，与所述电路系统的一个或更多个部件的空间关系是与所述显示区域的表面接触的状态。
(11)根据(1)至(10)中任一项所述的信息处理设备，其中，与所述真实对象有关的信息是基于所述真实对象的捕获图像的。
(12)根据(1)至(11)中任一项所述的信息处理设备，其中，所述真实对象的捕获图像指示所述真实对象相对于所述电路系统的一个或更多个部件的位置。
(13)根据(1)至(12)中任一项所述的信息处理设备，其中，所述真实对象的捕获图像指示所述真实对象的形状。
(14)根据(1)至(13)中任一项所述的信息处理设备，其中，与所述真实对象有关的信息是基于所述真实对象的捕获图像的。
(15)根据(1)至(14)中任一项所述的信息处理设备，其中，所述真实对象的捕获图像指示所述真实对象相对于所述显示表面的位置。
(16)根据(1)至(15)中任一项所述的信息处理设备，其中，当所述真实对象的位置在距所述显示表面的阈值距离内时，所述电路系统启动所述第二显示对象的显示。
(17)根据(1)至(16)中任一项所述的信息处理设备，其中，所述电路系统启动将所述第二显示对象作为具有有限的功能或显示信息的建议内容的显示，并且在所述用户进行确定时，输出具有完整的功能和显示信息的所述第二显示对象。
(18)根据(1)至(17)中任一项的信息处理设备，其中，在所述用户进行确定时，与所述第一内容信息和所确定的与所述真实对象有关的信息的组合相关联地登记所述第二显示对象和所述第二显示位置，以使得在检测到所述第一内容信息和所确定的与所述真实对象有关的信息的组合时，在确定的所述第二显示位置处输出具有完整的功能和显示信息的第二显示对象。
(19)根据(1)至(18)中任一项所述的信息处理设备，其中，所述第二内容信息还基于时间信息和用户简档信息中的至少一个。
(20)根据(1)至(19)中任一项所述的信息处理设备，其中，所述第二内容信息还基于用户的生物特征信息。
(21)一种信息处理方法，包括：
根据第一内容信息输出第一内容；
确定与真实对象有关的信息，所述真实对象与用户进行内容选择或对象操作所使用的操作体不同，以及
根据第二内容信息输出与所述第一内容不同的第二内容，
其中，所述第二内容信息是基于所述第一内容信息和所确定的与所述真实对象有关的信息的。
(22)一种非暂态计算机可读介质，其上包括有程序，所述程序在由计算机执行时使得所述计算机执行包括下述步骤的方法：
根据第一内容信息输出第一内容；
确定与真实对象有关的信息，所述真实对象与用户进行内容选择或对象操作所使用的操作体不同；以及
根据第二内容信息输出与所述第一内容不同的第二内容，
其中，所述第二内容信息是基于所述第一内容信息和所确定的与所述真实对象有关的信息的。
(23)一种信息处理系统，包括：
显示控制单元，被配置为使得基于在显示对象显示在其上的对象表面上对所述显示对象和真实对象的识别结果，来在显示单元上显示与所识别的所述显示对象和所述真实对象中的至少任一个对应的提供信息。
(24)根据(23)所述的信息处理系统，
其中，所述显示控制单元使得基于所识别的所述显示对象或所述真实对象的位置来显示所述提供信息。
(25)根据(24)的信息处理系统，
其中，所述显示控制单元使得基于所识别的所述显示对象和所述真实对象的位置来显示所述提供信息。
(26)根据(23)至(25)中任一项所述的信息处理系统，
其中，所述提供信息是基于所识别的所述显示对象的位置或所识别的所述真实对象的位置而生成的。
(27)根据(26)所述的信息处理系统，
其中，所述提供信息是基于所识别的所述显示对象的位置和所识别的所述真实对象的位置而确定的。
(28)根据(23)所述的信息处理系统，
其中，所述显示控制单元使得基于指示所述显示对象与所述真实对象之间的对应关系的信息来显示所述提供信息。
(29)根据(28)所述的信息处理系统，
其中，指示所述对应关系的信息包括指示所述真实对象与所述显示对象之间的相对布置的信息，以及其中，所述显示控制单元使得基于指示所述相对布置的信息来显示所述提供信息。
(30)根据(28)或(29)所述的信息处理系统，还包括：
存储控制单元，被配置为从存储单元获取指示所述对应关系的信息。
(31)根据(30)所述的信息处理系统，
其中，所述存储控制单元根据捕获图像、指示3D形状的信息或指示所述真实对象在所述对象表面的位置的信息来标识所述真实对象。
(32)根据(31)所述的信息处理系统，
其中，所述存储控制单元根据指示检测到所述真实对象的时间段的信息来标识所述真实对象。
(33)根据(30)至(32)中任一项所述的信息处理系统，
其中，所述存储控制单元使得指示与所识别的所述显示对象和所述真实对象的组合相关联的对应关系的信息存储在所述存储单元中。
(34)根据(28)至(33)中任一项所述的信息处理系统，
其中，所述提供信息是指示所述对应关系的信息中的、与所识别的所述真实对象相关联的所述显示对象的信息。
(35)根据(28)至(34)中任一项所述的信息处理系统，
其中，所述提供信息是指示所述对应关系的信息中的、与所识别的所述显示对象相关联的所述显示对象的信息。
(36)根据(35)所述的信息处理系统，
其中，所述显示控制单元使得基于指示已多次或长时间识别到的所述显示对象和所述真实对象的组合的对应关系的信息来优先显示所述提供信息。
(37)根据(23)至(36)中任一项所述的信息处理系统，
其中，当识别到所述真实对象或所述显示对象时，所述显示控制单元使得在指定的时间延迟之后显示所述提供信息。
(38)根据(23)至(37)中任一项所述的信息处理系统，
其中，所述显示控制单元使得显示与所识别的所述显示对象和所述真实对象中的至少任一个相关联的广告信息。
(39)根据(23)至(38)中任一项所述的信息处理系统，
其中，所述显示控制单元使得根据所识别的用户的生物特征信息来显示所述提供信息。
(40)根据(23)至(17)中任一项所述的信息处理系统，
其中，所述显示控制单元使得根据所识别的在用户附近的装置来显示所述提供信息。
(41)一种信息处理方法，包括：
由处理器进行如下控制：基于在显示对象显示在其上的对象表面上对所述显示对象和真实对象的识别结果，在显示单元上显示与所识别的所述显示对象和所述真实对象中的至少任一个对应的提供信息。
(42)一种程序，其使得计算机起到如下作用：
显示控制单元，被配置为基于在显示对象显示在其上的对象表面上对所述显示对象和真实对象的识别结果，来使得在显示单元上显示与所识别的所述显示对象和所述真实对象中的至少任一个对应的提供信息。
(43)一种服务器，包括：
显示控制单元，被配置为生成如下显示控制信号，所述显示控制信号用于使得基于在显示对象显示在其上的对象表面上对所述显示对象和真实对象的识别结果，来在显示单元上显示与所识别的所述显示对象或所述真实对象中的至少任一个对应的提供信息。
(44)根据(28)至(36)中任一项所述的信息处理系统，
其中，所述显示控制单元使得基于另一信息处理系统中的指示所述对应关系的信息来显示所述提供信息。
(45)根据(44)所述的信息处理系统，
其中，所述显示控制单元使得基于指示与所识别的用户相似的另一用户的对应关系的信息来显示所述提供信息。
附图标记列表
100 信息处理系统
110 输入单元
120 控制单元
122 识别单元
124 存储控制单元
126 显示控制单元
130 输出单元
140 桌子
150 存储单元
160 通信单元
170 通信单元
200 输入和输出装置
300 服务器

Claims (22)

1.一种信息处理设备，包括:
电路系统，其被配置为：
根据第一内容信息控制第一内容的输出，
确定与真实对象有关的信息，所述真实对象与用户进行内容选择或对象操作所使用的操作体不同，以及
根据第二内容信息控制与所述第一内容不同的第二内容的输出，其中，所述第二内容信息是基于所述第一内容信息和所确定的与所述真实对象有关的信息的。
2.根据权利要求1所述的信息处理设备，其中，所述第一内容的输出包括第一显示对象。
3.根据权利要求2所述的信息处理设备，其中，所述第一内容信息包括所述第一显示对象在显示表面上的第一显示位置。
4.根据权利要求2所述的信息处理设备，其中，所述第一内容信息包括所述第一显示对象的标识信息。
5.根据权利要求3所述的信息处理设备，其中，所述第二内容的输出包括第二显示对象。
6.根据权利要求5所述的信息处理设备，其中，所述第二内容信息包括所述第二显示对象在所述显示表面上的第二显示位置。
7.根据权利要求6所述的信息处理设备，其中，在与所述真实对象有关的信息指示所述真实对象与所述电路系统的一个或更多个部件之间的空间关系时，所述电路系统启动所述第二显示对象的显示。
8.根据权利要求7所述的信息处理设备，其中，与所述电路系统的一个或更多个部件的空间关系为如下状态：其中，所述真实对象被在距所述电路系统的一个或更多个部件的预定距离内的用户佩戴或持握。
9.根据权利要求7所述的信息处理设备，其中，与所述电路系统的一个或更多个部件的空间关系是在距所述显示表面的阈值距离内的状态。
10.根据权利要求7所述的信息处理设备，其中，与所述电路系统的一个或更多个部件的空间关系是与所述显示区域的表面接触的状态。
11.根据权利要求1所述的信息处理设备，其中，与所述真实对象有关的信息是基于所述真实对象的捕获图像的。
12.根据权利要求11所述的信息处理设备，其中，所述真实对象的捕获图像指示所述真实对象相对于所述电路系统的一个或更多个部件的位置。
13.根据权利要求11所述的信息处理设备，其中，所述真实对象的捕获图像指示所述真实对象的形状。
14.根据权利要求6所述的信息处理设备，其中，与所述真实对象有关的信息是基于所述真实对象的捕获图像的。
15.根据权利要求14所述的信息处理设备，其中，所述真实对象的捕获图像指示所述真实对象相对于所述显示表面的位置。
16.根据权利要求15所述的信息处理设备，其中，在所述真实对象的位置在距所述显示表面的阈值距离内时，所述电路系统启动所述第二显示对象的显示。
17.根据权利要求6所述的信息处理设备，其中，所述电路系统启动将所述第二显示对象作为具有有限的功能或显示信息的建议内容的显示，并且在所述用户进行确定时，输出具有完整的功能和显示信息的所述第二显示对象。
18.根据权利要求17所述的信息处理设备，其中，在所述用户进行确定时，与所述第一内容信息和所确定的与所述真实对象有关的信息的组合相关联地登记所述第二显示对象和所述第二显示位置，以使得在检测到所述第一内容信息和所确定的与所述真实对象有关的信息的组合时，在确定的所述第二显示位置处输出具有完整的功能和显示信息的所述第二显示对象。
19.根据权利要求1所述的信息处理设备，其中，所述第二内容信息还基于时间信息和用户简档信息中的至少一个。
20.根据权利要求1所述的信息处理设备，其中，所述第二内容信息还基于用户的生物特征信息。
21.一种信息处理方法，包括：
根据第一内容信息输出第一内容；
确定与真实对象有关的信息，所述真实对象与用户进行内容选择或对象操作所使用的操作体不同，以及
根据第二内容信息输出与所述第一内容不同的第二内容，
其中，所述第二内容信息是基于所述第一内容信息和所确定的与所述真实对象有关的信息的。
22.一种非暂态计算机可读介质，其上包括有程序，所述程序在由计算机执行时使得所述计算机执行包括下述步骤的方法：
根据第一内容信息输出第一内容；
确定与真实对象有关的信息，所述真实对象与用户进行内容选择或对象操作所使用的操作体不同，以及
根据第二内容信息输出与所述第一内容不同的第二内容，
其中，所述第二内容信息是基于所述第一内容信息和所确定的与所述真实对象有关的信息的。
CN201680017769.1A 2015-03-31 2016-02-23 信息处理系统、信息处理方法和程序 Expired - Fee Related CN107407967B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015073833A JP6586758B2 (ja) 2015-03-31 2015-03-31 情報処理システム、情報処理方法及びプログラム
JP2015-073833 2015-03-31
PCT/JP2016/000952 WO2016157703A1 (en) 2015-03-31 2016-02-23 Information processing system, information processing method and program

Publications (2)

Publication Number Publication Date
CN107407967A true CN107407967A (zh) 2017-11-28
CN107407967B CN107407967B (zh) 2021-02-19

Family

ID=55629075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017769.1A Expired - Fee Related CN107407967B (zh) 2015-03-31 2016-02-23 信息处理系统、信息处理方法和程序

Country Status (5)

Country Link
US (2) US10423283B2 (zh)
EP (1) EP3278197B1 (zh)
JP (1) JP6586758B2 (zh)
CN (1) CN107407967B (zh)
WO (1) WO2016157703A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112889330A (zh) * 2018-08-07 2021-06-01 鸿颖创新有限公司 用于激活pucch空间关系的方法和装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10908045B2 (en) 2016-02-23 2021-02-02 Deka Products Limited Partnership Mobility device
US11399995B2 (en) 2016-02-23 2022-08-02 Deka Products Limited Partnership Mobility device
US10926756B2 (en) 2016-02-23 2021-02-23 Deka Products Limited Partnership Mobility device
MX2018010241A (es) 2016-02-23 2019-06-06 Deka Products Lp Sistema de control de dispositivo de movilidad.
DK4043982T3 (da) 2016-04-14 2024-01-29 Deka Products Lp Brugerkontrolanordning fra en transportør
USD830386S1 (en) * 2016-09-30 2018-10-09 Deka Products Limited Partnership Computer display with transition screen
USD830385S1 (en) 2016-09-30 2018-10-09 Deka Products Limited Partnership Computer display with selection screen
USD830384S1 (en) 2016-09-30 2018-10-09 Deka Products Limited Partnership Computer display with home screen
DE112017006606T8 (de) * 2016-12-27 2019-10-17 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerprogramm
WO2018150756A1 (ja) * 2017-02-15 2018-08-23 ソニー株式会社 情報処理装置、情報処理方法及び記憶媒体
US11610334B2 (en) * 2017-12-01 2023-03-21 Nec Corporation Image recognition apparatus using an object image data, image recognition method using an object image data, and program
EP3803736A1 (en) 2018-06-07 2021-04-14 DEKA Products Limited Partnership System and method for distributed utility service execution
JP2020140291A (ja) 2019-02-27 2020-09-03 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP7456844B2 (ja) 2020-05-13 2024-03-27 東芝ライフスタイル株式会社 情報処理システム
JP6931511B1 (ja) * 2020-08-24 2021-09-08 Ａｒｉｔｈｍｅｒ株式会社 プログラム、情報処理装置及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1826606A (zh) * 2003-07-24 2006-08-30 奥林巴斯株式会社 信息呈现方法和信息呈现系统
US7397464B1 (en) * 2004-04-30 2008-07-08 Microsoft Corporation Associating application states with a physical object
CN101601065A (zh) * 2007-01-05 2009-12-09 微软公司 基于物理对象特性来传递内容
US20100328225A1 (en) * 2009-06-25 2010-12-30 Black Jonathan S Multi-touch surface interaction

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3743988B2 (ja) 1995-12-22 2006-02-08 ソニー株式会社 情報検索システムおよび方法、並びに情報端末
JP2001297400A (ja) * 2000-04-14 2001-10-26 Kubota Fudosan Kanteisho:Kk 情報提供装置および情報提供プログラムを格納した記録媒体
US7379562B2 (en) 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
JP2006003969A (ja) * 2004-06-15 2006-01-05 Sony Corp コンテンツ提示方法およびコンテンツ提示装置
US7576725B2 (en) * 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
US9292996B2 (en) * 2006-12-19 2016-03-22 Igt Distributed side wagering methods and systems
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
US8621491B2 (en) * 2008-04-25 2013-12-31 Microsoft Corporation Physical object visualization framework for computing device with interactive display
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US8069081B2 (en) * 2008-09-23 2011-11-29 Microsoft Corporation Targeted advertising using object identification
US8289288B2 (en) * 2009-01-15 2012-10-16 Microsoft Corporation Virtual object adjustment via physical object detection
US9910866B2 (en) * 2010-06-30 2018-03-06 Nokia Technologies Oy Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
US9996241B2 (en) * 2011-10-11 2018-06-12 Microsoft Technology Licensing, Llc Interactive visualization of multiple software functionality content items
JP5814772B2 (ja) * 2011-12-15 2015-11-17 ヤフー株式会社 広告決定システム、広告決定方法およびプログラム
JP2014002605A (ja) * 2012-06-19 2014-01-09 Sharp Corp 情報提示装置、情報提示方法、制御プログラム、および記録媒体
US9349218B2 (en) * 2012-07-26 2016-05-24 Qualcomm Incorporated Method and apparatus for controlling augmented reality
US9965799B2 (en) * 2012-12-12 2018-05-08 Perch Interactive, Inc. Apparatus and method for interactive product displays
US9925456B1 (en) * 2014-04-24 2018-03-27 Hasbro, Inc. Single manipulatable physical and virtual game assembly

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1826606A (zh) * 2003-07-24 2006-08-30 奥林巴斯株式会社 信息呈现方法和信息呈现系统
US7397464B1 (en) * 2004-04-30 2008-07-08 Microsoft Corporation Associating application states with a physical object
CN101601065A (zh) * 2007-01-05 2009-12-09 微软公司 基于物理对象特性来传递内容
US20100328225A1 (en) * 2009-06-25 2010-12-30 Black Jonathan S Multi-touch surface interaction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112889330A (zh) * 2018-08-07 2021-06-01 鸿颖创新有限公司 用于激活pucch空间关系的方法和装置
CN112889330B (zh) * 2018-08-07 2024-05-03 鸿颖创新有限公司 用于激活pucch空间关系的方法和装置

Also Published As

Publication number Publication date
CN107407967B (zh) 2021-02-19
JP6586758B2 (ja) 2019-10-09
US20170351383A1 (en) 2017-12-07
US20190369808A1 (en) 2019-12-05
JP2016194762A (ja) 2016-11-17
EP3278197A1 (en) 2018-02-07
EP3278197B1 (en) 2021-04-21
US10423283B2 (en) 2019-09-24
WO2016157703A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
CN107407967A (zh) 信息处理系统、信息处理方法和程序
US9836115B2 (en) Information processing device, information processing method, and program
US11567535B2 (en) Temperature-controlled wearable extended reality appliance
US10019779B2 (en) Browsing interface for item counterparts having different scales and lengths
CN109478124A (zh) 增强现实装置及其操作
US11055759B1 (en) Color selection for image matching visual search
US20200257121A1 (en) Information processing method, information processing terminal, and computer-readable non-transitory storage medium storing program
CN111242682B (zh) 物品显示方法
CN105518579A (zh) 信息处理设备和信息处理方法
CN104346431B (zh) 信息处理装置、信息处理方法和程序
US10290120B2 (en) Color analysis and control using an electronic mobile device transparent display screen
US10026176B2 (en) Browsing interface for item counterparts having different scales and lengths
CN106650570A (zh) 一种查找物品的方法及终端
CN107016648A (zh) 电子设备及其控制方法
CN109074680A (zh) 基于通信的增强现实中实时图像和信号处理方法和系统
CN107683499B (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
CN110765525A (zh) 生成场景图片的方法、装置、电子设备及介质
CN109448132B (zh) 显示控制方法及装置、电子设备、计算机可读存储介质
KR20150127472A (ko) 증강 현실 제공 장치 및 방법
WO2017155893A1 (en) Browsing interface for item counterparts having different scales and lengths

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210219