CN105683959A - 信息处理设备、信息处理方法及信息处理系统 - Google Patents

Abstract

[问题]提供一种技术，其在检测到一个对象之后能够容易地识别与所述一个对象有关的另一个对象的技术。[方案]本发明提供一种信息处理设备，包括：检测单元，用于检测规定检测对象；数据获取单元，用于获取指令信息，该指令信息指令与检测对象对应的规定的图像捕获对象落入图像捕获范围；以及显示控制单元，用于在显示单元上显示指令信息。

Description

信息处理设备、信息处理方法及信息处理系统

技术领域

本公开涉及信息处理设备、信息处理方法及信息处理系统。

背景技术

近年来，已知从捕获图像识别对象、以根据所识别的对象执行处理的技术。例如，已知用于执行处理以使得显示与所识别的对象相关联的虚拟对象的增强现实(AR)应用。此外公开了使得用于引导用户从而有助于对象的识别的信息被显示的技术(例如参见专利文献1)

引用列表

专利文献

专利文献1：JP2013-080326A

发明内容

技术问题

如上所述，公开了用于帮助识别对象的技术。另一方面，如果一个对象与另一个对象有关，就可以假定这样的情况：例如，在检测一个对象之后，希望识别另一个对象。因此，期望提供在检测一个对象之后、能够容易地识别与一个对象有关的另一个对象的技术。

问题的解决方案

根据本公开，提供一种信息处理设备，包括：检测单元，被配置为检测预定检测对象；数据获取单元，被配置为获取指令信息，所述指令信息指示根据所述检测对象的预定成像对象落入成像部的成像范围内；以及显示控制单元，被配置为使得显示部显示所述指令信息。

根据本公开，提供一种信息处理方法，包括：检测预定检测对象；获取指令信息，所述指令信息命令根据所述检测对象的预定成像对象落入成像部的成像范围内；以及通过处理器使得显示单元显示所述指令信息。

根据本公开，提供一种信息处理系统，包括：信息提供设备和信息处理设备，所述信息提供设备包括：检测对象识别单元，被配置为识别预定检测对象；所述信息处理设备包括：检测单元，被配置为检测所述检测对象；数据获取单元，被配置为获取指令信息，所述指令信息命令根据所述检测对象的预定成像对象落入成像部的成像范围内；以及显示控制单元，被配置为使得显示单元显示所述指令信息。

本发明的有益效果

根据本公开，如上所述，提供一种在检测一个对象之后、能够容易地识别与该一个对象有关的另一个对象的技术。该效果不一定是限制性的，与该效果一起或者代替该效果，可以产生在本说明书中所示的任何效果或者根据本说明书能够了解的其他效果。

附图说明

图1是示出根据本公开实施例的信息处理系统的示例性配置的示意图。

图2是示出根据实施例的信息处理设备的示例性功能配置的示意图。

图3是示出根据实施例的信息提供设备的示例性功能配置的示意图。

图4是用于说明其中将标记识别为检测对象的示例的示意图。

图5是示出使得操作模式从识别检测对象的第一模式转换为识别成像对象的第二模式的消息的示例性显示的示意图。

图6是示出根据标记的指令信息的示例性显示的示意图。

图7是用于说明将除了标记之外的对象识别为检测对象的示例的示意图。

图8是示出根据除了标记之外的对象的指令信息的示例性显示的示意图。

图9是用于说明识别根据指令信息使其落入成像范围的成像对象的示例的示意图。

图10是用于说明根据成像对象的处理的执行示例的示意图。

图11是示出在将对象识别为检测对象以及在将虚拟对象的显示作为根据成像对象的处理执行时、信息处理设备的示例性操作的流程图。

图12是示出在将成像对象的评估作为根据成像对象的处理执行时、指令信息的示例性显示的示意图。

图13是示出在将对象识别为检测对象以及在将成像对象的评估作为根据成像对象的处理执行时、信息处理设备的示例性操作的流程图。

图14是用于说明其中将用户的位置信息识别为检测对象的示例的示意图。

图15是示出根据用户的位置信息的、指令信息的示例性显示的示意图。

图16是示出在将用户的位置信息识别为检测对象以及在将虚拟对象的显示作为根据成像对象的处理执行时、信息处理设备的示例性操作的流程图。

图17是示出信息处理设备的硬件配置示例的示意图。

图18是示出信息提供设备的硬件配置示例的示意图。

具体实施方式

下面将参照附图详细描述本公开的优选实施例。在说明书和附图中，用相同的附图标记表示功能和结构基本上相同的元件，并省略重复说明。

按照以下顺序进行描述。

1.信息处理系统的示例性配置；

2.信息处理设备的示例性功能配置；

3.信息提供设备的示例性功能配置；

4.信息处理设备的功能细节；

5.信息处理设备的硬件配置示例；

6.信息提供设备的硬件配置示例；以及

7.结论

<1.信息处理系统的示例性配置>

首先，将描述根据本公开实施例的信息处理系统的示例性配置。图1是示出根据本公开实施例的信息处理系统的示例性配置的示意图。参照图1，信息处理系统1包括信息处理设备10和信息提供设备20。信息处理设备10和信息提供设备20能够经由网络30通过有线或无线方式通信。信息处理设备10由用户Ua持有。

近年来，已知从捕获图像识别对象以根据所识别的对象执行处理的技术。例如，还知道用于执行处理以使得能够显示与所识别对象相关联的虚拟对象的AR应用。此外，公开了使得能够显示用于引导用户Ua的信息，从而有助于对象的识别的技术。

另一方面，如果一个对象与另一个对象有关，那么例如可以假定这种情况：在检测一个对象之后希望识别另一个对象。因此，在本说明书中提出了能够在检测一个对象之后容易地识别与该一个对象有关的其他对象的技术。

在下面的描述中，作为示例，描述将信息处理设备10应用于具有相机功能的智能电话的情况，但是也可将信息处理设备10应用于除了智能电话之外的设备。例如，可将信息处理设备10应用于摄像机、数码相机、个人数字助理(PDA)、个人计算机(PC)、移动电话、便携式音乐再现装置、便携式视频处理装置、便携式游戏装置、望远镜、双筒望远镜等等。

以上描述了根据本公开示例的信息处理系统1的示例性配置。

<2.信息处理设备的示例性功能配置>

下面描述根据本公开实施例的信息处理设备10的示例性功能配置。图2是示出根据本公开实施例的信息处理设备10的示例性功能配置的示意图。如图2所示，信息处理设备10包括控制单元110、成像单元120、传感器单元130、输入单元140、存储单元150、通信单元160以及显示单元170。

控制单元110例如对应于处理器(例如中央处理器(CPU))。控制单元110通过执行存储单元150或其他存储介质中存储的程序来执行控制单元110具有的各种功能。控制单元110具有各个功能块，例如检测单元111、数据获取单元112、显示控制单元113、成像对象识别单元114以及处理单元115。下面描述各个功能块的功能。

成像单元120是用于捕获图像的相机模块。成像单元120利用成像元件(例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS))将真实空间成像，并产生图像。成像单元120产生的图像被输出到控制单元110。在图2所示的示例中，将成像单元120与信息处理设备10集成在一起，但是也可将成像单元120配置为独立于信息处理设备10。例如，可将按照有线或无线方式与信息处理设备10连接的成像装置视为成像单元120。

传感器单元130获取传感器数据。例如，传感器单元130包括3轴加速度传感器。3轴加速度传感器测量应用于成像单元120的重力加速度并产生以三维方式表示重力加速度的幅度和方向的传感器数据(加速度数据)。传感器单元130可包括地磁传感器。地磁传感器产生表示在成像单元120的坐标系中地磁的方向的传感器数据(地磁数据)。此外，传感器单元130可包括定位传感器(例如全球定位系统(GPS))。定位传感器产生表示信息处理设备10在真实空间中的纬度和经度的传感器数据(定位数据)。虽然在图2所示的示例中将传感器单元130与信息处理设备10集成在一起，但是也可将传感器单元130配置为独立于信息处理设备10。

输入单元140检测用户的操作，并将其输出到控制单元110。在本说明书中，因为假定是通过触摸面板来构成输入单元140的情况，所以用户的操作对应于在触摸面板上敲击的操作。但是，输入单元140可通过除了触摸面板之外的硬件(例如按钮)来构成。在图2所示的示例中，将输入单元140与信息处理设备10集成在一起，但是也可将输入单元140配置为独立于信息处理设备10。

利用存储介质(例如半导体存储器或硬盘)，存储单元150存储用于操作控制单元110的程序。此外例如，存储单元150可以存储程序使用的各种类型数据。注意，在图2所示的示例中，虽然将存储单元150与信息处理设备10集成在一起，但是也可以以独立于信息处理设备10的独立实体构成存储单元150。

通信单元160可以与其他设备(例如信息提供设备20等等)进行通信。在与信息提供设备20进行通信的情况下，例如，通信单元160可以经由网络30进行通信。通信单元160通信的形式没有特别限制，并且通信单元160的通信可以是采用无线方式的通信，也可以是采用电线的通信。注意，在图2所示的示例中，虽然将通信单元160与信息处理设备10集成在一起，但是也可以以独立于信息处理设备10的独立实体构成通信单元160。

显示单元170根据显示控制单元113的控制显示各种类型的信息。显示单元170例如通过液晶显示器(LCD)、有机电致发光(EL)显示装置等等构成。在图2所示的示例中，将显示单元170与信息处理设备10集成在一起，但是也可将显示单元170配置为独立于信息处理设备10。例如，可将按照无线或有线方式与信息处理设备10相连接的显示装置视为显示单元170。

以上描述了根据本公开实施例的信息处理设备10的示例性功能配置。

<3.信息提供设备的示例性功能配置>

下面将描述根据本公开实施例的信息提供设备20的示例性功能配置。图3是示出根据本公开实施例的信息提供设备20的示例性功能配置的示意图。如图3所示，信息提供设备20包括控制单元210、存储单元220以及通信单元230。

控制单元210例如对应于处理器(例如中央处理器(CPU))。控制单元210通过执行存储单元220或其他存储介质中存储的程序来执行控制单元210具有的各种功能。控制单元210具有各个功能块，例如数据获取单元211、检测对象识别单元212以及识别结果提供单元213。下面描述各个功能块的功能。

利用存储介质(例如半导体存储器或硬盘)，存储单元220存储用于操作控制单元210的程序。此外例如，存储单元220可以存储程序使用的各种类型数据。注意，在图3所示的示例中，虽然将存储单元220与信息提供设备20集成在一起，但是也可以以独立于信息提供设备20的独立实体构成存储单元220。

通信单元230可以与其他设备(例如信息处理设备10等等)进行通信。在与信息处理设备10进行通信的情况下，例如，通信单元230可以经由网络30进行通信。通过通信单元230通信的形式没有特别限制，并且通过通信单元230的通信可以是采用无线方式的通信，也可以是采用电线的通信。注意，在图3所示的示例中，虽然将通信单元230与信息提供设备20集成一起，但是也可以以独立于信息提供设备20的独立实体构成通信单元230。

以上描述了根据本公开实施例的信息提供设备20的示例性功能配置。

<4.信息处理设备的功能细节>

下面描述根据本公开实施例的信息处理设备10的功能细节。首先，通过信息处理设备10的检测单元111检测一个对象(下面也称为“检测对象”)。在此，通过检测单元111检测的检测对象的类型没有特别限制。例如，检测对象可以是从成像单元120捕获的捕获图像中识别的对象。

从捕获图像识别的对象可以是为识别准备的标记或者除了标记之外的对象。此外，检测对象可以是持有成像单元120的用户Ua的位置信息。此外，检测对象可以是从捕获图像识别的对象与用户Ua的位置信息的组合。

首先描述使用来自捕获图像的、被识别为检测对象的标记的情况。图4是用于说明将标记识别为检测对象的示例的示意图。如图4所示，在真实空间中存在标记Mar1。图4示出的示例中，将标记Mar1添加于对象Obj1，但是对出现标记Mar1的位置没有特别限制。

此外，图4示出将电影的广告媒体用作对象Obj1的示例的情况，但是对象Obj1的类型也没有特别限制。显示控制单元113使得显示单元170显示捕获图像，且检测单元111将捕获图像提供给信息提供设备20。在信息提供设备20中，数据获取单元211获取从信息处理设备10提供的捕获图像，且检测对象识别单元212尝试从捕获图像识别标记。识别结果提供单元213将标记的识别结果提供给信息处理设备10。可通过信息处理设备10代替信息提供设备20来进行标记的识别。

在图4所示的示例中，显示控制单元113使得显示单元170显示捕获图像(示出标记Mar1)作为画面Im11。如果从捕获图像识别出标记Mar1，则检测单元111就将通过标记的识别结果表示的标记Mar1检测为检测对象。在检测到检测对象后，控制单元110可使得操作模式从识别检测对象的第一模式转换为识别根据检测对象的对象(下面也称为“成像对象”)的第二模式。

此时，为了用户Ua能够直观地掌握操作模式的转换，显示控制单元113可以在显示单元170上显示使得操作模式从第一模式转换为第二模式的消息。图5是示出使得操作模式从识别检测对象的第一模式转换为识别成像对象的第二模式的消息的示例性显示的示意图。如图5所示，可以在显示单元170上显示表示使得操作模式从第一模式转换为第二模式的消息的画面Im2。例如，在画面Im2上布置按钮Bu，并且当从用户Ua输入按下按钮Bu的操作时，可以使得操作模式转换为第二模式。

接着，数据获取单元112获取指令信息，该指令信息指示(order)根据标记Mar1(作为检测对象的示例)的成像对象落入成像单元120的成像范围，并且显示控制单元113使得显示单元170显示数据获取单元112获取的指令信息。图6是示出根据标记Mar1的指令信息的示例性显示的示意图。如图6所示，标记Mar1与指令信息In11至In15彼此相关联。在此，与标记Mar1相关联的指令信息的条数为5，但是该数量没有特别限制。

在图6所示的示例中，数据获取单元112获取与标记Mar1相关联的指令信息In11至In15，并且显示控制单元113使得显示单元170显示包含通过数据获取单元112获取的指令信息In11至In15的画面Im31。在此，假定是这样的情况：确定每个指令信息In11至In15的显示位置，并且显示控制单元113根据各个显示位置将指令信息In11至In15叠加在窗口上，但是也可将它们叠加在捕获图像上。

当显示控制单元113将指令信息In11至In15叠加在捕获图像上时，检测对象识别单元212也优选识别标记Mar1的三维位置和姿态。然后，显示控制单元113优选根据标记Mar1的三维位置和姿态调节指令信息In11至In15的位置和姿态，并将指令信息In11至In15叠加在捕获图像上。然后，可将适应于捕获图像的指令信息In11至In15提供给用户Ua。

参照图6，将指令信息In11示出为指示对象Obj1上出现的Ms.S或Ms.R落入成像单元120的成像范围的文本数据。此外，将指令信息In12示出为包围画面Im31上出现的Ms.S的矩形框。此外，将指令信息In13示出为包围画面Im31上出现的Ms.R的矩形框。将指令信息In14示出为指示对象Obj1上出现的标识落入成像单元120的成像范围的文本数据。将指令信息In15示出为表示画面Im31上出现的标志的箭头。

下面描述将除了标记之外的对象用作检测对象的情况。图7是用于说明将除了标记之外的对象识别为检测对象的示例的示意图。如图7所示，在真实空间中存在对象Obj1。显示控制单元113使得显示单元170显示捕获图像，并且检测单元111将捕获图像提供给信息提供设备20。

在信息提供设备20中，数据获取单元211获取从信息处理设备10提供的捕获图像，并且检测对象识别单元212尝试从捕获图像识别对象。识别结果提供单元213将对象的识别结果提供给信息处理设备10。类似于标记的识别，代替信息提供设备20，可通过信息处理设备10进行对象的识别。

在图7所示的示例中，在显示单元170上显示示出对象Obj1的捕获图像作为画面Im12。如果从捕获图像识别出对象Obj1，则检测单元111检测通过对象的识别结果指示的对象Obj1作为检测对象。当检测到对象Obj1时，控制单元110可以使得操作模式从识别检测对象的第一模式转换为识别根据对象Obj1的成像对象的第二模式。

此时，类似于使用标记作为检测对象的情况，为了用户Ua能够直观地掌握操作模式的转换，显示控制单元113可以在显示单元170上显示使得操作模式从第一模式转换为第二模式的消息。

接着，数据获取单元112获得指令信息，该指令信息指示根据对象Obj1(作为检测对象的示例)的成像对象落入成像单元120的成像范围，并且显示控制单元113使得显示单元170显示数据获取单元112获取的指令信息。图8是示出根据除了标记之外的对象的指令信息的示例性显示的示意图。如图8所示，对象Obj1与指令信息In16至In18相关联。在此，与对象Obj1相关联的指令信息的条数为3，但是对该数量没有特别限制。

在图8所示的示例中，数据获取单元112获取与对象Obj1相关联的指令信息In16至In18，并且显示控制单元113使得显示单元170显示包含数据获取单元112获取的指令信息In16至In18的画面Im32。

在此，显示控制单元113将指令信息In16至In18叠加在捕获图像上。更详细而言，检测对象识别单元212也识别对象Obj1的三维位置和姿态，并且显示控制单元113调节指令信息In16至In18的位置和姿态，以及根据对象Obj1的三维位置和姿态将指令信息In16至In18叠加在捕获图像上。通过这种配置，可将适应于捕获图像的指令信息In16至In18提供给用户Ua。

但是如上所述，指令信息In16至In18的各个显示位置被确定，并且显示控制单元113可根据各个显示位置将指令信息In16至In18叠加在窗口上。

参照图8，将指令信息In16示出为包围屏幕Im32上出现的Ms.S的椭圆框。此外，将指令信息In17示出为包围屏幕Im32上出现的Ms.R的椭圆框。将指令信息In18示出为包围屏幕Im32上出现的标志的椭圆框。

已经观看了以上所显示的指令信息的用户Ua被视为试图根据指令信息使得对象落入成像单元120的成像范围。之后，通过成像单元120捕获捕获图像，且通过成像对象识别单元114尝试从捕获图像识别根据检测对象的成像对象。下面描述基于捕获图像识别成像对象的情况。可通过预定服务器(例如信息提供设备20)代替信息处理设备10来执行成像对象的识别单元。

图9是用于说明识别根据指令信息使得成像对象落入成像范围的示例的示意图。如图9所示，如果已经观看了指令信息的用户Ua根据指令信息In11或指令信息In13使得对象Obj1中出现的Ms.R落入成像单元120的成像范围，则显示控制单元113使得显示单元170显示示出对象Obj1中出现的Ms.R的捕获图像作为画面Im4。

此外，在图9所示的示例中，通过成像对象识别单元114从捕获图像中将Ms.R(对象Obj21)识别为成像对象。具体而言，优选在第一模式中将标记识别为检测对象，而在第二模式中将除了标记之外的对象识别为成像对象。因为估计与除了标记之外的对象的识别相比，标记的识别具有较小的处理负荷，所以这种模式的切换有望能够有效地减少处理负荷。

当从捕获图像识别成像对象时，处理单元115执行根据成像对象的处理。下面描述根据成像对象的处理的执行。图10是用于说明根据成像对象的处理的执行示例的示意图。

如图10所示，成像对象与处理彼此相关联。更详细而言，作为成像对象示例的“Ms.S”与作为处理示例的“虚拟对象V1的显示”相关联，而作为成像对象示例的“Ms.R”与作为处理示例的“虚拟对象V2的显示”相关联。作为成像对象示例的“标志”与作为处理示例的“抽奖页面的显示”相关联。

在图10所示的示例中，处理单元115选择“虚拟对象V2的显示”，并使得显示单元170显示包含虚拟对象V2的画面Im5，“虚拟对象V2的显示”是与“Ms.R”相关联的处理，“Ms.R”是从捕获图像识别的成像对象。

在此，处理单元115将虚拟对象V2叠加在捕获图像上。更详细而言，成像对象识别单元114也识别成像对象的三维位置和姿态，并且处理单元115根据成像对象的三维位置和姿态，通过调节虚拟对象V2的位置和姿态，将虚拟对象V2叠加在捕获图像上。通过这种配置，可将适应于捕获图像的指令信息In16至In18提供给用户Ua。

通过成像对象识别单元114从捕获图像识别成像对象，更详细而言，可以基于从捕获图像提取的特征量与成像对象的词典数据之间的核对，从捕获图像识别成像对象。在此，对于通过数据获取单元112获取成像对象的词典数据的定时没有限制，但是期望的是在确定根据检测对象的成像对象之后获取。然后，在抑制用于获取词典数据的处理负荷时，也可以抑制在信息处理设备10中应当保证的词典数据的存储容量。例如可以从预定服务器(例如信息提供设备20)获取词典数据。

所示的示例中，如果基于捕获图像识别成像对象，则通过处理单元115执行使得显示单元170显示虚拟对象的处理，但是对获取虚拟对象的定时没有限制。但是，期望连同获取词典数据一起通过数据获取单元112获取。然后，在抑制用于获取虚拟对象的处理负荷时，也可以抑制在信息处理设备10中应当保证的虚拟对象的存储容量。例如可以从与提供词典数据的服务器相同的服务器获取虚拟对象。

下面描述信息处理设备10的示例性操作。图11是示出在将对象识别为检测对象以及在将虚拟对象的显示作为根据成像对象的处理执行时，信息处理设备的示例性操作的流程图。图11所示的示例性操作只是信息处理设备10的操作的示例，不必说，信息处理设备10的操作不限于图11所示的示例性操作。

首先，在信息处理设备10中，检测单元111检测从成像单元120捕获的捕获图像识别的对象作为检测对象(S11)。此时，显示控制单元113可以在显示单元170上显示使得操作模式从识别检测对象的第一模式转换为识别根据标记的成像对象的第二模式的消息(S12)。然后，数据获取单元112获取指令信息，该指令信息指示根据检测对象的成像对象落入成像单元120的成像范围(S13)。

接着，显示控制单元113使得显示单元170显示通过数据获取单元112获取的指令信息(S14)。在显示控制单元113确定根据检测对象的成像对象时(S15)，数据获取单元112获取所确定的成像对象的词典数据以及根据成像对象的虚拟对象(S16)。在成像对象识别单元114从捕获图像识别成像对象时(S17)，处理单元115使得显示单元170显示通过数据获取单元112获取的虚拟对象(S18)。

以上描述了将对象识别为检测对象以及将虚拟对象的显示作为根据成像对象的处理执行时，信息处理设备10的示例性操作。但是，通过处理单元115执行的处理不限于虚拟对象的显示。例如，通过处理单元115执行的处理可以是成像对象的评估。在下面描述的情况中，通过处理单元115执行的处理是成像对象的评估。

图12是示出在将成像对象的评估作为根据成像对象的处理执行时、指令信息的示例性显示的示意图。如图12所示，标记Mar1与指令信息In21相关联。在此，与标记Mar1相关联的指令信息的条数为1，但是对其没有特别限制。

在图12所示的示例中，数据获取单元112获取与标记Mar1相关联的指令信息In21，并且显示控制单元113使得显示单元170显示包含通过数据获取单元112获取的指令信息In21的画面Im33。在此，假定是这样的情况，确定指令信息In21的显示位置，并且显示控制单元113根据显示位置将指令信息In21叠加在窗口上，但是也可将指令信息In21叠加在捕获图像上。

如果显示控制单元113将指令信息In21叠加在捕获图像上，则检测对象识别单元212也期望识别标记Mar1的三维位置和姿态。然后，显示控制单元113期望根据标记Mar1的三维位置和姿态，通过调节指令信息In21的位置和姿态，将指令信息In21叠加在捕获图像上。然后，可将适应于捕获图像的指令信息In21提供给用户Ua。

参照图12，将指令信息In21示出为指示要评估的成像对象落入成像单元120的成像范围的文本数据。更详细而言，将指令信息In21示出为指示希望对其评估与事先准备的评估数据的相似度的脸落入成像单元120的成像范围的文本数据。但是，成像对象的评估不限于成像对象与评估数据之间相似度的评估。

例如，如果已经观看了指令信息的用户Ua根据指令信息In21使得希望被评估的脸落入成像单元120的成像范围，则通过成像对象识别单元114从捕获图像识别脸。处理单元115选择成像对象的评估并执行成像对象的评估，成像对象的评估是与作为从捕获图像识别的成像对象的脸相关联的处理。

获取评估数据的定时没有限制。但是与上面相似，期望连同获取词典数据一起通过数据获取单元112获取评估数据。然后，在抑制用于获取评估数据的处理负荷时，也可以抑制在信息处理设备10中应当保证的评估数据的存储容量。例如可以从与提供词典数据的服务器相同的服务器获取评估数据。

图13是示出在将对象识别为检测对象以及在将成像对象的评估作为根据成像对象的处理执行时、信息处理设备10的示例性操作的流程图。图13所示的示例性操作只是信息处理设备10的操作的示例，不用说，信息处理设备10的操作不限于图13所示的示例性操作。

首先，在信息处理设备10中，与上面类似地执行S11至S15。当显示控制单元113确定根据检测对象的成像对象时，数据获取单元112获取所确定的成像对象的词典数据以及根据成像对象的评估数据(S21)。当成像对象识别单元114从捕获图像识别成像对象时(S17)，处理单元115通过数据获取单元112获取的评估数据与从成像对象提取的特征量之间的核对，评估成像对象(S22)。

以上描述了将对象识别为检测对象以及将成像对象的评估作为根据成像对象的处理执行时、信息处理设备10的示例性操作。在上文中主要描述的情况是，检测对象是从通过成像单元120捕获的捕获图像中识别的对象，但是如上所述，检测对象也可以是持有成像单元120的用户Ua的位置信息。

下面描述其中检测对象是持有成像单元120的用户Ua的位置信息的情况。图14是用于说明将用户的位置信息识别为检测对象的示例的示意图。如图14所示，在真实空间中存在对象Obj1。例如，假定用户Ua为了观看对象Obj1而接近对象Obj1并到达靠近对象Obj1的位置R1。但是，位置R1不必靠近对象Obj1并且对其没有特别限制。

在信息处理设备10中，检测单元111将预定传感器数据提供给信息提供设备20。在信息提供设备20中，数据获取单元211获取从信息处理设备10提供的传感器数据，并且检测对象识别单元212基于传感器数据识别用户Ua的位置信息。识别结果提供单元213将用户Ua的位置信息提供给信息处理设备10。可通过信息处理设备10替代信息提供设备20来进行用户Ua的位置信息的识别。

作为识别用户Ua的位置信息的方法，可以采用各种方法。例如，检测对象识别单元212可将连接到信息处理设备10的基站的位置信息指定为用户Ua的位置信息。或者，检测对象识别单元212可以基于信息处理设备10中从基站传输的无线信号的接收强度以及基站的位置信息，识别用户Ua的位置信息。例如，检测对象识别单元212可以根据接收强度计算距离，并将离开基站位置该距离的位置识别为用户Ua的位置。

如果有多个基站向信息处理设备10传输无线信号，则检测对象识别单元212可以基于多个基站中每个基站的位置信息识别用户Ua的位置信息。例如，检测对象识别单元212可以基于多个基站中每个基站的位置信息以及信息处理设备10中从多个基站中每个基站传输的无线信号的接收强度，通过三角测量原理来识别用户Ua的位置信息。

此外，当信息处理设备10具有红外传感器并且当位置R1被红外线辐射时，通过信息处理设备10中提供的红外传感器接收红外线，可将位置R1识别为用户Ua的位置信息。当信息处理设备10通过全球定位系统(GPS)具有定位功能时，利用定位功能可以进行自定位估计，或者当信息处理设备10具有加速度传感器时，利用加速度传感器的检测数据可以进行自定位估计。

检测对象识别单元212可以基于环境识别的结果识别用户Ua的位置信息。作为环境识别，可以使用根据即时定位和地图构建(SLAM)方法的计算。通过根据SLAM方法的计算，可以动态地识别在通过成像单元120捕获的捕获图像上示出的真实空间的三维结构以及成像单元120的位置和姿态。

如果识别出用户Ua的位置信息，则检测单元111检测用户Ua的位置信息作为检测对象。在检测用户Ua的位置信息时，控制单元110可以使得操作模式从识别检测对象的第一模式转换为识别成像对象的第二模式。

此时，类似于将标记用作检测对象的情况或者使用除了标记之外的对象的情况，为了用户Ua能够直观地掌握操作模式的转换，显示控制单元113可以使得显示单元170显示使得操作模式从第一模式转换为第二模式的消息。

接着，数据获取单元112获取指令信息，该指令信息指示根据用户Ua的位置信息(作为检测对象的示例)的成像对象落入成像单元120的成像范围，并且显示控制单元113使得显示单元170显示通过数据获取单元112获取的指令信息。图15是示出根据用户Ua的位置信息的指令信息的示例性显示的示意图。如图15所示，位置P1与指令信息In31以及指令信息In32相关联，位置P2与指令信息In33以及指令信息In34相关联，位置P3与指令信息In35以及指令信息In36相关联。在此，与位置相关联的指令信息的条数为2，但是它没有特别限制。

在图15所示的示例中，如果检测单元111检测到位置P1，则数据获取单元112获取与位置P1相关联的指令信息In31和In32。显示控制单元113使得显示单元170显示包含通过数据获取单元112获取的指令信息In31和In32的画面Im34-1。参照图15，将指令信息In31示出为包围画面Im34-1上出现的Ms.R的矩形框。将指令信息In32示出为指示对象Obj1上出现的Ms.R落入成像单元120的成像范围的文本数据。

如果检测单元111检测到位置P2，则数据获取单元112获取与位置P2相关联的指令信息In33和In34。显示控制单元113使得显示单元170显示包含通过数据获取单元112获取的指令信息In33和In34的画面Im34-2。参照图15，将指令信息In33示出为包围画面Im34-2上出现的Ms.D的矩形框。将指令信息In34示出为指示对象Obj1上出现的Ms.D落入成像单元120的成像范围的文本数据。

如果检测单元111检测到位置P3，则数据获取单元112获取与位置P3相关联的指令信息In35和In36。显示控制单元113使得显示单元170显示包含通过数据获取单元112获取的指令信息In35和In36的画面Im34-3。参照图15，将指令信息In35示出为包围画面Im34-3上出现的Ms.S的矩形框。将指令信息In36示出为指示对象Obj1上出现的Ms.S落入成像单元120的成像范围的文本数据。

在此，假定是这样的情况，其中确定指令信息In31至In36中每个指令信息的显示位置，并且显示控制单元113根据各个显示位置将指令信息In31至In36叠加在窗口上，但是也可将指令信息In31至In36叠加在捕获图像上。

图16是示出在将用户Ua的位置信息识别为检测对象以及将虚拟对象的显示作为根据成像对象的处理执行时、信息处理设备10的示例性操作的流程图。图16所示的示例性操作只是信息处理设备10的操作的示例，不必说，信息处理设备10的操作不限于图16所示的示例性操作。

首先，在信息处理设备10中，检测单元111确定用户Ua的位置信息作为检测对象(S31)。然后，类似于上文，执行步骤S12至S18。已经描述了在将用户Ua的位置信息识别为检测对象以及将虚拟对象的显示作为根据成像对象的处理执行时、信息处理设备10的示例性操作。

<5.信息处理设备的硬件配置示例>

接着，描述根据本公开实施例的信息处理设备10的硬件配置示例。图17是示出根据本公开实施例的信息处理设备10的硬件配置示例的示意图。但是，图17所示的硬件配置示例仅仅示出信息处理设备10的硬件配置的示例。因此，信息处理设备10的硬件配置不限于图17所示的示例。

如图17所示，信息处理设备10包括：CPU(中央处理单元)801、ROM(只读存储器)802、RAM(随机存取存储器)803、传感器804、输入设备808、输出设备810、存储设备811、驱动器812以及通信设备815。

CPU801用作操作处理设备和控制设备，并根据各种程序控制信息处理设备10中的所有操作。此外，CPU801可以是微处理器。ROM802存储CPU801所使用的程序和操作参数。RAM803临时存储CPU801的执行中使用的程序以及在该执行中任意改变的参数。这些部件通过由CPU总线等等构成的主机总线相互连接。

传感器804由各种类型的检测传感器以及它们的外围电路构成，例如用于检测信息处理设备10的状态的终端状态检测传感器。作为示例，可包括定位传感器、倾斜度传感器、加速度传感器、方向传感器、温度传感器、湿度传感器、照度传感器等等作为传感器804。传感器804的检测信号被发送给CPU801。通过这种方式，CPU801能够知道信息处理设备10的状态(例如位置、倾斜度、加速度、方向、温度、湿度、照度等等)。

输入设备808包括：用于用户输入信息的操作单元，例如鼠标、键盘、触摸板、按钮、麦克风、开关或叶片；以及输入控制电路，其基于用户的输入产生输入信号，并将输入信号输出到CPU801。通过操作输入设备808，对于信息处理设备10的用户而言可以输入用于信息处理设备10的各种数据以及指示处理操作。

输出设备910例如包括显示装置，诸如液晶显示器(LCD)设备，OLED(有机发光二极管)设备或者灯。或者，输出设备810包括诸如扬声器或耳机这样的声音输出设备。例如，显示装置可以显示捕获图像或产生的图像。另一方面，声音输出设备转换声音数据并输出声音。

存储设备811是用于数据存储的设备，其构成为信息处理设备10的存储单元的示例。存储设备811可包括存储介质、将数据记录于存储介质的记录设备、从存储介质读取数据的读取设备、以及将存储介质中记录的数据擦除的擦除设备。存储设备811存储通过CPU801执行的程序及各种数据。

驱动器812是用于存储介质的读取器/写入器，并且内建于信息处理设备10或者从外部附接。驱动器812读取移动存储介质(例如安装的磁盘、光盘、磁光盘、或者半导体存储器)上记录的信息，并将信息输出到RAM803。此外，驱动器812可将信息写入移动存储介质。

成像设备813包括成像光学系统，例如收集光线的成像透镜和变焦透镜，以及信号转换元件，例如电荷耦合装置(CCD)或者互补金属氧化物半导体(CMOS)。成像光学系统收集从拍摄主题发出的光线并在信号转换单元中形成拍摄主题的图像，并且信号转换元件将形成的拍摄主题的图像转换为电子图像信号。

通信设备815例如是用于连接到网络的通信接口，由通信装置等等构成。此外，即使通信设备815是适应于LAN(局域网)或LTE(长期演进)的通信设备，通信设备815也可以是通过电线通信的有线通信设备。例如，对于通信设备815而言可以经由网络30与其他设备通信。

如上所述描述了根据本公开实施例的信息处理设备10的硬件配置示例。

<6.信息提供设备的硬件配置示例>

接着，描述根据本公开实施例的信息提供设备20的硬件配置示例。图18是示出根据本公开实施例的信息提供设备20的硬件配置示例的示意图。但是，图18所示的硬件配置示例仅仅示出信息提供设备20的硬件配置的示例。因此，信息提供设备20的硬件配置不限于图18所示的示例。

如图18所示，信息提供设备20包括：CPU(中央处理单元)901、ROM(只读存储器)902、RAM(随机存取存储器)903、存储设备911、驱动器912、以及通信设备915。

CPU901用作操作处理设备和控制设备，并根据各种程序控制信息提供设备20中的所有操作。此外，CPU901可以是微处理器。ROM902存储CPU901所使用的程序和操作参数。RAM903临时存储CPU901的执行中使用的程序以及在该执行中任意改变的参数。这些单元件通过由CPU总线等等构成的主机总线相互连接。

存储设备911是用于数据存储的设备，其构成为信息提供设备20的存储单元的示例。存储设备911可包括存储介质、将数据记录于存储介质的记录设备、从存储介质读取数据的读取设备、以及将存储介质中记录的数据擦除的擦除设备。存储设备911存储通过CPU901执行的程序及各种数据。

驱动器912是用于存储介质的读取器/写入器，并且内建于信息提供设备20或者从外单元附接。驱动器912读取移动存储介质(例如安装的磁盘、光盘、磁光盘、或者半导体存储器)中记录的信息，并将信息输出到RAM903。此外，驱动器912可将信息写入移动存储介质。

通信设备815例如是用于连接到网络的通信接口，其由通信装置等等构成。此外，即使通信设备815是适应于无线LAN(局域网)或LTE(长期演进)的通信设备，通信设备815也可以是通过电线通信的有线通信设备。例如，对于通信设备815而言可以经由网络30与其他设备通信。

如上所述描述了根据本公开实施例的信息提供设备20的硬件配置示例。

<7.结论>

如上所述，根据本公开的实施例，所提供的信息处理设备10包括用于检测预定检测对象的检测单元111、用于获取指示根据检测对象的预定成像对象落入成像单元的成像范围的指令信息的数据获取单元112、以及使得显示单元170显示指令信息的显示控制单元113。通过这种配置，在检测一个对象之后，能够容易地识别与该一个对象有关的另一个对象。

参照附图在上文描述了本公开的优选实施例(多个优选实施例)，但是本公开不限于上述示例。本领域技术人员可以发现落入所附权利要求范围的各种变型和改型，并且应当理解，它们自然涵盖于本公开的技术范围。

例如，信息处理设备10的操作不一定按照流程图中所述的顺序的时间序列进行。例如，信息处理设备10的操作可以按照不同于流程图中所述的顺序进行，或者可以并行进行流程图中所述的至少一部分操作。

此外，可以建立使得硬件(例如内建于计算机的CPU、ROM和RAM)表现类似于上述信息处理设备10中包括的功能的程序。此外，还可以提供记录这些程序并且能够进行对计算机的读取的记录介质。

此外，本说明书中所述效果仅仅是示意性和说明性的，并且不是限制性的。换言之，连同基于本说明书的效果或者代替基于本说明书的效果，根据本公开的技术可以表现出对于本领域技术人员而言显而易见的其他效果。

此外，可将本技术配置如下。

(1)一种信息处理设备，包括：

检测单元，被配置为检测预定检测对象；

数据获取单元，被配置为获取指令信息，所述指令信息指示根据所述检测对象的预定成像对象落入成像单元的成像范围内；以及

显示控制单元，被配置为使得显示单元显示所述指令信息。

(2)根据(1)的信息处理设备，包括：

处理单元，被配置为在基于所述成像单元捕获的捕获图像识别所述成像对象时，执行根据所述成像对象的处理。

(3)根据(2)的信息处理设备，包括：

成像对象识别单元，被配置为从所述捕获图像识别所述成像对象。

(4)根据(3)的信息处理设备，

其中在根据所述检测对象确定成像对象之后，所述数据获取单元获取所述成像对象的词典数据，以及

其中所述成像对象识别单元基于从所述捕获图像提取的特征量与所述词典数据之间的核对，识别所述成像对象。

(5)根据(4)的信息处理设备，

其中在获取所述词典数据时，所述数据获取单元获取根据所述成像对象的虚拟对象，以及

其中在基于所述被捕获图像识别所述成像对象时，所述处理单元执行将所述虚拟对象显示在所述显示单元上的处理。

(6)根据(1)至(5)任一项的信息处理设备，

其中所述检测单元检测从所述成像单元捕获的所述捕获图像识别的对象作为所述检测对象。

(7)根据(6)的信息处理设备，包括：

控制单元，被配置为使得操作模式从第一模式转换为第二模式，在所述第一模式中识别所述检测对象，在所述第二模式中识别所述成像对象。

(8)根据(7)的信息处理设备，

其中，在所述第一模式中将标记识别为所述检测对象，在所述第二模式中将对象识别为所述成像对象。

(9)根据(7)或(8)的信息处理设备，

其中所述显示控制单元使得所述显示单元显示使得所述操作模式从所述第一模式转换为所述第二模式的消息。

(10)根据(1)至(5)任一项的信息处理设备，

其中所述检测单元检测持有所述成像单元的用户的位置信息作为所述检测对象。

(11)根据(1)至(5)任一项的信息处理设备，

其中所述检测单元检测根据所述成像单元捕获的捕获图像而识别的对象与持有所述成像单元的用户的位置信息的组合作为所述检测对象。

(12)一种信息处理方法，包括：

检测预定检测对象；

获得指令信息，所述指令信息指示根据所述检测对象的预定成像对象落入成像单元的成像范围内；以及

通过处理器使得显示单元显示所述指令信息。

(13)一种信息处理系统，包括：

信息提供设备，包括：

检测对象识别单元，被配置为识别预定检测对象；以及

信息处理设备，包括：

检测单元，被配置为检测所述检测对象；

数据获取单元，被配置为获取指令信息，所述指令信息指示根据所述检测对象的预定成像对象落入成像单元的成像范围内；以及

显示控制单元，被配置为使得显示单元显示所述指令信息。

附图标记列表

1信息处理系统

10信息处理设备

20信息提供设备

30网络

110控制单元

111检测单元

112数据获取单元

113显示控制单元

114成像对象识别单元

115处理单元

120成像单元

130传感器单元

140输入单元

150存储单元

160通信单元

170显示单元

210控制单元

211数据获取单元

212检测对象识别单元

213识别结果提供单元

220存储单元

230通信单元

Claims (13)

1.一种信息处理设备，包括：

检测单元，被配置为检测预定检测对象；

数据获取单元，被配置为获取指令信息，所述指令信息指示根据所述检测对象的预定成像对象落入成像单元的成像范围内；以及

显示控制单元，被配置为使得显示单元显示所述指令信息。

2.根据权利要求1所述的信息处理设备，包括：

处理单元，被配置为在基于所述成像单元捕获的捕获图像识别所述成像对象时，根据所述成像对象执行处理。

3.根据权利要求2所述的信息处理设备，包括：

成像对象识别单元，被配置为根据所述捕获图像识别所述成像对象。

4.根据权利要求3所述的信息处理设备，

其中在确定根据所述检测对象的所述成像对象之后，所述数据获取单元获取所述成像对象的词典数据，以及

其中所述成像对象识别单元基于从所述捕获图像提取的特征量与所述词典数据之间的核对，识别所述成像对象。

5.根据权利要求4所述的信息处理设备，

其中在获取所述词典数据时，所述数据获取单元获取根据所述成像对象的虚拟对象，以及

其中在基于所述捕获图像识别所述成像对象时，所述处理单元执行将所述虚拟对象显示在所述显示单元上的处理。

6.根据权利要求5所述的信息处理设备，

其中所述检测单元检测根据所述成像单元捕获的捕获图像而识别的对象作为所述检测对象。

7.根据权利要求6所述的信息处理设备，包括：

控制单元，被配置为使得操作模式从第一模式转换为第二模式，在所述第一模式中识别所述检测对象，在所述第二模式中识别所述成像对象。

8.根据权利要求7所述的信息处理设备，

其中，在所述第一模式中将标记识别为所述检测对象，在所述第二模式中将对象识别为所述成像对象。

9.根据权利要求7所述的信息处理设备，

其中所述显示控制单元使得所述显示单元显示使得所述操作模式从所述第一模式转换为所述第二模式的消息。

10.根据权利要求1所述的信息处理设备，

其中所述检测单元检测持有所述成像单元的用户的位置信息作为所述检测对象。

11.根据权利要求1所述的信息处理设备，

其中所述检测单元检测根据所述成像单元捕获的捕获图像而识别的对象与持有所述成像单元的用户的位置信息的组合作为所述检测对象。

12.一种信息处理方法，包括：

检测预定检测对象；

获取指令信息，所述指令信息指示根据所述检测对象的预定成像对象落入成像单元的成像范围内；以及

通过处理器使得显示单元显示所述指令信息。

13.一种信息处理系统，包括：

信息提供设备，包括：

检测对象识别单元，被配置为识别预定检测对象；以及

信息处理设备，包括：

检测单元，被配置为检测所述检测对象；

数据获取单元，被配置为获取指令信息，所述指令信息指示根据所述检测对象的预定成像对象落入成像单元的成像范围内；以及

显示控制单元，被配置为使得显示单元显示所述指令信息。