CN109416583A - 信息处理装置、信息处理方法及程序 - Google Patents

Abstract

[问题]提供一种装置，利用该装置能够以移动实际对象的感觉来操作操作对象的显示位置。[解决方案]提供一种信息处理装置，其设置有：显示控制单元，其用于控制被操作设备的操作对象的显示；以及基准控制单元，其基于由操作主体对被操作设备的操作对象执行的预定操作来控制可视地显示操作对象的位置的基准。此外，提供一种信息处理方法，包括：使用处理器控制被操作设备的操作对象的显示的步骤；以及使用处理器基于由操作主体对被操作设备的操作对象执行的预定操作来控制可视地显示操作对象的位置的基准。还提供一种用于操作信息处理装置的程序。

Description

信息处理装置、信息处理方法及程序

技术领域

本公开涉及信息处理装置、信息处理方法及程序。

背景技术

近年来，随着信息通信技术的发展，已经研究和开发了用于控制设备的各种接口。作为这样的接口之一，存在使用所显示的虚拟对象的接口。

例如，在专利文献1中已经公开了一种信息处理装置根据用户相对于投影图像的动作而执行处理的发明。此外，在专利文献1(图44等)中，当检测到抓握投影图像的动作时使投影图像跟随用户的手部动作被公开为这种信息处理装置与用户之间的交互之一。

引用列表

专利文献

专利文献1：JP 2011-188023A

发明内容

技术问题

然而，期望通过更接近对实际对象执行的操作的操作来控制诸如如上所述的投影图像的操作对象的显示位置。因此，本公开提出了一种机制，利用该机制能够以移动实际对象的感觉来对操作对象的显示位置进行操作。

问题的解决方案

根据本公开，提供了一种信息处理装置，包括：显示控制单元，其控制针对被操作设备的操作对象的显示；以及基准控制单元，其基于由被操作设备的操作主体对操作对象执行的预定操作来控制对操作对象进行显示以使得能够在视觉上识别操作对象的位置的基准。

另外，根据本公开，提供了一种信息处理方法，包括使用处理器进行以下操作：控制针对被操作设备的操作对象的显示；以及基于由被操作设备的操作主体对操作对象执行的预定操作，来控制对操作对象进行显示以使得能够在视觉上识别操作对象的位置的基准。

另外，根据本公开，提供了一种用于使得计算机系统实现以下功能的程序：显示控制功能，其控制针对被操作设备的操作对象的显示；以及基准控制功能，其基于由被操作设备的操作主体对操作对象执行的预定操作，来控制对操作对象进行显示以使得能够在视觉上识别操作对象的位置的基准。

本发明的有益效果

根据本公开，提供了一种机制，利用该机制能够以移动实际对象的感觉来对操作对象的显示位置进行操作。注意，以上描述的效果不必然是限制性的。与上述效果一起或替代上述效果，可以实现本说明书中描述的任一效果或者可以从本说明书中领会的其他效果。

附图说明

图1是用于描述根据本公开的一个实施方式的信息处理系统的概要的图。

图2是示出根据本公开的一个实施方式的信息处理系统的处理的概要的流程图。

图3是示意性地示出根据本公开的第一实施方式的信息处理系统的功能配置的示例的框图。

图4是用于描述在根据实施方式的信息处理系统中通过其选择一个被操作设备的第一设备选择的示例的图。

图5是用于描述在根据实施方式的信息处理系统中通过其选择多个被操作设备的第一设备选择的示例的图。

图6是用于描述在根据实施方式的信息处理系统中通过其基于对选择对象执行的操作来选择操作目标设备的第二设备选择的示例的图。

图7是用于描述根据实施方式的信息处理系统中的优先级信息的示例的图。

图8是示出在根据实施方式的信息处理系统中已经通过第一设备选择而选择的被操作设备的通知的示例的图。

图9是概念性地示出根据实施方式的信息处理系统的整体处理的示例的流程图。

图10是概念性地示出根据实施方式的信息处理系统的选择对象显示处理的示例的流程图。

图11是用于描述根据实施方式的第一修改示例的信息处理系统中的第一设备选择的示例的图。

图12是用于描述根据实施方式的第一修改示例的信息处理系统中的第一设备选择的另一示例的图。

图13是用于描述根据实施方式的第一修改示例的信息处理系统中的第一设备选择的又一示例的图。

图14是概念性地示出根据实施方式的第二修改示例的信息处理系统的选择对象显示处理的示例的流程图。

图15是示出根据实施方式的第三修改示例的信息处理系统中的选择对象的显示的示例的图。

图16是示出根据实施方式的第三修改示例的信息处理系统中的选择对象的显示的另一示例的图。

图17是概念性地示出根据实施方式的第四修改示例的信息处理系统的选择对象显示处理的示例的流程图。

图18是概念性地示出根据实施方式的第四修改示例的信息处理系统的选择对象显示处理的另一示例的流程图。

图19是示出根据实施方式的第五修改示例的信息处理系统中已经通过第一设备选择而选择的被操作设备的通知的示例的图。

图20是示出在根据实施方式的第五修改示例的信息处理系统中已经通过第一设备选择而选择的被操作设备的通知的另一示例的图。

图21是示出根据实施方式的第五修改示例的信息处理系统中已经通过第一设备选择而选择的被操作设备的通知的又一示例的图。

图22是示出根据本公开的第二实施方式的信息处理系统中的针对操作对象的显示控制的示例的图。

图23是示出根据实施方式的信息处理系统中的针对操作对象的显示控制的另一示例的图。

图24是概念性地示出根据实施方式的信息处理系统的处理的示例的流程图。

图25是示出根据实施方式的第一修改示例的信息处理系统中的针对操作对象的显示控制的示例的图。

图26是示出根据实施方式的第一修改示例的信息处理系统中的针对操作对象的显示控制的另一示例的图。

图27是示出根据实施方式的第二修改示例的信息处理系统中的针对操作对象的显示控制的另一示例的图。

图28是示出根据实施方式的第二修改示例的信息处理系统中的针对操作对象的显示控制的另一示例的图。

图29是示出根据实施方式的第三修改示例的信息处理系统中的针对操作对象的显示控制的另一示例的图。

图30是示出根据实施方式的第三修改示例的信息处理系统中的针对操作对象的显示控制的另一示例的图。

图31是示出根据实施方式的第四修改示例的信息处理系统中的针对操作对象的显示控制的另一示例的图。

图32是示出根据实施方式的第五修改示例的信息处理系统中的针对操作对象的显示控制的另一示例的图。

图33是示出根据实施方式的第六修改示例的信息处理系统中的针对操作对象的显示控制的另一示例的图。

图34是示出根据实施方式的第六修改示例的信息处理系统中的针对操作对象的显示控制的另一示例的图。

图35是示出根据实施方式的第六修改示例的信息处理系统中的针对操作对象的显示控制的另一示例的图。

图36是概念性地示出根据实施方式的第六修改示例的信息处理系统的处理的示例的流程图。

图37是示出根据实施方式的第七修改示例的信息处理系统中的针对通知操作对象的显示控制的示例的图。

图38是示出根据实施方式的第七修改示例的信息处理系统中的针对多个用户的通知操作对象的显示控制的示例的图。

图39是示出根据实施方式的第七修改示例的信息处理系统中的针对仅被特定用户在视觉上识别的通知操作对象的显示控制的示例的图。

图40是示出根据实施方式的第七修改示例的信息处理系统中的针对仅被特定用户在视觉上识别的通知操作对象的显示控制的另一示例的图。

图41是示出根据实施方式的第八修改示例的信息处理系统中的针对操作对象的显示控制的示例的图。

图42是示出根据实施方式的第九修改示例的信息处理系统中的针对操作对象的显示控制的示例的图。

图43是示出根据实施方式的第十修改例的信息处理系统中的对操作对象执行的操作的示例的图。

图44是示出根据本公开的第三实施方式的信息处理系统中的操作对象的移动控制的示例的图。

图45是示出根据实施方式的信息处理系统中的操作对象相对于显示位置的基准的跟随能力(followability)的示例的图。

图46是示出在根据实施方式的信息处理系统中显示位置的基准是人的情况下操作对象的跟随能力的示例的图。

图47是概念性地示出根据实施方式的信息处理系统的整体处理的示例的流程图。

图48是概念性地示出根据实施方式的信息处理系统中的显示位置的基准的控制处理的示例的流程图。

图49是示出根据实施方式的第一修改示例的信息处理系统中的预定操作的示例的图。

图50是示出根据实施方式的第一修改示例的信息处理系统中的预定操作的另一示例的图。

图51是示出根据实施方式的第一修改示例的信息处理系统中的预定操作的又一示例的图。

图52是示出根据实施方式的第一修改示例的信息处理系统中的预定操作的又一示例的图。

图53是示出根据实施方式的第一修改示例的信息处理系统中的预定操作的又一示例的图。

图54是示出在根据实施方式的第二修改示例的信息处理系统中改变显示位置的基准的示例的图。

图55是概念性地示出根据实施方式的第三修改示例的信息处理系统中的显示位置的基准的控制处理的示例的流程图。

图56是示出在根据实施方式的第四修改示例的信息处理系统中显式地(explicitly)指示改变操作对象的显示位置的基准之后的目的地的示例的图。

图57是示出根据实施方式的第五修改示例的信息处理系统中的操作对象的合并的示例的图。

图58是示出根据实施方式的第六修改示例的信息处理系统中的针对操作对象的显示控制的示例的图。

图59是示出根据实施方式的第七修改示例的信息处理系统中的针对操作对象的显示控制的示例的图。

图60是示出根据实施方式的第七修改示例的信息处理系统中的针对与复制相关的操作对象的显示控制的示例的图。

图61是示出根据本公开的一个实施方式的信息处理装置的硬件配置的说明图。

具体实施方式

在下文中，将参照附图详细描述本公开的(一个或更多个)优选实施方式。注意，在本说明书和附图中，使用相同的附图标记来表示具有基本相同的功能和结构的结构元件，并且省略了对这些结构元件的重复说明。

另外，在一些情况下，可以将不同的数字添加到相同的附图标记，以区分在说明书和附图中具有基本相同功能的多个元件。例如，根据需要，像选择对象31A、选择对象31B等那样区分具有基本相同功能的多个元件。然而，在不需要区分具有基本相同功能的元件的情况下，仅给出相同的附图标记。在不需要特别区分选择对象31A和选择对象31B的情况下，例如，选择对象31A和选择对象31B将简称为选择对象31。

另外，为了便于描述，将通过将与实施方式相对应的数字添加到末尾，来将根据第一实施方式至第三实施方式的信息处理装置100区分为信息处理装置100-1至信息处理装置100-3。

注意，将按以下顺序给出描述。

1.介绍

2.根据本公开的一个实施方式的信息处理系统的概要

3.本公开的第一实施方式(被操作设备的选择)

3-1.系统的配置

3-2.系统的处理

3-3.第一实施方式的总结

3-4.修改示例

4.本公开的第二实施方式(操作对象的显示)

4-1.系统的配置

4-2.系统的处理

4-3.第二实施方式的总结

4-4.修改示例

5.本公开的第三实施方式(操作对象的移动)

5-1.系统的配置

5-2.系统的处理

5-3.第三实施方式的总结

5-4.修改示例

6.根据本公开的一个实施方式的硬件配置

7.结论

<1.介绍>

首先，将描述与根据本公开的各个实施方式的信息处理系统有关的技术。

通常通过使用远程控制器来操作诸如家用电器的电子设备(下文中，也称为被操作设备)。例如，为各个被操作设备设置远程控制器，并且用户通过使用用于被操作设备的远程控制器来操作作为操作目标的被操作设备。

然而，由于远程控制器的数目也随着被操作设备的数目的增加而增加，因此担忧对于用户而言操作被操作设备可能变得复杂。例如，用户为找到用于期望的被操作设备的远程控制器而耗费的精力增加。此外，远程控制器的管理也成为额外的负担。

同时，可以想到通过使用与远程控制器相对应的一个设备来操作多个被操作设备。例如，可以例示在显示用于操作被操作设备的(图形用户接口)GUI的设备中根据被操作设备来切换GUI。

然而，在这种情况下，对于用户而言仍然存在复杂度。例如，用户必须用他/她的手拿起上述设备来操作被操作设备。此外，由于从针对多个被操作设备的GUI中选择期望的GUI，因此随着被操作设备的数目增加，GUI的数目也增加，并且GUI的选择变得复杂。另外，因此需要时间才变得能够进行操作。此外，在存在多个用户的情况下，需要提供与用户的数目相对应的上述设备。

考虑到以上方面，可以想到提供一种不使用上述设备的操作接口。例如，可以例示被操作设备识别诸如用户的语音、视线或手势的所谓的NUI(自然用户接口)并且执行用户期望的操作。

然而，在存在多个被操作设备的情况下，通常难以通过NUI选择期望的被操作设备。例如，如果用户试图通过使用视线来选择被操作设备，由于视线的偏离，可能不仅识别出到期望的被操作设备的视线而且还识别出到周围的被操作设备的视线，并且可能发生不适当的操作。而且，抑制视线的偏差是用户的负担。此外，在执行对被操作设备的操作，特别是诸如参数调整等的细节操作的情况下，即使选择了期望的被操作设备，负担也进一步增加。

同时，也可以想到利用投影的GUI而不是前面提到的NUI。例如，可以例示在用户的周围投影GUI并且根据对投影的GUI执行的操作来操作被操作设备。

然而，即使在这种情况下，仍然没有解决选择被操作设备的困难。

因此，本公开的一个实施方式将提出一种能够减轻用户选择用户期望操作的被操作设备的负担的机制。此外，还将提出一种能够提供适合于用户状况的操作对象的机制和能够以移动实际对象的感觉执行关于操作对象的显示位置的操作的机制。

<2.根据本公开的一个实施方式的信息处理系统的概要>

接下来，将参照图1对根据本公开的一个实施方式的信息处理系统的概要进行描述。图1是用于描述根据本公开的一个实施方式的信息处理系统的概要的图。

根据本公开的一个实施方式的信息处理系统包括具有用户形态识别功能、投影控制功能、设备控制功能和通信功能的信息处理装置100、投影设备、成像设备以及被操作设备。用户形态识别功能是识别用户的身体形态的功能。投影控制功能是控制投影设备被使得投影的图像的形态、投影位置等的功能。设备控制功能是控制被操作设备的处理的功能。通信功能是将信息传送到信息处理装置100外部的装置或设备的功能。因此，信息处理装置100可以响应于使用用户身体对投影设备被使得投影的用于操作被操作设备的图像(在下文中，也称为作为操作对象)的操作来控制经由通信连接的被操作设备。

此外，除了上述功能之外，信息处理装置100还具有被操作设备选择功能、操作对象形态控制功能和操作对象移动功能。被操作设备选择功能是从多个被操作设备中选择作为操作目标的被操作设备的功能。操作对象显示功能是控制要显示的操作对象的显示形态的功能。操作对象移动功能是控制要显示的操作对象的移动的功能。

如图1中所示，例如，信息处理系统1包括信息处理装置100、投影成像设备10、显示设备20和空调设备21。信息处理装置100经由诸如因特网的网络连接至投影成像设备10、显示设备20和空调设备21。注意，投影成像设备10可以是作为单独的设备的投影设备和成像设备。

首先，信息处理装置100选择显示设备20和空调设备21作为被操作设备。接下来，信息处理装置100使得投影成像设备10投影用于操作所选择的显示设备20或空调设备21的操作对象。另外，投影成像设备10对用户所在的范围进行成像，并将与通过成像获得的图像有关的图像信息传输到信息处理装置100。信息处理装置100根据基于所接收的图像信息识别的用户的身体形态识别用户的操作。然后，信息处理装置100使操作对象的显示位置根据用户的操作而移动。此外，信息处理装置100基于用户对操作对象执行的操作来控制显示设备20或空调设备21的处理。

首先，将参照图2描述信息处理系统1的处理的概要。图2是示出根据本公开的一个实施方式的信息处理系统1的概要的流程图。

信息处理系统1选择作为操作目标的被操作设备(步骤S201)。具体地，信息处理装置100从经由通信连接的多个被操作设备中选择作为操作目标的被操作设备。

接下来，信息处理系统1确定是否已经选择了一个或更多个被操作设备(步骤S202)。具体地，信息处理装置100确定是否已经选择了一个或更多个被操作设备作为操作目标。

如果确定已经选择了一个或更多个被操作设备，则信息处理系统1显示操作对象(步骤S203)。具体地，信息处理装置100使投影成像设备10投影针对已被选择作为操作目标的被操作设备的操作对象。

接下来，信息处理系统1使操作对象移动(步骤S204)。具体地，信息处理装置100使得操作对象的投影位置根据用户对投影的操作对象执行的操作而移动。

另外，信息处理系统1操作作为操作目标的被操作设备(步骤S205)。具体地，信息处理装置100使得对应于操作对象的被操作设备根据用户对投影的操作对象执行的操作来执行处理。

然后，信息处理系统1确定操作是否已经结束(步骤S206)。具体地，信息处理装置100确定通过使用操作对象的被操作设备的操作是否已经结束。注意，如果确定操作已经结束，则信息处理系统1使操作对象的显示结束。

以上是关于根据本公开的一个实施方式的信息处理系统的概要的描述。在下文中，将在不同的实施方式中分别详细描述上述被操作设备选择功能、操作对象形态控制功能和操作对象移动功能。

<3.本公开的第一实施方式(被操作设备的选择)>

首先，将描述根据本公开的第一实施方式的信息处理系统1。在本公开的第一实施方式中，将主要描述信息处理系统1中的上述被操作设备选择功能的实施方式。

<3-1.系统配置>

将参照图3描述根据该实施方式的信息处理系统1的功能配置。图3是示意性地示出根据本公开的第一实施方式的信息处理系统1的功能配置的示例的框图。

如图3所示，信息处理系统1包括信息处理装置100-1、投影成像设备10、以及作为被操作设备的显示设备20和空调设备21。在下文中，将详细描述信息处理装置100-1和投影成像设备10的功能。

(信息处理装置)

信息处理装置100-1包括识别单元101、设备选择单元102、投影控制单元103、设备控制单元104、通信单元105和存储单元106。

(识别单元)

识别单元101将用户形态识别为操作主体。具体地，识别单元101基于观察信息识别用户的身体形态。更具体地，观察信息是与用户出现的图像有关的图像信息，并且识别单元101通过分析与图像信息有关的图像来识别用户的身体形态。例如，识别单元101识别出现在图像中的用户的面部或用户的眼睛，并且基于所识别出的面部或眼睛的布置、形状等识别用户的视线。注意，观察信息可以是与用户的动作、位置等相关的测量信息，并且识别单元101可以基于测量信息识别用户的身体形态。身体形态包括视觉识别的形态，例如视线或视野。另外，可以从用户佩戴的传感器、用户周围存在的物体上安装的传感器等获取测量信息。

另外，识别单元101基于所识别出的用户形态识别用户的操作。具体地，识别单元101基于针对投影控制单元103被使得投影的操作对象的用户形态，识别对被操作设备执行的操作。例如，如果识别出触摸操作对象的操作，则识别单元101识别出已经对操作对象执行了操作。

(设备选择单元)

设备选择单元102基于用户的身体形态选择作为操作目标的被操作设备(在下文中，也称为操作目标设备)。具体地，设备选择单元102在第一设备选择中基于针对被操作设备的用户的身体形态选择操作目标设备。例如，设备选择单元102基于指向被操作设备的用户的视觉识别形态来选择操作目标设备。此外，将参照图4详细描述第一设备选择。图4是用于描述在根据实施方式的信息处理系统1中通过其选择一个被操作设备的第一设备选择的示例的图。

设备选择单元102基于与由识别单元101识别的用户视线有关的视线信息来决定设备选择范围。例如，设备选择单元102基于从识别单元101提供的视线信息决定如图4所示的与用户的视力范围(eyesight)相对应的真实空间中的范围作为设备选择范围。注意，设备选择范围可能小于估计的用户的视力范围。

接下来，设备选择单元102根据用户的决定操作选择被确定为落入设备选择范围内的被操作设备。例如，如果由识别单元101识别出用户对设备选择范围的决定操作，则设备选择单元102确定在所决定的范围内是否存在任何被操作设备。然后，设备选择单元102选择被确定为存在于所决定的范围内的被操作设备，例如，如图4所示的显示设备20，作为操作目标设备。注意，可以从识别单元101提供在真实空间中被操作设备的位置信息，或者可以从外部设备提供该位置信息。

另外，在设备选择范围中包括多个被操作设备的情况下，设备选择单元102选择多个被操作设备作为操作目标设备的候选(在下文中，也称为候选设备)。此外，将参照图5详细描述在选择多个被操作设备作为候选设备的情况下的第一设备选择。图5是用于描述在根据实施方式的信息处理系统1中通过其选择多个被操作设备的第一设备选择的示例的图。注意，将省略与上述处理基本相同的处理的描述。

设备选择单元102基于与由识别单元101识别出的用户视线有关的视线信息来确定设备选择范围。

接下来，设备选择单元102选择被确定为落入设备选择范围内的被操作设备。例如，设备选择单元102确定在所决定的范围内是否存在任何被操作设备。设备选择单元102选择被确定为存在于所决定的范围内的多个被操作设备，例如，如图5所示的显示设备20、空调设备21和鼓风设备22中的全部，例如作为候选设备。

注意，尽管上面已经描述了选择落入设备选择范围内的所有被操作设备作为候选设备的示例，但是可以选择落入设备选择范围内的被操作设备的一部分作为候选设备。例如，可以仅从设备选择范围内的被操作设备中，选择在距离视线等于或小于阈值的距离处的被操作设备作为候选设备。

另外，尽管上面已经描述了通过第一设备选择来选择实际存在于根据用户的身体形态决定的区域(即，设备选择范围)中的被操作设备的示例，但是可以选择链接到设备选择范围的被操作设备。在这种情况下，即使在不能以直接方式视觉识别被操作设备的情况下，也可以选择被操作设备。例如，链接到被操作设备的标签被布置在真实空间中，并且设备选择单元102选择链接到设备选择范围内的一个或更多个标签的一个或更多个被操作设备，作为候选设备或操作目标设备。另外，例如，真实空间中的特定区域链接到一个或更多个被操作设备，并且设备选择单元102选择链接到设备选择范围内的特定区域的一个或更多个被操作设备，作为候选设备或操作目标设备。当设置上述标签时，用户可以可靠地识别被操作设备，并且然后执行第一设备选择。而且，当设置上述特定区域时，可以省略上述标签并减少先前准备或改变链接的工作或成本。

此外，设备选择单元102从通过第一设备选择所选择的候选设备中选择操作目标设备。具体地，在第二设备选择中，设备选择单元102基于对由投影成像设备10投影的选择对象执行的用户选择操作，从通过第一设备选择所选择的候选设备中选择操作目标设备。此外，将参照图6详细描述第二设备选择。图6是用于描述在根据实施方式的信息处理系统中通过其基于对选择对象执行的操作来选择操作目标设备的第二设备选择的示例的图。

首先，在第一设备选择之后，将指示通过第一设备选择所选择的多个候选设备的信息作为选择对象呈现给用户。例如，如图6所示的分别对应于已经通过第一设备选择所选择的鼓风设备22、显示设备20和空调设备21的选择对象31A、32A和33A分别被投影设备10投影在选择对象显示区域30中。

接下来，如果由识别单元101识别出从多个候选设备中选择一个候选设备的操作，则设备选择单元102选择所选择的候选设备作为操作目标设备。例如，如果由识别单元101识别出触摸选择对象32A的操作，则设备选择单元102选择与所选择的选择对象32A对应的显示设备20作为操作目标设备。

(投影控制单元)

投影控制单元103用作显示控制单元并控制由投影成像设备10执行的投影。具体地，投影控制单元103控制与通过第一设备选择所选择的候选设备有关的选择对象的投影。更具体地，投影控制单元103使投影成像设备10投影指示通过第一设备选择所选择的候选设备的选择对象。此外，将参照图6和图7详细描述选择对象。图7是用于描述根据实施方式的信息处理系统1中的优先级信息的示例的图。

如果通过第一设备选择而选择了多个候选设备，则投影控制单元103基于优先级信息来决定对于多个候选设备的选择对象的形态。优先级信息包括基于第一设备选择中的身体形态决定的信息。更具体地，投影控制单元103基于第一设备选择中的用户的视线来决定选择对象的布置。例如，投影控制单元103根据在第一设备选择中在三维空间中从用户的视线到候选设备的距离来决定选择对象的形态。详细地，如图7所示，投影控制单元103计算从用户的视线到鼓风设备22的距离d1、从用户的视线到空调设备21的距离d2、从用户的视线到显示设备20的距离d3。然后，投影控制单元103按所计算的距离的升序或降序来决定选择对象的排列。注意，当然，从视线到候选设备的距离可以是二维空间中的距离。另外，随着优先级变得更高时，即，随着上述距离变得更短，选择对象可以被布置在更靠近用户的位置处。

另外，投影控制单元103将根据用户在第一设备选择中的决定操作的位置决定作为选择对象的投影位置。根据决定操作的位置包括由决定操作指定的用户的身体部位。例如，在对用户的大腿执行作为第一设备选择中的针对设备选择范围的决定操作的敲击操作的情况下，投影控制单元103将用户大腿上的区域30决定为选择对象的投影位置。注意，投影控制单元103可以根据与上述第一设备选择中的决定操作不同的指定选择对象的显示位置的操作，来决定选择对象的显示位置。

然后，投影控制单元103使投影成像设备10在决定的投影位置处以决定的形态投影选择对象。例如，投影控制单元103使投影成像设备10在被决定作为投影位置的如图6所示的用户大腿上的区域30中以决定的排列的列表的形式投影选择对象31A、32A和33A。

注意，可以针对与通过第一设备选择所选择的候选设备相关的被操作设备投影选择对象。具体地，投影控制单元103掌握连同候选设备操作的被操作设备，并使投影成像设备10投影针对掌握的被操作设备的选择对象连同针对候选设备的选择对象。例如，可以投影针对连同显示设备20操作的记录设备、声音输出设备、照明设备等的选择对象。另外，可以投影针对具有与候选设备的功能类似的功能的被操作设备的选择对象。在这种情况下，可以通过投影针对用户可能期望操作的设备的选择对象来提高可用性。

此外，投影控制单元103可以用作通知控制单元，并且当投影选择对象时，控制已经通过第一设备选择而选择的被操作设备的通知。具体地，投影控制单元103控制指示已经通过第一设备选择而选择的被操作设备与选择对象之间的链接的投影。此外，将参照图8详细描述已经通过第一设备选择而选择的被操作设备的通知。图8是示出在根据实施方式的信息处理系统1中已经通过第一设备选择而选择的被操作设备的通知的示例的图。

如果识别出第一设备选择中的决定操作，则投影控制单元103使投影成像设备10投影指示通过第一设备选择所选择的多个相应候选设备与已经执行了决定操作的位置之间的链接的显示。具体地，如果在第一设备选择中决定操作被识别为已经对用户的大腿执行，则投影具有遵循连接显示设备20、空调设备21和鼓风设备22中的每一个与根据决定操作的用户大腿上的区域30的线的轨迹的图像(包括简单光)的动画。例如，可以投影其中图像从候选设备移动到区域30的动画，并且可以在图像到达区域30时投影选择对象。

上面已经描述了设备选择中的投影控制。另外，投影控制单元103控制针对已经通过第二设备选择而选择的被操作设备的操作对象的投影。具体地，如果在第二设备选择中识别出候选设备的选择操作，则投影控制单元103使投影成像设备10投影针对所选择的候选设备的操作对象。例如，如果识别出对选择对象执行的选择操作，则使选择对象的投影结束，并且可以将操作对象投影到已经投影选择对象的位置。

(设备控制单元)

设备控制单元104控制被操作设备。具体地，设备控制单元104基于由识别单元101识别的用户操作来控制被操作设备的处理。例如，设备控制单元104根据针对显示设备20的操作对象的操作决定显示设备20的处理，并使通信单元105将请求执行所决定的处理的处理执行请求传输到显示设备20。

(通信单元)

通信单元105与信息处理装置100-1外部的设备通信。具体地，通信单元105将图像信息传输到投影成像设备10，并从投影成像设备10接收图像信息。另外，通信单元105将处理执行请求传输到显示设备20和空调设备21。注意，通信单元105可以以有线通信方案或无线通信方案执行通信。

(存储单元)

存储单元106存储在信息处理装置的处理中使用的信息。具体地，存储单元106存储用于分析在由识别单元101执行的识别处理中的观察信息的信息。另外，存储单元106存储与投影控制单元103使投影成像设备10投影的图像有关的图像信息。注意，代替将信息存储在存储单元106中，可以通过通信来获取存储在外部设备中的信息。

(投影成像设备)

投影成像设备10基于来自信息处理装置100-1的指令投影图像。具体地，投影成像设备10将与从信息处理装置100-1提供的图像信息有关的图像投影到指定位置。例如，投影成像设备10可以是能够相对于两个轴旋转投影方向的投影仪。注意，投影成像设备10可以是全向投影仪、全息视频设备或者布置在用户周围的物体(例如，桌子或沙发)具有的显示设备。另外，投影成像设备10可以同时将不同的图像投影到多个位置。

另外，投影成像设备10对设备本身的周围进行成像。具体地，投影成像设备10以预定的时间间隔或响应于来自信息处理装置100-1的请求对设备本身的周围进行成像。然后，投影成像设备10将与通过成像获取的图像有关的图像信息传输到信息处理装置100-1。注意，成像可用范围可以与投影可用范围相同，或者可以比投影可用范围更宽。另外，可以使成像范围与投影范围一致。而且，可以存在多个成像范围。

<3-2.系统的处理>

接下来，将描述根据实施方式的信息处理系统1的处理。

(整体处理)

首先，将参照图9描述信息处理系统1的整体处理。图9是概念性地示出根据实施方式的信息处理系统1的整体处理的示例的流程图。

信息处理系统1估计用户的身体形态(步骤S301)。具体地，识别单元101通过使用图像信息等识别用户的身体形态。

接下来，信息处理系统1确定是否已经执行了第一设备选择中的决定操作(步骤S302)。具体地，识别单元101基于所识别的用户的身体形态来决定设备选择范围。另外，识别单元101尝试基于识别的用户的身体形态识别第一设备选择中的决定操作。然后，设备选择单元102确定是否已经由识别单元101识别出第一设备选择中的决定操作。

如果确定已经执行了第一设备选择中的决定操作，则信息处理系统1确定是否已经选择了被操作设备(步骤S303)。具体地，如果确定已经由识别单元101识别出第一设备选择中的决定操作，则设备选择单元102确定在设备选择范围中是否存在一个或更多个被操作设备。

如果确定已经选择了被操作设备，则信息处理系统1确定是否已经选择了多个被操作设备(步骤S304)。具体地，设备选择单元102确定在设备选择范围内是否存在两个或更多个被操作设备。

如果确定已经选择了多个被操作设备，则信息处理系统1显示选择对象(步骤S305)。具体地，如果确定存在两个或更多个被操作设备，则设备选择单元102选择两个或更多个被操作设备作为候选设备。然后，投影控制单元103使通信单元105将与针对候选设备的选择对象有关的图像信息传输到投影成像设备10。然后，投影成像设备10将与所接收的图像信息有关的选择对象投影到指定位置。注意，稍后将描述其细节。

接下来，信息处理系统1确定是否已经执行了第二设备选择中的决定操作(步骤S306)。具体地，识别单元101尝试识别第二设备选择中的决定操作。然后，设备选择单元102确定是否已由识别单元101识别出第二设备选择中的决定操作。

如果确定已经执行了第二设备选择中的决定操作，则信息处理系统1显示针对被操作设备的操作对象(步骤S307)。具体地，如果确定已经由识别单元101识别出第二设备选择中的决定操作，则设备选择单元102使通信单元105将与操作对象有关的图像信息传输到投影成像设备10。然后，投影成像设备10投影与所接收的图像信息有关的操作对象而不是选择对象。

(整体处理)

随后，将参照图10描述信息处理系统1的选择对象显示处理。图10是概念性地示出根据实施方式的信息处理系统1的选择对象显示处理的示例的流程图。

信息处理系统1获取用户的身体形态信息(步骤S311)。具体地，投影控制单元103获取与由识别单元101识别的用户的身体形态有关的信息。

接下来，信息处理系统1基于身体形态信息决定选择对象的形态(步骤S312)。具体地，投影控制单元103基于所获取的身体形态信息来决定优先级信息。然后，投影控制单元103基于优先级信息决定选择对象的排列。

另外，信息处理系统1根据第一设备选择中的决定操作来决定显示位置(步骤S313)。具体地，投影控制单元103将已经执行第一设备选择中的决定操作的位置决定作为选择对象的显示位置。

然后，信息处理系统1在决定的位置处以决定的形态显示选择对象(步骤S314)。具体地，投影控制单元103使通信单元105将与所决定的排列中的选择对象有关的图像信息连同投影位置的指令一起传输到投影成像设备10。然后，投影成像设备10将与所接收的图像信息有关的选择对象投影到指定位置。

<3-3.第一实施方式的总结>

以这种方式，根据本公开的第一实施方式，信息处理系统1、即信息处理装置100-1控制与已经通过基于如下信息的第一设备选择而选择的被操作设备有关的选择对象的显示：其中，根据该信息估计针对被操作设备的操作主体的身体形态。然后，信息处理装置100-1控制已经通过基于与由操作主体对选择对象执行的选择操作有关的信息的第二设备选择而选择的被操作设备。

通常，已经主要提供了在设备附近操作被操作设备的第一接口或以远程方式操作被操作设备的第二接口。然而，用户必须根据第一接口向上移动到被操作设备。另外，难以通过诸如第二接口中的手势操作的NUI操作来准确地选择被操作设备。另外，在存在多个被操作设备的情况下，在第二接口中的远程控制器操作中需要努力寻找与被操作设备相对应的远程控制器。

同时，根据该实施方式，向用户呈现通过基于用户的身体形态的第一设备选择而选择的被操作设备的候选，并且用户可以从候选中选择被操作设备。因此，用户不需要首先移动到被操作设备。另外，通过用户从所呈现的被操作设备的候选中选择操作目标，可以抑制对被操作设备的不适当选择，并且可以防止对被操作设备的重新选择。另外，通过基于对选择对象的选择而操作被操作设备，可以在没有诸如远程控制器的任何特定设备的情况下操作被操作设备，并且可以抑制为寻找远程控制器等而做出的工作。因此，可以减轻用户选择用户期望操作的被操作设备的负担。

另外，上述选择对象包括指示已经通过上述第一设备选择而选择的被操作设备的对象。因此，用户可以通过被显式地指示的通过第一设备选择而选择的候选设备可靠地选择用户他/她本身预期的被操作设备。

另外，以基于优先级信息的形态显示上述选择对象，使得在视觉上识别选择对象。尽管通过第一设备选择而选择了多个候选设备，但是在实践中用户通常期望操作一个被操作设备。因此，通过使投影成像设备10投影选择对象使得容易地选择期望的被操作设备，可以提高选择对象的可操作性。另外，基于优先级信息控制的选择对象的形态包括选择对象的布置。因此，可以促使用户直观地掌握用户期望操作的被操作设备。因此，可以提高选择对象的可操作性。

另外，上述优先级信息包括基于如下信息而决定的信息：其中，根据该信息估计在上述第一设备选择中的上述用户的身体形态。在第一设备选择时用户已经决定用户期望操作的被操作设备。因此，通过根据依据第一设备选择中的身体形态估计的作为期望的被操作设备的可能性的高度来决定选择对象的形态，更可能选择针对期望的被操作设备的选择对象，并且可以进一步提高可操作性。

另外，信息处理装置100-1控制通过已经上述第二设备选择而选择的针对被操作设备的操作对象的显示。因此，可以根据用户的意图对期望的被操作设备进行操作。因此，可以提高在所选择的被操作设备的操作中的可用性。

另外，根据在第一设备选择中由上述操作主体执行的决定操作，在根据该决定操作的位置处显示上述选择对象。因此，通过根据用户的意图执行第一设备选择，可以促进期望的被操作设备被选择作为候选设备。另外，通过在用户预期的位置处投影选择对象，可以提高选择对象的可操作性。

另外，根据上述决定操作的位置包括通过上述决定操作指定的操作主体的身体部位。因此，通过将选择对象投影到用户的身体，即使在用户的周围没有确保用于选择对象的投影空间的情况下，也可以将选择对象投影在用户可以容易地操作选择对象的位置处。此外，在跟踪投影位置的情况下，可以连续地操作投影的选择对象，因为即使用户移动，选择对象也移动。

另外，当显示上述选择对象时，信息处理装置100-1控制已经通过上述第一设备选择而选择的被操作设备的通知。因此，用户可以检查通过第一设备选择而选择的候选设备。例如，在尚未选择期望的被操作设备的情况下，用户可以重试第一设备选择。因此，可以抑制操作目标设备的不适当选择并且提高操作目标设备的选择效率。

另外，上述通知包括指示上述所选择的被操作设备与上述选择对象之间的链接的显示输出。因此，可以促使用户检查所选择的候选设备并引导用户到选择对象。在基于用户的视觉识别形态执行第一设备选择的情况下，特别地，可以将用户的视线从被操作设备引导到选择对象。因此，可以将用户从第一设备选择平滑地引导到第二设备选择，并且使得易于选择操作目标设备。

另外，上述身体形态包括上述操作主体的视觉识别形态，并且通过上述第一设备选择来选择被确定为落入操作主体的视力范围的至少一部分内的被操作设备。因此，可以在不移动用户的身体部位、例如用户的手或腿的情况下，选择被操作设备。因此，用户可以在执行其他任务等的同时，选择用户期望操作的被操作设备并操作该设备。另外，在用户操作被操作设备的情况下，用户的视线通常指向被操作设备。因此，通过基于视觉识别形态执行第一设备选择，可以提高候选设备是用户期望操作的被操作设备的可能性。

<3-4.修改示例>

上面已经描述了本公开的第一实施方式。注意，实施方式不限于上述示例。在下文中，将描述本实施方式的第一修改示例至第五修改示例。

(第一修改示例)

在实施方式的第一修改示例中，信息处理系统1可以基于其他身体形态执行第一设备选择。具体地，信息处理装置100-1基于用户的姿势执行第一设备选择。更具体地，设备选择单元102选择被确定为落入在第一设备选择中根据用户的姿势决定的范围内的一个或更多个被操作设备，作为操作目标设备或候选设备。此外，将参照图11描述修改示例中的处理。图11是用于描述根据实施方式的第一修改示例的信息处理系统1中的第一设备选择的示例的图。

识别单元101基于图像信息等识别用户身体的至少一部分的姿势。例如，识别单元101基于从投影成像设备10接收的与三维图像有关的图像信息识别出现在图像中的用户的面部或身体的定向。

接下来，设备选择单元102基于用户的姿势决定设备选择范围。例如，设备选择单元102参照所识别的用户面部或身体的定向决定如图11所示的设备选择范围。

然后，设备选择单元102选择落入所决定的设备选择范围内的一个或更多个被操作设备，作为操作目标设备或候选设备。例如，设备选择单元102选择落入如图11所示的所决定的设备选择范围内的显示设备20作为操作目标设备。注意，在多个被操作设备落入所决定的设备选择范围内的情况下，选择多个被操作设备作为候选设备。

另外，信息处理装置100-1可以在另一示例中基于用户的动作执行第一设备选择。具体地，设备选择单元102选择被确定为落入在第一设备选择中根据用户的动作决定的范围内的一个或更多个被操作设备，作为操作目标设备或候选设备。此外，将参照图12描述该修改示例的另一示例中的处理。图12是用于描述根据实施方式的第一修改示例的信息处理系统1中的第一设备选择的另一示例的图。

识别单元101基于图像信息等识别用户的动作。例如，识别单元101基于从投影成像设备10接收的与三维图像有关的图像信息识别出现在图像中的用户的手势或行为。该手势包括例如描绘圆圈、双击、轻拂、拍手、与物体接触等的动作。

接下来，设备选择单元102基于用户的动作决定设备选择范围。例如，如果识别出如图12所示的指向被操作设备的手的抓握，则设备选择单元102参照手决定如图12所示的设备选择范围。

然后，设备选择单元102选择落入所决定的设备选择范围内的一个或更多个被操作设备作为操作目标设备或候选设备。具体地，设备选择单元102选择落入如图12所示的所决定的设备选择范围内的显示设备20作为操作目标设备。注意，在多个被操作设备落入所决定的设备选择范围内的情况下，选择多个被操作设备作为候选设备。

另外，在又一示例中，信息处理装置100-1可以基于用户的语音生成来执行第一设备选择。具体地，设备选择单元102选择被确定为落入在第一设备选择中根据用户的语音生成决定的范围内的一个或更多个被操作设备，作为操作目标设备或候选设备。此外，将参照图13描述该修改示例的又一示例中的处理。图13是用于描述根据实施方式的第一修改示例的信息处理系统1中的第一设备选择的又一示例的图。

识别单元101基于声音信息识别用户的语音生成。例如，识别单元101基于从信息处理系统1单独地包括的声音输入设备接收的声音信息，来识别用户的语音生成的存在或语音生成的内容。

接下来，设备选择单元102基于用户的语音生成来决定设备选择范围。例如，如果识别出如图13所示的用户的语音生成内容“起居室”，则设备选择单元102将起居室决定为设备选择范围。

然后，设备选择单元102选择落入所决定的设备选择范围内的一个或更多个被操作设备作为操作目标设备或候选设备。具体地，设备选择单元102选择存在于所决定的设备选择范围中、即起居室中的显示设备20、空调设备21和鼓风设备22作为候选设备。注意，在所决定的设备选择范围中仅存在一个被操作设备的情况下，选择被操作设备作为操作目标设备。

如上所述的那样，根据实施方式的第一修改示例，操作主体的身体形态包括操作主体的姿势，并且通过第一设备选择来选择被确定为落入根据操作主体的姿势决定的区域内的被操作设备。在用户操作被操作设备的情况下，用户通常处于根据被操作设备的姿势。因此，可以通过根据用户的姿势选择候选设备来在第一设备选择中选择适当的候选设备。另外，由于存在与姿势检测中相比在视线检测中使用具有更高负荷的处理的情况，因此与基于视觉识别形态的第一设备选择相比，可以减少处理负荷。因此，可以提高响应性。

另外，在修改示例的另一示例中，操作主体的身体形态包括操作主体的动作，并且通过第一设备选择来选择被确定为落入根据操作主体的动作决定的区域内的被操作设备。因此，可以通过根据用户针对第一设备选择的显式动作(explicit motion)对候选设备进行选择，来实现进一步符合用户意图的第一设备选择。因此，可以进一步提高第一设备选择中的可操作性。

另外，在修改示例的又一示例中，操作主体的身体形态包括来自操作主体的语音生成，并且通过第一设备选择来选择被确定为落入根据来自操作主体的语音生成而决定的区域内的被操作设备。因此，用户可以在不移动他/她的身体的情况下选择被操作设备。因此，可以在另外执行任务并且不将视线指向设备的情况下，选择用户期望操作的被操作设备，并且操作该设备。

注意，可以基于用户操作的物体的形态而不是用户的身体来执行第一设备选择。具体地，信息处理装置100-1根据用户操作的物体的形态决定设备选择范围，并且根据在第一设备选择中对该物体执行的决定操作，选择落入设备选择范围内的被操作设备。

例如，用户操作的物体可以是诸如智能电话的设备，并且识别单元101识别智能电话的定向等。设备选择单元102根据所识别的智能电话的定向等来决定设备选择范围。然后，识别单元101识别对智能电话执行的诸如向下轻拂操作的操作。如果识别出向下轻拂操作，则设备选择单元102在所决定的设备选择范围中选择被操作设备。注意，识别单元101可以从物体或其他外部设备获取与物体的形态有关的信息，而不是根据图像信息等识别上述物体的形态。

在这种情况下，与用户的身体形态相比，更容易确定用户的形态是否是用于第一设备选择的形态。因此，可以抑制第一设备选择中的处理的不适当操作的担忧。另外，在从上述物体获得与物体的形态有关的信息的情况下，可以更准确地识别物体的形态。因此，可以提高第一设备选择中的处理的准确性。

(第二修改示例)

在实施方式的第二修改示例中，可以在第一设备选择中没有决定操作的情况下显示选择对象。具体地，投影控制单元103决定具有可以显示选择对象使得操作主体在视觉上识别选择对象的区域(下文中，也称为投影可用区域)的操作主体的身体或操作主体的周围，并使投影成像设备10将选择对象投影在决定的位置处。

更具体地，投影控制单元103搜索投影可用区域，使得用户在视觉上识别选择对象。投影可用区域可以是在用户身体上的或在用户周围的具有最大广度的区域。另外，可以根据表面的不规则程度、表面颜色、纹理、图案的存在等来确定投影可用区域。例如，投影可用区域可以是平坦表面或不规则性在可允许范围内的表面、颜色或纹理均匀性在可允许范围内的表面、或者不包括任何图案的表面。详细地，可以优先选择白色平坦表面作为投影可用区域。

此外，将参照图14描述修改示例中的处理。图14是概念性地示出根据实施方式的第二修改示例的信息处理系统1的选择对象显示处理的示例的流程图。注意，将省略与上述处理基本相同的处理的描述。

信息处理系统1获取身体形态信息(步骤S321)，并基于所获取的身体形态信息决定选择对象的形态(步骤S322)。

接下来，信息处理系统1根据显示可用区域决定显示位置(步骤S323)。具体地，投影控制单元103在用户的身体上或在用户的周围搜索投影可用区域。然后，如果找到满足条件的区域，则投影控制单元103将该区域决定为投影可用区域。

然后，信息处理系统1在决定的位置处以决定的形态显示选择对象(步骤S324)。具体地，投影控制单元103使投影成像设备10将选择对象投影在被决定为投影可用区域的用户身体上或者用户周围的区域中。

如上所述，根据实施方式的第二修改示例，选择对象被显示在具有可以显示选择对象使得操作主体在视觉上识别选择对象的区域的操作主体的身体上或者操作主体的周围。因此，可以在第一设备选择中没有用户的决定操作的情况下投影选择对象。因此，即使在用户不能执行决定操作的情况下，例如，当用户正在执行任务时，也可以执行第一设备选择。

(第三修改示例)

在实施方式的第三修改示例中，选择对象的显示形态可以是其他形态。具体地，选择对象的显示位置可以是其他位置。例如，选择对象可以显示在通过第一设备选择中的决定操作指定的显示单元上。详细地，在第一设备选择中的决定操作的操作目的地是显示设备的情况下，投影控制单元103使显示设备显示选择对象。此外，将参照图15描述修改示例中的处理。图15是示出根据实施方式的第三修改示例的信息处理系统1中的选择对象的显示的示例的图。

识别单元101识别第一设备选择中的决定操作的操作目的地。例如，如果识别出第一设备选择中的决定操作，则识别单元101识别决定操作的操作目的地。

在识别的操作目的地是显示设备的情况下，投影控制单元103确定是否可以控制显示设备。例如，在识别的操作目的地是如图15所示的智能电话70的情况下，投影控制单元103确定是否可以至少控制智能电话70的显示功能。

在确定可以控制显示设备的情况下，投影控制单元103使显示设备显示选择对象。例如，如果确定可以控制智能电话70的显示功能，则投影控制单元103使通信单元105将与选择对象有关的图像信息传输到智能电话70。智能电话70基于所接收的图像信息在显示单元上显示选择对象31A至33A。

注意，如果对智能电话70的显示单元上显示的选择对象进行选择操作，则在智能电话70的显示单元上显示针对与所选择的选择对象相对应的被操作设备的操作对象。然后，根据对所显示的操作对象执行的操作来控制操作目标设备。

另外，根据优先级信息的选择对象的形态可以是其他形态。具体地，可以根据优先级信息来决定选择对象的尺寸。例如，投影控制单元103基于第一设备选择中的身体形态来决定选择对象的尺寸。此外，将参照图16描述修改示例中的其他处理。图16是示出根据实施方式的第三修改示例的信息处理系统1中的选择对象的显示的另一示例的图。

投影控制单元103根据在第一设备选择中在三维空间中从用户的视线到候选设备的距离来决定选择对象的尺寸。例如，投影控制单元103分别计算从用户的视线到显示设备20、空调设备21和鼓风设备22的距离。然后，投影控制单元103决定选择对象的尺寸，使得尺寸随着计算的距离变短而增加。详细地，如图16所示，投影控制单元103将针对候选设备中的所计算的距离最短的显示设备20的选择对象32B的尺寸决定为候选设备中的最大尺寸。另外，如图16所示，投影控制单元103将针对候选设备中的所计算出的距离最长的鼓风设备22的选择对象31B的尺寸决定为候选设备中的最小尺寸。

如上所述，根据实施方式的第三修改示例，根据第一设备选择中的决定操作的位置包括通过决定操作指定的显示单元。因此，可以通过在显示单元上显示选择对象来确保选择对象的可视性。特别地，在投影选择对象的情况下，因为当投影位置和投影设备之间存在某个物体时，难以投影选择对象，因而根据修改示例的配置是有利的。

另外，基于优先级信息控制的选择对象的形态包括选择对象的尺寸。因此，可以更容易地掌握用户期望操作的被操作设备。因此，可以提高选择对象的可操作性。

(第四修改示例)

在实施方式的第四修改示例中，与选择对象的显示形态有关的优先级信息可以是其他信息。具体地，优先级信息可以是基于操作主体的生物特征信息决定的信息。更具体地，生物特征信息包括与用户的脉搏、体温、出汗、脑电波等有关的信息，并且投影控制单元103根据生物特征信息估计用户期望操作的被操作设备。然后，投影控制单元103决定选择对象的排列或尺寸，使得容易选择针对估计的被操作设备的选择对象。在用户的体温低于正常温度的情况下，即，在估计用户正感觉冷的情况下，例如，利用使得容易选择针对诸如空调设备或加热设备的候选设备的选择对象的这样的排列或者尺寸来投影选择对象。

另外，优先级信息可以是基于与操作主体的周围环境有关的信息(下文中，也称为周围环境信息)而决定的信息。例如，周围环境信息包括与温度、湿度、亮度、噪声等有关的信息，并且投影控制单元103根据周围环境信息估计用户期望操作的被操作设备。在噪声音量高于阈值的情况下，即，在估计用户正感觉到噪杂的情况下，例如，利用使得容易选择诸如针对视频回放设备或声音输出设备的候选设备的选择对象的这样的排列或者尺寸来投影选择对象。

此外，将参照图17描述修改示例中的处理。图17是概念性地示出根据实施方式的第四修改示例的信息处理系统1的选择对象显示处理的示例的流程图。注意，将省略与上述处理基本相同的处理的描述。

信息处理系统1确定是否已获取生物特征信息或周围环境信息(步骤S331)。具体地，投影控制单元103确定是否已经获取了生物特征信息或周围环境信息。注意，生物特征信息可以经由通信单元105获取，而周围环境信息可以经由通信单元105获取或者可以在识别单元101的识别处理中生成。

如果确定已经获取了生物特征信息或周围环境信息，则信息处理系统1基于生物特征信息或周围环境信息决定选择对象的形态(步骤S332)。具体地，投影控制单元103针对各个候选设备根据生物特征信息或周围环境信息，从候选设备中估计用户期望操作的被操作设备。然后，投影控制单元103将针对被估计为用户期望操作的被操作设备的候选设备的选择对象的形态决定为可容易选择的形态。

另外，如果确定既没有获取生物特征信息也没有获取周围环境信息，则信息处理系统1获取身体形态信息(步骤S333)并且基于所获取的身体形态信息来决定选择对象的形态(步骤S334)。

接下来，信息处理系统1根据第一设备选择中的决定操作决定显示位置(步骤S335)，并在决定的位置处以决定的形态显示选择对象(步骤S336)。

另外，优先级信息可以是基于与过去的被操作设备的操作有关的信息而决定的信息。具体地，投影控制单元103从存储单元106获取已经由识别单元101识别的过去的被操作设备的用户操作历史，并根据操作历史估计用户期望操作的被操作设备。例如，基于根据操作历史掌握的操作的时间区段和位置以及被操作设备的操作顺序、当前时刻的时间区段、用户位置以及正被选择的候选设备来估计用户期望操作候选设备的可能性。然后，利用使得更容易选择估计的可能性更高的选择对象的这样的排列或尺寸投影选择对象。

此外，将参照图18描述修改示例中的处理。图18是概念性地示出了根据实施方式的第四修改示例的信息处理系统1的选择对象显示处理的另一示例的流程图。注意，将省略与上述处理基本相同的处理的描述。

信息处理系统1确定是否存在被操作设备的操作历史(步骤S341)。具体地，投影控制单元103确定在存储单元106中是否存在被操作设备的操作历史。注意，可以对来自被操作设备的操作历史中的候选设备的操作历史的存在进行确定。

如果确定存在操作历史，则信息处理系统1基于操作历史决定选择对象的形态(步骤S342)。具体地，投影控制单元103针对各个候选设备基于操作历史来估计候选设备是用户期望操作的被操作设备的可能性。然后，投影控制单元103将针对候选设备的选择对象的形态决定为这样的形态，使得更容易选择候选设备是用户期望操作的被操作设备的可能性更高的被操作设备。

另外，如果确定既没有获取生物特征信息也没有获取周围环境信息，则信息处理系统1获取身体形态信息(步骤S343)并且基于所获取的身体形态信息来决定选择对象的形态(步骤S344)。

接下来，信息处理系统1根据第一设备选择中的决定操作决定显示位置(步骤S345)，并在决定的位置处以决定的形态显示选择对象(步骤S346)。

如上所述，根据实施方式的第四修改示例，优先级信息包括基于操作主体的生物特征信息或与操作主体的周围环境有关的信息而决定的信息。因此，可以根据用户的身体状况或身体感觉来决定选择对象的形态。因此，更容易选择针对期望的被操作设备的选择对象，并且可以进一步提高可操作性。

另外，优先级信息包括基于与过去的被操作设备的操作有关的信息而决定的信息。因此，可以根据用户操作的趋势、习惯等来决定选择对象的形态。因此，以可容易选择的方式显示的选择对象是针对所期望的被操作设备的选择对象的可能性增加，并且可以进一步提高可操作性。

注意，可以组合多组优先级信息。例如，投影控制单元103可以通过使用用户的身体形态信息、生物特征信息、周围环境信息和操作历史中的至少两个的组合来决定选择对象的形态。另外，可以将优先级信息转换为分数等，并且可以以更容易选择具有更高分数的候选设备的形态显示选择对象。

(第五修改示例)

在实施方式的第五修改示例中，可以通过其他方法来实现候选设备的通知。具体地，投影控制单元103使投影成像设备10执行这样的投影使得：当显示选择对象时，已经通过第一设备选择而选择的被操作设备、即候选设备或候选设备的周围突出地呈现。此外，将参照图19描述修改示例中的候选设备的通知的示例。图19是示出在根据实施方式的第五修改示例的信息处理系统1中已经通过第一设备选择而选择的被操作设备的通知的示例的图。

如果识别出第一设备选择中的决定操作，则投影控制单元103使投影成像设备10执行在视觉上被识别的投影，使得通过第一设备选择而选择的多个相应候选设备或多个相应候选设备的周围发光。例如，如果识别出已经执行第一设备选择中的决定操作，则投影控制单元103使投影成像设备10投影用户在视觉上识别的视觉效果，使得如图19所示的那样，显示设备20、空调设备21和鼓风设备22中每个发光。注意，可以投影诸如箭头的指示候选设备的图像等而不是发光。

注意，在候选设备具有发光功能的情况下，信息处理装置100-1可以使候选设备发光。例如，如果识别出第一设备选择中的决定操作，则设备控制单元104使通信单元105传输针对候选设备的发光请求。已经接收到发光请求的候选设备基于发光请求使得设备本身具有的发光物质在预定时间段内发光。在这种情况下，与使用投影的情况相比，通过候选设备自身发光可以减少投影处理的负荷。

另外，在显示选择对象时，投影控制单元103可以使投影成像设备10执行指示选择对象的候选设备的位置的投影。具体地，可以在用于选择对象的显示区域中显示指示候选设备的位置的图像。此外，将参照图20描述根据修改示例的候选设备的通知的另一示例。图20是示出在根据实施方式的第五修改示例的信息处理系统1中已经通过第一设备选择而选择的被操作设备的通知的另一示例的图。

如果识别出第一设备选择中的决定操作，则投影控制单元103使投影成像设备10投影具有指示候选设备的位置的图像的选择对象。例如，如果识别出已经执行第一设备选择中的决定操作，则投影控制单元103使投影成像设备10分别在区域30中投影具有诸如箭头的指示鼓风设备22、显示设备20和空调设备21的各个位置的图像的选择对象31C、32C和33C，如图20所示的那样。

另外，候选设备的通知可以是听觉通知。具体地，设备控制单元104可以控制来自所选择的被操作设备落入其中的区域的声音输出。此外，将参照图21描述根据修改示例的候选设备的通知的另一示例。图21是示出在根据实施方式的第五修改示例的信息处理系统1中已经通过第一设备选择而选择的被操作设备的通知的又一示例的图。

如果识别出第一设备选择中的决定操作，在候选设备具有声音输出功能的情况下，设备控制单元104使得通信单元105传输针对候选设备的声音输出请求。已经接收到声音输出请求的候选设备中的每个如图21所示的那样基于声音输出请求输出声音。注意，输出声音可以是简单的声音、音乐或语音。另外，对于被操作设备中的每个，输出声音可以不同或相同。另外，在被操作设备具有向声音输出添加方向性的功能的情况下，可以朝向用户输出声音。

注意，尽管上面已经描述了候选设备具有声音输出功能的情况，但是信息处理系统1可以利用诸如从单独设置的声音输出设备输出的声音的反射的现象以允许用户感知声音，好像候选设备输出声音一样。

如上所述，根据实施方式的第五修改示例，候选设备的通知包括使得候选设备或候选设备的周围突出地呈现的显示输出。因此，用户可以一眼就掌握已经被选择作为候选设备的被操作设备。因此，即使在第一设备选择中发生不适当的选择，用户也可以一眼就确定是否已经按照用户的意图选择被操作设备并快速重新选择被操作设备。

另外，候选设备的通知包括选择对象中的指示候选设备的位置的显示输出。因此，用户可以根据操作对象检查已被选择作为候选设备的被操作设备。因此，用户可以通过在选择之前检查选择对象是否是针对期望的被操作设备的，来抑制不适当选择的发生。例如，在相同类型的多个被操作设备被选择作为候选设备的情况下，用户可能难以仅根据选择对象进行确定。然而，通过向用户呈现候选设备的位置，即使在这种情况下，用户也可以选择期望的被操作设备。

另外，候选设备的通知包括来自候选设备落入其中的区域的声音输出。因此，用户可以在听觉上检查已被选择作为候选设备的被操作设备。因此，即使在不可能将视线指向候选设备或选择对象的情况下，也可以掌握候选设备并提高可用性。

<4.本公开的第二实施方式(操作对象的显示)>

上面已经描述了本公开的第一实施方式。接下来，将描述本公开的第二实施方式。在本公开的第二实施方式中，将主要描述信息处理系统1的上述操作对象形态控制功能的实施方式。

<4-1.系统配置>

首先，将描述根据实施方式的信息处理系统1的功能配置。注意，由于投影成像设备10与第一实施方式中的投影成像设备10基本相同，因此将仅描述信息处理装置100-2。另外，还将省略对信息处理装置100-2的功能中的与第一实施方式中的功能基本相同的功能的描述。

(识别单元)

识别单元101用作获取单元并识别被操作设备的操作主体的身体形态。具体地，识别单元101将用户的姿势识别为身体形态，并生成与识别的用户的姿势相关的身体形态信息。注意，由于功能与第一实施方式中的识别单元101的功能基本相同，因此将省略详细描述。

另外，识别单元101识别操作主体的预定操作。具体地，识别单元101识别用户对操作对象的显示指示操作。例如，对操作对象的显示指示操作可以是触摸操作、敲击操作、指向操作等。

(投影控制单元)

投影控制单元103用作显示控制单元，并控制针对被操作设备的操作对象的显示。具体地，投影控制单元103基于所识别的操作主体的身体形态来控制在视觉上被识别为好像被操作设备存在于真实空间中一样的被操作设备的操作对象的复杂度。例如，投影控制单元103使投影成像设备10以根据识别单元101识别的用户姿势的复杂度投影在视觉上被识别的操作对象。此外，将参照图22和图23描述对操作对象的显示控制。图22是示出根据实施方式的信息处理系统1中的对操作对象的显示控制的示例的图。图23是示出根据实施方式的信息处理系统1中的对操作对象的显示控制的另一示例的图。

首先，如果用户执行了预定动作，则识别单元101识别用户的姿势。例如，如果识别出用户对选择对象的显示指示操作，则识别单元101识别用户的姿势。注意，上述预定动作可以是第一实施方式中的第二设备选择中的选择操作。

投影控制单元103将链接到预定动作的目标的操作对象确定为显示目标。具体地，投影控制单元103将链接到所识别的对选择对象的显示指示操作的操作目的地的操作对象决定为显示目标。例如，如果识别出已经对用户的大腿执行作为对选择对象的显示指令操作的轻敲操作，则投影控制单元103将与用户的大腿相对应的操作对象决定为显示目标。注意，在上述预定操作是第一实施方式中的第二设备选择中的选择操作的情况下，被决定为显示目标的操作对象可以是针对操作目标设备的操作对象。

另外，投影控制单元103根据识别的用户的姿势决定操作对象的复杂度。操作对象的复杂度包括显示的复杂度或操作的复杂度。例如，在如图22中的右图所示的那样就座的用户的上身向后倾斜到预定程度(在所谓的后倾状态下)的情况下，与用户在如图23中的右图所示的那样上身向前倾斜的情况下就座(在所谓的前倾状态下)的情况相比，投影控制单元103减少操作对象的显示量或选择可以容易地操作的操作对象。以这种方式，可以根据用户是否处于放松状态来控制操作对象的复杂度。换句话说，可以根据用户对被操作设备的操作的专注程度来控制操作对象的复杂度。这是因为例如在用户处于后倾状态的情况下用户处于放松状态，并且认为用户不期望被操作设备的任何详细操作。

另外，投影控制单元103将根据用户的形态的位置决定作为操作对象的显示位置。具体地，投影控制单元103将根据用户执行的预定动作的位置决定作为操作对象的显示位置。更具体地，选择对象的显示位置可以是用户的身体。例如，如果识别出对用户大腿的敲击操作，则投影控制单元103将如图22和图23中的左图所示的用户大腿上的区域决定作为操作对象的显示区域。

然后，投影控制单元103使投影成像设备10在所决定的位置处以决定的复杂度投影操作对象。在用户处于后倾状态的情况下，例如，投影控制单元103使投影成像设备10将如图22中的右图所示的操作对象41A、42A和43A投影在用户大腿上的区域40中。操作对象41A是用于提供激活和结束显示设备的操作的对象。操作对象42A是用于提供改变频道的操作的对象。操作对象43A是用于提供改变音量的操作的对象。

此外，在用户处于前倾状态的情况下，投影控制单元103使投影成像设备10将如图23中的右图所示的操作对象41B、42B和43B投影在用户大腿上的区域40中。操作对象41B、42B和43B提供分别与操作对象41A、42A和43A的操作基本相同的操作。然而，例如，与操作对象42A不同，操作对象42B伴随有与改变后的目的地的频道相关的缩略图图像。另外，与操作对象43A不同，操作对象43B可以通过移动滑动条来任意地改变音量，而不是以逐步的方式一一地改变音量。

<4-2.系统的处理>

接下来，将参照图24描述信息处理系统1的处理。图24是概念性地示出根据实施方式的信息处理系统1的处理的示例的流程图。注意，将省略与第一实施方式中的处理基本相同的处理的描述。

信息处理系统1获取身体形态信息(步骤S401)，并基于身体形态信息决定操作对象的复杂度(步骤S402)。具体地，如果识别单元101识别出用户的预定动作，则投影控制单元103根据预定动作的目标决定投影的操作对象。然后，投影控制单元103基于在识别预定动作的时刻处的身体形态来决定所决定的操作对象的显示或操作的复杂度。

另外，信息处理系统1基于身体形态信息决定操作对象的显示位置(步骤S403)。具体地，投影控制单元103将根据由识别单元101识别的用户的预定动作的位置决定作为操作对象的显示位置。

接下来，信息处理系统1在决定的位置处以决定的复杂度显示操作对象(步骤S404)。具体地，投影控制单元103使投影成像设备10在决定的位置处以决定的复杂度投影选择对象。

<4-3.第二实施方式的总结>

如上所述，根据本公开的第二实施方式，信息处理系统1，即，信息处理装置100-2获得与被操作设备的操作主体的身体形态有关的信息，并基于与身体形态有关的信息控制在视觉上被识别为好像被操作设备存在于真实空间中一样的被操作设备的操作对象的复杂度。

常规地，显示固定的虚拟对象，而与用户状况无关。因此，存在所显示的虚拟对象与用户期望的虚拟对象不同的担忧。如果在用户期望详细操作的情况下和在用户期望粗略操作的情况下均显示相同的虚拟对象，例如，可操作性可能降低，或者操作负担可能增加。

同时，根据该实施方式，可以以根据依据用户的身体形态所估计的用户状况的复杂度来显示操作对象。因此，可以增强在每个用户的状况下相应地显示适合于用户期望的操作的操作对象的可能性。因此，可以抑制根据关于用户对操作对象的满意度的用户状况的变化。

另外，上述身体形态包括上述操作主体的姿势，并且以根据与操作主体的姿势有关的信息的复杂度显示上述操作对象，使得在视觉上识别操作对象。用户对操作的专注程度通常反映到用户的姿势。因此，可以通过根据依据用户姿势所估计的对操作的专注程度来控制操作对象的复杂度，来提高操作对象的可操作性。

另外，显示上述操作对象，使得在上述操作主体的身体上在视觉上识别操作对象。因此，通过将操作对象投影在用户的身体上，即使在用户的周围没有确保用于操作对象的投影空间的情况下，也可以将操作对象投影在用户可以容易地对操作对象进行操作的位置处。另外，在跟踪投影位置的情况下，可以连续地操作投影的操作对象，因为即使用户移动，操作对象也移动。

另外，上述操作对象显示在根据上述操作主体的身体形态的位置处。因此，与将操作对象固定地显示在预定位置的情况相比，通过根据用户的形态控制操作对象的显示位置，可以提高操作对象的可操作性。

另外，上述操作主体的身体形态包括上述操作主体的预定动作，并且上述操作对象显示在根据预定动作的位置。因此，可以在用户预期的位置显示操作对象。因此，可以提高针对操作对象的显示的可用性。

另外，上述操作对象包括链接到上述预定动作的目标的操作对象。因此，用户可以通过选择预定动作的目标来选择针对用户期望操作的被操作设备的操作对象。因此，与基于附加操作选择被操作设备的情况相比，可以省略与操作对象的显示相关的处理。

<4-4.修改示例>

上面已经描述了本公开的第二实施方式。注意，实施方式不限于上述示例。在下文中，将描述本实施方式的第一修改示例至第九修改示例。

(第一修改示例)

在实施方式的第一修改示例中，信息处理系统1可以基于与其他身体形态相关的信息来控制操作对象的复杂度。具体地，信息处理装置100-2使投影成像设备10以根据操作主体的生物特征信息的复杂度投影操作对象。例如，生物特征信息包括与用户的脉搏、体温、出汗、脑电波等有关的信息。另外，将参照图25详细描述修改示例。图25是示出根据实施方式的第一修改示例的信息处理系统1中的针对操作对象的显示控制的示例的图。

如果执行操作对象显示指示操作，则投影控制单元103获取生物特征信息。例如，如果识别单元101识别出用户的操作对象显示指示操作，则投影控制单元103获取与脉搏和体温有关的信息作为用户的生物特征信息。通过通信单元105，从如图25所示的被用户佩戴并且生成生物特征信息的外部设备80获取生物特征信息。注意，可以以预定时间间隔获取生物特征信息。

接下来，投影控制单元103使投影成像设备10以基于生物特征信息决定的复杂度投影操作对象。例如，投影控制单元103使投影成像设备10以基于所获取的与脉搏和体温有关的信息是否等于或大于阈值的复杂度显示操作对象。详细地，在脉搏和体温两者都小于阈值的情况下，用户被认为处于放松状态，投影如图25中的左图所示的具有简单的显示内容和操作功能的操作对象41A至43A。另一方面，在脉搏或体温中的至少一个等于或大于阈值的情况下，用户被认为处于紧张状态，投影如图25中的右图所示的具有复杂的显示内容和操作功能的操作对象41B至43B。

另外，信息处理装置100-2使投影成像设备10以根据与操作主体的行为相关的信息(下文中，也称为行为信息)的复杂度投影操作对象。例如，用户的行为包括：不伴随移动的行为，例如烹饪或阅读，以及伴随移动的行为，例如步行、骑车或运输。此外，将参照图26详细描述该修改示例的另一示例。图26是示出根据实施方式的第一修改示例的信息处理系统1中的针对操作对象的显示控制的另一示例的图。

如果执行操作对象显示指示操作，则投影控制单元103获取行为信息。例如，如果识别单元101识别出用户的操作对象显示指示操作，则投影控制单元103获取与识别单元101已经识别出的如图26所示的用户的运输有关的行为信息。

接下来，投影控制单元103使投影成像设备10以基于行为信息的复杂度投影操作对象。例如，如果获取了与运输有关的行为信息，则投影控制单元103使投影成像设备10投影操作对象44，该操作对象44指示如图26所示的操作手段是语音。在这种情况下，操作的复杂度变得比手动输入更简单，并且即使当用户正在运输某物并且他/她的手已满时，用户也可以操作被操作设备。

如上所述，根据实施方式的第一修改示例，与操作主体的身体形态相关的信息包括操作主体的生物特征信息，并且以根据操作主体的生物特征信息的复杂度显示操作对象，使得在视觉上识别操作对象。因此，可以根据用户是处于放松状态还是处于紧张状态，换句话说，根据对操作的专注程度，来决定操作对象的复杂度。因此，通过根据用户的状态调整操作对象的复杂度，可以减少用户对操作对象的陌生感、压力感等。

另外，操作主体的身体形态包括操作主体的行为，并且以根据与操作主体的行为相关的信息的复杂度显示操作对象，使得在视觉上识别操作对象。因此，通过以适合于用户行为的复杂度显示操作对象，用户可以平滑地操作操作对象，而不会有任何的行为中断。

(第二修改示例)

在实施方式的第二修改示例中，信息处理系统1可以基于与身体形态信息不同的信息来控制操作对象的复杂度。具体地，信息处理装置100-2基于根据其指定操作主体的信息来控制操作对象的复杂度。例如，投影控制单元103基于根据其指定用户的信息(下文中，也称为用户指定信息)来控制操作对象的复杂度。另外，将参照图27详细描述修改示例。图27是示出根据实施方式的第二修改示例的信息处理系统1中的针对操作对象的显示控制的示例的图。

如果执行操作对象显示指示操作，则投影控制单元103获取用户指定信息。例如，如果识别单元101识别出用户的操作对象显示指示操作，则投影控制单元103获取面部识别信息作为用户的用户指定信息。通过基于与出现用户的图像有关的图像信息的识别单元101的面部识别处理获得面部识别信息。例如，识别出如图27所示的用户U1和U2，并且获取与用户U1和U2相关的面部识别信息。注意，用户指定信息可以是诸如ID(标识符)或名称的信息，而不是面部识别信息。

接下来，投影控制单元103使投影成像设备10以基于用户指定信息决定的复杂度投影操作对象。例如，投影控制单元103使投影成像设备10以与获取的用户指定信息相对应的复杂度显示操作对象。详细地，对于用户U1，投影具有与面部与用户U1的面部识别信息中的面部一致的用户相关联的复杂度、例如具有如图27中的左图所示的简单显示内容和操作功能的操作对象41A至43A。此外，对于用户U2，投影具有与面部与用户U2的面部识别信息中的面部一致的用户相关联的复杂度、例如具有如图27中的右图所示的复杂显示内容和操作功能的操作对象41B至43B。

另外，信息处理装置100-2可以基于根据其指定操作主体的属性的信息来控制操作对象的复杂度。具体地，投影控制单元103基于根据其指定用户的属性的信息(下文中，也称为用户属性信息)来控制操作对象的复杂度。另外，将参照图28详细描述修改示例。图28是示出根据实施方式的第二修改示例的信息处理系统1中的针对操作对象的显示控制的另一示例的图。

当执行操作对象显示指示操作，投影控制单元103获取用户属性信息。例如，如果识别单元101识别出用户的操作对象显示指示操作，则投影控制单元103获取用户的用户属性信息。通过基于与出现用户的图像有关的图像信息的识别单元101的属性识别处理获得用户属性信息。用户属性包括年龄、性别、国籍、种族、优势手等。

接下来，投影控制单元103使投影成像设备10以基于用户属性信息决定的复杂度投影操作对象。例如，投影控制单元103使投影成像设备10以获取的用户属性信息相对应的复杂度显示操作对象。详细地，在由用户属性信息指示的优势手是左手的情况下，如图28所示的那样，投影以相对于如27中的左图所示的操作对象41A至43A横向反转的方式布置的操作对象41C至43C。

注意，可以基于用户指定信息或用户属性信息来使至少一部分操作对象的显示或操作不活动。例如，在用户指定信息所指示的用户的年龄属于婴儿期的情况下，投影控制单元103可以不显示针对显示设备的操作对象中的针对成人的操作功能的至少一部分，或者可以使该部分的操作不活动。

如上所述，根据实施方式的第二修改示例，信息处理装置100-2基于根据其指定操作主体的信息来控制操作对象的复杂度。因此，可以将所显示的操作对象的复杂度设置为适合于各个用户的复杂度。因此，可以进一步提高针对各个用户的可操作性或可用性。

另外，信息处理装置100-2基于根据其指定操作主体的属性的信息来控制操作对象的复杂度。因此，通过根据用户特性控制操作对象的复杂度，与统一地决定复杂度的情况相比，可以提高可操作性或可用性。另外，可以抑制由于在没有根据其指定各个用户的任何信息的情况下控制操作对象的复杂度而导致的信息安全性劣化的担忧。

(第三修改示例)

在实施方式的第三修改示例中，信息处理系统1可以基于除了与操作主体有关的信息之外的信息来控制操作对象的复杂度。具体地，信息处理装置100-2基于与操作对象在视觉上被识别的位置有关的信息来控制操作对象的复杂度。例如，投影控制单元103基于与显示操作对象的位置有关的信息(下文中，也称为显示位置信息)来控制操作对象的复杂度。此外，将参照图29和图30详细描述修改示例。图29是示出根据实施方式的第三修改示例的信息处理系统1中的针对操作对象的显示控制的示例的图。图30是示出根据实施方式的第三修改示例的信息处理系统1中的针对操作对象的显示控制的另一示例的图。

如果执行操作对象显示指示操作，则投影控制单元103获取显示位置信息。例如，如果识别单元101识别出用户的操作对象显示指示操作，则投影控制单元103将已经执行了显示指示操作的位置决定作为操作对象的显示位置。

接下来，投影控制单元103使投影成像设备10以基于显示位置信息决定的复杂度投影操作对象。具体地，投影控制单元103使投影成像设备10以根据所决定的操作对象的显示位置形态而决定的复杂度投影操作对象。显示位置形态包括显示位置的宽度、不规则程度、颜色、纹理、图案的存在等。在操作对象的显示位置是用户的手掌并且投影可用区域的面积小于阈值的情况下，例如，投影具有对应于小于阈值的面积的复杂度的简单操作对象42D，例如，如图29所示的仅用于输入频道号的简单操作对象42D。同时，在操作对象的显示位置是桌子并且投影可用区域的面积等于或大于阈值的情况下，在桌子60上投影具有对应于等于或大于阈值的面积的复杂度的复杂操作对象45，例如，如图30所示的通过其可以从节目表(program table)中选择频道的操作对象45。

根据实施方式的第三修改示例，信息处理装置100-2基于与操作对象在视觉上被识别的位置有关的信息来控制操作对象的复杂度。因此，通过以根据操作对象的显示位置的复杂度显示操作对象，可以抑制对操作对象的可视性降低的担忧。因此，可以在保持操作对象的可视性的同时提高可操作性。

(第四修改示例)

在实施方式的第四修改示例中，可以基于信息安全性来控制操作对象的显示位置。具体地，信息处理装置100-2使投影成像设备10将操作对象投影在根据与被操作设备的操作有关的信息安全程度的位置。例如，投影控制单元103将根据操作对象的操作内容的信息安全级别的位置决定作为操作对象的显示位置。另外，将参照图31详细描述修改示例。图31是示出根据实施方式的第四修改示例的信息处理系统1中的针对操作对象的显示控制的示例的图。

如果执行操作对象显示指示操作，则投影控制单元103获取根据其指定操作对象的操作内容的信息安全级别的信息(下文中，也称为安全信息)。例如，如果识别单元101识别出用户的操作对象显示指示操作，则投影控制单元103获取由操作对象输入的如图31所示的登录信息的安全信息。

接下来，投影控制单元103基于安全信息决定操作对象的显示位置，并使投影成像设备10将操作对象投影在所决定的显示位置处。例如，在由获取的安全信息指示的安全级别等于或大于预定级别的情况下，投影控制单元103将用户的手掌决定为操作对象的显示位置。然后，投影控制单元103使投影成像设备10如图31所示的那样将操作对象42D投影到用户的手掌。

如上所述，根据实施方式的第四修改示例，在根据与被操作设备的操作相关的信息安全程度的位置处显示操作对象，使得在视觉上识别操作对象。因此，可以防止其他人知道使用操作对象的操作的内容。因此，可以保护用户的隐私或确保信息安全。

(第五修改示例)

在实施方式的第五修改示例中，作为操作对象显示指示操作的上述预定动作可以是其他动作。具体地，信息处理装置100-2基于针对被操作设备的预定动作，使投影成像设备10将操作对象投影在根据预定动作的位置。例如，如果识别单元101识别出针对被操作设备的第一动作，则投影控制单元103将针对被操作设备的操作对象决定作为投影目标。然后，如果识别单元101识别出第二动作，则投影控制单元103使投影成像设备10将操作对象投影在根据第二动作的位置。另外，将参照图32详细描述修改示例。图32是示出根据实施方式的第五修改示例的信息处理系统1中的针对操作对象的显示控制的示例的图。

如果识别出第一动作，则投影控制单元103将针对已经根据第一动作指定的被操作设备的操作对象决定为投影目标。例如，如果识别单元101识别出如图32中的上图所示的手抓握动作，则设备选择单元102指定存在于手所指向的方向上的显示设备20。然后，投影控制单元103将针对指定的显示设备20的操作对象决定为投影目标。

接下来，如果识别出第二动作，则投影控制单元103将根据第二动作的位置决定为操作对象的投影位置，并使投影成像设备10将操作对象投影在所决定的投影位置处。例如，如果识别单元101识别出如图32中的下图所示的打开抓握的手的动作，则投影控制单元103将手掌决定为操作对象的投影位置。然后，如图32所示，将操作对象42D投影到手掌。

如上所述，根据实施方式的第五修改示例，如上所述的链接到与操作对象的显示相关的预定动作的目标的操作对象包括针对作为预定动作的目标的被操作设备的操作对象。因此，可以在操作对象显示指示操作中选择用户期望操作的被操作设备。因此，用户可以直观地选择被操作设备并提高可操作性。

(第六修改示例)

在该实施方式的第六修改示例中，根据上述作为操作对象显示指示操作的预定动作显示的操作对象可以是针对与其中存在预定动作的目标的真实空间相同的真实空间中存在的被操作设备的操作对象。具体地，如果识别出操作对象显示指示操作，则设备选择单元102选择存在于其中存在作为显示指示操作的目标的物体的真实空间中的被操作设备。投影控制单元103将所选择的被操作设备的操作对象决定作为投影目标。然后，将被决定为投影目标的操作对象投影在根据投影指示操作的位置处。此外，将参照图33至图35详细描述修改示例。图33至图35是示出根据实施方式的第六修改示例的信息处理系统1中的针对操作对象的显示控制的示例的图。

如果识别出操作对象显示指示操作，则识别单元101识别作为显示指示操作的目标的物体。例如，如果敲击操作被识别为操作对象显示指示操作，则识别单元101将位于如图33所示的起居室中的其中已经执行敲击操作的桌子60识别为敲击目的地。

接下来，如果识别出作为显示指示操作的目标的物体，则设备选择单元102选择与该物体存在于相同的真实空间中的被操作设备。例如，如果识别单元101识别出敲击操作和敲击目的地，则设备选择单元102指定其中存在被识别为敲击目的地的桌子60的起居室作为设备选择范围。然后，设备选择单元102选择存在于起居室中的照明设备、空调设备和显示设备。

接下来，投影控制单元103将针对所选择的被操作设备的操作对象决定作为投影目标，并将作为显示指示操作的目标的物体决定作为操作对象的投影位置。然后，将决定的操作对象投影在决定的投影位置处。例如，如图33所示，投影控制单元103使得针对由设备选择单元102选择的照明设备、空调设备和显示设备的各个操作对象46至48分别被投影到已经执行敲击操作的桌子60。

接下来，如果识别出对投影的操作对象执行的操作，则投影控制单元103根据识别的操作改变操作对象的显示。例如，如果识别单元101识别出对操作对象48执行的触摸操作，则投影控制单元103将投影的操作对象改变成如图34所示的与操作对象48相关的操作对象49。操作对象49可以是用于对针对操作对象48的被操作设备执行更详细操作的操作对象。在图34的示例中，操作对象49是可再现内容的列表。

类似地，如果识别出在改变之后对操作对象执行的操作，则投影控制单元103根据识别的操作改变操作对象的显示。例如，如果识别单元101识别出对操作对象49的一部分执行的触摸操作，则投影控制单元103将投影的操作对象改变成如图35所示的与操作对象49的该部分相关的操作对象50。操作对象50可以是用于对操作对象49的一部分执行更详细操作的操作对象。在图35的示例中，操作对象50是利用其可以对内容再现、停止、倒回和发送转发以及调整音量的一组操作对象。另外，操作对象50可以包括与内容有关的信息。

此外，投影控制单元103使投影成像设备10将对用户的如下提议投影作为第二操作对象：与和投影的第一操作对象有关的操作相关的被操作设备的操作的提议。具体地，设备控制单元104选择能够与针对通过用户的操作投影的第一操作对象的被操作设备相关地进行操作的被操作设备。然后，投影控制单元103使投影成像设备10投影第二操作对象以及第一操作对象，第二操作对象向用户提议已由设备选择单元102选择的被操作设备的操作。

例如，如果识别出通过如图34所示的操作对象49进行的内容选择操作，则设备控制单元104选择能够连同显示所选内容的电影的显示设备操作的照明设备和声音输出设备。投影控制单元103使所选择的照明设备和声音输出设备连同显示设备操作，或者生成操作对象51，操作对象51用于向用户提议如何使照明设备和声音输出设备进行操作。详细地，列出(1)根据显示控制照明的亮度和颜色、(2)停止除与显示有关的声音之外的声音输出、(3)根据时间区段控制声音(例如，在午夜抑制重低音的声音)等。然后，投影控制单元103使投影成像设备10将操作对象51与操作对象50一起投影。

在这种情况下，通过另外提议与用户预期的操作有关的操作，可以向用户提供超出预期的操作结果。因此，可以进一步提高可用性。

另外，可以显示针对已经基于与显示指示操作的目标位于相同的真实空间中的环境相关的信息(下文中，也称为空间环境信息)而选择的被操作设备的操作对象。真实空间中的环境包括真实空间中的温度、湿度、亮度、气味、噪声音量等。例如，如果对桌子执行操作对象显示指示操作，则设备选择单元102在显示设备、空调设备和照明设备与桌子存在于相同的房间的情况下并且当房间温度等于或大于阈值时，至少选择空调设备。然后，投影控制单元103使投影成像设备10投影针对所选择的空调设备的操作对象。

另外，代替上述空间环境信息或者除了上述空间环境信息之外，可以显示针对已经基于与存在于与显示指示操作的目标的真实空间相同的真实空间中的人的形态相关的信息(下文中，也被称为个人形态信息)而选择的被操作设备的操作对象。人的形态包括例如脉搏或体温的身体中的状态，以及身体外的状态、行为等，例如姿势。例如，如果用户对桌子执行操作对象显示指示操作，并且在除用户之外的人与桌子存在于同一房间中的情况下，识别单元101获取该人的体温信息。然后，当由获取的人的体温信息指示的体温小于阈值时，设备选择单元102至少选择空调设备。然后，投影控制单元103使投影成像设备10投影针对所选择的空调设备的操作对象。

另外，代替上述空间环境信息或个人形态信息或者除了上述空间环境信息或个人形态信息之外，可以显示针对已经基于与已经执行显示指示操作的时间相关的时间信息而选择的被操作设备的操作对象。时间信息包括指示时钟时间、时间区段、日期、日、季节或日程信息等的信息。例如，如果用户对桌子执行了操作对象显示指示操作，则识别单元101获取时间信息。接下来，当由获取的时间信息指示的时间区段是晚上时间区段时，设备选择单元102至少选择照明设备。然后，投影控制单元103使投影成像设备10投影针对所选择的照明设备的操作对象。

此外，将参照图36描述修改示例中的处理。图36是概念性地示出根据实施方式的第六修改示例的信息处理系统1的处理的示例的流程图。注意，将省略与上述处理基本相同的处理的描述。

信息处理系统1获取身体形态信息(步骤S411)，并基于所获取的身体形态信息决定操作对象的复杂度(步骤S412)。

接下来，信息处理系统1确定是否已经识别出预定动作(步骤S413)。具体地，投影控制单元103确定识别单元101是否已经识别出操作对象显示指示操作。

如果确定已经识别出预定动作，则信息处理系统1基于预定动作决定操作对象的显示位置(步骤S414)。具体地，如果确定已经识别出操作对象显示指示操作，则投影控制单元103将根据显示指示操作的位置决定作为操作对象的投影位置。

接下来，信息处理系统1确定是否已经获取了针对其中存在预定动作的目标的空间的空间环境信息或个人形态信息(步骤S415)。具体地，设备选择单元102确定是否已经获取与其中存在操作对象显示指示操作的目标的空间中的环境有关的信息，或者与存在于该空间中的人的形态有关的信息。注意，可以从诸如在信息处理系统1中单独设置的传感器的测量设备获取空间环境信息，或者可以从识别单元101获取个人形态信息。

如果确定已经获取了针对其中存在预定操作的目标的空间的空间环境信息或个人形态信息，则信息处理系统1基于空间环境信息或个人形态信息选择被操作设备(步骤S416)。具体地，设备选择单元102基于所获取的空间环境信息或个人形态信息，从其中存在上述显示指示操作的目标的空间中存在的被操作设备中选择被操作设备。

另外，如果确定针对其中存在预定动作的目标的空间的空间环境信息和个人形态信息两者均尚未被获取，则信息处理系统1获取时间信息(步骤S417)。具体地，如果确定空间环境信息和个人形态信息两者均尚未被获取，则设备选择单元102获取与已经执行上述显示指示操作的时间有关的时间信息。

接下来，信息处理系统1基于时间信息选择被操作设备(步骤S418)。具体地，设备选择单元102基于所获取的时间信息从存在于其中存在上述显示指示操作的目标的空间中的被操作设备中选择被操作设备。

然后，信息处理系统1以决定的形态在所决定的位置处显示针对所选择的被操作设备的操作对象(步骤S419)。具体地，投影控制单元103使投影成像设备10以决定的形态将针对所选择的被操作设备的操作对象投影在决定的投影位置处。

注意，尽管上面已经描述了选择单个被操作设备的示例，但是可以选择一组被操作设备。例如，可以选择与空气调节相关的一组被操作设备(例如，一组空调设备和鼓风设备)、与电影的再现相关的一组被操作设备(例如，一组显示设备和声音输出设备)等。

另外，可以显示针对一组被操作设备的操作对象。例如，可以针对与空气调节相关的每组被操作设备或者与电影的再现相关的每组被操作设备来投影一个操作对象。注意，如果操作针对该组被操作设备的操作对象，则根据操作来控制该组中的被操作设备中的至少一部分。

如上所述，根据实施方式的第六修改示例，如上所述的链接到与操作对象的显示相关的预定动作的目标的操作对象包括针对存在于与预定动作的目标的真实空间相同的真实空间中的被操作设备的操作对象。因此，用户可以使信息处理系统1显示针对用户期望操作的被操作设备的操作对象，而无需单独选择被操作设备。因此，通过减少操作过程，可以减少直到操作设备被操作为止所需的努力和时间。

另外，基于与针对所显示的操作对象的上述预定动作的目标的真实空间相同的真实空间中的环境相关的信息，选择与预定动作的目标的真实空间相同的真实空间中存在的被操作设备。因此，通过根据用户所在的空间的环境选择被操作设备，例如，可以显示针对用于保持或提高空间的环境的被操作设备的操作对象。因此，可以通过根据空间的状态显示适当的操作对象来提高可用性。

另外，基于与存在于与预定动作的目标的真实空间相同的真实空间中的人的形态相关的信息来选择被操作设备。因此，通过根据用户或存在于用户所在的空间中的其他人的形态选择被操作设备，可以例如显示针对用于保持或提高存在于空间中的人感觉到的舒适感的被操作设备的操作对象。因此，可以通过根据人的状态显示适当的操作对象来提高可用性。

另外，基于时间信息选择被操作设备。人们感到舒适的空间状态通常根据时间而不同。因此，通过基于时间信息选择与操作对象相关的被操作设备，可以在随时间转变的空间状态下适当地显示用户期望操作的操作对象。因此，可以通过根据时间显示适当的操作对象来提高可用性。

(第七修改示例)

在该实施方式的第七修改示例中，可以自动显示操作对象。具体地，信息处理装置100-2响应于接收到至操作主体的通知，使投影成像设备10投影针对该通知的操作对象(下文中，也称为通知操作对象)。例如，如果接收到至用户的通知，则投影控制单元103决定针对与通知相关的被操作设备的通知操作对象的投影位置。然后，投影控制单元103使投影成像设备10将通知操作对象投影在所决定的投影位置处。此外，将参照图37详细描述修改示例。图37是示出根据该实施方式的第七修改示例的信息处理系统1中的针对通知操作对象的显示控制的示例的图。

设备控制单元104确定是否已经接收到从被操作设备至用户的通知。例如，设备控制单元104确定是否已经经由通信单元105获取来自诸如对讲机、电话或智能电话的电话呼叫应用的呼叫信息或诸如邮件或消息的信息。

如果确定已经接收到从被操作设备至用户的通知，则投影控制单元103基于作为通知目的地的用户的位置来决定通知操作对象的投影位置。例如，如果确定已经获取了呼叫信息，则投影控制单元103基于被估计为呼叫信息的目的地的用户的位置来决定针对与呼叫信息相关的被操作设备的通知操作对象(下文中，也简称为与呼叫信息相关的通知操作对象)的投影位置。

接下来，投影控制单元103使投影成像设备10将通知操作对象投影在所决定的投影位置处。例如，在如图37中的上图所示的那样操作对象46至48被投影在用户附近的情况下，投影控制单元103使投影成像设备10投影通知操作对象52，使得通知操作对象52与操作对象46至48相邻。注意，通知操作对象的投影位置可以根据用户或用户的属性决定。例如，通知操作对象可以被投影在与操作对象相邻的范围内且在用户的优势手侧。

此外，如果识别出对投影的通知操作对象的操作，则投影控制单元103改变通知操作对象的形态。例如，如果识别单元101识别出对通知操作对象52的触摸操作，则投影控制单元103将通知操作对象52切换到通知操作对象53。切换之后的通知操作对象53可以是用于详细地操作与通知操作对象52相关的被操作设备的通知操作对象。详细地，如图37中的下图所示，通知操作对象53具有三个子对象和显示画面。子对象可以是用于选择是否应答来自对讲机或电话的呼叫等的操作对象。另外，可以在显示画面上显示其中出现作为呼叫源的人等的图像。注意，也可以如图37中的上图所示的那样，在切换之前的通知操作对象52上显示其中出现作为呼叫源的人等的图像。

上面已经描述了根据第七修改示例的处理的示例。接下来，将描述多个用户被估计是呼叫信息的目的地的示例。具体地，通知操作对象被显示在多个用户中的每一个在视觉上识别通知操作对象的位置处。例如，如果接收到呼叫信息，则投影控制单元103指定被估计为呼叫信息的目的地的用户。在指定了多个用户的情况下，投影控制单元103使投影成像设备10将与呼叫信息有关的通知操作对象投影在多个指定用户中的每一个在视觉上识别通知操作对象的位置处。此外，将参照图38描述针对多个用户的通知操作对象的显示控制的示例。图38是示出根据该实施方式的第七修改示例的信息处理系统1中的针对多个用户的通知操作对象的显示控制的示例的图。

如果接收到从被操作设备至用户的通知，则投影控制单元103将用户指定为通知目的地。例如，如果从对讲机等接收到呼叫信息，则投影控制单元103基于识别单元101识别用户的结果指定如图38所示的用户U3至U5。注意，指定任何单独空间中的任何用户，只要用户位于预定范围内的空间中(例如，在建筑物中)即可。例如，如图38所示，也指定虽然位于同一建筑物中但是位于与用户U4和U5的空间不同的空间中(例如，在房间中)的用户U3。

接下来，在指定了多个用户的情况下，投影控制单元103基于多个相应的指定用户的位置来决定通知操作对象的相应投影位置。例如，投影控制单元103分别将与指定用户U3至U5的各个位置相邻的位置决定作为通知操作对象的投影位置。

然后，投影控制单元103使投影成像设备10将通知操作对象分别投影在决定的投影位置处。例如，如图38所示，各个通知操作对象52A至52C被投影在与各个用户U3至U5相邻的位置。

注意，尽管上面已经描述了针对多个用户中的每一个分别显示通知操作对象的示例，但是可以显示针对多个用户的公共通知操作对象。具体地，在多个用户位于同一空间的情况下，可以显示针对多个用户的一个公共通知操作对象。例如，可以针对如图38所示的位于同一空间中的用户U4和U5投影一个通知操作对象。在这种情况下，通知操作对象可以被投影在用户U4和U5两者在视觉上识别通知操作对象的位置，即用户U4和U5两者的视力范围中的位置。

上面已经描述了为多个用户显示通知操作对象的示例。接下来，将描述通知操作对象被投影成使得仅多个用户的一部分在视觉上识别通知操作对象的示例。具体地，在仅特定操作主体在视觉上识别通知操作对象的位置处显示通知操作对象。例如，如果接收到呼叫信息，则投影控制单元103指定被估计为呼叫信息的目的地的用户。在指定单个用户的情况下，投影控制单元103使投影成像设备10将与呼叫信息有关的通知操作对象投影在仅仅指定用户在视觉上识别通知操作对象的指定位置处。此外，将参照图39描述针对通知操作对象的显示控制的示例，其中通知操作对象仅被特定用户在视觉上识别。图39是示出在根据实施方式的第七修改示例的信息处理系统1中的针对通知操作对象的显示控制的示例的图，其中通知操作对象仅被特定用户在视觉上识别。

如果接收到从被操作设备至用户的通知，则投影控制单元103将用户指定为通知目的地。例如，如果从电话呼叫应用等接收到呼叫信息，则投影控制单元103从呼叫信息中获取目的地信息(例如，电话号码)。然后，投影控制单元103指定链接至所获取的电话号码的用户。详细地，基于使用通过识别单元101执行的识别获取的面部信息和根据电话号码指定的面部信息的面部识别处理的结果来指定如图39所示的用户U8。

接下来，在指定单个用户(下文中，也称为特定用户)并且其他人位于特定用户所位于的空间中的情况下，投影控制单元103基于特定用户和其他人的位置中的每一个来决定通知操作对象的投影位置。例如，投影控制单元103获取与通过识别单元101执行的识别而获得的特定用户U8和除特定用户U8之外的其他人U6和U7的视力范围有关的信息。然后，投影控制单元103基于与视力范围相关的信息，将在特定用户U8的视力范围中并且不在其他人U6和U7的视力范围中的位置决定作为通知操作对象的投影位置。注意，通知操作对象的投影位置可以是诸如在其他人的背上的身体部位。

然后，投影控制单元103使投影成像设备10将通知操作对象投影在所决定的投影位置处。例如，如图39所示，通知操作对象52被投影在相对于其他人U6和U7处于死角的位置处，在该位置处特定用户U8在视觉上识别通知操作对象52。

注意，上面已经描述了指定单个用户的示例，特定用户可以是其目的地信息被指定的多个用户。在这种情况下，可以针对多个特定用户中的每一个单独显示通知操作对象，或者可以针对多个特定用户显示公共通知操作对象。

上面已经描述了通知操作对象被投影成使得通知操作对象仅被多个用户的一部分在视觉上识别的情况。接下来，将描述仅在除了特定用户之外不存在其他人的情况下显示通知操作对象的示例。具体地，在特定操作主体所在的空间中没有除了特定操作主体之外的人的情况下显示通知操作对象。例如，如果接收到呼叫信息，则投影控制单元103指定被估计为呼叫信息的目的地的用户。在特定用户所在的空间中存在除特定用户之外的人的情况下，投影控制单元103使投影成像设备10等待通知操作对象的显示，直到其他人移动到空间外部为止。然后，如果其他人移动到空间外部，则投影控制单元103使投影成像设备10在与特定用户相邻的位置处投影与呼叫信息有关的通知操作对象。此外，将参照图40描述在根据该实施方式的第七修改示例的信息处理系统1中的针对通知操作对象的显示控制的另一示例，其中通知操作对象仅被特定用户在视觉上识别。图40是示出根据实施方式的第七修改示例的信息处理系统1中针对仅被特定用户在视觉上识别的通知操作对象的显示控制的另一示例的图。

如果接收到从被操作设备到用户的通知，则投影控制单元103将用户指定为通知目的地。例如，基于通过识别单元101执行的识别获得的面部信息和根据与通知相关的目的地信息指定的面部信息的面部识别处理的结果来指定如图40所示的用户U10。

接下来，在其他人位于特定用户所位于的空间中的情况下，投影控制单元103等待其他人移动到该空间的外部。例如，投影控制单元103根据通过识别单元101执行的识别获得的信息，掌握除特定用户U10之外的人U9的存在。然后，投影控制单元103确定该其他人U9是否已经移动到特定用户U10所位于的房间的外部。

另外，如果该其他人移动到该空间的外部，则投影控制单元103使投影成像设备10将通知操作对象投影在与特定用户相邻的位置。例如，如果如图40所示的那样该其他人U9移动到特定用户U10所位于的房间的外部，则投影控制单元103使投影成像设备10将与呼叫信息有关的通知操作对象52投影在特定用户U10在视觉上识别通知操作对象52的位置处。

如上所述，根据实施方式的第七修改示例，操作对象包括与至操作主体的通知有关的通知操作对象，并且根据通知的接收来显示通知操作对象。因此，可以通过响应于接收而自动显示针对与通知相关的被操作设备的操作对象而让用户知道该通知。因此，可以减少对通知进行检查或响应所需的时间。

另外，上述至操作主体的通知包括至多个操作主体的通知，并且上述通知操作对象显示在多个操作主体中的每一个在视觉上识别通知操作对象的位置处。因此，可以让多个用户中的每一个注意到通知，并且多个用户中的每一个可以响应于该通知分别执行被操作设备的操作。因此，即使在已经注意到通知的特定用户不能操作通知操作对象的情况下，其他用户也可以处理该通知。

另外，上述至操作主体的通知包括至特定操作主体的通知，并且上述通知操作对象显示在通知操作对象仅被特定操作主体在视觉上识别的位置处。因此，在通知的内容具有特定用户的私人信息的情况下，可以防止除特定用户之外的人知道该私人信息。因此，可以在对特定用户的隐私保护和对通知的响应之间进行平衡。

另外，在上述特定操作主体所在的空间中不存在除特定操作主体之外的人的情况下，显示上述通知操作对象。因此，可以可靠地防止特定用户的私人信息被其他人知晓。

(第八修改示例)

在该实施方式的第八修改示例中，操作对象可以显示在根据操作主体的身体状态的位置处，而不是根据预定动作的位置处。具体地，如果识别单元101识别出用户的身体状态，则投影控制单元103根据用户的身体状态从用户的身体或用户的周围决定投影位置。此外，将参照图41详细描述修改示例。图41是示出根据该实施方式的第八修改示例的信息处理系统1中的针对操作对象的显示控制的示例的图。

如果识别出预定动作，即，操作对象显示指示操作，则识别单元101识别用户的身体状态。例如，在识别出上述用户的显示指示操作的情况下，识别单元101识别在用户的操作中使用的身体部位(下文中，也称为操作部位)的状态。操作部位包括手指、手、手臂、腿等。

接下来，投影控制单元103将根据所识别的用户的身体状态的位置决定作为投影位置。具体地，投影控制单元103基于识别单元101识别的用户操作部位的状态来决定操作对象的投影位置。例如，在如图41所示那样用户用他/她的左手握持物体的情况下，投影控制单元103确定左手处于操作不可用状态而右手处于操作可用状态。然后，投影控制单元103以处于操作可用状态的右手为基准来决定操作对象的投影位置。在图41中的示例中，右手可以到达的范围已经被决定作为投影区域40。然后，将操作对象投影在投影区域40中。

另外，操作对象可以显示在根据操作主体的姿势的位置。具体地，如果识别单元101识别出用户的姿势，则投影控制单元103根据用户姿势从用户身体或用户的周围决定投影位置。例如，在用户他/她在他/她自己的身体的左侧位于上方的状况下侧身就寝的情况下，在用户右侧的预定区域，换句话说，在用户的面部指向的一侧的预定区域被决定作为操作对象的投影位置。

如上所述，根据该实施方式的第八修改示例，操作对象被显示在根据操作主体的身体状态的位置处。因此，可以在根据用户的身体状态的用户可以容易地操作操作对象的位置处显示操作对象。因此，可以在更多使用情况下提高可操作性。

另外，在根据操作主体的姿势的位置处显示操作对象。因此，可以在操作对象容易被用户识别的位置处显示操作对象。因此，可以提高操作对象的可视性，并且因此提高可操作性。

(第九修改示例)

在该实施方式的第九修改示例中，可以在根据通过其指定操作主体的信息的位置处显示操作对象。具体地，如果识别出操作对象显示指示操作，则投影控制单元103基于用户指定信息决定操作对象的显示位置。此外，将参照图42详细描述修改示例。图42是示出根据该实施方式的第九修改示例的信息处理系统1中的针对操作对象的显示控制的示例的图。注意，将省略与上述处理基本相同的处理的描述。

如果识别出操作对象显示指示操作，则投影控制单元103获取用户指定信息。

然后，投影控制单元103使投影成像设备10将操作对象投影在基于用户指定信息决定的投影位置处。具体地，投影控制单元103获取针对与所获取的用户指定信息相关的用户设置的操作对象的投影位置信息，并使投影成像设备10将操作对象投影在所获取的投影位置信息指示的投影位置处。例如，在如图42所示的那样将用户的右侧设置为针对用户的投影位置的情况下，如图42所示的那样，在用户右侧的墙壁上的预定区域被决定作为操作对象的投影区域40。然后，将操作对象投影在决定的投影区域40中。

另外，可以在根据通过其指定操作主体的属性的信息的位置处显示操作对象。具体地，如果识别出操作对象显示指示操作，则投影控制单元103基于用户的属性信息决定操作对象的显示位置。更具体地，投影控制单元103从与识别操作对象显示指示操作时获取的用户属性信息相关的属性中获取优势手信息，并使投影成像设备10将操作对象投影在所获取的优势手信息指示的优势手侧。例如，在如图42所示的用户的优势手是右手的情况下，如图42所示的那样，在用户右侧的墙壁上的预定区域被决定作为操作对象的投影区域40。然后，将操作对象投影在决定的投影区域40中。

如上所述，根据该实施方式的第九修改示例，操作对象显示在根据通过其指定操作主体的信息的位置处。因此，可以在适合于各个用户的位置处显示操作对象。因此，可以进一步提高各个用户的可操作性或可用性。

另外，在根据通过其指定操作主体的属性的信息的位置处显示操作对象。因此，通过在根据用户的特性的位置处显示操作对象，与统一决定显示位置的情况相比，可以提高可操作性或可用性。另外，可以抑制由于在没有通过其指定各个用户的信息的情况下控制操作对象的显示位置而导致的信息安全性恶化的担忧。

(第十修改示例)

在该实施方式的第十修改示例中，可以间接地操作操作对象。具体地，可以基于对用户的身体部位执行的操作来操作操作对象。更具体地，在显示操作对象时，识别单元101识别对用户的身体部位执行的操作。然后，投影控制单元103根据所识别的对身体部位执行的操作掌握对操作对象执行的操作，并根据所掌握的操作更新操作对象的显示。另外，设备控制单元104根据所掌握的操作控制被操作设备。此外，将参照图43详细描述修改示例。图43是示出根据该实施方式的第十修改示例的信息处理系统1中的操作对象的操作的示例的图。

在显示操作对象时，识别单元101尝试识别对用户的身体部位执行的操作。例如，当如图43所示的那样投影操作对象49时，识别单元101尝试识别用户对用户自己的身体部位执行的对操作对象49的操作。对身体部位执行的操作包括用另一只手的手指触摸一只手的手指的操作等。

如果识别出对用户的身体部位执行的操作，则投影控制单元103根据所识别的操作控制操作对象的显示。例如，如果识别出用右手的手指触摸左手的拇指的操作，则利用操作对象49改变所选择的内容。

另外，如果识别出对用户的身体部位执行的操作，则设备控制单元104根据所识别的操作来控制与所显示的操作对象相关的被操作设备。例如，如果识别出用右手的手指触摸左手的中指的操作，则由显示设备再现利用操作对象49选择的内容的电影。

注意，操作功能可以分别与每个手指相关联。例如，电源操作可以与拇指相关联，频道上调可以与食指相关联，并且频道下调可以与中指相关联。

如上所述，根据该实施方式的第十修改示例，基于对用户的身体部位执行的操作来操作操作对象。因此，用户可以在不触摸操作对象的情况下操作操作对象。因此，用户可以在不移动或改变身体姿势的情况下操作操作对象，并且可以提高可用性。另外，用户可以直观地操作操作对象。特别地，在视觉上没有识别操作目的地而以躯体感觉进行操作的情况下，视线变得自由。例如，在这种情况下，用户可以在连续观看电影的同时操作操作对象，换句话说，操作被操作设备。

注意，尽管上面已经描述了对显示的操作对象执行的操作是使用用户的身体部位的操作的示例，但是可以在不显示操作对象的情况下通过使用用户的身体部位的操作直接操作被操作设备。

<5.本公开的第三实施方式(操作对象的移动)>

上面已经描述了本公开的第二实施方式。接下来，将描述本公开的第三实施方式。在本公开的第三实施方式中，将主要描述信息处理系统1中的上述操作对象移动功能的实施方式。

<5-1.系统配置>

首先，将描述根据该实施方式的信息处理系统1的功能配置。注意，将仅与第二实施方式类似地描述信息处理装置100-3。此外，还将省略对信息处理装置100-3的功能中的与第一实施方式或第二实施方式中的功能基本相同的功能的描述。

(识别单元)

识别单元101识别由操作主体对操作对象执行的预定操作。具体地，识别单元101识别抓握操作对象的操作和释放操作对象的操作。例如，识别单元101尝试识别抓握在手上显示的操作对象的操作以及打开抓握的手的后续操作。

(投影控制单元)

投影控制单元103用作基准控制单元，并基于对操作对象执行的预定操作控制显示操作对象使得在视觉上识别操作对象的位置的基准(在下文中，也称为显示位置的基准)。具体地，如果在真实空间中存在作为显示位置的基准的物体，并且识别出对显示的操作对象执行的预定操作，则投影控制单元103改变作为显示位置的基准的物体。然后，基于改变的显示位置的基准显示操作对象。以这种方式，实现了操作对象的移动。此外，将参照图44详细描述操作对象的移动。图44是示出根据本公开的第三实施方式的信息处理系统1中的操作对象的移动控制的示例的图。

首先，识别针对操作对象的预定操作中的第一操作。例如，如果在如图44的上图所示的那样操作对象42D被投影在用户的手掌上的情况下，用户如图44中的中心图所示的那样执行抓握操作对象42D的第一操作，则识别单元101识别出第一操作。

如果识别出第一操作，则投影控制单元103使投影成像设备10改变操作对象的形态。例如，如果识别出上述第一操作，则投影控制单元103使投影成像设备10暂时停止操作对象42D的投影。例如，当手抓握的状态如图44中的中心图所示的那样持续时，停止操作对象42D的投影。注意，代替停止操作对象42D的显示，可以减小操作对象42D的显示尺寸。在这种情况下，用户可以执行随后的第二操作，而不会看不到操作对象42D。

接下来，识别针对操作对象的预定操作中的第二操作。例如，如果用户如图44中的下图所示的那样执行打开抓握的手的第二操作，换言之，向桌子释放被抓握的操作对象42D的第二操作，则识别单元101识别出第二操作。

如果识别出第二操作，则投影控制单元103基于根据第二操作的位置改变通过上述第一操作选择的操作对象的显示位置的基准。具体地，投影控制单元103将针对通过作为抓握的第一操作选择的操作对象的显示位置的基准改变成作为第二操作的目标的物体，其中第二操作是释放。例如，如果识别出释放的第二操作，则投影控制单元103将已经被执行抓握的第一操作的操作对象42D的显示位置的基准从用户的手掌改变成作为第二操作的目标的桌子。

如果显示位置的基准改变，则投影控制单元103使投影成像设备10基于改变之后的显示位置的基准投影操作对象。具体地，当显示位置的基准改变时，投影控制单元103控制操作对象的形态。更具体地，投影控制单元103基于与改变之后的显示位置的基准有关的信息来决定改变之后的操作对象的形态。与改变之后的显示位置的基准有关的信息包括通过其指定改变之后的显示位置的基准的形态的信息。例如，如果显示位置的基准改变成桌子，则投影控制单元103根据桌子上的投影可用区域决定操作对象42D的形态。详细地，投影控制单元103根据投影可用区域的广度来决定操作对象42D的复杂度。在图44中的下图的示例中，由于桌子上的投影可用区域比作为改变之前的显示位置的基准的手掌上的投影可用区域更广，因此具有与操作对象42D的显示内容和操作功能相比扩展的显示内容和操作功能的操作对象45被投影。

另外，与改变之后的显示位置的基准有关的信息包括通过其指定改变之后的显示位置的基准的属性的信息。例如，如果显示位置的基准改变成桌子，则投影控制单元103根据桌子的属性决定操作对象42D的形态。详细地，在桌子的类型是餐桌的情况下，操作对象42D的显示内容和操作功能被扩展。

另外，可以基于与改变之前的显示位置的基准有关的信息以类似方式来决定改变之后的操作对象的形态。

上面已经描述了针对操作对象的移动控制。此外，投影控制单元103可以使操作对象跟随显示位置的基准。具体地，投影控制单元103根据显示位置的基准的移动来改变操作对象的显示位置。将参照图45详细描述操作对象相对于显示位置的基准的跟随能力。图45是示出在根据实施方式的信息处理系统1中操作对象相对于显示位置的基准的跟随能力的示例的图。

如果识别出上述第二操作，则投影控制单元103将显示位置的基准改变成作为第二操作的目标的物体。例如，如果识别出已经如图45中的上图所示的那样在朝向桌子的方向上执行第二操作，则投影控制单元103将显示位置的基准改变成桌子。结果，操作对象45被投影到桌子。

然后，投影控制单元103根据作为显示位置的基准的物体的移动来改变操作对象的显示位置。例如，如果桌子如图45中的下图所示的那样移动，则投影控制单元103根据桌子的移动改变操作对象45的投影位置。结果，可以促使用户在视觉上识别出操作对象45如图45中的下图所示的那样随着桌子的移动而移动，即，好像操作对象45跟随桌子的移动一样。

注意，作为显示位置的基准的物体可以是人。具体地，投影控制单元103根据作为显示位置的基准的人的移动来改变操作对象的显示位置。将参照图46详细描述显示位置的基准是人的情况。图46是示出在根据实施方式的信息处理系统1中显示位置的基准是人的情况下操作对象的跟随能力的示例的图。

首先，投影控制单元103使投影成像设备10将操作对象投影在根据作为显示位置的基准的人的属性或形态的位置。例如，如图46中上图所示，在作为显示位置的基准的人的优势手是左手的情况下，操作对象45被投影在可以用人的优势手容易地对操作对象45进行操作的位置处。另外，如图46中的上图所示，在作为显示位置的基准的人的身体面向桌子的情况下，操作对象45被投影到被估计落入人的视力范围内的桌子。

然后，投影控制单元103根据作为显示位置的基准的人的移动来改变操作对象的显示位置。例如，如果人如图46中的下图所示的那样移动，则投影控制单元103根据人的移动改变操作对象45的投影位置。结果，可以促使用户在视觉上识别出操作对象45如图46中的下图所示的那样随着人的移动而移动，即，好像操作对象45跟随人的移动一样。

<5-2.系统的处理>

接下来，将描述根据该实施方式的信息处理系统1的处理。

(整体处理)

首先，将参照图47描述根据该实施方式的信息处理系统1的整体处理。图47是概念性地示出根据实施方式的信息处理系统1的整体处理的示例的流程图。

信息处理系统1基于显示位置的基准显示操作对象(步骤S501)。具体地，如果执行操作对象显示指示操作，则投影控制单元103使投影成像设备10基于显示位置的初始基准来投影操作对象。

接下来，信息处理系统1确定是否已经识别对操作对象执行的操作(步骤S502)。具体地，投影控制单元103确定识别单元101是否已经识别出对操作对象执行的操作。

如果确定识别出对操作对象执行的操作，则信息处理系统1确定识别的操作是否是预定操作(步骤S503)。具体地，投影控制单元103确定识别单元101识别的操作是否是预定操作。注意，在预定操作是一组多个操作(例如，上述第一操作和第二操作的组)的情况下，投影控制单元103确定所识别的操作是否是预定操作中的首先执行的操作(例如，第一操作)。

如果确定识别的操作是预定操作，则信息处理系统1基于预定操作控制操作对象的显示位置的基准(步骤S504)。具体地，投影控制单元103基于所识别的预定操作来改变操作对象的显示位置的基准。注意，稍后将描述其细节。

如果确定识别的操作不是预定操作，则信息处理系统1基于识别的操作控制被操作设备(步骤S505)。具体地，如果识别出除预定操作之外的操作，则设备控制单元104基于所识别的操作来控制针对该操作对象的被操作设备。

另外，在步骤S502中没有识别出对操作对象执行的操作时，信息处理系统1确定用户与操作对象之间的距离是否等于或大于阈值达预定时间(步骤S506)。具体地，投影控制单元103确定期间识别单元101识别的用户与操作对象之间的距离等于或大于阈值的时段是否持续等于或大于预定时间的时间。

如果确定用户与操作对象之间的距离等于或大于阈值达预定时间，则信息处理系统1确定视线是否已偏离操作对象达预定时间(步骤S507)。具体地，如果确定用户与操作对象之间的距离等于或大于阈值的时段持续等于或大于预定时间的时间，则投影控制单元103进一步确定期间用户的视线偏离操作对象的时段是否等于或大于预定时间。

确定视线已经偏离操作对象达预定时间，则信息处理系统1结束操作对象的显示(步骤S508)。具体地，如果确定期间用户的视线偏离操作对象的时段等于或大于预定时间，则投影控制单元103使投影成像设备10结束操作对象的投影。注意，在操作对象的投影结束之前，可以向用户提供诸如警报的通知。通知可以是与警报有关的图像的投影、声音的输出等。

(显示位置的基准的控制处理)

接下来，将参照图48描述信息处理系统1中的显示位置的基准的控制处理。图48是概念性地示出根据实施方式的信息处理系统1中的显示位置的基准的控制处理的示例的流程图。

信息处理系统1基于预定操作决定操作对象的显示位置的基准(步骤S511)。具体地，投影控制单元103将识别的预定操作的目标决定作为显示位置的基准。例如，已经被执行上述第二操作的目标被决定作为显示位置的基准。

接下来，信息处理系统1确定显示位置的基准是否已经改变(步骤S512)。具体地，投影控制单元103确定决定之后的显示位置的基准是否不同于决定之前的显示位置的基准。

如果确定显示位置的基准已经改变，则信息处理系统1确定是否已经获取了改变显示位置的基准之后的目的地的属性信息或形态信息(步骤S513)。具体地，在决定之前和之后的显示位置的基准彼此不同的情况下，投影控制单元103确定是否已经获取在改变显示位置的基准之后的目的地的属性信息或形态信息。注意，可以确定是否可以获取这样的信息。

另外，信息处理系统1确定是否已经获取了显示位置的基准的改变源的属性信息或形态信息(步骤S514)。具体地，投影控制单元103确定是否已经获取了显示目的地的基准的改变源的属性信息或形态信息。注意，可以确定是否可以获取这样的信息。

如果确定已经获取了改变之后的目的地或者显示位置的基准的改变源的属性信息或形态信息，则信息处理系统1基于所获取的属性信息或形态信息来决定操作对象的形态(步骤S515)。具体地，投影控制单元103基于所获取的改变后的目的地或显示位置的基准的改变源的属性信息或形态信息来决定操作对象的复杂度。

注意，可以基于改变之后的目的地的信息和显示位置的基准的改变源的信息两者来决定操作对象的形态。

<5-4.第三实施方式的概述>

如上所述，根据本公开的第三修改示例，信息处理系统1、即信息处理装置100-3控制针对被操作设备的操作对象的显示，并基于由被操作设备的操作主体对操作对象执行的预定操作来控制对操作对象进行显示使得操作对象在视觉上被识别的位置的基准。

常规地，虚拟对象的投影位置本身根据用户的预定动作而移动。因此，例如，如果用户的预定动作停止，则虚拟对象的移动也停止，并且虚拟对象的投影位置不受存在于投影位置的任何物体的移动等的影响。然而，真实对象随着其上放置该真实对象的物体的移动而移动。由于以这种方式常规虚拟对象的行为与实际对象的行为不同，因此存在用户对虚拟对象执行的操作变得不平滑的担忧。

此外，根据该实施方式，通过控制操作对象的显示位置的基准，不仅可以根据用户对操作对象的直接操作，而且还可以根据间接操作、与用户的行为无关的显示位置的基准的状况等，来控制操作对象的显示位置。因此，用户可以像用户处理真实对象一样布置或移动操作对象。因此，可以以移动实际对象的感觉来对操作对象的移动位置进行操作。

另外，上述基准包括真实空间中的物体，并且根据物体的移动改变显示上述操作对象的位置。因此，可以促使用户在视觉上识别到好像操作对象在真实空间中的物体之间移动一样。此外，通过使操作对象的显示位置跟随物体的移动，用户可以直观地理解哪个物体是操作对象的显示位置的基准，换句话说，哪个物体与操作对象相关联。因此，用户可以容易地检查操作对象是否已经移动到预期物体。

另外，上述物体包括上述操作主体，并且在根据操作主体的属性或形态的位置处显示上述操作对象以使得在视觉上识别操作对象。因此，用户可以像操作对象是他/她的拥有物一样处理操作对象。因此，可以提高可用性。此外，可以显示操作对象，使得操作对象跟随适合于用户操作的位置。因此，可以在移动操作对象时保持可操作性。

另外，信息处理装置100-3在控制上述基准时控制上述操作对象的形态。在改变显示位置的基准之前和之后，即在操作对象移动之前和之后，操作对象的显示环境或显示条件有可能改变。因此，通过在控制显示位置的基准时控制操作对象的形态，可以在改变之后以适合于显示位置的基准的形态显示操作对象。

另外，基于上述与控制之后的基准有关的信息来控制上述操作对象的形态。因此，通过根据操作对象的移动目的地改变形态，可以增加改变后的形态适合于移动目的地的可能性。

另外，上述与控制之后的基准有关的信息包括通过其指定控制之后上述基准的属性或形态的信息。因此，通过以根据移动目的地的特性的形态显示操作对象，可以更可靠地增加改变后的形态适合于移动目的地的可能性。另外，通过以根据可以变化的移动目的地的状况的形态显示操作对象，可以更可靠地增加改变后的形态适合于移动目的地的可能性，而不管移动目的地的状况的变化。

另外，上述操作对象的形态包括操作对象的复杂度。因此，通过根据操作对象的移动控制显示或操作的复杂度，可以保持或提高操作对象的可视性或可操作性。

另外，上述预定操作包括对上述操作对象的第一操作和第二操作的组，并且信息处理装置100-3基于根据第二操作的位置改变通过第一操作选择的操作对象的基准。因此，通过显式地选择作为移动的目标的操作对象，用户可以仅移动期望的操作对象。因此，无需使用户不预期的任何操作对象移动，并且可以提高操作对象移动操作的可操作性。另外，通过经由一系列第一操作和第二操作移动操作对象，用户可以平滑地执行操作对象移动操作。因此，可以抑制操作对象移动操作的复杂度。

<5-4.修改示例>

上面已经描述了本公开的第三实施方式。注意，实施方式不限于上述示例。在下文中，将描述该实施方式的第一修改示例至第六修改示例。

(第一修改示例)

在该实施方式的第一修改示例中，预定操作可以是其他操作。具体地，预定操作包括显示位置的基准的目标之间的接触。例如，如果识别单元101识别出作为显示位置的基准的物体已经与其他物体接触，则投影控制单元103将显示位置的基准改变成该其他物体。此外，将参照图49详细描述修改示例。图49是示出根据该实施方式的第一修改示例的信息处理系统1中的预定操作的示例的图。

投影控制单元103使投影成像设备10将操作对象投影到作为显示位置的基准的物体。例如，图49中的上图所示，显示位置的基准是用户U11或用户U11的手或手掌的操作对象42D被投影到用户U11的手掌。

接下来，如果作为显示位置的基准的物体被识别为已经与其他物体接触，则投影控制单元103将显示位置的基准改变成该其他物体。例如，如果具有上面投影有操作对象42D的手的用户U11被识别为使用该手与另外的用户U12握手，如图49中的中心图所示的那样，则投影控制单元103将该另外的用户U12或用户U12的手或手掌改变成操作对象42D的显示位置的基准。

然后，投影控制单元103使投影成像设备10基于改变之后的显示位置的基准投影操作对象。例如，如图49中的下图所示，操作对象42D被投影在上述另外的用户U12的作为改变之后的显示位置的基准的手掌上。注意，不针对作为改变之前的显示位置的基准的上述用户U11投影操作对象42D。以这种方式，可以促使用户在视觉上识别到好像操作对象已经通过用户握手而移动一样。

上面已经描述了通过显示位置的基准的目标之间的接触来改变显示位置的基准的示例。然而，预定操作可以是其他操作。具体地，预定操作可以是使操作对象旋转的操作。例如，如果识别单元101识别出旋转操作对象的操作，则投影控制单元103将显示位置的基准改变成旋转目的地处的物体。此外，将参照图50详细描述修改示例的其他模式。图50是示出根据该实施方式的第一修改示例的信息处理系统1中的预定操作的另一示例的图。

投影控制单元103使投影成像设备10基于显示位置的基准投影操作对象。例如，如图50中的上图所示，显示位置的基准是用户U13的操作对象45被投影在桌子上，使得操作对象45面对用户13。

接下来，如果识别出旋转操作对象的操作，则投影控制单元103将显示位置的基准改变成针对在与旋转有关的方向上存在的用户的显示位置的基准。例如，如果识别出由用户U13执行的使操作对象45旋转以使得操作对象45面向用户U14的方向的操作，如图50中的上图所示的那样，则投影控制单元103将操作对象45的显示位置的基准从用户U13改变成用户U14。

然后，投影控制单元103使得投影成像设备10基于改变之后的显示位置的基准投影操作对象。例如，如图50中的下图所示，使操作对象45旋转，以使得操作对象45面对用户U14。以这种方式，可以促使用户在视觉上识别到好像操作对象的所有者已经通过用户的旋转操作而改变一样。

上面已经描述了通过旋转操作对象的操作来改变显示位置的基准的示例。然而，预定操作可以是其他操作。具体地，预定操作可以是将操作对象滑动(snap)到改变显示位置的基准之后的目的地的操作。例如，如果识别单元101识别出滑动操作对象的操作，则投影控制单元103将显示位置的基准改变成根据滑动操作估计的物体。此外，将参照图51至图53描述修改示例的其他模式。图51至图53是示出根据该实施方式的第一修改示例的信息处理系统1中的预定操作的其他示例的图。

首先，将参照图51描述基于滑动操作对象的操作来控制显示位置的基准的第一示例。

投影控制单元103使投影成像设备10基于显示位置的基准投影操作对象。例如，如图51所示，显示位置的基准是用户U15的操作对象45被投影在用户U15的手到达的范围内。

接下来，如果识别出滑动操作对象的操作，则投影控制单元103基于操作的量将显示位置的基准改变成存在于滑动方向上的物体。例如，如果如图51所示，操作对象45被用户U15以超过以操作之前的投影位置为基准的预定范围的程度移动，则投影控制单元103估计操作对象45已被滑动的方向。然后，投影控制单元103将显示位置的基准改变成存在于估计方向上的用户U16。注意，在操作对象45在预定范围内移动的情况下，显示位置的基准不变。

然后，投影控制单元103使投影成像设备10基于改变之后的显示位置的基准投影操作对象。例如，操作对象45被投影成使得操作对象在滑动方向上移动，直到操作对象45到达作为改变之后的显示位置的基准的用户U16的手到达的范围。注意，操作对象45可以暂时被删除，然后投影在用户U16附近，而不是被投影成使得操作对象45移动。

接下来，将参照图52描述基于滑动操作对象的操作来控制显示位置的基准的第二示例。

投影控制单元103使投影成像设备10基于显示位置的基准投影操作对象。例如，如图52的上图和下图所示，显示位置的基准是用户U17的操作对象45被投影在用户U17的手到达的范围内。

接下来，如果识别出滑动操作对象的操作，则投影控制单元103基于执行操作的操作体的形态将显示位置的基准改变成存在于滑动方向上的物体。例如，如果识别出如图52中的上图所示的由用户U17执行的用一个手指滑动操作对象45的操作，则操作对象的投影位置根据操作而移动。在这种情况下，显示位置的基准不改变。此外，如果识别出如图52中的下图所示的由用户U17执行的用五个手指滑动操作对象45的操作，则投影控制单元103估计操作对象45通过该操作已被滑动的方向。然后，投影控制单元103将显示位置的基准改变成存在于估计方向上的用户U18。

然后，投影控制单元103使投影成像设备10基于改变之后的显示位置的基准投影操作对象。由于细节与图51中的示例中的细节基本相同，因此将省略其描述。

接下来，将参照图53描述基于滑动操作对象的操作来控制显示位置的基准的第三示例。

投影控制单元103使投影成像设备10基于显示位置的基准投影操作对象。例如，如图53的上图和下图所示，显示位置的基准是用户U19的操作对象45被投影在用户U19的手到达的范围内。

接下来，如果识别出滑动操作对象的操作，则投影控制单元103基于在操作期间已经被触摸的操作对象的一部分将显示位置的基准改变成在滑动方向上存在的对象。例如，如果识别出如图53的上图所示的用户U19在操作对象45的信息显示部被触摸的状态下滑动操作对象45的操作，则操作对象45的投影位置根据操作而移动。在这种情况下，显示位置的基准不改变。此外，如果识别出如图53中的下图所示的用户U19在操作对象45的上端部被触摸的状态下滑动操作对象45的操作，则投影控制单元103估计通过该操作操作对象45已被滑动的方向。然后，投影控制单元103将显示位置的基准改变成存在于估计方向上的用户U20。

然后，投影控制单元103使投影成像设备10基于改变之后的显示位置的基准投影操作对象。由于细节与图51中的示例中的细节基本相同，因此将省略其描述。

如上所述，根据实施方式的第一修改示例，预定操作包括显示位置的基准的目标之间的接触。因此，可以促使用户在视觉上识别到好像操作对象已经在物体之间移动一样。因此，用户可以直观地传递和接收操作对象。

另外，预定操作包括旋转操作对象的操作。因此，用户可以通过改变操作对象的定向来改变操作对象的操作者。因此，用户可以简单地改变操作对象的操作者。

另外，预定操作包括将操作对象滑动到在改变显示位置的基准之后的目的地的操作。因此，即使在操作对象的移动目的地不在近的位置的情况下，用户也可以将操作对象的操作者改变成期望的用户。因此，可以减少针对预定操作的用户的负担。

(第二修改示例)

在该实施方式的第二修改示例中，显示位置的基准可以是真实空间中的位置。具体地，投影控制单元103使投影成像设备10基于作为显示位置的基准的真实空间中的位置来投影操作对象。此外，投影控制单元103根据执行预定操作时的操作主体的形态来控制显示位置的基准的类型。将参照图54详细描述修改示例。图54是示出根据该实施方式的第二修改示例的信息处理系统1中的显示位置的基准的改变的示例的图。

如果识别出预定操作，则识别单元101识别正在执行预定操作的操作主体的形态。例如，如果识别出如图54中的上图所示的那样将左手朝向桌子打开的操作(上述第二操作)，则识别单元101识别出正在执行操作的用户正用他/她的右手抓握他/她的左手腕。

投影控制单元103根据正在执行预定操作的操作主体的形态来选择显示位置的基准的类型。具体地，投影控制单元103根据已经被识别单元101识别出的正在执行预定操作的用户的形态从物、人、位置等中选择显示位置的基准的类型。例如，如果正在执行预定操作的用户被识别为用他/她的另一只手抓握他/她的正在执行操作的手的手腕，则投影控制单元103选择真实空间中的位置作为显示位置的基准的目标。

然后，投影控制单元103使投影成像设备10基于改变之后的显示位置的基准投影操作对象。例如，将操作对象45投影在布置在作为改变之后的显示位置的基准的位置处的桌子上。注意，由于显示位置的基准是桌子被布置在的位置而不是桌子，因此即使桌子例如如图54中的下图所示的那样移动，操作对象45的显示位置也不会移动，并且操作对象45被投影在地板上。

如上所述，根据实施方式的第二修改示例，显示位置的基准包括真实空间中的位置，并且基于真实空间中的位置显示操作对象的显示位置。因此，即使在操作对象被投影的位置处布置物体，也可以继续将操作对象投影在相同的位置处，而不管物体的移动。因此，可以抑制不顾用户的意图而移动操作对象。

另外，信息处理装置100-3根据执行预定操作时的操作主体的形态来控制显示位置的基准的类型。因此，用户可以指定在改变显示位置的基准之后的目的地、即要与操作对象关联的目的地的类型。因此，用户可以按照用户的意图处理操作对象，并且可以提高可用性。

(第三修改示例)

在该实施方式的第三修改示例中，当控制显示位置的基准时，可以基于与操作对象的操作的客体相关的信息来控制操作对象的形态。具体地，可以基于与操作对象的状态有关的信息(下文中，也称为状态信息)来控制操作对象的形态。例如，在操作对象的显示位置的基准改变时操作对象的显示内容与初始状态下的显示内容不同的情况下，投影控制单元103决定将操作对象的显示内容返回到初始状态下的显示内容。

另外，可以基于与要经由操作对象而操作的目标有关的信息(下文中，也称为操作目标信息)来控制操作对象的形态。例如，在操作对象的显示位置的基准改变时，投影控制单元103根据由操作对象操作的被操作设备再现的内容的类型来决定操作对象的显示内容。

此外，将参照图55详细描述修改示例中的处理。图55是概念性地示出根据实施方式的第三修改示例的信息处理系统1中控制显示位置的基准的处理的示例的流程图。注意，将省略与上述处理基本相同的处理的描述。

信息处理系统1基于预定操作决定操作对象的显示位置的基准(步骤S521)，并确定显示位置的基准是否已经改变(步骤S522)。

如果确定显示位置的基准已经改变，则信息处理系统1确定是否已经获取了操作对象的状态信息(步骤S523)，并且基于状态信息决定操作对象的形态(步骤S524)。具体地，如果获取了通过其指定操作对象的复杂度的信息，则投影控制单元103基于该信息确定操作对象的显示内容或操作功能的复杂度是否与初始状态下的复杂度不同。如果确定复杂度与初始状态下的复杂度不同，则投影控制单元103决定将操作对象的复杂度返回到初始状态下的复杂度。

另外，信息处理系统1确定是否已经获取了操作对象的操作目标信息(步骤S525)，并且基于操作目标信息决定操作对象的形态(步骤S526)。具体地，如果获取了根据其指定由操作对象操作的被操作设备或由被操作设备处理的内容的信息，则投影控制单元103确定根据该信息指定的被操作设备或者内容的类型。然后，投影控制单元103根据被操作设备或内容的类型来决定操作对象的形态。

如上所述，根据该实施方式的第三修改示例，基于和与操作对象相关的操作的客体有关的信息来控制操作对象的形态。例如，在显示位置的基准的变化对应于操作者的变化并且操作对象直接移动至改变之后的操作者的情况下，可能存在改变之后的操作者知道改变之前的操作者的操作内容的情况。特别地，在通过操作对象操作针对成人的内容的情况下，以相同的形态将操作对象移动到儿童是不利的。此外，根据该修改示例，在移动操作对象时，可以使得操作对象的形态根据操作对象的形态或者由操作对象操作的内容等而改变。以这种方式，可以抑制作为移动目的地的操作者知道操作内容。

(第四修改示例)

在该实施方式的第四修改示例中，可以显式地向用户呈现在改变显示位置的基准之后的目的地。具体地，投影控制单元103控制根据其指定改变显示位置的基准之后的目的地的显示对象的显示。例如，投影控制单元103估计作为在改变显示位置的基准之后的目的地的候选的物体，并使投影成像设备10投影用户根据其掌握估计物体的显示对象。此外，将参照图56详细描述修改示例。图56是示出在根据实施方式的第四修改示例的信息处理系统1中显式地呈现改变操作对象的显示位置的基准之后的目的地的示例的图。

投影控制单元103使投影成像设备10基于显示位置的基准投影操作对象。例如，如图56所示，显示位置的基准是用户U21的操作对象45被投影在用户U21的手到达的范围内。

接下来，如果识别出改变操作对象的显示位置的基准的操作的开始，则投影控制单元103估计作为在改变显示位置的基准之后的目的地的候选的物体。例如，如果识别出用手指触摸操作对象45的操作，则投影控制单元103搜索存在于操作对象周围的可以作为显示位置的基准的物体。结果，发现用户U22和U23，并且用户U22和U23被估计是针对在改变显示位置的基准之后的目的地的候选。

接下来，投影控制单元103使投影成像设备10投影其中显式地呈现所估计的针对改变后的目的地的候选的显示对象。例如，如图56所示，分别投影作为从操作对象45指向被估计为针对在改变显示位置的基准之后的目的地的候选的用户U22和U23的箭头的显示对象54A和54B。

然后，投影控制单元103根据改变操作对象的显示位置的基准的操作来改变显示位置的基准。结果，用户在视觉上识别操作对象，就像操作对象被移动一样。

如上所述，根据实施方式的第四修改示例，信息处理装置100-3控制根据其指定改变显示位置的基准之后的目的地的显示对象的显示。因此，用户可以预先掌握操作对象可能移动到的物体。因此，可以抑制对操作对象向预期物体的移动失败的担忧。另外，通过显示用于引导操作方向的显示对象，例如箭头，可以减少用户操作失败的担忧。

(第五修改示例)

在该实施方式的第五修改示例中，可以合并多个操作对象。具体地，在另外的操作对象与改变显示位置的基准之后的目的地相关联地存在的情况下，投影控制单元103将显示位置的基准改变的操作对象与作为改变显示位置的基准之后的目的地的该另外的操作对象合并。例如，可以将显示位置的基准改变的操作对象(下文中，也称为作为改变源的操作对象)与作为改变显示位置之后的目的地的操作对象(下文中，也称为作为改变后的目的地的操作对象)整合。此外，将参照图57详细描述修改示例。图57是示出根据实施方式的第五修改示例的信息处理系统1中的操作对象的合并的示例的图。

投影控制单元103使投影成像设备10基于显示位置的基准来投影操作对象。例如，如图57中的上图所示，显示位置的基准是用户U24的操作对象45被投影在用户U24的手到达的范围内。另外，如图57的上图所示，显示位置的基准是用户U25的操作对象49被投影在用户U25的手到达的范围内。

接下来，如果识别出改变操作对象的显示位置的基准的操作，则投影控制单元103将显示位置的基准改变成在改变操作的改变之后的目的地处的物体。然后，投影操作对象，使得操作对象移动到改变之后的目的地处的物体。例如，如果识别出如图57中的上图所示的由用户U24执行的将操作对象45移向用户U25的操作，则投影控制单元103将操作对象45的显示位置的基准改变成用户U25。然后，投影操作对象45，使得操作对象45朝向用户U25移动。

然后，如果操作对象到达与在改变显示位置的基准之后的目的地有关的操作对象，则投影控制单元103对操作对象进行整合。然后，投影通过整合获得的操作对象。例如，如果操作对象45移动到针对用户U25的操作对象49，则投影控制单元103使操作对象45的一部分和操作对象49的一部分彼此整合。然后，如图57中的下图所示，为用户U25投影通过整合获得的操作对象55。

注意，操作对象的合并可以是改变源的操作对象和改变后的目的地的操作对象的融合。例如，可以通过针对显示设备的操作对象和针对时钟设备的操作对象的融合来显示与诸如硬盘记录器的记录设备的记录预约相关的操作对象。

另外，一个操作对象可以被划分为多个操作对象。例如，如果识别出用户对显示的操作对象执行的划分操作，则投影控制单元103决定与操作对象有关的多个操作对象。然后，显示所决定的多个操作对象而不是原始操作对象。

如上所述，根据该实施方式的第五修改示例，在另外的操作对象与改变显示位置的基准之后的目的地相关联地存在的情况下，信息处理装置100-3将显示位置的基准改变的操作对象与作为改变显示位置的基准之后的目的地的该另外的操作对象合并。因此，用户可以直观地组织操作对象。另外，通过显示如下操作对象用户可以直观地将显示的操作对象改变成期望的操作对象：通过该操作对象，可以执行与通过操作对象的合并而合并的操作对象相关的操作。因此，可以提高可用性。

(第六修改示例)

在该实施方式的第六修改示例中，信息处理装置100-2还可以基于预定操作来控制操作对象的属性。具体地，如果识别单元101识别出预定操作，则投影控制单元103根据预定操作的目标控制已经被执行预定操作的操作对象的属性。例如，操作对象的属性包括操作操作对象的操作主体。此外，将参照图49和图58详细描述修改示例。图58是示出根据该实施方式的第六修改示例的信息处理系统1中的针对操作对象的显示控制的示例的图。

如果识别出对人执行的预定操作，则投影控制单元103改变显示位置的基准，并且还改变操作对象的属性。例如，如上面参照图49所述，如果识别出用户的握手，则将显示位置的基准改变成作为握手的对应方的用户。此时，作为操作对象的属性之一的操作对象的所有者也被改变成作为握手的对应方的用户。

接下来，如果识别出对除人之外的物体执行的预定操作，则投影控制单元103仅改变显示位置的基准。例如，如果如图58中的上图所示，识别出作为上述握手的对应方的用户对桌子执行的预定操作，则投影控制单元103将显示位置的基准改变成桌子。然后，将操作对象45投影在桌子上。在这种情况下，操作对象的所有者不会改变。注意，可以改变操作对象的其他属性。

接下来，投影控制单元103基于操作对象的属性来控制操作对象的形态。具体地，投影控制单元103响应于操作操作对象的操作主体的移动，基于显示位置的基准来移动操作对象。例如，如图58中的下图所示，投影在桌子上的操作对象45被投影成使得操作对象45根据作为操作对象45的所有者的用户的移动而在桌子上移动。在该示例中，由于显示位置的基准是桌子，因此即使用户离开桌子，操作对象45也不会被投影到桌子之外。注意，在显示位置的基准是用户的情况下，操作对象根据用户的移动而移动到桌子之外。

注意，尽管上面已经描述了基于操作对象的属性来控制操作对象的显示位置的示例，但是可以控制操作对象的复杂度。例如，可以投影具有根据操作对象的所有者的显示内容或操作功能的操作对象。

如上所述，根据该实施方式的第六修改示例，信息处理装置100-3还基于预定操作来控制操作对象的属性。因此，通过不仅基于预定操作控制显示位置的基准而且还控制操作对象的属性，可以更精细地控制操作对象的投影。因此，可以满足各种用户需求。

另外，上述操作对象的属性包括操作操作对象的操作主体。因此，可以根据操作对象的用户更精细地控制操作对象的投影。因此，可以根据各个用户投影操作对象。

另外，信息处理装置100-3基于上述操作对象的属性来控制操作对象的形态。因此，通过以根据操作对象的属性的形态显示操作对象，可以适当地调整操作对象的可见性或可操作性。特别地，在操作对象的属性是用户的情况下，由于投影呈适合于各个用户的形态的操作对象，因此可以进一步增强可用性。

(第七修改示例)

在该实施方式的第七修改示例中，可以复制操作对象。具体地，投影控制单元103基于预定操作复制操作对象。例如，如果识别出预定操作，则投影控制单元103使投影成像设备10投影通过复制与预定操作有关的操作对象而获得的新的操作对象。将参照图59详细描述该修改示例。图59是示出根据该实施方式的第七修改示例的信息处理系统1中的针对操作对象的显示控制的示例的图。

投影控制单元103使投影成像设备10基于显示位置的基准投影针对被操作设备的操作对象。例如，如图59中左图所示的针对智能电话70的操作对象56例如被投影在用户U26的手到达的桌子上。例如，操作对象56可以是音乐文件列表。此外，如图59中左图所示的另外的操作对象57A通过用户U26对操作对象56执行的选择操作而被新投影。操作对象57A可以是例如音乐文件。

接下来，如果识别出对所投影的操作对象执行的复制操作，则投影控制单元103使投影成像设备10基于所投影的操作对象投影新的操作对象。例如，如果识别出如图59中的右图所示的那样将操作对象57A划分成两个的操作，则投影控制单元103使投影成像设备10投影与操作对象57A基本相同的操作对象57B。

此外，可以基于预定操作来控制通过复制获得的新操作对象的显示位置的基准。例如，如果如图59中的右图所示，识别出用户U26将通过复制获得的操作对象57B传递给另外的用户U27的操作，则投影控制单元103将操作对象57B的显示位置的基准改变成用户U27。

注意，操作对象可以通过通信移动。例如，在操作对象的显示位置的基准已经改变为存在于另外的建筑物中的物体的情况下，投影控制单元103可以通过通信使该另外的建筑物中的投影设备投影与该操作对象相关的信息。此外，改变显示位置的基准之后的目的地可以是虚拟物体。例如，如图59中的右图所示的用户U27可以存在于与用户U26所在的建筑物不同的建筑物中，并且可以投影与用户U27相对应的电影。然后，如果识别出将操作对象57B从用户U26传递到被投影为电影的的用户U27的操作，则通过通信针对作为实际物体的用户U27投影操作对象57B。

上面已经描述了复制操作对象的示例。可以进一步控制与复制相关的操作对象的同步。具体地，投影控制单元103基于预定操作的操作主体的形态来控制复制的操作对象与作为复制源的操作对象之间的同步。将参照图60详细描述与复制相关的操作对象的同步的控制。图60是示出根据该实施方式的第七修改示例的信息处理系统1中的针对与复制相关的操作对象的显示控制的示例的图。

投影控制单元103使投影成像设备10基于显示位置的基准投影操作对象。例如，如图60中的上图和下图所示，操作对象45A被投影在用户U28的手可以到达的范围内。

接下来，如果识别出针对所投影的操作对象的复制操作，则识别单元101识别复制操作的形态。例如，如果如图60中的上图和下图所示，识别出由用户U28执行的滑动操作对象45A的操作，则识别出用户U28的已经执行操作的手指的数量。在图60中的上图中识别出一个手指，并且在图60的下图中识别出两个手指。

投影控制单元103基于复制操作的形态决定复制的操作对象是否已经与作为复制源的操作对象同步。例如，投影控制单元103根据识别的复制操作中的手指的数量来决定是否已经执行了同步。在其中识别出一个手指的图60的上图中决定与复制相关的操作对象的非同步，而在其中识别出两个手指的图60的下图中决定与复制相关的操作对象的同步。同步的内容包括例如操作对象的复杂度、例如显示内容或操作功能的同步。

然后，投影控制单元103使投影成像设备10投影复制的操作对象，并且根据是否已经执行同步来执行与操作对象有关的控制。例如，如图60中的上图所示，与操作对象45A基本相同的操作对象45B被投影在作为显示位置的基准的用户U29上。由于操作对象45A和45B彼此不同步，因此操作对象45A和45B独立地操作。另外，如图60中的下图所示，与操作对象45A的一部分基本相同的操作对象58被投影在作为显示位置的基准的用户U29上。由于操作对象45A和58彼此同步，因此例如如果操作对象45A的显示改变，则操作对象58的显示也改变。注意，如图60中的下图所示，操作对象的复制可以是作为复制源的操作对象的仅一部分的复制。

注意，尽管上面已经描述了对与复制相关的操作对象是否同步进行控制的示例，但是也可以控制其他模式的同步。例如，可以控制与复制相关的操作对象的同步部分。详细地，可以对要同步的操作对象的一部分、该部分是操作对象的一部分还是整体等进行控制。另外，例如，可以设置期间同步或非同步有效的时间。

另外，可以设置与复制相关的操作对象的管理用户。例如，可以将指示管理用户的显示对象与针对管理用户的操作对象一起显示。

如上所述，根据该实施方式的第七修改示例，基于上述预定操作来复制操作对象。因此，多个人可以控制同一被操作设备。因此，不需要将操作对象移动到期望操作操作对象的用户，并且可以提高可用性。

另外，基于上述预定操作的操作主体的形态来控制复制的操作对象与作为复制源的操作对象之间的同步。因此，用户可以根据情况选择操作对象的同步。例如，在诸如电视节目表的操作对象的情况下，期望所有用户共享诸如正在选择哪个节目的信息，因此考虑操作对象将被同步。另外，由于考虑到各个用户对诸如视频游戏的控制器的操作对象执行不同的操作，因此考虑操作对象不能同步。以这种方式，通过使得能够根据情况选择同步，可以提高可用性。

<6.根据本公开的一个实施方式的硬件配置>

以上已经描述了根据本公开的每个实施方式的信息处理装置100。信息处理装置100的上述处理是通过将在下面描述的信息处理装置100的硬件和软件的协作来实现的。

图61是示出根据本公开的实施方式的信息处理装置100的硬件配置的说明图。如图61中所示，信息处理装置100包括处理器131、存储器132、桥接器133、总线134、接口135、输入设备136、输出设备137、存储设备138、驱动器139、连接端口140、和通信设备141。

(处理器)

处理器131用作算术处理设备，并且与各种程序协作地实现信息处理装置100中的识别单元101、设备选择单元102、投影控制单元103和设备控制单元104的功能。处理器131通过借助使用控制电路执行存储在存储器132或其他存储介质中的程序来使信息处理装置100的各种逻辑功能工作。例如，处理器131可以是中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)或片上系统(SoC)。

(存储器)

存储器132存储由处理器131使用的程序、算术参数等。例如，存储器132包括随机存取存储器(RAM)并临时存储通过由处理器131执行而被使用的程序或在执行中适当改变的参数等。另外，存储器132包括只读存储器(ROM)和RAM，并且ROM实现存储单元的功能。注意，外部存储设备可以经由连接端口140、通信设备141等用作存储器132的一部分。

注意，处理器131和存储器132通过包括CPU总线等的内部总线彼此连接。

(桥接器和总线)

桥接器133建立总线之间的连接。具体地，桥接器133将处理器131和存储器132所连接的内部总线与接口135所连接的总线134连接。

(输入设备)

用户使用输入设备136来操作信息处理装置100或者将信息输入至信息处理装置100。例如，输入设备136包括：用于用户输入信息的输入装置；输入控制电路，其基于用户的输入生成输入信号并将输入信号输出至处理器131，等等。注意，输入装置可以是鼠标、键盘、触摸面板、开关、控制杆、麦克风等。信息处理装置100的用户可以通过操作输入设备136来向信息处理装置100输入各种种类的数据或者提供用于处理操作的指令。

(输出设备)

输出设备137用于向用户通知信息并实现输入输出单元的功能。输出设备137可以是显示设备或声音输出设备。例如，输出设备137可以是诸如液晶显示器(LCD)设备、有机发光二极管(OLED)设备、投影仪、扬声器或耳机的装置，或者是向这样的装置提供输出的模块。

注意，输入设备136或输出设备137可以包括输入输出设备。例如，输入输出设备可以是触摸屏。

(存储设备)

存储设备138是用于存储数据的设备。存储设备138可以包括：存储介质、在记录介质中记录数据的记录设备、从记录介质读取数据的读取设备、删除记录在记录介质中的数据的删除设备等。存储设备138存储CPU 131执行的程序和各种种类的数据。

(驱动器)

驱动器139是用于记录介质的读取器/写入器，并且包含在信息处理装置100中或从外部附接至信息处理装置100。驱动器139读取存储在安装的例如磁盘、光盘、磁光盘或半导体存储器的可移除存储介质中的信息，并将该信息输出至存储器132。此外，驱动器139还可以在可移除记录介质中写入信息。

(连接端口)

连接端口140是用于将设备直接连接至信息处理装置100的端口。例如，连接端口140可以是通用串行总线(USB)端口、IEEE1394端口、小型计算机系统接口(SCSI)端口等。替选地，连接端口140可以是RS-232C端口、光学音频端子、高清晰度多媒体接口(HDMI)(注册商标)端口等。通过将外部设备连接至连接端口140，可以在信息处理装置100和该外部设备之间交换数据。

(通信设备)

通信设备141协调信息处理装置100与外部设备之间的通信，并实现通信单元105的功能。具体地，通信设备141根据无线通信方案或有线通信方案执行通信。例如，通信设备141根据诸如宽带码分多址(WCDMA)(注册商标)、WiMAX(注册商标)、长期演进(LTE)或LTE-A的蜂窝通信方案来执行无线通信。注意，通信设备141可以根据任意无线通信方案来执行无线通信，无线通信方案例如是诸如蓝牙(注册商标)、近场通信(NFC)、无线USB或TransferJet(注册商标)的近场无线通信方案或者诸如Wi-Fi(注册商标)的无线局域网(LAN)。另外，通信设备141可以执行诸如信号线通信或有线LAN通信的有线通信。

注意，信息处理装置100可以不具有上面参照图61描述的配置的一部分，或者可以具有任意附加配置。另外，可以提供其上整合有上面参照图61描述的配置的全部或一部分的单芯片信息处理模块。

<7.结论>

如上所述，根据本公开的第一实施方式，向用户呈现通过基于用户的身体形态的第一设备选择而选择的被操作设备的候选，并且用户可以从候选中选择被操作设备。因此，用户不需要首先移动到被操作设备。另外，通过用户从所呈现的被操作设备的候选中选择操作目标，可以抑制对被操作设备的不恰当的选择，并且可以防止对被操作设备的重新选择。另外，通过基于从选择对象中进行选择而操作被操作设备，可以在没有诸如远程控制器的任何特定设备的情况下操作被操作设备，并且抑制为寻找远程控制器等而做出的工作。因此，可以减轻用户选择用户期望操作的被操作设备的负担。

另外，根据本公开的第二实施方式，可以以根据依据用户的身体形态估计的用户状况的复杂度来显示操作对象。因此，可以增强在每个用户的状况下相应地显示适合于用户期望的操作的操作对象的可能性。因此，可以抑制根据关于用户对操作对象的满意度的用户状况的变化。

另外，根据本公开的第三实施方式，通过控制操作对象的显示位置的基准，不仅可以根据用户对操作对象的直接操作，而且还可以根据间接操作、与用户的行为无关的显示位置的基准的状况等，来控制操作对象的显示位置。因此，用户可以像用户处理真实对象一样布置或移动操作对象。因此，可以以移动实际对象的感觉来操作操作对象的移动动置。

以上已经参考附图描述了本公开的(一个或更多个)优选实施方式，而本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种改变和修改，并且应该理解，它们将自然地落入本公开的技术范围内。

尽管在上述实施方式中选择对象和操作对象被投影，但是例如，本技术不限于这样的示例。具体地，选择对象和操作对象可以通过叠加在外部世界图像上而被用户在视觉上识别。例如，通过用户佩戴使外部世界图像的光透射的显示设备(例如，HUD(平视显示器))，并且在该显示设备的显示单元上显示与选择对象相关的图像，或者将与图像有关的图像光从该显示设备投影到用户的眼睛，而将与选择对象相关的图像叠加在外部世界图像上。注意，上述显示设备可以是在其上显示外部世界图像和图像的HMD(头戴式显示器)。在这种情况下，用户可以在不在真实空间中投影选择对象的情况下感知选择对象。因此，可以简化信息处理系统1的配置并降低引入信息处理系统1的成本和工作量。此外，由于不佩戴上述显示设备的其他人不会在视觉上识别选择对象，因此可以防止其他人的视力范围受到干扰。另外，对于操作对象也是如此。

尽管在上述实施方式中已经描述了其中诸如显示设备、空调设备、鼓风设备、记录设备、照明设备或声音输出设备的设备作为被操作设备被控制的示例，但是也可以控制其他设备。例如，设备可以是电地毯、微波炉、洗衣机、冰箱或浴室设施。

此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，并不是限制性的。也就是说，与上述效果一起或代替上述效果，根据本公开的技术可以实现本领域技术人员根据本说明书的描述而清楚的其他效果。

此外，在上述实施方式的流程图中示出的步骤不仅包括按照所描述的顺序按时间顺序执行的过程，还包括不必然按时间顺序执行而是并行或单独执行的过程。此外，不言而喻，即使在按时间顺序处理的步骤中，也可以根据情况适当地改变顺序。

另外，还可以制作用于使得计算机系统发挥与上述信息处理装置100的各个功能配置的功能等同的功能的计算机程序。另外，还可以提供存储该计算机程序的存储介质。这里，计算机系统包括如安装在信息处理装置100中的硬件的单个计算机或执行一系列处理的多个计算机。

此外，本技术还可以被如下配置。

(1)

一种信息处理装置，包括：

显示控制单元，其控制与已经通过基于如下信息的第一设备选择而选择的被操作设备相关的选择对象的显示：其中，根据该信息估计针对所述被操作设备的操作主体的身体的形态；以及

设备控制单元，其控制已经通过基于与由所述操作主体对所述选择对象执行的选择操作相关的信息的第二设备选择而选择的被操作设备。

(2)

根据(1)所述的信息处理装置，其中，所述选择对象包括指示已经通过所述第一设备选择而选择的被操作设备的对象。

(3)

根据(1)或(2)所述的信息处理装置，其中以基于优先级信息的形态显示所述选择对象，使得在视觉上识别所述选择对象。

(4)

根据(3)所述的信息处理装置，其中，所述优先级信息包括基于如下信息而决定的信息：其中，根据该信息估计所述第一设备选择中的所述身体的形态。

(5)

根据(3)或(4)所述的信息处理装置，其中，所述优先级信息包括基于所述操作主体的生物特征信息或与所述操作主体的周围环境相关的信息而决定的信息。

(6)

根据(3)至(5)中任一项所述的信息处理装置，其中，所述优先级信息包括基于与过去的所述被操作设备的操作相关的信息而决定的信息。

(7)

根据(1)至(6)中任一项所述的信息处理装置，其中，所述显示控制单元控制针对已经通过所述第二设备选择而选择的被操作设备的操作对象的显示。

(8)

根据(1)至(7)中任一项所述的信息处理装置，其中，所述选择对象被显示在所述操作主体的身体上或所述操作主体的周围，所述身体或所述周围具有能够显示所述选择对象使得所述操作主体在视觉上识别所述选择对象的区域。

(9)

根据(1)至(7)中任一项所述的信息处理装置，其中，所述选择对象显示在根据由所述操作主体执行的所述第一设备选择的决定操作的位置处。

(10)

根据(9)所述的信息处理装置，其中，根据所述决定操作的位置包括通过所述决定操作指定的所述操作主体的身体的部位或所述操作主体的周围。

(11)

根据(9)或(10)所述的信息处理装置，其中，根据所述决定操作的位置包括通过所述决定操作指定的显示单元。

(12)

根据(1)至(11)中任一项所述的信息处理装置，还包括：

通知控制单元，其控制已经在显示所述选择对象时通过所述第一设备选择而选择的被操作设备的通知。

(13)

根据(12)所述的信息处理装置，其中，所述通知包括指示所选择的被操作设备与所述选择对象之间的链接的显示输出。

(14)

根据(12)或(13)所述的信息处理装置，其中，所述通知包括来自所选择的所述被操作设备所在的区域的声音输出。

(15)

根据(1)至(14)中任一项所述的信息处理装置，

其中，所述身体的形态包括所述操作主体的视觉识别形态，以及

通过所述第一设备选择来选择被确定为落入所述操作主体的视力范围的至少一部分内的被操作设备。

(16)

根据(1)至(15)中任一项所述的信息处理装置，

其中，所述身体的形态包括所述操作主体的姿势，以及

通过所述第一设备选择来选择被确定为落入根据所述操作主体的姿势决定的区域内的被操作设备。

(17)

根据(1)至(16)中任一项所述的信息处理装置，

其中，所述身体的形态包括所述操作主体的动作，以及

通过所述第一设备选择来选择被确定为落入根据所述操作主体的动作决定的区域内的被操作设备。

(18)

根据(1)至(17)中任一项所述的信息处理装置，

其中，所述身体的形态包括来自所述操作主体的语音生成，以及

通过所述第一设备选择来选择被确定为落入根据来自所述操作主体的语音生成决定的区域内的被操作设备。

(19)

一种信息处理方法，包括通过使用处理器进行以下操作：

控制与已经通过基于如下信息的第一设备选择而选择的被操作设备相关的选择对象的显示：其中，根据该信息估计针对所述被操作设备的操作主体的身体的形态；以及

控制已经通过基于与由所述操作主体对所述选择对象执行的选择操作相关的信息的第二设备选择而选择的被操作设备。

(20)

一种用于使得计算机系统实现以下功能的程序：

显示控制功能，其控制与已经通过基于如下信息的第一设备选择而选择的被操作设备相关的选择对象的显示：其中，根据该信息估计针对所述被操作设备的操作主体的身体的形态；以及

设备控制功能，其控制已经通过基于与由所述操作主体对所述选择对象执行的选择操作相关的信息的第二设备选择而选择的被操作设备。

此外，本技术还可以被如下配置。

(21)

一种信息处理装置，包括：

获取单元，其获取与操作主体的身体形态相关的信息；以及

显示控制单元，其基于与所述身体形态相关的信息控制针对被操作设备的操作对象的复杂度，所述操作对象在视觉上被识别成好像所述操作对象存在于真实空间中一样。

(22)

根据(21)所述的信息处理装置，

其中，所述身体形态包括所述操作主体的姿势，以及

以根据与所述操作主体的姿势相关的信息的复杂度显示所述操作对象，使得在视觉上识别所述操作对象。

(23)

根据(21)或(22)所述的信息处理装置，

其中，与所述身体形态相关的信息包括所述操作主体的生物特征信息，以及

以根据所述操作主体的生物特征信息的复杂度显示所述操作对象，使得在视觉上识别所述操作对象。

(24)

根据(21)至(23)中任一项所述的信息处理装置，

其中，所述身体形态包括所述操作主体的行为，以及

以根据与所述操作主体的行为相关的信息的复杂度显示所述操作对象，使得在视觉上识别所述操作对象。

(25)

根据(21)至(24)中任一项所述的信息处理装置，其中，所述显示控制单元还基于与所述操作对象在视觉上被识别的位置相关的信息、根据其指定所述操作主体的信息、或根据其指定所述操作主体的属性的信息来控制所述操作对象的复杂度。

(26)

根据(21)至(25)中任一项所述的信息处理装置，其中，所述操作对象被显示在所述操作主体的身体上或者在所述操作主体的周围，使得在视觉上识别所述操作对象。

(27)

根据(21)至(26)中任一项所述的信息处理装置，其中，所述操作对象被显示在根据与所述被操作设备的操作相关的信息安全程度的位置处，使得在视觉上识别所述操作对象。

(28)

根据(21)至(27)中任一项所述的信息处理装置，其中，所述操作对象被显示在根据依据其指定所述操作主体的信息或者依据其指定所述操作主体的属性的信息的位置处。

(29)

根据(21)至(28)中任一项所述的信息处理装置，其中，所述操作对象被显示在根据所述操作主体的身体形态的位置处。

(30)

根据(29)所述的信息处理装置，其中，所述操作主体的身体形态包括所述操作主体的预定动作，以及

所述操作对象被显示在根据所述预定动作的位置处。

(31)

根据(30)所述的信息处理装置，其中，所述操作对象包括与所述预定动作的目标相关联的操作对象。

(32)

根据(31)所述的信息处理装置，其中，与所述预定动作的目标相关联的操作对象包括针对作为所述预定动作的目标的被操作设备的操作对象。

(33)

根据(31)或(32)所述的信息处理装置，其中，与所述预定动作的目标相关联的操作对象包括针对存在于与所述预定动作的目标的空间相同的真实空间中的被操作设备的操作对象。

(34)

根据(33)所述的信息处理装置，其中，基于与所述预定动作的目标的空间相同的真实空间中的环境相关的信息、与存在于与所述预定动作的目标的空间相同的真实空间中的人的形态相关的信息或时间信息，选择存在于与对所显示的操作对象的所述预定动作的目标的空间相同的真实空间中的被操作设备。

(35)

根据(21)至(34)中任一项所述的信息处理装置，

其中，所述操作对象包括针对到所述操作主体的通知的通知操作对象，以及

根据所述通知的接收显示所述通知操作对象。

(36)

根据(35)所述的信息处理装置，

其中，到所述操作主体的通知包括到多个操作主体的通知，以及

所述通知操作对象显示在所述通知操作对象被所述多个操作主体中的每个操作主体在视觉上识别的位置处。

(37)

根据(35)或(36)所述的信息处理装置，

其中，到所述操作主体的通知包括到特定操作主体的通知，以及

所述通知操作对象显示在所述通知操作对象仅被所述特定操作主体在视觉上识别的位置处。

(38)

根据(37)所述的信息处理装置，

其中，在存在所述特定操作主体的空间中不存在除所述特定操作主体之外的人的情况下，显示所述通知操作对象。

(39)

一种信息处理方法，包括使用处理器进行以下操作：

获取与操作主体的身体形态相关的信息；以及

基于与所述身体形态相关的信息，控制针对被操作设备的操作对象的复杂度，所述操作对象在视觉上被识别为好像所述操作对象存在于真实空间中一样。

(40)

一种用于使得计算机系统实现以下功能的程序：

获取功能，其获取与操作主体的身体形态相关的信息；以及

显示控制功能，其基于与所述身体形态相关的信息，控制针对被操作设备的操作对象的复杂度，所述操作对象在视觉上被识别为好像所述操作对象存在于真实空间中一样。

此外，本技术还可以被如下配置。

(41)

一种信息处理装置，包括：

显示控制单元，其控制针对被操作设备的操作对象的显示；以及

基准控制单元，其基于由所述被操作设备的操作主体对所述操作对象执行的预定操作来控制对所述操作对象进行显示以使得能够在视觉上识别所述操作对象的位置的基准。

(42)

根据(41)所述的信息处理装置，

其中，所述位置的基准包括真实空间中的物体，以及

对所述操作对象进行显示的位置根据所述物体的移动而改变。

(43)

根据(42)所述的信息处理装置，

其中，所述物体包括所述操作主体，以及

在根据所述操作主体的属性或形态的位置处显示所述操作对象，使得能够在视觉上识别所述操作对象。

(44)

根据(41)至(43)中任一项所述的信息处理装置，

其中，所述位置的基准包括真实空间中的位置，以及

基于所述真实空间中的位置显示所述操作对象。

(45)

根据(41)至(44)中任一项所述的信息处理装置，其中，所述显示控制单元还根据在执行所述预定操作时所述操作主体的形态来控制所述位置的基准的类型。

(46)

根据(41)至(45)中任一项所述的信息处理装置，其中，当控制所述位置的基准时，所述显示控制单元控制所述操作对象的形态。

(47)

根据(46)所述的信息处理装置，其中，所述操作对象的形态是基于与对所述操作对象执行的操作的客体有关的信息来控制的。

(48)

根据(46)或(47)所述的信息处理装置，其中，所述操作对象的形态是基于与控制之前的位置的基准或控制之后的位置的基准有关的信息来控制的。

(49)

根据(48)所述的信息处理装置，其中，与控制之前的位置的基准或控制之后的位置的基准有关的信息包括如下信息：其中，根据该信息指定控制之前的所述位置的基准的属性或形态或者控制之后的所述位置的基准的属性或形态。

(50)

根据(46)至(49)中任一项所述的信息处理装置，其中，所述操作对象的形态包括所述操作对象的复杂度或者响应于所述位置的基准的移动的跟随能力。

(51)

根据(41)至(50)中任一项所述的信息处理装置，其中，所述显示控制单元控制显示对象的显示，其中，根据所述显示对象指定所述位置的基准的改变目的地。

(52)

根据(41)至(51)中任一项所述的信息处理装置，其中，在所述位置的基准的改变目的地处存在其他操作对象的情况下，所述显示控制单元合并要改变所述位置的基准的操作对象和所述位置的基准的改变目的地处的所述其他操作对象。

(53)

根据(41)至(52)中任一项所述的信息处理装置，其中，所述基准控制单元还基于所述预定操作来控制所述操作对象的属性。

(54)

根据(53)所述的信息处理装置，其中，所述操作对象的属性包括用于操作所述操作对象的操作主体。

(55)

根据(53)或(54)所述的信息处理装置，其中，所述显示控制单元基于所述操作对象的属性来控制所述操作对象的形态。

(56)

根据(41)至(55)中任一项所述的信息处理装置，其中，基于所述预定操作来复制所述操作对象。

(57)

根据(56)所述的信息处理装置，其中，基于在所述预定操作中的所述操作主体的形态来控制复制的操作对象和作为复制源的操作对象之间的同步性。

(58)

根据(41)至(57)中任一项所述的信息处理装置，

其中，所述预定操作包括对所述操作对象执行的第一操作和第二操作的组，以及

所述基准控制单元基于根据所述第二操作的位置改变通过所述第一操作选择的所述操作对象的基准。

(59)

一种信息处理方法，包括使用处理器进行以下操作：

控制针对被操作设备的操作对象的显示；以及

基于由所述被操作设备的操作主体对所述操作对象执行的预定操作来控制对所述操作对象进行显示以使得能够在视觉上识别所述操作对象的位置的基准。

(60)

一种用于使得计算机系统实现以下功能的程序：

显示控制功能，其控制针对被操作设备的操作对象的显示；以及

基准控制功能，其基于由所述被操作设备的操作主体对所述操作对象执行的预定操作来控制对所述操作对象进行显示以使得能够在视觉上识别所述操作对象的位置的基准。

参考标记列表

10 投影成像设备

20 显示设备

21 空调设备

22 鼓风设备

100 信息处理装置

101 识别单元

102 设备选择单元

103 投影控制单元

104 设备控制单元

105 通信单元

106 存储单元

Claims (20)

1.一种信息处理装置，包括：

显示控制单元，其控制针对被操作设备的操作对象的显示；以及

基准控制单元，其基于由所述被操作设备的操作主体对所述操作对象执行的预定操作来控制对所述操作对象进行显示以使得能够在视觉上识别所述操作对象的位置的基准。

2.根据权利要求1所述的信息处理装置，

其中，所述位置的基准包括真实空间中的物体，以及

对所述操作对象进行显示的位置根据所述物体的移动而改变。

3.根据权利要求2所述的信息处理装置，

其中，所述物体包括所述操作主体，以及

在根据所述操作主体的属性或形态的位置处显示所述操作对象，使得能够在视觉上识别所述操作对象。

4.根据权利要求1所述的信息处理装置，

其中，所述位置的基准包括真实空间中的位置，以及

基于所述真实空间中的位置显示所述操作对象。

5.根据权利要求1所述的信息处理装置，其中，显示控制单元还根据在执行所述预定操作时所述操作主体的形态来控制所述位置的基准的类型。

6.根据权利要求1所述的信息处理装置，其中，当控制所述位置的基准时，所述显示控制单元控制所述操作对象的形态。

7.根据权利要求6所述的信息处理装置，其中，所述操作对象的形态是基于与对所述操作对象执行的操作的客体有关的信息来控制的。

8.根据权利要求6所述的信息处理装置，其中，所述操作对象的形态是基于与控制之前的所述位置的基准或控制之后的所述位置的基准有关的信息来控制的。

9.根据权利要求8所述的信息处理装置，其中，与控制之前的所述位置的基准或控制之后的所述位置的基准有关的信息包括如下信息：根据该信息而指定控制之前的所述位置的基准的属性或形态或者控制之后的所述位置的基准的属性或形态。

10.根据权利要求6所述的信息处理装置，其中，所述操作对象的形态包括所述操作对象的复杂度或者响应于所述位置的基准的移动的跟随能力。

11.根据权利要求1所述的信息处理装置，其中，所述显示控制单元控制显示对象的显示，其中，根据所述显示对象指定所述位置的基准的改变目的地。

12.根据权利要求1所述的信息处理装置，其中，在所述位置的基准的改变目的地处存在其他操作对象的情况下，所述显示控制单元合并要改变所述位置的基准的所述操作对象和所述位置的基准的改变目的地处的所述其他操作对象。

13.根据权利要求1所述的信息处理装置，其中，所述基准控制单元还基于所述预定操作来控制所述操作对象的属性。

14.根据权利要求13所述的信息处理装置，其中，所述操作对象的属性包括用于操作所述操作对象的所述操作主体。

15.根据权利要求13所述的信息处理装置，其中，所述显示控制单元基于所述操作对象的属性来控制所述操作对象的形态。

16.根据权利要求1所述的信息处理装置，其中，基于所述预定操作来复制所述操作对象。

17.根据权利要求16所述的信息处理装置，其中，基于所述预定操作中的所述操作主体的形态来控制复制的操作对象和作为复制源的所述操作对象之间的同步性。

18.根据权利要求1所述的信息处理装置，

其中，所述预定操作包括对所述操作对象执行的第一操作和第二操作的组，以及

所述基准控制单元基于根据所述第二操作的位置改变通过所述第一操作选择的所述操作对象的基准。

19.一种信息处理方法，包括使用处理器进行以下操作：

控制针对被操作设备的操作对象的显示；以及

基于由所述被操作设备的操作主体对所述操作对象执行的预定操作来控制对所述操作对象进行显示以使得能够在视觉上识别所述操作对象的位置的基准。

20.一种用于使得计算机系统实现以下功能的程序：

显示控制功能，其控制针对被操作设备的操作对象的显示；以及

基准控制功能，其基于由所述被操作设备的操作主体对所述操作对象执行的预定操作来控制对所述操作对象进行显示以使得能够在视觉上识别所述操作对象的位置的基准。