CN111448541A

CN111448541A - 信息处理装置、信息处理方法和记录介质

Info

Publication number: CN111448541A
Application number: CN201880079302.9A
Authority: CN
Inventors: 井田健太郎; 铃木诚司
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-12-15
Filing date: 2018-10-05
Publication date: 2020-07-24
Also published as: JP6693495B2; KR20200099523A; EP3726355A1; US11221684B2; JP2019109578A; US20210165503A1; WO2019116692A1; EP3726355A4

Abstract

[问题]为了通过执行显示使得能够在视觉上确认被选择为要操作的装置的目标装置和操作用户来提高便利性。[解决方案]提供了一种信息处理装置，其设置有显示控制单元，所述显示控制单元基于在预定的真实空间中的目标装置的位置信息和具有对目标装置的操作权限的用户的位置信息来实现控制使得在真实空间中用户能够视觉上识别与用户和目标装置之间的位置关系对应的显示。因此，可以通过执行显示使得能够在视觉上确认被选择为要操作的装置的目标装置和操作用户来提高便利性。

Description

信息处理装置、信息处理方法和记录介质

技术领域

本公开内容涉及信息处理装置、信息处理方法和记录介质。

背景技术

在人们生活的空间中存在诸如家用电器和信息装置的各种电器。近年来，已经开发了允许用户在不使用诸如激光指向器和遥控器的装置的情况下远程操作这样的电器的技术。

例如，在专利文献1中公开了一种用于基于诸如用户的手部的姿势的用户的直观操作来对操作目标装置输入控制指令的技术。

引文列表

专利文献

专利文献1：JP 2013-205983A

发明内容

技术问题

然而，在引用文献1等描述的技术中，在预定的真实空间中存在多个操作目标装置的情况下，有时无法看到是否已经成功选择了作为操作目标的目标装置。当在预定的真实空间中存在多个操作用户时，有时看不到多个操作用户中的谁具有操作权限。即，在引用文献1等中描述的技术中，在操作被实际上反映在操作目标装置上之前，不能识别该操作。

鉴于这些情况，期望通过执行其中能够在视觉上识别被选择为操作目标的目标装置和操作用户的显示来提高便利性。

解决问题

根据本公开内容，提供了一种信息处理装置，其包括显示控制单元，该显示控制单元基于预定的真实空间中的目标装置的位置信息和具有对目标装置的操作权限的用户的位置信息来控制与用户和目标装置之间的位置关系对应的显示，使得用户能够在视觉上识别真实空间中的显示。

此外，根据本公开内容，提供了一种信息处理方法，其包括：基于预定的真实空间中的目标装置的位置信息和具有对目标装置的操作权限的用户的位置信息来控制与用户和目标装置之间的位置关系对应的显示，使得用户能够在视觉上识别真实空间中的显示。

此外，根据本公开内容，提供了一种记录介质，其记录用于使计算机用作显示控制单元的程序，该显示控制单元基于预定的真实空间中的目标装置的位置信息和具有对目标装置的操作权限的用户的位置信息来控制与用户和目标装置之间的位置关系对应的显示，使得用户能够在视觉上识别真实空间中的显示。

根据本公开内容，可以基于目标装置的位置信息和具有对目标装置的操作权限的用户的位置信息来控制与用户和目标装置之间的位置关系对应的显示，使得用户能够在视觉上识别真实空间中的显示。因此，由于用户能够识别出目标装置已经被选择为操作目标并且识别出用户具有操作权限，因此可以提高用户的便利性。

本发明的有益效果

如上所说明的，根据本公开内容，可以通过执行其中能够视觉上识别被选择为操作目标的目标装置和操作用户的显示来提高便利性。

注意，上述效果不总是限制性的，并且本说明书中描述的任何效果或者可以从本说明书中理解的其他效果可以与上述效果一起实现或者代替上述效果而实现。

附图说明

图1是示出根据本公开内容的实施方式的操作流程的示意图。

图2是根据实施方式的概念图。

图3是示出根据实施方式的系统的配置的示例的框图。

图4是示出根据实施方式的系统中执行的显示控制的流程的示例的序列图。

图5是用于说明根据实施方式的由系统执行投影的地点的概念图。

图6是示出根据实施方式的由系统投影的显示的示例的图。

图7是示出根据实施方式的由系统投影的显示的示例的图。

图8是示出根据实施方式的由系统投影的显示的示例的图。

图9A是示出根据实施方式的由系统投影的显示的示例的图。

图9B是示出根据实施方式的由系统投影的显示的示例的图。

图9C是示出根据实施方式的由系统投影的显示的示例的图。

图9D是示出根据实施方式的由系统投影的显示的示例的图。

图9E是示出根据实施方式的由系统投影的显示的示例的图。

图9F是示出根据实施方式的由系统投影的显示的示例的图。

图10是用于说明根据实施方式的由系统执行的投影的地点的概念图。

图11是示出根据实施方式的由系统投影的显示的示例的图。

图12是示出根据实施方式的由系统投影的显示的示例的图。

图13是示出根据实施方式的由系统投影的显示的示例的图。

图14A是示出根据实施方式的由系统投影的显示的示例的图。

图14B是示出根据实施方式的由系统投影的显示的示例的图。

图14C是示出根据实施方式的由系统投影的显示的示例的图。

图14D是示出根据实施方式的由系统投影的显示的示例的图。

图15A是示出根据实施方式的由系统投影的显示的示例的图。

图15B是示出根据实施方式的由系统投影的显示的示例的图。

图16是示出根据修改例的由系统投影的显示的示例的图。

图17A是示出根据修改例的由系统投影的显示的示例的图。

图17B是示出根据修改例的由系统投影的显示的示例的图。

图17C是示出根据修改例的由系统投影的显示的示例的图。

图17D是示出根据修改例的由系统投影的显示的示例的图。

图17E是示出根据修改例的由系统投影的显示的示例的图。

图17F是示出根据修改例的由系统投影的显示的示例的图。

图17G是示出根据修改例的由系统投影的显示的示例的图。

图17H是示出根据修改例的由系统投影的显示的示例的图。

图18A是示出根据修改例的由系统投影的显示的示例的图。

图18B是示出根据修改例的由系统投影的显示的示例的图。

图18C是示出根据修改例的由系统投影的显示的示例的图。

图18D是示出根据修改例的由系统投影的显示的示例的图。

图18E是示出根据修改例的由系统投影的显示的示例的图。

图18F是示出根据修改例的由系统投影的显示的示例的图。

图18G是示出根据修改例的由系统投影的显示的示例的图。

图18H是示出根据修改例的由系统投影的显示的示例的图。

图19A是示出根据修改例的由系统投影的显示的示例的图。

图19B是示出根据修改例的由系统投影的显示的示例的图。

图20是示出根据实施方式的信息处理装置的硬件配置的示例的框图。

具体实施方式

下面将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，通过对具有基本相同功能配置的部件附加相同的附图标记和符号来省略关于这些部件的冗余说明。

注意，按以下顺序进行说明。

1.系统的概要

2.配置示例

3.处理流程

4.显示地点的确定

4.1.投影到目标装置附近

4.2.投影到与目标装置分隔开的地点

4.3.由智能电话或HMD执行显示的情况

5.修改例

5.1.转移操作权限的情况

5.2.对目标装置的操作不可识别的情况

5.3.目标装置对某个用户锁定的情况

6.硬件配置示例

7.总结

<实施方式>

<<1.系统的概要>>

首先，参照图1说明根据本公开内容的实施方式的信息处理装置的系统概要。图1示出了在预定的真实空间(以下也称为真实空间)中通过远程操作执行目标装置的操作的情况下的流程。预定的真实空间指示用户和操作目标装置所在的空间，例如与外部环境隔开的内部，并且指示包括固定数目的用户和目标装置的空间，例如房间或会议室。

在图1所示的流程中，首先，用户选择被设置为操作目标的目标装置(S10)。通过选择目标装置，用户可以具有被设置为操作目标的目标装置的操作权限。操作权限是指在目标装置被操作之前用于操作目标装置的权限。通过具有操作权限，用户可以在以后实际操作目标装置。随后，具有操作权限的用户执行例如命令的输入从而操作所选择的目标装置(S12)。当命令内容被反映在目标装置上时，用户理解该操作结束(S14)。

在以上说明的流程中，当在预定空间中存在多个装置并且通过诸如姿势的远程操作从多个装置中选择操作目标装置时，如果没有向用户清楚地指示所选择的装置，则用户不能在操作完成之前确定是否正确地选择用户期望操作的装置。

当在预定空间中存在多个用户时，有时看不到哪个用户将哪个装置选择为操作目标装置。在该情况下，当由多个用户输入的命令冲突时，很可能将违背用户意图的操作输入到目标装置。可能由于例如取消操作增加而引起用户的便利性降低。

因此，在本公开内容的技术中，通过针对将用户和目标装置相互关联的用户显示进行显示，可以清楚地指示所选择的目标装置和具有对该目标装置的操作权限的用户，并且可以实现选择操作的快速掌握和输入命令在用户之间的冲突的抑制。

图2是本公开内容的实施方式的概念图。如图2所示，在预定空间中存在一个或更多个用户，例如用户A、B和C。此外，在该空间中设置投射显示的投射装置Pr。当用户A操作目标装置Ob时，投影装置Pr执行例如用于用箭头线指示用户A和由用户A选择的目标装置Ob的显示Ef。因此，用户A能够在视觉上识别用户A正在选择目标装置Ob并且用户A具有操作权限。例如，在图2中，投影装置Pr被描述为在其上执行显示Ef的目标的示例。然而，显示Ef可以显示在目标装置Ob的显示单元中，或者可以显示在目标装置Ob的壳体单元的灯等中。显示Ef可以显示在经由诸如智能电话或头戴式显示器(HMD)的装置视觉上识别的虚拟空间中。

在以下说明的该实施方式中，说明了主要由投影装置投影的显示。此外，说明了根据投影地点的显示、在显示装置是目标装置的情况下的显示、根据例如操作权限的存在或不存在的显示等以及向用户的显示等的修改作为该实施方式的变型例。

<<2.配置示例>>

图3是示出根据该实施方式的系统1000的配置的示例的框图。如图3所示，系统1000包括信息处理装置1100、显示装置1200和传感器装置1300。在该实施方式中，在系统1000中，信息处理装置1100、显示装置1200和传感器装置1300被示出为单独的部件。然而，显示装置1200可以被包括在信息处理装置1100中。传感器装置1300也可以被包括在信息处理装置1100中。

(1)显示装置1200

显示装置1200具有呈现与用户和目标装置之间的位置关系对应的显示使得用户能够在真实空间中视觉上识别该显示的功能。显示装置1200包括以下中的至少一个或更多个：投影仪1210、TV 1220、平板电脑1230、智能电话1240或个人计算机(PC)1250。在该实施方式中，作为图示，使用可视觉上识别的显示以便指示由用户选择的目标装置并且指示用户具有对该目标装置的操作权限。然而，该实施方式不限于这样的图示。例如，不言而喻，可以使用语音等向用户呈现用户所选择的目标装置以及用户具有对该目标装置的操作权限的事实。在该情况下，显示装置1200包括扬声器或单向扬声器并且具有声音输出装置的功能。因此，显示装置1200向用户呈现与用户和目标装置之间的位置关系对应的声音。

投影仪1210是将显示投影到预定空间中的任何地点的投影装置。投影仪1210可以是例如固定广角投影仪，或者可以是所谓的移动投影仪，其包括能够改变投影方向的可移动单元，例如Pan/Tilt驱动类型。TV 1220是接收电视广播的无线电波并且输出图像和声音的装置。平板电脑1230是包括通常大于智能电话1240的屏幕的屏幕并且输出图像、声音、振动等的可无线通信的移动装置。智能电话1240是包括通常小于平板电脑1230的屏幕的屏幕并且输出图像、声音、振动等的可无线通信的移动装置。PC 1250是能够输出图像、声音等的固定台式PC或移动笔记本PC。

上述显示装置1200具有图像显示的功能。因此，显示装置1200能够在本公开内容的技术下呈现与用户和目标装置之间的位置关系对应的显示使得用户能够在真实空间中视觉上识别该显示。

本公开内容的技术可以利用声音而不是如上所述的显示来执行与用户和目标装置之间的位置关系对应的呈现。在该情况下，显示装置用作声音输出装置并且包括扬声器或单向扬声器。扬声器经由数模转换器(DAC)和放大器将声音数据转换为模拟信号，并且向用户输出(再现)声音。单向扬声器是能够在单个方向上形成方向性的扬声器，并且可以向用户输出声音。

显示装置1200基于信息处理装置1100的控制输出显示。信息处理装置1100除了待显示的信息或内容之外，还能够控制显示形式。例如，信息处理装置1100能够控制投影显示的投影仪1210的投影方向。

注意，显示装置1200可以包括除了上述部件之外的能够执行任何显示输出的部件。例如，显示装置1200可以包括头戴式显示器(HMD)、增强现实(AR)眼镜等。

(2)传感器装置1300

传感器装置1300包括摄像装置1310、深度传感器1320或麦克风1330中的至少一个或更多个。

摄像装置1310是捕获图像(静止图像或运动图像)的成像装置，例如RGB摄像装置或热敏摄像装置，并且包括透镜系统、驱动系统和成像元件。深度传感器1320是红外距离测量装置、超声测量装置、激光成像检测和测距(LiDAR)、立体摄像装置等，并且是获取深度信息的装置。麦克风1330是收集环境声音并且输出通过经由放大器和模数转换器(ADC)将声音转换为数字信号而获得的声音数据的装置。

传感器装置1300可以基于通过信息处理装置1100进行的控制来感测信息。例如，信息处理装置1100能够控制摄像装置1310的变焦比和成像方向。

注意，传感器装置1300可以包括除上述部件之外的能够执行任何感测的部件。例如，传感器装置1300可以包括用户可以向其输入信息的装置，例如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆。传感器装置1300可以包括各种传感器，例如飞行时间(ToF)传感器、超声波传感器、空气压力传感器和气体传感器(CO₂)。

(3)信息处理装置1100

信息处理装置1100包括接口(I/F)单元1130、检测单元1120、控制单元1110和存储单元1140。

I/F单元1130

I/F单元1130是用于将信息处理装置1100和其他装置连接的连接装置。I/F单元1130例如由通用串行总线(USB)连接器等实现，并且在I/F单元1130与显示装置1200和传感器装置1300的部件之间执行信息的输入和输出。

检测单元1120

检测单元1120包括用户检测单元1121、触发检测单元1123、环境检测单元1125和装置检测单元1126。检测单元1120具有利用这些部件从自传感器装置1300获取的传感器信息中提取被设置为目标的检测数据并且将控制单元1110中使用的检测数据输出至控制单元1110的功能。

(用户检测单元1121)

用户检测单元1121具有基于由传感器装置1300感测的信息来检测用户信息的功能。用户信息是关于用户的信息。

用户信息可以包括指示由传感器装置1300感测的用户在预定空间中的位置的信息。用户的位置可以通过飞行时间(ToF)传感器、热摄像装置、RGB摄像装置、超声波传感器、气压传感器、气体(CO₂)传感器等来检测。当在预定空间中存在多个用户时，这些传感器也能够检测用户的数目。

用户信息可以包括指示用户的视线的信息。指示用户视线的信息包括指示用户视点的位置和视线方向的信息。指示用户的视线的信息可以包括指示用户的面部和头部的方向的信息，并且还可以包括指示眼球的方向的信息。例如，可以通过分析RGB摄像装置、红外摄像装置、由用户佩戴的目镜摄像装置等获得的用户眼睛的图像来检测指示用户视线的信息。

(触发检测单元1123)

触发检测单元1123具有基于由传感器装置1300感测的信息来检测触发信息的功能。

触发信息可以包括指示用户的姿势的信息。通过分析由RGB摄像装置、红外摄像装置等获得的图像，可以检测指示用户的姿势的信息。

指示用户的姿势的信息可以包括由用户执行的姿势，例如空中指向姿势和触摸姿势。例如，包括用手指指向目标装置Ob的姿势等。

触发信息可以包括由用户发出的语音的信息，而不是指示上述姿势的信息。可以通过分析由麦克风等收集的语音来检测由用户发出的语音的信息。例如，当目标装置Ob是由诸如“电视”的语音指令指定时，触发检测单元1123可以确定检测到触发。因此，即使用户不能执行诸如姿势的动作，触发检测单元1123也可以用语音检测触发。

(环境检测单元1125)

环境检测单元1125具有基于由传感器装置1300感测的信息来检测环境信息的功能。环境信息是关于用户存在的预定空间的信息。环境信息可以包括各种信息。

环境信息可以包括指示用户存在的预定空间的形状的信息。指示空间形状的信息包括指示形成诸如墙壁表面、天花板、地板、门、家具、装饰物和生活用品的空间的形状的信息。指示空间形状的信息可以是二维信息，或者可以是诸如点云的三维信息。

环境信息可以包括指示形成空间的对象的表面状态的信息。表面状态包括，例如表面的不平坦和颜色。可以基于通过例如LiDAR或深度传感器获得的深度信息来检测表面的凹凸不平。可以通过分析由例如RGB摄像装置捕获的图像来检测表面的颜色。

环境信息可以包括指示形成空间的对象的表面上的照度的信息。对象表面上的照度可以由照度传感器或RGB摄像装置检测。对象表面上的照度可以用于创建通过映射预定空间中对象表面上的照度而获得的环境光图。环境光图指示预定空间中的照度分布并且用于适当地选择用户容易在视觉上识别的显示方法。

环境信息可以包括指示对象在空间中的位置的信息。例如，可以通过图像识别来检测房间中的眼镜、椅子、桌子、杂志、遥控器、电子装置等的位置。指示对象在空间中的位置的信息当然也可以包括非常可能固定在预定空间中的对象，例如壁面、天花板、地板、门、家具和装饰品的位置信息。

环境信息可以根据指示对象的位置的信息中的对象的移动频率逐步地分级。例如，使用其中使用深度学习的机器学习算法，将用户频繁携带和移动其位置的眼镜等分类为频繁移动的对象，而将不移动的墙壁、天花板等分类为不移动的对象。由于在传感器装置1300中获得了许多检测信息，因此当考虑所有获得的检测信息来控制显示时，信息处理装置1100上的负荷很可能很大。因此，通过仅考虑被分类为频繁移动的对象的差异来控制显示，信息处理装置1100能够在抑制信息处理装置1100上的负荷的同时执行高度准确和高速的显示控制。

环境信息可以包括关于预定空间中的环境声音的信息。通过掌握环境声音，可以选择向用户呈现与用户和目标装置之间的位置关系对应的显示和声音中的哪个。当向用户呈现与用户和目标装置之间的位置关系对应的声音时，可以通过根据环境声音改变声音的音量来实现用户的可识别性的改善。

(装置检测单元1126)

装置检测单元1126具有检测在预定空间中被设置为用户的操作目标的目标装置的存在和位置的功能。例如，为了检测目标装置的存在，可以通过由数字生活网络联盟(DLNA，注册商标)、Wifi(注册商标)、USB连接、其他专用机器等连接至信息处理装置1100来检测目标装置的存在。在该情况下，可以检测诸如目标装置的类型和制造商名称的信息。

在检测对象装置的存在和位置时，可以通过在目标装置上粘贴递归反射材料来由红外摄像装置等检测目标装置的存在和位置。可以通过利用摄像装置检测在目标装置的表面上记录的制造商名称或在目标装置的表面上打印的二维条形码来检测目标装置的存在和位置。

当检测到目标装置的存在和位置时，可以通过为每个目标装置生成唯一的超声波并且利用麦克风等收集该超声波来检测目标装置的存在和位置。超声波可以具有例如在不同于人类可听范围的范围中的频率。

目标装置的存在和位置可以如上所述由装置检测单元1126检测，或者可以由用户通过登记操作来检测。这些可以同时执行。

例如，通过用户的手指指向和语音发声来执行用户的登记操作。具体地，可以通过使用摄像装置等检测作为存在于用户的指尖方向上的装置的目标装置的存在位置，并且利用麦克风等收集和分析用户的语音来登记目标装置的类型或位置。上面作为示例说明了用户的手指指向。然而，可以通过用户的触摸、视线或标记来检测目标装置的存在位置，并且可以通过用户的UI选择等来执行目标装置的登记操作。

控制单元1110

控制单元1110根据各种程序控制信息处理装置1100中的整个操作。控制单元1110包括显示控制单元1111和分析单元1115。显示控制单元1111控制由显示装置1200的显示。在该实施方式中，说明了通过显示控制单元1111为用户控制显示的示例。然而，向用户的呈现不限于显示并且可以通过声音来执行。在该情况下，在控制单元1110中包括声音控制单元。

分析单元1115具有执行当控制单元1110控制显示时所需的数据分析的功能。分析单元1115具有基于从用户检测单元1121、环境检测单元1125和装置检测单元1126获得的信息来确定是否用户已经执行触发操作并且指定操作目标装置和指定操作用户的功能。

例如，分析单元1115根据从装置检测单元1126获得的指示目标装置被布置在预定的真实空间中的哪个位置的位置信息、指示目标装置的名称的ID信息等以及从用户检测单元1121获得的指示用户存在于预定的真实空间中的位置的位置信息、触发操作等来指定操作用户和操作目标装置。

具体地，由于用户检测单元1121根据用户的触发操作来检测用户的姿势、声音等，因此分析单元1115将已经执行触发操作的用户指定为预定的真实空间中的一个或更多个用户中的操作用户，对由用户检测单元1121获得的用户的位置信息、姿势等和由装置检测单元1126获得的目标装置的位置信息、目标装置的名称等进行核对，分析哪个目标装置被操作用户设置为操作目标，并且指定操作目标装置。

如果触发操作是语音，例如，当用户说出预定的触发语音“电视”时，用户检测单元1121检测出已经说出语音“电视”的用户，并且分析单元1115将已执行触发操作的用户指定为多个用户中的操作用户。此外，分析单元1115从由装置检测单元1126检测到的目标装置中提取作为电视的目标装置，并且将该目标装置指定为操作目标装置。

(显示控制单元1111)

显示控制单元1111基于由分析单元1115指定的预定的真实空间中的目标装置的位置信息和具有对目标装置的操作权限的用户的位置信息，使显示装置1200显示与用户和目标装置之间的位置关系对应的显示使得用户能够在视觉上识别出真实空间中的显示。因此，用户可以在对由用户选择的目标装置Ob执行操作之前通过视觉上识别显示来掌握目标装置Ob，并且可以掌握哪个用户具有操作权限。

目标装置的位置信息包括指示目标装置被布置在预定的真实空间中的哪个位置的信息。具有对目标装置的操作权限的用户的位置信息包括指示用户存在于预定的真实空间中的哪个位置的信息。分析单元1115基于具有操作权限的用户和目标装置的位置信息来分析用户与目标装置之间的位置关系。位置关系指示具有操作权限的用户与目标装置之间的相互布置位置的关系。位置关系可以包括关于从目标装置或具有操作权限的用户的位置至其中之一存在的位置的距离或方向的相互关系。显示控制单元1111可以根据由分析单元1115获得的位置关系来执行显示控制。

例如，显示控制单元1111可以控制以根据从目标装置的位置至操作用户存在的位置的距离是短还是长来改变显示。如果操作用户靠近目标装置，则即使在目标装置附近执行显示，操作用户也不与其他用户混淆。操作用户可以识别出该操作用户已经获得用于操作操作目标装置的权限。其他方面，如果操作用户远离目标装置，则很有可能在目标装置与操作用户之间存在其他用户、其他目标装置等。因此，显示控制单元1111能够通过控制与操作用户的位置具有连续性的显示，特别是将目标装置和操作用户连接的线段或曲线显示等而不是目标装置附近的显示来抑制其他用户和操作用户的混淆。

例如，显示控制单元1111可以控制以根据哪个方向是从操作用户的位置至目标装置的位置的方向来改变显示。例如，当从操作用户观看时阳光朝着目标装置的方向入射时，在该方向上的真实空间中亮度很高，并且向用户的显示的可视性劣化，显示控制单元1111可以使用当从操作用户观看时与目标装置方向不同的方向的曲线显示而不是使用将操作用户和目标装置连接的直线显示来执行显示的控制。

显示控制单元1111可以基于从所选择的显示装置、用户检测单元1121、环境检测单元1125和装置检测单元1126获得的信息来控制显示，或者可以基于目标装置的选择来控制与用户和目标装置相互关联的显示。

目标装置的选择意味着从预定的真实空间中存在的一个或更多个目标装置中选择用户希望操作的目标装置。当用户选择目标装置时，显示控制单元1111可以控制与具有操作权限的用户和目标装置相互关联的显示。例如，当第一用户选择一个目标装置时，显示控制单元1111可以控制与第一用户和目标装置相互关联的显示，并且可以利用该显示表示第一用户具有对目标装置的操作权限。

当不同于具有对目标装置的操作权限的第一用户的第二用户选择目标装置以便操作目标装置时，显示控制单元1111可以控制与具有操作权限的第一用户和目标装置相互关联的显示，并且利用显示表示第一用户具有对目标装置的操作权限。在以上说明中，一个用户具有操作权限。然而，多个用户可以具有操作权限，或者多个第二用户可以选择目标装置。

类似于根据具有操作权限的用户的触发操作的触发检测，可以根据由用户检测单元1121和触发检测单元1123检测到的用户的姿势和语音输入中的至少一个来执行目标装置的选择。

如果显示与用户和目标装置相互关联，则该显示可以是任何显示。相互关联的显示是指示用户与目标装置之间存在关系的显示，并且包括诸如目标装置对用户的方向的显示或指示用户方向的显示在目标装置附近的位置的投影。可以根据条件或情况分类适当选择显示给用户的显示内容等。条件和情况分类如下所述。

显示控制单元1111可以选择由显示控制单元1111控制的显示装置1200的部件。在该实施方式中，主要说明其中例如将作为投影装置的投影仪1210或包括显示单元的TV1220选择为显示装置的示例。在显示装置1200的选择中，根据条件或情况分类选择适当的形式。条件和情况分类如下所述。

<<3.处理流程>>

参照图4说明根据本公开内容的技术中的使用上述部件的处理流程。图4示出了根据本公开内容的技术中的处理流程。

如图4所示，例如，当按下电源按钮等时，系统1000开始用于环境识别、用户识别和装置识别的操作。具体地，环境检测单元1125执行环境识别、用户检测单元1121执行用户识别，并且装置检测单元1126执行装置识别。这些单元可以一次全部开始操作，或者每个单元可以分别开始操作。操作开始的顺序可以是任何顺序。

在环境识别中，环境检测单元1125检测环境信息(S102)。例如，环境检测单元1125检测墙的位置和形状、门的打开和关闭、马克杯的位置和形状等。

系统1000与环境识别并行地执行用户识别。在用户识别中，用户检测单元1121检测用户信息(S104)。例如，用户检测单元1121通过检测用户的位置或用户数目并且检测用户面对的方向来检测关于用户的信息。

系统1000与环境识别和用户识别并行地执行装置识别。在装置识别中，装置检测单元1126检测可以作为由用户操作的目标的电子装置等的位置、形状、名称等(S106)。

随后，触发检测单元1123对诸如用户的动作、姿势等的触发执行检测(S108)。触发检测的目标可以是由用户发出的语音等而不是用户的动作和姿势。

在触发检测中，当用户执行预定姿势或说出预定语音等时，触发检测单元1123检测触发信号。当系统1000未能检测到姿势、语音等时，系统1000再次开始环境识别、用户识别和装置识别。姿势或语音可以分别作为独立的触发来执行，或者可以作为通过组合多个姿势和说出的多种语音而获得的触发来执行。

当在触发检测中检测到预定姿势、预定语音等时，分析单元1115分析操作用户和被设置为操作目标的目标装置(S110)。当通过分析单元1115分析被操作用户设置为操作目标的目标装置时，指定用户具有操作权限的目标装置和具有对目标装置的操作权限的用户(S112和S114)。

随后，显示控制单元1111基于所指定的操作目标装置的位置信息和所指定的用户的位置信息来选择显示装置1200。显示控制单元1111基于显示装置1200的位置信息以及环境信息和用户信息来创建由具有操作权限的用户在视觉上可识别的显示(S116)。此时，显示控制单元1111可以控制要创建的显示的形式使得对具有操作权限的用户的可视性高于对不具有操作权限的其他用户的可视性。可视性是指示当用户确认显示时识别的容易程度的指示器。随着可见性越高，用户可以更容易地理解显示，而随着可见性越低，用户就越不容易理解显示。

随后，显示控制单元1111控制显示装置1200(S118)。例如，当将投影仪1210选择为显示装置1200时，显示控制单元1111使投影仪1210执行显示的投影。因此，系统1000能够控制与用户和目标装置之间的位置关系对应的显示使得用户能够在视觉上识别真实空间中的显示。因此，提高了用户进行远程操作的便利性。在根据本公开内容的技术中，存在关于显示装置1200的选择和显示的各种变型。在下一部分中将详细说明根据本公开内容的技术的这些变型。

<<4.确定显示地点>>

在此说明示出由信息处理装置1100控制的显示由投影仪1210投影的情况的实施方式。然而，对于显示地点和显示，用户仅必须能够在视觉上识别具有操作权限的用户和所选择的目标装置。因此，呈现显示的装置不限于投影仪1210。

显示仅必须是与具有操作权限的用户和目标装置相互关联的显示。显示控制单元1111基于由分析单元1115分析的具有操作权限的用户U1和目标装置Ob的位置信息来控制显示。相互关联的显示是指示目标装置Ob与具有操作权限的用户U1之间存在关系的显示，以及例如可以是指示从目标装置Ob的位置至具有操作权限的用户U1存在的位置的方向的显示，或者可以是将目标装置Ob和用户U1连接的线段的显示。

<4.1.投影到目标装置附近>

首先，在以下说明中，显示指示从目标装置Ob的位置至具有操作权限的用户U1存在的位置的方向，并且在目标装置附近执行显示的控制。当用户U1和U2存在于预定空间中时，根据由将具有操作权限的用户U1和目标装置Ob连接的直线与将不具有操作权限的其他用户U2和目标装置连接的直线所形成的角度来确定是否在目标装置附近显示该显示。参照图5说明在目标装置附近控制显示的情况。目标装置的附近指示目标装置的圆周和外围。在目标装置的圆周和外围执行显示以抑制其他目标装置和操作目标装置的混淆。

图5是示出用户Ul和U2以及目标装置Ob在预定空间中的布置示例的图。当用户U1和U2存在于预定空间中时，将具有操作权限的用户U1和目标装置Ob连接的直线与将不具有操作权限的其他用户U2和目标装置连接的直线所形成的角度被表示为角度A°。例如，当用户U1和用户U2接近目标装置Ob时，角度A°被认为是大的。在该情况下，用户U1和U2可以仅利用从目标装置Ob的位置至用户U1的位置的方向的显示来识别该显示指示用户U1和U2中的哪个。当可以以该方式通过仅在从目标装置Ob的位置至操作用户的位置的方向上的显示来识别出可以具有操作权限的用户U1和U2时，系统1000可以控制目标装置Ob附接的显示。通过这样的显示，用户U1和用户U2可以同时识别出目标装置Ob被选择为操作目标以及具有操作权限的用户是用户U1和用户U2中的哪个。

作为角度A°大的情况，除了用户U1和用户U2接近目标装置Ob的情况之外，可以想到其中用户U1和用户U2在目标装置Ob的左端和右端等处充分分离的情况下存在的情况。即使在该情况下，也可以在目标装置Ob附近控制显示。因此，即使用户U1和用户U2不存在于目标装置Ob附近，系统1000也可以同时识别出目标装置Ob被选择为操作目标以及具有操作权限的用户是用户U1和用户U2中的哪个。

图6是示出在目标装置Ob附近执行显示的示例的图。图6示出了在目标装置Ob的框架单元的边缘部分处的显示的投影。以该方式，当用户U1和U2可以识别出用户U1和U2相对于目标装置Ob分别存在于哪个方向时，通过在目标装置的边缘部分处执行显示投影，用户可以识别出哪个用户具有对目标装置Ob的操作权限。利用这样的配置，由于在目标装置Ob的框架中显示由系统1000创建的显示，因此可以在不影响目标装置Ob上显示的内容的细节的情况下同时识别目标装置以及具有目标装置操作权限的用户是用户U1和用户U2中的哪个。

图7是显示控制单元1111控制在包括显示单元的目标装置Ob的显示单元的显示区域上叠加的显示的示例。显示控制单元1111可以根据在目标装置Ob的显示单元上显示的内容的显示范围占据显示单元的显示区域的区域的比例，选择是将显示投影成叠加到显示单元的显示区域上还是将显示投影到显示单元的显示区域外部的目标装置Ob上。例如，当内容在显示单元上的显示范围是在距显示单元的显示区域的中心的范围的一部分时，所投影的显示可以被投影为叠加在显示单元的显示区域上的区域中。可以利用这样的配置在目标装置Ob的区域中完成显示的投影。因此，当多个目标装置彼此相邻存在时，可以抑制由显示指示的目标装置被误认。

其他方面，当在显示单元上的内容的显示范围占据显示单元的大部分显示区域时，可以在显示单元的显示区域的外侧上而不是在显示单元的显示区域上执行显示的投影。图8是在显示单元的显示区域的外侧而不是在显示单元的显示区域上执行显示控制的示例。在图8中，示出了其中执行显示的投影以便不与目标装置Ob附近的框架交叠的状态。利用这样的配置，系统1000可以在不影响显示单元上的内容的情况下执行显示的投影。

在以上说明中，说明了要由投影装置投影在包括显示单元的目标装置Ob中的显示的投影地点。然而，当目标装置Ob包括显示单元时，系统1000可以将显示输出至目标装置Ob的显示单元而不是用投影仪1210投影该显示。如在以上说明的情况下，可以根据目标装置Ob的显示单元的显示区域中显示的内容的显示范围所占据显示单元的显示区域的比例来控制显示存在的地点。目标装置Ob进行的显示可以由显示单元执行，或者当在目标装置Ob的框架等中设置灯等时，例如可以使用诸如灯的元件的闪光来执行。以该方式，由于显示是由目标装置Ob本身呈现的，因此与目标装置相互关联的显示以及具有操作权限的用户可以被呈现给用户，而无需单独准备诸如投影仪1210的投影装置。

参照图9A至图9F说明在目标装置Ob附近控制显示的情况下的示例。图9A至图9F是示出显示形式的示例的图。在图9A至图9F中，示出了用户U1具有操作权限的状态。

在图9A中，将显示投影到目标装置Ob的框架附近的整个外围，并且执行在用户U1存在的方向上具有凸形的显示表示。因此，可以同时识别用户U1具有操作权限的目标装置以及用户U1具有操作权限。图9A中的凸形的显示表示是通过等腰三角形来执行的，该等腰三角形具有目标装置Ob的框架的在用户存在的方向上存在的一侧作为底边并且在显示单元存在的一侧的相对侧上具有从框架开始的凸起部分。

在图9B中，通过将具有失真的波形图案显示投影到目标装置Ob的显示单元上来执行具有方向性的表示。通过其中按照从大椭圆至小椭圆的顺序包含椭圆并且椭圆的中心从大椭圆至小椭圆移动到用户U1的方向的波形图表示来显示波形图。在图9B中，用户U1存在的方向由椭圆之间的间隔窄的方向指示，以使得可以同时识别出用户U1具有操作权限的目标装置以及用户U1具有操作权限。

图9C示出了箭头标记的显示被投影到目标装置Ob的显示单元上的状态。箭头标记的箭头方向指示用户U1存在的方向以使得可以同时识别出用户U1具有操作权限的目标装置以及用户U1具有操作权限。

图9D是通过目标装置Ob附近的粒子表示来执行指示方向性的显示的示例。粒子表示可以由梯形形状表示。图9D中的梯形是等腰梯形形状并且投影在存在于用户存在的方向上的目标装置Ob的框架的一侧上的侧部上的目标装置Ob的附近。在由粒子指示的梯形形状中，沿着框架的用户U1存在的一侧上的侧部设置下基部，并且从下基部开始在用户U1存在的方向上设置上基部。在该情况下，上基部的长度小于下基部的长度。这样的粒子表示使得可以同时识别出用户U1具有操作权限的目标装置以及用户U1具有操作权限。

图9E示出了其中将波形图案的显示投影到目标装置Ob的显示单元上以指示用户U1存在的方向的示例。波形图案由具有不同半径的三个同心圆的弧的部分表示。弧线长度逐渐增加的方向指示用户U1存在的方向，以使得可以同时识别出用户U1具有操作权限的目标装置和用户U1具有操作权限。

图9F示出了其中由目标装置Ob显示的内容被再现为具有多个大小尺寸的内容以及其中在改变从目标装置Ob开始的内容的倾斜度的同时大小内容以从具有最小尺寸的内容起的顺序被叠加在用户U1方向上的显示被投影的状态。在叠加内容中从底部内容的中心开始的顶部内容的中心存在的方向指示用户U1的方向以使得可以同时识别出用户U1具有操作权限的目标装置和用户U1具有操作权限。

当以该方式在目标装置Ob附近控制显示时，可以包括各种显示形式。根据环境信息、用户信息和装置信息适当地选择这些显示形式。可以为具有操作权限的用户选择具有高可视性的显示。以上说明的示例仅是示例。本公开内容不限于这样的示例。

<4.2.投影到与目标装置分离的地点>

说明将显示投影到与目标装置分离的地点上的情况。例如，当存在三个或更多个用户时或者当目标装置与用户之间的距离大时，可以执行这样的投影。参照图10说明将显示投影到与目标装置分离的地点上的情况。

图10示出了用户U1和U2以及目标装置Ob的布置示例。当用户U1和U2存在于预定空间中时，显示控制单元1111根据将具有操作权限的用户U1和目标装置Ob连接的直线与将不具有操作权限的其他用户U2和目标装置连接的直线所形成的角度B°来控制显示。在图5和图10中，在分别由用户U1和U2形成的角度A°与B°之间存在A＞B的关系。例如，当用户U1和用户U2的位置变得离目标装置Ob更远时，角度B°被认为更小。在该情况下，难以利用仅在从目标装置Ob开始的方向上的显示来区分用户U1和U2。当存在三个或更多个用户时，很可能由仅在从目标装置OB开始的方向上的显示指示多个用户。在这样的情况下，系统1000可以控制用直线或曲线将目标装置Ob的位置和具有操作权限的用户U1的位置连接的显示。

参照图11说明从目标装置Ob开始的用线段或曲线将目标装置Ob和具有操作权限的用户U1连接的显示。仅需要在操作用户和操作目标装置的显示区域中和该区域周围显示具有起点和终点并且具有用于将起点和终点连接的连续性的线段或曲线。在图11中，与图10中一样，在用户U1与U2之间，存在由将具有操作权限的用户U1和目标装置Ob连接的直线与将不具有操作权限的其他用户U2和目标装置连接的直线形成的角度B°的关系。图11是执行利用线将用户U1和目标装置Ob连接的显示的图。当以该方式通过线将用户U1和目标装置Ob连接时，用户能够在视觉上识别出目标装置Ob被选择为操作目标并且用户具有操作权限。利用这样的显示，可以以更高的独特性指定具有操作权限的用户是用户U1。

仅需要显示使对具有操作权限的用户比对不具有操作权限的其他用户具有更高的可视性的显示。在图12中，示出了在用户U1的可见性高于用户U2的可见性的显示的情况下的示例。

在图12中，显示Ef1是用线段将用户U1和目标装置Ob连接的显示。目标装置Ob是TV并且被布置在TV桌上。桌子被布置在用户U1与目标装置Ob之间。环境信息包括存在于用户U1与目标装置Ob之间的TV桌的形状、关于显示单元的信息以及关于该桌的信息，并且包括深度信息等。因此，显示控制单元1111可以控制显示使得用户U1能够在布置TV桌和桌子的地点处将显示Ef1的线段视觉上识别为一个连接的线段。在该情况下，针对从不同于用户U1的角度的角度视觉上识别显示的用户U2，由于在分割状态下视觉上识别线段，因此难以掌握线段的含义。例如，这样显示对用户U1比对用户U2具有更高的可视性。

在图12中，显示Ef1是用线段将用户U1和目标装置Ob连接的显示。然而，显示不限于线段，并且仅需要显示当从用户U1的视点观看时不被破坏的显示。

图13是示出关于用户U1和显示的概念的图。无论显示的形式如何，用户U1仅需要能够视觉上识别显示，并且用户U1的可视性仅需要高于其他用户的可视性。例如，假设在用户U1与目标装置Ob之间存在具有距离差的对象X1、X2和X3的环境。例如，当呈现连续跨越对象X1、X2和X3的显示Ef2时，当从用户U1侧观看时，显示Ef2可以被识别为连续的直线。该显示允许用户U1通过使用与环境信息中包括的预定空间中的对象的形状有关的深度信息等，将与离用户U1的距离或视线对应的显示Ef2投影到对象X1、X2、X3上来视觉上识别连续显示。利用这样的配置，对于从其他角度视觉上识别显示的其他用户看到破坏的显示。显示对于其他用户是无意义的。使用这样的显示方法允许用户U1以高可视性视觉上识别显示而与预定空间中的对象的数目、大小和形状无关。

在图14A中，示出了在作为将用户U1和目标装置Ob连接的显示的线段的一部分中使用曲线的情况。当用户U1和目标装置Ob通过直线的线段连接时，可能由于阻挡对象X1而导致难以看到目标装置Ob和用户U1的连接。在该情况下，显示可以被创建为避开阻挡对象X1的曲线。然而，曲线的起点和终点分别被控制为目标装置Ob和用户U1。因此，系统1000能够改善显示的可视性。例如，当遮挡对象X1对显示的遮挡的影响大并且对用户U1的显示的可视性极低时，可以代替显示或者与显示一起对用户U1执行声音呈现以使用户U1识别出用户U1具有对目标装置Ob的操作权限。例如，系统1000可以利用具有使用声音效果等的方向性的表示来使用户U1识别出用户U1具有对目标装置Ob的操作权限。

图14B示出了当在将目标装置Ob和用户U1连接的直线的线段中存在阻挡用户U3时控制经过阻挡用户U3的线性显示的情况。通过以经过阻挡用户U3的形式执行显示，可以更加直观地改善用户U1的显示的可视性。

图14C示出了图14A中的阻挡对象Xl是阻挡用户U4的情况。通过执行避免阻挡用户U4的显示，可以降低错误地识别出用户U4具有操作权限的可能性。

图14D示出了根据环境光执行用于曲线显示的显示控制的情况。环境信息包括预定空间中的照度信息。系统1000可以基于照度信息来控制显示。例如，当将显示投影到日光照射到的并且照度高的区域Y上时，很难看到投影的显示。为了抑制观看所投影的显示的难度，可以在照度较低的区域中执行显示。因此，系统1000能够改善用户U1的显示的可视性。

上面说明了存在一个目标装置Ob的情况。然而，可以存在多个目标装置Ob。图15A是示出在多个操作目标装置存在的情况下的显示示例的图。在图15A中，当用户具有对多个目标装置的操作权限时，控制显示以用线段或曲线连接目标装置。例如，在图15A中，用户U1具有对目标装置Ob1和目标装置Ob2的操作权限。在该情况下，可以控制显示使得通过线段或曲线连接目标装置Ob1和目标装置Ob2。可以控制显示使得目标装置Obl、目标装置Ob2和用户U1通过在连接的线段中途分支的显示而连接。利用这样的配置，即使存在具有操作权限的多个目标装置，也可以向用户U1指示用户U1具有操作权限。

图15B是示出其中存在多个目标装置Ob时将用户U1和目标装置Ob1和Ob2连接的显示与图15A所示的显示不同的示例的图。当存在多个目标装置时，可以通过将各个目标装置Ob1和Ob2分别连接至用户U1的线段来执行显示控制。因此，当多个目标装置相邻时，可以通过连接目标装置来抑制显示交叠的可能性并且改善对用户U1的显示的可视性。

<4.3.由智能电话或HMD执行显示的情况>

上面说明了经由投影仪1210和目标装置Ob控制预定空间中的显示的情况。然而，这些显示可以通过智能电话的显示单元来控制，或者可以通过头戴式显示器(HMD)的显示单元来控制。即，可以在智能电话、HMD等的虚拟空间上显示和控制这些显示。

例如，当用户U1通过智能电话视觉上识别预定空间时，系统1000的显示控制单元1111可以基于环境信息、用户信息和装置信息对智能电话的显示单元执行显示控制。持有智能电话的用户可以是具有操作权限的用户，也可以是不具有操作权限的用户。显示控制单元1111可以根据用户的观看方向、智能电话的位置和用户的位置信息，基于环境信息、用户信息和装置信息来对智能电话的显示单元执行显示控制。

例如，当用户U1经由用户U1佩戴的HMD的显示单元在视觉上识别出预定空间时，系统1000的显示控制单元1111可以以与智能电话相同的方式根据用户的观看方向、目标装置的位置、HMD的位置和用户的位置信息来对HMD的显示单元执行显示控制。

<<5.修改例>>

<5.1.转移操作权限的情况>

在以上说明中，显示控制单元1111控制指示目标装置Ob被选择并且具有操作权限的用户是用户U1的显示。说明了在执行操作之前将操作权限转移给其他用户的情况。

可以在操作目标装置Ob之前转移操作权限。例如，用户U1选择目标装置并且将操作权限转移给用户U2而不执行目标装置的操作，由此用户U2可以获取操作权限并且执行目标装置的操作。图16是示出转移了操作权限的概念图的图。在图16中，用户U1选择目标装置Ob，从而将目标装置Ob的操作画面S拉近到用户U1。通过在拉近到用户U1的操作屏幕S上沿用户2的方向滑动手部，用户U1可以将操作画面S(即，对目标装置Ob的操作权限)传递给用户2的手部。当执行操作画面S的转移时，例如，可以将用户U1和目标装置Ob连接的线段Ef3切换为将用户2和目标装置Ob连接的线段Ef4。

在图17中，说明了存在两个用户的情况。然而，在预定空间中可以存在三个用户。在该情况下，用户可以通过在操作画面S上在任意用户的方向上滑动手部来将对目标装置Ob的操作权限转移给任意用户。

在以上说明中，说明了一个用户具有操作权限的情况。然而，在本公开内容的技术中，具有操作权限的用户不限于一个用户并且可以是多个用户。此时，显示可以指示对多个用户的方向性。例如，当多个用户具有对一个目标装置的操作权限时，显示可以向多个用户指示从目标装置的位置至操作用户的位置的方向。

具有操作权限的多个用户的显示可以彼此不同。例如，当具有操作权限的第一用户比第二用户更靠近操作目标装置时，可以通过在目标装置附近执行显示来指示第一用户具有操作权限。此时，当具有操作权限的第二用户存在于比第一用户更远离操作目标装置的地点时，可以通过执行具有连续性(例如，将第二用户和操作目标装置连接的线段或曲线)的显示来指示第二用户具有操作权限。以该方式，显示可以是具有操作权限的多个用户的不同显示。

对于具有操作权限的多个用户的不同显示的其他示例包括以下情况：当操作目标装置时，在具有操作权限的多个用户中存在操作顺序。在那种情况下的显示可以表示可操作用户的顺序，例如执行将能够首先操作目标装置的用户和目标装置连接的线段显示，以及执行将能够第二操作目标装置的用户和目标装置连接的线段显示以便从线段分支。

显示控制单元1111可以使用预先由多个用户设置的显示形式来执行显示控制。例如，显示控制单元1111可以当用户设置喜欢的显示形式时通过例如针对设置了线段显示的用户使用线段显示并且针对设置了曲线显示的用户使用曲线显示来根据各个用户执行不同的显示。

<5.2.无法识别对目标装置的操作的情况>

接下来，说明显示的多样性。在上述情况下，检测到用户U1的触发操作，分析单元1115执行分析并且指定目标装置Ob和具有操作权限的用户U1，并且显示控制单元1111基于目标装置Ob和具有操作权限的用户U1的位置信息执行显示控制。

下面说明了在尽管执行了触发的检测但是系统1000不能识别由用户执行的操作的情况下的显示示例。具体地，尽管分析单元1115从一个或更多个目标装置和一个或更多个用户中指定操作用户和操作目标装置，但是不能识别指定之后的操作。此时，显示可以是不具有方向性的显示。在这样的情况下，用户U1不能操作目标装置。因此，为了将该情况与用户确实具有操作权限的情况区分开的目的，可以呈现不具有目标装置和用户的方向性的显示。在图17A至图17H中示出了不具有方向性的显示的具体示例。

图17A是其中在目标装置Ob的附近，特别是框架单元的整个外围附近执行显示的投影以及执行其中球形显示在框架单元上四处移动的显示的投影的示例。在四处移动显示中，由于方向性总是移动，因此可以执行不具有方向性的表示。系统1000可以通过该显示指示无法识别对目标装置的操作。

图17B是以叠加在目标装置Ob的显示单元上的具有不同直径的椭圆形表示执行显示的示例。椭圆具有相同的中心位置并且与其中椭圆在椭圆的位置中具有方向性的图9B所示的表示不同。通过执行不向椭圆形表示赋予方向性的显示，系统1000可以指示无法识别对目标装置的操作。

图17C是在目标装置Ob的显示单元上执行诸如问号的特定显示的示例。通过示出诸如问号的特定显示，系统1000可以指示无法识别对目标装置的操作。显示不限于问号并且可以是指示不能识别来自用户的操作的内容。

在图17D中，显示被投影在目标装置Ob的框架单元的整个外围上。系统1000可以利用该显示指示无法识别对目标装置的操作。

图17E是在目标装置Ob附近执行从目标装置Ob的位置起的沿不是到用户存在的位置的方向的方向延伸线段的显示的示例。线段可以是直线或可以是曲线。通过使用用于不将线段延伸到可以具有操作权限的用户的显示，系统1000可以指示无法识别对目标装置的操作。

图17F是其中在目标装置Ob的附近或在显示单元的显示区域上投影粒子的显示的示例。粒子不均匀地散布在目标装置Ob的整个外围上并且粒子被显示为不具有方向性。系统1000可以利用这样的显示来指示无法识别对目标装置的操作。

图17G是显示具有不同尺寸的椭圆以围绕目标装置Ob附近的目标装置Ob的示例。与指示方向性的显示不同，由于椭圆的中心位置如图9B所示不同，因此在图17G中椭圆具有相同的中心位置并且不指示方向性。系统1000可以利用这样的显示来指示无法识别对目标装置的操作。

图17H是与图9F不同显示内容不向用户U1投影并且执行不从目标装置Ob的显示单元移动的显示的示例。系统1000可以利用这样的显示来指示无法识别对目标装置的操作。

上面使用具体示例说明了未指示方向性的表示。然而，显示可以是任何显示，只要显示不指示对用户U1的方向性即可。显示不限于上述示例。

<5.3.目标装置针对某个用户锁定的情况>

当目标装置针对某个用户被锁定时(当目标装置处于不可操作状态时)，除了指示图9A至图9F所示的方向性的显示之外，还可以添加诸如指示锁定状态的钥匙标记的特定显示以执行显示。显示可以是通过将特定显示添加到图9A至图9F所示的具有方向性的显示而获得的显示，或者可以是通过将特定显示添加到图17A至图17H所示的不具有方向性的显示而获得的显示。

图18A至图18H示出了在目标装置Ob的操作针对用户U1被锁定的情况下的显示示例。

图18A是示出其中除了图9A所示的显示之外还添加诸如钥匙标记的特定标记的示例的图。该显示可以向用户U1指示由用户U1选择的目标装置并且指示用户U1已经执行选择并且指示目标装置的操作被锁定。

图18B是示出其中除了图9B所示的显示之外还添加诸如钥匙标记的特定标记的示例的图。该显示可以向用户U1指示由用户U1选择的目标装置并且指示用户U1已经执行选择并且指示目标装置的操作被锁定。

图18C是示出其中除了图9C所示的显示之外还添加诸如钥匙标记的特定标记的示例的图。该显示可以向用户U1指示由用户U1选择的目标装置并且指示用户U1已经执行选择并且指示目标装置的操作被锁定。

图18D是示出其中显示被投影到目标装置Ob的壳体的框架单元的边缘部分上以指示在边缘部分方向中用户U1存在的方向的显示的示例的图。除了该显示之外，还可以在目标装置Ob的显示单元上添加诸如钥匙标记的特定标记以向用户U1指示由用户U1选择的目标装置并且指示用户U1已经执行选择并且指示目标装置的操作被锁定。

图18E是示出其中执行将目标装置Ob和用户U1连接的显示以指示由用户U1选择的目标装置并且指示用户U1已经执行选择的显示的示例的图。除了该显示之外，还可以添加诸如钥匙标记的特定标记以向用户U1指示由用户U1选择的目标装置并且指示用户U1已经执行选择并且指示目标装置的操作被锁定。

图18F是示出其中除了图9D所示的显示之外还将诸如钥匙标记的特定标记添加成叠加到粒子上的显示的图。该显示可以向用户U1指示由用户U1选择的目标装置并且指示用户U1已经执行选择并且指示目标装置的操作被锁定。

图18G是示出其中除了图9E之外还添加诸如钥匙标记的特定标记的显示的图。该显示可以向用户U1指示由用户U1选择的目标装置并且指示用户U1已经执行选择并且指示目标装置的操作被锁定。

图18H是示出其中除了图9F之外还添加诸如钥匙标记的特定标记的显示的图。该显示可以向用户U1指示由用户U1选择的目标装置并且指示用户U1已经执行选择并且指示目标装置的操作被锁定。

然而，图18A至图18H是指示对用户U1的方向性的显示，图19A是在不指示对用户U1的方向性的情况下指示目标装置Ob被锁定的示例。在图19A中，在目标装置Ob的显示单元上执行诸如钥匙标记的特定显示。该显示可以指示目标装置Ob的操作被锁定。

像图19A一样，图19B是在不指示对用户的方向性的情况下指示目标装置Ob被锁定的示例。在图19B中，由于目标装置Ob不包括显示单元，因此除了围绕目标装置Ob附近的显示之外，还执行诸如钥匙标记的特定显示。该显示可以指示目标装置Ob的操作被锁定。

在以上说明中，钥匙标记是特定标记的示例。然而，特定标记不限于这样的示例，只要可以把握用户U1被锁定即可。例如，可以执行字符等的显示。

<<6.硬件配置示例>>

最后，参照图20说明根据本实施方式的信息处理装置的硬件配置。图20是示出根据本实施方式的信息处理装置的硬件配置的示例的框图。注意，图20所示的信息处理装置900可以实现例如图3所示的信息处理装置1100。通过以下说明的软件和硬件的协作来实现根据本实施方式的信息处理装置1100的信息处理。

如图20所示，信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。信息处理装置900包括桥接器904、外部总线904b、接口905、输入装置906、显示装置907、存储装置908、驱动器909、连接端口911和通信装置913。信息处理装置900可以包括电路和诸如DSP或ASIC的处理电路来代替CPU 901或与CPU 901一起。

CPU 901用作算术处理装置和控制装置并且根据各种程序来控制信息处理装置900中的整个操作。CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、算术运算参数等。RAM 903临时存储由CPU901在执行中使用的程序以及在执行中适当改变的参数等。CPU 901可以形成例如图3所示的检测单元1120和控制单元1110。

CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a彼此连接。主机总线904a经由桥接器904连接至诸如外围部件互连/接口(PCI)总线的外部总线904b。注意，主机总线904a、桥接器904和外部总线904b并不总是需要分离。主机总线904a、桥接器904和外部总线904b的功能可以在一个总线中实现。

输入装置906由用户向其输入信息的装置，例如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆来实现。输入装置906可以是例如使用红外线和其他无线电波的远程控制装置，或者可以是适合于信息处理装置900的操作的外部连接装置，例如蜂窝电话或PDA。此外，输入装置906可以包括，例如输入控制电路等，其基于由用户使用上述输入装置输入的信息来生成输入信号并且将该输入信号输出至CPU 901。信息处理装置900的用户可以通过操作输入装置906来输入各种数据并且向信息处理装置900指示处理操作。

显示装置907由能够在视觉上或听觉上向用户通知所获取的信息的装置形成。作为这样的装置，存在诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置、激光投影仪、LED投影仪和灯的显示装置、诸如扬声器和耳机的声音输出装置等。显示装置907输出例如通过信息处理装置900执行的各种处理获得的结果。具体地，显示装置907以诸如文本、图像、表和图形的各种形式在视觉上显示通过信息处理装置900执行的各种处理而获得的结果。其他方面，当使用声音输出装置时，声音输出装置将包括再现的声音数据和音频数据的音频信号转换为模拟信号并且在听觉上输出该模拟信号。

存储装置908是形成为信息处理装置900的存储单元的示例的用于数据存储的装置。存储装置908例如由诸如HDD的磁存储装置、半导体存储装置、光学存储装置、磁光存储装置等来实现。存储装置908可以包括存储介质、将数据记录在存储介质中的记录装置、从存储介质中读取数据的读取装置、删除记录在存储介质中的数据的删除装置等。存储装置908存储由CPU 901执行的程序和各种数据、从外部获取的各种数据等。存储装置908可以形成例如图3所示的存储单元1140。

驱动器909是用于存储介质的读取器并且被结合在信息处理装置900中或从外部附接至信息处理装置900。驱动器909读出记录在插入到驱动器909中的诸如磁盘、光盘、磁光盘或半导体存储器的可移除存储介质中的信息，并且将该信息输出至RAM 903。驱动器909还可以在可移除存储介质中写入信息。

连接端口911是连接至外部装置的接口并且是至外部装置的连接端口，该连接端口能够通过例如通用串行总线(USB)等传输数据。连接端口911可以形成例如图3所示的I/F单元1130。连接端口911连接至图3所示的显示装置1200和传感器装置1300。

通信装置913是由例如用于连接至网络920等的通信装置形成的通信接口。通信装置913例如是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。通信装置913可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种通信的调制解调器等。通信装置913可以根据诸如TCP/IP的预定协议在通信装置913与互联网和其他通信装置之间发送和接收信号等。通信装置913可以形成例如图3所示的I/F单元1130。通信装置913可以与图3所示的显示装置1200和传感器装置1300通信。

注意，网络920是用于从连接至网络920的装置发送的信息的传输线。例如，网络920可以包括诸如因特网的公用线网络、电话线网络和卫星通信网络、包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。网络920可以包括诸如因特网协议-虚拟专用网(IP-VPN)的专线网络。

也可以创建一种计算机程序，其用于使并入信息处理装置1100中的诸如CPU、ROM和RAM的硬件发挥与上述根据本实施方式的信息处理装置1100的部件的功能等效的功能。还提供了存储有计算机程序的记录介质。

<<7.总结>>

上面参照图1至图20详细说明了本公开内容的实施方式。如上所述，根据本实施方式的系统1000基于预定空间中的目标装置的位置信息和用户的位置信息执行与目标装置和用户之间的位置关系对应的显示。因此，可以在操作之前视觉上识别具有对目标装置的操作权限的用户和目标装置。

上面参照附图详细说明了本公开内容的优选实施方式。然而，本公开内容的技术范围不限于这样的示例。显然，在本公开内容的技术领域中具有普通知识的技术人员可以想到在权利要求中描述的技术思想的范围内的各种改变示例或校正示例。这些改变示例或校正示例也被理解为自然地属于本公开内容的技术范围。

注意，在本说明书中说明的装置可以被实现为独立的装置，或者装置中的部分或全部可以被实现为单独的装置。例如，图3所示的信息处理装置1100、显示装置1200和传感器装置1300可以被配置为独立的装置。例如，图3所示的信息处理装置1100可以被配置为通过网络等连接至显示装置1200和传感器装置1300的服务器装置。例如，在图3所示的信息处理装置1100的功能部件示例中，控制单元1110可以被包括在通过网络等连接至I/F单元1130和检测单元1120的诸如服务器的装置中。

在本说明书中使用流程图说明的处理可能并不总是以所示顺序执行。可以并行执行若干处理步骤。可以采用附加的处理步骤，或者可以省略处理步骤中的部分。

在本说明书中描述的效果仅是说明性或示例性的效果而不是限制性的。即，根据本公开内容的技术可以根据本说明书的描述实现与上述效果一起或者代替上述效果的对于本领域技术人员明显的其他效果。

注意，以下描述的配置也属于本公开内容的技术范围。

(1)

一种信息处理装置，其包括显示控制单元，所述显示控制单元基于在预定的真实空间中的目标装置的位置信息和具有对所述目标装置的操作权限的用户的位置信息来控制与所述用户和所述目标装置之间的位置关系对应的显示，使得在所述真实空间中所述用户能够在视觉上识别所述显示。

(2)

根据(1)所述的信息处理装置，其中，所述显示控制单元基于所述目标装置的选择来控制与所述用户和所述目标装置相互关联的所述显示。

(3)

根据(1)或(2)所述的信息处理装置，其中，所述显示是表示从所述目标装置的位置至所述用户的位置的方向的显示。

(4)

根据(1)至(3)中的任一项所述的信息处理装置，其中，所述显示是使对于所述用户相比于不具有所述操作权限的其他用户具有更高的可视性的显示。

(5)

根据(1)至(4)中的任一项所述的信息处理装置，其中，所述显示是将所述用户和所述目标装置连接的线段或曲线。

(6)

根据(1)至(5)中的任一项所述的信息处理装置，其中，

所述目标装置包括显示单元，并且

所述显示控制单元使所述显示单元显示所述显示。

(7)

根据(1)至(5)中的任一项所述的信息处理装置，其中，所述显示控制单元使投影装置投影所述显示。

(8)

根据(7)所述的信息处理装置，其中，

所述投影装置包括能够改变投影方向的可移动单元，并且

所述显示控制单元改变所述投影装置的投影方向以改变所述显示的投影地点。

(9)

根据(8)所述的信息处理装置，其中，所述显示控制单元基于与所述真实空间有关的环境信息来确定所述投影地点。

(10)

根据(9)所述的信息处理装置，其中，所述环境信息包括所述真实空间中的亮度、颜色或声音，或者与形成所述真实空间的对象有关的深度信息。

(11)

根据(1)至(10)中的任一项所述的信息处理装置，其中，所述显示控制单元根据由将具有所述操作权限的所述用户和所述目标装置连接的直线与将不具有所述操作权限的其他用户和所述目标装置连接的直线形成的角度来改变所述显示。

(12)

根据(11)所述的信息处理装置，其中，当所述角度大于预定角度时，所述显示被显示在所述目标装置的附近或者被显示为叠加在所述目标装置上，当所述角度小于所述预定角度时，通过将所述用户和所述目标装置连接的线段或曲线来显示所述显示。

(13)

根据(6)所述的信息处理装置，其中，所述显示控制单元根据在所述目标装置的显示单元上显示的内容的显示范围占据所述显示单元的显示区域的区域的比例，选择是将所述显示显示在所述显示单元的显示区域内还是将所述显示显示在所述显示区域的外侧。

(14)

根据(13)所述的信息处理装置，其中，当将所述显示显示在所述显示区域的所述外侧时，通过投影装置来投影所述显示。

(15)

根据(2)所述的信息处理装置，其中，根据预定空间中用户的姿势和语音输入中的至少一个来执行所述目标装置的选择。

(16)

根据(5)所述的信息处理装置，其中，当所述用户具有对多个所述目标装置的所述操作权限时，所述线段或曲线还包括连接所述目标装置的线段或曲线。

(17)

根据(5)所述的信息处理装置，其中，当所述操作权限从所述用户转移至其他用户时，所述显示控制单元将表示从所述目标装置的位置至所述用户存在的位置的方向的显示改变为表示所述其他用户存在的方向的显示。

(18)

根据(8)所述的信息处理装置，其中，所述显示控制单元使所述显示投影成叠加到所述目标装置的壳体上或投影到所述目标装置的壳体附近。

(19)

一种信息处理方法，包括：基于在预定的真实空间中的目标装置的位置信息和具有对所述目标装置的操作权限的用户的位置信息来控制与所述用户和所述目标装置之间的位置关系对应的显示，使得在所述真实空间中所述用户能够在视觉上识别所述显示。

(20)

一种记录介质，其记录有用于使计算机用作显示控制单元的程序，所述显示控制单元基于在预定的真实空间中的目标装置的位置信息和具有对所述目标装置的操作权限的用户的位置信息来控制与所述用户和所述目标装置之间的位置关系对应的显示，使得在所述真实空间中所述用户能够在视觉上识别所述显示。

参考标记列表

1000 系统

1100 信息处理装置

1110 控制单元

1111 显示控制单元

1115 分析单元

1120 检测单元

1121 用户检测单元

1123 触发检测单元

1125 环境检测单元

1126 装置检测单元

1130 I/F单元

1140 存储单元

1200 显示装置

1300 传感器装置

Claims

1.一种信息处理装置，其包括显示控制单元，所述显示控制单元基于在预定的真实空间中的目标装置的位置信息和具有对所述目标装置的操作权限的用户的位置信息来控制与所述用户和所述目标装置之间的位置关系对应的显示，使得在所述真实空间中所述用户能够在视觉上识别所述显示。

2.根据权利要求1所述的信息处理装置，其中，所述显示控制单元基于所述目标装置的选择来控制与所述用户和所述目标装置相互关联的所述显示。

3.根据权利要求1所述的信息处理装置，其中，所述显示是表示从所述目标装置的位置至所述用户的位置的方向的显示。

4.根据权利要求1所述的信息处理装置，其中，所述显示是使对于所述用户相比于不具有所述操作权限的其他用户具有更高的可视性的显示。

5.根据权利要求1所述的信息处理装置，其中，所述显示是将所述用户和所述目标装置连接的线段或曲线。

6.根据权利要求1所述的信息处理装置，其中，

所述目标装置包括显示单元，并且

所述显示控制单元使所述显示单元显示所述显示。

7.根据权利要求1所述的信息处理装置，其中，所述显示控制单元使投影装置投影所述显示。

8.根据权利要求7所述的信息处理装置，其中，

所述投影装置包括能够改变投影方向的可移动单元，并且

9.根据权利要求8所述的信息处理装置，其中，所述显示控制单元基于与所述真实空间有关的环境信息来确定所述投影地点。

10.根据权利要求9所述的信息处理装置，其中，所述环境信息包括所述真实空间中的亮度、颜色或声音，或者与形成所述真实空间的对象有关的深度信息。

11.根据权利要求1所述的信息处理装置，其中，所述显示控制单元根据由将具有所述操作权限的所述用户和所述目标装置连接的直线与将不具有所述操作权限的其他用户和所述目标装置连接的直线形成的角度来改变所述显示。

12.根据权利要求11所述的信息处理装置，其中，当所述角度大于预定角度时，所述显示被显示在所述目标装置的附近或者被显示为叠加在所述目标装置上，当所述角度小于所述预定角度时，通过将所述用户和所述目标装置连接的线段或曲线来显示所述显示。

13.根据权利要求6所述的信息处理装置，其中，所述显示控制单元根据在所述目标装置的显示单元上显示的内容的显示范围占据所述显示单元的显示区域的区域的比例，选择是将所述显示显示在所述显示单元的显示区域内还是将所述显示显示在所述显示区域的外侧。

14.根据权利要求13所述的信息处理装置，其中，当将所述显示显示在所述显示区域的所述外侧时，通过投影装置来投影所述显示。

15.根据权利要求2所述的信息处理装置，其中，根据预定空间中用户的姿势和语音输入中的至少一个来执行所述目标装置的选择。

16.根据权利要求5所述的信息处理装置，其中，当所述用户具有对多个所述目标装置的所述操作权限时，所述线段或曲线还包括连接所述目标装置的线段或曲线。

17.根据权利要求5所述的信息处理装置，其中，当所述操作权限从所述用户转移至其他用户时，所述显示控制单元将表示从所述目标装置的位置至所述用户存在的位置的方向的显示改变为表示所述其他用户存在的方向的显示。

18.根据权利要求8所述的信息处理装置，其中，所述显示控制单元使所述显示投影成叠加到所述目标装置的壳体上或投影到所述目标装置的壳体附近。

19.一种信息处理方法，包括：基于在预定的真实空间中的目标装置的位置信息和具有对所述目标装置的操作权限的用户的位置信息来控制与所述用户和所述目标装置之间的位置关系对应的显示，使得在所述真实空间中所述用户能够在视觉上识别所述显示。

20.一种记录介质，其记录有用于使计算机用作显示控制单元的程序，所述显示控制单元基于在预定的真实空间中的目标装置的位置信息和具有对所述目标装置的操作权限的用户的位置信息来控制与所述用户和所述目标装置之间的位置关系对应的显示，使得在所述真实空间中所述用户能够在视觉上识别所述显示。