CN109074212B - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

[问题]为了实现即使在对多个视觉识别地呈现的对象中的一个或更多个对象进行选择性操纵时也以更适合的方式实现与用户的交互。[解决方案]提供了一种信息处理装置，其设置有：控制单元，其使预定输出单元显示一组或更多组显示信息；检测单元，其检测用于操纵视觉识别对象的操作；以及确定单元，其根据操作的检测结果来确定各自均用作待操纵的候选的一组或更多组显示信息，其中，如果存在多个确定出的候选，则控制单元控制多个确定出的候选中的至少一个候选的显示位置，使得这些候选彼此分离。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开内容涉及信息处理装置、信息处理方法和程序。

背景技术

存在用于操作所谓的信息处理装置(或者包括信息处理装置的信息处理系统)例如个人计算机(PC)、智能电话和平板终端的各种类型的用户界面(UI)。特别地，近年来，不仅提出了使用装置例如鼠标或触摸板的输入界面，而且提出了使用各种分析技术或者各种识别技术的各种类型的输入界面。

例如，专利文献1公开了检测用户的视线的技术的示例。通过应用这样的技术，例如，还检验了用于针对各种类型的可视觉识别地呈现的信息根据用户的视线接收指定，并且实现用户与信息处理装置之间的交互的界面。

引用列表

专利文献

专利文献1：JP2012-70081A

发明内容

技术问题

另一方面，在对多个目标选择性地执行操作的情况下，信息处理装置可能难以以对可视觉识别地呈现的目标执行操作的方法来择一地确定由用户通过输入界面指定的操作目标。在这样的情况下，信息处理装置可能难以准确地确定用户的意图，并且最终可能难以提供用户期望的服务。

响应于这样的问题，在一些情况下，信息处理装置可以通过向用户请求相同的输入来再次尝试确定由用户指定的目标。然而，即使在与先前输入相同的情况下再次执行相同的输入，信息处理装置也可能不一定能够基于输入可替选地确定所指定的操作目标，并且一些情况下由于复杂的操作，与用户的交互可能是不连续的。

因此，在本公开内容中，提出了即使在对多个可视觉识别地呈现的目标选择性地执行操作的情况下，也可以以更优选的方式实现与用户的交互的信息处理装置、信息处理方法和程序。

问题的解决方案

根据本公开内容，提供了一种信息处理装置，包括：控制单元，其被配置成使预定输出单元显示一条或更多条显示信息；检测单元，其被配置成检测针对可视觉识别对象的操作；以及确定单元，其被配置成根据操作的检测结果来确定用作操作的目标的显示信息的候选。在存在多个确定出的候选的情况下，控制单元控制至少一个候选的显示位置，使得多个候选彼此分离。

另外，根据本公开内容，提供了一种信息处理方法，包括：通过计算机系统，使预定输出单元显示一条或更多条显示信息；检测针对可视觉识别对象的操作；根据操作的检测结果来确定用作操作的目标的显示信息的候选；在存在多个确定出的候选的情况下，控制至少一个候选的显示位置，使得多个候选彼此分离。

另外，根据本公开内容，提供了一种程序，该程序使计算机系统执行以下操作：使预定输出单元显示一条或更多条显示信息；检测针对可视觉识别的对象的操作；根据操作的检测结果来确定用作操作的目标的显示信息的候选；以及在存在多个确定出的候选的情况下，控制至少一个候选的显示位置，使得多个候选彼此分离。

本发明的有益效果

根据如上所描述的本公开内容，可以提供即使在对多个可视觉识别地呈现的目标选择性地执行操作的情况下，也可以以更优选的方式实现与用户的交互的信息处理装置、信息处理方法和程序。

注意，以上描述的效果不一定是限制性的。利用或者代替以上效果，可以实现本说明书中描述的任一种效果或者可以从本说明书中理解的其他效果。

附图说明

图1是示出根据本公开内容的实施方式的信息处理系统的整体配置的示例的说明图。

图2是用于描述根据实施方式的输入/输出装置的示意性配置的示例的说明图。

图3是用于描述信息处理系统与用户之间的交互的示例的说明图。

图4是用于描述根据该实施方式的信息处理系统的操作的基本原理的说明图。

图5是用于描述视线分解能力的说明图。

图6是示出根据实施方式的信息处理系统的功能配置的示例的框图。

图7是示出根据实施方式的信息处理系统的一系列处理的流程的示例的流程图。

图8是示出根据修改3的信息处理系统的概要的说明图。

图9是示出根据修改3的信息处理系统的概要的说明图。

图10是示出根据修改4的信息处理系统的概要的说明图。

图11是用于描述根据修改4的信息处理系统的另一方面的说明图。

图12是示出根据修改5的信息处理系统的概要的说明图。

图13是用于描述根据修改5的信息处理系统的另一方面的说明图。

图14是用于描述根据修改5的信息处理系统的另一方面的说明图。

图15是用于描述根据修改5的信息处理系统的另一方面的说明图。

图16是示出根据修改6的信息处理系统的概要的说明图。

图17是用于描述根据实施方式的信息处理系统的第一应用示例的说明图。

图18是用于描述根据实施方式的信息处理系统的第二应用示例的说明图。

图19是用于描述根据实施方式的信息处理系统的第二应用示例的说明图。

图20是用于描述根据实施方式的信息处理系统的第三应用示例的说明图。

图21是用于描述根据实施方式的信息处理系统的第三应用示例的另一方面的说明图。

图22是示出构成根据实施方式的信息处理系统的信息处理装置的硬件配置的示例的功能框图。

具体实施方式

在下文中，将参照附图来详细描述本公开内容的(一个或更多个)优选实施方式。注意，在本说明书和附图中，具有基本上相同功能和结构的结构元件使用相同的附图标记来表示，并且省略对这些结构要素的重复说明。

注意，将按以下顺序来给出描述。

1.概要

1.1.示意性配置

1.2.输入/输出装置的配置

1.3.自身位置估计的原理

2.对交互的检查

3.技术特征

3.1.基本原理

3.2.功能配置

3.3.处理

4.修改

4.1.修改1：根据显示目标的特性的显示控制的示例

4.2.修改2：根据系统特性的显示控制的示例

4.3.修改3：视线被引导至的位置的控制示例

4.4.修改4：除候选以外的显示信息的显示控制的示例

4.5.修改5：用于引导视线的控制的示例

4.6.修改6：根据优先级的控制的示例

4.7.修改7：根据状态或情况的控制的示例

5.应用示例

5.1.应用示例1：智能电话或平板终端的应用示例

5.2.应用示例2：桌面系统的应用示例

5.3.应用示例3：采用触摸操作情况下控制的示例

6.硬件配置

7.结论

<<1.系统概要>>

<1.1.系统的整体配置>

首先，将参照图1来描述根据本公开内容的实施方式的信息处理系统的整体配置的示例。在图1中，附图标记M111示意性地示出了被定位在真实空间中的对象(即，真实对象)。另外，附图标记V131和V135示意性地示出了被呈现为叠加在真实空间中的虚拟内容(即，虚拟对象)。即，根据本实施方式的信息处理系统1基于所谓的AR技术将虚拟对象叠加在真实空间中的对象例如真实对象M111上，并且将结果呈现给用户。注意，为了使根据本实施方式的信息处理系统的特性更容易理解，在图1中共同呈现了真实对象和虚拟对象二者。

如图1所示，根据本实施方式的信息处理系统1包括信息处理装置 10和输入/输出装置20。信息处理装置10和输入/输出装置20被配置成能够经由预定网络向彼此发送信息和从彼此接收信息。注意，连接信息处理装置10和输入/输出装置20的网络类型不受特别限制。作为具体示例，网络可以配置有所谓的无线网络例如基于Wi-Fi(注册商标)标准的网络。另外，作为另一示例，网络可以包括因特网、专用线路、局域网(LAN)、广域网(WAN)等。另外，网络可以包括多个网络，或者网络的一部分可以被配置为有线网络。

输入/输出装置20是用于获取各种类型的输入信息或者向持有输入/ 输出装置20的用户呈现各种类型的输出信息的组成部分。另外，输入/输出装置20对输出信息的呈现是基于由输入/输出装置20获取的输入信息而由信息处理装置10控制的。例如，输入/输出装置20获取用于识别真实对象M111的信息(例如，捕获的真实空间图像)作为输入信息，并且将所获取的信息输出至信息处理装置10。信息处理装置10基于从输入/ 输出装置20获取的信息来识别真实对象M111在真实空间中的位置，并且使输入/输出装置20基于识别的结果来呈现虚拟对象V131和V135。利用这样的控制，输入/输出装置20可以向用户呈现虚拟对象V131和V135，使得虚拟对象V131和V135基于所谓的AR技术叠加在真实对象M111 上。

另外，输入/输出装置20被配置成在使用时由用户安装在头部的至少一部分上的所谓的头部安装型装置，并且被配置成能够检测用户的视线。基于这样的配置，在例如基于输入/输出装置20对用户的视线的检测结果而识别出用户注视期望目标(例如，真实对象M111、虚拟对象V131和 V135等)的情况下，信息处理装置10可以将该目标确定为操作目标。另外，信息处理装置10可以使用关于输入/输出装置20的预定操作作为触发来将用户的视线所指向的目标确定为操作目标。以这种方式，信息处理装置10可以通过确定操作目标并且执行与该操作目标相关联的处理来经由输入/输出装置20向用户提供各种类型的服务。

注意，输入/输出装置20和信息处理装置10在图1中被示出为不同的装置。但是输入/输出装置20和信息处理装置10可以被一体地配置。另外，下面将分别详细地描述输入/输出装置20和信息处理装置10的配置和处理。

以上参照图1描述了根据本公开内容的实施方式的信息处理系统的示意性配置的示例。

<1.2.输入/输出装置的配置>

接下来，将参照图2来描述图1中示出的根据本实施方式的输入/输出装置20的示意性配置的示例。图2是用于描述根据本实施方式的输入/ 输出装置的示意性配置的示例的说明图。

如上所描述的，根据本实施方式的输入/输出装置20被配置成通过由用户安装在头部的至少一部分上使用的所谓的头部安装型装置。例如，在图2所示的示例中，输入/输出装置20被配置成所谓的眼部穿戴式(眼镜型)装置，并且透镜293a和293b中的至少一个被配置为透射型显示器(输出单元211)。另外，输入/输出装置20包括第一成像单元201a和201b、第二成像单元203a和203b、操作单元207以及与眼镜的框架相对应的保持部分291。当输入/输出装置20安装在用户的头部上时，保持部分291 将输出单元211、第一成像单元201a和201b、第二成像单元203a和203b 以及操作单元207保持成与用户的头部呈预定位置关系。另外，尽管图2 中未示出，但是输入/输出装置20可以包括用于对用户的声音进行声音收集的声音收集单位。

这里，将描述输入/输出装置20的更具体的配置。例如，在图2所示的示例中，透镜293a对应于右眼侧的透镜，透镜293b对应于左眼侧的透镜。即，在输入/输出装置20被安装的情况下，保持部分291对输出单元 211进行保持，使得输出单元211(换句话说，透镜293a和293b)被定位在用户的眼睛的前方。

第一成像单元201a和201b被配置为所谓的立体摄像机，并且当输入 /输出装置20安装在用户的头部上时，第一成像单元中的每一个由保持部分291保持以面向用户的头部所面向的方向(即，相对于用户向前的方向)。此时，第一成像单元201a被保持在用户的右眼附近，并且第一成像单元201b被保持在用户的左眼附近。基于这样的配置，第一成像单元201a 和201b从不同的位置捕获被定位在输入/输出装置20前方的被摄体(换句话说，被定位在真实空间中的真实对象)的图像。因此，输入/输出装置20可以捕获被定位在用户的前方的被摄体的图像，并且基于由第一成像单元201a和201b捕获的图像之间的视差来计算从输入/输出装置20到被摄体的距离。

注意，输入/输出装置的配置或方法不受特别限制，只要可以测量输入/输出装置20与被摄体之间的距离即可。作为具体示例，可以基于方法例如多摄像机立体声、移动视差、飞行时间(TOF)以及结构光来测量输入/输出装置20与被摄体之间的距离。这里，TOF是将光例如红外线投射到被摄体上，并且针对每个像素测量直至投影光被被摄体反射并返回的时间，以基于测量的结果来获得包括到被摄体的距离(深度)的图像(所谓的距离图像)的方法。另外，结构光是利用光例如红外线对被摄体进行照射和成像图案、以基于根据成像的结果获得图案的变化来获得包括到被摄体的距离(深度)的距离图像的方法。另外，移动视差是即使使用所谓的单目摄像机也基于视差来测量到被摄体的距离的方法。具体地，通过使摄像机移动来从不同的视点对被摄体成像，并且基于所捕获的图像之间的视差来测量至被摄体的距离。注意，可以通过在此时使用各种类型的传感器确定摄像机的移动距离和移动方向来更精确地测量至对象的距离。注意，可以根据距离的测量方法来改变成像单元(例如，单目摄像机、立体摄像机等)的配置。

另外，当输入/输出装置20安装在用户的头部上时，第二成像单元203a 和203b中的每一个由保持部分291保持，使得用户的眼球被定位在成像范围内。作为具体示例，第二成像单元203a被保持成使得用户的右眼被定位在成像范围内。基于这样的配置，可以基于由第二成像单元203a捕获的右眼的眼球的图像和第二成像单元203a与右眼之间的位置关系来确定右眼的视线面向的方向。以相同的方式，第二成像单元203b被保持成使得用户的左眼被定位在成像范围内。即，可以基于由第二成像单元203b 捕获的左眼的眼球的图像和第二成像单元203b与左眼之间的位置关系来识别左眼的视线面向的方向。注意，在图2所示的示例中，示出了输入/ 输出装置20包括第二成像单元203a和203b二者的配置，但是也可以提供第二成像单元203a和203b中的仅一个。

操作单元207是用于接收来自用户的关于输入/输出装置20的操作的组成部分。例如，操作单元207还可以被构造为输入装置例如触摸板或者按钮。操作单元207通过保持部分291保持在输入/输出装置20的预定位置处。例如，在图2所示的示例中，操作单元207被保持在与眼镜的镜腿相对应的位置处。

另外，根据本实施方式的输入/输出装置20可以包括例如加速度传感器或者角速度传感器(陀螺仪传感器)，并且还可以被配置成能够检测穿戴输入/输出装置20的用户的头部的运动(换句话说，输入/输出装置20 自身的运动)。作为具体示例，输入/输出装置20可以通过检测作为用户的头部的运动的摇摆(yaw)方向、俯仰(pitch)方向和侧倾(roll)方向的相应分量来确定用户的头部的位置和姿势中的至少一个的变化。

基于以上配置，根据本实施方式的输入/输出装置20可以根据用户的头部的运动来识别其自身在真实空间中的位置或姿势的变化。另外，此时，输入/输出装置20可以将虚拟内容(即，虚拟对象)呈现至输出单元211，使得基于所谓的AR技术将该内容叠加在被定位在真实空间中的真实对象上。注意，下面将分别详细描述用于估计输入/输出装置20在真实空间中的位置和姿势的方法的示例(即，自身位置估计)。

注意，作为输入/输出装置20的可应用的头部安装型显示装置(头部安装型显示器(HMD))的示例包括例如透视型HMD、视频透视型HMD 以及视网膜投影型HMD。

透视HMD使用半反射镜或者透明导光板将包括透明导光单元等的虚拟图像光学系统保持在用户眼睛的前方，并且在虚拟图像光学系统内显示图像。因此，即使在穿戴透视HMD的用户观看在虚拟图像光学系统内显示的图像时，用户的视野中也可以包括外部场景。利用这样的配置，透视型HMD可以基于例如AR技术、根据透视型HMD的位置和姿势中的至少一个的识别结果将虚拟对象的图像叠加在被定位在真实空间中的真实对象的光学图像上。注意，透视HMD的具体示例包括其中与眼镜的透镜等效的单元被配置成虚拟光学系统的所谓的眼镜型可穿戴装置。例如，图 2中所示的输入/输出装置20对应于透视型HMD的示例。

视频透视型HMD在被安装在用户的头部或脸部上的情况下，其被安装成覆盖用户的眼睛，并且显示单元例如显示器被保持在用户眼睛的前方。另外，视频透视HMD包括成像单元，该成像单元对周围场景进行成像，并且使显示单元显示由成像单元成像的用户的前面方向上的场景的图像。在该配置中，穿戴视频透视HMD的用户的视野中直接包括外部场景并不困难，并且用户可以根据在显示单元上显示的图像来确认外部场景。另外，此时，视频透视型HMD可以基于例如AR技术、根据视频透视型 HMD的位置和姿势中的至少一个的识别结果使虚拟对象叠加在外部场景的图像上。

在视网膜投影HMD中，投影单元被保持在用户眼睛的前方，并且图像从投影单元投射至用户的眼睛，使得图像被叠加在外部场景上。更具体地，在视网膜投影HMD中，图像从投影单元直接投射至用户眼睛的视网膜，使得图像形成在视网膜上。在该配置中，即使在用户近视或远视的情况下，用户也可以观看更清晰的视频。另外，即使在穿戴视网膜投影HMD 的用户正在观看从投影单元投影的图像时，用户的视野中也可以包括外部场景。利用这样的配置，视网膜投影型HMD可以基于例如AR技术、根据视网膜投影型HMD的位置和姿势中的至少一个的识别结果，使虚拟对象的图像叠加在被定位在真实空间中的真实对象的光学图像上。

注意，作为参考，除了上面所描述的示例以外，还提到称为沉浸式 HMD的HMD。类似于视频透视型HMD，沉浸式HMD被穿戴成使得覆盖用户的眼睛，并且显示单元例如显示器被保持在用户眼睛的前方。因此，穿戴沉浸式HMD的用户的视野中难以直接包括外部场景(即，真实世界的场景)，并且仅在显示单元上显示的视频包括在视野范围内。在该配置中，沉浸式HMD可以向观看图像的用户提供沉浸感。

以上参照图2描述了根据本公开内容的实施方式的输入/输出装置的示意性配置的示例。

<1.3.自身位置估计的原理>

接下来，将描述用于在输入/输出装置20使虚拟对象叠加在真实对象上时估计输入/输出装置20在真实空间中的位置和姿势(即，自身位置估计)的方法的原理的示例。

作为自身位置估计的具体示例，输入/输出装置20使用设置在其中的成像单元例如摄像机，捕获在真实空间中在真实对象上呈现的具有已知尺寸等的标记的图像。然后，输入/输出装置20通过分析所捕获的图像来估计自身相对于标记(以及因此，相对于其上呈现标记的真实对象)的相对位置和姿势中的至少一个。注意，在下面的描述中，主要描述输入/输出装置20估计其自身位置和姿势的情况，但是输入/输出装置20可以估计其自身位置和姿势中的仅一个。

具体地，可以根据在图像中捕获的标记的方向(例如，标记的图案等的方向)来估计成像单元(以及因此，包括成像单元的输入/输出装置20) 相对于标记的相对方向。另外，在已知标记的尺寸的情况下，可以根据图像中的标记的尺寸来估计标记与成像单元(即，包括成像单元的输入/输出装置20)之间的距离。更具体地，如果从更远的距离捕获标记的图像，则将捕获较小的标记图像。另外，此时，可以基于成像单元的视角来估计在图像中捕获的真实空间中的范围。可以根据在图像中捕获的标记的尺寸 (换句话说，在视角中由标记占据的比率)反向推导来计算标记与成像单元之间的距离。利用以上配置，输入/输出装置20可以估计其自身相对于标记的相对位置和姿势。

另外，所谓的即时定位与地图构建(SLAM)技术也可以用于输入/ 输出装置20的自身位置估计。SLAM是通过使用成像单元例如摄像机、各种传感器、编码器等并行地执行自身位置估计和环境地图创建的技术。作为更具体的示例，在SLAM(特别是视觉SLAM)中，基于由成像单元捕获的移动图像连续地重建所捕获的场景(或者被摄体)的三维形状。然后，通过将所捕获的场景的重建结果与成像单元的位置和姿势的检测结果相关联，执行周围环境地图的创建以及成像单元(以及因此，输入/输出装置20)在环境中的位置和姿势的估计。注意，例如，在输入/输出装置 20中设置各种类型的传感器例如加速度传感器或者角速度传感器，从而可以基于相应传感器的检测结果将成像单元的位置和姿势估计为指示相对变化的信息。该方法不一定限于基于各种传感器例如加速度传感器或者角速度传感器的检测结果的方法，只要可以估计成像单元的位置和姿势即可。

利用这样的配置，例如，基于对已知标记成像的成像单元的结果，针对标记的输入/输出装置20的相对位置和姿势的估计结果可以用于初始化如上所描述的SLAM中的处理或者位置校正。利用这样的配置，即使在成像单元的视角中不包括标记的情况下，输入/输出装置20可以通过基于已经接收到的先前执行的初始化或位置校正的结果的SLAM的自身位置估计，估计其自身相对于标记(以及因此，由标记呈现的真实对象)的位置和姿势。

如上所描述的，已经描述了在输入/输出装置20使虚拟对象叠加在真实对象上时用于输入/输出装置20估计其自身在真实空间中的位置和姿势 (即，自身位置估计)的方法(即，自身位置估计)的原理的示例。注意，在下面的描述中，例如，描述了可以基于例如上面所描述的原理来估计输入/输出装置20相对于真实空间中的对象(真实对象)的位置和姿势。

<<2.对交互的检查>>

接下来，将在信息处理系统与用户之间的交互的示例之后总结根据本实施方式的信息处理系统的问题，具体地，主要描述对视觉识别地呈现的目标(例如，真实对象、虚拟对象等)执行操作的情况。

例如，图3是用于描述信息处理系统与用户之间的交互的示例的说明图，以及用户使用视线将基于AR技术叠加在真实空间中的虚拟对象指定为操作目标的情况的示例。在图3所示的示例中，多个虚拟对象V135和 V137被呈现为叠加在真实空间中。注意，在图3中，每个虚拟对象被呈现为被实际地定位在真实空间中，以使得根据本实施方式的信息处理系统的特征更容易理解。注意，在图3中，附图标记Ua示意性地指示用户的头部的位置(换句话说，视点的位置)，并且附图标记R111示意性地指示用户的视线。另外，附图标记R113示意性地指示视线R111所指向的真实空间中的区域。

在图3所示的示例中，信息处理系统基于例如视线R111的检测结果，将被定位在视线R111所指向的真实空间的区域R113中的各种对象(例如，虚拟对象)识别为操作的目标。

另一方面，在图3所示的示例中，虚拟对象V135和V137被呈现为被定位在彼此附近，并且用户将视线R111指向虚拟对象V135和V137被叠加在其上的位置。即，视线R111所指向的区域R113包括虚拟对象V135 和V137中的每一个的至少一部分。为此，在图3所示的情况下，在一些情况下，信息处理系统可能难以在视线R111所指向的虚拟对象V135和 V137中择一地确定由用户指定的目标。在这样的情况下，在信息处理系统中难以准确地确定用户的意图。为此，例如，在一些情况下，在信息处理系统中未确定用户的意图的情况下可能难以提供服务。此外，作为另一示例，在信息处理系统中错误地确定用户的意图时，提供与用户的意图不同的服务的情况。

响应于这样的问题，在信息处理系统难以更准确地确定用户的意图的情况下，可以通过询问用户相同的输入来再次尝试对用户指定的目标的确定。然而，即使在与先前输入相同的情况下执行相同的输入，信息处理系统也可能无法基于输入来择一地确定操作目标。在这样的情况下，假定信息处理系统可以执行向用户多次请求重新输入，作为结果，操作可能变得复杂。另外，还可以假定通过连续多次向用户请求相同的输入，信息处理系统与用户之间的交互可能是不连续的。

鉴于这样的情况，本公开内容提出了用于通过在对多个可视觉识别地呈现的目标选择性地执行操作的情况下引入用户的操作，实现以优选的方式与用户进行交互的机制。

<<3.技术特征>>

在下文中，将描述根据本实施方式的信息处理系统的技术特征。

<3.1.基本原理>

首先，将参照图4来描述用于在根据本实施方式的信息处理系统1对多个可视觉识别地呈现的目标选择性地执行操作的情况下，更准确地确定由用户指定的目标的操作的典型示例的基本原理。图4是用于描述根据本实施方式的信息处理系统的操作的基本原理的说明图。注意，在图4所示的示例中，如图3所示的示例一样，示出了由用户使用视线将基于AR技术叠加在真实空间中的虚拟对象指定为操作目标的情况的示例。

图4中的附图标记Ua、R111和R113指示与图3中的相同附图标记给定的目标。即，图4示出了与图3所示的示例一样的、用户将视线R111 指向被呈现为定位在彼此附近的虚拟对象V135和V137被叠加在其上的区域的位置的情况。注意，附图标记V135a和V137a示意性地指示在用户指向视线时虚拟对象V135和V137叠加在其上的真实空间中的相应位置。即，此时，信息处理系统1将虚拟对象V135和V137确定为要操作的虚拟对象的候选。

如上所述，在确定出要操作的虚拟对象的多个候选的情况下，根据本实施方式的信息处理系统1控制所述候选中的至少一个候选的显示位置，使得多个确定出的候选彼此分离。例如，在图4所示的示例中，信息处理系统1控制虚拟对象V135和V137的显示位置，使得虚拟对象V135从位置V135a移动至位置V135b，并且虚拟对象V137从位置V137a移动至位置V137b。

根据上面所描述的控制，在用户注视虚拟对象V135和V137中的一个的情况下，期望根据注视目标的移动来引导用户的视线R111。作为具体示例，在用户注视虚拟对象V137的情况下，期望用户的视线R111从位置V137a被引导至位置V137b。即，信息处理系统1可以将V135和 V137中的由用户最初指定为操作目标的虚拟对象确定为视线引导的结果。

另外，可以根据基于检测视线的结果而确定目标的信息处理系统1的分解能力(下文中，称为“视线分解能力”)，确定使多个目标虚拟对象彼此分离的距离。因此，下面将详细描述视线分解能力。

视线分解能力可以根据信息处理系统1检测视线的准确度而改变。具体地，随着检测视线R111的准确度降低，与视线R111的检测(特别是，视线R111所指向的方向的检测)有关的误差变得更大，并且视线R111 可以指向的真实空间中的区域R113(换句话说，捕获真实空间的图像中的相应区域)变得较宽。为此，在检测视线R111的准确度低的情况下，由视线R111指向的真实空间中的位置的分解能力(即，视线分解能力) 趋于较低。另一方面，随着检测视线R111的准确度的增加，与视线R111 的检测有关的误差变小，因此视线R111可以指向的真实空间中的区域 R113变得更窄。为此，在检测视线R111的准确率高的情况下，视线分解能力趋于增加。

另外，视线分解能力也随着视点与视线所指向的目标之间的距离而变化。例如，图5是用于描述视线分解能力的说明图。在图5中，附图标记 V141至V147中的每一个指示被呈现为叠加在真实空间中的虚拟对象。即，在图5所示的示例中，与虚拟对象V141和V143相比，虚拟对象V145 和V147被呈现为被定位成更靠近视点Ua。注意，假定虚拟对象V141和 V143分别叠加在其上的真实空间中的位置之间的距离基本上等于虚拟对象V145和V147分别叠加在其上的真实空间中的位置之间的距离。此外，附图标记R117a和R117b示意性地指示在从视点Ua引至虚拟对象V141 和V143二者的情况下的视角。以相同的方式，附图标记R119a和R119b 示意性地指示在从视点Ua引至虚拟对象V145和V147二者的情况下的视角。

如图5所示，与引至被呈现为与视点Ua更远地分离的虚拟对象V141 和V143二者的情况下的视角相比，在引至虚拟对象V145和V147二者的情况下的视角更宽。即，在从视点Ua引至虚拟对象V145和V147的情况下，虚拟对象V145和V147在视觉上被用户识别为比虚拟对象V141和 V143相对更远地分离。为此，与引至被定位成距视点更远的目标的情况下相比，在引至被定位成更靠近视点的目标的情况下，视线分解能力趋向于相对更高。

基于这样的特性，信息处理系统1可以控制例如虚拟对象V135和 V137的显示位置，使得虚拟对象V135和V137彼此分离并且如图4所示被定位成更靠近视点Ua。

如上所描述的，参照图4和图5描述了根据本实施方式的信息处理系统1的操作的代表性示例的基本原理。

<3.2.功能配置>

接下来，将参照图6来描述根据实施方式的信息处理系统1的功能配置的示例。图6是示出根据实施方式的信息处理系统1的功能配置的示例的框图。

如图6所示，根据本实施方式的信息处理系统1包括输入/输出装置 20、信息处理装置10和存储单元151。注意，图6中所示的输入/输出装置20和信息处理装置10对应于参照图1所描述的输入/输出装置20和信息处理装置10。

首先，将主要描述输入/输出装置20的配置。如图6所示，输入/输出装置20包括成像单元201、检测单元251、输入单元253和输出单元211。注意，输出单元211对应于图2中的输出单元211。

成像单元201对应于构成图2中的立体摄像机的第一成像单元201a 和201b。即，成像单元201捕获真实空间中的对象(被摄体)的图像，并且将所捕获的图像输出至信息处理装置10。

检测单元251示意性地指示与获取用于检测穿戴输入/输出装置20的用户的头部的运动或者用户的视线所指向的方向(下文中，称为“视线方向”)的信息有关的组成部分。具体地，检测单元251可以包括各种类型的传感器例如加速度传感器和角速度传感器，并且获取传感器的检测结果作为用于检测输入/输出装置20的位置或姿势的变化(以及因此，穿戴输入/输出装置20的用户的头部的运动)的信息。另外，检测单元251可以包括参照图2所描述的第二成像单元203a和203b，并且获取由成像单元捕获的用户的眼球图像作为用于检测用户的视线的信息。然后，检测单元 251将所获取的信息输出至信息处理装置10。

输入单元253是用于获取从用户输入的关于输入/输出装置20的信息的组成部分。具体地，输入单元253可以包括参照图2所描述的操作单元 207。另外，输入单元253包括用于对用户的声音进行声音收集的声音收集单元，并且可以获取输入至声音收集单元的用户的声音作为从用户输入的信息。注意，上面描述的示例仅是示例，并且，包括在输入单元253中的组成部分(例如，输入装置)的类型不受特别限制，只要用户可以向输入/输出装置20输入信息即可。然后，输入单元253将所获取的信息输出至信息处理装置10。

接下来，将主要描述信息处理装置10的配置。如图6所示，信息处理装置10包括识别单元101、视线检测单元103、触发检测单元105、目标确定单元107、处理执行单元109以及显示控制单元111。

识别单元101从成像单元201获取所捕获的图像，并且对所获取的图像执行分析处理，从而确定在图像中捕获的真实空间中的对象(被摄体)。作为具体示例，识别单元101从配置为立体摄像机的成像单元201获取从多个不同视点捕获的图像(下文中，称为“立体图像”)，并且针对图像的每个像素基于所获取的图像之间的视差来测量到图像中所捕获的对象的距离。因此，识别单元101可以估计或识别在图像被捕获时成像单元201 (以及因此，输入/输出装置20)与图像中所捕获的每个对象之间的真实空间中的相对位置关系(特别是，深度方向上的位置关系)。

另外，识别单元101可以通过基于SLAM执行自身位置估计和环境地图创建，识别输入/输出装置20与在图像中捕获的对象之间的真实空间中的位置关系。在这种情况下，例如，识别单元101可以从检测单元251 获取指示输入/输出装置20的位置或姿势的变化的信息，并且使用该信息以基于SLAM进行自身位置估计。

以这种方式，识别单元101识别在图像中捕获的每个对象的真实空间中的位置，并且将指示识别结果的信息输出至目标确定单元107。

视线检测单元103是用于检测穿戴输入/输出装置20的用户的视线的组成部分。具体地，视线检测单元103从检测单元251获取指示输入/输出装置20的位置或姿势的变化的检测结果的信息，并且基于所获取的信息来估计穿戴输入/输出装置20的用户的头部的运动(即，头部的位置或方向)。

另外，视线检测单元103从检测单元251获取穿戴输入/输出装置20 的用户的眼球被捕获的图像，并且对所获取的图像执行图像分析，从而确定出所捕获的眼球在图像中所面向的方向。在这种情况下，例如，视线检测单元103基于所捕获的眼球在图像中面向的方向的识别结果以及捕获图像的成像单元与眼球之间的位置关系，检测眼球在真实空间中所面向的方向，即，视线所指向的方向(下文中，称为“视线方向”)。注意，不用说，可以基于输入/输出装置20的假定安装状态预先识别或估计捕获眼球图像的成像单元与眼球之间的位置关系。另外，此时检测到的视线方向对应于基于输入/输出装置20的位置和姿势(以及因此，穿戴输入/输出装置 20的用户的头部的位置和姿势)的相对方向。

注意，在上面的描述中，已经描述了基于由输入/输出装置20的检测单元251获取的信息来估计或检测用户的视线的示例。然而，配置或方法不必限于以上内容，只要可以估计或检测用户的视线即可。作为具体示例，视线检测单元103可以基于由被设置为与输入/输出装置20不同的外部装置的成像单元捕获的用户的头部或眼睛的图像来估计或检测用户的头部的位置或姿势或者用户的视线。

然后，视线检测单元103基于用户头部的运动的估计结果和视线方向的检测结果来估计(或检测)指向真实空间的用户的视线的位置和方向，并且将指示估计结果的信息输出至目标确定单元107。

触发检测单元105从输入单元253获取经由输入单元253从用户输入的信息(下文中，称为“用户输入”)。然后，在所获取的用户输入指示预定操作内容的情况下，触发检测单元105使用用户输入作为触发来指示目标确定单元107关于与操作内容相关联的操作。作为具体示例，在所获取的用户输入指示参照图4所描述的要操作的候选的确定的情况下，触发检测单元105使用用户输入作为触发来指示目标确定单元107确定要操作的候选。

作为具体示例，在如图2所示的操作单元207上执行了操作的情况下，触发检测单元105从输入单元253(即，操作单元207)获取指示操作内容的控制信息。在这种情况下，在所获取的控制信息指示用于确定要操作的候选的操作的情况下，触发检测单元105使用该操作作为触发来指示目标确定单元107确定要操作的候选。作为更具体的示例，在所获取的控制信息指示关于预定触摸板的触摸操作的情况下，触发检测单元105可以使用触摸确定作为触发来指示目标确定单元107确定要操作的候选。

另外，作为另一示例，在通过语音输入执行操作的情况下，触发检测单元105基于来自输入单元253(即，声音收集单元)的声音收集结果来获取声学信号。在这种情况下，触发检测单元105对所获取的声学信号执行基于所谓的声音确定处理或者自然语言处理的各种类型的分析处理，从而识别用户发出的内容。然后，在用户发出的内容指示用于确定要操作的候选的操作的情况下，触发检测单元105使用发出内容的识别结果作为触发来指示目标确定单元107确定要操作的候选。

当然，用作触发的操作的类型不限于上面所描述的示例。作为具体示例，在用户执行了预定手势的情况下，触发检测单元105可以将对手势的检测设置为触发。在这种情况下，触发检测单元105可以基于由设置在例如可穿戴终端等中的加速度传感器等对预定部分的位置或姿势的变化的检查结果来检测手势。另外，触发检测单元105可以基于由设置在外部的成像单元捕获的用户的移动图像来检测由用户执行的手势。

另外，作为另一示例，触发检测单元105可以使用由全球定位系统 (GPS)等获取的用户的位置信息来检测触发。作为具体示例，在识别出用户已经接近预定位置的情况下或者在识别出用户已经通过预定位置的情况下，触发检测单元105可以使用识别结果作为触发。

此外，作为另一示例，触发检测单元105可以基于由预定成像单元(例如，成像单元201)捕获的真实空间中的图像来识别用户的移动，并且可以将识别结果用于触发的检测。作为具体示例，在基于由成像单元捕获的图像识别出用户已经接近真实空间中的预定对象(真实对象)的情况下，触发检测单元105可以使用识别结果作为触发。另外，作为另一示例，在基于由成像单元捕获的图像识别出用户已经通过真实空间中的预定位置 (点)的情况下，触发检测单元105可以使用识别结果作为触发。

目标确定单元107从识别单元101获取指示由成像单元201在图像中捕获的每个对象(真实对象)的真实空间中的位置的识别结果的信息。另外，目标确定单元107从视线检测单元103获取指示指向真实空间的用户的视线的位置和方向的估计结果的信息。此外，目标确定单元107从下面将描述的显示控制单元111获取指示经由输出单元211呈现给用户的显示信息(例如，呈现为叠加在真实空间中的虚拟对象等)的显示位置的信息。

然后，目标确定单元107基于从识别单元101、视线检测单元103以及显示控制单元111中的每一个获取的各种类型的信息来确定用户的视点和视线、真实空间中的对象(真实对象)以及显示信息叠加在其上的真实空间的位置之间的位置关系。

随后，如果从触发检测单元105接收到与要操作的候选的确定有关的指令，则目标确定单元107基于用户的视点和视线、真实空间中的对象(真实对象)以及显示信息叠加在其上的真实空间的位置之间的位置关系来确定视线指向其的目标(例如，真实对象或虚拟对象)的候选。注意，此时，目标确定单元107可以根据检测视线的准确度、基于视线分解能力来估计视线所指向的真实空间中的区域，并且将定位在该区域中的目标确定为视线所指向的目标的候选。

另外，目标确定单元107根据视线所指向的目标的候选来确定要操作的显示信息的候选。作为具体示例，在用户的视线指向虚拟对象的显示信息的情况下，目标确定单元107将该显示信息确定为操作目标的候选。另外，作为另一示例，在用户的视线指向真实对象的情况下，目标确定单元 107可以将与真实对象相关联的显示信息(例如，用于操作真实对象的显示信息等)确定为操作目标的候选。注意，在显示信息不与用户的视线所指向的真实对象相关联的情况下，目标确定单元107可以从视线所指向的目标的候选中排除真实对象。

然后，在操作目标的候选被择一地确定的情况下，目标确定单元107 指示下面将描述的处理执行单元109执行与该条候选显示信息相关联的处理。另一方面，在难以将操作目标的候选限制为一个的情况下(即，在存在多个候选的情况下)，目标确定单元107指示显示控制单元111控制候选显示信息的显示位置。

处理执行单元109是用于执行由信息处理装置10(以及因此，信息处理系统1)提供的各种功能(例如，应用)的组成部分。处理执行单元 109例如可以从目标确定单元107接收指令、从预定存储单元(例如，下面将描述的存储单元151)提取相应的应用以及执行所提取的应用。另外，处理执行单元109可以将指示各种应用的执行结果的信息输出至显示控制单元111。

显示控制单元111通过允许输出单元211输出用作输出目标的各种类型的显示信息来将显示信息呈现给用户。

具体地，显示控制单元111可以允许输出单元211输出基于AR技术叠加在真实空间中的虚拟对象。注意，在这种情况下，显示控制单元111 可以从识别单元101或者目标确定单元107获取指示由成像单元201在图像中捕获的每个对象(真实对象)的真实空间中的位置的识别结果的信息。因此，显示控制单元111可以识别真实空间中的真实对象的位置，并且控制虚拟对象的显示位置，使得基于识别的结果将虚拟对象叠加在真实空间中的期望位置处。

另外，显示控制单元111将指示经由输出单元211呈现给用户的显示信息的显示位置的信息输出至目标确定单元107。因此，目标确定单元107 可以基于该信息来估计显示信息叠加在其上的真实空间中的位置。

此外，在一些情况下，显示控制单元111从目标确定单元107接收与用作操作目标的候选的多条显示信息中的每一条显示信息的显示位置的控制有关的指令。在这种情况下，显示控制单元111控制所述多条显示信息中的至少一条显示信息的显示位置，使得从目标确定单元107被指定为操作目标的候选的多条显示信息被呈现为彼此分离。根据这样的控制，可以将用户的视线引导至作为操作目标的候选的多条显示信息中的、作为操作目标由用户将视线本来所指向的候选，并且因此，目标确定单元107可以择一地确定候选。

此外，在一些情况下，显示控制单元111从处理执行单元109获取指示各种应用的执行结果的信息。在这种情况下，显示控制单元111可以通过允许输出单元211输出应用的执行结果来向用户呈现该信息。

存储单元151是用于临时或永久地存储各种类型的数据的存储区域。例如，存储单元151可以存储用于信息处理装置10的数据以执行各种功能。作为更具体的示例，存储单元151还可以存储用于执行各种应用(例如，库)的数据、用于管理各种类型的设置的管理数据等等。

注意，图6中所示的信息处理系统1的功能组成部分仅是示例，并且信息处理系统1的功能组成部分不一定限于仅图6中所示的示例，只要能够实现上面描述的每个组成部分的处理即可。作为具体示例，输入/输出装置20和信息处理装置10可以被配置成是集成的。另外，作为另一示例，存储单元151可以包括在信息处理装置10中。另外，作为另一示例，信息处理装置10的各个组成部分中的一些可以设置在信息处理装置10的外部(例如，服务器等)。

如上面所描述的，已经参照图6描述了根据本实施方式的信息处理系统1的功能组成部分的示例。

<3.3.处理>

随后，将参照图7特别地关注于信息处理装置10的处理地描述根据本实施方式的信息处理系统1的一系列处理的流程的示例。图7是示出根据本实施方式的信息处理系统的一系列处理的流程的示例的流程图。

如图7所示，信息处理装置10首先确定用户关注的目标(S101)。具体地，信息处理装置10(识别单元101)基于由输入/输出装置20的成像单元201捕获的真实空间的图像来识别在图像中捕获的真实空间中的对象(真实对象)。另外，信息处理装置10(视线检测单元103)基于由输入/输出装置20的检测单元251获取的各种类型的信息来检测穿戴输入/ 输出装置20的用户的视线。注意，已经描述了识别真实空间中的对象的方法或者检测用户的视线的方法，因此将省略其详细描述。然后，信息处理装置10基于真实空间中的对象的识别结果和对用户的视线的检测结果，识别用户的视点和视线、真实空间中的对象(真实对象)以及显示信息(例如，虚拟对象)叠加在其上的真实空间的位置之间的位置关系。因此，信息处理装置10可以确定用户的视线所指向的目标(即，真实对象或虚拟对象)。

接下来，信息处理装置10(目标确定单元107)在检测到用作触发的预定操作(S103)时确定用户的视线所指向的目标的候选。另外，信息处理装置10根据视线所指向的目标的候选来确定用作操作目标的显示信息的候选(S105)。

这里，在难以将操作目标的候选限制为一个的情况下(S105中为否)，信息处理装置10通过控制被确定为候选的多条显示信息中的至少一个显示信息的显示，触发与用户的交互(S107)。具体地，信息处理装置10(显示控制单元111)控制多条显示信息中的至少一条显示信息的显示位置，使得被确定为操作目标的候选的多条显示信息被呈现为彼此分离。利用这样的控制，信息处理装置10将用户的视线引导至用户将视线实际所指向的作为操作目标的候选(即，由用户指定为操作目标的候选)，并且将视线被引导至的候选确定为操作目标(S105)。

然后，在可以将操作目标的候选限制为一个(S105中为是)的情况下，信息处理装置10使得生成与操作目标的交互(S109)。作为具体示例，信息处理装置10(处理执行单元109)可以执行与被确定为操作目标的显示信息相关联的处理(例如，应用)。

如上所描述的，已经参照图7特别地关注于信息处理装置10的处理地描述了根据本实施方式的信息处理系统1的一系列处理的流程的示例。

<<4.修改>>

随后，将描述根据本实施方式的信息处理系统的修改。

<4.1.修改1：根据显示目标的特性的显示控制的示例>

首先，作为修改1，将特别地关注于根据被确定为操作目标的候选的显示信息的特性的控制，描述由信息处理系统1对被确定为操作目标的候选的显示信息的显示控制的示例。根据本实施方式的信息处理系统1通过使被确定为操作目标的候选的多条显示信息彼此分离从而确定显示信息，将用户的视线引导至由用户实际指定为操作目标的显示信息。为此，信息处理系统1可以控制被确定为操作目标的候选的显示信息的特性或者显示信息的显示位置。

例如，信息处理系统1可以根据被确定为操作目标的候选的多条显示信息的每个尺寸，控制使得彼此分离的多条显示信息之间的距离。作为具体示例，当被确定为操作目标的候选的多个显示信息中的每一个较大时，信息处理系统1可以控制显示信息的显示位置，使得多条显示信息进一步彼此分离。

另外，作为另一示例，信息处理系统1可以根据被确定为操作目标的候选的多条显示信息之间的位置关系来控制多条显示信息中的每一条的移动方向。例如，信息处理系统1可以考虑多条确定出的显示信息的前后关系或重叠来控制使多条显示信息中的每一条移动的方向。

另外，信息处理系统1可以根据被确定为操作目标的候选的多条显示信息中的每一条与视点(即，用户)之间的位置关系，控制使多条显示信息中的每一条移动的方向或者移动距离。例如，信息处理系统1可以根据多条确定出的显示信息中的每一条与视点之间的距离来控制使得彼此分离的多条显示信息之间的距离。

如上所述，作为修改1，已经特别地关注于根据被确定为操作目标的候选的显示信息的特性的控制，描述了由信息处理系统1对被确定为操作目标的候选的显示信息的显示控制的示例。

<4.2.修改2：根据系统的特性的显示控制的示例>

随后，作为修改例2，将特别地关注于根据构成信息处理系统1的各个装置的特性的控制来描述由信息处理系统1对被确定为操作目标的候选的显示信息的显示控制的示例。

例如，信息处理系统1可以根据视线分解能力来控制使得彼此分离的多条显示信息之间的距离。具体地，由于检测视线的准确度较低，信息处理系统1具有趋于较低的视线分解能力。为此，当检测视线的准确度较低时，信息处理系统1可以控制显示信息的显示位置，使得例如被确定为操作目标的候选的多条显示信息进一步彼此分离。

另外，如上所描述的，与引至被定位在距视点较远的目标的情况下相比，在引至被定位在更靠近视点的目标的情况下，视线分解能力趋于相对较高。为此，当检测视线的准确度较低时，信息处理系统1可以控制显示信息的显示位置，使得被确定为操作目标的候选的多条显示信息彼此分离并且被定位成更靠近视点(即，用户)。

如上所述，作为修改2，已经特别地关注于根据构成信息处理系统1 的各个装置的特性的控制描述了由信息处理系统1对被确定为操作目标的候选的显示信息的显示控制的示例。

<4.3.修改3：视线被引导至的位置的控制示例>

接下来，作为修改3，将描述根据周围环境或情况来控制视线被引导至的位置的情况的示例。

例如，信息处理系统1可以根据周围环境的检测结果来限制视线被引导至的位置。作为具体示例，信息处理系统1可以基于由对真实空间成像的成像单元捕获的图像来检测背光的位置，并且从显示信息的移动目的地中排除所检测到的位置。

此外，作为另一示例，信息处理系统1可以控制显示信息的显示位置，使得被确定为操作目标的候选的显示信息被移动至用户更容易选择的位置。例如，图8和图9是用于描述根据修改3的信息处理系统的概要的说明图。

例如，图8示意性地示出了用户通过以下方式注视被定位在与用户的正面相对应的方向(即，头部面向的方向，并且在下文中，称为“正面方向”)不同的方向的虚拟对象V171和V173的情况：将视线从正面方向偏移至横向方向。在这样的情况下，在图8所示的示例中，信息处理系统1 通过将视线所指向的虚拟对象V171和V173简单地向左或向右移动而使虚拟对象V171和V173彼此分离。注意，附图标记V171a和V173a示意性地指示在用户将视线指向虚拟对象V171和V173时虚拟对象V171和 V173叠加在其上的真实空间中的相应位置。另外，附图标记V171b和 V173b示意性地指示在控制显示位置之后虚拟对象V171和V173叠加在其上的真实空间中的相应位置。

如参照图8所见，在通过向左或向右移动简单地使虚拟对象V171和 V173彼此分离的情况下，被定位在远离正面方向的方向上的虚拟对象 V173被移动至进一步远离正面方向的位置。为此，在图8所示的示例中，用户需要使视线进一步向外移动的操作例如转动头部，以根据对虚拟对象 V171和V173的显示位置的控制来选择虚拟对象V173，并且由视线移动引起的用户的负担趋于增加。

另一方面，在图9所示的示例中，信息处理系统1使视线所指向的虚拟对象V171和V173在与图8中所示的示例相同的情况下移动，使得它们被定位在用户的正面方向，并且向左或向右彼此分离。注意，图9中的附图标记V171a和V173a与图8中的附图标记V171a和V173a相同。另外，附图标记V171c和V173c示意性地指示在控制显示位置之后虚拟对象V171和V173叠加在其上的真实空间中的相应位置。

如图9所示，通过控制虚拟对象V171和V173的显示位置，例如，即使用户选择虚拟对象V173，也可以通过将偏移的视线返回至正面方向来选择虚拟对象V173。如上所描述的，如通过图8与图9之间的比较可见，多条显示信息的显示位置被控制成使得被确定为操作目标的候选的多条显示信息被定位在用户的正面，从而可以减少与选择显示信息有关的用户的负担(即，由于视线移动而造成的用户的负担)。

此外，作为另一示例，由于人的视野通常倾向于横向宽，所以在一些情况下，视线分解能力在纵向方向上高于横向方向。鉴于这样的情况，信息处理系统1可以控制显示信息的显示位置，使得被确定为操作目标的候选的多条显示信息在垂直方向上彼此分离。

如上所描述的，作为修改3，描述了根据周围环境或情况来控制视线被引导至的位置的情况的示例。

<4.4.修改4：除候选以外的显示信息的显示控制的示例>

随后，作为修改4，将描述控制与被确定为操作目标的候选的显示信息不同的其他条显示信息的显示的情况的示例。

例如，图10是用于描述根据修改4的信息处理系统的概要的说明图。图10示意性地示出了用户通过将视线从正面方向偏移至横向方向来注视被定位在与正面方向不同的方向上的虚拟对象V181和V183的情况。在图10中，附图标记R131示意性地指示在用户面向正面方向的情况下示出用户的视野的区域。即，在图10所示的示例中，信息处理系统1使视线所指向的虚拟对象V181和V183移动，使得它们被定位在指示在用户面向正面方向的情况下的视场的区域R131中，并且向左或向右彼此分开。注意，附图标记V181a和V183a示意性地指示在用户将视线指向虚拟对象V181和V183时虚拟对象V181和V183叠加在其上的真实空间中的相应位置。另外，附图标记V181b和V183b示意性地指示在控制显示位置之后、虚拟对象V181和V183叠加在其上的真实空间中的相应位置。

另一方面，在图10所示的示例中，如图10所示，在用户将视线指向虚拟对象V181和V183时，虚拟对象V185和V187被定位在区域R131 中。注意，附图标记V185a和V187a示意性地指示在用户将视线指向虚拟对象V181和V183时、虚拟对象V185和V187叠加在其上的真实空间中的相应位置。在这样的情况下，即使使被确定为操作目标的候选的虚拟对象V181和V183移动至区域R131中，在一些情况下，虚拟对象V181 和V183也被虚拟对象V185和V187覆盖。

鉴于这样的情况，在与被确定为操作目标的候选的一条显示信息不同的另一条显示信息被定位在候选的移动目的地的情况下，信息处理系统1 可以使另一条显示信息移动至与候选不同的位置。例如，在图10所示的示例中，信息处理系统1使被定位在区域R131中的虚拟对象V185移动至区域R131外部的位置V185b，并且使虚拟对象V187移动至区域R131外部的位置V187b。利用这样的控制，当用户的视线被引导到用户最初将视线指向的作为操作目标的候选时，可以防止候选被另一条显示信息覆盖而阻碍候选的选择的情况发生。

另外，作为另一示例，在与被确定为操作目标的候选的一条显示信息不同的另一条显示信息被定位在候选的移动目的地的情况下，信息处理系统1可以进行控制使得另一条显示信息暂时不显示。例如，图11是用于描述根据修改4的信息处理系统的另一方面的说明图。注意，在图11中，与图10中相同的对象被给予相同的附图标记。

即，在图11所示的示例中，以与图10中所示的示例相同的方式，信息处理系统1使视线所指向的虚拟对象V181和V183移动，使得它们被定位在指示用户面向正面方向的情况下的视野的区域R131中，并且向左或向右彼此分离。另一方面，在图11所示的示例中，信息处理系统1控制虚拟对象V185和V187的显示，使得被定位在区域R131中的虚拟对象 V185和V187暂时不显示。利用这样的控制，以与图10所示的示例相同的方式，当用户的视线被引导至用户最初将视线指向的作为操作目标的候选时，可以防止候选被另一条显示信息覆盖而阻碍候选的选择的情况发生。

如上所描述的，已经描述了作为修改4的控制与被确定为操作目标的候选的一条显示信息不同的另一条显示信息的显示的情况的示例。

<4.5.修改5：用于引导视线的控制的示例>

随后，将描述作为修改5的用于以更优选的方式引导用户的视线的控制的示例。

例如，在用户将视线指向移动目标的情况下，在一些情况下可以通过预测目标的运动来移动视线。为此，例如，在控制显示信息的显示位置的情况下，在一些情况下可以通过根据用户期望的运动移动显示信息来以更自然的方式引导用户的视线。

作为具体示例，信息处理系统1可以根据显示信息的属性来控制显示信息的运动。更具体地，在目标虚拟对象模仿像鸟一样在天空中飞行的角色的情况下，信息处理系统1可以使执行操作以使得例如虚拟对象飞行。另外，作为另一示例，在目标虚拟对象模仿不在天空中飞行的角色例如狗的情况下，信息处理系统1可以使执行操作以使得例如虚拟对象在平面中移动。

另外，作为另一示例，信息处理系统1可以根据物理限制来控制显示信息的运动。

例如，图12是用于描述根据修改5的信息处理系统的概要的说明图，并且示出了根据物理限制来控制显示信息的运动的情况的示例。注意，在图12中，附图标记Ua、R111和R113指示与图3和图4中相同的附图标记给定的相应目标。即，在图12所示的示例中，信息处理系统1控制虚拟对象V191和V193的显示位置，使得用户的视线R111所指向的虚拟对象V191和V193彼此分离。具体地，信息处理系统1使虚拟对象V191 从位置V191a移动至位置V191b，并且使虚拟对象V193从位置V193a移动至位置V193b。

另一方面，在图12所示的示例中，真实对象M195置于位置V193a 与位置V193b之间。为此，在图12所示的示例中，信息处理系统1控制虚拟对象V193的运动，使得被定位在位置V193a处的虚拟对象V193通过避开真实对象M195而移动至位置V193b。

通过这样的控制，显示信息的运动更可能基本上与用户期望的运动一致，并且最终，可以以更自然的方式引导用户的视线。

另外，在目标的候选被确定为移动对象和非移动对象的情况下，信息处理系统1可以通过移动移动对象来引导用户的视线。

例如，图13是用于描述根据修改5的信息处理系统的另一方面的说明图。在图13中，附图标记Ua、R111和R113指示与图12中相同的附图标记给定的相应目标。具体而言，图13示出了用户的视线R111指向真实对象M197和叠加在真实对象M197附近的虚拟对象V199的情况。注意，在图13中，真实对象M197对应于“非移动对象”，并且虚拟对象 V199对应于“移动对象”。为此，在图13所示的示例中，信息处理系统1 使可移动的虚拟对象V199侧从位置V199a移动至位置V199b，使得真实对象M197和虚拟对象V199彼此分离。

另一方面，假定视线所指向的目标的所有候选为“非移动物体”。例如，图14是用于描述根据修改5的信息处理系统的另一方面的说明图，并且示出了视线指向被安装成定位在彼此附近的真实对象M213和M215 的情况的示例。在图14中，附图标记R211示意性地指示用户的视线所指向的真实空间中的区域。即，在图14所示的示例中，信息处理系统1将真实对象M213和M215确定为视线所指向的目标的候选。

如图14所示，在将仅真实对象确定为视线所指向的目标的候选的情况下，并不总是可以控制真实对象的位置。在这种情况下，例如，信息处理系统1可以呈现作为每个真实对象的替代的显示信息，并且控制显示信息的显示位置。例如，在图14所示的示例中，信息处理系统1将被配置为与真实对象M213相关联的用于指定真实对象M213的图标的虚拟对象V217呈现为作为针对真实对象M213的替代的显示信息。以相同的方式，信息处理系统1将配置成与真实对象M215相关联的用于指定真实对象M215的图标的虚拟对象V219呈现为作为真实对象M215的替代的显示信息。另外，此时，信息处理系统1控制虚拟对象V217和V219的相应显示位置，使得虚拟对象V217和V219被呈现为彼此分离。

注意，作为真实对象的替代而呈现的显示信息的类型不受特别限制。例如，图15是用于描述根据修改5的信息处理系统的另一方面的说明图，并且示出了作为真实对象的替代而呈现的显示信息的示例。具体地，在图 15所示的示例中，信息处理系统1将被配置为作为真实对象M213的替代的显示信息、用于操作真实对象M213的操作菜单的虚拟对象V221呈现为与真实对象M213相关联。

如上所描述的，已经描述了作为修改5的用于更优选地引导用户的视线的控制的示例。

<4.6.修改6：根据优先级的控制示例>

随后，将描述作为修改6的根据各种状态或情况(即，执行加权)来设置选择目标的优先级，并且使用优先级以更优选的方式实现与用户的交互的控制的示例。

例如，当使被确定为操作目标的候选的多条显示信息彼此分离时，信息处理系统1可以根据在多条显示信息之间设置的优先级来控制多条显示信息中的至少一条的显示。注意，下面将单独描述优先级设置方法的示例。

作为具体示例，信息处理系统1可以通过使多条确定出的显示信息中的具有高优先级的显示信息移动来使多条显示信息彼此分离。以这种方式，可以通过移动很可能被用户选择的目标(即，具有高优先级的显示信息)，并且动态地引导用户的视线，快速地确定用户最初将视线所指向的目标作为操作目标。另外，作为另一示例，可以通过使多条确定出的显示信息中的具有低优先级的显示信息移动来使多条显示信息彼此分离。以这种方式，可以通过移动不太可能被用户选择的目标(即，具有低优先级的显示信息)来最小化用于选择目标的视线的移动。注意，可以根据例如使用情况或用户场景适当地改变是移动具有高优先级的显示信息还是移动具有低优先级的显示信息。

注意，优先级的设置方法不受特别限制。例如，可以将具有较高使用频率的目标设置为具有较高优先级。另外，在被选择为操作对象的候选的一条显示信息是用于与另一用户通信的虚拟对象(例如，化身等)的情况下，与具有较高通信频率的用户相对应的显示信息可以被设置为具有较高优先级。此外，可以根据用户之间的关系来设置优先级。例如，与和其他用户相对应的多条显示信息相比，可以将与被设置为朋友或家人的用户相对应的一条显示信息设置为具有更高的优先级。

另外，可以根据情况的历史或过去的历史来动态地设置或改变优先级设置。例如，信息处理系统1可以基于所谓的机器学习来根据时区、地点、情况等来累积用户的行为作为数据，并且基于所累积的数据在被确定为操作目标的候选的多条显示信息之间设置优先级。利用这样的配置，信息处理系统1可以根据用户的习惯或者用户选择目标的趋势来在多条显示信息之间设置优先级，并且呈现用户更容易选择的具有更高优先级的显示信息。

另外，可以根据确定出操作目标的候选的情况来在被确定为操作目标的候选的多条显示信息之间设置优先级。例如，图16是用于描述根据修改6的信息处理系统的概要的说明图。在图16中，附图标记R419示意性地指示用户的视线所指向的真实空间中的位置。即，图16示出了用户将视线指向虚拟对象V411和V413的情况，并且在这种情况下，信息处理系统1将虚拟对象V411和V413确定为操作目标的候选。

此时，信息处理系统1可以根据视线所指向的位置R416与被确定为候选的虚拟对象V411和V413中的每一个之间的距离来设置虚拟对象 V411与V413之间的优先级。例如，附图标记R415示意性地指示在测量视线所指向的位置R416与虚拟对象V411之间的距离的情况下、作为虚拟对象V411的基准的位置(下文中，称为“交互点”)。以相同的方式，附图标记R417指示虚拟对象V413的交互点。

在图16所示的示例中，与虚拟对象413的交互点R417相比，虚拟对象V411的交互点R415被定位成更靠近视线所指向的位置R416。为此，与虚拟对象V413的优先级相比，信息处理系统1将虚拟对象V411的优先级设置地更高。

注意，可以基于每个虚拟对象的中心或重心来设置交互点。另外，作为另一示例，可以将交互点设置为在虚拟对象的各部分中的更容易地收集用户的视线的位置。例如，由于虚拟对象V411和V413被呈现为模仿图 16中所示的示例中的角色的化身，因此，交互点被设置为与角色的面部相对应的部分。另外，可以根据各种状态或情况动态地设置或改变交互点的设置方法。

此外，作为另一示例，信息处理系统1可以从操作目标的候选中排除被确定为操作目标的候选的多条显示信息中的具有低优先级的显示信息。在这种情况下，例如，信息处理系统1可以基于机器学习来根据时区、地点、情况等累积用户未选择的选项的数据，并且基于所积累的数据来在被确定为操作目标的候选的多条显示信息之间设置优先级。利用这样的配置，例如，信息处理系统1可以从操作目标的候选中排除被确定为操作目标的候选的多条显示信息中的其优先级低于阈值的显示信息(即，不太可能被用户选择的显示信息)。

例如，信息处理系统1可以根据时区排除不太可能在时区中被选择的选项。具体地，信息处理系统1可以在工作时间期间从操作目标的候选中排除与应用例如游戏相关联的显示信息。另外，作为另一示例，信息处理系统1还可以排除与紧挨在之前选择的选项相同类型的选项。具体地，紧接在选择与“餐馆”相关联的显示信息之后，信息处理系统1可以识别出与“餐馆”相关联的其他条显示信息不太可能以同样的方式被选择，并且从操作目标的候选中排除其他条显示信息。

如上所述，已经描述了作为修改6的通过根据各种状态或情况设置选择目标的优先级并且使用该优先级来以更优选的方式实现与用户的交互的控制的示例。

<4.7.修改7：根据状态或情况的控制示例>

如在上面的描述中的一些示例中所描述的，根据本实施方式的信息处理系统1可以根据各种状态或情况来切换控制。因此，下面将描述作为修改7的根据各种状态或情况的控制的另一示例。

例如，信息处理系统1可以在使被确定为操作目标的候选的多条显示信息彼此分离时，基于各种类型的传感器的检测结果来确定用户的状态或者行为，并且可以根据识别结果来控制显示信息的显示。

作为具体示例，在识别出用户移动至被确定为候选的显示信息叠加在其上的真实空间中的位置的情况下，信息处理系统1可以执行控制使得显示信息的移动速度变慢。

另外，作为另一示例，信息处理系统1可以根据用户的状态或行为的识别结果来控制与用户的交互的定时。在这种情况下，信息处理系统1可以控制使被确定为操作目标的候选的多条显示信息移动的定时或者显示信息的操作(例如，移动速度等)，使得在更优选的定时处执行交互。

另外，作为另一示例，信息处理系统1可以预测用户接下来要执行的动作，并且根据预测结果来控制被确定为操作目标的候选的显示信息的运动。

作为具体示例，在预测到用户经由被配置成化身的虚拟对象与另一用户通信的情况下，信息处理系统1还可以使虚拟对象移动得更靠近用户。利用这样的控制，信息处理系统1可以以更自然的方式根据与对通信的目标(虚拟对象)的选择有关的操作引导用户经由所选择的目标与另一用户进行通信。

此外，作为另一示例，还可以假定简单地选择多个确定出的候选中的任一个的情况。在这样的情况下，信息处理系统1可以控制显示信息的显示位置，使得被确定为操作目标的候选的多条显示信息被简单地向左或向右彼此分离。利用这样的控制，由于信息处理系统1可以更快地识别用户最初将视线所指向的作为操作目标的候选，因此，可以提高与用户交互的速度。

注意，该方法不受特别限制，只要可以预测用户接下来执行的动作即可。例如，信息处理系统1可以根据正在执行的功能(例如，应用)来预测用户接下来要执行的动作。具体地，在正在执行用于与另一用户通信的应用的情况下，可以预测用户向虚拟对象例如化身执行交谈的动作。

另外，作为另一示例，信息处理系统1可以根据所选择的操作目标的候选的属性或者与候选相关联的处理来预测用户接下来要执行的动作。具体地，在显示信息例如用于改变各种类型的设置的菜单或图标被选择为操作目标的候选的情况下，不太可能对显示信息执行用于通信的动作，而很可能要执行用于选择显示信息的动作。为此，例如，可以根据指示用于改变各种类型的设置的菜单、图标等的属性来预测到用户执行用于明确地选择目标显示信息例如触摸操作的动作。另外，作为另一示例，在虚拟对象例如化身被选择为操作目标的候选的情况下，很可能对虚拟对象执行用于通信的动作。为此，例如，可以根据指示虚拟对象例如化身的属性预测到用户执行用于通信例如说话的动作。

当然，在上面的描述中示出的示例仅是示例，并且本公开内容不一定限于该示例。另外，不用说信息处理系统1可以通过组合多个条件来预测用户接下来要执行的动作。

如上所描述的，将作为修改7的根据各种状态或情况的控制的另一示例描述如下。

<<5.应用示例>>

随后，将描述根据本实施方式的信息处理系统1的应用示例。

<5.1.应用示例1：智能电话或平板终端的应用示例>

首先，将参照图17来描述作为应用示例1的将本实施方式的信息处理系统应用于针对显示在屏幕上的显示信息使用触摸操作执行用户的输入的装置例如智能电话或平板终端的情况的示例。图17是用于描述根据本实施方式的信息处理系统的第一应用示例的说明图，并且示出了将使用上面描述的根据本实施方式的信息处理系统与用户的交互应用于智能电话的情况的示例。

例如，图17示出了通过使用操作体Ub例如手指对显示在被配置成智能电话(例如，显示器)的信息处理装置30的显示单元301上的显示信息执行触摸操作来操作信息处理装置30的情况的示例。另外，图17示意性地示出了用户使用操作体Ub对显示在显示单元301上的被定位在彼此附近的多条显示信息V551和V553中的一个执行触摸操作的情况。

在图17所示的示例中，信息处理装置30将显示信息V551和V553 确定为操作目标的候选，并且控制显示信息V551和V553的显示位置，使得确定出的显示信息V551和V553彼此分离。

具体地，信息处理装置30可以通过基于设置在显示单元303的屏幕上的触摸板的检测结果检测操作体Ub接近显示信息V551和V553呈现的位置，将显示信息V551和V553确定为操作目标的候选。

另外，作为另一示例，信息处理装置30可以检测用户的视线，从而根据由视线指示的显示单元303的屏幕上的位置来确定操作目标的候选。例如，在图17所示的示例中，用户的视线R515指向显示单元303的屏幕上由附图标记R517指示的位置。在这种情况下，信息处理装置30可以通过检测视线R515识别视线R515指向屏幕上的位置R517，并且将定位在位置R517附近的显示信息V551和V553确定为操作目标的候选。

注意，检测用户的视线的方法不受特别限制。作为具体示例，用于捕获面向显示单元301的屏幕的用户的图像的成像单元可以设置在其上设置有显示单元301的信息处理装置30的表面上。利用这样的配置，信息处理装置30可以通过分析由成像单元捕获的用户的面部图像(最终，用户的眼睛的图像)来检测用户的视线R515。

如上所描述的，已经参照图17描述了作为应用示例1的将根据本实施方式的信息处理系统应用于针对显示在屏幕上的显示信息使用触摸操作执行用户的输入的装置例如所谓的智能电话或平板终端的情况的示例。

<5.2.应用示例2：桌面系统的应用示例>

随后，将参照图18和图19来描述作为应用示例2的将根据本实施方式的信息处理系统应用于所谓的桌面系统的情况的示例。图18和图19是用于描述根据本实施方式的信息处理系统的第二应用示例的说明图。注意，在下面的描述中，根据应用示例2的信息处理系统可以被称为“信息处理系统3”，以与根据上面描述的实施方式的信息处理系统1进行区分。

首先，将参照图18来描述被配置成桌面系统的信息处理系统3的示意性配置的示例。如图18所示，根据应用示例2的信息处理系统3包括传感器盒420、用于呈现显示信息的输出单元430、以及主体410，在主体410中设置有用于控制信息处理系统3的各种操作的控制单元。

在图18所示的示例中，信息处理系统3例如被安装成面向桌子440 上方的桌子440的上表面侧等。信息处理系统3将显示信息投影在输出单元430上，其中，桌子440的上表面作为投影表面，从而将显示信息呈现给用户，并且针对所投影的显示信息使用信息处理系统3从用户接收操作。注意，附图标记R521指示输出单元430在其上投影信息(即，显示信息)的区域(即，投影表面)。

传感器盒420包括检测单元421，检测单元421用于使用信息处理系统3识别用户的操作内容，或者放置在桌子440上的对象的形状、图案等。例如，在图18所示的示例中，检测单元421被安装成使得从桌子440上方到桌子440的上表面形成检测范围。即，检测单元421被设置成与用作在其上显示信息的目标的桌子400分开。

另外，传感器盒420可以包括声音收集单元423，如所谓的麦克风，以用于声学信息的声音收集，该声学信息例如由用户发出的声音或信息处理系统3位于其中的环境的周围声音等。注意，声音收集单元423可以由例如声音收集装置如所谓的麦克风构成。

检测单元421可以由例如距离测量传感器等构成。另外，作为另一示例，检测单元421可以由用于使用例如一个成像光学系统(例如，一系列透镜组)和能够使用多个成像光学系统并且记录深度方向信息对桌子440 成像的立体摄像机对桌子440成像的摄像机构成。注意，在本说明书中，检测单元421被描述为被配置成所谓的立体摄像机。

在立体摄像机用作检测单元421的情况下，例如，可见光摄像机、红外线摄像机等可以应用于立体摄像机。检测单元421可以通过使用立体摄像机作为检测单元421来获取指示距检测单元421的距离的信息(下文中，称为“深度信息”)。检测单元421获取该深度信息，从而信息处理系统3 可以检测真实对象例如放置在桌子440上的手或对象。另外，检测单元421获取该深度信息，从而信息处理系统3可以检测操作体例如用户的手与桌子440的接触和接近或者操作体与桌子440的分离。

利用这样的配置，信息处理系统3可以识别用户使用操作体例如手关于投影在桌子440的上表面上的区域R521上的显示信息的操作，并且根据操作的内容执行各种类型的功能。

另外，信息处理系统3可以基于上面所描述的检测单元421的检测结果，识别在检测单元421的检测区域R123中操作以对投影在区域R521 上的显示信息进行操作的部位例如手或臂的位置或方向。

此外，信息处理系统3还可以被配置成能够检测对投影在桌子440的上表面上的区域R521上的显示信息执行操作的用户的视线。在这种情况下，例如，用于对桌子440的外围成像的成像单元可以设置在信息处理系统3中。利用这样的配置，信息处理系统3分析由成像单元捕获的图像，从而识别被定位在桌子440的外围的用户的头部的位置或姿势，并且基于识别的结果来检测用户的视线。

另外，作为另一示例，信息处理系统3可以被配置成能够与根据上面描述的实施方式的输入/输出装置20协作。在这种情况下，信息处理系统 3可以通过分析输入/输出装置20的位置或姿势来确定穿戴输入/输出装置 20的用户的头部的位置或姿势。此外，信息处理系统3可以通过分析由输入/输出装置20捕获的用户的眼球的图像来检测用户的视线。

随后，将参考图19来描述根据应用示例2的信息处理系统3的操作的示例。图19是用于描述根据应用示例2的信息处理系统3的概要的说明图，并且示出了沿垂直方向从上面向下看桌子440的上表面的情况下区域R521与用户之间的位置关系的示例。另外，图19示意性地示出了用户 Uc使用操作体例如他或她的手或手指对投影在区域R521上的被定位在彼此附近的显示信息V555和V557之一执行触摸操作的情况。

在图19所示的示例中，信息处理系统3将显示信息V555和V557确定为操作目标的候选，并且控制投影显示信息V555和V557的位置，使得确定出的显示信息V555和V557彼此分离。

具体地，信息处理系统3可以通过检测用户Uc的手或手指与显示信息V555和V557在桌子440的上表面上的区域R521中投影的位置的接近，将显示信息V555和V557确定为操作目标的候选。

另外，作为另一示例，信息处理系统3可以通过检测用户的视线，根据桌子440的上表面上的区域R521中的由视线所指示的位置来确定操作目标的候选。例如，在图19所示的示例中，用户的视线R525指向桌子 440的上表面上的区域R521中的由附图标记R527指示的位置。在这种情况下，信息处理系统3可以通过检测视线R525识别视线R525指向区域 R521中的位置R527，并且将被定位在位置R527附近的显示信息V555 和V557确定为操作目标的候选。

如上所描述的，已经参照图18和图19描述了作为应用示例2的根据本实施方式的信息处理系统应用于桌面系统的情况的示例。

<5.3.应用示例3：采用触摸操作情况下控制的示例>

随后，将参照图20和图21来描述作为应用示例3的、如上面描述的应用示例1和应用示例2中所示的用户采用触摸操作作为用于输入信息的操作的情况下控制的示例。

例如，图20是用于描述根据本实施方式的信息处理系统的第三应用示例的说明图，并且示出了使用视线对目标进行指定和对目标进行触摸操作二者交互的示例。首先，图20的左侧的图示意性地示出了用户使用操作体Ud对被呈现为定位在彼此附近的对象V611和V613之一执行触摸操作的情况。附图标记R615指示用户的视线，并且附图标记R617指示视线R615所指向的位置。即，在图20的左侧的图中所示的情况下，信息处理系统将对象V611和V613确定为视线R615所指向的操作目标的候选。

接下来，信息处理系统呈现与作为被确定为操作目标的候选的对象 V611和V613相关联的作为对象V611和V613的替代的显示信息V621 和V623，如图20的中间处的图中所示。另外，信息处理系统通过控制呈现显示信息V621和V623的位置来引导用户的视线R615，使得此时显示信息V621和V623彼此分离。例如，在图20的中间处的图中，视线R615 被引导至与用户最初将视线R615所指向的作为操作目标的对象V613相关联的显示信息V623。

视线R615如图20的中间处的图所示地被引导，从而信息处理系统将视线R615被引导至的显示信息V623确定为操作目标，如图20的右侧的图所示。此时，信息处理系统可以如图20的右侧的图中所示地呈现显示信息V623，并且对未被选择作为操作目标的显示信息V621的显示进行限制。

另外，图21是用于描述根据本实施方式的信息处理系统的第三应用示例的另一方面的说明图，并且示出了使用视线对目标进行指定和对目标进行触摸操作二者交互的示例。具体地，图21示出了通过使用操作体Ue 例如手指对在被配置为智能电话的信息处理装置50的显示单元501(例如，显示器)上移位的显示信息执行触摸操作来操作信息处理装置50的情况的示例。

在如图21所示的情况下，例如，当用户使用手指触摸屏幕时，用户的手的其他部分可能触摸屏幕，并且其他部分与屏幕的触摸可能被错误地确定为触摸操作。鉴于这样的情况，信息处理系统限制接收触摸操作的区域，并且通过使用图21中所示的示例中的用户的视线确定操作目标来防止上面描述的错误的确定。

具体地，附图标记R631示意性地指示图21的显示单元501的屏幕上的用户的视线所指向的位置。另外，附图标记R633示意性地指示当用户使用右手Ue的拇指在显示单元501的屏幕上的位置R631附近执行触摸操作时、由右手Ue的其他部分触摸的屏幕上的另一位置。

即使在这样的情况下，在图21所示的示例中，信息处理系统接收显示单元501的屏幕上的视线所指向的位置R631的附近的区域的触摸操作，并且限制其他区域的触摸操作。为此，在图21所示的示例中，即使用户的右手Ue的一部分触摸了显示单元501的屏幕上的位置R633，信息处理系统也不将该触摸确定为触摸操作。即，利用这样的控制，信息处理系统可以防止由用户的非预期触摸操作引起的错误操作的发生。

如上所描述的，已经参照图20和图21描述了作为应用示例3的、如上面描述的应用示例1和应用示例2中所示的在用户采用触摸操作作为用于输入信息的操作的情况下控制的示例。

<<6.硬件配置>>

接下来，与上面描述的信息处理装置10和输入/输出装置20一样，将参照图22来详细描述根据本实施方式的信息处理系统1中包括的信息处理装置900的硬件配置。图22是示出根据本公开内容的本实施方式的信息处理系统1中包括的信息处理装置900的硬件配置的示例的功能框图。

根据本实施方式的信息处理系统1中包括的信息处理装置900主要包括CPU 901、ROM 903以及RAM 905。此外，信息处理装置900还包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923以及通信装置925。

CPU 901用作算术处理装置和控制装置，并且根据记录在ROM 903、 RAM 905、存储装置919或者可移除记录介质927中的各种程序来控制信息处理装置900的整体操作或者部分操作。ROM 903存储由CPU 901使用的程序、操作参数等。RAM 905主要存储在程序执行期间视情况改变的CPU使用的程序和参数等。这些部件经由包括内部总线例如CPU总线等的主机总线907相互连接。注意，上面参照图6描述的识别单元101、视线检测单元103、触发检测单元105、目标确定单元107、处理执行单元109以及显示控制单元111可以通过例如CPU 901来实现。

主机总线907经由桥接器909连接至外部总线911例如PCI(外设部件互连/接口)总线。另外，输入装置915、输出装置917、存储装置919、驱动器921、连接端口923以及通信装置925经由接口913连接至外部总线911。

输入装置915是由用户操作的操作机构，例如鼠标、键盘、触摸板、按钮、开关、控制杆或者踏板。此外，输入装置915可以是使用例如红外光或者其他无线电波的遥控机构(所谓的遥控器)，或者可以是符合信息处理装置900的操作的外部连接装置929例如移动电话或者PDA。此外，输入装置915基于例如由用户利用上面的操作机构输入的信息来生成输入信号，并且包括用于将输入信号输出至CPU 901的输入控制电路。信息处理装置900的用户可以向信息处理装置900输入各种数据，并且可以通过操作输入装置915来指示信息处理装置900执行处理。注意，上面参照图6描述的输入单元253可以通过例如输出装置917来实现。

输出装置917包括能够在视觉上或听觉上向用户通知所获取的信息的装置。这样的装置的示例包括显示装置例如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置和灯、音频输出装置例如扬声器和耳机、打印机等。例如，输出装置917输出由信息处理装置900执行各种处理获得的结果。更具体地，显示装置以文本或图像的形式显示由信息处理装置900执行各种处理获得的结果。另一方面，音频输出装置将包括再现的音频数据和声音数据的音频信号转换成模拟信号，并且输出该模拟信号。注意，上面参照图6描述的输出单元211可以通过例如输出装置917 来实现。

存储装置919是被配置成信息处理装置900的存储单元的示例的用于存储数据的装置。存储装置919由例如磁性存储装置如HHD(硬盘驱动器)、半导体存储装置、光存储装置或者磁光存储装置来配置。该存储装置919存储要由CPU 901执行的程序和各种数据。

驱动器921是用于记录介质的读取器/写入器，并且嵌入在信息处理装置900中或者从外部附接至信息处理装置900。驱动器921读取记录在可附接可移除记录介质例如磁盘、光盘、磁光盘或者半导体存储器中的信息，并且将所读取的信息输出至RAM 905。此外，驱动器921可以在附接的可移除记录介质927例如磁盘、光盘、磁光盘或者半导体存储器中写入记录。可移除记录介质927例如是DVD介质、HD-DVD介质或者Blu-ray (注册商标)介质。另外，可移除记录介质927可以是CompactFlash(CF；注册商标)、闪存、SD存储卡(安全数字存储卡)等。可替选地，可移除记录介质927可以是例如配备有非接触式IC芯片的IC卡(集成电路卡) 或者电子装置。注意，上面参照图6描述的存储单元151可以通过例如 RAM 905和存储装置919中的至少一个来实现。

连接端口923是用于允许装置直接连接至信息处理装置900的端口。连接端口923的示例包括USB(通用串行总线)端口、IEEE1394端口、 SCSI(小型计算机系统接口)端口等。连接端口923的其他示例包括 RS-232C端口、光学音频端子、HDMI(注册商标)(高清晰度多媒体接口) 端口等。通过连接至该连接端口923的外部连接装置929，信息处理装置 900直接从外部连接装置929获得各种类型的数据，并且向外部连接装置 929提供各种类型的数据。

通信装置925是包括例如用于连接至通信网络931的通信装置的通信接口。通信装置925例如是有线或无线LAN(局域网)、蓝牙(注册商标)、用于WUSB(无线USB)的通信卡等。可替选地，通信装置925可以是用于光通信的路由器、用于ADSL(非对称数字用户线路)的路由器、用于各种通信的调制解调器等。例如，该通信装置925可以根据预定协议例如TCP/IP在因特网上以及与其他通信装置发送和接收信号等。连接至通信装置925的通信网络931包括经由有线或无线连接的网络等，并且可以是例如因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。

到此为止，已经示出了能够实现根据本公开内容的实施方式的信息处理系统1中包括的信息处理装置900的功能的硬件配置的示例。上面描述的每个结构元件可以使用通用材料来配置，或者可以由专用于每个结构元件的功能的硬件来实现。因此，可以根据执行本实施方式时的技术水平视情况改变要使用的硬件配置。注意，尽管图22中未示出，但是例如，它自然地包括与根据本实施方式的信息处理系统1中包括的信息处理装置 900相对应的各种配置。

注意，还可以开发用于实现如上所讨论的根据本实施方式的信息处理系统1中包括的信息处理装置900的各个功能的计算机程序，并且在个人计算机等中执行该计算机程序。另外，还可以提供存储这样的计算机程序的计算机可读记录介质。记录介质可以是例如磁盘、光盘、磁光盘或闪存。此外，上面的计算机程序也可以例如经由网络传送，而不使用记录介质。另外，使计算机程序执行的计算机的数目不受特别限制。例如，计算机程序可以由多个计算机(例如，多个服务器等)协作执行。注意，单个计算机或者多个协作计算机也称为“计算机系统”。

<<7.结论>>

如上所描述的，在根据本实施方式的信息处理系统1中，信息处理装置10使预定输出单元211显示一条或更多条显示信息(例如，虚拟对象)，并且检测用于视觉识别的对象(例如真实对象或虚拟对象)的操作。另外，信息处理装置10根据操作的检测结果来确定用作操作的目标的显示信息的候选，并且当存在多个确定出的候选时，控制至少一个候选的显示位置，使得多个候选彼此分离。基于这样的配置，根据本实施方式的信息处理系统1将用户的操作引导至被确定为操作目标的候选的多条显示信息中的用户最初指定为操作目标的显示信息。因此，即使在对多个视觉识别地呈现的目标选择性地执行操作的情况下，信息处理系统1也可以以更自然的方式实现与用户的交互。

以上已经参照附图描述了本公开内容的(一个或更多个)优选实施方式，但是本公开内容不限于上面的示例。本领域技术人员可以在所附权利要求的范围内找到各种替代方案和修改方案，并且应当理解的是，它们将自然地落入本公开内容的技术范围内。

此外，本说明书中描述的效果仅仅是说明性的或者示例性的效果，而不是限制性的。即，利用或代替以上效果，根据本公开内容的技术可以实现根据本说明书的描述本领域技术人员将清楚的其他效果。

另外，本技术还可以配置如下。

(1)一种信息处理装置，包括：

控制单元，其被配置成使预定输出单元显示一条或更多条显示信息；

检测单元，其被配置成检测针对能够视觉识别的对象的操作；以及

确定单元，其被配置成根据所述操作的检测结果来确定用作所述操作的目标的显示信息的候选，

其中，在存在多个确定出的候选的情况下，所述控制单元控制至少一个候选的显示位置，使得所述多个候选彼此分离。

(2)根据方案(1)所述的信息处理装置，

其中，所述控制单元基于用于确定所述候选的预定条件，控制所述多个确定出的候选中的至少一个候选的显示位置。

(3)根据方案(1)或(2)所述的信息处理装置，

其中，所述检测单元检测基于用户的视线的操作，以及

所述确定单元根据由所检测到的视线指示的位置来确定用作所述操作的目标的所述显示信息的候选。

(4)根据方案(3)所述的信息处理装置，

其中，所述控制单元控制所述多个候选中的至少一个候选的显示位置，使得所述多个确定出的候选相对于所述用户位于预定方向上。

(5)根据方案(3)或(4)所述的信息处理装置，

其中，所述检测单元检测基于所述视线的第一操作和与所述第一操作不同的第二操作，以及

所述确定单元使用对所述第二操作的检测作为触发，根据所述第一操作的检测结果来确定用作所述操作的目标的所述显示信息的候选。

(6)根据方案(1)至(5)中任一项所述的信息处理装置，包括：

预测单元，其被配置成预测随后要输入的操作，

其中，所述控制单元根据所述操作的预测结果来控制所述多个确定出的候选中的至少一个候选的显示位置。

(7)根据方案(6)所述的信息处理装置，

其中，所述预测单元根据与所述多个确定出的候选中的至少一个候选相关联的处理来预测随后要输入的操作。

(8)根据方案(1)至(7)中任一项所述的信息处理装置，

其中，所述控制单元根据针对所述多个候选设置的优先级来控制所述多个确定出的候选中的至少一个候选的显示位置。

(9)根据方案(8)所述的信息处理装置，

其中，所述控制单元从所述多个确定出的候选中排除具有较低优先级的至少一些候选。

(10)根据方案(8)或(9)所述的信息处理装置，

其中，所述优先级是根据由所述操作指定的位置与所述对象或者关联于所述对象的所述显示信息之间的位置关系来设置的。

(11)根据方案(8)或(9)所述的信息处理装置，

其中，所述优先级是根据所述对象、或者关于与所述对象相关联的所述显示信息的操作频率来设置的。

(12)根据方案(1)至(11)中任一项所述的信息处理装置，

其中，所述对象是位于真实空间中的真实对象，以及

所述控制单元使所述输出单元显示所述显示信息，使得所述显示信息叠加在所述真实对象上。

(13)根据方案(12)所述的信息处理装置，包括：

识别单元，其被配置成识别所述真实对象，

其中，所述控制单元根据所述真实对象的识别结果来控制所述多个确定出的候选中的至少一个候选的显示位置。

(14)根据方案(1)至(13)中任一项所述的信息处理装置，

其中，所述控制单元根据被确定为所述操作的目标的所述候选的显示位置，控制除了所述操作的目标以外的其他候选的显示。

(15)根据方案(14)所述的信息处理装置，

其中，所述控制单元根据被确定为所述操作的目标的所述候选的显示位置来控制所述其他候选的显示位置。

(16)根据方案(14)所述的信息处理装置，

其中，所述控制单元限制所述其他候选的显示。

(17)根据方案(1)至(16)中任一项所述的信息处理装置，

其中，所述控制单元根据针对所述多个确定出的候选中的至少一个候选设置的属性来控制所述候选的显示位置。

(18)根据方案(1)至(17)中任一项所述的信息处理装置，

其中，所述控制单元根据用户的状态来控制所述多个确定出的候选中的至少一个候选的显示位置。

(19)一种信息处理方法，包括通过计算机系统：

使预定输出单元显示一条或更多条显示信息；

检测针对能够视觉识别的对象的操作；

根据所述操作的检测结果来确定用作所述操作的目标的显示信息的候选；以及

在存在多个确定出的候选的情况下，控制至少一个候选的显示位置，使得所述多个候选彼此分离。

(20)一种使计算机系统执行以下操作的程序：

使预定输出单元显示一条或更多条显示信息；

检测针对能够视觉识别的对象的操作；

根据所述操作的检测结果来确定用作所述操作的目标的显示信息的候选；以及

在存在多个确定出的候选的情况下，控制至少一个候选的显示位置，使得所述多个候选彼此分离。

附图标记列表

1 信息处理系统

10 信息处理装置

20 输入/输出装置

101 识别单元

103 视线检测单元

105 触发检测单元

107 目标确定单位

109 处理执行单元

111 显示控制单元

151 存储单元

201 成像单元

211 输出单元

251 检测单元

253 输入单元

Claims (20)

1.一种信息处理装置，包括：

控制单元，其被配置成使预定输出单元显示一条或更多条显示信息；

检测单元，其被配置成检测针对能够视觉识别的对象的基于用户的视线的操作；以及

确定单元，其被配置成根据所述操作的检测结果来确定用作所述操作的目标的显示信息的候选，

其中，在存在多个确定出的候选的情况下，所述控制单元控制至少一个候选的显示位置，使得所述多个候选彼此分离，以及

所述控制单元根据基于检测视线的结果而确定所述操作的目标的视线分解能力，确定使多个候选彼此分离的距离。

2.根据权利要求1所述的信息处理装置，

其中，所述控制单元基于用于确定所述候选的预定条件，控制所述多个确定出的候选中的至少一个候选的显示位置。

3.根据权利要求1所述的信息处理装置，

所述确定单元根据由所检测到的视线指示的位置来确定用作所述操作的目标的所述显示信息的候选。

4.根据权利要求3所述的信息处理装置，

其中，所述控制单元控制所述多个候选中的至少一个候选的显示位置，使得所述多个确定出的候选相对于所述用户位于预定方向上。

5.根据权利要求3所述的信息处理装置，

其中，所述检测单元检测基于所述视线的第一操作和与所述第一操作不同的第二操作，以及

所述确定单元使用对所述第二操作的检测作为触发，根据所述第一操作的检测结果来确定用作所述操作的目标的所述显示信息的候选。

6.根据权利要求1所述的信息处理装置，包括：

预测单元，其被配置成预测随后要输入的操作，

其中，所述控制单元根据所述操作的预测结果来控制所述多个确定出的候选中的至少一个候选的显示位置。

7.根据权利要求6所述的信息处理装置，

其中，所述预测单元根据与所述多个确定出的候选中的至少一个候选相关联的处理来预测随后要输入的操作。

8.根据权利要求1所述的信息处理装置，

其中，所述控制单元根据针对所述多个候选设置的优先级来控制所述多个确定出的候选中的至少一个候选的显示位置。

9.根据权利要求8所述的信息处理装置，

其中，所述控制单元从所述多个确定出的候选中排除具有较低优先级的至少一些候选。

10.根据权利要求8所述的信息处理装置，

其中，所述优先级是根据由所述操作指定的位置与所述对象或者关联于所述对象的所述显示信息之间的位置关系来设置的。

11.根据权利要求8所述的信息处理装置，

其中，所述优先级是根据所述对象、或者关于与所述对象相关联的所述显示信息的操作频率来设置的。

12.根据权利要求1所述的信息处理装置，

其中，所述对象是位于真实空间中的真实对象，以及

所述控制单元使所述输出单元显示所述显示信息，使得所述显示信息叠加在所述真实对象上。

13.根据权利要求12所述的信息处理装置，包括：

识别单元，其被配置成识别所述真实对象，

其中，所述控制单元根据所述真实对象的识别结果来控制所述多个确定出的候选中的至少一个候选的显示位置。

14.根据权利要求1所述的信息处理装置，

其中，所述控制单元根据被确定为所述操作的目标的所述候选的显示位置，控制除了所述操作的目标以外的其他候选的显示。

15.根据权利要求14所述的信息处理装置，

其中，所述控制单元根据被确定为所述操作的目标的所述候选的显示位置来控制所述其他候选的显示位置。

16.根据权利要求14所述的信息处理装置，

其中，所述控制单元限制所述其他候选的显示。

17.根据权利要求1所述的信息处理装置，

其中，所述控制单元根据针对所述多个确定出的候选中的至少一个候选设置的属性来控制所述候选的显示位置。

18.根据权利要求1所述的信息处理装置，

其中，所述控制单元根据用户的状态来控制所述多个确定出的候选中的至少一个候选的显示位置。

19.一种信息处理方法，包括通过计算机系统：

使预定输出单元显示一条或更多条显示信息；

检测针对能够视觉识别的对象的基于用户的视线的操作；

根据所述操作的检测结果来确定用作所述操作的目标的显示信息的候选；

在存在多个确定出的候选的情况下，控制至少一个候选的显示位置，使得所述多个候选彼此分离；以及

根据基于检测视线的结果而确定所述操作的目标的视线分解能力，确定使多个候选彼此分离的距离。

20.一种记录有程序的计算机可读介质，所述程序使计算机系统执行以下操作：

使预定输出单元显示一条或更多条显示信息；

检测针对能够视觉识别的对象的基于用户的视线的操作；

根据所述操作的检测结果来确定用作所述操作的目标的显示信息的候选；

在存在多个确定出的候选的情况下，控制至少一个候选的显示位置，使得所述多个候选彼此分离；以及

根据基于检测视线的结果而确定所述操作的目标的视线分解能力，确定使多个候选彼此分离的距离。

Images