CN108885496A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN108885496A
CN108885496A CN201780019329.4A CN201780019329A CN108885496A CN 108885496 A CN108885496 A CN 108885496A CN 201780019329 A CN201780019329 A CN 201780019329A CN 108885496 A CN108885496 A CN 108885496A
Authority
CN
China
Prior art keywords
information
virtual objects
operating body
information processing
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780019329.4A
Other languages
English (en)
Other versions
CN108885496B (zh
Inventor
石川毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108885496A publication Critical patent/CN108885496A/zh
Application granted granted Critical
Publication of CN108885496B publication Critical patent/CN108885496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种信息处理装置，其具有：操作确定单元，该操作确定单元执行确定用户通过操作体对在虚拟三维空间中限定的虚拟对象执行的操作输入的确定处理，其中，该操作确定单元基于关于操作体在真实三维空间中的空间位置的信息来执行确定处理，并且基于关于操作体的信息来切换确定处理。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序。
背景技术
已经开发出佩戴在用户的头部以供使用的装置，像例如头戴式显示器(其在下文中可以被称为“HMD”)、诸如眼镜型可穿戴装置的眼部佩戴型可穿戴装置(其在下文中可以被称为“眼部佩戴装置”)。
在这种情形下，已经开发出与HMD相关的多种技术。作为在使得通过将在触摸面板上显示的虚拟操作面板叠加在表示真实空间的图像上而生成的图像显示在HMD的显示屏幕上的情况下，执行与针对触摸面板的操作对应的动作的技术，例如例示了在下述专利文献1中公开的技术。
引用列表
专利文献
专利文献1：JP 2006-126936A
发明内容
技术问题
通过使用增强现实(AR)技术，例如可以在诸如HMD或眼部佩戴装置的佩戴在用户头部以供使用的装置的显示屏幕上显示虚拟对象，使得用户可以在视觉上同时识别真实世界的对象和在虚拟三维空间中限定的(用户实际上可感知的)虚拟对象。此外，通过使用例如空间投影技术在真实空间中投射虚拟对象，可以使用户能够在视觉上同时识别真实世界对象和虚拟对象。在下文中这样的真实世界对象可以被称为“真实对象”而虚拟对象可以被称为“虚拟对象”。
在使用上述这种AR技术或空间投影技术的情况下，假定例如使用诸如手或手指的用户身体的一部分或者诸如触控笔等的操作装置的操作体对上述虚拟对象执行操作。
然而，与对真实对象执行操作的情况不同，在对虚拟对象执行操作的情况下不存在由于操作而引起的触觉反馈。因此，在对虚拟对象执行操作的这样的情况下，例如对虚拟对象执行操作的用户可能难以精确地指明操作位置。因此，在对虚拟对象执行操作的情况下，担心用户将不能稳定地对虚拟对象执行操作。
本公开提出了一种可以改进用户可操作性的新的且经改进的信息处理装置、信息处理方法及程序。
问题的解决方案
根据本公开，提供了一种信息处理装置，包括：操作确定单元，其被配置成执行下述确定处理：对用户利用操作体针对在虚拟三维空间中限定的并且该用户实际上能够感知的虚拟对象的操作输入进行确定。该操作确定单元基于操作体在真实三维空间中的空间位置信息来执行确定处理并且基于操作体的信息来切换确定处理。
此外，根据本公开，提供了一种由信息处理装置执行的信息处理方法，该信息处理方法包括下述步骤：执行对用户利用操作体针对在虚拟三维空间中限定的虚拟对象的操作输入进行确定的确定处理。在该执行步骤中，基于操作体在真实三维空间中的空间位置信息来执行确定处理并且基于操作体的信息来切换确定处理。
此外，根据本公开，提供了一种程序，该程序使得计算机系统实现下述功能：执行对用户利用操作体针对在虚拟三维空间中限定的虚拟对象的操作输入进行确定的确定处理。通过该执行功能，基于操作体在真实三维空间中的空间位置信息来执行确定处理并且基于操作体的信息来切换该确定处理。
发明的有益效果
根据本公开，可以改进用户可操作性。
注意，以上描述的效果并不必然是限制性的。与上述效果一起或替代上述效果，可以实现本说明书中描述的任一效果或者可以从本说明书中领会的其他效果。
附图说明
[图1]图1是用于描述根据本实施方式的信息处理方法的概要的说明图。
[图2]图2是用于描述根据本实施方式的信息处理方法的概要的说明图。
[图3]图3是用于描述根据本实施方式的信息处理方法的概要的说明图。
[图4]图4是示出与根据本实施方式的信息处理方法相关的处理的示例的流程图。
[图5]图5是示出根据本实施方式的信息处理装置的配置的示例的框图。
[图6]图6是示出根据本实施方式的信息处理装置的硬件配置的示例的说明图。
具体实施方式
在下文中，将参照附图来详细描述本公开的(一个或多个)优选实施方式。注意，在本说明书和附图中，使用相同的附图标记来表示具有基本相同的功能和结构的结构元件，并且省略了对这些结构元件的重复说明。
此外，在下文中将按照以下顺序来提供描述。
1.根据本实施方式的信息处理方法
2.根据本实施方式的信息处理装置
3.根据本实施方式的程序
(根据本实施方式的信息处理方法)
首先，在下文中将描述根据本实施方式的信息处理方法。在下文中将描述根据本实施方式的信息处理方法，其例示了其中根据本实施方式的信息处理装置执行与根据本实施方式的信息处理方法相关的处理的情况。
[1]与根据本实施方式的信息处理方法相关的处理
图1和图2是用于描述根据本实施方式的信息处理方法的概要的说明图。在图1和图2中示出了下述示例：用户正佩戴有具有至少一个成像装置的HMD，该成像装置对佩戴有该HMD的用户前方的区域进行成像。这里，根据本实施方式的信息处理装置可以是图1和图2所示的HMD，或者可以是图1和图2所示的HMD的外部装置。在根据本实施方式的信息处理装置是图1和图2所示的HMD的外部装置的情况下，根据本实施方式的信息处理装置和HMD彼此进行有线或无线通信。注意，以下将描述根据本实施方式的信息处理装置的应用示例。
例如，从由成像装置捕获的捕获图像获得指示真实对象的位置的位置信息，该位置信息包括表示佩戴有HMD的用户与捕获的真实对象(主体)之间的距离的深度信息。该位置信息由例如原点是真实空间中的任意位置的三维坐标来表示。
此外，HMD具有显示装置，并且使虚拟对象叠加在用户的前方场景中的任意位置处并且然后显示在显示装置的显示屏幕上。在图1和图2中，诸如窗口的平面对象被示为虚拟对象。
这里，图1和图2所示的HMD可以是透射型装置或者可以是非透射型装置。作为透射型，例示了诸如通过在显示屏幕上显示由成像装置捕获的图像而电子地示出外部视图的视频透射型或者光学透射型等的任意类型。此外，作为用于实现透射型的显示方法，例示了例如能够实现透射型的任意显示方法，例如全息图方法、半反射镜方法或光瞳分割方法。
在图1和图2所示的HMD是透射型装置的情况下，虚拟对象显示在显示屏幕的任意位置处。
此外，在图1和图2所示的HMD是非透射型装置的情况下，由成像装置捕获的捕获图像显示在显示屏幕上并且虚拟对象被显示为叠加在该捕获图像的任意位置处。此外，由于如上所述那样地从捕获图像获得真实对象的位置信息，因此可以考虑该位置信息来显示虚拟对象。作为考虑到位置信息的虚拟图像的显示，例如，例示了“其中在真实对象被定位成与虚拟对象被绘制的位置相比更靠近用户的情况下该虚拟对象的被真实对象所隐藏的一部分未被绘制出的显示”。
在图1所示的示例中，可以设想用户使用他或她的手(操作体的示例；在下文中同样适用)操作虚拟对象的情况。这里，作为使用手对图1所示的虚拟对象执行的操作，例示了例如触摸操作、轻拂操作、捏合操作、拖拽操作等。
这里，使用手对图1所示的平面虚拟对象执行的操作，诸如触摸操作或轻拂操作，需要沿平面执行。此外，该操作可以说是难以精确执行的操作，因为该操作展现了例如手(或指尖)的移动量大、手(或指尖)的移动速度快等的特征。此外，因为操作是对空中的虚拟对象执行的操作，其不会给出关于该操作的触觉反馈，因此设想执行该操作的位置在从用户看去的深度方向上容易移位。因此，图1所示的操作的难度水平高。
此外，例如，在使用手对图1所示的平面虚拟对象执行的操作、诸如触摸操作或轻拂操作期间手(或指尖)在从用户看去的深度方向上移位的情况下，担心将会执行已经执行操作的用户不期望的动作，例如未检测到该操作或者执行与被指定在从该用户看去的深度方向上执行的另一功能相关的处理。
此外，在图2所示的示例中，可以设想了用户如图1那样地使用他或她的手操作虚拟对象的情况。在图2中示出了在从用户看去的深度方向上显示有从虚拟对象1至虚拟对象3的多个虚拟对象的示例，其中每个虚拟对象均是平面虚拟对象。
此外，例如在使用手对图2所示的平面虚拟对象执行的操作、诸如触摸操作或轻拂操作期间手(或指尖)在从用户看去的深度方向上移位的情况下，担心将会执行已经执行操作的用户不期望的动作，例如未检测到该操作或者执行与被指定在从该用户看去的深度方向上执行的另一虚拟对象相关的处理。
如图1和图2所示，在使用诸如手的操作体对不会给出由于操作引起的触觉反馈的虚拟对象执行操作的情况下，担心该操作将会导致用户不期望的动作。此外，在执行用户不期望的动作的情况下，用户可操作性很可能劣化，因此难以指望可以改进用户可操作性。
因此，根据本实施方式的信息处理装置例如对确定由用户使用操作体针对虚拟对象的操作输入的确定处理进行切换(切换处理)。
根据本实施方式的虚拟对象可以被视为例如在虚拟三维空间中限定的并且用户实际上可感知到的虚拟对象。这里，“实际上可感知到的”可以被解释为存在于真实空间中的对象实际上可被识别。注意，实现虚拟感知的感觉不限于视觉，而是可以包括听觉、嗅觉、味觉、躯体感觉等。
作为根据本实施方式的虚拟对象，例示了例如图1和图2所示的这种平面虚拟对象，如其中显示有包括动态图像、静态图像等的任意内容的窗口、与图形用户界面(GUI)相关的窗口等。
注意，根据本实施方式的虚拟对象不限于平面虚拟对象。
例如，根据本实施方式的虚拟对象可以是三维虚拟对象，例如灯泡对象、动物对象或咖喱饭对象。在虚拟对象是这样的三维虚拟对象的情况下，作为使用操作体对根据本实施方式的虚拟对象执行的操作，例示了例如手(或指尖)沿着固体的表面(例如曲面等)的移动、手(或指尖)穿过虚拟对象的内部和外部而非沿着固体表面的移动等。
此外，根据本实施方式的虚拟对象例如可以是以下描述的虚拟输入装置。注意，被实现为虚拟对象的虚拟输入装置的示例当然不限于下述示例。
·虚拟键盘
·虚拟按钮
·虚拟触摸板
·虚拟鼠标
·虚拟操纵杆
·虚拟柄
·虚拟滑块
此外，例如虚拟对象被显示在显示屏幕上以便与真实世界的真实对象同时被用户在视觉上识别。也就是说，虚拟对象被显示为例如可以与真实三维空间中的操作体的图像一起在视觉上被识别。通过使用例如AR技术来实现在显示屏幕上显示虚拟对象和真实对象以便可以同时被用户在视觉上识别。
注意，例如，虚拟对象可以被显示在显示屏幕上以使得不与真实对象同时被用户在视觉上识别。例如，作为虚拟对象被显示在显示屏幕上以使得不与真实对象同时被用户在视觉上识别的示例，例示了在非透射型HMD的显示屏幕上仅显示虚拟对象的示例。
此外，在使用任意空间投影技术在空间中投影虚拟对象的情况下，虚拟对象被投影，因此用户可以在视觉上同时识别投影的虚拟对象与真实对象。
作为根据本实施方式的操作体，例示了例如用户身体的一部分、例如他或她的手、手指或脚、用户的视线(例如焦点位置等)、诸如触控笔的操作装置等。下文将主要例示根据本实施方式的操作体是用户身体的一部分、例如他或她的手或手指的情况。
根据本实施方式的信息处理装置例如基于与虚拟对象相关联地限定的操作确定区域来执行确定处理。
这里，作为根据本实施方式的操作确定区域，例示了例如与在虚拟三维空间中限定的虚拟对象具有相同的位置和尺寸的、在虚拟三维空间中限定的区域。在操作确定区域与虚拟对象是相同的区域的情况下，例如，在确定处理中确定由用户使用操作体针对虚拟对象进行的直接操作输入。
注意，根据本实施方式的操作确定区域不限于该示例。例如，根据本实施方式的操作确定区域可以是与在虚拟三维空间中限定的虚拟对象不同的、在虚拟三维空间中限定的区域。
作为在操作确定区域是与虚拟对象具有不同尺寸的区域的情况下的操作确定区域，例示了例如与用户周围的空间对应的区域，其中执行利用例如作为操作者的用户的手或由用户使用的操作装置的操作体的操作。此外，在操作确定区域是与虚拟对象具有不同的尺寸的区域的情况下，例如，这样的操作确定区域被设定为不重叠或者设定任意数量的操作确定区域。
这里，根据本实施方式的信息处理装置未示出操作确定区域。在这种情况下，用户不会在视觉上识别出操作确定区域。
此外，根据本实施方式的信息处理装置可以例如通过显示围绕操作确定区域的线来向用户示出操作确定区域。在这种情况下，操作确定区域等被显示成例如可被用户在视觉上识别。
在根据本实施方式的切换处理中，根据本实施方式的信息处理装置在例如下述第一确定处理与下述第二确定处理之间进行切换。
·第一确定处理：在不校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的确定处理
·第二确定处理：在校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的确定处理
这里，例如通过操作体的运动和操作体与虚拟对象之间的距离的组合来确定经受根据本实施方式的切换处理的虚拟对象。
例如，当检测到操作体的预定运动时，根据本实施方式的信息处理装置将与该操作体的距离小于预定距离的虚拟对象(或者该距离等于或小于该预定距离的虚拟对象)设定为经受根据本实施方式的切换处理的虚拟对象。例如基于下文将描述的表示操作体的运动的信息来指定操作体的运动。此外，例如根据从捕获的图像估计的操作体的位置和虚拟对象的位置来指定操作体与虚拟对象之间的距离。
例如，预先设定与经受根据本实施方式的切换处理的虚拟对象的确定有关的操作体的预定运动。此外，根据本实施方式的操作体的预定运动可以是可改变的。作为操作体的预定运动，例示了例如从高于设定的阈值的速度(或加速度)改变为等于或低于该阈值的速度(或加速度)的操作体的运动等。
此外，例如，预先设定与经受根据本实施方式的切换处理的虚拟对象的确定有关的、操作体与虚拟对象之间的距离。此外，根据本实施方式的操作体与虚拟对象之间的距离可以是可改变的。设定的操作体与虚拟对象之间的距离大于0(零)的情况对应于经受根据本实施方式的切换处理的虚拟对象的检测范围大于该虚拟对象在空间中占用的区域的情况。
注意，“操作体的运动”和“操作体与虚拟对象之间的距离”中的每个的指定方法不限于以上方法，并且根据本实施方式的信息处理装置可以使用使得能够指定“操作体的运动”和“操作体与虚拟对象之间的距离”中的每个的任意方法。
更具体地，作为切换处理，根据本实施方式的信息处理装置执行例如以下描述的(1)第一示例中的切换处理至(5)第五示例中的切换处理中的一个。
(1)切换处理的第一示例
根据本实施方式的信息处理装置基于操作体信息来切换确定针对虚拟对象的操作的确定处理。
这里，作为根据本实施方式的操作体信息，例示了例如表示操作体的运动的信息和基于操作体的位置的信息中的任一者或两者。
作为表示操作体的运动的信息，例示了例如指示与操作体的运动有关的值的数据，例如操作体的速度或操作体的加速度。也就是说，表示操作体的运动的信息包括例如操作体的移动速度的信息。此外，表示操作体的运动的信息可以包括多个不同的指标值。
例如，表示操作体的运动的信息是基于例如速度传感器或加速度传感器的传感器的检测值而获得的。诸如速度传感器或加速度传感器的传感器例如与预定周期进行感测。为了例示图1和图2所示的情况，例如，在HMD是根据本实施方式的信息处理装置的情况下，根据本实施方式的信息处理装置的传感器或者连接至根据本实施方式的信息处理装置的外部传感器被例示为所述传感器。此外，在HMD是根据本实施方式的信息处理装置的外部装置的情况下，例如，HMD的传感器或者连接至HMD的外部传感器被例示为所述传感器。
根据本实施方式的信息处理装置可以例如通过操作体的移动速度来改变用于确定存在针对虚拟对象的操作的标准。这里，标准是例如针对操作体与虚拟对象之间的虚拟位置关系的标准。
举例来说，根据本实施方式的信息处理装置切换确定处理使得：例如，与操作体的移动速度是第一速度时相比，当该操作体的移动速度为高于第一速度的第二速度时，用于确定存在针对虚拟对象的操作的标准更宽松。根据本实施方式的信息处理装置通过基于操作体的移动速度改变用于切换确定处理的预定阈值(将在下文进行描述)来放宽该标准使得：例如，与操作体的移动速度是第一速度时相比，当操作体的移动速度是第二速度时更易于确定存在针对虚拟对象的操作。
图3是用于描述根据本实施方式的信息处理方法的概要的说明图。
如图3所示，操作体在可以利用该操作体执行操作的真实空间中的位置可以由例如以与虚拟对象对应的位置为原点的每个虚拟对象的三维坐标系中的坐标来表示。
注意，根据本实施方式的三维坐标系不限于每个虚拟对象的三维坐标系。根据本实施方式的三维坐标系可以由例如以真实空间中的任意位置为原点的三维坐标系中的坐标来表示。
此外，在使用使得能够在不使用三维坐标系中的坐标的情况下获得操作体的速度或加速度的任意方法的情况下，可以不设定三维坐标系。
以下将描述表示操作体的运动的信息的获取方法的示例，其例示了通过图3所示的X轴、Y轴和Z轴的坐标值表示操作体的位置的情况。
使用例如下述式1，基于操作体的位置的变化，来计算操作体的速度v。这里，下述式1表示基于时间t1处操作体的位置(Xt1,Yt1,Zt1)和时间t2(晚于时间t1的时间)处操作体的位置(Xt2,Yt2,Zt2)的变化的操作体的速度的计算示例。
[数学式1]
注意，操作体的速度的计算方法不限于上述式1。例如，根据本实施方式的信息处理装置可以使用可以计算操作体的速度的任意方法，例如进一步使用Z轴分量的方法，来计算速度。此外，计算操作体的速度的处理可以由根据本实施方式的信息处理装置的外部装置来执行。
此外，根据本实施方式的信息处理装置可以通过对操作体的速度的求微分来计算操作体的加速度。注意，根据本实施方式的信息处理装置可以使用可以计算出操作体的加速度的任意方法来计算操作体的加速度。此外，计算操作体的加速度的处理可以由根据本实施方式的信息处理装置的外部装置来执行。
此外，作为基于操作体的位置的信息，例示了例如指示根据操作体的位置(例如，在用户前方区域内的位置、在用户的优势手侧的区域内的位置、或者在用户的非优势手侧的区域内的位置)的值的数据。由基于操作体的位置的信息表示的值是通过使用例如从捕获图像估计的操作体的位置和将位置(或区域)与由基于操作体的位置的信息表示的值相关联的表(或数据库；下文中同样适用)而获得的。
生成基于操作体的位置的信息的处理可以由根据本实施方式的信息处理装置或者由根据本实施方式的信息处理装置的外部装置(例如HMD或服务器)来执行。在通过外部装置执行生成基于操作体的位置的信息的处理的情况下，根据本实施方式的信息处理装置使用通过通信从外部装置获取的基于操作体的位置的信息。
更具体地，根据本实施方式的信息处理装置根据基于操作体信息的评估值与预定阈值的比较结果，在第一确定处理与第二确定处理之间进行切换。
这里，使用例如下述式2来获得根据本实施方式的基于操作体信息的评估值。下述式2中所示的“k”是设定的系数。下述式2中所示的“k”可以是预先设定的固定值或能够基于用户操作等改变的可变值。此外，作为由操作体信息表示的值，例示了例如在操作体信息中包括的值的累加值、平均值等。
基于操作体信息的评估值＝k×由操作体信息表示的值(式2)
此外，第一示例的预定阈值可以是预先设定的固定值或能够基于用户操作等改变的可变值。
此外，可以基于例如诸如虚拟对象的ID或者与虚拟对象对应的应用的ID的可以用来标识虚拟对象的信息以及诸如用户ID的可以用来标识用户的信息中的一者或两者来设定第一示例的预定阈值。例如，通过基于与可以用来标识虚拟对象的信息对应的值和与可以用来标识用户的信息对应的值中的一者或两者调整阈值基准值来设定第一示例的预定阈值。与可以用来标识虚拟对象的信息对应的值是例如通过使用其中将可以用来标识虚拟对象的信息与该值相关联的表来获得的。此外，与可以用来标识用户的信息对应的值是例如通过使用其中将可以用来标识用户的信息与该值相关联的表来获得的。
通过基于可以用来标识虚拟对象的信息设定阈值，例如，可以在基于针对成人的应用的执行的虚拟对象与基于针对儿童的应用的执行的虚拟对象之间改变阈值。此外，通过基于可以用来标识虚拟对象的信息设定阈值，例如，可以在使用针对触摸型触摸面板开发的应用的情况与使用针对例如可以检测接近度的触摸面板的非触摸型触摸面板开发的应用的情况之间改变阈值。此外，通过基于可以用来标识虚拟对象的信息设定阈值，例如，可以设定每个虚拟对象的阈值，比如设定更高的“与不希望使得用户不期望的动作被执行的处理对应的虚拟对象、例如与执行费用处理有关的虚拟对象的阈值”等。
此外，通过基于可以用来标识用户的信息来设定阈值，例如可以在每个用户之间改变阈值。
此外，可以基于例如使用操作体执行的操作的方向来设定第一示例的预定阈值。例如，通过基于与使用操作体执行的操作的方向对应的值调整阈值基准值来设定第一示例的预定阈值。
与使用操作体执行的操作的方向对应的值是通过使用例如将方向与值相关联的表而获得的。
这里，在将方向与值相关联的表中，例如，将在操作期间不太可能获得准确度的方向上可能降低阈值的值与该方向相关联。作为在操作期间不太可能获得准确度的方向的示例，例示了例如用户难以进行视觉识别的方向，例如从用户看去的深度方向。
如上所述，通过使用“其中将在操作期间不太可能获得准确度的方向上可能降低阈值的值与该方向相关联的表”，例如，更易于在操作期间不太可能获得准确度的方向上校正操作体与虚拟对象之间的位置关系。因此，通过使用其中将在操作期间不太可能获得准确度的方向上可能降低阈值的值与该方向相关联的表，操作体在操作期间不太可能获得准确度的方向上对虚拟对象的操作得到辅助，因此可以改进用户可操作性。也就是说，预定方向上的校正程度可以与另一方向上的校正程度不同。
注意，与操作体的操作方向对应的值的获取方法不限于以上方法。
例如，根据本实施方式的信息处理装置还可以使用任意算法获得在操作体的操作方向是连接用户的眼球到他或她的手或手指(包括诸如触控笔的操作装置)的线上的方向的情况下可能降低阈值的值作为与操作体的操作方向对应的值。
此外，可以基于例如指示设定区域内的虚拟对象的密集程度的值来设定第一示例中的预定阈值。指示设定区域内的虚拟对象的密集程度的值是例如从“区域内的虚拟对象的数目和区域内的虚拟对象之间的距离中的一者或两者”以及“其中将虚拟对象的数目和虚拟对象之间的距离中的一者或两者与指示密集程度的值相关联的表”获得的。
这里，在与指示密集程度的值相关的表中，例如，随着指示虚拟对象的密集程度的值增大，即，随着设定区域内的多个虚拟对象更密集，将可能增大阈值的值与虚拟对象的数目和虚拟对象之间的距离中的一者或两者相关联。
如上所述，通过使用“其中随着指示虚拟对象的密集程度的值增大而将可能增大阈值的值与虚拟对象的数目和虚拟对象之间的距离中的一者或两者相关联的表”，例如，随着设定区域内的多个虚拟对象更密集，更难以校正操作体与虚拟对象之间的位置关系。因此，通过使用“其中随着指示虚拟对象的密集程度的值增大而将可能增大阈值的值与虚拟对象的数目和虚拟对象之间的距离中的一者或两者相关联的表”，例如，尽管事实上用户正在慢慢地移动诸如他或她的手指的操作体，也可以进一步降低确定已经对虚拟对象执行了操作并且正在执行处理的可能性。也就是说，通过使用“其中随着指示虚拟对象的密集程度的值增大而将可能增大阈值的值与虚拟对象的数目和虚拟对象之间的距离中的一者或两者相关联的表”，可以防止执行操作的用户不期望的动作被执行。换句话说，信息处理装置(例如以下将描述的操作确定单元)可以使得：与多个虚拟对象具有第一密度时相比，当该多个虚拟对象具有高于第一密度的第二密度时，确定处理更难以切换。此外，信息处理装置(例如以下将描述的操作确定单元)可以切换确定处理，使得在操作体的移动速度等于或低于预定值的情况下，用于确定存在针对虚拟对象的操作的标准变得更严格。
在例如基于操作体信息的评估值小于预定阈值的情况下(或者在评估值等于或小于阈值的情况下；下文中同样适用)，根据本实施方式的信息处理装置执行第一确定处理。
这里，基于操作体信息的评估值小于预定阈值的情况例如对应于如参照图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性低的情况。因此，在基于操作体信息的评估值小于预定阈值的情况下，根据本实施方式的信息处理装置执行在不校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的第一确定处理。
此外，在例如基于操作体信息的评估值大于或等于预定阈值的情况下(或者在评估值大于阈值的情况下；下文中同样适用)，根据本实施方式的信息处理装置执行第二确定处理。
这里，基于操作体信息的评估值大于或等于预定阈值的情况例如对应于如参照图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性高的情况。因此，在基于操作体信息的评估值大于或等于预定阈值的情况下，根据本实施方式的信息处理装置执行在校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的第二确定处理。注意，基于操作体信息的评估值与如上所述的指示操作体的运动的信息(例如，操作体的动作数据，诸如操作体的速度或操作体的加速度)和基于操作体的位置的信息(例如，相对于用户的位置、区域等)相关联。
在执行第二确定处理的情况下，根据本实施方式的信息处理装置通过例如将操作体与虚拟对象之间的位置偏差设定为“0”(零)来校正操作体与虚拟对象之间的位置关系。此外，对操作体与虚拟对象之间的位置偏差的校正可以是例如对特定方向、比如从用户看去的深度方向等上的位置偏差的校正。
注意，在第一示例的切换处理中，操作体与虚拟对象之间的位置关系的校正方法不限于以上方法。
例如，根据本实施方式的信息处理装置还可以通过根据上述式2所示的基于操作体信息的评估值减小操作体与虚拟对象之间的位置偏差来校正操作体与虚拟对象之间的位置关系。
举出具体示例，在执行校正使得根据上述式2所示的基于操作体信息的评估值减小操作体与虚拟对象之间的位置偏差的情况下，根据本实施方式的信息处理装置参考例如其中将基于操作体信息的评估值与校正值相关联的表来指定与基于操作体信息的评估值对应的位置偏差的校正值。此外，根据本实施方式的信息处理装置可以通过使用例如以基于操作体信息的评估值为变量的函数来指定与基于操作体信息的评估值对应的校正值。
然后，根据本实施方式的信息处理装置利用指定的校正值校正操作体与虚拟对象之间的位置关系，使得操作体与虚拟对象之间的位置偏差减小。
如上所述，在执行第一示例中的切换处理的情况下，根据本实施方式的信息处理装置根据基于操作体信息的评估值与预定阈值的比较结果在第一确定处理与第二确定处理之间进行切换。因此，在执行第一示例中的切换处理的情况下，基于操作体信息来选择性地校正操作体与虚拟对象之间的位置关系，因此可以降低如参照例如图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性。
因此，通过执行第一示例中的切换处理，根据本实施方式的信息处理装置可以实现用户可操作性的改进。
(2)切换处理的第二示例
根据本实施方式的信息处理装置基于操作体信息和虚拟对象信息来切换确定针对虚拟对象的操作的确定处理。
这里，作为根据本实施方式的虚拟对象信息，例示了例如表示虚拟对象的位置的信息、表示虚拟对象的状态的信息和表示虚拟对象的类型的信息中至少之一。
作为表示虚拟对象的位置的信息，例示了例如指示根据虚拟对象的位置(例如，在用户的前方区域内的位置、在用户的优势手侧的区域内的位置、或者在用户的非优势手侧的区域内的位置)的值的数据。指示基于虚拟对象的位置的信息的值是通过使用例如从捕获图像估计的虚拟对象的位置和其中将位置(或区域)与基于虚拟对象的位置的信息表示的值相关联的表而获得的。
此外，可以基于例如虚拟对象相对于用户定位的方向(或者虚拟对象相对于用户的角度)来设定由基于虚拟对象的位置的信息表示的值。在基于虚拟对象被定位的方向来设定由基于虚拟对象的位置的信息表示的值的情况下，例如，由基于虚拟对象的位置的信息表示的值被设定为随着虚拟对象的位置相对于用户的斜向分量增大而进一步增大。
生成基于虚拟对象的位置的信息的处理可以由根据本实施方式的信息处理装置来执行或者由根据本实施方式的信息处理装置的外部装置、例如HMD或服务器来执行。在由外部装置执行生成基于虚拟对象的位置的信息的处理的情况下，根据本实施方式的信息处理装置使用通过通信从外部装置获取的基于虚拟对象的位置的信息。
此外，作为表示虚拟对象的状态的信息，例示了例如指示根据下述至少之一的值的数据：为虚拟对象设定的透明度；为虚拟对象设定的尺寸的值，例如扩大比例或缩小比例；以及指示设定区域内的虚拟对象的密集程度的值。表示虚拟对象的状态的信息所表示的值是通过使用例如“其中将透明度、与尺寸有关的值和指示虚拟对象的密集程度的值中至少之一与表示虚拟对象的状态的信息所表示的值相关联的表”而获得的。
生成表示虚拟对象的状态的信息的处理可以由根据本实施方式的信息处理装置来执行或者由根据本实施方式的信息处理装置的外部装置、例如HMD或服务器来执行。在由外部装置执行生成表示虚拟对象的状态的信息的处理的情况下，根据本实施方式的信息处理装置使用通过通信从外部装置获取的表示虚拟对象的状态的信息。
此外，作为表示虚拟对象的类型的信息，例示了例如指示根据虚拟对象的ID、与虚拟对象对应的应用的ID等的值的数据。表示虚拟对象的类型的信息所表示的值是通过使用例如其中将ID与表示虚拟对象的类型的信息所表示的值相关联的表而获得的。例如，通过使用表示虚拟对象的类型的信息，可以根据与虚拟对象对应的应用或者虚拟对象来改变值，比如通过“使得与针对成人的应用对应的虚拟对象的表示虚拟对象的类型的信息所表示的值和与针对儿童的应用对应的虚拟对象的表示虚拟对象的类型的信息所表示的值不同”等等。此外，例如，通过使用表示虚拟对象的类型的信息，可以通过“将与不希望使得用户所不期望的动作被执行的处理对应的虚拟对象、例如与执行费用处理有关的虚拟对象的值设定为大于参考值”等根据虚拟对象来改变值。
生成表示虚拟对象的类型的信息的处理可以由根据本实施方式的信息处理装置来执行或者由根据本实施方式的信息处理装置的外部装置、例如HMD或服务器来执行。在由外部装置执行生成表示虚拟对象的类型的信息的处理的情况下，根据本实施方式的信息处理装置使用通过通信从外部装置获取的表示虚拟对象的类型的信息。
更具体地，根据本实施方式的信息处理装置根据基于操作体信息和虚拟对象信息的评估值与预定阈值的比较结果，在第一确定处理与第二确定处理之间进行切换。
这里，根据例如下述式3来获得根据本实施方式的基于操作体信息和虚拟对象信息的评估值。下述式3中所示的“k”和“j”中的每个均是设定的系数。下述式3中所示的“k”和“j”中的每个均可以是预先设定的固定值或能够基于用户操作等改变的可变值。此外，作为由操作体信息表示的值，例示了例如操作体信息中包括的值的累加值、平均值等。此外，作为由虚拟对象信息表示的值，例示了例如虚拟对象信息中包括的值的累加值、平均值等。
基于操作体信息和虚拟对象信息的评估值＝k×(操作体信息表示的值)+j×(虚拟对象信息表示的值)...(式3)
此外，第二示例中的预定阈值可以是预先设定的固定值或能够基于用户操作等改变的可变值。
此外，与第一示例中的阈值类似，可以基于例如可以用来标识虚拟对象的信息和可以用来标识用户的信息中的一者或两者来设定第二示例中的预定阈值。通过基于可以用来标识虚拟对象的信息来设定阈值，例如，实现了“在基于针对成人的应用的执行的虚拟对象与基于针对儿童的应用的执行的虚拟对象之间改变阈值”、“将与不希望使得用户所不期望的动作被执行的处理对应的虚拟对象、例如与执行费用处理有关的虚拟对象的阈值设定得更高”等。
此外，通过基于可以用来标识用户的信息来设定阈值，例如可以在每个用户之间改变阈值。
此外，与第一示例中的预定阈值类似，例如可以基于通过操作体的操作的方向或指示设定区域内的虚拟对象的密集程度的值来设定第二示例中的预定阈值。
在例如基于操作体信息和虚拟对象信息的评估值小于预定阈值的情况下(或者在评估值等于或小于阈值的情况下；下文中同样适用)，根据本实施方式的信息处理装置执行第一确定处理。
这里，基于操作体信息和虚拟对象信息的评估值小于预定阈值的情况例如对应于如参照图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性低的情况。因此，在基于操作体信息和虚拟对象信息的评估值小于预定阈值的情况下，根据本实施方式的信息处理装置执行在不校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的第一确定处理。
此外，在例如基于操作体信息和虚拟对象信息的评估值大于或等于预定阈值的情况下(或者在评估值大于阈值的情况下；下文中同样适用)，根据本实施方式的信息处理装置执行第二确定处理。
这里，基于操作体信息和虚拟对象信息的评估值大于或等于预定阈值的情况例如对应于如参照图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性高的情况。因此，在基于操作体信息和虚拟对象信息的评估值大于或等于预定阈值的情况下，根据本实施方式的信息处理装置执行在校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的第二确定处理。
在执行第二确定处理的情况下，根据本实施方式的信息处理装置通过例如将操作体与虚拟对象之间的位置偏差设定为“0”(零)来校正操作体与虚拟对象之间的位置关系。
注意，在第二示例的切换处理中，操作体与虚拟对象之间的位置关系的校正方法不限于以上方法。
例如，如在第一示例中的切换处理那样地，根据本实施方式的信息处理装置可以通过例如根据上述式3所示的基于操作体信息和虚拟对象信息的评估值减小操作体与虚拟对象之间的位置偏差来校正操作体与虚拟对象之间的位置关系。
如上所述，在执行第二示例中的切换处理的情况下，根据本实施方式的信息处理装置根据基于操作体信息和虚拟对象信息的评估值与预定阈值的比较结果，在第一确定处理与第二确定处理之间进行切换。因此，在执行第二示例中的切换处理的情况下，基于操作体信息和虚拟对象信息来选择性地校正操作体与虚拟对象之间的位置关系，因此可以降低如参照例如图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性。
因此，通过执行第二示例中的切换处理，根据本实施方式的信息处理装置可以实现用户可操作性的改进。
(3)切换处理的第三示例
根据本实施方式的信息处理装置基于操作体信息和用户状态信息来在确定针对虚拟对象的操作的确定处理之间进行切换。
这里，作为根据本实施方式的用户状态信息，例示了例如指示与用户正静止、步行、奔跑、爬楼梯等的用户状态的识别结果对应的值的数据。
由用户状态信息表示的值是通过使用例如其中将用户状态的识别结果与用户状态和由用户状态信息表示的值相关联的表而获得的。
可以通过使用可以估计用户状态的任意技术来识别用户状态，像例如，使用诸如加速度传感器或陀螺仪传感器的能够检测运动的传感器的检测值的状态估计、使用利用通过诸如全球定位系统(GPS)装置的定位装置所获得的位置信息的行为历史等的状态估计等等。
生成用户状态信息的处理可以由根据本实施方式的信息处理装置来执行或者由根据本实施方式的信息处理装置的外部装置、例如HMD或服务器来执行。在由外部装置执行生成用户状态信息的处理的情况下，根据本实施方式的信息处理装置使用通过通信从外部装置获取的用户状态信息。
更具体地，根据本实施方式的信息处理装置根据基于操作体信息和用户状态信息的评估值与预定阈值的比较结果，在第一确定处理与第二确定处理之间进行切换。
这里，根据例如下述式4来获得根据本实施方式的基于操作体信息和用户状态信息的评估值。下述式4中所示的“k”和“l”中的每个均是设定的系数。下述式4中所示的“k”和“l”中的每个均可以是预先设定的固定值或能够基于用户操作等改变的可变值。此外，作为由操作体信息表示的值，例示了例如操作体信息中包括的值的累加值、平均值等。
基于操作体信息和用户状态信息的评估值＝k×(操作体信息表示的值)+l×(用户状态信息表示的值)...(式4)
此外，第三示例中的预定阈值可以是预先设定的固定值或能够基于用户操作等改变的可变值。
此外，与第一示例中的阈值类似，可以基于例如可以用来标识虚拟对象的信息和可以用来标识用户的信息中的一者或两者来设定第三示例中的预定阈值。通过基于可以用来标识虚拟对象的信息来设定阈值，例如，实现了“在基于针对成人的应用的执行的虚拟对象与基于针对儿童的应用的执行的虚拟对象之间改变阈值”、“将与不希望使得用户所不期望的动作被执行的处理对应的虚拟对象、例如与执行费用处理有关的虚拟对象的阈值设定得更高”等。
此外，通过基于可以用来标识用户的信息来设定阈值，例如可以在每个用户之间改变阈值。
此外，与第一示例中的预定阈值类似，例如可以基于通过操作体的操作的方向或指示设定区域内的虚拟对象的密集程度的值来设定第三示例中的预定阈值。
在例如基于操作体信息和用户状态信息的评估值小于预定阈值的情况下(或者在评估值等于或小于阈值的情况下；下文中同样适用)，根据本实施方式的信息处理装置执行第一确定处理。
这里，基于操作体信息和用户状态信息的评估值小于预定阈值的情况例如对应于如参照图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性低的情况。因此，在基于操作体信息和用户状态信息的评估值小于预定阈值的情况下，根据本实施方式的信息处理装置执行在不校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的第一确定处理。
此外，在例如基于操作体信息和用户状态信息的评估值大于或等于预定阈值的情况下(或者在评估值大于阈值的情况下；下文中同样适用)，根据本实施方式的信息处理装置执行第二确定处理。
这里，基于操作体信息和用户状态信息的评估值大于或等于预定阈值的情况例如对应于如参照图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性高的情况。因此，在基于操作体信息和用户状态信息的评估值大于或等于预定阈值的情况下，根据本实施方式的信息处理装置执行在校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的第二确定处理。
在执行第三确定处理的情况下，根据本实施方式的信息处理装置通过例如将操作体与虚拟对象之间的位置偏差设定为“0”(零)来校正操作体与虚拟对象之间的位置关系。
注意，在第三示例的切换处理中，操作体与虚拟对象之间的位置关系的校正方法不限于以上方法。
例如，如在第一示例中的切换处理那样地，根据本实施方式的信息处理装置还可以通过例如根据上述式4所示的基于操作体信息和用户状态信息的评估值减小操作体与虚拟对象之间的位置偏差来校正操作体与虚拟对象之间的位置关系。
如上所述，在执行第三示例中的切换处理的情况下，根据本实施方式的信息处理装置根据基于操作体信息和用户状态信息的评估值与预定阈值的比较结果，在第一确定处理与第二确定处理之间进行切换。因此，在执行第三示例中的切换处理的情况下，基于操作体信息和用户状态信息来选择性地校正操作体与虚拟对象之间的位置关系，因此可以降低如参照例如图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性。
因此，通过执行第三示例中的切换处理，根据本实施方式的信息处理装置可以实现用户可操作性的改进。
(4)切换处理的第四示例
根据本实施方式的信息处理装置基于操作体信息、虚拟对象信息和用户状态信息来切换确定针对虚拟对象的操作的确定处理。
更具体地，根据本实施方式的信息处理装置根据基于操作体信息、虚拟对象信息和用户状态信息的评估值与预定阈值的比较结果，在第一确定处理与第二确定处理之间进行切换。
这里，根据例如下述式5来获得根据本实施方式的基于操作体信息、虚拟对象信息和用户状态信息的评估值。下述式5中所示的“k”、“j”和“l”中的每个均是设定的系数。下述式5中所示的“k”、“j”和“l”中的每个均可以是预先设定的固定值或能够基于用户操作等改变的可变值。此外，作为由操作体信息表示的值，例示了例如操作体信息中包括的值的累加值、平均值等。此外，作为由虚拟对象信息表示的值，例示了例如虚拟对象信息中包括的值的累加值、平均值等。
基于操作体信息、虚拟对象信息和用户状态信息的评估值＝k×(操作体信息表示的值)+j×(虚拟对象信息表示的值)+l×(用户状态信息表示的值)...(式5)
此外，第四示例中的预定阈值可以是预先设定的固定值或能够基于用户操作等改变的可变值。
此外，与第一示例中的阈值类似，可以基于例如可以用来标识虚拟对象的信息和可以用来标识用户的信息中的一者或两者来设定第四示例中的预定阈值。通过基于可以用来标识虚拟对象的信息来设定阈值，例如，实现了“在基于针对成人的应用的执行的虚拟对象与基于针对儿童的应用的执行的虚拟对象之间改变阈值”、“将与不希望使得用户所不期望的动作被执行的处理对应的虚拟对象、例如与执行费用处理有关的虚拟对象的阈值设定得更高”等。
此外，通过基于可以用来标识用户的信息来设定阈值，例如可以在每个用户之间改变阈值。
此外，与第一示例中的预定阈值类似，例如可以基于通过操作体的操作的方向或指示设定区域内的虚拟对象的密集程度的值来设定第四示例中的预定阈值。
在例如基于操作体信息、虚拟对象信息和用户状态信息的评估值小于预定阈值的情况下(或者在评估值等于或小于阈值的情况下；下文中同样适用)，根据本实施方式的信息处理装置执行第一确定处理。
这里，基于操作体信息、虚拟对象信息和用户状态信息的评估值小于预定阈值的情况例如对应于如参照图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性低的情况。因此，在基于操作体信息、虚拟对象信息和用户状态信息的评估值小于预定阈值的情况下，根据本实施方式的信息处理装置执行在不校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的第一确定处理。
此外，在例如基于操作体信息、虚拟对象信息和用户状态信息的评估值大于或等于预定阈值的情况下(或者在评估值大于阈值的情况下；下文中同样适用)，根据本实施方式的信息处理装置执行第二确定处理。
这里，基于操作体信息、虚拟对象信息和用户状态信息的评估值大于或等于预定阈值的情况例如对应于如参照图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性高的情况。因此，在基于操作体信息、虚拟对象信息和用户状态信息的评估值大于或等于预定阈值的情况下，根据本实施方式的信息处理装置执行在校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的第二确定处理。
在执行第四确定处理的情况下，根据本实施方式的信息处理装置通过例如将操作体与虚拟对象之间的位置偏差设定为“0”(零)来校正操作体与虚拟对象之间的位置关系。
注意，在第四示例的切换处理中，操作体与虚拟对象之间的位置关系的校正方法不限于以上方法。
例如，如在第一示例中的切换处理那样地，根据本实施方式的信息处理装置可以通过例如根据上述式5所示的基于操作体信息、虚拟对象信息和用户状态信息的评估值减小操作体与虚拟对象之间的位置偏差来校正操作体与虚拟对象之间的位置关系。
如上所述，在执行第四示例中的切换处理的情况下，根据本实施方式的信息处理装置根据基于操作体信息、虚拟对象信息和用户状态信息的评估值与预定阈值的比较结果，在第一确定处理与第二确定处理之间进行切换。因此，在执行第四示例中的切换处理的情况下，基于操作体信息、虚拟对象信息和用户状态信息来选择性地校正操作体与用户状态之间的位置关系，因此可以降低如参照例如图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性。
因此，通过执行第四示例中的切换处理，根据本实施方式的信息处理装置可以实现用户可操作性的改进。
(5)切换处理的第五示例
如以上在(1)中描述的第一示例中的切换处理至(4)中描述的第四示例中的切换处理中所介绍的那样，根据本实施方式的信息处理装置基于“操作体信息”和“虚拟对象信息和用户状态信息中的一者或两者”在第一确定处理和第二确定处理之间进行切换。
注意，根据本实施方式的切换处理不限于以上在(1)中描述的第一示例中的切换处理至(4)中描述的第四示例中的切换处理。
例如，根据本实施方式的信息处理装置可以在不使用操作体信息的情况下，基于“虚拟对象信息和用户状态信息中的一者或两者”，在第一确定处理与第二确定处理之间进行切换。
即使在不使用操作体信息的情况下，根据本实施方式的信息处理装置也可以根据基于虚拟对象信息和用户状态信息中的一者或两者的评估值与预定阈值的比较结果，在第一确定处理与第二确定处理之间进行切换。这里，基于虚拟对象信息和用户状态信息中的一者或两者的评估值是通过例如将上述式5中的未被使用的指标的系数设定为“0”(零)而获得的。
因此，即使在基于虚拟对象信息和用户状态信息中的一者或两者来切换第一确定处理和第二确定处理的情况下，根据本实施方式的信息处理装置也可以实现用户可操作性的改进。
根据本实施方式的信息处理装置执行例如上述切换处理(例如，以上在(1)中描述的第一示例中的切换处理至(5)中描述的第五示例中的切换处理中的任何处理)作为与根据本实施方式的信息处理方法有关的处理。
通过执行根据本实施方式的切换处理，可以选择性地校正操作体与虚拟对象之间的位置关系，并且因此可以降低例如如参照图1和图2所说明的执行了操作的用户所不期望的动作被执行的可能性。
因此，通过执行切换处理作为与根据本实施方式的信息处理方法有关的处理，根据本实施方式的信息处理装置可以实现用户可操作性的改进。
注意，与根据本实施方式的信息处理方法有关的处理不限于切换处理。例如，根据本实施方式的信息处理装置还可以执行将在下文介绍的下述处理中至少之一：(I)通知控制处理、(II)执行控制处理以及(III)显示控制处理。
(I)通知控制处理
根据本实施方式的信息处理装置向用户通知经受根据本实施方式的切换处理的虚拟对象。
根据本实施方式的信息处理装置通过例如控制虚拟对象的显示并且利用下述显示方法使得经受根据本实施方式的切换处理的虚拟对象变得显著，来在视觉上向用户通知经受切换处理的虚拟对象。注意，显然用于使经受根据本实施方式的切换处理的虚拟对象变得显著的显示方法不限于以下示例。
·使经受根据本实施方式的切换处理的虚拟对象加亮。
·将除了经受根据本实施方式的切换处理的虚拟对象之外的虚拟对象显示为灰色。
·上述操作的组合
注意，在视觉上向用户通知经受根据本实施方式的切换处理的虚拟对象的示例不限于上述示例。例如，根据本实施方式的信息处理装置还可以通过改变虚拟对象的突出显示程度、赋予虚拟对象的色彩或亮度等来向用户通知操作体与虚拟对象之间的位置关系已被校正或者操作体与虚拟对象之间的位置关系的校正程度。
此外，根据本实施方式的信息处理装置还可以通过下述方式向用户通知经受根据本实施方式的切换处理的虚拟对象：例如，通过向诸如扬声器的语音输出装置输出指示已确定虚拟对象的语音(还包括声音和音乐；下文中同样适用)的信号而实现的听觉通知，或者通过使振动装置振动而实现的触觉通知。此外，根据本实施方式的信息处理装置可以通过使用语音的听觉通知或使用振动的触觉通知，来向用户通知例如操作体与虚拟对象之间的位置关系已被校正或者操作体与虚拟对象之间的位置关系的校正程度。
此外，根据本实施方式的信息处理装置可以通过例如将视觉通知、触觉通知和触觉通知中的两个或更多个进行组合，来向用户通知经受根据本实施方式的切换处理的虚拟对象、操作体与虚拟对象之间的位置关系的校正、以及操作体与虚拟对象之间的位置关系的校正程度。
通过执行这样的通知控制处理作为与根据本实施方式的信息处理方法有关的处理，用户可以更容易地识别经受切换处理的虚拟对象。因此，由于执行通知控制处理，用户可以识别出使用操作体操作的虚拟对象，并且从而可以进一步改进用户可操作性。
注意，根据本实施方式的通知控制处理可以由根据本实施方式的信息处理装置的外部装置来执行。
(II)执行控制处理
根据本实施方式的信息处理装置控制例如与在关于根据本实施方式的切换处理的确定处理中确定的针对虚拟对象的操作对应的处理的执行。作为与针对虚拟对象的操作对应的处理，例示了例如与虚拟对象相关联的任意处理，例如执行通过操作选择的应用或费用处理。
根据本实施方式的信息处理装置使得例如控制对象执行与所确定的针对虚拟对象的操作对应的处理。
作为根据本实施方式的控制对象，例示了例如根据本实施方式的信息处理装置和根据本实施方式的信息处理装置的外部装置中的一者或两者。对于作为根据本实施方式的控制对象的外部装置，例示了例如任意装置，诸如HMD或服务器。
在根据本实施方式的控制对象是根据本实施方式的信息处理装置的情况下，根据本实施方式的信息处理装置使用例如根据本实施方式的信息处理装置的处理器等执行与所确定的针对虚拟对象的操作对应的处理。
此外，在根据本实施方式的控制对象是外部装置的情况下，根据本实施方式的信息处理装置通过下述方式使得外部装置执行与所确定的针对虚拟对象的操作对应的处理：例如，向外部装置发送包括用于使得与所确定的针对虚拟对象的操作对应的处理被执行的处理命令的处理执行请求。根据本实施方式的信息处理装置使得例如根据本实施方式的信息处理装置的通信单元(将在下文进行描述)或者连接到根据本实施方式的信息处理装置的外部通信装置发送该处理执行请求。
注意，根据本实施方式的执行控制处理可以由根据本实施方式的信息处理装置的外部装置来执行。
(III)显示控制处理
根据本实施方式的信息处理装置可以基于在所执行的确定处理(在根据本实施方式的切换处理中被切换的确定处理)中确定存在操作来改变虚拟对象的显示。
根据本实施方式的信息处理装置可以通过向在其上显示虚拟对象的显示装置发送例如包括显示命令的控制信号来改变虚拟对象的显示，并且该控制信号可以包括与虚拟对象的显示有关的显示数据。
通过如上所述的那样改变虚拟对象的显示，根据本实施方式的信息处理装置可以使得用户能够识别出例如通过确定处理确定存在操作的虚拟对象。注意，根据本实施方式的显示控制处理可以作为处理(I)(通知控制处理)的一部分来执行。
根据本实施方式的信息处理装置执行例如“切换处理”或“切换处理和上述处理(I)(通知控制处理)、处理(II)(执行控制处理)和处理(III)(显示控制处理)中的至少一个”作为与根据本实施方式的信息处理方法有关的处理。
此外，“切换处理”和“切换处理和上述处理(I)(通知控制处理)、处理(II)(执行控制处理)和处理(III)(显示控制处理)中的至少一个”中的每个是通过为了方便起见划分与根据本实施方式的信息处理方法有关的处理而获得的处理。因此，对于与根据本实施方式的信息处理方法有关的处理，例如，可以将“切换处理和上述处理(I)(通知控制处理)、处理(II)(执行控制处理)和处理(III)(显示控制处理)中的至少一个”视为一个处理。此外，对于与根据本实施方式的信息处理方法有关的处理，例如，可以将“切换处理”和“切换处理和上述处理(I)(通知控制处理)、处理(II)(执行控制处理)和处理(III)(显示控制处理)中的至少一个”中的每个视为两个或更多个处理(取决于任意划分方法)。
[2]与根据本实施方式的信息处理方法有关的处理的具体示例
图4是示出与根据本实施方式的信息处理方法有关的处理的示例的流程图。图4示出在执行以上(4)中描述的第四示例中的切换处理和上述处理(II)(执行控制处理)作为与根据本实施方式的信息处理方法有关的处理的情况下的处理的示例。这里，图4的步骤S102至S108中的处理例如与以上(4)中描述的第四示例中的切换处理的示例对应。此外，图4的步骤S112中的处理例如与上述处理(II)(执行控制处理)的示例对应。
根据本实施方式的信息处理装置获取操作体和虚拟对象中的每个的位置(S100)。
根据本实施方式的信息处理装置确定例如由上述式5表示的评估值(根据基于操作体信息、虚拟对象信息和用户状态信息的评估函数获得的评估值)是否大于或等于预定阈值(S102)。
在步骤S102中确定评估值不大于且不等于预定阈值的情况下，根据本实施方式的信息处理装置在不校正操作体与虚拟对象之间的位置关系的情况下(S108)基于位置关系执行操作确定(S108)。
在步骤S108中，根据本实施方式的信息处理装置检测操作体针对虚拟对象的预定操作，例如触摸操作、轻拂操作、捏合操作、拖拽操作等。根据本实施方式的信息处理装置使用可以检测操作的任意方法、例如对捕获图像的分析等来检测操作体针对虚拟对象的预定操作。
此外，在检测到预定操作的情况下，根据本实施方式的信息处理装置确定已经通过操作体针对虚拟对象执行了操作。
这里，在因为步骤S102的确定而确定评估值不大于且不等于预定阈值的情况下执行的步骤S104和步骤S108中的处理对应于第一确定处理。
此外，在步骤S102中确定评估值大于或等于预定阈值的情况下，根据本实施方式的信息处理装置校正操作体与虚拟对象之间的位置关系(S106)。然后，根据本实施方式的信息处理装置基于操作体与虚拟对象之间的经校正的位置关系来执行操作确定(S108)。
这里，在因为步骤S102的确定而确定评估值大于或等于预定阈值的情况下执行的步骤S106和步骤S108中的处理对应于第二确定处理。
根据本实施方式的信息处理装置确定在步骤S108的处理中是否已经确定了操作体针对虚拟对象的操作(S110)。
例如，在步骤S110中未确定操作体针对虚拟对象的操作已被确定的情况下，根据本实施方式的信息处理装置重复从步骤S100起的处理。
此外，在步骤S110中确定操作体针对虚拟对象的操作已被确定的情况下，根据本实施方式的信息处理装置使得控制对象执行与所确定的操作对应的处理(S112)。
这里，在步骤S110中确定操作体针对虚拟对象的操作已被确定的情况下，例如，根据本实施方式的信息处理装置不执行从步骤S100起的处理，直到所确定的操作结束。此外，在步骤S110中确定所确定的操作已经结束的情况下，例如，根据本实施方式的信息处理装置再次执行从步骤S100起的处理。
在拖拽操作被确定为操作体针对虚拟对象的操作的情况下，例如，当诸如手或手指的操作体与虚拟对象之间的距离长于或等于设定的阈值时(或当该距离变得长于阈值时)确定所确定的操作已经结束。注意，用于确定所确定的操作已经结束的条件例如根据每个操作而不同。
由于根据本实施方式的信息处理装置不执行从步骤S100起的处理，直到所确定的操作结束，因此防止例如在与所确定的操作对应的处理中间执行用户不期望的针对另一虚拟对象的处理。
根据本实施方式的信息处理装置执行例如图4所示的处理作为与根据本实施方式的信息处理方法有关的处理。
注意，与根据本实施方式的信息处理方法有关的处理不限于图4所示的处理。
尽管已经在例如图4中示出了通过使用由上述式5表示的评估值和一个阈值的阈值处理选择性地校正操作体与虚拟对象之间的位置关系的示例，但是校正操作体与虚拟对象之间的位置关系的方法不限于该示例。根据本实施方式的信息处理装置还可以基于例如使用多个阈值的多步阈值处理的结果以逐步方式校正操作体与虚拟对象之间的位置关系。
此外，根据本实施方式的信息处理装置可以执行以上(1)中描述的第一示例中的切换处理至以上(3)中描述的第三示例中的切换处理中之一或者以上(5)中描述的第五示例中的切换处理作为与根据本实施方式的信息处理方法有关的处理。
此外，图4的步骤S112中的处理可以由例如根据本实施方式的信息处理装置的外部装置来执行。
(根据本实施方式的信息处理装置)
接下来，将描述可以执行与根据本实施方式的上述信息处理方法有关的处理的根据本实施方式的信息处理装置的配置示例。
图5是示出根据本实施方式的信息处理装置100的配置示例的框图。信息处理装置100具有例如通信单元102和控制单元104。
此外，信息处理装置100可以具有例如只读存储器(ROM，未示出)、随机存取存储器(RAM，未示出)、存储单元(未示出)、可以由用户操作的操作单元(未示出)、在显示屏幕上显示各种画面的显示单元(未示出)等。信息处理装置100使用例如用作数据传输路径的总线来连接组成元件。
ROM(未示出)存储由控制单元104使用的程序或诸如算术参数的控制数据。RAM(未示出)临时存储由控制单元104执行的程序等。
存储单元(未示出)是信息处理装置100的存储部件，并且存储例如各种类型的数据，包括与根据本实施方式的信息处理方法有关的数据、各种应用等，例如与切换处理有关的阈值以及上述各种表。这里，作为存储单元(未示出)，例示了例如，诸如硬盘的磁记录介质、诸如闪存的非易失性存储器等等。此外，存储单元(未示出)可以是可从信息处理装置100拆卸的。
作为操作单元(未示出)，例示了以下将描述的操作输入装置。此外，作为显示单元(未示出)，例示了以下将描述的显示装置。
[信息处理装置100的硬件配置示例]
图6是示出本根据实施方式的信息处理装置100的硬件配置示例的说明图。信息处理装置100具有例如MPU 150、ROM 152、RAM 154、记录介质156、输入/输出接口158、操作输入装置160、显示装置162和通信接口164。此外，信息处理装置100利用例如用作数据传输路径的总线166将组成元件彼此连接。
MPU 150例如由诸如MPU的被配置为算术电路的至少一个处理器、各种处理电路等构成，并且用作整体控制信息处理装置100的控制单元104。此外，MPU 150起到例如将在下文进行描述的信息处理装置100中的操作确定单元110的作用。注意，操作确定单元110可以是能够实现下文将描述的操作确定单元110的处理的专用(或通用)电路(例如，与MPU 150分开的处理器等)。
ROM 152存储由MPU 150使用的程序、诸如算数参数的控制数据等等。RAM 154临时存储例如由MPU 150执行的程序等。
记录介质156用作存储单元(未示出)，并且例如存储例如各种类型的数据，包括与根据本实施方式的信息处理方法有关的数据、各种应用等，例如与切换处理有关的阈值以及上述各种表。这里，作为记录介质156，例示了例如，诸如硬盘的磁记录介质或者诸如闪存的非易失性存储器。此外，记录介质156可以是能够从信息处理装置100拆卸的。
输入/输出接口158连接例如操作输入装置160和显示装置162。操作输入装置160用作操作单元(未示出)并且显示装置162用作显示单元(未示出)。这里，作为输入/输出接口158，例示了例如通用串行总线(USB)端子、数字视频接口(DVI)端子、高清多媒体接口(HDMI)(注册商标)端子、各种处理电路中的任何等。
此外，操作输入装置160例如设置在信息处理装置100上，并且连接至信息处理装置100中的输入/输出接口158。作为操作输入装置160，例示了例如按钮、箭头键、诸如缓动盘的旋转型选择器、它们的组合等。
此外，显示装置162例如设置在信息处理装置100上并且连接至信息处理装置100中的输入/输出接口158。作为显示装置162，例示了例如液晶显示器、有机电致发光显示器(有机EL显示器或者也被称为有机发光二极管显示器(OLED显示器))等。
注意，输入/输出接口158当然也可以连接至外部装置，例如信息处理装置100的外部操作输入装置(例如键盘、鼠标等)或者外部显示装置。此外，显示装置162可以是上面可以进行显示和用户操作的装置，例如触摸面板等。
通信接口164是信息处理装置100的通信部件，并且用作用于经由网络(或者直接)与例如HMD、服务器、通过成像生成捕获图像的成像装置等的外部装置进行无线或有线通信的通信单元102。这里，作为通信接口164，例示了例如通信天线和射频(RF)电路(无线通信)、IEEE 802.15.1端口和发送/接收电路(无线通信)、IEEE 802.11端口和发送/接收电路(无线通信)、局域网(LAN)端子和发送/接收电路(有线通信)等。
信息处理装置100利用例如图6所示的配置来执行与根据本实施方式的信息处理方法有关的处理。注意，根据本实施方式的信息处理装置100的硬件配置不限于图6所示的硬件配置。
例如，在信息处理装置经由所连接的外部通信装置与外部装置等进行通信的情况下或者在信息处理装置执行独立的处理的情况下，信息处理装置100可以没有通信接口164。此外，通信接口164可以能够使用多种通信方案与至少一个外部装置进行通信。
此外，信息处理装置100还可以具有例如用作通过捕获来生成图像(动态图像或静态图像)的成像单元(未示出)的成像装置。
成像装置包括例如透镜/图像传感器和信号处理电路。透镜/图像传感器包括例如使用光学系统中的多个透镜的图像传感器和诸如互补金属氧化物半导体的图像传感器。信号处理电路具有例如自动增益控制(AGC)电路和模数转换器(ADC)，并且将从图像传感器生成的模拟信号转换为数字信号(图像数据)。此外，信号处理电路执行例如与RAW开发有关的各种类型的处理。此外，信号处理电路可以执行各种类型的信号处理，例如白平衡校正处理、色调校正处理、伽马校正处理、YCbCr转换处理、边缘增强处理等。
此外，信息处理装置100还可以具有例如不包含记录介质156、操作输入装置160和显示装置162的配置。
此外，图6所示的配置(或其修改示例的配置)可以通过例如至少一个IC来实现。
再次参照图5，将描述信息处理装置100的配置的示例。通信单元102是信息处理装置100的通信装置，并且经由网络(或者直接)与诸如HMD或服务器的外部装置进行无线或有线通信。此外，通信单元102的通信由例如控制单元104控制。
在此，尽管例示了例如通信天线和RF电路、LAN端子和发送/接收电路等作为通信单元102，但是通信单元102的配置不限于此。例如，通信单元102可以具有与可以进行USB端子、发送/接收电路等的通信的任意标准对应的配置或者可以通过网络进行与外部装置的通信的任意配置。此外，通信单元102可以能够使用多种通信方案与至少一个外部装置进行通信。
控制单元104由例如MPU等构成，并且起到整体控制信息处理装置100的作用。此外，控制单元104具有例如操作确定单元110，并且起到执行与根据本实施方式的信息处理方法有关的处理的主导作用。
操作确定单元110起到执行与根据本实施方式的信息处理方法有关的处理的主导作用。
例如，操作确定单元110执行切换处理以对确定针对虚拟对象的操作的确定处理进行切换。操作确定单元110执行例如以上在(1)中描述的第一示例中的切换处理至以上在(5)中描述的第五示例中的切换处理中的任何处理，并且在不校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的第一确定处理与在校正操作体与虚拟对象之间的位置关系的情况下确定针对虚拟对象的操作的第二确定处理之间进行切换。
此外，操作确定单元110还可以执行例如上述处理(I)(通知控制处理)和处理(II)(执行控制处理)中的一者或两者。
具有操作确定单元110，例如控制单元104主动执行与根据本实施方式的信息处理方法有关的处理(例如，“切换处理”、“切换处理和上述处理(I)(通知控制处理)”、“切换处理和处理(II)(执行控制处理)”或“切换处理、上述处理(I)(通知控制处理)以及处理(II)(执行控制处理)”)。
注意，根据本实施方式的控制单元的配置不限于上述示例。根据本实施方式的控制单元还可以包括例如主动执行上述处理(III)(显示控制处理)的显示控制单元(未示出)。
信息处理装置100利用例如图5所示的配置(根据修改示例的控制单元的配置)来执行与根据本实施方式的信息处理方法有关的处理(例如，“切换处理”或“切换处理和上述处理(I)(通知控制处理)、处理(II)(执行控制处理)和处理(III)(显示控制处理)中的至少一个”)。
因此，信息处理装置100可以利用例如图5所示的配置来实现用户可操作性的改进。
此外，利用图5中所示的配置，例如，信息处理装置100可以表现出通过执行与根据本实施方式的信息处理方法有关的上述处理而带来的效果。
注意，根据本实施方式的信息处理装置的配置不限于图5所示的配置。
例如，根据本实施方式的信息处理装置可以独立于控制单元104(例如，操作确定单元可以被实现为单独的处理电路)而具有图5所示的操作确定单元110(或者根据修改示例的操作确定单元110和显示控制单元(未示出)中的一者或两者)。
此外，“切换处理”和“切换处理和上述处理(I)(通知控制处理)、处理(II)(执行控制处理)和处理(III)(显示控制处理)中的至少一个”中的每个是通过如上所述的那样为了方便起见划分与根据本实施方式的信息处理方法有关的处理而获得的处理。因此，用于实现与根据本实施方式的信息处理方法有关的处理的配置不限于图5所示的操作确定单元110(或者根据修改示例的操作确定单元110和显示控制单元(未示出)中的一者或两者)，并且可以采用与和根据本实施方式的信息处理方法有关的处理的划分方法对应的配置。
此外，例如在信息处理装置经由具有与通信单元102的功能和配置类似的功能和配置的外部通信装置与外部装置进行通信或者执行独立处理的情况下，根据本实施方式的信息处理装置可以没有通信单元102。
尽管以上已经描述了例示信息处理装置的本实施方式，但是本实施方式不限于此。本实施方式可以应用于可以执行与根据本实施方式的信息处理方法有关的处理的各种设备，例如，诸如个人计算机(PC)和服务器的计算机、诸如HMD和眼部佩戴装置的佩戴在用户头部以供使用的装置、可以在真实空间中投射虚拟图像的投影装置、平板型装置、诸如移动电话和智能电话的通信装置等等。此外，本实施方式还可以应用于例如可以并入上述设备中的处理IC。
此外，根据本实施方式的信息处理装置可以应用于包括在连接至网络(或者各个装置之间的通信)的前提下的多个装置的系统，例如云计算等。也就是说，根据本实施方式的上述信息处理装置还可以实现例如利用多个装置执行与根据本实施方式的信息处理方法有关的处理的信息处理系统。作为利用多个装置执行与根据本实施方式的信息处理方法有关的处理的信息处理系统，例示了例如构成信息处理系统的多个装置协作执行“切换处理”或“切换处理和上述处理(I)(通知控制处理)、处理(II)(执行控制处理)和处理(III)(显示控制处理)中的至少一个”的系统。
(根据本实施方式的程序)
通过利用计算机系统的处理器等执行用于使得计算机系统用作根据本实施方式的信息处理装置的程序(例如，使得能够执行与根据本实施方式的信息处理方法有关的处理的程序，诸如“切换处理”或“切换处理和上述处理(I)(通知控制处理)、处理(II)(执行控制处理)和处理(III)(显示控制处理)中的至少一个”)，可以实现用户可操作性的改进。这里，作为根据本实施方式的计算机系统，例示了单个计算机或多个计算机。由根据本实施方式的计算机系统来执行与根据本实施方式的信息处理方法有关的一系列处理。
此外，通过利用计算机系统的处理器等执行用于使得计算机系统用作根据本实施方式的信息处理装置的程序，可以表现出通过执行与根据本实施方式的信息处理方法有关的上述处理而带来的效果。
以上已经参照附图描述了本公开的优选实施方式，然而本公开不限于以上示例。本领域技术人员可以在所附权利要求书的范围内发现各种变化和修改，并且应当理解的是，这些变化和修改将自然地归入本公开的技术范围内。
尽管以上已经描述了提供用于使得计算机系统用作根据本实施方式的信息处理装置的程序(或计算机程序)，但是在本实施方式中还可以一起提供例如用于存储该程序的记录介质(计算机系统等可读的记录介质)。
以上描述的配置是本实施方式的示例并且当然属于本公开的技术范围。
此外，本说明书中描述的效果仅是说明性或示例性效果，而并非限制性的。也就是说，结合或替代以上效果，根据本公开的技术可以实现本领域技术人员根据本说明书的描述而清楚的其他效果。
此外，本技术还可以被如下配置。
(1)
一种信息处理装置，包括：
操作确定单元，所述操作确定单元被配置成执行确定用户利用操作体针对在虚拟三维空间中限定的虚拟对象的操作输入的确定处理，
其中，所述操作确定单元基于所述操作体在真实三维空间中的空间位置信息来执行所述确定处理，并且基于所述操作体的信息来切换所述确定处理。
(2)
根据(1)所述的信息处理装置，其中，所述虚拟对象被显示为能够与所述真实三维空间中的所述操作体的图像一起在视觉上被识别。
(3)
根据(2)所述的信息处理装置，其中，所述操作体的信息是表示所述操作体的运动的信息和基于所述操作体的位置的信息中的一者或两者。
(4)
根据(3)所述的信息处理装置，其中，表示所述操作体的运动的所述信息是所述操作体的移动速度的信息。
(5)
根据(4)所述的信息处理装置，其中，所述操作确定单元切换所述确定处理使得:与所述操作体的移动速度是第一速度时相比，当所述操作体的移动速度为高于所述第一速度的第二速度时，用于确定存在针对所述虚拟对象的操作的标准更宽松。
(6)
根据(5)所述的信息处理装置，其中，所述标准是与所述操作体与所述虚拟对象之间的虚拟位置关系有关的标准。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中，所述操作确定单元使得：与多个虚拟对象具有第一密度时相比，当所述多个虚拟对象具有高于所述第一密度的第二密度时，所述确定处理更难以切换。
(8)
根据(1)至(7)中任一项所述的信息处理装置，其中，所述操作确定单元基于所述虚拟对象的信息和用户状态信息来切换所述确定处理。
(9)
根据(1)至(8)中任一项所述的信息处理装置，其中，所述操作确定单元基于所述操作体的信息和所述虚拟对象的信息来切换所述确定处理。
(10)
根据(8)或(9)所述的信息处理装置，其中，所述虚拟对象的信息是表示所述虚拟对象的位置的信息、表示所述虚拟对象的状态的信息以及表示所述虚拟对象的类型的信息中的一个或两个或更多个。
(11)
根据(1)至(10)中任一项所述的信息处理装置，其中，所述操作确定单元基于与所述虚拟对象相关联地限定的操作确定区域来执行所述确定处理。
(12)
根据(11)所述的信息处理装置，其中，所述操作确定区域不会被所述用户在视觉上识别。
(13)
根据(10)所述的信息处理装置，其中，所述操作确定区域被显示为能够被所述用户在视觉上识别。
(14)
根据(1)至(13)中任一项所述的信息处理装置，
其中，所述操作确定单元控制与所确定的针对所述虚拟对象的操作对应的处理的执行，并且
所述信息处理装置包括显示控制单元，所述显示控制单元被配置成基于所述操作确定单元确定存在所述操作来改变所述虚拟对象的显示。
(15)
根据(14)所述的信息处理装置，其中，所述虚拟对象是虚拟输入装置。
(16)
根据(1)至(15)中任一项所述的信息处理装置，其中，所述操作确定单元在第一确定处理与第二确定处理之间进行切换，其中，所述第一确定处理是在不校正所述操作体与所述虚拟对象之间的位置关系的情况下确定针对所述虚拟对象的操作的处理，所述第二确定处理是在校正所述操作体与所述虚拟对象之间的位置关系的情况下确定针对所述虚拟对象的操作的处理。
(17)
根据(1)至(15)中任一项所述的信息处理装置，
其中，所述操作确定单元在第一确定处理与第二确定处理之间进行切换，
在所述第二确定处理中，在第一方向和与所述第一方向不同的第二方向上执行对确定存在针对所述虚拟对象的操作的所述第一确定处理的标准的校正，并且
在所述第二确定处理中，所述第一方向上的校正程度与所述第二方向上的校正程度不同。
(18)
根据(1)至(17)中任一项所述的信息处理装置，其中，所述操作确定单元基于所述操作体的信息针对深度方向切换所述确定处理。
(19)
一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：
执行确定用户利用操作体针对在虚拟三维空间中限定的虚拟对象的操作输入的确定处理的步骤，
其中，在所述执行步骤中，基于所述操作体在真实三维空间中的空间位置信息来执行所述确定处理，并且基于所述操作体的信息来切换所述确定处理。
(18)
一种程序，所述程序使得计算机系统实现：
执行确定用户利用操作体针对在虚拟三维空间中限定的虚拟对象的操作输入的确定处理的功能，
其中，利用所述执行功能，基于所述操作体在真实三维空间中的空间位置信息来执行所述确定处理，并且基于所述操作体的信息来切换所述确定处理。
附图标记列表
100 信息处理装置
102 通信单元
104 控制单元
110 操作确定单元

Claims (20)

1.一种信息处理装置，包括：
操作确定单元，所述操作确定单元被配置成执行确定用户利用操作体针对在虚拟三维空间中限定的虚拟对象的操作输入的确定处理，
其中，所述操作确定单元基于所述操作体在真实三维空间中的空间位置信息来执行所述确定处理，并且基于所述操作体的信息来切换所述确定处理。
2.根据权利要求1所述的信息处理装置，其中，所述虚拟对象被显示为能够与所述真实三维空间中的所述操作体的图像一起在视觉上被识别。
3.根据权利要求2所述的信息处理装置，其中，所述操作体的信息是表示所述操作体的运动的信息和基于所述操作体的位置的信息中的一者或两者。
4.根据权利要求3所述的信息处理装置，其中，表示所述操作体的运动的所述信息是所述操作体的移动速度的信息。
5.根据权利要求4所述的信息处理装置，其中，所述操作确定单元切换所述确定处理使得：与所述操作体的移动速度是第一速度时相比，当所述操作体的移动速度为高于所述第一速度的第二速度时，用于确定存在针对所述虚拟对象的操作的标准更宽松。
6.根据权利要求5所述的信息处理装置，其中，所述标准是与所述操作体与所述虚拟对象之间的虚拟位置关系有关的标准。
7.根据权利要求1所述的信息处理装置，其中，所述操作确定单元使得：与多个虚拟对象具有第一密度时相比，当所述多个虚拟对象具有高于所述第一密度的第二密度时，所述确定处理更难以切换。
8.根据权利要求1所述的信息处理装置，其中，所述操作确定单元基于所述虚拟对象的信息和用户状态信息来切换所述确定处理。
9.根据权利要求1所述的信息处理装置，其中，所述操作确定单元基于所述操作体的信息和所述虚拟对象的信息来切换所述确定处理。
10.根据权利要求7所述的信息处理装置，其中，所述虚拟对象的信息是下述中至少之一：表示所述虚拟对象的位置的信息、表示所述虚拟对象的状态的信息以及表示所述虚拟对象的类型的信息。
11.根据权利要求1所述的信息处理装置，其中，所述操作确定单元基于与所述虚拟对象相关联地限定的操作确定区域来执行所述确定处理。
12.根据权利要求11所述的信息处理装置，其中，所述操作确定区域不会被所述用户在视觉上识别。
13.根据权利要求11所述的信息处理装置，其中，所述操作确定区域被显示为能够被所述用户在视觉上识别。
14.根据权利要求1所述的信息处理装置，
其中，所述操作确定单元控制与所确定的针对所述虚拟对象的操作对应的处理的执行，并且
所述信息处理装置包括显示控制单元，所述显示控制单元被配置成基于所述操作确定单元确定存在所述操作来改变所述虚拟对象的显示。
15.根据权利要求14所述的信息处理装置，其中，所述虚拟对象是虚拟输入装置。
16.根据权利要求1所述的信息处理装置，其中，所述操作确定单元在第一确定处理与第二确定处理之间进行切换，其中，所述第一确定处理是在不校正所述操作体与所述虚拟对象之间的位置关系的情况下确定针对所述虚拟对象的操作的处理，所述第二确定处理是在校正所述操作体与所述虚拟对象之间的位置关系的情况下确定针对所述虚拟对象的操作的处理。
17.根据权利要求1所述的信息处理装置，
其中，所述操作确定单元在第一确定处理与第二确定处理之间进行切换，
在所述第二确定处理中，在第一方向和与所述第一方向不同的第二方向上执行对确定存在针对所述虚拟对象的操作的所述第一确定处理的标准的校正，并且
在所述第二确定处理中，所述第一方向上的校正程度与所述第二方向上的校正程度不同。
18.根据权利要求1所述的信息处理装置，其中，所述操作确定单元基于所述操作体的信息针对深度方向切换所述确定处理。
19.一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：
执行确定用户利用操作体针对在虚拟三维空间中限定的虚拟对象的操作输入的确定处理的步骤，
其中，在所述执行步骤中，基于所述操作体在真实三维空间中的空间位置信息来执行所述确定处理，并且基于所述操作体的信息来切换所述确定处理。
20.一种程序，所述程序使得计算机系统实现：
执行确定用户利用操作体针对在虚拟三维空间中限定的并且实际上能够被所述用户感知到的虚拟对象的操作输入的确定处理的功能，
其中，利用所述执行功能，基于所述操作体在真实三维空间中的空间位置信息来执行所述确定处理，并且基于所述操作体的信息来切换所述确定处理。
CN201780019329.4A 2016-03-29 2017-02-09 信息处理装置、信息处理方法和程序 Active CN108885496B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-066807 2016-03-29
JP2016066807 2016-03-29
PCT/JP2017/004714 WO2017169158A1 (ja) 2016-03-29 2017-02-09 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN108885496A true CN108885496A (zh) 2018-11-23
CN108885496B CN108885496B (zh) 2021-12-10

Family

ID=59962832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780019329.4A Active CN108885496B (zh) 2016-03-29 2017-02-09 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US10928919B2 (zh)
EP (1) EP3438789A4 (zh)
JP (1) JP6911834B2 (zh)
CN (1) CN108885496B (zh)
WO (1) WO2017169158A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107835403B (zh) * 2017-10-20 2020-06-26 华为技术有限公司 一种以3d视差效果显示的方法及装置
FR3086423B1 (fr) * 2018-09-21 2021-09-10 Diotasoft Procede et systeme de visualisation en realite augmentee
US11520409B2 (en) * 2019-04-11 2022-12-06 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof
WO2022249970A1 (ja) * 2021-05-28 2022-12-01 道生 鯉渕 装置又は方法
KR102617514B1 (ko) * 2021-11-22 2023-12-27 주식회사 듀코젠 메타버스 상에서의 공학실습 플랫폼 제공 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385438A (zh) * 2010-08-31 2012-03-21 索尼公司 信息处理设备,信息处理方法和程序
CN103124945A (zh) * 2010-09-06 2013-05-29 岛根县 图像识别装置和操作判断方法以及程序
CN103309443A (zh) * 2012-03-16 2013-09-18 索尼公司 信息处理设备、信息处理方法以及程序
CN103941851A (zh) * 2013-01-23 2014-07-23 青岛海信电器股份有限公司 一种实现虚拟触摸校准的方法以及系统
US20150007082A1 (en) * 2013-07-01 2015-01-01 Airbus Operations Gmbh Cabin management system having a three-dimensional operating panel
JP2015210684A (ja) * 2014-04-25 2015-11-24 富士通株式会社 入力制御装置、制御方法および制御プログラム
US20160012631A1 (en) * 2014-07-09 2016-01-14 Lg Electronics Inc. Display device having scope of accreditation in cooperation with depth of virtual object and controlling method thereof
JP2016035632A (ja) * 2014-08-01 2016-03-17 株式会社Ｎｔｔドコモ メニュー選択システム及びメニュー選択方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082751A (ja) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム
US7499040B2 (en) * 2003-08-18 2009-03-03 Apple Inc. Movable touch pad with added functionality
JP4574323B2 (ja) 2004-10-26 2010-11-04 キヤノン株式会社 画像処理方法、画像処理装置
JP4163718B2 (ja) * 2006-02-28 2008-10-08 株式会社コナミデジタルエンタテインメント オブジェクト表示装置、オブジェクト配置方法、および、プログラム
JPWO2009016736A1 (ja) * 2007-07-31 2010-10-07 クラリオン株式会社 地図表示装置
US8384718B2 (en) * 2008-01-10 2013-02-26 Sony Corporation System and method for navigating a 3D graphical user interface
JP5126246B2 (ja) * 2010-02-24 2013-01-23 ブラザー工業株式会社 データ入力装置
JP5407950B2 (ja) * 2010-03-11 2014-02-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2012022632A (ja) * 2010-07-16 2012-02-02 Canon Inc 情報処理装置およびその制御方法
US20120056989A1 (en) 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9067136B2 (en) * 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
JP5220157B2 (ja) * 2011-04-01 2013-06-26 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
US20140317576A1 (en) * 2011-12-06 2014-10-23 Thomson Licensing Method and system for responding to user's selection gesture of object displayed in three dimensions
US20130257692A1 (en) 2012-04-02 2013-10-03 Atheer, Inc. Method and apparatus for ego-centric 3d human computer interface
JP2014126997A (ja) * 2012-12-26 2014-07-07 Denso Corp 操作装置、及び操作検出方法
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9632658B2 (en) * 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
JP2014142882A (ja) * 2013-01-25 2014-08-07 Nikon Corp 視線入力装置
JP2014164572A (ja) * 2013-02-26 2014-09-08 Sharp Corp 情報処理装置およびプログラム
JP6227563B2 (ja) * 2013-06-26 2017-11-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ユーザインタフェース装置及び表示オブジェクト操作方法
JP2015114757A (ja) * 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2015159550A1 (ja) * 2014-04-18 2015-10-22 日本電気株式会社 情報処理システム、制御方法、及びプログラム記録媒体
JP2016018252A (ja) * 2014-07-04 2016-02-01 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
JP6344311B2 (ja) * 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
JP6611501B2 (ja) * 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
EP3367213A4 (en) * 2015-10-22 2019-04-17 LG Electronics Inc. MOBILE DEVICE AND CONTROL PROCESS THEREFOR

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385438A (zh) * 2010-08-31 2012-03-21 索尼公司 信息处理设备,信息处理方法和程序
CN103124945A (zh) * 2010-09-06 2013-05-29 岛根县 图像识别装置和操作判断方法以及程序
CN103309443A (zh) * 2012-03-16 2013-09-18 索尼公司 信息处理设备、信息处理方法以及程序
CN103941851A (zh) * 2013-01-23 2014-07-23 青岛海信电器股份有限公司 一种实现虚拟触摸校准的方法以及系统
US20150007082A1 (en) * 2013-07-01 2015-01-01 Airbus Operations Gmbh Cabin management system having a three-dimensional operating panel
JP2015210684A (ja) * 2014-04-25 2015-11-24 富士通株式会社 入力制御装置、制御方法および制御プログラム
US20160012631A1 (en) * 2014-07-09 2016-01-14 Lg Electronics Inc. Display device having scope of accreditation in cooperation with depth of virtual object and controlling method thereof
JP2016035632A (ja) * 2014-08-01 2016-03-17 株式会社Ｎｔｔドコモ メニュー選択システム及びメニュー選択方法

Also Published As

Publication number Publication date
CN108885496B (zh) 2021-12-10
JPWO2017169158A1 (ja) 2019-02-07
WO2017169158A1 (ja) 2017-10-05
JP6911834B2 (ja) 2021-07-28
EP3438789A4 (en) 2019-03-27
US10928919B2 (en) 2021-02-23
EP3438789A1 (en) 2019-02-06
US20190121441A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
CN108885496A (zh) 信息处理装置、信息处理方法和程序
CN107615214B (zh) 界面控制系统、界面控制装置、界面控制方法及程序
JP5983499B2 (ja) 表示制御装置、表示制御方法、およびプログラム
CN107438812B (zh) 信息处理设备、信息处理方法和程序
US20160004300A1 (en) System, Method, Device and Computer Readable Medium for Use with Virtual Environments
CN112136096B (zh) 将物理输入设备显示为虚拟对象
KR20140130675A (ko) 화상 처리 디바이스, 및 컴퓨터 프로그램 제품
WO2020124976A1 (zh) 图像处理方法及装置、电子设备及存储介质
CN108885856A (zh) 信息处理设备、信息处理方法和程序
US10621766B2 (en) Character input method and device using a background image portion as a control region
US20180218631A1 (en) Interactive vehicle control system
CN108885497B (zh) 信息处理装置、信息处理方法和计算机可读介质
US11049306B2 (en) Display apparatus and method for generating and rendering composite images
JPWO2015118756A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018186004A1 (ja) 電子機器及びその制御方法
JP6999822B2 (ja) 端末装置および端末装置の制御方法
JP2018180050A (ja) 電子機器及びその制御方法
KR102349210B1 (ko) 웨어러블 컴퓨팅 디바이스를 이용한 디스플레이 디바이스의 직접 조작
WO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム
JPWO2018179069A1 (ja) 画像表示システム
JP2018073310A (ja) 表示システム、表示プログラム
CN116888562A (zh) 将计算机生成的触控板映射到内容操纵区域
CN117716327A (zh) 用于管理用户界面与物理对象的交互的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant