CN108885523A - 信息处理设备、显示控制方法和程序 - Google Patents

信息处理设备、显示控制方法和程序 Download PDF

Info

Publication number
CN108885523A
CN108885523A CN201780019351.9A CN201780019351A CN108885523A CN 108885523 A CN108885523 A CN 108885523A CN 201780019351 A CN201780019351 A CN 201780019351A CN 108885523 A CN108885523 A CN 108885523A
Authority
CN
China
Prior art keywords
dummy object
operating element
display
dummy
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780019351.9A
Other languages
English (en)
Inventor
横山谅
中川佑辅
山野郁男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108885523A publication Critical patent/CN108885523A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种信息处理设备，包括：显示控制单元，所述显示控制单元生成用于控制显示装置显示限定于虚拟空间中的第一虚拟物体、以及不同于所述第一虚拟物体的第二虚拟物体的显示信息；以及控制器，所述控制器根据基于用户的操作输入的参考位置控制所述显示装置在所述虚拟空间中移动所述第一虚拟物体；当确定所述第一虚拟物体的所述参考位置位于所述第二虚拟物体内部时，控制所述显示装置将所述第一虚拟物体显示在所述第一虚拟物体外切于所述第二虚拟物体的位置处；以及当确定将所述第一虚拟物体与所述第二虚拟物体间隔开的操作被执行时，与所述操作相结合地控制所述第一虚拟物体的显示位置，以使所述第一虚拟物体的所述参考位置和所述显示位置逐渐变得相同。

Description

信息处理设备、显示控制方法和程序
技术领域
本技术涉及一种信息处理设备、一种显示控制方法、以及一种程序。
背景技术
作为用于在显示于显示屏上的虚拟空间中的虚拟物体(在下文称为“物体”)上执行与基本身体动作(诸如“拿”和“触摸”)相关的操作的方法，例如，已知以下方法。
在物体上执行这一操作的指向对象在虚拟空间中显示。该指向对象根据传感器检测到的用户的手的向前、向后、向左和向右运动而在虚拟空间中移动。当用户握紧他/她的手去抓住虚拟空间中的物体时，该手握紧运动被传感器检测到，并且接收检测信息的控制单元控制指向对象抓住物体(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：未审查的日本专利申请2012-018559
发明内容
技术问题
然而，在各个点存在待解决的问题，这些问题与用户对虚拟空间中的物体的可用性相关。
鉴于上文提及的情况，本技术的一个目标是提供能够改善对虚拟空间中的物体的可用性的新型且改进的信息处理设备、信息处理方法、以及程序。
问题的解决方案
为了解决上文提及的问题，根据本技术的一个实施例的一种信息处理设备包括：
显示控制单元，其生成用于控制显示装置显示以下各项的显示信息
限定于虚拟空间中的第一虚拟物体，以及
不同于第一虚拟物体的第二虚拟物体；以及
控制器，其被配置成
根据基于用户的操作输入的参考位置控制显示装置在虚拟空间中移动第一虚拟物体，
当确定第一虚拟物体的参考位置位于第二虚拟物体内部时，控制显示装置将第一虚拟物体显示在第一虚拟物体外切于第二虚拟物体的位置处，并且
当确定将第一虚拟物体与第二虚拟物体间隔开的操作被执行时，与该操作相结合地控制第一虚拟物体的显示位置，以使第一虚拟物体的参考位置和显示位置逐渐变得相同。
控制器可被配置成
基于第一虚拟物体的参考位置的移动向量和第一虚拟物体的参考位置与第一虚拟物体的显示位置之间的差向量计算用于更新第一虚拟物体的显示位置的控制的量，其与将第一虚拟物体与第二虚拟物体间隔开的操作相结合。
第一虚拟物体可包括多个第一虚拟物体。
控制器可被配置成
在多个第一虚拟物体显示于虚拟空间中的情况下，当多个第一虚拟物体中的至少一个第一虚拟物体在虚拟空间中的参考位置位于第二虚拟物体内部时，根据基于用户的操作输入的参考位置，在多个第一虚拟物体之间所规定的相对位置关系的限制条件下控制显示装置将至少一个第一虚拟物体显示在至少一个第一虚拟物体外切于第二虚拟物体的位置处。
控制器可被配置成
与将多个第一虚拟物体与第二虚拟物体间隔开的操作相结合地控制多个第一虚拟物体的显示位置，以使第一虚拟物体的参考位置和第一虚拟物体的显示位置逐渐变得相同，同时遵循限制条件。
控制器可被配置成
当确定在第二虚拟物体内部的位置处移动第一虚拟物体的操作时，控制显示装置将第一虚拟物体显示于在第一虚拟物体的移动过程中第一虚拟物体外切于第二虚拟物体的位置处。
控制器可被配置成
当确定将第一虚拟物体从第二虚拟物体外部移动至第二虚拟物体内部的第一位置的操作时，
控制显示装置将第一虚拟物体显示于在将第一虚拟物体移动至第二虚拟物体内部的第一位置的过程中第一虚拟物体外切于第二虚拟物体的第二位置处，
确定相对于第二虚拟物体的轮廓的第一法线方向，显示在第二位置的第一虚拟物体外切于所述轮廓，
确定相对于第二虚拟物体的轮廓的第二法线方向，第二法线方向从第一位置在第一法线方向上延伸，
将第一虚拟物体的显示位置更新为第一虚拟物体的显示位置外切于第二虚拟物体的轮廓的第三位置，第三位置位于从第一位置延伸的第二法线方向上，并且
重复用于更新第一虚拟物体的显示位置的处理，直到用于更新第一虚拟物体的显示位置的处理结束。
根据本技术的一个实施例的一种信息处理方法包括：
通过显示控制单元生成用于控制显示装置显示限定于虚拟空间中的第一虚拟物体和不同于第一虚拟物体的第二虚拟物体的显示信息；以及
通过控制器，
根据基于用户的操作输入的参考位置控制显示装置在虚拟空间中移动第一虚拟物体，当确定第一虚拟物体的参考位置位于第二虚拟物体内部时，控制显示装置将第一虚拟物体显示在第一虚拟物体外切于第二虚拟物体的位置处，并且当确定将第一虚拟物体与第二虚拟物体间隔开的操作被执行时，与该操作相结合地控制第一虚拟物体的显示位置，以使第一虚拟物体的参考位置和显示位置逐渐变得相同。
根据本技术的一个实施例的一种程序导致计算机如下操作：
显示控制单元，其生成用于控制显示装置显示以下各项的显示信息
限定于虚拟空间中的第一虚拟物体，以及
不同于第一虚拟物体的第二虚拟物体；以及
控制器，其被配置成
根据基于用户的操作输入的参考位置控制显示装置在虚拟空间中移动第一虚拟物体，
当确定第一虚拟物体的参考位置位于第二虚拟物体内部时，控制显示装置将第一虚拟物体显示在第一虚拟物体外切于第二虚拟物体的位置处，并且
当确定将第一虚拟物体与第二虚拟物体间隔开的操作被执行时，与该操作相结合地控制第一虚拟物体的显示位置，以使第一虚拟物体的参考位置和显示位置逐渐变得相同。
本发明的有益效果如下：
如上所述，根据本技术，可以提供能够改善对虚拟空间中的物体的可用性的新型且改进的信息处理设备。
附图说明
[图1]用于描述操作元件对虚拟空间中的物体的穿透的图。
[图2]示出根据本技术的第一实施例的信息处理系统1的配置的实例的框图。
[图3]示出属于图2的信息处理系统1的信息处理设备10的硬件配置的框图。
[图4]关于图3的信息处理设备10处的操作元件3的显示控制的流程图。
[图5]用于描述用于防止图3的信息处理设备10处的操作元件3的穿透的显示控制的图。
[图6]用于描述与将操作元件3与物体2间隔开的操作相结合的显示控制部分I的图。
[图7]用于描述与将操作元件3与物体2间隔开的操作相结合的显示控制部分II的图。
[图8]用于描述将操作元件3与物体2间隔开的操作的确定方法的实例的图。
[图9]用于描述用户手指关节的弯曲的图，所述弯曲可以通过手套型运动检测装置检测。
[图10]用于描述用户手指向左或右摆动的图，所述摆动可以通过手套型运动检测装置检测。
[图11]用于描述多个操作元件的图，所述操作元件可以基于手套型运动检测装置检测到的运动信息显示在虚拟空间中。
[图12]描述用于防止多个操作元件的穿透的显示控制的问题的图。
[图13]用于描述用于防止操作元件的穿透的显示控制的图，其中操作元件之间的长度受到限制。
[图14]用于描述用于防止操作元件的穿透的显示控制的问题的图，其中操作元件之间的长度受到限制。
[图15]用于描述用于防止多个操作元件的穿透的显示控制部分I的图，其中操作元件之间的长度和关节之间的弯曲形式受到限制。
[图16]用于描述用于防止多个操作元件的穿透的显示控制部分II的图，其中操作元件之间的长度和关节之间的弯曲形式受到限制。
[图17]用于描述计算操作元件3上的控制的量的方法的图，所述控制与将操作元件3与物体2间隔开的操作相结合。
具体实施方式
下文将描述根据本技术的一个实施例。
将按照以下顺序给出该实施例的描述。
1.概述
2.系统配置
3.信息处理设备10的配置
4.用于防止操作元件的穿透的显示控制
5.与将操作元件3与物体2间隔开的操作相结合的显示控制部分I
6.与将操作元件3与物体2间隔开的操作相结合的显示控制部分II
7.将操作元件3与物体2间隔开的操作的确定方法
8.操作元件3上的控制的量的计算方法的实例
9.在限制条件下用于防止多个操作元件的穿透的显示控制部分I
10.在限制条件下用于防止多个操作元件的穿透的显示控制部分II
<第一实施例>
[1.概述]
本公开的技术涉及一种信息处理系统，其基于通过检测用户的一根或多根手指的运动等获得的信息在物体(第二虚拟物体)上执行与基本身体动作(诸如“拿”和“触摸”)相关的操作，所述物体是在显示装置的屏幕上构造的虚拟空间中的虚拟物体。在此信息处理系统中，关于用户的一只或两只手和/或一根或多根手指等的运动的信息反映在作为用于在虚拟空间中的操作的物体显示的操作元件(第一虚拟物体)的运动上。
此信息处理系统包括显示装置、运动检测装置、以及信息处理设备作为基本配置，所述信息处理设备执行与虚拟空间的显示(诸如虚拟现实(VR)和增强现实(AR))相关的各种类型的信息处理。信息处理设备仅需要设置有中央处理单元(CPU)和存储器并且包括能够通过执行程序来执行运算处理的控制器。
运动检测装置相对于为布置在显示装置的屏幕上的虚拟空间中的虚拟物体的物体检测用户的一只或两只手和/或一根或多根手指的目的在于操作(诸如，例如“拿”和“触摸”)的运动，并且将检测到的信息供应至信息处理设备。
(1)根据其中操作元件在虚拟空间中的位置基于由运动检测装置输入的关于用户的运动的检测信息进行计算并且在该计算位置显示操作元件的方法，当操作元件3的计算位置位于物体2的空间内部时，如图1所示，例如，操作元件3看起来穿透物体2。当操作元件3显示在被认为不柔软的物体2内部时，诸如“拿”和“触摸”的操作的外观是不自然的。鉴于此，用于防止操作元件的穿透的显示控制将在本文公开，其中操作元件3的显示位置改变，以使操作元件3不穿透物体2，即使操作元件3的计算位置位于物体2内部。
应注意，在下文，基于由运动检测装置输入的用户的运动的检测信息计算的操作元件在虚拟空间中的位置将称为“操作元件的计算位置”并且操作元件在虚拟空间中显示的位置将称为“操作元件的显示位置”。操作元件的计算位置与在权利要求范围中的“基于用户的操作输入的参考位置”相对应并且操作元件的显示位置与在权利要求范围中的“第一虚拟物体的显示位置”相对应。
(2)此外，在采用用于防止操作元件的穿透的显示控制的情况下，即使执行了将操作元件3从物体2内部移动到外部的操作，操作元件3的计算位置在之后的一段时间也位于物体2内部。因此，在操作元件3看起来开始移动之前存在延迟时间，这降低视觉响应性。鉴于此，本文将公开当执行了将操作元件3与物体2间隔开的操作时能够自然地给予用户来自操作元件3的响应的显示控制。
[2.系统配置]
图2是示出根据本技术的第一实施例的信息处理系统1的配置的实例的框图。
该信息处理系统1包括信息处理设备10、显示装置20、以及运动检测装置30。信息处理设备10能够以无线或有线方式与显示装置20通信。信息处理设备10能够以无线或有线方式与运动检测装置30通信。无线通信期望地用于各个通信。例如，任意无线通信方法诸如无线局域网(LAN)、蓝牙(注册商标)、Wi-Fi(注册商标)、以及Zigbee(注册商标)适用于无线通信。
显示装置20可以是，例如，固定显示器、监测器、3D显示器、或可穿戴显示器诸如头戴式显示器(HMD)和腕带型显示器，其独立于信息处理设备10。此外，可采用包括彼此集成的信息处理设备10和显示装置20的装置，诸如膝上型PC、平板电脑终端、以及智能电话。另选地，信息处理设备10可结合在可穿戴显示器(诸如头戴式显示器(HMD)和腕带型显示器)中。
运动检测装置30仅需要能够检测例如用户U的手和手指的运动。运动检测装置30的实例可包括配备有运动传感器的杆形装置和能够检测用户的手的手背和手指的关节的位置的手套型装置等。另选地，一个或多个相机可获取用户的一只或两只手和/或一根或多根手指的图像，并且可通过图像识别检测用户的一只或两只手和/或一根或多根手指等的运动。
[3.信息处理设备10的配置]
图3为示出属于上文提及的信息处理系统1的信息处理设备10的硬件配置的框图。
如图所示，信息处理设备10包括控制单元101、操作单元102、存储单元103、与显示装置20的显示接口104、与运动检测装置30的输入接口105、以及总线106。
控制单元101与根据本技术的权利要求中的“控制器”相对应并且包括处理器(诸如中央处理单元(CPU)和数字信号处理器(DSP))和主存储器(包括随机存取存储器(RAM)等)。控制单元101通过使用主存储器作为工作区域执行程序并且执行与虚拟空间的显示(诸如VR)相关的信息处理。此外，控制单元101通过总线106向操作单元102、存储单元103、显示接口104、以及输入接口105发送信息并且从其中接收信息。
操作单元102是用于将各种类型的用户输入接收到信息处理设备10的用户接口。操作单元102仅需要能够接收用户的输入。操作单元102包括，例如，键盘、鼠标、按钮、开关、小键盘、用于游戏机的控制器、麦克风(自动输入)等。
存储单元103包括，例如，存储介质，诸如半导体存储器和硬盘。与虚拟空间的显示(诸如VR)相关的处理所必需的程序和数据存储在存储单元103中。应注意，程序和数据的至少一部分可以，例如，从信息处理设备10外部的存储装置中获取，而不是由存储单元103存储，所述存储装置诸如数据服务器、网络存储、以及外部记录设备。
显示接口104是用于根据无线通信方法或有线通信方法将由控制单元101生成的用于虚拟空间的显示的显示数据发送至显示装置20的接口。
输入接口105是用于根据无线通信法方法或有线通信方法从运动检测装置30接收用户的运动信息的接口。输入接口105与在权利要求范围中的“显示控制单元”相对应。
总线106是要用于控制单元101、操作单元102、存储单元103、显示接口104、以及输入接口105之间的信息传输的传输通道。
[4.用于防止操作元件的穿透的显示控制]
基于一个程序，信息处理设备10的控制单元101生成虚拟空间的显示数据，所述虚拟空间包括为被操作的虚拟物体的物体2和对其进行操作的操作元件3。控制单元101基于通过接口105从运动检测装置30输入的用户的运动信息计算操作元件3在虚拟空间中的位置并且执行控制以在该位置上显示操作元件3。
如图1所示，操作元件3的计算位置位于物体2的空间内部，并且因此当操作元件3没有改变地显示在那个位置上时，操作元件3看起来穿透物体2，这是不自然的。鉴于此，在该实施例的信息处理设备10中，在操作元件3的计算位置位于物体2的空间内部的情况下，执行用于防止穿透的显示控制，其中操作元件3的显示位置改变，以使操作元件3不穿透物体2。
图4为示出用于防止操作元件3的穿透的显示控制和将操作元件3与物体2间隔开的操作中的显示控制的程序的流程图，将在下文进行描述。
信息处理设备10的控制单元101基于从运动检测装置30获取的运动信息计算操作元件3在虚拟空间中的位置(步骤S101)。控制单元101基于从运动检测装置30瞬时地连续获取的运动信息计算两个位置P0和P1并且基于计算确定操作元件3是否穿透物体2的空间(步骤S102)。
此处，在操作元件3的至少计算位置P1(在下文将称为“第一位置P1”)位于物体2内部的情况下，控制单元101基于计算确定操作元件3穿透物体2的空间(在步骤S102中为“是”)。接着，控制单元101开始用于防止操作元件3的显示位置的穿透的控制(步骤S103)。
图5为用于描述用于防止操作元件3的穿透的显示控制的图。
应注意，在本说明书中，假设使用杆型装置作为运动检测装置30。在这种情况下，操作元件3的数量为“1”。虚拟空间中物体2的形状没有特别规定。应当指出的是，在本说明中，假设物体2具有这样的形状：其具有在x轴方向上延伸的彼此平行的两条边，并且在其两个端部通过曲线彼此连接。
作为用于防止操作元件3的穿透的控制，控制单元101首先将操作元件3显示于在操作元件3的计算位置从物体2外部的位置P0移动至物体2内部的第一位置P1的过程中，操作元件3的计算位置外切于物体2的第二位置Pa1处。
接着，控制单元101确定相对于物体2的轮廓2a的第一法线方向La1，当从第一位置P1观察时，所述第一法线方向La1在第二位置Pa1的方向上延伸。
接着，控制单元101确定从第一位置P1在第一法线方向La1上延伸的相对于物体2的轮廓2a的第二法线方向Lb1。
随后，控制单元101将操作元件3的显示位置更新为第三位置Pa2，在该处，操作元件3的计算位置外切于物体2的轮廓2a，该位置位于从第一位置P1延伸的第二法线方向Lb1上。
通过之后另外重复类似的处理，控制单元101沿物体2的轮廓2a在第四位置Pa3和第五位置Pa4的顺序上移动操作元件3的显示位置。在该实例中，当从第一位置P1观察时在第五位置Pa4的方向上延伸的相对于物体2的轮廓2a的法线方向Lb3平行于y轴方向。因此，在此第五位置Pa4处，更新操作元件3的显示位置的处理结束。
应注意，操作元件3的显示位置的更新处理在此时结束的原因是当从第一位置P1观察时在第五位置Pa4的方向上延伸的相对于物体2的轮廓2a的法线方向Lb3在该实例中平行于y轴方向。因此，如果法线方向Lb3不平行于y轴方向，那么更新处理继续。
当操作元件3在虚拟空间中的计算位置基于从运动检测装置30获取的运动信息改变时，控制单元101重新开始用于防止操作元件3的穿透的显示控制并且操作元件3的显示位置再次更新。
以此方式，在根据本公开的技术的用于防止操作元件3的穿透的显示控制中，当操作元件3的计算位置移动至物体2内部的任意第一位置P1时，操作元件3的显示位置从第二位置Pa1(在该处，操作元件3的显示位置第一次外切于物体2)沿物体2的轮廓2a继续移动，以便在该移动过程中逐渐接近物体2内部的第一位置P1正上方的位置。因此，例如，与控制以便仅在第二位置Pa1处不可移动地显示操作元件3相比，可缓解用户的不适，在操作元件3的计算位置在物体2内部的任意第一位置P1移动的过程中，操作元件3在所述第二位置Pa1处第一次外切于物体2。
在执行用以将操作元件3从物体2外部移动到内部的操作的情况下，如通过根据本公开的技术用于防止操作元件的穿透的显示控制等所表示的，当执行用以将操作元件3显示于操作元件3外切于物体2的位置处的控制时，发生以下问题。
在将操作元件3与物体2间隔开的操作被执行的情况下，操作元件3保持显示在操作元件3外切于物体2(的轮廓2a)的位置处，直到操作元件3的计算位置移动到物体2外部。因此，这可以使用户感觉对将操作元件3与物体2间隔开的操作的响应速度低。
为了解决这一问题，同样如图4的流程图中所示，如果将操作元件3与物体2间隔开的操作被执行(在步骤S104中为“是”)，那么控制单元101与该操作相结合地控制操作元件3的显示位置，以使操作元件3的计算位置和操作元件3的显示位置逐渐变得相同(步骤S105和S106)。
在下文将详细描述与将操作元件3与物体2间隔开的操作相结合的这一显示控制。
[5.与将操作元件3与物体2间隔开的操作相结合的显示控制部分I]
图6为用于描述与将操作元件3与物体2间隔开的操作相结合的这一显示控制部分I的图。
首先，例如，假设尽管操作元件3的计算位置P1位于物体2内部，但是由于上文提及的用于防止操作元件的穿透的显示控制，操作元件3还是显示在操作元件3外切于物体2的位置Ph1处。应注意，在该实例中，由于上文提及的用于防止穿透的显示控制，操作元件3的该显示位置Ph1是操作元件3最终到达的显示位置并且与图5的第五位置Pa4相对应。
然后，执行将操作元件3与物体2间隔开的操作，并且控制单元101确定该操作被执行。应注意，随后将描述将操作元件3与物体2间隔开的这一操作的确定方法。
当确定将操作元件3与物体2间隔开的操作被执行时，控制单元101计算操作元件3在物体2的外部空间中的显示位置，以使操作元件3的计算位置和操作元件3的显示位置逐渐变得相同。也就是说，在图6中，当操作元件3的计算位置从P1更新为P2时，控制单元101将操作元件3的显示位置从Ph1(其为操作元件3的显示位置外切于物体2的位置)更新为与物体2间隔开的位置Ph2。
接着，当操作元件3的计算位置从P2更新为P3时，控制单元101将操作元件3的显示位置从Ph2更新为Ph3。该实例示出其中当操作元件3的计算位置从P3至P4进一步更新时，操作元件3的显示位置从Ph3更新为Ph4的情况，所述Ph4是与操作元件3的计算位置P4相同的位置或大致相同的位置。
此处，前提条件是P2与Ph2之间的距离为L1，P3与Ph3之间的距离为L2，P4与Ph4之间的距离为L3，并且P4与Ph4之间的距离为L4，确立L1＞L2＞L3＞L4。
用于更新操作元件3的显示位置的控制的量可基于，例如，操作元件3移动前后的计算位置之间的移动向量和操作元件3的显示位置与计算位置之间的差向量计算。
[6.与将操作元件3与物体2间隔开的操作相结合的显示控制部分II]
在上文提及的显示控制部分I中，使用以下事实作为前提：关于刚好在将操作元件3与物体2间隔开的操作被执行之前操作元件3的显示位置Ph1和操作元件3的计算位置P1，在x轴上的位置彼此相同并且在y轴上的位置不彼此相同。然而，根据本公开的技术的用于操作元件3的显示控制在以下情况下也是有效的：刚好在将操作元件3与物体2间隔开的操作被执行之前的操作元件3的显示位置Ph1和操作元件3的计算位置P1在x轴和y轴方向上都是不同的。接着，将作为与将操作元件3与物体2间隔开的操作相结合的显示控制部分II描述这种情况下的显示控制。
图7为用于描述与将操作元件3与物体2间隔开的操作相结合的显示控制部分II的图。
此处，假设采用将操作元件3固定地显示于在操作元件3的计算位置移动至物体2内部的任意位置P1的过程中当操作元件3第一次外切于物体2时的位置Ph1处的方法作为用于防止穿透的显示控制。
另外在此显示控制部分II中，当确定将操作元件3与物体2间隔开的操作被执行时，控制单元101计算操作元件3在物体2的外部空间中的显示位置，以使操作元件3的计算位置和操作元件3的显示位置逐渐变得相同，如在上文提及的显示控制部分I中一样。也就是说，在图7中，当操作元件3的计算位置从P1更新为P2时，控制单元101将操作元件3的显示位置从Ph1(其为操作元件3的显示位置外切于物体2的位置)更新为与物体2间隔开的位置Ph2。
接着，操作元件3的计算位置从P2更新为P3，控制单元101将操作元件3的显示位置从Ph2更新为Ph3。
该实例示出其中当操作元件3的计算位置从P3至P4进一步更新时，操作元件3的显示位置从Ph3更新为Ph4的情况，所述Ph4是与P4相同的位置或大致相同的位置。
此处，前提条件是P2与Ph2之间的距离为L1，P3与Ph3之间的距离为L2，P4与Ph4之间的距离为L3，并且P4与Ph4之间的距离为L4，确立L1＞L2＞L3＞L4。
另外在此显示控制部分II中，用于更新操作元件3的显示位置的控制的量可基于，例如，操作元件3移动前后的计算位置之间的移动向量和操作元件3的显示位置与计算位置之间的差向量计算，如在显示控制部分I中一样。
以此方式，根据与根据本公开的技术的将操作元件3与物体2间隔开的操作相结合的显示控制，操作元件3的显示位置与将操作元件3与物体2间隔开的操作相结合地更新，以使操作元件3的计算位置和操作元件3的显示位置逐渐变得相同。因此，改善了对将操作元件3与物体2间隔开的操作的视觉响应性。
[7.将操作元件3与物体2间隔开的操作的确定方法]
图8为通过使用上文提及的显示控制部分II的情况作为实例来描述将操作元件3与物体2间隔开的操作的确定方法的实例的图。
在该图中，连接在操作元件3的计算位置移动至物体2内部的任意位置P1的过程中当操作元件3第一次外切于物体2时的显示位置Ph1的中心与操作元件3的计算位置P1的中心的直线H将称为“操作元件穿透轴H”。V(v)是由于将操作元件3与物体2间隔开的操作产生的操作元件3的计算位置的移动向量。该移动向量v与操作元件穿透轴H的角度通过θv表示并且移动向量v在操作元件穿透轴H的方向上的量值通过vh表示。
以下表达式(1)示出用以将操作元件3与物体2间隔开的操作的确定条件。
|θv|＜Tθv并且Tvh＜|vh| ...(1)
其中Tθv和Tvh分别为阈值。
以此方式，规定了用以将操作元件3与物体2间隔开的操作的确定条件。因此，可以删除由手振动等造成的操作元件3的极小运动并且通过使用操作元件3的计算位置进入物体2的方向作为参考来确定用以将操作元件3与物体2间隔开的操作。相应地，可以更合适地确定用以将操作元件3与物体2间隔开的操作。
应注意，将操作元件3与物体2间隔开的操作的确定方法不限于上文提及的方法。可设想各种其他方法和修改。
[8.操作元件3上的控制的量的计算方法的实例]
接下来将参考图17描述基于操作元件3的移动前后的计算位置之间的移动向量和操作元件3的显示位置与计算位置之间的差向量计算与将操作元件3与物体2间隔开的操作相结合的操作元件3上的控制的量的方法的实例。
控制单元101根据以下表达式(2)计算为操作元件3上的控制的量的控制向量c。
c＝(α×v)+(β×d) ...(2)
其中v为移动向量并且d为差向量。α(α)和p(β)为控制参数，具有等于或大于0且等于或小于1的值，例如，并且是取决于移动向量v的量值|v|或角度的量值|θv|的值。
取决于移动向量v的量值|v|的控制参数β的实例如下。
β＝e-γ/|v|(γ为常数)
β＝1-e-γ/|v|(γ为常数)
<第二实施例>接下来将描述在模仿显示于虚拟空间中的用户的手和手指的形式且彼此连接的多个操作元件的情况下用于防止穿透的显示控制作为根据本公开的技术的用于防止操作元件的穿透的显示控制的第二实施例。
存在手套型运动检测装置30，作为检测用户的手和手指的运动的运动检测装置30。手套型运动检测装置30被配置成通过提供于手套主体的传感器检测手背的三维位置、如图9所示的手指的相应关节(第一关节、第二关节和第三关节)的弯曲角度θ1，1、θ1，2、θ1，3、以及如图10所示的手指向左或向右的摆动角度φ1，1等。此外，可以通过相机对用户的一只或两只手或一根或多根手指成像并且可以通过执行图像处理来执行类似的检测。
图11为示出基于通过使用这样的手套型运动检测装置30检测到的运动信息显示在虚拟空间中的多个操作元件之间的连接关系的图。
此处，A为与手背相对应的操作元件。B1-B4为分别对应于大拇指的第一关节、第二关节、第三关节、以及指尖的位置的操作元件。C1-C4为分别对应于食指的第一关节、第二关节、第三关节、以及指尖的位置的操作元件。D1-D4为分别对应于中指的第一关节、第二关节、第三关节、以及指尖的位置的操作元件。E1-E4为分别对应于无名指的第一关节、第二关节、第三关节、以及指尖的位置的操作元件。F1-F4为分别对应于小拇指的第一关节、第二关节、第三关节、以及指尖的位置的操作元件。
例如，在用于操作的手指是例如食指的情况下，对应于手背的操作元件A和分别对应于食指的第一关节、第二关节、第三关节、以及指尖的操作元件C1-C4显示于虚拟空间中。将用于操作并以此方式显示于虚拟空间中的一组多个操作元件A和C1-C4将被称为“操作元件组”。
在操作元件组以此方式显示于虚拟空间中的方法的情况下，其计算位置位于物体2内部的一个或多个操作元件C2、C3和C4通过在一个或多个操作元件C2、C3和C4中的每一个上单独执行上文提及的用于防止操作元件的穿透的显示控制而从通过虚线相应地示出的计算位置PC2、PC3和PC4至通过实线相应地示出的显示位置进行显示，例如，如图12所示。在这种情况下，操作元件C2、C3和C4显示在多个位置处，忽略手指的操作元件之间的长度。因此，手指看起来较短，例如，这是不自然的。
为了解决这一问题，控制单元101执行用于防止操作元件的穿透的显示控制，同时保持在彼此相邻的操作元件组的操作元件之间规定的长度。例如，在用于操作的手指是食指的情况下，控制单元101执行用于防止手背的操作元件A上的相应操作元件C2、C3和C4和食指的第一关节、第二关节、第三关节和指尖的相应操作元件C1-C4的穿透的显示控制，同时保持在彼此相邻的那些操作元件之间规定的长度lA-C1、lC1-C2、lC2-C3和lC3-C4。
应注意，关于操作元件组，在彼此相邻的操作元件之间规定的长度以取决于手指的种类的方式而不同。
以此方式，根据用于防止操作元件(其中操作元件之间的长度受到限制)的穿透的显示控制，基于计算定位在物体2内部的操作元件C2、C3和C4各自以自然位置关系显示，如图13所示，例如，并且克服了整个操作元件组的视觉不适。
应当指出的是，在用于防止操作元件的穿透的显示控制(其中仅操作元件之间的长度受到限制作为条件)中，视觉不适可以取决于物体2的形状的方式而保持。例如，如图14所示，在相应操作元件C2、C3和C4由于用于防止操作元件的穿透的显示控制(其中操作元件之间的长度受到限制)而沿物体2的轮廓2a的直线显示的情况下，对应于第二关节的操作元件C2在不可能的方向上弯曲，这提供不自然的外观。
鉴于此，除了关于操作元件之间的长度的条件之外，更希望还在关节的弯曲方向和弯曲角度范围受到限制的条件下执行用于防止操作元件的穿透的显示控制。关节的弯曲方向和弯曲角度范围以取决于关节(第一关节、第二关节和第三关节)的位置的方式不同，并且还以取决于手指的种类的方式不同。例如，可以相对于手掌的高度向上和向下弯曲第一关节。相反地，难以朝向手背弯曲第二关节和第三关节，同时难以朝向手掌弯曲第二关节和第三关节。考虑到相应关节的那些特征，除了操作元件之间的长度之外，将每个关节的弯曲方向和弯曲角度范围提前设置为用于防止操作元件的穿透的显示控制的限制条件。
接下来，将描述用于在上文提及的限制条件下防止多个操作元件的穿透的显示控制的操作。
[9.用于在限制条件下防止多个操作元件的穿透的显示控制部分I]
图15为用于描述用于在上文提及的限制条件下防止多个操作元件的穿透的显示控制部分I的图。
基于从运动检测装置30获取的运动信息，控制单元101首先计算分别对应于手背、食指的第一关节和食指的指尖的多个操作元件A、C1和C4的计算位置PA、PC1和PC4。
接下来，控制单元101根据<5相对于所计算的相应计算位置PA、PC1和PC4计算相应的操作元件A、C1和C4的显示位置。用于防止操作元件>的穿透的显示控制在上文描述。此时，手背和食指的第一关节的相应操作元件A和C1的计算位置PA和PC1在物体2外部。因此，手背的操作元件A和食指的第一关节的操作元件C1显示在那些计算位置PA和PC1处。另一方面，指尖的操作元件C4的计算位置PC4位于物体2内部。因此，根据<5，对应于指尖的操作元件C4显示在对应于指尖的操作元件C4外切于物体2的轮廓2a的位置处。用于防止操作元件>的穿透的显示控制在上文描述。
随后，在固定操作元件A、C1和C4的显示位置的同时，控制单元101在上文提及的限制条件下不依赖于<5生成第二关节和第三关节的相应操作元件C2和C3的位置。用于防止操作元件>的穿透的显示控制在上文描述。
如果控制单元101不可在固定手背、第一关节和指尖的相应操作元件A、C1和C4的显示位置的同时在限制条件下生成第二关节和第三关节的操作元件C2和C3的显示位置，那么控制单元101，例如，在上文提及的限制条件下调整手背、第一关节和指尖的相应操作元件A、C1和C4中的一个或多个操作元件的显示位置，从而在上文提及的限制条件下最终生成所有操作元件A和C1-C4的显示位置。
以上文提及的方式，可以在包括多个操作元件的操作元件组上执行防穿透处理，从而模仿用户的手和手指的形式，而不破坏自然形式。
[10.用于在限制条件下防止多个操作元件的穿透的显示控制部分II]
图16为用于描述用于在上文提及的限制条件下防止多个操作元件的穿透的显示控制部分II的图。
基于从运动检测装置30获取的运动信息，控制单元101首先以手背的操作元件A、第一关节的操作元件C1、第二关节的操作元件C2、第三关节的操作元件C3、以及指尖的操作元件C4的顺序搜索计算位置位于物体2内部的操作元件。当找到计算位置位于物体2内部的操作元件时，控制单元101在关于操作元件之间的长度的限制条件下根据用于防止操作元件的穿透的显示控制计算为该操作元件的改变目的地的显示位置。
接着，控制单元101确定为该操作元件的改变目的地的显示位置是否导致违反关于相对应的关节的弯曲形式的限制条件。如果为该操作元件的改变目的地的显示位置导致限制条件的违反，那么控制单元101在遵循关于操作元件之间的长度的限制条件的同时调整影响相对应的关节的弯曲形式的一个或多个操作元件的显示位置，搜索不导致限制条件的违反的另一改变目的地的显示位置，并且执行控制，以在该位置处显示操作元件。
在图16的实例中，控制单元101确定第三关节的操作元件C3的显示位置导致违反关于第二关节的操作元件C2的弯曲形式的限制条件。鉴于此，控制单元101在遵循关于操作元件之间的长度的限制条件的同时调整第二关节的操作元件C2和第三关节的操作元件C3的显示位置中的每一个，所述操作元件是影响第二关节的操作元件C2的弯曲形式的操作元件。
在图16的实例中，之后，控制单元101确定指尖的操作元件C4的显示位置导致违反关于第三关节的操作元件C3的弯曲形式的限制条件。以上文提及的方式，控制单元101在遵循关于操作元件之间的长度的限制条件的同时调整第三关节的操作元件C3的显示位置和指尖的操作元件C4的显示位置，所述操作元件是影响第三关节的操作元件C3的弯曲形式的操作元件。
此外，由于第三关节的操作元件C3的位置的重新调整，可能再次发生关于第二关节的操作元件C2的弯曲形式的限制条件的违反。在再次发生关于第二关节的操作元件C2的弯曲形式的限制条件的违反的情况下，控制单元101重新调整第二关节的操作元件C2、第三关节的操作元件C3、以及指尖的操作元件C4的相应显示位置，同时遵循关于相应操作元件之间的长度的限制条件。
此外，在由于这种调整而再次发生第一关节的操作元件C1的弯曲形式的限制条件违反的情况下，控制单元101重新调整第一关节的操作元件C1、第二关节的操作元件C2、第三关节的操作元件C3、以及指尖的操作元件C4的相应显示位置，同时遵循关于相应操作元件之间的长度的限制条件。
在由于这种调整而发生手背的操作元件A1的弯曲形式的限制条件违反的情况下，控制单元101重新调整手背的操作元件A、第一关节的操作元件C1、第二关节的操作元件C2、第三关节的操作元件C3、以及指尖的操作元件C4的相应显示位置，同时遵循关于相应操作元件之间的长度的限制条件。
以上文提及的方式，另外根据用于防止操作元件的穿透的这一显示控制部分II，可以在包括多个操作元件的操作元件组上执行防穿透处理，从而模仿用户的手和手指的形式，而不破坏自然形式。
在将操作元件组与物体2间隔开的操作被执行的情况下，控制单元101相对于属于该操作元件组的操作元件中的每一个单独计算操作元件3在物体2的外部空间中的显示位置，以使操作元件的计算位置和显示位置逐渐变得相同。
另选地，在操作元件之间的长度和关节的弯曲方向和弯曲角度的范围受到限制的条件下调整操作元件组的多个操作元件之间的位置关系的同时，控制单元101可计算操作元件中的每一个在物体2的外部空间中的显示位置，以使操作元件的计算位置和显示位置逐渐变得相同。
<修改实例1>上文已经描述了用于防止操作元件的穿透的显示控制，当操作元件的计算位置位于物体内部时，当用户通过执行控制以将操作元件显示于操作元件外切于物体的位置处而借助于操作元件触摸虚拟空间中的物体时其呈现自然外观；以及改善将操作元件与物体间隔开的操作的视觉响应性的显示控制。然而，结合那些处理和控制，还可以设想以下修改。
作为运动检测装置，可以使用包括触觉呈现元件诸如压电元件的运动检测装置。根据用于防止操作元件的穿透的显示控制，当虚拟空间中的操作元件外切于物体时，控制单元驱动触觉呈现元件向用户呈现触摸物体的感觉。此时，通过使用操作元件在虚拟空间中的计算位置与显示位置之间的距离作为穿透的量，控制单元执行控制，以使以取决于这种穿透的量的刺激强度驱动触觉呈现元件。因此，假设通过使用穿透的量作为参数在物体上执行一些控制，穿透的量以取决于触觉的强度的方式反馈于用户。因此，改善了对于用户的可用性。
在触觉呈现中，触觉刺激的强度、模式等可以取决于物体的种类(物品的种类)、属性(材料、硬度、表面特性)等的方式改变。此外，在可以赋予操作元件属性(材料、硬度、表面特性)的情况下，控制单元可执行控制，以便向用户呈现以取决于操作元件的属性和物体的属性的组合的方式而不同的触觉。另选地，在一个物体包括具有不同属性的多个部位的情况下，通过执行与通过操作元件触摸的部位的属性相对应的触觉呈现，用户可以通过触觉了解通过操作元件触摸的部位。
作为向用户呈现穿透的量的方法，除使用触觉的方法之外，存在在显示器自身上反映物体的穿透量的方法。在显示器上反映物体的穿透量的方法包括，例如，改变物体的形状、大小、颜色、质地、透明度和亮度值等的方法。另外的那些方法，还可以根据物体和操作元件的相应属性改变在显示器上反映物体的穿透量的方式。
此外，穿透量的阈值可针对物体或操作元件设置并且如果穿透量超过阈值，那么操作元件的显示位置可设置为物体内部的位置，该位置与穿透的量相对应。
<修改实例2>作为在将操作元件与物体间隔开的操作被执行情况下的操作元件上的显示控制，在第一实施例中已经假设，在操作元件的计算位置位于物体内部的情况下，在将操作元件与物体间隔开的操作开始的同时将操作元件的显示位置开始为与物体间隔开。
将操作元件与物体间隔开的操作的开始时间和将操作元件的显示位置与物体间隔开的时间可以彼此不同，其方式取决于例如，赋予物体的属性(材料、硬度、表面特性)、赋予操作元件3的属性(材料、硬度、表面特性)等。更具体地，在作为表面属性赋予物体或操作元件粘合性的情况下，可执行控制，以使操作元件的显示位置开始为与物体间隔开，在从将操作元件与物体间隔开的操作开始的时间差(延迟时间)之后，如同当将操作元件与物体间隔开时粘合力作用于两者之间的接触表面之间一样。
<修改实例3>在第一实施例中，移动操作元件的显示位置，以使操作元件的显示位置从操作元件的显示位置外切于物体的轮廓的位置开始每个计算周期逐渐接近操作元件的计算位置并且最终与操作元件的计算位置变得相同。此处，将操作元件与物体间隔开的操作开始时的时间与操作元件的显示位置和计算位置变得相同的时间之间的移动形式取决于以上表达式(2)的控制参数α和β，并且控制参数α和β取决于移动向量的量值|v|和角度|θv|。
鉴于此，可以提供用于从用户处接收控制参数α和β与移动向量的量值|v|和角度|θv|之间的依赖关系的细节的选择或设置的用户接口。因此，用户可以选择期望的移动形式作为相对于将操作元件与物体间隔开的操作而言操作元件的显示位置的移动形式。
<修改实例4>在物体和操作元件中的至少一个具有光滑的表面特性的情况下，还可以估计由两者的接触的滑动造成的操作元件的移动的量并且使操作元件的显示位置移动与由该滑动导致的移动相对应的距离，这由用于防止操作元件的穿透的显示控制导致。
<修改实例5>在执行控制以根据手的形式在虚拟空间中显示多个操作元件的情况下，多个操作元件的尺度可基于由用户通过运动检测装置提供的命令改变。根据操作元件的改变的尺度，控制单元执行用于防止操作元件的穿透的显示控制并且相对于将操作元件与物体间隔开的操作在操作元件上执行显示控制。
<修改实例6>当用于防止操作元件的穿透的显示控制开始时，可通过使用力觉呈现装置将力反馈于用户。因此，可使用户感觉好像操作元件的显示位置已经在与操作元件从计算位置实际移动的方向相反的方向上移动一样。
<修改实例7>根据本公开的用于防止操作元件的穿透的显示控制和相对于将操作元件与物体间隔开的操作的显示控制可被控制为无效的，如果物体隐藏在另一个物体的后面的话，例如，也就是说，如果所显示的物体在屏幕上在用户的视野之外的话。因此，不通过控制单元的CPU执行不必要的计算，因此可减小CPU的负载。
<修改实例8>尽管在用于防止操作元件的穿透的显示控制中，操作元件显示在操作元件外切于物体的位置处，但是操作元件可以显示在操作元件邻近物体的位置处。
此外，根据本公开的技术的相对于将操作元件与物体间隔开的操作的显示控制不必须局限于与第一实施例中所述的用于防止操作元件的穿透的显示控制或第二实施例中所述的用于防止多个操作元件的穿透的显示控制组合使用。
例如，其中操作元件显示在操作元件进入物体以使操作元件外切于或邻近物体的位置处的方法可以与根据本公开的技术的相对于将操作元件与物体间隔开的操作的显示控制相组合。
另选地，其中操作元件显示在最接近物体内部的操作元件的计算位置以使操作元件外切于或邻近物体的位置处的方法可以与根据本公开的技术的相对于将操作元件与物体间隔开的操作的显示控制相组合。
本公开的技术不限于虚拟现实(VR)的领域，并且在增强现实(AR)的领域也是有效的。
尽管已经参考附图详细描述了本公开的有利实施例，但是本公开的技术范围不限于那些实例。明显的是，本公开的技术领域中的普通技术人员可以在不脱离权利要求的范围中所述的技术理念的范围的情况下设想各种变型或修改实例，并且应当认识到，那些变型或修改实例也落入本公开的技术范围内。
应当指出的是，本技术也可采取以下配置。
(1)一种信息处理设备，包括：
显示控制单元，其生成用于控制显示装置显示以下各项的显示信息
限定于虚拟空间中的第一虚拟物体，以及
不同于所述第一虚拟物体的第二虚拟物体；以及
控制器，其被配置成
根据基于用户的操作输入的参考位置控制所述显示装置在所述虚拟空间中移动所述第一虚拟物体，
当确定所述第一虚拟物体的所述参考位置位于所述第二虚拟物体内部时，控制所述显示装置将所述第一虚拟物体显示在所述第一虚拟物体外切于所述第二虚拟物体的位置处，并且
当确定将所述第一虚拟物体与所述第二虚拟物体间隔开的操作被执行时，与所述操作相结合地控制所述第一虚拟物体的显示位置，以使所述第一虚拟物体的所述参考位置和所述显示位置逐渐变得相同。
(2)根据(1)所述的信息处理设备，其中
所述控制器被配置成
基于所述第一虚拟物体的所述参考位置的移动向量和所述第一虚拟物体的所述参考位置与所述第一虚拟物体的所述显示位置之间的差向量计算用于更新所述第一虚拟物体的所述显示位置的控制的量，其与将所述第一虚拟物体与所述第二虚拟物体间隔开的所述操作相结合。
(3)根据(1)或(2)所述的信息处理设备，其中
所述第一虚拟物体包括多个第一虚拟物体，并且
所述控制器被配置成
在所述多个第一虚拟物体显示于所述虚拟空间中的情况下，当所述多个第一虚拟物体中的至少一个第一虚拟物体在所述虚拟空间中的所述参考位置位于所述第二虚拟物体内部时，基于所述用户的所述操作输入根据所述参考位置，在所述多个第一虚拟物体之间所规定的相对位置关系的限制条件下控制所述显示装置将所述至少一个第一虚拟物体显示在所述至少一个第一虚拟物体外切于所述第二虚拟物体的位置处。
(4)根据(3)所述的信息处理设备，其中
所述控制器被配置成
与将所述多个第一虚拟物体与所述第二虚拟物体间隔开的操作相结合地控制所述多个第一虚拟物体的所述显示位置，以使所述第一虚拟物体的所述参考位置和所述第一虚拟物体的所述显示位置逐渐变得相同，同时遵循所述限制条件。
(5)根据(1)或(2)所述的信息处理设备，其中
所述控制器被配置成
当确定在所述第二虚拟物体内部的位置处移动所述第一虚拟物体的操作时，控制所述显示装置将所述第一虚拟物体显示于在所述第一虚拟物体的移动过程中所述第一虚拟物体外切于所述第二虚拟物体的位置处。
(6)根据(1)或(2)所述的信息处理设备，其中
所述控制器被配置成
当确定将所述第一虚拟物体从所述第二虚拟物体外部移动至所述第二虚拟物体内部的第一位置的操作时，
控制所述显示装置将所述第一虚拟物体显示于在将所述第一虚拟物体移动至所述第二虚拟物体内部的所述第一位置的过程中所述第一虚拟物体外切于所述第二虚拟物体的第二位置处，
确定相对于所述第二虚拟物体的轮廓的第一法线方向，显示在所述第二位置的所述第一虚拟物体外切于所述轮廓，
确定相对于所述第二虚拟物体的所述轮廓的第二法线方向，所述第二法线方向从所述第一位置在所述第一法线方向上延伸，
将所述第一虚拟物体的所述显示位置更新为第三位置，在所述第三位置处，所述第一虚拟物体的所述显示位置外切于所述第二虚拟物体的所述轮廓，所述第三位置位于从所述第一位置延伸的所述第二法线方向上，并且
重复用于更新所述第一虚拟物体的所述显示位置的处理，直到用于更新所述第一虚拟物体的所述显示位置的所述处理结束。
(7)一种信息处理方法，包括：
通过显示控制单元生成用于控制显示装置显示限定于虚拟空间中的第一虚拟物体和不同于所述第一虚拟物体的第二虚拟物体的显示信息；以及
通过控制器，
根据基于用户的操作输入的参考位置控制所述显示装置在所述虚拟空间中移动所述第一虚拟物体；当确定所述第一虚拟物体的所述参考位置位于所述第二虚拟物体内部时，控制所述显示装置将所述第一虚拟物体显示于所述第一虚拟物体外切于所述第二虚拟物体的位置处；并且当确定将所述第一虚拟物体与所述第二虚拟物体间隔开的操作被执行时，与所述操作相结合地控制所述第一虚拟物体的显示位置，以使所述第一虚拟物体的所述参考位置和所述显示位置逐渐变得相同。
(8)根据(7)所述的信息处理方法，其中
所述控制器基于所述第一虚拟物体的所述参考位置的移动向量和所述第一虚拟物体的所述参考位置与所述第一虚拟物体的所述显示位置之间的差向量计算用于更新所述第一虚拟物体的所述显示位置的控制的量，其与将所述第一虚拟物体与所述第二虚拟物体间隔开的所述操作相结合。
(9)根据(7)或(8)所述的信息处理方法，其中
所述第一虚拟物体包括多个第一虚拟物体，并且
在所述多个第一虚拟物体显示在所述虚拟空间中的情况下，当所述多个第一虚拟物体中的至少一个第一虚拟物体在所述虚拟空间中的所述参考位置位于所述第二虚拟物体内部时，所述控制器基于所述用户的所述操作输入根据所述参考位置，在所述多个第一虚拟物体之间规定的相对位置关系的限制条件下控制所述显示装置将所述至少一个第一虚拟物体显示于所述至少一个第一虚拟物体外切于所述第二虚拟物体的位置处。
(10)根据(9)所述的信息处理方法，其中
所述控制器与将所述多个第一虚拟物体与所述第二虚拟物体间隔开的操作相结合地控制所述多个第一虚拟物体的所述显示位置，以使所述第一虚拟物体的所述参考位置和所述第一虚拟物体的所述显示位置逐渐变得相同，同时遵循所述限制条件。
(11)根据(7)或(8)所述的信息处理方法，其中
当确定在所述第二虚拟物体内部的位置移动所述第一虚拟物体的所述操作时，所述控制器控制所述显示装置将所述第一虚拟物体显示于在所述第一虚拟物体的移动过程中所述第一虚拟物体外切于所述第二虚拟物体的位置处。
(12)根据(7)或(8)所述的信息处理方法，其中
所述控制器
当确定将所述第一虚拟物体从所述第二虚拟物体外部移动至所述第二虚拟物体内部的第一位置的操作时，
控制所述显示装置将所述第一虚拟物体显示于在将所述第一虚拟物体移动至所述第二虚拟物体内部的所述第一位置的过程中所述第一虚拟物体外切于所述第二虚拟物体的第二位置处，
确定相对于所述第二虚拟物体的轮廓的第一法线方向，显示在所述第二位置的所述第一虚拟物体外切于所述轮廓，
确定相对于所述第二虚拟物体的所述轮廓的第二法线方向，所述第二法线方向从所述第一位置在所述第一法线方向上延伸，
将所述第一虚拟物体的所述显示位置更新为第三位置，在所述第三位置处，所述第一虚拟物体的所述显示位置外切于所述第二虚拟物体的所述轮廓，所述第三位置位于从所述第一位置延伸的所述第二法线方向上，并且
重复用于更新所述第一虚拟物体的所述显示位置的处理，直到用于更新所述第一虚拟物体的所述显示位置的所述处理结束。
(13)一种程序，其导致计算机如下操作：
显示控制单元，其生成用于控制显示装置显示以下各项的显示信息
限定于虚拟空间中的第一虚拟物体，以及
不同于所述第一虚拟物体的第二虚拟物体；以及
控制器，其被配置成
根据基于用户的操作输入的参考位置控制所述显示装置在所述虚拟空间中移动所述第一虚拟物体，
当确定所述第一虚拟物体的所述参考位置位于所述第二虚拟物体内部时，控制所述显示装置将所述第一虚拟物体显示在所述第一虚拟物体外切于所述第二虚拟物体的位置处，并且
当确定将所述第一虚拟物体与所述第二虚拟物体间隔开的操作被执行时，与所述操作相结合地控制所述第一虚拟物体的显示位置，以使所述第一虚拟物体的所述参考位置和所述显示位置逐渐变得相同。
(14)根据(13)所述的程序，其中
所述计算机像所述控制器一样操作，所述控制器基于所述第一虚拟物体的所述参考位置的移动向量和所述第一虚拟物体的所述参考位置与所述第一虚拟物体的所述显示位置之间的差向量计算用于更新所述第一虚拟物体的所述显示位置的控制的量，其与将所述第一虚拟物体与所述第二虚拟物体间隔开的所述操作相结合。
(15)根据(13)或(14)所述的程序，其中
所述第一虚拟物体包括多个第一虚拟物体，并且
所述计算机像所述控制器一样操作，在所述多个第一虚拟物体显示在所述虚拟空间中的情况下，当所述多个第一虚拟物体中的至少一个第一虚拟物体在所述虚拟空间中的所述参考位置位于所述第二虚拟物体内部时，所述控制器基于所述用户的所述操作输入根据所述参考位置，在所述多个第一虚拟物体之间规定的相对位置关系的限制条件下控制所述显示装置将所述至少一个第一虚拟物体显示于所述至少一个第一虚拟物体外切于所述第二虚拟物体的位置处。
(16)根据(15)所述的程序，其中
所述计算机像所述控制器一样操作，所述控制器与将所述多个第一虚拟物体与所述第二虚拟物体间隔开的操作相结合地控制所述多个第一虚拟物体的所述显示位置，以使所述第一虚拟物体的所述参考位置和所述第一虚拟物体的所述显示位置逐渐变得相同，同时遵循所述限制条件。
(17)根据(13)或(14)所述的程序，其中
所述计算机像所述控制器一样操作，当确定在所述第二虚拟物体内部的位置移动所述第一虚拟物体的所述操作时，所述控制器控制所述显示装置将所述第一虚拟物体显示于在所述第一虚拟物体的移动过程中所述第一虚拟物体外切于所述第二虚拟物体的位置处。
(18)根据(13)或(14)所述的程序，其中
所述计算机像所述控制器一样操作，所述控制器
当确定将所述第一虚拟物体从所述第二虚拟物体外部移动至所述第二虚拟物体内部的第一位置的操作时，
控制所述显示装置将所述第一虚拟物体显示于在将所述第一虚拟物体移动至所述第二虚拟物体内部的所述第一位置的过程中所述第一虚拟物体外切于所述第二虚拟物体的第二位置处，
确定相对于所述第二虚拟物体的轮廓的第一法线方向，显示在所述第二位置的所述第一虚拟物体外切于所述轮廓，
确定相对于所述第二虚拟物体的所述轮廓的第二法线方向，所述第二法线方向从所述第一位置在所述第一法线方向上延伸，
将所述第一虚拟物体的所述显示位置更新为第三位置，在所述第三位置处，所述第一虚拟物体的所述显示位置外切于所述第二虚拟物体的所述轮廓，所述第三位置位于从所述第一位置延伸的所述第二法线方向上，并且
重复用于更新所述第一虚拟物体的所述显示位置的处理，直到用于更新所述第一虚拟物体的所述显示位置的所述处理结束。
附图标记列表
1 信息处理系统
2 物体
3 操作元件
10 信息处理设备
20 显示装置
30 运动检测装置
101 控制单元
102 操作单元
103 存储单元
104 显示接口
105 输入接口。

Claims (8)

1.一种信息处理设备，包括：
显示控制单元，其生成用于控制显示装置显示以下各项的显示信息
限定于虚拟空间中的第一虚拟物体，以及
不同于所述第一虚拟物体的第二虚拟物体；以及
控制器，其被配置成
根据基于用户的操作输入的参考位置控制所述显示装置在所述虚拟空间中移动所述第一虚拟物体，
当确定所述第一虚拟物体的所述参考位置位于所述第二虚拟物体内部时，控制所述显示装置将所述第一虚拟物体显示在所述第一虚拟物体外切于所述第二虚拟物体的位置处，并且
当确定将所述第一虚拟物体与所述第二虚拟物体间隔开的操作被执行时，与所述操作相结合地控制所述第一虚拟物体的显示位置，以使所述第一虚拟物体的所述参考位置和所述显示位置逐渐变得相同。
2.根据权利要求1所述的信息处理设备，其中
所述控制器被配置成
基于所述第一虚拟物体的所述参考位置的移动向量和所述第一虚拟物体的所述参考位置与所述第一虚拟物体的所述显示位置之间的差向量计算用于更新所述第一虚拟物体的所述显示位置的控制的量，其与将所述第一虚拟物体与所述第二虚拟物体间隔开的所述操作相结合。
3.根据权利要求2所述的信息处理设备，其中
所述第一虚拟物体包括多个第一虚拟物体，并且
所述控制器被配置成
在所述多个第一虚拟物体显示于所述虚拟空间中的情况下，当所述多个第一虚拟物体中的至少一个第一虚拟物体在所述虚拟空间中的所述参考位置位于所述第二虚拟物体内部时，根据基于所述用户的所述操作输入的所述参考位置，在所述多个第一虚拟物体之间所规定的相对位置关系的限制条件下控制所述显示装置将所述至少一个第一虚拟物体显示在所述至少一个第一虚拟物体外切于所述第二虚拟物体的位置处。
4.根据权利要求3所述的信息处理设备，其中
所述控制器被配置成
与将所述多个第一虚拟物体与所述第二虚拟物体间隔开的操作相结合地控制所述多个第一虚拟物体的所述显示位置，以使所述第一虚拟物体的所述参考位置和所述第一虚拟物体的所述显示位置逐渐变得相同，同时遵循所述限制条件。
5.根据权利要求1所述的信息处理设备，其中
所述控制器被配置成
当确定在所述第二虚拟物体内部的位置处移动所述第一虚拟物体的操作时，控制所述显示装置将所述第一虚拟物体显示于在所述第一虚拟物体的移动过程中所述第一虚拟物体外切于所述第二虚拟物体的位置处。
6.根据权利要求1所述的信息处理设备，其中
所述控制器被配置成
当确定将所述第一虚拟物体从所述第二虚拟物体外部移动至所述第二虚拟物体内部的第一位置的操作时，
控制所述显示装置将所述第一虚拟物体显示于在将所述第一虚拟物体移动至所述第二虚拟物体内部的所述第一位置的过程中所述第一虚拟物体外切于所述第二虚拟物体的第二位置处，
确定相对于所述第二虚拟物体的轮廓的第一法线方向，显示在所述第二位置的所述第一虚拟物体外切于所述轮廓，
确定相对于所述第二虚拟物体的所述轮廓的第二法线方向，所述第二法线方向从所述第一位置在所述第一法线方向上延伸，
将所述第一虚拟物体的所述显示位置更新为第三位置，在所述第三位置处，所述第一虚拟物体的所述显示位置外切于所述第二虚拟物体的所述轮廓，所述第三位置位于从所述第一位置延伸的所述第二法线方向上，并且
重复用于更新所述第一虚拟物体的所述显示位置的处理，直到用于更新所述第一虚拟物体的所述显示位置的所述处理结束。
7.一种信息处理方法，包括：
通过显示控制单元生成用于控制显示装置显示限定于虚拟空间中的第一虚拟物体和不同于所述第一虚拟物体的第二虚拟物体的显示信息；以及
通过控制器，
根据基于用户的操作输入的参考位置控制所述显示装置在所述虚拟空间中移动所述第一虚拟物体；当确定所述第一虚拟物体的所述参考位置位于所述第二虚拟物体内部时，控制所述显示装置将所述第一虚拟物体显示于所述第一虚拟物体外切于所述第二虚拟物体的位置处；并且当确定将所述第一虚拟物体与所述第二虚拟物体间隔开的操作被执行时，与所述操作相结合地控制所述第一虚拟物体的显示位置，以使所述第一虚拟物体的所述参考位置和所述显示位置逐渐变得相同。
8.一种程序，其导致计算机如下操作：
显示控制单元，其生成用于控制显示装置显示以下各项的显示信息
限定于虚拟空间中的第一虚拟物体，以及
不同于所述第一虚拟物体的第二虚拟物体；以及
控制器，其被配置成
根据基于用户的操作输入的参考位置控制所述显示装置在所述虚拟空间中移动所述第一虚拟物体，
当确定所述第一虚拟物体的所述参考位置位于所述第二虚拟物体内部时，控制所述显示装置将所述第一虚拟物体显示在所述第一虚拟物体外切于所述第二虚拟物体的位置处，并且
当确定将所述第一虚拟物体与所述第二虚拟物体间隔开的操作被执行时，与所述操作相结合地控制所述第一虚拟物体的显示位置，以使所述第一虚拟物体的所述参考位置和所述显示位置逐渐变得相同。
CN201780019351.9A 2016-03-31 2017-03-16 信息处理设备、显示控制方法和程序 Pending CN108885523A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-070142 2016-03-31
JP2016070142A JP2017182532A (ja) 2016-03-31 2016-03-31 情報処理装置、表示制御方法及びプログラム
PCT/JP2017/010598 WO2017169827A1 (ja) 2016-03-31 2017-03-16 情報処理装置、表示制御方法及びプログラム

Publications (1)

Publication Number Publication Date
CN108885523A true CN108885523A (zh) 2018-11-23

Family

ID=59964380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780019351.9A Pending CN108885523A (zh) 2016-03-31 2017-03-16 信息处理设备、显示控制方法和程序

Country Status (4)

Country Link
US (1) US11301031B2 (zh)
JP (1) JP2017182532A (zh)
CN (1) CN108885523A (zh)
WO (1) WO2017169827A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082853A1 (ja) 2017-10-26 2019-05-02 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
KR20210069491A (ko) * 2019-12-03 2021-06-11 삼성전자주식회사 전자 장치 및 이의 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236541A1 (en) * 1997-05-12 2004-11-25 Kramer James F. System and method for constraining a graphical hand from penetrating simulated graphical objects
US20060277466A1 (en) * 2005-05-13 2006-12-07 Anderson Thomas G Bimodal user interaction with a simulated object
CN102314285A (zh) * 2010-07-01 2012-01-11 上海科斗电子科技有限公司 虚拟物品拿取系统
CN104685869A (zh) * 2012-09-27 2015-06-03 京瓷株式会社 显示装置、控制方法和控制程序
CN105159459A (zh) * 2015-09-06 2015-12-16 东南大学 一种可用于移动终端的虚拟物体三维形状触觉再现方法
JP2016197376A (ja) * 2015-04-06 2016-11-24 日本放送協会 力覚制御装置及び力覚提示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5589625B2 (ja) 2010-07-08 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5656514B2 (ja) * 2010-08-27 2015-01-21 キヤノン株式会社 情報処理装置及び方法
JP2014072576A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
WO2015156068A1 (ja) * 2014-04-10 2015-10-15 ソニー株式会社 画像処理装置及び画像処理方法
JP6301813B2 (ja) * 2014-11-05 2018-03-28 任天堂株式会社 ゲームプログラムおよびゲーム装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236541A1 (en) * 1997-05-12 2004-11-25 Kramer James F. System and method for constraining a graphical hand from penetrating simulated graphical objects
US20060277466A1 (en) * 2005-05-13 2006-12-07 Anderson Thomas G Bimodal user interaction with a simulated object
CN102314285A (zh) * 2010-07-01 2012-01-11 上海科斗电子科技有限公司 虚拟物品拿取系统
CN104685869A (zh) * 2012-09-27 2015-06-03 京瓷株式会社 显示装置、控制方法和控制程序
JP2016197376A (ja) * 2015-04-06 2016-11-24 日本放送協会 力覚制御装置及び力覚提示装置
CN105159459A (zh) * 2015-09-06 2015-12-16 东南大学 一种可用于移动终端的虚拟物体三维形状触觉再现方法

Also Published As

Publication number Publication date
US11301031B2 (en) 2022-04-12
JP2017182532A (ja) 2017-10-05
US20210200301A1 (en) 2021-07-01
WO2017169827A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
CN109196447B (zh) 使用姿势和多dof控制器与3d虚拟对象的交互
US10764565B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
CN109690447B (zh) 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机
CN116324703A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
US20190102928A1 (en) Virtual Reality
CN111480181A (zh) 增强现实系统的虚拟标线
US11644893B2 (en) Application processing system, method of processing application, and storage medium storing program for processing application
US11493989B2 (en) Modes of user interaction
CN114766038A (zh) 共享空间中的个体视图
JP5643617B2 (ja) 画像処理プログラム、画像処理装置、画像処理方法、画像処理システム
JP7080212B2 (ja) コンピュータプログラム、サーバ装置及び方法
TW202101172A (zh) 用於人工實境系統的手臂視線驅動的使用者介面元件閘控
US20220233956A1 (en) Program, method, and information terminal device
US10579109B2 (en) Control device and control method
TW202101170A (zh) 用於人工實境系統的角點識別手勢驅動的使用者介面元件閘控
JP2022183213A (ja) ヘッドマウントディスプレイ
CN108885523A (zh) 信息处理设备、显示控制方法和程序
WO2022166448A1 (en) Devices, methods, systems, and media for selecting virtual objects for extended reality interaction
WO2020130112A1 (ja) 所定のコンテンツを有する仮想空間を提供する方法
WO2016179819A1 (zh) 手部虚拟饰品试戴的人机交互方法和系统
JP2022025463A (ja) アニメーション制作システム
WO2019044688A1 (ja) キャラクタ動画表示システム
JP7441289B1 (ja) コンピュータプログラム、情報処理端末、及びその制御方法
WO2023162668A1 (ja) 情報処理装置および床面高さ調整方法
CN117957581A (zh) 用于与三维环境交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123

RJ01 Rejection of invention patent application after publication