CN108885856B - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN108885856B
CN108885856B CN201780019078.XA CN201780019078A CN108885856B CN 108885856 B CN108885856 B CN 108885856B CN 201780019078 A CN201780019078 A CN 201780019078A CN 108885856 B CN108885856 B CN 108885856B
Authority
CN
China
Prior art keywords
virtual object
information processing
processing apparatus
display area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780019078.XA
Other languages
English (en)
Other versions
CN108885856A (zh
Inventor
田中友久
塚原翼
深泽辽
矢野茜
杉原贤次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108885856A publication Critical patent/CN108885856A/zh
Application granted granted Critical
Publication of CN108885856B publication Critical patent/CN108885856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种机制,其可以防止用户对显示区域中显示的虚拟对象的沉浸感或现实感的恶化。一种信息处理设备包括显示控制单元,其被配置成控制显示在显示区域中移动的虚拟对象的显示,以及当虚拟对象移过显示区域的边界时改变虚拟对象的形态。提供一种使用处理器执行的信息处理方法,该信息处理方法包括:控制显示在显示区域中移动的虚拟对象的显示,以及当虚拟对象移过显示区域的边界时改变虚拟对象的形态。提供一种用于使信息处理设备操作的程序。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开涉及一种信息处理设备、一种信息处理方法和一种程序。
背景技术
随着近年来信息处理技术和显示技术的发展,已经提供了用于显示给出现实感的视频的技术。作为这种技术,存在增强现实(AR)技术。
例如,专利文献1公开了涉及用于控制显示为叠加在真实对象(例如,电视设备)上的用户界面的信息处理设备的发明,该真实对象是基于用户使用头戴式显示器(HMD)的手势来操作的外界图像。另外,专利文献2公开了涉及透射型HMD的物理结构的发明。
引文列表
专利文献
专利文献1:JP 2014-186361A
专利文献2:JP 2013-109203A
发明内容
技术问题
然而,在相关技术中,存在对于HMD的显示内容的沉浸感或现实感恶化的情况。例如,其中可以显示诸如上述用户界面的虚拟对象的显示区域(例如,HMD的显示区域)是有限的。为此,当虚拟对象从显示区域的内部移动到外部并消失时,虚拟对象将从进入显示区域和不能显示虚拟对象的区域之间的边界(这也将被称为下面显示区域的边界)的虚拟对象的一部分消失。因此,用户可能意识到显示区域的边界,并因此对于显示内容的沉浸感或现实感可能会恶化。
因此,本公开提出了一种机制,其可以防止用户对显示区域中显示的虚拟对象的沉浸感或现实感的恶化。
问题的解决方案
根据本公开,提供一种信息处理设备,包括:显示控制单元,其被配置成控制显示在显示区域中移动的虚拟对象的显示,以及当虚拟对象移过显示区域的边界时改变虚拟对象的形态。
另外,根据本公开,提供一种使用处理器执行的信息处理方法,该信息处理方法包括:控制显示在显示区域中移动的虚拟对象的显示,以及当虚拟对象移过显示区域的边界时改变虚拟对象的形态。
另外,根据本公开,提供一种用于使计算机系统实现以下的程序:显示控制功能,其控制显示在显示区域中移动的虚拟对象的显示,以及当虚拟对象移过显示区域的边界时改变虚拟对象的形态。
发明的有益效果
根据上述本公开,提供了一种机制,其可以防止用户对显示区域中显示的虚拟对象的沉浸感或现实感的恶化。应注意,上述效果不一定是限制性的。利用或代替上述效果,可以实现本说明书中描述的任何一种效果或可以从本说明书中掌握的其他效果。
附图说明
[图1]图1是用于描述AR技术中的显示的实例的图解。
[图2]图2是用于描述AR技术中的显示的另一实例的图解。
[图3]图3是示意性地图示根据本公开的第一实施例的信息处理设备的功能配置的实例的方框图。
[图4]图4是用于描述根据实施例的虚拟对象的形态的改变实例的图解。
[图5]图5是示意性地示出根据实施例的信息处理设备的过程的实例的流程图。
[图6]图6是用于描述根据实施例的第一修改实例的虚拟对象的形态的改变实例的图解。
[图7]图7是用于描述根据实施例的第二修改实例的虚拟对象的形态的改变实例的图解。
[图8]图8是用于描述根据实施例的第三修改实例的虚拟对象的形态的改变实例的图解。
[图9]图9是用于描述根据本公开的第二实施例的虚拟对象的形态的改变实例的图解。
[图10]图10是概念性地示出根据实施例的信息处理设备的初始化过程的实例的流程图。
[图11]图11是概念性地示出根据实施例的信息处理设备的显示控制过程的实例的流程图。
[图12]图12是概念性地示出根据实施例的信息处理设备的显示控制过程的实例的流程图。
[图13]图13是概念性地示出根据实施例的信息处理设备的显示控制过程的实例的流程图。
[图14]图14是用于描述根据本公开的第三实施例的虚拟对象的形态的改变实例的图解。
[图15]图15是概念性地示出根据实施例的信息处理设备的过程的实例的流程图。
[图16]图16是图示根据本公开的实施例的信息处理设备的硬件配置的说明图。
具体实施方式
在下文中,将参照附图详细描述本公开的优选实施例。应注意,在本说明书和附图中,具有大体上相同的功能和结构的结构元件用相同的附图标记表示,并且省略对这些结构元件的重复说明。
另外,在本说明书和附图中可能存在这样的情况:其中具有大体上相同的功能配置的多个结构元件通过在相同的附图标记的末尾给出不同的数字而彼此区分。例如,在必要时,区分具有大体上相同的功能的多个配置,如显示区域10A和显示区域10B。然而,在不需要区分大体上相同的功能配置的情况下,仅给出相同的附图标记。例如,在没有特别需要区分显示区域10A和显示区域10B的情况下,其将被简称为显示区域10。
应注意,将按以下顺序提供描述。
1.介绍
2.第一实施例(用户移动的实例)
2-1.设备的配置
2-2.设备的过程
2-3.第一实施例的概述
2-4.修改实例
3.第二实施例(用户旋转的实例)
3-1.设备的配置
3-2.设备的过程
3-3.第二实施例的概述
4.第三实施例(虚拟对象移动的实例)
4-1.设备的配置
4-2.设备的过程
4-3.第三实施例的概述
5.根据本公开的一个实施例的信息处理设备的硬件配置
6.结论
<1.介绍>
首先,将参照图1和图2描述与根据本公开的每个实施例的信息处理设备有关的AR技术。图1是用于描述AR技术中的显示的实例的图解。图2是用于描述AR技术中的显示的另一实例的图解。
用于AR技术的设备(也将被称为AR设备)通常具有空间处理功能和显示功能。空间处理功能用于执行管理虚拟对象的虚拟空间与真实空间之间的映射。另外,显示功能用于在传输外界图像的显示区域中指定的位置处显示虚拟对象。因此,AR设备可以根据作为真实空间的外界图像显示虚拟空间的虚拟对象。
AR设备例如是HMD设备,并且显示虚拟对象20,使得虚拟对象20被叠加在显示区域10中的外界图像上,如图1中所示。AR设备根据佩戴AR设备的用户的移动来移动虚拟对象20的显示位置。
这里,显示虚拟对象的AR设备的显示区域通常比外界图像窄。例如,显示区域10是比外界图像窄的矩形,如图1中所示。为此,当虚拟对象从显示区域的内部移动到外部并消失时,虚拟对象将从进入显示区域的边界的虚拟对象的一部分消失。例如,不显示位于显示区域10外部的虚拟对象20的部分,并且显示位于显示区域10内部的虚拟对象20的部分,如图1中所示。另外,虚拟对象20随着其向显示区域10的外部移动而逐渐消失。由于错过了用户注意到的虚拟对象20的部分,因此用户意识到显示区域的边界,并因此对于显示内容的沉浸感或现实感可能会恶化。
为了处理这种情况,存在一种当虚拟对象接近显示区域的边界时使虚拟对象淡出的技术。例如,当虚拟对象20接近显示区域10的边界时,虚拟对象20的透明度在显示区域10的边界附近增加,如图2中所示。然后,虚拟对象20消失到显示区域10的外部,同时具有增加的透明度。在这种情况下,由于用户难以在显示区域10的边界附近视觉识别虚拟对象20,因此用户可能几乎不会意识到显示区域10的边界。
然而,在该技术中,由于虚拟对象在显示区域的边界附近未被视觉识别,因此显示区域变得大体上更窄。
因此,在本公开的每个实施例中,提供了一种信息处理设备100,其可以防止用户对于显示区域中显示的虚拟对象的沉浸感或现实感恶化。下面将在每个实施例中详细描述信息处理设备。应注意,为了便于描述,根据第一至第三实施例的信息处理设备100将通过在其末尾给出对应于实施例的数字来区分,如信息处理设备100-1至信息处理设备100-3。
<2.第一实施例(用户移动的实例)>
首先,将描述本公开的第一实施例。在第一实施例中,将描述当用户移动时显示的虚拟对象移动的情况。
<2-1.设备的配置>
将参照图3描述根据本公开的第一实施例的信息处理设备100-1的功能配置。图3是示意性地图示根据本公开的第一实施例的信息处理设备100-1的功能配置的实例的方框图。
如图3中所示,信息处理设备100-1具有测量单元102、显示控制单元104、存储单元106和显示单元108。
(测量单元)
测量单元102测量用户的运动并生成对应于传感器信息的测量信息作为获取单元。具体来说,测量单元102测量用户的移动并基于测量结果生成与用户的移动有关的测量信息(其也将被称为移动测量信息)。例如,测量单元102测量用户移动的位移或速度或加速度,并生成表示测量的移动的位移或速度或加速度的移动测量信息。应注意,测量单元102可以基于从全球定位系统(GPS)传感器等获得的位置信息或从相机传感器获得的图像信息来估计用户移动的位移或速度或加速度。
(显示控制单元)
显示控制单元104控制显示在显示区域中移动的虚拟对象的显示。具体来说,显示控制单元104根据测量信息控制虚拟对象的显示。更具体来说,显示控制单元104基于从测量单元102输入的测量信息确定用户的位移。接着,显示控制单元104根据所确定的用户位移来改变虚拟空间中的虚拟对象的位置。接着,显示控制单元104确定用户的虚拟对象的显示位置,使得虚拟对象存在于映射到虚拟空间中的虚拟对象的改变位置的真实空间中的位置处。然后,显示控制单元104使显示单元108在确定的显示位置显示虚拟对象。例如,显示控制单元104可以使用诸如同时定位和映射(SLAM)的现有自定位估计技术来执行上述过程。
另外,当虚拟对象移过显示区域的边界时,显示控制单元104改变整个虚拟对象的形态。具体来说,显示控制单元104将虚拟对象的形态改变为与根据测量信息的形态不同的形态。更具体来说,当虚拟对象的一部分位于显示区域之外时,显示控制单元104改变虚拟对象的移动速度。此外,显示控制单元104根据虚拟对象的移动来改变虚拟对象的移动速度。例如,显示控制单元104通过根据测量信息向虚拟对象形态控制添加另一控制来改变虚拟对象的移动速度。此外,将参照图4描述根据本实施例的显示控制过程。图4是用于描述根据本实施例的虚拟对象的形态的改变实例的图解。
应注意,在以下显示控制过程中仅描述添加的控制。例如,虚拟对象被显示为固定在真实空间中,并且虚拟对象相对于移动用户的加速度是0。另外,除非另有规定,否则假设左、右、上和下方向等是参考用户的方向,并且假设虚拟对象的位置是相对于用户的位置。
首先,显示控制单元104获取测量信息。例如,显示控制单元104从测量单元102获取表示由测量单元102测量的用户的移动速度V的测量信息。
接着,显示控制单元104基于测量信息确定是否加速虚拟对象。具体来说,显示控制单元104确定整个虚拟对象是否包括在虚拟对象的下一帧显示的显示区域中并且在经过预定时间段之后。例如,显示控制单元104会以一秒60帧为单位来控制显示单元108的显示。显示控制单元104基于由移动测量信息表示的用户的移动速度V和在当前时间点虚拟对象20A的位置L来估计下一帧的显示时间,即,1/60秒后虚拟对象20A的位置L1。接着,显示控制单元104确定虚拟对象20A是否在估计位置L1处从视锥体10A2突出。此外,显示控制单元104估计经过预定时间m之后虚拟对象20A的位置L2。然后,显示控制单元104确定虚拟对象20A是否完全偏离估计位置L2处的视锥体10A4。
在确定虚拟对象被加速的情况下,显示控制单元104设置虚拟对象的加速度。具体来说,显示控制单元104确定虚拟对象的至少一部分在下一帧中位于显示区域之外,并且如果确定虚拟对象在经过预定时间段之后完全偏离显示区域,则设置虚拟对象的加速度。例如,虚拟对象20A的至少一部分在下一帧中位于视锥体10A2之外,并且整个虚拟对象20A在经过预定时间m之后完全偏离视锥体10A4,如图4中所示。在这种情况下,显示控制单元104以与由测量信息表示的速度V的方向相反的方向上的加速度α加速虚拟对象20A。即,虚拟对象20A以速度α*t(t:时间)向用户移动,然后移动到位置30A1,然后移动到位置30A2,如图4中所示。因此,与虚拟对象20的移动速度不改变的情况相比,虚拟对象20更早地从视锥体10消失,并且视锥体10和虚拟对象20彼此相交的时间缩短。
应注意,应用于虚拟对象的加速度α可以是常数或变量,如下所述。具体来说,加速度α被设置为减少从虚拟对象与视锥体接触时到整个虚拟对象移动到视锥体之外时的时间T的值。在时间T减少到T/2的情况下,例如,建立以下表达式(1)。
[Math.1]
α(T/2)2=VT…(I)
使用上述表达式(1)将加速度α设置为4v/T。应注意,尽管上面已经描述了减少时间是T/2的实例,但是减少时间可以是针对每个虚拟对象而变化的值。另外,在加速度α是常数的情况下,加速度α可以是针对每个虚拟对象而变化的值。
另外,预定时间m是比帧间隔更长的时间。例如,预定时间m可以是比1/60秒更长的时间。另外,预定时间m可以预先设置或之后可以改变。
(存储单元)
返回参照图3的信息处理设备100-1的功能配置的描述,存储单元106存储在显示控制单元104的过程中使用的信息。具体来说,存储单元106存储要在显示单元108上显示的虚拟对象和虚拟对象的位置。例如,存储单元106存储图像信息,以及虚拟空间和显示区域中的虚拟对象的位置。应注意,代替存储单元106,可以提供从信息处理设备100-1外部输入信息的输入单元。(显示单元)
显示单元108基于显示控制单元104的指令显示虚拟对象。具体来说,显示单元108基于由显示控制单元104指示的位置显示虚拟对象,使得由显示控制单元104指定的虚拟对象叠加在外界图像上。例如,显示单元108可以在传输外界图像的屏幕上显示虚拟对象。另外,显示单元108可以通过将反射虚拟对象的图像光直接投射到用户的眼睛,将图像叠加在用户眼睛上反射的外界图像上。
<2-2.设备的过程>
接着,将参照图5描述根据本实施例的信息处理设备100-1的过程。图5是示意性地示出根据本实施例的信息处理设备100-1的过程的实例的流程图。
信息处理设备100-1确定虚拟对象的加速度是否为0(步骤S202)。具体来说,显示控制单元104确定在每个帧中显示在显示区域(视锥体)中的虚拟对象的加速度是否为0。
当确定虚拟对象的加速度为0时,信息处理设备100-1根据用户移动速度估计下一帧中的虚拟对象的位置(步骤S204)。具体来说,当确定虚拟对象的加速度为0时,显示控制单元104根据从测量单元102获得的移动测量信息计算用户移动速度V。接着,显示控制单元104根据计算的用户移动速度V估计下一帧中(例如,在1/60秒之后)虚拟对象的位置L1。
接着,信息处理设备100-1确定虚拟对象是否在估计位置处从视锥体突出(步骤S206)。具体来说,显示控制单元104基于下一帧中的虚拟对象的估计位置L1来确定虚拟对象是否从视锥体突出。
当确定虚拟对象在估计位置处从视锥体突出时,信息处理设备100-1根据用户移动速度估计经过预定时间之后虚拟对象的位置(步骤S208)。具体来说,当确定虚拟对象在下一帧中从视锥体突出时,显示控制单元104根据计算的用户移动速度估计经过预定时间之后虚拟对象的位置L2。
接着,信息处理设备100-1确定整个虚拟对象是否位于估计位置处的视锥体之外(步骤S210)。具体来说,显示控制单元104基于经过预定时间之后虚拟对象的估计位置L2,确定整个虚拟对象是否位于视锥体之外。
当确定整个虚拟对象位于估计位置处的视锥体之外时,信息处理设备100-1设置虚拟对象的加速度(步骤S212)。具体来说,当确定虚拟对象在下一帧中从视锥体突出,并且确定整个虚拟对象在经过预定时间之后位于视锥体之外时,显示控制单元104将与用户移动方向相反的方向上的加速度α设置为虚拟对象的加速度。
接着,信息处理设备100-1设置虚拟对象的速度(步骤S214)。具体来说,显示控制单元104使用虚拟对象的设置加速度α来设置虚拟对象的速度u(例如,α*(1/60))。
另外,当在步骤S202中确定虚拟对象的加速度不为0时,信息处理设备100-1使用虚拟对象的速度来更新虚拟对象的位置(步骤S216)。具体来说,显示控制单元104利用虚拟对象从当前位置L移动了u*(1/60)的位置来更新当前位置L。
接着,信息处理设备100-1使用虚拟对象的加速度来更新虚拟对象的速度(步骤S218)。具体来说,显示控制单元104使用虚拟对象的设置加速度α将α*(1/60)加到虚拟对象的速度u。
<2-3.第一实施例的概述>
根据本公开的第一实施例,如上所述,信息处理设备100-1控制显示在显示区域中移动的虚拟对象的显示,并且当虚拟对象移过显示区域的边界时改变虚拟对象的形态。因此,通过将虚拟对象的形态改变为用户不容易注意到虚拟对象从显示区域突出的状态的形态,可能防止用户意识到显示区域的边界。因此,可能抑制用户对显示区域中显示的虚拟对象的沉浸感或现实感的恶化。
另外,虚拟对象的形态的改变包括改变为与对应于与虚拟对象的移动有关的移动信息的形态不同的形态。因此,由于控制了虚拟对象的显示,使得由于用户或虚拟对象的移动而改变的虚拟对象的外观不同,因此可能使用户更难以更有效的方式意识到显示区域的边界。另外,在整个虚拟对象的形态改变的情况下,与虚拟对象的一部分的形态改变的情况(例如,虚拟对象的一部分在显示区域的边界附近变得透明的情况)相比,整个虚拟对象的可见度可以改进更多。
另外,虚拟对象叠加在外界图像上,并且显示区域与外界图像的一部分重叠。因此,可以向用户显示虚拟对象,如同虚拟对象存在于真实空间中一样。因此,对于显示内容的现实感或沉浸感可以得到改进。
另外,信息处理设备100-1改变虚拟对象的形态,而虚拟对象的一部分位于显示区域之外。因此,即使在不可能避免虚拟对象从显示区域突出的情况下,也可能使用户难以注意到虚拟对象从显示区域突出。
另外,虚拟对象的形态的改变包括虚拟对象的移动速度的改变。因此,通过在虚拟对象跨越显示区域的状态下增加虚拟对象的移动速度,例如,可以缩短虚拟对象从显示区域突出的时间。另外,显示区域的边界通常位于用户的视野中心之外。另外,众所周知,随着移动到视野外部的对象的移动速度变得更高,人类更难以密切关注对象。为此,通过在虚拟对象跨越显示区域的状态下增加虚拟对象的移动速度,例如,用户会无法密切关注虚拟对象。因此,可能使用户难以意识到显示区域的边界。
另外,虚拟对象的形态的改变程度根据虚拟对象的移动而改变。因此,随着从显示区域突出的虚拟对象的一部分变得更大,形态的程度,例如,虚拟对象的移动速度等可以增加更多。另外,随着突出程度变得更大,认为用户更容易意识到显示区域的边界。因此,根据本配置,通过缩短虚拟对象从显示区域的突出程度增加的时段,可能使用户更难以意识到显示区域的边界。
另外,移动信息包括关于用户运动的传感器信息。因此,虚拟对象可以完全根据用户的运动来移动,而不会使用户意识到显示区域的边界。因此,对于显示内容的现实感或沉浸感可以得到改善。
另外,传感器信息包括与用户的移动有关的信息。这里,用户的视野根据用户的移动而改变。因此,有可能对应于真实空间的虚拟对象的位置也根据用户的移动而改变,并且虚拟对象移过显示区域的边界。关于这种现象,根据本配置,在用户移动的情况下,可能防止用户意识到显示区域的边界。<2-4.修改实例>
上面已经描述了本公开的第一实施例。应注意,本实施例不限于上述实例。下面将描述本实施例的第一至第四修改实例。
(第一修改实例)
作为本实施例的第一修改实例,信息处理设备100-1可以改变虚拟对象的姿态,作为改变虚拟对象的移动速度的替代或补充。具体来说,当估计虚拟对象的一部分位于显示区域之外时,显示控制单元104改变虚拟对象的姿态。此外,将参照图6描述本修改实例的显示控制过程。图6是用于描述根据本实施例的第一修改实例的虚拟对象的形态的改变实例的图解。
显示控制单元104基于所获取的测量信息确定是否改变虚拟对象的姿态。例如,显示控制单元104估计下一帧中的虚拟对象20B的位置L1。接着,显示控制单元104确定虚拟对象20B是否从虚拟对象20B的位置L1处的视锥体10B2突出。此外,显示控制单元104估计经过预定时间m之后虚拟对象20B的位置L2。然后,显示控制单元104确定虚拟对象20B是否完全偏离虚拟对象20B的估计位置L2处的视锥体10B4。
在确定要改变虚拟对象的姿态的情况下,显示控制单元104开始改变虚拟对象的姿态。具体来说,当显示控制单元104确定虚拟对象的至少一部分位于下一帧中的显示区域之外,并且虚拟对象在经过预定时间之后完全偏离显示区域时,显示控制单元旋转虚拟对象。例如,假设虚拟对象20B的至少一部分位于下一帧中的视锥体10B2之外,并且整个虚拟对象20B在经过预定时间m之后完全偏离视锥体10B4。在这种情况下,显示控制单元104使虚拟对象20B旋转预定角度θ1,该预定角度θ1具有与水平面上的测量信息所表示的速度V的方向正交的方向。更详细地,显示控制单元104旋转虚拟对象20B以便在下一帧中具有姿态30B1,并旋转虚拟对象直到虚拟对象最终具有旋转角度θ1的姿态30B2,如图6中所示。因此,与没有改变虚拟对象20的姿态的情况相比,可能更早地将虚拟对象20移动到视锥体10之外。
应注意,通过增加角速度来实现虚拟对象的旋转。增加的角速度的值可以是常数或变量,如下所述。具体来说,角速度被设置为缩短从虚拟对象与视锥体接触时到整个虚拟对象移动到视锥体之外时的时间T的值。在时间T缩短到时间T/2的情况下,例如,角速度被设置为在经过时间T/2并且虚拟对象的姿态平行于虚拟对象附近的视锥体的一侧时使对象旋转θ1的值。应注意,使用视锥体的视野(FOV)θ2,利用表达式θ1=90°-θ2/2来计算θ1。
另外,尽管已经在图6中描述了虚拟对象在视锥体的左侧附近顺时针旋转的实例,即,虚拟对象在平行于视锥体的一侧的旋转方向上以小旋转角度旋转的实例,但是虚拟对象可以逆时针旋转。在这种情况下,虚拟对象可以面向虚拟对象的正面相对于用户旋转。因此,可以保持从虚拟对象获得的信息量。应注意,在虚拟对象因旋转而翻转的情况下,可以在虚拟对象的背面显示与前面的情况相同的信息。
根据如上所述的本实施例的第一修改实例,信息处理设备100-1改变虚拟对象的形态,同时估计虚拟对象的一部分在对应于移动信息的形态位于显示区域之外。因此,在虚拟对象在对应于移动信息的形态从显示区域突出的时段中,虚拟对象的形态可以改变为虚拟对象难以从显示区域突出的形态。因此,可能使用户难以意识到显示区域的边界。另外,由于虚拟对象难以突出,因此可以保持表示虚拟对象的信息量。
另外,虚拟对象的形态的改变包括虚拟对象的姿态的改变。因此,与不改变虚拟对象的姿态的情况相比,虚拟对象从显示区域突出的时段可以更短。此外,与虚拟对象被加速的情况相比,可能使虚拟对象更难以从视锥体突出。另外,即使虚拟对象开始从视锥体突出,也可能使用户在视觉上识别突出比在虚拟对象被加速的情况下更难。
另外,姿态的改变包括虚拟对象在平行于用户视野的视锥体的侧面的方向上的旋转。因此,在用户继续在相同方向上移动的情况下,虚拟对象完全位于视锥体(显示区域)之外所花费的时间缩短。因此,可以缩短虚拟对象从显示区域突出的时间,并且可以较少注意到显示区域的边界。
(第二修改实例)
作为本实施例的第二修改实例,信息处理设备100-1可以改变虚拟对象的移动方向,作为改变虚拟对象的移动速度的替代或补充。具体来说,显示控制单元104将虚拟对象的移动方向改变为垂直于用户视野的视锥体的侧面的方向。此外,将参照图7描述本修改实例的显示控制过程。图7是用于描述根据本实施例的第二修改实例的虚拟对象的形态的改变实例的图解。
显示控制单元104基于获取的测量信息确定是否要在与用户的移动方向不同的方向上加速虚拟对象。应注意,确定过程与第一修改实例中描述的确定过程大体上相同。
在确定要在与用户的移动方向不同的方向上加速虚拟对象的情况下,显示控制单元104将不同方向的加速度设置为虚拟对象的加速度。具体来说,当确定虚拟对象的至少一部分位于下一帧中的显示区域之外,并且确定虚拟对象在经过预定时间m之后完全偏离显示区域时,显示控制单元104将在垂直于视锥体的侧面的方向上的加速度设置为虚拟对象的加速度。例如,显示控制单元104在垂直于视锥体10C1的左侧的方向上加速虚拟对象20C,如图7中所示,因此将虚拟对象20C移动到位置30C。应注意,加速度α被设置为在相对于上述时间T经过时间T/2之后将整个虚拟对象移动到视锥体10之外的值。因此,与不改变虚拟对象20的移动形态的情况相比,虚拟对象20可以更早地移动到视锥体10的外部。
如上所述,根据本实施例的第二修改实例,虚拟对象的形态的改变包括虚拟对象的移动方向的改变。因此,通过在与用户期望的方向不同的方向上移动虚拟对象,可能很难密切关注虚拟对象从显示区域突出的状态。因此,可能使用户难以意识到显示区域的边界。
另外,移动方向的改变包括垂直于用户视野的视锥体的侧面的方向的改变。因此,虚拟对象可以在预测虚拟对象从用户的视野消失所花费的时间比任何其他方向更短的方向上移动。因此,可能使用户更难以密切关注视觉对象从显示区域突出的状态。
(第三修改实例)
作为本实施例的第三修改实例,信息处理设备100-1可以改变虚拟对象的大小,作为改变虚拟对象的移动速度的替代或补充。具体来说,显示控制单元104将虚拟对象的大小改变为预定大小。此外,将参照图8描述本修改实例的显示控制过程。图8是用于描述根据本实施例的第三修改实例的虚拟对象的形态的改变实例的图解。
显示控制单元104基于获取的测量信息确定是否改变虚拟对象的大小。应注意,确定过程与第一修改实例中描述的确定过程大体上相同。
在确定改变虚拟对象的大小的情况下,显示控制单元104开始将虚拟对象的大小改变为预定大小。具体来说,当显示控制单元104确定虚拟对象的至少一部分将位于下一帧中的显示区域之外,并且虚拟对象在经过预定时间之后将完全偏离显示区域时,显示控制单元104开始减小虚拟对象的大小,使得虚拟对象被包括在视锥体中。例如,显示控制单元104根据虚拟对象20D1的位置L的变化,将虚拟对象的大小从虚拟对象20D1的大小逐渐减小到虚拟对象20D2的大小。对于每个帧,虚拟对象20的大小改变1/2倍。然后,当虚拟对象20的大小变得等于或小于预定大小时,显示控制单元104擦除虚拟对象20。因此,可能防止虚拟对象20从视锥体10突出。
应注意,尽管上面已经描述了对于每个帧虚拟对象的大小改变1/2倍的实例,但是在相对于上述时间T经过时间T/2之后,对于每个帧可以将大小改变为预定大小。另外,改变大小可能会改变比例。
另外,显示控制单元104可以改变虚拟对象的透明度,作为改变虚拟对象的大小的替代或补充。例如,显示控制单元104通过根据由用户的移动引起的虚拟对象的位置L的变化降低α值来提高虚拟对象20的透明度。然后,当虚拟对象20的透明度变得等于或低于预定透明度时,显示控制单元104擦除虚拟对象20。应注意,显示控制单元104可以继续透明度处理,直到虚拟对象20变得完全透明。
如上所述,根据本实施例的第三修改实例,虚拟对象的形态的改变包括虚拟对象的大小的改变。因此,通过根据显示区域的变化来改变虚拟对象的大小,可能防止虚拟对象从显示区域突出。因此,可能减少用户意识到显示区域的边界的顾虑。
另外,虚拟对象的形态的改变包括虚拟对象的透明度的改变。因此,通过降低虚拟对象的可见度,可能使用户难以注意到虚拟对象从显示区域突出。因此,可能减少用户意识到显示区域的边界的顾虑。
(第四修改实例)
作为本实施例的第四修改实例,信息处理设备100-1可以在改变虚拟对象的形态的同时对虚拟对象给予视觉效果。具体来说,显示控制单元104根据虚拟对象的形态的改变来改变虚拟对象和显示区域之间的对比度。例如,显示控制单元104降低每个帧中虚拟对象和显示区域之间的对比度。应注意,显示控制单元104可以改变虚拟对象和外界图像之间的对比度。
另外,显示控制单元104根据虚拟对象的形态的改变来改变虚拟对象的亮度。例如,显示控制单元104降低每个帧中虚拟对象的亮度或发光度。应注意,可以改变虚拟对象的外围亮度以及虚拟对象的亮度。
另外,显示控制单元104可以根据虚拟对象的形态的改变使虚拟对象模糊。例如,显示控制单元104增强每个帧中应用于虚拟对象的模糊程度(模糊)。
应注意,视觉效果可以被给予整个虚拟对象或仅给予虚拟对象的一部分。
如上所述,根据本实施例的第四修改实例,信息处理设备100-1在改变虚拟对象的形态的同时为虚拟对象提供视觉效果。因此,可以降低位于显示区域的边界附近的虚拟对象的可见度。因此,可能难以意识到显示区域的边界。
另外,视觉效果包括虚拟对象和显示区域之间的对比度的改变。因此,通过降低与显示虚拟对象的显示区域的对比度,可能降低用户对虚拟对象的可见度,同时抑制用户的不兼容感。
另外,视觉效果包括虚拟对象的亮度的改变。因此,通过根据用户周围的亮度来改变虚拟对象的亮度,可能降低用户相对虚拟对象的可见度,同时抑制用户的不兼容感。
另外,视觉效果包括模糊。因此,通过使虚拟对象的轮廓模糊,可能难以识别虚拟对象是否从显示区域突出。
<3.第二实施例(用户旋转的实例)>
上面已经描述了本公开的第一实施例。接着,将描述本公开的第二实施例。在第二实施例中,将描述当用户旋转时显示的虚拟对象移动的情况。
<3-1.设备的配置>
首先,将描述根据本公开的第二实施例的信息处理设备100-2的功能配置。应注意,其结构元件与根据第一实施例的信息处理设备100-1的结构元件大体上相同。下面仅描述与第一实施例的不同之处。
(测量单元)
测量单元102执行与用户旋转有关的测量,并基于测量结果生成与用户旋转有关的测量信息(以下也称为旋转测量信息)。例如,测量单元102测量佩戴信息处理设备100-2的用户的头部的旋转角度、角速度或角加速度,并生成表示测量的旋转角度、角速度或角加速度的旋转测量信息。应注意,除了仅旋转他或她的头部之外,用户旋转也可以是他或她的身体的旋转。
(显示控制单元)
显示控制单元104根据旋转测量信息控制虚拟对象的显示。具体来说,显示控制单元104基于旋转测量信息估计用户的视野,并确定对应于估计的视野的范围的虚拟空间的范围。然后,显示控制单元104使显示单元108显示包括在虚拟空间的确定范围内的虚拟对象。
另外,当虚拟对象移过显示区域的边界时,显示控制单元104将整个虚拟对象的形态改变为与对应于旋转测量信息的形态不同的形态。具体来说,当虚拟对象从显示区域的内部移动到外部或虚拟对象从显示区域的外部移动到内部时,显示控制单元104改变虚拟对象的移动速度。此外,将参照图9描述根据本实施例的显示控制过程。图9是用于描述根据本实施例的虚拟对象的形态的改变实例的图解。
首先,将描述虚拟对象从显示区域的内部移动到外部的情况。
首先,显示控制单元104使虚拟对象显示在显示单元108的显示区域中。例如,显示控制单元104使显示单元108在用户视野的视锥体10E1中显示虚拟对象20E、20F和20G。不显示虚拟对象20H,因为虚拟对象20H不包括在视锥体10E1中。应注意,每个显示的虚拟对象20被布置为围绕面向用户的正面的用户。下面将针对虚拟对象20G提供描述。
接着,显示控制单元104基于获取的旋转测量信息确定虚拟对象是否从显示区域突出。例如,当用户逆时针旋转他或她的头部时,显示控制单元104基于从测量单元102获取的旋转测量信息估计下一帧中的虚拟对象20G的位置。然后,显示控制单元104确定虚拟对象20G是否在下一帧中从视锥体10突出。
当确定虚拟对象从显示区域突出时,显示控制单元104将虚拟对象加速到显示区域的外部。例如,由于虚拟对象20G在下一帧中从视锥体10E2突出,因此显示控制单元104以α1的加速度将虚拟对象20G移动到视锥体10E2外部的位置30G。因此,虚拟对象20G可以向用户显示,如同虚拟对象被从视锥体10(即,显示区域10)中弹出一样。
随后,将描述虚拟对象从显示区域的外部移动到内部的情况。
显示控制单元104基于获取的旋转测量信息确定是否可以在显示区域中显示未示出的虚拟对象。例如,当用户逆时针旋转他或她的头部时,显示控制单元104基于从测量单元102获取的旋转测量信息估计下一帧中的虚拟对象20H的位置。然后,显示控制单元104确定整个虚拟对象20H是否在下一帧中显示在视锥体10内。
当确定可以在显示区域中显示未示出的虚拟对象时,显示控制单元104将未示出的虚拟对象加速到显示区域内。例如,由于虚拟对象20H3的一部分在下一帧中从视锥体10E2突出,因此显示控制单元104不会使虚拟对象20H显示。然而,由于整个虚拟对象20H3在随后的帧中进入视锥体10E3内,因此显示控制单元104以α2的加速度将虚拟对象20H1移动到视锥体10内部的位置30H。因此,虚拟对象20H可以向用户示出,如同虚拟对象跳入视锥体10一样。
应注意,在虚拟对象从显示区域的内部移动到外部的情况和虚拟对象从显示区域的外部移动到内部的情况下设置的加速度可以彼此相同或不同。
<3-2.设备的过程>
接着,将描述根据本实施例的信息处理设备100-2的过程。首先,将参照图10描述信息处理设备100-2的初始化过程。图10是概念性地示出根据本实施例的信息处理设备100-2的初始化过程的实例的流程图。应注意,虚拟对象具有包括显示状态、移动状态、初始位置L0、当前位置L、显示开始位置LS、移动目的地位置LG、方向、宽度w、速度u和加速度α的属性。
信息处理设备100-2确定整个虚拟对象是否位于视锥体内(步骤S302)。具体来说,显示控制单元104确定每个虚拟对象是否完全包括在要显示的每个虚拟对象的视锥体中。
当确定整个虚拟对象位于视锥体内时,信息处理设备100-2将显示状态设置为“可见”(步骤S304),否则将显示状态设置为“不可见”(步骤S306)。具体来说,在整个虚拟对象完全包括在视锥体中的情况下,显示控制单元104将虚拟对象的显示状态设置为“可见”。另外,在虚拟对象的一部分或全部位于视锥体外部的情况下,显示控制单元104将虚拟对象的显示状态设置为“不可见”。
接着,信息处理设备100-2将当前位置设置为初始位置(步骤S308)。具体来说,显示控制单元104将虚拟对象的当前位置L设置为每个虚拟对象的初始位置L0。
接着,信息处理设备100-2将移动状态设置为“停止”(步骤S310)。具体来说,显示控制单元104将虚拟对象的移动状态设置为每个虚拟对象的“停止”。
应注意,针对虚拟对象的其他属性执行初始化过程。例如,虚拟对象的速度和加速度设置为0。
随后,将参照图11至图13描述信息处理设备100-2的显示控制过程。图11至图13是概念性地示出根据本实施例的信息处理设备100-2的显示控制过程的实例的流程图。应注意,例如,对于每个帧(每1/60秒)执行以下过程。
首先,参考图11,信息处理设备100-2确定移动状态是否是“停止”(步骤S402)。具体来说,显示控制单元104确定虚拟对象的移动状态是否是“停止”。应注意,由于所有虚拟对象的移动状态在初始化过程之后立即“停止”,因此过程进入步骤S404。
在移动状态是“移动”的情况下,过程进入图12的步骤S508。下面将描述其细节。
当确定移动状态是“停止”时,信息处理设备100-2确定显示状态是否是“可见”(步骤S404)。具体来说,当确定虚拟对象的移动状态是“停止”时,显示控制单元104确定虚拟对象的显示状态是否是“可见”。
在显示状态是“不可见”的情况下,过程进入图13的步骤S602。下面将描述其细节。
当确定显示状态是“可见”时,信息处理设备100-2确定整个虚拟对象是否位于视锥体内(步骤S406)。具体来说,显示控制单元104确定显示状态是“可见”的整个虚拟对象是否位于相应帧中的视锥体内。
当确定虚拟对象的一部分或全部在视锥体之外时,信息处理设备100-2确定虚拟对象是否与视锥体的一侧相交(步骤S408)。具体来说,当确定虚拟对象的一部分或全部在视锥体之外时,显示控制单元104确定虚拟对象是否与视锥体的左侧或右侧相交。
当确定虚拟对象与视锥体的一侧相交时,过程进入图12的步骤S502。下面将描述其细节。
当确定虚拟对象不与视锥体的一侧相交时,信息处理设备100-2将虚拟对象的显示状态设置为“不可见”(步骤S410)。具体来说,在整个虚拟对象位于视锥体外部的情况下,显示控制单元104将虚拟对象的显示状态设置为“不可见”。
应注意,在步骤S406中确定整个虚拟对象位于视锥体内的情况下,信息处理设备100-2结束过程。
随后,参考图12,当在步骤S408中确定虚拟对象与视锥体的一侧相交时,信息处理设备100-2在朝向视锥体外部的方向上设置加速度(步骤S502)。具体来说,在确定虚拟对象与视锥体的左侧相交的情况下,显示控制单元104将左方向上的加速度α设置为虚拟对象的加速度。另外,在确定虚拟对象与视锥体的右侧相交的情况下,显示控制单元104将右方向上的加速度α设置为虚拟对象的加速度。
接着,信息处理设备100-2设置虚拟对象的移动目的地位置(步骤S504)。具体来说,在确定虚拟对象与视锥体的左侧相交的情况下,显示控制单元104将虚拟对象的移动目的地位置LG设置为与当前位置L相隔对应于左方向上的宽度w的距离的位置。另外,在确定虚拟对象与视锥体的右侧相交的情况下,显示控制单元104将虚拟对象的移动目的地位置LG设置为与当前位置L相隔对应于右方向上的宽度w的距离的位置。
接着,信息处理设备100-2将移动状态设置为“移动”。具体来说,显示控制单元104将虚拟对象的移动状态设置为“移动”。应注意,该过程可以从步骤S612进入该步骤,这将在下面描述。
接着,信息处理设备100-2使用虚拟对象的加速度来更新虚拟对象的速度(步骤S508)。具体来说,显示控制单元104使用虚拟对象的加速度α将虚拟对象的速度u更新为速度(u+α*(1/60))。
接着,信息处理设备100-2使用虚拟对象的速度来更新当前位置(步骤S510)。具体来说,显示控制单元104将当前位置L更新为执行从当前位置L移动了u*(1/60)的位置。
接着,信息处理设备100-2确定当前位置是否在初始位置和移动目的地位置之间(步骤S512)。具体来说,显示控制单元104确定虚拟对象的当前位置L是否在连接初始位置L0和移动目的地位置LG的线段(不包括端点)上。换句话说,显示控制单元104确定虚拟对象的移动是否已经完成。
当确定当前位置不在初始位置和移动目的地位置之间时,信息处理设备100-2将移动状态设置为“停止”(步骤S514)。具体来说,当确定虚拟对象的当前位置L不在线段上时,显示控制单元104将虚拟对象的移动状态设置为“停止”。其原因是虚拟对象的移动已经完成。
另外,信息处理设备100-2将当前位置设置为移动目的地位置(步骤S516)。具体来说,当确定虚拟对象的当前位置L不在线段上时,显示控制单元104将虚拟对象的当前位置L设置为移动目的地位置LG。其原因是存在虚拟对象通过目标移动目的地位置LG的情况,并且在这种情况下,应该校正虚拟对象的位置。
应注意,当在步骤S512中确定当前位置在初始位置和移动目的地位置之间时,信息处理设备100-2结束过程。其原因是虚拟对象仍在移动。
随后,参考图13,当在步骤S404中确定显示状态是“不可见”时,信息处理设备100-2确定整个虚拟对象是否位于初始位置处的视锥体内(步骤S602)。具体来说,显示控制单元104确定整个虚拟对象是否位于显示状态是“不可见”的虚拟对象的初始位置L0处的视锥体内。
当确定整个虚拟对象位于初始位置处的视锥体中时,信息处理设备100-2在朝向视锥体内部的方向上设置加速度(步骤S604)。具体来说,当确定整个虚拟对象位于初始位置L0处的视锥体内时,在虚拟对象的初始位置L0接近视锥体的左侧的情况下,显示控制单元104设置右方向上的加速度α。另外,在虚拟对象的初始位置L0接近视锥体的右侧的情况下,显示控制单元104设置左方向上的加速度α。
接着,信息处理设备100-2设置显示开始位置(步骤S606)。具体来说,在虚拟对象的初始位置L0接近视锥体的左侧的情况下,显示控制单元104将显示开始位置LS设置为从初始位置L0移动了对应于左方向上的宽度w的距离的位置。另外,在虚拟对象的初始位置L0接近视锥体的右侧的情况下,显示控制单元104将显示开始位置LS设置为从初始位置L0移动了对应于右方向上的宽度w的距离的位置。对此的原因是当虚拟对象从视锥体的外部移动到内部时,缩短虚拟对象从视锥体突出的时间段。
接着,信息处理设备100-2将当前位置设置为显示开始位置(步骤S608)。具体来说,显示控制单元104将虚拟对象的当前位置L设置为设置的显示开始位置LS。
接着,信息处理设备100-2将移动目的地位置设置为初始位置(步骤S610)。具体来说,显示控制单元104将虚拟对象的移动目的地位置LG设置为初始位置L0。
接着,信息处理设备100-2将显示状态设置为“可见”(步骤S612)。具体来说,显示控制单元104将虚拟对象的显示状态设置为“可见”。
在执行步骤S612之后,过程进入上述步骤S506,并且虚拟对象的移动开始。
应注意,当在步骤S602中确定虚拟对象的一部分或全部位于初始位置处的视锥体之外时,信息处理设备100-2结束过程。对此的原因在于,在对应的帧中,不能确保足以显示虚拟对象的区域。
<3-3.第二实施例的概述>
如上所述,根据本公开的第二实施例,当虚拟对象移过显示区域的边界时,信息处理设备100-2将整个虚拟对象的形态改变为与对应于与用户旋转有关的信息的形态不同的形态。这里,即使在用户不移动的情况下,用户的视野也根据用户的旋转而改变。因此,有可能对应于真实空间的虚拟对象的位置根据用户的旋转而改变,并且虚拟对象移过显示区域的边界。关于这种现象,根据本配置,在用户旋转的情况下,可能防止用户意识到显示区域的边界。
另外,在虚拟对象从显示区域的外部移动到内部的情况下,信息处理设备100-2使虚拟对象直到确保要显示整个虚拟对象的区域才显示在显示区域中。因此,可能防止虚拟对象在虚拟对象从显示区域突出的状态下被连续显示。因此,可能防止用户意识到显示区域的边界。
<4.第三实施例(虚拟对象移动的实例)>
上面已经描述了本公开的第二实施例。接着,将描述本公开的第三实施例。在第三实施例中,将描述当用户保持静止时虚拟对象在映射到真实空间的虚拟空间中移动时所显示的虚拟对象移动的情况。
<4-1.设备的配置>
首先,将描述根据本公开的第三实施例的信息处理设备100-3的功能配置。应注意,结构元件与根据第一实施例的信息处理设备100-1的结构元件大体上相同。下面仅描述与第一和第二实施例的不同之处。
(显示控制单元)
显示控制单元104根据虚拟对象的虚拟空间中的移动信息(以下也称为虚拟移动信息)来控制虚拟对象的显示。具体来说,显示控制单元104基于虚拟移动信息确定虚拟空间中的虚拟对象的位置,并确定虚拟对象的显示位置,使得虚拟对象存在于映射到虚拟空间中的确定位置的真实空间中的位置处。然后,显示控制单元104使显示单元108在确定的位置显示虚拟对象。
另外,如第一实施例中所述,显示控制单元104改变移过显示区域的边界的虚拟对象的形态。具体来说,当移动虚拟对象的一部分位于显示区域之外时,显示控制单元104基于虚拟移动信息改变虚拟对象的移动速度。此外,将参照图14描述根据本实施例的显示控制过程。图14是用于描述根据本实施例的虚拟对象的形态的改变实例的图解。
首先,显示控制单元104获取虚拟移动信息。例如,显示控制单元104获取表示虚拟对象的移动速度v的虚拟移动信息。应注意,虚拟移动信息可以从与信息处理设备100-3或信息处理设备100-3的外部设备分开提供的应用程序中获取信息。
接着,显示控制单元104基于虚拟移动信息确定是否加速虚拟对象。例如,显示控制单元104基于由虚拟移动信息表示的虚拟对象的移动速度v来估计下一帧中的虚拟对象20I的位置L1,即位置30I1,以及在当前时间点的虚拟对象20I的位置L。接着,显示控制单元104确定虚拟对象20I是否从估计位置30I1处的视锥体10F突出。此外,显示控制单元104估计在经过预定时间m之后虚拟对象20I的位置L2,即位置30I2。然后,显示控制单元104确定虚拟对象20I是否完全偏离估计位置30I2处的视锥体10F。应注意,由于用户不移动,因此视锥体10F的位置不会改变。
在确定加速虚拟对象的情况下,显示控制单元104设置虚拟对象的加速度。例如,虚拟对象20I的至少一部分在下一帧中位于视锥体10F之外,即在位置40I1,并且整个虚拟对象20I在经过预定时间m之后,即在位置40I2,完全偏离视锥体10F,如图14中所示。在这种情况下,显示控制单元104以由虚拟移动信息表示的速度v的方向上的加速度α加速虚拟对象20I。即,虚拟对象20I以v+α*t(t:时间)的速度向用户移动。因此,与虚拟对象20I的移动速度不改变的情况相比,虚拟对象20I更早地从视锥体10F消失,并且视锥体10F和虚拟对象20I相交的时间缩短。
<4-2.设备的过程>
接着,将参照图15描述根据本实施例的信息处理设备100-3的过程。图15是概念性地示出根据本实施例的信息处理设备100-3的过程的实例的流程图。应注意,将省略与第一实施例的过程大体上相同的过程的描述。
信息处理设备100-3确定虚拟对象的加速度是否为0(步骤S702),如果是,则信息处理设备根据虚拟对象的移动速度估计下一帧中的虚拟对象的位置(步骤S704)。具体来说,在显示区域中显示的虚拟对象的加速度为0的情况下,显示控制单元104根据所获取的虚拟移动信息计算虚拟对象的移动速度v。接着,显示控制单元104根据虚拟对象的计算的移动速度v来估计下一帧中(例如,在1/60秒之后)的虚拟对象的位置L1。
接着,信息处理设备100-3确定虚拟对象是否在估计位置处从视锥体突出(步骤S706),如果是,则信息处理设备根据虚拟对象的移动速度估计经过预定时间之后虚拟对象的位置(步骤S708)。具体来说,在虚拟对象在下一帧中的虚拟对象的估计位置L1处从视锥体突出的情况下,显示控制单元104根据虚拟对象的计算的移动速度v估计经过预定时间之后虚拟对象的位置L2。
接着,信息处理设备100-3确定整个虚拟对象是否位于估计位置处的视锥体之外(步骤S710),如果是,则信息处理设备设置虚拟对象的加速度(步骤S712)。具体来说,在整个虚拟对象位于在经过预定时间之后虚拟对象的估计位置L2处的视锥体之外的情况下,显示控制单元104将虚拟对象的移动方向上的加速度α设置为虚拟对象的加速度。
接着,信息处理设备100-3使用虚拟对象的加速度更新虚拟对象的速度(步骤S714),并且使用虚拟对象的速度更新虚拟对象的位置(步骤S716)。<4-3.第三实施例的概述>
如上所述,根据本公开的第三实施例,信息处理设备100-3根据虚拟空间中的虚拟对象的移动信息控制虚拟对象的显示。因此,即使在虚拟对象根据其在虚拟空间中的运动在显示区域中移动而不考虑用户的运动的情况下,也可以缩短跨显示区域的边界显示虚拟对象的时间。因此,可能防止用户意识到显示区域的边界。
应注意,尽管上面已经描述了在用户停止时虚拟对象在虚拟空间中移动的实例,但是当虚拟对象在虚拟空间中移动时,用户可以如第一或第二实施例中所述移动或旋转。
<5.根据本公开的一个实施例的信息处理设备的硬件配置>
上面已经描述了根据本公开的各个实施例的信息处理设备100。与下面将描述的信息处理设备100的软件和硬件协作实现信息处理设备100的上述过程。
图16是图示根据本公开的实施例的信息处理设备100的硬件配置的说明图。如图16中所示,信息处理设备100具有处理器132、存储器134、桥接器136、总线138、测量设备140、输入设备142、输出设备144、连接端口146和通信设备148。
(处理器)
处理器132用作算术处理设备,并且与各种程序协作实现包括在信息处理设备100中的显示控制单元104的功能。处理器132通过使用控制电路执行存储在存储器134或其他存储介质中的程序来操作信息处理设备100的各种逻辑功能。例如,处理器132可以是中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)或系统芯片(SoC)。
(存储器)
存储器134存储要由处理器132使用的程序、算术参数等。例如,存储器134包括随机存取存储器(RAM),并且临时存储要在处理器132的执行中使用的程序、在执行中适当改变的参数等。另外,存储器134包括只读存储器(ROM),并且利用RAM和ROM实现存储单元106的功能。应注意,外部存储设备可以经由连接端口146、通信设备148等用作存储器134的一部分。
应注意,处理器132和存储器134通过包括CPU总线等的内部总线来连接。
(桥接器和总线)
桥接器136连接总线。具体来说,桥接器136将连接处理器132和存储器134的内部总线连接到连接测量设备140、输入设备142、输出设备144、连接端口146和通信设备148的总线138。
(测量设备)
测量设备140对信息处理设备100和其周围环境执行测量,并实现测量单元102的功能。具体来说,测量设备140包括相机传感器(可以是立体的)、加速度传感器、角速度传感器、地磁传感器或GPS传感器,并且根据从这些传感器获得的信号生成测量信息作为传感器信息。
(输入设备)
用户使用输入设备142来操作信息处理设备100或将信息输入到信息处理设备100。输入设备142包括例如用于由用户输入信息的输入装置、用于基于用户的输入生成输入信号并将信号输出到处理器132的输入控制电路等。应注意,输入装置可以是鼠标、键盘、触摸板、开关、控制杆、麦克风等。信息处理设备100的用户可以通过操作输入设备142来向信息处理设备100输入各种数据或指示处理操作。
(输出设备)
输出设备144用于向用户通知信息。输出设备144例如是透射型HMD或平视显示器(HUD)或视网膜投影显示设备,并且实现显示单元108的功能。应注意,可以包括液晶显示(LCD)设备、有机发光二极管(OLED)设备、诸如投影仪、扬声器或耳机的设备,或对这些设备执行输出的模块,作为输出设备144。
(连接端口)
连接端口146是用于将装置直接连接到信息处理设备100的端口。连接端口146可以是例如通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)端口等。另外,连接端口146可以是RS-232C端口、光学音频终端、高清晰度多媒体接口(HDMI)(注册商标)端口等。通过将外部装置连接到连接端口146,可以在信息处理设备100和外部装置之间交换数据。
(通信设备)
通信设备148调解信息处理设备100和外部设备之间的通信。具体来说,通信设备148依照无线通信方案执行通信。通信设备148可以依照任意无线通信方案执行无线通信,例如,诸如蓝牙(注册商标)、近场通信(NFC)、无线USB或TransferJet(注册商标)的短程无线通信方案,诸如宽带码分多址(WCDMA)(注册商标)、WiMAX(注册商标)、长期演进(LTE)或LTE-A的蜂窝通信方案,或诸如Wi-Fi(注册商标)的无线局域网(LAN)方案。另外,通信设备148可以执行诸如信号线通信或有线LAN通信的有线通信。
应注意,信息处理设备100可以不具有使用图16描述的一些配置,或可以具有附加配置。另外,可以提供其中集成了使用图16描述的所有或一些配置的单芯片信息处理模块。
<6.结论>
根据上述本公开的第一实施例,通过将虚拟对象的形态改变为用户难以注意到虚拟对象从显示区域突出的状态的形态,可能防止用户意识到显示区域的边界。因此,可能抑制用户对显示区域中显示的虚拟对象的沉浸感或现实感的恶化。
另外,根据本公开的第二实施例,在用户旋转的情况下,可能防止用户意识到显示区域的边界。
另外,根据本公开的第三实施例,即使在虚拟对象根据其在虚拟空间中的运动在显示区域中移动而不考虑用户的运动的情况下,也可以缩短跨显示区域的边界显示虚拟对象的时间。因此,可能防止用户意识到显示区域的边界。
上面已经参照附图描述了本公开的优选实施例,而本公开不限于上述实例。本领域技术人员可以发现在所附权利要求的范围内的各种改变和修改,并且应该理解,这些改变和修改将自然地落入本公开的技术范围内。
尽管在实施例中根据移动信息将其他控制设置为加以控制,但是例如本技术不限于此。如实施例中所述,可以使用另一种控制方法,只要可以改变虚拟对象的形态即可。具体来说,显示控制单元104可以根据移动信息改变控制本身。例如,显示控制单元104可以根据由测量信息表示的用户的移动速度来改变显示位置被移动的虚拟对象的移动速度,或可以根据由测量信息表示的用户的旋转方向使显示位置被移动的虚拟对象的姿态旋转预定角度。
另外,尽管在实施例中主要描述了虚拟对象移动到显示区域的外部并消失的实例,但是本公开的每个实施例的配置可以应用于虚拟对象从显示区域的外部移动到内部并由此如第二实施例中那样新显示的情况。
另外,尽管在实施例中已经描述了在虚拟对象在下一帧中从视锥体突出的情况下改变形态的实例,但是可以在虚拟对象在前面两帧或更多帧的帧中从视锥体突出的情况下改变形态。
另外,尽管在实施例中将所有过程设置为由信息处理设备100执行,但是一些过程可以由另一设备执行。例如,每个信息处理设备100可以是服务器设备,并且用户佩戴的设备可以执行测量单元102和显示单元108的过程。在这种情况下,测量信息经由通信传输到信息处理设备100,并且从信息处理设备100传输到显示单元108的指令信息。
另外,尽管虚拟对象的移动方向是用户视野的左右方向(即,水平方向)的实例已经被描述为实施例中的一部分,但是虚拟对象的移动方向可以是上下方向,即,垂直方向。另外,实施例的虚拟对象形态控制可以仅应用于虚拟对象在预定方向上的移动。例如,可以仅在左右方向上执行控制,并且可以不在上下方向上执行控制。
应注意,可以根据虚拟对象的属性来执行实施例的虚拟对象形态控制。例如,虚拟对象的属性包括虚拟对象的重要性、优先级、类型、应用、大小等。虚拟对象的属性可以作为元信息与虚拟对象关联。
另外,可以基于用户的视线执行实施例的虚拟对象形态控制。例如,信息处理设备100检测用户的视线,并且仅针对位于检测的视线上的虚拟对象执行实施例的虚拟对象形态控制。另外,信息处理设备100可以仅在显示区域中检测的视线附近执行实施例的虚拟对象形态控制。
此外,本说明书中描述的效果仅仅是说明性或示例性的效果,并不是限制性的。即,利用或代替上述效果,根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。
此外,在上述实施例的流程图中所示的步骤不仅包括根据所描述的顺序按时间顺序执行的过程,而且包括不必按时间顺序执行但是并行或单独执行的过程。此外,不用说,即使在按时间顺序处理的步骤中,也可以根据情况适当地改变顺序。
另外,也可以产生用于使计算机系统展示与上述信息处理设备100的各个逻辑配置的功能等同的功能的计算机程序。另外,也可以提供存储计算机程序的存储介质。这里,计算机系统包括如安装在信息处理设备100中的硬件的单个计算机,或执行一系列过程的多个计算机。
另外,本技术也可以如下配置。
(1)
一种信息处理设备,包括:
显示控制单元,其被配置成:
控制显示在显示区域中移动的虚拟对象的显示,以及
当所述虚拟对象移过所述显示区域的边界时改变所述虚拟对象的形态。
(2)
根据(1)所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括改变为与对应于与所述虚拟对象的移动有关的移动信息的形态不同的形态。
(3)
根据(2)所述的信息处理设备,
其中所述虚拟对象叠加在外界图像上,以及
所述显示区域与所述外界图像的部分重叠。
(4)
根据(2)或(3)所述的信息处理设备,
其中当所述虚拟对象的一部分位于所述显示区域之外时,所述显示控制单元改变所述虚拟对象的所述形态。
(5)
根据(2)至(4)中任一项所述的信息处理设备,
其中当所述虚拟对象的一部分在对应于所述移动信息的所述形态被估计位于所述显示区域之外时,所述显示控制单元改变所述虚拟对象的所述形态。
(6)
根据(2)至(5)中任一项所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括所述虚拟对象的移动速度的改变。
(7)
根据(2)至(6)中任一项所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括所述虚拟对象的移动方向的改变。
(8)
根据(7)所述的信息处理设备,
其中所述移动方向的所述改变包括改变为垂直于与用户的视野有关的视锥体的侧面的方向。
(9)
根据(2)至(8)中任一项所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括所述虚拟对象的姿态的改变。
(10)
根据(9)所述的信息处理设备,
其中所述姿态的所述改变包括所述虚拟对象在平行于与用户的视野有关的视锥体的侧面的方向上的旋转。
(11)
根据(2)至(10)中任一项所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括所述虚拟对象的大小的改变。
(12)
根据(2)至(11)中任一项所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括所述虚拟对象的透明度的改变。
(13)
根据(2)至(12)中任一项所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变的程度根据所述虚拟对象的移动而改变。
(14)
根据(2)至(13)中任一项所述的信息处理设备,
其中当所述虚拟对象的所述形态改变时,所述显示控制单元对所述虚拟对象给予视觉效果。
(15)
根据(14)所述的信息处理设备,
其中所述视觉效果包括所述虚拟对象和所述显示区域之间的对比度的改变、所述虚拟对象的亮度的改变或模糊。
(16)
根据(2)至(15)中任一项所述的信息处理设备,
其中所述移动信息包括与用户的运动有关的传感器信息。
(17)
根据(2)至(16)中任一项所述的信息处理设备,
其中,在所述虚拟对象从所述显示区域的外部移动到内部的情况下,所述显示控制单元使所述虚拟对象直到确保要显示所述整个虚拟对象的区域才显示在所述显示区域中。
(18)
根据(2)至(17)中任一项所述的信息处理设备,
其中所述移动信息包括虚拟空间中的所述虚拟对象的移动信息。
(19)
一种使用处理器执行的信息处理方法,所述信息处理方法包括:
控制显示在显示区域中移动的虚拟对象的显示,以及
当所述虚拟对象移过所述显示区域的边界时改变所述虚拟对象的形态。
(20)
一种用于使计算机系统实现以下的程序:
显示控制功能,其:
控制显示在显示区域中移动的虚拟对象的显示,以及
当所述虚拟对象移过所述显示区域的边界时改变所述虚拟对象的形态。
附图标记列表
10 视锥体(显示区域)
20 虚拟对象
100 信息处理设备
102 测量单元
104 显示控制单元
106 存储单元
108 显示单元。

Claims (20)

1.一种信息处理设备,包含:
显示控制单元,其被配置成:
控制显示区域中的虚拟对象的显示;
确定所述虚拟对象偏离与用户的视野相关联的视锥体;以及
基于所述确定所述虚拟对象偏离与用户的视野相关联的视锥体,改变所述虚拟对象的形态。
2.根据权利要求1所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括所述虚拟对象的移动的改变。
3.根据权利要求2所述的信息处理设备,
其中所述虚拟对象叠加在外界图像上,以及
所述显示区域与所述外界图像的一部分重叠。
4.根据权利要求2所述的信息处理设备,
其中当所述虚拟对象的一部分在所述显示区域之外时,所述显示控制单元还被配置为改变所述虚拟对象的所述形态。
5.根据权利要求2所述的信息处理设备,
其中当在所述虚拟对象的移动之后所述虚拟对象的一部分被估计在所述显示区域之外时,所述显示控制单元还被配置为改变所述虚拟对象的所述形态。
6.根据权利要求2所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括所述虚拟对象的移动速度的改变。
7.根据权利要求2所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括所述虚拟对象的移动方向的改变。
8.根据权利要求7所述的信息处理设备,
其中所述移动方向被改变为垂直于与所述用户的视野相关联的所述视锥体的侧面的方向。
9.根据权利要求2所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括所述虚拟对象的姿态的改变。
10.根据权利要求9所述的信息处理设备,
其中所述姿态的所述改变包括所述虚拟对象在平行于与所述用户的视野相关联的所述视锥体的侧面的方向上的旋转。
11.根据权利要求2所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括所述虚拟对象的大小的改变。
12.根据权利要求2所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变包括所述虚拟对象的透明度的改变。
13.根据权利要求2所述的信息处理设备,
其中所述虚拟对象的所述形态的所述改变的程度基于所述虚拟对象的移动而改变。
14.根据权利要求2所述的信息处理设备,
其中当所述虚拟对象的所述形态改变时,所述显示控制单元被配置为对所述虚拟对象显示视觉效果。
15.根据权利要求14所述的信息处理设备,
其中所述视觉效果包括所述虚拟对象和所述显示区域之间的对比度值的改变、所述虚拟对象的亮度值的改变或所述虚拟对象上的模糊效果。
16.根据权利要求2所述的信息处理设备,其中,所述显示控制单元还被配置为基于与用户的运动相关联的移动信息改变所述虚拟对象的所述形态。
17.根据权利要求2所述的信息处理设备,
其中,在所述虚拟对象从所述显示区域的外部移动到内部的情况下,所述显示控制单元还被配置为阻止所述虚拟对象在所述显示区域中的显示,直到所述虚拟对象整体在所述显示区域的所述内部。
18.根据权利要求1所述的信息处理设备,其中,所述显示控制单元还被配置为基于虚拟空间中的所述虚拟对象的移动信息来改变所述虚拟对象的所述形态。
19.一种信息处理方法,所述信息处理方法包含:
控制显示区域中虚拟对象的显示;
确定所述虚拟对象偏离与用户的视野相关联的视锥体;以及
基于所述确定所述虚拟对象偏离与用户的视野相关联的视锥体,改变所述虚拟对象的形态。
20.一种计算机可读介质,其上存储有计算机可执行指令,当所述计算机可执行指令被信息处理设备的处理器执行时,使得所述信息处理设备的处理器执行如下操作:
控制显示区域中虚拟对象的显示;
确定所述虚拟对象偏离与用户的视野相关联的视锥体;以及
基于所述确定所述虚拟对象偏离与用户的视野相关联的视锥体,改变所述虚拟对象的形态。
CN201780019078.XA 2016-03-29 2017-02-01 信息处理设备、信息处理方法和程序 Active CN108885856B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016066277A JP6736944B2 (ja) 2016-03-29 2016-03-29 情報処理装置、情報処理方法およびプログラム
JP2016-066277 2016-03-29
PCT/JP2017/003644 WO2017169081A1 (ja) 2016-03-29 2017-02-01 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN108885856A CN108885856A (zh) 2018-11-23
CN108885856B true CN108885856B (zh) 2021-11-09

Family

ID=59962829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780019078.XA Active CN108885856B (zh) 2016-03-29 2017-02-01 信息处理设备、信息处理方法和程序

Country Status (4)

Country Link
US (1) US10755482B2 (zh)
JP (1) JP6736944B2 (zh)
CN (1) CN108885856B (zh)
WO (1) WO2017169081A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459230B2 (en) 2016-02-02 2019-10-29 Disney Enterprises, Inc. Compact augmented reality / virtual reality display
US9996984B2 (en) * 2016-07-05 2018-06-12 Disney Enterprises, Inc. Focus control for virtual objects in augmented reality (AR) and virtual reality (VR) displays
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
JP7009057B2 (ja) * 2016-11-15 2022-01-25 株式会社リコー 表示装置、表示システム、及びプログラム
WO2019087658A1 (ja) * 2017-11-01 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11170565B2 (en) * 2018-08-31 2021-11-09 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
JP2020149216A (ja) * 2019-03-12 2020-09-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN114830184A (zh) * 2019-12-23 2022-07-29 索尼集团公司 视频生成装置、视频生成方法和视频生成程序
US20230148185A1 (en) * 2020-07-02 2023-05-11 Sony Group Corporation Information processing apparatus, information processing method, and recording medium
WO2022145014A1 (ja) * 2020-12-28 2022-07-07 三菱電機株式会社 表示装置、制御システムおよび作画方法
JP7180702B2 (ja) * 2021-02-01 2022-11-30 株式会社リコー 表示装置、表示システム、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1403179A (zh) * 2002-09-25 2003-03-19 威盛电子股份有限公司 虚拟实境阶梯型跑步机
JP2007086716A (ja) * 2005-08-22 2007-04-05 Ricoh Co Ltd 画像表示システム、画像表示方法、符号化方法及び立体表示用印刷物
CN101281535A (zh) * 2007-04-06 2008-10-08 株式会社Ntt都科摩 在虚拟空间内的区域中进行引导的方法以及装置
CN101387908A (zh) * 2007-09-10 2009-03-18 佳能株式会社 信息处理装置及信息处理方法
WO2009054619A3 (en) * 2007-10-22 2009-06-04 Moon Key Lee Augmented reality computer device
JP2015084150A (ja) * 2013-10-25 2015-04-30 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2016014874A1 (en) * 2014-07-25 2016-01-28 Microsoft Technology Licensing, Llc Mouse sharing between a desktop and a virtual world

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
US9736368B2 (en) * 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
JP5148660B2 (ja) * 2010-06-11 2013-02-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
JP2012120594A (ja) * 2010-12-06 2012-06-28 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
JP5780129B2 (ja) 2011-11-22 2015-09-16 ソニー株式会社 光ビーム伸長装置、画像表示装置及び光学装置
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
JP5900393B2 (ja) 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
KR101845350B1 (ko) 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
US10438399B2 (en) * 2017-02-10 2019-10-08 Sony Interactive Entertainment LLC Paired local and global user interfaces for an improved augmented reality experience

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1403179A (zh) * 2002-09-25 2003-03-19 威盛电子股份有限公司 虚拟实境阶梯型跑步机
JP2007086716A (ja) * 2005-08-22 2007-04-05 Ricoh Co Ltd 画像表示システム、画像表示方法、符号化方法及び立体表示用印刷物
CN101281535A (zh) * 2007-04-06 2008-10-08 株式会社Ntt都科摩 在虚拟空间内的区域中进行引导的方法以及装置
CN101387908A (zh) * 2007-09-10 2009-03-18 佳能株式会社 信息处理装置及信息处理方法
WO2009054619A3 (en) * 2007-10-22 2009-06-04 Moon Key Lee Augmented reality computer device
JP2015084150A (ja) * 2013-10-25 2015-04-30 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2016014874A1 (en) * 2014-07-25 2016-01-28 Microsoft Technology Licensing, Llc Mouse sharing between a desktop and a virtual world

Also Published As

Publication number Publication date
JP2017181666A (ja) 2017-10-05
CN108885856A (zh) 2018-11-23
JP6736944B2 (ja) 2020-08-05
WO2017169081A1 (ja) 2017-10-05
US20190088021A1 (en) 2019-03-21
US10755482B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
CN108885856B (zh) 信息处理设备、信息处理方法和程序
US11144115B2 (en) Porting physical object into virtual reality
US10534428B2 (en) Image processing device and image processing method, display device and display method, and image display system
US20180077409A1 (en) Method, storage medium, and electronic device for displaying images
US20190294239A1 (en) System and method for utilizing gaze tracking and focal point tracking
ES2930598T3 (es) Re-proyección de imágenes para renderizado foveado
KR20220116150A (ko) 머리 착용 디스플레이(hmd)와 호스트 컴퓨터 사이의 렌더링 분할
US10999412B2 (en) Sharing mediated reality content
US10884576B2 (en) Mediated reality
KR20140034252A (ko) 헤드 마운티드 디스플레이를 위한 tfov 분류 기법
EP3521978B1 (en) Apparatus and method for tracking a focal point in a head mounted display system
US10861181B2 (en) Information processing apparatus and information processing method
JP2010097472A (ja) 表示システム、表示方法およびプログラム
KR20230124075A (ko) 가상 현실에서 공간 인식을 제공하기 위한 시스템 및방법
CN110622110A (zh) 提供沉浸式现实内容的方法和装置
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
CN110895676A (zh) 动态对象跟踪
US20200327867A1 (en) Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
US11262894B2 (en) Information processing device and information processing method
US11422622B2 (en) Electronic device and operating method thereof
CN115698923A (zh) 信息处理装置、信息处理方法和程序
US20200053337A1 (en) Image processor and control method of image processor
EP3340229A1 (en) Information processing apparatus
US20240029363A1 (en) Late stage occlusion based rendering for extended reality (xr)
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant