CN112585673A - 信息处理设备、信息处理方法及程序 - Google Patents

信息处理设备、信息处理方法及程序 Download PDF

Info

Publication number
CN112585673A
CN112585673A CN201980054725.XA CN201980054725A CN112585673A CN 112585673 A CN112585673 A CN 112585673A CN 201980054725 A CN201980054725 A CN 201980054725A CN 112585673 A CN112585673 A CN 112585673A
Authority
CN
China
Prior art keywords
virtual object
information processing
processing apparatus
user
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980054725.XA
Other languages
English (en)
Inventor
石原敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112585673A publication Critical patent/CN112585673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0414—Vertical resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0421—Horizontal resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

信息处理设备1获取用户700的运动信息，基于所获取的运动信息来确定虚拟对象的图像质量(例如，分辨率)，并且基于所确定的图像质量来控制虚拟对象的显示。例如，当用户700转动他/她的头部时，以低分辨率显示虚拟对象。当用户700停止运动时，即，当变化为零时，以更高的分辨率显示虚拟对象。信息处理设备1能够以降低的绘制负荷保持真实的表达。

Description

信息处理设备、信息处理方法及程序
技术领域
本技术涉及信息处理设备、信息处理方法及程序。
背景技术
近年来，随着信息处理技术和显示技术的发展，已经提供了显示具有真实感的视频的技术。这样的技术包括AR(增强现实)技术。AR技术是以叠加在真实世界上的状态向用户呈现附加信息项的技术。通过AR技术呈现给用户的信息项也被称为注释，并且被可视化为具有各种形状的虚拟对象(例如，文本、图标和动画)。
上述AR技术例如通过附接至用户的头部等的头戴式显示器(下文中，称为“HMD”)来实现。具体地，HMD具有当被用户穿戴时位于用户的眼睛前方的显示器，并且在用户的眼睛前方显示上述虚拟对象。这样的HMD包括上述显示器是非透射的的非透射型和上述显示器是透射的的透射型。当显示器是透射的时，上述虚拟对象被实时显示成叠加在由用户视觉识别到的真实空间上。根据AR技术，虚拟对象以上述方式被显示，从而可以使用户感知虚拟对象，仿佛该虚拟对象是存在于真实空间中的真实对象。例如，在下述专利文献1和2中公开了使用这样的透射显示器的HMD。另外，由于HMD被附接至用户的头部等，所以HMD具有紧凑的形状。
引用列表
专利文献
专利文献1：日本公开特许公报第2016-208380号
专利文献2：日本公开特许公报第2016-157458号
发明内容
技术问题
在这样的信息处理设备中，随着以更真实的方式表达对象，绘制负荷提高，并且由于绘制负荷而产生各种问题。
鉴于上述情况，本技术的目的是提供能够在保持真实表达的同时减少绘制负荷的信息处理设备、信息处理方法及程序。
问题的解决方案
为了实现上述目的，根据本技术的实施方式的信息处理设备包括：获取单元，其获取用户的运动信息；确定单元，其基于由获取单元获取的运动信息来确定虚拟对象的图像质量；以及显示控制单元，其基于由确定单元确定的图像质量来控制虚拟对象的显示。
根据本技术的实施方式的信息处理方法包括：获取用户的运动信息；基于所获取的运动信息来确定虚拟对象的图像质量；以及基于所确定的图像质量来控制虚拟对象的显示。
根据本技术的实施方式的程序，使计算机执行如下步骤：获取用户的运动信息；基于所获取的运动信息来确定虚拟对象的图像质量；以及基于所确定的图像质量来控制虚拟对象的显示。
本发明的有益效果
如上所述，根据本技术，可以在保持真实表达的同时减小绘制负荷。注意，这里描述的效果不应以限制的方式解释，并且可以产生本公开内容中描述的任何效果。
附图说明
图1是用于描述根据本公开内容的实施方式的信息处理设备1的示意性配置的视图。
图2是示出根据实施方式的信息处理设备1的详细配置的示例的框图。
图3是用于描述根据实施方式的分辨率确定单元102确定分辨率的操作的概念图。
图4是用于描述根据实施方式的显示控制单元106的尺寸变化操作的概念图。
图5A是示意性地示出用户700正在经由信息处理设备1观看真实空间的状态的示例的平面视图(第1部分)。
图5B是示意性地示出用户700正在经由信息处理设备1观看真实空间的状态的示例的平面图(第2部分)。
图6A是示意性地示出用户700已经经由信息处理设备1观看真实空间的状态(图像)的示例的正视图(第1部分)。
图6B是示意性地示出用户700已经经由信息处理设备1观看真实空间的状态(图像)的示例的正视图(第2部分)。
图7是示出了虚拟对象800在视场600内从图6A所示的状态到图6B所示的状态的相对移动的状态的正视图。
图8是示出根据实施方式的处理流程的流程图。
图9是示出根据本公开内容的实施方式的信息处理设备900的硬件配置的示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的合适的实施方式。
<<根据本公开内容的实施方式的信息处理设备的示意性配置>>
首先，将参照图1描述根据本公开内容的实施方式的信息处理设备的总体概要。图1是用于描述根据本实施方式的信息处理设备1的示意性配置的视图。如图1所示，根据本实施方式的信息处理设备1例如由附接至用户700的头部的眼镜型HMD来实现。也就是说，信息处理设备1是由用户700穿戴的可穿戴设备。与在穿戴时位于用户700的眼睛前方的眼镜镜片部分相对应的显示单元16可以包括：使得能够视觉识别眼镜镜片部分的外部的透射型显示器或使得不能够视觉识别眼镜镜片部分的外部的非透射型显示器。注意，在以下描述中，具有作为透射型显示器的显示单元16的HMD将被称为“智能眼镜”。
根据本实施方式的信息处理设备1能够通过在显示单元16上显示虚拟对象来在用户700的眼睛前方呈现虚拟对象。注意，在以下描述中，虚拟对象表示用户700能够像真实空间中存在的真实对象那样感知的的虚拟对象。另外，在本实施方式中，作为信息处理设备1的示例的HMD不限于相对于用户700的双眼显示虚拟对象的模式，而是可以包括相对于用户700的仅一只眼显示虚拟对象的模式。
将作为示例描述信息处理设备1是智能眼镜的情况。如图1所示，附接至用户700的头部的信息处理设备1具有这样的配置：在该配置中，分别用于右眼和左眼的一对显示单元16A和16B被布置在用户700的眼睛的前方。例如，将透射型显示器用作显示单元16A和16B。通过控制透射型显示器的透射率，信息处理设备1能够使显示器透射，即，使显示器进入透射或半透射状态。另外，由于显示单元16A和16B被制成透射的，所以当用户700像往常穿戴眼镜一样穿戴信息处理设备1时，能够感知周围的真实空间。因此，不会妨碍用户700的日常生活。另外，显示单元16A和16B能够显示图像例如文本和图形，同时保持透射。也就是说，显示单元16A和16B能够将处于叠加在真实空间上的状态下的虚拟对象显示为增强现实(AR)。这样的透射显示器使用例如半反射镜或透射导光板将包括透射光导单元等的虚拟光学系统保持在用户700的眼睛前方，并且在虚拟光学系统内部显示虚拟对象。
注意，当在本实施方式中使用非透射型显示器时，显示单元16可以在显示由信息处理设备1中设置的外向摄像机120(稍后将详细描述)捕获的真实空间的图像的同时，以叠加在真实空间的图像上的状态显示虚拟对象。
另外，在本实施方式中，显示单元16可以被实现为将图像直接投影在用户700的视网膜上的LED(发光二极管)光源等。也就是说，信息处理设备1可以被实现为投影型HMD。
此外，各种内容可以作为虚拟对象显示在显示单元16上。虚拟对象可以包括例如示意性地示出呈现给用户700的信息的标记(例如符号)、地图、示意性地示出真实对象的形状(例如，人、电话和名牌)等。另外，虚拟对象可以包括运动图像内容(例如，电影和视频剪辑)、由数字静态摄像机等捕获的静态图像内容、数字图书等的数据等。也就是说，可以作为虚拟对象显示的内容可以包括能够被显示的任何内容。
信息处理设备1设置有捕获用户700周围的真实空间的图像的外向摄像机120。具体地，外向摄像机120安装在信息处理设备1中，以便在用户700穿戴信息处理设备1的状态下，捕获在由用户700视觉识别的方向上的真实空间的图像作为成像范围。注意，当设置有多个外向摄像机120时，可以根据由外向摄像机120获得的视差的信息获取深度图像(距离图像)。因此，信息处理设备1能够识别周围环境的信息，例如，存在于真实空间中的真实对象的形状和位置关系等。
另外，尽管图1中未示出，但是信息处理设备1可以设置有在被穿戴时捕获用户700的面部表情的图像的内向摄像机122(参见图2)。具体地，内向摄像机122安装在信息处理设备1中，以便在用户700穿戴信息处理设备1的状态下，捕获用户700的面部表情的图像或用户700的双眼的图像作为成像范围。注意，当设置有多个内向摄像机122时，信息处理设备1能够根据由外向摄像机120获得的视差的信息来准确地识别用户700的眼睛的位置、瞳孔的位置、视线的方向和运动等。
此外，尽管图1中未示出，但是信息处理设备1可以设置有各种传感器，例如获取声音的麦克风124(下文中称为“麦克风”)等(参见图2)。另外，尽管在图1中未示出，但是信息处理设备1可以设置有扬声器18(参见图2)。例如，扬声器18可以由与用户700的右耳和左耳对应的一对耳机扬声器来实现。另外，信息处理设备1可以设置有多个像这样的相同类型的传感器。
尽管在图1中未示出，但是信息处理设备1可以设置有用户700用来执行输入操作的按钮、开关等(示出了操作输入单元的示例)。另外，作为用户700对信息处理设备1执行的输入操作，不仅可以使用针对按钮等的操作，而且可以使用各种输入模式例如声音输入、手或头的手势输入、以及视线输入等。注意，可以通过设置在信息处理设备1中的各种传感器来获取通过这些各种输入模式的输入操作。
注意，在本实施方式中，信息处理设备1的形状不限于图1所示的示例。例如，信息处理设备1可以包括头带型HMD或头盔型(例如，头盔的护目镜部分对应于显示器)HMD。也就是说，在本实施方式中，信息处理设备1是用户700可穿戴的可穿戴设备，并且其形状不受特别限制，只要信息处理设备1具有在被穿戴时位于用户700的眼睛前方的显示单元16。注意，上述头带型HMD表示通过环绕用户700的头部的周围的带附接的类型。另外，头带型HMD还包括不仅穿过用户700的头部的颞区而且还穿过头部的顶区的带。
注意，如上所述，将作为示例描述信息处理设备1是具有透射型显示器的被称为智能眼镜的HMD的情况。
<<本公开内容的技术背景>>
以上描述了根据本实施方式的信息处理设备1的总体概要。接下来，将描述信息处理设备1的技术背景。
如上所述，根据本实施方式的信息处理设备1以被叠加在真实空间上的状态显示虚拟对象。此外，随着虚拟对象的分辨率的提高，可以在真实空间中以更真实的方式来表达虚拟对象。
然而，在信息处理设备1中，由于以更真实的方式表达虚拟对象，所以每单位时间的绘制时间变得更长，进而降低了显示帧率。例如，在动画中引起质量降低(例如，丢帧)。特别地，与用户700在保持静止的同时观看虚拟对象的情况相比，虚拟对象被显示成在用户700处于运动的情况下移动、在用户700一般地移动或不停地移动眼睛的情况下移动等。因此，在一些情况下，用户700不会忽视质量降低例如上述的丢帧。
此外，由于在信息处理设备1中以更真实的方式表达虚拟对象，因此请求处理器的大量资源，进而提高了热值。例如，导致使处理器停止的原因，或者用户700会面临提高的灼伤风险。特别地，由于包括如上所述的HMD的信息处理设备1被附接至用户700的头部，因此必须避免灼伤的风险。
另外，由于在信息处理设备1中以更真实的方式表达虚拟对象，因此请求了处理器的大量资源，进而例如提高了每单位时间的功耗并且严重地消耗电池。特别地，由于包括如上所述的HMD等的信息处理设备1被附接至用户700的头部，所以信息处理设备1具有紧凑的形状。为了使信息处理设备1的形状紧凑，装载在信息处理设备1中的电池的容量受到限制。因此，处理器等的性能、所允许的通过处理产生的热值等也受到限制。
因此，鉴于上述技术背景，本发明人已经引导了根据本公开内容的实施方式的信息处理设备1的创建，该信息处理设备1获取用户(用户700)的运动信息，基于所获取的运动信息确定虚拟对象的图像质量，并且基于所确定的图像质量控制虚拟对象的显示。也就是说，注意到与用户700在保持静止的同时观看虚拟对象的情况相比，在用户700处于运动的情况下，视觉识别虚拟对象的一小部分是困难的，但是视觉识别图像质量的降低例如丢帧变得容易，当用户700处于运动时，虚拟对象的图像质量被有意地降低。以这样的方式，当用户700处于运动时，防止了每单位时间的绘制时间变长，由此可以防止显示帧率的降低，以抑制质量降低例如丢帧，并且可以尽可能地避免请求处理器的大量资源的场景或者每单位时间的功耗提高的场景。注意，当图像质量表示分辨率时，绘制负荷通常随着分辨率的降低而降低。因此，当在根据本实施方式的信息处理设备1中基于用户700的运动信息、通过分辨率来控制虚拟对象的显示时，由分辨率引起的问题的程度减轻。
<<实施方式>>
以上描述了本公开内容的技术背景。接下来，将描述本公开内容的实施方式。在本实施方式中，信息处理设备1获取用户的运动信息(例如，用户700的位置或姿势的变化)，基于所获取的运动信息来确定虚拟对象的图像质量(例如，分辨率)，并且基于所确定的图像质量来控制虚拟对象的显示。
例如，穿戴信息处理设备1的用户700观看其中虚拟对象以叠加在真实空间的中心处的状态显示的状态。当用户700在该状态下将他/她的头部向左转动时，虚拟对象在真实空间的右方向上移动。信息处理设备1获取虚拟对象的移动速度作为用户700的位置或姿势的变化，并且基于所获取的变化来确定虚拟对象的分辨率。以该分辨率显示虚拟对象。例如，当用户700转动头部时，以低分辨率显示虚拟对象。另一方面，当用户700处于静止状态时，即，当变化变为零时，以高分辨率显示虚拟对象。另外，以与用户700转动头部的速度相对应的分辨率——即，与变化相对应的分辨率——显示虚拟对象。例如，当变化的速度快时，以低分辨率显示虚拟对象，而当变化的速度慢时，以高分辨率显示虚拟对象。以这种方式，根据本实施方式，信息处理设备1防止了当用户700处于运动时显示帧率的降低以抑制质量的降低例如丢帧，并且尽可能地减少请求处理器的大量资源的场景或者每单位时间的功耗提高的场景。
<根据实施方式的信息处理设备的详细配置>
首先，将参照图2描述根据本实施方式的信息处理设备1的详细配置。图2是示出根据本实施方式的信息处理设备1的详细配置的示例的框图。
如图2所示，信息处理设备1主要具有控制单元10、传感器单元12、存储单元14、显示单元16、扬声器18、通信单元20和操作输入单元22。下文中，将描述信息处理设备1的各个功能单元的细节。
(控制单元10)
控制单元10用作计算处理器和控制器，并且根据各种程序控制信息处理设备1内部的一般操作。控制单元10由微处理器例如CPU和GPU的电子电路实现。另外，控制单元10可以包括存储要使用的程序、计算参数等的ROM(只读存储器)、临时存储根据情况需要而变化的参数的RAM(随机存取存储器)等。例如，控制单元10执行控制，以根据用户700的位置或姿势的变化来动态地改变虚拟对象的显示分辨率等。具体地，如图2所示，根据本实施方式的控制单元10能够用作信息获取单元100、分辨率确定单元102、绘制单元104和显示控制单元106。下面将描述控制单元10的各个块的细节。
信息获取单元100
信息获取单元100能够使用由稍后将描述的传感器单元12检测到的检测结果来获取用户700或用户700周围的各种状态的信息。具体地，信息获取单元100能够包括例如识别用户700的位置、姿势或状态的用户位置和姿势识别引擎、识别用户700的位置的SLAM(同步定位和建图)识别引擎、以及识别用户700周围的真实空间中的深度信息的深度识别引擎。
另外，信息获取单元100能够包括检测用户700的视线的视线识别引擎、识别用户700或用户700周围的环境的声音的声音识别引擎、识别信息处理设备1(用户700)的绝对位置的位置识别引擎等。另外，信息获取单元100可以包括识别真实空间中的真实对象的真实对象识别引擎等。注意，每个识别引擎仅是示例，并且本实施方式不限于识别引擎。
具体地，用户位置和姿势识别引擎使用由传感器单元12检测到的检测结果来识别用户700的头部等的位置或姿势(包括面部相对于身体的方向或倾斜度)。例如，用户位置和姿势识别引擎用作自身位置和姿势估计单元，该自身位置和姿势估计单元使用由作为立体摄像机的外向摄像机120捕获的图像以及由稍后将描述的IMU(惯性测量单元)126获取的陀螺仪信息、加速度信息等来估计用户700的位置或姿势。另外，用户的位置和姿势识别引擎可以使用由稍后将描述的方向传感器获取的方向信息等来识别用户700的姿势等。注意，可以使用通常已知的算法作为用于识别用户700的位置或姿势等的算法，并且在本实施方式中，该算法不特别限于特定的一种。
SLAM识别引擎同时执行对信息处理设备1(用户700)的自身位置的估计和使用由传感器单元12检测到的检测结果生成用户700周围的真实空间的地图，并且识别信息处理设备1在真实空间中的位置。例如，SLAM识别引擎(具体地，视觉SLAM)基于由外向摄像机120捕获的图像来顺序地还原所捕获的真实对象的三维形状。然后，通过将还原结果与外向摄像机120对位置和姿势的检测结果相关联，SLAM识别引擎执行生成用户700周围的真实空间的地图和估计外向摄像机120(用户700)在真实空间中的位置和姿势。注意，例如，也可以基于由设置在传感器单元12中的作为立体摄像机的外向摄像机120捕获的图像以及由各种传感器例如惯性测量单元126检测到的检测结果，估计外向摄像机120的位置和姿势作为指示相对变化的信息。另外，可以使用通常已知的算法作为用于识别SLAM的算法，并且在本实施方式中，该算法不特别限于特定的一种。
深度识别引擎使用由传感器单元12检测到的检测结果来识别用户700周围的真实空间中的深度信息。具体地，使用ToF(飞行时间)系统，深度识别引擎能够基于反射光从真实对象返回的时间的测量结果来识别真实空间中传感器单元12与真实对象之间的距离以及诸如不规则性的关于形状的信息(深度信息)。另外，在将同一真实空间视为来自多个外向摄像机120的不同视点的成像目标的情况下，深度识别引擎可以基于多个捕获图像上真实对象的差异(双眼视差)来识别真实对象在真实空间中的位置和形状。注意，可以将通常已知的算法用作用于识别深度信息的算法，并且在本实施方式中，该算法不特别限于特定的一种。
注意，信息获取单元100还能够进行以下操作：基于上述深度识别引擎的识别结果和SLAM识别引擎的识别结果两者来执行空间识别(空间理解)，并且识别信息处理设备1在用户700周围的三维真实空间中的位置和姿势(HMD或穿戴HMD的用户700的位置和姿势)。
视线识别引擎使用由传感器单元12检测到的检测结果来检测用户700的视线。例如，视线识别引擎分析由内向摄像机122捕获的用户700的眼睛的图像，以识别用户700的视线的方向。注意，在本实施方式中不特别限制用于检测视线的算法，但是可以基于例如眼睛的内角与虹膜之间的位置关系或者角膜处的反射与瞳孔之间的位置关系来识别用户700的视线的方向。
声音识别引擎使用由传感器单元12检测到的检测结果来识别用户700或用户700周围的环境的声音。例如，声音识别引擎能够针对由稍后将描述的麦克风124收集的声音的信息执行噪声降低、声源分离等，并且执行声音识别、形态分析、声源识别、噪声水平识别等。另外，声音识别引擎可以从识别到的声音信息中提取规定的词。
位置识别引擎使用由传感器单元12检测到的检测结果来识别信息处理设备1(用户700)的绝对位置。例如，位置识别引擎能够基于由稍后将描述的位置确定单元132确定的位置信息和预先获取的地图信息来识别信息处理设备1所在的位置(例如，车站、学校和房屋)。
真实对象识别引擎具有基于由外向摄像机120等捕获的图像等来识别真实对象的功能。例如，真实对象识别引擎通过辨识根据外向摄像机120捕获到的图像计算出的真实对象的特征量与预先登记的真实对象的特征量来识别真实对象的类型等。注意，可以通过已知特征量计算技术例如SIFT(尺度不变特征变换)方法和随机蕨(Random Ferns)方法来计算上述特征量。
注意，信息获取单元100可以获取指示信息处理设备1中的处理状态的设备简档(例如，显示处理速度、传感器单元12的检测状态、以及上述各种识别引擎中的识别帧率)。另外，信息获取单元100可以获取在显示虚拟对象的应用中定义的显示位置、显示区域、显示数量以及显示模式(例如，作为虚拟对象显示的内容的类型以及显示的虚拟对象的移动速度)。
分辨率确定单元102
基于由信息获取单元100获取的用户700的自身位置和姿势的信息，分辨率确定单元102计算用户700的位置或姿势的变化(例如，前一帧与当前帧之间的自身位置或姿势的差异、每单位时间的自身位置或姿势的差异，即，变化的速度)。
例如，分辨率确定单元102基于在第一定时处显示的虚拟对象800的第一显示位置与在晚于第一定时的第二定时处显示的虚拟对象800的第二显示位置之间的差异，获取用户700的自身位置和姿势的变化的信息。换句话说，例如，分辨率确定单元102监测显示在显示单元16上的过去显示帧与当前显示帧之间的差异，并且基于监测结果计算用户700的位置或姿势的变化。更具体地，例如，分辨率确定单元102监测显示单元16上显示的前一显示帧中的虚拟对象800与当前显示帧中的虚拟对象800之间的位置差异，例如，当虚拟对象800每单位时间移动时获得的像素值，并且将每单位时间的像素值视为用户700的位置或姿势的变化速度。
注意，在上述示例中，基于虚拟对象800的位置的差异来计算用户700的位置或姿势的变化，但是也可以基于例如显示单元16中可识别的其他对象的位置来计算用户700的位置或姿势的变化。典型地，分辨率确定单元102可以执行以下处理：提取显示单元16上显示的真实空间中的对象，例如，特征对象，并且基于特征对象的位置或姿势的差异来计算用户700的位置或姿势的变化。
另外，使用显示对象的上述计算方法是示例，并且本实施方式不限于该方法。例如，分辨率确定单元102也可以基于由作为立体摄像机的外向摄像机120捕获到的图像和从惯性测量单元126可获取的测量到的加速度的变化，直接计算用户700的位置或姿势的变化。另外，分辨率确定单元102可以基于从上述SLAM(同步定位和建图)识别引擎计算出的自身位置的变化，直接计算用户700的位置或姿势的变化。
另外，当红外传感器安装在传感器单元12中时，分辨率确定单元102可以基于从红外传感器计算出的自身位置的变化来直接计算用户700的位置或姿势的变化。另外，当激光扫描器安装在传感器单元12中时，分辨率确定单元102可以基于从激光测距扫描器计算出的自身位置的变化来直接计算用户700的位置或姿势的变化。注意，本实施方式的信息处理设备1可以通过组合上述各种手段来计算用户700的位置或姿势的变化。
分辨率确定单元102基于计算出的用户700的自身位置或姿势的变化来确定显示单元16的分辨率，即，虚拟对象800在显示单元16上显示的分辨率；向绘制单元104给出以所确定的分辨率执行绘制的指令；并且向显示控制单元106给出以所确定的分辨率执行显示控制的指令。
图3是用于描述根据本实施方式的分辨率确定单元102确定分辨率的操作的概念图。
根据本实施方式的分辨率确定单元102基于用户700的位置或姿势的变化(与前一帧相比时自身位置和/或姿势的差异)，从第一分辨率(1280×720像素)、第二分辨率(960×540像素)和第三分辨率(640×360像素)中确定虚拟对象800的分辨率。分辨率1280×720像素、960×540像素和640×360像素指示显示单元16的坐标上的分辨率，即，屏幕坐标上的分辨率。当用户700处于静止状态时，分辨率确定单元102选择作为高分辨率的第一分辨率(例如，1280×720像素)。当用户700处于运动时，分辨率确定单元102根据用户700的速度，选择作为中分辨率的第二分辨率(例如，960×540像素)，或者选择作为低分辨率的第三分辨率(例如，640×360像素)。注意，不仅对于二维显示，而且对于三维显示，可以以同样的方式控制分辨率。
存储单元14具有阈值表，该阈值表保持针对运动信息的第一阈值和针对运动信息的比第一阈值小的第二阈值，分辨率确定单元102使用第一阈值做出将虚拟对象的分辨率从第一分辨率降低至第二分辨率的确定，分辨率确定单元102使用第二阈值做出将虚拟对象的分辨率从第二分辨率提高至第一分辨率的确定。然后，分辨率确定单元102基于所获取的运动信息与第一阈值和第二阈值之间的比较来确定虚拟对象的分辨率。
具体地，存储单元14的阈值表存储第一阈值α1、第二阈值α2、第三阈值β1和第四阈值β2。分辨率确定单元102通过计算出的用户700的位置或姿势的变化与存储在存储单元14中的阈值(α1、α2、β1以及β2)之间的比较来确定分辨率。
第一阈值α1是用于降低分辨率的阈值，并且用于确定当与前一帧相比时，用户700的位置或姿势在例如指示第一分辨率的1280×720像素的屏幕坐标上的x坐标或y坐标上的变化是否变为每单位时间15像素或大于每单位时间15像素。当前一帧的分辨率是第一分辨率(1280×720像素)并且变化变为15像素或大于15像素时，分辨率确定单元102做出将分辨率从第一分辨率(1280×720像素)降低至第二分辨率(960×540像素)的确定。
第二阈值α2是用于降低分辨率的阈值，并且用于确定当与前一帧相比时，用户700的位置或姿势在例如指示第一坐标的1280×720像素的屏幕坐标上的x坐标或y坐标上的变化是否变为每单位时间30像素或大于每单位时间30像素。在前一帧的分辨率是第一分辨率(1280×720像素)或第二分辨率(960×540像素)并且变化变为30像素或大于30像素时，分辨率确定单元102做出将分辨率从第一分辨率(1280×720像素)或第二分辨率(960×540像素)降低至第三分辨率(640×360像素)的确定。
第三阈值β1是用于降低分辨率的阈值，并且用于确定当与前一帧相比时，用户700的位置或姿势在例如指示第一坐标的1280×720像素的屏幕坐标上的x坐标或y坐标上的变化是否变为小于每单位时间10像素。当前一帧的分辨率是第二分辨率(960×540像素)或第三分辨率(640×360像素)并且变化变为10像素或小于10像素时，分辨率确定单元102做出将分辨率从第二分辨率(960×540像素)或第三分辨率(640×360像素)提高至第一分辨率(1280×720像素)的确定。
第四阈值β2是用于降低分辨率的阈值，并且用于确定当与前一帧相比时，用户700的位置或姿势在例如指示第一坐标的1280×720像素的屏幕坐标上的x坐标或y坐标上的变化是否变为小于每单位时间20像素。当前一帧的分辨率是第三分辨率(640×360像素)并且变化变为20像素或小于20像素时，分辨率确定单元102做出将分辨率从第三分辨率(640×360像素)提高至第二分辨率(960×540像素)的确定。
根据本实施方式的信息处理设备1使用于降低分辨率的分辨率降低阈值(第一阈值α1和第二阈值α2)和用于提高分辨率的分辨率提高阈值(第三阈值β1和第四阈值β2)中的第一阈值α1和第三阈值β1彼此不同，并且使第二阈值α2和第四阈值β2彼此不同。以这种方式，虚拟对象800的分辨率根据用户700的运动频繁变化，并且可以防止用户700产生不适感。
注意，根据本实施方式的信息处理设备1可以使用于提高分辨率的阈值和用于降低分辨率的阈值相同，并且阈值的数量不限于上述示例。另外，分辨率确定单元102通过用户700的位置或姿势的变化与阈值之间的比较来确定分辨率。然而，分辨率确定单元102可以使用例如根据用户700的位置或姿势的变化确定分辨率的计算公式等来确定分辨率。可替选地，分辨率确定单元102可以具有预先示出用户700的位置或姿势的变化与分辨率之间的关系的表，并且根据这些关系来确定分辨率。
另外，分辨率确定单元102根据变化以相同的比率在纵向方向和横向方向上提高和降低第一分辨率、第二分辨率和第三分辨率。然而，分辨率确定单元102可以根据例如用户700在纵向方向上的运动的比率与在横向方向上的运动的比率来改变纵向方向上的分辨率和横向方向上的分辨率的提高比率和降低比率。另外，分辨率确定单元102可以根据变化仅在纵向方向上提高和降低分辨率，或者仅在横向方向上提高和降低分辨率。例如，当根据由传感器单元12检测到的加速度的信息检测到用户700正在行走时，分辨率确定单元102可以仅在纵向方向上降低分辨率。
绘制单元104
绘制单元104具有帧缓冲器，并且基于由分辨率确定单元102指定的分辨率来在帧缓冲器上执行绘制。
显示控制单元106
显示控制单元106基于由分辨率确定单元102指定的分辨率，将上述帧缓冲器的读出区域放大或缩小至显示单元16的尺寸，以控制显示单元16的显示。因此，在显示单元16上显示与由分辨率确定单元102确定的分辨率对应的虚拟对象800。
图4是用于描述显示控制单元106的尺寸变化操作的概念图。图4的左侧示出了绘制单元104在帧缓冲器中绘制图像的状态。例如，图4的左上部示出了以第一分辨率(1280×720像素)绘制图像的状态，并且图4的左下部示出了以第三分辨率(640×360像素)绘制图像的状态。显示控制单元106执行控制以根据显示单元16的装置尺寸显示帧缓冲器的图像。也就是说，分辨率确定单元102执行控制以在显示单元16上显示在帧缓冲器中以相同尺寸绘制的图4的左上部处的第一分辨率(1280×720像素)的图像，并且执行控制以显示在帧缓冲器中以下述尺寸绘制的图4的左下部处第三分辨率(640×360像素)的图像：该尺寸在纵向方向上被放大两倍并且在横向方向上被放大两倍后如图4的右下部所示。
(传感器单元12)
传感器单元12具有获取用户700或用户700周围的环境(真实空间)的各种信息的功能。如图2所示，传感器单元12主要包括例如外向摄像机120、内向摄像机122、麦克风124、惯性测量单元126、红外传感器128、方向传感器130、位置确定单元132和生物传感器134。注意，上述传感器仅作为示例给出，并且本实施方式不限于这些传感器。另外，设置在传感器单元12中的各种传感器中的每一种可以包括多个传感器。以下将描述包括在传感器单元12中的各个传感器的细节。
外向摄像机120和内向摄像机122
如上所述，外向摄像机120捕获用户700周围的真实空间的图像，并且内向摄像机122捕获用户700的面部表情等的图像，并且然后外向摄像机120和内向摄像机122将所捕获的图像输出至上述控制单元10。具体地，外向摄像机120和内向摄像机122具有包括成像透镜、光圈、变焦透镜、聚焦透镜等的透镜系统以及使透镜系统执行聚焦操作或变焦操作的驱动系统。另外，外向摄像机120和内向摄像机122中的每一个具有对由上述透镜系统获得的成像光进行光电转换以生成成像信号的固态成像元件阵列等。注意，固态成像元件阵列可以由例如CCD(Charge Coupled Device，电荷耦合器件)传感器阵列或CMOS(ComplementaryMetal Oxide Semiconductor，互补金属氧化物半导体)传感器阵列来实现。
注意，在本实施方式中，控制单元10可以使用外向摄像机120作为包括一对左右摄像机的立体摄像机，利用立体摄像机测量用户与规定位置之间的距离，并且根据测量结果和由惯性测量单元126测量到的加速度的变化来估计用户的位置或姿势的变化。
麦克风124
麦克风124收集用户700或用户700周围的环境的声音，并将所收集的声音的信息输出至控制单元10。例如，麦克风124收集用户700给出的指令的声音，并将所收集的声音输出至控制单元10。例如，控制单元10能够通过分析从麦克风124输出的声音的信息来识别来自用户700的指令。
惯性测量单元126
惯性测量单元126利用三轴陀螺仪和三轴加速度计计算三维角速度和加速度。由惯性测量单元126检测到的用户700的加速度的时间序列数据之间的比较使得能够计算加速度的变化。控制单元10能够基于加速度的变化来计算用户700的位置或姿势的变化。
红外传感器128
红外传感器128检测红外线。例如，红外线传感器128的时间序列数据之间的比较使得能够估计用户700的位置或姿势的变化。注意，激光测距扫描(未示出)的时间序列数据之间的比较也使得能够估计用户700的位置或姿势的变化。然后，控制单元10能够基于用户700的位置或姿势的变化来计算用户700的位置或姿势的变化。
方向传感器130和位置确定单元132。
方向传感器130例如由三轴地磁传感器(罗盘)实现，并且检测绝对方向(方位)。注意，此处的绝对方向表示真实空间中的世界坐标系(北、南、东和西)中的方向。
位置确定单元132基于从外部获取的信号来检测信息处理设备1(用户700)的绝对位置。注意，此处的绝对位置表示真实空间中的世界坐标系(经度和纬度)中的位置。具体地，位置确定单元132由例如GPS(全球定位系统)确定单元实现，接收来自GPS卫星的电波以检测信息处理设备1(用户700)所在的位置，并且将检测到的位置的信息输出至控制单元10。另外，除了GPS之外，位置确定单元132还可以包括下述单元：所述单元通过利用例如Wi-Fi(无线保真，注册商标)、蓝牙(注册商标)、移动电话、PHS(个人手持电话系统)、智能电话等执行发送/接收、短程通信等来检测位置。控制单元10能够基于例如由方向传感器130检测到的绝对方向和由位置确定单元132检测到的绝对方向来计算用户700的位置或姿势的变化。
生物传感器134
生物传感器134检测用户700的各种生物信息。具体地，生物传感器134直接或间接地附接至例如用户700的身体的一部分，并且包括测量用户700的心率、血压、脑电波、呼吸、出汗、肌电位、皮肤温度、皮肤电阻等的一个传感器或多个传感器。生物传感器134将检测到的生物信息输出至控制单元10。
其他传感器
另外，除了上述传感器之外，根据本实施方式的传感器单元12可以包括检测用户700周围的环境的温度的温度传感器(未示出)、检测用户700周围的环境的亮度的照度传感器(未示出)等。另外，传感器单元12可以包括各种传感器，例如检测用户700周围的环境的大气压力的空气压力传感器(未示出)和检测电波的电波传感器(未示出)。
(存储单元14)
存储单元14存储当上述控制单元10执行各个功能时使用的程序或参数。例如，存储单元14将用于在信息获取单元100、分辨率确定单元102、绘制单元104和显示控制单元106中的处理的识别算法、分辨率确定单元102中使用的阈值等存储在阈值表中。
(显示单元16)
显示单元16由例如使用全息光学技术执行显示的透镜部(透视型显示器的示例)、液晶显示(LCD)单元、OLED(有机发光二极管)单元等实现。
(扬声器18)
扬声器18根据上述控制单元10的控制来再现声音信号等。例如，扬声器18可以由与用户700的右耳和左耳对应的一对耳机扬声器(未示出)来实现。
(通信单元20)
通信单元20是用于以有线/无线方式执行与其他设备的数据发送和数据接收的通信模块。通信单元20能够基于系统例如有线LAN(局域网)、无线LAN、Wi-Fi(注册商标)、红外通信、蓝牙(注册商标)和短程/非接触通信来直接地或经由网络接入点(未示出)与外部设备进行通信。注意，通信单元20可以用作检测电波的电波传感器。
(操作输入单元22)
操作输入单元22由具有诸如开关、按钮和操纵杆的物理结构的操作构件(未示出)来实现。例如，用户700通过对操作输入单元22执行操作而使得对信息处理设备1执行期望的输入。另外，通过操作输入单元22输入的操作的内容可以通过上述显示单元16来显示。
(概述)
上面描述了根据本实施方式的信息处理设备1的配置。然而，根据本实施方式的信息处理设备1的详细配置不限于图2所示的示例。例如，可以通过经由通信单元20连接的云上的服务器(未示出)来执行信息处理设备1的控制单元10的处理中的至少一部分。
<根据实施方式的虚拟对象的显示示例>
上面描述了根据本实施方式的信息处理设备1的详细配置。接下来，将参照图5A和图5B至图7来描述信息处理设备1对虚拟对象的显示示例。
例如，当控制单元10检测到用户700已经改变他/她的位置或姿势时，根据本实施方式的信息处理设备1能够在显示单元16上显示虚拟对象800，同时降低显示单元16的显示分辨率，即，降低虚拟对象800在变化时段期间的的分辨率。信息处理设备1以被叠加在真实空间上的状态显示虚拟对象800。图5A和图5B是示意性地示出用户700正在经由信息处理设备1观看真实空间的状态的示例的平面视图(俯视图)。图5A示出了用户700正在观看第一方向的状态，并且图5B示出了用户700在将他/她的头转向左侧之后正在观看第二方向的状态。在图5A和图5B中，符号600示出了用户700正在经由信息处理设备1观看真实空间的视场的范围。图6A和图6B是示意性地示出了用户700已经经由信息处理设备1观看真实空间的状态(图像)的示例的正视图。图6A对应于图5A，并且图6B对应于图5B。
在图5A和图6A所示的示例中，用户700正在观看虚拟对象800，仿佛该虚拟对象800存在于真实空间中的接近视场600的中心的位置并且离开用户700规定的距离处。然后，当用户700将头部转到左侧并且处于用户700观看第二方向的状态时，用户700观看虚拟对象800，仿佛该虚拟对象800存在于真实空间中的视场600的右侧的位置并且离开用户700规定的距离处。
图7示出了虚拟对象800从用户700正在观看第一方向的状态到用户700观看第二方向的状态的移动——即，虚拟对象800在视场600内从图6A所示的状态到图6B所示的状态的相对移动——的状态。如图7所示，虚拟对象800在视场600内沿着由箭头802指示的方向从位置800A相对移动至位置800B。根据本实施方式的信息处理设备1计算例如虚拟对象800在视场600内的移动速度，以估计用户700转动头部的速度，即用户700的位置或姿势的变化。
当用户700处于静止状态时，根据本实施方式的信息处理设备1以最大分辨率(例如，1280×720像素)在显示单元16上显示虚拟对象800。当用户处于运动中时，即，当用户正在转动头部时，信息处理设备1以比静止状态下的分辨率低的分辨率(第二分辨率(960×540像素)或第三分辨率(640×360像素))在显示单元16上显示虚拟对象800。图6A、图6B和图7中的虚拟对象800中绘制的斜线的密度示出了分辨率的水平。
然后，信息处理设备1例如取决于用户700转动头部的速度是低还是高来改变分辨率的程度。在速度低时，信息处理设备1以例如960×540像素的分辨率显示虚拟对象800。当变化的速度高时，信息处理设备1例如以640×360像素的分辨率显示虚拟对象800。
注意，信息处理设备1估计用户700转动头部的速度，即，在上述示例中估计用户700他/她自身的姿势的变化。然而，信息处理设备1还能够类似地估计虚拟对象800离开或靠近用户700的速度、或者在视场600内向右侧和左侧移动的速度等，即，用户700他/她自身的位置的变化。另外，信息处理设备1还能够类似地估计用户700的位置的变化和用户700的姿势的变化两者。在本实施方式中，这些变化将被统称为运动信息。
根据本实施方式的信息处理设备1基于在第一定时处显示的虚拟对象800的第一位置与在晚于第一定时的第二定时(例如，在第一显示帧之后的定时)处显示的虚拟对象800的第二位置之间的差异来估计用户700的运动信息。
注意，信息处理设备1可以以帧为单位估计用户700的运动信息，但是也可以以时间为单位或以其他单位估计用户700的运动信息。
另外，这样的帧单位、时间等可以被配置成根据信息处理设备1的电池量、热生成温度等而动态地改变。此外，信息处理设备1可以被配置成能够在用户700例如处于运动时在观看虚拟对象800的同时任意地设置帧单位或时间。
如上所述，根据本实施方式的信息处理设备1基于估计的运动信息来确定显示单元16的分辨率，即虚拟对象800的分辨率，并在显示单元16上显示虚拟对象800，即，以被叠加在真实空间上的状态显示虚拟对象800。
<根据实施方式的信息处理方法>
上面描述了根据本实施方式的虚拟对象800的显示示例。接下来，将参照图8描述根据本实施方式的信息处理方法。图8是示出根据本实施方式的处理流程的流程图。如图8所示，根据本实施方式的信息处理方法包括步骤S100至步骤S109的多个步骤。下面将描述根据本实施方式的方法中包括的各个步骤的细节。注意，信息处理设备1针对所显示的虚拟对象800的每个显示帧执行以下流程(从步骤102到步骤116)，并且每当显示帧变化时重复执行该流程。
(步骤S100)
分辨率确定单元102从存储在存储单元14中的阈值表读取第一阈值α1、第二阈值α2、第三阈值β1和第四阈值β2。
(步骤S102)
信息获取单元100根据从传感器单元12的作为立体摄像机的外向摄像机120和稍后将描述的惯性测量单元(IMU)126获取的数据来计算和估计用户700的自身位置和姿势。在例如根据外向摄像机120的图像数据识别真实世界之后，能够根据作为立体摄像机的外向摄像机120的测距结果和惯性测量单元(IMU)126的测量结果来计算自身位置和姿势。
另外，信息获取单元100计算从用户700到虚拟对象800的显示位置的显示距离和方向(用户700的姿势)。能够基于例如由显示虚拟对象800的应用预先定义的显示位置以及从上述外向摄像机120和惯性测量单元(IMU)126获取的信息处理设备1(用户700)的自身位置和姿势的信息来计算虚拟对象800的显示距离和方向。
注意，基于如上所述计算的用户700的自身位置和姿势以及从用户700到虚拟对象800的显示位置的显示距离和方向，在显示单元16上显示虚拟对象800。
(步骤104)
分辨率确定单元102确定在步骤S102中计算的用户700的自身位置和姿势与前一帧的差异——即，用户700的自身位置和姿势的变化——是否超过在步骤S100中读取的分辨率降低阈值(α1和α2)。当自身位置和姿势与前一帧的差异超过分辨率降低阈值(α1和α2)时，处理进行至步骤S108。否则，处理进行至步骤S106。
(步骤S106)
分辨率确定单元102确定在步骤S102中计算的用户700的自身位置和姿势与前一帧的差异——即，用户700的自身位置和姿势的变化——是否小于在步骤S100中读取的分辨率提高阈值(β1和β2)。当自身位置和姿势与前一帧的差异小于分辨率提高阈值(β1和β2)时，处理进行至步骤S110。否则，处理进行至步骤S116。
(步骤108)
当前一帧的分辨率是第一分辨率(1280×720像素)并且自身位置和姿势与前一帧的差异超过分辨率降低阈值α1时，分辨率确定单元102做出将分辨率从第一分辨率(1280×720像素)降低至第二分辨率(960×540像素)的确定。当前一帧的分辨率是第一分辨率(1280×720像素)或第二分辨率(960×540像素)并且自身位置和姿势与前一帧的的差异超过分辨率降低阈值α2时，分辨率确定单元102做出将分辨率从第一分辨率(1280×720像素)或第二分辨率(960×540像素)降低至第三分辨率(640×360像素)的确定。然后，处理进行到步骤112。
(步骤110)
当前一帧的分辨率是第二分辨率(960×540像素)或第三分辨率(640×360像素)并且自身位置和姿势与前一帧的差异小于分辨率提高阈值β1时，分辨率确定单元102做出将分辨率从第二分辨率(960×540像素)或第三分辨率(640×360像素)提高至第一分辨率(1280×720像素)的确定。当前一帧的分辨率是第三分辨率(640×360像素)并且自身位置和姿势与前一帧的差异超过分辨率提高阈值β2时，分辨率确定单元102做出将分辨率从第三分辨率(640×360像素)提高至第二分辨率(960×540像素)的确定。然后，处理进行至步骤112。
(步骤112、步骤114和步骤116)
分辨率确定单元102向绘制单元104和显示控制单元106通知在步骤108或步骤110中确定的分辨率。绘制单元104基于由分辨率确定单元102指定的分辨率在帧缓冲器上执行绘制。显示控制单元106基于由分辨率确定单元102指定的分辨率来将帧缓冲器的读出区域放大或缩小至显示单元16的尺寸，并控制显示单元16的显示。
因此，将与分辨率确定单元102确定的分辨率相对应的虚拟对象800显示在显示单元16上。
注意，尽管如上所述，信息处理设备1针对所显示的虚拟对象800的每个显示帧执行上述流程(从步骤102到步骤116)，并且每当显示帧变化时重复执行该流程。
<<结论>>
在这样的信息处理设备中，随着以更真实的方式表达对象，绘制负荷提高。因此，当以更真实的方式表达对象时，每单位时间的绘制时间变得更长，进而降低了帧率。例如，在动画中引起质量降低(例如，丢帧)。此外，当以更真实的方式表达对象时，请求处理器的大量资源，进而提高了热值。例如，处理器停止，或者用户会面临提高的灼伤风险。另外，请求了处理器的大量资源，进而提高了每单位时间的功耗并且严重地消耗电池。
根据本实施方式的信息处理设备1关注以下事实：与用户700在处于静止状态的同时正在观看虚拟对象800的情况相比，在用户700处于运动的情况下(例如，在用户700正在跑步的情况下、在用户700正在转动头部的情况下等)，用户700不能视觉地识别虚拟对象800的细节。因此，信息处理设备1在用户700处于运动时降低虚拟对象800的分辨率，根据用户700处于运动时的速度扩大虚拟对象800的分辨率的降低范围，并且降低绘制负荷。因此，信息处理设备1在保持针对用户700的真实表达的同时降低了绘制负荷，并且减轻了由绘制负荷引起的问题的程度。因此，信息处理设备1能够缩短每单位时间的绘制时间、防止帧率的降低、降低处理器的热值以减小处理器的停止或灼伤风险、以及降低每单位时间的功耗以抑制电池的消耗。
实际上，当针对用户在静止状态下观看虚拟对象的情况和用户在行走的同时观看相同虚拟对象的情况中的每一种情况降低虚拟对象的分辨率时，可以通过仔细地观看静止状态下的虚拟对象来确认用户了解绘制质量的差异，但是难以在行走的同时了解绘制质量的差异。换句话说，可以说，即使分辨率降低，也保持了真实的表达。
另外，实际上，当在信息处理设备1中随着帧缓冲器的分辨率降低而降低片段着色器(Fragment Shader)的处理时间时，片段着色器的处理时间随着分辨率的降低而缩短。然而，分辨率的降低在规定的处理时间(例如，在约10ms)处完全停止。这是因为存在与分辨率无关的耗时处理例如State Chang和glClear。因此，根据本实施方式的信息处理设备1可以将阈值设置为分辨率的下限。例如，阈值可以是分辨率的值，通过该分辨率，即使分辨率降低，用于规定的图像处理的处理时间(例如，片段着色器的处理时间)也不会减少。
注意，在本公开内容中，除了虚拟对象的分辨率之外，被改变的虚拟对象的图像质量的示例还可以包括虚拟对象的纹理(虚拟对象的触感)、显示浓度、透明度、亮度和颜色数量。
<<其他实施方式>>
本公开内容不限于上述实施方式，而是可以实现各种其他实施方式。
例如，在图1和图2所示的信息处理设备1中，存储单元14可以具有虚拟对象保持表，该虚拟对象保持表预先保持表示相同图像并且各自具有不同图像质量的多个虚拟对象，分辨率确定单元102可以基于所估计的运动信息来选择保持在虚拟对象保持表中的多个虚拟对象之一，并且显示控制单元106可以控制对由分辨率确定单元102所选择的虚拟对象的显示。
此处，虚拟对象保持表预先保持例如通过对原始虚拟对象(例如，具有最大分辨率的虚拟对象)进行Mip映射而获得的Mip映射图。另外，虚拟对象保持表可以预先保持例如从原始虚拟对象(例如，具有最大分辨率的虚拟对象)生成的多种类型的压缩纹理图像。另外，虚拟对象保持表可以预先保持例如上述Mip映射图、多种类型的压缩纹理图像等，并且根据例如虚拟对象的规定属性选择性地使用它们。
在根据本实施方式的信息处理设备1中，基于由分辨率确定单元102指定的分辨率来在帧缓冲器上执行绘制的绘制单元104变得不必要。显示控制单元106仅需要控制由分辨率确定单元102所选择的虚拟对象的显示。因此，本实施方式使得能够进一步减小绘制负荷。
以上描述例示了其中根据本公开内容的技术被应用于具有透射显示器的智能眼镜的情况。然而，该技术不限于本公开内容的实施方式中的情况。例如，该技术能够应用于例如具有非透射型显示器的HMD、VR(虚拟现实)、信息处理设备例如智能电话。在智能电话的情况下，根据本公开内容的技术能够应用于例如导航的应用。例如，智能电话可以检测其运动信息，并且仅需要基于运动信息来控制虚拟对象在导航地图上的分辨率。
另外，上述实施方式例示了HMD独立操作的情况。然而，HMD和智能电话可以彼此协作以实现根据本公开内容的技术。例如，HMD可以具有透射显示单元，并且以有线或无线方式连接至HMD的智能电话的控制单元可以检测用户的位置或姿势的变化，并且还执行分辨率的确定等。
<<硬件配置的示例>>
图9是示出根据本公开内容的实施方式的信息处理设备900的硬件配置的示例的框图。在图9中，信息处理设备900示出了上述信息处理设备1的硬件配置的示例。
信息处理设备900例如具有CPU 950、ROM 952、RAM 954、记录介质956、输入/输出接口958和操作输入装置960。另外，信息处理设备900具有显示装置962、声音输出装置964、通信接口968和传感器980。另外，信息处理设备900通过例如用作数据传输路径的总线970将各个构成元件彼此连接。
(CPU 950)
CPU 950包括例如一个或更多个处理器，该一个或更多个处理器包括计算电路例如CPU和GPU、各种处理电路等，并且CPU 950用作控制整个信息处理设备900的控制单元(例如，上述控制单元10)。具体地，CPU950实现例如信息处理设备900中的上述信息获取单元100、信息获取单元100、分辨率确定单元102、绘制单元104、显示控制单元106等的功能。
(ROM 952和RAM 954)
ROM 952存储由CPU 950所使用的控制数据例如程序和计算参数。RAM 954临时存储例如由CPU 950执行的程序等。
(记录介质956)
记录介质956用作上述存储单元14，并且存储例如各种数据，例如，与根据本实施方式的信息处理方法和各种应用有关的数据。此处，记录介质956的示例包括磁记录介质如硬盘和非易失性存储器如闪速存储器。另外，记录介质956可以是可附接至信息处理设备900并且可从信息处理设备100拆卸的。
(输入/输出接口958、操作输入装置960、显示装置962、声音输出装置964)
输入/输出接口958连接例如操作输入装置960、显示装置962等。输入/输出接口958的示例包括USB(通用串行总线)端子、DVI(数字视频接口)端子、HDMI(高清晰度多媒体接口)(注册商标)端子以及各种处理电路。
操作输入装置960连接至信息处理设备900内部的输入/输出接口958。
显示装置962用作例如上述的显示单元16，设置在信息处理设备900中，并且连接至信息处理设备900内部的输入/输出接口958。显示装置962的示例包括液晶显示器和有机EL显示器(有机电致发光显示器)。
声音输出装置964用作例如上述的扬声器18，设置在例如信息处理设备900中，并且连接至信息处理设备900内部的输入/输出接口958。
注意，输入/输出接口958当然可连接至诸如信息处理设备900外部的操作输入装置(例如，键盘、鼠标等)的外部装置和外部显示装置。
另外，输入/输出接口958可以连接至驱动器(未示出)。驱动器是用于诸如磁盘、光盘和半导体存储器并且被包括在信息处理设备900中或从外部附接至信息处理设备900的可移动记录介质的读取器/写入器。驱动器读取记录在所附接的可移动记录介质上的信息，并将所读取的信息输出至RAM954。另外，驱动器能够将信息写入至所附接的可移动记录介质中。
(通信接口968)
通信接口968用作通信单元20，用于经由例如通信网络(未示出)(或直接地)以有线或无线方式与其他外部设备进行通信。此处，通信接口968的示例包括通信天线和RF(射频)电路(无线通信)、IEEE 802.15.1端口和发送及接收电路(无线通信)、IEEE 802.11端口和发送及接收电路(无线通信)、以及LAN(局域网)端子和发送及接收电路(有线通信)。
(传感器980)
传感器980用作上述的传感器单元12。另外，传感器980可以包括各种传感器例如照度传感器。
上面描述了信息处理设备900的硬件配置的示例。注意，信息处理设备900的硬件配置不限于图9所示的配置。具体地，上述各个构成元件可以包括通用构件，或者可以包括专用于各个构成元件的功能的硬件。可以根据信息处理设备900的操作中的临时技术水平来适当地改变这样的配置。
例如，当经由连接的外部通信装置与外部设备等执行通信时或者当单独执行处理时，信息处理设备900可以不包括通信接口968。另外，通信接口968可以具有能够基于多个通信系统与一个或更多个外部设备执行通信的配置。另外，信息处理设备900能够具有例如不包括记录介质956、操作输入装置960等的配置。
另外，根据本实施方式的信息处理设备900可以应用于包括假定连接至网络(或在各个设备之间的通信)的多个设备(例如，云计算)的系统。也就是说，上述根据本实施方式的信息处理设备900能够实现为例如利用多个设备执行与根据本实施方式的信息处理方法相关的处理的信息处理系统。
<<补充说明>>
另外，上述实施方式可以包括例如用于使计算机用作根据本实施方式的信息处理设备的程序和其上记录有该程序的非暂态有形介质。另外，可以经由通信线路(也包括无线通信)例如因特网分发程序。
另外，上述各实施方式的处理中的各步骤可以不必以本文描述的顺序执行。例如，可以以适当改变的顺序执行各个步骤。另外，各个步骤可以部分并行地执行，或者可以单独地执行而不是以时间序列执行。另外，各个步骤可以不必根据本文中描述的方法来执行，而是可以根据其他方法通过例如其他功能块来执行。
上面已经参照附图详细说明了本公开内容的适当的实施方式，但是本公开内容的技术范围并不限于这样的示例。显然，在本公开内容的技术领域中具有普通知识的人员可以在权利要求中描述的技术精神的范围内构思各种修改示例，并且应当理解，这样的修改示例当然属于本公开内容的技术范围。
另外，本说明书中描述的效果仅用于说明或示例，而不应以限制的方式解释。也就是说，与上述效果一起或替代上述效果，根据本说明书的描述，根据本公开内容的技术可以产生对于本领域技术人员而言明显的其他效果。
注意，以下配置也属于本公开内容的技术范围。
(1)一种信息处理设备，包括：
获取单元，其获取用户的运动信息；
确定单元，其基于由获取单元获取的运动信息来确定虚拟对象的图像质量；以及
显示控制单元，其基于由确定单元确定的图像质量来控制虚拟对象的显示。
(2)根据(1)的信息处理设备，其中，
获取单元将虚拟对象的显示位置的变化作为用户的运动信息来获取。
(3)根据(2)的信息处理设备，其中，
获取单元基于在第一定时处显示的虚拟对象的第一显示位置与在晚于第一定时的第二定时处显示的虚拟对象的第二显示位置之间的差异来获取用户的运动信息。
(4)根据(1)的信息处理设备，其中，
获取单元基于测量到的用户的位置信息或姿势信息来获取用户的运动信息。
(5)根据(1)至(4)中任一项的信息处理设备，其中，
确定单元基于运动信息确定作为虚拟对象的图像质量的虚拟对象的分辨率。
(6)根据(1)至(5)中任一项的信息处理设备，其中，
确定单元基于运动信息确定作为虚拟对象的图像质量的虚拟对象的纹理、显示浓度、透明度、亮度或颜色数量。
(7)根据(5)的信息处理设备，还包括：
绘制单元，其基于由确定单元确定的虚拟对象的分辨率来在帧缓冲器上执行绘制，其中，
显示控制单元基于由确定单元确定的分辨率来控制绘制在帧缓冲器上的虚拟对象的显示尺寸。
(8)根据(5)或(7)的信息处理设备，其中，
确定单元基于由获取单元获取的运动信息来确定虚拟对象的纵向分辨率或横向分辨率。
(9)根据(1)至(4)中任一项的信息处理设备，还包括：
虚拟对象保持表，其预先保持表示相同图像并且各自具有不同图像质量的多个虚拟对象，其中，
确定单元基于由获取单元获取的运动信息来从保持在虚拟对象保持表中的多个虚拟对象中选择一个虚拟对象，以及
显示控制单元控制由确定单元选择的虚拟对象的显示。
(10)根据(9)的信息处理设备，其中，
虚拟对象保持表预先保持通过对虚拟对象进行Mip映射而获得的Mip映射图。
(11)根据(8)或(9)的信息处理设备，其中，
虚拟对象表预先保持根据虚拟对象生成的多种类型的压缩纹理图像。
(12)根据(1)至(11)中任一项的信息处理设备，还包括：
阈值表，其保持针对运动信息的第一阈值和小于第一阈值的针对运动信息的第二阈值，确定单元使用第一阈值做出将虚拟对象的图像质量从第一图像质量降低至第二图像质量的确定，确定单元使用第二阈值做出将虚拟对象的图像质量从第二图像质量提高至第一图像质量的确定，其中，
确定单元基于由获取单元获取的运动信息与第一阈值和第二阈值之间的比较来确定虚拟对象的图像质量。
(13)根据(1)至(12)中任一项的信息处理设备，还包括：
透射型显示单元，其显示由显示控制单元控制显示的虚拟对象。
(14)根据(1)至(12)中任一项的信息处理设备，还包括：
非透射型显示单元，其将由显示控制单元控制显示的虚拟对象以叠加在其他图像上的状态来显示。
(15)根据(1)中任一项的信息处理设备，其中，
获取单元基于HMD(头戴式显示器)中包括的传感器的输出数据来获取HMD的运动的信息，以作为用户的运动信息，并且
显示控制单元控制虚拟对象在HMD中包括的显示单元上的显示。
(16)一种信息处理方法，包括：
获取用户的运动信息；
基于所获取的运动信息来确定虚拟对象的图像质量；以及
基于所确定的图像质量来控制虚拟对象的显示。
(17)一种程序，使计算机执行如下步骤：
获取用户的运动信息的步骤；
基于所获取的运动信息来确定虚拟对象的图像质量的步骤；以及
基于所确定的图像质量来控制虚拟对象的显示的步骤。
注意，还可以将上述各个实施方式的特征部分中的至少两个特征部分组合在一起。
附图标记列表
1 信息处理设备
10 控制单元
12 外向摄像机
12 传感器单元
14 存储单元
16 显示单元
100 信息获取单元
100 步骤
102 分辨率确定单元
104 绘制单元
106 显示控制单元
120 外向摄像机
126 惯性测量单元
128 红外传感器
700 用户
800 虚拟对象
900 信息处理设备
S100 步骤
S102 步骤
S109 步骤
α1 第一阈值(分辨率降低阈值)
α2 第二阈值(分辨率降低阈值)
β1 第三阈值(分辨率提高阈值)
β2 第四阈值(分辨率提高阈值)

Claims (17)

1.一种信息处理设备，包括：
获取单元，其获取用户的运动信息；
确定单元，其基于由所述获取单元获取的所述运动信息来确定虚拟对象的图像质量；以及
显示控制单元，其基于由所述确定单元确定的图像质量来控制所述虚拟对象的显示。
2.根据权利要求1所述的信息处理设备，其中，
所述获取单元将所述虚拟对象的显示位置的变化作为所述用户的运动信息来获取。
3.根据权利要求2所述的信息处理设备，其中，
所述获取单元基于在第一定时处显示的所述虚拟对象的第一显示位置与在晚于所述第一定时的第二定时处显示的所述虚拟对象的第二显示位置之间的差异来获取所述用户的运动信息。
4.根据权利要求1所述的信息处理设备，其中，
所述获取单元基于测量到的所述用户的位置信息或姿势信息来获取所述用户的运动信息。
5.根据权利要求1所述的信息处理设备，其中，
所述确定单元基于所述运动信息确定作为所述虚拟对象的图像质量的所述虚拟对象的分辨率。
6.根据权利要求1所述的信息处理设备，其中，
所述确定单元基于所述运动信息确定作为所述虚拟对象的图像质量的所述虚拟对象的纹理、显示浓度、透明度、亮度或颜色数量。
7.根据权利要求5所述的信息处理设备，还包括：
绘制单元，其基于由所述确定单元确定的所述虚拟对象的分辨率来在帧缓冲器上执行绘制，其中，
所述显示控制单元基于由所述确定单元确定的分辨率来控制绘制在所述帧缓冲器上的所述虚拟对象的显示尺寸。
8.根据权利要求5所述的信息处理设备，其中，
所述确定单元基于由所述获取单元获取的所述运动信息来确定所述虚拟对象的纵向分辨率或横向分辨率。
9.根据权利要求1所述的信息处理设备，还包括：
虚拟对象保持表，其预先保持表示相同图像并且各自具有不同图像质量的多个所述虚拟对象，其中，
所述确定单元基于由所述获取单元获取的所述运动信息来从保持在所述虚拟对象保持表中的多个所述虚拟对象中选择一个虚拟对象，以及
所述显示控制单元控制由所述确定单元选择的所述虚拟对象的显示。
10.根据权利要求9所述的信息处理设备，其中，
所述虚拟对象保持表预先保持通过对所述虚拟对象进行Mip映射而获得的Mip映射图。
11.根据权利要求9所述的信息处理设备，其中，
所述虚拟对象表预先保持根据所述虚拟对象生成的多种类型的压缩纹理图像。
12.根据权利要求1所述的信息处理设备，还包括：
阈值表，其保持针对所述运动信息的第一阈值和小于所述第一阈值的针对所述运动信息的第二阈值，所述确定单元使用所述第一阈值做出将所述虚拟对象的图像质量从第一图像质量降低至第二图像质量的确定，所述确定单元使用所述第二阈值做出将所述虚拟对象的图像质量从所述第二图像质量提高至所述第一图像质量的确定，其中，
所述确定单元基于由所述获取单元获取的所述运动信息与所述第一阈值和所述第二阈值之间的比较来确定所述虚拟对象的图像质量。
13.根据权利要求1所述的信息处理设备，还包括：
透射型显示单元，其显示由所述显示控制单元控制显示的所述虚拟对象。
14.根据权利要求1所述的信息处理设备，还包括：
非透射型显示单元，其将由所述显示控制单元控制显示的所述虚拟对象以叠加在其他图像上的状态来显示。
15.根据权利要求1所述的信息处理设备，其中，
所述获取单元基于HMD(头戴式显示器)中包括的传感器的输出数据来获取所述HMD的运动的信息，以作为所述用户的运动信息，并且
所述显示控制单元控制所述虚拟对象在所述HMD中包括的显示单元上的显示。
16.一种信息处理方法，包括：
获取用户的运动信息；
基于所获取的运动信息来确定虚拟对象的图像质量；以及
基于所确定的图像质量来控制所述虚拟对象的显示。
17.一种程序，使计算机执行如下步骤：
获取用户的运动信息的步骤；
基于所获取的运动信息来确定虚拟对象的图像质量的步骤；以及
基于所确定的图像质量来控制所述虚拟对象的显示的步骤。
CN201980054725.XA 2018-08-29 2019-07-30 信息处理设备、信息处理方法及程序 Pending CN112585673A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-160161 2018-08-29
JP2018160161 2018-08-29
PCT/JP2019/029783 WO2020044916A1 (ja) 2018-08-29 2019-07-30 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN112585673A true CN112585673A (zh) 2021-03-30

Family

ID=69642694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054725.XA Pending CN112585673A (zh) 2018-08-29 2019-07-30 信息处理设备、信息处理方法及程序

Country Status (5)

Country Link
US (1) US11726320B2 (zh)
EP (1) EP3846161A4 (zh)
JP (1) JP7400721B2 (zh)
CN (1) CN112585673A (zh)
WO (1) WO2020044916A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6716004B1 (ja) * 2019-09-30 2020-07-01 株式会社バーチャルキャスト 記録装置、再生装置、システム、記録方法、再生方法、記録プログラム、再生プログラム
CN113706720A (zh) * 2021-09-06 2021-11-26 联想(北京)有限公司 图像显示方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275797A (ja) * 2004-03-24 2005-10-06 Namco Ltd プログラム、情報記憶媒体、及び画像生成システム
US8817047B1 (en) * 2013-09-02 2014-08-26 Lg Electronics Inc. Portable device and method of controlling therefor
JP2015114905A (ja) * 2013-12-12 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN108351691A (zh) * 2015-10-26 2018-07-31 微软技术许可有限责任公司 用于虚拟图像的远程渲染
US20180240220A1 (en) * 2015-09-16 2018-08-23 Sony Corporation Information processing apparatus, information processing method, and program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3403143B2 (ja) * 1999-03-26 2003-05-06 キヤノン株式会社 画像処理方法、その装置および記憶媒体
JP2011091789A (ja) 2009-09-24 2011-05-06 Brother Industries Ltd ヘッドマウントディスプレイ
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
KR102271198B1 (ko) * 2013-03-15 2021-06-29 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
WO2015145541A1 (ja) * 2014-03-24 2015-10-01 日立マクセル株式会社 映像表示装置
JP6646361B2 (ja) 2015-04-27 2020-02-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
CA3002339C (en) 2015-10-17 2024-02-06 Arivis Ag Direct volume rendering in virtual and/or augmented reality
JP6310898B2 (ja) 2015-11-17 2018-04-11 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、情報処理装置、および画像処理方法
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US10078218B2 (en) * 2016-01-01 2018-09-18 Oculus Vr, Llc Non-overlapped stereo imaging for virtual reality headset tracking
JP6092437B1 (ja) * 2016-02-02 2017-03-08 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
JP2016157458A (ja) 2016-03-31 2016-09-01 ソニー株式会社 情報処理装置
GB2553744B (en) * 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
DE202017104928U1 (de) * 2016-08-23 2017-11-24 Google Inc. Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen
IL274038B1 (en) * 2017-10-27 2024-03-01 Magic Leap Inc A virtual network for augmented reality systems
US20190130631A1 (en) * 2017-11-01 2019-05-02 Tsunami VR, Inc. Systems and methods for determining how to render a virtual object based on one or more conditions
JP7059662B2 (ja) * 2018-02-02 2022-04-26 トヨタ自動車株式会社 遠隔操作システム、及びその通信方法
EP3765943A4 (en) * 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275797A (ja) * 2004-03-24 2005-10-06 Namco Ltd プログラム、情報記憶媒体、及び画像生成システム
US8817047B1 (en) * 2013-09-02 2014-08-26 Lg Electronics Inc. Portable device and method of controlling therefor
JP2015114905A (ja) * 2013-12-12 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20180240220A1 (en) * 2015-09-16 2018-08-23 Sony Corporation Information processing apparatus, information processing method, and program
CN108351691A (zh) * 2015-10-26 2018-07-31 微软技术许可有限责任公司 用于虚拟图像的远程渲染

Also Published As

Publication number Publication date
US20210271075A1 (en) 2021-09-02
EP3846161A4 (en) 2021-10-20
US11726320B2 (en) 2023-08-15
JP7400721B2 (ja) 2023-12-19
JPWO2020044916A1 (ja) 2021-09-24
WO2020044916A1 (ja) 2020-03-05
EP3846161A1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN111602140B (zh) 分析由头戴式设备的相机记录的图像中的对象的方法
CN110908503B (zh) 跟踪设备的位置的方法
CN108027652B (zh) 信息处理设备、信息处理方法以及记录介质
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
US11244496B2 (en) Information processing device and information processing method
CA2913650A1 (en) Virtual object orientation and visualization
CN111095364A (zh) 信息处理装置、信息处理方法和程序
CN115735178A (zh) 具有对话气泡和翻译的增强现实眼戴器
CN114531951A (zh) 自动视频捕捉和合成系统
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20160189341A1 (en) Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear
US10409464B2 (en) Providing a context related view with a wearable apparatus
CN109685881B (zh) 一种体绘制方法、装置及智能设备
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities
US20230334676A1 (en) Adjusting Display of an Image based on Device Position
US20240104766A1 (en) Method and Device for Generating Metadata Estimations based on Metadata Subdivisions
CN116325711A (zh) 具有基于环境确定收件人以自动发送图像的图像捕获眼戴器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination