CN111902859A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN111902859A
CN111902859A CN201980021161.XA CN201980021161A CN111902859A CN 111902859 A CN111902859 A CN 111902859A CN 201980021161 A CN201980021161 A CN 201980021161A CN 111902859 A CN111902859 A CN 111902859A
Authority
CN
China
Prior art keywords
virtual image
rendering
frequency
rendering frequency
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980021161.XA
Other languages
English (en)
Other versions
CN111902859B (zh
Inventor
石原敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111902859A publication Critical patent/CN111902859A/zh
Application granted granted Critical
Publication of CN111902859B publication Critical patent/CN111902859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明使得可以基于与真实空间相关的感测结果来改进虚拟图像的渲染或显示的质量。本发明提供了信息处理装置，该信息处理装置包括：渲染控制单元，其被配置成基于与真实空间相关的感测结果将虚拟图像的渲染频率在第一渲染频率与高于第一渲染频率的第二渲染频率之间进行切换；以及显示控制单元，其被配置成使显示装置基于第一渲染频率和第二渲染频率中的一个以及感测结果来显示虚拟图像。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
近年来，随着信息处理技术的进步，诸如虚拟现实(VR)和增强现实(AR)之类的显示虚拟图像的技术已经被用于各种装置、系统和服务中。
例如，专利文献1公开了一种技术，该技术使得能够通过根据例如用户与虚拟图像之间的距离或者用户在虚拟空间中的移动速度来改变附有虚拟图像的风景的更新频率，从而将渲染范围的远距离限制(distant limit)设置为尽可能远的限制。
引用列表
专利文献
专利文献1：JP 2013-214162 A
发明内容
技术问题
在包括专利文献1的现有技术中，没有充分考虑基于与真实空间相关的感测结果来渲染虚拟图像。因此，在虚拟图像的渲染或显示的质量方面存在改进空间。
鉴于以上情况做出了本公开内容，并且本公开内容提供了使得能够基于与真实空间相关的感测结果来改进图像的渲染或显示的质量的新的和改进的信息处理装置，新的和改进的信息处理方法以及新的和改进的程序。
问题的解决方案
根据本公开内容，提供了一种信息处理装置，该信息处理装置包括：渲染控制单元和显示控制单元。该渲染控制单元基于与真实空间相关的感测结果将虚拟图像的渲染频率在第一渲染频率与高于第一渲染频率的第二渲染频率之间进行切换。该显示控制单元使显示装置基于感测结果以及第一渲染频率或第二渲染频率来显示虚拟图像。
此外，根据本公开内容，提供了一种由至少一个处理器执行的信息处理方法，该信息处理方法包括：基于与真实空间相关的感测结果，将虚拟图像的渲染频率在第一渲染频率与高于第一渲染频率的第二渲染频率之间进行切换；以及使显示装置基于感测结果以及第一渲染频率或第二渲染频率显示虚拟图像。
此外，根据本公开内容，提供了一种程序，该程序使计算机执行：基于与真实空间相关的感测结果，将虚拟图像的渲染频率在第一渲染频率与高于第一渲染频率的第二渲染频率之间进行切换；以及基于感测结果以及第一渲染频率或第二渲染频率，使显示装置显示虚拟图像。
本发明的有益效果
如上所述，本公开内容使得能够基于与真实空间相关的感测结果来改进虚拟图像的渲染或显示的质量。
注意，本公开内容的效果不必限于上述效果。除了上述效果之外或者代替上述效果，本公开内容可以实现本说明书中描述的任何效果或者可以从本说明书中掌握的其他效果。
附图说明
图1是描述显示虚拟图像的HMD的操作的概要的图。
图2是描述2D校正的图。
图3是描述2D校正与3D渲染之间的差异的图。
图4是描述在用户与虚拟图像之间的距离较近的情况下的视差的图。
图5是描述在用户与虚拟图像之间的距离较近的情况下的视差的图。
图6是描述在用户与虚拟图像之间的距离较远的情况下的视差的图。
图7是描述在用户与虚拟图像之间的距离较远的情况下的视差的图。
图8是示出根据用户与虚拟图像之间的距离的2D校正阈值的图。
图9是示出根据第一实施方式的HMD的功能配置的框图。
图10是示出根据第一实施方式的HMD的操作的流程图。
图11是示出第一实施方式的应用示例的图。
图12是示出第一实施方式的应用示例的图。
图13是示出根据第二实施方式的HMD的功能配置的框图。
图14是示出根据第二实施方式的HMD的操作的流程图。
图15是示出第二实施方式的应用示例的图。
图16是示出HMD的硬件配置的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在说明书和附图中，具有基本上相同的功能配置的元件由相同的附图标记表示，以省略重复的描述。
注意，将按照以下顺序进行描述。
1.背景
2.概要
3.第一实施方式
3-1.功能配置
3-2.操作方式
3-3.应用示例
4.第二实施方式
4-1.功能配置
4-2.操作方式
4-3.应用示例
5.硬件配置
6.结论
<1.背景>
首先，将描述本公开内容的背景。
如上所述，近年来，随着信息处理技术的发展，已经积极地开发了通过显示虚拟图像来实现各种用户体验的技术，例如AR和VR。通常，VR可以被认为是下述技术：在表示与用户在实际空间中的位置不同的位置的空间(虚拟空间)中显示图像，同时根据显示装置的位置和姿势的变化来改变图像。在这种情况下，虚拟空间中的图像可以包括在远处的真实空间中的图像。另一方面，AR可以被认为下述技术：将诸如虚拟图像之类的附加信息添加到表示与用户在真实空间中存在的位置基本相同的位置的真实空间中的图像。在这种情况下，真实空间中的图像不仅包括由用户从视觉上直接视觉识别到的真实空间中的图像，而且包括由成像装置实时获取的真实空间中的图像。
例如，已经开发出下述技术：结合佩戴头戴式显示器(在下文中称为“HMD”)的用户的位置和姿势或移动来改变要在该HMD上显示的虚拟图像。更具体地，HMD执行下述处理：使用安装在HMD上的传感器(例如，向外立体摄像装置、加速度传感器或陀螺仪传感器)来估计HMD的位置和姿势，并且预测在经过一段时间后HMD的位置和姿势。此外，HMD根据处理结果渲染虚拟图像，并且将虚拟图像显示在显示器上。例如，HMD结合用户的移动以一定的帧率(例如60[Hz])渲染虚拟图像，从而可以在用户的视图改变之后显示虚拟图像。
此时，在HMD上显示的虚拟图像可能会闪烁。闪烁是由多种因素引起的。例如，如下所述，基于与真实空间相关的感测结果渲染虚拟图像可能导致闪烁。
例如，虚拟图像的闪烁可能是由HMD的位置和姿势的轻微变化引起的。更具体地，当HMD的位置和姿势轻微变化时，HMD会以高速(以帧率频率)渲染具有轻微变化的虚拟图像，以反映HMD的位置和姿势的变化，这导致虚拟图像的闪烁。此外，HMD可以利用照明来渲染虚拟图像(用于显示图像的指示处理，就好像从设置在三维空间中的虚拟光源向图像施加光一样)。在这种情况下，即使在HMD的位置和姿势轻微变化的情况下，由该变化引起的虚拟图像的变化也变得较大。因此，虚拟图像的闪烁变得较大。此外，HMD的位置和姿势的轻微变化导致三维虚拟图像中的变化大于二维虚拟图像中的变化。因此，即使在不施加照明的情况下，在三维虚拟图像中虚拟图像的闪烁也变大。
注意，各种因素导致HMD的位置和姿势的轻微变化。例如，在由HMD使用安装在HMD上的向外立体摄像装置的成像结果对位置和姿势进行估计或者预测的情况下，当成像环境暗时或者当在捕获图像中存在具有小的变化的许多平坦区域时，由HMD对位置和姿势进行估计或者预测的结果的准确性减小。因此，即使当HMD的位置和姿势实际上几乎不变时，位置和姿势的估计结果等也可能会轻微改变。
此外，当HMD使用安装在HMD上的各种传感器(例如，陀螺仪传感器和加速度传感器)的输出来校正HMD的位置和姿势时，随着时间的流逝，传感器的计算误差的累积会使对位置和姿势的估计结果的误差增大。此外，随着传感器本身的温度和周围温度变得更高，各种传感器的输出误差可能增大，这可能使对位置和姿势的估计结果等的误差增大。此外，各种传感器彼此独立地工作。因此，由于彼此作用的各种传感器的上述误差，对位置和姿势的估计结果等的误差可能进一步增大。
此外，例如，当虚拟图像静止不动时(或者当虚拟图像以低速移动时)，当虚拟图像具有复杂的形状、图案或颜色时，或者当用户与虚拟图像之间的距离较近时，虚拟图像的闪烁变得更大。例如，当用户观察在虚拟图像附近应用了复杂处理的艺术品的虚拟图像时，用户更敏感地感觉到虚拟图像的闪烁。
注意，例如，当显示器的分辨率低时，除了HMD的位置和姿势的轻微变化之外，虚拟图像的闪烁也变大(或者用户更容易识别到闪烁)。特别地，诸如HMD的可穿戴式装置可以具有减小的显示器分辨率，以减小功耗或者热量产生。在这种情况下，用户可以识别到虚拟图像的闪烁。
鉴于以上情况，本公开内容的发明人已经创建了根据本公开内容的技术。在下文中，将详细描述本公开内容的实施方式。
<2.概述>
上面已经描述了本公开内容的背景。接下来，将描述本公开内容的概述。
本公开内容适用于各种装置或者系统。此外，本公开内容可以应用于能够显示一些图像的任何装置或者系统。例如，本公开内容可以应用于能够实现AR或VR的装置或者系统。在下文中，作为示例，将描述将本公开内容应用于被配置成显示AR图像的信息处理装置的光学传输型HMD(在下文中，称为“HMD 100”)的情况。
这里，要使用的HMD 100可以是任何类型和任何形状。例如，HMD 100可以是头带类型(用围绕头的整个圆周佩戴的带子或者不仅围绕头的侧面而且还围绕头的冠部佩戴的带子来附接到头部的类型)或者头盔型(头盔的护目镜部分对应于显示器)。
HMD 100被设置有各种传感器，包括：向外立体摄像装置，其在用户的视线方向上捕获图像，或者在佩戴HMD 100时在向外的方向上捕获图像；向内立体摄像装置，其在HMD100被佩戴时捕获用户的眼睛的图像；加速度传感器；以及陀螺仪传感器。注意，安装在HMD100上的传感器不限于这些传感器。
在下文中，将参照图1描述显示虚拟图像的HMD 100的一系列操作的概要。首先，在图1的“感测数据获取”中，HMD 100获取由包括向外立体摄像装置的各种传感器输出的感测数据。在“位置和姿势估计”中，HMD 100基于感测数据来估计HMD 100的位置和姿势。在“位置和姿势预测(用于进行渲染)”中，当基于估计的HMD 100的位置和姿势将虚拟图像显示在显示单元150(例如显示器)上时，HMD 100预测HMD 100的位置和姿势。注意，HMD 100不仅可以预测HMD 100的位置和姿势，而且可以预测例如用户通过分析由向外立体摄像装置捕获的图像在视觉上识别到的对象在真实空间中的位置和姿势。
在“进行渲染”中，HMD 100基于位置和姿势的预测在帧缓冲器134上渲染虚拟图像。在“位置和姿势预测(用于显示位置校正)”中，HMD 100在虚拟图像被显示在显示单元150上的时间点处预测HMD 100的位置和姿势。在最接近于在显示单元150上执行显示的时间点处执行预测。在“显示位置变化量计算”中，HMD 100基于位置和姿势的预测结果来计算虚拟图像的显示位置的变化量。在“显示位置校正”中，HMD 100基于显示位置的变化量来校正虚拟图像的显示位置。在“显示单元发光”中，HMD 100在显示单元150上显示具有经校正的显示位置的虚拟图像。注意，图1所示的处理细节仅是示例，并且可以被适当地修改。例如，不仅可以执行虚拟图像的显示位置的校正，而且还可以执行用于使虚拟图像变形的校正。
在下文中，将参照图2更详细地描述“显示位置校正”。当在帧缓冲器134上渲染虚拟图像10a时，HMD 100基于HMD 100的位置和姿势的预测结果将虚拟图像10a的显示位置校正为显示单元150的左上角，HMD 100将读取开始位置变为帧缓冲器134的右下角，如图2所示。这使得HMD 100能够将显示在显示单元150上的虚拟图像10b的显示位置校正到显示单元150的左上角。在下文中，将虚拟图像的这种二维校正称为“2D校正”。
以这种方式，HMD 100在最接近于可能执行显示的时间点处预测在显示单元150上的显示的时间点处HMD 100的位置和姿势，并且基于预测结果来执行2D校正。因此，可以减小用户感觉到的虚拟图像的显示延迟。
此外，与三维虚拟图像的重新渲染(在下文中称为“3D渲染”)相比，二D校正可以减小虚拟图像的闪烁。在下文中，将参照图3描述2D校正与3D渲染之间的差异。3a示出了已经参照图2描述的虚拟图像的2D校正，而3b示出其中通过虚拟图像的3D渲染将虚拟图像的显示位置改变到显示单元150的左上方的示例。
如图3所示，在应用了2D校正的虚拟图像10b与应用了3D渲染的虚拟图像10d之间的比较表明，应用了3D渲染的虚拟图像10d具有较大的变化量。因此，在应用3D渲染的情况下，与在应用2D校正的情况下相比，基于HMD 100的位置和姿势的轻微变化的虚拟图像的变化量变得更大。因此，图像更有可能闪烁。
因此，根据本公开内容的HMD 100可以通过在虚拟图像的渲染处理中控制多个渲染频率之间的切换来减小虚拟图像的闪烁。注意，图像频率可以包括至少第一渲染频率以及高于第一渲染频率的第二渲染频率。这里，仅要求第一渲染频率是减小虚拟图像的重新渲染的频率，并且第一频率可以是大于零的值。例如，HMD 100可以在虚拟图像的显示位置在显示单元150上改变时通过设置不执行3D渲染而仅执行2D校正的变化量的阈值(在下文中称为“2D校正阈值”)并且控制该阈值来减小虚拟图像的闪烁。更具体地，当虚拟图像的显示位置的变化量小于2D校正阈值时(当虚拟图像具有第一变化量时)，HMD 100仅对虚拟图像执行2D校正而不执行3D渲染，以校正虚拟图像的显示位置。换言之，当虚拟图像的显示位置的变化量小于2D校正阈值时，HMD 100可以将渲染频率控制为零并且禁止进行重新渲染。另一方面，当虚拟图像的显示位置的变化量等于或大于2D校正阈值时(当虚拟图像具有第二变化量时)，HMD 100不仅执行2D校正，而且执行3D渲染，以更改虚拟图像的显示位置和角度。注意，以这种方式，与通过3D渲染恒定地控制虚拟图像的显示的情况相比，HMD 100可以通过设置2D校正阈值来减小虚拟图像的闪烁。
这里，用于控制2D校正阈值的方法不特别限于任何方法。例如，HMD 100可以基于用户与虚拟图像之间的距离来控制2D校正阈值，以减小虚拟图像的闪烁。下文中，将参照图4至图8描述基于用户与虚拟图像之间的距离来控制2D校正阈值的方法的原理。
首先，将参照图4和图5描述用户与虚拟图像之间的距离较近的情况。如图4所示，在用户20与虚拟图像之间的距离相对较近并且用户20位于虚拟图像10的前方(图4中用户20a的位置)的情况下，虚拟图像10(在图5中表示为虚拟图像10a)被显示在显示单元150的中央，如图5的5a所示。
当用户从虚拟图像10的前方移到右侧位置(图4中的用户20b的位置)时，虚拟图像10的显示位置变为显示单元150的左侧，如图5b所示(在图5中表示为虚拟图像10b)。用户与虚拟图像之间的距离较近的情况下的视差大于用户与虚拟图像之间的距离较远的情况下的视差。因此，除非除了虚拟图像10的显示位置之外虚拟图像10的显示角度也改变，否则用户极有可能感到不协调，如图5b所示。
另一方面，当用户从虚拟图像10的前方移动到左侧位置(图4中的用户20c的位置)时，虚拟图像10的显示位置变为显示单元150的右侧，如图5c所示(在图5中表示为虚拟图像10c)。同样在这种情况下，除非除了虚拟图像10的显示位置之外虚拟图像10的显示角度也改变，否则用户极有可能感到不协调，如图5c所示。
接下来，将参照图6和图7描述用户与虚拟图像之间的距离较远的情况。如图6所示，在用户20与虚拟图像之间的距离相对较远并且用户20位于虚拟图像10的前方(图6中用户20a的位置)的情况下，虚拟图像10(在图7中表示为虚拟图像10a)被显示在显示单元150的中央，如图7的7a所示。
当用户从虚拟图像10的前方移动到右侧位置(图6中的用户20b的位置)时，虚拟图像10的显示位置变为在显示单元150的左侧(在图7中表示为虚拟图像10b)，如图7b所示。用户与虚拟图像之间的距离较远的情况下的视差小于用户与虚拟图像之间的距离较近的情况下的视差。因此，如图7b所示，即使仅改变虚拟图像10的显示位置而不改变虚拟图像10的显示角度，用户也不太可能感到不协调。
另一方面，当用户从虚拟图像10的前方移动到左侧位置(图6中的用户20c的位置)时，虚拟图像10的显示位置变为在虚拟图像10的右侧，如图7c所示(在图7中表示为虚拟图像10c)。同样在这种情况下，如图7c所示，即使仅改变虚拟图像10的显示位置而不改变虚拟图像10的显示角度，用户也不太可能感到不协调。
基于上述情况，与用户与虚拟图像之间的距离较远的情况下相比，HMD 100在用户与虚拟图像之间的距离较近的情况下将2D校正阈值设置为较小的值，并且另一方面，与距离较近的情况相比，在距离较远的情况下将2D校正阈值设定为较大的值。换言之，在用户与虚拟图像之间的距离是第一距离的情况下，HMD 100可以将虚拟图像的渲染频率控制为第一渲染频率，并且在用户与虚拟图像之间的距离是小于第一距离的第二距离的情况下，将虚拟图像的渲染频率控制为第二渲染频率。此外，在用户与虚拟图像之间的距离极远的情况下(例如，虚拟图像位于离用户无限远的情况下)，视差极小。因此，HMD 100可以将2D校正阈值设置为极大的值以省略3D渲染。注意，随着用户与虚拟图像之间的距离变得更大，HMD100可以连续或者阶段性地减小虚拟图像的渲染频率。
接下来，将参照图8更详细地描述用于控制2D校正阈值的方法。在图8中，8a示出了在用户与虚拟图像之间的距离相对较远的情况下的2D校正阈值。图8b示出了在用户与虚拟图像之间的距离相对较近的情况下的2D校正阈值。
在8a中，当显示在显示单元150的中央的虚拟图像10d向右移动时，HMD 100仅执行2D校正，直到虚拟图像10d移出边界30a，并且在虚拟图像10d超出边界30a时，不仅执行2D校正，还执行3D渲染。此时，由仅与2D校正对应的变化量40a表示2D校正阈值。类似地，当虚拟图像10d向左移动时，HMD 100仅执行2D校正，直到虚拟图像10d超出边界30b，并且在虚拟图像10d超出边界30b时，不仅执行2D校正，而且执行3D渲染。
然后，在8b中，当在显示单元150的中央显示的虚拟图像10k向右移动时，HMD 100仅执行2D校正，直到虚拟图像10k超出边界30c，并且在虚拟图像10k超出边界30c时，不仅执行2D校正，而且执行3D渲染。此时，由仅与2D校正对应的变化量40b表示2D校正阈值。类似地，当虚拟图像10k向左移动时，HMD 100仅执行2D校正，直到虚拟图像10k超出边界30d，并且在虚拟图像10k超出边界30d时，不仅执行2D校正，而且还执行3D渲染。
如图8所示，与用户与虚拟图像之间的距离较近的情况相比，在用户与虚拟图像之间的距离较远的情况下，HMD 100将2D校正阈值设置为较大的值。这使得HMD 100能够通过减小3D渲染的频率并且通过2D校正补偿(covering)减小来减小虚拟图像的闪烁，从而不会使用户感到不协调。
注意，图8所示的用于控制2D校正阈值的方法仅是示例，并且可以被适当地修改。例如，可以基于虚拟图像的显示位置改变的方向将2D校正阈值设置为不同的值。更具体地，根据是在虚拟图像的显示位置在水平方向上改变的情况还是在显示位置在竖直方向上改变的情况，可以将2D校正阈值设置为不同的值。此外，可以基于改变之前的显示位置将2D校正阈值设置为不同的值。更具体地，根据在虚拟图像被显示在显示单元150的中央的情况还是在虚拟图像被显示在显示单元150的端部的情况之间，可以将2D校正阈值设置为不同的值。
此外，可以基于除了用户与虚拟图像之间的距离以外的要素来控制2D校正阈值。
例如，HMD 100可以基于与真实空间相关的感测结果的精度来切换虚拟图像的渲染频率。与真实空间相关的感测结果包括HMD 100(显示装置)的位置和姿势的识别精度，并且可以基于HMD 100的位置和姿势的识别精度来控制2D校正阈值。例如，当识别精度为第一识别精度时，HMD 100可以将虚拟图像的渲染频率控制为第一渲染频率，而当识别精度为高于第一识别精度的第二识别精度时，HMD 100可以将虚拟图像的渲染频率控制为第二渲染频率。更具体地，HMD 100可以基于作为HMD 100的位置和姿势的预测与其实际结果之间的差的残差来控制2D校正阈值。如上所述，HMD 100使用安装在HMD 100上的各种传感器(向外立体摄像装置、加速度传感器和陀螺仪传感器)来预测HMD 100的位置和姿势。当HMD 100的位置和姿势的预测的残差大时，各种传感器的操作被认为是不稳定的。因此，如果基于对HMD 100的位置和姿势的预测来执行虚拟图像的渲染，则虚拟图像的闪烁可能变得更大。因此，随着HMD 100的位置和姿势的预测的残差变得更大，HMD 100可以将2D校正阈值设置为较大的值。
此外，如上所述，随着传感器自身的温度和外围温度变得更高，各种传感器的输出误差可能增大。因此，虚拟图像的闪烁可能增大。因此，随着传感器本身或者外围传感器的温度变得更高，HMD 100可以将2D校正阈值设置为较大的值。
此外，HMD 100可以基于显示单元150(例如，显示器)的分辨率来控制2D校正阈值。更具体地，如上所述，当显示单元150的分辨率低时，虚拟图像的闪烁可能性增加。因此，随着显示单元150的分辨率变得更低，HMD 100可以将2D校正阈值设置为较大的值。
此外，如上所述，当虚拟图像本身静止不动时，虚拟图像的闪烁可能性变大。因此，与在虚拟图像静止并非不动时的2D校正阈值相比，HMD 100在虚拟图像静止不动时可以将2D校正阈值设置为更大的值。
此外，当虚拟图像具有更复杂的形状、图案或颜色时，虚拟图像的闪烁就越大。因此，当虚拟图像具有更复杂的形状、图案或颜色时，HMD 100可以将2D校正阈值设置为较大的值。
此外，随着显示在显示单元150上的虚拟图像变得更大，用户更有可能识别到虚拟图像的闪烁。因此，当在显示单元150上显示的虚拟图像变得更大时，HMD 100可以将2D校正阈值设置为更大的值。
此外，当用户未注视虚拟图像时，即使3D渲染的频率减小并且该减小被2D校正补偿，用户也不太可能感到不协调。因此，当用户未注视虚拟图像时，HMD 100可以将2D校正阈值设置为非常大的值。此外，随着用户的注视点变得离虚拟图像更远，HMD 100可以将2D校正阈值设置为更大的值。
以上方法仅是示例，并且用于控制2D校正阈值的方法不限于上述方法。
此外，HMD 100不仅可以通过控制2D校正阈值，而且可以通过控制帧率本身来控制虚拟图像的渲染频率。注意，在本公开内容中，帧率可以被认为是由显示装置进行显示的频率。换言之，用户视觉识别的频率对应于帧率，并且帧率可以被认为是与在帧缓冲器上渲染虚拟图像的频率相对应的帧率。通常，帧率和渲染频率可以彼此基本相同。
更具体地，如上所述，随着用户与虚拟图像之间的距离变得更大，视差变得更小。因此，即使减小了3D渲染的频率并且通过2D校正补偿减小，用户也不太可能感到不协调。因此，随着用户与虚拟图像之间的距离变得更远，HMD 100可以进一步减小帧率。
例如，HMD 100可以使用以下公式1来计算帧率，或者可以从预先准备的多种类型的帧率中选择最接近于计算结果的帧率。
y＝c·x-r (1)
y：帧率
c：针对每个用户设置的系数(反映用户的视力等的值)
x：用户与虚拟图像之间的距离
r：预定指数
注意，以上公式1仅是示例，并且用于计算帧率的方法不限于此。
此外，可以基于除了用户与虚拟图像之间的距离以外的要素来控制帧率(渲染频率)。例如，像2D校正阈值一样，可以基于HMD 100的位置和姿势的预测的残差、传感器的温度、显示单元150的分辨率或者虚拟图像的特征(虚拟图像的形状、图案、颜色或尺寸)或者虚拟图像的状态(虚拟图像是否静止不动)来控制帧率。换言之，当更可能发生虚拟图像的闪烁时，HMD 100可以进一步减小帧率。注意，虚拟图像的特征或状态可以被认为是基于与真实空间相关的感测结果来确定的。此外，可以基于用户是否注视着虚拟图像来控制帧率。换言之，在即使减小了3D渲染的频率并且通过2D校正补偿减小的情况下，用户不太可能感到不协调时，HMD 100可以进一步减小帧率。
注意，HMD 100可以将渲染频率控制为小于所显示的虚拟图像的帧率。更具体地，可以执行控制，使得渲染频率为30[Hz]，并且帧率为60[Hz]。在这种情况下，在帧缓冲器上渲染的同一虚拟图像将被显示两次。期望这样的配置在减小要渲染的虚拟图像的闪烁的同时防止由于渲染频率造成处理负荷增大，减小功耗或者防止温度升高。
<3.第一实施方式>
上面已经描述了本公开内容的概述。接下来，将描述本公开内容的第一实施方式。
(3-1.功能配置)
首先，将参照图9描述根据第一实施方式的HMD 100的功能配置。
如图9所示，根据第一实施方式的HMD 100包括传感器单元110、分析单元120、图像控制单元130、显示控制单元140和显示单元150。
(传感器单元110)
传感器单元110具有获取关于用户或者外围环境的各种信息并且向分析单元120提供所获取的信息的功能。例如，传感器单元110包括向外立体摄像装置(outward stereocamera)111、向内立体摄像装置112、陀螺仪传感器113和加速度传感器114。注意，这些传感器仅是示例，并且传感器单元110中包括的传感器不限于这些传感器。例如，传感器单元110可以附加地包括温度传感器。此外，每个传感器包括多个传感器。
向外立体摄像装置111和向内立体摄像装置112均具有作为立体摄像装置的功能，并且包括：透镜系统，其包括成像透镜、光圈、变焦透镜和聚焦透镜；驱动系统，其使透镜系统执行聚焦操作和变焦操作；以及固态图像传感器阵列，其对由透镜系统获得的成像光进行光电转换以生成成像信号。固态图像传感器阵列的示例可以包括电荷耦合器件(CCD)传感器阵列和互补金属氧化物半导体(CMOS)传感器阵列。
陀螺仪传感器113包括例如三轴陀螺仪传感器并且检测角速度(旋转速度)。
加速度传感器114包括例如三轴加速度传感器114(也称为G传感器)并且在移动期间检测加速度。
(分析单元120)
分析单元120具有分析由传感器单元110提供的各种信息并且向图像控制单元130提供分析结果的功能。例如，分析单元120包括位置和姿势估计单元121、位置和姿势预测单元122、残差计算单元123和视线检测单元124。注意，这些单元仅是示例，并且分析单元120中包括的功能配置不限于这些单元。
位置和姿势估计单元121估计HMD 100的位置和姿势。更具体地，位置和姿势估计单元121基于由传感器单元110提供的向外立体摄像装置111的感测数据来生成深度图，以实现视觉即时定位和地图构建(SLAM)(simultaneous localization and mapping)，并且通过视觉SLAM计算HMD 100的位置和姿势、速度以及惯性加速度。此外，位置和姿势估计单元121执行与惯性导航相关的各种处理，该惯性导航使用从陀螺仪传感器113和加速度传感器114(或者包括这些传感器的惯性测量单元(IMU))获得的加速度和角速度，以计算出的位置、姿势和速度作为原始值，以高精度估计HMD 100的最新位置和姿势、速度和角速度。注意，以上估计方法仅是示例，并且可以被适当地改变。位置和姿势估计单元121向位置和姿势预测单元122提供HMD 100的位置和姿势的估计结果。
位置和姿势预测单元122预测HMD 100在未来的某个时间点处的位置和姿势。例如，位置和姿势预测单元122基于由位置和姿势估计单元121提供的HMD 100在过去的位置和姿势的估计结果，使用诸如线性插值的方法来预测HMD 100在未来的某个时间点处的位置和姿势。注意，该预测方法仅是示例，并且可以被适当地修改。
残差计算单元123具有计算残差的功能，该残差是HMD 100的位置和姿势的预测与HMD 100的位置和姿势的实际结果之间的差。更具体地，残差计算单元123将由位置和姿势预测单元122预测的某个时间点处的位置和姿势与由位置和姿势估计单元121估计的该时间点处的实际位置和姿势进行比较，以计算残差。
视线检测单元124具有检测佩戴HMD 100的用户的视线的功能。更具体地，视线检测单元124分析由向内立体摄像装置112生成的用户的眼睛的捕获图像，以识别用户的视线方向。视线检测的算法不特别限于任何算法。例如，可以基于眼睛的内角与虹膜之间的位置关系或者角膜反射与瞳孔之间的位置关系来识别用户的视线方向。
(图像控制单元130)
图像控制单元130具有作为渲染控制单元的功能，该渲染控制单元使用由分析单元120提供的分析结果来控制虚拟图像的渲染。图像控制单元130包括应用131、渲染计划确定单元132、渲染单元133、帧缓冲器134和2D校正单元135。注意，这些单元仅是示例，并且图像控制单元130中包括的功能配置不限于这些单元。例如，可以将二维校正单元替换为不仅执行二维校正而且还执行三维变形或者位置校正的校正单元。
应用131是与使用HMD 100的用户使用的服务相关的应用。应用131基于由位置和姿势预测单元122提供的HMD 100在未来的某个时间点处的位置和姿势的预测结果来确定虚拟图像的内容、位置、尺寸和角度。应用131向渲染计划确定单元132和渲染单元133提供所确定的内容。
渲染计划确定单元132具有确定诸如虚拟图像的渲染频率的渲染计划的功能。例如，渲染计划确定单元132可以基于由位置和姿势预测单元122提供的HMD 100在未来的某个时间点处的位置和姿势的预测结果以及由应用131提供的虚拟图像在该时间点处的位置来计算用户与虚拟图像之间的距离，并且基于计算出的距离来确定诸如2D校正阈值和帧率之类的渲染计划。此外，如上所述，不仅可以基于用户与虚拟图像之间的距离，而且可以基于HMD 100的位置和姿势的预测的残差、传感器的温度、显示单元150的分辨率、虚拟图像的特征(虚拟图像的形状、图案、颜色或尺寸)或者虚拟图像的状态(虚拟图像是否静止不动)或者用户是否在注视着虚拟图像来确定渲染计划。渲染计划确定单元132向渲染单元133提供所确定的渲染计划。
渲染单元133使用由分析单元120提供的分析结果、由渲染计划确定单元132提供的渲染计划以及由应用131提供的虚拟图像的内容来执行虚拟图像的3D渲染。更具体地，当虚拟图像的显示位置的变化量小于2D校正阈值时，渲染单元133不执行虚拟图像的3D渲染，并且当虚拟图像的显示位置的变化量等于或大于2D校正阈值时，渲染单元133以所确定的帧率执行虚拟图像的3D渲染。所渲染的虚拟图像被提供给帧缓冲器134。
帧缓冲器134是其中临时存储由渲染单元133生成的虚拟图像的存储区域。帧缓冲器134可以存储用于一个画面的虚拟图像，或者用于多个画面的虚拟图像。
2D校正单元135具有执行2D校正的功能。更具体地，2D校正单元135基于由位置和姿势预测单元122提供的HMD 100在虚拟图像的显示时间点处的位置和姿势的预测结果来计算虚拟图像的显示位置，并且对由渲染单元133渲染的虚拟图像执行2D校正，以校正虚拟图像的显示位置。
(显示控制单元140)
显示控制单元140具有通过控制显示单元150来显示由2D校正单元135校正的虚拟图像的功能。
(显示单元150)
显示单元150是显示虚拟图像的功能配置。例如，显示单元150可以是但不限于显示器。显示单元150的示例包括：使用全息光学技术执行显示的透镜单元、液晶显示(LCD)装置和有机发光二极管(OLED)装置。
(3-2.操作)
上面已经描述了根据第一实施方式的HMD 100的功能配置。接下来，将参照图10描述根据第一实施方式的HMD 100的操作。
首先，渲染计划确定单元132在步骤S1000中读取参数，并且在步骤S1004中基于该参数来临时确定2D校正阈值和帧率。可以针对佩戴HMD 100的每个用户定制由渲染计划确定单元132读取的参数。例如，可以基于用户的视力针对每个用户定制参数。
在步骤S1008中，更新HMD 100的位置和姿势。更具体地，位置和姿势估计单元121估计HMD 100的位置和姿势，并且位置和姿势预测单元122预测HMD 100的位置和姿势。在步骤S1012中，当作为HMD 100的位置和姿势的预测与其实际结果之间的差的残差已经超过预定阈值(步骤S1012为“是”)时，渲染计划确定单元132在步骤S1016中确定可能发生虚拟图像的闪烁并且将2D校正阈值变为较大的值。注意，当残差不超过预定阈值时(步骤S1012为“否”)，2D校正阈值不变。
在步骤S1020中，当用户与由渲染计划确定单元132计算出的虚拟图像之间的距离已超过预定阈值时(步骤S1020为“是”)，渲染计划确定单元132在步骤S1024中确定可以减小3D渲染的频率，并且可以通过2D校正来补偿该减小，并且减小帧率。注意，当距离不超过预定阈值时(步骤S1020为“否”)，帧率不变。
当在步骤S1028中轮到基于帧率来渲染虚拟图像(步骤S1028为“是”)并且用户正在观看虚拟图像时(步骤S1032为“是”)，渲染单元133在步骤S1036中对虚拟图像进行渲染。然后，在步骤S1040中，2D校正单元135基于最新位置和姿势的预测结果对虚拟图像进行2D校正。
当在步骤S1028中没有轮到基于帧率来对虚拟图像进行渲染时(步骤S1028为“否”)，不执行虚拟图像的渲染，并且2D校正单元135在步骤S1040中对虚拟图像执行2D校正。此外，当在步骤S1032中用户没有观看虚拟图像时(步骤S1032为“否”)，即使不对虚拟图像执行渲染，用户也不太可能感到不协调。因此，2D校正单元135在步骤S1040中对虚拟图像执行2D校正，并且不对虚拟图像执行渲染。
注意，图10的流程图仅是示例，并且可以被适当地修改。例如，在开始显示虚拟图像之后可以省略执行步骤S1000和S1004。更具体地，在图10的流程图中所示的每个处理被执行一次之后，可以省略步骤S1000和S1004的处理，并且可以重复地执行步骤S1008及其后的处理。此外，当在步骤S1032中用户没有观看虚拟图像(步骤S1032/否)并且在虚拟图像周围不存在要比较的真实对象或虚拟图像时，用户不太可能感到不协调。因此，不仅可以省略3D渲染，而且还可以省略2D校正。
此外，可以不是基于残差而是基于如上所述的用户与虚拟图像之间的距离、传感器的温度、显示单元150的分辨率、虚拟图像的特征(虚拟图像的形状、图案、颜色或尺寸)或者虚拟图像的状态(虚拟图像是否静止不动)或者用户是否在注视着虚拟图像来确定2D校正阈值。此外，可以不是基于用户与虚拟图像之间的距离，而是基于如上所述的HMD 100的位置和姿势的预测的残差、传感器的温度、显示单元150的分辨率、虚拟图像的特征(虚拟图像的形状、图案、颜色或尺寸)或者虚拟图像的状态(虚拟图像是否静止不动)或者用户是否在注视着虚拟图像来确定帧率。
(3-3.应用示例)
上面已经描述了根据本公开内容的第一实施方式的HMD 100的操作。接下来，将参照图11和图12描述本公开内容的第一实施方式的应用示例。
图11是将计划建造的建筑物显示为真实空间中的城镇景观中的虚拟图像11的情况的示例。
即使在诸如建筑物的巨大对象的情况下，当如图11所示用户与建筑物的虚拟图像11之间的距离相对较远时，视差变得更小。因此，HMD 100可以通过将2D校正阈值变为较大的值并且减小帧率以减小3D渲染的频率并且通过2D校正来补偿该减小，从而减小虚拟图像11的闪烁，而不使用户感到不协调。这使得即使建筑物具有复杂的形状HMD 100也能够使虚拟图像11不易闪烁。
图12是其中被显示为虚拟图像12的机器人引导佩戴HMD 100的用户到达目的地的情况的示例。
当机器人在与用户保持预定值的距离或更大距离的同时引导用户(例如，虚拟图像12随着用户向前移动而从虚拟图像12a的位置移动到虚拟图像12b的位置)时，可以保持小的视差。因此，如图11的应用示例，HMD 100可以通过将2D校正阈值变为较大的值并且减小帧率以减小3D渲染的频率并且通过2D校正来补偿该减小，从而减小虚拟图像12的闪烁，而不会使用户感到不协调。
图11和图12仅是示例。因此，本公开内容的第一实施方式可以应用于其他服务或者系统。
<4.第二实施方式>
上面已经描述了本公开内容的第一实施方式。接下来，将描述本公开内容的第二实施方式。
第二实施方式是将虚拟图像叠加在检测到的平面上的情况的示例。更具体地，在将诸如海报或者绘画之类的平面虚拟图像叠加在检测到的平面上的情况下，与显示三维虚拟图像的情况相比，即使减小3D渲染的频率并且通过二维校正补偿该减小，用户也不太可能感到不协调。因此，在将虚拟图像叠加在检测到的平面上的情况下，HMD 100可以通过将2D校正阈值设置为较大的值或者减小帧率，从而减小虚拟图像的闪烁，而不会使用户感到不协调的情况。
(4-1.功能配置)
首先，将参照图13描述根据第二实施方式的HMD 100的功能配置。注意，在下面的描述中，仅提及与根据第一实施方式的HMD 100的功能配置的不同之处(参见图9)。
如图13所示，根据第二实施方式的HMD 100的分析单元120包括距离测量单元125和平面检测单元126。
平面检测单元126具有通过使用例如由向外立体摄像装置111生成的捕获图像执行投影变换来检测捕获图像中的平面的功能。距离测量单元125计算到在投影变换中使用的捕获图像中的平面上的点的距离。注意，平面检测的方法不限于特定方法，并且可以是任何方法。
注意，根据第二实施方式的HMD 100的功能配置仅是示例，并且可以被适当地修改。此外，可以将根据第一实施方式的HMD 100的功能配置和根据第二实施方式的HMD 100的功能配置进行组合。
(4-2.操作)
上面已经描述了根据第二实施方式的HMD 100的功能配置。接下来，将参照图14描述根据第二实施方式的HMD 100的操作。
步骤S1100至S1108与图10中的步骤S1000至S1008相同。因此，将省略对这些步骤的描述。在步骤S1112中，平面检测单元126检测捕获图像中的平面。注意，当存在已经被检测到的平面时，该平面可以用于省略平面检测处理。在步骤S1116中，渲染计划确定单元132基于在虚拟图像周围是否存在要比较的真实对象或者虚拟图像，从而改变在步骤S1120中使用的残差阈值以及在步骤S1128中使用的距离阈值。例如，当在虚拟图像周围没有要比较的真实对象或者虚拟图像时，用户不太可能识别到虚拟图像的延迟。因此，渲染计划确定单元132可以通过改变残差阈值和距离阈值来将2D校正阈值设置为较大的值并且减小帧率。步骤S1120至S1148与图10的步骤S1012至S1040相同。因此，将省略其描述。
注意，图14的流程图仅是示例，并且可以被适当地修改。例如，与图10一样，可以在开始显示虚拟图像之后省略执行步骤S1100和S1104。更具体地，在图14的流程图中示出的每个处理被执行一次之后，可以省略步骤S1100和S1104的处理，并且可以重复地执行步骤S1108及步骤S1108之后的处理。
此外，可以不是基于残差而是基于如上所述的用户与虚拟图像之间的距离、传感器的温度、显示单元150的分辨率、虚拟图像的特征(虚拟图像的形状、图案、颜色或尺寸)或者虚拟图像的状态(虚拟图像是否静止不动)或者用户是否注视着虚拟图像来确定2D校正阈值。此外，可以不是基于用户与虚拟图像之间的距离，而是基于如上所述的HMD 100的位置和姿势的预测的残差、传感器的温度、显示单元150的分辨率、虚拟图像的特征(虚拟图像的形状、图案、颜色或尺寸)或者虚拟图像的状态(虚拟图像是否静止不动)或者用户是否注视着虚拟图像来确定帧率。
(4-3.应用示例)
上面已经描述了根据本公开内容的第二实施方式的HMD 100的操作。接下来，将参照图15描述本公开内容的第二实施方式的应用示例。
图15是将海报的虚拟图像13叠加在作为在捕获图像中检测到的平面的墙壁表面上的情况的示例。
包括字符或者彩色图片或图像的海报的虚拟图像13可能会闪烁。此外，如上所述，在将诸如海报之类的平面虚拟图像13叠加在平面上的情况下，与显示三维虚拟图像的情况相比，即使减小了3D渲染的频率并且通过2D校正补偿该减小，用户也不太可能感到不协调。因此，HMD 100可以通过将2D校正阈值设置为较大的值或者减小帧率，从而减小虚拟图像13的闪烁，而不会使用户感到不协调。
<5.硬件配置>
上面已经描述了本公开内容的实施方式。通过控制2D校正阈值或帧率来控制渲染频率的处理是通过与以下所述的硬件协作来实现的。
图16是示出实施根据本公开内容的HMD 100的信息处理装置900的硬件配置的图。信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903、主机总线904、桥接器905、外部总线906、接口907、输入装置908、输出装置909、存储装置(HDD)910、驱动器911和通信装置912。
CPU 901用作算法处理器和控制器，并且根据各种程序来控制信息处理装置900内部的整个操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序和操作参数。RAM 903临时存储在CPU 901的执行中使用的程序以及在执行时适当变化的参数。CPU901、ROM 902和RAM 903通过包括CPU总线的主机总线904彼此连接。CPU 901、ROM 902和RAM903的协作实现了传感器单元110、分析单元120、图像控制单元130或者显示控制单元140的每个功能。
主机总线904经由桥接器905连接到诸如外围部件互连/接口(PCI)总线之类的外部总线906。注意，主机总线904、桥接器905与外部总线906不是必须彼此分离，并且这些功能可以通过单个总线来实现。
输入装置908包括用于由用户输入信息的输入装置，例如鼠标、键盘、触摸板、按钮、麦克风、开关或者控制杆以及基于用户的输入来产生输入信号并且将输入信号输出到CPU901的输入控制电路。使用信息处理装置900的用户可以通过操作输入装置908输入各种数据，并且指示各个装置处理操作。
例如，输出装置909包括诸如阴极射线管(CRT)显示装置、液晶显示(LCD)装置、有机发光二极管(OLED)装置或者灯的显示装置。此外，输出装置909包括诸如扬声器或耳机的语音输出装置。例如，输出装置909输出再现的内容。具体地，显示装置将诸如再现的视频数据之类的各种信息显示为文本或图像。另一方面，语音输出装置将再现的语音数据转换为语音并且输出语音。输出装置909实现显示单元150的功能。
存储装置910是用于数据存储的装置，存储装置910被配置成信息处理装置900的存储单元(未示出)的示例。存储装置910可以包括存储介质、在存储介质中记录数据的记录装置、从存储介质中读取数据的读取装置、以及删除在该存储介质中记录的数据的删除装置。存储装置910包括例如硬盘驱动器(HDD)。存储装置910驱动硬盘以存储由CPU 901执行的程序和各种数据。
驱动器911是存储介质读取器/写入器，并且被结合在信息处理装置900中或者从外部附接到信息处理装置900。驱动器911读取记录在附接到驱动器911的诸如磁盘、光盘、磁光盘或者半导体存储器的可移动记录介质913中的信息，并且将所读取的信息输出到RAM903。此外，驱动器911还能够将信息写入可移动记录介质913。
通信装置912是例如通信接口，通信装置912包括用于连接到通信网络914的通信装置。
<6.结论>
如上所述，根据本公开内容的HMD 100控制虚拟图像的渲染频率以适当地控制2D校正和3D渲染，从而减小虚拟图像的闪烁。例如，当虚拟图像的显示位置在显示单元150上改变时，HMD 100基于用户与虚拟图像之间的距离、HMD 100的位置和姿势的预测的残差、传感器的温度、显示单元150的分辨率、虚拟图像的特征(虚拟图像的形状、图案、颜色或尺寸)或者虚拟图像的状态(虚拟图像是否静止不动)或者用户是否注视着虚拟图像来控制2D校正阈值或者帧率。这使得HMD 100能够通过减小3D渲染的频率并且通过2D校正来补偿该减小，从而减小虚拟图像的闪烁，以不会使用户感到不协调。
上面已经参照附图详细描述了本公开内容的优选实施方式。然而，本公开内容的技术范围不限于以上示例。显然，本公开内容的领域的技术人员可以在权利要求书中描述的技术思想的范围内构思各种变型或修改，并且应当理解，这些变型或修改当然也属于本公开内容的技术范围。
例如，当用户与虚拟图像之间的距离较远时或者当HMD 100的位置和姿势的识别精度低时，HMD 100不仅可以省略3D渲染，而且可以省略2D更正。此外，当在虚拟图像周围不存在要比较的真实对象或虚拟图像时，用户不太可能感到不协调。因此，HMD 100不仅可以省略3D渲染，而且可以省略2D校正。这使得HMD 100能够进一步减小虚拟图像的闪烁。
此外，上述每个流程图中的步骤不一定按照描述为流程图的顺序以时序方式执行。换言之，这些步骤可以以与描述为流程图的顺序不同的顺序执行，或者彼此并行地执行。
此外，可以适当地修改HMD 100的功能配置。例如，HMD 100的部分功能配置可以被适当地包括在外部装置中。此外，可以适当地省略诸如视线检测单元124、距离测量单元125和平面检测单元126的功能配置。
此外，本说明书中描述的效果不是限制性的效果，而仅仅是说明性或者示意性的效果。换言之，除了以上效果之外或者代替上述效果，根据本公开内容的技术可以实现根据说明书的描述对于本领域技术人员来说明显的其他效果。
注意，如下所述的配置也属于本公开内容的技术范围。
(1)
一种信息处理装置，包括：
渲染控制单元，其被配置成基于与真实空间相关的感测结果将虚拟图像的渲染频率在第一渲染频率与高于所述第一渲染频率的第二渲染频率之间进行切换；以及
显示控制单元，其被配置成使显示装置基于所述感测结果以及所述第一渲染频率或所述第二渲染频率来显示所述虚拟图像。
(2)
根据(1)所述的信息处理装置，其中，
当基于所述感测结果的虚拟图像具有第一变化量时，所述渲染控制单元将所述虚拟图像的渲染频率控制为所述第一渲染频率，并且
当所述虚拟图像具有大于所述第一变化量的第二变化量时，所述渲染控制单元将所述虚拟图像的渲染频率控制为所述第二渲染频率。
(3)
根据(2)所述的信息处理装置，其中，
在所述第一渲染频率下，禁止重新渲染所述虚拟图像。
(4)
根据(2)或(3)所述的信息处理装置，还包括：
校正单元，其被配置成校正所述虚拟图像的显示位置，其中，
在所述虚拟图像具有所述第一变化量的情况下，在所述渲染控制单元抑制所述虚拟图像的重新渲染时，所述校正单元校正所述虚拟图像的显示位置。
(5)
根据(4)所述的信息处理装置，其中，
所述校正单元基于与所述显示装置相关的位置和姿势对由所述渲染控制单元渲染的所述虚拟图像的显示位置进行二维校正。
(6)
根据(2)至(5)中任一项所述的信息处理装置，其中，
以所述第二渲染频率重新渲染所述虚拟图像。
(7)
根据(2)至(6)中任一项所述的信息处理装置，其中，
所述第一变化量是小于预定阈值的变化量，
所述第二变化量是大于所述预定阈值的变化量，
所述渲染控制单元改变所述预定阈值，以将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
(8)
根据(1)至(7)中任一项所述的信息处理装置，其中，
所述渲染控制单元控制帧率，以将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
(9)
根据(1)至(8)中任一项所述的信息处理装置，其中，
所述渲染控制单元基于在视觉上识别所述虚拟图像的、所述显示装置的用户与所述虚拟图像之间的位置关系，将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
(10)
根据(9)所述的信息处理装置，其中，
所述渲染控制单元基于所述用户与所述虚拟图像之间的距离将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
(11)
根据(10)所述的信息处理装置，其中，
所述渲染控制单元在所述用户与所述虚拟图像之间的距离为第一距离时将所述虚拟图像的渲染频率控制为所述第一渲染频率，并且在所述用户与所述虚拟图像之间的距离为小于所述第一距离的第二距离时将所述虚拟图像的渲染频率控制为所述第二渲染频率。
(12)
根据(11)所述的信息处理装置，其中，
随着所述用户与所述虚拟图像之间的距离变得更大，所述渲染控制单元减小所述虚拟图像的渲染频率。
(13)
根据(1)至(12)中任一项所述的信息处理装置，其中，
所述渲染控制单元基于与所述真实空间相关的感测结果的精度将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
(14)
根据(13)所述的信息处理装置，其中，
与所述真实空间相关的感测结果的精度包括与所述显示装置相关的位置和姿势的识别精度，并且
所述渲染控制单元基于所述识别精度将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
(15)
根据(14)所述的信息处理装置，其中，
所述渲染控制单元在所述识别精度为第一识别精度时将所述虚拟图像的渲染频率控制为所述第一渲染频率，并且在所述识别精度为高于所述第一识别精度的第二识别精度时将所述虚拟图像的渲染频率控制为所述第二渲染频率。
(16)
根据(1)至(15)中任一项所述的信息处理装置，其中，
基于与所述真实空间相关的感测结果来确定所述虚拟图像的特征或状态，并且
所述渲染控制单元基于所述虚拟图像的特征或状态将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
(17)
根据(16)所述的信息处理装置，其中，
所述渲染控制单元基于所述虚拟图像的形状、图案或颜色的复杂度、尺寸或操作的状态中的至少一个将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
(18)
根据(1)至(17)中任一项所述的信息处理装置，其中，
所述渲染控制单元基于所述显示装置的分辨率将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
(19)
根据(1)至(18)中任一项所述的信息处理装置，其中，
所述渲染控制单元基于所述显示装置的用户的视线与所述虚拟图像之间的位置关系，将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
(20)
根据(1)至(19)中任一项所述的信息处理装置，其中，
所述渲染控制单元使第一渲染频率低于由所述显示装置显示的所述虚拟图像的帧率。
(21)一种由至少一个处理器执行的信息处理方法，所述方法包括：
基于与真实空间相关的感测结果，将虚拟图像的渲染频率在第一渲染频率与高于所述第一渲染频率的第二渲染频率之间进行切换；以及
使显示装置基于所述感测结果以及所述第一渲染频率或所述第二渲染频率显示所述虚拟图像。
(22)
一种使计算机执行以下步骤的程序：
基于与真实空间相关的感测结果，将所述虚拟图像的渲染频率在第一渲染频率与高于所述第一渲染频率的第二渲染频率之间进行切换；以及
使显示装置基于所述感测结果以及所述第一渲染频率或所述第二渲染频率显示所述虚拟图像。
附图标记列表
100 HMD
110 传感器单元
111 向外立体摄像装置
112 向内立体摄像装置
113 陀螺仪传感器
114 加速度传感器
120 分析单元
121 位置和姿势估计单元
122 位置和姿势预测单元
123 残差计算单元
124 视线检测单元
125 距离测量单元
126 平面检测单元
130 图像控制单元
131 应用
132 渲染计划确定单元
133 渲染单元
134 帧缓冲器
135 2D校正单元
140 显示控制单元
150 显示单元

Claims (22)

1.一种信息处理装置，包括：
渲染控制单元，其被配置成基于与真实空间相关的感测结果将虚拟图像的渲染频率在第一渲染频率与高于所述第一渲染频率的第二渲染频率之间进行切换；以及
显示控制单元，其被配置成使显示装置基于所述感测结果以及所述第一渲染频率或所述第二渲染频率来显示所述虚拟图像。
2.根据权利要求1所述的信息处理装置，其中，
当基于所述感测结果的所述虚拟图像具有第一变化量时，所述渲染控制单元将所述虚拟图像的渲染频率控制为所述第一渲染频率，并且
当所述虚拟图像具有大于所述第一变化量的第二变化量时，所述渲染控制单元将所述虚拟图像的渲染频率控制为所述第二渲染频率。
3.根据权利要求2所述的信息处理装置，其中，
在所述第一渲染频率下，禁止重新渲染所述虚拟图像。
4.根据权利要求2所述的信息处理装置，还包括：
校正单元，其被配置成校正所述虚拟图像的显示位置，其中，
在所述虚拟图像具有所述第一变化量的情况下，在所述渲染控制单元抑制所述虚拟图像的重新渲染时，所述校正单元校正所述虚拟图像的显示位置。
5.根据权利要求4所述的信息处理装置，其中，
所述校正单元基于与所述显示装置相关的位置和姿势对由所述渲染控制单元渲染的所述虚拟图像的显示位置进行二维校正。
6.根据权利要求2所述的信息处理装置，其中，
以所述第二渲染频率重新渲染所述虚拟图像。
7.根据权利要求2所述的信息处理装置，其中，
所述第一变化量是小于预定阈值的变化量，
所述第二变化量是大于所述预定阈值的变化量，
所述渲染控制单元改变所述预定阈值，以将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
8.根据权利要求1所述的信息处理装置，其中，
所述渲染控制单元控制帧率，以将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
9.根据权利要求1所述的信息处理装置，其中，
所述渲染控制单元基于在视觉上识别所述虚拟图像的、所述显示装置的用户与所述虚拟图像之间的位置关系，将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
10.根据权利要求9所述的信息处理装置，其中，
所述渲染控制单元基于所述用户与所述虚拟图像之间的距离将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
11.根据权利要求10所述的信息处理装置，其中，
所述渲染控制单元在所述用户与所述虚拟图像之间的距离为第一距离时将所述虚拟图像的渲染频率控制为所述第一渲染频率，并且在所述用户与所述虚拟图像之间的距离为小于所述第一距离的第二距离时将所述虚拟图像的渲染频率控制为所述第二渲染频率。
12.根据权利要求11所述的信息处理装置，其中，
随着所述用户与所述虚拟图像之间的距离变得更大，所述渲染控制单元减小所述虚拟图像的渲染频率。
13.根据权利要求1所述的信息处理装置，其中，
所述渲染控制单元基于与所述真实空间相关的感测结果的精度将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
14.根据权利要求13所述的信息处理装置，其中，
与所述真实空间相关的感测结果的精度包括与所述显示装置相关的位置和姿势的识别精度，并且
所述渲染控制单元基于所述识别精度将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
15.根据权利要求14所述的信息处理装置，其中，
所述渲染控制单元在所述识别精度为第一识别精度时将所述虚拟图像的渲染频率控制为所述第一渲染频率，并且在所述识别精度为高于所述第一识别精度的第二识别精度时将所述虚拟图像的渲染频率控制为所述第二渲染频率。
16.根据权利要求1所述的信息处理装置，其中，
基于与所述真实空间相关的感测结果来确定所述虚拟图像的特征或状态，并且
所述渲染控制单元基于所述虚拟图像的特征或状态将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
17.根据权利要求16所述的信息处理装置，其中，
所述渲染控制单元基于所述虚拟图像的形状、图案或颜色的复杂度、尺寸或操作的状态中的至少一个将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
18.根据权利要求1所述的信息处理装置，其中，
所述渲染控制单元基于所述显示装置的分辨率将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
19.根据权利要求1所述的信息处理装置，其中，
所述渲染控制单元基于所述显示装置的用户的视线与所述虚拟图像之间的位置关系，将所述虚拟图像的渲染频率在所述第一渲染频率与所述第二渲染频率之间进行切换。
20.根据权利要求1所述的信息处理装置，其中，
所述渲染控制单元使所述第一渲染频率低于由所述显示装置显示的所述虚拟图像的帧率。
21.一种由至少一个处理器执行的信息处理方法，所述方法包括：
基于与真实空间相关的感测结果，将虚拟图像的渲染频率在第一渲染频率与高于所述第一渲染频率的第二渲染频率之间进行切换；以及
使显示装置基于所述感测结果以及所述第一渲染频率或所述第二渲染频率显示所述虚拟图像。
22.一种使计算机执行以下步骤的程序：
基于与真实空间相关的感测结果，将虚拟图像的渲染频率在第一渲染频率与高于所述第一渲染频率的第二渲染频率之间进行切换；以及
使显示装置基于所述感测结果以及所述第一渲染频率或所述第二渲染频率显示所述虚拟图像。
CN201980021161.XA 2018-03-29 2019-01-29 信息处理装置、信息处理方法和程序 Active CN111902859B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-063634 2018-03-29
JP2018063634 2018-03-29
PCT/JP2019/002841 WO2019187592A1 (ja) 2018-03-29 2019-01-29 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN111902859A true CN111902859A (zh) 2020-11-06
CN111902859B CN111902859B (zh) 2024-01-12

Family

ID=68061375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980021161.XA Active CN111902859B (zh) 2018-03-29 2019-01-29 信息处理装置、信息处理方法和程序

Country Status (6)

Country Link
US (1) US11443719B2 (zh)
EP (1) EP3779959B1 (zh)
JP (1) JPWO2019187592A1 (zh)
KR (1) KR20200135352A (zh)
CN (1) CN111902859B (zh)
WO (1) WO2019187592A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395036A (zh) * 2020-11-30 2021-02-23 北京博瑞彤芸科技股份有限公司 页面渲染方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726327B2 (en) * 2020-09-15 2023-08-15 Snap Inc. Eyewear having unsynchronized rolling shutter cameras
WO2022167890A1 (ja) * 2021-02-05 2022-08-11 株式会社半導体エネルギー研究所 電子装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777010A (zh) * 2008-12-22 2010-07-14 英特尔公司 计算机系统的多个组件之间的适应性功率预算分配
JP2013214162A (ja) * 2012-03-30 2013-10-17 Fujitsu Ltd 画像処理方法、画像処理装置及び画像処理プログラム
US20130335442A1 (en) * 2012-06-18 2013-12-19 Rod G. Fleck Local rendering of text in image
US20150379772A1 (en) * 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
US20170178408A1 (en) * 2015-12-22 2017-06-22 Google Inc. Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
CN107454336A (zh) * 2017-09-11 2017-12-08 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189464A (ja) * 2000-12-21 2002-07-05 Canon Inc 画像表示装置および画像表示システム
JP2010050645A (ja) * 2008-08-20 2010-03-04 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
JP7381482B2 (ja) * 2018-03-16 2023-11-15 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベースの中心窩化レンダリング

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777010A (zh) * 2008-12-22 2010-07-14 英特尔公司 计算机系统的多个组件之间的适应性功率预算分配
JP2013214162A (ja) * 2012-03-30 2013-10-17 Fujitsu Ltd 画像処理方法、画像処理装置及び画像処理プログラム
US20130335442A1 (en) * 2012-06-18 2013-12-19 Rod G. Fleck Local rendering of text in image
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
US20150379772A1 (en) * 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
US20170178408A1 (en) * 2015-12-22 2017-06-22 Google Inc. Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN107454336A (zh) * 2017-09-11 2017-12-08 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395036A (zh) * 2020-11-30 2021-02-23 北京博瑞彤芸科技股份有限公司 页面渲染方法及系统
CN112395036B (zh) * 2020-11-30 2023-03-24 北京博瑞彤芸科技股份有限公司 页面渲染方法及系统

Also Published As

Publication number Publication date
EP3779959A1 (en) 2021-02-17
WO2019187592A1 (ja) 2019-10-03
US20210005167A1 (en) 2021-01-07
KR20200135352A (ko) 2020-12-02
EP3779959B1 (en) 2023-10-25
EP3779959A4 (en) 2021-05-26
US11443719B2 (en) 2022-09-13
CN111902859B (zh) 2024-01-12
JPWO2019187592A1 (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
CN109146965B (zh) 信息处理装置、计算机可读介质和头戴式显示装置
CN110047104B (zh) 对象检测和跟踪方法、头戴式显示装置和存储介质
US11886633B2 (en) Virtual object display interface between a wearable device and a mobile device
CN110310329B (zh) 操作显示设备的方法、信息处理系统及非暂时性存储介质
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
EP3414742B1 (en) Optimized object scanning using sensor fusion
CN108292489B (zh) 信息处理装置和图像生成方法
CN107408314B (zh) 混合现实系统
EP3137972B1 (en) Stabilization plane determination based on gaze location
EP2813922B1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
CN111902859B (zh) 信息处理装置、信息处理方法和程序
US20210004081A1 (en) Information processing apparatus, information processing method, and program
US20210042513A1 (en) Information processing apparatus, information processing method, and program
WO2019142560A1 (ja) 視線を誘導する情報処理装置
US11719939B2 (en) Eyewear device dynamic power configuration
US20220291744A1 (en) Display processing device, display processing method, and recording medium
CN114690900A (zh) 一种虚拟场景中的输入识别方法、设备及存储介质
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
WO2019021601A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112840379A (zh) 信息处理装置、信息处理方法及程序
EP4172732A1 (en) Augmented reality eyewear with mood sharing
JP6456551B1 (ja) 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
US20230007227A1 (en) Augmented reality eyewear with x-ray effect
CN115623185A (zh) 虚拟现实模拟器以及计算机可读取记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant