CN112805755B - 信息处理装置、信息处理方法和记录介质 - Google Patents

信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN112805755B
CN112805755B CN201980063614.5A CN201980063614A CN112805755B CN 112805755 B CN112805755 B CN 112805755B CN 201980063614 A CN201980063614 A CN 201980063614A CN 112805755 B CN112805755 B CN 112805755B
Authority
CN
China
Prior art keywords
information
display
display information
light emission
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980063614.5A
Other languages
English (en)
Other versions
CN112805755A (zh
Inventor
西部满
石原敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112805755A publication Critical patent/CN112805755A/zh
Application granted granted Critical
Publication of CN112805755B publication Critical patent/CN112805755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits

Abstract

提供了一种信息处理装置，包括：获取单元，其被配置成获取关于视点与显示信息之间的相对移动的第一信息以及关于用于将显示信息呈现在显示区域中的发光时间段的第二信息；以及控制单元，其基于第一信息和第二信息执行控制，使得显示信息呈现在显示区域中。控制单元根据在发光时间段中视点与显示信息之间的相对移动来校正显示信息在显示区域中的呈现位置。

Description

信息处理装置、信息处理方法和记录介质
技术领域
本公开涉及信息处理装置、信息处理方法和记录介质。
背景技术
近年来，图像识别技术的进步使得能够识别由成像装置捕获的图像中包括的真实对象(即，真实空间中的对象)的位置和取向。作为这种对象识别的应用之一，存在称为增强现实(AR)的技术。通过使用AR技术，可以将诸如文本、图标和动画之类的各种模式的虚拟内容(在下文中称为“虚拟对象”)叠加在真实空间中的对象(在下文中称为“真实对象”)上，并且可以将叠加后的图像呈现给用户。例如，专利文献1公开了使用AR技术向用户呈现虚拟内容的技术的示例。
使用AR技术向用户呈现信息的方法的示例包括使用所谓的透射型显示器的方法。具体地，透射型显示器被支承在用户的眼睛前方，并且显示信息(例如，显示图像)被呈现在显示器上，从而用户可以在视觉上识别在真实空间的光学图像上叠加了显示信息的图像。
引用列表
专利文献
专利文献1：国际公开第2017/183346号
发明内容
本发明要解决的问题
顺便提及，在使用诸如显示器之类的输出单元呈现信息的情况下，周围环境的亮度(照度)会影响所呈现的显示信息的可视性。作为具体示例，在周围环境的照度可以改变的条件下，即使以相同的亮度呈现显示信息，当诸如在室外照度相对高时所呈现的显示信息的可视性也比诸如在室内照度相对低时所呈现的显示信息的可视性低，导致视觉识别困难。从这样的背景出发，例如，提出了一种显示器，该显示器能够通过控制关于显示信息的呈现的发光时间段并且控制要由用户视觉识别的显示信息的亮度来提高显示信息的可视性。
同时，存在这样的一些情况：在控制关于显示信息的呈现的发光时间段的情况下，用户感知到显示信息的呈现位置偏离了实际呈现的位置。特别地，在将显示信息叠加在真实对象上并且使用AR技术向用户呈现的情况下，如上所述的显示信息的呈现位置的偏离倾向于容易被用户感知。
因此，本公开提出了下述技术：即使在关于显示信息的呈现的发光时间段可能改变的情况下，也能够以更有利的模式呈现显示信息。
问题的解决方案
根据本公开，提供了一种信息处理装置，包括：获取单元，其被配置成获取关于视点与显示信息之间的相对移动的第一信息以及关于用于将显示信息呈现到显示区域的发光时间段的第二信息；以及控制单元，其被配置成基于第一信息和第二信息使显示信息呈现在显示区域中，其中，控制单元根据在发光时间段中视点与显示信息之间的相对移动来校正显示信息在显示区域中的呈现位置。
此外，根据本公开，提供了一种信息处理方法，包括：由计算机，获取关于视点与显示信息之间的相对移动的第一信息以及关于用于将显示信息呈现到显示区域的发光时间段的第二信息；以及基于第一信息和第二信息使显示信息呈现在显示区域中，其中，根据在发光时间段中视点与显示信息之间的相对移动来校正显示信息在显示区域中的呈现位置。
此外，根据本公开，提供了一种记录有程序的记录介质，该程序用于使计算机执行：获取关于视点与显示信息之间的相对移动的第一信息以及关于用于将显示信息呈现到显示区域的发光时间段的第二信息；以及基于第一信息和第二信息使显示信息呈现在显示区域中，其中，根据在发光时间段中视点与显示信息之间的相对移动来校正显示信息在显示区域中的呈现位置。
此外，根据本公开，提供了一种信息处理装置，包括：显示控制单元，其被配置成控制头戴式显示装置的具有光学透明性的显示单元，使得当从佩戴显示装置的用户观看时，虚拟对象位于显示单元上、真实空间中的预定绝对坐标处，以及照度信息获取单元，其被配置成从照度传感器获取关于外部光的照度的信息，其中，显示控制单元控制显示单元，使得随着外部光的照度越高，发光时间段变得越长，在虚拟对象在显示单元的显示区域中朝一个方向移动的情况下，显示控制单元在外部光的照度是第一照度的情况下，使虚拟对象在从用户观看时显示在显示区域中的第一位置处，并且在外部光的照度是高于第一照度的第二照度的情况下，使虚拟对象在从用户观看时显示在显示区域中的相对于第一位置的更靠所述一个方向的一侧的第二位置处。
本发明的效果
如上所述，根据本公开，提供了下述技术：即使在关于显示信息的呈现的发光时间段可能改变的情况下，也能够以更有利的模式呈现显示信息。
注意，上述效果不必然是限制性的，并且除了上述效果之外或替代上述效果，可以展现本说明书中描述的效果中的任何效果或能够从本说明书获得的任何其他效果。
附图说明
图1是用于描述根据本公开的实施方式的信息处理系统的示意性配置的示例的说明图。
图2是用于描述根据本实施方式的输入/输出装置的示意性配置的示例的说明图。
图3是用于描述通过控制发光时间段来控制由用户在视觉上识别的显示信息的亮度的方法的概述的说明图。
图4是用于描述AR技术的概述的说明图。
图5是示出基于AR技术的显示信息的呈现模式的示例的图。
图6是用于描述在发光时间段期间由于视点的位置或取向的变化而感知到显示信息的呈现位置偏离的情况的示例的说明图。
图7是用于描述在发光时间段期间由于视点的位置或取向的变化而感知到显示信息的呈现位置偏离的机制的概述的说明图。
图8是用于描述在发光时间段期间由于视点的位置或取向的变化而感知到显示信息的呈现位置偏离的机制的概述的说明图。
图9是用于描述根据实施方式的信息处理系统的技术特性的基本原理的说明图。
图10是用于描述根据实施方式的根据信息处理系统中的发光时间段来校正显示信息的呈现位置的方法的说明图。
图11是示出根据实施方式的信息处理系统的功能配置的示例的框图。
图12是用于描述与预测时间的计算有关的处理的概述的说明图。
图13是示出根据实施方式的信息处理系统的一系列处理的流程的示例的流程图。
图14是用于描述根据第二修改例的关于由信息处理系统呈现显示信息的处理的概述的说明图。
图15是用于描述根据第二修改例的关于由信息处理系统呈现显示信息的处理的概述的说明图。
图16是用于描述根据第二修改例的关于由信息处理系统呈现显示信息的处理的概述的说明图。
图17是示出配置根据本公开的实施方式的信息处理系统的信息处理装置的硬件配置的示例的功能框图。
图18是示出在配置根据本公开的实施方式的信息处理系统的信息处理装置被实现为芯片的情况下的硬件配置的示例的功能框图。
具体实施方式
将参照附图来详细描述本公开的优选实施方式。注意，在本说明书和附图中，通过提供相同的附图标记而省略了对具有基本上相同的功能配置的配置元件的冗余描述。
注意，按如下顺序给出描述。
1.概述
1.1.示意性配置
1.2.输入/输出装置的配置
1.3.自身位置估计的原理
2.根据周围环境的亮度变化检查显示控制
3.技术特性
3.1.基本原理
3.2.功能配置
3.3.处理
3.4.修改例
3.4.1.第一修改例：应用于扫描线发光
3.4.2.第二修改例：在假设显示信息移动的情况下的控制的示例
4.硬件配置
4.1.作为可独立操作的装置的配置示例
4.2.当将信息处理装置实现为芯片时的配置示例
5.结论
<<1.概述>>
<1.1.示意性配置>
首先，将参照图1描述根据本公开的实施方式的信息处理系统的示意性配置的示例。图1是用于描述根据本公开的实施方式的信息处理系统的示意性配置的示例的说明图。在图1中，附图标记M11示意性地表示位于真实空间中的对象(即，真实对象)。此外，附图标记V13和V15示意性地表示被呈现为叠加在真实空间中的虚拟内容(即，虚拟对象)。换言之，例如，根据本实施方式的信息处理系统1基于所谓的增强现实(AR)技术将虚拟对象叠加在诸如真实对象M11的真实空间中的对象上，并且向用户呈现叠加的对象。注意，在图1中，为了容易理解根据本实施方式的信息处理系统的特性，呈现了真实对象和虚拟对象二者。
如图1所示，根据本实施方式的信息处理系统1包括信息处理装置10和输入/输出装置20。信息处理装置10和输入/输出装置20能够经由预定网络彼此发送和接收信息。注意，连接信息处理装置10和输入/输出装置20的网络的类型没有特别限制。作为具体示例，网络可以由诸如基于Wi-Fi(注册商标)标准的网络的所谓的无线网络来配置。此外，作为另一示例，网络可以由因特网、专用线、局域网(LAN)、广域网(WAN)等配置。此外，网络可以包括多个网络，并且网络的至少一部分可以被配置成有线网络。此外，信息处理装置10可以是被配置成能够经由无线通信路径与另一装置进行通信的装置如智能电话等。在这种情况下，输入/输出装置20可以被配置为例如被设置为智能电话的附件的可穿戴式显示器。即，输入/输出装置20是通过经由上述网络连接到被配置为智能电话等的信息处理装置10而与信息处理装置10协同操作的装置(例如，可穿戴式装置)。
输入/输出装置20是用于获得各种类型的输入信息并且向持有输入/输出装置20的用户呈现各种类型的输出信息的配置。此外，输入/输出装置20对输出信息的呈现是由信息处理装置10基于由输入/输出装置20获取的输入信息来控制的。例如，输入/输出装置20获取用于识别真实对象M11的信息作为输入信息，并且将所获取的信息输出到信息处理装置10。信息处理装置10基于从输入/输出装置20获取的信息，识别真实对象M11在真实空间中的位置(即，真实对象M11的绝对坐标)，并且基于识别结果使输入/输出装置20呈现虚拟对象V13和V15。通过这种控制，输入/输出装置20可以基于所谓的AR技术向用户呈现虚拟对象V13和V15，使得虚拟对象V13和V15被叠加在真实对象M11上。注意，在图1中，输入/输出装置20和信息处理装置10被示出为彼此不同的装置。然而，输入/输出装置20和信息处理装置10可以被一体地配置。此外，下面将分别描述输入/输出装置20和信息处理装置10的配置和处理的细节。
已经参照图1描述了根据本公开的实施方式的信息处理系统的示意性配置的示例。
<1.2.输入/输出装置的配置>
接下来，将参照图2描述图1所示的根据本实施方式的输入/输出装置20的示意性配置的示例。图2是用于描述根据本实施方式的输入/输出装置的示意性配置的示例的说明图。
根据本实施方式的输入/输出装置20被配置成所谓的头戴式装置，该头戴式装置被安装在用户的头部的至少一部分上并且被用户使用。例如，在图2所示的示例中，输入/输出装置20被配置成所谓的眼镜型(眼镜型)装置，并且至少镜片293a或镜片293b被配置成透射型显示器(输出单元211)。此外，输入/输出装置20包括第一成像单元201a和201b、第二成像单元203a和203b、操作单元207以及与眼镜的框架对应的保持单元291。当输入/输出装置20被安装在用户的头部上时，保持单元291将输出单元211、第一成像单元201a和201b、第二成像单元203a和203b以及操作单元207保持为相对于用户的头部具有预定位置关系。此外，尽管未在图2中示出，但是输入/输出装置20可以设置有用于收集用户的语音的声音收集单元。
在此，将描述输入/输出装置20的更具体的配置。例如，在图2所示的示例中，镜片293a对应于右眼侧的镜片，镜片293b对应于左眼侧的镜片。换言之，在用户佩戴输入/输出装置20的情况下，保持单元291将输出单元211保持为使得输出单元211(换言之，镜片293a和293b)位于用户的眼睛前方。换言之，保持单元291支承输出单元211，使得输出单元211位于用户的眼睛前方。即，保持单元291对应于“支承单元”的示例。
第一成像单元201a和201b被配置成所谓的立体摄像装置，并且在输入/输出装置20被安装在用户的头部上时被保持单元291保持为面对用户的头部朝向的方向(换言之，用户的前方)。此时，第一成像单元201a被保持在用户的右眼附近，并且第一成像单元201b被保持在用户的左眼附近。基于这种配置，第一成像单元201a和201b从彼此不同的位置捕获位于输入/输出装置20前方的被摄体(换言之，位于真实空间中的真实对象)。从而，输入/输出装置20获取位于用户前方的被摄体的图像，并且可以基于由第一成像单元201a和201b分别捕获的图像之间的视差来计算被摄体距输入/输出装置20的距离。注意，在本公开中，除非另外指定，否则对“图像”的描述可以包括“静止图像”和“运动图像”。
注意，对配置和方法没有特别限制，只要可以测量输入/输出装置20与被摄体之间的距离即可。作为具体示例，可以基于诸如多相机立体、运动视差、飞行时间(TOF)或结构光的方法来测量输入/输出装置20与被摄体之间的距离。这里，TOF是基于通过将诸如红外光的光投射到被摄体上并且针对每个像素测量所投射的光被被摄体反射并且返回所需要的时间的测量结果来获得包括到被摄体的距离(深度)的图像(所谓的距离图像)的方法。此外，结构光是基于从通过用诸如红外光的光的图案照射被摄体并且捕获该图案的成像结果获得的图案的变化来获得包括到被摄体的距离(深度)的距离图像的方法。此外，运动视差是基于即使在所谓的单眼摄像装置中的视差来测量到被摄体的距离的方法。具体地，通过移动摄像装置以从彼此不同的视点捕获被摄体，并且基于捕获图像之间的视差来测量到被摄体的距离。注意，此时，通过使用各种传感器识别摄像装置的移动距离和移动方向，可以更精确地测量到被摄体的距离。注意，可以根据距离测量方法来改变成像单元(例如，单眼摄像装置、立体摄像装置等)的配置。
此外，第二成像单元203a和203b由保持单元291保持，使得当将输入/输出装置20安装在用户的头部上时，用户的眼球位于相应的成像范围内。作为具体示例，第二成像单元203a被保持为使得用户的右眼位于成像范围内。基于这种配置，可以基于由第二成像单元203a捕获的右眼的眼球的图像以及第二成像单元203a与右眼之间的位置关系来识别右眼的视线指向的方向。类似地，第二成像单元203b被保持为使得用户的左眼位于成像范围内。换言之，可以基于由第二成像单元203b捕获的左眼的眼球的图像以及第二成像单元203b与左眼之间的位置关系来识别左眼的视线指向的方向。注意，图2中的示例示出了其中输入/输出装置20包括第二成像单元203a和203b两者的配置。然而，可以仅设置第二成像单元203a和203b之一。
操作单元207是用于从用户接收对输入/输出装置20的操作的配置。操作单元207可以由例如，诸如触摸面板或按钮之类的输入装置配置而成。通过保持单元291将操作单元207保持在输入/输出装置20的预定位置处。例如，在图2所示的示例中，操作单元207被保持在与眼镜的镜腿对应的位置处。
此外，根据本实施方式的输入/输出装置20可以设置有例如加速度传感器和角速度传感器(陀螺仪传感器)，并且可以能够检测佩戴输入/输出装置20的用户的头部的移动(换言之，输入/输出装置20本身的移动)。作为具体示例，输入/输出装置20可以通过检测在横滚方向、俯仰方向和侧倾方向上的分量作为用户的头部的移动来识别用户的头部的位置或取向中的至少任一个的变化。
基于上述配置，根据本实施方式的输入/输出装置20可以根据用户的头部的移动来识别其自身在真实空间中的位置和取向的变化。此外，此时，输入/输出装置20可以基于所谓的AR技术将虚拟内容(换言之，虚拟对象)呈现到输出单元211，以将虚拟内容叠加在位于真实空间中的真实对象上。注意，下面将详细描述输入/输出装置20估计其自身在真实空间中的位置和取向(即，自身位置估计)的方法的示例。
注意，可用作输入/输出装置20的头戴式显示器(HMD)装置的示例包括透视HMD、视频透视HMD和视网膜投影HMD。
透视HMD使用例如半反射镜或透明导光板将包括透明光导等的虚拟图像光学系统(即，具有光学透明性的显示单元)保持在用户的眼睛前方，并且在虚拟图像光学系统内部显示图像。因此，佩戴透视HMD的用户可以在观看在虚拟图像光学系统内部显示的图像的同时将外部风景纳入视野。通过这种配置，例如，透视HMD可以基于AR技术，根据透视HMD的位置或取向中的至少一个的识别结果，将虚拟对象的图像叠加在位于真实空间中的真实对象的光学图像上。注意，透视HMD的具体示例包括所谓的眼镜型可穿戴式装置，在可穿戴式装置中，与眼镜的镜片对应的部分被配置成虚拟图像光学系统。例如，图2所示的输入/输出装置20对应于透视HMD的示例。
在将视频透视HMD安装在用户的头部或面部上的情况下，将视频透视HMD安装为覆盖用户的眼睛，并且将诸如显示器的显示单元保持在用户的眼睛前方。此外，视频透视HMD包括用于捕获周围风景的成像单元，并且使显示单元在用户前方显示由成像单元捕获的风景的图像。通过这样的配置，佩戴视频透视HMD的用户难以将外部风景直接纳入视野，但是用户可以利用显示在显示单元上的图像来确认外部风景。此外，此时，视频透视HMD可以例如基于AR技术，根据视频透视HMD的位置或取向中的至少一个的识别结果，将虚拟对象叠加在外部风景的图像上。
视网膜投影HMD具有被保持在用户的眼睛前方的投影单元，并且图像从投影单元朝向用户的眼睛投影，使得图像被叠加在外部风景上。更具体地，在视网膜投影HMD中，图像从投影单元直接投影到用户的眼睛的视网膜上，并且该图像在视网膜上成像。利用这种配置，即使在用户患有近视或远视的情况下，用户也可以观看更清晰的图像。此外，即使在观看从投影单元投影的图像时，佩戴视网膜投影HMD的用户也可以将外部风景纳入视野。利用这样的配置，视网膜投影HMD可以例如基于AR技术，根据视网膜投影HMD的位置或取向中的至少一个的识别结果，将虚拟对象的图像叠加在位于真实空间中的真实对象的光学图像上。
此外，除了上述示例之外，还可以提及被称为沉浸式HMD的HMD。沉浸式HMD被安装为覆盖用户的眼睛，并且类似于视频透视HMD，将诸如显示器的显示单元保持在用户的眼睛前方。因此，佩戴沉浸式HMD的用户难以将外部风景(换言之，真实世界的风景)直接纳入视野，并且仅看到显示在显示单元上的图像。通过这种配置，沉浸式HMD可以向正在观看图像的用户提供沉浸式感觉。因此，例如，沉浸式HMD可以应用于主要基于虚拟现实(VR)技术来呈现信息的情况。
已经参照图2描述了根据本公开的实施方式的输入/输出装置的示意性配置的示例。
<1.3.自身位置估计的原理>
接下来，将描述当将虚拟对象叠加在真实对象上时，输入/输出装置20估计其自身在真实空间中的位置和取向(即，自身位置估计)的技术原理的示例。
作为自身位置估计的具体示例，输入/输出装置20使用诸如设置在输入/输出装置20中的摄像装置的成像单元来捕获呈现在真实空间中的真实对象上的、具有已知尺寸的标记等的图像。然后，输入/输出装置20通过分析捕获图像来估计其自身相对于标记的相对位置或取向中的至少一个(并且因此估计在其上呈现标记的真实对象)。注意，以下描述将着眼于输入/输出装置20估计其自身位置和取向的情况。然而，输入/输出装置20可以仅估计其自身位置或取向之一。
具体地，可以根据图像中捕获的标记的方向(例如，标记的图案的方向等)估计成像单元相对于标记(以及因此设置有成像单元的输入/输出装置20)的相对方向。此外，在标记的尺寸已知的情况下，可以根据图像中的标记的尺寸来估计标记与成像单元(即，设置有成像单元的输入/输出装置20)之间的距离。更具体地，当从较远的距离捕获标记时，标记被捕获得较小。此外，可以基于成像单元的视角来估计此时在图像中捕获的真实空间中的范围。通过使用上述特性，可以根据图像中捕获的标记的尺寸(换言之，标记在视角中所占的比率)反过来计算标记与成像单元之间的距离。利用上述配置，输入/输出装置20可以估计其自身相对于标记的相对位置和取向。
此外，可以将所谓的同时定位和映射(SLAM)技术用于输入/输出装置20的自身位置估计。SLAM是用于通过使用诸如摄像装置的成像单元、各种传感器、编码器等来并行执行自身位置估计和环境地图的创建的技术。作为更具体的示例，在SLAM(特别是可视化SLAM)中，基于由成像单元捕获的运动图像，顺序地恢复捕获场景(或被摄体)的三维形状。然后，通过使捕获场景的恢复结果与成像单元的位置和取向的检测结果相关联，执行周围环境的地图的创建和对成像单元(以及因此输入/输出装置20)在环境中的位置和取向的估计。注意，例如，通过为输入/输出装置20设置诸如加速度传感器和角速度传感器之类的各种传感器，可以基于各种传感器的检测结果将成像单元的位置和取向估计为指示相对变化的信息。当然，估计方法不必限于基于诸如加速度传感器和角速度传感器之类的各种传感器的检测结果的方法，只要可以估计成像单元的位置和取向即可。
在上述配置下，例如，输入/输出装置20相对于已知标记的相对位置和取向的估计结果——其基于由成像单元对标记的成像结果——可以用于上述SLAM中的初始化处理或位置校正。利用该配置，即使在成像单元的视角中不包括标记的情况下，输入/输出装置20也可以通过基于反映先前执行的初始化和位置校正的结果的SLAM的自身位置估计来估计其自身相对于标记的位置和取向(以及因此在其上呈现标记的真实对象)。
此外，上面的描述着眼于主要基于标记的成像结果来执行自身位置估计的情况的示例。然而，可以将除标记之外的另一目标的检测结果用于自身位置估计，只要该检测结果可以用作自身位置估计的参考即可。作为具体示例，可以将真实空间中的对象(真实对象)的特征部分(诸如对象的形状或图案)的检测结果代替标记来用于SLAM中的初始化处理或位置校正。
已经描述了当将虚拟对象叠加在真实对象上时输入/输出装置20估计其自身在真实空间中的位置和取向(即，自身位置估计)的技术原理的示例。注意，例如，下面的描述将基于以下假设进行：可以基于上述原理来估计输入/输出装置20相对于真实空间中的对象(真实对象)的位置和取向。
<<2.根据周围环境的亮度变化检查显示控制>>
接下来，将描述在周围环境的亮度可能影响信息的呈现诸如使用所谓的透射型显示器的情况的情况下，根据周围环境的亮度变化的显示控制的概况，然后将描述根据本公开的实施方式的信息处理系统的技术问题。注意，在本公开中，除非另有规定，否则对“显示信息”的描述是指诸如图像(例如，静止图像或运动图像)或者经由诸如显示器之类的输出单元在视觉上呈现给用户的字符信息之类的信息。
在使用诸如显示器之类的输出单元呈现信息的情况下，周围环境的亮度(照度)可能会影响所呈现的显示信息的可视性。作为具体示例，在诸如室内的周围环境的照度相对低的情况与诸如室外的周围环境的照度相对高的情况之间，照度有很大不同(例如100至数万倍)。如上所述，在周围环境的照度可以改变的条件下，即使显示信息以相同的亮度呈现，当照度相对高(例如室外)时与当照度相对低(例如室内)时相比，所呈现的显示信息的可视性较低，导致视觉识别困难。在例如使用透射型显示器的情况下，这种周围环境的亮度差异的影响趋于变得更加明显。
在这样的背景下，存在下述一些情况：根据周围环境的亮度(照度)的变化，通过应用以下控制，经由输出单元呈现的显示信息(显示图像)的可视性得到改进，例如：
-控制关于经由输出单元呈现显示信息(显示图像)的发光输出；
-控制关于经由输出单元呈现显示信息(显示图像)的发光时间段；以及
-控制用户可见的外部环境的光。
在“经由输出单元控制关于显示信息(显示图像)的呈现的发光输出”的方法中，通过增加用于经由输出单元呈现信息的发光体的亮度(例如背光)来控制用户在视觉上识别的显示信息的亮度。同时，在“经由输出单元控制关于显示信息(显示图像)的呈现的发光时间段”的方法中，通过使显示器的发光时间段长来控制用户在视觉上识别的显示信息的亮度。注意，在下面的描述中，除非另有规定，否则对“发光时间段”的简单描述是指关于经由输出单元呈现显示信息的发光时间段(例如，诸如显示器的输出单元的发光时间段)。此外，对“不发光时间段”的简单描述是指相对于发光时间段的不发光时间段(例如，诸如显示器的输出单元的不发光时间段)。
此外，在“控制用户可见的外部环境的光”的方法中，例如，通过将偏振元件应用于输出单元，调整透过输出单元并且被用户在视觉上识别的外部环境中的光(在下文中称为“外部光”)的影响。即使在诸如室外的外部照度高的情况下，这样的光控制也可以抑制用户在视觉上识别显示信息的环境的照度。因此，可以改进经由输出单元呈现的显示信息的可视性。
如上所述，通过应用上述关于呈现显示信息的控制之一或者多个控制的组合，即使在周围环境的照度相对高的情况下，也可以期待改进显示信息的可视性的效果。
同时，在根据视点的位置或取向的变化来呈现显示信息的情况下，如在应用参照图1描述的所谓的AR技术的情况下，存在下述一些情况：感知到显示信息的呈现位置偏离了最初假设的根据发光时间段的控制的位置。
这里，为了利于对根据本公开的信息处理系统的技术问题的理解，将描述下述方法的概述：通过控制发光时间段，换言之，通过控制发光时间段与不发光时间段之间的占空比，来控制用户在视觉上识别的显示信息的亮度。
例如，图3是用于描述通过控制发光时间段来控制用户在视觉上识别的显示信息的亮度的方法的概述的说明图。在图3中，Vsync示意性地表示诸如显示器的输出单元的竖直同步信号的定时。即，V_TOTAL表示竖直同步信号的时间段，换言之，对应于诸如显示器的输出单元的刷新率。
VALID_ST示意性地表示替换经由输出单元呈现的图像的定时。即，如图3所示，结合竖直同步信号的时间段来执行图像替换。
EMIT_N示意性地表示用于经由输出单元呈现显示信息的发光时间段与不发光时间段之间的关系，换言之，表示针对竖直同步信号的每个时间段按时间顺序设置的发光时间段和不发光时间段。具体地，由EMIT_N_D指示的定时表示发光定时，由EMIT_N_U指示的定时表示不发光定时。在针对竖直同步信号的每个时间段执行图像替换的定时之间设置发光定时EMIT_N_D和不发光定时EMIT_N_U。此外，在执行图像替换的定时之间的时间段中，从发光定时EMIT_N_D到不发光定时EMIT_N_U的时间段对应于发光时间段，其他时间段对应于不发光时间段。
可以根据通过紧接在前的图像替换设置的要呈现的图像(即，显示信息)的亮度来控制发光时间段的长度。注意，在图3所示的示例中，发光定时EMIT_N_D固定在紧接图像替换定时之后，并且通过适当地控制不发光定时EMIT_N_U来控制发光时间段的长度。当然，图3所示的示例仅是示例，并且不必限制用于控制发光时间段的方法。即，可以通过至少控制发光定时EMIT_N_D或不发光定时EMIT_N_U来控制发光时间段。
接下来，将使用基于所谓的AR技术呈现要叠加在真实空间中的对象(真实对象)上(换言之，要位于真实空间中的预定绝对坐标处)的显示信息的情况作为示例来描述其中感知到显示信息的呈现位置偏离最初假设的根据发光时间段的控制的位置的机制的概述。
例如，图4是用于描述AR技术的概述的说明图，并且图4示意性地示出了用于呈现显示信息以使得显示信息被叠加在真实空间中的对象上的机制。在图4中，附图标记P101示意性地表示视点的位置和取向，并且作为具体示例，P101对应于输入/输出装置20的位置和取向(更严格地说，是佩戴输入/输出装置20的用户的眼睛的位置和取向)。附图标记M121示意性地表示真实空间中的对象(真实对象)。附图标记V100示意性地表示其中呈现了显示信息的显示区域，并且例如可以对应于输入/输出装置20的输出单元211的显示区域。附图标记V111示意性地表示经由输出单元211呈现给用户的显示信息(例如，虚拟对象)。注意，在下面的描述中，为了方便起见，当从视点P101观看时，水平方向、竖直方向和深度方向可以分别称为“X方向”、“Y方向”和“Z方向”。
在基于AR技术呈现显示信息V111的情况下，例如，将目标对象投影到根据从作为基准的观察点(视点P101)看到的视野(视角)限定的屏幕表面上。即，屏幕表面对应于投影表面。例如，在图4所示的示例的情况下，将要呈现的对象(例如，虚拟对象等)投影在作为屏幕表面(投影表面)的显示区域V100的至少一部分上。然后，将对象的投影结果绘制为二维信息，并且在显示区域V100中将绘制结果呈现为显示信息V111。此时，根据例如视点P101与真实对象M121之间的相对位置或取向关系来控制显示信息V111在显示区域V100中的呈现位置。通过这种控制，可以将显示信息V111呈现为使得显示信息V111被叠加在真实对象M121上。
例如，图5是示出基于AR技术的显示信息呈现模式的示例的图，并且图5示意性示出在图4所示的示例中显示信息V111被呈现为叠加在真实对象M121上的状态中的特别理想的状态。具体地，图5示意性地示出了在图4所示的情况下显示信息V111被呈现在图2所示的输出单元211(即，透射型显示器)的显示区域V100中的状态下要由用户在视觉上识别的合成图像(即，真实对象M121和显示信息V111的光学图像)。即，在图4所示的示例中，理想地，由用户在视觉上识别显示信息V111被叠加在真实对象M121上的图像，如图5所示。
同时，如上所述，在通过控制发光时间段的长度来控制要由用户在视觉上识别的显示信息的亮度的情况下，例如，存在下述一些情况：由于在发光时间段期间视点的位置或取向的变化，感知到显示信息的呈现位置偏离最初假设的位置。
例如，图6是用于描述在发光时间段期间由于视点的位置或取向的变化而感知到显示信息的呈现位置偏离的情况的示例的说明图。具体地，图6示意性地示出了在图4所示的示例中在发光时间段期间视点的位置或取向改变的情况。在图6中，附图标记P101、V111和M121表示在图4所示的示例中被赋予相同附图标记的对象。此外，图6所示的X、Y和Z方向分别对应于图4所示的X、Y和Z方向。即，图6示意性地示出了其中在图4所示的示例中在发光时间段期间视点P101的位置或取向在水平方向(X方向)上发生了变化的情况。
此外，图7和图8是用于描述在发光时间段期间由于视点的位置或取向的变化而感知到显示信息的呈现位置偏离的机制的概述的说明图。
具体地，图7示出了在图6所示的情况下通过由成像单元重新捕获合成图像经由配置为透射型显示器的输出单元(例如，图2中的输出单元211)(即，真实空间的光学图像和呈现到输出单元的显示信息)而获得的图像的示例。注意，在图7所示的示例中，用于重新捕获图像的成像单元表示用户的眼睛，并且在视点P101的位置或取向改变的情况下，位置或取向整体上随着视点P101而改变。此外，图7中示出的示例分别示出了在发光时间段(保持时间段)被设置为“1ms”、“8ms”和“16ms”的情况下的重新捕获的结果(换言之，从视点P101在视觉上识别的合成图像)。此外，其中诸如显示器之类的输出单元呈现信息的方法的示例包括同时重写整个画面(全局发光)的方法以及逐行顺序地重写画面(扫描线发光)的方法。为了使描述更容易理解，假设应用了全局发光。
在发光时间段期间视点P101的位置或取向改变的情况下，用于重新捕获图像的成像单元与显示信息V111之间的相对位置或取向关系是固定的，并且成像单元与真实对象M121之间的相对位置或取向关系改变。因此，例如，如图7所示，随着在发光时间段期间视点P101的移动，获得了其中真实对象M121沿移动方向(即，视点的位置或取向的变化方向)具有模糊(例如，运动模糊)的重新捕获结果。随着视点P101的位置或取向的变化程度(例如，视点P101的位置或取向的变化率)越大，真实对象M121的这种模糊倾向于变得越大，并且例如随着发光时间段越长，倾向于变得越大。因此，例如，在视点P101的位置或取向的变化程度与发光时间段无关而相同的情况下，随着发光时间段变得越长，真实对象M121的模糊变得越大，如图7所示。
如上所述，在真实对象M121具有模糊的情况下，存在下述一些情况：真实对象M121的重新捕获结果的中心(即，具有模糊的真实对象M121的中心)与显示信息V111的重新捕获结果的中心(即，显示信息V111的中心)沿视点P101的位置或取向的变化方向彼此偏离，如图7所示。
同时，图8示意性地示出了在图6所示的情况下，用户经由被配置成透射型显示器的输出单元(例如，图2所示的输出单元211)在视觉上识别的合成图像。在图8中，附图标记V100、V111和M121表示在图7所示的示例中被赋予相同附图标记的对象。
具体地，在基于AR技术将显示信息V111呈现为叠加在真实对象M121上的情况下，例如，控制经由输出单元的显示信息V111的呈现，使得会聚角与真实对象M121侧匹配。更具体地，例如，在用户使用双眼在视觉上识别显示信息V111的情况下，通过调整由左眼和右眼视觉上识别的显示信息V111的呈现位置，将会聚角调整为与从视点P101到真实对象M121的距离大致匹配。此外，此时，可以根据输出单元呈现显示信息的方法来调节焦距。
在以这种方式将会聚角调节为与从视点P101到真实对象M121的距离大致匹配的情况下，例如，用户可以在视觉上识别其中在真实对象M121中没有出现模糊并且显示信息V111具有模糊(运动模糊)的合成图像，如图8所示。注意，即使在这种情况下，存在下述一些情况：真实对象M121的光学图像的中心与用户在视觉上识别的显示信息V111的中心(即，具有模糊的显示信息V111的中心)在视点P101的位置或取向的变化方向上彼此偏离，如图8所示。另外，图8所示的真实对象M121的光学图像的中心与由用户在视觉上识别的显示信息V111的中心之间的偏离量在理论上和图7所示的真实对象M121的重新捕获的结果的中心与显示信息V111的重新捕获的结果的中心之间的偏离量匹配。
如图7和图8所示，在真实对象M121的中心与显示信息V111的中心偏离的情况下，用户感知到仿佛显示信息V111的呈现位置已经偏离。此外，如上所述，随着发光时间段变得更长，用户感知到的显示信息V111的呈现位置的偏离随着视点P101的位置或取向的变化而趋于变得更大。
鉴于以上情况，本公开提出了下述技术：即使在关于显示信息的呈现的发光时间段可能改变的情况下，也能够以更有利的模式呈现显示信息。具体地，本公开提出了下述技术：即使在随着视点的位置或取向的变化而在图像中出现根据发光时间段的模糊的情况下，也能够抑制出现用户感知到显示信息的呈现位置的偏离的状态。
<<3.技术特性>>
在下文中，将描述根据本公开的实施方式的信息处理系统1的技术特性。
<3.1.基本原理>
首先，将描述下述技术的基本原理：即使在随着视点的位置或取向的变化而在图像中出现根据发光时间段的模糊的情况下，根据本公开的实施方式的信息处理系统1也抑制出现用户感知到显示信息的呈现位置的偏离的状态。例如，图9是用于描述根据本公开的实施方式的信息处理系统1的技术特性的基本原理的说明图。
如参照图7所描述的，在随着视点的位置或取向的变化而在真实对象M121中出现根据发光时间段的模糊的情况下，具有模糊的真实对象M121的中心与显示信息V111的中心彼此偏离。因此，根据本实施方式的信息处理系统1估计根据视点的位置或取向的变化或发光时间段的变化而发生的具有模糊的真实对象M121的中心与显示信息V111的中心之间的偏离，并且校正显示信息V111的呈现位置以消除偏离。
例如，在图9中，附图标记V100和M121分别表示在图7所示的示例中被赋予相同附图标记的对象。此外，附图标记V115示意性地表示在应用校正之前显示信息V111的呈现位置。此外，附图标记V113示意性地表示在校正了呈现位置之后的显示信息V111。此外，图9所示的示例分别示出了将发光时间段(保持时间段)设置为“1ms”、“8ms”和“16ms”的校正的应用结果。注意，实际上，用户感知到根据视点的位置或取向的变化或者发光时间段的变化而如图8所示在显示信息V111侧发生了模糊，但是为了使描述更易于理解，为了方便起见，将在假设如图7所示在真实对象M121侧发生模糊的情况下给出描述。
如参照图7所述，例如，真实对象M121的这种模糊随着视点P101的位置或取向的变化程度越大而趋于变得更大，并且随着发光时间段越长而趋于变得更大。因此，根据本实施方式的信息处理系统1基于视点P101的移动的检测结果(例如，视点P101的位置或取向的变化)以及发光时间段来估计具有模糊的真实对象M121的中心与显示信息V111的中心之间的偏离。然后，信息处理系统1通过基于偏离的估计结果校正显示区域V100中的显示信息V111的呈现位置来消除偏离。
这里，将参照图10更详细地描述根据发光时间段校正显示信息V111的呈现位置的方法。图10是用于描述在根据本公开的实施方式的信息处理系统中根据发光时间段校正显示信息V111的呈现位置的方法的说明图。在图10中，类似于图3所示的示例，Vsync、VALID_ST和EMIT_N分别表示竖直同步信号的定时、替换经由输出单元呈现的图像的定时以及发光时间段和不发光时间段的开始定时。
此外，在图10中，附图标记T101和T103表示针对竖直同步信号的第n个时间段(nV)设置的发光时间段和不发光时间段。类似地，附图标记T111和T113表示针对竖直同步信号的第(n+1)个时间段(n+1V)设置的发光时间段和不发光时间段。
当信息处理系统1根据外部光的亮度和显示信息V111的亮度确定发光时间段时，信息处理系统1在时间轴上指定与发光时间段的中心对应的定时(在下文中将该定时简称为“发光时间段的中心”)。注意，例如在图9所示的示例中在视觉上识别出在发光时间段期间真实对象M121随着视点的位置或取向的变化而模糊的情况下，发光时间段的中心对应于当真实对象M121在视觉上被识别为实际上位于与具有模糊的真实对象M121的中心对应的位置处的定时。
接下来，信息处理系统1计算到达为了计算显示信息V111的呈现位置的校正量而设置的用于预测的基点(即，用于预测当发生模糊时用户感知到的显示信息的呈现位置的偏离的基点)的定时与所指定的发光中心之间的时间段的长度作为预测时间。即，预测时间对应于从用于预测的基点的定时到目标显示信息被呈现在显示区域中并且被用户在视觉上识别时的延迟。严格来说，预测时间对应于从用于预测的基点的定时到在视觉上识别到真实对象M121实际位于与真实对象M121——其在视觉上被识别为在发光时间段期间随着视点的位置或取向的变化而模糊——的中心对应的位置处的定时的时间段。
例如，在图10中，附图标记T105表示基于发光时间段T101计算出的、与竖直同步信号的第n个时间段(nV)对应的预测时间。此外，附图标记T115表示基于发光时间段T111计算出的、与竖直同步信号的第(n+1)个时间段(n+1V)对应的预测时间。
注意，对于校正显示信息V111的呈现位置的每个触发(例如，竖直同步信号的每个时间段)，关于预测时间的计算的用于预测的基点的定时被简单地设置为与每个触发对应的发光时间段的开始时或开始前的定时。此外，仅需要根据在校正显示信息V111的呈现位置时考虑的关于呈现显示信息V111的一系列处理的流程的延迟来设置用于预测的基点的定时。注意，下面将与信息处理系统1的功能配置的描述一起描述设置用于预测的基点的定时的方法的细节。
然后，信息处理系统1估计在所计算的预测时间内视点P101与显示信息V111之间的相对位置或取向关系的变化，并且根据估计结果来校正显示信息V111在显示区域V100中的呈现位置。
更具体地，信息处理系统1根据视点P101的位置或取向的变化或者显示信息V111本身例如随着动画等的移动来估计在预测时间内在视点P101与显示信息V111之间的相对位置或取向关系的变化。注意，在下文中，为了进一步简化描述，描述将着眼于如在图6所示的示例中显示信息V111本身不移动并且视点P101的位置或取向发生变化的情况，并且下面作为修改例描述显示信息V111本身移动的情况的示例。
信息处理系统1基于所计算的预测时间，根据在预测时间内视点P101的位置或取向的变化来计算在呈现给用户的图像中出现模糊的方向或者模糊量。例如，在视点P101的位置或取向如图6所示在X方向上改变的情况下，沿X方向发生图像(或光学图像)的模糊(例如，在图7和图9中所示的真实对象M121的模糊)。此外，此时发生的模糊量取决于视点P101的位置或取向的变化量以及预测时间(换言之，发光时间段)。
如上所述，信息处理系统1计算随着视点P101的位置或取向的变化而模糊的真实对象M121的中心与显示信息V111的中心之间的偏离。然后，如图9所示，信息处理系统1校正显示信息V111在显示区域V100中的呈现位置，从而消除具有模糊的真实对象M121的中心与显示信息V111的中心之间的偏离。即，随着沿着显示区域V100中发生偏离的方向校正显示信息V111的呈现位置，消除了偏离。作为更具体的示例，在图9所示的示例的情况下，显示信息V111的呈现位置被呈现为根据视点P101的位置或取向的变化而朝向从佩戴输入/输出装置20的用户观看的一个方向移动。注意，在本公开中，上述“一个方向”具有有着特定方向的矢量属性。作为更具体的示例，在图9所示的示例的情况下，显示信息V111的呈现位置被呈现为随着视点P101的位置或取向朝向右方移动而朝向从佩戴输入/输出装置20的用户观看时的左方移动。此时，显示信息V111的呈现位置移动的方向(左方)对应于上述“一个方向”的示例。此外，此时，随着发光时间段变得更长，显示信息V111的呈现位置的校正量在上述一个方向上变得更大。即，随着发光时间段变得更长，显示信息V111的呈现位置被校正为使得显示信息V111的呈现位置进一步朝向上述一个方向(例如，在图9所示的示例的情况下朝向左方)定位。注意，此时，例如，仅需要根据随着视点的位置或取向的变化而发生模糊(运动模糊)的方向(即，视觉上识别到模糊的方向)来估计校正显示信息V111的呈现位置的方向。此外，根据在预测时间内视点P101的位置或取向的变化计算出的偏离量对应于显示信息V111的呈现位置的校正量。
已经参照图9和图10描述了本技术的基本原理，其中，即使在随着视点的位置或取向的变化而在图像中发生根据发光时间段的模糊的情况下，根据本公开的实施方式的信息处理系统1也抑制出现用户感知到显示信息的呈现位置的偏离的状态。
<3.2.功能配置>
接下来，将描述根据本公开的实施方式的信息处理系统1的功能配置的示例。例如，图11是示出根据本实施方式的信息处理系统1的功能配置的示例的框图。具体地，图11示出了图1所示的信息处理系统1的功能配置的示例，具体着眼于下述配置：信息处理装置10根据输入/输出装置20的位置或取向的变化，经由输入/输出装置20的输出单元211向用户呈现信息。
如图11所示，根据本实施方式的信息处理系统1包括成像单元201、输出单元211、第一检测单元251和第二检测单元253以及信息处理装置10。注意，输出单元211对应于例如参照图2描述的输出单元211。
成像单元201对应于被配置成图2中的立体摄像装置的第一成像单元201a和201b。成像单元201捕获真实空间中的对象(被摄体)的图像，并且将捕获图像输出至信息处理装置10。
第一检测单元251示意性地示出了关于获取用于检测输入/输出装置20的位置或取向的变化(以及因此佩戴输入/输出装置20的用户的头部的移动)的信息的部分。换言之，第一检测单元251获取用于检测视点的位置或取向的变化(换言之，输入/输出装置20的位置或取向的变化)的信息。作为具体示例，第一检测单元251可以包括与检测对象的移动有关的各种传感器，例如加速度传感器和角速度传感器。第一检测单元251将所获取的信息输出到信息处理装置10。从而，信息处理装置10可以识别输入/输出装置20的位置或取向的变化。
第二检测单元253示意性地示出了关于获取与输入/输出装置20周围的环境的状态(换言之，佩戴输入/输出装置20的用户周围的环境的状态)有关的信息的部分。作为具体示例，第二检测单元253可以获取关于输入/输出装置20周围的环境的亮度(照度)的信息。在这种情况下，例如，第二检测单元253可以包括与检测周围环境的亮度有关的各种传感器，例如照度传感器。第二检测单元253将所获取的信息输出到信息处理装置10。结果，信息处理装置10可以识别输入/输出装置20周围的环境的状态(例如，输入/输出装置20周围的环境的亮度)。注意，在下面的描述中，假设第二检测单元253获取至少关于输入/输出装置20周围的亮度的信息(例如，外部光的照度的检测结果)作为关于输入/输出装置20周围的环境的状态的信息。
接下来，将描述信息处理装置10的配置。如图11所示，信息处理装置10包括识别处理单元101、绘图处理单元103、校正处理单元105、输出控制单元107和计算单元109。
识别处理单元101获取由成像单元201捕获的图像，并且将分析处理应用于所获取的图像，从而识别在图像中捕获的真实空间中的对象(被摄体)。作为具体示例，识别处理单元101从被配置为立体摄像装置的成像单元201获取从多个不同视点捕获的图像(在下文中也称为“立体图像”)，并且基于所获取的图像之间的视差，针对图像的每个像素测量到图像中捕获的对象的距离。从而，识别处理单元101可以估计或识别在捕获图像时的定时处成像单元201(并且因此输入/输出装置20)与图像中捕获的每个对象之间在真实空间中的相对位置关系(具体地，深度方向上的位置关系)。上面仅是示例，并且对其方法和配置没有特别限制，只要可以识别真实空间中的对象即可。即，可以根据识别真实空间中的对象的方法适当地改变成像单元201等的配置。
此外，例如，识别处理单元101可以基于自身位置估计的技术来识别视点的位置或取向。作为具体示例，识别处理单元101可以基于SLAM执行自身位置估计和环境地图创建，从而识别在真实空间中输入/输出装置20(换言之，视点)与图像中捕获的对象之间的位置关系。在这种情况下，识别处理单元101可以从第一检测单元251获取关于输入/输出装置20的位置和取向的变化的检测结果的信息，并且例如将所获取的信息用于基于SLAM的自身位置估计。注意，以上仅是示例，并且对其方法和配置没有特别限制，只要可以识别视点的位置或取向即可。即，可以根据识别视点的位置或取向的方法适当地改变成像单元201、第一检测单元251等的配置。
然后，识别处理单元101将与输入/输出装置20的自身位置估计的结果(即，视点的位置或取向的识别结果)有关的信息输出到下面将描述的绘图处理单元103和校正处理单元105。注意，例如，由于顺序地获取了关于自身位置估计的结果的信息，因此可以识别输入/输出装置20的位置或取向的变化(即，视点的位置或取向的变化)。即，关于自身位置估计的结果的信息(即关于视点的位置或取向中的至少一个的识别结果的信息)对应于“第一信息”的示例。
此外，识别处理单元101可以识别在图像中捕获的每个对象(即，真实对象)在真实空间中的位置，并且将与识别结果有关的信息输出到绘图处理单元103和校正处理单元105。作为具体示例，识别处理单元101可以将指示针对图像中的每个像素测量的深度(到对象的距离)的信息(即深度图)输出到绘图处理单元103和校正处理单元105。从而，绘图处理单元103或校正处理单元105可以基于该信息来识别真实空间中的对象。
注意，测量到被摄体的距离的方法不限于上述基于立体图像的测量方法。因此，可以根据距离测量方法适当地改变与成像单元201对应的配置。作为具体示例，在基于TOF测量到被摄体的距离的情况下，可以设置用于投射红外光的光源和用于检测从光源投射并且在被摄体处反射的红外光的光接收元件来代替成像单元201。此外，当测量到对象的距离时，可以使用多种测量方法。在这种情况下，可以根据要使用的测量方法在输入/输出装置20或信息处理装置10中设置用于获取要用于测量的信息的配置。当然，不言而喻，可以根据所应用的测量方法适当地改变指示图像中捕获的每个对象在真实空间中的位置的识别结果的信息(例如，深度图)的内容。
如上所述，识别处理单元101顺序地识别视点的位置或取向，并且将关于视点的位置或取向的识别结果的信息(换言之，关于视点的移动的信息)输出到下面将描述的绘图处理单元103和校正处理单元105。
绘图处理单元103从识别处理单元101获取关于视点的位置或取向的识别结果的信息(例如，关于自身位置估计的结果的信息)，并且基于所获取的信息，根据视点的位置或取向在预定缓冲器(例如，帧缓冲器)中绘制要呈现的显示信息。此时，绘图处理单元103可以例如根据视点的位置或取向在显示区域上投影目标对象(例如，具有三维信息的虚拟对象)，并且根据投影的结果在缓冲器中绘制显示信息(即，二维显示信息)。
此外，绘图处理单元103可以从识别处理单元101获取关于对象在真实空间中的位置的识别结果的信息。在这种情况下，例如，绘图处理单元103可以根据真实空间中的对象(真实对象)的识别结果来绘制显示信息。作为具体示例，绘图处理单元103可以根据真实空间中的对象与要呈现的对象之间的位置或取向关系将要呈现的对象投影到显示区域上，并且根据投影的结果在缓冲器中绘制显示信息。
此外，绘图处理单元103可以根据各种条件来控制在缓冲器中绘制的显示信息的颜色和亮度。作为具体示例，当在显示区域上投影目标对象时，绘图处理单元103可以根据在三维空间中定义的光源与目标对象之间的位置关系，控制作为显示信息要绘制的目标对象的颜色和亮度。此外，在基于AR技术呈现要叠加在真实空间中的对象上的显示信息的情况下，绘图处理单元103可以根据对象与显示信息之间的位置关系控制要绘制的显示信息的颜色和亮度。此外，在如上所述地控制要绘制的显示信息的颜色和亮度的情况下，绘图处理单元103可以将关于显示信息的颜色和亮度的信息输出到以下描述的计算单元109。从而，计算单元109可以在考虑要呈现的显示信息的颜色和亮度的情况下执行各种计算(例如，发光时间段的计算)。
计算单元109示意性地表示用于执行要由信息处理装置10使用以执行各种类型的处理的各种类型的信息的计算的配置。作为具体示例，计算单元109根据各种条件计算当下面将描述的输出控制单元107经由输出单元211向用户呈现显示信息时的发光时间段。在这种情况下，计算单元109可以从第二检测单元253获取关于周围环境的亮度(照度)的信息，并且基于该信息来计算发光时间段。注意，计算单元109的从第二检测单元253(例如，照度传感器)获取关于周围环境的亮度(即，外部光的照度)的信息的部分对应于“照度信息获取单元”的示例。此外，作为另一示例，计算单元109可以通过获取与成像单元201对周围环境(即，真实空间)的成像结果对应的图像并且分析图像来获取周围环境的亮度。此外，计算单元109可以从绘图处理单元103获取关于要呈现的显示信息的颜色和亮度的信息，并且基于该信息来计算发光时间段。
此外，如上所述，不仅可以通过发光时间段的控制，而且还可以通过关于呈现显示信息的发光输出的控制或者关于调整周围环境的影响的控制(即，调光功能的控制)来控制由用户在视觉上识别的显示信息的亮度。因此，计算单元109可以根据发光输出和调光功能的控制量(即，对外部光的亮度的影响的调节量)来计算发光时间段。作为更具体的示例，计算单元109可以通过使发光输出更高来使发光时间段更短。此外，作为另一示例，计算单元109可以通过经由调光功能减小周围环境的亮度的影响(即，减小用户在视觉上识别的外部光)来使发光时间段更短。
然后，计算单元109将根据各种计算结果的信息输出到使用该信息的每个单元。作为具体示例，计算单元109将如上所述计算的关于发光时间段的信息输出到校正处理单元105和输出控制单元107。注意，关于发光时间段的信息仅需要包括可以用于指定发光时间段的信息，并且可以包括例如关于发光时间段的开始和结束定时的信息、关于发光时间段的长度的信息等。
校正处理单元105对由绘图处理单元103在缓冲器中绘制的显示信息应用各种类型的校正。作为具体示例，在视点的位置或取向已经改变的情况下，校正处理单元105可以根据视点的位置或取向的变化对显示信息进行校正(所谓的重新投影)，直到由下面将描述的输出控制单元107将由绘图处理单元103在缓冲器中绘制的显示信息呈现给输出单元211为止。在这种情况下，校正处理单元105可以从识别处理单元101获取关于视点的移动的信息(例如，根据视点的位置或取向的识别结果的信息)，并且基于该信息来校正显示信息。注意，从识别处理单元101获取的关于视点的移动的信息对应于“第一信息”的示例。
作为具体示例，校正处理单元105可以基于从识别处理单元101获取的信息、根据视点的移动来计算从视点看到的视野的方向或改变量(换言之，视点与对象之间的相对位置或取向变化)。结果，校正处理单元105可以识别在其上叠加了显示信息的真实空间中的对象在视图中的位置的变化(换言之，显示区域中的位置的变化)，并且可以根据识别结果校正显示信息的呈现位置。
此外，如参照图8和图9所述，校正处理单元105可以在考虑随着视点的位置或取向的变化、根据发光时间段而导致的图像中的模糊的情况下，校正显示信息在显示区域中的呈现位置。
具体地，校正处理单元105从计算单元109获取关于发光时间段的信息，并且基于该信息来计算发光时间段的中心。注意，从计算单元109获取的关于发光时间段的信息对应于“第二信息”的示例。
然后，校正处理单元105计算用于预测的基点的定时与所计算的发光时间段的中止之间的时间段作为预测时间。此时，可以根据视点的位置或者在计算随着变化的影响时考虑的延迟来确定用于预测的基点的定时。
例如，图12是用于描述与预测时间的计算有关的处理的概述的说明图，并且图12示出了用于确定用于预测的基点的定时的方法的示例。
在图12中，被示出为“发光”的时间段对应于图10中示出的每个发光时间段，并且在该时间段中在输出单元的显示区域中呈现显示信息。即，在将目标对象呈现为显示信息的情况下，将根据视点的位置或取向的对象的投影结果绘制为显示信息，然后在对显示信息进行校正(重新投影)之后，经由输出单元呈现校正后的显示信息，如图12所示。因此，例如，与紧接在发光之前执行的显示信息的校正(重新投影)有关的处理延迟或者与在校正之前执行的显示信息的绘制有关的处理延迟可能成为出现用户感知到显示信息的呈现位置偏离的现象的因素。例如，在图12中，示出为dt_render的时间段示意性地表示关于绘制的处理延迟。此外，示出为dt_repro的时间段示意性地表示关于重新投影的处理延迟。此外，示出为dt_emit的时间段表示发光时间段。
从上述背景出发，有利的是，例如，在如图9所示校正显示信息的呈现位置时，考虑根据与重新投影有关的处理延迟或者与绘图和重新投影二者有关的处理延迟中的哪一个来确定用于预测的基点的定时。
例如，在考虑关于重新投影的处理延迟而不考虑关于绘图的处理延迟的情况下，简单地根据关于重新投影的处理的开始定时来确定用于预测的基点的定时。此外，预测时间T1由以下(等式1)描述的计算表达式表示，其中在这种情况下预测时间是T1。
[数学式1]
T1＝dt_repro+dt_emit/2
...(等式1)
此外，作为另一示例，在考虑关于绘图和重新投影两者的处理延迟的情况下，简单地根据关于绘图的处理的开始定时来确定用于预测的基点的定时。此外，预测时间T2由下面(等式2)描述的计算表达式表示，其中在这种情况下预测时间是T2。
[数学式2]
T2＝dt_render+dt_repro+dt_emit/2
...(等式2)
当计算预测时间时，如上所述，校正处理单元105基于从识别处理单元101获取的关于视点的移动的信息和预测时间的计算结果来估计在预测时间期间视点的移动。从而，可以估计在预测时间期间从视点看到的视野的变化(例如，视野的变化方向或变化量)。即，可以基于视野的变化的估计结果来计算在图9所示的示例中随着视点P101的位置或取向的变化而模糊的真实对象M121的中心与显示信息V111的中心之间的偏离。
然后，校正处理单元105基于在预测时间期间视点的移动的估计结果来校正显示信息在显示区域中的呈现位置。具体地，可以基于从视点看到的视野根据视点的移动而改变的方向来计算校正显示信息的呈现位置的方向。此外，可以基于从视点看到的视野根据视点的移动的改变量来计算显示信息的呈现位置的校正量。即，校正量取决于预测时间。
如上所述，当已经由校正处理单元105对在缓冲器中绘制的显示信息执行了各种校正时，输出控制单元107使输出单元211在与显示信息的定时(即，发光定时)一致的时间处在输出单元211中显示经校正的保存在缓冲器中的显示信息。此时，输出控制单元107可以从计算单元109获取关于发光时间段的信息，并且基于该信息来控制关于呈现显示信息的输出单元211的发光时间段。结果，控制了用户经由输出单元211在视觉上识别的显示信息的亮度。
注意，例如，在图11所示的信息处理系统1的功能配置中，用附图标记111示出的处理块(即，包括绘图处理单元103、校正处理单元105和输出控制单元107的处理块)对应于“控制单元”的示例，该控制单元使显示信息显示在输出单元211的显示区域中。此外，处理块111的从识别处理单元101获取关于视点的移动的信息的部分以及从计算单元109获取关于发光时间段的信息的部分对应于获取关于发光时间段的信息的“获取单元”的示例。此外，输出单元211对应于“显示单元”的示例。此外，处理块111(特别是输出控制单元107)对应于使显示信息(例如，虚拟对象等)显示在输出单元211中的“显示控制单元”的示例。注意，执行处理块111的处理器可以被认为对应于“显示控制单元”的示例，或者可以被认为具有与“控制单元”基本相同的配置。
此外，图11所示的信息处理系统1的功能配置仅是示例，并且信息处理系统1的功能配置不必限于图11所示的示例，只要可以实现上述配置的操作即可。作为具体示例，成像单元201、第一检测单元251、第二检测单元253或输出单元211中的至少一个可以与信息处理装置10一体地配置。此外，作为另一示例，信息处理装置10的一些功能可以被设置在信息处理装置10的外部。作为具体示例，与识别处理单元101和计算单元109对应的部分可以被设置在信息处理装置10的外部。注意，在这种情况下，从与设置在信息处理装置10外部的识别处理单元101和计算单元109对应的部分获取信息的接口可以对应于获取关于发光时间段的信息的“获取单元”的示例。此外，信息处理装置10的至少一些功能可以由彼此协作操作的多个装置来实现。
已经参照图11和图12描述了根据本公开的实施方式的信息处理系统1的功能配置的示例。
<3.3.处理>
接下来，将描述根据本公开的实施方式的信息处理系统1的一系列处理的流程的示例，特别是着眼于图1所示的信息处理装置10的操作。例如，图13是示出根据本实施方式的信息处理系统1的一系列处理的流程的示例的流程图，并且图13示出了其中信息处理装置10根据视点的位置或取向的识别结果使显示信息呈现在显示区域中的处理的流程的示例。
如图13所示，信息处理装置10(识别处理单元101)基于与成像单元201对图像的成像结果有关的信息以及由第一检测单元251对输入/输出装置20的位置或取向的变化的检测结果来识别视点的位置或取向中的至少一个。例如，诸如SLAM的自身位置估计技术可以用于识别视点的位置或取向。如上所述，信息处理装置10可以通过顺序地识别视点的位置和取向来识别视点的移动(即，视点的位置和取向的变化)(S101)。
接下来，信息处理装置10(绘图处理单元103)根据视点的位置或取向在预定的缓冲器中绘制要呈现的显示信息。作为具体示例，信息处理装置10可以根据视点的位置或取向将目标对象投影到显示区域上，并且根据投影结果在缓冲器中绘制显示信息(S103)。
此外，信息处理装置10(计算单元109)根据各种条件确定当经由输出单元211将显示信息呈现给用户时的发光时间段。作为具体示例，信息处理装置10可以根据周围环境的亮度(照度)来计算发光时间段。在这种情况下，信息处理装置10可以使用例如根据由第二检测单元253对周围环境的亮度(照度)的检测结果的信息来计算发光时间段(S105)。
接下来，信息处理装置10(校正处理单元105)基于发光时间段的计算结果来估计在发光时间段期间视点的移动(例如，视点的位置或取向的变化)，并且根据估计结果校正在缓冲器中绘制的显示信息。具体地，信息处理装置10计算发光时间段的中心，并且计算用于预测的基点的定时与发光时间段的中心之间的时间段作为预测时间。然后，信息处理装置10通过顺序地识别视点的位置或取向来识别视点的移动，并且基于视点的移动的识别结果和预测时间的计算结果来估计在预测时间内视点的移动。然后，信息处理装置10基于根据在预测时间内视点的移动而估计的从视点看到的视野的变化来校正显示信息在显示区域中的呈现位置(S107)。
然后，信息处理装置10(输出控制单元107)使输出单元211在与显示信息的定时(即，发光定时)一致的时间处在输出单元211中显示经校正的保存在缓冲器中的显示信息。结果，经由输出单元211将显示信息呈现给用户(S109)。
如上所述，信息处理装置10在预定时间段处顺序执行附图标记S101至S109所示的一系列处理，除非给出了终止该一系列处理的指令(S111，否)。作为具体示例，信息处理装置10可以利用经由输出单元211呈现信息的每个时间段(诸如图3所示的竖直同步信号的时间段V_TOTAL)，顺序地执行附图标记S101至S109示出的一系列处理。然后，当接收到关于终止执行一系列处理的指令时(S111，是)，信息处理装置10终止附图标记S101至S109示出的一系列处理的执行。
注意，附图标记S101至S109描述的处理中的某些处理可以与另一处理并行执行。作为具体示例，可以与附图标记S105描述的关于确定发光时间段的处理并行地执行附图标记S103描述的关于绘制显示信息的处理中的至少一些处理。
已经参照图13描述了根据本公开的实施方式的信息处理系统1的一系列处理的流程的示例，特别是着眼于图1所示的信息处理装置10的操作。
<3.4.修改例>
接下来，将描述根据本公开的实施方式的信息处理系统1的修改例。
<3.4.1.第一修改例：应用于扫描线发光>
首先，作为第一修改例，将描述下述情况下的控制的示例：与在应用所谓的扫描线发光的情况下一样，将输出单元的显示区域划分为多个局部区域(例如，线)并且顺序显示每个局部区域的显示信息。
在这种情况下，在全局发光的情况下，仅需要信息处理装置10针对每个局部区域的呈现显示信息的每个触发，执行经由输出单元211针对呈现显示信息的每个触发执行的一系列处理(例如，竖直同步信号的每个时间段V_TOTAL)。具体地，当针对每个局部区域呈现显示信息时，信息处理装置10基于用于在局部区域中呈现显示信息的发光时间段来计算与局部区域对应的预测时间。然后，信息处理装置10基于预测时间的计算结果简单地校正显示信息在局部区域中的呈现位置。注意，局部区域可以被定义为包括构成输出单元的显示区域的一个或更多个单元区域，例如，线或图块。
作为第一修改例，已经描述了下述情况下的控制的示例：与在应用所谓的扫描线发光的情况下一样，将输出单元的显示区域划分为多个局部区域(例如，线)并且顺序显示每个局部区域的显示信息。
<3.4.2.第二修改例：在假设显示信息移动的情况下的控制的示例>
接下来，作为第二修改例，将描述在显示信息本身可以移动例如动画的情况下关于经由输出单元来呈现显示信息的控制的示例，特别是着眼于随着显示信息的移动来控制发光时间段的情况。
首先，将参照图14描述在显示信息本身(换言之，作为显示信息呈现的对象)可以移动的情况下随着显示信息的移动来控制发光时间段的情况的示例。图14是用于描述由根据第二修改例的信息处理系统进行的关于呈现显示信息的处理的概述的说明图，并且图14示意性地示出了随着显示信息本身通过动画等移动来控制显示信息的亮度的情况。注意，图14所示的X、Y和Z方向分别对应于图4所示的X、Y和Z方向。即，图14示意性地示出了例如经由图2所示的输出单元211在视觉上识别的合成图像(即，真实空间中的对象的光学图像或者显示在显示区域中的显示信息)。
具体地，图14中的示例示出了在显示区域中呈现显示信息V201的情况。此时，显示信息V201随着动画等移动，使得显示区域中的呈现位置沿着时间序列改变。更具体地，在图14所示的示例中，显示信息V201移动，使得叠加位置随着移动从暗处变为亮处，然后叠加位置从亮处移动至暗处。注意，在本说明书中，“亮处”是指由于诸如室外的外部光而导致照度相对高的地方。相比之下，“暗处”是指由于外部光被例如遮蔽物等遮蔽而导致照度相对低的地方。换言之，“暗处”对应于照度相对低于“亮处”的地方。此外，在本描述中，为了使描述易于理解，视点的位置或取向(例如，输入/输出装置20的位置或取向)是固定的，并且不会改变。
例如，在显示信息V201被呈现为叠加在亮处的情况下，由于外部光的亮度的影响，存在经由输出单元呈现的显示信息V201的可视性降低的情况。因此，在这种情况下，可以通过使显示信息V201更亮地被呈现来提高显示信息V201的可视性。即，在这种情况下，例如，可以使发光时间段更长。
相反，在显示信息V201被呈现为叠加在暗处的情况下，显示信息V201的可视性高于显示信息V201被叠加在亮处的情况。因此，在这种情况下，与将显示信息V201呈现为叠加在亮处的情况相比，即使抑制了显示信息V201的亮度，也可以在视觉上识别显示信息V201。即，与将显示信息V201呈现为叠加在亮处的情况相比，即使使发光时间段更短，在显示信息V201被呈现为叠加在暗处的情况下，也可以确保期望的可见性。
因此，在图14所示的示例中，例如，当显示信息V201从暗处移动到亮处时，使发光时间段变得更长，而当显示信息V201从亮处移动到暗处时，使发光时间段变得更短。注意，即使在这种情况下，由于使发光时间段更长，所以根据在发光时间段期间显示信息V201的呈现位置的变化，用户在视觉上识别的图像(例如，显示信息V201)也变得模糊，并且感知到显示信息V201的呈现位置偏离。
例如，图15是用于描述由根据第二修改例的信息处理系统进行的与呈现显示信息有关的处理的概述的说明图，并且图15示出了其中感知到随着发光时间段的控制显示信息的呈现位置偏离的机制的概述。具体地，在图15中，水平轴表示时间，竖直轴表示显示信息的呈现位置。此外，在图15中，附图标记G201示意性地表示关于显示信息的呈现的输出单元的发光的开始定时与显示信息的呈现位置之间的关系。即，附图标记G201示意性地表示在用户在视觉上识别的图像不模糊的情况下，如在显示信息被呈现为叠加在暗处的情况下的显示信息的呈现位置的轨迹。
此外，图15中的示例示意性地示出了如下情况：叠加显示信息的位置随时间移动以从暗处变化到亮处，然后，叠加位置沿着时间轴(水平轴)移动以从亮处变化到暗处，如图14所示。因此，在图15所示的示例中，在将显示信息叠加到亮处的时间段期间，使发光时间段更长。例如，附图标记T203示意性地表示在显示信息被呈现为叠加在亮处的情况下的发光时间段。
如图15中所示，通过使发光时间段更长，根据显示信息的呈现位置的变化，用户在视觉上识别的图像模糊，并且感知到显示信息的呈现位置偏离。例如，附图标记G205示意性地表示在亮处用户在视觉上识别的显示信息的轨迹。具体地，如在上述实施方式中一样，用户感知到显示信息被呈现在与发光时间段的中心对应的位置处。
在图15中，通过比较在将显示信息呈现为叠加在暗处的情况下的轨迹G201与轨迹G205，可以看出，存在下述一些情况：即使在显示信息本身移动的情况下，通过使发光时间段更长，也会感知到显示信息的呈现位置偏离。
考虑到这种情况，根据第二修改例的信息处理系统估计具有模糊的显示信息的中心与叠加了显示信息的真实对象的中心之间的偏离，并且根据显示信息的呈现位置的变化或者发光时间段的变化来校正显示信息的呈现位置以消除偏离。
例如，图16是用于描述由根据第二修改例的信息处理系统进行的关于呈现显示信息的处理的概述的说明图，并且图16示意性地示出了由信息处理系统校正显示信息的呈现位置的情况。在图16中，竖直轴和水平轴类似于图15中的竖直轴和水平轴。此外，附图标记G201示意性地表示在将显示信息呈现为叠加在暗处的情况下根据显示信息的呈现的输出单元的发光定时与显示信息的呈现位置之间的关系。换言之，附图标记G201示意性地表示如显示信息被呈现为叠加在暗处的情况下在用户在视觉上识别的图像不模糊的情况下的显示信息的呈现位置的轨迹。
此外，图16中的示例示意性地示出了如下情况：与图15中的示例类似，叠加显示信息的位置随时间移动以从暗处变化到亮处，然后叠加位置沿着时间轴(水平轴)移动以从亮处变化到暗处。即，类似于图15所示的情况，附图标记T203示意性地表示在显示信息被呈现为叠加在亮处的情况下的发光时间段。
此外，附图标记G211示意性地表示在显示信息被呈现为叠加在亮处的情况下，在根据发光时间段T203校正了呈现位置之后，根据显示信息的呈现的输出单元的发光开始定时与显示信息的呈现位置之间的关系。换言之，附图标记G211示意性地表示在将显示信息呈现为叠加在亮处的情况下在输出单元的发光开始定时处经校正的显示信息的呈现位置的轨迹。
相比之下，附图标记G215示意性地表示在校正显示信息的呈现位置之后在亮处用户在视觉上识别的显示信息的轨迹。此外，附图标记G217示意性地示出了在将显示信息呈现为叠加在亮处的情况下根据发光时间段T203应用的对呈现位置的校正(即，要应用的校正的校正方向和校正量)。
即，在图16的示例中，在将显示信息呈现为叠加在亮处的情况下，将根据发光时间段T203和显示信息的移动的校正G217应用于显示信息的呈现位置。结果，用户在亮处在视觉上识别的显示信息的轨迹G215与显示信息被呈现为叠加在暗处时的轨迹G201的延长线基本匹配。这与叠加显示信息的位置移动以从暗处变化到亮处的情况以及叠加显示信息的位置移动以从亮处变化到暗处的情况这两种情况都相似。此外，在第二修改例中，与显示信息的移动(换言之，作为显示信息呈现的对象的移动)有关的信息对应于“第一信息”的示例。
通过上述控制，即使在显示信息本身移动的情况下，也根据发光时间段T203和显示信息的移动来校正显示信息的呈现位置，使得可以消除根据发光时间段T203由用户感知到的显示信息的呈现位置的偏离。
如上所述，无论视点的位置或取向是否改变，根据本公开的实施方式的信息处理系统根据视点与显示信息之间的相对移动(例如，相对位置或取向的变化)来应用对显示信息的呈现位置的校正，从而消除了用户感知的显示信息的呈现位置的偏离。即，即使在视点的位置或取向改变并且显示信息本身移动的情况下，也根据视点与显示信息之间的相对移动以及关于显示信息的呈现的发光时间段来校正显示信息的呈现位置。注意，在这种情况下，沿着视点与显示信息之间的相对位置或取向改变方向校正显示信息的呈现位置。此外，可以根据基于发光时间段以及在预测时间内视点与显示信息之间的相对移动量(例如，位置或取向变化量)来计算显示信息的呈现位置的校正量。此外，在这种情况下，关于视点与显示信息之间的相对移动的信息对应于“第一信息”的示例。
作为第二修改例，已经参照图14至图16描述了关于在显示信息本身可以移动例如动画的情况下经由输出单元来呈现显示信息的控制的示例，特别是着眼于随着显示信息的移动控制发光时间段的情况。
<<4.硬件配置>>
接下来，将描述配置根据本实施方式的信息处理系统的信息处理装置10的硬件配置的示例。
<4.1.作为可独立操作的装置的配置示例>
首先，将参照图17详细描述在将与上述信息处理装置10对应的配置实现为可独立操作的装置(例如，PC、智能电话或服务器)(为了方便起见，将其称为“信息处理装置900”)的情况下的信息处理装置900的硬件配置的示例。图17是示出配置根据本公开的实施方式的信息处理系统的信息处理装置900的硬件配置的示例的功能框图。
配置根据本实施方式的信息处理系统1的信息处理装置900主要包括CPU 901、ROM902和RAM903。此外，信息处理装置900还包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。
CPU 901用作算术处理单元和控制装置，并且根据记录在ROM 902、RAM 903、存储装置919或可移除记录介质927中的各种程序来控制信息处理装置900的一般操作或其一部分。ROM 902存储CPU 901所使用的程序、算术运算参数等。RAM 903主要存储CPU 901所使用的程序、在程序的执行中适当改变的参数等。CPU 901、ROM 902和RAM 903通过由内部总线例如CPU总线配置而成的主机总线907相互连接。注意，参照图11描述的识别处理单元101、绘图处理单元103、校正处理单元105、输出控制单元107和计算单元109例如可以由CPU 901实现。
主机总线907经由桥接器909连接到诸如外围组件互连/接口(PCI)总线之类的外部总线911。此外，输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925经由接口913连接到外部总线911。
输入装置915是由用户操作的操作单元，例如鼠标、键盘、触摸面板、按钮、开关、操纵杆和踏板。此外，输入装置915可以是例如使用红外线或其他无线电波的遥控单元(所谓的遥控器)，或者是与信息处理装置900的操作对应的例如移动电话或PDA的外部连接装置929。此外，输入装置915例如由输入控制电路配置而成，该输入控制电路基于由用户使用上述操作单元输入的信息来生成输入信号，并且将该输入信号输出至CPU 901等。信息处理装置900的用户可以通过操作输入装置915来输入各种数据并且向信息处理装置900给出关于处理操作的指令。
输出装置917由可以在视觉上或听觉上向用户通知所获取的信息的装置来配置。这样的装置的示例包括诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置、灯等的显示装置、诸如扬声器和耳机的声音输出装置以及打印机装置。输出装置917输出例如通过由信息处理装置900执行的各种类型的处理获得的结果。具体地，显示装置将由信息处理装置900执行的各种类型的处理的结果显示为文本或图像。同时，声音输出装置将包括再现的声音数据、语音数据等的音频信号转换为模拟信号并且输出该模拟信号。注意，参照图11描述的输出单元211可以例如由输出装置917实现。
存储装置919是被配置成信息处理装置900的存储单元的示例的用于数据存储的装置。例如，存储装置919由诸如硬盘驱动器(HDD)的磁性存储装置、半导体存储装置、光学存储装置、磁光存储装置等来配置。存储装置919存储由CPU 901执行的程序、各种数据等。
驱动器921是用于记录介质的读取器/写入器，并且被内置在信息处理装置900中或者从外部附接到信息处理装置900。驱动器921读出记录在可移除记录介质927(例如安装的磁盘、光盘、磁光盘或半导体存储器)上的信息，并且将该信息输出到RAM 903。此外，驱动器921还可以在可移除记录介质927(例如安装的磁盘、光盘、磁光盘或半导体存储器)上写入纪录。可移除记录介质927是例如DVD介质、HD-DVD介质、Blu-ray(注册商标)介质等。此外，可移除记录介质927可以是紧凑型闪存(CF(注册商标))、闪存、安全数字(SD)存储卡等。此外，可移除记录介质927可以是例如其上安装有非接触式IC芯片的集成电路(IC)卡、电子装置等。
连接端口923是用于直接连接到信息处理装置900的端口。连接端口923的示例包括通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)端口等。连接端口923的其他示例包括RS-232C端口、光学音频端子、高清多媒体接口(HDMI)(注册商标)端口等。通过将外部连接装置929连接到连接端口923，信息处理装置900从外部连接装置929直接获取各种数据，并且将各种数据提供给外部连接装置929。
通信装置925是例如由通信装置配置而成的、用于连接到通信网络(网络)931等的通信接口。通信装置925是例如用于有线或无线局域网(LAN)、Bluetooth(注册商标)、无线USB(WUSB)等的通信卡。此外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种通信的调制解调器等。通信装置925可以例如根据诸如TCP/IP的预定协议向互联网和其他通信装置发送信号以及从互联网和其他通信装置接收信号等。此外，连接到通信装置925的通信网络931由通过有线或无线连接的网络等配置而成，并且可以是例如互联网、家庭LAN、红外通信、无线电波通信、卫星通信等。
已经描述了可以实现配置根据本公开的实施方式的信息处理系统1的信息处理装置900的功能的硬件配置的示例。上述配置元件中的每一个可以使用通用构件来配置，或者可以通过专用于每个配置元件的功能的硬件来配置。因此，可以根据实施本实施方式的时间的技术水平适当地改变要使用的硬件配置。注意，尽管未在图17中示出，但是本质上提供了与配置根据本实施方式的信息处理系统1的信息处理装置900对应的各种配置。
注意，可以在个人计算机等上准备并且实现用于实现配置根据上述本实施方式的信息处理系统1的信息处理装置900的功能的计算机程序。此外，可以提供存储有这样的计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以经由例如网络而不使用记录介质来传递。此外，执行计算机程序的计算机的数量没有特别限制。例如，多个计算机(例如，多个服务器等)可以彼此协作地执行计算机程序。注意，单个计算机或彼此协作的多个计算机也被称为“计算机系统”。
已参照图17详细描述了在将与上述信息处理装置10对应的配置实现为诸如PC、智能电话或服务器之类的可独立操作的信息处理装置900的情况下的信息处理装置900的硬件配置的示例。
<4.2.将信息处理装置实现为芯片时的配置示例>
接下来，将参照图18详细描述在将与上述信息处理装置10对应的配置实现为诸如GPU之类的芯片(为了方便起见，将其称为“芯片950”)的情况下的芯片950的硬件配置的示例。图18是示出在将配置根据本公开的实施方式的信息处理系统的信息处理装置实现为芯片的情况下的硬件配置的示例的功能框图。
如图18所示，芯片950包括图像处理单元(图形和计算阵列：GCA)951、存储装置(图形存储控制器：GMC)953、显示接口(DIF)955、总线接口(BIF)957、电源控制单元(电源管理单元：PMU)961和引导控制单元(VGABIOS)963。此外，压缩处理单元(压缩单元)959可以被插入在图像处理单元951与存储装置953之间。
图像处理单元951对应于执行关于图像处理的各种类型的处理的处理器。作为具体示例，图像处理单元951执行各种类型的计算处理，例如上述关于投影对象的处理、关于根据投影结果绘制显示信息的处理以及关于校正显示信息诸如重新投影的处理。此外，此时，图像处理单元951可以读取存储在存储装置953中的数据，并且将该数据用于执行各种类型的算术处理。注意，已经参照图11描述的识别处理单元101、绘图处理单元103、校正处理单元105、输出控制单元107和计算单元109的处理例如可以通过图像处理单元951进行的计算处理实现。
存储装置953是用于临时或永久存储各种数据的配置。作为具体示例，存储装置953可以存储根据图像处理单元951的各种类型的算术处理的执行结果的数据。存储装置953可以基于例如视频RAM(VRAM)、窗口RAM(WRAM)、多存储区DRAM(MDRAM)、双数据速率(DDR)、图形DDR(GDDR)、高带宽存储器(HBM)等的技术来实现。
压缩处理单元959对各种数据进行压缩和解压缩。作为具体示例，当数据被存储在存储装置953中时，压缩处理单元959可以根据图像处理单元951的计算结果来压缩数据。此外，当图像处理单元951读取存储在存储装置953中的数据时，在数据被压缩的情况下压缩处理单元959可以对数据进行解压缩。
显示接口955是用于芯片950向显示器(例如，图11所示的输出单元211)发送数据以及从显示器接收数据的接口。作为具体示例，图像处理单元951绘制显示信息的结果经由显示接口955被输出到显示器。此外，作为另一示例，在由图像处理单元951绘制显示信息的结果被存储在存储装置953中的情况下，经由显示接口955将存储在存储装置953中的绘制结果输出到显示器。
总线接口957是用于芯片950向其他装置和外部装置发送数据以及从其他装置和外部装置接收数据的接口。作为具体示例，存储在存储装置953中的数据经由总线接口957被发送到另一装置或外部装置。此外，从另一装置或外部装置发送的数据经由总线接口957被输入到芯片950。注意，例如，输入到芯片950的数据被存储在存储装置953中。
电力控制单元961是用于控制向芯片950的每个部分供应电力的配置。
引导控制单元963是用于在引导芯片950时管理和控制与引导相关的各种类型的处理、各种类型的信息的输入/输出等的配置。引导控制单元963对应于所谓的视频图形阵列基本输入/输出系统(VGABIOS)。
已经参照图18详细描述了在将与上述信息处理装置10对应的配置实现为诸如GPU之类的芯片950的情况下的芯片950的硬件配置的示例。注意，在本公开中，除了如图17所示将配置实现为一个装置的情况以外，将配置实现为“信息处理装置”的情况还可以包括如图18所示将配置实现为要并入装置中的芯片(换言之，部件)的情况。
<<5.结论>>
如上所述，在根据本公开的实施方式的信息处理系统中，信息处理装置包括获取单元和控制单元。获取单元获取关于视点与显示信息之间的相对移动的第一信息以及关于用于将显示信息呈现到显示区域的发光时间段的第二信息。控制单元基于第一信息和第二信息使显示信息呈现在显示区域中。此外，控制单元根据发光时间段期间视点与显示信息之间的相对移动来校正显示信息在显示区域中的呈现位置。具体地，控制单元基于被设置为用于预测的基点的定时以及根据第二信息的发光时间段的中心来计算预测时间，并且基于在预测时间内视点与显示信息之间的相对位置的变化来校正显示信息在显示区域上的呈现位置。
通过上述控制，根据对发光时间段的控制，根据本公开的实施方式的信息处理系统可以防止感知到显示信息的呈现位置偏离最初假设的位置的情况的发生。因此，即使在关于显示信息的呈现的发光时间段可能改变的情况下，根据本公开的实施方式的信息处理系统也可以以更有利的模式呈现显示信息。换言之，即使在周围环境的亮度(照度)改变的情况下，根据本公开的实施方式的信息处理系统也可以根据亮度的变化以更有利的模式向用户呈现显示信息。
注意，以上描述着眼于将根据本公开的实施方式的技术应用于将透射型显示器用作输出单元的头戴式装置的情况。然而，该技术的应用不必受到限制。即，根据本公开的实施方式的技术可以应用于假设在显示信息相对于视点相对移动并且能够根据发光时间段来控制显示信息的亮度的情况下使用的装置。作为具体示例，根据本公开的实施方式的技术可以应用于通过将图像投影到作为输出单元的投影表面上来向用户呈现显示信息的装置。注意，即使在这种情况下，无论视点是否移动，都可以应用根据本公开的实施方式的技术，只要在显示信息相对于视点(换言之，投影机)相对移动的情况下即可。
尽管已经参照附图详细描述了本公开的优选实施方式，但是本公开的技术范围不限于这样的示例。显然，本公开的技术领域中的技术人员可以在权利要求书中描述的技术构思的范围内构思各种修改例或变更，并且修改例和变更自然被理解为属于本公开的技术范围。
此外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。即，与上述效果一起或代替上述效果，根据本公开的技术可以根据本说明书的描述展示对本领域技术人员明显的其他效果。
注意，以下配置也属于本公开的技术范围。
(1)
一种信息处理装置，包括：
获取单元，其被配置成获取关于视点与显示信息之间的相对移动的第一信息以及关于用于将所述显示信息呈现到显示区域的发光时间段的第二信息；以及
控制单元，其被配置成基于所述第一信息和所述第二信息使所述显示信息呈现在所述显示区域中，其中，
所述控制单元根据在所述发光时间段中所述视点与所述显示信息之间的相对移动来校正所述显示信息在所述显示区域中的呈现位置。
(2)
根据(1)所述的信息处理装置，其中，所述控制单元基于根据所述第二信息的所述发光时间段的中心来校正所述显示信息在所述显示区域中的呈现位置。
(3)
根据(2)所述的信息处理装置，其中，所述控制单元计算在被设置为用于预测用户感知到所述呈现位置的偏离的基准点的定时与所述发光时间段的中心之间的预测时间，并且基于在所述预测时间内所述视点与所述显示信息之间的相对位置的变化，校正所述显示信息在所述显示区域中的呈现位置。
(4)
根据(3)所述的信息处理装置，其中，所述控制单元根据所述预测时间来控制所述显示信息在所述显示区域中的呈现位置的校正量。
(5)
根据(3)或(4)所述的信息处理装置，其中，所述控制单元基于下述中的至少任意一个来计算所述预测时间：关于根据所述视点的位置或取向中的至少任意一个校正所述显示信息的呈现位置的延迟；或者关于绘制所述显示信息的延迟。
(6)
根据(1)至(5)中任一项所述的信息处理装置，其中，所述控制单元沿着所述视点与所述显示信息之间的相对位置的改变方向来校正所述显示信息在所述显示区域中的呈现位置。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中，所述控制单元根据所述视点与所述显示信息之间的相对位置的变化量来校正所述显示信息在所述显示区域中的呈现位置的校正量。
(8)
根据(1)至(7)中任一项所述的信息处理装置，其中，根据外部光的亮度来控制所述发光时间段。
(9)
根据(8)所述的信息处理装置，其中，根据外部光的影响的调节量来控制所述发光时间段。
(10)
根据(1)至(9)中任一项所述的信息处理装置，其中，根据用于将所述显示信息呈现到所述显示区域的发光输出来控制所述发光时间段。
(11)
根据(1)至(10)中任一项所述的信息处理装置，其中，所述第一信息是根据所述视点的位置或取向中的至少任意一个的变化的信息。
(12)
根据(1)至(11)中任一项的信息处理装置，其中，所述第一信息是根据作为所述显示信息而显示的对象的移动的信息。
(13)
根据(1)至(12)中任一项所述的信息处理装置，其中，所述显示区域是透射型输出单元的显示区域。
(14)
根据(13)所述的信息处理装置，还包括：
支承单元，其被配置成支承所述输出单元的显示区域，使得在所述信息处理装置被安装在用户的头部上的状态下所述输出单元的显示区域位于用户的眼睛前方。
(15)
根据(1)至(14)中任一项所述的信息处理装置，其中，所述控制单元基于所述第一信息使所述显示信息叠加在真实空间中的对象上。
(16)
根据(1)至(15)中任一项所述的信息处理装置，其中，所述控制单元针对所述显示区域中包括的局部区域中的每个局部区域，基于在关于将所述显示信息呈现到所述局部区域的所述发光时间段中所述视点与所述显示信息之间的相对移动，校正所述显示信息在所述局部区域中的呈现位置。
(17)
一种信息处理方法，包括：
由计算机，
获取关于视点与显示信息之间的相对移动的第一信息以及关于用于将所述显示信息呈现到显示区域的发光时间段的第二信息；以及
基于所述第一信息和所述第二信息使所述显示信息呈现在所述显示区域中，其中，
根据在所述发光时间段中所述视点与所述显示信息之间的相对移动来校正所述显示信息在所述显示区域中的呈现位置。
(18)
一种记录有程序的记录介质，所述程序用于使计算机执行：
获取关于视点与显示信息之间的相对移动的第一信息以及关于用于将所述显示信息呈现到显示区域的发光时间段的第二信息；以及
基于所述第一信息和所述第二信息使所述显示信息呈现在所述显示区域中，其中，
根据在所述发光时间段中所述视点与所述显示信息之间的相对移动来校正所述显示信息在所述显示区域中的呈现位置。
(19)
一种信息处理装置，包括：
显示控制单元，其被配置成控制头戴式显示装置的具有光学透明性的显示单元，使得当从佩戴所述显示装置的用户观看时，虚拟对象位于所述显示单元上、真实空间中的预定绝对坐标处，以及
照度信息获取单元，其被配置成从照度传感器获取关于外部光的照度的信息，其中，
所述显示控制单元控制所述显示单元，使得随着所述外部光的照度越高，发光时间段变得越长，
在所述虚拟对象在所述显示单元的显示区域中朝一个方向移动的情况下，所述显示控制单元
在所述外部光的照度是第一照度的情况下，使所述虚拟对象在从所述用户观看时显示在所述显示区域中的第一位置处，并且
在所述外部光的照度是高于所述第一照度的第二照度的情况下，使所述虚拟对象在从所述用户观看时显示在所述显示区域中的相对于所述第一位置的更靠所述一个方向的一侧的第二位置处。
(20)
根据(19)所述的信息处理装置，还包括：
识别处理单元，其被配置成获取关于所述用户的视点与所述虚拟对象之间的相对移动的信息，其中，
所述显示控制单元根据在所述发光时间段中所述视点与所述虚拟对象之间的相对移动来校正所述虚拟对象在所述显示单元上的呈现位置。
附图标记列表
1 信息处理系统
10 信息处理装置
101 识别处理单元
103 绘图处理单元
105 校正处理单元
107 输出控制单元
109 计算单元
111 处理块
20 输入/输出装置
201 成像单元
211 输出单元
251 第一检测单元
253 第二检测单元

Claims (16)

1.一种信息处理装置，包括：
获取单元，其被配置成获取关于视点与显示信息之间的相对移动的第一信息以及关于用于将所述显示信息呈现到显示区域的发光时间段的第二信息；以及
控制单元，其被配置成：
基于所述第一信息和所述第二信息使所述显示信息呈现在所述显示区域中；
根据在所述发光时间段中所述视点与所述显示信息之间的相对移动来校正所述显示信息在所述显示区域中的呈现位置；
基于根据所述第二信息的所述发光时间段的中心来校正所述显示信息在所述显示区域中的呈现位置；以及
计算在被设置为用于预测用户感知到所述呈现位置的偏离的基准点的定时与所述发光时间段的中心之间的预测时间，并且基于在所述预测时间内所述视点与所述显示信息之间的相对位置的变化，校正所述显示信息在所述显示区域中的呈现位置。
2.根据权利要求1所述的信息处理装置，其中，所述控制单元根据所述预测时间来控制所述显示信息在所述显示区域中的呈现位置的校正量。
3.根据权利要求1所述的信息处理装置，其中，所述控制单元基于下述中的至少任意一个来计算所述预测时间：关于根据所述视点的位置或取向中的至少任意一个校正所述显示信息的呈现位置的延迟；或者关于绘制所述显示信息的延迟。
4.根据权利要求1所述的信息处理装置，其中，所述控制单元沿着所述视点与所述显示信息之间的相对位置的改变方向来校正所述显示信息在所述显示区域中的呈现位置。
5.根据权利要求1所述的信息处理装置，其中，所述控制单元根据所述视点与所述显示信息之间的相对位置的变化量来校正所述显示信息在所述显示区域中的呈现位置的校正量。
6.根据权利要求1所述的信息处理装置，其中，根据外部光的亮度来控制所述发光时间段。
7.根据权利要求6所述的信息处理装置，其中，根据外部光的影响的调节量来控制所述发光时间段。
8.根据权利要求1所述的信息处理装置，其中，根据用于将所述显示信息呈现到所述显示区域的发光输出来控制所述发光时间段。
9.根据权利要求1所述的信息处理装置，其中，所述第一信息是根据所述视点的位置或取向中的至少任意一个的变化的信息。
10.根据权利要求1所述的信息处理装置，其中，所述第一信息是根据作为所述显示信息而显示的对象的移动的信息。
11.根据权利要求1所述的信息处理装置，其中，所述显示区域是透射型输出单元的显示区域。
12.根据权利要求11所述的信息处理装置，还包括：
支承单元，其被配置成支承所述输出单元的显示区域，使得在所述信息处理装置被安装在用户的头部上的状态下所述输出单元的显示区域位于用户的眼睛前方。
13.根据权利要求1所述的信息处理装置，其中，所述控制单元基于所述第一信息使所述显示信息叠加在真实空间中的对象上。
14.根据权利要求1所述的信息处理装置，其中，所述控制单元针对所述显示区域中包括的局部区域中的每个局部区域，基于在关于将所述显示信息呈现到所述局部区域的所述发光时间段中所述视点与所述显示信息之间的相对移动，校正所述显示信息在所述局部区域中的呈现位置。
15.一种信息处理方法，包括：
由计算机，
获取关于视点与显示信息之间的相对移动的第一信息以及关于用于将所述显示信息呈现到显示区域的发光时间段的第二信息；
基于所述第一信息和所述第二信息使所述显示信息呈现在所述显示区域中；
根据在所述发光时间段中所述视点与所述显示信息之间的相对移动来校正所述显示信息在所述显示区域中的呈现位置；
基于根据所述第二信息的所述发光时间段的中心来校正所述显示信息在所述显示区域中的呈现位置；以及
计算在被设置为用于预测用户感知到所述呈现位置的偏离的基准点的定时与所述发光时间段的中心之间的预测时间，并且基于在所述预测时间内所述视点与所述显示信息之间的相对位置的变化，校正所述显示信息在所述显示区域中的呈现位置。
16.一种记录有程序的记录介质，所述程序用于使计算机执行：
获取关于视点与显示信息之间的相对移动的第一信息以及关于用于将所述显示信息呈现到显示区域的发光时间段的第二信息；
基于所述第一信息和所述第二信息使所述显示信息呈现在所述显示区域中；
根据在所述发光时间段中所述视点与所述显示信息之间的相对移动来校正所述显示信息在所述显示区域中的呈现位置；
基于根据所述第二信息的所述发光时间段的中心来校正所述显示信息在所述显示区域中的呈现位置；以及
计算在被设置为用于预测用户感知到所述呈现位置的偏离的基准点的定时与所述发光时间段的中心之间的预测时间，并且基于在所述预测时间内所述视点与所述显示信息之间的相对位置的变化，校正所述显示信息在所述显示区域中的呈现位置。
CN201980063614.5A 2018-10-04 2019-09-02 信息处理装置、信息处理方法和记录介质 Active CN112805755B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-189081 2018-10-04
JP2018189081 2018-10-04
PCT/JP2019/034353 WO2020071029A1 (ja) 2018-10-04 2019-09-02 情報処理装置、情報処理方法、及び記録媒体

Publications (2)

Publication Number Publication Date
CN112805755A CN112805755A (zh) 2021-05-14
CN112805755B true CN112805755B (zh) 2024-04-12

Family

ID=70055790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063614.5A Active CN112805755B (zh) 2018-10-04 2019-09-02 信息处理装置、信息处理方法和记录介质

Country Status (5)

Country Link
US (1) US11749141B2 (zh)
EP (1) EP3862981A4 (zh)
JP (1) JP7367689B2 (zh)
CN (1) CN112805755B (zh)
WO (1) WO2020071029A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013130A1 (ja) * 2021-08-05 2023-02-09 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2024076058A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 센서를 포함하는 웨어러블 전자 장치 및 이의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105980962A (zh) * 2014-02-17 2016-09-28 索尼公司 信息处理设备、信息处理方法和程序
CN108473055A (zh) * 2016-02-05 2018-08-31 麦克赛尔株式会社 平视显示器装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013065991A (ja) * 2011-09-16 2013-04-11 Hitachi Consumer Electronics Co Ltd 映像表示装置
US9230473B2 (en) * 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
JP6844542B2 (ja) * 2015-09-16 2021-03-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN109074681B (zh) 2016-04-18 2023-03-21 索尼公司 信息处理装置、信息处理方法和程序
AU2017314940B2 (en) * 2016-08-26 2021-09-23 Magic Leap, Inc. Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
KR102650572B1 (ko) * 2016-11-16 2024-03-26 삼성전자주식회사 전자 장치 및 그의 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105980962A (zh) * 2014-02-17 2016-09-28 索尼公司 信息处理设备、信息处理方法和程序
CN108473055A (zh) * 2016-02-05 2018-08-31 麦克赛尔株式会社 平视显示器装置

Also Published As

Publication number Publication date
JPWO2020071029A1 (ja) 2021-10-07
US20220036779A1 (en) 2022-02-03
JP7367689B2 (ja) 2023-10-24
CN112805755A (zh) 2021-05-14
EP3862981A4 (en) 2021-12-01
EP3862981A1 (en) 2021-08-11
WO2020071029A1 (ja) 2020-04-09
US11749141B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
US10078367B2 (en) Stabilization plane determination based on gaze location
CN108292489B (zh) 信息处理装置和图像生成方法
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9721395B2 (en) Reprojection OLED display for augmented reality experiences
US10962780B2 (en) Remote rendering for virtual images
CN107430785B (zh) 用于显示三维对象的方法和系统
US20140176591A1 (en) Low-latency fusing of color image data
WO2020003860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2022517991A (ja) 眼追跡に基づく動的レンダリング時間ターゲット化
US11567568B2 (en) Display apparatuses and methods incorporating foveated rendering
US11720996B2 (en) Camera-based transparent display
US11353955B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
US20210377515A1 (en) Information processing device, information processing method, and program
CN112805755B (zh) 信息处理装置、信息处理方法和记录介质
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
Zheng Spatio-temporal registration in augmented reality
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant