CN108027652A - 信息处理设备、信息处理方法以及程序 - Google Patents

信息处理设备、信息处理方法以及程序 Download PDF

Info

Publication number
CN108027652A
CN108027652A CN201680052515.3A CN201680052515A CN108027652A CN 108027652 A CN108027652 A CN 108027652A CN 201680052515 A CN201680052515 A CN 201680052515A CN 108027652 A CN108027652 A CN 108027652A
Authority
CN
China
Prior art keywords
information processing
processing equipment
virtual objects
real object
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680052515.3A
Other languages
English (en)
Other versions
CN108027652B (zh
Inventor
香取知浩
木村淳
深泽辽
近藤臣
近藤一臣
塚原翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108027652A publication Critical patent/CN108027652A/zh
Application granted granted Critical
Publication of CN108027652B publication Critical patent/CN108027652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G06V30/2247—Characters composed of bars, e.g. CMC-7

Abstract

[问题]为了提供信息处理设备、信息处理方法以及程序，由此可以减轻由虚拟对象的显示中的紊乱所引起的烦恼。[解决方案]一种信息处理设备设置有：预测准确性估计单元，其估计预测真实对象的位置或取向的准确性；以及输出控制单元，其基于由预测准确性估计单元进行的估计来输出用于使显示单元显示与真实对象相关联的虚拟对象的信息。

Description

信息处理设备、信息处理方法以及程序
技术领域
本发明涉及信息处理设备、信息处理方法以及程序。
背景技术
近年来，被称为增强现实(AR)的技术已引起公众关注，该技术向用户呈现叠加在真实世界上的附加信息。在AR技术中，呈现给用户的信息也被称为注释，并且可以使用各种形式的虚拟对象(例如文本、图标或动画)来进行可视化。
通常与真实对象相结合地显示AR的虚拟对象，例如，虚拟对象显示在真实对象的表面上，或者显示为好像虚拟对象浮在真实对象上方。因此，期望使虚拟对象的显示适当地跟随真实对象的位置或姿势的变化。作为满足这种要求的技术之一，专利文献1公开了如下技术：识别真实对象的位置或姿势，并且在基于识别结果显示虚拟对象时允许根据识别的稳定性而改变显示。
引用列表
专利文献
专利文献1：JP 2012-221250A
发明内容
技术问题
然而，根据专利文献1中公开的技术，在某些情况下仍然会发生虚拟对象的显示的紊乱。例如，即使在识别稳定的情况下，在没有任何适当的显示控制的情况下虚拟对象的显示被扰乱，这在某些情况下给用户带来不愉快的感觉。因此，本公开内容提出了新颖和改进的信息处理设备、信息处理方法以及程序，其能够进一步减少由虚拟对象的显示的紊乱所引起的不愉快感觉。
问题的解决方案
根据本公开内容，提供了一种信息处理设备，其包括：预测准确性估计单元，其估计与真实对象的位置或姿势的预测有关的预测准确度；以及输出控制单元，其基于预测准确性估计单元的估计结果来输出用于使显示单元显示与真实对象对应的虚拟对象的信息。
另外，根据本公开内容，提供了一种信息处理方法，其包括：由处理器估计与真实对象的位置或姿势的预测有关的预测准确度；以及基于预测准确度的估计结果来输出用于使显示单元显示与真实对象对应的虚拟对象的信息。
另外，根据本公开内容，提供了一种程序，所述程序使计算机用作：预测准确性估计单元，其估计与真实对象的位置或姿势的预测有关的预测准确度；以及输出控制单元，其基于预测准确性估计单元的估计结果来输出用于使显示单元显示与真实对象对应的虚拟对象的信息。
发明的有益效果
根据本公开内容，可以进一步减少如上所述由虚拟对象的显示的紊乱所引起的不愉快感觉。要注意的是，上述效果不一定是限制性的。与上述效果一起或代替于上述效果，可以实现本说明书中描述的效果或者能够从本说明书中得到的其他效果中的任一种效果。
附图说明
[图1]是示出了根据本公开内容的实施方式的信息处理设备的外部配置的示例的图。
[图2]是用于说明技术问题的说明图。
[图3]是用于说明技术问题的说明图。
[图4]是用于说明技术问题的说明图。
[图5]是示出了根据第一实施方式的信息处理设备的逻辑配置的示例的框图。
[图6]是示出了在根据该实施方式的信息处理设备中执行的虚拟对象显示控制处理的流程的示例的流程图。
[图7]是用于说明根据该实施方式的UI示例的说明图。
[图8]是用于说明根据该实施方式的UI示例的说明图。
[图9]是用于说明根据该实施方式的UI示例的说明图。
[图10]是用于说明根据该实施方式的UI示例的说明图。
[图11]是用于说明根据该实施方式的UI示例的说明图。
[图12]是用于说明根据该实施方式的UI示例的说明图。
[图13]是示出了在根据该实施方式的信息处理设备中执行的虚拟对象显示控制处理的流程的示例的流程图。
[图14]是示出了在根据该实施方式的信息处理设备中执行的虚拟对象显示控制处理的流程的示例的流程图。
[图15]是用于说明根据该实施方式的UI示例的说明图。
[图16]是示出了在根据该实施方式的信息处理设备中执行的虚拟对象显示控制处理的流程的示例的流程图。
[图17]是用于说明根据该实施方式的UI示例的说明图。
[图18]是用于说明根据该实施方式的UI示例的说明图。
[图19]是示出了在根据该实施方式的信息处理设备中执行的虚拟对象显示控制处理的流程的示例的流程图。
[图20]是用于说明根据该实施方式的UI示例的说明图。
[图21]是用于说明根据该实施方式的UI示例的说明图。
[图22]是用于说明根据该实施方式的UI示例的说明图。
[图23]是示出了根据该实施方式的HMD的逻辑配置的示例的框图。
[图24]是示出了根据该实施方式的HMD的逻辑配置的示例的框图。
[图25]是示出了根据该实施方式的HMD的逻辑配置的示例的框图。
[图26]是示出了根据修改示例的信息处理设备的逻辑配置的示例的框图。
[图27]是示出了根据该实施方式的信息处理设备的硬件配置的示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施方式。要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的结构元件用相同的附图标记来表示，并且省略这些结构元件的重复说明。
现在，将按照以下顺序给出描述。
1.引言
1.1外部配置示例
1.2技术问题
2.第一实施方式
2.1配置示例
2.2处理流程
2.3UI示例
3.透视型HMD的应用示例
3.1配置示例1
3.2配置示例2
3.3配置示例3
4.修改示例
5.硬件配置示例
6.结论
《1.引言》
<1.1.外部配置示例>
首先，将参照图1描述根据本公开内容的一个实施方式的信息处理设备的外部配置的示例。
图1是示出了根据本实施方式的信息处理设备1的外部配置的示例的图。图1所示的信息处理设备1是也被称为智能眼镜或头戴式显示器(HMD)的装置。信息处理设备1包括框架结构的安装单元50，该信息处理设备1围绕例如用户的头部并且通过安装单元50被固定到用户的头部。信息处理设备1具有以下配置：在图1所示的安装状态下，用于左眼和右眼的一对显示单元20A和20B布置在用户眼睛的前方。例如，透射式显示器被用作显示单元20，并且信息处理设备1能够通过控制透射式显示器的透射率而进入透过状态，即透明或半透明状态。当显示单元20处于透过状态时，即使用户像戴眼镜一样持续佩戴信息处理设备1，正常生活也不会有困难。
显示单元20能够通过以透明或半透明状态显示图像(例如文本或图画)来显示叠加在真实空间的景观上的AR的虚拟对象。换句话说，信息处理设备1可以被实现为透射型HMD。要注意的是，在透射型HMD中，优选地，信息处理设备1通过安装单元50被固定到用户的头部，并且如图1所示，用户的双眼与显示单元20之间的相对位置关系固定。这是因为如果相对位置关系改变，则在显示器上显示虚拟对象的位置会改变。
此外，显示单元20还能够在显示所捕获的真实空间的图像同时显示叠加在成像单元10A和10B所捕获的真实空间的捕获图像上的虚拟对象。显示单元20还能够在显示以下图像的同时显示叠加在虚拟空间的图像上的虚拟对象：所述图像与通过成像单元10A和10B对虚拟空间进行成像所获得的图像类似。换句话说，信息处理设备1可以被实现为沉浸式(视频透视式(video through type))HMD。
可替代地，显示单元20可以被实现为将图像直接投射到用户的视网膜上的LED光源等。换句话说，信息处理设备1可以被实现为投影型HMD。
各种类型的内容可以作为虚拟对象被显示在显示单元20上。例如，内容可以是诸如包括电影或视频剪辑的运动图像内容、由数字静态相机等成像的静止图像内容、电子书等的数据。此外，这样的内容可以全部是要被显示的数据，例如由用户使用个人计算机等产生的诸如图像数据、文本数据或电子表格数据的计算机使用数据、基于游戏程序的游戏图像等。
成像单元10A和10B被布置成：在用户佩戴信息处理设备1的状态下，使用在用户观看的方向上的真实空间作为成像范围来执行成像。成像单元10A和10B中的每一个可以被实现为能够获取用于指示用户观看方向上的距离的信息(以下也称为“深度信息”)的立体相机。在成像单元10A和10B中的每一个被实现为立体相机的情况下，信息处理设备1能够以高的准确度来识别真实空间中的真实对象的形状和姿势。在下文中，成像单元10A和10B中的每一个也被称为“面向外部的立体相机10”。
另一方面，成像单元10C和10D被布置成：在用户佩戴信息处理设备1的状态下，使用用户的方向(更具体地，用户双眼的方向)作为成像范围来执行成像。成像单元10C和10D中的每一个可以被实现为能够在用户双眼的方向上获取深度信息的立体相机。在成像单元10C和10D中的每一个被实现为立体相机的情况下，信息处理设备1能够以高的准确度识别出用户的眼球位置、瞳孔位置、视线方向等。在下文中，成像单元10C和10D中的每一个也被称为“面向内部的立体相机10”。
此外，虽然在图1中未示出，但是信息处理设备1可以具有扬声器或耳机扬声器。此外，信息处理设备1可以包括用于获取外部声音的麦克风。
图1所示的信息处理设备1的外观是示例，可以考虑用户佩戴信息处理设备1的各种结构。信息处理设备1可以包括通常被认为是眼镜型或者头戴式的安装单元，并且至少在该实施方式中，显示单元20被布置成靠近用户的眼睛就足够了。此外，显示单元20可以被配置成使得设置与双眼相对应的一对单元或者可以设置与一只眼睛相对应的单个单元。
类似地，可以设置与左耳和右耳相对应的两个扬声器或两个耳机扬声器，或者可以设置与一只耳朵相对应的一个扬声器或一个耳机扬声器。此外，可以设置一个或更多个麦克风，并且这种布置是任意的。
上面已经描述了根据本公开内容的实施方式的信息处理设备1的外部配置的示例。
注意，在下面的描述中，作为示例，假定信息处理设备1被实现为透射型HMD。在下文中，显示在信息处理设备1的显示单元20(透射型显示器)上的图像(包括透明可见的背景和叠加显示的虚拟对象)也被称为“真实空间图像”。
<1.2技术问题>
随后，将参照图2至图4描述技术问题。
图2至图4是用于说明技术问题的说明图。图2示出了真实空间图像中包括的真实对象的位置或姿势的变化的示例。在该图中，时间从左侧流向右侧。
假定信息处理设备1在预测真实对象70的位置或姿势的变化的同时在与预测位置相对应的位置处或以与预测姿势相对应的姿势显示虚拟对象。为此，信息处理设备1首先在时间T0处检测(感测)与真实空间图像60A中所包括的真实对象70有关的信息。例如，信息处理设备1从用户的视点用相机对真实空间的状况进行成像，并且将该状况读取为数字数据。然后，在时间T1处，信息处理设备1基于在时间T0处检测到的信息来预测在时间T2处真实对象的位置或姿势的变化。例如，信息处理设备1基于捕获图像来识别真实对象70，并且预测所识别的真实对象70的位置或姿势的变化。然后，信息处理设备1在时间T2处基于预测结果在真实空间图像60B中显示虚拟对象80。
在此应当注意的是，从检测到用于预测的信息的时间T0到显示虚拟对象80的时间T2有一段时间(即，时间延迟(time lag))。当在时间延迟中没有以高的准确度预测真实对象70的情况下，发生显示紊乱，在该显示紊乱中，以与虚拟对象80本来应当显示的位置或姿势相偏离的位置或姿势而显示虚拟对象80，这会使用户感到混淆或者给用户带来不愉快的感觉。在下文中，将参照图3和图4来描述这一点。
图3示出了在以高的准确度执行预测的情况下在时间T2处显示的真实空间图像60C的示例。如真实空间图像60C中所示，虚拟对象80被精确地叠加在真实对象70的位置处。因此，用户既不会感到混淆也不会产生不愉快的感觉。
图4示出了在没有以高的准确度执行预测的情况下在时间T2处显示的真实空间图像60D的示例。如真实空间图像60D所示，虚拟对象80被显示在与真实对象70的位置分开的位置处。显示的这种偏离使用户感到混淆或者给用户带来不愉快的感觉。
类似的技术问题同样会发生在例如具有非透射式显示器的视频透视式HMD以及具有透射式显示器的装置中。例如，上述的显示紊乱类似地会发生在以下配置中：在该配置中，与在显示器上实时显示真实空间的状况并行地，在预测位置处或以预测姿势显示虚拟对象。
对于这样的问题，认为通过专利文献1所描述的技术难以充分地抑制显示紊乱。即使在识别稳定的情况下，例如，在预测准确度低的情况下虚拟对象的显示也可能被扰乱。在真实对象不规律地移动的情况下，例如，会显著地发生显示紊乱。另外，根据专利文献1，虚拟对象在时间T2处被叠加显示在已经在时间T0处成像的真实空间的图像上。换句话说，由于专利文献1中所描述的技术没有将时间T0与时间T2之间的时间延迟期间的真实对象的移动和其姿势的变化纳入考虑，因此不能解决上述技术问题。
因此，考虑到作为一个关注点的上述情况，设计了根据本公开内容的一个实施方式的信息处理设备1。根据该实施方式的信息处理设备1能够通过基于与上述时间延迟有关的预测准确度而执行显示控制，来抑制虚拟对象的显示的紊乱，并且即使在显示被扰乱的情况下，也可以减少给用户带来的混淆或者不愉快的感觉。
另外，在下文中时间T0也将被称为检测时间，以及时间T2也将被称为显示时间。
《2.第一实施方式》
首先，将参照图5描述根据第一实施方式的信息处理设备的配置的示例。
<2.1配置示例>
图5是示出了根据该实施方式的信息处理设备的逻辑配置的示例的框图。如图5所示，根据该实施方式的信息处理设备1包括真实对象检测单元100、真实对象识别单元120、真实对象预测单元140、视点检测单元200、视点识别单元220、视点预测单元240、描绘延迟检测单元300、视界内状态预测单元400、预测准确性估计单元500、输出控制单元600以及显示单元700。
(真实对象检测单元100)
真实对象检测单元100具有在检测时间T0处检测关于真实对象的信息的功能。例如，真实对象检测单元100获取由传感器检测到的信息，该传感器将真实对象作为感测目标进行感测。作为这样的传感器，例如可以举例出相机、深度传感器、红外传感器、无线电波传感器等。另外，真实对象检测单元100可以被实现为图1所示的示例中的面向外部的立体相机10。
(真实对象识别单元120)
真实对象识别单元120具有基于由真实对象检测单元100获取的信息来识别真实对象的功能。真实对象识别单元120识别真实对象的位置或姿势。假定真实对象的位置或姿势是指真实对象在世界坐标系中的位置或姿势。世界坐标系是表示在真实空间中固定地定义的绝对坐标的坐标系。
可以采用各种方法来识别真实对象。
例如，可以通过将根据捕获图像计算的特征量与真实对象的预先登记的特征量进行匹配来执行真实对象的识别。例如，特征量可以通过公知的特征量计算技术(例如SIFT方法或随机蕨方法)来计算。
此外，可以通过识别已知图形或附接至真实对象的符号、人造标记(例如，条形码或QR码(注册商标))、天然标记等来执行真实对象的识别。
可替代地，可以根据由立体相机获得的图像基于每个像素的深度信息和深度信息的可靠度来执行真实对象的识别。例如，真实对象识别单元120基于从不同视点(双目视差)对作为成像目标的同一真实空间进行成像而获得的多个捕获图像中的真实物质的差异来识别真实对象的位置和形状(换句话说，从成像单元观看的真实空间的不规则性)。要注意的是，由于立体图像识别的特性，与色调等变化小的区域有关的深度信息的可靠度会是低的。可以使用任意技术，例如飞行时间(ToF)方案的深度传感器，来获取深度信息。
(真实对象预测单元140)
真实对象预测单元140具有基于真实对象识别单元120的识别结果执行关于真实对象在显示时间T2处的预测的功能。例如，真实对象预测单元140具有预测真实对象在显示时间T2处的位置或姿势的功能。为此，真实对象预测单元140累积所识别的真实对象的位置或姿势的日志(log)，并且基于所累积的日志来执行预测。在下文中，将描述预测方法的示例。
例如，真实对象预测单元140通过以下等式来预测在时间t0位于坐标(xt 0,yt 0,zt 0)处的真实对象在时间t所处的位置。
(xt,yt,zt)＝(xt0+Vxt0(t-t0),yt0+Vyt0(t-t0),zt0+Vzt0(t-t0))…(1)
在真实对象在时间t0处以速度vt0＝(vxt0,vyt0,vzt0)移动并且假定真实对象在时间t之前以恒定速度线性移动来执行预测的情况下，使用上述等式(1)。
(视点检测单元200)
视点检测单元200具有在检测时间T0处检测关于视点的信息的功能。视点可以指用户的眼睛的位置或姿势(换句话说，视线的方向)，或者可以指显示单元700的位置或姿势，或者可以包括两者。例如，视点检测单元200获取由传感器检测到的信息，该传感器感测作为感测目标的用户或者信息处理设备1本身。作为这种传感器，例如可以举例出相机、深度传感器、陀螺仪传感器、加速度传感器、全球导航卫星系统(GNSS)等。另外，视点检测单元200可以被实现为图1所示的示例中的面向内部的立体相机10以及面向外部的立体相机10。例如，由面向内部的立体相机10捕获的图像可以用于识别眼睛相对于脸部上的相对坐标系往哪个方向看。另外，由面向外部的立体相机10捕获的图像可以用于识别外部世界中的特征点的移动以及用于识别世界坐标系中的视点(换句话说，头部)的移动(即，稍后将描述的SLAM方法)。该识别由稍后将描述的视点识别单元220来执行。
(视点识别单元220)
视点识别单元220具有基于视点检测单元200所获取的信息来识别视点的位置或姿势的功能。假定视点的位置或姿势是指视点在世界坐标系中的位置或姿势。
可以采用各种方法用于识别视点。
例如，可以通过公知的图像识别技术例如从运动恢复结构(structure frommotion，SfM)方法或同时定位与地图构建(simultaneous localization and mapping，SLAM)方法来执行视点的识别。在这种情况下，例如，通过识别参考环境(真实空间)的坐标系相对于信息处理设备1的设备特定坐标系的相对位置和姿势来执行视点的识别。例如，在使用SLAM方法的情况下，基于扩展卡尔曼滤波器的原理对于捕获图像的每一帧更新状态变量以及捕获图像中所包括的至少一个特征点的位置，该状态变量包括装置的位置、姿势、速度和角速度。因此，可以使用从单目相机输入的输入图像基于装置的位置和姿势来识别参考环境的位置和姿势。要注意的是，对于SLAM技术的详细描述，参见例如“Real-TimeSimultaneous Localization and Mapping with a Single Camera”(Andrew J.Davison，关于计算机视觉的第九次IEEE国际会议的会议记录，第2卷，2003年，第1403至1410页)。
可替代地，可以通过任意方法来执行视点的识别，只要能够识别真实空间中的成像单元的相对位置和姿势即可。例如，可以基于从可被安装在成像单元中的深度传感器获得的深度数据来识别环境识别矩阵。也可以基于从环境识别系统(例如红外测距系统或运动捕捉系统)输出的输出数据来识别环境识别矩阵。在例如以下文献中描述了这种技术的示例：S.Izadi等人，KinectFusion:Real-time 3D Reconstruction and InteractionUsing a Moving Depth Camera，关于用户界面软件和技术的ACM研讨会，2011年，但是技术不限于此，而是可以使用各种公知的技术。
可替代地，可以通过以下方式来执行视点的识别：通过对捕获真实空间的一系列帧图像的拼接分析(stitching analysis)来指定各个帧图像的相对位置关系。在这种情况下，拼接分析可以是将帧图像附着到基平面上的二维拼接分析，或者是将帧图像附着到空间中的任意位置上的三维拼接分析。
此外，可以通过使用一起包括在信息处理设备1中的惯性传感器(例如加速度传感器或陀螺仪传感器)来执行视点的识别。在这种情况下，可以以更高的速度识别视点。此外，即使在由于用户(相机位置)以高速度进行移动所引起的运动模糊等而导致难以基于捕捉图像识别视点的情况下，也可以以一定准确度来执行识别。
(视点预测单元240)
视点预测单元240具有基于视点识别单元220的识别结果执行关于视点在显示时间T2处的预测的功能。例如，视点预测单元240预测视点在显示时间T2处的位置或姿势。为此，视点预测单元240累积所识别的视点的位置或姿势的日志，并且基于所累积的日志来执行预测。作为具体的预测方法，可以采用与上面关于真实对象预测单元140所描述的预测方法类似的预测方法。
(描绘延迟检测单元300)
描绘延迟检测单元300具有检测在检测时间T0与显示时间T2之间的时间延迟的功能。时间延迟可以是预定值或者可以动态变化。时间延迟的长度可以根据从检测时间T0到显示时间T2执行的各种处理的处理时间而变化。例如，当处理负荷低时，时间延迟可以变短，而当处理负荷高时，时间延迟可以变长。另外，时间延迟的长度也可以根据执行各种处理的CPU、GPU、传感器等的操作频率设置、节能设置的开启/关闭等而变化。例如，描绘延迟检测单元300可以基于各种处理的处理负荷、操作频率设置、节能设置的开启/关闭等来检测时间延迟。
(视界内状态预测单元400)
视界内状态预测单元400具有预测在显示时间T2处出现在用户的视野中(换句话说，在真实空间图像中)的真实对象的位置或姿势的功能。预测是与从检测到用于预测的信息的时刻T0到显示虚拟对象的时刻T2的时间延迟有关的预测。视界内状态预测单元400基于真实对象预测单元140和视点预测单元240的预测结果来执行与在时间延迟期间真实对象如何移动以及视点如何移动有关的预测。另外，假定出现在用户的视野中的真实对象的位置或姿势是指真实对象在用户的眼睛所观看的显示单元700的显示平面上的位置或姿势。
(预测准确性估计单元500)
预测准确性估计单元500具有如下功能：估计与出现在显示单元700上的(例如，通过透射式显示器而透射的，或在非透射式显示器上显示的)真实对象的位置或姿势的预测有关的预测准确度。具体地，预测准确性估计单元500估计由视界内状态预测单元400进行的预测的准确度。另外，预测准确性估计单元500可以在预测准确度低的情况下估计预测准确度低的因素。
可以考虑估计预测准确度的各种方法。
例如，预测准确性估计单元500可以基于检测时间T0与显示时间T2之间的时间延迟来估计预测准确度。例如，预测准确性估计单元500估计到：随着时间延迟越长预测准确度越低，并且估计到：随着时间延迟越短预测准确度越高。这是因为随着时间延迟越长，错误发生的可能性增加。可替代地，预测准确性估计单元500可以在时间延迟等于或大于阈值的情况下确定预测准确度低，而在时间延迟小于阈值的情况下确定预测准确度高。
例如，预测准确性估计单元500可以基于用于预测真实对象或视点的位置或姿势的目标的运动的幅度或者规则性中至少之一来估计预测准确度。具体地，预测准确性估计单元500估计到：随着目标的运动越大预测准确度越低，并且估计到：随着目标的运动越小预测准确度越高。类似地，预测准确性估计单元500估计到：随着目标的运动的规则性越低预测准确度越低，并且估计到：随着目标的运动的规则性越高预测准确度越高。可以以与在时间延迟的情况下的方式类似的方式使用阈值。另外，例如，本文中所描述的目标指真实对象、显示单元700、用户的眼睛等。换句话说，预测准确性估计单元500可以基于真实对象的运动的幅度或者规则性来估计预测准确度。可替代地，预测准确性估计单元500可以基于显示单元700的运动的幅度或者规则性来估计预测准确度。可替代地，预测准确性估计单元500可以基于用户的眼睛的运动的幅度或者规则性来估计预测准确度。
(输出控制单元600)
输出控制单元600控制由显示单元700进行的虚拟对象的显示的处理(描绘处理)。具体地，输出控制单元600允许在与视界内状态预测单元400所预测的真实对象的位置相对应的位置处或者以与视界内状态预测单元400所预测的真实对象的姿势相对应的姿势来显示虚拟对象。以这种方式，可以例如在真实对象的表面上叠加显示虚拟对象，或者在真实对象上方以相关联的方式显示虚拟对象。
在此，虚拟对象的显示位置可以指用户感知的真实空间的位置(换句话说，世界坐标系中的位置)，或者可以指显示单元700(例如透射式显示器)上的位置(换句话说，屏幕上的坐标)。然而，虚拟对象的显示可以根据其所指的内容而不同。例如，即使在用户感知的位置处有透视感时，虚拟对象也可以显示在显示单元700上的同一位置处。
输出控制单元600基于预测准确性估计单元500的估计结果来控制与真实对象相对应的虚拟对象的显示。这是因为随着预测准确度越高，越不太可能发生显示的紊乱，而随着预测准确度越低，越容易发生显示的紊乱。输出控制单元600能够通过考虑预测准确度而执行显示，来进一步抑制虚拟对象的显示的紊乱。
例如，输出控制单元600可以允许虚拟物体的显示，使得与对应的真实对象的相关性随着预测准确度越高而越高，以及可以允许虚拟对象的显示，使得与对应的真实对象的相关性随着预测准确度越低而越低。这是因为例如随着预测准确度越低，越容易发生显示的紊乱，例如在与真实对象分开的位置处显示虚拟对象。在这种情况下，通过显示具有低相关性的虚拟对象(例如以粗略的方式)，即使在虚拟对象被显示在与真实对象分开的位置的情况下，用户也可以粗略地掌握相关性。以这种方式，即使在虚拟对象的显示被扰乱的情况下，也可以通过显示具有低相关性的虚拟对象来减小其影响。在预测准确度较高的情况下，通过显示具有高相关性的虚拟对象，允许用户清楚地掌握相关性。稍后将参照图7至图11详细描述与这样的显示控制有关的具体的UI示例。例如，关于图7，具有高相关性的显示指示虚拟对象被显示得小，而具有低相关性的显示指示虚拟对象被显示得大。当虚拟对象显示得较小时，真实对象位于具有较小间隙的虚拟对象内，并且表达出较高的相关性。另一方面，当虚拟对象显示得较大时，真实对象位于具有较大间隙的虚拟对象内，并且表达出较低的相关性。在另一示例中，关于图11，具有高相关性的显示指示没有应用运动模糊处理的显示，而具有低相关性的显示指示应用了运动模糊处理的显示。在没有向虚拟对象应用运动模糊处理的情况下，虚拟对象的显示位置变得清晰，并且清楚地(换句话说，高地)表达出与真实对象的相关性。在向虚拟对象应用了运动模糊处理的情况下，虚拟对象的显示位置变得模糊，并且模糊地(换句话说，低地)表达出与真实对象的相关性。
例如，输出控制单元600可以使得随着预测准确度越高越清楚地显示虚拟对象，以及可以使得随着预测准确度越低越模糊地显示虚拟对象。更具体地，输出控制单元600可以使得随着预测准确度越低以进一步模糊的方式显示虚拟对象。这是因为例如随着预测准确度越低，会更容易发生显示的紊乱，例如在与真实对象分开的位置处显示虚拟对象。在这种情况下，即使在虚拟对象被显示在与真实对象分开的位置处的情况下，也可以通过模糊地(例如朦胧地)显示虚拟对象本身来削弱偏离的印象。以这种方式，即使在虚拟对象的显示被扰乱的情况下，也可以通过模糊显示减小其影响。在预测准确度高的情况下，虚拟对象可以清楚地显示在适当的位置处。稍后将参照图10至图12详细描述与这样的显示控制有关的具体的UI示例。
输出控制单元600可以允许虚拟对象的显示根据预测准确度低的因素来显示。例如，输出控制单元600根据该因素选择能够进一步减小显示紊乱的影响的描绘方法。以这种方式，即使在虚拟对象的显示被扰乱的情况下，也可以减小其影响。
稍后将详细描述具体的UI示例。
另外，尽管在上面的描述中已经给出了输出控制单元600控制虚拟对象的显示的描述，但是更具体地，输出控制单元600将用于允许显示虚拟对象的信息输出至显示单元700。在这种情况下，输出控制单元600确定描绘虚拟对象的区域、姿势、尺寸等；生成所呈现的虚拟对象的图像信息；并且输出所生成的图像信息。然后，显示单元700基于图像信息执行显示。
(显示单元700)
显示单元700具有向用户显示信息的功能。显示单元700基于由输出控制单元600进行的控制来显示虚拟对象。显示单元700可以是透射式显示装置，其在透射存在于真实空间中的真实对象的同时显示虚拟对象。在这种情况下，信息处理设备1被实现为图1中所示的透射型HMD，以及显示单元700被实现为图1中所示的显示单元20A和20B。另外，显示单元700可以是非透射式显示装置，其实时显示所成像的真实对象并且还显示虚拟对象。在这种情况下，信息处理设备1可以被实现为沉浸式(视频透视式)HMD。
(补充说明)
虽然图5示出了各个部件包括在同一设备中的示例，但是本技术不限于这样的示例。例如，信息处理设备1的各个部件可以分离地包括在多个装置中，并且例如可以分离地包括在执行信息处理的服务器中以及执行输入和输出的客户端中。另外，各种传感器可以是环境安装型装置。另外，由描绘延迟检测单元300检测的时间延迟可以包括例如通信延迟等。
在下文中，将描述在通过多个装置的协作来实现信息处理设备1的功能的情况下关于什么装置包括相应部件的示例。在此，具有显示单元700的装置(例如HMD)也将被称为本地装置，除了本地装置以外的装置(例如云上服务器)也将被称为外部装置。
真实对象检测单元100可以包括在本地装置中或者可以包括在外部装置中。在车辆的窗玻璃用作显示单元700的情况下，例如，车辆外部的相机可以用作真实对象检测单元100。
真实对象识别单元120可以包括在本地装置中或者可以包括在外部装置中。例如，整个识别处理可以在云上执行，或者需要大负荷的一部分识别处理可以在云上执行。
真实对象预测单元140可以包括在本地装置中或者可以包括在外部装置中。然而，在真实对象预测单元140包括在外部装置中的情况下，延迟增大，这会使得难以执行预测。
视点检测单元200可以包括在本地装置中或者可以包括在外部装置中。在车辆的窗玻璃用作显示单元700的情况下，例如，包括在眼镜中的传感器可以用作视点检测单元200。
视点识别单元220可以包括在本地装置中或者可以包括在外部装置中。然而，期望视点识别单元220被包括在与视点检测单元200相同的一侧。
视点预测单元240可以包括在本地装置中或者可以包括在外部装置中。然而，在视点预测单元240包括在外部装置中的情况下，延迟增大，这会使得难以执行预测。
期望的是描绘延迟检测单元300被包括在本地装置中。这是为了检测包括本地装置与外部装置之间的通信延迟等的延迟。
视界内状态预测单元400可以包括在本地装置中或者可以包括在外部装置中。然而，在视界内状态预测单元400包括在外部装置中的情况下，延迟增大，这会使得难以执行预测。
预测准确性估计单元500可以包括在本地装置中或者可以包括在外部装置中。然而，在预测准确性估计单元500包括在外部装置中的情况下，延迟增大，这会使得难以执行预测。
输出控制单元600可以包括在本地装置中或者可以包括在本地装置与外部装置两者中。例如，虚拟对象的描绘可以在云上执行，虚拟对象的输出定位可以由本地装置执行。
到目前为止描述了根据该实施方式的信息处理设备1的配置示例。随后，将参照图6描述在信息处理设备1中执行的处理的流程。
<2.2处理流程>
图6是示出了在根据该实施方式的信息处理设备1中执行的虚拟对象显示控制处理的流程的示例的流程图。
如图6所示，首先，真实对象识别单元120基于由真实对象检测单元100在检测时间T0处检测到的信息来识别真实对象的位置或姿势(步骤S102)。然后，真实对象预测单元140预测真实对象在显示时间T2处的位置或姿势(步骤S104)。
另外，视点识别单元220基于由视点检测单元200在检测时间T0处检测到的信息来识别视点的位置或姿势(步骤S106)。然后，视点预测单元240预测视点在显示时间T2处的位置或姿势(步骤S108)。
然后，视界内状态预测单元400基于真实对象预测单元140和视点预测单元240的预测结果来预测真实对象在视野中的位置或姿势(步骤S110)。接下来，预测准确性估计单元500估计预测准确度(步骤S112)。为了计算预测准确度，描绘延迟检测单元300可以检测时间延迟的长度。
然后，输出控制单元600确定预测准确度是否高于阈值(步骤S114)。在确定预测准确度较高(步骤S114/是)的情况下，输出控制单元600通过使用普通显示方法使显示单元700显示虚拟对象(步骤S116)。例如，输出控制单元600显示虚拟对象使得与真实对象的相关性被表达成高。同时，在确定预测准确度较低(步骤S114/否)的情况下，输出控制单元600通过使用针对低准确度情况的显示方法使显示单元700显示虚拟对象(步骤S118)。例如，输出控制单元600显示虚拟对象使得与真实对象的相关性被表达成低。
在之后继续处理(步骤S120/否)的情况下，处理再次返回到步骤S102。在不继续处理(步骤S120/是)的情况下，处理结束。
到目前为止描述了处理流程的一个示例。
<2.3UI示例>
随后，将参照图7至图22详细描述UI示例。
(1)根据预测准确度改变UI
首先，将描述根据预测准确度改变UI。
改变虚拟对象的尺寸
信息处理设备1(例如，输出控制单元600)可以根据预测准确度来改变虚拟对象的尺寸。例如，信息处理设备1随着预测准确度越低而将虚拟对象显示得越大，以便包括要显示的区域。此外，信息处理设备1随着预测准确度越低而将虚拟对象显示得越小，以便被包括在要显示的区域中。由于通过这样的处理防止将虚拟对象显示在与要显示的区域偏离的位置处，所以抑制了显示的紊乱。在下文中，对于前者将参照图7以及对于后者将参照图8给出具体描述。
图7是用于说明根据该实施方式的UI示例的说明图。该UI示例是在假定以下应用的情况下的UI示例：该应用显示虚拟对象，真实对象落在该虚拟对象内。在预测准确度高的情况下，例如，如真实空间图像60A所示，信息处理设备1将虚拟对象80显示得小。参照真实空间图像60A，由于预测准确度高，所以即使在小的显示的情况下，真实对象70也落在虚拟对象80内。同时，在预测准确度低的情况下，如真实空间图像60B所示，信息处理设备1将虚拟对象80显示得大。参照真实空间图像60B，由于预测准确度低，所以真实对象70的位置偏离虚拟对象80的中心，但是真实对象70仍落在虚拟对象内。通过这样的处理，至少真实对象70落在虚拟对象80内。
图8是用于说明根据该实施方式的UI示例的说明图。该UI示例是在假定以下应用的情况下的UI示例：该应用在公告板上叠加地显示虚拟海报。在预测准确度高的情况下，例如，如真实空间图像60A所示，信息处理设备1显示具有与公告板70的板平面的尺寸相似的尺寸的海报80。同时，在预测准确度低的情况下，如真实空间图像60B所示，信息处理设备1显示具有比公告板70的板平面的尺寸小的尺寸的海报80。通过这样的处理，至少海报80被叠加地显示在公告板70的板平面上。
虚拟对象的显示/不显示
信息处理设备1(例如，输出控制单元600)可以根据预测准确度来切换虚拟对象的显示/不显示。例如，信息处理设备1在预测准确度高的情况下显示虚拟对象，而在预测准确度低的情况下不显示虚拟对象。以这种方式，可以在预测准确度低的情况下至少抑制显示紊乱的发生。这点将参照图9来描述。
图9是用于说明根据该实施方式的UI示例的说明图。该UI示例是在假定以下应用的情况下的UI示例：以类似于图7的方式，该应用显示虚拟对象，真实对象落在该虚拟对象内。在预测准确度高的情况下，例如，如真实空间图像60A所示，信息处理设备1将虚拟对象80显示得小。参照真实空间图像60A，由于预测准确度高，即使在小的显示的情况下，真实对象70也落在虚拟对象80内。同时，在预测准确度低的情况下，如真实空间图像60B所示，信息处理设备1不显示虚拟对象80。通过这样的处理，可以至少抑制显示的紊乱。
改变虚拟对象描绘效果
信息处理设备1(例如，输出控制单元600)可以根据预测准确度来改变要应用于虚拟对象的描绘效果。例如，随着预测准确度越低，信息处理设备1应用使虚拟对象的边界越模糊的动画。以这种方式，即使在虚拟对象的显示被扰乱的情况下，也可以减小其影响。可以考虑要采用的各种描绘效果。在下文中，将参照图10和图11描述运动模糊处理，以及将参照图12描述蒙版处理(mask processing)作为其典型示例。
(运动模糊处理)
信息处理设备1可以向虚拟对象应用运动模糊处理，并且显示已经添加了运动模糊的虚拟对象。首先，将参照图10描述运动模糊处理的应用策略。
图10是用于说明根据该实施方式的UI示例的说明图。假定默认显示虚拟对象80A。如果虚拟对象80A在视野中沿移动方向81的移动量的预测准确度降低，则信息处理设备1描绘以下虚拟对象80B：在运动方向81上对所述虚拟对象80B应用了预定量的运动模糊处理或应用了仅片刻的运动模糊处理。以这种方式，虚拟对象的边界变得模糊。在预测准确度恢复的情况下，信息处理设备1再次描绘已停止向其应用运动模糊处理的虚拟对象80C。
到目前为止描述了运动模糊处理的应用策略。随后，将参照图11描述运动模糊处理的具体示例。
图11是用于说明根据该实施方式的UI示例的说明图。该UI示例是在假定以下应用的情况下的UI示例：该应用相对于真实对象显示言语气球(speech balloon)。在预测准确度高的情况下，例如，如真实空间图像60A中所示，信息处理设备1不应用运动模糊处理，并且清楚地显示言语气球80。参照真实空间图像60A，由于预测准确度高，所以言语气球80正确地指示人70。同时，在预测准确度低的情况下，如真实空间图像60B中所示，信息处理设备1显示应用了运动模糊处理的言语气球80。参照真实空间图像60B，由于预测准确度低，由言语气球80指示的位置偏离人70但是由言语气球80指示的位置被模糊显示，所以不会显著地出现显示的偏离。此外，由于应用了运动模糊处理以跟随人70的运动，所以表达出跟随人70的言语气球80。通过这样的处理，可以减小显示的紊乱的影响。
(蒙版处理)
信息处理设备1可以对虚拟对象应用蒙版处理，例如，并且在更外侧边缘处以更浅的色调显示虚拟对象。在下文中，将参照图12描述蒙版处理的应用策略。
图12是用于说明根据该实施方式的UI示例的说明图。假定默认显示虚拟对象80A。如果与虚拟对象80A在视野中的运动有关的预测准确度降低，则信息处理设备1通过叠加地描绘圆82来描绘具有模糊边界的虚拟对象80B，其中该圆82具有覆盖虚拟对象的尺寸。期望的是，圆82在更外侧边缘处具有较低的透射率，并且朝向中心具有较高的透射率。在这种情况下，如虚拟对象80B所示，实现朝向边界越模糊的显示。在预测准确度恢复的情况下，信息处理设备1再次描绘已停止对其应用蒙版处理的虚拟对象80C。
(2)根据准确度降低的因素改变描绘方案
随后，将描述根据准确度降低的因素改变描绘方案。
信息处理设备1(输出控制单元600)可以根据预测准确度低的因素来改变虚拟对象描绘方案。在预测准确度低的因素起因于视点的运动(例如，视点的大运动等)的情况下，例如，信息处理设备1不显示虚拟对象。同时，在预测准确度低的因素起因于真实对象的运动(例如，真实对象的大运动等)的情况下，信息处理设备1将向虚拟对象应用运动模糊处理。在下文中，将参照图13描述与根据准确度降低的因素改变描绘方法有关的处理的流程。
图13是示出了在根据该实施方式的信息处理设备1中执行的虚拟对象显示控制处理的流程的示例的流程图。由于与步骤S202至S216有关的处理类似于与上面参照图6描述的S102至S116有关的处理，本文中将省略详细描述。
当在步骤S214中确定预测准确度低(步骤S214/否)的情况下，预测准确性估计单元500估计预测准确度低的因素(步骤S218)。
在估计出预测准确度低的因素是视点的大运动(步骤S220/是)的情况下，输出控制单元600不显示虚拟对象(步骤S222)。同时，在估计出预测准确度低的因素是真实对象的大运动等，而不是视点的大运动(步骤S220/否)的情况下，输出控制单元600向虚拟对象应用运动模糊处理(步骤S224)。
在之后继续处理(步骤S226/否)的情况下，处理再次返回到步骤S202。在不继续处理(步骤S226/是)的情况下，处理结束。
(3)根据情况改变显示
随后，将描述根据情况改变显示。
信息处理设备1(输出控制单元600)可以基于各种信息来控制虚拟对象的显示。例如，信息处理设备1可以基于与用户有关的信息、与虚拟对象有关的信息、与真实对象有关的信息、与环境有关的信息、与信息处理设备1有关的信息等来控制虚拟对象的显示。
作为与用户有关的信息，例如，举例出关注点(视线或焦点)、行为识别结果(停留、行走、跑步、移动上下楼梯、驾驶汽车、一种运动)、移动速度、生物信息(心率、体温、出汗、血压、出汗、脉搏、吸气、眨眼、眼球运动、注视时间、瞳孔直径尺寸、血压、脑电波、身体运动、身体位置、皮肤温度、皮肤电阻、微振动(MV)、肌电位、血氧饱和度(SPO2))、估计感觉(高兴、愤怒、悲伤和愉悦)的结果、用户的姿势、用户的位置、用户设置(手动输入)等。
作为与虚拟对象有关的信息，例如，举例出显示尺寸、显示位置、显示姿势、显示动画方面(移动速度、移动方向、轨迹、更新频率)、内容属性(类型、重要性、优先级、应用类型(浏览器、地图、邮件程序、IME、SNS))、分辨率、颜色等。
作为与真实对象有关的信息有关的信息，例如，举例出真实对象的种类、形状、位置、姿势、材料、颜色等。
作为与环境有关的信息，举例出背景(重要信息、背景颜色)、照度、位置(室内、室外)、情形(地理围栏(geofence))、行为历史(用户是否停留在熟悉的位置)、周边情况(其他人、汽车等的存在和密度)、时间、高度、温度、风向、风量等。
作为与信息处理设备1有关的信息，举例出显示分辨率、显示方案、传感器的存在、ID、电池的剩余电量、电池容量、外部存储介质插槽的存在、通信方案、声学属性、成像器的属性、3D成像性能、3D显示性能、装置的姿势、装置的位置等。在信息处理设备1被实现为HMD的情况下，与信息处理设备1有关的信息可以包括HMD方案。可替代地，在信息处理设备1被实现为可穿戴装置的情况下，与信息处理设备1有关的信息可以包括可穿戴装置的安装状态(安装、非安装、安装地方)、安装位置等。
在下文中，将描述根据与虚拟对象有关的信息改变显示的具体示例作为示例。
根据内容的内容改变显示
图14是示出了在根据该实施方式的信息处理设备1中执行的虚拟对象显示控制处理的流程的示例的流程图。
如图14所示，在内容是二维的且是文本(步骤S302/是并且步骤S304/是)的情况下，输出控制单元600不向虚拟对象应用运动模糊处理(步骤S306)。这是因为如果应用运动模糊处理，则变得难以阅读文本。同时，在内容不是二维的或不是文本(步骤S302/否或步骤S304/否)的情况下，输出控制单元600向虚拟对象应用运动模糊处理(步骤S308)。
处理如上所述结束。此外，在内容是3D的情况下可以执行稍后将描述的3D显示控制处理。
根据虚拟对象显示位置改变显示
例如，信息处理设备1(例如，输出控制单元600)可以根据用户位置与虚拟对象显示位置(在真实空间中的位置)之间的距离来改变虚拟对象的显示。在下文中，假定虚拟对象的内容是三维的。
图15是用于说明根据该实施方式的UI示例的说明图。假定虚拟对象被显示在骑自行车的用户90前方的视野91中的情况。如图15所示，90前方的空间被划分为：距用户的距离达γ的空间92、距离为从γ至β的空间93、距离为从β至α的空间94、以及距离等于或大于α的空间95。另外，例如，α、β和γ的值可以是预定值，或者可以根据用户移动速度等而变化。信息处理设备1可以根据虚拟对象显示位置属于哪个空间来切换要应用的描绘方案。在下文中，将参照图16描述处理流程的细节。
图16是示出了在根据该实施方式的信息处理设备1中执行的虚拟对象显示控制处理的流程的示例的流程图。
如图16所示，在从用户到虚拟物体显示位置的距离超过α(步骤S402/是)的情况下，输出控制单元600向虚拟对象应用运动模糊处理或者蒙版处理(步骤S404)。
可替代地，在从用户到虚拟对象显示位置的距离小于α(步骤S402/否)并且超过β(步骤S406/是)的情况下，输出控制单元600向虚拟对象应用阿尔法淡化处理(alphafading processing)或线处理(wire processing)(步骤S408)。
可替代地，在从用户到虚拟对象显示位置的距离小于β(步骤S406/否)并且超过γ(步骤S410/是)的情况下，输出控制单元600向虚拟对象应用高速滚动处理(步骤S412)。稍后将详细描述高速滚动处理。
可替代地，在从用户到虚拟对象显示位置的距离小于γ(步骤S410/否并且步骤S414/是)的情况下，输出控制单元600不显示虚拟对象(步骤S416)。
可替代地，在从用户到虚拟对象显示位置的距离不小于γ(步骤S414/否)的情况下，输出控制单元600向虚拟对象应用缩放调整、亮度值调整、颜色改变等。在没有距离等等的情况下，例如在虚拟对象粘附到显示平面的情况下，可以执行该步骤。
处理如上所述结束。
随后，将参照图17和图18描述高速滚动处理。图17和图18是用于说明根据该实施方式的UI示例的说明图。
图17示出了没有应用高速滚动处理的UI示例。图17所示的真实空间图像60A包括走在步行的用户前面的人，并且多个标志80被以相等间隔显示为虚拟对象。假定标志80在真实空间中的位置是固定的，在用户移动的情况下，标志80在显示平面上的位置根据用户的移动量而变化。在图17所示的示例中，由于用户平行于在真实空间图像60A的深度方向上排列的标志80而移动，所以标志80根据用户的移动而朝向图像帧移动，如果标志80离开图像帧到外部，则不显示标志80。因此，对于与图像帧交叠的标志80，在真实空间图像60A中仅显示图像帧内的其一部分。
图18示出了应用了高速滚动处理的UI示例。图18所示的真实空间图像60B包括在骑自行车行驶的用户前方的骑自行车行驶的人，并且多个标志80以与图17中类似的方式而显示。然而，由于在图18所示的示例中用户移动速度高于图17所示的示例中的用户移动速度，所以标志80朝向图像帧移动的速度高。因此，在图18所示的示例中，在标志80朝向图像帧移动时，标志80进一步加速(以更大的间隔)并且朝向图像帧更加模糊地显示。换句话说，标志80在用户接近标志80时进一步加速。以这种方式，由于位于图像帧附近的标志80较早地退出图像帧，所以以下时间缩短：在该时间期间，仅显示图像帧内的、与图像帧交叠的标志80的一部分。此外，随着虚拟对象接近用户并且位于更接近图像帧而进一步加速并且更模糊地显示的虚拟对象从以下角度来看具有减小虚拟对象的不自然显示的效果：即使物质以相同的速度移动，人类将位于更远位置的物质识别为移动得更慢，并且将位于更近位置的物质识别为移动得更快。此外，在标志80加速时，标志80在真实空间中的位置可以暂时改变。
(4)设置UI
随后，将描述设置UI。
信息处理设备1(例如，输出控制单元600)可以显示与虚拟对象的显示有关的设置的屏幕。用户可以使用设置UI来设置运动模糊的强度、高速滚动处理的加速度等。在下文中，将参照图19至图22描述与设置UI的显示有关的处理的流程和UI示例。
图19是示出了在根据该实施方式的信息处理设备1中执行的虚拟对象显示控制处理的流程的示例的流程图。
如图19所示，首先，输出控制单元600显示菜单UI(步骤S502)。在图20中示出了菜单UI的一个示例。图20是用于说明根据该实施方式的UI示例的说明图。如图20所示，在真实空间图像60A中菜单项80A至80C被显示为虚拟对象。菜单项80A是用于再现电影的菜单项。菜单项80B是用于显示设置的菜单项。菜单项80C是用于执行游戏的菜单项。
如果菜单项80B被用户选择，则输出控制单元600显示设置UI(步骤S504)。然后，信息处理设备1(例如，真实对象识别单元120或者视点检测单元200)接收用户设置(步骤S506)，并且完成该设置(步骤S508)。在此，将参照图21和图22描述用户设置的接收。
图21是用于说明根据该实施方式的UI示例的说明图。在真实空间图像60B中，图标80D至图标80F被显示为设置UI，该设置UI用于设置运动模糊的应用的范围或强度。假定这些图标固定在用户周围的真实空间中。如果图标80D被选择，则运动模糊的强度被设置为6.0。如果图标80E被选择，则运动模糊的强度被设置为6.2。如果图标80F被选择，则运动模糊的强度被设置为6.4。另外，这些数字只是示例。用户可以通过向左和向右摇动头部以使图标80D至图标80F中的任一个位于前方，或者通过将视线指向图标80D至图标80F中的任一个，来选择图标并且设置运动模糊的强度。
图22是用于说明根据该实施方式的UI示例的说明图。在真实空间图像60C中，图标80G至图标80I被显示为设置UI，该设置UI用于设置运动模糊的应用的范围或强度。假定这些图标固定在用户周围的真实空间中。图标80H指示运动模糊强度设置值。如果图标80G被选择，则图标80H的运动模糊强度设置值减小。如果图标80I被选择，则图标80H的运动模糊强度设置值增加。如果图标80H被选择，则运动模糊强度设置完成。用户可以通过向左和向右摇动头部以使图标80G至图标80I中的任一个位于前方，或者通过将视线指向图标80G到80I中的任一个，来选择图标并且设置运动模糊的强度。
到目前为止描述了由根据该实施方式的信息处理设备1提供的UI示例。
《3.透视型HMD的应用示例》
随后，将描述根据上述第一实施方式的信息处理设备1被实现为透视型HMD的情况下的配置示例。
<3.1配置示例1>
图23是示出了根据该实施方式的HMD 1的逻辑配置的示例的框图。如图23所示，除了基于上面参照图5描述的信息处理设备1的配置的基础之外，根据该实施方式的HMD 1还具有更详细的部件。在下文中，将详细描述各个部件。
真实对象检测单元100包括相机102。相机102是捕获真实空间图像的装置。相机102被安装成当用户佩戴HMD1时捕获用户的视野(前方)。相机102将捕获图像和成像时间的时间戳提供至真实对象识别处理单元122。
真实对象识别单元120包括真实对象识别处理单元122和真实对象字典(dictionary)124。真实对象识别处理单元122对由相机102获取的真实空间的信息与在真实对象字典124中登记的真实对象的特征进行比较，从而发现和识别出作为叠加目标的真实对象。真实对象识别处理单元122将所识别的真实对象的位置或姿势以及时间戳提供至真实对象预测处理单元142，其中该时间戳已经被应用于用于识别的信息。真实对象字典124是记录了作为叠加目标的真实对象的特征的数据。例如，真实对象字典124可以包括当真实对象被相机102成像时所获得的特征点的信息。
真实对象预测单元140包括真实对象预测处理单元142和真实对象识别历史144。真实对象预测处理单元142参考由真实对象识别处理单元122识别的真实对象的位置或姿势以及真实对象识别历史144，并且估计真实对象的姿势的变化或运动。真实对象预测处理单元142基于估计结果来估计真实对象在显示时间T2处的位置或姿势。真实对象预测处理单元142在以下假定的情况下执行预测：从真实对象识别处理单元122提供的时间戳所指示的时间为T0，以及通过将从描绘延迟检测单元300输出的延迟ΔT与T0相加而得到的时间为T2。例如，真实对象预测处理单元142在假定真实对象从T0至T2以恒定速度线性移动的情况下执行预测。真实对象预测处理单元142将用于预测的时间T0处的时间戳和所预测的真实对象的位置或姿势提供至视界内状态预测处理单元402。真实对象识别历史144是过去多次从真实对象识别处理单元122提供的真实对象的位置或姿势的识别结果以及伴随该识别结果的时间戳的历史。
视点检测单元200包括加速度传感器202和陀螺仪传感器204。加速度传感器202是获取施加至HMD 1的加速度以用于检测视点的移动的传感器。加速度传感器202将所获取的加速度和获取时间处的时间戳提供至视点识别处理单元222。陀螺仪传感器204是获取HMD1的角速度的传感器。陀螺仪传感器204将获取的角速度和获取时间处的时间戳提供至视点识别处理单元222。
视点识别单元220包括视点识别处理单元222。视点识别处理单元222基于由加速度传感器202和陀螺仪传感器204获取的加速度和角速度来识别用户的视点的位置或姿势。视点识别处理单元222将识别结果和时间戳提供至视点预测处理单元242，其中该时间戳被应用于用于识别的传感器信息。
视点预测单元240包括视点预测处理单元242和视点识别历史244。视点预测处理单元242参考视点识别处理单元222的识别结果和视点识别历史244，并且估计视点的位置或姿势(方向)的变化。视点预测处理单元242基于估计结果来估计视点在时间T2处的位置或姿势。视点预测处理单元242在以下假定的情况下执行预测：从视点识别处理单元222提供的时间戳所指示的时间为T0，以及通过将从描绘延迟检测单元300输出的延迟ΔT与T0相加而得到的时间为T2。例如，视点预测处理单元242在假定视点从T0至T2以恒定速度线性移动的情况下执行预测。视点预测处理单元242将用于预测的时间T0处的时间戳和所预测的视点的位置或姿势提供至视界内状态预测处理单元402。视点识别历史244是过去多次从视点识别处理单元222提供的视点的位置或姿势的识别结果以及伴随该识别结果的时间戳的历史。
描绘延迟检测单元300检测显示时间T2相对于检测时间T0延迟了多长时间。描绘延迟检测单元300将真实对象检测单元100和视点检测单元200中的每一个获取真实空间的信息的时刻处的时间戳与显示控制器704基于所获取的信息输出图像的时刻处的时间戳进行比较，并且检测它们之间的差作为延迟(ΔT)。描绘延迟检测单元300将所检测到的延迟提供至真实对象预测单元140、视点预测单元240和视界内状态预测单元400中的每一个。
视界内状态预测单元400包括视界内状态预测处理单元402。视界内状态预测处理单元402基于由真实对象预测处理单元142预测的真实对象在移动之后的位置或姿势以及由视点预测处理单元242预测的视点在移动之后的位置或姿势来预测视野中的状态。具体地，视界内状态预测处理单元402预测在显示控制器704输出图像的时刻(显示时间T2)真实对象以哪个位置和姿势存在于视野中，其中该真实对象是作为与虚拟对象叠加的目标。
预测准确性估计单元500包括：预测准确性估计处理单元502、预测相关信息历史504以及准确性降低因素估计单元506。预测准确性估计处理单元502将指示视界内状态预测处理单元402所执行的预测的准确度的信息提供至应用程序604。预测相关信息历史504是被预测准确性估计处理单元502使用以进行估计的信息的日志。例如，预测相关信息历史504可以包括：视界内状态预测处理单元402的预测结果、用于预测的真实对象或视点的位置或姿势以及伴随它的时间戳、以及由描绘延迟检测单元300输出的延迟ΔT。在预测准确性估计处理单元502确定预测准确度低的情况下，准确性降低因素估计单元506估计预测准确度降低的因素，并且将指示估计结果的信息提供至应用程序604。例如，准确性降低因素估计单元506参考预测相关信息历史504，并且估计预测准确度低的因素，例如真实对象的不规律移动，或者由用户头部的大的移动而引起的视点的移动。
输出控制单元600包括GPU 602和应用程序604。GPU 602是执行与图像处理有关的各种计算的处理装置。GPU 602基于来自应用程序604的指令执行描绘，并且将描绘结果提供至显示控制器704。应用程序604是提供由用户使用的主要功能的软件。作为功能之一，应用程序604提供在真实空间中的真实对象上叠加地显示虚拟对象的UI。应用程序604通过以下方式来执行描绘：在显示虚拟对象时决定以何种表达在何处描绘何种虚拟对象，并且向GPU 602发出描绘命令。应用程序604根据预测准确性估计处理单元502的预测结果和准确性降低因素估计单元506的估计结果使得改变虚拟对象的显示内容。
显示单元700包括显示器702和显示控制器704。显示器702是从显示控制器704接收输出信号并且显示视频的装置。显示控制器704是接收GPU 602的描绘结果以及将视频信号输出至显示器702的装置。显示控制器704作为时间戳来输出指示输出时刻的时间的信息，并且当信号被输出时将该信息提供至描绘延迟检测单元300。
到目前为止描述了HMD 1的配置示例。然而，根据本技术，HMD 1可以采用除了如上所述的配置示例之外的配置。下文中将描述其一个示例。
<3.2配置示例2>
图24是示出了根据该实施方式的HMD 1的逻辑配置的示例的框图。如图24所示，关于真实对象检测单元100，根据该配置示例的HMD 1不同于图23所示的配置示例。下文中将描述不同点。
真实对象检测单元100包括相机102和深度传感器104。深度传感器104是获取深度信息的传感器。深度传感器104被安装成获取与相机102的方向相同的方向上的深度信息。深度传感器104将所获取的深度信息和获取时间处的时间戳提供至真实对象识别处理单元122。可替代地，相机102和深度传感器104的功能可以被实现为立体相机。
真实对象识别处理单元122将由相机102和深度传感器104获取的真实空间的信息与真实对象字典124中登记的真实对象的特征进行比较，并且发现和识别作为叠加目标的真实对象。另外，真实对象字典124可以包括在真实对象被相机102成像时所得到的特征点的信息以及与真实对象的立体形状有关的信息。
<3.3配置示例3>
图25是示出了根据该实施方式的HMD 1的逻辑配置的示例的框图。如图25所示，关于视点检测单元200，根据该配置示例的HMD 1不同于图23所示的配置示例。在下文中将描述不同点。
视点检测单元200包括：加速度传感器202、陀螺仪传感器204和相机206。相机206被安装成使得用户的双眼与成像范围相对应。相机206将所获取的捕获图像和获取时间处的时间戳提供至视点识别处理单元222。
视点识别处理单元222基于由加速度传感器202、陀螺仪传感器204和相机206获取的加速度、角速度和捕获图像来识别用户的视点的位置或姿势。
《4.修改示例》
随后，将描述根据该实施方式的信息处理设备1的修改示例。根据修改示例的信息处理设备1根据预测准确度来调整时间延迟的长度。
图26是示出了根据修改示例的信息处理设备1的逻辑配置的示例的框图。如图26所示，根据修改示例的信息处理设备1除了包括图5所示的部件之外还包括时间控制单元800。
时间控制单元800具有根据预测准确度来控制时间延迟的长度的功能。如上所述，如果时间延迟短，则预计预测准确度提高。因此，时间控制单元800在预测准确度不足的情况下将时间延迟设置为短，并且在预测准确度过大的情况下将时间延迟设置为长。以这种方式，时间控制单元800可以保持期望的预测准确度。此外，时间控制单元800可以通过提高或降低例如CPU、GPU、传感器等的操作速度来控制时间延迟的长度。当然，时间控制单元800可以在不改变操作速度的情况下控制时间延迟的长度。
在此，如果提高操作速度，则会增加功耗。因此，时间控制单元800可以从与时间延迟的长度的控制有关的另一角度通过控制信息处理设备1的功耗来控制时间延迟的长度。例如，时间控制单元800在由预测准确性估计单元500估计的预测准确度超过阈值的范围内控制功耗。具体地，时间控制单元800在预测准确度小于阈值的情况下提高功耗并设置高的操作速度，并且在预测准确度超过阈值的情况下降低功耗并设置低的操作速度。以这种方式，可以在防止功耗不必要地增大的同时保持预测准确度。
另外，信息处理设备1(例如，输出控制单元600)可以对例如与要显示在用户关注的区域中的虚拟对象有关的处理或者与用户关注的虚拟对象有关的处理给予比其他更高的优先级，作为用于降低功耗的技术之一。例如，信息处理设备1可以降低与其他虚拟对象有关的处理的处理速度(帧速率等)。以这种方式，在不降低可用性的范围内实现节能。
另外，信息处理设备1可以具有普通模式和节能模式作为操作模式。具体地，信息处理设备1在普通模式下提高功耗，并且设置高的操作速度。另外，信息处理设备1在节能模式下降低功耗，并且设置低的操作速度。例如，信息处理设备1可以在以下操作之间自动地切换操作：在室内由于充电容易而以普通模式执行的操作，以及在室外以节能模式执行的操作。
《5.硬件配置示例》
最后，将参照图27描述根据本实施方式的信息处理设备的硬件配置。图27是示出了根据本实施方式的信息处理设备的硬件配置的示例的框图。同时，图27所示的信息处理设备900可以实现例如图5、图23至图26中的每一个所示的信息处理设备1。根据下面描述的软件与硬件之间的协作来实现由根据本实施方式的信息处理设备1进行的信息处理。
如图27所示，信息处理设备900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。另外，信息处理设备900包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动909、连接端口911和通信装置913。替代于CPU 901或者连同CPU 901一起，信息处理设备900可以包括处理电路(例如DSP或ASIC)。
CPU 901用作算术处理装置和控制装置，并且根据各种程序控制信息处理设备900中的整体操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、操作参数等。RAM 903临时存储在CPU 901的执行中使用的程序、在执行中适当地改变的参数等。CPU 901可以形成例如图5和图23至图26中所示的真实对象识别单元120、真实对象预测单元140、视点识别单元220、视点预测单元240、描绘延迟检测单元300、视界内状态预测单元400、预测准确性估计单元500和输出控制单元600。此外，CPU 901可以形成例如图26中所示的时间控制单元800。
CPU 901、ROM 902和RAM 903由包括CPU总线等的主机总线904a连接。主机总线904a经由桥接器904与外部总线904b(例如外围部件互连/接口(PCI)总线)连接。此外，主机总线904a、桥接器904和外部总线904b不一定被分离地配置，并且这些功能可以安装在单个总线上。
输入装置906由用户通过其输入信息的装置(例如鼠标、键盘、触摸板、按钮、麦克风、开关和控制杆)来实现。另外，输入装置906可以例如是使用红外线或其他电波的遥控装置，或者与信息处理设备900的操作相对应的外部连接设备(例如蜂窝电话或PDA)。此外，输入装置906可以例如包括输入控制电路等，其基于由用户使用前述输入装置输入的信息来生成输入信号，并且将输入信号输出至CPU 901。信息处理设备900的用户可以通过操作输入装置906来输入各种类型的数据或者命令信息处理设备900的处理操作。
除了上述之外，输入装置906可以由检测与用户有关的信息的装置来形成。例如，输入装置906可以包括各种传感器，例如图像传感器(例如，相机)、深度传感器(例如，立体相机)、加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声音传感器、距离测量传感器和力传感器。此外，输入装置906可以获取与信息处理设备900自身的状态有关的信息(例如信息处理设备900的姿势和移动速度)，以及与信息处理设备900的周围环境有关的信息(例如信息处理设备900周围的亮度或噪声)。此外，输入装置906可以包括GNSS模块，该GNSS模块从全球导航卫星系统(GNSS)卫星接收GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，并且测量包括装置的纬度、经度和海拔高度的位置信息。另外，关于位置信息，输入装置906可以通过以下来检测位置：Wi-Fi(注册商标)，与移动电话、PHS、智能电话等的发送和接收，近场通信，等等。
输入装置906可以形成例如图5和图23至图26所示的真实对象检测单元100和视点检测单元200。
输出装置907由可以在视觉上或听觉上向用户通知所获取的信息的装置来形成。作为这样的装置，存在着诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置、激光投影仪、LED投影仪或灯的显示装置，诸如扬声器和耳机的声音输出装置，打印机装置等。输出装置907输出通过由例如信息处理设备900执行的各种处理所获取的结果。具体地，显示装置以各种形式(例如文本、图像、表格和图形)在视觉上显示通过由信息处理设备900执行的各种处理所获取的结果。另一方面，声音输出装置将包括再现的声音数据、音频数据等的音频信号转换成模拟信号，并且在听觉上输出模拟信号。上述显示装置可以形成例如图5、图23至图26中的每一个所示的显示单元700。
存储装置908是用于数据存储的装置，形成为信息处理设备900的存储单元的示例。例如，存储装置908由诸如HDD的磁存储装置、半导体存储装置、光学存储装置、磁光存储装置等来实现。存储装置908可以包括存储介质、用于在存储介质上记录数据的记录装置、用于从存储介质读取数据的读取装置、用于删除记录在存储介质上的数据的删除装置等。存储装置908存储由CPU 901执行的程序和各种类型的数据、从外部获得的各种类型的数据等。
驱动909是存储介质的读取器/写入器，并且被包括在信息处理设备900中或者外部地附接至信息处理设备900。驱动909读取安装在其上的可移动存储介质(例如磁盘、光盘、磁光盘或半导体存储器)上所记录的信息，并且将该信息输出至RAM 903。另外，驱动909可以在可移动存储介质上写入信息。
连接端口911是与外部设备连接的接口，并且是到外部设备的连接器，通过连接端口911，可以经由通用串行总线(USB)等传输数据。
例如，通信装置913是由用于连接至网络920等的通信装置形成的通信接口。例如，通信装置913是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡等。另外，通信装置913可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、各种通信调制解调器等。例如，通信装置913可以根据预定的协议(例如TCP/IP等)向/从因特网和其他通信设备发送/接收信号等。
此外，网络920是从连接至网络920的装置发送的信息的有线或无线传输路径。例如，网络920可以包括公共电路网络(例如因特网、电话电路网络或卫星通信网络)，包括以太网(注册商标)、广域网(WAN)等的各种局域网(LAN)。另外，网络920可以包括专用电路网络，例如互联网协议-虚拟专用网络(IP-VPN)。
在上文中，示出了能够实现根据该实施方式的信息处理设备900的功能的硬件配置的示例。各个部件可以使用通用构件来实现，或者可以通过专用于各个部件的功能的硬件来实现。因此，根据在执行实施方式时的技术水平，可以适当地改变要使用的硬件配置。
另外，可以创建用于实现如上所述根据本实施方式的信息处理设备900的每一个功能的计算机程序，并且可以将该计算机程序安装在PC等中。此外，可以提供其上存储有这样的计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存等。此外，例如，计算机程序可以通过网络而不使用记录介质来传送。
《6.结论》
到目前为止参照图1至图27详细描述了本公开内容的实施方式。如上所述，信息处理设备1估计与出现在显示单元700中的真实对象的位置或姿势的预测有关的预测准确度，并且基于估计结果显示与真实对象相对应的虚拟对象。随着预测准确度越高，越不太可能发生显示的紊乱，随着预测准确度越低，越容易发生显示的紊乱。因此，信息处理设备1可以通过考虑预测准确度而执行显示，来抑制虚拟对象的显示的紊乱，并且进一步减少由显示的紊乱引起的不愉快感觉。
另外，信息处理设备1随着预测准确度越高使虚拟对象的显示越清楚，以及随着预测准确度越低使虚拟对象的显示越模糊。以这种方式，即使预计在虚拟对象的显示中发生偏离的情况下，也可以利用模糊显示减小其影响，并且减少用户的混淆或者不愉快的感觉。
上面参照附图描述了本公开内容的优选实施方式，而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变化和修改，并且应当理解的是，这些变化和修改自然会归入本公开内容的技术范围之内。
例如，尽管在假定信息处理设备1控制虚拟对象的位置或姿势的情况下将位置和姿势描述为上述实施方式中的替选，但是本技术不限于这样的示例。信息处理设备1可以控制位置和姿势两者。在这种情况下，在与真实对象和虚拟对象的位置和姿势有关的以上描述中所描述的“或”可以用“和”来代替。
要注意的是，本说明书中参照流程图和顺序图描述的处理不一定按照流程图中所示的顺序执行。可以并行执行一些处理步骤。此外，可以采用一些另外的步骤，或者可以省略一些处理步骤。
此外，在本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。也就是说，与上述效果一起或代替于上述效果，根据本公开内容的技术可以实现本领域技术人员从本说明书的描述中明白的其他效果。
此外，以下配置也属于本公开内容的技术范围。
(1)
一种信息处理设备，其包括：
预测准确性估计单元，其估计与真实对象的位置或姿势的预测有关的预测准确度；以及
输出控制单元，其基于所述预测准确性估计单元的估计结果来输出用于使显示单元显示与所述真实对象对应的虚拟对象的信息。
(2)
根据(1)所述的信息处理设备，
其中，所述输出控制单元输出以下信息：所述信息用于允许显示所述虚拟对象，使得所述预测准确度越高，则与对应的真实对象的相关性越高，以及用于允许显示所述虚拟对象，使得所述预测准确度越低，则与对应的真实对象的相关性越低。
(3)
根据(1)或(2)所述的信息处理设备，
其中，所述输出控制单元输出用于允许以所述预测准确度越低则越模糊的方式显示所述虚拟对象的信息。
(4)
根据(3)所述的信息处理设备，
其中，所述输出控制单元输出用于允许显示已经添加了运动模糊的虚拟对象的信息。
(5)
根据(3)所述的信息处理设备，
其中，所述输出控制单元输出用于允许在更外侧边缘处以更浅色调显示所述虚拟对象的信息。
(6)
根据(2)至(5)中任一项所述的信息处理设备，
其中，所述输出控制单元允许根据所述预测准确度改变所述虚拟对象的尺寸。
(7)
根据(2)至(6)中任一项所述的信息处理设备，
其中，所述输出控制单元允许根据所述预测准确度改变要应用于所述虚拟对象的描绘效果。
(8)
根据(1)至(7)中任一项所述的信息处理设备，
其中，所述输出控制单元输出用于允许根据低预测准确度的因素显示所述虚拟对象的信息。
(9)
根据(8)所述的信息处理设备，
其中，所述输出控制单元输出用于在所述因素起因于视点的运动的情况下不允许显示所述虚拟对象的信息。
(10)
根据(8)所述的信息处理设备，
其中，所述输出控制单元输出用于在所述因素起因于所述真实对象的运动的情况下允许显示已经添加了运动模糊的虚拟对象的信息。
(11)
根据(1)至(10)中任一项所述的信息处理设备，
其中，所述预测准确性估计单元基于用于预测位置或姿势的目标的运动的幅度或者规则性中至少之一来估计所述预测准确度。
(12)
根据(11)所述的信息处理设备，
其中，所述目标是所述真实对象。
(13)
根据(11)或(12)所述的信息处理设备，
其中，所述目标是所述显示单元。
(14)
根据(11)至(13)中任一项所述的信息处理设备，
其中，所述目标是用户的眼睛。
(15)
根据(1)至(14)中任一项所述的信息处理设备，
其中，位置或姿势的预测是与从检测到用于预测的信息的时刻到显示所述虚拟对象的时刻之间的时间有关的预测。
(16)
根据(15)所述的信息处理设备，还包括：
时间控制单元，其根据预测准确度来控制所述时间的长度。
(17)
根据(16)所述的信息处理设备，其中，所述时间控制单元通过控制信息处理设备的功耗来控制所述时间的长度。
(18)
根据(15)至(17)中任一项所述的信息处理设备，
其中，所述预测准确性估计单元进行所述时间越长则所述预测准确度越低，并且所述时间越短则所述预测准确度越高的估计。
(19)
根据(1)至(18)中任一项所述的信息处理设备，
其中，所述输出控制单元输出用于允许在与所述真实对象的预测位置相对应的位置处或者以与所述真实对象的预测姿势相对应的姿势显示所述虚拟对象的信息。
(20)
根据(1)至(19)中任一项所述的信息处理设备，其中，所述显示单元是在透射真实空间中的真实对象的同时显示虚拟对象的透射式显示装置。
(21)
根据(1)至(19)中任一项所述的信息处理设备，其中，所述显示单元是在实时显示所成像的真实对象的同时还显示虚拟对象的非透射式显示装置。
(22)
一种信息处理方法，其包括：
由处理器估计与真实对象的位置或姿势的预测有关的预测准确度；以及
基于所述预测准确度的估计结果来输出用于使显示单元显示与所述真实对象对应的虚拟对象的信息。
(23)
一种程序，所述程序使计算机用作：
预测准确性估计单元，其估计与真实对象的位置或姿势的预测有关的预测准确度；以及
输出控制单元，其基于所述预测准确性估计单元的估计结果来输出用于使显示单元显示与所述真实对象对应的虚拟对象的信息。
附图标记列表
1 信息处理设备
100 真实对象检测单元
120 真实对象识别单元
140 真实对象预测单元
200 视点检测单元
220 视点识别单元
240 视点预测单元
300 描绘延迟检测单元
400 视界内状态预测单元
500 预测准确性估计单元
600 输出控制单元
700 显示单元
800 时间控制单元

Claims (20)

1.一种信息处理设备，包括：
预测准确性估计单元，其估计与真实对象的位置或姿势的预测有关的预测准确度；以及
输出控制单元，其基于所述预测准确性估计单元的估计结果来输出用于使显示单元显示与所述真实对象对应的虚拟对象的信息。
2.根据权利要求1所述的信息处理设备，
其中，所述输出控制单元输出以下信息：所述信息用于允许显示所述虚拟对象，使得所述预测准确度越高，则与对应的真实对象的相关性越高，以及用于允许显示所述虚拟对象，使得所述预测准确度越低，则与对应的真实对象的相关性越低。
3.根据权利要求1所述的信息处理设备，
其中，所述输出控制单元输出用于允许以所述预测准确度越低则越模糊的方式显示所述虚拟对象的信息。
4.根据权利要求3所述的信息处理设备，
其中，所述输出控制单元输出用于允许显示已经添加运动模糊的虚拟对象的信息。
5.根据权利要求3所述的信息处理设备，
其中，所述输出控制单元输出用于允许在更外侧边缘处以更浅色调显示所述虚拟对象的信息。
6.根据权利要求2所述的信息处理设备，
其中，所述输出控制单元允许根据所述预测准确度改变所述虚拟对象的尺寸。
7.根据权利要求2所述的信息处理设备，
其中，所述输出控制单元允许根据所述预测准确度改变要应用于所述虚拟对象的描绘效果。
8.根据权利要求1所述的信息处理设备，
其中，所述输出控制单元输出用于允许根据低预测准确度的因素显示所述虚拟对象的信息。
9.根据权利要求8所述的信息处理设备，
其中，所述输出控制单元输出用于在所述因素起因于视点的运动的情况下不允许显示所述虚拟对象的信息。
10.根据权利要求8所述的信息处理设备，
其中，所述输出控制单元输出用于在所述因素起因于所述真实对象的运动的情况下允许显示已经添加运动模糊的虚拟对象的信息。
11.根据权利要求1所述的信息处理设备，
其中，所述预测准确性估计单元基于用于预测所述位置或所述姿势的目标的运动的幅度或者规则性中至少之一来估计所述预测准确度。
12.根据权利要求11所述的信息处理设备，
其中，所述目标是所述真实对象。
13.根据权利要求11所述的信息处理设备，
其中，所述目标是所述显示单元。
14.根据权利要求11所述的信息处理设备，
其中，所述目标是用户的眼睛。
15.根据权利要求1所述的信息处理设备，
其中，所述位置或所述姿势的预测是与从检测到用于预测的信息的时刻到显示所述虚拟对象的时刻之间的时间有关的预测。
16.根据权利要求15所述的信息处理设备，还包括：
时间控制单元，其根据所述预测准确度来控制所述时间的长度。
17.根据权利要求15所述的信息处理设备，
其中，所述预测准确性估计单元进行所述时间越长则所述预测准确度越低，并且所述时间越短则所述预测准确度越高的估计。
18.根据权利要求1所述的信息处理设备，
其中，所述输出控制单元输出用于允许在与所述真实对象的预测位置对应的位置处或者以与所述真实对象的预测姿势对应的姿势显示所述虚拟对象的信息。
19.一种信息处理方法，其包括：
由处理器估计与真实对象的位置或姿势的预测有关的预测准确度；以及
基于所述预测准确度的估计结果来输出用于使显示单元显示与所述真实对象对应的虚拟对象的信息。
20.一种程序，所述程序使计算机用作：
预测准确性估计单元，其估计与真实对象的位置或姿势的预测有关的预测准确度；以及
输出控制单元，其基于所述预测准确性估计单元的估计结果来输出用于使显示单元显示与所述真实对象对应的虚拟对象的信息。
CN201680052515.3A 2015-09-16 2016-06-14 信息处理设备、信息处理方法以及记录介质 Active CN108027652B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015182380 2015-09-16
JP2015-182380 2015-09-16
PCT/JP2016/067709 WO2017047178A1 (ja) 2015-09-16 2016-06-14 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN108027652A true CN108027652A (zh) 2018-05-11
CN108027652B CN108027652B (zh) 2021-06-22

Family

ID=58288617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680052515.3A Active CN108027652B (zh) 2015-09-16 2016-06-14 信息处理设备、信息处理方法以及记录介质

Country Status (5)

Country Link
US (1) US10977774B2 (zh)
EP (1) EP3352050A4 (zh)
JP (1) JP6844542B2 (zh)
CN (1) CN108027652B (zh)
WO (1) WO2017047178A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11036351B2 (en) 2017-08-04 2021-06-15 Sony Corporation Information processing device and information processing method
US11288869B2 (en) 2017-08-09 2022-03-29 Sony Corporation Information processing device, and information processing method
WO2022241701A1 (zh) * 2021-05-20 2022-11-24 华为技术有限公司 一种图像处理方法及装置
WO2023010236A1 (zh) * 2021-07-31 2023-02-09 华为技术有限公司 一种显示方法、装置和系统

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225187A1 (ja) * 2017-06-07 2018-12-13 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法
JP6630322B2 (ja) * 2017-08-30 2020-01-15 シナノケンシ株式会社 映像解析方法
DE102017217923A1 (de) 2017-10-09 2019-04-11 Audi Ag Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
US11263456B2 (en) 2017-10-31 2022-03-01 Sony Corporation Virtual object repositioning versus motion of user and perceived or expected delay
CN107918955A (zh) * 2017-11-15 2018-04-17 百度在线网络技术（北京）有限公司 增强现实方法和装置
KR102521557B1 (ko) * 2018-01-04 2023-04-14 삼성전자주식회사 스크롤 입력에 기반하여 이미지 표시를 제어하는 전자 장치 및 방법
EP3739376A4 (en) * 2018-01-11 2021-09-01 Nikon-Essilor Co., Ltd. IMAGE GENERATION DEVICE, LENS SELECTION SYSTEM, IMAGE GENERATION METHOD AND PROGRAM
US11262838B2 (en) * 2018-01-30 2022-03-01 Sony Corporation Information processing device and information processing method
DE102018201661A1 (de) * 2018-02-05 2019-08-08 Audi Ag Verfahren zum Überlagern eines virtuellen graphischen Objekts über eine reale Umgebung mittels einer AR-Anzeigeeinrichtung für Augmented-Reality sowie Kraftfahrzeug
US11553009B2 (en) * 2018-02-07 2023-01-10 Sony Corporation Information processing device, information processing method, and computer program for switching between communications performed in real space and virtual space
JP2019179966A (ja) * 2018-03-30 2019-10-17 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
CN116224593A (zh) 2018-06-25 2023-06-06 麦克赛尔株式会社 头戴式显示器、头戴式显示器协作系统及其方法
JP2021182174A (ja) * 2018-08-07 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US11726320B2 (en) 2018-08-29 2023-08-15 Sony Corporation Information processing apparatus, information processing method, and program
JP7418075B2 (ja) 2018-09-18 2024-01-19 キヤノン株式会社 撮像表示装置、ウェアラブルデバイスおよび撮像表示システム
US11048465B2 (en) 2018-09-18 2021-06-29 Canon Kabushiki Kaisha Imaging display device, wearable device, and imaging display system
WO2020059277A1 (ja) 2018-09-20 2020-03-26 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
WO2020071029A1 (ja) 2018-10-04 2020-04-09 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP7175715B2 (ja) * 2018-10-31 2022-11-21 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10812771B1 (en) * 2019-06-12 2020-10-20 At&T Intellectual Property I, L.P. Methods, systems, and devices for adjusting image content for streaming panoramic video content
US11961294B2 (en) 2019-09-09 2024-04-16 Techinvest Company Limited Augmented, virtual and mixed-reality content selection and display
US10699124B1 (en) * 2019-09-09 2020-06-30 Ar, Llc Augmented reality content selection and display based on printed objects having security features
US20230260220A1 (en) 2020-06-30 2023-08-17 Sony Group Corporation Information processor, information processing method, and storage medium
EP4207088A4 (en) * 2020-10-07 2024-03-06 Samsung Electronics Co Ltd AUGMENTED REALITY DISPLAY METHOD AND ELECTRONIC DEVICE FOR USING IT
CN112687222B (zh) * 2020-12-28 2021-12-17 北京大学 基于脉冲信号的显示方法、装置、电子设备及介质
JP2022123692A (ja) * 2021-02-12 2022-08-24 ソニーグループ株式会社 画像処理装置、画像処理方法、画像処理システム
WO2022190970A1 (ja) * 2021-03-08 2022-09-15 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
US11960345B2 (en) * 2021-05-25 2024-04-16 Samsung Electronics Co., Ltd. System and method for controlling operational modes for XR devices for performance optimization
US11759711B2 (en) * 2021-09-28 2023-09-19 Sony Group Corporation Method for quasi-random placement of virtual items in an extended reality (XR) space
WO2023140110A1 (ja) * 2022-01-20 2023-07-27 ソニーグループ株式会社 端末装置、位置姿勢推定方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502537A (en) * 1992-10-19 1996-03-26 Nikon Corporation Focus adjustment device having predictive function
CN101034309A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于多加速度传感器的虚拟现实头盔防眩晕系统及方法
US20110306422A1 (en) * 2010-06-11 2011-12-15 Namco Bandai Games Inc. Image generation system, image generation method, and information storage medium
US20140176591A1 (en) * 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
CN104539929A (zh) * 2015-01-20 2015-04-22 刘宛平 带有运动预测的立体图像编码方法和编码装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
JP5091976B2 (ja) * 2010-04-09 2012-12-05 株式会社東芝 映像表示装置、映像表示方法及び映像表示プログラム
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
JP5732988B2 (ja) * 2011-04-08 2015-06-10 ソニー株式会社 画像処理装置、表示制御方法及びプログラム
KR101896026B1 (ko) * 2011-11-08 2018-09-07 삼성전자주식회사 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법
US9618749B2 (en) * 2013-08-30 2017-04-11 Intel Corporation Nausea and seizure detection, prediction, and mitigation for head-mounted displays
US9607409B2 (en) * 2013-12-23 2017-03-28 Empire Technology Development Llc Suppression of real features in see-through display
US10565925B2 (en) * 2014-02-07 2020-02-18 Samsung Electronics Co., Ltd. Full color display with intrinsic transparency
JP2015228050A (ja) * 2014-05-30 2015-12-17 ソニー株式会社 情報処理装置および情報処理方法
KR101919077B1 (ko) * 2017-08-24 2018-11-16 에스케이텔레콤 주식회사 증강 현실 표시 방법 및 장치
US10425593B2 (en) * 2017-10-19 2019-09-24 Paypal, Inc. Digital image filtering and post-capture processing using user specific data
US10375313B1 (en) * 2018-05-07 2019-08-06 Apple Inc. Creative camera
US10482583B1 (en) * 2018-05-10 2019-11-19 Google Llc Generating and displaying blur in images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502537A (en) * 1992-10-19 1996-03-26 Nikon Corporation Focus adjustment device having predictive function
CN101034309A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于多加速度传感器的虚拟现实头盔防眩晕系统及方法
US20110306422A1 (en) * 2010-06-11 2011-12-15 Namco Bandai Games Inc. Image generation system, image generation method, and information storage medium
US20140176591A1 (en) * 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
CN104539929A (zh) * 2015-01-20 2015-04-22 刘宛平 带有运动预测的立体图像编码方法和编码装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11036351B2 (en) 2017-08-04 2021-06-15 Sony Corporation Information processing device and information processing method
US11288869B2 (en) 2017-08-09 2022-03-29 Sony Corporation Information processing device, and information processing method
WO2022241701A1 (zh) * 2021-05-20 2022-11-24 华为技术有限公司 一种图像处理方法及装置
WO2023010236A1 (zh) * 2021-07-31 2023-02-09 华为技术有限公司 一种显示方法、装置和系统

Also Published As

Publication number Publication date
EP3352050A1 (en) 2018-07-25
EP3352050A4 (en) 2019-05-22
WO2017047178A1 (ja) 2017-03-23
CN108027652B (zh) 2021-06-22
US20180240220A1 (en) 2018-08-23
US10977774B2 (en) 2021-04-13
JP6844542B2 (ja) 2021-03-17
JPWO2017047178A1 (ja) 2018-07-05

Similar Documents

Publication Publication Date Title
CN108027652A (zh) 信息处理设备、信息处理方法以及程序
CN110929651B (zh) 图像处理方法、装置、电子设备及存储介质
US10169923B2 (en) Wearable display system that displays a workout guide
CN103649874B (zh) 使用眼睛跟踪隐形镜片的接口
CN107683497A (zh) 信息处理设备、信息处理方法及程序
KR101823182B1 (ko) 동작의 속성을 이용한 디스플레이 상의 3차원 사용자 인터페이스 효과
CN110647865A (zh) 人脸姿态的识别方法、装置、设备及存储介质
CN107743604A (zh) 增强和/或虚拟现实环境中的触摸屏悬停检测
CN109074212A (zh) 信息处理装置、信息处理方法和程序
US11574424B2 (en) Augmented reality map curation
US11244496B2 (en) Information processing device and information processing method
CN108463840A (zh) 信息处理设备、信息处理方法以及记录介质
EP3956807A1 (en) A neural network for head pose and gaze estimation using photorealistic synthetic data
US20180005437A1 (en) Virtual manipulator rendering
WO2022146890A1 (en) Detection and obfuscation of display screens in augmented reality content
CN105190695A (zh) 图像处理装置、图像处理方法及程序
US20190369807A1 (en) Information processing device, information processing method, and program
CN105814604B (zh) 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023069988A1 (en) Anchored messages for augmented reality
US20230148185A1 (en) Information processing apparatus, information processing method, and recording medium
CN112907702A (zh) 图像处理方法、装置、计算机设备及存储介质
WO2020023663A1 (en) Tongue position tracking for facial animation
US20240069637A1 (en) Touch-based augmented reality experience
US20240073402A1 (en) Multi-perspective augmented reality experience

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant