CN110809752B - 用于虚拟现实内容显示的装置及相关联的方法 - Google Patents
用于虚拟现实内容显示的装置及相关联的方法 Download PDFInfo
- Publication number
- CN110809752B CN110809752B CN201880044108.7A CN201880044108A CN110809752B CN 110809752 B CN110809752 B CN 110809752B CN 201880044108 A CN201880044108 A CN 201880044108A CN 110809752 B CN110809752 B CN 110809752B
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- user
- content
- sub
- preview
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 230000015654 memory Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 19
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 2
- 241000282326 Felis catus Species 0.000 description 25
- 230000006870 function Effects 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 15
- 230000003190 augmentative effect Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 206010039740 Screaming Diseases 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种装置,被配置为:基于在虚拟现实内容的一个或多个实例中被标识的兴趣点,虚拟现实内容的该一个或多个实例至少包括视觉图像和数据以提供视觉图像在其中被显示的虚拟现实空间;并且基于针对虚拟现实内容的实例中的至少一个实例的上下文信息,该上下文信息定义虚拟信息空间的虚拟子体积的范围,该虚拟子体积包括兴趣点;向用户提供虚拟现实查看空间的显示,该虚拟现实查看空间包括一空间,在该空间中,虚拟现实内容的实例的VR预览在与用户的视点间隔开的位置被显示,该VR预览或每个VR预览包括由上下文信息所定义的相应的子体积,以用于将兴趣点周围的虚拟现实空间的理解提供给用户。
Description
技术领域
本公开涉及虚拟现实领域,具体地涉及虚拟现实内容的实例的显示以供选择。本公开还涉及相关联的方法、计算机程序和装置。
背景技术
虚拟现实内容的可用性正在增加。虚拟现实内容可以具有各种对象和场所,具有不同的体裁或涉及不同的主题。从虚拟现实内容选项的多个实例中有效地浏览和/或为用户有效地选择虚拟现实内容来经历,可能是具有挑战性的。
先前公布的文档及任何背景技术在本说明书中的列出或讨论不应被视为承认该文档和背景技术是现有技术的一部分或是公知常识。本公开的一个或多个方面/示例可以或可以不解决一个或多个背景技术问题。
发明内容
在第一示例方面,提供了一种装置,包括:
至少一个处理器;以及
包括计算机程序代码的至少一个存储器,
该至少一个存储器和该计算机程序代码被配置为与至少一个处理器一起,使该装置至少执行以下:
基于兴趣点在虚拟现实内容的一个或多个实例中被标识,虚拟现实内容的该一个或多个实例每个都至少包括视觉图像和数据以提供虚拟现实空间,该视觉图像在该虚拟现实空间中被显示;并且基于针对虚拟现实内容的至少一个实例的上下文信息,该上下文信息定义虚拟现实空间的虚拟子体积的范围,该虚拟子体积包括兴趣点;
向用户提供的虚拟现实内容查看空间的显示,该虚拟现实内容查看空间包括虚拟空间,在该虚拟空间中,虚拟现实内容的一个或多个实例的虚拟现实预览在与用户的视点间隔开的位置被显示,该虚拟现实预览或每个虚拟现实预览包括由上下文信息所定义的相应的子体积,以用将兴趣点周围的虚拟现实空间的视图提供给用户。
在一个或多个示例中,虚拟现实预览将这样的视图提供给用户,该视图支持对兴趣点周围的虚拟现实空间的理解。在一个或多个示例中,虚拟现实内容查看空间被提供用于在虚拟现实和增强现实中的一项中显示。因此,虚拟现实预览可以在增强现实中被呈现为重叠在现实世界的视图上,或者虚拟现实预览可以在虚拟现实中被呈现在虚拟现实内容查看空间中。
在一个或多个实施例中,子体积包括虚拟现实内容的每个实例的一数量的虚拟现实空间,用以区分兴趣点在该子体积中的周围环境与兴趣点在虚拟现实内容的一个或多个实例中的任何其他实例的子体积中的周围环境。
在一个或多个示例中,上下文信息被配置为将子体积定义为使得其包括虚拟现实内容的视觉图像中的在所述兴趣点周围的虚拟位置处的至少一个特征,以提供兴趣点的虚拟周围环境的指示。
在一个或多个示例中,虚拟现实内容是六自由度(6DoF)内容。
在一个或多个示例中,上下文信息定义以下中的一项或多项:
i)包括兴趣点的子体积的尺寸;
ii)从兴趣点到虚拟现实内容的实例的视觉图像中的特征的虚拟距离,相对于兴趣点的该虚拟距离提供子体积的定义;
ii)虚拟现实内容的实例的视觉图像中的至少一个特征的标识符,其中子体积包括兴趣点和所标识的特征。
在一个或多个实施例中,上下文信息是以下中的一项或多项:
i)预定义的并且与虚拟现实内容相关联,该上下文信息提供信息,用以定义与在所述虚拟现实内容中作为特征的一个或多个兴趣点相关联的子体积。
ii)根据计算机内容分析生成的,该计算机内容分析被配置为在虚拟现实内容的所述实例的所述虚拟现实空间中标识兴趣点的位置,并且定义其周围的子体积以将兴趣点周围的虚拟现实空间的理解提供给用户;以及
iii)至少部分根据用户设置生成的,该用户设置针对兴趣点指定子体积的大小。
在一个或多个实施例中,上下文信息特定于兴趣点并且特定于虚拟现实内容的相应实例中的其周围环境。
在一个或多个实施例中,上下文信息定义虚拟现实内容中的相关联的邻近特征,该子体积被定义为使得其包括兴趣点和相关联的邻近特征,该相关联的邻近特征包括虚拟现实内容的实例的视觉图像中的在所述兴趣点周围的虚拟位置处的预定特征,以提供兴趣点的虚拟周围环境的指示。
在一个或多个实施例中,虚拟现实内容的一个或多个实例包括搜索查询的搜索结果,该搜索查询在包括虚拟现实内容的该一个或多个实例的虚拟现实内容的多个实例上被执行,兴趣点包括搜索查询的主题,所述搜索结果根据搜索查询的主题被生成。
在一个或多个示例中,兴趣点包括在所述虚拟现实(VR)内容的图像中被作为特征的对象、位置或发生事件(occurrence)中的一项或多项。
在一个或多个示例中,VR预览包括由VR内容的实例所定义的整个VR空间的空间子体积和由VR内容的实例所覆盖的时间段的时间子集。
在一个或多个示例中,兴趣点被提供用于基本上在子体积的中心处显示。
在一个或多个实施例中,虚拟现实内容的实例的多个虚拟现实预览被提供用于在虚拟现实内容查看空间中显示,虚拟现实预览每个都在与用户的视点分隔开并且至少部分地围绕用户的视点的位置处被显示。
在一个或多个实施例中,虚拟现实预览中的每个虚拟现实预览相对于被提供用于显示的其他虚拟现实预览的相对大小由虚拟子体积的大小定义,该虚拟子体积的大小由针对虚拟现实内容的每个实例的上下文信息定义。
在一个或多个实施例中,至少两个虚拟现实预览被提供用于显示,第一虚拟现实预览和第二虚拟现实预览,并且其中以下中的一项或多项:
i)根据用户的视点,第一虚拟现实预览在虚拟现实内容查看空间中位于第二虚拟现实预览的侧方,并且第一虚拟现实预览的虚拟子体积和第二虚拟现实预览的虚拟子体积彼此重叠;
ii)第一虚拟现实预览的虚拟子体积和第二虚拟现实预览的虚拟子体积不重叠;
iii)根据用户的视点,第一虚拟现实预览在虚拟现实内容查看空间中位于第二虚拟现实预览的前面,并且第一虚拟现实预览被显示为具有至少部分透明性,以通过第一虚拟现实预览提供第二虚拟现实预览的观看;
iv)根据用户的视点,第一虚拟现实预览在虚拟现实内容查看空间中位于第二VR预览的前面,从而将第二虚拟现实预览隐藏查看,其中基于用户输入,第二虚拟现实预览被使得对用户可见。
在一个或多个实施例中,基于用户输入,该用户输入用以将虚拟现实内容查看空间中的其视点移动到虚拟现实预览中的特定虚拟现实预览的子体积内的位置,提供以下中的一项或多项:
i)与特定虚拟现实预览相关联的虚拟现实内容的实例的至少时间子分段的呈现,时间分段的至少一部分以兴趣点为特征;
ii)在虚拟现实中与特定虚拟现实预览相关联的虚拟现实内容的实例的呈现;
iii)虚拟现实空间的与由子体积所定义的体积相比较大的体积的呈现;
iv)特定虚拟现实预览之外的虚拟现实预览从显示中的移除。
在一个或多个实施例中,一个或多个虚拟现实预览包括以下中的一项或多项:
i)基本呈长方体形的子体积;
ii)基本呈球形的子体积;以及
iii)基本呈扇形的子体积。
在一个或多个实施例中,一个或多个虚拟现实预览被提供用于显示,以使得每个虚拟现实预览包括窗口,子体积通过该窗口被观看,并且其中虚拟现实预览利用相对于用户基本固定的方位被提供,并且虚拟现实空间的子体积以及其中的兴趣点是旋转的。
在一个或多个实施例中,一个或多个虚拟现实预览被提供用于在以下配置中的一种或多种配置中的显示:
i)在围绕用户的视点的平面中;
ii)在至少两个平面中,基本上水平地并且围绕用户的视点被布置的该平面中的第一平面,以及基本上水平地并且在用户的视点的上方或下方被布置的、与第一平面被间隔开的该平面中的第二平面;
iii)在汇聚于用户的视点处的多个扇区中;
iv)在第一层中和第二层中,该第一层包括汇聚于在用户的视点处的多个扇区,该第二层中包括在基本上以用户的视点处为中心的环中被布置的多个扇区;
v)在沿螺旋的间隔点处,所述螺旋在用户的视点周围成螺旋形。
在第二方面,提供了一种方法,该方法包括:
基于兴趣点在虚拟现实内容的一个或多个实例中被标识,虚拟现实内容的一个或多个实例每个都至少包括视觉图像以提供虚拟现实空间,该视觉图像在该虚拟现实空间中被显示;并且基于针对虚拟现实内容的至少一个实例的上下文信息,该上下文信息定义虚拟现实空间的虚拟子体积的范围,该虚拟子体积包括兴趣点;
向用户提供虚拟现实内容查看空间的显示,该虚拟现实内容查看空间包括虚拟空间,在该虚拟空间中,虚拟现实内容的至少一个实例的虚拟现实预览在与用户的视点间隔开的位置处被显示,该虚拟现实预览或每个虚拟现实预览包括由上下文信息所定义的相应的子体积,以用于将兴趣点周围的虚拟现实空间的视图提供给用户。
在第三方面,提供了一种计算机可读介质,该计算机可读介质包括存储在其上的计算机程序代码,该计算机可读介质和计算机程序代码被配置为当在至少一个处理器上被运行时,执行以下方法:
基于兴趣点在虚拟现实内容的一个或多个实例中被标识,虚拟现实内容的一个或多个实例每个都至少包括视觉图像以提供虚拟现实空间,该视觉图像在该虚拟现实空间中被显示;并且基于针对虚拟现实内容的至少一个实例的上下文信息,该上下文信息定义虚拟现实空间的虚拟子体积的范围,该虚拟子体积包括兴趣点;
向用户提供虚拟现实内容查看空间的显示,该虚拟现实内容查看空间包括虚拟空间,在该虚拟空间中,虚拟现实内容的至少一个实例的虚拟现实预览在与用户的视点间隔开的位置处被显示,该虚拟现实预览或每个虚拟现实预览包括由上下文信息所定义的相应的子体积,以用于将兴趣点周围的虚拟现实空间的视图提供给用户。
在另一方面,提供了一种装置,该装置包括被配置为以下的部件:
基于兴趣点在虚拟现实内容的一个或多个实例中被标识,虚拟现实内容的一个或多个实例每个都至少包括视觉图像以提供虚拟现实空间,该视觉图像在该虚拟现实空间中被显示;并且基于针对虚拟现实内容的至少一个实例的上下文信息,该上下文信息定义虚拟现实空间的虚拟子体积的范围,该虚拟子体积包括兴趣点;
向用户提供虚拟现实内容查看空间的显示,该虚拟现实内容查看空间包括虚拟空间,在该虚拟空间中,虚拟现实内容的至少一个实例的虚拟现实预览在与用户的视点间隔开的位置处被显示,该虚拟现实预览或每个虚拟现实预览包括由上下文信息所定义的相应的子体积,以用于将兴趣点周围的虚拟现实空间的视图提供给用户。
本公开包括单独或各种组合形式的一个或多个对应的方面,示例或特征,无论是否以组合或单独的形式被具体陈述(包括要求权利)。用于执行一个或多个所讨论功能的对应部件和对应的功能单元(诸如,功能启用器、AR/VR图像渲染器、显示设备)也在本公开之内。
用于实施所公开的一种或多种方法的对应计算机程序也在本公开之内,并由一个或多个所描述的示例所涵盖。
上述发明内容旨在于仅仅示例而非限制。
附图说明
现在仅以示例的方式参考附图给出说明,其中:
图1图示了用于向用户提供VR内容查看空间的显示的示例装置;
图2示出了以相同兴趣点(猫)为特征的VR内容的示例实例;
图3示出了VR内容查看空间的示例视图,图示了位于其中心的用户;
图4示出了VR预览的子体积的第一示例和第二示例;
图5示出了具有第一示例和第二示例配置的VR内容查看空间的视图;
图6示出了具有第三示例和第四示例配置的VR内容查看空间的视图;
图7示出了具有第五示例配置的VR内容查看空间的视图;
图8示出了具有第六示例配置的VR内容查看空间的视图;
图9示出了具有第七螺旋式示例配置的VR内容查看空间的视图;
图10示出了具有第八示例配置的VR内容查看空间的视图;
图11示出了图示示例方法的流程图;以及
图12示出了计算机可读介质。
具体实施方式
虚拟现实(VR)可以使用包含头盔的VR显示器,诸如眼镜或护目镜或虚拟视网膜显示器,或围绕用户以向用户提供沉浸式虚拟体验的一个或多个显示屏。虚拟现实装置(可以包括或不包括VR显示器)可以向用户提供表示虚拟现实场景的多媒体VR内容的呈现,以模拟用户存在于虚拟现实场景内。因此,在一个或多个示例中,VR装置可以向VR显示器提供信号传输以用于向用户显示VR内容,而在一个或多个其他示例中,VR装置可以是VR显示器的一部分,例如,头盔的一部分。因此,虚拟现实场景可以包括在三维虚拟现实空间内所显示的VR内容,从而用户感觉沉浸在场景中,就像其在场一样,并且可以环顾VR空间来注视其周围所显示的VR内容。虚拟现实场景可以复制现实世界场景以模拟用户物理地存在于现实世界位置,或者虚拟现实场景可以是计算机生成的,或者是计算机生成及现实世界多媒体内容的组合。因此,VR内容可以被认为包括图像(例如,静态或视频图像)、音频和/或随附数据,虚拟现实场景可以从其被生成以用于显示。因此,VR装置可以通过生成在其中显示VR内容的虚拟三维VR空间来提供VR场景。虚拟现实场景可以由全景视频(诸如全景直播)提供,全景视频包括具有宽视野或360°视野(或更多,诸如水平方位的视野的上方和/或下方,有时称为360°×360°)的视频。全景视频可以具有宽的视野,因为其具有比用户的视野大的空间范围或具有比全景视频预计利用其将被显示的视野大的空间范围。
例如,提供给用户的VR内容可以包括由VR内容捕获设备捕获的现实世界的实况的或记录的画面。示例VR内容捕获设备包括诺基亚技术公司OZO设备。由于VR场景通常大于用户可以利用VR显示器观看的部分,因此VR装置可向用户提供VR场景的虚拟现实视图以用于在VR显示器上显示,该VR视图仅示出在任意一个时间可以观看的VR内容的空间部分。VR装置可以基于用户的头部和/或眼睛的移动来在VR场景中提供VR视图的环绕平移。VR内容捕获设备可以被配置为捕获VR内容以向一个或多个用户显示。VR内容捕获设备可以包括一个或多个相机以及可选地包括一个或多个(诸如,方向性)麦克风,其被配置为从捕获视点捕获周围的视觉和听觉场景。在一些示例中,VR内容捕获设备包括多个物理上分离的相机和/或麦克风。这样,音乐表演可以使用VR内容捕获设备被捕获(和记录),该VR内容捕获设备可以放置在舞台上,表演者在其周围移动,或者从观众成员的视点被捕获。在每种情况下,VR内容的消费者可以能够使用VR装置的VR显示器环视四周,以便在捕获位置处体验表演,就好像他们在场一样。
虚拟现实内容可以包括,并且呈现所述VR内容的VR装置可以提供预定义观看位置VR或自由观看位置VR。在预定义观看位置VR中,用户在虚拟现实空间中的位置可以是固定的或遵循预定义的路径。相应地,用户可以关于在虚拟现实空间中被提供以用于在其周围显示的虚拟现实图像而自由地改变其观看方向,但是其可能无法自由地在VR空间中任意改变其观看位置来探索VR空间。因此,用户可以从固定的视点或观看位置(或基于VR内容捕获设备在场景中所位于的位置而从有限数目的位置)来体验这样的VR内容。在预定义观看位置VR的一些示例中,图像可以被视为移动经过用户。在现实世界中所捕获的预定义观看位置VR内容中,用户可以被提供VR内容捕获设备的视点。预定义观看位置VR内容可以在VR空间中向用户提供三个自由度,其中包括观看方向绕x,y和z轴中任一轴的旋转,因此可以称为三自由度VR(3DoF VR)。
在自由观看位置VR中,VR内容和呈现所述VR内容的VR装置可以使得用户能够自由地探索虚拟现实空间。因此,用户可以被提供虚拟现实空间中的自由视点或观看位置。对于本领域技术人员而言,自由观看位置VR也被称为六自由度(6DoF)VR或体积VR。因此,在6DoFVR中,用户可以通过修改其观看方向来自由地注视VR空间周围的不同方向,也可以通过沿着x、y和z轴中的任意一个轴平移来自由地改变其在VR空间中的观看位置(其虚拟位置)。6DoF虚拟现实空间中可用的移动可以被分为两类:旋转移动和平移移动(每个具有三个自由度)。旋转移动使得用户能够转动其头部以改变其观看方向。三个旋转移动是绕x轴(横摇)、绕y轴(纵摇)和绕z轴(首摇)的。平移移动意味着用户还可以改变其在空间中的视点以从不同的虚拟位置观看VR空间,即根据其意愿来沿x、y和z轴移动。使用从船舶运动得出的术语,平移移动可以被称为纵荡(x)、横荡(y)和垂荡(z)。
本文所述的一个或多个示例涉及6DoF虚拟现实内容,其中用户借助通过物理移动的用户输入或者例如经由专用用户接口(UI)而基本上自由地在虚拟空间中移动。
增强现实(AR)可以使用AR显示器(诸如眼镜或护目镜或虚拟视网膜显示器)以利用计算机生成的内容来增强现实世界的视图(诸如通过眼镜或护目镜所看到的)。增强现实装置(可以包括或可以不包括AR显示器)可以提供多媒体AR内容的呈现,该多媒体AR内容被配置为被重叠在用户的现实世界视图上。因此,增强现实的用户可以能够查看其周围的现实世界环境,该现实世界环境利用由增强现实装置所提供的内容被增强或补充,该内容可以被重叠在其现实世界视图上和/或在听觉上被重叠在其可以听见的听觉现实世界场景上。内容可以包括多媒体内容,诸如图片、照片、视频、示图、文本信息、听觉内容等。因此,尽管增强现实可以利用计算机生成的图形和/或音频内容的添加来提供对现实世界的直接观看,但是虚拟现实的用户实质上可以仅能够看到虚拟现实装置的VR显示器上所呈现的内容,而无法直接观看现实世界。
本文描述的一个或多个示例涉及虚拟现实或者涉及增强现实和虚拟现实两者,即所谓的混合现实。
在一个或多个示例中,用户可以能够观看大量的虚拟现实内容。鉴于VR内容的沉浸性,用户可能难以浏览或预览VR内容的多个实例。VR内容的实例可以包括定义VR内容或VR内容的预定义子部分的离散数据文件或数据文件组。因此,相似于在计算机系统中画面和/或视频如何被组织为不同的数据文件,VR内容的实例可以以相似的方式被组织。此外,在一个或多个示例中,用户可以使用搜索查询来搜索VR内容的库,并且被提供多个结果,其包括满足搜索查询的VR内容的分开的实例。查看那些搜索结果也可能是困难和/或耗时的。针对用户创建的VR内容,VR内容被捕获的场景和周围环境可以从VR内容的实例到实例是相似的。例如,VR内容的实例中的许多实例可以包括用户的花园或房屋中的动作发生。VR内容的主题在VR内容实例之间也可以是相似的,诸如,VR内容的许多实例以用户的猫为特征。尽管相似主题或相似周围环境的这些问题已经关于用户创建的内容的多个实例被例示,但是这可以适用于任何VR内容的多个实例。
在一个或多个示例中,在从内容创建的虚拟现实空间的大小以及其中的对象可以从其被观看的观看位置和观看方向的量级方面,6DoF虚拟现实内容的规模也可以呈现与向用户提供VR内容摘要相关的挑战。这是因为针对6DoF VR内容,对象或发生事件可以在虚拟现实空间中的不同时间和不同位置作为特征或出现。因此,尽管针对固定视点的虚拟现实体验,引用何时对象被作为特征或何时事件发生的回放时间点可能是足够的,但是针对6DoF内容,可能有必要引用在虚拟现实内容期间何时以及在虚拟现实空间中何地,对象被作为特征或事件发生。
在一个或多个示例中,公开了一种装置,该装置向用户提供虚拟现实预览的呈现,每个虚拟现实预览都涉及虚拟现实内容的实例,VR预览在VR内容预览空间中被呈现,以提供VR内容的实例的沉浸式浏览或预览体验。
图1示出了用于向用户呈现VR内容查看空间的示例系统100。系统100包括示例装置101,以用于提供其中具有一个或多个VR预览的VR内容查看空间的显示。装置101可以包括处理器101A和存储器101B或被连接到处理器101A和存储器101B,并且可以被配置为执行计算机程序代码。装置101可以仅具有一个处理器101A和一个存储器101B,但是应当理解,其他实施例可以利用多于一个处理器和/或多于一个存储器(诸如,相同或不同的处理器/存储器类型)。此外,装置101可以是专用集成电路(ASIC)。
处理器可以是通用处理器,其专用于根据在存储器中以计算机程序代码的形式存储的指令来执行/处理从其他组件(诸如从用户移动追踪器102或内容存储103)接收的信息。由处理器的此类操作产生的输出的信号传输被向前提供给其他组件,诸如VR显示设备,诸如VR头盔107。
存储器101B(不必是单个存储器单元)是存储计算机程序的计算机可读介质(在该示例中为固态存储器,但可以是诸如硬盘驱动器、ROM、RAM、闪存等的其他类型的存储器)。计算机程序代码存储指令,当程序代码在处理器上运行时,该指令能够由处理器执行。在一个或多个示例实施例中,存储器和处理器之间的内部连接可以被理解为在处理器和存储器之间提供有源耦合,以允许处理器访问存储在存储器上的计算机程序代码。
在该示例中,相应处理器和存储器在内部彼此电连接以实现各个组件之间的电通信。在该示例中,所有组件都位于彼此相邻的位置,以便共同组成为ASIC,换言之,以便共同集成为可以安装到电子设备中的单个芯片/电路。在一些示例中,组件中的一个或多个或全部可以位于彼此分开的位置。
在该示例中,装置101组成用于呈现虚拟现实中的视觉图像的虚拟现实装置104的一部分。在一个或多个其他示例中,装置101可以组成混合现实装置的一部分,该混合现实装置被配置为根据内容将图像呈现为增强现实或虚拟现实。在一个或多个示例中,装置100可以独立于AR或VR装置,并且可以向AR/VR/混合现实装置提供信号传输。在此示例中,处理器101A和存储器101B由VR装置104和装置101共享,但是在其他示例中,其可以具有其自己的处理器和/或存储器。
图2的示例并非例示出装置101的动作,而是被提供以图示当呈现VR内容时的可能挑战。在图2所示的示例中,VR内容的四个不同的实例被示出,包括VR内容的第一实例201、VR内容的第二实例202、VR内容的第三实例203和VR内容的第四实例204。应当理解,可以从VR内容的每个实例所生成的VR空间,在空间上可以比图2中所示出VR空间大(例如,大很多),因此图2示出了VR内容的每个实例的VR空间的空间子部分。VR内容的实例201至204中的每个实例示出包括猫205的相同兴趣点。兴趣点可以包括在所述VR内容中作为特征的对象、事件或发生事件中的任一项。因此,兴趣点可以包括诸如猫、人或汽车等的对象;诸如生日聚会、田径比赛或战斗等事件;或某人摔倒、窗户破裂或有人尖叫等发生事件。在图2的示例中,VR内容的四个实例可以是用户的VR内容中的“猫”的搜索查询的搜索结果。尽管在此示例中,搜索已经返回了同一只猫的四个实例,但是应该理解,这样的搜索(或更一般地,在其他实施例中)返回满足搜索查询的不同兴趣点(即不同的猫)的显示。
由于猫在相似的周围环境中被示出,因此用户可能难以区分VR内容的第一实例和第二实例201、202。VR内容的第四实例204对于用户来说也可能难以理解,因为其所呈现的全部是被检查地板上的猫。例如,用户可能在其猫正在特定位置做特定事情时查找它们的VR内容,但在预览VR内容时,可能很难理解兴趣点被示出的上下文。
转到图3的示例,现在基于上下文信息提供VR内容相同的四个实例201至204以用于在VR内容查看空间300中显示。VR内容查看空间是虚拟空间,即计算机生成的三维环境,在其中VR预览可以被显示。在此示例中,上下文信息针对VR内容的实例中的每个实例而不是针对实例中的一个或多个实例被提供。上下文信息可以定义包括兴趣点的虚拟现实空间的虚拟子体积的范围,使得在预览虚拟现实内容的实例时,VR内容的VR空间的足够比例或子体积被显示。如上所述,应当理解,VR内容可以定义虚拟现实空间,并且虚拟子体积可以包括该虚拟现实空间的子体积。提供这样的子体积的定义的技术效果可能是提供VR内容的较好预览,因此提供对兴趣点周围的虚拟现实空间的改进的理解。因此,子体积可以定义小于VR空间的总空间范围但大于兴趣点周围的紧密边界空间的体积。
相应地,在此示例中,装置101或在装置101控制下的VR装置104可以基于兴趣点205在虚拟现实内容的一个或多个实例201至204中被标识,并且基于针对虚拟现实内容的每个实例201至204的上下文信息,该上下文信息定义了虚拟现实空间的包括兴趣点205的虚拟子体积(图3中所示的305)的范围;向用户306提供VR内容查看空间300的显示,包括VR内容的实例的一个或多个VR预览。
虚拟现实内容的一个或多个实例201至204可以每个都包括视觉图像以及音频,以创建视觉图像被显示以及音频被呈现的虚拟现实空间。上下文信息可以直接或间接地定义以兴趣点为特征的该VR空间的子体积。
应当理解,图3中所示的示例VR内容查看空间300被提供,以图示用户306可以通过VR头戴式头盔107被呈现什么。以便理解,用户306的画面在图3中被示出,以图示用户306在虚拟现实或增强现实中将在其周围看到什么。用户306的画面在VR内容查看空间中可以是或可以不是可见的。相应地,虚拟现实内容的实例的子体积可以在增强现实中被叠加用户的现实世界视图上,或者VR内容查看空间300可以在虚拟现实中被呈现。
VR内容查看空间300因此包括虚拟现实内容的实例201至204中的每个实例的VR预览301至304被显示的虚拟空间。VR预览301至304被显示在与用户306的视点的位置(被标记为307并且在此示例中位于地平面)间隔开的位置处。每个VR预览301至304的空间范围304由上下文信息所定义的相应子体积来定义。VR预览301至304每个都可以表示针对“包括我的猫的VR内容的实例”的搜索的多个搜索结果中的一个搜索结果。
相应地,上下文信息实现了VR预览的空间范围的定义,以用于向用户提供对兴趣点205周围的虚拟现实空间的理解。因此,参考涉及VR内容201的第一实例的第一VR预览301,上下文信息已经提供了在树木和墙壁308的子体积中的内含事物,这可以使得用户能够理解VR内容的第一实例是示出猫在公园里的VR内容。参考涉及VR内容202的第二实例的第二VR预览302,上下文信息已经提供了在信箱309的子体积中的内含事物,这可以使得用户能够理解VR内容的第二实例是示出猫在用户前院中的VR内容。参考涉及VR内容203的第三实例的第三VR预览303,上下文信息已经提供了在球的子体积中的内含事物,因为在球上的平衡动作可以将VR内容的第三实例与第一、第二和第四实例(例如所有其他搜索结果)区分开。参考涉及VR内容204的第四实例的第四VR预览304,上下文信息已经提供了在沙发310的子体积中的内含事物,这可以使得用户能够理解VR内容的第四实例是示出猫在用户家中的VR内容。
因此,VR预览301至304可以示出子体积,该子体积包括虚拟现实内容的其相关联的实例的一数量的虚拟现实空间,用以使兴趣点205在子体积中的周围环境与兴趣点在虚拟现实内容的一个或多个实例中的任何其他实例的子体积中的周围环境区分开。上下文信息可以包括用于针对在VR内容的实例中作为特征的多个不同对象定义子体积的信息,兴趣点包括那些对象中的一个对象。相应地,内容信息可以特定于VR内容的实例和/或特定于VR内容的所述实例中的对象。
在子体积中将包括多少周围环境可以以各种不同的方式被确定。在一个或多个示例中,上下文信息被配置为定义子体积,使得其包括在所述兴趣点周围的虚拟位置处的VR内容的视觉图像中的至少一个特征,以提供对兴趣点的虚拟周围环境的指示。至少一个特征可以被称为“相关联的邻近特征”。邻近特征可以是“相关联的”,因为其提供了对兴趣点的周围环境的理解,即上下文。因此,上下文信息可以定义包括VR内容中存在的至少一个相关联的邻近特征的子体积,而不是如图2中示出兴趣点本身。因此,针对第二VR预览302,该特征可以包括信箱309。继而,子体积可以被调整大小,使得VR预览示出兴趣点并且具有包括信箱309的尺寸。在一个或多个示例中,子体积可以继而被定向为使得VR预览示出兴趣点,并且相关联的邻近特征(信箱309)未被其他对象隐藏。因此,子体积可以是以下中的一项或多项:被调整大小的,或者视觉图像在其中被定向的,以示出兴趣点和相关联的邻近特征。兴趣点可以在子体积中居中,并且相关联的邻近特征可以基本上在子体积的边缘处。相关联的邻近特征可以是到兴趣点最近的特征,或者可以由用户或内容创建方预定义。
相应地,在一个或多个示例中,上下文信息可以部分地通过引用VR内容中的另一特征309来定义子体积。
在一个或多个其他示例中,上下文信息可以定义包括兴趣点205的子体积的尺寸。相应地,针对每个兴趣点205,子体积可以被定义为大小足够用于使兴趣点的周围环境是可标识的。随着兴趣点相对于VR空间中其他对象移动,子体积的大小可以随着贯穿VR内容的时间经过而改变。
在一个或多个其他示例中,上下文信息可以通过引用虚拟现实内容实例的视觉图像中从兴趣点到最近的其他对象或相关联的邻近特征的虚拟距离来定义子体积。因此,在一个或多个示例中,兴趣点205与另一对象309之间的距离可以包括上下文信息。信息的上下文距离继而可以被用于定义如下子体积,该子体积包括兴趣点以及远离兴趣点达到虚拟距离的区域。
在一个或多个其他示例中,上下文信息可以包括虚拟现实内容的实例的视觉图像中的至少一个特征的标识符,诸如用以标识信箱309的标识符。然后,装置101或其他装置可以确定包括标识符的特征和兴趣点的子体积的尺寸。
从以上示例中应当理解,上下文信息可以采取各种形式,这些形式可以全部提供子体积305的定义以提供作为VR预览302。
上下文信息可以在各种不同的时间被生成。例如,其可以在VR内容的实例被捕获时或其随后的某个时间手动或自动地被生成。上下文信息可以在VR预览基于对VR空间中的兴趣点的周围环境的分析(诸如计算机分析)而被生成时被生成。
因此,在一个或多个示例中,上下文信息可以被预定义并且与VR内容201至204相关联。上下文信息可以包括用以定义仅与一个兴趣点或与多个兴趣点相关联的子体积的信息,这些兴趣点在所述虚拟现实内容中作为特征。因此,上下文信息可以包括在VR内容中作为特征的兴趣点对象的列表以及在兴趣点对象附近的相关联的邻近特征以定义子体积。
上下文信息可以诸如在VR内容查看空间被生成时基于捕获的VR内容而自动地被生成。在一个或多个示例中,基于计算机的内容分析可以被执行,以在虚拟现实内容的所述实例的所述虚拟现实空间中标识兴趣点的位置,并且定义其周围的子体积以向用户提供对兴趣点周围的虚拟现实空间的理解。相比于针对VR内容的其他实例所标识的对象或者将在VR内容查看空间300中被显示的VR内容的其他实例,基于计算机的内容分析可以在其上操作的参数可以标识到兴趣点最近的对象或标识到兴趣点最近的唯一对象。其他基于计算机的模式识别和分段或深度学习算法可以被使用,其“理解”哪些邻近对象可能有助于理解在其中兴趣点被显示的上下文。
相应地,通常,内容分析可以基于每个VR预览与其他VR预览如何区别的度量来确定每个VR预览的子体积的大小。因此,如果内容分析基于以下策略来操作:最接近的对象被包括在VR预览中,但是所有VR预览中的最接近的对象是树,则用户可能仍然发现难以在VR内容的实例之间进行区分。然而,如果装置101被配置为确保每个VR预览与呈现给用户的每个其他预览是可区分的,诸如在子体积中所包括的(多个)特征方面,则VR预览可能彼此不同。
在一个或多个示例中,上下文信息可以至少部分地根据用户设置而被生成,该用户设置针对兴趣点指定子体积的大小。因此,用户306可以指定其希望看到特定兴趣点205周围的VR空间的较大或较小区域作为子体积。
因此,上下文信息可以特定于在VR内容的实例中被作为特征的兴趣点。上下文信息可以仅应用于一个兴趣点或应用于兴趣点的类别。例如,上下文信息可以仅涉及特定的猫205(例如,用户306的猫),或者可以涉及总体上作为一类别的猫。另外,上下文信息可以特定于VR内容的相应实例中的兴趣点的周围环境。因此,例如,出现在具有许多其他对象的拥挤场景中的猫可以提供定义较小子体积的上下文信息,因为许多其他对象提供了足够的上下文。相反,出现在其他对象稀疏的场景中的猫可以提供定义较大子体积的上下文信息,以便兴趣点存在的上下文将被理解。上下文信息可以根据贯穿VR内容的时间经过而变化。因此,上下文信息因此可以特定于兴趣点在VR内容实例中作为特征的时间。
如图3的示例中所示,VR预览包括可以根据VR内容的实例被生成的整个VR空间的空间子体积,该空间子体积由上下文信息所定义。VR预览可以包括VR内容中的兴趣点的固定的(即,不动的)图像。在这样的示例中,VR预览301至304表现为VR内容的冻结帧。在其他示例中,VR预览301至304可以包括兴趣点的静止画面的幻灯片放映。在一个或多个示例中,VR预览可以包括兴趣点的移动图像(即视频或3-D视频),当其出现在VR内容的实例中时。移动图像可以在不同时间仅包括或主要包括VR内容的实例的时间部分的移动图像,该时间部分以兴趣点为特征。在其他示例中,移动图像可以来自贯穿整个VR内容实例的不连续时间,其中只有一个或某些部分以兴趣点为特征。通常,VR预览可以示出VR内容的实例所覆盖的一段时间的时间子集。例如,时间子集可以包括兴趣点在VR内容实例中作为特征的时间。在一个或多个示例中,VR预览可以包括固定图像和移动图像的组合,有时称为动画图片。
图4示出了由上下文信息所定义的子体积的两个示例401和402,其组成了第二VR预览302。第一示例401示出了基本上呈球形的子体积。在一个或多个示例中,上下文信息可以定义到相关联的邻近特征(信箱)的距离,并且球体可以使用该距离和作为中心点的兴趣点而被生成。第二示例402示出了基本上呈立方体形或长方体形的子体积。应当理解,其他形状的子体积可以被用于组成VR预览301至304。此外,立方体或长方体子体积可以具有圆形的边缘和/或角。在一些示例中,子体积基本上是相同的形状,而在其他示例中,其可以是不同的形状。在一些示例中,子体积是基本上呈扇形的子体积。图3的示例示出了不同长宽比的长方体形子体积。应当理解,第三VR预览303包括基本上呈立方体形的子体积,而第二VR预览302包括基本上呈长方体形的子体积。
在一些示例中,子体积的边界可以被提供以用于显示,并且在其他示例中,边界可以被隐藏。图4将子体积的边界显示为线框,以清楚地图示子体积的形状。图3的示例未示出这样的线框视图。
在此示例中,VR预览301至304被配置为将兴趣点基本呈现在子体积401、402的中心。然而,在其他示例中,兴趣点可以被偏移到子体积的一侧,诸如以包括相关联的邻近特征。
通常,VR内容实例的地平面提供了VR空间上的边界。因此,VR内容可能不包括地下特征的图像。兴趣点在子体积中心的放置可能仅在水平对齐的x和y方向中应用,并且可能在或可能不在垂直对齐的z方向中应用。
在一个或多个示例中,(i)在VR内容的实例中地平面相对于兴趣点的位置,以及(ii)在子体积中装置101放置兴趣点的位置可以定义多少子体积包含VR内容的图像。因此,如图中4所示,VR预览的下半部分基本上不在VR内容实例的图像上,因为其低于地平面。如果兴趣点具有高出地平面很高的高度,诸如如果猫205在树上,则在VR预览301至304中地平面可能不是可见的。如下面将描述的,在VR预览301至304中的地平面的呈现可能是重要的。在一个或多个示例中,一个或多个VR预览中的地平面与VR内容查看空间300中的地平面对齐。
在本文描述的示例中,兴趣点的规模在VR预览301至304之间基本相等。因此,VR预览中的每个VR预览相对于其他VR预览的相对大小可以由针对VR内容的每个实例的上下文信息所定义的虚拟子体积的大小来定义。因此,VR预览301至304的子体积根据上下文信息而被调整大小,而不是示出裁剪成子体积形状的其相关联的VR空间的“放大”或“缩小”视图。应当理解,VR内容查看空间包括虚拟的三维空间,因此,兴趣点离用户的视点越远,其可能看起来越小。相应地,兴趣点的规模可以基本相等,但是兴趣点的显示大小可以根据距用户306的视点的距离而不同。在其他示例中,兴趣点的规模与VR预览301至304之间的VR空间的规模可以不同。
6DoF VR允许其中出现的对象从许多不同的角度(或在某些示例中为任意角度)被观看。在一个或多个示例中,兴趣点在VR预览中被观看的方向可以基于兴趣点的配置而被确定。例如,猫205可以被呈现为使得猫的脸面向用户206。每个兴趣点可以由用户或VR内容创建方分配优选方位。在一个或多个示例中,装置可以基于相关联的邻近特征相对于兴趣点的位置和子体积的形状来确定兴趣点在VR预览中被观看的方向。例如,如果子体积的形状在兴趣点被定向在第一方位中时但不在被定向在第二方位时将导致从视图中排除相关联的邻近特征,则装置101可以提供组成子体积的VR空间到第二方位的旋转,以适合VR预览的形状。在一个或多个示例中,装置101可以确定用于观看兴趣点的优选方位。在一个或多个示例中,装置可以基于由于VR预览的形状兴趣点和至少一个相关联的邻近特征在所述优选方位中不可见而偏离所述优选方位。
在一个或多个实例中,一个或多个VR预览301至304可以被视为包括用以查看虚拟现实空间的子体积的三维窗口。相关联的VR内容的虚拟现实空间的子体积可以是旋转的。相应地,用户可以通过固定的(例如,非旋转的)三维VR预览窗口被呈现虚拟现实空间的旋转的子体积。取决于窗口的大小和/或形状,VR空间的子体积的旋转可能导致至少一个相关联的邻近特征在旋转的至少一部分中落在VR预览窗口之外。在一个或多个实例中,装置可以被配置为通过以下中的一项或多项来防止相关联的邻近特征落在窗口之外:临时增大VR预览窗口的大小或更改VR预览窗口的形状,或者移动VR预览窗口中VR空间的旋转中心,以使得贯穿子体积的整个旋转,至少一个特征和兴趣点保持在VR预览的窗口内。在其他实施例中,当窗口正在被用户旋转的同时,VR预览窗口的大小、形状或对齐的修改可能不会进行。相反,如果由于相关联的邻近特征落在窗口之外而必要的话,仅在用户完成旋转并且VR预览窗口因此达到休息状态(没有用户对其位置或方位的修改)后,修改动作才可以被执行。
因此,一个或多个VR预览301至304可以被提供用于显示,使得VR预览包括三维窗口,通过该三维窗口子体积被查看,并且其中VR预览利用相对于用户306基本固定的方位被提供,并且虚拟现实空间的子体积以及其中所显示的兴趣点是旋转的。
惩罚函数可以被定义,根据该惩罚函数,装置选择以下中的一项:增大子体积的大小以使得至少在优选方向上的相关联的邻近特征是可见的,或者旋转子体积以使得至少一个上下文对象保持在针对用户所渲染的VR预览的部分中。
装置101可以在VR内容查看空间300中提供VR预览301至304的不同布局。在图3的示例中,虚拟现实内容的实例201至204的多个VR预览301至304每个都被提供为在VR内容查看空间中在非重叠位置处显示,该非重叠位置与用户的视点307(或其地板平面投影)间隔开(距离311)。因此,用户306被呈现VR内容查看空间300,其中用户位于其中心,并且VR预览301至304在其周围。VR预览301至304被布置成围绕用户306,尽管在其他示例中,VR预览可以被布置在VR内容查看空间300的预定区域中,诸如在用户前面而不是在用户306后面。
图5的示例示出了VR内容查看空间300中的用户306。图5的左侧画面示出了VR内容查看空间300的区域,在该区域中VR预览可以由装置101定位。图5的右侧画面示出了装置101可以将多个VR预览501至505放置在VR内容查看空间300中何处。此外,在该示例中,VR预览501至505是扇形的并且围绕用户306。
在图5的示例中,VR预览501和VR预览502被示为在区域506中部分重叠。此外,VR预览504和VR预览505被示为在区域507中部分重叠。VR预览503与相邻的VR预览502和504不重叠且彼此间隔开。在此示例中,扇区501至505中的每个扇区的宽度或角宽度508可以由上下文信息定义,并且深度509可以是预定的。备选地,在其他示例中,上下文信息可以定义角宽度508和深度509,如图7的示例中所示。在图7的示例中,兴趣点(猫205)被呈现在VR预览子体积的中心处。图7进一步在宽度508和深度509两者方面图示了兴趣点作为VR预览中的中心。因此,在VR预览701、702、703和704中,兴趣点可以具有距用户306变化的距离,因为其关于VR预览子体积的深度是居中的。在一个或多个示例中,VR预览可以被配置为使得从用户的视点到兴趣点的距离在各个预览中可以是相同的,而不管VR预览中的两个或更多VR预览是否被提供不同的深度509。在一个或多个示例中,装置101可以选择VR空间被呈现的方位,以使兴趣点(在此图中未示出)和相关联的邻近特征适合于子体积的形状。
概括而言,根据用户306的视点,在VR内容查看空间300中,第一VR预览501可以位于的第二VR预览502的侧方(或上方或下方),并且第一VR预览501的子体积和第二VR预览502的子体积在区域506处可以至少部分地彼此重叠。
图6的示例示出了装置101,其已经将VR预览601至608以扇形布置定位在用户306周围。在此示例中,例如,根据用户306的视点,一个VR预览601例如被布置在另一VR预览605的前面。因此,VR预览以层被布置。在此示例中,VR预览被布置在两个环形层中。在图6的左侧画面中,第一层的VR预览601至604在其宽度方面与第二层的VR预览605至608对齐。在一些示例中,装置101可以在与用户的相关性方面对VR预览排名,并且将较相关的VR预览布置在较靠近用户的层中,而将较不相关的VR预览布置在离用户较远的层中。因此,如果VR预览是搜索的结果,则在VR内容查看空间300中,较相关的搜索结果被放置为较靠近用户306。在一个或多个示例中,VR预览可以在与用户的相关性方面被排名(诸如基于搜索查询或基于提供给装置的信息),并且装置可以被配置为基于排名来将VR预览定位在内容查看空间中,该定位考虑了VR预览被放置的层或用户的观看方向中的一项或多项,使得较高排名的VR预览被放置在用户观看方向的前面和/或较靠近用户的层中,并且较低排名的VR预览被放置在用户观看方向的后面和/或距用户较远的层。
图6的右侧画面示出了与左侧画面相似的示例布局。然而,在右侧画面中,另外的第九VR预览609被示出,并且第一层的VR预览601至604在其宽度的边缘方面未与第二层的VR预览605至609对齐。
尽管在此示例中的层是环形的,但是层可以具有任何形状,并且更一般地可以指明VR内容预览空间300中VR预览可以被定位的空间区域,每个层定义VR预览可以被布置的与用户视点的不同的连续距离带。
应当理解,在VR预览被布置在层中以使得根据用户的视点第一VR预览可以位于第二VR预览的前面的示例中,装置101可以提供各种方法来观看第二层或后续层的一个或多个VR预览(如果被提供)。在一个或多个示例中,第一层的VR预览中的一个或多个VR预览可以被显示为具有至少部分透明度,以提供第二层的一个或多个VR预览的观看。在某些示例中,诸如如果VR预览的子体积不包括不透明的对象(诸如墙壁),则可能不需要透明度的使用。因此,室外场景可能已经是透明的,这归因于VR内容中不存在可能阻挡通过子体积的观看的对象。应当理解,这应用于计算机生成的内容以及现实生活捕获的内容两者,其包括必要的深度和/或其他体积信息。
在一个或多个示例中,装置101可以基于用户输入,通过使“较低层”VR预览601透明或将其从显示中移除(诸如暂时将其移除),来使“较高层”VR预览605对用户是可见的。在其他示例中,“较低层”VR预览601的位置可以在VR内容查看空间中被偏移,使得“较高层”VR预览605对用户306是可见的。
图8的示例示出了VR预览801、802、803、804、805的示例布局,其中第一扇形VR预览801被提供为与第五扇形VR预览805重叠显示。特别地,第一VR预览801被提供为在第五VR预览805的子体积内的显示。
在一个或多个示例中,基于子体积内容分析,其用以标识VR预览的子体积的不包括相关联的邻近特征的区域,装置可以以重叠配置提供另外的VR预览的显示,在重叠配置中子体积在所标识的区域中重叠。因此,装置101可以允许VR预览在将上下文提供给兴趣点的特征不存在的地方重叠,以避免将其覆盖或妨碍用户306对其的观看。
图9的示例示出了VR内容查看空间300中的VR预览的另外的布局。图9图示了不仅相对于二维平面被布置而且沿着螺旋轨道被布置的VR预览的呈现,该螺旋轨道环绕VR内容查看空间中用户视点的位置307。顶视图被示于图9a,并且透视图被示于图9b。相似于先前的示例,装置可以在用户的视点的高度处提供VR预览901至904的显示。响应于特定用户输入,装置101可以提供相对于用户的螺旋下降,使得其他VR预览905与用户的视点变为平齐。螺旋可以被旋转或旋动以提供将VR预览905朝用户视线向下拉的效果。螺旋轨道可以被提供以在用户306下方以及用户306上方延伸以提供相反的浏览方向。备选地,可以存在例如在相反方向上在用户上方延伸的两个螺旋,以提供相同的功能。
图10的示例示出了VR内容查看空间300的另外的布局。在图10的示例中,平面图被示出。在此布局中,用户306部分地被VR预览1001、1002、1003、1004、1005围绕,相似于在虚线区域1020中所示的有限区域中的其他示例。VR内容查看空间300的其余区域1021包括延伸到远处的另外的VR预览,其总体上被示为1006。当存在许多VR预览时,此布置可能是有利的,因为区域1020中的VR预览或移入区域1020中的VR预览可以容易地被选择,同时用户将知晓区域1021中的许多其他VR预览。用户可能无法从区域1021选择VR预览,并且可能被要求将VR预览移动到区域1020,就像在旋转传送带上一样。
VR内容查看空间300可以提供虚拟三维空间以供用户306查看或预览VR内容的不同实例。装置101可以进一步提供对VR预览中的一个VR预览的用户选择,以执行与所选择的VR预览有关的功能。
用户选择可以包括用户使用诸如智能电话或其他输入设备的接口来选择VR预览中的一个预览。备选地,装置可以基于用户在VR内容查看空间300中的移动来确定用户选择。在一个或多个示例中,用户移动追踪器102可以向装置101提供指示现实世界物理用户移动的数据,并且装置101可以基于该数据来标识用户选择。
因此,在一个或多个示例中,用户可以进入VR预览中的一个VR预览来选择VR预览。由于VR内容查看空间300可以包括6DoF虚拟现实空间或增强现实空间,因此用户绕所述空间的移动对于用户306而言可以是直观的。
基于用户输入,其用以将其在VR内容查看空间300中的视点307移动到VR预览301至304中的特定一个VR预览的子体积内的位置的,装置101可以提供各种动作。
例如,如果VR预览包括非移动图像,即静止图像,则移入VR预览可以使装置101提供与特定VR预览相关联的VR内容实例的至少时间子分段的呈现,该时间子分段的至少一部分以兴趣点为特征。因此,移动图像可以被提供以兴趣点为特征的VR内容。时间子分段可以被视为VR内容实例的概要或亮点。亮点的至少一部分可以以兴趣点为特征。
可以在用户选择VR预览中的一个VR预览之后被提供的其他功能包括在虚拟现实中与所选择的VR预览相关联的VR内容的实例的呈现。因此,装置可以停止其中具有VR空间的子体积的VR内容查看空间300的呈现,并且提供与所选择的VR预览相关联的VR内容的实例的VR空间的显示。因此,装置101可以提供从VR内容查看空间到所选择的VR内容的VR空间的转变,就好像用户进入了由所选择的VR预览所表示的世界一样。在VR空间中,用户可以被提供与VR预览中所示基本相同的位置。参考图3,用户可以进入第二VR预览302。第二VR预览302与VR内容202的第二实例相关联。VR内容202的第二实例包括VR空间可以从其生成的视觉图像。因此,在用户选择第二VR预览302之后,装置可以提供具有来自VR内容的第二实例的视觉图像的VR空间的显示,从而呈现围绕其的用户前院的图像。
可以在用户选择VR预览中的一个VR预览之后被提供的其他功能包括呈现虚拟现实空间的比由子体积所定义的大的体积。因此,子体积可以示出至少一个相关联的邻近特征,以便用户理解VR内容的上下文,但是用户选择可以提供从VR内容的所选择的实例所生成的较大体积的VR空间的显示(经由相关联的VR预览的选择)。相似地,无论什么音频在显示VR内容查看空间300时可以被呈现,都可以被与VR内容的所选择的实例有关的音频代替。
可以在用户选择VR预览中的一个VR预览之后被提供的其他功能包括所选择的VR预览之外的VR预览从显示中的移除。因此,基于用户选择第二VR预览302,第一、第三和第四VR预览301、303、304可以从显示中被移除。
应当理解,上面提及的功能中的一个、一些或全部功能可以被提供适当的用户输入,以标识用户希望启动的功能。
当用户进入或将其视点移入VR预览301至304中的一个VR预览时,其可以被放置在其进入的VR内容实例的VR空间中定义的地平面上。因此,可能有利的是以与VR内容查看空间300中的地平面相同的水平来提供VR预览中所示的VR空间的地平面。否则,当用户进入VR预览时,其可能进入VR空间的“空中”或地下区域。基于对其中地平面不可见的VR预览的用户选择,例如,当兴趣点碰巧距地平面有一段距离时,装置可以提供所选择的VR预览的显示,以使得地平面对用户变得可见。因此,如果装置101随后将呈现所选择的VR预览的VR空间,则用户306会理解其相对于兴趣点已经进入了哪里。
作为示例,猫205可以在VR预览中被示为在高大树木顶部,并且子体积可能没有被调整大小至足以示出地平面。当用户做出VR预览的用户选择时,装置101可以对VR预览或在VR预览中示出的VR空间的体积的移动或扩展进行动画显示,以使得地平面在树的底部处变为可见的。然后,用户306可以理解,当进入VR预览以选择高大树木中的猫的VR内容优先于VR内容查看空间被示出时,其位于高大树木的底部。
进入由来自VR内容查看空间的VR预览所表示的不同VR空间的动作可以提供为用户选择VR内容以变得沉浸其中的有效的方式。应当理解,选择VR预览的其他方使可以被使用。
图11示出了图示以下步骤的流程图:
基于(1101)兴趣点在虚拟现实内容的一个或多个实例中被标识,虚拟现实内容的该一个或多个实例每个都至少包括视觉图像以提供虚拟现实空间,该视觉图像在该虚拟现实空间中被显示;并且基于针对虚拟现实内容的一个或多个实例或每个实例的上下文信息,该上下文信息定义虚拟现实空间的虚拟子体积的范围,该虚拟子体积包括兴趣点;
向用户提供(1102)在VR内容查看空间的虚拟现实和增强现实中的一项中的显示,该VR内容查看空间包括虚拟空间,在该虚拟空间中,虚拟现实内容的至少一个实例的VR预览在与用户的视点间隔开的位置被显示,每个VR预览都包括由上下文信息所定义的相应的子体积,以用于将兴趣点周围的虚拟现实空间的视图或理解提供给用户。
图12示意性地图示了根据示例提供程序的计算机/处理器可读介质1200。在该示例中,计算机/处理器可读介质是诸如数字多功能光盘(DVD)或压缩光盘(CD)之类的光盘。在一些示例中,计算机可读介质可以是已经被以用于执行发明功能的方式编程的任何介质。计算机程序代码可以分布在相同类型的多个存储器之间,或者不同类型的多个存储器之间,诸如ROM、RAM、闪存、硬盘、固态等。
用户输入可以是包括以下中的一项或多项的手势:轻击、轻扫、滑动、按压、保持、旋转手势、靠近设备用户接口的静态悬停手势、靠近设备的移动悬停手势、弯曲设备的至少一部分、挤压设备的至少一部分、多指手势、使设备倾斜或翻转控制设备。此外,手势可以是使用用户身体(诸如其手臂)的任何自由空间用户手势,或手写笔或适合于执行自由空间用户手势的其他元件。
上述示例中所示的装置可以是便携式电子设备、膝上型计算机、移动电话、智能手机、平板计算机、个人数字助理、数码相机、智能手表、智能眼镜,手写计算机,非便携式电子设备、台式计算机、监视器、智能电视、服务器、可穿戴装置、虚拟现实装置或用于其中的一个或多个的模块/电路。
任何提及的装置和/或特定的所提及的装置的其他特征可以由如下装置提供,该装置被布置为使得其被配置为仅在启用(例如,开启等)时执行所期望的操作。在这种情况下,它们可能不必在非启用状态(例如关闭状态)下将适当的软件加载到活动存储器中,而仅在启用状态(例如开启状态)下加载适当的软件。装置可以包括硬件电路装置和/或固件。装置可以包括加载到存储器上的软件。这样的软件/计算机程序可以被记录在同一存储器/处理器/功能单元和/或一个或多个存储器/处理器/功能单元上。
在一些示例中,特定的所提及的装置可以用适当的软件进行预编程以执行所期望的操作,并且其中适当的软件可以被启用,以由下载“密钥”的用户例如用于解锁/启用软件及其相关联功能。与该示例相关联的优点可以包括减少在针对设备需要其他功能时要下载数据的需求,并且这在设备被感知具有足够容量来存储用于用户可能不启用的功能的那些预编程软件的示例中是有用的。
除上述功能外,任何提及的装置/电路/元件/处理器可以具有其他功能,并且这些功能可以由相同的装置/电路/元件/处理器执行。一个或多个公开的方面可以包括相关联的计算机程序的电子分发和记录在适当的载体(例如存储器、信号)上的(可以是源/传输编码的)计算机程序。
本文所述的任何“计算机”可以包括一个或多个个体处理器/处理元件的集合,这些处理器/处理元件可以位于或可以不位于同一电路板,或者电路板的同一区域/位置或甚至同一器件上。在一些示例中,任何提及的处理器中的一个或多个处理器可以分布在多个设备上。相同或不同的处理器/处理元件可以执行本文所述的一个或多个功能。
术语“信号传输”可以指作为一系列发送和/或接收的电/光信号发送的一个或多个信号。该系列信号可以包括一个、两个、三个、四个或甚至更多个体信号分量或不同信号以构成所述信号传输。这些个体信号中的一些或全部可以通过无线或有线通信同时、依次和/或使它们暂时彼此重叠而发送/接收。
参考任何提及的计算机和/或处理器和存储器(例如包括ROM、CD-ROM等)的任何讨论,这些可以包括计算机处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或已被以用以执行本发明功能的方式编程的其他硬件组件。
申请人在此独立地将本文所述的每个个体特征以及两个或多个这样的特征的任何组合,公开到这些特征或组合能够根据本领域技术人员的公知常识总体上基于本说明书被执行的程度,不论这些特征或特征的组合是否解决了本文公开的任何问题,并且不限制权利要求的范围。申请人指出公开的方面/示例可以包括任何这样的个体特征或特征的组合。鉴于前述描述,对于本领域技术人员显而易见的是,可以在本公开的范围内进行各种修改。
尽管已经示出并描述和指出了应用于其示例的基本的新颖性特征,但是应当理解,设备和方法的形式和细节的各种省略和替换以及改变可以由本领域技术人员在不脱离本公开的范围的情况下作出。例如,明确预计的是,以基本相同的方式执行基本相同的功能以实现相同结果的那些元件和/或方法步骤的所有组合都在本公开的范围内。此外,应该认识到,与任何公开的形式或示例相关的示出和/或描述的结构和/或元件和/或方法步骤可以作为设计选择的一般事项并入任何其他公开的、描述的或建议的形式或示例中。此外,在权利要求中,部件加功能的条款旨在涵盖本文描述的执行所阐述功能的结构,并且不仅包括结构等效物,还包括等效结构。因此,尽管钉子和螺钉可能不是结构等效物,因为钉子采用圆柱形表面以将木质部件固定在一起,而螺钉采用螺旋形表面,但在紧固木质部件的环境中,钉子和螺钉可能是等效的结构。
Claims (15)
1.一种用于虚拟现实内容的显示的装置,包括:
至少一个处理器;以及
包括计算机程序代码的至少一个存储器,
所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起,使所述装置至少执行以下:
基于兴趣点在虚拟现实内容的一个或多个实例中被标识,虚拟现实内容的所述一个或多个实例每个都至少包括视觉图像和数据以提供虚拟现实空间,在所述虚拟现实空间中所述视觉图像被显示;并且基于针对所述虚拟现实内容的所述一个或多个实例中的至少一个实例的上下文信息,所述上下文信息定义所述虚拟现实空间的子体积的范围,所述子体积包括所述兴趣点;
向用户提供虚拟现实内容查看空间的显示,所述虚拟现实内容查看空间包括虚拟空间,在所述虚拟空间中,虚拟现实内容的所述一个或多个实例的虚拟现实预览在与所述用户的视点间隔开的位置被显示,所述虚拟现实预览或每个虚拟现实预览包括由所述上下文信息所定义的相应的所述子体积,以用于将所述兴趣点周围的所述虚拟现实空间的视图提供给所述用户。
2.根据权利要求1所述的装置,其中所述子体积包括虚拟现实内容的每个实例的一数量的所述虚拟现实空间,用以区分所述兴趣点在所述子体积中的周围环境与所述兴趣点在虚拟现实内容的所述一个或多个实例中的任何其他实例的所述子体积中的周围环境。
3.根据权利要求1或权利要求2所述的装置,其中所述上下文信息是以下中的一项或多项:
i)预定义的并且与所述虚拟现实内容相关联,所述上下文信息提供信息,用以定义与在所述虚拟现实内容中作为特征的一个或多个兴趣点相关联的所述子体积;
ii)根据计算机内容分析生成的,所述计算机内容分析被配置为在虚拟现实内容的所述一个或多个实例的所述虚拟现实空间中标识所述兴趣点的位置,并且定义其周围的所述子体积以将所述兴趣点周围的所述虚拟现实空间的理解提供给所述用户;以及
iii)至少部分地根据用户设置生成的,所述用户设置针对所述兴趣点指定所述子体积的大小。
4.根据权利要求1或权利要求2所述的装置,其中所述上下文信息特定于所述兴趣点并且特定于虚拟现实内容的相应的所述一个或多个实例中的其周围环境。
5.根据权利要求1或权利要求2所述的装置,其中所述下文信息定义所述虚拟现实内容中的关联邻近特征,所述子体积被定义为使得其包括所述兴趣点和所述关联邻近特征,所述关联邻近特征包括虚拟现实内容的所述一个或多个实例的所述视觉图像中的在所述兴趣点周围的虚拟位置处的预定特征,以提供所述兴趣点的虚拟周围环境的指示。
6.根据权利要求1或权利要求2所述的装置,
其中虚拟现实内容的所述一个或多个实例包括搜索查询的搜索结果,所述搜索查询在包括虚拟现实内容的所述一个或多个实例的虚拟现实内容的多个实例上被执行,所述兴趣点包括搜索查询的主题,所述搜索结果根据所述搜索查询的主题被生成。
7.根据权利要求1或权利要求2所述的装置,其中虚拟现实内容的实例的多个虚拟现实预览被提供用于在所述虚拟现实内容查看空间中显示,所述虚拟现实预览每个都在与所述用户的视点间隔开并且至少部分地围绕所述用户的所述视点的位置处被显示。
8.根据权利要求1或权利要求2所述的装置,其中所述虚拟现实预览中的每个虚拟现实预览相对于被提供用于显示的其他虚拟现实预览的相对大小由所述子体积的大小定义,所述子体积的所述大小由针对虚拟现实内容的每个实例的所述上下文信息定义。
9.根据权利要求1或权利要求2所述的装置,其中至少两个虚拟现实预览被提供用于显示:第一虚拟现实预览和第二虚拟现实预览,并且其中以下中的一项或多项:
i)根据所述用户的所述视点,所述第一虚拟现实预览在所述虚拟现实内容查看空间中位于所述第二虚拟现实预览的侧方,并且所述第一虚拟现实预览的子体积和所述第二虚拟现实预览的子体积彼此重叠;
ii)所述第一虚拟现实预览的所述子体积和所述第二虚拟现实预览的所述子体积不重叠;
iii)根据所述用户的所述视点,所述第一虚拟现实预览在所述虚拟现实内容查看空间中位于所述第二虚拟现实预览的前面,并且所述第一虚拟现实预览被显示为具有至少部分透明性,以通过所述第一虚拟现实预览提供所述第二虚拟现实预览的观看;
iv)根据所述用户的所述视点,所述第一虚拟现实预览在所述虚拟现实内容查看空间中位于所述第二虚拟现实预览的前面,从而将所述第二虚拟现实预览隐藏观看,其中基于用户输入,所述第二虚拟现实预览被使得对所述用户可见。
10.根据权利要求1或权利要求2所述的装置,其中基于用户输入,所述用户输入用以将所述虚拟现实内容查看空间中的其视点移动到所述虚拟现实预览中的特定虚拟现实预览的所述子体积内的位置,提供以下中的一项或多项:
i)与所述特定虚拟现实预览相关联的虚拟现实内容的所述一个或多个实例的至少时间子分段的呈现,所述时间子分段的至少一部分以所述兴趣点为特征;
ii)在虚拟现实中与所述特定虚拟现实预览相关联的虚拟现实内容的所述一个或多个实例的呈现;
iii)所述虚拟现实空间的与由所述子体积所定义的体积相比较大的体积的呈现;
iv)所述特定虚拟现实预览之外的所述虚拟现实预览从显示中的移除。
11.根据权利要求1或权利要求2所述的装置,其中一个或多个虚拟现实预览包括以下中的一项或多项:
i)基本呈长方体形的子体积;
ii)基本呈球形的子体积;以及
iii)基本呈扇形的子体积。
12.根据权利要求1或权利要求2所述的装置,其中一个或多个虚拟现实预览被提供用于显示,以使得每个虚拟现实预览都包括窗口,所述子体积通过所述窗口被观看,并且其中所述虚拟现实预览利用相对于所述用户基本固定的方位被提供,并且虚拟现实空间的所述子体积以及其中的所述兴趣点是旋转的。
13.根据权利要求1或权利要求2所述的装置,其中一个或多个虚拟现实预览被提供用于在以下配置中的一种或多种配置中显示:
i)在围绕所述用户的所述视点的平面中;
ii)在至少两个平面中,基本上水平地并且围绕所述用户的所述视点被布置的所述平面中的第一平面,以及基本上水平地并且在所述用户的所述视点的上方或下方被布置的、与所述第一平面被间隔开的所述平面中的第二平面;
iii)在汇聚于所述用户的所述视点处的多个扇区中;
iv)在第一层和第二层中,所述第一层包括汇聚于所述用户的所述视点处的多个扇区,所述第二层包括在基本上以所述用户的所述视点处为中心的环中被布置的多个扇区;
v)在沿螺旋的间隔点处,所述螺旋在所述用户的所述视点周围成螺旋。
14.一种虚拟现实内容的显示的方法,所述方法包括:
基于兴趣点在虚拟现实内容的一个或多个实例中被标识,虚拟现实内容的所述一个或多个实例每个至少包括视觉图像以提供虚拟现实空间,所述视觉图像在所述虚拟现实空间中被显示;并且基于针对所述虚拟现实内容的所述一个或多个实例中的至少一个实例的上下文信息,所述上下文信息定义所述虚拟现实空间的子体积的范围,所述子体积包括所述兴趣点;
向用户提供虚拟现实内容查看空间的显示,所述虚拟现实内容查看空间包括虚拟空间,在所述虚拟空间中,虚拟现实内容的所述至少一个实例的虚拟现实预览在与所述用户的视点间隔开的位置处被显示,所述虚拟现实预览或每个虚拟现实预览包括由所述上下文信息定义的相应的所述子体积,以用于将所述兴趣点周围的所述虚拟现实空间的视图提供给所述用户。
15.一种计算机可读介质,包括在其上存储的计算机程序代码,所述计算机可读介质和所述计算机程序代码被配置为当在至少一个处理器上被运行时执行以下方法:
基于兴趣点在虚拟现实内容的一个或多个实例中被标识,虚拟现实内容的所述一个或多个实例每个都至少包括视觉图像以提供虚拟现实空间,所述视觉图像在所述虚拟现实空间中被显示;并且基于针对所述虚拟现实内容的所述一个或多个实例中的至少一个实例的上下文信息,所述上下文信息定义所述虚拟现实空间的子体积的范围,所述子体积包括所述兴趣点;
向用户提供虚拟现实内容查看空间的显示,所述虚拟现实内容查看空间包括虚拟空间,在所述虚拟空间中,虚拟现实内容的所述至少一个实例的虚拟现实预览在与所述用户的视点间隔开的位置处被显示,所述虚拟现实预览或每个虚拟现实预览包括由所述上下文信息所定义的相应的所述子体积,以用于将所述兴趣点周围的所述虚拟现实空间的视图提供给所述用户。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17178581.9 | 2017-06-29 | ||
EP17178581.9A EP3422148B1 (en) | 2017-06-29 | 2017-06-29 | An apparatus and associated methods for display of virtual reality content |
PCT/FI2018/050413 WO2019002664A1 (en) | 2017-06-29 | 2018-05-31 | APPARATUS AND ASSOCIATED METHODS FOR DISPLAYING VIRTUAL REALITY CONTENT |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110809752A CN110809752A (zh) | 2020-02-18 |
CN110809752B true CN110809752B (zh) | 2024-07-12 |
Family
ID=59296693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880044108.7A Active CN110809752B (zh) | 2017-06-29 | 2018-05-31 | 用于虚拟现实内容显示的装置及相关联的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11210518B2 (zh) |
EP (1) | EP3422148B1 (zh) |
CN (1) | CN110809752B (zh) |
WO (1) | WO2019002664A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3285216A1 (en) * | 2016-08-19 | 2018-02-21 | Nokia Technologies Oy | Association of comments to points of interest in virtual reality |
EP3570566B1 (en) | 2018-05-14 | 2022-12-28 | Nokia Technologies Oy | Previewing spatial audio scenes comprising multiple sound sources |
KR102286987B1 (ko) * | 2019-01-18 | 2021-08-05 | 경희대학교 산학협력단 | 가상현실 콘텐츠를 체험하는 사용자의 체험 공간 활용도 향상 방법 및 장치 |
EP3712781A1 (en) * | 2019-03-20 | 2020-09-23 | Nokia Technologies Oy | An apparatus and associated methods for presentation of presentation data |
US11194438B2 (en) * | 2019-05-09 | 2021-12-07 | Microsoft Technology Licensing, Llc | Capture indicator for a virtual world |
GB2589340A (en) | 2019-11-27 | 2021-06-02 | Nokia Technologies Oy | Augmented reality system |
US20220043869A1 (en) * | 2020-08-06 | 2022-02-10 | Rovi Guides, Inc. | Methods and systems for searching based on multiple user profiles |
CN117459745A (zh) * | 2022-07-18 | 2024-01-26 | 北京字跳网络技术有限公司 | 信息交互方法、装置、电子设备和存储介质 |
CN118092670B (zh) * | 2024-04-22 | 2024-06-25 | 南京维赛客网络科技有限公司 | 虚拟场景中自适应角色的表情预览方法、系统及存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009108790A1 (en) * | 2008-02-26 | 2009-09-03 | Ecity, Inc. | Method and apparatus for integrated life through virtual cities |
US20090271369A1 (en) * | 2008-04-28 | 2009-10-29 | International Business Machines Corporation | Computer method and system of visual representation of external source data in a virtual environment |
US20100241525A1 (en) * | 2009-03-18 | 2010-09-23 | Microsoft Corporation | Immersive virtual commerce |
US8244754B2 (en) * | 2010-02-01 | 2012-08-14 | International Business Machines Corporation | System and method for object searching in virtual worlds |
US8601380B2 (en) * | 2011-03-16 | 2013-12-03 | Nokia Corporation | Method and apparatus for displaying interactive preview information in a location-based user interface |
CN104102678B (zh) * | 2013-04-15 | 2018-06-05 | 腾讯科技(深圳)有限公司 | 增强现实的实现方法以及实现装置 |
US20160163063A1 (en) * | 2014-12-04 | 2016-06-09 | Matthew Ashman | Mixed-reality visualization and method |
US20160180441A1 (en) * | 2014-12-22 | 2016-06-23 | Amazon Technologies, Inc. | Item preview image generation |
US10089388B2 (en) * | 2015-03-30 | 2018-10-02 | Airwatch Llc | Obtaining search results |
US9911238B2 (en) * | 2015-05-27 | 2018-03-06 | Google Llc | Virtual reality expeditions |
EP3112986B1 (en) | 2015-07-03 | 2020-02-26 | Nokia Technologies Oy | Content browsing |
US10176642B2 (en) * | 2015-07-17 | 2019-01-08 | Bao Tran | Systems and methods for computer assisted operation |
EP3196840B1 (en) | 2016-01-22 | 2022-12-14 | Nokia Technologies Oy | Displaying visual information of views captured at geographic locations |
-
2017
- 2017-06-29 EP EP17178581.9A patent/EP3422148B1/en active Active
-
2018
- 2018-05-31 WO PCT/FI2018/050413 patent/WO2019002664A1/en active Application Filing
- 2018-05-31 CN CN201880044108.7A patent/CN110809752B/zh active Active
- 2018-05-31 US US16/623,112 patent/US11210518B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN110809752A (zh) | 2020-02-18 |
US20200175274A1 (en) | 2020-06-04 |
US11210518B2 (en) | 2021-12-28 |
EP3422148B1 (en) | 2021-03-10 |
WO2019002664A1 (en) | 2019-01-03 |
EP3422148A1 (en) | 2019-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110809752B (zh) | 用于虚拟现实内容显示的装置及相关联的方法 | |
US20210158618A1 (en) | Selecting two-dimensional imagery data for display within a three-dimensional model | |
AU2021203688B2 (en) | Volumetric depth video recording and playback | |
CN108604175B (zh) | 装置和关联方法 | |
CN107590771B (zh) | 具有用于在建模3d空间中投影观看的选项的2d视频 | |
US20190180509A1 (en) | Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content | |
US9607437B2 (en) | Generating augmented reality content for unknown objects | |
US7474318B2 (en) | Interactive system and method | |
KR20220035380A (ko) | 증강 현실 장면들을 위한 시스템 및 방법 | |
US20150082209A1 (en) | Creating a three dimensional user interface | |
US11044398B2 (en) | Panoramic light field capture, processing, and display | |
EP3236336B1 (en) | Virtual reality causal summary content | |
US11321886B2 (en) | Apparatus and associated methods | |
US20160239095A1 (en) | Dynamic 2D and 3D gestural interfaces for audio video players capable of uninterrupted continuity of fruition of audio video feeds | |
JP2019512177A (ja) | 装置および関連する方法 | |
CN111741358A (zh) | 具有选择性视差效果的堆叠媒体元素 | |
WO2020187531A1 (en) | An apparatus and associated methods for presentation of presentation data | |
KR20200137594A (ko) | 모바일 장치 및 모바일 장치의 제어 방법 | |
CN114327174A (zh) | 虚拟现实场景的显示方法、光标的三维显示方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |