CN111386517A - 用于体验虚拟现实的用户之间的通信的装置和相关方法 - Google Patents

用于体验虚拟现实的用户之间的通信的装置和相关方法 Download PDF

Info

Publication number
CN111386517A
CN111386517A CN201880076144.1A CN201880076144A CN111386517A CN 111386517 A CN111386517 A CN 111386517A CN 201880076144 A CN201880076144 A CN 201880076144A CN 111386517 A CN111386517 A CN 111386517A
Authority
CN
China
Prior art keywords
user
virtual space
virtual
presentation
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880076144.1A
Other languages
English (en)
Inventor
J·勒帕南
A·勒蒂涅米
J·阿拉斯维奥里
J·霍姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN111386517A publication Critical patent/CN111386517A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102Entity profiles

Abstract

一种装置被配置,基于第一虚拟空间和不同的第二虚拟空间,视觉图像在第一虚拟空间中被呈现给第一用户,视觉图像在第二虚拟空间中被呈现给第二用户,第一虚拟空间和第二虚拟空间基于包括视觉图像的相应的虚拟现实内容,并且其中由第二用户能够查看的第一用户的表示在第二虚拟空间中并且基于来自第二用户的通信发起输入被提供;在第二虚拟空间中、在基于第一用户的第二表示的位置的虚拟位置处,提供上下文体积的通信和呈现,该上下文体积包括第一虚拟空间的子体积,该子体积至少部分地围绕第一用户,以使得第二用户能够看到由第一用户当前所体验的第一虚拟空间。

Description

用于体验虚拟现实的用户之间的通信的装置和相关方法
技术领域
本公开涉及虚拟、增强和混合现实的呈现领域。特别地,本公开涉及上下文体积的呈现以及不同虚拟空间中的用户之间的通信、相关联的装置、方法和计算机程序。
背景技术
随着内容创建者为探索提供越来越多的内容,虚拟现实环境的呈现正在变得越来越普遍。虚拟现实体验可以通过如下用户之间的通信来增强:可能正在体验不同的虚拟现实内容并且希望与其他人(诸如他们的朋友)共享他们的体验。在被呈现沉浸式虚拟现实内容的用户之间提供有效的通信接口可能很重要。
本说明书中对先前出版的文档或任何背景的列出或讨论不一定被认为承认该文档或背景是现有技术的一部分或是公知常识。本公开的一个或多个方面/示例可以解决或未解决一个或多个背景问题。
发明内容
在第一方面,提供了一种装置,该装置包括部件,该部件被配置为;
基于第一虚拟空间和不同的第二虚拟空间,视觉图像在第一虚拟空间中被提供以呈现给第一用户,视觉图像在第二虚拟空间中被提供以呈现给第二用户,第一虚拟空间和第二虚拟空间基于相应的第一虚拟现实内容和第二虚拟现实内容,该相应的第一虚拟现实内容和第二虚拟现实内容包括在相应的所述第一虚拟空间和第二虚拟空间中被显示的视觉图像,并且其中第一用户的表示在第二虚拟空间中并且基于通信发起输入被提供;
在第二虚拟空间中、在基于第一用户的第二表示在第二虚拟空间中的位置的虚拟位置处,提供上下文体积的呈现,上下文体积包括第一虚拟空间的子体积,该子体积至少部分地围绕第一用户,以使得第二用户能够看到当前被提供由第一用户消费的第一虚拟空间,并且至少提供从第二用户到第一用户的通信。
在一个或多个示例中,在通信发起输入之前,第一用户的表示在第二虚拟空间中的呈现至少独立于第一虚拟空间的视觉图像。在一个或多个示例中,第一虚拟空间和第二虚拟空间包括三维虚拟空间。
在一个或多个示例中,至少在通信发起输入之前,第二用户与第一用户的表示的交互不提供第一用户与第二用户之间的通信。
在一个或多个示例中,从第二用户到第一用户的至少通信包括以下中的一项或多项:
i)基于音频的通信;
ii)单向通信;
iii)双向通信;
iv)第一用户与第二用户之间的基于音频的双向通信;
v)可视化的基于文本的通信;
vi)基于来自第一用户的语音输入,将语音到文本转换后的音频作为文本呈现给第一用户。
在一个或多个示例中,第一虚拟现实内容包括用于在第一虚拟空间中呈现的音频内容,并且其中上下文体积的呈现包括被提供以在第一虚拟空间中呈现的所述音频内容的呈现,以使得第二用户能够听到在第一虚拟空间中被呈现的音频。
在一个或多个示例中,通信发起输入包括以下中的一项或多项:
i)由第二用户的用户输入;
ii)在由第一用户指示其能够联系的许可给予输入之后的、由第二用户的用户输入;
iii)被指向第一用户的表示的阈值内的方向的语音命令;
iv)由第一用户的用户输入。
在一个或多个示例中,该装置还被引起在第一虚拟空间中提供表示第二用户的第二用户图像的显示,以由第一用户查看,第二用户图像包括以下中的一项或多项:
i)第二用户的表示,诸如二维或三维表示;
ii)被显示在第一虚拟空间中的窗口,以提供对第二虚拟空间中的第二用户的表示的查看;
iii)多个虚拟空间图形中的一个虚拟空间图形,每个虚拟空间图形至少表示如下虚拟空间,在该虚拟空间中被连接到第一用户的包括第二用户的其他用户是活动的,其中用户连接信息提供对第一用户与上述其他用户之间的预定链路的指示;
iv)表示第二用户的其他视觉图像。
在一个或多个示例中,该装置被引起提供将预定音频效果应用到第二用户的所捕获的音频,第二用户的所捕获的音频被提供以呈现给第一用户,从而指示所述音频源自与第一虚拟空间不同的虚拟空间。
在一个或多个示例中,基于被指向第二用户图像的第一用户输入,提供利用预计用于由第一用户查看的第二虚拟空间的呈现来代替预计用于由第一用户查看的第一虚拟空间的呈现,以在公共虚拟空间中实现第一用户与第二用户之间的通信。
在一个或多个示例中,第一用户被提供有第二虚拟空间中的第一用户位置,并且其中预计用于由第一用户查看的第二虚拟空间的呈现包括:提供从第一用户位置的视角来看的、第二虚拟空间的视图的呈现,第一用户位置基于第一用户的表示在第二虚拟空间中的位置。
在一个或多个示例中,上下文体还包括:在第一用户正基于物理位置的实时捕获的相机图像而被呈现有所述第一虚拟空间的同时,第一用户所在的物理位置的视觉图像。
在一个或多个示例中,上下文体积包括核心部分和在所述核心部分的外部的外层部分,核心部分包括第一虚拟空间的、被提供用于显示以至少部分地围绕第一用户的所述子体积,外层部分包括第一用户所在的物理、真实世界位置的所述视觉图像。
在一个或多个示例中,在第二虚拟空间中被提供的、预计用于由第二用户查看的第一用户的表示的提供取决于用户连接信息,该用户连接信息指示第一用户与第二用户之间的预定链路。
在一个或多个示例中,第一用户的第一表示在第一虚拟空间中被提供,并且在第二虚拟空间中的第一用户的所述表示包括第一用户在第二虚拟空间中的第二表示,其中第一表示表示第一用户和其在第一虚拟空间中的位置,而第二表示表示第一用户和其在第二虚拟空间中不存在。
在一个或多个示例中,第一虚拟空间的子体积包括如下视觉图像,该视觉图像在距第一用户在第一虚拟空间中所位于的虚拟位置的预定距离内。
在一个或多个示例中,相应的虚拟现实内容包括所述视觉图像和可选的音频内容,诸如空间音频内容。
在一个或多个示例中,通信发起输入包括来自第二用户的基于语音的输入,并且其中该装置被配置为将来自第二用户的所述基于语音的输入的至少一部分传送给第一用户,作为从第二用户到第一用户的所述通信的一部分。
在一个或多个示例中,基于从第二用户所捕获的通信内容,通信内容被提供作为以下中的一项:(i)来自第二用户的通信发起输入的一部分以及(ii)在所述通信发起输入之后;
在上下文体积的所述呈现之后并且基于来自第二用户的另外的指示来提供所捕获的所述通信内容的从第二用户到第一用户的所述通信。
在另一方面,提供了一种方法,该方法包括:
基于第一虚拟空间和不同的第二虚拟空间,视觉图像在第一虚拟空间中被提供视觉图像以呈现给第一用户,视觉图像在第二虚拟空间中被提供以呈现给第二用户,第一虚拟空间和第二虚拟空间基于相应的第一虚拟现实内容和第二虚拟现实内容,该相应的第一虚拟现实内容和第二虚拟现实内容包括在相应的所述第一虚拟空间和第二虚拟空间中被显示的视觉图像,并且其中第一用户的表示在第二虚拟空间中并且基于通信发起输入被提供;
在第二虚拟空间中、在基于第一用户的第二表示在第二虚拟空间中的位置的虚拟位置处,提供上下文体积的呈现,上下文体积包括第一虚拟空间的子体积,该子体积至少部分地围绕第一用户,以使得第二用户能够看到当前被提供以由第一用户消费的第一虚拟空间,并且至少提供从第二用户到第一用户的通信。
在另一方面,提供了一种计算机可读介质,该计算机可读介质包括被存储在其上的计算机程序代码,计算机可读介质和计算机程序代码被配置为当在至少一个处理器上被运行时执行以下方法:
基于第一虚拟空间和不同的第二虚拟空间,视觉图像在第一虚拟空间中被提供以呈现给第一用户,视觉图像在第二虚拟空间中被提供以呈现给第二用户,第一虚拟空间和第二虚拟空间基于相应的第一虚拟现实内容和第二虚拟现实内容,该相应的第一虚拟现实内容和第二虚拟现实内容包括在相应的所述第一虚拟空间和第二虚拟空间中被显示的视觉图像,并且其中第一用户的表示在第二虚拟空间中并且基于通信发起输入被提供;
在第二虚拟空间中、在基于第一用户的第二表示在第二虚拟空间中的位置的虚拟位置处,提供上下文体积的呈现,上下文体积包括第一虚拟空间的子体积,该子体积至少部分地围绕第一用户,以使得第二用户能够看到当前被提供以由第一用户消费的第一虚拟空间,并且至少提供从第二用户到第一用户的通信。
在另一示例方面,提供了一种装置,该装置包括:
至少一个处理器;以及
至少一个存储器,该至少一个存储器包括计算机程序代码,
至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行以下:
基于第一虚拟空间和不同的第二虚拟空间,视觉图像在第一虚拟空间中被提供以呈现给第一用户,视觉图像在第二虚拟空间中被提供以呈现给第二用户,第一虚拟空间和第二虚拟空间基于相应的第一虚拟现实内容和第二虚拟现实内容,该相应的第一虚拟现实内容和第二虚拟现实内容包括在相应的所述第一虚拟空间和第二虚拟空间中被显示的视觉图像,并且其中第一用户的表示在第二虚拟空间中并且基于通信发起输入被提供;
在第二虚拟空间中、在基于第一用户的表示在第二虚拟空间中的位置的虚拟位置处,提供上下文体积的呈现,上下文体积包括第一虚拟空间的子体积,该子体积至少部分地围绕第一用户,以使得第二用户能够看到当前被提供以由第一用户消费的第一虚拟空间,并且至少提供从第二用户到第一用户的通信。
本公开内容以隔离或各种组合的方式包括一个或多个对应的方面、示例或特征,而无论是否以该组合或隔离的方式具体说明(包括要求保护)。用于执行所讨论的功能中的一个或多个功能的对应部件和对应功能单元(例如,功能使能器、AR/VR图形渲染器、显示设备)也在本公开内。
用于实现所公开的方法中的一种或多种方法的对应计算机程序也在本公开内,并且被所描述的示例中的一个或多个示例所涵盖。
以上概述旨在仅是示例性而非限制性的。
附图说明
现在仅通过示例的方式参考附图进行描述,在附图中:
图1示出了用于提供上下文体积的呈现和用户之间的通信的示例装置;
图2示出了第一用户和在第一虚拟空间中活动的第一用户的表示以及第一用户在第二虚拟空间中的被动表示的呈现;
图3类似于图2,并且另外示出了第二用户和在第二虚拟空间中活动的第二用户的表示;
图4类似于图3,并且另外示出了第二用户在第二虚拟空间中朝着第一用户的被动表示说话以提供通信发起输入;
图5示出了与第一用户相关联并且在第二虚拟空间中被呈现给第二用户的示例上下文体积,该上下文体积包括第一虚拟空间的子体积;
图6示出了在来自第二用户的音频的第一虚拟空间中向第一用户的示例呈现以及在第一虚拟空间中显示的示例第二用户图像;
图7示出了在第一用户已经提供了第一用户输入之后向第一用户呈现第二虚拟空间;
图8示出了第一用户在体验第一虚拟空间的同时所位于的示例真实世界空间,并且示出了包括第一虚拟空间的子体积以及来自第一用户的真实世界空间的图像的第二示例上下文体积;
图9示出了图示示例方法的流程图;以及
图10示出了计算机可读介质。
具体实施方式
虚拟现实(VR)可以使用VR显示器,包括耳机(诸如眼镜或护目镜或虚拟视网膜显示器),或者围绕用户以向用户提供沉浸式的虚拟体验的一个或多个显示屏。可以包括或不包括VR显示器的虚拟现实装置可以向用户提供表示虚拟现实场景的多媒体VR内容的呈现,以模拟用户存在于虚拟现实场景中。因此,在一个或多个示例中,VR装置可以向VR显示器提供信令以向用户显示VR内容,而在一个或多个其他示例中,VR装置可以是VR显示器的一部分,例如,耳机的一部分。因此,虚拟现实场景可以包括在三维虚拟现实空间内显示的VR内容,使得用户感觉沉浸在场景中,就像他们在场一样,并且可以在VR空间周围查看显示在他们周围的VR内容。虚拟现实场景可以复制真实世界场景以模拟物理存在于真实世界位置处的用户,或者虚拟现实场景可以是计算机生成的或者是计算机生成的内容与真实世界多媒体内容的组合。因此,VR内容可以被认为包括图像(例如,静态或视频图像)、音频和/或伴随数据,可以根据这些图像、音频和/或伴随数据来生成虚拟现实场景以进行显示。因此,VR装置可以通过生成在其中显示VR内容的虚拟三维VR空间来提供VR场景。虚拟现实场景可以由全景视频(诸如全景直播)提供,该全景视频包括具有宽或360°视场(或更多,诸如在水平方向上的视场上方和/或下方)的视频。全景视频可以具有宽视场,因为它的空间范围大于用户的视场或者大于预计用于与之一起显示的视场。
提供给用户的VR内容可以包括例如由VR内容捕获设备捕获的真实世界的实时或记录图像。示例VR内容捕获设备包括诺基亚技术OZO设备。由于VR场景通常大于用户可以利用VR显示器查看的部分,因此VR装置可以向用户提供VR场景的虚拟现实视图以用于在VR显示器上显示,该VR视图仅示出了可随时查看的VR内容的空间部分。VR装置可以基于用户头部和/或眼睛的移动来在VR场景中提供在VR视图周围的平移。VR内容捕获设备可以被配置为捕获VR内容以显示给一个或多个用户。VR内容捕获设备可以包括一个或多个相机、以及可选地,一个或多个(例如,定向)麦克风,该一个或多个麦克风被配置为从捕获视角来捕获周围的视觉和听觉场景。在一些示例中,VR内容捕获设备包括多个物理上分开的相机和/或麦克风。因此,可以使用VR内容捕获设备来捕获(和记录)音乐表演,该VR内容捕获设备可以放置在舞台上,其中表演者可以围绕它移动或从观众的视角移动。在每种情况下,VR内容的消费者都可以能够使用VR装置的VR显示器来环顾四周,以体验在捕获位置处的表演,就像它们在场一样。
增强现实(AR)可以使用AR显示器(诸如眼镜或护目镜或虚拟视网膜显示器)来利用计算机生成的内容来增强真实世界的视图(诸如通过眼镜或护目镜看到的)。可以包括或不包括AR显示器的增强现实装置可以提供多媒体AR内容的呈现,该多媒体AR内容被配置为覆盖在用户对真实世界的视图之上。因此,增强现实的用户可以能够查看他们周围的真实世界环境,该真实世界环境利用由增强现实装置提供的内容被增强或补充,由增强现实装置提供的内容可以覆盖在他们对真实世界的视图上和/或可听见地覆盖在他们可以听到的听觉真实世界场景上。内容可以包括多媒体内容,诸如图片、照片、视频、图表、文本信息、听觉内容等。因此,尽管增强现实可以通过添加计算机生成的图形和/或音频内容来提供对真实世界的直接查看,但是虚拟现实的用户可能基本上只能看到虚拟现实装置的VR显示器上呈现的内容,而无需直接查看真实世界。
虚拟现实内容可以包括预定义查看位置VR或自由查看位置VR,并且呈现所述VR内容的VR装置可以提供预定义查看位置VR或自由查看位置VR。在预定义查看位置VR中,用户在虚拟现实空间中的位置可以是固定的或者遵循预定义的路径。因此,用户可以相对于如下虚拟现实图像来自由地改变他们的查看方向,该虚拟现实图像被提供以在虚拟现实空间中在其周围显示,但是用户可能不能自由地在VR空间中随意改变他们的查看位置来探索VR空间。因此,用户可以从固定的视角或查看位置(或基于VR内容捕获设备在场景中的位置的有限数目的位置)体验这样的VR内容。在预定义查看位置VR的一些示例中,可以将图像视为移动经过它们。在真实世界的所捕获的预定义查看位置VR内容中,可以向用户提供VR内容捕获设备的视角。预定义查看位置VR内容可以在VR空间中为用户提供三个自由度,包括查看方向围绕x、y和z轴中的任一个轴的旋转,并且因此可以称为三自由度VR(3DoF VR)。
在自由查看位置VR中,VR内容和呈现所述VR内容的VR装置可以使得用户能够自由地探索虚拟现实空间。因此,VR装置可以允许向用户提供虚拟现实空间中的自由视角或查看位置以及自由查看方向。对于本领域技术人员而言,自由查看位置VR也称为六自由度(6DoF)VR或体积VR。因此,在6DoF VR中,用户可以通过修改其查看方向来自由地围绕VR空间查看不同的方向,也可以通过沿着正交的x、y和z轴中的任一个轴平移来自由地改变其在VR空间中的查看位置(其虚拟位置)。6DoF虚拟现实空间中可用的运动可以分为两类:旋转和平移运动(每个具有三个自由度)。旋转运动使得用户能够转动其头部以改变其查看方向。这三个旋转运动围绕x轴(滚动)、围绕y轴(俯仰)、和围绕z轴(偏航)。平移运动表示用户还可以改变他们在空间中的视角以从不同的虚拟位置查看VR空间,即,根据他们的意愿沿着x、y、和z轴移动。使用从船舶运动中得出的术语,平移运动可以称为纵荡(x)、摇摆(y)、和升沉(z)。
混合现实包括增强现实和虚拟现实的组合,其中真实世界环境的三维模型用于使得虚拟对象能够似乎根据其运动和外观中的一个或多个来与真实世界对象交互。
本文中描述的一个或多个示例涉及6DoF虚拟、混合或增强现实内容,其中用户由通过物理地移动或例如经由专用用户接口(UI)的用户输入,至少基本上可以自由地在虚拟空间中移动。
虚拟空间是指可以被查看的完全或部分人造的环境,其可以是三维的。虚拟空间可以表示要查看的虚拟空间和对应的声音空间的组合。在一些示例中,虚拟空间可以水平地延伸多达360度,并且可以竖直地延伸多达180度。声音空间是指声源在三维空间中的布置。可以相对于记录声音(所记录的声音空间)并且相对于渲染声音(所渲染的声音空间)定义声音空间。
空间音频包括以这样的方式呈现给用户的音频,即它被认为源自特定位置,就好像音频源位于该特定位置一样。因此,虚拟现实内容可以被提供有具有方向属性的空间音频,使得音频被认为源自VR空间中的点,该点可以被链接到VR内容的图像。可以向增强或混合现实内容提供空间音频,使得空间音频被认为源自用户可见的真实世界对象和/或覆盖在用户视图上的增强现实图形。
空间音频可以独立于视觉虚拟现实或视觉增强现实内容来呈现。然而,在一些示例中,空间音频可以被认为是增强现实内容,因为它增强了用户感知的听觉场景。作为空间音频的独立呈现的示例,用户可以戴着耳机,并且当他们探索真实世界时,可以向他们呈现空间音频,使得音频似乎起源于与真实世界对象或位置相关联的特定位置。例如,可以通过跟踪用户在城市中的位置并且呈现描述兴趣点的音频作为空间音频的设备来提供城市游览,以使得音频被感知为源自用户位置周围的兴趣点。本文中描述的一个或多个实施例可以呈现空间音频。
空间音频的空间定位可以由3D音频效果提供,诸如利用与头部相关的传递函数来创建音频可以定位在其中以呈现给用户的空间音频空间的那些3D音频效果。可以由耳机通过使用头部相关的传递函数(HRTF)过滤技术或者针对扬声器通过使用矢量基幅度平移技术来定位音频内容的所感知的听觉源来呈现空间音频。在其他实施例中,环境立体混合声音频呈现可以用于呈现空间音频。空间音频可以使用向用户的每只耳朵的听觉呈现之间的音量差异、定时差异和音高差异中的一个或多个,以产生音频的起源在空间中的特定位置的感觉。
虚拟、混合或增强现实内容(为简便起见在本文中称为虚拟或增强现实内容)的消费可能需要使用用户可以在其中移动的物理真实世界空间。如上所述,用户的运动可以用作用户输入,以控制用户在基于虚拟或增强现实内容而提供的虚拟空间中的位置。特别地,针对自由查看位置虚拟或增强现实内容,用户可用以从不同角度查看虚拟对象和场景的物理空间对于这样的内容的有效的、沉浸式消费可能是重要的。
使用虚拟的、混合的或增强现实体验,也可以促进不同物理位置中的用户之间的通信。在一个或多个示例中,可能需要虚拟现实体验的共享以及用户之间的通信。但是,虚拟现实的沉浸式特性使提供有效的通信接口变得困难。在一个或多个示例中,用户之间的通信的发起对于虚拟现实内容的使用不干扰是很重要的。在一个或多个示例中,提供期望接受来自另一用户的通信请求的发起的指示可能是困难的。
图1示出了用于呈现上下文体积并且提供用户之间的通信的示例系统100。系统100包括用于呈现上下文体积的示例装置101,如将在下面解释的。
装置101可以包括或连接到处理器102和存储器103,并且可以被配置为执行计算机程序代码。装置101可以仅具有一个处理器102和一个存储器103,但是应当理解,其他实施例可以利用多于一个的处理器和/或多于一个的存储器(例如,相同或不同的处理器/存储器类型)。此外,装置101可以是专用集成电路(ASIC)。
处理器可以是如下通用处理器,该通用处理器专用于根据以计算机程序代码的形式存储在存储器中的指令来执行/处理从其他组件(诸如从第一用户装置105和第二用户装置106)接收的信息。由处理器的这样的操作生成的输出信令被继续提供给另外的组件,诸如装置103、104。
存储器103(不一定是单个存储器单元)是存储计算机程序代码的计算机可读介质(在该示例中为固态存储器,但是可以是其他类型的存储器,诸如硬盘驱动器、ROM、RAM、闪存等)。当程序代码在处理器上运行时,该计算机程序代码存储由处理器可执行的指令。在一个或多个示例实施例中,存储器与处理器之间的内部连接可以理解为在处理器与存储器之间提供活动的耦合,以允许处理器访问存储在存储器上的计算机程序代码。
在该示例中,相应处理器和存储器在内部彼此电连接以允许相应组件之间的电通信。在该示例中,所有组件都彼此邻近放置,以便一起形成为ASIC,换言之,以便一起集成为可以安装到电子设备中的单个芯片/电路。在一些示例中,一个或多个或所有组件可以彼此分开地放置。
在该示例中,装置101形成服务器104的一部分,该服务器104被配置为与第一用户装置105和第二用户装置106通信。装置101可以通过第一用户装置105和第二用户装置106中的一者或两者来提供上下文体积的呈现。装置101可以经由第一用户装置105和第二用户装置106来提供第一用户与第二用户之间的通信。
在一个或多个示例中,第一用户装置105和第二用户装置106包括VR装置,该VR装置提供虚拟现实内容的显示,该虚拟现实内容至少包括在三维虚拟空间中显示的视觉图像,用户可以使用作为VR装置105、106的一部分的相应显示器107A、107B来查看该三维虚拟空间。在该示例中,呈现设备107A可以包括VR耳机。
VR装置105、106、或者在装置101的控制下的VR装置105、106可以使用音频呈现设备108A、108B(诸如作为装置105、106的一部分的耳机108A、108B)来提供与虚拟现实内容相关联的音频内容的听觉呈现。
在一个或多个示例中,VR装置105、106中的一者或两者包括被配置为捕获其相应用户所在的真实世界空间的图像的一个或多个相机109A、109B,或者与一个或多个相机109A、109B通信。
在一个或多个示例中,VR装置105、106可以具有生成虚拟空间并且由此呈现VR内容的功能,该VR内容可以从装置101、服务器104或数据存储(未示出)提供。因此,装置101可以被配置为向VR装置105、106提供信令,以控制或增强它们向其相应用户呈现的内容并且经由装置105、106提供用户之间的通信。
在一个或多个其他示例中,VR装置105、106可能仅具有呈现功能,并且可能无法生成用于向用户呈现的三维虚拟空间。相应地,装置101可以被配置为提供表示虚拟空间及其组成视觉图像以由VR装置105、106呈现的信令。相应地,总之,装置101可以向用户提供虚拟空间的生成和显示,或者可以控制向用户提供虚拟空间的生成和显示的装置105、106。应当理解,可以提供其他方式来分发提供虚拟空间的显示和提供通信所需要的处理。例如,装置101可以与VR装置105、106中的一者或两者集成。总之,第一用户和第二用户可能需要提供虚拟空间图像的显示及其之间的通信链路的装置。所述虚拟空间图像的生成、上下文体积的生成以及用户之间的通信的提供可以通过集中式或分布式装置101来提供。
装置105、106可从位置跟踪器(未示出)接收指示用户的头部取向和其相应用户在真实世界空间中的位置中的一者或两者的信令。位置跟踪器可以包括执行以下功能中的一项或两项的单个设备或多个子设备:确定指示用户的头部取向的查看方向信息,以及确定包括用户在真实世界空间中的位置的用户位置信息。用户在其人身上可以具有一个或多个标签或标记,跟踪器可以使用该标签或标记来确定以下中的一项或多项:其位置、身体/头部取向、或者其被配置为确定的任何其他定位/运动特性。在其他示例中,跟踪器可以使用对所捕获的传感器数据(诸如来自相机的视觉数据)的分析来确定以下中的一项或多项:其位置、身体/头部取向、或者其被配置为确定的任何其他定位/运动特性。应当理解,这样的功能可以由多个独立的装置提供,该多个独立的装置被配置为根据需要向装置101或VR装置106、106报告。由于虚拟空间中的查看方向的改变,头部取向可以控制向用户提供的虚拟现实视图。
装置101、105、106可以从一个或多个内容捕获设备接收表示所捕获的虚拟现实内容的信令。因此,相机109A和109B可以包括VR内容捕获设备。VR内容捕获设备可以包括诺基亚Ozo相机。捕获设备可以被配置为至少捕获其所位于的空间的视觉图像,使得可以在虚拟现实中呈现真实世界空间的至少一部分的三维表示。由捕获设备提供给装置101的信令可以包括其捕获的空间的深度信息以及创建这样的虚拟三维表示所需要或期望的任何其他信息。
示例图2至8在每个图的上半部分中示出了在其真实世界中存在的一个或两个用户,并且在每个图的下半部分中示出了一个或多个虚拟空间中的一个或两个用户的表示。虚拟空间可以包括一个或多个用户正在体验的虚拟现实空间。
图2示出了与耳机108A一起佩戴装置105的VR耳机107A的第一用户201。通过VR装置105向第一用户201提供包括海滩场景的第一虚拟空间202的视图。还可以通过耳机108A向第一用户201在听觉上呈现尤克里里音乐作为VR空间的体验的一部分。音乐由图标204表示。可以呈现被提供用于在第一虚拟空间202中显示的第一用户201的第一表示203。第一表示203可以包括第一用户201的图像、第一用户201的3D模型、可以与第一用户201相关联的其他用户可以唯一地标识为与第一用户201相关联的化身或任何其他表示。在一个或多个示例中,可以不提供第一表示203,诸如在第一用户201是唯一体验第一虚拟空间202的人,并且因此没有人需要看到第一用户201在第一虚拟空间202中的位置的情况下。
第一用户201可以与一个或多个其他用户相关联,诸如第一用户201的朋友。第一用户201可以向装置101提供输入、或者装置101随后可以访问的输入,以指示第一用户201已经接受其作为向他们发送消息的潜在发送者的其他用户。
因此,装置101可以被提供有用户连接信息,该用户连接信息指示第一用户201与一个或多个其他用户(诸如第二用户302)之间的预定链路,如图3所示。
可以提供第一用户201的另外的表示,以便在其他虚拟空间中呈现,诸如出现在用户连接信息中的其他用户当前正在体验的虚拟空间。因此,可以向第一用户201的第二表示205呈现第二虚拟空间206。在该示例中,第二虚拟空间206包括洞穴场景。在图3中将看到,向第二用户302呈现其中具有第二表示205的第二虚拟空间206。第二表示205可以包括第一用户201的图像、第一用户201的3-D模型、第二用户302或与第一用户201相关联的其他用户可以唯一地标识为与第一用户201相关联的化身或任何其他表示。
在一个或多个示例中,第二表示205可以与第一表示203不同。
例如,第一表示203可以是活动表示,其中表示203位于第一用户201当前被呈现并且因此体验的第一虚拟空间中的虚拟位置。因此,第一表示203可以随着第一用户在虚拟空间中的移动而移动。因此,第一表示203可以表示第一用户201,并且可以表示第一用户在第一虚拟空间203中的位置。
第二表示205可以是第一用户201的被动表示。如上所述,向第一用户201呈现第一虚拟空间203而不是第二虚拟空间206。因此,第二表示205可以表示第一用户201而不是第一用户在第二虚拟空间中的位置,因为第一用户201没有体验第二虚拟空间206。因此,如果这样的移动恰好被配置为提供用于虚拟空间中的移动的输入(可以提供的其他用户移动接口),第二表示205可能不会随着第一用户在其真实世界空间207中的移动而移动。总而言之,在一个或多个示例中,在通信发起输入之前,第一用户的表示205在第二虚拟空间206中的呈现不存在第一虚拟空间206的视觉图像,并且可以与第一用户当前正在体验的虚拟空间无关地被显示。
转到类似于图2的示例图3,示出了第二用户302在他们的真实世界空间307中体验第二虚拟空间206。第二用户302可以在第二虚拟空间周围移动以查看其内容。可以提供第二用户302的表示303以在第二虚拟空间206中显示。第一用户201的第二表示205可以在被提供以由所述第二用户302查看的虚拟空间206的图像中是可见的。在该示例中,第二表示205被示出为具有视觉效果,诸如条纹效果或部分透明效果,以向第二用户302说明表示205是被动表示。在一个或多个示例中,被动表示可以被认为包括空间206中没有探索空间206的用户203的表示。在一个或多个示例中,被动表示在虚拟空间206中可以是静止的。在一个或多个示例中,被动表示可以在虚拟空间206中位于第二用户303附近,并且基于第二用户302的移动,至少一次被重新定位为在虚拟空间206中在第二用户302附近,因此第二用户302可以轻松地找到第二表示205。在一个或多个示例中,用户201的移动或用以在虚拟空间202中移动的第一用户201的用户输入不提供第二被动表示205的移动。
在图3所示的情况下,图3示出了在通信发起输入之前的情况,装置101或装置105提供第一虚拟空间202而不是第二虚拟空间以呈现给第一用户201。同样地,装置101或装置106提供第二虚拟空间206而不是第一虚拟空间202以呈现给第二用户302。因此,尽管可以向第二用户302呈现第一用户201的第二表示205,但是他们没有在视觉或听觉上被呈现有第一用户201正在体验的第一虚拟空间202的内容。
示例图4示出了在第二虚拟空间中的提供通信发起输入400的第二用户302。在该示例中,通信发起输入400包括在第二用户302被呈现有指向第一用户201的表示205的虚拟现实视图时一次捕获的任何第二用户语音。因此,用于通信的发起者可以包括朝向第二虚拟空间206中的表示205说话的第二用户。在一个或多个示例中,通信发起输入400可以要求第二用户302在第二虚拟空间中的位置在第一用户205的表示的阈值距离之内,并且要求提供所述第二用户语音。在一个或多个示例中,第一用户语音可能需要是码字或预定的短语以发起通信(可能与他们正在虚拟空间中查看的方向无关)。在一些其他示例中,提供朝向第一用户的表示205的第二用户语音的动作足以提供通信发起输入400。在一些其他示例中,其他输入(诸如眼睛注视输入、用户接口输入、手势的执行中的一种或多种)可以包括通信发起输入400。一般来说,通信发起输入400可以包括由第二用户的用户输入,诸如通过语音、手势、用户接口或其他,这可能需要遵循第一用户先前提供的指示他们同意可联系的许可给予输入。
示例图5示出了直接响应于通信发起输入400的提供的上下文体积500的呈现。上下文体积500包括所显示的第一虚拟空间202的体积的一部分的视图,该视图被叠加到第二虚拟空间的子体积(例如,小于第二虚拟空间的总体积的体积)中。因此,上下文体积500可以仅包括第一虚拟空间的子体积,包括来自第一虚拟空间的该子体积的对应图像(例如,和音频)。被显示为上下文体积的图像的一部分可以包括围绕第一用户201在第一虚拟空间中的当前虚拟视角位置的图像部分。例如,上下文体积可以包括围绕第一用户的表示203的第一虚拟空间202的一部分,诸如距第一用户的表示203达预定距离。因此,第二用户302被提供有第二虚拟空间206的视图,其中包括第二虚拟空间的体积的一部分的子体积被来自第一虚拟空间202的、围绕第一用户的表示205的当前位置的子体积所代替。上下文体积500从而使得第二用户302能够看到第一用户203本地的并且当前由第一用户203体验的第一虚拟空间202的一部分。因此,第二用户302可以了解第一用户201正在体检什么,以了解在体验第一虚拟空间202时,与第一用户201的有效通信如何被提供他们的活动或感知的沉浸水平。
如上所述,提供用于生成第一虚拟空间202的数据的第一虚拟现实内容可以包括在第一虚拟空间202中呈现给第一用户201的音频内容。因此,上下文体积500的呈现可以不仅包括视觉呈现,还包括音频呈现。因此,装置101可以提供如当前在第一虚拟空间202中呈现给第一用户的那样,将来自第一虚拟空间202的所述音频内容呈现给第二用户302。因此,该装置使得第二用户302能够听到第一用户当前体验的第一虚拟空间的音频。因此,第二用户302可以听到第一用户201在第一虚拟空间中正在收听的夏威夷四弦琴音乐204,如图标504所示。
装置101可以提供第一虚拟现实内容的传送或对其的引用,该第一虚拟现实内容提供第一虚拟空间202的生成以及指示要从中提取的子体积的信息以作为上下文体积500来显示。在其他示例中,该信息而不是子体积可以定义第一用户201在第一虚拟空间202中的位置,并且该子体积的大小可以由装置101或装置106基于一个或多个因素来确定。所述因素可以包括第二虚拟空间206的大小或第二虚拟空间206中的第二用户与第一用户的表示205的接近度。然后,装置106可以能够将第一空间202的子体积三维地叠加到第二空间206中,以作为上下文体积500显示给第二用户302。在其他示例中,装置101被引起生成与第一空间202的子空间叠加的第二空间206的视图,以经由装置106呈现给第二用户302。在一个或多个示例中,上下文体积500包括第一空间202的子体积,该子体积围绕第一用户在所述第一空间202中的当前位置,并且因此至少围绕在所述当前位置的预定距离内的视觉图像。如果在呈现上下文体积500的同时第一用户201在第一虚拟空间中移动,则可以基于第一用户的新的当前位置来周期性地或连续地更新作为上下文体积500的一部分呈现的第一虚拟空间的子体积。
在一个或多个示例中,装置100可以借助于将所捕获的第二用户语音(作为通信发起输入400的一部分而说出的)传输到第一用户201来提供从第二用户302到第一用户201的至少通信。所捕获的第二用户语音可以包括从第二用户捕获的通信内容的示例。例如,在其中通信是基于文本的一个或多个示例中,所捕获的通信内容可以包括消息。
应当理解,所述通信可以以各种形式来提供。例如,在一个或多个示例中,从第二用户302到第一用户201的至少通信包括以下中的一项或多项:
i)基于音频的通信;
ii)至少最初从第二用户到第一用户的单向通信,诸如直到第一用户201提供双向通信输入以发起双向通信为止;
iii)第一用户与第二用户之间的双向通信,诸如基于音频的双向通信;
v)可视化的基于文本的通信,诸如在虚拟空间202、206中从一个用户向另一用户在视觉上呈现有消息的语音气泡;
vi)语音到文本转换后的音频,诸如第二用户音频,用于基于来自第一用户的语音输入作为文本呈现给第一用户。
在一个或多个示例中,在第二用户302被呈现有上下文体积500的同时,作为通信发起输入400的一部分(或来自第二用户的其他捕获的通信内容)而说出的所捕获的第二用户语音被提供,以立即呈现给第一用户201。装置101从而向第二用户302提供关于第一用户201的体验的一些上下文,因此他们可以从而了解第一用户201将如何接收其捕获的通信内容。例如,如果第一用户201忙于体验第一虚拟空间202,则第二用户302借助于上下文体积500的呈现可以了解为什么不会立即收到来自第一用户201的响应。
在一个或多个示例中,上下文体积500包括第一用户201的第二表示205的呈现。在一个或多个其他示例中,上下文体积500包括第二虚拟空间206中的第一用户205的第一表示203的呈现。如上所述,第一表示203可以包括“活动”表示,因为它随着第一用户移动而移动。
在一个或多个其他示例中,装置100可以在一段时间之后提供从第二用户302到第一用户201的至少通信。因此,在通信发起输入400之后,可以提供上下文体积500,并且可以对作为通信发起输入400的一部分而说出的所捕获的第二用户语音(或者更一般地,其他捕获的通信内容)排队以传输给第一用户201。这可以使得第二用户302能够决定他们是否仍然希望与第一用户通信。该装置可以被配置为等待第二用户302提供用以确认通信应当发生的另外的指示。另外的通信可以包括用户输入,或者可以包括在预定时间段内不存在用户输入。可能是第二用户看到第一用户201在上下文体积500中很忙,并且根本不希望将他们捕获的第二用户语音传输给第一用户201。因此,装置101可以被引起在以下中的一项之后提供所述通信:(a)没有接收到第二用户取消输入的时间段,第二用户取消输入指示第二用户期望不发送排队的所捕获的第二用户语音;以及(b)第二用户确认发送输入,其指示第二用户期望发送排队的所捕获的第二用户语音,该第二用户确认发送输入可能需要在预定时间段内被接收。
示例图6类似于图5,但是示出了在第一虚拟空间202中向第一用户201呈现来自第二用户302的所捕获的通信内容。因此,在该示例中,向第一用户203在听觉上呈现被示出为600的所捕获的第二用户语音。
因此,为了概括图2至6中例示的功能,装置101被引起使其动作基于第一三维虚拟空间202和不同的第二三维虚拟空间206,视觉图像在第一三维虚拟空间202中被呈现给第一用户201,视觉图像在第二三维虚拟空间206中被呈现给第二用户302。第一虚拟空间和第二虚拟空间202、206根据包括所述视觉图像的相应虚拟现实内容而生成,以在相应的所述第一虚拟空间和第二虚拟空间中显示,并且在一个或多个示例中,音频(诸如空间音频)可以是用于提供其他感觉刺激的数据。装置101提供由第二用户302可查看的第一用户201的表示205,以在第二虚拟空间206中提供。此外,基于来自第二用户302的通信发起输入400,装置101可以提供上下文体积500的呈现。具体地,装置101在第二虚拟空间206中、在基于第一用户201的第二表示205在第二虚拟空间206中的位置的虚拟位置处,提供上下文体积500的呈现。因此,对于第二用户302,在一个或多个示例中,由第一用户体验的第一虚拟空间的有限数量的视觉图像可以出现在第二虚拟空间206中的第一用户201的第二表示303的周围。
返回示例图6,装置101还被引起在第一虚拟空间202中提供表示第二用户302的第二用户图像601的显示,以呈现给第一用户201。如该示例中所示,第二用户图像601可以包括窗口602中的第二用户303的二维表示。窗口602可以提供对第二虚拟空间中的第二用户的表示303的查看,或者可以显示化身。在一个或多个其他示例中,第二用户图像601可以包括第二虚拟空间的子体积,类似于上下文体积500。此外,在一个或多个示例中,第二用户图像601可以包括第二虚拟空间中的视图,并且可以包括从由所述表示203的位置定义的视角来看的图像。
应当理解,可以向第一用户201呈现来自第一虚拟现实内容的一个或多个声音,这可能使得难以理解第二用户语音600不是第一虚拟现实内容的一部分。因此,在一个或多个示例中,装置101可以被引起提供将预定音频效果应用到呈现给第一用户的第二用户的第二用户音频。音频效果可以包括隧道效果,用以复制通过隧道(例如,来自第二虚拟空间206的隧道)听到的音频。音频效果可以被配置为与第一虚拟空间202的音频不同。音频效果由此可以向第一用户201指示所述第二用户音频源自与第一虚拟空间202不同的虚拟空间。
示例图7示出了已经决定在第二虚拟空间206中加入第二用户302的第一用户201。因此,装置101可以经由第一装置105向第一用户201提供第二虚拟现实空间206中的视图的显示,以代替第一虚拟空间202的第一用户的视图。因此,第一用户的活动表示203在第二虚拟空间206中示出。在一个或多个示例中,第一用户201的被动表示205被提供以在第一虚拟空间中呈现。在第一虚拟空间202中提供表示205可以允许正在探索第一虚拟空间202的其他用户与现在在第二虚拟空间206中的第一用户201联系。
第一用户201的视图从第一虚拟空间202中的视图到第二虚拟空间206中的视图的切换可以基于指向第二用户图像601的第一用户输入来进行。在公共的第二虚拟空间206中的第一用户和第二用户的放置可以提供第一用户201与第二用户302之间的有效通信。
在该示例中,在提供第一用户输入以切换到第二虚拟空间206之后,第一用户201基于第二表示203的位置被提供有在第二虚拟空间206中的第一用户位置。因此,装置101从第二虚拟空间206中的所述第一用户位置向第一用户提供视图的呈现。
尽管在以上示例中,从第一用户的视角来看,由于第二用户提供了通信发起输入400,所以装置101提供第二用户图像601的呈现,第一用户可以从可能还已经提供通信发起输入400的多个用户接收通信请求。用户连接信息可以标识多个用户,诸如第三、第四等用户,这些用户也在探索虚拟空间并且可能希望与第一用户201通信。
因此,代替第二用户图像601,装置101可以提供包括多个虚拟空间图形的轮播的显示,每个虚拟空间图形至少表示如下虚拟空间,在该虚拟空间中存在连接到第一用户的其他用户(包括第二用户302),其中用户连接信息提供对第一用户与所述其他用户之间的预定链路的指示。因此,装置101可以基于第一用户对多个虚拟空间图形中的一个或多个虚拟空间图形的选择输入来提供与第二用户和其他用户中的一个或多个的通信。
示例图8示出了上下文体积800的第二示例。在图8中,更详细地示出了第一用户在体验所述第一虚拟空间时所位于的真实世界空间207。在该示例中,上下文体积不仅包括第一用户当前正在体验的第一虚拟空间202的子体积,而且还包括来自真实空间207的图像。
因此,在一个或多个示例中,装置101被引起提供上下文体积800,该上下文体积800还包括:在第一用户201正基于实时捕获的相机图像(诸如来自相机109A)而被呈现有所述第一虚拟空间202的同时,第一用户201所在的物理位置207的视觉图像。装置101可以提供来自第一虚拟空间202的子体积和来自相机109A的实时捕获的相机图像,以便以不同的方式组合以形成上下文体积800。在该示例中,上下文体积800包括核心部分801和在所述核心部分801的外部的外层部分802,核心部分801包括第一虚拟空间202的、至少部分地围绕位于第一虚拟空间中的第一用户的所述子体积,外层部分802包括第一用户201所在的物理、真实世界位置207的所述视觉图像。
在一个或多个示例中,可以不实时地捕获形成上下文体积800的相机图像。例如,相机图像可以是用户当前所在的相同房间的预捕获的图像。
通过提供上下文体积800,该上下文体积800包括分别来自第一用户201所在和第一用户201实际上所在的真实世界空间207和第一虚拟空间202的图像(以及可选的音频),可以为第二用户302提供较有效的方式来与第一用户通信,假定他们将了解第一用户201的设置和虚拟体验。
图9示出了流程图,该流程图示出了以下步骤:基于901第一虚拟空间和不同的第二虚拟空间,视觉图像在第一虚拟空间中被提供以呈现给第一用户,视觉图像在第二虚拟空间中被提供以呈现给第二用户,第一虚拟空间和第二虚拟空间基于相应的第一虚拟现实内容和第二虚拟现实内容,该相应的第一虚拟现实内容和第二虚拟现实内容包括在相应的所述第一虚拟空间和第二虚拟空间中被显示的视觉图像,并且其中第一用户的表示在第二虚拟空间中并且基于通信发起输入被提供;
在第二虚拟空间中、在基于第一用户的表示在第二虚拟空间中的位置的虚拟位置处,提供上下文体积的呈现902,上下文体积包括第一虚拟空间的子体积,该子体积至少部分地围绕第一用户,以使得第二用户能够看到当前被提供以由第一用户消费的第一虚拟空间,并且至少提供从第二用户到第一用户的通信。
图10示意性地示出了根据示例的提供程序的计算机/处理器可读介质1000。在该示例中,计算机/处理器可读介质是诸如数字通用盘(DVD)或光盘(CD)的盘。在一些示例中,计算机可读介质可以是已经以执行发明功能的方式被编程的任何介质。计算机程序代码可以分布在相同类型的多个存储器之间,也可以分布在不同类型的多个存储器之间,诸如ROM、RAM、闪存、硬盘、固态硬盘等。
用户输入可以是包括以下中的一项或多项的手势:轻击、轻扫、滑动、按压、保持、旋转手势、靠近设备的用户接口的静态悬停手势、靠近设备的移动悬停手势、弯曲设备的至少一部分、挤压设备的至少一部分、多指手势、倾斜设备、或者翻转控制设备。此外,这些手势可以是使用用户身体(诸如他们的手臂)的任何自由空间用户手势、或手写笔、或适合于执行自由空间用户手势的其他元件。
以上示例中示出的装置可以是便携式电子设备、膝上型计算机、移动电话、智能电话、平板计算机、个人数字助理、数字相机、智能手表、智能眼镜、基于笔的计算机、非便携式电子设备、台式计算机、监测器、智能电视、服务器、可穿戴设备、虚拟现实装置、或者用于上述装置中的一项或多项的模块/电路系统。
任何提及的装置和/或特定提及的装置的其他特征可以由被布置为使得它们被配置为仅在被启用(例如,开机等)时才执行期望操作的装置来提供。在这种情况下,它们可能未必在未启用(例如,关闭状态)下将适当的软件加载到活动存储器中,而仅在启用(例如,开启状态)下加载适当的软件。该装置可以包括硬件电路系统和/或固件。该装置可以包括加载到存储器上的软件。这样的软件/计算机程序可以被记录在相同的存储器/处理器/功能单元上和/或在一个或多个存储器/处理器/功能单元上。
在一些示例中,可以使用适当的软件对特定提及的装置进行预编程以执行期望的操作,并且其中可以使得适当的软件能够通过用户下载“密钥”以供使用,例如,以解锁/启用该软件及其相关联的功能。与这样的示例相关联的优点可以包括:在设备需要另外的功能时,减少下载数据的需求,并且这在其中设备被感知为具有足够的能力来存储这样的预编程软件以实现用户无法启用的功能的示例中可能很有用。
除了所提及的功能之外,任何提及的装置/电路系统/元件/处理器可以具有其他功能,并且这些功能可以由相同的装置/电路系统/元件/处理器来执行。所公开的一个或多个方面可以包括以下的电子分发:相关联的计算机程序和记录在适当的载体(例如,存储器、信号)上的计算机程序(其可以是源/传送编码的)。
本文中描述的任何“计算机”可以包括一个或多个单独的处理器/处理元件的集合,这些处理器/处理元件可以位于或不位于相同的电路板或者电路板的相同区域/定位或者甚至相同的设备上。在一些示例中,任何提及的处理器中的一个或多个可以分布在多个设备上。相同或不同的处理器/处理元件可以执行本文中描述的一个或多个功能。
术语“信令”可以是指作为一系列传输和/或接收的电/光信号而传输的一个或多个信号。这一系列信号可以包括一个、两个、三个、四个或甚至更多个单独的信号分量或不同的信号以构成所述信令。这些单独的信号中的一些或全部可以通过无线或有线通信同时、依次和/或使得它们在时间上彼此重叠来传输/接收。
参考对任何提及的计算机和/或处理器和存储器(例如,包括ROM、CD-ROM等)的任何讨论,这些可以包括计算机处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、和/或已经以执行本发明功能的方式进行编程的其他硬件组件。
申请人由此单独地公开了本文中描述的每个单独的特征以及两个或更多个这样的特征的任何组合,其公开程度在于,鉴于本领域技术人员的公知常识,能够基于本说明书作为整体来执行这样的特征或组合,而无论这样的特征或特征的组合是否解决了本文中公开的任何问题,并且不限于权利要求的范围。申请人指出,所公开的方面/示例可以包括任何这样的单独的特征或特征的组合。鉴于以上描述,对于本领域技术人员很清楚的是,可以在本公开的范围内进行各种修改。
尽管已经示出和描述并且指出了应用于其示例的基本新颖特征,但是应当理解,在不脱离本公开的范围的情况下,本领域技术人员可以对所描述的设备和方法的形式和细节进行各种省略和替换以及改变。例如,明确地旨在以基本相同的方式执行基本相同的功能以实现相同的结果的那些元件和/或方法步骤的所有组合在本公开的范围内。此外,应当认识到,结合任何公开的形式或示例而示出和/或描述的结构和/或元件和/或方法步骤可以作为设计选择的一般内容而并入任何其他公开的或描述的或建议的形式或示例中。此外,在权利要求书中,装置加功能条款旨在覆盖本文中描述为执行所记载的功能的结构,不仅覆盖结构上的等同物,而且还覆盖等同结构。因此,虽然钉子和螺钉可能不是结构上的等同物,因为钉子采用圆柱形表面将木质零件固定在一起,而螺钉采用螺旋表面,但是在紧固木制零件的环境中,钉子和螺钉可能是等同结构。

Claims (15)

1.一种装置,包括用于使所述装置至少执行以下的部件:
基于第一虚拟空间和不同的第二虚拟空间,视觉图像在所述第一虚拟空间中被提供以呈现给第一用户,视觉图像在所述第二虚拟空间中被提供以呈现给第二用户,所述第一虚拟空间和所述第二虚拟空间基于相应的第一虚拟现实内容和第二虚拟现实内容,所述相应的第一虚拟现实内容和第二虚拟现实内容包括在相应的所述第一虚拟空间和所述第二虚拟空间中被显示的视觉图像,并且其中所述第一用户的表示在所述第二虚拟空间中并且基于通信发起输入被提供;
在所述第二虚拟空间中、在基于所述第一用户的所述表示在所述第二虚拟空间中的位置的虚拟位置处,提供上下文体积的呈现,所述上下文体积包括所述第一虚拟空间的子体积,所述子体积至少部分地围绕所述第一用户,以使得所述第二用户能够看到当前被提供以由所述第一用户消费的所述第一虚拟空间,并且至少提供从所述第二用户到所述第一用户的通信。
2.根据权利要求1所述的装置,其中所述第一虚拟现实内容包括用于在所述第一虚拟空间中呈现的音频内容,并且其中所述上下文体积的所述呈现包括被提供以在所述第一虚拟空间中呈现的所述音频内容的呈现,以使得所述第二用户能够听到在所述第一虚拟空间中被呈现的所述音频。
3.根据权利要求1所述的装置,其中所述通信发起输入包括以下中的一项或多项:
i)由所述第二用户的用户输入;
ii)在由所述第一用户指示其能够联系的许可给予输入之后的、由所述第二用户的用户输入;
iii)被指向所述第一用户的所述表示的阈值内的方向的语音命令;
iv)由所述第一用户的用户输入。
4.根据任一前述权利要求所述的装置,其中所述装置还被引起在所述第一虚拟空间中提供表示所述第二用户的第二用户图像的显示,以由所述第一用户查看,所述第二用户图像包括以下中的一项或多项:
i)所述第二用户的表示;
ii)被显示在所述第一虚拟空间中的窗口,以提供对所述第二虚拟空间中的所述第二用户的表示的查看;
iii)多个虚拟空间图形中的一个虚拟空间图形,每个虚拟空间图形至少表示如下虚拟空间,在所述虚拟空间中被连接到所述第一用户的包括所述第二用户的其他用户是活动的,其中用户连接信息提供对所述第一用户与所述其他用户之间的预定链路的指示;
iv)表示所述第二用户的其他视觉图像。
5.根据任一前述权利要求所述的装置,其中所述装置被引起提供将预定音频效果应用到所述第二用户的所捕获的所述音频,所述第二用户的所捕获的所述音频被提供以呈现给所述第一用户,从而指示所述音频源自与所述第一虚拟空间不同的虚拟空间。
6.根据权利要求4所述的装置,其中基于被指向所述第二用户图像的第一用户输入,提供利用预计用于由所述第一用户查看的所述第二虚拟空间的呈现来代替预计用于由所述第一用户查看的所述第一虚拟空间的呈现,以在公共虚拟空间中实现所述第一用户与所述第二用户之间的通信。
7.根据权利要求6所述的装置,其中所述第一用户被提供有所述第二虚拟空间中的第一用户位置,并且其中预计用于由所述第一用户查看的所述第二虚拟空间的所述呈现包括:提供从所述第一用户位置的视角来看的、所述第二虚拟空间的视图的呈现,所述第一用户位置基于所述第一用户的所述表示在所述第二虚拟空间中的位置。
8.根据任一前述权利要求所述的装置,其中所述上下文体积还包括:在所述第一用户正基于所述物理位置的实时捕获的相机图像而被呈现有所述第一虚拟空间的同时,所述第一用户所在的物理位置的视觉图像。
9.根据权利要求8所述的装置,其中所述上下文体积包括核心部分和在所述核心部分的外部的外层部分,所述核心部分包括所述第一虚拟空间的、被提供用于显示以至少部分地围绕所述第一用户的所述子体积,所述外层部分包括所述第一用户所在的物理、真实世界位置的所述视觉图像。
10.根据任一前述权利要求所述的装置,其中在所述第二虚拟空间中被提供的、预计用于由所述第二用户查看的所述第一用户的所述表示的所述提供取决于用户连接信息,所述用户连接信息指示所述第一用户与所述第二用户之间的预定链路。
11.根据任一前述权利要求所述的装置,其中所述第一用户的第一表示在所述第一虚拟空间中被提供,并且在所述第二虚拟空间中的所述第一用户的所述表示包括所述第一用户在所述第二虚拟空间中的第二表示,其中所述第一表示表示所述第一用户和其在所述第一虚拟空间中的位置,而所述第二表示表示所述第一用户和其在所述第二虚拟空间中不存在。
12.根据任一前述权利要求所述的装置,其中所述第一虚拟空间的所述子体积包括如下视觉图像,所述视觉图像在距所述第一用户在所述第一虚拟空间中所位于的虚拟位置的预定距离内。
13.根据任一前述权利要求所述的装置,其中基于从所述第二用户所捕获的通信内容,所述通信内容被提供作为以下中的一项:(i)来自所述第二用户的所述通信发起输入的一部分以及(ii)在所述通信发起输入之后;
在所述上下文体积的所述呈现之后并且基于来自所述第二用户的另外的指示来提供所捕获的所述通信内容的从所述第二用户到所述第一用户的所述通信。
14.一种方法,所述方法包括:
基于第一虚拟空间和不同的第二虚拟空间,视觉图像在所述第一虚拟空间中被提供以呈现给第一用户,视觉图像在所述第二虚拟空间中被提供以呈现给第二用户,所述第一虚拟空间和所述第二虚拟空间基于相应的第一虚拟现实内容和第二虚拟现实内容,所述相应的第一虚拟现实内容和第二虚拟现实内容包括在相应的所述第一虚拟空间和所述第二虚拟空间中被显示的视觉图像,并且其中所述第一用户的表示在所述第二虚拟空间中并且基于通信发起输入被提供;
在所述第二虚拟空间中、在基于所述第一用户的所述第二表示在所述第二虚拟空间中的位置的虚拟位置处,提供上下文体积的呈现,所述上下文体积包括所述第一虚拟空间的子体积,所述子体积至少部分地围绕所述第一用户,以使得所述第二用户能够看到当前被提供以由所述第一用户消费的所述第一虚拟空间,并且至少提供从所述第二用户到所述第一用户的通信。
15.一种计算机可读介质,包括被存储在其上的计算机程序代码,所述计算机可读介质和计算机程序代码被配置为当在至少一个处理器上被运行时执行以下方法:
基于第一虚拟空间和不同的第二虚拟空间,视觉图像在所述第一虚拟空间中被提供以呈现给第一用户,视觉图像在所述第二虚拟空间中被提供以呈现给第二用户,所述第一虚拟空间和所述第二虚拟空间基于相应的第一虚拟现实内容和第二虚拟现实内容,所述相应的第一虚拟现实内容和第二虚拟现实内容包括在相应的所述第一虚拟空间和所述第二虚拟空间中被显示的视觉图像,并且其中所述第一用户的表示在所述第二虚拟空间中并且基于通信发起输入被提供;
在所述第二虚拟空间中、在基于所述第一用户的所述第二表示在所述第二虚拟空间中的位置的虚拟位置处,提供上下文体积的呈现,所述上下文体积包括所述第一虚拟空间的子体积,所述子体积至少部分地围绕所述第一用户,以使得所述第二用户能够看到当前被提供以由所述第一用户消费的所述第一虚拟空间,并且至少提供从所述第二用户到所述第一用户的通信。
CN201880076144.1A 2017-11-27 2018-11-23 用于体验虚拟现实的用户之间的通信的装置和相关方法 Pending CN111386517A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17203682.4 2017-11-27
EP17203682.4A EP3489882A1 (en) 2017-11-27 2017-11-27 An apparatus and associated methods for communication between users experiencing virtual reality
PCT/EP2018/082307 WO2019101895A1 (en) 2017-11-27 2018-11-23 An apparatus and associated methods for communication between users experiencing virtual reality

Publications (1)

Publication Number Publication Date
CN111386517A true CN111386517A (zh) 2020-07-07

Family

ID=60569606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880076144.1A Pending CN111386517A (zh) 2017-11-27 2018-11-23 用于体验虚拟现实的用户之间的通信的装置和相关方法

Country Status (4)

Country Link
US (1) US11416201B2 (zh)
EP (1) EP3489882A1 (zh)
CN (1) CN111386517A (zh)
WO (1) WO2019101895A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112973112A (zh) * 2021-03-08 2021-06-18 北京正远展览展示有限公司 一种vr虚拟现实拓展训练系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020129115A1 (ja) * 2018-12-17 2020-06-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理方法およびコンピュータプログラム
US10846898B2 (en) * 2019-03-28 2020-11-24 Nanning Fugui Precision Industrial Co., Ltd. Method and device for setting a multi-user virtual reality chat environment
EP3726343A1 (en) * 2019-04-15 2020-10-21 Nokia Technologies Oy Virtual reality
US11175730B2 (en) * 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US20240096033A1 (en) * 2021-10-11 2024-03-21 Meta Platforms Technologies, Llc Technology for creating, replicating and/or controlling avatars in extended reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170068508A1 (en) * 2015-09-03 2017-03-09 Nokia Technologies Oy Method and system for communicating with a user immersed in a virtual reality environment
CN106716306A (zh) * 2014-09-30 2017-05-24 索尼互动娱乐股份有限公司 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
US20170193704A1 (en) * 2015-12-11 2017-07-06 Nokia Technologies Oy Causing provision of virtual reality content

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060075055A1 (en) 2004-10-06 2006-04-06 Andrew Littlefield System and method for integration of instant messaging and virtual environment clients
US8601386B2 (en) 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
KR20100009947A (ko) 2008-07-21 2010-01-29 삼성전자주식회사 가상 현실 서비스 간의 상호 연동을 위한 장치 및 방법
US9319357B2 (en) * 2009-01-15 2016-04-19 Social Communications Company Context based virtual area creation
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
KR101974652B1 (ko) * 2012-08-09 2019-05-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 오디오 출력과 비디오 출력을 연계하여 조정하는 헤드 마운트 디스플레이 및 그 제어 방법
KR102004265B1 (ko) * 2012-12-28 2019-07-26 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법
US10475113B2 (en) 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
EP3196838A1 (en) * 2016-01-25 2017-07-26 Nokia Technologies Oy An apparatus and associated methods
EP3211629A1 (en) * 2016-02-24 2017-08-30 Nokia Technologies Oy An apparatus and associated methods
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US20180075657A1 (en) * 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Attribute modification tools for mixed reality
US10602133B2 (en) * 2016-10-04 2020-03-24 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106716306A (zh) * 2014-09-30 2017-05-24 索尼互动娱乐股份有限公司 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
US20170068508A1 (en) * 2015-09-03 2017-03-09 Nokia Technologies Oy Method and system for communicating with a user immersed in a virtual reality environment
US20170193704A1 (en) * 2015-12-11 2017-07-06 Nokia Technologies Oy Causing provision of virtual reality content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112973112A (zh) * 2021-03-08 2021-06-18 北京正远展览展示有限公司 一种vr虚拟现实拓展训练系统
CN112973112B (zh) * 2021-03-08 2022-05-24 北京正远展览展示有限公司 一种vr虚拟现实拓展训练系统

Also Published As

Publication number Publication date
EP3489882A1 (en) 2019-05-29
US11416201B2 (en) 2022-08-16
WO2019101895A1 (en) 2019-05-31
US20200371737A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
US20190180509A1 (en) Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
CN111386517A (zh) 用于体验虚拟现实的用户之间的通信的装置和相关方法
CN110121695B (zh) 虚拟现实领域中的装置及相关联的方法
CN108604175B (zh) 装置和关联方法
US10993066B2 (en) Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
US11061466B2 (en) Apparatus and associated methods for presenting sensory scenes
JP6822410B2 (ja) 情報処理システム及び情報処理方法
CN110999328B (zh) 装置以及相关联的方法
EP3343348A1 (en) An apparatus and associated methods
WO2019057530A1 (en) APPARATUS AND ASSOCIATED METHODS FOR PRESENTING AUDIO IN THE FORM OF SPACE AUDIO
CN114207557A (zh) 虚拟和物理相机的位置同步
EP3190503B1 (en) An apparatus and associated methods
US11775051B2 (en) Apparatus and associated methods for presentation of presentation data
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
EP3502863A1 (en) An apparatus and associated methods for presentation of first and second augmented, virtual or mixed reality content
US10469803B2 (en) System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
EP3226115B1 (en) Visual indicator
WO2018216327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN116848507A (zh) 应用程序投屏
WO2018187655A1 (en) System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination