CN110537225A - 虚拟现实 - Google Patents

虚拟现实 Download PDF

Info

Publication number
CN110537225A
CN110537225A CN201880026239.2A CN201880026239A CN110537225A CN 110537225 A CN110537225 A CN 110537225A CN 201880026239 A CN201880026239 A CN 201880026239A CN 110537225 A CN110537225 A CN 110537225A
Authority
CN
China
Prior art keywords
user
audio
virtual space
specific audio
presented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880026239.2A
Other languages
English (en)
Other versions
CN110537225B (zh
Inventor
L·拉克索南
M·维莱莫
A·莱蒂尼米
M·塔米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN110537225A publication Critical patent/CN110537225A/zh
Application granted granted Critical
Publication of CN110537225B publication Critical patent/CN110537225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种方法，包括：防止通过虚拟现实在虚拟空间中向用户呈现特定音频；使用户能够通过用户视角控制的虚拟现实探索虚拟空间，而不听到特定音频；响应于中断，执行到包括特定音频和与特定音频相关联的视觉内容的视听内容的视觉转换，然后通过虚拟现实在虚拟空间中向用户呈现特定音频和与特定音频相关联的视觉内容。

Description

虚拟现实
技术领域
本发明的实施例涉及虚拟现实。特别地，它们涉及控制内容的呈现。
背景技术
虚拟现实提供具有宽视野的视觉内容，该宽视野可以例如水平(方位角)上高达360°以及垂直(高度)上高达180°，并且用户可以通过更窄的观察视野进行观察。视觉内容视野内的较窄观察视野的位置可以由用户控制。它可以例如跟踪可以由用户的头部的朝向和/或用户的注视的方向来确定的用户的视点。
电影和其他内容是叙述驱动的。根据叙述时间，有许多有序的叙述路点(waypoint)。在每个叙述路点，在特定的叙述时间，发生叙述事件。事件可能只是视觉的、只是音频的或视听的。
在普通电影中，用户的视点和用户时间与由导演和在编辑中确定的叙述视点和叙述时间同步。如果通过例如将由不同相机录制的内容拼接在一起来创建具有更宽视野的视觉内容来将普通电影内容转换为虚拟现实内容，则用户在消费内容时对视点的选择可能导致全部或部分地错过重要叙述事件。如果用户完全错过该事件，则用户可能会感到困惑。如果用户部分地错过该事件，则可能破坏对事件的预期影响。
如果用户不仅可以自由控制他们在虚拟空间内的视点(朝向)(自由视点虚拟现实)，还可以控制他们在虚拟空间内的位置(自由视点虚拟现实)，则问题会更加严重。错过叙述事件的可能性增加了。
期望在虚拟空间中提供对叙述的导演控制，同时还通过改变他们在虚拟空间内的视角和/或位置来给予用户探索虚拟空间的自由。
发明内容
根据本发明的各种但不一定是所有的实施例，提供了一种方法，包括：防止通过虚拟现实在虚拟空间中向用户呈现特定音频；使用户能够通过用户视角控制的虚拟现实探索虚拟空间，而不听到该特定音频；以及响应于中断，执行到包括该特定音频和与该特定音频相关联的视觉内容的视听内容的转换，然后通过虚拟现实在虚拟空间中向用户呈现包括该特定音频和与该特定音频相关联的视觉内容的该视听内容。
根据本发明的各种但不一定是所有的实施例，提供了一种装置，包括：至少一个处理器；以及至少一个包括计算机程序代码的存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行：使得防止呈现用于通过虚拟现实在虚拟空间中向用户呈现的特定音频；使得用户能够通过用户视角控制的虚拟现实探索虚拟空间，而不听到特定音频；以及响应于中断，使得执行到包括该特定音频和与该特定音频相关联的视觉内容的视听内容的转换，然后通过虚拟现实在虚拟空间中向用户呈现该特定音频和与该特定音频相关联的视觉内容。
根据本发明的各种但不一定是所有的实施例，提供了一种装置，包括：用于自动防止呈现用于通过虚拟现实在虚拟空间中向用户呈现的特定音频的模块；用于使得用户能够通过用户视角控制的虚拟现实探索虚拟空间而不听到特定音频的模块；以及响应于中断执行到包括该特定音频和与该特定音频相关联的视觉内容的视听内容的转换并且然后通过虚拟现实在虚拟空间中向用户呈现包括该特定音频和与该特定音频相关联的视觉内容的该视听内容的模块。
根据本发明的各种但不一定是所有实施例，提供了一种计算机程序，该计算机程序当在处理器上运行时能够：
自动防止呈现用于通过虚拟现实在虚拟空间中向用户呈现的特定音频；使得用户能够通过用户视角控制的虚拟现实探索虚拟空间而不听到特定音频；以及响应于中断执行到包括该特定音频和与该特定音频相关联的视觉内容的视听内容的转换，并且然后通过虚拟现实在虚拟空间中向用户呈现包括该特定音频和与该特定音频相关联的视觉内容的该视听内容。
根据本发明的各种但不一定是所有实施例，提供了一种方法，包括：暂停通过虚拟现实在虚拟空间中向用户呈现至少一个叙述，以使所述至少一个叙述和用户去同步(de-synchronize)；使用户能够与所述叙述解耦地通过用户视角控制的在虚拟空间中时间演变的视听内容的呈现来探索虚拟空间；以及随后取消暂停所述叙述在虚拟空间中向用户的呈现，从而强制所述叙述和用户重新同步。
根据本发明的各种但不一定是所有的实施例，提供了一种装置，包括：至少一个处理器；以及至少一个包括计算机程序代码的存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行：暂停通过虚拟现实在虚拟空间中向用户呈现至少一个叙述，以使所述至少一个叙述和用户去同步；使用户能够与所述叙述解耦地通过用户视角控制的在虚拟空间中时间演变的视听内容的呈现来探索虚拟空间；以及随后取消暂停所述叙述在虚拟空间中向用户的呈现，从而强制所述叙述和用户重新同步。
根据本发明的各种但不一定是所有的实施例，提供了一种装置，包括：用于暂停通过虚拟现实在虚拟空间中向用户呈现至少一个叙述以使所述至少一个叙述和用户去同步的模块；用于使用户能够与所述叙述解耦地通过用户视角控制的在虚拟空间中时间演变的视听内容的呈现来探索虚拟空间的模块；以及用于随后取消暂停所述叙述在虚拟空间中向用户的呈现从而强制所述叙述和用户重新同步的模块。
根据本发明的各种但不一定是所有的实施例，提供了一种计算机程序，所述计算机程序当在处理器上运行时能够：暂停通过虚拟现实在虚拟空间中向用户呈现至少一个叙述，以使所述至少一个叙述和用户去同步；使用户能够与所述叙述解耦地通过用户视角控制的在虚拟空间中时间演变的视听内容的呈现来探索虚拟空间；以及随后取消暂停所述叙述在虚拟空间中向用户的呈现，从而强制所述叙述和用户重新同步。
根据本发明的各种但不一定是所有的实施例，提供了一种方法，包括：通过针对特定音频根据用户在虚拟空间内的位置的用户控制的变化和/或用户视点在虚拟空间内的用户控制的变化将至少一个声音对象从第一解除静音状态切换到第二静音状态，来自动防止呈现用于在虚拟空间中向用户呈现的特定音频；以及响应于该中断，通过根据该中断强制将至少一个声音对象从第二解除静音状态切换到第一静音状态，使特定音频解除静音，并通过虚拟现实在虚拟空间中向用户呈现特定音频，其中，声音对象与用于在虚拟空间中的第一位置处向用户呈现的视觉内容相关联。可以同时针对多个声音对象重复该方法。
根据本发明的各种但不一定是所有的实施例，提供了一种装置，包括：至少一个处理器；以及至少一个包括计算机程序代码的存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行：通过针对特定音频根据用户在虚拟空间内的位置的用户控制的变化和/或用户视点在虚拟空间内的用户控制的变化将至少一个声音对象从第一解除静音状态切换到第二静音状态，来防止呈现用于在虚拟空间中向用户呈现的该特定音频；以及响应于该中断，通过根据该中断强制将至少一个声音对象从第二解除静音状态切换到第一静音状态，使特定音频解除静音，并通过虚拟现实在虚拟空间中向用户呈现特定音频，其中，声音对象与用于在虚拟空间中的第一位置处向用户呈现的视觉内容相关联。可以同时针对多个声音对象重复该方法。
根据本发明的各种但不一定是所有的实施例，提供了一种装置，包括：用于通过针对特定音频根据用户在虚拟空间内的位置的用户控制的变化和/或用户视点在虚拟空间内的用户控制的变化将至少一个声音对象从第一解除静音状态切换到第二静音状态来防止呈现用于在虚拟空间中向用户呈现的该特定音频的模块；以及用于响应于该中断通过根据该中断强制将至少一个声音对象从第二解除静音状态切换到第一静音状态来使特定音频解除静音并且通过虚拟现实在虚拟空间中向用户呈现特定音频的模块，其中，声音对象与用于在虚拟空间中的第一位置处向用户呈现的视觉内容相关联。可以同时对多个声音对象重复该方法。
根据本发明的各种但不一定是所有的实施例，提供了一种计算机程序，所述计算机程序当在处理器上运行时能够：通过针对特定音频根据用户在虚拟空间内的位置的用户控制的变化和/或用户视点在虚拟空间内的用户控制的变化将至少一个声音对象从第一解除静音状态切换到第二静音状态，来防止呈现用于在虚拟空间中向用户呈现的该特定音频；以及响应于该中断，通过根据该中断强制将至少一个声音对象从第二解除静音状态切换到第一静音状态，使特定音频解除静音，并通过虚拟现实在虚拟空间中向用户呈现特定音频，其中，声音对象与用于在虚拟空间中的第一位置处向用户呈现的视觉内容相关联。可以同时针对多个声音对象重复该方法。
根据本发明的各种但不一定是所有的实施例，提供了一种方法，包括：响应于用户执行防止用户看到与用于通过虚拟现实在虚拟空间中向用户呈现的特定音频相关联的视觉内容的动作，防止呈现该特定音频；使用户能够通过用户视角控制的虚拟现实探索虚拟空间而不听到所述特定音频；以及响应于中断，通过虚拟现实在虚拟空间中向用户呈现用于包括特定音频和与特定音频相关联的视觉内容的关键事件的视听内容。防止用户看到视觉内容的动作可能是用户转向错误的方向。当经过的时间过长时，可能发生中断。当用户转向关键场景的位置时，可能发生中断。
根据本发明的各种但不一定是所有的实施例，提供了一种装置，包括：至少一个处理器；以及至少一个包括计算机程序代码的存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行：响应于用户执行防止用户看到与用于通过虚拟现实在虚拟空间中向用户呈现的特定音频相关联的视觉内容的动作，防止呈现该特定音频；使用户能够通过用户视角控制的虚拟现实探索虚拟空间而不听到所述特定音频；以及响应于中断，通过虚拟现实在虚拟空间中向用户呈现用于包括特定音频和与特定音频相关联的视觉内容的关键事件的视听内容。防止用户看到视觉内容的动作可能是用户转向错误的方向。当经过的时间过长时，可能发生中断。当用户转向关键场景的位置时，可能发生中断。
根据本发明的各种但不一定是所有的实施例，提供了一种装置，包括：用于响应于用户执行防止用户看到与用于通过虚拟现实在虚拟空间中向用户呈现的特定音频相关联的视觉内容的动作而防止呈现该特定音频的模块；用于使用户能够通过用户视角控制的虚拟现实探索虚拟空间而不听到所述特定音频的模块；以及用于响应于中断而通过虚拟现实在虚拟空间中向用户呈现用于包括特定音频和与特定音频相关联的视觉内容的关键事件的视听内容的模块。防止用户看到视觉内容的动作可能是用户转向错误的方向。当经过的时间过长时，可能发生中断。当用户转向关键场景的位置时，可能发生中断。
根据本发明的各种但不一定是所有的实施例，提供了一种计算机程序，该计算机程序当在处理器上运行时能够：响应于用户执行防止用户看到与用于通过虚拟现实在虚拟空间中向用户呈现的特定音频相关联的视觉内容的动作，防止呈现该特定音频；使用户能够通过用户视角控制的虚拟现实探索虚拟空间而不听到特定音频；以及响应于中断，通过虚拟现实在虚拟空间中向用户呈现用于包括特定音频和与特定音频相关联的视觉内容的关键事件的视听内容。防止用户看到视觉内容的动作可能是用户转向错误的方向。当经过的时间过长时，可能发生中断。当用户转向关键场景的位置时，可能发生中断。
根据本发明的各种但不一定是所有的实施例，提供了如所附权利要求中所要求保护的示例实施例。
附图说明
为了更好地理解对理解详细描述有用的各种示例实施例，现在将仅通过示例的方式参考附图，其中：
图1借助于简单状态图示出了方法的示例；
图2以流程图的形式示出了该方法的示例；
图3A、3B和3C参考虚拟空间示出了该方法的示例；
图4A至4E参考包括音频内容和视觉内容的呈现内容示出了该方法的示例；
图5A、5B和5C参考虚拟空间示出了该方法的另一示例；
图6A至6E参考包括音频内容和视觉内容的呈现内容示出了该方法的该另一示例；
图7A示出了用户的视角相对于虚拟空间内的参考方向的朝向，图7B示出了在转换之后发生的该朝向的变化；
图7C示出了参考方向在虚拟空间内相对于用户的视角的朝向，图7D示出了在转换之后发生的该朝向的变化；
图7E示出了在转换之前的示例，其中用户在真实空间中的视角(与在虚拟空间中的视角对齐)与用户身体在真实空间中的朝向方向未对准，图7F示出了在转换之后用户可选择的软重置选项的效果，该选项暂时停止用户视角控制的虚拟现实，从而能够改变用户头部的朝向而不改变虚拟空间内的视点；
图8A示出了通过对多个用户使用该方法而创建的不同用户时间线的示例实施例；
图8B示出了可以如何控制时间线以实现同步的示例；
图9示出了包括多个叙述路点的叙述的示例；
图10示出了可用于经由虚拟现实向用户呈现视觉内容和音频内容的装置的示例；
图11示出了可用于捕获可经由音频内容和视觉内容呈现的虚拟空间的捕获装置的示例；
图12示出了控制器的示例；
图13示出了计算机程序的示例；
图14A-H示出了虚拟空间随时间的俯视图；
图15A-H示出了对于图14A-H中的每一个，根据用户的一个视点呈现给用户的对应视觉内容；以及
图16A-H示出了对于图14A-H中的每一个，在一些情况下，根据用户的不同视点向用户呈现的对应视觉内容；以及
图17示出了对图14-16的上下文中的中断的触发的示例。
具体实施方式
在下面描述的至少一些示例实施例中，通过在用户探索虚拟空间时中断用户以向用户呈现关于重要叙述事件(叙述路点)的内容，来提供对叙述的导演控制。为了控制如何向用户呈现该重要内容以便以由导演控制的方式呈现它，采取步骤以防止用户从不正确的位置和/或不正确的视点消费内容或防止内容不小心暴露给用户。
特别地，当用户不是或不能消费相关联的视觉内容时，可以采取步骤来防止用户消费音频内容。例如，当同时消耗相关联的视觉内容时，可以在正确的时间消费一次音频内容。
例如，根据以下示例实施例中的至少一些示例实施例，提供了一种方法，包括：防止呈现用于通过虚拟现实在虚拟空间中向用户呈现的特定音频；使用户能够通过用户视角控制的虚拟现实探索虚拟空间，而不听到特定音频；以及响应于中断，执行到包括特定音频和与特定音频相关联的视觉内容的视听内容的转换，然后通过虚拟现实在虚拟空间中向用户呈现包括特定音频和与特定音频相关联的视觉内容的视听内容。
以这种方式，特定音频和与特定音频相关联的视觉内容的呈现以受控方式呈现，并且特别地，在向用户呈现相关联的视觉内容之前，用户不会意外地听到特定音频。
转换到视觉内容和/或音频内容充当对于用户的已发生中断的信号，并有助于减少用户的定向障碍(disorientation)。转换充当向用户发出因为意外已发生中断的信号。视觉内容充当因为所看到的内容发生变化而用户已发生中断的信号。听觉内容充当因为所听到的内容发生变化而用户已发生中断的信号。
在用户视角控制的虚拟现实中，呈现给用户的内容取决于用户的视角(用户的视点)和视野。在虚拟空间中用户的视角(视点)取决于用户在真实空间中的真实视角。真实视角可以取决于用户头部在真实空间中的朝向或者用户眼睛在真实空间中注视的方向。在一些但不是所有示例中，用户在虚拟空间中的视角(视点)可以另外取决于用户在虚拟空间中的可变位置。
虚拟现实通常通过头戴式显示器呈现给用户，并且当用户旋转头部时，通过头戴式显示器呈现给用户的内容也变化，给人以用户在虚拟空间内的印象。
图1通过简单的状态图示出了一种方法。在该示例中，包括特定音频内容及其相关联的视觉内容的视听内容最初可以处于解除静音状态106。在该状态下，可以呈现特定音频内容，并且如果用户处于正确位置且具有正确的视点，则还可以呈现与特定音频内容相关联的视觉内容。
特定音频是以某种方式明确或隐式指定的音频。它用于表示与所有可能的音频相对，对可能音频的子集的限制。因此，防止呈现特定音频是防止呈现可以被防止呈现的音频子集。
然而，在其他视点和/或其他位置处，可以在呈现不同视觉内容的同时呈现特定音频内容。
无论用户的朝向如何，音频都可以被呈现和感知，而视觉内容可以根据用户观看朝向严格控制。例如，视觉内容可以取决于用户的视点和视野，从而改变朝向就改变了视点和视野内的视觉内容。音频可以包括特定音频和非特定音频。当特定音频被静音时，非特定音频可以保持解除静音。
静音中断101可以引起从解除静音状态到静音状态102的转换。该转换可以自动发生，例如如果满足某些条件。
一旦满足某些条件，自动转换可以是无需任何进一步的用户交互而发生的全自动转换。替代地，自动转换可以是半自动转换，其在用户确认之后一旦满足某些条件就发生。
条件可以例如确定用户已经执行了这样的动作，该动作防止用户看到特定音频的源或当关键事件发生时与特定音频相关的关键事件。因此，静音中断101可以是对用户相对于视听内容和关键场景的时间实例转向错误方向(即，太远)的自动响应。条件可以是用户可编程的。
在静音状态102中，特定音频被静音，使得它不再在虚拟空间中呈现给用户。自动防止特定音频在虚拟空间中呈现给用户。当特定音频处于静音状态102时，用户能够通过用户视角控制的虚拟现实探索虚拟空间，而不听到静音的特定音频，但仍然听到解除静音的非特定音频。
随后，解除静音中断103可以经由中间和暂时转换状态104自动地从静音状态102转换到解除静音状态106。例如，当满足某些条件时，可以发生解除静音中断103。
在进入解除静音状态106时，特定音频被解除静音，并且与特定音频相关联的视觉内容通过虚拟现实在虚拟空间中呈现给用户。包括特定音频和与特定音频相关联的视觉内容的视听内容通过虚拟现实在虚拟空间中呈现给用户。
在一些示例实施例中，特定音频的解除静音可以在视觉转换之前并且在呈现与特定音频相关联的视觉内容之前发生。在一些示例实施例中，特定音频的解除静音可以与视觉转换同时发生。在一些示例实施例中，音频的解除静音可以在视觉转换之后并且在开始呈现与特定音频相关联的视觉内容之前发生。在一些示例实施例中，音频的解除静音可以在视觉转换之后并且与开始呈现与特定音频相关联的视觉内容同时发生。在一些示例实施例中，音频的解除静音可以在视觉转换之后并且在开始呈现与特定音频相关联的视觉内容之后发生。在这些示例中的一些示例中，但不一定是所有这些示例实施例中，转换可以与呈现包括特定音频和与特定音频内容相关联的视觉内容的视听内容的开始一致。在其他示例实施例中，在转换和呈现包括特定音频和与特定音频相关联的视觉内容的视听内容的开始之间可能存在间隙。
图2示出了流程图形式的方法100的示例。该流程图从控制视角并且与用户感知的体验相关地示出了方法100。
最初，用户处于解除静音探索状态120。用户能够通过用户视角控制的虚拟现实探索虚拟空间，同时听到特定音频(以及可能的其他音频)。这一直持续到检测到静音中断101。当检测到静音中断101时，该方法移动到框110。
在框110处，方法100自动防止通过虚拟现实在虚拟空间中向用户呈现特定音频。可以继续呈现其他音频。该方法前进到框112，静音探索状态，其中用户能够通过用户视角控制的虚拟现实至少部分地探索虚拟空间而不听到特定音频。该状态持续直到发生解除静音中断103。
当发生解除静音中断103时，在框104处执行到包括特定音频和与特定音频相关联的视觉内容的视听内容的转换。如上所述，特定音频的解除静音和到与特定音频相关联的视觉内容的视觉转换的定时关系可以变化。在框116处，呈现视听场景。这包括通过虚拟现实在虚拟空间中向用户呈现至少包括特定音频和与特定音频相关联的视觉内容的视听内容。
虽然已经关于与特定视觉内容相关联的特定音频的一个示例描述了该方法100，但是应当理解，可以存在不同特定音频及其相关联的视觉内容的多个配对。因此，可以使用不同的特定音频在虚拟空间内的不同时间和不同位置来重复方法100。
方法100实现解除静音探索状态120和静音探索状态112。它还使得能够进行从静音探索状态112的强制转换，使得在没有用户命令的情况下在框116处向用户呈现关键视听场景。这种向用户强制呈现关键视听场景116使得能够对视听内容的消费进行导演控制。“强制”在这种情况下意味着它是在方法而不是用户的命令下发生。导演能够控制如何将关键视听场景呈现给用户以及至少部分地控制何时将关键视听场景呈现给用户。通过这种方式，导演可以控制叙述的节奏以及如何将其呈现给用户。方法100还通过提供静音探索状态112来防止无意中将关键视听场景的各方面暴露给用户。
在一些但不一定是所有示例实施例中，使得自动防止呈现用于通过虚拟现实在虚拟空间中向用户呈现的特定音频的静音中断101可以是用户生成的中断。例如，它可以根据用户在虚拟空间中的视点的变化和/或用户在虚拟空间中的位置的变化自动生成。例如，当用户没有注意(没有预期的视点)并且因此有可能错过重要的视听场景或者仅欣赏到部分时，可以自动发生静音。用户的动作可以例如标记用户没有注意到。这些可以例如包括眼光游走、动来动去、远离预期位置的移动以及远离预期视点地改变视点。可以根据一个或多个不同条件自动生成静音中断101，该一个或多个不同条件可以是可编程的。
在一些示例实施例中，静音中断101是对用户执行动作(例如，转向错误的方向)的自动响应，其防止用户看到特定音频的源或当发生关键事件时与特定音频相关的关键事件。
在一些示例实施例中，静音中断101是对用户相对于转向视听内容和关键场景的时间实例的错误方向(即，太远)的自动响应。当经过太多时间或者当用户转向关键场景的方向时，发生解除静音中断103。
在一些但不一定是所有示例实施例中，解除静音中断103可以是取决于虚拟空间内的用户位置和/或虚拟空间内的用户视点和/或在该虚拟空间内经过的时间的中断。
例如，如果用户在虚拟空间中距离期望位置和/或期望视点太远地转来转去，则可能发生解除静音中断103。而且，如果用户已经从期望位置和/或期望视点转来转去了一段时间，则可能发生解除静音中断103。而且，如果用户已经从期望位置转来转去然后返回到期望位置和/或已经从期望视点转来转去然后返回到期望视点，则可以发生解除静音中断103。解除静音中断103可以取决于一个或多个不同条件，该一个或多个不同条件可以是可编程的。
因此将理解，可以可变地控制向静音探索状态112和从静音探索状态112的转换。
虽然用于生成中断101、103的条件通常将取决于用户在虚拟空间中的位置和/或用户的视点和/或经过的时间，但是在其他示例实施例中，它们可以取决于其他上下文条件，例如用户在虚拟空间内执行的动作或者例如由其他用户在虚拟空间内执行的动作。因此，中断101、103可能取决于用户与虚拟空间内的虚拟对象(例如门)的交互，或者取决于另一用户与虚拟空间内的虚拟对象(例如门)的交互。
图3A、3B和3C参考虚拟空间10示出了上述方法100的一个示例实施例。图5A、5B和5C参考虚拟空间10示出了上述方法100的另一示例。
在这些示例实施例中，虚拟空间10被从上方示为二维空间。然而，虚拟空间10通常是三维空间。
在这些图中，用户20在虚拟空间10内具有位置24并且在虚拟空间10内具有视点22。假设虚拟空间随时间变化(这是最常见的)通过虚拟现实在虚拟空间10中呈现给用户20的内容取决于虚拟空间10内用户的位置24、用户的视点22和当前时间。
在用户视角控制的虚拟现实中，呈现给用户的内容取决于用户的视角(用户的视点22)。该虚拟现实通常通过头戴式显示器呈现给用户，并且当用户旋转头部时，通过头戴式显示器呈现给用户的内容也变化，给人以用户20在虚拟空间10内的印象。
在一些示例实施例中，用户20的位置24可以是固定的且不可移动。然而，在其他示例实施例中，用户20的位置24可以是可变的。例如，位置24可以是连续可变的，或者位置可以离散地变化(用户在预定义位置之间跳跃)。
当在虚拟空间内大距离移动或例如在封闭空间中时，声源可能由于与静音中断101无关的其他上下文原因而变得听得见或听不见。响应于静音中断101，特定音频被静音，而无关音频内容呈现音量中的上下文变化，因此该静音凌驾于声音内容随时间的任何基于声学或空间呈现引擎的特定变化。
在一些示例实施例中，静音中断101是对用户执行动作(例如，相对于视听内容和关键场景的时间实例在错误的方向上转得太远)的自动响应，其在发生关键事件时防止用户看到特定音频的源。当从中断101开始经过的时间超过阈值时或者当用户将他们的视点转向关键场景的位置时，发生解除静音中断103。
图3A对应于图2中所示的解除静音探索状态120。特定音频12通过虚拟现实在虚拟空间10中呈现给用户20。
用户20能够通过用户视角控制的虚拟现实至少部分地探索虚拟空间10，同时仍然听到特定音频12。
视点221定义虚拟空间10内的视觉内容321，其通过用户视角控制的虚拟现实呈现给用户。视觉内容321由以视点221为中心的视野23确定。
在该示例中，视觉内容321包括与特定音频12相关联的视觉对象B。
包括特定音频12和由视点221定义的视觉内容321的视听内容通过虚拟现实在虚拟空间中呈现给用户。
在图3A的示例中，用户20正在改变视点22。在改变之前，用户20可以听到解除静音的特定音频12。在改变之后，用户的视点22和视野23定义视觉内容32，其不包括与特定音频12相关联的对象B。视点22的这种改变引起静音中断101。静音中断101导致先前通过虚拟现实在虚拟空间中呈现给用户的特定音频12的自动静音。
用户20现在处于图2所示的静音探索状态112中。这也在图3B中示出。用户能够通过改变视点22而至少部分地通过用户视角控制的虚拟现实来探索虚拟空间10，而不听到特定音频12。在图3B的示例中，用户20具有朝向虚拟空间10内的对象A的视点222。虚拟空间10内的视点222和视野23定义虚拟空间10内的包括对象A的视觉内容322。
图3C示出了解除静音中断103的结果。作为解除静音中断103的结果，用户的有效视点22在虚拟空间中从视点222变为视点223。该新的有效视点223结合视野23，定义了虚拟空间10内的包括与特定音频12相关联的对象的视觉内容323。解除静音中断103提供有效的远程传送(teleport)，从而改变用户20在虚拟空间10内的朝向。
解除静音中断103导致到包括特定音频12和与特定音频12相关联的视觉内容323的视听内容的转换，然后使得通过虚拟现实在虚拟空间10中向用户呈现包括特定音频12和与特定音频12相关联的视觉内容323的视听内容。
在一些示例实施例中，视觉内容321和视觉内容323可以由相同的视点和视野来定义。
在其他示例实施例中，视觉内容321和视觉内容323可以由不同的视点221、223和相同的视野来定义。然而，对于要包括在视觉内容323中的与特定音频12相关联的对象B，视点是足够相似的，尽管它可以在解除静音中断103的稍后时间处于不同的位置或状态B'。
图4A至4E示出了呈现给用户的包括音频内容和视觉内容的视听内容。将参考已经描述的图3A、3B和3C的特征解释这些图。
图4A示出了包括视觉内容321和特定音频内容12的视听内容的呈现。在该示例中，所呈现的视觉内容对应于包括与特定音频12相关联的对象B的场景。所呈现的音频内容包括特定音频12以及其他音频14。
图4B示出了包括视觉内容322和音频内容14的视听内容的呈现。在该示例中，所呈现的视觉内容对应于包括对象A的场景。所呈现的音频内容包括其他音频14但不包括已静音的特定音频12。
图4C示出了响应于解除静音中断103，执行到包括特定音频内容12和与特定音频内容12相关联的视觉内容32的视听内容的转换，然后通过虚拟现实在虚拟空间中向用户呈现包括特定音频12和与特定音频12相关联的视觉内容32的视听内容。
这导致呈现关键视听场景(图2中的框116)。特定音频12已被解除静音，视觉转换50已被执行，并且通过虚拟现实在虚拟空间10中向用户20呈现包括特定音频内容12和与特定音频内容12相关联的视觉内容323的视听内容。
用户20已经从视点222远程传送到视点223，使得对用户看起来用户已经在虚拟空间10中被物理地旋转并且还可能被传送通过叙述时间。静音中断101使得至少一个叙述和用户去同步，使得用户能够与叙述解耦地通过用户视角控制的在虚拟空间中时间演变的视听内容的呈现，来至少部分地探索虚拟空间。解除静音中断103随后取消暂停该叙述在虚拟空间中向用户的呈现，强制该叙述和用户重新同步。
在该示例中，所呈现的视觉内容323对应于包括此时与特定音频12相关联的对象B'的场景。所呈现的音频内容包括特定音频12，并且可选地还可以包括其他音频。特定音频12可能看起来来自此时与特定音频12相关联的对象B'。
因此将理解，在转换50之前呈现的视觉内容32至少取决于转换50之前的用户确定的视点222以及与转换之后呈现的特定音频12相关联的视觉内容32。
解除静音中断103实际上强制明显的用户视点与关联于关键事件的用户视点223一致，该关键事件与特定音频12相关联。
在该示例中，静音中断101是对用户执行动作(例如，转向错误方向)的自动响应，其防止用户在发生关键事件时看到特定音频12的源B。因此，静音中断101是对用户转向相对于视听内容和关键场景的时间实例的错误方向(即，太远)的自动响应。当太多时间经过时或当用户转向关键场景的方向时，静音中断103发生。
静音中断101使得至少一个叙述和用户去同步，使得用户能够与叙述解耦地通过用户视角控制的在虚拟空间中时间演变的视听内容的呈现来至少部分地探索虚拟空间。解除静音中断103随后取消暂停该叙述在虚拟空间中向用户的呈现，强制该叙述和用户重新同步。
图5A对应于图2中所示的解除静音探索状态120。特定音频12通过虚拟现实在虚拟空间10中呈现给用户20。用户20能够通过用户视角控制的虚拟现实来探索虚拟空间10，同时仍然听到特定音频12。
在图5A的示例中，用户20正在移动26向新位置24和新视点22。在该移动期间，用户20满足取决于用户20的位置24和/或视野22的用户相关静音条件28。用户相关静音条件28可以取决于与视觉内容34及其相关联的特定音频12相关联的位置242。在图5A中，用户位置241在由触发静音中断101的用户相关静音条件28定义的位置限制之外。这导致先前在虚拟空间中通过虚拟现实向用户呈现的特定音频12的自动静音。
用户20现在处于图2所示的静音探索状态112中。这也在图5B中示出。用户能够通过用户视角控制的虚拟现实来探索虚拟空间10，而不听到特定音频12。在图5B的示例中，用户20位于位置24并且具有朝向虚拟空间10中的对象A的用户视点22。虚拟空间10内的位置24和视点22定义所呈现的包括对象A的虚拟内容32。
图5C示出了解除静音中断103的结果。作为解除静音中断103的结果，用户20的有效位置从虚拟空间10中的位置241变为位置242并且用户的有效视点22从虚拟空间10中的视点221变为视点222。在该示例中，这些有效位置和视点222、242定义虚拟空间10内的包括对象B的视觉内容32。因此，解除静音中断103提供有效的远程传送40，改变用户在虚拟空间10内的位置和朝向。解除静音中断103导致到包括特定音频12和与特定音频12相关联的视觉内容32的视听内容的转换，然后通过虚拟现实在虚拟空间10中向用户呈现包括特定音频12和与特定音频12相关联的视觉内容32的该视听内容。
图6A至6E示出了呈现给用户的内容，包括音频内容和视觉内容。将参考已经描述的图5A、5B和5C的特征解释这些图。
图6A示出了当用户朝向虚拟空间10中的对象A移动26但是在第一区域28内时呈现给用户的视觉内容32和音频内容12、14。在该示例中，所呈现的视觉内容对应于在一定距离处包括对象A的场景。所呈现的音频内容包括特定音频12以及其他音频14。
图6B示出了当用户离开第一区域28并且更接近对象A时呈现给用户20的内容。在该示例中，视觉内容32是包括接近上方的A的视觉场景。当用户20离开第一区域28时，响应于静音中断102，特定音频12已被自动静音。然而，在该示例中，音频内容仍包括其他音频14。
图6C示出了响应于解除静音中断103而发生的视觉转换50。该图对应于图5C中所示的虚拟远程传送40。
图6D和6E示出了关键视听场景的不同呈现(图2中的框116)。特定音频12已被解除静音，视觉转换50已被执行，并且通过虚拟现实在虚拟空间10中向用户20呈现特定音频12和与特定音频12相关联的视觉内容32。
在图6D的示例中，用户20实际上已经从具有视点221的位置241远程传送到具有视点222的位置242，使得对用户看起来用户已经通过虚拟空间10也可能是时间被物理传送。
在图6E中，呈现关键视听场景而不改变用户在虚拟空间10中的位置241或视点221。而是在现有的所呈现的内容34中提供帧60，并且与特定音频12相关联的视觉内容32被呈现在帧60内。与呈现内容34相关联的任何音频内容被静音并且音频内容12被解除静音。因此，用户20具有的体验是时间已经暂时停止在当前位置并且已经向视听场景提供了窗口。在帧60内呈现该视听场景，就像用户位于虚拟空间10中具有视点222的位置242一样。
因此将理解，在视觉转换50之前呈现的视觉内容32至少取决于转换50之前的用户确定的视点222以及与转换之后呈现的特定音频12相关联的视觉内容32。
解除静音中断103实际上强制明显的用户位置与关联于特定音频12的用户位置242一致和/或强制明显的用户视点与关联于特定音频12的用户视点222一致。
静音中断101使得至少一个叙述和用户去同步，使得用户能够与叙述解耦地通过用户视角控制的在虚拟空间中时间演变的视听内容的呈现来探索虚拟空间。解除静音中断随后取消暂停该叙述在虚拟空间中向用户的呈现，从而强制该叙述和用户重新同步。
如果用户20返回在第一区域28内或在预定时间内返回在第一区域28内，则由静音中断101引起的转换可以是可逆的。
从前面的描述可以理解，在一些但不一定是所有示例实施例中，静音中断101可以取决于虚拟空间10内的用户位置24和/或视点22。然而，其他条件也是可能用于激活静音中断101和/或解除静音中断103的。
例如，在一些但不一定是所有示例实施例中，当首先满足多个不同条件中的任何一个条件时，可以激活解除静音中断103。一个这样的条件可以例如取决于用户20在虚拟空间10内的位置24和/或视野22。另一个条件可以与在虚拟空间10内已经过的时间或者处于静音探索状态112已经过的时间有关。
例如，可以定义取决于用户20的位置24和/或视野22的用户相关解除静音条件29，如图5A所示。用户相关解除静音条件29可以取决于与视觉内容34及其相关联的特定音频12相关联的位置242。在图5C中，用户位置241在由触发解除静音中断103的用户相关条件29定义的位置限制之外。
例如，如果用户不太可能偶然返回到正确位置242和视点222以呈现特定音频12及其相关联的视觉内容34，则可能发生解除静音中断103和转换50。在一些示例实施例中，用户相关解除静音条件29可以随时间变化，例如，以反映用户将返回或行进到优选位置242以呈现关键视听场景(框116，图2)的可能性。
例如，可以设置所使用的时间限制以尝试和控制叙述的节奏。例如，叙述可以包括许多关键视听场景，并且这些场景可能需要在彼此的特定时间内发生。在其他情况下，用户可能希望能够控制该时间限制，以例如限制他们在虚拟空间10中花费的时间段。
在其他示例实施例中，解除静音中断103可以取决于根据由用户20和虚拟空间10的交互确定的上下文而变化的一个或多个条件的满足。例如，可以引入子叙述情节并提供额外的时间和/或额外的空间来探索这些子叙述情节。然而，这些子叙述情节的发现可能要求用户20在虚拟空间10内执行某些特定动作，包括例如与虚拟对象交互和/或行进到特定位置24和/或具有特定视点22。
特定音频12可以是可以位于虚拟空间10内的固定或可变特定位置的声音对象。在图3A至3D和4A至4F以及图5A至5D和6A至6F所示的示例实施例中，声音对象具有第一解除静音状态和第二静音状态。
第一解除静音状态使得声音对象12呈现给用户。在一些示例实施例中，该呈现可以与是否呈现相关联的视觉内容无关。这大致对应于图6A中所示的情况，其中可以在不能够观看与该声音对象12相关联的视觉内容32的情况下听到声音对象12的特定音频。
声音对象12还具有第二静音状态。这对应于图4B和6B、6C中所示的情况。
当首次从第二静音状态进入第一解除静音状态时，仅在呈现相关联的视觉内容32时才使得声音对象12呈现给用户。这对应于图4C、6D和6E中所示的情况。
在这种情况下，方法100包括：通过根据在虚拟空间10内的用户控制的用户20的位置24的变化和/或在虚拟空间10内的用户控制的用户20的视点22的变化将声音对象12从第一解除静音状态切换到第二静音状态，来自动地防止呈现用于在虚拟空间10中呈现给用户20的特定音频。方法100还包括：响应于解除静音中断103，通过根据中断103强制将声音对象12从第二静音状态切换到第一解除静音状态，来对特定音频解除静音并且通过虚拟现实在虚拟空间10中向用户20呈现特定音频。
再次参考图4A至4C和6A至6E，所示出的在图4A、6A、6B中呈现的其他声音14可以例如是环境声音和选择性声音(关键视听场景)，该环境声音可能以取决于位置的音量被独立于位置地呈现，该选择性声音仅在用户处于特定位置时呈现，但是与特定音频12不相关联的声音。因此，其他声音14可以是重复的环境声音，或者可以是当用户相对于虚拟空间10移动时出现和消失的声音。
图7A示出了用户的视点22相对于虚拟空间10内的参考方向60的朝向，图7B示出了在转换50之后发生的该朝向的变化。图7A和7B是从虚拟空间10的视角来看，并且将虚拟空间10的参考方向60示为固定方向。
图7C和7D分别等同于图7A和7B。然而，它们的不同之处在于，这些图从用户的视角示出了视觉转换50的结果，并且用户的视点22在这些图中是固定位置。
从图7C和7D中可以理解，作为解除静音中断103的结果，可能存在虚拟空间10相对于用户20的重新定向(reorientation)。视觉转换50操作以产生视觉中断(间断)并减少或防止定向障碍。视觉中断的一个例子是闪屏、横幅或其他临时视觉内容。而且，视觉转换50可以用作创意编辑，就像任何预定的叙述转换一样。然而，在这种情况下，它至少部分地由用户动作而不仅仅是由内容创建者确定。
在一些示例实施例中，可能是在解除静音中断103发生之前，用户在真实空间中的视点(与在虚拟空间10中的视点22对准)可能与用户身体在真实空间中的朝向方向62不对准，例如如图7E所示。例如，如果用户已经转动头部使得当发生解除静音中断103时其头部的位置不与用户身体的朝向方向62对准，则可能发生这种情况。在这种情况下，在视觉转换50之后，虚拟空间10，特别是视觉内容32，可以在那时以用户头部的真实朝向而不是以那时用户身体的朝向为中心。期望能够重新校准虚拟空间10，使得用户可以在真实空间中改变他们头部的朝向，使得其与他们的身体在真实空间中正确对准，而不会引起虚拟空间的旋转。因此，方法100可以提供用户可选择的软重置选项，其暂时停止用户视角控制的虚拟现实，使得能够改变用户头部的朝向而不改变虚拟空间10内的视点22。这在图7F中示出。在该图中，用户的视点22已被重新校准，使得其与身体方向62对齐，但虚拟空间10尚未被旋转。尽管观察点22旋转，但参考方向60仍保持固定在空间中。
图8A示出了方法100可以用于多个用户的示例。图8A的上部示出了针对第一用户的方法100的演变，而图8A的下部示出了针对第二用户的方法100的演变。
参考第一用户，第一用户最初处于解除静音探索状态120。然后，作为静音中断101的结果，第一用户进入静音探索状态112。随后，作为解除静音中断103的结果，第一用户体验104视觉转换50。第一用户然后体验116关键视听场景。特定音频12和与特定音频12相关联的视觉内容32通过虚拟现实在虚拟空间10中呈现给第一用户。随后，在该示例中，第一用户进入新的解除静音探索状态120，并且方法100可以关于与新的关键视听场景相关联的新特定音频12重复。
在一些示例实施例中，方法100可以关于多个关键视听场景同时且独立地发生。在这种情况下，可能没有用以呈现多个关键视听场景的所需顺序。
在一些示例实施例中，方法100可以关于多个关键视听场景同时并且相依赖地发生。在这种情况下，可能存在用以呈现多个关键视听场景所需顺序。
该图(图8A)示出了关于相同关键视听场景针对第二用户的类似演变。第一用户最初处于解除静音探索状态120。然后，作为静音中断101的结果，第二用户进入静音探索状态112。随后，作为解除静音中断103的结果，第二用户体验104视觉转换50。第二用户然后体验116关键视听场景——特定音频12和与特定音频12相关联的视觉内容32通过虚拟现实在虚拟空间10中呈现给第二用户。随后，在该示例中，第二用户进入新解除静音探索状态120，并且可以关于与相同新关键视听场景相关联的相同新特定音频12而重复方法100。
然而，导致不同状态之间的转换的不同中断101、103的定时对于第一用户和第二用户而言是不同的。例如，静音中断101对于两个用户在不同时间发生并且独立地发生，而且解除静音中断103可以对于两个用户在不同时间发生并且独立地发生。这可能导致第一用户和第二用户在不同时间体验关键视听场景。在一些示例实施例中但不一定是所有示例实施例，可能希望至少部分地同步第一和第二用户的体验，使得他们同时体验关键视听场景。
图8B示出了可以如何实现这一点。在一些示例实施例中，可以通过例如修改引起中断101、103中的一个或两个的条件来将额外时间添加到用户的时间线中的一个时间线中。因此，可以以这种方式向一个用户添加80时间并且从另一用户移除82时间。这对应于填充时间线或切割时间线。对条件的这些修改可以动态地发生以在关键视听场景处实现同步。
图9示出了包括多个叙述路点90的叙述92。每个叙述路点90对应于由方法100使用框116呈现的不同关键视听场景。导演可能希望控制这些叙述路点90出现的顺序，并且还控制叙述路点90之间的定时。
例如，可以通过控制引起静音中断101和/或解除静音中断103的条件来控制叙述路点之间的定时。这些可以例如针对每个叙述路点90单独地控制。
在一些示例实施例中，这可能是期望的，其中多个用户正在体验相同的叙述以同步多个用户对该叙述的体验以使得他们同时经历至少一些相同的叙述路点90。在图9的示例中，叙述路点90中的某些叙述路点被认为是关键叙述路点91，其中期望实现用户之间的同步。实现关键叙述路点91的同步所需的定时控制可以例如通过差别控制针对不同用户的静音中断101和/或解除静音中断103的条件来实现。
在叙述的上下文中，自动静音通过虚拟现实在虚拟空间10中呈现给用户的特定音频12暂停在虚拟空间10中向用户20呈现叙述，从而使得叙述和用户去同步。这表示图9中的叙述路点90之间的时间段的开始。在叙述点之间，用户能够通过用户视角控制的虚拟现实来探索虚拟空间10而不听到特定音频12。用户与叙述92解耦。特定音频12的解除静音以及通过虚拟现实将特定音频12及其相关联的视觉内容在虚拟空间10中呈现给用户取消暂停该叙述在虚拟空间10中向用户的呈现，从而强制叙述和用户重新同步。这对应于保证用户在叙述路点90返回到叙述92，作为方法100的结果。
因此，在叙述92的上下文中，方法100包括：暂停通过虚拟现实在虚拟空间10中向用户20呈现叙述92，以使该叙述92和用户20去同步；
使用户20能够与叙述92解耦地通过用户视角控制的虚拟现实探索虚拟空间10；以及
随后取消暂停叙述92在虚拟空间10中向用户20的呈现，从而强制叙述92和用户20重新同步。
在去同步期间(在叙述路点90之间)，用户20和叙述92可以分开，重新同步使用户20和叙述92重新组合在一起，然而，在叙述路点90之间，用户可以自由地探索虚拟空间10，而不受叙述92的严格约束。
可以响应于如前所述的解除静音中断103，从虚拟空间10中的定义的用户位置24和/或从虚拟空间10中的定义的用户视点22体验与叙述路点90相关联的关键视听场景。
图10示出了可以用于经由虚拟现实特别是用户视角控制的虚拟现实向用户20呈现视觉内容和音频内容的装置200的示例。装置200是头戴式装置，包括头戴式显示器20和耳机24。虚拟空间10的音频内容可以由耳机24呈现，虚拟空间10的视觉内容可以经由头戴式显示器202呈现。头戴式装置200还可以包括传感器210，其测量头戴式装置200的移动，使得用户20在虚拟空间10内的视点22可以随着用户头部的朝向而变化。这提供了用户视角控制的虚拟现实。
尽管在图10中，装置200是跟踪用户头部的移动的头戴式显示器，但是在其他示例实施例中，用户注视的方向可以用于改变虚拟空间10内的视点22。
图11示出了捕获装置300的示例实施例，捕获装置300可以用于捕获可以例如使用装置200经由音频内容和视觉内容呈现的虚拟空间10。视觉内容可以经由摄像机310捕获，摄像机310可以被设置为经由各种摄像机的重叠视野捕获可能高达360°的非常宽的视野。来自摄像机的图像可以拼接在一起以形成视频全景。另外，装置300包括用于捕获虚拟空间10的音频内容的多个麦克风312。
例如，如图12所示，可以使用控制器400来执行上述方法100以及该方法的各种变型。
控制器400可以实现为控制器电路。控制器400可以仅在硬件中实现，在包括固件的软件中具有某些方面，或者可以是硬件和软件(包括固件)的组合。
如图11所示，控制器400可以使用启用硬件功能的指令来实现，例如通过使用通用或专用处理器402中的计算机程序406的可执行指令，其可以存储在由这样的处理器402执行的计算机可读存储介质(磁盘、存储器等)上。
处理器402被配置为从存储器404读取和向存储器404写入。处理器402还可以包括输出接口和输入接口，数据和/或命令由处理器402通过该输出接口输出，并且数据和/或命令通过该输入接口输入处理器402。
存储器404存储包括计算机程序指令(计算机程序代码)的计算机程序406，该计算机程序指令在加载到处理器402中时控制装置200、300的操作。计算机程序406的计算机程序指令提供使得装置能够执行图2所示的方法的逻辑和例程。处理器402通过读取存储器404能够加载和执行计算机程序406。
因此，装置200、300包括：
至少一个处理器402；以及
包括计算机程序代码的至少一个存储器404，
所述至少一个存储器404和所述计算机程序代码被配置为与所述至少一个处理器402一起使得所述装置200、300至少执行：
使得自动防止呈现用于通过虚拟现实在虚拟空间中呈现给用户的特定音频；
使用户能够通过用户视角控制的虚拟现实探索虚拟空间，而不听到特定音频；以及
响应于中断，使得执行到包括特定音频和与特定音频相关联的视觉内容的视听内容的视觉转换，然后通过虚拟现实在虚拟空间中向用户呈现特定音频和与特定音频相关联的视觉内容。
控制器400可以例如由操作员例如通过用户界面编程为执行以下中的一个或多个：定义特定音频12或控制特定音频12的内容、控制与特定音频12相关联的视觉内容、控制静音中断101的条件、控制如何发生静音、控制解除静音中断103的条件、控制如何发生解除静音并控制框104的视觉转换50。这样，控制器400可以例如由导演用来控制叙述92的节奏以及如何将其呈现给用户。这样的控制器可以形成捕获装置300的一部分或者包括捕获装置300的系统的一部分。
定义各种可编程选项的参数可以与定义用于虚拟空间10的音频内容和/或视觉内容的数据一起传输。
在其他示例实施例中，控制器400可以用于例如经由呈现装置200呈现。在该示例中，用户可以能够控制以下中的一些或多个：用于静音中断101的条件、用于解除静音中断103的条件、以及视觉转换50的内容。
如图13所示，计算机程序406可以通过任何合适的传送机构410到达装置200、300。传送机构410可以例如是非暂时性计算机可读存储介质、计算机程序产品、存储器设备、诸如光盘只读存储器(CD-ROM)或数字通用光盘(DVD)之类的记录介质、有形地体现计算机程序406的制品。传送机构可以是被配置为可靠地传送计算机程序406的信号。装置200、300可以将计算机程序406传播或传送为计算机数据信号。
虽然存储器404被示为单个组件/电路，但是它可以被实现为一个或多个单独的组件/电路，其中的一些或全部可以是集成/可移除的和/或可以提供永久/半永久/动态/高速缓存的存储。
虽然处理器402被示为单个组件/电路，但是它可以被实现为一个或多个单独的组件/电路，其中一些或全部可以是集成/可移除的。处理器402可以是单核或多核处理器。
对“计算机可读存储介质”、“计算机程序产品”、“有形地体现计算机程序”等或“控制器”、“计算机”、“处理器”等的引用应被理解为不仅包括具有不同架构(例如单/多处理器架构和顺序(冯诺依曼)/并行架构)的计算机，还包括诸如现场可编程门阵列(FPGA)、专用电路(ASIC)、信号处理设备和其他处理电路的专用电路。对计算机程序、指令、代码等的引用应被理解为包括用于可编程处理器或固件的软件，例如硬件设备的可编程内容，无论是用于处理器的指令还是用于固定功能设备、门阵列或可编程逻辑器件等的配置设置。
在本申请中使用的术语“电路”指的是以下所有内容：
(a)仅硬件电路实现(例如仅在模拟和/或数字电路中的实现)，以及
(b)电路和软件(和/或固件)的组合，例如(如适用的话):(i)处理器的组合或(ii)一起工作以使诸如移动电话或服务器之类的装置执行各种功能的处理器/软件(包括数字信号处理器)、软件和存储器的部分，以及
(c)需要软件或固件进行操作的电路(例如微处理器或微处理器的一部分)，即使软件或固件实际上不存在。
“电路”的该定义适用于本申请中包括在任何权利要求中该术语的所有用法。作为另一示例，如在本申请中所使用的，术语“电路”还将覆盖仅处理器(或多个处理器)或处理器的一部分及其(或它们的)伴随软件和/或固件的实现。术语“电路”还将例如覆盖(并且如果适用于特定的权利要求元素)用于移动电话的基带集成电路或应用处理器集成电路或服务器、蜂窝网络设备或其他网络设备中的类似集成电路。
图2中示出的框可以表示计算机程序406中的方法和/或代码段中的步骤。对框的特定顺序的说明不一定意味着对于框和存在所需的或优选的顺序，并且框的顺序和排列可以变化。此外，可以省略一些框。
图14A-H示出了虚拟空间10随时间变化的俯视图，类似于图5A-5C。用户的视点22定义虚拟空间10内的视觉内容32，其通过用户视角控制的虚拟现实呈现给用户。视觉内容32由以视点22为中心的视野确定。视觉内容32作为叙述的结果或作为用户改变其视点的结果而改变。在图14E-14G中示出了涉及特定音频12的关键场景。
图15A-H示出了对于图14A-H中的每一个，根据图14A-H中的视点22A呈现给用户的对应视觉内容32。在图15E-15G中示出了涉及特定音频12的关键场景。在该示例中，用户20紧密地跟随预期的叙述，并且用户的视点22跟踪关键场景/动作。
图16A-H示出了对于图14A-H中的每一个，根据图14A-H中的视点22B呈现给用户20的对应视觉内容32。因为用户看错了方向，关键场景未在图16E-16G中示出。当用户远离关键场景(例如图16D)看(在该示例中满足静音中断标准)时，发生静音中断101并且特定音频12被静音。这防止用户20听到与关键视听场景相关联的特定音频12而不会看到与该特定音频12相关联的视觉内容。在该示例中，在超时之后，发生导致转换50的解除静音中断。在该示例中，转换50在图16H中示出，但是它可以例如在用户时间中更早或更晚发生。转换50使得关键视听场景被呈现给用户，包括特定音频12和与该视觉内容32相关联的视觉内容32。例如，来自对应于图15A-15H或15E-15H的场景的视听内容可以在转换50之后向用户呈现。
参考图15A-H，当第一场景打开时，穿着浅色衣服的演员站在垃圾箱处(图15A)。现在是白天。片刻之后，第二个演员(穿着深色衣服)出现在该场景(图15B)。两位演员开始交谈(图15C)。谈话需要一些时间(图15D)，但最后他们开始一直走向汽车，同时继续谈话(图15E-15F)。当他们经过这辆车的时候，第一个演员用枪对着第二个演员并从后面射击他(图15G)。在枪击之后，第一个场景结束，转换将我们带到下一个场景(图15H)。现在是夜晚。被枪杀的演员似乎在垃圾箱中，而第一个演员离开场景的方向是第二个演员最初出现的方向。一只小鸟出现在垃圾箱上并向里看去。
参考图16A-H，当第一场景打开时，用户视点已被设置为导演希望用户看的内容(图16A)。用户首先看第一个演员并开始看第一个演员周围的细节，但随后看到第二个演员进入该场景(图16B)。用户专注于谈话(图16C)，但是确定这在视觉上不太有趣并且很快开始改变视点并且看更多的虚拟空间(图16D-16G)。当两个演员开始行走时，用户已经显著改变了他的视点并且发现了一些特别有趣的东西(图16E)。墙上似乎有一张旧海报。如果用户继续听到特定音频12，他会听到枪从他的右后方射击，他可能已经做出反应，会立即转换到第一个演员离开场景的下一个场景，在垃圾箱里似乎还有另一个人，一只小鸟看着尸体——用户只是在错误时间看错方向而错过了谋杀案。
根据方法100，响应于静音中断101，对应于在特定于动作的决策实例中不可见的动作的特定音频12被静音，以在对应的视觉内容被查看时保持其惊人效果。当使用方法100时，用户在不知道他身后发生的事情的情况下查看海报。将提示他的关键音频12已从呈现中移除。然后，新的转换50使用户及时回到他之前没有体验的视图。
该解决方案允许用户自由地探索虚拟空间而不会错过关键动作或由于与未见动作相关联的空间音频呈现而体验任何剧透。
响应于解除静音中断103执行将用户带到动作实例的转换50。
将用户从用户的当前视图带到中心动作的动作实例的转换50应该优选地看起来是有意的，并且至少以不分散用户注意力的方式很好地实现。它可以取决于内容而被定义为例如使用剪切、溶解或快速闪光灯。可以向呈现器(renderer)发信号通知内容创建者为每个场景、中心动作或中心动作的动作实例选择的优选转换。结合内容和用户动作(例如，由宽限期或头转向触发的转换)的自动分析也可以选择转换类型。例如，用户转向的方向和转向的距离可能会影响是否使用闪光灯以及闪光灯的移动方向。该部分可以在呈现器中实现。
在该示例中，解除静音中断103响应于用户转向安全区域之外或者当宽限期用完时(无论哪个先发生)发生。
基于场景信息来定义当前用户的视点的安全区域，用户可在其内自由继续探索。
安全区域指的是用户没有看到至少一个中心动作、关键场景或一些其他感兴趣的辅助内容的区域。在一些实施例中，安全区域可以被定义为例如可以在边框上具有安全边界的扇区。在其他实施例中，安全区域可以简单地是所有场景的中心动作和次要感兴趣区域的结合的反转。
还应注意，每个场景可能存在多个安全区域。安全区域的数量可能会随时间而变化。
安全区域的形状和大小可能会随时间而变化。
在场景具有多个安全区域的一些高级实现中，可以区别对待它们。例如，可以严格执行第一安全区域，而可以允许暂时突破第二安全区域。
在一些实施例中，安全区域因此可以在其边框处具有“渐进惩罚(gradualpenalty)”，其中考虑了突破时间(breaching time)。只有满足阈值时，才会产生中断。
图17示出了对图14-16的上下文中的中断的触发的示例。
该图示出了与图14A-14H所示相同的虚拟空间10。
该图示出了使用阴影线对视点22的第一范围31(安全区域)进行阴影。如果用户20具有在该范围内的视点22，则用户不能充分地观看图15E-15G中所示的关键场景。
第一视点范围22(安全区域)定义了用于产生中断的一个或多个用户相关中断条件。
例如，它可以根据触发静音中断101的用户20的位置24和/或视野22来定义用户相关静音条件28。
例如，它可以根据触发解除静音中断103的用户20的位置24和/或视野22来定义用户相关解除静音条件29。
当用户视点22在关键场景的时间或在接近关键场景的时间在第一范围之外时，可以引起静音中断101。
例如，当用户视点22在关键场景的时间或在接近关键场景的时间或在超时之后在第一范围内时，可以引起解除静音中断103。
因此，静音中断101是对用户执行动作(例如，转向错误方向)的自动响应，其防止用户在发生关键事件时看到特定音频的源。静音中断101是对用户相对于视听内容和关键场景的时间实例转向错误方向(即，太远)的自动响应。当已经过了太多时间或者当用户转向关键场景的方向时，发生解除静音中断103。
根据方法100，关键音频12被静音和解除静音。将当前用户视图方向与至少一个中心动作(关键场景)的方向进行比较。如果匹配，则继续播放。如果不匹配，则执行关于特定于动作的决策实例和安全区域的分析。该处理可以考虑特定于实现的标准，例如用户头部移动方向和速度，以及例如状态机，以评估特定于动作的决策实例(如果所述实例是时间窗口的话)，以提高决策准确性。如果时刻满足特定于动作的决策实例标准并且用户观看方向对应于安全区域，则系统产生静音中断101。否则，继续正常播放。
下一个分析确定用户的视点方向是否保持在安全区域中并且在宽限期内还有剩余时间。只要这一点成立，播放就会继续，关键音频12被静音。当它不再成立时，产生解除静音中断103，强制转换50并呈现包括关键音频12和与关键音频12相关联的关键视觉场景的关键视听场景。播放继续。
宽限期是用户以错误的方向查看内容的时间。在多用户消费中，一个用户(用户A)通常可能比乐于主要仅专注于中心动作(关键场景)的第二用户(用户B)更喜欢探索。通常，这表明用户A将花费更长的时间来消费特定内容。然而，可能希望用户或多或少地同时到达内容的末尾。另外可能希望用户在内容期间或多或少地同时经历特定的峰值时刻。因此，可以基于第一用户和至少第二用户之间的延迟来放松或缩短第一用户的宽限期。可以在多用户呈现系统中执行宽限期的这种调整。
在已经描述了结构特征的情况下，可以用用于执行结构特征的一个或多个功能的模块来替换该结构特征，无论该功能或那些功能是明确地还是隐含地描述的。
控制器400可以是模块。这里使用的“模块”指的是排除将由终端制造商或用户添加的某些部件/组件的单元或装置。
术语“和/或”在本文档中使用，具有包含性而非排他性含义。
也就是，对X和/或Y的任何引用包括以下一个或多个：X，永远不会有Y；X而不是Y；Y，永远不会有X；Y，而不是X；任选X或Y；X和Y两者。因此，改变视点和/或位置，包括(i)仅在不改变位置的情况下改变视点，作为一个示例，包括(ii)仅改变视点而不具有改变位置的能力，作为另一示例，以及包括(iii)改变视点和改变位置，作为进一步的示例。
术语“包括”在本文档中使用，具有包含性而非排他性含义。即，对X包括Y的任何引用表示X可以仅包括一个Y或者可以包括多于一个Y。如果打算使用具有排他性含义的“包括”，则在上下文中将通过参考“仅包括一个”或通过使用“由……组成的”来使之明确。
在该简要描述中，已经参考了各种示例。与示例相关的特征或功能的描述指示那些特征或功能存在于该示例中。在文本中使用术语“示例”或“例如”或“可以”表示(无论是否明确说明)这些特征或功能至少在所描述的示例中存在，无论是否作为示例描述，并且它们可以但不一定存在于某些或所有其他示例中。因此，“示例”、“例如”或“可以”指的是一类示例中的特定实例。实例的属性可以是该实例的属性，也可以是该类的属性，也可以是该类的子类的属性，该子类包括该类中的一些但不是所有实例。因此，隐含地公开了参考一个示例而不是参考另一示例描述的特征，在可能的情况下可以在该另一示例中使用，但不一定必须在该另一示例中使用。
尽管已经参考各种示例在前面的段落中描述了本发明的实施例，但是应当理解，在不脱离所要求保护的本发明的范围的情况下，可以对给出的示例进行修改。
在前面的描述中描述的特征可以以除了明确描述的组合之外的组合使用。
尽管已经参考某些特征描述了功能，但是这些功能可以通过其他特征(无论是否描述)来执行。
尽管已经参考某些实施例描述了特征，但是这些特征也可以存在于其他实施例(无论是否描述)中。
虽然在前述说明书中努力引起对被认为特别重要的本发明的那些特征的注意，但应该理解，申请人要求保护上文提及和/或在附图中示出(无论是否特别强调了这一点)的任何可专利特征或特征组合。

Claims (16)

1.一种方法，包括：
自动防止通过虚拟现实在虚拟空间中向用户呈现特定音频；
使所述用户能够通过用户视角控制的虚拟现实探索所述虚拟空间，而不听到所述特定音频；以及
响应于中断，执行到包括所述特定音频和与所述特定音频相关联的视觉内容的视听内容的转换，然后通过虚拟现实在所述虚拟空间中向所述用户呈现包括所述特定音频和与所述特定音频相关联的所述视觉内容的所述视听内容。
2.根据权利要求1所述的方法，包括提供用户可选择的软重置选项，其暂时暂停用户视角控制的虚拟现实，使得能够改变用户头部的朝向而不改变所述虚拟空间内的视点。
3.根据前述任一权利要求所述的方法，其中，在所述转换之前呈现的视觉内容至少取决于转换之前的用户确定的视点，并且与转换之后呈现的所述特定音频相关联的视听内容则不是。
4.根据前述任一权利要求所述的方法，还包括：
强制在所述虚拟空间中的明显用户位置与关联于所述特定音频的用户位置一致，和/或
强制所述虚拟空间内的明显用户视点与关联于所述特定音频的用户视点一致，
从而使所述用户的所述位置和/或视点与所述特定音频的所述呈现同步。
5.根据前述任一权利要求所述的方法，其中，响应于所述中断，通过虚拟现实在所述虚拟空间中向所述用户呈现包括所述特定音频和与所述特定音频相关联的所述视觉内容的所述视听内容，包括：
在所述虚拟空间内远程传送所述虚拟空间中的用户位置到与所述特定音频相关联的不同位置和/或所述虚拟空间中的所述用户视点到与所述特定音频相关联的视点；或者
通过帧将与所述特定音频相关联的所述视觉内容呈现给所述用户，而不改变所述虚拟空间内的所述用户位置和/或用户视点。
6.根据前述任一权利要求所述的方法，其中，所述中断取决于所述虚拟空间内的用户位置和/或在所述虚拟空间内经过的时间。
7.根据前述任一权利要求所述的方法，其中，所述中断取决于一个或多个条件的满足，并且其中，所述一个或多个条件根据由所述用户和所述虚拟空间的交互确定的上下文而变化。
8.根据前述任一权利要求所述的方法，包括：
通过针对特定音频根据用户在虚拟空间内的位置的用户控制的变化和/或用户视点在所述虚拟空间内的用户控制的变化将声音对象从第一解除静音状态切换到第二静音状态，防止呈现用于在所述虚拟空间中向所述用户呈现的所述特定音频；以及
响应于所述中断，通过根据所述中断强制将所述声音对象从所述第二解除静音状态切换到所述第一静音状态，使所述特定音频解除静音，并通过虚拟现实在所述虚拟空间中向所述用户呈现所述特定音频，
其中，所述声音对象与用于在所述虚拟空间中的第一位置向用户呈现的视觉内容相关联。
9.根据前述权利要求中任一项所述的方法，其中，防止呈现用于通过虚拟现实在所述虚拟空间中向所述用户呈现的特定音频，是根据取决于所述用户在所述虚拟空间中的位置的变化和/或视点的变化的用户生成的中断来执行的。
10.根据前述任一权利要求所述的方法，其中，防止呈现用于通过虚拟现实在所述虚拟空间中向所述用户呈现的所述特定音频并不防止通过用户视角控制的虚拟现实在所述虚拟空间中向所述用户呈现其他音频。
11.根据前述权利要求中任一项所述的方法，其中，防止呈现用于通过用户视角控制的虚拟现实在所述虚拟空间中向所述用户呈现的所述特定音频不会使基本上与所述用户在所述虚拟空间内的用户位置和/或视点无关的环境声音静音，并且不使特定于所述用户在所述虚拟空间内的用户位置和/或视点但是不与所述特定音频相关联的选择性声音静音。
12.根据前述权利要求中任一项所述的方法，包括：对于第一用户重复执行任何前述权利要求的方法；关于相同的特定音频序列对于第二用户重复执行任何前述权利要求的方法；以及间歇地执行测量以保持所述第一用户和所述第二用户之间的时间同步。
13.根据前述任一权利要求所述的方法，还包括通过控制以下中的一个或多个来实现对前述方法中的任何一项的可编程控制：
所述特定音频的内容、所述特定音频的标识、用于防止呈现特定音频的条件、如何执行防止呈现特定音频、用于呈现包括所述特定音频的所述视听内容的条件、如何控制呈现包括所述特定音频的所述视听内容、如何执行所述转换。
14.根据前述权利要求中任一项所述的方法，其中，防止呈现用于通过用户视角控制的虚拟现实在虚拟空间中呈现给用户的特定音频，暂停在所述虚拟空间中向所述用户呈现叙述，从而暂停所述叙述和所述用户的所述同步，以及其中，通过用户视角控制的虚拟现实在所述虚拟空间中向所述用户呈现包括所述特定音频的所述视听内容取消暂停在所述虚拟空间中向所述用户呈现所述叙述，使得所述叙述和所述用户重新同步。
15.一种装置，包括用于执行任何前述权利要求的方法的模块和/或在处理器上运行时执行权利要求1至14中任一项所述的方法的计算机程序。
16.一种方法，包括：
自动地有条件地防止通过虚拟现实在虚拟空间中向用户呈现音频子集；
使所述用户能够通过用户视角控制的虚拟现实探索所述虚拟空间，而不听到所述音频子集；以及
响应于自动中断，执行到包括所述音频子集和与所述音频子集相关联的视觉内容的视听内容的转换，然后通过虚拟现实在所述虚拟空间中向所述用户呈现包括所述音频子集和与所述音频子集相关联的所述视觉内容的所述视听内容。
CN201880026239.2A 2017-02-23 2018-02-20 用于虚拟现实的方法和装置 Active CN110537225B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17157682.0A EP3367383B1 (en) 2017-02-23 2017-02-23 Virtual reality
EP17157682.0 2017-02-23
PCT/FI2018/050121 WO2018154179A1 (en) 2017-02-23 2018-02-20 Virtual reality

Publications (2)

Publication Number Publication Date
CN110537225A true CN110537225A (zh) 2019-12-03
CN110537225B CN110537225B (zh) 2022-10-28

Family

ID=58231368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880026239.2A Active CN110537225B (zh) 2017-02-23 2018-02-20 用于虚拟现实的方法和装置

Country Status (4)

Country Link
US (1) US11094119B2 (zh)
EP (1) EP3367383B1 (zh)
CN (1) CN110537225B (zh)
WO (1) WO2018154179A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302651A1 (en) * 2014-04-18 2015-10-22 Sam Shpigelman System and method for augmented or virtual reality entertainment experience
US20160364915A1 (en) * 2015-06-15 2016-12-15 Google Inc. Virtual reality content presentation including viewpoint transitions to prevent simulator sickness
CN106324838A (zh) * 2016-09-30 2017-01-11 中国科学院长春光学精密机械与物理研究所 一种虚拟现实设备及虚拟现实系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6101151B2 (ja) 2013-05-22 2017-03-22 日東電工株式会社 回路付きサスペンション基板およびその製造方法
GB2517143A (en) * 2013-08-07 2015-02-18 Nokia Corp Apparatus, method, computer program and system for a near eye display
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
ES2642263T3 (es) 2014-12-23 2017-11-16 Nokia Technologies Oy Control de contenido de realidad virtual
US9911238B2 (en) * 2015-05-27 2018-03-06 Google Llc Virtual reality expeditions
CA3029123A1 (en) * 2016-06-23 2017-12-28 Josh KILLHAM Positional audio assignment system
EP3264222B1 (en) 2016-06-27 2019-04-10 Nokia Technologies Oy An apparatus and associated methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302651A1 (en) * 2014-04-18 2015-10-22 Sam Shpigelman System and method for augmented or virtual reality entertainment experience
US20160364915A1 (en) * 2015-06-15 2016-12-15 Google Inc. Virtual reality content presentation including viewpoint transitions to prevent simulator sickness
CN106324838A (zh) * 2016-09-30 2017-01-11 中国科学院长春光学精密机械与物理研究所 一种虚拟现实设备及虚拟现实系统

Also Published As

Publication number Publication date
EP3367383A1 (en) 2018-08-29
US20190385369A1 (en) 2019-12-19
CN110537225B (zh) 2022-10-28
US11094119B2 (en) 2021-08-17
WO2018154179A1 (en) 2018-08-30
EP3367383B1 (en) 2023-12-20

Similar Documents

Publication Publication Date Title
US11343633B2 (en) Environmental condition based spatial audio presentation
US10657727B2 (en) Production and packaging of entertainment data for virtual reality
US11342000B2 (en) Immersive virtual reality production and playback for storytelling content
EP3495921A1 (en) An apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
US20140337737A1 (en) Method And System For Automatically Associating A Cursor with A Hotspot In A Hypervideo Stream Using A Visual Indicator
CN110036416B (zh) 用于空间音频的装置和相关方法
US10993066B2 (en) Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
US20200312025A1 (en) Rendering captions for media content
JP6757420B2 (ja) 音声制御装置、音声制御方法及びプログラム
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
JP6616023B2 (ja) 音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム
US11825170B2 (en) Apparatus and associated methods for presentation of comments
CN110537225A (zh) 虚拟现实
US11223925B2 (en) Apparatus and associated methods for presentation of captured spatial audio content
JP2018093312A (ja) 画像音響処理装置および画像音響処理方法、プログラム
US11775051B2 (en) Apparatus and associated methods for presentation of presentation data
WO2017199848A1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
EP4357884A1 (en) Controlling vr/ar headsets
JP7392723B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017208809A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
US20200302761A1 (en) Indicator modes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant