CN110809751B - 用于实现介导现实虚拟内容消耗的方法、装置、系统、计算机程序 - Google Patents

用于实现介导现实虚拟内容消耗的方法、装置、系统、计算机程序 Download PDF

Info

Publication number
CN110809751B
CN110809751B CN201880043804.6A CN201880043804A CN110809751B CN 110809751 B CN110809751 B CN 110809751B CN 201880043804 A CN201880043804 A CN 201880043804A CN 110809751 B CN110809751 B CN 110809751B
Authority
CN
China
Prior art keywords
virtual
listener
conceptual
space
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880043804.6A
Other languages
English (en)
Other versions
CN110809751A (zh
Inventor
J·莱帕南
A·勒蒂涅米
S·S·马特
A·埃罗南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN110809751A publication Critical patent/CN110809751A/zh
Application granted granted Critical
Publication of CN110809751B publication Critical patent/CN110809751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种方法，包括：在第一模式与第二模式之间进行切换，该第一模式用于取决于概念听众的视点来控制虚拟声音对象与概念听众在虚拟空间中的相对位置，该第二模式用于取决于概念听众的视点来控制虚拟声音对象与概念听众在虚拟空间中的相对位置，其中在第一模式期间，基于真实空间中的用户的当前测量位置，虚拟声音对象与概念听众的相对位置同虚拟声音对象与概念听众在虚拟空间中的当前确定的相对位置存在更高的相关性，以及在第二模式期间，基于用户在真实空间中的当前测量位置，虚拟声音对象与概念听众的相对位置同虚拟声音对象与概念听众在虚拟空间中的的当前确定的相对位置存在更低的相关性。

Description

用于实现介导现实虚拟内容消耗的方法、装置、系统、计算机 程序
技术领域
本发明的实施例涉及用于实现针对介导现实(mediated reality)的虚拟内容的消耗的方法、装置、系统、计算机程序。
背景技术
“介导现实”描述了用户何时体验作为至少部分地由装置呈现给用户的虚拟场景的、完全或部分地人造环境(虚拟空间)。虚拟场景由虚拟空间内的虚拟位置确定。
第一人称视角的介导现实是其中用户在现实空间中的真实位置确定了虚拟空间内的虚拟位置的介导现实。
在一些实现中，用户在物理空间中的定向确定了虚拟空间内的虚拟定向，但是用户在真实空间中的位置不会确定在虚拟空间内的虚拟位置。
在一些实现中，用户在物理空间中的定向确定了虚拟空间内的虚拟定向，并且用户在真实空间中的位置确定了在虚拟空间内的虚拟位置。
测量真实空间中的正确真实位置的不确定性可能会导致虚拟空间内的不正确的虚拟位置。
发明内容
根据本发明的各种但不一定是所有的实施例，提供了一种方法，包括：
在第一模式与第二模式之间进行切换，第一模式用于取决于概念听众的视点来控制虚拟声音对象在虚拟空间中距概念听众的相对位置，第二模式用于取决于概念听众的视点来控制虚拟声音对象在虚拟空间中距概念听众的相对位置，其中
在第一模式期间，虚拟声音对象距概念听众的相对位置与虚拟声音对象在虚拟空间中距概念听众的当前确定的相对位置存在第一相关性，虚拟声音对象在虚拟空间中距概念听众的当前确定的相对位置是基于用户在真实空间中的当前测量的位置，以及
在第二模式期间，虚拟声音对象距概念听众的相对位置与虚拟声音对象在虚拟空间中距概念听众当前确定的相对位置存在第二相关性，虚拟声音对象在虚拟空间中距概念听众的当前确定的相对位置是基于用户在真实空间中的当前测量的位置，
其中第一相关性是比第二相关性更高的相关性。
根据本发明的各种但不一定是所有的实施例，提供了一种装置，包括：
用于在第一模式与第二模式之间进行切换的部件，第一模式用于取决于概念听众的视点来控制虚拟声音对象距概念听众在虚拟空间中的的相对位置，第二模式用于取决于概念听众的视点来控制虚拟声音对象在虚拟空间中距概念听众的相对位置，其中
在第一模式期间，虚拟声音对象距概念听众的相对位置与虚拟声音对象在虚拟空间中距概念听众的当前确定的相对位置存在第一相关性，概念听众的当前确定的相对位置是基于用户在真实空间中的当前测量位置，以及
在第二模式期间，虚拟声音对象距概念听众的相对位置与虚拟声音对象在虚拟空间中距概念听众当前确定的相对位置存在第二相关性，概念听众当前确定的相对位置是基于用户在真实空间中的当前测量位置，
其中第一相关性是比第二相关性更高的相关性。
根据本发明的各种但不一定是所有的实施例，提供了一种装置，包括：
至少一个处理器；以及
包括计算机程序代码的至少一个存储器
至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使装置30至少执行：
在第一模式与第二模式之间进行切换，第一模式用于取决于概念听众的视点来控制虚拟声音对象在虚拟空间中距概念听众的的相对位置，第二模式用于取决于概念听众的视点来控制虚拟声音对象在虚拟空间中距概念听众的相对位置，其中
在第一模式期间，虚拟声音对象距概念听众的相对位置与虚拟声音对象在虚拟空间中距概念听众的当前确定的相对位置存在第一相关性，概念听众的当前确定的相对位置是基于用户在真实空间中的当前测量位置，以及
在第二模式期间，虚拟声音对象距概念听众的相对位置与虚拟声音对象在虚拟空间中距存在第二相关性，概念听众的当前确定的相对位置是基于真实空间中的用户的当前测量位置，
其中第一相关性是比第二相关性更高的相关性。
根据本发明的各种但不一定是所有的实施例，提供了一种计算机程序，该计算机程序在由处理器运行时允许：
在第一模式与第二模式之间进行切换，第一模式用于取决于概念听众的视点来控制虚拟声音对象在虚拟空间中距概念听众的相对位置，第二模式用于取决于概念听众的视点控制虚拟声音对象在虚拟空间中距概念听众的相对位置，其中
在第一模式期间，虚拟声音对象距概念听众的相对位置与虚拟声音对象在虚拟空间中距概念听众的当前确定的相对位置存在第一相关性，距概念听众的当前确定的相对位置是基于真实空间中的用户的当前测量位置，以及
在第二模式期间，虚拟声音对象距概念听众的相对位置与虚拟声音对象在虚拟空间中距概念听众的当前确定的相对位置存在第二相关性，概念听众的当前确定的相对位置是基于真实空间中的用户的当前测量位置，
其中第一相关性是比第二相关性更高的相关性。
根据本发明的各种但不一定是所有的的实施例，提供了所附权利要求所要求保护的示例。
附图说明
为了更好地理解有助于理解简要说明的各种示例，现在将仅以示例方式参考附图，其中：
图1A-图1C和图2A-图2C图示了介导现实的示例，其中图1A、图1B、图1C从共同的顶部视角图示了相同的虚拟视觉空间和不同的视点，以及图2A、图2B、图2C从相应视点的角度图示了虚拟视觉场景；
图3A图示了真实空间的示例，并且图3B图示了真实视觉场景的示例；
图4从顶部视角图示了对应于虚拟视觉空间的声音空间90的示例；
图5图示了可操作以实现介导现实和/或增强现实和/或虚拟现实的装置的示例；
图6A图示了用于实现介导现实和/或增强现实和/或虚拟现实的方法的示例；
图6B图示了用于针对增强现实更新虚拟视觉空间的模型的方法的示例；
图7A和图7B图示了支持向用户显示虚拟视觉场景的至少一部分的装置的示例；
图8A图示了真实空间中的手势的示例，并且图8B图示了真实空间中的手势在虚拟视觉场景中绘制的对应表示；
图9图示了用于修改所绘制的声音场景的系统的示例；
图10图示了可以被用于例如执行系统的定位块、定向块和距离块的功能的模块的示例；
图11图示了用于控制第一人称视角的介导现实的操作模式的方法的示例；
图12图示了状态图的示例；
图13图示了矢量z(t)的示例，该矢量z(t)表示虚拟声音对象相对于虚拟听众的当前相对位置；
图14A和图14B图示了概念听众移动经过声源的不同示例；
图15A图示了虚拟声音对象相对于虚拟听众的定向随着时间的变化的示例；
图15B图示了图15A的放大的n的部分；
图16A和图16B图示了位置不确定的概念听众移动经过声源的不同示例；
图17A图示了在第二模式下虚拟声音对象相对于虚拟听众的定向随着时间的容许变化；
图17B图示了在第二模式下虚拟声音对象相对于虚拟听众的定向随着时间的变化的示例；
图18图示了卡尔曼滤波器。
定义
“人造环境”可以是已经记录或生成的东西。
“虚拟视觉空间”是指可以被观看的、完全或部分人造环境，其可以是三维的。
“虚拟视觉场景”是指从虚拟视觉空间内的特定视点观看的虚拟视觉空间的表示。
“虚拟视觉对象”是在虚拟视觉场景内的可见的虚拟对象。
“声音空间”(或“虚拟声音空间”)是指三维空间中的声源的布置。可以关于记录的声音(所绘制的声音空间)并且关于绘制声音(呈现的声音空间)来定义声音空间。
“声音场景”(或“虚拟声音场景”)是指从声音空间内的特定视点收听的声音空间的表示。
“声音对象”是指可以位于声音空间内的声源。与关联于虚拟视觉空间中的对象的声源相反，源声音对象表示声音空间内的声源。记录的声音对象表示在特定麦克风或位置处记录的声音。呈现的声音对象表示从特定位置呈现的声音。
“虚拟空间”可以表示虚拟视觉空间，表示声音空间或表示虚拟视觉空间和对应声音空间的组合。在一些示例中，虚拟空间可以水平地延伸到360°，并且可以垂直地延伸到180°。
“虚拟场景”可以表示虚拟视觉场景，表示声音场景或表示虚拟视觉场景和对应声音场景的组合。
“虚拟对象”是虚拟场景内的对象，它可以是人造虚拟对象(例如，计算机生成的虚拟对象)，或者它可以是真实对象在真实空间中的图像，该真实对象是实时的或录制的。它可以是声音对象和/或虚拟视觉对象。
“虚拟位置”是在虚拟空间内的位置。它可以使用虚拟位置和/或虚拟定向来定义。它可能被认为是可移动的“视点”。
当关于声音空间和虚拟视觉空间使用时，“对应性”或“对应”是指声音空间和虚拟视觉空间是时间和空间对齐的，即，它们是相同时间的相同空间。
当关于声音场景和虚拟视觉场景(或视觉场景)使用时，“对应性”或“对应”是指声音空间和虚拟视觉空间(或视觉场景)是对应的，并且其视点定义了声音场景的概念(虚拟)听众和其视点定义了虚拟视觉场景(或视觉场景)的概念(虚拟)观众位于相同的位置和定向，即，它们具有相同的视点(相同的虚拟位置)。
“真实空间”(或“物理空间”)是指可以是三维的真实环境。
“真实场景”是指从真实空间内的特定视点角度的真实空间的表示。
“真实视觉场景”是指从真实空间内的特定视点观看的真实空间的表示。
在本文中，“介导现实”是指用户在视觉上体验作为至少部分地由装置呈现给用户的虚拟场景的、完全或部分地人造环境(虚拟空间)。虚拟场景由虚拟空间内的视点确定。显示虚拟场景意味着以用户可以感知的形式提供它。
在本文中，“增强现实”是指介导现实的一种形式，其中用户体验作为虚拟场景的、部分人造环境(虚拟空间)，该虚拟场景包括物理现实世界环境(真实空间)的真实场景，辅以由装置向用户绘制的一个或多个视觉或音频元素；
在本文中，“虚拟现实”是指介导现实的一种形式，其中用户体验作为装置向用户显示的虚拟场景的、完全人造环境(虚拟视觉空间)；
如被应用于介导现实、增强现实或虚拟现实的“视角介导”是指改变虚拟场景的、用户动作确定虚拟空间内的视点；
如应用于介导现实、增强现实或虚拟现实的“第一人称视角介导”是指具有附加约束的介导的视角，即，用户的真实视点(位置和/或定向)确定了在虚拟空间内的视点；
应用于介导现实、增强现实或虚拟现实的“第三人称视角介导”是指以附加约束介导的视角，即，用户的真实视点未确定虚拟空间内的视点；
如被应用于介导现实、增强现实或虚拟现实的“用户交互”是指用户动作至少部分地确定了虚拟空间内发生的事情；
“显示”是指以用户视觉感知(观看)的形式提供。
“绘制(render)”是指以用户感知的形式提供
“概念听众”定义了虚拟空间中的被用于生成视角介导的声音场景的视点，无论用户实际是否在收听
“概念观众”定义了虚拟空间中的被用于生成视角介导的视觉场景的视点，无论用户实际是否在观看。
具体实施方式
图1A-图1C和2A-图2C图示了介导现实的示例。介导现实可以是增强现实或虚拟现实。
图1A、图1B、图1C图示了包括相同虚拟视觉对象21的相同虚拟视觉空间20，然而，每个图图示了不同的视点24。视点24的位置和方向可以独立地改变。视点24的方向而非位置从图1A改变为图1B。视点24的方向和位置从图1B改变为图1C。
图2A、图2B、图2C从各个图1A、图1B、图1C的不同视点24的角度图示了虚拟视觉场景22。虚拟视觉场景22由虚拟视觉空间20内的视点24和视野26确定。虚拟视觉场景22至少部分地被显示给用户。
所图示的虚拟视觉场景22可以是介导现实场景、虚拟现实场景或增强现实场景。虚拟现实场景显示了完全人造的虚拟视觉空间20。增强现实场景显示了部分人造的、部分真实的虚拟视觉空间20。
介导现实、增强现实或虚拟现实可以是用户交互介导的。在这种情况下，用户动作至少部分地确定虚拟视觉空间20内什么发生。这可以支持与虚拟对象21(诸如，虚拟视觉空间20内的视觉元素28)进行交互。例如，用户可以能够选择并移动虚拟对象21。
介导现实、增强现实或虚拟现实可以是视角介导的。在这种情况下，用户动作确定改变虚拟视觉场景22的、虚拟视觉空间20内的视点24。例如，如图1A、1B、1C所图示的，虚拟视觉空间20内的视点24的位置23可以被改变和/或虚拟视觉空间20内的视点24的方向或定向25可以被改变。如果虚拟视觉空间20是三维的，则视点24的位置23具有三个自由度，例如，向上/向下、向前/向后、向左/向右，并且虚拟视觉空间20内的视点24的方向25具有三个自由度，例如，滚转、俯仰、偏航。视点24可以在位置23和/或方向25上连续变化，然后用户动作连续地改变视点24的位置和/或方向。备选地，视点24可以具有离散的量化位置23和/或离散的量化方向25，并且用户动作通过在视点24的允许位置23和/或方向25之间离散地跳跃来进行切换。
图3A图示了包括与图1A的虚拟视觉空间20部分对应的真实对象11的真实空间10的示例。在该示例中，真实空间10中的每个真实对象11在虚拟视觉空间20中具有对应的虚拟对象21，然而，虚拟视觉空间20中的每个虚拟对象21在真实空间10中未必具有对应的真实对象11。在该示例中，虚拟对象21之一，即，计算机生成的视觉元素28是在真实空间10中不具有对应的真实对象11的人造虚拟对象21。
线性映射可以存在于真实空间10与虚拟视觉空间20之间，并且相同的映射存在于真实空间10中的每个真实对象11与其对应的虚拟对象21之间。真实空间10中的真实对象11的相对关系因此与虚拟视觉空间20中的对应虚拟对象21之间的相对关系相同。
图3B图示了真实视觉场景12的示例，其部分地对应于图1A的虚拟视觉场景22，它包括真实对象11但是不包括人造虚拟对象。该真实视觉场景来自的是对应于图1A的虚拟视觉空间20中的视点24的角度。真实视觉场景内容由虚拟空间20中的对应视点24和视野26(真实空间10中的视点14)确定。
图2A可以是图3B所图示的真实视觉场景12的增强现实版本的图示。虚拟视觉场景22包括由装置向用户显示的一个或多个视觉元素28补充的真实空间10的真实视觉场景12。视觉元素28可以是计算机生成的视觉元素。在透视布置中，虚拟视觉场景22包括实际的真实视觉场景12，其通过(多个)补充视觉元素28的显示而看到。在观看视频布置中，虚拟视觉场景22包括显示的真实视觉场景12和显示的(多个)补充视觉元素28。显示的真实视觉场景12可以基于来自单个视点24的图像或基于同时来自不同视点的多个图像，被处理以生成来自单个视点24的图像。
在增强现实中，虚拟内容28是一个或多个虚拟对象21。虚拟场景22包括真实场景12，该真实场景12取决于用户18的视点24而被虚拟内容增强或不被虚拟内容增强。
在虚拟现实中，虚拟内容28是整个虚拟场景及其内的所有虚拟对象21。虚拟场景22仅包括取决于用户18的视点24而确定的虚拟内容28。
图4从顶部视角图示了对应于虚拟视觉空间20的声音空间90的示例。图4是三维声音空间90的二维投影或横截面。声音空间90定义了声音场景92。
在一些但不一定是所有示例中，虚拟视觉空间20和声音空间90可以是对应的并且形成组合的虚拟空间90,20。当关于声音空间和虚拟视觉空间使用时，“对应性”或“对应”是指声音空间90和虚拟视觉空间20与组合的虚拟空间90,20是时间和空间对齐的，即，它们是相同时间的相同空间。
虚拟视觉空间20与声音空间90之间的对应性导致了虚拟视觉场景22与声音场景92之间的对应性，以形成组合的虚拟场景92,22。当关于声音场景92和虚拟视觉场景22使用时，“对应性”或“对应”表示声音空间90和虚拟视觉空间20是对应的，并且其视点定义了声音场景92的概念(虚拟)听众和其视点定义了虚拟视觉场景22的概念(虚拟)观众位于相同的位置和定向，即，它们具有相同的视点24。
在图4中，声音空间90和虚拟视觉空间20形成组合的虚拟空间90、20。声音空间90是声源94在三维空间中的布置。在该示例中，声音空间90是所绘制的声音空间，并且声源94包括声音对象110。
声音空间90定义了与虚拟视觉场景22相对应的声音场景92。声音场景92和虚拟视觉场景22形成组合的虚拟场景92、22。声音场景92是从声音空间90内的虚拟听众(用户)16的特定视点24收听的声音空间90的表示。声音场景92是第一人称视角介导的。用户的真实视点14确定了改变声音场景92的、声音空间内的视点24。
在该示例中，声音空间90内的视点24对应于虚拟视觉空间20内的视点24，并且使用相同的标签。虚拟场景92,22是第一人称视角介导的。用户的真实视点14确定改变组合的虚拟场景92、22的、虚拟用户16在组合的虚拟空间90,20内的视点24。
在这种意义上的对应性意味着在声音空间90与虚拟视觉空间20之间存在一对一映射，使得声音空间90中的位置在虚拟视觉空间20中具有对应的位置，以及虚拟视觉空间20中的位置在声音空间90中具有对应的位置。在这种意义上的对应性意味着在声音场景92与虚拟视觉场景22之间存在一对一映射，使得声音场景92中的位置在虚拟视觉场景22中具有对应的位置，以及虚拟视觉场景22中的位置在声音场景92中具有对应的位置。对应性还意味着声音空间90/声音场景92的坐标系和虚拟视觉空间20/虚拟视觉场景22的坐标系对齐，使得从虚拟用户16的角度来看，的对象在声音场景中被定位为声音对象，并且在视觉场景中被定位为相同的公共位置处的虚拟对象。
在该图示的示例中，用户动作确定同时改变声音场景92和虚拟视觉场景22的、声音空间90(和虚拟视觉空间20)内的视点24。例如，可以改变虚拟空间92,20内的视角24的位置23和/或可以改变虚拟空间92,20内的视点24的方向或定向25。如果虚拟空间92,20是三维的，则视点24的位置23具有三个自由度，例如，向上/向下、向前/向后、向左/向右，并且虚拟视觉空间20内的视点24的方向25具有三个自由度，例如，滚转、俯仰、偏航。视点24可以在位置23和/或方向25上连续变化，然后用户动作连续地改变视点24的位置和/或方向。备选地，视点24可以具有离散的量化位置23和/或离散的量化方向25，并且用户动作通过在视点24的允许位置23和/或方向25之间离散地跳跃来进行切换。
取决于虚拟视觉空间20而实现对虚拟视觉空间20和虚拟视觉场景26的控制的功能性，以及取决于声音空间90而实现对声音空间和声音场景92的控制的功能性，可以由相同的装置、系统、方法或计算机程序提供。
声音和视觉
图5图示了可操作以实现介导现实和/或增强现实和/或虚拟现实的装置30的示例。
装置30包括一个或多个绘制设备32，其可以经由显示器视觉地，经由一个或多个音频输出32听觉地(例如，经由扬声器)和/或经由触觉设备触觉地向用户绘制信息。
音频输出设备32可以包括一个或多个空间分布的音频源。例如，双耳扬声器可以在头戴式音频(HMA)设备中分离，扬声器可以在条形音箱或分布式扬声器布置中在空间上分离，例如，5.1或7.1环绕声。
显示器32用于以用户视觉感知的形式向用户提供虚拟视觉场景22的至少一部分。显示器32可以是提供向用户显示虚拟视觉场景22的至少一部分的光的视觉显示器。视觉显示器的示例包括液晶显示器、有机发光显示器、发射、反射、透射和透反射式显示器、直接视网膜投影显示器、近眼显示器等。显示器可以是头戴式显示器(HMD)、手持式显示器或电视显示器或一些其他显示器。
在该示例但不一定是所有示例中，一个或多个绘制设备32由控制器42控制。
控制器42的实现可以作为控制器电路系统。控制器42可以单独地以硬件来实现，可以在单独地包括固件的软件中具有某些方面，或者可以是硬件和软件(包括固件)的组合。
如图5所图示的，控制器42可以包括处理器40，该处理器40被配置为从存储器46加载计算机程序指令48。控制器42可以使用使能硬件功能性的指令来实现，例如，通过在通用或专用处理器40中使用可执行的计算机程序指令48来实现，可以将其存储在计算机可读存储介质(磁盘、存储器等)上以由这种处理器40执行。
处理器40被配置为从存储器46读取和写入存储器46。处理器40还可以包括：输出接口，处理器40经由该输出接口输出数据和/或命令；以及输入接口，经由该输入接口将数据和/或命令输入到处理器40。
存储器46至少存储计算机程序48，该计算机程序48包括计算机程序指令(计算机程序代码)，该计算机程序指令在被加载到处理器40中时控制装置30的操作。计算机程序48的计算机程序指令提供逻辑和例程，其使得该装置能够至少执行图6A和图6B所图示的方法。通过读取存储器46，处理器40能够加载并执行计算机程序48。
装置30可以实现用于介导现实和/或增强现实和/或虚拟现实的用户交互介导。输入电路系统44使用用户输入43检测用户动作。控制器42使用这些用户动作来确定在虚拟空间内什么发生。这可以支持与虚拟视觉空间20内的视觉元素28交互。
装置30可以实现用于介导现实和/或增强现实和/或虚拟现实的视角介导。输入电路系统44检测用户动作。控制器42使用这些用户动作来确定改变虚拟场景的、虚拟空间内的视点24。视点24可以在位置和/或方向上连续变化，并且用户动作改变了视点24的位置和/或方向。备选地，视点24可以具有离散的量化位置和/或离散的量化方向，并且用户动作通过跳到视点24的下一位置和/或方向来切换。
装置30可以实现第一人称视角的介导现实、增强现实或虚拟现实。输入电路系统44使用视点传感器45检测用户的真实视点14。控制器42使用用户的真实视点来确定虚拟空间内的视点24，从而改变虚拟场景。参照回图3A，用户18具有真实视点14。真实视点可以由用户18改变。例如，真实视点14的真实位置13是用户18的位置，并且可以通过改变用户18的物理位置13来改变。例如，真实视点14的真实方向15是用户18正在观看的方向，并且可以通过改变用户18的真实方向来改变。例如，可以通过用户18改变他们的头部或视点的定向和/或用户改变他们的注视方向来改变真实方向15。
头戴式装置30可以被用于通过测量位置的变化和/或用户头部的定向的变化和/或用户的注视方向的变化来实现第一人称视角介导。例如，头戴式装置30可以作为头戴式音频(HMA)设备、头戴式显示(HMD)设备或组合的头戴式显示和音频(HMDA)设备操作，
在一些但不一定是所有的示例中，装置30包括视点传感器45作为输入电路系统44的一部分，以用于确定真实视点的变化。
例如，诸如GPS、HAIP(高精度室内定位)、通过向多个接收器传输和/或从多个发射器接收的三角测量(三边测量)、加速度检测和集成等定位技术可以被用于确定用户18的新物理位置13和真实视点14。
例如，加速度计、电子陀螺仪或电子罗盘可以被用于确定用户的头部或视点的定向的变化以及真实视点14的真实方向15的间接变化。
例如，基于例如计算机视觉的瞳孔追踪技术可以被用于跟踪用户的一只或两只眼睛的移动，并因此确定用户的注视方向以及真实视点14的真实方向15的间接变化。
装置30可以包括用于对真实空间10成像的图像传感器47作为输入电路系统44的一部分。
图像传感器47的示例是被配置为作为相机操作的数字图像传感器。这种相机可以被操作为记录静态图像和/或视频图像。在一些但不一定所有的实施例中，可以以立体或其他空间分布的布置来配置相机，使得从不同的角度观看真实空间10。这可以支持例如经由视差效应来创建三维图像和/或进行处理以建立深度。
在一些但不一定所有的实施例中，输入电路系统44包括深度传感器49。深度传感器49可以包括发射器和接收器。发射器传输信号(例如，人类无法感测的信号，诸如，超声波或红外光)，而接收器接收反射的信号。使用单个发射器和单个接收器，可以经由测量从传输到接收的飞行时间来获得一些深度信息。通过使用更多的发射器和/或更多的接收器(空间分集)可以实现更好的分辨率。在一个示例中，发射器被配置为以结构化的光，优选地以诸如红外光等不可见光，以空间相关的图案来“涂画”真实空间10。接收器对特定图案的检测允许对真实空间10进行空间分辨。到真实空间10的空间分辨部分的距离可以通过飞行时间和/或立体视觉而被确定(如果接收器相对于发射器处于立体位置)。
在一些但不一定所有的实施例中，作为图像传感器47和深度传感器49中的一个或多个的补充或备选，输入电路系统44可以包括通信电路系统41。这种通信电路系统41可以与真实空间10中的一个或多个远程图像传感器47和/或真实空间10中的远程深度传感器49通信。
装置30可以例如使用图6A所图示的方法60或类似方法来实现介导现实和/或增强现实和/或虚拟现实。控制器42存储并维护虚拟空间20的模型50和物理空间与虚拟空间之间的映射。
该模型可以被提供给控制器42或由控制器42确定。例如，输入电路系统44中的传感器可以可选地被用于从不同的视点创建真实空间的重叠深度图，添加虚拟内容以产生并改变模型。
通过映射30，物理空间10中的每个真实位置13在虚拟空间20中具有对应的虚拟位置23，反之亦然。通过映射30，物理空间10中的每个真实定向15在虚拟空间20中具有对应的虚拟定向25，反之亦然。
存在许多不同的技术可以被用于创建深度图。KinectTM设备中使用的无源系统的示例是，使用红外光以非均质符号图案来涂画对象，并且使用多个相机测量反射光，然后使用视差效果对其进行处理以确定对象的位置。
在框62中，确定虚拟空间20的模型是否已经改变。如果虚拟视觉空间20的模型已经改变，则该方法移动到框66。如果虚拟视觉空间20的模型没有改变，则该方法移动到框64。
在框64中，确定虚拟视觉空间20中的视点24是否已经改变。如果视点24已经改变，则该方法移动到框66。如果视点24没有改变，则该方法返回到框62。
在框66中，从位置23沿着当前视点24所定义的方向25获取三维虚拟视觉空间20的二维投影。该投影受到视野26的限制以产生虚拟视觉场景22。投影还可以定义声音场景。然后该方法返回到框62。
图6B图示了用于更新虚拟视觉空间20的模型以用于增强现实的方法70的示例。在装置30支持增强现实的情况下，虚拟视觉空间20包括来自真实空间10的对象11以及不存在于真实空间10中的视觉元素28。这种视觉元素28的组合可以被称为人造虚拟视觉空间。
在框72中，确定真实空间10是否已经改变。如果真实空间10已经改变，则该方法移动到框76。如果真实空间10没有改变，则该方法移动到框74。检测真实空间10的变化可以在像素级别使用差分实现，并且可以在对象级别使用计算机视觉实现，以在对象移动时追踪对象。
在框74中，确定人造虚拟视觉空间是否已经被改变。如果人造虚拟视觉空间已经被改变，则该方法移动到框76。如果人造虚拟视觉空间没有改变，则该方法返回到框72。由于控制器42生成了人造虚拟视觉空间，因此很容易检测到对视觉元素28的改变。
在框76中，更新虚拟视觉空间20的模型。
图6A和图6B所图示的框可以表示方法中的步骤和/或计算机程序48中的代码部分。对框的特定顺序的图示并不一定意味着该框具有所需或优选的顺序，并且可以改变框的顺序和布置。此外，有可能省略一些框。
视觉绘制
图7A和图7B图示了支持向用户显示虚拟视觉场景22的至少一部分并且向用户绘制音频的装置30的示例。
图7A图示了手持装置31，其包括作为显示器32的显示屏，该显示屏向用户显示图像并且用于向用户显示虚拟视觉场景22。装置30可以在用户的手中有意地以前面提到的六个自由度中的一个或多个移动。手持装置31可以容纳传感器45，以用于从装置30的定向变化来确定真实视点的变化。手持装置31可以容纳传感器45，以从用户控制设备(诸如，例如，按钮、虚拟按钮、滑块、操纵杆等的致动)的变化来确定真实视点的变化。手持装置31可以是或可以作为用于增强现实的观看视频布置来操作，其使真实视觉场景12的实时或录制视频能被显示在显示器32上以用于用户观看，而一个或多个视觉元素28同时被显示在显示器32上以用于用户观看。显示的真实视觉场景12和显示的一个或多个视觉元素28的组合向用户提供了虚拟视觉场景22。
如果手持装置31具有被安装在与显示器32相对的面上的相机，则其可以作为观看视频布置来操作，该观看视频布置支持在向用户显示一个或多个视觉元素28的同时观看实时的真实视觉场景12，以组合地提供虚拟视觉场景22。
图7B图示了包括显示器32和/或向用户绘制内容的音频输出32的头戴式装置33。当用户的头部移动时，头戴式装置33可以自动移动。
包括显示器32的头戴式装置33可以被称为头戴式显示(HMD)设备。
包括音频输出32(例如，扬声器)的头戴式装置33可以被称为头戴式音频(HMA)设备。
头戴式装置33可以容纳用于视点检测的传感器44(未图示)，该传感器44检测装置33的位置和定向或装置33的定向。
头戴式装置33可以容纳用于注视方向检测和/或选择手势检测的传感器45(未图示)。
头戴式装置33可以是用于增强现实的透视HMD布置，该透视HMD布置支持在显示器32向用户显示一个或多个视觉元素28的同时观看实时的真实视觉场景12，以组合地提供虚拟视觉场景22。在这种情况下，遮阳板34(如果存在的话)是透明的或半透明的，使得可以通过遮阳板34观看实时的真实视觉场景12。
头戴式装置33可以作为用于增强现实的观看视频布置来操作，其使真实视觉场景12的实时或录制视频能由显示器32显示以用于用户观看，同时一个或多个视觉元素28由显示器32同时显示以供用户观看。显示的真实视觉场景12和显示的一个或多个视觉元素28的组合向用户提供了虚拟视觉场景22。在这种情况下，遮阳板34是不透明的并且可以用作显示器32。
参照回图5，装置30可以实现用于介导现实和/或增强现实和/或虚拟现实的用户交互介导。输入电路系统44使用用户输入43检测用户动作。控制器42使用这些用户动作来确定虚拟视觉空间20内什么发生。这可以实现与虚拟视觉空间20内的视觉元素28的交互。
例如，检测到的用户动作可以是在真实空间10中执行的手势。可以以多种方式来检测手势。例如，深度传感器49可以用于检测用户18的部分移动和/或图像传感器47可以被用于检测用户18的部分移动和/或附接至用户18的四肢的位置/移动传感器可以用于检测四肢的移动。
对象追踪可以被用于确定对象或用户何时改变或移动。例如，在较大的宏观尺度上跟踪对象允许创建与对象一起移动的参照系。然后，通过使用关于对象的时间差异，该参考系可以用于追踪对象形状随时间演变的变化。这可以用于检测小规模的人体运动，诸如，手势、手部移动、手指移动、面部移动。这些是与场景无关的用户(仅)相对于用户的移动。
装置30可以跟踪与用户的身体有关的多个对象和/或点，例如，用户的身体的一个或多个关节。在一些示例中，装置30可以执行用户身体的全身骨骼追踪。在一些示例中，装置30可以执行对用户手部的手指追踪。
装置30可以在动作识别中使用关于用户身体的一个或多个对象和/或点的跟踪。
参照图8A，真实空间10中的特定动作80是由控制器42用作“用户控制”事件以确定虚拟视觉空间20内什么发生的动作用户输入。动作用户输入是动作80，其作为用户输入对装置30具有意义。
参照图8B，图示了在一些但不一定所有的示例中，装置30在虚拟视觉场景22中绘制了真实空间中的动作80的对应表示。该表示涉及一个或多个视觉元素28移动82到在虚拟视觉场景22中复制或指示动作80。
动作80可以是静态的或移动的。移动动作可以包括移动或包括一系列移动的移动模式。例如，它可能正在做圆周运动或左右运动或上下运动或在空间中跟踪标志。移动动作可以例如是与装置无关的动作或与装置有关的动作。移动动作可以涉及用户输入对象(例如，一个或多个用户身体部位或另一装置)相对于传感器的移动。身体部位可以包括用户的手部或用户手部的一部分，诸如，一个或多个手指和拇指。在其他示例中，用户输入对象可以包括用户身体的不同部位，诸如，他们的头部或手臂。三维移动可以包括用户输入对象以六个自由度中的任何一个运动。该运动可以包括用户输入对象朝向或远离传感器移动以及在平行于传感器的平面中移动或这种运动的任何组合。
动作80可以是非接触动作。在动作期间，非接触动作在任何时间都不会接触传感器。
动作80可以是根据与传感器的绝对位移而定义的绝对动作。这种动作可能受束缚，因为它是在真实空间10中的精确位置处被执行的。备选地，动作80可以是根据动作期间的相对位移定义的相对动作。这种动作可以不受束缚，因为它不必在真实空间10中的精确位置处执行，而可以在大量任意位置处执行。
动作80可以被定义为被跟踪点相对于原点的位移随着时间的演变。例如，可以使用诸如位移、速度等时变参数或使用其他运动学参数根据运动来定义它。不受束缚的动作可以被定义为相对位移Δd随着相对时间Δt的演变。
动作80可以在一个空间维度(1D动作)、两个空间维度(2D动作)或三个空间维度(3D动作)中被执行。
动作80可以是手势。
记录/修改声音对象
图9图示了系统100的示例以及方法200的示例，该方法200用于控制声音空间90内的任意位置23(原点)和定向25处的概念(虚拟)听众16的声音空间90在与听众16的特定位置和/或定向处的绘制。
声音空间90是声源94在三维空间中的布置。可以关于记录声音(记录的声音空间)或者关于绘制声音(呈现的声音空间)定义声音空间90。
声音空间90可以可选地包括一个或多个便携式声音对象110和/或可以可选地包括一个或多个静态声音对象120。
声音对象距原点的相对位置可以由矢量z表示。因此，矢量z相对于概念(虚拟)听众16定位声音对象110。
概念听众16在原点处的相对定向25可以由值Δ表示。定向值Δ定义了概念听众的“视点”，视点定义了声音场景。声音场景是从声音空间90内的特定视点24收听的声音空间的表示。
表示静态声音对象120的音频信号122(如有必要的话)由音频编码器130编码为多通道音频信号132。如果存在多个静态声音对象，则每个音频信号122都将由音频编码器分别编码为多通道音频信号。
音频编码器130可以是空间音频编码器，使得多通道音频信号132表示声音空间并且可以被绘制以给出空间音频效果。例如，音频编码器130可以被配置为根据定义的标准(诸如，例如，双耳编码、5.1环绕声编码、7.1环绕声编码等)产生多通道音频信号132，或者将编码从一种格式改变为另一格式。
混合器102将多通道音频信号132与表示一个或多个便携式声音对象110的多通道音频信号142混合，以产生多声对象多通道音频信号103，其表示相对于原点的声音场景并且其可以由与音频编码器130相对应的音频解码器绘制，以在听众在原点处时将与声音场景相对应的声音场景再现给听众。
在混合以考虑便携式声音对象相对于原点的任何移动之前，针对便携式声音对象110的多通道音频信号142被处理或各自被处理。
定位块140处理音频信号112，以调整便携式声音对象110相对于原点的移动。定位块140将矢量z或取决于矢量z的一个或多个一些参数作为输入。矢量z表示便携式声音对象110相对于原点的相对位置。
定位块140可以被配置为针对音频信号112与音频信号122之间的任何时间未对准进行调整，使得它们共享公共的时间参照系。例如，这可以通过将存在于音频信号112内的自然出现的或人工引入的(不可听见的)音频信号与音频信号122内的音频信号相关联来实现。由相关性标识的任何定时偏移可以被用于在定位块140处理之前延迟/提前音频信号112。
定位块140考虑到该便携式声音对象相对于原点的相对定向(Arg(z))来处理音频信号112。
用以产生多通道音频信号132的音频信号122的音频编码假定所绘制的信号空间相对于记录的声音空间的定向的特定定向，并且音频信号122被相应地编码为多通道音频信号132。
确定便携式声音对象110在声音空间中的相对定向Arg(z)，并且将表示声音对象的音频信号112编码到由音频编码130定义的多通道，使得在所绘制的声音空间内声音对象被正确地定位在距听众的相对定向Arg(z)处。例如，音频信号112首先可以被混合或编码成多通道信号142，然后可以使用变换T在那些多通道通过Arg(z)定义的空间内旋转表示移动声音对象的多通道音频信号142。
如果必要的话，定向块150可以被用于将多通道音频信号142旋转Δ。同样地，如果必要的话，定向块150可以被用于将多通道音频信号132旋转Δ。
定向块150的功能性与定位块140的定向功能的功能性非常类似，除了它旋转Δ而不是旋转Arg(z)。
在一些情况下，例如，当通过头戴式音频输出设备30(例如，使用双耳音频编码的耳机)将声音场景绘制给听众时，当听众在空间中转头时，可能需要将绘制的声音空间90的一部分保持固定在真实空间10中。这意味着绘制的声音空间90需要相对于音频输出设备30以与头部旋转相反的方向旋转相同的量。绘制的声音空间90的一部分的定向随着听众头部的旋转进行跟踪，使得绘制的声音空间90的定向在空间中保持固定，并且不会随着听众头部移动。
便携式声音对象信号112被另外处理以控制在绘制的声音场景中的声音对象与听众的距离D的感知，例如，以匹配声音对象与记录的声音空间中的原点的距离|z|。当使用双耳编码时，这可能很有用，例如，使得声音对象从用户外部出现，并且看起来在用户的耳朵之间一定距离而不是在用户的头部内。距离块160处理多通道音频信号142以修改距离的感知。
图10图示了模块170，其可以被用于例如执行图9中的定位块140、定向块150和距离块160的方法200和/或功能。模块170可以使用电路系统和/或编程处理器来实现。
该图图示了在将多通道音频信号142与多通道音频信号132混合以形成多声音对象多通道音频信号103之前对单通道的处理。多通道信号142的单个输入通道作为信号187输入。
在混合器196将来自路径的输出作为多通道信号混合在一起之前，输入信号187并行通过“直接”路径和一个或多个“间接”路径，以产生输出多通道信号197。针对输入通道中的每个输入通道，将输出多通道信号197混合以形成与多通道音频信号132混合的多通道音频信号142。
直接路径表示对听众似乎已经直接从音频源接收到的音频信号，并且间接路径表示对听众似乎已经经由间接路径(诸如，多路径或反射路径或折射路径)从音频源接收到的音频信号。
距离块160通过修改直接路径与间接路径之间的相对增益来改变在绘制的声音空间90中的声音对象距听众的距离D的感知。
平行路径中的每个平行路径包括由距离块160控制的可变增益设备181、191。
距离的感知可以通过控制直接路径与间接(不相关的)路径之间的相对增益来控制。相对于直接路径增益，增加间接路径增益会增加距离的感知。
在直接路径中，输入信号187在距离块160的控制下由可变增益设备181放大，以产生经增益调整的信号183。经增益调整的信号183由直接处理模块182处理，以产生直接的多通道音频信号185。
在间接路径中，输入信号187在距离块160的控制下由可变增益设备191放大，以产生经增益调整的信号193。经增益调整的信号193由间接处理模块192处理，以产生间接的多通道音频信号195。
在混合器196中将直接多通道音频信号185和一个或多个间接多通道音频信号195混合在一起，以产生输出多通道音频信号197。
直接处理块182和间接处理块192都接收到达方向信号188。到达方向信号188给出便携式声音对象11O(移动声音对象)在记录的声音空间中的定向Arg(z)，并且给出绘制的声音空间90相对于概念听众/音频输出设备300的定向Δ。
随着便携式对象11O在记录的声音空间中移动，移动声音对象的位置改变，并且随着呈现声音空间的头戴式音频输出设备旋转，呈现的声音空间的定向也改变。
直接处理块182可以例如包括系统184，该系统184在适当的多通道空间中旋转单通道音频信号、经增益调整的输入信号183，产生直接多通道音频信号185。该系统使用传递函数来执行变换T，该变换T将针对那些多通道定义的空间内的多通道信号旋转Arg(z)和Δ，其由到达信号188的方向来定义。例如，头部相关的传递函数(HRTF)插值器可以被用于双耳音频。作为另一示例，矢量基振幅平移(VBAP)可以被用于扬声器格式(例如，5.1)的音频。
间接处理块192可以例如使用可变增益设备194来使用到达方向信号188控制单通道音频信号的增益、经增益调整的输入信号193。然后，使用静态去相关器196和静态变换T处理放大的信号以产生间接多通道音频信号195。在该示例中，静态去相关器使用至少2ms的预延迟。变换T以类似于直接系统但固定量的方式在针对那些多通道定义的空间内旋转多通道信号。例如，静态头部相关传递函数(HRTF)插值器可以被用于双耳音频。
因此，要了解的是，模块170可以被用于处理便携式声音对象信号112并且执行以下功能：
(i)从绘制的声音空间中的听众改变绘制的声音对象的相对位置(定向Arg(z)和/或|z|)，以及
(ii)改变绘制的声音空间(包括根据(i)定位的呈现的声音对象)的定向。
还应该了解的是，当处理音频信号122时，模块170也可以仅被用于执行定向块150的功能。然而，到达方向信号将仅包括Δ并且将不包括Arg(z)。在一些但不一定是所有的示例中，可以将修改对间接路径的增益的可变增益设备191的增益设为零，并且可以固定针对直接路径的可变增益设备181的增益。在这种情况下，模块170简化为根据到达方向信号旋转记录的声音空间以产生绘制的声音空间的系统，该到达方向信号仅包括Δ并且不包括Arg(z)。
模式
上面已经将声源94(例如，声音对象11O)的定位描述为取决于矢量z，该矢量z表示虚拟声音对象110相对于虚拟听众16的相对位置。
在下文中，出于声音对象定位的目的，将使用矢量zs(t)来代替。
如先前描述的，虚拟听众16的虚拟定向25的变化是经由Δ来控制的。如果虚拟定向具有单位矢量Δ，那么Δ为Arg[o(t)]。
如图13所图示的，矢量z(t)将被用于表示虚拟声音对象11O相对于虚拟听众16的当前相对位置。在一些模式下，但非所有操作模式下，zs(t)可以等于z(t)，然而在其他操作模式下它们是不相等的。
虚拟声音对象11O的当前位置由矢量rs(t)定义。虚拟听众16的当前位置由矢量ru(t)定义。虚拟声音对象11O相对于虚拟听众16的当前相对位置是：z(t)＝rs(t)-ru(t)。
“当前的”是指最近的并且最接近当前时间。它是最接近实时的，也是最同时的。
存在一种映射，该映射将由矢量Ru(t)定义的真实空间1O中的用户18的当前位置13映射到由矢量ru(t)定义的虚拟空间90中的虚拟听众16的当前位置23，并且将由真实空间1O中的矢量O(t)定义的用户18的当前定向15映射到由虚拟空间90中的矢量o(t)定义的虚拟听众16的当前定向25。
在第一操作模式下，虚拟声音对象11O相对于虚拟听众16的相对位置zs(t)与虚拟声音对象11O在虚拟空间90中距概念听众16的当前确定的相对位置z(t)具有第一相关性，概念听众16的当前确定的相对位置z(t)是基于真实空间1O中的用户18的当前测量位置Ru(t)，。
在第二操作模式下，与第一操作模式不同，虚拟声音对象11O相对于虚拟听众16的相对位置zs(t)与虚拟声音对象11O在虚拟空间90中距概念听众16的当前确定的相对位置z(t)具有第二相关性，概念听众16的当前确定的相对位置z(t)是基于真实空间1O中的用户18的当前测量位置Ru(t)。
第一相关性比第二相关性更高。
关于变量的更高相关性(或更大)意味着关于该变量的差分幅度更多或更大。
因此
与第二模式相比，针对第一模式的|d zs(t)/d z(t)|更大。
与第二模式相比，针对第一模式的|d zs(t)/d Ru(t)|更大。
图11图示了用于控制第一人称视角的介导现实的操作模式的方法500的示例。
方法500包括：在框502中，启用第一模式，该第一模式用于取决于概念听众16的视点24来控制虚拟声音对象11O在虚拟空间90中距概念听众16的相对位置zs(t)。概念听众16的视点14随着用户18的视点14而变化。用户18的视点14取决于用户18的定向15，例如，O(t)，并且可以另外取决于用户18的位置13，例如，Ru(t)。
在第一模式期间，虚拟声音对象11O距概念听众16的相对位置zs(t)与虚拟声音对象11O在虚拟空间90中距概念听众16的当前确定的相对位置z(t)存在更高的相关性，概念听众16的当前确定的相对位置z(t)是基于真实空间1O中的用户18的当前测量位置Ru(t)。
然后该方法包括：在框504，从第一模式自动切换到第二模式。
方法500然后包括：在框502，自动启用第二模式，该第二模式用于取决于概念听众16的视点24来控制虚拟声音对象11O与概念听众16在虚拟空间90中的相对位置。概念听众16的视点24可以随着用户18的视点14而变化。用户18的视点14取决于用户18的定向15，例如，O(t)，并且可以另外取决于用户18的位置13，例如，Ru(t)。
在第二模式期间，虚拟声音对象11O距概念听众16的相对位置zs(t)与虚拟声音对象11O在虚拟空间90中距概念听众16的当前确定的相对位置z(t)存在更低的相关性，概念听众16的当前确定的相对位置z(t)是基于真实空间1O中的用户18的当前测量位置Ru(t)。
然后方法500包括：在框508，从第二模式自动切换到第一模式。
除了控制zs(t)与真实空间10中的用户18的当前测量位置Ru(t)的相关性之外，还可能需要控制Arg[zs(t)]-Arg[o(t)]}。这可以通过控制Arg[zs(t)]和/或控制Arg[zs(t)]+Δ来实现。
在第二模式期间，基于真实空间10中的用户18的当前测量位置Ru(t)和真实空间10中的用户18的当前测量定向O(t)，虚拟声音对象110与概念听众16的适配的相对位置同虚拟声音对象110与概念听众16在虚拟空间90中的当前确定的相对位置z(t)可能存在更低的相关性(与第一模式相比)。用户18在真实空间1O中的视点14由用户18的定向定义以及可选地由用户18的位置13(即，由对句Ru(t)、O(t))定义。
图12图示了状态图的示例，其中第一状态521表示第一模式，并且第二状态522表示第二模式。转换512引起从状态521(第一模式)到状态522(第二模式)的状态转换。转换521引起从状态522(第二模式)到状态521(第一模式模式)的状态转换。
第一状态521对应于图11的框502。第二状态522对应于图11的框506。转换512对应于图11的框504。转换521对应于图11的框508。
在一些但不一定是所有的示例中，从第一模式到第二模式的转换512具有以下条件作为必要和充分条件或作为必要条件：虚拟声音对象11O距概念听众16在虚拟空间中的距离|zs(t)|减小到阈值以下，例如，O.3m。
在一些但不一定是所有的示例中，从第一模式到第二模式的转换512具有以下条件作为必要和充分条件或作为必要条件：虚拟声音对象11O距概念听众16在虚拟空间中的距离|zs(t)|减小到阈值以下，并且满足一些或多个其他标准。
例如，附加标准的一个示例是一个或多个标准被满足多长时间。因此，从第一模式到第二模式的转换512可以具有以下条件作为必要和充分条件或作为必要条件：虚拟声音对象11O与虚拟空间中的概念听众16的距离|zs(t)|在预定的阈值时间内减小到阈值以下。
例如，附加标准的一个示例使用虚拟声音对象11O与虚拟空间中的虚拟听众16的位移参数(例如，距离|zs(t)|和/或定向Arg(zs(t)))的变化率。因此，当虚拟声音对象11O与虚拟空间中的概念听众16的距离|zs(t)|减小到阈值以下并且虚拟声音对象11O与虚拟空间中的概念听众16的位移参数(例如，距离|zs(t)|和/或定向Arg(zs(t)))的变化率超过阈值时，可以发生从第一模式到第二模式的转换512。因此，从第一模式到第二模式的转换512可以要求虚拟声音对象11O与虚拟空间中的虚拟听众16的距离|zs(t)|的变化率减小到阈值以下和/或从第一模式到第二模式的转换512可以要求虚拟声音对象11O与虚拟空间中的虚拟听众16的定向Arg(zs(t))的变化率增大到阈值以上。
在一些但不一定是所有的示例中，从第一模式到第二模式的转换512具有以下条件作为必要和充分条件或作为必要条件：虚拟声音对象11O距概念听众16在虚拟空间中的位移参数(例如，距离|zs(t)|和/或定向Arg(zs(t)))的时间变化满足标准，例如，概念听众与声音对象11O之间的闭合速度11O|d zs(t)/dt|大于或小于阈值或者概念听众与声音对象110之间的定向变化率|d/dt{Arg[zs(t)]-Arg[o(t)]}|或|d/dt{Arg[zs(t)]}|大于阈值。
在一些但不一定是所有的示例中，从第一模式到第二模式的转换512具有以下条件作为必要和充分条件或者作为必要条件：针对正确测量真实空间10中的用户18的当前测量位置Ru(t)的不确定性的值超过阈值。在一些示例中，阈值可以基于虚拟声音对象11O距概念听众16的距离|zs(t)|。
在一些但不一定是所有的示例中，从第二模式到第一模式的转换521具有以下条件作为必要和充分条件或作为必要条件：虚拟声音对象11O距虚拟空间中的概念听众16的距离|zs(t)|增大到阈值以上，例如，O.3m。
在一些但不一定是所有的示例中，从第二模式到第一模式的转换521具有以下条件作为必要和充分条件或作为必要条件：虚拟声音对象11O距概念听众16在虚拟空间中的距离|zs(t)|增大到阈值以上，并且满足一些或多个其他附加标准。例如，附加标准的一个示例是一个或多个标准被满足多长时间。因此，当虚拟声音对象11O距虚拟空间中的概念听众16的距离|zs(t)|在预定的阈值时间内增大到阈值以上时，可以发生从第二模式到第一模式的转换521。
例如，附加标准的一个示例使用虚拟声音对象11O距虚拟听众16在虚拟空间中的位移参数(例如，距离|zs(t)|和/或定向Arg(zs(t)))的变化率。因此，当虚拟声音对象11O与概念听众16在虚拟空间中的距离|zs(t)|增大到阈值以上并且虚拟声音对象11O与虚拟空间中的概念听众16的位移参数(例如，距离|zs(t)|和/或定向Arg(zs(t)))的变化率超过阈值时，可以发生从第二模式到第一模式的转换521。因此，从第二模式到第一模式的转换521可以要求虚拟声音对象11O与虚拟空间中的虚拟听众16的距离|zs(t)|的变化率增大到阈值以上和/或从第二模式到第一模式的转换521可以要求虚拟声音对象11O与虚拟空间中的虚拟听众16的定向变化率Arg(zs(t)))减小到阈值以下。
在一些但不一定是所有的示例中，从第二模式到第一模式的转换521具有以下条件作为必要和充分条件或作为必要条件：虚拟声音对象11O与虚拟空间中的概念听众16的位移参数(例如，距离|zs(t)|和/或定向Arg(zs(t)))的时间变化满足标准，例如，概念听众与声音对象11O之间的分离速度|d zs(t)/dt|小于或大于阈值或者概念听众与声音对象11O之间的定向变化率|d/dt{Arg[zs(t)]-Arg[o(t)]}|或|d/dt{Arg[zs(t)]}|小于阈值。
在一些但不一定是所有的示例中，从第二模式到第一模式的转换521具有以下条件作为必要和充分条件或者作为必要条件：针对正确测量真实空间1O中的用户18的当前测量位置Ru(t)的不确定性的值超过阈值，其可以基于虚拟声音对象110与概念听众16的距离|zs(t)|。
在一些但不一定是所有的示例中，条件C引起转换512，而条件非(C)引起转换521。因此，转换512、521的阈值可以是发生相同的一个转换以沿着第一方向超过阈值(例如，超过阈值)，并且发生另一转换以在与第一方向相反的第二方向上超过阈值(例如，不再超过阈值)。
图14A和图14B图示了在时间t1、t2、t3期间概念听众16移动经过声源94(例如，声音对象110)的示例。图14B的最接近方法min(|z(t)|)小于图14A。
图15A图示了Arg[z(t)]-Arg[o(t)]}|随着时间的变化。在该示例中，o(t)是常数，因此该图图示了Arg[z(t)]的变化。迹线A涉及图14A所图示的情况。迹线B涉及图14B所图示的情况。
图15B更详细地图示了图15A的一部分，其对应于概念听众16和声音对象110的最接近时间。迹线B的Arg(z(t))变化率大于迹线A。
如果在由用户18的定向15定义以及可选地由用户18的位置13定义的真实空间中，即，由对句(couplet)Ru(t)、O(t)定义的真实空间中，存在与用户18的测量视点14有关的一些不确定性，则迹线B的影响将大于迹线A。从第一模式切换到第二模式减轻了这种影响。
图16A和图16B类似于图14A和14B。图16A和图16B图示了在时间t1、t2、t3期间概念听众16移动经过声源94(例如，声音对象11O)的示例。图16B的最接近方法min(z(t))小于图16A。
如果关于用户18的测量位置13存在一些不确定性，则在概念听众16的位置23中将存在不确定性。该不确定性由针对概念听众的虚拟位置23的不确定性530和与概念听众16的视点24相关联的任何对应不确定性532的圆圈来图示。图16B的效果将大于图16A。
例如，声源94可以随机切换其从概念听众16的方位，随着距声源94的距离减小以及在声源附近花费的时间增加，效果会变得更加明显。例如，在O(t)或o(t)没有任何变化的情况下，由于与测量位置13有关的不确定性，声源94可以从概念听众16的右手侧切换到听众16的左手侧，然后再回到概念听众16的右手侧。从第一模式切换到第二模式减轻了这种影响。
图17A图示了Arg[z(t)]-Arg[o(t)]}|随着时间的变化。在该示例中，o(t)是常数，因此该图图示了Arg[z(t)]的变化。
从左向右移动，一直到点X，使用第一模式，在X与Y之间使用第二模式，并且在Y之后，再次使用第一模式。
虚线T图示了根据第一模式的声源94的相对定向Arg[z(t)与概念听众16之间的关系。Arg[z(t)在时间tx的X与时间tx的Y之间具有很大的变化。X与Y之间的平均梯度m为(Y-X)/(ty-tx)。
散列的区域图示了根据第二模式的，由声源94的相对定向Arg[z(t)与概念听众16之间的关系所占用的区域。
在第二模式期间，针对第二模式的全部或大部分，基于用户18在真实空间1O中的当前测量位置Ru(t)，虚拟声音对象11O与概念听众16的相对位置zs(t)同虚拟声音对象11O与概念听众16在虚拟空间90中的当前确定的相对位置z(t)存在更低的相关性。在该表达中，针对第二模式的全部或大部分，与第一模式相比，|zs(t)|exp(i{Arg[zs(t)]-Arg[o(t)]}，值Arg[zs(t)]-Arg(o(t)]具有较小的斜率，d/dt{Arg[zs(t)]-Arg[o(t)}。
d/dt{Arg[zs(t)]}＜m，假定Arg[o(t)]是常数。
在时间tx与时间ty之间控制概念听众16与声音对象11O之间的矢量变化率d/dt{Arg[zs(t)]}。
由于在X和Y处存在连续性，因此将存在不连续性，例如，在时间ta与tb之间，概念听众最接近声源94。
该不连续性可以随着时间而变得平滑，但是仍然表示在时间Δt＝tb-ta内Arg[zs(t)]-Arg[o(t)]的较大变化。由于Arg[o(t)]是常数：
Arg[zs(tb)]-Arg[zs(ta)]/Δt＞m
通常，(ty-tx)＞＞Δt
另外，在第一模式与第二模式之间进行切换时，虚拟声音对象11O与概念听众16的相对位置zs(t)的变化在时间上被平滑。相对位置zs(t)的变化率的变化率不超过阈值n，例如，d2/dt2{Arg[zs(t)]}＜n。
因此，在第二模式期间，除了由于虚拟空间90中的概念听众16的定向25的变化而产生的结果之外，防止虚拟声音对象11O与概念听众16的相对位置zs(t)在概念听众16的左手侧与右手侧之间切换。
在一些但不一定是所有的示例中，在第二模式期间，响应于真实空间1O中的用户18的当前测量位置z(t)的变化，虚拟声音对象11O与概念听众16的相对位置zs(t)的变化被衰减，但是仍然取决于虚拟空间90中的概念听众16的定向25的变化。例如，防止真实空间1O中的用户18的当前测量位置z(t)随着时间的变化率的大小超过阈值，例如，d/dt{Arg[zs(t)]}＜m，假定在tx与ta之间以及在tb与ty之间，Arg[o(t)]是常数。
在一些但不一定是所有的示例中，在第二模式期间，虚拟声音对象11O与概念听众16的视点14的相对位置zs(t)与真实空间1O中的用户18的当前测量位置z(t)无关，但是仍然取决于虚拟空间90中的概念听众16的定向25的变化。例如，如图17B所图示的，d/dt{Arg[zs(t)]}＝0，假定在tx与ta之间以及在tb与ty之间，Arg[o(t)]是常数。
例如，在第二模式期间，虚拟声音对象与概念听众的相对位置zs(t)被锁定到虚拟空间中的概念听众的定向，例如，在tx与ta之间以及在tb与ty之间，Arg[zs(t)]＝常数。
因此，在时间tx与时间ty之间控制概念听众16与声音对象11O之间的矢量变化率d/dt{Arg[zs(t)]}。因此，作为控制zs(t)的结果改变由|zs(t)|exp(i{Arg[zs(t)]-Arg[o(t)]}表示的距离，除非进行补偿，否则声音对象11O的音量会发生变化。在一些但不一定是所有的示例中，在第二模式期间，基于真实空间1O中的用户18的当前测量位置，控制声音对象11O的音量以取决于虚拟声音对象距虚拟空间中的概念听众的相对位置而继续变化。
图18图示了虚拟声音对象11O与虚拟空间90中的概念听众16的当前确定的相对位置zs(t)可以如何基于虚拟空间1O中的用户18的当前测量位置z(t)和用户的基于模型的位置。用户的基于模型的位置是使用卡尔曼滤波器600或另一基于历史的预测滤波器而生成的。
该模型可以例如是恒速度模型。在预测阶段602期间，来自先前迭代和模型的估计位置用于产生预测位置，而在随后的更新阶段604期间，预测位置和测量位置被用于产生针对该迭代的估计位置。然后该方法进行迭代。迭代速率可以例如小于20Hz，例如针对位置测量可以为4-10Hz。
在第一模式和/或第二模式下，在上述示例中可以使用所预测的位置而不是测量的位置。
可以基于测量的位置使用所预测的位置来代替位置z(t)，以确定是否在第一模式与第二模式之间进行切换。
通过前述内容，要了解的是，装置30可以包括：
至少一个处理器40；以及
包括计算机程序代码48的至少一个存储器46
至少一个存储器46和计算机程序代码48被配置为与至少一个处理器40一起使装置30至少执行：
在第一模式与第二模式之间进行切换，第一模式用于取决于概念听众16的视点24来控制虚拟声音对象110在虚拟空间90中距概念听众16的相对位置，第二模式用于取决于概念听众16的视点24来控制虚拟声音对象110在虚拟空间90中距概念听众16的相对位置，其中
在第一模式期间，虚拟声音对象110距概念听众16的相对位置与虚拟声音对象110在虚拟空间中距概念听众16的当前确定的相对位置存在更高的相关性，概念听众16的当前确定的相对位置是基于真实空间10中的用户18的当前测量位置13，以及
在第二模式期间，虚拟声音对象110距概念听众16的相对位置与虚拟声音对象110在虚拟空间90中距概念听众16的当前确定的相对位置存在较低的相关性，概念听众16的当前确定的相对位置是基于真实空间10中的用户18的当前测量位置13。
计算机程序48可以经由任何合适的递送机制到达装置30。递送机制可以是例如非瞬态计算机可读存储介质、计算机程序产品、存储器设备、诸如光盘只读存储器(CD-ROM)或数字多功能光盘(DVD)等记录介质、有形地体现计算机程序48的制品。递送机制可以是被配置为可靠地传送计算机程序48的信号。装置30可以将计算机程序48作为计算机数据信号传播或传输。
尽管存储器46在图5中被图示为单个组件/电路系统，但是它可以被实现为一个或多个单独的组件/电路系统，其中一些或全部可以是集成/可移动的和/或可以提供永久/半永久/动态/缓存的存储装置。
尽管处理器40在图5中被图示为单个组件/电路系统，但是它可以被实现为一个或多个单独的组件/电路系统，其中一些或全部可以是集成/可移动的。处理器40可以是单核或多核处理器。
对“计算机可读存储介质”、“计算机程序产品”、“有形体现的计算机程序”等或“控制器”、“计算机”、“处理器”等的引用应该理解为不仅包含具有不同架构(诸如，单/多处理器架构和顺序(冯·诺依曼)/并行架构)的计算机，还包括专用电路，诸如，现场可编程门阵列(FPGA)、专用电路(ASIC)、信号处理设备和其他处理电路系统。对计算机程序、指令、代码等的引用应该理解为包含用于可编程处理器或固件的软件，诸如，例如，硬件设备的可编程内容，无论是用于处理器的指令还是用于固定功能设备、门阵列或可编程逻辑设备等的配置设置。
图11和18所图示的框可以表示方法中的步骤和/或计算机程序48中的代码部分。对框的特定顺序的图示并不一定意味着该框具有所需或优选的顺序，并且可以改变框的顺序和布置。此外，有可能省略一些框。
方法500可以由装置30执行，例如，如先前关于图5、6A或6B所描述的那样，由装置30的控制器42或计算机程序48执行。装置30可以是本身执行所有必需的功能的独立装置，或者可以是系统的一部分，并且将某些功能委托给其他装置或服务。
数据的记录可以仅包括临时记录，或者可以包括永久记录，或者可以包括临时记录和永久记录。临时记录意味着临时记录数据。例如，这可能发生在感测或图像捕获期间，发生在动态存储器处，发生在诸如循环缓冲器等缓冲器、寄存器、缓存器等处。永久记录意味着该数据采用可寻址数据结构的形式，该结构可从可寻址存储器空间中检索，因此可以存储和检索，直到删除或覆盖为止，尽管可能会或可能不会发生长期存储。与图像有关的术语“捕获”的使用与图像数据的临时记录有关。与图像相关的术语“存储”的使用涉及图像数据的永久记录。
在已经描述了结构特征的情况下，可以用用于执行结构特征的一个或多个功能的装置来代替该结构特征，无论该功能或那些功能是显式地还是隐式地描述的。
在本文中以包含性而非排他性的含义使用术语“包括”。即，对包括Y的X的任何引用都表示X可能仅包括一个Y或可能包括一个以上的Y。如果要使用具有排他性含义的“包括”，那么在上下文中将通过引用“仅包括一个”或通过使用“由...组成”而显而易见。
在该简要描述中，已经参考了各种示例。关于示例的特征或功能的描述指示那些特征或功能存在于该示例中。不管是否明确说明，在本文中使用术语“示例”或“例如”或“可以”表示至少在所描述的示例中存在这种特征或功能，无论是否作为示例进行描述，并且它们可以但不一定存在于一些或所有其他示例中。因此，“示例”、“例如”或“可以”是指一类示例中的特定实例。实例的属性可以是仅该实例的属性或者这类属性或者该类的子类的属性，其包括该类中的一些但不一定是所有的实例。因此，隐式地公开了参考一个示例而不是参考另一示例描述的特征在可能的情况下可以在该另一示例中使用，而不必在该另一示例中使用。
尽管在前述段落中已经参考各种示例描述了本发明的实施例，但是应该了解的是，可以在不脱离所要求保护的本发明的范围的情况下对给出的示例进行修改。
除了明确描述的组合之外，可以以组合方式使用在前述描述中描述的特征。
尽管已经参考某些特征描述了功能，但是那些功能可以由其他特征执行，无论是否描述。
尽管已经参考某些实施例描述了特征，但是那些特征也可以存在于其他实施例中，无论是否描述。
尽管尽力在前述说明书中引起对被认为特别重要的本发明的那些特征的注意，但是应该理解的是，本申请人要求保护在此之前参考和/或在附图中示出的任何可获专利的特征或特征组合，无论是否已特别强调了这一点。

Claims (14)

1.一种实现虚拟内容的消耗的方法，包括：
在第一模式与第二模式之间进行切换，所述第一模式用于取决于概念听众的视点来控制虚拟声音对象在虚拟空间中距所述概念听众的相对位置，所述第二模式用于取决于所述概念听众的所述视点来控制所述虚拟声音对象在所述虚拟空间中距所述概念听众的所述相对位置，其中
在所述第一模式期间，所述虚拟声音对象距所述概念听众的所述相对位置与所述虚拟声音对象在所述虚拟空间中距所述概念听众的当前确定的相对位置存在第一相关性，所述虚拟声音对象在所述虚拟空间中距所述概念听众的所述当前确定的相对位置是基于用户在真实空间中的当前测量的位置，
在所述第二模式期间，所述虚拟声音对象距所述概念听众的所述相对位置与所述虚拟声音对象在所述虚拟空间中距所述概念听众的当前确定的相对位置存在第二相关性，所述虚拟声音对象在所述虚拟空间中距所述概念听众的所述当前确定的相对位置是基于所述用户在所述真实空间中的所述当前测量的位置，其中从所述第一模式到所述第二模式的转换发生在以下时候：针对正确测量所述用户在所述真实空间中的所述当前测量的位置的不确定性的值超过阈值，以及
在所述第二模式期间，响应于用户在所述真实空间中的所述当前测量的位置的变化，所述虚拟声音对象距所述概念听众的所述相对位置的变化被衰减，但是仍然取决于所述概念听众在所述虚拟空间中的定向的变化；
其中所述第一相关性是比所述第二相关性更高的相关性。
2.根据权利要求1所述的方法，其中：
在所述第一模式期间，所述虚拟声音对象距所述概念听众的所述相对位置与所述概念听众在虚拟空间中的当前确定的定向存在第三相关性，所述概念听众在虚拟空间中的所述当前确定的定向是基于用户在所述真实空间中的当前测量的视点；以及
在所述第二模式期间，所述虚拟声音对象距所述概念听众的所述相对位置与所述概念听众在虚拟空间中的当前确定的定向存在第四相关性，所述概念听众在虚拟空间中的所述当前确定的定向是基于用户在所述真实空间中的所述当前测量的视点，
其中所述第三相关性是比所述第四相关性更高的相关性。
3.根据权利要求1所述的方法，其中：
在所述第二模式期间，除了作为所述概念听众在所述虚拟空间中的定向的变化的结果之外，所述虚拟声音对象距所述概念听众的所述相对位置不能在所述概念听众的左手侧与右手侧之间进行切换。
4.根据权利要求1所述的方法，其中：
在所述第二模式期间，所述虚拟声音对象距所述概念听众的所述相对位置与用户在所述真实空间中的所述当前测量的位置无关，但是仍然取决于所述概念听众在所述虚拟空间中的定向的变化。
5.根据权利要求1所述的方法，其中：在所述第二模式期间，所述虚拟声音对象距所述概念听众的所述相对位置被锁定到所述概念听众在所述虚拟空间中的定向。
6.根据权利要求1所述的方法，其中当虚拟声音对象在虚拟空间中距所述概念听众的距离减小到低于阈值时，发生从所述第一模式到所述第二模式的转换。
7.根据权利要求1所述的方法，其中当所述虚拟声音对象距所述概念听众的所述相对位置的时间变化满足标准时，发生从所述第一模式到所述第二模式的转换。
8.根据权利要求1所述的方法，其中当虚拟声音对象在虚拟空间中距所述概念听众的距离增加到高于阈值时，发生从所述第二模式到所述第一模式的转换。
9.根据权利要求1所述的方法，其中在从所述第二模式切换到所述第一模式时，所述虚拟声音对象距所述概念听众的所述相对位置的所述变化随着时间被平滑。
10.根据前述权利要求中任一项所述的方法，其中基于所述用户在所述真实空间中的所述当前测量位置以及所述用户的基于模型的位置，所述虚拟声音对象与所述概念听众的所述相对位置取决于所述虚拟声音对象与所述概念听众在所述虚拟空间中的当前确定的相对位置。
11.根据权利要求10所述的方法，其中所述用户的所述基于模型的位置是使用卡尔曼滤波器而产生的。
12.根据权利要求11所述的方法，其中所述用户的所述基于模型的位置是使用以小于20Hz的速率操作的卡尔曼滤波器而产生的。
13.一种用于实现虚拟内容的消耗的装置，包括用于执行根据权利要求1至12中任一项所述的方法的部件。
14.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器运行时使所述处理器执行根据权利要求1至12中任一项所述的方法。
CN201880043804.6A 2017-06-30 2018-06-19 用于实现介导现实虚拟内容消耗的方法、装置、系统、计算机程序 Active CN110809751B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17179022.3A EP3422151A1 (en) 2017-06-30 2017-06-30 Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
EP17179022.3 2017-06-30
PCT/FI2018/050476 WO2019002673A1 (en) 2017-06-30 2018-06-19 METHODS, APPARATUS, SYSTEMS AND COMPUTER PROGRAM PRODUCTS FOR ENABLING CONSUMPTION OF VIRTUAL CONTENT FOR MEDIATED REALITY

Publications (2)

Publication Number Publication Date
CN110809751A CN110809751A (zh) 2020-02-18
CN110809751B true CN110809751B (zh) 2024-02-13

Family

ID=59296705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880043804.6A Active CN110809751B (zh) 2017-06-30 2018-06-19 用于实现介导现实虚拟内容消耗的方法、装置、系统、计算机程序

Country Status (4)

Country Link
US (1) US11443487B2 (zh)
EP (1) EP3422151A1 (zh)
CN (1) CN110809751B (zh)
WO (1) WO2019002673A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308179A (zh) * 2018-09-25 2019-02-05 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
KR102650488B1 (ko) * 2019-11-29 2024-03-25 삼성전자주식회사 전자장치와 그의 제어방법
EP3968143A1 (en) * 2020-09-15 2022-03-16 Nokia Technologies Oy Audio processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507701A (zh) * 2001-05-07 2004-06-23 参量虚拟扬声器和环绕声系统
CN104010265A (zh) * 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796776B2 (ja) * 1995-09-28 2006-07-12 ソニー株式会社 映像音声再生装置
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
WO2013115748A1 (en) * 2012-01-30 2013-08-08 Echostar Ukraine, L.L.C. Apparatus, systems and methods for adjusting output audio volume based on user location
US20140328505A1 (en) * 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
US20150382129A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Driving parametric speakers as a function of tracked user location
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10895626B2 (en) * 2015-09-02 2021-01-19 Apple Inc. Device state estimation with body-fixed assumption
EP3255905A1 (en) 2016-06-07 2017-12-13 Nokia Technologies Oy Distributed audio mixing
US10103699B2 (en) * 2016-09-30 2018-10-16 Lenovo (Singapore) Pte. Ltd. Automatically adjusting a volume of a speaker of a device based on an amplitude of voice input to the device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507701A (zh) * 2001-05-07 2004-06-23 参量虚拟扬声器和环绕声系统
CN104010265A (zh) * 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法

Also Published As

Publication number Publication date
US20200160600A1 (en) 2020-05-21
WO2019002673A1 (en) 2019-01-03
US11443487B2 (en) 2022-09-13
CN110809751A (zh) 2020-02-18
EP3422151A1 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
US11822708B2 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
US10638247B2 (en) Audio processing
EP3106963B1 (en) Mediated reality
US20190166448A1 (en) Perception of sound objects in mediated reality
US11010051B2 (en) Virtual sound mixing environment
US11209903B2 (en) Rendering of mediated reality content
CN110809751B (zh) 用于实现介导现实虚拟内容消耗的方法、装置、系统、计算机程序
US11367280B2 (en) Audio processing for objects within a virtual space
EP3264228A1 (en) Mediated reality
US20210081051A1 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
EP3287867A1 (en) Audio processing
US11194439B2 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
US10869156B2 (en) Audio processing
EP3534241B1 (en) Method, apparatus, systems, computer programs for enabling mediated reality
EP3422150A1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant