CN111713121B - 用于混合现实的双听者位置 - Google Patents

用于混合现实的双听者位置 Download PDF

Info

Publication number
CN111713121B
CN111713121B CN201980012942.2A CN201980012942A CN111713121B CN 111713121 B CN111713121 B CN 111713121B CN 201980012942 A CN201980012942 A CN 201980012942A CN 111713121 B CN111713121 B CN 111713121B
Authority
CN
China
Prior art keywords
virtual
audio signal
real
user
mixed reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980012942.2A
Other languages
English (en)
Other versions
CN111713121A (zh
Inventor
A·A·塔吉克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202210301214.7A priority Critical patent/CN114679677B/zh
Publication of CN111713121A publication Critical patent/CN111713121A/zh
Application granted granted Critical
Publication of CN111713121B publication Critical patent/CN111713121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Abstract

公开了一种呈现混合现实环境中的音频信号的方法，所述方法包括以下步骤：识别混合现实环境中的第一耳朵听者位置；识别混合现实环境中的第二耳朵听者位置；识别混合现实环境中的第一虚拟声源；识别混合现实环境中的第一对象；确定混合现实环境中的第一音频信号，其中，第一音频信号源于第一虚拟声源并且与第一耳朵听者位置相交；确定混合现实环境中的第二音频信号，其中，第二音频信号源于第一虚拟声源，与第一对象相交，并且与第二耳朵听者位置相交；基于第二音频信号和第一对象来确定第三音频信号；经由第一扬声器向用户的第一耳朵呈现第一音频信号；以及经由第二扬声器向用户的第二耳朵呈现第三音频信号。

Description

用于混合现实的双听者位置
技术领域
本申请要求于2018年2月15日提交的美国临时专利申请号62/631,422的权益，其整体通过引用并入本文。
本公开大体涉及用于呈现音频信号的系统和方法，并且特别地涉及用于将立体声音频信号呈现给混合现实系统的用户的系统和方法。
背景技术
虚拟环境在计算环境中是普遍存在的，发现用于视频游戏(其中，虚拟环境可表示游戏世界)；地图(其中，虚拟环境可表示待导航的地形)；模拟(其中，虚拟环境可模拟真实环境)；数字讲故事(其中，虚拟角色可在虚拟环境中彼此交互)；和许多其他应用。现代计算机用户通常舒适感知虚拟环境并且与虚拟环境交互。然而，关于虚拟环境的用户体验可能受限于用于呈现虚拟环境的技术。例如，常规显示器(例如，2D显示屏)和音频系统(例如，固定扬声器)可能不能够以产生令人信服、现实并且沉浸式体验的方式实现虚拟环境。
虚拟现实(“VR”)、增强现实(“AR”)、混合现实(“MR”)、和相关技术(统称为“XR”)共享向XR系统的用户呈现对应于由计算机系统中的数据表示的虚拟环境的感觉信息的能力。本公开预期了VR、AR和MR系统之间的区别(尽管在一方面中(例如，视觉方面)一些系统可被分类为VR，并且同时在另一方面中(例如，音频方面)被分类为AR或MR))。如本文所使用的，VR系统呈现了在至少一个方面中替换用户的真实环境的虚拟环境；例如，VR系统可以向用户呈现虚拟环境的视图，而同时模糊他或她的真实环境的视图，诸如利用光阻头戴式显示器。类似地，VR系统可以向用户呈现对应于虚拟环境的音频，而同时阻挡(衰减)来自真实环境的音频。
VR系统可能经历由用虚拟环境替换用户的真实环境导致的各种缺点。一个缺点是当用户在虚拟环境中的视场不再对应于他或她的内耳的状态时可能出现的晕动病的感觉，他或她的内耳的状态检测真实环境(非虚拟环境)中的个人的平衡和取向。类似地，用户可能经历他们自己的身体和四肢(用户依赖于其身体和四肢的视图来在真实环境中感觉“触地(grounded)”)不直接可见的VR环境中的混乱取向。另一个缺点是置于VR系统上的计算负担(例如，存储、处理能力)，该VR系统必须呈现全3D虚拟环境，特别地在试图使用户沉浸在虚拟环境中的实时应用中。类似地，这样的环境可能需要达到非常高标准的真实性以被认为是沉浸式的，因为用户倾向于对虚拟环境中的甚至较小的不完美敏感—其中的任何一个可能破坏虚拟环境中的用户的沉浸感。进一步地，VR系统的另一个缺点在于，系统的这样的应用不能利用真实环境中的广泛的感觉数据，诸如人们在真实世界中体验的各种视觉和声音。相关缺点在于，VR系统可能努力创建多个用户可以交互的共享环境，因为共享真实环境中的物理空间的用户可能不能够在虚拟环境中直接看到彼此或彼此交互。
如本文所使用的，在至少一个方面中，AR系统呈现重叠或覆盖真实环境的虚拟环境。例如，AR系统可以向用户呈现覆盖在用户的真实环境的视图上的虚拟环境的视图，诸如利用呈现显示的图像同时允许光穿过显示器到用户的眼睛中的透射式头戴式显示器。类似地，AR系统可以向用户呈现对应于虚拟环境的音频，而同时在来自真实环境的音频中混合。类似地，如本文所使用的，如AR系统那样，MR系统在至少一个方面中呈现重叠或覆盖真实环境的虚拟环境，并且可以附加地在至少一个方面中允许MR系统中的虚拟环境可以与真实环境交互。例如，虚拟环境中的虚拟角色可以切换真实环境中的灯开关，使得真实环境中的对应的灯泡接通或关断。作为另一个示例，虚拟角色可以对真实环境中的音频信号作出反应(诸如用面部表情)。通过维持真实环境的呈现，AR和MR系统可以避免VR系统的前述缺点中的一些缺点；例如，用户的晕动病减少，因为来自真实环境(包括用户自己的身体)的视觉线索可以保持可见，并且这样的系统不需要向用户呈现完全实现3D环境以便是沉浸式的。进一步地，AR和MR系统可以利用真实世界感觉输入(例如，场景、对象和其他用户的视图和声音)来创建增强该输入的新应用。
XR系统可向用户提供与虚拟环境交互的各种方式；例如，XR系统可包括用于检测用户的位置和取向、面部表情、语音和其他特性的各种传感器(例如，相机、麦克风等)；并将该信息作为输入呈现给虚拟环境。一些XR系统可包含配备传感器的输入设备，诸如虚拟“木槌”，并且可以被配置为检测输入设备的位置、取向或其他特性。
XR系统可通过将虚拟视觉和音频线索与真实视线和声音组合来提供独特地强化的沉浸感和真实性。例如，以模拟我们自己的感觉体验的各方面(特别是细微方面)的方式将音频线索呈现给XR系统的用户可能是期望的。本发明涉及向用户呈现源于混合现实环境中的单个声源的立体声音频信号，使得用户能够基于由用户的左耳和右耳接收的信号的差异来识别混合现实环境中的声源的位置和取向。通过使用音频线索识别混合现实环境中的声源的位置和取向，用户可以体验源于该位置和取向的虚拟声音的强化意识。此外，混合现实环境中用户的沉浸感可以通过呈现不仅对应于直接音频信号而且呈现使用3D传播模型生成的完全沉浸式声景的立体声音频来强化。
发明内容
本公开的示例描述了用于呈现混合现实环境中的音频信号的系统和方法。在一个示例中，一种方法包括以下步骤：识别混合现实环境中的第一耳朵听者位置；识别混合现实环境中的第二耳朵听者位置；识别混合现实环境中的第一虚拟声源；识别混合现实环境中的第一对象；确定混合现实环境中的第一音频信号，其中，第一音频信号源于第一虚拟声源并且与第一耳朵听者位置相交；确定混合现实系统中的第二音频信号，其中，第二音频信号源于第一虚拟声源，与第一对象相交，并且与第二耳朵听者位置相交；基于第二音频信号和第一对象来确定第三音频信号；经由第一扬声器向用户的第一耳朵呈现第一音频信号；以及经由第二扬声器向用户的第二耳朵呈现第三音频信号。
附图说明
图1A-1C示出了示例混合现实环境。
图2A-2D示出了可用于与混合现实环境交互的示例混合现实系统的组件。
图3A示出了可用于向混合现实环境提供输入的示例混合现实手持式控制器。
图3B示出了可以包含在示例混合现实系统的示例辅助单元。
图4示出了用于示例混合现实系统的示例功能框图。
图5A-5B示出了包括用户、虚拟声源和源于虚拟声源的音频信号的示例混合现实环境。
图6示出了用于将立体声音频信号呈现给混合现实环境的用户的示例流程图。
图7示出了示例增强现实处理系统的示例功能框图。
具体实施方式
在以下示例的描述中，对附图进行参考，该附图形成以下示例的描述的一部分，并且在附图中，通过图示可以实践的具体示例的方式示出。应理解，在不脱离所公开的示例的范围的情况下，可以使用其他示例并且可以做出结构改变。
混合现实环境
像所有人一样，混合现实系统的用户存在于真实环境中—即，“真实世界”的三维部分和可由用户感知的其所有内容。例如，用户使用个人的普通人类感觉(视觉、声音、触觉、味道、气味)感知真实世界，并且通过在真实环境中移动个人自己的身体与真实环境交互。真实环境中的位置可被描述为坐标空间中的坐标；例如，坐标可包括纬度、经度和相对于海平面的海拔；在三个正交维度上距参考点的距离；或其他适合的值。同样地，矢量可描述具有坐标空间中的方向和幅度的数量。
计算设备可例如在与设备相关联的存储器中维持虚拟环境的表示。如本文所使用的，虚拟环境是三维空间的计算表示。虚拟环境可包括任何对象、动作、信号、参数、坐标、矢量、或与该空间相关联的其他特性的表示。在一些示例中，计算设备的电路(例如，处理器)可以维持和更新虚拟环境的状态；即，处理器可以在第一时间t0处基于与虚拟环境相关联的数据和/或由用户提供的输入来确定第二时间t1处的虚拟环境的状态。例如，如果虚拟环境中的对象在时间t0处位于第一坐标处，并且具有某个编程的物理参数(例如，质量、摩擦系数)；以及从用户接收的输入指示力应当以方向矢量施加到该对象；则处理器可应用运动学定律来使用基础力学确定时间t1处的对象的位置。处理器可以使用关于虚拟环境已知的任何适合的信息和/或任何适合的输入来确定时间t1处的虚拟环境的状态。在维持和更新虚拟环境的状态时，处理器可执行任何适合的软件，包括与虚拟环境中的虚拟对象的创建和删除有关的软件；用于定义虚拟环境中的虚拟对象或角色的行为的软件(例如，脚本)；用于定义虚拟环境中的信号(例如，音频信号)的行为的软件；用于创建和更新与虚拟环境相关联的参数的软件；用于生成虚拟环境中的音频信号的软件；用于处理输入和输出的软件；用于实现网络操作的软件；用于应用资产数据(例如，随时间移动虚拟对象的动画数据)的软件；或许多其他可能性。
输出设备(诸如显示器或者扬声器)可以向用户呈现虚拟环境的任何或所有方面。例如，虚拟环境可以包括可以呈现给用户的虚拟对象(其可包括无生命对象；人；动物；光；等的表示)。处理器可以确定虚拟环境的视图(例如，对应于具有坐标原点、视图轴和视锥的“相机”)；以及向显示器渲染对应于该视图的虚拟环境的可视场景。出于该目的，可以使用任何适合的渲染技术。在一些示例中，可视场景可以仅包括虚拟环境中的一些虚拟对象，并且不包括某些其他虚拟对象。类似地，虚拟环境可包括可作为一个或多个音频信号呈现给用户的音频方面。例如，虚拟环境中的虚拟对象可生成源于对象的位置坐标的声音(例如，虚拟角色可以说话或引起声音效果)；或者虚拟环境可以与音乐线索或环境声音相关联，音乐线索可以与或可以不与特定位置相关联。处理器可确定对应于“听者”坐标的音频信号—例如，对应于虚拟环境中的声音的复合并且被混合和处理以模拟将由听者坐标处的听者听到的音频信号—并且经由一个或多个扬声器将音频信号呈现给用户。
由于虚拟环境仅作为计算结构存在，所以用户不能使用个人的普通感觉直接感知虚拟环境。相反，用户可以仅间接地感知如呈现给用户的虚拟环境，例如通过显示器、扬声器、触觉输出设备等。类似地，用户不能直接接触、操控、或以其他方式与虚拟环境交互；但是可以经由输入设备或传感器将输入数据提供给可使用设备或传感器数据更新虚拟环境的处理器。例如，相机传感器可提供指示用户正试图移动虚拟环境中的对象的光学数据，并且处理器可使用该数据使得对象在虚拟环境中相应地作出反应。
混合现实系统可以向用户呈现组合真实环境和虚拟环境的方面的混合现实环境(“MRE”)，例如使用透射式显示器和/或一个或多个扬声器(其可以例如包含在可穿戴头部设备中)。在一些实施例中，一个或多个扬声器可以在可穿戴头部设备的外部。如本文所使用的，MRE是真实环境和对应的虚拟环境的同时表示。在一些示例中，对应的真实环境和虚拟环境共享单个坐标空间；在一些示例中，真实坐标空间和对应的虚拟坐标空间通过变换矩阵(或其他适合的表示)彼此相关。因此，单个坐标(在一些示例中，连同变换矩阵一起)可以定义真实环境中的第一位置，以及虚拟环境中的第二对应位置；反之亦然。
在MRE中，虚拟对象(例如，在与MRE相关联的虚拟环境中)可以对应于真实对象(例如，在与MRE相关联的真实环境中)。例如，如果MRE的真实环境包括位置坐标处的真实灯杆(真实对象)，则MRE的虚拟环境可包括对应的位置坐标处的虚拟灯杆(虚拟对象)。如本文所使用的，真实对象组合其对应的虚拟对象一起构成“混合现实对象”。不需要虚拟对象与对应的真实对象完美匹配或者对准。在一些示例中，虚拟对象可以是对应的真实对象的简化版本。例如，如果真实环境包括真实灯杆，则对应的虚拟对象可以包括具有与真实灯杆粗略地相同的高度和半径的圆柱体(反映该灯杆可以在形状方面是粗略地圆柱形的)。以这种方式简化虚拟对象可以允许计算效率，并且可以简化将在这样的虚拟对象上执行的计算。进一步地，在MRE的一些示例中，真实环境中的并非所有真实对象可以与对应的虚拟对象相关联。同样地，在MRE的一些示例中，虚拟环境中的并非所有虚拟对象可以与对应的真实对象相关联。即，一些虚拟对象可以仅在MRE的虚拟环境中而没有任何现实世界配对物。
在一些示例中，虚拟对象可以具有与对应的真实对象的特性不同(有时彻底不同)的特性。例如，虽然MRE中的真实环境可以包括绿色双臂仙人掌—多刺无生命对象—MRE中的对应的虚拟对象可以具有带有人面特征和粗暴行为的绿色双臂虚拟角色的特性。在该示例中，虚拟对象在某些特性(颜色、臂数)方面类似其对应的真实对象；但是在其他特性(面部特征、个性)方面与真实对象不同。以这种方式，虚拟对象具有以创造性、抽象、夸大、或想象的方式表示真实对象的潜在性；或者向其他无生命真实对象给予行为(例如，人类个性化)。在一些示例中，虚拟对象可以是纯想象创造而没有现实世界配对物(例如，虚拟环境中的虚拟怪物，也许在对应于真实环境中的空白空间的位置处)。
与向用户呈现虚拟环境同时模糊真实环境的VR系统相比，呈现MRE的混合现实系统提供当虚拟环境被呈现时真实环境保持可感知的优点。因此，混合现实系统的用户能够使用与真实环境相关联的视觉和音频线索来体验对应的虚拟环境并且与对应的虚拟环境交互。作为示例，当VR系统的用户可能努力感知虚拟环境中显示的虚拟对象或与虚拟环境中显示的虚拟对象交互时—因为如上所述，用户不能直接感知虚拟环境或与虚拟环境交互—MR系统的用户可以通过看、听和触摸他或她自己的真实环境中的对应的真实对象来发现其与虚拟对象直观并且自然的交互。该交互性水平可以提高用户与虚拟环境沉浸、连接和接合的感觉。类似地，通过同时呈现真实环境和虚拟环境，混合现实系统可以减少与VR系统相关联的负面心理感觉(例如，认知失调)和负面身体感觉(例如，晕动病)。混合现实系统进一步为可以增强或更改我们的现实世界的体验的应用提供许多可能性。
图1A示出了用户110使用混合现实系统112的示例真实环境100。混合现实系统112可以包括显示器(例如，透射式显示器)和一个或多个扬声器，以及一个或多个传感器(例如，相机)，例如如下文所描述的。示出的真实环境100包括用户110站立的矩形房间104A；以及真实对象122A(灯)、124A(桌子)、126A(沙发)和128A(油画)。房间104A还包括位置坐标106，其可以被称为是真实环境100的原点。如图1A所示，具有其点106(世界坐标)处的原点的环境/世界坐标系108(包括x轴108X、y轴108Y和z轴108Z)可以定义用于真实环境100的坐标空间。在一些实施例中，环境/世界坐标系108的原点106可以对应于混合现实环境112供电的位置。在一些实施例中，环境/世界坐标系108的原点106可以在操作期间重置。在一些示例中，用户110可以被认为是真实环境100中的真实对象；类似地，用户110的身体部分(例如，手、脚)可以被认为是真实环境100中的真实对象。在一些示例中，具有点115(例如，用户/听者/头部坐标)处的其原点的用户/听者/头部坐标系114(包括x轴114X、y轴114Y和z轴114Z)可以定义针对混合现实系统112所位于的用户/听者/头部的坐标空间。用户/听者/头部坐标系114的原点115可以相对于混合现实系统112的一个或多个组件来定义。例如，用户/听者/头部坐标系114的原点115可以相对于混合现实系统112的显示器来定义，诸如在混合现实系统112的初始校准期间。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征用户/听者/头部坐标系114空间与环境/世界坐标系108空间之间的变换。在一些实施例中，左耳坐标116和右耳坐标117可以相对于用户/听者/头部坐标系114的原点115来定义。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或者其他适合的表示可以表征左耳坐标116和右耳坐标117与用户/听者/头部坐标系114空间之间的变换。用户/听者/头部坐标系114可以简化相对于用户的头部或可穿戴头部设备的位置的表示，例如，相对于环境/世界坐标系108。使用同时定位和地图创建(SLAM)、视觉里程计或其他技术，用户坐标系114与环境坐标系108之间的变换可以实时确定和更新。
图1B示出了对应于真实环境100的示例虚拟环境130。示出的虚拟环境130包括对应于真实矩形房间104A的虚拟矩形房间104B；对应于真实对象122A的虚拟对象122B；对应于真实对象124A的虚拟对象124B；以及对应于真实对象126A的虚拟对象126B。与虚拟对象122B、124B、126B相关联的元数据可以包括从对应的真实对象122A、124A、126A导出的信息。虚拟环境130附加地包括虚拟怪物132，该虚拟怪物132不对应于真实环境100中的任何真实对象。真实环境100中的真实对象128A不对应于虚拟环境130中的任何虚拟对象。具有点134(持久坐标)处的其原点的持久坐标系133(包括x轴133X、y轴133Y和z轴133Z)可以定义用于虚拟内容的坐标空间。持久坐标系133的原点134可以相对于/关于一个或多个真实对象来定义，诸如真实对象126A。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征持久坐标系133空间与环境/世界坐标系108空间之间的变换。在一些实施例中，虚拟对象122B、124B、126B和132中的每个虚拟对象可以具有相对于持久坐标系133的原点134的其自己的持久坐标点。在一些实施例中，可以存在多个持久坐标系，并且虚拟对象122B、124B、126B和132中的每个虚拟对象可以具有相对于一个或多个持久坐标系的其自己的持久坐标点。
相对于图1A和图1B，环境/世界坐标系108定义用于真实环境100和虚拟环境130二者的共享坐标空间。在示出的示例中，坐标空间具有在点106处的其原点。进一步地，坐标空间由相同三个正交轴(108X、108Y、108Z)定义。因此，真实环境100中的第一位置和虚拟环境130中的第二对应位置可以相对于相同坐标空间来描述。这简化了识别和显示真实环境和虚拟环境中的对应的位置，因为相同坐标可以用于识别这两个位置。然而，在一些示例中，对应的真实环境和虚拟环境不需要使用共享坐标空间。例如，在一些示例中(未示出)，矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征真实环境坐标空间与虚拟环境坐标空间之间的变换。
图1C示出了经由混合现实系统112将真实环境100和虚拟环境130的各方面同时呈现给用户的示例MRE 150。在示出的示例中，MRE 150同时向用户110呈现来自真实环境100的真实对象122A、124A、126A和128A(例如，经由混合现实系统112的显示器的透射部分)；以及来自虚拟环境130的虚拟对象122B、124B、126B和132(例如，经由混合现实系统112的显示器的有源显示部分)。如上文，原点106充当用于对应于MRE 150的坐标空间的原点，并且坐标系108定义用于坐标空间的x轴、y轴和z轴。
在示出的示例中，混合现实对象包括占用坐标空间108中的对应位置的对应的真实对象和虚拟对象对(即，122A/122B、124A/124B、126A/126B)。在一些示例中，真实对象和虚拟对象二者可以对用户110同时可见。这可能在例如虚拟对象呈现被设计为增强对应真实对象的视图的信息的实例中(诸如在虚拟对象呈现古代损坏雕塑的丢失件的博物馆应用中)是期望的。在一些示例中，可以显示虚拟对象(122B、124B和/或126B)(例如，经由使用像素化遮挡快门的有源像素化遮挡)以便遮挡对应的真实对象(122A、124A和/或126A)。这可能在例如虚拟对象充当用于对应的真实对象的视觉替换的实例中(诸如在无生命真实对象变为“活的”角色的交互式讲故事应用中)是期望的。
在一些示例中，真实对象(例如，122A、124A、126A)可以与可以不必构成虚拟对象的虚拟内容或辅助数据相关联。虚拟内容或辅助数据可以促进混合现实环境中的虚拟对象的处理或处置。例如，这样的虚拟内容可以包括以下各项的二维表示：对应的真实对象；与对应的真实对象相关联的定制资产类型；或与对应的真实对象相关联的统计数据。该信息可以使能或者促进涉及真实对象的计算而不引起不必要的计算开销。
在一些示例中，上文所描述的呈现还可以包含音频方面。例如，在MRE 150中，虚拟怪物132可以与一个或多个音频信号相关联，诸如当怪物在MRE 150周围到处走时生成的脚步声效果。如下文进一步描述的，混合现实系统112的处理器可以计算对应于MRE 150中的所有此类声音的混合和处理的复合的音频信号，并且经由包括在混合现实系统112中的一个或多个扬声器和/或一个或多个外部扬声器将音频信号呈现给用户110。
示例混合现实系统
示例混合现实系统112可以包括可穿戴头部设备(例如，可穿戴增强现实或混合现实头部设备)，其包括：显示器(其可以包括可以是近眼显示器的左和右透射式显示器，以及用于将来自显示器的光耦合到用户的眼睛的相关联的组件)；左和右扬声器(例如，其分别邻近用户的左耳和右耳定位)；惯性测量单元(IMU)(例如，其安装到头部设备的支撑臂)；正交线圈电磁接收器(例如，其安装到左支撑件)；远离用户取向的左和右相机(例如，深度(飞行时间)相机)；以及朝向用户取向的左和右眼相机(例如，用于检测用户的眼运动)。然而，混合现实系统112可以包含任何适合的显示技术，以及任何适合的传感器(例如，光学、红外、声学、LIDAR、EOG、GPS、磁的)。另外，混合现实系统112可以包含网络特征(例如，Wi-Fi能力)，以与其他设备和系统(包括其他混合现实系统)通信。混合现实系统112还可以包括电池(其可以安装在辅助单元中，诸如被设计为穿戴在用户的腰部周围的腰带包)、处理器和存储器。混合现实系统112的可穿戴头部设备可以包括跟踪组件，诸如IMU或其他适合的传感器，其被配置为输出可穿戴头部设备相对于用户的环境的一组坐标。在一些示例中，跟踪组件可以向执行同时定位和地图创建(SLAM)和/或视觉里程计算法的处理器提供输入。在一些示例中，混合现实系统112还可以包括手持式控制器300和/或辅助单元320，其可以是可穿戴腰带包，如下文进一步描述的。
图2A-2D示出了可以用于将MRE(其可以对应于MRE 150)或其他虚拟环境呈现给用户的示例混合现实系统200(其可以对应于混合现实系统112)的组件。图2A示出了在示例混合现实系统200中包括的可穿戴头部设备2102的透视图。图2B示出了在用户的头部2202上穿戴的可穿戴头部设备2102的俯视图。图2C示出了可穿戴头部设备2102的前视图。图2D示出了可穿戴头部设备2102的示例目镜2110的边视图。如图2A-2C所示，示例可穿戴头部设备2102包括示例左目镜(例如，左透明波导集目镜)2108和示例右目镜(例如，右透明波导集目镜)2110。每个目镜2108和2110可以包括：透射元件，通过该透射元件，真实环境可以是可见的；以及显示元件，其用于呈现重叠真实环境的显示(例如，经由成影像调制光)。在一些示例中，这样的显示元件可以包括用于控制成影像调制光的流动的表面衍射光学元件。例如，左目镜2108可以包括左耦入光栅集2112、左正交光瞳扩展(OPE)光栅集2120和左出射(输出)光瞳扩展(EPE)光栅集2122。类似地，右目镜2110可以包括右耦入光栅集2118、右OPE光栅集2114和右EPE光栅集2116。成影像调制光可以经由耦入光栅2112和2118、OPE 2114和2120、和EPE 2116和2122传递到用户的眼睛。每个耦入光栅集2112、2118可以被配置为朝向其对应的OPE光栅集2120、2114偏转光。每个OPE光栅集2120、2114可以被设计为朝向其相关联的EPE 2122、2116向下递增地偏转光，从而水平延伸形成的出射光瞳。每个EPE 2122、2116可以被配置为将从其对应的OPE光栅集2120、2114接收的光的至少一部分向外递增地重引导到限定在目镜2108、2110后面的用户眼盒(eyebox)位置(未示出)，从而垂直延伸在眼盒处形成的出射光瞳。可替代地，代替耦入光栅集2112和2118、OPE光栅集2114和2120、和EPE光栅集2116和2122，目镜2108和2110可以包括用于控制将成影像调制光耦合到用户的眼睛的光栅和/或折射和反射特征的其他布置。
在一些示例中，可穿戴头部设备2102可以包括左边撑臂2130和右边撑臂2132，其中，左边撑臂2130包括左扬声器2134并且右边撑臂2132包括右扬声器2136。正交线圈电磁接收器2138可以定位在左边撑件中，或者在可穿戴头部设备2102中的另一适合的位置。惯性测量单元(IMU)2140可以定位在右边撑臂2132中，或者在可穿戴头部设备2102中的另一适合的位置。可穿戴头部设备2102还可以包括左深度(例如，飞行时间)相机2142和右深度相机2144。深度相机2142、2144可以在不同方向上合适地取向以便一起覆盖更宽的视场。
在图2A-2D中示出的示例中，左成影像调制光源2124可以通过左耦入光栅集2112光学耦合到左目镜2108中，并且右成影像调制光源2126可以通过右耦入光栅集2118光学耦合到右目镜2110中。成影像调制光源2124、2126可以包括例如光纤扫描器；包括电子光调制器的投影仪，诸如数字光处理(DLP)芯片或硅上液晶(LCoS)调制器；或发射显示器，诸如微发光二极管(μLED)或微有机发光二极管(μOLED)面板，其使用每侧一个或多个透镜耦合到耦入光栅集2112、2118中。输入耦合光栅集2112、2118可以将来自成影像调制光源2124、2126的光偏转到大于针对目镜2108、2110的全内反射(TIR)的临界角的角。OPE光栅集2114、2120朝向EPE光栅集2116、2122递增地偏转通过TIR传播的光。EPE光栅集2116、2122将光递增地耦向用户的面部，包括用户的眼睛的瞳孔。
在一些示例中，如图2D所示，左目镜2108和右目镜2110中的每一个包括多个波导2402。例如，每个目镜2108、2110可以包括多个单独波导，每个波导专用于相应的颜色通道(例如，红色、蓝色和绿色)。在一些示例中，每个目镜2108、2110可以包括多个这样的波导集，其中，每个集被配置为向发射光赋予不同的波前曲率。波前曲率可以相对于用户的眼睛是凸的，例如以呈现定位在用户的前面一定距离(例如，通过对应于波前曲率的倒数的距离)的虚拟对象。在一些示例中，EPE光栅集2116、2122可以包括弯曲光栅凹陷，以通过改变跨每个EPE的出射光的坡印廷(Poynting)矢量实现凸波前曲率。
在一些示例中，为了创建所显示的内容是三维的感知，立体调节的左和右眼影像可以通过成影像光调制器2124、2126和目镜2108、2110呈现给用户。三维虚拟对象的呈现的感知真实性可以通过选择波导(并且因此对应的波前曲率)增强，使得虚拟对象在近似由立体左和右图像指示的距离的距离处被显示。该技术还可以减少由一些用户经历的晕动病，晕动病可能由由立体左眼和右眼影像提供的深度感知线索与人眼的自动调节(例如，对象距离相关焦点)之间的差异引起。
图2D示出了从示例可穿戴头部设备2102的右目镜2110的顶部的面向边缘的视图。如图2D所示，多个波导2402可以包括三个波导2404的第一子集和三个波导2406的第二子集。波导2404、2406的两个子集可以通过以不同光栅线曲率为特征的不同EPE光栅来区分，以向出射光赋予不同波前曲率。在波导2404、2406的子集中的每一个内，每个波导可以用于将不同光谱通道(例如，红色、绿色和蓝色光谱通道之一)耦合到用户的右眼2206。(虽然未示出在图2D中，但是左目镜2108的结构类似于右目镜2110的结构。)
图3A示出了混合现实系统200的示例手持式控制器组件300。在一些示例中，手持式控制器300包括柄部346和沿着顶表面348设置的一个或多个按钮350。在一些示例中，按钮350可以被配置用作光学跟踪目标，例如，用于与相机或其他光学传感器(其可以安装在混合现实系统200的头部单元(例如，可穿戴头部设备2102)中)结合来跟踪手持式控制器300的六自由度(6DOF)运动。在一些示例中，手持式控制器300包括用于检测位置或取向(诸如相对于可穿戴头部设备2102的位置或取向)的跟踪组件(例如，IMU或其他适合的传感器)。在一些示例中，这样的跟踪组件可以定位在手持式控制器300的手柄中，和/或可以机械耦合到手持式控制器。手持式控制器300可以被配置为提供对应于按钮的按压状态中的一个或多个的一个或多个输出信号；或手持式控制器300的位置、取向和/或运动(例如，经由IMU)。这样的输出信号可以用作混合现实系统200的处理器的输入。这样的输入可以对应于手持式控制器的位置、取向和/或运动(例如，通过扩展，对应于握住控制器的用户的手的位置、取向和/或运动)。这样的输入还可以对应于按压按钮350的用户。
图3B示出了混合现实系统200的示例辅助单元320。辅助单元320可以包括向操作系统200提供能量的电池，并且可以包括用于执行程序以操作系统200的处理器。如所示，示例辅助单元320包括夹子2128，诸如用于将辅助单元320附接到用户的腰带。其他形状因子适合于辅助单元320并且将是明显的，包括不涉及将单元安装到用户的腰带的形状因子。在一些示例中，辅助单元320通过多导管电缆耦合到可穿戴头部设备2102，该多导管电缆可以包括例如电线和光纤。还可以使用辅助单元320与可穿戴头部设备2102之间的无线连接。
在一些示例中，混合现实系统200可以包括检测声音并且将对应的信号提供给混合现实系统的一个或多个麦克风。在一些示例中，麦克风可以附接到可穿戴头部设备2102或与其集成，并且可以被配置为检测用户的语音。在一些示例中，麦克风可以附接到手持式控制器300和/或辅助单元320或与其集成。这样的麦克风可以被配置为检测环境声音、环境噪声、用户或第三方的语音或其他声音。
图4示出了可以对应于示例混合现实系统的示例功能框图，诸如上文所描述的混合现实系统200(其可以对应于相对于图1的混合现实系统112)。如图4所示，示例手持式控制器400B(其可以对应于手持式控制器300(“图腾”))包括图腾到可穿戴头部设备六自由度(6DOF)图腾子系统404A，并且示例可穿戴头部设备400A(其可以对应于可穿戴头部设备2102)包括图腾到可穿戴头部设备6DOF子系统404B。在示例中，6DOF图腾子系统404A和6DOF子系统404B合作来确定手持式控制器400B相对于可穿戴头部设备400A的六个坐标(例如，在三个平移方向上的偏移和沿着三个轴的旋转)。六个自由度可以相对于可穿戴头部设备400A的坐标系表示。三个平移偏移可以表示为这样的坐标系中的X、Y和Z偏移、平移矩阵、或某种其他表示。旋转自由度可以表示为偏航、俯仰和滚动旋转的序列、旋转矩阵、四元数或某种其他表示。在一些示例中，可穿戴头部设备400A；包括在可穿戴头部设备400A中的一个或多个深度相机444(和/或一个或多个非深度相机)；和/或一个或多个光学目标(例如，如上文所描述的手持式控制器400B的按钮450，或包括在手持式控制器400B中的专用光学目标)可以用于6DOF跟踪。在一些示例中，如上文所描述的，手持式控制器400B可以包括相机；并且可穿戴头部设备400A可以包括用于结合相机进行光学跟踪的光学目标。在一些示例中，可穿戴头部设备400A和手持式控制器400B各自包括一组三个正交取向的螺线管，其用于无线发送和接收三个可区分的信号。通过测量用于接收的线圈中的每一个中接收的该三个可区分信号的相对幅度，可以确定可穿戴头部设备400A相对于手持式控制器400B的6DOF。此外，6DOF图腾子系统404A可以包括惯性测量单元(IMU)，该惯性测量单元(IMU)可用于提供关于手持式控制器400B的快速运动的改进的准确度和/或更及时的信息。
在一些示例中，可能变得需要将来自局部坐标空间(例如，相对于可穿戴头部设备400A固定的坐标空间)的坐标变换到惯性坐标空间(例如，相对于真实环境固定的坐标空间)，例如以便补偿可穿戴头部设备400A相对于坐标系108的运动。例如，这样的变换可能对于可穿戴头部设备400A的显示器进行以下内容是必需的：将虚拟对象呈现在相对于真实环境的期望位置和取向处(例如，坐在真实椅子中、面向前的虚拟人，而不管可穿戴头部设备的位置和取向)，而不是在显示器上的固定位置和取向处(例如，在显示器的右下角的相同位置处)，以保持虚拟对象存在于真实环境中的错觉(并且例如当可穿戴头部设备400A移动和旋转时不显得不自然地定位在真实环境中)。在一些示例中，坐标空间之间的补偿变换可以通过使用SLAM和/或视觉里程计程序处理来自深度相机444的影像确定，以便确定可穿戴头部设备400A相对于坐标系108的变换。在图4所示的示例中，深度相机444耦合到SLAM/视觉里程计块406并且可以向块406提供影像。SLAM/视觉里程计块406实施方式可以包括处理器，该处理器被配置为处理该影像并且确定用户的头部的位置和取向，其然后可以用于识别头部坐标空间与另一坐标空间(例如，惯性坐标空间)之间的变换。类似地，在一些示例中，从IMU 409获得关于用户的头部姿势和位置的信息的附加源。来自IMU 409的信息可以与来自SLAM/视觉里程计块406的信息集成以提供关于用户的头部姿势和位置的快速调节的经改进的准确度和/或更及时的信息。
在一些示例中，深度相机444可以将3D影像供应给手势跟踪器411，该手势跟踪器411可以在可穿戴头部设备400A的处理器中实施。手势跟踪器411可以识别用户的手势，例如通过将从深度相机444接收的3D影像与表示手势的存储的图案匹配。识别用户的手势的其他适合的技术将是明显的。
在一些示例中，一个或多个处理器416可以被配置为从可穿戴头部设备的6DOF可穿戴头部设备子系统404B、IMU 409、SLAM/视觉里程计块406、深度相机444和/或手势跟踪器411接收数据。处理器416还可以发送和接收来自6DOF图腾系统404A的控制信号。处理器416可以无线耦合到6DOF图腾系统404A，诸如在手持式控制器400B不受限的示例中。处理器416还可以与附加组件通信，诸如音频-视觉内容存储器418、图形处理单元(GPU)420、和/或数字信号处理器(DSP)音频空间音响422。DSP音频空间音响422可以耦合到头部相关传递函数(HRTF)存储器425。GPU 420可以包括耦合到左成影像调制光源424的左通道输出和耦合到右成影像调制光源426的右通道输出。GPU 420可以将立体图像数据输出到成影像调制光源424、426，例如如上文相对于图2A-2D所描述的。DSP音频空间音响422可以向左扬声器412和/或右扬声器414输出音频。DSP音频空间音响422可以从处理器419接收指示从用户到虚拟声源的方向矢量(其可以由用户移动，例如，经由手持式控制器320)的输入。基于方向矢量，DSP音频空间音响422可以确定对应的HRTF(例如，通过访问HRTF、或通过内插多个HRTF)。DSP音频空间音响422然后可以将所确定的HRTF应用到音频信号，诸如对应于由虚拟对象生成的虚拟声音的音频信号。这可以通过并入用户相对于混合现实环境中的虚拟声音的相对位置和取向—即，通过呈现与该虚拟声音将听起来像什么(如果其是真实环境中的真实声音)的用户期望相匹配的虚拟声音来提高虚拟声音的可信度和真实性。
在一些示例中，诸如图4所示，处理器416、GPU 420、DSP音频空间音响422、HRTF存储器425和音频/视觉内容存储器418中的一个或多个可以包括在辅助单元400C中(其可以对应于上文所描述的辅助单元320)。辅助单元400C可以包括对其组件供电和/或向可穿戴头部设备400A或手持式控制器400B供电的电池427。将这样的组件包括在可安装到用户的腰部的辅助单元中可以限制可穿戴头部设备400A的大小和重量，其进而可以减少用户的头部和颈部的疲劳。
虽然图4呈现了对应于示例混合现实系统的各种组件的元件，但是这些组件的各种其他适合的布置对于本领域技术人员来说将变得明显。例如，在图4中呈现为与辅助单元400C相关联的元件可以替代地与可穿戴头部设备400A或手持式控制器400B相关联。此外，一些混合现实系统可以完全放弃手持式控制器400B或辅助单元400C。这样的改变和修改将被理解为包括在所公开的示例的范围内。
虚拟声源
如上文所描述的，MRE(诸如经由混合现实系统(例如，上文所描述的混合现实系统200)体验的)可以向用户呈现可以对应于“听者”坐标的音频信号，使得音频信号表示用户可以在该听者坐标处听到什么。一些音频信号可以对应于MRE中的声源的位置和/或取向；即，信号可以被呈现为使得其看起来源于MRE中的声源的位置，并且在MRE中的声源的取向的方向上传播。在一些情况下，这样的音频信号可以被认为是虚拟的，因为它们对应于虚拟环境中的虚拟内容，并且不一定对应于真实环境中的真实声音。与虚拟内容相关联的声音可以通过处理存储的声音样本合成或者产生。虚拟音频信号可以作为可由人耳检测到的真实音频信号呈现给用户，例如如经由图2A-2D所示的可穿戴头部设备2102的扬声器2134和2136生成的。
声源可以对应于真实对象和/或虚拟对象。例如，虚拟对象(例如，图1C的虚拟怪物132)可以发射MRE中的音频信号，该音频信号在MRE中被表示为虚拟音频信号，并且作为真实音频信号呈现给用户。例如，图1C的虚拟怪物132可以发出对应于怪物的语音(例如，对话)或声音效果的虚拟声音。类似地，真实对象(例如，图1C的真实对象122A)可以发出MRE中的虚拟声音，该虚拟声音在MRE中被表示为虚拟音频信号，并且作为真实音频信号呈现给用户。例如，真实灯122A可以发出对应于灯被接通或关断的声音效果的虚拟声音—即使灯在真实环境中未被接通或关断。(灯的亮度可以使用目镜2108、2110和成影像调制光源2124、2126虚拟产生。)虚拟声音可以对应于声源(无论真实的还是虚拟的)的位置和取向。例如，如果虚拟声音被作为真实音频信号呈现给用户(例如，经由扬声器2134和2136)，则用户可以将虚拟声源感知为源于声源的位置并且在声源的取向的方向上行进。(声源在本文中可以被称为“虚拟声源”，即使声音本身可以对应于真实对象，诸如上文所描述的。)
在一些虚拟或混合现实环境中，当用户被呈现有音频信号时，诸如上文所描述的，他们可能体验迅速并且准确地识别虚拟环境中的音频信号源的困难—即使识别真实环境中的音频源是直观自然的能力。期望改进用户感知MRE中的声源的位置或取向的能力，使得虚拟或混合现实环境中的用户的体验更紧密地类似于现实世界中的用户的体验。
类似地，一些虚拟或混合现实环境遭受环境感觉不真实或可信的感知的问题。针对该感知的一个原因在于，音频和视觉线索在虚拟环境中不总是彼此匹配。例如，如果用户位于在MRE中的大砖墙后面，则用户可能期望来自砖墙后面的声音比源于用户旁边的声音更安静和更听不清。该期望基于现实世界中我们自己的听觉体验，其中，当由大的密集对象阻挡时，声音变得安静和听不清。当用户被呈现有据称源于砖墙后面但是强劲并以全音量呈现的音频信号时，用户在砖墙后面—或声音源于其后面—的错觉被损害。整个虚拟体验可能感觉是假的以及不真实的，部分因为它不基于现实世界交互适合我们自己的期望。进一步地，在一些情况下，“恐怖谷”问题出现，其中，虚拟体验和真实体验之间的甚至细微的差异可能引起不舒适的感觉。通过在MRE中呈现看起来实际与用户的环境中的对象交互—甚至以细微的方式—的音频信号来改进用户的体验是期望的。这样的音频信号与我们自己的期望越一致，基于现实世界体验，用户的MRE体验将越沉浸并且啮合。
人脑检测声源的位置和取向的一种方式是通过解释由左耳和右耳接收的声音之间的差异。例如，如果真实环境中的音频信号在其到达右耳之前到达用户的左耳—人类听觉系统可以通过例如识别左耳信号与右耳信号之间的时间延迟或相移来确定—大脑可以辨别音频信号源在用户的左边。类似地，由于音频信号的有效功率通常随着距离减小，并且可以由用户自己的头部阻挡，因此如果音频信号对于左耳比对于右耳显得更大声，则大脑可以辨别源在用户的左边。类似地，我们的大脑辨别左耳信号与右耳信号之间的频率特性上的差异可以指示源的位置或音频信号行进的方向。
人脑下意识执行的以上技术通过处理立体声音频信号来操作—特别地，通过分析由单个声源生成和在左耳和右耳处接收的相应音频信号之间的差异(例如，在幅度、相位、频率特性方面)，如果有的话。作为人类，我们自然地依赖于这些立体声听觉技术以迅速并且准确地识别我们的真实环境中的声音来自何处，并且其在什么方向上行进。我们还依赖于这样的立体声技术以更好地理解我们周围的世界—例如，声源是否在附近的墙的另一侧，并且如果是，该墙多么厚，并且它由什么材料制成。
可以期望的是，对于MRE利用我们的大脑在现实世界中使用的相同自然立体声技术以用户可以迅速定位虚拟声源的方式令人信服地将虚拟声源放置在MRE中。同样地，可以期望的是，使用这些相同技术来增强这样的虚拟声源与MRE中的真实和虚拟内容共存的感觉—例如，通过呈现像立体声音频信号在现实世界中的表现一样的对应于那些声源的立体声音频信号。通过向MRE的用户呈现唤起我们的日常生活的音频体验的音频体验，MRE可以增强在与MRE接合时我们的沉浸感和连通性。
图5A和5B分别描绘了示例混合现实环境500(其可以对应于图1C的混合现实环境150)的透视图和俯视图。在MRE 500中，用户501具有左耳502和右耳504。在示出的示例中，用户501穿戴可穿戴头部设备510(其可以对应于可穿戴头部设备2102)，其包括左扬声器512和右扬声器514(其可以分别对应于扬声器2134和2136)。左扬声器512被配置为将音频信号呈现给左耳502，并且右扬声器514被配置为将音频信号呈现给右耳504。
示例MRE 500包括虚拟声源520，该虚拟声源520可以具有MRE 500的坐标系中的位置和取向。在一些示例中，虚拟声源520可以是虚拟对象(例如，图1C中的虚拟对象122A)并且可以与真实对象(例如，图1C中的真实对象122B)相关联。因此，虚拟声源520可以具有上文相对于虚拟对象所描述的任何或全部特性。
在一些示例中，虚拟声源520可以与一个或多个物理参数相关联，诸如尺寸、形状、质量或材料。在一些示例中，虚拟声源520的取向可以对应于一个或多个这样的物理参数；例如，在虚拟声源520对应于具有扬声器椎体的扬声器的示例中，虚拟声源520的取向可以对应于扬声器椎体的轴。在虚拟声源520与真实对象相关联的示例中，与虚拟声源520相关联的物理参数可以从真实对象的一个或多个物理参数导出。例如，如果真实对象是具有十二英寸扬声器椎体的扬声器，则虚拟声源520可以具有对应于十二英寸扬声器椎体的物理参数(例如，因为虚拟对象122B可以从MRE150的对应的真实对象122A导出物理参数或者尺寸)。
在一些示例中，虚拟声源520可以与一个或多个虚拟参数相关联，该一个或多个虚拟参数可以影响音频信号或与虚拟声源相关联的其他信号或特性。虚拟参数可以包括MRE的坐标空间中的空间特性(例如，位置、取向、形状、尺寸)；视觉特性(例如，颜色、透明度、反射率)；物理特性(例如，密度；弹性；抗拉强度；温度；平滑度；湿度；共振；导电性)；或对象的其他适合的特性。混合现实系统可以确定这样的参数，并且因此生成具有那些参数的虚拟对象。这些虚拟对象可以根据这些参数呈现给用户(例如，通过可穿戴头部设备510)。
在MRE 500的一个示例中，虚拟音频信号530在虚拟声源的位置处由虚拟声源530发出，并且从虚拟声源向外传播。在某些实例中，各向异性方向性图案(例如，展现出频率相关各向异性)可以与虚拟声源相关联，并且在某个方向上(例如，朝向用户501的方向)发出的虚拟音频信号可以基于方向性图案来确定。虚拟音频信号不可直接由MRE的用户感知，但是可以通过一个或多个扬声器(例如，扬声器512或514)转换为真实音频信号，该一个或多个扬声器产生可由用户听到的真实音频信号。例如，虚拟音频信号可以是例如通过与MRE相关联的处理器/或存储器对数字音频数据的计算表示，该数字音频数据可以经由数字音频转换器转换为模拟信号；并且然后放大并且用于驱动扬声器，从而产生可由用户感知的声音。这样的计算表示可以包括例如虚拟音频信号所源于的MRE中的坐标；虚拟音频信号沿着其传播的MRE中的矢量；方向性，虚拟音频信号所源于的时间；虚拟音频信号传播的速度；或其他适合的特性。
MRE还可以包括一个或多个听者坐标的表示，每个听者坐标对应于虚拟音频信可以被感知的坐标系中的位置(“听者”)。在一些示例中，MRE还可以包括一个或多个听者矢量的表示，表示听者的取向(例如，用于使用在确定可能受听者面向的方向影响的音频信号中)。在MRE中，听者坐标可以对应于用户的耳朵的实际位置，该实际位置可以使用SLAM、视觉里程计和/或借助于IMU(例如，上文相对于图4所描述的IMU 409)确定。在一些示例中，MRE可以包括MRE的坐标系中分别对应于用户的左耳和右耳的位置的左听者坐标和右听者坐标。通过确定从虚拟声源到听者坐标的虚拟音频信号的矢量，可以确定真实音频信号，该真实音频信号对应于具有该坐标处的耳朵的人类听者将如何感知虚拟音频信号。
在一些示例中，虚拟音频信号包括基础声音数据(例如，表示音频波形的计算机文件)和可以应用于该基础声音数据的一个或多个参数。这样的参数可以对应于基础声音的衰减(例如，音量下降)；基础声音的滤波(例如，低通滤波器)；基础声音的时间延迟(例如，相移)；用于应用人工混响和回波效应的混响参数；用于应用基于时间的调制效应的压控振荡器(VCO)参数；基础声音的音高调制(例如，以模拟多普勒效应)；或其他适合的参数。在一些示例中，这些参数可以是听者坐标与虚拟音频源的关系的函数。例如，参数可以将真实音频信号的衰减定义为从听者坐标到虚拟音频源的位置的距离的递减函数—即，音频信号的增益随着从听者到虚拟音频源的距离增加而减小。作为另一示例，参数可以将应用到虚拟音频信号的低通滤波器定义为听者坐标(和/或听者矢量的角度)到虚拟音频信号的传播矢量的距离的函数；例如，远离虚拟音频信号的听者可能感知比更接近信号的听者将感知的更少的信号中的高频功率。作为另一示例，参数可以基于听者坐标与虚拟音频源之间的距离定义所应用的时间延迟(例如，相移)。在一些示例中，虚拟音频信号的处理可以使用图4的DSP音频空间音响422计算，该DSP音频空间音响422可以利用HRTF基于用户的头部的位置和取向来呈现音频信号。
虚拟音频信号参数可能受虚拟或真实对象影响—声遮挡器—虚拟音频信号在其到听者坐标的路上穿过该声遮挡器。(如本文所使用的，虚拟或真实对象包括MRE中的虚拟或真实对象的任何适合的表示。)例如，如果虚拟音频信号和MRE中的虚拟墙相交(例如，由其阻档)，则MRE可以将衰减应用到虚拟音频信号(导致信号显得对听者更安静)。MRE还可以将低通滤波器应用到虚拟音频信号，导致信号随着高频含量转降而显得更听不清。这些效应与听到来自墙后面的声音的我们的预期一致：真实环境中的墙的特性使得来自墙的另一侧的声音更安静，并且具有更少的高频含量，因为墙阻档源于墙的相对侧的声波到达听者。将这样的参数应用到音频信号可以基于虚拟墙的特性：例如，更厚或对应于更密集的材料的虚拟墙可能导致比更薄或对应于更不密集的材料的虚拟墙更大程度的衰减或低通滤波。在一些情况下，虚拟对象可以将相移或附加效应应用到虚拟音频信号。虚拟对象具有的对虚拟音频信号的影响可以通过虚拟对象的物理建模确定—例如，如果虚拟对象对应于特定材料(例如，砖、铝、水)，则可以基于在现实世界中存在该材料的情况下基于音频信号的已知透射特性来施加影响。
在一些示例中，和虚拟音频信号相交的虚拟对象可以对应于真实对象(例如，诸如真实对象122A、124A和126A对应于图1C中的虚拟对象122B、124B和126B)。在一些示例中，这样的虚拟对象可以不对应于真实对象(例如，诸如图1C中的虚拟怪物132)。在虚拟对象对应于真实对象的情况下，虚拟对象可以采用对应于那些真实对象的特性的参数(例如，尺寸、材料)。
在一些示例中，虚拟音频信号可以与不具有对应的虚拟对象的真实对象相交。例如，真实对象的特性(例如，位置、取向、尺寸、材料)可以由传感器(诸如被附接到可穿戴头部设备510)确定，该特性可以用于处理虚拟音频信号，诸如上文相对于虚拟对象遮挡器所描述的。
立体声效应
如上所述，通过确定从虚拟声源到听者坐标的虚拟音频信号的矢量，可以确定真实音频信号，该真实音频信号对应于具有该听者坐标处的耳朵的人类听者将如何感知虚拟音频信号。在一些示例中，可以使用左立体声听者坐标和右立体声听者坐标(对应于左耳和右耳)而不是仅单个听者坐标，这允许真实对象对音频信号的影响—例如，基于音频信号与真实对象的交互的衰减或滤波—针对每只耳朵单独确定。这可以通过模仿现实世界立体声音频体验增强虚拟环境的真实性，其中，在每只耳朵中接收不同的音频信号可以帮助我们理解我们的周围环境中的声音。在左耳和右耳体验不同影响的音频信号的情况下，这样的效应可能是特别显著的，其中，真实对象非常接近于用户。例如，如果用户501正在正猫叫的虚拟猫处的真实对象的角落周围偷看，则猫的猫叫声可以针对每只耳朵不同地确定和呈现。即，对于位于真实对象后面的耳朵的声音可以反映位于猫与耳朵之间的真实对象可以衰减和过滤如由该耳朵听到的猫的声音；而对于位于真实对象之外的另一耳朵的声音可以反映真实对象不执行这样的衰减或者过滤。这样的声音可以经由可穿戴头部设备510的用户512、514来呈现。
诸如上文所描述的，期望的立体声听觉效应可以通过确定两个这样的矢量—每只耳朵一个—并且识别针对每只耳朵的独特虚拟音频信号来模拟。这些两个独特虚拟音频信号中的每一个然后可以转换为真实音频信号，并且经由与该耳朵相关联的扬声器呈现给相应耳朵。用户的大脑将以它将处理现实世界中的普通立体声音频信号的相同方式处理那些真实音频信号，如上文所描述的。
这由图5A和5B中的示例MRE 500示出。MRE 500包括位于虚拟声源520与用户501之间的墙540。在一些示例中，墙540可以是真实对象，与图1C的真实对象126A相同。在一些示例中，墙540可以是虚拟对象，诸如图1C的虚拟对象122B；进一步地，在一些这样的示例中，该虚拟对象可以对应于真实对象，诸如图1C的真实对象122A。
在墙540是真实对象的示例中，墙540可以例如使用可穿戴头部设备510的深度相机或其他传感器检测。这可以识别真实对象的一个或多个特性，诸如其位置、取向、视觉特性或材料特性。这些特性可以与墙540相关联并且包括在维持更新的MRE 500中，诸如上文所描述的。这些特性然后可以用于根据那些虚拟音频信号将如何受墙540影响来处理虚拟音频信号，如下文所描述的。在一些示例中，诸如助手数据的虚拟内容可以与真实对象相关联，以便促进处理由真实对象影响的虚拟音频信号。例如，助手数据可以包括类似真实对象的几何图元；与真实对象相关联的二维图像数据；或者识别与真实对象相关联的一个或多个特性的定制资产类型。
在墙540是虚拟对象的一些示例中，虚拟对象可以被计算，以对应于真实对象，该真实对象可以如上文所描述地检测。例如，关于图1C，真实对象122A可以由可穿戴头部设备510检测，并且可以生成虚拟对象122B以对应于真实对象122A的一个或多个特性，如上文所描述的。此外，一个或多个特性可以与不从其对应的真实对象导出的虚拟对象相关联。识别与对应的真实对象相关联的虚拟对象的优点在于，虚拟对象可以用于简化与墙540相关联的计算。例如，虚拟对象可以比对应的真实对象几何上更简单。然而，在墙540是虚拟对象的一些示例中，可能不存在对应的真实对象，并且墙540可以由软件(例如，指定特定位置和取向处的墙540的存在的软件脚本)确定。与墙540相关联的特性可以包括在维持和更新MRE500中，诸如上文所描述的。这些特性然后可以用于根据那些虚拟音频信号将如何受墙540影响来处理虚拟音频信号，如下文所描述的。
墙540(无论真实的还是虚拟的)可以被认为是声音遮挡物，如上文所描述的。如图5B所示的俯视图中看到的，两个矢量532和534可以表示MRE 500中的从虚拟声源520到用户的左耳502和右耳504的虚拟音频信号530的相应路径。矢量532和534可以分别对应于待呈现给左耳和右耳的独特的左音频信号和右音频信号。如示例中所示，矢量534(对应于右耳504)和墙540相交，而矢量532(对应于左耳502)可能不和墙540相交。因此，墙540可以向右音频信号赋予与向左音频信号不同的特性。例如，右音频信号可以使衰减和低通滤波应用，这对应于墙540，而左音频信号不是。在一些示例中，左音频信号可以相对于右音频信号相移或者时移，这对应于从左耳502到虚拟声源520比从右耳504到虚拟声源520更大的距离(其将导致来自该声源的音频信号到达左耳502比到达右耳504稍微更晚)。用户的听觉系统可以解释该相移或者时移，如其在现实世界中那样，以帮助识别该虚拟声源520在MRE 500中的用户的一侧(例如，右侧)。
这些立体声差异的相对重要性可以取决于讨论中的信号的频谱的差异。例如，相移可以对于定位高频信号比定位低频信号(即，具有大约听者的头部的宽度的波长的信号)更有用。通过这样的低频信号，左耳与右耳之间的到达时间差异可能对于定位这些信号源更有用。
在未示出在图5A-5B中的一些示例中，诸如墙540的对象(无论真实的还是虚拟的)不一定位于用户501与虚拟声源520之间。在这样的示例中，诸如在墙540位于用户后面的情况下，墙可以经由虚拟音频信号530在墙540上并且朝向左耳502和右耳504的反射向左音频信号和右音频信号赋予不同的特性。
MRE 500相对于一些环境(诸如由常规显示监视器和房间扬声器呈现的视频游戏)的优点在于，MRE 500中的用户的耳朵的实际位置可以被确定。如上文相对于图4所描述的，可穿戴头部设备510可以被配置为识别用户501的位置，例如，通过SLAM、视觉里程计技术、和/或传感器和测量硬件(诸如IMU)的使用。在一些示例中，可穿戴头部设备510可以被配置为直接检测用户的耳朵的相应位置(例如，经由与耳朵502和504相关联的传感器、扬声器512和514、或边撑臂(图2A-2D所示的边撑臂2130和2132))。在一些示例中，可穿戴头部设备510可以被配置为检测用户的头部的位置，并且基于该位置来近似用户的耳朵的相应位置(例如，通过估计或者检测用户的头部的宽度，并且将耳朵的位置识别为沿着头部的周围定位并且由头部的宽度分离)。通过识别用户的耳朵的位置，音频信号可以呈现给对应于那些特定位置的耳朵。与基于可以或可以不对应于用户的实际耳朵的音频接收器坐标(例如，虚拟3D环境中的虚拟相机的原点坐标)来确定音频信号的技术相比，确定耳朵的位置并且基于该位置呈现音频信号可以增强MRE中的用户的沉浸感和对MRE的连通性。
通过分别经由对应于左听者位置和右听者位置(例如，MRE 500中的用户的耳朵502和504的位置)的扬声器512和514呈现有独特且单独确定的左音频信号和右音频信号，用户501能够识别虚拟声源520的位置和/或取向。这是由于用户的听觉系统自然地将左音频信号和右音频信号之间的差异(例如，在增益、频率和相位方面)归属于虚拟声源520的位置和取向，连同声遮挡物(诸如墙540)的存在一起。因此，这些立体声音频线索增强对MRE500中的虚拟声源520和墙540的用户501的意识。这其中，所述第二音501的与MRE 500接合的感觉。例如，如果虚拟声源520对应于MRE 500中的重要的对象—例如，对用户501说话的虚拟角色—用户501可以使用立体声音频信号迅速地识别该对象的位置。这进而可以减少关于用户501识别对象的位置的认知负担，并且还可以减少MRE501上的计算负担—例如，处理器和/或存储器(例如，图4的处理器416和/或存储器418)可能不再需要向用户501呈现高保真度视觉线索(例如，经由高分辨率资产诸如3D模型和纹理，和光照效果)来识别对象的位置，因为音频线索肩负更多工作。
诸如上文所描述的非对称遮挡效应可能在以下情况中是特别显著的：其中，真实或虚拟对象(诸如墙540)物理上接近于用户的面部；或者其中，真实或虚拟对象遮挡一只耳朵，但是没有遮挡另一只耳朵(诸如当用户的面部的中心与墙540的边缘对准时，如图5B中看到的)。为了得到效果，可以利用这些情况。例如，在MRE 500中，用户501可以隐藏在墙540的边缘后面，偷窥角落周围以基于由墙在该对象的声发射(例如，虚拟音频信号530)上赋予的立体声音频效应来定位虚拟对象(例如，对应于虚拟声源520)。这可以允许例如基于MRE500的游戏环境中的战术游戏；用户501检查虚拟房间的不同区域中的合适的声学的建筑结构设计应用；或当用户501探索各种音频源(例如，虚拟鸟唱歌)与他或她的环境的互动时的教育或创造性利益。
在一些示例中，左音频信号和右音频信号中的每一个可能不独立地确定，而是可以基于另一个或者共同音频源。例如，在单个音频源生成左音频信号和右音频信号二者的情况下，左右音频信号和右音频信号可以被视为不完全独立的，而是经由单个音频源彼此声学相关。
图6示出了用于将左音频信号和右音频信号呈现给MRE的用户(诸如MRE 500的用户501)的示例过程600。示例过程600可以通过可穿戴头部设备510的处理器(例如，对应于图4的处理器416)和/或DSP模块(例如，对应于图4的DSP音频空间音响422)实现。
在过程600的阶段605处，确定第一耳朵(例如，用户的左耳502)和第二耳朵(例如，用户的右耳504)的相应位置(例如，听者坐标和/或矢量)。这些位置可以使用可穿戴头部设备510的传感器确定，如上文所描述的。这样的坐标可以相对于本地于可穿戴头部设备的用户坐标系(例如，上文相对于图1A所描述的用户坐标系114)。在这样的用户坐标系中，这样的坐标系的原点可以近似对应于用户的头部的中心—简化了左虚拟听者和右虚拟听者的位置的表示。使用SLAM、视觉里程计和/或IMU，用户坐标系114相对于环境坐标系108的位移和旋转(例如，以六自由度)可以实时更新。
在阶段610处，可以定义可以对应于虚拟声源520的第一虚拟声源。在一些示例中，虚拟声源可以对应于虚拟或真实对象，该虚拟或真实对象可以经由可穿戴头部设备510的深度相机或传感器来识别和定位。在一些示例中，虚拟对象可以对应于真实对象，诸如上文所描述的。例如，虚拟对象可以具有对应的真实对象的一个或多个特性(例如，位置、取向、材料、视觉特性、声学特性)。虚拟声源的位置可以建立在坐标系108中(图1A-1C)。
在阶段620A处，可以识别第一虚拟音频信号，该第一虚拟音频信号可以对应于沿着矢量532传播并且与第一虚拟听者(例如，第一近似耳朵位置)相交的虚拟音频信号530。例如，在确定声音信号通过第一虚拟声源在第一时间t处生成时，可以计算从第一声源到第一虚拟听者的矢量。第一虚拟音频信号可以与基础音频数据(例如，波形文件)以及可选地一个或多个参数相关联来修改基础音频数据，如上文所描述的。类似地，在阶段620B处，可以识别第二虚拟音频信号，该第二虚拟音频信号可以对应于沿着矢量534传播并且与第二虚拟听者(例如，第二近似耳朵位置)相交的虚拟音频信号530。
在阶段630A处，识别由第一虚拟音频信号相交的真实或虚拟对象(其中的一个可以例如对应于墙540)。例如，可以沿着MRE 500中的从第一声源到第一虚拟听者的矢量来计算迹线，并且可以识别与迹线相交的真实或虚拟对象(在一些示例中，连同相交的参数一起，诸如真实或虚拟对象相交的位置和矢量)。在一些情况下，可能不存在这样的真实或虚拟对象。类似地，在阶段630B处，识别由第二虚拟音频信号相交的真实或虚拟对象。此外，在一些情况下，可能不存在这样的真实或虚拟对象。
在一些示例中，在阶段630A或阶段630B处识别的真实对象可以使用与可穿戴头部设备510相关联的深度相机或其他传感器识别。在一些示例中，在阶段630A或阶段630B处识别的虚拟对象可以对应于诸如相对于图1C所描述的真实对象和真实对象122A、124A和126A，以及对应的虚拟对象122B、124B和126B。在这样的示例中，这样的真实对象可以使用与可穿戴头部设备510相关联的深度相机或其他传感器识别，并且可以生成虚拟对象以对应于那些真实对象，诸如上文所描述的。
在阶段640A处，在阶段630A处识别的每个真实或虚拟对象被处理以在阶段650A处识别与该真实或虚拟对象相关联的任何信号修改参数。例如，如上文所描述的，这样的信号修改参数可以包括用于确定待应用到第一虚拟音频信号的衰减、滤波、相移、基于时间的效应(例如，延迟、混响、调制)和/或其他效应的函数。如上文所描述的，这些参数可以取决于与真实或虚拟对象相关联的其他参数，诸如该真实或虚拟对象的尺寸、形状或材料。在阶段660A处，那些信号修改参数应用于第一虚拟音频信号。例如，如果信号修改参数指定第一虚拟音频信号应当以随着听者坐标与音频源之间的距离线性增加的系数来衰减，则该系数可以在阶段660A处被计算(即，通过计算在MRE 500中第一耳朵与第一虚拟声源之间的距离)；并且被应用于第一虚拟音频信号(即，通过将信号的幅度乘以产生的增益系数)。在一些示例中，信号修改参数可以使用图4的DSP音频空间音响422来确定或者应用，该DSP音频空间音响422可以利用HRTF基于用户的头部的位置和取向来修改音频信号，诸如上文所描述的。一旦在阶段630A处识别的所有真实或虚拟对象已经在阶段660A处被应用，则处理的第一虚拟音频信号(例如，表示所有所识别的真实或虚拟对象的信号修改参数)由阶段640A输出。类似地，在阶段640B处，在阶段630B处识别的每个真实或虚拟对象被处理以识别信号修改参数(阶段650B)，并且将那些信号修改参数应用到第二虚拟音频信号(阶段660B)。一旦在阶段630B处识别的所有真实或虚拟对象已经在阶段660B处应用，则处理的第一虚拟音频信号(例如，表示所有所识别的真实或虚拟对象的信号修改参数)由阶段640B输出。
在阶段670A处，从阶段640A输出的经处理的第一虚拟音频信号可以用于确定可以呈现给第一耳朵的第一音频信号(例如，左通道音频信号)。例如，在阶段670A处，第一虚拟音频信号可以与其他左通道音频信号(例如，其他虚拟音频信号、音乐或对话)混合。在一些示例中，诸如在没有其他声音的简单混合现实环境中，阶段670A可以执行很少处理或不执行处理来根据经处理的第一虚拟音频信号来确定第一音频信号。阶段670A可以包含任何适合的立体声混合技术。类似地，在阶段680A处，从阶段640B输出的经处理的第二虚拟音频信号可以用于确定可以呈现给第二耳朵的第二音频信号(例如，右通道音频信号)。
在阶段680A和阶段680B处，分别由阶段670A和670B输出的音频信号分别呈现给第一耳朵和第二耳朵。例如，左和右立体声信号可以分别转换为放大并且呈现给左和右扬声器512和514的左和右模拟信号(例如，通过图4的和DSP音频空间音响422)。在左和右扬声器512和514分别被配置为声学耦合到左耳502和右耳504的情况下，左耳502和右耳504可以被呈现有与其他立体声信号足够隔离的相应左和右立体声信号，从而以立体声效应发音。
图7示出了可以用于实现上文所描述的一个或多个示例的示例增强现实处理系统700的功能框图。示例系统700可以在混合现实系统中实现，诸如上文所描述的混合现实系统112。图7示出了系统700的音频结构的各方面。在示出的示例中，游戏引擎702生成虚拟3D内容704并模拟涉及虚拟3D内容704的事件(该事件可以包括虚拟3D内容704与真实对象的交互)。虚拟3D内容704可以包括例如静态虚拟对象；具有功能的虚拟对象，例如，虚拟乐器；虚拟动物；和虚拟人。在示出的示例中，虚拟3D内容704包括局部虚拟声源706。局部虚拟声源706可以包括对应于例如虚拟鸟的鸣叫的声源；由由用户、或由虚拟人演奏的虚拟乐器发出的声音；或虚拟人的语音。
在高度的真实性的情况下，示例增强现实处理系统700可以将虚拟3D内容704集成到现实世界中。例如，与局部虚拟声源相关联的音频可以位于距用户一定距离处，以及在如果音频是真实音频信号则它将由真实对象部分阻挡的位置处。然而，在示例系统700中，音频可以由左和右扬声器412、414、2134、2136(其可以例如属于混合现实系统112的可穿戴头部设备400A)输出。仅从扬声器2134、2136行进短距离到用户的耳朵中的音频物理上不受阻挡影响。然而，如下文所描述的，系统700可以改变音频以考虑阻挡的效应。
在示例系统700中，用户坐标确定子系统708可以适合地物理安置在可穿戴头部设备200、400A中。用户坐标确定子系统708可以维持关于可穿戴头部设备相对于现实世界环境的位置(例如，X、Y和Z坐标)和取向(例如，滚动、俯仰、偏航；四元数)的信息。在通常相对于现实世界固定的环境坐标系108(图1A-1C)中定义虚拟内容。然而，在示例中，相同虚拟内容经由目镜408、410和扬声器412、414、2134、2136输出，目镜408、410和扬声器412、414、2134、2136通常被固定到可穿戴头部设备200、400A并且当用户的头部移动时相对于现实世界移动。当可穿戴头部设备200、400A位移或者旋转时，虚拟音频的空间化可以调节，并且虚拟内容的视觉显示应当重新渲染，以考虑位移和/或旋转。用户坐标确定子系统708可以包括惯性测量单元(IMU)710，该惯性测量单元(IMU)710可以包括提供加速度的测量结果(根据该加速度的测量结果，可以通过积分来确定位移)的三个正交加速度计集(未示出在图7中)；以及提供旋转的测量结果(根据该旋转的测量结果，可以通过积分来确定取向)的三个正交陀螺仪(未示出在图7中)。为了调节从IMU 710获得的位移和取向的漂移误差，同时定位和地图创建(SLAM)和/或视觉里程计块406可以包括在用户坐标确定系统708中。如图4所示，深度相机444可以耦合到SLAM和/或视觉里程计块406，并且为SLAM和/或视觉里程计块406提供影像输入。
空间区别的真实遮挡对象传感器子系统712(“遮挡子系统”)被包括在示例增强现实处理系统700中。遮挡子系统712可以包括例如深度相机444；非深度相机(未示出在图7中)；声呐(SONAR)传感器(未示出在图7中)；和/或光探测和测距(LIDAR)传感器(未示出在图7中)。遮挡子系统712可以具有足以在影响对应于左和右听者位置的虚拟传播路径的阻挡之间区分的空间分辨率。例如，如果可穿戴头部设备200、400A的用户在发出虚拟声的虚拟对象(例如，形成角落的墙遮挡到用户的左耳的直接视线的而不遮挡到用户的右耳的直接视线的虚拟游戏对手)处的真实角落周围窥视，则遮挡子系统712可以以足够的分辨率感测该阻挡以确定仅到左耳的直接路径将被遮挡。在一些示例中，遮挡子系统712可以具有更大的空间分辨率并且可能能够确定遮挡的真实对象的尺寸(或立体角弦)和到遮挡的真实对象距离。
在图7所示的示例中，遮挡子系统712耦合到每通道(即，左和右音频通道)相交和阻挡范围计算器(在本文中，“阻挡计算器”)714。在示例中，用户坐标确定系统708和游戏引擎702还耦合到阻挡计算器714。阻挡计算器714可以接收来自游戏引擎702的虚拟音频源的坐标，来自用户坐标确定系统708的用户坐标，以及指示来自遮挡子系统712的阻挡的坐标(例如，可选地包括距离的角坐标)的信息。通过应用几何形状，阻挡计算器714可以确定是否存在从每个虚拟音频源到左和右听者位置中的每个听者位置的有阻挡或无阻挡的视线。虽然在图7中被示出为分离块，但是阻挡计算器714可以与游戏引擎702集成。在一些示例中，基于来自用户坐标确定系统708的信息，遮挡可以初始地由以用户为中心的坐标系中的遮挡子系统712感测，其中，遮挡的坐标被变换到环境坐标系108，用于分析阻挡几何形状的目的。在一些示例中，出于计算阻挡几何形状的目的，虚拟声源的坐标可以变换到以用户为中心的坐标系。在遮挡子系统712提供关于遮挡对象的空间分辨信息的一些示例中，阻挡计算器714可以确定关于由阻挡对象遮挡的视线的立体角的范围。可以通过应用更大的衰减和/或具有更大范围的高频分量的衰减来考虑具有更大的立体角范围的阻挡。
在一些示例中，局部虚拟声源706可以包括单声道音频信号或左和右空间化音频信号。这样的左和右空间化音频信号可以通过应用左和右头部相关传递函数(HRTF)来确定，左和右头部相关传递函数(HRTF)可以基于局部虚拟声源相对于用户的坐标来选择。在示例700中，游戏引擎702耦合到用户坐标确定系统708并且从用户坐标确定系统708接收用户的坐标(例如，位置和取向)。游戏引擎702本身可以确定虚拟声源的坐标(例如，响应于用户输入)，并且根据接收用户坐标，可以通过几何形状确定声源相对于用户的坐标。
在图7所示的示例中，阻挡计算器714耦合到滤波器激活和控制716。在一些示例中，滤波器激活和控制716耦合到左滤波器旁路开关718的左控制输入718A并且耦合到右滤波器旁路开关720的右控制输入720A。在一些示例中，如在示例系统700的其他组件的情况下，旁路开关718、720可以以软件实现。在示出的示例中，左滤波器旁路开关718接收来自游戏引擎702的空间化音频的左通道，并且右滤波器旁路开关720接收来自游戏引擎704的右空间化音频。在游戏引擎702输出单声道音频信号的一些示例中，旁路开关718、720二者可以接收同一单声道音频信号。
在图7所示的示例中，左旁路开关718的第一输出718B通过左阻挡滤波器722耦合到左数字模拟转换器(“左D/A”)724，并且左旁路开关718的第二输出718C耦合到左D/A 724(旁路左阻挡滤波器722)。类似地，在示例中，右旁路开关720的第一输出720B通过右阻挡滤波器726耦合到右数字模拟转换器(“右D/A”)728，并且第二输出720C耦合到右D/A 728(旁路右阻挡滤波器726)。
在图7所示的示例中，一组滤波器配置730可以用于(例如，通过滤波器激活和控制716)基于每通道相交和阻挡范围计算器722的输出来配置左阻挡滤波器722和/或右阻挡滤波器。在一些示例中，取代提供旁路开关718、720，可以使用阻挡滤波器722、726的非滤波穿过配置。阻挡滤波器722、726可以是时域或者频域滤波器。在滤波器是时域滤波器的示例中，每个滤波器配置可以包括一组抽头系数；在滤波器是频域滤波器的示例中，每个滤波器配置可以包括一组频带权重。在一些示例中，取代设置数量的预定滤波器配置，滤波器激活和控制716可以被配置(例如，以编程方式)为定义具有取决于遮挡的尺寸的某种衰减水平的滤波器。滤波器激活和控制716可以选择或者定义滤波器配置(例如，针对更大的阻挡更加衰减的配置)，和/或可以选择或者定义衰减更高频带的滤波器(例如，针对更大的阻挡，衰减到更大的程度以便模拟真实阻挡的效应)。
在图7所示的示例中，滤波器激活和控制716耦合到左阻挡滤波器722的控制输入722A和右阻挡滤波器726的控制输入726A。基于来自每通道相交和阻挡范围计算器714的输出，滤波器激活和控制716可以使用来自滤波器配置730的所选择的配置单独配置左阻挡滤波器722和右阻挡滤波器726。
在图7所示的示例中，左D/A 724耦合到左音频放大器732的输入732A，并且右D/A728耦合到右音频放大器734的输入734A。在示例中，左音频放大器732的输出732B耦合到左扬声器2134、412，并且右音频放大器734的输出734B耦合到右扬声器2136、414。
应注意，图7所示的示例功能框图的元件可以以任何适合的顺序布置—不必需是所示出的顺序。进一步地，图7中的示例中所示出的一些元件(例如，旁路开关718、720)可以酌情省略。本公开不限于示例中示出的功能组件的任何特定顺序或者布置。
本公开的一些示例涉及一种呈现混合现实环境中的音频信号的方法，该方法包括：识别混合现实环境中的第一耳朵听者位置；识别混合现实环境中的第二耳朵听者位置；识别混合现实环境中的第一虚拟声源；识别混合现实环境中的第一对象；确定混合现实环境中的第一音频信号，其中，第一音频信号源于第一虚拟声源并且与第一耳朵听者位置相交；确定混合现实系统中的第二音频信号，其中，第二音频信号源于第一虚拟声源，与第一对象相交，并且与第二耳朵听者位置相交；基于第二音频信号和第一对象来确定第三音频信号；经由第一扬声器向用户的第一耳朵呈现第一音频信号；以及经由第二扬声器向用户的第二耳朵呈现第三音频信号。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，根据第二音频信号确定第三音频信号包括将低通滤波器应用到第二音频信号，低通滤波器具有基于第一虚拟对象的参数。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，根据第二音频信号确定第三音频信号包括将衰减应用到第二音频信号，衰减的强度基于第一对象。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，识别第一对象包括识别真实对象。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，识别真实对象包括使用传感器来确定混合现实环境中真实对象相对于用户的位置。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，传感器包括深度相机。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，方法还包括生成对应于真实对象的助手数据。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，方法还包括生成对应于真实对象的虚拟对象。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，方法还包括：识别第二虚拟对象，其中，第一音频信号与第二虚拟对象相交，并且第四音频信号基于第二虚拟对象来确定。
本公开的一些示例涉及一种系统，包括：可穿戴头部设备，其包括：用于将混合现实环境显示给用户的显示器，显示器包括透射目镜，通过透射目镜，真实环境是可见的；第一扬声器，其被配置为将音频信号呈现给用户的第一耳朵；以及第二扬声器，其被配置为将音频信号呈现给用户的第二耳朵；以及一个或多个处理器，其被配置为执行：识别混合现实环境中的第一耳朵听者位置；识别混合现实环境中的第二耳朵听者位置；识别混合现实环境中的第一虚拟声源；识别混合现实环境中的第一对象；确定混合现实环境中的第一音频信号，其中，第一音频信号源于第一虚拟声源并且与第一耳朵听者位置相交；确定混合现实系统中的第二音频信号，其中，第二音频信号源于第一虚拟声源，与第一对象相交，并且与第二耳朵听者位置相交；基于第二音频信号和第一对象来确定第三音频信号；经由第一扬声器向第一耳朵呈现第一音频信号；以及经由第二扬声器向第二耳朵呈现第三音频信号。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，根据第二音频信号确定第三音频信号包括将低通滤波器应用到第二音频信号，低通滤波器具有基于第一对象的参数。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，根据第二音频信号确定第三音频信号包括将衰减应用到第二音频信号，衰减的强度基于第一对象。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，识别第一对象包括识别真实对象。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，可穿戴头部设备还包括传感器，并且识别真实对象包括使用传感器来确定混合现实环境中真实对象相对于用户的位置。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，传感器包括深度相机。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，一个或多个处理器还被配置为执行生成对应于真实对象的助手数据。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，一个或多个处理器还被配置为执行生成对应于真实对象的虚拟对象。对于上文所公开的示例中的一个或多个的补充或替代，在一些示例中，一个或多个处理器还被配置为执行识别第二虚拟对象，其中，第一音频信号与第二虚拟对象相交，并且第四音频信号基于第二虚拟对象来确定。
虽然所公开的示例已经参考附图充分描述，但是，应注意，各种改变和修改对于本领域技术人员来说将变得明显。例如，一个或多个实施方式的元素可以组合、删除、修改、或补充以形成进一步的实施方式。这样的改变和修改将被理解为包括在如由附加的权利要求限定的所公开的示例的范围内。

Claims (18)

1.一种呈现混合现实环境中的音频信号的方法，所述方法包括：
识别所述混合现实环境中的第一耳朵听者位置；
识别所述混合现实环境中的第二耳朵听者位置；
识别所述混合现实环境中的第一虚拟声源；
识别所述混合现实环境中的第一对象；
确定所述混合现实环境中的第一音频信号，其中，所述第一音频信号源于所述第一虚拟声源并且与所述第一耳朵听者位置相交；
确定所述混合现实环境中的第二音频信号，其中，所述第二音频信号源于所述第一虚拟声源，与所述第一对象相交，并且与所述第二耳朵听者位置相交；
基于所述第二音频信号和所述第一对象来确定第三音频信号；
经由第一扬声器向用户的第一耳朵呈现所述第一音频信号；以及
经由第二扬声器向所述用户的第二耳朵呈现所述第三音频信号。
2.根据权利要求1所述的方法，其中，根据所述第二音频信号确定所述第三音频信号包括将低通滤波器应用到所述第二音频信号，所述低通滤波器具有基于所述第一对象的参数。
3.根据权利要求1所述的方法，其中，根据所述第二音频信号确定所述第三音频信号包括将衰减应用到所述第二音频信号，所述衰减的强度基于所述第一对象。
4.根据权利要求1所述的方法，其中，识别所述第一对象包括识别真实对象。
5.根据权利要求4所述的方法，其中，识别所述真实对象包括使用传感器来确定所述混合现实环境中所述真实对象相对于所述用户的位置。
6.根据权利要求5所述的方法，其中，所述传感器包括深度相机。
7.根据权利要求4所述的方法，还包括生成对应于所述真实对象的助手数据。
8.根据权利要求4所述的方法，还包括生成对应于所述真实对象的虚拟对象。
9.根据权利要求1所述的方法，还包括：识别第二虚拟对象，其中，所述第一音频信号与所述第二虚拟对象相交，并且第四音频信号基于所述第二虚拟对象来确定。
10.一种呈现混合现实环境中的音频信号系统，包括：
可穿戴头部设备，其包括：
用于将混合现实环境显示给用户的显示器，所述显示器包括透射目镜，通过所述透射目镜，真实环境是可见的；
第一扬声器，其被配置为将音频信号呈现给所述用户的第一耳朵；以及
第二扬声器，其被配置为将音频信号呈现给所述用户的第二耳朵；以及
一个或多个处理器，其被配置为执行：
识别所述混合现实环境中的第一耳朵听者位置；
识别所述混合现实环境中的第二耳朵听者位置；
识别所述混合现实环境中的第一虚拟声源；
识别所述混合现实环境中的第一对象；
确定所述混合现实环境中的第一音频信号，其中，所述第一音频信号源于所述第一虚拟声源并且与所述第一耳朵听者位置相交；
确定所述混合现实环境中的第二音频信号，其中，所述第二音频信号源于所述第一虚拟声源，与所述第一对象相交，并且与所述第二耳朵听者位置相交；
基于所述第二音频信号和所述第一对象来确定第三音频信号；
经由第一扬声器向所述第一耳朵呈现所述第一音频信号；以及
经由第二扬声器向所述第二耳朵呈现所述第三音频信号。
11.根据权利要求10所述的系统，其中，根据所述第二音频信号确定所述第三音频信号包括将低通滤波器应用到所述第二音频信号，所述低通滤波器具有基于所述第一对象的参数。
12.根据权利要求10所述的系统，其中，根据所述第二音频信号确定所述第三音频信号包括将衰减应用到所述第二音频信号，所述衰减的强度基于所述第一对象。
13.根据权利要求10所述的系统，其中，识别所述第一对象包括识别真实对象。
14.根据权利要求13所述的系统，其中，所述可穿戴头部设备还包括传感器，并且其中，识别所述真实对象包括使用所述传感器来确定所述混合现实环境中所述真实对象相对于所述用户的位置。
15.根据权利要求14所述的系统，其中，所述传感器包括深度相机。
16.根据权利要求13所述的系统，所述一个或多个处理器还被配置为执行生成对应于所述真实对象的助手数据。
17.根据权利要求13所述的系统，所述一个或多个处理器还被配置为执行生成对应于所述真实对象的虚拟对象。
18.根据权利要求10所述的系统，所述一个或多个处理器还被配置为执行识别第二虚拟对象，其中，所述第一音频信号与所述第二虚拟对象相交，并且第四音频信号基于所述第二虚拟对象来确定。
CN201980012942.2A 2018-02-15 2019-02-15 用于混合现实的双听者位置 Active CN111713121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210301214.7A CN114679677B (zh) 2018-02-15 2019-02-15 用于混合现实的双听者位置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862631422P 2018-02-15 2018-02-15
US62/631,422 2018-02-15
PCT/US2019/018369 WO2019161314A1 (en) 2018-02-15 2019-02-15 Dual listener positions for mixed reality

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210301214.7A Division CN114679677B (zh) 2018-02-15 2019-02-15 用于混合现实的双听者位置

Publications (2)

Publication Number Publication Date
CN111713121A CN111713121A (zh) 2020-09-25
CN111713121B true CN111713121B (zh) 2022-04-12

Family

ID=67619597

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980012942.2A Active CN111713121B (zh) 2018-02-15 2019-02-15 用于混合现实的双听者位置
CN202210301214.7A Active CN114679677B (zh) 2018-02-15 2019-02-15 用于混合现实的双听者位置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210301214.7A Active CN114679677B (zh) 2018-02-15 2019-02-15 用于混合现实的双听者位置

Country Status (6)

Country Link
US (4) US11212636B2 (zh)
JP (2) JP7252965B2 (zh)
CN (2) CN111713121B (zh)
CA (1) CA3090281A1 (zh)
IL (3) IL307545A (zh)
WO (1) WO2019161314A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086587B2 (en) * 2017-01-06 2021-08-10 Sony Interactive Entertainment Inc. Sound outputting apparatus and method for head-mounted display to enhance realistic feeling of augmented or mixed reality space
IL307545A (en) 2018-02-15 2023-12-01 Magic Leap Inc Dual listening positions for mixed reality
JP7347412B2 (ja) * 2018-04-09 2023-09-20 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
CN116320907A (zh) 2018-10-05 2023-06-23 奇跃公司 近场音频渲染
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
JP7463796B2 (ja) * 2020-03-25 2024-04-09 ヤマハ株式会社 デバイスシステム、音質制御方法および音質制御プログラム
CN113467603B (zh) 2020-03-31 2024-03-08 抖音视界有限公司 音频处理方法、装置、可读介质及电子设备
US11275629B2 (en) * 2020-06-25 2022-03-15 Microsoft Technology Licensing, Llc Mixed reality complementary systems
CN114693890A (zh) * 2020-12-31 2022-07-01 华为技术有限公司 一种增强现实交互方法及电子设备
CN114543844B (zh) * 2021-04-09 2024-05-03 恒玄科技(上海)股份有限公司 无线音频设备的音频播放处理方法、装置及无线音频设备
CA3237138A1 (en) * 2021-11-09 2023-05-19 Yun-Han Wu Apparatus, method or computer program for synthesizing a spatially extended sound source using variance or covariance data
CA3236469A1 (en) * 2021-11-09 2023-05-19 Yun-Han Wu Apparatus, method and computer program for synthesizing a spatially extended sound source using elementary spatial sectors
WO2023083753A1 (en) * 2021-11-09 2023-05-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method or computer program for synthesizing a spatially extended sound source using modification data on a potentially modifying object

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
JPH06149275A (ja) * 1992-10-30 1994-05-27 Sega Enterp Ltd 三次元仮想空間情報を考慮した三次元仮想音像形成装置
US5596644A (en) 1994-10-27 1997-01-21 Aureal Semiconductor Inc. Method and apparatus for efficient presentation of high-quality three-dimensional audio
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6546105B1 (en) 1998-10-30 2003-04-08 Matsushita Electric Industrial Co., Ltd. Sound image localization device and sound image localization method
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
JP2001251698A (ja) 2000-03-07 2001-09-14 Canon Inc 音響処理システム及びその制御方法並びに記憶媒体
US6819762B2 (en) 2001-03-16 2004-11-16 Aura Communications, Inc. In-the-ear headset
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
CA2967756C (en) 2004-04-01 2018-08-28 Google Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US20090052703A1 (en) * 2006-04-04 2009-02-26 Aalborg Universitet System and Method Tracking the Position of a Listener and Transmitting Binaural Audio Data to the Listener
JP5114981B2 (ja) 2007-03-15 2013-01-09 沖電気工業株式会社 音像定位処理装置、方法及びプログラム
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130077147A1 (en) 2011-09-22 2013-03-28 Los Alamos National Security, Llc Method for producing a partially coherent beam with fast pattern update rates
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8831255B2 (en) 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
WO2014089542A1 (en) 2012-12-06 2014-06-12 Eyefluence, Inc. Eye tracking wearable devices and methods for use
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US20140285519A1 (en) * 2013-03-22 2014-09-25 Nokia Corporation Method and apparatus for providing local synchronization of information for augmented reality objects
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US9648436B2 (en) 2014-04-08 2017-05-09 Doppler Labs, Inc. Augmented reality sound system
JP6292040B2 (ja) 2014-06-10 2018-03-14 富士通株式会社 音声処理装置、音源位置制御方法及び音源位置制御プログラム
CN106537941B (zh) 2014-11-11 2019-08-16 谷歌有限责任公司 虚拟声音系统和方法
CN106134223B (zh) * 2014-11-13 2019-04-12 华为技术有限公司 重现双耳信号的音频信号处理设备和方法
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
GB2536020A (en) * 2015-03-04 2016-09-07 Sony Computer Entertainment Europe Ltd System and method of virtual reality feedback
DE102015003946A1 (de) * 2015-03-26 2016-09-29 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
EP3447735B1 (en) 2016-04-18 2020-04-29 Sony Corporation Information processing device, information processing method, and program
US10042604B2 (en) * 2016-07-01 2018-08-07 Metrik LLC Multi-dimensional reference element for mixed reality environments
US9906885B2 (en) * 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
US10896544B2 (en) * 2016-10-07 2021-01-19 Htc Corporation System and method for providing simulated environment
US9992602B1 (en) 2017-01-12 2018-06-05 Google Llc Decoupled binaural rendering
CN107632704B (zh) * 2017-09-01 2020-05-15 广州励丰文化科技股份有限公司 一种基于光学定位的混合现实音频控制方法及服务设备
US9955281B1 (en) * 2017-12-02 2018-04-24 Philip Scott Lyren Headphones with a digital signal processor (DSP) and error correction
IL307545A (en) 2018-02-15 2023-12-01 Magic Leap Inc Dual listening positions for mixed reality
US20190313201A1 (en) 2018-04-04 2019-10-10 Bose Corporation Systems and methods for sound externalization over headphones
CN116320907A (zh) 2018-10-05 2023-06-23 奇跃公司 近场音频渲染

Also Published As

Publication number Publication date
US11736888B2 (en) 2023-08-22
CA3090281A1 (en) 2019-08-22
JP2021514141A (ja) 2021-06-03
CN114679677B (zh) 2024-02-20
US20230336937A1 (en) 2023-10-19
CN111713121A (zh) 2020-09-25
US11589182B2 (en) 2023-02-21
CN114679677A (zh) 2022-06-28
IL276496B2 (en) 2023-08-01
US11212636B2 (en) 2021-12-28
IL301445B2 (en) 2024-03-01
WO2019161314A1 (en) 2019-08-22
JP2023068152A (ja) 2023-05-16
JP7252965B2 (ja) 2023-04-05
US20220078574A1 (en) 2022-03-10
US11956620B2 (en) 2024-04-09
IL301445B1 (en) 2023-11-01
US20210084429A1 (en) 2021-03-18
US20230065046A1 (en) 2023-03-02
IL276496A (en) 2020-09-30
IL276496B1 (en) 2023-04-01
IL301445A (en) 2023-05-01
IL307545A (en) 2023-12-01

Similar Documents

Publication Publication Date Title
CN111713121B (zh) 用于混合现实的双听者位置
JP7446420B2 (ja) 反響フィンガプリント推定
US11800174B2 (en) Mixed reality virtual reverberation
US11477599B2 (en) Delayed audio following
US20230396948A1 (en) Delayed audio following
WO2021163573A1 (en) Delayed audio following

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant