CN107211226A - 具有远程扬声器的空间音频 - Google Patents

具有远程扬声器的空间音频 Download PDF

Info

Publication number
CN107211226A
CN107211226A CN201580073750.4A CN201580073750A CN107211226A CN 107211226 A CN107211226 A CN 107211226A CN 201580073750 A CN201580073750 A CN 201580073750A CN 107211226 A CN107211226 A CN 107211226A
Authority
CN
China
Prior art keywords
remote speaker
computing device
remote
audio signal
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580073750.4A
Other languages
English (en)
Inventor
S·F·富拉姆
L·切尔克希纳
T·莱格
L·波茨
A·伊莱亚斯
C·哈斯金斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107211226A publication Critical patent/CN107211226A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/22—Source localisation; Inverse modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

呈现了涉及经由便携式计算设备来输出空间音频的各实施例。例如，一个公开的实施例提供了一种便携式计算设备，以用于无线地检测便携式计算设备外部的远程扬声器的存在，确定远程扬声器的位置，并且建立与远程扬声器的无线连接。该实施例还包括经由便携式计算设备的显示器来呈现可视内容，可视内容包括在位置上与便携式计算设备周围的现实世界环境中的某个位置相关联的对象，生成对应于该对象的音频信号，以及将音频信号发送到远程扬声器。

Description

具有远程扬声器的空间音频
背景
娱乐环境可包括各种不同的声源和音频输出设备。例如，家庭娱乐环境可包括电视、立体声音响、台式计算机、视频游戏控制台、一个或多个移动设备(例如智能电话、平板、膝上型计算机等)，并且这些设备中的每一个均可通过一个或多个相关联的扬声器输出声音。
概述
呈现了与经由利用外部扬声器的便携式计算设备输出音频相关的示例。例如，一个公开的实施例提供了一种便携式计算设备，该便携式计算设备被配置成无线地检测便携式计算设备外部的远程扬声器的存在，确定该远程扬声器的位置，并建立与该远程扬声器的无线连接。便携式计算设备还被配置成经由便携式计算设备的显示器来呈现可视内容(该可视内容包括在位置上与便携式计算设备周围的现实世界环境中的某个位置相关联的对象)，生成对应于该对象的音频信号，并将音频信号发送到远程扬声器。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1-2示出了用于呈现音频内容的示例环境。
图3示意性地示出了头戴式显示设备的示例。
图4示出了例示用于使用一个或多个远程扬声器来提供空间音频的方法的示例的流程图。
图5示出示例计算系统。
详细描述
一些计算设备可被配置成为用户提供沉浸式的三维视觉体验。例如，增强现实显示系统(诸如透视头戴式显示设备)可显示三维可视内容，使得所显示的内容看起来位于周围的现实世界环境中。这样的计算设备可包括一个或多个本地扬声器以输出与可视内容相关联的音频内容。然而，经由本地扬声器提供的声音可能表现为从同与该声音相关联的增强现实内容的位置不同的位置发出。
因此，公开了涉及经由便携式计算设备在该便携式计算设备周围的现实世界环境中检测位于便携式计算设备外部的一个或多个远程扬声器以及在便携式计算设备与该一个或多个远程扬声器之间建立无线连接的实施例。例如，便携式计算设备可在现实世界环境中确定每个检测到的远程扬声器的位置。此外，便携式计算设备可呈现包括在位置上与现实世界环境中的某个位置相关联的虚拟对象的可视内容，诸如位于相对于现实世界环境的特定位置处的增强现实图像。为了加强增强现实呈现，与虚拟对象对应的音频内容可被发送到位于虚拟对象附近的远程扬声器，使得声音从虚拟对象的方向发出。以这种方式，已经存在于环境中的声音产生设备可由计算设备利用来增强被提供给用户的增强现实体验。
如上所述，在一些实现中，便携式计算设备可以是诸如头戴式显示设备之类的可穿戴计算设备。图1示出了包括头戴式显示(HMD)设备104和多个远程扬声器的示例使用环境100。HMD设备104包括透视显示器，该透视显示器可被配置成向透过透视显示器查看物理环境的用户可视地增强物理环境的外观。关于HMD设备104的附加细节在下面进行描述。
环境100包括当由用户102佩戴时可通过HMD设备104查看的场景106。应当理解，在一些实施例中，通过HMD设备104的透视显示器可查看的场景可基本上与用户的视野共同延伸，而在其他实施例中，通过透视显示器可查看的场景可能占据用户视野的一部分。
HMD设备104可被配置成在环境100内无线地检测HMD设备104外部的一个或多个远程声音产生设备。远程声音产生设备的示例被示出为第一远程扬声器114、第二远程扬声器116、第三远程扬声器118和第四远程扬声器120，每个均被包括作为由接收器112驱动的音频系统的一部分。此外，HMD设备104可被配置成检测与电视机108相关联的条形音箱(soundbar)110，和/或未被例示出的其他声音产生设备，诸如移动电话、计算设备等。HMD设备104可经由任何合适的机制(诸如使用数字生活网络联盟(DLNA)协议、通过无线保真(WiFi)网络、蓝牙或近场通信或其他发现机制)来检测环境中的远程声音产生设备的存在。一旦一个或多个远程声音产生设备已被发现，则无线连接可在HMD设备104和每个远程声音产生设备之间被建立。无线连接可被自动地建立或者响应于用户输入来被建立。
HMD设备104还可确定每个远程声音产生设备的现实世界环境中的位置。每个远程声音产生设备的位置可由HMD设备自动地确定(例如，在没有明确的用户输入的情况下)，或者每个远程声音产生设备的位置可基于用户输入来被确定。作为一个示例，HMD设备104可收集环境100的图像信息，并且使用该图像信息来确定每个远程扬声器和/或条形音箱的位置。HMD设备104可包括被配置成收集深度和/或可见光图像信息的一个或多个图像传感器。使用该图像信息，对象标识可被执行，以便在HMD设备104周围的物理环境内标识并定位每个远程扬声器。在另一示例中，图像信息可被分析以确定用户102是否正在执行指示远程扬声器和条形音箱中的一者或多者的位置的手势(例如，指向)，使得用户可通过朝扬声器打手势经由手势和/或口头地标识扬声器来手动地标识每个扬声器。作为更具体的示例，用户102可将HMD设备104置于检测模式中，其中HMD设备被配置成解释由用户执行的表明扬声器位于或者在手势的方向上的特定手势。在又一示例中，一个或多个扬声器可标有可以由一个或多个图像传感器(例如，可见光或IR/UV光传感器或深度传感器)拾取的特定空间或光学图案。
作为另一示例，HMD设备104可经由HMD设备的一个或多个麦克风来收集环境100的音频信息，并且基于该音频信息来确定一个或多个远程扬声器的位置。在一些示例中，HMD设备的麦克风可包括麦克风阵列，该麦克风阵列包括两个或更多个麦克风。例如，用户102可发出指示远程扬声器和条形音箱中的一者或多者的位置的语音命令，并且该语音命令可由HMD设备的麦克风检测到。在另一示例中，在与远程扬声器建立无线连接之后，HMD设备可向远程扬声器发送测试音频信号。该远程扬声器可在接收到测试音频信号后输出音频。HMD设备可接着基于来自HMD设备的麦克风阵列的反馈来确定远程扬声器的位置。此外，在两个或更多个远程扬声器是多声道音频系统的一部分的情况下，HMD设备104可例如通过向每个扬声器顺序地发送测试音频信号和/或通过为每个扬声器发送分开的音频频率来确定多声道音频系统的每个远程扬声器的位置。在该测试过程期间，每个远程扬声器正相应地工作的声道可被映射到每个远程扬声器。
如上所述，HMD设备104可包括被配置成显示虚拟对象的图像的透视显示器。虚拟对象可以是基于上述现实世界物理环境的模型构建的虚拟模型的一部分。由此，虚拟对象可被置于与现实世界环境中的某个位置对应的位置处的虚拟模型中。当虚拟对象被显示时，它可能看上去位于用户正在查看的现实世界环境中。
图2示出了由HMD设备104显示的虚拟对象的示例。首先，巫师202被显示定位在电视机108附近，并且另一巫师204位于环境100中的音频系统附近。如图2所示，巫师202位于用户的视野之外(例如，不在场景106中)。因此，在一些示例中，即使虚拟对象在HMD设备上未被显示给用户，这些虚拟对象也可能存在于虚拟模型中。
虚拟模型还可包括与虚拟对象相关联的音频内容。例如，巫师204可具有相关联的音频内容(例如，巫师204可能在说话)。尽管HMD设备104可显示巫师204以使得巫师204出现在现实世界对象(例如，第一远程扬声器114)附近，但是扬声器在HMD设备104上的定位(例如，在用户102的耳朵附近)可能不允许与巫师204相关联的音频内容听起来像是其正在与巫师204相同的位置处被生成。
因此，如此处所描述的，HMD设备104可利用现实世界环境中的一个或多个外部声音产生设备来提供对应于虚拟对象的三维布置的空间音频。例如，由于虚拟对象和扬声器的相对位置，与巫师204相关联的音频内容可被发送到第一远程扬声器114，并且与巫师202相关联的音频内容可被发送到第三远程扬声器118和条形音箱110中的一者或多者。这可能有助于创建源自相关联的虚拟对象的声音的效果。尽管外部扬声器被描绘成用于HMD设备104外部的声源的扬声器，但是在其他示例中，外部扬声器可被配置成用于与HMD一起使用作为HMD的周边配件。此外，在一些示例中，便携式计算设备可被配置成无线地检测并建立与位于便携式计算设备外部的一个或多个远程麦克风的连接。
图3示出了一副带有透视显示器302的可穿戴眼镜形式的HMD设备104的非限制性示例。将理解，HMD设备可以采取任何其他合适的形式，其中透明、半透明和/或不透明显示器被支撑在查看者的一只或两只眼睛前方。此外，本文所描述的各实施例可以与任何其他合适的计算系统联用，包括但不限于移动计算设备、膝上型计算机、台式计算机、平板计算机、其他可穿戴计算机等。
HMD设备104包括透视显示器302和控制器304。透视显示器302可使得图像(诸如全息对象)能够被递送到HMD设备的穿戴者的眼睛。透视显示器302可被配置成向透过透明显示器查看物理环境的穿戴者在视觉上增强现实世界物理环境的外观。在一个示例中，该显示器可被配置成在图形用户界面上显示一个或多个UI对象。在一些实施例中，在图形用户界面上呈现的UI对象可以是覆盖在现实世界环境前面的虚拟对象。同样地，在一些实施例中，在图形用户界面上呈现的UI对象可以纳入通过透视显示器302被看到的现实世界环境的现实世界对象的元素。在其他示例中，显示器可被配置成显示一个或多个其他图形对象，诸如与游戏、视频、或其他可视内容相关联的虚拟对象。
任何合适的机制可被用来经由透视显示器302显示图像。例如，透视显示器302可包括位于透镜306内的图像产生元件(诸如举例而言，透视有机发光二极管(OLED)显示器)。作为另一示例，透视显示器302可包括位于HMD设备104的框架内的显示设备(诸如举例而言，硅上液晶(LCOS)设备或OLED微显示器)。在该示例中，透镜306可用作或以其他方式包括用于将光从显示设备递送到穿戴者的眼睛的光导。这样的光导可使得穿戴者能够感知位于穿戴者正在查看的物理环境内的3D全息图像，同时还允许穿戴者查看物理环境中的物理对象，因此创建了混合现实环境。
HMD设备104还可包括用于向控制器304提供信息的各种传感器和相关系统。这样的传感器可包括但不限于，一个或多个面向内的图像传感器308a和308b、一个或多个面向外的图像传感器310、惯性测量单元(IMU)312以及一个或多个麦克风320。一个或多个面向内的图像传感器308a、308b可被配置成从穿戴者的眼睛获取注视跟踪数据形式的图像数据(例如，传感器308a可获取穿戴者的一只眼睛的图像数据，而传感器308b可获取穿戴者的另一只眼睛的图像数据)。HMD设备可被配置成基于接收自图像传感器308a、308b的信息用任何合适的方式来确定穿戴者眼睛中的每一只眼睛的注视方向。例如，一个或多个光源314a、314b(诸如红外光源)可被配置成促使闪光从穿戴者的每一只眼睛的角膜反射。一个或多个图像传感器308a、308b接着可被配置成捕捉穿戴者眼睛的图像。根据收集自图像传感器308a、308b的图像数据所确定的闪烁和瞳孔的图像可被控制器304用来确定每一只眼睛的光轴。使用该信息，控制器304可被配置成确定穿戴者正在注视方向。控制器304可被配置成附加地确定穿戴者正注视的物理和/或虚拟对象的身份。
一个或多个面向外的图像传感器310可被配置成接收来自HMD设备104所处的物理环境的物理环境数据。来自面向外的图像传感器310的数据可被用来检测显示器302的视野内的移动，诸如视野内的穿戴者或人或物理对象所执行的基于手势的输入或其他移动。在一个示例中，来自面向外的图像传感器310的数据可被用来检测由HMD设备的穿戴者执行的指示对显示设备上显示的UI对象的选择的选择输入，诸如手势(例如，捏合手指、握紧拳头等)。来自面向外的传感器的数据还可被用来确定(例如，来自成像环境特征的)方向/位置和取向数据，这使得能够实现对HMD设备104在现实世界环境中的位置/运动跟踪。
IMU 312可被配置成将HMD设备104的位置和/或取向数据提供给控制器304。在一个实施例中，IMU 312可被配置为三轴或三自由度位置传感器系统。这一示例位置传感器系统可例如包括用于指示或测量HMD设备104在3D空间内绕三个正交轴(例如，x、y、z)(例如，滚转、俯仰、偏航)的取向变化的三个陀螺仪。从IMU的传感器信号导出的取向可被用于经由透视显示器按三自由度来显示一个或多个虚拟UI对象。
在另一示例中，IMU 312可被配置成六轴或六自由度位置传感器系统。这样的配置可包括三个加速度计和三个陀螺仪以指示或测量HMD设备104沿三个正交轴的位置变化和绕该三个正交轴的设备取向变化。在一些实施例中，来自面向外的图像传感器310和IMU312的位置和取向数据可以被结合使用以确定HMD设备104的位置和取向。
HMD设备104还可支持其他合适的定位技术，诸如GPS或其他全球导航系统。此外，尽管已描述了位置传感器系统的具体示例，但将理解，任何其他合适的位置传感器系统都可被使用。例如，头部姿势和/或移动数据可基于来自戴在穿戴者上和/或穿戴者外部的传感器的任何组合的传感器信息来被确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如，WIFI天线/接口)等。
继续图3，控制器304可被配置成基于由一个或多个面向内的图像传感器308a、308b检测到的信息来随时间记录多个眼睛注视样本。对于每个眼睛注视样本，眼睛跟踪信息以及在一些实施例中的头部跟踪信息(来自图像传感器310和/或IMU 312)可被用来估计该眼睛注视样本的原点和方向向量以产生眼睛注视与透视显示器相交的估计位置。被用来确定眼睛注视样本的眼睛跟踪信息和头部跟踪信息的示例可包括眼睛注视方向、头部取向、眼睛注视速度、眼睛注视加速度、眼睛注视方向的角度改变，和/或任何其他合适的跟踪信息。在一些实施例中，眼睛注视跟踪可独立于HMD设备104的穿戴者的两只眼睛来被记录。
如上所述，HMD设备104还可包括捕捉音频数据的一个或多个麦克风，诸如麦克风320。在一些示例中，该一个或多个麦克风320可包括麦克风阵列，该麦克风阵列包括两个或更多个麦克风。例如，麦克风阵列可包括四个麦克风，两个麦克风被定位在HMD设备的右透镜上方，而另外两个麦克风被定位在HMD设备的左透镜上方。此外，音频输出可经由一个或多个扬声器(诸如扬声器322)来呈现给穿戴者。
控制器304可包括与HMD设备的各个传感器和显示器进行通信的逻辑机和存储机，如以下参考图5更详细地讨论的。如本文所描述的，在一个示例中，存储机可包括可由逻辑机执行以将经显示的虚拟对象的声音提供给一个或多个外部扬声器的指令。
图4示出了描绘用于经由远程扬声器提供空间音频内容的示例方法400的流程图。方法400可由被配置成呈现可视内容和相关联的音频内容的计算设备(诸如HMD设备104)来执行。
在402，方法400包括无线地检测计算设备外部的一个或多个远程扬声器的存在。如上所解释的，计算设备可例如根据DLNA协议或其他合适的机制来自动地检测一个或多个远程扬声器的存在。此外，在404，计算设备与每个检测到的远程扬声器建立无线连接。无线连接可以是直接连接，或者可以是经由诸如网络路由器之类的中间设备的连接，并且可包括WiFi连接、WiFi直接连接、蓝牙或其他合适的无线连接。
在406，方法400包括确定每个远程扬声器的位置。位置可被自动地或手动地确定，并且可经由图像信息、音频信息、其组合和/或经由任何其他合适的信息来被确定。在一个示例中，如408所指示的，确定(诸)远程扬声器的位置可包括基于指示扬声器位置的用户输入来确定位置。用户指示可包括由用户执行的手势(诸如指向远程扬声器的位置)，其可经由来自计算设备的图像传感器的数据来被检测到。用户指示替代地或附加地可包括由用户发出的语音命令，该语音命令描述由计算设备的一个或多个麦克风检测到的远程扬声器的位置。
在另一示例中，如410所指示的，远程扬声器的位置可基于使用由计算设备的图像传感器捕获的图像数据的对象标识来被确定。例如，对象标识可在计算设备周围的现实世界环境的深度图上被执行，并且远程扬声器的位置可基于对象标识来被确定。在其他示例中，视觉标记可由用户安放在远程扬声器上，并且该视觉标记可使用图像数据来被标识。
在另一示例中，如412所指示的，远程扬声器的位置可通过计算设备将测试音频信号(通过先前建立的无线连接)发送到远程扬声器来被确定。当测试音频信号被远程扬声器接收到时，远程扬声器输出随后由计算设备的麦克风检测到的音频。如果计算设备包括麦克风阵列(例如，两个或更多个麦克风)，则接收到的音频输出可被用来确定远程扬声器的位置。
在一些示例中，环境中的两个或更多个远程扬声器可以是多声道音频系统的一部分。在这些情况下，音频系统的每个远程扬声器的位置以及声道可被确定。例如，计算设备可被配置成发送第一声道测试音频信号，经由计算设备的麦克风阵列接收来自第一远程扬声器的输出，并且基于来自麦克风阵列的信号来确定第一远程扬声器的位置。在这样做时，计算设备还可将第一音频声道映射到第一远程扬声器。对于附加的扬声器，计算设备可被配置成发送第二声道测试音频信号，经由计算设备的麦克风阵列接收来自第二远程扬声器的输出，并且基于来自麦克风阵列的信号来确定第二远程扬声器的位置。在这样做时，计算设备还可将第二音频声道映射到第二远程扬声器。
在又一示例中，每个远程扬声器的位置可能已在先前的扬声器发现会话期间被确定。例如，计算设备正在工作的房间可(例如，经由位置信息和/或图像信息)来被计算设备识别，并且与房间相关的元数据可由计算设备获得。元数据可包括关于房间中存在的扬声器的位置和类型的信息，并且可被本地储存在计算设备上或者可从远程设备获得。以这种方式，扬声器的位置确定和映射过程可被绕过。
在414，可视内容经由计算设备的显示器设备来被呈现。可视内容可包括虚拟现实内容或增强现实内容。可视内容可包括与现实世界环境中的某个位置相关联的对象。例如，可视内容可包括如图2所例示的被定位在现实世界对象(例如，图2的第一远程扬声器)附近的虚拟巫师。对象可位于计算设备的用户的视野中，或者对象可位于用户的视野之外。在416，与对象对应的音频信号被生成。例如，虚拟巫师可具有待与巫师的显示一起输出的相关联的音频内容(例如，巫师可能在说话)。
在418，音频信号被发送到远程扬声器中的一个或多个。在一个示例中，被发送到远程扬声器的音频信号可包括经压缩或未经压缩的呈现的音频数据。在另一示例中，被发送到远程扬声器的音频信号可包括用于在远程扬声器的接收器上呈现音频数据的音频内容信息。例如，被用来生成可视内容和音频内容的虚拟模型的帧可被发送到接收器，并且接收器可呈现音频数据以供在远程扬声器上的输出。在一些示例中，音频信号可被直接地发送到远程扬声器。在其他示例中，音频信号可经由接收器、放大器、呈现器或其他中间组件来被发送以供在远程扬声器处的呈现。当存在多于一个的远程扬声器和/或当计算设备正在输出多个音频信号时，每个音频信号可包括声道信息，以使得音频信号能够由期望的远程扬声器输出。
被选择来接收音频信号的远程扬声器或扬声器可以基于对象相对于计算设备的位置(例如，对象在现实世界环境中与之潜在地相关联的位置)。例如，如果对象比计算设备更靠近远程扬声器，则远程扬声器可被选择来接收音频信号。然而，如果远程扬声器并不比计算设备更靠近对象，则音频信号可替代地由计算设备的本地扬声器输出。在其中存在多于一个的远程扬声器的示例中，最靠近对象的位置的远程扬声器可被选择来接收音频信号。由此，如果存在计算设备已与之建立了连接的多于一个的远程扬声器，则被选择来接收音频信号的远程扬声器可以基于对象的位置、计算设备的位置以及多个远程扬声器中的每一个的位置，如在422所指示的。
被发送到远程扬声器的音频信号在某些情况下可被调整以将计算设备和远程扬声器之间的连接延迟考虑在内并且/或者将计算设备和远程扬声器之间的距离考虑在内，如424所指示的。尽管与以上讨论的对象相关联的音频信号被发送到一个远程扬声器，但是在一些示例中，附加的音频信号可以与所呈现的可视内容相关联。这些附加的音频信号可被发送到现实世界环境中的其他远程扬声器并且/或者被发送到计算设备的本地扬声器。为了确保来自环境中所有各种声音产生设备的音频输出在期望的时间(例如，与所呈现的可视内容同时和/或同步)到达用户，被发送到远程扬声器的音频信号可相对于被发送到其他扬声器的音频信号来被调整。在一个示例中，计算设备和远程扬声器之间的连接中的延迟可被确定，并且被发送到远程扬声器的音频信号可基于该延迟来被调整。调整可包括同被发送到计算设备的本地扬声器的音频信号相比更早地将音频信号发送到远程扬声器。在另一示例中，计算设备和远程扬声器之间的距离可被确定，并且被发送到远程扬声器的音频信号基于该距离来被调整。调整可包括同被发送到计算设备的本地扬声器的音频信号相比更早地将音频信号发送到远程扬声器。在另外的示例中，被发送到远程扬声器的音频信号可随计算设备的位置改变而改变。
在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图5示意性地示出了可执行上述方法和过程中的一个或多个的计算系统500的非限制性实施例。以简化形式示出了计算系统500。计算系统500可采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。HMD设备104是计算系统500的一个非限制性示例。
计算系统500包括逻辑机502和存储机504。计算系统500可任选地包括显示子系统506、输入子系统508、通信子系统514、扬声器516和/或在图5中未示出的其他组件。
逻辑机502包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造。这样的指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果或者以其他方式得到期望的结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核的，并且在其上被执行的指令可被配置成用于串行、并行和/或分布式处理。逻辑机的各个个体组件可任选地分布在两个或更多个分开的设备上，这些设备可以位于远程和/或被配置成用于协同处理。逻辑机的各方面可由按云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机504包括被配置成保持可由逻辑机执行以实现本文所述的方法和过程的指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机504的状态(例如，以保持不同的数据)。
存储机504可包括可移动和/或内置设备。存储机504可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机504可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储机504包括一个或多个物理设备。然而，本文所述的指令的各方面可替代地通过不由物理设备在有限时长内保持的通信介质(例如，电磁信号、光信号等)来传播。
逻辑机502和存储机504的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
显示子系统506可被用来呈现由存储机504所保持的数据的视觉表示。该视觉表示可采取图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，所以同样可以变换显示子系统506的状态以视觉地表示底层数据的改变。显示子系统506可包括利用实际上任何类型的技术的一个或多个显示设备，诸如图3中所示的HMD设备104的显示器302。可将这样的显示设备与逻辑机502和/或存储机504组合在共享封装中，或者这样的显示设备可以是外围显示设备。
输入子系统508可包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中，输入子系统可包括所选择的自然用户输入(NUI)组件或者与其对接。这样的组件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外被处理。示例NUI组件可包括用于语言和/或话音识别的一个或多个麦克风510；图像传感器512；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测组件；以上参考图3描述的传感器中的任一者；或者任何其他合适的传感器。
通信子系统514可被配置成将计算系统500与一个或多个其他计算设备可通信地耦合。通信子系统514可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统500经由诸如互联网之类的网络将消息发送至其他设备并且/或者从其他设备接收消息。在一些示例中，通信子系统514可被配置成直接或者经由网络518来自动地检测一个或多个远程扬声器520并且/或者与之连接。附加地，计算系统500可包括音频输出设备，诸如一个或多个扬声器516。
另一示例提供了一种便携式计算设备上的方法，包括无线地检测便携式计算设备外部的远程扬声器的存在，确定远程扬声器的位置，建立与远程扬声器的无线连接，经由便携式计算设备的显示器来呈现可视内容，可视内容包括在位置上与便携式计算设备周围的现实世界环境中的某个位置相关联的对象，生成对应于该对象的音频信号，以及将音频信号发送到远程扬声器。在这样的示例中，将音频信号发送到远程扬声器附加地或替代地包括基于对象相对于便携式设备的位置将音频信号发送到远程扬声器。在这样的示例中，对象在一些示例中可附加地或替代地在查看所呈现的可视内容的用户的视野之外。在这样的示例中，对象在其他示例中可附加地或替代地在查看所呈现的可视内容的用户的视野中。在这样的示例中，远程扬声器可附加地或替代地为多个远程扬声器中的一个，并且该方法可附加地或替代地进一步包括基于每个远程扬声器的位置、对象的位置以及便携式计算设备的位置来选择要将音频信号发送到的远程扬声器。在这样的示例中，确定远程扬声器的位置可附加地或替代地包括基于来自一个或多个图像传感器的反馈来检测由用户执行的指示远程扬声器的位置的手势。在这样的示例中，确定远程扬声器的位置可附加地或替代地包括对由一个或多个图像传感器收集到的图像数据执行对象标识。在这样的示例中，确定远程扬声器的位置可附加地或替代地包括向远程扬声器发送测试音频信号，经由便携式计算设备上的多个麦克风接收来自远程扬声器的输出，以及基于来自多个麦克风的信号来确定远程扬声器的位置。在这样的示例中，远程扬声器可附加地或替代地是多个远程扬声器中的一个，并且确定多个远程扬声器中的每个远程扬声器的位置可附加地或替代地包括发送第一声道测试音频信号，经由多个麦克风接收来自第一远程扬声器的输出，以及基于来自多个麦克风的信号来确定第一远程扬声器的位置。在这样的示例中，该方法可附加地或替代地包括发送第二声道测试音频信号，经由多个麦克风接收来自第二远程扬声器的输出，以及基于来自多个麦克风的信号来确定第二远程扬声器的位置。在这样的示例中，可视内容在一个示例中可附加地或替代地包括增强现实内容。在这样的示例中，将音频信号发送到远程扬声器可附加地或替代地包括发送经压缩或未经压缩的呈现的音频数据。在这样的示例中，将音频信号发送到远程扬声器可附加地或替代地包括发送内容信息以用于在接收器上呈现音频数据。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供了一种便携式计算设备，包括一个或多个传感器、显示器、逻辑机和保持指令的存储机，该指令可由逻辑机执行以生成包括虚拟对象以及同虚拟对象相关联的音频内容的虚拟环境的模型，基于来自一个或多个传感器的数据来确定便携式计算设备周围的现实世界环境中的多个远程扬声器的位置，标识与每个远程扬声器对应的音频声道，并且基于虚拟对象在模型中相对于现实世界环境中的一个或多个远程扬声器的位置的位置来将音频信号发送到一个或多个远程扬声器。在这样的示例中，一个或多个传感器可附加地或替代地包括图像传感器和麦克风阵列中的一者或多者。为了确定多个远程扬声器的位置并且标识对应于每个远程扬声器的音频声道，指令可附加地或替代地可执行以发送第一声道测试音频信号，经由麦克风阵列接收来自第一远程扬声器的输出，基于来自麦克风阵列的信号来确定第一远程扬声器的位置，并将第一声道映射到第一远程扬声器。在这样的示例中，指令可附加地或替代地进一步可执行以发送第二声道测试音频信号，经由麦克风阵列接收来自第二远程扬声器的输出，基于来自麦克风阵列的信号来确定第二远程扬声器的位置，并将第二声道映射到第二远程扬声器。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供了一种可穿戴计算设备，包括一个或多个传感器、透视显示器、一个或多个扬声器、逻辑机和保持指令的存储机，该指令可由逻辑机执行以无线地检测可穿戴计算设备外部的远程扬声器的存在，基于由一个或多个传感器收集到的图像信息来确定远程扬声器的位置，建立与远程扬声器的无线连接，经由透视显示器来呈现增强现实内容，该增强实境内容包括与可穿戴计算设备周围的现实世界环境中的某个位置相关联的对象，生成对应于对象的音频信号，并将音频信号发送到远程扬声器。在这样的示例中，指令可附加地或替代地可执行以确定接收器和可穿戴计算设备之间的连接中的延迟，并且基于延迟来调整被发送到远程扬声器的音频信号。在这样的示例中，指令可附加地或替代地可执行以确定便携式计算设备和远程扬声器之间的距离，并且基于该距离来调整音频信号。在这样的示例中，指令可附加地或替代地可执行以生成对应于与可穿戴计算设备周围的现实世界环境中的第二位置相关联的第二对象的第二音频信号，并将第二音频信号发送到可穿戴计算设备的一个或多个扬声器。在这样的示例中，远程扬声器可附加地或替代地为第一远程扬声器，并且指令可附加地或替代地可执行以生成对应于与可穿戴计算设备周围的现实世界环境中的第二位置相关联的第二对象的第二音频信号，并将第二音频信号发送到第二远程扬声器。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及本文公开的其他特征、功能、动作和/或属性的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (15)

1.一种在便携式计算设备上的方法，包括：
无线地检测所述便携式计算设备外部的远程扬声器的存在；
确定所述远程扬声器的位置；
建立与所述远程扬声器的无线连接；
经由所述便携式计算设备的显示器来呈现可视内容，所述可视内容包括在位置上与所述便携式计算设备周围的现实世界环境中的某个位置相关联的对象；
生成对应于所述对象的音频信号；以及
将所述音频信号发送到所述远程扬声器。
2.根据权利要求1所述的方法，其特征在于，将所述音频信号发送到所述远程扬声器包括基于所述对象相对于所述便携式设备的位置来将所述音频信号发送到所述远程扬声器。
3.根据权利要求1所述的方法，其特征在于，其中所述对象在查看所呈现的可视内容的用户的视野之外。
4.根据权利要求1所述的方法，其特征在于，其中所述对象在查看所呈现的可视内容的用户的视野中。
5.根据权利要求1所述的方法，其特征在于，其中所述远程扬声器为多个远程扬声器中的一个，并且还包括基于每个远程扬声器的位置、所述对象的位置以及所述便携式计算设备的位置来选择要将所述音频信号发送到的远程扬声器。
6.根据权利要求1所述的方法，其特征在于，确定所述远程扬声器的位置包括基于来自一个或多个图像传感器的反馈来检测由用户执行的指示所述远程扬声器的位置的手势。
7.根据权利要求1所述的方法，其特征在于，确定所述远程扬声器的位置包括对由一个或多个图像传感器收集到的图像数据执行对象标识。
8.根据权利要求1所述的方法，其特征在于，确定所述远程扬声器的位置包括向所述远程扬声器发送测试音频信号，经由所述便携式计算设备上的多个麦克风接收来自所述远程扬声器的输出，以及基于来自所述多个麦克风的信号来确定所述远程扬声器的位置。
9.根据权利要求8所述的方法，其特征在于，其中所述远程扬声器为多个远程扬声器中的一个，并且其中确定所述多个远程扬声器中的每个远程扬声器的位置包括：
发送第一声道测试音频信号，经由所述多个麦克风接收来自第一远程扬声器的输出，并且基于来自所述多个麦克风的信号来确定所述第一远程扬声器的位置；以及
发送第二声道测试音频信号，经由所述多个麦克风接收来自第二远程扬声器的输出，并且基于来自所述多个麦克风的信号来确定所述第二远程扬声器的位置。
10.根据权利要求1所述的方法，其特征在于，其中所述可视内容包括增强现实内容。
11.根据权利要求1所述的方法，其特征在于，将所述音频信号发送到所述远程扬声器包括发送经压缩或未经压缩的被呈现的音频数据。
12.根据权利要求1所述的方法，其特征在于，将所述音频信号发送到所述远程扬声器包括发送内容信息以用于在接收器上呈现音频数据。
13.一种便携式计算设备，包括：
一个或多个传感器；
显示器；
逻辑机；以及
存储机，所述存储机保持能由所述逻辑机执行以进行以下操作的指令：
生成包括虚拟对象以及同所述虚拟对象相关联的音频内容的虚拟环境的模型；
基于来自所述一个或多个传感器的数据来确定所述便携式计算设备周围的现实世界环境中的多个远程扬声器的位置；
标识与每个远程扬声器对应的音频声道；以及
基于所述虚拟对象在所述模型中相对于所述现实世界环境中的所述一个或多个远程扬声器的位置的位置来将所述音频信号发送到所述远程扬声器中的一个或多个。
14.根据权利要求13所述的便携式计算设备，其特征在于，其中所述一个或多个传感器包括图像传感器和麦克风阵列中的一者或多者。
15.根据权利要求14所述的便携式计算设备，其特征在于，为了确定所述多个远程扬声器的位置并且标识对应于每个远程扬声器的所述音频声道，所述指令能够执行
发送第一声道测试音频信号；
经由所述麦克风阵列接收来自第一远程扬声器的输出；
基于来自所述麦克风阵列的信号来确定所述第一远程扬声器的位置；
将所述第一声道映射到所述第一远程扬声器；
发送第二声道测试音频信号；
经由所述麦克风阵列接收来自第二远程扬声器的输出；
基于来自所述麦克风阵列的信号来确定所述第二远程扬声器的位置；以及
将所述第二声道映射到所述第二远程扬声器。
CN201580073750.4A 2015-01-19 2015-12-30 具有远程扬声器的空间音频 Pending CN107211226A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/599,957 2015-01-19
US14/599,957 US9584915B2 (en) 2015-01-19 2015-01-19 Spatial audio with remote speakers
PCT/US2015/067976 WO2016118294A1 (en) 2015-01-19 2015-12-30 Spatial audio with remote speakers

Publications (1)

Publication Number Publication Date
CN107211226A true CN107211226A (zh) 2017-09-26

Family

ID=55182589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580073750.4A Pending CN107211226A (zh) 2015-01-19 2015-12-30 具有远程扬声器的空间音频

Country Status (4)

Country Link
US (1) US9584915B2 (zh)
EP (1) EP3248395A1 (zh)
CN (1) CN107211226A (zh)
WO (1) WO2016118294A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108882139A (zh) * 2018-05-31 2018-11-23 北京橙鑫数据科技有限公司 参数配置方法以及系统
CN110881157A (zh) * 2018-09-06 2020-03-13 宏碁股份有限公司 正交基底修正的音效控制方法及音效输出装置
CN111133411A (zh) * 2017-09-29 2020-05-08 苹果公司 空间音频上混
CN111194561A (zh) * 2017-09-27 2020-05-22 苹果公司 预测性的头部跟踪的双耳音频渲染
CN111480348A (zh) * 2017-12-21 2020-07-31 脸谱公司 用于基于音频的增强现实的系统和方法
CN112083379A (zh) * 2020-09-09 2020-12-15 成都极米科技股份有限公司 基于声源定位的音频播放方法、装置、投影设备及介质
CN112689825A (zh) * 2018-09-11 2021-04-20 诺基亚技术有限公司 实现远程用户访问介导现实内容的装置、方法、计算机程序
CN113170250A (zh) * 2018-11-02 2021-07-23 伯斯有限公司 开放式音频设备中的音量控制
CN114303127A (zh) * 2019-08-12 2022-04-08 脸谱科技有限责任公司 操作系统的音频服务设计
CN115299026A (zh) * 2020-06-09 2022-11-04 元平台技术有限公司 基于显示器取向操纵音频数据的系统、设备和方法

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9779596B2 (en) 2012-10-24 2017-10-03 Apple Inc. Devices and methods for locating accessories of an electronic device
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US20160294484A1 (en) * 2015-03-31 2016-10-06 Qualcomm Technologies International, Ltd. Embedding codes in an audio signal
US11356520B2 (en) * 2015-05-29 2022-06-07 Sound United, Llc. System and method for selecting and providing zone-specific media
EP3342189B1 (en) 2015-08-24 2020-10-14 PCMS Holdings, Inc. Systems and methods for enhancing augmented reality experience with dynamic output mapping
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
CN108028985B (zh) 2015-09-17 2020-03-13 搜诺思公司 用于计算设备的方法
EP4380150A3 (en) 2015-10-08 2024-07-24 InterDigital VC Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10142754B2 (en) 2016-02-22 2018-11-27 Sonos, Inc. Sensor on moving component of transducer
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US11044393B1 (en) * 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US20180014102A1 (en) * 2016-07-06 2018-01-11 Bragi GmbH Variable Positioning of Distributed Body Sensors with Single or Dual Wireless Earpiece System and Method
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
EP3287868B1 (en) * 2016-08-26 2020-10-14 Nokia Technologies Oy Content discovery
US10598506B2 (en) * 2016-09-12 2020-03-24 Bragi GmbH Audio navigation using short range bilateral earpieces
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10754608B2 (en) 2016-11-29 2020-08-25 Nokia Technologies Oy Augmented reality mixing for distributed audio capture
US10771898B2 (en) * 2017-01-09 2020-09-08 Apple Inc. Locating wireless devices
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
KR101916380B1 (ko) * 2017-04-05 2019-01-30 주식회사 에스큐그리고 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
US10321258B2 (en) * 2017-04-19 2019-06-11 Microsoft Technology Licensing, Llc Emulating spatial perception using virtual echolocation
US10264380B2 (en) * 2017-05-09 2019-04-16 Microsoft Technology Licensing, Llc Spatial audio for three-dimensional data sets
US10405126B2 (en) * 2017-06-30 2019-09-03 Qualcomm Incorporated Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
CA3078420A1 (en) 2017-10-17 2019-04-25 Magic Leap, Inc. Mixed reality spatial audio
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
IL276510B2 (en) 2018-02-15 2024-02-01 Magic Leap Inc Virtual reverberation in mixed reality
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10768426B2 (en) * 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
EP3595336A1 (en) * 2018-07-09 2020-01-15 Koninklijke Philips N.V. Audio apparatus and method of operation therefor
US11032659B2 (en) * 2018-08-20 2021-06-08 International Business Machines Corporation Augmented reality for directional sound
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11641563B2 (en) 2018-09-28 2023-05-02 Apple Inc. System and method for locating wireless accessories
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US10739726B2 (en) 2018-10-03 2020-08-11 International Business Machines Corporation Audio management for holographic objects
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654142A1 (en) * 2018-11-14 2020-05-20 Nokia Technologies Oy First-person perspective-mediated reality
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11503422B2 (en) * 2019-01-22 2022-11-15 Harman International Industries, Incorporated Mapping virtual sound sources to physical speakers in extended reality applications
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
CN113812175A (zh) * 2019-04-17 2021-12-17 苹果公司 为无线附件共享密钥
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US10708706B1 (en) * 2019-05-07 2020-07-07 Facebook Technologies, Llc Audio spatialization and reinforcement between multiple headsets
JP7397883B2 (ja) * 2019-05-31 2023-12-13 アップル インコーポレイテッド 環境に基づく通信データの提示
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
US10827269B1 (en) * 2019-08-19 2020-11-03 Creative Technology Ltd System, method, and device for audio reproduction
CN112423190A (zh) * 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11483670B2 (en) * 2019-10-30 2022-10-25 Sonos, Inc. Systems and methods of providing spatial audio associated with a simulated environment
US20220414960A1 (en) * 2019-11-12 2022-12-29 Sony Group Corporation Information processing device, information processing method, and program
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11889302B2 (en) 2020-08-28 2024-01-30 Apple Inc. Maintenance of wireless devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
US11743670B2 (en) 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US12073705B2 (en) 2021-05-07 2024-08-27 Apple Inc. Separation alerts for notification while traveling
CN113676720B (zh) * 2021-08-04 2023-11-10 Oppo广东移动通信有限公司 多媒体资源的播放方法、装置、计算机设备及存储介质
US11914146B2 (en) * 2022-05-27 2024-02-27 Sony Interactive Entertainment LLC Methods and systems for adding real-world sounds to virtual reality scenes

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120113224A1 (en) * 2010-11-09 2012-05-10 Andy Nguyen Determining Loudspeaker Layout Using Visual Markers
CN103348700A (zh) * 2011-02-22 2013-10-09 蓝博士公司 用于无线麦克风和扬声器的声学回音消除的系统和方法
US20130328762A1 (en) * 2012-06-12 2013-12-12 Daniel J. McCulloch Controlling a virtual object with a real controller device
US20140160001A1 (en) * 2012-12-06 2014-06-12 Peter Tobias Kinnebrew Mixed reality presentation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2288121A3 (en) * 2000-11-30 2011-06-22 Intrasonics S.A.R.L. Telecommunications apparatus operable to interact with an audio transmission
KR101517592B1 (ko) 2008-11-11 2015-05-04 삼성전자 주식회사 고분해능을 가진 화면음원 위치장치 및 재생방법
US8269902B2 (en) 2009-06-03 2012-09-18 Transpacific Image, Llc Multimedia projection management
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US8767968B2 (en) 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US20130083018A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Personal audio/visual system with holographic objects
US8894484B2 (en) 2012-01-30 2014-11-25 Microsoft Corporation Multiplayer game invitation system
US20140101608A1 (en) 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
KR101989893B1 (ko) 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
US9131298B2 (en) 2012-11-28 2015-09-08 Qualcomm Incorporated Constrained dynamic amplitude panning in collaborative sound systems
US9812046B2 (en) 2013-01-10 2017-11-07 Microsoft Technology Licensing, Llc Mixed reality display accommodation
WO2014113891A1 (en) 2013-01-25 2014-07-31 Hu Hai Devices and methods for the visualization and localization of sound
US20150204561A1 (en) * 2014-01-20 2015-07-23 Innosys, Inc. Control System With Mobile Sensors
US10158946B2 (en) * 2014-09-04 2018-12-18 PWV Inc Speaker discovery and assignment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120113224A1 (en) * 2010-11-09 2012-05-10 Andy Nguyen Determining Loudspeaker Layout Using Visual Markers
CN103348700A (zh) * 2011-02-22 2013-10-09 蓝博士公司 用于无线麦克风和扬声器的声学回音消除的系统和方法
US20130328762A1 (en) * 2012-06-12 2013-12-12 Daniel J. McCulloch Controlling a virtual object with a real controller device
US20140160001A1 (en) * 2012-12-06 2014-06-12 Peter Tobias Kinnebrew Mixed reality presentation

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11202164B2 (en) 2017-09-27 2021-12-14 Apple Inc. Predictive head-tracked binaural audio rendering
CN111194561B (zh) * 2017-09-27 2021-10-29 苹果公司 预测性的头部跟踪的双耳音频渲染
CN111194561A (zh) * 2017-09-27 2020-05-22 苹果公司 预测性的头部跟踪的双耳音频渲染
CN111133411A (zh) * 2017-09-29 2020-05-08 苹果公司 空间音频上混
CN111480348A (zh) * 2017-12-21 2020-07-31 脸谱公司 用于基于音频的增强现实的系统和方法
CN108882139A (zh) * 2018-05-31 2018-11-23 北京橙鑫数据科技有限公司 参数配置方法以及系统
CN110881157A (zh) * 2018-09-06 2020-03-13 宏碁股份有限公司 正交基底修正的音效控制方法及音效输出装置
CN112689825A (zh) * 2018-09-11 2021-04-20 诺基亚技术有限公司 实现远程用户访问介导现实内容的装置、方法、计算机程序
CN113170250A (zh) * 2018-11-02 2021-07-23 伯斯有限公司 开放式音频设备中的音量控制
US11955107B2 (en) 2018-11-02 2024-04-09 Bose Corporation Ambient volume control in open audio device
CN114303127A (zh) * 2019-08-12 2022-04-08 脸谱科技有限责任公司 操作系统的音频服务设计
CN114303127B (zh) * 2019-08-12 2024-05-24 元平台技术有限公司 操作系统的音频服务设计
CN115299026A (zh) * 2020-06-09 2022-11-04 元平台技术有限公司 基于显示器取向操纵音频数据的系统、设备和方法
CN112083379A (zh) * 2020-09-09 2020-12-15 成都极米科技股份有限公司 基于声源定位的音频播放方法、装置、投影设备及介质
CN112083379B (zh) * 2020-09-09 2023-10-20 极米科技股份有限公司 基于声源定位的音频播放方法、装置、投影设备及介质

Also Published As

Publication number Publication date
EP3248395A1 (en) 2017-11-29
WO2016118294A1 (en) 2016-07-28
US20160212538A1 (en) 2016-07-21
US9584915B2 (en) 2017-02-28

Similar Documents

Publication Publication Date Title
CN107211226A (zh) 具有远程扬声器的空间音频
US11995774B2 (en) Augmented reality experiences using speech and text captions
US20210405761A1 (en) Augmented reality experiences with object manipulation
CN105009031B (zh) 增强现实设备以及在其上操作用户界面的方法
US20210373650A1 (en) Interactive augmented reality experiences using positional tracking
CN106462733B (zh) 一种用于视线检测校准的方法和计算设备
CN109479010A (zh) 通过注视化身的私有通信
CN107924237A (zh) 计算设备的增强现实控制
CN108475120A (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
CN108027649A (zh) 定位增强现实环境中的设备
CN106255943A (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
US10521013B2 (en) High-speed staggered binocular eye tracking systems
CN105359082A (zh) 用户接口导航
US11741679B2 (en) Augmented reality environment enhancement
US11630520B1 (en) Systems and methods for sensing gestures via vibration-sensitive wearables donned by users of artificial reality systems
US11176375B2 (en) Smart glasses lost object assistance
US12080301B2 (en) Utilizing inaudible ultrasonic frequencies to embed additional audio asset channels within existing audio channels
US20240115933A1 (en) Group control of computer game using aggregated area of gaze
US20240121569A1 (en) Altering audio and/or providing non-audio cues according to listener's audio depth perception
US12115441B2 (en) Fidelity of motion sensor signal by filtering voice and haptic components
US20240115937A1 (en) Haptic asset generation for eccentric rotating mass (erm) from low frequency audio content
US20240335942A1 (en) Reproducing fast eye movement using imaging of robot with limited actuator speed
US20240119928A1 (en) Media control tools for managing communications between devices
US20240077983A1 (en) Interaction recording tools for creating interactive ar stories
US20210349310A1 (en) Highly interactive display environment for gaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926

RJ01 Rejection of invention patent application after publication