CN115150716A - 基于设备位置确定音频滤波器的音频系统和方法 - Google Patents

基于设备位置确定音频滤波器的音频系统和方法 Download PDF

Info

Publication number
CN115150716A
CN115150716A CN202210342536.6A CN202210342536A CN115150716A CN 115150716 A CN115150716 A CN 115150716A CN 202210342536 A CN202210342536 A CN 202210342536A CN 115150716 A CN115150716 A CN 115150716A
Authority
CN
China
Prior art keywords
audio
user
image
input signal
electro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210342536.6A
Other languages
English (en)
Inventor
V·G·苏布兰马尼安
A·J·万尼
O·苏亚雷斯
A·R·哈维
M·E·约翰逊
T·奥克莱尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN115150716A publication Critical patent/CN115150716A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Geometry (AREA)
  • Stereophonic System (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

本申请涉及基于设备位置确定音频滤波器的音频系统和方法。描述了一种音频系统和基于该音频系统的音频设备的位置确定音频滤波器的方法。该音频系统接收由用户佩戴的音频设备的图像，并且基于该图像以及音频设备上的基准与音频设备的电声换能器之间的已知几何关系来确定电声换能器与用户的解剖学特征之间的相对位置。基于相对位置来确定音频滤波器。音频滤波器可应用于音频输入信号以通过电声换能器向用户呈现空间化的声音，或者音频滤波器可应用于麦克风输入信号以由电声换能器捕获用户的言语。也描述了其他方面并要求对其他方面进行保护。

Description

基于设备位置确定音频滤波器的音频系统和方法
本申请要求2021年3月31日提交的美国临时专利申请号63/169,004的优先权的权益，该临时专利申请全文以引用方式并入本文。
技术领域
本发明公开了与具有音频能力的设备相关的方面。更具体地，公开与用于呈现空间音频的设备相关的方面。
背景技术
可使用由用户佩戴的音频设备来呈现空间音频。例如，耳机可再现模拟用户周围的音景的空间音频信号。有效的空间声音再现可呈现声音，使得用户将声音感知为来自用户头部外部的音景内的位置，正如用户在真实世界中遇到声音的情况下将体验到声音一样。
当声音从真实世界中的周围环境传播到收听者时，声音沿着直接路径传播，例如通过空气传播到收听者耳道入口，并且沿着一个或多个间接路径传播，例如通过在收听者头部或肩部周围反射和衍射来传播。当声音沿着间接路径传播时，可将假象引入耳道入口接收的声学信号中。这些假象取决于解剖结构，并且因此是用户特定的。因此，用户将假象感知为自然的。
可通过使用空间音频滤波器的信号处理算法来将用户特定的假象结合到双耳音频中。例如，头部相关传递函数(HRTF)是这样的滤波器，该滤波器包含描述声音在收听者的耳道入口处进入其听觉系统之前如何在收听者的头部周围反射或衍射所需的所有声学信息。可以在实验室中为特定用户测量HRTF。HRTF可应用于音频输入信号以对信号进行整形，使得经整形的信号的再现逼真地模拟从周围环境传播到用户的声音。因此，收听者可使用简单的立体声耳机，通过将HRTF应用于音频输入信号来在收听环境中的某处产生声源的错觉。
发明内容
生成和应用头部相关传递函数(HRTF)的现有方法假设耳机将空间化的声音直接发射到收听者的耳道入口中。然而，这种假设可能是错误的。例如，当收听者佩戴具有远离耳道入口的扬声器的音频设备时，例如，如在耳外耳机的情况下，空间化的声音在进入耳道入口之前可能经历附加的假象。因此，用户可将空间化的声音感知为声音的有缺陷的表示，如通常将体验的那样。
描述了音频系统和使用该音频系统来确定音频滤波器的方法，该音频滤波器补偿电声换能器(例如，扬声器)和解剖学特征(例如，耳道入口)的之间的相对定位。通过补偿相对位置，向用户输出的空间化的声音可准确地表示如用户通常将体验到的声音。在一方面，方法包括接收佩戴在用户头部上的音频设备的图像。监测设备(例如，可穿戴设备)可输出视觉提示、音频提示或触觉提示中的一者或多者以引导用户相对于音频设备移动远程设备以用于图像捕获。因此，远程设备的相机可捕获图像，该图像包括音频设备的基准(datum)和用户的解剖学特征。
在一方面，音频系统的一个或多个处理器确定解剖学特征与音频设备的电声换能器之间的相对位置。可以基于图像并且还基于基准与电声换能器之间的已知几何关系来进行确定。例如，电声换能器在图像中可能不可见，然而，图像中可见的基准与隐藏的电声换能器之间的几何关系可用于确定电声换能器的位置。然后可确定隐藏的电声换能器(例如，音频设备的扬声器或麦克风)与可见解剖学特征(例如，用户的耳道入口或嘴)之间的相对位置。
在一方面，可基于相对位置来确定音频滤波器。音频滤波器可补偿电声换能器与解剖学特征之间的相对位置。例如，可通过用户的耳道入口与可穿戴设备的耳外扬声器之间的分离来引入假象。音频滤波器可补偿那些假象，并且因此可基于所确定的分离来选择。因此，可将音频滤波器应用于音频输入信号以生成空间输入信号，并且可用空间输入信号驱动耳外扬声器以向用户呈现逼真的空间化声音。
在一方面，设备包括存储器和被配置为执行上述方法的一个或多个处理器。例如，存储器可存储音频设备的图像以及可由处理器执行以致使设备执行方法的指令，该方法包括基于图像确定相对位置，以及基于相对位置确定音频滤波器。
上面的概述不包括本发明的所有方面的详尽列表。设想本发明包括可从上面概述的各个方面以及在下面的具体实施方式中公开并在随该专利申请提交的权利要求书中特别指出的各个方面的所有合适的组合而实践的所有系统和方法。此类组合具有未在上面的概述中具体叙述的特定优点。
附图说明
图1是根据一方面的用户佩戴音频设备并握持远程设备的绘画视图。
图2是根据一方面的音频系统的框图。
图3是根据一方面的音频设备的透视图。
图4是根据一方面的音频设备的透视图。
图5是根据一方面的确定音频滤波器的方法的流程图。
图6是根据一方面的用户捕获佩戴在用户的头部上的音频设备的图像的绘画视图。
图7是根据一方面的引导用户捕获佩戴在用户的头部上的音频设备的图像的方法的流程图。
图8是根据一方面的佩戴在用户的头部上的音频设备的图像的绘画视图。
图9是根据一方面的使用音频滤波器以进行音频回放的方法的流程图。
图10是根据一方面的使用音频滤波器以进行空间化的声音的音频回放的方法的绘画视图。
图11是根据一方面的使用音频滤波器以进行音频拾音的方法的流程图。
图12是根据一方面的使用音频滤波器以进行音频拾音的方法的绘画视图。
具体实施方式
各方面描述了音频系统以及基于音频设备相对于收听者的解剖学特征的位置确定音频滤波器，并使用音频滤波器来实现音频系统的音频回放或音频拾音的方法。音频系统可包括音频设备，并且可将音频滤波器应用于音频输入信号以生成空间输入信号以供音频设备回放。例如，音频设备可以是可穿戴设备，诸如耳外耳机、具有耳外耳机的头戴式设备等。然而，音频设备可以是另一可穿戴设备，诸如入耳式耳机或电话头戴式耳机，仅举几个可能的应用。
在各个方面中，参考附图进行描述。然而，可在不具有这些具体细节中的一个或多个具体细节或不与其他已知的方法和配置组合的情况下实践某些方面。在以下的描述中，阐述多个具体细节诸如具体配置、尺寸和过程，以便提供对方面的透彻理解。在其他实例中，没有特别详细地描述众所周知的过程和制造技术，以便不会不必要地模糊该描述。整个本说明书中对“一个方面”、“方面”等的引用意味着所描述的特定特征、结构、配置或特性包括在至少一个方面中。因此，整个本说明书中各个地方出现短语“一个方面”、“方面”等不一定是指相同方面。还有，特定特征、结构、配置或特性可以任何合适的方式组合在一个或多个方面中。
在整个描述中使用相对术语可指代相对位置或方向。例如，“在……前面”可指示远离参考点的第一方向。类似地，“在……后面”可指示在远离参考点且与第一方向相反的第二方向上的位置。然而，提供此类术语以建立相对参照系，并且此类术语不旨在将音频系统或系统部件(例如，音频设备)的使用或取向限制为在下面各个方面中描述的具体配置。
在一方面，音频系统包括由用户佩戴的音频设备，以及可在正被佩戴时对音频设备进行成像的远程设备。基于由远程设备捕获的图像，可以确定音频设备的电声换能器(例如，扬声器或麦克风)与用户的解剖学特征(例如，耳道入口或嘴)之间的相对位置。电声换能器在图像中可能不可见，并且因此，电声换能器与音频设备的可见基准之间的已知几何关系可用于进行确定。可基于相对位置来确定音频滤波器。音频滤波器可补偿解剖学特征与电声换能器之间的空间偏移，并且因此可生成对用户而言更逼真的空间化音频，或者可生成更准确地捕获外部声音(诸如用户的语音)的麦克风拾音信号。
参考图1，示出了根据一方面的用户佩戴音频设备并握持远程设备的绘画视图。音频系统100可包括设备，例如远程设备102(诸如智能电话、膝上型电脑、便携式扬声器等)，其与正佩戴在用户108的头部106上的音频设备104通信。如图所示，用户108可佩戴若干音频设备104。例如，音频设备104可以是诸如耳外耳机110之类的可穿戴设备，用于诸如虚拟现实或增强现实视频或游戏之类的应用的头戴式显示器，或者具有与用户的耳朵或嘴间隔开的扬声器和/或麦克风的另一设备。更具体地，可穿戴设备110可包括耳外扬声器、麦克风，并且任选地包括显示器，如下所述。替代地，音频设备104可以是入耳式耳机112。入耳式耳机112可包括将声音直接发射到用户108的耳朵中的扬声器。因此，用户108可收听由音频设备104播放的音频，诸如音乐、电影或游戏内容、双耳音频再现、电话呼叫等。在一方面，远程设备102可驱动音频设备104以向用户108呈现空间音频。
在一方面，音频设备104可包括麦克风。麦克风可被内置到可穿戴设备110或入耳式耳机112中以检测音频设备104内部和/或外部的声音。例如，麦克风可在面向周围环境的位置处安装在音频设备104上。因此，麦克风可检测与从周围环境接收的声音相对应的输入信号。例如，麦克风可指向用户108的嘴120以拾取用户108的语音并生成对应的麦克风输出信号。
在一方面，远程设备102包括相机114，以在远程设备102围绕头部106移动时捕获佩戴在用户108的头部106上的音频设备104的图像。例如，当远程设备102围绕头部106连续移动时，远程设备102可例如经由相机114捕获若干图像。图像可用来确定音频滤波器以实现音频设备104的扬声器或麦克风的输出，如下所述。此外，远程设备102可包括用以无线地或通过有线连接与音频设备104连接以传送用于音频渲染(例如，双耳音频再现)的信号的电路。
参考图2，示出了根据一方面的音频系统的框图。音频系统100可包括远程设备102，该远程设备可以是具有适于特定功能的电路的若干类型的便携式设备或装置中的任一种。类似地，音频系统100可包括第一音频设备104(例如，可穿戴设备110)和/或第二音频设备104(例如，入耳式耳机112)。更具体地，音频设备104可包括具有适于特定功能的电路的若干类型的可穿戴设备或装置中的任一种。可穿戴设备可以是头戴式，腕戴式，或佩戴在用户108的身体的任何其他部分上。图示的电路以举例而非限制的方式提供。
音频系统100可包括一个或多个处理器202以执行指令，从而执行下文所述的不同功能和能力。可从存储器204检索由处理器202执行的指令，该存储器可包括非暂态机器可读介质。指令可以是操作系统程序的形式，该操作系统程序具有设备驱动程序和/或用于根据下述方法呈现音乐回放、双声道音频回放等的音频渲染引擎。处理器202可从存储器204检索数据以用于各种用途，包括：用于图像处理；用于音频滤波器选择、生成或应用；或用于包括下面描述的方法中涉及的那些操作的任何其他操作。
一个或多个处理器202可分布在整个音频系统100中。例如，处理器202可结合在远程设备102或音频设备104中。音频系统100的处理器202可彼此通信。例如，远程设备102的处理器202和音频设备104的处理器202可经由相应的RF电路205无线地彼此传送信号，如箭头所示，或通过有线连接彼此传送信号。音频系统100的处理器202还可与音频系统100内的一个或多个设备部件通信。例如，音频设备104的处理器202可与音频设备104的电声换能器208(例如，扬声器210或麦克风212)通信。
在一方面，处理器202可访问并检索存储在存储器204中的音频数据。音频数据可以是由一个或多个音频源206提供的音频输入信号。音频源可包括由在操作系统之上运行的电话或音频应用程序控制的电话和/或音乐回放功能。类似地，音频源可包括在操作系统之上运行的增强现实(AR)或虚拟现实(VR)应用程序。在一方面，AR应用程序可生成待输出到音频设备104的电声换能器208(例如，扬声器210)的空间输入信号。例如，远程设备102和音频设备104(例如，可穿戴设备110或入耳式耳机112)可无线地传送信号。因此，音频设备104可基于来自音频源的空间输入信号向用户108呈现空间音频。
在一方面，存储器204存储音频滤波器数据以供处理器202使用。例如，存储器204可存储音频滤波器，该音频滤波器可应用于来自音频源的音频输入信号以生成空间输入信号。如本文所用的音频滤波器可以在数字信号处理代码或计算机软件中实现为执行音频输入信号的均衡或滤波的数字滤波器。例如，数据集可包括对应于用户108的测量或估计的HRTF。数据集的单个HRTF可以是一对声学滤波器(每只耳朵一个)，其表征从无反射环境中的特定位置到用户108的耳道入口的声学传输。也可以对每只耳朵单独进行个性化均衡。耳朵及其相对于头部的位置是不对称的，并且可佩戴音频设备104以使得相对位置在耳朵之间是不同的。因此，为耳朵选择的声学滤波器可针对耳朵进行个体化，而不是被选择为固定对。HRTF的数据集概括用户108的空间听觉的基音。数据集还可包括补偿用户108的耳道入口与音频设备104的扬声器210之间的分离的音频滤波器。此类音频滤波器可直接应用于音频输入信号，或者应用于由HRTF相关音频滤波器滤波的音频输入信号，如下所述。因此，处理器202可从存储器204中的数据库中选择一个或多个音频滤波器以应用于音频输入信号以生成空间输入信号。存储器204中的音频滤波器还可用于影响麦克风212的麦克风输入信号，如下所述。
存储器204还可以存储由远程设备102的成像系统生成的数据。例如，远程设备102的结构化光扫描仪或RGB相机114可捕获正佩戴在用户108的头部106上的音频设备104的图像，并且该图像可被存储在存储器204中。可由处理器202访问和处理图像以确定用户108的解剖学特征与音频设备104的电声换能器之间的相对位置。
为了执行各种功能，处理器202可直接或间接地实现控制回路并从其他电子部件接收输入信号和/或向其他电子部件提供输出信号。例如，处理器202可从麦克风或输入控件(诸如远程设备102的菜单按钮)接收输入信号。输入控件可作为用户界面元素被显示在远程设备102或音频设备104的显示器上，并且可例如当可穿戴设备110是头戴式显示器时通过对显示器211上显示的用户界面元素的输入选择来选择。
参考图3，示出了根据一方面的音频设备的透视图。音频设备104可以是可穿戴设备110，并且可具有与该类型的设备有密切关系并且通常相关联的特征。例如，当可穿戴设备110是头戴式显示器时，设备可具有壳体，该壳体结合了显示器211以供用户在佩戴音频设备104的同时查看视频内容。壳体的保持显示器211的部分可搁置在用户108的鼻部上，并且音频设备104可包括其他特征以将壳体支撑在用户108的头部106上。例如，头戴式显示器可包括边撑或头带以将壳体支撑在用户108的头部106上。类似地，当可穿戴设备110包括耳外耳机时，如图3所示，耳机可包括边撑302以将设备支撑在用户108的头部106上。
可穿戴设备110可包括电声换能器208以输出声音或从用户108接收声音。例如，电声换能器208可包括扬声器210，该扬声器可以是集成在可穿戴设备110的边撑302中的耳外扬声器。可穿戴设备110可包括其他特征，诸如边撑302的压花或铰链、边撑302上的标记、头带、壳体等。
可穿戴设备110的总体几何形状可以使用计算机辅助设计来设计和建模。更具体地，音频设备104可由计算机辅助设计(CAD)模型表示，该CAD模型可以是音频设备104的物理对象的虚拟表示。因此，图3的视图可以是CAD模型的视图。CAD模型可具有与物理对象相同的特性，并且因此，音频设备104的特征之间的几何关系可由CAD模型表示。
在一方面，音频设备104的若干特征可通过几何关系304来关联。几何关系304可与相对位置不同，因为几何关系是相对于音频设备104的预先确定模型已知的或确定的，与音频设备部件之间的实际相对位置相反，因为它们可能存在于自由空间中。音频设备104具有基于CAD模型已知的预先确定几何形状，并且因此设备的任何两个物理特征可具有可基于CAD模型确定的相对取向或位置。通过举例的方式，音频设备104可包括基准306。基准306可以是音频设备104的任何特征，其为可识别的并且/或者可被成像，并且可用作用于确定音频设备104的另一特征的位置的基础。例如，基准306可以是边撑302上的标记，边撑302的压花、盖或铰链，或者可被成像的任何其他特征。标记可以是菱形、矩形或可通过图像处理技术识别的任何其他形状。
如图所示，基准306(在这种情况下，边撑的压花)可与电声换能器208具有几何关系304。更具体地，基准306上的点可与电声换能器208间隔开，并且特征之间的相对位置可以是几何关系304。特征的几何关系可在CAD模型中建模。几何关系304可以是笛卡尔坐标系内特征的坐标的差异，或表示CAD模型中的特征的任何其他系统。
参考图4，示出了根据一方面的音频设备的透视图。音频设备104可以是入耳式耳机112，并且可具有与该类型的设备有密切关系并且通常相关联的特征。例如，入耳式耳机112可具有结合了扬声器210和麦克风212的壳体。入耳式耳机112可被装配到用户108的外耳中，使得扬声器210可将声音输出到用户108的耳道入口中。类似地，入耳式耳机112可具有例如在主体402的远端处与扬声器210间隔开的麦克风212，以在用户108说话时接收声音。
与可穿戴设备110一样，入耳式耳机112可具有一个或多个基准306，该一个或多个基准由CAD模型表示并且可在音频设备104的图像中识别。与可穿戴设备110一样，入耳式耳机112可使用CAD进行设计和建模，并且入耳式耳机112的特征可通过所得的CAD模型相互关联。例如，主体402上的矩形标记与扬声器210之间的几何关系304可以是已知的并且用于在仅基准306可见时确定扬声器210的空间位置。类似地，主体402上的矩形标记与麦克风212之间的几何关系304可以是已知的并且用于在仅基准306可见时确定麦克风212的空间位置。基准306可以是任何可识别的物理特征，例如凸块、凹槽、颜色变化或可被成像的音频设备104的任何其他特征。
基准306与电声换能器208(例如，扬声器210或麦克风212)之间的几何关系304可允许基于一个特征的已知位置确定另一特征的位置。即使仅可以在图像中识别出一个特征(例如，基准306)，其他特征(例如，隐藏在图3中的边撑302后面的扬声器210)的位置也可根据基于CAD模型已知的音频设备104的预先确定几何形状来确定。更具体地，基于CAD模型，音频设备104的可见部分可与音频设备104的隐藏部分关联。
参考图5，示出了根据一方面的确定音频滤波器的方法的流程图。该方法可用于基于音频设备104的电声换能器208(例如，扬声器210或麦克风212)与用户108的解剖学特征(例如，耳道入口或嘴120)之间的关系来确定音频滤波器。更具体地，可以确定音频滤波器，其补偿由于解剖学特征与电声换能器208之间的分离而引入的假象。例如，将音频滤波器应用于音频输入信号可以为用户108正在佩戴音频设备104的方式提供声学补偿。该方法的操作在图6至图7中示出，并且因此，该方法的操作将与以下那些图一起描述。
参考图6，示出了根据一方面的用户捕获佩戴在用户的头部上的音频设备的图像的绘画视图。在操作502处，音频设备104的图像可由音频系统100的一个或多个处理器202接收。可以从远程设备102的相机114接收图像。更具体地，在登记过程期间，用户108可在围绕用户108的头部106的弧形路径中移动远程设备102，其中远程设备102的前向相机114面向用户108的头部106。当远程设备102载头部106周围扫过时，前向相机114可捕获并记录正佩戴在用户108的头部106上的已知设备(例如，音频设备104)的一个或多个图像。例如，当用户108戴上可穿戴设备110或入耳式耳机112时，远程设备102可记录音频设备104和头部106的解剖学特征，诸如用户108的嘴120或耳朵。一个或多个图像可以是若干图像。更具体地，输入数据可以是若干图像而不是仅一个图像。
来自登记过程的图像可用于为用户108确定适当的HRTF。更具体地，方法规定将用户108的解剖结构映射到特定HRTF，该特定HRTF被存储在例如远程设备102的数据库中，并且被选择以应用于音频输入信号。确定HRTF的方法将不会详细地描述，但是应当理解，用于将用户108的解剖结构映射到特定HRTF的图像捕获也可用于确定补偿电声换能器208与解剖学特征之间的分离的音频滤波器。替代地，例如当用户108没有佩戴音频设备104时，可以第一次扫描用户108的解剖结构以确定用户108的完整解剖结构，并且例如当用户108正在佩戴音频设备104时，可以第二次扫描用户108的解剖结构以确定解剖结构和电声换能器208的相对定位。
登记过程的目标是捕获图像，该图像示出音频设备104与用户108的解剖结构之间的相对位置。相对位置可以是音频设备104(或其一部分)与捕获图像的环境中(例如，用户所在的自由空间中)的解剖结构之间的相对定位。例如，图像可示出入耳式耳机112装配在耳朵内的方式，入耳式耳机112的主体402远离耳朵或朝向嘴120延伸的方向，可穿戴设备110坐置在用户108的耳朵或面部上的方式，可穿戴设备110的头带定位在用户108的头部106周围的方式等。关于装配(以及更具体地，音频设备104与用户解剖结构之间的相对位置)的该信息可用于确定诸如以下的信息：用户108是否具有可影响用户108的HRTF的长头发，当用户108正在说话时将在麦克风212处接收哪个方向的声音，声音必须沿哪个方向从扬声器210传播到耳道入口以及传播的距离等。更具体地，当所捕获的图像示出电声换能器208与用户解剖结构之间的相对位置，或者如下所述，示出用户解剖结构与基准306(其可与电声换能器208相关)之间的相对位置时，则可以适当地调整音频信号以维持逼真的空间音频演奏和准确的音频拾音。
相对于头戴式设备正确地定位远程设备102可允许相机114以提供关于在音频设备104与用户解剖结构之间的相对位置的信息的角度来捕获正佩戴在用户108的头部106上的音频设备104的图像。然而，有时，用户108可能难以从远程设备102的显示器211(其可显示由相机114捕获的图像)确定远程设备102是否正确定位。更具体地，由于远程设备102可能正在扫描头部106的一侧，因此用户108可能无法看到远程设备102的显示器211，并且因此可能无法依赖于显示器211来引导定位远程设备102。
参考图7，示出了根据一方面的引导用户捕获佩戴在用户的头部上的音频设备的图像的方法的流程图。在操作702处，远程设备102的相机114可捕获佩戴在用户108的头部106上的音频设备104的图像。在一方面，可由辅助设备向用户108提供反馈以引导用户108将远程设备102移动到用于图像捕获的适当位置。更具体地，在操作704处，辅助设备可输出视觉提示、音频提示或触觉提示中的一者或多者以引导用户108相对于音频设备104移动远程设备102。辅助设备可以是监测设备602(图6)，其是除远程设备102之外的设备，并且可向用户108输出提示。提示可促使用户108将远程设备102移动到用于图像捕获的适当位置。
监测设备602可以是电话、计算机或具有视觉显示器、扬声器、触觉电机或能够向用户108提供引导提示以帮助用户108正确地定位远程设备102的相机114的任何其他部件的另一设备。监测设备602可在视觉上显示、在听觉上描述、在触觉上刺激或以其他方式将关于扫描的进展或关于远程设备102相对于音频设备104的位置的信息馈送回用户108。反馈向登记过程提供更有效且准确的成像操作。
在一方面，监测设备602是可穿戴设备。更具体地，用户108可在执行包括成像操作的登记过程时佩戴监测设备602。可穿戴设备可以是除远程设备102之外的设备。例如，监测设备602可以是佩戴在用户108的头部106上的音频设备104，例如，可穿戴设备110或入耳式耳机112。佩戴监测设备602的能力确保无论何时用户108想要基于音频设备104的装配来执行声学调整，该设备都存在并且是容易查看的。
可穿戴设备可以是除远程设备102和音频设备104之外的设备。例如，监测设备602可以是佩戴在用户108的手腕上的智能手表。智能手表可具有类似于远程设备102的计算机架构。智能手表可包括用于呈现视觉提示的显示器，用以呈现音频提示的扬声器，或用以提供触觉提示的振动电机或其他致动器。当智能手表被佩戴在手腕上时，其可容易地定位在用户108的视野中，而远程设备102保持在用户108的视野之外的位置处。远程设备102可将图像或其他位置信息(例如，惯性测量单元(IMU)数据)流式传输到监测设备602。监测设备602可使用位置信息来确定引导指令并且以视觉、音频或触觉形式向用户108呈现引导指令。因此，监测设备602可以是音频系统100中除远程设备102和音频设备104之外的第三设备，以允许用户108登记和确定可补偿电声换能器208与解剖学特征之间的分离的音频滤波器。
在一方面，监测设备602提供视觉提示以引导用户108。远程设备102可将由相机114捕获的图像流式传输到音频设备104以呈现在显示器211上。例如，用户108可能正在观看其头部106的一侧在音频设备显示器211上的图像。可由远程设备102提供图像，用户在其手臂伸直并延伸到其侧面的情况下握持着该远程设备。用户108可基于流式传输的图像来移动远程设备102，直到远程设备102处于期望的位置。除了佩戴在用户108的头部106上的音频设备104的图像之外，音频设备104还可显示指导用户108以特定方式移动远程设备102的文本指令、图标、指示符或其他信息。例如，监测设备602可基于由远程设备102提供的图像或位置信息来确定远程设备102的当前位置和取向。可以显示闪烁箭头以指示远程设备102应被移动以最佳地捕获音频设备104与用户解剖结构之间的相对位置的方向。例如，箭头可引导用户108将远程设备102从当前位置移动到最佳位置。因此，监测设备602提供提示来引导用户108以相对于重力矢量或音频设备104的特定取向(俯仰、偏航和滚动)或以距音频设备104特定距离将电话定位在特定位置处。
在一方面，监测设备602提供音频提示以引导用户108。例如，可穿戴设备(例如，智能手表或音频设备104)的扬声器210可以提供上述视觉提示的描述性版本。更具体地，可提供音频指令(诸如“将您的头部向左倾斜”、“旋转您的头部”、“将您的电话向左移动”、“将您的电话倾斜远离您”)或其他指令来引导用户108相对于音频设备104正确定位远程设备102。不需要说出指令。例如，音调可以以雷达哔哔声的方式周期性地输出。当远程设备102接近最佳位置时，发出哔哔声的频率可增加。因此，当用户108已经基于发出哔哔声的频率增加的反馈以到达最佳位置的目的移动远程设备102时，远程设备102将变得正确定位。当正确定位时，远程设备102可捕获表示音频设备104与解剖学特征之间的相对位置的图像。
在一方面，监测设备602提供触觉提示以引导用户108。例如，可穿戴设备(例如，智能手表或音频设备104)的振动电机或其他致动器可以以类似于上述音频提示的方式提供触觉反馈，诸如振动。更具体地，振动脉冲可以以雷达哔哔声的方式周期性地输出。当远程设备102接近最佳位置时，脉冲的频率可增加。因此，当用户108已经基于脉冲的频率增加的反馈以到达最佳位置的目的移动远程设备102时，远程设备102将变得正确定位。当正确定位时，远程设备102可捕获表示音频设备104与解剖学特征之间的相对位置的图像。
参考图8，示出了根据一方面的佩戴在用户的头部上的音频设备的图像的绘画视图。在操作504(图5)处，基于图像802来确定解剖学特征804与电声换能器208之间的相对位置808。当用户108正在上述最佳位置附近握持远程设备102时，在远程设备102的显示器211上示出图像802。应当理解，出于说明目的，图像802在显示器211上示出，但是图像802可被接收作为表示所示视图的图像文件。因此，可以处理图像802以识别某些图像特征。例如，图像802可包括音频设备104的基准306以及用户108的一个或多个解剖学特征804。基准306可以是可穿戴设备110的边撑302上的标记，如上所述。基准还可以是诸如边缘、结构之类的特征，或可在图像802中识别的音频设备104的任何特征。解剖学特征804可以是用户108的耳道入口806或耳廓的上边缘，如图所示。解剖学特征804还可以是用户108的嘴120、用户108的耳垂或图像802中可识别的任何其他解剖学特征。
在一方面，图像802不包括电声换能器208。更具体地，电声换能器208可隐藏在图像802中。例如，电声换能器208可以是安装在边撑302的内表面上的扬声器210，其隐藏在边撑302后面。因此，解剖学特征804与电声换能器208之间的相对位置808可能不可从图像802直接识别。
为了确定相对位置808，可以使用可识别的基准306与电声换能器208之间的几何关系304。更具体地，音频设备104的几何形状可以是已知的并被存储为例如音频设备104的CAD模型。因此，几何形状可用于将音频设备104上的任何可识别点与音频设备104上的另一点关联，而不管另一点在图像802中是否可见。在一方面，当电声换能器208被隐藏不可见时，基准306的位置可被识别并且然后与电声换能器208关联。更具体地，基于CAD模型的几何关系304可用于基于基准306的已知位置来在数学上确定电声换能器208的未知位置。
当电声换能器208的位置已知时，其可以用于确定电声换能器208与解剖学特征804之间的相对位置808。例如，可以基于已知的几何关系304从图8的图像802确定扬声器210与耳道入口806之间的相对位置808。替代地，当图像802包括相对于嘴120定位的入耳式耳机主体402时，可以确定麦克风与用户108的嘴之间的相对位置。因此，可以基于图像802以及基准306与电声换能器208之间的几何关系304来确定解剖学特征804与音频设备104的电声换能器208之间的相对位置808。
在操作506(图5)处，基于相对位置808来确定音频滤波器。通过确定电声换能器208到解剖学特征804的相对位置和/或取向，可以生成或选择个性化音频滤波器(例如，个性化均衡器)以补偿分离。相对位置808可用于参考查找表，例如，或以其他方式识别存储在存储器204中的音频滤波器，该音频滤波器对应于电声换能器208与解剖学特征804之间的分离。
在音频输出的情况下，音频滤波器可与HRTF结合使用以不仅考虑解剖结构，而且还在提供空间音频时考虑到音频设备104如何装配在用户108身上。在音频输入的情况下，音频滤波器可用于基于音频设备104(例如入耳式耳机112的主体402)的取向如何相对于声源(例如，嘴120)定位和指导麦克风212来对输入进行滤波。因此，如下所述，所确定的音频滤波器可用于音频回放以调整扬声器210输出声音的方式，或者所确定的音频滤波器可用于音频拾音以调整麦克风212拾取声音的方式。在任一情况下，音频滤波器都可补偿相对位置808引入的假象。
参考图9，示出了根据一方面的使用音频滤波器以进行音频回放的方法的流程图。图10中示出了该方法的操作，并且因此，下面参考该图描述这些操作。
参考图10，示出了根据一方面的使用音频滤波器以进行空间化的声音的音频回放的方法的绘画视图。在操作902处，将音频滤波器1002应用于音频输入信号1004以生成空间输入信号1008。音频输入信号1004可以是由远程设备102的一个或多个音频源206提供的音频数据。音频滤波器1002可被直接或间接地应用于音频输入信号1004。例如，音频滤波器1002可在音频输入信号1004被HRTF 1006修改之前或之后应用于该音频输入信号。在一方面，HRTF 1006被应用于音频输入信号1004以修改音频输入信号1004，使得其基于用户108的特定解剖结构来空间化。感兴趣的区域的特定解剖结构(诸如用户的耳廓)可对声音在进入收听者的听觉系统之前如何在收听者的头部周围反射或衍射具有显著影响，并且HRTF1006可应用于音频输入信号1004以对信号进行整形，使得经整形的信号的再现逼真地模拟从周围环境传播到用户的声音。如上所述，HRTF 1006可被选择为登记过程的一部分。然后可将音频滤波器1002应用于经修改的信号以便不仅考虑解剖结构，而是还基于扬声器210相对于耳道入口806的位置来调整HRTF 1006。
用HRTF 1006和音频滤波器1002两者修改音频输入信号1004的结果是空间输入信号1008。空间输入信号1008是由HRTF 1006和音频滤波器1002滤波的音频输入信号1004，使得输入声音记录被改变以模拟用户108的解剖结构的衍射和反射特性，并且补偿通过将扬声器210与耳道入口806分开而引入的假象。空间输入信号1008可由处理器202传送到扬声器210。在操作904处，扬声器210用空间输入信号1008驱动以向用户108呈现空间化的声音1010。空间化的声音1010可模拟在用户108周围的虚拟环境中由空间化的声源1012(例如，说话的人)生成的声音(例如，语音)。更具体地，通过用空间输入信号1008驱动扬声器210，可以准确且清晰地向用户108呈现空间化的声音1010。
除了改善声音空间化之外，使用音频滤波器1002的回放的个性化均衡可改善从用户到用户的回放一致性。个性化的均衡可以使进入耳道的声音对于所有用户恒定。更具体地，用于立体声回放的音色可在用户群体中被感知为相同的。这样的一致性在使用户体验均匀化方面可以是有利的。
参考图11，示出了根据一方面的使用音频滤波器以进行音频拾音的方法的流程图。图12中示出了该方法的操作，并且因此，下面参考该图描述这些操作。
参考图12，示出了根据一方面的使用音频滤波器以进行音频拾音的方法的绘画视图。如上所述，所确定的音频滤波器1002可用于音频拾音。在操作1102处，将音频滤波器1202应用于麦克风212的麦克风输入信号1204。例如，麦克风212可基于入射声波生成麦克风输入信号1204，并且音频滤波器1202可应用于麦克风输入信号1204以生成拾音输出信号1206。因此，音频滤波器1202可基于麦克风212与用户108的嘴120(或另一个声源)之间的相对位置808来调整麦克风输入信号1204。调整可产生更准确的拾音输出信号1204。例如，音频滤波器1202可被导出以改善语音拾音、清晰度、有源噪声控制或其他麦克风拾音功能。
众所周知，使用个人可识别信息应遵循公认为满足或超过维护用户隐私的行业或政府要求的隐私政策和做法。具体地，应管理和处理个人可识别信息数据，以使无意或未经授权的访问或使用的风险最小化，并应当向用户明确说明授权使用的性质。
在前述说明书中，已参考其具体示例性方面描述了本发明。将明显的是，可在不脱离如在以下权利要求中阐述的本发明的更广泛的实质和范围的情况下对具体示例性方面作出各种修改。相应地，说明书和附图被视为是例示性意义而不是限定性意义。

Claims (20)

1.一种方法，包括：
由一个或多个处理器接收佩戴在用户的头部上的音频设备的图像，其中所述图像包括所述音频设备的基准和所述用户的解剖学特征；
由所述一个或多个处理器基于所述图像以及所述基准与所述音频设备的电声换能器之间的几何关系来确定所述解剖学特征与所述电声换能器之间的相对位置；以及
由所述一个或多个处理器基于所述相对位置来确定音频滤波器。
2.根据权利要求1所述的方法，其中所述图像不包括所述电声换能器。
3.根据前述权利要求中任一项所述的方法，其中所述几何关系基于所述音频设备的计算机辅助设计模型。
4.根据权利要求1至3中任一项所述的方法，其中所述电声换能器是扬声器，并且其中所述解剖学特征是所述用户的耳道入口。
5.根据权利要求4所述的方法，还包括：
由所述一个或多个处理器将所述音频滤波器应用于音频输入信号以生成空间输入信号；以及
由所述一个或多个处理器用所述空间输入信号驱动所述扬声器以呈现空间化的声音。
6.根据权利要求1至3中任一项所述的方法，其中所述电声换能器是麦克风，并且其中所述解剖学特征是所述用户的嘴。
7.根据权利要求6所述的方法，还包括：
由所述一个或多个处理器将所述音频滤波器应用于所述麦克风的麦克风输入信号。
8.根据权利要求1至3中任一项所述的方法，还包括：
由远程设备的相机捕获佩戴在所述用户的所述头部上的所述音频设备的所述图像；以及
由监测设备输出视觉提示、音频提示或触觉提示中的一者或多者以引导所述用户相对于所述音频设备移动所述远程设备。
9.根据权利要求8所述的方法，其中所述监测设备是可穿戴设备。
10.根据权利要求9所述的方法，其中所述可穿戴设备是所述音频设备。
11.一种音频系统，包括：
存储器，所述存储器被配置为存储佩戴在用户的头部上的音频设备的图像，其中所述图像包括所述音频设备的基准和所述用户的解剖学特征；以及
一个或多个处理器，所述一个或多个处理器被配置为：
基于所述图像以及所述基准与所述音频设备的电声换能器之间的几何关系来确定所述解剖学特征与所述电声换能器之间的相对位置；并且
基于所述相对位置来确定音频滤波器。
12.根据权利要求11所述的音频系统，其中所述图像不包括所述电声换能器。
13.根据权利要求11至12中任一项所述的音频系统，其中所述电声换能器是扬声器，并且其中所述解剖学特征是所述用户的耳道入口。
14.根据权利要求13所述的音频系统，其中所述一个或多个处理器被配置为：
将所述音频滤波器应用于音频输入信号以生成空间输入信号；并且
用所述空间输入信号驱动所述扬声器以呈现空间化的声音。
15.根据权利要求11至12中任一项所述的音频系统，其中所述电声换能器是麦克风，并且其中所述解剖学特征是所述用户的嘴。
16.一种非暂态机器可读介质，其存储能够由音频系统的一个或多个处理器执行以致使所述音频系统执行方法的指令，所述方法包括：
接收佩戴在用户的头部上的音频设备的图像，其中所述图像包括所述音频设备的基准和所述用户的解剖学特征；
基于所述图像以及所述基准与所述音频设备的电声换能器之间的几何关系来确定所述解剖学特征与所述电声换能器之间的相对位置；以及
基于所述相对位置来确定音频滤波器。
17.根据权利要求16所述的非暂态机器可读介质，其中所述图像不包括所述电声换能器。
18.根据权利要求16至17中任一项所述的非暂态机器可读介质，其中所述电声换能器是扬声器，并且其中所述解剖学特征是所述用户的耳道入口。
19.根据权利要求18所述的非暂态机器可读介质，其中所述方法包括：
将所述音频滤波器应用于音频输入信号以生成空间输入信号；以及
用所述空间输入信号驱动所述扬声器以呈现空间化的声音。
20.根据权利要求16至17中任一项所述的非暂态机器可读介质，其中所述电声换能器是麦克风，并且其中所述解剖学特征是所述用户的嘴。
CN202210342536.6A 2021-03-31 2022-03-31 基于设备位置确定音频滤波器的音频系统和方法 Pending CN115150716A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163169004P 2021-03-31 2021-03-31
US63/169,004 2021-03-31

Publications (1)

Publication Number Publication Date
CN115150716A true CN115150716A (zh) 2022-10-04

Family

ID=81449267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210342536.6A Pending CN115150716A (zh) 2021-03-31 2022-03-31 基于设备位置确定音频滤波器的音频系统和方法

Country Status (5)

Country Link
US (2) US12003954B2 (zh)
KR (1) KR102549948B1 (zh)
CN (1) CN115150716A (zh)
DE (1) DE102022107266A1 (zh)
GB (1) GB2607417A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11770670B2 (en) * 2022-01-13 2023-09-26 Meta Platforms Technologies, Llc Generating spatial audio and cross-talk cancellation for high-frequency glasses playback and low-frequency external playback
WO2024073297A1 (en) * 2022-09-30 2024-04-04 Sonos, Inc. Generative audio playback via wearable playback devices

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
US9037468B2 (en) 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
EP2202998B1 (en) 2008-12-29 2014-02-26 Nxp B.V. A device for and a method of processing audio data
US20120183161A1 (en) 2010-09-03 2012-07-19 Sony Ericsson Mobile Communications Ab Determining individualized head-related transfer functions
US8787584B2 (en) 2011-06-24 2014-07-22 Sony Corporation Audio metrics for head-related transfer function (HRTF) selection or adaptation
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9030545B2 (en) 2011-12-30 2015-05-12 GNR Resound A/S Systems and methods for determining head related transfer functions
US9226090B1 (en) 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
WO2016089133A1 (ko) 2014-12-04 2016-06-09 가우디오디오랩 주식회사 개인 특징을 반영한 바이노럴 오디오 신호 처리 방법 및 장치
US9544706B1 (en) 2015-03-23 2017-01-10 Amazon Technologies, Inc. Customized head-related transfer functions
US9609436B2 (en) 2015-05-22 2017-03-28 Microsoft Technology Licensing, Llc Systems and methods for audio creation and delivery
CN109196879A (zh) 2016-05-27 2019-01-11 布佳通有限公司 确定在用户的耳朵处的耳机存在
EP3544321A1 (en) 2018-03-19 2019-09-25 Österreichische Akademie der Wissenschaften Method for determining listener-specific head-related transfer functions
FI20185300A1 (fi) 2018-03-29 2019-09-30 Ownsurround Ltd Järjestely päähän liittyvien siirtofunktiosuodattimien muodostamiseksi
US10602258B2 (en) 2018-05-30 2020-03-24 Facebook Technologies, Llc Manufacturing a cartilage conduction audio device
US11234095B1 (en) * 2020-05-21 2022-01-25 Facebook Technologies, Llc Adjusting acoustic parameters based on headset position

Also Published As

Publication number Publication date
US12003954B2 (en) 2024-06-04
KR102549948B1 (ko) 2023-06-29
GB2607417A (en) 2022-12-07
KR20220136251A (ko) 2022-10-07
US20220322024A1 (en) 2022-10-06
GB202204403D0 (en) 2022-05-11
DE102022107266A1 (de) 2022-10-06
US20240292175A1 (en) 2024-08-29

Similar Documents

Publication Publication Date Title
US10959037B1 (en) Gaze-directed audio enhancement
JP7551639B2 (ja) 多数のヘッドセット間の音声空間化および強化
US10976991B2 (en) Audio profile for personalized audio enhancement
US20240292175A1 (en) Audio System and Method of Determining Audio Filter Based on Device Position
US9420392B2 (en) Method for operating a virtual reality system and virtual reality system
US11902772B1 (en) Own voice reinforcement using extra-aural speakers
US11843926B2 (en) Audio system using individualized sound profiles
JP2022546161A (ja) 個別化された空間オーディオを作り出すためにビームフォーミングを介して耳殻情報を推論すること
JP2022549548A (ja) オーディオコンテンツを提示するときに触覚コンテンツのレベルを調整するための方法およびシステム
EP4011093A1 (en) Ear-plug assembly for hear-through audio systems
US20220342213A1 (en) Miscellaneous audio system applications
EP4406236A1 (en) Audio system for spatializing virtual sound sources
US20240056763A1 (en) Microphone assembly with tapered port
US11290837B1 (en) Audio system using persistent sound source selection for audio enhancement
CN116195269A (zh) 基于外耳的位移的虚拟传声器校准
JP2022548811A (ja) 触覚コンテンツを制御するための方法およびシステム
EP4432053A1 (en) Modifying a sound in a user environment in response to determining a shift in user attention
JP2024056580A (ja) 情報処理装置及びその制御方法及びプログラム
CN118632166A (zh) 使用头戴式设备框架上的多对对称放置的声学传感器进行空间音频捕获

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination