CN113302949A - 使得用户能够获得适当的头部相关传递函数简档 - Google Patents

使得用户能够获得适当的头部相关传递函数简档 Download PDF

Info

Publication number
CN113302949A
CN113302949A CN201980087072.5A CN201980087072A CN113302949A CN 113302949 A CN113302949 A CN 113302949A CN 201980087072 A CN201980087072 A CN 201980087072A CN 113302949 A CN113302949 A CN 113302949A
Authority
CN
China
Prior art keywords
measurements
series
measurement
hrtf
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980087072.5A
Other languages
English (en)
Other versions
CN113302949B (zh
Inventor
D·王
金莱轩
E·维瑟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN113302949A publication Critical patent/CN113302949A/zh
Application granted granted Critical
Publication of CN113302949B publication Critical patent/CN113302949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stereophonic System (AREA)

Abstract

提出了用于HRTF简档选择的方法、系统、计算机可读介质和装置。在一个示例中,设备提示用户遵循简单的过程以获得与适当的高分辨率HRTF简档匹配的测量。获得测量可以包括:驱动扬声器发射激励信号;以及记录基于经由一对麦克风中的每一者接收的所发射的激励信号的信息。获得测量还可以包括:向分类器提交基于从一系列测量中的每个测量记录的信息的查询;以及响应于查询来接收以下各项中的至少一项:(A)标识多个不同HRTF简档中的对应HRTF简档的信息,以及(B)对应HRTF简档的至少一部分。

Description

使得用户能够获得适当的头部相关传递函数简档
依据35 U.S.C&119要求优先权
本专利申请要求享受于2019年1月10日递交的、名称为“ENABLING AUSER TOOBTAIN A SUITABLE HEAD-RELATED TRANSFER FUNCTION PROFILE”的非临时申请No.16/244,875的优先权,该非临时申请被转让给本申请的受让人并且据此通过引用的方式明确地并入本文中。
技术领域
本公开内容的各方面涉及音频信号处理。
背景技术
收听者对声音的感知受到三个不同因素的影响:1)声音的源,2)源与用户之间的环境;3)用户本身。更具体地,收听者的身体方面(诸如头部、外耳和躯干的形状)充当个性化过滤器,其以独特的方式影响所感知的声音。
发明内容
一种根据一般配置的获得头部相关传递函数(HRTF)的方法,包括:获得一系列测量,其中,获得所述一系列测量中的每个测量包括:驱动扬声器发射激励信号;以及记录基于经由一对麦克风中的每一者接收的所发射的激励信号的信息。所述方法还包括:向分类器提交基于从所述一系列测量中的每个测量记录的信息的查询;以及响应于所述查询来接收以下各项中的至少一项:(A)标识多个不同HRTF简档中的对应HRTF简档的信息,以及(B)所述对应HRTF简档的至少一部分。还公开了包括代码的计算机可读存储介质,所述代码在由至少一个处理器执行时使得所述至少一个处理器执行这样的方法。
一种根据一般配置的用于获得头部相关传递函数(HRTF)的装置,包括:存储器,其被配置为存储信息;以及处理器。处理器耦合到所述存储器并且被配置为:获得一系列测量,其中,获得所述一系列测量中的每个测量包括:驱动扬声器发射激励信号;以及记录基于经由一对麦克风中的每一者接收的所发射的激励信号的信息。所述处理器还被配置为:向分类器提交基于从所述一系列测量中的每个测量记录的信息的查询;以及响应于所述查询来接收以下各项中的至少一项:(A)标识多个不同HRTF简档中的对应HRTF简档的信息,以及(B)所述对应HRTF简档的至少一部分。
附图说明
通过举例的方式示出了本公开内容的各方面。在附图中,类似的附图标记指示类似的元素。
图1示出了根据一般配置的方法M100的流程图。
图2示出了包括根据一般配置的装置A100的设备D10的框图。
图3A示出了作为智能电话的设备D100的实现D200的框图。
图3B示出了可听装置的框图。
图4示出了作为可听装置的设备H10的实现H100R的图片。
图5示出了作为被配置为佩戴在用户的双耳上的可听装置的设备H10的实现H200的图片。
图6示出了设备在不同的对应方位角处的位置的示例。
图7示出了设备在不同的对应仰角处的位置的示例。
图8示出了以在不同位置处的用户的头部为中心的设备的示例。
图9示出了包括第二收发机TX20的设备D100的实现D110的框图。
图10A和10B示出了控制序列的示例。
图11示出了根据一般配置的装置F100的框图。
具体实施方式
创建沉浸式3D音频体验的过程可以包括对所记录或所生成的声音应用头部相关传递函数(HRTF),以便向用户传达关于声音正从期望的源方向到达的印象。根据期望方向,从可以包括许多不同源方向的简档(例如,对于高分辨率简档,多大一千个或更多个)中选择HRTF。
高分辨率HRTF简档的生成是非常麻烦的,因为这样的过程通常包括测量在对象的每只耳朵处对从一千个或更多个不同源方向中的每一者连续地发射的声激励的响应。在这个过程(其通常是在消声室中执行的,并且使用可精确移动的扬声器阵列)期间,对象的头部必须基本上保持不动。出于这样的原因,获得针对每个消费者的高分辨率HRTF简档是不切实际的,并且消费者设备通常替代地使用默认HRTF简档来获得可能至少对于大多数用户所接受的结果。这种默认简档可以是根据人头部的模型(例如,球形模型)来生成的,或者可以是基于使用合成人头模型(诸如KEMAR(用于声学研究的Knowles Electronics人体模型)(GRAS Sound and Vibration A/S,Holte,丹麦)的声学测量。
已经针对各种不同个体而测量的高分辨率HRTF简档的若干数据库可供公众使用。示例包括CIPIC(图像处理和集成计算中心)HRTF数据库(加利福尼亚大学,Davis,加利福尼亚州)、ARI(声学研究所)HRTF数据库(奥地利科学院,奥地利维也纳)、LISTENT HRTF数据库(声学及音乐调配研究院(Ircam),法国巴黎)、以及ITA(技术声学研究所)HRTF数据库(技术大学莱茵-威斯特法利斯理工学院亚琛分校(亚琛工业大学),德国亚琛)。遗憾的是,尚不可能容易地确定这样的数据库的简档中哪一者是针对特定用户本身的身体特性的匹配。因此,尚不可能将这种高分辨率HRTF简档直接应用于改善虚拟或增强听觉环境中的个体体验的问题。
HRTF通常在时域中作为头部相关脉冲响应(HRIR)进行测量,并且HRTF简档通常具有两个三维阵列(一者用于左侧,一者用于右侧)的形式,其具有方位角、仰角和时间的维度。在形式上正确的术语中,HRTF是HRIR的傅里叶变换。然而,通俗地说,术语“HRTF”用于指示频域形式和时域形式中的任一者或两者,并且在本说明书和跟随的权利要求书中,术语“HRTF”用于指示频域形式和时域形式(即HRIR)中的任一者或两者,除非另有指示。用于存储空间定向的声学数据(诸如HRTF和HRIR)的格式包括SOFA格式(例如,由音频工程学会(AES,纽约州纽约)标准化为AES69-2015)。
在理解个体的身体特性和个体的HRTF之间的相关性方面已经取得了一些进展。然而,实际使用这些知识以从数据库中选择合适的HRTF简档,这目前需要至少用户耳朵的详细表面图,而对于一般用途来说是不实用的。
如本文所公开的方法、装置和系统包括可以由用户使用以容易地获得与用户本身的身体特性良好匹配的高分辨率HRTF简档(例如,优于默认简档)的实现。这样的技术可以用于使得用户能够获得更好且更个性化的3D音频体验。
现在将参照形成本文的一部分的附图来描述若干说明性实施例。虽然下文描述了可以实现本公开内容的一个或多个方面的特定实施例,但是可以使用其它实施例,并且可以在不脱离本公开内容的范围或所附的权利要求书的精神的情况下进行各种修改。
除非其上下文明确地限制,否则本文中使用术语“信号”来指示其普通含义中的任何含义,包括在导线、总线或其它传输介质上表达的存储器位置(或存储器位置集合)的状态。除非其上下文明确地限制,否者本文中使用术语“生成”来指示其普通含义中的任何含义,诸如计算或以其它方式生成。除非其上下文明确地限制,否则本文中使用术语“计算”来指示其普通含义中的任何含义,诸如计算、评估、估计和/或从多个值中选择。除非其上下文明确地限制,否则使用术语“获得”来指示其普通含义中的任何含义,诸如计算、推导、接收(例如,从外部设备)和/或检索(例如,从存储元件阵列)。除非其上下文明确地限制,否则使用术语“选择”来指示其普通含义中的任何含义,诸如识别、指示、应用和/或使用两个或更多个集合中的至少一个以及少于全部。除非其上下文明确地限制,否则使用术语“记录”来指示其普通含义中的任何含义,诸如存储(例如,存储到存储元件阵列)。除非其上下文明确地限制,否则使用术语“决定”来指示其普通含义中的任何含义,诸如决定、建立、断定、计算、选择和/或评估。在本说明书和权利要求书中使用术语“包括”的情况下,其不排除其它元素或操作。术语“基于”(如在“A基于B”中)用于指示其普通含义中的任何含义,包括以下情况:(i)“从……推导”(例如,“B是A的前导”),(ii)“至少基于”(例如,“A至少基于B”),并且如果在特定上下文中适用的话,(iii)“等于”(例如,“A等于B”)。类似地,术语“响应于”用于指示其普通含义中的任何含义,包括“至少响应于”。除非另有指示,否则术语“A、B和C中的至少一个”、“A、B和C中的一个或多个”、“A、B和C中的至少一个”以及“A、B和C中的一个或多个”指示“A和/或B和/或C”。除非另有指示,否则“A、B和C中的每一个”和“A、B和C当中的每一个”指示“A、B和C”
除非另有指示,否则对具有特定特征的装置的操作的任何公开内容也旨在明确地公开具有类似特征的方法(反之亦然),并且根据特定配置的装置的操作的任何公开内容也旨在明确地公开根据类似配置的方法(反之亦然)。术语“配置”可以参照方法、装置和/或系统来使用,如由其特定上下文指示的。除非特定上下文另有指示,否则术语“方法”、“过程”、“程序”和“技术”是一般性地且可互换地使用的。具有多个子任务的“任务”也是一种方法。术语“装置”和“设备”也可以一般性地且可互换地使用,除非特定上下文另有指示。术语“元素”和“模块”通常用于指示更大配置的一部分。除非其上下文明确地限制,否则本文中使用术语“系统”来指示其普通含义中的任何含义,包括“为共同目的而相互作用的一组元素”。
除非最初由定冠词引入,否则用于修改权利要求元素的序数术语(例如,“第一”、“第二”、“第三”等)本身并不指示权利要求要素相对于另一权利要求元素的任何优先级或顺序,而仅仅是将所要求保护的元素与具有相同名称(如果没有使用序数术语)的另一所要求保护的元素区分开。除非其上下文明确地限制,否则本文中使用术语“多个”和“集合”中的每一者来指示大于1的整数量。
图1示出了根据一般配置的包括任务T50、T100、T200、T300和T400的方法M100的流程图。任务T50获得一系列测量,并且包括子任务T100和T200。针对一系列测量中的每个测量,任务T100使得扬声器发射激励信号。针对一系列测量中的每个测量,任务T200记录基于经由一对麦克风中的每一者接收的所发射的激励信号的信息。任务T300向分类器提交基于从一系列测量中的每个测量记录的信息的查询,并且任务T400响应于该查询来接收以下各项中的至少一项:(A)标识多个不同HRTF简档中的对应HRTF简档的信息,以及(B)对应HRTF简档的至少一部分。
在一个示例中,用户在移动设备(例如,智能电话或平板设备)上启动软件(例如,应用或“app”),其使得该设备执行方法M100。图2示出了包括根据一般配置的装置A100的设备D10的框图。装置A100包括被配置为存储信息的存储器M10以及耦合到存储器M10并且被配置为执行方法M100的操作的处理器P10。设备D100还包括:扬声器LS10,其被配置且被布置为针对一系列测量中的每个测量来发射激励信号;麦克风MCIO,其被配置为响应于声振动而产生麦克风输出信号;显示器DS10,其被配置且被布置为向设备的用户显示图形用户界面(GUI)的元素;以及触摸输入设备T10(例如,小键盘和/或触摸屏),其被配置且被布置为从用户接收输入。在该示例中,设备D100还包括收发机TX10,其被配置且被布置为经由天线AN10无线地发送查询和接收对应的响应。图3A示出了作为智能电话的设备D100的实现D200的框图,其包括:扬声器LS10的实例LS100;扬声器LS10和麦克风MCIO的实例LS200和MCIOO(未示出);触摸屏显示器DT20,其是显示器DS 10和触摸输入设备T10两者的实现;以及激活按钮AB10,其是在设备D200中实现的触摸输入设备T10的一部分。
设备D10(例如,设备D100或D200)可以被配置为结合包括被佩戴在用户的每只耳朵处的麦克风的一个或多个可听设备或“可听装置”来执行方法M100的实现。可听装置(也被称为“智能头戴式耳机”、“智能耳机”、“智能耳塞式耳机”或“智能听筒式耳机”)正变得越来越流行。被设计为佩戴在耳朵上或耳朵中的这种设备已经被用于多种用途,包括无线传输和健身跟踪。如图3B所示,可听装置的硬件架构通常包括:扬声器LS20,其用于向用户的耳朵重现声音;麦克风MC20,其用于感测用户的声音和/或环境声音;以及信号处理电路P20,其经由天线AN20与另一设备(例如,智能电话)进行通信。可听装置还可以包括一个或多个传感器:例如,其用于跟踪心率、跟踪身体活动(例如,身体运动)或检测用户的接近度(例如,以指示正在佩戴可听装置)和/或另一对象的接近度(例如,以检测用户的手指以进行对操作的触摸致动)。
图4示出了被配置为佩戴在用户的右耳处的可听装置的实现H10R的图片。这种设备H10R可以包括:钩或翼中的任何一者,其用于将该设备固定在耳朵的耳甲艇和/或耳廓中;用于提供被动隔声的耳尖;用于用户控制的一个或多个开关和/或触摸传感器;一个或多个额外麦克风(例如,其用于感测声音错误信号);以及一个或多个接近度传感器(例如,其用于检测设备正在被佩戴)。方法M100的实现也可以与包括被佩戴在用户的每只耳朵处的麦克风的其它设备(例如,耳塞式耳机、头戴式耳机、头戴式显示器)一起实施。
被佩戴在用户的一只耳朵处的可听装置可以被配置为无线地向被佩戴在用户的另一只耳朵处的可听装置传送音频和/或控制信号:例如,使用
Figure BDA0003137913420000072
Figure BDA0003137913420000071
协议的版本(由蓝牙特别兴趣小组(SIG),华盛顿州柯克兰指定的)和/或通过近场磁感应(NFMI)。替代地,被佩戴在用户的一只耳朵处的可听装置可以被配置为以传导方式(例如,通过有线)将音频和/或控制信号传送给被佩戴在用户的另一只耳朵处的可听装置。图5示出了被配置为佩戴在用户的两只耳朵处的可听装置的实现H20的图片,其包括在每只耳朵处的麦克风MC20和扬声器LS20的对应实例。
在一个示例中,执行方法M100的实现的设备(例如,智能电话)可以针对一系列测量中的每个测量来发射激励信号,使得经由用户的每只耳朵处的麦克风(例如,在可听装置中)接收所发射的信号。来自所接收的信号的信息被发送回设备(例如,通过蓝牙、可见光、红外光和/或其它个人区域网(PAN)连接),该设备根据该信息来制定查询并且将其提交给远程实体以进行分类(例如,通过蜂窝数据、Wi-Fi和/或其它局域网(LAN)或广域网(WAN)连接来提交给基于云的应用)。
针对一系列测量中的每个测量,任务T100使得扬声器发射激励信号。可能期望的是,激励信号包括宽范围的音频频率(例如,从100、300、500或1000Hz到3、5、10或15kHz或更大)。可能期望的是,激励信号具有相对短的持续时间(例如,小于10、5、2或1秒),以减少用户在每次发射期间移动发射设备的影响。替代地或另外,可能期望的是,激励信号具有类似于脉冲的持续时间(例如,小于1、0.5、0.25、0.1、0.05、0.03、0.01或0.005秒),以促进直接路径接收的信号与室内反射的分离。任务T100可以包括驱动扬声器(例如,经由设备的音频放大器)以通过线性调频(chirp)、短声(click)、扫频正弦、白噪声或伪随机二进制序列(例如,最大长度序列(MFS)、一对互补Golay码)发射激励信号。
可能期望的是,在激励信号的发射期间监测和/或记录发射设备的朝向。例如,可能期望的是,在激励信号的发射期间将发射设备保持在相对恒定的位置上。指示发射设备的朝向和/或移动的信号可以从该设备的惯性测量单元(IMU)来获得,IMU可以包括一个或多个加速计、陀螺仪和/或磁强计。例如,设备D10可以被配置为响应于确定在发射期间该设备的移动和/或朝向的改变超过(替代地,不小于)门限值来丢弃基于所发射的激励信号的信息。
一系列中的测量数量可以少至例如4、8或10。尤其是当测量数量如此低时,在不同的源位置上进行采样可能对于所得到的分类的质量是重要的。执行方法M100的实现的设备可以提示用户(例如,经由图形和/或听觉用户界面)针对一系列测量中的每个测量而将设备保持在相对于用户的头部的不同位置处。该设备可以通过提示用户将该设备移动到用于每个测量的不同位置来促进源位置之间的多样性。图6示出了这样的设备的不同位置的示例,每个位置对应于相对于参考方向(例如,用户正在面对的方向)的不同方位角。图7示出了这样的设备的不同位置的示例,每个位置对应于相对于参考方向(例如,用户正在面对的方向)的不同仰角。可能期望的是,用户将设备保持在处于距用户头部的中心的相对恒定的距离(例如,在臂长处)和/或其中设备朝向用户头部的中心的不同位置中的每个位置处(例如,如图8所示)。
执行方法M100的实现的设备可以提示用户:针对一系列测量的一个部分中的每个测量,将设备保持在用户头部的左侧的不同源位置处,而针对该系列的另一部分中的每个测量,将设备保持在用户头部的右侧的不同源位置处。设备可以提示用户:针对该系列中的一些测量,将该设备保持在用户头部上方,而针对该系列中的其它测量,将设备保持在用户头部下方。设备可以提示用户:针对该系列的不同测量,将该设备保持在特定的源位置处。用户界面可以被配置为显示设备的前向相机的视频图像,以帮助用户将该设备定向为在朝着用户头部的中心的方向上发射激励信号(例如,如图8所示)。用户界面可以被配置为在每次发射之前产生听觉指示(例如,倒计时)和/或响应于用户的语音命令而发起每次发射。
执行方法M100的实现的设备可以被配置为基于设备的IMU的输出来评估源位置之间的多样性:例如,通过跟踪发射位置之间的移动和/或通过比较设备在发射中的每次发射期间的朝向。替代地或另外,这样的设备可以被配置为通过比较由所记录的各次发射指示的方位角和/或仰角来评估源位置之间的多样性。例如,可以通过针对所记录的发射中的每次发射,在发射到达用户的左耳的时间(例如,如所记录的发射的第一个峰值所指示的)与发射到达用户的右耳的时间之间的绝对差之间的范围来估计方位角之间的多样性。例如,可以通过针对所记录的发射中的每次发射,在7-8kHz附近以及可能在12kHz附近的频率处的相对声级之间的范围来估计仰角之间的多样性。
针对一系列测量中的每个测量,任务T200记录基于经由一对麦克风(例如,被佩戴在用户左耳的麦克风和被佩戴在用户右耳的麦克风)中的每一者接收的所发射的激励信号的信息。每个麦克风可以是被配置为基于经由麦克风接收的激励信号来发送信息的可听装置的一部分。可听装置可以被配置为通过无线链路(诸如蓝牙或基于光(例如,可见光或红外)的数据连接)向发射设备发送信息。替代地,一对可听装置中的每一者可以被配置为独立地(例如,通过这样的无线链路)将基于经由其麦克风接收的激励信号的信息发送给发射装置。更常见的是,一对可听装置中的一者被配置为通过一个无线链路(例如,NFMI链路)向另一可听装置发送这样的信息,而另一可听装置被配置为通过另一无线链路(例如,蓝牙或基于光的链路)向发射设备发送该信息以及对应于其本身麦克风的信息)。图9示出设备D100的实现D110的框图,其包括第二收发机TX20,第二收发机TX20被配置为支持经由天线AN12与一个或多个可听装置的这样的无线链路。
测量信息到发射设备的这种传输可以发生在发射期间、在每次发射之后、在一系列发射之后或者在一系列发射的一部分之后。例如,可以在来自用户头部的一侧的位置的发射序列之后执行到发射设备的传输,并且在来自用户头部的另一侧的位置的发射序列之后再次执行到发射设备的传输。
任务T200可以被配置为将信息记录到发射设备的存储器(例如,设备D100的存储器M10)。通过任务T200记录的信息可以是经由麦克风接收的具有原始或压缩形式的激励信号。替代地,可以对所接收的信号进行处理以获得信息(在发送之前在可听装置处和/或在接收之后在发射设备处)。这种处理可以包括用于移除不必要的和/或扰乱的信息的一个或多个操作,诸如截断(例如,以移除室内反射)和/或滤波(例如,以减少静止噪声的影响和/或特定扬声器和/或麦克风的频率响应)。这种处理可以包括通过使用例如通过以下方式获得的信号的自由场补偿:提示用户(例如,由发射设备)将可听装置中的一者或多者保持朝着发射设备而不是佩戴其,并且记录在该位置上经由麦克风接收的激励信号。
响应于来自发射设备的命令和/或根据与发射设备的时钟同步的时钟,可以(例如,由可听装置)执行对经由一对麦克风接收的所发射的激励信号的记录。执行方法M100的实现的设备可以被配置为通过例如蓝牙、可见光、红外光和/或其它无线PAN连接来向可听装置发送控制信号。可以经由相同的无线链路或通过不同的无线链路在发射设备和可听装置之间携带控制和数据信号。图10A示出了控制序列的示例,其中,发射设备命令可听装置在时间tl处开始记录,可听装置确认该命令,并且发射和记录在时间tl处开始。
执行方法M100的实现的设备可以被配置为向一对可听装置中的每一者发送控制信号。替代地,可听装置中的一者可以被配置为向另一可听装置转发命令信号以及从另一可听装置接收对应的数据(例如,通过NFMI链路)。图10B示出了控制序列的示例,其中,发射设备命令第一可听装置在时间tl处开始记录,并且第一可听装置将命令转发给第二可听装置。第二可听装置向第一可听装置确认命令;作为响应,第一可听装置向发射设备确认命令,并且发射和记录在所调度的时间tl处开始。
执行方法M100的实现的设备可以被配置为指示测量和/或一系列测量中的置信水平(例如,通过在设备的显示器上显示电源条)。置信水平可以是基于例如所执行的测量数量(例如,该系列的当前长度)、估计方位角和/或估计仰角的差在测量之间的分布、在测量期间的环境噪声水平等。
任务T300向分类器提交基于从一系列测量中的每个测量记录的信息的查询,并且任务T400响应于该查询来接收以下各项中的至少一项:(A)标识多个不同HRTF简档中的对应HRTF简档的信息;以及(B)对应HRTF简档的至少一部分。在一个示例中,执行方法M100的实现的设备被配置为将查询制定为所记录的信息的串接。设备可以被配置为(例如,经由蜂窝数据、Wi-Fi和/或其它局域网(LAN)或广域网(WAN)连接)将查询发送给云中的对应应用以进行匹配。
在一个示例中,分类器是基于云的匹配应用,其包括经训练的深度神经网络(例如,卷积神经网络或“CNN”),其已经在从HRTF数据库中选择的部分简档上被训练。在一个示例中,分类器包括具有六层的CNN:第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层和第二全连接层,其中,输出层中的每个节点对应于HRTF数据库中的不同对象。可以在输出层上使用损失函数(例如,交叉熵)来指导神经网络的训练。
神经网络可以是在不同的源位置处测量的不同对象的HRTF简档的一个或多个数据库上训练的。例如,CIPIC数据库包含45个不同对象的HRTF简档(以44.1kHz采样的HRIR,并且每一者具有200个样本的长度),每一者是在1250个源位置(25个不同的方位角和50个不同的仰角)处测量的。神经网络的训练可以包括按照源位置来将HRTF或HRIR随机化,并且将随机化集划分为训练集和测试集(例如,1000个源位置用于训练,并且250个源位置用于测试)。训练数据的源方向可以是随机地选择的,和/或训练数据的源方向的范围可以被限制到特定的正面范围以预测用户行为。
训练数据可以以各种方式来随机化,以使匹配过程对于用户装置和行为之间的变化更加稳健。例如,可以剪裁数据以排除高频和/或低频区域,以预期用户装置的麦克风之间的变化。HRTF可以通过添加少量的随机噪声来进行随机化以用于训练。另外或替代地,可以对HRIR对的绝对延迟(在特定源位置处的对象的左侧HRIR和右侧HRIR)进行随机化以用于训练,同时保持两个响应之间的相对延迟:例如,通过将该对的每个HRIR的主要部分(例如,在中心的48个采样)时移达相同的少量采样。在一个示例中,每个训练输入是四个HRIR对的串接。
任务T400响应于该查询来接收以下各项中的至少一项:(A)标识多个不同HRTF简档中的对应HRTF简档的信息;以及(B)对应HRTF简档的至少一部分。分类器可以返回例如被指示为与查询的最佳匹配的高分辨率HRTF简档或者对这样的简档的索引。执行方法M100的实现的设备可以被配置为经由用于提交查询的相同数据链路和/或经由不同的LAN或WAN连接来接收信息。
在一个示例中,任务T400接收匹配的HRTF简档,该匹配的HRTF简档然后可以由设备(或另一音频呈现设备)使用,以根据期望源方向来生成用于用户的记录的或虚拟的声音。在另一示例中,任务T400接收数据库内的匹配的HRTF简档的标识符(例如,匹配对象的索引号),该标识符可以用于从其它存储装置(例如,从数据库的本地副本)中访问该简档的副本(或这样副本的期望部分)。另外或替代地,任务T400可以被配置为将所接收的简档或索引转发给另一应用或硬件(例如,音频呈现设备,诸如计算机、媒体回放设备或游戏设备)。
图11示出了根据一般配置的装置F100的框图,装置F100包括:用于获得一系列测量的单元MF50;用于向分类器提交基于从一系列测量中的每个测量记录的信息的查询的单元MF300;以及用于响应于该查询来接收以下各项中的至少一项的单元MF400:(A)标识多个不同HRTF简档中的对应HRTF简档的信息;以及(B)对应HRTF简档的至少一部分;并且装置F100包括子任务T100和T200。单元MF50包括:用于使得扬声器针对一系列测量中的每个测量来发射激励信号的单元MF100;以及用于针对一系列测量中的每个测量来记录基于经由一对麦克风中的每一者接收的所发射的激励信号的信息的单元MF200。
如本文所公开的装置或系统的实现的各种元素可以体现为硬件与软件和/或与固件的任何组合,该组合被认为适于预期应用。例如,这样的元素可以被制造为电子和/或光学设备,其例如驻留在同一芯片上或芯片组中的两个或更多个芯片之间。这种设备的一个示例是诸如晶体管或逻辑门之类的逻辑元件的固定或可编程阵列,并且这些元素中的任何一者可以被实现为一个或多个这样的阵列。这些元素中的任何两个或更多个甚至全部可以在相同的一个或多个阵列内实现。这样的一个或多个阵列可以在一个或多个芯片内(例如,在包括两个或更多个芯片的芯片组内)实现。
如本文所公开的处理器或其它用于处理的单元可以被制造为一个或多个电子和/或光学设备,其例如驻留在同一芯片上或芯片组中的两个或更多个芯片之间。这种设备的一个示例是诸如晶体管或逻辑门之类的逻辑元件的固定或可编程阵列,并且这些元素中的任何一者可以被实现为一个或多个这样的阵列。这样的一个或多个阵列可以在一个或多个芯片内(例如,在包括两个或更多个芯片的芯片组内)实现。这样的阵列的示例包括逻辑元件的固定或可编程阵列,诸如微处理器、嵌入式处理器、IP核、DSP(数字信号处理器)、FPGA(现场可编程门阵列)、ASSP(专用标准产品)和ASIC(专用集成电路)。如本文所公开的处理器或其它用于处理的单元也可以被实现为一个或多个计算机(例如,包括被编程为执行一个或多个指令集或指令序列的一个或多个阵列的机器)或其它处理器。如本文描述的处理器有可能用于执行与方法M100(或参照本文描述的装置或系统的操作而公开的另一种方法)的实现的过程不直接相关的任务或执行其它指令集,诸如与处理器被嵌入在其中的设备或系统(例如,语音通信设备,诸如智能电话或智能扬声器)的另一操作有关的任务。还有可能在一个或多个其它处理器的控制下执行本文所公开的方法的一部分。
本文所公开的方法的每个任务可以直接体现在硬件、由处理器执行的软件模块或两者的组合中。在如本文所公开的方法的实现的典型应用中,逻辑元件(例如,逻辑门)的阵列被配置为执行该方法的各种任务中的一个、一个以上或甚至全部任务。一个或多个(可能全部)任务还可以被实现为代码(例如,一个或多个指令集),体现在计算机程序产品(例如,一个或多个数据存储介质,诸如磁盘、闪存或其它非易失性存储器卡、半导体存储器芯片等)中,计算机程序产品是可由包括逻辑元件阵列(例如,处理器、微处理器、微控制器或其它有限状态机)的机器(例如,计算机)读取和/或执行。如本文所公开的方法的实现的任务也可以由一个以上的这样的阵列或机器来执行。在这些或其它实现中,任务可以在用于无线通信的设备内执行,诸如蜂窝电话或具有这种通信能力的其它设备。这样的设备可以被配置为与电路交换和/或分组交换网络进行通信(例如,使用一种或多种协议,诸如VoIP)。例如,这样的设备可以包括被配置为接收和/或发送经编码的帧的RF电路。
在一个或多个示例性实施例中,本文描述的操作可以用硬件、软件、固件或其任何组合来实现。如果用软件来实现,则这样的操作可以作为一个或多个指令或代码存储在计算机可读介质上或者通过其进行发送。术语“计算机可读介质”可以包括计算机存储介质和通信(例如,传输)介质两者。举例来说而非进行限制,计算机可读存储介质可以包括存储元件阵列,诸如半导体存储器(其可以包括但不限于动态或静态RAM、ROM、EEPROM和/或闪速RAM)或铁电、磁阻、双向、聚合物或相变存储器;CD-ROM或其它光盘存储装置;和/或磁盘存储或其它磁存储设备。这种存储介质可以以可以由计算机访问的指令或数据结构的形式存储信息。通信介质可以包括可以用于以指令或数据结构的形式携带期望程序代码并且可以由计算机访问的任何介质,包括有助于将计算机程序从一个地方传输到另一个地方的任何介质。此外,任何连接被适当地称为计算机可读介质。例如,如果使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或者无线技术(例如,红外线、无线电和/或微波)从网站、服务器或其它远程源传输软件,则同轴电缆、光纤光缆、双绞线、DSL或者无线技术(例如,红外线、无线电和/或微波)被包括在介质的定义中。如本文所使用的,磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘TM(蓝光光盘协会,加利福尼亚州尤尼弗萨尔城),其中,磁盘通常磁性地复制数据,而光盘利用激光来光学地复制数据。上述各项的组合也应当被包括在计算机可读介质的范围之内。在一个示例中,非暂时性计算机可读存储介质包括代码,其在由至少一个处理器执行时使得至少一个处理器执行如本文描述的获得HRTF的方法(例如,参照方法M100)。
提供前面的描述,以使得本领域技术人员能够实现或使用所公开的实现。对于本领域技术人员而言,对这些实现的各种修改将是容易显而易见的,并且在不脱离本公开内容的范围的情况下,本文中定义的原理可以应用于其它实现。因此,本公开内容并非旨在限于本文中所示出的实现,而是被赋予与由跟随的权利要求所限定的原理和新颖特征相一致的可能的最广范围。

Claims (20)

1.一种获得头部相关传递函数(HRTF)的方法,所述方法包括:
获得一系列测量,其中,获得所述一系列测量中的每个测量包括:
驱动扬声器发射激励信号;以及
记录基于经由一对麦克风中的每一者接收的所发射的激励信号的信息;
向分类器提交基于从所述一系列测量中的每个测量记录的信息的查询;以及
响应于所述查询来接收以下各项中的至少一项:(A)标识多个不同HRTF简档中的对应HRTF简档的信息,以及(B)所述对应HRTF简档的至少一部分。
2.根据权利要求1所述的方法,其中,针对所述一系列测量中的每个测量,所述激励信号是基于伪随机二进制序列的。
3.根据权利要求1所述的方法,其中,所述获得一系列测量包括:针对所述一系列测量中的至少一个测量,发出用于记录经由所述多个麦克风中的每一者接收的所发射的激励信号的命令。
4.根据权利要求3所述的方法,其中,所述发出命令包括:使得所述命令经由无线链路被发送。
5.根据权利要求1所述的方法,其中,所述提交查询包括:将所述查询作为从所述一系列测量中的每个测量记录的信息的串接来提交。
6.根据权利要求1所述的方法,其中,所述方法包括:针对所述一系列测量中的每个测量,记录所述装置的对应朝向。
7.根据权利要求1所述的方法,其中,所述方法包括:提示所述装置的用户在所述一系列测量的每个相邻对之间将所述装置移动到不同的位置。
8.根据权利要求1所述的方法,其中,所述方法包括:针对所述一系列测量中的每个测量,估计以下各项中的至少一项:(A)对应的方位角,以及(B)对应的仰角。
9.根据权利要求1所述的方法,其中,被记录到存储器的信息是基于经由无线链路接收的信息的。
10.一种用于获得头部相关传递函数(HRTF)的装置,所述装置包括:
用于获得一系列测量的单元,其中,获得所述一系列测量中的每个测量包括:
用于驱动扬声器发射激励信号的单元;以及
用于记录基于经由一对麦克风中的每一者接收的所发射的激励信号的信息的单元;
用于向分类器提交基于从所述一系列测量中的每个测量记录的信息的查询的单元;以及
用于响应于所述查询来接收以下各项中的至少一项的单元:(A)标识多个不同HRTF简档中的对应HRTF简档的信息,以及(B)所述对应HRTF简档的至少一部分。
11.一种用于获得头部相关传递函数(HRTF)的装置,所述装置包括:
存储器,其被配置为存储信息;以及
处理器,其耦合到所述存储器并且被配置为:
获得一系列测量,其中,获得所述一系列测量中的每个测量包括:
驱动扬声器发射激励信号;以及
将基于经由一对麦克风中的每一者接收的所发射的激励信号的信息记录到所述存储器;
提交基于从所述一系列测量中的每个测量记录的信息的查询;以及
响应于所述查询来接收以下各项中的至少一项:(A)标识多个不同HRTF简档中的对应HRTF简档的信息,以及(B)所述对应HRTF简档的至少一部分。
12.根据权利要求11所述的装置,其中,针对所述一系列测量中的每个测量,所述激励信号是基于伪随机二进制序列的。
13.根据权利要求11所述的装置,其中,所述处理器被配置为:针对所述一系列测量中的至少一个测量,发出用于记录经由所述多个麦克风中的每一者接收的所发射的激励信号的命令。
14.根据权利要求13所述的装置,其中,所述处理器被配置为:使得所述命令经由无线链路被发送。
15.根据权利要求11所述的装置,其中,所述处理器被配置为:将所述查询作为从所述一系列测量中的每个测量记录的信息的串接来提交。
16.根据权利要求11所述的装置,其中,所述处理器被配置为:针对所述一系列测量中的每个测量,记录所述装置的对应朝向。
17.根据权利要求11所述的装置,其中,所述处理器被配置为:提示所述装置的用户在所述一系列测量的每个相邻对之间将所述装置移动到不同的位置。
18.根据权利要求11所述的装置,其中,所述处理器被配置为:针对所述一系列测量中的每个测量,估计以下各项中的至少一项:(A)对应的方位角,以及(B)对应的仰角。
19.根据权利要求11所述的装置,其中,被记录到所述存储器的所述信息是基于经由无线链路接收的信息的。
20.一种存储计算机可执行指令的非暂时性计算机可读存储介质,所述计算机可执行指令在由一个或多个处理器执行时使得所述一个或多个处理器执行获得头部相关传递函数(HRTF)的方法,所述方法包括:
获得一系列测量,其中,获得所述一系列测量中的每个测量包括:
驱动扬声器发射激励信号;以及
记录基于经由一对麦克风中的每一者接收的所发射的激励信号的信息;
向分类器提交基于从所述一系列测量中的每个测量记录的信息的查询;以及
响应于所述查询来接收以下各项中的至少一项:(A)标识多个不同HRTF简档中的对应HRTF简档的信息,以及(B)所述对应HRTF简档的至少一部分。
CN201980087072.5A 2019-01-10 2019-12-20 使得用户能够获得适当的头部相关传递函数简档 Active CN113302949B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/244,875 2019-01-10
US16/244,875 US10791411B2 (en) 2019-01-10 2019-01-10 Enabling a user to obtain a suitable head-related transfer function profile
PCT/US2019/068093 WO2020146130A1 (en) 2019-01-10 2019-12-20 Enabling a user to obtain a suitable head-related transfer function profile

Publications (2)

Publication Number Publication Date
CN113302949A true CN113302949A (zh) 2021-08-24
CN113302949B CN113302949B (zh) 2023-05-12

Family

ID=69185736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980087072.5A Active CN113302949B (zh) 2019-01-10 2019-12-20 使得用户能够获得适当的头部相关传递函数简档

Country Status (4)

Country Link
US (1) US10791411B2 (zh)
EP (1) EP3909263A1 (zh)
CN (1) CN113302949B (zh)
WO (1) WO2020146130A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2581785B (en) * 2019-02-22 2023-08-02 Sony Interactive Entertainment Inc Transfer function dataset generation system and method
US20220095071A1 (en) * 2019-04-09 2022-03-24 Hewlett-Packard Development Company, L.P. Applying directionality to audio by encoding input data
GB2600123A (en) * 2020-10-21 2022-04-27 Sony Interactive Entertainment Inc Audio personalisation method and system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060177078A1 (en) * 2005-02-04 2006-08-10 Lg Electronics Inc. Apparatus for implementing 3-dimensional virtual sound and method thereof
CN101938686A (zh) * 2010-06-24 2011-01-05 中国科学院声学研究所 一种普通环境中头相关传递函数的测量系统及测量方法
CN102281492A (zh) * 2010-06-14 2011-12-14 索尼公司 头部相关传递函数生成装置、方法以及声音信号处理装置
CN102907116A (zh) * 2010-03-31 2013-01-30 弗兰霍菲尔运输应用研究公司 用于测量多个扬声器和麦克风阵列的设备和方法
US20140198918A1 (en) * 2012-01-17 2014-07-17 Qi Li Configurable Three-dimensional Sound System
CN103989481A (zh) * 2013-02-16 2014-08-20 上海航空电器有限公司 一种hrtf数据库测量装置及其使用方法
US20170124091A1 (en) * 2014-09-15 2017-05-04 Google Inc. Query Rewriting Using Session Information
US20170245081A1 (en) * 2016-02-20 2017-08-24 Philip Scott Lyren Capturing Audio Impulse Responses of a Person with a Smartphone
US20170332186A1 (en) * 2016-05-11 2017-11-16 Ossic Corporation Systems and methods of calibrating earphones

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6223090B1 (en) * 1998-08-24 2001-04-24 The United States Of America As Represented By The Secretary Of The Air Force Manikin positioning for acoustic measuring
AUPQ514000A0 (en) * 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060177078A1 (en) * 2005-02-04 2006-08-10 Lg Electronics Inc. Apparatus for implementing 3-dimensional virtual sound and method thereof
CN102907116A (zh) * 2010-03-31 2013-01-30 弗兰霍菲尔运输应用研究公司 用于测量多个扬声器和麦克风阵列的设备和方法
CN102281492A (zh) * 2010-06-14 2011-12-14 索尼公司 头部相关传递函数生成装置、方法以及声音信号处理装置
CN101938686A (zh) * 2010-06-24 2011-01-05 中国科学院声学研究所 一种普通环境中头相关传递函数的测量系统及测量方法
US20140198918A1 (en) * 2012-01-17 2014-07-17 Qi Li Configurable Three-dimensional Sound System
CN103989481A (zh) * 2013-02-16 2014-08-20 上海航空电器有限公司 一种hrtf数据库测量装置及其使用方法
US20170124091A1 (en) * 2014-09-15 2017-05-04 Google Inc. Query Rewriting Using Session Information
US20170245081A1 (en) * 2016-02-20 2017-08-24 Philip Scott Lyren Capturing Audio Impulse Responses of a Person with a Smartphone
US20170332186A1 (en) * 2016-05-11 2017-11-16 Ossic Corporation Systems and methods of calibrating earphones

Also Published As

Publication number Publication date
US20200228915A1 (en) 2020-07-16
US10791411B2 (en) 2020-09-29
WO2020146130A1 (en) 2020-07-16
CN113302949B (zh) 2023-05-12
EP3909263A1 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
KR102642275B1 (ko) 증강 현실 헤드폰 환경 렌더링
CN109644314B (zh) 渲染声音程序的方法、音频回放系统和制造制品
US20120328107A1 (en) Audio metrics for head-related transfer function (hrtf) selection or adaptation
US10003906B2 (en) Determining and using room-optimized transfer functions
CN105792090B (zh) 一种增加混响的方法与装置
CN113302949B (zh) 使得用户能够获得适当的头部相关传递函数简档
US11528577B2 (en) Method and system for generating an HRTF for a user
US20130177166A1 (en) Head-related transfer function (hrtf) selection or adaptation based on head size
JP2015513832A (ja) オーディオ再生システム及び方法
US10652686B2 (en) Method of improving localization of surround sound
TW202028929A (zh) 多音訊串流之空間重定位
US20210345056A1 (en) Audio content format selection
US20180176709A1 (en) Out-of-head localization processing apparatus and filter selection method
US11770669B2 (en) Audio personalisation method and system
US20210306793A1 (en) Acoustic device and head-related transfer function selecting method
Braun et al. A Measurement System for Fast Estimation of 2D Individual HRTFs with Arbitrary Head Movements
KR102519156B1 (ko) 무선 헤드셋을 사용해 휴대 기기 위치를 알려주는 방법 및 시스템
CN113810817B (zh) 无线耳机的音量控制方法、装置以及无线耳机
US11350232B1 (en) Systems and methods for determining room impulse responses
WO2024008313A1 (en) Head-related transfer function calculation
KR20220117217A (ko) 음향 측정 수행 방법
Hammershøi Human localization and performance measures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant