CN106664499A - 音频信号处理装置 - Google Patents

音频信号处理装置 Download PDF

Info

Publication number
CN106664499A
CN106664499A CN201480081105.2A CN201480081105A CN106664499A CN 106664499 A CN106664499 A CN 106664499A CN 201480081105 A CN201480081105 A CN 201480081105A CN 106664499 A CN106664499 A CN 106664499A
Authority
CN
China
Prior art keywords
audio signal
acoustics
loudspeaker
transmission function
hearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480081105.2A
Other languages
English (en)
Other versions
CN106664499B (zh
Inventor
克里斯托弗·富勒
亚历克西斯·法夫罗
郎玥
彼得·格罗舍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to PCT/EP2014/067288 priority Critical patent/WO2016023581A1/en
Publication of CN106664499A publication Critical patent/CN106664499A/zh
Application granted granted Critical
Publication of CN106664499B publication Critical patent/CN106664499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/022Plurality of transducers corresponding to a plurality of sound channels in each earpiece of headphones or in a single enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

本发明涉及一种音频信号处理装置(100),用于预处理器第一输入音频信号(EL)以获得第一输出音频信号(XL)以及预处理第二输入音频信号(ER)以获得第二输出音频信号(XR),第一输出音频信号(XL)将通过第一扬声器和听者左耳之间的第一声学近场传播声道传输,所述第二输出音频信号(XR)将通过第二扬声器和所述听者右耳之间的第二声学近场传播声道传输,所述音频信号处理装置(100)包括:提供器(101),用于提供所述第一扬声器和所述听者左耳之间的所述第一声学近场传播声道的第一声学近场传递函数(GLL)以及提供所述第二扬声器和所述听者右耳之间的所述第二声学近场传播声道的第二声学近场传递函数(GRR);滤波器(103),用于在所述第一声学近场传递函数(GLL)的倒数的基础上滤波所述第一输入音频信号(EL)以获得所述第一输出音频信号(XL)以及在所述第二声学近场传递函数(GRR)的倒数的基础上滤波所述第二输入音频信号(ER)以获得所述第二输出音频信号(XR),其中,所述第一输出音频信号(XL)与所述第二输入音频信号(ER)无关,所述第二输出音频信号(XR)与所述第一输入音频信号(EL)无关。

Description

音频信号处理装置
技术领域
[0001] 本发明涉及音频信号处理领域,尤其涉及呈现音频信号以便听者获得音频感知的 领域。
背景技术
[0002] 通过可穿戴设备呈现音频信号以便听者获得音频感知可以通过连接到该可穿戴 设备的头戴式耳机来实现。头戴式耳机可以将音频信号直接提供给听者的听觉系统,因此 可以提供优良的音频质量。然而,头戴式耳机扮演一个听者需要放入耳中或放到耳上的另 一独立设备。这在使用可穿戴设备时会降低舒适度。这个缺点可以通过将音频信号呈现集 成到可穿戴设备中来减轻。
[0003] 例如,骨传导可以用于此目的,其中骨传导转换器可以安装在听者耳后。因此,音 频信号可以通过骨头直接传导到听者内耳。然而,由于这种方法在耳道内不产生声波,所以 可能无法在音频质量或空间音频感知方面产生自然的收听体验。具体而言,高频率可以不 通过骨头传导,因此可能会衰减。此外,在左耳侧传导的音频信号还可通过骨头传导到右耳 侦L反之亦然。这种串音效果会干扰空间音频源的双耳定位。
[0004] 所描述的通过可穿戴设备进行音频信号的音频呈现的方法构成收听舒适度和音 频质量之间的权衡。头戴式耳机能够提供优良的音频质量,但是会导致收听舒适度降低。骨 传导会很方便,但是会导致音频质量降低。
[0005] L.E.Kinsler于2000年在Wiley上发表的"FundamentalsofAcoustics"描述了音 频信号呈现以便听者获得音频感知。
[0006] J·Blauert于2005年在柏林-海德堡-纽约的Springer上发表的"Communication Acoustics"描述了音频信号呈现以便听者获得音频感知。
发明内容
[0007] 本发明的目的是提供一种用于呈现音频信号以便听者获得音频感知的改进概念。
[0008] 该目的通过独立权利要求的特征来实现。另外的实施形式在从属权利要求、描述 内容和附图中显而易见。
[0009] 本发明基于以下发现:指示扬声器和听者耳朵之间的声学近场传播声道的声学近 场传递函数可以用来预处理音频信号。因此,能够减轻音频信号的声学近场失真。预处理的 音频信号可以通过可穿戴框架呈现给听者,其中所述可穿戴框架包括用于音频呈现的扬声 器。本发明能够实现音频信号的高质量呈现以及听者的高收听舒适度。
[0010] 根据第一方面,本发明涉及一种音频信号处理装置,用于预处理第一输入音频信 号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号,第一 输出音频信号将通过第一扬声器和听者左耳之间的第一声学近场传播声道传输,所述第二 输出音频信号将通过第二扬声器和所述听者右耳之间的第二声学近场传播声道传输,所述 音频信号处理装置包括:提供器,用于提供所述第一扬声器和所述听者左耳之间的所述第 一声学近场传播声道的第一声学近场传递函数以及提供所述第二扬声器和所述听者右耳 之间的所述第二声学近场传播声道的第二声学近场传递函数;以及滤波器,用于在所述第 一声学近场传递函数的倒数的基础上滤波所述第一输入音频信号以获得所述第一输出音 频信号以及在所述第二声学近场传递函数的倒数的基础上滤波所述第二输入音频信号以 获得所述第二输出音频信号,其中,所述第一输出音频信号与所述第二输入音频信号无关, 所述第二输出音频信号(Xr)与所述第一输入音频信号无关。因此,可以提供一种用于呈现 音频信号以便听者获得音频感知的改进概念。
[0011] 所述第一输入音频信号和所述第二输入音频信号的所述预处理还可视为或称为 所述第一输入音频信号和所述第二输入音频信号的预失真,这是因为对所述第一输入音频 信号和第二输入音频信号进行了滤波或修改。
[0012] 指示所述第一扬声器和所述听者右耳之间的第一声学串音传播声道的第一声学 串音传递函数以及指示所述第二扬声器和所述听者左耳之间的第二声学串音传播声道的 第二声学串音传递函数可以认为是〇。可以不采用串音抵消技术。
[0013] 根据如上所述第一方面,在所述装置的第一实施形式中,所述提供器包括:存储 器,用于提供所述第一声学近场传递函数或所述第二声学近场传递函数;所述提供器用于 从所述存储器获取所述第一声学近场传递函数或所述第二声学近场传递函数以提供所述 第一声学近场传递函数或所述第二声学近场传递函数。因此,可以有效地提供所述第一声 学近场传递函数或所述第二声学近场传递函数。
[0014] 所述第一声学近场传递函数或所述第二声学近场传递函数可以预定并且可以存 储在所述存储器中。
[0015] 根据如上所述第一方面或所述第一方面的任意前述实施形式,在所述装置的第二 实施形式中,所述提供器用于在所述第一扬声器的位置和所述听者左耳的位置的基础上确 定所述第一声学近场传播声道的所述第一声学近场传递函数,以及用于在所述第二扬声器 的位置和所述听者右耳的位置的基础上确定所述第二声学近场传播声道的所述第二声学 近场传递函数。因此,可以有效地提供所述第一声学近场传递函数或所述第二声学近场传 递函数。
[0016] 所述确定的第一声学近场传递函数或所述第二声学近场传递函数可以一次确定 并且可以存储在提供器中。
[0017] 根据如上所述第一方面或所述第一方面的任意前述实施形式,在所述装置的第三 实施形式中,所述滤波器用于根据以下等式滤波所述第一输入音频信号或所述第二输入音 频信号:
Figure CN106664499AD00071
[0019] 其中,El表示所述第一输入音频信号,Er表示所述第二输入音频信号,Xl表示所述 第一输出音频信号,办表不所述第二输出音频信号,Gll表不所述第一声学近场传递函数,Grr 表示所述第二声学近场传递函数,ω表示角频率,j表示虚数单位。因此,可以有效地执行所 述第一输入音频信号或所述第二输入音频信号的所述滤波。
[0020] 可以在频域或时域中执行所述第一输入音频信号或所述第二输入音频信号的所 述滤波。
[0021] 根据如上所述第一方面或所述第一方面的任意前述实施形式,在所述装置的第四 实施形式中,所述装置包括:又一滤波器,用于在第一声学远场传递函数的基础上滤波源音 频信号以获得所述第一输入音频信号,以及用于在所述第二声学远场传递函数的基础上滤 波所述源音频信号以获得所述第二输入音频信号。因此,可以有效地考虑声学远场效果。
[0022] 根据所述第一方面的所述第四实施形式,在所述装置的第五实施形式中,所述源 音频信号关联到空间音频场景内的空间音频源,所述又一滤波器用于在所述空间音频场景 内的所述空间音频源的位置和所述听者左耳的位置的基础上确定所述第一声学远场传递 函数,以及用于在所述空间音频场景的所述空间音频源的所述位置和所述听者右耳的位置 的基础上确定所述第二声学远场传递函数。因此,可以考虑空间音频场景内的空间音频源。
[0023] 根据所述第一方面的所述第四实施形式或所述第五实施形式,在所述装置的第六 实施形式中,所述第一声学远场传递函数或所述第二声学远场传递函数为头相关传递函 数。因此,可以有效地构建所述第一声学远场传递函数或所述第二声学远场传递函数。
[0024] 所述第一声学远场传递函数和所述第二声学远场传递函数可以为头相关传递函 数(headrelatedtransferfunctions,HRTF),其可以为使用仿真头测量的原型HRTF、从 特定人测量的各个HRTF,或者基于模型的HRTF,其可以基于原型人头的模型进行合成。
[0025] 根据所述第一方面的所述第五实施形式或所述第六实施形式,在所述装置的第七 实施形式中,所述又一滤波器用于在所述空间音频场景内的所述空间音频源的所述位置的 基础上根据以下等式确定所述第一声学远场传递函数或所述第二声学远场传递函数:
Figure CN106664499AD00081
[0029] 其中,Γ表示所述第一声学远场传递函数或所述第二声学远场传递函数,Pm表示m 度的勒让德多项式,hm表示m阶球面汉克尔函数,h'm表示^的第一导函数,P表示归一化距 离,r表示范围,a表示半径,μ表示归一化频率,f表示频率,c表示声音的速度,Θ表示方位角, 以及Φ表示仰角。因此,可以有效地确定所述第一声学远场传递函数或所述第二声学远场 传递函数。
[0030] 这些等式涉及作为一般头相关传递函数的特定模型或形式的基于模型的头相关 传递函数。
[0031] 根据所述第一方面的所述第五实施形式至所述第七实施形式,在所述装置的第八 实施形式中,所述装置包括加权器,用于对所述第一输出音频信号或所述第二输出音频信 号加权一个加权因子,其中所述加权器用于在所述空间音频源和所述听者之间的距离的基 础上确定所述加权因子。因此,可以有效地考虑所述空间音频源和所述听者之间的所述距 离。
[0032] 根据所述第一方面的所述第八实施形式,在所述装置的第九实施形式中,所述加 权器用于根据以下等式确定所述加权因子:
Figure CN106664499AD00091
[0034] 其中,g表示所述加权因子,p表示归一化距离,r表示范围,r〇表示参考范围,a表示 半径,以及α表示指数参数。因此,可以有效地确定所述加权因子。
[0035] 根据所述第一方面的所述第五实施形式至所述第九实施形式,在所述装置的第十 实施形式中,所述装置包括选择器,用于从第一对扬声器中选取所述第一扬声器以及从第 二对扬声器中选取所述第二扬声器,其中所述选择器用于确定所述空间音频源相对于所述 听者的位置的方位角或仰角,所述选择器用于在所述空间音频源的所述确定的方位角或仰 角的基础上从所述第一对扬声器中选取所述第一扬声器和从所述第二对扬声器中选取所 述第二扬声器。因此,可以有效地减轻声学前后或高度混淆效果。
[0036] 根据所述第一方面的所述第十实施形式,在所述装置的第十一实施形式中,所述 选择器用于将所述第一对扬声器的第一对方位角或第一对仰角与所述空间音频源的所述 方位角或所述仰角对比以选择所述第一扬声器,以及将所述第二对扬声器的第二对方位角 或第二对仰角与所述空间音频源的所述方位角或所述仰角对比以选择所述第二扬声器。因 此,可以有效地选择所述第一扬声器和所述第二扬声器。
[0037] 所述比较可以包括所述扬声器的角度和所述空间音频源相对于听者位置的角度 之间的角差或距离的最小化。所述第一对角度和/或所述第二对角度可以由提供器提供。所 述第一对角度和/或所述第二对角度可以从所述提供器的所述存储器获取。
[0038] 根据第二方面,本发明涉及一种音频信号处理方法,用于预处理第一输入音频信 号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号,所述 第一输出音频信号将通过第一扬声器和听者左耳之间的第一声学近场传播声道传输,所述 第二输出音频信号将通过第二扬声器和所述听者右耳之间的第二声学近场传播声道传输, 所述音频信号处理方法包括:提供所述第一扬声器和所述听者左耳之间的所述第一声学近 场传播声道的第一声学近场传递函数,提供所述第二扬声器和所述听者右耳之间的所述第 二声学近场传播声道的第二声学近场传递函数,在所述第一声学近场传递函数的逆的基础 上滤波所述第一输入音频信号以获得所述第一输出音频信号,以及在所述第二声学近场传 递函数的逆的基础上滤波所述第二输入音频信号以获得所述第二输出音频信号,其中,所 述第一输出音频信号独立于所述第二输入音频信号,所述第二输出音频信号独立于所述第 一输入音频信号。因此,可以提供一种用于呈现音频信号以便听者获得音频感知的改进概 念。
[0039] 所述音频信号处理方法可以由音频信号处理装置执行。所述音频信号处理方法的 更多特征直接由所述音频信号处理装置的功能产生。
[0040] 根据如上所述第二方面,在所述方法的第一实施形式中,所述方法包括从存储器 中获取所述第一声学近场传递函数或所述第二声学近场传递函数以提供所述第一声学近 场传递函数或所述第二声学近场传递函数。因此,可以有效地提供所述第一声学近场传递 函数或所述第二声学近场传递函数。
[0041] 根据如上所述第二方面或所述第二方面的任意前述实施形式,在所述方法的第二 实施形式中,所述方法包括在所述第一扬声器的位置和所述听者左耳的位置的基础上确定 所述第一声学近场传播声道的所述第一声学近场传递函数,以及在所述第二扬声器的位置 和所述听者右耳的位置的基础上确定所述第二声学近场传播声道的所述第二声学近场传 递函数。因此,可以有效地提供所述第一声学近场传递函数或所述第二声学近场传递函数。
[0042] 根据如上所述第二方面或所述第二方面的任意前述实施形式,在所述方法的第三 实施形式中,所述方法包括根据以下等式滤波所述第一输入音频信号或所述第二输入音频 信号:
Figure CN106664499AD00101
[0044] 其中,El表示所述第一输入音频信号,Er表示所述第二输入音频信号,Xl表示所述 第一输出音频信号,办表不所述第二输出音频信号,Gll表不所述第一声学近场传递函数,Grr 表示所述第二声学近场传递函数,ω表示角频率,j表示虚数单位。因此,可以有效地执行所 述第一输入音频信号或所述第二输入音频信号的所述滤波。
[0045] 根据如上所述第二方面或所述第二方面的任意前述实施形式,在所述方法的第四 实施形式中,所述方法包括在第一声学远场传递函数的基础上滤波源音频信号以获得所述 第一输入音频信号,在第二声学远场传递函数的基础上滤波所述源音频信号以获得所述第 二输入音频信号。因此,可以有效地考虑声学远场效果。
[0046] 根据所述第二方面的所述第四实施形式,在所述方法的第五实施形式中,所述源 音频信号关联到空间音频场景内的空间音频源,所述方法包括在所述空间音频场景内的所 述空间音频源的位置和所述听者左耳的位置的基础上确定所述第一声学远场传递函数,在 所述空间音频场景内的所述空间音频源的所述位置和所述听者右耳的位置的基础上确定 所述第二声学远场传递函数。因此,可以考虑空间音频场景内的空间音频源。
[0047] 根据所述第二方面的所述第四实施形式或所述第五实施形式,在所述方法的第六 实施形式中,所述第一声学远场传递函数或所述第二声学远场传递函数为头相关传递函 数。因此,可以有效地构建所述第一声学远场传递函数或所述第二声学远场传递函数。
[0048] 根据所述第二方面的所述第五实施形式或所述第六实施形式,在所述方法的第七 实施形式中,所述方法包括在所述空间音频场景内的所述空间音频源的所述位置的基础上 根据以下等式确定所述第一声学远场传递函数或所述第二声学远场传递函数:
Figure CN106664499AD00102
[0052] 其中,Γ表示所述第一声学远场传递函数或所述第二声学远场传递函数,Pm表示m 度的勒让德多项式,hm表示m阶球面汉克尔函数,h'm表示^的第一导函数,P表示归一化距 离,r表示范围,a表示半径,μ表示归一化频率,f表示频率,c表示声音的速度,Θ表示方位角, 以及Φ表示仰角。因此,可以有效地确定所述第一声学远场传递函数或所述第二声学远场 传递函数。
[0053] 根据所述第二方面的所述第五实施形式至所述第七实施形式,在所述方法的第八 实施形式中,所述方法包括对所述第一输出音频信号或所述第二输出音频信号加权一个加 权因子,以及在所述空间音频源和所述听者之间的距离的基础上确定所述加权因子。因此, 可以有效地考虑所述空间音频源和所述听者之间的所述距离。
[0054] 根据所述第二方面的所述第八实施形式,在所述方法的第九实施形式中,所述方 法包括根据以下等式确定所述加权因子:
Figure CN106664499AD00111
[0056] 其中,g表示所述加权因子,P表示归一化距离,r表示范围,ro表示参考范围,a表示 半径,以及α表示指数参数。因此,可以有效地确定所述加权因子。
[0057] 根据所述第二方面的所述第五实施形式至所述第九实施形式,在所述方法的第十 实施形式中,所述方法包括确定所述空间音频源相对于所述听者位置的方位角或仰角,以 及在所述空间音频源的所述确定的方位角或仰角的基础上从第一对扬声器中选取所述第 一扬声器和从第二对扬声器中选取所述第二扬声器。因此,可以有效地减轻前后声学信息 混淆效果。
[0058] 根据所述第二方面的所述第十实施形式,在所述方法的第十一实施形式中,所述 方法包括将所述第一对扬声器的第一对方位角或第一对仰角与所述空间音频源的所述方 位角或所述仰角对比以选择所述第一扬声器,以及将所述第二对扬声器的第二对方位角或 第二对仰角与所述空间音频源的所述方位角或所述仰角对比以选择所述第二扬声器。因 此,可以有效地选择所述第一扬声器和所述第二扬声器。
[0059] 根据第三方面,本发明涉及一种提供器,用于提供第一扬声器和听者左耳之间的 第一声学近场传播声道的第一声学近场传递函数以及提供第二扬声器和听者右耳之间的 第二声学近场传播声道的第二声学近场传递函数,所述提供器包括处理器,用于在所述第 一扬声器的位置和所述听者左耳的位置的基础上确定所述第一声学近场传递函数以及在 所述第二扬声器的位置和所述听者右耳的位置的基础上确定所述第二声学近场传递函数。 因此,可以提供一种用于呈现音频信号以便听者获得音频感知的改进概念。
[0060] 所述提供器可以结合根据如上所述第一方面或所述第一方面的任意实施形式的 所述装置使用。
[0061] 根据如上所述第三方面,在所述提供器的第一实施形式中,所述处理器用于:在指 示第一声学近场传播声道与所述第一扬声器的所述位置和所述听者左耳的所述位置相关 的第一头相关传递函数的基础上确定所述第一声学近场传递函数,以及在指示所述第二声 学近场传播声道与所述第二扬声器的所述位置和所述听者右耳的所述位置相关的第二头 相关传递函数的基础上确定所述第二声学近场传递函数。因此,可以有效地确定所述第一 声学近场传递函数和所述第二声学近场传递函数。
[0062] 所述第一头相关传递函数或所述第二头相关传递函数可以为一般头相关传递函 数。
[0063] 根据所述第三方面的所述第一实施形式,在所述提供器的第二实施形式中,所述 处理器用于根据以下等式确定所述第一声学近场传递函数或所述第二声学近场传递函数:
Figure CN106664499AD00112
Figure CN106664499AD00121
[0069] 其中,Ga表示所述第一声学近场传递函数,Grr表示所述第二声学近场传递函数, Γ1表示所述第一头相关传递函数,Γκ表示所述第二头相关传递函数,ω表示角频率,j表示 虚数单位,Pm表示m度的勒让德多项式,hm表示m阶球面汉克尔函数,h'm表示hm的第一导函 数,P表示归一化距离,r表示范围,a表示半径,μ表示归一化频率,f表示频率,c表示声音的 速度,Θ表示方位角,以及Φ表示仰角。因此,可以有效地确定所述第一声学近场传递函数或 所述第二声学近场传递函数。
[0070] 这些等式涉及作为一般头相关传递函数的特定模型或形式的基于模型的头相关 传递函数。
[0071] 根据第四方面,本发明涉及一种用于提供第一扬声器和听者左耳之间的第一声学 近场传播声道的第一声学近场传递函数以及提供第二扬声器和听者右耳之间的第二声学 近场传播声道的第二声学近场传递函数的方法,所述方法包括在所述第一扬声器的位置和 所述听者左耳的位置的基础上确定所述第一声学近场传递函数以及在所述第二扬声器的 位置和所述听者右耳的位置的基础上确定所述第二声学近场传递函数。因此,可以提供一 种用于呈现音频信号以便听者获得音频感知的改进概念。
[0072] 所述方法可由所述提供器执行。所述方法的更多特征直接由所述提供器的功能产 生。
[0073] 根据如上所述第四方面,在所述方法的第一实施形式中,所述方法包括:在指示第 一声学近场传播声道与所述第一扬声器的所述位置和所述听者左耳的所述位置相关的第 一头相关传递函数的基础上确定所述第一声学近场传递函数,以及在指示所述第二声学近 场传播声道与所述第二扬声器的所述位置和所述听者右耳的所述位置相关的第二头相关 传递函数的基础上确定所述第二声学近场传递函数。因此,可以有效地确定所述第一声学 近场传递函数和所述第二声学近场传递函数。
[0074] 根据所述第四方面的所述第一实施形式,在所述方法的第二实施形式中,所述方 法包括根据以下等式确定所述第一声学近场传递函数或所述第二声近场波传递函数:
Figure CN106664499AD00122
[0080] 其中,Gll表不所述第一声学近场传递函数,Grr表不所述第二声学近场传递函数,Γ1表示所述第一头相关传递函数,Γκ表示所述第二头相关传递函数,ω表示角频率,j表示 虚数单位,Pm表示m度的勒让德多项式,hm表示m阶球面汉克尔函数,h'm表示hm的第一导函 数,P表示归一化距离,r表示范围,a表示半径,μ表示归一化频率,f表示频率,c表示声音的 速度,Θ表示方位角,以及Φ表示仰角。因此,可以有效地确定所述第一声学近场传递函数或 所述第二声学近场传递函数。
Figure CN106664499AD00131
[0081] 根据第五方面,本发明涉及一种听者可穿戴的可穿戴框架,所述可穿戴框架包括 根据如上所述第一方面的所述第一方面的任意实施形式的所述音频信号处理装置、第一支 腿和第二支腿,其中,所述音频信号处理装置用于预处理第一输入音频信号以获得第一输 出音频信号以及预处理第二输入音频信号以获得第二输出音频信号,所述第一支腿包括第 一扬声器,所述第一扬声器用于向所述听者左耳发出所述第一输出音频信号,所述第二支 腿包括第二扬声器,所述第二扬声器用于向所述听者右耳发出所述第二输出音频信号。因 此,可以提供一种用于提供音频信号以便听者获得音频感知的改进概念。
[0082] 根据如上所述第五方面,在所述可穿戴框架的第一实施形式中,所述第一支腿包 括第一对扬声器,其中,所述音频信号处理装置用于从所述第一对扬声器中选取所述第一 扬声器,所述第二支腿包括第二对扬声器,所述音频信号处理装置用于从所述第二对扬声 器中选取所述第二扬声器。因此,可以有效地减轻声学前后混淆效果。
[0083] 根据如上所述第五方面或所述第五方面的所述第一实施形式,在所述可穿戴框架 的第二实施形式中,所述音频信号处理装置包括根据如上所述第三方面或所述第三方面的 任意实施形式的提供器,用于提供所述第一扬声器和所述听者左耳之间的第一声学近场传 播声道的第一声学近场传递函数以及提供所述第二扬声器和所述听者右耳之间的第二声 学近场传递声道的第二声学近场传递函数。因此,可以有效地提供所述第一声学近场传递 函数和所述第二声学近场传递函数。
[0084] 根据第六方面,本发明涉及一种包括程序代码的计算机程序,当在计算机上执行 程序代码时用于执行如上所述第二方面、所述第二方面的任意实施形式、如上所述第四方 面或所述第四方面的任意实施形式的所述方法。因此,可自动、可重复地执行所述方法。
[0085] 可以可编程的形式安排所述音频信号处理装置和/或所述提供器来执行所述计算 机程序。
[0086] 本发明可在硬件和/或软件中实施。。
附图说明
[0087] 本发明的更多实施方式将结合以下附图进行描述,其中:
[0088] 图1所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输出 音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置的 图;
[0089] 图2所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输出 音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理方法的 图;
[0090] 图3所示为根据一实施形式的一种用于提供第一扬声器和听者左耳之间的第一声 学近场传播声道的第一声学近场传递函数以及提供第二扬声器和收听者右耳之间的第二 声学近场传播声道的第二声学近场传递函数的提供器的图;
[0091] 图4所示为根据一实施形式的一种用于提供第一扬声器和听者左耳之间的第一声 学近场传播声道的第一声学近场传递函数以及提供第二扬声器和听者右耳之间的第二声 学近场传播声道的第二声学近场传递函数的方法的图;
[0092] 图5所示为根据一实施形式的听者可穿戴的可穿戴框架的图;
[0093] 图6所示为根据一实施形式的包括听者和空间音频源的空间音频场景的图;
[0094] 图7所示为根据一实施形式的包括听者、第一扬声器和第二扬声器的空间音频场 景的图;
[0095] 图8所示为根据一实施形式的包括听者、第一扬声器和第二扬声器的空间音频场 景的图;
[0096] 图9所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输出 音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置的 图;
[0097] 图10所示为根据一实施形式的听者可穿戴的可穿戴框架的图;
[0098] 图11所示为根据一实施形式的听者可穿戴的可穿戴框架的图;
[0099] 图12所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输 出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置 的图;
[0100] 图13所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输 出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置 的图;
[0101] 图14所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输 出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置 的图;
[0102] 图15所示为根据一实施形式的用于预处理多个输入音频信号以获得多个输出音 频信号的音频信号处理装置的图;
[0103] 图16所示为根据一实施形式的包括听者、第一扬声器和第二扬声器的空间音频场 景的图;
[0104] 图17所示为根据一实施形式的包括听者、第一扬声器和第二扬声器的空间音频场 景的图;
[0105] 图18所示为根据一实施形式的包括听者、第一扬声器和空间音频源的空间音频场 景的图;
[0106] 图19所示为根据一实施形式的包括听者和第一扬声器的空间音频场景的图;
[0107] 图20所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输 出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置 的图;
[0108] 图21所示为根据一实施形式的听者可穿戴的可穿戴框架的图。
具体实施方式
[0109] 图1所示为根据一实施形式的一种用于预处理第一输入音频信号El以获得第一输 出音频信号Xl以及预处理第二输入音频信号Er以获得第二输出音频信号Xr的音频信号处理 装置100。
[0110] 第一输出音频信号Xl将通过第一扬声器和听者左耳之间的第一声学近场传播声 道传输。第二输出音频信号XR将通过第二扬声器和听者右耳之间的第二声学近场传播声道 传输。
[0111] 音频信号处理装置100包括:提供器101,用于提供第一扬声器和收听者左耳之间 的第一声学近场传播声道的第一声学近场传递函数GiX以及提供第二扬声器和听者右耳之 间的第二声学近场传播声道的第二声学近场传递函数Grr;滤波器103,用于在第一声学近场 传递函数Ga的逆的基础上滤波第一输入音频信号El以获得第一输出音频信号XL,以及在第 二声学近场传递函数Grr的逆的基础上滤波第二输入音频信号Er以获得第二输出音频信号 XR,其中所述第一输出音频信号Xl与第二输入音频信号Er无关,第二输出音频信号Xr与第一 输入音频信号El无关。
[0112] 提供器101可以包括存储器,用于提供第一声学近场传递函数Ga或第二声学近场 传递函数Grr。提供器101可以用于从存储器中获取第一声学近场传递函数Gu或第二声学近 场传递函数Grr以提供第一声学近场传递函数Gix或第二声学近场传递函数Grr。
[0113] 提供器101还可用于在第一扬声器位置和听者左耳位置的基础上确定第一声学近 场传播声道的第一声学近场传递函数Ga以及在第二扬声器位置和听者右耳位置的基础上 确定第二声学近场传播声道的第二声学近场传递函数Grr。
[0114] 音频信号处理装置100还可包括又一滤波器,用于在第一声学远场传递函数的基 础上滤波源音频信号以获得第一输入音频信号El以及在第二声学远场传递函数的基础上 滤波源音频信号以获得第二输入音频信号Er。
[0115] 音频信号处理装置100还可包括加权器,用于对第一输出音频信号Xl或第二输出 音频信号Xr加权一个加权因子。该加权器可用于在空间音频源和听者之间距离的基础上确 定该加权因子。
[0116] 音频信号处理装置100还可以包括选择器,用于从第一对扬声器中选取第一扬声 器以及从第二对扬声器中选取第二扬声器。该选择器可用于:确定空间音频源相对于听者 位置的方位角或仰角以及在空间音频源的所确定的方位角或仰角的基础上从第一对扬声 器中选取第一扬声器及从第二对扬声器选取第二扬声器。
[0117] 第一输出音频信号Xl可以独立于第二声学近场传递函数Grr。第二输出音频信号Xr 可以独立于第一声学近场传递函数Ga。
[0118]由于假设第一声学串音传递函数Glr为0,所以第一输出音频信号Xl可以独立于第 二输入音频信号Er。由于假设第二声学串音传递函数Grl为0,所以第二输出音频信号Xr可以 独立于第一输入音频信号Eu
[0119] 第一输入音频信号El可以独立于声学串音传递函数Glr和Grl进行滤波。第二输入音 频信号Er可以独立于声学串音传递函数Glr和Grl进行滤波。
[0120] 第一输出音频信号Xl可以独立于第二输入音频信号Er获得。第二输出音频信号Xr 可以独立于第一输入音频信号El获得。
[0121] 图2所示为根据一实施形式的一种用于预处理第一输入音频信号El以获得第一输 出音频信号Xl以及预处理第二输入音频信号Er以获得第二输出音频信号Xr的音频信号处理 方法200的图。
[0122] 第一输出音频信号Xl将通过第一扬声器和听者左耳之间的第一声学近场传播声 道传输。第二输出音频信号XR将通过第二扬声器和听者右耳之间的第二声学近场传播声道 传输。
[0123] 音频信号处理方法200包括:提供201第一扬声器和听者左耳之间的第一声学近场 传播声道的第一声学近场传递函数Gix,提供203第二扬声器和听者右耳之间的第二声学近 场传播声道的第二声学近场传递函数Grr,在第一声学近场传递函数Gll的逆的基础上滤波 205第一输入音频信号El以获得第一输出音频信号XL,以及在第二声学近场传递函数Grr的 逆的基础上滤波207第二输入音频信号Er以获得第二输出音频信号XR,其中,所述第一输出 音频信号Xl独立于第二输入音频信号Er,第二输出音频信号Xr独立于第一输入音频信号El。 音频信号处理方法200可以由音频信号处理装置100执行。
[0124] 图3所示为根据一实施形式的一种用于提供第一扬声器和听者左耳之间的第一声 学近场传播声道的第一声学近场传递函数Ga以及提供第二扬声器和听者右耳之间的第二 声学近场传播声道的第二声学近场传递函数Grr的提供器101的图。
[0125] 提供器101包括处理器301,用于在第一扬声器位置和听者左耳位置的基础上确定 第一声学近场传递函数Ga以及在第二扬声器位置和听者右耳位置的基础上确定第二声学 近场传递函数Grr。
[0126] 处理器301可用于:在指示第一声学近场传播声道与第一扬声器位置和听者左耳 位置相关的第一头相关传递函数的基础上确定第一声学近场传递函数Gll以及在指示第二 声学近场传播声道与第二扬声器位置和听者右耳位置相关的第二头相关传递函数的基础 上确定第二声学近场传递函数Grr。
[0127] 图4所示为根据一实施形式的一种用于提供第一扬声器和听者左耳之间的第一声 学近场传播声道的第一声学近场传递函数Ga以及提供第二扬声器和听者右耳之间的第二 声学近场传播声道的第二声学近场传递函数Grr的方法400的图。
[0128] 方法400包括:在第一扬声器位置和听者左耳位置的基础上确定401第一声学近场 传递函数Ga以及在第二扬声器位置和听者右耳位置的基础上确定403第二声学近场传递函 数Grr。方法400可以由提供器101执行。
[0129] 图5所示为根据一实施形式的听者可穿戴的可穿戴框架500的图。
[0130] 可穿戴框架500包括音频信号处理装置100、第一支腿501、第二支腿503,其中,音 频信号处理装置100用于预处理第一输入音频信号El以获得第一输出音频信号Xl以及预处 理第二输入音频信号Er以获得第二输出音频信号Xr;第一支腿501包括第一扬声器505,第一 扬声器505用于向听者左耳发出第一输出音频信号Xl;第二支腿503包括第二扬声器507,第 二扬声器507用于向听者右耳发出第二输出音频信号XR。
[0131] 第一支腿501可以包括第一对扬声器,其中,音频信号处理装置100可用于从第一 对扬声器中选取第一扬声器505。第二支腿503可以包括第二对扬声器,其中,音频信号处理 装置100可用于从第二对扬声器中选取第二扬声器507。
[0132] 本发明涉及使用位于听者耳朵附近的扬声器进行音频呈现的领域,该扬声器可以 集成在可穿戴框架或3D眼镜等中。本发明可以应用于呈现单声道和多声道音频信号,即单 信号、立体声信号、5.1、7.1、9.1、11.1或22.2等环绕声信号,以及双耳信号。
[0133] 随着眼镜、帽子、便帽等可穿戴音频产品的发展,使用位于耳朵附近的扬声器进行 音频呈现越来越受关注,耳朵和扬声器的距离可以在1厘米至15厘米之间。然而,头戴式耳 机通常直接放在听者耳上,甚至在耳内。音频呈现应该能够进行3D音频呈现以提高听者的 音频体验。
[0134] 在没有进一步处理的情况下,听者会感知通过这类扬声器播放的所有音频信号, 这类扬声器非常靠近头部,即在声学近场内。这能够适用于单声道和多声道音频信号,即单 信号、立体声信号以及5.1、7.1、9.1、11.1、22.2等环绕声信号。
[0135] 双耳信号可以用来将近场音频感知转换为远场音频感知并产生空间声学源的3D 空间感知。通常,这些信号可以在听者耳鼓处重现以正确地重现双耳线索。此外,可以采用 考虑扬声器位置的补偿,这能够使用靠近耳朵的扬声器重现双耳信号。
[0136] 可以采用一种通过靠近听者耳朵放置的扬声器呈现音频的方法,该方法可以包括 补偿扬声器和耳朵之间的声学近场传递函数,即第一方面,以及为音频源呈现从一组可用 对中选取最佳扬声器对的选择方式,即第二方面。
[0137] 3D眼镜等可穿戴设备的音频呈现通常通过连接到可穿戴设备的头戴式耳机来实 现。这种方法的优点在于,可以提供良好的音频质量。然而,头戴式耳机扮演用户需要放入 耳中或放到耳上的在某种程度上独立的另一设备。这在穿上和/或戴上该设备时会降低舒 适度。这个缺点可以通过将音频呈现集成到可穿戴设备中使得在穿上时不依赖用户的额外 动作来减轻。
[0138] 骨传导可以用于此目的,其中骨传导转换器安装在眼镜两侧的内部,例如正好在 听者耳后,骨传导转换器可以将音频声音直接通过骨头传导到听者内耳。然而,由于这种方 法在耳道内不产生声波,所以可能无法在声音质量和/或空间音频感知方面产生自然收听 体验。具体而言,高频率可不通过骨头传导,因此可能会衰减。此外,在左耳侧传导的音频信 号还通过骨头传导到右耳,反之亦然。这种串音效果会干扰音频源的双耳定位,例如左和/ 或右定位。
[0139] -般而言,针对可穿戴设备的音频呈现的这些方案可以构成舒适度和音频质量之 间的权衡。骨传导可能方便穿戴,但是会导致音频质量降低。使用头戴式耳机能够获得高音 频质量但是会降低舒适度。
[0140] 本发明可以通过使用扬声器重现音频信号来克服这些限制。扬声器可以安装在可 穿戴框架等可穿戴设备上。因此,可以获得高音频质量和穿戴舒适度。
[0141] 靠近耳朵的扬声器,如安装在可穿戴或3D眼镜上的扬声器等,可以具有与耳罩式 耳机或入耳式耳机类似的用例,但是由于扬声器穿戴起来更舒适,所以往往首选扬声器。然 而,当使用位置靠近耳朵的扬声器时,听者可以感知呈现的信号,因为非常靠近,即在声学 近场内。
[0142] 为了在远距离的特定位置处,即在声学远场内,产生空间或虚拟声源的感知,可以 使用双耳信号,其直接使用仿真头或者合成信号记录,合成信号可以通过利用一组头相关 传递函数(head-relatedtransferfunctions,HRTF)滤波音频源信号来获得。为了在远场 使用扬声器将双耳信号呈现给用户,可能要解决串音抵消问题,并且可能要补偿扬声器和 耳朵之间的声学传递函数。
[0143] 本发明涉及使用扬声器,这些扬声器靠近头部,即在声学近场内,而且涉及在3D空 间的任意位置处产生音频声源感知,任意位置即在声学远场内。
[0144] 描述了主要声源S在3D空间的虚拟空间远场位置处进行音频呈现的方式,该远场 位置使用靠近耳朵的扬声器或次级声源定义在球面坐标系(r,θ,φ)中。本发明可以在穿戴 舒适度、音频质量和/或3D空间音频体验方面提高可穿戴设备的音频呈现。
[0145]主要声源,即输入音频信号,可以为任何音频信号,例如虚拟地放置在3D空间的空 间位置处的增强型现实应用中的人工单音源。为了以单音、立体声、5.1环绕声信号等重现 单声道或多声道音频内容,主要声源可对应虚拟地放置在3D空间中的虚拟空间扬声器。每 个虚拟空间扬声器可以用来重现输入音频信号的一个声道。
[0146] 本发明包括扬声器和耳朵之间的声学近场传递函数的几何补偿以实现在远场中 呈现虚拟空间音频源,即第一方面,包括以下步骤:近场补偿以实现使用稳健的串音抵消方 法将双耳信号呈现给靠近耳朵的扬声器,使用HRTF远场呈现虚拟空间音频源以获得预期位 置,以及可选地校正反距离定律。
[0147] 本发明还包括,作为预期空间声源位置的函数,可以使用最少两对扬声器确定重 现中使用的各个扬声器的驱动函数,如第二方面。
[0148] 图6所示为根据一实施形式的包括听者601和空间音频源603的空间音频场景的 图。该图涉及2D中使用HRTF对位置(Γ,θ)处的主要空间音频源S的虚拟或空间定位,其中Φ =0〇
[0149] 双耳信号可以为双声道音频信号,例如离散立体声信号或参数立体声信号,包括 单音下混频和空间侧信息,可以捕获人类听觉系统用来定位音频声源的整组空间线索。
[0150] 在空间具体位置的音频声源和人耳之间的传递函数被称为头相关传递函数 (head-relatedtransferfunction,HRTF)。这类HRFT可以捕获所有定位线索,诸如双耳时 间差(inter-auraltimedifferences,ITD)和/或双耳声级差(inter-aurallevel difference,ILD)。当使用头戴式耳机等在听者的耳鼓处重现这类音频信号时,可以获得令 人信服的3D音频感知,其中声学音频源的感知位置围绕听者跨越整个360°球形。
[0151] 双耳信号利用频域中的头相关传递函数(head-related transfer functions, HRTF)或时域中的双耳房间脉冲响应(binaural room impulse responses,BRIR)生成,或 者可以使用仿真头或入耳式麦克风等合适的记录设备记录。
[0152] 例如,参考图6,用户或听者相比于图6无需头戴式耳机就可以感知到声学空间音 频源S在左耳作为左耳入口信号或左耳音频信号El以及在右耳作为右耳入口信号或右耳音 频信号Er,声学空间音频源S可以是产生音频源信号S的人或者乐器或者甚至单音扬声器。 描述从源S到右耳El以及到右耳Er的传输声道的对应传递函数可以为,例如,描绘为图6中的 Hl和Hr的对应左耳和右耳头相关传递函数(head-relatedtransferfunctions,HRTF)。
[0153] 类似地,如图6所示,为了使位于坐标系原点的听者感知放置在球形坐标中的位置 (Γ,θ,φ)处的虚拟空间音频源S,可以利用虚拟空间音频源位置和听者左耳和右耳对应的HRIFH(r,θ,φ)来滤波源信号S以获得耳入口信号,S卩El和Er,它们还可以按照复杂频域表示 法写作EL(jco)和ER(jco):
Figure CN106664499AD00191
[0155] 换言之,通过基于Γ、θ和φ为音频源S的预期虚拟空间位置选择合适的HRTF,可以 处理任何音频源信号S,使得听者能够在音频源信号通过头戴式耳机或耳机重现时感知其 放置在预期位置处。
[0156]以这种方式产生的双耳定位线索的正确重现的一个重要方面在于耳朵信号E在听 者耳鼓处重现,这在使用图6所描述的头戴式耳机或耳塞式耳机时很自然地得到实现。头戴 式耳机和耳塞式耳机的共同点是:它们直接位于耳上或甚至位于耳内,以及放置头戴式耳 机或耳塞式耳机包含的扬声器的膜使得它们直接指向耳鼓。
[0157] 然而,在很多情况下,穿戴头戴式耳机不被听者接受,因为穿戴起来不舒服或者可 能会使耳朵听不见外界声音。此外,手机等许多设备包括扬声器。在考虑3D眼镜等可穿戴设 备时,音频呈现的一种自然选择可以是将扬声器集成在这些设备中。
[0158] 通过普通扬声器在听者耳朵处重现双耳信号能够以解决串音问题为基础,这在通 过头戴式耳机麦重现双耳信号时不能很自然地发生,因为左耳信号El可以直接且只能在听 者左耳处重现,而右耳信号Er可以直接且只能在听者右耳处重现。一种解决该问题的方式 可能是采用串音抵消技术。
[0159] 图7所示为根据一实施形式的包括听者601、第一扬声器505和第二扬声器507的空 间音频场景的图。该图示出了直接和串音传播路径。
[0160] 通过串音抵消技术,对于预期左耳和右耳入口信号El和Er,可以计算对应的扬声器 信号。当一对远距离左和右立体声扬声器重放两个信号,
[0161] XL(j«)和XR(jco),听者的左耳和右耳入口信号,EL(jco)和ER(jco),可以构建为:
Figure CN106664499AD00192
[0163] 其中Gll (jω)和Grl (jω)为从左和右扬声器到左耳的传递函数,Glr (jω)和Grr (j ω)为从左和右扬声器到右耳的传递函数。Grl(jω)和Glr(jω)可以表示不预期的串音传播 路径,其可取消以正确地重现预期耳入口信号El (j ω)和Er (j ω)。
[0164] 在向量矩阵表示法中,(1)为:
Figure CN106664499AD00193
Figure CN106664499AD00201
[0170] 对应于给定预期耳入口信号E的扬声器信号X为:
[0171]X=G-1E,⑷
[0172] 图8所示为根据一实施形式的包括听者601、第一扬声器505和第二扬声器507的空 间音频场景的图。该图涉及串音抵消技术的虚拟说明。
[0173]为了提供串音抵消的3D音效,耳入口信号E可以在任何预期方位角和仰角处利用HRTF来计算。串音抵消的目标可以是提供与头戴式耳机上双耳呈现类似的体验,但是利用 的是两个扬声器。图8虚拟地说明了串音抵消技术。
[0174] 然而,这种技术仍然很难实施,因为这会调用矩阵求逆,而矩阵常常是病态的。矩 阵求逆会导致不现实的高滤波增益,这在实践中不可用。扬声器的范围大且动态,可能是可 取的,而且大量声学能量可向除两只耳朵之外的区域辐射。此外,通过一对扬声器向听者播 放双耳信号,不一定以立体声,可产生声学前和/或后混淆效果,即事实上可位于前面的音 频源可以由听者放置在其后面,反之亦然。
[0175]图9所示为根据一实施形式的一种用于预处理第一输入音频信号El以获得第一输 出音频信号Xl以及预处理第二输入音频信号Er以获得第二输出音频信号Xr的音频信号处理 方法100的图。音频信号处理装置100包括滤波器103、又一滤波器901和加权器903。该图提 供包括远场构建步骤、近场补偿步骤和可选的反距离定律校正步骤的概述。
[0176] 又一滤波器901用于在预期音频源位置(Γ,θ,φ)的基础上执行远场构建。又一滤 波器901处理源音频信号S以提供第一输入音频信号El和第二输入音频信号Er。
[0177] 滤波器103用于在扬声器位置(Γ,θ,φ)的基础上执行近场补偿。滤波器103处理第 一输入音频信号El和第二输入音频信号Er以提供第一输出音频信号Xl和第二输出音频信号 Xr0
[0178]加权器903用于在预期音频源位置(Γ,θ,φ)的基础上执行反距离定律校正。加权 器903处理第一输出音频信号Xl和第二输出音频信号Xr以提供第一加权的输出音频信号X'L 和第二加权的输出音频信号X' R。
[0179]为了产生发出源音频信号S的虚拟空间音频源的预期远场感知,可以采用基于HRTF的远场构建来获得预期耳信号Ε,例如双耳信号。为了通过扬声器重现耳信号Ε,可以采 用近场补偿来获得扬声器信号X,可选地,可以校正反距离定律以获得扬声器信号X'。主要 空间音频源S的预期位置可以很灵活,其中扬声器位置可以取决于可穿戴设备的具体设置。
[0180] 近场补偿可以按如下执行。传统串音抵消会遭受矩阵求逆导致的病态问题。因此, 通过扬声器呈现双耳信号可能具有挑战性。
[0181] 考虑到一对扬声器带来的串音抵消问题,即位于耳朵附近的包括左和右的立体 声,可以简化该问题。结果发现扬声器和耳入口信号之间的串音可以比从远场位置发出的 信号小很多。串音可以变得很小,使得能够假设最好忽略从左和右扬声器到左耳和右耳,即 相反耳朵,的传递函数:
[0182] Glr(Jo) =Grl(Jo) =〇. (5)
[0183]该发现会产生一种更简单的方案。等式3中的二阶矩阵可以是对角矩阵。该方案可 等同于两个简单的逆问题:
Figure CN106664499AD00211
[0185] 具体而言,串音抵消问题的这种简化等式可以避免传统串音抵消方法的典型问 题,可以产生一种不会遭受病态问题同时能够实现非常好的性能的更稳健的实施方式。这 可以使该方法尤其适合使用靠近耳朵的扬声器呈现双耳信号。
[0186] 这种方法包括头相关传递函数(head-relatedtransferfunctions,HRTF)以推 导出扬声器信号Xl和Xr。目的是能够采用滤波网络将近场扬声器匹配到预期虚拟空间音频 源。传递函数Ga(jω)和Grr(jω)可以计算为逆近场传递函数,即逆NFTF,以消除扬声器的 近场效果。
[0187] 基于依据下式的HRTF球状模型Γ(ρ,μ,θ,φ):
Figure CN106664499AD00212
[0189] 可以利用标志L推导出左NFTF,利用标志R推导出右NFTF。在下文,示例性地给出了 左NFTF:
Figure CN106664499AD00213
[0193] 其中r为扬声器的范围,a为可以用来近似人头尺寸的球形半径。实验表明a的范围 可以为〇.〇5m<a<0.12ηι,μ根据下式定义为归一化频率:
Figure CN106664499AD00214
[0195] 其中f为频率,c为声速。Θ是入射角,例如球形中心到扬声器的射线与到达球形表 面上测量点的射线之间的角度。最后,φ:为仰角。函数匕和1^分别表示m度的勒让德多项式和 m阶球面汉克尔函数。h'm*hm的第一导函数。可以采用具体算法来递归地得出Γ的估计。
[0196] NFTF可以用于构建扬声器和耳朵之间的传递函数。
Figure CN106664499AD00215
[0198] 对应等式函数采用等式⑵至(10)中使用标志R的右NFTF,而不是标志L。
[0199] 通过将从扬声器到耳朵的NFTF⑵求逆,可以抵消等式(6)中扬声器和耳朵之间的 近距离效果,这会产生对预期耳信号E的近场补偿的扬声器驱动信号X,根据下式:
Figure CN106664499AD00216
[0201] 基于HRTF的远场呈现可以按如下执行。为了产生虚拟空间音频源S的远场效果,预 期左耳和右耳入口信号El和Er对应的双耳信号可以通过利用预期远场位置对应的一组HRTF滤波音频源信号S来获得,根据下式:
Figure CN106664499AD00217
[0203] 这种滤波可以实施为时域的卷积或频域的倍增。
[0204] 反距离定律可以如下采用。此外且可选地,对于改进HRTF呈现的远场双耳效果,可 以通过反距离定律进一步考虑空间音频源的范围。离空间音频源给定距离处的声压可以假 设与距离的倒数成比例。
[0205] 考虑到空间音频源与头中心的距离,其可以通过半径为a的球形构建,可以推导出 与反距离成比例的增益:
Figure CN106664499AD00221
[0207] 其中ro为虚构球形的半径,其上所施加的增益可以归一化到OdB。这可以是扬声器 到耳朵的距离。
[0208] α为使反距离定律更灵活的指数参数,例如,当α= 0.5时,距离r的加倍会导致增益 降低3dB,当α= 1时,距离r的加倍会导致增益降低12dB。
[0209] 增益(11)可以等同地应用于左和右扬声器信号:
[0210] x'=g(p).x· (12)
[0211] 图10所示为根据一实施形式的听者601可穿戴的可穿戴框架500的图。可穿戴框架 500包括第一支腿501和第二支腿503。第一扬声器505可以从第一对扬声器1001中选取。第 二扬声器507可以从第二对扬声器1003中选取。该图可以涉及具有四个小扬声器的3D眼镜。
[0212] 图11所示为根据一实施形式的听者601可穿戴的可穿戴框架500的图。可穿戴框架 500包括第一支腿501和第二支腿503。可以从第一对扬声器1001中选择第一扬声器505。可 以从第二对扬声器1003中选取第二扬声器507。相对于听者601布置空间音频源603。该图描 绘了基于虚拟空间源角度Θ的扬声器选择。
[0213] 可以如下执行扬声器对选择。该方法可以扩展到如图10描绘的多扬声器或多扬声 器对用例。考虑到两对扬声器围绕头部,根据待重现的空间音频源S的仰角Θ,可以简单决 定使用如图11所示的前面或背面的扬声器对。如果-90〈θ〈90,前面的扬声器a和XR对可以是 活动的。如果90〈θ〈270,后面的扬声器xls和XRs对可以是活动的。
[0214] 这能够解决将听者后面的空间音频源错误地放置在听者前面(反之亦然)的前后 混淆效果问题。然后可以使用前面描述的远场构建和近场补偿来处理选取的对。可以使用 前后之间的更平滑的转移函数而不是所描述的二进制决策来改进该模型。
[0215] 此外,替代性示例也是可能的,例如一对扬声器在耳朵下面,一对扬声器在耳朵上 面。在这种情况下,能够解决将听者下面的空间音频源放置在听者上面(反之亦然)的高度 混淆问题。在这种情况下,扬声器选择可以基于仰角Φ。
[0216] 在一般情况下,假设多对扬声器设置在不同位置(θ,φ)处,与音频源具有最小角 度差的那一对可以用于呈现主要空间音频源。
[0217] 本发明可以有利地应用于在各种实施形式中产生远场效果。
[0218] 图12所示为根据一实施形式的一种用于预处理第一输入音频信号El以获得第一 输出音频信号Xl以及预处理第二输入音频信号Er以获得第二输出音频信号Xr的音频信号处 理方法100的图。音频信号处理装置100包括滤波器103。滤波器103用于在扬声器位置(Γ,θ, Φ)的基础上执行近场补偿。该图涉及双耳信号E= (El,Er)t的重放,其中可以不采用远场构 建。
[0219] 如上所述,基于等式(7)至(10),通过将扬声器到耳朵的NFTF根据等式(7)进行求 逆,可以抵消等式(6)中扬声器与耳朵之间的近距离效果,这会根据预期或给定双耳信号E对扬声器驱动信号X产生近场补偿,根据下式:
Figure CN106664499AD00231
[0221] 在典型实施形式中,扬声器可以布置在可穿戴设备上的固定位置和方向,因此相 对于听者耳朵还具有预定位置和方向。因此,左和右扬声器位置的NFTF和对应逆HFTF可以 提前确定。
[0222] 图13所示为根据一实施形式的一种用于预处理第一输入音频信号El以获得第一 输出音频信号Xl以及预处理第二输入音频信号Er以获得第二输出音频信号Xr的音频信号处 理方法100的图。
[0223]该图涉及一个用于呈现具有两个声道的传统立体声信号S= (Sleft,Snght)T的示 例。立体声信号的每个音频声道可以呈现为主音频源,例如作为虚拟扬声器,位于θ=± 30°,其中Θ如上述定义,以模仿用于立体声重放的典型扬声器设置。
[0224] 音频信号处理装置100包括滤波器103。滤波器103用于在扬声器位置(Γ,θ,φ)的 基础上执行近场补偿。
[0225] 音频信号处理装置100还包括又一滤波器901。又一滤波器901用于在虚拟空间音 频源位置,例如在左侧θ= 30°处,执行远场构建。处理源音频信号Sleft以提供辅助输入音频 信号ELleft和辅助输入音频信号ERleft。又一滤波器901还用于在又一虚拟空间音频源位置, 例如在右侧θ= -30°处,执行远场构建。处理源音频信号Snght以提供辅助输入音频信号 ELnght和辅助输入音频信号ERnght。又一滤波器901还用于通过添加辅助输入音频信号ELleft 和辅助输入音频信号ELnght来确定第一输入音频信号El,通过添加辅助输入音频信号ERleft 和辅助输入音频信号ERlright来确定第二输入音频信号Er。
[0226] 音频信号处理装置100可以用于立体声和/或环绕声重现。音频信号处理装置100 可以应用于通过创建两个主要空间音频源,例如在所定义的Θ= ±30°处,来增强两个声道 立体声信号的空间重现,该两个主要空间音频源可以充当远场的虚拟扬声器。
[0227] 为了实现该点,可以将通用处理分别应用于立体声信号S的左声道Sleft和右声道 Snght。首先,远场构建可以应用于获得双耳信号
Figure CN106664499AD00232
1由虚拟扬声器 在位置θ= 30°处发出的感知。类似地,可以通过虚拟扬声器位置θ= -30°从Sleft中获得
Figure CN106664499AD00233
3然后,可以通过相加Eleft和Enght获得双耳信号Ε:
Figure CN106664499AD00234
[0229] 其次,所得双耳信号E可以在近场补偿步骤中转换为扬声器信号X。可选地,可以类 似地采用反距离定律校正。
[0230] 图14所示为根据一实施形式的一种用于预处理第一输入音频信号El以获得第一 输出音频信号Xl以及预处理第二输入音频信号Er以获得第二输出音频信号Xr的音频信号处 理方法100的图。
[0231]以与立体声信号同样的方式,多声道信号,例如5.1环绕声信号,可以通过放置在 各个位置,例如前置左/右θ= ±30°、中心θ=0°、左/右环绕θ= ±1ίο。的虚拟扬声器创建每 个声道来呈现。所得双耳信号可以相加,并且可以执行近场校正以获得扬声器驱动信号Xu Xr0
[0232]音频信号处理装置100包括滤波器103。滤波器103用于在扬声器位置(Γ,θ,φ)的 基础上执行近场补偿。
[0233]音频信号处理装置100还包括又一滤波器901。又一滤波器901用于执行远场构建, 例如针对5个声道。又一滤波器901以预期空间音频源位置,例如针对Θ= {30°,-30°,0°, 110°,-110°}处的5个声道,为基础处理多声道输入,例如前左/右、中心、左/右环绕的5个声 道,以提供第一输入音频信号El和第二输入音频信号Er。
[0234] 本发明还可应用于通过为输入信号的每个声道创建一个主要空间音频源来增强 多声道环绕信号的空间重现。
[0235]该图示出了以5.1环绕声信号为例,其可以看作如上所述的立体声用例的多声道 扩展。在这种情况下,主空间音频源的虚拟空间位置,即虚拟扬声器,可以对应9={30°,_ 30°,0°,110°,_110°}。如上介绍的通用处理可以分别应用于输入音频信号的每个声道。首 先,远场构建可以应用于获得输入音频信号的每个声道的双耳信号。所有双耳信号可以相 加,产生前面针对立体声用例所说明的E= (EuEr) τ。
[0236]其次,所得双耳信号E可以在近场补偿步骤中转换为扬声器信号X。可选地,可以类 似地采用反距离定律校正。
[0237] 图15所示为根据一实施形式的用于预处理多个输入音频信号EL、ER、ELs、ERs以获得 多个输出音频信号乂^乂[?4^4 [^的音频信号处理装置100的图。该图涉及多声道信号重现, 使用的是两对扬声器,其中一对在听者前面,即L和R,一对在听者后面,S卩Ls和Rs。
[0238]音频信号处理装置100包括滤波器103。滤波器103用于在L和R扬声器位置(Γ,θ,Φ)的基础上执行近场补偿。滤波器103处理输入音频信号El和Er以提供输出音频信号Xl和 Xr。滤波器103还用于在Ls和Rs扬声器位置(Γ,θ,φ)的基础上执行近场补偿。滤波器103处 理输入音频信号Els和Ers以提供输出音频信号Xls和Xrs。
[0239] 音频信号处理装置100还包括又一滤波器901。又一滤波器901用于执行远场构建, 例如针对5个声道。又一滤波器901以预期空间音频源位置,例如针对Θ= {30°,-30°,0°, 110°,-110°}处的5个声道,为基础处理多声道输入,例如前左/右、中心、左/右环绕的5个声 道。又一滤波器901用于为所有5个声道提供双耳信号。
[0240] 音频信号处理装置100还包括:选择器1501,用于在L和R扬声器位置(Γ,θ,φ)、Ls和Rs扬声器位置(Γ,θ,φ)和/或预期空间音频源位置,例如针对θ= {30°,-30°,0°,110°,_ 110°}处5个声道,的基础上执行扬声器选择和相加。
[0241]音频信号处理装置100可以适用于使用多对靠近耳朵放置的扬声器的环绕声重 现。
[0242] 通过考虑每个声道作为具有固定和/或预定义远场位置的单个主要空间音频源, 其可以有利地应用于多声道环绕声信号。例如,可以在可穿戴框架或3D眼镜上重现5.1声 带,将每个声道的位置定义为位于球形坐标系中如下位置的单个音频声源:r= 2m、0 = 3〇° 的L声道,r= 2m、9 = -30°、:φ=:0° 的R声道,r= 2m、9 = 〇°、φ=〇 ° 的C声道,r= 2m、9 =ll〇°、 (()=0° 的Ls声道,以及r= 2m、θ= -110°、φ=0°的Rs声道。
[0243] 该图描绘了处理。可以通过远场构建利用各个音频源角度处理所有声道以获得所 有声道的双耳信号。然后,基于扬声器角度,对于每个信号,可以如上所述选择最佳一对扬 声器,例如前面的或后面的扬声器。
[0244] 将所有通过前面的扬声器对L、R重现的所有双耳信号相加可以形成双耳信号Eu Er,其随后可以进行近场补偿以形成扬声器驱动信号Xl,Xr。将所有通过后面的扬声器对Ls、 Rs重现的所有双耳信号相加可以形成双耳信号ELs,ERs,其随后可以进行近场补偿以形成扬 声器驱动信号Xls,Xrs。
[0245] 由于虚拟空间前和后远场扬声器可以通过近场扬声器重现,近场扬声器也可以放 置在听者耳朵的前面和后面,因此可以避免前后混淆效果。该处理可以扩展到任意多声道 格式,不仅仅是5.1环绕声信号。
[0246] 本发明能够提供以下优点。靠近头部的扬声器可以用来产生远距离虚拟空间音频 源的感知。扬声器和耳朵之间的近场传递函数可以使用简化、更稳健的串音抵消问题等式 进行补偿。HRTF可以用来产生远场音频源的感知。近场头屏蔽效果可以转换为远场头屏蔽 效果。可选地,还可以校正Ι/r效果,即距离。
[0247] 本发明描述了将多对靠近耳朵的扬声器用作音频声源位置的函数,并且决定哪些 扬声器适于重放。其可以扩展到任意数目的扬声器对。该方法可以适用于5.1环绕声带。空 间感知或效果可以是3维的。关于使用传统头戴式耳机的双耳重放,可以实现固体外表化和 前/后混淆降低方面的优点。
[0248] 本发明可以适用于3D音效呈现并且可以提供可穿戴设备和3D眼镜或帽子等可穿 戴音频产品的3D音效。
[0249] 本发明涉及一种在靠近听者耳朵放置的扬声器上进行音频呈现的方法,扬声器和 耳朵相距1厘米到10厘米等。该方法可以包括近场传递函数的补偿和/或从一组扬声器对中 选择最佳一对扬声器。本发明涉及信号处理特征。
[0250] 图16所示为根据一实施形式的包括听者601、第一扬声器505和第二扬声器507的 空间音频场景的图。
[0251] 利用扬声器进行音频信号重现会引起串音问题,即每个扬声器信号到达两只耳 朵。而且,由于墙壁或天花板以及房间中其它物体的反射,即回声会产生额外的传播路径。
[0252] 图17所示为根据一实施形式的包括听者601、第一扬声器505和第二扬声器507的 空间音频场景的图。该图还包括第一传递函数块1701和第二传递函数块1703。该图示出了 使用逆滤波的通用串音消除技术。
[0253] 第一传递函数块1701使用传递函数W(Q)处理音频信号Srec,right (ω)和Srec,left (ω)以提供音频信号¥"咖(《)和心&(«)。第二传递函数块1703使用传递函数!1(«)处理 音频信号Yright(ω)和Yleft (ω)以提供音频信号Sright (ω)和Sieft (ω)。
[0254] -种用于移除不预期的声学串音的方法可以为逆滤波或串音抵消。为了在听者耳 朵处重现双耳信号并抵消声学串音,使得SmW=SW,需要的是:
[0255] ψ(ω) =Η_1(ω).
[0256] 对于远离听者数米远的扬声器,进行串音抵消可能会很困难。植物矩阵经常是病 态的,而且矩阵求逆会导致不切实际的高滤波增益,这在实践中不可用。扬声器的范围非常 大且动态,可能是可取的,大量声能可向除两只耳朵之外的区域辐射。
[0257]当将双耳信号呈现给听者时,位于听者前面的音频源可放置在听者的后面(反之 亦然)的前/后混淆会出现。
[0258] 图18所不为根据一实施形式的包括听者601、第一扬声器505和第二扬声器603的 空间音频场景的图。第一扬声器505表示为X和Xu空间音频源603表示为s。
[0259] 第一声学近场传递函数Gll指不第一扬声器505和听者601左耳之间的第一声学近 场传播声道。第一声学串音传递函数Glr指不第一扬声器505和听者601右耳之间的第一声学 串音传播声道。
[0260] 第一声学远场传递函数Hl指示空间音频源603和听者601左耳之间的第一声学远 场传播声道。第二声学远场传递函数Hr指示空间音频源603和听者601右耳之间的第二声学 远场传播声道。
[0261] 可以采用通过靠近耳朵的扬声器或辅助音频源来对位于虚拟空间位置Γ、θ、φ处 的虚拟空间声源进行音频呈现。
[0262] 该方法可以基于扬声器和耳朵之间的近场传递函数的几何补偿,以实现远场中虚 拟空间音频源的呈现。该方法还可基于,作为预期音频声源位置的函数,确定通过最少两对 扬声器进行重现中的各个扬声器的驱动函数。该方法可以通过移动靠近听者耳朵的扬声器 来抵消串首。
[0263] 对于靠近听者的扬声器X,耳入口信号之间的串音相对于从远场位置发出的信号 小很多。串音会变得很小,假设:
[0264]Glr(jω) =Grl(jω) =〇
[0265]即没有串音产生。这能够提高方法的稳健性,并且能够简化串音抵消问题。
[0266]图19所示为根据一实施形式的包括听者601和第一扬声器505的空间音频场景的 图。
[0267] 第一扬声器505通过第一扬声器505和听者601左耳之间的第一声学近场传播声道 发出音频信号XUjco)以在听者601左耳处获得预期入耳音频信号。第一声学近场传播声道 表不为第一声学近场传递函数Gll。
[0268] 靠近耳朵的扬声器的用例可以与头戴式耳机或耳塞式耳机相似,但是优选扬声 器,因为它们戴起来更舒服。类似于头戴式耳机,靠近耳朵的扬声器可能不存在串音。然而, 使用扬声器呈现的虚拟空间音频源可靠近听者头部出现。
[0269] 双耳信号可以用于产生远距离声学空间音频源的令人信服的感知。为了通过靠近 耳朵的扬声器将双耳信号El(jω)提供给耳朵,扬声器和耳朵之间的传递函数Ga(jω)可根 据下式补偿:
Figure CN106664499AD00261
[0271] 为了补偿传递函数,可以基于HRTF球形模型Γ(Ρ,μ,θ)根据下式推导出NFTF:
Figure CN106664499AD00262
[0273]图20所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输 出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置 100的图。音频信号处理装置100包括提供器101、又一提供器2001、滤波器103和另一滤波器 901 〇
[0274] 提供器101用于提供逆近场HRTF,gL和gR。又一提供器2001用于提供HRTF,hL和hR。 又一滤波器901用于通过hL卷积左声道音频信号L以及通过hR卷积右声道音频信号R。滤波器 103用于通过gL卷积左声道音频信号以及通过gR卷积右声道音频信号。
[0275] 补偿之后,可以通过HRTF在预期远场方位和/或仰角处滤波左耳和右耳入口信号 乳和⑶。该实施方式可以利用每个扬声器声道的两阶段卷积在时域内进行。首先,可以执行 利用对应HRTF的卷积,S卩hL和hR。第二,可以执行利用反向NFTF的卷积,S卩gL和gR。
[0276] 还可以通过距离反比定律根据下式校正空间音频源的距离:
Figure CN106664499AD00271
[0278] 其中ro可以为虚拟球形的半径,施加在虚拟球形上的增益可以归一化为OdBw为 使距离反比定律更灵活的指数参数。对于α= 〇. 5,距离r的双倍会导致增益降低3dB。对于α =1,距离r的双倍会导致增益降低6dB。对于α= 2,距离r的双倍会导致增益降低12(1Β<^(Ρ) 可以乘以双耳信号。
[0279] 靠近听者头部的扬声器可以用来产生远距离虚拟空间音频源的感知。可以补偿扬 声器和耳朵之间的近场传递函数,而且HRFT可以用来产生远场空间音频源的感知。近场头 屏蔽效过可以转换为远场头屏蔽效果。由于距离还可以校正Ι/r效果。
[0280] 图21所示为根据一实施形式的听者601可穿戴的可穿戴框架500的图。可穿戴框架 500包括第一支腿501和第二支腿503。可以从第一对扬声器1001中选择第一扬声器505。可 以从第二对扬声器1003中选择第二扬声器507。相对听者601设置空间音频源603。该图描绘 了基于虚拟空间源角度Θ的扬声器选择。图21对应图11,其中使用了角度Θ的不同定义。
[0281]当将双耳信号呈现给听者时,位于前面的音频源可放置在后面(反之亦然)的前/ 后混淆会出现。本发明描述了将多对靠近耳朵的扬声器用作空间音频声源位置的函数,并 且决定哪些扬声器适于重放。例如,可以使用耳朵前面和后面的两对扬声器。
[0282] 作为方位角Θ的函数,可以进行前面或后面扬声器选择,这些扬声器最佳匹配预期 声音呈现方向Θ。如果180>θ>0,前面的扬声器xL和xR对可以激活。如果-180〈θ〈0,前面的扬 声器xLs和xRs对可以激活。如果θ= 〇或180,可以同时使用前面和后面的扬声器对。
[0283] 本发明能够提供以下优点。通过将扬声器选择作为空间音频源方向的函数,可以 产生有关听者耳朵的线索,使得该方法相对于前/后混乱更加稳健。该方法还可扩展到任意 数目的扬声器对。

Claims (18)

1. 一种音频信号处理装置(100),用于预处理第一输入音频信号(El)以获得第一输出音 频信号(Χϋ以及预处理器第二输入音频信号(Er)以获得第二输出音频信号(Xr),所述第一 输出音频信号(Xl)将通过第一扬声器(505)和听者(601)左耳之间的第一声学近场传播声 道传输,所述第二输出音频信号(Xr)将通过第二扬声器(507)和所述听者(601)右耳之间的 第二声学近场传播声道传输,其特征在于,所述音频信号处理装置(100)包括: 提供器(101),用于提供所述第一扬声器(505)和所述听者(601)左耳之间的所述第一 声学近场传播声道的第一声学近场传递函数(Ga)以及提供所述第二扬声器(507)和所述听 者(601)右耳之间的所述第二声学近场传播声道的第二声学近场传递函数(Grr); 滤波器(103),用于在所述第一声学近场传递函数(Gll)的倒数的基础上滤波所述第一 输入音频信号(El)以获得所述第一输出音频信号(Xl)以及在所述第二声学近场传递函数 (Grr)的倒数的基础上滤波所述第二输入音频信号(Er)以获得所述第二输出音频信号(Xr), 其中,所述第一输出音频信号(Χϋ与所述第二输入音频信号(Er)无关,所述第二输出音频信 号(Xr)与所述第一输入音频信号(Εϋ无关。
2. 根据权利要求1所述的音频信号处理装置(100),其特征在于,所述提供器(101)包 括:存储器,用于提供所述第一声学近场传递函数(Ga)或所述第二声学近场传递函数 (Grr),以及所述提供器(101)用于从所述存储器中获取所述第一声学近场传递函数(Ga)或 所述第二声学近场传递函数(Grr)以提供所述第一声学近场传递函数(Ga)或所述第二声学 近场传递函数(Grr)。
3. 根据任意前述权利要求所述的音频信号处理装置(100),其特征在于,所述提供器 (101)用于在所述第一扬声器(505)的位置和所述听者(601)左耳的位置的基础上确定所述 第一声学近场传播声道的所述第一声学近场传递函数(Gix)以及在所述第二扬声器(507)的 位置和所述听者(601)右耳的位置的基础上确定所述第二声学近场传播声道的所述第二声 学近场传递函数(Grr)。
4. 根据任意前述权利要求所述的音频信号处理装置(100),其特征在于,所述滤波器 (103)用于根据以下等式滤波所述第一输入音频信号(Εύ或所述第二输入音频信号(Er):
Figure CN106664499AC00021
其中,El表示所述第一输入音频信号,Er表示所述第二输入音频信号,Xl表示所述第一 输出音频信号,Xr表不所述第二输出音频信号,Gll表不所述第一声学近场传递函数,Grr表不 所述第二声学近场传递函数,ω表示角频率,j表示虚数单位。
5. 根据任意前述权利要求所述的音频信号处理装置(100),其特征在于,所述装置 (100)包括:又一滤波器(901),用于在第一声学远场传递函数(Hl)的基础上过滤源音频信 号(S)以获得第一输入音频信号(El)以及在第二声学远场传递函数(Hr)的基础上过滤所述 源音频信号⑶以获得所述第二输入音频信号(Er)。
6. 根据权利要求5所述的音频信号处理装置(100),其特征在于,所述源音频信号(S)关 联到空间音频场景内的空间音频源(603),所述又一滤波器(901)用于在所述空间音频场景 内的所述空间音频源(603)的位置和所述听者(601)左耳的位置的基础上确定所述第一声 学远场传递函数(Hl)以及在所述空间音频场景内的所述空间音频源(603)的位置和所述听 者(601)右耳的位置的基础上确定所述第二声学远场传递函数(Hr)。
7. 根据权利要求6所述的音频信号处理装置(100),其特征在于,所述装置(100)包括: 加权器(903),用于对所述第一输出音频信号(Xl)或所述第二输出音频信号(Xr)加权一个加 权因子(g),所述加权器(903)用于在所述空间音频源(603)和所述听者(601)之间的距离的 基础上确定所述加权因子(g)。
8. 根据权利要求7所述的音频信号处理装置(100),其特征在于,所述加权器(903)用于 根据以下等式确定所述加权因子(g):
Figure CN106664499AC00031
其中,g表示所述加权因子,P表示归一化距离,r表示范围,ro表示参考范围,a表示半径, α表示指数参数。
9. 根据权利要求6至8所述的音频信号处理装置(100),其特征在于,所述装置(100)包 括:选择器(1501),用于从第一对扬声器(1001)中选取所述第一扬声器(505)以及从第二对 扬声器(1003)中选取所述第二扬声器(507),所述选择器(1501)用于确定所述空间音频源 (603)相对于所述听者(601)的位置的方位角或仰角,所述选择器(1501)用于在所述空间音 频源(603)的所述确定的方位角或仰角的基础上从所述第一对扬声器(1001)选取所述第一 扬声器(505)和从所述第二对扬声器(1003)中选取所述第二扬声器(507)。
10. -种音频信号处理方法(200),用于预处理第一输入音频信号(El)以获得第一输出 音频信号(Χϋ以及预处理器第二输入音频信号(Er)以获得第二输出音频信号(Xr),所述第 一输出音频信号(Xl)将通过第一扬声器(505)和听者(601)左耳之间的第一声学近场传播 声道传输,所述第二输出音频信号(Xr)将通过第二扬声器(507)和所述听者(601)右耳之间 的第二声学近场传播声道传输,其特征在于,所述音频信号处理方法(200)包括: 提供(201)所述第一扬声器(505)和所述听者(601)左耳之间的所述第一声学近场传播 声道的第一声学近场传递函数(Gix); 提供(203)所述第二扬声器(507)和所述听者(601)左耳之间的所述第二声学近场传播 声道的第二声学近场传递函数(Grr); 在所述第一声学近场传递函数(Ga)的倒数的基础上滤波(205)所述第一输入音频信号 (Εύ以获得所述第一输出音频信号(Xl),所述第一输出音频信号(Χϋ与所述第二输入音频 信号(Er)无关; 在所述第二声学近场传递函数(Grr)的倒数的基础上滤波(207)所述第二输入音频信号 (Er)以获得所述第二输出音频信号(Xr),所述第二输出音频信号(Xr)与所述第一输入音频 信号收)无关。
11. 一种提供器(101),用于提供第一扬声器(505)和听者(601)左耳之间的第一声学近 场传播声道的第一声学近场传递函数(Gll)以及提供第二扬声器(507)和听者(601)右耳之 间的第二声学近场传播声道的第二声学近场传递函数(Grr),其特征在于,所述提供器(101) 包括: 处理器(301),用于在所述第一扬声器(505)的位置和听者(601)左耳的位置的基础上 确定第一声学近场传递函数(Gll)以及在所述第二扬声器(507)的位置和听者(601)右耳的 位置的基础上确定第二声学近场传递函数(Grr)。
12. 根据权利要求11所述的提供器(101),其特征在于,所述处理器(301)用于:在指示 所述第一声学近场传播声道与所述第一扬声器(505)的位置和所述听者(601)左耳的位置 相关的第一头相关传递函数(F 的基础上确定所述第一声学近场传递函数(Ga),以及在 指示所述第二声学近场传播声道与所述第二扬声器(507)的位置和所述听者(601)右耳的 位置相关的第二头相关传递函数(F R)的基础上确定所述第二声学近场传递函数(Grr)。
13. 根据权利要求12所述的提供器(101),其特征在于,所述处理器(301)用于根据以下 等式确定所述第一声学近场传递函数(Ga)或所述第二声学近场传递函数(Grr):
Figure CN106664499AC00041
其中,Gll表不所述第一声学近场传递函数,Grr表不所述第二声学近场传递函数,Γ 1表 示所述第一头相关传递函数,Fr表示所述第二头相关传递函数,ω表示角频率,j表示虚数 单位,Pm表示m度的勒让德多项式,h m表示m阶球面汉克尔函数,h'm表示^的第一导函数,P表 示归一化距离,r表示范围,a表示半径,μ表示归一化频率,f表示频率,c表示声音的速度,Θ 表示方位角,Φ表示仰角。
14. 一种用于提供第一扬声器(505)和听者(601)左耳之间的第一声学近场传播声道的 第一声学近场传递函数(Gll)以及提供第二扬声器(507)和听者(601)右耳之间的第二声学 近场传播声道的第二声学近场传递函数(Grr)的方法(400),其特征在于,所述方法(400)包 括: 在所述第一扬声器(505)的位置和所述听者(601)左耳的位置的基础上确定(401)所述 第一声学近场传递函数(Gix); 在所述第二扬声器(507)的位置和所述听者(601)右耳的位置的基础上确定(403)所述 第二声学近场传递函数(Grr)。
15. -种听者(601)可穿戴的可穿戴框架(500),其特征在于,所述可穿戴框架(500)包 括: 根据权利要求1至9中的任意项所述的音频信号处理装置(100),所述音频信号处理装 置(100)用于预处理第一输入音频信号(El)以获得第一输出音频信号(Xl)以及预处理第二 输入音频信号(Er)以获得第二输出音频信号(Xr); 第一支腿(501),包括第一扬声器(505),所述第一扬声器(505)用于向所述听者(601) 左耳发出所述第一输出音频信号(Xl); 第二支腿(503),包括第二扬声器(507),所述第二扬声器(507)用于向所述听者(601) 右耳发出所述第二输出音频信号(Xr)。
16. 根据权利要求15所述的可穿戴框架(500),其特征在于,所述第一支腿(501)包括第 一对扬声器(1001),所述音频信号处理装置(100)用于从所述第一对扬声器(1001)中选取 所述第一扬声器(505),所述第二支腿(503)包括第二对扬声器(1003),所述音频信号处理 装置(100)用于从所述第二对扬声器(1003)中选取所述第二扬声器(507)。
17. 根据权利要求15或16所述的可穿戴框架(500),其特征在于,所述音频信号处理装 置(100)包括根据权利要求11至13中的任意项所述的提供器(101),用于提供所述第一扬声 器(505)和所述听者(601)左耳之间的第一声学近场传播声道的第一声学近场传递函数 (Gll)以及提供所述第二扬声器(507)和所述听者(601)右耳之间的第二声学近场传播声道 的第二声学近场传递函数(Grr)。
18. -种包括程序代码的计算机程序,其特征在于,所述计算机程序在计算机上执行时 用于执行根据权利要求10或14中的任意项所述的方法(200,400)。
CN201480081105.2A 2014-08-13 2014-08-13 音频信号处理装置 Active CN106664499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/067288 WO2016023581A1 (en) 2014-08-13 2014-08-13 An audio signal processing apparatus

Publications (2)

Publication Number Publication Date
CN106664499A true CN106664499A (zh) 2017-05-10
CN106664499B CN106664499B (zh) 2019-04-23

Family

ID=51564622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480081105.2A Active CN106664499B (zh) 2014-08-13 2014-08-13 音频信号处理装置

Country Status (4)

Country Link
US (1) US9961474B2 (zh)
EP (1) EP3132617B1 (zh)
CN (1) CN106664499B (zh)
WO (1) WO2016023581A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107979806A (zh) * 2017-05-16 2018-05-01 中山大学花都产业科技研究院 一种用于实现车内声场重构的方法
CN109429159A (zh) * 2017-08-24 2019-03-05 脸谱科技有限责任公司 头戴式显示器和方法
CN109800724A (zh) * 2019-01-25 2019-05-24 国光电器股份有限公司 一种扬声器位置确定方法、装置、终端及存储介质
CN110856095A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
CN110856094A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11026024B2 (en) * 2016-11-17 2021-06-01 Samsung Electronics Co., Ltd. System and method for producing audio data to head mount display device
EP3419309A1 (en) * 2017-06-19 2018-12-26 Nokia Technologies Oy Methods and apparatuses for controlling the audio output of loudspeakers
CN109076280A (zh) 2017-06-29 2018-12-21 深圳市汇顶科技股份有限公司 用户可定制的耳机系统
US11122384B2 (en) 2017-09-12 2021-09-14 The Regents Of The University Of California Devices and methods for binaural spatial processing and projection of audio signals
US10880649B2 (en) 2017-09-29 2020-12-29 Apple Inc. System to move sound into and out of a listener's head using a virtual acoustic system
CN112438053A (zh) * 2018-07-23 2021-03-02 杜比实验室特许公司 通过多个近场换能器渲染双耳音频
WO2020180431A1 (en) * 2019-03-01 2020-09-10 Dysonics Corporation Method of modeling the acoustic effects of the human head

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1552171A (zh) * 2001-09-06 2004-12-01 皇家飞利浦电子股份有限公司 音频再现设备
CN1630434A (zh) * 2003-12-17 2005-06-22 三星电子株式会社 再现虚拟声音的设备和方法
US20070230725A1 (en) * 2006-04-03 2007-10-04 Srs Labs, Inc. Audio signal processing
CN102325298A (zh) * 2010-05-20 2012-01-18 索尼公司 音频信号处理装置和音频信号处理方法
CN102572676A (zh) * 2012-01-16 2012-07-11 华南理工大学 一种虚拟听觉环境实时绘制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9603236D0 (en) * 1996-02-16 1996-04-17 Adaptive Audio Ltd Sound recording and reproduction systems
US20070165890A1 (en) * 2004-07-16 2007-07-19 Matsushita Electric Industrial Co., Ltd. Sound image localization device
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
US20070067054A1 (en) * 2005-09-19 2007-03-22 Danish M S Programmable portable media player for guidance, training and games

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1552171A (zh) * 2001-09-06 2004-12-01 皇家飞利浦电子股份有限公司 音频再现设备
CN1630434A (zh) * 2003-12-17 2005-06-22 三星电子株式会社 再现虚拟声音的设备和方法
US20070230725A1 (en) * 2006-04-03 2007-10-04 Srs Labs, Inc. Audio signal processing
CN102325298A (zh) * 2010-05-20 2012-01-18 索尼公司 音频信号处理装置和音频信号处理方法
CN102572676A (zh) * 2012-01-16 2012-07-11 华南理工大学 一种虚拟听觉环境实时绘制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107979806A (zh) * 2017-05-16 2018-05-01 中山大学花都产业科技研究院 一种用于实现车内声场重构的方法
CN109429159A (zh) * 2017-08-24 2019-03-05 脸谱科技有限责任公司 头戴式显示器和方法
CN110856095A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
CN110856094A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
CN110856095B (zh) * 2018-08-20 2021-11-19 华为技术有限公司 音频处理方法和装置
CN109800724A (zh) * 2019-01-25 2019-05-24 国光电器股份有限公司 一种扬声器位置确定方法、装置、终端及存储介质

Also Published As

Publication number Publication date
EP3132617B1 (en) 2018-10-17
WO2016023581A1 (en) 2016-02-18
CN106664499B (zh) 2019-04-23
EP3132617A1 (en) 2017-02-22
US9961474B2 (en) 2018-05-01
US20170078821A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
CN106664499B (zh) 音频信号处理装置
JP5894634B2 (ja) 個人ごとのhrtfの決定
US10757529B2 (en) Binaural audio reproduction
US9578440B2 (en) Method for controlling a speaker array to provide spatialized, localized, and binaural virtual surround sound
JP4584416B2 (ja) 位置調節が可能な仮想音像を利用したスピーカ再生用多チャンネルオーディオ再生装置及びその方法
US8437485B2 (en) Method and device for improved sound field rendering accuracy within a preferred listening area
US20170070838A1 (en) Audio Signal Processing Device and Method for Reproducing a Binaural Signal
CN103053180B (zh) 用于声音再现的系统和方法
MXPA05004091A (es) Captura y reproduccion de sonido dinamico biauricular.
Ranjan et al. Natural listening over headphones in augmented reality using adaptive filtering techniques
JP2020536464A (ja) オーディオ再生においてクロストークキャンセルゾーンを作成するためのシステム及び方法
CN106797524A (zh) 用于渲染声学信号的方法和装置及计算机可读记录介质
US20190394596A1 (en) Transaural synthesis method for sound spatialization
US20130243201A1 (en) Efficient control of sound field rotation in binaural spatial sound
US6990210B2 (en) System for headphone-like rear channel speaker and the method of the same
US20210352425A1 (en) Method and apparatus for processing a stereo signal
Roginska Binaural audio through headphones
CN106954139A (zh) 一种联合耳机和扬声器的声场渲染方法及系统
Andre et al. Adding 3D sound to 3D cinema: Identification and evaluation of different reproduction techniques
US6983054B2 (en) Means for compensating rear sound effect
Momose et al. Adaptive amplitude and delay control for stereophonic reproduction that is robust against listener position variations
Ranjan 3D audio reproduction: natural augmented reality headset and next generation entertainment system using wave field synthesis
US20210067891A1 (en) Headphone Device for Reproducing Three-Dimensional Sound Therein, and Associated Method
US10440495B2 (en) Virtual localization of sound
Li Improving headphone user experience in ubiquitous multimedia content consumption: A universal cross-feed filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant