CN107005778B - 用于双耳渲染的音频信号处理设备和方法 - Google Patents

用于双耳渲染的音频信号处理设备和方法 Download PDF

Info

Publication number
CN107005778B
CN107005778B CN201580065738.9A CN201580065738A CN107005778B CN 107005778 B CN107005778 B CN 107005778B CN 201580065738 A CN201580065738 A CN 201580065738A CN 107005778 B CN107005778 B CN 107005778B
Authority
CN
China
Prior art keywords
ipsilateral
contralateral
hrtf
audio signal
transfer function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580065738.9A
Other languages
English (en)
Other versions
CN107005778A (zh
Inventor
吴贤午
李泰圭
白墉铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaudio Lab Inc
Original Assignee
Gaudi Audio Lab Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaudi Audio Lab Inc filed Critical Gaudi Audio Lab Inc
Publication of CN107005778A publication Critical patent/CN107005778A/zh
Application granted granted Critical
Publication of CN107005778B publication Critical patent/CN107005778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明涉及一种用于执行双耳渲染的音频信号处理设备和音频信号处理方法。提供了一种用于对输入音频信号执行双耳滤波的音频信号处理设备以及使用该设备的音频信号处理方法，该音频信号处理设备包括：第一滤波单元，该第一滤波单元通过第一侧向传输函数对输入音频信号进行滤波以生成第一侧向输出信号；以及第二滤波单元，该第二滤波单元通过第二侧向传输函数对输入音频信号进行滤波以生成第二侧向输出信号，其中，第一侧向传输函数和第二侧向传输函数是通过相对于所述输入音频信号变换耳间传输函数(ITF)而生成的。

Description

用于双耳渲染的音频信号处理设备和方法
技术领域
本发明涉及一种用于执行双耳渲染的音频信号处理设备和音频信号处理方法。
背景技术
3D音频统指一系列信号处理、发送、编码和重现技术，这些技术向现有技术的环绕音频提供的水平表面(2D)上的声音场景提供与高度方向对应的另一轴线，以提供在三维空间中存在的声音。具体地，为了提供3D音频，与现有技术相比，需要使用更大量的扬声器，或者需要即使使用少量扬声器也能够在未设置扬声器的虚拟位置中形成声像的渲染技术。
3D音频可以是与超高清TV(UHDTV)对应的音频分辨率，并且有望用在各种领域和装置中。作为提供至3D音频的声音源，存在基于声道的信号和基于对象的信号。另外，可以存在基于声道的信号和基于对象的信号混合的声音源，因此用户可以具有一种新类型的听觉体验。
同时，双耳渲染是一种将输入音频信号建模为传输至人的两个耳朵的信号。通过耳机或耳塞收听经过双耳渲染的双声道输出音频信号，用户可以感觉到3D声音效果。因此，当将3D音频建模为传输至人的耳朵的音频信号时，可以通过双声道输出音频信号来再现3D音频的3D声音效果。
发明内容
技术问题
本发明的提出是为了提供一种用于执行双耳渲染的音频信号处理设备和音频信号处理方法。
本发明的提出还是为了对3D音频的对象信号和声道信号执行高效双耳渲染。
本发明的提出还是为了对虚拟现实(VR)内容的音频信号实施浸入式双耳渲染。
技术方案
为了实现上述目的，本发明提供一种如下的音频信号处理方法和音频信号处理设备。
本发明的示例性实施例提供了一种对输入音频信号执行双耳滤波的音频信号处理设备，其包括：第一滤波单元，所述第一滤波单元通过第一侧向传输函数对所述输入音频信号进行滤波以生成第一侧向输出信号；以及第二滤波单元，所述第二滤波单元通过第二侧向传输函数对所述输入音频信号进行滤波以生成第二侧向输出信号，其中，所述第一侧向传输函数和所述第二侧向传输函数可以通过修改相对于所述输入信号将第一侧向头相关传输函数(HRTF)除以第二侧向HRTF得到的耳间传输函数(HRTF)而生成。
所述第一侧向传输函数和所述第二侧向传输函数可以通过基于相对于所述输入音频信号的所述第一侧向HRTF和所述第二侧向HRTF中的至少一个的陷波分量修改所述ITF而生成。
所述第一侧向传输函数可以基于从所述第一侧向HRTF提取的所述陷波分量而生成，并且所述第二侧向传输函数可以基于通过将所述第二侧向HRTF除以从所述第一侧向HRTF提取的包络分量得到的值而生成。
所述第一侧向传输函数可以基于从所述第一侧向HRTF提取的所述陷波分量而生成，并且所述第二侧向传输函数可以基于通过将所述第二侧向HRTF除以从具有与所述输入音频信号不同方向的第一侧向HRTF提取的包络分量得到的值而生成。
具有所述不同方向的所述第一侧向HRTF可以是方位角与所述输入音频信号相同并且高度角为零的第一HRTF。
所述第一侧向传输函数可以是通过使用所述第一侧向HRTF的陷波分量生成的有限脉冲响应(FIR)滤波器系数或者无限脉冲响应(IIR)滤波器系数。
所述第二侧向传输函数包括基于针对所述输入音频信号的第一侧向HRTF的包络分量和第二侧向HRTF的包络分量生成的耳间参数以及基于第二侧向HRTF的陷波分量生成的脉冲响应(IR)滤波器系数，并且其中，所述第一侧向传输函数可以包括基于所述第一侧向HRTF的陷波分量生成的IR滤波器系数。
所述耳间参数包括耳间电平差(ILD)和耳间时间差(ITD)。
接下来，本发明的另一示例性实施例提供了一种对输入音频信号执行双耳滤波的音频信号处理设备，其包括：同侧滤波单元，所述同侧滤波单元通过同侧传输函数对所述输入音频信号进行滤波以生成同侧输出信号；以及对侧滤波单元，所述对侧滤波单元通过对侧传输函数对所述输入音频信号进行滤波以生成对侧输出信号，其中，所述同侧传输函数和所述对侧传输函数是基于第一频带和第二频带中的不同传输函数生成的。
所述第一频带的所述同侧传输函数和所述对侧传输函数可以基于耳间传输函数(ITF)而生成，并且所述ITF可以基于通过相对于所述输入音频信号将同侧头相关传输函数(HRTF)除以对侧HRTF得到的值而生成。
所述第一频带的所述同侧传输函数和所述对侧传输函数可以是相对于所述输入音频信号的同侧HRTF和对侧HRTF。
与所述第一频带不同的所述第二频带的所述同侧传输函数和所述对侧传输函数可以基于修改后的耳间传输函数(MITF)而生成，以及其中，所述MITF可以通过基于相对于所述输入音频信号的同侧HRTF和对侧HRTF中的至少一个的陷波分量修改耳间传输函数(ITF)而生成。
所述第二频带的所述同侧传输函数可以基于从所述同侧HRTF提取的陷波分量而生成，并且所述第二频带的所述对侧传输函数可以基于通过将所述对侧HRTF除以从所述同侧HRTF提取的包络分量得到的值而生成。
所述第一频带的所述同侧传输函数和所述对侧传输函数可以基于从相对于各个频带的所述输入音频信号的所述同侧HRTF和所述对侧HRTF的耳间电平差(ILD)、耳间时间差(ITD)、耳间相位差(IPD)和耳间相关性(IC)中的至少一个提取的信息而生成。
所述第一频带和所述第二频带的所述传输函数可以基于从相同的同侧HRTF和对侧HRTF提取的信息而生成。
所述第一频带低于所述第二频带。
所述第一频带的所述同侧传输函数和所述对侧传输函数可以基于第一传输函数而生成，与所述第一频带不同的所述第二频带的所述同侧传输函数和所述对侧传输函数可以基于第二传输函数而生成，并且，在所述第一频带与所述第二频带之间的第三频带中的所述同侧传输函数和所述对侧传输函数可以基于所述第一传输函数和所述第二传输函数的线性组合而生成。
此外，本发明的示例性实施例提供了一种对输入音频信号执行双耳滤波的音频信号处理方法，其包括：接收输入音频信号；通过同侧传输函数对所述输入音频信号进行滤波以生成同侧输出信号；以及通过对侧传输函数对所述输入音频信号进行滤波以生成对侧输出信号；其中，所述同侧传输函数和所述对侧传输函数是基于第一频带和第二频带中的不同传输函数生成的。
本发明的另一示例性实施例提供了一种对输入音频信号执行双耳滤波的音频信号处理方法，其包括：接收输入音频信号；通过第一传输函数对所述输入音频信号进行滤波以生成第一输出信号；通过第二侧向传输函数对所述输入音频信号进行滤波以生成第二输出信号；其中，所述第一侧向传输函数和所述第二侧向传输函数是通过修改相对于所述输入音频信号将第一侧向头相关传输函数(HRTF)除以第二侧向HRTF得到的耳间传输函数(HRTF)而生成的。
有益效果
根据本发明的示例性实施例，可以为高质量双耳声音提供低计算复杂度。
根据本发明的示例性实施例，可以防止双耳渲染可能会导致的声像定位的劣化和声音质量的降低。
根据本发明的示例性实施例，通过高效计算，实现了反映出用户或者对象的运动的双耳渲染过程。
附图说明
图1是图示根据本发明的示例性实施例的音频信号处理设备的框图。
图2是图示根据本发明的示例性实施例的双耳渲染器的框图。
图3是根据本发明的示例性实施例的方向渲染器的框图。
图4是图示根据本发明的示例性实施例的修改的ITF(MITF)生成方法的示意图。
图5是图示根据本发明的另一示例性实施例的MITF生成方法的示意图。
图6是图示根据本发明的另一示例性实施例的双耳参数生成方法的示意图。
图7是根据本发明的另一示例性实施例的方向渲染器的框图。
图8是图示根据本发明的另一示例性实施例的MITF生成方法的示意图。
具体实施方式
在本说明书使用的术语选自当考虑到在本发明中的功能时当前尽可能广泛使用的常规术语，但是这些术语可能会根据本领域的技术人员的意图、习惯、或者新技术的出现而发生变化。进一步地，在特定情况下，术语由申请人任意选择，并且在这种情况下，在本发明的说明书的对应部分中可能会描述该术语的含义。因此，要注意，在本说明书中的术语是基于该术语的基本含义和整个说明书而非基于该术语的简要标题来分析。
图1是图示根据本发明的示例性实施例的音频信号处理设备的框图。参照图1，音频信号处理设备10包括双耳渲染器100、双耳参数控制器200和个性化装置300。
首先，双耳渲染器100接收输入音频并且对该输入音频执行双耳渲染以生成双声道输出音频信号L和R。双耳渲染器100的输入音频信号可以包括对象信号和声道信号中的至少一种。在这种情况下，输入音频信号可以是一个对象信号或者一个单声道信号，或者可以是多对象信号或者多声道信号。根据示例性实施例，当双耳渲染器100包括单独的解码器时，双耳渲染器100的输入信号可以是音频信号的编码比特流。
双耳渲染器100的输出音频信号是双耳信号，即，各个输入对象/声道信号由位于3D空间中的虚拟声音源表示的双声道音频信号。基于从双耳参数控制器200提供的双耳参数来执行双耳渲染，并且在时域或者频域上执行。如上所述，双耳渲染器100对各种类型的输入信号执行双耳渲染以生成3D音频耳机信号(即，3D音频双声道信号)。
根据示例性实施例，可以进一步对双耳渲染器100的输出音频信号执行后处理。该后处理包括串音消除、动态范围控制(DRC)、音量标准化和峰值限制。后处理可以进一步包括对双耳渲染器100的输出音频信号进行频域/时域转换。音频信号处理设备10可以包括执行后处理的单独的后处理器，并且根据另一示例性实施例，后处理器可以被包括在双耳渲染器100中。
双耳参数控制器200生成双耳渲染的双耳参数，并且将该双耳参数传输至双耳渲染器100。在这种情况下，传输的双耳参数包括同侧传输函数和对侧传输函数，如在以下各个示例性实施例中描述的。在这种情况下，传输函数可以包括头相关传输函数(HRTF)、耳间传输函数(ITF)、修改的ITF(MITF)、双耳房间传输函数(BRTF)、房间脉冲响应(RIR)、双耳房间脉冲响应(BRIR)、头相关脉冲响应(HRIR)和其修改的/编辑的数据中的至少一种，但是本发明不限于上述传输函数。
传输函数可以在消声室中测量，并且包括有关通过模拟估计的HRTF的信息。用于估计HRTF的模拟技术可以是球状头模型(SHM)、雪人模型、时域有限差分方法(FDTDM)、边界元素方法(BEM)中的至少一种。在这种情况下，球状头模型指示一种假设人的头是球体来执行模拟的模拟技术。进一步地，雪人模型是指一种假设头和身体都是球体来执行模拟的模拟技术。
双耳参数控制器200从数据库(未图示)获得传输函数或者从个性化装置300接收传输函数。在本发明中，假设通过对脉冲响应(IR)执行快速傅里叶变换来获得传输函数，但是，在本发明中，变换方法不限于快速傅里叶变换。即，根据本发明的示例性实施例，变换方法包括正交镜像滤波器组(QMF)、离散余弦变换(DCT)、离散正弦变换(DST)和小波。
根据本发明的示例性实施例，双耳参数控制器200生成同侧传输函数和对侧传输函数，并且将生成的传输函数传输至双耳渲染器100。根据本示例性实施例，同侧传输函数和对侧传输函数可以分别通过修改同侧原型传输函数和对侧原型传输函数来生成。进一步地，双耳参数可以进一步包括耳间电平差(ILD)、有限脉冲响应(FIR)滤波器系数、无限脉冲响应滤波器系数。在本发明中，ILD和ITD也可称为耳间参数。
同时，在本发明的示例性实施例中，将传输函数用作可以用滤波器系数替代的术语。进一步地，将原型传输函数用作可以用原型滤波器系数替代的术语。因此，同侧传输函数和对侧传输函数可以分别表示同侧滤波器系数和对侧滤波器系数，并且同侧原型传输函数和对侧原型传输函数可以分别表示同侧原型滤波器系数和对侧原型滤波器系数。
根据示例性实施例，双耳参数控制器200可以基于从个性化装置300获得的个性化信息来生成双耳参数。个性化装置300根据用户获取用于应用不同双耳参数的附加信息并且提供基于获得的附加信息而确定的双耳传输函数。例如，个性化装置300可以基于用户的身体属性信息从数据库为用户选择双耳传输函数(例如，个性化HRTF)。在这种情况下，身体素质信息可以包括如下信息，诸如，耳廓的形状或者大小、外耳道的形状、头骨的大小和类型、体型和体重。
个性化装置300将确定的双耳传输函数提供至双耳渲染器100和/或双耳参数控制器200。根据示例性实施例，双耳渲染器100通过使用从个性化装置300提供的双耳传输函数对输入音频信号执行双耳渲染。根据另一示例性实施例，双耳参数控制器200通过使用从个性化装置300提供的双耳传输函数来生成双耳参数并且将生成的双耳参数传输至双耳渲染器100。双耳渲染器100基于从双耳参数控制器200获得的双耳参数对输入音频信号执行双耳渲染。
同时，图1是图示本发明的音频信号处理设备10的元件的示例性实施例，但本发明不限于此。例如，除了图1中图示的元件之外，本发明的音频信号处理设备10可以进一步包括附加元件。进一步地，可以从音频信号处理设备10省略掉图1中图示的一些元件，例如，个性化装置300。
图2是图示根据本发明的示例性实施例的双耳渲染器的框图。参照图2，双耳渲染器100包括方向渲染器120和距离渲染器140。在本发明的示例性实施例中，音频信号处理设备可以表示图2的双耳渲染器100或者可以指示作为双耳渲染器100的部件的方向渲染器120或距离渲染器140。然而，在本发明的示例性实施例中，音频信号处理设备在广义上可以指示图1的包括双耳渲染器100的音频信号处理设备10。
首先，方向渲染器120执行方向渲染以定位输入音频信号的声音源的方向。声音源可以表示与对象信号对应的音频对象或者与声道信号对应的扩音器。方向渲染器120将应用区分声音源相对于收听者的方向的双耳线索，即，输入音频信号的方向线索以执行方向渲染。在这种情况下，方向线索包括两个耳朵的电平差、两个耳朵的相位差、频谱包络、频谱陷波和峰值。方向渲染器120通过使用双耳参数，诸如同侧传输函数和对侧传输函数，来执行双耳渲染。
接下来，距离渲染器140执行距离渲染，该距离渲染反映根据输入音频信号的声音源距离的效果。距离渲染器140将区分声音源相对于收听者的距离线索应用到输入音频信号以执行距离渲染。根据本发明的示例性实施例，距离渲染可以根据声音源与输入音频信号的距离变化反映声音强度变化和频谱整形。根据本发明的示例性实施例，距离渲染器140根据声音源的距离是否在预定阈值内来执行不同的处理。当声音源的距离超过预定阈值时，可以应用与声音源相对于收听者的头部的距离成反比的声音强度。然而，当声音源的距离在预定阈值内时，可以基于相对于收听者的两个耳朵测得的声音源的距离来执行单独的距离渲染。
根据本发明的示例性实施例，双耳渲染器100对输入信号执行方向渲染和距离渲染中的至少一种以生成双耳输出信号。双耳渲染器100可以顺序地对输入信号执行方向渲染和距离渲染或者可以执行组合了方向渲染和距离渲染的处理。下文中，在本发明的示例性实施例中，作为包括方向渲染、距离渲染和其组合的构思，可以使用术语“双耳渲染”或者“双耳滤波”。
根据示例性实施例，双耳渲染器100首先对输入音频信号执行方向渲染以获得双声道输出信号，即，同侧输出信号D^I和对侧输出信号D^C。接下来，双耳渲染器100对双声道输出信号D^I和D^C执行距离渲染以生成双耳输出信号B^I和B^C。在这种情况下，方向渲染器120的输入信号是对象信号和/或声道信号，并且距离渲染器140的输入信号是双声道信号D^I和D^C，对该双声道信号D^I和D^C执行方向渲染作为预处理步骤。
根据另一示例性实施例，双耳渲染器100首先对输入音频信号执行距离渲染以获得双声道输出信号，即，同侧输出信号d^I和对侧输出信号d^C。接下来，双耳渲染器100对双声道输出信号d^I和d^C执行方向渲染以生成双耳输出信号B^I和B^C。在这种情况下，距离渲染器140的输入信号是对象信号和/或声道信号，并且方向渲染器120的输入信号是双声道信号d^I和d^C，对该双声道信号d^I和d^C执行距离渲染作为预处理步骤。
图3是根据本发明的示例性实施例的方向渲染器120-1的框图。参照图3，方向渲染器120-1包括同侧滤波单元122a和对侧滤波单元122b。方向渲染器120-1接收包括同侧传输函数和对侧传输函数的双耳参数，并且利用接收到的双耳参数对输入音频信号进行滤波以生成同侧输出信号和对侧输出信号。即，同侧滤波单元122a利用同侧传输函数对输入音频信号进行滤波以生成同侧输出信号，并且对侧滤波单元122b利用对侧传输函数对输入音频信号进行滤波以生成对侧输出信号。根据本发明的示例性实施例，同侧传输函数和对侧传输函数分别可以是同侧HRTF和对侧HRTF。即，方向渲染器120-1利用两个耳朵的HRTF对输入音频信号进行卷积以获得相应方向的双耳信号。
在本发明的示例性实施例中，同侧/对侧滤波单元122a和122b分别可以指示左/右声道滤波单元，或者分别可以指示右/左声道滤波单元。当输入音频信号的声音源位于收听者的左边时，同侧滤波单元122a生成左声道输出信号，并且对侧滤波单元122b生成右声道输出信号。然而，当输入音频信号的声音源位于收听者的右边时，同侧滤波单元122a生成右声道输出信号，并且对侧滤波单元122b生成左声道输出信号。如上所述，方向渲染器120-1执行同侧/对侧滤波以生成两个声道的左/右输出信号。
根据本发明的示例性实施例，方向渲染器120-1通过使用耳间传输函数(ITF)、修改的ITF(MITF)或者其组合，而非HRTF，来对输入音频信号进行滤波，以防止消音室的特性被反映到双耳信号中。下文将描述根据本发明的各个示例性实施例的使用传输函数的双耳渲染方法。
<使用ITF的双耳渲染>
首先，方向渲染器120-1通过使用ITF对输入音频信号进行滤波。可以将ITF定义为将对侧HRTF除以同侧HRTF的传输函数，如以下等式1所表示的。
[等式1]
I_I(k)＝1
I_C(k)＝H_C(k)/H_I(k)
此处，k是频率索引，H_I(k)是频率k的同侧HRTF，H_C(k)是频率k的对侧HRTF，I_I(k)是频率k的同侧ITF，并且I_C(k)是频率k的对侧ITF。
即，根据本发明的示例性实施例，在各个频率k中，将I_I(k)的值定义为1(即，0dB)，并且将I_C(k)定义为通过在频率k中将H_C(k)除以H_I(k)而得到的值。方向渲染器120-1的同侧滤波单元122a利用同侧ITF对输入音频信号进行滤波以生成同侧输出信号，并且对侧滤波单元122b利用对侧ITF对输入音频信号进行滤波以生成对侧输出信号。在这种情况下，如等式1所表示的，当同侧ITF为1时，即，当同侧ITF在时域中是单位狄拉克(delta)函数或者所有增益值在频域中都为1时，同侧滤波单元122a可以对输入音频信号的滤波进行旁通处理。如上所述，对同侧滤波进行旁通处理，并且利用对侧ITF对输入音频信号执行对侧滤波，从而执行使用ITF的双耳渲染。方向渲染器120-1省略了同侧滤波单元122a的操作以获得计算复杂度的增益。
ITF是指示同侧原型传输函数与对侧原型传输函数之间的差异的函数，并且通过将传输函数的该差异用作线索，听者可以产生方位感。在ITF的处理步骤期间，消除了HRTF的房间特性，因此可以补偿在使用HRTF的渲染中产生别扭声音(主要是缺失低音的声音)的现象。同时，根据本发明的另一示例性实施例，将I_C(k)定义为1，并且可以将I_I(k)定义为通过在频率k中将H_I(k)除以H_C(k)而得到的值。在这种情况下，方向渲染器120-1对对侧滤波进行旁通处理并且利用同侧ITF对输入音频信号执行同侧滤波。
<使用MITF的双耳渲染>
当通过使用ITF执行双耳渲染时，仅对L/R对之间的一个声道执行渲染，从而使得计算复杂度的增益较大。然而，当使用ITF时，由于缺少HRTF的独特特性，诸如，频谱峰值、陷波等，声像定位可能会变差。进一步地，当在作为ITF的分母的HRTF(在上述示例性实施例中是同侧HRTF)中存在陷波时，在ITF中生成具有窄带宽的频谱峰值，这引起音调噪声。因此，根据本发明的另一示例性实施例，可以通过修改输入音频信号的ITF来生成用于双耳滤波的同侧传输函数和对侧传输函数。方向渲染器120-1通过使用修改的ITF(即，MITF)对输入音频信号进行滤波。
图4是图示根据本发明的示例性实施例的修改的ITF(MITF)生成方法的示意图。MITF生成单元220是图1的双耳参数控制器200的部件，并且接收同侧HRTF和对侧HRTF以生成同侧MITF和对侧MITF。将MITF生成单元220中生成的同侧MITF和对侧MITF传输至图3的同侧滤波单元122a和对侧滤波单元122b以用于同侧滤波和对侧滤波。
在下文中，将参照等式来描述根据本发明的各个示例性实施例的MITF生成方法。在本发明的示例性实施例中，第一侧向指同侧和对侧中的任何一个，而第二侧向指另一个。出于方便起见，即使本发明是在第一侧向指同侧并且第二侧向指对侧的假设下进行描述的，当第一侧向指对侧并且第二侧向指同侧时，也可以按照相同的方式来实施本发明。即，在本发明的等式和示例性实施例中，同侧和对侧可以互换使用。例如，将同侧HRTF除以对侧HRTF以得到同侧MITF的操作可以用将对侧HRTF除以同侧HRTF以得到对侧MITF的操作来替代。
在以下示例性实施例中，通过使用原型传输函数HRTF来生成MITF。然而，根据本发明的示例性实施例，可以使用原型传输函数，而非HRTF，即，另一双耳参数来生成MITF。
(1.MITF方法：有条件的同侧滤波)
根据本发明的第一示例性实施例，当在特定频率索引k中对侧HRTF的值大于同侧HRTF时，可以基于通过将同侧HRTF除以对侧HRTF得到的值来生成MITF。即，当同侧HRTF的幅度和对侧HRTF的幅度由于同侧HRTF的陷波分量而相反时，与ITF的操作相反，将同侧HRTF除以对侧HRTF以防止生成频谱峰值。更具体地，当相对于频率索引k，同侧HRTF为H_I(k)，对侧HRTF为H_C(k)，同侧MITF为M_I(k)，并且对侧MITF为M_C(k)时，可以生成同侧MITF和对侧MITF，如以下等式2所表示的。
[等式2]
如果(H_I(k)＜H_C(k))
M_I(k)＝H_I(k)/H_C(k)
M_C(k)＝1
否则
M_I(k)＝1
M_C(k)＝H_C(k)/H_I(k)
即，根据第一示例性实施例，当在特定频率索引k中(即，在陷波区域中)H_I(k)的值小于H_C(k)的值时，将M_I(k)确定为通过将H_I(k)除以H_C(k)得到的值，并且将M_C(k)的值确定为1。相反，当H_I(k)的值不小于H_C(k)的值时，将M_I(k)的值确定为1，并且将M_C(k)的值确定为通过将H_C(k)除以H_I(k)得到的值。
(2.MITF方法：切割(cutting))
根据本发明的第二示例性实施例，当在特定频率索引k中作为ITF的分母的HRTF，即，同侧HRTF，具有陷波分量时，可以将在该频率索引k中的同侧MITF和对侧MITF的值设置为1(即，0dB)。从数学上表达MITF生成方法的第二示例性实施例，如以下等式3所表示的。
[等式3]
如果(H_I(k)＜H_C(k))
M_I(k)＝1
M_C(k)＝1
否则
M_I(k)＝1
M_C(k)＝H_C(k)/H_I(k)
即，根据第二示例性实施例，当在特定频率索引k中(即，在陷波区域中)H_I(k)的值小于H_C(k)的值时，将M_I(k)和M_C(k)的值确定为1。相反，当H_I(k)的值不小于H_C(k)的值时，可以分别将同侧MITF和对侧MITF设置为与同侧ITF和对侧ITF相同。即，将MITF M_I(k)的值确定为1，并且将M_C(k)的值确定为通过将H_C(k)除以H_I(k)得到的值。
(3.MITF方法：缩放)
根据本发明的第三示例性实施例，将权重反映到具有陷波分量的HRTF以减小陷波的深度。为了将大于1的权重反映到作为ITF的分母的HRTF的陷波分量中，即，同侧HRTF的陷波分量，可以应用加权函数w(k)，如等式4所表示的。
[等式4]
如果(H_I(k)＜H_C(k))
M_I(k)＝1
M_C(k)＝H_C(k)/(w(k)＊H_I(k))
否则
M_I(k)＝1
M_C(k)＝H_C(k)/H_I(k)
此处，符号*表示乘法。即，根据第三示例性实施例，当在特定频率索引k中(即，在陷波区域中)H_I(k)的值小于H_C(k)的值时，将M_I(k)确定为1，并且将M_C(k)的值确定为通过将H_C(k)除以w(k)和H_I(k)的乘积得到的值。相反，当H_I(k)的值不小于H_C(k)的值时，将M_I(k)的值确定为1，并且将M_C(k)的值确定为通过将H_C(k)除以H_I(k)得到的值。即，当H_I(k)的值小于H_C(k)的值时，应用加权函数w(k)。根据示例性实施例，将加权函数w(k)设置为随着同侧HRTF的陷波深度变得更大(即，随着同侧HRTF的值变得更小)而具有更大的值。根据另一示例性实施例，可以将加权函数w(k)设置为随着同侧HRTF的值与对侧HRTF的值之间的差异变得更大而具有更大的值。
第一、第二和第三示例性实施例的条件可以扩展到在特定频率索引k中H_I(k)的值小于H_C(k)的值的预定比率α的情况。即，当H_I(k)的值小于α*H_C(k)的值时，可以基于在各个示例性实施例中的条件等式中的等式来生成同侧MITF和对侧MITF。相反，当H_I(k)的值不小于α*H_C(k)的值时，可以将同侧MITF和对侧MITF设置为与同侧ITF和对侧ITF相同。进一步地，第一、第二和第三示例性实施例的条件部分可以用于仅限于特定的频带，并且根据该频带，可以将不同的值应用于预定比率α。
(4.1.MITF方法：陷波分离)
根据本发明的第四示例性实施例，将HRTF的陷波分量分离，并且基于分离的陷波分量来生成MITF。图5是图示根据本发明的第四示例性实施例的MITF生成方法的示意图。MITF生成单元220-1可以进一步包括HRTF分离单元222和标准化单元224。HRTF分离单元222将原型传输函数，即，HRTF，分成HRTF包络分量和HRTF陷波分量。
根据本发明的示例性实施例，HRTF分离单元222将作为ITF的分母的HRTF，即，同侧HRTF，分为HRTF包络分量和HRTF陷波分量，并且可以基于分离的同侧HRTF包络分量和同侧HRTF陷波分量来生成MITF。从数学上表达MITF生成方法的第四示例性实施例，如以下等式5所表示的。
[等式5]
M_I(k)＝H_I_notch(k)
M_C(k)＝H_C_notch(k)＊H_C_env(k)/H_I_env(k)
此处，k指示频率索引，H_I_notch(k)指示同侧HRTF陷波分量，H_I_env(k)指示同侧HRTF包络分量，H_C_notch(k)指示对侧HRTF陷波分量，并且H_C_env(k)指示对侧HRTF包络分量。符号*指乘法，并且H_C_notch(k)*H_C_env(k)可以用未分离的对侧HRTF H_C(k)来替代。
即，根据第四示例性实施例，将M_I(k)确定为从同侧HRTF提取的陷波分量H_I_notch(k)的值，并且将M_C(k)确定为通过将对侧HRTF H_C(k)除以从同侧HRTF提取的包络分量H_I_env(k)得到的值。参照图5，HRTF分离单元222从同侧HRTF提取同侧HRTF包络分量，并且输出同侧HRTF的剩余分量，即，陷波分量，作为同侧MITF。进一步地，标准化单元224接收同侧HRTF包络分量和对侧HRTF，并且根据等式5的示例性实施例生成并且输出对侧MITF。
当在外耳的特定位置产生反射时，通常会生成频谱陷波，从而使HRTF的频谱陷波可以极大地有助于识别仰角感知(elevation perception)。通常，陷波的特征在于快速的谱域变化。相反，ITF所代表的双耳线索的特征在于缓慢的谱域变化。因此，根据示例性实施例，HRTF分离单元222通过使用倒频谱或者波插值的同态信号处理来分离HRTF的陷波分量。
例如，HRTF分离单元222执行对同侧HRTF的倒频谱加窗以获得同侧HRTF包络分量。MITF生成单元200将同侧HRTF和对侧HRTF中的每一个除以同侧HRTF包络分量，从而生成同侧MITF，从该同侧MITF可以移除频谱着色。同时，根据本发明的另一示例性实施例，HRTF分离单元222可以通过使用全极点建模、零极点建模、或者群延迟函数来分离HRTF的陷波分量。
同时，根据本发明的另一示例性实施例，将H_I_notch(k)近似为FIR滤波器系数或者IIR滤波器系数，并且将近似的滤波器系数用作双耳渲染的同侧传输函数。即，方向渲染器的同侧滤波单元利用近似的滤波器系数对输入音频信号进行滤波以生成同侧输出信号。
(4.2.MITF方法：陷波分量/使用具有不同高度角的HRTF)
根据本发明的另一示例性实施例，为了生成特定角度的MITF，可以使用具有与输入音频信号的方向不同的方向的HRTF包络分量。例如，MITF生成单元200在水平面(即，高度角为0)上利用HRTF包络分量对另一HRTF对(同侧HRTF和对侧HRTF)进行标准化，以将位于水平面上的传输函数实施成具有平坦频谱的MITF。根据本发明的示例性实施例，可以通过以下等式6的方法来生成MITF。
[等式6]
M_I(k，θ，Φ)＝H_I_notch(k，θ，Φ)
M_C(k，θ，Φ)＝H_C(k，θ，Φ)/H_I_env(k，0，Φ)
此处，k是频率索引，θ是高度角，Φ是方位角。
即，通过从高度角θ和方位角Φ的同侧HRTF提取的陷波分量H_I_notch(k，θ，Φ)来确定高度角θ和方位角Φ的同侧MITF M_I(k，θ，Φ)，并且通过将高度角θ和方位角Φ的对侧HRTF H_C(k，θ，Φ)除以从高度角0和方位角Φ的同侧HRTF提取的包络分量H_I_env(k，0，Φ)得到的值来确定对侧MITF M_C(k，θ，Φ)。根据本发明的另一示例性实施例，可以通过以下等式7的方法来生成MITF。
[等式7]
M_I(k，θ，Φ)＝H_I_(k，θ，Φ)/H_I_env(k，0，Φ)
M_C(k，θ，Φ)＝H_C(k，θ，Φ)/H_I_env(k，0，Φ)
即，通过将高度角θ和方位角Φ的同侧HRTF H_I(k，θ，Φ)除以H_I_env(k，0，Φ)得到的值来确定高度角θ和方位角Φ的同侧MITF M_I(k，θ，Φ)，并且通过将高度角θ和方位角Φ的对侧HRTF H_C(k，θ，Φ)除以H_I_env(k，0，Φ)来确定对侧MITF M_C(k，θ，Φ)。在等式6和7中，举例说明的是，使用具有相同方位角和不同高度角(即，高度角0)的HRTF包络分量来生成MITF。然而，本发明不限于此，并且可以通过使用具有不同方位角和/或不同高度角的HRTF包络分量来生成MITF。
(5.MITF方法：陷波分离2)
根据本发明的第五示例性实施例，可以通过使用由空间/频率轴线表达的波插值来生成MITF。例如，将HRTF分成慢渐变波(SEW)和快渐变波(REW)，该慢渐变波(SEW)和快渐变波(REW)通过高度角/频率轴线或者方位角/频率轴线来三维地表达。在这种情况下，从SEW提取用于双耳渲染的双耳线索(例如，ITF、耳间参数)，并且从REW提取陷波分量。
根据本发明的示例性实施例，方向渲染器通过使用从SEW提取的双耳线索来执行双耳渲染，并且直接将从REW提取的陷波分量应用至各个声道(同侧声道/对侧声道)以抑制音调噪声。为了在空间域/频域的波插值中分离SEW和REW，可以使用同态信号处理、低/高通滤波等方法。
(6.MITF方法：陷波分离3)
根据本发明的第六示例性实施例，在原型传输函数的陷波区域中，使用原型传输函数来进行双耳滤波，并且，在除了陷波区域之外的区域中，可以使用根据上述示例性实施例的MITF来进行双耳滤波。这将通过以下等式8来从数学上表达。
[等式8]
如果k处于陷波区域
M′_I(k)＝H_I(k)
M′_C(k)＝H_C(k)
否则
M′_I(k)＝M_I(k)
M′_C(k)＝M_C(k)
此处，M’_I(k)和M’_C(k)是根据第六示例性实施例的同侧MITF和对侧MITF，并且M_I(k)和M_C(k)是根据上述示例性实施例中任何一个示例性实施例的同侧MITF和对侧MITF。H_I(k)和H_C(k)指示作为原型传输函数的同侧HRTF和对侧HRTF。即，在包括有同侧HRTF的陷波分量的频带的情况下，将同侧HRTF和对侧HRTF分别用作双耳渲染的同侧传输函数和对侧传输函数。进一步地，在不包括同侧HRTF的陷波分量的频带的情况下，将同侧MITF和对侧MITF分别用作双耳渲染的同侧传输函数和对侧传输函数。为了分离陷波区域，如上所述，可以使用全极点建模、零极点建模、群延迟函数等。根据本发明的另一示例性实施例，可以使用诸如低通滤波等平滑技术，以防止由在陷波区域与非陷波区域之间的边界处的突然频谱变化导致的声音质量的降低。
(7.MITF方法：具有低复杂度的陷波分离)
根据本发明的第七示例性实施例，可以通过更简单的操作来处理HRTF分离的剩余分量，即，陷波分量。根据示例性实施例，将HRTF剩余分量近似为FIR滤波器系数或者IIR滤波器系数，并且将近似的滤波器系数用作双耳渲染的同侧和/或对侧传输函数。图6是图示根据本发明的第七示例性实施例的双耳参数生成方法的示意图，并且图7是根据本发明的第七示例性实施例的方向渲染器的框图。
首先，图6图示了根据本发明的示例性实施例的双耳参数生成单元220-2。参照图6，双耳参数生成单元220-2包括HRTF分离单元222a和222b、耳间参数计算单元225和陷波参数化单元226a和226b。根据示例性实施例，可以将双耳参数生成单元220-2用作替代图4和图5的MITF生成单元的配置。
首先，HRTF分离单元222a和222b将输入HRTF分成HRTF包络分量和HRTF剩余分量。第一HRTF生成单元222a接收同侧HRTF，并且将同侧HRTF分为同侧HRTF包络分量和同侧HRTF剩余分量。第二HRTF生成单元222b接收对侧HRTF，并且将对侧HRTF分为对侧HRTF包络分量和对侧HRTF剩余分量。耳间参数计算单元225接收同侧HRTF包络分量和对侧HRTF包络分量，并且通过使用这些分量来生成耳间参数。耳间参数包括耳间电平差(ILD)和耳间时间差(ITD)。在这种情况下，ILD与耳间传输函数的大小对应，并且ITD与耳间传输函数的相位(或者，时域中的时间差)对应。
同时，陷波参数化单元226a和226b接收HRTF剩余分量并且将HRTF剩余分量近似为脉冲响应(IR)滤波器系数。HRTF剩余分量包括HRTF陷波分量，并且IR滤波器包括FIR滤波器和IIR滤波器。第一陷波参数化单元226a接收同侧HRTF剩余分量，并且通过使用该同侧HRTF剩余分量来生成同侧IR滤波器系数。第二陷波参数化单元226b接收对侧HRTF剩余分量，并且通过使用该对侧HRTF剩余分量来生成对侧IR滤波器系数。
如上所述，将由双耳参数生成单元220-2生成的双耳参数传输至方向渲染器。双耳参数包括耳间参数和同侧/对侧IR滤波器系数。在这种情况下，耳间参数至少包括ILD和ITD。
图7是根据本发明的示例性实施例的方向渲染器120-2的框图。参照图7，方向渲染器120-2包括包络滤波单元125和同侧/对侧陷波滤波单元126a和126b。根据示例性实施例，可以将同侧陷波滤波单元126a用作替代图2的同侧滤波单元122a的部件，并且可以将包络滤波单元125和对侧陷波滤波单元126b用作替代图2的对侧滤波单元122b的部件。
首先，包络滤波单元125接收耳间参数，并且基于接收到的耳间参数对输入音频信号进行滤波以反映同侧/对侧包络之间的差异。根据图7的示例性实施例，包络滤波单元125可以执行对侧信号的滤波，但是本发明不限于此。即，根据另一示例性实施例，包络滤波单元125可以执行同侧信号的滤波。当包络滤波单元125执行对侧信号的滤波时，耳间参数可以指示对侧包络相对于同侧包络的相对信息，并且，当包络滤波单元125执行同侧信号的滤波时，耳间参数可以指示同侧包络相对于对侧包络的相对信息。
接下来，陷波滤波单元126a和126b执行同侧/对侧信号的滤波以分别反映同侧/对侧传输函数的陷波。第一陷波滤波单元126a利用同侧IR滤波器系数对输入音频信号进行滤波以生成同侧输出信号。第二陷波滤波单元126b利用对侧IR滤波器系数对经过包络滤波的输入音频信号进行滤波以生成对侧输出信号。即使在图7的示例性实施例中是在陷波滤波之前执行包络滤波，但本发明不限于此。根据本发明的另一示例性实施例，可以在对输入音频信号执行同侧/对侧陷波滤波之后对同侧或者对侧信号执行包络滤波。
如上所述，根据图7的示例性实施例，方向渲染器120-2通过使用同侧陷波滤波单元126a来执行同侧滤波。进一步地，方向渲染器120-2通过使用包络滤波单元125和对侧陷波滤波单元126b来执行对侧滤波。在这种情况下，用于同侧滤波的同侧传输函数包括基于同侧HRTF的陷波分量生成的IR滤波器系数。进一步地，用于对侧滤波的对侧传输函数包括基于对侧HRTF的陷波分量生成的IR滤波器系数和耳间参数。此处，基于同侧HRTF的包络分量和对侧HRTF的包络分量来生成耳间参数。
(8.MITF方法：混合ITF)
根据本发明的第八示例性实施例，可以使用组合有上面提到的ITF和MITF中的两个或者更多个的混合ITF(HITF)。在本发明的示例性实施例中，HITF指示耳间传输函数，在该耳间传输函数中，在至少一个频带中使用的传输函数与另一个频带中使用的传输函数不同。即，可以使用基于在第一频带和第二频带中的不同传输函数生成的同侧传输函数和对侧传输函数。根据本发明的示例性实施例，使用ITF对第一频带进行双耳渲染，并且使用MITF对第二频带进行双耳渲染。
更具体地，在低频带中，两个耳朵的电平差、两个耳朵的相位差等是声像定位的重要因素，并且在高频带中，频谱包络、特定陷波、峰值等是声像定位的重要线索。因此，为了高效地反映出这一点，基于ITF来生成低频带的同侧传输函数和对侧传输函数，并且基于MITF来生成高频带的同侧传输函数和对侧传输函数。这将通过以下等式9来从数学上表达。
[等式9]
如果(k＜C0)
h_I(k)＝I_I(k)
h_C(k)＝I_C(k)
否则
h_I(k)＝M_I(k)
h_C(k)＝M_C(k)
此处，k是频率索引，C0是临界频率索引，h_I(k)和h_C(k)分别是根据本发明的示例性实施例的同侧HITF和对侧HITF。进一步地，I_I(k)和I_C(k)指示同侧ITF和对侧ITF，并且M_I(k)和M_C(k)指示根据上述示例性实施例中任何一个示例性实施例的同侧MITF和对侧MITF。
即，根据本发明的示例性实施例，基于ITF来生成在频率索引低于临界频率索引的第一频带中的同侧传输函数和对侧传输函数，并且基于MITF来生成在频率索引等于或者高于临界频率索引的第二频带中的同侧传输函数和对侧传输函数。根据示例性实施例，临界频率索引C0指示在500Hz与2kHz之间的特定频率。
同时，根据本发明的另一示例性实施例，基于ITF来生成低频带的同侧传输函数和对侧传输函数，基于MITF来生成高频带的同侧传输函数和对侧传输函数，基于ITF和MITF的线性组合来生成在低频带与高频带之间的中间频带的同侧传输函数和对侧传输函数。这将通过以下等式10来从数学上表达。
[等式10]
如果(k＜C1)
h_I(k)＝I_I(k)
h_C(k)＝I_C(k)
否则如果(C1≤k≤C2)
h_I(k)＝g1(k)＊I_I(k)+g2(k)*M_I(k)
h_C(k)＝g1(k)＊I_C(k)+g2(k)＊M_C(k)
否则
h_I(k)＝M_I(k)
h_C(k)＝M_C(k)
此处，C1指示第一临界频率索引，并且C2指示第二临界频率索引。进一步地，g1(k)和g2(k)分别指示在频率索引k中的ITF和MITF的增益。
即，根据本发明的示例性实施例，基于ITF来生成在频率索引低于第一临界频率索引的第一频带中的同侧传输函数和对侧传输函数，并且基于MITF来生成在频率索引高于第二临界频率索引的第二频带中的同侧传输函数和对侧传输函数。进一步地，基于ITF和MITF的线性组合来生成频率索引在第一临界频率索引与第二频率索引之间的第三频带的同侧传输函数和对侧传输函数。然而，本发明不限于此，并且可以基于ITF和MITF的对数组合、样条组合和拉格朗日组合中的至少一个来生成第三频带的同侧传输函数和对侧传输函数。
根据示例性实施例，第一临界频率索引C1指示在500Hz与1kHz之间的特定频率，并且第二临界频率索引C2指示在1kHz与2kHz之间的特定频率。进一步地，为了节约能量，增益g1(k)和g2(k)的平方和的值可以满足g1(k)^2+g2(k)^2＝1。然而，本发明不限于此。
同时，基于ITF生成的传输函数护额基于MITF生成的传输函数可以具有不同的延迟。根据本发明的示例性实施例，当特定频带的同侧/对侧传输函数的延迟与不同频带的同侧/对侧传输函数的延迟不同时，可以进一步对相对于具有长延迟的同侧/对侧传输函数具有短延迟的同侧/对侧传输函数执行延迟补偿。
根据本发明的另一示例性实施例，同侧HRTF和对侧HRTF用于第一频带的同侧传输函数和对侧传输函数，并且基于MITF来生成第二频带的同侧传输函数和对侧传输函数。可替代地，可以基于从各个频带的同侧HRTF和对侧HRTF的ILD、ITD、耳间相位差(IPD)和耳间相关性(IC)中的至少一个提取的信息来生成第一频带的同侧传输函数和对侧传输函数，并且可以基于MITF来生成第二频带的同侧传输函数和对侧传输函数。
根据本发明的另一示例性实施例，基于球状头模型的同侧HRTF和对侧HRTF来生成第一频带的同侧传输函数和对侧传输函数，并且基于测得的同侧HRTF和对侧HRTF来生成第二频带的同侧传输函数和对侧传输函数。根据示例性实施例，可以基于球状头模型的HRTF和测得的HRTF的线性组合、重叠、加窗等来生成在第一频带与第二频带之间的第三频带的同侧传输函数和对侧传输函数。
(9.MITF方法：混合ITF2)
根据本发明的第九示例性实施例，可以使用组合有HRTF、ITF和MITF中的两个或者更多个的混合ITF(HITF)。根据本发明的示例性实施例，为了提高声相定位性能，可以强调特定频带的频谱特性。当使用上述ITF或者MITF时，减少声音源的着色，但是导致也会降低声像定位的性能的折衷现象。因此，为了提高声像定位的性能，需要对同侧/对侧传输函数进行另外的改进。
根据本发明的示例性实施例，基于MITF(或者ITF)来生成主要影响声音源的着色的低频带的同侧传输函数和对侧传输函数，并且基于HRTF来生成主要影响声像定位的高频带的同侧传输函数和对侧传输函数。这将通过以下等式11来从数学上表达。
[等式11]
如果(k＜C0)
h_I(k)＝M_I(k)
h_C(k)＝M_C(k)
否则
h_I(k)＝H_I(k)
h_C(k)＝H_C(k)
此处，k是频率索引，C0是临界频率索引，h_I(k)和h_C(k)分别是根据本发明的示例性实施例的同侧HITF和对侧HITF。进一步地，HI_I(k)和H_C(k)指示同侧ITF和对侧ITF，并且M_I(k)和M_C(k)指示根据上述示例性实施例中任何一个示例性实施例的同侧MITF和对侧MITF。
即，根据本发明的示例性实施例，基于MITF来生成在频率索引低于临界频率索引的第一频带中的同侧传输函数和对侧传输函数，并且基于HRTF来生成在频率索引等于或者高于临界频率索引的第二频带中的同侧传输函数和对侧传输函数。根据示例性实施例，临界频率索引C0指示在2kHz与4kHz之间的特定频率，但本发明不限于此。
根据本发明的另一示例性实施例，基于ITF来生成同侧传输函数和对侧传输函数，并且可以将单独的增益应用至高频带的同侧传输函数和对侧传输函数。这将通过以下等式12来从数学上表达。
[等式12]
如果(k＜C0)
h_I(k)＝1
h_C(k)＝H_C(k)/H_I(k)
否则
h_I(k)＝G
h_C(k)＝G＊H_C(k)/H_I(k)
此处，G表示增益。即，根据本发明的另一示例性实施例，基于ITF来生成在频率索引低于临界频率索引的第一频带中的同侧传输函数和对侧传输函数，并且基于通过将ITF乘以预定增益G得到的值来生成在频率索引等于或者高于临界频率索引的第二频带中的同侧传输函数和对侧传输函数。
根据本发明的另一示例性实施例，基于根据上述示例性实施例中任何一个示例性实施例的MITF来生成同侧传输函数和对侧传输函数，并且可以将单独的增益应用至高频带的同侧传输函数和对侧传输函数。这将通过以下等式13来从数学上表达。
[等式13]
如果(k＜C0)
h_I(k)＝M_I(k)
h_C(k)＝M_C(k)
否则
h_I(k)＝G＊M_I(k)
h_C(k)＝G＊M_C(k)
即，根据本发明的另一示例性实施例，基于MITF来生成在频率索引低于临界频率索引的第一频带中的同侧传输函数和对侧传输函数，并且基于通过将MITF乘以预定增益G得到的值来生成在频率索引等于或者高于临界频率索引的第二频带中的同侧传输函数和对侧传输函数。
可以根据各个示例性实施例来生成应用至HITF的增益G。根据示例性实施例，在第二频带中，分别计算具有最大高度角的HRTF幅度的平均值和具有最小高度角的HRTF幅度的平均值，并且基于通过使用这两个平均值之间的差值进行的插值运算来获得增益G。在这种情况下，针对第二频带的各个频率槽，应用不同的增益，从而可以提高增益的分辨率。
同时，为了防止由第一频带与第二频带之间的不连续性导致的失真，可以另外使用在频率轴线处经过平滑处理的增益。根据示例性实施例，可以在未应用增益的第一频带与应用了增益的第二频带之间设置第三频带。将平滑后的增益应用至第三频带的同侧传输函数和对侧传输函数。可以基于线性插值、对数插值、样条插值和拉格朗日插值中的至少一种来生成平滑后的增益。由于平滑后的增益针对各个频率槽具有不同的值，所以可以将平滑的增益表达为G(k)。
根据本发明的另一示例性实施例，可以基于从具有不同高度角的HRTF提取的包络分量来获得增益G。图8是图示应用了根据本发明的另一示例性实施例的增益的MITF生成方法的示意图。参照图8，MITF生成单元220-3包括HRTF分离单元222a和222c、仰角电平差(elevation level difference)(ELD)计算单元223、和标准化单元224。
图8图示MITF生成单元220-3生成具有频率k、高度角θ1和方位角Φ的同侧MITF和对侧MITF的示例性实施例。首先，第一HRTF分离单元222a将具有高度角θ1和方位角Φ的同侧HRTF分为同侧HRTF包络分量和同侧HRTF陷波分量。同时，第二HRTF分离单元222c将具有不同高度角θ2的同侧HRTF分为同侧HRTF包络分量和同侧HRTF陷波分量。θ2是与θ1不同的高度角，并且根据示例性实施例，可以将θ2设置为0度(即，在水平面上的角度)。
ELD计算单元223接收高度角θ1的同侧HRTF包络分量和高度角θ2的同侧HRTF包络分量，并且基于这些包络分量来生成增益G。根据示例性实施例，当根据高度角的变化频率响应未被显著地改变时ELD计算单元223将增益值设置为接近1，并且当频率响应被显著改变时将增益值设置为被放大或者衰减。
MITF生成单元222-3通过使用在ELD计算单元223中生成的增益来生成MITF。等式14表示通过使用生成的增益来生成MITF的示例性实施例。
[等式14]
如果(k＜C0)
M_I(k，θ1，Φ)＝H_I_notch(k，θ1，Φ)
M_C(k，θ1，Φ)＝H_C(k，θ1，Φ)/H_I_env(k，θ1，Φ)
否则
M_I(k，θ1，Φ)＝G＊H_I_notch(k，θ1，Φ)
M_C(k，θ1，Φ)＝G＊H_C(k，θ1，Φ)/H_I_env(k，θ1，Φ)
基于根据等式5的示例性实施例的MITF来生成在频率索引低于临界频率索引的第一频带中的同侧传输函数和对侧传输函数。即，通过从同侧HRTF提取的陷波分量H_I_notch(k，θ1，Φ)来确定高度角为θ1且方位角为Φ的同侧MITF M_I(k,θ1,Φ)，并且通过将对侧HRTF H_C(k,θ1,Φ)除以从同侧HRTF提取的包络分量H_I_env(k,θ1,Φ)得到的值来确定对侧MITF M_C(k,θ1,Φ)。
然而，基于将根据等式5的示例性实施例的MITF乘以增益G得到的值来生成在频率索引等于或者大于临界频率索引的第二频带中的同侧传输函数和对侧传输函数。即，通过将从同侧HRTF提取的陷波分量H_I_notch(k,θ1,Φ)乘以增益G得到的值来确定M_I(k,θ1,Φ)，并且通过将对侧HRTF H_C(k,θ1,Φ)乘以增益G得到的值除以从同侧HRTF提取的包络分量H_I_env(k,θ1,Φ)得到的值，来确定M_C(k,θ1,Φ)。
因此，参照图8，将第一HRTF分离单元222a分离的同侧HRTF陷波分量与增益G相乘，输出作为同侧MITF。进一步地，标准化单元224计算与等式14中表示的同侧HRTF包络分量向相比较的对侧HRTF值，并且将计算得到的值与增益G相乘，输出作为对侧MITF。在这种情况下，增益G是基于具有高度角θ1的同侧HRTF包络分量和具有不同高度角θ2的同侧HRTF包络分量而生成的值。等式15表示生成了增益G的示例性实施例。
[等式15]
G＝H_I_env(k，θ2，Φ)/H_I_env(k，θ1，Φ)
即，可以通过将从高度角为θ1且方位角为Φ的同侧HRTF提取的包络分量H_I_env(k,θ1,Φ)除以从高度角为θ2且方位角为Φ的同侧HRTF提取的包络分量H_I_env(k,θ2,Φ)得到的值，来确定增益G。
同时，在上述示例性实施例中，通过使用具有不同高度角的同侧HRTF的包络分量来生成增益G，但本发明不限于此。即，可以基于具有不同方位角的同侧HRTF的包络分量或者具有不同高度角和不同方位角的同侧HRTF的包络分量来生成增益G。进一步地，不仅可以将增益G应用至HITF，而且还可以应用至ITF、MITF和HRTF中的至少一种。进一步地，不仅可以将增益G应用至特定的频带，诸如，高频带，而且还可以应用至所有频带。
将根据各个示例性实施例的同侧MITF(或者同侧HITF)作为同侧传输函数传输至方向渲染器，并且将对侧MITF(或者对侧HITF)作为对侧传输函数传输至方向渲染器。根据上述示例性实施例，方向渲染器的同侧滤波单元利用同侧MITF(或者同侧HITF)对输入音频信号进行滤波以生成同侧输出信号，并且根据上述示例性实施例，对侧滤波单元利用对侧MITF(或者对侧HITF)对输入音频信号进行滤波以生成对侧输出信号。
在上述示例性实施例中，当同侧MITF或者对侧MITF的值为1时，同侧滤波单元或者对侧滤波单元可以对滤波操作进行旁通处理。在这种情况下，可以在渲染时间处确定是否要对滤波进行旁通处理。然而，根据另一示例性实施例，当提前确定了原型传输函数HRTF时，同侧/对侧滤波单元提前获取关于旁通点(例如，频率索引)的附加信息，并且基于该附加信息来确定是否要在各个点处对滤波进行旁通处理。
同时，在上述示例性实施例和附图中，描述的是同侧滤波单元和对侧滤波单元接收相同的输入音频信号以接收该滤波，但是本发明不限于此。根据本发明的另一示例性实施例，接收执行了预处理的双通信号，作为方向渲染器的输入。例如，接收执行了距离渲染作为预处理步骤的同侧信号d^I和对侧信号d^C，作为方向渲染器的输入。在这种情况下，方向渲染器的同侧滤波单元利用同侧传输函数对接收的同侧信号d^I进行滤波以生成同侧输出信号B^I。进一步地，方向渲染器的对侧滤波单元利用对侧传输函数对接收的对侧信号d^C进行滤波以生成对侧输出信号B^C。
上面已经通过具体的实施例对本发明进行了描述，但是，在不脱离本发明的目的和范围的情况下，本领域的技术人员可以进行修改或者改变。即，虽然本发明已经描述了对音频信号进行双耳渲染的示例性实施例，但是本发明可以被相似地应用并且不仅可以扩展到音频信号，而且还可以扩展到包括视频信号的各种多媒体信号。因此，如果本领域的技术人员可以容易地从本发明的详细说明和示例性实施例推知这一点，那么应该将其解释为包含在本发明的范围内。

Claims (10)

1.一种对输入音频信号执行双耳滤波的音频信号处理设备，所述设备包括：
同侧滤波单元，所述同侧滤波单元被配置为通过同侧传输函数对所述输入音频信号进行滤波以生成同侧输出信号；以及
对侧滤波单元，所述对侧滤波单元被配置为通过对侧传输函数对所述输入音频信号进行滤波以生成对侧输出信号，
其中，第一频带的所述同侧传输函数和所述对侧传输函数是基于耳间传输函数ITF生成的，并且第二频带的所述同侧传输函数和所述对侧传输函数是相对于所述输入音频信号的同侧头相关传输函数HRTF和对侧HRTF，
其中，所述第一频带低于所述第二频带。
2.一种对输入音频信号执行双耳滤波的音频信号处理设备，所述设备包括：
同侧滤波单元，所述同侧滤波单元被配置为通过同侧传输函数对所述输入音频信号进行滤波以生成同侧输出信号；以及
对侧滤波单元，所述对侧滤波单元被配置为通过对侧传输函数对所述输入音频信号进行滤波以生成对侧输出信号，
其中，第一频带的所述同侧传输函数和所述对侧传输函数是基于耳间传输函数ITF生成的，并且第二频带的所述同侧传输函数和所述对侧传输函数是基于修改后的耳间传输函数MITF生成的，并且
其中，所述MITF是通过基于相对于所述输入音频信号的同侧HRTF和对侧HRTF中的至少一个的陷波分量修改所述耳间传输函数ITF而生成的，
其中，所述第一频带低于所述第二频带。
3.根据权利要求2所述的设备，其中，所述第二频带的所述同侧传输函数是基于所述同侧HRTF的陷波分量而生成的，并且所述第二频带的所述对侧传输函数是基于通过将所述对侧HRTF除以所述同侧HRTF的包络分量得到的值而生成的，
其中，所述同侧HRTF的所述包络分量是通过将所述同侧HRTF分为所述同侧HRTF的陷波分量和所述同侧HRTF的所述包络分量而得到的。
4.根据权利要求1或2所述的设备，其中，所述ITF是基于通过将所述对侧HRTF除以所述同侧HRTF得到的值而生成的。
5.根据权利要求1或2所述的设备，其中，所述第一频带的所述同侧传输函数和所述对侧传输函数是基于第一传输函数而生成的，与所述第一频带不同的所述第二频带的所述同侧传输函数和所述对侧传输函数是基于第二传输函数而生成的，并且，在所述第一频带与所述第二频带之间的第三频带中的所述同侧传输函数和所述对侧传输函数是基于所述第一传输函数和所述第二传输函数的线性组合而生成的。
6.一种对输入音频信号执行双耳滤波的音频信号处理方法，所述方法包括：
接收输入音频信号；
通过同侧传输函数对所述输入音频信号进行滤波以生成同侧输出信号；以及
通过对侧传输函数对所述输入音频信号进行滤波以生成对侧输出信号；
其中，第一频带的所述同侧传输函数和所述对侧传输函数是基于耳间传输函数ITF生成的，并且第二频带的所述同侧传输函数和所述对侧传输函数是相对于所述输入音频信号的同侧头相关传输函数HRTF和对侧HRTF，
其中，所述第一频带低于所述第二频带。
7.一种对输入音频信号执行双耳滤波的音频信号处理方法，所述方法包括：
接收输入音频信号；
通过同侧传输函数对所述输入音频信号进行滤波以生成同侧输出信号；以及
通过对侧传输函数对所述输入音频信号进行滤波以生成对侧输出信号；
其中，第一频带的所述同侧传输函数和所述对侧传输函数是基于耳间传输函数ITF生成的，并且第二频带的所述同侧传输函数和所述对侧传输函数是基于修改后的耳间传输函数MITF而生成的，并且
其中，所述MITF是通过基于相对于所述输入音频信号的同侧HRTF和对侧HRTF中的至少一个的陷波分量修改耳间传输函数ITF而生成的，
其中，所述第一频带低于所述第二频带。
8.根据权利要求7所述的方法，其中，所述第二频带的所述同侧传输函数是基于所述同侧HRTF的陷波分量而生成的，并且所述第二频带的所述对侧传输函数是基于通过将所述对侧HRTF除以所述同侧HRTF的包络分量得到的值而生成的，
其中，所述同侧HRTF的包络分量是通过将所述同侧HRTF分为所述同侧HRTF的陷波分量和所述同侧HRTF的所述包络分量而得到的。
9.根据权利要求6或7所述的方法，其中，所述ITF是基于通过将所述对侧HRTF除以所述同侧HRTF得到的值而生成的。
10.根据权利要求6或7所述的方法，其中，所述第一频带的所述同侧传输函数和所述对侧传输函数是基于第一传输函数而生成的，与所述第一频带不同的所述第二频带的所述同侧传输函数和所述对侧传输函数是基于第二传输函数而生成的，并且在所述第一频带与所述第二频带之间的第三频带中的所述同侧传输函数和所述对侧传输函数是基于所述第一传输函数和所述第二传输函数的线性组合而生成的。
CN201580065738.9A 2014-12-04 2015-12-04 用于双耳渲染的音频信号处理设备和方法 Active CN107005778B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20140173420 2014-12-04
KR10-2014-0173420 2014-12-04
KR10-2015-0015566 2015-01-30
KR20150015566 2015-01-30
KR20150116374 2015-08-18
KR10-2015-0116374 2015-08-18
PCT/KR2015/013277 WO2016089180A1 (ko) 2014-12-04 2015-12-04 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
CN107005778A CN107005778A (zh) 2017-08-01
CN107005778B true CN107005778B (zh) 2020-11-27

Family

ID=56092040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580065738.9A Active CN107005778B (zh) 2014-12-04 2015-12-04 用于双耳渲染的音频信号处理设备和方法

Country Status (7)

Country Link
US (1) US9961466B2 (zh)
EP (1) EP3229498B1 (zh)
JP (1) JP6454027B2 (zh)
KR (1) KR101627647B1 (zh)
CN (1) CN107005778B (zh)
ES (1) ES2936834T3 (zh)
WO (1) WO2016089180A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10595150B2 (en) 2016-03-07 2020-03-17 Cirrus Logic, Inc. Method and apparatus for acoustic crosstalk cancellation
US9800990B1 (en) * 2016-06-10 2017-10-24 C Matter Limited Selecting a location to localize binaural sound
JP7039494B2 (ja) * 2016-06-17 2022-03-22 ディーティーエス・インコーポレイテッド 近／遠距離レンダリングを用いた距離パニング
EP3504887B1 (en) * 2016-08-24 2023-05-31 Advanced Bionics AG Systems and methods for facilitating interaural level difference perception by preserving the interaural level difference
GB2556663A (en) * 2016-10-05 2018-06-06 Cirrus Logic Int Semiconductor Ltd Method and apparatus for acoustic crosstalk cancellation
KR102070360B1 (ko) * 2017-09-22 2020-01-29 주식회사 디지소닉 입체음향서비스장치의 구동방법, 그리고 컴퓨터판독가능기록매체
EP3499917A1 (en) * 2017-12-18 2019-06-19 Nokia Technologies Oy Enabling rendering, for consumption by a user, of spatial audio content
US10609504B2 (en) * 2017-12-21 2020-03-31 Gaudi Audio Lab, Inc. Audio signal processing method and apparatus for binaural rendering using phase response characteristics
JP7384162B2 (ja) 2018-08-17 2023-11-21 ソニーグループ株式会社 信号処理装置、信号処理方法、およびプログラム
US11212631B2 (en) 2019-09-16 2021-12-28 Gaudio Lab, Inc. Method for generating binaural signals from stereo signals using upmixing binauralization, and apparatus therefor
CN114503608B (zh) * 2019-09-23 2024-03-01 杜比实验室特许公司 利用变换参数的音频编码/解码
US10841728B1 (en) * 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing
US11337021B2 (en) * 2020-05-22 2022-05-17 Chiba Institute Of Technology Head-related transfer function generator, head-related transfer function generation program, and head-related transfer function generation method
CN113747335A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 音频渲染方法及装置
WO2022075908A1 (en) * 2020-10-06 2022-04-14 Dirac Research Ab Hrtf pre-processing for audio applications
GB2600943A (en) * 2020-11-11 2022-05-18 Sony Interactive Entertainment Inc Audio personalisation method and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442277B1 (en) * 1998-12-22 2002-08-27 Texas Instruments Incorporated Method and apparatus for loudspeaker presentation for positional 3D sound
CN102007780A (zh) * 2008-04-16 2011-04-06 爱立信电话股份有限公司 具有紧密间隔的扬声器的系统中产生3d音频的装置和方法
CN102804814A (zh) * 2010-03-26 2012-11-28 邦及欧路夫森有限公司 多通道声音重放方法和设备
WO2014157975A1 (ko) * 2013-03-29 2014-10-02 삼성전자 주식회사 오디오 장치 및 이의 오디오 제공 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10136497A (ja) * 1996-10-24 1998-05-22 Roland Corp 音像定位装置
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
EP1305975B1 (en) * 2000-06-13 2011-11-23 GN Resound A/S Adaptive microphone array system with preserving binaural cues
JP2003230198A (ja) * 2002-02-01 2003-08-15 Matsushita Electric Ind Co Ltd 音像定位制御装置
CA2621940C (en) * 2005-09-09 2014-07-29 Mcmaster University Method and device for binaural signal enhancement
GB0609248D0 (en) * 2006-05-10 2006-06-21 Leuven K U Res & Dev Binaural noise reduction preserving interaural transfer functions
US8705748B2 (en) * 2007-05-04 2014-04-22 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
KR101526014B1 (ko) * 2009-01-14 2015-06-04 엘지전자 주식회사 다채널 서라운드 스피커 시스템
WO2011045751A1 (en) * 2009-10-12 2011-04-21 Nokia Corporation Multi-way analysis for audio processing
US9185490B2 (en) * 2010-11-12 2015-11-10 Bradley M. Starobin Single enclosure surround sound loudspeaker system and method
WO2013181172A1 (en) * 2012-05-29 2013-12-05 Creative Technology Ltd Stereo widening over arbitrarily-configured loudspeakers
US20160088417A1 (en) * 2013-04-30 2016-03-24 Intellectual Discovery Co., Ltd. Head mounted display and method for providing audio content by using same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442277B1 (en) * 1998-12-22 2002-08-27 Texas Instruments Incorporated Method and apparatus for loudspeaker presentation for positional 3D sound
CN102007780A (zh) * 2008-04-16 2011-04-06 爱立信电话股份有限公司 具有紧密间隔的扬声器的系统中产生3d音频的装置和方法
CN102804814A (zh) * 2010-03-26 2012-11-28 邦及欧路夫森有限公司 多通道声音重放方法和设备
WO2014157975A1 (ko) * 2013-03-29 2014-10-02 삼성전자 주식회사 오디오 장치 및 이의 오디오 제공 방법

Also Published As

Publication number Publication date
KR101627647B1 (ko) 2016-06-07
WO2016089180A1 (ko) 2016-06-09
US20170272882A1 (en) 2017-09-21
EP3229498A4 (en) 2018-09-12
ES2936834T3 (es) 2023-03-22
US9961466B2 (en) 2018-05-01
CN107005778A (zh) 2017-08-01
JP6454027B2 (ja) 2019-01-16
EP3229498A1 (en) 2017-10-11
JP2018502535A (ja) 2018-01-25
EP3229498B1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
CN107005778B (zh) 用于双耳渲染的音频信号处理设备和方法
US9602947B2 (en) Apparatus and a method for processing audio signal to perform binaural rendering
US11622218B2 (en) Method and apparatus for processing multimedia signals
US10469978B2 (en) Audio signal processing method and device
US11195537B2 (en) Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
KR102149214B1 (ko) 위상응답 특성을 이용하는 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
CN108600935B (zh) 音频信号处理方法和设备
JP7038725B2 (ja) オーディオ信号処理方法及び装置
JP5227946B2 (ja) フィルタ適応周波数分解能
KR20180135973A (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
JP2024028527A (ja) 音場関連レンダリング
EP4264963A1 (en) Binaural signal post-processing
US11470435B2 (en) Method and device for processing audio signals using 2-channel stereo speaker
Choi Extension of perceived source width using sound field reproduction systems
CN116615919A (zh) 双耳信号的后处理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant