CN112653985A - 使用2声道立体声扬声器处理音频信号的方法和设备 - Google Patents

使用2声道立体声扬声器处理音频信号的方法和设备 Download PDF

Info

Publication number
CN112653985A
CN112653985A CN202011052559.0A CN202011052559A CN112653985A CN 112653985 A CN112653985 A CN 112653985A CN 202011052559 A CN202011052559 A CN 202011052559A CN 112653985 A CN112653985 A CN 112653985A
Authority
CN
China
Prior art keywords
signal
response
filter
magnitude
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011052559.0A
Other languages
English (en)
Other versions
CN112653985B (zh
Inventor
徐正勋
李泰圭
吴贤午
崔栽成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaudio Lab Inc
Original Assignee
Gaudio Lab Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaudio Lab Inc filed Critical Gaudio Lab Inc
Publication of CN112653985A publication Critical patent/CN112653985A/zh
Application granted granted Critical
Publication of CN112653985B publication Critical patent/CN112653985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

公开了一种音频信号处理设备。音频信号处理设备包括:接收端,该接收端被配置为接收2声道立体声信号;以及处理器,该处理器被配置为处理2声道立体声信号。该处理器被配置为使用空间失真去除滤波器对2声道立体声信号进行滤波,并且将滤波后的2声道立体声信号输出至包括两个或更多个声道的扬声器。空间失真去除滤波器是用于抵消当输出信号从扬声器被发送到收听者时发生的失真的滤波器,并且包括应用于2声道音频信号的同侧信号的同侧滤波器和应用于2声道音频信号的对侧信号的对侧滤波器。

Description

使用2声道立体声扬声器处理音频信号的方法和设备
技术领域
本发明涉及一种用于处理音频信号的方法和设备。具体地,本公开涉及一种用于使用2声道立体声扬声器处理音频信号的方法和设备。
背景技术
3D音频共同指的是一系列信号处理、传输、编码和再现技术,以便通过向由现有的环绕声音频提供的水平面(2D)中的声音场景提供与高度方向相对应的另一个轴来在3维空间中提供逼真的声音。尤其是,为了提供3D音频,即使使用比现有技术更多数量的扬声器或更少数量的扬声器,也需要渲染技术以便在不存在扬声器的虚拟位置处形成声像。
3D音频有望成为与超高清电视(UHDTV)相对应的音频解决方案,并有望被应用于各种领域,例如剧院、个人3DTV、平板电脑、无线通信终端、基于云的游戏等以及车辆中的声音,它们正在演变为高质量的信息娱乐空间。
同时,作为提供给3D音频的声源形式,可能存在基于声道的信号和基于对象的信号。另外,可能存在混合了基于声道的信号和基于对象的信号的形式的声源,并且据此可以向用户提供体验内容的新方式。
双耳渲染是将上述3D音频建模为信号,其被发送到人的两只耳朵。用户可以使用头戴式耳机或耳机通过双耳渲染的2声道音频输出信号来感受立体效果。双耳渲染的具体原理如下。人们总是通过两只耳朵听到声音,并从中识别出声源的位置和方向。因此,一旦将3D音频建模为发送到人的双耳的音频信号的形式,就可以甚至通过2声道音频输出来再现3D音频的立体效果,而无需大量扬声器。该双耳信号也可以通过2声道立体声扬声器输出。
2声道立体声系统相对于其正面具有良好的声像定位效果。但是,在使用2声道立体声系统的情况下,难以提供整体的空间感,因为意图被定位的在侧面和后方的声像全部通过前面立体声系统被再现。特别地,在包括双耳信号或双耳效果的2声道立体声信号的情况下,由于信号在从扬声器发送到收听者的过程中失真,因此难以提供沉浸式的音频体验。
发明内容
技术问题
本公开的实施例的目的是提供使用2声道立体声扬声器处理音频信号的方法和设备。
具体地,本公开的实施例的目的是提供用于使用接收2声道立体声信号的2声道立体声扬声器来处理音频信号的方法和设备。
技术方案
根据本公开的实施例的音频信号处理设备可以包括:接收端,其被配置为接收2声道立体声信号;以及处理器,其被配置为处理所述2声道立体声信号。处理器可以使用空间失真去除滤波器对所述2声道立体声信号进行滤波,并可以将滤波后的2声道立体声信号输出至包括两个或更多个声道的扬声器,并且空间失真去除滤波器可以是用于抵消当所述输出信号从所述扬声器被发送到收听者时发生的失真的滤波器。空间失真去除滤波器可以包括应用于2声道音频信号的同侧信号的同侧滤波器和应用于所述2声道音频信号的对侧信号的对侧滤波器。在所述同侧滤波器和所述对侧滤波器中的至少一个中,所述空间失真去除滤波器的响应的幅度在小于预定值的频带中可以受到限制,并且所述空间失真去除滤波器的响应的幅度在所述预定值或以上的频带中可以不受到限制。
小于预定值的频带可以被划分为多个频带,并且多个频带的各自的响应的幅度的阈值可以彼此不同。
可以将相对较高的值应用于多个频带当中相对较低的频带中的响应的幅度的阈值。
在所述处理器限制所述同侧滤波器和所述对侧滤波器两者的幅度的情况下,所述同侧滤波器的响应的幅度的阈值和所述对侧滤波器的响应的幅度的阈值可以彼此不同。
可以基于所述扬声器中与所述同侧信号相对应的声道的响应的幅度和与所述对侧信号相对应的声道的响应的幅度,确定所述同侧滤波器的响应的幅度的阈值与所述对侧滤波器的响应的幅度的阈值的比率。
在与所述同侧信号相对应的声道的响应的幅度小于与所述对侧信号相对应的声道的响应的幅度的情况下,所述对侧滤波器的响应的幅度的阈值可以被设置为小于所述同侧滤波器的响应的幅度的阈值。
所述同侧滤波器的响应的幅度的阈值与所述对侧滤波器的响应的幅度的阈值的比率可以是所述扬声器中与所述同侧信号相对应的声道的响应的幅度和与所述对侧信号相对应的声道的响应的幅度的比率的倒数。
所述同侧滤波器的响应的幅度的阈值可以小于应用于所述对侧滤波器的响应的幅度的阈值。
处理器可以上混2声道立体声信号,可以将上混的2声道立体声信号分离为相干信号和非相干信号,可以使用空间失真去除滤波器对非相干信号进行滤波,并且可以使用空间失真去除滤波器不对相干信号进行滤波。非相干信号可以是相对于所述上混的2声道音频信号的特定时频段具有等于或大于预定值的互相关系数值的信号。另外,相干信号可以是相对于所述上混的2声道音频信号的特定时频段具有小于所述预定值的互相关系数值的信号。
根据本公开的音频信号处理设备的操作方法可以包括:接收2声道立体声信号;使用空间失真去除滤波器对所述2声道立体声信号进行滤波;以及将滤波后的2声道立体声信号输出到包括两个或更多个声道的扬声器。空间失真去除滤波器可以是用于抵消当所述输出信号从所述扬声器被发送到收听者时发生的失真的滤波器,并且可以包括应用于所述2声道音频信号的同侧信号的同侧滤波器和应用于双耳信号的对侧信号的对侧滤波器。在空间失真去除滤波器中的同侧滤波器和对侧滤波器中的至少一个中,空间失真去除滤波器的响应的幅度可以在小于预定值的频带中受到限制,并且空间失真去除滤波器的响应的幅度可以在所述预定值或以上的频带中不受到限制。
小于预定值的频带可以被划分为多个频带,并且多个频带的各自的响应的幅度的阈值可以彼此不同。
可以将相对较高的值应用于多个频带当中相对较低的频带中的响应的幅度的阈值。
在音频信号处理设备限制同侧滤波器和对侧滤波器两者的幅度的情况下,同侧滤波器的响应的幅度的阈值和对侧滤波器的响应的幅度的阈值可以彼此不同。
可以基于所述扬声器中与所述同侧信号相对应的声道的响应的幅度和与所述对侧信号相对应的声道的响应的幅度,确定所述同侧滤波器的响应的幅度的阈值与所述对侧滤波器的响应的幅度的阈值的比率。
在与所述同侧信号相对应的声道的响应的幅度小于与所述对侧信号相对应的声道的响应的幅度的情况下,所述对侧滤波器的响应的幅度的阈值可以被设置为小于所述同侧滤波器的响应的幅度的阈值。
所述同侧滤波器的响应的幅度的阈值与所述对侧滤波器的响应的幅度的阈值的比率可以是所述扬声器中与所述同侧信号相对应的声道的响应的幅度和与所述对侧信号相对应的声道的响应的幅度的比率的倒数。
同侧滤波器的响应的幅度的阈值可以小于应用于对侧滤波器的响应的幅度的阈值。
该操作方法可以进一步包括:上混所述2声道立体声信号;将所述上混的2声道立体声信号分离为相干信号和非相干信号;使用所述空间失真去除滤波器对所述非相干信号进行滤波;并且使用所述空间失真去除滤波器不对所述相干信号进行滤波。非相干信号可以是相对于所述上混的2声道音频信号的特定时频段具有等于或大于预定值的互相关系数值的信号,并且相干信号可以是相对于所述上混的2声道音频信号的特定时频段具有小于所述预定值的互相关系数值的信号。
有益效果
本公开的实施例提供了用于使用2声道立体声扬声器处理音频信号的方法和设备。
附图说明
图1示出根据本公开的实施例的音频信号处理设备。
图2示出根据本公开的实施例的由音频信号处理设备应用于输入信号的滤波处理。
图3示出根据本公开的实施例的在空间失真去除滤波器的频率响应中响应的幅度受到限制以及不受限制的情况。
图4示出根据本公开实施例的可以连接到音频信号处理设备的扬声器的幅度响应的比率。
具体实施方式
在下文中,将参考附图详细描述本公开的实施例,使得本领域的普通技术人员可以容易地实现本公开。然而,本公开可以以各种形式实现,并且不限于本文描述的实施例。另外,为了使本公开的描述清楚,将从附图中省略与描述无关的元件,并且在整个说明书中,相似的元件将由相似的附图标记表示。
另外,除非另有说明,否则其中部分“包括”特定元件的表述包括其中该部分还包括其他元件的情况,而不一定排除这些其他元件。
图1示出根据本公开的实施例的音频信号处理设备。
根据本公开的实施例的音频信号处理设备100包括渲染器150。渲染器150可以被称为“处理器”。渲染器150可以包括扬声器渲染器151和双耳渲染器153中的至少一个。扬声器渲染器151执行后处理,以输出多声道信号、多对象音频信号和2声道立体声信号(例如,双耳信号)(其通过音频信号处理设备100的接收端输入)中的至少一个。后处理可以包括动态范围控制(DRC)、响度归一化(LN)和峰值限制(PL)中的至少一项。2声道立体声信号可以由音频信号处理设备100生成。具体地,2声道立体声信号可以由双耳渲染器153生成。
双耳渲染器153生成多声道音频信号和多对象音频信号中的至少一个的下混双耳信号。下混后的双耳信号是2声道音频信号,其允许输入声道信号和对象信号中的每个由位于三维的虚拟声源呈现。双耳渲染器153可以接收提供给扬声器渲染器151的音频信号作为输入信号。双耳渲染可以基于双耳房间冲激响应(BRIR)滤波器来执行,并且可以在时域或QMF域中执行。后处理器140可以进一步执行动态范围控制(DRC)、响度归一化(LN)和峰值限制(PL)中的至少一项,将上述描述为双耳渲染的后处理。
如上所述,音频信号处理设备可以通过接收端接收诸如双耳信号的2声道立体声信号,并且可以通过扬声器将其输出。双耳信号可以是模拟被发送到人的双耳的信号的音频信号。具体地,双耳信号可以是通过佩戴在人的耳朵上的麦克风记录的信号、通过安装在虚拟头上的麦克风记录的信号、或者是使用HRIR或BRIR生成的信号。所渲染的2声道立体声信号可以通过空间输出,并且在其从扬声器到收听者的传输期间,空间特性可以反映在空间上。因此,最终传递给收听者的声音可能与创作者的意图不同。为了防止这种情况,音频信号处理设备可以执行滤波以抵消在信号从扬声器发送到收听者的过程中可能反映的失真。具体地,音频信号处理设备可以将滤波器应用于输入信号,所述滤波器被分离为应用于2声道立体声信号的同侧信号的同侧滤波器和应用于2声道立体声信号的对侧信号的对侧滤波器。将参照图2至图4描述由根据本公开的实施例的音频信号处理设备对输入信号执行的滤波。为了便于描述,将由音频信号处理设备应用于输入信号的滤波器称为“空间失真去除滤波器”。另外,在空间失真去除滤波器包括同侧滤波器和对侧滤波器的情况下,将同侧滤波器和对侧滤波器称为“空间失真去除滤波器对”。
图2示出根据本公开的实施例的由音频信号处理设备应用于输入信号的滤波处理。
可以基于扬声器布局、再现空间的特性、扬声器和收听者的位置以及扬声器的特性中的至少一项来产生空间失真去除滤波器。在这种情况下,扬声器布局可以包括扬声器布局中的相应扬声器对之间的角度和扬声器的整体布局中的至少一个。扬声器和收听者的位置可以包括扬声器和收听者的相对位置以及扬声器和收听者之间的距离中的至少一个。另外,扬声器的特性可以包括每个扬声器的频率响应特性。
在立体声扬声器的情况下,可以基于收听者的前面与一对前置扬声器之间的角度以及基于收听者的前面与一对前置扬声器之间的距离来产生空间失真去除滤波器。在音频信号处理设备将理想的空间失真去除滤波器对应用于输入信号的情况下,从音频信号处理设备输出并发送到收听者的声音可以与收听者佩戴耳机时被发送的声音相同。这可以表示为以下等式。为了便于说明,下面的等式将被称为“等式1”。
y=s^(-1)*[s*x]
在等式1中,“x”是输入信号,“s”是从扬声器到收听者的空间冲击响应,而“s^(-1)”是空间失真去除滤波器的冲击响应。“*”表示卷积运算。另外,在输入信号是2声道音频信号的情况下,“s”可以表示为包括s_LL、s_LR、s_RL和s_RR的矩阵,并且每个分量可以在时域或频域中被表示。“s_LL”指示模拟通过空间向左耳传输左信号的滤波器,“s_LR”指示模拟通过空间向右耳传输左信号的滤波器,“s_RL”指示模拟通过空间向左耳传输右信号的滤波器,“s_RR”指示通过空间向右耳传输右信号的滤波器。“s”可以表示如下。
s==[s_LL s_RL;s_LR s_RR]
另外,在“s”是矩阵的情况下,“s^(-1)”可以是逆矩阵或伪逆矩阵。在这种情况下,空间失真去除滤波器对的各个频率响应在特定频带中可能会过度放大增益值。具体地,由于扬声器和收听者所处的空间的特性,表示从扬声器发送到收听者的信号的空间传递函数可能会被衰减或在特定频带中包括陷波。因此,每个空间失真去除滤波器可以包括过度放大的增益值,以补偿其中发生衰减或陷波的频带。因此,与原始信号相比,由空间失真去除滤波器滤波的信号可能包含过度响应变化,并且过度响应变化可能导致输出信号中的音调失真和信号削波。为了防止这种情况,在空间失真去除滤波器对中的每个滤波器的频率响应中,响应的幅度可以被限制使得不超过特定值。将参照图3对此进行描述。
图3示出根据本公开的实施例的在空间失真去除滤波器的频率响应中响应的幅度受到限制以及不受限制的每种情况。
具体地,在图3中,实线示出了在空间失真去除滤波器的频率响应中响应的幅度不受限制的情况,并且虚线示出了在空间失真去除滤波器的频率响应中响应的幅度受到限制的情况。如果响应的幅度在空间失真去除滤波器的频率响应中受到限制,则可以在保持抵消空间失真效果的同时防止音调的过度改变。在这种情况下,在低频带中音频信号处理设备可以不将响应的幅度限制到特定幅度的特定幅度以实现更高的空间失真去除性能。在这种情况下,音频信号处理设备可以基于空间失真去除滤波器的响应的幅度为每个频带设置阈值,并且可以使用针对每个频带设置的阈值来限制滤波器的响应的幅度。特别地,音频信号处理设备可以在较低的频带中设置较高的阈值。
即使环境变化很小,高频带中的空间冲击响应的分量也很容易改变,因此,如果使用空间失真去除滤波器对所有高频带进行滤波,则输出信号的稳定性可能会由于过度纠正而降低。音频信号处理设备可以将空间失真去除滤波器应用于小于特定频率的带中的信号,并且可以绕过特定频率或更高频率的带中的信号而无需对其应用空间失真去除滤波器。通过该实施例,音频信号处理设备能够确保输出信号的稳定性,并且不需要执行额外的操作,从而减少了计算量。
在音频信号处理设备限制空间失真去除滤波器对的频率响应中的响应的幅度的情况下,应用于同侧滤波器的响应的幅度的阈值可能不同于应用于对侧滤波器的响应幅度的阈值。具体地,同侧滤波器的响应的幅度的阈值可以小于对侧滤波器的响应的幅度的阈值。这是由于对侧扬声器所发送的信号的能量小于同侧扬声器所发送的信号的能量的事实。
另外,在音频信号处理设备在空间失真去除滤波器的频率响应中限制响应幅度的情况下,音频信号处理设备可以在大于预定值的频带中限制空间失真去除滤波器的响应的幅度。在这种情况下,音频信号处理设备可以在同侧滤波器和对侧滤波器中的至少一个中,在大于预定值的频带中限制空间失真去除滤波器的响应的幅度。具体地,在音频信号处理设备在空间失真去除滤波器的频率响应中限制响应的幅度的情况下,音频信号处理设备可以为每个频带设置响应的幅度的阈值。在特定实施例中,音频信号处理设备可以将相对较低频带中的频率响应的幅度的阈值设置为大于相对较高频带中的频率响应的幅度的阈值。这是由于低频带中的频率响应对音调影响更大的事实。这些实施例也可以应用于其中使用空间失真去除滤波器对的情况。以下等式表示在其中将空间失真去除滤波器对应用于根据本公开的实施例的音频信号处理设备的情况下的输出信号。为了便于说明,以下等式统称为“等式2”。
l'=alpha_1(l*{同侧滤波器}_L)+alpha_2(r*{对侧滤波器}_L)
r'=alpha_3(l*{对侧滤波器}_R)+alpha_4(r*{同侧滤波器}_R)
在等式2中,“l”和“r”分别表示输入信号的左声道和右声道信号。另外,“alpha_1”至“alpha_4”表示乘以滤波后的信号的增益。“{同侧滤波器}_L,R”表示空间失真去除滤波器对中用于L和R扬声器输入的同侧滤波器,“{对侧滤波器}_L,R”表示空间失真去除滤波器对中用于L和R扬声器输入的对侧滤波器。“l'”和“r'”分别表示输出信号的左声道和右声道。在等式2中,根据扬声器和收听者的位置以及空间的特性,{同侧滤波器}_L={同侧滤波器}_R,并且{对侧滤波器}_L={对侧滤波器}_R。另外,等式2表示在将空间失真去除滤波器对应用于根据本公开的实施例的音频信号处理设备的情况下的时域中的输出信号。可以在频域中而不是在时域中执行相同的处理。
表示通过空间被发送的声音的空间传递函数的响应特性根据频带而变化。在低频下,使用空间的物理特性、声源的位置和收听者的位置来数学计算传递函数的特性很容易。另外,在低频下对空间传递函数的测量引入小的测量误差。另一方面,在高频带中,空间传递函数非常敏感地根据空间的物理特性、声源的位置和收听者的位置变化。在高频下测量空间传递函数的情况下,即使重复进行测量,其特性也可能不一致和不稳定。因此,如果空间失真去除滤波器对高频带中的所有信号进行滤波,则滤波后的信号的鲁棒性可能会劣化。因此,音频信号处理设备可以在预定频率或更大的频带中绕过空间失真去除滤波器。在这种情况下,音频信号处理设备可以在预定频率或更大的频带中将响应的幅度设置为预定值。预定值可以是1。另外,音频信号处理设备可以在预定频率或更大的频带中直接使用空间失真去除滤波器的响应的相位。因此,音频信号处理设备可以保持输出信号的相位的连续性。
在输入信号是2声道音频信号的情况下,音频信号处理设备可以通过将其上混来渲染输入信号。上混信号可以被分类为相干信号和非相干信号。如果相对于2声道音频信号的特定时间-频率点的互相关系数值大于或等于特定值,则该信号可以被视为相干信号。否则,该信号可以被视为非相干信号。由此,音频信号处理设备可以增强立体声音效。具体地,音频信号处理设备可以使用用于声像定位的单独的滤波器即空间失真去除滤波器不对相干信号进行滤波,而可以使用空间失真去除滤波器来对非相干信号进行滤波。在这种情况下,空间失真去除滤波器可以是上述的空间失真去除滤波器对。根据该实施例,音频信号处理设备可以为用户提供改善的空间感觉。
用于输出音频信号的扬声器可能具有不同的频率响应特性。例如,在用户使用配备有立体声扬声器的移动电话的情况下,两个扬声器的频率响应特性可能不同。在这种情况下,由于相应的扬声器所再现的声音通过空间被发送,因此由于空间而导致的失真程度也会变化。
图4示出根据本公开实施例的可以连接到音频信号处理设备的扬声器的幅度响应的比率。
具体地,图4示出对侧扬声器的幅度响应与同侧扬声器的幅度响应的比率。在图4中,实线表示实际测量值的比率,而虚线表示实际测量值的平滑比率。另外,图4中的长短交替的点划线表示能够代替虚线的简化的低通搁架式滤波器的响应。
从扬声器输出的信号在空间中的失真程度可能会根据扬声器的幅度响应而变化。因此,音频信号处理设备可以基于双耳扬声器的声道之间的幅度响应的比率来设置空间失真去除滤波器对中的同侧滤波器的响应的幅度的阈值和对侧滤波器的响应的阈值。具体地,如果双耳扬声器的第一声道的响应的幅度小于其第二声道的响应的幅度,则音频信号处理设备可以将在空间失真去除滤波器对的滤波器当中对应于第二声道的滤波器的响应的幅度的阈值设置为小于在空间失真去除滤波器对的滤波器当中对应于第一声道的滤波器的响应的幅度的阈值。在这种情况下,音频信号处理设备可以将对应于第二扬声器的滤波器的响应的幅度的阈值与对应于第一扬声器的滤波器的响应的幅度的阈值的比率设置为第一扬声器的响应的幅度与第二扬声器的响应的幅度的比率的倒数。例如,在图4中使用的扬声器的情况下,由于在低频带中的同侧扬声器的响应的幅度小于在低频带中的对侧扬声器的响应的幅度,所以在低频带中的对侧滤波器的响应值的阈值与在低频带中的同侧滤波器的响应值的阈值的比率可以被设置为在低频带中的同侧扬声器的响应的幅度与在低频带中的对侧扬声器的响应的幅度的比率。
另外,音频信号处理设备可以基于扬声器的声道的简化的幅度响应来设置阈值。在这种情况下,简化的幅度响应可以是声道的响应当中的搁架式滤波器的响应。如等式1所示,空间失真去除滤波器是空间传递函数的逆函数。空间传递函数可以包括扬声器的输出特性。
因此,可以将基于扬声器的两个声道之间的响应的幅度的比率生成的空间传递函数应用于空间失真去除滤波器。在这种情况下,空间失真去除滤波器可以包括两个或更多个滤波器。即,当限制在等式1的描述中作为“s”的逆函数或逆滤波器矩阵的“s^(-1)”的每个元素的幅度响应时,音频信号处理设备可以将限制s_LL和s_LR的幅度响应的阈值和限制s_RL和s_RR的幅度响应的阈值设置为彼此不同。在这种情况下,音频信号处理设备可以使用四个滤波器的组合和输入信号的组合来生成输出信号。
在上述实施例中,音频信号处理设备可以限制空间失真去除滤波器的响应的幅度。音频信号处理设备可以针对多个频带中的每个频带限制空间失真去除滤波器的响应的幅度。多个频带中的各自的响应的幅度的阈值可以不同。另外,可以将相对较高的值应用于多个频带中的相对较低频带中的响应的幅度的阈值。在这些实施例中,音频信号处理设备可以在小于预定值的频带中限制空间失真去除滤波器的响应的幅度。另外,音频信号处理设备可以限制空间失真去除滤波器对的同侧滤波器和对侧滤波器中的至少一个中的响应的幅度。
具体地,音频信号处理设备可以通过将多频带动态范围控制(DRC)或多频带限制器应用于空间失真去除滤波器来限制空间失真去除滤波器的响应的幅度。更具体地,在音频信号处理设备针对每个频带限制空间失真去除滤波器的响应的幅度的情况下,音频信号处理设备可以向其应用多频带DRC。在这种情况下,音频信号处理设备可以根据频带执行软限制。
具体地,当频带具有较低的频率时,音频信号处理设备可以向空间失真去除滤波器应用较高的增益。另外,在音频信号处理设备将空间失真去除滤波器的响应的幅度限制为相同幅度而与频带无关的情况下,音频信号处理设备可以将多频带限制器应用于空间失真去除滤波器。
如果应用上述实施例,则音频信号处理设备能够去除在其中从扬声器输出的输出信号从扬声器被发送到收听者的过程中可能发生的空间失真。另外,音频信号处理设备能够克服关于其中扬声器被仅布置在前面的空间中的扬声器布置的限制。因此,通过这些实施例,音频信号处理设备能够使2声道立体声信号的效果最大化。
尽管以上描述是基于具有两个声道的双耳音频进行的,但是上述实施例不限于此,并且可以应用于具有双耳效果的2声道立体声信号和具有从多声道音频生成的双耳效果的2声道下混立体声信号。
尽管已经通过上面的特定实施例描述了本公开,但是本领域技术人员可以在不脱离本公开的精神和范围的情况下修改和改变本公开。即,尽管已经关于处理多音频信号的实施例描述了本公开,但是本公开可以以相同的方式应用于并扩展到包括视频信号以及音频信号的各种多媒体信号。因此,本公开所属领域的技术人员从本公开的详细描述和实施例可以容易地推断出的内容应被解释为属于本公开的范围。

Claims (18)

1.一种音频信号处理设备,包括:
接收端,所述接收端被配置为接收2声道立体声信号;和
处理器,所述处理器被配置为处理所述2声道立体声信号,
其中,所述处理器被配置为使用空间失真去除滤波器对所述2声道立体声信号进行滤波,并且将所述滤波后的2声道立体声信号输出至包括两个或更多个声道的扬声器,
其中,所述空间失真去除滤波器被配置为抵消当所述输出信号从所述扬声器被发送到收听者时发生的失真,并且包括应用于2声道音频信号的同侧信号的同侧滤波器和应用于所述2声道音频信号的对侧信号的对侧滤波器,以及
其中,在所述同侧滤波器和所述对侧滤波器中的至少一个中,所述空间失真去除滤波器的响应的幅度在小于预定值的频带中受到限制,并且所述空间失真去除滤波器的响应的幅度在所述预定值或以上的频带中不受到限制。
2.根据权利要求1所述的音频信号处理设备,其中,小于所述预定值的频带被划分为多个频带,并且
其中,所述多个频带的各自的响应的幅度的阈值彼此不同。
3.根据权利要求2所述的音频信号处理设备,其中,相对较高的值被应用于所述多个频带当中的相对较低的频带中的响应的幅度的阈值。
4.根据权利要求1所述的音频信号处理设备,其中,在所述处理器限制所述同侧滤波器和所述对侧滤波器两者的幅度的情况下,所述同侧滤波器的响应的幅度的阈值和所述对侧滤波器的响应的幅度的阈值彼此不同。
5.根据权利要求4所述的音频信号处理设备,其中,基于所述扬声器中与所述同侧信号相对应的声道的响应的幅度和与所述对侧信号相对应的声道的响应的幅度,确定所述同侧滤波器的响应的幅度的阈值与所述对侧滤波器的响应的幅度的阈值的比率。
6.根据权利要求5所述的音频信号处理设备,其中,在与所述同侧信号相对应的声道的所述响应的幅度小于与所述对侧信号相对应的声道的所述响应的幅度的情况下,所述对侧滤波器的所述响应的幅度的阈值被设置为小于所述同侧滤波器的所述响应的幅度的阈值。
7.根据权利要求6所述的音频信号处理设备,其中,所述同侧滤波器的所述响应的幅度的阈值与所述对侧滤波器的所述响应的幅度的阈值的比率是所述扬声器中与所述同侧信号相对应的声道的所述响应的幅度和与所述对侧信号相对应的声道的所述响应的幅度的比率的倒数。
8.根据权利要求4所述的音频信号处理设备,其中,所述同侧滤波器的所述响应的幅度的阈值小于应用于所述对侧滤波器的所述响应的幅度的阈值。
9.根据权利要求1所述的音频信号处理设备,其中,所述处理器被配置为:
上混所述2声道立体声信号,
将所述上混的2声道立体声信号分离为相干信号和非相干信号,
使用所述空间失真去除滤波器对所述非相干信号进行滤波,以及
使用所述空间失真去除滤波器不对所述相干信号进行滤波,
其中,所述非相干信号是相对于所述上混的2声道音频信号的特定时频段具有等于或大于预定值的互相关系数值的信号,以及
其中,所述相干信号是相对于所述上混的2声道音频信号的所述特定时频段具有小于所述预定值的互相关系数值的信号。
10.一种音频信号处理设备的操作方法,所述方法包括:
接收2声道立体声信号;
使用空间失真去除滤波器对所述2声道立体声信号进行滤波;和
将所述滤波后的2声道立体声信号输出至包括两个或更多个声道的扬声器,
其中,所述空间失真去除滤波器被配置为抵消当所述输出信号从所述扬声器被发送到收听者时发生的失真,并且包括应用于2声道音频信号的同侧信号的同侧滤波器和应用于所述2声道音频信号的对侧信号的对侧滤波器,以及
其中,在所述同侧滤波器和所述对侧滤波器中的至少一个中,所述空间失真去除滤波器的响应的幅度在小于预定值的频带中受到限制,并且所述空间失真去除滤波器的响应的幅度在预定值或以上的频带中不受到限制。
11.根据权利要求10所述的操作方法,其中,小于所述预定值的频带被划分为多个频带,并且
其中,所述多个频带的各自的响应的幅度的阈值彼此不同。
12.根据权利要求11所述的操作方法,其中,相对较高的值被应用于所述多个频带当中的相对较低的频带中的响应的幅度的阈值。
13.根据权利要求10所述的操作方法,其中,在所述音频信号处理设备限制所述同侧滤波器和所述对侧滤波器两者的幅度的情况下,所述同侧滤波器的响应的幅度的阈值和所述对侧滤波器的响应的幅度的阈值彼此不同。
14.根据权利要求13所述的操作方法,其中,基于所述扬声器中与所述同侧信号相对应的声道的响应的幅度和与所述对侧信号相对应的声道的响应的幅度,确定所述同侧滤波器的响应的幅度的阈值与所述对侧滤波器的响应的幅度的阈值的比率。
15.根据权利要求14所述的操作方法,其中,在与所述同侧信号相对应的声道的所述响应的幅度小于与所述对侧信号相对应的声道的所述响应的幅度的情况下,所述对侧滤波器的所述响应的幅度的阈值被设置为小于所述同侧滤波器的所述响应的幅度的阈值。
16.根据权利要求15所述的操作方法,其中,所述同侧滤波器的所述响应的幅度的阈值与所述对侧滤波器的所述响应的幅度的阈值的比率是所述扬声器中与所述同侧信号相对应的声道的所述响应的幅度和与所述对侧信号相对应的声道的所述响应的幅度的比率的倒数。
17.根据权利要求13所述的操作方法,其中,所述同侧滤波器的所述响应的幅度的阈值小于应用于所述对侧滤波器的所述响应的幅度的阈值。
18.根据权利要求10所述的操作方法,进一步包括:
上混所述2声道立体声信号,
将所述上混的2声道立体声信号分离为相干信号和非相干信号,
使用所述空间失真去除滤波器对所述非相干信号进行滤波,以及
使用所述空间失真去除滤波器不对所述相干信号进行滤波,
其中,所述非相干信号是相对于所述上混的2声道音频信号的特定时频段具有等于或大于预定值的互相关系数值的信号,以及
其中,所述相干信号是相对于所述上混的2声道音频信号的所述特定时频段具有小于所述预定值的互相关系数值的信号。
CN202011052559.0A 2019-10-10 2020-09-29 使用2声道立体声扬声器处理音频信号的方法和设备 Active CN112653985B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0125518 2019-10-10
KR20190125518 2019-10-10

Publications (2)

Publication Number Publication Date
CN112653985A true CN112653985A (zh) 2021-04-13
CN112653985B CN112653985B (zh) 2022-09-27

Family

ID=75346599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011052559.0A Active CN112653985B (zh) 2019-10-10 2020-09-29 使用2声道立体声扬声器处理音频信号的方法和设备

Country Status (2)

Country Link
US (1) US11470435B2 (zh)
CN (1) CN112653985B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100608025B1 (ko) * 2005-03-03 2006-08-02 삼성전자주식회사 2채널 헤드폰용 입체 음향 생성 방법 및 장치
CN1937854A (zh) * 2005-09-22 2007-03-28 三星电子株式会社 用于再现双声道虚拟声音的装置和方法
US20090086982A1 (en) * 2007-09-28 2009-04-02 Qualcomm Incorporated Crosstalk cancellation for closely spaced speakers
US20130163783A1 (en) * 2011-12-21 2013-06-27 Gregory Burlingame Systems, methods, and apparatus to filter audio
CN103765507A (zh) * 2011-08-17 2014-04-30 弗兰霍菲尔运输应用研究公司 最佳混合矩阵与在空间音频处理中去相关器的使用
CN104396279A (zh) * 2012-03-05 2015-03-04 无线电广播技术研究所有限公司 用于多声道音频信号的下混合的方法和设备
US20190200159A1 (en) * 2017-12-21 2019-06-27 Gaudi Audio Lab, Inc. Audio signal processing method and apparatus for binaural rendering using phase response characteristics
CN110024421A (zh) * 2016-11-23 2019-07-16 瑞典爱立信有限公司 用于自适应控制去相关滤波器的方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5173944A (en) * 1992-01-29 1992-12-22 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Head related transfer function pseudo-stereophony
EP2489206A1 (fr) * 2009-10-12 2012-08-22 France Telecom Traitement de donnees sonores encodees dans un domaine de sous-bandes
WO2017192972A1 (en) * 2016-05-06 2017-11-09 Dts, Inc. Immersive audio reproduction systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100608025B1 (ko) * 2005-03-03 2006-08-02 삼성전자주식회사 2채널 헤드폰용 입체 음향 생성 방법 및 장치
CN1937854A (zh) * 2005-09-22 2007-03-28 三星电子株式会社 用于再现双声道虚拟声音的装置和方法
US20090086982A1 (en) * 2007-09-28 2009-04-02 Qualcomm Incorporated Crosstalk cancellation for closely spaced speakers
CN103765507A (zh) * 2011-08-17 2014-04-30 弗兰霍菲尔运输应用研究公司 最佳混合矩阵与在空间音频处理中去相关器的使用
US20130163783A1 (en) * 2011-12-21 2013-06-27 Gregory Burlingame Systems, methods, and apparatus to filter audio
CN104396279A (zh) * 2012-03-05 2015-03-04 无线电广播技术研究所有限公司 用于多声道音频信号的下混合的方法和设备
CN110024421A (zh) * 2016-11-23 2019-07-16 瑞典爱立信有限公司 用于自适应控制去相关滤波器的方法和装置
US20190200159A1 (en) * 2017-12-21 2019-06-27 Gaudi Audio Lab, Inc. Audio signal processing method and apparatus for binaural rendering using phase response characteristics

Also Published As

Publication number Publication date
US11470435B2 (en) 2022-10-11
CN112653985B (zh) 2022-09-27
US20210112356A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
EP3311593B1 (en) Binaural audio reproduction
CN107005778B (zh) 用于双耳渲染的音频信号处理设备和方法
KR100608025B1 (ko) 2채널 헤드폰용 입체 음향 생성 방법 및 장치
KR102160254B1 (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
US8976972B2 (en) Processing of sound data encoded in a sub-band domain
EP3895451B1 (en) Method and apparatus for processing a stereo signal
CN108632714B (zh) 扬声器的声音处理方法、装置及移动终端
US20050089181A1 (en) Multi-channel audio surround sound from front located loudspeakers
KR20180135973A (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
EP2550813A1 (en) Multichannel sound reproduction method and device
EP3081014A2 (en) Apparatus and method for sound stage enhancement
US8320590B2 (en) Device, method, program, and system for canceling crosstalk when reproducing sound through plurality of speakers arranged around listener
KR102160248B1 (ko) 다채널 음향 신호의 정위 방법 및 장치
WO2014127609A1 (zh) 双声道音频信号处理的方法和装置
WO2011104418A1 (en) Modifying spatial image of a plurality of audio signals
US20170272889A1 (en) Sound reproduction system
US10440495B2 (en) Virtual localization of sound
JP2012129840A (ja) 音響システム、音響信号処理装置および方法、並びに、プログラム
CN109923877B (zh) 对立体声音频信号进行加权的装置和方法
US9794717B2 (en) Audio signal processing apparatus and audio signal processing method
CN112653985B (zh) 使用2声道立体声扬声器处理音频信号的方法和设备
KR100802339B1 (ko) 스테레오 스피커 환경에서 가상 스피커 기술을 사용한입체음향 재생 장치 및 방법
WO2022133128A1 (en) Binaural signal post-processing
JP7332745B2 (ja) 音声処理方法及び音声処理装置
CN117652161A (zh) 用于回放沉浸式音频的音频处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant