CN103262159B - 用于对多声道音频信号进行编码/解码的方法和装置 - Google Patents
用于对多声道音频信号进行编码/解码的方法和装置 Download PDFInfo
- Publication number
- CN103262159B CN103262159B CN201080069465.2A CN201080069465A CN103262159B CN 103262159 B CN103262159 B CN 103262159B CN 201080069465 A CN201080069465 A CN 201080069465A CN 103262159 B CN103262159 B CN 103262159B
- Authority
- CN
- China
- Prior art keywords
- parameter
- audio signal
- channel
- ipd
- channel audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims abstract description 42
- 108091006146 Channels Proteins 0.000 claims description 79
- 239000011159 matrix material Substances 0.000 claims description 74
- 239000002131 composite material Substances 0.000 claims description 33
- 230000004913 activation Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 description 21
- 238000002372 labelling Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 240000006409 Acacia auriculiformis Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
Abstract
用于对多声道音频信号进行编码/解码的方法和装置。用于对多声道音频信号进行解码的方法和装置包括以下步骤:(S41)接收下混音频信号和声道间互相关参数;(S42)从接收到的声道间互相关参数(ICCi)中获得声道间相位差参数(IPDi);(S43)根据获得的声道间相位差参数(IPDi)为接收到的下混信号(SD)计算解码的多声道音频信号。
Description
技术领域
本发明涉及多声道音频信号编码/解码的领域,特别涉及参数空间音频编码/解码(也称为参数多声道音频编码/解码)领域。
背景技术
多声道音频编码是以多声道音频信号空间图像的参数表示的提取和量化为基础。编码器将这些空间参数连同生成的下混信号一起传输到解码器。在解码器中,根据解码的下混信号和接收到的空间参数(包含多声道音频信号的空间信息)重建接收到的多声道音频信号。在空间音频编码中,多声道音频信号的空间图像被捕获到一个空间参数紧集中,此参数紧集可用于从传输的下混信号合成高质量的多声道表示。在编码过程中,从多声道音频输入信号中提取空间参数。这些空间参数通常包括音频声道之间的电平/强度差和音频信道之间的相关性表示,并且可以用极其紧凑的方式表示。生成的下混信号与提取的空间参数一起传输到解码器。可以使用传统的音频编码器将下混信号传送到接收器。而在解码过程中,传输的下混信号将基于接收到的空间参数扩展为高质量的多声道输出信号。由于音频声道的数量减少,空间音频编码提供了极其有效的多声道音频信号表示。
生成的下混信号与提取的空间参数SP由多声道音频编码器通过传输声道传输到多声道音频解码器。多数情况下,传输声道的带宽十分有限,仅允许以极低的比特率传输下混信号和相应的空间参数(SP)。因此,本发明的目的是要节省传输空间参数的带宽,同时不降低由多声道解码器重新构建的多声道音频信号的质量。
发明内容
根据本发明的第一方面,提供对多声道音频信号进行解码的方法,包含以下步骤:
接收下混音频信号和声道间互相关参数,
根据接收的声道间互相关参数获得声道间相位差参数,
根据获得的声道间相位差参数为接收的下混音频信号计算解码的多声道音频信号。
在本发明第一方面的可能实施例中,当接收的声道间互相关参数为负值,将声道间相位差参数的值设为π。
在本发明第一方面的可能实施例中,当接收到IPD激活标记时,声道间相位差参数(IPD)可根据接收到的声道间互相关参数获得。
在本发明第一方面的可能实施例中,用旋转矩阵乘以计算的预矩阵将生成一个综合矩阵,利用综合矩阵计算解码的多声道音频信号。
在本发明第一方面的可能实施例中,根据接收到的声道间互相关参数和接收到的声道电平差参数计算预矩阵。
在本发明第一方面的可能实施例中,旋转矩阵包含的旋转角度可以根据得到的声道间相位差参数和总体相位差参数计算得到。
在替代实施例中,旋转矩阵包含旋转角度可以根据得到的声道间相位差参数和预先确定的角度值计算得到。
在一个实施例中,预先确定的角度值可设为0。
在本发明第一方面的可能实施例中,根据得到的声道间相位差参数和接收到的声道电平差参数计算总体相位差参数。
在本发明第一方面的可能实施例中,计算旋转矩阵之前,对得到的声道间相位差参数进行平滑处理。
在本发明第一方面的可能实施例中,使用解相关滤波器对接收到的下混音频信号进行解相关,从而提供解相关的音频信号。
在本发明第一方面的其他可能实施例中,用生成的综合矩阵乘以下混音频信号和解相关的音频信号,以计算解码的多声道音频信号。
在本发明第一方面的可能实施例中,接收每个频带(b)的声道间互相关参数。
在本发明第一方面的实施例中,IPD激活标记每一帧传输一次。
在本发明第一方面的实施例中,为每个频带都传输IPD激活标记。
在本发明第一方面的可能实施例中,根据每个频带的各自声道间互相关参数得到相应的声道间相位差参数,然后计算解码的多声道音频信号。
在本发明第一方面的可能实施例中,为计算解码的多声道音频信号,将用旋转矩阵乘以计算的预矩阵,从而生成一个综合矩阵。
在本发明第一方面的可能实施例中,根据各自接收到的声道间互相关参数和接收到的频带声道电平差参数为每个频带计算预矩阵。
根据本发明的第二方面,提供一种多声道音频解码器用于对多声道音频信号进行解码,所述多声道音频解码器包括:
一个接收器单元,用于接收下混音频信号和声道间互相关参数;
一个获得单元,用于从接收的声道间互相关参数中获得声道间相位差参数;以及
一个计算单元,用于根据获得的声道间相位差参数计算解码的多声道音频信号。
在本发明第二方面的可能实施例中,解码的多声道音频信号被输出到与所述多声道音频解码器连接的至少一个多声道音频设备中,其中,此多声道音频设备为所述的多声道音频信号的每一个音频信号设置一个声换能器。
在可能的实施例中,此声换能器是一个耳机。
在其他可能的实施例中,所述声换能器由一个扬声器构成。
在本发明第二方面的可能实施例中,与多声道音频解码器连接的多声道音频设备是一个移动终端。
在多声道音频解码器第二方面的替代实施例中,与多声道音频解码器连接的多声道音频设备是一个多声道音频装置。
在本发明第二方面的其他实施形式中,多声道解码器适合于执行遵从第一个方面的任何实施形式的方法。
根据本发明的第三方面,提供对多声道音频信号进行编码的方法,所述方法包含以下步骤:
为多声道音频信号生成下混音频信号;
从多声道音频信号提取空间参数,空间参数包括一个声道间互相关参数和一个一般电平差参数;
提供或调整IPD激活标记并与提取的空间参数一起传输,IPD激活标记用以指示隐含的声道间相位差参数(IPD)的传输,并用于控制声道间相位差参数(IPD)。依赖于IPD激活标记,可以由一个解码器(例如)根据声道间互相关参数获得声道间相位差参数(IPD);也可以由一个解码器(例如)利用声道间相位差参数(IPD)为传输的下混音频信号计算解码的多声道音频信号。
根据本发明的第四方面,提供一种多声道音频编码器用于对多声道音频信号进行编码,所述多声道音频编码器包括:
一个下混信号生成单元,用于生成多声道音频信号的下混音频信号;和
一个空间参数提取单元,用于从所述多声道音频信号中提取空间参数,该空间参数包括一个声道间互相关参数和一个声道电平差参数,并提供一个与提取的空间参数一起传输的可调整IPD激活标记,从而指示隐含的声道间相位差参数(IPD)的传输并用于控制声道间相位差参数(IPD)。依赖于IPD激活标记,可以由一个解码器(例如)根据声道间互相关参数获得声道间相位差参数(IPD);也可以由一个解码器(例如)利用声道间相位差参数(IPD)为传输的下混音频信号计算解码的多声道音频信号。
在本发明第四方面的其他实施形式中,多声道解码器适合于执行遵从第三方面的任何实施形式的方法。
第一至第四方面的实施形式可能包括立体声信号作为多声道音频信号,立体声信号包括左声道信号和右声道信号。
本发明其他方面的可能实施例将参考随附图形如下所述。
附图说明
图1为根据本发明一个方面得出的多声道音频系统的示意性框图,包括一个多声道音频编码器(例如,空间多声道音频编码器)和一个多声道音频解码器(例如,空间多声道解码器)。
图2为根据本发明一个方面得出的多声道音频编码器(例如,空间多声道音频编码器)的实现方式的示意性框图。
图3为根据本发明一个方面得出的多声道音频信号编码方法的可能实施例的示意性流程图。
图4为根据本发明一个方面得出的对多声道音频信号进行解码的示意性流程图;
图5为根据本发明一个方面得出的多声道音频解码器(例如,空间多声道解码器)的可能实施例的示意性框图。
图6为根据本发明一个方面得出的多声道音频信号解码方法的可能实施例的详细流程图。
图7为根据本发明一个方面得出的多声道音频解码器(例如,空间多声道解码器,用于对多声道音频信号进行解码)的其他可能实施例的框图。
图8为根据本发明一个方面得出的多声道音频信号解码方法的可能实施例的详细流程图。
图9为根据本发明其他方面得出的处理多声道音频解码器提供的解码的多声道音频信号的可能实施例的示意性框图。
具体实施方式
图1为音频系统1的概述,显示根据本发明一个方面得出的至少一个多声道音频编码器2和一个多声道音频解码器3,其中,多声道音频编码器2和多声道音频解码器3通过传输声道4连接。从图1可以看出,多声道音频编码器2将接收多声道音频信号S。多声道音频编码器2包括一个下混信号生成单元,用于为接收到的多声道音频信号S生成下混信号SD;和一个空间参数提取单元,用于提取空间参数SP。
在可能的实施例中,空间参数提取单元将率先处理多声道输入音频信号S,之后分别对提取的空间参数SP进行编码,同时可以使用音频编码器对生成的下混信号SD进行编码。
在可能的实施例中,音频编码器提供的音频比特流和空间参数提取单元提供的比特流可以合为一个单输出比特流,并通过传输声道4传输到远端的多声道音频解码器3。图1显示的多声道音频解码器3基本上执行相反流程。接收到的多声道参数SP是从音频信号的输入比特流中分离出来的,用于为通过多声道音频解码器3接收到的下混音频信号计算解码的多声道音频信号S′。
在可能的实施例中,多声道音频解码器3利用比特流解复用器对接收到的下混信号数据和接收到的空间参数数据进行分离。接收到的下混音频信号可以通过音频解码器进行解码,然后进入空间合成阶段,根据解码的空间参数SP执行合成。因此,先在编码器端估算空间参数SP,然后作为时间和频率的函数提供给解码器端。多声道音频编码器2和多声道音频解码器3都可以包括滤波器组的变换,生成单个时间/频率分片。
在可能的实施例中,多声道音频编码器2可以接收具有预定采样率的多声道音频信号S。输入音频信号将使用预定长度的重叠帧进行分段。在可能的实施中,每个分段之后将通过FFT变换为频域。频域信号将分为多个非重叠子频带,每个子频带在中心频率fc周围都拥有预定带宽BW。对于每个频带b,可以通过多声道音频编码器2的空间参数提取单元计算空间参数SP。
图2显示了如图1所示的多声道音频编码器2的可能实施例。同样从图2中可以看出,在所示实施例中,多声道音频编码器2包括一个空间参数提取单元2A和一个下混信号生成单元2B。接收到的多声道音频信号S包括多个音频声道Si,可以被空间参数提取单元2A与下混信号生成单元2B所使用。空间参数提取单元2A将为每个频带b提取一系列空间参数SP,包括所示实施例中的声道间互相关参数ICCi和声道电平差参数CLDi。在可能的实施例中,空间参数提取单元2A还可以提供与提取的空间参数SP一起传输的IPD激活标记,用于控制多声道音频解码器3利用接收到的声道间相位差参数IPD,为多声道音频解码器3接收到的下混音频信号SD计算解码的多声道音频信号S’。空间参数提取单元2A提供的声道间相干/互相关参数ICC表示多声道音频信号S的两个输入音频声道之间的相干性或互相关性。在可能的实施例中,空间参数提取单元2A根据如下公式计算声道间相干/互相关参数ICC:
其中,K是频率子带的索引,b是参数带的索引,kb是频带b的起始子带,X1和X2分别是两个输入音频声道的频谱。在本实施例中,ICC参数可以取-1到+1之间的值。在替代实施例中,参数提取单元2A可以根据以下公式计算ICC参数:
在实施中,ICC参数只能取0到1范围之间的值。
在可能的实施例中,ICC参数会在全带宽立体声音频信号中提取。在这种情况下,只会为每个帧传输一个ICC参数,表示两个输入信号的相关性。可以在全带音频信号(例如,时间域)中执行ICC提取。
在多声道音频编码器2的实施例中,空间参数提取单元2A还计算声道电平差CLD参数,该参数表示两个输入音频声道之间的电平差。在可能的实施例中,使用以下公式计算CLD参数:
其中,k是频率子带的索引,b是参数带的索引,kb是频带b的起始子带,X1和X2分别是第一个和第二个输入音频声道的频谱。
声道间互相关参数ICC指示了信号轨迹之间的相似度。声道间互相关ICC定义为归一化互相关函数的分配值,具有值域在-1至1之间的最大幅度。值为-1意味着信号相同,但具有不同的符号(相位翻转)。由两个换能器(如耳机)传输的两个相同信号(ICC=I)被用户感知为相对紧凑的听觉事件。对于噪声,接收到的听觉事件的宽度会随着换能器信号之间的ICC降低而增加,直到感知到不同的两个听觉事件。
声道间电平差CLD指示两个音频信号之间的电平差。声道间电平差有时也被称为耳间电平差,例如左耳和右耳进入信号之间的电平差。
例如,头的背光处会导致左耳和右耳入口的强度差,也称为声道间电平差ILD。例如,如果信号源位于听者左侧,则会导致听者左耳听觉信号的强度高于听者右耳听觉信号的强度。
从图2可以看出,根据所示实施例,多声道音频编码器2的参数提取单元2A只会提取两个空间参数SP,例如声道间互相关参数ICC和声道电平差参数CLD,根据本发明的一个方面,这些参数将通过多声道音频编码器2传输到多声道音频解码器3。因此,在保持通过多声道音频解码器3重新构建的多声道音频信号的质量情况下,传输的空间参数SP的数量达到最小化。根据可能的实施例,由于对于每个频带b,只计算和传输两个空间参数SP,通过传输声道4将空间参数SP传输到多声道音频解码器3所需的带宽非常低。在可能的实施例中,空间参数SP会以低于5kb/sec的低比特率进行传输,而在另一些可能的实施例中,会以低于2kb/sec的比特率进行传输。如同从图2所示的实施例中了解的,空间参数提取单元2A不生成表示两个输入音频声道之间恒定的相位或时间差的声道间相位差参数IPD。但是,由于该声道间相位差参数IPD十分有助于精确合成两个音频声道之间的延迟或采样相位差,因此空间参数提取单元2A将可调整的IPD激活标记IPD-F连同提取的空间参数SP一起传输到多声道音频解码器3,从而在解码器端控制声道间相位差参数IPD,多声道音频解码器3将使用此IPD从接收到的下混音频信号SD中计算解码的多声道音频信号S’。在可能的实施例中,IPD标记只有1比特,占用传输声道4提供的最少部分的带宽。在替代实施例中,如果多声道音频编码器2没有向多声道音频解码器3提供IPD标记IPD-F,则只使用传输的ICC参数在解码端获得IPD参数。在可能的实施例中,会为每个频带b传输IPD标记。
在解码器端,可以为每个频带对传输的ICC参数进行解码。如果ICC的值为负,则可以向比特流添加上混矩阵索引,以选择解码器是否要使用隐式的IPD合成。
下混信号生成单元2B生成下混信号SD。传输的下混信号SD包含输入音频信号S的所有信号分量。下混信号生成单元2B提供下混信号,其中输入音频信号S的每个信号分量全部保留。在可能的实施例中,采用下混技术可对下混信号进行补偿,从而使下混信号中的信号分量功率接近所有输入音频信号中的相应功率。在可能的实施例中,输入音频声道分解为若干子带。在可能的实施例中,每个输入声道的每个子带的信号相加,然后乘以一个因子。子带可以转换回时间域以产生下混信号SD,下混信号生成单元2B将通过传输声道4将此SD传输到多声道音频解码器3。
图3显示了根据本发明其他方面得出的多声道音频信号编码方法的可能实施例的流程图。在第一步S31中,通过下混信号生成器2B为应用的多声道音频信号S生成下混音频信号SD。在第二步S32中,空间参数提取单元2A从应用的多声道音频信号S中提取空间参数SP。针对每个频带b,提取的空间参数SP可以包括一个声道间互相关参数ICC和一个声道电平差参数CLD。在第三步S33中,调整IPD激活标记IPD-F,并将它与提取的空间参数SP一起传输,以获得声道间相位差参数IPD,多声道音频解码器3将使用此IPD从接收到的下混音频信号SD中计算解码的多声道音频信号S。
请注意,图3列出的步骤S31、S32、S33可以如图3所示相继执行,但在其他可能实施例中,多声道音频编码器2也可以并列执行这些步骤。
多声道音频编码器2会通过传输声道4将提取的空间参数SP(在可能的实施例中会连同IPD标记一起)传输到多声道音频解码器3。多声道音频解码器3将根据本发明的其他方面在可能的实施例中执行解码(如图4所示)。如图4所示的流程图,在第一步S41中,接收每个频带b的下混信号SD和声道间互相关参数ICCi。在第二步S42中,从接收到的声道间互相关参数ICCi中获得声道间相位差参数IPDi。在第三步S43中,根据在步骤S42中获得的声道间相位差参数IPDi为接收到的下混音频信号SD计算解码的多声道音频信号S’。在如图4所举例说明的解码方法的可能实施例中,如果接收到的声道间互相关参数ICCi为负值,则在步骤S42中将声道间相位差参数IPDi的值设为π。在可能的其他实施中,在接收到各自频带的IPD激活标记IPD-F时,步骤S42中从接收到的声道间互相关参数ICC中获得声道间相位差参数IPDi。在步骤S43的可能实施例中,为每个频带生成合成矩阵MS。在可能的实施例中,用可调整的旋转矩阵R乘以计算所得的预矩阵MP,即可生成合成矩阵MS。根据各自频带b接收到的ICC参数和各自频带b接收到的声道电平差参数CLD,可以计算每个频带b的预矩阵MP。在可能的实施例中,旋转矩阵R包含的旋转角度θ在步骤S43中根据在步骤S42中获得的声道间相位差参数IPD和总体相位差参数OPD计算得到。在可能的实施例中,总体相位差参数OPD可以根据获得的声道间相位差参数IPD和接收到的声道电平差参数CLD计算得到,如下所示:
θ1=OPD
θ2=OPD-IPD
在替代实施例中,旋转矩阵R的旋转角度θ可根据获得的IPD参数和依据总体相位差参数OPD预先确定的角度值来计算。在可能的实施例中,此预先确定的角度值可以设为0。
在其他实施例中,为了避免切换误差,在计算旋转矩阵R之前,对步骤S42中获得的声道间相位差参数IPD进行平滑处理。
在步骤S43中,首先通过解相关滤波器对接收到的下混音频信号进行解相关,以提供解相关的音频信号D。接着,多声道音频解码器3接收下混音频信号SD,然后在步骤S43中用解相关的音频信号D乘以生成的合成矩阵MS,从而计算解码的多声道音频信号S’。
图5显示了根据本发明其他方面得出的多声道音频解码器3的可能实施例的框图。多声道音频解码器3包括一个接口或一个接收单元3A,用于接收多声道音频编码器2提供的下混音频信号SD和空间参数SP。在所示实施例中,接收到的空间参数SP包括每个频带b的声道间互相关参数ICCi和每个频带b的声道间差分参数CLDi。在所示实施例中,图5所示的多声道音频解码器3包括一个获得单元3B,用于从接收到的声道间互相关参数ICCi获得声道间相位差参数IPDi。在所示实施例中,多声道音频解码器3还包括一个合成矩阵计算单元3C,一个乘法单元3D和一个解相关滤波器3E。在可能的实施例中,合成矩阵计算单元3C和乘法单元3C集成在同一实体中。在可能的实施例中,合成矩阵计算单元将使用ICCi的绝对值来计算合成矩阵MS。多声道音频解码器3中的计算单元,用于根据获得单元3B提供的声道间相位差参数IPD计算解码的多声道音频信号MS(如图5所示)。解码的多声道音频信号S’将通过接口输出到与所述多声道音频解码器3连接的至少一个多声道音频设备。此多声道音频设备可以为计算得出的多声道音频信号S’的每个音频信号配备一个声换能器,此声换能器可以由一个耳机或一个扬声器构成。在可能的实施例中,多声道音频设备可以是一个移动终端,如移动电话。此外,在可能的实施例中,多声道音频设备还可以由一个多声道音频装置构成。
图6所示的流程图举例说明了根据图5所示的实施例多声道音频解码器3执行的可能处理步骤。在第一步S61中,通过接收单元3A输入或接收所述空间参数SP,包括声道间互相关参数ICCi和声道电平差参数CLDi。在第二步S62中,通过IPD获得单元3B估算出各自频带的声道间互相关参数ICCi。如果声道间互相关参数ICC的值为负,则在步骤S63中,通过IPD获得单元3B将声道间相位差参数IPDi的值设为π。相反,如果声道间互相关参数ICCi的值不为负,则在步骤S64中,IPD获得单元3B会将声道间相位差参数设为0。
在步骤S64中,多声道音频解码器3的合成矩阵计算单元3C将根据获得声道间相位差参数IPDi与接收到的声道电平差参数CLDi(步骤S65)计算总体相位差参数OPDi。在可能的实施例中,总体相位差参数OPD的计算方式如下所示:
θ1=OPD
θ2=OPD-IPD
在图6所示的步骤S66中,空间音频解码器3的合成矩阵计算单元3C将根据旋转矩阵R和预矩阵MP计算合成矩阵MS。
在立体声音频信号下混为单声道下混信号SD的特殊实施例中,预矩阵MP的计算方式为:
且 c=10CLD/10 则
合成矩阵计算单元3C采用旋转矩阵R。在立体声音频信号的特殊实施例中,旋转矩阵R的计算方式为:
旋转矩阵
其中θ1=OPDi
θ2=OPDi-IPDi
之后,合成矩阵计算单元3C通过用调整后的旋转矩阵R乘以预矩阵MP计算合成矩阵MS,如下所示:
MS=R·MP
对于立体声音频信号的特殊实施例,合成矩阵MS可以按以下方式计算:
合成矩阵计算单元3C将生成的合成矩阵提供给乘法单元3D使用,乘法单元3D用生成的合成矩阵M乘以下混音频信号SD与解相关的音频信号D,从而计算解码的多声道音频信号S’(如图5所示)。如图5可见,接收到的下混音频信号SD通过解相关滤波器3E进行解相关,得到解相关的音频信号D,此音频信号D将连同接收到的下混音频信号SD一起提供给乘法单元3D使用。
在立体声音频信号的特殊实施例中,解码的多声道音频信号S’可以按以下方式计算:
在此特殊实施例中,只有一个解相关的音频信号D和一个输入的下混信号SD与合成矩阵MS相乘,从而获得合成立体声音频信号S’。
在如图5所示的多声道音频解码器3的可能实施例中,IPD获得单元3B提供的声道间相位差参数IPDi在提供给合成矩阵计算单元3C与调整旋转矩阵R之前,进行平滑和滤波处理。这种平滑确保了在带正ICC的帧与带负ICC的帧之间切换时不会引入误差。
在可能的实施例中,合成矩阵计算单元3C可以按以下方式计算旋转矩阵R的角度θ1和θ2:
θ1=OPD
θ2=OPD-IPD
在替代实施例中,将旋转矩阵R的角度θ1和θ2设为两个相差值为IPD的值:
θ1=θ
θ2=θ-IPDi
在本实施例中,第一个角度θ1不为变量。为简化合成矩阵计算单元3C的处理,角度θ可以为常数,在处理过程中保持不变。在可能的实施例中,角度θ的值选为θ=0。
图7显示了根据本发明其他方面得出的多声道音频解码器3的其他可能实施例。在该实施例中,多声道音频解码器3不仅接收空间参数ICCi和CLDi,还接收IPD激活标记。如图7所示将IPD激活标记IPD-F提供给IPD获得单元3B。在此实施例中,响应与各自频带接收到的IPD激活标记,根据接收到的声道间互相关参数ICCi获得声道间相位差参数IPDi。在图7所示的实施例中,多声道音频解码器3包括一个处理单元3F,用于计算接收到的声道间互相关参数ICCi的绝对值。
图8所示的流程图举例说明了图7所示的多声道音频解码器3的操作。在第一步S81中,多声道音频解码器3的接收单元3A将接收空间参数SP,即声道间互相关参数ICCi和声道电平差参数CLDi。此外,接收单元3A还会从编码器2接收IPD激活标记IPD-F。可以为每个帧或帧内的每个频带传输一次IPD激活标记。
在第二步S82中,确定接收到的声道间互相关参数ICCi的值是否为负,以及是否设定IPD标记。如果是这种情况,步骤S83的操作将继续执行,如图8所示。在步骤S83中,根据处理单元3F提供的接收到的声道间互相关参数ICCi的绝对值计算预矩阵MP。
在第四步S84中,声道间相位差参数IPDi的值设为θ。
在第五步S85中,合成矩阵计算单元3C通过用旋转矩阵R乘以在步骤S83中计算得出的预矩阵MP,计算出合成矩阵MS。合成矩阵计算单元3C计算出合成矩阵MS后,合成矩阵计算单元3C就将计算所得的合成矩阵MS提供给乘法单元3D,然后在步骤S86中,为接收到的下混音频信号SD计算解码的多声道音频信号,方法是用下混音频信号SD和相应的解相关音频信号D乘以生成的合成矩阵MS。
在步骤S82中,检测到提供的声道间互相关参数ICC要么为正要么为负,但并未设定隐式的IPD标记,此流程继续执行步骤S87。在步骤S87中,根据接收到的声道间互相关参数ICCi计算预矩阵MP。在下一步骤S88中,合成矩阵MS设定为计算所得的预矩阵MP,并由合成矩阵计算单元3C提供给乘法单元3D,用于在步骤S86中计算解码的多声道音频信号。
用于对多声道音频信号进行编码和解码的方法和装置可以用于包括大量音频声道的任何多声道音频信号。通常,合成的音频声道可以通过空间音频解码器3获得,如下所示:
其中,m为声道索引,x为解相关版本的下混信号SD的索引。
图9显示了根据本发明其他方面,使用多声道音频解码器3提供的解码的多声道音频信号S′的可能实施例。解码的多声道音频信号S′包括至少两个音频声道S1′和S2′,可以通过有线或无线链路或网络由空间音频解码器3转发到基站5,以及通过无线链路与基站5连接的移动多声道音频设备(MCA)6。此移动多声道音频声道设备6可以由一个移动电话构成。移动多声道音频设备6可以包括耳机7,带有连接到用户头部的耳机7a和7b,如图9所示。
与多声道音频解码器3连接的多声道音频设备还可以由多声道音频装置(MCA)8构成,如图9所示。此多声道音频装置8可以包括若干个扬声器9a、9b、9c、9d和9e,为用户提供音频环绕信号。
使用对多声道音频信号进行编码和解码的方法和装置,可以优化空间参数SP占用的带宽,同时保持重新构建的音频信号的质量。这些装置可以重新产生反转的音频声道,且不会引入人为的解相关信号。此外,还会减少由于从正ICC切换到负ICC和从负ICC切换到正ICC而产生的切换误差。根据隐式的IPD合成器,利用减少的比特率可以提高负ICC信号类型的主观质量。
根据本发明对多声道音频信号进行编码和解码的装置和方法不限于上述实施例,且可以包括许多变体和实施例。所述与多声道音频解码器3和多声道音频编码器2相关的实体可以由硬件或软件模块实施。此外,这些实体还可以集成到其他模块。连接多声道音频编码器2和多声道音频解码器3的传输通道4可以由任何无线或有线链接或网络构成。在可能的实施例中,多声道音频编码器2和多声道音频解码器3可以在装置两端集成,允许双向通信。连接多声道音频编码器2和多声道音频解码器3的网络可以包括移动电话网络、数据网络(如互联网)、卫星网络和广播网络(如广播电视网络)。多声道音频编码器2和多声道音频解码器3可以集成到不同的设备中,特别是移动多声道音频装置(如移动电话)或固定多声道音频装置(如用户的立体声或环绕声装备)。改善的低比特参数编码和解码方法可以更好地表示多声道音频信号,特别是在互相关为负的情况下。根据本发明的一个方面,使用IPD参数可以有效合成音频声道之间的负相关。在本发明中,不传输此IPD参数,而是从其他空间参数SP中获得此IPD参数,从而节省带宽,实现低比特率的数据传输。在可能的实施例中,对隐式IPD标记进行解码,并用于生成合成矩阵MS。使用本发明提供的方法,可以更好地表示含有负ICC的信号,而且可以在更改ICC记号时不产生帧之间的切换产物。本发明提供的方法对于ICC值接近-1的信号特别有效。这种方法可以通过使用隐式IPD合成器来降低负ICC合成器的比特率,并通过仅对负ICC频带应用IPD合成器来提高音频质量。
Claims (16)
1.用于对多声道音频信号进行解码的方法,包括以下步骤:
(a)接收(S41)下混音频信号(SD)和声道间互相关参数(ICCi);
(b)如果接收到IPD激活标记,从接收到的声道间互相关参数(ICCi)中获得所述声道间相位差参数(IPDi);和
(c)根据获得的声道间相位差参数(IPDi)为接收的下混音频信号(SD)计算(S43)解码的多声道音频信号;
其中,IPD激活标记只有1比特。
2.根据权利要求1所述的方法,其中,如果接收到声道间互相关参数(ICCi)为负值,将所述声道间相位差参数(IPDi)的值设为π。
3.根据权利要求1所述的方法,其中,为计算解码的多声道音频信号,用旋转矩阵(R)乘以计算所得的预矩阵(MP),从而生成合成矩阵(MS)。
4.根据权利要求3所述的方法,其中,所述预矩阵是根据接收到的声道间交叉连接参数(ICCi)和接收到的声道电平差参数(CLDi)计算所得。
5.根据权利要求4所述的方法,其中所述旋转矩阵(R)包含旋转角度(θ),旋转角度根据获得的声道间相位差参数(IPDi)和总体相位差参数(OPDi)计算得出,或旋转角度根据获得的声道间相位差参数和预先确定的角度值(θ)计算得出。
6.根据权利要求5所述的方法,其中总体相位差参数(OPDi)是根据获得的声道间相位差参数(IPDi)和接收到的声道电平差参数(CLDi)计算得出。
7.根据权利要求6所述的方法,其中在计算所述旋转矩阵(R)之前,对获得的声道间相位差参数(IPDi)进行平滑处理。
8.根据权利要求7所述的方法,其中,接收到的下混音频信号(SD)使用解相关滤波器进行解相关,从而提供解相关的音频信号(D)。
9.根据权利要求8所述的方法,其中,用生成的合成矩阵(MS)乘以下混音频信号(SD)和解相关的音频信号(D),计算解码的多声道音频信号(S’)。
10.根据权利要求1至9任一项所述的方法,其中,接收每个频带(b)(S41)的声道间互相关参数(ICCi),为每个频带(b)从各自的声道间互相关参数(ICCi)中获得(S42)对应的声道间相位差参数(IPDi),从而计算(S43)解码的多声道音频信号。
11.根据权利要求10所述的方法,其中,接收每个频带(b)的IPD激活标记。
12.用于对多声道音频信号进行解码的音频解码器(3),包含:
(a)一个接收器单元(3A),用于接收下混音频信号(SD)和声道间互相关参数(ICCi);
(b)一个获得单元(3B),用于如果接收到IPD激活标记,从接收到的声道间互相关参数(ICCi)中获得所述声道间相位差参数(IPDi);以及
(c)一个计算单元(3C、3D),用于根据获得的声道间相位差参数(IPDi)计算解码的多声道音频信号(S’);
其中,IPD激活标记只有1比特。
13.根据权利要求12所述的音频解码器,其中,将所述解码的多声道音频信号(S’)输出到至少一个与所述音频解码器(3)连接的多声道音频设备(6;8),其中,针对,所述的多声道音频设备(6;8)为所述多声道音频信号(S’)的每一个音频信号设置一个声换能器,声换能器包括耳机或扬声器。
14.根据权利要求12或13所述的音频解码器,其中,与所述音频解码器(3)连接的所述多声道音频设备(6;8)包括一个移动终端(6)或一个多声道音频装置(8)。
15.用于对多声道音频信号进行编码的方法,包括以下步骤:
(a)为多声道音频信号生成(S31)下混音频信号(SD);
(b)从多声道音频信号提取(S32)空间参数(SP),空间参数(SP)包括一个声道间互相关参数(ICCi)和一个声道电平差参数(CLDi);以及
(c)调整(S33)IPD激活标记并与提取的空间参数(SP)一起传输,以控制声道间相位差参数(IPDi);
其中,IPD激活标记只有1比特。
16.用于对多声道音频信号进行编码的音频编码器(2),包含:
(a)一个下混信号生成单元(2B),用于生成多声道音频信号的下混音频信号(SD);和
(b)一个空间参数提取单元(2A),用于针对每个频带(b)从所述多声道音频信号中提取空间参数(SP),空间参数(SP)包括一个声道间互相关参数(ICCi)和一个声道电平差参数(CLDi),并提供一个与提取的空间参数(SP)一起传输的可调整IPD激活标记,从而控制声道间相位差参数(IPDi),其中,IPD激活标记只有1比特。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2010/077571 WO2012045203A1 (en) | 2010-10-05 | 2010-10-05 | Method and apparatus for encoding/decoding multichannel audio signal |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103262159A CN103262159A (zh) | 2013-08-21 |
CN103262159B true CN103262159B (zh) | 2016-06-08 |
Family
ID=45927192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080069465.2A Active CN103262159B (zh) | 2010-10-05 | 2010-10-05 | 用于对多声道音频信号进行编码/解码的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130230176A1 (zh) |
EP (1) | EP2612322B1 (zh) |
CN (1) | CN103262159B (zh) |
WO (1) | WO2012045203A1 (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140016780A (ko) * | 2012-07-31 | 2014-02-10 | 인텔렉추얼디스커버리 주식회사 | 오디오 신호 처리 방법 및 장치 |
EP2989631A4 (en) * | 2013-04-26 | 2016-12-21 | Nokia Technologies Oy | AUDIO SIGNAL ENCODER |
KR101805327B1 (ko) | 2013-10-21 | 2017-12-05 | 돌비 인터네셔널 에이비 | 오디오 신호들의 파라메트릭 재구성을 위한 역상관기 구조 |
EP3095117B1 (en) | 2014-01-13 | 2018-08-22 | Nokia Technologies Oy | Multi-channel audio signal classifier |
KR102244612B1 (ko) | 2014-04-21 | 2021-04-26 | 삼성전자주식회사 | 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법 |
US9794712B2 (en) | 2014-04-25 | 2017-10-17 | Dolby Laboratories Licensing Corporation | Matrix decomposition for rendering adaptive audio using high definition audio codecs |
US10068577B2 (en) | 2014-04-25 | 2018-09-04 | Dolby Laboratories Licensing Corporation | Audio segmentation based on spatial metadata |
CN104036788B (zh) * | 2014-05-29 | 2016-10-05 | 北京音之邦文化科技有限公司 | 音频文件的音质识别方法及装置 |
CN105227740A (zh) * | 2014-06-23 | 2016-01-06 | 张军 | 一种实现移动终端三维声场听觉效果的方法 |
CN105120421B (zh) * | 2015-08-21 | 2017-06-30 | 北京时代拓灵科技有限公司 | 一种生成虚拟环绕声的方法和装置 |
FR3048808A1 (fr) | 2016-03-10 | 2017-09-15 | Orange | Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal |
CN107452387B (zh) | 2016-05-31 | 2019-11-12 | 华为技术有限公司 | 一种声道间相位差参数的提取方法及装置 |
US10217467B2 (en) | 2016-06-20 | 2019-02-26 | Qualcomm Incorporated | Encoding and decoding of interchannel phase differences between audio signals |
US10631115B2 (en) | 2016-08-31 | 2020-04-21 | Harman International Industries, Incorporated | Loudspeaker light assembly and control |
WO2018045133A1 (en) * | 2016-08-31 | 2018-03-08 | Harman International Industries, Incorporated | Variable acoustics loudspeaker |
EP3651480A4 (en) * | 2017-07-05 | 2020-06-24 | Sony Corporation | SIGNAL PROCESSING DEVICE, METHOD, AND PROGRAM |
CN108495234B (zh) * | 2018-04-19 | 2020-01-07 | 北京微播视界科技有限公司 | 多声道音频处理方法、装置和计算机可读存储介质 |
CN110881164B (zh) * | 2018-09-06 | 2021-01-26 | 宏碁股份有限公司 | 增益动态调节的音效控制方法及音效输出装置 |
CN111615044B (zh) * | 2019-02-25 | 2021-09-14 | 宏碁股份有限公司 | 声音信号的能量分布修正方法及其系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070079943A (ko) * | 2006-02-03 | 2007-08-08 | 한국전자통신연구원 | 멀티채널 오디오 신호 시각화 장치 및 방법 |
KR20080089308A (ko) * | 2007-03-30 | 2008-10-06 | 한국전자통신연구원 | 다채널로 구성된 다객체 오디오 신호의 인코딩 및 디코딩장치 및 방법 |
EP2146341A1 (en) * | 2008-07-15 | 2010-01-20 | LG Electronics Inc. | A method and an apparatus for processing an audio signal |
EP2169666A1 (en) * | 2008-09-25 | 2010-03-31 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006003813A1 (ja) * | 2004-07-02 | 2006-01-12 | Matsushita Electric Industrial Co., Ltd. | オーディオ符号化及び復号化装置 |
WO2007106553A1 (en) * | 2006-03-15 | 2007-09-20 | Dolby Laboratories Licensing Corporation | Binaural rendering using subband filters |
KR101505831B1 (ko) * | 2007-10-30 | 2015-03-26 | 삼성전자주식회사 | 멀티 채널 신호의 부호화/복호화 방법 및 장치 |
EP2144229A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Efficient use of phase information in audio encoding and decoding |
US8258849B2 (en) * | 2008-09-25 | 2012-09-04 | Lg Electronics Inc. | Method and an apparatus for processing a signal |
KR101176703B1 (ko) * | 2008-12-03 | 2012-08-23 | 한국전자통신연구원 | 음원 위치 단서 기반의 멀티 채널 오디오 복호화 장치 및 방법 |
US8666752B2 (en) * | 2009-03-18 | 2014-03-04 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding and decoding multi-channel signal |
-
2010
- 2010-10-05 CN CN201080069465.2A patent/CN103262159B/zh active Active
- 2010-10-05 EP EP10858033.3A patent/EP2612322B1/en not_active Not-in-force
- 2010-10-05 WO PCT/CN2010/077571 patent/WO2012045203A1/en active Application Filing
-
2013
- 2013-04-04 US US13/856,579 patent/US20130230176A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070079943A (ko) * | 2006-02-03 | 2007-08-08 | 한국전자통신연구원 | 멀티채널 오디오 신호 시각화 장치 및 방법 |
KR20080089308A (ko) * | 2007-03-30 | 2008-10-06 | 한국전자통신연구원 | 다채널로 구성된 다객체 오디오 신호의 인코딩 및 디코딩장치 및 방법 |
EP2146341A1 (en) * | 2008-07-15 | 2010-01-20 | LG Electronics Inc. | A method and an apparatus for processing an audio signal |
EP2169666A1 (en) * | 2008-09-25 | 2010-03-31 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
Also Published As
Publication number | Publication date |
---|---|
CN103262159A (zh) | 2013-08-21 |
WO2012045203A1 (en) | 2012-04-12 |
EP2612322A1 (en) | 2013-07-10 |
EP2612322B1 (en) | 2016-05-11 |
US20130230176A1 (en) | 2013-09-05 |
EP2612322A4 (en) | 2013-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103262159B (zh) | 用于对多声道音频信号进行编码/解码的方法和装置 | |
CN102160113B (zh) | 多声道音频编码器和解码器 | |
CN101887726B (zh) | 立体声编码和解码的方法 | |
CN102016983B (zh) | 用于对多个输入数据流进行混合的设备 | |
CN102084418B (zh) | 用于调整多通道音频信号的空间线索信息的设备和方法 | |
CN101675471B (zh) | 用于处理音频信号的方法和装置 | |
CN101010725A (zh) | 多信道信号编码装置以及多信道信号解码装置 | |
CN101485094B (zh) | 最大熵意义下后向兼容多通道音频编码与解码方法和系统 | |
NO343321B1 (no) | Apparat og fremgangsmåte for å kombinere multiple parametrisk kodede audiokilder | |
CN101578654B (zh) | 用于恢复多通道音频信号的设备和方法 | |
CN102138176B (zh) | 信号分析装置、信号控制装置及其方法 | |
US11776552B2 (en) | Methods and apparatus for decoding encoded audio signal(s) | |
CN101556799A (zh) | 一种音频解码方法和音频解码器 | |
EP1779385B1 (en) | Method and apparatus for encoding and decoding multi-channel audio signal using virtual source location information | |
BRPI0706285A2 (pt) | métodos para decodificar um fluxo de bits de áudio envolvente de multicanal paramétrico e para transmitir dados digitais representando som a uma unidade móvel, decodificador envolvente paramétrico para decodificar um fluxo de bits de áudio envolvente de multicanal paramétrico, e, terminal móvel | |
CN104200808A (zh) | 信号处理设备和方法 | |
US20100262421A1 (en) | Encoding device, decoding device, and method thereof | |
JP7439152B2 (ja) | チャネル間位相差パラメータ符号化方法および装置 | |
CN102027535A (zh) | 信号处理 | |
CN103700372A (zh) | 一种基于正交解相关技术的参数立体声编码、解码方法 | |
CN103000179A (zh) | 一种多通道音频编解码系统及其方法 | |
CN104981866A (zh) | 用于确定立体声信号的方法 | |
CN101436407A (zh) | 音频编解码方法 | |
CN102682779B (zh) | 面向3d音频的双声道编解码方法和编解码器 | |
CN102576531B (zh) | 用于处理多信道音频信号的方法、设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210423 Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Patentee after: Honor Device Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |