CN101695150B - 多声道音频编码方法、编码器、解码方法和解码器 - Google Patents
多声道音频编码方法、编码器、解码方法和解码器 Download PDFInfo
- Publication number
- CN101695150B CN101695150B CN2009102357135A CN200910235713A CN101695150B CN 101695150 B CN101695150 B CN 101695150B CN 2009102357135 A CN2009102357135 A CN 2009102357135A CN 200910235713 A CN200910235713 A CN 200910235713A CN 101695150 B CN101695150 B CN 101695150B
- Authority
- CN
- China
- Prior art keywords
- channel signal
- main audio
- signal
- surround
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
本发明公开了一种多声道音频编码方法、编码器、解码方法和解码器，属于音频处理技术领域。该编码方法包括：根据主声道信号对环绕声道信号进行线性预测，得到预测参数，将预测参数加入编码码流；或，根据主声道信号和传输函数对环绕声道信号进行预测，得到预测参数，将预测参数加入编码码流；判别环绕声道信号与中央声道信号之间是否具有相关性，或判别环绕声道信号与左、右主声道信号之间是否具有相关性，如果是，则对预测参数、主声道信号和相关性判别信息进行编码。还公开了一种多声道音频编码器、解码方法和解码器。本发明提高了编解码性能，能在解码端自适应地改变输出的重放声道。
Description
技术领域
本发明涉及音频处理技术领域，特别涉及了一种多声道音频编码方法、编码器、解码方法和解码器。
背景技术
音频(Audio)信号的频率范围从20Hz到20000Hz，音频信号的处理过程，既要考虑其作为信号的特点，尽量保证其不失真，又要考虑人类声学机能对于音频信号的感觉特点，使得对音频信号的处理能够在保证人类听觉感受的前提下尽可能地降低处理的运算量和复杂度。
现有技术中比较成功的多声道音频编解码系统大都采用基于心理声学模型的感觉音频编解码。例如，本领域公知的技术有Dolby AC-3和MPEG AAC(Advanced Audio Coding，先进音频编码)五声道环绕声系统。
在Dolby AC-3和MPEG AAC五声道环绕声系统中，普遍采用了联合编码的声道压缩方法，其中包括强度耦合和Mid/Side(M/S，中/边)立体声编码。对于低频段，使用M/S方法对原始信号的和与差进行编码，用两个新的对称声道代替原始的左、右声道，可以大大的提高编码效率。在高频段(至少2kHz以上)，利用听觉系统主要靠信号包络定位的特点，采用强度耦合编码，只传输耦合声道以及耦合系数，从而降低码率。
在实现本发明的过程中，发明人发现上述现有技术至少具有以下缺点：
现有技术的出发点都是消除声道之间的冗余度，但分析表明它们仅消除了部分冗余信息。目前的环绕声消除冗余的方法主要集中在PC(Pair-Channels，对称声道对)上，而对于NPC(Not-Pair-Channels，非对称声道对)，有一定的消除作用，但是消除的力度不够强。
发明内容
为了提高编解码性能，在解码端自适应地改变输出的重放声道，本发明实施例提供了一种多声道音频编码方法、编码器、解码方法和解码器。所述技术方案如下：
一方面，一种多声道音频编码方法，所述多声道音频至少包括主声道信号和环绕声道信号，其中，所述主声道信号包括左、右主声道信号和中央声道信号，所述环绕声道信号包括左环绕声道信号和右环绕声道信号，所述方法包括：
根据所述主声道信号对所述环绕声道信号进行线性预测，得到预测参数，将所述预测参数加入编码码流；
或，根据所述主声道信号和传输函数对所述环绕声道信号进行预测，得到预测参数，将所述预测参数加入编码码流；
判别所述环绕声道信号与所述中央声道信号之间是否具有相关性，
或判别所述环绕声道信号与所述左、右主声道信号之间是否具有相关性，
如果是，则对所述预测参数、所述主声道信号和相关性判别信息进行编码。
根据所述主声道信号对所述环绕声道信号进行线性预测，得到预测参数，将所述预测参数加入编码码流，具体包括：
A：将所述主声道信号中的至少一个声道信号作为当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将缩放后的当前主声道信号分成左声道信号和右声道信号，将所有所述左声道信号累加、所有所述右声道信号累加，得到预测的左、右环绕声道信号；
B：将所述预测的左环绕声道信号与输入的环绕声道信号做差，所述预测的右环绕声道信号与输入的右环绕声道信号做差，得到预测残差；
C：判断所述预测残差是否小于预设的阈值，如果否，执行步骤D；如果是，执行步骤E；
D：调整所述延迟参数和所述缩放参数，应用调整后的延迟参数和缩放参数执行步骤A；
E：将所述预测残差小于所述阈值时的延迟参数、缩放参数和所述预测残差作为预测参数，将所述预测参数加入编码码流。
根据延迟参数和缩放参数，对至少一个主声道信号进行多次延迟、缩放，将缩放后的主声道信号按照声道的左、右累加，得到预测的左、右环绕声道信号，具体包括：
将中央声道信号、左主声道信号和右主声道信号之一作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的当前主声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有所述左声道信号累加，所有所述右声道累加，得到所述预测的左、右环绕声道信号；或，
将左、右主声道信号作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将所有所述左声道信号累加，所有所述右声道信号累加，得到所述预测的左、右环绕声道信号；或，
将左、右主声道信号和中央声道信号作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将每个缩放后的中央声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有所述左声道信号累加，所有所述右声道信号累加，得到所述预测的左、右环绕声道信号。
根据所述主声道信号和传输函数对所述环绕声道信号进行预测，得到预测参数，将所述预测参数加入编码码流，具体包括：
H：将主声道信号中的至少一个声道信号作为当前主声道信号，根据传输函数，对所述当前主声道信号进行滤波处理，得到预测的左、右环绕声道信号；
I：将所述预测的左环绕声道信号与输入的环绕声道信号做差，所述预测的右环绕声道信号与输入的右环绕声道信号做差，得到预测残差；
J：判断所述预测残差是否小于预设的阈值，如果否，执行步骤K；如果是，执行步骤L；
K：调整所述传输函数，应用调整后的相关函数执行步骤H；
L：将所述预测残差小于所述阈值的传输函数和所述预测残差作为预测参数，将所述预测参数加入编码码流。
判别所述环绕声道信号与所述中央声道信号之间是否具有相关性，或判别所述环绕声道信号与所述左、右主声道信号之间是否具有相关性，如果是，则对所述预测参数、所述主声道信号和相关性判别信息进行编码进一步包括：
如果否，则利用预先经过方位感处理的环绕声道信号和所述多声道信号进行编码。
另一方面，一种多声道音频编码器，所述多声道音频至少包括中央声道信号、主声道信号和环绕声道信号，其中，所述主声道信号包括左、右主声道信号，所述环绕声道信号包括左环绕声道信号和右环绕声道信号，所述编码器包括：
第一预测模块，用于根据所述主声道信号对所述环绕声道信号进行线性预测，得到预测参数，将所述预测参数加入编码码流；
或，
第二预测模块，用于根据所述主声道信号和传输函数对所述环绕声道信号进行预测，得到预测参数，将所述预测参数加入编码码流；
相关性判别模块，用于判别所述环绕声道信号与所述中央声道信号之间是否有相关性，
或判别所述环绕声道信号与所述左、右主声道信号之间是否有相关性；
相关编码模块，用于如果判别所述环绕声道信号与所述中央声道信号之间是否具有相关性，或判别所述环绕声道信号与所述左、右主声道信号之间是否具有相关性，如果是，则对所述预测参数、所述主声道信号和相关性判别信息进行编码。
所述第一预测模块包括：
信号处理单元，用于将所述主声道信号中的至少一个声道信号作为当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将缩放后的当前主声道信号分成左声道信号和右声道信号，将所有所述左声道信号累加、所有所述右声道信号累加，得到预测的左、右环绕声道信号；
第一预测残差单元，用于将所述预测的左环绕声道信号与输入的环绕声道信号做差，所述预测的右环绕声道信号与输入的右环绕声道信号做差，得到预测残差；
第一判断循环单元，用于判断所述预测残差是否小于预设的阈值，如果否，触发第一参数调整单元；如果是，触发第一确定单元；
第一参数调整单元，用于调整所述延迟参数和所述缩放参数，应用调整后的延迟参数和缩放参数触发所述信号处理子单元；
第一确定单元，用于将所述预测残差小于所述阈值时的延迟参数、缩放参数和所述预测残差作为预测参数，将所述预测参数加入编码码流。
所述信号处理单元包括：
第一信号处理子单元，用于将中央声道信号、左主声道信号和右主声道信号之一作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的当前主声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有所述左声道信号累加，所有所述右声道累加，得到所述预测的左、右环绕声道信号；
第二信号处理子单元，用于将左、右主声道信号作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将所有所述左声道信号累加，所有所述右声道信号累加，得到所述预测的左、右环绕声道信号；
第三信号处理子单元，用于将左、右主声道信号和中央声道信号作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将每个缩放后的中央声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有所述左声道信号累加，所有所述右声道信号累加，得到所述预测的左、右环绕声道信号。
所述第二预测模块包括：
滤波单元，用于将主声道信号中的至少一个声道信号作为当前主声道信号，根据传输函数，对所述当前主声道信号进行滤波处理，得到预测的左、右环绕声道信号；
第二预测残差单元，用于将所述预测的左环绕声道信号与输入的环绕声道信号做差，所述预测的右环绕声道信号与输入的右环绕声道信号做差，得到预测残差；
第二判断循环单元，用于判断所述预测残差是否小于预设的阈值，如果否，触发第二参数调整单元；如果是，触发第二确定单元；
第二参数调整单元，用于调整所述传输函数，应用调整后的相关函数触发所述滤波单元；
第二确定单元，用于将所述预测残差小于所述阈值的传输函数和所述预测残差作为预测参数，将所述预测参数加入编码码流。
所述编码器进一步包括：
不相关编码模块，用于如果判别所述环绕声道信号与所述中央声道信号之间不具有相关性，或判别所述环绕声道信号与所述左、右主声道信号之间不具有相关性，则利用预先经过方位感处理的环绕声道信号和所述多声道信号进行编码。
再一方面，一种多声道音频解码方法，所述多声道音频至少包括主声道信号和环绕声道信号，其中，所述主声道信号包括左、右主声道信号和中央声道信号，所述环绕声道信号包括左环绕声道信号和右环绕声道信号，所述方法包括：
判断所述编码码流中是否包含相关性判别信息，如果是，提取所述相关性判别信息；如果否，对所述编码码流进行感觉音频解码；
根据所提取的该相关性判别信息，对编码码流进行解码，形成重放音频信号。
所述形成重放音频信号之前包括对重放声道数要求进行判别。
根据所提取的该相关性判别信息，对编码码流进行解码，形成重放音频信号，具体包括：
判断所述提取的相关性判别信息是否指示环绕声道信号与中央声道信号之间具有相关性，或所述环绕声道信号与左、右主声道信号之间具有相关性，
如果是，从所述编码码流中提取预测参数，利用所述预测参数对所述编码码流进行解码，形成重放音频信号；
如果否，直接对所述编码码流进行解码，形成所述重放音频信号。
从所述编码码流中提取预测参数，利用所述预测参数对所述编码码流进行解码，形成重放音频信号，具体包括：
对所述编码码流进行感觉音频解码，解码出中央声道信号、左、右主声道信号；
利用所述预测参数和所述主声道信号中任意一个声道信号表示左、右环绕声道信号，形成重放音频信号。
从编码码流中提取预测参数，利用预测参数对所述编码码流进行解码，形成重放音频信号之后包括：
如果重放声道数要求为双声道重放，将所述中央声道信号、所述左、右主声道信号、环绕声道信号混合为双声道重放信号进行重放；
如果重放声道数要求为多声道重放，将所述中央声道信号、所述左、右主声道信号、所述环绕声道信号作为多声道重放信号进行重放。
直接对所述编码码流进行解码，形成重放音频信号，具体包括：
对所述编码码流进行感觉音频解码，解码出中央声道信号、左、右主声道信号，形成重放音频信号。
直接对所述编码码流进行解码，形成重放音频信号之后包括：
当重放声道数要求为双声道重放，将中央声道信号直接或以衰减形式混合入左、右主声道信号，形成双声道重放信号进行重放；
当重放声道数要求为多声道重放，对左、右主声道信号进行逆传输函数滤波处理，去除左、右主声道信号中的方位感信息，形成环绕声道信号；
将所述中央声道信号、所述左、右主声道信号、所述环绕声道信号作为多声道重放信号进行重放。
再一方面，一种多声道音频解码器，所述多声道音频至少包括主声道信号和环绕声道信号，其中，所述主声道信号包括左、右主声道信号和中央声道信号，所述环绕声道信号包括左环绕声道信号和右环绕声道信号，所述解码器包括：
判断模块，用于判断所述编码码流中是否包含相关性判别信息，如果是，触发信息提取模块；如果否，触发不相关编码单元；
信息提取模块，用于如果编码码流中包含所述相关性判别信息，提取所述相关性判别信息；
解码模块，用于根据所提取的该相关性判别信息，对所述编码码流进行解码，形成重放音频信号。
所述解码器包括重放声道数判别模块，用于对重放声道数要求进行判别。
所述解码模块具体包括：
相关性判别单元，用于判断提取的相关性判别信息是否指示有关多声道音频中的环绕声道信号与中央声道信号之间具有相关性，或所述环绕声道信号与左、右主声道信号之间具有相关性；
相关解码单元，用于当判断提取的相关性判别信息指示有关多声道音频中的环绕声道信号与中央声道信号之间具有相关性，或所述环绕声道信号与左、右主声道信号之间具有相关性，从编码码流中提取预测参数，利用所述预测参数对所述编码码流进行解码，形成重放音频信号；
不相关解码单元，用于当判断提取的相关性判别信息指示有关多声道音频中的环绕声道信号与中央声道信号之间不具有相关性，或所述环绕声道信号与左、右主声道信号之间不具有相关性，直接对所述编码码流进行解码，形成重放音频信号。
所述相关解码单元具体包括：
第一感觉音频解码子单元，用于对所述编码码流进行感觉音频解码，解码出中央声道信号、左、右主声道信号；
预测解码子单元，用于利用所述预测参数和所述主声道信号中任意一个声道信号表示左、右环绕声道信号，形成重放音频信号。
所述相关解码单元进一步包括：
第一双声道重放子单元，用于如果重放声道数要求为双声道重放，将所述中央声道信号、所述左、右主声道信号、环绕声道信号混合为双声道重放信号进行重放；
第一多声道重放子单元，用于如果重放声道数要求为多声道重放，将所述中央声道信号、所述左、右主声道信号、环绕声道信号作为多声道重放信号进行重放。
所述不相关编码单元具体包括：
第二感觉音频解码子单元，用于对所述编码码流进行感觉音频解码，解码出中央声道信号、左、右主声道信号，形成重放音频信号。
所述不相关解码单元进一步包括：
第二双声道重放子单元，用于当重放声道数要求为双声道重放，将中央声道信号直接或以衰减形式混合入左、右主声道信号，形成双声道重放信号进行重放；
第二多声道重放子单元，用于当重放声道数要求为多声道重放，对左、右主声道信号进行逆传输函数滤波处理，去除左右主声道信号中的方位感信息，形成环绕声道信号；
将所述中央声道信号、所述左、右主声道信号、所述环绕声道信号作为多声道重放信号进行重放。
本发明实施例提供的技术方案的有益效果是：
通过在编码端进行声道间的相关性判别，用主声道对环绕声道进行预测，并利用相关性判别信息和预测参数同主声道一起在编解码时表示环绕声道信号，并在解码端根据相关性判别信息和预测参数进行解码，根据重放声道数要求来自适应地改变输出的重放声道，进一步压缩声道间存在的冗余度，节约了编解码时所需的码流空间，不仅提高了编解码的效率，而且提高了编解码器的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术提供的一种多声道音频编码方法的流程图；
图2是本发明实施例1提供的一种多声道音频解码方法的流程图；
图3是本发明实施例2提供的另一种多声道音频编码方法的流程图；
图4是本发明实施例2提供的一种多声道音频编码方法中线性预测的示意图；
图5是本发明实施例2提供的一种多声道音频编码方法中相关性判别的示意图；
图6是本发明实施例2提供的一种多声道音频编码方法中滤波处理的流程图；
图7是本发明实施例3提供的一种多声道音频编码器的结构示意图；
图8是本发明实施例4提供的一种多声道音频解码方法的流程图；
图9是本发明实施例4提供的一种多声道音频解码方法的流程图；
图10是本发明实施例5提供的一种多声道音频解码器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在现有技术中，参见图1，多声道音频编码为以下工作流程：输入时间信号一方面经过增益控制后进入滤波器组进行分析滤波，另一方面进入听觉模型模块。在听觉模型模块中，选用适当的心理声学模型，以得到SMR等必要的参数。这些得到的参数可作为控制信息用来控制增益控制、滤波器组以及下述的各个编码模块。经过滤波变换后的信号还需要进行TNS处理。接下来进行强度耦合、预测与M/S，即主要的有损压缩编码部分。有损压缩编码需要使用到听觉模型中所得到的必要参数信息。然后，由码率失真与控制过程模块对比例系数(比例因子)和量化器模块进行控制。量化器的输出既可以影响码率失真与控制过程模块，同时又提供了前述的预测模块所需的前帧量化频谱。量化后的信号进行无损编码，即无噪声编码，或Huffman编码，形成最终的压缩数据流。可以通过码率失真与控制过程模块迭代地控制比例系数计算、量化与无噪声编码的过程，以达到压缩的需要。上述各个步骤均将各自的编码参数信息传输到码流格式器中，并按照码流格式的要求与压缩数据流装帧成编码音频流。
为了便于表述，在本发明实施例中将中央声道信号记作C，左、右主声道信号分别记作L、R，左、右环绕声道信号分别记作Ls、Rs。中央声道信号、左、右主声道信号都可以称作主声道。作为环绕声道信号的Ls和Rs，通常是由中央声道C或者左右主声道L、R声道的延时、混响或者部分频率搬移衰落造成的。这也就是说，在某些应用中，环绕声道是可以由主声道生成的。
实施例1
为了提高编解码性能，在解码端自适应地改变输出的重放声道，本发明实施例提供了一种多声道音频编、解码的方法，多声道音频至少包括主声道信号和环绕声道信号，其中，主声道信号包括左、右主声道信号和中央声道信号，环绕声道信号包括左环绕声道信号和右环绕声道信号，参见图2所示，该方法具体包括：
步骤201：根据主声道信号对环绕声道信号进行线性预测，得到预测参数，将预测参数加入编码码流；或，根据主声道信号和传输函数对环绕声道信号进行预测，得到预测参数，将预测参数加入编码码流；
步骤202：判别环绕声道信号与中央声道信号之间是否具有相关性，
或判别环绕声道信号与左、右主声道信号之间是否具有相关性，
如果是，则对预测参数、主声道信号和相关性判别信息进行编码。
本发明实施例通过在编码端进行声道间的相关性判别，用主声道对环绕声道进行预测，并利用相关性判别信息和预测参数同主声道一起在编解码时表示环绕声道信号，并在解码端根据相关性判别信息和预测参数进行解码，根据重放声道数要求来自适应地改变输出的重放声道，进一步压缩声道间存在的冗余度，节约了编解码时所需的码流空间，不仅提高了编解码的效率，而且提高了编解码器的性能。
实施例2
参见图3所示，为了提高编解码性能，在解码端自适应地改变输出的重放声道，本发明实施例提供了一种多声道音频编码的方法，包括：
步骤301：根据延迟参数，对左主声道信号L、右主声道信号R进行多次延迟处理；
其中，初始的延迟参数可以根据实际情况确定。
步骤302：根据缩放参数，对延迟后的信号进行缩放；
其中，初始的缩放参数可以根据实际情况确定。
其中，由于中央声道信号为低频信号，而左、右主声道信号为中、高频信号，为了使处理后频谱与原信号相近且保持完整，则需将信号进行一定程度的缩放。
步骤303：将所有缩放后的左主声道信号累加，得到Ls’，所有缩放后的右主声道信号累加，得到Rs’；
其中，Ls’、Rs’分别用来表示预测的左、右环绕声道信号。
步骤304：将Ls’与输入的Ls、Rs’与输入的Rs分别做差，得到预测残差eLs、eRs；
其中，eLs用来表示Ls’与Ls之间的预测残差，eRs用来表示Rs’与Rs之间的预测残差。
步骤305：判断所得的预测残差eLS和eRs是否小于预设的阈值，如果否，执行步骤306；如果是，执行步骤307；
其中，预设的阈值可以根据实际情况来选取，本发明实施例不做具体限定。
步骤306：调整延迟参数和缩放参数，并应用调整后的延迟参数和缩放参数执行步骤302；
其中，这里的预测参数指的是延迟参数、缩放参数等预测时应用的参数。
步骤307：确定使预测残差eLS和eRs小于预设的阈值的预测参数，将该预测参数加入编码码流中。
需要说明的是，在步骤301～步骤307中，本发明实施例是以左、右主声道信号为例进行说明的，在实际操作中，可以同时处理左、右主声道信号进行预测，可以单独处理中央声道信号进行预测，也可以是左、右主声道信号和中央声道信号一同进行预测。在对中央声道信号进行处理时，其步骤、原理与步骤301～步骤307相似，两者区别在于，在进行步骤305中“做差”之前，应将延迟、缩放后的中央声道信号平分成两个相同的信号，将这两个平分后的信号作为左右信号，并进行上述步骤304中所述的处理。
在实际操作时，即将主声道信号中的至少一个声道信号作为当前主声道信号，根据延迟参数和缩放参数，对当前主声道信号进行多次延迟、缩放，将缩放后的当前主声道信号分成左声道信号和右声道信号，将所有左声道信号累加、所有右声道信号累加，得到预测的左、右环绕声道信号，具体可以为：
将中央声道信号、左主声道信号和右主声道信号之一作为当前主声道信号，根据延迟参数和缩放参数，对当前主声道信号进行多次延迟、缩放，将每个缩放后的当前主声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有左声道信号累加，所有右声道累加，得到预测的左、右环绕声道信号；
或者，将左、右主声道信号作为当前主声道信号，根据延迟参数和缩放参数，对当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将所有左声道信号累加，所有右声道信号累加，得到预测的左、右环绕声道信号；
或者，将左、右主声道信号和中央声道信号作为当前主声道信号，根据延迟参数和缩放参数，对当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将每个缩放后的中央声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有左声道信号累加，所有右声道信号累加，得到预测的左、右环绕声道信号。
需要说明的是，步骤301～步骤307的信号处理过程可以视作一个自适应滤波或调整的过程，具体过程参见图4所示，用左主声道信号预测左环绕声道信号时，求预测残差的过程如下，其中，z是延迟参数，z-1表示延迟的时间，L(n)表示需要处理的主声道信号，L(n-1)...L(n-N)分别表示经过不同程度延迟后的该主声道信号，Ls(n)表示输入的环绕声道信号，Ls’(n)表示预测的左环绕声道信号，eLS(n)表示预测残差，L(n)经过多次以z为延迟参数的延迟，将延迟后的L(n-1)...L(n-N)累加，得到Ls’(n)，该Ls’(n)与输入的Ls(n)，做差，得到预测残差eLS(n)。判断该预测残差eLS(n)与预设的阈值的大小关系，再根据该大小关系调整步骤301～步骤302中的延迟参数和缩放参数，最终得到用左、右主声道信号L、R预测出Ls’、Rs’信号时的预测参数，在后续的编码步骤中即可以只传输并编码预测参数，而不用传输、编码输入的左右环绕声道信号，在解码端，用预测参数加上中央声道信号或左右主声道信号表示(这里的表示为近似表示)左环绕声道信号Ls、Rs。本领域技术人员可以获知，由于信号有短时的平稳性，即步骤301～步骤302中的延迟参数、缩放参数可以在相当长一段时间内保持不变，从而在码流格式中只用为其预留较小的空间，达到节约空间的目的。
其中，步骤301～步骤307也可以看作是编码的预处理过程，有关相关性的判别结果不仅要体现在选用的编码器上，也作为辅助信息加入到编码码流中，从而传送到解码器，以便选择适用的解码器。
步骤308：判别输入信号之间是否有相关性，当输入的多声道中的环绕声道信号与中央声道信号之间有相关性，或环绕声道信号与左、右主声道信号之间有相关性时，执行步骤309，当输入的多声道中的环绕声道信号与中央声道信号之间没有相关性，或环绕声道信号与左、右主声道信号之间没有相关性时，执行步骤310；
上述判别输入信号之间是否有相关性，具体包括：
环绕声道信号与中央声道信号之间是否有相关性；和/或，
环绕声道信号与左、右主声道信号之间是否有相关性；
其中，相关性的判别的标准为：判别输入的多声道信号之间的相关性是否大于一个预设的阈值，如果大于该阈值，则称多声道信号之间的相关性较大。
参见图5，以环绕声道与主声道的相关性判断为例，可以有以下步骤：对L声道和Ls声道(或者R声道和Rs声道、C与Ls/Rs声道)之间的相关性进行自适应判别，选取一段时间，将每个时间或频率样点上的残差e(n)相加，得到残差和esum，当一段时间内的残差和esum超过预设的阈值，可以判断环绕声道与主声道基本不相关。自适应判别可以通过逐差的方式来进行，也可以通过其他的求相关性的方式进行，本实施例不做具体限定，在此仅以逐差的方式为例进行说明。
其中，本领域技术人员可以获知，相关性的计算方法有多种，本发明实施例不做具体限定。
需要说明的是，步骤308和编码的预处理过程(即步骤301-307)的顺序可以互换，也可以同时进行，其先后顺序本发明不做具体限定。
步骤309：根据预测参数、中央声道信号和左、右主声道信号，进行音频编码；
根据预测参数、中央声道信号和左、右主声道信号，进行音频编码，具体包括：
对所得的各个预测参数进行编码；
对预测的左、右环绕声道信号、中央声道信号和左、右主声道信号进行以心理声学模型为基础的感觉音频编码；
其中，生成的编码码流中包含感觉音频编码的结果、步骤308得到的相关性判别信息和预测过程中的各个参数和预测残差，便于解码时对码流的分析。
其中，本领域技术人员可以获知，该步骤所涉及的具体编码过程为现有技术，不再赘述。
步骤310：根据预先经过方位感处理的环绕声道信号和左、右主声道信号，进行音频编码；
具体地，将预先经过方位感处理的环绕声道信号按照声道的左右混入左、右主声道信号，形成混合后的左、右主声道信号；对中央声道信号和混合后的左、右主声道信号进行以心理声学模型为基础的感觉音频编码。
其中，方位感处理时处理的信号为输入的环绕声道信号。
其中，方位感处理包括加入对方向角、仰角和距离的感觉。
其中，心理声学模型是感觉音频编码的一种，本发明实施例仅以心理声学模型为例进行说明，本发明所述感觉音频编码的基础可以但不仅限于心理声学模型。
其中，编码码流包含感觉音频编码的结果和步骤308得到的相关性判别信息，便于解码时对码流的分析。
其中，本领域技术人员可以获知，该步骤所涉及的具体编码过程为现有技术，不再赘述。
其中，本发明实施例中的“有相关性”或“相关性较大”指的是相关性超过一个预设的阈值(此预设的阈值与步骤305和步骤308中所说的各个阈值都没有关联)。
由于本发明实施例基于AAC多声道编解码结构或其他高质量感觉音频编码结构，因此首先它可以保证对称声道对(PC)之间的压缩度不会被降低，从而在这方面的码率不会有大的改变。
对于非对称声道对(NPC)的码率压缩，由于采用了预测和方位感处理的方法，可以把环绕声道中的音频数据在主声道中体现，彻底不传输环绕声道的音频数据，转而传输预测参数，预测参数包括预测之后的残差。预测残差相对于原有音频数据来说所占用的码率是微不足道的，因此这样处理的结果是使得原有的NPC问题不复存在；由于环绕声道已经不复存在，码率压缩的重点重新集中在PC之间。实际上，由于使用了预测的方法，等于将原来的主声道与环绕声道之间的相关度用预测过程来代替，从而由预测过程把NPC之间的冗余度消除。
在C声道与Ls声道的相关性很大的情况下，可以直接采用上述线性预测的方法，通过C声道来预测Ls声道，这时，使用线性预测得到的预测声道的频谱比用HRTF参数预测的声道更接近于原始的环绕声道Ls。由于主声道与环绕声道相关度很大，因此线性预测模型有可能更简单，而且可以避免编码阶段线性预测可能带来的高频段比特分配不足的问题，因为这里的预测结果是不需要传递的，只需要传递几个预测的参数和残差，这就避免了对预测结果进行编码，从而保证了心理声学模型能够正确适用于音频编码过程。
另外，上述步骤301～307是一个编码的预处理过程，该过程可以由以下步骤601-605代替：
参见图6，利用传输函数和左右主声道信号和/或中央声道预测左、右环绕声道信号，确定预测参数，具体包括：
步骤601：将主声道信号分别通过传输函数的滤波处理，得到预测的左、右环绕声道信号；
在预测时，可应用下式：
Ls’＝L×HLL+R×HRL+C×HCL
Rs’＝L×HLR+R×HRR+C×HCR
其中，HXY代表从原X声道到预测后的Y声道的HRTF(Head Related Transfer Function，头相关传输函数)，HLL即是代表从原L声道到预测后的L声道的头相关传输函数，HRL即是代表从原R声道到预测后的L声道的头相关函数，其它以此类推，不再赘述。
在更一般的情况下，上式中的HXY有可能为常数。例如，更常见的情况是，HCL和HRL等可以是常数或0。
其中，式中的“×”是指变换域中的乘法，相应地，在时域中则是卷积。
本领域技术人员从上式可以获知，环绕声道信号的预测可以通过对左主声道信号和/或右主声道信号和/或中央声道信号进行传输函数滤波处理得到。
其中，在本实施例中以头相关传输函数作为预测的传输函数为例进行说明，预测时所用的传输函数可以有多种，本发明实施例不做具体限定。
步骤602：将预测的左环绕声道信号与输入的环绕声道信号做差，预测的右环绕声道信号与输入的右环绕声道信号做差，得到预测残差；
步骤603：判断所得的预测残差是否小于预设的阈值，如果否，执行步骤604；如果是，执行步骤605；
步骤604：调整传输函数，并应用调整后的传输函数执行步骤601；
其中，这里的传输函数指的是预测时应用的参数。
步骤605：确定使预测残差小于预设的阈值的传输函数，将预测参数加入编码码流中。
本发明实施例通过在编码端进行声道间的相关性判别，用主声道对环绕声道进行预测，并利用相关性判别信息和预测参数同主声道一起在编解码时表示环绕声道信号，进一步压缩声道间存在的冗余度，节约了编解码时所需的码流空间，不仅提高了编解码的效率，而且提高了编解码器的性能。
实施例3
参见图7，为了提高编解码性能，在解码端自适应地改变输出的重放声道，本发明实施例提供了一种多声道音频编码器，其中，多声道音频至少包括主声道信号和环绕声道信号，其中，主声道信号包括左、右主声道信号和中央声道信号，环绕声道信号包括左环绕声道信号和右环绕声道信号，该多声道音频编码器具体包括：
第一预测模块70，第二预测模块71、相关性判别模块72、相关编码模块73和不相关编码模块74。
第一预测模块70，用于根据主声道信号对环绕声道信号进行线性预测，得到预测参数，将预测参数加入编码码流；
第一预测模块70具体包括：
信号处理单元701，用于将主声道信号中的至少一个声道信号作为当前主声道信号，根据延迟参数和缩放参数，对当前主声道信号进行多次延迟、缩放，将缩放后的当前主声道信号分成左声道信号和右声道信号，将所有左声道信号累加、所有右声道信号累加，得到预测的左、右环绕声道信号；
上述信号处理单元701具体包括：
第一信号处理子单元701a，用于将中央声道信号、左主声道信号和右主声道信号之一作为当前主声道信号，根据延迟参数和缩放参数，对当前主声道信号进行多次延迟、缩放，将每个缩放后的当前主声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有左声道信号累加，所有右声道累加，得到预测的左、右环绕声道信号；
第二信号处理子单元701b，用于将左、右主声道信号作为当前主声道信号，根据延迟参数和缩放参数，对当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将所有左声道信号累加，所有右声道信号累加，得到预测的左、右环绕声道信号；
第三信号处理子单元701c，用于将左、右主声道信号和中央声道信号作为当前主声道信号，根据延迟参数和缩放参数，对当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将每个缩放后的中央声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有左声道信号累加，所有右声道信号累加，得到预测的左、右环绕声道信号。
第一预测残差单元702，用于将预测的左环绕声道信号与输入的环绕声道信号做差，预测的右环绕声道信号与输入的右环绕声道信号做差，得到预测残差；
第一判断循环单元703，用于判断预测残差是否小于预设的阈值，如果否，触发第一参数调整单元704；如果是，触发第一确定单元705；
第一参数调整单元704，用于调整延迟参数和缩放参数，应用调整后的延迟参数和缩放参数触发信号处理单元701；
第一确定单元705，用于将预测残差小于阈值时的延迟参数和缩放参数作为预测参数，将预测参数加入编码码流；
第二预测模块71，用于根据主声道信号和传输函数对环绕声道信号进行预测，得到预测参数，将预测参数加入编码码流；
第二预测模块71具体包括：
滤波单元711，用于将主声道信号中的至少一个声道信号作为当前主声道信号，根据传输函数，对当前主声道信号进行滤波处理，得到预测的左、右环绕声道信号；
第二预测残差单元712，用于将所述预测的左环绕声道信号与输入的环绕声道信号做差，所述预测的右环绕声道信号与输入的右环绕声道信号做差，得到预测残差；
第二判断循环单元713，用于判断预测残差是否小于预设的阈值，如果否，触发第二参数调整单元714；如果是，触发第二确定单元715；
第二参数调整单元714，用于调整传输函数，应用调整后的相关函数触发滤波单元711；
第二确定单元715，用于将预测残差小于阈值的传输函数作为预测参数，将预测参数加入编码码流。
相关编码模块73，用于如果判别环绕声道信号与中央声道信号之间具有相关性，
或判别左主声道信号与右主声道信号之间具有相关性，
对预测参数、主声道信号和相关性判别信息进行编码。
多声道音频编码器进一步包括：相关性判别模块72和不相关编码模块74；
相关性判别模块72，用于判别环绕声道信号与中央声道信号之间是否有相关性，或左、右主声道信号之间是否有相关性。
不相关编码模块74，用于当判别环绕声道信号与中央声道信号之间不具有相关性时，或判别左主声道信号与右主声道信号之间不具有相关性时，利用预先经过方位感处理的环绕声道信号和所述多声道信号进行编码。
把本发明实施例的编码效率与传统编码结构的编码效率进行比较。以一个五声道的音频信号为例，使用传统编码器结构，如果每声道码率为64kbps，那么五声道的总码率为320kbps对于新结构，同样的五声道音频信号，由于对环绕声道进行了预测，因此只需要传输三个主声道，同样每声道码率为64kbps，三个声道的总码率为192kbps，当然，还要考虑预测模型信息在编码码流中所占的比特数，这里假设采用了方向、延时时间、幅度控制三个参数作为模型信息的传递参数，则只需要很少的几个比特就够用了。因此总体来说，采用新结构在最好情况下将使得码率降低到原来的60～70％，从而带来编码效率的提高。
本发明实施例通过在编码端进行声道间的相关性判别，用主声道对环绕声道进行预测，并利用相关性判别信息和预测参数同主声道一起在编解码时表示环绕声道信号，进一步压缩声道间存在的冗余度，节约了编解码时所需的码流空间，不仅提高了编解码的效率，而且提高了编解码器的性能。
实施例4
参见图8所示，为了提高编解码性能，在解码端自适应地改变输出的重放声道，本发明实施例提供了一种多声道音频解码的方法，其中，多声道音频至少包括主声道信号和环绕声道信号，其中，主声道信号包括左、右主声道信号和中央声道信号，环绕声道信号包括左环绕声道信号和右环绕声道信号，该方法包括：
801：判断编码码流中是否包含相关性判别信息，如果是，提取相关性判别信息；如果否，对编码码流进行感觉音频解码；
802：根据所提取的该相关性判别信息，对编码码流进行解码，形成重放音频信号。
具体地，如果提取的判别信息指示环绕声道信号与中央声道信号之间具有相关性，或环绕主声道信号和左、右主声道信号之间具有相关性，从编码码流中提取预测参数，利用预测参数对编码码流进行解码，形成重放音频信号；
如果编码码流中没有所述判别信息或所述判别信息指示环绕声道信号与中央声道信号不具有相关性或环绕主声道信号和左、右主声道信号之间不具有相关性，直接对编码码流进行解码，形成重放音频信号。
该解码方法具体包括：
步骤901：判断编码码流中是否包含相关性判别信息，如果是，执行步骤902，如果否，执行步骤906。
具体地，判断编码码流中是否存在有关多声道音频中的环绕声道信号与中央声道信号之间的相关性判别信息，或环绕主声道信号和左、右主声道信号之间的相关性判别信息，若是，提取该相关性判别信息，若没有，直接进行解码，形成重放音频信号；
其中，如果所述判别信息指示环绕声道信号与中央声道信号之间具有相关性，或环绕主声道信号和左、右主声道信号之间具有相关性，即该编码码流是使用本发明实施例提供的编码方法进行编码；如果编码码流中没有所述判别信息，或所述判别信息指示环绕声道信号与中央声道信号之间不具有相关性，或环绕主声道信号和左、右主声道信号之间不具有相关性，说明编码码流不是使用本发明实施例提供的编码方法进行编码的。
步骤902：提取该相关性判别信息；
步骤903：判断提取的相关性判别信息指示有关多声道音频中的环绕声道信号与中央声道信号之间是否具有相关性，环绕主声道信号和左、右主声道信号之间是否具有相关性，如果是，执行步骤904，如果否，执行步骤906；
步骤904：从编码码流中提取预测参数，利用预测参数对编码码流进行解码，形成重放音频信号；
具体地，对编码码流进行以心理声学模型为基础的感觉音频解码，从而解码出中央声道信号和左、右主声道信号；
利用所提取的预测参数，通过中央声道信号或左、右主声道信号形成对环绕声道信号的预测，从而能够仅使用中央声道信号或左、右主声道信号与提取的预测参数表示出环绕声道信号。
步骤905：对重放声道数要求进行判别，根据判别结果和重放音频信号进行重放；
具体地，若重放声道数要求为双声道，将中央声道信号、左、右主声道信号、环绕声道信号混合为双声道重放信号进行重放；
若重放声道数要求为多声道，将中央声道信号、左、右主声道信号、环绕声道信号作为多声道重放信号进行重放。
其中，重放声道数可以是双声道，也可以是多声道，本发明实施例不做具体限定。
步骤906：直接对编码码流进行解码，形成重放音频信号；
具体地，对编码码流进行以心理学模型为基础的感觉音频解码，从而解码出中央声道信号和左右主声道信号。
步骤907：对重放声道数要求进行判别，根据判别结果和重放音频信号进行重放；
具体地，若重放声道数要求为双声道，将中央声道信号信号直接或以衰减形式混合入左右主声道信号，从而形成双声道重放信号进行重放。
若重放声道数要求为多声道重放，对左右主声道信号进行逆传输函数滤波处理，去除左右主声道信号中的方位感信息，形成环绕声道信号；将中央声道信号、左、右主声道信号、环绕声道信号作为多声道重放信号进行重放。
优选地，逆传输函数滤波时使用的是逆头相关传输函数。
需要说明的是，本发明实施例中的步骤905和步骤907都是对重放声道数要求进行判别，该判别过程只需在重放前进行即可，其执行的具体顺序本发明不做具体限定。
本发明实施例通过在编码端进行声道间的相关性判别，用主声道对环绕声道进行预测，并利用相关性判别信息和预测参数同主声道一起在编解码时表示环绕声道信号，并在解码端根据相关性判别信息和预测参数进行解码，根据重放声道数要求来自适应地改变输出的重放声道，进一步压缩声道间存在的冗余度，节约了编解码时所需的码流空间，不仅提高了编解码的效率，而且提高了编解码器的性能。
实施例5
参见图10所示，为了提高编解码性能，在解码端自适应地改变输出的重放声道，本发明实施例提供了一种多声道音频解码器，该多声道音频至少包括中央声道信号、左、右主声道信号、环绕声道信号，该解码器具体包括：信息提取模块101、解码模块102和重放声道数判别模块103、判断模块104。
其中，信息提取模块101，用于当编码码流中有相关性判别信息时，提取该相关性判别信息；
其中，解码模块102，用于根据所提取的该相关性判别信息，对编码码流进行解码，形成重放音频信号。
解码模块102具体包括：
相关性判别单元1021，用于判断提取的相关性判别信息指示有关多声道音频中的环绕声道信号与中央声道信号之间是否具有相关性，或环绕声道信号与左、右主声道信号之间是否具有相关性；
相关解码单元1022，用于当判断提取的相关性判别信息指示有关多声道音频中的环绕声道信号与中央声道信号之间具有相关性，或环绕主声道信号和左、右主声道信号之间是否具有相关性，从编码码流中提取预测参数，利用预测参数对编码码流进行解码，形成重放音频信号；
相关解码1022单元具体包括：
感觉音频解码子单元1022a，用于对所述编码码流进行感觉音频解码，解码出中央声道信号、左、右主声道信号；
预测解码子单元1022b，用于利用所述预测参数，和所述中央声道号，或所述左主声道信号，或右主声道信号表示环绕声道信号，形成重放音频信号。
相关解码单元1022进一步包括：
第一双声道重放子单元1022c，用于如果重放声道数要求为双声道重放，将所述中央声道信号、所述左、右主声道信号、环绕声道信号混合为双声道重放信号进行重放；
第一多声道重放子单元1022d，用于如果重放声道数要求为多声道重放，将所述中央声道信号、所述左、右主声道信号、环绕声道信号作为多声道重放信号进行重放。
不相关解码单元1023，用于当判断提取的相关性判别信息指示有关多声道音频中的环绕声道信号与中央声道信号之间不具有相关性，或环绕声道信号与左、右主声道信号之间不具有相关性，直接对编码码流进行解码，形成重放音频信号。
不相关解码单元1023具体包括：
第二感觉音频解码子单元1023a，用于对所述编码码流进行感觉音频解码，解码出中央声道信号、左、右主声道信号，形成重放音频信号。
不相关解码单元1023进一步包括：
第二双声道重放子单元1023b，用于当重放声道数要求为双声道重放，将中央声道信号信号直接或以衰减形式混合入左右主声道信号，形成双声道重放信号进行重放；
第二多声道重放子单元1023c，用于当重放声道数要求为多声道重放，对左、右主声道信号进行逆传输函数滤波处理，去除左右主声道信号中的方位感信息，形成环绕声道信号；
将中央声道信号、左右主声道信号、环绕声道信号作为多声道重放信号进行重放。
其中，重放声道数判别模块103，用于对重放声道数要求进行判别。
其中，判断模块104，用于判断编码码流中是否包含相关性判别信息，如果是，触发信息提取模块101，如果否，触发不相关解码单元1023。
本发明实施例提供的解码器，与方法实施例属于同一构思，其具体实现过程详见方法实施例，在此不再赘述。
本发明实施例通过在编码端进行声道间的相关性判别，用主声道对环绕声道进行预测，并利用相关性判别信息和预测参数同主声道一起在编解码时表示环绕声道信号，并在解码端根据相关性判别信息和预测参数进行解码，根据重放声道数要求来自适应地改变输出的重放声道，进一步压缩声道间存在的冗余度，节约了编解码时所需的码流空间，不仅提高了编解码的效率，而且提高了编解码器的性能。
本发明实施例提供的上述技术方案的全部或部分可以通过程序指令相关的硬件来完成，所述程序可以存储在可读取的存储介质中，该存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (24)
1.一种多声道音频编码方法，所述多声道音频至少包括主声道信号和环绕声道信号，其中，所述主声道信号包括左、右主声道信号和中央声道信号，所述环绕声道信号包括左环绕声道信号和右环绕声道信号，其特征在于，所述方法包括：
根据所述主声道信号对所述环绕声道信号进行线性预测，得到预测参数，将所述预测参数加入编码码流；
或，根据所述主声道信号和传输函数对所述环绕声道信号进行预测，得到预测参数，将所述预测参数加入编码码流；
判别所述环绕声道信号与所述中央声道信号之间是否具有相关性，
或判别所述环绕声道信号与所述左、右主声道信号之间是否具有相关性，
如果是，则对所述预测参数、所述主声道信号和相关性判别信息进行编码。
2.如权利要求1所述的多声道音频编码方法，其特征在于，根据所述主声道信号对所述环绕声道信号进行线性预测，得到预测参数，将所述预测参数加入编码码流，具体包括：
A：将所述主声道信号中的至少一个声道信号作为当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将缩放后的当前主声道信号分成左声道信号和右声道信号，将所有所述左声道信号累加、所有所述右声道信号累加，得到预测的左、右环绕声道信号；
B：将所述预测的左环绕声道信号与输入的环绕声道信号做差，所述预测的右环绕声道信号与输入的右环绕声道信号做差，得到预测残差；
C：判断所述预测残差是否小于预设的阈值，如果否，执行步骤D；如果是，执行步骤E；
D：调整所述延迟参数和所述缩放参数，应用调整后的延迟参数和缩放参数执行步骤A；
E：将所述预测残差小于所述阈值时的延迟参数、缩放参数和所述预测残差作为预测参数，将所述预测参数加入编码码流。
3.如权利要求2所述的多声道音频编码方法，其特征在于，根据延迟参数和缩放参数，对至少一个主声道信号进行多次延迟、缩放，将缩放后的主声道信号按照声道的左、右累加，得到预测的左、右环绕声道信号，具体包括：
将中央声道信号、左主声道信号和右主声道信号之一作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的当前主声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有所述左声道信号累加，所有所述右声道累加，得到所述预测的左、右环绕声道信号；或，
将左、右主声道信号作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将所有所述左声道信号累加，所有所述右声道信号累加，得到所述预测的左、右环绕声道信号；或，
将左、右主声道信号和中央声道信号作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将每个缩放后的中央声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有所述左声道信号累加，所有所述右声道信号累加，得到所述预测的左、右环绕声道信号。
4.如权利要求1所述的多声道音频编码方法，其特征在于，根据所述主声道信号和传输函数对所述环绕声道信号进行预测，得到预测参数，将所述预测参数加入编码码流，具体包括：
H：将主声道信号中的至少一个声道信号作为当前主声道信号，根据传输函数，对所述当前主声道信号进行滤波处理，得到预测的左、右环绕声道信号；
I：将所述预测的左环绕声道信号与输入的环绕声道信号做差，所述预测的右环绕声道信号与输入的右环绕声道信号做差，得到预测残差；
J：判断所述预测残差是否小于预设的阈值，如果否，执行步骤K；如果是，执行步骤L；
K：调整所述传输函数，应用调整后的相关函数执行步骤H；
L：将所述预测残差小于所述阈值的传输函数和所述预测残差作为预测参数，将所述预测参数加入编码码流。
5.如权利要求1所述的多声道音频编码方法，其特征在于，判别所述环绕声道信号与所述中央声道信号之间是否具有相关性，或判别所述环绕声道信号与所述左、右主声道信号之间是否具有相关性，如果是，则对所述预测参数、所述主声道信号和相关性判别信息进行编码进一步包括：
如果否，则利用预先经过方位感处理的环绕声道信号和所述多声道信号进行编码。
6.一种多声道音频编码器，所述多声道音频至少包括中央声道信号、主声道信号和环绕声道信号，其中，所述主声道信号包括左、右主声道信号，所述环绕声道信号包括左环绕声道信号和右环绕声道信号，其特征在于，所述编码器包括：
第一预测模块，用于根据所述主声道信号对所述环绕声道信号进行线性预测，得到预测参数，将所述预测参数加入编码码流；
或，
第二预测模块，用于根据所述主声道信号和传输函数对所述环绕声道信号进行预测，得到预测参数，将所述预测参数加入编码码流；
相关性判别模块，用于判别所述环绕声道信号与所述中央声道信号之间是否有相关性，
或判别所述环绕声道信号与所述左、右主声道信号之间是否有相关性；
相关编码模块，用于如果判别所述环绕声道信号与所述中央声道信号之间是否具有相关性，或判别所述环绕声道信号与所述左、右主声道信号之间是否具有相关性，如果是，则对所述预测参数、所述主声道信号和相关性判别信息进行编码。
7.如权利要求6所述多声道音频编码器，其特征在于，所述第一预测模块包括：
信号处理单元，用于将所述主声道信号中的至少一个声道信号作为当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将缩放后的当前主声道信号分成左声道信号和右声道信号，将所有所述左声道信号累加、所有所述右声道信号累加，得到预测的左、右环绕声道信号；
第一预测残差单元，用于将所述预测的左环绕声道信号与输入的环绕声道信号做差，所述预测的右环绕声道信号与输入的右环绕声道信号做差，得到预测残差；
第一判断循环单元，用于判断所述预测残差是否小于预设的阈值，如果否，触发第一参数调整单元；如果是，触发第一确定单元；
第一参数调整单元，用于调整所述延迟参数和所述缩放参数，应用调整后的延迟参数和缩放参数触发所述信号处理子单元；
第一确定单元，用于将所述预测残差小于所述阈值时的延迟参数、缩放参数和所述预测残差作为预测参数，将所述预测参数加入编码码流。
8.如权利要求7所述多声道音频编码器，其特征在于，所述信号处理单元包括：
第一信号处理子单元，用于将中央声道信号、左主声道信号和右主声道信号之一作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的当前主声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有所述左声道信号累加，所有所述右声道累加，得到所述预测的左、右环绕声道信号；
第二信号处理子单元，用于将左、右主声道信号作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将所有所述左声道信号累加，所有所述右声道信号累加，得到所述预测的左、右环绕声道信号；
第三信号处理子单元，用于将左、右主声道信号和中央声道信号作为所述当前主声道信号，根据延迟参数和缩放参数，对所述当前主声道信号进行多次延迟、缩放，将每个缩放后的左主声道信号作为左声道信号，将每个缩放后的右主声道信号作为右声道信号，将每个缩放后的中央声道信号分成两个频谱相同的声道信号，分别作为左声道信号和右声道信号，将所有所述左声道信号累加，所有所述右声道信号累加，得到所述预测的左、右环绕声道信号。
9.如权利要求7所述多声道音频编码器，其特征在于，所述第二预测模块包括：
滤波单元，用于将主声道信号中的至少一个声道信号作为当前主声道信号，根据传输函数，对所述当前主声道信号进行滤波处理，得到预测的左、右环绕声道信号；
第二预测残差单元，用于将所述预测的左环绕声道信号与输入的环绕声道信号做差，所述预测的右环绕声道信号与输入的右环绕声道信号做差，得到预测残差；
第二判断循环单元，用于判断所述预测残差是否小于预设的阈值，如果否，触发第二参数调整单元；如果是，触发第二确定单元；
第二参数调整单元，用于调整所述传输函数，应用调整后的相关函数触发所述滤波单元；
第二确定单元，用于将所述预测残差小于所述阈值的传输函数和所述预测残差作为预测参数，将所述预测参数加入编码码流。
10.如权利要求7所述多声道音频编码器，其特征在于，所述编码器进一步包括：
不相关编码模块，用于如果判别所述环绕声道信号与所述中央声道信号之间不具有相关性，或判别所述环绕声道信号与所述左、右主声道信号之间不具有相关性，则利用预先经过方位感处理的环绕声道信号和所述多声道信号进行编码。
11.一种多声道音频解码方法，所述多声道音频至少包括主声道信号和环绕声道信号，其中，所述主声道信号包括左、右主声道信号和中央声道信号，所述环绕声道信号包括左环绕声道信号和右环绕声道信号，其特征在于，所述方法包括：
判断所述编码码流中是否包含相关性判别信息，如果是，提取所述相关性判别信息；如果否，对所述编码码流进行感觉音频解码；
根据所提取的该相关性判别信息，对编码码流进行解码，形成重放音频信号。
12.如权利要求11所述的多声道音频解码方法，其特征在于，所述形成重放音频信号之前包括对重放声道数要求进行判别。
13.如权利要求11所述的多声道音频解码方法，其特征在于，根据所提取的该相关性判别信息，对编码码流进行解码，形成重放音频信号，具体包括：
判断所述提取的相关性判别信息是否指示环绕声道信号与中央声道信号之间具有相关性，或所述环绕声道信号与左、右主声道信号之间具有相关性，
如果是，从所述编码码流中提取预测参数，利用所述预测参数对所述编码码流进行解码，形成重放音频信号；
如果否，直接对所述编码码流进行解码，形成所述重放音频信号。
14.如权利要求13所述的多声道音频解码方法，其特征在于，从所述编码码流中提取预测参数，利用所述预测参数对所述编码码流进行解码，形成重放音频信号，具体包括：
对所述编码码流进行感觉音频解码，解码出中央声道信号、左、右主声道信号；
利用所述预测参数和所述主声道信号中任意一个声道信号表示左、右环绕声道信号，形成重放音频信号。
15.如权利要求13所述的多声道音频解码方法，其特征在于，从编码码流中提取预测参数，利用预测参数对所述编码码流进行解码，形成重放音频信号之后包括：
如果重放声道数要求为双声道重放，将所述中央声道信号、所述左、右主声道信号、环绕声道信号混合为双声道重放信号进行重放；
如果重放声道数要求为多声道重放，将所述中央声道信号、所述左、右主声道信号、所述环绕声道信号作为多声道重放信号进行重放。
16.如权利要求13所述的多声道音频解码方法，其特征在于，直接对所述编码码流进行解码，形成重放音频信号，具体包括：
对所述编码码流进行感觉音频解码，解码出中央声道信号、左、右主声道信号，形成重放音频信号。
17.如权利要求13所述的多声道音频解码方法，其特征在于，直接对所述编码码流进行解码，形成重放音频信号之后包括：
当重放声道数要求为双声道重放，将中央声道信号直接或以衰减形式混合入左、右主声道信号，形成双声道重放信号进行重放；
当重放声道数要求为多声道重放，对左、右主声道信号进行逆传输函数滤波处理，去除左、右主声道信号中的方位感信息，形成环绕声道信号；
将所述中央声道信号、所述左、右主声道信号、所述环绕声道信号作为多声道重放信号进行重放。
18.一种多声道音频解码器，所述多声道音频至少包括主声道信号和环绕声道信号，其中，所述主声道信号包括左、右主声道信号和中央声道信号，所述环绕声道信号包括左环绕声道信号和右环绕声道信号，其特征在于，所述解码器包括：
判断模块，用于判断所述编码码流中是否包含相关性判别信息，如果是，触发信息提取模块；如果否，触发不相关编码单元；
信息提取模块，用于如果编码码流中包含所述相关性判别信息，提取所述相关性判别信息；
解码模块，用于根据所提取的该相关性判别信息，对所述编码码流进行解码，形成重放音频信号。
19.如权利要求18所述的多声道音频解码器，其特征在于，所述解码器包括重放声道数判别模块，用于对重放声道数要求进行判别。
20.如权利要求18所述的多声道音频解码器，其特征在于，所述解码模块具体包括：
相关性判别单元，用于判断提取的相关性判别信息是否指示有关多声道音频中的环绕声道信号与中央声道信号之间具有相关性，或所述环绕声道信号与左、右主声道信号之间具有相关性；
相关解码单元，用于当判断提取的相关性判别信息指示有关多声道音频中的环绕声道信号与中央声道信号之间具有相关性，或所述环绕声道信号与左、右主声道信号之间具有相关性，从编码码流中提取预测参数，利用所述预测参数对所述编码码流进行解码，形成重放音频信号；
不相关解码单元，用于当判断提取的相关性判别信息指示有关多声道音频中的环绕声道信号与中央声道信号之间不具有相关性，或所述环绕声道信号与左、右主声道信号之间不具有相关性，直接对所述编码码流进行解码，形成重放音频信号。
21.如权利要求20所述的多声道音频解码器，其特征在于，所述相关解码单元具体包括：
第一感觉音频解码子单元，用于对所述编码码流进行感觉音频解码，解码出中央声道信号、左、右主声道信号；
预测解码子单元，用于利用所述预测参数和所述主声道信号中任意一个声道信号表示左、右环绕声道信号，形成重放音频信号。
22.如权利要求20所述的多声道音频解码器，其特征在于，所述相关解码单元进一步包括：
第一双声道重放子单元，用于如果重放声道数要求为双声道重放，将所述中央声道信号、所述左、右主声道信号、环绕声道信号混合为双声道重放信号进行重放；
第一多声道重放子单元，用于如果重放声道数要求为多声道重放，将所述中央声道信号、所述左、右主声道信号、环绕声道信号作为多声道重放信号进行重放。
23.如权利要求20所述的多声道音频解码器，其特征在于，所述不相关编码单元具体包括：
第二感觉音频解码子单元，用于对所述编码码流进行感觉音频解码，解码出中央声道信号、左、右主声道信号，形成重放音频信号。
24.如权利要求20所述的多声道音频解码器，其特征在于，所述不相关解码单元进一步包括：
第二双声道重放子单元，用于当重放声道数要求为双声道重放，将中央声道信号直接或以衰减形式混合入左、右主声道信号，形成双声道重放信号进行重放；
第二多声道重放子单元，用于当重放声道数要求为多声道重放，对左、右主声道信号进行逆传输函数滤波处理，去除左右主声道信号中的方位感信息，形成环绕声道信号；
将所述中央声道信号、所述左、右主声道信号、所述环绕声道信号作为多声道重放信号进行重放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009102357135A CN101695150B (zh) | 2009-10-12 | 2009-10-12 | 多声道音频编码方法、编码器、解码方法和解码器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009102357135A CN101695150B (zh) | 2009-10-12 | 2009-10-12 | 多声道音频编码方法、编码器、解码方法和解码器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101695150A CN101695150A (zh) | 2010-04-14 |
| CN101695150B true CN101695150B (zh) | 2011-11-30 |
Family
ID=42094080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009102357135A Active CN101695150B (zh) | 2009-10-12 | 2009-10-12 | 多声道音频编码方法、编码器、解码方法和解码器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101695150B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2830051A3 (en) * | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals |
| CN107004427B (zh) * | 2014-12-12 | 2020-04-14 | 华为技术有限公司 | 增强多声道音频信号内语音分量的信号处理装置 |
| CN105468711A (zh) * | 2015-11-19 | 2016-04-06 | 中央电视台 | 一种音频处理方法及装置 |
| CN108182947B (zh) * | 2016-12-08 | 2020-12-15 | 武汉斗鱼网络科技有限公司 | 一种声道混合处理方法及装置 |
| CN108877815B (zh) | 2017-05-16 | 2021-02-23 | 华为技术有限公司 | 一种立体声信号处理方法及装置 |
| CN110728986B (zh) | 2018-06-29 | 2022-10-18 | 华为技术有限公司 | 立体声信号的编码方法、解码方法、编码装置和解码装置 |
| CN111918175B (zh) * | 2020-07-10 | 2021-09-24 | 瑞声新能源发展(常州)有限公司科教城分公司 | 车载沉浸式声场系统的控制方法、装置及车辆 |
| CN113948095A (zh) * | 2020-07-17 | 2022-01-18 | 华为技术有限公司 | 多声道音频信号的编解码方法和装置 |
-
2009
- 2009-10-12 CN CN2009102357135A patent/CN101695150B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN101695150A (zh) | 2010-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101695150B (zh) | 多声道音频编码方法、编码器、解码方法和解码器 | |
| EP1715477B1 (en) | Low-bitrate encoding/decoding method and system | |
| EP1761915B1 (en) | Method and apparatus to encode and decode multi-channel audio signals | |
| RU2381571C2 (ru) | Синтезирование монофонического звукового сигнала на основе кодированного многоканального звукового сигнала | |
| CA2716817C (en) | Method and apparatus for processing audio signal | |
| CN102270453B (zh) | 利用频域维纳滤波对空间音频编码进行时间包络整形 | |
| CN102270452B (zh) | 近透明或透明的多声道编码器/解码器方案 | |
| US20020049586A1 (en) | Audio encoder, audio decoder, and broadcasting system | |
| KR101750732B1 (ko) | 멀티채널 오디오의 하이브리드 인코딩 | |
| CN101128867A (zh) | 多声道音频编码和/或解码中改进的滤波器平滑 | |
| CN101485094B (zh) | 最大熵意义下后向兼容多通道音频编码与解码方法和系统 | |
| CN102150202A (zh) | 对音频/语音信号进行编码和解码的方法和设备 | |
| RU2473139C2 (ru) | Устройство объединения потоков, модуль и способ декодирования | |
| JP4685165B2 (ja) | 仮想音源位置情報に基づいたチャネル間レベル差量子化及び逆量子化方法 | |
| CN1117346C (zh) | 编码离散信号和解码已编码的离散信号的方法和设备 | |
| KR102664355B1 (ko) | 오디오 코딩/디코딩 모드를 결정하는 방법 및 관련 제품 | |
| EP1905034A1 (en) | Virtual source location information based channel level difference quantization and dequantization method | |
| US20080136686A1 (en) | Method for the scalable coding of stereo-signals | |
| KR100917845B1 (ko) | 상호상관을 이용한 다채널 오디오 신호 복호화 장치 및 그방법 | |
| CN102369573A (zh) | 嵌入和提取辅助数据 | |
| KR102492791B1 (ko) | 시간-도메인 스테레오 인코딩 및 디코딩 방법 및 관련 제품 | |
| JP2021525391A (ja) | ダウンミックス信号及び残差信号を計算するための方法及び装置 | |
| KR20220044857A (ko) | 스테레오 신호 인코딩 방법 및 인코딩 장치 | |
| CA3212631A1 (en) | Audio codec with adaptive gain control of downmixed signals | |
| JPH0537395A (ja) | 帯域分割符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |