CN101141644A - 编码集成系统和方法与解码集成系统和方法 - Google Patents

Abstract

本发明公开了一种编码集成系统和方法与解码集成系统和方法，属于多媒体信号处理和信源编码领域。编码集成系统包括接收模块、提取模块、分类模块、子编码器、控制模块、合并模块和封装及传输模块；解码集成系统包括接收及解封装模块、解析模块、分配模块、子解码器、控制模块和缓存输出模块。编码集成方法包括：从多媒体信号中提取相关性信息并得到一路主信号；对主信号或多媒体信号进行分类；子编码器对主信号进行编码后与各种参数合并、封装后传输。解码集成方法包括：接收码流数据，解封装和解析后解码得到主信号，输出主信号或处理后的主信号。本发明能充分发挥各种个性化多媒体编码器的优势，满足主观感觉特性及不同信道需求。

Description

编码集成系统和方法与解码集成系统和方法

技术领域

本发明涉及多媒体信号处理和信源编码领域，特别涉及一种编码集成系统和方法，以及一种解码集成系统和方法。

背景技术

随着通信技术的不断发展，人们可以在不同的时间和地点利用有线或无线网络方便地进行通信。多媒体传输业务也逐渐得到普及。人们可以在通信网络中实时地传输包括音频流、视频流等在内的多媒体数据。然而，多媒体数据可以占用的通信带宽仍然是很有限的，必须将多媒体数据进行压缩编码才能保证良好的传输和重放质量。

音频信号是多媒体信号的重要组成部分，它与视频信号一起提供了人们主观感知的两个最重要的信号源。没有经过压缩的音频信号数据量是非常巨大的。CD质量的音频信号，如44.1kHz采样、16bit位宽、双声道的音频信号，其码率高达1.4Mb/s，无法通过现有的无线信道传输，必须经过压缩后再传输。在过去的二十年里，MPEG(Moving Picture Experts Group，运动图像专家组织)和ITU(International Telegraph Union，国际电信联盟)等组织分别制定了一系列适用于通用音频和语音的压缩编码标准。

MPEG-1压缩标准提供了将同步的音视频信号压缩到1.5Mb/s的压缩方案。其音频部分的压缩率约在2.7至24∶1范围内，码流速率相应地在每声道32kb/s至224kb/s之间。MPEG-1音频有三层，它们可以提供不同的压缩质量和不同的复杂度。层1的复杂度最低，码流速率在每声道32至224kb/s之间。层2的复杂度适中。层3(即mp3)的复杂度最高，其音频质量也最好，码率在每声道32至160kb/s之间，它在每声道128kb/s的码率下已经达到了很好的音质。

MPEG-2 AAC(Advanced Audio Coding，先进音频编码)引入了一套新的音频编码框架和更为高效的附属工具，获得了更高的音频编码质量。在每声道64kb/s的码率下，AAC能够提供接近透明的音质，并能够支持多达48个声道。

MPEG-4 HE-AAC(高效率先进音频编码，即aacPlus)是结合了AAC和SBR(Spectral BandReplication，带宽扩展)的高效率音频编码技术，它在32kb/s至48kb/s的码率下就能获得较高质量的立体声音频。

MPEG-4 HE-AAC v2(Enhanced aacPlus)是HE-AAC与PS(Parametric Stereo，参数立体声编码)相结合的面向更低码率的音频编码技术，它在16至24 kb/s的码率下就能够获得较高质量的立体声音频。

ITU-T G.722是利用子带划分进行ADPCM(Adaptive Differential pulse Code Modulation，自适应差分脉冲编码调制)的语音编码标准，其处理简单但码率较高，一般在48、56、64kb/s。

ITU-T G.728是一个在8kHz采样率下以16kb/s码率编码的语音编码标准，也称为CELP(Code Excited Linear Prediction，码本激励线性预测)。

ITU-T G.729是一个在8kHz采样率下以8kb/s码率编码的语音编码标准，使用了共轭结构的CS-ACELP(Conjugate Structure Algebraic CELP，代数码本线性预测)。它可以提供32kbps下ADPCM的音质。另外，它还提供了5个附属方案，适合于不同场合的应用。

ITU-T G.722.1是在16kHz采样率下以24kb/s或32kb/s对宽带语音编码的标准。该标准利用了变换编码方法，对音乐的编码较好，但在某些情况下对语音的编码性能不佳。

ITU-T G.722.2是利用ACELP(Algebraic Code Excited Linear Prediction，代数码本激励线性预测)技术的多速率宽带语音编码器，也称为AMR-WB(Adaptive Multi-Rate Widebandcodec)。其采样率为16kHz，并支持从6.6kb/s至23.85kb/s的多种码率。其中，在12.65kb/s以上的码率下，已经达到了很好的语音编码质量。

在实际应用中，人们越来越需要在复杂的网络条件下传输宽带的多声道音频信号。而使用上述现有的各种编码器都不能达到很好的效果，即现有的编解码技术具有如下缺点：

1.随着码率的降低，不能良好地适应各种音频信号。Enhanced aacPlus虽然对通用音频信号在较低码流速率下可以获得很好的编码质量，但对于语音信号的编码质量较低。AMR-WB虽然对语音信号编码质量很高，但对于音乐信号的编码质量较差。

2.缺乏可缩放性。不同网络条件下会有不同的带宽、延时和丢包率。编解码系统不能根据当前的网络条件，自适应地调整工作模式，所以无法达到在该条件下最佳的传输质量。

3.缺乏误码掩盖机制，导致网络传输中不可避免地会发生数据丢失。

另外，还有一种现有技术，即3GPP(3rd Generation Partnership Project，第三代移动通信合作组织)制定了一套AMR-WB+(Enhanced Adaptive Multi Rate WideBand codec，自适应多速率宽带音频编码标准)，将ACELP技术和TCX(Transform Coded Excitation，变换编码激励)结合起来，利用两者分别在语音和音乐上的优势，总体上达到了较高的音频编码性能。该编码器在单声道模式下的码率在7-36kb/s，立体声模式下的码率在7-48kb/s。编码带宽最高可达19.2kHz。但是它并未达到对于多声道编码的支持。它也不具备码流可缩放功能。所以它还不能充分适用于复杂的网络条件。

发明内容

为了能够适应多种信号、自适应调整工作模式以及防止数据丢失，本发明提供了一种编码集成系统和方法、以及一种解码集成系统和方法。所述技术方案如下：

一方面，一种编码集成系统，所述系统包括接收模块、提取模块、分类模块、子编码器、控制模块、合并模块和封装及传输模块；

所述接收模块，用于接收多媒体信号；

所述提取模块，用于从所述接收模块接收的多媒体信号中，提取出所述多媒体信号的相关性信息，根据所述多媒体信号得到一路主信号；

所述分类模块，用于根据所述子编码器的性能，对所述提取模块得到的主信号或所述接收模块接收的多媒体信号进行特征分类，获得信号类型，并根据所述信号类型，将所述主信号发送给相应的子编码器；

所述子编码器，用于对所述分类模块发来的所述主信号进行编码，得到子编码器编码码流；

所述控制模块，用于根据信道传输条件和系统输出码率的要求设置特定参数，根据所述特定参数控制所述提取模块、分类模块、子编码器和合并模块的工作状态；

所述合并模块，用于将所述控制模块设置的特定参数与所述提取模块提取出的相关性信息和得到的主信号、所述分类模块获得的信号类型合并后进行无损编码，然后与所述子编码器得到的子编码器编码码流合并；

所述封装及传输模块，用于对所述合并模块得到的码流，进行传输格式封装，然后输出所述封装后的码流数据。

当所述接收模块接收多路多媒体信号时，所述提取模块具体用于从所述接收模块接收的多路多媒体信号中，提取出所述多路多媒体信号间的相关性信息，将所述多路多媒体信号合并得到一路主信号。

所述提前模块还用于从所述主信号中提取出高频信息，获得所述主信号的低频部分；相应地，

所述分类模块，具体用于根据所述子编码器的性能，对所述提取模块得到的主信号的低频部分或所述接收模块接收的多媒体信号进行特征分类，获得信号类型，并根据所述信号类型，将所述主信号的低频部分发送给相应的子编码器；

所述子编码器，具体用于对所述分类模块发来的所述主信号的低频部分进行编码，得到子编码器编码码流；

所述合并模块具体用于将所述控制模块设置的特定参数与所述提取模块提取出的相关性信息、高频信息和得到的主信号的低频部分，以及所述分类模块获得的信号类型合并后进行无损编码，然后与所述子编码器得到的子编码器编码码流合并。

所述分类模块具体包括：

分类单元，用于根据所述子编码器的性能，对所述提取模块得到的主信号或所述接收模块收到的多媒体信号进行特征分类，获得信号类型；

无缝切换单元，用于根据所述分类单元得到的信号类型，将所述主信号发送给相应的所述子编码器，当将多个所述主信号发送给多个所述子编码器时，采用无缝切换的方式将多个所述主信号逐一切换发送给多个所述子编码器。

当所述多媒体信号为音频信号时，所述相关性信息包括多声道信息参数和音效参数中的至少一种。

所述合并模块还包括：

误码保护单元，用于在所述控制模块的控制下，根据传输信道需求，在所述合并模块得到的码流中添加误码保护信息，然后将所述添加后得到的码流发送给所述封装及传输模块。

所述误码保护信息具体包括误码校验数据和差错隐藏信息中的至少一种。

另一方面，一种解码集成系统，所述系统包括接收及解封装模块、解析模块、分配模块、子解码器、控制模块和缓存输出模块；

所述接收及解封装模块，用于接收码流数据，对所述码流数据进行解封装，获得编码数据；

所述解析模块，用于对所述接收及解封装模块得到的编码数据进行解析，获得子编码器编码码流、特定参数、信号类型和相关性信息；

所述分配模块，用于根据所述解析模块得到的信号类型，将所述解析模块得到的所述子编码器编码码流发送给相应的子解码器；

所述子解码器，用于对所述分配模块发来的子编码器编码码流进行解码，获得主信号并输出给所述缓存输出模块；

所述控制模块，用于根据所述解析模块得到的所述特定参数，控制所述子解码器的工作状态；

所述缓存输出模块，用于缓存所述子解码器输出的所述主信号，然后输出所述主信号；或者对所述子解码器输出的所述主信号进行处理，然后输出所述处理后的信号。

所述分配模块具体用于根据所述解析模块得到的信号类型，采用无缝切换的方式将所述解析模块得到的多个所述子编码器编码码流逐一切换发送给多个所述子解码器。

所述相关性信息包括多声道信息参数，所述缓存输出模块具体包括：

多声道重建单元，用于根据所述解析模块得到的特定参数和多声道信息参数，对所述子解码器输出的所述主信号进行恢复，得到多声道音频信号；

缓存输出单元，用于缓存所述多声道重建单元得到的多声道音频信号，然后输出所述多声道音频信号。

所述相关性信息包括音效参数，所述缓存输出模块具体包括：

音效重建单元，用于根据所述解析模块得到的特定参数和音效参数，对所述子解码器输出的所述主信号重建出音效，获得音频信号；

缓存输出单元，用于缓存所述音效重建单元得到的音频信号，然后输出所述音频信号。

所述解析模块还用于从所述接收及解封装模块得到的编码数据中解析出主信号的高频信息；相应地，

所述子解码器，具体用于对所述分配模块发来的子编码器编码码流进行解码，获得所述主信号的低频部分，并输出给所述缓存输出模块；

所述缓存输出模块具体包括：

扩展单元，用于根据所述解析模块得到的所述特定参数、主信号的高频信息和相关性信息，将所述子解码器输出的所述主信号的低频部分扩展为全带信号；

缓存输出单元，用于缓存所述扩展单元得到的全带信号，然后输出所述全带信号。

所述系统还包括：

差错检测模块，用于检测所述接收及解封装模块接收的码流数据中是否有误码或检测传输或存储是否存在异常，如果有误码或存在异常，则发送请求差错隐藏处理的通知；如果既没有误码也不存在异常，则触发所述接收及解封装模块进行解封装；

差错隐藏模块，用于接收所述差错检测模块发来的通知，对所述接收及解封装模块接收的码流数据进行解封装得到编码数据，对所述编码数据进行解析得到特定参数，根据所述特定参数进行差错隐藏处理，将所述码流数据恢复成完整、连续的多媒体信号。

所述系统还包括：

差错检测模块，用于检测所述接收及解封装模块接收的码流数据中是否有误码或检测传输或存储是否存在异常，如果有误码或存在异常，则发送请求差错隐藏处理的通知；如果既没有误码也不存在异常，则触发所述接收及解封装模块进行解封装；

差错隐藏模块，用于接收所述差错检测模块发来的通知，对所述接收及解封装模块接收的码流数据进行解封装得到编码数据，对所述编码数据进行解析得到特定参数和误码保护信息，根据所述特定参数和误码保护信息进行差错隐藏处理，将所述码流数据恢复成完整、连续的多媒体信号。

一方面，一种编码集成方法，所述方法包括：

步骤1：根据信道传输条件和输出码率的要求设置特定参数；

步骤2：根据所述特定参数，从接收到的多媒体信号中提取所述多媒体信号的相关性信息，根据所述多媒体信号得到一路主信号；

步骤3：根据子编码器的性能，对所述主信号或所述多媒体信号进行特征分类，获得信号类型，并根据所述信号类型，将所述主信号发送给相应的所述子编码器；

步骤4：所述子编码器根据所述特定参数对所述主信号进行编码，得到子编码器编码码流；

步骤5：将所述特定参数、相关性信息和信号类型合并后进行无损编码，然后与所述子编码器编码码流合并，并进行传输格式封装得到码流数据，然后传输所述码流数据。

所述步骤2中从接收到的多媒体信号中提取所述多媒体信号的相关性信息，根据所述多媒体信号得到一路主信号的步骤具体包括：

从接收到的多路多媒体信号中，提取出所述多路多媒体信号间的相关性信息，将所述多路多媒体信号合并得到一路主信号。

所述方法还包括：

所述步骤3中将所述主信号发送给相应的所述子编码器时，采用无缝切换的方式在多个所述子编码器之间切换。

所述步骤5中进行传输格式封装之前还包括：

在将所述无损编码后的结果与所述子编码器编码码流合并后得到的码流数据中添加误码保护信息。

所述步骤2之后还包括：

从所述主信号中提取出高频信息，获得所述主信号的低频部分；

相应地，所述步骤3中根据所述信号类型，将所述主信号发送给相应的所述子编码器的步骤具体为：

根据所述信号类型，将所述主信号的低频部分发送给相应的所述子编码器；

所述步骤4具体为：

所述子编码器根据所述特定参数对所述主信号的低频部分进行编码，得到子编码器编码码流；

所述步骤5具体为：

将所述特定参数、相关性信息、高频信息和信号类型合并后进行无损编码，然后与所述子编码器编码码流合并，并进行传输格式封装得到码流数据，然后传输所述码流数据。

另一方面，一种解码集成方法，所述方法包括：

步骤1：接收码流数据，并进行解封装；

步骤2：对所述解封装后得到的码流进行解析，获得子编码器编码码流、特定参数、信号类型和相关性信息；

步骤3：根据所述信号类型，将所述子编码器编码码流发送给相应的子解码器；

步骤4：所述子解码器对所述子编码器编码码流进行解码，得到主信号；

步骤5：输出所述主信号，或者对所述主信号进行处理后，输出所述处理后的信号。

所述方法还包括：

所述步骤3中将所述子编码器编码码流发送给相应的子解码器时，采用无缝切换的方式在多个所述子解码器之间切换。

所述相关性信息包括多声道信息参数，相应地，所述步骤5具体包括：

根据所述特定参数和多声道信息参数，对所述主信号进行恢复，得到多声道音频信号，然后输出所述多声道音频信号。

所述相关性信息包括音效参数，相应地，所述步骤5具体包括：

根据所述特定参数和音效参数，对所述主信号重建出音效，获得音频信号，然后输出所述音频信号。

所述步骤2之后还包括：

从所述解封装后得到的码流中解析出主信号的高频信息；

相应地，所述步骤4具体为：

所述子解码器对所述子编码器编码码流进行解码，得到所述主信号的低频部分；

所述步骤5具体包括：

根据所述特定参数、相关性信息和主信号的高频信息，将所述主信号的低频部分扩展为全带信号，然后输出所述全带信号。

所述步骤1中接收码流数据之后还包括：

判断所述码流数据中是否有误码或判断传输或存储是否存在异常，如果有误码或存在异常，则对所述码流数据进行解封装和解析得到特定参数，根据所述特定参数进行差错隐藏处理，将所述码流数据码流恢复成完整、连续的多媒体信号；如果既没有误码也不存在异常，则执行解封装的步骤。

所述步骤1中接收码流数据之后还包括：

判断所述码流数据中是否有误码或判断传输或存储是否存在异常，如果有误码或存在异常，则对所述码流数据进行解封装和解析得到特定参数和误码保护信息，然后根据所述特定参数和误码保护信息对所述码流数据进行差错隐藏处理，将所述码流数据码流恢复成完整、连续的多媒体信号；如果既没有误码也不存在异常，则执行解封装的步骤。

本发明通过子编码器对主信号的低频部分编码，使音质的损失较小，能极大地降低码流速率，提高编解码的效果，且充分发挥各种个性化多媒体编码器的优势，满足主观感觉特性及不同信道需求。通过设置特定参数控制编码集成系统和解码集成系统中各个模块的工作状态，使系统能够适应不同网络通信条件下的传输。通过提取多声道信息参数，可以用较少的数据近似描述声道间的信号差别，同时在听觉上也不造成可感知的差异。采用了无缝切换方式，可以使不同的子编码器之间的音频数据光滑连接，平滑过渡，而且不增加计算复杂度，也不引入编解码延时。通过误码保护，可以有效地掩盖数据丢失造成的主观听觉感受下降，减小和避免了传输过程中数据错误而引起的音频信号丢失，极大地提高网络中音频传输和回放的质量。通过插入前后帧数据的方式恢复出当前帧信号，避免了出现令人厌烦的噪声。

附图说明

图1是本发明实施例1提供的编码集成系统的结构示意图；

图2是本发明实施例1提供的编码集成系统的工作原理示意图；

图3是本发明实施例2提供的解码集成系统的结构示意图；

图4是本发明实施例2提供的解码集成系统的工作原理示意图；

图5是本发明实施例3提供的编码集成方法的流程图；

图6是本发明实施例4提供的解码集成方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

参见图1，本发明实施例提供了一种编码集成系统，具体包括接收模块、提取模块、分类模块、子编码器、控制模块、合并模块和封装及传输模块；

(1)接收模块，用于接收多媒体信号；

(2)提取模块，用于从接收模块接收的多媒体信号中，提取出多媒体信号的各信号间的相关度、时间差、强度差等相关性信息，根据多媒体信号得到一路主信号；

当接收模块接收多路多媒体信号时，提取模块可以具体用于从接收模块接收的多路多媒体信号中，提取出多路多媒体信号间的相关性信息，将多路多媒体信号合并得到一路主信号。

进一步地，提取模块还可以用于提取出主信号的高频信息，获得主信号的低频部分；其中，提取出的主信号的高频信息可以包括：高频频谱形状、高频信号与低频信号能量的比值等等。

其中，当多媒体信号为音频信号时，相关性信息可以包括多声道信息参数和/或音效参数等等。其中，多声道信息参数可以反映出多声道音频信号之间的相关性及差别信息，主声道音频信号包含了多声道音频信号的主要信息；多声道信息参数可以有多种编码方式，比如Huffman编码形式。其中，音效参数可以包括：混响时间、增益系数、音效滤波器参数等等。例如，参见图2，可以提取接收的音频信号中的多声道信息参数和音效参数。

(3)分类模块，用于根据子编码器的性能，对提取模块得到的主信号或接收模块接收的多媒体信号进行特征分类，获得信号类型，并根据该信号类型，将主信号发送给相应的子编码器；

当提取模块提取出主信号的高频信息时，分类模块具体用于根据子编码器的性能，对提取模块得到的主信号或接收模块接收的多媒体信号进行特征分类，获得信号类型，并根据该信号类型，将主信号的低频部分发送给相应的子编码器；

在本实施例中子编码器为多个，每个子编码器都适应不同类型的信号，分类模块在分类时，将主信号的低频部分分配给信号类型合适的子编码器，使不同的信号类型对应不同的子编码器；

(4)子编码器，用于对分类模块发来的主信号进行编码，得到子编码器编码码流；

当提取模块提取出主信号的高频信息时，子编码器具体用于对分类模块发来的主信号的低频部分进行编码，得到子编码器编码码流；

其中，子编码器为多个，分别适用于不同的音频类型；

(5)控制模块，用于根据信道传输条件和系统输出码率的要求设置特定参数，根据该特定参数控制提取模块、分类模块、子编码器和合并模块的工作状态；

其中，特定参数可以为信道条件参数、音质参数等。例如，特定参数为无线双向信道，高质量话音，通过该特定参数控制模块可确定系统延时、压缩效率、纠错强度、可选子编码器等。控制模块还可以控制提取模块提取高频信息参数的精确程度，如果允许较高的码率，则可以提取较多的参数以减小失真；如果网络带宽较小，则可以提取较少参数以压缩码率。

(6)合并模块，用于将控制模块设置的特定参数与提取模块提取出的相关性信息和得到的主信号、分类模块获得的信号类型合并后进行无损编码，然后与子编码器得到的子编码器编码码流合并；

当提取模块提取出主信号的高频信息时，合并模块具体用于将控制模块设置的特定参数与提取模块提取出的相关性信息、高频信息和得到的主信号的低频部分、以及分类模块获得的信号类型合并后进行无损编码，然后与子编码器得到的子编码器编码码流合并；

(7)封装及传输模块，用于对合并模块得到的码流，进行传输格式封装，然后输出封装后的码流数据。

其中，封装可以为对码流进行压缩处理等。

为了保证在多个子编码器之间平滑过渡，进一步地，分类模块可以具体包括：

1)分类单元，用于根据子编码器的性能，对提取模块得到的主信号或接收模块接收的多媒体信号进行特征分类，获得信号类型；

2)无缝切换单元，用于根据分类单元得到的信号类型，将主信号发送给相应的子编码器，当将多个主信号发送给多个子编码器时，采用无缝切换的方式将多个主信号逐一切换发送给多个子编码器。

例如，参见图2，采用无缝切换处理，将不同类型的信号分配给N个子编码器中合适的子编码器。

其中，在同一时刻，只有一个子编码器工作，通过无缝切换，使不同的子编码器之间可以平滑过渡。

进一步地，合并模块还可以包括：

误码保护单元，用于在控制模块的控制下，根据传输信道需求，在合并模块得到的码流中添加误码保护信息，然后将添加后得到的码流发送给封装及传输模块。而且，控制模块还可以具体对误码保护单元的工作状态进行控制，如决定错误帧是否包含瞬态信号，错误帧的重建是利用前帧还是后帧的参考信号等等。

上述误码保护信息具体包括误码校验数据和差错隐藏信息中的至少一种。其中，差错隐藏信息包括前后帧的音频信息数据，它可以具体为粗略描述前后帧数据的一些参数，如信号的时域瞬态特性、子带能量包络等，比特率较低。当插入误码校验后，还可以采用误码稳健性的处理方法防止误码扩散，如采用MPEG-4中的针对分段信息的虚拟码本、处理缩放因子数据的可逆变长编码以及防止频谱数据扩展的Huffman码字重排序算法等等。

实施例2

参见图3，本发明实施例提供了一种解码集成系统，具体包括接收及解封装模块、解析模块、分配模块、子解码器、控制模块和缓存输出模块；

(1)接收及解封装模块，用于接收码流数据，对该码流数据进行解封装，获得编码数据；

(2)解析模块，用于对接收及解封装模块得到的编码数据进行解析，获得子编码器编码码流、特定参数、信号类型和相关性信息；

进一步地，解析模块还用于从编码数据中解析出主信号的高频信息；

(3)分配模块，用于根据解析模块得到的信号类型，将解析模块得到的子编码器编码码流发送给相应的子解码器；

其中，分配模块可以具体用于根据解析模块得到的信号类型，采用无缝切换的方式将解析模块得到的多个子编码器码流逐一切换发送给多个子解码器。例如，参见图4，采用无缝切换处理，根据信号类型将子编码器码流发送给N个子解码器中合适的子解码器。

(4)子解码器，用于对分配模块发来的子编码器编码码流进行解码，获得主信号并输出给缓存输出模块；

当解析模块解析出主信号的高频信息时，子解码器具体用于对分配模块发来的子编码器编码码流进行解码，获得主信号的低频部分并输出给缓存输出模块；

(5)控制模块，用于根据解析模块得到的特定参数，控制子解码器的工作状态。

(6)缓存输出模块，用于缓存子解码器输出的主信号，并输出该主信号；或者对子解码器输出的主信号进行处理，然后输出处理后的信号。

进一步地，当接收的码流数据为音频信号的码流数据时，相关性信息包括多声道信息参数，相应地，缓存输出模块具体包括：

多声道重建单元，用于根据解析模块得到的特定参数和多声道信息参数，对子解码器输出的主信号进行恢复，得到多声道音频信号；此时，特定参数可以为提取多声道信息参数的精度等等；

缓存输出单元，用于缓存多声道重建单元得到的多声道音频信号，然后输出该多声道音频信号。

进一步地，当接收的码流数据为经过音效处理的音频信号的码流数据时，相关性信息包括音效参数，相应地，缓存输出模块具体包括：

音效重建单元，用于根据解析模块得到的特定参数和音效参数，对子解码器输出的主信号重建出音效，获得音频信号；此时，特定参数可以为提取音效参数的精度等等；

缓存输出单元，用于缓存音效重建单元得到的音频信号，然后输出该音频信号。

进一步地，当解析模块解析出主信号的高频信息，子解码器输出主信号的低频部分时，缓存输出模块具体包括：

扩展单元，用于根据解析模块得到的特定参数、主信号的高频信息和相关性信息，将子解码器输出的主信号的低频部分扩展为全带信号；

缓存输出单元，用于缓存扩展单元得到的全带信号，然后输出该全带信号。

进一步地，上述系统还可以包括：

差错检测模块，用于检测接收及解封装模块接收的码流数据中是否有误码或检测传输或存储是否存在异常，如果有误码或存在异常，则发送请求差错隐藏处理的通知；如果既没有误码也不存在异常，则触发接收及解封装模块进行解封装；

差错隐藏模块，用于接收差错检测模块发来的通知，对接收及解封装模块接收的码流数据进行解封装得到编码数据，对编码数据进行解析得到特定参数，根据特定参数进行差错隐藏处理，将接收的码流数据恢复成完整、连续的多媒体信号。

进一步地，上述系统还可以包括：

差错检测模块，用于检测接收及解封装模块接收的码流数据中是否有误码或检测传输或存储是否存在异常，如果有误码或存在异常，则发送请求差错隐藏处理的通知；如果既没有误码也不存在异常，则触发接收及解封装模块进行解封装；

差错隐藏模块，用于接收差错检测模块发来的通知，对接收及解封装模块接收的码流数据进行解封装得到编码数据，对编码数据进行解析得到特定参数和误码保护信息，根据特定参数和误码保护信息进行差错隐藏处理，将接收的码流数据恢复成完整、连续的多媒体信号。

其中，上述差错检测模块可以根据检测码流中的误码校验数据，来判断码流中是否存在误码，另外，差错隐藏模块可以采用静音、插值、模型法等方式进行恢复，恢复后得到的多媒体信号为接近实际多媒体信号的波形。

实施例3

参见图5，本发明实施例还提供了一种编码集成方法，具体包括以下步骤：

步骤101：在发送端根据信道传输条件和系统输出码率的要求设置特定参数。

步骤102：根据特定参数，从接收到的多媒体信号中提取多媒体信号的相关性信息，根据多媒体信号得到一路主信号；

进一步地，还可以从主信号中提取出主信号的高频信息，获得主信号的低频部分。

其中，特定参数可以为提取主信号的高频信息的精度或其他缩放参数等等。

其中，提取相关性信息并得到一路主信号的步骤可以具体包括：从接收到的多路多媒体信号中，提取出多路多媒体信号间的相关性信息，将多路多媒体信号合并得到一路主信号。

当接收的多媒体信号为音频信号时，相关性信息可以包括多声道信息参数和音效参数中的至少一种。

步骤103：根据子编码器的性能，对主信号或接收的多媒体信号的进行特征分类，获得信号类型，并根据信号类型，将主信号发送给相应的子编码器。

在编码延时要求严格的情况下，步骤103可以与步骤102同步进行。

子编码器可以为多个，当获得不同类型的主信号时，可以采用无缝切换的方式将多个主信号逐一切换发送给多个子编码器，即保证在每一个时刻，只有一个子编码器在工作，根据信号类型选择合适的子编码器，并在多个子编码器之间平滑过渡。

当步骤102中提取出高频信息，获得主信号的低频部分时，步骤103具体为：

根据子编码器的性能，对主信号或接收的多媒体信号的进行特征分类，获得信号类型，并根据信号类型，将主信号的低频部分发送给相应的子编码器。

步骤104：子编码器根据特定参数对主信号进行编码，得到子编码器编码码流。

其中，特定参数用来控制各个子编码器的码率和采样率等工作状态，不同的子编码器可以使用不同的码率和采样率。

当步骤103中将主信号的低频部分发送给相应的子编码器时，步骤104具体为：

子编码器根据特定参数对主信号的低频部分进行编码，得到子编码器编码码流。

步骤105：将特定参数、相关性信息和信号类型合并，然后进行无损编码，如熵编码，并与各子编码器码流合并，然后进行传输格式封装得到码流数据，然后传输该码流数据。

当步骤102中提取出高频信息时，步骤105具体为：

将特定参数、相关性信息、高频信息和信号类型合并，然后进行无损编码，如熵编码，并与各子编码器码流合并，然后进行传输格式封装得到码流数据，然后传输该码流数据。

进一步地，进行传输格式封装之前还可以包括下面的步骤：

在将无损编码后的结果与子编码器编码码流合并后得到的码流中添加误码保护信息，用来在接收端恢复数据。该误码保护信息可以为误码校验数据和差错隐藏信息中的至少一种。其中，差错隐藏信息包括但不限于前后帧的音频信息数据，如粗略描述前后帧数据的一些参数等。而且，插入误码校验数据后，还可以采用误码稳健性的处理方法防止误码扩散。

其中，封装具体为对得到的码流数据进行压缩，以方便传输。

实施例4

参见图6，本发明实施例提供了一种解码集成方法，具体包括以下步骤：

步骤201：接收端接收码流数据，并进行解封装。

步骤202：对解封装后得到的码流进行解析，获得子编码器编码码流、特定参数、信号类型和相关性信息。

进一步地，还可以解析出高频信息。

如果在合并码流时添加了误码保护信息，则解析码流时，还会解析出误码保护信息。

步骤203：根据信号类型，将子编码器编码码流发送给相应的子解码器。

进一步地，可以通过无缝切换方式在多个子解码器之间进行切换，达到平滑过渡，使同一时刻只有一个子解码器在工作。

步骤204：子解码器对子编码器编码码流进行解码，得到主信号。

步骤205：输出主信号，或者对该主信号进行处理后，输出处理后的信号。

当接收的码流数据为音频信号的码流数据时，相关性信息中还可以包含多声道信息参数，相应地，步骤205可以具体包括：根据特定参数和多声道信息参数，对主信号进行恢复，得到多声道音频信号，然后输出多声道音频信号。

当接收的码流数据为音频信号的码流数据时，相关性信息中还可以包含音效参数，相应地，步骤205可以具体包括：根据特定参数和音效参数，对主信号重建出音效，获得音频信号，然后输出该音频信号。

进一步地，当步骤202中还解析出高频信息时，步骤204具体为：

子解码器对子编码器编码码流进行解码，得到主信号的低频部分；

相应地，步骤205具体包括：

根据特定参数、相关性信息和主信号的高频信息，将主信号的低频部分扩展为全带信号，然后输出该全带信号。

进一步地，步骤201中接收码流数据之后还可以包括下面的步骤：

判断接收的码流数据中是否有误码或判断传输或存储是否存在异常，如果既没有误码也不存在异常，则继续执行解封装的步骤；如果有误码或存在异常，则对该码流数据进行解封装和解析得到特定参数，根据该特定参数进行差错隐藏处理，将收到的码流数据恢复成完整、连续的多媒体信号，该多媒体信号为接近实际多媒体信号的波形。另外，如果发送端添加了误码保护信息，则接收端进行差错隐藏处理时，可以根据解析出来的误码保护信息和特定参数一起进行差错隐藏处理。

本发明实施例通过子编码器对主信号的低频部分编码，使音质的损失较小，能极大地降低码流速率，提高编解码的效果。通过设置特定参数控制编码集成系统和解码集成中各个模块的工作状态，使系统能够适应不同网络通信条件下的传输。通过提取多声道信息参数，可以用较少的数据近似描述声道间的信号差别，同时在听觉上也不造成可感知的差异。采用了无缝切换方式，可以使不同的子编码器之间的音频数据光滑连接，平滑过渡，而且不增加计算复杂度，也不引入编解码延时。通过误码保护，可以有效地掩盖数据丢失造成的主观听觉感受下降，减小和避免了传输过程中数据错误而引起的音频信号丢失，极大地提高网络中音频传输和回放的质量。通过插入前后帧数据的方式恢复出当前帧信号，避免了出现令人厌烦的噪声。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (26)

1.一种编码集成系统，其特征在于，所述系统包括接收模块、提取模块、分类模块、子编码器、控制模块、合并模块和封装及传输模块；

所述接收模块，用于接收多媒体信号；

所述提取模块，用于从所述接收模块接收的多媒体信号中，提取出所述多媒体信号的相关性信息，根据所述多媒体信号得到一路主信号；

所述分类模块，用于根据所述子编码器的性能，对所述提取模块得到的主信号或所述接收模块接收的多媒体信号进行特征分类，获得信号类型，并根据所述信号类型，将所述主信号发送给相应的子编码器；

所述子编码器，用于对所述分类模块发来的所述主信号进行编码，得到子编码器编码码流；

所述控制模块，用于根据信道传输条件和系统输出码率的要求设置特定参数，根据所述特定参数控制所述提取模块、分类模块、子编码器和合并模块的工作状态；

所述合并模块，用于将所述控制模块设置的特定参数与所述提取模块提取出的相关性信息和得到的主信号、所述分类模块获得的信号类型合并后进行无损编码，然后与所述子编码器得到的子编码器编码码流合并；

所述封装及传输模块，用于对所述合并模块得到的码流，进行传输格式封装，然后输出所述封装后的码流数据。

2.根据权利要求1所述的编码集成系统，其特征在于，当所述接收模块接收多路多媒体信号时，所述提取模块具体用于从所述接收模块接收的多路多媒体信号中，提取出所述多路多媒体信号间的相关性信息，将所述多路多媒体信号合并得到一路主信号。

3.根据权利要求1所述的编码集成系统，其特征在于，所述提前模块还用于从所述主信号中提取出高频信息，获得所述主信号的低频部分；相应地，

所述分类模块，具体用于根据所述子编码器的性能，对所述提取模块得到的主信号的低频部分或所述接收模块接收的多媒体信号进行特征分类，获得信号类型，并根据所述信号类型，将所述主信号的低频部分发送给相应的子编码器；

所述子编码器，具体用于对所述分类模块发来的所述主信号的低频部分进行编码，得到子编码器编码码流；

所述合并模块具体用于将所述控制模块设置的特定参数与所述提取模块提取出的相关性信息、高频信息，以及所述分类模块获得的信号类型合并后进行无损编码，然后与所述子编码器得到的子编码器编码码流合并。

4.根据权利要求1所述的编码集成系统，其特征在于，所述分类模块具体包括：

分类单元，用于根据所述子编码器的性能，对所述提取模块得到的主信号或所述接收模块收到的多媒体信号进行特征分类，获得信号类型；

无缝切换单元，用于根据所述分类单元得到的信号类型，将所述主信号发送给相应的所述子编码器，当将多个所述主信号发送给多个所述子编码器时，采用无缝切换的方式将多个所述主信号逐一切换发送给多个所述子编码器。

5.根据权利要求1所述的编码集成系统，其特征在于，当所述多媒体信号为音频信号时，所述相关性信息包括多声道信息参数和音效参数中的至少一种。

6.根据权利要求1所述的编码集成系统，其特征在于，所述合并模块还包括：

误码保护单元，用于在所述控制模块的控制下，根据传输信道需求，在所述合并模块得到的码流中添加误码保护信息，然后将所述添加后得到的码流发送给所述封装及传输模块。

7.根据权利要求6所述的编码集成系统，其特征在于，所述误码保护信息具体包括误码校验数据和差错隐藏信息中的至少一种。

8.一种解码集成系统，其特征在于，所述系统包括接收及解封装模块、解析模块、分配模块、子解码器、控制模块和缓存输出模块；

所述接收及解封装模块，用于接收码流数据，对所述码流数据进行解封装，获得编码数据；

所述解析模块，用于对所述接收及解封装模块得到的编码数据进行解析，获得子编码器编码码流、特定参数、信号类型和相关性信息；

所述分配模块，用于根据所述解析模块得到的信号类型，将所述解析模块得到的所述子编码器编码码流发送给相应的子解码器；

所述子解码器，用于对所述分配模块发来的子编码器编码码流进行解码，获得主信号并输出给所述缓存输出模块；

所述控制模块，用于根据所述解析模块得到的所述特定参数，控制所述子解码器的工作状态；

所述缓存输出模块，用于缓存所述子解码器输出的所述主信号，然后输出所述主信号；或者对所述子解码器输出的所述主信号进行处理，然后输出所述处理后的信号。

9.根据权利要求8所述的解码集成系统，其特征在于，所述分配模块具体用于根据所述解析模块得到的信号类型，采用无缝切换的方式将所述解析模块得到的多个所述子编码器编码码流逐一切换发送给多个所述子解码器。

10.根据权利要求8所述的解码集成系统，其特征在于，所述相关性信息包括多声道信息参数，所述缓存输出模块具体包括：

多声道重建单元，用于根据所述解析模块得到的特定参数和多声道信息参数，对所述子解码器输出的所述主信号进行恢复，得到多声道音频信号；

缓存输出单元，用于缓存所述多声道重建单元得到的多声道音频信号，然后输出所述多声道音频信号。

11.根据权利要求8所述的解码集成系统，其特征在于，所述相关性信息包括音效参数，所述缓存输出模块具体包括：

音效重建单元，用于根据所述解析模块得到的特定参数和音效参数，对所述子解码器输出的所述主信号重建出音效，获得音频信号；

缓存输出单元，用于缓存所述音效重建单元得到的音频信号，然后输出所述音频信号。

12.根据权利要求8所述的解码集成系统，其特征在于，所述解析模块还用于从所述接收及解封装模块得到的编码数据中解析出主信号的高频信息；相应地，

所述子解码器，具体用于对所述分配模块发来的子编码器编码码流进行解码，获得所述主信号的低频部分，并输出给所述缓存输出模块；

所述缓存输出模块具体包括：

扩展单元，用于根据所述解析模块得到的所述特定参数、主信号的高频信息和相关性信息，将所述子解码器输出的所述主信号的低频部分扩展为全带信号；

缓存输出单元，用于缓存所述扩展单元得到的全带信号，然后输出所述全带信号。

13.根据权利要求8所述的解码集成系统，其特征在于，所述系统还包括：

差错检测模块，用于检测所述接收及解封装模块接收的码流数据中是否有误码或检测传输或存储是否存在异常，如果有误码或存在异常，则发送请求差错隐藏处理的通知；如果既没有误码也不存在异常，则触发所述接收及解封装模块进行解封装；

差错隐藏模块，用于接收所述差错检测模块发来的通知，对所述接收及解封装模块接收的码流数据进行解封装得到编码数据，对所述编码数据进行解析得到特定参数，根据所述特定参数进行差错隐藏处理，将所述码流数据恢复成完整、连续的多媒体信号。

14.根据权利要求8所述的解码集成系统，其特征在于，所述系统还包括：

差错检测模块，用于检测所述接收及解封装模块接收的码流数据中是否有误码或检测传输或存储是否存在异常，如果有误码或存在异常，则发送请求差错隐藏处理的通知；如果既没有误码也不存在异常，则触发所述接收及解封装模块进行解封装；

差错隐藏模块，用于接收所述差错检测模块发来的通知，对所述接收及解封装模块接收的码流数据进行解封装得到编码数据，对所述编码数据进行解析得到特定参数和误码保护信息，根据所述特定参数和误码保护信息进行差错隐藏处理，将所述码流数据恢复成完整、连续的多媒体信号。

15.一种编码集成方法，其特征在于，所述方法包括：

步骤1：根据信道传输条件和输出码率的要求设置特定参数；

步骤2：根据所述特定参数，从接收到的多媒体信号中提取所述多媒体信号的相关性信息，根据所述多媒体信号得到一路主信号；

步骤3：根据子编码器的性能，对所述主信号或所述多媒体信号进行特征分类，获得信号类型，并根据所述信号类型，将所述主信号发送给相应的所述子编码器；

步骤4：所述子编码器根据所述特定参数对所述主信号进行编码，得到子编码器编码码流；

步骤5：将所述特定参数、相关性信息和信号类型合并后进行无损编码，然后与所述子编码器编码码流合并，并进行传输格式封装得到码流数据，然后传输所述码流数据。

16.根据权利要求15所述的编码集成方法，其特征在于，所述步骤2中从接收到的多媒体信号中提取所述多媒体信号的相关性信息，根据所述多媒体信号得到一路主信号的步骤具体包括：

从接收到的多路多媒体信号中，提取出所述多路多媒体信号间的相关性信息，将所述多路多媒体信号合并得到一路主信号。

17.根据权利要求15所述的编码集成方法，其特征在于，所述方法还包括：

所述步骤3中将所述主信号发送给相应的所述子编码器时，采用无缝切换的方式在多个所述子编码器之间切换。

18.根据权利要求15所述的编码集成方法，其特征在于，所述步骤5中进行传输格式封装之前还包括：

在将所述无损编码后的结果与所述子编码器编码码流合并后得到的码流数据中添加误码保护信息。

19.根据权利要求15所述的编码集成方法，其特征在于，所述步骤2之后还包括：

从所述主信号中提取出高频信息，获得所述主信号的低频部分；

相应地，所述步骤3中根据所述信号类型，将所述主信号发送给相应的所述子编码器的步骤具体为：

根据所述信号类型，将所述主信号的低频部分发送给相应的所述子编码器；

所述步骤4具体为：

所述子编码器根据所述特定参数对所述主信号的低频部分进行编码，得到子编码器编码码流；

所述步骤5具体为：

将所述特定参数、相关性信息、高频信息和信号类型合并后进行无损编码，然后与所述子编码器编码码流合并，并进行传输格式封装得到码流数据，然后传输所述码流数据。

20.一种解码集成方法，其特征在于，所述方法包括：

步骤1：接收码流数据，并进行解封装；

步骤2：对所述解封装后得到的码流进行解析，获得子编码器编码码流、特定参数、信号类型和相关性信息；

步骤3：根据所述信号类型，将所述子编码器编码码流发送给相应的子解码器；

步骤4：所述子解码器对所述子编码器编码码流进行解码，得到主信号；

步骤5：输出所述主信号，或者对所述主信号进行处理后，输出所述处理后的信号。

21.根据权利要求20所述的解码集成方法，其特征在于，所述方法还包括：

所述步骤3中将所述子编码器编码码流发送给相应的子解码器时，采用无缝切换的方式在多个所述子解码器之间切换。

22.根据权利要求20所述的解码集成方法，其特征在于，所述相关性信息包括多声道信息参数，相应地，所述步骤5具体包括：

根据所述特定参数和多声道信息参数，对所述主信号进行恢复，得到多声道音频信号，然后输出所述多声道音频信号。

23.根据权利要求20所述的解码集成方法，其特征在于，所述相关性信息包括音效参数，相应地，所述步骤5具体包括：

根据所述特定参数和音效参数，对所述主信号重建出音效，获得音频信号，然后输出所述音频信号。

24.根据权利要求20所述的解码集成方法，其特征在于，所述步骤2之后还包括：

从所述解封装后得到的码流中解析出主信号的高频信息；

相应地，所述步骤4具体为：

所述子解码器对所述子编码器编码码流进行解码，得到所述主信号的低频部分；所述步骤5具体包括：

根据所述特定参数、相关性信息和主信号的高频信息，将所述主信号的低频部分扩展为全带信号，然后输出所述全带信号。

25.根据权利要求20所述的解码集成方法，其特征在于，所述步骤1中接收码流数据之后还包括：

判断所述码流数据中是否有误码或判断传输或存储是否存在异常，如果有误码或存在异常，则对所述码流数据进行解封装和解析得到特定参数，根据所述特定参数进行差错隐藏处理，将所述码流数据码流恢复成完整、连续的多媒体信号；如果既没有误码也不存在异常，则执行解封装的步骤。

26.根据权利要求20所述的编解码集成方法，其特征在于，所述步骤1中接收码流数据之后还包括：

判断所述码流数据中是否有误码或判断传输或存储是否存在异常，如果有误码或存在异常，则对所述码流数据进行解封装和解析得到特定参数和误码保护信息，然后根据所述特定参数和误码保护信息对所述码流数据进行差错隐藏处理，将所述码流数据码流恢复成完整、连续的多媒体信号；如果既没有误码也不存在异常，则执行解封装的步骤。

Images