CN103280222B - 音频编码、解码方法及其系统 - Google Patents

音频编码、解码方法及其系统 Download PDF

Info

Publication number
CN103280222B
CN103280222B CN201310216510.8A CN201310216510A CN103280222B CN 103280222 B CN103280222 B CN 103280222B CN 201310216510 A CN201310216510 A CN 201310216510A CN 103280222 B CN103280222 B CN 103280222B
Authority
CN
China
Prior art keywords
data
voice data
present frame
quantization encoding
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310216510.8A
Other languages
English (en)
Other versions
CN103280222A (zh
Inventor
陈国明
彭远疆
蒋昀芝
欧文军
彭超
刘洪�
龙兴平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310216510.8A priority Critical patent/CN103280222B/zh
Publication of CN103280222A publication Critical patent/CN103280222A/zh
Priority to PCT/CN2013/088857 priority patent/WO2014194625A1/en
Application granted granted Critical
Publication of CN103280222B publication Critical patent/CN103280222B/zh
Priority to US14/816,673 priority patent/US9607625B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867Arrangements specially adapted for the transmitter end

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种音频编码、解码方法及其系统。所述音频编码方法,包括:对音频数据进行第一量化编码,获取第一量化编码数据;对所述音频数据进行第二量化编码,获取第二量化编码数据;将当前帧音频数据对应的所述第一量化编码数据耦合至音频数据码流的当前帧,将当前帧音频数据对应的所述第二量化编码数据耦合至音频数据码流的下一帧。本发明的音频编码、解码方法及其系统,既能够实现对传输过程中丢失的音频数据的还原,对网络音频传输的网络延时和音频质量还原的影响都较少。

Description

音频编码、解码方法及其系统
技术领域
本发明涉及音频数据处理的技术领域,特别是涉及一种音频编码方法及其系统,以及一种音频解码方法及其系统。
背景技术
通常的IP网络音频质量主要考虑两个因素的影响,分别是丢包和延迟。由于网络状况的时变性,各个节点和终端处理引入的时延,最终导致随机时延和丢包不可避免。为了提高网络音频质量,需要采用合适的丢包补偿方法对丢失的音频数据包进行补偿。
目前音频丢包补偿的主要方法有:
发送端重传,即确认丢失发送包后,重新发送数据包。
发送端交织,即调整发送包的时间顺序,以减轻突发丢包的影响。
解码端静音替代方法,即对丢失的数据包使用静音替代。
数据拼接方法,即直接将丢失的数据包前后的数据拼接起来。
包重复方法,即使用紧邻的前一个好的数据包来代替当前丢失的数据包。
波形插值方法,即使用前后包数据,利用插值的方法恢复丢失的数据包。
模型恢复方法,即使用构建语音或者音频的模型去恢复丢失的数据包。
上述各种方法中发送端重传需要重传整个丢失的数据帧,会较大幅度增加网络传输和端到端的延时,其余方法则会较大地影响重构音频的质量。
发明内容
针对上述背景技术中存在的对网络音频传输进行丢包补偿会增加延时或者影响重构音频的质量的问题,本发明的目的在于提供一种音频编码方法,对网络音频传输的网络延时和音频质量还原的影响都较少。
一种音频编码方法,包括以下步骤:
对音频数据进行第一量化编码,获取第一量化编码数据;对所述音频数据进行第二量化编码,获取第二量化编码数据,其中,所述第一量化编码的码率大于所述第二量化编码的码率;
将当前帧音频数据对应的所述第一量化编码数据耦合至音频数据码流的当前帧,将当前帧音频数据对应的所述第二量化编码数据耦合至音频数据码流的下一帧。
本发明的目的还在于提供一种与上述音频编码方法对应的音频编码系统。
一种音频编码系统,包括:
第一量化编码模块,用于对音频数据进行第一量化编码,获取第一量化编码数据;
第二量化编码模块,用于对所述音频数据进行第二量化编码,获取第二量化编码数据,其中,所述第一量化编码的码率大于所述第二量化编码的码率;
第一数据合成模块,用于将当前帧音频数据对应的所述第一量化编码数据耦合至音频数据码流的当前帧;将当前帧音频数据对应的所述第二量化编码数据耦合至所述音频数据码流的下一帧。
本发明的音频编码方法及其系统中,通过对音频数据分别以不同的码率和编码带宽来进行两次量化编码,并且两次量化编码获得的编码数据分别耦合至所述音频数据码流的当前帧和下一帧。则将所述音频数据码流传输到解码端后,解码端在解码时如果所述音频数据码流的当前帧发生丢包,也能够通过对所述音频数据码流的下一帧包含的第二量化编码数据解码而获取当前帧音频数据,无需重传整个当前帧,对网络延时影响较少。所述第二量化编码数据是直接根据当前帧音频数据编码获得,根据其解码获取对应的当前帧音频数据,可以使解码端音频数据还原的质量较好。
在一个实施例中,所述第一量化编码的码率大于所述第二量化编码的码率,因此所述第二量化编码数据数据所占的比特数较少,基本不影响网络带宽。
在一个实施例中,所述第一量化编码和所述第二量化编码的频域编码带宽相同,因此,丢帧补偿解码出来的音频数据与正常的音频数据没有太大的差异,音频质量更加得到保证。
针对上述背景技术中存在的对网络音频传输进行丢包补偿会增加延时或者影响重构音频的质量的问题,本发明的目的还在于提供一种音频解码方法,对网络音频传输的网络延时和音频质量还原的影响都较少。
一种音频数据解码方法,包括以下步骤:
获取音频数据码流;其中,所述音频数据码流的当前帧包括当前帧音频数据对应的第一量化编码数据,所述音频数据码流的下一帧包括所述当前帧音频数据对应的第二量化编码数据,所述第一量化编码数据和第二量化编码数据分别由第一量化编码和第二量化编码获得,所述第一量化编码的码率大于所述第二量化编码的码率;
判断获取的所述音频数据码流的当前帧是否丢失;
如果当前帧未丢失,则从所述当前帧中获取所述第一量化编码数据,对所述第一量化编码数据进行解码,获取当前帧音频数据;
如果当前帧丢失,则从所述当前帧的下一帧中获取所述第二量化编码数据,对所述第二量化编码数据进行解码,获取当前帧音频数据。
本发明的目的还在于提供一种与上述音频解码方法对应的音频解码系统。
一种音频数据解码系统,包括:
码流获取模块,用于获取音频数据码流;其中,所述音频数据码流的当前帧包括当前帧音频数据对应的第一量化编码数据,所述音频数据码流的下一帧包括所述当前帧音频数据对应的第二量化编码数据,所述第一量化编码数据和第二量化编码数据分别由第一量化编码和第二量化编码获得,所述第一量化编码的码率大于所述第二量化编码的码率;
判断模块,用于判断获取的所述音频数据码流的当前帧是否丢失;
第一量化解码模块,用于如果当前帧未丢失,则从所述当前帧中获取所述第一量化编码数据,对所述第一量化编码数据进行解码,获取当前帧音频数据;
第二量化解码模块,用于如果当前帧丢失,则从所述当前帧的下一帧中获取所述第二量化编码数据,对所述第二量化编码数据进行解码,获取当前帧音频数据。
本发明的音频数据解码方法及其系统中,首先判断获取的音频数据码流的当前帧是否数据丢失,如果未发生丢失,则直接从所述当前帧获取所述当前帧音频数据对应的第一量化编码数据进行解码,获取所述当前帧音频数据;如果发生丢失,则从下一帧中获取所述当前帧音频数据对应的第二量化编码数据,根据所述第二量化编码数据的解码获取丢失的当前帧音频数据。无需发送端重传整个丢失的数据帧,对网络延时影响较少。所述第二量化编码数据是直接根据音频数据编码而来,根据其解码获取对应的音频数据,可以使音频数据还原的质量较好。
附图说明
图1是本发明音频编码方法第一实施方式的流程示意图;
图2是本发明音频编码方法第二实施方式的流程示意图;
图3是本发明音频编码方法第三实施方式的流程示意图;
图4是本发明音频编码方法编码的一帧音频数据码流的帧结构示意图;
图5是本发明音频解码方法第一实施方式的结构示意图;
图6是本发明音频编码系统第一实施方式的结构示意图;
图7是本发明音频编码系统第二实施方式的局部结构示意图;
图8是本发明音频编码系统第三实施方式的局部结构示意图;
图9是本发明音频解码系统第一实施方式的结构示意图;
图10是本发明音频解码系统第二实施方式的结构示意图;
图11是本发明音频解码系统第三实施方式的结构示意图。
具体实施方式
请参阅图1,图1是本发明音频编码方法第一实施方式的流程示意图。
本实施方式的所述音频编码方法包括以下步骤:
S101,对音频数据进行第一量化编码,获取第一量化编码数据;
S102,对所述音频数据进行第二量化编码,获取第二量化编码数据;
S103,将当前帧音频数据对应的所述第一量化编码数据耦合至音频数据码流的当前帧,将当前帧音频数据对应的所述第二量化编码数据耦合至所述音频数据码流的下一帧。
通过对音频数据进行两次量化编码,并且两次量化编码获得的编码数据分别耦合至音频数据码流的当前帧和下一帧。在解码端发现当前帧发生丢包的情况下,也能够通过对下一帧包含的所述第二量化编码数据解码而获取当前帧音频数据,并且无需重传整个丢失的音频数据帧,对网络延时影响较少,并使音频数据还原的质量较好。
其中,对于步骤S101和步骤S102,对音频数据进行第一量化编码,所述第一量化编码包括各种音频数据的量化编码方式。所述音频数据包括单声道的音频数据,也包括立体声音频数据,以及各种帧长和采样率条件下获得的音频数据。
所述第一量化编码和所述第二量化编码根据预先设置的码率和编码带宽执行,获得的所述第一量化编码数据和所述第二量化编码数据是所述音频数据的核心编码信息,根据所述第一量化编码数据或者所述第二量化编码数据解码,都能够获得对应的音频数据。
所述第一量化编码和所述第二量化编码的码率和编码带宽一般根据传输信道的带宽,发送端、接收端的处理能力等参数设定。
在一个优选实施例中,所述第一量化编码的码率设置为大于所述第二量化编码的码率。因此,所述第二量化编码获得的第二量化编码数据的比特数小于所述第一量化编码获得的第一量化编码数据所占的比特数。因为所述第二量化编码数据是以FEC(Forward Error Concealment,前向差错隐藏)数据的形式耦合至音频数据码流的数据帧中的,而所述第二量化编码数据的比特数较少,对通信带宽的占用不会提高很多,但在丢失数据帧时,却能够准确恢复音频数据。
在另一个优选实施例中,所述第一量化编码和所述第二量化编码的频域编码带宽相同,因此,根据所述第二量化编码数据解码获得的音频数据与根据所述第一量化编码数据解码获得的音频数据在听觉上基本没有差异,即使音频数据在传输过程中发生丢包,在解码端仍能够获得较好的音频质量。
还可以进一步设置:所述第一量化编码的码率设置为大于所述第二量化编码的码率,并且所述第一量化编码和所述第二量化编码的频域编码带宽相同。则既可以保证对通信带宽的占用不会提高很多,又可在解码端得较好的音频质量。
在进行步骤S101和S102之前,即进行所述第一量化编码和第二量化编码之前,还可首先进行一个对所述音频数据进行QMF(Quadraure Mirror Filter,正交镜像滤波器)滤波分解的步骤:
对所述音频数据进行QMF滤波,分解为若干子带;
其中,对各个所述子带进行所述第一量化编码和第二量化编码时,所述第一量化编码和第二量化编码的编码高子带相同。
在实际操作时,可以通过QMF滤波器组,将音频数据的时域信号分解成若干子带(例如64子带),对于第一量化编码和第二量化编码,在不同编码码率下要保证编码高子带Band_high一致。这样所述第一量化编码和第二量化编码的编码带宽就相同了,其中,编码带宽=(Band_high*采样率/子带总数+1)>>1。
在进行所述第一量化编码和第二量化编码之前,还可以进行一个对所述音频数据做编码前的预处理的步骤,所述预处理的步骤包括以下一种或者多种的组合:
对所述音频数据进行下混频;
对所述音频数据进行下采样;
和/或,对所述音频信号进行MDCT变换(修正的离散余弦变换),将所述音频信号从时域变换到频域。
通过上述预处理过程中,通过下混频将立体声音频信号变换成单声道的音频信号,方便编码处理过程中提取核心编码信息。通过下采样,例如两倍的下采样,可以降低音频数据采样率,降低数据传输过程中对带宽造成的负担,通过MDCT变换,将所述音频信号从时域变换到频域,使其更适合于编码应用,提高音频编码的质量和效率。
对于上述步骤S103,将当前帧音频数据对应的所述第一量化编码数据耦合至音频数据码流的当前帧,因此如果在解码端收到的所述音频数据码流没有丢帧,则只需要在所述音频数据码流的当前帧中提取所述第一量化编码数据,对所述第一量化编码数据进行解码,即可获得对应的当前帧音频数据;
将当前帧音频数据对应的所述第二量化编码数据耦合至音频数据码流的下一帧,则如果在解码端收到的所述音频数据码流发生丢帧,当前帧丢失,则可以从所述当前帧的下一帧中提取所述当前帧音频数据对应的第二量化编码数据,对所述第二量化编码数据进行解码,即可获得对应的当前帧音频数据。
在生成所述音频数据码流过程中,可进一步在所述音频数据码流中设置冗余编码标志位。则在解码端接收所述音频数据码流后,可以首先读取其中的所述冗余编码标志位,根据所述冗余编码标志位判断在编码端是否有进行丢帧补偿编码,以便在解码端选择合适的解码方法。
请参阅图2,图2是本发明音频编码方法第二实施方式的流程示意图。
本实施方式的音频编码方法与所述第一实施方式的主要区别在于,还包括以下频带复制编码的步骤:
S201,对所述音频数据进行第一频带复制编码,获取第一频带复制数据;
S202,对所述音频数据进行第二频带复制编码,获取第二频带复制数据;
S203,将当前帧音频数据对应的所述第一频带复制数据耦合至所述音频数据码流的当前帧;将当前帧音频数据对应的所述第二频带复制数据耦合至所述音频数据码流的下一帧。
其中,频带复制数据指的是经过频带复制编码处理后获得的一组参数,在编码端因为要节约传输带宽,因此一般将音频信号转换为低频信号发送。而通过进行频带复制编码,获取频带复制数据,并加入发送的音频数据码流中,则在解码端解码所述频带复制数据,可根据所述频带复制数据在解码端将音频信号恢复为高频信号。
在本实方式中,分别对所述音频信号进行第一频带复制编码和第二频带复制编码,获取第一频带复制数据和第二频带复制数据,并将当前帧音频数据对应的所述第一频带复制数据耦合至所述音频数据码流的当前帧;将当前帧音频数据对应的所述第二频带复制数据耦合至所述音频数据码流的下一帧。
如果在解码端所述音频数据码流的当前帧没有丢失,则可以从所述音频数据码流的当前帧中提取所述第一量化编码数据和所述第一频带复制数据,解码获取所述第一量化编码数据对应的当前帧音频数据,并根据所述第一频带复制数据,对所述音频数据进行频带恢复;
如果音频数据码流的当前帧丢失,则可以通过在下一帧中提取所述第二量化编码数据和所述第二频带复制数据,解码获取所述第二量化编码数据对应的当前帧音频数据,并根据所述第二频带复制数据,对所述音频数据进行频带恢复。
进一步地,所述第一频带复制编码的码率大于所述第二频带复制编码的码率;和/或,所述第一频带复制编码和所述第二频带复制编码的频域编码带宽相同。
所述第一频带复制编码的码率大于所述第二频带复制编码的码率,则所述第二频带复制编码获得的第二频带复制数据的比特数小于所述第一量化编码获得的第一量化编码数据所占的比特数。对通信带宽的占用较少。
所述第一频带复制编码和所述第二频带复制编码的频域编码带宽相同,则根据所述第一频带复制数据和所述第二频带复制数据解码获得的频带复制数据基本相同,即使音频数据在传输过程中发生丢包,在解码端仍能够获得较好的音频质量。
请参阅图3,图3是本发明音频编码方法第三实施方式的流程示意图。
本实施方式的音频编码方法与所述第一实施方式的主要区别在于,还包括以下立体声编码的步骤:
S301,对所述音频数据进行第一立体声编码,获取第一立体声编码数据;
S302,对所述音频数据进行第二立体声编码,获取第二立体声编码数据;
S303,将当前帧音频数据对应的所述第一立体声编码数据耦合至所述音频数据码流的当前帧;将当前帧音频数据对应的所述第二立体声编码数据耦合至所述音频数据码流的下一帧。
其中,所述立体声编码数据包括各个声道的音频信号强弱差别,以及相关性等信息。本实施方式尤其适合于具有至少两个声道的立体声音频数据的编码。
如果所述音频数据码流的当前帧没有丢失,则可以在当前帧的音频数据码流中,提取所述第一量化编码数据和所述第一立体声编码数据,解码获取所述第一量化编码数据对应的当前帧音频数据,并根据所述第一立体声编码数据,对所述音频数据进行立体声还原。
在所述音频数据码流的当前帧发生丢包时,则可以通过在下一帧中提取所述第二量化编码数据和所述第二立体声编码数据,解码获取所述第二量化编码数据对应的当前帧音频数据,根据所述第二立体声编码数据,对所述音频数据进行立体声还原。
本发明音频编码方法的第四实施方式为所述第二实施方式的音频编码方法和所述第三实施方式的音频编码方法结合。即,在编码过程中:
分别对音频数据进行第一量化编码、第一频带复制编码和第一立体声编码,并将编码获得的当前帧音频数据对应的所述第一量化编码数据,第一频带复制数据和第一立体声编码数据耦合至所述音频数据码流的当前帧;
分别对音频数据进行第二量化编码、第二频带复制编码和第二立体声编码,并将编码获得的当前帧音频数据对应的所述第二量化编码数据,第二频带复制数据和第二立体声编码数据耦合至所述音频数据码流的下一帧。
请参阅图4,图4是本发明音频编码方法编码的一帧音频数据码流的帧结构示意图。其中,MDTS为修正的ADTS头,可设置其中一个数据位为冗余编码标志位。ACC1为耦合第一量化编码数据的比特,SBR1为耦合第一频带复制数据的比特,PS1为耦合第一立体声编码数据的比特;ACC2为耦合第二量化编码数据的比特,SBR2为耦合第二频带复制数据的比特,PS2为耦合第二立体声编码数据的比特。其中,SBR2和PS2可根据需要选择是否设置。
在解码端接收所述音频数据码流后,如果当前帧没有丢失,则保存所述当前帧的数据,在接收或读取到下一帧时,从保存所述当前帧的数据中获取ACC1的比特,SBR1的比特和PS1的比特,根据所述第一量化编码数据,所述第一频带复制数据和所述第一立体声编码数据,执行解码获得当前帧音频数据,并对所述当前帧音频数据进行频带恢复和立体声还原处理。
如果当前帧丢失,则在接收或读取到下一帧时,从所述下一帧的数据中获取所述ACC2的比特,SBR2的比特和PS2的比特,根据所述第二量化编码数据,所述第二频带复制数据和所述第二立体声编码数据,执行解码获得当前帧音频数据,并对所述当前帧音频数据进行频带恢复和立体声还原处理。
请参阅图5,图5是本发明音频解码方法第一实施方式的流程示意图。
所述音频解码方法包括以下步骤:
S501,获取音频数据码流;其中,所述音频数据码流的当前帧包括当前帧音频数据对应的第一量化编码数据,所述音频数据码流的下一帧包括所述当前帧音频数据对应的第二量化编码数据;
S502,判断获取的所述音频数据码流的当前帧是否丢失;如果当前帧未丢失,则执行步骤S503,如果当前帧丢失,则执行步骤S504;S503,从所述当前帧中获取所述第一量化编码数据,对所述第一量化编码数据进行解码,获取当前帧音频数据;
S504,从所述当前帧的下一帧中获取所述第二量化编码数据,对所述第二量化编码数据进行解码,获取当前帧音频数据。
其中,对于步骤S501,获取音频数据码流。所述音频数据码流包含的所述第一量化编码数据和第二量化编码数据,由编码端对相同的音频数据分别进行第一量化编码和第二量化编码获得。当前帧音频数据对应的所述第一量化编码数据耦合至音频数据码流的当前帧,所述第二量化编码数据耦合至音频数据码流的下一帧。
所述第二量化编码数据是所述音频数据的FEC(Forward Error Concealment,前向差错隐藏)数据,在所述第一量化编码数据丢失时,可通过所述第二量化编码数据的解码,获取丢失的音频数据。
对于步骤S502,首先判断获取的所述音频数据码流的当前帧是否丢失;
所述音频数据码流的当前帧是否丢失可以从所述音频数据码流的丢帧标志位读取,也可以通过其他习知的方式判断。
一个常用的丢帧标志位为m_prev_lost_flag,当m_prev_lost_flag=0时,表示前一帧未丢失,当m_prev_lost_flag=1时,表示前一帧丢失。因此,判断当前帧是否丢失,可以在接收到所述当前帧的下一帧时,判断所述丢帧标志位m_prev_lost_flag是否等于1。
进一步地,可设置在解码端输出的音频数据会延迟一个帧输出,亦即在接收到所述音频数据码流的下一帧时,再解码获取当前帧音频数据。
则,所述获取当前帧的音频数据的步骤包括:
保存所述音频数据码流的当前帧;
在接收到所述音频数据码流的下一帧时,从保存的所述当前帧中获取所述第一量化编码数据并对所述第一量化编码数据进行解码,获取当前帧音频数据。
如果所述当前帧为第一帧,可输出全0数据。
亦即,在接收所述音频数据码流后,首先判断当前帧是否第一帧,所述判断可根据所述音频数据码流的另一个标志位m_first_frame_dec_flag是否为1来进行判断,如果m_first_frame_dec_flag=1,则表示收到的是第一帧数据,则保存当前帧数据,并输出全0数据;如果m_first_frame_dec_flag=0,则表示收到的不是第一帧数据,进一步判断m_prev_lost_flag是否为0。
如果m_prev_lost_flag=1,则从所述下一帧中获取第二量化编码数据进行解码,获取所述当前帧音频数据,并将m_prev_lost_flag后移一位;如果m_prev_lost_flag=0,则从所述当前帧中获取第一量化编码数据进行解码,获取所述当前帧音频数据,并将m_prev_lost_flag后移一位。
通过上述方法,将解码端输出的音频数据延迟一个帧输出,可以避免在丢包时发生的音频卡顿的现象。
进一步地,如果所述音频数据码流的当前帧和下一帧都丢失,则对当前帧采用波形插值、数据包重复或者模型恢复的方法,对当前帧的音频数据进行丢包补偿。
本发明的音频数据解码方法中,首先判断接收的音频数据码流的当前帧是否丢失,如果未丢失,则直接从当前帧获取第一量化编码数据进行解码,获取对应的当前帧音频数据;如果丢失,则从所述当前帧的下一帧中获取所述第二量化编码数据,根据所述第二量化编码数据解码获取丢失的当前帧音频数据。无需发送端重传整个丢失的音频数据帧,对网络延时影响较少。所述第二量化编码数据是直接根据音频数据编码而来,根据其解码获取对应的音频数据,可以使音频数据还原的质量较好。在获取所述第二量化编码数据之前,可进一步执行以下步骤:
从所述音频数据码流读取预先设置的冗余编码标志位;
如果所述冗余编码标志位有效,则获取所述第二量化编码数据,否则不获取所述第二量化编码数据。在解码端接收所述音频数据码流后,可以首先读取其中的所述冗余编码标志位,根据所述冗余编码标志位可以方便地判断在解码端是否进行丢帧补偿。
本发明音频解码方法第二实施方式与所述第一实施方式的主要区别在于:
所述音频数据码流的当前帧还包括当前帧音频数据对应的第一频带复制数据,所述音频数据码流的下一帧还包括当前帧音频数据对应的第二频带复制数据;
所述音频解码方法进一步包括以下步骤:
如果当前帧未丢失,则从所述当前帧中获取所述第一频带复制数据,根据所述第一频带复制数据对解码获取的所述当前帧音频数据进行频带恢复;
如果当前帧丢失,则从当前帧的下一帧中获取所述第二频带复制数据,根据所述第二频带复制数据对解码获取的所述当前帧音频数据进行频带恢复。
其中,频带复制数据指的是经过频带复制编码处理后获得的一组参数,在编码端因为要节约传输带宽,因此一般将音频信号转换为低频信号发送。而通过进行频带复制编码,获取频带复制数据,并加入发送的音频数据码流中,则在解码端解码所述频带复制数据,可根据所述频带复制数据在解码端将音频信号恢复为高频信号。
在本实施方式中,如果音频数据码流的当前帧没有丢失,则可以在音频数据码流的当前帧中提取所述第一量化编码数据和所述第一频带复制数据,解码获取所述第一量化编码数据对应的当前帧音频数据,并根据所述第一频带复制数据,对所述当前帧音频数据进行频带恢复;
如果音频数据码流的当前帧丢失,则可以通过在下一帧中提取所述第二量化编码数据和所述第二频带复制数据,解码获取所述第二量化编码数据对应的当前帧音频数据,并根据所述第二频带复制数据,对所述音频数据进行频带恢复。
本发明音频解码方法第三实施方式与所述第一实施方式的主要区别在于:
所述音频数据码流的当前帧还包括当前帧音频数据对应的第一立体声编码数据,所述音频数据码流的下一帧还包括当前帧音频数据对应的第二立体声编码数据;
所述音频解码方法进一步包括以下步骤:
如果当前帧未丢失,则从所述当前帧中获取所述第一立体声编码数据,根据所述第一立体声编码数据对解码获取的所述当前帧音频数据进行立体声还原;
如果当前帧丢失,则从当前帧的下一帧中获取所述第二立体声编码数据,根据所述第二立体声编码数据对解码获取的所述当前帧音频数据进行立体声还原。
其中,所述立体声编码数据包括各个声道的音频信号强弱差别,以及相关性等信息。本实施方式尤其适合于具有至少两个声道的立体声音频数据的编码。
如果音频数据码流的当前帧没有丢失,则可以在音频数据码流的当前帧中,提取所述第一量化编码数据和所述第一立体声编码数据,解码获取所述第一量化编码数据对应的当前帧音频数据,并根据所述第一立体声编码数据,对所述音频数据进行立体声还原。
如果音频数据码流的当前帧丢失,则可以通过在下一帧中提取所述第二量化编码数据和所述第二立体声编码数据,解码获取所述第二量化编码数据对应的当前帧音频数据,根据所述第二立体声编码数据,对所述音频数据进行立体声还原。
本发明音频解码方法的第四实施方式为所述第二实施方式的音频解码方法和所述第三实施方式的音频解码方法结合。即,所述音频数据码流的当前帧包括当前帧音频数据对应的第一量化编码数据、第一频带复制数据和第一立体声编码数据,所述音频数据码流的下一帧还包括当前帧音频数据对应的第二量化编码数据、第二频带复制数据和第二立体声编码数据;
在解码端接收所述音频数据码流后,如果当前帧没有丢失,则从所述当前帧中获取所述第一量化编码数据,所述第一频带复制数据和所述第一立体声编码数据,执行解码获得当前帧的音频数据,并对所述音频数据进行频带恢复和立体声还原处理。
如果当前帧丢失,则从所述下一帧的数据中获取所述第二量化编码数据,所述第二频带复制数据和所述第二立体声编码数据,执行解码获得当前帧的音频数据,并对所述音频数据进行频带恢复和立体声还原处理。
请参阅图6,图6是本发明音频编码系统第一实施方式的结构示意图。
本实施方式的所述音频编码系统包括:
第一量化编码模块111,用于对音频数据进行第一量化编码,获取第一量化编码数据;
第二量化编码模块112,用于对所述音频数据进行第二量化编码,获取第二量化编码数据;
第一数据合成模块113,用于将当前帧音频数据对应的所述第一量化编码数据耦合至音频数据码流的当前帧,将当前帧音频数据对应的所述第二量化编码数据耦合至所述音频数据码流的下一帧。
通过对音频数据进行两次量化编码,并且两次量化编码获得的编码数据分别耦合至音频数据码流的当前帧和下一帧。在解码端发现当前帧发生丢包的情况下,也能够通过对下一帧包含的所述第二量化编码数据解码而获取当前帧音频数据,并且无需重传整个丢失的音频数据帧,对网络延时影响较少,并使音频数据还原的质量较好。
其中,所述第一量化编码模块111对音频数据进行第一量化编码,所述第一量化编码包括各种音频数据的量化编码方式。所述音频数据包括单声道的音频数据,也包括立体声音频数据,以及各种帧长和采样率条件下获得的音频数据。
所述第一量化编码模块111和所述第二量化编码模块112对音频数据进行第一量化编码和第二量化编码,所述第一量化编码和所述第二量化编码包括各种音频数据的量化编码方式。所述音频数据包括单声道的音频数据,也包括立体声音频数据,以及各种帧长和采样率条件下获得的音频数据。
所述第一量化编码和所述第二量化编码根据预先设置的码率和编码带宽执行,获得的所述第一量化编码数据和所述第二量化编码数据是所述音频数据的核心编码信息,根据所述第一量化编码数据或者所述第二量化编码数据解码,都能够获得对应的音频数据。
所述第一量化编码和所述第二量化编码的码率和编码带宽一般根据传输信道的带宽,发送端、接收端的处理能力等参数设定。
在一个优选实施例中,所述第一量化编码的码率设置为大于所述第二量化编码的码率。因此,所述第二量化编码获得的第二量化编码数据的比特数小于所述第一量化编码获得的第一量化编码数据所占的比特数。因为所述第二量化编码数据是以FEC(Forward Error Concealment,前向差错隐藏)数据的形式耦合至音频数据码流的数据帧中的,而所述第二量化编码数据的比特数较少,对通信带宽的占用不会提高很多,但在丢失数据帧时,却能够准确恢复音频数据。
在另一个优选实施例中,所述第一量化编码和所述第二量化编码的频域编码带宽相同,因此,根据所述第二量化编码数据解码获得的音频数据与根据所述第一量化编码数据解码获得的音频数据在听觉上基本没有差异,即使音频数据在传输过程中发生丢包,在解码端仍能够获得较好的音频质量。
还可以进一步设置:所述第一量化编码的码率设置为大于所述第二量化编码的码率,并且所述第一量化编码和所述第二量化编码的频域编码带宽相同。则既可以保证对通信带宽的占用不会提高很多,又可在解码端得较好的音频质量。
在一个实施例中,所述音频解码方法还包括一个QMF滤波模块,用于进行所述第一量化编码和第二量化编码之前,对所述音频数据进行QMF滤波,分解为若干子带;其中,对各个所述子带进行所述第一量化编码和第二量化编码时,所述第一量化编码和第二量化编码的编码高子带相同。
在实际操作时,所述QMF滤波模块可以通过QMF滤波器组,将音频数据的时域信号分解成若干子带(例如64子带),对于第一量化编码和第二量化编码,在不同编码码率下要保证编码高子带Band_high一致。这样所述第一量化编码和第二量化编码的编码带宽就相同了,其中,编码带宽=(Band_high*采样率/子带总数+1)>>1。
所述音频解码方法还可包括以下多个子模块中的一个或者多个:
对所述音频数据进行下混频的混频子模块;
对所述音频数据进行下采样的下采样子模块;
和/或,对所述音频信号进行MDCT变换(修正的离散余弦变换),将所述音频信号从时域变换到频域的离散余弦变换子模块。
通过上述预处理的子模块,下混频将立体声音频信号变换成单声道的音频信号,方便编码处理过程中提取核心编码信息。通过下采样,例如两倍的下采样,可以降低音频数据采样率,降低数据传输过程中对带宽造成的负担,通过MDCT变换,将所述音频信号从时域变换到频域,使其更适合于编码应用,提高音频编码的质量和效率。
所述第一数据合成模块113将当前帧音频数据对应的所述第一量化编码数据耦合至音频数据码流的当前帧,因此如果在解码端收到的所述音频数据码流没有丢帧,则只需要在所述音频数据码流的当前帧中提取所述第一量化编码数据,对所述第一量化编码数据进行解码,即可获得对应的当前帧音频数据;
将当前帧音频数据对应的所述第二量化编码数据耦合至音频数据码流的下一帧,则如果在解码端收到的所述音频数据码流发生丢帧,当前帧丢失,则可以从所述当前帧的下一帧中提取所述当前帧音频数据对应的第二量化编码数据,对所述第二量化编码数据进行解码,即可获得对应的当前帧音频数据。
所述音频编码系统可进一步包括标志位设置模块,用于在所述音频数据码流中设置冗余编码标志位。则在解码端接收所述音频数据码流后,可以首先读取其中的所述冗余编码标志位,根据所述冗余编码标志位判断在编码端是否有进行丢帧补偿编码,以便在解码端选择合适的解码方法。
请参阅图7,图7是本发明音频编码系统第二实施方式的局部结构示意图。
本实施方式的音频编码系统与所述第一实施方式的主要区别在于,还包括:
第一频带编码模块121,用于对所述音频数据进行第一频带复制编码,获取第一频带复制数据;
第二频带编码模块122,用于对所述音频数据进行第二频带复制编码,获取第二频带复制数据;
第二数据合成模块123,用于将当前帧音频数据对应的所述第一频带复制数据耦合至所述音频数据码流的当前帧;将当前帧音频数据对应的所述第二频带复制数据耦合至所述音频数据码流的下一帧。
其中,频带复制数据指的是经过频带复制编码处理后获得的一组参数,在编码端因为要节约传输带宽,因此一般将音频信号转换为低频信号发送。而通过进行频带复制编码,获取频带复制数据,并加入发送的音频数据码流中,则在解码端解码所述频带复制数据,可根据所述频带复制数据在解码端将音频信号恢复为高频信号。
在本实方式中,所述第二频带编码模块121和所述第二频带编码模块122分别对所述音频信号进行第一频带复制编码和第二频带复制编码,获取第一频带复制数据和第二频带复制数据,并将当前帧音频数据对应的所述第一频带复制数据耦合至所述音频数据码流的当前帧;将当前帧音频数据对应的所述第二频带复制数据耦合至所述音频数据码流的下一帧。
如果在解码端所述音频数据码流的当前帧没有丢失,则可以从所述音频数据码流的当前帧中提取所述第一量化编码数据和所述第一频带复制数据,解码获取所述第一量化编码数据对应的当前帧音频数据,并根据所述第一频带复制数据,对所述音频数据进行频带恢复;
如果音频数据码流的当前帧丢失,则可以通过在下一帧中提取所述第二量化编码数据和所述第二频带复制数据,解码获取所述第二量化编码数据对应的当前帧音频数据,并根据所述第二频带复制数据,对所述音频数据进行频带恢复。
进一步地,所述第一频带复制编码的码率大于所述第二频带复制编码的码率;和/或,所述第一频带复制编码和所述第二频带复制编码的频域编码带宽相同。
所述第一频带复制编码的码率大于所述第二频带复制编码的码率,则所述第二频带复制编码获得的第二频带复制数据的比特数小于所述第一量化编码获得的第一量化编码数据所占的比特数。对通信带宽的占用较少。
所述第一频带复制编码和所述第二频带复制编码的频域编码带宽相同,则根据所述第一频带复制数据和所述第二频带复制数据解码获得的频带复制数据基本相同,即使音频数据在传输过程中发生丢包,在解码端仍能够获得较好的音频质量。
请参阅图8,图8是本发明音频编码系统第三实施方式的局部结构示意图。
本实施方式的音频编码系统与所述第一实施方式的主要区别在于,还包括:
第一立体声编码模块131,用于对所述音频数据进行第一立体声编码,获取第一立体声编码数据;
第二立体声编码模块132,用于对所述音频数据进行第二立体声编码,获取第二立体声编码数据;第三数据合成模块133,用于将当前帧音频数据对应的所述第一立体声编码数据耦合至所述音频数据码流的当前帧;将当前帧音频数据对应的所述第二立体声编码数据耦合至所述音频数据码流的下一帧。
其中,所述立体声编码数据包括各个声道的音频信号强弱差别,以及相关性等信息。本实施方式尤其适合于具有至少两个声道的立体声音频数据的编码。
如果所述音频数据码流的当前帧没有丢失,则可以在当前帧的音频数据码流中,提取所述第一量化编码数据和所述第一立体声编码数据,解码获取所述第一量化编码数据对应的当前帧音频数据,并根据所述第一立体声编码数据,对所述音频数据进行立体声还原。
在所述音频数据码流的当前帧发生丢包时,则可以通过在下一帧中提取所述第二量化编码数据和所述第二立体声编码数据,解码获取所述第二量化编码数据对应的当前帧音频数据,根据所述第二立体声编码数据,对所述音频数据进行立体声还原。
本发明音频编码系统的第四实施方式为所述第二实施方式的音频编码系统和所述第三实施方式的音频编码系统结合。即,同时包括所述第一量化编码模块111,第一频带编码模块121和第一立体声编码模块131,分别对音频数据进行第一量化编码、第一频带复制编码和第一立体声编码;
第二量化编码模块112,第二频带编码模块122和第二立体声编码模块132,分别对音频数据进行第二量化编码、第二频带复制编码和第二立体声编码;
所述第一数据合成模块113,第二数据合成模块123和所述第三数据合成模块133,分别将编码获得的所述第一量化编码数据,第一频带复制数据和第一立体声编码数据耦合至音频数据码流的当前帧;并将编码获得的所述第二量化编码数据,第二频带复制数据和第二立体声编码数据耦合至所述音频数据码流的下一帧。
请参阅图9,图9是本发明音频解码系统第一实施方式的结构示意图。
所述音频解码系统包括:
码流获取模块211,用于获取音频数据码流;其中,所述音频数据码流的当前帧包括当前帧音频数据对应的第一量化编码数据,所述音频数据码流的下一帧包括所述当前帧音频数据对应的第二量化编码数据;
判断模块212,用于判断获取的所述音频数据码流的当前帧是否丢失;
第一量化解码模块213,用于如果当前帧未丢失,则从所述当前帧中获取所述第一量化编码数据,对所述第一量化编码数据进行解码,获取当前帧音频数据;
第二量化解码模块214,用于如果当前帧丢失,则从所述当前帧的下一帧中获取所述第二量化编码数据,对所述第二量化编码数据进行解码,获取当前帧音频数据。
其中,所述码流获取模块211获取音频数据码流。所述音频数据码流包含的所述第一量化编码数据和第二量化编码数据,由编码端对相同的音频数据分别进行第一量化编码和第二量化编码获得。当前帧音频数据对应的所述第一量化编码数据耦合至音频数据码流的当前帧,所述第二量化编码数据耦合至音频数据码流的下一帧。
所述第二量化编码数据是所述音频数据的FEC(Forward Error Concealment,前向差错隐藏)数据,在所述第一量化编码数据丢失时,可通过所述第二量化编码数据的解码,获取丢失的音频数据。
所述判断模块212,判断获取的所述音频数据码流的当前帧是否丢失。
所述音频数据码流的当前帧是否丢失可以从所述音频数据码流的丢帧标志位读取,也可以通过其他习知的方式判断。
一个常用的丢帧标志位为m_prev_lost_flag,当m_prev_lost_flag=0时,表示前一帧未丢失,当m_prev_lost_flag=1时,表示前一帧丢失。因此,判断当前帧是否丢失,可以在接收到所述当前帧的下一帧时,判断所述丢帧标志位m_prev_lost_flag是否等于1。
进一步地,可设置在解码端输出的音频数据会延迟一个帧输出,亦即在接收到所述音频数据码流的下一帧时,再解码获取当前帧音频数据。
则,所述获取当前帧的音频数据的步骤包括:
保存所述音频数据码流的当前帧;
在接收到所述音频数据码流的下一帧时,从保存的所述当前帧中获取所述第一量化编码数据并对所述第一量化编码数据进行解码,获取当前帧音频数据。
如果所述当前帧为第一帧,可输出全0数据。
亦即,在接收所述音频数据码流后,首先判断当前帧是否第一帧,所述判断可根据所述音频数据码流的另一个标志位m_first_frame_dec_flag是否为1来进行判断,如果m_first_frame_dec_flag=1,则表示收到的是第一帧数据,则保存当前帧数据,并输出全0数据;如果m_first_frame_dec_flag=0,则表示收到的不是第一帧数据,进一步判断m_prev_lost_flag是否为0。
如果m_prev_lost_flag=1,则从所述下一帧中获取第二量化编码数据进行解码,获取所述当前帧音频数据,并将m_prev_lost_flag后移一位;如果m_prev_lost_flag=0,则从所述当前帧中获取第一量化编码数据进行解码,获取所述当前帧音频数据,并将m_prev_lost_flag后移一位。
通过上述方法,将解码端输出的音频数据延迟一个帧输出,可以避免在丢包时发生的音频卡顿的现象。
如果所述音频数据码流的当前帧和下一帧都丢失,则对当前帧采用波形插值、数据包重复或者模型恢复的方法,对当前帧的音频数据进行丢包补偿。
本发明的音频数据解码系统中,首先判断接收的音频数据码流的当前帧是否丢失,如果未丢失,则直接从当前帧获取第一量化编码数据进行解码,获取对应的当前帧音频数据;如果丢失,则从所述当前帧的下一帧中获取所述第二量化编码数据,根据所述第二量化编码数据解码获取丢失的当前帧音频数据。无需发送端重传整个丢失的音频数据帧,对网络延时影响较少。所述第二量化编码数据是直接根据音频数据编码而来,根据其解码获取对应的音频数据,可以使音频数据还原的质量较好。
本发明所述音频解码系统可进一步包括:
标志位读取模块,用于从所述音频数据码流读取预先设置的冗余编码标志位;如果所述冗余编码标志位有效,则获取所述第二量化编码数据,否则不获取所述第二量化编码数据。在解码端接收所述音频数据码流后,可以首先读取其中的所述冗余编码标志位,根据所述冗余编码标志位可以方便地判断在解码端是否进行丢帧补偿。
请参阅图10,图10是本发明音频解码系统第二实施方式的结构示意图。
本实施方式的音频解码系统与所述第一实施方式的主要区别在于,所述音频数据码流的当前帧还包括当前帧音频数据对应的第一频带复制数据,所述音频数据码流的下一帧还包括当前帧音频数据对应的第二频带复制数据;
所述音频解码系统还包括:
第一频带解码模块221,用于如果当前帧未丢失,则从所述当前帧中获取所述第一频带复制数据,根据所述第一频带复制数据对解码获取的所述当前帧音频数据进行频带恢复;
第二频带解码模块222,用于如果当前帧丢失,则从当前帧的下一帧中获取所述第二频带复制数据,根据所述第二频带复制数据对解码获取的所述当前帧音频数据进行频带恢复。
其中,频带复制数据指的是经过频带复制编码处理后获得的一组参数,在编码端因为要节约传输带宽,因此一般将音频信号转换为低频信号发送。而通过进行频带复制编码,获取频带复制数据,并加入发送的音频数据码流中,则在解码端解码所述频带复制数据,可根据所述频带复制数据在解码端将音频信号恢复为高频信号。
在本实施方式中,如果音频数据码流的当前帧没有丢失,则可以在音频数据码流的当前帧中提取所述第一量化编码数据和所述第一频带复制数据,解码获取所述第一量化编码数据对应的当前帧音频数据,并根据所述第一频带复制数据,对所述当前帧音频数据进行频带恢复;
如果音频数据码流的当前帧丢失,则可以通过在下一帧中提取所述第二量化编码数据和所述第二频带复制数据,解码获取所述第二量化编码数据对应的当前帧音频数据,并根据所述第二频带复制数据,对所述音频数据进行频带恢复。
请参阅图11,图11是本发明音频解码系统第三实施方式的结构示意图。
本实施方式的音频解码系统与所述第一实施方式的主要区别在于,所述音频数据码流的当前帧还包括当前帧音频数据对应的第一立体声编码数据,所述音频数据码流的下一帧还包括当前帧音频数据对应的第二立体声编码数据;
所述音频解码系统还包括:
第一立体声解码模块231,用于如果当前帧未丢失,则从所述当前帧中获取所述第一立体声编码数据,根据所述第一立体声编码数据对解码获取的所述当前帧音频数据进行立体声还原;
第二立体声解码模块232,用于如果当前帧丢失,则从当前帧的下一帧中获取所述第二立体声编码数据,根据所述第二立体声编码数据对解码获取的所述当前帧音频数据进行立体声还原。其中,所述立体声编码数据包括各个声道的音频信号强弱差别,以及相关性等信息。本实施方式尤其适合于具有至少两个声道的立体声音频数据的编码。
如果音频数据码流的当前帧没有丢失,则可以在音频数据码流的当前帧中,提取所述第一量化编码数据和所述第一立体声编码数据,解码获取所述第一量化编码数据对应的当前帧音频数据,并根据所述第一立体声编码数据,对所述音频数据进行立体声还原。
如果音频数据码流的当前帧丢失,则可以通过在下一帧中提取所述第二量化编码数据和所述第二立体声编码数据,解码获取所述第二量化编码数据对应的当前帧音频数据,根据所述第二立体声编码数据,对所述音频数据进行立体声还原。
本发明音频解码系统的第四实施方式为所述第二实施方式的音频解码系统和所述第三实施方式的音频解码系统结合。即,同时包括所述码流获取模块211,判断模块212,第一量化解码模块213,第二量化解码模块214,第一频带解码模块221,第二频带解码模块222,第一立体声解码模块231和第二立体声解码模块232。
在解码端接收所述音频数据码流后,如果当前帧没有丢失,则从所述当前帧中获取所述第一量化编码数据,所述第一频带复制数据和所述第一立体声编码数据,执行解码获得当前帧的音频数据,并对所述音频数据进行频带恢复和立体声还原处理。
如果当前帧丢失,则从所述下一帧的数据中获取所述第二量化编码数据,所述第二频带复制数据和所述第二立体声编码数据,执行解码获得当前帧的音频数据,并对所述音频数据进行频带恢复和立体声还原处理。
本领域普通技术人员可以理解实现上述实施方式中的全部或部分流程以及对应的系统,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各实施方式的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种音频编码方法,其特征在于,包括以下步骤:
对音频数据进行第一量化编码,获取第一量化编码数据;对所述音频数据进行第二量化编码,获取第二量化编码数据,其中,所述第一量化编码的码率大于所述第二量化编码的码率;
将当前帧音频数据对应的所述第一量化编码数据耦合至音频数据码流的当前帧,将当前帧音频数据对应的所述第二量化编码数据耦合至音频数据码流的下一帧。
2.如权利要求1所述的音频编码方法,其特征在于,还包括以下步骤:
对所述音频数据进行第一频带复制编码,获取第一频带复制数据;对所述音频数据进行第二频带复制编码,获取第二频带复制数据;
将当前帧音频数据对应的所述第一频带复制数据耦合至所述音频数据码流的当前帧;将当前帧音频数据对应的所述第二频带复制数据耦合至所述音频数据码流的下一帧。
3.如权利要求2所述的音频编码方法,其特征在于:
所述第一频带复制编码的码率大于所述第二频带复制编码的码率;
和/或,
所述第一频带复制编码和所述第二频带复制编码的频域编码带宽相同。
4.如权利要求1所述的音频编码方法,其特征在于,还包括以下步骤:
对所述音频数据进行第一立体声编码,获取第一立体声编码数据;对所述音频数据进行第二立体声编码,获取第二立体声编码数据;
将当前帧音频数据对应的所述第一立体声编码数据耦合至所述音频数据码流的当前帧;将当前帧音频数据对应的所述第二立体声编码数据耦合至所述音频数据码流的下一帧。
5.如权利要求4所述的音频编码方法,其特征在于:
所述第一立体声编码的码率大于所述第二立体声编码的码率;
和/或,
所述第一立体声编码数据和所述第二立体声编码的频域编码带宽相同。
6.如权利要求1所述的音频编码方法,其特征在于,对音频数据进行第一量化编码和第二量化编码之前,先进行以下步骤:
对所述音频数据进行QMF滤波,分解为若干子带;
其中,所述第一量化编码和第二量化编码的编码高子带相同。
7.一种音频数据解码方法,其特征在于,包括以下步骤:
获取音频数据码流;其中,所述音频数据码流的当前帧包括当前帧音频数据对应的第一量化编码数据,所述音频数据码流的下一帧包括所述当前帧音频数据对应的第二量化编码数据,所述第一量化编码数据和第二量化编码数据分别由第一量化编码和第二量化编码获得,所述第一量化编码的码率大于所述第二量化编码的码率;
判断获取的所述音频数据码流的当前帧是否丢失;
如果当前帧未丢失,则从所述当前帧中获取所述第一量化编码数据,对所述第一量化编码数据进行解码,获取当前帧音频数据;
如果当前帧丢失,则从所述当前帧的下一帧中获取所述第二量化编码数据,对所述第二量化编码数据进行解码,获取当前帧音频数据。
8.如权利要求7所述的音频解码方法,其特征在于,从所述当前帧中获取所述第一量化编码数据,对所述第一量化编码数据进行解码,获取当前帧音频数据的步骤包括:
保存所述音频数据码流的当前帧;
在接收到所述音频数据码流的下一帧时,从保存的所述当前帧中获取所述第一量化编码数据并对所述第一量化编码数据进行解码,获取当前帧音频数据。
9.如权利要求7或者8所述的音频解码方法,其特征在于,所述音频数据码流的当前帧还包括当前帧音频数据对应的第一频带复制数据,所述音频数据码流的下一帧还包括当前帧音频数据对应的第二频带复制数据;
所述音频解码方法进一步包括以下步骤:
如果当前帧未丢失,则从所述当前帧中获取所述第一频带复制数据,根据所述第一频带复制数据对解码获取的所述当前帧音频数据进行频带恢复;
如果当前帧丢失,则从当前帧的下一帧中获取所述第二频带复制数据,根据所述第二频带复制数据对解码获取的所述当前帧音频数据进行频带恢复。
10.如权利要求7或者8所述的音频解码方法,其特征在于,
所述音频数据码流的当前帧还包括当前帧音频数据对应的第一立体声编码数据,所述音频数据码流的下一帧还包括当前帧音频数据对应的第二立体声编码数据;
所述音频解码方法进一步包括以下步骤:
如果当前帧未丢失,则从所述当前帧中获取所述第一立体声编码数据,根据所述第一立体声编码数据对解码获取的所述当前帧音频数据进行立体声还原;
如果当前帧丢失,则从当前帧的下一帧中获取所述第二立体声编码数据,根据所述第二立体声编码数据对解码获取的所述当前帧音频数据进行立体声还原。
11.一种音频编码系统,其特征在于,包括:
第一量化编码模块,用于对音频数据进行第一量化编码,获取第一量化编码数据;
第二量化编码模块,用于对所述音频数据进行第二量化编码,获取第二量化编码数据,其中,所述第一量化编码的码率大于所述第二量化编码的码率;
第一数据合成模块,用于将当前帧音频数据对应的所述第一量化编码数据耦合至音频数据码流的当前帧;将当前帧音频数据对应的所述第二量化编码数据耦合至所述音频数据码流的下一帧。
12.如权利要求11所述的音频编码系统,其特征在于,还包括:
第一频带编码模块,用于对所述音频数据进行第一频带复制编码,获取第一频带复制数据;
第二频带编码模块,用于对所述音频数据进行第二频带复制编码,获取第二频带复制数据;
第二数据合成模块,用于将当前帧音频数据对应的所述第一频带复制数据耦合至所述音频数据码流的当前帧,将当前帧音频数据对应的所述第二频带复制数据耦合至所述音频数据码流的下一帧。
13.如权利要求12所述的音频编码系统,其特征在于:
所述第一频带复制编码的码率大于所述第二频带复制编码的码率;
和/或,
所述第一频带复制编码和所述第二频带复制编码的频域编码带宽相同。
14.如权利要求11所述的音频编码系统,其特征在于,还包括:
第一立体声编码模块,用于对所述音频数据进行第一立体声编码,获取第一立体声编码数据;
第二立体声编码模块,用于对所述音频数据进行第二立体声编码,获取第二立体声编码数据;
第三数据合成模块,用于将当前帧音频数据对应的所述第一立体声编码数据耦合至所述音频数据码流的当前帧;将当前帧音频数据对应的所述第二立体声编码数据耦合至音频数据码流的下一帧。
15.如权利要求14所述的音频编码系统,其特征在于:
所述第一立体声编码的码率大于所述第二立体声编码的码率;
和/或,
所述第一立体声编码数据和所述第二立体声编码的频域编码带宽相同。
16.如权利要求11所述的音频编码系统,其特征在于,进一步包括QMF滤波模块,用于对所述音频数据进行QMF滤波,将所述音频数据分解为若干子带;其中,所述第一量化编码和第二量化编码的编码高子带相同。
17.一种音频数据解码系统,其特征在于,包括:
码流获取模块,用于获取音频数据码流;其中,所述音频数据码流的当前帧包括当前帧音频数据对应的第一量化编码数据,所述音频数据码流的下一帧包括所述当前帧音频数据对应的第二量化编码数据,所述第一量化编码数据和第二量化编码数据分别由第一量化编码和第二量化编码获得,所述第一量化编码的码率大于所述第二量化编码的码率;
判断模块,用于判断获取的所述音频数据码流的当前帧是否丢失;
第一量化解码模块,用于如果当前帧未丢失,则从所述当前帧中获取所述第一量化编码数据,对所述第一量化编码数据进行解码,获取当前帧音频数据;
第二量化解码模块,用于如果当前帧丢失,则从所述当前帧的下一帧中获取所述第二量化编码数据,对所述第二量化编码数据进行解码,获取当前帧音频数据。
18.如权利要求17所述的音频解码系统,其特征在于,所述第一量化解码模块保存所述音频数据码流的当前帧;在接收到所述音频数据码流的下一帧时,从保存的所述当前帧中获取所述第一量化编码数据并对所述第一量化编码数据进行解码,获取当前帧音频数据。
19.如权利要求17或者18所述的音频解码系统,其特征在于,所述音频数据码流的当前帧还包括当前帧音频数据对应的第一频带复制数据,所述音频数据码流的下一帧还包括当前帧音频数据对应的第二频带复制数据;
所述音频解码系统还包括:
第一频带解码模块,用于如果当前帧未丢失,则从所述当前帧中获取第一频带复制数据,根据所述第一频带复制数据对解码获取的所述当前帧音频数据进行频带恢复;
第二频带解码模块,用于如果当前帧丢失,则从所述当前帧的下一帧中获取第二频带复制数据,根据所述第二频带复制数据对解码获取的所述当前帧音频数据进行频带恢复。
20.如权利要求17或者18所述的音频解码系统,其特征在于,所述音频数据码流的当前帧还包括当前帧音频数据对应的第一立体声编码数据,所述音频数据码流的下一帧还包括当前帧音频数据对应的第二立体声编码数据,
所述音频解码系统还包括:
第一立体声解码模块,用于如果当前帧未丢失,则从所述当前帧中获取第一立体声编码数据,根据所述第一立体声编码数据对解码获取的所述当前帧音频数据进行立体声还原;
第二立体声解码模块,用于如果当前帧丢失,则从所述当前帧的下一帧中获取第二立体声编码数据,根据所述第二立体声编码数据对解码获取的所述当前帧音频数据进行立体声还原。
CN201310216510.8A 2013-06-03 2013-06-03 音频编码、解码方法及其系统 Active CN103280222B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310216510.8A CN103280222B (zh) 2013-06-03 2013-06-03 音频编码、解码方法及其系统
PCT/CN2013/088857 WO2014194625A1 (en) 2013-06-03 2013-12-09 Systems and methods for audio encoding and decoding
US14/816,673 US9607625B2 (en) 2013-06-03 2015-08-03 Systems and methods for audio encoding and decoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310216510.8A CN103280222B (zh) 2013-06-03 2013-06-03 音频编码、解码方法及其系统

Publications (2)

Publication Number Publication Date
CN103280222A CN103280222A (zh) 2013-09-04
CN103280222B true CN103280222B (zh) 2014-08-06

Family

ID=49062716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310216510.8A Active CN103280222B (zh) 2013-06-03 2013-06-03 音频编码、解码方法及其系统

Country Status (3)

Country Link
US (1) US9607625B2 (zh)
CN (1) CN103280222B (zh)
WO (1) WO2014194625A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103280222B (zh) 2013-06-03 2014-08-06 腾讯科技(深圳)有限公司 音频编码、解码方法及其系统
WO2016179382A1 (en) * 2015-05-07 2016-11-10 Dolby Laboratories Licensing Corporation Voice quality monitoring system
CN104980253B (zh) * 2015-05-28 2018-07-27 南京科力威电子设备有限公司 用于生命体征测量波形数据的前向抗丢帧无线传输方法
CN107742521B (zh) * 2016-08-10 2021-08-13 华为技术有限公司 多声道信号的编码方法和编码器
CN108011686B (zh) * 2016-10-31 2020-07-14 腾讯科技(深圳)有限公司 信息编码帧丢失恢复方法和装置
CN108459837A (zh) * 2017-02-22 2018-08-28 深圳市中兴微电子技术有限公司 一种音频数据处理方法和装置
CN109524015B (zh) * 2017-09-18 2022-04-15 杭州海康威视数字技术股份有限公司 音频编码方法、解码方法、装置及音频编解码系统
CN111277864B (zh) * 2020-02-18 2021-09-10 北京达佳互联信息技术有限公司 直播数据的编码方法、装置、流转系统及电子设备
CN113470667B (zh) * 2020-03-11 2024-09-27 腾讯科技(深圳)有限公司 语音信号的编解码方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1288915A2 (en) * 2001-08-17 2003-03-05 Broadcom Corporation Method and system for waveform attenuation of error corrupted speech frames
CN1732512A (zh) * 2002-12-31 2006-02-08 诺基亚有限公司 用于隐蔽压缩域分组丢失的方法和装置
CN101110214A (zh) * 2007-08-10 2008-01-23 北京理工大学 一种基于多描述格型矢量量化技术的语音编码方法
CN101552008A (zh) * 2008-04-01 2009-10-07 华为技术有限公司 编码方法及装置、解码方法及装置
CN102522092A (zh) * 2011-12-16 2012-06-27 大连理工大学 一种基于g.711.1的语音带宽扩展的装置和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4445328B2 (ja) * 2004-05-24 2010-04-07 パナソニック株式会社 音声・楽音復号化装置および音声・楽音復号化方法
US20070147518A1 (en) * 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
DE102005020461A1 (de) * 2005-04-29 2006-11-09 Siemens Ag Verfahren zur Übertragung von Nutzdaten in einem paketorientierten Kommunikationsnetzwerk
AU2005337961B2 (en) * 2005-11-04 2011-04-21 Nokia Technologies Oy Audio compression
WO2007063910A1 (ja) * 2005-11-30 2007-06-07 Matsushita Electric Industrial Co., Ltd. スケーラブル符号化装置およびスケーラブル符号化方法
US20100250260A1 (en) * 2007-11-06 2010-09-30 Lasse Laaksonen Encoder
US8352252B2 (en) * 2009-06-04 2013-01-08 Qualcomm Incorporated Systems and methods for preventing the loss of information within a speech frame
EP3474279A1 (en) * 2009-07-27 2019-04-24 Unified Sound Systems, Inc. Methods and apparatus for processing an audio signal
KR101137652B1 (ko) * 2009-10-14 2012-04-23 광운대학교 산학협력단 천이 구간에 기초하여 윈도우의 오버랩 영역을 조절하는 통합 음성/오디오 부호화/복호화 장치 및 방법
CN103280222B (zh) * 2013-06-03 2014-08-06 腾讯科技(深圳)有限公司 音频编码、解码方法及其系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1288915A2 (en) * 2001-08-17 2003-03-05 Broadcom Corporation Method and system for waveform attenuation of error corrupted speech frames
CN1732512A (zh) * 2002-12-31 2006-02-08 诺基亚有限公司 用于隐蔽压缩域分组丢失的方法和装置
CN101110214A (zh) * 2007-08-10 2008-01-23 北京理工大学 一种基于多描述格型矢量量化技术的语音编码方法
CN101552008A (zh) * 2008-04-01 2009-10-07 华为技术有限公司 编码方法及装置、解码方法及装置
CN102522092A (zh) * 2011-12-16 2012-06-27 大连理工大学 一种基于g.711.1的语音带宽扩展的装置和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《一种基于多描述编码技术的高质量音频编码算法》;张璐;《数字技术与应用》;20101130(第11期);全文 *
张璐.《一种基于多描述编码技术的高质量音频编码算法》.《数字技术与应用》.2010,(第11期),

Also Published As

Publication number Publication date
CN103280222A (zh) 2013-09-04
WO2014194625A1 (en) 2014-12-11
US9607625B2 (en) 2017-03-28
US20150340046A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
CN103280222B (zh) 音频编码、解码方法及其系统
CN101809657B (zh) 用于噪声填充的方法和设备
KR101513184B1 (ko) 계층적 디코딩 구조에서의 디지털 오디오 신호의 송신 에러에 대한 은닉
JP6019266B2 (ja) ステレオ・オーディオ・エンコーダおよびデコーダ
CN101751926B (zh) 信号编码、解码方法及装置、编解码系统
CN103050124B (zh) 混音方法、装置及系统
US20110054911A1 (en) Enhanced Audio Decoder
CN103714823B (zh) 一种基于综合语音编码的自适应水下通信方法
US9325544B2 (en) Packet-loss concealment for a degraded frame using replacement data from a non-degraded frame
CN102750954A (zh) 对高频带编码和解码的方法和设备
CN102461040A (zh) 用于防止语音帧内的信息流失的系统与方法
CN103825660B (zh) 一种次超声波通信中编解码方法及系统
CN102842337A (zh) 基于wifi的高保真音频传输方法
CN102479513B (zh) 解码器及对比特错误加以隐藏的方法
US9584944B2 (en) Stereo decoding method and apparatus using group delay and group phase parameters
WO2023202250A1 (zh) 音频传输方法、装置、终端、存储介质及程序产品
CN101483495B (zh) 一种背景噪声生成方法以及噪声处理装置
CN1132327C (zh) 产生舒适噪声的设备和包括其部件的语音编解码器
CN103456307B (zh) 音频解码器中帧差错隐藏的谱代替方法及系统
CN113129911B (zh) 一种音频信号编码压缩和传输的方法及电子设备
CN106155982B (zh) 幅度/频率/时间编码和短时傅里叶变换解码方法和装置
CN101478616A (zh) 一种即时语音通信方法
CN103050123B (zh) 一种传输语音信息的方法和系统
CN102665076B (zh) 一种重叠变换后置滤波器的构造方法
CN109410959A (zh) 一种音频编解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Chen Guoming

Inventor after: Peng Yuanjiang

Inventor after: Jiang Yunzhi

Inventor after: Ou Wenjun

Inventor after: Peng Chao

Inventor after: Liu Hong

Inventor after: Long Xingping

Inventor before: Chen Guoming

Inventor before: Peng Yuanjiang

Inventor before: Ou Wenjun

Inventor before: Peng Chao

Inventor before: Liu Hong

Inventor before: Long Xingping

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: CHEN GUOMING PENG YUANJIANG OU WENJUN PENG CHAO LIU HONG LONG XINGPING TO:CHEN GUOMING PENG YUANJIANG JIANG YUNZHI OU WENJUN PENG CHAO LIU HONG LONG XINGPING

C14 Grant of patent or utility model
GR01 Patent grant