CN102810313B - 音频解码方法及装置 - Google Patents

音频解码方法及装置 Download PDF

Info

Publication number
CN102810313B
CN102810313B CN201110147225.6A CN201110147225A CN102810313B CN 102810313 B CN102810313 B CN 102810313B CN 201110147225 A CN201110147225 A CN 201110147225A CN 102810313 B CN102810313 B CN 102810313B
Authority
CN
China
Prior art keywords
sound channel
voice data
audio frame
losing
lost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110147225.6A
Other languages
English (en)
Other versions
CN102810313A (zh
Inventor
赵云轩
刘智辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Shenzhen Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN201110147225.6A priority Critical patent/CN102810313B/zh
Priority to PCT/CN2012/076435 priority patent/WO2012163304A1/zh
Priority to AU2012265335A priority patent/AU2012265335B2/en
Priority to EP12792712.7A priority patent/EP2654039B1/en
Publication of CN102810313A publication Critical patent/CN102810313A/zh
Priority to US14/090,216 priority patent/US20140088976A1/en
Application granted granted Critical
Publication of CN102810313B publication Critical patent/CN102810313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Stereophonic System (AREA)

Abstract

本发明实施例公开了一种音频解码方法及装置。音频解码方法包括：接收数据包；当检测到发生数据包丢包，且N个声道中的M个声道的对应某一音频帧的音频数据丢失时，若N个声道中除所述M个声道之外的其他声道的，与所述音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则对未丢失的音频数据进行解码；提取解码后得到的信号特征参数；判断第一声道与第二声道之间是否具有相关性；若具有，则根据所述第二声道对所述第一声道的对应所述音频帧的已丢失的音频数据进行丢包隐藏处理。本发明实施例还提供一种音频解码装置。本发明实施例能够有效提高音频解码时丢包隐藏处理的效果。

Description

音频解码方法及装置
技术领域
本发明涉及数据处理领域，尤其涉及一种音频解码方法及装置。
背景技术
视讯技术实现了语音、图像、数据等信息综合在一起的远距离传输，使人们在进行异地交流时利用视讯技术既可以听到对方的声音，又可以看到对方的活动图像和胶片内容，大大增强了异地交流的亲切感和临场感。
视讯会议系统一般由视讯会议服务器(以多点控制单元(MCU，MultipointControl Unit)为例)和终端组成。在一个视讯会议中，每个终端对应一个会场，由各个终端采集各个会场的声音、图像并编码发送给MCU。MCU按照一定的方式对声音、图像进行处理(声音混音、图像转发或组成多画面)，并将处理后的声音和图像发送给各个终端，终端解码输出远端会场的声音和图像，实现远程通信的目的。
现有的视讯会议系统一般采用用户数据报协议(UDP，User DatagramProtocol)传输音频和图像数据，由于UDP提供的是面向事务的简单不可靠信息传送服务，所以音频和图像数据传输过程中的丢包现象在所难免。
现有技术中，编码终端完成音频编码之后，会将编码后的数据包发送给解码终端。
解码终端接收到数据包后，将数据包的实时传输协议(RTP，Real-timeTransport Protocol)头剥离掉，按照多声道码流格式进行解交织，并解码得到每个声道的音频数据。
如果发生了数据包丢包，则解码终端可以确定丢失的音频数据所属的声道，并且针对每个声道，根据该声道内解码后的音频数据对该声道内丢失的音频数据进行独立的丢包隐藏处理，即声道内的丢包隐藏处理，并得到最终的输出信号。
具体请参阅图1，现有技术中的技术方案中，若数据包P2发生了丢包，而数据包P1以及数据包P3未丢包，则解码终端可以确定丢失的音频数据所属的声道为左声道(L)以及右声道(R)，并针对左声道，使用数据包P1中的音频数据L1和/或数据包P3中的音频数据L3对数据包P2中的音频数据L2进行丢包隐藏处理，且使用数据包P1中的音频数据R1和/或数据包P3中的音频数据R3对数据包P2中的音频数据R2进行丢包隐藏处理。
但是，上述现有技术的方案中，解码终端在进行丢包隐藏处理时，会针对声道中的音频数据进行声道内的丢包隐藏处理，对于多声道系统而言，这样的处理方式影响了丢包隐藏处理的效果。
发明内容
本发明实施例提供了一种音频解码方法及装置，能够提高N个声道(其中N大于或等于2)的视频解码系统中的丢包隐藏处理的效果。
本发明实施例提供的音频解码方法，应用于音频解码系统，所述音频解码系统包含N个声道，N为大于或等于2的整数，包括：
接收数据包；当检测到发生数据包丢包，且N个声道中的M个声道的对应某一音频帧的音频数据丢失时，若N个声道中除所述M个声道之外的其他声道的，与所述音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则对所述N-M个声道中对应所述音频帧的未丢失的音频数据进行解码，所述M为大于0，且小于N的整数；提取解码后得到的所述N-M个声道中对应所述音频帧的未丢失的音频数据的信号特征参数；判断第一声道与第二声道之间是否具有相关性，所述第一声道为所述音频帧中丢失了音频数据的M个声道中的任一个，所述第二声道为所述音频帧中未丢失音频数据的N-M个声道中的任一个；若具有，则根据所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数对所述第一声道的对应所述音频帧的已丢失的音频数据进行丢包隐藏处理；若不具有，则按照预置的丢包隐藏算法对所述第一声道的对应所述音频帧的已丢失的音频数据进行声道内的丢包隐藏处理。
本发明实施例提供的音频解码装置，用于对N个声道的音频数据进行解码，所述N为大于或等于2的整数，包括：
接收单元，用于接收数据包；解码单元，用于当检测到发生数据包丢包，且N个声道中的M个声道的对应某一音频帧的音频数据丢失时，若N个声道中除所述M个声道之外的其他声道的，与所述音频帧中已丢失的音频数据属于相同音频帧的的音频数据未丢失，则对所述N-M个声道中对应所述音频帧的未丢失的音频数据进行解码，所述M为大于0，且小于N的整数；提取单元，用于提取所述解码单元解码后得到的所述N-M个声道中对应所述音频帧的未丢失的音频数据的信号特征参数；相关性判断单元，用于判断第一声道与第二声道之间是否具有相关性，所述第一声道为所述音频帧中丢失了音频数据的M个声道中的任一个，所述第二声道为所述音频帧中未丢失音频数据的N-M个声道中的任一个，若具有，则触发第一丢包隐藏单元执行相应操作，若不具有，则触发第二丢包隐藏单元执行相应操作；所述第一丢包隐藏单元，用于根据所述提取单元提取到的所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数对所述第一声道的对应所述音频帧的已丢失的音频数据进行丢包隐藏处理；所述第二丢包隐藏单元，用于按照预置的丢包隐藏算法对所述第一声道的对应所述音频帧的已丢失的音频数据进行声道内的丢包隐藏处理。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，当检测到发生数据包丢包，且N个声道(N为大于或等于2的整数)中的M个声道(M为大于0，且小于N的整数)的对应某一音频帧的音频数据丢失时，若N个声道中除该M个声道之外的其他声道的，与该音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则可以获取N-M个声道中对应该音频帧的未丢失的音频数据的信号特征参数，并当第一声道与第二声道之间具有相关性时，根据第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理，由于未丢失的音频数据是属于相同的音频帧，不同声道的音频数据，所以在音频解码装置进行丢包隐藏处理时可以利用不同声道之间的相关性，从而提高N个声道系统中的丢包隐藏处理的效果。
附图说明
图1为现有技术中数据包结构示意图；
图2为本发明音频解码方法一个实施例示意图；
图3为本发明音频数据划分示意图；
图4为本发明音频解码方法另一实施例示意图；
图5为本发明音频数据一种传输过程中丢包示意图；
图6为本发明音频解码一种数据流程示意图；
图7为本发明音频解码装置一个实施例示意图；
图8为本发明音频解码装置另一实施例示意图。
具体实施方式
本发明实施例提供了一种音频解码方法及装置，能够提高N个声道(N为大于或等于2的整数)音频解码系统中的丢包隐藏处理的效果。
请参阅图2，本发明音频解码方法一个实施例包括：
201、接收数据包；
本实施例中，音频解码装置可以用于对N个声道的音频数据进行解码，该N为大于或等于2的整数。
当音频编码装置完成了编码之后，数据包会经过网络被发送至音频解码装置。
该发送的过程可以是音频编码装置直接向音频解码装置发送该数据包，也可以是音频编码装置向转发设备发送该数据包，再由转发设备将该数据包发送至音频解码装置。
为便于理解，下面首先对音频编解码过程中的一些参数进行简要说明：
请参阅图3，图3展示了N个声道的音频数据流，其中，N个声道属于同一段单位时长的音频数据(例如C1i，C2i，......，CNi)可以看作是一个音频帧，即如图3中所划分的音频帧1，音频帧2......音频帧i等，该i为音频帧的序号，i的数值与音频数据的时长有关。
为后续描述的简便，可以将一段单位长度的音频数据叫做一段音频数据，该单位长度可以根据实际应用环境确定，其同时也表示一个音频帧的长度，例如为5毫秒，或10毫秒等，每个音频帧可以看作是由属于同一段单位时长的不同声道的音频数据所组成的集合。
需要说明的是，该N个声道的音频数据被按照时间顺序划分为不同的音频帧，每一个音频帧具有固定的长度，每一个音频帧中包含N段音频数据，每段音频数据对应一个声道，该N为声道的数目，N为大于或等于2的整数。
例如对于3声道系统而言，每个音频帧中包含3段音频数据，这3段音频数据分别对应左声道，中声道以及右声道。
202、当检测到发生数据包丢包，且N个声道中的M个声道的对应某一音频帧的音频数据丢失时，若N个声道中除该M个声道之外的其他声道的，与该音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则对N-M个声道中对应该音频帧的未丢失的音频数据进行解码；
由于UDP提供的是面向事务的简单不可靠信息传送服务，所以音频和图像数据传输过程中的丢包现象在所难免，当检测发生数据包丢包时，音频解码装置可以确定各声道的音频数据丢失情况。
如果M个声道的对应某一音频帧的音频数据丢失，且N个声道中除该M个声道之外的其他声道的，与该音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则说明属于同一个音频帧中的音频数据未完全丢失，此时，音频解码装置可以对N-M个声道中对应该音频帧的未丢失的音频数据进行解码。
本实施例中，该M为大于0，且小于N的整数。
203、提取解码后得到的N-M个声道中对应该音频帧的未丢失的音频数据的信号特征参数；
音频解码装置对N-M个声道中对应该音频帧的未丢失的音频数据进行解码后，可以得到这些音频数据的信号特征参数。
本实施例中，具体的信号特征参数可以为信号基音周期，和/或信号能量，可以理解的是，在实际应用中，信号特征参数除了采用上述两个参数进行表示之外，还可以采用其他的参数进行表示，例如信号音调等，具体此处不作限定。
本实施例中，音频解码装置提取解码后得到的N-M个声道中对应该音频帧的未丢失的音频数据的信号特征参数的方式为现有技术，此处不再赘述。
204、判断第一声道与第二声道之间是否具有相关性，若是，则执行步骤205，若否，则执行步骤206；
本实施例中，第一声道为该音频帧中丢失了音频数据的M个声道中的任一个，第二声道为该音频帧中未丢失音频数据的N-M个声道中的任一个。
需要说明的是，当不同的声道所传输的音频数据是针对同一声源的，则这些声道之间具有相关性，若不同的声道所传输的音频数据是针对不同声源，则这些声道之间不具有相关性。
205、根据第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理；
若第一声道与第二声道之间具有相关性，则说明第一声道所传输的音频数据以及第二声道所传输的音频数据是针对同一声源的，所以第一声道的已丢失的音频数据与第二声道的未丢失的音频数据之间也具有较强的相关性。
本实施例中，音频解码装置在对第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理时可以参考第二声道的对应该音频帧的未丢失的音频数据的信号特征参数，即使用第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理。
需要说明的是，若除了第二声道与第一声道之间具有相关性，同时还有其他未丢失的音频数据对应的声道也与第一声道之间具有相关性，则音频解码装置也可以根据第二声道的对应该音频帧的未丢失的音频数据的信号特征参数，以及至少一个相关声道的对应该音频帧的未丢失的音频数据的信号特征参数，对第一声道的已丢失的音频数据进行丢包隐藏处理；
该相关声道为未丢失的音频数据对应的N-M个声道中除第二声道之外，与第一声道具有相关性的声道。
206、按照预置的丢包隐藏算法对第一声道的对应该音频帧的已丢失的音频数据进行声道内的丢包隐藏处理。
若第一声道与第二声道之间不具有相关性，则说明第一声道所传输的音频数据与第二声道所传输的音频数据不是针对同一声源，所以第一声道已丢失的音频数据与第二声道未丢失的音频数据之间基本没有相关性。
本实施例中，音频解码装置可以使用预置的丢包隐藏算法对第一声道的对应该音频帧的已丢失的音频数据进行声道内的丢包隐藏处理，具体的过程与传统的丢包隐藏处理过程类似，此处不再赘述。
本发明实施例中，当检测到发生数据包丢包，且N个声道(N为大于或等于2的整数)中的M个声道(M为大于0，且小于N的整数)的对应某一音频帧的音频数据丢失时，若N个声道中除该M个声道之外的其他声道的，与该音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则可以获取N-M个声道中对应该音频帧的未丢失的音频数据的信号特征参数，并当第一声道与第二声道之间具有相关性时，根据第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理，由于未丢失的音频数据是属于相同的音频帧，不同声道的音频数据，所以在音频解码装置进行丢包隐藏处理时可以利用不同声道之间的相关性，从而提高N个声道系统中的丢包隐藏处理的效果。
为便于理解，下面以一具体实例对本发明音频解码方法进行详细描述，请参阅图4，本发明音频解码方法另一实施例包括：
401、接收数据包；
本实施例中步骤401与前述图2所示实施例中步骤201的内容类似，具体此处不再赘述。
402、当检测到发生数据包丢包，且N个声道中的M个声道的对应某一音频帧的音频数据丢失时，若其他声道的，与该音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则对N-M个声道中对应该音频帧的未丢失的音频数据进行解码；
由于UDP提供的是面向事务的简单不可靠信息传送服务，所以音频和图像数据传输过程中的丢包现象在所难免，当检测到发生数据包丢包时，音频解码装置可以确定各声道的音频数据丢失情况。
每个数据包都有其对应的一个标识，例如音频编码装置发送的第一个数据包为数据包1，其标识为000，第二个数据包为数据包2，其标识为001，第三个数据包为数据包3，其标识为010，以此类推。
音频解码装置可以根据接收到的数据包的标识以确定是否发生了丢包，例如音频编码装置对数据包进行顺序编码，从000开始，之后依次为001，010，011等等，假设音频解码装置接收到第一个数据包的标识为000，第二个数据包的标识为010，考虑到不同数据包其路由不同，在等待一段时间后，无法接收到包的标识为001的数据包，则音频解码装置通过检测可以判定发生了丢包，且丢失的数据包为数据包2。
可以理解的是，在实际应用中，音频解码装置除了采用上述的方式确定是否发生丢包，以及具体丢失的数据包之外，还可以使用其他的方式，具体方式此处不作限定。
同一段单位时长的不同声道的一段单位长度的音频数据组成同一个音频帧，所以音频解码装置在检测判定发生了丢包之后可以先查询哪些声道发生了丢包，如果是所有的声道在同一音频帧都丢失了音频数据，说明某一个音频帧被完全丢失，则音频解码装置可以按照预置的丢包隐藏算法对各声道的已丢失的音频数据进行声道内的丢包隐藏处理，具体的丢包隐藏处理过程与传统的丢包隐藏处理过程类似，此处不再赘述。
若音频解码装置获知并不是所有的N个声道在某一音频帧都丢失了音频数据，而只是其中的M个声道的音频数据丢失，且N个声道中除该M个声道之外的其他声道的，与该音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则音频解码装置可以对该音频帧的未丢失的音频数据进行解码。
本实施例中，M为大于0，且小于N的整数。
403、提取解码后得到的N-M个声道中对应该音频帧的未丢失的音频数据的信号特征参数；
音频解码装置对N-M个声道中对应该音频帧的未丢失的音频数据进行解码后，通过提取可以得到这些音频数据的信号特征参数。
本实施例中，具体的信号特征参数可以为信号基音周期，和/或信号能量，可以理解的是，在实际应用中，信号特征参数除了采用上述两个参数进行表示之外，还可以采用其他的参数进行表示，例如信号音调等，具体此处不作限定。
404、判断第一声道与第二声道之间是否具有相关性，若是，则执行步骤405，若否，则执行步骤408；
其中，该第一声道为该音频帧中已丢失了音频数据的M个声道中的任一个，该第二声道为该音频帧中未丢失音频数据的N-M个声道中的任一个；
本实施例中，音频解码装置为了确定声道之间是否存在相关性，可以使用各声道的历史音频数据进行分析，具体的分析方式可以包括：
(1)、采用音频数据进行分析：
音频解码装置可以利用相关函数计算第一声道上已接收到的音频数据与第二声道上与第一声道的已经接收到的音频数据属于同一音频帧的已接收到的音频数据之间的相关值。
音频解码装置根据该相关值判断第一声道与第二声道之间是否具有相关性，具体的，若该相关值趋近于1，则说明第一声道与第二声道之间具有相关性，若该相关值趋近于0，则说明第一声道与第二声道之间不具有相关性。
(2)、采用音频数据的信号特征参数进行分析：
音频解码装置可以获取第一声道上已经接收到的音频数据的信号特征参数以及第二声道上与第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据的信号特征参数；
当音频解码装置获取到音频数据的信号特征参数之后，可以根据信号特征参数确定第一声道与第二声道之间的相关性，具体的：
音频解码装置可以判断第一声道上已经接收到的音频数据的信号特征参数与第二声道上与第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据的信号特征参数是否满足预置的相关条件，若满足，则确定第一声道与第二声道之间具有相关性，若不满足，则确定第一声道与第二声道之间不具有相关性。
本实施例中，预置的相关条件可以是指第一声道上已经接收到的音频数据的信号特征参数与第二声道上与第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据的信号特征参数之间的差异小于预置数值，若该差异小于预置数值，则确定第一声道上已经接收到的音频数据的信号特征参数与第二声道上与第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据的信号特征参数满足预置的相关条件，反之亦然。
上述仅是本实施例中音频解码装置确定第一声道与第二声道之间的相关性的几种方式，可以理解的是，在实际应用中，音频解码装置还可以采用其他更多的方式确定第一声道与第二声道之间的相关性，例如由音频编码装置在发送数据包之前或在发送数据包的同时通知音频解码装置各声道之间的相关性，或者可以直接在音频解码装置中预置各声道之间的相关性，具体方式此处不再赘述。
本实施例中，音频解码装置可以通过上述方式确定各声道之间的相关性，例如，假设共有4声道，分别为声道1，声道2，声道3以及声道4，音频解码装置确定的各声道之间的相关性可以为：
“声道1，声道2以及声道3之间具有相关性，声道1与声道4之间不具有相关性，声道2与声道4之间不具有相关性，声道3与声道4之间不具有相关性”；
或者可以为：“声道1与声道3之间具有相关性，声道2与声道4之间具有相关性，声道1与声道2之间不具有相关性，声道1与声道4之间不具有相关性，声道3与声道2之间不具有相关性，声道3与声道4之间不具有相关性”。
需要说明的是，本实施例中的步骤404为音频解码装置确定第一声道和第二声道之间的相关性的过程，该过程并不限于在步骤403之后执行，该过程可以为周期性执行的过程，例如每隔10秒或20秒或其他时长就执行一次，从而使得各声道之间的相关性能够得到实时更新。
405、按照声道内的丢包隐藏算法计算第一声道的对应该音频帧的已丢失的音频数据对应的时间补偿参数；
若音频解码装置确定第一声道与第二声道之间具有相关性，则音频解码装置可以首先按照声道内的丢包隐藏算法计算第一声道的对应该音频帧的已丢失的音频数据对应的时间补偿参数，具体的：
声道3为对应该音频帧的已丢失的音频数据对应的声道(即为第一声道)，则音频解码装置可以从声道3中获取在当前音频帧之前，最近被成功接收到的音频数据的信号特征参数，并根据该信号特征参数进行时间加权运算得到时间补偿参数，具体加权运算的方式可以为：
时间补偿参数＝(a*length/(delta*length))*fc1；
其中，a为时间加权系数，length为一个音频帧的长度，delta为使用的未丢失音频数据的音频帧与已丢失音频数据的音频帧序号之间的差值，fc1为声道内未丢失的音频数据的信号特征参数。
例如，音频解码装置确定声道3的当前音频帧为音频帧3，音频解码装置在音频帧1接收到了声道3的音频数据，该音频数据的信号基音周期为100赫兹，每一个音频帧的长度为30毫秒，则可以计算时间补偿参数为：
(a*30/(30+30+30))*100；
其中a为时间加权系数，该时间加权系数a与信号基音周期、音频帧长度等参数相关。
该时间补偿参数表示的是在声道内对已丢失的音频数据在信号基音周期上的补偿。
需要说明的是，本实施例中仅以一个例子说明了按照声道内的丢包隐藏算法计算已丢失的音频数据对应的时间补偿参数的过程，可以理解的是，在实际应用中，还可以有更多的方式计算时间补偿参数，具体为本领域技术人员的公知常识，此处不作限定。
406、采用第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对时间补偿参数进行修正得到综合补偿参数；
当计算得到时间补偿参数之后，音频解码装置可以采用第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对时间补偿参数进行修正得到综合补偿参数，假设在音频帧3并未丢失音频数据的声道为声道1(即第二声道)，经过步骤405可知声道1与声道3之间具有相关性，即第一声道与第二声道之间具有相关性，则具体修正得到综合补偿参数的过程可以为：
综合补偿参数＝未丢失的音频数据的信号特征参数*空间加权系数b*时间补偿参数。
该空间加权系数b与声道之间的相关性程度相关，需要说明的是，在实际应用中，音频解码装置还可以采用其他的方式使用声道1在音频帧3上未丢失的音频数据的信号特征参数对时间补偿参数进行修正，此处不作限定。
本实施例中步骤406可以采用声道1在音频帧3上未丢失的音频数据的信号特征参数对时间补偿参数进行修正，可以理解的是，音频解码装置同样可以直接进行声道内以及声道间的加权运算得到综合补偿参数，例如，假设未丢失的音频数据的信号基音周期为150赫兹，则该综合补偿参数可以为：
综合补偿参数＝x*时间补偿参数+y*(b*fc2)
其中，x为时间补偿权重，y为空间补偿权重，b为空间加权系数，fc2为声道间未丢失的音频数据的信号特征参数。
结合前述例子，本实施例中的综合补偿参数可以为：
x*((a*30/(30+30+30))*100)+y*(b*150)。
假设x＝0.3，y＝0.7，a＝0.5，b＝0.1，则综合补偿参数为5+10.5＝15.5。
需要说明的是，上述描述的内容是采用第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对时间补偿参数进行修正得到综合补偿参数的过程，在实际应用中，若除了第二声道与第一声道之间具有相关性，同时还有其他的未丢失的音频数据对应的声道也与第一声道之间具有相关性，则还可以根据多个与第一声道具有相关性的声道的对应该音频帧的未丢失的音频数据的信号特征参数对时间补偿参数进行修正得到综合补偿参数，具体过程可以为：
采用第二声道的对应该音频帧的未丢失的音频数据的信号特征参数，以及至少一个相关声道的对应该音频帧的未丢失的音频数据的信号特征参数，对时间补偿参数进行修正得到综合补偿参数。
该相关声道为未丢失的音频数据对应的N-M个声道中除第二声道之外，与第一声道具有相关性的其他声道。
具体修正得到综合补偿参数的过程可以为：
Figure BDA0000065887090000121
其中，i为参与修正综合补偿参数的，与第一声道具有相关性的声道的个数，j表示这i个声道中的第j个声道，mj为第j个声道的相关性加权系数，b为空间加权系数。
其中，i为大于或等于1，且小于或等于N-M的整数，j为大于或等于1，且小于或等于i的整数，mj以及空间加权系数b与声道之间的相关性程度相关。
假设在音频帧3并未丢失音频数据的声道为声道1以及声道2，经过步骤405可知声道1、声道2以及声道3之间两两均具有相关性，则综合补偿参数可以为：
m1*fc01*b*时间补偿参数+m2*fc02*b*时间补偿参数。
m1为声道1的相关性加权系数，fc01为声道1在音频帧3上未丢失的音频数据的信号特征参数，m2为声道2的相关性加权系数，fc02为声道2在音频帧3上未丢失的音频数据的信号特征参数。
其中，m1以及m2的具体数值与声道之间的相关性程度相关，例如声道1对应的音频采集设备与声道3对应的音频采集设备之间的距离小于声道2对应的音频采集设备与声道3对应的音频采集设备之间的距离，则说明声道1与声道3之间的相关性更强，则可以设置m1大于m2，反之亦然。
可以理解的是，在实际应用中，还有更多的设置相关性加权系数的方式以及规则，具体此处不作限定。
本实施例中仅以两个声道的未丢失的音频数据的信号特征参数为例进行说明，可以理解的是，还可以使用更多的与第一声道具有相关性的相关声道的未丢失的音频数据的信号特征参数进行相应处理，具体方式类似，此处不再赘述。
本实施例中步骤406可以采用声道1以及声道2在音频帧3上未丢失的音频数据的信号特征参数对时间补偿参数进行修正，可以理解的是，音频解码装置同样可以直接进行声道内以及声道间的加权运算得到综合补偿参数，例如，假设声道1的未丢失的音频数据的信号基音周期为150赫兹，声道2的未丢失的音频数据的信号基音周期为170赫兹，则该综合补偿参数可以为：
Figure BDA0000065887090000131
Figure BDA0000065887090000132
其中，x为时间补偿权重，y为空间补偿权重，b为空间加权系数。
结合前述例子，本实施例中的综合补偿参数可以为：
x*((a*30/(30+30+30))*100)+y*(m1*b*150+m2*b*170)。
假设x＝0.3，y＝0.7，a＝0.5，b＝0.1，m1＝0.6，m2＝0.4，则综合补偿参数为5+11.06＝16.06。
407、根据综合补偿参数对第一声道的对应该音频帧的已丢失的音频数据进行恢复；
当音频解码装置计算得到综合补偿参数之后，可以根据该综合补偿参数对声道3在音频帧3上已丢失的音频数据进行恢复。
具体可以将声道3在音频帧3上已丢失的音频数据的信号特征参数设置为：综合补偿参数+(声道内未丢失的音频数据的信号特征参数+声道间未丢失的音频数据的信号特征参数)/2。
若综合补偿参数为15.5，声道3上最近接收到的音频数据的信号基音周期为100赫兹，声道1上未丢失的音频数据的信号基音周期为150赫兹，则音频解码装置可以确定声道3在音频帧3上丢失的音频数据的信号基音周期为15.5+((100+150)/2)＝140.5赫兹。
计算得到声道3在音频帧3上丢失的音频数据的信号基音周期之后，可以将声道1在音频帧3上未丢失的音频数据复制到声道3的音频帧3上，并将复制后的音频数据的信号基音周期修改为140.5赫兹，其余参数保持不变，从而可以恢复出声道3在音频帧3上丢失的音频数据。
需要说明的是，当采用多个与第一声道具有相关性的相关声道的未丢失的音频数据的信号特征参数对第一声道的对应该音频帧的已丢失的音频数据进行恢复时，具体的处理方式类似，此处不再赘述。
需要说明的是，本实施例中仅以几个例子说明了根据综合补偿参数对已丢失的音频数据进行恢复的过程，可以理解的是，在实际应用中，还可以有更多的方式根据综合补偿参数对已丢失的音频数据进行恢复，具体此处不作限定。
408、按照预置的丢包隐藏算法对第一声道的对应该音频帧的已丢失的音频数据进行声道内的丢包隐藏处理。
若声道3与任意一个未丢失的音频数据对应的声道之间均不具有相关性，则说明声道3与所有未丢失的音频数据对应的声道所传输的音频数据是针对不同的声源的，所以声道3与所有未丢失的音频数据之间基本没有相关性。
本实施例中，音频解码装置可以使用预置的丢包隐藏算法对声道3在音频帧3上已丢失的音频数据进行声道内的丢包隐藏处理，具体的过程与传统的丢包隐藏处理过程类似，此处不再赘述。
本发明实施例中，当检测到发生数据包丢包，且N个声道(N为大于或等于2的整数)中的M个声道(M为大于0，且小于N的整数)的对应某一音频帧的音频数据丢失时，若N个声道中除该M个声道之外的其他声道的，与该音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则可以获取N-M个声道中对应该音频帧的未丢失的音频数据的信号特征参数，并当第一声道与第二声道之间具有相关性时，根据第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理，由于未丢失的音频数据是属于相同的音频帧，不同声道的音频数据，所以在音频解码装置进行丢包隐藏处理时可以利用不同声道之间的相关性，从而提高N个声道系统中的丢包隐藏处理的效果。
为便于理解，下面以一些实际应用中的例子对本发明实施例进行详细说明：
请参阅图5，本实施例应用于2声道系统，其中左声道的音频数据为Li，右声道的音频数据为Ri。
音频编码装置可以将第i个音频帧的左声道的音频数据Li与第i+1个音频帧的右声道的音频数据Ri+1组成一个数据包；
并将第i+1个音频帧的左声道的音频数据Li+1与第i个音频帧的右声道的音频数据Ri组成另一数据包。
本实施例中以4个音频帧为例进行说明，可以理解的是，在实际应用中还可以为更多的音频帧，具体此处不作限定。
音频编码装置将第1音频帧的左声道音频数据L1与第2音频帧的右声道音频数据R2打包得到数据包1，并将第2音频帧的左声道音频数据L2与第1音频帧的右声道音频数据R1打包得到数据包2，以此类推，音频编码装置将L3与R4打包得到数据包3，L4与R3打包得到数据包4。
音频编码装置可以为各数据包分配唯一的标识，例如为数据包1分配00，为数据包2分配01，为数据包3分配10，为数据包4分配11。
音频编码装置打包完成之后，可以向音频解码装置发送这些数据包。假设数据包3在发送过程中发生了丢失，音频解码装置解码得到的音频数据也如图5所示，其中，L3和R4被丢失。
音频解码装置具体解码过程请参阅图6，如图6所示，音频解码装置接收到的第一个数据包的标识为00。
音频解码装置对接收到的数据包进行左右声道的解交织，并分别对左右声道进行解码，其中，第一个数据包进行左声道解码后得到的音频数据为L1，进行右声道解码后得到的音频数据为R2，音频解码装置可以将L1和R2进行缓存。
音频解码装置接收到的第二个数据包的标识为01。
音频解码装置对接收到的数据包进行左右声道的解交织，并分别对左右声道进行解码，其中，第一个数据包进行左声道解码后得到的音频数据为L2，进行右声道解码后得到的音频数据为R1，音频解码装置结合前面缓存的L1和R2可以得到两个音频帧的音频数据，分别为音频帧1(对应L1以及R1)以及音频帧2(对应L2以及R2)。
由于L1和R1都成功的被接收到，则无需进行丢包隐藏处理，直接输出，由于L1和R1都未丢失，则音频解码装置可以根据L1的信号特征参数以及R1的信号特征参数判断左声道与右声道之间的相关性关系，具体判断过程与前述方法实施例中描述的过程类似，此处不再赘述。
此外，由于L2和R2都成功的被接收到，则无需进行丢包隐藏处理，直接输出，由于L2和R2都未丢失，则音频解码装置可以根据L2的信号特征参数以及R2的信号特征参数再次判断左声道与右声道之间的相关性关系，具体判断过程与前述方法实施例中描述的过程类似，此处不再赘述。
音频解码装置则接收到的第三个数据包的标识为11。
音频解码装置对接收到的数据包进行左右声道的解交织，并分别对左右声道进行解码，其中，第一个数据包进行左声道解码后得到的音频数据为L4，进行右声道解码后得到的音频数据为R3，音频解码装置可以将L4和R3进行缓存。
音频解码装置根据数据包的标识可以获知数据包标识为10的数据包丢失，根据解码后得到的音频数据可知，音频数据L3以及R4被丢失。
则音频解码装置可以获取与L3即属于同一音频帧的右声道的音频数据R3，并得到R3的信号特征参数，随后判断左声道与右声道是否具有相关性。
若具有相关性，则使用R3的信号特征参数，结合L2，L4的信号特征参数对L3进行丢包隐藏处理，具体过程与前述方法实施例中描述的过程类似，此处不再赘述。
若不具有相关性，则使用L2，L4的信号特征参数对L3进行丢包隐藏处理，具体过程与前述方法实施例中描述的过程类似，此处不再赘述。
同理，音频解码装置也可以按照类似的方式对R4进行丢包隐藏处理，具体过程此处不再赘述。
上面介绍了本发明音频解码方法实施例，下面介绍本发明音频解码装置实施例，请参阅图7，本发明音频解码装置一个实施例包括：
接收单元701，用于接收数据包；
解码单元702，用于当检测到发生数据包丢包，且N个声道中的M个声道的对应某一音频帧的音频数据丢失时，若N个声道中除该M个声道之外的其他声道的，与该音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则对该N-M个声道中对应该音频帧的未丢失的音频数据进行解码，所述M为大于0，且小于N的整数；
提取单元703，用于提取所述解码单元702解码后得到的N-M个声道中对应该音频帧的未丢失的音频数据的信号特征参数；
相关性判断单元704，用于判断第一声道与第二声道之间是否具有相关性，第一声道为该音频帧中丢失了音频数据的M个声道中的任一个，第二声道为该音频帧中未丢失音频数据的N-M个声道中的任一个，若具有，则触发第一丢包隐藏单元705执行相应操作，若不具有，则触发第二丢包隐藏单元706执行相应操作；
第一丢包隐藏单元705，用于根据提取单元703提取到的第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理；
第二丢包隐藏单元706，用于按照预置的丢包隐藏算法对第一声道的对应该音频帧的已丢失的音频数据进行声道内的丢包隐藏处理。
下面以一具体实例对本发明音频解码装置进行详细描述，请参阅图8，本发明音频解码装置另一实施例包括：
接收单元801，用于接收数据包；
解码单元802，用于当检测到发生数据包丢包，且N个声道中的M个声道的对应某一音频帧的音频数据丢失时，若N个声道中除该M个声道之外的其他声道的，与该音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则对该N-M个声道中对应该音频帧的未丢失的音频数据进行解码，所述M为大于0，且小于N的整数；
提取单元803，用于提取所述解码单元802解码后得到的该N-M个声道中对应该音频帧的未丢失的音频数据的信号特征参数；
相关性判断单元804，用于判断第一声道与第二声道之间是否具有相关性，第一声道为该音频帧中丢失了音频数据的M个声道中的任一个，第二声道为该音频帧中未丢失音频数据的N-M个声道中的任一个，若具有，则触发第一丢包隐藏单元805执行相应操作，若不具有，则触发第二丢包隐藏单元806执行相应操作；
第一丢包隐藏单元805，用于根据提取单元803提取到的第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理；
第二丢包隐藏单元806，用于按照预置的丢包隐藏算法对第一声道的对应该音频帧的已丢失的音频数据进行声道内的丢包隐藏处理。
本实施例中的相关性判断单元804可以进一步包括：
数值计算模块8041，用于利用相关函数计算第一声道上已经接收到的音频数据以及所述第二声道上与第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据之间的相关值；
判断模块8042，用于根据所述数值计算模块计算得到的相关值判断第一声道与第二声道之间是否具有相关性。
或者，
本实施例中的相关性判断单元804可以进一步包括：
获取模块8043，用于获取第一声道上已经接收到的音频数据的信号特征参数以及所述第二声道上与第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据的信号特征参数；
判定模块8044，用于判断第一声道上已经接收到的音频数据的信号特征参数与所述第二声道上与第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据的信号特征参数之间的差异是否小于预置数值，若是，则确定所述第一声道与所述第二声道之间具有相关性，若否，则确定所述第一声道与所述第二声道之间不具有相关性。
本实施例中的第一丢包隐藏单元805可以进一步包括：
计算模块8051，用于按照声道内的丢包隐藏算法计算第一声道的对应该音频帧的已丢失的音频数据对应的时间补偿参数；
修正模块8052，用于采用第二声道的未丢失的对应该音频帧的音频数据的信号特征参数对计算模块8051计算得到的该时间补偿参数进行修正得到综合补偿参数；
恢复模块8053，用于根据修正模块8052修正得到的该综合补偿参数对第一声道的对应该音频帧的已丢失的音频数据进行恢复。
或者，
本实施例中的第一丢包隐藏单元805具体可以用于根据第二声道的对应该音频帧的未丢失的音频数据的信号特征参数，以及至少一个相关声道的对应该音频帧的未丢失的音频数据的信号特征参数，对所述第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理。
该相关声道为未丢失的音频数据对应的N-M个声道中除第二声道之外，与第一声道具有相关性的其他声道。
为便于理解，下面以一具体应用场景对本实施例音频解码装置各单元之间的联系进行详细描述：
本实施例中，接收单元801可以接收来自音频编码装置的数据包。
当音频编码装置完成了编码之后，数据包会被发送至音频解码装置。
该发送的过程可以是音频编码装置直接向音频解码装置发送该数据包，也可以是音频编码装置向转发设备发送该数据包，再由转发设备将该数据包发送至音频解码装置。
由于UDP提供的是面向事务的简单不可靠信息传送服务，所以音频和图像数据传输过程中的丢包现象在所难免，当发生数据包丢包时，音频解码装置可以确定各声道的音频数据丢失情况。
若音频解码装置获知并不是N个声道在同一音频帧都丢失了音频数据，而只是其中的M个声道在同一音频帧的音频数据丢失，且N个声道中除该M个声道之外的其他声道的，与该音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则解码单元802可以对该音频帧的未丢失的音频数据进行解码。
解码单元802对N-M个声道对应该音频帧的未丢失的音频数据进行解码后，提取单元803可以得到这些音频数据的信号特征参数。
本实施例中，具体的信号特征参数可以为信号基音周期，和/或信号能量，可以理解的是，在实际应用中，信号特征参数除了采用上述两个参数进行表示之外，还可以采用其他的参数进行表示，例如信号音调等，具体此处不作限定。
本实施例中，相关性判断单元804可以确定第一声道与第二声道之间是否存在相关性，第一声道为该音频帧中丢失了音频数据的M个声道中的任一个，第二声道为该音频帧中未丢失音频数据的N-M个声道中的任一个。
相关性判断单元804具体的确定方式与前述图4所示实施例中步骤404所描述的内容类似，此处不再赘述。
当相关性判断单元804若确定第一声道与第二声道之间具有相关性，则第一丢包隐藏单元805中的计算模块8051可以首先按照声道内的丢包隐藏算法计算第一声道的对应该音频帧的已丢失的音频数据对应的时间补偿参数。
当计算模块8051计算得到时间补偿参数之后，修正模块8052可以采用第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对时间补偿参数进行修正得到综合补偿参数。
当修正模块8052计算得到综合补偿参数之后，恢复模块8053可以根据该综合补偿参数对第一声道的对应该音频帧的已丢失的音频数据进行恢复。
需要说明的是，上述描述的内容是第一丢包隐藏单元805采用第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理的过程，在实际应用中，若除了第二声道与第一声道之间具有相关性，同时还有其他的声道也与第一声道之间具有相关性，则第一丢包隐藏单元805还可以根据多个与第一声道具有相关性的声道的对应该音频帧的未丢失的音频数据的信号特征参数对第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理，具体过程与前述图4所示实施例中步骤405至步骤407所描述的内容类似，此处不再赘述。
若相关性判断单元804确定第一声道与第二声道之间不具有相关性，则第二丢包隐藏单元806可以使用预置的丢包隐藏算法对第一声道的对应该音频帧的已丢失的音频数据进行声道内的丢包隐藏处理，具体的过程与传统的丢包隐藏处理过程类似，此处不再赘述。
本发明实施例中，当检测到发生数据包丢包，且N个声道(N为大于或等于2的整数)中的M个声道(M为大于0，且小于N的整数)的对应某一音频帧的音频数据丢失时，若N个声道中除该M个声道之外的其他声道的，与该音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则可以获取N-M个声道中对应该音频帧的未丢失的音频数据的信号特征参数，并当第一声道与第二声道之间具有相关性时，根据第二声道的对应该音频帧的未丢失的音频数据的信号特征参数对第一声道的对应该音频帧的已丢失的音频数据进行丢包隐藏处理，由于未丢失的音频数据是属于相同的音频帧，不同声道的音频数据，所以在音频解码装置进行丢包隐藏处理时可以利用不同声道之间的相关性，从而提高N个声道系统中的丢包隐藏处理的效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种音频解码方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，因此，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种音频解码方法，应用于音频解码系统，所述音频解码系统包含N个声道，N为大于或等于2的整数，其特征在于，包括：
接收数据包；
当检测到发生数据包丢包，且N个声道中的M个声道的对应某一音频帧的音频数据丢失时，若N个声道中除所述M个声道之外的其他声道的，与所述音频帧中已丢失的音频数据属于相同音频帧的音频数据未丢失，则对所述N-M个声道中对应所述音频帧的未丢失的音频数据进行解码，所述M为大于0，且小于N的整数；
提取解码后得到的所述N-M个声道中对应所述音频帧的未丢失的音频数据的信号特征参数；
判断第一声道与第二声道之间是否具有相关性，所述第一声道为所述音频帧中丢失了音频数据的M个声道中的任一个，所述第二声道为所述音频帧中未丢失音频数据的N-M个声道中的任一个；
若具有，则根据所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数对所述第一声道的对应所述音频帧的已丢失的音频数据进行丢包隐藏处理；
若不具有，则按照预置的丢包隐藏算法对所述第一声道的对应所述音频帧的已丢失的音频数据进行声道内的丢包隐藏处理。
2.根据权利要求1所述的方法，其特征在于，所述判断第一声道与第二声道之间是否具有相关性包括：
利用相关函数计算所述第一声道上已经接收到的音频数据以及所述第二声道上与所述第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据之间的相关值；
根据所述相关值判断所述第一声道以及第二声道之间是否具有相关性。
3.根据权利要求1所述的方法，其特征在于，所述判断第一声道与第二声道之间是否具有相关性包括：
获取所述第一声道上已经接收到的音频数据的信号特征参数以及所述第二声道上与所述第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据的信号特征参数；
判断所述第一声道上已经接收到的音频数据的信号特征参数与所述第二声道上与所述第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据的信号特征参数之间的差异是否小于预置数值，若是，则确定所述第一声道与所述第二声道之间具有相关性，若否，则确定所述第一声道与所述第二声道之间不具有相关性。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数对所述第一声道的对应所述音频帧的已丢失的音频数据进行丢包隐藏处理包括：
按照声道内的丢包隐藏算法计算第一声道的对应所述音频帧的已丢失的音频数据对应的时间补偿参数；
采用所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数对所述时间补偿参数进行修正得到综合补偿参数；
根据所述综合补偿参数对所述第一声道的对应所述音频帧的已丢失的音频数据进行恢复。
5.根据权利要求4所述的方法，其特征在于，所述采用所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数对所述时间补偿参数进行修正得到综合补偿参数包括：
按照预置的加权算法，对所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数以及所述时间补偿参数进行加权运算得到综合补偿参数。
6.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数对所述第一声道的对应所述音频帧的已丢失的音频数据进行丢包隐藏处理包括：
根据所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数，以及至少一个相关声道的对应所述音频帧的未丢失的音频数据的信号特征参数，对所述第一声道的对应所述音频帧的已丢失的音频数据进行丢包隐藏处理；
所述相关声道为未丢失的音频数据对应的N-M个声道中除所述第二声道之外，与所述第一声道具有相关性的其他声道。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数，以及至少一个相关声道的对应所述音频帧的未丢失的音频数据的信号特征参数，对所述第一声道的对应所述音频帧的已丢失的音频数据进行丢包隐藏处理包括：
按照声道内的丢包隐藏算法计算第一声道的对应所述音频帧的已丢失的音频数据对应的时间补偿参数；
采用所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数，以及所述至少一个相关声道的对应所述音频帧的未丢失的音频数据的信号特征参数，对所述时间补偿参数进行修正得到综合补偿参数；
根据所述综合补偿参数对所述第一声道的对应所述音频帧的已丢失的音频数据进行恢复。
8.根据权利要求1至3中任一项所述的方法，其特征在于，
所述信号特征参数包括：信号基音周期，和/或信号能量。
9.根据权利要求1至3中任一项所述的方法，其特征在于，
当检测到发生数据包丢包，并判断同一音频帧中的N个声道的音频数据全部丢失时，则按照预置的丢包隐藏算法对所述N个声道的已丢失的音频数据进行声道内的丢包隐藏处理。
10.一种音频解码装置，用于对N个声道的音频数据进行解码，所述N为大于或等于2的整数，其特征在于，包括：
接收单元，用于接收数据包；
解码单元，用于当检测到发生数据包丢包，且N个声道中的M个声道的对应某一音频帧的音频数据丢失时，若N个声道中除所述M个声道之外的其他声道的，与所述音频帧中已丢失的音频数据属于相同音频帧的的音频数据未丢失，则对所述N-M个声道中对应所述音频帧的未丢失的音频数据进行解码，所述M为大于0，且小于N的整数；
提取单元，用于提取所述解码单元解码后得到的所述N-M个声道中对应所述音频帧的未丢失的音频数据的信号特征参数；
相关性判断单元，用于判断第一声道与第二声道之间是否具有相关性，所述第一声道为所述音频帧中丢失了音频数据的M个声道中的任一个，所述第二声道为所述音频帧中未丢失音频数据的N-M个声道中的任一个，若具有，则触发第一丢包隐藏单元执行相应操作，若不具有，则触发第二丢包隐藏单元执行相应操作；
所述第一丢包隐藏单元，用于根据所述提取单元提取到的所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数对所述第一声道的对应所述音频帧的已丢失的音频数据进行丢包隐藏处理；
所述第二丢包隐藏单元，用于按照预置的丢包隐藏算法对所述第一声道的对应所述音频帧的已丢失的音频数据进行声道内的丢包隐藏处理。
11.根据权利要求10所述的音频解码装置，其特征在于，所述相关性判断单元包括：
数值计算模块，用于利用相关函数计算所述第一声道上已经接收到的音频数据以及所述第二声道上与所述第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据之间的相关值；
判断模块，用于根据所述数值计算模块计算得到的相关值判断所述第一声道以及第二声道之间是否具有相关性。
12.根据权利要求10所述的音频解码装置，其特征在于，所述相关性判断单元包括：
获取模块，用于获取所述第一声道上已经接收到的音频数据的信号特征参数以及所述第二声道上与所述第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据的信号特征参数；
判定模块，用于判断所述第一声道上已经接收到的音频数据的信号特征参数与所述第二声道上与所述第一声道的已经接收到的音频数据属于同一音频帧的已经接收到的音频数据的信号特征参数之间的差异是否小于预置数值，若是，则确定所述第一声道与所述第二声道之间具有相关性，若否，则确定所述第一声道与所述第二声道之间不具有相关性。
13.根据权利要求10至12中任一项所述的音频解码装置，其特征在于，所述第一丢包隐藏单元包括：
计算模块，用于按照声道内的丢包隐藏算法计算第一声道的对应所述音频帧的已丢失的音频数据对应的时间补偿参数；
修正模块，用于采用所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数对所述计算模块计算得到的时间补偿参数进行修正得到综合补偿参数；
恢复模块，用于根据所述修正模块修正得到的综合补偿参数对所述第一声道的对应所述音频帧的已丢失的音频数据进行恢复。
14.根据权利要求10至12中任一项所述的音频解码装置，其特征在于，
根据所述第二声道的对应所述音频帧的未丢失的音频数据的信号特征参数，以及至少一个相关声道的对应所述音频帧的未丢失的音频数据的信号特征参数，对所述第一声道的对应所述音频帧的已丢失的音频数据进行丢包隐藏处理；
所述相关声道为未丢失的音频数据对应的N-M个声道中除所述第二声道之外，与所述第一声道具有相关性的其他声道。
CN201110147225.6A 2011-06-02 2011-06-02 音频解码方法及装置 Active CN102810313B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201110147225.6A CN102810313B (zh) 2011-06-02 2011-06-02 音频解码方法及装置
PCT/CN2012/076435 WO2012163304A1 (zh) 2011-06-02 2012-06-04 音频解码方法及装置
AU2012265335A AU2012265335B2 (en) 2011-06-02 2012-06-04 Audio decoding method and device
EP12792712.7A EP2654039B1 (en) 2011-06-02 2012-06-04 Audio decoding method and apparatus
US14/090,216 US20140088976A1 (en) 2011-06-02 2013-11-26 Audio decoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110147225.6A CN102810313B (zh) 2011-06-02 2011-06-02 音频解码方法及装置

Publications (2)

Publication Number Publication Date
CN102810313A CN102810313A (zh) 2012-12-05
CN102810313B true CN102810313B (zh) 2014-01-01

Family

ID=47234008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110147225.6A Active CN102810313B (zh) 2011-06-02 2011-06-02 音频解码方法及装置

Country Status (5)

Country Link
US (1) US20140088976A1 (zh)
EP (1) EP2654039B1 (zh)
CN (1) CN102810313B (zh)
AU (1) AU2012265335B2 (zh)
WO (1) WO2012163304A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107293303A (zh) * 2017-06-16 2017-10-24 苏州蜗牛数字科技股份有限公司 一种多声道语音丢包补偿方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO2780522T3 (zh) 2014-05-15 2018-06-09
WO2016140512A1 (en) * 2015-03-02 2016-09-09 Samsung Electronics Co., Ltd. Transmitter and puncturing method thereof
KR101800420B1 (ko) * 2015-03-02 2017-11-23 삼성전자주식회사 송신 장치 및 그의 펑처링 방법
US20160323425A1 (en) * 2015-04-29 2016-11-03 Qualcomm Incorporated Enhanced voice services (evs) in 3gpp2 network
US10224045B2 (en) * 2017-05-11 2019-03-05 Qualcomm Incorporated Stereo parameters for stereo decoding
CN107294655B (zh) * 2017-05-31 2019-12-20 珠海市杰理科技股份有限公司 蓝牙通话信号恢复方法、装置、存储介质和计算机设备
US10043523B1 (en) * 2017-06-16 2018-08-07 Cypress Semiconductor Corporation Advanced packet-based sample audio concealment
CN107360166A (zh) * 2017-07-15 2017-11-17 深圳市华琥技术有限公司 一种音频数据处理方法及其相关设备
CN111402905B (zh) * 2018-12-28 2023-05-26 南京中感微电子有限公司 音频数据恢复方法、装置及蓝牙设备
CN111866668B (zh) * 2020-07-17 2021-10-15 头领科技（昆山）有限公司 一种带有耳机放大器的多声道蓝牙耳机
CN112437315B (zh) * 2020-09-02 2023-06-27 上海幻电信息科技有限公司 适应多系统版本的音频适配方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7047187B2 (en) * 2002-02-27 2006-05-16 Matsushita Electric Industrial Co., Ltd. Method and apparatus for audio error concealment using data hiding
CN101030951A (zh) * 2007-02-08 2007-09-05 华为技术有限公司 一种丢包补偿方法及装置
CN101207459A (zh) * 2007-11-05 2008-06-25 华为技术有限公司 一种信号处理方法和处理装置
CN101261833A (zh) * 2008-01-24 2008-09-10 清华大学 一种使用正弦模型进行音频错误隐藏处理的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1174571C (zh) * 2000-09-30 2004-11-03 华为技术有限公司 一种在网络上传输ip语音包的丢包恢复方法
US7379865B2 (en) * 2001-10-26 2008-05-27 At&T Corp. System and methods for concealing errors in data transmission
WO2003107591A1 (en) * 2002-06-14 2003-12-24 Nokia Corporation Enhanced error concealment for spatial audio
US7835916B2 (en) * 2003-12-19 2010-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Channel signal concealment in multi-channel audio systems
US7627467B2 (en) * 2005-03-01 2009-12-01 Microsoft Corporation Packet loss concealment for overlapped transform codecs
US7464029B2 (en) * 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
US8027485B2 (en) * 2005-11-21 2011-09-27 Broadcom Corporation Multiple channel audio system supporting data channel replacement
US7805297B2 (en) * 2005-11-23 2010-09-28 Broadcom Corporation Classification-based frame loss concealment for audio signals
WO2009084226A1 (ja) * 2007-12-28 2009-07-09 Panasonic Corporation ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法
CN101221765B (zh) * 2008-01-29 2011-02-02 北京理工大学 一种基于语音前向包络预测的差错隐藏方法
US8254469B2 (en) * 2008-05-07 2012-08-28 Kiu Sha Management Liability Company Error concealment for frame loss in multiple description coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7047187B2 (en) * 2002-02-27 2006-05-16 Matsushita Electric Industrial Co., Ltd. Method and apparatus for audio error concealment using data hiding
CN101030951A (zh) * 2007-02-08 2007-09-05 华为技术有限公司 一种丢包补偿方法及装置
CN101207459A (zh) * 2007-11-05 2008-06-25 华为技术有限公司 一种信号处理方法和处理装置
CN101261833A (zh) * 2008-01-24 2008-09-10 清华大学 一种使用正弦模型进行音频错误隐藏处理的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107293303A (zh) * 2017-06-16 2017-10-24 苏州蜗牛数字科技股份有限公司 一种多声道语音丢包补偿方法

Also Published As

Publication number Publication date
EP2654039A1 (en) 2013-10-23
EP2654039B1 (en) 2015-04-01
CN102810313A (zh) 2012-12-05
AU2012265335B2 (en) 2015-01-29
US20140088976A1 (en) 2014-03-27
WO2012163304A1 (zh) 2012-12-06
EP2654039A4 (en) 2014-03-05
AU2012265335A1 (en) 2013-08-15

Similar Documents

Publication Publication Date Title
CN102810313B (zh) 音频解码方法及装置
CN102810314B (zh) 音频编码方法及装置、音频解码方法及装置、编解码系统
CN1745526B (zh) 用于同步音频和视频流的设备和方法
US9456273B2 (en) Audio mixing method, apparatus and system
US7180434B2 (en) Audio data code conversion transmission method and code conversion reception method, device, system, and program
CN101262418B (zh) 散置在整个压缩信息信号中的数字消息的传输
US8675727B2 (en) Method and apparatus for SVC video and AAC audio synchronization using NPT
US20170279558A1 (en) Forward error correction for low-delay recovery from packet loss
CN106791997A (zh) 一种在接收端的流媒体数据的处理方法及系统、电视终端
US8965015B2 (en) Signal processing method, system, and apparatus for 3-dimensional audio conferencing
CN104221317A (zh) 发送装置、接收装置、发送方法及接收方法
US8438016B2 (en) Silence-based adaptive real-time voice and video transmission methods and system
CN111628992A (zh) 一种多人通话控制方法、装置、电子设备及存储介质
CN101553801B (zh) 用于处理多个设备使用的音频流的方法和装置
US20130051568A1 (en) Communication devices that encode and transmit data, methods of controlling such communication devices, and computer-readable storage media storing instructions for controlling such communication devices
CN114466224B (zh) 视频数据的编解码方法和装置、存储介质及电子设备
EP3292674A1 (en) Voice quality monitoring system
US20090059964A1 (en) Apparatus and method for synchronizing time information using key re-synchronization frame in encryption communications
CN107360166A (zh) 一种音频数据处理方法及其相关设备
CN102316315A (zh) 一种实时视频传输方法
CN101401373B (zh) 经编码流传输器
JP2002152181A (ja) マルチメディアデータ通信方法およびマルチメディアデータ通信装置
US20080112565A1 (en) Method of inserting vector information for estimating voice data in key re-synchronization period, method of transmitting vector information, and method of estimating voice data in key re-synchronization using vector information
MICHALKO VIDEO STREAMING IN WIRELESS NETWOKS USING AVISMO CONCEPT
WO2014198062A1 (en) Method and apparatus for video quality measurement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee after: Huawei Terminal (Shenzhen) Co., Ltd.

Address before: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee before: Huawei Device Co., Ltd.