CN111402905A - 音频数据恢复方法、装置及蓝牙设备 - Google Patents

音频数据恢复方法、装置及蓝牙设备 Download PDF

Info

Publication number
CN111402905A
CN111402905A CN201811623219.1A CN201811623219A CN111402905A CN 111402905 A CN111402905 A CN 111402905A CN 201811623219 A CN201811623219 A CN 201811623219A CN 111402905 A CN111402905 A CN 111402905A
Authority
CN
China
Prior art keywords
data
time domain
type
audio data
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811623219.1A
Other languages
English (en)
Other versions
CN111402905B (zh
Inventor
王海业
冯宇红
杨晓东
高占东
张亦农
熊焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing ZGmicro Co Ltd
Original Assignee
Nanjing ZGmicro Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing ZGmicro Co Ltd filed Critical Nanjing ZGmicro Co Ltd
Priority to CN201811623219.1A priority Critical patent/CN111402905B/zh
Priority to PCT/CN2019/128783 priority patent/WO2020135614A1/zh
Publication of CN111402905A publication Critical patent/CN111402905A/zh
Priority to US17/359,602 priority patent/US20210327439A1/en
Application granted granted Critical
Publication of CN111402905B publication Critical patent/CN111402905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/04—Error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

音频数据恢复方法、装置及蓝牙设备，包括：接收时域音频数据；所述音频数据包括第一类数据和第二类数据；将所述时域音频数据变换为频域音频数据；对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计后变换到时域；根据所述时域音频数据中的第一类数据和所述丢包隐藏估计后变换到时域得到的数据，得到恢复后的音频数据。本申请在接收到时域上的音频数据后进行时频变换，仅对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计，最后把第一类数据和丢包隐藏估计后变换到时域得到的数据进行组合后得到精度高于传统方法精度的输出结果，复杂度较低。

Description

音频数据恢复方法、装置及蓝牙设备
技术领域
本申请涉及蓝牙技术领域，尤其涉及一种音频数据恢复方法、装置及蓝牙设备。
背景技术
蓝牙音频传输指的是蓝牙音频发送端通过无线连接信道将音频传输到蓝牙音频的接收端。由于这一过程是无线连接的，在干扰较大或者连接距离较远的情况下，可能会出现蓝牙音频发送端发送出去的部分音频数据没有被蓝牙音频接收端接收到，即这部分音频数据在传输过程中丢失了，而音频数据的丢失会明显影响音频质量。
图1示出了现有技术中蓝牙接收端接收到音频数据的处理流程示意图，如图所示，接收端通常先进行解码，然后得到时域数据(PCM数据)，再进行丢包补偿，最后播放得到音频数据。
为了解决音频数据包丢失的问题，通常是基于接收端音频数据包隐藏技术。例如：比较简单的有噪声替换、波形替换和数据包重复等，比较先进的技术有在压缩域中插值和正弦音频建模插值等。
目前，还有一种基于GAPES(丢失帧幅度和相位估计插值，Gapped-data Amplitudeand Phase Estimation)的方法来恢复音频数据，具体是接收端通过时域数据变换到频域的过程中恢复音频数据，与上述其他技术相比，恢复音频质量有明显提高，甚至在30％丢包率下也有不错效果。但该方法除了计算复杂度太高外还会有一定的计算精度的损失。
现有技术的缺点在于：
采用GAPES方法恢复音频数据复杂度高且精度较低。
发明内容
本申请实施例提出了一种音频数据恢复方法、装置及蓝牙设备，以解决上述技术问题。
第一个方面，本申请提供了一种音频数据恢复方法，包括如下步骤：
接收时域音频数据；所述音频数据包括第一类数据和第二类数据；
将所述时域音频数据变换为频域音频数据；
对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计后变换到时域；
根据所述时域音频数据中的第一类数据和所述丢包隐藏估计后变换到时域得到的数据，得到恢复后的音频数据。
第二个方面，本申请提供了一种音频数据恢复装置，包括：
接收模块，用于接收时域音频数据；所述音频数据包括第一类数据和第二类数据；
变换模块，用于将所述时域音频数据变换为频域音频数据；
估计模块，用于对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计后变换到时域；
恢复模块，用于根据所述时域音频数据中的第一类数据和所述丢包隐藏估计后变换到时域得到的数据，得到恢复后的音频数据。
第三个方面，本申请提供了一种蓝牙设备，包括上述音频数据处理装置。
有益效果如下：
本申请实施例所提供的音频数据恢复方法、装置及蓝牙设备，在接收到时域上的音频数据后进行时频变换，仅对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计，最后把不进行任何变换处理直接输出的第一类数据和丢包隐藏后估计后变换到时域得到的数据进行组合后得到精度高于传统方法精度的输出结果，复杂度较低。
附图说明
下面将参照附图描述本申请的具体实施例，其中：
图1示出了现有技术中蓝牙接收端接收到音频数据的处理流程示意图；
图2示出了现有GAPES方法在时频域上的实现过程示意图；
图3示出了本申请实施例中音频数据恢复方法实施的示意图；
图4示出了本申请实施例中音频数据恢复方法在时频域上的实现过程示意图；
图5示出了本申请实施例的音频数据恢复装置的结构示意图；
图6示出了本申请实施例的蓝牙设备的结构示意图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。
发明人在发明过程中注意到：
图2示出了现有GAPES方法在时频域上的实现过程示意图，如图所示，现有GAPES方法包括：
首先，将时域数据(数据I)通过FFT变换(离散傅里叶变换Fast FourierTransformation)到频域数据(数据II)；如图所示，假设T、T+1、T+4、T+5、T+6表示好的数据包，T+2和T+3表示丢失的数据包(加粗区别显示)；变换到频域后，X、X+1、X+5、X+6表示好的数据包经过FFT变换得到的频域数据，X+2、X+3、X+4表示含有丢失的数据包经过FFT并进行丢包隐藏后得到的频域数据(利用GAPES丢包隐藏算法估计得到)。
然后，在频域数据(数据II)上用GAPES算法进行丢包隐藏，并把丢包隐藏处理后得到的频域数据通过反离散傅里叶变换IFFT得到时域数据(数据III)；
最后，对该时域数据(数据III)进行重叠相加得到最终的时域数据(数据IV)输出至CODEC。
现有的GAPES方法由于计算量巨大，不适合嵌入式实时系统中应用，且由于时域信号变换到频域再转换回时域的过程中，造成了精度损失。
针对现有技术的不足，本申请实施例提出了一种音频数据恢复方法、装置及蓝牙设备，下面进行说明。
实施例1
图3示出了本申请实施例中音频数据恢复方法实施的示意图，如图所示，所述方法包括：
步骤301、接收时域音频数据；所述音频数据包括第一类数据和第二类数据；
步骤302、将所述时域音频数据变换为频域音频数据；
步骤303、对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计后变换到时域；
步骤304、根据所述时域音频数据中的第一类数据和所述丢包隐藏估计后变换到时域得到的数据，得到恢复后的音频数据。
具体实施时，通常接收到的音频数据是在时域上，在对音频数据进行处理时需要将音频数据变换到频域上，本申请实施例在频域上对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计，得到估计后的数据，然后再将估计后的数据进行逆变换到时域，最后根据接收到的第一类数据以及估计后变换到时域的数据对音频数据进行恢复。
本申请实施例所提供的音频数据恢复方法，在接收到时域上的音频数据后进行时频变换，仅对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计，最后把所述丢包隐藏估计后变换到时域得到的数据与不进行任何变换处理直接输出的第一类数据进行组合，得到精度高于传统Gapes精度的输出结果，且计算复杂度较低。
实施中，所述第一类数据为CRC校验正确的数据包；所述第二类数据为CRC校验错误的数据包和丢失的数据包。
具体实施时，音频数据在接收到之后可以首先进行CRC校验等处理，将音频数据标识为正确的数据(或者称为好的数据)和错误的数据(或者称为坏的数据)，所述错误的数据包括CRC校验错误的数据包和丢失的数据包；本申请实施例将CRC校验正确的数据缓存起来，将CRC校验错误的数据和丢失的数据包进行丢包隐藏估计，最后将缓存的正确的数据和估计得到的数据进行处理后得到恢复的音频数据。
实施中，所述将时域音频数据通过快速离散傅里叶变换FFT变换为频域音频数据。
具体实施时，将音频数据从时域变换到频域可以采用快速离散傅里叶变换(FFT，Fast Fourier Transformation)，也可以采用其他变换方式，本申请对此不作限制。
实施中，所述对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计，包括：
采用丢失帧幅度和相位估计插值GAPES方法对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计。
具体实施时，本申请实施例可以采用丢失帧幅度和相位估计插值(GAPES，Gapped-data Amplitude and Phase Estimation)方法来对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计。
本申请采用GAPES方法是由于该方法恢复音频质量较高，本领域技术人员也可以采用其他方法来进行丢包隐藏估计，本申请对此不作限制。
实施中，所述根据所述时域音频数据中的第一类数据和所述丢包隐藏估计后变换到时域得到的数据，得到恢复后的音频数据，包括：
将所述时域音频数据中与所述第二类数据不相邻的第一类数据直接输出得到第一输出结果；
将所述时域音频数据中与所述第二类数据相邻的第一类数据与所述丢包隐藏估计后变换到时域得到的数据进行重叠相加OLA后输出得到第二输出结果；
根据所述第一输出结果和第二输出结果得到恢复后的音频数据。
具体实施时，本申请实施例可以将与第二类数据(坏的数据)不相邻的第一类数据(好的数据)直接输出，不做任何变换，确保精度最高；然后仅对根据所述第二类数据(坏的数据)变换得到的频域数据进行丢包隐藏估计，最后将与第二类数据(坏的数据)相邻的第一类数据(好的数据)与所述丢包隐藏估计后变换到时域得到的数据进行重叠相加后输出，确保精度在一定程度上比现有精度高；这两部分输出最终形成恢复后的音频数据。
具体实施时，所述丢包隐藏估计后变换到时域得到的数据存在与所述音频数据中与第二类数据相邻的第一类数据重叠的数据块和与所述音频数据中第二类数据相邻的第一类数据不重叠的数据块，所述将所述音频数据中与所述第二类数据相邻的第一类数据与所述丢包隐藏估计后变换到时域得到的数据进行重叠相加OLA后输出得到第二输出结果，包括：
对于所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据存在重叠的数据块，与所述音频数据中与所述第二类数据相邻的第一类数据进行重叠相加得到第一正确数据；
对于所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据不存在重叠的数据块，数据块之间进行重叠相加输出得到第二正确数据；
将所述第一正确数据和所述第二正确数据根据数据序号进行组合得到第二输出结果。
假设所述音频数据中与第二类数据相邻的第一类数据(例如：T+1包括1-128个数据块、T+4包括1-128个数据块)，所述丢包隐藏估计后变换到时域得到的数据(例如：t+2包括1-256个数据块、t+3包括1-256个数据块、t+4包括1-256个数据块)，
所述音频数据中与第二类数据相邻的第一类数据(例如：T+1、T+4)与所述丢包隐藏估计后变换到时域得到的数据(例如：t+2、t+3、t+4)重叠相加具体可以为：
将所述音频数据中与第二类数据相邻的第一类数据(例如：T+1)中的1-128个数据块、与所述丢包隐藏估计后变换到时域得到的数据(例如：t+2)的前1-128个数据块进行重叠相加，得到Tt+1；将所述音频数据中与第二类数据相邻的第一类数据(例如：T+4)中的1-128个数据块、与所述丢包隐藏估计后变换到时域得到的数据(例如：t+4)的后129-256个数据块进行重叠相加，得到Tt+4；Tt+1和Tt+4作为第一正确数据；
将所述丢包隐藏估计后变换到时域得到的数据(例如：t+2)的后129-256个数据块、与所述丢包隐藏估计后变换到时域得到的数据(例如：t+3)的前1-128个数据块进行重叠相加，得到tt+2；将所述丢包隐藏估计后变换到时域得到的数据(例如：t+3)的后129-256个数据块、与所述丢包隐藏估计后变换到时域得到的数据(例如：t+4)的前1-128个数据块进行重叠相加，得到tt+3；tt+2和tt+3作为第二正确数据；
最后将第一正确数据(Tt+1和Tt+4)和第二正确数据(tt+2和tt+3)进行组合后得到恢复后的数据(Tt+1、tt+2、tt+3和Tt+4)。
其中，对于所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据存在重叠的数据块，与所述音频数据中与所述第二类数据相邻的第一类数据进行重叠相加得到第一正确数据，包括：
将所述音频数据中与所述第二类数据相邻的第一类数据乘以第一窗系数；
将所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据存在重叠的数据块乘以第二窗系数；
将所述乘以第一窗系数得到的数据和所述乘以第二窗系数得到的数据进行相加得到第一正确数据。
图4示出了本申请实施例中音频数据恢复方法在时频域上的实现过程示意图，如图所示，包括：
首先，将时域数据(数据I)通过FFT变换到频域，得到频域数据II；如图所示，数据I中T、T+1、T+4、T+5、T+6表示好的数据包，T+2和T+3表示丢失的数据包；数据II中X、X+1、X+5、X+6表示好的数据包经过FFT变换得到的频域数据，X+2、X+3、X+4表示含有丢失的数据包经过FFT并进行丢包隐藏后得到的频域数据(这部分可以通过Gapes丢包隐藏算法来估计得到)；
然后，对估计得到的丢失的数据包的频域数据(图4中的X+2、X+3和X+4)通过IFFT变换得到对应的时域数据III(图4中的t+2、t+3和t+4)；
最后，结合时域数据I和时域数据III进行处理后得到高精度的时域数据IV。
具体实施时，时域数据I中与丢失的数据不相邻的好的数据(例如T、T+5、T+6)直接输出；时域数据I中与丢失的数据相邻的好的数据(例如T+1、T+4)与数据III中丢失的数据(例如t+1、t+3、t+4)进行重叠相加，得到Tt+1、tt+2、tt+3、Tt+4。
其中，数据I中与丢失的数据相邻的好的数据(例如T+1、T+4)与数据III中丢失的数据(例如t+2、t+3、t+4)进行重叠相加，得到Tt+1、tt+2、tt+3、Tt+4，具体可以为：
T+1与t+2的重叠相加得到正确的Tt+1；
t+4与T+4的重叠相加得到正确的Tt+4；
tt+2、tt+3可以直接根据t+2、t+3、t+4三个数据块之间的重叠相加得到；
然后将Tt+1、Tt+4与tt+2、tt+3按数据序号组合。
最后再与T、T+5、T+6组合输出最终的恢复数据。
假设数据I变换到数据II时FFT按50％加窗，数据II变换到数据III时IFFT按50％加窗，那么，T+1与t+2重叠的部分的处理为：(T+1*窗系数)+(t+2重叠的部分*窗系数)，重叠的部分中不同的数据的窗系数可能不同，例如：假设T+1数据块为1-128、t+2的数据块为1-256，那么t+2与T+1重叠的部分是1-128，其中，对于数据120的处理可能为(T+1的120)*窗系数0.3+(t+2的120)*窗系数0.7，而对于数据128的处理可能为(T+1的128)*窗系数0.5+(t+2的128)*窗系数0.5。
本申请实施例可以对两部分数据分别提高精度：
1、对于与丢失数据不相邻的好的数据，例如T和T+5，通过缓冲时域输入的好的数据，并在输出时直接用这些输入的好的数据，可以确保没有精度损失；而现有GAPES方法中tt和tt+5是T和T+5经过加窗、FFT变换和IFFT变换、加窗重叠相加后得到的，在嵌入式定点系统中由于位宽和计算能力的限制肯定会导致这些变换会带来精度的损失。
2、对于与丢失数据相邻的好的数据，例如T+1和T+4，如图4所示，T+1的输出Tt+1是T+1与t+2进行加窗重叠相加得到的，而现有GAPES方法(如图2所示)中T+1的输出tt+1是t+1和t+2进行加窗重叠相加得到的。若不考虑两者的共同部分t+2，本申请得到Tt+1时只进行了一次加窗(加在了T+1上)，而现有GAPES方法得到tt+1时进行了加窗、FFT、IFFT和再加窗。
因此，本申请从以下两个方面提高了精度：
1)现有GAPES方法经过了FFT和IFFT变换，在嵌入式定点系统中由于位宽和计算能力的限制这些操作肯定会导致精度的损失，所以本申请方法的精度更高；
2)现有GAPES方法进行了两次加窗操作，而本申请方法只进行了一次加窗(窗系数是现有GAPES方法中两次加窗的窗系数的乘积)。在嵌入式定点系统中由于位宽的限制，现有GAPES方法在第一次加窗之后需要保留有限位宽的中间结果必然会进行舍入从而带来精度损失，所以本申请实施例的方式计算精度更高。
实施例2
基于同一发明构思，本申请实施例还提供了一种音频数据恢复装置，由于该音频数据恢复装置解决问题的原理与本申请实施例1所提供的方法相似，因此该音频数据处理装置的实施可以参见方法的实施，重复之处不再赘述。
图5示出了本申请实施例的音频数据恢复装置的结构示意图，如图所示，所述装置包括：
接收模块501，用于接收时域音频数据；所述音频数据包括第一类数据和第二类数据；
变换模块502，用于将所述时域音频数据变换为频域音频数据；
估计模块503，用于对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计后变换到时域；
恢复模块504，用于根据所述时域音频数据中的第一类数据和所述丢包隐藏估计后变换到时域得到的数据，得到恢复后的音频数据。
本申请实施例所提供的音频数据恢复装置，在接收到时域上的音频数据后进行时频变换，仅对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计，最后把不进行任何变换处理直接输出的第一类数据和丢包隐藏估计后变换到时域得到的数据进行组合后得到精度高于传统Gapes精度的输出结果，复杂度较低。
实施中，所述第一类数据为CRC校验正确的数据包；所述第二类数据为CRC校验错误的数据包和丢失的数据包。
实施中，所述将时域音频数据通过离散傅里叶变换FFT变换为频域音频数据。
实施中，所述估计模块采用丢失帧幅度和相位估计插值GAPES方法对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计。
实施中，所述恢复模块，包括：
第一处理单元，用于将所述时域音频数据中与所述第二类数据不相邻的第一类数据直接输出得到第一输出结果；
第二处理单元，用于将所述时域音频数据中与所述第二类数据相邻的第一类数据与所述丢包隐藏估计后变换到时域得到的数据进行重叠相加OLA后输出得到第二输出结果；
第三处理单元，用于根据所述第一输出结果和第二输出结果得到恢复后的音频数据。
实施中，所述丢包隐藏估计后变换到时域得到的数据存在与所述音频数据中与第二类数据相邻的第一类数据重叠的数据块和与所述音频数据中第二类数据相邻的第一类数据不重叠的数据块；
所述第二处理单元，包括：
第一处理子单元，用于对于所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据存在重叠的数据块，与所述音频数据中与所述第二类数据相邻的第一类数据进行重叠相加得到第一正确数据；
第二处理子单元，用于对于所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据不存在重叠的数据块，数据块之间进行重叠相加输出得到第二正确数据；
第三处理子单元，用于将所述第一正确数据和所述第二正确数据根据数据序号进行组合得到第二输出结果。
实施中，所述第一处理子单元，具体用于将所述音频数据中与所述第二类数据相邻的第一类数据乘以第一窗系数；将所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据存在重叠的数据块乘以第二窗系数；将所述乘以第一窗系数得到的数据和所述乘以第二窗系数得到的数据进行相加得到第一正确数据。
实施例3
基于同一发明构思，本申请实施例还提供了一种蓝牙设备，由于该蓝牙设备解决问题的原理与本申请实施例1所提供的方法相似，因此该蓝牙设备的实施可以参见方法的实施，重复之处不再赘述。
图6示出了本申请实施例的蓝牙设备的结构示意图，如图所示，本申请实施例所提供的蓝牙设备，包括如本申请实施例2中的音频数据恢复装置。
在具体实施时，本申请实施例中的蓝牙设备可以包括蓝牙耳机、蓝牙音箱、蓝牙网关、蓝牙MP3、蓝牙闪存盘、蓝牙车载设备、蓝牙适配器等，本申请对此不作限制。
本申请实施例所提供的蓝牙设备，利用蓝牙接收端接收到的好的数据包缓冲起来，最后把这些好的数据包和丢包隐藏估计后变换到时域得到的数据包进行组合和重叠相加得到精度高于传统Gapes精度的输出结果，复杂度较低。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种音频数据恢复方法，其特征在于，包括如下步骤：
接收时域音频数据；所述音频数据包括第一类数据和第二类数据；
将所述时域音频数据变换为频域音频数据；
对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计后变换到时域；
根据所述时域音频数据中的第一类数据和所述丢包隐藏估计后变换到时域得到的数据，得到恢复后的音频数据。
2.如权利要求1所述的方法，其特征在于，所述第一类数据为CRC校验正确的数据包；所述第二类数据为CRC校验错误的数据包和丢失的数据包。
3.如权利要求1所述的方法，其特征在于，所述根据所述时域音频数据中的第一类数据和所述丢包隐藏估计后变换到时域得到的数据，得到恢复后的音频数据，包括：
将所述时域音频数据中与所述第二类数据不相邻的第一类数据直接输出得到第一输出结果；
将所述时域音频数据中与所述第二类数据相邻的第一类数据与所述丢包隐藏估计后变换到时域得到的数据进行重叠相加OLA后输出得到第二输出结果；
根据所述第一输出结果和第二输出结果得到恢复后的音频数据。
4.如权利要求3所述的方法，其特征在于，所述丢包隐藏估计后变换到时域得到的数据存在与所述音频数据中与第二类数据相邻的第一类数据重叠的数据块和与所述音频数据中第二类数据相邻的第一类数据不重叠的数据块；所述将所述音频数据中与所述第二类数据相邻的第一类数据与所述丢包隐藏估计后变换到时域得到的数据进行重叠相加OLA后输出得到第二输出结果，包括：
对于所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据存在重叠的数据块，与所述音频数据中与所述第二类数据相邻的第一类数据进行重叠相加得到第一正确数据；
对于所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据不存在重叠的数据块，数据块之间进行重叠相加输出得到第二正确数据；
将所述第一正确数据和所述第二正确数据根据数据序号进行组合得到第二输出结果。
5.如权利要求4所述的方法，其特征在于，对于所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据存在重叠的数据块，与所述音频数据中与所述第二类数据相邻的第一类数据进行重叠相加得到第一正确数据，包括：
将所述音频数据中与所述第二类数据相邻的第一类数据乘以第一窗系数；
将所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据存在重叠的数据块乘以第二窗系数；
将所述乘以第一窗系数得到的数据和所述乘以第二窗系数得到的数据进行相加得到第一正确数据。
6.一种音频数据恢复装置，其特征在于，包括：
接收模块，用于接收时域音频数据；所述音频数据包括第一类数据和第二类数据；
变换模块，用于将所述时域音频数据变换为频域音频数据；
估计模块，用于对根据所述第二类数据变换得到的频域数据进行丢包隐藏估计后变换到时域；
恢复模块，用于根据所述时域音频数据中的第一类数据和所述丢包隐藏估计后变换到时域得到的数据，得到恢复后的音频数据。
7.如权利要求6所述的装置，其特征在于，所述第一类数据为CRC校验正确的数据包；所述第二类数据为CRC校验错误的数据包和丢失的数据包。
8.如权利要求6所述的装置，其特征在于，所述恢复模块，包括：
第一处理单元，用于将所述时域音频数据中与所述第二类数据不相邻的第一类数据直接输出得到第一输出结果；
第二处理单元，用于将所述时域音频数据中与所述第二类数据相邻的第一类数据与所述丢包隐藏估计后变换到时域得到的数据进行重叠相加OLA后输出得到第二输出结果；
第三处理单元，用于根据所述第一输出结果和第二输出结果得到恢复后的音频数据。
9.如权利要求8所述的装置，其特征在于，所述丢包隐藏估计后变换到时域得到的数据存在与所述音频数据中与第二类数据相邻的第一类数据重叠的数据块和与所述音频数据中第二类数据相邻的第一类数据不重叠的数据块；所述第二处理单元，包括：
第一处理子单元，用于对于所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据存在重叠的数据块，与所述音频数据中与所述第二类数据相邻的第一类数据进行重叠相加得到第一正确数据；
第二处理子单元，用于对于所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据不存在重叠的数据块，数据块之间进行重叠相加输出得到第二正确数据；
第三处理子单元，用于将所述第一正确数据和所述第二正确数据根据数据序号进行组合得到第二输出结果。
10.如权利要求9所述的装置，其特征在于，所述第一处理子单元，具体用于将所述音频数据中与所述第二类数据相邻的第一类数据乘以第一窗系数；将所述丢包隐藏估计后变换到时域得到的数据中、与所述音频数据中与所述第二类数据相邻的第一类数据存在重叠的数据块乘以第二窗系数；将所述乘以第一窗系数得到的数据和所述乘以第二窗系数得到的数据进行相加得到第一正确数据。
11.一种蓝牙设备，其特征在于，包括如权利要求6至10任一所述的音频数据恢复装置。
CN201811623219.1A 2018-12-28 2018-12-28 音频数据恢复方法、装置及蓝牙设备 Active CN111402905B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811623219.1A CN111402905B (zh) 2018-12-28 2018-12-28 音频数据恢复方法、装置及蓝牙设备
PCT/CN2019/128783 WO2020135614A1 (zh) 2018-12-28 2019-12-26 音频数据恢复方法、装置及蓝牙设备
US17/359,602 US20210327439A1 (en) 2018-12-28 2021-06-27 Audio data recovery method, device and Bluetooth device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811623219.1A CN111402905B (zh) 2018-12-28 2018-12-28 音频数据恢复方法、装置及蓝牙设备

Publications (2)

Publication Number Publication Date
CN111402905A true CN111402905A (zh) 2020-07-10
CN111402905B CN111402905B (zh) 2023-05-26

Family

ID=71125738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811623219.1A Active CN111402905B (zh) 2018-12-28 2018-12-28 音频数据恢复方法、装置及蓝牙设备

Country Status (3)

Country Link
US (1) US20210327439A1 (zh)
CN (1) CN111402905B (zh)
WO (1) WO2020135614A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289343A (zh) * 2020-10-28 2021-01-29 腾讯音乐娱乐科技（深圳）有限公司 音频修复方法、装置及电子设备和计算机可读存储介质
CN117524253A (zh) * 2024-01-04 2024-02-06 南京龙垣信息科技有限公司 针对网络音频丢包的低延迟修复和隐藏方法及其设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080126096A1 (en) * 2006-11-24 2008-05-29 Samsung Electronics Co., Ltd. Error concealment method and apparatus for audio signal and decoding method and apparatus for audio signal using the same
CN101437009A (zh) * 2007-11-15 2009-05-20 华为技术有限公司 丢包隐藏的方法及其系统
CN101471073A (zh) * 2007-12-27 2009-07-01 华为技术有限公司 一种基于频域的丢包补偿方法、装置和系统
CN101604523A (zh) * 2009-04-22 2009-12-16 网经科技（苏州）有限公司 在g.711语音编码中隐藏冗余信息的方法
CN103688306A (zh) * 2011-05-16 2014-03-26 谷歌公司 音频编解码器的丢包隐藏技术
CN103714821A (zh) * 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
US20160365097A1 (en) * 2015-06-11 2016-12-15 Zte Corporation Method and Apparatus for Frame Loss Concealment in Transform Domain
CN107564533A (zh) * 2017-07-12 2018-01-09 同济大学 基于信源先验信息的语音帧修复方法和装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2326572A (en) * 1997-06-19 1998-12-23 Softsound Limited Low bit rate audio coder and decoder
US6597961B1 (en) * 1999-04-27 2003-07-22 Realnetworks, Inc. System and method for concealing errors in an audio transmission
US7447639B2 (en) * 2001-01-24 2008-11-04 Nokia Corporation System and method for error concealment in digital audio transmission
US6999598B2 (en) * 2001-03-23 2006-02-14 Fuji Xerox Co., Ltd. Systems and methods for embedding data by dimensional compression and expansion
US7047187B2 (en) * 2002-02-27 2006-05-16 Matsushita Electric Industrial Co., Ltd. Method and apparatus for audio error concealment using data hiding
BR112013003784B1 (pt) * 2010-12-10 2021-12-21 Sun Patent Trust Método e aparelho de pré-codificação
CN102810313B (zh) * 2011-06-02 2014-01-01 华为终端有限公司 音频解码方法及装置
CA2916150C (en) * 2013-06-21 2019-06-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method realizing improved concepts for tcx ltp
CN104282309A (zh) * 2013-07-05 2015-01-14 杜比实验室特许公司 丢包掩蔽装置和方法以及音频处理系统
CN105741843B (zh) * 2014-12-10 2019-09-20 辰芯科技有限公司 一种基于延时抖动的丢包补偿方法及系统
US10003896B2 (en) * 2015-08-18 2018-06-19 Gn Hearing A/S Method of exchanging data packages of different sizes between first and second portable communication devices
US20170187635A1 (en) * 2015-12-28 2017-06-29 Qualcomm Incorporated System and method of jitter buffer management
KR102250472B1 (ko) * 2016-03-07 2021-05-12 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 하이브리드 은닉 방법: 오디오 코덱들에서 주파수 및 시간 도메인 패킷 손실 은닉의 결합
US11006226B2 (en) * 2017-03-28 2021-05-11 Widex A/S Binaural hearing aid system and a method of operating a binaural hearing aid system
US10872611B2 (en) * 2017-09-12 2020-12-22 Qualcomm Incorporated Selecting channel adjustment method for inter-frame temporal shift variations
WO2019091573A1 (en) * 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080126096A1 (en) * 2006-11-24 2008-05-29 Samsung Electronics Co., Ltd. Error concealment method and apparatus for audio signal and decoding method and apparatus for audio signal using the same
CN101437009A (zh) * 2007-11-15 2009-05-20 华为技术有限公司 丢包隐藏的方法及其系统
CN101471073A (zh) * 2007-12-27 2009-07-01 华为技术有限公司 一种基于频域的丢包补偿方法、装置和系统
CN101604523A (zh) * 2009-04-22 2009-12-16 网经科技（苏州）有限公司 在g.711语音编码中隐藏冗余信息的方法
CN103688306A (zh) * 2011-05-16 2014-03-26 谷歌公司 音频编解码器的丢包隐藏技术
CN103714821A (zh) * 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
US20160365097A1 (en) * 2015-06-11 2016-12-15 Zte Corporation Method and Apparatus for Frame Loss Concealment in Transform Domain
CN107564533A (zh) * 2017-07-12 2018-01-09 同济大学 基于信源先验信息的语音帧修复方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289343A (zh) * 2020-10-28 2021-01-29 腾讯音乐娱乐科技（深圳）有限公司 音频修复方法、装置及电子设备和计算机可读存储介质
CN112289343B (zh) * 2020-10-28 2024-03-19 腾讯音乐娱乐科技（深圳）有限公司 音频修复方法、装置及电子设备和计算机可读存储介质
CN117524253A (zh) * 2024-01-04 2024-02-06 南京龙垣信息科技有限公司 针对网络音频丢包的低延迟修复和隐藏方法及其设备
CN117524253B (zh) * 2024-01-04 2024-05-07 南京龙垣信息科技有限公司 针对网络音频丢包的低延迟修复和隐藏方法及其设备

Also Published As

Publication number Publication date
US20210327439A1 (en) 2021-10-21
CN111402905B (zh) 2023-05-26
WO2020135614A1 (zh) 2020-07-02

Similar Documents

Publication Publication Date Title
EP3537436B1 (en) Frame loss compensation method and apparatus for voice frame signal
US9570062B2 (en) Method and device for self-adaptively eliminating noises
CN105788607A (zh) 应用于双麦克风阵列的语音增强方法
US20150340046A1 (en) Systems and Methods for Audio Encoding and Decoding
US20210327439A1 (en) Audio data recovery method, device and Bluetooth device
EP3432304B1 (en) Frame error concealment
CN109074814B (zh) 一种噪声检测方法及终端设备
CN103268766B (zh) 双麦克风语音增强方法及装置
EP2671323A1 (en) Method and apparatus for providing signal processing coefficients
US12020712B2 (en) Audio data recovery method, device and bluetooth device
CN106033671B (zh) 确定声道间时间差参数的方法和装置
CN110400569B (zh) 蓝牙音频修复方法及终端设备
US11900951B2 (en) Audio packet loss concealment method, device and bluetooth receiver
EP2382623B1 (en) Aligning scheme for audio signals
CN115565542A (zh) 一种基于纯时域信息的实时语音去噪方法和装置以及设备
JP7371133B2 (ja) 時間反転されたオーディオサブフレームエラー隠蔽
EP3136668B1 (en) Channel equalization and tracking device and method, and receiver
US20240221760A1 (en) Time reversed audio subframe error concealment
CN113687420B (zh) 地震数据的面波噪声去除方法及装置
US8849677B2 (en) Coding apparatus, coding method, decoding apparatus, decoding method, and program
CN115767373A (zh) 音频处理方法、装置、设备及计算机可读储存介质
CN102088428B (zh) 信号处理系统及方法
CN103065636B (zh) 语音频信号的丢帧补偿方法和装置
CN103037378A (zh) 非同步干扰数据下的干扰消除方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant