CN111402904B - 音频数据恢复方法、装置及蓝牙设备 - Google Patents

音频数据恢复方法、装置及蓝牙设备 Download PDF

Info

Publication number
CN111402904B
CN111402904B CN201811621631.XA CN201811621631A CN111402904B CN 111402904 B CN111402904 B CN 111402904B CN 201811621631 A CN201811621631 A CN 201811621631A CN 111402904 B CN111402904 B CN 111402904B
Authority
CN
China
Prior art keywords
data
frequency domain
frame
component
recovery method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811621631.XA
Other languages
English (en)
Other versions
CN111402904A (zh
Inventor
冯宇红
王海业
杨晓东
熊焱
张亦农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zgmicro Nanjing Ltd
Original Assignee
Zgmicro Nanjing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zgmicro Nanjing Ltd filed Critical Zgmicro Nanjing Ltd
Priority to CN201811621631.XA priority Critical patent/CN111402904B/zh
Priority to PCT/CN2019/128776 priority patent/WO2020135610A1/zh
Publication of CN111402904A publication Critical patent/CN111402904A/zh
Priority to US17/359,598 priority patent/US20210327441A1/en
Application granted granted Critical
Publication of CN111402904B publication Critical patent/CN111402904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/02—Arrangements for detecting or preventing errors in the information received by diversity reception
    • H04L1/04—Arrangements for detecting or preventing errors in the information received by diversity reception using frequency diversity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/04—Error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Abstract

音频数据恢复方法、装置及蓝牙设备，包括：在频域上将音频数据分为第一频域分量和第二频域分量，对第二频域分量采用第二数据恢复方法来恢复音频数据，对于第一频域分量，采用复杂度低于所述第二数据恢复的第一数据恢复方法来恢复音频数据，使得音频数据恢复的实现复杂度低，可以在计算资源不足的蓝牙音频设备上实现高质量的音频恢复。

Description

音频数据恢复方法、装置及蓝牙设备
技术领域
本申请涉及蓝牙技术领域，尤其涉及一种音频数据恢复方法、装置及蓝牙设备。
背景技术
由于传输带宽受限，蓝牙音频传输的发送端(master设备)需要在信号发射前先进行音频压缩然后再通过无线传输把压缩后的音频信号发送给接收端(slave设备)。当master设备和salve设备距离较远或者近距离但存在干扰情况下，无线传输过程中可能会出现丢包或者错包，导致slave设备接收到的音频信号解码播放时会出现卡顿和杂音。
为了解决丢包或者错包引起的音频数据错误，现有技术中通常有以下两种处理方法：
一种是在master设备发射时在码流中增加冗余信息，例如：CRC检验、纠错码、以及其他重要编码信息保护机制。
另一种是只在slave端，利用音频信号自身相关性，使用丢错包前后的好包数据来恢复丢错包数据，最简单的实现方法就是插入静音帧数据或者重复前一个好帧数据，比较复杂的实现方法是基于模型的插值，例如基于自回归AR(Autoregressive)模型或者正弦模型的插值来恢复音频数据。但这些方法对于音频数据来说，恢复质量较差，尤其是在较高的丢包率情况下。
现有技术的缺点在于：
音频恢复后的音频质量较差。
发明内容
本申请实施例提出了一种音频数据恢复方法、装置及电子设备，以解决上述技术问题。
第一个方面，本申请实施例提供了一种音频数据恢复方法，包括如下步骤：
在频域上将音频数据分为第一频域分量和第二频域分量；
对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据。
第二个方面，本申请提供了一种音频数据恢复装置，包括：
分类模块，用于在频域上将音频数据分为第一频域分量和第二频域分量；
第一恢复模块，用于对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
第二恢复模块，用于对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据。
第三个方面，本申请提供了一种蓝牙设备，包括上述音频数据恢复装置。
有益效果如下：
本申请实施例所提供的音频数据恢复方法、装置及蓝牙设备，通过在频域上将音频数据分为第一频域分量和第二频域分量，对第二频域分量采用第二数据恢复方法来恢复音频数据，对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据，使得音频数据恢复的实现复杂度低，可以在计算资源不足的蓝牙音频设备上实现高质量的音频恢复。
附图说明
下面将参照附图描述本申请的具体实施例，其中：
图1示出了本申请实施例中音频数据恢复方法实施的流程示意图；
图2示出了本申请实施例的音频数据恢复装置的结构示意图；
图3示出了本申请实施例的蓝牙设备的结构示意图；
图4示出了本申请实施例中蓝牙音频处理的流程示意图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。
发明人在发明过程中注意到：
现有技术中存在一种基于丢失帧幅度和相位估计插值算法GAPES(Gapped-dataAmplitude and Phase Estimation)方法来恢复音频数据，该方法同其他现有技术相比，恢复音频质量有明显提高，甚至在30％丢包率下也有不错效果。但是，该方法计算复杂度太高，不太适合在计算资源不足一些蓝牙音频设备上使用。
其中，GAPES算法的详细介绍可以参见Hadas Ofir和David Malah在2005年发表的论文“Packet Loss Concealment for Audio Streaming Based on the GAPESAlgorithm”，此处不再赘述。
因此，发明人想到在GAPES算法基础上提出一种低复杂度实现方法，以便在计算资源不足的蓝牙音频设备上实现该算法，提高恢复音频质量。
针对现有技术的不足，本申请实施例提出了一种音频数据恢复方法、装置及蓝牙设备，下面进行说明。
实施例1
本申请实施例提供了一种音频数据恢复方法，下面进行说明。
图1示出了本申请实施例中音频数据恢复方法实施的流程示意图，如图所示，所述方法包括如下步骤：
步骤101、在频域上将音频数据分为第一频域分量和第二频域分量；
步骤102、对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
步骤103、对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据。
音频数据接收端可以在接收到音频数据之后，先对音频数据进行时频变换，将时域信号转换为频域信号，然后在频域上将音频数据划分为两类频域分量，第一频域分量和第二频域分量，对两类频域分量分别采用不同的音频恢复方法进行音频数据的恢复。
对于第二频域分量，采用第二数据恢复方法来恢复音频数据；对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据，可以在一定程度上降低音频恢复所需要的资源。
本申请实施例通过在频域上将音频数据进行分成两类，一类是第一频域分量，一类是第二频域分量。对于第二频域分量采用第二数据恢复方法来恢复；对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复。这样只需要对少数频域分量进行第二数据恢复估计，从而可以大大降低计算复杂度，即使在计算资源不足的蓝牙音频设备上也可以实现高质量音频恢复。
具体实施时，所述第一频域分量为noise-like分量，所述第二频域分量为tone-dominant分量，所述tone-dominant分量的功率高于所述noise-like分量的功率。
具体实施时，所述第二数据恢复方法可以为丢失帧幅度和相位估计插值GAPES方法。
具体实施时，所述第一数据恢复方法可以为噪声整形和随机相位方法。
实施中，所述在频域上将音频数据分为第一频域分量和第二频域分量，可以包括：
在频域上将音频数据分为第一类帧数据和第二类帧数据；
将所述第一类帧数据分为第一频域分量和第二频域分量。
具体实施时，在频域上将音频数据划分成第一频域分量和第二频域分量，具体可以是将音频数据先分为第一类帧数据和第二类帧数据，第一类帧数据可以是错误的音频数据，通常可能是因为丢包或错包导致的，也可以称为问题帧、错帧、坏帧等，第二类帧数据可以是正确的音频数据、或者称为好帧。
在将音频数据分为正确的数据和错误的数据之后，可以仅对错误的数据进行频域分量的划分，进而对划分后的频域分量分别进行数据恢复。
具体实施时，将音频数据先分为第一类帧数据和第二类帧数据可以根据现有技术中音频数据的校验机制、或者丢错帧标志来判断该帧数据是第一类帧还是第二类帧，本申请在此不做赘述。
实施中，所述将第一类帧数据分为第一频域分量和第二频域分量，包括：
估计第一类帧数据的功率谱；
确定所述功率谱的峰值；
根据所述峰值确定候选频域分量
将功率大于预设门限值的候选频域分量作为第二频域分量，其他频域分量作为第一频域分量。
具体实施时，将错误的音频数据划分为第一频域分量和第二频域分量具体可以为，首先对该音频数据进行功率谱的估计，确定估计出的功率谱的峰值，然后根据峰值确定候选频域分量、并将功率大于预设门限值的候选频域分量作为第二频域分量，其他频域分量作为第一频域分量。
具体实施时，确定估计出的功率谱的峰值，具体可以采用局部最大的方法来寻找峰值。
实施中，所述估计第一类帧数据的功率谱，包括采用下式计算第一类帧数据的功率谱：
其中，m表示当前第一类帧的序号，m1为前一个第二类帧的序号，m2为后一个第二类帧的序号，为第m1帧的频谱数据，/>为第m2帧的频谱数据。
具体实施时，本申请实施例假设Xm(k)表示第m帧FFT bin频谱数据，k表示FFT bin序号，1≤k≤L，L表示FFT变换长度。
在估计第一类帧数据的功率谱时可以根据当前帧(第一类帧)的前一个第二类帧的频谱数据、以及当前帧(第一类帧)的后一个第二类帧的频谱数据来计算当前帧的功率谱。
实施中，所述根据所述峰值确定候选频域分量，包括：
对所述峰值进行从大到小排序；
对于排序后的前N个峰值，以该峰值为中心、预设长度内的频域分量确定为候选频域分量。
具体实施时，在得到功率谱的峰值之后，可以先对找到的峰值进行从大到小排序，从排序的峰值中挑出前N个峰值，N可以为正整数，例如N可以取10。对于挑出来的每个峰值PeakBin，可以加上一个以该峰值PeakBin为中心的窗口Window，落在window里面的FFT bin可以认为是tone bin候选WinBin。
具体实施时，可以设这个窗口window长度为3或者5等长度值。
实施中，所述对于第一的频域分量，采用复杂度低于所述第二数据恢复的第一数据恢复方法来恢复音频数据，具体为采用下式恢复：
其中，s(k)为随机变量，取值为{1，-1}；α(k)为幅度整形因子；m为当前帧的序号；m-1为前一帧的序号；Xm-1(k)为第m-1帧的频谱数据。
具体实施时，对于第一的频域分量，本申请实施例利用前一帧的频谱数据、并利用一个随机变量给该分量增加一个随机相位、结合幅度整形因子来恢复当前帧数据。
实施中，所述幅度整形因子为预设常数。
具体实施时，所述幅度整形因子可以设为一个常数fadeout_factor，例如：所述幅度整形因子可以取值0.9。
实施中，所述幅度整形因子采用下式计算得到：
其中，Bb为频谱的临界子带；m1为前一个第二类帧的序号，m2为后一个第二类帧的序号，为第m1帧的频谱数据，/>为第m2帧的频谱数据。
具体实施时，可以把整个频谱划分为若干子带，对每个子带分别计算一个相应的幅度整形因子。
实施例2
基于同一发明构思，本申请实施例还提供了一种音频数据恢复装置，由于该音频数据恢复装置解决问题的原理与本申请实施例1所提供的音频数据恢复方法相似，因此该音频数据恢复装置的实施可以参见方法的实施，重复之处不再赘述。
图2示出了本申请实施例的音频数据恢复装置的结构示意图，如图所示，所述装置包括：
分类模块201，用于在频域上将音频数据分为第一频域分量和第二频域分量；
第一恢复模块202，用于对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
第二恢复模块203，用于对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据。
本申请实施例所提供的音频数据恢复装置，通过在频域上将音频数据进行分成两类，一类是第一频域分量，一类是第二频域分量。对于第二频域分量采用第二数据恢复方法来恢复；对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复。这样只需要对少数频域分量进行第二数据恢复方法估计，从而可以大大降低计算复杂度，即使在计算资源不足的蓝牙音频设备上也可以实现高质量音频恢复。
实施中，所述分类模块，包括：
第一分类单元，用于在频域上将音频数据分为第一类帧数据和第二类帧数据；
第二分类单元，用于将所述第一类帧数据分为第一频域分量和第二频域分量。
实施中，所述第一类帧数据为错误的数据，所述第二类帧数据为正确的数据。
实施中，所述第二分类单元，包括：
估计子单元，用于估计第一类帧数据的功率谱；
峰值确定子单元，用于确定所述功率谱的峰值；
候选频域分量确定子单元，用于根据所述峰值确定候选频域分量；
分类子单元，用于将功率大于预设门限值的候选频域分量作为第二频域分量，其他频域分量作为第一频域分量。
实施中，所述估计子单元采用下式计算第一类帧数据的功率谱：
其中，m表示当前第一类帧的序号，m1为前一个第二类帧的序号，m2为后一个第二类帧的序号，为第m1帧的频谱数据，/>为第m2帧的频谱数据。
实施中，所述峰值确定子单元用于基于局部最大的方法寻找到所述功率谱的峰值。
实施中，所述候选帧确定子单元用于对所述峰值进行从大到小排序；对于排序后的前N个峰值，以该峰值为中心、预设长度内的频域分量确定为候选频域分量。
实施中，所述第二恢复模块，用于采用下式恢复音频数据：
其中，s(k)为随机变量，取值为{1，-1}；α(k)为幅度整形因子；m为当前第一类帧，m-1为前一帧，Xm-1(k)为第m-1帧的频谱数据。
实施中，所述幅度整形因子为预设常数。
实施中，所述幅度整形因子采用下式计算得到：
其中，Bb为频谱的临界子带；m1为前一个第二类帧的序号，m2为后一个第二类帧的序号，为第m1帧的频谱数据，/>为第m2帧的频谱数据。
实施例3
基于同一发明构思，本申请实施例还提供了一种蓝牙设备。
图3示出了本申请实施例的蓝牙设备的结构示意图，如图所示，本申请实施例所提供的蓝牙设备，包括如本申请实施例2中的音频数据恢复装置。
在具体实施时，本申请实施例中的蓝牙设备可以包括蓝牙耳机、蓝牙音箱、蓝牙网关、蓝牙MP3、蓝牙闪存盘、蓝牙车载设备、蓝牙适配器等，本申请对此不作限制。
本申请实施例所提供的蓝牙设备，通过在频域上将音频数据进行分成两类，一类是第一频域分量，一类是第二频域分量。对于第二频域分量采用第二数据恢复方法来恢复；对于第一频域分量，采用第一数据恢复方法来恢复。这样只需要对少数频域分量进行第二数据恢复方法估计，从而可以大大降低计算复杂度，即使在计算资源不足的蓝牙音频设备上也可以实现高质量音频恢复。
实施例4
图4示出了本申请实施例中蓝牙音频处理的流程示意图，如图所示，处理流程可以如下：
步骤401，对接收到的蓝牙音频信号进行时频变换；
通常时频变换采用快速傅里叶变换(FFT，Fast Fourier Transformation)，在FFT变换之前，可以对时域信号先加分析窗，然后再进行FFT变换。
由于FFT技术为现有数字信号处理的常用技术，本申请在此不做赘述。
步骤402，判断当前帧是否为坏帧；
本申请实施例将数据帧分为好帧、坏帧(例如：丢帧、错帧等)。
如果当前帧是好帧，则缓冲该帧频谱数据，并执行步骤406；
如果当前帧是坏帧，则执行步骤403。
步骤403、对当前帧进行频域分量分类。
根据缓冲的好帧数据频谱估计当前帧的功率谱，基于估计出的当前帧的功率谱采用峰值检测peak detcetion方法对每个FFTbin进行分类。
如果当前坏帧的FFTbin分类为tone-dominant分量，则执行步骤404；
如果当前坏帧的FFTbin分类为noise-like分量，则执行步骤405。
步骤404、使用GAPES方法对这个FFT bin频谱数据的进行估计。
步骤405、使用噪声整形和随机相位方法对这个FFT bin频谱数据进行恢复。
步骤406、对音频数据进行时频逆变换。
时频逆变换一般可以采用快速傅里叶反变换IFFT，在IFFT变换后对音频信号加合成窗，然后进行重叠相加处理(overlap-add)，获得重构的时域信号。
下面以实验来证明本申请的有益效果：
通常情况下，使用24位定点数字信号处理器(DSP，Digital Signal Processing)，利用GAPES算法估计一个FFT bin需要12MHz。假设作1024点FFT，则需要估计513个FFT bin才能恢复当前帧数据。
如果这些FFT bin全部采用GAPES算法来估计，则需要12*513＝6156MHz。
如果采用本申请实施例所提供的分类计算方式的话，只需要少数FFT bin使用GAPES算法来恢复，其他bin按照噪声整形和随机相位方法来恢复。通过实验可以确定，只需要使用GAPES算法估计30个FFT bin就可以在10％丢错包率下，恢复音频质量接近全部513个FFT bin都采用GAPES算法估计的音频质量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (17)

1.一种音频数据恢复方法，其特征在于，包括：
在频域上将音频数据分为第一类帧数据和第二类帧数据，其中，所述第一类帧数据为错误的数据，所述第二类帧数据为正确的数据；
将所述第一类帧数据分为第一频域分量和第二频域分量；
对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
对于第一频域分量，采用复杂度低于第二数据恢复方法的第一数据恢复方法来恢复音频数据，其中，所述第一数据恢复方法包括利用前一帧的频谱数据，利用随机变量给前一帧的频谱数据增加一个随机相位，结合幅度整形因子来恢复当前帧数据；
其中，所述幅度整形因子采用下式计算得到：
其中，Bb为频谱的临界子带；m1为前一个第二类帧的序号，m2为后一个第二类帧的序号，为第m1帧的频谱数据，/>为第m2帧的频谱数据，其中，k为FFT bin序号，1≤k≤L，L表示FFT变换长度。
2.如权利要求1所述的方法，其特征在于，所述第一频域分量为noise-like分量，所述第二频域分量为tone-dominant分量，所述tone-dominant分量的功率高于所述noise-like分量的功率。
3.如权利要求1所述的方法，其特征在于，所述第二数据恢复方法为丢失帧幅度和相位估计插值GAPES方法。
4.如权利要求1所述的方法，其特征在于，所述第一数据恢复方法为噪声整形和随机相位方法。
5.如权利要求1所述的方法，其特征在于，将所述第一类帧数据分为第一频域分量和第二频域分量，包括：
估计第一类帧数据的功率谱；
确定所述功率谱的峰值；
根据所述峰值确定候选频域分量；
将功率大于预设门限值的候选频域分量作为第二频域分量，其他帧作为第一频域分量。
6.如权利要求5所述的方法，其特征在于，所述估计第一类帧数据的功率谱，包括采用下式计算第一类帧数据的功率谱：
其中，m表示当前第一类帧的序号，m1为前一个第二类帧的序号，m2为后一个第二类帧的序号，为第m1帧的频谱数据，/>为第m2帧的频谱数据。
7.如权利要求5所述的方法，其特征在于，所述根据所述峰值确定候选频域分量，包括：
对所述峰值进行从大到小排序；
对于排序后的前N个峰值，以该峰值为中心、预设长度内的频域分量确定为候选频域分量。
8.如权利要求1所述的方法，其特征在于，所述对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据，具体为对于第一频域分量采用下式恢复：
其中，s(k)为随机变量，取值为{1，-1}；α(k)为幅度整形因子；m为当前帧的序号；m-1为前一帧的序号；Xm-1(k)为第m-1帧的频谱数据。
9.一种音频数据恢复装置，其特征在于，包括：
分类模块，用于在频域上将音频数据分为第一频域分量和第二频域分量，所述分类模块，包括：第一分类单元，用于在频域上将音频数据分为第一类帧数据和第二类帧数据，第二分类单元，用于将所述第一类帧数据分为第一频域分量和第二频域分量，其中，所述第一类帧数据为错误的数据，所述第二类帧数据为正确的数据；
第一恢复模块，用于对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
第二恢复模块，用于对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据，其中，所述第一数据恢复方法包括利用前一帧的频谱数据，利用随机变量给前一帧的频谱数据增加一个随机相位，结合幅度整形因子来恢复当前帧数据；
其中，所述幅度整形因子采用下式计算得到：
其中，Bb为频谱的临界子带；m1为前一个第二类帧的序号，m2为后一个第二类帧的序号，为第m1帧的频谱数据，/>为第m2帧的频谱数据，其中，k为FFT bin序号，1≤k≤L，L表示FFT变换长度。
10.如权利要求9所述的装置，其特征在于，所述第一频域分量为noise-like分量，所述第二频域分量为tone-dominant分量，所述tone-dominant分量的功率高于所述noise-like分量的功率。
11.如权利要求9所述的装置，其特征在于，所述第二数据恢复方法为丢失帧幅度和相位估计插值GAPES方法。
12.如权利要求9所述的装置，其特征在于，所述第一数据恢复方法为噪声整形和随机相位方法。
13.如权利要求9所述的装置，其特征在于，所述第二分类单元，包括：
估计子单元，用于估计第一类帧数据的功率谱；
峰值确定子单元，用于确定所述功率谱的峰值；
候选频域分量确定子单元，用于根据所述峰值确定候选频域分量；
分类子单元，用于将功率大于预设门限值的候选频域分量作为第二频域分量，其他帧作为第一频域分量。
14.如权利要求13所述的装置，其特征在于，所述估计子单元采用下式计算第一类帧数据的功率谱：
其中，m表示当前第一类帧的序号，m1为前一个第二类帧的序号，m2为后一个第二类帧的序号，为第m1帧的频谱数据，/>为第m2帧的频谱数据。
15.如权利要求13所述的装置，其特征在于，所述候选频域分量确定子单元用于对所述峰值进行从大到小排序；对于排序后的前N个峰值，以该峰值为中心、预设长度内的频域分量确定为候选频域分量。
16.如权利要求9所述的装置，其特征在于，所述第二恢复模块，用于采用下式恢复音频数据：
其中，s(k)为随机变量，取值为{1，-1}；α(k)为幅度整形因子；m为当前帧的序号；m-1为前一帧的序号；Xm-1(k)为第m-1帧的频谱数据。
17.一种蓝牙设备，其特征在于，包括如权利要求9至16任一所述的音频数据恢复装置。
CN201811621631.XA 2018-12-28 2018-12-28 音频数据恢复方法、装置及蓝牙设备 Active CN111402904B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811621631.XA CN111402904B (zh) 2018-12-28 2018-12-28 音频数据恢复方法、装置及蓝牙设备
PCT/CN2019/128776 WO2020135610A1 (zh) 2018-12-28 2019-12-26 音频数据恢复方法、装置及蓝牙设备
US17/359,598 US20210327441A1 (en) 2018-12-28 2021-06-27 Audio data recovery method, device and Bluetooth device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811621631.XA CN111402904B (zh) 2018-12-28 2018-12-28 音频数据恢复方法、装置及蓝牙设备

Publications (2)

Publication Number Publication Date
CN111402904A CN111402904A (zh) 2020-07-10
CN111402904B true CN111402904B (zh) 2023-12-01

Family

ID=71126335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811621631.XA Active CN111402904B (zh) 2018-12-28 2018-12-28 音频数据恢复方法、装置及蓝牙设备

Country Status (3)

Country Link
US (1) US20210327441A1 (zh)
CN (1) CN111402904B (zh)
WO (1) WO2020135610A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289343B (zh) * 2020-10-28 2024-03-19 腾讯音乐娱乐科技（深圳）有限公司 音频修复方法、装置及电子设备和计算机可读存储介质
CN113035207B (zh) * 2021-03-03 2024-03-22 北京猿力未来科技有限公司 音频处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6725192B1 (en) * 1998-06-26 2004-04-20 Ricoh Company, Ltd. Audio coding and quantization method
CN101937679A (zh) * 2010-07-05 2011-01-05 展讯通信（上海）有限公司 音频数据帧的错误掩盖方法及音频解码端
CN102136271A (zh) * 2011-02-09 2011-07-27 华为技术有限公司 舒适噪声生成器、方法及回声抵消装置
CN103854649A (zh) * 2012-11-29 2014-06-11 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
CN104011794A (zh) * 2011-12-21 2014-08-27 杜比国际公司 具有并行架构的音频编码器
CN108831490A (zh) * 2013-02-05 2018-11-16 瑞典爱立信有限公司 用于对音频帧丢失隐藏进行控制的方法和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102157152B (zh) * 2010-02-12 2014-04-30 华为技术有限公司 立体声编码的方法、装置
US9712930B2 (en) * 2015-09-15 2017-07-18 Starkey Laboratories, Inc. Packet loss concealment for bidirectional ear-to-ear streaming
US10950251B2 (en) * 2018-03-05 2021-03-16 Dts, Inc. Coding of harmonic signals in transform-based audio codecs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6725192B1 (en) * 1998-06-26 2004-04-20 Ricoh Company, Ltd. Audio coding and quantization method
CN101937679A (zh) * 2010-07-05 2011-01-05 展讯通信（上海）有限公司 音频数据帧的错误掩盖方法及音频解码端
CN102136271A (zh) * 2011-02-09 2011-07-27 华为技术有限公司 舒适噪声生成器、方法及回声抵消装置
CN104011794A (zh) * 2011-12-21 2014-08-27 杜比国际公司 具有并行架构的音频编码器
CN103854649A (zh) * 2012-11-29 2014-06-11 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
CN108831490A (zh) * 2013-02-05 2018-11-16 瑞典爱立信有限公司 用于对音频帧丢失隐藏进行控制的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MPEG Layer-3简介;余智;《中国有线电视》;20011015(第19期);全文 *

Also Published As

Publication number Publication date
CN111402904A (zh) 2020-07-10
US20210327441A1 (en) 2021-10-21
WO2020135610A1 (zh) 2020-07-02

Similar Documents

Publication Publication Date Title
US9330672B2 (en) Frame loss compensation method and apparatus for voice frame signal
US10360927B2 (en) Method and apparatus for frame loss concealment in transform domain
CN101183527B (zh) 用于对高频信号进行编码和解码的方法和设备
EP2351029B1 (en) Methods and apparatus to perform audio watermarking and watermark detection and extraction
CA3124234C (en) Methods and apparatus to perform audio watermarking and watermark detection and extraction
CN111402904B (zh) 音频数据恢复方法、装置及蓝牙设备
EP4109444A1 (en) Decoder and decoding method for lc3 concealment depending on tonal or harmonic signal components
CN106847297B (zh) 高频带信号的预测方法、编/解码设备
JP6616470B2 (ja) 符号化方法、復号化方法、符号化装置及び復号化装置
KR20170054580A (ko) 오디오 신호 인코딩/디코딩 방법 및 오디오 신호 인코딩/디코딩 장치
WO2014051964A1 (en) Apparatus and method for audio frame loss recovery
CN104981870A (zh) 声音增强装置
US10666490B1 (en) Method and apparatus for estimation of a bit rate of a digital signal
CN110097892B (zh) 一种语音频信号的处理方法和装置
CN111402905B (zh) 音频数据恢复方法、装置及蓝牙设备
CN111383643B (zh) 一种音频丢包隐藏方法、装置及蓝牙接收机
US20110202339A1 (en) Speech sound detection apparatus
CN102214219A (zh) 音视频内容检索系统及其方法
US9154169B2 (en) Fractional symbol based phase noise mitigation
US20160210970A1 (en) Frequency Band Table Design for High Frequency Reconstruction Algorithms
US8849677B2 (en) Coding apparatus, coding method, decoding apparatus, decoding method, and program
CN114333801A (zh) 一种音频分类方法和装置以及设备
AU2013203674B2 (en) Methods and apparatus to perform audio watermarking and watermark detection and extraction
CN113272896A (zh) 提供经处理音频信号表示的装置和处理器、音频解码器、音频编码器、方法及计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant