CN113439302A - 用于频域分组丢失隐藏的方法及相关解码器 - Google Patents

用于频域分组丢失隐藏的方法及相关解码器 Download PDF

Info

Publication number
CN113439302A
CN113439302A CN202080015563.1A CN202080015563A CN113439302A CN 113439302 A CN113439302 A CN 113439302A CN 202080015563 A CN202080015563 A CN 202080015563A CN 113439302 A CN113439302 A CN 113439302A
Authority
CN
China
Prior art keywords
audio signal
received audio
segment
decoder
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080015563.1A
Other languages
English (en)
Inventor
马丁·绍尔斯戴德
乔纳斯·斯韦德贝里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN113439302A publication Critical patent/CN113439302A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Communication Control (AREA)

Abstract

一种用于用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧的方法、解码器和程序代码。从原型缓冲器复制所接收到的音频信号的先前接收部分的第一段。将所接收到的音频信号的先前接收部分的第二段从原型缓冲器重叠添加到所接收到的音频信号的重构部分的初始部分，随后是所接收到的音频信号的重构部分的剩余部分。

Description

用于频域分组丢失隐藏的方法及相关解码器
技术领域
本公开总体上涉及一种用于填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧的方法。本公开还涉及一种解码器，其被配置为填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧。
背景技术
在现代通信信道/网络上传输语音/音频主要是在数字域中使用语音/音频编解码器进行的。这可能涉及获取模拟信号并使用采样和模数转换器(ADC)对其进行数字化以获得数字样本。这些数字样本可以进一步分组为帧，取决于应用，帧包含10–40ms连续周期的样本。然后，可以使用压缩算法处理这些帧，这减少了需要传输的比特数，并且仍然可以实现尽可能高的质量。然后，编码比特流作为数据分组通过数字网络传输到接收器。在接收器中，该过程是相反的。数据分组可以首先被解码以重新创建具有数字样本的帧，然后可以将该帧输入到数模转换器(DAC)以在接收器处重新创建输入模拟信号的近似值。图1提供了使用上述方法在诸如数字网络之类的网络上使用音频编码器和解码器进行音频传输的示例框图。
当数据分组通过网络传输时，可能存在数据分组由于流量负载而被网络丢弃，或者由于使数字数据无法解码的比特错误而被丢弃。当这些事件发生时，解码器需要在无法进行实际解码期间替换输出信号。该替换过程通常被称为帧/分组丢失隐藏(PLC)。图2示出了包括分组丢失隐藏的解码器200的框图。当坏帧指示符(BFI)指示丢失或损坏的帧时，PLC202可以创建信号来替换丢失/损坏的帧。否则，即，当BFI未指示丢失或损坏的帧时，接收的信号由流解码器204进行解码。可以通过将当前帧的坏帧指示符变量设置为激活(即，BFI＝1)来向解码器发送帧擦除信号。然后，解码或隐藏的帧被输入到DAC 206以输出模拟信号。帧/分组丢失隐藏也可以被称为错误隐藏单元(ECU)。
在解码器中进行分组丢失隐藏的方法有很多种。一些示例是用静音替换丢失的帧并重复最后一帧(或对最后一帧参数进行解码)。其他方法尝试用最可能的音频信号的延续来替换帧。对于类似噪声的信号，一种方法可能会产生具有类似频谱结构的噪声。对于音调信号，可以首先估计当前音调的特性(频率、幅度和相位)并使用这些参数在丢失帧的相应时间位置处生成音调的延续。
ECU的另一种方法是最初在国际专利申请No.WO2014123470并且之后在3GPP TS26.447 V15.0.0第5.4.3.5节中描述的相位ECU(Phase ECU)，其中，解码器可以在正常解码期间连续保存解码信号的原型。该原型可以用于丢失帧的情况。对原型进行频谱分析，并在频谱域中组合噪声和音调ECU功能。相位ECU识别频谱中的音调并计算相关频谱仓(spectral bin)的频谱时间替换。其他仓(bin)(非音调)可以作为噪声处理并被加扰以避免这些频谱区域中的音调伪影。所生成的重建频谱被逆FFT(快速傅立叶变换)(IFFT)转换到时域，并对信号进行处理以创建丢失帧的替换。当音频编解码器基于修正离散余弦变换(MDCT)时，替换的创建包括与重叠MDCT相关的加窗、TDA(时域混叠)和ITDA(逆TDA)，以创建已解码信号的集成延续。该方法可以确保继续使用MDCT存储器并创建将用于第一好帧的MDCT存储器。
发明内容
对于在频域中使用正弦建模的PLC，重建信号在IFFT信号的端点处可能不太可靠。这部分可能被MDCT分析窗的窗形状所掩盖，特别是当它关于前导零和尾随零对称时。前导零位于未来样本上，并且因此降低了编码器的算法延迟，因此可以被经常使用。尾随零可以主要用于使窗更简单，但这可以降低变换效率，因为它们会增加复杂性，而不会在输入信号上添加任何信息。因此，通常使用较少的尾随零。与具有类似频率分辨率的较大延迟对称MDCT窗相比，低延迟非对称MDCT窗可具有更尖锐(快速增加/快速降低)的窗形状。更尖锐的窗形状与IFFT信号的较低可靠性相结合可以将更多的这些不可靠部分包括到MDCT分析加窗内以及随后的TDA和ITDA步骤中，TDA和ITDA步骤用于创建包括更新的MDCT存储器(又名MDCT OLA(重叠添加)存储器缓冲器)的最终重构信号。这可能导致重构信号的质量较低。虽然一种方法可以是增加原型的长度，但这可能是不期望的，因为这可能会显著增加PLC的复杂度。另一种方法可以是在实际音频编解码器中使用较短的MDCT窗，但这可能会导致音频编解码器的频率分辨率变差(以及性能变差)。
相当短的快速傅立叶逆变换(IFFT)(例如具有对应于16ms的长度，在时域中提供大约12ms的可靠演进样本)与低延迟MDCT分析以及合成步骤的组合使用比所提供的12ms时域样本大得多(例如，18ms)的“加窗->TDA->ITDA”输入是要解决的具有挑战性的问题。使用较大的IFFT会增加复杂度(例如，PLC的复杂度)，而使用较小的低延迟MDCT(LD-MDCT)窗会降低编解码器的频谱分辨率，这继而将降低压缩效率。
根据本发明构思的一些实施例，提供了操作解码器以用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧的方法。在这种方法中，从原型缓冲器复制所接收到的音频信号的先前接收部分的第一段。将所接收到的音频信号的先前接收部分的第二段从原型缓冲器重叠添加到所接收到的音频信号的重构部分的初始部分，随后是所接收到的音频信号的重构部分的剩余部分。
根据本发明构思的其他实施例，提供了一种用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧的解码器。解码器包括处理器和与该处理器耦合的存储器，其中，存储器包括指令，该指令当由处理器执行时使解码器执行操作。解码器执行操作，包括从原型缓冲器复制所接收到的音频信号的先前接收部分的第一段。解码器执行进一步操作，包括将所接收到的音频信号的先前接收部分的第二段从原型缓冲器重叠添加到所接收到的音频信号的重构部分的初始部分，随后是所接收到的音频信号的重构部分的剩余部分。
根据本发明构思的其他实施例，提供了一种用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧的解码器，其中，该解码器适于执行的操作包括：从原型缓冲器复制所接收到的音频信号的先前接收部分的第一段，并将所接收到的音频信号的先前接收部分的第二段从原型缓冲器重叠添加到所接收到的音频信号的重构部分的初始部分，随后是所接收到的音频信号的重构部分的剩余部分。
根据附加实施例，提供了一种计算机程序，其包括将由解码器的至少一个处理器执行的程序代码，所述程序代码用于用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧。程序代码的执行使解码器执行操作，包括：从原型缓冲器复制所接收到的音频信号的先前接收部分的第一段，并将所接收到的音频信号的先前接收部分的第二段从原型缓冲器重叠添加到所接收到的音频信号的重构部分的初始部分，随后是所接收到的音频信号的重构部分的剩余部分。
根据其他实施例，提供了一种计算机程序产品，其包括非暂时性存储介质，该非暂时性存储介质包括将由解码器(1300)的至少一个处理器(1306)执行的程序代码，所述程序代码用于用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧。程序代码的执行使解码器执行操作，包括：从原型缓冲器复制所接收到的音频信号的先前接收部分的第一段，并将所接收到的音频信号的先前接收部分的第二段从原型缓冲器重叠添加到所接收到的音频信号的重构部分的初始部分，随后是所接收到的音频信号的重构部分的剩余部分。
根据一些实施例，用在PLC原型缓冲器中已经可用的信号填充MDCT窗的活动部分以及IFFT的端点和PLC原型缓冲器之间的OLA可以减少IFFT信号的可能不可靠端点的影响。
附图说明
附图示出了发明构思的某些非限制性实施例，该附图被包括以提供对本公开的进一步理解，且被并入并构成本申请的一部分。在附图中：
图1示出了通过网络使用音频编码器和音频解码器的框图；
图2示出了包括分组丢失隐藏的解码器的框图；
图3示出了相位ECU的时间对齐和信号图以及来自PLC原型的信号的重建；
图4是PLC信号重构操作的流程图；
图5是根据本发明构思的一些实施例的用于生成时间PLC信号的流程图；
图6是根据本发明构思的一些实施例的使用PLC原型的PLC处理的信号图；
图7示出了根据本发明构思的一些实施例的用于OLA求和的两个窗；
图8示出了根据本发明构思的一些实施例的相位ECU缓冲器完成复制长度表；
图9示出了根据本发明构思的一些实施例的相位ECU缓冲器完成OLA长度表；
图10-图12是示出了根据本发明构思的一些实施例的解码器操作的流程图；以及
图13-图15是根据本发明构思的一些实施例的解码器的框图。
具体实施方式
在下文中，将参考附图更全面地描述本发明构思，在附图中示出了本发明构思的实施例的示例。然而，本发明构思可以用多种不同形式来体现，并且不应当被解释为限于本文中所阐述的实施例。相反，提供这些实施例使得本公开将全面和完整，并且将本发明构思的范围充分传达给本领域技术人员。还应注意，这些实施例并不互相排斥。来自一个实施例的组成部分可以被默认假设为存在于/用于另一实施例中。
以下描述呈现了所公开主题的各种实施例。这些实施例被呈现为教导示例，并且不被解释为限制所公开主题的范围。例如，在不脱离所述主题的范围的情况下，可以修改、省略或扩展所述实施例的某些细节。
利用在频域中使用正弦建模的PLC，重建信号在IFFT信号的端点处可能不太可靠。这部分可能被MDCT分析窗的窗形状所掩盖，特别是当它关于前导零和尾随零对称时。前导零位于未来样本上，并且因此降低了编码器的算法延迟，因此可以被经常使用。尾随零可以主要用于使窗更简单，但这可以降低变换效率，因为它们会增加复杂性，而不会在输入信号上添加任何信息。因此，通常使用较少的尾随零。
与具有类似频率分辨率的较大延迟对称MDCT窗相比，低延迟非对称MDCT窗可具有更尖锐(快速增加/快速降低)的窗形状。更尖锐的窗形状与IFFT信号的较低可靠性相结合可以将更多的这些不可靠部分包括到MDCT分析加窗内以及随后的TDA和ITDA步骤中，TDA和ITDA步骤用于创建包括更新的MDCT存储器(又名MDCT OLA存储器缓冲器)的最终重构信号。这可能导致重构信号的质量较低。虽然一种方法可以是增加原型的长度，但这可能是不期望的，因为这可能会显著增加PLC的复杂度。另一种方法可以是在实际音频编解码器中使用较短的MDCT窗，但这可能会导致音频编解码器的频率分辨率变差(以及性能变差)。
相当短的快速傅立叶逆变换(IFFT)(例如具有对应于16ms的长度，在时域中提供大约12ms的可靠演进样本)与低延迟MDCT分析以及合成步骤的组合使用比所提供的12ms时域样本大得多(例如，18ms)的“加窗->TDA->ITDA”输入是要解决的具有挑战性的问题。使用较大的IFFT会增加复杂度(例如，PLC的复杂度)，而使用较小的LD-MDCT窗会降低编解码器的频谱分辨率，这继而将降低压缩效率，如图3所示。图3示出了相位ECU的时间对齐和信号图以及使用原型的相位演变和新的时间位置(相位)对来自PLC原型的信号的重建。使用MDCT分析加窗、TDA和ITDA步骤以及MDCT合成加窗进行最终重构，其中，最后一个合成加窗步骤还使用过去存储的MDCT变换存储器(MDCT-OLA缓冲器)并创建新的(MDCT-OLA信号缓冲器)以在下一帧(好或坏)期间使用。图3中使用了具有前瞻零点的非对称MDCT窗(LA_ZEROS-帧长度的3/8)。在3GPP TS 26.447 V15.0.0第5.4.3.5节、3GPP TS 26.445 V15.1.0第5.3.2.2节和3GPP TS 26.445 V15.1.0第6.2.4.1节中讨论了使用前瞻零点的类似操作。
本发明构思公开的一些实施例可以用PLC原型缓冲器中已经可用的信号填充MDCT窗的活动部分，并且可以使用IFFT的端点和PLC原型缓冲器之间的OLA来减少IFFT信号的可能不可靠端点部分的影响。
本发明构思公开的一些实施例可以使用原型时域信号。利用使用正弦建模的PLC，解码器在PLC原型缓冲器中以最后一个解码信号的形式保持原型时域信号。即，通过将正弦模型应用于先前合成的好帧信号的帧来计算丢失帧的替代帧，其中，该帧用作原型帧。好帧是指正确接收到的帧，而坏帧是指擦除的帧，即，丢失或损坏的帧。
转向图4，丢失或损坏的分组可被处理连接的传输层识别，并通过坏帧指示符(BFI)作为“坏帧”发送给解码器。当坏帧指示符(BFI)指示发生了丢失或损坏的帧时，在框401中使用正弦建模的PLC使用最后一个合成的好帧信号(即，原型帧)来执行原型帧信号的频谱分析，并识别幅度信号的峰值。然后，使用峰值频率仓来估计峰值的分数频率。在框403中，对与峰值相对应的峰值频率仓以及峰值频率仓的邻居进行相移。对于帧的剩余频率仓，过去合成的幅度被保留，而相位可以被随机化。在框405中，使用IFFT创建时域信号。随后是MDCT加窗、TDA和ITDA，如框407所示。
本发明构思公开的一些实施例可以使用PLC原型缓冲器来创建高质量近似信号以填充完整的MDCT分析窗长度。这可能涉及两个操作；一个操作可以将PLC原型缓冲器的一段复制到MDCT处理缓冲器中。另一个操作可以用初始时间演进的IFFT信号将原型缓冲器的剩余最后部分重叠添加到MDCT处理缓冲器中，如图4所示。随后是MDCT加窗、TDA和ITDA，如图4的框407所示。
在3GPP TS 26.447 V15.1.0第6.2.4.1节中讨论的操作中，来自前一帧的时域原型信号仅在第一帧丢失期间使用。对于连续正弦建模，原型的频谱表示被保存并用于连续丢失帧中。然而，为了能够执行本公开的一些实施例的复制和OLA操作，在连续帧错误期间，原型缓冲器(或单独的时间连续性缓冲器)的相关部分可能需要被连续更新(即，在坏帧期间)。由于保存了频谱表示，因此在处理连续丢失帧期间不需要更新完整的原型缓冲器。
在一些实施例中，在用于分组隐藏的方法是频域中的正弦建模的情况下，可以提高质量。通过确保重建帧与当前解码信号很好地集成，即使在相位ECU的IFFT之后的帧重构步骤仅提供有限帧(即，适当的时间演进样本的数量有限)时并且当MDCT窗关于前导零和尾随零是非对称的时。
在本文公开的发明构思的各种实施例中，IFFT信号的不可靠端点可以被部分替换，并且非对称MDCT窗可以用于加窗、TDA和ITDA步骤。这可以减少将以其他方式引入的帧重复不连续性。本文公开的发明构思改进了音调信号的PLC的质量，并且可以基本上消除由于没有提供具有足够可靠样本的MDCT分析加窗步骤而可能以其他方式产生的合成本底噪声。
在本文公开的发明构思的各种实施例中，即使MDCT分析/合成窗需要多于12ms的可靠信号以提供高质量分析和合成重构，以及到核心音频编解码器的接口(经由MDCT OLA存储器缓冲器)，相当短的IFFT(例如16ms，产生大约12ms的可靠时间演进样本)可以与高效的低延迟MDCT结合使用。
在本发明构思的一些实施例中，MDCT可以在20ms窗上提前10ms进行。在好帧之后保存的PLC原型帧的长度可以为16ms。相关的瞬态检测器可以使用两个长度为4ms的短FFT——即，PLC原型帧的四分之一。这些项目的实际长度取决于所使用的采样频率，并且可以为8kHz至48kHz。这些长度会影响每个变换中的频谱仓数。
在本文公开的一些实施例中，可以根据核心相位ECU方法来创建演进的和时间校正的信号xph(n)，参见例如在3GPP TS 26.477 V15.0.0第5.4.3.5节中讨论的核心相位ECU方法。
在本文公开的一些实施例中，然后，信号xph(n)可以在两个方向上扩展到xph_ext(n)以实现与正常MDCT窗相同的长度，从而在加窗前创建从最后一个解码帧到新重构信号的平滑过渡。左边(最旧的)部分可能需要两个步骤，一个段复制以及一个段重叠和添加。在第一步骤中，可以从原型缓冲器中复制一部分(时域样本)，对应于演进和重构信号之前的合成部分。在第二步骤中，可以在来自原型缓冲器的最终部分和重构信号xph(k)的初始部分之间重叠添加段。重构信号之后的部分可以是零扩展。然后可以像在基于MDCT的编码器中所做的那样对该信号xph_ext(n)进行加窗(MDCT分析窗)和时域混叠。非对称MDCT窗中的前导零样本被称为LA_ZEROS。然后，得到的加窗和时域混叠信号可以使用传统MDCT解码器中描述的来自前一帧的MDCT的存储器/状态进行重叠和添加(OLA)处理。
本发明构思的一些实施例在用于PLC原型的OLA的窗和作为汉宁窗(Hann window)的拖尾重构PLC信号的非限制性示例上呈现，而本公开的实施例也可以应用于其他类型的窗，例如，汉明窗(Hamming window)、凯撒窗(Kaiser window)等。
在一些实施例中，OLA可以首先应用逐样本窗以实现来自PLC原型缓冲器的部分的淡出。窗根据以下函数缩放缓冲器中的每个样本：
Figure BDA0003220074850000091
其中，Lola是OLA段的长度。第二个窗可以用于实现重建的IFFT时域信号的初始(最旧)部分的淡入，其中每个样本的缩放被定义为：
Figure BDA0003220074850000092
来自PLC原型和IFFT尾部的加窗缩放样本可以相加并形成针对OLA时间段的新估计。优选地构造两个窗(wold和wnew)，使得任意点n处的和是1.0。
图8示出了根据本发明构思的一些实施例的相位ECU缓冲器完成复制长度表。图8示出了复制部分(Lcopy)的长度取决于采样频率。图9示出了根据本发明构思的一些实施例的取决于采样频率fs的汉明部分的长度。
本公开的一些实施例可以针对稳态正弦曲线提供平滑且接近无噪声的合成信号。
在本公开的一些实施例中，复制(COPY)段和OLA段的长度可以基于对过去合成信号和有些不可靠相位演进IFFT信号的分析而动态地调整。
例如，对应于来自不可靠IFFT信号的最旧样本，在默认长度(2.0ms、1.75ms)导致0.75ms区域中的强瞬变的情况下，复制部分可以被扩展到2.75ms，而OLA部分减少到1ms。瞬变检测器可以将前2ms的RMS(均方根)值与0.75ms调整区域的RMS(具有两个长度集合(COPY、OLA))进行比较，并且可以使用提供最低RMS能量差异的长度集合。
在本公开的一些实施例中，可以通过在好的(GOOD)非PLC帧中用MDCT分析窗预处理复制段来降低复杂度。可以使用组合的OLA_old窗和MDCT窗对复制段和OLA段执行相同的操作。加窗复杂度的这种重新分配可以允许在坏(BAD)帧中使用更多的复杂度。
图5是根据本发明构思的一些实施例的用于生成时间PLC信号的流程图。框401、403和405在上面对图4的说明中进行了描述。在框501处，可以使用来自原型信号的复制和OLA来生成完整MDCT长度的完整时间PLC信号。在框503处，可以执行包括执行MDCT分析窗、TDA、ITDA以及MDCT合成和MDCT-OLA的操作以重建PLC信号。图5的时间信号的生成还可以减少可能不可靠的IFFT端点的使用。
图6是根据本发明构思的一些实施例的PLC处理的信号图。窗601示出了使用PLC原型605来填充MDCT帧并在PLC原型605和IFFT重构信号609的可能不可靠的初始端点之间进行重叠添加(OLA)607。609的另一端点与分析MDCT窗601的前瞻零重叠。
图7示出了两个窗701(旧)和702(新)可以如何用于OLA以有助于对两个加窗信号部分703求和。
现在将参照图10-图12的流程图根据本发明构思的一些实施例来讨论解码器1300(参见图13-图15)的操作。例如，模块可以存储在图13-图15的存储器1308中，并且这些模块可以提供指令，使得当模块的指令由处理器1306执行时，处理器1306执行相应流程图的相应操作。
图10示出了用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧的解码器的操作。在图10的框1000处，解码器1300的处理器1306将所接收到的音频信号的先前接收部分的第一段从原型缓冲器1318复制到处理缓冲器1320。在框1002处，解码器1300的处理器1306将来自原型缓冲器1318的所接收到的音频信号的先前接收部分的第二段到所接收到的音频信号的重构部分的初始部分重叠添加到处理缓冲器1320中，随后是所接收到的音频信号的重构部分的剩余部分。
图11示出了当存在连续的丢失帧时、用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧的解码器的进一步操作。
在图11的框1100处，解码器1300的处理器1306从时间连续性缓冲器1316复制所接收到的音频信号的先前接收部分的第一段。在框1102处，解码器1300的处理器1306将来自时间连续性缓冲器1316的所接收到的音频信号的先前接收部分的第二段到所接收到的音频信号的重构部分的初始部分重叠添加到处理缓冲器1320中，随后是所接收到的音频信号的重构部分的剩余部分。
原型缓冲器1318可以用新解码的信号更新，并且时间连续性缓冲器1316可以在MDCT OLA之后用新重建的信号更新。
图12示出了用动态调整的信号段长度填充分析窗长度的解码器的进一步操作。在图12的框1200处，解码器1300的处理器1306可以基于对来自填充的分析窗长度的先前合成的时域信号的分析来动态地调整第一段和第二段的长度。
参照解码器和相关方法的一些实施例，来自流程图11和12的各种操作可以是可选的。例如，框1100、1102和1200可以是可选的。
上述各种实施例应用于解码器中的控制器，如图13-图15所示。图13是根据一些实施例的解码器的示意性框图。解码器1300包括输入单元1302，其被配置为接收编码音频信号。图13示出了根据本文描述的各种实施例的由逻辑帧丢失隐藏单元1304进行的帧丢失隐藏，该逻辑帧丢失隐藏单元1304指示解码器被配置为实现丢失音频帧的隐藏。此外，解码器1300包括用于实现本文描述的各种实施例的控制器1306(在本文中也称为处理器或处理器电路)。控制器1306被耦合到输入端(IN)和存储器1308(在本文中也称为存储器电路)，存储器1308被耦合到处理器1306。从处理器1306获得的解码和重构的音频信号从输出端(OUT)输出。存储器1308可以包括计算机可读程序代码1310，该计算机可读程序代码1310在由处理器1306执行时使处理器执行根据本文所公开的实施例的操作。根据其他实施例，处理器1306可以被定义为包括存储器，使得不需要单独的存储器。
控制器1306被配置为用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧。控制器1306可以将所接收到的音频信号的先前接收部分的第一段从原型缓冲器复制到处理缓冲器。控制器1306可以将从来自原型缓冲器的所接收到的音频信号的先前接收部分的第二段到所接收到的音频信号的重构部分的初始部分重叠添加(OLA)到处理缓冲器中，随后是所接收到的音频信号的重构部分的剩余部分。如图15所示，复制可以由复制单元1312执行，并且OLA可以由OLA单元1314执行。要由处理器1306处理的信号(包括复制单元1312和OLA单元1314)可以从存储器1308提供，包括从时间连续性缓冲器1316、原型缓冲器1318和处理缓冲器1320提供，如图15所示。
带有其复制单元和OLA单元的解码器可以用硬件实现。可以使用和组合电路元件的多种变体来实现解码器的单元的功能。这样的变体包含在各种实施例中。解码器的硬件实现的特定示例是以数字信号处理器(DSP)硬件和集成电路技术(包括通用电子电路和专用电路)实现的。
缩略语
在本公开中可以使用以下缩写中的至少一些。如果缩略语之间存在不一致，则应优先考虑上面如何使用它。如果在下面多次列出，则首次列出应优先于任何后续列出。
缩略语 解释
ADC 模数转换器
BFI 坏帧指示器
DAC 数模转换器
FFT 快速傅立叶变换
IFFT 快速傅立叶逆变换
ITDA 逆时域混叠
LA_ZEROS 前瞻零点
MDCT 修正离散余弦变换
OLA 重叠和添加
TDA 时域混叠
参考文献：
3GPP TS 26.447 V15.0.0第5.4.3.5节
3GPP TS 26.445 V15.1.0第5.3.2.2节
3GPP TS 26.445 V15.1.0第6.2.4.1节
参考文献3GPP TS 26.447 V15.0.0第5.4.3.5条、3GPP TS 26.445 V15.1.0第5.3.2.2条和3GPP TS 26.445 V15.1.0第6.2.4.1条由此以引用的方式合并于此，如同它们的内容在本文中被完整阐述一样。
发明构思的示例实施例的列表：
在下面讨论示例实施例。通过示例/说明的方式在括号中提供了参考数字/字母，而不将示例实施例限制为由参考数字/字母指示的特定元件。
1.一种用时域信号填充分析窗长度以隐藏所接收到的音频信号的丢失音频帧的方法，所述方法包括：
将所接收到的音频信号的先前接收部分的第一段从原型缓冲器(1318)复制(1000、1312)到处理缓冲器(1320)；以及
将从来自所述原型缓冲器(1318)的所接收到的音频信号的先前接收部分的第二段到所接收到的音频信号的重构部分的初始部分重叠添加(1002、1314)到所述处理缓冲器(1320)，随后是所接收到的音频信号的重构部分的剩余部分。
2.根据实施例1所述的方法，其中，所接收到的音频信号的先前接收部分是时域信号。
3.根据实施例1至2中任一项所述的方法，其中，所接收到的音频信号的重构部分包括时间演进变换信号。
4.根据实施例1至3中任一项所述的方法，其中，所述处理缓冲器是折叠变换修正离散余弦变换(MDCT)缓冲器。
5.根据实施例1至4中任一项所述的方法，其中，所述MDCT分析窗是不对称的。
6.根据实施例1至5中任一项所述的方法，还包括对连续丢失帧进行复制和重叠添加，包括：
从时间连续性缓冲器(1316)复制(1100、1312)所接收到的音频信号的先前接收部分的第一段；以及
将来自所述时间连续性缓冲器(1316)的所接收到的音频信号的先前接收部分的第二段到所接收到的音频信号的重构部分的初始部分重叠添加(1002、1314)到所述处理缓冲器(1320)，随后是所接收到的音频信号的重构部分的剩余部分。
7.根据实施例1至6中任一项所述的方法，其中，在所述MDCT重叠添加之后用新重建的信号更新所述时间连续性缓冲器。
8.根据实施例1至7中任一项所述的方法，其中，所述分析窗的重叠添加部分包括：
应用第一窗(701、1314)以从所述原型缓冲器获得所接收到的音频信号的先前接收部分的第一缩放样本；
应用第二窗(702、1314)以获得所接收到的音频信号的重构部分的第二缩放样本；
对所述第一缩放样本和第二缩放样本求和(703、1314)以形成所述分析窗的重叠添加部分。
9.根据实施例1至8中任一项所述的方法，其中，所述第一段的长度取决于采样频率。
10.根据实施例1至9中任一项所述的方法，其中，所述分析窗的重叠添加部分的长度取决于采样频率。
11.根据实施例1至10中任一项所述的方法，还包括：
基于对来自填充的分析窗长度的先前合成的时域信号的分析，动态地调整(1200、1306)所述第一段和第二段的长度。
12.一种用时域信号填充分析窗长度以隐藏所接收到的音频信号的丢失音频帧的解码器(1300)，所述解码器包括：
处理器(1306)；以及
存储器(1308)，与所述处理器耦合，其中，所述存储器包括指令，所述指令当由所述处理器执行时使所述解码器执行根据实施例1-11中任一项所述的操作。
13.一种用时域信号填充分析窗长度以隐藏所接收到的音频信号的丢失音频帧的解码器(1300)，其中，所述解码器适于执行根据实施例1-11中任一项所述的操作。
14.一种计算机程序，包括将由解码器(1300)的至少一个处理器(1306)执行的程序代码，所述程序代码用于用时域信号填充分析窗长度以隐藏所接收到的音频信号的丢失音频帧，由此所述程序代码的执行使所述解码器(1300)执行根据实施例1-11中任一项所述的操作。
15.一种计算机程序产品，包括非暂时性存储介质，所述非暂时性存储介质包括将由解码器(1300)的至少一个处理器(1306)执行的程序代码，所述程序代码用于用时域信号填充分析窗长度以隐藏所接收到的音频信号的丢失音频帧，由此所述程序代码的执行使所述解码器(1300)执行根据实施例1-11中任一项所述的操作。
附加说明
通常，除非明确给出和/或从上下文中暗示不同的含义，否则本文中使用的所有术语将根据其在相关技术领域中的普通含义来解释。除非另有明确说明，否则对“一/一个/元件、设备、组件、装置、步骤等”的所有引用应被开放地解释为指代元件、设备、组件、装置、步骤等中的至少一个实例。除非必须明确地将一个步骤描述为在另一个步骤之后或之前和/或隐含地一个步骤必须在另一个步骤之后或之前，否则本文所公开的任何方法的步骤不必以所公开的确切顺序执行。在适当的情况下，本文公开的任何实施例的任何特征可以应用于任何其他实施例。同样地，任何实施例的任何优点可以适用于任何其他实施例，反之亦然。通过下文的描述，所附实施例的其他目的、特征和优点将显而易见。
可以通过一个或多个虚拟装置的一个或多个功能单元或模块来执行本文公开的任何适合的步骤、方法、特征、功能或益处。每个虚拟装置可以包括多个这些功能单元。这些功能单元可以通过处理电路实现，处理电路可以包括一个或多个微处理器或微控制器以及其他数字硬件(可以包括数字信号处理器(DSP)、专用数字逻辑等)。处理电路可以被配置为执行存储在存储器中的程序代码，该存储器可以包括一种或几种类型的存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、高速缓冲存储器、闪存设备、光学存储设备等。存储在存储器中的程序代码包括用于执行一种或多种电信和/或数据通信协议的程序指令，以及用于执行本文所述的一种或多种技术的指令。在一些实现中，处理电路可用于使相应功能单元根据本公开的一个或一个实施例执行对应功能。
术语单元可以在电子、电气设备和/或电子设备领域中具有常规含义，并且可以包括例如电气和/或电子电路、设备、模块、处理器、存储器、逻辑固态和/或分立设备、计算机程序或用于执行相应任务、过程、计算、输出和/或显示功能等的指令，例如本文所述的那些。
在对发明构思的各种实施例的以上描述中，要理解的是，本文使用的术语仅用于描述具体的实施例的目的，而不意图限制发明构思。除非另外定义，否则本文使用的所有术语(包括技术和科学术语)具有发明构思所属领域的普通技术人员通常所理解的相同意义。还应理解，诸如在通用词典中定义的那些术语之类的术语应被解释为具有与它们在本说明书的上下文和相关技术中的意义相一致的意义，而不被解释为理想或过于表面的意义，除非本文如此明确地定义。
当元件被称为相对于另一元件进行“连接”、“耦合”、“响应”或其变体时，它可以直接连接、耦合到或者响应于其它元件，或者可以存在中间元件。相反，当元件被称作相对于另一元件进行“直接连接”、“直接耦合”、“直接响应”或其变体时，不存在中间元件。贯穿全文，类似附图标记表示类似的元件。此外，本文使用的“耦合”、“连接”、“响应”或其变体可以包括无线耦合、连接或响应。如本文使用的，单数形式“一”，“一个”和“所述”意在还包括复数形式，除非上下文明确地给出相反的指示。为了简洁和/或清楚，可能没对公知的功能或结构进行详细描述。术语“和/或”包括关联列出的一个或多个项目的任意和所有组合。
将理解，虽然本文中可以使用术语第一、第二、第三等来描述各种元件/操作，但是这些元件/操作不应被这些术语限制。这些术语仅用于将一个元素/操作与另一个元素/操作相区分。因此，在一些实施例中的第一元件/操作可以在其他实施例中被称作第二元件/操作，而不会脱离本发明构思的教导。贯穿说明书，相同的附图标记或相同的参考符号表示相同或类似的元素。
本文使用的术语“包括”、“包含”、“含有”、“涵盖”、“由......构成”、“计入”、“有”、“拥有”、“具有”或其变型是开放式的，并且包括一个或多个所记载的特征、整数、元素、步骤、组件、或功能，但是不排除存在或添加一个或多个其他特征、整数、元素、步骤、组件、功能或其组合。此外，如本文的使用，常用缩写“例如(e.g.)”源于拉丁短语“exempligratia”，其可以用于介绍或指定之前提到的项目的一个或多个一般示例，而不意在作为该项目的限制。常用缩写“即(i.e.)”源于拉丁短语“id est”，可以用于指定更广义的引述的具体项目。
本文参考计算机实现的方法、装置(系统和/或设备)和/或计算机程序产品的框图和/或流程图图示描述了示例实施例。应理解，可以通过由一个或多个计算机电路执行的计算机程序指令来实现框图和/或流程图图示的框以及框图和/或流程图图示中的框的组合。可以将这些计算机程序指令提供给通用计算机电路、专用计算机电路和/或其它可编程数据处理电路的处理器电路来产生机器，使得经由计算机和/或其它可编程数据处理装置的处理器执行的指令转换和控制晶体管、存储器位置中存储的值、以及这种电路内的其它硬件组件，以实现框图和/或流程图框中指定的功能/动作，并由此创建用于实现框图和/或流程图框中指定的功能/动作的装置(功能体)和/或结构。
这些计算机程序指令也可以存储在有形计算机可读介质中，所述有形计算机可读介质能够指导计算机或其它可编程数据处理装置按照具体的方式作用，使得在计算机可读介质中存储的指令产生制品，所述制品包括实现在所述框图和/或流程图的框中指定的功能/动作的指令。因此，发明构思的实施例可以在硬件和/或在诸如数字信号处理器之类的处理器上运行的软件(包括固件、贮存软件、微代码等)上实现，所述处理器可以统称为“电路”、“模块”或其变体。
还应注意，在一些备选实现中，在框中标记的功能/动作可以不以流程图中标记的顺序发生。例如，依赖于所涉及的功能/动作，连续示出的两个框实际上可以实质上同时执行，或者框有时候可以按照相反的顺序执行。此外，可以将流程图和/或框图的给定框的功能分成多个框和/或流程图和/或框图的两个或更多个框的功能可以至少部分地被集成。最后，在不脱离发明构思的范围的情况下，可以在所示出的框之间添加/插入其他框，和/或可以省略框/操作。此外，尽管一些框包括用于指示通信的主要方向的关于通信路径的箭头，但是应理解，通信可以以与所表示的箭头相反的方向发生。
在基本上不脱离本发明构思原理的前提下，可以对实施例做出许多改变和修改。所有这些改变和修改旨在在本文中被包括在发明构思的范围内。因此，上述主题应理解为示例性的而非限制性的，并且实施例的示例旨在覆盖落入本发明构思的精神和范围之内的所有这些修改、改进和其他实施例。因此，在法律允许的最大范围内，本发明构思的范围应由包括实施例的示例及其等同物的本公开的最宽允许解释来确定，并且不应受限于或限制于之前的具体实施方式。

Claims (30)

1.一种用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧的方法，所述方法包括：
从原型缓冲器(1318)复制(1000、1312)所接收到的音频信号的先前接收部分的第一段；以及
将所接收到的音频信号的先前接收部分的第二段从所述原型缓冲器(1318)重叠添加(1002、1314)到所接收到的音频信号的重构部分的初始部分，随后是所接收到的音频信号的重构部分的剩余部分。
2.根据权利要求1所述的方法，其中，从所述原型缓冲器(1318)复制所接收到的音频信号的先前接收部分的第一段包括：将所接收到的音频段的先前接收部分的第一段复制到处理缓冲器(1320)，并且将所接收到的音频信号的先前接收部分的第二段从所述原型缓冲器重叠添加到所接收到的音频信号的重构部分的初始部分包括：将来自所述原型缓冲器的所接收到的音频信号的先前接收部分的第二段到所接收到的音频信号的重构部分的初始部分重叠添加到所述处理缓冲器(1320)中。
3.根据权利要求1至2中任一项所述的方法，其中，所接收到的音频信号的先前接收部分是时域信号。
4.根据权利要求1至3中任一项所述的方法，其中，所接收到的音频信号的重构部分包括时间演进变换信号。
5.根据权利要求1至4中任一项所述的方法，其中，所述处理缓冲器是折叠变换修正离散余弦变换MDCT缓冲器。
6.根据权利要求1至4中任一项所述的方法，其中，MDCT分析窗是不对称的。
7.根据权利要求1至6中任一项所述的方法，还包括对连续丢失帧进行复制和重叠添加，包括：
从时间连续性缓冲器(1316)复制(1100、1312)重建音频信号的第一段；以及
将来自所述时间连续性缓冲器(1316)的所述重建音频信号的第二段到所述重建音频信号的重构部分的初始部分重叠添加(1102、1314)到所述处理缓冲器(1320)中，随后是所述重建音频信号的重构部分的剩余部分。
8.根据权利要求1至7中任一项所述的方法，其中，在MDCT重叠添加之后用新重建的信号来更新所述时间连续性缓冲器。
9.根据权利要求1至8中任一项所述的方法，其中，所述分析窗的重叠添加部分包括：
应用第一窗(701、1314)以从所述原型缓冲器获得所接收到的音频信号的先前接收部分的第一缩放样本；
应用第二窗(702、1314)以获得所接收到的音频信号的重构部分的第二缩放样本；
对所述第一缩放样本和所述第二缩放样本求和(703、1314)以形成所述分析窗的重叠添加部分。
10.根据权利要求1至9中任一项所述的方法，其中，所述第一段的长度取决于采样频率。
11.根据权利要求1至10中任一项所述的方法，其中，所述分析窗的重叠添加部分的长度取决于采样频率。
12.根据权利要求1至11中任一项所述的方法，还包括：
基于对来自填充的分析窗长度的先前合成的时域信号的分析，动态地调整(1200、1306)所述第一段和所述第二段的长度。
13.一种用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧的解码器(1300)，所述解码器包括：
处理器(1306)；以及
存储器(1308)，与所述处理器耦合，其中，所述存储器包括指令，所述指令当由所述处理器执行时使所述解码器执行操作，所述操作包括：
从原型缓冲器(1318)复制(1000、1312)所接收到的音频信号的先前接收部分的第一段；以及
将所接收到的音频信号的先前接收部分的第二段从所述原型缓冲器(1318)重叠添加(1002、1314)到所接收到的音频信号的重构部分的初始部分，随后是所接收到的音频信号的重构部分的剩余部分。
14.根据权利要求13所述的解码器，其中，在从所述原型缓冲器(1318)复制所接收到的音频信号的先前接收部分的第一段时，所述解码器执行包括将所接收到的音频段的先前接收部分的第一段复制到处理缓冲器(1320)的操作，并且在将所接收到的音频信号的先前接收部分的第二段从所述原型缓冲器重叠添加到所接收到的音频信号的重构部分的初始部分时，所述解码器执行操作，所述操作包括：将来自所述原型缓冲器的所接收到的音频信号的先前接收部分的第二段到所接收到的音频信号的重构部分的初始部分重叠添加到所述处理缓冲器(1320)中。
15.根据权利要求13至14中任一项所述的解码器，其中，所接收到的音频信号的先前接收部分是时域信号。
16.根据权利要求13至15中任一项所述的解码器，其中，所接收到的音频信号的重构部分包括时间演进变换信号。
17.根据权利要求13至16中任一项所述的解码器，其中，所述处理缓冲器是折叠变换修正离散余弦变换MDCT缓冲器。
18.根据权利要求13至16中任一项所述的解码器，其中，MDCT分析窗是不对称的。
19.根据权利要求13至18中任一项所述的解码器，其中，所述解码器执行操作，所述操作还包括：
从时间连续性缓冲器(1316)复制(1100、1312)重建音频信号的第一段；以及
将来自所述时间连续性缓冲器(1316)的所述重建音频信号的第二段到所述重建音频信号的重构部分的初始部分重叠添加(1102、1314)到所述处理缓冲器(1320)中，随后是所述重建音频信号的重构部分的剩余部分。
20.根据权利要求13至19中任一项所述的解码器，其中，所述解码器执行进一步操作，所述进一步操作包括：在MDCT重叠添加之后用新重建的信号来更新所述时间连续性缓冲器。
21.根据权利要求13至20中任一项所述的解码器，其中，分析窗的重叠添加部分包括：
应用第一窗(701、1314)以从所述原型缓冲器获得所接收到的音频信号的先前接收部分的第一缩放样本；
应用第二窗(702、1314)以获得所接收到的音频信号的重构部分的第二缩放样本；
对所述第一缩放样本和所述第二缩放样本求和(703、1314)以形成所述分析窗的重叠添加部分。
22.根据权利要求13至21中任一项所述的解码器，其中，所述第一段的长度取决于采样频率。
23.根据权利要求13至22中任一项所述的解码器，其中，所述分析窗的重叠添加部分的长度取决于采样频率。
24.根据权利要求13至23中任一项所述的解码器，其中，所述解码器执行进一步操作，所述进一步操作包括：
基于对来自填充的分析窗长度的先前合成的时域信号的分析，动态地调整(1200、1306)所述第一段和所述第二段的长度。
25.一种用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧的解码器(1300)，其中，所述解码器适于执行操作，所述操作包括：
从原型缓冲器(1318)复制(1000、1312)所接收到的音频信号的先前接收部分的第一段；以及
将所接收到的音频信号的先前接收部分的第二段从所述原型缓冲器(1318)重叠添加(1002、1314)到所接收到的音频信号的重构部分的初始部分，随后是所接收到的音频信号的重构部分的剩余部分。
26.根据权利要求25所述的解码器(1300)，其中，所述解码器适于执行根据权利要求2-12中任一项所述的操作。
27.一种计算机程序，包括将由解码器(1300)的至少一个处理器(1306)执行的程序代码，所述程序代码用于用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧，由此所述程序代码的执行使所述解码器(1300)执行操作，所述操作包括：
从原型缓冲器(1318)复制(1000、1312)所接收到的音频信号的先前接收部分的第一段；以及
将所接收到的音频信号的先前接收部分的第二段从所述原型缓冲器(1318)重叠添加(1002、1314)到所接收到的音频信号的重构部分的初始部分，随后是所接收到的音频信号的重构部分的剩余部分。
28.根据权利要求27所述的计算机程序，其中，所述程序代码的执行使所述解码器(1300)执行根据权利要求2-12中任一项所述的操作。
29.一种计算机程序产品，包括非暂时性存储介质，所述非暂时性存储介质包括将由解码器(1300)的至少一个处理器(1306)执行的程序代码，所述程序代码用于用时域信号填充分析窗长度以隐藏与所接收到的音频信号相关联的丢失音频帧，由此所述程序代码的执行使所述解码器(1300)执行操作，所述操作包括：
从原型缓冲器(1318)复制(1000、1312)所接收到的音频信号的先前接收部分的第一段；以及
将所接收到的音频信号的先前接收部分的第二段从所述原型缓冲器(1318)重叠添加(1002、1314)到所接收到的音频信号的重构部分的初始部分，随后是所接收到的音频信号的重构部分的剩余部分。
30.根据权利要求29所述的计算机程序产品，其中，所述非暂时性存储介质包括将由所述解码器的所述至少一个处理器执行的其他程序代码，由此所述其他程序代码的执行使所述解码器执行根据权利要求2-12中任一项所述的操作。
CN202080015563.1A 2019-02-21 2020-02-20 用于频域分组丢失隐藏的方法及相关解码器 Pending CN113439302A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962808587P 2019-02-21 2019-02-21
US201962808610P 2019-02-21 2019-02-21
US201962808600P 2019-02-21 2019-02-21
US62/808,587 2019-02-21
US62/808,610 2019-02-21
US62/808,600 2019-02-21
PCT/EP2020/054522 WO2020169756A1 (en) 2019-02-21 2020-02-20 Methods for frequency domain packet loss concealment and related decoder

Publications (1)

Publication Number Publication Date
CN113439302A true CN113439302A (zh) 2021-09-24

Family

ID=69701173

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080015563.1A Pending CN113439302A (zh) 2019-02-21 2020-02-20 用于频域分组丢失隐藏的方法及相关解码器
CN202080015254.4A Pending CN113454713A (zh) 2019-02-21 2020-02-20 相位ecu f0插值分割方法及相关控制器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080015254.4A Pending CN113454713A (zh) 2019-02-21 2020-02-20 相位ecu f0插值分割方法及相关控制器

Country Status (9)

Country Link
US (4) US20220172733A1 (zh)
EP (3) EP3928312A1 (zh)
JP (6) JP7178506B2 (zh)
KR (1) KR20210130743A (zh)
CN (2) CN113439302A (zh)
BR (1) BR112021014477A2 (zh)
CO (2) CO2021010587A2 (zh)
MX (1) MX2021009635A (zh)
WO (3) WO2020169757A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984920B (zh) * 2020-08-31 2022-03-18 广东电网有限责任公司广州供电局 次/超同步谐波参数识别方法、装置、设备和介质

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884253A (en) * 1992-04-09 1999-03-16 Lucent Technologies, Inc. Prototype waveform speech coding with interpolation of pitch, pitch-period waveforms, and synthesis filter
KR970011728B1 (ko) * 1994-12-21 1997-07-14 김광호 음향신호의 에러은닉방법 및 그 장치
US5848391A (en) * 1996-07-11 1998-12-08 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method subband of coding and decoding audio signals using variable length windows
US7117156B1 (en) * 1999-04-19 2006-10-03 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
US6775649B1 (en) * 1999-09-01 2004-08-10 Texas Instruments Incorporated Concealment of frame erasures for speech transmission and storage system and method
US7203717B1 (en) * 1999-10-30 2007-04-10 Stmicroelectronics Asia Pacific Pte. Ltd. Fast modified discrete cosine transform method
KR100591350B1 (ko) 2001-03-06 2006-06-19 가부시키가이샤 엔.티.티.도코모 오디오 데이터 보간장치 및 방법, 오디오 데이터관련 정보작성장치 및 방법, 오디오 데이터 보간 정보 송신장치 및방법, 및 그 프로그램 및 기록 매체
US7324444B1 (en) * 2002-03-05 2008-01-29 The Board Of Trustees Of The Leland Stanford Junior University Adaptive playout scheduling for multimedia communication
KR100467617B1 (ko) * 2002-10-30 2005-01-24 삼성전자주식회사 개선된 심리 음향 모델을 이용한 디지털 오디오 부호화방법과그 장치
US7325023B2 (en) 2003-09-29 2008-01-29 Sony Corporation Method of making a window type decision based on MDCT data in audio encoding
US7831421B2 (en) * 2005-05-31 2010-11-09 Microsoft Corporation Robust decoder
US7526351B2 (en) * 2005-06-01 2009-04-28 Microsoft Corporation Variable speed playback of digital audio
US8473298B2 (en) * 2005-11-01 2013-06-25 Apple Inc. Pre-resampling to achieve continuously variable analysis time/frequency resolution
US8798172B2 (en) * 2006-05-16 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus to conceal error in decoded audio signal
JP5166425B2 (ja) * 2006-10-24 2013-03-21 ヴォイスエイジ・コーポレーション 音声信号中の遷移フレームの符号化のための方法およびデバイス
JP5103880B2 (ja) 2006-11-24 2012-12-19 富士通株式会社 復号化装置および復号化方法
US8165872B2 (en) * 2007-02-01 2012-04-24 Broadcom Corporation Method and system for improving speech quality
EP2153436B1 (en) * 2007-05-14 2014-07-09 Freescale Semiconductor, Inc. Generating a frame of audio data
JP5618826B2 (ja) * 2007-06-14 2014-11-05 ヴォイスエイジ・コーポレーション Ｉｔｕ．ｔ勧告ｇ．７１１と相互運用可能なｐｃｍコーデックにおいてフレーム消失を補償する装置および方法
US8185388B2 (en) * 2007-07-30 2012-05-22 Huawei Technologies Co., Ltd. Apparatus for improving packet loss, frame erasure, or jitter concealment
TW200912892A (en) * 2007-09-04 2009-03-16 Univ Nat Central Method and apparatus of low-complexity psychoacoustic model applicable for advanced audio coding encoders
US8401845B2 (en) * 2008-03-05 2013-03-19 Voiceage Corporation System and method for enhancing a decoded tonal sound signal
US20100324911A1 (en) * 2008-04-07 2010-12-23 Broadcom Corporation Cvsd decoder state update after packet loss
US9076439B2 (en) * 2009-10-23 2015-07-07 Broadcom Corporation Bit error management and mitigation for sub-band coding
US20110196673A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder
JP5973582B2 (ja) 2011-10-21 2016-08-23 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置
CN103714821A (zh) * 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
US9325544B2 (en) * 2012-10-31 2016-04-26 Csr Technology Inc. Packet-loss concealment for a degraded frame using replacement data from a non-degraded frame
FR3001593A1 (fr) * 2013-01-31 2014-08-01 France Telecom Correction perfectionnee de perte de trame au decodage d'un signal.
US9478221B2 (en) 2013-02-05 2016-10-25 Telefonaktiebolaget Lm Ericsson (Publ) Enhanced audio frame loss concealment
BR112015017222B1 (pt) * 2013-02-05 2021-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Método e decodificador configurado para ocultar um quadro de áudio perdido de um sinal de áudio recebido, receptor, e, meio legível por computador
KR102238376B1 (ko) 2013-02-05 2021-04-08 텔레폰악티에볼라겟엘엠에릭슨(펍) 오디오 프레임 손실 은폐를 제어하기 위한 방법 및 장치
FR3004876A1 (fr) * 2013-04-18 2014-10-24 France Telecom Correction de perte de trame par injection de bruit pondere.
KR101757338B1 (ko) 2013-06-21 2017-07-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 오디오 신호의 대체 프레임에 대한 스펙트럼 계수들을 획득하기 위한 방법과 장치, 오디오 디코더, 오디오 수신기 및 오디오 신호들의 전송을 위한 시스템
CN104282309A (zh) 2013-07-05 2015-01-14 杜比实验室特许公司 丢包掩蔽装置和方法以及音频处理系统
NO2780522T3 (zh) * 2014-05-15 2018-06-09
CN112216288A (zh) 2014-07-28 2021-01-12 三星电子株式会社 用于音频信号的时域数据包丢失隐藏的方法
JP2016038435A (ja) 2014-08-06 2016-03-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
CN107004417B (zh) * 2014-12-09 2021-05-07 杜比国际公司 Mdct域错误掩盖
US9978400B2 (en) * 2015-06-11 2018-05-22 Zte Corporation Method and apparatus for frame loss concealment in transform domain
EP3182410A3 (en) * 2015-12-18 2017-11-01 Dolby International AB Enhanced block switching and bit allocation for improved transform audio coding
WO2017153300A1 (en) * 2016-03-07 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Error concealment unit, audio decoder, and related method and computer program using characteristics of a decoded representation of a properly decoded audio frame
MX2018010753A (es) * 2016-03-07 2019-01-14 Fraunhofer Ges Forschung Método de ocultamiento híbrido: combinación de ocultamiento de pérdida paquete de dominio de frecuencia y tiempo en códecs de audio.
WO2017153299A2 (en) * 2016-03-07 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Error concealment unit, audio decoder, and related method and computer program fading out a concealed audio frame out according to different damping factors for different frequency bands
EP3475944B1 (en) * 2016-06-22 2020-07-15 Dolby International AB Audio decoder and method for transforming a digital audio signal from a first to a second frequency domain
CN110892478A (zh) * 2017-04-28 2020-03-17 Dts公司 音频编解码器窗口和变换实现

Also Published As

Publication number Publication date
JP7307805B2 (ja) 2023-07-12
CN113454713A (zh) 2021-09-28
JP2023138988A (ja) 2023-10-03
US20220189490A1 (en) 2022-06-16
US20220148602A1 (en) 2022-05-12
CN113454714A (zh) 2021-09-28
WO2020169754A1 (en) 2020-08-27
JP2022521077A (ja) 2022-04-05
JP7335968B2 (ja) 2023-08-30
JP2022521494A (ja) 2022-04-08
WO2020169756A1 (en) 2020-08-27
BR112021014477A2 (pt) 2021-09-28
US20230298597A1 (en) 2023-09-21
EP3928314A1 (en) 2021-12-29
WO2020169757A1 (en) 2020-08-27
JP2022521188A (ja) 2022-04-06
KR20210130743A (ko) 2021-11-01
US11862180B2 (en) 2024-01-02
US20220172733A1 (en) 2022-06-02
JP2023029834A (ja) 2023-03-07
CO2021010587A2 (es) 2021-08-30
US11705136B2 (en) 2023-07-18
EP3928313A1 (en) 2021-12-29
CO2021012223A2 (es) 2021-09-30
EP3928312A1 (en) 2021-12-29
JP2023166423A (ja) 2023-11-21
MX2021009635A (es) 2021-09-08
JP7178506B2 (ja) 2022-11-25
JP7471375B2 (ja) 2024-04-19

Similar Documents

Publication Publication Date Title
US9881621B2 (en) Position-dependent hybrid domain packet loss concealment
US9704492B2 (en) Error concealment method and apparatus for audio signal and decoding method and apparatus for audio signal using the same
CN108831490B (zh) 用于对音频帧丢失隐藏进行控制的方法和设备
KR101981548B1 (ko) 시간 도메인 여기 신호를 기초로 하는 오류 은닉을 사용하여 디코딩된 오디오 정보를 제공하기 위한 오디오 디코더 및 방법
JP7472154B2 (ja) 完全フレーム損失隠蔽および部分的フレーム損失隠蔽を含む、ｌｃ３隠蔽のためのデコーダおよび復号方法
JP6469079B2 (ja) 重み付けされたノイズの注入によるフレーム消失補正
KR20160079849A (ko) 시간 도메인 여기 신호를 변형하는 오류 은닉을 사용하여 디코딩된 오디오 정보를 제공하기 위한 오디오 디코더 및 방법
JP2023138988A (ja) 周波数領域パケットロス補償のための方法、および関連デコーダ
JP6584431B2 (ja) 音声情報を用いる改善されたフレーム消失補正
CN111312261B (zh) 突发帧错误处理
AU2019374400B2 (en) Apparatus and audio signal processor, for providing a processed audio signal representation, audio decoder, audio encoder, methods and computer programs
CN113950719A (zh) 时间反转的音频子帧错误隐藏

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination