CN113544773A - 用于包括全丢帧隐藏和部分丢帧隐藏的lc3隐藏的解码器和解码方法 - Google Patents

用于包括全丢帧隐藏和部分丢帧隐藏的lc3隐藏的解码器和解码方法 Download PDF

Info

Publication number
CN113544773A
CN113544773A CN202080014143.1A CN202080014143A CN113544773A CN 113544773 A CN113544773 A CN 113544773A CN 202080014143 A CN202080014143 A CN 202080014143A CN 113544773 A CN113544773 A CN 113544773A
Authority
CN
China
Prior art keywords
spectrum
decoding module
frame
previous
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080014143.1A
Other languages
English (en)
Inventor
阿德里安·托马舍克
拉尔夫·施佩尔施奈德
扬·比特
康拉德·本多夫
马丁·迪茨
马库斯·施内尔
马克西米利安·施莱格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP19156997.9A external-priority patent/EP3697005A1/en
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority claimed from PCT/EP2020/053620 external-priority patent/WO2020165265A1/en
Publication of CN113544773A publication Critical patent/CN113544773A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/07—Arithmetic codes
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/13—Linear codes
    • H03M13/15—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes
    • H03M13/151—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes using error location or error correction polynomials
    • H03M13/1515—Reed-Solomon codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0023—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the signalling
    • H04L1/0032—Without explicit signalling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H04L1/0042—Encoding specially adapted to other signal generation operation, e.g. in order to reduce transmit distortions, jitter, or to improve signal shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0046—Code rate detection or code type detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0047—Decoding adapted to other signal detection operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0057—Block codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0083—Formatting with frames or packets; Protocol or part of protocol for error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0084—Formats for payload data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/08—Arrangements for detecting or preventing errors in the information received by repeating transmission, e.g. Verdan system

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Alarm Systems (AREA)
  • Micro-Organisms Or Cultivation Processes Thereof (AREA)
  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

图1示出根据实施例的用于对当前帧进行解码以重构音频信号的解码器(100)。音频信号在当前帧内被编码。当前帧包括当前比特流有效载荷。当前比特流有效载荷包括多个有效载荷比特。多个有效载荷比特对音频信号的频谱的多条谱线进行编码。有效载荷比特中的每一个呈现在当前比特流有效载荷内的位置。解码器(100)包括解码模块(110)和输出接口(120)。解码模块(110)被配置成重构音频信号。输出接口(120)被配置成输出音频信号。解码模块(110)包括错误隐藏模式，其中，如果解码模块(110)处于所述错误隐藏模式，则解码模块(110)被配置成通过对音频信号的频谱的那些谱线进行错误隐藏来重构音频信号，这些谱线呈现大于阈值频率的频率。和/或，如果解码模块(110)进行错误隐藏，则解码模块(110)被配置成以取决于当前帧之前的先前帧的先前比特流有效载荷是否对音频信号的作为调性或谐波的信号分量进行编码的方式进行错误隐藏。

Description

用于包括全丢帧隐藏和部分丢帧隐藏的LC3隐藏的解码器和 解码方法
技术领域
本发明涉及一种用于包括全丢帧隐藏和部分丢帧隐藏的LC3丢帧隐藏的解码器和解码方法。
背景技术
基于变换的音频编解码器依赖于音频帧频谱的编码表示。这种频谱由多条谱线组成。由于各种原因，一些或甚至所有谱线在解码器端可能不可用。频域中的音频错误隐藏概念例如可以提供减轻由此类缺失谱线引起的伪影的方法。常见的方法是找到尽可能好的缺失谱线的替代品。
在现有技术中，可以使用各种丢帧隐藏技术。
例如在[1]中讨论了频域中的丢帧隐藏概念，其中特别提到了静音、重复、噪声替代和预测。那些技术总是与淡出过程相结合，从而通常在几个丢帧上使信号朝向零或朝向某种背景噪音/舒适噪音渐变。
在[2]中，根据频带中的能量提出了不同的频带衰减因子：例如，可以对能量高于阈值的频带应用较大的衰减因子，可以对能量低于阈值的频带应用较小的衰减因子。此外，在[2]中，观察到最后良好帧的能量进展，如果最后良好帧中的能量小于倒数第二良好帧，则应用较强的衰减。
此外，信号的频谱形状还可以朝向某种常见形状渐变。这种方法特别用于基于线性预测编码(LPC)的编解码器，例如EVS(增强型语音服务)，其中LPC系数被混合到一些提供的平均系数。
发明内容
本发明的目的是提供改进的错误隐藏的构思。通过根据权利要求1所述的解码器、根据权利要求39所述的方法和根据权利要求40所述的计算机程序来解决本发明的目的。
提供了一种用于对当前帧进行解码以重构音频信号的解码器。音频信号在当前帧内被编码。当前帧包括当前比特流有效载荷。当前比特流有效载荷包括多个有效载荷比特。多个有效载荷比特对音频信号的频谱的多条谱线进行编码。有效载荷比特中的每一个呈现在当前比特流有效载荷内的位置。解码器包括解码模块和输出接口。解码模块被配置成重构音频信号。输出接口被配置成输出音频信号。解码模块包括错误隐藏模式，其中，如果解码模块处于所述错误隐藏模式，则解码模块被配置成通过对音频信号的频谱的如下谱线进行错误隐藏来重构音频信号：所述谱线呈现大于阈值频率的频率。和/或，如果解码模块进行错误隐藏，则解码模块被配置成以取决于当前帧之前的先前帧的先前比特流有效载荷是否对音频信号的作为调性或谐波的信号分量进行编码的方式进行错误隐藏。
此外，提供了一种对当前帧进行解码以重构音频信号的方法。音频信号在当前帧内被编码，其中当前帧包括当前比特流有效载荷，其中当前比特流有效载荷包括多个有效载荷比特。多个有效载荷比特对音频信号的频谱的多条谱线进行编码。有效载荷比特中的每一个呈现在当前比特流有效载荷内的位置。该方法包括：
重构音频信号，其中，在错误隐藏模式中，通过对音频信号的频谱中的如下谱线进行错误隐藏来进行重构音频信号：所述谱线呈现大于阈值频率的频率；和/或，如果进行错误隐藏，则以取决于当前帧之前的先前帧的先前比特流有效载荷是否对音频信号的作为调性或谐波的信号分量进行编码的方式进行错误隐藏；以及
-输出音频信号。
此外，提供了一种用于在计算机或信号处理器上执行时实现上述方法的计算机程序。
在一些情况下，例如，如果整个帧丢失或被标记为无效，或者-即使部分频谱可用-如果全丢帧隐藏被认为是可能的最好的错误隐藏策略，则错误隐藏构思可以应用于整个帧。
然而，在其他情况下，如果部分频谱可用，则错误隐藏技术可以例如仅应用于帧的一部分。
部分频谱可用的情况例如可能出现在可缩放编码中，例如AAC可缩放、AAC SLS或BSAC，其中一些层被接收，但其他层未被接收(AAC＝高级音频编码，SLS＝可扩展到无损，BSAC＝比特切片算术编码)。
或者，部分频谱可以例如在冗余帧编码中可用，其中丢帧的冗余低质量副本可用，即在VoIP或VoLTE背景下(例如参见[3]和[4]以获得有关VoIP和VoLTE中的稳健性和错误恢复能力的更多信息；VoIP＝IP语音/互联网协议语音；VoLTE＝LTE语音/长期演进的语音)。
或者，部分频谱可以例如在进行选择性错误检测时可用，例如在AAC中，对缩放因子数据使用RVLC(可逆可变长度编码)，其中某些缩放因子可能被检测到损坏，导致一定数量的损坏谱线；或者，例如，在用于DECT(数字增强型无电线电信)的LC3中，其中可以单独检测部分频谱(表示心理声学上不太重要的频谱范围)的编码表示中的错误。
附图说明
下面结合附图对本发明的实施例进行更详细的描述，其中：
图1示出了根据实施例的用于对当前帧进行解码以重构音频信号的音频信号部分的解码器。
图2示出了根据特定实施例的解码模块。
图3示出了根据用于干净信道解码的实施例的解码模块概览。
图4示出了根据用于全丢帧隐藏的实施例的解码模块概览。
图5示出了根据用于部分丢帧隐藏的实施例的解码模块概览。
图6示出了根据实施例的衰落函数，该衰落函数取决于一行中丢帧的数量，并且还取决于帧长度。
图7示出了根据实施例的用于符号加扰的阈值，该阈值取决于一行中丢帧的数量，并且还取决于帧长度。
图8示出了根据实施例的能量阈值因子，该能量阈值因子取决于一行中丢帧的数量，并且还取决于帧长度。
图9示出了根据实施例的非线性衰减，该非线性衰减取决于一行中丢帧的数量。
具体实施方式
图1示出了根据实施例的用于对当前帧进行解码以重构音频信号的解码器100。
音频信号在当前帧内被编码。当前帧包括当前比特流有效载荷。当前比特流有效载荷包括多个有效载荷比特。多个有效载荷比特对音频信号的频谱的多条谱线进行编码。有效载荷比特中的每一个呈现在当前比特流有效载荷内的位置。
解码器100包括解码模块110和输出接口120。
解码模块110被配置成重构音频信号。
输出接口120被配置成输出音频信号。
解码模块110包括错误隐藏模式，其中，如果解码模块110处于所述错误隐藏模式，则解码模块110被配置成通过对音频信号频谱的如下谱线进行错误隐藏来重构音频信号：所述谱线呈现大于阈值频率的频率。
和/或，如果解码模块110进行错误隐藏，则解码模块110被配置成以取决于当前帧之前的先前帧的先前比特流有效载荷是否对音频信号的作为调性(tonal)或谐波的信号分量进行编码的方式进行错误隐藏。
在一些实施例中，如果当前帧的当前比特流有效载荷包括不可纠正的错误和/或如果当前帧丢失，则解码模块可以例如处于所述错误隐藏模式。如果在解码器100已经进行纠正之后仍然存在错误；或者，如果当前比特流有效载荷包括错误并且根本不进行纠正，则当前比特流有效载荷可以例如包括不可纠正的错误。包括不可纠正错误的帧可以例如被称为损坏帧。
例如，根据实施例，可以例如取决于当前帧之前的所述先前帧的所述先前比特流有效载荷是否对音频信号的作为调性或谐波的所述信号分量进行编码来配置特定的错误隐藏参数。
根据实施例，先前帧可以例如是在没有以全丢帧隐藏模式进行错误隐藏的情况下已由解码模块110解码的最后接收帧。
在下文中，更详细地描述实施例。
例如，可以认为频谱被细分为可用且应使用的那些谱线，以及不可用或不应使用的那些谱线(例如，但它们可能例如可用)。
根据一些实施例，例如可以如下进行：
在一些情况下，所有谱线都可用并且应使用，因此，例如可以不进行丢帧隐藏。
在其他情况下，某些谱线可用并且应使用，并且可以例如对丢失的谱线进行部分丢帧隐藏。
在其他情况下，没有谱线可用或不应使用，并且可以例如进行全丢帧隐藏。
在下文中，描述了根据一些实施例的取决于调性的错误隐藏。
在实施例中，如果解码模块110进行错误隐藏，则解码模块110可以例如被配置成通过使用音频信号的先前频谱的多个符号进行错误隐藏来重构音频信号的当前频谱，所述多个符号在先前帧内被编码，其中解码模块110例如可以被配置成以取决于所述先前帧是否对作为调性或谐波的信号分量进行编码的方式进行错误隐藏。例如，可以例如取决于信号分量是调性还是谐波以不同方式选择用于错误隐藏的参数。
在实施例中，所述先前帧可以例如是在不进行错误隐藏的情况下已由解码模块110解码的最后接收帧。或者，所述先前帧可以例如是在没有以全丢帧隐藏模式进行错误隐藏的情况下已由解码模块110解码的最后接收帧。或者，所述先前帧可以例如是在没有以部分丢帧隐藏模式或全丢帧隐藏模式进行错误隐藏的情况下已由解码模块110解码的最后接收帧。
根据实施例，如果解码模块110进行错误隐藏，并且如果先前帧的先前比特流有效载荷对作为调性或谐波的信号分量进行编码，则解码模块110可以例如被配置成翻转(flip)先前频谱的多个符号中的一个或多个符号以重构当前频谱，其中指示先前频谱的多个符号中的符号要被解码模块110翻转以重构当前频谱的概率的百分比值p可以例如在0％≤p≤50％之间，其中解码模块110可以例如被配置成确定百分比值p。在实施例中，解码模块110可以例如采用伪随机数序列来取决于百分比值p确定先前频谱的所考虑的符号是否应该被实际翻转。
在实施例中，解码模块110可以例如被配置成取决于后续帧的数量增大百分比值p。所述后续帧的数量可以例如指示解码模块110已进行了多少后继(部分或完全)丢帧错误隐藏；或者其中所述后续帧的数量可以例如指示解码模块110已进行了多少在特定错误隐藏模式下的后续帧错误隐藏。
在实施例中，解码模块110可以例如被配置成根据取决于所述后续帧的数量的函数来确定百分比值p，所述后续帧的数量是所述函数的自变量。
根据实施例，解码模块110可以例如被配置成确定百分比值p，使得如果所述后续帧的数量小于第一阈值，则p为0％；如果所述后续帧的数量大于或等于第一阈值并且小于第二阈值，则0％≤p≤50％，并且使得如果所述后续帧的数量大于第二阈值，则p＝50％。
在实施例中，解码模块110可以例如被配置成确定百分比值p，使得百分比值p取决于后续帧的数量在第一阈值与第二阈值之间的范围内线性增大。
根据实施例，如果解码模块110进行错误隐藏，并且如果先前帧的先前比特流有效载荷未对作为调性或谐波的信号分量进行编码，则解码模块110可以例如被配置成翻转先前频谱的多个符号的50％以重构当前频谱。
在实施例中，如果解码模块110进行错误隐藏，则解码模块110可以例如被配置成取决于先前帧是否对作为调性或谐波的信号分量进行编码，通过使用音频信号的先前频谱的多个幅度进行错误隐藏来重构音频信号的当前频谱，所述多个幅度被编码在所述先前帧内。
根据实施例，如果解码模块110进行错误隐藏，则解码模块110可以例如被配置成根据非线性衰减特性对先前频谱的多个幅度进行衰减以重构当前频谱，其中非线性衰减特性取决于先前帧的先前比特流有效载荷是否对作为调性或谐波的信号分量进行编码。例如，非线性衰减特性的参数可以例如取决于信号分量是调性还是谐波以不同方式来选择。
在实施例中，如果解码模块110进行错误隐藏，并且如果先前帧的先前比特流有效载荷对作为调性或谐波的信号分量进行编码，则解码模块110可以例如被配置成取决于稳定性因子对先前频谱的多个幅度进行衰减，其中所述稳定性因子指示当前频谱与先前频谱之间的相似性；或者其中稳定性因子指示先前频谱与先前帧之前的前先前帧的前先前频谱之间的相似性。
根据实施例，所述前先前帧可以例如是在先前帧之前的在不进行错误隐藏的情况下已由解码模块110解码的最后接收帧。或者，所述前先前帧可以例如是先前帧之前的在没有以全丢帧隐藏模式进行错误隐藏的情况下已由解码模块110解码的最后接收帧(例如，倒数第二接收帧)。或者，所述前先前帧可以例如是先前帧之前的在没有以部分丢帧隐藏模式或全丢帧隐藏模式进行错误隐藏的情况下已由解码模块110解码的最后接收帧。
在实施例中，如果解码模块110被设置为进行部分丢帧隐藏，则所述稳定性因子可以例如指示当前频谱与先前频谱之间的所述相似性。如果解码模块110被设置为进行全丢帧隐藏，则所述稳定性因子可以例如指示先前频谱与前先前频谱之间的所述相似性。
根据实施例，解码模块110可以例如被配置成确定先前频谱的频谱区间(spectralbin)的能量。此外，解码模块110可以例如被配置成确定所述频谱区间的所述能量是否小于能量阈值。如果所述能量小于所述能量阈值，则解码模块110可以例如被配置成以第一衰落因子对多个幅度中的分配给所述频谱区间的幅度进行衰减。如果所述能量大于或等于所述能量阈值，则解码模块110可以例如被配置成以小于第一衰落因子的第二衰落因子对多个幅度中的分配给所述频谱区间的所述幅度进行衰减。解码模块110可以例如被配置成进行衰减，使得通过对多个幅度中的一个幅度的衰减使用较小的衰落因子，增加幅度中的所述一个幅度的衰减。
在实施例中，解码模块110可以例如被配置成确定包括先前频谱的多个频谱区间在内的频谱带的能量。解码模块110可以例如被配置成确定所述频谱带的所述能量是否小于能量阈值。如果所述能量小于所述能量阈值，则解码模块110可以例如被配置成以第一衰落因子对多个幅度中的分配给所述频谱带的所述频谱区间的幅度进行衰减。如果所述能量大于或等于所述能量阈值，则解码模块110可以例如被配置成以小于第一衰落因子的第二衰落因子对多个幅度中的分配给所述频谱带的所述频谱区间的所述幅度进行衰减。解码模块110可以例如被配置成进行衰减，使得通过对多个幅度中的一个幅度的衰减使用较小的衰落因子，增加幅度中的所述一个幅度的衰减。
根据实施例，解码模块110可以例如被配置成确定第一衰落因子，使得取决于所述后续帧的数量，第一衰落因子变得更小。此外，解码模块110可以例如被配置成确定第二衰落因子，使得取决于所述后续帧的数量，第二衰落因子变得更小。
在实施例中，解码模块110可以例如被配置成确定第一衰落因子和第二衰落因子，使得
如果当前帧是后续帧中的第一帧，
cum_fading_slow＝1，以及
cum_fading_fast＝1，
并且使得如果当前帧是后续帧中的第一帧之后的帧之一，则可以例如取决于所述后续帧的数量根据以下公式来确定第一衰落因子和第二衰落因子：
cum_fading_slow＝cum_fading_slow*slow；
cum_fading_fast＝cum_fading_fast*fast；
其中公式右侧的cum_fading_slow是先前帧的第一衰落因子(例如，在第一丢帧处初始化为1)，其中公式左侧的cum_fading_slow是当前帧的第一衰落因子，其中公式右侧的cum_fading_fast是先前帧的第二衰落因子(例如，在第一丢帧处初始化为1)，其中公式左侧的cum_fading_fast是当前帧的第二衰落因子，其中1>slow>fast>0。
根据实施例，1>slow>fast>0.3。
在实施例中，解码模块110可以例如被配置成确定所述能量阈值，使得如果所述后续帧的数量小于第三阈值，则所述能量阈值等于第一能量值；使得如果所述后续帧的数量大于或等于第三阈值且小于第四阈值，则所述能量阈值小于所述第一能量值且大于第二能量值；以及使得如果所述后续帧的数量大于第四阈值，则所述能量阈值等于所述第二能量值。
根据实施例，解码模块110可以例如被配置成确定能量阈值，使得能量阈值根据后续帧的数量在第三阈值与第四阈值之间的范围内线性减小。
对于那些不可用或不应使用的谱线，将生成替换，而–取决于先前接收信号的调性，并且，如果该信息可用，则取决于当前接收信号的调性，保留了一定程度的调性：
如果指示器指示最后良好信号是调性，则保留更多的调性。
如果指示器指示最后良好信号不是调性，则保留较少的调性。
主要由一帧内的各个区间之间的相位关系和/或后续帧的相同区间的相位关系来表示调性。
一些实施例关注于第一方面，即调性主要由一帧内的各个区间之间的相位关系来表示。
一帧内的各个区间的相位主要用它们的符号来表征，但也可以用相邻区间的幅度关系来表征。因此，幅度关系的保留以及符号的保留导致高度保留的调性。反之亦然，后续区间之间的幅度和/或符号关系改变得越多，保留的调性就越少。
现在描述根据一些实施例的符号的操纵。
根据现有技术，已知两种方法：
根据第一种方法，应用帧重复：保留来自先前频谱的符号。
在第二种方法中，进行噪声替代：相对于先前频谱对符号进行加扰；随机翻转50％的符号。
对于清音(unvoiced)信号，噪声替代提供了良好的结果。
对于浊音信号，可以反而使用帧重复，但对于更长的损失，保留的调性(在损失开始时优选)可能会变得烦人。
实施例基于以下发现：对于浊音信号，帧重复与噪声替代之间的过渡阶段是合乎需要的。
根据一些实施例，这可以例如通过随机翻转每帧一定百分比的符号来实现，其中该百分比位于0％与50％之间，并且随着时间增加。
现在，描述根据一些实施例的幅度的操纵。
在现有技术中经常使用的最简单的方法是将某个衰减因子应用于所有频率区间。该衰减因子逐帧增加，以实现平滑的淡出。淡出速度可以是固定的，或者可以取决于信号特性。通过这种方法，保留相邻区间的幅度以及整个帧的频谱形状的关系。
在现有技术中还已知的是取决于每个频带内的能量使用不同衰减因子的逐频带衰减。虽然这种方法也保留了每个频带内的相邻区间的幅度的关系，但整个帧的频谱形状是平坦的。
根据一些实施例，具有较大值的区间比具有较小值的区间衰减得更强。为此，一些实施例可以例如定义非线性衰减特性。这种非线性衰减特性可防止过冲，否则可能会发生过冲，因为在重叠相加期间不确保混叠消除，并且改变相邻区间的幅度关系，从而导致更平坦的频谱形状。为了使频谱形状平坦。一些实施例基于以下发现：如果相邻区间的幅度的比率事先高于1，则该比率应保持高于1；并且如果该比率事先低于1，该比率应保持低于1。
为了优雅地应用这种衰减，在一些实施例中，非线性特性可以例如在丢失开始时较小并且可以例如随后增加。在实施例中，其随时间的调整可以例如取决于信号的调性：根据一些实施例，对于清音信号，非线性可以例如比对于浊音信号更强。
这种非线性衰减特性影响频谱形状。在实施例中，频谱可以例如随着时间变得更平坦，这降低了在突发丢失期间恼人的合成声音伪影的机会。
在下文中，描述了根据一些实施例的部分丢帧隐藏。
根据实施例，所述错误隐藏模式可以例如是部分丢帧隐藏模式，其中，如果解码模块110处于部分丢帧隐藏模式，则解码模块110可以例如被配置成在不对频谱的多条谱线中的一条或多条第一谱线进行错误隐藏的情况下重构音频信号，所述一条或多条第一谱线呈现小于或等于阈值频率的频率，其中所述一条或多条第一谱线已由多个有效载荷比特中的第一组一个或多个有效载荷比特进行编码。此外，解码模块110可以例如被配置成通过对频谱的多条谱线中的一条或多条第二谱线进行错误隐藏来重构音频信号，所述一条或多条第二谱线呈现大于阈值频率的频率，其中所述一条或多条第二谱线已由多个有效载荷比特中的第二组一个或多个有效载荷比特进行编码。
在实施例中，解码模块110可以例如被配置成检测当前帧是否不包括对音频信号的频谱的所述一条或多条第一谱线进行编码的任何损坏比特，所述一条或多条第一谱线呈现小于或等于阈值频率的频率。此外，解码模块110可以例如被配置成检测当前帧是否包括对音频信号的频谱的所述一条或多条第二谱线进行编码的一个或多个损坏比特，所述一条或多条第二谱线呈现大于阈值频率的频率。所述一个或多个损坏比特是有效载荷比特中的失真或可能失真的一个或多个有效载荷比特。如果当前帧不包括对音频信号的频谱的所述一条或多条第一谱线进行编码的任何损坏比特，所述一条或多条第一谱线呈现小于或等于阈值频率的频率，并且如果当前帧包括对音频信号的频谱的所述一条或多条第二谱线进行编码的所述一个或多个损坏比特，所述一条或多条第二谱线呈现大于阈值频率的频率，则解码模块110可以例如被配置成在部分丢帧隐藏模式下通过对大于阈值频率的频谱的所述一条或多条第二谱线进行错误隐藏来进行错误隐藏。
根据实施例，如果当前帧不包括对音频信号的频谱的所述一条或多条第一谱线进行编码的任何损坏比特，所述一条或多条第一谱线呈现小于或等于阈值频率的频率，并且如果当前帧包括对音频信号的频谱的所述一条或多条第二谱线进行编码的所述一个或多个损坏比特，所述一条或多条第二谱线呈现大于阈值频率的频率，则所述解码模块110可以例如被配置成通过对多个有效载荷比特中的所述第一组一个或多个有效载荷比特进行解码来重构音频信号，所述第一组一个或多个有效载荷比特对音频信号的频谱的所述一条或多条第一谱线进行编码，所述一条或多条第一谱线呈现小于或等于阈值频率的频率。
在实施例中，解码模块110可以例如被配置成检测当前帧是否丢失，其中，如果解码器100已检测到当前帧丢失，则解码模块110可以例如被配置成通过对呈现大于阈值频率的频率的音频信号的频谱的所述一条或多条第二谱线进行错误隐藏来重构音频信号。此外，解码模块110可以例如被配置成在不对所述第一组进行错误隐藏的情况下，对多个有效载荷比特中的所述第一组一个或多个有效载荷比特进行解码，所述第一组一个或多个有效载荷比特对音频信号的频谱的小于或等于阈值频率的所述一个或多个第一频率的所述一条或多条第一谱线进行编码，其中多个有效载荷比特中的所述第一组一个或多个有效载荷比特是与当前帧不同的冗余帧的一个或多个有效载荷比特。
在实施例中，冗余帧可以例如是当前帧的带宽受限版本。例如，冗余帧可以例如提供在与当前帧相同的时间段内对音频信号进行编码的数据(例如，与当前帧相比减少的数据集)。该数据可以例如对于多个有效载荷比特不同，所述多个有效载荷比特对音频信号的频谱的小于或等于阈值频率的所述一个或多个第一频率的所述一条或多条第一谱线的音频信号进行编码，因为它们在当前帧的相同时间段内用比频谱的所述第一频率的当前帧少的比特进行编码。
在实施例中，如果解码模块110被配置成在全丢帧隐藏模式下进行错误隐藏，则解码模块110被配置成对(整个)频谱的所有谱线进行错误隐藏(否则可由当前帧的当前比特流有效载荷的所有有效载荷比特重构)。
根据实施例，多个有效载荷比特是多个当前有效载荷比特。如果解码模块110处于部分丢帧隐藏模式，则解码模块110可以例如被配置成使用一条或多条存储的谱线对音频信号的频谱的所述一条或多条第二谱线进行错误隐藏，所述一条或多条第二谱线呈现大于阈值频率的频率，所述一条或多条存储的谱线已由先前帧的先前比特流有效载荷的一个或多个先前有效载荷比特进行编码。
在实施例中，频谱可以例如是当前量化频谱。如果解码模块110在部分丢帧隐藏模式下进行错误隐藏，则解码模块110可以例如被配置成对音频信号的频谱的所述一条或多条第二谱线进行错误隐藏，以获得所述当前量化频谱的一条或多条中间谱线，所述一条或多条第二谱线呈现大于阈值频率的频率。
根据实施例，频谱是当前量化频谱。如果解码模块110在部分丢帧隐藏模式下进行错误隐藏，则解码模块110可以例如被配置成对音频信号的频谱的所述一条或多条第二谱线进行错误隐藏，以获得所述当前量化频谱的一条或多条中间谱线，所述一条或多条第二谱线呈现大于阈值频率的频率，其中解码模块110可以例如被配置成使用重新缩放因子重新缩放一条或多条中间谱线以重构音频信号。
在实施例中，解码模块110可以例如被配置成取决于以下至少一项确定重新缩放因子：
·被编码在所述当前比特流有效载荷内的全局增益，以及
·被编码在所述先前比特流有效载荷内的全局增益，以及
·所述先前帧的先前量化频谱的能量，所述先前帧的先前解码频谱的能量，以及
·所述当前帧的所述当前量化频谱的能量。
根据实施例，解码模块110可以例如被配置成取决于是否有以下情况来确定重新缩放因子：
·从在不进行错误隐藏的情况下无法重构的第一频谱区间开始直到频谱顶部的先前帧的先前解码频谱的频谱区间的平均能量大于或等于从零开始直到在不进行错误隐藏的情况下可以重构的所述最后频谱区间的先前帧的先前解码频谱的频谱区间的平均能量，或者
·从零开始直到在不进行错误隐藏的情况下可以重构的所述最后频谱区间的当前帧的所述当前量化频谱的频谱区间的能量大于或等于从零开始直到在不进行错误隐藏的情况下可以重构的所述最后频谱区间的先前帧的先前量化频谱的频谱区间的能量。
在实施例中，
·如果从在不进行错误隐藏的情况下无法重构的所述第一频谱区间开始直到频谱顶部的先前帧的先前解码频谱的频谱区间的平均能量小于从零开始直到在不进行错误隐藏的情况下可以重构的所述最后频谱区间的先前帧的先前解码频谱的频谱区间的平均能量，以及
·如果从零开始直到在不进行错误隐藏的情况下可以重构的所述最后频谱区间的当前帧的所述当前量化频谱的频谱区间的能量小于从零开始直到在不进行错误隐藏的情况下可以重构的所述最后频谱区间的先前帧的先前量化频谱的频谱区间的能量，
则解码模块110可以例如被配置成确定重新缩放因子，使得重新缩放因子等于以下比率的平方根，
·从零开始直到在不进行错误隐藏的情况下可以重构的所述最后频谱区间的当前量化频谱的频谱区间的能量乘以当前帧的增益因子的平方，
比
·从零开始直到在不进行错误隐藏的情况下可以重构的所述最后频谱区间的先前量化频谱的频谱区间的能量乘以先前帧的增益因子的平方。
根据实施例，解码模块110可以例如被配置成根据全局增益重新缩放因子来确定重新缩放因子，该重新缩放因子是总重新缩放因子，其中解码模块110可以例如被配置成根据下式来确定全局增益重新缩放因子
Figure BDA0003209528380000141
其中指示当前帧的全局增益，以及其中ggprev指示所述先前帧的全局增益，以及其中facgg是全局增益重新缩放因子。
在实施例中，
如果
Figure BDA0003209528380000142
或者
如果
Figure BDA0003209528380000143
则解码模块110可以例如被配置成确定总重新缩放因子等于全局增益重新缩放因子，其中k指示频谱区间，其中kbe指示无法恢复的第一频谱区间，其中F指示谱线数量，其中
Figure BDA0003209528380000144
指示先前帧的先前量化频谱是最后非全丢帧隐藏帧，其中
Figure BDA0003209528380000145
指示当前帧的当前量化频谱，其中
Figure BDA0003209528380000146
指示先前帧的先前解码频谱是所述最后非全丢帧隐藏帧。
根据实施例，
如果
Figure BDA0003209528380000147
并且
如果
Figure BDA0003209528380000148
则解码模块110可以例如被配置成确定总重新缩放因子还取决于能量重新缩放因子：
Figure BDA0003209528380000149
例如，该能量重新缩放因子可以用于形成总重新缩放因子：
Figure BDA00032095283800001410
其中facener指示能量重新缩放因子，其中k指示频谱区间，其中kbe指示无法恢复的第一频谱区间，其中F指示谱线数量，其中
Figure BDA00032095283800001411
指示先前帧的先前量化频谱是最后非全丢帧隐藏帧，其中
Figure BDA0003209528380000151
指示当前帧的当前量化频谱，其中
Figure BDA0003209528380000152
指示先前帧的先前解码频谱是所述最后非全丢帧隐藏帧。
在应用部分丢帧隐藏的场景中，假设或已经确定比特流有效载荷的更敏感比特是无错误的。
在实施例中，当前帧的量化频谱
Figure BDA0003209528380000153
可以例如被恢复到某个频率区间，本文称为频率区间kbe-1。因此，部分丢帧隐藏仅隐藏了该频率以上的量化谱线。
当根据一些实施例进行部分丢帧隐藏时，最后非FFLC帧
Figure BDA0003209528380000154
的量化频谱的谱线可以例如被重新使用(FFLC＝全丢帧隐藏)。
为了防止能量变化的过渡帧中的高能量伪影，隐藏的谱线随后被重新缩放，而所得重新缩放因子可以例如取决于以下至少一个：
a)全局增益；
b)频谱能量；
优选地，所得重新缩放因子可以例如取决于频谱的全局增益和能量两者。
基于全局增益的重新缩放因子等于先前全局增益与当前全局增益的比率。
基于能量的重新缩放因子初始化为1(例如，不进行重新缩放/例如，重新缩放无效)：
·如果从频率区间kbe(在不进行错误隐藏的情况下无法重构的第一个频谱区间)开始直到频谱顶部的先前解码频谱的频谱区间的平均能量大于或等于从零开始直到频率区间kbe-1(在不进行错误隐藏的情况下可以重构的最后频谱区间)的先前解码频谱的频谱区间的平均能量；或者
·如果从零开始直到频率区间kbe-1的当前量化频谱的频谱区间的能量大于或等于从零开始直到频率区间kbe-1的先前量化频谱的频谱区间的能量。
否则，重新缩放因子等于以下比率的平方根：
·从零开始直到频率区间kbe-1的当前量化频谱的频谱区间的能量乘以当前帧的增益因子的平方；比
·从零开始直到频率区间kbe-1的先前量化频谱的频谱区间的能量乘以先前帧的增益因子的平方。
当在这种情况下两个因子相乘时，增益因子会相互抵消。因此，重新缩放因子随后等于以下比率的平方根：
·从零开始直到频率区间kbe-1的当前量化频谱的频谱区间的能量；比
·从零开始直到频率区间kbe-1的先前量化频谱的频谱区间的能量。
之后，隐藏的量化频谱可以例如被处理为无错误量化频谱。这意味着可以例如在之后应用随后的解码器操作，如噪声填充、噪声成形、或参数存储在无错误比特流有效载荷中的任何其他操作。因此，减轻了可能的隐藏伪影。
随后，例如可以在从频率区间kbe开始直到频谱顶部的频谱上应用如上所述的类似衰落过程，例如，可能可用的调性特征可以例如朝噪声衰落；和/或，例如可能显著的频谱形状可以例如变平；和/或能量可以例如减少。
下面对实施例进行详细描述。
图2示出了根据特定实施例的解码模块110。
图2的解码模块110包括解码频谱存储模块330，以及可选的量化频谱存储模块310、部分帧重复和重新缩放模块320以及淡出和符号加扰模块340。参考图3至图5描述图2的特定解码模块110的这些(子)模块的具体细节。
图3至图5提供了根据实施例的LC3解码器(示例性地用作以创造性方式修改的最先进的变换编码器)的高级概览。具体地，图3至图5针对解码模块110提供了不同种类的具体实施例。
在实施例中，解码模块110可以例如包括量化频谱存储模块310，该量化频谱存储模块被配置用于存储音频信号的量化频谱，其中量化频谱存储模块310被配置成提供最后的非全丢帧隐藏量化频谱。此外，解码模块110可以例如包括解码频谱存储模块330，该解码频谱存储模块被配置用于存储音频信号的解码频谱，其中解码频谱存储模块330被配置成提供最后的非全丢帧隐藏解码频谱。
图3示出了根据用于干净信道解码的实施例的解码模块110概览。具体地，图3示出了正常的解码器操作。全丢帧隐藏以及部分丢帧隐藏所需的处理块是处理块310和330。
量化频谱存储模块310可以例如被配置用于量化频谱的存储：量化频谱存储模块310存储最后的非FFLC量化频谱以允许其在部分丢帧隐藏的情况下重新使用。
解码频谱存储模块330被配置成存储频谱(例如，称为解码频谱)：该处理块存储最后的非FFLC频谱以允许其在全丢帧隐藏的情况下重新使用。例如，它还可以用于在部分丢帧隐藏期间的重新缩放。
在实施例中，解码模块110可以例如包括解码频谱存储模块330，该解码频谱存储模块被配置用于存储音频信号的解码频谱，其中解码频谱存储模块330被配置以提供最后非全丢帧隐藏解码频谱。此外，解码模块110可以例如包括淡出和符号加扰模块340，该淡出和符号加扰模块被配置用于在频谱的谱线上进行淡出和符号加扰。
此外，根据实施例，解码模块110可以例如包括量化频谱存储模块310，该量化频谱存储模块被配置用于存储音频信号的量化频谱，其中量化频谱存储模块310被配置成提供最后非全丢帧隐藏量化频谱。此外，解码模块110可以例如包括部分帧重复和重新缩放模块320，该部分帧重复和重新缩放模块被配置用于部分帧重复和重新缩放，其中部分帧重复和重新缩放模块320被配置成通过添加谱线来补充频谱，这些谱线可以不被解码模块110解码，其中部分帧重复和重新缩放模块320被配置成重新缩放所述谱线。
图4示出了根据用于全丢帧隐藏的实施例的解码模块110概览。特别地，图4描绘了被配置用于进行全丢帧隐藏的实施例。全丢帧隐藏所需的处理块是处理块330和340。处理块330和340可以例如具有以下任务。
解码频谱存储模块330可以例如被配置用于存储频谱(例如，再次称为解码频谱)：该处理块330提供最后的非FFLC频谱。
淡出和符号加扰模块340可以例如被配置用于淡出和符号加扰：该处理块被配置成通过处理最后的非FFLC帧的谱线来创建频谱，如下所述。
图5示出了根据用于部分丢帧隐藏的实施例的解码模块110概览。
特别地，图5示出了部分丢帧隐藏的应用。部分丢帧隐藏所需的处理块是处理块310、320、330和340。这些处理块310、320、330和340具有以下任务：
量化频谱存储模块310可以例如被配置成用于存储量化频谱：量化频谱存储模块310可以例如被配置成提供最后的非FFLC量化频谱。
部分帧重复和重新缩放模块320可以例如被配置用于部分帧重复和重新缩放：该处理块可以例如被配置成通过添加那些不能被解码的谱线来补充频谱。之后，那些谱线可以例如被重新缩放并且低于某个阈值的值被量化为零，如下所述。
解码频谱存储模块330可以例如被配置用于频谱的存储(例如，再次被称为解码频谱)：解码频谱存储模块330可以例如被配置成提供最后的非FFLC频谱，最后的非FFLC频谱例如可以用于计算重新缩放因子。
淡出和符号加扰模块340可以例如被配置用于淡出和符号加扰：淡出和符号加扰模块340可以例如被配置成处理先前通过部分丢帧隐藏提供的谱线。下面进行说明。
在下文中，更详细地描述根据一些实施例的取决于调性的错误隐藏。
首先，提供根据一些实施例的衰落函数。
对于如下所述的针对符号加扰和非线性衰减实施的衰落过程，可以例如采用取决于随后丢帧的数量的函数(nbLostFramesInRow)，即一(1)直到某个值(plc_start_inFrames)，即从某个值(plc_end_inFrames)开始为零(0)；并且在plc_start_inFrames和plc_end_inFrames之间在1和0(1>x>0)之间线性下降。
特定的实施例可以例如如下实现：
plc_duration_inFrames＝plc_end_inFrames-plc_start_inFrames；
x＝max(plc_start_inFrames,(min(nbLostFramesInRow,plc_end_inFrames)))；
m＝-1/plc_duration_inFrames；
b＝-plc_end_inFrames；
linFuncStartStop＝m*(x+b)；
其中：
plc_start_inFrames–随后丢帧的数量，linFuncStartStop的值等于1直到该数量
plc_end_inFrames–随后丢帧的数量，从该数量开始linFuncStartStop的值等于0
linFuncStartStop–衰落函数的值
起始值和结束值可能不同地被选择，取决于信号特性(例如浊音与清音)并且取决于丢帧隐藏(例如PFLC与FFLC)(PFLC＝部分丢帧隐藏；FFLC＝全帧丢失隐藏)。
图6示出了根据实施例的衰落函数，其取决于一行中丢帧的数量(随后丢帧的数量)。
具体地，图6提供了这种衰落函数的示例，该衰落函数被配置成在20ms与60ms之间线性减小。
在下文中，更详细地描述根据一些实施例的符号的操纵。
作为先决条件，符号加扰的阈值可以例如基于如上导出的衰落值(linFuncStartStop)来确定。
randThreshold＝-32768*linFuncStartStop；
图7示出了根据实施例的用于符号加扰的阈值，该阈值取决于一行中丢帧的数量(随后丢帧的数量)并且还取决于帧长度。
特别地，图7提供了阈值示例，该阈值取决于使用衰落函数的连续丢帧的数量，其中阈值0对应于50％符号翻转，而阈值-32768对应于0％符号翻转。
实施例可以例如通过以下伪代码实现：
Figure BDA0003209528380000201
其中：
k –频谱区间
kbe –无法恢复的第一频谱区间
NF –谱线数量
seed –随机值，示例性初始值为24607
pitch_present –信息，当前帧中的信号是否有调性
spec_prev(k) –最后良好帧中的区间k的频谱值(也称为
Figure BDA0003209528380000202
)
spec(k) –当前帧中的区间k的频谱值。
在该示例中，seed(即随机值)在32768与-32768之间变化。对于清音信号(pitch_present＝＝0)，符号反转的阈值为零，这导致50％的概率。对于浊音信号，应用了可变阈值(randThreshold)，该阈值介于-32768(符号反转的概率为0％)与零(符号反转的概率为50％)之间。
在下文中，更详细地描述根据一些实施例的幅度的操纵。
在特定实施例中，两个衰减因子可以例如取决于稳定性测量来例如如下定义：
slow＝0.8+0.2*stabFac；
fast＝0.3+0.2*stabFac；
其中stabFac指示FFLC情况下的最后一帧和倒数第二帧之间或PFLC情况下的当前帧和最后一帧之间的稳定性值。
例如，稳定性因子可以表示两个信号之间的相似性，例如当前信号与过去信号之间的相似性。例如，稳定性因子可以例如以[0:1]为界。例如，接近于1或为1的稳定性因子可能例如意味着两个信号非常相似，而接近于0或为0的稳定性因子可能例如意味着两个信号非常不同。例如，可以在两个音频信号的频谱包络上计算相似性。
例如，稳定性因子θ可以计算为：
Figure BDA0003209528380000211
其中：
scfQcurr指示当前帧的缩放因子向量，以及
scfQprev指示先前帧的缩放因子向量
N指示缩放因子向量内的缩放因子数量
θ指示稳定性因子，其以0≤θ≤1为界
k指示缩放因子向量的索引
在一些实施例中，stabFac可以例如不同地用于FFLC和PFLC；即，可以取决于FFLC的稳定性设置为0到1之间的值，而对于PFLC，可以设置为1。
随后，例如可以导出对应的累积衰减因子(cum_fading_slow和cum_fading_fast，在每个突发丢失开始时用1初始化)，其可以例如从帧到帧例如如下变化：
cum_fading_slow＝cum_fading_slow*slow；
cum_fading_fast＝cum_fading_fast*fast；
其中：cum_fading_slow指示缓慢累积阻尼因子；并且其中cum_fading_fast指示快速累积阻尼因子。
在实施例中，累积可以例如仅对FFLC而不对PFLC进行。
此外，根据实施例，例如可以定义第一阈值(ad_ThreshFac_start)和最后阈值(ad_ThreshFac_end)的值。在一些实施例中，可以例如启发式地选择这些值。通常，两个值可以例如大于一(1)，并且第一阈值大于最后阈值。基于这两个阈值限制，当前帧的阈值(ad_threshFac)可以例如基于如上导出的衰落值(linFuncStartStop)来确定：
ad_ThreshFac_start＝10；
ad_ThreshFac_end＝1.2；
ad_threshFac＝(ad_ThreshFac_start-ad_ThreshFac_end)*linFuncStartStop+ad_ThreshFac_end；
其中ad_ThreshFac_start指示表示能量的第一因子，高于该第一因子应用
更强的衰减；并且其中ad_ThreshFac_stop指示表示能量的最后因子，高于该最后因子应用更强的衰减。
阈值调整可以只对FFLC进行，但不对PFLC进行。在这种情况下，对于后续帧，阈值将是固定的。
图8示出了根据实施例的能量阈值因子，其取决于一行中丢帧的数量并且进一步取决于帧长度。
具体地，图8提供了使用衰落函数取决于连续丢帧的数量的阈值因子的示例，其中阈值因子在20ms和60ms之间从10减小到1.2。
在特定实施例中，自适应衰落在区间粒度上操作。可以如下实现：
Figure BDA0003209528380000221
Figure BDA0003209528380000231
其中：
k –频谱区间
kbe –无法恢复的第一频谱区间
NF –谱线数量
spec_prev(k) –最后良好帧中的区间k的频谱值(以下称为
Figure BDA0003209528380000233
)
spec(k) –当前帧中区间k的频谱值。
else路径中n的推导确保衰减曲线使较大的值保持较大，并且使较小的值保持较小。
图9描绘了应用累积阻尼的示例。示例中可能的输入值介于0与1000之间。n＝0是指接收到的帧并且提供某种参考。在示例中，初始缓慢衰减因子被设置为0.9，而初始快速衰减因子被设置为0.4(stabFac＝0.5)。在第二帧中，使用那些值的平方，依此类推，这使得后续曲线更平坦。同时，例如可以减小阈值，这将连续曲线的扭曲进一步向左移动。
在另一特定实施例中，自适应衰落是逐频带操作的。在该示例中，导出了逐频带能量，并且自适应阻尼仅应用于频带中的区间，这些区间高于所有频带的平均值。在那些情况下，该频带的能量可以例如用作逐区间自适应阻尼的阈值。例如，示例性实现方式可以如下实现：
Figure BDA0003209528380000232
Figure BDA0003209528380000241
其中：
k,j –频谱区间
kbe –无法恢复的第一频谱区间
NF –谱线数量
spec_prev(k) –最后良好帧中的区间k的频谱值(以下称为
Figure BDA0003209528380000242
)
spec(k) –当前帧中的区间k的频谱值
idx –频带索引
bin_energy_per_band –每个频带的区间能量
在接收帧期间存储谱线以及在(部分或完全)丢帧期间插入谱线通常可以在基于比特流中提供的信息的频谱解码与转换回时域之间的任何地方执行。参考LC3，可以特别例如在SNS解码(SNS＝频谱噪声整形)之前或之后，例如在TNS解码(TNS＝时间噪声整形)之前或之后，例如在应用全局增益之前或之后，和/或例如在噪声填充之前或之后执行。
优选位置的选择也可以取决于部分丢帧或全丢帧的附加信息的可用性而变化。例如，在部分丢帧(部分丢帧隐藏)的情况下，可以在信号处理开始时执行；因为在这种情况下，后续信号处理步骤的参数可用。例如，可以在全丢帧(全丢帧隐藏)的情况下在稍后阶段执行，因为在这种情况下没有后续信号处理步骤的参数可用。然而，可以例如仍然在SNS解码之前执行，因为该步骤允许专用频谱整形。
下面更详细地描述根据一些实施例的部分丢帧隐藏。
部分丢帧隐藏的特定实现方式可以例如首先应用重新缩放因子，然后可以例如将低于某个阈值的频谱区间量化为零。这在以下示例伪代码中示出：
Figure BDA0003209528380000251
其中：
k –频谱区间
NF –谱线数量
kbe –无法恢复的第一频谱区间
Figure BDA0003209528380000252
–当前帧的量化谱线k
Figure BDA0003209528380000253
–最后非FFLC帧的量化谱线k
fac –重新缩放因子
threshold –阈值，示例值为0.625以量化为零。
取决于全局增益的重新缩放因子facgg被推导出为当前全局增益与过去全局增益之间的比率：
Figure BDA0003209528380000254
取决于能量的重新缩放因子facener被初始化为1。如果满足以下条件：
1.
Figure BDA0003209528380000255
2.
Figure BDA0003209528380000256
该重新缩放因子被设置为当前量化频谱乘以其对应的全局增益的平方与过去量化频谱乘以其对应的全局增益的平方之间的比率的根：
Figure BDA0003209528380000261
总重新缩放因子被推导为：
fac＝facgg·facener。
当facener≠1时，这导致(全局增益值相互抵消)：
Figure BDA0003209528380000262
上述等式中的变量具有以下含义：
k –频谱区间
kbe –无法恢复的第一频谱区间
F –谱线数量
Figure BDA0003209528380000263
–最后非FFLC帧的量化频谱
Figure BDA0003209528380000264
–当前帧的量化频谱
Figure BDA0003209528380000265
–最后非FFLC帧的解码频谱
gg –当前帧的全局增益(如果在比特流中编码的量化频谱用全局增益进行重新缩放)
ggprev –最后非FFLC帧的全局增益(如果在比特流中编码的量化频谱用全局增益进行重新缩放)。
以下示例伪代码示出了根据示例性实现方式的重新缩放因子的确定：
Figure BDA0003209528380000266
Figure BDA0003209528380000271
其中：
fac –重新缩放因子
gg –当前帧的全局增益(如果在比特流中编码的量化频谱用全局增益进行重新缩放)
ggprev –最后非FFLC帧的全局增益(如果在比特流中编码的量化频谱用全局增益进行重新缩放)
kbe –无法恢复的第一频谱区间
NF –谱线数量
Figure BDA0003209528380000272
–最后非FFLC帧的解码频谱
Figure BDA0003209528380000273
–最后非FFLC帧的量化频谱
Figure BDA0003209528380000274
–当前帧的量化频谱
sqrt –平方根函数。
尽管已经在装置背景下描述了一些方面，但很明显，这些方面也表示对应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤背景下描述的各方面也表示对应装置的对应块或项或特征的描述。一些或所有方法步骤可以通过(或使用)硬件装置(例如微处理器、可编程计算机或电子电路)来执行。在一些实施例中，一个或多个最重要的方法步骤可以由这种装置执行。
取决于某些实现方式要求，本发明的实施例可以以硬件或以软件或至少部分以硬件或至少部分以软件来实现。该实现方式可以使用存储有电子可读控制信号的数字存储介质(例如软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行，所述电子可读控制信号与可编程计算机系统协作(或能够协作)，从而执行相应的方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，所述电子可读控制信号能够与可编程计算机系统协作，从而执行本文所述的方法之一。
通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，当该计算机程序产品在计算机上运行时，该程序代码可操作用于执行方法之一。程序代码可以例如被存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。
换言之，本发明方法的实施例因此是具有程序代码的计算机程序，当该计算机程序在计算机上运行时，该程序代码用于执行本文描述的方法之一。
因此，本发明方法的另一实施例是数据载体(或数字存储介质，或计算机可读介质)，该数据载体包括记录有用于执行本文所述方法之一的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。
因此，本发明方法的另一实施例是数据流或信号序列，该数据流或信号序列表示用于执行本文描述的方法之一的计算机程序。数据流或信号序列可以例如被配置成经由数据通信连接(例如经由互联网)来传输。
另一实施例包括被配置成或适于执行本文所述的方法之一的处理装置，例如计算机或可编程逻辑设备。
另一实施例包括安装有用于执行本文所述的方法之一的计算机程序的计算机。
根据本发明的另一实施例包括被配置成向接收器(例如，电子地或光学地)传递用于执行本文所述的方法之一的计算机程序的装置或系统。例如，接收器可以是计算机、移动设备、存储设备等。该装置或系统可以例如包括用于将计算机程序传递到接收器的文件服务器。
在一些实施例中，可编程逻辑设备(例如现场可编程门阵列)可以用于执行本文所述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，这些方法优选地由任何硬件装置执行。
本文描述的装置可以使用硬件装置实现，或者使用计算机实现，或者使用硬件装置和计算机的组合实现。
本文描述的方法可以使用硬件装置执行，或者使用计算机执行，或者使用硬件装置和计算机的组合执行。
上述实施例仅用于说明本发明的原理。应当理解，对本领域技术人员而言，本文描述的布置和细节的修改和变化将是显而易见的。因此，其意图是仅受限于所附专利权利要求的范围，而不是受限于通过本文实施例的描述和解释而呈现的具体细节。
参考资料：
[1]P.Lauber and R.Sperschneider,“Error Concealment for CompressedDigital Audio,”in Audio Engineering Society,2001。
[2]J.Lecomte and A.Tomasek,“ERRORCONCEALMENT UNIT,AUDIO DECODER,ANDRELATED METHOD AND COMPUTER PROGRAM FADING OUT A CONCEALED AUDIO FRAME OUTACCORDING TO DIFFERENT DAMPING FACTORS FOR DIFFERENT FREQUENCY BANDS”,WO2017/153299 A2,published 2017。
[3]A.
Figure BDA0003209528380000291
A.Kurittu and H.Toukomaa,“EVS Channel Aware ModeRobustness to Frame Erasures,”in Interspeech 2016,San Francisco,CA,USA,2016。
[4]A.Venkatraman,D.J.Sinder,S.Shaminda,R.Vivek,D.Duminda,C.Venkata,V.Imre,K.Venkatesh,S.Benjamin,L.Jeremie,Z.Xingtao and M.Lei,“Improved ErrorResilience for VoLTE and VoIP with 3GPP EVS Channel Aware Coding,”in ICASSP2015。
[5]M.Schnabel,G.Markovic,R.Sperschneider,C.Helmrich and J.Lecomte,“Apparatus and method realizing a fading of an mdct spectrum to white noiseprior to fdns application”.European Patent EP 3 011 559 B1,published 2017。

Claims (40)

1.一种用于对当前帧进行解码以重构音频信号的解码器(100)，其中所述音频信号被编码在所述当前帧内，其中所述当前帧包括当前比特流有效载荷，其中所述当前比特流有效载荷包括多个有效载荷比特，其中所述多个有效载荷比特对所述音频信号的频谱的多条谱线进行编码，其中所述有效载荷比特中的每一个呈现在所述当前比特流有效载荷内的位置，
其中所述解码器(100)包括：
解码模块(110)，被配置成重构所述音频信号，以及
输出接口(120)，被配置成输出所述音频信号，
其中所述解码模块(110)包括错误隐藏模式，其中，如果所述解码模块(110)处于所述错误隐藏模式，则所述解码模块(110)被配置成通过对所述音频信号的所述频谱的如下谱线进行错误隐藏来重构所述音频信号：所述谱线呈现大于阈值频率的频率；和/或
其中，如果所述解码模块(110)进行错误隐藏，则所述解码模块(110)被配置成以取决于所述当前帧之前的先前帧的先前比特流有效载荷是否对所述音频信号的作为调性或谐波的信号分量进行编码的方式进行错误隐藏。
2.根据权利要求1的解码器(100)，
其中所述错误隐藏模式为部分丢帧隐藏模式，其中，如果所述解码模块(110)处于所述部分丢帧隐藏模式，则所述解码模块(110)被配置成：
在不对所述频谱的所述多条谱线中的一条或多条第一谱线进行错误隐藏的情况下重构所述音频信号，所述一条或多条第一谱线呈现小于或等于所述阈值频率的频率，其中所述一条或多条第一谱线已由所述多个有效载荷比特中的第一组一个或多个有效载荷比特进行编码，以及
通过对所述频谱的所述多条谱线中的一条或多条第二谱线进行错误隐藏来重构所述音频信号，所述一条或多条第二谱线呈现大于所述阈值频率的频率，其中所述一条或多条第二谱线已由所述多个有效载荷比特中的第二组一个或多个有效载荷比特进行编码。
3.根据权利要求2所述的解码器(100)，
其中所述解码模块(110)被配置成检测所述当前帧是否不包括对所述音频信号的所述频谱的所述一条或多条第一谱线进行编码的任何损坏比特，所述一条或多条第一谱线呈现小于或等于所述阈值频率的频率，
其中所述解码模块(110)被配置成检测所述当前帧是否包括对所述音频信号的所述频谱的所述一条或多条第二谱线进行编码的一个或多个损坏比特，所述一条或多条第二谱线呈现大于所述阈值频率的频率，
其中所述一个或多个损坏比特是所述有效载荷比特中的失真或可能失真的一个或多个有效载荷比特，以及
其中，如果所述当前帧不包括对所述音频信号的所述频谱的所述一条或多条第一谱线进行编码的任何损坏比特，所述一条或多条第一谱线呈现小于或等于所述阈值频率的频率，并且如果所述当前帧包括对所述音频信号的所述频谱的所述一条或多条第二谱线进行编码的所述一个或多个损坏比特，所述一条或多条第二谱线呈现大于所述阈值频率的频率，则所述解码模块(110)被配置成在所述部分丢帧隐藏模式下通过对所述频谱的大于所述阈值频率的所述一条或多条第二谱线进行错误隐藏来进行错误隐藏。
4.根据权利要求3所述的解码器(100)，
其中，如果所述当前帧不包括对所述音频信号的所述频谱的所述一条或多条第一谱线进行编码的任何损坏比特，所述一条或多条第一谱线呈现小于或等于所述阈值频率的频率，并且如果所述当前帧包括对所述音频信号的所述频谱的所述一条或多条第二谱线进行编码的所述一个或多个损坏比特，所述一条或多条第二谱线呈现大于所述阈值频率的频率，则所述解码模块(110)被配置成通过对所述多个有效载荷比特中的所述第一组一个或多个有效载荷比特进行解码来重构所述音频信号，所述第一组一个或多个有效载荷比特对所述音频信号的所述频谱的所述一条或多条第一谱线进行编码，所述一条或多条第一谱线呈现小于或等于所述阈值频率的频率。
5.根据权利要求2至4中的一项所述的解码器(100)，
其中所述解码模块(110)被配置成检测所述当前帧是否丢失，
其中，如果所述解码器(100)已检测到所述当前帧丢失，则所述解码模块(110)被配置成通过以下重构所述音频信号：
对所述音频信号的所述频谱的呈现大于所述阈值频率的频率的所述一条或多条第二谱线进行错误隐藏，以及
在不进行错误隐藏的情况下，对所述多个有效载荷比特中的所述第一组一个或多个有效载荷比特进行解码，所述第一组一个或多个有效载荷比特对所述音频信号的所述频谱的小于或等于所述阈值频率的所述一个或多个第一频率的所述一条或多条第一谱线进行编码，其中所述多个有效载荷比特中的所述第一组一个或多个有效载荷比特是与所述当前帧不同的冗余帧的一个或多个有效载荷比特。
6.根据权利要求2至5中的一项所述的解码器(100)，
其中，如果所述解码模块(110)被配置成在全丢帧隐藏模式下进行错误隐藏，则所述解码模块(110)被配置成对所述频谱的所有谱线进行错误隐藏。
7.根据权利要求6所述的解码器(100)，
其中所述多个有效载荷比特是多个当前有效载荷比特，
其中，如果所述解码模块(110)处于部分丢帧隐藏模式，则所述解码模块(110)被配置成使用一条或多条存储的谱线对所述音频信号的所述频谱的所述一条或多条第二谱线进行错误隐藏，所述一条或多条第二谱线呈现大于所述阈值频率的频率，所述一条或多条存储的谱线已由所述先前帧的所述先前比特流有效载荷的一个或多个先前有效载荷比特进行编码。
8.根据权利要求7的解码器(100)，
其中所述频谱是当前量化频谱，
其中，如果所述解码模块(110)在所述部分丢帧隐藏模式下进行错误隐藏，则所述解码模块(110)被配置成对所述音频信号的所述频谱的所述一条或多条第二谱线进行错误隐藏，以获得所述当前量化频谱的一条或多条中间谱线，所述一条或多条第二谱线呈现大于所述阈值频率的频率，其中所述解码模块(110)被配置成使用重新缩放因子重新缩放所述一条或多条中间谱线以重构所述音频信号。
9.根据权利要求8所述的解码器(100)，
其中所述解码模块(110)被配置成取决于以下至少一项确定所述重新缩放因子：
被编码在所述当前比特流有效载荷内的全局增益，以及
被编码在所述先前比特流有效载荷内的全局增益，以及
所述先前帧的先前量化频谱的能量，所述先前帧的先前解码频谱的能量，以及
所述当前帧的所述当前量化频谱的能量。
10.根据权利要求8或9所述的解码器(100)，
其中所述解码模块(110)被配置成取决于是否有以下情况来确定所述重新缩放因子：
从在不进行错误隐藏的情况下无法重构的第一频谱区间开始直到所述频谱的顶部的所述先前帧的所述先前解码频谱的频谱区间的平均能量大于或等于从零开始直到在不进行错误隐藏的情况下能够重构的最后频谱区间的所述先前帧的所述先前解码频谱的频谱区间的平均能量，或者
从零开始直到在不进行错误隐藏的情况下能够重构的所述最后频谱区间的所述当前帧的所述当前量化频谱的频谱区间的能量大于或等于从零开始直到在不进行错误隐藏的情况下能够重构的所述最后频谱区间的所述先前帧的所述先前量化频谱的频谱区间的能量。
11.根据权利要求10所述的解码器(100)，其中，
如果从在不进行错误隐藏的情况下无法重构的所述第一频谱区间开始直到所述频谱的顶部的所述先前帧的所述先前解码频谱的所述频谱区间的所述平均能量小于从零开始直到在不进行错误隐藏的情况下能够重构的所述最后频谱区间的所述先前帧的所述先前解码频谱的所述频谱区间的所述平均能量，以及
如果从零开始直到在不进行错误隐藏的情况下能够重构的所述最后频谱区间的所述当前帧的所述当前量化频谱的频谱区间的所述能量小于从零开始直到在不进行错误隐藏的情况下能够重构的所述最后频谱区间的所述先前帧的所述先前量化频谱的所述频谱区间的所述能量，
则所述解码模块(110)被配置成确定所述重新缩放因子，使得所述重新缩放因子等于以下比率的平方根：
从零开始直到在不进行错误隐藏的情况下能够重构的所述最后频谱区间的所述当前量化频谱的所述频谱区间的所述能量乘以所述当前帧的增益因子的平方，
比
从零开始直到在不进行错误隐藏的情况下能够重构的所述最后频谱区间的所述先前量化频谱的所述频谱区间的所述能量乘以所述先前帧的增益因子的平方。
12.根据权利要求9至11中的一项所述的解码器(100)，
其中所述解码模块(110)被配置成取决于全局增益重新缩放因子来确定所述重新缩放因子，所述重新缩放因子是总重新缩放因子，
其中所述解码模块(110)被配置成根据下式确定所述全局增益重新缩放因子：
Figure FDA0003209528370000051
其中gg指示被编码在所述当前比特流有效载荷内的所述全局增益，以及
其中ggprev指示被编码在所述先前比特流有效载荷内的所述全局增益，以及
其中facgg是所述全局增益重新缩放因子。
13.根据权利要求12所述的解码器(100)，
其中，
如果
Figure FDA0003209528370000052
或者
如果
Figure FDA0003209528370000053
则所述解码模块(110)被配置成确定所述总重新缩放因子等于所述全局增益重新缩放因子，
其中k指示频谱区间，其中kbe指示无法恢复的第一频谱区间，其中NF指示谱线数量，其中
Figure FDA0003209528370000061
指示所述先前帧的所述先前量化频谱是最后非全丢帧隐藏帧，其中
Figure FDA0003209528370000062
指示所述当前帧的所述当前量化频谱，其中
Figure FDA0003209528370000063
指示所述先前帧的所述先前解码频谱是所述最后非全丢帧隐藏帧。
14.根据权利要求12或13所述的解码器(100)，
其中，
如果
Figure FDA0003209528370000064
并且
如果
Figure FDA0003209528370000065
则所述解码模块(110)被配置成确定所述总重新缩放因子还取决于能量重新缩放因子
Figure FDA0003209528370000066
其中facener指示所述能量重新缩放因子，
其中k指示频谱区间，其中kbe指示无法恢复的第一频谱区间，其中NF指示谱线数量，其中
Figure FDA0003209528370000067
指示所述先前帧的所述先前量化频谱是最后非全丢帧隐藏帧，其中
Figure FDA0003209528370000068
指示所述当前帧的所述当前量化频谱，其中
Figure FDA0003209528370000069
指示所述先前帧的所述先前解码频谱是所述最后非全丢帧隐藏帧。
15.根据权利要求14所述的解码器(100)，
其中，
如果
Figure FDA00032095283700000610
并且
如果
Figure FDA00032095283700000611
则所述解码模块(110)被配置成根据下式确定所述总重新缩放因子fac
fac＝facgg·facener，
或
Figure FDA0003209528370000071
或
Figure FDA0003209528370000072
16.根据前述权利要求中的一项所述的解码器(100)，
其中，如果所述解码模块(110)进行错误隐藏，则所述解码模块(110)被配置成通过使用所述音频信号的先前频谱的多个符号进行错误隐藏来重构所述音频信号的当前频谱，所述多个符号被编码在所述先前帧内，其中所述解码模块(110)被配置成以取决于所述先前帧是否对作为调性或谐波的信号分量进行编码的方式进行错误隐藏。
17.根据权利要求16所述的解码器(100)，
其中所述先前帧是在不进行错误隐藏的情况下已由所述解码模块(110)解码的最后接收帧，或者
其中所述先前帧是在没有以全丢帧隐藏模式进行错误隐藏的情况下已由所述解码模块(110)解码的最后接收帧，或者
其中所述先前帧是在没有以部分丢帧隐藏模式或全丢帧隐藏模式进行错误隐藏的情况下已由所述解码模块(110)解码的最后接收帧。
18.根据权利要求16或17所述的解码器(100)，
其中，如果所述解码模块(110)进行错误隐藏，并且如果所述先前帧的所述先前比特流有效载荷对作为调性或谐波的信号分量进行编码，则所述解码模块(110)被配置成翻转所述先前频谱的所述多个符号中的一个或多个符号以重构所述当前频谱，其中指示所述先前频谱的所述多个符号中的符号要被所述解码模块(110)翻转以重构所述当前频谱的概率的百分比值p在0％≤p≤50％之间，其中所述解码模块(110)被配置成确定所述百分比值p。
19.根据权利要求18所述的解码器(100)，
其中所述解码模块(110)被配置成取决于后续帧的数量来增大所述百分比值p；
其中所述后续帧的数量指示已由所述解码模块(110)进行了多少后继部分丢帧错误隐藏或全丢帧错误隐藏；或者其中所述后续帧的数量指示已由所述解码模块(110)进行了多少在特定错误隐藏模式下的后续帧错误隐藏。
20.根据权利要求19所述的解码器(100)，
其中所述解码模块(110)被配置成根据取决于所述后续帧的数量的函数来确定所述百分比值p，所述后续帧的数量是所述函数的自变量。
21.根据权利要求20所述的解码器(100)，
其中所述解码模块(110)被配置成确定所述百分比值p，
使得如果所述后续帧的数量小于第一阈值，则p为0％；
使得如果所述后续帧的数量大于或等于所述第一阈值且小于第二阈值，则0％≤p≤50％，以及
使得如果所述后续帧的数量大于所述第二阈值，则p＝50％。
22.根据权利要求21所述的解码器(100)，
其中所述解码模块(110)被配置成确定所述百分比值p，使得所述百分比值p取决于所述后续帧的数量在所述第一阈值与所述第二阈值之间的范围内线性增大。
23.根据权利要求18至22中的一项所述的解码器(100)，
其中，如果所述解码模块(110)进行错误隐藏，并且如果所述先前帧的所述先前比特流有效载荷未对作为调性或谐波的信号分量进行编码，则所述解码模块(110)被配置成翻转所述先前频谱的所述多个符号中的50％以重构所述当前频谱。
24.根据前述权利要求中的一项所述的解码器(100)，
其中，如果所述解码模块(110)进行错误隐藏，则所述解码模块(110)被配置成取决于所述先前帧是否对作为调性或谐波的信号分量进行编码，通过使用所述音频信号的所述先前频谱的多个幅度进行错误隐藏来重构所述音频信号的当前频谱，所述多个幅度被编码在所述先前帧内。
25.根据权利要求24所述的解码器(100)，
其中，如果所述解码模块(110)进行错误隐藏，则所述解码模块(110)被配置成根据非线性衰减特性对所述先前频谱的所述多个幅度进行衰减以重构所述当前频谱，其中所述非线性衰减特性取决于所述先前帧是否对作为调性或谐波的信号分量进行编码。
26.根据权利要求24或25所述的解码器(100)，
其中，如果所述解码模块(110)进行错误隐藏，并且如果所述先前帧的所述先前比特流有效载荷对作为调性或谐波的信号分量进行编码，则所述解码模块(110)被配置成取决于稳定性因子对所述先前频谱的所述多个幅度进行衰减，其中所述稳定性因子指示所述当前频谱与所述先前频谱之间的相似性；或者其中所述稳定性因子指示所述先前频谱与所述先前帧之前的前先前帧的前先前频谱之间的相似性。
27.根据权利要求26所述的解码器(100)，
其中所述前先前帧是在所述先前帧之前的在不进行错误隐藏的情况下已由所述解码模块(110)解码的最后接收帧，或者
其中所述前先前帧是在所述先前帧之前的在没有以全丢帧隐藏模式进行错误隐藏的情况下已由所述解码模块(110)解码的最后接收帧，或者
其中所述前先前帧是在所述先前帧之前的在没有以部分丢帧隐藏模式或全丢帧隐藏模式进行错误隐藏的情况下已由所述解码模块(110)解码的最后接收帧。
28.根据权利要求26或27所述的解码器(100)，
其中如果所述解码模块(110)被设置为进行部分丢帧隐藏，则所述稳定性因子指示所述当前频谱与所述先前频谱之间的所述相似度；
如果所述解码模块(110)被设置为进行全丢帧隐藏，则所述稳定性因子指示所述先前频谱与所述前先前频谱之间的所述相似性。
29.根据权利要求26到28中的一项所述的解码器(100)，
其中所述解码模块(110)被配置成确定所述先前频谱的频谱区间的能量；
其中所述解码模块(110)被配置成确定所述频谱区间的所述能量是否小于能量阈值；
其中，如果所述能量小于所述能量阈值，则所述解码模块(110)被配置成以第一衰落因子对所述多个幅度中的分配给所述频谱区间的幅度进行衰减，
其中，如果所述能量大于或等于所述能量阈值，则所述解码模块(110)被配置成以小于所述第一衰落因子的第二衰落因子对所述多个幅度中的分配给所述频谱区间的所述幅度进行衰减，
其中，所述解码模块(110)被配置成进行衰减，使得通过对所述多个幅度中的一个幅度的衰减使用较小的衰落因子，增加所述一个幅度的衰减。
30.根据权利要求26到28中的一项所述的解码器(100)，
其中所述解码模块(110)被配置成确定包括所述先前频谱的多个频谱区间在内的频谱带的能量；
其中所述解码模块(110)被配置成确定所述频谱带的所述能量是否小于能量阈值；
其中，如果所述能量小于所述能量阈值，则所述解码模块(110)被配置成以第一衰落因子对所述多个幅度中的分配给所述频谱带的所述频谱区间的幅度进行衰减，
其中，如果所述能量大于或等于所述能量阈值，则所述解码模块(110)被配置成以小于所述第一衰落因子的第二衰落因子对所述多个幅度中的分配给所述频谱带的所述频谱区间的所述幅度进行衰减，
其中，所述解码模块(110)被配置成进行衰减，使得通过对所述多个幅度中的一个幅度的衰减使用较小的衰落因子，增加所述一个幅度的衰减。
31.根据进一步引用权利要求19的权利要求30所述的解码器(100)，
其中所述解码模块(110)被配置成确定所述第一衰落因子，使得取决于所述后续帧的数量，所述第一衰落因子变得更小，以及
其中所述解码模块(110)被配置成确定所述第二衰落因子，使得取决于所述后续帧的数量，所述第二衰落因子变得更小。
32.根据权利要求31所述的解码器(100)，
其中所述解码模块(110)被配置成确定所述第一衰落因子和所述第二衰落因子，使得
如果所述当前帧是所述后续帧中的第一帧，
cum_fading_slow＝1，以及
cum_fading_fast＝1，
并且使得
如果所述当前帧是所述后续帧中的所述第一帧之后的帧之一，则取决于所述后续帧的数量根据以下公式确定所述第一衰落因子和所述第二衰落因子：
cum_fading_slow＝cum_fading_slow*slow；
cum_fading_fast＝cum_fading_fast*fast；
其中所述公式右侧的cum_fading_slow是所述先前帧的所述第一衰落因子，
其中所述公式左侧的cum_fading_slow是所述当前帧的所述第一衰落因子，
其中所述公式右侧的cum_fading_fast是所述先前帧的所述第二衰落因子，
其中所述公式左侧的cum_fading_fast是所述当前帧的所述第二衰落因子，
其中1>slow>fast>0。
33.根据权利要求32所述的解码器(100)，其中1>slow>fast>0.3。
34.根据进一步引用权利要求19的权利要求29到33中的一项所述的解码器(100)，
其中所述解码模块(110)被配置成确定所述能量阈值，
使得如果所述后续帧的数量小于第三阈值，则所述能量阈值等于第一能量值；
使得如果所述后续帧的数量大于或等于所述第三阈值且小于第四阈值，则所述能量阈值小于所述第一能量值且大于第二能量值；以及
使得如果所述后续帧的数量大于所述第四阈值，则所述能量阈值等于所述第二能量值。
35.根据权利要求34所述的解码器(100)，
其中所述解码模块(110)被配置成确定所述能量阈值，使得所述能量阈值取决于所述后续帧的数量在所述第三阈值与所述第四阈值之间的范围内线性减小。
36.根据权利要求1或根据权利要求15至35中的一项所述的解码器(100)，
其中所述解码模块(110)包括解码频谱存储模块(330)，所述解码频谱存储模块被配置用于存储所述音频信号的解码频谱，其中所述解码频谱存储模块(330)被配置成提供最后非全丢帧隐藏解码频谱，以及
其中所述解码模块(110)包括淡出和符号加扰模块(340)，所述淡出和符号加扰模块被配置用于对所述频谱的谱线进行淡出和符号加扰。
37.根据权利要求36所述的解码器(100)，
其中所述解码模块(110)包括量化频谱存储模块(310)，所述量化频谱存储模块被配置用于存储所述音频信号的量化频谱，其中所述量化频谱存储模块(310)被配置成提供最后非全丢帧隐藏量化频谱，以及
其中所述解码模块(110)包括部分帧重复和重新缩放模块(320)，所述部分帧重复和重新缩放模块被配置用于部分帧重复和重新缩放，其中所述部分帧重复和重新缩放模块(320)被配置成通过添加谱线来补充所述频谱，所述谱线不能够被所述解码模块(110)解码，其中所述部分帧重复和重新缩放模块(320)被配置成重新缩放所述谱线。
38.根据权利要求2到14中的一项所述的解码器(100)，
其中所述解码模块(110)包括量化频谱存储模块(310)，所述量化频谱存储模块被配置用于存储所述音频信号的量化频谱，其中所述量化频谱存储模块(310)被配置成提供最后非全丢帧隐藏量化频谱，以及
其中所述解码模块(110)包括解码频谱存储模块(330)，所述解码频谱存储模块被配置用于存储所述音频信号的解码频谱，其中所述解码频谱存储模块(330)被配置成提供最后非全丢帧隐藏解码频谱。
39.一种对当前帧进行解码以重构音频信号的方法，其中所述音频信号被编码在所述当前帧内，其中所述当前帧包括当前比特流有效载荷，其中所述当前比特流有效载荷包括多个有效载荷比特，其中所述多个有效载荷比特对所述音频信号的频谱的多条谱线进行编码，其中所述有效载荷比特中的每一个呈现在所述比特流有效载荷内的位置，其中所述方法包括：
重构所述音频信号，其中，在错误隐藏模式中，通过对所述音频信号的所述频谱中的如下谱线进行错误隐藏来重构所述音频信号：所述谱线呈现大于阈值频率的频率；和/或其中，如果进行错误隐藏，则以取决于所述当前帧之前的先前帧的先前比特流有效载荷是否对所述音频信号的作为调性或谐波的信号分量进行编码的方式进行错误隐藏；以及
输出所述音频信号。
40.一种用于在计算机或信号处理器上执行时实现权利要求39所述的方法的计算机程序。
CN202080014143.1A 2019-02-13 2020-02-12 用于包括全丢帧隐藏和部分丢帧隐藏的lc3隐藏的解码器和解码方法 Pending CN113544773A (zh)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
EP19157042.3 2019-02-13
EP19157047.2 2019-02-13
EP19156997.9 2019-02-13
EP19156997.9A EP3697005A1 (en) 2019-02-13 2019-02-13 Multi-mode channel coding with mode specific coloration sequences
EP19157036.5 2019-02-13
EP19157047 2019-02-13
EP19157042 2019-02-13
EP19157036 2019-02-13
PCT/EP2019/065205 WO2020164752A1 (en) 2019-02-13 2019-06-11 Audio transmitter processor, audio receiver processor and related methods and computer programs
EPPCT/EP2019/065209 2019-06-11
PCT/EP2019/065209 WO2020164753A1 (en) 2019-02-13 2019-06-11 Decoder and decoding method selecting an error concealment mode, and encoder and encoding method
PCT/EP2019/065172 WO2020164751A1 (en) 2019-02-13 2019-06-11 Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment
EPPCT/EP2019/065205 2019-06-11
EPPCT/EP2019/065172 2019-06-11
PCT/EP2020/053620 WO2020165265A1 (en) 2019-02-13 2020-02-12 Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment

Publications (1)

Publication Number Publication Date
CN113544773A true CN113544773A (zh) 2021-10-22

Family

ID=66776368

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202080014291.3A Pending CN113491079A (zh) 2019-02-13 2020-02-12 选择错误隐藏模式的解码器和解码方法，以及编码器和编码方法
CN202080014587.5A Pending CN113490981A (zh) 2019-02-13 2020-02-12 音频发送器处理器、音频接收器处理器以及相关方法和计算机程序
CN202080014143.1A Pending CN113544773A (zh) 2019-02-13 2020-02-12 用于包括全丢帧隐藏和部分丢帧隐藏的lc3隐藏的解码器和解码方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202080014291.3A Pending CN113491079A (zh) 2019-02-13 2020-02-12 选择错误隐藏模式的解码器和解码方法，以及编码器和编码方法
CN202080014587.5A Pending CN113490981A (zh) 2019-02-13 2020-02-12 音频发送器处理器、音频接收器处理器以及相关方法和计算机程序

Country Status (13)

Country Link
US (6) US20210366498A1 (zh)
EP (7) EP3925104A2 (zh)
JP (7) JP7358490B2 (zh)
KR (7) KR102640740B1 (zh)
CN (3) CN113491079A (zh)
AU (8) AU2020223488A1 (zh)
BR (4) BR112021016022A2 (zh)
CA (7) CA3129610A1 (zh)
MX (4) MX2021009728A (zh)
SG (4) SG11202108537YA (zh)
TW (4) TWI745862B (zh)
WO (3) WO2020164751A1 (zh)
ZA (4) ZA202105719B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018178877A1 (en) 2017-03-27 2018-10-04 Clearpath Robotics, Inc. Systems and methods for autonomous lineside parts delivery to an assembly line process
CN112151044A (zh) * 2020-09-23 2020-12-29 北京百瑞互联技术有限公司 在lc3音频编码器中自动调节蓝牙播放设备频响曲线的方法、装置及存储介质
CN112735446B (zh) * 2020-12-30 2022-05-17 北京百瑞互联技术有限公司 在lc3音频码流中添加额外信息的方法、系统及介质
US20220342582A1 (en) * 2021-04-27 2022-10-27 Microchip Technology Inc. System and method for double data rate (ddr) chip-kill recovery
CN112992160B (zh) * 2021-05-08 2021-07-27 北京百瑞互联技术有限公司 一种音频错误隐藏方法及装置
US11934696B2 (en) 2021-05-18 2024-03-19 Microchip Technology Inc. Machine learning assisted quality of service (QoS) for solid state drives
US20230326473A1 (en) * 2022-04-08 2023-10-12 Digital Voice Systems, Inc. Tone Frame Detector for Digital Speech

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060101889A (ko) * 2005-03-22 2006-09-27 엘지전자 주식회사 디지털 오디오의 신호 처리 방법 및 장치
US7356748B2 (en) * 2003-12-19 2008-04-08 Telefonaktiebolaget Lm Ericsson (Publ) Partial spectral loss concealment in transform codecs
US20080126904A1 (en) * 2006-11-28 2008-05-29 Samsung Electronics Co., Ltd Frame error concealment method and apparatus and decoding method and apparatus using the same
CN101261833A (zh) * 2008-01-24 2008-09-10 清华大学 一种使用正弦模型进行音频错误隐藏处理的方法
US20090281797A1 (en) * 2008-05-09 2009-11-12 Broadcom Corporation Bit error concealment for audio coding systems
CN102057424A (zh) * 2008-06-13 2011-05-11 诺基亚公司 用于经编码的音频数据的错误隐藏的方法和装置
US20120271644A1 (en) * 2009-10-20 2012-10-25 Bruno Bessette Audio signal encoder, audio signal decoder, method for encoding or decoding an audio signal using an aliasing-cancellation
JP2012242785A (ja) * 2011-05-24 2012-12-10 Sony Corp 信号処理装置、信号処理方法、およびプログラム
US20150142452A1 (en) * 2012-06-08 2015-05-21 Samsung Electronics Co., Ltd. Method and apparatus for concealing frame error and method and apparatus for audio decoding
CN104885149A (zh) * 2012-09-24 2015-09-02 三星电子株式会社 用于隐藏帧错误的方法和设备以及用于对音频进行解码的方法和设备
EP3230980A1 (en) * 2014-12-09 2017-10-18 Dolby International AB Mdct-domain error concealment
CN108885875A (zh) * 2016-01-29 2018-11-23 弗劳恩霍夫应用研究促进协会 用于改进从音频信号的隐藏音频信号部分到后继音频信号部分的转换的装置和方法
CN109155133A (zh) * 2016-03-07 2019-01-04 弗劳恩霍夫应用研究促进协会 混合隐藏方法：音频编解码器中频域和时域报文丢失隐藏的组合
CN109313905A (zh) * 2016-03-07 2019-02-05 弗劳恩霍夫应用研究促进协会 对不同的频带根据不同的阻尼因子淡出隐藏的音频帧的错误隐藏单元、音频解码器及相关方法和计算机程序

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8402411A (nl) * 1984-08-02 1986-03-03 Philips Nv Inrichting voor het korrigeren en maskeren van fouten in een informatiestroom, en weergeeftoestel voor het weergeven van beeld en/of geluid voorzien van zo een inrichting.
JP2998254B2 (ja) * 1990-04-17 2000-01-11 松下電器産業株式会社 可変長符号化データの伝送方法
DE69126565T2 (de) * 1990-04-17 1998-01-02 Matsushita Electric Ind Co Ltd Verfahren zur Übertragung von Kodes mit variabler Länge
US5230003A (en) 1991-02-08 1993-07-20 Ericsson-Ge Mobile Communications Holding, Inc. Decoding system for distinguishing different types of convolutionally-encoded signals
JP2746033B2 (ja) 1992-12-24 1998-04-28 日本電気株式会社 音声復号化装置
JP3171973B2 (ja) * 1993-01-07 2001-06-04 株式会社東芝 音声符号化の誤り制御方法
JP3328093B2 (ja) 1994-07-12 2002-09-24 三菱電機株式会社 エラー訂正装置
JP2003289539A (ja) * 1995-03-15 2003-10-10 Toshiba Corp 動画像符号化装置および方法
EP1265444B1 (en) * 1995-03-15 2007-05-02 Kabushiki Kaisha Toshiba Variable-length decoding system
US6104754A (en) 1995-03-15 2000-08-15 Kabushiki Kaisha Toshiba Moving picture coding and/or decoding systems, and variable-length coding and/or decoding system
DE69636759T2 (de) * 1995-09-22 2007-10-18 Pacific Communication Sciences, Inc., San Diego Zellulares kommunikationssystem und -verfahren mit verschiedenen coderaten
US6415398B1 (en) * 1995-09-29 2002-07-02 Kabushiki Kaisha Toshiba Coding system and decoding system
GB2311699B (en) * 1996-03-29 2000-09-20 Nokia Mobile Phones Ltd Method and apparatus for digital communication
JP3583551B2 (ja) * 1996-07-01 2004-11-04 松下電器産業株式会社 誤り補償装置
JPH10233692A (ja) * 1997-01-16 1998-09-02 Sony Corp オーディオ信号符号化装置および符号化方法並びにオーディオ信号復号装置および復号方法
JP3184868B2 (ja) * 1997-06-05 2001-07-09 株式会社日立製作所 Ｗｅｂページの真正性確認システム
US6279133B1 (en) * 1997-12-31 2001-08-21 Kawasaki Steel Corporation Method and apparatus for significantly improving the reliability of multilevel memory architecture
US6405338B1 (en) * 1998-02-11 2002-06-11 Lucent Technologies Inc. Unequal error protection for perceptual audio coders
US6256487B1 (en) 1998-09-01 2001-07-03 Telefonaktiebolaget Lm Ericsson (Publ) Multiple mode transmitter using multiple speech/channel coding modes wherein the coding mode is conveyed to the receiver with the transmitted signal
JP2000123083A (ja) * 1998-10-15 2000-04-28 Sony Corp 情報提供システムおよび方法、並びに提供媒体
AU754877B2 (en) * 1998-12-28 2002-11-28 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method and devices for coding or decoding an audio signal or bit stream
DE19907728C2 (de) 1999-02-23 2001-03-01 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und Vorrichtung und Verfahren zum Lesen eines Datenstroms
FI107676B (fi) * 1999-06-21 2001-09-14 Nokia Mobile Phones Ltd Menetelmä ja järjestely tietyn signaalinkäsittelymetodin käyttämiseksi informaation välittämiseen
US6570509B2 (en) * 2000-03-03 2003-05-27 Motorola, Inc. Method and system for encoding to mitigate decoding errors in a receiver
EP1199709A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Error Concealment in relation to decoding of encoded acoustic signals
US6810078B2 (en) * 2000-12-08 2004-10-26 Prairiecomm, Inc. Blind rate determination
US20030012287A1 (en) 2001-03-05 2003-01-16 Ioannis Katsavounidis Systems and methods for decoding of systematic forward error correction (FEC) codes of selected data in a video bitstream
US6694474B2 (en) * 2001-03-22 2004-02-17 Agere Systems Inc. Channel coding with unequal error protection for multi-mode source coded information
CN100579317C (zh) 2002-01-31 2010-01-06 三菱电机株式会社 信息通知方法、移动通信系统、基站和移动台
US7266750B1 (en) * 2002-07-10 2007-09-04 Maxtor Corporation Error recovery strategies for iterative decoders
US7536305B2 (en) * 2002-09-04 2009-05-19 Microsoft Corporation Mixed lossless audio compression
US6985856B2 (en) * 2002-12-31 2006-01-10 Nokia Corporation Method and device for compressed-domain packet loss concealment
JP4252596B2 (ja) * 2004-03-03 2009-04-08 三菱電機株式会社 パケット転送装置
EP1775717B1 (en) 2004-07-20 2013-09-11 Panasonic Corporation Speech decoding apparatus and compensation frame generation method
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
JP4261506B2 (ja) * 2005-03-31 2009-04-30 株式会社東芝 無線通信装置及び適法制御方法
US7177804B2 (en) * 2005-05-31 2007-02-13 Microsoft Corporation Sub-band voice codec with multi-stage codebooks and redundant coding
US8032368B2 (en) * 2005-07-11 2011-10-04 Lg Electronics Inc. Apparatus and method of encoding and decoding audio signals using hierarchical block swithcing and linear prediction coding
US7623725B2 (en) * 2005-10-14 2009-11-24 Hewlett-Packard Development Company, L.P. Method and system for denoising pairs of mutually interfering signals
EP1961181B1 (en) * 2005-12-16 2009-04-15 Dolby Sweden AB Apparatus for generating and interpreting a data stream having a series of segments using data in subsequent data frames
WO2007084475A2 (en) * 2006-01-17 2007-07-26 Thomson Licensing Methods and apparatus for low complexity error resilient motion estimation and coding mode selection
KR100763207B1 (ko) * 2006-05-03 2007-10-04 삼성전자주식회사 비압축 ａⅴ 데이터를 송수신하는 방법, 장치, 및 전송프레임 구조
US8798172B2 (en) * 2006-05-16 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus to conceal error in decoded audio signal
US7610195B2 (en) 2006-06-01 2009-10-27 Nokia Corporation Decoding of predictively coded data using buffer adaptation
EP1901496B1 (en) * 2006-09-12 2010-09-01 Panasonic Corporation Link adaptation dependent on control signaling
KR101292771B1 (ko) * 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
KR101291193B1 (ko) * 2006-11-30 2013-07-31 삼성전자주식회사 프레임 오류은닉방법
WO2008139721A1 (ja) * 2007-05-07 2008-11-20 Panasonic Corporation 復号化装置及び復号化方法
WO2008151061A1 (en) * 2007-05-31 2008-12-11 Interdigital Technology Corporation Channel coding and rate matching for lte control channels
CN100524462C (zh) 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
JP2009276890A (ja) 2008-05-13 2009-11-26 Hitachi Systems & Services Ltd データ通信の誤り検出方法
WO2010000303A1 (en) * 2008-06-30 2010-01-07 Nokia Corporation Speech decoder with error concealment
BR122021003726B1 (pt) * 2008-07-11 2021-11-09 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Codificador de áudio, decodificador de áudio, métodos para codificar e decodificar um sinal de áudio.
PL2301020T3 (pl) * 2008-07-11 2013-06-28 Fraunhofer Ges Forschung Urządzenie i sposób do kodowania/dekodowania sygnału audio z użyciem algorytmu przełączania aliasingu
KR101756834B1 (ko) 2008-07-14 2017-07-12 삼성전자주식회사 오디오/스피치 신호의 부호화 및 복호화 방법 및 장치
WO2010036739A1 (en) 2008-09-26 2010-04-01 Telegent Systems, Inc. Devices and methods of digital video and/or audio reception and/or output having error detection and/or concealment circuitry and techniques
KR101708386B1 (ko) * 2009-01-30 2017-02-20 인터실 아메리카스 엘엘씨 혼합 포맷 매체 전송 시스템 및 방법
WO2010103607A1 (ja) * 2009-03-09 2010-09-16 富士通株式会社 データ転送装置及びデータ転送装置の制御方法
US8300979B2 (en) * 2009-07-29 2012-10-30 Hewlett-Packard Development Company, L.P. Method and system for robust universal denoising of noisy data sets
US8625692B2 (en) * 2009-09-28 2014-01-07 Samsung Electronics Co., Ltd. Transmission/reception apparatus and method for improving throughput in a multi-input multi-output communication system
US8428959B2 (en) * 2010-01-29 2013-04-23 Polycom, Inc. Audio packet loss concealment by transform interpolation
EP2362658A1 (en) * 2010-02-26 2011-08-31 Research In Motion Limited Encoding and decoding methods and devices employing dual codesets
EP2614592B1 (en) * 2010-09-09 2018-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Entropy encoding and decoding scheme
CN102034478B (zh) * 2010-11-17 2013-10-30 南京邮电大学 基于压缩感知和信息隐藏的语音保密通信系统设计方法
SG192734A1 (en) 2011-02-14 2013-09-30 Fraunhofer Ges Forschung Apparatus and method for error concealment in low-delay unified speech and audio coding (usac)
CN102163430B (zh) * 2011-05-06 2012-09-26 中国科学技术大学苏州研究院 采用信息隐藏技术进行amr-wb语音编码或解码的方法
CN103688306B (zh) * 2011-05-16 2017-05-17 谷歌公司 对被编码为连续帧序列的音频信号进行解码的方法和装置
KR102172279B1 (ko) 2011-11-14 2020-10-30 한국전자통신연구원 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법
US9203757B2 (en) * 2012-03-22 2015-12-01 Texas Instruments Incorporated Network throughput using multiple reed-solomon blocks
US10147232B2 (en) * 2012-08-30 2018-12-04 Atheer, Inc. Method and apparatus for selectively presenting content
US9823745B1 (en) * 2012-08-30 2017-11-21 Atheer, Inc. Method and apparatus for selectively presenting content
CN104641624B (zh) * 2012-09-19 2017-11-28 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
US9378748B2 (en) 2012-11-07 2016-06-28 Dolby Laboratories Licensing Corp. Reduced complexity converter SNR calculation
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
SG11201510353RA (en) 2013-06-21 2016-01-28 Fraunhofer Ges Forschung Apparatus and method realizing a fading of an mdct spectrum to white noise prior to fdns application
EP3058568B1 (en) * 2013-10-18 2021-01-13 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung E.V. Concept for encoding an audio signal and decoding an audio signal using speech related spectral shaping information
EP3285254B1 (en) * 2013-10-31 2019-04-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder and method for providing a decoded audio information using an error concealment based on a time domain excitation signal
EP2922056A1 (en) 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation
NO2780522T3 (zh) 2014-05-15 2018-06-09
CN104021769B (zh) 2014-05-30 2016-06-15 京东方科技集团股份有限公司 一种移位寄存器、栅线集成驱动电路及显示屏
TWI602172B (zh) * 2014-08-27 2017-10-11 弗勞恩霍夫爾協會 使用參數以加強隱蔽之用於編碼及解碼音訊內容的編碼器、解碼器及方法
US20160171740A1 (en) 2014-12-15 2016-06-16 Calay Venture S.à r.l. Real-time method for collaborative animation
US10756997B2 (en) * 2015-09-28 2020-08-25 Cybrook Inc. Bandwidth adjustment for real-time video transmission
WO2017081874A1 (ja) 2015-11-13 2017-05-18 株式会社日立国際電気 音声通信システム
JP6883047B2 (ja) * 2016-03-07 2021-06-02 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム
EP3273602B1 (en) * 2016-07-19 2022-01-26 MediaTek Inc. Low complexity rate matching design for polar codes
US10312945B2 (en) * 2017-02-13 2019-06-04 Lg Electronics Inc. Channel coding method using concatenated code structure and apparatus therefor

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356748B2 (en) * 2003-12-19 2008-04-08 Telefonaktiebolaget Lm Ericsson (Publ) Partial spectral loss concealment in transform codecs
KR20060101889A (ko) * 2005-03-22 2006-09-27 엘지전자 주식회사 디지털 오디오의 신호 처리 방법 및 장치
US20080126904A1 (en) * 2006-11-28 2008-05-29 Samsung Electronics Co., Ltd Frame error concealment method and apparatus and decoding method and apparatus using the same
CN101261833A (zh) * 2008-01-24 2008-09-10 清华大学 一种使用正弦模型进行音频错误隐藏处理的方法
US20090281797A1 (en) * 2008-05-09 2009-11-12 Broadcom Corporation Bit error concealment for audio coding systems
CN102057424A (zh) * 2008-06-13 2011-05-11 诺基亚公司 用于经编码的音频数据的错误隐藏的方法和装置
US20120271644A1 (en) * 2009-10-20 2012-10-25 Bruno Bessette Audio signal encoder, audio signal decoder, method for encoding or decoding an audio signal using an aliasing-cancellation
JP2012242785A (ja) * 2011-05-24 2012-12-10 Sony Corp 信号処理装置、信号処理方法、およびプログラム
US20150142452A1 (en) * 2012-06-08 2015-05-21 Samsung Electronics Co., Ltd. Method and apparatus for concealing frame error and method and apparatus for audio decoding
CN104885149A (zh) * 2012-09-24 2015-09-02 三星电子株式会社 用于隐藏帧错误的方法和设备以及用于对音频进行解码的方法和设备
EP3230980A1 (en) * 2014-12-09 2017-10-18 Dolby International AB Mdct-domain error concealment
CN108885875A (zh) * 2016-01-29 2018-11-23 弗劳恩霍夫应用研究促进协会 用于改进从音频信号的隐藏音频信号部分到后继音频信号部分的转换的装置和方法
CN109155133A (zh) * 2016-03-07 2019-01-04 弗劳恩霍夫应用研究促进协会 混合隐藏方法：音频编解码器中频域和时域报文丢失隐藏的组合
CN109313905A (zh) * 2016-03-07 2019-02-05 弗劳恩霍夫应用研究促进协会 对不同的频带根据不同的阻尼因子淡出隐藏的音频帧的错误隐藏单元、音频解码器及相关方法和计算机程序

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A.TALEB ET AL: "partial spectral loss concealment in transform coders", IEEE *
ETSI: "digital audio broadcasting(DAB):transport of advanced audio coding(AAC) audio", TECHNICAL SPECIFICAITON, pages 18 - 21 *
ROSE KENNETH ET AL: "A FRAME LOSS CONCEALMENT TECHNIQUE FOR MPEG-AAC", AES CONVENTION 120, pages 6 - 9 *

Also Published As

Publication number Publication date
AU2020221602A1 (en) 2021-10-07
TW202044231A (zh) 2020-12-01
US20210366498A1 (en) 2021-11-25
EP3925103A1 (en) 2021-12-22
EP4239924A2 (en) 2023-09-06
MX2021009728A (es) 2021-10-13
CN113490981A (zh) 2021-10-08
TW202044779A (zh) 2020-12-01
AU2023226770A1 (en) 2023-09-28
SG11202108672XA (en) 2021-09-29
JP7358490B2 (ja) 2023-10-10
TWI745862B (zh) 2021-11-11
TWI748339B (zh) 2021-12-01
MX2021009729A (es) 2021-10-26
KR20210125534A (ko) 2021-10-18
KR20230098370A (ko) 2023-07-03
AU2020220383B2 (en) 2023-04-13
CA3231339A1 (en) 2020-08-20
AU2023204176A1 (en) 2023-07-20
EP3924963A1 (en) 2021-12-22
EP4369334A2 (en) 2024-05-15
EP3925105A2 (en) 2021-12-22
CA3128783A1 (en) 2020-08-20
ZA202105720B (en) 2022-07-27
KR102640740B1 (ko) 2024-02-27
WO2020164751A1 (en) 2020-08-20
BR112021015532A2 (pt) 2021-10-05
JP2022520816A (ja) 2022-04-01
BR112021015533A2 (pt) 2021-10-05
JP7472154B2 (ja) 2024-04-22
AU2023216863A1 (en) 2023-09-07
EP4239924A3 (en) 2023-11-15
MX2021009731A (es) 2021-09-08
WO2020164753A1 (en) 2020-08-20
KR20210125555A (ko) 2021-10-18
US20220014310A1 (en) 2022-01-13
CN113491079A (zh) 2021-10-08
CN113491080A (zh) 2021-10-08
SG11202108537YA (en) 2021-09-29
AU2023204659A1 (en) 2023-08-03
CA3231332A1 (en) 2020-08-20
AU2020220383A1 (en) 2021-10-07
KR20230147748A (ko) 2023-10-23
ZA202105719B (en) 2022-06-29
AU2020223488A1 (en) 2021-10-07
JP2022521487A (ja) 2022-04-08
ZA202105722B (en) 2022-07-27
SG11202108674TA (en) 2021-09-29
ZA202105721B (en) 2022-07-27
JP2022520609A (ja) 2022-03-31
KR20210118948A (ko) 2021-10-01
AU2020221993A1 (en) 2021-10-07
TW202101426A (zh) 2021-01-01
US11875806B2 (en) 2024-01-16
KR102662188B1 (ko) 2024-05-03
BR112021016022A2 (pt) 2021-10-05
US20210385012A1 (en) 2021-12-09
AU2020221993B2 (en) 2023-05-18
TW202044777A (zh) 2020-12-01
CA3129616A1 (en) 2020-08-20
BR112021015608A2 (pt) 2021-10-05
US20230230606A1 (en) 2023-07-20
KR20210143177A (ko) 2021-11-26
US20230274750A1 (en) 2023-08-31
SG11202108673QA (en) 2021-09-29
US20210375295A1 (en) 2021-12-02
JP2022520608A (ja) 2022-03-31
KR102637530B1 (ko) 2024-02-19
JP2023175750A (ja) 2023-12-12
CA3205152A1 (en) 2020-08-20
AU2020220383C1 (en) 2023-07-06
EP3925104A2 (en) 2021-12-22
JP2023145493A (ja) 2023-10-11
TWI797422B (zh) 2023-04-01
WO2020164752A1 (en) 2020-08-20
CA3129610A1 (en) 2020-08-20
JP7348297B2 (ja) 2023-09-20
CA3128781A1 (en) 2020-08-20
MX2021009733A (es) 2021-09-08
TWI785309B (zh) 2022-12-01
JP2024026178A (ja) 2024-02-28
KR20230147747A (ko) 2023-10-23
EP4109444A1 (en) 2022-12-28

Similar Documents

Publication Publication Date Title
CN113544773A (zh) 用于包括全丢帧隐藏和部分丢帧隐藏的lc3隐藏的解码器和解码方法
EP2661745B1 (en) Apparatus and method for error concealment in low-delay unified speech and audio coding (usac)
KR100882752B1 (ko) 인코드된 음향신호의 디코딩에 관한 에러 은폐
AU657508B2 (en) Methods for speech quantization and error correction
EP2207166B1 (en) An audio decoding method and device
US6732075B1 (en) Sound synthesizing apparatus and method, telephone apparatus, and program service medium
WO2020165265A1 (en) Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment
US9325544B2 (en) Packet-loss concealment for a degraded frame using replacement data from a non-degraded frame
JP2004310088A (ja) 半レート・ボコーダ
KR20080103088A (ko) 디코더 및 대응 디바이스에서 디지털 신호의 반향들의 안전한 구별과 감쇠를 위한 방법
US20080255860A1 (en) Audio decoding apparatus and decoding method
US20190348055A1 (en) Audio paramenter quantization
CN111312261B (zh) 突发帧错误处理
RU2795500C2 (ru) Декодер и способ декодирования для маскировки lc3, включающий в себя маскировку полных потерь кадров и маскировку частичных потерь кадров

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination