CN107103909A - 帧错误隐藏 - Google Patents

帧错误隐藏 Download PDF

Info

Publication number
CN107103909A
CN107103909A CN201610908572.9A CN201610908572A CN107103909A CN 107103909 A CN107103909 A CN 107103909A CN 201610908572 A CN201610908572 A CN 201610908572A CN 107103909 A CN107103909 A CN 107103909A
Authority
CN
China
Prior art keywords
frame
sign
conversion coefficient
sign modification
frequency band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610908572.9A
Other languages
English (en)
Other versions
CN107103909B (zh
Inventor
塞巴斯蒂安·内斯隆德
沃洛佳·格兰恰诺夫
乔纳斯·斯韦德贝里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN107103909A publication Critical patent/CN107103909A/zh
Application granted granted Critical
Publication of CN107103909B publication Critical patent/CN107103909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025Detection of transients or attacks for time/frequency resolution switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

一种基于包括变换系数向量的帧的帧错误隐藏方法,包括以下步骤:跟踪(S11)连续静态好帧的预定子向量的对应变换系数之间的符号改变;累计(S12)预定数量的连续静态好帧的对应子向量中符号改变的数目;使用最近的静态好帧来重构(S13)错误帧,但是将符号改变的累计数目超过预定阈值的子向量中的变换系数的符号反转。

Description

帧错误隐藏
分案说明
本申请是申请日为2013年11月12日,申请号为201380072906.8,题为“帧错误隐藏”的中国专利申请的分案申请。
技术领域
本技术涉及基于包括变换系数向量的帧的帧错误隐藏。
背景技术
高质量音频传输通常可以使用基于变换的编码方案。输入音频信号通常在具有一定大小(例如20ms)称为帧的时间块中被处理。通过合适的变换(例如修正离散余弦变换(MDCT))对帧进行变换,然后将变换系数量化并在网络上发送。
然而,当音频编解码器操作在包括无线或分组网络的通信系统中时,帧可能在传输中丢失,或者太晚到达而无法使用在实时场景中。类似的问题在帧内的数据损坏时出现,并且编解码器可被设置为丢弃这些损坏帧。以上示例被称为帧疑符或分组丢失,并且当其发生时解码器通常调用某些算法以避免或降低帧疑符引起的音频质量下降,并且这些算法被称为帧疑符(或错误)隐藏算法(FEC)或分组丢失隐藏算法(PLC)。
图1示出了编码器10中输入的音频信号。步骤S1中执行到频域的变换,步骤S2中执行量化,并且在步骤S2中执行量化频率系数(由索引表示)的分组化和发送。传输后,在步骤S4中由解码器12接收分组,并且在步骤S5中重构频率系数,其中执行帧疑符(或错误)隐藏算法,如FEC单元14所示。步骤S6中,将重构的频率系数反变换到时域。因而,图1是一个系统概览,其中音频解码器12在参数/波形重构过程中处理传输错误,并且帧疑符隐藏算法执行丢失或损坏帧的重构。
错误隐藏的目的在于,对音频信号中没有到达或没有及时到达解码器或者损坏的丢失部分进行同步。当可以容忍附加延时和/或附加比特可用时,可以使用各种强大的FEC概念,这些概念可以基于,例如在两个好帧之间插值丢失帧,或者发送必要辅助信息。
然而,在实时会话场景中,通常无法引入附加延时,也很难增加算法的比特预算和计算复杂度。用于实时场景的三种示例FEC方案如下:
-静音,其中丢失的谱系数被置为0。
-重复,其中重复来自上一个好帧的系数。
-噪声注入,其中丢失的谱系数是随机噪声发生器的输出。
基于变换的编解码器的常用FEC算法的一个示例是帧重复算法,其使用重复方案并重复先前接收的帧的变换系数(有时具有缩放因子),如[1]所述。然后,使用重复变换系数来重构针对丢失帧的音频信号。帧重复算法以及用于插入噪声或静默的算法都是有吸引力的算法,因为它们具有较低的计算复杂度并且不需要传输额外的比特或额外的延时。然而,错误隐藏可能使重构的信号变差。例如,基于静音的FEC方案会产生较大的能量不连续性和较差的感知质量,并且使用噪声注入算法会引起不利的感知影响,尤其在应用于具有主音调的区域时。
[2]中描述的另一个方案涉及传输辅助信息,以通过插值来重构错误帧。该方法的缺点在于,需要用于辅助信息的额外带宽。对于没有辅助信息可用的MDCT系数来说,通过插值来估计幅度,而使用需要大量(建议50个)过去的帧的概率模型来估计符号,这在现实上不可行。
[3]中描述了一种相当复杂的插值算法,针对丢失帧的重构进行乘法校正。
基于插值的帧错误隐藏方法的另一个缺点在于,其引入了额外的延时(在可尝试任何插值前,必须先接收错误帧之后的帧),这在例如实时应用中(如会话应用)中不可接受。
发明内容
所提出的技术的目的在于改进帧错误隐藏。
该目的通过所提出的技术的实施例来实现。
根据第一方面,提供了一种基于包括变换系数向量的帧的帧错误隐藏方法。所述方法包括:跟踪连续静态好帧的预定子向量的对应变换系数之间的符号改变。所述方法还包括:累计预定数量的连续静态好帧的对应子向量中符号改变的数目。此外,所述方法包括:使用最近的静态好帧来重构错误帧,但是将符号改变的累计数目超过预定阈值的子向量中的变换系数的符号反转。
根据第二方面,提供了一种用于基于包括变换系数向量的帧的帧错误隐藏的计算机程序。所述计算机程序包括计算机可读代码,当所述计算机可读代码在处理器上运行时,使所述处理器执行以下动作:跟踪连续静态好帧的预定子向量的对应变换系数之间的符号改变;累计预定数量的连续静态好帧的对应子向量中符号改变的数目;以及使用最近的静态好帧来重构错误帧,但是将符号改变的累计数目超过预定阈值的子向量中的变换系数的符号反转。
根据第三方面,提供了一种计算机程序产品,包括计算机可读介质和存储在所述计算机可读介质上的根据第二方面的计算机程序。
根据第四方面,所提出的技术包括一种解码器的实施例,所述解码器被配置用于基于包括变换系数向量的帧的帧错误隐藏。所述解码器包括:符号改变跟踪器,所述符号改变跟踪器被配置为跟踪连续静态好帧的预定子向量的对应变换系数之间的符号改变。所述解码器还包括符号改变累计器,所述符号改变累计器被配置为累计预定数量的连续静态好帧的对应子向量中符号改变的数目。所述解码器还包括帧重构器,所述帧重构器被配置为使用最近的静态好帧来重构错误帧,但是将符号改变的累计数目超过预定阈值的子向量中的变换系数的符号反转。
根据第五方面,所提出的技术包括解码器的另一个实施例,所述解码器被配置用于基于包括变换系数向量的帧的帧错误隐藏。所述解码器包括:符号改变跟踪模块,所述符号改变跟踪模块用于跟踪连续静态好帧的预定子向量的对应变换系数之间的符号改变。所述解码器还包括:符号改变累计模块,所述符号改变累计模块用于累计预定数量的连续静态好帧的对应子向量中符号改变的数目。所述解码器还包括:帧重构模块,所述帧重构模块用于使用最近的静态好帧来重构错误帧,但是将符号改变的累计数目超过预定阈值的子向量中的变换系数的符号反转。
根据第六方面,所提出的技术包括解码器的另一个实施例,所述解码器被配置用于基于包括变换系数向量的帧的帧错误隐藏。所述解码器包括处理器和存储器,其中所述存储器包含所述处理器可执行的指令,从而所述解码器操作为执行以下动作:跟踪连续静态好帧的预定子向量的对应变换系数之间的符号改变;累计预定数量的连续静态好帧的对应子向量中符号改变的数目;以及使用最近的静态好帧来重构错误帧,但是将符号改变的累计数目超过预定阈值的子向量中的变换系数的符号反转。
根据第七方面,所提出的技术包括一种用户终端,所述用户终端包括根据第四、第五或第六方面的解码器。
至少一个实施例能够在帧丢失、帧延时或帧损坏的情形中改善主观音频质量,并且在不发送附加辅助参数或产生插值所需的额外延时的情况下实现该改善,并具有低复杂度和低存储要求。
附图说明
通过参考以下结合附图的描述,可以最佳理解本技术及其更多的目的和优点,其中:
图1是示出帧错误隐藏的概念的图;
图2是示出符号改变跟踪的图;
图3是示出符号改变被认为没有意义的情况的图;
图4是示出帧结构的图;
图5示出错误帧的子向量的重构的示例的图;
图6是示出所提出的方法的总体实施例的流程图;
图7是给出所提出的技术的概览的框图;
图8是根据所提出的技术的解码器的示例实施例的框图;
图9是根据所提出的技术的解码器的示例实施例的框图;
图10是根据所提出的技术的解码器的示例实施例的框图;
图11是根据所提出的技术的解码器的示例实施例的框图;
图12是用户终端的框图;以及
图13是示出帧错误隐藏的另一个实施例的图。
具体实施方式
贯穿附图,相同的附图标记用于相似或对应的元素。
本文所提出的技术整体上适用于调制重叠变换(MLT)类型,例如作为当前优选变换的MDCT。为简化描述,以下将只描述MDCT。
此外,以下描述中的术语丢失帧、延时帧、损坏帧以及包括损坏数据的帧全都表示要通过所提出的帧错误隐藏技术来重构的错误帧的示例。类似,术语“好帧”将用于指示无错帧。
在使用MDCT的变换编解码器中使用用于隐藏帧错误的帧重复算法,可能使重构音频信号变差,这是因为在MDCT域中,相位信息是在MDCT系数的幅度和符号中传递的。对于音调或谐频分量,对应的MDCT系数在幅度和符号上的演变依赖于作为基础的音调的频率和初始相位。丢失帧中音调分量的MDCT系数有时具有与先前帧中相同的符号和幅度,这时帧重复算法将是有利的。然而,在丢失帧中,音调分量的MDCT系数有时具有改变的符号和/或幅度,并且在这种情形中,帧重复算法效果不佳。发生这种情况时,以不正确符号来重复系数导致的符号不匹配将使音调分量的能量在更大的频域区域上扩散,导致可听见的失真。
本文描述的实施例分析先前已接收帧中的MDCT的符号改变(例如使用符号改变跟踪算法),并使用收集的有关符号改变的数据来创建感知质量得到改善的低复杂度FEC算法。
由于相位不连续的问题对于强音调分量是最可听见的,并且这些分量将影响一组多个系数,所以变换系数将被组合为子向量,对子向量执行符号分析。根据本文所述实施例的分析还考虑信号动态特性(例如由瞬变检测器测量),以确定过往数据的可靠性。可以在预定数量的先前已接收帧上,针对每个子向量,确定变换系数的符号改变的数目,并且使用该数据来确定重构子向量中变换系数的符号。根据本文所述的实施例,当在先前已接收帧上每个对应子向量的变换系数的所确定的符号改变的数目较高,即等于或超过预定转换阈值时,将转换(反转)帧重复算法中使用的子向量中所有系数的符号。
本文所述的实施例涉及基于解码器的符号外推算法,其使用从符号改变跟踪算法收集的数据,用于外推所重构MDCT向量的符号。在帧丢失处激活符号外推算法。
符号外推算法还可以保持跟踪先前接收帧(存储在存储器中,即解码器缓冲器中)是否静态或者其是否包含瞬变,因为算法只有对静态帧(即,当信号不包含瞬变时)执行才有意义。因而,根据一个实施例,当任一个感兴趣的被分析帧包含瞬变时,重构系数的符号将随机化。
符号外推算法的一个实施例基于对三个先前接收帧的符号分析,这是因为三个帧提供了足够的数据以实现较好性能。在只有最后两个帧是静态的情形中,帧n-3被丢弃。对两个帧进行符号改变分析与对三个帧进行符号改变分析相类似,但阈值水平相应地调整。
图2是示出符号改变跟踪的图。如果最近的符号历史只包含好帧,则跟踪三个连续帧中的符号改变,如图2a所示。在瞬变或丢失帧的情形中,如图2b或2c所示,对两个可用帧计算符号改变。当前帧具有索引“n”,丢失帧用虚线框表示,并且瞬变帧用点框来表示。因而,在图2a中符号跟踪区是3帧,在图2b和2c中符号跟踪区是2帧。
图3是示出符号改变被认为没有意义的情况的图。在这个情形中,错误帧n之前的最后两个帧之一是瞬变(非静态)帧。在这种情形中,符号外推算法可针对重构帧的所有子向量实施“随机”模式。
时域音频信号中的音调或谐频分量将影响MDCT域中多个系数。另一个实施例通过确定MDCT系数组(而非MDCT系数的整个向量)的符号改变的数目,使得MDCT系数被组合为例如4维频带,在4维频带中执行符号分析,从而在符号分析中捕捉这种行为。由于符号不匹配引起的失真在低频区中最可听见,符号分析的另一个实施例只在0—1600Hz的频率范围中执行以降低计算复杂度。如果该实施例中使用的MDCT变换的频率分辨率是例如每系数25Hz,则该频率范围将由64个系数组成,这些系数将被分到B个带中,在这个示例中B=16。
图4是示出上述示例的帧结构的图。示出了多个连续好帧。将帧n放大,以示出其包含16个频带或子向量。将帧n的频带b放大,以示出4个变换系数还分别示出了帧n-1和n-2的对应子向量或频带b的变换系数
根据实施例,符号改变跟踪算法执行确定由解码器接收的帧中变换系数的符号改变的数目,并且只要解码器接收帧,即只要没有帧丢失,符号改变跟踪算法就激活。在此期间,解码器可以针对符号分析中使用的每个子向量或频带b更新两个状态变量:sn和Δn,因而在16个子向量的示例中,将存在32个状态变量。
每个子向量或频带b的第一状态变量sn保存当前帧n和前一帧n-1之间的符号转换的数目,并根据以下进行更新(注意,这里的帧n被认为是好帧,而图2和图3中的帧n是错误帧):
其中索引ib指示子向量或频带b中的系数,n是帧号,并且是所接收的量化变换系数的向量。
如果(1)中变量isTransientn指示帧n是瞬变的,则符号转换的数目不是相关信息,并且针对所有频带都被设为0。
变量isTransientn作为“瞬变比特”(transient bit)从编码器获得,并且可以在编码器侧确定,如[4]所述。
每个子向量的第二状态变量Δn保存当前帧n和前一帧n-1之间以及前一帧n-1和帧n-2之间的符号转换的累计数目,其根据以下:
当解码器没有接收帧或者帧损坏时(即,如果数据损坏),激活符号外推算法。
根据实施例,当帧丢失(错误)时,解码器首先执行帧重复算法,并将变换系数从前一帧拷贝到当前帧。接下来,该算法通过检查所存储的针对三个先前接收帧的瞬变标志,检查三个先前接收帧是否包含任何瞬变。(然而,如果最后两个先前接收帧的任一个包含瞬变,则存储器中没有有用的数据来执行符号分析,并且不执行符号预测,如参考图3所述)。
如果至少两个先前接收帧是静态的,则符号外推算法将每个频带的符号转换数目Δn与预定转换阈值T相比较,并且如果符号转换数目等于或超过转换阈值,则转换或翻转当前帧中对应系数的符号。
根据实施例并且在4维频带的假设下,转换阈值T的水平依赖于存储器中静态帧的数量,根据以下:
根据以下(其中符号翻转或反转用-1表示),完成与阈值T的比较以及针对每个频带的可能符号翻转/转换。
在这个方案中,第一丢失帧中的变换系数的外推的符号被转换或者保持与上一个好帧相同。在一个实施例中,当存在一系列丢失帧时,从第二帧起对符号进行随机化。
以下表1是根据实施例的,用于索引“n”的丢失帧的隐藏的符号外推算法的概览(注意,这里帧n被认为是错误的,而以上等式中帧n被认为是好的。因此,表中有1个单位的索引移位)。
表1
图5是示出错误帧的子向量的重构的示例的图。在这个示例中,图4的子向量将用于示出被假设成错误的帧n+1的重构。3个帧n、n-1、n-2全部被认为是静态的(isTransientn=0,isTransientn-1=0,isTransientn-2=0)。首先使用以上(1)的符号改变跟踪来计算sn(b)和sn-1(b)。在这个示例中,在帧n和n-1的对应子向量系数之间存在3个符号反转,并且在帧n-1和n-2的对应子向量系数之间存在3个符号反转。因而,sn(b)=3且sn-1(b)=3,根据以上(2)的符号改变累计,这便意味着Δn(b)=6。根据阈值定义(3)和符号外推(4),这足以(在这个示例中)将从帧n的子向量b拷贝到帧n+1的子向量b的系数的符号反转,如图5所示。
图6是示出所提出的方法的总体实施例的流程图。该流程图还可以被视为计算机流程图。步骤S11跟踪连续静态好帧的预定子向量的对应变换系数之间的符号改变。步骤S12累计预定数量的连续静态好帧的对应子向量的符号改变的数目。步骤S12使用最近的静态好帧来重构错误帧,但是将符号改变的累计数目超过预定阈值的子向量中的变换系数的符号反转。
如上文所述,阈值可以依赖于连续静态好帧的预定数量。例如,针对2个连续静态好帧,阈值被赋予第一值,并且针对3个连续静态好帧,阈值被赋予第二值。
此外,接收帧的静态性可以通过确定其是否包括任何瞬变来确定,例如,通过检查变量isTransientn,如上文所述。
另一个实施例使用变换系数的符号转换的三种模式,例如转换、保持和随机,并且这是通过与两个不同阈值(即,保持阈值Tp和转换阈值Ts)的比较来实现。这意味着,在符号转换的数目等于或超过转换阈值Tp的情形中,将第一丢失帧中变换系数的外推的符号转换,并且在符号转换的数目等于或低于保持阈值Tp的情形中,保持第一丢失帧中变换系数的外推符号。此外,在符号转换的数目大于保持阈值Tp且低于转换阈值Tp的情形中,对符号进行随机化,即:
在这个方案中,还将第一丢失帧中的符号外推应用于第二丢失帧等,因为随机化已经是本方案的一部分。
根据另一个实施例,除了符号转换,还将缩放因子(能量衰减)应用于重构系数:
等式(6)中,G是缩放因子,并且如果未使用增益预测,G可以为1,或者在增益预测的情形中(或者简单衰减规则,如针对每个连续丢失帧为-3dB),G≤1。
本文所述的步骤、功能、过程、模块和/或框可以使用任何常规技术实现在硬件中,例如分立式电路或集成电路技术,包括通用电子电路和应用专用电路。
特定示例包括一个或多个合适配置的数字信号处理器和其他已知电子电路,例如用于执行特别功能的互连的分立逻辑门、或者应用专用集成电路(ASIC)。
备选地,上述步骤、功能、过程、模块和/或框的至少一部分可以实现在软件中,例如由包括一个或多个处理单元的合适处理电路来执行的计算机程序。
因此,当被一个或多个处理器执行时,本文提出的流程图(一个或多个)可被认为是计算机流程图。对应的装置可定义为一组功能模块,其中由处理器执行的每个步骤对应于功能模块。在这种情形中,功能模块实现为在处理器上运行的计算机程序。
处理电路的示例包括但不限于,一个或多个微处理器、一个或多个数字信号处理器(DSP)、一个或多个中央处理器(CPU)、视频加速硬件、和/或任何合适的可编程逻辑电路,例如一个或多个现场可编程门阵列(FPGA)或一个或多个可编程逻辑控制器。
还应当理解,可以能够重用实现所提技术的常规设备或单元的通用处理能力。还可以能够重用已有软件,例如通过对已有软件的重编程或者增加新的软件组件。
本文所述的实施例适用于针对已编码的音频信号的解码器,如图7所示。因而,图7是根据实施例的解码器20的示意框图。解码器20包括被配置为接收已编码的音频信号的输入单元IN。该图示出了利用逻辑帧错误隐藏单元(FEC)16的帧丢失隐藏,所述逻辑帧错误隐藏单元16指示解码器20被配置为根据上述实施例实现丢失或损坏音频帧的隐藏。解码器20以及其所含的单元可以实现为硬件。电路元件的很多变型可以使用并组合,以实现解码器20的单元的功能。这些变型都包含在实施例之内。解码器的硬件实现的特定示例是在数字信号处理器(DSP)硬件和集成电路技术中的实现,包括通用电子电路和应用专用电路。
图8是根据所提出的技术的解码器20的示例实施例的框图。输入单元IN从已编码的音频信号中提取变换系数向量,并将其转发至解码器20的FEC单元16。解码器20包括符号改变跟踪器26,所述符号改变跟踪器26被配置为跟踪连续静态好帧的预定子向量的对应变换系数之间的符号改变。符号跟踪器26连接到符号改变累计器28,所述符号改变累计器28被配置为累计预定数量的连续静态好帧的对应子向量的符号改变的数目。符号改变累计器28连接到帧重构器30,所述帧重构器30被配置为使用最近的静态好帧来重构错误帧,但是将符号改变的累计数目超过预定阈值的子向量中的变换系数的符号反转。将重构的变换系数向量转发至输出单元OUT,所述输出单元OUT将其转换为音频信号。
图9是根据所提出的技术的解码器的示例实施例的框图。输入单元IN从已解码音频信号提取变换系数向量,并将其转发至解码器20的FEC单元16。解码器20包括:
·符号改变跟踪模块26,用于跟踪连续静态好帧的预定子向量的对应变换系数之间的符号改变。
·符号改变累计模块28,用于累计预定数量的连续静态好帧的对应子向量的符号改变的数目。
·帧重构模块30,用于使用最近的静态好帧来重构错误帧,但是将符号改变的累计数目超过预定阈值的子向量中的变换系数的符号反转。
重构的变换系数向量被转换为输出单元OUT中的音频信号。
图10是根据所提出的技术的解码器20的示例实施例的框图。备选地,本文所述的解码器20可以由例如处理器22获得具有合适存储或存储器24的适当软件中的一个或多个来实现,以重构音频信号,包括执行根据本文所述实施例的音频帧丢失隐藏。输入单元IN接收输入的已编码的音频信号,处理器22和存储器24连接到输入单元IN。输出单元OUT输出从该软件获得的解码和重构的音频信号。
更具体地,解码器20包括处理器22和存储器24,并且存储器24包含处理器可执行的指令,其中解码器20用于:
·跟踪连续静态好帧的预定子向量的对应变换系数之间的符号改变。
·累计预定数量的连续静态好帧的对应子向量的符号改变的数目。
·使用最近的静态好帧来重构错误帧,但是将符号改变的累计数目
超过预定阈值的子向量中的变换系数的符号反转。
图10还示出了计算机程序产品40,包括计算机可读介质和存储在计算机可读介质上的计算机程序(下文详细描述)。计算机程序的指令可被传输到存储器24,如虚线箭头所示。
图11是根据所提出的技术的解码器20的示例实施例的框图。该实施例基于处理器22(例如微处理器),所述处理器22执行基于包括变换系数向量的帧的帧错误隐藏的计算机程序42。计算机程序存储在存储器24中。处理器22在系统总线上与存储器进行通信。通过输入/输出(I/O)控制器26,接收输入的已编码的音频信号,所述I/O控制器控制I/O总线,处理器22和存储器24连接到I/O总线。在I/O总线上,I/O控制器26从存储器24输出从软件130获得的音频信号。计算机程序42包括用于跟踪连续静态好帧的预定子向量的对应变换系数之间的符号改变的代码50,用于累计预定数量的连续静态好帧的对应子向量的符号改变的数目的代码52,以及用于使用最近的静态好帧来重构错误帧,但是将符号改变的累计数目超过预定阈值的子向量中的变换系数的符号反转的代码54。
驻留在存储器中的计算机程序可以被组织为合适的功能模块,所述功能模块被配置为,当被处理器执行时,执行上述步骤和/或任务的至少一部分。图9中示出了这些功能模块的示例。
如上文所述,软件或计算机程序42可以实现为计算机程序产品40,其一般载于或存储在计算机可读介质上。计算机可读介质可以包括一个或多个可移除或不可移除存储设备,包括但不限于,只读存储器(ROM)、随机访问存储器(RAM)、紧凑盘(CD)、数字多用途盘(DVD)、通用序列总线(USB)存储器、硬盘驱动(HDD)存储设备、闪存、或者任何其他常规存储设备。因而,计算机程序可被载入计算机或等同处理设备的操作内存中,以被其处理器电路执行。
例如,计算机程序包括可被处理电路执行的指令,从而处理电路能够或操作为执行本文所述的步骤、功能、过程和/或框。计算机或处理电路不必专用于只执行本文所述的步骤、功能、过程和/或框,还可以执行其他任务。
上述技术可以在例如接收器中使用,所述接收器可以在移动设备(例如移动电话、笔记本电脑)或静止设备中使用,例如个人计算机。该设备称为用户终端,所述用户终端包括上文所述的解码器20。用户终端可以是有线或无线设备。
本文所使用的术语“无线设备”可以指代用户设备(UE)、移动电话、蜂窝电话、配备有无线通信功能的个人数字助理(PDA)、智能电话、配备有内置或外置移动宽带调制解调器的笔记本电脑或个人计算机(PC)、具有无线通信功能的平板PC、便携式电子无线通信设备、配备有无线通信功能的传感器设备等。术语“UE”应被解释为包括配置有无线电路的任何设备的非限制术语,所述无线电路用于根据任何相关通信标准的无线通信。
本文所使用的术语“有线设备”可以指代至少一部分的上述设备(具有或没有无线通信功能),例如被配置连接到网络的有线连接的PC。
图12是用户终端60的框图。该图示出了用户设备,例如移动电话。将来自天线的无线信号转发至无线单元62,并且解码器20根据所提出的帧错误隐藏技术处理来自无线单元的数字信号(通常来说,解码器可以执行其他任务,例如对描述片段的其他参数的进行解码,因为这些任务是本领域公知的,也不构成所提出的技术的关键部分,所以没有描述这些任务)。将已解码的音频信号转发至与扬声器相连的数字/模拟(D/A)信号转换和放大单元64。
图13是示出帧错误隐藏的另一个实施例的图。编码器侧10与图1的实施例类似。然而,编码器侧包括根据所提出的技术的解码器20。该解码器包括如本文所提出的帧错误隐藏单元(FEC)16。基于所提出的技术,该单元将图1的重构步骤S5修改为重构步骤S5’。根据另一个实施例,上述错误隐藏算法可以可选地与不同域上的另一个隐藏算法组合。图13中,通过可选的帧错误隐藏单元FEC2 18将其示出,在FEC2 18中还执行基于波形间距的隐藏。这将使步骤S6修改为S6’。因此,在这个实施例中,重构的波形包含两个隐藏方案的贡献。
应当理解,对相互作用的单元或模块的选择、以及单元的命名仅用于示例目的,并且可以用多种备选方式来配置,以能够执行所公开的处理动作。
还应当注意的是,本公开中描述的单元或模块应被认为是逻辑实体,而不必是分离的物理实体。应当理解,本文公开的技术的范围完全包括了对本领域技术人员来说显而易见的其他实施例,并且相应地本公开的范围不受此限制。
除非明确声明,对单数形式的引用并不表示“一个且仅有一个”,而是指“一个或多个”。本领域普通技术已知的、上述实施例的元件在结构和功能上的所有等同,明确通过引用方式并入本文并在此包括在其中。此外,设备或方法不必解决本文公开技术所要解决的每一个问题,在此将其包括在其中。
在上述描述中,用于解释和非限制的目的,阐述了具体细节,例如特定架构、结构、技术等,以提供对公开技术的透彻理解。然而,本领域技术人员可以清楚看出,公开技术可以在与这些具体细节相背离的其他实施例和/或实施例的组合中实施。即,本领域技术人员将能够设计虽然本文未明确描述或示出、但体现公开技术原理的各种实施例。在一些实例中,省略了对公知设备、电路和方法的详细描述,以不致因不必要的细节使公开的描述不清楚。本文记载的公开技术的原理、方面和实施例,以及具体实例的全部陈述旨在包括其结构和功能上的等同。附加地,这些等同旨在包括当前已知的等同以及将来开发的等同,例如不管结构如何但执行相同功能的任何元件。
因而,例如,本领域技术人员可以理解,本文附图可以表示体现技术原理的示意电路或其他功能单元的概念图,和/或实质在计算机可读介质中表达并由计算机或处理器执行的各个处理,尽管该计算机或处理器可能未在附图中明确示出。
包括功能模块的各元件的功能可以通过使用硬件来提供,例如能够执行以存储在计算机可读介质上的编码指令为形式的软件的电路硬件和/或硬件。因而,这些功能和示出的功能模块应被理解为硬件实现、和/或计算机实现的,因而也是机器实现的。
上述实施例应被理解为本发明的一些说明性示例。本领域技术人员可以理解,可以对实施例做出各种修改、组合和改变,而不脱离本发明的范围。具体地,不同实施例中的不同部分方案可以在技术上可行时以其他配置来组合。
本领域技术人员可以理解,可以对所提技术做出各种修改和改变,而不脱离其由随附权利要求界定的范围。
参考文献
[1]ITU-T standard G.719,section 8.6,June 2008.
[2]A.Ito et al,“Improvement of Packet Loss Concealment for MP3 AudioBased on Switching of Concealment method and Estimation of MDCT Signs”,IEEE,2010 Sixth International Conference on Intelligent Information Hiding andMultimedia Signal Processing,pp.518—521.
[3]Sang-Uk Ryu and Kenneth Rose,“An MDCT Domain Frame-LossConcealment Technique for MPEG Advanced Audio Coding”,IEEE,ICASSP 2007,pp.I-273-I-276.
[4]ITU-T standard G.719,section 7.1,June 2008.
缩略语
ASIC 专用集成电路
CPU 中央处理器
DSP 数字信号处理器
FEC 帧疑符隐藏
FPGA 现场可编程门阵列
MDCT 修正离散余弦变换
MLT 调制重叠变换
PLC 分组丢失隐藏

Claims (12)

1.一种音频解码器执行的帧丢失隐藏方法,所述方法包括:
通过确定不包含瞬变的连续帧的频带的对应变换系数之间的符号改变的数目,分析(S11)接收帧中的变换系数的符号改变,其中每个频带包括多个系数;
累计(S12)连续帧的对应频带中符号改变的数目;以及
通过从先前帧拷贝变换系数来重构(S13)丢失帧,但是将符号改变的累计数目超过预定阈值的频带中的变换系数的符号反转。
2.根据权利要求1所述的方法,其中,所述阈值依赖于不包含瞬变的连续帧的预定数量。
3.根据权利要求2所述的方法,其中,针对2个不包含瞬变的连续帧,所述阈值被赋予第一值;针对3个不包含瞬变的连续帧,所述阈值被赋予第二值。
4.根据权利要求3所述的方法,其中,当频带包括4个系数时,第一值为3,第二值为6。
5.根据权利要求1所述的方法,其中,如果两个先前帧中的任一个包含瞬变,则将拷贝的变换系数的符号随机化。
6.一种用于帧丢失隐藏的设备,所述设备包括:
用于通过确定不包含瞬变的连续帧的频带的对应变换系数之间的符号改变的数目,分析接收音频帧中的变换系数的符号改变的装置,其中每个频带包括多个系数;
用于累计连续帧的对应频带中符号改变的数目的装置;以及
用于通过从先前帧拷贝变换系数来重构丢失帧,但是将符号改变的累计数目超过预定阈值的频带中的变换系数的符号反转的装置。
7.根据权利要求6所述的设备,其中,所述阈值依赖于不包含瞬变的连续帧的预定数量。
8.根据权利要求7所述的设备,其中,针对2个不包含瞬变的连续帧,所述阈值被赋予第一值;针对3个不包含瞬变的连续帧,所述阈值被赋予第二值。
9.根据权利要求8所述的设备,其中,当频带包括4个系数时,第一值为3,第二值为6。
10.根据权利要求6所述的设备,其中,如果两个先前帧中的任一个包含瞬变,则将拷贝的变换系数的符号随机化。
11.根据权利要求6-10中任一项所述的设备,其中,所述设备是音频解码器。
12.根据权利要求6-11中任一项所述的设备,其中,所述设备包括在移动设备中。
CN201610908572.9A 2013-02-13 2013-11-12 帧错误隐藏 Active CN107103909B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361764254P 2013-02-13 2013-02-13
US61/764,254 2013-02-13
CN201380072906.8A CN104995673B (zh) 2013-02-13 2013-11-12 帧错误隐藏

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380072906.8A Division CN104995673B (zh) 2013-02-13 2013-11-12 帧错误隐藏

Publications (2)

Publication Number Publication Date
CN107103909A true CN107103909A (zh) 2017-08-29
CN107103909B CN107103909B (zh) 2020-08-04

Family

ID=49765637

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610908572.9A Active CN107103909B (zh) 2013-02-13 2013-11-12 帧错误隐藏
CN201380072906.8A Active CN104995673B (zh) 2013-02-13 2013-11-12 帧错误隐藏

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380072906.8A Active CN104995673B (zh) 2013-02-13 2013-11-12 帧错误隐藏

Country Status (11)

Country Link
US (6) US9514756B2 (zh)
EP (3) EP3432304B1 (zh)
CN (2) CN107103909B (zh)
BR (1) BR112015017082B1 (zh)
DK (2) DK2956932T3 (zh)
ES (3) ES2816014T3 (zh)
HU (2) HUE030163T2 (zh)
MX (1) MX342027B (zh)
PL (2) PL3098811T3 (zh)
RU (3) RU2705458C2 (zh)
WO (1) WO2014126520A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107863109A (zh) * 2017-11-03 2018-03-30 深圳大希创新科技有限公司 一种抑制噪声的静音控制方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE030163T2 (en) * 2013-02-13 2017-04-28 ERICSSON TELEFON AB L M (publ) Hide frame failure
MX352099B (es) * 2013-06-21 2017-11-08 Fraunhofer Ges Forschung Método y aparato para obtener coeficientes de espectro para un cuadro de reemplazo de una señal de audio, decodificador de audio, receptor de audio y sistema para transmitir señales de audio.
CN112967727A (zh) 2014-12-09 2021-06-15 杜比国际公司 Mdct域错误掩盖
US10504525B2 (en) * 2015-10-10 2019-12-10 Dolby Laboratories Licensing Corporation Adaptive forward error correction redundant payload generation
EP3553777B1 (en) * 2018-04-09 2022-07-20 Dolby Laboratories Licensing Corporation Low-complexity packet loss concealment for transcoded audio signals
SG11202110071XA (en) * 2019-03-25 2021-10-28 Razer Asia Pacific Pte Ltd Method and apparatus for using incremental search sequence in audio error concealment

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2267079A1 (en) * 1996-09-27 1998-04-02 Nokia Oyj Error concealment in digital audio receiver
EP1189208A1 (en) * 2000-09-19 2002-03-20 Nokia Corporation Detection of transmission errors in a speech decoder
JP2002111635A (ja) * 2000-10-03 2002-04-12 Matsushita Electric Ind Co Ltd デジタルオーディオ及び視覚情報の能率的な誤り検出と同期化の方法
CN1589550A (zh) * 2001-11-15 2005-03-02 松下电器产业株式会社 错误隐蔽装置和方法
CN1918916A (zh) * 2004-01-19 2007-02-21 三星电子株式会社 用于视频帧的错误隐藏设备及其方法
US20070094009A1 (en) * 2005-10-26 2007-04-26 Ryu Sang-Uk Encoder-assisted frame loss concealment techniques for audio coding
CN1983909A (zh) * 2006-06-08 2007-06-20 华为技术有限公司 一种丢帧隐藏装置和方法
CN101166071A (zh) * 2006-10-19 2008-04-23 北京三星通信技术研究有限公司 差错帧隐藏装置与方法
US20080126096A1 (en) * 2006-11-24 2008-05-29 Samsung Electronics Co., Ltd. Error concealment method and apparatus for audio signal and decoding method and apparatus for audio signal using the same
CN101231849A (zh) * 2007-09-15 2008-07-30 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US20090192803A1 (en) * 2008-01-28 2009-07-30 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
CN101588341A (zh) * 2008-05-22 2009-11-25 华为技术有限公司 一种丢帧隐藏的方法及装置
CN102057424A (zh) * 2008-06-13 2011-05-11 诺基亚公司 用于经编码的音频数据的错误隐藏的方法和装置
CN102201238A (zh) * 2010-03-24 2011-09-28 汤姆森特许公司 用于编码和解码激励模式的方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699485A (en) * 1995-06-07 1997-12-16 Lucent Technologies Inc. Pitch delay modification during frame erasures
US7031926B2 (en) * 2000-10-23 2006-04-18 Nokia Corporation Spectral parameter substitution for the frame error concealment in a speech decoder
US7711563B2 (en) * 2001-08-17 2010-05-04 Broadcom Corporation Method and system for frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
AU2003903826A0 (en) * 2003-07-24 2003-08-07 University Of South Australia An ofdm receiver structure
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
US8908496B2 (en) * 2003-09-09 2014-12-09 Qualcomm Incorporated Incremental redundancy transmission in a MIMO communication system
DE602005020130D1 (de) 2004-05-10 2010-05-06 Nippon Telegraph & Telephone E, sendeverfahren, empfangsverfahren und einrichtung und programm dafür
KR100770924B1 (ko) * 2005-02-04 2007-10-26 삼성전자주식회사 무선 통신 시스템에서 주파수 오차 보상 장치 및 방법
US8255207B2 (en) * 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
KR100862662B1 (ko) * 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
CN101325631B (zh) 2007-06-14 2010-10-20 华为技术有限公司 一种估计基音周期的方法和装置
CN101325537B (zh) 2007-06-15 2012-04-04 华为技术有限公司 一种丢帧隐藏的方法和设备
WO2009010831A1 (en) * 2007-07-18 2009-01-22 Nokia Corporation Flexible parameter update in audio/speech coded signals
US8527265B2 (en) 2007-10-22 2013-09-03 Qualcomm Incorporated Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs
CN101572685A (zh) * 2008-05-04 2009-11-04 中兴通讯股份有限公司 用于正交频分复用系统的发射装置
US8428959B2 (en) 2010-01-29 2013-04-23 Polycom, Inc. Audio packet loss concealment by transform interpolation
CN107068156B (zh) * 2011-10-21 2021-03-30 三星电子株式会社 帧错误隐藏方法和设备以及音频解码方法和设备
HUE030163T2 (en) * 2013-02-13 2017-04-28 ERICSSON TELEFON AB L M (publ) Hide frame failure

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2267079A1 (en) * 1996-09-27 1998-04-02 Nokia Oyj Error concealment in digital audio receiver
EP1189208A1 (en) * 2000-09-19 2002-03-20 Nokia Corporation Detection of transmission errors in a speech decoder
JP2002111635A (ja) * 2000-10-03 2002-04-12 Matsushita Electric Ind Co Ltd デジタルオーディオ及び視覚情報の能率的な誤り検出と同期化の方法
CN1589550A (zh) * 2001-11-15 2005-03-02 松下电器产业株式会社 错误隐蔽装置和方法
CN1918916A (zh) * 2004-01-19 2007-02-21 三星电子株式会社 用于视频帧的错误隐藏设备及其方法
US20070094009A1 (en) * 2005-10-26 2007-04-26 Ryu Sang-Uk Encoder-assisted frame loss concealment techniques for audio coding
CN1983909A (zh) * 2006-06-08 2007-06-20 华为技术有限公司 一种丢帧隐藏装置和方法
CN101166071A (zh) * 2006-10-19 2008-04-23 北京三星通信技术研究有限公司 差错帧隐藏装置与方法
US20080126096A1 (en) * 2006-11-24 2008-05-29 Samsung Electronics Co., Ltd. Error concealment method and apparatus for audio signal and decoding method and apparatus for audio signal using the same
CN101231849A (zh) * 2007-09-15 2008-07-30 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US20090192803A1 (en) * 2008-01-28 2009-07-30 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
CN101588341A (zh) * 2008-05-22 2009-11-25 华为技术有限公司 一种丢帧隐藏的方法及装置
CN102057424A (zh) * 2008-06-13 2011-05-11 诺基亚公司 用于经编码的音频数据的错误隐藏的方法和装置
CN102201238A (zh) * 2010-03-24 2011-09-28 汤姆森特许公司 用于编码和解码激励模式的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107863109A (zh) * 2017-11-03 2018-03-30 深圳大希创新科技有限公司 一种抑制噪声的静音控制方法及系统
CN107863109B (zh) * 2017-11-03 2020-07-03 深圳大希创新科技有限公司 一种抑制噪声的静音控制方法及系统

Also Published As

Publication number Publication date
ES2603266T3 (es) 2017-02-24
US9514756B2 (en) 2016-12-06
EP2956932A1 (en) 2015-12-23
EP3432304A1 (en) 2019-01-23
MX342027B (es) 2016-09-12
US11227613B2 (en) 2022-01-18
ES2706512T3 (es) 2019-03-29
EP2956932B1 (en) 2016-08-31
EP3098811A1 (en) 2016-11-30
CN104995673A (zh) 2015-10-21
US10013989B2 (en) 2018-07-03
ES2816014T3 (es) 2021-03-31
DK2956932T3 (en) 2016-12-19
RU2705458C2 (ru) 2019-11-07
DK3098811T3 (en) 2019-01-28
RU2019132960A3 (zh) 2021-10-14
WO2014126520A1 (en) 2014-08-21
RU2015138979A (ru) 2017-03-20
US11837240B2 (en) 2023-12-05
EP3432304B1 (en) 2020-06-17
US20220130400A1 (en) 2022-04-28
RU2017126008A3 (zh) 2019-05-28
US20150379998A1 (en) 2015-12-31
US20200152208A1 (en) 2020-05-14
RU2017126008A (ru) 2019-02-01
US20240144939A1 (en) 2024-05-02
US10566000B2 (en) 2020-02-18
RU2628197C2 (ru) 2017-08-15
HUE030163T2 (en) 2017-04-28
MX2015009415A (es) 2015-09-24
US20170103760A1 (en) 2017-04-13
BR112015017082A2 (pt) 2017-07-11
PL3098811T3 (pl) 2019-04-30
EP3098811B1 (en) 2018-10-17
CN107103909B (zh) 2020-08-04
BR112015017082B1 (pt) 2021-10-05
HUE052041T2 (hu) 2021-04-28
US20180277125A1 (en) 2018-09-27
RU2019132960A (ru) 2021-04-19
CN104995673B (zh) 2016-10-12
PL2956932T3 (pl) 2017-01-31

Similar Documents

Publication Publication Date Title
CN104995673B (zh) 帧错误隐藏
Ali et al. High capacity, transparent and secure audio steganography model based on fractal coding and chaotic map in temporal domain
CN104966517B (zh) 一种音频信号增强方法和装置
CN112751820B (zh) 使用深度学习实现数字语音丢包隐藏
Jiang et al. ASB-CS: Adaptive sparse basis compressive sensing model and its application to medical image encryption
CN113763973A (zh) 音频信号增强方法、装置、计算机设备和存储介质
CN105393303A (zh) 音频信号处理装置、音频信号处理方法及音频信号处理程序
Zhang et al. Advanced audio coding steganography algorithm with distortion minimization model based on audio beat
Raj et al. Multilayered convolutional neural network-based auto-CODEC for audio signal denoising using mel-frequency cepstral coefficients
CN102592601B (zh) 一种信号处理方法和装置
Samaali et al. Watermark-aided pre-echo reduction in low bit-rate audio coding
Kumar et al. A Novel Speech Steganography Mechanism to Securing Data Through Shift Invariant Continuous Wavelet Transform with Speech Activity and Message Detection
WO2024199160A1 (zh) 触觉信号编码处理方法、解码处理方法及相关设备
Abbasi et al. A Secure and Robust Audio Watermarking Scheme Using Secret Sharing in the Transform-Domain
Chang et al. Low-complexity audio CODEC for resource-scarce embedded system with fixed-point arithmetic
CN117831548A (zh) 音频编解码系统的训练方法、编码方法、解码方法、装置
OA17404A (en) Frame error concealment.
Scoville Fast Autocorrelated Context Models for Data Compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant