CN111566733B - 选择音高滞后 - Google Patents

选择音高滞后 Download PDF

Info

Publication number
CN111566733B
CN111566733B CN201880085502.5A CN201880085502A CN111566733B CN 111566733 B CN111566733 B CN 111566733B CN 201880085502 A CN201880085502 A CN 201880085502A CN 111566733 B CN111566733 B CN 111566733B
Authority
CN
China
Prior art keywords
estimate
lag
correlation
pitch
ltpf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880085502.5A
Other languages
English (en)
Other versions
CN111566733A (zh
Inventor
伊曼纽尔·拉维利
马丁·迪茨
迈克尔·施纳贝尔
亚瑟·特瑞萨特
亚历山大·切卡林斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN111566733A publication Critical patent/CN111566733A/zh
Application granted granted Critical
Publication of CN111566733B publication Critical patent/CN111566733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H03M7/3064Segmenting
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60General implementation details not specific to a particular type of compression
    • H03M7/6005Decoder aspects
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60General implementation details not specific to a particular type of compression
    • H03M7/6011Encoder aspects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提出用于选择音高滞后的技术(例如,设备、方法、程序)。一种用于对包括多个帧的信息信号进行编码的设备(10,60a,110)。该设备可包含被配置以获得第一估计值(14,T1)的第一估计器(11),该第一估计值为当前帧(13)的音高滞后的估计值。该设备可包含被配置以获得第二估计值(16,T2)的第二估计器(12),该第二估计值为当前帧(13)的音高滞后的另一估计值。选择器(17)可被配置以通过基于第一相关性测量值及第二相关性测量值(23,25)在第一估计值(14,T1)与,第二估计值(16,T2)之间执行,选择而选择所选值(19,Tbest)。

Description

选择音高滞后
技术领域
在此提供能够执行低复杂度音高检测程序,例如以用于长期后滤波LTPF编码的方法及设备的示例。
例如,示例能够为信息信号,例如音频信号选择音高滞后,例如以用于执行LTPF。
背景技术
1.1.背景
基于变换的音频编解码器在处理谐波音频信号时,特别地以低延迟及低比特率处理谐波音频信号时,通常引入间谐波噪声。此间谐波噪声通常被感知为非常令人烦恼的伪声,显著降低了基于变换的音频编解码器在主观地评估高音调音频材料时的性能。
长期后滤波(Long Term Post Filtering,LTPF)为有助于减小此间谐波噪声的基于变换的音频编码工具。其依赖于在变换解码之后的应用于时域信号的后滤波器。此后滤波器基本上为无限脉冲响应(infinite impulse response,IIR)滤波器,其中梳状频率响应由两个参数控制:音高滞后及增益。
为了更佳的稳健性,在编码器侧估计后滤波器参数(每帧的音高滞后和/或增益)且当增益非零时将后滤波器参数编码在比特流中。零增益状况以一个比特进行发信号且对应于非主动后滤波器,在信号不含有谐波部分时使用。
首先将LTPF引入3GPP EVS标准[1]中且随后整合至MPEG-H 3D音频标准[2]。对应专利为[3]及[4]。
音高检测算法估计每帧的一个音高滞后。通常在低采样率(例如6.4kHz)下执行该操作以便降低复杂度。其应理想地提供准确、稳定且持续性估计。
当用于LTPF编码时,具有连续音高轮廓是最重要的,否则可在经LTPF滤波的输出信号中听到一些不稳定性伪声。不具有真实基本频率F0(例如通过具有基本频率的倍数)不太重要,由于其并不导致严重伪声,但替代地会引起LTPF性能的略微劣化。
音高检测算法的另一重要特性为其计算复杂度。当实施于以低功率装置或甚至超低功率装置为目标的音频编解码器中时,其计算复杂度应尽可能低。
1.2.现有技术
存在可在公共领域中发现的LTPF编码器的示例。其描述于3GPP EVS标准[1]中。此实施方案使用描述于标准规格的5.1.10节中的音高检测算法。此音高检测算法具有良好性能且与LTPF一起很好地起作用,由于它给出极稳定且连续的音高轮廓。然而,它的主要缺陷为复杂度相对高。
即使其从未用于LTPF编码,其他现有音高检测算法理论上也可用于LTPF。一个示例为YIN[6],音高检测算法常常被认为是最准确之一。然而,YIN极其复杂,甚至明显复杂于[1]中的算法。
值得提到的另一示例为3GPP AMR-WB标准[7]中所使用的音高检测算法,其复杂度显著低于[1]中的算法,并且性能较差,其特别地给出较不稳定且连续的音高轮廓。
先前技术包含以下公开:
[1]3GPP TS 26.445;Codec for Enhanced Voice Services(EVS);Detailedalgorithmic description.
[2]ISO/IEC 23008-3:2015;Information technology--High efficiencycoding and media delivery in heterogeneous environments--Part 3:3D audio.
[3]Ravelli et al."Apparatus and method for processing an audio signalusing a harmonic post-filter."U.S.Patent Application No.2017/0140769 A1.2017年5月18.
[4]Markovic et al."Harmonicity-dependent controlling of a harmonicfilter tool."U.S.Patent Application No.2017/0133029 A1.2017年5月11.
[5]ITU-T G.718:Frame error robust narrow-band and wideband embeddedvariable bit-rate coding of speech and audio from 8-32kbit/s.
[6]De Cheveigné,Alain,and Hideki Kawahara."YIN,a fundamentalfrequency estimator for speech and music."The Journal of the AcousticalSociety of America 111.4(2002):1917-1930.
[7]3GPP TS 26.190;Speech codec speech processing functions;AdaptiveMulti-Rate-Wideband(AMR-WB)speech codec;Transcoding functions.
然而,存在应改善音高滞后估计的一些状况。
当前低复杂度音高检测算法(如[7]中的算法)具有对于LTPF,特定地对于复杂信号,如复音音乐而言并不令人满意的性能。音高轮廓可极其不稳定,甚至在不变音期间极其不稳定。这归因于加权自相关函数的局部最大值之间的跳变。
因此,需要获得相较于现有技术更适合于复杂信号,具有相同或更低复杂度的音高滞后估计。
发明内容
根据示例,提供一种用于对包括多个帧的信息信号进行编码的设备,该设备包含:
第一估计器,被配置以获得第一估计值,该第一估计值为当前帧的音高滞后的估计值;
第二估计器,被配置以获得第二估计值,该第二估计值为当前帧的音高滞后的另一估计值;
选择器,被配置以通过基于第一相关性测量值及第二相关性测量值在第一估计值与第二估计值之间执行选择而选择所选值;
其中通过在先前帧处选择的音高滞后调节第二估计器以便获得当前帧的第二估计值;
其特征在于选择器被配置以:
在以下两者之间执行比较:
与当前帧相关联且在对应于第一估计值的滞后处获得的第一相关性测量值的缩小版本;及
与当前帧相关联且在对应于第二估计值的滞后处获得的第二相关性测量值,
以便在第二相关性测量值小于第一相关性测量值的缩小版本时选择第一估计值,和/或
在第二相关性测量值大于第一相关性测量值的缩小版本时选择第二估计值,
其中第一相关性测量值与第二相关性测量值中的至少一个为自相关测量值和/或归一化自相关测量值。
根据示例,提供一种用于将包括多个帧的信息信号编码成比特流(63)的设备,该设备(60a)包含:
检测单元,包含:
第一估计器,被配置以获得第一估计值,该第一估计值为当前帧的音高滞后的估计值;
第二估计器,被配置以获得第二估计值,该第二估计值为当前帧的音高滞后的另一估计值,其中通过在先前帧处选择的音高滞后调节第二估计器以便获得当前帧的第二估计值;
选择器,被配置以通过基于至少一个相关性测量值在第一估计值与第二估计值之间执行选择而选择所选值,其中选择器被配置以在以下两者之间执行比较:
与当前帧相关联且在对应于第二估计值的滞后处获得的第二相关性测量值;及
音高滞后选择阈值,
以便在第二相关性测量值大于音高滞后选择阈值时选择第二估计值;和/或
在第二相关性测量值低于音高滞后选择阈值时选择第一估计值;
以及
长期后滤波LTPF工具,被配置以对对于在解码器处执行LTPF是有用的数据进行编码,对于执行LTPF是有用的该数据包括所选值。
根据示例,提供一种用于对包括多个帧的信息信号进行编码的设备,该设备包含:
第一估计器,被配置以获得第一估计值,该第一估计值为当前帧的音高滞
后的估计值;
第二估计器,被配置以获得第二估计值,该第二估计值为当前帧的音高滞后的另一估计值,
选择器,被配置以通过基于至少一个相关性测量值在该第一估计值与该第二估计值之间执行选择而选择所选值,
其中通过在先前帧处选择的音高滞后调节第二估计器以便获得当前帧的第二估计值。
根据示例,选择器被配置以在以下两者之间执行比较:
与当前帧相关联且在对应于第二估计值的滞后处获得的第二相关性测量值;及
音高滞后选择阈值,
以便在第二相关性测量值大于音高滞后选择阈值时选择第二估计值;和/或
在第二相关性测量值低于音高滞后选择阈值时选择第一估计值。
根据示例,选择器被配置以在以下两者之间执行比较:
与当前帧相关联且在对应于第一估计值的滞后处获得的第一相关性测量值;及
与当前帧相关联且在对应于第二估计值的滞后处获得的第二相关性测量值,
以便在第一相关性测量值至少大于第二相关性测量值时选择第一估计值,和/或
在第一相关性测量值至少低于第二相关性测量值时选择第二估计值。
根据示例,选择器被配置以:
在以下两者之间执行比较:
与当前帧相关联且在对应于第一估计值的滞后处获得的第一相关性测量值的缩小版本;及
与当前帧相关联且在对应于第二估计值的滞后处获得的第二相关性测量值,
以便在第二相关性测量值小于第一相关性测量值的缩小版本时选择第一估计值,和/或
在第二相关性测量值大于第一相关性测量值的缩小版本时选择第二估计值。
根据示例,第一相关性测量值与第二相关性测量值中的至少一个为自相关测量值和/或归一化自相关测量值。
可实施用以生成信息信号或其经处理版本的表示的变换编码器。
根据示例,第二估计器被配置以:
通过在包含针对先前帧选择的音高滞后的第二子区间中搜索使第二相关性函数最大化的滞后而获得第二估计值。
根据示例,第二子区间包含在距针对先前帧选择的音高滞后小于预定义滞后数值阈值的距离内的滞后。
根据示例,第二估计器被配置以:
搜索第二相关性函数值中的最大值以使第二估计值与相关联于第二相关性函数值中的最大值的滞后相关联。
根据示例,第一估计器被配置以:
获得第一估计值作为使与当前帧相关联的第一相关性函数最大化的滞后。
根据示例,第一相关性函数限于第一子区间中的滞后。
根据示例,第一子区间包含大于第二子区间的多个滞后,和/或第二子区间中的滞后中的至少一些包含于第一子区间中。
根据示例,第一估计器被配置以:
在搜索使第一相关性函数最大化的滞后之前使用单调递减加权函数对第一相关性函数的相关性测量值进行加权。
根据示例,第二相关性函数与第一相关性函数中的至少一个为自相关函数和/或归一化自相关函数。
根据示例,第一估计器被配置以通过执行以下操作中的至少一些而获得第一估计值T1
Rw(k)=R(k)w(k)对于k=kmin..kmax
对于k=kmin..kmax
对于k=kmin..kmax
w(k)为加权函数,kmin及kmax与最小滞后及最大滞后相关联,R为基于信息信号或其经处理版本估计的自相关测量值,且N为帧长度。
根据示例,第二估计器被配置以通过执行以下操作而获得第二估计值T2
其中k′min=max(kmin,Tprev-δ),k′max=min(kmax,Tprev+δ),Tprev为先前帧中的所选估计值,且δ为距Tprev的距离,kmin以及kmax与最小滞后及最大滞后相关联。
根据示例,选择器被配置以关于以下执行音高滞后估计值Tcurr的选择
其中T1为第一估计值,T2为第二估计值,x为信息信号或其经处理版本的值,normcorr(x,N,T)为长度为N的信号x在滞后T处的归一化相关性测量值,α为缩小系数。
根据示例,提供在选择器下游的用于在解码器设备处控制长期后滤波器的长期后滤波LTPF工具。
根据示例,信息信号为音频信号。
根据示例,设备被配置以获得第一相关性测量值作为当前帧的调和性的测量值且获得第二相关性测量值作为限于针对先前帧限定的子区间的当前帧的调和性的测量值。
根据示例,设备被配置以使用相同相关性函数获得第一相关性测量值与第二相关性测量值直至加权函数。
根据示例,设备被配置以获得第一相关性测量值作为直至加权函数的第一估计值的归一化版本。
根据示例,设备被配置以获得第二相关性测量值作为第二估计值的归一化版本。
根据示例,提供一种包含编码器侧及解码器侧的系统,编码器侧如上,解码器侧包含基于由选择器选择的音高滞后估计值控制的长期后滤波工具。
根据示例,提供一种用于确定划分成帧的信号的音高滞后的方法,包含:
对当前帧执行第一估计;
对当前帧执行第二估计;以及
基于至少一个相关性测量值在第一估计处获得的第一估计值与第二估计处获得的第二估计值之间进行选择,
其中基于在先前帧处执行的选择步骤的结果而获得执行第二估计。
根据示例,方法可包含使用用于长期后滤波LTPF的所选滞后。
根据示例,方法可包含使用用于封包丢失隐藏PLC的所选滞后。
根据示例,提供一种用于确定划分成帧的信号的音高滞后的方法,包含:
对当前帧执行第一估计;
对当前帧执行第二估计;以及
基于相关性测量值在第一估计处获得的第一估计值与第二估计处获得的第二估计值之间进行选择,
其中基于在先前帧处执行的选择步骤的结果而获得执行第二估计,
其特征在于,选择包括在以下两者之间执行比较:
与当前帧相关联且在对应于第一估计值的滞后处获得的第一相关性测量值的缩小版本;和
与当前帧相关联且在对应于第二估计值的滞后处获得的第二相关性测量值;以及
在第二相关性测量值小于第一相关性测量值的缩小版本时选择第一估计值,和/或在第二相关性测量值大于第一相关性测量值的缩小版本时选择第二估计值,
其中第一相关性测量值与第二相关性测量值中的至少一个为自相关测量值和/或归一化自相关测量值。
根据示例,提供一种用于对划分成帧的信号的比特流进行编码的方法,包含:
对当前帧执行第一估计;
对当前帧执行第二估计;以及
基于至少一个相关性测量值在第一估计处获得的第一估计值与第二估计处获得的第二估计值之间进行选择,
其中基于在先前帧处执行的选择步骤的结果而获得执行第二估计,
其中选择包括在以下两者之间执行比较:
与当前帧相关联且在对应于第二估计值的滞后处获得的第二相关性测量值;和
音高滞后选择阈值,
在第二相关性测量值大于音高滞后选择阈值时选择第二估计值和/或在第二相关性测量值低于音高滞后选择阈值时选择第一估计值;且
方法进一步包含对对于在解码器处执行LTPF是有用的数据,所选值进行编码。
根据示例,提供一种包含指令的程序,指令在由处理器执行时致使该处理器执行以上或以下方法中的任一个。
附图说明
图1a及2展示根据示例的设备。
图1b展示根据示例的方法。
图3及4展示根据示例的方法。
图5及5(1)至5(4)展示相关性函数的图式。
图6展示根据本发明的系统。
图7及8展示根据本发明的设备。
图9展示在解码器处的操作的示例。
具体实施方式
5.选择和估计的示例
公开了例如用于LTPF编码和/或解码的低复杂度音高检测程序、系统及设备的示例。
信息信号可在时域TD中描述为在不同离散时刻(n)获取的一连串样本(例如,x(n))。TD表示可包含多个帧,每个与多个样本相关联。帧可一个接一个地顺次可见,使得当前帧暂时在随后帧之前且暂时在先前帧之后。可以迭代地进行操作,使得对当前帧重复进行对先前帧执行的操作。
在与当前帧相关联的迭代期间,可以至少执行一些操作(例如,第二估计值),其通过在与先前帧相关联的先前迭代处执行的选择而得以调节。因此,考虑先前帧处的信号的历史,例如以用于选择由解码器使用的音高滞后以供执行长期后滤波(LTPF)。
5.1根据示例的通用结构和函数
图1a展示用于编码信息信号的设备10的一部分。设备10可包含第一估计器11,第一估计器11被配置以执行第一估计过程以获得当前帧13的第一估计值14(T1)。设备10可包含第二估计器12,第二估计器12被配置以执行第二估计过程以获得当前帧13de第二估计值16(T2)。设备10可包含选择器17,选择器17被配置以基于至少一个相关性测量值在第一估计值14与第二估计值16之间执行选择18(通过元件17控制由开关17a表示的元件)。输出(最终)估计值19(Tbest)在第一估计值14与第二估计值16之间进行选择且可被例如提供至解码器,例如以用于执行LTPF。输出(最终)估计值19将用作音高滞后以用于LTPF。
最终估计值(所选值)19也可被输入至寄存器19'且在对随后帧执行迭代时作为第二估计器12的关于先前操作的选择的输入19”(Tprev)。对于每个帧13,第二估计器12基于先前帧的先前最终估计值19”而获得第二估计值16。
图1b展示用于划分成帧的信号的方法100(例如,用于确定待用于LPTF的最终音高滞后)。该方法包含在步骤S101处对当前帧执行第一估计(音高滞后估计)。该方法包含在步骤S102处对当前帧执行第二估计,该第二估计基于在先前帧处操作的选择(例如,在先前帧处选择用于LTPF的最终音高滞后)。该方法包含在步骤S103处基于至少一个相关性测量值在第一估计值14与第二估计值16之间进行选择。
随后,在步骤S104处,更新帧:作为“当前帧”的帧变为“先前帧”,而新(随后)帧变为新“当前帧”。在更新之后,可迭代该方法。
图2展示用于编码信息信号的设备10(其可与图1a的设备相同)的一部分。在选择器17中,第一测量器21可测量与当前帧13相关联的第一相关性(例如,归一化相关性)23(例如,第一估计值T1的归一化自相关)。第二测量器22可测量与当前帧13相关联的第二相关性(例如,归一化相关性)25(例如,第二估计值T2的归一化自相关)。第一归一化相关性23可在缩放器26处缩小预定值α,预定值α可例如为0.8与0.9之间的值,更特别地为0.84与0.86之间的值,且其可为0.85。与当前帧13相关联的第二相关性(例如,归一化相关性)25可例如与经缩放的第一相关性24相比较(在示例中,缩放器26为可选的且第一相关性未经缩放)。在第一估计值14(T1)与第二估计值16(T2)之间的选择18基于在比较器27处执行的比较。当第二相关性25大于经缩放的第一相关性24时,第二估计值16被选为音高滞后信息作为所选输出估计值19(Tbest=T2)以提供至解码器(例如,用作用于LTPF的音高滞后)。当第二相关性25低于经缩放的第一相关性24时,第一估计值14(T1)被选为音高滞后信息19(Tbest=T1)以提供至解码器。
5.2第一估计
在此论述在示例中可用于基于当前帧13提供第一估计值14的第一估计器11的操作。方法30展示在图3中。
步骤1.重采样第一阶段(步骤S31)
采样率F下的输入信号x(n)经重采样至较低采样率F1(例如F1=12.8kHz)。可使用例如典型升采样+低通+降采样方法来实施重采样。在一些示例中,当前步骤为可选的。
步骤2.高通滤波(步骤S21)
接着使用例如在50Hz下以3dB截止的2阶IIR滤波器对经重采样的信号进行高通滤波。所得信号被标记为x1(n)。当前步骤在一些示例中为可选的。
步骤3.重采样第2阶段(步骤S33)
使用例如被抽选器跟随的4阶FIR低通滤波器进一步对信号x1(n)降采样2倍。在采样率F2=F1/2(例如F2=6.4kHz)下的所得信号被标记为x2(n)。当前步骤在一些示例中为可选的。
步骤4.自相关计算(步骤S34)
可执行自相关过程。例如,自相关可通过下式施加于x2(n)
其中N为帧大小。Tmin及Tmax为用于取得音高滞后的最小值及最大值(例如Tmin=32及Tmax=228)。Tmin及Tmax可因此构成其中将发现第一估计值(当前帧的音高滞后)的第一区间的极限值。
步骤5.自相关加权(步骤S35)
可对自相关进行加权以便强调较低音高滞后
Rw(T)=R(T)w(T),T=Tmin,...,Tmax
其中w(T)为递减函数(例如,单调递减函数),例如通过下式给定
步骤6.第一估计(步骤S36)
第一估计值T1为使加权自相关最大化的值:
第一估计值T1可提供作为第一估计器11的输出14。此可为当前帧的音高滞后的估计值。
R(T)(或其加权版本Rw(T))为第一相关性函数的示例,其最大值与第一音高滞后估计值14(T1)相关联。
5.3第二估计
在此论述在示例中可用于基于当前帧13及先前选择(输出)的估计值19″(针对先前帧获得的音高滞后)提供第二估计值16的第二估计器12的操作(和/或步骤S102)。方法40展示在图4中。第二估计值16可不同于第一估计值14。另外,所估计音高滞后在一些示例中可不同于如先前估计的音高滞后。
参考图5,根据示例,在步骤S41处,搜索限于滞后的所限群组,滞后的所限群组在特定第二子区间52内。搜索基于对应于(先前)所选值19”的滞后51。搜索限于第二子区间52中的滞后,其在值δ内(可例如选自2、3、4、5、6、7、8、9、10或另一正自然数中;在一些示例中,δ可为帧长度的百分比,使得若帧具有N个样本,则δ为N的1%与30%,特别地15%与25%之间的百分比)。δ可为预定义滞后数值阈值或预定百分比。
根据示例,在步骤S42处,例如通过第二测量器22计算出子区间52内的自相关值。
根据示例,在步骤S42处,取得自相关结果中的最大值。第二估计值T2为以先前所选值19”居中的第二子区间内的滞后中的使当前帧的音高滞后的邻域中的自相关最大化的值例如:
其中Tprev为如先前(通过选择器17)所选的最终音高滞后51(19”)且δ为限定子区间52的常数(例如δ=4)。值T2可提供作为第二估计器12的输出16。
值得注意地,第一估计值14与第二估计值16可明显地彼此不同。
R(T)(其域在此限于Tprev-δ与Tprev+δ之间)为第二相关性函数的示例,其最大值与第二音高滞后估计值16(T2)相关联。
5.4第一与第二相关性测量值
第一测量器21和/或第二测量器22可执行相关性测量。第一测量器21和/或第二测量器22可执行自相关测量。相关性和/或自相关测量值可被归一化。在此提供示例。
normcorr(T)可为信号x在音高滞后T处的归一化相关性
因此,第一相关性测量值23可为normcorr(T1),其中T1为第一估计值14,且第二相关性测量值25可为normcorr(T2),其中T2为第二估计值16。
值得注意地,第一相关性测量值23为R(T1)(或Rw(T1))的归一化值,而第二相关性测量值25为R(T2)的归一化值。
5.5与阈值的比较
现在可以给出如何比较相关性以用于执行选择的示例。由下式提供示例:
αnormcorr(T1)可被视为音高滞后选择阈值24:若normcorr(T2)≤αnormcorr(T1),则选择器选择T1,否则选择器选择T2。值Tbest(或与其相关联的信息)可因此为所选输出值19(如T1或T2)且被提供至解码器(例如,用于LTPF)且将由第二估计器12用作19”以用于获得第二估计值16。
5.6方法40
与方法30相关联的方法40相对于仅基于方法30的技术提高性能。
在额外低复杂度情况下,可以通过使音高轮廓更稳定及连续而明显改良性能。
方法40发现自相关函数的第二最大值。其并非如方法30中的全局最大值,而是先前帧的音高滞后的邻域中的局部最大值。若选择此第二音高滞后,则产生平滑且连续的音高轮廓。然而,在所有状况下均未选择此第二音高滞后。若例如存在基本频率的预期改变,则较佳地保持全局最大值。
最终选择为选择以方法30发现的第一音高滞后T1(14)还是以方法40发现的第二音高滞后T2(16)。此决策基于周期性的测量。选择归一化相关性作为周期性的测量。若信号完美地为周期性,则其为1,且若信号为非周期性,则其为0。若其对应的归一化相关性高于以参数α缩放的第一音高滞后T1的归一化相关性,则选择第二音高滞后T2。甚至在其归一化相关性略微低于第一音高滞后T1(14)的归一化相关性时,通过选择T2(16),此参数α<1使决策甚至更流畅。
5.7对技术的考虑
参考附图5(1)-5(4)。
第一估计的示例展示在图5(1)中:选择对应于自相关函数的最大值的音高滞后。
这基于以下事实:谐波信号(具有某一给定音高)的自相关性包含音高滞后及此音高滞后的所有倍数的位置处的峰值。
为了避免选择对应于音高滞后的倍数的峰值,对自相关性函数进行加权,如在图5(2)中,不太强调较高音高滞后。此例如用于[7]中。
接着假定加权自相关的全局最大值对应于信号的音高滞后。
一般而言,所采取的第一估计令人满意地起作用:其在极大部分帧中给出正确的音高。
若自相关函数(第一子区间)的滞后的数目相对低,则第一估计也具有复杂度相对低得优点。
图5(1)展示输入信号的(未经加权的)自相关。
存在五个峰值:第一峰值53对应于音高滞后,且其他峰值对应于此音高滞后的倍数53'。
采用(未经加权的)自相关的全局最大值在此状况下将给出错误的音高滞后:将选择音高滞后的倍数,在此状况下为正确的音高滞后的4倍。
然而,加权自相关(图5(2))的全局最大值为正确的音高滞后。
第一估计在若干状况下起作用。然而,存在产生不稳定估计值的一些状况。
此等状况中的一个为包含具有不同音高的若干音调的混合的复音音乐信号。在此状况下,难以从多音高信号提取单个音高。第一估计器11可在该状况下在一个帧中估计音调中的一个的音高(或甚至可为其倍数),且在下一帧中有可能估计另一音调的音高(或其倍数)。因此即使信号稳定(不同音调的音高从一个帧至下一帧并不改变),通过第一估计检测到的音高也可不稳定(音高从一个帧至下一帧明显地发生改变)。
此不稳定行为为LTPF的主要问题。当音高用于LTPF时,具有连续音高轮廓为最重要的,否则可在LTPF滤波输出信号中听到一些伪声。
图5(3)及5(4)说明此问题。
图5(3)展示加权自相关及其在稳定多音高信号的帧中的最大值。正确地在”20”处取得音高滞后”19”,与峰值54一致。
图5(4)展示加权自相关及其在随后帧中的最大值。
在此状况下,前三个峰值54'、54”及54”'具有非常接近的振幅。因此,两个连续帧之间的极略微改变可明显地改变全局最大值及所估计的音高滞后。
在本发明中所采用的解决方案解决了此等不稳定性问题。
除与帧中的峰值相关联的音高滞后以外,当前解决方案选择接近于先前帧的音高滞后的音高滞后。
例如,图5(3)对应于先前帧且图5(4)对应于当前帧。意欲验证是否较佳地在当前帧中选择约20的音高滞后(即,先前帧的音高滞后19”或Tprev)而非如由第一估计器11给定的40的音高滞后。
为了这样做,通过在先前帧的音高滞后的子区间52(Tprev-δ,Tprev+δ)周围估计使自相关函数最大化的第二音高滞后T2而执行第二估计(例如,由第二估计器12)。在图5(4)的状况下,此第二音高滞后T2将为20(第一音高滞后为40)。(即使在此状况下T2=Tprev,此并非产生规则。一般而言,Tprev-δ≤T2≤Tprev+δ)。值得注意地,在示例中,为了估计T2,自相关未经加权。
然而,并不想要在所有状况下选择此第二音高滞后T2。想要基于某一准则选择第一音高滞后T1或第二音高滞后T2。此准则基于归一化相关性(normalized correlation,NC),例如如由选择器17所测量,其通常被视为信号在某一特定音高滞后处的周期性如何的良好测量(为0的NC意味着根本不具有周期性,为1的NC意味着完美地具有周期性)。
接着存在以下若干状况:
-若第二估计值T2的NC高于第一估计值T1的NC:可确定第二估计值T2相较于第一估计值T1较佳,由于第二估计值T2具有较佳NC且其产生稳定决策(先前帧的音高与当前帧的音高非常接近),因此可安全地对其进行选择。
-若第二估计值T2的NC比第一估计值的NC低得多:此指示先前帧的音高19”并不对应于当前帧中的任何周期性,信号不稳定且音高已改变,因此保持先前帧的音高19”且试图产生稳定决策没有意义。在该状况下,忽略第二估计值T2且选择第一估计值T1
-若第二估计值T2的NC略微低于第一估计值T1的NC:两个估计值T1及T2的NC接近且在该状况下将偏好选择产生稳定决策的估计值(即,第二估计值T2),即使它具有略微较差的NC。参数α(α<1)用于以下状况:允许选择第二估计值T2,即使它具有略微较低的NC。此参数α的调谐允许将选择朝向第一估计值T1或第二估计值T2偏置:较低值意味着将更常选择的第二估计值(=决策将更稳定)。0.85(或0.8与0.9之间的值)为良好平衡点:其足够经常地选择第二估计值T2,使得决策对于LTPF足够稳定。
除第一估计外提供的额外步骤(第二估计及选择)具有非常低的复杂度。因此,所提出发明具有低复杂度。
6.编码/解码系统的示例
图6展示关于用于编码/解码的操作的区块图。图展示包含编码器60a(其可包含设备10)及解码器60b的系统60。编码器60a获得输入信息信号61(其可为音频信号和/或可在帧,诸如当前帧13及先前帧之间进行划分)且准备比特流63。解码器60b获得比特流63(例如,以无线方式,例如使用蓝芽)以产生输出信号68(例如,音频信号)。
编码器60a可使用变换编码器62产生信息信号61(或其经处理版本)的频域表示63a且在比特流63中提供至解码器60b。解码器60b可包含变换解码器以用于获得输出信号64a。
编码器60a可使用检测单元65产生对于在解码器60b处执行LTPF有用的数据。这些数据可包含音高滞后估计值(例如,19)和/或增益信息。这些数据可在比特流63中经编码作为控制字段中的数据63b。数据63b(其可包含音高滞后的最终估计值19)可由LTPF编码器66(其在一些示例中可决定是否对数据63b进行编码)准备。这些数据可由LTPF解码器67使用,LTPF解码器可将其应用于来自变换解码器64的输出信号64a以获得输出信号68。
7.例如用于LTPF的示例
7.1编码器处的参数(例如,LTPF参数)
在此提供LTPF参数(或其他类型的参数)的计算的示例。
在以下小节中提供准备用于LTPF的信息的示例。
7.2重采样
在此论述(可选的)重采样技术的示例(可使用其他技术)。
采样率fs下的输入信号可经重采样至12.8kHz的固定采样率。使用可如下公式化的升采样+低通滤波+降采样方法执行重采样
其中指示交易值(向下舍入为整数),x(n)为输入信号,x12.8(n)为12.8kHz下的重采样信号,为升采样因子且h6.4为由下式给定的FIR低通滤波器的脉冲回应
在下表中提供tab_resamp_filter的示例:
7.2.2.高通滤波
在此论述(可选的)高通滤波器技术的示例(可使用其他技术)。
可使用2阶IIR滤波器对重采样信号进行高通滤波,2阶IIR滤波器的转移函数可由下式给定
7.2.3.音高检测
在此论述音高检测技术的示例(可使用其他技术)。
可(可选地)使用下式以2倍降采样信号x12.8(n)
其中h2={0.1236796411180537,0.2353512128364889,0.2819382920909148,0.2353512128364889,0.1236796411180537}。
可通过下式计算出x6.4(n)的自相关性
对于k=kmin..kmax
其中kmin=17且kmax=114为限定第一子区间的最小及最大滞后(可提供kmin及kmax的其他值)。
可使用下式对自相关性进行加权
对于k=kmin..kmax
其中w(k)被限定如下
对于k=kmin..kmax
音高滞后T1的第一估计值14可为使加权自相关性最大化的滞后
音高滞后T2的第二估计值16可为先前帧中所估计的音高滞后(19″)的邻域中的使未经加权自相关性最大化的滞后
其中k′min=max(kmin,Tprev-4),k′max=min(kmax,Tprev+4)且Tprev为先前帧中估计的最终音高滞后(且其选择因此通过先前选择的音高滞后调节)。
当前帧13中的音高滞后的最终估计值19可接着由下式给定
其中normcorr(x,L,T)为在滞后T处的长度为L的信号x的归一化相关性
每个归一化相关性23或25可为由信号第一测量器21或第二测量器22获得的测量值中的至少一个。
7.2.4.LTPF比特流
在一些示例中,LTPF比特流的第一比特发信号通知音高滞后参数在比特流中的存在。其通过下式获得
(替代0.6,例如可使用不同阈值,例如0.4与0.8之间,或0.5与0.7之间,或0.55与0.65之间的阈值。)
若pitch_present为0,则不再对比特进行编码,从而产生仅一个比特的LTPF比特流。
若pitch_present为1,则对两个更多参数进行编码,一个音高滞后参数以9个比特进行编码,且一个比特用以发信号通知LTPF的激活。在该状况下,LTPF比特流由11个比特构成。
7.2.5.LTPF音高滞后参数
在此论述用于获得LTPF音高滞后参数的示例(可使用其他技术)。
LTPF音高滞后参数的整数部分可由下式给定
其中
以及k″min=max(32,2Tcurr-4),k″max=min(228,2Tcurr+4)。
LTPF音高滞后的分数部分可接着由下式给定
其中
且h4为FIR低通滤波器的脉冲回应,由下式给定
tab_ltpf_interp_R可例如为:
若pitch_fr<0,则pitch_int及pitch_fr两者根据下式修改
pitch_int=pitch_int-1
pitch_fr=pitch_fr+4
最后,音高滞后参数索引由下式给定
7.2.6.LTPF激活比特
归一化相关性首先计算如下
其中
且hi为FIR低通滤波器的脉冲回应,由下式给定
其中tab_ltpf_interp_x12k8由以下给定:
LTPF激活比特接着根据以下设定:
其中mem_ltpf_active为先前帧中的ltpf_active的值(若先前帧中的pitch_present=0,则其为0),mem_nc为先前帧中的nc的值(若先前帧中的pitch_present=0,则其为0),pitch=pitch_int+pitch_fr/4及mem_pitch为先前帧中的音高的值(若先前帧中的pitch_present=0,则其为0)。
7.3解码器处的LTPF
例如在修改离散余弦变换(Modified Discrete Cosine Transformation,MDCT)合成、修改离散正弦变换(Modified Discrete Sine Transformation,MDST)合成或基于另一变换的合成之后的频域(FD)中的经解码信号可在时域中使用IIR滤波器而被后滤波,IIR滤波器的参数可取决于LTPF比特流数据“pitch_index”及“ltpf_active”。为了在参数从一个帧到下一帧发生改变时避免不连续性,过渡机制可施加于当前帧的前四分之一。
在示例中,可使用下式实施LTPF IIR滤波器
其中为滤波器输入信号(即在MDCT合成之后的经解码信号)且为滤波器输出信号。
LTPF音高滞后的整数部分pint及分数部分pfr可计算如下。首先,12.8kHz下的音高滞后使用下式恢复
接着使用下式将音高滞后缩放至输出采样率fs且转化成整数及分数部分
pfr=pup-4*Pint
其中fs为采样率。
滤波器系数cnum(k)及cden(k,pfr)可计算如下
cnum(k)=0.85*gain_ltpf*tab_ltpf_num_fs[gain_ind][k]对于k=0..Lnum
cden(k,pfr)=gain_ltpf*tab_ltpf_den_fs[pfr][k]对于k=0..Lden
其中
Lnum=Lden-2
且gain_ltpf及gain_ind可根据以下获得
且表tab_ltpf_num_fs[gain_ind][k]及tab_ltpf_den)fs[pfr][k]是预定的。
在此提供tab_ltpf_num_fs[gain_ind][k]的示例(替代”fs”,指示采样率):
在此提供tab_ltpf_den_fs[pfr][k]的示例(替代”fs”,指示采样率):
参看过渡处理,考虑五个不同状况。
第一状况:ltpf_active=0且mem_ltpf_active=0
对于
第二状况:ltpf_active=1且mem_ltpf_active=0
对于
第三状况:ltpf_active=0且mem_ltpf_active=1
对于
其中以及为先前帧中计算出的滤波器参数。
第四状况:ltpf_active=1且mem_ltpf_active=1且
对于
第五状况:ltpf_active=1且mem_ltpf_active=1且
对于
对于
其中Nf为一个帧中的样本的数目。
7.4其他优点
如可理解,根据上述示例的解决方案对解码器是透明的。不需要发信号通知解码器,例如通知第一估计值或第二估计值已被选择。
因此,比特流63中不存在增大的有效载荷。
另外,不需要修改解码器来适应于在编码器处所执行的新过程。解码器并不需要知晓已经实施本发明。因此,本发明准许提高与传统系统的兼容性。
8.封包丢失隐藏
可在解码器(例如,60b)处使用如由上述设备10、60a或110获得的音高滞后Tbest(19)以用于实施封包丢失隐藏(packet loss concealment,PLC)(也被称作错误隐藏)。PLC在音频编解码器中在从编码器至解码器的传输期间用于隐藏丢失或损坏的封包。在现有技术中,PLC可在解码器侧执行且将经解码信号外插于变换域或时域中。
音高滞后可为用于基于音高的PLC中的主要参数。此参数可在编码器侧被估计且被编码成比特流。在此状况下,最后的良好帧的音高滞后用来隐藏当前丢失帧。
损坏的帧并不提供正确的可听输出且应舍弃。
对于解码器处的每个经解码帧,可验证其有效性。例如,每个帧可具有携载循环冗余代码(cyclical redundancy code,CRC)的字段,通过执行由预定算法提供的预定操作而验证循环冗余代码。可重复程序以验证计算出的结果是否对应于CRC字段上的值。若帧尚未被适当地解码(例如,鉴于传输中的干扰),则假定一些误差已影响了帧。因此,若验证提供不正确解码的结果,则帧保持未被适当地解码(无效、损坏的)。
当帧已被确认为未被适当地解码时,隐藏策略可用于提供可听输出:否则,可听到如令人恼怒的可听孔洞的事物。因此,有必要找到“填充由未被适当地解码的帧保持打开的间隙”的某形式的帧。帧丢失隐藏程序的目的为隐藏任何不可用或损坏的帧对于解码的效应。
8.1隐藏策略
帧丢失隐藏程序可包含用于各种信号类型的隐藏方法。可通过选择最合适的方法而获得在帧丢失的易错情形中的最佳可能的编解码器性能。封包丢失隐藏方法中的一个可例如为TCX时域隐藏。
8.2 TCX时域隐藏
TCX时域隐藏方法为在时域中操作的基于音高的PLC技术。其最适合于具有主谐波结构的信号。程序的示例如下:利用如章节8.2.1中所描述的LP滤波器对最后的经解码帧的合成信号进行反滤波以获得如章节8.2.2中所描述的周期性信号。在章节8.2.3中,随机信号由随机生成器生成,具有大致均匀分布。两个激励信号加总以形成总激励信号,如章节8.2.4中所描述,其自适应地以章节8.2.6中所描述的衰减因子而渐弱且最后利用LP滤波器滤波以获得合成的隐藏时间信号。若LTPF已经用于最后的良好帧中,则LTPF也可施加于合成的隐藏时间信号,如章节8.3中所描述。为了得到与在丢失帧之后的第一良好帧的适当重叠,在章节8.2.5中产生时域混叠消除信号。
8.2.1 LPC参数计算
TCX时域隐藏方法在激励域中操作。可对80个等距频域频带计算自相关函数。利用固定预加重因子μ来预加重能量
fs μ
8000 0.62
16000 0.72
24000 0.82
32000 0.92
48000 0.92
在使用反向均匀堆叠DFT将自相关函数变换至时域之前,使用以下窗口对自相关函数进行滞后加窗
对于i=1...16
最后,Levinson Durbin操作可用于获得用于隐藏帧的LP滤波器ac(k)。示例提供如下:
LP滤波器可仅在良好帧之后的第一丢失帧中进行计算且保留在随后的丢失帧中。
8.2.2激励的周期性部分的构造
首先使用滤波器利用来自章节8.2.1的预加重因子对最后的经解码时间样本进行预加重
Hpre-emph(z)=1-μz-1
以获得信号xpre(k),其中Tc为音高滞后值pitch_int或若pitch_fr>0,为pitch_int+1。值pitch_int及pitch_fr为比特流中传输的音高滞后值。
预加重信号xpre(k)进一步利用计算出的反LP滤波器进行滤波以获得先前的激励信号exc′p(k)。为了构造激励信号excp(k),对于当前丢失帧,利用Tc反复复制exc′p(k)如下
excp(k)=exc′p(E-Tc+k),对于k=0..N-1
其中E对应于exc′p(k)中的最后一个样本。若稳定性因子θ低于1,则exc′p(k)的第一音高循环首先利用下表中描述的11分接头线性相位有限脉冲响应(finite impulseresponse,FIR)滤波器进行低通滤波。
音高增益g′p可计算如下
若pitch_fr=0,则gp=g′p。否则,第二音高增益g″p可计算如下
且gp=max(g′p,g″p)。若g″p>g′p,则Tc减小一以供进一步处理。
最后,gp以0≤gp≤1为界。
所形成周期性激励excp(k)始于一且结束于衰减因子α地在整个帧中逐样本地减弱,以获得音高增益仅在良好帧之后的第一丢失帧中进行计算且被设定为α以用于进一步连续帧丢失。
8.2.3激励的随机部分的构造
激励的随机部分可利用随机生成器以大致均匀分布生成如下:
excn,FB(k)=extract(excn,FB(k-1)·12821+16831),对于k=0...N-1
其中对于利用此方法隐藏的第一帧,excn,FB(-1)以24607初始化,且extract()提取值的16LSB。对于其他帧,excn,FB(N-1)被储存且用作下一个excn,FB(-1)。
为了将噪声移位至较高频率,利用下表中描述的11分接头线性相位FIR滤波器对激励信号进行高通滤波,以得到excn,HP(k)。
为了确保噪声可以以取决于衰减因子α地衰落速度衰落为全频带噪声,激励的随机部分excn(k)经由在全频带excn,FB(k)与经高通滤波版本excn,HP(k)之间的线性内插构成,如
excn(k)=(1-β)·excn,FB(k)+β·excn,HP(k),对于k=0...N-1
其中对于良好帧之后的第一丢失帧,β=1,且
β=β-1·α
对于第二及进一步连续帧丢失,其中β-1为先前隐藏帧的β。
为了调整噪声级,噪声增益g′n经计算为
若在章节8.2.2之后Tc=pitch_int,则gn=g′n。否则,第二噪声增益g″n如上述等式中所计算,但Tc为pitch_int。在下文中,gn=min(g′n,g″n)。
为了进一步处理,gn首先被归一化且接着乘以(1.1-0.75gp)以得到
所形成随机激励excn(k)以从第一样本至第五样本均匀衰减,且随后始于且结束于在整个帧中逐样本地衰减,以获得噪声增益gn仅在良好帧之后的第一丢失帧中进行计算且被设定为gn·α以用于进一步连续帧丢失。
8.2.4总激励、合成及后处理的构造
将随机激励添加至周期性激励以形成总激励信号exct(k)。通过利用来自章节8.2.1的LP滤波器对总激励进行滤波而获得隐藏帧的最终合成信号且利用去加重滤波器对其进行后处理。
8.2.5时域混叠消除
为了在下一帧为良好帧状况下得到适当重叠-添加,可产生时域混叠消除部分xTDAC(k)。为此,形成与上文所描述相同的N-z额外样本以获得信号x(k),k=0...2N-Z。基于此,通过以下步骤形成时域混叠消除部分:
零填充合成时域缓冲区x(k)
利用MDCT窗口wN(k)对进行加窗
0≤k<2N
从2N重整形为N
从N重整形为2N
利用翻转修改离散余弦变换(MDCT)(或修改离散正弦变换MDST,在其他示例中)窗口wN(k)对进行加窗
0≤k<2N
8.2.6多个帧丢失的处理
所构造信号逐渐衰落为零。通过衰减因子α控制衰落速度,该衰减因子取决于先前衰减因子α-1、基于最后一个正确接收的帧计算出的音高增益gp、连续被抹除帧的数目nbLostCmpt,以及稳定性θ。以下程序可用于计算衰减因子α
可获得因子θ(最后两个邻近缩放因子向量scf-2(k)及scf-1(k)的稳定性),例如为:
其中scf-2(k)及scf-1(k)为最后两个邻近帧的缩放因子向量。因子θ以0≤θ≤1为界,其中θ的较大值对应于更稳定信号。此限制能量及频谱包络波动。若当前不存在两个邻近缩放因子向量,则因子θ被设定为0.8。
为了防止高速能量增大,利用Xs(0)=Xs(0)·0.2及Xs(1)=Xs(1)·0.5对频谱进行低通滤波。
9.具有相同音高滞后信息的LTPF及PLC
图9展示可用于操作解码器60b的方法100′的通用示例。在步骤S101′处,信号的经编码版本可被解码。在示例中,可从储存单元接收(例如,经由蓝牙连接)和/或获得帧。音高滞后Tbest(选择于如上文所论述的T1与T2之间)可用于PLC及LTPF两者。
在步骤S102′处,检查帧的有效性(例如,利用CRC、奇偶性等等)。若已确认帧的无效性,则执行隐藏(见下文)。
否则,若帧保持有效,则在步骤S103′处,检查音高信息是否在帧中被编码。在一些示例中,仅在调和性已被确认为高于特定阈值(其可指示例如调和性对于执行例如LTPF和/或PLC足够高)时,音高信息才被编码。
若在S103′处确认音高信息确实被编码,则在步骤S104′处对音高信息进行解码及储存。否则,循环结束且可在S101′处对新帧进行解码。
随后,在步骤S105′处,检查是否启用LTPF。若验证LTPF经启用,则在步骤S106处执行LTPF。否则,跳过LTPF;循环结束;以及可在S101′处对新帧进行解码。
参照隐藏,后者可再分为各步骤。在步骤S107′处,验证先前帧的音高信息(或先前帧中的一个的音高信息)是否储存于存储器中(即,可自由处理)。
若验证所搜寻音高信息被储存,则可在步骤S108处执行错误隐藏。可执行利用信号加扰的MDCT(或MDST)帧分辨率重复,和/或TCX时域隐藏,和/或相位ECU。
否则,若在S107′处验证未储存新鲜音高信息(因此,例如解码器未传输音高滞后),则可在步骤S109′处使用本身已知且不意指使用由编码器提供的音高信息的不同隐藏技术。这些技术中的一些可基于在解码器处估计音高信息和/或其他调和性信息。在一些示例中,在此状况下无隐藏技术可执行。
在已执行隐藏之后,循环结束且可在S101′处对新帧进行解码。
应注意,由PLC使用的音高滞后为基于在估计T1与T2之间的选择由设备10和/或60b准备的值19(tbest),如上文所论述。
10.其他示例
图7展示设备110,设备110可实施设备10和/或60a,执行上述方法的至少一些步骤。设备110可包含处理器111及储存指令(例如,程序)的非暂时性存储器单元112,指令在由处理器111执行时可致使处理器111执行第一估计112a(例如,实施第一估计器11)、第二估计112b(例如,实施第二估计器12),和/或选择112c(例如,实施选择器18)。设备110可包含输入单元116,输入单元可获得输入信息信号(例如,音频信号)。设备可将比特流例如储存在储存空间128中。
图8展示设备120,设备120可实施解码器60b,和/或执行例如LTPF滤波。设备120可包含处理器121及储存指令122a(例如,程序)的非暂时性存储器单元122,指令在由处理器121执行时可致使处理器121例如基于从编码器获得的参数尤其执行LTPF滤波操作。设备120可包含输入单元126,输入单元可获得信息信号(例如,音频信号)的经解码表示。处理器121可因此执行处理以获得信息信号的经解码表示。可使用输出单元127将此经解码表示提供至外部单元。输出单元127可包含例如通信单元以与外部装置(例如,使用无线通信,诸如蓝牙)和/或外部储存空间通信。处理器121可将音频信号的经解码表示保存在本地储存空间128中。
在示例中,系统110与120可为相同装置。
取决于特定实施要求,示例可以以硬件实施。可使用数字储存介质执行该实施,例如软盘、数字多功能光盘(DVD)、蓝光光盘、紧密光盘(CD)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除及可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存,上面储存有电子可读控制信号,电子可读控制信号与可编程计算机系统协作(或能够协作)使得执行各个方法。因此,数字储存介质可为计算机可读的。
通常,示例可实施为具有程序指令的计算机程序产品,当计算机程序产品运行于计算机上时,程序指令操作性地用于执行方法中的一个。程序指令可例如储存于机器可读介质上。
其他示例包含用于执行本文所描述的方法中的一个、储存于机器可读载体上的计算机程序。换言之,方法的示例因此为计算机程序,其具有用于在计算机程序于计算机上运行时执行本文中所描述的方法中的一个的程序指令。
方法的另一示例因此为数据载体介质(或数字储存介质,或计算机可读介质),包含、上面记录有用于执行本文所描述的方法中的一个的计算机程序。数据载体介质、数字储存介质或记录介质为有形和/或非暂时性的,而非无形及暂时性的信号。
另一示例包含处理单元,例如计算机或可编程逻辑装置,其执行本文所描述的方法中之一个。
另一示例包含计算机,其上安装有用于执行本文中所描述的方法中的一个的计算机程序。
另一示例包含将用于执行本文所描述的方法中之一个的计算机程序传送(例如以电子方式或以光学方式)至接收器的设备或系统。举例而言,接收器可为计算机、移动装置、存储器装置等。设备或系统可例如包含用于传送计算机程序至接收器的文件服务器。
在一些示例中,可编程逻辑装置(例如,场可编程门阵列)可用以执行本文中所描述的方法的功能性中的一些或全部。在一些示例中,场可编程门阵列可与微处理器协作,以便执行本文中所描述的方法中的一个。通常,方法可由任何适当的硬设备执行。
上述示例说明上文所论述的原理。应理解,本文中所描述的配置及细节的修改及变化将为显而易见的。因此,希望受到接下来的申请专利权利要求的范畴限制,而不受通过本文中的示例的描述及解释所呈现的特定细节限制。

Claims (21)

1.一种用于对包括多个帧的信息信号进行编码的设备(10,60a,110),其中所述信息信号为音频信号,所述设备包含:
第一估计器(11),被配置以获得第一估计值(14,T1),第一估计值为当前帧(13)的音高滞后的估计值,其中第一估计值(14)被获得作为使与当前帧(13)相关联的第一相关性函数最大化的滞后(T1);
第二估计器(12),被配置以获得第二估计值(16,T2),第二估计值为当前帧(13)的音高滞后的另一估计值,其中通过在先前帧处选择的音高滞后(51,19”)调节第二估计器(12)以便获得当前帧(13)的第二估计值(16,T2),其中第二估计器(12)被配置以通过在含有针对先前帧选择的音高滞后(51,19”)的第二子区间(52)中搜索使第二相关性函数最大化的滞后而获得第二估计值(16,T2);
选择器(17),被配置以通过基于第一相关性测量值及第二相关性测量值(23,25)在第一估计值(14,T1)与第二估计值(16,T2)之间执行选择(S103)而选择所选值(19,Tbest),其中选择器(17)被配置以在以下之间执行比较:
与当前帧(13)相关联且在对应于第一估计值(14,T1)的滞后处获得的第一归一化自相关测量值(23)的缩小版本(24);和
与当前帧(13)相关联且在对应于第二估计值(16,T2)的滞后处获得的第二归一化自相关测量值(25),
以便在第二归一化自相关测量值(25)小于第一归一化自相关测量值(23)的缩小版本(24)时选择第一估计值(14,T1),和/或
在第二归一化自相关测量值(25)大于第一归一化自相关测量值(23)的缩小版本(24)时选择第二估计值(16,T2)。
2.根据权利要求1所述的设备,进一步包含:
检测单元(10,65),包含第一估计器,第二估计器,和选择器(17);以及
长期后滤波LTPF工具(66),被配置以对对于在解码器(60b)处执行LTPF是有用的数据进行编码,对于执行LTPF是有用的数据包括所选值(19,Tbest)。
3.根据权利要求1所述的设备,进一步包含在选择器(17)下游的用于控制解码器设备(60b)处的长期后滤波器(67)的长期后滤波LTPF工具(66)。
4.根据权利要求1所述的设备,被配置以比较所选值(19,Tbest)的调和性与预定LTPF阈值,以便避免在所选值(19,Tbest)的调和性低于预定阈值的情况下对所选值(19,Tbest)进行编码。
5.根据权利要求1所述的设备,其中:
第二子区间(52)含有在距针对先前帧选择的音高滞后(51,19”)小于预定义滞后数值阈值的距离内的滞后(T)。
6.根据权利要求1所述的设备,其中第二估计器(12)被配置以:
搜索第二相关性函数值中的最大值以使第二估计值(16)与相关联于第二相关性函数值中的最大值的滞后(T2)相关联。
7.根据权利要求1所述的设备,其中第一相关性函数限于第一子区间中的滞后。
8.根据权利要求7所述的设备,其中第一子区间含有大于第二子区间(52)的多个滞后,和/或第二子区间(52)中的滞后中的至少一些包含于第一子区间中。
9.根据权利要求1所述的设备,其中第一估计器(11)被配置以:
在搜索使第一相关性函数最大化的滞后(T1)之前使用单调递减加权函数对第一相关性函数的相关性测量值进行加权。
10.根据权利要求1所述的设备,其中第一估计器(11)被配置以通过执行以下操作中的至少一些而获得第一估计值T1
Rw(k)=R(k)w(k)对于k=kmin…kmax
对于k=kmin…kmax
对于k=kmin…kmax
W(k)为加权函数,kmin及kmax分别为最小滞后及最大滞后,R为基于信息信号或其经处理版本估计的自相关测量值,且N为帧长度,x为信息信号。
11.根据权利要求1所述的设备,其中第二估计器(12)被配置以通过执行以下而获得第二估计值T2
其中k′min=max(kmin,Tprev-δ),k′max=min(kmax,Tprev+δ),Tprev为在先帧中的所选估计值,δ为与Tprev的距离,kmin以及kmax分别为最小滞后及最大滞后,R为基于信息信号或其经处理版本估计的自相关测量值。
12.根据权利要求1所述的设备,其中选择器(17)被配置以关于以下执行音高滞后估计值Tcurr的选择:
其中T1为第一估计值,T2为第二估计值,x为信息信号或其经处理版本的值,normcorr(x,N,T)为长度为N的信号x在滞后T处的归一化相关性测量值,α为缩小系数。
13.根据权利要求1所述的设备,被配置以使用通过加权函数加权的相同相关性函数获得第一相关性测量值与第二相关性测量值。
14.根据权利要求1所述的设备,被配置以获得第一归一化自相关测量值作为通过加权函数加权的第一估计值的归一化版本。
15.根据权利要求1所述的设备,被配置以获得第二归一化自相关测量值作为第二估计值的归一化版本。
16.根据权利要求1所述的设备,进一步包含变换编码器(62),变换编码器被配置以产生信息信号(61)的频域表示(63a)。
17.一种用于确定划分成帧的信号的音高滞后的方法(100),其中所述信号为音频信号,所述方法包含:
对当前帧执行第一估计(S101)以获得第一估计值(14)作为使与当前帧(13)相关联的第一相关性函数最大化的滞后(T1);
在含有针对先前帧选择的音高滞后(51,19”)的第二子区间(52)中搜索使第二相关性函数最大化的滞后(T2)而获得对当前帧执行第二估计(S102),其中基于在先前帧处执行的选择步骤的结果而获得执行第二估计;以及
基于第一归一化自相关测量值和第二归一化自相关测量值在第一估计处获得的第一估计值(14,T1)与第二估计处获得的第二估计值(16,T2)之间进行选择(S103),
其中选择包括在以下之间执行比较:
与当前帧(13)相关联且在对应于第一估计值(14,T1)的滞后处获得的第一归一化自相关测量值(23)的缩小版本(24);
与当前帧(13)相关联且在对应于第二估计值(16,T2)的滞后处获得的第二归一化自相关测量值(25);以及
在第二归一化自相关测量值(25)小于第一归一化自相关测量值(23)的缩小版本时选择第一估计值(14,T1),和/或在第二归一化自相关测量值(25)大于第一归一化自相关测量值(23)的缩小版本时选择第二估计值(16,T2)。
18.根据权利要求17所述的方法,进一步包含使用所选滞后用于长期后滤波LTPF。
19.一种用于对划分成帧的信号的比特流进行编码的方法(100),包含:
执行如权利要求17所述的方法;以及
对对于在解码器(60b)处执行LTPF是有用的数据进行编码,对于执行LTPF是有用的数据包括所选值(19,Tbest)。
20.根据权利要求17所述的方法,进一步包含使用所选滞后用于封包丢失隐藏PLC。
21.一种存储指令的非暂时性存储单元,指令在由处理器(111)执行时致使处理器执行如权利要求17或19所述的方法。
CN201880085502.5A 2017-11-10 2018-11-05 选择音高滞后 Active CN111566733B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17201091.0A EP3483886A1 (en) 2017-11-10 2017-11-10 Selecting pitch lag
EP17201091.0 2017-11-10
PCT/EP2018/080195 WO2019091922A1 (en) 2017-11-10 2018-11-05 Selecting pitch lag

Publications (2)

Publication Number Publication Date
CN111566733A CN111566733A (zh) 2020-08-21
CN111566733B true CN111566733B (zh) 2023-08-01

Family

ID=60301906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085502.5A Active CN111566733B (zh) 2017-11-10 2018-11-05 选择音高滞后

Country Status (18)

Country Link
US (1) US11380341B2 (zh)
EP (2) EP3483886A1 (zh)
JP (1) JP7079325B2 (zh)
KR (1) KR102426050B1 (zh)
CN (1) CN111566733B (zh)
AR (1) AR114388A1 (zh)
AU (1) AU2018363670B2 (zh)
BR (1) BR112020009114A2 (zh)
CA (1) CA3082175C (zh)
ES (1) ES2900058T3 (zh)
MX (1) MX2020004786A (zh)
PL (1) PL3707718T3 (zh)
PT (1) PT3707718T (zh)
RU (1) RU2742739C1 (zh)
SG (1) SG11202004203WA (zh)
TW (1) TWI728277B (zh)
WO (1) WO2019091922A1 (zh)
ZA (1) ZA202002521B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021076297A1 (en) * 2019-10-19 2021-04-22 Google Llc Self-supervised pitch estimation
US11699209B2 (en) * 2020-10-22 2023-07-11 Huawei Cloud Computing Technologies Co., Ltd. Method and apparatus for embedding and extracting digital watermarking for numerical data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018706A (en) * 1996-01-26 2000-01-25 Motorola, Inc. Pitch determiner for a speech analyzer
US6507814B1 (en) * 1998-08-24 2003-01-14 Conexant Systems, Inc. Pitch determination using speech classification and prior pitch estimation
CN1441950A (zh) * 2000-07-14 2003-09-10 康奈克森特系统公司 处理丢失帧的语音通信系统及方法
CN103109321A (zh) * 2010-09-16 2013-05-15 高通股份有限公司 估计音调滞后
EP2980799A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an audio signal using a harmonic post-filter
CN105431903A (zh) * 2013-06-21 2016-03-23 弗朗霍夫应用科学研究促进协会 使用tcx ltp利用损毁或未接收到的帧的重建的音频解码

Family Cites Families (178)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3639753A1 (de) 1986-11-21 1988-06-01 Inst Rundfunktechnik Gmbh Verfahren zum uebertragen digitalisierter tonsignale
US5012517A (en) 1989-04-18 1991-04-30 Pacific Communication Science, Inc. Adaptive transform coder having long term predictor
US5233660A (en) * 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding
JPH05281996A (ja) * 1992-03-31 1993-10-29 Sony Corp ピッチ抽出装置
IT1270438B (it) * 1993-06-10 1997-05-05 Sip Procedimento e dispositivo per la determinazione del periodo del tono fondamentale e la classificazione del segnale vocale in codificatori numerici della voce
US5581653A (en) 1993-08-31 1996-12-03 Dolby Laboratories Licensing Corporation Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder
JP3402748B2 (ja) * 1994-05-23 2003-05-06 三洋電機株式会社 音声信号のピッチ周期抽出装置
JPH0811644A (ja) 1994-06-27 1996-01-16 Nissan Motor Co Ltd ルーフモール取付構造
US6167093A (en) 1994-08-16 2000-12-26 Sony Corporation Method and apparatus for encoding the information, method and apparatus for decoding the information and method for information transmission
EP0732687B2 (en) 1995-03-13 2005-10-12 Matsushita Electric Industrial Co., Ltd. Apparatus for expanding speech bandwidth
US5781888A (en) 1996-01-16 1998-07-14 Lucent Technologies Inc. Perceptual noise shaping in the time domain via LPC prediction in the frequency domain
US5812971A (en) 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
JPH1091194A (ja) 1996-09-18 1998-04-10 Sony Corp 音声復号化方法及び装置
US6570991B1 (en) 1996-12-18 2003-05-27 Interval Research Corporation Multi-feature speech/music discrimination system
KR100261253B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
GB2326572A (en) 1997-06-19 1998-12-23 Softsound Limited Low bit rate audio coder and decoder
WO1999016050A1 (en) 1997-09-23 1999-04-01 Voxware, Inc. Scalable and embedded codec for speech and audio signals
JP3344962B2 (ja) 1998-03-11 2002-11-18 松下電器産業株式会社 オーディオ信号符号化装置、及びオーディオ信号復号化装置
US7272556B1 (en) 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US6735561B1 (en) 2000-03-29 2004-05-11 At&T Corp. Effective deployment of temporal noise shaping (TNS) filters
EP1139665A1 (en) 2000-03-29 2001-10-04 Deutsche Thomson-Brandt Gmbh Method and apparatus for changing the output delay of audio or video data encoding
US7099830B1 (en) 2000-03-29 2006-08-29 At&T Corp. Effective deployment of temporal noise shaping (TNS) filters
US6665638B1 (en) * 2000-04-17 2003-12-16 At&T Corp. Adaptive short-term post-filters for speech coders
US7395209B1 (en) 2000-05-12 2008-07-01 Cirrus Logic, Inc. Fixed point audio decoding system and method
WO2002101717A2 (en) 2001-06-11 2002-12-19 Ivl Technologies Ltd. Pitch candidate selection method for multi-channel pitch detectors
US7512535B2 (en) 2001-10-03 2009-03-31 Broadcom Corporation Adaptive postfiltering methods and systems for decoding speech
US6785645B2 (en) 2001-11-29 2004-08-31 Microsoft Corporation Real-time speech and music classifier
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7433824B2 (en) 2002-09-04 2008-10-07 Microsoft Corporation Entropy coding by adapting coding between level and run-length/level modes
JP4287637B2 (ja) 2002-10-17 2009-07-01 パナソニック株式会社 音声符号化装置、音声符号化方法及びプログラム
KR101049751B1 (ko) * 2003-02-11 2011-07-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
KR20030031936A (ko) * 2003-02-13 2003-04-23 배명진 피치변경법을 이용한 단일 음성 다중 목소리 합성기
US20040162866A1 (en) 2003-02-19 2004-08-19 Malvar Henrique S. System and method for producing fast modulated complex lapped transforms
WO2004112021A2 (en) 2003-06-17 2004-12-23 Matsushita Electric Industrial Co., Ltd. Receiving apparatus, sending apparatus and transmission system
ES2354427T3 (es) 2003-06-30 2011-03-14 Koninklijke Philips Electronics N.V. Mejora de la calidad de audio decodificado mediante la adición de ruido.
US7620545B2 (en) 2003-07-08 2009-11-17 Industrial Technology Research Institute Scale factor based bit shifting in fine granularity scalability audio coding
KR100550003B1 (ko) * 2003-07-11 2006-02-08 학교법인연세대학교 상호부호화기에서 개회로 피치 추정 방법 및 그 장치
RU2368018C2 (ru) * 2003-07-18 2009-09-20 Конинклейке Филипс Электроникс Н.В. Кодирование аудиосигнала с низкой скоростью передачи битов
WO2005027096A1 (en) 2003-09-15 2005-03-24 Zakrytoe Aktsionernoe Obschestvo Intel Method and apparatus for encoding audio
US7009533B1 (en) 2004-02-13 2006-03-07 Samplify Systems Llc Adaptive compression and decompression of bandlimited signals
KR20050087956A (ko) 2004-02-27 2005-09-01 삼성전자주식회사 무손실 오디오 부호화/복호화 방법 및 장치
ATE527654T1 (de) 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
DE102004009954B4 (de) 2004-03-01 2005-12-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines Multikanalsignals
DE102004009949B4 (de) 2004-03-01 2006-03-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ermitteln eines Schätzwertes
CN1930607B (zh) 2004-03-05 2010-11-10 松下电器产业株式会社 差错隐藏装置以及差错隐藏方法
US7272567B2 (en) 2004-03-25 2007-09-18 Zoran Fejzo Scalable lossless audio codec and authoring tool
US7933767B2 (en) * 2004-12-27 2011-04-26 Nokia Corporation Systems and methods for determining pitch lag for a current frame of information
JP5129117B2 (ja) 2005-04-01 2013-01-23 クゥアルコム・インコーポレイテッド 音声信号の高帯域部分を符号化及び復号する方法及び装置
US7539612B2 (en) 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
US7546240B2 (en) 2005-07-15 2009-06-09 Microsoft Corporation Coding with improved time resolution for selected segments via adaptive block transformation of a group of samples from a subband decomposition
KR20070037945A (ko) 2005-10-04 2007-04-09 삼성전자주식회사 오디오 신호의 부호화/복호화 방법 및 장치
US20070118361A1 (en) 2005-10-07 2007-05-24 Deepen Sinha Window apparatus and method
KR100888474B1 (ko) 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
US7805297B2 (en) 2005-11-23 2010-09-28 Broadcom Corporation Classification-based frame loss concealment for audio signals
US9123350B2 (en) 2005-12-14 2015-09-01 Panasonic Intellectual Property Management Co., Ltd. Method and system for extracting audio features from an encoded bitstream for audio classification
US8255207B2 (en) 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
US8345890B2 (en) 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
CN101395661B (zh) 2006-03-07 2013-02-06 艾利森电话股份有限公司 音频编码和解码的方法和设备
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
JP2009539132A (ja) 2006-05-30 2009-11-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号の線形予測符号化
CN1983909B (zh) * 2006-06-08 2010-07-28 华为技术有限公司 一种丢帧隐藏装置和方法
US8015000B2 (en) 2006-08-03 2011-09-06 Broadcom Corporation Classification-based frame loss concealment for audio signals
US8706507B2 (en) 2006-08-15 2014-04-22 Dolby Laboratories Licensing Corporation Arbitrary shaping of temporal noise envelope without side-information utilizing unchanged quantization
FR2905510B1 (fr) 2006-09-01 2009-04-10 Voxler Soc Par Actions Simplif Procede d'analyse en temps reel de la voix pour le controle en temps reel d'un organe numerique et dispositif associe
CN101140759B (zh) 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
US7752038B2 (en) * 2006-10-13 2010-07-06 Nokia Corporation Pitch lag estimation
DE102006049154B4 (de) 2006-10-18 2009-07-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodierung eines Informationssignals
KR101292771B1 (ko) 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
WO2008072701A1 (ja) 2006-12-13 2008-06-19 Panasonic Corporation ポストフィルタおよびフィルタリング方法
FR2912249A1 (fr) 2007-02-02 2008-08-08 France Telecom Codage/decodage perfectionnes de signaux audionumeriques.
JP4871894B2 (ja) 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
JP5618826B2 (ja) * 2007-06-14 2014-11-05 ヴォイスエイジ・コーポレーション Itu.t勧告g.711と相互運用可能なpcmコーデックにおいてフレーム消失を補償する装置および方法
EP2015293A1 (en) 2007-06-14 2009-01-14 Deutsche Thomson OHG Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain
JP4928366B2 (ja) 2007-06-25 2012-05-09 日本電信電話株式会社 ピッチ探索装置、パケット消失補償装置、それらの方法、プログラム及びその記録媒体
JP4572218B2 (ja) 2007-06-27 2010-11-04 日本電信電話株式会社 音楽区間検出方法、音楽区間検出装置、音楽区間検出プログラム及び記録媒体
US10795949B2 (en) 2007-07-26 2020-10-06 Hamid Hatami-Hanza Methods and systems for investigation of compositions of ontological subjects and intelligent systems therefrom
EP2183851A1 (fr) 2007-08-24 2010-05-12 France Telecom Codage/decodage par plans de symboles, avec calcul dynamique de tables de probabilites
WO2009029035A1 (en) 2007-08-27 2009-03-05 Telefonaktiebolaget Lm Ericsson (Publ) Improved transform coding of speech and audio signals
CN100524462C (zh) 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
BRPI0818927A2 (pt) 2007-11-02 2015-06-16 Huawei Tech Co Ltd Método e aparelho para a decodificação de áudio
WO2009066869A1 (en) 2007-11-21 2009-05-28 Electronics And Telecommunications Research Institute Frequency band determining method for quantization noise shaping and transient noise shaping method using the same
KR101162275B1 (ko) 2007-12-31 2012-07-04 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
US8386271B2 (en) 2008-03-25 2013-02-26 Microsoft Corporation Lossless and near lossless scalable audio codec
KR101228165B1 (ko) 2008-06-13 2013-01-30 노키아 코포레이션 프레임 에러 은폐 방법, 장치 및 컴퓨터 판독가능한 저장 매체
EP2144231A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
EP2311034B1 (en) 2008-07-11 2015-11-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder for encoding frames of sampled audio signals
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
CA2871268C (en) 2008-07-11 2015-11-03 Nikolaus Rettelbach Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
US8577673B2 (en) * 2008-09-15 2013-11-05 Huawei Technologies Co., Ltd. CELP post-processing for music signals
CN102177426B (zh) 2008-10-08 2014-11-05 弗兰霍菲尔运输应用研究公司 多分辨率切换音频编码/解码方案
GB2466673B (en) 2009-01-06 2012-11-07 Skype Quantization
AR075199A1 (es) 2009-01-28 2011-03-16 Fraunhofer Ges Forschung Codificador de audio decodificador de audio informacion de audio codificada metodos para la codificacion y decodificacion de una senal de audio y programa de computadora
JP4945586B2 (ja) 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
US20100223061A1 (en) 2009-02-27 2010-09-02 Nokia Corporation Method and Apparatus for Audio Coding
JP4932917B2 (ja) 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
FR2944664A1 (fr) * 2009-04-21 2010-10-22 Thomson Licensing Dispositif et procede de traitement d'images
US8352252B2 (en) 2009-06-04 2013-01-08 Qualcomm Incorporated Systems and methods for preventing the loss of information within a speech frame
US8428938B2 (en) 2009-06-04 2013-04-23 Qualcomm Incorporated Systems and methods for reconstructing an erased speech frame
KR20100136890A (ko) 2009-06-19 2010-12-29 삼성전자주식회사 컨텍스트 기반의 산술 부호화 장치 및 방법과 산술 복호화 장치 및 방법
CN101958119B (zh) 2009-07-16 2012-02-29 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
CA2777073C (en) 2009-10-08 2015-11-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-mode audio signal decoder, multi-mode audio signal encoder, methods and computer program using a linear-prediction-coding based noise shaping
ES2797525T3 (es) 2009-10-15 2020-12-02 Voiceage Corp Conformación simultánea de ruido en el dominio del tiempo y el dominio de la frecuencia para transformaciones TDAC
BR122020024236B1 (pt) 2009-10-20 2021-09-14 Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E. V. Codificador de sinal de áudio, decodificador de sinal de áudio, método para prover uma representação codificada de um conteúdo de áudio, método para prover uma representação decodificada de um conteúdo de áudio e programa de computador para uso em aplicações de baixo retardamento
PL2491553T3 (pl) 2009-10-20 2017-05-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Koder audio, dekoder audio, sposób kodowania informacji audio, sposób dekodowania informacji audio i program komputerowy wykorzystujący iteracyjne zmniejszania rozmiaru przedziału
US7978101B2 (en) 2009-10-28 2011-07-12 Motorola Mobility, Inc. Encoder and decoder using arithmetic stage to compress code space that is not fully utilized
US8207875B2 (en) 2009-10-28 2012-06-26 Motorola Mobility, Inc. Encoder that optimizes bit allocation for information sub-parts
WO2011065741A2 (ko) 2009-11-24 2011-06-03 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
JP5624159B2 (ja) 2010-01-12 2014-11-12 フラウンホーファーゲゼルシャフトツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. オーディオ符号化器、オーディオ復号器、オーディオ情報を符号化および復号するための方法、ならびに以前に復号されたスペクトル値のノルムに基づいてコンテキストサブ領域値を取得するコンピュータプログラム
US20110196673A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder
EP2375409A1 (en) 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
FR2961980A1 (fr) 2010-06-24 2011-12-30 France Telecom Controle d'une boucle de retroaction de mise en forme de bruit dans un codeur de signal audionumerique
WO2012000882A1 (en) 2010-07-02 2012-01-05 Dolby International Ab Selective bass post filter
EP4131258A1 (en) 2010-07-20 2023-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio decoding method, audio encoder, audio encoding method and computer program
US8738385B2 (en) 2010-10-20 2014-05-27 Broadcom Corporation Pitch-based pre-filtering and post-filtering for compression of audio signals
CN103477387B (zh) 2011-02-14 2015-11-25 弗兰霍菲尔运输应用研究公司 使用频谱域噪声整形的基于线性预测的编码方案
US9270807B2 (en) * 2011-02-23 2016-02-23 Digimarc Corporation Audio localization using audio signal encoding and recognition
KR101742136B1 (ko) 2011-03-18 2017-05-31 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
CN105244034B (zh) 2011-04-21 2019-08-13 三星电子株式会社 针对语音信号或音频信号的量化方法以及解码方法和设备
EP2707873B1 (en) 2011-05-09 2015-04-08 Dolby International AB Method and encoder for processing a digital stereo audio signal
FR2977439A1 (fr) 2011-06-28 2013-01-04 France Telecom Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard.
FR2977969A1 (fr) 2011-07-12 2013-01-18 France Telecom Adaptation de fenetres de ponderation d'analyse ou de synthese pour un codage ou decodage par transformee
US9363339B2 (en) 2011-07-12 2016-06-07 Hughes Network Systems, Llc Staged data compression, including block level long range compression, for data streams in a communications system
BR112013026452B1 (pt) 2012-01-20 2021-02-17 Fraunhofer-Gellschaft Zur Förderung Der Angewandten Forschung E.V. aparelho e método para codificação e decodificação de áudio empregando substituição sinusoidal
EP2834814B1 (en) * 2012-04-05 2016-03-02 Huawei Technologies Co., Ltd. Method for determining an encoding parameter for a multi-channel audio signal and multi-channel audio encoder
US20130282372A1 (en) 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
US9026451B1 (en) 2012-05-09 2015-05-05 Google Inc. Pitch post-filter
CN104718571B (zh) 2012-06-08 2018-09-18 三星电子株式会社 用于隐藏帧错误的方法和设备以及用于音频解码的方法和设备
GB201210373D0 (en) 2012-06-12 2012-07-25 Meridian Audio Ltd Doubly compatible lossless audio sandwidth extension
FR2992766A1 (fr) 2012-06-29 2014-01-03 France Telecom Attenuation efficace de pre-echos dans un signal audionumerique
CN102779526B (zh) * 2012-08-07 2014-04-16 无锡成电科大科技发展有限公司 语音信号中基音提取及修正方法
US9406307B2 (en) 2012-08-19 2016-08-02 The Regents Of The University Of California Method and apparatus for polyphonic audio signal prediction in coding and networking systems
US9293146B2 (en) 2012-09-04 2016-03-22 Apple Inc. Intensity stereo coding in advanced audio coding
TWI606440B (zh) 2012-09-24 2017-11-21 三星電子股份有限公司 訊框錯誤隱藏裝置
CN103714821A (zh) 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
US9401153B2 (en) * 2012-10-15 2016-07-26 Digimarc Corporation Multi-mode audio recognition and auxiliary data encoding and decoding
ITBO20120619A1 (it) 2012-11-09 2014-05-10 Tissue Machinery Co Spa Apparato e metodo di confezionamento di pannolini o altri oggetti sanitari morbidi piatti ripiegati.
US9318116B2 (en) 2012-12-14 2016-04-19 Disney Enterprises, Inc. Acoustic data transmission based on groups of audio receivers
EP2757558A1 (en) 2013-01-18 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Time domain level adjustment for audio signal decoding or encoding
FR3001593A1 (fr) 2013-01-31 2014-08-01 France Telecom Correction perfectionnee de perte de trame au decodage d'un signal.
MX2021000353A (es) 2013-02-05 2023-02-24 Ericsson Telefon Ab L M Método y aparato para controlar ocultación de pérdida de trama de audio.
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
JP6153661B2 (ja) 2013-06-21 2017-06-28 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. 改善されたパルス再同期化を採用するacelp型封じ込めにおける適応型コードブックの改善された封じ込めのための装置および方法
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
EP2830055A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Context-based entropy coding of sample values of a spectral envelope
MY181965A (en) 2013-10-18 2021-01-15 Fraunhofer Ges Forschung Coding of spectral coefficients of a spectrum of an audio signal
US9906858B2 (en) 2013-10-22 2018-02-27 Bongiovi Acoustics Llc System and method for digital signal processing
BR122022008603B1 (pt) 2013-10-31 2023-01-10 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Decodificador de áudio e método para fornecer uma informação de áudio decodificada utilizando uma dissimulação de erro que modifica um sinal de excitação no domínio de tempo
CN105706166B (zh) 2013-10-31 2020-07-14 弗劳恩霍夫应用研究促进协会 对比特流进行解码的音频解码器设备和方法
PL3069338T3 (pl) 2013-11-13 2019-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Koder do kodowania sygnału audio, system przesyłania audio i sposób określania wartości korekcji
GB2524333A (en) 2014-03-21 2015-09-23 Nokia Technologies Oy Audio signal payload
HRP20240674T1 (hr) 2014-04-17 2024-08-16 Voiceage Evs Llc Postupci, koder i dekoder za linearno prediktivno kodiranje i dekodiranje zvučnih signala pri prijelazu između okvira koji imaju različitu brzinu uzorkovanja
US9396733B2 (en) 2014-05-06 2016-07-19 University Of Macau Reversible audio data hiding
NO2780522T3 (zh) 2014-05-15 2018-06-09
EP2963646A1 (en) 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal
US9685166B2 (en) * 2014-07-26 2017-06-20 Huawei Technologies Co., Ltd. Classification between time-domain coding and frequency domain coding
EP2980796A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for processing an audio signal, audio decoder, and audio encoder
CN110444219B (zh) * 2014-07-28 2023-06-13 弗劳恩霍夫应用研究促进协会 选择第一编码演算法或第二编码演算法的装置与方法
EP2980798A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Harmonicity-dependent controlling of a harmonic filter tool
CN112216289B (zh) 2014-07-28 2023-10-27 三星电子株式会社 用于音频信号的时域数据包丢失隐藏的方法
EP2988300A1 (en) 2014-08-18 2016-02-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Switching of sampling rates at audio processing devices
EP3067886A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
US10296959B1 (en) 2015-03-30 2019-05-21 Audible, Inc. Automated recommendations of audio narrations
US10049684B2 (en) 2015-04-05 2018-08-14 Qualcomm Incorporated Audio bandwidth selection
US9886963B2 (en) 2015-04-05 2018-02-06 Qualcomm Incorporated Encoder selection
JP6422813B2 (ja) 2015-04-13 2018-11-14 日本電信電話株式会社 符号化装置、復号装置、これらの方法及びプログラム
US9978400B2 (en) 2015-06-11 2018-05-22 Zte Corporation Method and apparatus for frame loss concealment in transform domain
US9837089B2 (en) 2015-06-18 2017-12-05 Qualcomm Incorporated High-band signal generation
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
KR20170000933A (ko) * 2015-06-25 2017-01-04 한국전기연구원 시간 지연 추정을 이용한 풍력 터빈의 피치 제어 시스템
US9830921B2 (en) 2015-08-17 2017-11-28 Qualcomm Incorporated High-band target signal control
US10803877B2 (en) 2015-09-04 2020-10-13 Samsung Electronics Co., Ltd. Signal processing methods and apparatuses for enhancing sound quality
US9978381B2 (en) * 2016-02-12 2018-05-22 Qualcomm Incorporated Encoding of multiple audio signals
US10219147B2 (en) 2016-04-07 2019-02-26 Mediatek Inc. Enhanced codec control
US10283143B2 (en) 2016-04-08 2019-05-07 Friday Harbor Llc Estimating pitch of harmonic signals
CN107103908B (zh) * 2017-05-02 2019-12-24 大连民族大学 复调音乐多音高估计方法及伪双谱在多音高估计中的应用

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018706A (en) * 1996-01-26 2000-01-25 Motorola, Inc. Pitch determiner for a speech analyzer
US6507814B1 (en) * 1998-08-24 2003-01-14 Conexant Systems, Inc. Pitch determination using speech classification and prior pitch estimation
CN1441950A (zh) * 2000-07-14 2003-09-10 康奈克森特系统公司 处理丢失帧的语音通信系统及方法
CN103109321A (zh) * 2010-09-16 2013-05-15 高通股份有限公司 估计音调滞后
CN105431903A (zh) * 2013-06-21 2016-03-23 弗朗霍夫应用科学研究促进协会 使用tcx ltp利用损毁或未接收到的帧的重建的音频解码
EP2980799A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an audio signal using a harmonic post-filter

Also Published As

Publication number Publication date
WO2019091922A1 (en) 2019-05-16
JP7079325B2 (ja) 2022-06-01
ZA202002521B (en) 2021-10-27
US11380341B2 (en) 2022-07-05
US20200273475A1 (en) 2020-08-27
KR102426050B1 (ko) 2022-07-28
AU2018363670A1 (en) 2020-05-21
TW201923755A (zh) 2019-06-16
CA3082175C (en) 2022-11-01
TWI728277B (zh) 2021-05-21
AU2018363670B2 (en) 2021-02-18
KR20200083565A (ko) 2020-07-08
ES2900058T3 (es) 2022-03-15
PT3707718T (pt) 2021-12-27
EP3707718A1 (en) 2020-09-16
RU2742739C1 (ru) 2021-02-10
JP2021502596A (ja) 2021-01-28
MX2020004786A (es) 2020-08-13
EP3483886A1 (en) 2019-05-15
CN111566733A (zh) 2020-08-21
PL3707718T3 (pl) 2022-02-21
AR114388A1 (es) 2020-09-02
SG11202004203WA (en) 2020-06-29
CA3082175A1 (en) 2019-05-16
EP3707718B1 (en) 2021-10-13
BR112020009114A2 (pt) 2020-10-13

Similar Documents

Publication Publication Date Title
JP7568695B2 (ja) ハーモニックフィルタツールのハーモニック依存制御
KR100957265B1 (ko) 잔여분 변경에 의한 보코더 내부의 프레임들을 시간 와핑하는 시스템 및 방법
TWI698859B (zh) 編碼及解碼音訊信號之技術
KR101698905B1 (ko) 정렬된 예견 부를 사용하여 오디오 신호를 인코딩하고 디코딩하기 위한 장치 및 방법
EP3011554B1 (en) Pitch lag estimation
CN111566733B (zh) 选择音高滞后

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant