CN101790887B - 用于对媒体信号编码/解码的方法和设备 - Google Patents
用于对媒体信号编码/解码的方法和设备 Download PDFInfo
- Publication number
- CN101790887B CN101790887B CN2008801048424A CN200880104842A CN101790887B CN 101790887 B CN101790887 B CN 101790887B CN 2008801048424 A CN2008801048424 A CN 2008801048424A CN 200880104842 A CN200880104842 A CN 200880104842A CN 101790887 B CN101790887 B CN 101790887B
- Authority
- CN
- China
- Prior art keywords
- frequency
- frame district
- harmonic
- sine wave
- present frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000000284 extract Substances 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 33
- 238000010586 diagram Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/093—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using sinusoidal excitation models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提供了一种对媒体信号编码/解码的方法和设备。对媒体信号编码的方法包括:当先前帧区的正弦波中存在谐波时,通过使用先前帧区的谐波频率来预测将被编码的当前帧区的谐波频率,并通过使用当前帧区的预测的频率和实际的谐波频率之间的差产生残差信号。
Description
技术领域
与本发明一致的方法和设备涉及对多媒体信号编码和解码,更具体地,涉及一种用于对多媒体信号编码/解码的方法和设备,该方法和设备可通过使用谐波属性有效地对多媒体信号编码和解码。
背景技术
在发送媒体信号时,使用压缩技术以减少媒体信号的带宽或比特率。根据参数编码方法,媒体信号被划分为具有特定属性的分量信号,显示划分的分量信号的属性的参数被编码。参数编码设备将媒体信号划分为段或帧,并假设媒体信号的每一帧包括瞬时分量、正弦分量和噪声分量。参数编码设备将媒体信号分解为每个分量,并对每个分解的分量进行量化和编码。然而,此时,即使存在包括相似分量的多个帧,相同的数据也被重复编码,因此这样的处理是低效的。另外,在产生和发送媒体信号的同时,可能出现失真(例如,由于媒体信号的重复而引起的媒体信号的变动),因此对媒体信号编码/解码的效率可能降低。
发明内容
技术方案
本发明提供了一种用于对媒体信号编码/解码的方法和设备,其中,可根据时间的改变考虑帧之间的信号改变,通过将改变的分量参数化并发送所述分量来最小化媒体信号的失真,从而提高信号保真度。
有益效果
根据本发明的用于对媒体信号编码/解码的方法和设备可根据时间的改变考虑帧之间的信号改变,通过将改变的分量参数化并发送所述分量来最小化媒体信号的失真,从而提高信号保真度。
另外,根据本发明的方法和设备可通过对特定帧区的谐波和相邻的帧区的谐波之间的差进行编码来将媒体信号编码/解码为更小的大小,而不用对媒体信号的所述特定帧区的所有谐波编码。
虽然已经参照本发明的示例性实施例具体地示出和描述了本发明,但是本领域的普通技术人员应理解,在不脱离权利要求限定的本发明的精神和范围的情况下可以在形式和细节上做出各种改变。
附图说明
通过结合附图对示例性实施例的详细描述,本发明的上述和其他特征将会变得更清楚,其中:
图1是示出根据本发明实施例的媒体信号参数编码设备的示图;
图2是详细示出图1中示出的媒体信号参数编码设备的残差信号处理器的示图;
图3是示出根据本发明实施例的媒体信号参数解码设备的示图;
图4以图表来示出本发明的一技术方面;
图5是示出根据本发明实施例的媒体信号参数编码方法的流程图;
图6是示出根据本发明实施例的通过使用先前帧区的谐波频率预测当前帧区的谐波频率的方法的流程图。
具体实施方式
最佳模式
本发明还提供了一种用于对媒体信号编码/解码的方法和设备,该方法和设备能够基于媒体信号的相邻帧之间的相似度很高的特性,通过使用相邻帧区的谐波来预测当前帧区的谐波,并且当预测结果误差出现时,压缩预测结果误差的补偿值。
本发明还提供一种用于对媒体信号编码/解码的方法和低性能要求设备,该方法和设备能通过对特定帧区的谐波和相邻帧区的谐波之间的差进行编码来在较低的性能要求下对媒体信号编码/解码,而不用对媒体信号特定帧区的所有谐波编码。
根据本发明的一方面,提供了一种对包多个帧的媒体信号编码的方法,所述方法包括当先前帧区的正弦波中存在谐波时,通过使用先前帧区的谐波频率预测将被编码的当前帧区的谐波频率;通过使用当前帧区的预测的谐波频率与当前帧区的实际谐波频率之间的差来产生残差信号。
预测当前帧区的谐波频率的步骤可包括:通过使用当前帧区的正弦波的基本频率和先前帧区的正弦波的基本频率计算基本频率改变量;通过使用先前帧区的第n次谐波的频率和基本频率改变量预测当前帧区的第n次谐波的频率,其中,n是大于或等于2的整数。预测当前帧区的第n次谐波的频率的步骤可包括:通过将先前帧区的正弦波的基本频率乘以n来预测先前帧区的第n次谐波的频率;将先前帧区的正弦波中频率在具有先前帧区的第n次谐波的预测频率的预定范围内的正弦波确定为先前帧区的第n次谐波,并提取确定的第n次谐波。预测当前帧区的第n次谐波的频率的步骤还可包括:将这样的值预测为当前帧区的第n次谐波的频率,所述值通过将基本频率改变量的n倍与先前帧区的第n次谐波的频率相加而获得。所述方法还包括:对基本频率改变量编码;对残差信号编码。所述方法还包括:当先前帧区的正弦波不包括任何谐波时,对当前帧区的正弦波的实际频率编码。所述方法还包括:对当前帧区的正弦波的相位和幅度编码。
根据本发明的另一方面,提供了一种用于对包括多个帧的媒体信号解码的方法,所述方法包括:当先前帧区的正弦波中存在谐波时,通过使用先前帧区的谐波频率预测将被解码的当前帧区的谐波频率;通过使用预测的谐波频率获得当前帧区的实际谐波频率。
根据本发明的另一方面,提供了一种用于对包括多个帧的媒体信号编码的设备,所述设备包括:参数预测器,当先前帧区的正弦波中存在谐波时,通过使用先前帧区的谐波频率预测将被编码的当前帧区的谐波频率;残差信号产生器,通过使用当前帧区的预测的谐波频率与当前帧区的实际谐波频率之间的差来产生残差信号。
根据本发明的另一方面,提供了一种用于对包括多个帧的媒体信号解码的设备,所述设备包括:参数预测器,当先前帧区的正弦波中存在谐波时,通过使用先前帧区的谐波频率预测将被解码的当前帧区的谐波频率;残差信号提取器,从媒体信号提取残差信号,所述残差信号是当前帧区的预测的频率和当前帧区的实际谐波频率之间的差;参数恢复器,通过使用预测的谐波频率和残差信号获得当前帧区的谐波频率。
本申请要求2007年8月31日提交到韩国知识产权局的第10-2007-0088301号韩国专利申请的权益,该申请的公开合并于此,以资参考。
现在将参照附图更完整地描述本发明,在附图中示出了本发明的示例性实施例。
在本发明中,媒体信号包括音频信号、视频信号和其他类型的数据。以下,将音频信号描述为媒体信号的示例,但是媒体信号不限于此。
在音频信号的情况下,在声音被发送的同时,根据介质的特性以及信号的反射、折射、散射和共振的影响从声音源产生的信号形成由基本音和谐波构成的复音(complex tone)。谐波编码使用形成这样的复音的方法。谐波编码使用形成所述复音的方法。谐波编码是一种信号处理技术,该技术假设输入信号是基本频率和谐波频率的组合,并执行输入信号的建模。谐波编码可通过在执行编码之前将如上提取的正弦波参数化来提高压缩率。根据本发明,通过组合谐波编码和参数编码,并同时发送关于引起信号失真的残差分量的信息来改进信号压缩/恢复。
图1是示出根据本发明实施例的媒体信号参数编码设备的示图。参照图1,媒体信号参数编码设备包括正弦波分析器101、参数提取器103、参数存储单元105、基本频率提取器107、残差信号处理器109和编码器111。正弦波分析器101以时间单位(例如,段或者帧)划分输入的媒体信号,并根据每个时间区分析和提取输入的媒体信号的正弦波。正弦波分析器101通过使用提取频域的峰值的方法、考虑分析窗口的特性使用插值的方法、使用利用信号的区别的高分辨率快速傅立叶变换(FFT)的方法等来分析正弦波。正弦波分析器101将提取的正弦波发送到参数提取器103。参数提取器103根据每个时间区提取正弦波的相位、幅度和频率。参数存储单元105存储从参数提取器103提取的参数。由于通过利用媒体信号的相邻帧的相似特性从相邻帧区的谐波频率预测当前帧区的谐波频率,所以在根据每个时间区提取的正弦波的相位、幅度和频率中,参数存储单元105可仅存储频率。正弦波的频率包括基本频率(f0)和谐波频率,还包括没有从媒体信号分离为谐波分量的正弦波的频率。不是正弦波的周期性重复的波形被分解为具有基本频率的正弦波和具有正弦波的整数倍的频率的波。这里,形成除了基本波形之外的重复波形的波被称为谐波。当n是大于或等于2的整数时,谐波频率为基本频率的n倍的谐波被称为第n次谐波,第n次谐波的频率表示为fn。
参数提取器103将除了正弦波的频率之外的参数(例如,相位和幅度)发送到编码器111。基本频率提取器107从输入的媒体信号提取基本频率。基本频率提取器107可通过使用各种算法来提取基本频率,所述算法例如为使用卷积的方法、使用频率的峰值的方法和使用时移窗口的方法。基本频率提取器107将提取的基本频率发送到残差信号处理器109。
残差信号处理器109计算预先存储在参数存储单元105的先前帧区的正弦波的基本频率和当前帧区的正弦波的基本频率之间的差。残差信号处理器109通过使用基本频率改变量(Δf0)和预先存储在参数存储单元105中的先前帧区的参数来预测当前帧区的参数。残差信号处理器109通过计算预测的参数中和实际参数值之间的差产生残差信号,并将产生的残差信号发送到编码器111。编码器111通过对产生的残差信号和基本频率改变量(Δf0)编码来产生比特流,并将比特流发送到媒体信号参数解码设备(未示出)。编码器111还可对从参数提取器103接收的除了频率之外的参数编码,并将编码的参数发送到媒体信号参数解码设备。
图2是详细示出在图1中示出的媒体信号参数编码设备的残差信号处理器109的示图。参照图2,媒体信号参数编码设备包括正弦波分析器101、参数提取器103、参数存储单元105、基本频率提取器107、残差信号处理器109和编码器111。正弦波分析器101将输入信号划分为多个正弦波。参数提取器103从正弦波分析器101划分的正弦波提取参数,并将参数发送到参数存储单元105和编码器111。参数可以包括相位、幅度和频率。如上所述,由于本发明使用频率作为参数,因此参数提取器103将频率发送到参数存储单元105,将相位和幅度发送到编码器111。基本频率提取器107从输入的媒体信号提取将被编码的当前帧区的正弦波的基本频率,并将提取的基本频率发送到参数存储单元105和残差信号处理器109的基本频率改变量计算器201。参数存储单元105存储从基本频率提取器107和参数提取器103接收的每个帧区的正弦波的频率。如所示,正弦波的频率包括基本频率(f0)和第n次谐波的频率(fn),其中,n大于或等于2。
残差信号处理器109通过使用先前帧区的正弦波的频率预测当前帧区的正弦波的频率,并计算预测的频率和实际频率之间的差。残差信号处理器109包括基本频率改变量计算器201、参数预测器203和残差信号产生器205。基本频率改变量计算器201从参数存储单元105提取先前帧区的正弦波的基本频率,从基本频率提取器107接收将被编码的当前帧区的正弦波的基本频率,并随后计算基本频率改变量(Δf0),所述基本频率改变量(Δf0)是当前帧区的正弦波的基本频率和先前帧区的正弦波的基本频率之间的差,表示为如下的等式1:
[算式1]
Δf0=f0,cur-f0,prev....等式1
这里,f0,cur表示当前帧区的正弦波的基本频率,f0,prev表示先前帧区的正弦波的基本频率。
基本频率改变量计算器201将计算的基本频率改变量(Δf0)发送到参数预测器203和编码器111。在恢复媒体信号的同时媒体信号参数解码设备(未示出)应确定初始帧区的基本频率的值。因此,基本频率提取器107将初始帧区的基本频率的值发送到编码器111,编码器111在对该值编码之后将该值发送到媒体信号参数解码设备。即使当前帧不是初始帧,基本频率提取器107也可将当前帧区的基本频率发送到编码器111。如果用户不从开始再现媒体信号,则媒体信号参数解码设备从用户想要再现的点开始再现,因此,应确定开始再现的帧的基本频率。因此,媒体信号参数编码设备以统一的间隔或随机的间隔将帧的基本频率发送到媒体信号参数解码设备。
参数预测器203通过使用先前帧区的正弦波的谐波预测当前帧区的谐波频率。因此,参数预测器203提取预先存储在参数存储单元105中的先前帧区的正弦波的频率。参数预测器203可通过整数倍乘提取的先前帧区的正弦波的基本频率来预测先前帧区的谐波。这可以由以下的等式2表示。
[算式2]
这里,fn,prevest表示先前帧区的正弦波的第n次谐波的预测频率。
参数预测器203从参数存储单元105提取先前帧区的正弦波的预先存储的频率,提取的正弦波可包括谐波,也可不包括谐波。如上所述,由于正弦波的谐波的频率是基本频率的整数倍,因此,参数预测器203将先前帧区的正弦波的基本频率(f0)的整数倍预测为谐波。
参数预测器203从提取自参数存储单元105的正弦波中提取具有预测谐波的频率的正弦波。因此,参数预测器203可将具有这样的频率的正弦波确定为包括谐波:在该频率中,与预测谐波的频率的差在预定范围内。这可以由以下的等式3表示。
[算式3]
这里,a表示预定范围。
参数预测器203从提取自参数存储单元105的正弦波中确定满足等式3的正弦波作为谐波。
参数预测器203可通过使用被确定为先前帧区的谐波的正弦波来预测当前帧区的谐波。参数预测器203可通过使用追踪方法来预测当前帧区的谐波,所述追踪方法通过使用关于帧的幅度、频率和相位的信息搜索具有最高关联概率(connection possibility)的信号。参数预测器203通过将先前帧区的第n次谐波的频率与基本频率改变量的n倍相加来预测当前帧区的第n次谐波的频率,其中,n是整数。由于正弦波的谐波的频率是基本频率的整数倍,因此当先前帧区的正弦波的基本频率和当前帧区的正弦波的基本频率之间的差是Δf0时,先前帧区的第n次谐波的频率和当前帧区的第n次谐波的频率之间的差是n*Δf0。这可以由以下的等式4表示。
[算式4]
这里,fn,curest是在当前帧区中预测的第n次谐波的频率。
参数预测器203将当前帧区的预测的谐波频率发送到残差信号产生器205。残差信号产生器205从参数预测器203接收当前帧区的预测的谐波频率,并从参数提取器103接收当前帧区的实际谐波频率。如以下的等式5所示,残差信号产生器205计算当前帧区的预测的谐波频率和当前帧区的实际谐波频率之间的差。然后,残差信号产生器205通过使用这样的差产生残差信号,并将残差信号发送到编码器111。
[算式5]
不用对当前帧区的谐波的所有实际频率编码,媒体信号参数编码设备仅对当前帧区的谐波频率和先前帧区的谐波频率之间的差编码。因此,比特率降低从而提高了压缩效率和传输效率。另外,由于基于先前帧区的正弦波中是否存在谐波来确定当前帧区的谐波,因此不必单独地指示每个参数的正弦波是否包含谐波。
编码器111对从基本频率改变量计算器201接收的基本频率改变量(Δf0)和从残差信号产生器205接收的残差信号执行熵编码。熵编码方法使用产生的信号的统计特性执行压缩,并包括各种方法,例如,游程编码方法、字典编码方法、可变长度编码(VLC)方法和算术编码方法。
当满足等式3的正弦波不存在时,即,当被确定为包含满足等式3的谐波的正弦波不存在于先前帧区的正弦波中时,参数预测器203不能将当前帧区的预测的谐波频率发送到残差信号产生器205。因此,残差信号产生器205不产生残差信号。当编码器111不从残差信号产生器205接收残差信号时,编码器111对从参数提取器103接收的当前帧区的正弦波的频率编码。编码器111将编码的信号发送到媒体信号参数解码设备(未示出)。
图3是示出根据本发明实施例的媒体信号参数解码设备的示图。参照图3,媒体信号参数解码设备包括解码器301、基本频率改变量提取器303、基本频率计算器305、参数存储单元307、参数预测器309、参数恢复器311、正弦波恢复器313和残差信号提取器315。解码器301从媒体信号参数编码设备接收编码的媒体信号,根据每个信号解析媒体信号,并对解析的媒体信号执行熵编码。
基本频率改变量提取器303提取基本频率改变量(Δf0)以计算当前帧区的正弦波的频率。基本频率改变量提取器303将提取的基本频率改变量发送到基本频率计算器305。基本频率计算器305从参数存储单元307提取预先存储的先前帧区的正弦波的频率。基本频率计算器305从参数存储单元307提取先前帧区的正弦波的基本频率,并通过使用提取的先前帧区的正弦波的基本频率和从基本频率改变量提取器303接收的基本频率改变量来计算将被解码的当前帧区的正弦波的基本频率。基本频率计算器305可使用基于以上的等式1的等式f0,cur=f0,prev+Δf0计算当前帧区的正弦波的基本频率,该等式使用接收的Δf0和预先存储在参数存储单元307的先前帧区的正弦波的基本频率。
参数存储单元307存储正弦波的参数。参数存储单元307存储先前帧区的正弦波的解码的频率,并当参数预测器309或基本频率计算器305需要使用先前帧区的正弦波的频率时发送解码的频率。参数存储单元307还存储由基本频率计算器305计算的当前帧区的基本频率,并存储由参数恢复器311恢复的当前帧区的谐波频率。
参数预测器309执行与图2示出的参数预测器203相同的功能。当先前帧区的正弦波中存在谐波时,参数预测器309可通过使用先前帧区的谐波频率来预测当前帧区的谐波频率。因此,参数预测器309确定解码器301所解码的先前帧区的正弦波中是否存在谐波并且所述谐波是否被存储在参数单元307中。参数预测器309可通过使用等式2整数倍乘从参数存储单元307提取的先前帧区的正弦波的基本频率来预测先前帧区的谐波,所述先前帧区的谐波具有基本频率的整数倍的频率。
参数预测器309从提取自参数存储单元307的先前帧区的正弦波中提取具有预测的谐波的频率的正弦波。使用等式3,参数预测器309可将这样的正弦波确定为包括谐波:该正弦波的频率与使用等式2获得的预测的谐波频率的差在预定的范围内。参数预测器309可通过使用被确定为先前帧区的谐波的正弦波来预测当前帧区的谐波。参数预测器309通过使用等式4将先前帧区的第n次谐波的频率和基本频率改变量的n倍相加来预测当前帧区的第n次谐波的频率。参数预测器309将当前帧区的预测的谐波频率发送到参数恢复器311
残差信号提取器315从解码的媒体信号提取由媒体信号参数编码装置使用等式5产生的残差信号。如上所述,残差信号是当前帧区的预测的谐波频率和当前帧区的实际谐波频率之间的差。残差信号提取器315将提取的残差信号发送到参数恢复器311。
参数恢复器311通过使用等式5,使用从参数预测器309接收的当前帧区的预测的谐波频率和从残差信号提取器315接收的残差信号来计算当前帧区的实际谐波频率。参数恢复器311将当前帧区的恢复的谐波频率发送到正弦波恢复器313和参数存储单元307。参数存储单元307存储从参数恢复器311接收的当前帧区的谐波频率。
当预先存储在参数存储单元307中的先前帧区的正弦波中不存在谐波时,参数预测器309不能通过使用残差信号获得当前帧区的正弦波的谐波。在这种情况下,参数恢复器311提取由解码器301解码的当前帧区的正弦波的参数。
当存储在参数存储单元307中的先前帧区中存在谐波时,正弦波恢复器313通过使用利用残差信号恢复的当前帧区的正弦波的频率的参数来恢复正弦波,并且当存储在参数存储单元307中的先前帧区中不存在谐波时,正弦波恢复器313通过使用由参数恢复器311提取的参数来恢复正弦波。
图4以图表来示出本发明的一技术方面。横轴表示时间,纵轴表示频率。媒体信号可被划分为时域,例如段和帧,每个时域被划分为多个正弦波。图2的参数预测器203和图3的参数预测器309通过使用先前帧区的正弦波的频率来预测当前帧区的正弦波的频率。先前帧区的正弦波可包括基本频率、基本频率的整数倍的频率或基本频率的非整数倍的频率。参数预测器203和309通过整数倍乘先前帧区的正弦波的基本频率来预测先前帧区的谐波频率。参数预测器203和309从先前帧区的正弦波中将具有预测频率的预定范围内的频率的正弦波确定为包括谐波。在图4中,先前帧区中的正弦波的频率中的第二高频率被假设为在具有基本频率的整数倍的预定范围之外。参数预测器203和309从先前帧区的正弦波的频率中将除了第二高频率之外的频率确定为谐波频率。
参数预测器203和309可通过将先前帧区的谐波频率与基本频率改变量相加来预测当前帧区的谐波频率。当先前帧区的正弦波的基本频率和当前帧区的正弦波的基本频率之间的差是Δf0时,先前帧区的第n次谐波的频率和当前帧区的第n次谐波的频率之间的差是n*Δf0。参数预测器203和309通过将先前帧区的第n次谐波的频率与n*Δf0相加来预测当前帧区的第n次谐波的频率。在图4中的当前帧区中示出的叉中,白色的叉表示从先前帧区的频率预测的当前帧区的频率,黑色的叉表示当前帧区的实际谐波频率。
参数预测器203提取当前帧区的预测的谐波频率,并将其发送到残差信号产生器205。残差信号产生器205通过使用从参数预测器303接收的当前帧区的预测的谐波频率与实际的当前帧区的谐波频率之间的差来产生残差信号。然后,编码器111对残差信号和基本频率改变量编码。
当被确定为包括谐波的正弦波不存在于先前帧区的正弦波中时,参数预测器203无法将当前帧区的预测的谐波频率发送到残差信号产生器205。在这种情况下,残差信号产生器205对当前帧区的正弦波的实际频率编码。
媒体信号参数解码设备的参数预测器309将当前帧区的预测的谐波频率发送到参数恢复器311。残差信号提取器315从输入到媒体信号参数解码设备的媒体信号中提取残差信号,并将提取的残差信号发送到参数恢复器311。参数恢复器311通过将当前帧区的预测的谐波频率与残差信号相加来恢复当前帧区的实际频率的参数。当被确定为包括谐波的正弦波不存在于先前帧区的正弦波中时,媒体信号参数解码设备从媒体信号提取当前帧区的正弦波的实际频率并通过使用提取的实际频率恢复正弦波。
图5是示出根据本发明实施例的媒体信号参数编码方法的流程图。媒体信号参数编码设备将媒体信号划分为帧,并从每帧提取正弦波。在操作501,媒体信号参数编码设备确定包括先前帧区的基本频率的整数倍的频率的谐波是否存在于预先存储的先前帧区的正弦波中,以预测将被编码的当前帧区的频率。当谐波存在时,在操作503,媒体信号参数编码设备提取谐波频率。在操作505,媒体信号参数编码设备通过使用当前帧区的基本频率和先前帧区的正弦波的基本频率计算基本频率改变量。在操作507,媒体信号参数编码设备通过使用在操作503和505获得的先前帧区的谐波频率和基本频率改变量来预测当前帧区的谐波频率。在操作509,媒体信号参数编码设备通过使用当前帧区的预测的谐波频率和当前帧区的实际谐波频率之间的差产生残差信号。在操作511,媒体信号参数编码设备对基本频率改变量和产生的残差信号编码。当将被用于预测当前帧区的正弦波的频率的谐波不存在于先前帧区的正弦波中时,媒体信号参数编码设备在操作513对当前帧区的正弦波的频率编码。
图6是示出根据本发明实施例的通过使用先前帧区的谐波频率预测当前帧区的谐波频率的方法的流程图。媒体信号参数解码设备根据媒体信号的类型解析从媒体信号参数编码设备接收的媒体信号,并对每个解析的媒体信号解码。在操作601,媒体信号参数解码设备确定先前帧区的正弦波中是否存在谐波,以恢复当前帧区的正弦波的参数。在操作603,当先前帧区的正弦波中存在谐波时,媒体信号参数解码设备通过使用先前帧区的基本频率提取先前帧区的谐波频率。在操作605,媒体信号参数解码设备从媒体信号提取基本频率改变量,并通过使用预先存储的先前帧区的基本频率获得当前帧区的基本频率。如上所述,可以按统一的间隔或随机的间隔从媒体信号参数编码设备接收当前帧区的基本频率。在这种情况下,媒体信号参数解码设备可从媒体信号提取当前帧区的基本频率。在操作607,媒体信号参数解码设备通过使用先前帧区的谐波频率和基本频率改变量预测当前帧区的谐波频率。在操作609,媒体信号参数解码设备从媒体信号提取残差信号。在操作611,媒体信号参数解码设备通过使用残差信号和当前帧区的预测的谐波频率获得当前帧区的实际谐波频率的参数。当谐波不存在于先前帧区的正弦波中时,在操作613,媒体信号参数解码设备从媒体信号提取当前帧区的实际谐波频率的参数。在操作615,媒体信号参数解码设备通过使用所述参数来恢复原始的正弦波。
Claims (21)
1.一种对包括多个帧的媒体信号编码的方法,所述方法包括:
确定在先前帧区的正弦波中是否存在谐波;
如果确定在先前帧区的正弦波中存在谐波,则通过使用先前帧区的谐波频率预测将被编码的当前帧区的谐波频率;
确定当前帧区的预测的谐波频率与当前帧区的实际谐波频率之间的差以产生残差信号,
其中,如果确定在先前帧区的正弦波中不存在谐波,则对当前帧区的正弦波的实际频率编码。
2.如权利要求1所述的方法,其中,预测当前帧区的谐波频率的步骤包括:
通过使用当前帧区的正弦波的基本频率和先前帧区的正弦波的基本频率计算基本频率改变量;
通过使用先前帧区的第n次谐波的频率和基本频率改变量预测当前帧区的第n次谐波的频率,其中,n是大于或等于2的整数。
3.如权利要求2所述的方法,其中,预测当前帧区的第n次谐波的频率的步骤包括:
通过将先前帧区的正弦波的基本频率乘以n来预测先前帧区的第n次谐波的频率;
将先前帧区的正弦波中频率在先前帧区的第n次谐波的预测频率的范围内的正弦波确定为先前帧区的第n次谐波,并提取确定的第n次谐波。
4.如权利要求3所述的方法,其中,预测当前帧区的第n次谐波的频率的步骤还包括:将这样的值预测为当前帧区的第n次谐波的频率,所述值通过将基本频率改变量的n倍与先前帧区的第n次谐波的频率相加而获得。
5.如权利要求2所述的方法,还包括:
对基本频率改变量编码;
对残差信号编码。
6.如权利要求1所述的方法,还包括:对当前帧区的正弦波的相位和幅度编码。
7.一种对包括多个帧的媒体信号解码的方法,所述方法包括:
确定在先前帧区的正弦波中是否存在谐波;
如果确定在先前帧区的正弦波中存在谐波,则通过使用先前帧区的谐波频率预测将被解码的当前帧区的谐波频率;
通过使用预测的谐波频率产生当前帧区的实际谐波频率,
其中,如果确定在先前帧区的正弦波中不存在谐波,则对当前帧区的正弦波的实际频率解码。
8.如权利要求7所述的方法,其中,产生当前帧区的实际谐波频率的步骤包括:
确定当前帧区的预测的频率和当前帧区的实际谐波频率之间的差,以从媒体信号提取残差信号;
通过使用预测的谐波频率和残差信号产生当前帧区的谐波频率。
9.如权利要求7所述的方法,其中,预测当前帧区的谐波频率的步骤包括:
从媒体信号提取基本频率改变量,所述基本频率改变量是当前帧区的正弦波的基本频率和先前帧区的正弦波的基本频率之间的差;
通过使用先前帧区的第n次谐波的频率和基本频率改变量预测当前帧区的第n次谐波的频率,其中,n是大于或等于2的整数。
10.如权利要求9所述的方法,其中,预测当前帧区的第n次谐波的频率的步骤包括:
通过将先前帧区的正弦波的基本频率乘以n来预测先前帧区的第n次谐波的频率;
将存储的先前帧区的正弦波中谐波频率在先前帧区的第n次谐波的预测频率的范围内的正弦波确定为先前帧区的第n次谐波,并提取确定的第n次谐波。
11.如权利要求9所述的方法,其中,预测当前帧区的第n次谐波的频率的步骤还包括:将这样的值预测为当前帧区的第n次谐波的频率,所述值通过将基本频率改变量的n倍与先前帧区的第n次谐波的频率相加而获得。
12.如权利要求7所述的方法,还包括:对当前帧区的正弦波的基本波和谐波的相位和幅度解码。
13.一种用于对包括多个帧的媒体信号编码的设备,包括:
处理器,确定在先前帧区的正弦波中是否存在谐波;
预测器,如果处理器确定在先前帧区的正弦波中存在谐波,则通过使用先前帧区的谐波频率预测将被编码的当前帧区的谐波频率;
第二产生器,通过使用当前帧区的预测的谐波频率与当前帧区的实际谐波频率之间的差来产生残差信号;
编码器,如果处理器确定在先前帧区的正弦波中不存在谐波,则对当前帧区的正弦波的实际频率编码。
14.如权利要求13所述的设备,还包括:计算器,通过使用当前帧区的正弦波的基本频率和先前帧区的正弦波的基本频率计算基本频率改变量,
其中,预测器通过使用先前帧区的第n次谐波的频率和基本频率改变量预测当前帧区的第n次谐波的频率,其中,n是大于或等于2的整数。
15.如权利要求14所述的设备,其中,预测器通过将先前帧区的正弦波的基本频率乘以n来预测先前帧区的第n次谐波的频率,将先前帧区的正弦波中频率在先前帧区的第n次谐波的预测频率的范围内的正弦波确定为先前帧区的第n次谐波,并提取确定的第n次谐波。
16.如权利要求15所述的设备,其中,预测器将这样的值预测为当前帧区的第n次谐波的频率,所述值通过将基本频率改变量的n倍与先前帧区的第n次谐波的频率相加而获得。
17.如权利要求14所述的设备,其中,如果处理器确定在先前帧区的正弦波中存在谐波,则编码器对基本频率改变量和残差信号编码。
18.一种用于对包括多个帧的媒体信号解码的设备,所述设备包括:
处理器,确定在先前帧区的正弦波中是否存在谐波;
预测器,如果处理器确定在先前帧区的正弦波中存在谐波,则通过使用先前帧区的谐波频率预测将被解码的当前帧区的谐波频率;
第一提取器,如果处理器确定在先前帧区的正弦波中存在谐波,则从媒体信号提取残差信号,所述残差信号是当前帧区的预测的频率和当前帧区的实际谐波频率之间的差,如果处理器确定在先前帧区的正弦波中不存在谐波,则提取当前帧的正弦波的实际频率;
恢复器,通过使用当前帧区的预测的谐波频率和残差信号产生当前帧区的谐波频率。
19.如权利要求18所述的设备,还包括:第二提取器,从媒体信号提取基本频率改变量,所述基本频率改变量是当前帧区的正弦波的基本频率和先前帧区的正弦波的基本频率之间的差,
其中,预测器通过使用先前帧区的第n次谐波的频率和基本频率改变量预测当前帧区的第n次谐波的频率,其中,n是大于或等于2的整数。
20.如权利要求19所述的设备,其中,预测器通过将先前帧区的正弦波的基本频率乘以n来预测先前帧区的第n次谐波的频率,将先前帧区的正弦波中频率在先前帧区的第n次谐波的预测频率的范围内的正弦波确定为先前帧区的第n次谐波,并提取确定的第n次谐波。
21.如权利要求19所述的设备,其中,预测器将这样的值预测为当前帧区的第n次谐波的频率,所述值通过将基本频率改变量的n倍与先前帧区的第n次谐波的频率相加而获得。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2007-0088301 | 2007-08-31 | ||
KR1020070088301A KR101380170B1 (ko) | 2007-08-31 | 2007-08-31 | 미디어 신호 인코딩/디코딩 방법 및 장치 |
PCT/KR2008/003506 WO2009028790A1 (en) | 2007-08-31 | 2008-06-20 | Method and apparatus for encoding/decoding media signal |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101790887A CN101790887A (zh) | 2010-07-28 |
CN101790887B true CN101790887B (zh) | 2013-03-13 |
Family
ID=40387475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008801048424A Expired - Fee Related CN101790887B (zh) | 2007-08-31 | 2008-06-20 | 用于对媒体信号编码/解码的方法和设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20090063163A1 (zh) |
EP (1) | EP2183919A4 (zh) |
KR (1) | KR101380170B1 (zh) |
CN (1) | CN101790887B (zh) |
WO (1) | WO2009028790A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110018107A (ko) * | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치 |
US10816579B2 (en) * | 2012-03-13 | 2020-10-27 | Informetis Corporation | Sensor, sensor signal processor, and power line signal encoder |
EP2685448B1 (en) | 2012-07-12 | 2018-09-05 | Harman Becker Automotive Systems GmbH | Engine sound synthesis |
CN108074579B (zh) * | 2012-11-13 | 2022-06-24 | 三星电子株式会社 | 用于确定编码模式的方法以及音频编码方法 |
WO2014108393A1 (en) | 2013-01-08 | 2014-07-17 | Dolby International Ab | Model based prediction in a critically sampled filterbank |
US11227614B2 (en) * | 2020-06-11 | 2022-01-18 | Silicon Laboratories Inc. | End node spectrogram compression for machine learning speech recognition |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5630011A (en) * | 1990-12-05 | 1997-05-13 | Digital Voice Systems, Inc. | Quantization of harmonic amplitudes representing speech |
CN1575490A (zh) * | 2001-10-26 | 2005-02-02 | 皇家飞利浦电子股份有限公司 | 音频编码器内正弦参数的跟踪 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4856068A (en) * | 1985-03-18 | 1989-08-08 | Massachusetts Institute Of Technology | Audio pre-processing methods and apparatus |
US4797926A (en) * | 1986-09-11 | 1989-01-10 | American Telephone And Telegraph Company, At&T Bell Laboratories | Digital speech vocoder |
US5054072A (en) * | 1987-04-02 | 1991-10-01 | Massachusetts Institute Of Technology | Coding of acoustic waveforms |
US5884253A (en) * | 1992-04-09 | 1999-03-16 | Lucent Technologies, Inc. | Prototype waveform speech coding with interpolation of pitch, pitch-period waveforms, and synthesis filter |
US5574823A (en) * | 1993-06-23 | 1996-11-12 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Communications | Frequency selective harmonic coding |
US5886276A (en) * | 1997-01-16 | 1999-03-23 | The Board Of Trustees Of The Leland Stanford Junior University | System and method for multiresolution scalable audio signal encoding |
US6161089A (en) * | 1997-03-14 | 2000-12-12 | Digital Voice Systems, Inc. | Multi-subframe quantization of spectral parameters |
US6993480B1 (en) * | 1998-11-03 | 2006-01-31 | Srs Labs, Inc. | Voice intelligibility enhancement system |
WO2001059766A1 (en) * | 2000-02-11 | 2001-08-16 | Comsat Corporation | Background noise reduction in sinusoidal based speech coding systems |
CN1213403C (zh) * | 2001-01-16 | 2005-08-03 | 皇家菲利浦电子有限公司 | 产生参数编码中的连接信息的连接装置和方法 |
WO2002056299A1 (en) * | 2001-01-16 | 2002-07-18 | Koninklijke Philips Electronics N.V. | Parametric coding of an audio or speech signal |
EP1399917B1 (en) * | 2001-06-08 | 2005-09-21 | Philips Electronics N.V. | Editing of audio signals |
ATE338999T1 (de) * | 2001-10-19 | 2006-09-15 | Koninkl Philips Electronics Nv | Differentielle kodierung im frequenz bereich von sinusmodell parametern |
AU2002307884A1 (en) * | 2002-04-22 | 2003-11-03 | Nokia Corporation | Method and device for obtaining parameters for parametric speech coding of frames |
GB2388502A (en) | 2002-05-10 | 2003-11-12 | Chris Dunn | Compression of frequency domain audio signals |
KR100462615B1 (ko) * | 2002-07-11 | 2004-12-20 | 삼성전자주식회사 | 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치 |
KR100723753B1 (ko) * | 2002-08-01 | 2007-05-30 | 마츠시타 덴끼 산교 가부시키가이샤 | 스펙트럼 대역 복사에 의한 오디오 디코딩 장치 및 오디오디코딩 방법 |
WO2005024783A1 (en) * | 2003-09-05 | 2005-03-17 | Koninklijke Philips Electronics N.V. | Low bit-rate audio encoding |
US20060015329A1 (en) * | 2004-07-19 | 2006-01-19 | Chu Wai C | Apparatus and method for audio coding |
JP2008510197A (ja) * | 2004-08-17 | 2008-04-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | スケーラブルなオーディオ符号化 |
KR100750115B1 (ko) * | 2004-10-26 | 2007-08-21 | 삼성전자주식회사 | 오디오 신호 부호화 및 복호화 방법 및 그 장치 |
JP2008519991A (ja) * | 2004-11-09 | 2008-06-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 音声の符号化及び復号化 |
KR100707174B1 (ko) | 2004-12-31 | 2007-04-13 | 삼성전자주식회사 | 광대역 음성 부호화 및 복호화 시스템에서 고대역 음성부호화 및 복호화 장치와 그 방법 |
WO2006075269A1 (en) * | 2005-01-11 | 2006-07-20 | Koninklijke Philips Electronics N.V. | Scalable encoding/decoding of audio signals |
KR100813259B1 (ko) | 2005-07-13 | 2008-03-13 | 삼성전자주식회사 | 입력신호의 계층적 부호화/복호화 장치 및 방법 |
US7720677B2 (en) * | 2005-11-03 | 2010-05-18 | Coding Technologies Ab | Time warped modified transform coding of audio signals |
AU2009220321B2 (en) * | 2008-03-03 | 2011-09-22 | Intellectual Discovery Co., Ltd. | Method and apparatus for processing audio signal |
-
2007
- 2007-08-31 KR KR1020070088301A patent/KR101380170B1/ko not_active IP Right Cessation
-
2008
- 2008-06-20 CN CN2008801048424A patent/CN101790887B/zh not_active Expired - Fee Related
- 2008-06-20 EP EP08766466.0A patent/EP2183919A4/en not_active Withdrawn
- 2008-06-20 WO PCT/KR2008/003506 patent/WO2009028790A1/en active Application Filing
- 2008-08-05 US US12/186,128 patent/US20090063163A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5630011A (en) * | 1990-12-05 | 1997-05-13 | Digital Voice Systems, Inc. | Quantization of harmonic amplitudes representing speech |
CN1575490A (zh) * | 2001-10-26 | 2005-02-02 | 皇家飞利浦电子股份有限公司 | 音频编码器内正弦参数的跟踪 |
Also Published As
Publication number | Publication date |
---|---|
KR20090022711A (ko) | 2009-03-04 |
KR101380170B1 (ko) | 2014-04-02 |
EP2183919A1 (en) | 2010-05-12 |
EP2183919A4 (en) | 2013-10-16 |
US20090063163A1 (en) | 2009-03-05 |
WO2009028790A1 (en) | 2009-03-05 |
CN101790887A (zh) | 2010-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101790887B (zh) | 用于对媒体信号编码/解码的方法和设备 | |
US8355911B2 (en) | Method of lost frame concealment and device | |
KR101740912B1 (ko) | 고조파 전위에 기초하여 개선된 서브밴드 블록 | |
CN107452392B (zh) | 临界采样滤波器组中的基于模型的预测 | |
US20230008547A1 (en) | Audio frame loss concealment | |
CN103620674A (zh) | 用于对音频信号的时间段进行编码和解码的变换音频编解码器和方法 | |
CN102194458B (zh) | 频带复制方法、装置及音频解码方法、系统 | |
US7363216B2 (en) | Method and system for parametric characterization of transient audio signals | |
Ren et al. | Spec-resnet: a general audio steganalysis scheme based on deep residual network of spectrogram | |
JP2003108197A (ja) | オーディオ信号復号化装置およびオーディオ信号符号化装置 | |
US20120123788A1 (en) | Coding method, decoding method, and device and program using the methods | |
EP3248190B1 (en) | Method of encoding, method of decoding, encoder, and decoder of an audio signal | |
RU2409874C9 (ru) | Сжатие звуковых сигналов | |
CN102103859A (zh) | 一种数字音频编码、解码方法及装置 | |
US8473302B2 (en) | Parametric audio encoding and decoding apparatus and method thereof having selective phase encoding for birth sine wave | |
Dhubkarya et al. | HIGH QUALITY AUDIO CODING AT LOW BIT RATE USING WAVELET AND WAVELET PACKET TRANSFORM. | |
Dasen | Bridging Image and Audio Compression: A Spectrogram-based Neural Approach | |
Haque et al. | Performance Evaluation of Audio Watermarking in EMD Framework | |
Shu et al. | Optimal normalisation of prediction residual for predictive coding with random access | |
Matta et al. | Distributed Audio Coding with Efficient Source Correlation Extraction | |
Matta et al. | Efficient correlation extraction for distributed audio coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130313 Termination date: 20170620 |
|
CF01 | Termination of patent right due to non-payment of annual fee |