CN103370742B - 语音解码装置、语音编码装置、语音解码方法以及语音编码方法 - Google Patents
语音解码装置、语音编码装置、语音解码方法以及语音编码方法 Download PDFInfo
- Publication number
- CN103370742B CN103370742B CN201280009009.8A CN201280009009A CN103370742B CN 103370742 B CN103370742 B CN 103370742B CN 201280009009 A CN201280009009 A CN 201280009009A CN 103370742 B CN103370742 B CN 103370742B
- Authority
- CN
- China
- Prior art keywords
- frequency band
- temporal envelope
- unit
- low
- coded sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
- G10L21/0388—Details of processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
Abstract
语音解码装置(1)具有:解复用部(1a)、低频带解码部(1b)、频带分割滤波器组部(1c)、编码序列解析部(1d)、编码序列解码/逆量化部(1e)、高频带生成部(1h)、取得多个低频带的时间包络的低频带时间包络计算部(1f1~1fn)、使用时间包络信息以及多个低频带时间包络来计算高频带时间包络的时间包络计算部(1g)、使用时间包络计算部(1g)取得的时间包络调整高频带成分的时间包络的时间包络调整部(1i)和频带合成滤波器组部(1i)。
Description
技术领域
本发明涉及语音解码装置、语音编码装置、语音解码方法、语音编码方法、语音解码程序以及语音编码程序。
背景技术
利用听觉心理去除人类知觉所不需要的信息而将信号的数据量压缩为几十分之一的语音音频编码技术在信号的传送和积蓄中是极为重要的技术。作为广泛使用的知觉音频编码技术的例子,可列举由ISO/IEC MPEG(Moving Picture Experts Group:活动图像专家组)标准化的MPEG4 AAC(Advanced Audio Coding:高级音频编码)等。
另外,作为进一步提高语音编码的性能利用低比特率获得高语音质量的方法,近年来广泛采用了利用语音的低频成分来生成高频成分的频带扩展技术。该频带扩展技术的代表例是MPEG4 AAC中利用的SBR(Spectral Band Replication:频带复制)技术。在这种SBR中,针对通过QMF(Quadrature Mirror Filter:正交镜像滤波器)组变换到频域的信号,进行从低频带到高频带的频谱系数的复写,由此生成高频成分,然后,通过调整复写的系数的频谱包络和调性(tonality)来进行高频成分的调整。以下,将频谱包络和调性的调整称为“频率包络的调整”。这种利用了频带扩展技术的语音编码方式可以仅使用少量的辅助信息来再现信号的高频成分,因此对于语音编码的低比特率化是有效的。
此处,在以SBR为代表的频域中的频带扩展技术中,由于进行对频域中表现的频谱系数的频谱包络进行调整,在对语音信号、拍手音及响板音这样的时间包络变化大的语音信号进行编码时,有时在解码信号中会感知到被称为前回声(pre echo)或后回声(post echo)的残音状的噪声。这个问题是由于在调整处理的过程中高频成分的时间包络变形并且多数情况下成为比调整前更平坦的形状所造成的。由于调整处理而变平坦的高频成分的时间包络与编码前的原始信号中的高频成分的时间包络不一致,成为产生前回声/后回声的原因。
作为该问题的解决方法,公知有如下方法(参照下面的专利文献1)。即,如下这样的方法:按照频域信号的每个时隙取得低频成分的功率,根据取得的功率,提取时间包络信息,对于提取出的时间包络信息,在利用辅助信息进行调整后,将其叠加在被施加了频率包络调整处理的高频成分中。以下,将上述方法称为“时间包络变形方法”。可确认到利用该方法能够将解码信号的时间包络调整为失真少的形状而得到改善了前回声/后回声的再现信号。
现有技术文献
专利文献
专利文献1:国际公开2010/114123号公报
发明内容
发明要解决的课题
此处,在上述专利文献1记载的时间包络变形的方法中,在得到仅包含根据输入的复用比特流而得到的低频成分的解码信号后,根据该解码信号得到QMF区域的信号。进而,根据QMF区域的信号,取得时间包络信息,再使用参数对该时间包络信息进行调整,然后,使用调整后的时间包络信息实施以高频成分的QMF区域信号为对象的时间包络变形处理。
但是,在上述时间包络变形方法中,由于使用作为根据低频成分的QMF区域的信号而得到的时间函数的单一时间包络信息进行时间包络变形处理,所以在该低频成分的时间包络与高频成分的时间包络的相关不充分的情况下,很难进行时间包络的波形调整。其结果是,存在解码信号中的前回声以及后回声未得到充分改善的趋势。
因此,本发明是鉴于这种课题而完成的,其目的在于提供能够通过将解码信号中的时间包络调整为失真少的形状来得到充分改善了前回声和后回声的再现信号的语音解码装置、语音编码装置、语音解码方法、语音编码方法、语音解码程序以及语音编码程序。
用于解决课题的手段
为了解决上述课题,本发明的一个方面的解码装置是对编码序列进行解码的语音解码装置,该编码序列是对语音信号进行编码而得到的,该语音解码装置具有:解复用单元,其将编码序列解复用为低频带编码序列和高频带编码序列;低频带解码单元,其对由解复用单元解复用得到的低频带编码序列进行解码,得到低频带信号;频率变换单元,其将低频带解码单元得到的低频带信号变换到频域;高频带编码序列解析单元,其对由解复用单元解复用得到的高频带编码序列进行解析,取得编码后的高频带生成用辅助信息以及时间包络信息;编码序列解码逆量化单元,其对由高频带编码序列解析单元取得的高频带生成用辅助信息以及时间包络信息进行解码和逆量化;高频带生成单元,其根据由频率变换单元变换到频域的低频带信号,使用由编码序列解码逆量化单元解码后的高频带生成用辅助信息,生成语音信号的频域的高频带成分;第1~第N低频带时间包络计算单元,它们对由频率变换单元变换到频域的低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;时间包络计算单元,其使用编码序列解码逆量化单元取得的时间包络信息、以及低频带时间包络计算单元取得的多个低频带的时间包络,计算高频带的时间包络;时间包络调整单元,其使用由时间包络计算单元取得的时间包络,调整由高频带生成单元生成的高频带成分的时间包络;以及逆频率变换单元,其将时间包络调整单元调整后的高频带成分与低频带解码单元解码出的低频带信号相加,输出包含整个频带成分的时域信号。
或者,另一方面的解码装置是对编码序列进行解码的语音解码装置,该编码序列是对语音信号进行编码而得到的,该语音解码装置具有:解复用单元,其将编码序列解复用为低频带编码序列和高频带编码序列;低频带解码单元,其对由解复用单元解复用得到的低频带编码序列进行解码,得到低频带信号;频率变换单元,其将低频带解码单元得到的低频带信号变换到频域;高频带编码序列解析单元,其对由解复用单元解复用得到的高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、频率包络信息以及时间包络信息;编码序列解码逆量化单元,其对由高频带编码序列解析单元取得的高频带生成用辅助信息、频率包络信息以及时间包络信息进行解码和逆量化;高频带生成单元,其根据由频率变换单元变换到频域的低频带信号,使用由编码序列解码逆量化单元解码后的高频带生成用辅助信息,生成语音信号的频域的高频带成分;第1~第N低频带时间包络计算单元,它们对由频率变换单元变换到频域的低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;时间包络计算单元,其使用编码序列解码逆量化单元取得的时间包络信息、以及低频带时间包络计算单元取得的多个低频带的时间包络,计算高频带的时间包络;频率包络叠加单元,其将由编码序列解码逆量化单元取得的频率包络信息叠加在高频带的时间包络中,取得时间频率包络;时间频率包络调整单元,其使用由时间包络计算单元取得的时间包络以及由频率包络叠加单元取得的时间频率包络,调整由高频带生成单元生成的高频带成分的时间包络和频率包络;以及逆频率变换单元,其将时间包络调整单元调整后的高频带成分与低频带解码单元解码出的低频带信号相加,输出包含整个频带成分的时域信号。
或者,另一方面的解码装置是对编码序列进行解码的语音解码装置,该编码序列是对语音信号进行编码而得到的,该语音解码装置具有:解复用单元,其将编码序列解复用为低频带编码序列和高频带编码序列;低频带解码单元,其对由解复用单元解复用得到的低频带编码序列进行解码,得到低频带信号;频率变换单元,其将低频带解码单元得到的低频带信号变换到频域;高频带编码序列解析单元,其对由解复用单元解复用得到的高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、频率包络信息以及时间包络信息;编码序列解码逆量化单元,其对由高频带编码序列解析单元取得的高频带生成用辅助信息、频率包络信息以及时间包络信息进行解码和逆量化;高频带生成单元,其根据由频率变换单元变换到频域的低频带信号,使用由编码序列解码逆量化单元解码后的高频带生成用辅助信息,生成语音信号的频域的高频带成分;第1~第N低频带时间包络计算单元,它们对由频率变换单元变换到频域的低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;时间包络计算单元,其使用编码序列解码逆量化单元取得的时间包络信息、以及低频带时间包络计算单元取得的多个低频带的时间包络,计算高频带的时间包络;频率包络计算单元,其使用编码序列解码逆量化单元取得的频率包络信息,计算频率包络;时间频率包络调整单元,其使用时间包络计算单元取得的时间包络、以及频率包络计算单元取得的频率包络,调整高频带生成单元生成的高频带成分的时间包络和频率包络;逆频率变换单元,其将时间频率包络调整单元调整后的高频带成分与低频带解码单元解码出的低频带信号相加,输出包含整个频带成分的时域信号。
本发明的一个方面的解码方法是对编码序列进行解码的语音解码方法,该编码序列是对语音信号进行编码而得到的,该语音解码方法包括:解复用步骤,解复用单元将编码序列解复用为低频带编码序列和高频带编码序列;低频带解码步骤,低频带解码单元对由解复用单元解复用得到的低频带编码序列进行解码,得到低频带信号;频率变换步骤,频率变换单元将低频带解码单元得到的低频带信号变换到频域;高频带编码序列解析步骤,高频带编码序列解析单元对由解复用单元解复用得到的高频带编码序列进行解析,取得编码后的高频带生成用辅助信息以及时间包络信息;编码序列解码逆量化步骤,编码序列解码逆量化单元对由高频带编码序列解析单元取得的高频带生成用辅助信息以及时间包络信息进行解码和逆量化;高频带生成步骤,高频带生成单元根据由频率变换单元变换到频域的低频带信号,使用由编码序列解码逆量化单元解码后的高频带生成用辅助信息,生成语音信号的频域的高频带成分;第1~第N低频带时间包络计算步骤,第1~第N低频带时间包络计算单元对频率变换单元变换到频域的低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;时间包络计算步骤,时间包络计算单元使用编码序列解码逆量化单元取得的时间包络信息、以及低频带时间包络计算单元取得的多个低频带的时间包络,计算高频带的时间包络;时间包络调整步骤,时间包络调整单元使用由时间包络计算单元取得的时间包络,调整由高频带生成单元生成的高频带成分的时间包络;以及逆频率变换步骤,逆频率变换单元将时间包络调整单元调整后的高频带成分与低频带解码单元解码出的低频带信号相加,输出包含整个频带成分的时域信号。
或者,本发明的另一方面的解码方法是对编码序列进行解码的语音解码方法,该编码序列是对语音信号进行编码而得到的,该解码方法包括:解复用步骤,解复用单元将编码序列解复用为低频带编码序列和高频带编码序列;低频带解码步骤,低频带解码单元对由解复用单元解复用得到的低频带编码序列进行解码,得到低频带信号;频率变换步骤,频率变换单元将低频带解码单元得到的低频带信号变换到频域;高频带编码序列解析步骤,高频带编码序列解析单元对由解复用单元解复用得到的高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、频率包络信息以及时间包络信息;编码序列解码逆量化步骤,编码序列解码逆量化单元对由高频带编码序列解析单元取得的高频带生成用辅助信息、频率包络信息以及时间包络信息进行解码和逆量化;高频带生成步骤,高频带生成单元根据由频率变换单元变换到频域的低频带信号,使用由编码序列解码逆量化单元解码后的高频带生成用辅助信息,生成语音信号的频域的高频带成分;第1~第N低频带时间包络计算步骤,第1~第N低频带时间包络计算单元对由频率变换单元变换到频域的低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;时间包络计算步骤,时间包络计算单元使用编码序列解码逆量化单元取得的时间包络信息、以及低频带时间包络计算单元取得的多个低频带的时间包络,计算高频带的时间包络;频率包络叠加步骤,频率包络叠加单元将由编码序列解码逆量化单元取得的频率包络信息叠加在高频带的时间包络中,取得时间频率包络;时间频率包络调整步骤,时间频率包络调整单元使用由时间包络计算单元取得的时间包络以及由频率包络叠加单元取得的时间频率包络,调整由高频带生成单元生成的高频带成分的时间包络和频率包络;以及逆频率变换步骤,逆频率变换单元将时间频率包络调整单元调整后的高频带成分与低频带解码单元解码出的低频带信号相加,输出包含整个频带成分的时域信号。
或者,本发明的另一方面的解码方法是对编码序列进行解码的语音解码方法,该编码序列是对语音信号进行编码而得到的,该语音解码方法包括:解复用步骤,解复用单元将编码序列解复用为低频带编码序列和高频带编码序列;低频带解码步骤,低频带解码单元对由解复用单元解复用得到的低频带编码序列进行解码,得到低频带信号;频率变换步骤,频率变换单元将低频带解码单元得到的低频带信号变换到频域;高频带编码序列解析步骤,高频带编码序列解析单元对由解复用单元解复用得到的高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、频率包络信息以及时间包络信息;编码序列解码逆量化步骤,编码序列解码逆量化单元对由高频带编码序列解析单元取得的高频带生成用辅助信息、频率包络信息以及时间包络信息进行解码和逆量化;高频带生成步骤,高频带生成单元根据由频率变换单元变换到频域的低频带信号,使用由编码序列解码逆量化单元解码后的高频带生成用辅助信息,生成语音信号的频域的高频带成分;第1~第N低频带时间包络计算步骤,低频带时间包络计算单元对由频率变换单元变换到频域的低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;时间包络计算步骤,时间包络计算单元使用编码序列解码逆量化单元取得的时间包络信息、以及低频带时间包络计算单元取得的多个低频带的时间包络,计算高频带的时间包络;频率包络计算步骤,频率包络计算单元使用编码序列解码逆量化单元取得的频率包络信息,计算频率包络;时间频率包络调整步骤,时间频率包络调整单元使用时间包络计算单元取得的时间包络、以及频率包络计算单元取得的频率包络,调整高频带生成单元生成的高频带成分的时间包络和频率包络;逆频率变换步骤,逆频率变换单元将时间频率包络调整单元调整后的高频带成分与低频带解码单元解码出的低频带信号相加,输出包含整个频带成分的时域信号。
本发明的一侧面的解码程序是对编码序列进行解码的语音解码程序,该编码序列是对语音信号进行编码而得到的,该语音解码程序使计算机作为以下单元发挥作用:解复用单元,其将编码序列解复用为低频带编码序列和高频带编码序列;低频带解码单元,其对由解复用单元解复用得到的低频带编码序列进行解码,得到低频带信号;频率变换单元,其将低频带解码单元得到的低频带信号变换到频域;高频带编码序列解析单元,其对由解复用单元解复用的高频带编码序列进行解析,取得编码后的高频带生成用辅助信息以及时间包络信息;编码序列解码逆量化单元,其对由高频带编码序列解析单元取得的高频带生成用辅助信息以及时间包络信息进行解码和逆量化;高频带生成单元,其根据由频率变换单元变换到频域的低频带信号,使用由编码序列解码逆量化单元解码后的高频带生成用辅助信息,生成语音信号的频域的高频带成分;第1~第N低频带时间包络计算单元,它们对由频率变换单元变换到频域的低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;时间包络计算单元,其使用编码序列解码逆量化单元取得的时间包络信息、以及低频带时间包络计算单元取得的多个低频带的时间包络,计算高频带的时间包络;时间包络调整单元,其使用由时间包络计算单元取得的时间包络,调整由高频带生成单元生成的高频带成分的时间包络;以及逆频率变换单元,其将时间包络调整单元调整后的高频带成分与低频带解码单元解码出的低频带信号相加,输出包含整个频带成分的时域信号。
本发明的一侧面的解码程序是对编码序列进行解码的语音解码程序,该编码序列是对语音信号进行编码而得到的,该语音解码程序使计算机作为以下单元发挥作用:解复用单元,其将编码序列解复用为低频带编码序列和高频带编码序列;低频带解码单元,其对由解复用单元解复用得到的低频带编码序列进行解码,得到低频带信号;频率变换单元,其将低频带解码单元得到的低频带信号变换到频域;高频带编码序列解析单元,其对由解复用单元解复用得到的高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、频率包络信息以及时间包络信息;编码序列解码逆量化单元,其对由高频带编码序列解析单元取得的高频带生成用辅助信息、频率包络信息以及时间包络信息进行解码和逆量化;高频带生成单元,其根据由频率变换单元变换到频域的低频带信号,使用由编码序列解码逆量化单元解码后的高频带生成用辅助信息,生成语音信号的频域的高频带成分;第1~第N低频带时间包络计算单元,它们对由频率变换单元变换到频域的低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;时间包络计算单元,其使用编码序列解码逆量化单元取得的时间包络信息、以及低频带时间包络计算单元取得的多个低频带的时间包络,计算高频带的时间包络;频率包络叠加单元,其将由编码序列解码逆量化单元取得的频率包络信息叠加在高频带的时间包络中,取得时间频率包络;时间频率包络调整单元,其使用由时间包络计算单元取得的时间包络以及由频率包络叠加单元取得的时间频率包络,调整由高频带生成单元生成的高频带成分的时间包络和频率包络;以及逆频率变换单元,其将时间频率包络调整单元调整后的高频带成分与低频带解码单元解码出的低频带信号相加,输出包含整个频带成分的时域信号。
或者,本发明的另一侧面的解码程序是对编码序列进行解码的语音解码程序,该编码序列是对语音信号进行编码而得到的,该语音解码程序使计算机作为以下单元发挥作用:解复用单元,其将编码序列解复用为低频带编码序列和高频带编码序列;低频带解码单元,其对由解复用单元解复用得到的低频带编码序列进行解码,得到低频带信号;频率变换单元,其将低频带解码单元得到的低频带信号变换到频域;高频带编码序列解析单元,其对由解复用单元解复用得到的高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、频率包络信息以及时间包络信息;编码序列解码逆量化单元,其对由高频带编码序列解析单元取得的高频带生成用辅助信息、频率包络信息以及时间包络信息进行解码和逆量化;高频带生成单元,其根据由频率变换单元变换到频域的低频带信号,使用由编码序列解码逆量化单元解码后的高频带生成用辅助信息,生成语音信号的频域的高频带成分;第1~第N低频带时间包络计算单元,它们对由频率变换单元变换到频域的低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;时间包络计算单元,其使用编码序列解码逆量化单元取得的时间包络信息、以及低频带时间包络计算单元取得的多个低频带的时间包络,计算高频带的时间包络;频率包络计算单元,其使用编码序列解码逆量化单元取得的频率包络信息,计算频率包络;时间频率包络调整单元,其使用时间包络计算单元取得的时间包络、以及频率包络计算单元取得的频率包络,调整高频带生成单元生成的高频带成分的时间包络和频率包络;以及逆频率变换单元,其将时间频率包络调整单元调整后的高频带成分与低频带解码单元解码出的低频带信号相加,输出包含整个频带成分的时域信号。
通过这样的解码装置、解码方法、或解码程序,根据编码序列进行解复用以及解码,得到低频带信号,根据编码序列进行解复用、解码、以及逆量化得到高频带生成用辅助信息以及时间包络信息。然后,根据使用高频带生成用辅助信息而变换到频域的低频带信号生成频域高频带成分,另一方面,对频域的低频带信号进行分析,取得多个低频带时间包络,然后,使用该多个低频带时间包络和时间包络信息,计算高频带的时间包络。进而,利用算出的高频带时间包络调整高频带成分的时间包络,将调整后的高频带成分与低频带信号相加,输出时域信号。这样,将多个低频带时间包络用于调整高频带成分的时间包络,因此,利用低频带成分的时间包络和高频带成分的时间包络的相关,以较高的精度调整高频带成分的时间包络的波形。其结果,能够将解码信号中的时间包络调整为失真较少的形状,得到充分改善了前回声和后回声的再现信号。
此处,优选的是,还具有时间包络计算控制单元,该时间包络计算控制单元使用由所述频率变换单元变换到频域的所述低频带信号,控制所述第1~第N低频带时间包络计算单元中的低频带的时间包络的计算、以及所述时间包络计算单元中的高频带的时间包络的计算中的至少1个。如果具有这种时间包络计算控制单元,则能够根据低频带信号的功率等性质省略低频带时间包络的计算、或高频带时间包络的计算的处理,减少运算量。
另外,优选的是,还具有时间包络计算控制单元,该时间包络计算控制单元使用由所述编码序列解码逆量化单元取得的所述时间包络信息,控制所述第1~第N低频带时间包络计算单元中的低频带的时间包络的计算、以及所述时间包络计算单元中的高频带的时间包络的计算中的至少1个。如果具有这种时间包络计算控制单元,则能够根据基于编码序列得到的时间包络信息省略低频带时间包络的计算、或高频带时间包络的计算的处理,减少运算量。
而且,优选的是,所述高频带编码序列解析单元还取得时间包络计算控制信息,还具有时间包络计算控制单元,该时间包络计算控制单元使用由所述高频带编码序列解析单元取得的时间包络计算控制信息,控制所述第1~第N低频带时间包络计算单元中的低频带的时间包络的计算以及所述时间包络计算单元中的高频带的时间包络的计算中的至少1个。如果采用这种结构,则能够根据基于编码序列得到的时间包络计算控制信息省略低频带时间包络的计算、或高频带时间包络的计算的处理,减少运算量。
另外,优选的是,所述高频带编码序列解析单元还取得时间包络计算控制信息,所述编码序列解码/逆量化单元还取得第2频率包络信息,该语音解码装置还具有时间包络计算控制单元,该时间包络计算控制单元根据所述时间包络计算控制信息,判断是否基于所述第2频率包络信息调整高频带成分的频率包络,在判断为调整该频率包络的情况下,控制为不进行所述第1~第N低频带时间包络计算单元中的低频带的时间包络的计算、以及所述时间包络计算单元中的高频带的时间包络的计算。该情况下,能够根据基于编码序列得到的时间包络计算控制信息,省略低频带时间包络的计算、或高频带时间包络的计算的处理,减少运算量。
另外,优选的是,时间频率包络调整单元根据规定的函数对所述高频带生成单元生成的语音信号的高频带成分进行处理。另外,优选的是,低频带时间包络计算单元根据规定的函数对取得的多个低频带的时间包络进行处理。
另外,本发明的一个方面的编码装置是对语音信号进行编码的语音编码装置,该语音编码装置具有:频率变换单元,其将所述语音信号变换到频域;下采样单元,其对所述语音信号进行下采样,取得低频带信号;低频带编码单元,其对所述下采样单元取得的低频带信号进行编码;第1~第N低频带时间包络计算单元,它们计算多个由所述频率变换单元变换到频域的所述语音信号的低频带成分的时间包络,其中N为2以上的整数;时间包络信息计算单元,其使用由所述第1~第N低频带时间包络计算单元计算的低频带成分的所述时间包络,计算取得由所述频率变换单元变换后的所述语音信号的高频带成分的时间包络所需的时间包络信息;辅助信息计算单元,其对所述语音信号进行分析,计算用于根据低频带信号生成高频带成分的高频带生成用辅助信息;量化编码单元,其对由所述辅助信息计算单元生成的所述高频带生成用辅助信息、以及所述时间包络信息计算单元计算的所述时间包络信息进行量化和编码;编码序列构成单元,其使由所述量化编码单元量化和编码后的所述高频带生成用辅助信息以及所述时间包络信息构成为高频带编码序列;复用单元,其生成所述低频带编码单元取得的所述低频带编码序列、所述编码序列构成单元构成的所述高频带编码序列复用而得到的编码序列。
本发明的一个侧面的编码方法是对语音信号进行编码的编码方法,该语音编码方法包括:频率变换步骤,频率变换单元将所述语音信号变换到频域;下采样步骤,下采样对所述语音信号进行下采样,取得低频带信号;低频带编码步骤,低频带编码单元对所述下采样单元取得的低频带信号进行编码;第1~第N低频带时间包络计算步骤,第1~第N低频带时间包络计算单元计算多个由所述频率变换单元变换到频域的所述语音信号的低频带成分的时间包络,其中N为2以上的整数;时间包络信息计算步骤,时间包络信息计算单元使用由所述第1~第N低频带时间包络计算单元计算的低频带成分的所述时间包络,计算取得由所述频率变换单元变换后的所述语音信号的高频带成分的时间包络所需的时间包络信息;辅助信息计算步骤,辅助信息计算单元对所述语音信号进行分析,计算用于根据低频带信号生成高频带成分的高频带生成用辅助信息;量化编码步骤,量化编码单元对由所述辅助信息计算单元生成的所述高频带生成用辅助信息、以及所述时间包络信息计算单元计算的所述时间包络信息进行量化和编码;编码序列构成步骤,编码序列构成单元使由所述量化编码单元量化和编码后的所述高频带生成用辅助信息以及所述时间包络信息构成为高频带编码序列;以及复用步骤,复用单元生成所述低频带编码单元取得的所述低频带编码序列、所述编码序列构成单元构成的所述高频带编码序列复用而得到的编码序列。
本发明的一个方面的编码程序是对语音信号进行编码的语音编码程序,该编码程序使计算机作为以下单元发挥作用:频率变换单元,其将所述语音信号变换到频域;下采样单元,其对所述语音信号进行下采样,取得低频带信号;低频带编码单元,其对所述下采样单元取得的低频带信号进行编码;第1~第N低频带时间包络计算单元,它们计算多个由所述频率变换单元变换到频域的所述语音信号的低频带成分的时间包络,其中N为2以上的整数;时间包络信息计算单元,其使用由所述第1~第N低频带时间包络计算单元计算的低频带成分的所述时间包络,计算取得由所述频率变换单元变换后的所述语音信号的高频带成分的时间包络所需的时间包络信息;辅助信息计算单元,其对所述语音信号进行分析,计算用于根据低频带信号生成高频带成分的高频带生成用辅助信息;量化编码单元,其对由所述辅助信息计算单元生成的所述高频带生成用辅助信息、以及所述时间包络信息计算单元计算的所述时间包络信息进行量化和编码;编码序列构成单元,其使由所述量化编码单元量化和编码后的所述高频带生成用辅助信息以及所述时间包络信息构成为高频带编码序列;复用单元,其生成所述低频带编码单元取得的所述低频带编码序列、所述编码序列构成单元构成的所述高频带编码序列复用而得到的编码序列。
通过这样的编码装置、编码方法、或编码程序,对语音信号进行下采样,得到低频带信号,对该低频带信号进行编码,另一方面,根据频域语音信号计算多个低频带成分时间包络,使用该多个低频带成分时间包络计算用于取得高频带成分时间包络的时间包络信息。而且,计算用于根据低频带信号生成高频带成分的高频带生成用辅助信息,对高频带生成用辅助信息和时间包络信息进行量化以及编码,然后,构成包含高频带生成用辅助信息和时间包络信息的高频带编码序列。然后,生成低频带编码序列以及高频带编码序列复用而得到的编码序列。由此,在向解码装置输入编码序列时,能够在解码装置侧将多个低频带时间包络用于调整高频带成分的时间包络,能够在解码装置侧利用低频带成分的时间包络与高频带成分的时间包络的相关,以较高的精度调整高频带成分时间包络的波形。其结果,能够将解码信号中的时间包络调整为失真较少的形状,在解码装置侧得到充分改善了前回声和后回声的再现信号。
此处,优选的是,还具有频率包络计算单元,该频率包络计算单元计算所述频率变换单元变换到频域的所述语音信号的高频带成分的频率包络信息,所述量化编码单元还对所述频率包络信息进行量化和编码,所述编码序列构成单元还附加由所述量化编码单元量化和编码的所述频率包络信息而构成高频带编码序列。如果采用这种结构,则能够在解码装置侧调整高频带成分的频率包络,所以能够在解码装置侧得到改善了频率特性的再现信号。
另外,优选的是,还具有控制信息生成单元,该控制信息生成单元使用所述频率变换单元变换到频域的所述语音信号、所述时间包络信息计算单元计算出的时间包络信息中的至少1个,生成控制语音解码装置中的时间包络计算的时间包络计算控制信息,所述编码序列构成单元还附加由所述控制信息生成单元生成的所述时间包络计算控制信息而构成高频带编码序列。该情况下,能够参照语音信号的功率等性质、时间包络信息使解码装置侧的时间包络计算处理高效化,能够减少运算量。
另外,优选的是,时间包络信息计算单元计算所述频率变换单元变换到频域的所述语音信号的高频带成分的时间包络,基于根据所述第1~第N低频带成分的时间包络算出的时间包络、与上述频带成分的时间包络的相关,计算时间包络信息。
发明效果
根据本发明,通过将解码信号中的时间包络调整为失真较少的形状,能够得到充分改善了前回声和后回声的再现信号。
附图说明
图1是本发明的第1实施方式的语音解码装置1的概要结构图。
图2是示出通过图1的语音解码装置1实现的语音解码方法的步骤的流程图。
图3是本发明的第1实施方式的语音编码装置2的概要结构图。
图4是示出通过图3的语音编码装置2实现的语音编码方法的步骤的流程图。
图5是示出与第1实施方式的语音解码装置1的第1变形例中的包络计算有关的主要部分的结构的图。
图6是示出图5的语音解码装置1的包络计算步骤的流程图。
图7是示出与第1实施方式的语音解码装置1的第2变形例中的包络计算有关的主要部分的结构的图。
图8是示出图7的语音解码装置1的包络计算步骤的流程图。
图9是示出与第1实施方式的语音解码装置1的第3变形例中的包络计算有关的主要部分的结构的图。
图10是示出图9的语音解码装置1的包络计算步骤的流程图。
图11是示出第1实施方式的语音解码装置1的第4变形例的包络计算步骤的流程图。
图12是示出第1实施方式的语音解码装置1的第5变形例的包络计算步骤的流程图。
图13是示出与第1实施方式的语音解码装置1的第6变形例中的包络计算相关的主要部分的结构的图。
图14是示出第1实施方式的语音解码装置1的第7变形例中的时间包络计算部1g的时间包络计算步骤的流程图。
图15是将第1实施方式的语音解码装置1的第7变形例应用于第1实施方式的语音解码装置1的第2变形例时的时间包络计算控制部1m的处理的一部分的流程图。
图16是将第1实施方式的语音解码装置1的第7变形例应用于第1实施方式的语音解码装置1的第4变形例时的时间包络计算控制部1n的处理的一部分的流程图。
图17是示出第1实施方式的语音编码装置2的第1变形例的结构的图。
图18是示出图17的语音编码装置2的语音编码步骤的流程图。
图19是示出第1实施方式的语音编码装置2的第2变形例的结构的图。
图20是示出图19的语音编码装置2的语音编码步骤的流程图。
图21是示出第1实施方式的语音编码装置2的第3变形例的结构的图。
图22是示出图21的语音编码装置2的语音编码步骤的流程图。
图23是示出第2实施方式的语音解码装置101的结构的图。
图24是示出图23的语音解码装置101的语音解码步骤的流程图。
图25是示出第2实施方式的语音编码装置102的结构的图。
图26是示出图25的语音编码装置102的语音编码步骤的流程图。
图27是示出将本发明第1实施方式的语音编码装置2的第1变形例应用于本发明第2实施方式的语音编码装置102时的结构的图。
图28是图27的语音编码装置102的语音编码步骤的流程图。
图29是将本发明第1实施方式的语音编码装置2的第2变形例应用于本发明第2实施方式的语音编码装置102时的结构的图。
图30是示出图29的语音编码装置102的语音编码步骤的流程图。
图31是示出第3实施方式的语音解码装置201的结构的图。
图32是示出图31的语音解码装置201的语音解码步骤的流程图。
图33是示出第4实施方式的语音解码装置301的结构的图。
图34是示出图33的语音解码装置301的语音解码步骤的流程图。
图35是示出第3实施方式的语音编码装置202的结构的图。
图36是示出图35的语音编码装置202的语音编码步骤的流程图。
图37是示出第4实施方式的语音编码装置302的结构的图。
图38是示出图37的语音编码装置302的语音编码步骤的流程图。
图39是示出第2实施方式的语音解码装置101的第3变化例的结构的图。
图40是示出图39的语音解码装置101的语音解码步骤的流程图。
具体实施方式
以下,详细说明附图、和本发明的语音解码装置、语音编码装置、语音解码方法、语音编码方法、语音解码程序、以及语音编码程序的优选实施方式。在附图的说明中对同一要素标注同一标号,省略重复的说明。
[第1实施方式]
图1是示出本发明的第1实施方式的语音解码装置1的结构的图,图2是示出通过语音解码装置1实现的语音解码方法的步骤的流程图。语音解码装置1在物理上具有未图示的CPU、ROM、RAM以及通信装置等,该CPU将存储在ROM等语音解码装置1的内置存储器中的预定计算机程序(例如,用于进行图2的流程图所示的处理的计算机程序)载入RAM并执行,由此对语音解码装置1进行统一控制。语音解码装置1的通信装置接收从后述的语音编码装置2输出的已复用的编码序列,进而将解码后的语音信号输出至外部。
如图1所示,语音解码装置1在功能上具有解复用部(解复用单元)1a、低频带解码部(低频带解码单元)1b、频带分割滤波器组部(频率变换单元)1c、编码序列解析部(高频带编码序列解析单元)1d、编码序列解码/逆量化部(编码序列解码逆量化单元)1e、第1~第n(n为2以上的整数)低频带时间包络计算部(低频带时间包络计算单元)1f1~1fn、时间包络计算部(时间包络计算单元)1g、高频带生成部(高频带生成单元)1h、时间包络调整部(时间包络调整单元)1i、以及频带合成滤波器组部(频率逆变换单元)1j(1c~1e、以及1h~1i有时也称为频带扩展部(频带扩展单元)。)。图1所示的语音解码装置1的各功能部是语音解码装置1的CPU执行存储在语音解码装置1的内置存储器中的计算机程序而实现的功能。语音解码装置1的CPU通过执行该计算机程序(使用图1的各功能部)依次执行图2的流程图所示的处理(步骤S01~步骤S10的处理)。假设执行该计算机程序所需的各种数据以及通过执行该计算机程序而生成的各种数据都存储在语音解码装置1的ROM、RAM等内置存储器中。
以下,详细说明语音解码装置1的各功能部的功能。
解复用部1a通过进行解复用将经由语音解码装置1的通信装置输入的已复用的编码序列分离为低频带编码序列和高频带编码序列。
低频带解码部1b对从解复用部1a提供的低频带编码序列进行解码,得到仅包含低频带成分的解码信号。此时,解码方式可以基于以CELP(Code-Excited LinearPrediction)方式为代表的语音编码方式,也可以基于AAC(Advanced Audio Coding)、TCX(Transform Coded Excitation)方式等的音频编码。另外,也可以基于PCM(PulseCode Modulation)编码方式。另外,也可以基于切换这些编码方式而进行编码的方式。在本实施方式中不限定编码方式。
频带分割滤波器组部1c对从低频带解码部1提供的仅包含低频带成分的解码信号进行分析,将该解码信号变换成频域的信号。以后,将由上述频带分割滤波器组部1c取得的与低频带对应的频域信号表示为Xdec(j,i){0≤j<kx、t(s)≤i<t(s+1)、0≤s<sE}。此处,j为频率方向的索引,i为时间方向的索引,kx为非负整数。另外,将t定义为,与上述信号Xdec(j,i)的索引i相关的范围t(s)≤i<t(s+1)对应于第s(0≤s<sE)个帧。另外,sE为所有帧的数量。上述帧例如与低频带解码部1b的解码方式遵从的编码方式所规定的帧对应。另外,上述帧也可以与“ISO/IEC14496-3”规定的“MPEG4AAC”中利用的SBR中的所谓的SBR帧(SBR frame)、或SBR包络时间段(SBR envelope time segment)对应。另外,在本实施方式中,上述帧规定的时间间隔不限于上述例子。上述索引i也可以对应于“ISO/IEC 14496-3”规定的“MPEG4AAC”中利用的SBR中的QMF子带子样本(QMF subbandsubsample)、或包含其的时隙(time slot)。
编码序列解析部1d对从解复用部1a提供的高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、以及编码后的时间/频率包络信息。
编码序列解码/逆量化部1e对从编码序列解析部1d提供的编码后的高频带生成用辅助信息进行解码/逆量化,取得高频带生成用辅助信息,并且对从编码序列解析部1d提供的编码后的时间包络信息进行解码/逆量化,取得时间包络信息。
第1~第n低频带时间包络计算部1f1~1fn分别计算不同的时间包络。即,第k低频带时间包络计算部1fk(1≤k≤n)从频带分割滤波器组部1c取得低频带的信号X(j,i){0≤j<kx、t(s)≤i<t(s+1)、0≤s<sE},计算低频带的第k个时间包络Ldec(k,i)。(步骤Sb6的处理)。具体而言,第k低频带时间包络计算部1fk如下这样计算时间包络Ldec(k,i)。
首先,可以使用满足下述条件的两个整数k1、kh来指定低频带内的不同副频带。
[式1]
0≤kl≤kh<kx
满足上述条件的可能的整数组(k1、kh)总共有nmax=kx(kx+1)/2个。只要选择这些整数组内的任意一个,就能够指定上述副频带。
接着,通过从上述nmax个整数组中选择n个整数组,指定n个副频带。以下,为了表示其中的n个频带,将两个大小为n的数组B1、Bh定义为,信号Xdec(j,i){B1(k)≤j≤Bh(k)、t(s)≤i<t(s+1)、0≤s<sE}与第k(1≤k≤n)个副频带成分对应。
进而,利用下式得到上述n个副频带成分的功率的时间包络。
[式2]
然后,以上述EL(k,i)为对象,计算出下式。
[式3]
L0(k,i)=10log10EL(k,i),
1≤k≤n,t(s)≤i<t(s+1),0≤s<sE
接着,对该量L0(k,i)实施规定的处理,得到时间包络L(k,i)。例如,也可以使用下式,使该量L0(k,i)在时间方向平滑化,从而得到时间包络L(k,i)。
[式4]
上述式中,sc(j)、0≤j≤d为平滑化系数,d为平滑化的次数。sc(j)例如可根据下式设定,
[式5]
sc(j)=1/(d+1),0≤j≤d
但在本实施方式中,sc(j)的值不限于上式。
另外,上述L0(k,i)例如也可以利用下式来计算。
[式6]
L0(k,i)=EL(k,i),
1≤k≤n,t(s)≤i<t(s+1),0≤s<sE
进而,上述L0(k,i)例如可以利用下式来计算。
[式7]
其中,ε是用于避免除以零的缓和系数。另外,上述L0(k,i)例如也可以利用下式来计算。
[式8]
并且,第k低频带时间包络计算部1fk计算的时间包络Ldec(k,i)例如可以使用下式:
[式9]
Ldec(k,i)=L0(k,i)
1≤k≤n,t(s)≤i<t(s+1),0≤s<sE
或下式:
[式10]
Ldec(k,i)=L1(k,i)
1≤k≤n,t(s)≤i<t(s+1),0≤s<sE
1≤l,m≤n-1
而得到。
其中,上述Ldec(k,i)只要是表示第k个上述副频带的信号的信号功率或信号振幅的时间变动的参数即可,不限于上述的L0(k,i)以及L1(k,i)的形式。
另外,上述Ldec(k,i)也可以利用如以下这样使用主成分分析的方法来计算。
首先,在上述Ldec(k,i){1≤k≤n、t(s)≤i≤t(s+1)、0≤s<sE}的计算过程中,通过将上述n置换为其它整数m=n-1,针对索引k决定m种与上述Ldec(k,i)对应的量,重新将这些量表示为L2(k,i){1≤k≤m(=n-1)、t(s)≤i<t(s+1)、0≤s<sE}。然后,将与第s(0≤s<sE)个帧对应的上述L2(l,i){1≤1≤m、t(s)≤i<t(s+1)}视为汇集了维数D=t(s+1)-t(s)的m个矢量的样本(sample),利用下式求出这些样本的平均:
[式11]
使用上述平均,利用下式定义变位矢量。
[式12]
δL2(l,i)=L2(l,i)-L2,ave(i)
1≤l≤m,
t(s)≤i<t(s+1),0≤s<sE
根据这些变位矢量,利用下式计算尺寸为D×D的方差-协方差矩阵Cov。
[式13]
接着,计算满足下式:
[式14]
的彼此正交的矩阵Cov的固有矢量V(k)。这里,上述V(k) i是固有矢量V(k)的成分,λ(k)是与V(k)对应的矩阵Cov的固有值。这里,也可以对各个上述矢量V(k)进行归一化。其中,在本发明中,归一化的方法不作限定。以后,为了表述方便,设λ(1)≥λ(2)≥···≥λ(D)。
低频带时间包络计算部1fk(其中,1≤k≤n)使用以上取得的固有矢量如以下这样计算时间包络Ldec(k,i)。即,如果D≥m(=n-1),则按照对应的固有值从大到小的顺序从上述固有矢量中选择n-1个,通过下式计算。
[式15]
另一方面,如果D<m(=n-1),则使用上述固有矢量,通过下式计算。
[式16]
此处,α为常数,例如,可以设为α=0。另外,同样地,在D<m(=n-1)的情况下,也可以通过下式来计算。
另外,上述Ldec(k,i)也可以通过以下方法计算。首先,在上述L2(l,i)的计算过程中,设m=n,计算L2(l,i)、1≤1≤m、t(s)≤i<t(s+1)、0≤s<sE。这可以视为汇集了n个维数D=t(s+1)-t(s)的矢量的集合。使用上述n个矢量,通过格拉姆-施密特(Gram-Schmidt)正交法等方法计算n个正交矢量。将它们作为Ldec(k,i)、1≤1≤n、t(s)≤i<t(s+1)、0≤s<sE。但是,正交化的方法不限于上述例子。另外,正交矢量也可以不进行归一化。
时间包络计算部1g使用从第1~第n低频带时间包络计算部1f1~1fn提供的n个低频带的时间包络、和从编码序列解码/逆量化部1e提供的时间包络信息,计算高频带的时间包络。详细地讲,时间包络计算部1g如以下这样进行时间包络计算。
首先,将高频带分割为nH(nH≥1)个副频带,将这些副频带记为B(T) 1(1=1,2,3,···,nH)。接着,使用上述时间包络Ldec(k,i)计算高频带的副频带B(T) 1的时间包络gdec(l,i)。i为时间方向的索引。
例如,上述gdec(l,i)由下式给出。
[式18]
此处,上述式中示出的值:
[式19]
Al,k(s),1≤l≤nH,1≤k≤n,0≤s<sE
是从编码序列解码/逆量化部1e提供的时间包络信息。
另外,从编码序列解码/逆量化部1e提供的时间包络信息的系数A1,k(s)可以包含系数:
[式20]
Al,0(s),1≤l≤nH,0≤s<sE,
在该情况下,上述gdec(l,i)由下式:
[式21]
给出。
进而,从编码序列解码/逆量化部1e提供的时间包络信息除了上述系数A1,k(s){1≤1≤nH、1≤k≤n、0≤s<sE}、或上述系数A1,k(s){1≤1≤nH、0≤k≤n、0≤s<sE}以外,还可以包含由下式:
[式22]
Al,-k(s),1≤l≤nH,1≤k≤g,0≤s<sE
给出的系数,在该情况下,上述gdec(l,i)也可以由下式:
[式23]
或下式:
[式24]
给出。这里,U(k,i){1≤k≤g、t(s)≤i<t(s+1)、0≤s<sE}是规定的系数或规定的函数。例如,上述U(k,i)也可以是由下式给出的函数。
[式25]
U(k,i)=cos(Ω·k·(i-t(s)))
1≤k≤g,t(s)≤i<t(s+1),0≤s<sE
此处,Ω为规定的系数。
此处,上述gdec(l、i)只要是基于Ldec(k,i)的表现,则也允许其它形式,时间包络信息的形式也不限于系数A1,k(s)的形式。
最后,时间包络计算部1g使用上述gdec(l,i),通过下式:
[式26]
或下式:
[式27]
ET,(l,i)=gdec(l,i),
1≤l≤nH,t(s)≤i<t(s+1),0≤s<sE
计算时间包络。
高频带生成部1h使用从编码序列解码/逆量化部1e提供的高频带生成用辅助信息将从频带分割滤波器组部1c提供的低频带的信号Xdec(j,i){0≤j<kx、t(s)≤i<t(s+1)、0≤s<sE}复写到高频带,从而生成高频带的信号Xdec(j,i){kx≤j≤kmax、t(s)≤i<t(s+1)、0≤s<sE}。上述高频带是按照“ISO/IEC 14496-3”规定的“MPEG4AAC”的SBR中的HF生成(HF generation)方法来生成的(“ISO/IEC14496-3 subpart 4 General Audio Coding”)。
时间包络调整部1i使用从时间包络计算部1g提供的时间包络ET(l,i){1≤1≤nH、t(s)≤i<t(s+1)、0≤s<sE}调整从高频带生成部1h提供的高频带信号XH(j,i){kX≤j≤kmax、t(s)≤i<t(s+1)、0≤s<sE}的时间包络。
即,上述时间包络的调节是如以下这样由类似于“MPEG4AAC”的SBR中的HF调整(HF adjustment)的单元进行的。但是,为了简单起见,下面示出仅考虑了HF调整中的噪声叠加(Noise addition)的方法,省略了其它的增益限制器(Gainlimiter)、增益平滑器(Gain smother)、与正弦波叠加(Sinusoid addition)等处理对应的部分。但是,很容易以包含省略的上述处理的方式使处理一般化。假设为了进行与噪声叠加对应的处理而所需的本底噪声·比例因子(Noise floor scale factor)、或进行上述省略的处理时所需的参数已由编码序列解码/逆量化部1e提供。
首先,为了以下说明的简单起见,将以表示副频带B(T) 1(1≤1≤nH)的边界的nH+1个索引为要素的数组FH定义为,信号XH(j,i){FH(1)≤j<FH(1+1)、t(s)≤i<t(s+1)、0≤s<sE}与副频带B(T) 1的成分对应。其中,FH(1)=kx、FH(nH+1)=kmax+1。
根据上述定义,通过下式变换时间包络。
[式28]
E(m,i)=ET(l,i)
然后,通过下式变换由编码序列解码/逆量化部1e提供的噪声电平比例因子Q(m,i)。
[式29]
其中,M=F(nH+1)-F(1)。另外,通过下式计算增益。
[式30]
此处,定义由下式:
[式31]
表示的量。
最后,时间包络调整部1i通过下式得到已进行时间包络调节的信号。
[式32]
Re{Y(m+kx,i)}=Re{W1(m,i)}+Q2(m,i)·V0(f(i)),
Im{Y(m+kx,i)}=Im{W1(m,i)}+Q2(m,i)·V1(fi)),
W1(m,i)=G(m,i)·Xdec(m+kx,i),
0≤m<M,t(s)≤i<t(s+1),0≤s<sE
此处,V0、V1是规定噪声成分的数组,f是将索引i映射到上述数组的索引的函数(具体例参见“ISO/IEC 14496-34.B.18”)。
频带合成滤波器组部1j在对从时间包络调整部1i提供的高频带信号Y(i,j){kx≤j≤kmax、t(s)≤i<t(s+1)、0≤s<sE}、从频带分割滤波器组部1c提供的低频带信号X(j,i){0≤j<kx、t(s)≤i<t(s+1)、0≤s<sE}进行相加后进行频带合成,由此,取得包含所有频带成分的时域的解码语音信号,经由内置的通信装置将取得的语音信号输出到外部。
以下参照图2说明语音解码装置1的动作,并且,一并详细说明语音解码装置1的语音解码方法。
首先,解复用部1a从输入的编码序列中分离出低频带编码序列和高频带编码序列(步骤S01)。接着,低频带解码部1b对低频带编码序列进行解码,得到仅包含低频带成分的解码信号(步骤S02)。然后,频带分割滤波器组部1c对仅包含低频带成分的解码信号进行分析,变换为频域信号(步骤S03)。
进而,编码序列解析部1d对高频带编码序列进行解析,取得编码后的高频带生成用辅助信息以及量化后的时间包络信息(步骤S04)。然后,编码序列解码/逆量化部1e对高频频带生成用辅助信息进行解码,并且对时间包络信息进行逆量化(步骤S05)。然后,高频带生成部1h使用高频带生成用辅助信息将低频带的信号Xdec(j,i)复写到高频带,由此生成高频带的信号Xdec(j,i)(步骤S06)。接着,第1~第n低频带时间包络计算部1f1~1fn根据低频带的信号X(j,i),计算多个低频带的时间包络Ldec(k,i)(步骤S07)。
进而,时间包络计算部1g使用多个低频带内的时间包络Ldec(k,i)和时间包络信息,计算高频带的时间包络ET(l,i)(步骤S08)。然后,时间包络调整部1i使用时间包络ET(l,i)调整高频带信号XH(j,i)的时间包络(步骤S09)。最后,频带合成滤波器组部1j将高频带信号Y(i,j)和低频带信号X(j,i)相加后进行频带合成,由此取得时域的解码语音信号,输出该解码语音信号(步骤S10)。
图3是示出本发明第1实施方式的语音编码装置2的结构的图,图4是示出由语音编码装置2实现的语音编码方法的步骤的流程图。语音编码装置2具有在物理上未图示的CPU、ROM、RAM以及通信装置等,该CPU将存储在ROM等的语音编码装置2的内置存储器中的规定的计算机程序(例如用于进行图4的流程图所示的处理的计算机程序)载入RAM并执行,由此统一地控制语音编码装置2。语音编码装置2的通信装置从外部接收作为编码对象的语音信号,进而将编码后的复用比特流输出到外部。
如图3所示,语音编码装置2在功能上具有:下采样部(下采样单元)2a、低频带编码部(低频带编码单元)2b、频带分割滤波器组部(频率变换单元)2c、高频带生成用辅助信息计算部(辅助信息计算单元)2d、第1~第n(n为2以上的整数)低频带时间包络计算部(低频带时间包络计算单元)2e1~2en、时间包络信息计算部(时间包络信息计算单元)2f、量化/编码部(量化编码单元)2g、高频带编码序列构成部(编码序列构成单元)2h、以及复用部(复用单元)2i。图3所示的语音编码装置2的各功能部是通过语音编码装置2的CPU执行存储在语音编码装置2的内置存储器中的计算机程序而实现的功能。语音编码装置2的CPU通过执行该计算机程序(使用图3所示的各功能部),依次执行图4的流程图所示的处理(步骤S11~步骤S20的处理)。假设执行该计算机程序所需的各种数据以及通过执行该计算机程序而生成的各种数据都存储在语音编码装置2的ROM、RAM等内置存储器中。
下采样部2a对经由语音编码装置2的通信装置接收到的来自外部的输入信号进行处理,得到经过下采样的低频带的时域信号。低频带编码部2b对经过下采样的时域信号进行编码,得到低频带编码序列。低频带编码部2b中的编码可以基于以CELP方式为代表的语音编码方式,也可以基于以AAC为代表的变换编码或TCX方式等的音频编码。另外,也可以基于PCM编码方式。另外,也可以基于切换这些编码方式而进行编码的方式。在本实施方式中不限定编码方式。
频带分割滤波器组部2c对经由语音编码装置2的通信装置接收到的来自外部的输入信号进行分析,变换为频域的所有频带的信号X(j,i)。其中,j为频率方向的索引,i为时间方向的索引。
高频带生成用辅助信息计算部2d从频带分割滤波器组部2c接收频域的信号X(j,i),根据高频带的功率、信号变化、调性等的分析,计算在根据低频带信号成分生成高频带信号成分时使用的高频带生成用辅助信息。
第1~第n低频带时间包络计算部2e1~2en分别计算多个不同的低频带成分的时间包络。具体而言,第k低频带时间包络计算部2ek(1≤k≤n)从频带分割滤波器组部2c接收低频带的信号X(j,i){0≤j<kX,(s)≤i<t(s+1),0≤s<sE},根据上述的语音解码装置1的第k低频带时间包络计算部1fk(其中,1≤k≤n)的时间包络Ldec(k,i)的计算方法,计算低频带的第k个时间包络L(k、i){t(s)≤i<t(s+1),0≤s<sE}。
时间包络信息计算部2f从频带分割滤波器组部2c接收高频带的信号X(j,i){kx≤j<N,t(s)≤i<t(s+1),0≤s<sE},另外,从第k低频带时间包络计算部2ek(1≤k≤n)接收时间包络L(k、i){t(s)≤i<t(s+1),0≤s<sE},计算取得信号X(j,i)的高频带成分的时间包络所需的时间包络信息。上述时间包络信息是在上述语音解码装置1侧提供上述时间包络Ldec(k,i)时能够恢复高频带的参照时间包络的近似的信息。
具体而言,如以下这样进行上述时间包络信息的计算。首先,通过下式计算功率的时间包络。
[式33]
接着,如果将上述高频带的第1(1≤1≤nH)个频带的参照时间包络表示为H(l、i){t(s)≤i<t(s+1)},则参照时间包络H(l、i)可通过下式:
[式34]
H(l,i)=10log10EH(l,i),
kh=FH(l),kl=FH(l+1)-1,
t(s)≤i<t(s+1),0≤s<sE
或下式:
[式35]
H(l,i)=EH(l,i),
kh=FH(l),kl=FH(t+1)-1,
t(s)≤i<t(s+1),0≤s<sE
计算。
另外,也可以与上述的低频带的时间包络同样地,对H(l,i)实施规定的处理(例如平滑化),而成为高频带的参照时间包络。另外,高频带的参照时间包络只要是表示高频带信号的信号功率或信号振幅的时间变动的参数即可,不限于上述计算方法。将上述参照时间包络H(l,i)的上述时间包络L(k,i)的近似表示为g(l,i),上述g(l,i)的方式依据语音解码装置1中的gdec(l,i)的方式。此处,使上述时间包络L(k,i)与语音解码装置1侧的时间包络Ldec(k,i)对应。
例如,时间包络信息可通过定义上述g(l,i)相对于上述参照时间包络H(l,i)的误差,求出使该误差最小的g(l,i)来计算。即,将误差作为时间包络信息的函数,检索提供该误差的最小值的时间包络信息来计算即可。该时间包络信息的计算也可以以数值的方式进行。另外,也可以使用公式进行计算。
更详细地讲,上述g(l,i)相对于参照时间包络H(l,i)的误差通过下式:
[式36]
来计算。另外,该误差也可以利用下式计算为权重误差。
[式37]
而且,误差也可以通过下式计算。
[式38]
此处,权重w(l,i)可以定义为根据时间索引i变化的权重,或者可以定义为根据频率索引l变化的权重,也可以定义为根据时间索引i以及频率索引l变化的权重。另外,在本实施方式中,不限于上述误差的形式以及上述例中的权重的形式。
量化/编码部2g从时间包络信息计算部2f接收时间包络信息,进行时间包络信息的量化/编码,从高频带生成用辅助信息计算部2d接收高频带生成用辅助信息,对高频带生成用辅助信息进行编码。
作为这样的时间包络信息的量化/编码方法,例如在该信息为系数A1,k(s)的形式的情况下,也可以在对上述A1,k(s)进行标量量化后,进行熵编码。而且,也可以使用规定的码本对A1,k(s)进行矢量量化,将其索引作为码元。另外,在本实施方式中,时间包络信息的量化/编码方法不限于上述方法。
高频带编码序列构成部2h从量化/编码部2g接收编码后的高频带生成用辅助信息和量化后的时间包络信息,构成包含这些信息的高频带编码序列。
复用部2i从低频带编码部2b接收低频带编码序列,从高频带编码序列构成部2h接收高频带编码序列,对两个编码序列进行复用,从而生成编码序列,输出所生成的编码序列。
以下,参照图4,说明语音编码装置2的动作,并且,一并详细说明语音编码装置2中的语音编码方法。
首先,频带分割滤波器组部2c对所输入的语音信号进行分析,从而取得频域的整个频带的信号X(j,i)(步骤S11)。接着,下采样部2a对来自外部的输入语音信号进行处理,取得经过下采样的时域信号(步骤S12)。然后,低频带编码部2b对经过下采样的时域信号进行编码,得到低频带编码序列(步骤S13)。
进而,高频带生成用辅助信息计算部2d对从频带分割滤波器组部2c取得的频域信号X(j,i)进行分析,计算在生成高频带的信号成分时使用的高频带生成用辅助信息(步骤S14)。然后,第1~第n低频带时间包络计算部2e1~2en根据低频带的信号X(j,i),计算低频带的多个时间包络L(k、i)(步骤S15)。然后,时间包络信息计算部2f根据高频带的信号X(j,i)、以及低频带的多个时间包络L(k、i),计算取得信号X(j,i)的高频带成分的时间包络所需的时间包络信息(步骤S16)。接着,量化/编码部2g对时间包络信息进行量化/编码,并且对高频带生成用辅助信息进行编码(步骤S17)。
进而,高频带编码序列构成部2h构成包含编码后的高频带生成用辅助信息和量化后的时间包络信息的高频带编码序列(步骤S18)。然后,复用部2i对低频带编码序列和高频带编码序列进行复用,从而生成编码序列,输出所生成的编码序列(步骤S19)。
根据以上说明的语音解码装置1、解码方法或解码程序,根据编码序列进行解复用以及解码,得到低频带信号,根据编码序列进行解复用、解码、以及逆量化,得到高频带生成用辅助信息以及时间包络信息。然后,使用高频带生成用辅助信息,根据变换为频域的低频带信号Xdec(j,i)生成频域的高频带成分Xdec(j,i),另一方面,对频域的低频带信号Xdec(j,i)进行分析,取得多个低频带的时间包络Ldec(k,i),然后,使用该多个低频带的时间包络Ldec(k,i)、时间包络信息,计算高频带的时间包络ET(l,i)。进而,通过计算出的高频带的时间包络ET(l,i)调整高频带成分XH(j,i)的时间包络,将所调整的高频带成分与低频带信号相加,输出时域信号。这样,将多个低频带的时间包络Ldec(k,i)用于调整高频带成分XH(j,i)的时间包络,所以,利用低频带成分的时间包络和高频带成分的时间包络的相关,以较高的精度调整高频带成分的时间包络波形。其结果,解码信号中的时间包络被调整为失真较少的形状,能够得到前回声和后回声得到充分改善的再现信号。
另外,根据上述语音编码装置2、编码方法或编码程序,对语音信号进行下采样,得到低频带信号,对该低频带信号进行编码,另一方面,根据频域的语音信号X(j,i),计算多个低频带成分的时间包络L(k,i),使用该多个低频带成分的时间包络L(k,i),计算用于取得高频带成分的时间包络的时间包络信息。进而,计算用于根据低频带信号生成高频带成分的高频带生成用辅助信息,对高频带生成用辅助信息和时间包络信息进行量化以及编码,然后,构成包含高频带生成用辅助信息和时间包络信息的高频带编码序列。然后,生成对低频带编码序列以及高频带编码序列进行复用而得到的编码序列。由此,在编码序列输入到语音解码装置1时,在语音解码装置1侧能够将多个低频带的时间包络用于调整高频带成分的时间包络,在语音解码装置1侧,利用低频带成分的时间包络和高频带成分的时间包络的相关,以较高的精度调整高频带成分的时间包络的波形。其结果,解码信号中的时间包络被调整为失真较少的形状,在解码装置侧能够得到前回声和后回声得到充分改善的再现信号。
[第1实施方式的语音解码装置的第1变形例]
图5是示出第1实施方式的语音解码装置1的第1变形例的包络计算的主要部分的结构的图,图6是示出图5的语音解码装置1的包络计算的步骤的流程图。
除了低频带时间包络计算部1f1~1fn以及时间包络计算部1g以外,图5所示的语音解码装置1还具有时间包络计算控制部(时间包络计算控制单元)1k。该时间包络计算控制部1k从频带分割滤波器组部1c接收低频带信号,计算该帧中的低频带信号的功率(步骤S31),将所计算出的低频带信号的功率与规定阈值比较(步骤S32)。然后,在低频带信号的功率不大于规定阈值的情况下(步骤S32:否),时间包络计算控制部1k向低频带时间包络计算部1f1~1fn输出低频带时间包络计算控制信号,向时间包络计算部1g输出时间包络计算控制信号,进行控制,使得低频带时间包络计算部1f1~1fn以及时间包络计算部1g不进行时间包络的计算处理。该情况下,高频带信号的时间包络不根据上述时间包络进行调整(例如,上述式29中,设E(m,i)为Ecurr(m,i),取代上述式30,而采用下式:
[式39]
(步骤S36),而被发送到频带合成滤波器组部1j。另一方面,时间包络计算控制部1k在低频带信号的功率大于规定的阈值的情况下,向低频带时间包络计算部1f1~1fn输出低频带时间包络计算控制信号,向时间包络计算部1g输出时间包络计算控制信号,进行控制,使得低频带时间包络计算部1f1~1fn以及时间包络计算部1g实施时间包络的计算处理。该情况下,时间包络调整部1i根据上述时间包络而调整时间包络后的高频带信号被发送到频带合成滤波器组部1j。
参照图6,在语音解码装置1的第1变形例中,将步骤S31~S36所示的包络计算处理置换图2所示的第1实施方式的语音解码装置1的步骤S07~S09的处理并执行。
根据这样的语音解码装置1的第1变形例,例如在低频带信号的功率较小、无法用于计算高频带信号的时间包络的情况下,能够通过省略步骤S07~S08的处理来减少运算量。
另外,时间包络计算控制部1k也可以计算与第1~第n低频带时间包络计算部1f1~1fn计算的第1~第n低频带时间包络相当的部分的功率,也可以根据将相当于算出的第1~第n低频带时间包络的功率与规定阈值进行比较而得的结果,输出低频带时间包络计算控制信号,控制是否省略上述第1~第n低频带时间包络计算部1f1~1fn的处理。
该情况下,时间包络计算控制部1k在控制为省略所有第1~第n低频带时间包络计算部1f1~1fn的处理的情况下,向时间包络计算部1g输出时间包络计算控制信号,控制为省略时间包络计算处理控制。另外,时间包络计算控制部1k在第1~第n低频带时间包络计算部1f1~1fn中的至少一个以上被控制为实施低频带时间包络的计算处理的情况下,向时间包络计算部1g输出时间包络计算控制信号,控制为实施时间包络计算处理。
[第1实施方式的语音解码装置的第2变形例]
图7是示出与第1实施方式的语音解码装置1的第2变形例中的包络计算相关的主要部分的结构图,图8是示出图7的语音解码装置1的包络计算的步骤的流程图。
除了低频带时间包络计算部1f1~1fn以及时间包络计算部1g以外,图7所示的语音解码装置1还具有时间包络计算控制部(时间包络计算控制单元)1m。该时间包络计算控制部1m根据从编码序列解码/逆量化部1e接收到的时间包络信息,向第1~第n低频带时间包络计算部1f1~1fn输出低频带时间包络计算控制信号,从而控制第1~第n低频带时间包络计算部1f1~1fn中的低频带时间包络计算处理的实施。
详细地讲,在语音解码装置1的第2变形例中,用图8所示的步骤S41~S48的包络计算处理置换图2所示的第1实施方式的语音解码装置1的步骤S07~S09的处理并执行。
首先,时间包络计算控制部1m将计数值count设为0(步骤S41)。接着,时间包络计算控制部1m判定从编码序列解码/逆量化部1e接收到的时间包络信息中包含的系数A1,count+1(s)是否为0(步骤S42)。
在判定结果是系数A1,count+1(s)为0的情况下(步骤S42:否),时间包络计算控制部1m向第count个低频带时间包络计算部1fcount输出低频带时间包络计算控制信号,进行控制,使得不实施低频带时间包络计算部1fcount中的低频带时间包络计算处理,而转移到步骤S44的处理。另一方面,在判定为系数A1,count+1(s)不是0的情况下(步骤S42:是),向第count个低频带时间包络计算部1fcount输出低频带时间包络计算控制信号,进行控制,使得实施低频带时间包络计算部1fcount中的低频带时间包络计算处理。由此,低频带时间包络计算部1fcount计算低频带时间包络(步骤S43)。
进而,时间包络计算控制部1m在计数值count增加1(步骤S44)后,比较计数值count与低频带时间包络计算部1f1~1fn的个数n(步骤S45)。在比较的结果为计数值count小于个数n的情况下(步骤S45:是),返回到步骤S42的处理,反复判定时间包络信息中包含的下一个系数A1,count(s)。另一方面,在计数值count为个数n以上的情况下(步骤S45:否),转移到步骤S46的处理。然后,时间包络计算控制部1m判定1个以上的低频带时间包络计算部1f1~1fn是否实施了低频带时间包络的计算处理(步骤S46)。在判定的结果为所有的低频带时间包络计算部1f1~1fn未实施低频带时间包络的计算处理的情况下(步骤S46:否),向时间包络计算部1g输出时间包络计算控制信号,控制为省略时间包络计算处理。该情况下,取代步骤S47~S48的处理,而实施步骤S49,转移到步骤S10的处理(图2)。与此相对,在1个以上的低频带时间包络计算部1f1~1fn实施了低频带时间包络的计算处理的情况下(步骤S46:是),时间包络计算部1g实施时间包络的计算处理(步骤S47)。接着,时间包络调整部1i实施高频带信号的时间包络调整处理(步骤S48)。然后,频带合成滤波器组部1j实施输出信号的合成处理。
根据这样的语音解码装置1的第2变形例,在基于根据编码序列得到的时间包络信息不需要一部分处理的情况下,通过省略步骤S07~S08的任意一个处理,能够减少运算量。
[第1实施方式的语音解码装置的第3变形例]
图9是示出关于第1实施方式的语音解码装置1的第3变形例的包络计算有关的主要部分的结构的图,图10是示出图9的语音解码装置1的包络计算步骤的流程图。
除了低频带时间包络计算部1f1~1fn以及时间包络计算部1g以外,图9所示的语音解码装置1还具有时间包络计算控制部(时间包络计算控制单元)1n。该时间包络计算控制部1n从编码序列解析部1d接收时间包络计算控制信息。在本变形例中,时间包络计算控制信息记载了在该帧中是否实施时间包络计算处理。在读取时间包络计算控制信息的记述内容时需要进行解码/逆量化处理的情况下,由编码序列解码/逆量化部1e实施解码逆量化处理。另外,时间包络计算控制部1n通过参照时间包络计算控制信息,决定在该帧中是否实施时间包络计算处理。而且,时间包络计算控制部1n在决定为不实施时间包络计算处理的情况下,向低频带时间包络计算部1f1~1fn输出低频带时间包络计算控制信号,向时间包络计算部1g输出时间包络计算控制信号,进行控制,使得低频带时间包络计算部1f1~1fn以及时间包络计算部1g不进行时间包络的计算处理。该情况下,不根据上述时间包络调整高频带信号的时间包络,而发送到频带合成滤波器组部1j。另一方面,时间包络计算控制部1n在决定实施时间包络计算处理的情况下,向低频带时间包络计算部1f1~1fn输出低频带时间包络计算控制信号,向时间包络计算部1g输出时间包络计算控制信号,进行控制,使得低频带时间包络计算部1f1~1fn以及时间包络计算部1g进行时间包络的计算处理。该情况下,由时间包络调整部1i调整了时间包络后的高频带信号被发送到频带合成滤波器组部1j。
参照图10,在语音解码装置1的第3变形例中,将步骤S51~S54所示的包络计算处理置换图2所示的第1实施方式的语音解码装置1的步骤S07~S09的处理并执行。
根据这样的语音解码装置1的第3变形例,通过基于来自编码装置侧的控制信息省略步骤S07~S08的处理,也能减少运算量。
[第1实施方式的语音解码装置的第4变形例]
图11是示出第1实施方式的语音解码装置1的第4变形例的包络计算步骤的流程图。并且,该语音解码装置1的第4变形例的结构与图9所示的结构相同。
在该第4变形例中,用图11所示的步骤S61~S64示出的包络计算处理置换图2所示的第1实施方式的语音解码装置1的步骤S07~S09的处理并执行。
即,在时间包络计算控制信息中记载了在该帧中第1~n低频带时间包络中的用于时间包络计算处理的低频带时间包络。此处,在读取时间包络计算控制信息的记载内容时需要解码/逆量化处理的情况下,编码序列解码/逆量化部1e实施解码逆量化处理。然后,时间包络计算控制部1n根据时间包络计算控制信息选择在该帧中用于时间包络计算处理的低频带时间包络(步骤S61)。
接着,时间包络计算控制部1n向第1~n低频带时间包络计算部1f1~1fn输出低频带时间包络计算控制信号。由此,控制为与通过上述选择处理所选择低频带时间包络相应的低频带时间包络计算部1f1~1fn计算低频带时间包络,并且控制为与未通过上述选择处理选择的低频带时间包络相应的低频带时间包络计算部1f1~1fn不计算低频带时间包络(步骤S62)。
然后,时间包络计算控制部1n向时间包络计算部1g输出时间包络计算控制信号,控制为仅使用所选择的低频带时间包络来计算时间包络(步骤S63)。进而,时间包络调整部1i使用所计算的时间包络调整高频带生成部1h生成的高频带信号的时间包络(步骤S64)。
另外,在上述选择处理中未选择任意一个低频带时间包络的情况下,跳过上述步骤S62~S63,不根据上述时间包络调整时间包络(图6的步骤S36),而将高频带信号发送到频带合成滤波器组部1j。
这样的语音解码装置1的第4变形例中,也根据来自编码装置侧的控制信息省略步骤S07~S08的处理,从而能够减少运算量。
[第1实施方式的语音解码装置的第5变形例]
图12是示出第1实施方式的语音解码装置1的第5变形例的包络计算步骤的流程图。该语音解码装置1的第5变形例的结构与图9所示的结构相同。
在该第5变形例中,将图12所示的步骤S71~S75中示出的包络计算处理置换图2所示的第1实施方式的语音解码装置1的步骤S07~S09的处理并执行。
即,在时间包络计算控制信息中,记载了在该帧中计算第1~n低频带时间包络的方法。在读取时间包络计算控制信息的记载内容时需要解码/逆量化处理的情况下,编码序列解码/逆量化部1e实施解码逆量化处理。记载在时间包络计算控制信息中的第1~n低频带时间包络的计算方法例如可以是与表示副频带的数组B1、Bh的设定相关的内容,能够根据这样的时间包络计算控制信息来控制副频带的频率范围。关于与数组B1、Bh的设定相关的内容,可以记载设定数组B1、Bh的整数的组(k1、kh),也可以从规定的多个数组B1、Bh的设定内容中选择任意一个。在本变形例中,与数组B1、Bh的设定相关的内容的记载方法没有限定。另外,关于记载在时间包络计算控制信息中的第1~n低频带时间包络的计算方法,可以是与上述规定处理的设定相关的内容(例如,与上述平滑化系数sc(j)的设定相关的内容),由此,能够根据时间包络计算控制信息来控制上述规定处理(例如,上述平滑化处理)。关于与平滑化系数sc(j)的设定相关的内容,可以是对平滑化系数sc(j)的值进行量化/编码,也可以是从规定的多个平滑化系数sc(j)中选择任意一个。而且,也可以包含记载是否进行平滑化处理的内容。在本变形例中,与上述规定处理的设定(例如,上述平滑化系数sc(j)的设定)相关的内容的记载方法没有限定。并且,记载在时间包络计算控制信息中的第1~n低频带时间包络的计算方法可以包含上述计算方法中的至少1个以上。并且,在本变形例中,关于记载在时间包络计算控制信息中的第1~n低频带时间包络的计算方法,只要记载了与低频带时间包络的计算方法相关的内容即可,而不限于上述内容。
在步骤S71中,时间包络计算控制部1n根据时间包络计算控制信息来决定在该帧中是否变更低频带时间包络的计算方法。接着,在不变更低频带时间包络的计算方法的情况下(步骤S71:否),不变更低频带时间包络的计算方法,而由低频带时间包络计算部1f1~1fn计算第1~n低频带时间包络(步骤S73)。另一方面,在变更低频带时间包络的计算方法的情况下(步骤S71:是),时间包络计算控制部1n向低频带时间包络计算部1f1~1fn输出低频带时间包络计算控制信号,指示低频带时间包络的计算方法,变更低频带时间包络的计算方法(步骤S72)。然后,低频带时间包络计算部1f1~1fn利用所变更的低频带时间包络计算方法,计算第1~n低频带时间包络(步骤S73)。进而,时间包络计算部1g使用由低频带时间包络计算部1f1~1fn计算的第1~n低频带时间包络来计算时间包络(步骤S74)。然后,时间包络调整部1i使用由时间包络计算部1g计算出的时间包络,调整由高频带生成部1h生成的高频带信号的时间包络(步骤S75)。
通过这样的语音解码装置1的第5变形例,根据来自编码装置侧的控制信息,详细地控制步骤S07~S08的处理,由此能够进一步减少精度较高的时间包络的调整。
[第1实施方式的语音解码装置的第6变形例]
图13是示出与第1实施方式的语音解码装置1的第6变形例的包络计算相关的主要部分的结构的图。除了低频带时间包络计算部1f1~1fn以及时间包络计算部1g以外,图13所示的语音解码装置1还具有时间包络计算控制部(时间包络计算控制单元)1o。该时间包络计算控制部1o构成为执行语音解码装置1的第1~第5变形例中的包络计算处理中的任意一个以上。
[第1实施方式的语音解码装置的第7变形例]
图14是示出第1实施方式的语音解码装置1的第7变形例的包络计算步骤的流程图。另外,该语音解码装置1的第7变形例的结构与第1实施方式的语音解码装置1相同。图14的步骤S261~S262置换示出上述第1实施方式的语音解码装置1的处理的流程图(图2)中的步骤S08。
在本变形例中,时间包络计算部1g使用从低频带时间包络计算部1f1~1fn提供的低频带内的时间包络Ldec(k,i){1≤k≤n、t(s)≤i<t(s+1)、0≤s<sE}、从编码序列解码/逆量化部1e提供的时间包络信息,在规定处理(步骤S261的处理)之后,计算时间包络(步骤S262的处理)。此处,关于规定处理、以及与其相关的时间包络计算,存在以下示出的例子。
在第1例中,使用从编码序列解码/逆量化部1e以其它形式提供的时间包络信息计算式18、式21、式23、或式24中的系数A1,k(s)。例如,通过下式计算上述系数。
[式40]
Alk(s)=Flk(α1(s),α2(s),…,αNum(s))
1≤l≤nH,1≤k≤n
0≤s<sE
此处,αk(s)、k=1,2,···,Num、0≤s<sE是从编码序列解码/逆量化部1e提供的时间包络信息,F1k(X1,X2,···,XNum)、1≤1≤nH、1≤k≤n是以Num个变量为引数的规定函数。然后,使用通过上述方法取得的系数A1,k(s),根据式18、式21、式23、或式24计算时间包络。
在第2例中,首先,计算由下式给出的量。
[式41]
此处,下式:
[式42]
A(0) l,k,1≤l≤nH,-g≤k≤n
是规定的系数。
另外,上述g(0)(l,i)也可以是规定的系数,另外,也可以是与索引1,i相关的规定函数。例如,上述g(0)(l,i)可以是由下式给出的函数。
[式43]
g(0)(l,i)=λlωi-t(s)
1≤l≤n,t(s)≤i<t(s+1),0≤s<sE
此处,λ、ω是规定的系数。
接着,计算与式18、式21、式23或式24的左边对应的量,将它们重新表示为g(1)(l,i){1≤1≤nH、t(s)≤i<t(s+1)、0≤s<sE}。并且,时间包络例如通过下式计算。
[式44]
gdec(l,i)=g(1)(l,i)+g(0)(l,i)
1≤l≤nH,t(s)≤i<t(s+1),0≤s<sE
另外,时间包络也可以通过下式计算。
[式45]
gdec(l,i)=g(0)(l,i)·g(1)(l,i)
1≤l≤nH,t(s)≤i<t(s+1),0≤s<sE
另外,还可以通过下式:
[式46]
gdec(l,i)=g(1)(l,i)
1≤l≤nH,t(s)≤i<t(s+1),0≤s<sE
计算时间包络。
另外,在编码序列解码/逆量化部1e未提供时间包络信息的情况下,也可以通过下式:
[式47]
gdec(l,i)=g(0)(l,i)
1≤l≤nH,t(s)≤i<t(s+1),0≤s<sE
计算时间包络。
在本变形例中,上述gdec(l,i)的形式不限于上例。
另外,在本发明中,规定的处理以及与其相关的时间包络计算的内容不限于上例。
本变形例也可以通过以下方法应用于第1实施方式的语音解码装置1的第1~第6变形例。
在应用于第1实施方式的语音解码装置1的第1变形例的情况下,例如用图14的步骤S261~S262置换图6的步骤S34。此处,也可以预先准备多个上述规定的处理,按照低频信号的功率的大小进行切换。并且,也可以按照低频信号的功率的大小选择以下方法中的任意一个:a)仅实施上述规定的处理,计算时间包络,b)实施上述规定的处理,进而使用时间包络信息,计算时间包络,c)不实施上述规定的处理,而使用时间包络信息计算时间包络。
图15是示出应用于第1实施方式的语音解码装置1的第2变形例时的、第1实施方式的语音解码装置1的第7变形例中的时间包络计算控制部1m的处理的一部分的流程图。
在应用于第1实施方式的语音解码装置1的第2变形例的情况下,例如用图15的步骤S271置换图8的步骤S42,用图14的步骤S261~S262置换图8的步骤S47。另外,也可以预先准备多个规定的处理,根据时间包络信息进行切换。并且,也可以根据时间包络信息选择以下方法中的任意一个:a)仅实施上述规定的处理,计算时间包络,b)实施上述规定的处理,进而使用时间包络信息,计算时间包络,c)不实施上述规定的处理,而使用时间包络信息计算时间包络。
另外,在应用于第1实施方式的语音解码装置1的第3变形例的情况下,例如用图14的步骤S261~S262置换图10的步骤S53。另外,也可以预先准备多个规定的处理,根据时间包络计算控制信息进行切换。并且,也可以根据时间包络计算控制信息选择以下方法中的任意一个:a)仅实施上述规定的处理,计算时间包络,b)实施上述规定的处理,进而使用时间包络信息,计算时间包络,c)不实施上述规定的处理,而使用时间包络信息计算时间包络。
图16是示出应用于第1实施方式的语音解码装置1的第4变形例时的第1实施方式的语音解码装置1的第7变形例中的时间包络计算控制部1n的处理的一部分的流程图。
在应用于第1实施方式的语音解码装置1的第4变形例的情况下,用图16的步骤S281置换图11的步骤S61,用图14的步骤S261~S262置换图11的步骤S63。在图16的步骤S281中,作为选择根据第1~n低频带成分的时间包络计算的低频带成分的时间包络的方法,例如可以是调查上述规定处理的一例中的A(0) 1,k是否为零,在A(0) 1,k不是零、而且通过时间包络计算控制信息指示低频信号时间包络计算部1fk计算Ldec(k,i)的情况下,低频信号时间包络计算部1fk计算Ldec(k,i)。
在应用于第1实施方式的语音解码装置1的第5变形例的情况下,用图14的步骤S261~S262置换图12的步骤S74。此处,在变更了低频带成分的时间包络计算方法的情况下,也可以相应地变更规定的处理方法。
另外,按照应用于上述第1~第5变形例的方法,应用于第1实施方式的语音解码装置1的第6变形例。
并且,在图14中,示出可在规定的处理后计算时间包络的流程,但也可以在计算时间包络后进行规定的处理。例如,可以对已计算的时间包络实施平滑化等规定的处理。而且,也可以在规定的处理之后,计算时间包络,进而对该时间包络实施其它的规定处理。
[第1实施方式的语音编码装置的第1变形例]
图17是示出第1实施方式的语音编码装置2的第1变形例的结构的图,图18是示出图17的语音编码装置2的语音编码步骤的流程图。
图17所示的语音编码装置2相对于第1实施方式的语音编码装置2,进一步追加了时间包络计算控制信息生成部(控制信息生成单元)2j。
该时间包络计算控制信息生成部2j使用从频带分割滤波器组部2c接收的频域信号X(j,i)、以及从时间包络信息计算部2f接收的时间包络信息中的至少1个以上,生成时间包络计算控制信息。所生成的时间包络计算控制信息只要是第1实施方式的语音解码装置1的第3~第7变形例中的时间包络计算控制信息中的任意一个即可。
此处,时间包络计算控制信息生成部2j例如计算与从频带分割滤波器组部2c接收的频域信号X(j,i)中的低频带信号相应的频带的信号功率,根据所计算的信号功率生成表示是否由语音解码装置1实施时间包络计算处理的时间包络计算控制信息。
另外,时间包络计算控制信息生成部2j也可以计算与频域信号X(j,i)中的高频带信号相应的频带的信号功率,根据所计算的信号功率生成表示是否由语音解码装置1实施时间包络计算处理的时间包络计算控制信息。
而且,时间包络计算控制信息生成部2j还可以计算与频域信号X(j,i)中的整个频带信号相应的频带(即,与低频带信号相应的频带和与高频信号相应的频带)的信号功率,根据所计算的信号功率生成表示是否由解码装置实施时间包络计算处理的时间包络计算控制信息。
进而,时间包络计算控制信息生成部2j计算与第1~第n低频带时间包络计算部2e1~2en计算的第1~第n低频带时间包络相应的部分的功率,根据算出的信号功率,生成与语音解码装置1在时间包络计算处理中使用的低频带时间包络的选择相关的时间包络计算控制信息。
另外,时间包络计算控制信息生成部2j计算与频域信号X(j,i)中的低频带信号相应的频带的信号功率,根据算出的信号功率,生成与语音解码装置1中的低频带时间包络计算方法相关的时间包络计算控制信息。
在本变形例中,计算的信号功率的频带没有限定,根据算出的信号功率而生成的时间包络计算控制信息只要是上述第1实施方式的语音解码装置1的第3~第7变形例的时间包络计算控制信息中的任意一个以上即可。
进而,时间包络计算控制信息生成部2j检测/测定频域信号X(j,i)的信号特性,根据信号特性,生成表示是否由语音解码装置1实施时间包络计算处理的时间包络计算控制信息。
另外,时间包络计算控制信息生成部2j也可以根据频域信号X(j,i)的信号特性,生成与语音解码装置1在时间包络计算处理中使用的低频带时间包络的选择相关的时间包络计算控制信息。
而且,时间包络计算控制信息生成部2j也可以根据频域信号X(j,i)的信号特性,生成与语音解码装置1中的低频带时间包络计算方法相关的时间包络计算控制信息。
时间包络计算控制信息生成部2j检测/测定的信号特性可以是与信号的上升/下降的陡峭程度相关的特性。而且,还可以是与信号的稳定性相关的特性。而且,也可以是与信号的调性强度相关的特性。而且,也可以是上述特性中的至少1个以上。
在本变形例中,检测/测定的信号特性没有限定,根据检测/测定的信号特性而生成的时间包络计算控制信息只要是第1实施方式的语音解码装置1的第3~第6变形例的时间包络计算控制信息中的任意1个以上即可。
另外,时间包络计算控制信息生成部2j例如根据从时间包络信息计算部2f接收的上述时间包络信息A1,k(s)(1≤1≤nH,1≤k≤n,0≤s<sE)的值生成表示是否由语音解码装置1实施时间包络计算处理的时间包络计算控制信息。而且,时间包络计算控制信息生成部2j也可以生成与语音解码装置1在时间包络计算处理中使用的低频带时间包络的选择相关的时间包络计算控制信息。而且,也可以生成与语音解码装置1中的低频带时间包络计算方法相关的时间包络计算控制信息。
在本变形例中,根据时间包络信息而生成的时间包络计算控制信息只要是第1实施方式的语音解码装置1的第3~第6变形例的时间包络计算控制信息中的任意1个以上即可。
另外,时间包络计算控制信息生成部2j例如也可以使用从频带分割滤波器组部2c接收的频域信号X(j,i)、以及从量化/编码部2g接收的高频带生成用辅助信息的编码序列,生成表示是否由语音解码装置1实施时间包络计算处理的时间包络计算控制信息。而且,时间包络计算控制信息生成部2j也可以生成与语音解码装置1在时间包络计算处理中使用的低频带时间包络的选择相关的时间包络计算控制信息。而且,时间包络计算控制信息生成部2j也可以生成与语音解码装置1的低频带时间包络计算方法相关的时间包络计算控制信息。
更具体地讲,时间包络计算控制信息生成部2j例如对从量化/编码部2g接收的高频带生成用辅助信息的编码序列进行解码/逆量化,取得局部解码高频带生成用辅助信息,然后,使用该局部解码高频带生成用辅助信息、以及频域信号X(j,i),生成伪局部解码高频带信号。通过实施与第1实施方式的语音解码装置1的高频带生成部1h相同的处理,能够生成伪局部解码高频带信号。比较所生成的伪局部解码高频带信号、与对应于频域信号X(j,i)的高频带信号的频带,根据比较结果,生成时间包络计算控制信息。
此处,关于伪局部解码高频带信号与对应于频域信号X(j,i)的高频带信号的频带的比较,也可以计算这两个信号的差分信号,基于该差分信号的功率大小。而且,也可以计算伪局部解码高频带信号与对应于频域信号X(j,i)的高频带信号的频带的时间包络,基于该时间包络的差分、或差分大小中的至少1个。
另外,时间包络计算控制信息生成部2j例如也可以使用从频带分割滤波器组部2c接收的频域信号X(j,i)、从时间包络信息计算部2f接收的时间包络信息、以及从量化/编码部2g接收的高频带生成用辅助信息的编码序列,生成表示是否由语音解码装置1实施时间包络计算处理的时间包络计算控制信息。而且,时间包络计算控制信息生成部2j也可以生成与语音解码装置1在时间包络计算处理中使用的低频带时间包络的选择相关的时间包络计算控制信息。而且,时间包络计算控制信息生成部2j也可以生成与语音解码装置1的低频带时间包络计算方法相关的时间包络计算控制信息。
更具体地讲,时间包络计算控制信息生成部2j在生成伪局部解码高频带信号后,使用从时间包络信息计算部2f接收的时间包络信息,调整该伪局部解码高频带信号的时间包络,比较调整该时间包络后的伪局部解码高频带信号与对应于频域信号X(j,i)的高频带信号的频带,基于比较结果,生成时间包络计算控制信息。
另外,关于调整时间包络后的伪局部解码高频带信号与相当于频域信号X(j,i)的高频带信号的频带的比较,可以与伪局部解码高频带信号和相当于频域信号X(j,i)的高频带信号的频带的比较同样地实施。
另外,在第1实施方式的语音编码装置2的时间包络信息计算部2f中,也可以使用伪局部解码高频带信号来计算时间包络信息。更具体地讲,向时间包络信息计算部2f还输入从量化/编码部2g接收的高频带生成用辅助信息的编码序列,对该高频带生成用辅助信息的编码序列进行解码/逆量化,取得局部解码高频带生成用辅助信息,然后,使用该局部解码高频带生成用辅助信息、以及频域信号X(j,i),生成伪局部解码高频带信号。
例如,时间包络信息计算部2f在使用根据时间包络信息算出的时间包络来调整伪局部解码高频带信号的时间包络时,将最接近与频域信号X(j,i)的高频带信号相应的频带的时间包络信息输出作为计算出的时间包络信息。此处,可以基于调整时间包络后的伪局部解码高频带信号与对应于频域信号X(j,i)的高频带信号的频带的差分信号来判断是否接近与频域信号X(j,i)的高频带信号相应的频带,也可以计算这两个信号的时间包络,根据该时间包络的误差来判断是否接近与频域信号X(j,i)的高频带信号相应的频带。
另外,时间包络计算控制信息生成部2j例如也可以根据从量化/编码部2g接收的时间包络信息的编码所需的信息量(更具体地讲是比特数),生成表示是否由语音解码装置1实施时间包络计算处理的时间包络计算控制信息。而且,时间包络计算控制信息生成部2j也可以生成与语音解码装置1在时间包络计算处理中使用的低频带时间包络的选择相关的时间包络计算控制信息。而且,时间包络计算控制信息生成部2j也可以生成与语音解码装置1中的低频带时间包络计算方法相关的时间包络计算控制信息。
更具体地讲,时间包络计算控制信息生成部2j例如在对从量化/编码部2g接收的时间包络信息进行编码所需的信息量(更具体地讲是比特数)等于规定的阈值、或小于阈值的情况下,生成指示语音解码装置1实施时间包络计算处理的时间包络计算控制信息。另一方面,时间包络计算控制信息生成部2j在时间包络信息的编码所需的信息量大于阈值的情况下,生成指示语音解码装置1不实施时间包络计算处理的时间包络计算控制信息。
而且,也可以以使时间包络信息的编码所需的信息量等于规定的阈值、或小于阈值的方式,生成与语音解码装置1在时间包络计算处理中使用的低频带时间包络的选择相关的时间包络计算控制信息。此时,可以向时间包络信息计算部2f通知时间包络信息的编码所需的信息量与阈值的比较结果,时间包络信息计算部2f根据被通知的比较结果重新计算时间包络信息。另外,在重新计算时间包络信息的情况下,量化/编码部2g对重新计算的时间包络信息进行编码/量化。此处,时间包络信息的重新计算次数没有限定。
在本变形例中,只要基于时间包络信息的编码所需的信息量计算时间包络计算控制信息即可,所生成的时间包络计算控制信息只要是第1实施方式的语音解码装置1的第3~第6变形例的时间包络计算控制信息中的任意1个以上即可。
如上述这样由时间包络计算控制信息生成部2j生成的时间包络计算控制信息被高频带编码序列构成部2h附加到高频带编码序列中而构成高频带编码序列。
[第1实施方式的语音编码装置的第2变形例]
图19是示出第1实施方式的语音编码装置2的第2变形例的结构的图,图20是示出图19的语音编码装置2的语音编码步骤的流程图。
图19所示的语音编码装置2相对于第1实施方式的语音编码装置2,进一步追加了低频带解码部2k。
该低频带解码部2k从低频带编码部2b接收低频带编码序列,对低频带编码序列进行解码逆量化,取得局部解码低频信号。另外,在能够从低频带编码部2b取得量化后的低频带信号的情况下,低频带解码部2k也可以对量化后的低频带信号进行逆量化,取得局部解码低频信号。对此,低频带时间包络计算部2e1~2en使用由低频带解码部2k取得的局部解码低频信号,计算第1~第n低频带时间包络。
该第1实施方式的语音编码装置2的第2变形例也可应用于第1实施方式的语音编码装置2的第1变形例。
[第1实施方式的语音编码装置的第3变形例]
图21是示出第1实施方式的语音编码装置2的第3变形例的结构的图,图22是示出图21的语音编码装置2的语音编码步骤的流程图。
图21所示的语音编码装置2与第1实施方式的语音编码装置2的不同之处在于,具有频带合成滤波器组部2m,来取代下采样部2a。
该频带合成滤波器组部2m从频带分割滤波器组部2c接收频域信号X(j,i),针对与低频带信号相应的频带进行频带合成,取得下采样信号。例如能够按照“ISO/IEC 14496-3”规定的“MPEG4 AAC”的SBR中的下采样合成滤波(Downsampledsynthesis filterbank)的方法利用频带合成来取得下采样信号(“ISO/IEC14496-3 subpart 4 General Audio Coding”)。
该第1实施方式的语音编码装置2的第3变形例也可以应用于第1实施方式的语音编码装置2的第1~第2变形例。
关于第1实施方式的语音编码装置2的第4变形例,在所述第1实施方式的语音编码装置2的时间包络信息计算部2f中计算g(l,i)时,实施与上述第1实施方式的语音解码装置1的第7变形例对应的规定处理。另外,也可以与第1实施方式的语音解码装置1的第7变形例相同,在实施规定处理后使用低频带的时间包络来计算g(l,i),也可以在使用低频带的时间包络计算出g(l,i)后实施规定的处理,计算g(l,i)。
该第1实施方式的语音编码装置2的第4变形例也可应用于第1实施方式的语音编码装置2的第1~第3变形例。
在将该第1实施方式的语音编码装置2的第4变形例应用于第1实施方式的语音编码装置2的第1变形例时,也可以根据g(l,i)相对于上述H(l,i)的误差,在上述时间包络信息计算控制信息中,包含表示上述第1实施方式的语音解码装置1是否实施上述规定处理的信息。
[第2实施方式]
接着,说明本发明的第2实施方式。
图23是示出第2实施方式的语音解码装置101的结构的图,图24是示出图23的语音解码装置101的语音解码步骤的流程图。图23所示的语音解码装置101与第1实施方式的语音解码装置1的不同之处在于,还追加了频率包络叠加部(频率包络叠加单元)1q、以及具有时间/频率包络调整部(时间频率包络调整单元)1p来取代时间包络调整部1i(1c~1e、1h、1j、以及1p有时也称为频带扩展部(频带扩展单元)。)。
编码序列解析部1d对从解复用部1a提供的高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、量化后的时间/频率包络信息。
编码序列解码/逆量化部1e对从编码序列解析部1d提供的编码后的高频带生成用辅助信息进行解码,得到高频带生成用辅助信息,并且对从编码序列解析部1d提供的量化后的时间/频率包络信息进行逆量化,取得时间/频率包络信息。
频率包络叠加部1q从时间包络计算部1g接收时间包络ET(l,i),从编码序列解码/逆量化部1e接收频率包络信息。然后,频率包络叠加部1q根据频率包络信息计算频率包络,将频率包络叠加在时间包络中。详细地讲,例如频率包络叠加部1q按照以下步骤进行处理。
首先,频率包络叠加部1q通过下式变换时间包络。
[式48]
E0(m,i)=ET(l,i)
1≤l≤nH,t(s)≤i<t(s+1),0≤s<sE
接着,频率包络叠加部1q将高频带分割为mH(mH≥1)个副频带。此处,将这些副频带记为B(F) k(k=1,2,3,···,mH)。另外,以下,为了便于记载,定义以表示副频带B(F) k(1≤k≤mH)边界的mH+1个索引为要素的数组GH,使信号XH(j,i)、GH(k)≤j<GH(k+1)、t(s)≤i<t(s+1)、0≤s<sE对应于副频带B(F) k的成分。其中,GH(1)=kx、GH(mH+1)=kmax+1。
接着,频率包络叠加部1q通过下式计算频率包络。
[式49]
此处,上述sfdec(k,s)(其中,1≤k≤mH、0≤s<sE)是对应于副频带B(F) k的比例因子。
另外,也可以通过下式计算上述频率包络。
[式50]
在本实施方式中,上述EF,dec(k,s)的形式不限于上述例子。
此处,频率包络叠加部1q通过以下方法计算上述sfdec(k,s)。首先,如下式所示,上述sfdec(k,s)内的几个与副频带对应的比例因子是与时间无关的常数(此后将这些与副频带对应的的索引k的集合记为NC)。
[式51]
sfdec(k,s)=C,0≤s<sE
此处,也可以是C=0,在本实施方式中,C的值没有规定。并且,如果整数1不包含在集合Nc中,则频率包络叠加部1q根据频率包络信息取得比例因子sfdec(1、s)、0≤s<s。
然后、频率包络叠加部1q从k=2到k=mH反复下述的(步骤k)处理,计算上述比例因子。
(步骤k)
如果整数k不包含在集合Nc中,则根据频率包络信息取得比例因子的差分dsfdec(k、s)、0≤s<s,通过下式:
[式52]
sfdec(k,s)=sfdec(k-1,s)+dsfdec(k,s)
0≤s<sE
计算比例因子,使整数k加1,进入下一(步骤k)处理。另一方面,在整数k包含在集合Nc中的情况下、直接使整数k加1,进入下一(步骤k)处理。
另外,在根据频率包络信息取得比例因子的差分sfdec(1、s)、0≤s<sE的情况下,也可以使用从频带分割滤波器组部1c接收的频域信号的低频带成分计算sfdec(0、s)、0≤s<sE,实施上述步骤k的处理。例如,在后述的式63、64、以及65中,将X(j,i)置换为Xdec(j,i),将使用满足在k=0时0≤k1≤kh<kX的规定的k1、以及kh而计算出的sf(0、s)设为sfdec(0、s)。
此处,也可以与上述例子不同,频率包络信息可以与比例因子sfdec(k,s)本身对应。另外,频率包络信息也可以是在使用第s-1个帧中的比例因子sfdec(k、s-1)通过下式计算第s(s≥1)个帧中的比例因子sfdec(k、s)、1≤k≤mH时的时间方向的差分dtsf(s、k)、1≤s<sE、1≤k≤mH。
[式53]
sfdec(k,s)=sfdec(k,s-1)+dtsf(s,k),
1≤k≤mH,1≤s<sE
其中,在该情况下,使用上述方法等其它手段取得与初始值对应的sfdec(k、0)、1≤k≤mH。
而且,也可以根据低频带成分的比例因子、以及高频带的副频带的比例因子中的至少1个以上,使用内插/外插求出所述副频带的比例因子。此时,频率包络信息是上述内插/外插中使用的副频带的比例因子、以及高频带内的内插/外插参数。另外,在计算上述低频带成分的比例因子时,使用从频带分割滤波器组部1c接收的频域信号的低频带成分。
另外,内插/外插参数也可以是规定的参数。进而,根据所述规定的内插/外插参数、以及频率包络信息包含的内插/外插参数计算实际用于内插/外插的参数,进行所述比例因子的内插/外插。而且,在不接收频率包络信息的情况以及频率包络信息不包含内插/外插参数的情况中的至少1个以上的情况下,也可以仅使用规定的内插/外插参数,进行所述比例因子的内插/外插。另外,在本实施方式中,上述内插/外插的方法没有限定。
另外,上述频率包络信息的形式只是一例,只要是表示高频带的各副频带的信号功率或信号振幅的频率方向的变动的参数即可。在本实施方式中,频率包络信息的形式没有限定。
接着,频率包络叠加部1q使用下式变换上述EF(k,s)。
[式54]
接着,频率包络叠加部1q使用按照上述那样变换的时间包络E0(m,i)、以及频率包络E1(m,i),通过下式计算量E2(m,i)。
[式55]
E2(m,i)=E1(m,s)·E0(m,i)
0≤m≤kmax-kx,
t(s)≤i<t(s+1),0≤s<sE
另外,上述E2(m,i)也可以是下式给出的形式。
[式56]
而且,也可以是下式给出的形式。
[式57]
此处,Q(m)、0≤m<kmax-kx是满足下式条件的整数。
[式58]
FH(Q(m))-kx≤m<FH(Q(m)+1)-kx
1≤Q(m)≤nH
另外,也可以是下式这样的形式。
[式59]
其中,在本发明中,上述E2(m,i)的形式不限于上述例。
接着,频率包络叠加部1q使用上述E2(m,i)通过下式计算量E(m,i)。
[式60]
E(m,i)=C(s)·E2(m,i),
0≤m≤kmax-kx,
t(s)≤i<t(s+1),0≤s<sE
此处,系数C(s)由下式给出。
[式61]
另外,也可以是下式:
[式62]
时间/频率包络调整部1p使用从频率包络叠加部1q提供的时间/频率包络E1(m,i)调整从高频带生成部1h提供的高频带信号XH(j,i)、kx≤j<kmax的时间/频率包络。
另外,本发明的第1实施方式的语音解码装置1的第1~第6变形例也可应用于该本发明的第2实施方式的语音解码装置101。
图25是示出第2实施方式的语音编码装置102的结构的图,图26是示出图25的语音编码装置102的语音编码步骤的流程图。图25所示的语音编码装置102与第1实施方式的语音编码装置2的不同之处在于,还追加了频率包络信息计算部2n。
即,频率包络信息计算部2n由频带分割滤波器组部2c提供高频带信号X(j,i){0≤j<N、0≤i<t(sE)},计算频率包络信息。详细地讲,以如下方式计算频率包络信息。
首先,频率包络信息计算部2n通过下式计算副频带B(F) k(其中,k=1,2,3,…,mH)上的功率的频率包络。
[式63]
接着,频率包络信息计算部2n计算副频带B(F) k的比例因子sf(k、s)、1≤k≤mH。例如通过下式计算上述sf(k、s)。
[式64]
sf(k,s)=10log10EF(k,s),
kl=GH(k),kh=GH(k+1)-1,1≤k≤mH,0≤s<sE
另外,频率包络信息计算部2n也可以按照“ISO/IEC 14496-34.B.18”记载的方法,通过下式计算上述sf(k,s)。
[式65]
另外,也可以对应于语音解码装置101侧,通过下式:
[式66]
sf(k,s)=C,0≤s<sE
进行设定。
而且,频率包络信息计算部2n也可以将频率包络信息设为上述比例因子sf(k、s)(1≤k≤mH)。另外,频率包络信息也可以是下式这样的形式。即,通过下式:
[式67]
dsf(k,s)=sf(k,s)-sf(k-1,s),
0≤s<sE,2≤k≤mH
定义上述比例因子sf(k,s)的差分,将上述dsf(k、s)与sf(1、s)(0≤s<sE)设为频率包络信息。
另外,也可以与第2实施方式的语音解码装置101的频率包络叠加部1q同样地,使用低频带的频域信号X(j,i)(0≤j<kx)计算上述比例因子sf(0,s),将根据该比例因子sf(0,s)算出的dsf(1,s)包含在频率包络信息中。
另外,频率包络信息是在根据低频带成分的比例因子对高频带的上述比例因子进行外插而进行近似时的基于低频带的外插参数。另外,频率包络信息是根据高频带中的几个副频带的比例因子、使用内插/外插求出这些副频带以外的部分时的副频带的比例因子、以及高频带内的内插/外插参数。将前者与后者的形式组合而成的信息也可以是频率包络信息。
在本发明中,上述频率包络信息不限于上述例子。
作为频率包络信息的量化/编码方法,例如,在对频率包络信息进行标量量化后、进行以哈夫曼编码、算术编码为代表的熵编码。而且,也可以通过规定的码本对频率包络信息进行矢量量化,将其索引作为码元。
具体地讲,例如也可以在对上述比例因子sf(k,s)进行标量量化后,进行以哈夫曼编码或算术编码为代表的熵编码。而且,也可以在对上述dsf(k,s)进行标量量化之后进行熵编码。而且,也可以利用规定的码本对上述比例因子sf(k,s)进行矢量量化,将其索引作为码元。而且,也可以利用规定的码本对上述dsf(k,s)进行矢量量化,将其索引作为码元。而且,也可以对标量量化后的比例因子sf(k,s)的差分进行熵编码。
例如,按照“ISO/IEC 14496-3 4.B.18”记载的方法,使用上式的sf(k,s),通过下式:
[式68]
EQ(k,s)=INT(a·max(sf(k,s),0)+0.5),
EDelta(k,s)=EQ(k,s)-EQ(k-1,s),
2≤k≤mH,0≤s<sE
计算EDelta(k,s),对EDelta(k,s)进行哈夫曼编码。
此处,当某个整数1包含在集合Nc中时,也可以省略sf(1,s)(0≤s<sE)或dsf(1,s)(0≤s<sE)的上述量化/编码。
在本发明中,上述频率包络信息的量化/编码不限于上述例子。
本发明的第1实施方式的语音编码装置2的第1~第4变形例也可应用于该本发明的第2实施方式的语音编码装置102。例如,图27是示出将本发明的第1实施方式的语音编码装置2的第1变形例应用于本发明的第2实施方式的语音编码装置102中时的结构的图,图28是示出图27的语音编码装置102的语音编码步骤的流程图。另外,图29是示出将本发明的第1实施方式的语音编码装置2的第2变形例应用于本发明的第2实施方式的语音编码装置102时的结构的图,图30是示出图29的语音编码装置102的语音编码步骤的流程图。
[第3实施方式]
接着,说明本发明的第3实施方式。
图31是示出第3实施方式的语音解码装置201的结构的图,图32是示出图31的语音解码装置201的语音解码步骤的流程图。图31所示的语音解码装置201与第1实施方式的语音解码装置1的不同之处在于,还追加了时间包络计算控制部1s、具备编码序列解码/逆量化部1r以及包络调整部1t来取代编码序列解码/逆量化部1e以及时间包络调整部1i(1c~1d、1h、1j、以及1r~1t有时也称为频带扩展部(频带扩展单元)。)。
编码序列解析部1d对从解复用部1a提供的高频带编码序列进行解析,得到编码后的高频带生成用辅助信息、以及时间包络计算控制信息,进而得到编码后的时间包络信息、或编码后的第2频率包络信息。
编码序列解码/逆量化部1r对从编码序列解析部1d提供的编码后的高频带生成用辅助信息进行解码,得到高频带生成用辅助信息。
高频带生成部1h使用从编码序列解码/逆量化部1r提供的高频带生成用辅助信息将从频带分割滤波器组部1c提供的低频带信号Xdec(j,i)、0≤j<kx复制到高频带,由此生成高频带信号Xdec(j,i),kx≤j≤kmax。
时间包络计算控制部1s根据从编码序列解析部1d提供的时间包络计算控制信息,确认包络调整部1t是否通过第2频率包络信息调整高频带信号的包络。在包络调整部1t不通过第2频率包络信息调整高频带信号的包络的情况下,编码序列解码/逆量化部1r对从编码序列解析部1d提供的编码后的时间包络信息进行解码/逆量化,得到时间包络信息。另一方面,在包络调整部1t通过第2频率包络信息调整高频带信号的包络的情况下,时间包络计算控制部1s向低频带时间包络计算部1f1~1fn输出低频带时间包络计算控制信号,向时间包络计算部1g输出时间包络计算控制信号,指示低频带时间包络计算部1f1~1fn以及时间包络计算部1g不进行包络计算的处理。
另外,编码序列解码/逆量化部1r对从编码序列解析部1d提供的编码后的第2频率包络信息进行解码/逆量化,得到第2频率包络信息。而且,在该情况下,包络调整部1t使用从编码序列解码/逆量化部1r提供的第2频率包络信息调整从高频带生成部1h提供的高频带信号XH(j,i)(kX≤j<kmax)的频率包络。
具体地说、使用解码/逆量化后的上述第2频率包络信息,按照语音解码装置101的频率包络叠加部1q中的EF,dec(k,s)的计算方法,计算与上述EF,dec(k,s)对应的量E3(k,s)、1≤k≤mH、0≤s<sD,通过下式变换上述E3(k,s)。
[式69]
此后的处理是按照语音解码装置101的时间/频率包络调整部1p的处理步骤,取得调整包络后的高频带信号Y(i,j){kx≤j≤kmax、t(s)≤i<t(s+1)、0≤s<sE}。
本发明第1实施方式的语音解码装置1的第1~第7变形例也可应用于该本发明第3实施方式的语音解码装置201。
图35是示出第3实施方式的语音编码装置202的结构的图,图36是示出图35的语音编码装置202的语音编码步骤的流程图。图35所示的语音编码装置202与第1实施方式的语音编码装置2的不同之处在于,还追加了时间包络计算控制信息生成部2j以及第2频率包络信息计算部2o。
第2频率包络信息计算部2o由频带分割滤波器组部2c提供高频带信号X(j,i){kx≤j<N、t(s)≤i<t(s+1)、0≤s<sE},计算第2频率包络信息(步骤S207的处理)。
该第2频率包络信息也可以通过与所述第2实施方式的语音编码装置102中的频率包络信息计算方法相同的方法求出。但是,在本实施方式中,不限于第2频率包络信息的计算方法。
量化/编码部2g对时间包络信息以及第2频率包络信息进行量化/编码。时间包络信息可以进行与第1以及第2实施方式的语音编码装置的量化/编码部2g中的量化/编码相同的量化/编码。第2频率包络信息可以进行与第2实施方式的语音编码装置的量化/编码部2g中的频率包络信息的量化/编码相同的量化/编码。但是,在本实施方式中,时间包络信息、以及第2频率包络信息的量化/编码方法没有限定。
时间包络计算控制信息生成部2j使用从频带分割滤波器组部2c接收的频域信号X(j,i)、从时间包络信息计算部2f接收的时间包络信息、以及从第2频率包络信息计算部2o接收的第2频率包络信息中的至少1个以上,生成时间包络计算控制信息(步骤S209的处理)。所生成的时间包络计算控制信息只要是上述第3实施方式的语音解码装置201中的时间包络计算控制信息即可。
时间包络计算控制信息生成部2例如也可与第1实施方式例的语音编码装置2的第1变形例相同。
时间包络计算控制信息生成部2j例如与第1实施方式的语音编码装置2的第1变形例同样,使用时间包络信息和第2频率包络信息,分别生成伪局部解码高频带信号,与原始信号进行比较。在使用第2频率包络信息而生成的伪局部解码高频带信号与原始信号接近的情况下,生成指示解码装置利用第2频率包络信息调整高频带信号的信息,作为时间包络计算控制信息。关于上述各伪局部解码高频带信号与原始信号的比较,例如也可以计算差分信号,根据差分信号是否较小。而且,也可以是在计算出上述各伪局部解码高频带信号、以及原始信号的时间包络后,计算上述各伪局部解码高频带信号与原始信号的时间包络的差分,根据所述差分是否较小。而且,也可以根据与上述原始信号的差分信号、和/或包络的差分的最大值是否较小。在本实施方式中,比较方法不限于上述方法。
时间包络计算控制信息生成部2j在生成上述时间包络计算控制信息时,也可以还使用量化后的时间包络信息、以及量化后的第2频率包络信息中的至少1个。
在时间包络计算控制信息是指示解码装置利用第2频率包络信息调整高频带信号的信息的情况下,编码构成部2h利用从编码/逆量化部2g接收的编码后的高频带生成用辅助信息、编码后的第2频率包络信息来构成高频带编码序列,在时间包络计算控制信息不是指示解码装置利用第2频率包络信息调整高频带信号的信息的情况下,编码构成部2h利用从编码/逆量化部2g接收的编码后的高频带生成用辅助信息和编码后的时间包络信息来构成高频带编码序列(步骤S211的处理)。
本发明的第1实施方式的语音编码装置2的第1~第4变形例也可应用于该本发明第3实施方式的语音编码装置202。
[第4实施方式]
接着,说明本发明的第4实施方式。
图33是示出第4实施方式的语音解码装置301的结构的图,图34是示出图33的语音解码装置301的语音解码步骤的流程图。图33所示的语音解码装置201与第1实施方式的语音解码装置1的不同之处在于,追加了时间包络计算控制部1s以及频率包络叠加部1u、具备编码序列解码/逆量化部1r以及时间/频率包络调整部1v来取代编码序列解码/逆量化部1e以及时间包络调整部1i(1c~1d、1h、1j、1r~1s、以及1u~1v有时也称为频带扩展部(频带扩展单元)。)。
编码序列解析部1d对从解复用部1a提供的高频带编码序列进行解析,得到编码后的高频带生成用辅助信息、以及时间包络计算控制信息,进而得到编码后的时间包络信息、以及编码后的频率包络信息、或编码后的第2频率包络信息。
时间包络计算控制部1s根据从编码序列解析部1d提供的时间包络计算控制信息,确认包络调整部1v是否利用第2频率包络信息调整高频带信号的包络,在时间/频率包络调整部1v不利用第2频率包络信息调整高频带信号的包络的情况下,编码序列解码/逆量化部1r对从编码序列解析部1d提供的编码后的时间包络信息进行解码/逆量化,得到时间包络信息。
另一方面,在时间/频率包络调整部1v利用第2频率包络信息调整高频带信号的包络的情况下,与第3实施方式的步骤S190的处理同样地进行处理。另外,时间/频率包络调整部1v的处理也与第3实施方式的步骤S191的处理相同。
本发明第1实施方式的语音解码装置1的第1~第7变形例也可应用于该本发明第4实施方式的语音解码装置301。
图37是示出第4实施方式的语音编码装置302的结构的图,图38是示出图37的语音编码装置302的语音编码步骤的流程图。图37所示的语音编码装置302与第1实施方式的语音编码装置2的不同之处在于,还追加了时间包络计算控制信息生成部2j、频率包络信息计算部2p、以及第2频率包络信息计算部2o。
量化/编码部2g对时间包络信息、频率包络信息、以及第2频率包络信息进行量化/编码。该时间包络信息能够与第1以及第2实施方式的编码装置的量化/编码部2g中的量化/编码同样地进行量化/编码。频率包络信息、第2频率包络信息能够与第2实施方式的编码装置的量化/编码部2g中的频率包络信息的量化/编码同样地进行量化/编码。但是,在本发明中,时间包络信息、以及第2频率包络信息的量化/编码方法没有限定。
时间包络计算控制信息生成部2j使用从频带分割滤波器组部2c接收的频域信号X(j,i)、从时间包络信息计算部2f接收的时间包络信息、从频率包络信息计算部2p接收的频率包络信息、以及从第2频率包络信息计算部接收的第2频率包络信息2o中的至少1个以上,生成时间包络计算控制信息(步骤S250的处理)。生成的时间包络计算控制信息只要是上述第4实施方式的语音解码装置301中的时间包络计算控制信息即可。
时间包络计算控制信息生成部2j例如也可以与第1实施方式的编码装置2的第1变形例同样。而且,时间包络计算控制信息生成部2j例如也可以与第3实施方式的语音编码装置202同样。
时间包络计算控制信息生成部2j例如与第1实施方式的编码装置2的第1变形例同样,使用时间包络信息、频率包络信息、以及第2频率包络信息,分别生成伪局部解码高频带信号,与原始信号进行比较。在使用第2频率包络信息而生成的伪局部解码高频带信号与原始信号接近的情况下,生成指示解码装置通过第2频率包络信息调整高频带信号的信息,作为时间包络计算控制信息。
关于上述各伪局部解码高频带信号与原始信号的比较,也可以与第3实施方式的语音编码装置202的时间包络计算控制信息生成部2j相同,在本实施方式中,不限定比较方法。
时间包络计算控制信息生成部2j在生成上述时间包络计算控制信息时,也可以还使用量化后的时间包络信息、量化后的频率包络信息、以及量化后的第2频率包络信息中的至少1个。
在时间包络计算控制信息是指示解码装置利用第2频率包络信息调整高频带信号的信息的情况下,编码构成部2h使用从编码/逆量化部1g接收的编码后的高频带生成用辅助信息、编码后的第2频率包络信息构成高频带编码序列,在时间包络计算控制信息不是指示解码装置利用第2频率包络信息调整高频带信号的信息的情况下,编码构成部2h使用从编码/逆量化部1g接收的编码后的高频带生成用辅助信息、编码后的时间包络信息、以及编码后的频率包络信息构成高频带编码序列(步骤S252的处理)。
本发明的第1实施方式的语音编码装置2的第1~第4变形例也可应用于该本发明的第4实施方式的语音编码装置302。
[第1实施方式的语音解码装置的第8变形例]
在本变形例中,第1实施方式的语音解码装置1的时间包络计算部1g对所计算的时间包络实施基于规定函数的处理。例如,时间包络计算部1g在时间上对时间包络进行归一化处理,通过下式计算时间包络ET’(l,i)。
[式70]
在本变形例中,能够在计算时间包络ET’(l,i)后,在其后的处理中将量ET(l,i)置换为量ET’(l,i)进行处理。
根据这样的变形例,能够不改变高频带生成部1h生成的高频带信号XH(j,i)的帧s中的频带FH(l)≤j<FH(l+1)的能量总量,而仅调整帧s的频带FH(l)≤j<FH(l+1)内的高频带信号XH(j,i)(FH(l)≤j<FH(l+1))的时间的形状。
上述第1实施方式的语音解码装置1的第8变形例也可应用于第1实施方式的语音解码装置1的第1~第7变形例、以及第2~第4实施方式的各语音解码装置,此时,只要将ET(l,i)置换为ET’(l,i)即可。
[第1实施方式的语音解码装置的第9变形例]
在本变形例中,在第1实施方式的语音解码装置1的第1~第n低频带时间包络计算部1f1~1fn中,当在时间方向对量L0(k,i)进行平滑化而取得时间包络L1(k,i)时,在从帧s-1转移到帧s时保持L0(k,i)(t(s)-d≤i<t(s))。根据本变形例,能够对接近与帧s-1之间的边界的帧s的量L0(k,i)(更具体地说,也能够对L0(k,i)(t(s)≤i<t(s)+d))也进行平滑化。
上述第1实施方式的语音解码装置1的第9变形例也可应用于第1实施方式的语音解码装置1的第1~第8变形例、以及第2~第4实施方式的各语音解码装置。
[第1实施方式的语音编码装置的第5变形例]
在本变形例中,根据参照时间包络H(l,i)与上述g(l,i)的相关来实施第1实施方式的语音编码装置2的时间包络信息计算部2f中的时间包络信息的计算。例如,时间包络信息计算部2f如以下这样计算时间包络信息。
即,通过下式计算H(l,i)与g(l,i)的相关系数corr(l)。
[式71]
将上述相关系数corr(l)与规定阈值进行比较,根据其比较结果计算时间包络信息。而且,求出相当于corr2(l)的值,与规定的阈值进行比较,根据其比较结果计算时间包络信息,由此也能够实现。
例如,如以下这样计算时间包络信息。设与上述相关系数进行比较的规定阈值为corrth(l)、按照式21那样给出gdec(l,i),通过下式计算时间包络信息。
[式72]
当上述例子中计算的时间包络信息被输入到第1实施方式的解码装置1的第2变形例时,在副频带B(T) l中,在Al,k(s)=0、Al,0(s)=const(0)的情况(即,在编码装置中,相关系数小于规定阈值的情况)下,时间包络计算控制部1m向第k个(k>0)低频带时间包络计算部1fk输出低频带时间包络计算控制信号,控制为低频带时间包络计算部1fk不实施低频带时间包络计算处理。另一方面,在Al,k(s)=const(k),Al,0(s)=0的情况(即,在编码装置中相关系数大于规定的阈值的情况)下,时间包络计算控制部1m向第k个(k>0)低频带时间包络计算部1fk输出低频带时间包络计算控制信号,控制为低频带时间包络计算部1fk实施低频带时间包络计算处理。
在本变形例中,只要根据参照时间包络H(l,i)与上述g(l,i)的相关来计算时间包络信息即可,而不限于上述方法。
在根据上述第1实施方式的语音编码装置2记载的参照时间包络H(l,i)与g(l,i)的误差(或权重误差)计算时间包络信息时,是根据参照时间包络H(l,i)与g(l,i)的一致程度来计算时间包络信息。另一方面,在本变形例中,是根据参照时间包络H(l,i)与g(l,i)的形状的相似程度来计算时间包络信息。
上述第1实施方式的语音编码装置2的第5变形例也可应用于第1实施方式的语音编码装置2的第1~第5变形例、以及第2~第4实施方式的语音编码装置。
[第2实施方式的语音解码装置的第1变形例]
在本变形例中,在第2实施方式的语音解码装置101的频率包络叠加部1q中,对频率包络EF,dec(k,s)实施基于规定函数的处理。例如,频率包络叠加部1q实施基于对下式给出的频率包络EF,dec(k,s)进行平滑化的函数的处理。
[式73]
其中,
[式74]
EF,dec,Temp(k,i)=EF,dec(k,s),t(s)≤i<t(s+1)
sch(j)、dh分别是规定的平滑化系数、平滑化次数。此时,在以后的处理中,将EF,dec,Filt(k,i)置换为EF,dec(k,s)进行处理。
而且,可以在上述式73中包含根据与该频率包络EF,dec(k,s)对应的帧的信号特性决定是否对频率包络EF,dec(k,s)进行平滑化的函数。而且,表示是否进行平滑化的信息包含在编码序列中,可以包含根据该信息决定是否对频率包络EF,dec(k,s)进行平滑化的函数。
而且,上述第2实施方式的语音解码装置101的第1变形例也可以应用于第4实施方式的语音解码装置。
[第2实施方式的语音解码装置的第2变形例]
在第2实施方式的语音解码装置101的频率包络叠加部1q中,量E(m,i)是利用C(s)校正了E2(m,i)后的值(式60)。另外,根据式61,帧s的带宽kx≤m≤kmax中的时间/频率包络调整后的高频带信号的能量被校正为帧s的带宽kx≤m≤kmax中的时间包络E0(m,i)的总和。另一方面,根据式62,帧s的频带kx≤m≤kmax中的时间/频率包络调整后的高频带信号的能量被校正为帧s的频带kx≤m≤kmax中的频率包络E1(m,i)的总和。在本变形例中,以在调整时间/频率包络后也保持帧s的频带kx≤m≤kmax中的时间/频率包络调整后的高频带信号能量的方式、通过下式给出C(s)。
[式75]
而且,也可以以使帧s的频带kx≤m≤kmax中的时间/频率包络调整后的高频带信号的能量成为帧s的频带kx≤m≤kmax中的时间包络E2(m,i)的总和的方式,通过下式给出C(s)。
[式76]
C(s)=1
上述第2实施方式的语音解码装置101的第2变形例也可应用于第2实施方式的语音解码装置101的第1变形例、以及第4实施方式的语音解码装置。
[第2实施方式的语音解码装置的第3变形例]
图39是示出本发明的第2实施方式的语音解码装置101的第3变形例的结构的图,图40是示出图39的语音解码装置101的语音解码步骤的流程图。本变形例与第2实施方式的语音解码装置101的不同之处在于,具有频率包络计算部1w,来取代频率包络叠加部1q。
本变形例的频率包络计算部1w与第2实施方式频率包络叠加部1q相同地计算频率包络E1(m,s)(步骤S119a)。
然后,时间/频率包络调整部1p使用时间包络ET(l,i)、以及频率包络E1(m,s)如以下这样进行时间/频率包络的调整(步骤S120)。
即,时间/频率包络调整部1p与频率包络叠加部1q同样地将时间包络ET(l,i)变换为E0(m,i)。
另外,与“MPEG4 AAC”的SBR中的HF调整(HF adjustment)同样地,通过下式变换由编码序列解码/逆量化部1e提供的帧s中的噪声电平比例因子Q(m,s)。
[式77]
另外,使用根据用于决定是否附加由编码序列解码/逆量化部1e提供的正弦波的参数而求出的量S(m,s),由下式给出帧s中的正弦波电平。
[式78]
另外,使用频率包络E1(m,s)、由编码序列解码/逆量化部1e提供的帧s中的噪声电平比例因子Q(m,s)、取决于由编码序列解码/逆量化部1e提供的帧s的参数的函数即δ(s),由下式给出增益。
[式79]
此处,量Ecurr(m,s)由下式定义。
[式80]
另外,也可通过下式进行定义。
[式81]
另外,S’(m,s)是表示在帧s中、是否存在附加在包含索引m表示的频率的副频带B(F) k(GH(k)≤m<GH(k+1))内的正弦波的函数,在存在附加的正弦波的情况下,S’(m,s)为“1”,在其它情况下,S’(m,s)为“0”。
而且,使用上述量Ecurr(m,s),能够计算下述量X’H(m+kx,i)。
[式82]
或者,上述量X’H(m+kx,i)也可以根据下式计算。
[式83]
或者,上述量X’H(m+kx,i)也可以根据下式计算。
[式84]
如果这样地进行处理,则能够在频率索引m、或副频带B(F) k中在时间方向上使高频带信号XH(m+kx,i)平坦化。因此,通过实施以后的处理,能够与高频带信号XH(m+kx,i)的时间包络无关地输出基于由时间包络计算部1g算出的时间包络的高频带信号。
此处,能够对上述增益、噪声电平比例因子、正弦波电平实施基于规定函数的处理,计算增益G2(m,s)、噪声电平比例因子Q3(m,s)、正弦波电平S3(m,s)。例如,与“MPEG4 AAC”的SBR中的HF调整(HF adjustment)同样地,对上述增益、本底噪声·比例因子、正弦波电平实施基于用于避免无谓噪声叠加的增益限制(增益限制器Gain limiter)、增益限制导致的能量损耗的补偿(增益放大器Gain booster)的函数的处理,计算增益G2(m,s)、噪声电平比例因子Q3(m,s)、正弦波电平S3(m,s)(具体例参照ISO/IEC 1449-34.6.18.7.5)。在实施了上述规定处理的情况下,在以后的处理中,使用G2(m,s),Q3(m,s),S3(m,s),取代G(m,s),Q2(m,s),S2(m,s)。
使用通过上述得到的增益G(m,s)、本底噪声·比例因子Q2(m,s)、以及时间包络E0(m,i)计算由下式给出的量G3(m,i)、Q4(m,i)。通过下式,根据时间包络计算增益以及本底噪声·比例因子,经过以后的处理,最终能够从时间/频率包络调整部1p输出已调整时间/频率包络的信号。
[式85]
[式86]
在上述式中,是根据时间包络计算出增益、以及本底噪声·比例因子,也可以与增益、以及本底噪声·比例因子同样地根据时间包络计算出正弦波电平。
另外,也可以对上述G3(m,i)、Q4(m,i)实施基于规定函数的处理。例如,基于进行平滑化的函数的处理。计算由下式给出的GFilt(m,i)、QFilt(m,i)。
[式87]
[式88]
其中,sch(j)、dh分别是规定平滑化系数、平滑化次数。另外,GTemp(m,i)、QTemp(m,i)由下式给出。
[式89]
[式90]
进而,通过基于下述函数的处理,也同样能得到平滑化的效果。
[式91]
GFilt(m,i)=Gold(m)·wold(m,i)+GTemp(m,i)·wcurr(m,i)
0≤m<M,t(s)≤i<t(s+1),0≤s<sE
[式92]
QFilt(m,i)=Qold(m)·wold(m,i)+QTemp(m,i)·wcurr(m,i)
0≤m<M,t(s)≤i<t(s+1),0≤s<sE
其中,wold(m,i)、wcurr(m,i)分别是规定的权重系数。另外,GTemp(m,i)、QTemp(m,i)由下式给出。
[式93]
[式94]
另外,Gold(m)是前1帧(具体是帧s-1)中的与帧s的边界的时间索引(具体是t(s)-1)的增益,由下式中的任意一个给出。
[式95]
[式96]
Gold(m)=GFilt(m,t(s)-1)
0≤m<M,0≤s<sE
在实施了基于上述规定函数的处理的情况下,在以后的处理中,使用GFilt(m,s),QFilt(m,s),取代G3(m,s),Q4(m,s)。
另外,进行上述平滑化的函数可以包含用于决定是否根据由编码序列解码/逆量化部1e提供的帧s的参数进行上述平滑化的函数。进而,表示是否进行平滑化的信息包含在编码序列中,可以包含用于决定是否根据该信息进行上述平滑化的函数。进而,可以包含用于决定是否根据上述信息中的至少一方进行上述平滑化的函数。
最后,时间/频率包络调整部1p通过下式,得到已调整时间/频率包络的信号。
[式97]
W1(m,i)=G3(m,i)·XH(m+kx,i)
Re{W2(m,i)}=Re{W1(m,i)}+Q4(m,i)·V0(f(i))
Im{W2(m,i)}=Im{W1(m,i)}+Q4(m,i)·V1(f(i))
[式98]
此处,V0、V1是规定噪声成分的数组,f是将索引i复写到上述数组上的索引的函数,是规定正弦波成分的相位的数组,fsin是将索引i复写到上述数组上的索引的函数(具体例参照“ISO/IEC 14496-3 4.6.18”)。
或者,在上述式97中,也可以使用X’H(m+kx,i),取代XH(m+kx,i)。
在本发明的第2实施方式的语音解码装置101的频率包络叠加部1q中应用上述“MPEG4AAC”的SBR中的HF调整的增益放大器时,按照每个副频带B(F) k(GH(k)≤j<GH(k+1))以帧s为单位,进行增益限制导致的能量损耗的补偿。另一方面,根据下式,按照每个副频带B(F) k(GH(k)≤j<GH(k+1)),针对高频带信号XH(j,i),以时间索引i为单位,进行增益限制导致的能量损耗的补偿。
[式99]
在上式中,能够对增益G(m,s)、噪声·比例因子Q2(m,s)应用上述的“MPEG4AAC”的SBR中的HF调整的增益限制器。
使用上述增益G2(m,i)、以及噪声·比例因子Q3(m,i),通过下式给出GTemp(m,i)、QTemp(m,i),取代式89、90。
[式100]
[式101]
进而,如果把式99置换为下式,则按照每个副频带B(T) k(FH(k)≤j<FH(k+1)),针对高频带信号XH(j,i),以时间索引i为单位进行增益限制导致的能量损耗的补偿。
[式102]
进而,当把式99置换为下式时,按照每个频率索引m,针对高频带信号XH(j,i)以时间索引i为单位,进行增益限制导致的能量损耗的补偿。
[式103]
或者,在计算上述量GBoostTemp(m.i)时,也可以使用X’H(m+kx,i),取代XH(m+kx,i)。
在第2实施方式的语音解码装置101的时间/频率包络调整部1p中,时间/频率包络的调整与第1实施方式的语音解码装置1的时间包络调整部1i相同地,使用从频率包络叠加部1q接收到的量E(m,i),由与“MPEG4 AAC”的SBR中的HF调整(HFAdjustment)类似的单元进行。因此,与“MPEG4 AAC”的SBR中的HF调整(HFadjustment)同样地,在对增益、本底噪声比例因子、正弦波电平实施基于用于避免不需要的噪声叠加的增益限制(增益限制器Gain limiter)、增益限制导致的能量损耗的补偿(增益放大器Gain booster)的函数的处理的情况下,针对时间索引i(t(s)≤i<t(s+1))实施该处理。另一方面,根据本变形例,在对增益、本底噪声比例因子、正弦波电平实施基于用于避免不需要的噪声叠加的增益限制(增益限制器Gain limiter)、增益限制导致的能量损耗的补偿(增益放大器Gain booster)的函数的处理的情况下,只要针对帧s实施该处理中的至少一个处理即可。因此,在本变形例中,与第2实施方式的语音解码装置101相比,能够减少上述处理的运算量。
上述第2实施方式的语音解码装置101的第3变形例也能够应用于第2实施方式的语音解码装置101的第1~第2变形例、以及第4实施方式的语音解码装置。
[第2实施方式的语音解码装置101的第3变形例的其它方式]
在上述变形例中,在应用第1实施方式的语音解码装置1的第1、第2、第3变形例、以及至少执行一个以上的该变形例的处理的第1实施方式的语音解码装置1的第5变形例的情况下,会产生时间包络计算部1g不计算时间包络ET(l,i)的情况。在这种情况下,在需要E0(m,i)的运算处理中,将E0(m,i)置换为1并执行。通过该方法,能够省略E0(m,i)、E0(m,i)的幂运算、乘以E0(m,i)的平方根的处理,能够减少运算量。另外,在使用了上述方法的处理中,时间/频率包络调整部1p无需计算E0(m,i)。
[第1实施方式的语音编码装置2的第6变形例]
时间包络信息计算部2f根据从频带分割滤波器组部2c取得的频域的信号X(j,i)、经由语音编码装置2的通信装置接收到的来自外部的输入信号、以及作为来自下采样部2a的输出而得到的经过下采样的低频带的时域信号中的至少1个以上的信号的特性,计算时间包络信息。作为上述信号的特性,例如有信号的过度性、调性、噪声性等,但在本变形例中,信号特性不限于这些具体例。
本变形例也可以应用于第1实施方式的语音编码装置2的第1~第5变形例、以及第2~第4实施方式的语音编码装置。
[第1实施方式的语音编码装置2的第7变形例]
时间包络计算控制信息生成部2j根据从频带分割滤波器组部2c得到的频域信号X(j,i)、经由语音编码装置2的通信装置接收到的来自外部的输入信号、以及作为来自下采样部2a的输出而得到的下采样的低频带时域信号中的至少1个以上的信号的信号特性,生成与语音解码装置1中的低频带时间包络计算方法相关的时间包络计算控制信息。作为上述信号的特性,例如有信号的过渡性、调性、噪声性等,但在本变形例中,信号特性不限于这些具体例。
另外,本变形例也能够应用于第1实施方式的语音编码装置2的第1~第6变形例以及第2~第4实施方式的语音编码装置。
[第1~第4实施方式的语音编码装置的量化/编码部]
关于第1~第4实施方式的语音编码装置的量化/编码部2g,显然可以对用于决定是否附加本底噪声·比例因子、正弦波的参数也进行量化/编码。
工业上的可利用性
本发明的使用用途为语音解码装置、语音编码装置、语音解码方法、语音编码方法、语音解码程序、以及语音编码程序,通过将解码信号中的时间包络调整为失真较少的形状,能够得到前回声以及后回声得到充分改善的再现信号。
标号说明
1f1~1fn...低频带时间包络计算部、2e1~2en...低频带时间包络计算部、1,102,201,301...语音解码装置、1a...解复用部、1b...低频带解码部、1c...频带分割滤波器组部、1d...编码序列解析部、1e...逆量化部、1g...时间包络计算部、1h...高频带生成部、li...时间包络调整部、1j...频带合成滤波器组部、1k,1m,1n,1o...时间包络计算控制部、1p,1v...时间/频率包络调整部、1q...频率包络叠加部、1r...编码序列解码/逆量化部、1s...时间包络计算控制部、1t...包络调整部、1u...频率包络叠加部、1w...频率包络计算部、2,102,202,302...语音编码装置、2a...下采样部、2b...低频带编码部、2c...频带分割滤波器组部、2d...高频带生成用辅助信息计算部、2e1~2ek...低频带时间包络计算部、2f...时间包络信息计算部、2g...量化/编码部、2h...高频带编码序列构成部、2i...复用部、2j...时间包络计算控制信息生成部、2k...低频带解码部、2m...频带合成滤波器组部、2n,2o,2p...频率包络信息计算部。
Claims (23)
1.一种语音解码装置,其对编码序列进行解码,该编码序列是对语音信号进行编码而得到的,其特征在于,该语音解码装置具有:
解复用单元,其将所述编码序列解复用为低频带编码序列和高频带编码序列;
低频带解码单元,其对由所述解复用单元解复用得到的所述低频带编码序列进行解码,得到低频带信号;
频率变换单元,其将所述低频带解码单元得到的所述低频带信号变换到频域;
高频带编码序列解析单元,其对由所述解复用单元解复用得到的所述高频带编码序列进行解析,取得编码后的高频带生成用辅助信息以及时间包络信息;
编码序列解码逆量化单元,其对由所述高频带编码序列解析单元取得的所述高频带生成用辅助信息以及时间包络信息进行解码和逆量化;
高频带生成单元,其根据由所述频率变换单元变换到频域的所述低频带信号,使用由所述编码序列解码逆量化单元解码后的所述高频带生成用辅助信息,生成所述语音信号的频域的高频带成分;
第1~第N低频带时间包络计算单元,它们对由所述频率变换单元变换到频域的所述低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;
时间包络计算单元,其使用所述编码序列解码逆量化单元取得的所述时间包络信息、以及所述低频带时间包络计算单元取得的所述多个低频带的时间包络,计算高频带的时间包络;
时间包络调整单元,其使用由所述时间包络计算单元取得的所述时间包络,调整由所述高频带生成单元生成的高频带成分的时间包络;以及
逆频率变换单元,其将所述时间包络调整单元调整后的所述高频带成分与所述低频带解码单元解码出的所述低频带信号相加,输出包含整个频带成分的时域信号。
2.一种语音解码装置,其对编码序列进行解码,该编码序列是对语音信号进行编码而得到的,其特征在于,该语音解码装置具有:
解复用单元,其将所述编码序列解复用为低频带编码序列和高频带编码序列;
低频带解码单元,其对由所述解复用单元解复用得到的所述低频带编码序列进行解码,得到低频带信号;
频率变换单元,其将所述低频带解码单元得到的所述低频带信号变换到频域;
高频带编码序列解析单元,其对由所述解复用单元解复用得到的所述高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、频率包络信息以及时间包络信息;
编码序列解码逆量化单元,其对由所述高频带编码序列解析单元取得的所述高频带生成用辅助信息、频率包络信息以及时间包络信息进行解码和逆量化;
高频带生成单元,其根据由所述频率变换单元变换到频域的所述低频带信号,使用由所述编码序列解码逆量化单元解码后的所述高频带生成用辅助信息,生成所述语音信号的频域的高频带成分;
第1~第N低频带时间包络计算单元,它们对由所述频率变换单元变换到频域的所述低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;
时间包络计算单元,其使用所述编码序列解码逆量化单元取得的所述时间包络信息、以及所述低频带时间包络计算单元取得的所述多个低频带的时间包络,计算高频带的时间包络;
频率包络叠加单元,其将由所述编码序列解码逆量化单元取得的所述频率包络信息叠加在所述高频带的时间包络中,取得时间频率包络;
时间频率包络调整单元,其使用由所述时间包络计算单元取得的所述时间包络以及由所述频率包络叠加单元取得的时间频率包络,调整由所述高频带生成单元生成的高频带成分的时间包络和频率包络;以及
逆频率变换单元,其将由所述时间频率包络调整单元调整后的所述高频带成分与所述低频带解码单元解码出的所述低频带信号相加,输出包含整个频带成分的时域信号。
3.一种语音解码装置,其对编码序列进行解码,该编码序列是对语音信号进行编码而得到的,其特征在于,该语音解码装置具有:
解复用单元,其将所述编码序列解复用为低频带编码序列和高频带编码序列;
低频带解码单元,其对由所述解复用单元解复用得到的所述低频带编码序列进行解码,得到低频带信号;
频率变换单元,其将所述低频带解码单元得到的所述低频带信号变换到频域;
高频带编码序列解析单元,其对由所述解复用单元解复用得到的所述高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、频率包络信息以及时间包络信息;
编码序列解码逆量化单元,其对由所述高频带编码序列解析单元取得的所述高频带生成用辅助信息、频率包络信息以及时间包络信息进行解码和逆量化;
高频带生成单元,其根据由所述频率变换单元变换到频域的所述低频带信号,使用由所述编码序列解码逆量化单元解码后的所述高频带生成用辅助信息,生成所述语音信号的频域的高频带成分;
第1~第N低频带时间包络计算单元,它们对由所述频率变换单元变换到频域的所述低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;
时间包络计算单元,其使用所述编码序列解码逆量化单元取得的所述时间包络信息、以及所述低频带时间包络计算单元取得的所述多个低频带的时间包络,计算高频带的时间包络;
频率包络计算单元,其使用所述编码序列解码逆量化单元取得的所述频率包络信息,计算频率包络;
时间频率包络调整单元,其使用所述时间包络计算单元取得的所述时间包络、以及所述频率包络计算单元取得的频率包络,调整所述高频带生成单元生成的高频带成分的时间包络和频率包络;
逆频率变换单元,其将所述时间频率包络调整单元调整后的所述高频带成分与所述低频带解码单元解码出的所述低频带信号相加,输出包含整个频带成分的时域信号。
4.根据权利要求1至3中任意一项所述的语音解码装置,其特征在于,
该语音解码装置还具有时间包络计算控制单元,该时间包络计算控制单元使用由所述频率变换单元变换到频域的所述低频带信号,控制所述第1~第N低频带时间包络计算单元中的低频带的时间包络的计算、以及所述时间包络计算单元中的高频带的时间包络的计算中的至少1个。
5.根据权利要求1至3中任意一项所述的语音解码装置,其特征在于,
该语音解码装置还具有时间包络计算控制单元,该时间包络计算控制单元使用由所述编码序列解码逆量化单元取得的所述时间包络信息,控制所述第1~第N低频带时间包络计算单元中的低频带的时间包络的计算、以及所述时间包络计算单元中的高频带的时间包络的计算中的至少1个。
6.根据权利要求1至3中任意一项所述的语音解码装置,其特征在于,
所述高频带编码序列解析单元还取得时间包络计算控制信息,
该语音解码装置还具有时间包络计算控制单元,该时间包络计算控制单元使用由所述高频带编码序列解析单元取得的时间包络计算控制信息,控制所述第1~第N低频带时间包络计算单元中的低频带的时间包络的计算以及所述时间包络计算单元中的高频带的时间包络的计算中的至少1个。
7.根据权利要求1至3中任意一项所述的语音解码装置,其特征在于,
所述高频带编码序列解析单元还取得时间包络计算控制信息,
所述编码序列解码逆量化单元还取得第2频率包络信息,
该语音解码装置还具有时间包络计算控制单元,该时间包络计算控制单元根据所述时间包络计算控制信息,判断是否基于所述第2频率包络信息调整高频带成分的频率包络,在判断为调整该频率包络的情况下,控制为不进行所述第1~第N低频带时间包络计算单元中的低频带的时间包络的计算、以及所述时间包络计算单元中的高频带的时间包络的计算。
8.根据权利要求2或3所述的语音解码装置,其特征在于,
所述时间频率包络调整单元根据规定的函数对所述高频带生成单元生成的语音信号的高频带成分进行处理。
9.根据权利要求1至3中任意一项所述的语音解码装置,其特征在于,
所述低频带时间包络计算单元根据规定的函数对取得的多个低频带的时间包络进行处理。
10.根据权利要求4所述的语音解码装置,其特征在于,
所述低频带时间包络计算单元根据规定的函数对取得的多个低频带的时间包络进行处理。
11.根据权利要求5所述的语音解码装置,其特征在于,
所述低频带时间包络计算单元根据规定的函数对取得的多个低频带的时间包络进行处理。
12.根据权利要求6所述的语音解码装置,其特征在于,
所述低频带时间包络计算单元根据规定的函数对取得的多个低频带的时间包络进行处理。
13.根据权利要求7所述的语音解码装置,其特征在于,
所述低频带时间包络计算单元根据规定的函数对取得的多个低频带的时间包络进行处理。
14.根据权利要求8所述的语音解码装置,其特征在于,
所述低频带时间包络计算单元根据规定的函数对取得的多个低频带的时间包络进行处理。
15.一种语音编码装置,其对语音信号进行编码,其特征在于,该语音编码装置具有:
频率变换单元,其将所述语音信号变换到频域;
下采样单元,其对所述语音信号进行下采样,取得低频带信号;
低频带编码单元,其对所述下采样单元取得的低频带信号进行编码;
第1~第N低频带时间包络计算单元,它们计算多个由所述频率变换单元变换到频域的所述语音信号的低频带成分的时间包络,其中N为2以上的整数;
时间包络信息计算单元,其使用由所述第1~第N低频带时间包络计算单元计算的低频带成分的所述时间包络,计算取得由所述频率变换单元变换后的所述语音信号的高频带成分的时间包络所需的时间包络信息;
辅助信息计算单元,其对所述语音信号进行分析,计算用于根据低频带信号生成高频带成分的高频带生成用辅助信息;
量化编码单元,其对由所述辅助信息计算单元生成的所述高频带生成用辅助信息、以及所述时间包络信息计算单元计算的所述时间包络信息进行量化和编码;
编码序列构成单元,其使由所述量化编码单元量化和编码后的所述高频带生成用辅助信息以及所述时间包络信息构成为高频带编码序列;
复用单元,其生成将所述低频带编码单元取得的所述低频带编码序列与所述编码序列构成单元构成的所述高频带编码序列复用而得到的编码序列。
16.根据权利要求15所述的语音编码装置,其特征在于,
该语音编码装置还具有频率包络计算单元,该频率包络计算单元计算由所述频率变换单元变换到频域的所述语音信号的高频带成分的频率包络信息,
所述量化编码单元还对所述频率包络信息进行量化和编码,
所述编码序列构成单元还附加由所述量化编码单元量化和编码后的所述频率包络信息而构成高频带编码序列。
17.根据权利要求15或16所述的语音编码装置,其特征在于,
该语音编码装置还具有控制信息生成单元,该控制信息生成单元使用由所述频率变换单元变换到频域的所述语音信号、所述时间包络信息计算单元计算出的时间包络信息中的至少1个,生成控制语音解码装置中的时间包络计算的时间包络计算控制信息,
所述编码序列构成单元还附加由所述控制信息生成单元生成的所述时间包络计算控制信息而构成高频带编码序列。
18.根据权利要求15至16中的任意一项所述的语言编码装置,其特征在于,
所述时间包络信息计算单元计算由所述频率变换单元变换到频域的所述语音信号的高频带成分的时间包络,
基于根据所述第1~第N低频带成分的时间包络算出的时间包络、与上述频带成分的时间包络的相关性,计算时间包络信息。
19.根据权利要求17所述的语言编码装置,其特征在于,
所述时间包络信息计算单元计算由所述频率变换单元变换到频域的所述语音信号的高频带成分的时间包络,
基于根据所述第1~第N低频带成分的时间包络算出的时间包络、与上述频带成分的时间包络的相关性,计算时间包络信息。
20.一种语音解码方法,对编码序列进行解码,该编码序列是对语音信号进行编码而得到的,其特征在于,该语音解码方法包括:
解复用步骤,解复用单元将所述编码序列解复用为低频带编码序列和高频带编码序列;
低频带解码步骤,低频带解码单元对由所述解复用单元解复用得到的所述低频带编码序列进行解码,得到低频带信号;
频率变换步骤,频率变换单元将所述低频带解码单元得到的所述低频带信号变换到频域;
高频带编码序列解析步骤,高频带编码序列解析单元对由所述解复用单元解复用得到的所述高频带编码序列进行解析,取得编码后的高频带生成用辅助信息以及时间包络信息;
编码序列解码逆量化步骤,编码序列解码逆量化单元对由所述高频带编码序列解析单元取得的所述高频带生成用辅助信息以及时间包络信息进行解码和逆量化;
高频带生成步骤,高频带生成单元根据由所述频率变换单元变换到频域的所述低频带信号,使用由所述编码序列解码逆量化单元解码后的所述高频带生成用辅助信息,生成所述语音信号的频域的高频带成分;
第1~第N低频带时间包络计算步骤,第1~第N低频带时间包络计算单元对由所述频率变换单元变换到频域的所述低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;
时间包络计算步骤,时间包络计算单元使用所述编码序列解码逆量化单元取得的所述时间包络信息、以及所述低频带时间包络计算单元取得的所述多个低频带的时间包络,计算高频带的时间包络;
时间包络调整步骤,时间包络调整单元使用由所述时间包络计算单元取得的所述时间包络,调整由所述高频带生成单元生成的高频带成分的时间包络;以及
逆频率变换步骤,逆频率变换单元将所述时间包络调整单元调整后的所述高频带成分与所述低频带解码单元解码出的所述低频带信号相加,输出包含整个频带成分的时域信号。
21.一种语音解码方法,对编码序列进行解码,该编码序列是对语音信号进行编码而得到的,其特征在于,该语音解码方法包括:
解复用步骤,解复用单元将所述编码序列解复用为低频带编码序列和高频带编码序列;
低频带解码步骤,低频带解码单元对由所述解复用单元解复用得到的所述低频带编码序列进行解码,得到低频带信号;
频率变换步骤,频率变换单元将所述低频带解码单元得到的所述低频带信号变换到频域;
高频带编码序列解析步骤,高频带编码序列解析单元对由所述解复用单元解复用得到的所述高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、频率包络信息以及时间包络信息;
编码序列解码逆量化步骤,编码序列解码逆量化单元对由所述高频带编码序列解析单元取得的所述高频带生成用辅助信息、频率包络信息以及时间包络信息进行解码和逆量化;
高频带生成步骤,高频带生成单元根据由所述频率变换单元变换到频域的所述低频带信号,使用由所述编码序列解码逆量化单元解码后的所述高频带生成用辅助信息,生成所述语音信号的频域的高频带成分;
第1~第N低频带时间包络计算步骤,第1~第N低频带时间包络计算单元对由所述频率变换单元变换到频域的所述低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;
时间包络计算步骤,时间包络计算单元使用所述编码序列解码逆量化单元取得的所述时间包络信息、以及所述低频带时间包络计算单元取得的所述多个低频带的时间包络,计算高频带的时间包络;
频率包络叠加步骤,频率包络叠加单元将由所述编码序列解码逆量化单元取得的所述频率包络信息叠加在所述高频带的时间包络中,取得时间频率包络;
时间频率包络调整步骤,时间频率包络调整单元使用由所述时间包络计算单元取得的所述时间包络以及由所述频率包络叠加单元取得的时间频率包络,调整由所述高频带生成单元生成的高频带成分的时间包络和频率包络;以及
逆频率变换步骤,逆频率变换单元将所述时间频率包络调整单元调整后的所述高频带成分与所述低频带解码单元解码出的所述低频带信号相加,输出包含整个频带成分的时域信号。
22.一种语音解码方法,对编码序列进行解码,该编码序列是对语音信号进行编码而得到的,其特征在于,该语音解码方法包括:
解复用步骤,解复用单元将所述编码序列解复用为低频带编码序列和高频带编码序列;
低频带解码步骤,低频带解码单元对由所述解复用单元解复用得到的所述低频带编码序列进行解码,得到低频带信号;
频率变换步骤,频率变换单元将所述低频带解码单元得到的所述低频带信号变换到频域;
高频带编码序列解析步骤,高频带编码序列解析单元对由所述解复用单元解复用得到的所述高频带编码序列进行解析,取得编码后的高频带生成用辅助信息、频率包络信息以及时间包络信息;
编码序列解码逆量化步骤,编码序列解码逆量化单元对由所述高频带编码序列解析单元取得的所述高频带生成用辅助信息、频率包络信息以及时间包络信息进行解码和逆量化;
高频带生成步骤,高频带生成单元根据由所述频率变换单元变换到频域的所述低频带信号,使用由所述编码序列解码逆量化单元解码后的所述高频带生成用辅助信息,生成所述语音信号的频域的高频带成分;
第1~第N低频带时间包络计算步骤,低频带时间包络计算单元对由所述频率变换单元变换到频域的所述低频带信号进行分析,取得多个低频带的时间包络,其中N为2以上的整数;
时间包络计算步骤,时间包络计算单元使用所述编码序列解码逆量化单元取得的所述时间包络信息、以及所述低频带时间包络计算单元取得的所述多个低频带的时间包络,计算高频带的时间包络;
频率包络计算步骤,频率包络计算单元使用所述编码序列解码逆量化单元取得的所述频率包络信息,计算频率包络;
时间频率包络调整步骤,时间频率包络调整单元使用所述时间包络计算单元取得的所述时间包络、以及所述频率包络计算单元取得的频率包络,调整所述高频带生成单元生成的高频带成分的时间包络和频率包络;
逆频率变换步骤,逆频率变换单元将所述时间频率包络调整单元调整后的所述高频带成分与所述低频带解码单元解码出的所述低频带信号相加,输出包含整个频带成分的时域信号。
23.一种语音编码方法,对语音信号进行编码,其特征在于,该语音编码方法包括:
频率变换步骤,频率变换单元将所述语音信号变换到频域;
下采样步骤,下采样单元对所述语音信号进行下采样,取得低频带信号;
低频带编码步骤,低频带编码单元对所述下采样单元取得的低频带信号进行编码;
第1~第N低频带时间包络计算步骤,第1~第N低频带时间包络计算单元计算多个由所述频率变换单元变换到频域的所述语音信号的低频带成分的时间包络,其中N为2以上的整数;
时间包络信息计算步骤,时间包络信息计算单元使用由所述第1~第N低频带时间包络计算单元计算出的低频带成分的所述时间包络,计算取得由所述频率变换单元变换后的所述语音信号的高频带成分的时间包络所需的时间包络信息;
辅助信息计算步骤,辅助信息计算单元对所述语音信号进行分析,计算用于根据低频带信号生成高频带成分的高频带生成用辅助信息;
量化编码步骤,量化编码单元对由所述辅助信息计算单元生成的所述高频带生成用辅助信息、以及所述时间包络信息计算单元计算出的所述时间包络信息进行量化和编码;
编码序列构成步骤,编码序列构成单元使由所述量化编码单元量化和编码后的所述高频带生成用辅助信息以及所述时间包络信息构成为高频带编码序列;以及
复用步骤,复用单元生成将所述低频带编码单元取得的所述低频带编码序列与所述编码序列构成单元构成的所述高频带编码序列复用而得到的编码序列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510324219.1A CN104916290B (zh) | 2011-02-18 | 2012-02-16 | 语音解码装置、语音编码装置、语音解码方法以及语音编码方法 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-033917 | 2011-02-18 | ||
JPJP2011-033917 | 2011-02-18 | ||
JP2011033917 | 2011-02-18 | ||
JPJP2011-215591 | 2011-09-29 | ||
JP2011-215591 | 2011-09-29 | ||
JP2011215591 | 2011-09-29 | ||
PCT/JP2012/053700 WO2012111767A1 (ja) | 2011-02-18 | 2012-02-16 | 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、及び音声符号化プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510324219.1A Division CN104916290B (zh) | 2011-02-18 | 2012-02-16 | 语音解码装置、语音编码装置、语音解码方法以及语音编码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103370742A CN103370742A (zh) | 2013-10-23 |
CN103370742B true CN103370742B (zh) | 2015-06-03 |
Family
ID=46672679
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280009009.8A Active CN103370742B (zh) | 2011-02-18 | 2012-02-16 | 语音解码装置、语音编码装置、语音解码方法以及语音编码方法 |
CN201510324219.1A Active CN104916290B (zh) | 2011-02-18 | 2012-02-16 | 语音解码装置、语音编码装置、语音解码方法以及语音编码方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510324219.1A Active CN104916290B (zh) | 2011-02-18 | 2012-02-16 | 语音解码装置、语音编码装置、语音解码方法以及语音编码方法 |
Country Status (19)
Country | Link |
---|---|
US (1) | US8756068B2 (zh) |
EP (5) | EP3998607B1 (zh) |
JP (7) | JP5977176B2 (zh) |
KR (7) | KR20140005256A (zh) |
CN (2) | CN103370742B (zh) |
AU (1) | AU2012218409B2 (zh) |
BR (2) | BR122019027753B1 (zh) |
CA (4) | CA3147525A1 (zh) |
DK (5) | DK3567589T3 (zh) |
ES (4) | ES2745141T3 (zh) |
FI (2) | FI4020466T3 (zh) |
HU (3) | HUE058847T2 (zh) |
MX (2) | MX2013009464A (zh) |
PL (4) | PL3407352T3 (zh) |
PT (4) | PT3407352T (zh) |
RU (8) | RU2630379C1 (zh) |
SG (1) | SG192796A1 (zh) |
TW (3) | TWI576830B (zh) |
WO (1) | WO2012111767A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104916290A (zh) * | 2011-02-18 | 2015-09-16 | 株式会社Ntt都科摩 | 语音解码装置、语音编码装置、语音解码方法以及语音编码方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5997592B2 (ja) * | 2012-04-27 | 2016-09-28 | 株式会社Nttドコモ | 音声復号装置 |
US11037923B2 (en) | 2012-06-29 | 2021-06-15 | Intel Corporation | Through gate fin isolation |
TWI477789B (zh) * | 2013-04-03 | 2015-03-21 | Tatung Co | 資訊擷取裝置及其發送頻率調整方法 |
RU2688247C2 (ru) * | 2013-06-11 | 2019-05-21 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для расширения диапазона частот для акустических сигналов |
RU2662693C2 (ru) | 2014-02-28 | 2018-07-26 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство декодирования, устройство кодирования, способ декодирования и способ кодирования |
JP2016038435A (ja) * | 2014-08-06 | 2016-03-22 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
MX371223B (es) * | 2016-02-17 | 2020-01-09 | Fraunhofer Ges Forschung | Post-procesador, pre-procesador, codificador de audio, decodificador de audio y metodos relacionados para mejorar el procesamiento de transitorios. |
TWI602173B (zh) * | 2016-10-21 | 2017-10-11 | 盛微先進科技股份有限公司 | 音訊處理方法與非暫時性電腦可讀媒體 |
EP3396670B1 (en) * | 2017-04-28 | 2020-11-25 | Nxp B.V. | Speech signal processing |
US10650834B2 (en) | 2018-01-10 | 2020-05-12 | Savitech Corp. | Audio processing method and non-transitory computer readable medium |
JP7139628B2 (ja) * | 2018-03-09 | 2022-09-21 | ヤマハ株式会社 | 音処理方法および音処理装置 |
EP3576088A1 (en) * | 2018-05-30 | 2019-12-04 | Fraunhofer Gesellschaft zur Förderung der Angewand | Audio similarity evaluator, audio encoder, methods and computer program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1272259A (zh) * | 1997-06-10 | 2000-11-01 | 拉斯·古斯塔夫·里杰利德 | 采用频带复现增强源编码 |
CN101093670A (zh) * | 2002-03-28 | 2007-12-26 | 杜比实验室特许公司 | 根据频率变换重建具有不完全频谱的音频信号的频谱 |
CN101185127A (zh) * | 2005-04-01 | 2008-05-21 | 高通股份有限公司 | 用于编码和解码语音信号的高频带部分的方法和设备 |
JP2010020251A (ja) * | 2008-07-14 | 2010-01-28 | Ntt Docomo Inc | 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法 |
JP4448464B2 (ja) * | 2005-03-07 | 2010-04-07 | 日本電信電話株式会社 | 雑音低減方法、装置、プログラム及び記録媒体 |
WO2010114123A1 (ja) * | 2009-04-03 | 2010-10-07 | 株式会社エヌ・ティ・ティ・ドコモ | 音声符号化装置、音声復号装置、音声符号化方法、音声復号方法、音声符号化プログラム及び音声復号プログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3982070A (en) * | 1974-06-05 | 1976-09-21 | Bell Telephone Laboratories, Incorporated | Phase vocoder speech synthesis system |
JP2000122698A (ja) * | 1998-10-19 | 2000-04-28 | Mitsubishi Electric Corp | 音声符号化装置 |
US7260523B2 (en) * | 1999-12-21 | 2007-08-21 | Texas Instruments Incorporated | Sub-band speech coding system |
JP2001318698A (ja) * | 2000-05-10 | 2001-11-16 | Nec Corp | 音声符号化装置及び音声復号化装置 |
JP3404024B2 (ja) * | 2001-02-27 | 2003-05-06 | 三菱電機株式会社 | 音声符号化方法および音声符号化装置 |
SE0202159D0 (sv) * | 2001-07-10 | 2002-07-09 | Coding Technologies Sweden Ab | Efficientand scalable parametric stereo coding for low bitrate applications |
US7987095B2 (en) * | 2002-09-27 | 2011-07-26 | Broadcom Corporation | Method and system for dual mode subband acoustic echo canceller with integrated noise suppression |
KR100587953B1 (ko) * | 2003-12-26 | 2006-06-08 | 한국전자통신연구원 | 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템 |
KR100657916B1 (ko) * | 2004-12-01 | 2006-12-14 | 삼성전자주식회사 | 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법 |
KR100721537B1 (ko) * | 2004-12-08 | 2007-05-23 | 한국전자통신연구원 | 광대역 음성 부호화기의 고대역 음성 부호화 장치 및 그방법 |
KR100708121B1 (ko) * | 2005-01-22 | 2007-04-16 | 삼성전자주식회사 | 음성 신호의 대역 확장 방법 및 장치 |
TWI319565B (en) * | 2005-04-01 | 2010-01-11 | Qualcomm Inc | Methods, and apparatus for generating highband excitation signal |
WO2006108543A1 (en) * | 2005-04-15 | 2006-10-19 | Coding Technologies Ab | Temporal envelope shaping of decorrelated signal |
US7953605B2 (en) * | 2005-10-07 | 2011-05-31 | Deepen Sinha | Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension |
CA2704812C (en) * | 2007-11-06 | 2016-05-17 | Nokia Corporation | An encoder for encoding an audio signal |
CN101483495B (zh) * | 2008-03-20 | 2012-02-15 | 华为技术有限公司 | 一种背景噪声生成方法以及噪声处理装置 |
PT2146344T (pt) * | 2008-07-17 | 2016-10-13 | Fraunhofer Ges Forschung | Esquema de codificação/descodificação de áudio com uma derivação comutável |
US8352279B2 (en) * | 2008-09-06 | 2013-01-08 | Huawei Technologies Co., Ltd. | Efficient temporal envelope coding approach by prediction between low band signal and high band signal |
PL3598447T3 (pl) * | 2009-01-16 | 2022-02-14 | Dolby International Ab | Transpozycja harmonicznych rozszerzona o iloczyn wektorowy |
EP2239732A1 (en) * | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
CA3147525A1 (en) * | 2011-02-18 | 2012-08-23 | Ntt Docomo, Inc. | Speech decoder, speech encoder, speech decoding method, speech encoding method, speech decoding program, and speech encoding program |
-
2012
- 2012-02-16 CA CA3147525A patent/CA3147525A1/en active Pending
- 2012-02-16 ES ES12747551T patent/ES2745141T3/es active Active
- 2012-02-16 AU AU2012218409A patent/AU2012218409B2/en active Active
- 2012-02-16 CN CN201280009009.8A patent/CN103370742B/zh active Active
- 2012-02-16 FI FIEP22157013.8T patent/FI4020466T3/fi active
- 2012-02-16 PT PT181813973T patent/PT3407352T/pt unknown
- 2012-02-16 EP EP21217818.0A patent/EP3998607B1/en active Active
- 2012-02-16 PT PT12747551T patent/PT2677519T/pt unknown
- 2012-02-16 BR BR122019027753-2A patent/BR122019027753B1/pt active IP Right Grant
- 2012-02-16 KR KR1020137021900A patent/KR20140005256A/ko active Search and Examination
- 2012-02-16 RU RU2016135412A patent/RU2630379C1/ru active
- 2012-02-16 HU HUE18181397A patent/HUE058847T2/hu unknown
- 2012-02-16 KR KR1020177016245A patent/KR20170070286A/ko active Application Filing
- 2012-02-16 CN CN201510324219.1A patent/CN104916290B/zh active Active
- 2012-02-16 KR KR1020197038948A patent/KR102208914B1/ko active IP Right Grant
- 2012-02-16 ES ES19181294T patent/ES2913760T3/es active Active
- 2012-02-16 HU HUE22157013A patent/HUE062540T2/hu unknown
- 2012-02-16 EP EP22157013.8A patent/EP4020466B1/en active Active
- 2012-02-16 CA CA2984936A patent/CA2984936C/en active Active
- 2012-02-16 DK DK19181294.0T patent/DK3567589T3/da active
- 2012-02-16 PL PL18181397.3T patent/PL3407352T3/pl unknown
- 2012-02-16 JP JP2012558016A patent/JP5977176B2/ja active Active
- 2012-02-16 SG SG2013062187A patent/SG192796A1/en unknown
- 2012-02-16 PL PL12747551T patent/PL2677519T3/pl unknown
- 2012-02-16 ES ES22157013T patent/ES2949240T3/es active Active
- 2012-02-16 DK DK21217818.0T patent/DK3998607T3/da active
- 2012-02-16 BR BR112013020987-9A patent/BR112013020987B1/pt not_active IP Right Cessation
- 2012-02-16 CA CA2827482A patent/CA2827482C/en active Active
- 2012-02-16 EP EP19181294.0A patent/EP3567589B1/en active Active
- 2012-02-16 DK DK12747551.5T patent/DK2677519T3/da active
- 2012-02-16 PL PL19181294T patent/PL3567589T3/pl unknown
- 2012-02-16 CA CA3055514A patent/CA3055514C/en active Active
- 2012-02-16 WO PCT/JP2012/053700 patent/WO2012111767A1/ja active Application Filing
- 2012-02-16 KR KR1020227024860A patent/KR102565287B1/ko active IP Right Grant
- 2012-02-16 PT PT221570138T patent/PT4020466T/pt unknown
- 2012-02-16 EP EP12747551.5A patent/EP2677519B1/en active Active
- 2012-02-16 KR KR1020187022218A patent/KR102068112B1/ko active IP Right Grant
- 2012-02-16 KR KR1020207035595A patent/KR102375912B1/ko active IP Right Grant
- 2012-02-16 PT PT191812940T patent/PT3567589T/pt unknown
- 2012-02-16 ES ES18181397T patent/ES2916257T3/es active Active
- 2012-02-16 RU RU2013142349/08A patent/RU2599966C2/ru active
- 2012-02-16 MX MX2013009464A patent/MX2013009464A/es active IP Right Grant
- 2012-02-16 KR KR1020227008061A patent/KR102424902B1/ko active IP Right Grant
- 2012-02-16 DK DK18181397.3T patent/DK3407352T3/da active
- 2012-02-16 PL PL22157013.8T patent/PL4020466T3/pl unknown
- 2012-02-16 MX MX2015001940A patent/MX339764B/es unknown
- 2012-02-16 HU HUE19181294A patent/HUE058682T2/hu unknown
- 2012-02-16 EP EP18181397.3A patent/EP3407352B9/en active Active
- 2012-02-16 FI FIEP21217818.0T patent/FI3998607T3/fi active
- 2012-02-16 DK DK22157013.8T patent/DK4020466T3/da active
- 2012-02-17 TW TW105135127A patent/TWI576830B/zh active
- 2012-02-17 TW TW105117200A patent/TW201637001A/zh unknown
- 2012-02-17 TW TW101105268A patent/TWI547941B/zh active
-
2013
- 2013-08-16 US US13/968,898 patent/US8756068B2/en active Active
-
2016
- 2016-07-21 JP JP2016143386A patent/JP6189498B2/ja active Active
-
2017
- 2017-08-02 JP JP2017149772A patent/JP6510593B2/ja active Active
- 2017-08-24 RU RU2017129882A patent/RU2651193C1/ru active
-
2018
- 2018-03-29 RU RU2018111244A patent/RU2674922C1/ru active
- 2018-03-29 RU RU2018111242A patent/RU2679973C1/ru active
-
2019
- 2019-02-07 RU RU2019103408A patent/RU2707931C1/ru active
- 2019-02-19 JP JP2019027315A patent/JP6664526B2/ja active Active
- 2019-11-18 RU RU2019136868A patent/RU2718425C1/ru active
-
2020
- 2020-02-18 JP JP2020025455A patent/JP6810292B2/ja active Active
- 2020-03-19 RU RU2020111421A patent/RU2742199C1/ru active
- 2020-12-10 JP JP2020204854A patent/JP7009602B2/ja active Active
-
2022
- 2022-01-12 JP JP2022003269A patent/JP7252381B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1272259A (zh) * | 1997-06-10 | 2000-11-01 | 拉斯·古斯塔夫·里杰利德 | 采用频带复现增强源编码 |
CN101093670A (zh) * | 2002-03-28 | 2007-12-26 | 杜比实验室特许公司 | 根据频率变换重建具有不完全频谱的音频信号的频谱 |
JP4448464B2 (ja) * | 2005-03-07 | 2010-04-07 | 日本電信電話株式会社 | 雑音低減方法、装置、プログラム及び記録媒体 |
CN101185127A (zh) * | 2005-04-01 | 2008-05-21 | 高通股份有限公司 | 用于编码和解码语音信号的高频带部分的方法和设备 |
JP2010020251A (ja) * | 2008-07-14 | 2010-01-28 | Ntt Docomo Inc | 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法 |
WO2010114123A1 (ja) * | 2009-04-03 | 2010-10-07 | 株式会社エヌ・ティ・ティ・ドコモ | 音声符号化装置、音声復号装置、音声符号化方法、音声復号方法、音声符号化プログラム及び音声復号プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104916290A (zh) * | 2011-02-18 | 2015-09-16 | 株式会社Ntt都科摩 | 语音解码装置、语音编码装置、语音解码方法以及语音编码方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103370742B (zh) | 语音解码装置、语音编码装置、语音解码方法以及语音编码方法 | |
CN101925950B (zh) | 音频编码器和解码器 | |
JP2009515212A (ja) | オーディオ圧縮 | |
CN101161033A (zh) | 编码音频的节约式响度测量 | |
CN101276587A (zh) | 声音编码装置及其方法和声音解码装置及其方法 | |
CN103366750B (zh) | 一种声音编解码装置及其方法 | |
CN103366751B (zh) | 一种声音编解码装置及其方法 | |
RU2409874C2 (ru) | Сжатие звуковых сигналов | |
Petermann et al. | Native Multi-Band Audio Coding Within Hyper-Autoencoded Reconstruction Propagation Networks | |
JP2003058196A (ja) | オーディオ信号符号化方法、及びオーディオ信号復号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |