CN101283407A - 变换编码装置和变换编码方法 - Google Patents

变换编码装置和变换编码方法 Download PDF

Info

Publication number
CN101283407A
CN101283407A CNA2006800375449A CN200680037544A CN101283407A CN 101283407 A CN101283407 A CN 101283407A CN A2006800375449 A CNA2006800375449 A CN A2006800375449A CN 200680037544 A CN200680037544 A CN 200680037544A CN 101283407 A CN101283407 A CN 101283407A
Authority
CN
China
Prior art keywords
scaling factor
unit
distortion
weighted
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800375449A
Other languages
English (en)
Other versions
CN101283407B (zh
Inventor
押切正浩
山梨智史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
III Holdings 12 LLC
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101283407A publication Critical patent/CN101283407A/zh
Application granted granted Critical
Publication of CN101283407B publication Critical patent/CN101283407B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208Subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • G10L19/038Vector quantisation, e.g. TwinVQ audio

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

公开了变换编码装置,即使在不能被分配足够的比特数时,也能够减轻听觉上的语音质量的劣化。校正标度因子码本(123)中所存储的校正标度因子的候选被依次输出,通过与从标度因子计算单元(121和122)输出的标度因子进行规定的运算,从而求得误差信号。判定单元(126)基于误差信号的符号,决定提供给加权误差计算单元(127)的加权矢量。加权误差计算单元(127)首先计算误差信号的平方值,接着,将从判定单元(126)提供的加权矢量乘以误差信号的平方值,从而计算加权平方误差E。搜寻单元(128)通过闭环处理,求使加权平方误差E为最小的校正标度因子的候选。

Description

变换编码装置和变换编码方法
技术领域
本发明涉及在频域中对输入信号进行编码的变换编码装置和变换编码方法。
背景技术
为了有效地利用移动通信系统中的电波资源等,要求以低比特率对语音信号进行压缩。另一方面,用户期望提高通话语音的质量以及实现富有现场感的通话业务。为了实现上述要求,不仅期望语音信号质量的提高,而且期望对频带更宽的音频信号等语音之外的信号也能够进行高质量的编码。为此,分层地综合多个编码技术的研究备受关注。
例如,有分层地组合下述的第一层和第二层的技术,所述第一层,以适合于语音信号的模式,对输入信号以低比特率进行编码,所述第二层,以也适合于语音信号以外的信号的模式,对输入信号与第一层解码信号之间的差分信号进行编码(例如,参照非专利文献1)。其中,提出了使用在MPEG-4(Moving Picture Experts Group phase-4:动态图像专家组阶段4)标准化了的技术进行可扩展编码的例子。具体来说,将适合于语音信号的CELP(CodeExcited Linear Prediction:码激励线性预测)用于第一层,并对从原信号减去第一层解码信号后的残差信号,使用AAC(Advanced Audio Coder:高级音频编码)和TwinVQ(Transform Domain Weighted Interleave Vector Quantization:变换域加权交织矢量量化)那样的变换编码作为第二层。
另外,所谓TwinVQ的变换编码是,对输入信号进行MDCT(ModifiedDiscrete Cosine Transform:改进离散余弦变换),并对获得的MDCT系数用谱包络和每个Bark尺度的平均振幅进行归一化的技术(例如,参照非专利文献2)。其中,将表示谱包络的LPC(Linear Predictive Coding:线性预测编码)系数,以及每个Bark尺度(Bark scale)的平均振幅值分别单独编码,对归一化后的MDCT系数进行交织,将其分割为子矢量,并进行矢量量化。特别是,在将谱包络和每个Bark尺度的平均振幅称为标度因子(scale factor),并将归一化后的MDCT系数称为频谱的微细结构(以下称为“微细频谱”)时,TwinVQ可以理解为,将MDCT系数分离为标度因子和微细频谱而进行编码的技术。
在以TwinVQ为代表的变换编码中,标度因子用于控制微细频谱的功率。因此,标度因子对主观质量(人的听觉质量)造成的影响较大,在标度因子的编码失真较大时,使主观质量极大地劣化。所以,标度因子的高性能编码是很重要的。
(非专利文献1)三木弼一编著,“MPEG-4の全て(初版)”(株)工业调查会,1998年9月30日,p.126-127
(非专利文献2)岩上直樹、守谷健弘、三樹聡、池田和永、神明夫著、「周波数領域重み付けインタリ一ブベクトル量子化(TwinVQ)による楽音符号化」信学输(A),1997年5月,vol.J80-A,no.5,p.830-837
发明内容
本发明需要解决的问题
在TwinVQ中,用谱包络及每个Bark尺度的平均振幅来表示相当于标度因子的信息。例如,着眼于每个Bark尺度的平均振幅时,在非专利文献2所公开的技术中,决定了使由下述的算式所表示的加权平方误差d为最小的、每个Bark尺度的平均振幅矢量。
d = Σ i w i · ( E i - C i ( m ) ) 2
                    …式(1)
其中,i表示Bark尺度的序号,Ei表示第iBark的平均振幅,Ci(m)表示平均振幅码本中所记录的第m平均振幅矢量。
在上述式(1)中所示的加权函数wi是Bark尺度,即频率的函数,在Bark尺度i相同时,与输入标度因子和量化候补之间的差(Ei-Ci(m))相乘的加权(weight)wi总是相同。
另外,wi表示与Bark尺度对应的加权,基于谱包络的大小被计算。例如,使对谱包络较小的频带的平均振幅的加权成为较小的值,使对谱包络较大的频带的平均振幅的加权成为较大的值。所以,将对谱包络较大的频带的平均振幅的加权设定得较大,其结果,重视该频带而进行编码。相反地,将对谱包络较小的频带的平均振幅的加权设定得较小,因此该频带的重要度变低。
一般而言,谱包络较大的频带对语音质量造成的影响较大,所以为了改善语音质量,正确地表示属于该频带地频谱是很重要。然而,在非专利文献2所公开的技术中,在为了实现低比特率而减少对平均振幅的量化分配的比特数时,存在以下的问题:因为比特数不够,平均振幅矢量C(m)的候选数被限定,比如即使决定了可满足上述式(1)的平均振幅矢量,但其量化失真较大,导致语音质量的劣化。
本发明的目的是提供变换编码装置和变换编码方法,即使在不能被分配足够的比特数时,也能够减轻听觉上的语音质量的劣化。
解决问题的方案
本发明的变换编码装置所采用的结构包括:输入标度因子计算单元,计算与输入频谱对应的多个输入标度因子;码本,存储多个标度因子,并输出一个标度因子;失真计算单元,计算所述多个输入标度因子中的一个输入标度因子与从所述码本输出的标度因子之间的失真;加权失真计算单元,计算加权失真,该加权失真为,与在所述一个输入标度因子大于从所述码本输出的标度因子时的所述失真相比,对在所述一个输入标度因子小于从所述码本输出的标度因子时的所述失真附加了更重的加权的加权失真;以及搜寻单元,在所述码本中,搜寻使所述加权失真为最小的标度因子。
本发明的有益效果
根据本发明,在低比特率环境下,也能够减轻听觉上的语音质量的劣化。
附图说明
图1是表示实施方式1的可扩展编码装置的主要结构的方框图。
图2是表示实施方式1的第二层编码单元内部的主要结构的方框图。
图3是表示实施方式1的校正标度因子编码单元内部的主要结构的方框图。
图4是表示实施方式1的可扩展解码装置的主要结构的方框图。
图5是表示实施方式1的第二层解码单元内部的主要结构的方框图。
图6是表示实施方式2的第二层编码单元内部的主要结构的方框图。
图7是表示实施方式2的第二层解码单元内部的主要结构的方框图。
图8是表示实施方式3的第二层编码单元内部的主要结构的方框图。
图9是表示实施方式4的变换编码装置的主要结构的方框图。
图10是表示实施方式4的标度因子编码单元内部的主要结构的方框图。
图11是表示实施方式4的变换解码装置的主要结构的方框图。
图12是表示实施方式5的可扩展编码装置的主要结构的方框图。
图13是表示实施方式5的第二层编码单元内部的主要结构的方框图。
图14是表示实施方式5的校正标度因子编码单元内部的主要结构的方框图。
图15是表示实施方式5的第二层解码单元内部的主要结构的方框图。
图16是表示实施方式6的第二层编码单元内部的主要结构的方框图。
图17是表示实施方式6的校正标度因子编码单元内部的主要结构的方框图。
图18是表示实施方式7的可扩展解码装置的主要结构的方框图。
图19是表示实施方式7的修正LPC计算单元内部的主要结构的方框图。
图20是表示实施方式7的各个层的信号频带和语音质量的示意图。
图21是表示实施方式7的根据第一实现方法的功率谱的修正状态的频谱特性图。
图22是表示实施方式7的利用第二实现方法的功率谱的修正状态的频谱特性图。
图23是表示实施方式7的使用修正LPC系数而构成的后置滤波器的频谱特性图。
图24是表示实施方式8的可扩展解码装置的主要结构的方框图。
图25是表示实施方式8的抑制信息计算单元内部的主要结构的方框图。
具体实施方式
本发明可以大致分为适用于可扩展编码的情况和适用于由单一层构成的编码的情况。其中,可扩展编码是,具有由多个层构成的分层结构的编码方式,其特征为在各个层生成的编码参数具有可扩展性。也就是说,具有如下的特征:从多个层的编码参数中的一部分层(低层)的编码参数也能够获得某一程度的质量的解码信号,通过使用更多的层的编码参数来进行解码,能够获得更高质量的解码信号。
因此,在实施方式1~3和5~8中说明将本发明适用于可扩展编码的情况,而在实施方式4中说明将本发明适用于由单一层构成的编码的情况。另外,在实施方式1~3和5~8中,以下述情况为例进行说明。
(1)进行由第一层和高于该层的第二层构成的,即,由低层和高层构成的两层结构的可扩展编码。
(2)进行编码参数在频率轴方向上具有可扩展性的频带可扩展编码。
(3)在第二层进行在频域中的编码即变换编码,并使用MDCT(ModifiedDiscrete Cosine Transform:改进离散余弦变换)作为变换方式。
另外,在所有的实施方式中,以将本发明适用于语音信号的编码的情况为例进行说明。下面,参照附图详细地说明本发明的实施方式。
(实施方式1)
图1是表示本发明实施方式1的具备变换编码装置的可扩展编码装置的主要结构的方框图。
本实施方式的可扩展编码装置包括:下采样单元101、第一层编码单元102、复用单元103、第一层解码单元104、延迟单元105以及第二层编码单元106,各个单元进行以下的动作。
下采样单元101从采样率F2的输入信号生成采样率F1(F1≤F2)的信号,将其提供给第一层编码单元102。第一层编码单元102对从下采样单元101输出的采样率F1的信号进行编码。由第一层编码单元102获得的编码参数被提供给复用单元103,同时被提供给第一层解码单元104。第一层解码单元104根据第一层编码单元102输出的编码参数生成第一层的解码信号。
另一方面,延迟单元105使输入信号延迟规定的长度。该延迟为用于校正在下采样单元101、第一层编码单元102以及第一层解码单元104产生的时间延迟。第二层编码单元106使用由第一层解码单元104生成的第一层解码信号,对从延迟单元105输出的延迟了规定时间的输入信号进行变换编码,将生成的编码参数输出到复用单元103。
复用单元103将由第一层编码单元102求得的编码参数与由第二层编码单元106求得的编码参数进行复用,并将其作为最终的编码参数输出。
图2是表示第二层编码单元106内部的主要结构的方框图。
第二层编码单元106包括MDCT分析单元111和112、高频频谱估计单元113以及校正标度因子编码单元114,各个单元进行以下的动作。
MDCT分析单元111对第一层解码信号进行MDCT分析,计算信号频带(频带)0~FL的低频频谱(窄带频谱),并输出到高频频谱估计单元113。
MDCT分析单元112对原信号即语音信号进行MDCT分析,计算信号频带0~FH的宽带频谱,其中,将与窄带频谱相同的带宽且信号频带为高频段FL~FH的高频频谱,输出到高频频谱估计单元113和校正标度因子编码单元114。这里,窄带频谱的信号频带与宽带频谱的信号频带之间有FL<FH的关系。
高频频谱估计单元113利用信号频带0~FL的低频频谱来估计信号频带FL~FH的高频频谱,从而获得估计频谱。估计频谱的导出方法为,基于低频频谱,通过使该低频频谱变形,求与高频频谱之间的相似性为最大的估计频谱。高频频谱估计单元113对与该估计频谱有关的信息(估计信息)进行编码,输出获得的编码参数,同时将估计频谱本身提供给校正标度因子编码单元114。
在以下的说明中,将从高频频谱估计单元113输出的估计频谱称为第一频谱,将从MDCT分析单元112输出的高频频谱称为第二频谱。
这里,将在上述说明中出现的各种频谱汇总起来,与信号频带一起如下表示。
窄带频谱(低频频谱)            …0~FL
宽带频谱                      …0~FH
第一频谱(估计频谱)            …FL~FH
第二频谱(高频频谱)            …FL~FH
校正标度因子编码单元114对第一频谱的标度因子进行校正,以使第一频谱的标度因子接近于第二频谱的标度因子,并对与该校正标度因子有关的信息进行编码而输出。
图3是表示校正标度因子编码单元114内部的主要结构的方框图。
校正标度因子编码单元114包括:标度因子计算单元121和122、校正标度因子码本123、乘法器124、减法器125、判定单元126、加权误差计算单元127以及搜寻单元128,各个单元进行以下的动作。
标度因子计算单元121将输入的第二频谱的信号频带FL~FH分割为多个子带,并求各个子带所包含的频谱的大小,将其输出到减法器125。具体而言,分割为子带时,与临界频带相对应地进行分割,并以Bark尺度被分割为等间隔。另外,标度因子计算单元121求各个子带所包含的频谱的平均振幅,并将其作为第二标度因子SF2(k){0≤k<NB}。其中,NB表示子带数。另外,也可以使用最大振幅值等代替平均振幅。
标度因子计算单元122将输入的第一频谱的信号频带FL~FH分割为多个子带,并计算各个子带的第一标度因子SF1(k){0≤k<NB},将其输出到乘法器124。另外,在标度因子计算单元122中,与标度因子计算单元121相同地,也可以使用最大振幅值等代替平均振幅。
在以后的处理中,将多个子带中的各个参数汇总成一个矢量值。例如,将NB个标度因子作为一个矢量来表示。并且,以对各个矢量进行各种处理的情况,也就是进行矢量量化的情况为例进行说明。
校正标度因子码本123中存储多个校正标度因子的候选,根据来自搜寻单元128的指示,将所存储的校正标度因子的候选中的一个候选依次输出到乘法器124。在校正标度因子码本123中所存储的校正标度因子的多个候选被表示为矢量。
乘法器124将从标度因子计算单元122输出的第一标度因子与从校正标度因子码本123输出的校正标度因子的候选相乘,将乘法结果提供给减法器125。
减法器125从标度因子计算单元121所输出的第二标度因子中,减去乘法器124的输出、即第一标度因子与校正标度因子候选的乘积,并将由此获得的误差信号提供给加权误差计算单元127和判定单元126。
判定单元126基于从减法器125提供的误差信号的符号,决定对加权误差计算单元127提供的加权矢量。具体而言,由下述式(2),表示从减法器125提供的误差信号d(k)。
d(k)=SF2(k)-vi(k)·SF1(k)(0≤k<NB)
                                    …式(2)
其中,vi(k)表示校正标度因子的第i个候选。判定单元126判定d(k)的符号,在判定为正时选择wpos,而在判定为负时选择wneg作为加权(weight),将由它们构成的加权矢量w(k)输出到加权误差计算单元127。这些加权中有下述式(3)的大小关系。
0<wpos<wneg
            …式(3)
例如,在子带数NB=4且d(k)的符号为{+,-,-,+}时,输出到加权误差计算单元127的加权矢量w(k)可以表示为w(k)={wpos,wneg,wneg,wpos}。
加权误差计算单元127首先计算从减法器125提供的误差信号的平方值,接着,将从判定单元126提供的加权矢量w(k)乘以误差信号的平方值,从而计算加权平方误差E,将计算结果提供给搜寻单元128。其中,加权平方误差E如下述的式(4)所示。
E = Σ k = 0 NB - 1 w ( k ) · d ( k ) 2
                    …式(4)
搜寻单元128对校正标度因子码本123进行控制,使其依次输出所存储的校正标度因子的候选,并通过闭环处理,求从加权误差计算单元127输出的加权平方误差E为最小的校正标度因子的候选。搜寻单元128将求得的校正标度因子的候选的索引(index)iopt作为编码参数输出。
如上所述,在基于误差信号的符号来设定用于计算加权平方误差时的加权,且该加权具有式(2)所示的关系时,可获得如下的作用。也就是说,在误差信号d(k)为正的情况是,在解码端生成的解码值(就编码端而言,为第一标度因子与校正标度因子候选相乘所得的值)小于目标值即第二标度因子的情况。另外,在误差信号d(k)为负的情况是,在解码端生成的解码值大于目标值即第二标度因子的情况。因此,,通过将误差信号d(k)为正时的加权设定得小于误差信号d(k)为负时的加权,在平方误差的值为大致相同时,使校正标度因子候选容易被选择,该校正标度因子候选生成小于第二标度因子的解码值。
由此可获得以下的改善效果。例如,如本实施方式,在利用低频频谱来估计高频频谱时,一般能够实现低比特率。然而,虽然实现低比特率,但另一方面,如上所述,并不能说估计频谱的精确度即估计频谱与高频频谱的相似性足够高。在这种情况下,标度因子的解码值大于目标值且量化后的标度因子作用于增强估计频谱的方向时,较低的估计频谱的精确度容易被人的耳朵感觉成质量劣化。相反,标度因子的解码值小于目标值且量化后的标度因子作用于衰减该估计频谱的方向时,较低的估计频谱的精确度变得不明显,能够获得可改善解码信号的音质的效果。另外,上述倾向在计算机的仿真中得到了确认。
接着,说明与上述可扩展编码装置对应的本实施方式的可扩展解码装置。图4是表示该可扩展解码装置的主要结构的方框图。
分离单元151对表示编码参数的输入比特流进行分离处理,生成用于第一层解码单元152的编码参数以及用于第二层解码单元153的编码参数。
第一层解码单元152使用由分离单元151获得的编码参数,将信号频带0~FL的解码信号解码,并输出该解码信号。另外,第一层解码单元152还将获得的解码信号提供给第二层解码单元153。
由分离单元151分离出的编码参数以及从第一层解码单元152输出的第一层解码信号被提供给第二层解码单元153。第二层解码单元153进行频谱解码,变换为时域的信号,从而生成信号频带0~FH的宽带的解码信号并将其输出。
图5是表示第二层解码单元153内部的主要结构的方框图。另外,第二层解码单元153是,与本实施方式的变换编码装置中的第二层编码单元106对应的结构要素。
MDCT分析单元161对第一层解码信号进行MDCT分析,计算信号频带0~FL的第一频谱,并输出到高频频谱解码单元162。
高频频谱解码单元162使用从本实施方式的变换编码装置传送来的编码参数(估计信息)和第一频谱,将信号频带FL~FH的估计频谱(微细频谱)解码。获得的估计频谱被提供给乘法单元164。
校正标度因子解码单元163使用从本实施方式的变换编码装置传送来的编码参数(校正标度因子),将校正标度因子解码。具体而言,参照内置的校正标度因子码本(未图示),将对应的校正标度因子输出到乘法器164。
乘法器164将从高频频谱解码单元162输出的估计频谱与从校正标度因子解码单元163输出的校正标度因子相乘,将乘法结果输出到连接单元165。
连接单元165在频率轴上连接第一频谱和从乘法器164输出的估计频谱,生成信号频带0~FH的宽带的解码谱,并输出到时域变换单元166。
时域变换单元166对从连接单元165输出的解码谱进行MDCT逆变换处理,并乘以适当的窗函数后,与对应于上一帧的窗口乘法后的信号的领域相加,生成第二层解码信号并输出。
如上述说明,根据本实施方式,在高层的频域的编码中,将输入信号变换为频域的系数而对标度因子进行量化时,使用加权失真尺度进行标度因子的量化,该加权失真尺度用于容易地选择使标度因子变小的量化候选。也就是说,可容易地选择使量化后的标度因子小于量化前的标度因子的量化候选。因此,即使在对标度因子的量化所分配的比特数不足时,也能够抑制听觉上的主观质量的劣化。
另外,根据非专利文献2所公开的技术,在Bark尺度i相同时,上述式(1)所示的加权函数wi总是相同。然而,根据本实施方式,即使Bark尺度i相同,也根据输入信号与量化候选之间的差(Ei-Ci(m)),改变与该差相乘的加权。也就是说,设定加权,以与Ei-Ci(m)成为负的量化候选Ci(m)相比,使Ei-Ci(m)成为正的量化候选Ci(m)更容易被选择,换言之,设定加权以使量化后的标度因子小于原标度因子。
另外,在本实施方式中,以使用矢量量化的情况为例进行了说明,但也可以对每个子带独立地进行处理,代替进行矢量量化即对每个矢量进行处理。此时,例如,用标量(scalar)来表示校正标度因子码本中所包含的校正标度因子候选。
(实施方式2)
本发明实施方式2的具备变换编码装置的可扩展编码装置的基本结构与实施方式1相同。因此省略其说明,下面说明与实施方式1不同的结构、即第二层编码单元206。
图6是表示第二层编码单元206内部的主要结构的方框图。第二层编码单元206具有与在实施方式1所示的第二层编码单元106相同的基本结构,对相同的结构要素附加相同的标号,并省略其说明。另外,对于基本动作相同但细部有所不同的结构要素,在相同的标号上附加小写字母并适当地加以说明。另外,在对其它结构的说明中,也采用相同的记载方法。
第二层编码单元206还包括听觉掩蔽(masking)计算单元211和比特分配决定单元212,校正标度因子编码单元114a进行基于由比特分配决定单元212决定的比特分配的校正标度因子的编码。
具体而言,听觉掩蔽计算单元211分析输入信号而计算表示量化失真的容许值的听觉掩蔽值,将其输出到比特分配决定单元212。
比特分配决定单元212基于由听觉掩蔽计算单元211计算出的听觉掩蔽值,决定将多少比特分配给哪个子带,将该比特分配信息输出到外部,同时输出到校正标度因子编码单元114a。
校正标度因子编码单元114a使用基于从比特分配决定单元212输出的比特分配信息而决定的比特数,对校正标度因子候选进行量化,将它的索引作为编码参数输出。此时,基于校正标度因子的量化比特数,设定与子带对应的加权的大小。具体而言,校正标度因子编码单元114a进行如下的设定:扩大对量化比特数较少的子带的校正标度因子的两个加权之差,具体地说,是误差信号d(k)为正时的加权wpos与误差信号d(k)为负时的加权wneg之差,另一方面,对量化比特数较多的子带的校正标度因子的上述两个加权,缩小这两个加权之差。
通过采用上述结构,可提高对量化比特数较少的子带的校正标度因子选择使量化后的标度因子小于量化前的标度因子的量化候选的概率,其结果,能够减轻听觉上的质量劣化。
下面,说明本实施方式的可扩展解码装置。但是,由于本实施方式的可扩展解码装置具有与在实施方式1所示的可扩展解码装置相同的基本结构,因此下面说明与实施方式1不同的结构、即第二层解码单元253。
图7是表示第二层解码单元253内部的主要结构的方框图。
比特分配解码单元261使用从本实施方式的可扩展编码装置传送的编码参数(比特分配信息),对各个子带的比特数进行解码,将获得的比特数输出到校正标度因子解码单元163a。
校正标度因子解码单元163a使用各个子带的比特数和编码参数(校正标度因子),解码出校正标度因子,将获得的校正标度因子输出到乘法其164。以后的处理与实施方式1相同。
这样,根据本实施方式,基于分配给各个频带的标度因子的量化比特数而改变加权。该加权的改变是,进行如下的设定:对量化比特数较少的标度因子,扩大误差信号d(k)为正值时的加权wpos与误差信号d(k)为负值时的加权wneg之差。
通过采用上述结构,对量化比特数较少的子带的校正标度因子,可容易地选择使量化后的标度因子小于量化前的标度因子的量化候选,能够减轻在相关频带产生的听觉上的质量劣化。
(实施方式3)
本发明实施方式3的具备变换编码装置的可扩展编码装置的基本结构也与实施方式1相同。因此省略其说明,下面说明与实施方式1不同的结构即第二层编码单元306。
第二层编码单元306的基本动作类似于实施方式2所示的第二层编码单元206,不同的方面在于,使用后述的相似性代替在实施方式2中所使用的比特分配信息。图8是表示第二层编码单元306内部的主要结构的方框图。
相似性计算单元311计算信号频带FL~FH的第二频谱即原信号的频谱与信号频带FL~FH的估计频谱之间的相似性,并将获得的相似性输出到校正标度因子编码单元114b。这里,相似性例如以估计频谱对第二频谱的SNR(Signal-to-Noise Ratio:信噪比)来定义。
校正标度因子编码单元114b基于从相似性计算单元311输出的相似性,对校正标度因子候选进行量化,将它的索引作为编码参数输出。此时,基于子带的相似性,设定与该子带对应的加权的大小。具体而言,校正标度因子编码单元114b进行如下的设定:扩大对相似性较低的子带的校正标度因子的两个加权之差,具体地说,是扩大误差信号d(k)为正值时的加权wpos与误差信号d(k)为负值时的加权wneg之差,另一方面,对相似性较高的子带的校正标度因子的上述两个加权,缩小这两个加权之差。
本实施方式的可扩展解码装置和变换解码装置的基本结构与在实施方式1所示的装置相同,因此省略其说明。
这样,根据本实施方式,基于各个频带的估计频谱对原信号的频谱的形状的精确度(例如,相似性或SNR等)而改变加权。该加权的改变是,进行如下的设定:对相似性较低的子带的标度因子,扩大误差信号d(k)为正值时的加权wpos与误差信号d(k)为负值时的加权wneg之差。
通过采用上述结构,对估计频谱的SNR较低的子带对应的校正标度因子,可容易地选择使量化后的标度因子小于量化前的标度因子的量化候选,能够更减轻在相关频带产生的听觉上的质量劣化。
(实施方式4)
在实施方式1~3,示出了校正标度因子编码单元114、114a和114b的输入为第一频谱和第二频谱的特征不同的两个频谱的情况作为例子。但是,在本发明中,校正标度因子编码单元114、114a和114b的输入也可以是一个频谱。下面示出在此情况下的实施方式。
本发明的实施方式4是,将本发明适用于层数为1,即,不采用可扩展编码的情况的实施方式。
图9是表示本实施方式的变换编码装置的主要结构的方框图。另外,这里,以使用MDCT作为变换方式的情况为例进行说明。
本实施方式的变换编码装置包括MDCT分析单元401、标度因子编码单元402、微细频谱编码单元403和复用单元404,各个单元进行以下的动作。
MDCT分析单元401对原信号即语音信号进行MDCT分析,将获得的频谱输出到标度因子编码单元402和微细频谱编码单元403。
标度因子编码单元402将由MDCT分析单元401求得的频谱的信号频带分割为多个子带,计算各个子带的标度因子,并对它们进行量化。该量化的细节将在后面描述。标度因子编码单元402将通过量化所得的编码参数(标度因子)输出到复用单元404,同时将解码标度因子本身输出到微细频谱编码单元403。
微细频谱编码单元403使用从标度因子编码单元402输出的解码标度因子,对从MDCT分析单元401提供的频谱进行归一化,并对归一化后的频谱进行编码。微细频谱编码单元403将获得的编码参数(微细频谱)输出到复用单元404。
图10是表示标度因子编码单元402内部的主要结构的方框图。另外,该标度因子编码单元402具有与在实施方式1所示的标度因子编码单元114相同的基本结构,对相同的结构要素附加相同的标号,并省略其说明。
不同之处在于,在实施方式1中,在乘法器124中将第一频谱的标度因子SF1(k)与校正标度因子候选vi(k)相乘,并在减法器125中求误差信号d(k),但在本实施方式中,在将标度因子候选xi(k)直接提供给减法器125并求误差信号d(k)。也就是说,在本实施方式中,在实施方式1中所示的式(2)可表示如下。
d(k)=SF2(k)-xi(k)(0≤k<NB)
                            …式(5)
图11是表示本实施方式的变换解码装置的主要结构的方框图。
分离单元451对表示编码参数的输入比特流进行分离处理,生成用于标度因子解码单元452的编码参数(标度因子)以及用于微细频谱解码单元453的编码参数(微细频谱)。
标度因子解码单元452使用由分离单元451获得的编码参数(标度因子)解码出标度因子,将其提供给乘法器454。
微细频谱解码单元453使用由分离单元451获得的编码参数(微细频谱)来解码微细频谱,并将其提供给乘法器454。
乘法器454将从微细频谱解码单元453输出的微细频谱与从标度因子解码单元452输出的标度因子相乘,生成解码谱。该解码谱被输出到时域变换单元455。
时域变换单元455对从乘法器454输出的解码谱进行时域变换,将获得的时域信号作为最终的解码信号输出。
这样,根据本实施方式,在由单一层构成的编码中,也能够适用本发明。
另外,标度因子编码单元402也可以是下述结构:根据在实施方式2所示的比特分配信息和在实施方式3所示的相似性等指标,预先使从MDCT分析单元401提供的频谱的标度因子衰减,然后使用无加权的通常的失真尺度(distortion scale)进行量化。由此,在低比特率环境下,也能够减轻语音质量的劣化。
(实施方式5)
图12是表示本发明实施方式5的具备变换编码装置的可扩展编码装置的主要结构的方框图。
本实施方式的可扩展编码装置主要由下述单元构成:下采样单元501、第一层编码单元502、复用单元503、第一层解码单元504、上采样单元505、延迟单元507、第二层编码单元508以及背景噪声分析单元506。
下采样单元501从采样率F2的输入信号生成采样率F1(F1≤F2)的信号,并将其提供给第一层编码单元502。第一层编码单元502对从下采样单元501输出的采样率F1的信号进行编码。由第一层编码单元502获得的编码参数被提供给复用单元503,同时被提供给第一层解码单元504。第一层解码单元504根据第一层编码单元502输出的编码参数生成第一层的解码信号,将其输出到背景噪声分析单元506和上采样单元505。上采样单元505将第一层解码信号的采样率从F1上采样到F2,并将其输出到第二层编码单元508。
背景噪声分析单元506输入第一层解码信号,并判定该信号中是否包含背景噪声。背景噪声分析单元506在判定为第一层解码信号中包含背景噪声时,对该背景噪声进行MDCT等处理而分析其频率特性,并将分析出的频率特性作为背景噪声信息输出到第二层编码单元508。另一方面,背景噪声分析单元506在判定为第一层解码信号中不包含背景噪声时,将背景噪声信息输出到第二层编码单元508,该背景噪声信息表示第一层解码信号中不包含背景噪声的事实。另外,在本实施方式中,作为背景噪声的检测方法,可以采用下述方法以及其它的一般的背景噪声检测方法,该方法是,分析某个区间的输入信号而计算该输入信号的最大功率值和最小功率值,在它们之间的比或者差在阈值以上时,将最小功率值判定为噪声的方法。
延迟单元507使输入信号延迟规定的长度。该延迟用于校正在下采样单元501、第一层编码单元502以及第一层解码单元504产生的时间延迟。
第二层编码单元508使用从上采样单元505获得的上采样后的第一层解码信号以及从背景噪声分析单元506获得的背景噪声信息,对从延迟单元507输出的延迟了规定时间的输入信号进行变换编码,将生成的编码参数输出到复用单元503。
复用单元503将在第一层编码单元502中求得的编码参数与在第二层编码单元508中求得的编码参数进行复用,并将其作为最终的编码参数输出。
图13是表示第二层编码单元508内部的主要结构的方框图。第二层编码单元508包括MDCT分析单元511和512、高频频谱估计单元513以及校正标定因子编码单元514,各个单元进行以下动作。
MDCT分析单元511对第一层解码信号进行MDCT分析,计算信号频带0~FL的低频频谱(窄带频谱),并输出到高频频谱估计单元513。
MDCT分析单元512对原信号即语音信号进行MDCT分析,计算信号频带0~FH的宽带频谱,其中,将与窄带频谱相同的带宽且信号频带为高频段FL~FH的高频频谱,输出到高频频谱估计单元513和校正标度因子编码单元514。这里,窄带频谱的信号频带与宽带频谱的信号频带之间有FL<FH的关系。
高频频谱估计单元513利用信号频带0~FL的低频频谱来估计信号频带FL~FH的高频频谱,从而获得估计频谱。估计频谱的导出方法为,基于低频频谱,通过使该低频频谱变形,求与高频频谱之间的相似性为最大的估计频谱。高频频谱估计单元513对与该估计频谱有关的信息(估计信息)进行编码,并输出获得的编码参数。
在以下的说明中,将从高频频谱估计单元513输出的估计频谱称为第一频谱,将从MDCT分析单元512输出的高频频谱称为第二频谱。
这里,将在上述说明中出现的各种频谱汇总起来,与信号频带一起如下表示。
窄带频谱(低频频谱)        …0~FL
宽带频谱                  …0~FH
第一频谱(估计频谱)        …FL~FH
第二频谱(高频频谱)        …FL~FH
校正标度因子编码单元514使用背景噪声信息对与第二频谱的标度因子有关的信息进行编码并输出。
图14是表示校正标度因子编码单元514内部的主要结构的方框图。校正标度因子编码单元514包括:标度因子计算单元521、校正标度因子码本522、减法器523、判定单元524、加权误差计算单元525以及搜寻单元526,各个单元进行以下的动作。
标度因子计算单元521将输入的第二频谱的信号频带FL~FH分割为多个子带,并求各个子带所包含的频谱的大小,将其输出到减法器523。具体而言,分割为子带时,与临界频带相对应地进行分割,并基于Bark尺度分割为等间隔。另外,标度因子计算单元521求各个子带所包含的频谱的平均振幅,并将其作为第二标度因子SF2(k){0≤k<NB}。其中,NB表示子带数。另外,也可以使用最大振幅值等代替平均振幅。
在以后的处理中,将多个子带中的各个参数汇总成一个矢量值。例如,将NB个标度因子作为一个矢量来表示。并且,以对各个矢量进行各种处理的情况,也就是进行矢量量化的情况为例进行说明。
校正标度因子码本522中存储多个校正标度因子的候选,根据来自搜寻单元526的指示,将所存储的校正标度因子的候选中的一个候选,依次输出到减法器523。在校正标度因子码本522中所存储的校正标度因子的多个候选被表示为矢量。
减法器523从标度因子计算单元521所输出的第二标度因子,减去校正标度因子码本522的输出即校正标度因子候选,并将由此获得的误差信号提供给加权误差计算单元525和判定单元524。
判定单元524基于从减法器提供的误差信号的符号以及背景噪声信息,决定对加权误差计算单元525提供的加权矢量。下面说明判定单元524中的具体处理流程。
判定单元524分析所输入的背景噪声信息。并且,判定单元524在其内部具有元素数为子带数NB的背景噪声标记BNF(k){0≤k<NB}。在背景噪声信息表示,输入信号(第一解码信号)中不包含背景噪声时,判定单元524将背景噪声标记BNF(k)的值都设定为0。另外,在背景噪声信息表示,输入信号(第一解码信号)中包含背景噪声时,判定单元524分析背景噪声信息所示的背景噪声的频率特性,将其变换为每个子带的频率特性。这里,为了简化说明,视为背景噪声信息表示每个子带的频谱的平均功率值来处理。判定单元524比较每个子带的频谱的平均功率值SP(k)与预先设定在内部的每个子带的阈值ST(k),并在SP(k)为ST(k)以上时对应的子带的背景噪声标记BNF(k)的值设定为1。
这里,可由下述式(6)来表示从减法器提供的误差信号d(k)。
d(k)=SF2(k)-vi(k)   (0≤k<NB)    …式(6)
其中,vi(k)表示校正标度因子的第i个候选。在d(k)的符号为正时,判定单元524选择wpos作为加权。另外,在d(k)的符号为负且背景噪声标记BNF(k)的值为1时,判定单元524选择wpos作为加权。还有,在d(k)的符号为负且背景噪声标记BNF(k)的值为0时,判定单元524选择wneg作为加权。接着,判定单元524将由它们构成的加权矢量w(k)输出到加权误差计算单元525。这些加权有下式(7)的大小关系。
0<wpos<wneg    …式(7)
例如,在子带数NB=4且d(k)的符号为{+,-,-,+},以及背景噪声标记BNF(k)为{0,0,1,1}时,输出到加权误差计算单元525的加权矢量w(k)可以表示为w(k)={wpos,wneg,wpos,wpos}。
加权误差计算单元525首先计算从减法器523提供的误差信号的平方值,接着,将从判定单元524提供的加权矢量w(k)乘以误差信号的平方值,从而计算加权平方误差E,将计算结果提供给搜寻单元526。这里,加权平方误差E如下述的式(8)所示。
E = Σ k = 0 NB - 1 w ( k ) · d ( k ) 2 …式(8)
搜寻单元526对校正标度因子码本522进行控制,使其依次输出所存储的校正标度因子的候选,并通过闭环处理,求使从加权误差计算单元525输出的加权平方误差E为最小的校正标度因子的候选。搜寻单元526将求得的校正标度因子的候选的索引iopt作为编码参数输出。
如上所述,在基于误差信号的符号来设定用于计算加权平方误差时的加权,且该加权具有式(7)所示的关系时,能够获得如下的作用。也就是说,在误差信号d(k)为正的情况是,在解码端生成的解码值(就编码端而言,为将第一标度因子进行归一化,并将归一化后的值与校正标度因子候选相乘所得的值)小于目标值即第二标度因子的情况。另外,在误差信号d(k)为负的情况是,在解码端生成的解码值大于目标值即第二标度因子的情况。因此,通过将误差信号d(k)为正时的加权设定得小于误差信号d(k)为负时的加权,在平方误差的值为大致相同时,使校正标度因子候选容易被选择,该校正标度因子候选生成小于第二标度因子的解码值。
由此能够获得以下的改善效果。例如,如本实施方式,在利用低频频谱来估计高频频谱时,一般能够实现低比特率。然而,虽然实现低比特率,但另一方面,如上所述,并不能说估计频谱的精确度即估计频谱与高频频谱的相似性足够高。在这种情况下,标度因子的解码值大于目标值且量化后的标度因子作用于将估计频谱增强的方向时,较低的估计频谱的精确度容易被人的耳朵感觉成质量劣化。相反,标度因子的解码值小于目标值且量化后的标度因子作用于将该估计频谱衰减的方向时,较低的估计频谱的精确度变得不明显,能够获得可改善解码信号的音质的效果。进而,基于输入信号(第一层解码信号)中是否包含背景噪声来调整上述的作用的程度,从而能够获得听觉上更为良好的解码信号。另外,上述倾向在计算机的仿真中也得到了确认。
接着,说明与上述可扩展编码装置对应的本实施方式的可扩展解码装置。另外,可扩展解码装置的结构与在实施方式1说明过的图4相同,因此省略说明。
本实施方式的解码装置只有第二层解码单元153的内部结构与实施方式1不同。下面,使用图15说明本实施方式的第二层解码单元153的主要结构。另外,第二层解码单元153是,与本实施方式的变换编码装置中的第二层编码单元508对应的结构要素。
MDCT分析单元561对第一层解码信号进行MDCT分析,计算信号频带0~FL的第一频谱,并输出到高频频谱解码单元562。
高频频谱解码单元562使用从本实施方式的变换编码装置传送来的编码参数(估计信息)和第一频谱,将信号频带FL~FH的估计频谱(微细频谱)解码。所获得的估计频谱被提供给高频频谱归一化单元563。
校正标度因子解码单元564使用从本实施方式的变换编码装置传送来的编码参数(校正标度因子),对校正标度因子解码。具体而言,参照内置的校正标度因子码本522(未图示),将对应的校正标度因子输出到乘法器565。
高频频谱归一化单元563将从高频频谱解码单元562输出的估计频谱的信号频带FL~FH分割为多个子带,并求各个子带所包含的频谱的大小。具体而言,分割为子带时,与临界频带相对应地进行分割,并基于Bark尺度分割为等间隔。另外,标度因子计算单元521求各个子带所包含的频谱的平均振幅,并将其作为第一标度因子SF1(k){0≤k<NB}。其中,NB表示子带数。另外,也可以使用最大振幅值等代替平均振幅。接着,高频频谱归一化单元563对每个子带用第一标度因子SF1(k)除以估计频谱的值(MDCT值),将除法运算所得的估计频谱值作为归一化估计频谱输出到乘法器565。
乘法器565将从高频频谱归一化单元563输出的归一化估计频谱与从校正标度因子解码单元564输出的校正标度因子相乘,将乘法结果输出到连接单元566。
连接单元566在频率轴上连接第一频谱和从乘法器164输出的归一化估计频谱,生成信号频带0~FH的宽带的解码谱,并输出到时域变换单元567。
时域变换单元567对从连接单元566输出的解码谱进行MDCT逆变换处理,并乘以适当的窗函数后,与对应于上一帧的窗口乘法后的信号的领域相加,生成第二层解码信号并输出。
根据本实施方式,如上述说明,在高层的频域的编码中,将输入信号变换为频域的系数从而对标度因子进行量化时,使用加权失真标度对标度因子进行量化,该加权失真标度用于容易地选择使标度因子变小的量化候选。也就是说,可容易地选择使量化后的标度因子小于量化前的标度因子的量化候选。因此,即使在对标度因子的量化所分配的比特数不足时,也能够抑制听觉上的主观质量的劣化。
另外,在本实施方式中,以使用矢量量化的情况为例进行了说明,但也可以对每个子带独立地进行处理,代替进行矢量量化即对每个矢量进行处理。此时,例如,用标量表示校正标度因子码本522中所包含的校正标度因子候选。
另外,在本实施方式中,通过对每个子带的平均功率值与阈值进行比较来决定背景噪声标记BNF(k)的值,但本发明不限于此,还可以同样地适用于:利用背景噪声的每个子带的平均功率值与第一解码信号(语音部分)的每个子带的平均功率值之比的方法等。
另外,在本实施方式中,说明了在编码装置内具备上采样单元505的结构,但本发明不限于此,还可以同样地适用于:不具备第一上采样单元,而将窄带的第一层解码信号输入到第二层编码单元的情况。
另外,在本实施方式中,说明了不考虑输入信号的特性(例如,包含语音的部分,或不包含语音的部分等),总是通过上述的方法进行量化的情况,但本发明不限于此,还可以同样地适用于:基于输入信号的特性(有声部分或无声部分等),切换是否利用上述的方法的情况。例如,可以举出下述方法:对输入信号中的包含语音的部分,进行基于上述的适用了加权的距离计算的矢量量化,对输入信号中的不包含语音的部分,进行基于在实施方式1~4所示的方法的矢量量化,而不进行基于上述的适用了加权的距离计算的矢量量化。这样,基于输入信号的特性,在时间轴上也切换矢量量化的距离计算方法,从而能够获得质量更良好的解码信号。
(实施方式6)
相对于实施方式5,本发明实施方式6只有编码装置的第二层编码单元的内部结构不同。图16是表示本实施方式的第二层编码单元508内部的主要结构的方框图。图16所示的第二层编码单元508与图13相比,校正标度因子编码单元614的作用与校正标度因子编码单元514不同。
高频频谱估计单元513将估计频谱本身提供给校正标度因子编码单元614。
校正标度因子编码单元614使用背景噪声信息,对第一频谱的标度因子进行校正以使第一频谱的标度因子接近于第二频谱的标度因子,并对与该校正标度因子有关的信息进行编码并输出。
图17是表示图16中的校正标度因子编码单元614的内部的主要结构的方框图。校正标度因子编码单元614包括:标度因子计算单元621和622、校正标度因子码本623、乘法器624、减法器625、判定单元626、加权误差计算单元627以及搜寻单元628,各个单元进行以下的动作。
标度因子计算单元621将输入的第二频谱的信号频带FL~FH分割为多个子带,并求各个子带所包含的频谱的大小,将其输出到减法器625。具体而言,分割为子带时,与临界频带相对应地进行分割,并基于Bark尺度分割为等间隔。另外,标度因子计算单元621求各个子带所包含的频谱的平均振幅,并将其作为第二标度因子SF2(k){0≤k<NB}。其中,NB表示子带数。另外,也可以使用最大振幅值等代替平均振幅。
在以后的处理中,将多个子带中的各个参数汇集成一个矢量值。例如,将NB个标度因子作为一个矢量来表示。并且,以对各个矢量进行各种处理的情况,也就是进行矢量量化的情况为例进行说明。
标度因子计算单元622将输入的第一频谱的信号频带FL~FH分割为多个子带,并计算各个子带的第一标度因子SF1(k){0≤k<NB},将其输出到乘法器624。与标度因子计算单元621相同地,也可以使用最大振幅值等代替平均振幅。
校正标度因子码本623中存储校正标度因子的多个候选,根据来自搜寻单元628的指示,将所存储的校正标度因子的候选中的一个候选,依次输出到乘法器624。在校正标度因子码本623中所存储的校正标度因子的多个候选被表示为矢量。
乘法器624将从标度因子计算单元622输出的第一标度因子与从校正标度因子码本623输出的校正标度因子的候选相乘,将乘法结果提供给减法器625。
减法器625从标度因子计算单元621所输出的第二标度因子中,减去乘法器624的输出即第一标度因子与校正标度因子候选的乘积,并将由此获得的误差信号提供给判定单元626和加权误差计算单元627。
判定单元626基于从减法器625提供的误差信号的符号以及背景噪声信息,决定对加权误差计算单元提供的加权矢量。下面说明判定单元中的具体处理流程。
判定单元626分析所输入的背景噪声信息。并且,判定单元626在其内部具有元素数为子带数NB的背景噪声标记BNF(k){0≤k<NB}。在背景噪声信息表示输入信号(第一解码信号)中不包含背景噪声时,判定单元626将背景噪声标记BNF(k)的值都设定为0。另外,在背景噪声信息表示输入信号(第一解码信号)中包含背景噪声时,判定单元626分析背景噪声信息所示的背景噪声的频率特性,将其变换为每个子带的频率特性。这里,为了简化说明,视为背景噪声信息表示每个子带的频谱的平均功率值来处理。判定单元626比较每个子带的频谱的平均功率值SP(k)与预先设定在内部的每个子带的阈值ST(k),在SP(k)为ST(k)以上时,将对应的子带的背景噪声标记BNF(k)的值设定为1。
这里,可由下式(9)表示从减法器625提供的误差信号d(k)。
d(k)=SF2(k)-vi(k)·SF1(k)(0≤k<NB)
                                    …式(9)
其中,vi(k)表示校正标度因子的第i个候选。在d(k)的符号为正时,判定单元626选择wpos作为加权。另外,在d(k)的符号为负且背景噪声标记BNF(k)的值为1时,判定单元626选择wpos作为加权。还有,在d(k)的符号为负且背景噪声标记BNF(k)的值为0时,判定单元626选择wneg作为加权。接着,判定单元626将由它们构成的加权矢量w(k)输出到加权误差计算单元627。这些加权有下述式(10)的大小关系。
0<wpos<wneg
                …式(10)
例如,在子带数NB=4且d(k)的符号为{+,-,-,+},且背景噪声标记BNF(k)为{0,0,1,1}时,被输出到加权误差计算单元627的加权矢量w(k)可以表示为w(k)={wpos,wneg,wpos,wpos}。
加权误差计算单元627首先计算从减法单元625提供的误差信号的平方值,接着,将从判定单元626提供的加权矢量w(k)乘以误差信号的平方值,从而计算加权平方误差E,将计算结果提供给搜寻单元628。这里,加权平方误差E如下述的式(11)所示。
E = Σ k = 0 NB - 1 w ( k ) · d ( k ) 2
                …式(11)
搜寻单元628对校正标度因子码本623进行控制,使其依次输出所存储的校正标度因子的候选,并通过闭环处理,求使从加权误差计算单元627输出的加权平方误差E为最小的校正标度因子的候选。搜寻单元628将求得的校正标度因子的候选的索引iopt作为编码参数输出。
如上所述,在基于误差信号的符号来设定用于计算加权平方误差时的加权,且该加权具有式(2)所示的关系时,能够获得如下的作用。也就是说,在误差信号d(k)为正号的情况是,在解码端生成的解码值(就编码端而言,为将第一标度因子进行归一化,并将归一化后的值与校正标度因子候选相乘所得的值)小于目标值即第二标度因子的情况。另外,在误差信号d(k)为负号的情况是,在解码端生成的解码值大于目标值即第二标度因子的情况。因此,通过将误差信号d(k)为正号时的加权设定得小于误差信号d(k)为负号时的加权,在平方误差的值为大致相同时,使校正标度因子候选容易被选择,该校正标度因子候选生成小于第二标度因子的解码值。
由此能够获得以下的改善效果。例如,如本实施方式,在利用低频频谱来估计高频频谱时,一般能够实现低比特率。然而,虽然实现低比特率,但另一方面,如上所述,并不能说估计频谱的精确度即估计频谱与高频频谱的相似性足够高。在这种情况下,标度因子的解码值大于目标值且量化后的标度因子作用于将估计频谱强调的方向时,较低的估计频谱的精确度容易被人的耳朵感觉成质量劣化。相反,标度因子的解码值小于目标值且量化后的标度因子作用于将该估计频谱衰减的方向时,较低的估计频谱的精确度变得不明显,能够获得可改善解码信号的音质的效果。进而,基于输入信号(第一层解码信号)中是否包含背景噪声,调整上述的作用的程度,从而能够获得听觉上更良好的解码信号。另外,上述倾向在计算机的仿真中也得到了确认。
另外,在本实施方式中,说明了不考虑输入信号的特性(例如,包含语音的部分,或不包含语音的部分等),总是通过上述的方法进行量化的情况,但本发明不限于此,还可以同样地适用于:基于输入信号的特性(有声部分或无声部分等),切换是否利用上述的方法的情况。例如,可以举出下述方法:对输入信号中的包含语音的部分,进行基于上述的适用了加权的距离计算的矢量量化,对输入信号中的不包含语音的部分,进行通过在实施方式1~4所示的方法的矢量量化,不进行基于上述的适用了加权的距离计算的矢量量化。这样,按照输入信号的特性,通过在时间轴上也切换矢量量化的距离计算方法,从而能够获得质量更良好的解码信号。
(实施方式7)
图18是表示本发明实施方式7的可扩展解码装置的主要结构的方框图。在图18中,分离单元701接收从未图示的编码装置发送的比特流,基于在接收到的比特流中所记录的层信息来分离比特流,并将层信息输出到切换单元705和后置滤波器的修正LPC计算单元708。
在层信息表示“第3层(layer 3)”时,也就是说,在比特流中存储所有的层(第一层~第三层)的编码信息时,分离单元701从比特流中分离出第一层编码信息、第二层编码信息以及第三层编码信息。分离出的第一层编码信息被输出到第一层解码单元702,第二层编码信息被输出到第二层解码单元703,以及第三层编码信息被输出到第三解码单元704。
另外,在层信息表示“第2层”时,也就是说,在比特流中存储第一层和第二层的编码信息时,分离单元701从比特流中分离出第一层编码信息和第二层编码信息。分离出的第一层编码信息被输出到第一层解码单元702,第二层编码信息被输出到第二层解码单元703。
还有,在层信息表示“第1层”时,也就是说,在比特流中只存储第一层的编码信息时,分离单元701从比特流中分离出第一层编码信息,并将分离出的第一层编码信息输出到第一层解码单元702。
第一层解码单元702使用从分离单元701输出的第一层编码信息,生成信号频带k为0以上、低于FH的、基本质量的第一层解码信号,将生成的第一层解码信号输出到切换单元705、第二层解码单元703和背景噪声检测单元706。
第二层解码单元703从分离单元701输出第二层编码信息后,使用该第二层编码信息以及从第一层解码单元702输出的第一层解码信号,生成第二层解码信号,该第二层解码信号在信号频带k为0以上、低于FL的区间中为改善质量,在信号频带k为FL以上、低于FH的区间中为基本质量。将生成的第二层解码信号输出到切换单元705和第三层解码单元704。另外,在层信息表示“层1”时,第二层解码单元703不能获得第二层编码信息,因此不进行任何动作,或者更新第二层解码单元703所具有的变量。
第三层解码单元704从分离单元701输出第三层编码信息后,使用该第三层编码信息以及从第二层解码单元703输出的第二层解码信号,生成信号频带k为0以上、低于FH的、改善质量的第三层解码信号。将生成的第三层解码信号输出到切换单元705。另外,在层信息表示“第1层”或“第2层”时,第三层解码单元704不能获得第三层编码信息,因此不进行任何动作,或者更新第三层解码单元704所具有的变量。
背景噪声检测单元706输入第一层解码信号,判定该信号中是否包含背景噪声。背景噪声检测单元706在判定为第一层解码信号中包含背景噪声时,对该背景噪声进行MDCT等处理而分析其频率特性,并将分析出的频率特性作为背景噪声信息而输出到修正LPC计算单元708。另一方面,背景噪声检测单元706在判定为第一层解码信号中不包含背景噪声时,将背景噪声信息输出到修正LPC计算单元708,该背景噪声信息表示第一层解码信号中不包含背景噪声的事实。另外,在本实施方式中,作为背景噪声的检测方法,可以采用下述方法以及其它的一般的背景噪声检测方法,该方法是,分析某个区间的输入信号而计算该输入信号的最大功率值和最小功率值,在它们之间的比或者差为阈值以上时,将最小功率值判定为噪声。另外,在本实施方式中,背景噪声检测单元706判定第一层解码信号是否包含背景噪声,但本发明不限于此,还可以同样地适用于检测第二层解码信号和第三层解码信号中是否包含背景噪声的情况,或者从编码装置端传送有关输入信号所包含的背景噪声的信息而利用被传送的背景噪声的信息的情况。
切换单元705基于从分离单元701输出的层信息而判定能够获得哪个层的解码信号,并将最高层中的解码信号输出到修正LPC计算单元708和滤波单元707。
后置滤波器具备修正LPC计算单元708和滤波单元707,修正LPC计算单元708使用从分离单元701输出的层信息、从切换单元705输出的解码信号以及从背景噪声检测单元706获得的背景噪声信息,计算修正LPC系数,将计算出的修正LPC系数输出到滤波单元707。修正LPC计算单元708的细节将在后面描述。
滤波单元707由从修正LPC计算单元708输出的修正LPC系数构成滤波器,对从切换单元705输出的解码信号进行后滤波处理,并输出进行了后滤波处理的解码信号。
图19是表示图18所示的修正LPC计算单元708的内部结构的方框图。该图中,变频单元711进行从切换单元705输出的解码信号的频率分析而求解码信号的频谱(以下称为“解码谱”),将求得的解码谱输出到功率谱计算单元712。
功率谱计算单元712计算从变频单元711输出的解码谱的功率(以下称为“功率谱”),将计算出的功率谱输出到功率谱修正单元713。
修正频带决定单元714基于从分离单元701输出的层信息,决定进行功率谱的修正的频带(以下称为“修正频带”),将决定的频带作为修正频带信息输出到功率谱修正单元713。
在本实施方式中,各个层担负图20所示的信号频带和语音质量,所以在层信息表示“第1层”时,修正频带决定单元714将修正频带决定为0(不进行修正),在层信息表示“第2层”时,将修正频带决定为0~FL,另外,在层信息表示“第3层”时,将修正频带决定为0~FH而生成修正频带信息。
功率谱修正单元713基于背景噪声信息以及从修正频带决定单元714输出的修正频带信息,对从功率谱计算单元712输出的功率谱进行修正,将修正后的功率谱输出到逆变换单元715。
这里,功率谱的修正意味着,在背景噪声信息表示“第一解码信号中不包含背景噪声”的事实时,减弱后置滤波器的特性以使频谱的变形变小,更具体地说,进行修正以抑制在频率轴上的功率谱的变化。由此,在层信息表示“第2层”时,在0~FL的频带的后置滤波器的特性被减弱,在层信息表示“第3层”时,在0~FH的频带的后置滤波器的特性被减弱。另外,背景噪声信息表示“第一解码信号中包含背景噪声”的事实时,功率谱修正单元713不进行上述的使后置滤波器的特性减弱的处理,或者进行使减弱程度减少的处理。这样,基于第一解码信号中是否存在背景噪声(输入信号中是否存在背景噪声)而切换后滤波处理,从而能够实现在没有背景噪声存在时,尽量使解码信号中的怪音感不明显,而在有背景噪声存在时,尽量增大解码信号的音域感的处理,因此能够生成主观质量更良好的解码信号。
逆变换单元715对从功率谱修正单元713输出的修正功率谱进行逆变换,求自相关函数。求得的自相关函数被输出到LPC分析单元716。另外,通过利用FFT(Fast Fourier Transform:快速傅立叶变换),逆变换单元715能够削减运算量。此时,在不能以2N表示修正功率谱的阶数时,可以对修正功率谱进行平均或者稀疏修正功率谱以使分析长度成为2N。
LPC分析单元716对从逆变换单元715输出的自相关函数,使用自相关法等来求LPC系数,将求得的LPC系数作为修正LPC系数而输出到滤波单元707。
下面说明上述的功率谱修正单元713的具体实现方法。首先,作为第一实现方法,说明使修正频带中的功率谱平坦化的方法。该方法是,计算修正频带中的功率谱的平均值,用计算出的平均值来置换未平均化的频谱的方法。
图21表示通过第一实现方法修正功率谱的情况。该图中,表示在层信息为第2层(减弱0~FL的频带中的后置滤波器的特性)时,对女性的有声部分(/o/)的功率谱进行修正的情况,用22dB左右的功率谱置换了0~FL的频带。此时,较为理想的是,对功率谱进行修正以免修正的频带与不修正的频带的连接部分的频谱的变化不连续。具体的方法是,例如,对所述连接部分和其附近的功率谱求移动平均值,用该移动平均值来置换对应的功率谱。由此能够求得具有更正确的频谱特性的修正LPC系数。
下面说明功率谱修正单元713的第二实现方法。第二实现方法是,求修正频带中的功率谱的频谱倾斜,用求得的频谱倾斜置换该频带的频谱的方法。其中,频谱斜率表示该频带中的功率谱的整体上的倾斜。例如,使用解码信号的一阶的PARCOR系数(反射系数),或者将该PARCOR系数与常数相乘而形成的数字滤波器的频谱特性。将该频谱特性与系数相乘,以此来置换该频带的功率谱,所述系数为,以保存该频带中的功率谱的功率的方式计算出的系数。
图22表示通过第二实现方法修正功率谱的情况。该图中,用约从23dB倾斜到26dB的功率谱来置换0~FL的频带的功率谱。
这里,由下述的式(12)表示代表性的后置滤波器的传递函数PF。其中,式(12)中的α(i)表示解码信号的LPC系数(Linear Prediction Coefficient:线性预测系数),NP表示LPC系数的阶数,γn和γd表示用于决定后置滤波器的噪声抑制程度的设定值(0<γn<γd<1),μ表示用于校正由于共振峰增强滤波器而产生的频谱斜率的设定值。
PF(z)=F(z)·U(z)
F ( z ) = 1 - Σ i = 1 NP α ( i ) γ n i z - i 1 - Σ i = 1 NP α ( i ) γ d i z - i
U(z)=1-μ·z-1        …式(12)
如上所述,通过用频谱斜率来代替修正频带的功率谱,在该频带中,可抵消后置滤波器的斜率校正滤波器即式(12)的U(z)的高频增强作用。也就是说,可赋予频谱特性,该频谱特性相当于式(12)的U(z)的频谱特性的逆特性。由此,能够使包括后置滤波器的该频带的频谱特性更平坦。
另外,也可以使用修正频带中的功率谱的α次方(0<α<1)作为功率谱修正单元713的第三实现方法。在该方法中,与前述的使功率谱平坦的方法相比,能够更灵活地设计后置滤波器的特性。
下面,用图23说明后置滤波器的频谱特性,该后置滤波器是用上述的由修正LPC计算单元708计算出的修正LPC系数构成的。这里,以下述频谱特性为例进行说明,该频谱特性为,用图22所示的频谱求修正LPC系数,且后置滤波器的设定值假设为γn=0.6、γd=0.8、μ=0.4时的频谱特性。另外,假设LPC系数的阶数为18阶。
图23中的实线表示修正了功率谱时的频谱特性,而虚线表示没有修正功率谱(设定值同上)时的频谱特性。如图23所示,修正了功率谱时的后置滤波器的特性为,在0~FL的频带基本上平坦,在FL~FH的频带为与没有修正功率谱时相同的频谱特性。
另一方面,在奈奎斯特频率附近,与没有修正功率谱时的频谱特性相比,修正了功率谱时的频谱特性略为衰减,但是,该频带的信号分量比其它频带的信号分量小,因此几乎可以忽略其影响。
这样,根据实施方式7,修正与层信息对应的频带的功率谱,基于修正后的功率谱来计算修正LPC系数,并由计算出的修正LPC系数构成后置滤波器,从而即使在各个层负责的每个频带的语音质量不同的情况下,也能够通过与语音质量对应的频谱特性,对解码信号进行后滤波处理,因此能够改善语音质量。
另外,在本实施方式中,说明了假设在层信息为第1~3层的任何情况下都计算修正LPC系数而进行说明,但是,作为编码对象的整个频带为语音质量大致相同的层(在本实施方式中为整个频带为基本质量的第1层,以及整个频带为改善质量的第3层),并不需要对每个频带计算修正LPC系数,此时,可以对各个层预备用于规定后置滤波器的强度的设定值(γn、γd和μ),通过切换预备的设定值来直接构成后置滤波器。由此能够削减计算修正LPC系数所需的处理量和处理时间。
另外,在本实施方式中,在功率谱修正单元713中,基于第一层解码信号中是否存在背景噪声而进行全频带共同的处理,但本发明不限于此,还可以同样地适用于下述情况等:在背景噪声检测单元706中计算第一层解码信号所包含的背景噪声的频率特性,功率谱修正单元713利用其结果对每个子带切换功率谱的修正方法。
(实施方式8)
图24是表示本发明实施方式8的可扩展解码装置的主要结构的方框图。这里,只说明与图18不同的部分。该图中,第二切换单元806从分离单元801取得层信息,基于取得的层信息判断可获得哪个层的解码谱,并将最高层中的解码LPC系数输出到后置滤波器的抑制信息计算单元808。但是,还考虑到在解码处理的过程中不生成解码LPC系数的情况,这样的情况下,在第二切换单元806取得的解码LCP系数中,选择任意一个解码LPC系数。
背景噪声检测检测单元807输入第一层解码信号,判定该信号中是否包含背景噪声。背景噪声检测单元807在判定为第一层解码信号中包含背景噪声时,对该背景噪声进行MDCT等处理而分析其频率特性,并将分析出的频率特性作为背景噪声信息而输出到抑制信息计算单元808。另一方面,背景噪声检测单元807在判定为第一层解码信号中不包含背景噪声时,将背景噪声信息输出到抑制信息计算单元808,该背景噪声信息为第一层解码信号中不包含背景噪声的信息。另外,作为背景噪声的检测方法,可以采用下述方法以及其它的一般的背景噪声检测方法,该方法是,分析某个区间的输入信号而计算该输入信号的最大功率值和最小功率值,在它们之间的比或者差在阈值以上时,将最小功率值判定为噪声。另外,在本实施方式中,背景噪声检测单元706判定第一层解码信号是否包含背景噪声,但本发明不限于此,还可以同样地适用于检测第二层解码信号和第三层解码信号是否包含背景噪声的情况,或者从编码装置端传送有关输入信号所包含的背景噪声的信息而利用被传送的有关背景噪声的信息的情况。
抑制信息计算单元808使用从分离单元801输出的层信息、从第二切换单元806输出的LPC系数以及从背景噪声检测单元807输出的背景噪声信息来计算抑制信息,并将计算出的抑制信息输出到乘法器809。抑制信息计算单元808的细节将在后面描述。
乘法器809将从抑制信息计算单元808输出的抑制信息与从切换单元805输出的解码谱相乘,将与抑制信息相乘后的解码谱输出到时域变换单元810。
时域变换单元810对从乘法器809输出的解码谱进行MDCT逆变换处理,并乘以适当的窗函数后,与对应于上一帧的窗口乘法后的信号的领域相加,生成输出信号并输出。
图25是表示图24所示的抑制信息计算单元808的内部结构的方框图。该图中,LPC谱计算单元821对从第二切换单元806输出的解码LPC系数进行离散傅立叶变换,计算各个复数频谱的功率,将计算出的功率作为LPC谱输出到LPC谱修正单元822。也就是说,构成滤波器,该滤波器在将解码LPC系数表示为α(i)时,可由下述式(13)表示。
P ( z ) = 1 A ( z )
= 1 1 - Σ i = 1 NP α ( i ) · z - i …式(13)
LPC谱计算单元821计算由上式(13)表示的滤波器的频谱特性,并输出到LPC谱修正单元822。其中,NP表示解码LPC系数的阶数。
另外,也可以使用用于调整噪声抑制的强度的规定的参数γn和γd来构成可由下式(14)表示的滤波器,并计算该滤波器的频谱特性(0<γn<γd<1)。
P ( z ) = A ( z / γ n ) A ( z / γ d )
= 1 - Σ i = 1 NP α ( i ) · γ n i · z - i 1 - Σ i = 1 NP α ( i ) · γ d i · z i …式(14)
另外,由式(13)或式(14)表示的滤波器有可能产生以下特性,即,低频端(或高频段)比高频端(或低频端)被过度地增强的特性(该特性一般称为“频谱倾向”),因此可以并用用于校正该特性的滤波器(抗倾(ant-tilt)滤波器)。
LPC谱修正单元822与实施方式7中的功率谱修正单元713同样地,基于从修正频带决定单元823输出的修正频带信息而修正从LPC谱计算单元821输出的LPC谱,将修正后的LPC谱输出到抑制系数计算单元824。
抑制系数计算单元824利用背景噪声信息,以下述方法计算抑制系数。
抑制系数计算单元824将从LPC谱修正单元822输出的修正LPC谱分割为预定的带宽的子带,并求分割后的每个子带的平均值。然后,选择所求得的平均值小于规定的阈值的子带,对选择的子带计算用于抑制解码谱的系数(矢量值)。由此,能够使包括了成为频谱的波谷的频带的子带衰减。另外,基于所选择的子带的平均值,计算抑制系数。具体的计算方法是,例如,将子带的平均值与规定的系数相乘,从而计算抑制系数。另外,对于其平均值在规定的阈值以上的子带,计算不使解码谱变化的系数。
另外,抑制系数并不必须是LPC系数,是能够与解码谱直接相乘的系数即可。由此,不再需要进行逆变换处理和LPC分析处理,能够削减这些处理所需的运算量。
另外,抑制系数计算单元824也可以基于下述方法计算抑制系数。也就是说,抑制系数计算单元824将从LPC谱修正单元822输出的修正LPC谱分割为预定的带宽的子带,并求分割后的每个子带的平均值。然后,求在各个子带中平均最大的子带,并利用该子带的平均值,对各个子带的平均值进行归一化。将该归一化后的子带平均值作为抑制系数输出。
该方法中,说明了在分割为规定的子带后输出抑制系数的方法,但也可以对每个频率计算抑制系数并输出,以便更细微地决定抑制系数。此时,在抑制系数计算单元824中,求从LPC谱修正单元822输出的修正LPC谱中的最大的频率,并使用该频率的频谱对各个频率的频谱进行归一化。将该归一化后的频谱作为抑制系数输出。
另外,这里,假设输入到抑制系数计算单元824的背景噪声信息表示“第一层解码信号中包含背景噪声”的事实时,基于该背景噪声的电平,最终决定通过上述的方法计算出的抑制系数以减少使子带衰减的效果,该子带包括频谱的波谷的频带。这样,通过基于第一解码信号中是否存在背景噪声(输入信号中是否存在背景噪声)而切换后滤波处理,能够实现在没有背景噪声存在时,尽量使解码信号中的怪音感不明显,而在有背景噪声存在时,尽量增大解码信号的音域感的处理,从而能够生成主观质量更良好的解码信号。
这样,根据实施方式8,从解码LPC系数计算出的LPC谱为,去除了解码信号的微细信息的谱包络,通过基于该谱包络直接求抑制系数,以较少的运算量能够实现更正确的后置滤波器,并能够提高语音质量。并且,基于输入信号中(第一层解码信号中)是否包含背景噪声而切换所述抑制系数,从而无论是在包含背景噪声时还是在没有包含背景噪声时,都能够生成主观质量良好的解码信号。
以上,说明了本发明的各个实施方式。
另外,在实施方式1~3和5~8中,以分层数为二或三的情况为例进行了说明,但只要分层数为二以上,本发明能够适用于任何分层数的可扩展编码。
另外,在在实施方式1~3和5~8中,以可扩展编码为例进行说明,但是还可以适用于嵌入编码(embedded coding)等其它分层编码。
另外,在本说明书中,以将语音信号作为编码对象的情况为例进行说明,但本发明不限于此,例如还可以适用于音频信号等。
还有,在本说明书中,以使用MDCT作为频率变换的情况为例进行说明,但还可以使用快速傅立叶变换(FFT)、离散傅立叶变换(DFT)、DCT(离散余弦变换)或子带滤波器等。
本发明的变换编码装置和变换编码方法不限于上述各个实施方式,能够进行各种变更而实施。
本发明的变换编码装置能够装载于移动通信系统中的通信终端装置和基站装置,由此能够提供具有与上述同样的作用效果的通信终端装置、基站装置和移动通信系统。
另外,这里,举例说明了由硬件构成本发明的情况,但本发明也可以由软件实现。例如,以编程语言描述本发明的变换编码方法的算法,并通过将该程序存储于存储器,以信息处理来执行,从而能够实现与本发明的变换编码装置同样的功能。
另外,用于上述各个实施方式的说明中的各功能块通常被作为集成电路的LSI来实现。这些块既可以被单独地集成为一个芯片,也可以包含一部分或全部地被集成为一个芯片。
虽然此处称为LSI,但根据集成程度,可以被称为IC、系统LSI、超大LSI(Super LSI)、特大LSI(Ultra LSI)。
另外,实现集成电路化的方法不仅限于LSI,也可使用专用电路或通用处理器来实现。也可以使用可在LSI制造后编程的FPGA(Field ProgrammableGate Array:现场可编程门阵列),或者可重构LSI内部的电路单元的连接和设定的可重构处理器。
再者,随着半导体的技术进步或随之派生的其它技术的出现,如果能够出现替代LSI集成电路化的新技术,当然能够利用新技术进行功能块的集成化。还存在着适用生物技术等的可能性。
本说明书是基于2005年10月14日申请的日本专利申请第2005-300778号以及2006年10月3日申请的日本专利申请第2006-272251号。其内容全部包含于此。
工业实用性
本发明的变换编码装置和变换编码方法能够适用于移动通信系统中的通信终端装置、基站装置等用途。

Claims (10)

1.一种变换编码装置,包括:
输入标度因子计算单元,计算与输入频谱对应的多个输入标度因子;
码本,存储多个标度因子,并输出一个标度因子;
失真计算单元,计算所述多个输入标度因子中的一个输入标度因子与从所述码本输出的标度因子之间的失真;
加权失真计算单元,计算加权失真,该加权失真为,与所述一个输入标度因子大于从所述码本输出的标度因子时的所述失真相比,对所述一个输入标度因子小于从所述码本输出的标度因子时的所述失真附加了更重的加权的加权失真;以及
搜寻单元,在所述码本中,搜寻使所述加权失真为最小的标度因子。
2.如权利要求1所述的变换编码装置,其中,
还包括:决定单元,自适应地决定对所述输入标度因子的编码分配的比特数,
所述加权失真计算单元对所分配的所述比特数较少的输入标度因子,使用进一步加重的所述加权计算加权失真。
3.如权利要求1所述的变换编码装置,其中,
还包括:背景噪声检测单元,对所述输入频谱,检测是否包含噪声,
所述加权失真计算单元计算加权失真,以使与所述一个输入标度因子大于从所述码本输出的标度因子时的所述失真相比,对所述一个输入标度因子小于从所述码本输出的标度因子时的所述失真附加更重的加权,同时随着由所述背景噪声检测单元检测出的背景噪声的电平增大,使加权更少。
4.一种变换编码装置,包括:
第一标度因子计算单元,计算与第一频谱对应的多个第一标度因子;
第二标度因子计算单元,计算与第二频谱对应的多个第二标度因子;
码本,存储多个校正系数,并输出一个校正系数;
乘法单元,将所述多个第一标度因子中的一个第一标度因子与从所述码本输出的校正系数相乘并输出;
失真计算单元,计算所述多个第二标度因子中的一个第二标度因子与从所述乘法单元输出的第一标度因子之间的失真;
加权失真计算单元,计算加权失真,该加权失真为,与所述一个第二标度因子大于从所述乘法单元输出的第一标度因子时的所述失真相比,对所述一个第二标度因子小于从所述乘法单元输出的第一标度因子时的所述失真附加了更重的加权的加权失真;以及
搜寻单元,在所述码本中,搜寻使所述加权失真为最小的校正系数。
5.如权利要求4所述的变换编码装置,其中,
还包括:相似性计算单元,计算所述第一频谱与所述第二频谱的相似性,
所述加权失真计算单元对所述相似性较小的第二标度因子,使用进一步加重的所述加权计算加权失真。
6.如权利要求4所述的变换编码装置,其中,
还包括:背景噪声检测单元,对所述第一频谱或所述第二频谱的某一方或两方,检测是否包含噪声,
所述加权失真计算单元计算加权失真,以与所述一个第二标度因子大于从所述乘法单元输出的第一标度因子时的所述失真相比,对所述一个第二标度因子小于从所述乘法单元输出的第一标度因子时的所述失真附加更重的加权,同时随着由所述背景噪声检测单元检测出的背景噪声的电平增大,使加权更少。
7.一种通信终端装置,包括权利要求1所述的变换编码装置。
8.一种基站装置,包括权利要求1所述的变换编码装置。
9.一种变换编码方法,该方法包括:
计算与输入频谱对应的多个输入标度因子的步骤;
从存储多个标度因子的码本中,选择一个标度因子的步骤;
计算所述多个输入标度因子中的一个输入标度因子与所述选择出的标度因子之间的失真的步骤;
计算加权失真的步骤,该加权失真为,与所述一个输入标度因子大于所述选择的标度因子时的所述失真相比,对所述一个输入标度因子小于所述选择的标度因子时的所述失真附加了更重的加权的加权失真;以及
在所述码本中,搜寻使所述加权失真为最小的标度因子的步骤。
10.一种变换编码方法,该方法包括:
计算与输入频谱对应的多个输入标度因子的步骤;
从存储多个标度因子的码本中,选择一个标度因子的步骤;
对所述输入频谱,检测是否包含噪声的背景噪声检测步骤;
计算所述多个输入标度因子中的一个输入标度因子与所述选择的标度因子之间的失真的步骤;
计算加权失真,以使与所述一个输入标度因子大于所述选择的标度因子时的所述失真相比,对所述一个输入标度因子小于所述选择的标度因子时的所述失真附加更重的加权,同时随着在所述背景噪声检测步骤检测出的背景噪声的电平增大,使加权更少的步骤;以及
在所述码本中,搜寻使所述加权失真为最小的标度因子的步骤。
CN2006800375449A 2005-10-14 2006-10-13 变换编码装置和变换编码方法 Expired - Fee Related CN101283407B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2005300778 2005-10-14
JP300778/2005 2005-10-14
JP272251/2006 2006-10-03
JP2006272251 2006-10-03
PCT/JP2006/320457 WO2007043648A1 (ja) 2005-10-14 2006-10-13 変換符号化装置および変換符号化方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2012100616620A Division CN102623014A (zh) 2005-10-14 2006-10-13 变换编码装置和变换编码方法

Publications (2)

Publication Number Publication Date
CN101283407A true CN101283407A (zh) 2008-10-08
CN101283407B CN101283407B (zh) 2012-05-23

Family

ID=37942869

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2006800375449A Expired - Fee Related CN101283407B (zh) 2005-10-14 2006-10-13 变换编码装置和变换编码方法
CN2012100616620A Pending CN102623014A (zh) 2005-10-14 2006-10-13 变换编码装置和变换编码方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2012100616620A Pending CN102623014A (zh) 2005-10-14 2006-10-13 变换编码装置和变换编码方法

Country Status (8)

Country Link
US (2) US8135588B2 (zh)
EP (1) EP1953737B1 (zh)
JP (1) JP4954080B2 (zh)
KR (1) KR20080047443A (zh)
CN (2) CN101283407B (zh)
BR (1) BRPI0617447A2 (zh)
RU (1) RU2008114382A (zh)
WO (1) WO2007043648A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959623A (zh) * 2010-07-05 2013-03-06 日本电信电话株式会社 编码方法、解码方法、编码装置、解码装置、程序及记录介质
CN102959872A (zh) * 2010-07-05 2013-03-06 日本电信电话株式会社 编码方法、解码方法、装置、程序及记录介质
CN106847295A (zh) * 2011-09-09 2017-06-13 松下电器(美国)知识产权公司 编码装置和编码方法
WO2018196628A1 (zh) * 2017-04-26 2018-11-01 华为技术有限公司 一种指示及确定预编码向量的方法和设备

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8660851B2 (en) 2009-05-26 2014-02-25 Panasonic Corporation Stereo signal decoding device and stereo signal decoding method
WO2010150767A1 (ja) * 2009-06-23 2010-12-29 日本電信電話株式会社 符号化方法、復号方法、それらの方法を用いた装置、プログラム
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
US9009037B2 (en) * 2009-10-14 2015-04-14 Panasonic Intellectual Property Corporation Of America Encoding device, decoding device, and methods therefor
EP2500901B1 (en) * 2009-11-12 2018-09-19 III Holdings 12, LLC Audio encoder apparatus and audio encoding method
EP2525354B1 (en) * 2010-01-13 2015-04-22 Panasonic Intellectual Property Corporation of America Encoding device and encoding method
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5679470B2 (ja) * 2010-09-10 2015-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 符号化装置及び符号化方法
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9536534B2 (en) 2011-04-20 2017-01-03 Panasonic Intellectual Property Corporation Of America Speech/audio encoding apparatus, speech/audio decoding apparatus, and methods thereof
EP2733699B1 (en) * 2011-10-07 2017-09-06 Panasonic Intellectual Property Corporation of America Scalable audio encoding device and scalable audio encoding method
JPWO2013057895A1 (ja) * 2011-10-19 2015-04-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 符号化装置及び符号化方法
CN104040624B (zh) * 2011-11-03 2017-03-01 沃伊斯亚吉公司 改善低速率码激励线性预测解码器的非语音内容
WO2013067465A1 (en) * 2011-11-04 2013-05-10 Ess Technology, Inc. Down-conversion of multiple rf channels
JP6179087B2 (ja) * 2012-10-24 2017-08-16 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用コンピュータプログラム
JP6531649B2 (ja) 2013-09-19 2019-06-19 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
JP6593173B2 (ja) 2013-12-27 2019-10-23 ソニー株式会社 復号化装置および方法、並びにプログラム
CA3042070C (en) * 2014-04-25 2021-03-02 Ntt Docomo, Inc. Linear prediction coefficient conversion device and linear prediction coefficient conversion method
FR3049084B1 (fr) * 2016-03-15 2022-11-11 Fraunhofer Ges Forschung Dispositif de codage pour le traitement d'un signal d'entree et dispositif de decodage pour le traitement d'un signal code
US10263765B2 (en) * 2016-11-09 2019-04-16 Khalifa University of Science and Technology Systems and methods for low-power single-wire communication
US11133891B2 (en) 2018-06-29 2021-09-28 Khalifa University of Science and Technology Systems and methods for self-synchronized communications
US10951596B2 (en) * 2018-07-27 2021-03-16 Khalifa University of Science and Technology Method for secure device-to-device communication using multilayered cyphers
US11380345B2 (en) * 2020-10-15 2022-07-05 Agora Lab, Inc. Real-time voice timbre style transform
US11553184B2 (en) 2020-12-29 2023-01-10 Qualcomm Incorporated Hybrid digital-analog modulation for transmission of video data
US11457224B2 (en) * 2020-12-29 2022-09-27 Qualcomm Incorporated Interlaced coefficients in hybrid digital-analog modulation for transmission of video data
US11431962B2 (en) 2020-12-29 2022-08-30 Qualcomm Incorporated Analog modulated video transmission with variable symbol rate

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0559348A3 (en) * 1992-03-02 1993-11-03 AT&T Corp. Rate control loop processor for perceptual encoder/decoder
US5684920A (en) * 1994-03-17 1997-11-04 Nippon Telegraph And Telephone Acoustic signal transform coding method and decoding method having a high efficiency envelope flattening method therein
JPH07261797A (ja) * 1994-03-18 1995-10-13 Mitsubishi Electric Corp 信号符号化装置及び信号復号化装置
US5651090A (en) * 1994-05-06 1997-07-22 Nippon Telegraph And Telephone Corporation Coding method and coder for coding input signals of plural channels using vector quantization, and decoding method and decoder therefor
US5649051A (en) * 1995-06-01 1997-07-15 Rothweiler; Joseph Harvey Constant data rate speech encoder for limited bandwidth path
US5710863A (en) * 1995-09-19 1998-01-20 Chen; Juin-Hwey Speech signal quantization using human auditory models in predictive coding systems
US5664054A (en) 1995-09-29 1997-09-02 Rockwell International Corporation Spike code-excited linear prediction
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JP3353267B2 (ja) 1996-02-22 2002-12-03 日本電信電話株式会社 音響信号変換符号化方法及び復号化方法
US6119083A (en) * 1996-02-29 2000-09-12 British Telecommunications Public Limited Company Training process for the classification of a perceptual signal
JP3246715B2 (ja) * 1996-07-01 2002-01-15 松下電器産業株式会社 オーディオ信号圧縮方法,およびオーディオ信号圧縮装置
US6202046B1 (en) * 1997-01-23 2001-03-13 Kabushiki Kaisha Toshiba Background noise/speech classification method
US6345246B1 (en) * 1997-02-05 2002-02-05 Nippon Telegraph And Telephone Corporation Apparatus and method for efficiently coding plural channels of an acoustic signal at low bit rates
US6167375A (en) * 1997-03-17 2000-12-26 Kabushiki Kaisha Toshiba Method for encoding and decoding a speech signal including background noise
CA2230188A1 (en) * 1998-03-27 1999-09-27 William C. Treurniet Objective audio quality measurement
US6351730B2 (en) * 1998-03-30 2002-02-26 Lucent Technologies Inc. Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6691082B1 (en) * 1999-08-03 2004-02-10 Lucent Technologies Inc Method and system for sub-band hybrid coding
JP3335605B2 (ja) * 2000-03-13 2002-10-21 日本電信電話株式会社 ステレオ信号符号化方法
JP2002091498A (ja) 2000-09-19 2002-03-27 Victor Co Of Japan Ltd オーディオ信号符号化装置
US7171355B1 (en) * 2000-10-25 2007-01-30 Broadcom Corporation Method and apparatus for one-stage and two-stage noise feedback coding of speech and audio signals
US20020103920A1 (en) * 2000-11-21 2002-08-01 Berkun Ken Alan Interpretive stream metadata extraction
JP3404016B2 (ja) * 2000-12-26 2003-05-06 三菱電機株式会社 音声符号化装置及び音声符号化方法
JP3636094B2 (ja) 2001-05-07 2005-04-06 ソニー株式会社 信号符号化装置及び方法、並びに信号復号装置及び方法
US7200561B2 (en) * 2001-08-23 2007-04-03 Nippon Telegraph And Telephone Corporation Digital signal coding and decoding methods and apparatuses and programs therefor
JP3952939B2 (ja) 2001-11-28 2007-08-01 日本ビクター株式会社 可変長符号化データ受信方法及び可変長符号化データ受信装置
US7146313B2 (en) * 2001-12-14 2006-12-05 Microsoft Corporation Techniques for measurement of perceptual audio quality
US6934677B2 (en) * 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
DE60230925D1 (de) * 2001-12-25 2009-03-05 Ntt Docomo Inc Signalcodierung
US6947886B2 (en) * 2002-02-21 2005-09-20 The Regents Of The University Of California Scalable compression of audio and other signals
US20040002856A1 (en) * 2002-03-08 2004-01-01 Udaya Bhaskar Multi-rate frequency domain interpolative speech CODEC system
WO2003091989A1 (en) * 2002-04-26 2003-11-06 Matsushita Electric Industrial Co., Ltd. Coding device, decoding device, coding method, and decoding method
CA2464408C (en) * 2002-08-01 2012-02-21 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and method for band expansion with aliasing suppression
US7054807B2 (en) * 2002-11-08 2006-05-30 Motorola, Inc. Optimizing encoder for efficiently determining analysis-by-synthesis codebook-related parameters
CN1420487A (zh) * 2002-12-19 2003-05-28 北京工业大学 1kb/s线谱频率参数的一步插值预测矢量量化方法
US7349842B2 (en) * 2003-09-29 2008-03-25 Sony Corporation Rate-distortion control scheme in audio encoding
US7613607B2 (en) * 2003-12-18 2009-11-03 Nokia Corporation Audio enhancement in coded domain
JP4365722B2 (ja) 2004-04-08 2009-11-18 株式会社リコー 光り走査装置の製造方法
TWI231656B (en) * 2004-04-08 2005-04-21 Univ Nat Chiao Tung Fast bit allocation algorithm for audio coding
US7490044B2 (en) * 2004-06-08 2009-02-10 Bose Corporation Audio signal processing
JP4774223B2 (ja) 2005-03-30 2011-09-14 株式会社モノベエンジニアリング ストレーナーシステム
JP5129117B2 (ja) * 2005-04-01 2013-01-23 クゥアルコム・インコーポレイテッド 音声信号の高帯域部分を符号化及び復号する方法及び装置
US7539612B2 (en) * 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
TWI271703B (en) * 2005-07-22 2007-01-21 Pixart Imaging Inc Audio encoder and method thereof
US7953604B2 (en) * 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US9454974B2 (en) * 2006-07-31 2016-09-27 Qualcomm Incorporated Systems, methods, and apparatus for gain factor limiting
US8374857B2 (en) * 2006-08-08 2013-02-12 Stmicroelectronics Asia Pacific Pte, Ltd. Estimating rate controlling parameters in perceptual audio encoders
US7873514B2 (en) * 2006-08-11 2011-01-18 Ntt Docomo, Inc. Method for quantizing speech and audio through an efficient perceptually relevant search of multiple quantization patterns

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959623A (zh) * 2010-07-05 2013-03-06 日本电信电话株式会社 编码方法、解码方法、编码装置、解码装置、程序及记录介质
CN102959872A (zh) * 2010-07-05 2013-03-06 日本电信电话株式会社 编码方法、解码方法、装置、程序及记录介质
CN102959623B (zh) * 2010-07-05 2014-08-13 日本电信电话株式会社 编码方法、解码方法、编码装置、解码装置、程序及记录介质
CN106847295A (zh) * 2011-09-09 2017-06-13 松下电器(美国)知识产权公司 编码装置和编码方法
WO2018196628A1 (zh) * 2017-04-26 2018-11-01 华为技术有限公司 一种指示及确定预编码向量的方法和设备
CN108988917A (zh) * 2017-04-26 2018-12-11 华为技术有限公司 一种指示及确定预编码向量的方法和设备
CN108988917B (zh) * 2017-04-26 2019-07-12 华为技术有限公司 一种指示及确定预编码向量的方法、设备及计算机存储介质
US10447357B2 (en) 2017-04-26 2019-10-15 Huawei Technologies Co., Ltd. Method for indicating precoding vector, and device
US10608714B2 (en) 2017-04-26 2020-03-31 Huawei Technologies Co., Ltd. Method for indicating precoding vector, and device
US10911109B2 (en) 2017-04-26 2021-02-02 Huawei Technologies Co., Ltd. Method for indicating precoding vector, and device

Also Published As

Publication number Publication date
US20120136653A1 (en) 2012-05-31
CN101283407B (zh) 2012-05-23
EP1953737A4 (en) 2011-11-09
US8135588B2 (en) 2012-03-13
JP4954080B2 (ja) 2012-06-13
KR20080047443A (ko) 2008-05-28
EP1953737A1 (en) 2008-08-06
WO2007043648A1 (ja) 2007-04-19
CN102623014A (zh) 2012-08-01
BRPI0617447A2 (pt) 2012-04-17
US20090281811A1 (en) 2009-11-12
RU2008114382A (ru) 2009-10-20
JPWO2007043648A1 (ja) 2009-04-16
EP1953737B1 (en) 2012-10-03
US8311818B2 (en) 2012-11-13

Similar Documents

Publication Publication Date Title
CN101283407B (zh) 变换编码装置和变换编码方法
US10381020B2 (en) Speech model-based neural network-assisted signal enhancement
CN101199005B (zh) 后置滤波器、解码装置以及后置滤波处理方法
KR101508819B1 (ko) 멀티 모드 오디오 코덱 및 이를 위해 적응된 celp 코딩
CN103065637B (zh) 音频编码器和解码器
EP2791937B1 (en) Generation of a high band extension of a bandwidth extended audio signal
KR101213840B1 (ko) 복호화 장치 및 복호화 방법, 및 복호화 장치를 구비하는 통신 단말 장치 및 기지국 장치
CN101622662B (zh) 编码装置和编码方法
JP6980871B2 (ja) 信号符号化方法及びその装置、並びに信号復号方法及びその装置
CN105210149A (zh) 用于音频信号解码或编码的时域电平调整
EP3125241B1 (en) Method and device for quantization of linear prediction coefficient and method and device for inverse quantization
CN101548316A (zh) 编码装置、解码装置以及其方法
JPH09127990A (ja) 音声符号化方法及び装置
JPH09127989A (ja) 音声符号化方法及び音声符号化装置
CN104025189A (zh) 编码语音信号的方法、解码语音信号的方法,及使用其的装置
CN102947881A (zh) 解码装置、编码装置和解码方法、编码方法
CN103069483B (zh) 编码装置以及编码方法
WO2006120931A1 (ja) 符号化装置、復号化装置及びこれらの方法
CN103946918A (zh) 语音信号编码方法、语音信号解码方法及使用其的装置
CN101192410B (zh) 一种在编解码中调整量化质量的方法和装置
WO2013057895A1 (ja) 符号化装置及び符号化方法
Özaydın et al. Matrix quantization and mixed excitation based linear predictive speech coding at very low bit rates
WO2003089892A1 (en) Generating lsf vectors
KR20240142442A (ko) 크로스-토크 시나리오들을 위한 시간-도메인 초광대역 대역폭 확장
JPH09127997A (ja) 音声符号化方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140716

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140716

Address after: California, USA

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20170605

Address after: Delaware

Patentee after: III Holdings 12 LLC

Address before: California, USA

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120523

CF01 Termination of patent right due to non-payment of annual fee