CN1272911C - 音频信号解码装置及音频信号编码装置 - Google Patents

Abstract

本发明提供一种解码装置(100)，从所输入的音频编码串中生成频谱信息，包括：内核解码装置(102)，对所输入的上述编码串进行解码，生成表示音频信号的低频带频谱信息；及扩展解码装置(104)，根据上述低频带频谱信息，在未由上述编码串表示的频带上，生成扩展频谱信息，其表示与上述低频带频谱信息所表示的谐波结构在频率轴上延长了的谐波结构相等的谐波结构。

Description

音频信号解码装置及音频信号编码装置

技术领域

本发明是关于对声音信号及音乐信号等音频信号，采用直交变换等方法，将从时间区域变换成频率区域的信号，用更少的编码串进行编码，来进行信息压缩的编码装置；及以编码串为输入对信息进行拉伸的解码装置。

背景技术

音频信号的编码方法及解码方法此前已开发了非常多的方式。特别是最近，在这些方式中由ISO/IEC国际标准化的IS13818-7被认可，评价为高音质和高效率的编码方法。该编码方法称为AAC。近些年来，上述AAC还被称为MPEG4的标准化所采用，并对上述IS13818-7确定具有一些扩充功能的MPEG4-AAC方法。作为编码过程的一例，在INFORMATIVEPART中有该记述。

在此采用图1对采用现有编码方法的音频编码装置进行说明。图1是表示现有编码装置300构成的方框图。该编码装置300的构成包括频谱放大部301、频谱量化部302、哈夫曼编码部303、编码串传输部304。通过用规定的频率对模拟音频信号进行取样所得到的时间轴上的音频离散信号串，按一定时间间隔各分成一定取样数，经过图中未画出的时间频率变换部，变换成频率轴上的数据后，作为编码装置300的输入信号，加到频谱放大部301。频谱放大部301在预先确定的每个频带具有一个增益，对上述频带中所包含的频谱进行放大。频谱量化部302对上述频带中所包含的频谱以确定的变换式进行量化。在AAC方式时，将以浮动小数点表示的频谱信息化成整数值来进行量化。哈夫曼编码部303将上述量化的频谱信息汇总成几个后进行哈夫曼编码，并将频谱放大部301中特定每个上述规定频带的增益及量化变换式的信息等进行哈夫曼编码，将该编码传输给编码传输部304。进行哈夫曼编码的编码串从编码串传输部304经传输线路或记录媒体等传输给解码装置，通过解码装置重放时间轴上的音频信号。现有的编码装置这样进行工作。

在上述现有的编码装置300中，信息量的压缩能力依赖于哈夫曼编码部303等的性能，在高压缩率，即以少的信息量进行编码时，必须在上述频谱放大器301上使增益充分减小，在上述频谱量化部302所得到的量化频谱串由上述哈夫曼编码部303编码成少的信息量。但是，在这样构成的编码装置300中，以少的信息量进行了编码时，会产生重放的音频及音乐频带变窄，在听觉上存在着没有厚重感，不能确保很好的音质等问题。

本发明鉴于现有技术的这种问题，其目的在于提供一种可以以少的信息量对宽频带的频谱信息进行解码的音频信号编码装置及音频信号解码装置。

发明内容

本发明所涉及的解码装置，从所输入的音频编码串中生成频谱信息，其特征在于包括：内核解码装置，对所输入的上述编码串进行解码，生成表示音频信号的第1频谱信息；及扩展解码装置，根据上述第1频谱信息，在未由上述编码串表示的频带上，生成第2频谱信息，其表示与上述第1频谱信息所表示的谐波结构在频率轴上延长了的谐波结构相等的谐波结构。在本发明所涉及的解码装置中，从所输入的音频编码中，在未由该编码串表示的频带上，生成具有上述第1频谱信息表示的谐波结构的第2频谱信息。从而，本发明所涉及的解码装置，即使通过低位速率的传输线路，接收了数据量削减的频带窄的音频编码串时，也可以提供宽频带的音频编码串。另外，由于本来根据音频信号具有的谐波结构，从低频带的第1频谱信息生成高频带的第2频谱信息，所以从听觉上具有可重放更自然音质的宽频带音频信号。

另外，本发明所涉及的解码装置，从所输入的音频编码串中生成频谱信息，其特征在于包括：内核解码装置，从所输入的上述编码串中，对表示音频信号的第1频谱信息进行解码；扩展解码装置，从所输入的上述编码串中，在上述第1频谱信息的频率轴延长上的频带上，对表示音频信号的频谱信息所表示的有关振幅的信息进行解码；及谐波生成装置，根据上述有关振幅的信息，在未由上述编码串表示的频带上，生成第2频谱信息，其表示与上述第1频谱信息所表示的谐波结构在频率轴上延长了的谐波结构相等的谐波结构。在本发明所涉及的解码装置中，在编码装置中未由内核编码装置进行编码的频带，但将对该频带的音频信号本身的频谱信息进行解析所得到的有关振幅的信息，作为输入编码串的一部分取得，并根据上述有关振幅的信息，生成具有上述第1频谱信息所示的谐波结构的第2频谱信息。从而可在高频带生成更接近原音的具有谐波结构的第2频谱信息，所以在听觉上具有可重放更自然的音质、且宽频带的音频信号的效果。

另外，本发明所涉的解码装置，从所输入的音频编码串中生成频谱信息，其特征在于包括：生成第1频谱信息的内核解码装置，对所输入的上述编码串进行解码，在多相滤波器群的输出的每个频带上，生成表示同一频带上所属的频谱信息时间变化的音频时间频率信息的第1频谱信息；及扩展解码装置，根据上述第1频谱信息频带成分的上述时间频率信号，在未由上述编码串表示的频带上，生成表示上述第1频谱信息所具有的时间周期性的该频带时间频率信号的第2频谱信息。从而在本发明的涉及的解码装置，可以重放对应于原音急骤的变化及振动的音频信号，并且具有可以重放宽频带音频信号的效果。

另外，本发明所涉及的编码装置，从音频信号的频谱信息中生成编码串，其特征在于包括：内核编码装置，对所输入的上述频谱信息进行编码，生成音频编码串；及扩展编码装置，从所输入的上述频谱信息，从输入的上述频谱信息中对于未由上述内核编码装置进行编码的频带的频谱信息，对该频谱信息有关振幅的信息进行编码。上述扩展编码装置，对于由上述内核编码装置未进行编码的频带的频谱信息，以多数频谱信息为1个波段，对波段内的频谱信息所示表示振幅的波段增益信息进行编码。根据本发明所涉及的编码装置，由于高频带频率成分不对其细微结构进行编码，主要只对平均振幅信息进行了编码，所以具有可以使高频带成分由编码位流(符号化ビットストリ一ム)占有的信息量极小化的效果。

附图的简要说明

图1是表示现有编码装置构成的方框图。

图2是表示本发明实施例1所涉及的解码装置构成的方框图。

图3是模式化表示音频频谱信息低频带上的谐波结构图。

图4是模式化表示图2中所示的解码装置的输出频谱信息图。

图5是表示从图2的内核解码部所解码的低频带频谱信息中抽出谐波结构的另一方法的图。

图6是模式化表示采用图5所示的谐波结构抽出方法所生成的扩展频谱信息图。

图7是表示实施例2所涉及的编码装置构成的方框图。

图8是表示通过图7中所示的编码装置的编码串传输部所输出的编码位流的图。

图9是表示实施例2所涉及的解码装置构成的方框图。

图10是表示由图9中所示的谐波生成部所生成的扩展频谱信息一例的图。

图11是表示实施例3所涉及的解码装置构成的方框图。

图12是表示对从多相滤波器群的滤波器所输出的时间频率信号进行解码的实施例4所涉及的解码装置1200构成的方框图。

图13(a)是表示时间轴上的离散音频信号图。

图13(b)是表示用MDCT对时间轴上的离散音频信号一起进行频率变换所得到的频谱图。

图13(c)是表示采用多相滤波器群从时间轴上的离散音频信号所得到的多个波段的频谱时间变化图。

图14是表示由图12中所示的谐波生成部所生成的高频带时间频率信号的图。

图15是表示采用多相滤波器群的滤波器输出的实施例4所涉及的其它解码装置构成的方框图。

图16是表示低频带波段的时间频率信号及由谐波生成部所生成的高频带波段扩展时间频率信号一例的图。

图17是表示本发明的编码装置、解码装置及具有本发明解码装置的移动电话机的外观图。

发明的最佳实施例

实施例1

下面利用附图对本发明实施例中的解码装置及编码装置进行详细说明。图2是表示本发明的实施例1所涉及的解码装置100构成的方框图。该解码装置100是由现有的编码装置300所编码的编码串为输入，从该编码串复原比该编码串所表示的频带更宽的频带的频谱信息的解码装置，包括内核解码部102、频谱加法部103及扩展解码部104。扩展解码部104包括周期检测部105及谐波生成部106。内核解码部102对输入编码串所表示的低频带频谱信息进行解码。频谱加法部103对从内核解码部102所输出的低频带频谱信息、及从扩展解码部104所输出的高频带扩展频谱信息在频率轴上进行相加，生成输出频谱信息。扩展解码部104对从内核解码部102输出的低频带频谱信息的谐波结构进行解析，检测低频带频谱信息的谐波周期，在高频带生成具有所检测出的谐波周期的扩展频谱信息。

内核解码部102对上述这样生成的输入编码串进行解码。在输入编码串中表示了每个波段上量化的频谱信息的振幅信息、上述各频谱信息的相位信息及相当于各波段平均振幅的系数(波段增益)等。内核解码部102对输入编码串进行解码(反哈夫曼编码)，对该结果所得到的每个波段的振幅信息，利用该波段的系数(波段增益)进行运算，在各频谱信息上附加相位信息，复原频谱信息。由内核解码部102解码所得到的频谱信息、输入到频谱加法部103和扩展解码部104。

下面，以输入到本解码装置100的编码串例如以ISO/IEC的13818-7(MPEG2-AAC)方式的编码串为例进行说明。在编码装置300中，以规定的取样频率(例如44.1kHz)进行取样所得到的音频离散信号，以一定时间间隔各分出一定取样数(以下称“帧”)。在各帧中所分出的取样通过时间频率变换，从时间轴上的离散信号变换成频谱信息。在时间频率变换中一般采用MDCT(Modified Discrete Cosine Transform：变形离散余弦变换)等方法，以每1帧为128、256、512、1024或2048取样的时间间隔进行变换。当时间频率变换采用MDCT变换时，对时间轴上的离散信号取样数、与变换后的频谱信息取样数可以一同处理。另外，变换结果的频谱信息，在各帧中对每个包含多条频谱信息的规定频带，汇总在1个波段中，每个波段进行放大及量化后，通过哈夫曼编码生成。

从由内核解码部102进行解码所得到的频谱信息，通过对其进行频率时间变换，例如IMDCT(Inverse Modified Discrete Cosine Transform：反变形离散余弦变换)，可以得到时间轴上的音频离散信号。即，通过内核解码部102进行复原的频谱信息是在MPEG2-AAC的解码过程中记载的MDCT系数。如已经说明的那样，由内核解码部102所得到的频谱信息，与由现有的解码装置所得到的频谱信息同样的频带上，主要表示低频带的音频信号。以下为了使说明简单，作为一个例子，说明对于尽管本来输入到编码装置300中的离散音频信号是以取样频率44.1kHz(即：具有重放频率带22.05kHz)进行取样，且分出各1024取样的离散音频信号，但由内核解码部102所得到的频谱信息，却是重放频带为低频带11.025kHz、512取样(即，除去高频带512取样)的情况。

扩展解码部104对所输入的低频带频谱信息进行解析，抽出谐波结构，并在由内核解码部102复原的频谱延长上的高频带(例如11.025～22.05kHz)，生成表示谐波的扩展频谱信息。在由扩展解码部104在高频带生成的扩展频谱信息不一定是512取样。扩展解码部104中具有的周期检测部105，检测由内核解码部102所解码的低频带频谱信息中包含的谐波结构的周期。谐波生成部106调整相位使具有由周期检测部105所检测的周期的谐波与低频带频谱信息的谐波成分保持连续性，并生成高频带频谱信息。以下，用图3对扩展解码部104的动作进行更详细说明。图3是模式化表示音频频谱信息在低频带的谐波结构图。在该图中，横轴表示频率，纵轴表示频谱信息的值。一般来说，当以频谱看音频信号时，在很多的音源中，大多对某基本频率成分的2倍音、3倍音、4倍音这样整数倍频率成分上观测频谱振幅的局部峰值。如图所示，频谱信息的局部峰值被按一定频率间隔(即，谐波周期)T进行观测。根据这样的性质，在低频率成分上所观测的频谱信息的峰值间隔，假定也在高频带重复，并在扩展解码部104上生成扩展频谱信息。

首先，扩展解码部104利用式1等从内核解码部102输出的低频带频谱信息，算出谐波周期T。式1是求频谱信息sp(j)周期性的计算式。在式1中，sp(j)是在频率j上的频谱信息的值，所计算出的Cor(i)是第i个自相关值。其中，序列数i、j都是整数，0≤j≤511、1≤i≤511。

$\mathrm{Cor}\left(i\right)\underset{j}{\mathrm{\Σ}}\mathrm{sp}\left(j\right)*\mathrm{sp}(j-i)---$ (式1)

在式1中，自相关函数Cor[i]取大的值时的i，将给出频谱信息sp(j)的谐波周期T。即，在上述例子中，自相关函数Cor[i]是将第j个频谱信息sp(j)、与第(j-i)个频谱信息sp(j-i)之积，在0≤j≤511的范围内使整数j变化合计的值。其中，对某整数i当相关函数C or[i]取大的值时，频谱信息sp(j)以i个频谱信息的间隔具有周期性。该序列数i不仅是自相关函数Cor[i]取最大值时的i，也可以采用多个值。例如，当扩展解码部104使几种基本音不同的谐波在高频带上生成时，也可以采用自相关函数Cor[i]取大的值的多数个i。周期检测部105从式1检测出低频带频谱信息中所包含的谐波周期T。

然后，谐波生成部106决定在高频带生成的扩展频谱信息是从谐波周期T的波形的哪个相位成分开始。图4是模式化表示图2中所示的解码装置100的输出频谱信息图。谐波生成部106如图4中所示，设定扩展频谱信息的偏移offset，使由内核解码部102解码的低频带频谱信息的最后局部峰值、和由扩展解码部104所生成的扩展频谱信息的最初局部峰值间的间隔T4与谐波周期T相等。另外，谐波生成部106以规定的增益对这样算出的具有谐波周期T的低频带频谱信息进行放大，设定上述的偏移offset，在高频带生成扩展频谱信息。频谱加法部103对由核扩展解码部102所解码的低频带频谱信息、和由扩展解码部104所生成的高频带的扩展频谱信息在频率轴上相加，生成图4中所示的宽频带输出频谱信息。

根据这样构成的本实施例1的解码装置100，即使输入频带窄的编码串，但由于在编码串所表示的频带内，对音频信号抽出比较一般性质的谐波结构，在高频带上追加复原扩展频谱信息，所以可以在听觉上得到比较自然的更宽频带的重放音。

在上述实施例1中对输入到本解码装置100的编码串是由MPEG-2AAC进行编码的情况进行了说明，但是输入到解码装置100的编码串并不仅限于根据MPEG2-AAC进行编码，也可以根据其他音频编码方式进行编码。

在上述实施例1中，采用自相关函数计算了低频带频谱信息的谐波周期T，但是本发明并不限于此，也可采用其他方法抽出低频带频谱信息的谐波结构。图5是表示从由图2的内核解码部102进行解码的低频带频谱信息抽出谐波结构的另一方法的图。例如，当考虑频谱信息的能量时，该能量分布在谐波周期T内假定可以用某个函数表示。在此假定属于余弦函数一类。余弦函数时，最大值是“1”、最小值是“0”的波形，但此处如图5中所示，采用最大值为“A”，最小值为“B”这样的函数f(C)＝(A-B)cosC+B。在上述的函数f(C)中，“C”是相当于谐波周期T的角频率。系数A和系数B之比，在由内核解码部102解码的低频带频谱信息中，可以通过从相当于上述谐波周期T的波谷b(峰值与相邻峰值的中间)的振幅值z中抽出“B”、从相当于波峰的振幅值中抽出“A”进行计算。图6是模式化表示采用图5中所示的谐波结构抽出方法生成的扩展频谱信息图。如图所示，扩展解码部104当决定表示低频带频谱信息的能量分布的余弦函数为f(C)＝(A-B)cosC+B时，在高频带对由该余弦函数f(C)表示的频谱信息以规定的增益进行放大的同时，与实施例1一样，设定偏移，生成扩展频谱信息。这时，既可以将1个谐波周期T之间的低频带频谱信息直接在高频带重复拷贝，也可以对其用规定的增益放大。另外，也可以对每个谐波周期T改变增益进行放大。

在上述实施例1中，是假定从由取样频率44.1kHz取样的模拟音频信号中分出各1024取样，一起进行时间频率变换，并在量化及编码所得到的编码串中，将低频带512取样量的编码串输入到解码装置100，但是本发明并不限于此，取样频率、分出的取样数、一起进行时间频率变换的取样数等，都可以是其他数。另外，此处以输入到解码装置100的编码串作为低频带512取样进行了说明，但是本发明在取样数及传输频带中都不限定于该例。由输入编码串所表示的频带也可以不必是从低频带到高频带的连续频带，而是跳跃的频带。另外，由输入编码串表示的取样数也可以不必是512取样，而是更多或更少。

实施例2

在实施例2中，在编码装置上预先对频谱信息的谐波结构进行解析，将表示解析结果的谐波结构的参数，存放在编码位流内由现有解码装置未识别为音频信号的区域，进行传输。图7是表示实施例2所涉及的编码装置700构成的方框图。编码装置700包括频谱放大部301、频谱量化部302、谐波结构解析部701、哈夫曼编码部702及编码串传输部703。在编码装置700中，关于频谱放大部301及频谱量化部302，与现有的编码装置300相同，由于已经进行了说明，故以下的说明予以省略。谐波结构解析部701对由频谱放大部301按每个波段放大的频谱信息进行解析，抽出高频带的频谱信息的谐波结构。所抽出的谐波结构是在高频带中的各波段的波段增益g1、g2、g3，谐波结构解析部701将抽出的谐波结构用参数表示，输出到哈夫曼编码部702。

此处，通过谐波结构解析部701进行谐波结构的抽出方法中，高频带上的各波段的波段增益g1、g2、g3，当频谱放大部301直到高频带对波段的频谱信息进行放大时，也可以直接采用频谱放大部301的高频带波段增益，而在频谱放大部301对高频带的波段不进行处理时，也可以直接使用低频带的波段增益，或者在波段增益上乘以系数后使用。另外，也可以求出低频带几个波段上的波段增益的平均值，作为高频带上的各波段的波段增益g1、g2、g3。哈夫曼编码部702对从频谱量化部302所输入的量化后的低频带频谱信息的振幅信息、相位信息及各波段的波段增益进行哈夫曼编码，并且对从谐波结构解析部701所输入的上述参数进行编码，输出到编码串传输部703。编码串传输部703将从哈夫曼编码部303输入的编码串变换成规格规定的传输用编码位流的格式，进行传输。具体来说，编码串传输部703将对频谱量化部302输出的低频带频谱信息进行哈夫曼编码所得到的编码串，存放在编码位流中存放音频编码串的区域中，再在编码位流中的现有的解码装置100上未识别为音频编码的区域或者未规定对该区域的数据进行解码装置的处理的区域中，存放从谐波结构解析部701输出的参数进行哈夫曼编码所得到的编码串，作为编码位流，输出给传输线路或记录媒体。

图8是表示图7中所示的由编码装置700的编码串传输部703输出的编码位流的图。如图8的流1中所示，当编码位流由为对1帧进行解码的1帧数据(1)～1帧数据(3)构成时，编码串传输部703如流2中所示，将各1帧数据的一部分(虚线部分)分配为存放谐波结构解析部701的解析结果，构成编码位流。当在MPEG-2AAC方式时，编码位流2的虚线部分相当于规格书记载的raw_data_block()中的fill_element()。在MPEG-2 AAC的解码装置中，通常由于fill_elemeni()是跳读的区域，所以对编码装置700的编码位流即使由MPEG-2 AAC解码装置进行解码，也不会对重放音有影响，可以毫无问题地重放音频信号。另一方面，由于本实施例2所涉及的解码装置的扩展解码部通过读出编码位流中的fill_element()进行解码，可以进行宽频带的音频重放。

此处说明了编码位流是MPEG-2 AAC的情况，但是在MPEG-4 AAC时也与MPEG-2 AAC一样。另外，在ISO/IEC 11172-3(MPEG-1 LAYER3方式)时，在ancillary_data()上对扩展解码部解码的流进行编码，可以得到与MPEG-2 AAC同样的效果。MPEG-2 LAYER3时也同样。这样，通过构成编码串，即使只将普通的内核解码部作为解码的方法中，也可以无问题地得到重放音，并且在有扩展解码部的解码装置中，也可以得到宽频带的重放音。

图9是表示实施例2所涉及的解码装置800构成的方框图。该解码装置800包括内核解码部102、扩展解码部801及频谱加法部103。扩展解码部801还具有解码部802及谐波生成部803。解码装置800与实施例1的解码装置100不同之处在于，对扩展解码部801的输入不是频谱信息，而是编码串。由于在构成中与实施例1不同之处，也只是扩展解码部801，所以以下只对扩展解码部801的动作进行说明。在输入到扩展解码部801的编码串中，通过图7中所示的谐波结构解析部701解析的表示谐波结构的参数，存放在由内核解码部102未识别为音频编码串的上述区域中。在解码装置800的图中未画出的前级设置从所输入的编码串的上述区域抽出表示谐波结构的参数的处理部，扩展解码部801的解码部802对由该处理部抽出的参数进行解码。谐波生成部803根据由解码部802解码的参数，在各帧的高频带生成具有谐波结构的扩展频谱信息。

图10是表示通过图9中所示的谐波生成部803生成的扩展频谱信息一例的图。在图10中所示的各波形，不是模拟而是数字波形。以下的波形图也同样。在图10中，表示了解码部802解码的波段数由波段1、波段2及波段3构成的3个，各波段的平均振幅(波段增益)的值为g1、g2、g3的情况。此处，扩展频谱信息的谐波周期T是预先确定的固定值，相位与实施例1同样确定。这样，根据本实施例2的解码装置800，扩展解码部801根据从编码装置700取得的波段增益，在高频带追加生成扩展频谱信息，所以可以从少信息量的输入编码串得到更自然、更宽频带的重放音。

在本实施例2的编码700及解码装置800中，编码装置700只将各帧的高频带中的各波段的波段增益作为表示谐波结构的参数，传输给解码装置800，但是本发明并不限于此，也可以将高频带的频谱信息的谐波周期T及偏移offset等作为参数进行传输。这时，谐波结构解析部701的谐波周期T及偏移offset的检测方法与实施例1中说明的扩展解码部104的方法相同。

另外，此处将高频带上的波段数定为“3”，但是本发明并不限于此，高频带上的波段数几个都可以。另外，高频带上的波段划分可以不必与MPEG-2 AAC等规格一致，只要在编码装置700和解码装置800之间确定适当数量即可。

实施例3

图11是表示实施例3所涉及的解码装置1100构成的方框图。该解码装置1100由内核解码部102、频谱加法部103及扩展解码部1101构成。扩展解码部1101包括周期检测部105、解码部1102及谐波生成部1103。实施例3与实施例1及实施例2不同点在于，向扩展解码部1101的输入是频谱信息和编码串。从而，以下对扩展解码部1101的动作进行说明。

输入到扩展解码部1101的编码串是将由内核解码部102解码的频带(低频带)的频谱信息进行各多个汇总的相当于波段平均振幅的系数(波段增益)。将该编码串输出到解码装置1100的也可以是现有编码装置300。扩展解码部1101的解码部1102对所输入的编码串进行解码。读出低频带上的各波段的波段增益，选择其中适当的波段增益，或者计算对应于高频带的各波段的波段增益。例如在低频带，选择表示谐波结构的局部峰值所属的波段的波段增益，作为高频带的各波段的平均振幅。或者，划分成使低频带对应于高频带的更大的新的波段，将表示谐波结构的局部峰值所属的波段的波段增益，在对应于高频带的新的波段内进行平均，作为高频带的各波段的平均振幅等。输入到扩展解码部1101的频谱信息是由内核解码部102解码的频谱信息，在周期检测部105上从该频谱信息抽出谐波结构(谐波周期T)。谐波结构的抽出与实施例1中所述的方法相同。在谐波生成部103中输出扩展频谱信息中具有由周期检测部105检测的谐波周期T、及具有将从解码部1102得到的波段增益作为高频带上的各波段的平均振幅的谐波结构。

这样，在本实施例3的解码装置1100中，由于根据从编码串得到的低频带波段的波段增益生成扩展频谱信息，所以在编码装置内不需要设置检测未编码的高频带频谱信息中的波段增益的新构成，并且可以从少信息量的编码串得到宽频带、更自然的重放音。

在上述实施例3中，从扩展解码部1101输入的编码串中，是将多个频率信息作为1个波段处理，读出相当于对该波段的平均振幅的系数的波段增益，但是也不一定需要在扩展解码部1101中读出，也可以在解码装置1100的前级设置从输入编码串中抽出波段增益的处理部。

另外，在上述实施例3中，是将从编码串中得到的低频带的波段增益作为高频带上各波段的平均振幅，但是本发明并不限于此，也可以如实施例2那样，从由编码装置700所生成的编码串中直接取得高频带的波段增益。

在上述实施例3中，扩展解码部1101从低带频谱信息中抽出谐波结构，并将从编码串中得到的低频带的波段增益作为高频带上的各波段的平均振幅，生成了扩展频谱信息，但是本发明并不限于此，也可以与上述一样将低频带频谱信息及编码串作为输入，生成与低频带同样的扩展频谱信息。这时不需要周期检测部105。

具体来说，从输入到扩展解码部1101中的编码串所得到的信息，是相当于使由内核解码部102解码的频带(低频带)的频谱信息进行每多个汇总的波段的平均振幅(波段增益)的系数g(j)。频谱信息是由内核解码部102解码的频谱信息sp(j)。在谐波生成部1103中，从该频谱信息sp(j)作成由式3表示的规格化的频谱信息nor_sp(i)。所谓规格化的频谱信息是汇总多数频谱信息sp(j)，构成1个波段，保持波段内的频谱信息的相位、及相对的振幅值，将波段内的频谱能量假定为“1”。

$\mathrm{ng}\left(j\right){=}_{\mathrm{\Σ}}\frac{1}{\mathrm{sp}\left(i\right)*\mathrm{sp}\left(i\right)}$ -------(式2)

nor_sp(i)＝ng(j)*sp(i)-------(式3)

在式2中，sp(i)是第i个频谱信息的值，ng(j)是波段j上的频谱信息的能量，规格化系数。另外，nor_sp(i)是规格化的频率信息。当相当于由解码部1102对编码串进行解码得到的波段的平均振幅的值为g(j)时，扩展解码部1101的输出扩展频谱信息ex_sp(i+ex_offset)由式4表示。

ex_sp(i+ex_offset)＝g(j)*nor_sp(i)-----(式4)

在式4中，ex_offset是表示频谱信息和扩展频谱信息间的频率偏移的值(整数值)。例如当频谱信息是由512条构成的频谱信息时，如果ex_offset固定选出“512”，则可以在高频带最大生成512条扩展频谱信息。并可以在频率轴上对低频带的频谱信息和扩展频谱信息进行相加，得到1024条输出频谱信息。ex_offset既可以是固定值，也可以是可变的。在上述的例子中，从输入到扩展解码部1101的编码串得到的信息是对低频带频谱信息进行多数汇总的相当于波段平均振幅(波段增益)的系数g(j)，但是这时也可以从所输入的编码串取得对应于高频带的各波段的波段增益g(j)。另外，如上例所述，当采用低频带的各波段的波段增益g(j)时，也可以不将低频带的波段增益g(j)直接使用于高频带的各波段，而是乘以规定系数进行调整后，作为对高频带的各波段的波段增益使用。另外，此处是从低频带频谱信息求出规格化的频谱信息nor_sp(i)，但是本发明并不限于此例，例如也可以在高频带上的周期峰值的频谱信息之间，随机产生作为波段内频谱信息平均能量为g(j)的频谱信息进行插补，生成扩展频谱信息。

根据这样构成的解码装置1100，由于采用以编码串得到的波段增益、及由内核解码部102所解码的频谱信息，可以在高频带生成与低频带同样的频谱信息，所以从少信息量的编码串中得到更宽频带的重放音。

实施例4

图12是表示对从多相滤波器群的滤波器输出的时间频率信号进行解码的实施例4所涉及的解码装置1200构成的方框图。实施例4的解码装置1200在采用从多相滤波器群等的滤波器所输出的时间频率信号进行离散音频信号的解码这一点，与上述实施例1～3不同。解码装置1200包括内核解码部1201、频谱加法部1202及扩展解码部1203。另外，扩展解码部1203具有解码部1204及谐波生成部1205。另外，对于本实施例4的解码装置1200，在输出上述编码位流的编码装置中，需要相当于图7所示的编码装置700中的谐波结构解析部701的新的构成，例如周期性解析部。在本实施例4的周期性解析部中，从高频带波段的时间频率信号中、解析高频带波段的频谱值时间变化上的周期性，抽出高频带波段的波段增益信息g、同期信号T、及相位信息offset，在编码位流内，如果根据规格，在被现有的解码装置跳读的区域中，对抽出的上述频谱值的时间变化上表示周期性的各信息进行编码存放。另外，在实施例4的编码装置中，对多相滤波器群等的滤波器输出进行编码这一点与图7中所示的编码装置700不同。

在上述构成的解码装置1200中，内核解码部1201从所输入的编码位流中对多相滤波器群的滤波器输出的低频带时间频率信号进行解码。扩展解码部1203从输入编码串中对高频带波段的时间频率信号的频谱值时间变化中所表示周期性的参数进行解码，并根据所解码的参数，生成在高频带上频谱值时间变化中具有周期性的扩展时间频率信号。解码部1204在输入到扩展解码部1203的编码位流中，如已经说明的那样，在内核解码部1201从跳读的区域抽出对应于高频带各频率波段(以下称“波段”)的参数的波段增益信息g、周期信息T、相位信息offset进行解码。谐波生成部1205根据所解码的上述频谱值时间变化中表示周期性的各参数，在高频带上生成扩展时间频率信号。频谱加法部1202对从内核解码部1201和扩展解码部1203分别输入的低频带时间频率信号和高频带的扩展时间频率信号进行相加，生成输出时间频率信号。这样生成的输出时间频率信号是宽频带上附加了扩展时间频率信号的宽频带时间频率信号，并且通过在该解码装置1200后级设置的多相滤波器群反变换部，变换成时间轴上的离散音频信号。

一般来说，在音频信号的编码中采用下面的方法。①使所输入的离散音频信号直接以时间区域的信号，采用各种滤波器处理，对其参数进行量化编码。②如MDCT变换那样，以帧为单位，将时间区域的信号一起直交变换成频谱，对该频谱进行量化编码。③采用多相滤波器群，将信号分割成多数波段，对各波段使表示该波段频谱时间变化的信号进行量化编码等。由于多相滤波器群对业内人士是人所共知的，故以下采用图13进行简单说明。

图13是表示时间轴上离散音频信号和时间频率变换后的频谱信息图。图13(a)是表示时间轴上的离散音频信号的图。图13(a)横轴表示时间经过，而纵轴表示音频信号的强度。图13(b)是表示采用MDCT对时间轴上的离散音频信号一起进行频率变换所得到的频谱图。图13(b)横轴表示频率变化，纵轴表示频谱信息的振幅(频谱值)。图13(c)是从时间轴上的离散音频信号中用多相滤波器群所得到的多个波段频谱时间变化的图。图13(c)横轴表示时间经过，纵轴表示频谱信息的振幅(频谱值)。在图13(b)中所示的频谱可从图13(a)中所示的时间轴上的离散音频信号中，按每个帧时间分出1帧量的取样，例如1024取样，并对所分出取样，例如1024取样一起进行直交变换所得到。从而，图13(b)中所示的频谱波形例如是将1024取样的频谱信息的各频谱值按频率、振幅平面进行分块，并将各点连接得到的。

对此，为了得到图13(c)中所示的时间频率信号，对1帧时间进行(M+1)分割(其中，M为自然数)，按每个所分割的1/(M+1)帧时间，从图13(a)中所示的时间轴上的离散音频信号中例如分出1024/(M+1)个取样。然后对所分出的1024/(M+1)个取样进行直交变换，例如进行MDCT。从而1帧时间中可得到(M+1)个频谱。该(M+1)个频谱的每一个，与图13(b)中所示的频谱一样，表示将取样频率一半的频率作为最大频率的重放频带。在图13(c)中所示的时间频率信号是再从所得到的(M+1)个各频谱中抽出同一频率的频谱信息，将所抽出的各频谱信息按时间·振幅平面进行分块，连接其各点得到的。从而，这时每1帧可得到(M+1)个时间频率信号。该时间频率信号的各波形表示各波段的频谱时间变化。从而，例如当切除输入编码串中我包含的频谱信息的高频带时，如该图所示，在高频带上的波段M中不表现频谱的波形，而是表示为固定值“0”。这样的时间频率信号是从多相滤波器群的输出信号。

如上述所生成的表示时间频率信号的编码串，输入到解码装置1200的内核解码部1201，根据该编码串所包含的频谱信息，对音频信号进行解码。如上所述，很容易将多相滤波器群的输出信号变换成时间轴上的音频离散信号。在此，例如在对由取样频率44.1kHz取样的离散音频信号进行编码所得到的频谱信息中，包含有输入到内核解码部1201的编码串中频带0～11.025kKz之前的低频带上的从波段0到波段K的时间频率信号所表示的频谱信息。

扩展解码部1203从所输入的编码位流的上述区域，抽出高频带时间频率信号的频谱值时间变化中表示周期性的参数，根据所抽出的上述参数，生成表示11.025kKz以上的高频带波段的扩展时间频率信号。图14是表示由图12中所示的谐波生成部1205所生成的高频带时间频率信号的图。在扩展解码部1203中解码部1204从编码位流中抽出编码串中所包含的频谱值的时间变化中表示周期性的参数，例如相当于周期性的周期信息T、相当于增益的增益信息g及时间频率信号波形的偏移信息offset，进行编码。此处为简单说明起见，由解码部1204所抽出的上述参数T、g、offset，对高频带上的各波段为1组的情况进行说明。谐波生成部1205，例如对应于图14中所示的波段M的时间频率信号那样，对高频带上的各波段生成由周期T、振幅g及相位offset的余弦函数g*cos(T*t/2π+offset)表示的扩展时间频率信号。

这样，根据上述实施例4的解码装置1200，由于采用多相滤波器群的滤波器输出，生成对应于高频带波段的扩展时间频率信号，所以尽管所输入的音频编码串信息量少，也可以重放宽频带、音质优良，且跟踪原音急骤变化的音频信号。

在此是采用余弦函数生成高频带上的各波段的扩展时间频率信号，但是本发明并不限于此，也可以采其他的函数。另外，由解码部1204所抽出的周期信息、增益信息、及偏移信息等，不一定是1组，也可以在1个波段上有多个。例如，在生成1个波段的时间频率信号时，也可以在预先确定的时间区间，生成不同组的周期性信息T、增益信息g、及相位信息offset表示的频谱值时间变化中的具有周期性的时间频率信号。

在上述实施例4中，扩展解码部1203是从输入编码串中得到高频带波段的时间频率信号频谱值时间变化中表示周期性的参数T、g、offset的，但是本发明并不限于此，也可以从内核解码部1201的解码结果的低频带波段的时间频率信号中，抽出频谱值的时间变化中表示周期性的参数T、g、offset的全部或一部分。下面对从解码部1201的解码结果的低频带时间频率信息中得到周期信息T的情况进行说明。图15是表示采用多相滤波器群的滤波器输出的实施例4所涉及的另一解码装置1500构成的方框图。解码装置1500包括内核解码部1201、频谱加法器1202、及扩展解码部1501。扩展解码部1501还包括解码部1204、周期检测部1502、及谐波生成部1503。扩展解码部1501从输入编码串中取得高频带上的各波段的增益信息g，从内核解码部1201输出的低频带时间频率信息中取得低频带上的各波段的周期Tp及相位offset，生成高频带上的各波段的扩展时间频率信号。周期检测部1502从低频带波段的时间频率信号中，采用与实施例1的周期检测部1502同样的方法，检测其周期Tp及相位offsetp。谐波生成部1503采用由周期检测部1502所检测的周期Tp及相位offsetp，生成高频带波段的时间频率信号。

图16是表示低频带波段的时间频率信号及由谐波生成部1503所生成的高频带波段的扩展时间频率信号一例的图。在图16中，从波段O到波段K的低频带时间频率信号，与图13(c)及图14中所示的时间频率信号相同。谐波生成部1503利用从波段0到波段K的适当波段，例如波段P的时间频率信号，生成比波段K大的频带波段，例如波段M的时间频率信号。这样的波段P例如在某个帧的低频带，当时间频率信号单位时间的平均振幅大的波段以一定频率间隔出现时，在以该频率间隔出现的波段中，选择最接近波段M的一个。另外，采用该波段P的时间频率信号，作为生成扩展时间频率信号的波段M，只在从波段P到隔着上述频率间隔的高频带上选择。谐波生成部1503对由周期检测部1502检测的低频带波段P的时间频率信号上的周期性Tp，以规定的系数α进行α倍调整，以该波段P的时间频率信号的偏移offsetP的位置为开头，在波段M上生成具有周期α*Tp的时间频率信号。此外，谐波生成部1503根据增益g对振幅进行调整，生成波段M的时间频率信号。此处，当α＝1时，只是转放，以波段P的信号的offsetp的位置为开头，拷贝到波段M中。当波段P及波段M的时间频率信号的长度为L时，在波段M上拷贝长度为α*L的时间频率信号，但是在波段M中，由图中虚线表示的从开头到offsetp的部分的信号是不够的。因此，波段M中的offsetp量的信号，以波段P的信号周期性重复为前提，拷贝从波段P开头到offsetp位置的信号等进行插补。

如上所述，在编码及解码的过程中，即使是采用多相滤波器群等的滤波器输出时，各频带的信号也可以通过利用以一定周期使强弱重复的性质，应用实施例1～3的编码及解码方法，从低频带成分复原高频带成分，可以在解码装置中重放宽频带的音频信号。这样构成的解码装置可以从少信息量的编码串中从得到宽频带的重放音。

由内核解码部102解码的信号既可以是容易收听的时间轴上的音频离散信号，也可以是频谱，也可以是从多相滤波器群的滤波器输出。这些都可以通过变换或者由滤波器处理进行相互变换。

图17是表示本发明的编码装置、解码装置及具有本发明的解码装置的移动电话机外观的图。在该图中，在PC卡1600上安装了作为硬件实现本发明时的编码装置及解码装置的电路板的音频信号的编码串及解码专用的LSI等。将该PC卡1600插入STB或通用个人计算机1603的图中未画出的卡槽中，通过进行音频信号的编码及解码，与现有技术相比可以重放更宽频带的音频信号。

在CD1601中存放作为软件实现本发明时的编码装置及解码装置的编码程序及解码程序，将该CD1601装在个人计算机1603的CD驱动器1602上，这样，根据起动程序进行音频信号的编码及解码，与现有技术相比，可以重放更宽频带的音频信号。

在移动电话机1604中安装有用硬件实现本发明时的解码装置的音频信号解码专用的LSI。当在该移动电话机1604上，接收由本发明的编码装置编码的音频信号时，即使是低的位速率的传输线路，也可以用比较少的数据量传输编码位流，可以比具有现有解码装置的移动电话机，重放更宽频带、更自然的音频信号。

产业上利用的可能性

本发明所涉及的编码装置可作为包含BS及CS的卫星广播的广播局具有的音频编码装置使用；还可作为通过因特网等通信网络分配内容的内容分配服务器的音频编码装置使用；以及由通用计算机执行的音频信号编码用的程序使用。

另外，本发明所涉及的解码装置不仅可作为家庭STB所具有的音频解码装置，而且可作为重放音频信号的移动电话机，作为由通用计算机执行的音频信号解码用的程序，及作为STB或通用计算机中具有的音频信号解码专用的电路板、LSI等，还作为插入STB或通用计算机中的IC卡使用。

Claims (26)

1.一种解码装置，从所输入的音频编码串中生成频谱信息，其特征在于包括：

内核解码装置，对所输入的上述编码串进行解码，生成表示音频信号的第1频谱信息；及

扩展解码装置，根据上述第1频谱信息，在未由上述编码串表示的频带上，生成表示谐波结构的第2频谱信息，该谐波结构与在频率轴上延长了上述第1频谱信息所表示的谐波结构的谐波结构相等。

2.如权利要求1所述的解码装置，其特征在于：

上述扩展解码装置包括：

谐波结构解析部，对上述第1频谱信息表示的谐波结构的周期进行解析；及

谐波生成部，根据上述解析结果生成表示谐波结构的第2频谱信息，该谐波结构具有在上述第1频谱信息中所检测的周期。

3.如权利要求2所述的解码装置，其特征在于：

上述谐波结构解析部利用上述第1频谱信息的自相关函数对谐波结构的上述周期进行检测。

4.如权利要求2所述的解码装置，其特征在于：

上述谐波生成部在低频带的频谱信息的上述第1频谱信息的频率轴延长上的高频带上，生成具有规定振幅的上述第2频谱信息。

5.如权利要求2所述的解码装置，其特征在于：

上述谐波结构解析部还检测表现上述第1频谱信息表示的谐波结构的谐波波形、及谐波偏移，该谐波偏移为用于使上述第2频谱信息表示的谐波结构与上述第1频谱信息表示的谐波结构连续的、上述第2频谱信息的相位偏移；

上述谐波生成部生成由在上述第1频谱信息中所检测的上述周期、谐波波形及谐波偏移所表现的上述第2频谱信息。

6.如权利要求5所述的解码装置，其特征在于：

上述谐波结构解析部，从上述第1频谱信息中的1个峰值到相邻的峰值的频率宽度中检测上述周期，从上述谐波结构的1周期振幅变化的形状中检测上述谐波波形，从在上述第1频谱信息中检测出表示上述谐波结构的频率最高峰值的上述周期中检测上述谐波偏移。

7.如权利要求6所述的解码装置，其特征在于：

上述谐波结构解析部，通过对从上述第1频谱信息的1个峰值到相邻峰值的频率间隔中表示上述第1频谱信息振幅变化的上述谐波波形，以函数进行近似，来检测谐波波形。

8.如权利要求7所述的解码装置，其特征在于：

上述谐波结构解析部通过对上述谐波波形以余弦函数进行近似来检测谐波波形。

9.如权利要求1所述的解码装置，其特征在于：

所述扩展解码装置，从所输入的上述编码串中，在上述第1频谱信息的频率轴延长上的频带上，对表示音频信号的频谱信息所表示的有关振幅的信息进行解码；及

根据上述有关振幅的信息，生成上述第2频谱信息。

10.如权利要求9所述的解码装置，其特征在于：

上述有关振幅的信息，是对于未在所输入的上述编码串中表示的上述第1频谱信息延长上的高频带的频谱信息，以多条频谱信息为1个波段，表示上述波段内频谱信息平均能量的波段增益信息；

上述扩展解码装置生成使上述波段内的上述第2频谱信息的平均能量与上述波段增益信息中所表示的平均能量一致的第2频谱信息。

11.如权利要求10所述的解码装置，其特征在于：

上述扩展解码装置生成具有规定周期的上述第2频谱信息。

12.如权利要求10所述的解码装置，其特征在于：

上述解码装置还包括谐波结构解析装置，对上述第1频谱信息的谐波结构进行解析，并输出表示上述谐波结构的参数；

上述扩展解码装置根据上述有关振幅的信息及上述参数，生成上述第2频谱信息。

13.如权利要求12所述的解码装置，其特征在于：

上述谐波结构解析装置输出表示上述多个第1频谱信息峰值周期性的参数；

上述扩展解码装置根据上述表示周期性的参数，生成使上述波段内的平均能量与上述波段增益信息中所表示的平均能量一致、且具有与上述第1频谱信息表示的谐波结构在频率轴上延长了的谐波结构相等的谐波结构的第2频谱信息。

14.如权利要求9所述的解码装置，其特征在于：

上述解码装置还包括谐波结构解析装置，对上述第1频谱信息的谐波结构进行解析，并输出表示上述谐波结构的参数；

上述扩展解码装置根据上述有关振幅的信息及上述参数，生成上述第2频谱信息。

15.一种解码装置，从所输入的音频编码串中生成频谱信息，其特征在于包括：

生成第1频谱信息的内核解码装置，对所输入的上述编码串进行解码，在多相滤波器群的输出的每个频带上，生成表示在同一频带上所属的频谱信息时间变化的音频时间频率信号的第1频谱信息；及

扩展解码装置，根据上述第1频谱信息频带成分的上述时间频率信号，在未由上述编码串表示的频带上，生成表示上述第1频谱信息所具有的时间周期性的该频带时间频率信号的第2频谱信息。

16.如权利要求15所述的解码装置，其特征在于：

上述扩展解码装置包括：

周期性分析部，对上述第1频谱信息的上述时间频率信号表示的时间周期性进行分析；及

谐波生成部，根据上述分析结果，生成具有在上述第1频谱信息中所检测的时间周期性的上述第2频谱信息。

17.如权利要求16所述的解码装置，其特征在于：

上述周期性分析部，当在上述第1频谱信息中以一定频率间隔出现平均振幅大的上述时间频率信号时，选择该时间频率信号中的一个，分析上述时间周期性；

上述谐波生成部在未由上述第1频谱信号表示的高频带，即从所选择的上述时间频率信号表示的频带，到在频率轴上相当于以上述一定频率间隔延长的频带上，生成具有上述时间周期性的时间频率信号的第2频谱信息。

18.如权利要求17所述的解码装置，其特征在于：

上述谐波生成部通过将由上述周期性分析部所选择的上述时间频率信号，从所选择的上述时间频率信号所表示的频带，拷贝到相当于在频率轴上以上述一定频率间隔延长上的高频带的上述频带上，生成上述第2频谱信息。

19.一种编码装置，从音频信号的频谱信息中生成编码串，其特征在于包括：

内核编码装置，对所输入的上述频谱信息进行编码，生成音频编码串；及

扩展编码装置，从所输入的上述频谱信息，对于未由上述内核编码装置进行编码的频带的频谱信息，对该频谱信息有关振幅的信息进行编码。

20.如权利要求19所述的编码装置，其特征在于：

上述扩展编码装置，对于未由上述内核编码装置进行编码的频带的频谱信息，以多个频谱信息为1个波段，对表示波段内的频谱信息所示振幅的波段增益信息进行编码。

21.如权利要求20所述的编码装置，其特征在于：

上述扩展编码装置对作为上述波段增益信息，相当于上述波段内频谱信息表示的平均能量的信息进行编码。

22.如权利要求19所述的编码装置，其特征在于：

上述编码装置还包括流生成部，该流生成部将由上述内核编码装置所编码的上述第1频谱信息，存放在应存放规定的编码串位流内的音频信号的数据区域中，并将由上述扩展编码装置所编码的上述有关振幅的信息，存放在这样的区域，该区域为在上述编码串位流内解码装置即使读取了该数据区域所存放的数据，也未规定由解码装置对所读取的数据进行处理的数据区域，并输出该编码串位流。

23.一种解码方法，从所输入的音频编码串中生成频谱信息，其特征在于包括：

内核解码步骤，对所输入的上述编码串进行解码，生成表示音频信号的第1频谱信息；及

扩展解码步骤，根据上述第1频谱信息，在未由上述编码串表示的频带上，生成表示与上述第1频谱信息表示的谐波结构在频率轴上延长的谐波结构相等的谐波结构的第2频谱信息。

24.如权利要求23所述的解码方法，其特征在于：

在上述扩展解码步骤中，还从所输入的上述编码串中，在上述第1频谱信息的频率轴延长上的频带上，对表示音频信号的频谱信息所表示的有关振幅的信息进行解码；

上述解码方法还包括：

谐波结构解析步骤，对上述第1频谱信息的谐波结构进行解析，并输出表示上述谐波结构的参数；及

谐波生成步骤，根据上述有关振幅的信息和上述参数，在未由上述编码串表示的频带上，生成表示与上述第1频谱信息所表示的谐波结构在频率轴上延长了的谐波结构相等的谐波结构的第2频谱信息。

25.一种解码方法，从所输入的音频编码串中生成频谱信息，其特征在于包括：

内核解码步骤，对所输入的上述音频编码串进行解码，生成表示多相滤波器群的输出，即在每一个频带上同一频带所属的频谱信息时间变化的音频时间频率信号的第1频谱信息；及

扩展解码步骤，根据上述第1频谱信息频带成分的上述时间频率信号，在未由上述编码串表示的频带上，生成表示上述第1频谱信息所具有的时间周期性的该频带时间频率信号的第2频谱信息。

26.一种编码方法，从音频信号的频谱信息生成编码串，其特征在于包括：

内核编码步骤，对所输入的上述频谱信息进行编码，生成音频编码串；及

扩展编码步骤，从所输入的上述频谱信息中，对于未由上述内核编码步骤编码的频带的频谱信息，对该频谱信息有关振幅的信息进行编码。

Images