CN101097716A - 数字信号处理设备、处理方法和再现设备 - Google Patents

Abstract

本发明提供一种数字信号处理设备、处理方法和再现设备。该数字信号处理设备包括检测部、预测部和判断部。检测部用于检测在信号转换处理时可能从处于信号转换处理后的状态下的数字信号中除去了信号成分的信号位置。预测部用于基于解调频带中的处于信号转换处理后的状态下的数字信号的相关部分处的数据，预测由检测部检测到的除去前的信号位置处的数据。判断部用于判断由预测部预测的除去前的信号位置处的数据的绝对值是否低于信号位置处的分辨率，并且采用所预测的除去前的数据作为插值数据。

Description

数字信号处理设备、处理方法和再现设备

技术领域

本发明涉及一种用于处理使用例如频率相关编码等不可逆压缩方法压缩编码的形式的数字音频信号等通过信号转换处理获得的数字信号的设备、方法和程序，以及一种用于再现该数字信号的设备和方法。

背景技术

通过组合“量化(PCM(Pulse Code Modulation，脉冲编码调制)信号)”、使用音频信号的时间连续性的“时间相关编码”、使用人类听觉特性的“频率相关编码”和使用通过所述编码方法获得的编码的出现概率的单侧性(one-sidedness)的“熵编码”来实现音频信号的压缩处理。

通过MPEG(Moving Picture Expert Group，运动图像专家组)系统、ATRAC(Adaptive Transform Acoustic Coding，自适应变换声学编码(注册商标))系统、AC-3(Audio Code Number3，音频编码3型(注册商标))系统、以及WMA(Windows MediaAudio，Windows媒体音频(注册商标))系统等标准化上述压缩技术。目前，通过这种编码系统编码的音频信号广泛用于数字广播、网络音频播放器、便携式电话系统和Web流等。

在压缩处理中，“频率相关编码”对于压缩比和声音质量具有明显影响。“频率相关编码”将量化后的PCM信号从时域信号正交变换成频域信号，确定频区中信号能量的偏差，并使用该偏差进行PCM信号的编码从而提高编码效率。

此外，在“频率相关编码”中，使用心理听觉特性将通过正交变换获得的信号的频带分成几个子带，并对该信号施加一种权重以量化该信号，使得能够比较容易感知的频率子带中的信号劣化最小化，从而改善总的编码质量。

在使用心理听觉特性的编码中，使用绝对可听阈值和依赖于遮蔽效果的相对可听阈值确定校正可听阈值。校正可听阈值用于分割子带中的编码。判断那些声压低于校正可听阈值中较低的一个的频率成分对应于不能被人类感知的声音。在编码时切去或抑制该频率成分。此外，绝对可听阈值在高频带中显示为幅值逐渐上升。因此，与低频带相比，切去或抑制高频带中的频率成分要多一些。

MPEG系统积极采用使用心理听觉特性的音频信号的压缩方法。通过编码器制造者的技术能力确定音频信号的编码趋势。然而，对于采用MPEG系统的数字广播的音频信号，同样确认以下的当前状况：通过上述编码处理，切去或抑制频率高于特定频率的所有高频信号，或者同样在可听频带内，切去或抑制特定分割频带中的所有信号。特别在以低比特率压缩音频信号的情况下，由于可用于编码的比特数少，因而通过上述方法切去了大量信号。

作为相关技术，存在用于解决由这种压缩编码的信号劣化引起的声音质量劣化的问题的几个对策。例如，日本特开2002-171588号公报“Signal interpolation device，signalinterpolation method and recording medium(信号插值装置、信号插值方法和记录介质)”(以下称之为专利文献1)公开了一种关于使用现有音频信号(插值对象信号)对高频成分进行插值的方法的技术。

特别地，利用可变带通滤波器(BPF)从插值对象信号内提取第一频带内的成分。然后，将来自可变频率振荡器的逻辑振荡信号与第一频带内的成分混合，以在比插值对象信号所占的频带高的频带侧形成第二频带的插值信号。然后，将插值信号和插值对象信号的和信号作为输出信号输出。

日本特开2001-35688号公报“Device and method forfrequency interpolation and recording medium(用于频率插值的装置和方法以及记录介质)”(以下称之为专利文献2)公开了一种根据使用带宽限制后的原始信号获得的调制波来重建接近该原始信号的信号的技术。特别地，通过分析器将PCM信号转换成频谱。然后，从包括通过均等地分割频谱所获得的频带中的最高频率的基准频带与其它频带的组合中，通过频率插值处理部指定在对基准频带和其它频带中的一个进行标准化的情况下显示出频谱分布的最高相关性的组合。

然后，通过插值频带相加部估计PCM信号的包络线，并且通过频率插值处理部对具有与包括在所指定的组合中的基准频带的频谱分布相同的分布的频谱进行比例调整(scale)，从而符合包络线函数。然后，通过频率插值处理部将比例调整后的频谱与相对于基准频带的高频侧相加。然后，通过合成器生成提供结果频谱的信号以重建接近原始信号的信号。

日本特开2002-073096号公报“Frequency interpolationsystem，frequency interpolation device，frequency interpolationmethod，and recording medium(频率插值系统、频率插值装置、频率插值方法和记录介质)”(以下称之为专利文献3)公开了一种方法，该方法在编码原始信号时预先记录丢失信号的信息，并在解码时使用所记录的信息在保持声音质量的同时解码原始信号。

专利文献1、2和3中所公开的技术有效解决了声音质量劣化的问题。

发明内容

然而，专利文献1和2中所公开的技术在以下点是不令人满意的。特别地，在如图1A中的虚线所示的在作为解码处理的对象的低频带和中频带中的特定部分切去或抑制作为通过压缩编码形成的数字音频信号的现有音乐信号本身的情况下，即使使用切去或抑制状态中的音频信号来生成高频信号，所生成的高频信号也包括如图1B中的虚线所示的切去或抑制的部分。

同时，专利文献3中所公开的技术需要对编码器和解码器通用的算法。这产生了如下限制：编码处理和解码处理应当在同一设备内进行。因此，认为该技术不适合于通用。

根据本发明的实施例，提供一种包括检测部、预测部和判断部的数字信号处理设备。检测部用于检测在信号转换处理时可能从处于信号转换处理后的状态下的数字信号中除去了信号成分的信号位置。预测部用于基于估计与所述信号位置具有相关性的、解调频带中的处于信号转换处理后的状态下的数字信号的相关部分处的数据，预测由检测部检测到的除去前的信号位置处的数据。判断部用于判断由预测部预测的除去前的所述信号位置处的数据的绝对值是否低于所述信号位置处的分辨率，并且当所述绝对值低于所述分辨率时，采用所预测的除去前的数据作为插值数据。

在该数字信号处理设备中，检测部检测可能从通过处理对象的信号转换处理形成的数字信号中除去或切去了信号成分的信号位置。然后，预测部基于估计与该信号位置具有相关性的、该数字信号的相关部分处的数据，预测该信号位置处的数字信号成分或数据。

之后，判断部判断由预测部预测的该信号位置处的数据的绝对值是否低于该信号位置处的分辨率，以判断是否采用该信号位置处的数据作为插值数据。特别地，如果所预测的数据的绝对值等于或高于该分辨率，则应该没有除去该数据，因此，判断部判断出生成失败，并且不采用该数据作为插值数据。然而，如果所预测的数据低于该分辨率，则由于该数据可能为除去的数字信号成分的可能性高，因而判断部采用所预测的数据作为插值数据。

因此，可以通过预测在信号转换处理时可能已被除去的数字信号成分，并且只有当预测除去了该数字信号成分的可能性高时，才采用该数字信号成分作为插值数据，来进行通过信号转换处理形成的数字信号的重建处理。因此，即使处于信号转换处理后的状态下的数字信号包括在信号转换处理时已被除去的信号成分，也可以将除去的信号成分的影响抑制到最小。因此，可以重建质量提高的数字信号。

优选地，预测部基于通过信号转换处理形成的解调频带内的现有数字信号成分，预测除去前的所述信号位置处的数据。

在该数字信号处理设备中，预测部根据通过信号转换处理形成的解调频带内的现有数字信号成分，预测在压缩编码处理时可能已被除去的除去前的该信号位置处的数据。

因此，可以根据通过信号转换处理获得的解调频带中的现有数字信号，重建可能已经除去了数字信号成分的信号位置处的数字信号成分。因此，即使通过信号转换处理形成的数字信号包括在信号转换处理时已被除去的信号成分，也可以适当预测可能已被除去的数据，使得可以使用该数据作为插值数据。因此，可以将除去的信号成分的影响抑制到最小，并且可以重建质量提高的数字信号。

优选地，该数字信号处理设备还包括添加部，该添加部用于根据在利用预测部所预测的除去前的除去位置处的数据中的判断部所采用的数据对数字信号进行插值之后、通过信号转换处理形成的解调频带中的数字信号成分，来重建高于解调频带的频区中的频率成分，并添加所重建的频率成分。

在该数字信号处理设备中，添加部根据通过信号转换处理形成的解调频带中的、包括预测部基于通过信号转换处理形成的解调频带中的现有数字信号成分预测的除去前的数据且被判断部采用作为插值数据的数字信号成分，来重建在信号转换处理时已被除去的较高频区中的频率成分。然后，将该频率成分添加到处理对象的数字信号。

因此，不仅考虑到通过信号转换处理形成的解调频带中的现有数字信号成分，而且还考虑到在信号转换处理时已经从通过信号转换处理形成的调制频带中的现有数字信号中除去了数字信号成分的信号位置处的数字信号成分，来重建在信号转换处理时已被除去的例如较高频区中的数字信号成分。因此，可以提高通过信号转换处理获得的数字信号的质量。

可以将该数字信号处理设备配置成还包括添加部，该添加部用于根据通过信号转换处理形成的解调频带中的现有数字信号成分，来重建高于解调频带的频区中的频率成分，并添加所重建的频率成分。检测部将由添加部添加了高于解调频带的频带中的信号成分的数字信号设置为处理对象。

在该数字信号处理设备中，添加部首先根据通过信号转换处理形成的解调频带中的现有数字信号成分，重建在信号转换处理时已被除去的较高频区中的频率成分，并添加所重建的频率成分。因此，形成对高频区、中频区和低频区的所有频带中的数字信号成分进行了压缩编码的状态下的数字信号。

然后，根据由此形成的信号转换处理后的状态下的所有频带中的数字信号，检测在信号转换处理时可能已经除去了数字信号元素的信号位置。然后，由预测部预测除去前的该信号位置处的数据。然后，如果判断部采用所预测的数据，则提供使用所预测的数据作为插值数据的信号转换处理后的状态下的数字信号。

因此，通过将高频区中的数字信号成分添加到通过信号转换处理形成的中频区和低频区的解调频区中的现有数字信号成分，可以重建高频带、中频带和低频带的所有频带上的包括可能已被除去的那些数字信号成分的数字信号。因此，可以高质量重建通过信号转换处理形成的数字信号。

总之，利用该数字信号处理设备，即使处理对象的数字信号包括在信号转换处理时已被除去或切去的信号成分，也可以预测并生成在信号转换处理时所除去的信号元素，并使用该信号元素作为插值数据。因此，可以高质量地恢复信号转换处理后的状态下的数字信号，并使用该数字信号。

此外，利用该数字信号处理设备，可以在无需分开存储和保持在信号转换处理时已经从处于信号转换处理后的状态下的数字信号中除去或切去的信号成分的情况下，处理通过信号转换处理获得的数字信号。

更特别地，即使通过压缩编码处理获得的数字音频信号包括在压缩编码处理时已被除去或切去的信号成分，也可以预测并生成在压缩编码处理时除去了该信号成分的信号位置处的数据，使得可以使用该数据作为插值数据。因此，可以提高基于压缩编码后的数字音频信号的再现音频的质量。

此外，利用该数字信号处理设备，可以在无需分开存储和保持在压缩编码处理时已经从处于压缩编码后的状态下的数字音频信号内除去或切去的压缩编码后的数字音频信号的信号成分的情况下，处理通过压缩编码处理获得的数字信号。因此，该数字信号处理设备具有高的使用多样性。

根据本发明的另一实施例，提供一种数字信号处理方法，该方法包括：检测步骤，用于检测在信号转换处理时可能从处于信号转换处理后的状态下的数字信号中除去了信号成分的信号位置；预测步骤，用于基于估计与所述信号位置具有相关性的、处于信号转换处理后的状态下的数字信号的相关部分处的数据，预测在检测步骤中检测到的除去前的信号位置处的数据；以及判断步骤，用于判断在预测步骤中预测的除去前的所述信号位置处的数据的绝对值是否低于所述信号位置处的分辨率，并且当所述绝对值低于所述分辨率时，采用所预测的除去前的数据作为插值数据。

根据本发明的另一实施例，提供一种数字信号再现设备，该设备包括：检测部，用于检测在信号转换处理时可能从处于信号转换处理后的状态下的数字信号中除去了信号成分的信号位置；预测部，用于基于估计与所述信号位置具有相关性的、解调频带中的处于信号转换处理后的状态下的数字信号的相关部分处的数据，预测由检测部检测到的除去前的所述信号位置处的数据；判断部，用于判断由预测部预测的除去前的所述信号位置处的数据的绝对值是否低于所述信号位置处的分辨率，并且当所述绝对值低于所述分辨率时，采用所预测的除去前的数据作为插值数据；添加部，用于根据利用判断部所采用的、由预测部预测的除去前的所述信号位置处的那些数据插值的解调频带中的数字信号成分，来重建高于解调频带的频区中的频率成分，并添加所重建的频率成分；重建部，用于对由添加部添加了较高频区中的频率成分的、处于信号转换处理后的状态下的数字信号进行重建处理，以重建信号转换处理前的状态下的数字信号；以及再现部，用于再现由重建部重建的数字信号。

根据本发明的另一实施例，提供一种数字信号再现设备，该设备包括：添加部，用于根据通过信号转换处理形成的解调频带中的现有数字信号成分，来重建高于解调频带的频区中的频率成分，并添加所重建的频率成分；检测部，用于检测在信号转换处理时可能从由添加部添加了较高频区中的频率成分的、处于信号转换处理后的状态下的数字信号中除去了信号成分的信号位置；预测部，用于基于估计与所述信号位置具有相关性的、处于信号转换处理后的状态下的数字信号的相关部分处的数据，预测由检测部检测到的除去前的所述信号位置处的数据；判断部，用于判断由预测部预测的除去前的所述信号位置处的数据的绝对值是否低于所述信号位置处的分辨率，并且当所述绝对值低于所述分辨率时，采用所预测的除去前的数据作为插值数据；重建部，用于对利用由判断部判断的数据插值的、处于信号转换处理后的状态下的数字信号进行重建处理，以重建信号转换处理前的状态下的数字信号；以及再现部，用于再现由重建部重建的数字信号。

附图说明

图1A和1B是示出使用现有音频信号重建高频信号的图；

图2是示出应用本发明实施例的处理设备的框图；

图3A、3B和3C是示出由处理设备的丢失信号重建部所执行的处理的图，特别示出分别以频率和振幅作为横轴和纵轴的MDCT系数的图；

图4A～4E是示出通过AAC系统压缩编码后的且包括帧的MDCT系数的丢失信号成分的数字音频信号的图；

图5是示出在二维坐标系上表示图4所示的五个帧的MDCT系数以生成近似表达式的图；

图6是示出帧的MD CT系数的分辨率和预测值之间的关系的图；

图7是示出由预测生成处理部所执行的预测生成处理的流程图；

图8是示出高频区添加处理部的结构的例子的框图；

图9是示出处理设备的变形例的框图；

图10是示出应用本发明实施例的另一处理设备的框图；

图11A、11B和11C是示出由丢失信号重建部所执行的处理的图；

图12是示出处理设备的变形例的框图；以及

图13A、13B和13C是示出在部分抑制音频信号的情况下的高频信号的重建的图。

具体实施方式

下面，结合附图中所示的本发明的优选实施例来说明本发明。为了简化说明，假定对使用被称为MPEG-2 AAC(运动图像专家组-2高级音频编码)的ISO/IEC13818-7标准的编码系统所编码的音频信号(编码后的音频信号)进行解码。

换句话说，在下述实施例中，MPEG-2 AAC系统的压缩编码处理对应于信号转换处理，通过MPEG-2 AAC系统的压缩编码处理形成的编码后的音频信号对应于通过信号转换处理获得的数字信号。

注意，在下面的说明中，将MPEG-2 AAC简称为AAC。此外，上述ISO是International Organization for Standardization(国际标准化组织)的缩写，IEC是International ElectrotechnicalCommission(国际电工委员会)的缩写。

AAC系统的编码处理的概述

为了简化对根据AAC系统编码的编码后的音频信号的解码处理的说明，概要说明AAC系统的编码处理。AAC系统的音频编码是不可逆压缩，并基于心理声学(psycho acoustics)，通过消除将人类听觉不能感知的区域中的声音转换成数据，来提高压缩效果。根据AAC系统的编码，例如，在双声道音频信号的情况下，即使在约96千比特/秒的传输率下，也可以获得与CD(Compact Disc，压缩光盘)的声音质量相同的声音质量，并且可以获得约1/15(十五分之一)的压缩比。

在根据AAC系统的音频信号的编码系统中，基于心理声学分析的结果进行(1)增益调整处理→(2)自适应块长切换MDCT处理→(3)TNS处理→(4)强度立体声编码处理→(5)预测处理→(6)M/S立体声处理→(7)比例调整处理。然后，重复(8)量化处理和(9)霍夫曼编码处理，直到比特数变得小于所分配的形成编码后的音频数据的比特数后为止。然后，将在处理过程中添加的各种系数等添加给编码后的音频数据以形成编码后的音频信号(AAC比特流)。

下面概要说明特定处理的内容。调整输入的编码处理前的音频信号的增益，对每一预定数量的样本进行分块，并且使用每一块作为一帧进行处理。首先，心理声学分析部对输入帧进行快速傅立叶变换(FFT)以确定频谱，基于该频谱计算听觉的遮蔽，并确定预先设置的每一频带的容许量化噪声功率和被称为帧的感知熵(Perceptual Entropy，PE)的参数。

感知熵对应于量化帧以使听众感知不到噪声所需的总比特数。此外，感知熵具有如下特性，即在如音频信号的起音部分一样信号水平急剧增大的情况下，感知熵具有高值。因此，基于感知熵的值的急剧改变部分来确定MDCT(Modified DiscreteCosine Transform，修正的离散余弦变换)中的转换块长。

MDCT处理将以心理声学分析部所确定的块长输入的音频信号转换成频谱(以下称之为MDCT系数)。需要响应于输入信号自适应地切换转换块长的处理(自适应块切换)来抑制被称为预回声(pre-echo)的有害听觉噪声。

对通过MDCT处理形成的MDCT系数进行TNS(TemporalNoise Shaping，时域噪声整形)处理。TNS处理包括将MDCT系数与时间轴上的信号进行比较的线性预测，以对MDCT系数进行预测滤波。通过该处理，在解码侧通过逆MDCT获得的波形中所包括的量化噪声元素一起聚集在具有高信号水平的信号处。

然后，TNS处理后的MDCT系数经过强度立体声编码，即，使得可以仅通过包括左声道(L声道)和右声道(R声道)的一个耦合声道来传输高频带中的声音的处理。

使用强度立体声编码后的MDCT系数，使得对于每个MDCT系数，根据过去两帧中的量化后的MDCT系数来估计当前的MDCT系数的值，并且确定预测残差。然后，判断是否对预测处理后的MDCT系数进行M/S立体声处理，即，是传输MDCT系数的左声道和右声道的和信号(M＝L+R)及差信号(S＝L-R)、还是单独传输左声道(L声道)和右声道(R声道)的信号。然后，以确定的方式处理预测处理后的MDCT系数。

针对预先设置的每一频带，对M/S立体声处理后的MDCT系数进行分组(比例调整)，使得每一组包括多个MDCT系数，并且以组为单位进行量化。一组MDCT系数被称为比例因子带。根据听觉特性设置比例因子带，使得比例因子带在低频侧窄而在高频侧宽。

在量化处理中，设置目标使得MDCT系数低于心理听觉部所确定的每一比例因子带的容许量化噪声功率来进行量化。量化后的MDCT系数进一步经过霍夫曼编码以降低其冗余度。循环重复执行量化和霍夫曼编码处理，直到实际生成的编码量变得低于分配给帧的比特数为止。

通过这种方式，根据AAC系统的音频信号的编码系统，基于心理声学分析的结果进行(1)增益调整处理→(2)自适应块长切换MDCT处理→(3)TNS处理→(4)强度立体声编码处理→(5)预测处理→(6)M/S立体声处理→(7)比例调整处理。然后，重复(8)量化处理和(9)霍夫曼编码处理，直到比特数变得小于所分配的形成编码后的音频数据的比特数后为止。然后，将在处理过程中添加的各种系数等添加给编码后的音频数据以形成编码后的音频信号(AAC比特流)。

注意，在例如Yutaka TAKATA and Satoshi ASAMI，“A guideto the television technique(电视技术指南)”，Yoneda Shuppan，pp.112～124等各种文献、以及网页等中详细公开了AAC系统的音频编码处理。

此外，增益调整处理、TNS处理、强度立体声编码处理、预测处理和M/S立体声处理是可选处理，而不在所有AAC编码处理中都进行。换句话说，仅当选择了可选处理时，才进行增益调整处理、TNS处理、强度立体声编码处理、预测处理和M/S立体声处理。在下述实施例中，以进行如上所述的可选处理以在压缩编码状态下处理编码后的音频信号的情况为例进行说明。

压缩编码后的数字音频信号的处理设备

现在，说明应用本发明的实施例的数字信号处理设备(以下简称为处理设备)。如上所述，本实施例的处理设备对根据AAC系统编码的音频信号进行解码处理。

在下述根据本发明的优选实施例的处理设备中，通过预测生成在压缩编码时从通过压缩编码形成的数字音频信号内除去、切去或抑制的信号成分，即丢失信号成分，并添加该信号成分以提高源自压缩编码后的数字音频信号的音频的声音质量。下面说明本发明的两个优选实施例，即本发明的第一和第二实施例，在它们之间处理次序不同。

注意，本发明第一和第二实施例的处理设备均典型地适用于固定型或便携型音频记录和再现设备、或者适用于固定型或便携型音频再现设备。特别地，该处理设备可适用于使用硬盘作为记录介质的硬盘播放器、使用半导体存储器作为记录介质的存储器播放器、使用MD(迷你光盘(注册商标))等磁光盘或DVD等光盘的记录和再现设备或再现设备、以及个人计算机等处理压缩编码后的数字音频信号的各种电子设备。

此外，在下述第一和第二实施例的处理设备中，通过根据AAC系统的编码形成的编码后的音频信号，即数字音频信号，是通过对48kHz采样的PCM信号以MPEG-2 AACLC配置文件的128kbps比特率进行编码或压缩而形成的2ch(双声道)音频信号。

第一实施例

存在以下可能性：在压缩编码后的数字音频信号中，不仅可能切去或抑制了高频侧的音频信号成分，而且还可能消除、切去或抑制了中频区和低频区中的某些音频信号成分。因此，在下述本发明第一实施例的处理设备中，首先从通过压缩编码形成的中频区和低频区中的现有数字音频信号成分中检测可能通过压缩编码已被切去或抑制的信号成分。然后，根据与所检测到的信号成分具有某种相关性的音频信号成分，尤其根据所检测到的信号成分的前后帧的数字音频数据，通过使用预测器、近似表达式或插值多项式的预测，生成即重建可能已被切去的那些信号成分的音频数据即丢失信号。

然后，如果通过与如下帧内的前后音频信号的分辨率等的信息进行比较，判断出预测生成的音频数据是适当的，其中所述帧包括被检测为可能已被切去或抑制的那些信号成分的信号成分，则将所生成的音频数据添加到可能已被切去或抑制的信号成分的信号位置。通过这种方式，将适当的音频信号添加到中频区和低频区中的每一丢失信号位置。然后，使用现有音频信号和通过预测生成并添加的音频数据或丢失信号来重建高频信号成分。

通过这种方式，第一实施例的处理设备在可能已从中频区和低频区的数字音频信号成分中切去或抑制的数字音频信号成分处，进行音频数据的预测和生成。然后，该处理设备使用包括由此生成的音频数据的中频区和低频区中的数字音频数据，在高频区中进行音频数据的生成和添加。下面详细说明第一实施例的处理设备。

参照图2，示出了根据本发明第一实施例的处理设备。所示的处理设备对通过根据AAC系统的编码所形成的编码后的音频信号进行解码处理。该处理设备包括格式分析部11、逆量化(dequantization)处理部12、立体声处理部13、丢失信号重建部14、自适应块长切换逆MDCT部15、以及增益控制部16，作为其主要组件。

逆量化处理部12包括霍夫曼解码部121、逆量化部122和比例重新调整(rescaling)部123。同时，尽管未示出，但是立体声处理部13包括M/S立体声处理部、预测处理部、强度立体声处理部和TNS部。此外，丢失信号重建部14包括预测生成处理部141和高频区添加处理部142。

将比特流形式的解码对象的编码后的音频信号提供给格式分析部11。格式分析部11将提供给其的编码后的音频信号多路分解成MDCT系数以及其它参数和控制信息。将MDCT系数提供给逆量化处理部12的霍夫曼解码部121。

此外，格式分析部11基于从编码后的音频信号的比特流提取的参数和控制信息，形成将提供给处理设备的相关组件的控制信号。如图2中的虚线所示，格式分析部11将控制信号提供给处理设备的相关组件，以控制这些组件的处理。

然后，通过进行在上述AAC编码时所使用的处理的逆处理，进行编码后的音频信号的解码处理。特别地，如上所述，由于将通过格式分析部11多路分解的MDCT系数提供给了逆量化处理部12的霍夫曼解码部121，因而霍夫曼解码部121首先进行霍夫曼解码处理，然后逆量化部122进行逆量化处理，之后比例重新调整部123进行比例重新调整处理以重建与量化前的MDCT系数相同的MDCT系数。

然后，将重建成与量化前的MDCT系数相同的MDCT系数提供给立体声处理部13。尽管未示出，但是立体声处理部13包括如上所述的M/S立体声处理部、预测处理部、强度立体声处理部和TNS部等组件。M/S立体声处理部重建左声道(Lch)和右声道(Rch)的MDCT系数，预测处理部进行预测处理以重建与数据压缩前的MDCT系数相同的MDCT系数。

重建成与数据压缩前的MDCT系数相同的MDCT系数进一步经过强度立体声处理部的强度立体声解码处理，从而还将左声道和右声道的MDCT系数分布到高频区中的声音。此外，TNS部消除预测滤波的影响以重建与在编码时紧挨在MDCT处理后的状态下的MDCT系数相同的那些MDCT系数。

然后，将MDCT系数从立体声处理部13提供给丢失信号重建部14的预测生成处理部141。图3A～3C示出丢失信号重建部14所进行的处理，并以频率作为横轴、以振幅作为纵轴，示出了MDCT系数的状态。

通过压缩编码处理形成了提供给丢失信号重建部14的预测生成处理部141的MDCT系数，并且如图3A所示，该MDCT系数属于中频区和低频区。从图3A可见，在高频区以及如图3A中的虚线所示对用户的听觉影响相对较小的那些信号成分处，切去或抑制了MDCT系数。

因此，预测生成处理部141基于提供给其的MDCT系数，检测在压缩编码时可能已被切去或抑制的那些MDCT系数。特别地，检测值为0的那些MDCT系数。然后，基于包括该MDCT系数的帧的前后帧中的相应MDCT系数，通过预测确定可能已被切去或抑制的MDCT系数的值。该处理对应于可能已被切去或抑制的音频数据的预测生成处理。

然后，如果通过预测生成的MDCT系数低于值为0的MDCT系数的分辨率，则预测生成处理部141采用通过预测生成的MDCT系数作为插值数据。然而，如果通过预测生成的MDCT系数等于或高于该分辨率，则由于切去或抑制这样的值的MDCT系数最初是不适当的，因而预测生成处理部141判断为已经进行了预测但是预测失败。因此，预测生成处理部141不采用通过预测生成的MDCT系数。

通过这种方式，在通过预测生成了可能已被切去或抑制的MDCT系数且该MDCT系数低于该分辨率的情况下，使用该MDCT系数作为插值数据，使得可以生成中频区和低频区中的MDCT系数，即，调制频带中的MDCT系数或音频数据，因为它们低于该分辨率，所以从图3B可见它们包括在切去或抑制的MDCT系数的信号位置处插值的MDCT系数。

将通过这种方式在可能已被切去或抑制的MDCT系数的信号位置处插值的中频区和低频区中的MDCT系数提供给丢失信号重建部14的高频区添加处理部142。例如，高频区添加处理部142使用图3B所示的中频区和低频区的MDCT系数中的图3A所示的范围内的那些MDCT系数来重建在压缩编码时被切去的高频侧的MDCT系数。

在图3A中，示出范围a包括如虚线所示的、在编码时可能已被切去或抑制的那些MDCT系数。然而，通过预测生成处理部141的功能，从图3B可见，对在编码时可能已被切去或抑制的范围a内的那些MDCT系数进行插值。因此，如果使用范围a内的MDCT系数来重建在压缩编码处理中被切去或抑制的高频侧的MDCT系数，则从图3C中的范围b和c可见，可以以高度可靠性重建切去或抑制的频带中的MDCT系数。因此，在图3C所示的MDCT系数中，如以上参照图1所述的可能已被切去的MDCT系数不会照原样保留。

之后，将包括从图3C可见的在高频区中重建的MDCT系数的MDCT系数从高频区添加处理部142提供给自适应块长切换逆MDCT部15。自适应块长切换逆MDCT部15将以频域中的音频信号成分形式提供给其的MDCT系数逆MDCT处理成时间轴域中的音频信号。然后，自适应块长切换逆MDCT部15将音频信号提供给增益控制部16，通过增益控制部16，调整音频信号的增益以重建与编码前相同的时间轴域的原始音频信号，即时间音频信号。从增益控制部16输出该时间音频信号。因此，提供给自适应块长切换逆MDCT部15的编码后的音频信号是频域中的音频信号，从自适应块长切换逆MDCT部15输出的音频信号是时间轴域中的音频信号，即时间音频信号。

通过这种方式，在第一实施例的处理设备中，首先进行从中频区和低频区的编码后的音频信号成分中检测可能已被切去或抑制的音频信号成分、以及预测和生成检测到的音频信号成分处的音频数据。然后，将包括所生成的音频数据的中频区和低频区中的编码后的音频信号成分，即数字音频信号成分用于生成和添加高频区中的音频数据。通过这些处理，可以从编码后的音频信号成分，即压缩编码后的数字音频信号成分，来重建压缩编码前的状态下的高质量的数字音频信号。

在再现重建成与压缩编码前的数字音频信号相同的数字音频信号的情况下，由于与再现使用相关技术中的系统再现的数字音频信号成分的情况相比，减少了通过压缩编码切去的丢失信号成分。因此，可以再现高声音质量的音频。

预测生成处理部141的处理细节

现在，参照图4A～7详细说明该第一实施例的处理设备中的丢失信号重建部14的预测生成处理部141所执行的处理。在第一实施例的处理设备中，将使用最小二乘法生成近似表达式的预测方法作为预测在压缩编码时可能已被切去的那些丢失信号的方法来使用。

如上所述，所使用的压缩编码系统是MPEG-2 AAC系统，其对包括1024个样本的每一帧进行正交变换以获得1024个MDCT系数。通过以一帧为单位压缩MDCT系数来形成AAC编码后的信号。MDCT系数作为频域中的信号来处理，并且一帧中的第0～第1023个MDCT系数对应于频区0～24Hz的音频信号成分(因为使用48Hz采样的音频信号)。纵轴表示振幅。

例如，第100个MDCT系数的系数值表示24000Hz/1024×100＝2343.75Hz处的音频信号。由于MDCT系数的分布表示频区，因而前后帧或一帧内的前后MDCT系数具有相关性。

这里，为了便于说明，以如下情况为例来说明使用适当表达式预测帧[n]的MDCT系数[k]的方法：在根据AAC系统压缩编码特定音乐的音频数据的情况下，作为压缩处理的结果，第n帧(帧[n])的第k个MDCT系数(MDCT系数[k])变成值“0”，即，变成丢失系数。

图4A～4E示出在根据AAC系统压缩编码的数字音频信号中丢失了帧[n]的MDCT系数[k]的情况的概念。在图4A～4E中，示出了如下情况：  当图4C的帧[n]的前后各两帧(图4A、4B、4D和4E)中的MDCT系数[k]存在时，帧[n]的MDCT系数[k]具有值“0”并丢失。

在MDCT系数具有值“0”的情况下，存在如下可能性：在压缩编码处理时可能已经切去了原始音频信号成分，并且原始音频信号成分可能丢失。在该第一实施例的处理设备中，丢失信号重建部14的预测生成处理部141首先检测值为“0”并且在压缩编码时极有可能已被切去的那些MDCT系数，并预测和重建这些位置处的MDCT系数。

图5示出在二维坐标系统上表示图4A～4E中所示的五个帧的MDCT系数[k]以生成近似表达式的情况。假定获取了与帧[n]的MDCT系数[k]相对应的帧[n]的前后各两帧的MDCT系数[k]。此外，用A表示帧[n-2]的MDCT系数[k]，用B表示帧[n-1]的MDCT系数[k]，用C表示帧[n]的MDCT系数[k]，用D表示帧[n+1]的MDCT系数[k]，用E表示帧[n+2]的MDCT系数[k]。

五个点A～E表示五个连续帧内的相同频率位置处的信号。生成这五个点处的最小二乘法的二维多项式，并将其用作近似表达式。从图4A～4E可见，假定已知振幅C＝0，而其它振幅A、B、D和E分别为：A＝5、B＝3、D＝4和E＝5。因此，将信号A～E比作这五个连续点的坐标，并设置成A＝(-2，5)、B＝(-1，3)、C＝(0，0)、D＝(1，4)和E＝(2，5)。然后，使用最小二乘法以确定近似表达式。

根据所确定的近似表达式，确定帧[n]的MDCT系数[k]即C的值的预测值。这里，同样从图5可见，近似表达式为y＝0.93x**2+0.1x+1.54。通过从该近似表达式确定点C的预测值(预测的MDCT系数)，获得C1.54。注意，近似表达式中的“x**2”表示x的平方。

然后，检查点C的预测值即预测的MDCT系数是否合适。图6示出分辨率和帧[n]的MDCT系数[k]的预测值之间的关系。在该第一实施例中，在以如上所述的方式确定的预测值的绝对值低于帧[n]的MDCT系数[k]处的分辨率的情况下，采用该预测值作为帧[n]的MDCT系数[k]。换句话说，采用该预测值作为帧[n]的MDCT系数[k]的音频信号。

另一方面，如果以如上所述的方式确定的预测值的绝对值等于或高于该分辨率，则判断为预测失败，并且不采用该预测值作为音频信号。特别地，在压缩编码时切去或抑制MDCT系数意味着该MDCT系数具有低于分辨率的值，在MDCT系数具有等于或高于分辨率的值的情况下，由于决不切去或抑制该MDCT系数，因而保持MDCT系数丢失的状态。

这里，从图6可见，如果假定帧[n]的MDCT系数[k]处的分辨率为2，则由于预测值C＝1.54低于2，因而采用其作为帧[n]的第k个MDCT系数。如上所述，音频信号丢失意味着原始音频信号的振幅低于分辨率，因此该音频信号不可能用确定的分辨率来表示，而其具有值0。因此，在不失败的情况下采用低于分辨率的预测值在理论上是正确的。

通过这种方式，在该第一实施例的处理设备中，丢失信号重建部14的预测生成处理部141进行如下处理：对每一帧检测在压缩编码时可能已被切去或抑制的信号成分，然后预测和生成MDCT系数作为可能已被切去或抑制的每一丢失信号。

现在，参照图7说明根据第一实施例的处理设备的丢失信号重建部14的预测生成处理部141所进行的预测生成处理。图7是示出预测生成处理部141所进行的预测生成处理的流程图。

首先，说明如下处理：如以上参照图4A～6所述，对每一帧检测在压缩编码时可能已被切去或抑制的那些MDCT系数，然后预测用于校正可能已被切去或抑制的所检测到的MDCT系数的前后各两帧的MDCT系数的值。换句话说，该第一实施例中所使用的预测生成处理通常在定位五个连续帧中间的第三帧(帧[n])的可能已被切去或抑制的MDCT系数的同时，预测该第三帧(帧[n])。

从图7可见，在该第一实施例中，将作为处理对象的帧设置为帧[n]，作为预处理预先获取前后各两帧的所有第0～第1023个MDCT系数(步骤S100)。换句话说，在将切去或抑制的MDCT系数的搜索对象的帧设置为帧[n]的情况下，在图7所示的步骤S100，执行预先获取五个帧(帧[n-2]、帧[n-1]、帧[n]、帧[n+1]和帧[n+2])的MDCT系数的处理。然后，进行从构成帧[n]的第0～第1023个MDCT系数中检测值为0的那些MDCT系数的处理。

特别地，预测生成处理部141首先将值0代入变量k以对变量k进行初始化(步骤S101)。然后，预测生成处理部141判断MDCT系数[k]的值是否为0(步骤S102)。如果通过步骤S102的判断处理判断出MDCT系数[k]的值为0，则由于存在在压缩编码时MDCT系数[k]可能已被切去或抑制并且可能丢失的可能性，因而预测生成处理部141获取在上述步骤S100预先获取的前后各两帧中的相应频率位置处的MDCT系数[k](步骤S103)。

然后，如以上参照图5所述，预测生成处理部141使用包括本帧(帧[n])的MDCT系数[k]和前后各两帧中的相应MDCT系数[k]的五个点处的MDCT系数，通过最小二乘法生成近似表达式(步骤S104)。

然后，预测生成处理部141基于在步骤S104生成的近似表达式预测生成帧[n]中的MDCT系数[k]的值(步骤S105)。然后，预测生成处理部141判断在步骤S105通过预测生成的MDCT系数[k]是否低于预测的频率位置处的分辨率(步骤S106)。

如果通过步骤S106的判断处理判断出通过预测生成的MDCT系数[k]低于该分辨率，则预测生成处理部141采用并记录在步骤S105通过预测生成的MDCT系数[k]，作为帧[n]的MDCT系数[k]的值(步骤S107)。

然后，预测生成处理部141将变量k增加1(步骤S108)，并判断变量k是否低于1024(步骤S109)。如果通过步骤S109的判断处理判断出变量k低于1024，则由于仍未完成对处理对象的帧[n]的所有MDCT系数的处理，因而预测生成处理部141重复从步骤S102开始的步骤的处理。

另一方面，如果通过步骤S109的判断处理判断出变量k不小于1024，则由于结束了对处理对象的帧[n]的所有MDCT系数对象的处理，因而对帧[n]执行高频区添加处理。然后，对再现的处理对象的压缩编码后的数字音频信号的所有帧等执行以上参照图7所述的处理，以对整个数字音频信号重建通过压缩编码而切去或抑制的音频信号成分，使得可以利用该音频信号成分。

高频区添加处理部142的处理细节

现在，说明高频区添加处理部142所执行的高频区添加处理。图8示出第一实施例的处理设备的高频区添加处理部142的结构的例子。参照图8，所示的高频区添加处理部142包括临时存储存储器421、边界频率检测部422、添加频带确定部423、高频信号生成部424和高频信号合成部425。

如上所述，从作为可能已被切去或抑制的MDCT系数通过预测生成处理部141的预测生成的MDCT系数中，将低于该分辨率且将被添加的中频区和低频区中的那些MDCT系数以帧为单位临时存储在高频区添加处理部142中。

边界频率检测部422连续读出以帧为单位临时存储在临时存储存储器421中的MDCT系数，并检测边界频率(下限侧边界频率)，其中切去或抑制了超过该边界频率的整个高频区中的所有MDCT系数。通常，边界频率常常依赖于比特率。尽管由于编码规范依赖于编码器制造者的技术能力，因而编码规范不统一，但是存在如下趋势：例如，在使用196kbps的比特率来编码(encoding)的情况下，边界频率接近20kHz，而在使用128kbps的另一比特率来编码的情况下，边界频率接近16kHz，在使用64kbps的又一比特率的情况下，边界频率接近14kHz。

在本实施例的处理设备中，由于通过128kbps比特率的压缩编码来获得信号处理对象的编码后的音频信号，因而可以检测或指定边界频率约为16kHz。换句话说，可以将通过本实施例的处理设备解码的编码后的音频信号指定为约16kHz或更高的高频区中的已被切去或抑制然后劣化的音频信号。

添加频带确定部423确定带宽，在该带宽内，将高频信号成分添加在高于边界频率的高频区中。在本实施例中，在边界频率等于或高于15kHz的情况下，将高频信号成分添加在高于边界频率的整个频区中。注意，尽管在本实施例中使用了15kHz的值，但是可以将添加的频带的条件降低到约14kHz。然而，如果将边界频带降低到接近10kHz的值，则由于存在将所添加的信号感知为噪声的可能性，因而优选不将添加的频带的条件降低到接近10kHz的值。

在第一实施例中，如上所述，通过边界频率检测部422检测到的边界频率为16kHz，并且该边界频率满足“边界频率高于15kHz”的预定条件，添加频带确定部423添加高于16kHz的高频带信号(高频区中的编码后的音频信号)。此外，在第一实施例中，如上所述，使用通过48kHz采样的音频信号，将添加的上限的频率确定为采样频率一半的24kHz。因此，将用于该第一实施例中的高频信号成分的添加的频带设置成16kHz～24kHz的范围。

高频信号生成部424通过计算生成将被添加的高频信号成分。高频信号生成部424使用例如日本专利号3646657“Deviceand method for digital signal processing as well as One-bit signalproduction device(数字信号处理的装置和方法以及1比特信号生成装置)”中所公开的技术，以生成将被添加的高频信号成分(MDCT系数)。

特别地，边界频率检测部422从边界频率检测部422所确定的边界频率处的信号的振幅值，通过将上限频率(在本实施例中为24kHz)处的信号的振幅值设置为0，来计算频率特性梯度。然后，在第一实施例中，将下限频率设置为10.5kHz，并且缓冲从10.5kHz到下限侧边界频率(在该第一实施例中为16kHz)的范围内的信号。然后，边界频率检测部422进行频谱复制、增益计算和增益调整处理以生成将被添加的高频信号成分(MDCT系数)。

将高频信号生成部424所生成的高频信号成分提供给高频信号合成部425。高频信号合成部425从临时存储存储器421中读出中频区和低频区中的MDCT系数，并将来自高频信号生成部424的高频信号成分与所读出的MDCT系数进行合成，以重建确定了所有低频区、中频区和高频区中的MDCT系数的压缩编码状态下的数字音频信号。

如以上参照图2所述，将重建后的数字音频信号提供给自适应块长切换逆MDCT部15。因此，将数字音频信号逆MDCT变换回时域中的音频信号，然后经过自适应块长切换逆MDCT部15的增益调整。从而，可以以高准确度重建在压缩编码时可能已被切去或抑制的音频信号成分，因此，当再现包括重建后的音频信号成分的数字音频信号时，可以重建高声音质量的音频数据。

第一实施例的变形例

从图2可见，第一实施例的处理设备包括立体声处理部13和自适应块长切换逆MDCT部15之间的丢失信号重建部14，其中丢失信号重建部14包括预测生成处理部141和高频区添加处理部142。特别地，将丢失信号重建部14设置在将压缩编码后的数字音频信号重建成时域中的音频信号的解码器的内部。通过该结构，可以根据对象压缩编码系统，在本实施例中，根据符合AAC系统的解码处理，来适当重建已被切去或抑制的那些音频信号成分。

然而，可以利用各种压缩编码系统。因此，可以如图9所示将丢失信号重建部14设置在解码器的外部，使得独立于压缩编码系统而重建在压缩编码时可能已被切去或抑制的音频信号成分，以提高再现音频的声音质量。实际上，图9示出了第一实施例的处理设备的变形形式。

参照图9，与以上参照图2所述的处理设备类似地配置有格式分析部11、逆量化处理部12、立体声处理部13、自适应块长切换逆MDCT部15、增益控制部16和丢失信号重建部14。因此，在此省略对格式分析部11、逆量化处理部12、立体声处理部13、自适应块长切换逆MDCT部15、增益控制部16和丢失信号重建部14的详细说明以避免赘述。

在图9所示的变形处理设备中，从增益控制部16输出的音频信号已经具有时间轴域中的音频信号的形式，即，时间音频信号的形式。因此，设置MDCT部17，使得将来自增益控制部16的时间音频信号再次MDCT变换成作为频域中的音频信号成分的MDCT系数。然后，将MDCT系数提供给设置在MDCT部17的下一级的丢失信号重建部14。

丢失信号重建部14配置成与图2所示的处理设备中所使用的丢失信号重建部14类似。特别地，对于每一帧，丢失信号重建部14首先使用中频区和低频区中的现有MDCT系数，检测在压缩编码时可能已经切去或抑制了信号的信号位置，并预测和生成该信号位置处的MDCT系数(音频信号成分)。然后，如果所生成的MDCT系数在分辨率方面是适当的，则丢失信号重建部14采用所生成的MDCT系数作为中频区和低频区中的MDCT系数。

高频区添加处理部142使用还添加了在中频区和低频区中可能已被切去或抑制的音频信号成分的中频区和低频区中的MDCT系数，以以上参照图8所述的方式重建和添加高频区中的MDCT系数。因此，同样重建在压缩编码时已被切去或抑制的高频区中的MDCT系数，并且可以重建包括所有频带中的全部MDCT系数的数字音频信号，其中，所有频带包括低频带、中频带和高频带。

然后，将来自高频区添加处理部142的所有低频带、中频带和高频带中的MDCT系数提供给逆MDCT部18，通过逆MDCT部18，将所述MDCT系数逆MDCT变换回可以利用的时间轴域中的音频信号成分。通过这种方式，在将丢失信号重建部14设置在解码器外部的情况下，同样可以应用本发明，并且可以重建所有频带中的在压缩编码处理时可能已被切去或抑制的音频信号成分。因此，可以再现具有良好声音质量的音频。

第二实施例

现在，说明本发明的第二实施例。下述第二实施例的处理设备通常配置成首先进行“高频区添加处理”，然后进行“预测生成处理”。特别地，首先使用中频区和低频区中的现有压缩编码后的音频信号成分来重建高频信号成分。然后，在频域的所有频带中，使用预测器、近似表达式或插值多项式等，从前后帧中的音频信号成分来预测和生成当前帧中的丢失信号。

如果通过与当前帧中的前后音频信号成分具有的分辨率等的信息进行比较，判断出通过预测生成的丢失信号(音频信号成分)是适当的，则将该丢失信号添加到丢失信号位置。下述第二实施例的处理设备进行在整个频带中的丢失位置处添加适当音频信号成分的处理。

图10示出该第二实施例的处理设备。

参照图10，所示的第二实施例的处理设备包括与以上参照图2所述的第一实施例的处理设备类似配置的格式分析部11、逆量化处理部12、立体声处理部13、自适应块长切换逆MDCT部15和增益控制部16。

然而，第二实施例的处理设备包括不同于以上参照图2所述的第一实施例的处理设备中的丢失信号重建部14的丢失信号重建部19。将丢失信号重建部19设置在立体声处理部13和自适应块长切换逆MDCT部15之间，并且丢失信号重建部19包括设置在前级的高频区添加处理部191和设置在后级的预测生成处理部192。特别地，尽管第一实施例的处理设备中的丢失信号重建部14包括按顺序设置的预测生成处理部141和高频区添加处理部142，但是第二实施例的处理设备中的丢失信号重建部19包括按顺序，即与预测生成处理部141和高频区添加处理部142的顺序相反的顺序，设置的高频区添加处理部191和预测生成处理部192。

在第二实施例的处理设备的丢失信号重建部19中，首先通过高频区添加处理部191的功能来重建高频区中的MDCT系数。然后，对于包括已经重建了MDCT系数的高频带的所有低频带、中频带和高频带，指定在压缩编码时可能已经切去或抑制信号的信号位置(MDCT系数)，并通过预测生成处理部192的功能来重建该信号位置处的信号成分。因此，可以高质量地重建整个频带中的处理对象的压缩编码后的音频信号成分。

图11A～11C示出第二实施例的处理设备的丢失信号重建部19所执行的处理。如图11A所示，通过压缩编码处理形成了提供给第二实施例的处理设备中的丢失信号重建部19的高频区添加处理部191的MDCT系数，并且该MDCT系数包括在中频区和低频区中，同时被切去或抑制了高频成分。此外，如图11A中的虚线所示，还切去或抑制了对用户的听觉没有明显影响的信号位置处的信号成分。

因此，在第二实施例的处理设备中，使用高频区添加处理部191的功能，基于图11A所示的范围内的MDCT系数，从图11B可见，重建范围b和另一范围c中所示的高频信号成分。高频区添加处理部191具有与以上参照图8所述的第一实施例的处理设备的高频区添加处理部142的结构类似的结构。

因此，在高频区添加处理部191中，与以上参照图8所述的第一实施例的处理设备的高频区添加处理部142类似，以帧为单位将MDCT系数保持在临时存储存储器中，并检测边界频率，然后确定添加的频带。此外，响应于所述添加的频带，生成高频信号成分，最后，将中频区和低频区中的临时存储的MDCT系数与高频区中的重建的MDCT系数合成，从而如图11B所示，重建所有低频区、中频区和高频区中的MDCT系数。

然而，由图10所示的处理设备的高频区添加处理部191形成和输出的MDCT系数保持如下状态，即在压缩编码时可能已经切去或抑制了信号成分的信号位置包括在MDCT系数中。因此，在第二实施例的处理设备中，丢失信号重建部19的预测生成处理部192重建在压缩编码时可能已经切去或抑制了信号成分的信号位置处的信号成分。

特别地，第二实施例的处理设备的预测生成处理部192具有与以上参照图4A～7所述的第一实施例的处理设备的预测生成处理部141的功能类似的功能。更特别地，预测生成处理部192接收从高频区添加处理部191提供的MDCT系数，并以帧为单位检测在压缩编码时可能已经切去或抑制了信号成分的信号位置。然后，预测生成处理部192使用五个帧的相应位置处的MDCT系数生成近似表达式，这五个帧包括处理对象的帧和处理对象的帧的前后各两帧。然后，预测生成处理部192基于该近似表达式预测并生成在压缩编码时可能已被切去或抑制的MDCT系数。之后，如果预测生成的MDCT系数低于分辨率，则预测生成处理部192采用所生成的MDCT系数作为插值数据。

通过所述处理，可以在包括低频区、中频区和高频区的整个频带上重建在压缩编码时可能已被切去或抑制的MDCT系数，从而如图11C所示，可以无丢失数据地重建数字音频数据。该第二实施例的处理设备的预测生成处理部192可以对低频带、中频带和高频带的所有频带，重建在压缩编码时可能已被切去或抑制的MDCT系数，并且仅采用逻辑上适当的MDCT系数作为插值数据。

然后，可以将如图11C所示的同样相对于在压缩编码时可能已被切去或抑制的那些MDCT系数重建的频带中的数字音频信号，通过自适应块长切换逆MDCT部15逆MDCT变换成时间轴域中的信号，即时间音频信号。该时间音频信号经过增益控制部16的增益控制或增益调整。因此，由于可以高准确度地重建在压缩编码时可能已被切去或抑制的MDCT系数，因而可以重建在再现时表现出高声音质量的音频数据。

第二实施例的变形例

第二实施例的处理设备配置成如以上参照图10所述，将包括高频区添加处理部191和预测生成处理部192的丢失信号重建部19插在立体声处理部13和自适应块长切换逆MDCT部15之间。换句话说，将丢失信号重建部19设置在用于将压缩编码后的数字音频信号重建成时间轴域中的音频信号的解码器的内部。根据上述结构，在本实施例中，根据AAC系统，可以响应于根据对象压缩编码系统的解码方法，适当地重建已被切去或抑制的音频信号。

然而，可以利用各种压缩编码系统。因此，可以如图12所示将丢失信号重建部19设置在解码器的外部，使得独立于压缩编码系统来重建在压缩编码时可能已被切去或抑制的音频信号成分，以提高再现音频的声音质量。特别地，图12示出第二实施例的处理设备的变形形式。

参照图12，与以上参照图10所述的处理设备的配置类似地配置有格式分析部11、逆量化处理部12、立体声处理部13、自适应块长切换逆MDCT部15、增益控制部16和丢失信号重建部19。因此，在此省略对格式分析部11、逆量化处理部12、立体声处理部13、自适应块长切换逆MDCT部15、增益控制部16和丢失信号重建部19的详细说明以避免赘述。

在图12所示的变形处理设备中，从增益控制部16输出的音频信号已经具有时间轴域中的音频信号的形式，即时间音频信号的形式。因此，MDCT部17设置成将来自增益控制部16的时间音频信号MDCT再次变换成作为频域中的音频信号成分的MDCT系数。然后，将MDCT系数提供给设置在MDCT部17的下一级的丢失信号重建部19。

与如上所述图10中所示的处理设备中所使用的丢失信号重建部19类似，配置有丢失信号重建部19。特别地，对于每一帧，丢失信号重建部19首先使用中频区和低频区中的现有MDCT系数来重建在压缩编码时已被切去或抑制的高频信号成分。然后，丢失信号重建部19根据低频区、中频区和高频区的所有频带中的MDCT系数检测在压缩编码时可能已经切去或抑制的MDCT系数的信号位置。然后，逆MDCT部18预测并生成所检测到的信号位置处的MDCT系数，即音频信号成分，并且如果所生成的MDCT系数考虑到分辨率是适当的，则采用它们作为插值数据。因此，也重建了在压缩编码时已被切去或抑制的高频区中的MDCT系数，并且可以重建包括所有频带的全部MDCT系数的数字音频信号，其中所有频带包括低频带、中频带和高频带。

然后，将来自预测生成处理部192的所有低频带、中频带和高频带中的MDCT系数提供给逆MDCT部18，通过逆MDCT部18，将所述MDCT系数逆MDCT变换回可被利用的时间轴域中的音频信号成分。通过这种方式，在将丢失信号重建部19设置在解码器的外部的情况下，同样可以应用本发明，并且可以在所有频带中重建在压缩编码处理时可能已被切去或抑制的音频信号成分。因此，可以再现具有良好声音质量的音频。

注意，在实施例的上述说明中，作为例子说明了特定频区中的音频信号成分丢失的情况。然而，本发明不仅可以应用于音频信号完全丢失的情况，而且还可以应用于其它情况：如图13A所示，信号部分保留，也就是说，抑制了保留的特定频率内的音频信号。

特别地，如图13A的范围a内所示，有时可以保留被抑制但没有完全丢失的信号。可以认为这是由压缩处理步骤等的计算准确性引起的。

在如图13A所示保留抑制的信号的情况下，同样可以如图13B所示将预测信号填充在中频区内的丢失信号位置处。

此外，图13B中所示的中频区和低频区中的预测重建的音频信号可以是范围b和c内的预测重建音频信号。

概要

上述第一和第二实施例的处理设备可以通过使用用于解压缩和解码压缩编码后的数字音频信号的系统，来实现解码后的音频信号的声音质量的提高。特别地，基于为了提高编码时的压缩比而切去、抑制或省略了信号成分的音频信号，预测并生成原始音频信号成分。通过将其添加到解码后的音频信号，可以提高解码后的音频信号的声音质量。

更特别地，在第一实施例的处理设备的情况下，音频信号解码系统首先使用现有编码后的信号成分来预测生成中频带和低频带中的丢失信号成分，然后复制预测生成的信号成分上的高频信号成分，从而减少丢失信号的数量以提高声音质量。

另一方面，在第二实施例的处理设备的情况下，处理次序与根据第一实施例的处理设备的处理次序不同，并且使用现有编码后的信号来首先复制高频信号成分。然后，预测生成所有频带中的丢失信号，使得进一步减少丢失信号的数量以提高声音质量。

此外，通过将该处理分成两个不同的处理，例如，“丢失信号的预测生成”的处理和“高频区添加”的另一处理，可以进一步减少丢失信号的数量。因此，可以获得根据其能够再现自然音频的音频信号。换句话说，由于不仅可以进行高频信号成分的重建，而且还可以适当重建所有频带中的丢失信号成分。因此，可以获得根据其能够再现自然音频的音频信号。

此外，在第一实施例的处理设备中，(1)首先检测在压缩编码时可能已经切去或抑制了信号成分的压缩编码后的数字音频信号的信号位置，然后通过预测生成该信号位置处的音频数据。然后，当判断出所生成的音频数据在逻辑上正确时，采用所生成的音频数据作为插值数据。然后，在所述一系列处理后，(2)使用以插值数据插值的数字音频数据，来重建高频带上的音频数据。然而，阶段(1)和阶段(2)并非必须存在。

特别地，只有当执行阶段(1)的处理时，才可以提高压缩编码后的数字音频信号的质量。然后，在使用切去或抑制了音频信号成分的信号位置处插值的、中频带和低频带中的数字音频信号成分来重建高频带侧的音频数据的情况下，同样可以提高高频带侧的音频信号成分的质量。因此，可以重建能够在所有频带上再现高声音质量的音频的数字音频数据。

此外，可以适当选择以下两种技术。可以使用第一实施例的技术，其中，基于现有压缩编码后的数字音频信号，首先重建切去或抑制了音频信号的信号位置处的音频数据，然后重建高频音频信号成分。可以使用第二实施例的技术，其中，首先使用现有压缩编码后的数字音频信号，以根据所有频带上的音频信号重建宽频带音频信号成分，然后重建由于低分辨率而切去或抑制了音频信号的信号位置处的音频数据。

此外，以上参照图2～9所述的第一实施例及其变形例的处理设备配置有应用本发明的方法。更特别地，通过丢失信号重建部14使用本发明的方法。

此外，可以通过程序(软件)来实现以上参照图7所述的丢失信号重建部14的预测生成处理部141所执行的处理和参照图8所述的丢失信号重建部14的高频区添加处理部142所执行的处理。可以将该程序安装在对压缩编码后的数字音频信号进行解码处理的设备中，并通过该设备的计算机执行该程序。这样，可以将本发明应用于对压缩编码后的数字音频信号进行信号处理的各种设备。

同时，以上参照图10～12所述的第二实施例及其变形例的处理设备配置有应用本发明的方法。特别地，通过丢失信号重建部19来使用根据本发明实施例的方法。

此外，可以通过程序(软件)来实现丢失信号重建部19的高频区添加处理部191所执行的处理和丢失信号重建部19的预测生成处理部192所执行的处理。高频区添加处理部191所执行的处理与以上参照图8所述的第一实施例的处理设备中的高频区添加处理部142所执行的处理基本相同。预测生成处理部192所执行的处理与参照图7所述的第一实施例的处理设备中的预测生成处理部141所执行的处理基本相同。可以将该程序安装在对压缩编码后的数字音频信号进行解码处理的设备中，并通过该设备的计算机执行该程序。这样，可以将结合第二实施例的处理设备所述的本发明应用于对压缩编码后的数字音频信号进行信号处理的各种设备。

在以上参照图2、9、10和12所述的任一处理设备的末级，通过设置D/A转换器、处理部和再现部，可以实现应用根据本发明实施例的再现方法的再现设备。D/A转换器配置成对解码后的数字音频信号进行数字/模拟转换，以形成模拟音频信号。处理部配置成进行所需的处理，例如，用于放大通过D/A转换器获得的模拟信号形式的音频信号的放大处理。再现部配置成再现来自处理部的音频信号。

此外，在图2、9、10和12中，可以作为程序(软件)形成的功能或处理不局限于丢失信号重建部14的预测生成处理部141和高频区添加处理部142的功能、或丢失信号重建部19的高频区添加处理部191和预测生成处理部192的功能。自然地，也可以通过可由包含在处理设备中的计算机执行的程序，来实现格式分析部11、逆量化处理部12、立体声处理部13、丢失信号重建部14、自适应块长切换逆MDCT部15、增益控制部16、MDCT部17和逆MDCT部18的处理。该计算机可以是微型计算机，在该微型计算机中，通过CPU总线使CPU(Central ProcessingUnit，中央处理单元)、ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、以及EEPROM(Electrically Erasable and Programmable ROM，电可擦除和可编程ROM)等非易失性存储器等相互连接。

特别地，可以通过程序来实现图2、7、8、9、10和12中所示的块的处理。自然地，还可以通过如上所述的硬件来实现图2、9、10和12中所示的块。

注意，在上述实施例和变形例中，尽管作为例子处理了左右两个声道的MPEG-2 AAC系统的数字音频信号，但是要处理的信号不局限于此。本发明还可应用于多声道的MPEG-2 AAC系统的数字音频信号。此外，本发明还可应用于其它编码后的信号。例如，本发明还可应用于通过其它MPEG系统、ATRAC(注册商标)系统、AC-3(注册商标)系统和WMA(注册商标)等压缩编码的编码后的信号。

在上述实施例中，尽管使用通过最小二乘法生成近似表达式以预测丢失信号的方法作为丢失信号的预测方法，但是可以代替近似表达式而使用插值多项式。还可应用生成预测器并使用从预测器输出的预测值的方法。对于预测器，可以使用ISO/IEC13818-7定义的预测器等，或者也可以使用其它各种预测器。

此外，在上述实施例和变形例中，尽管使用日本特开2002-252562号公报“Device and method for digital signalprocessing as well as One-bit signal production device(数字信号处理的装置和方法以及1比特信号生成装置)”中所公开的技术来重建高频信号成分，但是重建方法不局限于此。对于高频信号成分的重建，可以使用其它各种技术。

此外，在上述实施例和变形例中，MPEG-2 AAC系统的压缩编码处理对应于预定信号转换处理，而通过MPEG-2 AAC系统的压缩编码处理形成的编码后的音频信号对应于通过信号转换处理的信号转换处理后的状态下的数字信号。然而，信号转换处理不局限于各种压缩编码处理。

例如，在根据预定压缩编码系统压缩编码的音频信号经过解码处理、然后被转换成模拟音频信号并作为模拟音频信号提供而未应用本发明的情况下，在模拟音频信号处于作为前面压缩编码的结果而使某一信号成分丢失的状态时，编码并提供该模拟音频信号。

因此，在模拟音频信号被转换成数字信号，然后与在上述实施例的情况下一样，将其转换成可以根据数字音频信号形成与丢失信号成分相对应的附加信号的状态，以形成目标转换信号后，可以应用本发明。在这种情况下，根据信号转换处理后的状态下的数字信号形成可能已被除去的信号成分作为附加信号，并且考虑到该附加信号来处理该数字音频信号。

然后，在信号转换处理后再现数字音频信号时，同样考虑相应的附加信号以将数字音频信号重建成再现的原始模拟音频信号的状态。这样，还可以根据已被除去了某一信号成分的音频信号，来重建可以再现高质量音频的音频信号。

从严格意义上来说，转换成数字信号的转换处理和将数字信号转换成可以根据数字信号形成与除去的信号成分相对应的附加信号的状态的处理，不同于压缩编码处理。然而，在这种情况下，同样可以应用本发明。特别地，信号转换处理还包括以下处理：在音频信号等处理对象的主信号由于某一原因而缺失其某些信号成分的情况下，将该音频信号转换成可以生成缺失的信号成分作为附加信息的状态。

此外，在上述实施例和变形例中，尽管压缩编码后的音频信号是处理对象，但是在处理对象是例如图像信号等通过各种处理可能已经除去了某些信号成分的各种信号的情况下，也可以应用本发明。

本领域的技术人员应该理解，根据设计要求和其它因素可以出现各种变形、组合、子组合和改变，只要它们在所附权利要求书或其等同物的范围内即可。

本发明包含与2006年6月26日提交给日本专利局的日本专利申请JP 2006-174980有关的主题，其全部内容通过引用包含在此。

Claims (10)

1.一种数字信号处理设备，其包括：

检测部，用于检测在信号转换处理时可能从处于信号转换处理后的状态下的数字信号中除去了信号成分的信号位置；

预测部，用于基于估计与所述信号位置具有相关性的、解调频带中的处于所述信号转换处理后的状态下的所述数字信号的相关部分处的数据，预测由所述检测部检测到的除去前的所述信号位置处的数据；以及

判断部，用于判断由所述预测部预测的除去前的所述信号位置处的数据的绝对值是否低于所述信号位置处的分辨率，并且当所述绝对值低于所述分辨率时，采用所预测的除去前的数据作为插值数据。

2.根据权利要求1所述的数字信号处理设备，其特征在于，所述预测部基于通过所述信号转换处理形成的所述解调频带内的现有数字信号成分，预测除去前的所述信号位置处的数据。

3.根据权利要求2所述的数字信号处理设备，其特征在于，还包括：

添加部，用于根据在利用所述预测部所预测的除去前的除去位置处的数据中的所述判断部所采用的数据对所述数字信号进行插值之后、通过信号转换处理形成的所述解调频带中的数字信号成分，来重建高于所述解调频带的频区中的频率成分，并添加所重建的频率成分。

4.根据权利要求1所述的数字信号处理设备，其特征在于，还包括：

添加部，用于根据通过所述信号转换处理形成的所述解调频带中的现有数字信号成分，来重建高于所述解调频带的频区中的频率成分，并添加所重建的频率成分，其中，

所述检测部将由所述添加部添加了高于所述解调频带的频带中的信号成分的所述数字信号设置为处理对象。

5.一种数字信号处理方法，其包括：

检测步骤，用于检测在信号转换处理时可能从处于信号转换处理后的状态下的数字信号中除去了信号成分的信号位置；

预测步骤，用于基于估计与所述信号位置具有相关性的、处于所述信号转换处理后的状态下的所述数字信号的相关部分处的数据，预测在所述检测步骤中检测到的除去前的所述信号位置处的数据；以及

判断步骤，用于判断在所述预测步骤中预测的除去前的所述信号位置处的数据的绝对值是否低于所述信号位置处的分辨率，并且当所述绝对值低于所述分辨率时，采用所预测的除去前的数据作为插值数据。

6.根据权利要求5所述的数字信号处理方法，其特征在于，所述预测步骤基于在所述信号转换处理中形成的解调频带内的现有数字信号成分，预测除去前的所述信号位置处的数据。

7.根据权利要求6所述的数字信号处理方法，其特征在于，在重建步骤中，重建在所述预测步骤中预测的除去前的除去位置处的数据，其中所述重建步骤根据在利用所述判断步骤中所采用的数据对所述数字信号进行插值之后、在信号转换处理中形成的所述解调频带中的数字信号成分，来重建高于所述解调频带的频区中的频率成分，并添加所重建的频率成分。

8.根据权利要求5所述的数字信号处理方法，其特征在于，还包括：

添加步骤，用于根据在所述信号转换处理中形成的所述解调频带中的现有数字信号成分，重建高于所述解调频带的频区中的频率成分，并添加所重建的频率成分，其中，

所述检测步骤将在所述添加步骤中添加了高于所述解调频带的频带中的信号成分的所述数字信号设置为处理对象。

9.一种数字信号再现设备，其包括：

检测部，用于检测在信号转换处理时可能从处于信号转换处理后的状态下的数字信号中除去了信号成分的信号位置；

预测部，用于基于估计与所述信号位置具有相关性的、解调频带中的处于所述信号转换处理后的状态下的所述数字信号的相关部分处的数据，预测由所述检测部检测到的除去前的所述信号位置处的数据；

判断部，用于判断由所述预测部预测的除去前的所述信号位置处的数据的绝对值是否低于所述信号位置处的分辨率，并且当所述绝对值低于所述分辨率时，采用所预测的除去前的数据作为插值数据；

添加部，用于根据利用所述判断部所采用的、由所述预测部预测的除去前的所述信号位置处的那些数据插值的所述解调频带中的数字信号成分，来重建高于所述解调频带的频区中的频率成分，并添加所重建的频率成分；

重建部，用于对由所述添加部添加了较高频区中的频率成分的、处于所述信号转换处理后的状态下的所述数字信号进行重建处理，以重建所述信号转换处理前的状态下的数字信号；以及

再现部，用于再现由所述重建部重建的所述数字信号。

10.一种数字信号再现设备，其包括：

添加部，用于根据通过信号转换处理形成的解调频带中的现有数字信号成分，来重建高于所述解调频带的频区中的频率成分，并添加所重建的频率成分；

检测部，用于检测在信号转换处理时可能从由所述添加部添加了较高频区中的频率成分的、处于所述信号转换处理后的状态下的数字信号中除去了信号成分的信号位置；

预测部，用于基于估计与所述信号位置具有相关性的、处于所述信号转换处理后的状态下的所述数字信号的相关部分处的数据，预测由所述检测部检测到的除去前的所述信号位置处的数据；

判断部，用于判断由所述预测部预测的除去前的所述信号位置处的数据的绝对值是否低于所述信号位置处的分辨率，并且当所述绝对值低于所述分辨率时，采用所预测的除去前的数据作为插值数据；

重建部，用于对利用由所述判断部判断的数据插值的、处于所述信号转换处理后的状态下的所述数字信号进行重建处理，以重建所述信号转换处理前的状态下的数字信号；以及

再现部，用于再现由所述重建部重建的所述数字信号。

Images