CN101040564B - 音频信号处理装置及音频信号处理方法 - Google Patents

Abstract

提供了一种音频信号处理装置，从而能从其中包含多个声源的音频信号的2系统音频信号适当地分离多声源的音频信号。该音频信号处理装置包括：分割装置101和102，用于将每一2系统音频信号分割成多个频带；声级比较装置，用于计算在由分割装置分割的多个频带中的每一个中2系统的音频信号的声级比或声级差；以及三个或三个以上输出控制装置，用于提取并输出在声级比较装置处计算的声级比或声级差为预定值及其近旁的频带分量。由这三个或以上输出控制装置提取并输出的所述频带分量是其声级比或声级差为相互不同的预定值及其近旁的频带分量。

Description

音频信号处理装置及音频信号处理方法

技术领域

本发明涉及一种用于从各由多个声源音频信号构成的两个系统(两个声道)的输入音频时序信号分离比输入声道数多的声道的声源的音频信号的音频信号处理装置及方法。 

本发明还涉及一种在从2声道的输入音频时序信号分离比输入声道数多的声道的声源的音频信号后生成用于使用耳机或两个扬声器播放的音频信号的音频信号处理装置。 

背景技术

记录在唱片、光盘等上的承载立体声音乐信号的左右2声道的各声道的音频信号常常由来自多个声源的音频信号构成。为了在使用两个扬声器播放时实现这多个声源在扬声器之间的声像定位，这些立体声音频信号常设有声级差并被记录在相应的声道中。 

例如，如果我们说我们有5个声源MS1至MS5，它们的信号是S1至S5，这些信号将被记录为左右2声道形式的音频信号SL和SR，声源MS1至MS5的信号S1至S5各被给予左右2声道之间的声级差，以被加法混合到相应声道的音频信号中，如下所示： 

SL＝S1+0.9S2+0.7S3+0.4S4 

SR＝S5+0.4S2+0.7S3+0.9S4 

例如图32中所示地通过2个扬声器1L、1R播放通过用声级差将声源MS1至MS5的信号分解成左右2声道的信号来记录的立体声音频信号将使收听者2感觉到对应于声源MS1、MS2、MS3、MS4和MS5的声像A、B、C、D和E。并且，这些声像A、B、C、D和E已知被定位在扬声器1L与扬声器1R之间。 

另外，在收听者2如图33中所示地戴着耳机3并以耳机3的左扬声器单 元3L和右扬声器单元3R播放上述左右2声道的立体声音频信号的情况下，可使收听者2感觉到对应于声源MS1、MS2、MS3、MS4和MS5的声源的声像A、B、C、D和E在头内或近旁。 

然而，以这种播放方法，声像只被定位在两个扬声器或扬声器单元之间的狭窄区域内，并且还常常感觉到声像相互重叠。 

为了避免重叠声像，可以对图32的情形设想这样一种设置，其中两个扬声器1L和1R之间的间距被加宽，但在这些情形中，由于中心区域声像(图32中的声像C)不明确，所以不能获得明确的声像定位。当然，不能自由地将对应于声源的声像定位在收听者后面或侧面的位置。 

问题还在于在以耳机3播放同一立体声音频信号时，如图33中所示，声像A至E从左耳旁边到右耳旁边定位在头内，这导致声像被定位在甚至比扬声器输出更窄的范围内而且呈重叠的状态，从而导致不自然发声的声场。 

对于这一问题，可以例如从双声道立体声音频信号分离合成来自原始声源的三个或以上声道的音频信号，并由对应于这多个声道中的每一个的扬声器播放所分离合成的多声道音频信号，从而产生自然的声场。这还使得能例如在收听者的后方等合成声像。 

对于用于实现这一目的的方法，有一种使用矩阵电路和方向性增强电路的方法。将参照图34来说明这一原理。 

准备四种类型的声源的信号L、C、R和S，且使用这些声源信号通过用以下合成式进行编码处理来得到两个声源信号Si1和Si2。 

Si1＝L+0.7C+0.7S 

Si2＝R+0.7C-0.7S 

以此方式生成的两个信号Si1和Si2(2声道)被记录在诸如盘等记录介质中，从记录介质播放，并被输入图34中所示的解码装置10的输入端子11和12。在解码装置10处从信号Si1和Si2分离4个声道的声源信号L、C、R和S。 

具体而言，来自输入端子11和12的输入信号Si1和Si2被提供给加法电路13和减法电路14，相加和相减，从而分别生成加法输出信号Sadd和Sdiff。 此时，信号Si1和Si2以及信号Sadd和Sdiff表示如下： 

Si1＝L+0.7C+0.7S 

Si2＝R+0.7C-0.7S 

Sadd＝1.4C+L+R 

Sdiff＝1.4S+L-R 

因此，信号Si1中的信号L、信号Si2中的信号R、信号Sadd中的信号C和信号Sdiff中的信号S均具有比其它声源信号高3dB的声级，所以各声道音频最好地保持了相应声源的特征。因此，将信号Si1、信号Si2、信号Sadd和信号Sdiff各自作为相应的输出信号使得能分离并输出四个原始声道的声源信号L、C、R和S。 

然而，在此状态下，声道之间声像的分隔不足。因此，在图34中所示的例子中，信号Si1、信号Si2、信号Sadd和信号Sdiff通过增强输出声级的方向性增强电路151、152、153和154输出至输出端子161、162、163和164。 

各方向性增强电路151、152、153和154用于动态地增强信号Si1、信号Si2、信号Sadd和信号Sdiff中的具有比其它声道信号大的声级的声道信号从而明显地改善与其它声道的分隔。 

接着，将参照图35至图37D说明另一常规的例子。在此例中，如图35中所示，设置了解相关处理单元171、172、173和174来代替图34中的例子中的方向性增强电路151、152、153和154。 

解相关处理单元171至174各自由诸如在例如图36A、图36B、图36C和图36D或图37A、图37B、图37C和图37D中示出的特性的滤波器构成。 

对于图36A、图36B、图36C和图36D，声道的解相关是通过相互错开打阴影线的频带处的相位来实现的。对于图37A、图37B、图37C和图37D，声道的解相关是通过在声道间去除不同的频带来实现的。 

从各不同扬声器播放在图35中的例子中所示的解码装置10处生成并从输出端子161至164输出的伪4声道信号确保了声道之间的无相关性，所以能实现具有宽广感的声场再现。 

作为参考的特许文献是特表2003-515771号公报。 

然而，用上述图34中的方法，尽管可以在某种程序上实现从信号Si1和Si2中分离三个或以上编码的声道的声源，但存在以下问题： 

(1)虽然在只存在一个声源的情况下能取得良好的分隔，但在所有声源同时以相同声级出现的情况下，声道间不存在声级差，因此，方向性增强电路151至154不工作，从而只能确保声道间3dB的分隔。 

(2)由于方向性增强电路151至154，诸声源的信号声级动态地改变，从而容易发生声音中的不自然增/减。 

(3)当出现两个相邻的声源时，一个声源可能会被另一声源牵引。 

(4)除了设想用分离编码的声源以外，分离效果很少。 

另外，以上用图34描述的方法还具有下列问题。即，对于图34中的例子中的使用解相关处理的方法，不考虑声源类型地错开频带相位或去除频带，虽然能得到宽广的声场，但不能分离声源，因此不能构成明确的声像。 

在试图从双声道立体声信号分离声源的情形中，使用方向性增强电路的方法的问题在于在同时出现多个声源的情况下声源之间的分隔不足，存在不自然的音量变化、不自然的声源移动，并且除非准备的预先编码的声源否则不易取得足够的效果。 

另外，对于使用解相关处理的伪多声道方法，问题在于声源的声像没有明确定位。 

本发明的一个目的是提供一种能从包含多个声源的音频信号的2系统的音频信号中适当地分离多个声源的音频信号的音频信号处理装置和方法。 

发明内容

为了解决以上问题，根据权利要求1的发明的音频信号处理装置包括：分割装置，用于将每一2系统音频信号分割成多个频带；声级比较装置，用于计算在由分割装置分割的多个频带中的每一个中的2系统的音频信号的声级比或声级差；以及三个或以上输出控制装置，用于从来自分割装置的2系统的音频信号中的两方或一方的多个频带分量中提取并输出在声级比较装置处计算的声级比或声级差为预定值及近旁的频带分量。 

其中由这三个或以上输出控制装置提取并输出的频带分量是其声级比或声级差为互不相同的预定值及近旁的频带分量。 

在权利要求1中的发明中，利用了多个声源的音频信号以预定声级比或声级差混合在2系统的音频信号中这一事实。对于权利要求1中的发明，2系统的音频信号中的每一个被分割装置分割成多个频带。 

在声级比较装置中，对音频信号所分割成的每一频带计算2系统的音频信号的声级比或声级差。 

在这三个或以上输出控制装置中的每一个中，从2系统的输出信号的两方或一方中提取在声级比较装置处对每个输出控制装置计算的声级比或声级差为预定值及近旁的频带分量。 

现在，如果为每一输出控制装置预先确定的声级比或声级差被设置成特定声源的音频信号混合在2系统的音频信号中所用的声级比或声级差，则能从这些输出控制装置中的每一个中各提取构成特定声源的音频信号的频率分量。 

根据权利要求2的发明包括： 

第一和第二正交变换装置，用于将2系统的输入音频时序信号转换成相应的频域信号； 

频分谱比较装置，用于将来自第一正交变换装置和第二正交变换装置的相应频分谱(frequency division spectrum)之间的声级比或声级差相比较； 

由三个或以上声源分离装置构成的频分谱控制装置，用于在频分谱比较装置的比较结果的基础上控制从第一和第二正交变换装置中的两方或一方取得的频分谱的声级，以提取并输出声级比或声级差为预定值及近旁的频带分量； 

三个或三个以上正交逆变换装置，用于将来自频分谱控制装置的三个或三个以上声源分离装置中的每一个的频域信号恢复成时序信号。 

其中从这三个或以上正交逆变换装置的每一个取得输出音频信号。 

在权利要求2中的发明中，输入音频时序信号的两个系统各由第一和第二正交变换装置转换成相应的频域信号，并且各自转换成由多个频分谱组成的分量。 

在权利要求2中的发明中，由频分谱比较装置比较来自第一正交变换装置 和第二正交变换装置的相应频分谱之间的声级比或声级差。 

在这三个或以上输出控制装置中的每一个中，基于频分谱比较装置的比较结果来控制从第一和第二正交变换装置中的两方或一方取得的频分谱的声级，并提取和输出声级比或声级差为预定值及近旁的频带分量； 

因此，如果在这多个输出控制装置的每一个中将预定声级比或声级差设置成特定声源的音频信号混合在2系统的音频信号中所用声级比或声级差，则由输出控制装置从2系统的音频信号中的两方或一方提取并取得构成为各输出控制装置设置的特定声源的音频信号的频域分量。即，从三个或这三个或以上输出控制装置中的每一个取得从2系统的输入音频时序信号提取的特定声源的音频信号。 

另外，权利要求3中的发明包括： 

第一和第二正交变换装置，用于将2系统的音频时序信号转换成相应的频域信号； 

相位差计算装置，用于计算来自第一正交变换装置和第二正交变换装置的相应频分谱之间的相位差； 

由三个或以上声源分离装置构成的频分谱控制装置，用于在相位差计算装置所计算的相位差的基础上控制从第一和第二正交变换装置中的两方或一方取得的频分谱的声级，以提取并输出相位差为预定值及近旁的频带分量； 

三个或以上正交逆变换装置，用于将来自频分谱控制装置的三个或以上声源分离装置中的每一个的频域信号恢复成时序信号。 

其中输出音频信号是从这三个或以上正交逆变换装置中的每一个取得。 

使用权利要求3中的发明，2系统的输入音频时序信号由第一和第二正交变换装置转换成相应的频域信号，并且各自被转换成由多个频分谱组成的分量。 

另外，在权利要求3中，由相位差计算装置计算来自第一正交变换装置和第二正交变换装置的相应频分谱之间的相位差。 

另外，在这三个或以上声源分离装置中的每一个中，基于相位差计算装置的计算结果来控制从第一和第二正交变换装置中的两方或一方取得的频分谱 的声级，并提取和输出相位差为预定值及近旁的频带分量。 

因此，如果预定相位差被设置成特定声源的音频信号被混合在2系统的音频信号中所用的相位差，则从2系统的音频信号中的至少一个中提取并取得构成该特定声源的音频信号的频域分量。即，从这三个或以上声源分离装置提取一特定声源的音频信号。 

根据本发明，基于预定声级比或声级差或预定相位差从2系统的音频信号中的两方或一方中分离并输出在预定声级比或声级差或预定相位差下混合在2系统的音频信号中的三个或以上声源的音频信号。 

附图说明

图1是示出根据本发明的音频信号处理装置的第一实施例的一构成例的框图。 

图2是示出应用了第一实施例的音频播放系统的一构成例的框图。 

图3是示出作为图1的一部分的频分谱比较处理单元的一构成例的框图。 

图4是示出作为图1的一部分的频分谱控制处理单元的一构成例的框图。 

图5A是示出对频分谱控制处理单元的乘法系数生成单元51设置的函数的几个例子的图。 

图5B是示出对频分谱控制处理单元的乘法系数生成单元51设置的函数的几个例子的图。 

图5C是示出对频分谱控制处理单元的乘法系数生成单元51设置的函数的几个例子的图。 

图5D是示出对频分谱控制处理单元的乘法系数生成单元51设置的函数的几个例子的图。 

图5E是示出对频分谱控制处理单元的乘法系数生成单元51设置的函数的几个例子的图。 

图6是示出根据本发明的音频信号处理装置的第二实施例的构成例的框图。 

图7是示出根据本发明的音频信号处理装置的第三实施例的一构成例的 框图。 

图8是示出根据本发明的音频信号处理装置的第四实施例的一构成例的框图。 

图9是示出作为图8的一部分的频分谱比较处理单元以及频分谱控制处理单元的构成例的框图。 

图10A是示出对图9中的乘法系数生成单元61和65设置的函数的几个例子的图。 

图10B是示出对图9中的乘法系数生成单元61和65设置的函数的几个例子的图。 

图10C是示出对图9中的乘法系数生成单元61和65设置的函数的几个例子的图。 

图10D是示出对图9中的乘法系数生成单元61和65设置的函数的几个例子的图。 

图10E是示出对图9中的乘法系数生成单元61和65设置的函数的几个例子的图。 

图11是示出应用了第5实施例的音频播放系统的构成例的框图。 

图12是根据本发明的音频信号处理装置的第5实施例的构成例的图。 

图13是示出应用了第6实施例的音频播放系统的一构成例的框图。 

图14是示出根据本发明的音频信号处理装置的第6实施例的一构成例的图。 

图15是示出根据本发明的音频信号处理装置的第6实施例的一部分的一构成例的图。 

图16是示出根据本发明的音频信号处理装置的第7实施例的一构成例的图。 

图17是用于说明第7实施例的图。 

图18是用于说明第7实施例的图。 

图19是用于说明第7实施例的图。 

图20是示出根据本发明的音频信号处理装置的第8实施例的一构成例的 图。 

图21是用于说明第8实施例的图。 

图22是用于说明第8实施例的图。 

图23是示出根据本发明的音频信号处理装置的第9实施例的一构成例的图。 

图24是示出图23的一部分的一构成例的框图。 

图25是示出图23的一部分的另一构成例的框图。 

图26是示出根据本发明的音频信号处理装置的第10实施例的一构成例的图。 

图27是示出根据本发明的音频信号处理装置的第11实施例的一构成例的图。 

图28是示出根据本发明的音频信号处理装置的第12实施例的一构成例的图。 

图29是示出根据本发明的音频信号处理装置的第12实施例的一构成例的图。 

图30是示出根据本发明的音频信号处理装置的第13实施例的一构成例的图。 

图31是示出根据本发明的音频信号处理装置的第13实施例的一构成例的图。 

图32是用于说明以多个声源构成的2声道信号进行的声像定位的图。 

图33是用于说明以多个声源构成的2声道信号进行的声像定位的图。 

图34是用于说明常规的特定声源音频信号分离装置的框图。 

图35是用于说明常规的特定声源音频信号分离装置的框图。 

图36A是用于说明常规的特定声源音频信号分离装置的框图。 

图36B是用于说明常规的特定声源音频信号分离装置的框图。 

图36C是用于说明常规的特定声源音频信号分离装置的框图。 

图36D是用于说明常规的特定声源音频信号分离装置的框图。 

图37A是用于说明常规的特定声源音频信号分离装置的框图。 

图37B是用于说明常规的特定声源音频信号分离装置的框图。 

图37C是用于说明常规的特定声源音频信号分离装置的框图。 

图37D是用于说明常规的特定声源音频信号分离装置的框图。 

具体实施方式

现在将参照附图说明根据本发明的音频信号处理装置和方法的诸实施例。 

在以下说明中，将说明从由上述左声道音频信号SL和右声道音频信号SR构成的立体声音频信号分离声源的情形。 

例如，我们说声源MS1至MS5的音频信号S1至S5被用以下(式1)和(式2)中所示的比例的声级差分解成左声道音频信号SL和右声道音频信号SR： 

SL＝S1+0.9 S2+0.7 S3+0.4 S4    (式1) 

SR＝S5+0.4 S2+0.7 S3+0.9 S4    (式2) 

与(式1)和(式2)相比较，声源MS1至MS5的音频信号S1至S5被以上述声级差分配给左声道音频信号SL和右声道音频信号SR，从而只要能再次从左声道音频信号SL和/或右声道音频信号SR分解这些声源，就能分离原始声源。 

在以下实施例中，使用每一声源通常具有不同的谱分量这一事实通过具有足够分辨率的FFT处理将左右2声道的立体声音频信号各自转换到频域，从而分离成多个频分谱分量。然后，对每一声道的音频信号求取相应频分谱间的声级比或声级差。 

然后针对所要分离的声源的每一音频信号在(式1)和(式2)中检测所求取的声级比或声级差所对应的频分谱。在检测到作为要分离的声源的每一音频信号的声级比或声级差的频分谱的情形中，对每一声源分离所检测到的频分谱，从而使得能进行较少受到其它声源影响的声源分离。 

[应用了本发明的一个实施例的音响再现系统的例子] 

图2是示出应用了根据本发明的音频信号处理装置的第一实施例的音响再现系统的构成的框图。该音响再现系统从由诸如上述(式1)和(式2)中 的5个声源信号构成的左右2声道的立体声音频信号SL和SR分离这5个声源信号，并从5个扬声器SP1至SP5执行所分离的5个声源信号的音响再现。 

即，通过输入端子31和32向作为该音频信号处理装置的实施例的音频信号处理装置单元100提供左声道音频信号SL和右声道音频信号SR。使用这一音频信号处理装置单元100，从左声道音频信号SL和右声道音频信号SR分离并提取5个声源的音频信号S1’、S2’、S3’、S4’和S5’。 

已由音频信号处理装置单元100分离并提取的这5个声源的音频信号S1’、S2’、S3’、S4’和S5’分别由D/A转换器331、332、333、334和335转换成模拟信号，然后分别经由放大器341、342、343、344和345以及输出端子351、352、353、354和355提供给扬声器SP1、SP2、SP3、SP4和SP5并音响再现。 

现在，在图2中的例子中，在将收听者M的正面方向作为扬声器SP3的方向时，扬声器SP1、SP2、SP3、SP4和SP5分别被定位在收听者M的左后方、右方后、前方中心、左前方和右前方的位置，且5个声源的音频信号S1’、S2’、S3’、S4’和S5’分别用作左后(LS：左环绕)声道、右后(RS：右环绕)声道、中央声道、左(L)声道以及右(R)声道。 

[音频信号处理装置单元100的构成(音频信号处理装置的第一实施例)] 

图1示出音频信号处理装置单元100的第一例。在音频信号处理装置单元100的该第一例中，2声道的立体声信号当中，左声道音频信号SL被提供给用作D/A转换装置的一个例子的FFT(快速傅里叶变换)单元101，然后在是模拟信号的情况下被转换成数字信号，对信号SL进行FFT处理(快速傅里叶变换)，并将时序音频信号转换成频域数据。显然，如果信号SL是数字信号，则不需要FFT 101中模/数转换。 

另一方面，2声道的立体声信号当中，右声道音频信号SR被提供给用作D/A转换装置的一个例子的FFT单元102，然后在是模拟信号的情况下被转换成数字信号，对信号SR进行FFT处理(快速傅里叶变换)，并将时序音频信号转换成频域数据。显然，如果信号SR是数字信号，则不需要FFT 102中的模/数转换。 

此例中的FFT单元101和102具有相同的构成，并将时序信号SL和SR 划分成互不相同的多个频率的频分谱。作为频分谱所取得的频分数目是对应于声源的分离精度的多数，且频分数目为例如500或以上，且优选地，为4000或以上。频分数目等于FFT单元的点数。 

分别来自FFT单元101和FFT单元102的频分谱输出F1和F2各自被提供给频分谱比较处理单元103和频分谱控制处理单元104。 

频分谱比较处理单元103计算来自FFT单元101和FFT单元102的频分谱输出F1和F2之间的相同频率的声级比，并向频分谱控制处理单元104输出所算出的声级比。 

频分谱控制处理单元104具有对应于要分离和提取的多个声源的音频信号数(在本例中是5)的数目的声源分离处理单元1041、1042、1043、1044和1045。在此例中，向这5个声源分离处理单元1042到1045中的每一个提供FFT单元101的输出F1和FFT单元102的输出F2以及在频分谱比较处理单元103中算出的声级比的信息。 

声源分离处理单元1041、1042、1043、1044和1045各自从频分谱比较处理单元103接收声级比信息，并且从FFT单元101和FFT单元102中的至少一个(在本情形中为两个)中仅提取其中声级比等于所要分离和提取的声源信号的两个声道信号SL和SR之间的分配比的频分谱分量，并向相应的逆FFT单元1051、1052、1053、1054和1055输出提取结果输出Fex1、Fex2、Fex3、Fex4和Fex5。 

声源分离处理单元1041、1042、1043、1044和1045各自由使用者根据所要分离的声源设置要提取哪种声级比的频分谱分量。因此，声源分离处理单元1041、1042、1043、1044和1045各自被构造成只提取由被分解成左右2声道的声源的音频信号中由用户设定在要分离的声级比的频分谱分量。 

逆FFT单元1051、1052、1053、1054和1055各自将来自频分谱控制处理单元104的相应声源分离处理单元1041、1042、1043、1044和1045的提取结果输出Fex1、Fex2、Fex3、Fex4和Fex5的频分谱分量转换成原始时序信号，并从输出端子1061、1062、1063、1064和1065输出经转换的输出信号作为用户设置成要分离的5个声源的音频信号S1’、S2’、S3’、S4’和S5’。 

[频分谱比较处理单元103的构成] 

在本例中，频分谱比较处理单元103在功能上具有如图3中所示的构成。即，频分谱比较处理单元103由声级检测单元41和42、声级比计算单元43和44以及选择器451、452、453、454和455构成。 

声级检测单元41检测来自FFT单元101的频分谱分量F1的每一频率分量的声级，并输出其检测输出D1。另外，声级检测单元42检测来自FFT单元102的频分谱分量F2的每一频率分量的声级，并输出其检测输出D2。在此例中，检测振幅谱作为每一频分谱的声级。注意，可以检测功率谱作为每一频分谱的声级。 

然后，声级比计算单元43计算D2/D1。另外，声级比计算单元44计算倒数D1/D2。向选择器451、452、453、454和455中的每一个提供在声级比计算单元43和44中计算的声级比。然后，从选择器451、452、453、454和455中的每一个提取其一个声级比作为输出声级比r1、r2、r3、r4和r5。 

向选择器451、452、453、454和455中的每一个提供选择控制信号SEL1、SEL2、SEL3、SEL4和SEL5，用于执行关于根据由用户设置的要分离的声源及其声级比来选择声级比计算单元43的输出还是声级比计算单元44的输出的选择控制。向频分谱控制处理单元104的各声源分离处理单元1041、1042、1043、1044和1045提供从选择器451、452、453、454和455中的每一个取得的输出声级比r。 

在此例中，对于频分谱控制处理单元104的声源分离处理单元1041、1042、1043、1044和1045中的每一个，用作要分离的声源的声级比的值总是满足：声级比≤1。即，输入声源分离处理单元1041、1042、1043、1044和1045中的每一个的声级比r是较小声级的频分谱的声级除以较大声级的频分谱的声级。 

因此，对于声源分离处理单元1041、1042、1043、1044和1045中的每一个，在分离被分配成被更多地包括在左声道音频信号SL中的声源信号的情形中，使用从声级比计算单元43输出的声级比计算输出，相反，在分离被分配成被更多地包括在右声道音频信号SR中的声源信号的情形中，使用从声级比 计算单元44输出的声级比计算输出。 

例如，在用户要将左声道和右声道的分配率的值PL和PR(其中PL和PR是等于或小于1的值)的输入设置为要分离的声源的声级比的情形中，PL和PR的分配率值满足：PR/PL＜1，选择控制信号SEL1、SEL2、SEL3、SEL4和SEL5是其中取声级比计算单元43的输出(D2/D1)作为来自选择器451、452、453、454和455中的每一个的输出声级比r的选择控制信号，并且分配系数值PL和PR满足：PR/PL＞1，选择控制信号SEL1、SEL2、SEL3、SEL4和SEL5是其中取声级比计算单元44的输出(D1/D2)作为来自选择器451、452、453、454和455中的每一个的输出声级比r的选择控制信号。 

注意，在由用户设置的分配率值PL和PR相等(其中声级比＝1)的情形中，可以在选择器451、452、453、454和455中的每一个中或可选择声级比计算单元43的输出，或可选择声级比计算单元44的输出。 

[频分谱控制处理单元104的声源分离处理单元的构成] 

频分谱控制处理单元104的声源分离处理单元1041、1042、1043、1044和1045中的每一个都具有相同的构成，并且此例子中在功能上具有如图4中所示的构成。即，图4中所示的声源分离处理单元104i示出声源分离处理单元1041、1042、1043、1044和1045中的一个的构成，并且由乘法系数生成单元51、乘法单元52和53以及加法单元54构成。 

向乘法单元52提供来自FFT单元101的频分谱分量F1以及来自乘法系数生成单元51的乘法系数w，并从乘法单元52向加法单元54提供它们相乘的结果。同样，向乘法单元53提供来自FFT单元102的频分谱分量F2以及来自乘法系数生成单元51的乘法系数w，并从乘法单元53向加法单元54提供它们相乘的结果。加法单元54的输出是声源分离处理单元104i的输出Fexi(其中，Fexi是Fex1、Fex2、Fex3、Fex4或Fex5中的一个)。 

乘法系数生成单元51接收来自频分谱比较处理单元103的选择器45i(其中选择器45i是选择器451、452、453、454和455中的一个)的输出声级比ri(其中ri是r1、r2、r3、r4或r5中的一个)的输出，并生成对应于声级比ri的乘法系数wi。例如，乘法系数生成单元51由以声级比ri为变量的关于乘法 系数wi的函数生成电路。选择哪种函数作为要由乘法系数生成单元51使用的函数取决于由用户者根据要分离的声源设置的分配率值PL和PR。 

向乘法系数生成单元51提供的声级比ri以频分谱的频率分量为单位变化，所以来自乘法系数生成单元51的乘法系数wi也以频分谱的频率分量为单位变化。 

因此，使用乘法器52，来自FFT单元101的频分谱的声级由乘法系数wi控制，而使用乘法器53，来自FFT单元102的频分谱的声级由乘法系数wi控制。 

图5A至图5E示出用作乘法系数生成单元51的函数生成电路中所使用的函数的几个例子。例如，在从左右2声道的音频信号SL和SR分离以上(式1)和(式2)中所示的位于左右声道的声像之间中心处的声源的音频信号S3的情形中，具有如图5A中所示的特性的函数生成电路被用于乘法系数生成单元51。 

图5A中的函数的特性是：在左右声道的声级比ri为1或接近1情形中，即对于其中左右声道在同一声级或接近同一声级的频分谱分量，乘法系数wi为1或接近1，且在左右声道的声级比ri等于或小于0.6的区域中，乘法系数wi为0。 

因此，其中输入乘法系数生成单元51的声级比ri为1或接近1的频分谱分量的乘法系数wi为1或接近1，从而以几乎相同的声级从乘法单元52和53输出频分谱分量。另一方面，其中输入乘法系数生成单元51的声级比ri的值等于或小于0.6的频分谱分量的乘法系数wi为0，因此乘法单元52和53将没有输出。 

亦即，在这多个频分谱分量当中，以几乎相同的声级输出其中左和右声级具有相同或接近声级的频分谱分量，左右声道之间的声级差很大的频分谱分量取其输出声级为0且不被输出。因此，只从加法单元54得到以同一声级向左右2声道的音频信号SL和SR分配的声源的音频信号S3的频分谱分量。 

同样，在从以上(式1)和(式2)中所示的左右2声道的音频信号SL和SR分离位于左右声道中仅一方的声源的音频信号S1或S5的情形中，具有 诸如图5B中所示的特性的函数生成电路被用于乘法系数生成单元51。 

在本实施例的这一情况下，在分离音频信号S1的情形中，用户对要分离的声源输入左/右分配率PL∶PR＝1∶0的设置。一旦用户进行如此设置，就向选择器45i提供用于控制以选择来自声级比计算单元43的声级比的选择控制信号SELi(其中SELi是SEL1、SEL2、SEL3、SEL4或SEL5中的一个)。 

另一方面，在分离音频信号S5的情形中，用户对要分离的声源输入左/右分配率PL∶PR＝0∶1的设置。或者，用户输入诸如PL＝0，PR＝1等设置。一旦用户进行如此设置，即向选择器45i提供用于控制以选择来自声级比计算单元44的声级比的选择控制信号SELi。 

图5B中的函数的特性是：对于左右声道的声级比ri为0或接近0的频分谱分量，乘法系数wi为1或接近1，并且在其中左右声道的声级比ri约等于或大于0.4的区域中，乘法系数wi为0。 

因此，其中输入乘法系数生成单元51的声级比ri为0或接近0的频分谱分量的乘法系数wi为1或接近1，所以以几乎相同的声级从乘法单元52和53输出该频分谱分量。另一方面，其中输入乘法系数生成单元51的声级比ri是约等于或大于0.4的值的频分谱分量的乘法系数wi为0，所以该频分谱分量的输出声级被取为0，并且乘法单元52和53将没有输出。 

亦即，在多个频分谱分量当中，以几乎相同的声级输出其中左右声道中的一方与另一方相比非常大的频分谱分量，而其中左右声道的声级差很小的频分谱分量的输出声级被取为0并且不被输出。因此，从加法单元54只取得分配给左右2声道的音频信号SL和SR中的仅一方的声源的音频信号S1或S5的频分谱分量。 

同样，在从以上(式1)和(式2)中所示的左右2声道的音频信号SL和SR分离在左右声道之间以特定声级差的声源的音频信号S2或S4的情形中，具有诸如图5C中所示的特性的函数生成电路被用于乘法系数生成单元51。 

即，以D2/D1(＝SR/SL)＝0.4/0.9＝0.44的声级比向左右声道分配音频信号S2。同样，以D1/D2(＝SL/SR)＝0.4/0.9＝0.44的声级比向左右声道分配音频信号S4。 

在本实施例的这一情况下，在分离音频信号S2的情形中，用户对要分离的声源输入左/右分配率PL∶PR＝0.9∶0.4的设置。或者，用户输入诸如PL＝0.9，PR＝0.4的设置。一旦用户进行如此设置，即向选择器提供用于控制以选择来自声级比计算单元43声级比的选择控制信号，因为PR/PL＜1成立。 

另一方面，在分离音频信号S4的情形中，用户对要分离的声源输入左/右分配率PL∶PR＝0.4∶0.9的设置。或者，用户输入诸如PL＝0.4，PR＝0.9的设置。一旦用户进行如此设置，即向选择器45i提供用于控制以选择来自声级比计算单元44的声级比的选择控制信号SELi，因为PR/PL＞1成立。 

图5C中的函数的特性是：对于左右声道的声级比ri为D2/D1(＝PR/PL)＝0.4/0.9＝0.44或声级比ri接近0.44的频分谱分量，乘法系数wi为1或接近1，并且在其中左右声道的声级比ri不接近约0.44的区域中，乘法系数wi为0。 

因此，对于其中来自选择器45i的声级比ri为0.44或接近0.44的频分谱分量，乘法系数wi为1或接近1，所以以几乎相同的声级从乘法单元52和53输出频分谱分量。另一方面，对于其中来自选择器45i的声级比ri为约等于或小于0.44或约等于或大于0.44的值的频分谱分量，乘法系数wi为0，因此频分谱分量的输出声级被取为0，并且乘法单元52和53没有输出。 

即，在多个频分谱分量当中，以几乎相同的声级输出其中左和右声级的声级比为0.44或附近的频分谱分量，并且其中声级比ri为约等于或小于0.44或约等于或大于0.44的值的频分谱分量取其输出声级为0并且不被输出。 

因此，从加法单元54仅取得以0.44的声级比向左右2声道的音频信号SL和SR分配的声源的音频信号S2或S4的频分谱分量。 

因此，根据本实施例，使用声源分离处理单元1041、1042、1043、1044和1045，以预定分配比向左右2声道分配的声源的音频信号可以基于其分配比从2声道的音频信号分离。 

在此情形中，在上述实施例中，从2声道的音频信号的两方提取要在声源分离处理单元1041、1042、1043、1044和1045中分离的声源的音频信号，但不一定非要从两个声道中分离和提取，也可以作只从包含要分离的声源的音频 信号分量的一个声道分离和提取的设置。 

另外，在上述实施例中，在音频信号处理装置单元100中，基于向2系统的音频信号分配的声源信号的声级比从2系统的声源信号分离声源信号，但也可以作能基于2系统的音频信号的声源的信号的声级差从2系统的音频信号中的至少一方分离和提取该声源的信号的设置。 

注意以上说明是参照根据(式1)和(式2)向左右声道分配的声源的左右2声道的立体声信号的一个例子进行的，但甚至对不按意图分配的通常的立体声音乐信号，也可以根据图5A至图5E中所示的函数的选择特性来分离相关声源。 

另外，可通过如图5D、图5E那样改变函数来提供不同的声源选择性，诸如改变、扩大或缩小要分离的声级比范围等。 

对于声源的谱构成，许多立体声音频信号由具有不同谱的声源构成，但这些声源也可以与上述类似地分离。 

另外，对于谱重叠部分多的声源能通过提高FFT单元101和102中的频率分辨率从而使用例如具有4000或以上点的FFT电路来进一步改善声源分离的质量 

[音频信号处理装置单元100的构成的第二实施例] 

对于上述第一实施例，为要分离的所有声源的音频信号设置声源分离处理单元，使用在两个声道的立体声信号中分配声源的音频信号所用的预定声级比或声级差从2系统的音频信号中的一方分离和提取要从2系统的音频信号(在上述例子中，是左右2声道的立体声信号SL和SR)分离的所有声源的音频信号。 

然而，不需要分离和提取所有声源音频信号，并且可以进行如下设置：在从左右声道音频信号分离和提取声源音频信号的一部分之后，从左声道或右声道减去所分离和提取的声源的音频信号，从而分离和提取其它声源音频信号作为其残差。 

下述第二实施例是此情形的一个例子。图6是示出其一个例子的框图。 

在图6中的例子中，使用声源分离处理单元从左声道音频信号SL分离和 提取声源MS1的音频信号S1，并且还从左声道音频信号SL减去已分离和提取的音频信号S1，从而产生声源MS2的音频信号S2与声源MS3的音频信号S3的和。 

同样，使用声源分离处理单元从右声道音频信号SR分离和提取声源MS5的音频信号S5，并且还从右声道音频信号SR减去已分离和提取的音频信号S5，从而产生声源MS4的音频信号S4与声源MS3的音频信号S3的和。 

即，如图6中所示，在此第二实施例中，频分谱控制处理单元104设有声源分离处理单元1041和1045以及残差提取处理单元1046和1047。 

在此第二实施例中，只向声源分离处理单元1041提供来自FFT单元101的左声道音频信号的频域信号F1，并且还向残差提取处理单元1046提供信号F1。从声源分离处理单元1041提取的声源1的频域信号被提供给残差提取处理单元1046，并将其从频域信号F1中减去。 

同样，只向声源分离处理单元1045提供来自FFT单元102的右声道音频信号的频域信号F2，并且还向残差提取处理单元1047提供信号F2。从声源分离处理单元1045提取的声源MS5的频域信号被提供给残差提取处理单元1047，并将其从频域信号F2中减去。 

向声源分离处理单元1041提供来自频分谱比较处理单元103的声级比r1，并向声源分离处理单元1045提供来自频分谱比较处理单元103的声级比r5。 

因此，在图6中所示的例子中，声源分离处理单元1041由图4中所示的乘法系数生成单元51和一个乘法单元52构成，声源分离处理单元1045由图4中所示的乘法系数生成单元51和一个乘法单元53构成，两者均具有不需要加法单元54的构成。 

并且频分谱比较处理单元103仅需使用图3中的构成的选择器451和455，所以不需要选择器452至454。 

在此构成中，对于声源分离处理单元1041，只从向逆FFT单元1051提供的频域信号F1提取将向逆FFT单元1051提供的声源MS1的频域信号。因此，在输出端子1061得到声源MS1的时域的音频信号S1’。 

在残差提取处理单元1046中，从来自FFT单元101的频域信号F1减去 来自声源分离处理单元1041的声源MS1的频域信号，从而产生残差频域信号。作为从残差提取处理单元1046输出的残差的频域信号是作为基于(式1)的声源MS2的频域信号与声源MS3的频域信号之和的信号。 

向逆FFT单元1056提供残差提取处理单元1046的输出，从逆FFT单元1056取得作为已恢复到时域信号的声源MS2的频域信号与声源MS3的频域信号的和的信号，即作为从输出端子1066提取的声源MS2与声源M3的音频信号的和(S2’+S3’)的信号。 

同样，对于声源分离处理单元1045，只从向逆FFT单元1055提供的频域信号F2提取声源MS5的频域信号。因此，在输出端子1065得到声源MS5的时域的音频信号S5’。 

在残差提取处理单元1047中，从来自FFT单元102的频域信号F2中减去来自声源分离处理单元1045的声源MS5的频域信号，从而产生残差频域信号。作为从残差提取处理单元1047输出的残差的频域信号是基于(式2)的作为声源MS4的频域信号与声源MS3的频域信号之和的信号。 

向逆FFT单元1057提供残差提取处理单元1047的输出，从逆FFT单元1056取得作为已恢复到时域信号的声源MS4的频域信号与声源MS3的频域信号的和的信号，即作为从输出端子1067提取的声源MS4与声源M3的音频信号的和(S4’+S3’)的信号。 

在此第二实施例中，从图2中去除了用于音频信号S3’的D/A转换器333和放大器343以及扬声器SP3，并如下地在扬声器中音响再现来自输出端子1061、1065、1066和1067的数字音频信号。 

即，由D/A转换器331将来自输出端子1061的数字音频信号S1’转换成模拟音频信号，通过放大器341提供给扬声器SP1并音响再现该信号，并且由D/A转换器335将来自输出端子1065的数字音频信号S5’转换成模拟音频信号，通过放大器345提供给扬声器SP5并音响再现该信号。 

另外，来自输出端子1066的数字音频信号(S2’+S3’)由D/A转换器332转换成模拟音频信号，通过放大器342提供给扬声器SP2并音响再现，并且来自输出端子1067的数字音频信号(S4’+S3’)由D/A转换器334转换成模拟音 频信号，通过放大器344提供给扬声器SP4并音响再现。在此情形中，扬声器SP2和扬声器SP4相对于收听者M的设置可与第一实施例的情形有所变化。 

[音频信号处理装置单元100的构成的第三实施例] 

第三实施例是第二实施例的变形例。即，对于第二实施例，从来自FFT单元101或FFT单元102的频域信号F1或F2减去用声源分离处理单元从来自FFT单元101或FFT单元102的频域信号F1或F2分离和提取的特定声源的频域信号，从而以频域信号的状态取得除所分离和提取的声源的信号以外的信号。因此，对于第二实施例，残差提取处理单元被设置在频分谱控制处理单元104内。 

相反，对于第三实施例，残差处理单元在时域中从2系统的输入音频信号中的一方减去所分离和提取的声源的信号。图7是根据第三实施例的音频信号处理装置单元100的构成例的框图，与第二实施例相同，在频分谱控制处理单元104的声源分离处理单元中分离和提取声源MS1和MS5的音频分量，然而，这是从输入音频信号提取外部声源的音频分量作为其残差的情形。 

即，如图7中所示，在此第三实施例中，频分谱比较处理单元103的构成与第二实施例的相同，但频分谱控制处理单元104与第二实施例的不同之处在于它由声源分离处理单元1041和声源分离处理单元1045构成，且残差提取处理单元不设置在此频分谱控制处理单元104内。 

在第三实施例中，通过延迟器1071向提取时域信号的残差的残差提取重单元1072提供来自输入端子31的左声道音频信号SL。来自逆FFT单元1051的声源S1的时域音频信号S1’被提供给残差提取处理单元1072，并将其从来自延迟器1071的左声道音频信号SL中减去。 

因此，来自残差提取处理单元1072的残差输出是作为从上述(式1)中的信号SL中减去声源MS1的时域信号S1’的结果的、声源MS2的时域信号与声源MS3的时域信号的和的数字音频信号(S2’+S3’)。通过输出端子1068输出数字音频信号(S2’+S3’)的这一和。 

以同样的方式，通过延迟器1073向提取时域信号的残差的残差提取重单元1074提供来自输入端子32的右声道音频信号SR。来自逆FFT单元1055 的声源S5的时域音频信号S5’被提供给残差提取处理单元1074，并将其从来自延迟器1073的右声道音频信号SR中减去。 

因此，从残差提取处理单元1074输出的残差是作为从上述(式5)中的信号SR减去声源MS5的时域信号S5’的结果的、声源MS4的时域信号与声源MS3的时域信号的和的数字音频信号(S4’+S3’)。通过输出端子1069输出数字音频信号(S4’+S3’)的这一和。 

注意，考虑到频分谱比较处理单元103和频分谱控制处理单元104中的处理延迟，向残差提取处理单元1072和1074设置延迟器1071和1073。 

在第三实施例中，在图2中所示的音响再现系统中，以与第二实施例相同的方式，将来自输出端子1061和1065的数字音频信号S1’和S5’由D/A转换器331和335转换成模拟音频信号，通过放大器341和345提供给扬声器SP1和SP5并将其音响再现，并且来自输出端子1068的数字音频信号(S2’+S3’)由D/A转换器332转换成模拟音频信号，且来自输出端子1069的数字音频信号(S4’+S3’)由D/A转换器334转换成模拟音频信号，并通过放大器344提供给扬声器SP4并音响再现。 

根据第三实施例，残差提取处理单元1072和1074在时域中提取残差，所以不需要第二实施例中的逆FFT单元1056和1057，其优点在于简化了构成。 

[音频信号处理装置单元100的构成的第四实施例] 

在上述实施例中，向2声道的音频信号分配每一声源的音频信号时的相位已被描述成对两个声道同相，但存在着以反相重新分配诸声源的音频信号的情形。作为一个例子，我们考虑其中如在以下(式3)和(式4)中所示地在左右2声道中分配6个声源MS1至MS6的音频信号S1至S6的立体声音频信号SL和SR。 

SL＝S1+0.9 S2+0.7 S3+0.4 S4+0.7 S6…(式3) 

SR＝S5+0.4 S2+0.7 S3+0.9 S4-0.7 S6…(式4) 

即，各以相同声级向左右声道分配声源MS3的音频信号S3和声源MS6的音频信号S6，但同相地向左右声道分配声源MS3的音频信号S3，而反相地向左右声道分配声源MS6的音频信号S6。 

因此，在试图不考虑相位只以使用声级比或声级差的频分谱控制处理单元104的声源分离处理单元来分离和提取声源MS3的音频信号S3或声源MS6的音频信号S6中的一个的情形中，以相同声级向左右声道分配音频信号S3和S6，所以不能只分离和提取一个。 

因此，在第四实施例中，在频分谱控制处理单元104的声源分离处理单元中，在与上述诸实施例一样使用声级比或声级差分离音频分量之后，进一步使用相位差来进行分离，从而即使在象(式3)和(式4)中那样的情形中也能分离和输出声源MS3的音频信号S3和声源MS6的音频信号S6。 

图8是根据第四实施例的音频信号处理装置单元100的主要部件的构成例的框图。此图8相当于示出频分谱控制处理单元104的一个声源分离处理单元的构成。 

根据第四实施例的音频信号处理装置单元100的频分谱比较处理单元103具有声级比较处理单元1031和相位比较处理单元1032。 

根据第四实施例的频分谱控制处理单元104还具有第一频分谱控制处理单元以及基于相位差来执行声源分离处理的第二频分谱控制处理单元104P。在此情形中，频分谱控制处理单元104的声源分离处理单元104i具有作为第一频分谱控制处理单元104A的部分和作为基于相位差来执行声源分离处理的第二频分谱控制处理单元104P的部分。 

图9是示出根据第四实施例的频分谱比较处理单元103和频分谱控制处理单元104的声源分离处理单元中的一个的详细构成例的框图。 

即，频分谱比较处理单元103的声级比较处理单元1031具有与上述第一实施例中的频分谱比较处理单元103相同的构成，包括：声级检测单元41和42、声级比计算单元43和44以及选择器。如图3中所示，已描述了在向频分谱控制处理单元104设置多个声源分离单元的情形中设置对应于声源分离单元数目的数目的选择器45这一事实。 

频分谱控制处理单元104的第一频分谱控制处理单元104A也具有与图4中所示的第一实施例中的频分谱控制处理单元104的声源分离处理单元104i几乎相同的构成(除了不包括加法单元54以外)，并具有由乘法系数生成单 元51和乘法单元52和53组成的声源分离单元的构成。 

如图8和图9中所示，来自声级比较处理单元1031的声级比输出ri被以与第一实施例完全相同的方式提供给第一频分谱控制处理单元104A的乘法系数生成单元51，且对应于对乘法系数生成单元51设置的函数的乘法系数wr由乘法系数生成单元51生成并提供给乘法单元52和53。 

向乘法单元52提供来自FFT单元101的频分谱分量F1，并从乘法单元52得到频分谱分量F1与乘法系数wr相乘的结果。同样，向乘法单元53提供来自FFT单元102的频分谱分量F2，并从乘法单元53得到频分谱分量F2与乘法系数wr相乘的结果。 

即，乘法单元52和53各自产生其中来自FFT单元101和102的频分谱分量F1和F2已受到根据来自乘法系数生成单元51的乘法系数wr所进行的声级控制的输出。 

如前所述，乘法系数生成单元51由以声级比ri为变量的关于乘法系数wr的函数生成电路构成。将选择哪种函数作为要由乘法系数生成单元51使用的函数取决于要分离到左右2声道的音频信号的声源的分配百分比。 

例如，对乘法系数生成单元51设置具有诸如图5A至图5E中所示的特性的关于乘法系数wr的声级比ri的函数。例如，在分离和提取以相同声级分配给左右2声道的声源的音频信号的情形中，如前所述，在乘法系数生成单元51中设置图5A中所示的特定函数。 

在此第四实施例中，乘法单元52和53的输出分别被提供给频分谱比较处理单元103的相位比较处理单元1032，并且还被提供给第二频分谱控制处理单元104P。 

如图9中所示，相位比较处理单元1032包括检测乘法单元52和53的输出的相位差φ的相位差检测单元46，相位差φ的信息被提供给第二频分谱控制处理单元104P。向各声源分离处理单元设置相位差检测单元46。 

第二频分谱控制处理单元104P包括两个乘法系数生成单元61和65、乘法单元62和63、乘法单元66和67以及加法单元64和68。 

向乘法单元62提供第一频分谱控制处理单元104A的乘法单元52的输出、 以及来自乘法系数生成单元61的乘法系数wp1，并由乘法单元62向加法单元64提供两者相乘的结果。同样，向乘法单元63提供第一频分谱控制处理单元104A的乘法单元53的输出、以及来自乘法系数生成单元61的乘法系数wp1，并由乘法单元63向加法单元64提供两者相乘的结果。加法单元64的输出被取为第一输出Fex1。 

同样，向乘法单元66提供第一频分谱控制处理单元104A的乘法单元52的输出、以及来自乘法系数生成单元65的乘法系数wp2，并由乘法单元66向加法单元68提供两者相乘的结果。同样，向乘法单元67提供第一频分谱控制处理单元104A的乘法单元53的输出、以及来自乘法系数生成单元65的乘法系数wp2，并由乘法单元67向加法单元68提供两者相乘的结果。加法单元68的输出被取为第二输出Fex2。 

乘法系数生成单元61和65接收来自相位差检测单元26的相位差φ并生成对应于所接收的相位差φ的乘法系数wp1和wp2。乘法系数生成单元61和65由其中以相位差φ为变量的关于乘法系数wp的函数生成电路构成，用户根据所要分离的声源2声道的相位差设置要选择哪种函数作为乘法系数生成单元61和65使用的函数。 

向乘法系数生成单元61和65提供的相位差φ以频分谱的频率分量为单位变化，因此来自乘法系数生成单元61和65的乘法系数wp1和wp2也以频率分量为单位变化。 

因此，在乘法单元62和乘法单元66中，来自乘法单元52的频分谱的声级由乘法系数wp1和wp2控制，且同样，在乘法单元63和乘法单元67中，来自乘法单元53的频分谱的声级由乘法系数wp1和wp2控制。 

图10A至图10E示出作为乘法系数生成单元301和305的函数生成电路中使用的函数的几个例子。 

图10A中的函数的特性在于：在相位差φ为0或接近0的情形中，即对于其中左右声道同相或接近同相的频分谱分量，乘法系数wp(相当于wp1或wp2)为1或接近1，且在其中左右声道的相位差φ约等于或大于π/4的区域中，乘法系数wp为0。 

例如，在乘法系数生成单元61中设置图10A中所示的特性的函数的情形中，对应于其中来自相位差检测单元46的相位差φ为0或接近0的频分谱分量的乘法系数wp为1或接近1，所以以大约相同的声级从乘法单元62和63输出该频分谱分量。另一方面，对应于其中来自相位差检测单元26的相位差φ为约等于或大于π/4的频分谱分量的乘法系数wp为0，所以该频分谱分量为0，并且不从乘法单元62和63输出。 

即，在许多频分谱分量当中，以大约相同的声级从乘法单元62和63输出左右声道之间同相或接近同相的频分谱分量，而左右声道之间相位差很大的频分谱分量的输出声级为0且不输出。因此，只从加法单元64得到同相地向左右2声道的音频信号SL和SR分配的声源的音频信号的频分谱分量。 

即，图10A中所示的特性的函数被用于提取同相地向左右2声道分配的声源的信号。 

又，图10B中所示的函数的特性在于：在左右声道的相位差φ为π或接近π的情形中，即对于其中左右声道反相或接近反相的频分谱分量，乘法系数wp为1或接近1，且在其中相位差φ约等于或小于3π/4的区域中，乘法系数wp为0。 

例如，在乘法系数生成单元61中设置图10B中所示的特性的函数的情形中，对应于其中来自相位差检测单元46的相位差φ为π或接近π的频分谱分量的乘法系数wp为1或接近1，所以以大约相同的声级从乘法单元62和63输出该频分谱分量。另一方面，对应于其中来自相位差检测单元46的相位差φ为约等于或小于3π/4的频分谱分量的乘法系数wp为0，所以该频分谱分量为0，并且不从乘法单元62和63输出。 

即，在许多频分谱分量中，以大约相同的声级从乘法单元62和63输出左和右声道之间反相或接近反相的频分谱分量，左右声道之间相位差很小的频分谱分量的输出声级为0且不输出。因此，只从加法单元64得到反相地向左右2声道的音频信号SL和SR分配的声源的音频信号的频分谱分量。 

即，图10B中所示的特性的函数被用于提取反相地向左右2声道分配的声源的信号。 

同样，图10C中所示的函数的特性在于：在左右声道的相位差φ为π/2或接近π/2的情形中，乘法系数wp为1或接近1，且在其它相位差φ的区域中，乘法系数wp为0。因此，图10C中所示的特性的函数被用于提取以仅相差约π/2的相位向左右2声道分配的声源的信号。 

另外，可以根据分配要被分离成2声道的音频信号的声源时的相位差将乘法系数生成单元61和65设成诸如图10D或图10E中所示的特性的函数。 

因此，从频分谱控制处理单元104的声源分离处理单元之一得到的第一输出Fex1和第二输出Fex2被分别提供给逆FFT单元150a和150b，恢复成原始时序音频信号，并被提取作为第一和第二输出信号SOa和SOb。在提取作为模拟信号的第一和第二输出信号SOa和SOb的情形中，向逆FFT单元150a和150b的输出侧设置D/A转换器。 

在此第四实施例中，在从(式3)和(式4)中所示的左右2声道的音频信号SL和SR分离以相同声级同相地向左和右声道分配的声源MS3的音频信号S3以及以相同声级但反相地向左和右声道分配的声源MS6的音频信号S6作为输出Fex1和Fex2的情形中，对乘法系数生成单元51设置具有诸如图5A中所示的特性的函数，对乘法系数生成单元61设置具有诸如图10A中所示的特性的函数，对乘法系数生成单元65设置具有诸如图10B中所示的特性的函数。 

因此，如图8和图9中所示，从频分谱控制处理单元104的第一频分谱控制处理单元104A的乘法单元52得到经过FFT处理的左声道音频信号SL(频分谱)的(S3+S6)的频分谱分量，并且同样，从乘法单元53得到经过FFT处理的右声道音频信号SR(频分谱)的(S3-S6)的频分谱分量。即，以同一声级向左右声道分配信号S3和S6，从而不用能将其分离的第一频分谱控制处理单元104A就能输出这些信号。 

然而，在第四实施例中，如下地运用以反相向左右声道分配信号S3和S6这一事实来分离信号S3和S6。 

即，向构成频分谱比较处理单元103的相位比较处理单元1032的相位差检测单元26提供乘法单元52和53的输出，并且对两个输出检测相位差φ。 在相位差检测单元26中检测到的相位差φ的信息被提供给乘法系数生成单元61，还被提供给乘法系数生成单元65。 

在乘法系数生成单元61中，设置具有如图10A中所示的特性的函数，所以乘法单元62和63提取同相地向左右声道分配的声源的音频信号。即，在频分谱分量(S3+S6)和频分谱分量(S3-S6)中，只从乘法单元62和63得到同相关系的声源MS3的音频信号S3的频分谱分量并将其提供给加法单元64。 

因此，从加法单元64提取声源MS3的音频信号S3的频分谱分量作为输出信号Fex1并将其提供给逆FFT单元150a。在逆FFT单元150a中将分离的音频信号S3恢复成时序信号并将其作为输出信号SOa输出。 

另一方面，在乘法系数生成单元65中，设置具有诸如图10B中所示的特性的函数，所以乘法单元66和67提取反相地向左和右声道分配的声源的音频信号。即，在频分谱分量(S3+S6)和频分谱分量(S3-S6)当中，只分别从乘法单元66和67取得反相关系的声源MS6的音频信号S6的频分谱分量并将其提供给加法单元68。 

因此，从加法单元68提取声源MS6的音频信号S6的频分谱分量作为输出信号Fex2并将其提供给逆FFT单元150b。然后在逆FFT单元150b中将分离的音频信号S6恢复成时序信号并将其作为输出信号SOb输出。 

注意，在图8和图9中所示的实施例中，在第二频分谱控制处理单元104P中使用相应的乘法系数和乘法单元来分离在第一频分谱控制处理单元104A中不能用声级比分离的两个信号，即上述例子中的同相信号S3和反相信号S6，但也可以作下列设置：在使用相位差φ和乘法系数分离使用声级比不能分离的两个信号之一之后，从来自第一频分谱控制处理单元104A的信号的和(乘法单元52的输出加上乘法单元53的输出得到的信号)中减去分离出的信号，从而分离出两个信号中的另一个。 

又，虽然在图8和图9的实施例中取得两个声源信号，但要输出的分离的声源信号也可以是1个。另外，很明显此第四实施例也可以应用于使用相位差φ和乘法系数同时分离更多声源的音频信号的情形。 

另外，图8和图9中的实施例被设置成在基于2系统的频分谱的声级比提 取2系统的音频信号中以相同声级分配的声源分量之后，基于来自提取结果的关于2系统的频分谱的相位差来分离所期望的声源，但很明显，在输入音频信号是诸如(S3+S6)和(S3-S6)那样的2系统的音频信号的情形中，只能基于相位差来进行声源分离。 

[第五实施例] 

上述实施例是其中2声道立体声信号由5个声源的音频信号构成的情形，该5个声源各自分离，或被分离成与其它声源信号的和。 

此第五实施例是仍使用以上实施例中所述的声源分离方法并也只生成低频信号的声道的音频信号，从而生成所谓的5.1声道音频信号并用所生成的6个音频信号驱动6个扬声器的多声道音响再现系统的情形。 

图11是示出根据第五实施例的音响再现系统的构成例的框图。同样，图12是示出图11中所示的音响再现系统中的音频信号处理装置单元100的构成例的框图。 

在第五实施例中，除了如上述实施例中在图2中示出的5个扬声器SP1至SP5以外，还设置了低频再现扬声器SP6。在根据第五实施例的音频信号处理装置单元100中，使用根据上述第一实施例的方法从2声道立体声信号SL和SR的高频分量中分离和提取要向扬声器SP1至SP5提供的信号S1’至S5’，并从2声道立体声信号SL和SR的低频分量生成要向低频再现扬声器SP6提供的音频信号S6’。 

即，如图12中所示，在第五实施例中，来自FFT单元101的频域信号F1通过高通滤波器1081以只产生高频分量，然后被提供给频分谱比较处理单元103并且还被提供给频分谱控制处理单元104。同样，来自FFT单元102的频域信号F2通过高通滤波器1082以只产生高频分量，然后被提供给频分谱比较处理单元103并且还被提供给频分谱控制处理单元104。 

和第一实施例一样，5个声源MS1至MS5的频域音频信号分量在频分谱比较处理单元103和频分谱控制处理单元104中被分离和提取，由逆FFT单元1051至1055恢复成时域信号S1’至S5’，并从输出端子1061至1065输出。 

又，在第五实施例中，来自FFT单元101的频域信号F1通过低通滤波器 1084以只产生低频分量，然后被提供给加法单元1085，而来自FFT单元102的频域信号F2通过低通滤波器1084以只产生低频分量，然后被提供给加法单元1085并与来自低通滤波器1084的低频分量相加。即，从加法单元1085得到信号F1和F2的低频分量的和。 

来自加法单元1085的信号F1和F2的低频分量的和被逆FFT单元1086取为时域信号S6’，并从输出端子1087提取。亦即，从输出端子1087提取了左右2声道的音频信号SL和SR的低频分量之和S6’。然后，低频分量的和S6’被作为信号LEF(低效频率)输出，并通过D/A转换器336和放大器346提供给扬声器SP6。 

因此，可以实现从2声道立体声音频信号SL和SR提取5.1声道信号的多声道系统。 

[第6实施例] 

第6实施例示出对在音频信号处理装置单元100中生成的5.1声道信号进一步进行信号处理，从而新分离一SB(回声)声道并作为6.1声道信号输出的一个例子。 

图13是示出音响再现系统中的音频信号处理装置单元100的下游的构成例的框图。在第6实施例中，除了上述第五实施例中的扬声器SP1至SP6以外还提供了SB声道再现扬声器SP7。 

下游信号处理单元200设置在音频信号处理装置单元100的下游，并且在下游信号处理单元200中从音频信号处理装置单元100的5.1声道的音频信号生成加入了SB声道音频信号的6.1声道的音频信号。为来自下游信号处理单元200的5.1声道音频信号设置D/A转换器331至336以及放大器341至346，并且还设置用于将所加入的SB声道的数字音频信号转换成模拟音频信号的D/A转换器以及放大器347。 

图14是下游信号处理单元200的内部构成例，数字信号S1’和S5’被提供给第二音频信号处理装置单元400并被分离成信号LS’和信号RS’以及信号SB’并在第二音频信号处理装置单元400输出。同样，在下游信号处理单元200中，为数字音频信号S2’、S3’、S4’和S6’设置延迟器201、202、203和204，数字 音频信号S2’、S3’、S4’和S6’被延迟器201、202、203和204延迟对应于第二音频信号处理装置单元400中的处理延迟时间的时间量并输出。 

第二音频信号处理装置单元400的基本构成与音频信号处理装置单元100的相同。在第二音频信号处理单元400中，从以相同声级同相地向数字信号S1’和S5’分配的信号，即作为声级比为1∶1的信号的数字信号S1’和S5’中分离和提取SB信号。又，从数字信号S1’和S5’中的每一个分离和提取数字信号LS和RS作为主要包含在数字信号S1’和S5’之一中的信号，即作为声级比为1∶0的信号。 

图15示出此第二音频信号处理装置单元400的构成例的框图。如图15中所示，在第二音频信号处理装置单元400中，数字音频信号S1’被提供给FFT单元401，经过FFT处理，并且时序音频信号被转换成频域数据。同样，数字音频信号S5’被提供给FFT单元402，经过FFT处理，并且时序音频信号被转换成频域数据。 

FFT单元401和402具有与上述实施例中的FFT单元101和102相同的构成。向频分谱比较处理单元403和频分谱控制处理单元404各自提供来自FFT单元401和402的频分谱输出F3和F4。 

频分谱比较处理单元403计算来自FFT单元401和FFT单元402的频分谱分量F3和F4之间的相应频率的声级比，并向频分谱控制处理单元404输出所算出的声级比。 

频分谱比较处理单元403具有与上述实施例中的频分谱比较处理单元103相同的构成，并且在此例中包括：声级检测单元4031和4032、声级比计算单元4033和4034以及选择器4035、4036和4037。 

声级检测单元4031检测来自FFT单元401的频分谱分量F3的每一频率分量的声级，并输出其检测输出D3。同样，声级检测单元4032检测来自FFT单元402的频分谱分量F4的每一频率分量的声级，并输出其检测输出D4。在此例中，检测振幅谱作为每一频分谱的声级。注意，可以检测功率谱作为每一频分谱的声级。 

然后，声级比计算单元4033计算D3/D4。同样，声级比计算单元4034计 算D4/D3。向选择器4035、4036和4037中的每一个提供在声级比计算单元4033和4034中算出的声级比。然后，从选择器4035、4036和4037中的每一个中提取其一个声级比作为输出声级比r6、r7和r8。 

向选择器4035、4036和4037中的每一个根据由用户设置成要分离的声源及其声级比来提供用于执行关于选择声级比计算单元4033的输出还是声级比计算单元4034的输出的选择控制的选择控制信号SEL6、SEL7和SEL8。从选择器4035、4036和4037中的每一个得到的输出声级比r6、r7和r8被提供给频分谱控制处理单元404。 

频分谱控制处理单元404具有与要分离的多个声源的音频信号的数目相对应的数目的声源分离处理单元，在此情形中为三个声源分离单元4041、4042和4043。 

在本例中，向声源分离处理单元4041提供FFT单元401的输出F3并提供从频分谱比较处理单元403的选择器4035得到的输出声级比r6。同样，向声源分离处理单元4042提供FFT单元402的输出F4并提供从频分谱比较处理单元403的选择器4036得到的输出声级比r7。同样，向声源分离处理单元4043提供FFT单元401的输出F3以及FFT单元402的输出F4，并提供从频分谱比较处理单元403的选择器4037得到的输出声级比r8。 

在本例中，声源分离处理单元4041由乘法系数生成单元411和乘法单元412构成，且声源分离处理单元4042由乘法系数生成单元421和乘法单元422构成。同样，声源分离处理单元4043由乘法系数生成单元431及乘法单元432和433以及加法单元434构成。 

在声源分离处理单元4041中，向乘法单元412提供FFT单元401的输出F3，还向乘法系数生成单元411提供从频分谱比较处理单元403的选择器4035得到的输出声级比r6。以与上述相同的方式，从乘法系数生成单元411得到对应于输入声级比r6的乘法系数wi，并将其提供给乘法单元412。 

又，在声源分离处理单元4042中，向乘法单元422提供FFT单元402的输出F4，还向乘法系数生成单元421提供从频分谱比较处理单元403的选择器4036得到的输出声级比r7。以与上述相同的方式，从乘法系数生成单元411 得到对应于输入声级比r7的乘法系数wi，并将其提供给乘法单元422。 

又，在声源分离处理单元4043中，向乘法单元432提供FFT单元401的输出F3，向乘法单元433提供FFT单元402的输出F4，还向乘法系数生成单元431提供从频分谱比较处理单元403的选择器4036得到的输出声级比r8。以与上述相同的方式，从乘法系数生成单元411得到对应于输入声级比r8的乘法系数wi，并将其提供给乘法单元432和433。在加法单元434中将乘法单元432和433的输出相加，并随后输出。 

声源分离处理单元4041、4042和4043中的每一个从频分谱比较处理单元403接收声级比r6、r7和r8的信息，从FFT单元401和FFT单元402中的一方或两方只提取其中声级比等于要被分离和提取到两个声道的信号S1’和S5’的声源信号的分配比的频分谱分量，并向相应的逆FFT单元1101、1102和1103输出提取结果输出Fex11、Fex12和Fex13。 

向声源分离处理单元4041的乘法系数生成单元411提供来自选择器4035的声级比r6：D4/D3。对此乘法系数生成单元411设置诸如图5B中所示的函数生成电路，只包含在信号S1’中的频率分量主要从乘法单元412得到，将其作为声源分离处理单元4042的输出信号Fex11输出。 

向声源分离处理单元4042的乘法系数生成单元421提供来自选择器4036的声级比r7：D3/D4。对此乘法系数生成单元421设置诸如图5B中所示的函数生成电路，只包含在信号S5’中的频率分量主要从乘法单元422得到，将其作为声源分离处理单元4042的输出信号Fex12输出。 

向声源分离处理单元4043的乘法系数生成单元431提供来自选择器4037的声级比r8：D4/D3或D3/D4中的一个。对此乘法系数生成单元431设置诸如图5A中所示的函数生成电路。因此，以相同声级且同相地包含在信号S1’和S5’中的频率分量主要从乘法单元432和433得到，并从加法单元434得到这些乘法单元432和433的输出信号的相加的输出，将其作为声源分离处理单元4043的输出信号Fex13输出。 

逆FFT单元1101、1102和1103各自将来自频分谱控制处理单元404的声源分离处理单元4041、4042和4043中的每一个的提取结果输出Fex11、Fex12 和Fex13的频分谱分量转换成原始时序信号，并从输出端子1201、1202和1203输出经转换的输出信号作为用户已设置成要分离的三个声源的音频信号：LS’、RS’和SB。 

因此，根据第6实施例，从5.1声道音频信号生成6.1声道音频信号，并实现了将其从7个扬声器SP1至SP7再现的系统。 

注意，在上述第6实施例的说明中，以使用升级比的声源分离处理单元对信号LS’和RS’进行声源分离，但也作其中象第三或第四实施例那样提取信号SB作为分离的残差的设置。根据这一构成，可以从多声道输入的音频信号分离更多的声源，并进行再配置，从而能实现具有分离更好的声像定位的多声道系统。 

[第7实施例] 

图16示出第7实施例的构成例。此第7实施例是其中在音频信号处理装置单元500中对2声道立体声音频信号SL和SR进行信号处理并用耳机收听作为信号处理结果的音频信号的系统。 

如图16中所示，在第7实施例中，通过输入端子511和512向音频信号处理装置单元500输入2声道立体声音频信号SL和SR。音频信号处理装置单元500由第一信号处理单元501和第二信号处理单元502构成。 

第一信号处理单元501以与上述实施例中的音频信号处理单元100相同的方式构成。即，在第一信号处理单元501中，将输入2声道立体声音频信号SL和SR以与第一实施例相同的方式转换成三个或以上声道，例如5声道的多声道信号。 

接着，第二信号处理单元502从第一信号处理单元501取得这些多声道音频信号作为输入，对多声道中的每一个的音频信号附加相当于从设置在任意位置的扬声器到收听者双耳的传递函数的特性，然后再次将它们合并成两2声道的信号SLo和SRo。 

来自第二信号处理单元502的输出信号SLo和Sro被取为音频信号处理装置单元500的输出，提供给D/A转换器513和514，转换成模拟音频信号，并通过放大器515和516输出至输出端517和518。输出信号SLo和Sro由与输 出端子517和518连接的耳机520音响再现。 

用耳机520实现与扬声器再现相同的特性的原理如下所述。 

图17示出这种耳机的一个例子的框图，其中模拟音频信号SA通过输入端子521提供给A/D转换器522并转换成数字音频信号SD。向数字滤波器523和524提供数字音频信号SD。 

数字滤波器523和524中的每一个被构造成多个采样延迟器531、532…、53(n-1)、滤波器系数乘法单元541、542、…、54n以及加法单元551、552、…、55(n-1)(其中n为等于或大于2的整数)的FIR(有限冲激响应)滤波器，在数字滤波器523和524中的每一个中进行用于头部以外的声像的定位的处理。 

即，例如图19中所示，在声源SP位于收听者M的前方的情形中，来自声源SP的声音输出通过具有传递函数HL和HR的路径传递至收听者M的左耳和右耳。 

因此，在数字滤波器523和524中，将信号SD与其中传递函数HL和HR被转换到时间轴的冲激信号卷积。即，得到对应于传递函数HL和HR的滤波器系数W1、W2、…、Wn，并在数字滤波器523和524中执行使声源SP的声音好象到达收听者M的左耳和右耳那样的处理。注意，通过预先测量或预先计算来计算在数字滤波器523和524中卷积的冲激信号，然后将其转换成滤波器系数W1、W2、…、Wn，并提供给数字滤波器523和524。 

作为这一处理的结果的信号SD1和SD2被提供给D/A转换器电路525和526并被转换成模拟音频信号SA1和SA2，并通过耳机放大器527和528向耳机520的左和右音响单元(电声换能元件)提供信号SA1和SA2。 

因此，来自耳机的左右音响单元的再现声音是已通过传递函数HL和HR的路径的声音，所以当收听者M戴着耳机520并收听其再现的声音时，如图19中所示地，重建了声像SP被定位在头部以外的状态。 

参照图17至图19进行的以上说明对应于来自第一信号处理单元501的一个声道的音频信号，而第二信号处理单元502对来自第一信号处理单元501的多个声道中的每一声道的音频信号执行上述处理。要作为左声道或右声道信号 的信号各自通过在这多个声道信号间进行相加来生成。 

虽然在图17中设置了A/D转换器，但第一信号处理单元501的输出是数字音频信号，所以很明显第二信号处理单元502不需要A/D转换器。 

对在第一信号处理单元501中分离的多个声道的声源中的每一个执行诸如以上用第二信号处理单元502说明的数字滤波器处理使得能在耳机520中听到像是将这多个声道的声源的声像定位在任意位置。 

[第8实施例] 

图20中示出第8实施例的一个构成例。第8实施例是用于以音频信号处理装置单元600进行2声道立体声音频信号SL、SR的信号处理、并使得能用2个扬声器SPL、SPR收听这些信号处理结果的音频信号的系统。 

如图20中所示，在第8实施例中，与第7实施例类似地，分别通过输入端子611和612将2声道立体声音频信号SL、SR输入音频信号处理装置单元600。音频信号处理装置单元600由第一信号处理单元601和第二信号处理单元602构成。 

第一信号处理单元601与第7实施例的第一信号处理单元501完全相同，并和例如第一实施例一样将输入的2声道立体声信号SL、SR转换成三个或以上例如5个声道的多声道信号。 

在第二信号处理单元602中，接收该多声道音频信号作为来自第一信号处理单元601的输入，其中将与从设置在任意位置的扬声器到收听者双耳的传递函数的特性相同的多声道中每一声道的音频信号的特性附加至用2个扬声器SPL、SPR实现的特性。然后，这些信号被再次合并成2声道信号Slsp和SRsp。 

然后，来自第二信号处理单元602的输出信号SLsp和SRsp从音频信号处理装置单元600输出，提供给D/A转换器613和614，转换成模拟音频信号，并通过放大器615和616输出到输出端子617和618。音频信号SLsp和SRsp由连接到输出端子617和618的扬声器SPL和SPR音响再现。 

下面将说明用2个扬声器SPL和SPR来实现类似于任意位置的扬声器再现的特性的原理。 

图21是用两个扬声器将声像定位在任意位置的信号处理装置的构成例的 框图。 

即，模拟音频信号SA通过输入端子621提供给A/D转换器622，并被转换成数字音频信号SD。然后，向由上述图18中所示的数字滤波器构成的数字处理电路623和624提供这一数字音频信号SD。在数字处理电路623和624中，将下述传递函数转换到时间轴的冲激响应被卷积到信号SD中。 

其处理结果的信号SDL和SDR被提供给D/A转换器电路625、626，转换成模拟音频信号SAL、SAR，且这些信号SAL、SAR通过扬声器放大器627和628提供给位于收听者M的左前方和右前方的左和右声道扬声器SPL、SPR。 

现在，数字处理电路623和624中的处理具有以下内容。即，现在如图22中所示，考虑将声源SPL、SPR设置在收听者M的左前方和右前方、并用声源SPL、SPR等效地再现位于任意位置处的声源SPX的情形。 

然后，如果 

HLL：从声源SPL到收听者M的左耳的传递函数 

HLR：从声源SPL到收听者M的右耳的传递函数 

HRL：从声源SPR到收听者M的左耳的传递函数 

HRR：从声源SPR到收听者M的右耳的传递函数 

HXL：从声源SPX到收听者M的左耳的传递函数 

HXR：从声源SPX到收听者M的右耳的传递函数 

成立，则声源SPL、SPR可以表示如下： 

SPL＝(HXLxHRR-HXRxHRL)/(HLLxHRR-HLRxHRL)xSPX 

                              …(式5) 

SPL＝(HXRxHLL-HXLxHLR)/(HLLxHRR-HLRxHRL)xSPX 

                              …(式6) 

因此，如果通过实现(式5)中的传递函数部分的滤波器向设置在声源SPL的位置的扬声器提供对应于声源SPX的输入音频信号SXA，并通过实现(式6)中的传递函数部分的滤波器向设置在声源SPR的位置的扬声器提供信号SXA，则可以将音频信号SX的声像定位在声源SPX的位置。 

在数字处理电路623和624中，其中将类似于(式5)和(式6)的传递 函数部分的传递函数转换到时间轴的冲激响应被卷积到数字音频信号SD中。注意，卷积到构成数字处理电路623和624的数字滤波器中的冲激响应通过预先测量或计算来算出，并被转换成滤波器系数w1、w2、…、Wn，并提供给数字处理电路623和624。 

数字处理电路623和624的处理结果的信号SDL、SDR被提供给D/A转换器电路625和626并被转换成模拟音频信号SAL和SAR，且这些信号SAL和SAR通过放大器627和628提供给扬声器SPL和SPR，并被音响再现。 

因此，可以从来自两个扬声器SPL、SPR的再现声音将来自模拟音频信号SA的声像定位在图22中所示的声源SPX的位置。 

注意，以上参照图20至图22给出的说明对应于对来自第一信号处理单元601的单声道音频信号的处理，且在第二信号处理单元602中，对来自第一信号处理单元601的多声道中每一声道的音频信号执行上述处理。然后，将用作左声道或右声道信号的信号与多声道信号相加，并相应地生成。 

在图21中，设置了A/D转换器，但因为第一信号处理单元601的输出是数字音频信号，所以很明显第二信号处理单元602中不需要A/D转换器。 

因此，通过在第二信号处理单元602中对用第一信号处理单元601分离的多个声道的声源中的每一个执行上述数字滤波器处理，可以将多声道的每一声源的声像定位在任意位置，且这可以用两个扬声器SPL、SPR再现。 

[第9实施例] 

图23中示出第9实施例的一构成例。如图23中所示，此第9实施例是由编码装置单元710、传送装置720以及解码装置单元730构成的编码/解码装置的一个例子。 

即，在第9实施例中，用编码装置单元710将多声道音频信号编码成2声道信号SL、SR，并且在记录和再现已编码的2声道信号的信号SL、SR或用传送装置720传送这些信号之后，在解码装置单元730中再合成原始多声道信号。 

这里，编码装置单元710被构造成例如图24中所示。在图24中，输入的多声道的音频信号S1、S2、…、Sn分别用衰减器741L、742L、743L、…、74nL 进行声级调节，并被提供给加法单元751，并且还由衰减器741R、742R、743R、…、74nR进行声级调节，并被提供给加法单元752。然后，从加法单元751和752将这些信号作为2声道信号SL和SR输出。 

即，多声道的音频信号S1、S2、…、Sn中的每一个用衰减器741L、742L、743L、…、74nL调节声级并提供给加法单元751，并由衰减器741R、742R、743R、…、74nR调节声级并提供给加法单元752。然后这些信号作为2声道信号SL和SR从加法单元751和752输出。 

亦即，多声道的音频信号S1、S2、…、Sn的每一个由衰减器741L、742L、743L、…、74nL和衰减器741R、742R、743R、…、74nR以不同比值附加声级差，合成到2声道信号SL、SR并输出。换言之，使用衰减器741L、742L、743L、…、74nL，将每一声道的输入信号输出为kL1、kL2、kL3、…、kLn倍的声级(kL1、kL2、kL3、…、kLn≤1)。同样，使用衰减器741R、742R、743R、…、74nR，将每一声道的输入信号输出为kR1、kR2、kR3、…、kRn倍的声级(kR1、kR2、kR3、…、kRn≤1)。 

所合成的2声道信号SL、SR被记录在诸如光盘等记录介质上。然后，从记录介质进行再现并传送，或通过通信线传送。传送装置720由用于通过此种目的的记录再现装置或通过通信线来发送/接收的装置构成。 

向解码装置单元730提供通过传送装置720传送的2声道音频信号SL、SR，并在这里输出已被再合成的原始声源。解码装置单元730包括上述第一至第三实施例的音频信号处理装置单元100，并将用编码装置单元710编码时的各声源的2声道的音频信号SL、SR混合的情形中的声级比为基准从2声道音频信号分离恢复原始多声道信号，并通过多个扬声器再现它。 

在上述例子中，在编码装置单元710中未考虑信号相位，但在生成2声道信号SL、SR的情况下可考虑相位。图25是此情形中的编码装置单元710的一个构成例。 

如图25中所示，在此情形中的编码装置单元710中，移相器761L、762L、763L、…、76nL设置在衰减器741L、742L、743L、…、74nL和加法单元751之间，且移相器761R、762R、763R、…、76n R设置在衰减器741R、742R、 743R、…、74nR和加法单元752之间。在用这些移相器761L、762L、763L、…、76nL和移相器761R、762R、763R、…、76nR将各声道信号与2声道信号SL、SR合成的情形中，可以在2声道信号SL、SR之间附相位差。 

在此例的情形中，解码装置单元730使用例如第4实施例的音频信号处理装置单元100。 

根据如上所述的音响再现系统，能构成声源之间的分离优良的编码/解码系统。 

[第10实施例] 

图26中示出第10实施例的一构成例。此第10实施例是一种用于用音频信号处理装置单元800进行2声道立体声音频信号SL、SR的信号处理\并使得能用耳机或用两个扬声器收听信号处理结果的音频信号的系统。 

在第7实施例和第8实施例中，第一信号处理单元和第二信号处理单元设置在音频信号处理装置单元上，输入的立体声信号由第一信号处理单元转换成多声道信号，且对于输入第二信号处理单元的多声道音频信号，将得到与从设置在任意位置处的扬声器到达收听者的双耳的传递函数相同的多声道音频信号特性或是能取得用两个扬声器将声源定位在任意位置处的特性。 

在第10实施例中，不独立地执行用第一信号处理单元进行的处理和用第二信号处理单元进行的处理，而是在从时域到频域的一个转换处理中执行所有处理。 

在图26中，用于2声道音频信号SL、SR转换成频域信号然后分离到例如5个声道的频域的音频信号分量的构成与图1中所示的构成相同。即，图26中的实施例包括FFT单元101和102、频分谱比较处理单元103以及频分谱控制处理单元104的构成部分。 

第10实施例具有信号处理单元900，它用于在将来自频分谱控制处理单元104的输出信号转换到时域之前，执行对应于第7实施例的第二信号处理或第8实施例的第二信号处理的处理。 

此信号处理单元900对于来自频分谱控制处理单元104的5声道的音频信号中的每一个，具有用于左声道信号生成的系数乘法器91L、92L、93L、94L 和95L，以及用于右声道信号生成的系数乘法器91R、92R、93R、94R和95R。该信号处理单元900还具有：加法单元96L，用于合成用于左声道信号生成的系数乘法器91L、92L、93L、94L和95L的输出信号；以及加法单元96R，用于合成用于右声道信号生成的系数乘法器91R、92R、93R、94R和95R的输出信号。 

系数乘法器91L、92L、93L、94L和95L以及系数乘法器91R、92R、93R、94R和95R的乘法系数被设置为对应于上述第7实施例中的第二信号处理单元的数字滤波器的滤波器系数或上述第8实施例中的第二信号处理单元的数字处理电路的滤波器系数的乘法系数。 

因为时域中的卷积积分可以通过频域内相乘来实现，所以在第10实施例中，在图26中，由系数乘法器91L、92L、93L、94L和95L以及系数乘法器91R、92R、93R、94R和95R对分离的各信号乘以一对用于实现传递特性的系数。 

又，在用加法单元96L和96R将向耳机和扬声器输出的声道相加之后，相乘的结果被提供给逆FFT单元1201和1202，并被恢复成时序数据，并作为2声道音频信号SL’和SR’输出。 

用D/A转换器将来自逆FFT单元1201和1202的时序数据SL’和SR’恢复成模拟信号，提供给耳机或2个扬声器，并执行音响再现，虽然图被省略。 

以这种构成，能减少逆FFT处理的次数以及用频域来附加传递特性，所以能用少量处理时间附加长抽头(tap)特性，从而能构建高效的多声道再现系统。 

[第11实施例的音频信号处理装置] 

图27是示出根据第11实施例的音频信号处理装置单元的部分构成例的框图。图27示出用于使用数字滤波器从作为左右2声道音频信号SL、SR之一的左声道音频信号SL分离以预定声级比或声级差向左右声道分配的一个声源的音频信号。 

即，通过用于定时调节的延迟器1301向数字滤波器1302提供左声道的音频信号SL(在本例中为数字信号)。向数字滤波器1302提供如下所述的基于 要分离的声源的音频信号的左右声道的声级比形成的滤波器系数，以从数字滤波器1302提取所要分离的声源音频信号。 

滤波器系数如下地形成。首先，分别向FFT单元1303和1304提供左右声道的音频信号SL和SR(数字信号)，进行FFT处理，将时序音频信号转换成频域数据，并从FFT单元1303和FFT单元1304中的每一个输出频率互不相同的多个频分谱分量。 

向声级检测单元1305和1306提供来自FFT单元1303和1304中的每一个的频分谱分量，并通过所检测的其振幅谱或功率谱来检测其声级。向声级比计算单元1307提供分别由声级检测单元1305和1306检测到的声级值D1和D2，并计算其声级比D1/D2或D2/D1。 

向加权系数生成单元1308提供用声级比计算单元1307算出的声级比值。加权系数生成单元1308对应于上述实施例的乘法系数生成单元，以对于要分离的声源的音频信号的左右2声道音频信号的混合声级比或接近其的声级比输出大值的加权系数，并对其它声级比输出较小加权系数。为从FFT单元1303和1304输出的频分谱分量的每一频率取得加权系数。 

向滤波器系数生成单元1309提供来自加权系数生成单元1308的频域加权系数，并将其转换成时间轴域的滤波器系数。滤波器系数生成单元1309通过使频域加权系数经历逆FFT处理取得要提供给数字滤波器1302的滤波器系数。 

然后，向数字滤波器1302提供来自滤波器系数生成单元1309的滤波器系数，并从数字滤波器1302分离和提取对应于用加权系数生成单元1308设置的函数的声源音频信号，并将其作为输出SO输出。应注意，延迟器1301是用于调节处理延迟时间直至生成向数字滤波器1302提供的滤波器系数。 

图27中的例子只考虑到声级比，但也可以作只考虑相位差，或考虑声级比与相位差组合的构成。即，例如在考虑声级比和相位差的组合的情形中，还向相位差检测单元提供FFT单元1303和1304的输出，还向加权系数生成单元提供所检测到的相位差，虽然其图被省略。在此例的情形中的加权系数生成单元被构造成不仅以要分离的声源的左右2声道音频信号的声级比、还以相位差为变量的用于生成加权系数的函数生成电路。 

换言之，此情形中的加权系数生成单元是用于设置生成系数的函数，其中声级比在要分离的声源的左右2声道的音频信号的声级比或与其接近的声级比的情形中，以及如果相位差是要分离的声源的左右2声道的音频信号的相位差或与其接近的相位差，则生成大加权系数，在除此以外的情形中，生成小系数。 

然后，通过对来自加权系数生成单元的加权系数进行逆FFT处理，形成数字滤波器1302的滤波器系数。 

在图27中，要分离的是期望仅来自左声道的声源的音频信号，但通过设置用于生成右声道的音频信号的滤波器系数的分离系统可以同样地分离预定声源的音频信号。 

注意，为了从2声道立体声信号SL、SR分离和提取具有3个或以上声道的多声道的声源信号，图27的构成部分需要只设置相应声道数。在此情形中，可以在每一声道共用FFT单元1303和1304、声级检测单元1305和1306、以及声级比计算单元1307。 

[其它实施例的音频信号处理装置] 

在上述实施例中，当对输入音频信号进行FFT处理时，难以对诸如乐曲等长时序信号按原样进行FFT处理，因此被分段成预定分析段，并通过取得每一分析段的分段数据来进行FFT处理。 

然而，在单纯地只提取固定长度的时序数据并进行声源分离处理然后执行逆FFT变换来链接数据的情形中，在链接点产生波形不连续点，并且当将其作为声音收听时，存在着产生噪声的问题。 

因此，在第12实施例中，为了提取分段数据，如图28中所示，区间1、区间2、区间3、区间4、…的长度被设为相同长度的单位区间，但在相邻的区间中，可以设置例如单位区间的长度的1/2的区间部分以重叠每一区间，并提取每一区间的分段数据。注意，在图28中，x1、x2、x3、…、xn示出数字音频信号的采样数据。 

当以此方式处理时，已经过上述实施例中所述的声源分离处理以及逆FFT变换的时序数据也能具有诸如图29中所示的输出分段数据1、2等重叠区间。 

在第8实施例中，如图29中所示，对具有重叠区间的相邻输出分段数据， 例如分段数据1、2的重叠区间执行具有诸如图29中所示的三角窗的窗函数1、2的处理，并可以通过对相应输出分段数据1、2的重叠区间将同时刻的数据相加来得到图29中所示的输出合成数据。因此，可以得到没有波形不连续点并且无噪声的分离的输出音频信号。 

例如，2系统的输入音频时序信号被分段成预定分析区间并取得分段数据，并且还以重叠的方式提取预定分段区间，输出时序信号接受窗函数处理，并将同一时刻的时序数据相加并输出。 

另外，在第13实施例中，为了提取分段数据，诸如图30中所示的如区间1、区间2、区间3、区间4那样相互重叠地提取固定区间的相邻分段数据，同时在进行FFT处理之前，对各区间的分段数据进行诸如图30中所示的三角窗的窗函数1、2、3、4的窗函数处理。 

然后，在执行诸如图30中所示的窗函数处理之后，执行FFT变换处理。然后，对要进行声源分离处理的信号进行逆FFT变换，并因此取得图31中所示的输出分段数据1、2。此输出分段数据是已对重叠部分进行了窗函数处理的数据。因此，只要在输出单元将各重叠分段数据部分相加，就能得到无不连续波形点并且无噪声的分离的音频信号。 

注意，对于上述窗函数，除了三角窗之外，还可以使用汉宁窗(Hanningwindow)、汉明窗(Hamming window)或布兰克曼窗(Blackman window)等。 

另外，在上述实施例中，通过对时间离散信号进行正交变换，然后将信号转换成频域信号来比较立体声道之间的频分谱，但在原理上也可以作如下构成：可以将时域信号细分到多个频带总线滤波器，并对相应的频带执行同样的处理。然而，在上述实施例中，执行FFT处理比较容易增加频率分解能力并提高要分离的声源的分离度，因此具有高实用性。 

注意，在上述实施例中，已描述了2声道立体声信号作为应用了本发明的2系统音频信号，但本发明能就于任何类型的2系统音频信号，只要声源的音频信号是以预定声级比或声级差分配的2个音频信号即可。相位差亦是如此。 

另外，在上述实施例中，取得2系统音频信号的频分谱的声级比，且乘法系数生成单元使用对声级比的乘法系数的函数，但可以作如下设置：取得2系统音频信号的频分谱的声级差，并且乘法系数生成单元使用对声级差的乘法系数的函数。 

另外，用于将时序信号转换成频域信号的正交变换装置不限于FFT处理 装置，还可以是能比较频分谱的声级或相位的任何事物。 

Claims (15)

1.一种音频信号处理装置，包括：

分割装置，用于将2系统的音频信号的每一个分割成多个频带；

声级比较装置，用于计算在由所述分割装置分割的多个频带中的每一个中所述2系统的音频信号的声级比或声级差；以及

声源分离处理单元，其数目对应于要分离和提取的多个声源的音频信号数，每个声源分离处理单元从来自所述分割装置的2系统的音频信号中的两方或一方的多个频带分量中提取并输出在所述声级比较装置处计算的所述声级比或所述声级差为预定值及其近旁的频带分量，

其中由每个声源分离处理单元提取并输出的所述频带分量是其声级比或声级差是互不相同的预定值及其近旁的频带分量。

2.一种音频信号处理装置，包括：

第一和第二正交变换装置，用于将2系统的输入音频时序信号转换成相应的频域信号；

频分谱比较装置，用于计算来自所述第一正交变换装置和所述第二正交变换装置的相应频分谱之间的声级比或声级差；

由声源分离装置构成的频分谱控制装置，所述声源分离装置的数目对应于要分离和提取的多个声源的音频信号数，每个声源分离装置基于在所述频分谱比较装置的计算结果控制从所述第一和第二正交变换装置中的两方或一方取得的频分谱的声级，以提取并输出所述声级比或所述声级差为预定值及其近旁的频带分量；

多个正交逆变换装置，用于将来自所述频分谱控制装置的所述声源分离装置中的每一个的所述频带分量恢复成时序信号，

其中由每个声源分离装置提取并输出的所述频带分量是其声级比或声级差是互不相同的预定值及其近旁的频带分量，

其中输出音频信号从所述多个正交逆变换装置中的每一个取得。

3.如权利要求2所述的音频信号处理装置，其特征在于，所述频分谱控制装置的所述声源分离装置，各自具有用于生成设置成一个所述计算出的声级比或声级差的函数的乘法系数的生成装置，并将从所述第一正交变换装置和所述第二正交变换装置中的两方或一方取得的频分谱与来自所述乘法系数生成装置的所述乘法系数相乘，从而确定其输出声级。

4.如权利要求3所述的音频信号处理装置，其特征在于，基于所述计算出的声级比或声级差将对除了预定范围的频分谱以外的频分谱的所述乘法系数设置为0。

5.如权利要求2所述的音频信号处理装置，其特征在于，所述频分谱比较装置还计算来自所述第一正交变换装置和所述第二正交变换装置的相应频分谱之间的相位差；

并且所述频分谱控制装置的所述声源分离装置，各自具有用于生成设置成所述计算出的声级比或声级差的函数的第一乘法系数的生成装置或用于生成设置成所述相位差的函数的第二乘法系数的生成装置；

所述音频信号处理装置包括：

第一装置，用于将从所述第一正交变换装置和所述第二正交变换装置中的两方或一方取得的频分谱与来自所述第一乘法系数生成装置的所述第一乘法系数相乘；以及

第二装置，用于将所述第一装置的输出与来自所述第二乘法系数生成装置的所述第二乘法系数相乘，从而确定其输出声级；

其中所述第二装置的输出被输入所述正交逆变换装置。

6.一种音频信号处理装置，包括：

第一和第二正交变换装置，用于将2系统的输入音频时序信号转换成相应的频域信号；

相位差计算装置，用于计算来自所述第一正交变换装置和所述第二正交变换装置的相应频分谱之间的相位差；

由声源分离装置构成的频分谱控制装置，所述声源分离装置的数目对应于要分离和提取的多个声源的音频信号数，每个声源分离装置基于在所述相位差计算装置所计算的相位差控制从所述第一和第二正交变换装置中的两方或一方取得的频分谱的声级，以提取并输出所述声级比或所述声级差为预定值及近旁的频带分量；

多个正交逆变换装置，用于将来自所述频分谱控制装置的所述声源分离装置中的每一个的所述频带分量恢复成时序信号，

其中由每个声源分离装置提取并输出的所述频带分量是其声级比或声级差是互不相同的预定值及其近旁的频带分量，

其中输出音频信号从所述多个正交逆变换装置取得。

7.如权利要求6所述的音频信号处理装置，其特征在于，

所述频分谱控制装置的所述声源分离装置，各自具有用于生成设置成所述计算出的相位差的函数的乘法系数的生成装置，并将从所述第一正交变换装置和所述第二正交变换装置中的两方或一方取得的频分谱与来自所述乘法系数生成装置的所述乘法系数相乘，从而确定其输出声级。

8.如权利要求2或6所述的音频信号处理装置，其特征在于，所述2系统的输入音频时序信号被分段成预定分析区间并取得分段数据，并且还以重叠的方式提取预定分段区间，输出时序信号接受窗函数处理，并将同一时刻的时序数据相加并输出。

9.如权利要求2或权利要求6所述的音频信号处理装置，其特征在于，所述2系统的输入音频时序信号被分段成预定分析区间并取得分段数据，并且还以重叠的方式提取预定分段区间，进行窗函数处理，然后进行正交变换，输出时序信号接受正交逆变换以将其转换成时序数据，连续分析区间的同一时刻的时序数据被相加并输出。

10.一种音频信号处理方法，包括：

声级比较步骤，用于计算在所分割的多个频带中的每一个中2系统的音频信号的声级比或声级差；以及

输出控制步骤，用于通过声源分离装置提取在所述声级比较步骤中计算的所述声级比或所述声级差为预定值及其近旁的频带分量，所述声源分离装置的数目对应于要分离和提取的多个声源的音频信号数，其中不同值被设为所述预定值，所述不同值的数目为所述多个声源的音频信号数，由每个声源分离装置对每一值提取所述频带的分量，并输出数目为所述多个声源的音频信号数的频域信号。

11.一种音频信号处理方法，包括：

正交变换步骤，用于将2系统的输入音频时序信号转换成相应的频域信号，以取得2系统的频分谱；

频分谱比较步骤，用于计算来自在所述正交变换步骤中取得的所述2系统的频分谱的相应频分谱之间的声级比或声级差；

频分谱控制步骤，用于通过声源分离装置基于所述频分谱比较步骤中的计算结果控制在所述正交变换步骤中取得的所述2系统的频分谱的两方或一方频分谱的声级，以从所述2系统的频分谱中的两方或一方提取并输出所述声级比或所述声级差为预定值及其近旁的频分谱分量，所述声源分离装置的数目对应于要分离和提取的多个声源的音频信号数，其中不同值被设置成所述预定值，所述不同值的数目为所述多个声源的音频信号数，由每个声源分离装置对每一值提取所述频带分量，并输出数目为所述多个声源的音频信号数的频域信号；以及

正交逆变换步骤，用于将在所述频分谱控制步骤中取得的所述输出频域信号中的每一个恢复成时序信号。

12.一种音频信号处理方法，包括：

正交变换步骤，用于将2系统的输入音频时序信号转换成频域信号；

相位差计算步骤，用于计算在所述正交变换步骤中取得的2系统的输入音频时序信号的频分谱中的相应频分谱之间的相位差；

频分谱控制步骤，用于通过声源分离装置基于在所述相位差计算步骤中计算出的相位差控制在所述正交变换步骤中取得的2系统的频分谱的两方或一方频分谱的声级，以从所述2系统的频分谱中的两方或一方提取并输出所述相位差为预定值及其近旁的频带分量，所述声源分离装置的数目对应于要分离和提取的多个声源的音频信号数，其中不同值被设置成所述预定值，所述不同值的数目为所述多个声源的音频信号数，由每个声源分离装置对每一值提取所述频带分量，并输出数目为所述多个声源的音频信号数的频域信号；以及

正交逆变换步骤，用于将在所述频分谱控制步骤中取得的所述输出频域信号中的每一个恢复成时序信号。

13.一种音频信号处理装置，其中向第一信号处理单元提供2系统的输入音频时序信号，由所述第一信号处理单元从所述2系统的输入音频时序信号中分离多个不同声源信号，向第二信号处理单元提供所述多个不同声源信号，并通过由所述第二信号处理单元将来自所述多个声源信号的声像定位在收听者的头部外的预定位置来生成耳机用2声道信号；

其中所述第一信号处理单元包括根据权利要求1至9中任一项的音频信号处理装置；

并且其中所述第二信号处理单元包括：

用于各声道的多个系数乘法装置，用于将为所述耳机的两个声道中的每一个预先取得的预定传递系数乘以来自所述第一信号处理单元的所述多个不同的声源信号；以及

用于通过将用于所述各声道的多个系数乘法装置的相应输出信号相加来生成所述各声道的音频信号的装置。

14.一种音频信号处理装置，其中向第一信号处理单元提供2系统的输入音频时序信号，由所述第一信号处理单元从所述2系统的输入音频时序信号中分离多个不同声源信号，向第二信号处理单元提供所述多个不同声源信号，并通过由第二信号处理单元生成由两个扬声器将来自所述多个声源信号的声像定位在预定位置的2声道信号；

其中所述第一信号处理单元包括根据权利要求1至9中任一项的音频信号处理装置；

且其中所述第二信号处理单元包括：

用于各声道的多个系数乘法装置，用于将为要向所述2个扬声器中每一个提供的2声道信号的每一声道预先取得的预定传递系数乘以来自所述第一信号处理单元的所述多个不同的声源信号的每一个；以及

加法装置，用于通过将每一所述声道的多个系数乘法装置的相应输出信号相加来生成所述各声道的音频信号。

15.一种音频信号处理装置，包括：

第一和第二正交变换装置，用于将2系统的输入音频时序信号转换成相应频域信号；

频分谱比较装置，用于计算来自所述第一正交变换装置和所述第二正交变换装置的相应频分谱之间的声级比或声级差；

由声源分离装置构成的频分谱控制装置，所述声源分离装置的数目对应于要分离和提取的多个声源的音频信号数，每个声源分离装置基于所述频分谱比较装置中的计算结果设置控制从所述第一和第二正交变换装置中的两方或一方取得的频分谱的声级，以提取并输出所述声级比或所述声级差为预定值及其近旁的频带分量；

用于各声道的多个系数乘法装置，用于将预先为耳机的2声道信号的每一声道取得的预定传递系数乘以来自所述频分谱控制装置的所述声源分离装置的每一频域信号；

声道频域信号生成装置，用于通过将用于所述各声道的多个系数乘法装置的相应输出信号相加来生成所述各声道的频域信号；以及

正交逆变换装置，用于将来自所述声道频域信号生成装置的所述各声道的频域信号恢复成时序信号；

其中与作为声源定位在预定位置的多个声源相对应地将不同值设置成所述声级比或所述声级差的预定值，并从所述各声源分离装置取得所述多个声源中的每一个的频域信号。

Images