CN103098132A - 声源分离装置、声源分离方法、以及程序 - Google Patents

Abstract

本发明提供声源分离装置、声源分离方法、以及程序。采用现有的声源分离装置的话，在存在到来方向没规定为特定的方向的扩散性噪声的环境下，特定的频带被大大地删除，结果存在扩散性噪声被不规则地分配给声源分离结果而变成音乐噪声的情况。因此，本发明的一个形态中，声源分离装置（1）的波束形成部（3）通过对频谱分析后的来自麦克风（10、11）的输出信号乘以存在复共轭的关系的加权系数，进行波束形成处理，以与连接两个麦克风（10、11）的线段相交的平面为界限，使得从包含目标声源的大致方向的区域以及与该区域相反的区域到来的各声源信号衰减。加权系数算出部（50）根据由功率计算器（40、41）所计算出的功率频谱信息之间的差值，计算加权系数。

Description

声源分离装置、声源分离方法、以及程序

技术领域

本发明涉及一种使用多个麦克风从多个声源所发出的多个声音信号、各种环境噪声等多个音响信号混杂的信号中分离出来自目标声源的声源信号的声源分离装置、声源分离方法、以及程序。

背景技术

想要在各种环境下收录特定的声音信号等的情况下，由于周围环境中存在有各种各样的噪声源，所以用麦克风仅收录作为目标声音的信号是比较困难的，需要进行一些噪声降低处理或者声源分离处理。

作为尤其需要这些处理的实例，举例有在汽车环境下。在汽车环境下，由于移动电话的普及，行驶中的使用移动电话的通话一般采用与车内分开设置的麦克风，从而使得通话品质显著变差。又，由于在汽车环境下在行驶中进行声音识别的情况下也在相同的状况下发声，这成为使得声音识别性能变差的原因。由于现在的声音识别技术的进步，对于相对于稳态噪声的声音识别率变差的问题，能够恢复变差了的性能的相当大的部分。但是，作为以现有的声音识别技术难以对应的问题，有多个发声者同时发声时的识别性能变差的问题。采用现有的声音识别技术的话，由于识别同时发声的二个人的混合音的技术较低，因此在声音识别装置使用时会限制发声者以外的同乘者发声，发生限制同乘者的行动的状况。

又，关于移动电话、或者能够与移动电话连接进行免提通话的头戴送受话器，在背景噪声环境下进行通话时也同样会发生通话品质的变差。

作为解决上述那样的问题的方法，存在有具有多个麦克风的声源分离方法。例如，专利文献1所记载的声源分离装置进行波束形成处理，以使得来自相对于连接两个麦克风的直线的垂线对称的方向的声源信号分别衰减，根据对波束形成输出计算出的功率谱信息之间的差值提取目标声源的频谱信息。

通过采用专利文献1所记载的声源分离装置，能够实现指向特性不受麦克风元件的灵敏度影响的性质，能够不受麦克风元件的灵敏度的差异的影响地从混合有多个声源所发出的声源信号的混合音之中分离来自目标声源的声源信号。

现有技术文献

专利文献

专利文献1:日本专利第4225430号公报

非专利文献

非专利文献1:Y.Ephraim And D.Malah,"利用最小均方误差短时谱幅度估计的语音增强算法（Speech enhancement using minimum mean-square error short-time spectralamplitude estimator）",IEEE Trans Acoust.,Speech,Signal Processing,ASSP-32,6,pp.1109-1121,Dec.1984.

非专利文献2:S.Gustafsson,P.Jax,And P.Vary,"保留背景噪声特征的新型的基于心理声学模型的音频增强算法（A novel psychoacoustically motivated audioenhancement algorithm preserving background noise characteristics）,"IEEEInternational Conference On Acoustics,Speech And Signal Processing，ICASSP'98,vol.1,ppt.397-400vol.1,12-15May 1998.

发明内容

发明要解决的课题

然而，采用专利文献1所记载的声源分离装置的话，在波束形成处理后所计算出的两个功率谱信息的差值为规定的阈值以上的情况下，将该差值识别为目标声音就照原样进行输出，另一方面，在两个功率谱信息的差值小于规定的阈值的情况下，该差值被识别为噪声并将该频带的输出设为0。因此，在存在例如如汽车的行驶噪声那样到来方向没规定为特定的方向的扩散性噪声的环境下，使得专利文献1的声源分离装置动作时，特定的频带被大大地删除，结果存在扩散性噪声被不规则地分配给声源分离结果而变成音乐噪声的（音乐噪声）的情况。另外，音乐噪声是指噪声的去除残留，由于是在时间轴上以及频率轴上孤立的成分，因此其作为不自然的刺耳的声音而被听到。

又，在专利文献1中，揭示了通过将后置滤波处理放在波束形成处理的前段，来降低扩散性噪声、稳态噪声等，从而防止声源分离后的音乐噪声发生的技术。然而，在麦克风分开配置的情况下、麦克风被模铸在移动电话、头戴送受话器等的框体上的情况下，被输入两个麦克风的噪声的音量差、相位差变大。因此，如果将由其中一个麦克风求得的增益就这样适用于另一个麦克风的话，目标声音在每个频带都被压制、或者噪声大大残留。其结果，难以充分地防止音乐噪声的发生。

因此，本发明正是为了解决上述那样的问题而做出的，其目的在于提供能够不受麦克风的配置的影响地使音乐噪声的发生充分地降低的声源分离装置、声源分离方法、以及程序。

解决课题的手段

为了解决上述课题，本发明的一个形态为从混合有多个声源所发出的声源信号的混合音中分离来自目标声源的声源信号的声源分离装置，其特征在于，包括：第1波束形成处理部，其通过对来自由被输入所述混合音的两个麦克风构成的麦克风对的各自的输出信号进行使用了相互不同的第1系数的、在频域的积和运算，以与连接所述两个麦克风的线段相交的平面为界限，使得从与包含所述目标声源的方向的区域相反的区域到来的声源信号衰减；第2波束形成处理部，其通过对来自所述麦克风对的各自的输出信号乘以第2系数，对所得到的结果在频域进行积和运算，以所述平面为界限使得从包含所述目标声源的方向的区域到来的声源信号衰减，所述第2系数与所述相互不同的第1系数在频域为复共轭的关系；功率计算部，其根据通过所述第1波束形成处理部得到的信号计算具有每个频率的功率值的第1频谱信息，进一步地根据通过所述第2波束形成处理部得到的信号计算具有每个频率的功率值的第2频谱信息；加权系数算出部，其根据所述第1频谱信息与所述第2频谱信息的每个频率的功率值的差值，计算用于与所述第1波束形成处理部所得到的信号相乘的每个频率的加权系数，所述声源分离装置根据由所述第1波束形成处理部得到的信号与所述加权系数算出部所算出的所述加权系数的乘法运算结果，从所述混合音分离来自所述目标声源的声源信号。

又，本发明的其他的形态为一种声源分离方法，其由具有第1波束形成处理部、第2波束形成处理部、功率计算部、加权系数算出部和声源分离部的声源分离装置所执行，其特征在于，包括以下步骤：第1步骤，在该步骤中，所述第1波束形成处理部通过对来自由被输入混合音的两个麦克风构成的麦克风对的各自的输出信号进行使用了相互不同的第1系数的、在频域的积和运算，以与连接所述两个麦克风的线段相交的平面为界限，使得从与包含目标声源的方向的区域相反的区域到来的声源信号衰减，所述混合音混合有多个声源所发出的声源信号；第2步骤，在该步骤中，所述第2波束形成处理部通过对来自所述麦克风对的各自的输出信号乘以第2系数，对所得到的结果在频域进行积和运算，以所述平面为界限使得从包含所述目标声源的方向的区域到来的声源信号衰减，所述第2系数与所述相互不同的第1系数在频域为复共轭的关系；第3步骤，在该步骤中，所述功率计算部根据通过所述第1步骤得到的信号计算具有每个频率的功率值的第1频谱信息，进一步地根据通过所述第2步骤得到的信号计算具有每个频率的功率值的第2频谱信息；第4步骤，在该步骤中，所述加权系数算出部根据所述第1频谱信息与所述第2频谱信息的每个频率的功率值的差值，计算用于与所述第1步骤所得到的信号相乘的每个频率的加权系数，所述声源分离方法根据由所述第1步骤得到的信号与所述第4步骤所算出的所述加权系数的乘法运算结果，从所述混合音分离来自所述目标声源的声源信号。

又，本发明的其他的形态为一种声源分离程序，其特征在于，使得计算机执行以下的步骤：第1处理步骤，在该步骤中，通过对来自被输入混合音的两个麦克风构成的麦克风对的各自的输出信号进行使用了相互不同的第1系数的、在频域的积和运算，以与连接所述两个麦克风的线段相交的平面为界限，使得从与包含目标声源的方向的区域相反的区域到来的声源信号衰减，所述混合音混合有多个声源所发出的声源信号；第2处理步骤，在该步骤中，通过对来自所述麦克风对各自的输出信号乘以第2系数，对所得到的结果在频域进行积和运算，以所述平面为界限使得从包含所述目标声源的方向的区域到来的声源信号衰减，所述第2系数与所述相互不同的第1系数在频域为复共轭的关系；第3处理步骤，在该步骤中，根据通过所述第1处理步骤得到的信号计算具有每个频率的功率值的第1频谱信息，进一步地根据通过所述第2处理步骤得到的信号计算具有每个频率的功率值的第2频谱信息；第4处理步骤，在该步骤中，根据所述第1频谱信息与所述第2频谱信息的每个频率的功率值的差值，计算用于与所述第1步骤所得到的信号相乘的每个频率的加权系数，所述声源分离程序根据由所述第1处理步骤得到的信号与所述第4处理步骤所算出的所述加权系数的乘法运算结果，从所述混合音分离来自所述目标声源的声源信号。采用这样的构成，尤其是在存在扩散性噪声的环境下也能够抑制音乐噪声的发生、且能够从混合有多个声源所发出的声源信号的混合音当中分离来自目标声源的声源信号。

发明的效果

能够维持专利文献1的效果，且使得音乐噪声的发生充分地降低。

附图说明

图1是示出第1实施形态所涉及的声源分离系统的构成的图。

图2是示出第1实施形态所涉及的波束形成部的构成的图。

图3是示出功率计算部的构成的图。

图4是示出相对于麦克风输入信号的、专利文献1所涉及的声源分离装置和本发明的第1实施形态所涉及的声源分离装置中的处理结果的图。

图5是示出图4的处理结果的一部分的放大图。

图6是示出噪声推定部的构成的图。

图7是示出噪声均衡部的构成的图。

图8是示出第1实施形态所涉及的声源分离系统的另一构成的图。

图9是示出第2实施形态所涉及的声源分离系统的构成的图。

图10是示出控制部的构成的图。

图11是示出第3实施形态所涉及的声源分离系统的构成的一例的图。

图12是示出第3实施形态所涉及的声源分离系统的构成的一例的图。

图13是示出第3实施形态所涉及的声源分离系统的构成的一例的图。

图14是示出第4实施形态所涉及的声源分离系统的构成的图。

图15是示出指向性控制部的构成的图。

图16是示出本发明的声源分离装置的指向特性的图。

图17是示出指向性控制部的另一构成的图。

图18是示出设置有目标声音修正部的情况下本发明的声源分离装置的指向特性的图。

图19是示出声源分离系统的处理的一例的流程图。

图20是示出噪声推定部的处理的详细情况的流程图。

图21是示出噪声均衡部的处理的详细情况的流程图。

图22是示出残留噪声压制算出部的处理的详细情况的流程图。

图23是示出就波束形成器30的输出值对邻近声音和远距离声音的情况进行比较的图表的图（麦克风间隔3cm）。

图24是示出就波束形成器30的输出值对邻近声音和远距离声音的情况进行比较的图表的图（麦克风间隔1cm）。

图25是示出专利文献1的声源分离装置的声源分离的边界面的图。

图26是示出专利文献1的声源分离装置的指向特性的图。

具体实施方式

以下，参照附图对本发明所涉及的实施形态进行说明。

［第1实施形态］

图1是第1实施形态所涉及的声源分离系统的基本的构成的图。该系统包括两个麦克风（以下称为「麦克风」）10、11，和声源分离装置1。以下，设麦克风为两个来对实施形态进行说明，但麦克风的数量可以是至少两个以上，并不限定于两个。

该声源分离装置1具有：包含未图示的、对整体进行控制并执行运算处理的CPU以及ROM、RAM、硬盘装置等的存储装置的硬件；和包含存储在存储装置中的程序、数据等的软件。通过这些硬件以及软件来实现声源分离装置1的各功能模块。

两个麦克风10、11在平面上相互分开地设置，接收从两个声源R1、R2发出的信号。此时，使得这两个声源R1、R2分别位于以与连接两个麦克风10、11的线段相交的平面（以下、设为分离面）为边界而分割的两个区域（以下称为「分离面的左右」），但未必需要存在于相对于分离面左右对称的位置。另外，在本实施形态中，对将分离面设为与在面内含有连接两个麦克风10、11的线段的平面垂直相交、且通过所述线段的中点的平面的实例进行说明。

又，设从声源R1发出的声音为应取得的目标声音，从声源R2发出的声音为应压制的噪声（本说明书通篇都是同样的）。又，噪声并不限定于一个，也可以是多个。不过，使得目标声音与噪声的方向不同。

在频谱分析部20、21中，就每一个麦克风输出对由该麦克风10、11得到的两个声源信号分别进行频率分析，在波束形成部3中通过波束形成器30、31对这些被频率分析了的信号进行过滤，该波束形成器30、31在分离面的左右形成了死角，在功率计算部40、41中计算其过滤输出的功率进行计算。另外，波束形成器30、31优选为，在分离面的左右相对于分离面对称地形成死角。

［波束形成部］

首先，参照图2对由波束形成器30、31形成的波束形成部3的构成进行说明。将由频谱分析部20、频谱分析部21就每个频率成分进行分解得到的信号x₁（ω）、x₂（ω）作为输入，通过乘法器100a、100b、100c、100d，分别进行与滤波系数w₁（ω）、w₂（ω）、w₁ ^*（ω）、w₂ ^*（ω）（＊表示存在复共轭的关系）的乘法运算。

而且，通过加法器100e、100f将两个乘法结果相加，输出滤波处理结果ds₁（ω）、ds₂（ω）作为其输出。设相对于目的方位θ₁的增益为1，在其他方向θ₂形成一个死角（增益0）的波束形成器30的滤波矢量（フィルタベクトル）为W₁（ω，θ₁，θ₂）＝［w₁（ω，θ₁，θ₂），w₂（ω，θ₁，θ₂）］^T、观测信号为X（ω，θ₁，θ₂）＝［x₁（ω，θ₁，θ₂），x₂（ω，θ₁，θ₂）］^T的时候，波束形成器30的输出ds₁（ω）可以由下式求出。其中，T表示转置操作，H表示共轭转置操作。

[数式1]

ds₁(ω)＝W₁(ω，θ₁，θ₂)^HX(ω，θ₁，θ₂)···(1)

又，设波束形成器31的滤波矢量为W₂（ω，θ₁，θ₂）＝［w₁ ^*（＊ω，θ₁，θ₂），w₂ ^*（ω，θ₁，θ₂）］^T时，波束形成器31的输出ds₂（ω）可以由下式求出。

[数式2]

ds₂(ω)＝W₂(ω，θ₁，θ₂)^HX(ω，θ₁，θ₂)···(2)

这样，波束形成部3通过使用复共轭滤波系数，在相对于分离面对称的位置形成死角。在此，ω表示角频率，相对于频率存在fω＝2πf的关系。

［功率计算部］

接着，参照图3对功率计算部40、41进行说明。功率计算部40、41通过以下的计算式将来自波束形成器30、波束形成器31的输出ds₁（ω）、ds₂（ω）转换为功率谱信息ps₁（ω）、ps₂（ω）。

[数式3]

ps₁(ω)＝[Re(ds₁(ω))]²+[Im(ds₁(ω))]²···(3)

[数式4]

ps₂(ω)＝[Re(ds₂(ω))]²+[Im(ds₂(ω))]²···(4)

［加权系数算出部］

功率计算部40、41的输出ps₁（ω）、ps₂（ω）被用作加权系数算出部50的两个输入。加权系数算出部50将该两个波束形成器30、31的输出的功率谱信息作为输入，输出每个频率的加权系数G_BSA（ω）。

加权系数G_BSA（ω）是基于所述功率谱信息彼此间的差值的值，作为加权系数G_BSA（ω）的一例，考虑到有以以下的值作为定义域的单调增加函数的输出值，其中作为该定义域的值是，对每个频率计算ps₁（ω）与ps₂（ω）的差值，在ps₁（ω）的值比ps₂（ω）的值大的情况下表示ps₁（ω）与ps₂（ω）的差值的平方根除以ps₁（ω）的平方根所得到的值，在ps₁（ω）的值为ps₂（ω）以下的值的情况下表示0的值。用数式表示加权系数G_BSA（ω）时，如下所示。

[数式5]

$G_{\mathrm{BSA}}\left(\mathrm{\ω}\right)=F\left(\sqrt{\frac{\max ({\mathrm{ps}}_1\left(\mathrm{\ω}\right)-{\mathrm{ps}}_2\left(\mathrm{\ω}\right),0)}{{\mathrm{ps}}_1\left(\mathrm{\ω}\right)}}\right)...\left(5\right)$

在式子（5）中，max（a，b）是指将a以及b中较大的值返回的函数。又，F（x）是在定义域x≧0满足dF（x）／dx≧0的广义单调增加函数，例如想到有S形函数、2次函数等。

在此，对G_BSA（ω）ds₁（ω）进行考察。如式子（1）所示那样，ds₁（ω）是通过相对于观测信号X（ω，θ₁，θ₂）的线性处理而得到的信号。另一方面，G_BSA（ω）ds₁（ω）是通过相对于ds₁（ω）的非线性处理得到的信号。

图4是示出相对于（a）麦克风的输入信号的、（b）专利文献1所涉及的声源分离装置的处理结果、（c）本实施形态所涉及的声源分离装置的处理结果的图。即，图4（b）以及（c）是以声谱图表示G_BSA（ω）ds₁（ω）的一例。在本实施形态所涉及的声源分离装置的单调增加函数F（x）中适用了S形函数。一般来说，S形函数是由1／（1＋exp（a－bx））表示的函数，在图4（c）的处理结果中适用a＝4，b＝6。

又，图5是在时间轴方向上放大图4的（a）～（c）的、某时间带中的声谱图的一部分（符号5）的放大图。观察相对于输入声音（图5的（a））的专利文献1的声源分离装置的处理结果（图5的（b））的声谱图，发现与本实施形态的声源分离装置的处理结果（图5的（c））相比，噪声成分的能量在时间方向、频率方向上分布不均匀，产生音乐噪声这样的形态。

另一方面，发现图4的（c）的声谱图的噪声成分如输入信号那样，为噪声成分的能量在时间方向、频率方向上分布均匀，音乐噪声较少的形态。

［音乐噪声降低增益算出部］

G_BSA（ω）ds₁（ω）是来自充分地降低了音乐噪声的目标声源的声源信号，但在扩撒性噪声等来自各种方向那样的噪声的情况下，作为非线性处理的G_BSA（ω）在每个频率区间(周波数ビン)以及每个信息段（フレ一ム）其值都发生较大的变化，具有产生音乐噪声的倾向。因此，通过对非线性处理后的输出附加不产生音乐噪声的非线性处理前的信号来较少音乐噪声。具体来说，计算出能够以规定的比例将输出G_BSA（ω）与波束形成器30的输出ds₁（ω）相乘而得到的信号X_BSA（ω）和波束形成器30的输出ds₁（ω）进行相加的信号。

又，作为其他的方法，还有再次计算出与波束形成器30的输出ds₁（ω）相乘的增益的方法。在音乐噪声降低增益算出部60中，再次算出增益值G_S（ω），该增益值G_S（ω）是使得加权系数算出部50的输出G_BSA（ω）与波束形成器30的输出ds₁（ω）相乘而得到的信号X_BSA（ω）和波束形成器30的输出ds₁（ω）以规定的比例相加的增益值。

在此，在X_BSA（ω）中以某比例混合了波束形成器30的输出ds₁（ω）的（X_S（ω））由以下数式表示。γ_S是确定混合时的比例的加权系数，是比0大且比1小的值。

[数式6]

X_S(ω)＝γSX_BSA(ω)+(1-γS)ds₁(ω)···(6)

又，将式（6）展开为对波束形成器30的输出ds₁（ω）乘以增益的形式的话，如以下所示。

[数式7]

X_S(ω)＝ds₁(ω){γS(G_BSA(ω)-1)+1}

＝ds₁(ω)G_S(ω)···(7)

即，音乐噪声降低增益算出部60能够由从G_BSA（ω）减去1的减法部、对减法部得到的值乘以加权系数γ_S的乘法部、和对乘法部得到的值加1的加法部构成。即，基于这些构成，再次计算出降低了音乐噪声的增益值G_S（ω）作为与波束形成器30的输出ds₁（ω）相乘的增益。

根据增益值G_S（ω）与波束形成器30的输出ds₁（ω）的乘法运算结果而得到的信号成为与G_BSA（ω）ds₁（ω）相比、降低了音乐噪声的来自目标声源的声源信号。通过利用后述的时域波形转换部120将该信号转换为时域信号并进行输出，能够做成来自目标声源的声源信号。

然而，由于增益值G_S（ω）与G_BSA（ω）相比较必定比较大，因此虽然降低了音乐噪声但增加了噪声成分。因此，为了压制残留噪声，在音乐噪声降低增益算出部60的后段设置残留噪声压制增益算出部110，进一步再次算出最佳增益值。

又，在对波束形成器30的输出ds₁（ω）乘以音乐噪声降低增益算出部60所算出的增益G_S（ω）所得到的X_S（ω）的残留噪声中，也包含有突发性噪声。因此，为了也能够推定突发性噪声，在残留噪声压制增益算出部110所利用的推定噪声的计算中，导入以下所说明的分块矩阵部70和噪声均衡部100。

［噪声推定部］

噪声推定部70的框图在图6（a）～（d）中示出。噪声推定部70根据由麦克风10、11取得的两个信号进行自适应滤波，通过取消作为目标声音的来自声源R1的信号成分，仅取得噪声成分。

在此，将来自声源R1的信号作为S（t）。另外，来自声源R1的声音比来自声源R2的声音先到达麦克风10。将从除此以外的声源发出的声音的信号设为n_j（t），将它们作为噪声。此时，麦克风10的输入x₁（t）和麦克风11的输入x₂（t）如以下所示。

[数式8]

$x_1\left(t\right)=h_{s1}s\left(t\right)+\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{h}_{\mathrm{nj}1}{n}_j\left(t\right)...(9-1)$

$x_2\left(t\right)=h_{s2}s\left(t\right)+\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{h}_{\mathrm{nj}2}{n}_j\left(t\right)...(9-2)$

H_s1：从目标声音到麦克风10的传递函数

H_s2：从目标声音到麦克风11的传递函数

H_nj1：从噪声到麦克风10的传递函数

H_nj2：从噪声到麦克风11的传递函数

图6所示的自适应滤波部71将麦克风10的输入信号和自适应滤波系数进行卷积，计算出与由麦克风11得到的信号成分一致的模拟信号。接着，在减法部72中，从麦克风11的信号减去模拟信号，计算出来自麦克风11中所包含的声源R1的信号中的误差信号（噪声信号）。该误差信号x_ABM(t)成为噪声推定部70的输出信号。

[数式9]

x_ABM(t)＝x₂(t)-H^T(t)·x₁(t)···(10)

进一步地，在自适应滤波部71根据误差信号进行自适应滤波系数的更新。例如，自适应滤波器的系数H（t）的更新利用NLMS（归一化最小均方）。又，也可以根据外部的VAD(语音活动性检测)值、后述的控制部160的信息对自适应滤波器的更新进行控制（图6（c）、图6（d））。具体来说，例如，在阈值比较部74中，可以在判断为来自控制部160的控制信号比规定的阈值大的情况下，对自适应滤波器的系数H（t）进行更新。另外，VAD值是表示目标声音为发声状态还是非发声状态的值。作为该值，可以是On／Off的二值变换，也可以是表示发声状态的概率那样的具有某范围的概率值。

又，此时，假设目标声音和噪声不相关的话，噪声推定部70的输出x_ABM（t）如以下那样算出。

[数式10]

$x_{\mathrm{ABM}}\left(t\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{h}_{\mathrm{nj}2}{n}_j\left(t\right)-H^T\left(t\right)\·\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{h}_{\mathrm{nj}1}{n}_j\left(t\right)$

$+{(h_{s2}{h}_{s1}^{-1}-H\left(t\right))}^T{h}_{s1}s\left(t\right)...\left(11\right)$

此时，如果能够推定压制目标声音那样的传递函数的话，则输出x_ABM（t）如以下所示。

[数式11]

（设能够推定压制目标声音那样的传递函数

）

$x_{\mathrm{ABM}}\left(t\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{h}_{\mathrm{nj}2}{n}_j\left(t\right)-{\left(h_{s2}{h}_{s1}^{-1}\right)}^T\·\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{h}_{\mathrm{nj}1}{n}_j\left(t\right)...\left(12\right)$

基于上述内容，可以对目标声音方向以外的噪声成分进行某程度的推定。尤其是，与Griffith-Jim手法不同，不采用固定滤波器，所以可以对于麦克风增益的不同具有鲁棒性地压制目标声音。又，如图6（b）～图6（d）所示，能够通过改变延迟器73中的滤波器的DELAY值，来控制被判断为噪声的空间范围。由此，可以根据DELAY值缩小或扩大指向性。

另外，作为自适应滤波器，除了上述所列举的之外，只要是对于麦克风的增益特性差异具有鲁棒性的滤波器即可。

又，相对于噪声推定部70的输出，在频谱分析部80进行频率分析，在噪声功率计算部90计算每个频率区间的功率。又，作为噪声推定部70的输入，可以是频谱分析后的麦克风输入信号。

［噪声均衡部］

对噪声推定部70的输出进行了频率分析后得到的X_ABM（ω）中所包含的噪声量、能够以规定的比例对加权系数G_BSA（ω）与波束形成器30的输出ds₁（ω）相乘而得到的信号X_BSA（ω）和波束形成器30的输出ds₁（ω）进行相加的信号X_S（ω）中所包含的噪声量，这两者的频谱的形状相似，但其能量的量却存在背离。由此，在噪声均衡部100中，为了使得两者的能量的量一致而进行修正。

噪声均衡部100的框图如图7所示。另外，以下，对使用功率计算部90的输出pX_ABM（ω）、音乐噪声降低增益算出部60的输出G_S（ω）、波束形成器30的输出ds₁（ω）作为噪声均衡部100的输入的实例进行说明。

首先，乘法部101进行ds₁（ω）与G_S（ω）的乘法运算。相对于其输出，通过功率计算部102求出功率。平滑部103、104通过接收外部的VAD值、来自后述的控制部160的信号在判断为噪声的区间，对功率计算部90的输出pX_ABM（ω）和功率计算部102的输出pX_S（ω）分别进行平滑处理。“平滑处理”是指，对于连续的数据，为了降低大大偏离其他的数据的数据的影响而对数据进行平均化的处理。在本实施形态中，采用一次IIR滤波器进行平滑处理，经平滑处理后的功率计算部90的输出pX'_ABM（ω）和功率计算部102的输出pX'_S（ω）是将过去的帧的经平滑处理后的功率计算部90的输出和功率计算部102的输出使用于当前处理的帧的功率计算部90的输出pX_ABM（ω）和功率计算部102的输出pX_S（ω）而计算出的。作为平滑处理的一例，经平滑处理后的功率计算部90的输出pX'_ABM（ω）和功率计算部102的输出pX'_S（ω）如以下的式子（13－1）那样计算出。在此，为了使得时间序列容易明白，设置处理帧编号m，将当前处理帧设为m、将前一个处理帧设为m-1。另外，平滑部103中的处理可以在阈值比较部105判断为来自控制部160的控制信号比规定的阈值小的情况下执行。

[数式12]

pX′_S(ω，m)＝α·pX′_S(ω，m-1)+(1-α)·pX_S(ω，m)···(13-1)

pX′_ABM(ω，m)＝α·pX′_ABM(ω，m-1)+(1-α)·pX_ABM(ω，m)···(13-2)

均衡更新部106计算出pX'_ABM（ω）与pX'_S（ω）的输出比。即，均衡更新部106的输出如下所示。

[数式13]

$H_{\mathrm{EQ}}(\mathrm{\ω},m)=\frac{p{X}_S^{\′}(\mathrm{\ω},m)}{p{X}_{\mathrm{ABM}}^{\′}(\mathrm{\ω},m)}...\left(14\right)$

均衡适用部107根据均衡更新部106的输出H_EQ（ω）和功率计算部90的输出pX_ABM（ω）计算出X_S（ω）中所包含的推定噪声的功率pλ_d（ω）。pλ_d（ω）例如可以根据以下那样的计算算出。

[数式14]

pλ_d(ω)＝H_EQ(ω)·pX_ABM(ω)···(15)

［残留噪声压制增益算出部］

在残留噪声压制增益算出部110中，为了压制对波束形成器30的输出ds₁（ω）适用了增益值G_S（ω）时所残留的噪声成分，再次计算与ds₁（ω）相乘的增益。即，在残留噪声压制增益算出部110中，相对于对ds₁（ω）适用了G_S（ω）后的值X_S（ω），基于残留噪声成分的推定值λ_d（ω），计算出适当地去除X_S（ω）中所包含的噪声成分的增益，即计算出残留噪声压制增益G_T（ω）。增益的计算经常采用维纳滤波器、MMSE－STSA法（参照非专利文献1）。但是，MMSE－STSA法是假设噪声为正态分布的，所以存在着突发性噪声等不符合MMSE－STSA的假设的情况。因此，在本实施形态中，利用的是比较容易压制突发性噪声的推定器。但是，推定器可以采用任何手法。

残留噪声压制增益算出部110如以下所述那样计算出增益G_T（ω）。首先，残留噪声压制增益算出部110计算出基于后验SNR（(S+N)/N））而导出的瞬时的先验SNR（干净信噪比（S/N））。

[数式15]

$\mathrm{\γ}\left(\mathrm{\ω}\right)=\max (\frac{{\left|X_S\left(\mathrm{\ω}\right)\right|}^2}{p{\mathrm{\λ}}_d\left(\mathrm{\ω}\right)}-\mathrm{1,0})...\left(16\right)$

[0065]

接着，残留噪声压制增益算出部110根据DECISION－DIRECTED APPROACH计算出先验SNR（干净信噪比（S/N））。

[数式16]

$\mathrm{\ξ}(\mathrm{\ω},m)=\frac{\mathrm{\α}\·{\left|X_S(\mathrm{\ω},m-1)\right|}^2}{p{\mathrm{\λ}}_d\left(\mathrm{\ω}\right)}+(1-\mathrm{\α})\·\mathrm{\γ}\left(\mathrm{\ω}\right)...\left(17\right)$

而且，残留噪声压制增益算出部110根据先验SNR计算出最佳增益值。以下的式子（18）中的β_p（ω）是规定增益的下限值的频谱底层（floor）值。通过将该值设定得较大，抑制了目标声音的音质劣化但残留噪声量增加。另一方面，设定得较小的话，残留噪声量变少但目标声音的音质劣化变大。

[数式17]

$G_p\left(\mathrm{\ω}\right)=\max (\sqrt{\frac{\mathrm{\ξ}(\mathrm{\ω},m)}{1+\mathrm{\ξ}(\mathrm{\ω},m)}},{\mathrm{\β}}_p\left(\mathrm{\ω}\right))...\left(18\right)$

残留噪声压制增益算出部110的输出值如以下那样表示。

[数式18]

X_P(ω)＝X_S(ω)G_P(ω)

＝ds₁(ω)G_T(ω)···(19)

where，G_T(ω)＝{γS(1-G_BSA(ω))+1}G_P(ω)

由此，再次算出降低音乐噪声且残留噪声也变小的增益值G_T（ω）作为与波束形成器30的输出ds₁（ω）相乘的增益。又，为了防止过度压制目标声音，也可以根据外部VAD信息、本发明的控制部160的控制信号的值来调整λ_d（ω）的值。

［增益乘法部］

加权系数算出部50的输出G_BSA（ω）、音乐噪声降低增益算出部60的输出G_S（ω）、或者残留噪声压制算出部110的输出G_T（ω）被用作为增益乘法部130的输入。增益乘法部130基于波束形成器30的输出ds₁（ω）与加权系数G_BSA（ω）、音乐噪声降低增益G_S（ω）、或者残留噪声压制G_T（ω）的乘法运算结果输出信号X_BSA（ω）。即，作为X_BSA（ω）的值。例如可以采用，ds₁（ω）与G_BSA（ω）的乘积、ds₁（ω）与G_S（ω）的乘积、或者ds₁（ω）与G_T（ω）的乘积。

尤其是根据ds₁（ω）与G_T（ω）的乘积得到的来自目标声源的声源信号为音乐噪声、噪声成分极其少的信号。

[数式19]

X_BSA(ω)＝G_T(ω)ds₁(ω)···(20)

［时域波形转换部］

时域波形转换部120将增益乘法部130的输出X_BSA（ω）转换为时域信号。

［声源分离系统的其他构成例］

又，图8是表示本实施形态所涉及的声源分离系统的另一构成例的图。本构成与图1所示的声源分离系统的构成的差异在于以下这一点，即在图1的声源分离系统中噪声推定部70在时域来实现，而在图8的声源分离系统中噪声推定部70在频域来实现。另外，其他的构成与图1的声源分离系统的构成相同。在该构成的情况下，不需要频谱分析80。

［第2实施形态］

图9是示出本发明的第2实施形态所涉及的声源分离系统的基本的构成的图。在本实施形态所涉及的声源分离系统中，其特征是具有控制部160。控制部160的特征在于，基于全频带的加权系数G_BSA（ω）对噪声推定部70、噪声均衡部100、残留噪声压制增益算出部110的内部参数进行控制。作为内部参数的例子，例举有自适应滤波器的步长、加权系数G_BSA（ω）的频谱底层值β、推定噪声的噪声量等。

控制部160具体执行以下那样的处理。例如，计算出加权系数G_BSA（ω）在全频带的平均值。如果该平均值大，则能够判断声音存在概率高，因此控制部160对于所算出的平均值和规定的阈值进行比较，根据其比较结果控制其他的功能模块。

又，例如，控制部160对在0～1．0中的每0．1计算由加权系数算出部50算出的加权系数G_BSA（ω）的直方图。另外，在G_BSA（ω）的值大的情况下，声音存在的概率高，在G_BSA（ω）的值小的情况下，声音存在的概率低，因此预先准备表示出该倾向的加权表。而且，对所算出直方图乘以加权表，计算出它们的平均值，与阈值进行比较，根据其比较结果来控制其他的功能模块。

又，例如，控制部160对在0～1．0中的每0．1计算加权系数G_BSA（ω）的直方图之后，例如，对分布于0．7～1．0的范围中的个数进行计数，对该数量与阈值进行比较，根据其比较结果对其他的功能模块进行控制。

又，控制部160可以接收来自两个麦克风（麦克风10、11）的至少一方的输出信号。该情况下的控制部160的框图在图10中示出。控制部160中的处理的基本想法为，通过能量比较部167对基于ds₁（ω）与G_BSA（ω）乘法运算结果的信号X_BSA（ω）和噪声推定部165以及频谱分析部166所进行的处理的输出X_ABM（ω）的功率谱密度进行比较。

具体来说，关于X_BSA（ω）和X_ABM（ω）的功率谱密度，将分别对其取对数并进行了平滑后的值设为X_BSA（ω）'、X_ABM（ω）'的话，控制部160如以下那样计算出目标声音的推定SNR D（ω）。

[数式20]

D(ω)＝max(X_BSA′-X_ABM′，0)···(25)

而且，与上述的噪声推定部70以及频谱分析部80的处理相同地，根据D（ω）来检测稳态（噪声）成分D_N（ω），从D（ω）减去D_N（ω），由此能够对D（ω）的突发噪声成分D_S（ω）进行检测。

[数式21]

D_S(ω)＝D(ω)-D_N(ω)···(26)

最后，对D_S（ω）和预先决定的阈值进行比较，根据器其比较结果来控制其他的功能模块。

［第3实施形态］

（第1构成）

图11是示出本发明的第3实施形态所涉及的声源分离系统的基本的构成的一例的图。

图11所示的声源分离系统中的声源分离装置1具有：频谱分析部20、21，波束形成器30、31，功率计算部40、41，加权系数算出部50，加权系数乘法部310，以及时域波形转换部120。在此，加权系数乘法部310以外的构成与上述的其他的实施形态中的构成相同。

加权系数乘法部310将通过波束形成器30得到的信号ds₁（ω）和加权系数算出部50所算出的加权系数进行相乘。

（第2构成）

图12是示出本发明的第3实施形态所涉及的声源分离系统的基本的构成的另一例的图。

图12所示的声源分离系统的声源分离装置1具有：频谱分析部20、21，波束形成器30、31，功率计算部40、41，加权系数算出部50，加权系数乘法部310，音乐噪声降低部320，残留噪声压制部330，噪声推定部70，频谱分析部80，功率计算部90，噪声均衡部100，以及时域波形转换部120。在此，关于加权系数乘法部310、音乐噪声降低部320、残留噪声压制部330以外的构成，与上述的其他的实施形态中的构成相同。

音乐噪声降低部320输出以规定的比例对加权系数乘法部310的输出结果和从波束形成器30得到的信号进行相加后的结果。

残留噪声压制部330根据音乐噪声降低部320的输出结果和噪声均衡部100的输出结果来对音乐噪声降低部320的输出结果中所包含的残留噪声进行压制。

又，在图12的构成中，噪声均衡部100根据音乐噪声降低部的输出结果和噪声推定部70所算出的噪声成分来计算音乐噪声降低部320的输出结果中所包含的噪声成分。

在此，在能够以规定的比例将加权系数G_BSA（ω）乘以波束形成器30的输出ds₁（ω）所得到的信号X_BSA（ω）与波束形成器30的输出ds₁（ω）进行相加的信号X_S（ω）中，根据噪声环境存在有包含突发性噪声的情况。因此，为了也能够推定突发性噪声，导入以下所说明的噪声推定部70和噪声均衡部100。

基于以上那样的构成，图12的声源分离装置1根据残留噪声压制部330的输出结果从混合音中分离来自目标声源的声源信号。

即，在图12的声源分离装置1中不计算音乐噪声降低增益G_S（ω）、残留噪声压制增益G_T（ω）这一点是图12的声源分离装置1与第1实施形态以及第2实施形态的声源分离装置1的不同点。即便是图12那样的构成，也发挥了与第1实施形态所涉及的声源分离装置1相同的效果。

（第3构成）

又，图13是示出本发明的第3实施形态所涉及的声源分离系统的基本构成的另一例的图。图13所示的声源分离装置1是在图12的声源分离装置1的构成中增加了控制部160。控制部160的功能与第2实施形态中所说明的功能相同。

［第4实施形态］

图14是示出本发明的第4实施形态所涉及的声源分离系统的基本的构成的图。在本实施形态所涉及的声源分离系统中，其特征是具有指向性控制部170、目标声音修正部180、以及到来方向推定部190。

指向性控制部170根据到来方向推定部190所推定的目标声音位置，对通过频谱分析部20、21进行了频率分析的麦克风输出中的一个麦克风输出赋予延迟操作，以使得想要分离的两个声源R1、R2虚拟地尽量相对于分离面对称。即，使得分离面虚拟地旋转，但此时的旋转角，要根据频带计算出最佳值。

然而，由于在指向性控制部170中缩小了指向性之后通过波束形成部3进行滤波处理，因此具有目标声音的频率特性产生若干畸变这样的问题。又，由于延迟量被赋予波束形成部3的输入信号，具有输出增益变小这样的问题。因此，采用目标声音修正部180对目标声音输出的频率特性进行修正。

［指向性控制部］

图25示出两个声源R1'（目标声音）、声源R2'（噪声）相对于旋转了θτ的分离面呈左右对称的状况，所述旋转了θτ的分离面是相对于与连接麦克风的线段相交的原始的分离面旋转的。如专利文献1所记载的那样，通过对一个麦克风所取得的信号赋予一定延迟量τ_d，能够实现与图25所示的状况等价的状况。即，为了对麦克风间的相位差进行操作，调整指向特性，在上述的式子（1）中乘以相位旋转器D（ω）。另外，在以下的数式中，W₁（ω）＝W₁（ω，θ₁，θ₂）、X（ω）＝X（ω，θ₁，θ₂）。

[数式22]

${\mathrm{ds}}_1\left(\mathrm{\ω}\right)=W_1^H\left(\mathrm{\ω}\right)D\left(\mathrm{\ω}\right)X\left(\mathrm{\ω}\right)...(27-1)$

D(ω)＝exp(jωτ_d)···(27-2)

在此，延迟量τ_d如以下那样算出。

[数式23]

${\mathrm{\τ}}_d=\frac{{d\sin \mathrm{\θ}}_{\mathrm{\τ}}}{c}...\left(28\right)$

d为麦克风间的距离［m］，c为音速［m／s］。

然而，在基于相位信息进行阵列处理的情况下，必须满足由以下的数式所表现的空间采样定理。

[数式24]

$d<\frac{\mathrm{c\&pi;}}{\mathrm{\&omega;}}...\left(29\right)$

为了满足该定理，容许的延迟量的最大值τ₀为

[数式25]

$d+{\mathrm{\&tau;}}_0\&CenterDot;c=\frac{\mathrm{c\&pi;}}{\mathrm{\&omega;}}$ ···(30)

$\&DoubleLeftRightArrow;{\mathrm{\&tau;}}_0=\frac{\mathrm{\&pi;}}{\mathrm{\&omega;}}-\frac{d}{c}$

即，各频率ω变得越大，则容许的延迟量τ₀变得越小。然而，采用专利文献1的声源分离装置的话，由式子（27－2）赋予的延迟量是一定的，因此在频域的高频区域产生不满足式子（29）的情况。其结果，如图26所示，从大大偏离所期望的声源分离面的方向到来的相反区域的高频成分的声音被输出。

因此，在本实施形态所涉及的声源分离装置中，如图15所示，在指向性控制部170中设置最佳延迟量算出部171，不是对使分离面虚拟地旋转时的旋转角θτ赋予一定的延迟，而是计算出对于每个频带都满足空间采样定理的最佳延迟量，由此来解决上述的问题。

指向性控制部170是在通过式子（28）赋予了基于θτ的延迟量时在最佳延迟量算出部171判定是否对于每个频率都满足空间采样定理，如果满足空间采样定理的话，将与θτ对应的延迟量τ_d适用于相位旋转器172，如果不满足空间采样定理，则将延迟量τ₀适用于相位旋转器172。

[数式26]

$d{s}_1\left(\mathrm{\&omega;}\right)=W_1^H\left(\mathrm{\&omega;}\right)D\left(\mathrm{\&omega;}\right)X\left(\mathrm{\&omega;}\right)...\left(31\right)$

where，

$D\left(\mathrm{\&omega;}\right)=\left\{\begin{array}{cc}\mathrm{diag}\left(\exp \right[\mathrm{j\&omega;}{\mathrm{\&tau;}}_d],1)& \mathrm{if}{\mathrm{\&theta;}}_{\mathrm{\&tau;}}<{\sin }^{-1}(\mathrm{c\&pi;}/\mathrm{d\&omega;}-1)\\ \mathrm{diag}\left(\exp \right[\mathrm{j\&omega;}{\mathrm{\&tau;}}_0],1)& \mathrm{else}\end{array}\right.$

图16是示出本实施形态所涉及的声源分离装置1的指向特性的图。如图16所示，通过使用式子（31）的延迟量，可以解决从大大偏离所期望的声源分离面的方向到来的相反区域的高频成分的声音被输出这样的问题。

又，图17是示出指向性控制部170的另一构成的图。在该情况下，最佳延迟量算出部171可以将根据式子（31）所算出的延迟量仅赋予给一个麦克风输入，而是通过相位旋转器172、173，对两个麦克风输入分别赋予一半的延迟，整体上实现相同量的延迟操作。即，可以不对一个麦克风所取得的信号赋予延迟量τ_d（或者τ₀），而是通过对一个麦克风所取得的信号赋予延迟量τ_d／2（或者τ₀／2），对另一个麦克风所取得的信号赋予延迟量-τ_d／2（或者-τ₀／2），来使得整体的延迟差为τ_d（或者τ₀）。

［目标声音修正部］

作为其他的问题点，例举有由于在指向性控制部170缩小了指向性之后利用波束形成器30、31进行BSA处理，目标声音的频率特性产生若干畸变的问题。又，由于式子（31）的处理，产生输出增益变小的问题。因此，为了修正目标声音输出的频率特性而设置目标声音修正部180以进行频率均衡。即，由于目标声音所在之处被大致固定，因而对被推定的目标声音位置进行修正。在本实施形态中，利用了将表示从某点声源到各麦克风的传播时间、衰减量的传递函数简易化地模拟的物理模型。在此，以麦克风10的传递函数为基准值，将麦克风11的传递函数表现为相对于麦克风10的相对值。此时，从目标声音位置达到各麦克风的声音的传播模式X_m（ω）＝［X_m1（ω），X_m2（ω）］如以下那样表示。γ_s为麦克风10与目标声音的距离，θ_S为目标声音的方向。

[数式27]

X_m1(ω)＝1

···(32)

X_m2(ω)＝u^-1·exp{-jωr_m d(u-1)/c}

where， $u=1+(2/r_m)\cos {\mathrm{\&theta;}}_m+(1/r_m^2)$

通过利用该物理模型，能够预先假设从被推定的目标声音位置发出的声音如何被输入至各麦克风中，相对于目标声音的畸变程度也被简易地计算出。相对于上述的传播模式的加权系数为Ｇ_BSA（ω｜X_m（ω）），在目标声音修正部180中将其倒数作为均衡器并加以保持，由此能够修正目标声音的频率畸变。由此，均衡器可以如下式（33）求出。

[数式28]

$E_m\left(\mathrm{\&omega;}\right)=\frac{1}{G_{\mathrm{BSA}}\left(\mathrm{\&omega;}\right|X_m\left(\mathrm{\&omega;}\right))}...\left(33\right)$

基于以上所述，由加权系数算出部50所算出的加权系数G_BSA（ω）通过目标声音修正部180被修正为以下数式所表示的G_BSA'（ω）。

[数式29]

G_BSA′(ω)＝E_m(ω)G_BSA(ω)···(34)

图18是示出设θ_S为0度、γ_S为1．5［m］并设置了目标声音修正部180的均衡器时的声源分离装置1的指向特性的图。从图18可以确认相对于从0度方向到来的声源，没有输出信号的频率畸变。

另外，音乐噪声降低增益算出部60将该被修正后的加权系数G_BSA'（ω）作为输入。即，式子（7）等的G_BSA（ω）被置换为G_BSA'（ω）。

又，由麦克风10、11得到的信号中的至少一方可以被输入控制部160中。

［声源分离系统的处理流程］

图19是示出声源分离系统的处理的一例的流程图。

在频谱分析部20、21中，相对于在麦克风10、20分别得到的输入信号1、输入信号2执行频率分析（步骤S101、S102）。又，在此，可以在到来方向推定部190进行目标声音的位置的推定，在指向性控制部170中，根据被推定的声源R1、R2的位置计算出最佳延迟量，根据该最佳延迟量使得输入信号1与相位旋转器相乘。

接着，对于在步骤S101、S102被频率分析后的信号x₁（ω）、x₂（ω），利用波束形成器30、31执行滤波处理（步骤S103、S104）。又，对于这些滤波处理的输出，通过功率计算部40、41来计算功率（步骤S105、S106）。

在加权系数算出部50，根据步骤S105、S106的计算结果算出分离增益值G_BSA（ω）（步骤S107）。又，在此，也可以通过在目标声音修正部180再次计算出加权系数值G_BSA（ω），来修正目标声音的频率特性。

接着，在音乐噪声降低增益算出部60计算出使得音乐噪声降低的增益值G_S（ω）（步骤S108）。又，在控制部160，根据在步骤S107算出的加权系数值G_BSA（ω），计算出用于控制噪声推定部70、噪声均衡部100、残留噪声压制增益算出部110的控制信号（步骤S109）。

接着，在噪声推定部70执行噪声推定（步骤S110）。进一步地，对于步骤S110中的噪声推定的结果x_ABM(t)，在频谱分析部80执行了频率分析之后（步骤S111），在功率计算部90计算各个频率区间的功率（步骤S112）。又，在噪声均衡部100执行在步骤S112算出的推定噪声的功率的修正。

接着，在残留噪声压制增益算出部110，相对于对由步骤S103处理后的波束形成器30的输出值ds₁（ω）适用了步骤S108所算出的增益值G_S（ω）所得到的值，计算出用于去除噪声成分的增益G_T（ω）（步骤S114）。另外，增益G_T（ω）的计算是根据在步骤S112被功率修正了的噪声成分的推定值λ_d（ω）来进行的。

而且，在增益乘法部130中，对于在步骤S103进行的波束形成器30的处理的结果，乘上在步骤S114所算出的增益（步骤S117）。

最后，在时域波形转换部120，步骤S117的乘法运算结果（目标声音）被转换为时域时域信号（步骤S118）。

又，也可以如第3实施形态所说明的那样，不进行步骤S108以及步骤S114的增益的计算，而是通过音乐噪声降低部320和残留噪声压制部330从波束形成器30的输出信号去除噪声。

另外，图19的流程图所示的各处理被大致地分为三个处理。三个处理为来自波束形成器30的输出处理（步骤S101～S103）、增益算出处理（步骤S101～S108以及步骤S114）、和噪声推定处理（步骤S110～S113）。

关于增益算出处理和噪声推定处理，在通过增益算出处理的步骤S101～S107计算出加权系数之后，在执行步骤S108的处理的同时，处理步骤S109的处理和噪声推定处理（步骤S110～S113），然后确定在步骤S114与波束形成器30的输出相乘的增益。

［噪声推定部的处理流程］

图20是示出图19的步骤S110中的处理的详细情况的流程图。首先，计算出与来自声源R1的信号成分一致的模拟信号H^T（t）·x₁（t）（步骤S201）。接着，在图6的减法部72从麦克风11的信号x₂（t）减去步骤S201所算出的模拟信号，由此计算出成为噪声推定部70的输出的误差信号x_ABM(t)（步骤S202）。

其后，在来自控制部160的控制信号比规定的阈值大的情况下（步骤S203），在自适应滤波部71，更新自适应滤波器的系数H（t）（步骤S204）。

［噪声均衡部的处理流程］

图21是示出图19的步骤S113中的处理的详细情况的流程图。首先，相对于波束形成器30的输出ds₁（ω）乘以从音乐噪声降低增益算出部60输出的增益G_S（ω）来得到输出X_S（ω）（步骤S301）。

在来自控制部160的控制信号比规定的阈值小的情况下（步骤S302），在图7的平滑部103执行功率计算部102的输出pX_S（ω）的时域平滑处理。又，在平滑部104，执行功率计算部90的输出pX_ABM（ω）的时域平滑处理（步骤S303、S304）。

而且，在均衡更新部106中，计算出步骤S303以及步骤S304的处理结果的比率H_EQ（ω），均衡器值被更新为H_EQ（ω）（步骤S305）。最后，在均衡适用部107中，计算出X_S（ω）中所包含的推定噪声λ_d（ω）（步骤S306）。

［残留噪声压制增益算出部110的处理流程］

图22是示出图19的步骤S114中的处理的详细情况的流程图。在来自控制部160的控制信号比规定的阈值大的情况下（步骤S401），作为噪声均衡部100的输出、且作为噪声成分的推定值的λ_d（ω）的值被执行减小至例如0．75倍等的处理（步骤S402）。接着，计算出后验SNR（步骤S403）。又，计算出先验SNR（步骤S404）。最后，计算出残留噪声压制增益G_T（ω）（步骤S405）。

［其他的实施形态］

在利用加权系数算出部50进行增益值G_BSA（ω）的计算时，可以采用规定的偏差值（バイアス值）γ（ω）计算出所述加权系数。例如，可以对增益值G_BSA（ω）的分母加上规定的偏差值而计算出新的增益值。所述偏差值的加法运算在麦克风的增益特性一致、且头戴送受话器、手持通话器等目标声音存在于麦克风的附近的情况下，尤其可以期待低频区域的SNR的改善。

图23以及图24是示出就波束形成器30的输出值对邻近声音和远距离声音的情况进行比较的图表的图。图23以及图24的（a1）～（a3）是表示有关邻近声音的输出值的图表、（b1）～（b3）是表示有关远距离声音的输出值的图表。又，在图23中，麦克风10与麦克风11的间隔为0．03m，麦克风10与声源R1、R2的距离分别为0．06m（米）和1．5m。又，在图24中，麦克风10与麦克风11的间隔为0．01m，麦克风10与声源R1、R2的距离分别为0．02m（米）和1．5m。

例如，图23的（a1）是表示有关邻近声音的波束形成器30的输出值ds₁（ω）（＝|X（ω）W₁（ω）｜²）的值的图表，图23的（b1）是表示有关远距离声音的ds₁（ω）的值的图表。在此，将邻近声音作为目标声音位置而设置目标声音修正部180，在远距离声音的情况下，由于目标声音修正部180的影响，在低频区域ps₁（ω）的值变小。又，在ds₁（ω）的值小的情况下（即，ps₁（ω）的值小的情况下）、γ（ω）的影响变大。即，由于与分子相比分母的项相对变大，因此G_BSA（ω）进一步变小。因此，远距离声音的低频被压制。

[数式30]

$G_{\mathrm{BSA}}\left(\mathrm{\&omega;}\right)=\sqrt{\frac{\max ({\mathrm{ps}}_1\left(\mathrm{\&omega;}\right)-{\mathrm{ps}}_2\left(\mathrm{\&omega;}\right),0)}{{\mathrm{ps}}_1\left(\mathrm{\&omega;}\right)+\mathrm{\&gamma;}\left(\mathrm{\&omega;}\right)}}...\left(35\right)$

又，在图7的构成中，由上述的式子（35）得到的G_BSA（ω）被适用于波束形成器30的输出值ds₁（ω），G_BSA（ω）与ds₁（ω）的乘法运算结果X_BSA（ω）如以下那样算出。另外，在以下的式子中，作为一个实例，示出了声源分离装置1为图7所示的构成的情况。

[数式31]

X_BSA(ω)＝G_BSA(ω)ds₁(ω)···(36)

如上所述，图23以及图24的（a1）、（b1）是表示波束形成器30的输出ds₁（ω）的图表。又，各图的（a2）、（b2）是表示没有在式子（35）的分母中插入γ（ω）的情况下的输出X_BSA（ω）的图表。又，各图的（a3）、（b3）是在式子（35）的分母中插入γ（ω）的情况下的输出X_BSA（ω）的图表。根据各图可知，远距离声音的低频被压制。即，对于存在于低频中心的行驶噪声等能够期待其效果。

另外，在上述说明中，波束形成器30构成第1波束形成处理部。又，波束形成器31构成第2波束形成处理部。又，增益乘法部130构成声源分离部。

产业上的可利用性

本发明能够利用于声音识别装置、汽车导航、集音装置、录音装置、基于声音指令的设备的控制等、需要高精度地分离声源的所有产业。

符号说明

1  声源分离装置

3  波束形成部

10、11  麦克风

20、21  频谱分析部

30、31  波束形成器

40、41  功率计算部

50  加权系数算出部

60  音乐噪声降低增益算出部

70  噪声推定部

71  自适应滤波部

72  减法部

73  延迟器

74  阈值比较部

80  频谱分析部

90  功率计算部

100  噪声均衡部

101  乘法部

102  功率计算部

103、104  平滑部

105  阈值比较部

106  均衡更新部

107  均衡适用部

110  残留噪声压制增益算出部

120  时域波形转换部

130  增益乘法部

160  控制部

161A、161  B频谱分析部

162A、162  B波束形成

163A、163  B功率计算部

164  加权系数算出部

165  噪声推定部

166  频谱分析部

167  能量比较部

170  指向性控制部

171  最佳延迟量算出部

172、173  相位旋转器

180  目标声音修正部

190  到来方向推定部

310  加权系数乘法部

320  音乐噪声降低部

330  残留噪声压制部。

Claims (12)

1.一种声源分离装置，其从混合有多个声源所发出的声源信号的混合音中分离来自目标声源的声源信号，其特征在于，包括：

第1波束形成处理部，其通过对来自由被输入所述混合音的两个麦克风构成的麦克风对的各自的输出信号进行使用了相互不同的第1系数的、在频域的积和运算，以与连接所述两个麦克风的线段相交的平面为界限，使得从与包含所述目标声源的方向的区域相反的区域到来的声源信号衰减；

第2波束形成处理部，其通过对来自所述麦克风对的各自的输出信号乘以第2系数，对所得到的结果在频域进行积和运算，以所述平面为界限使得从包含所述目标声源的方向的区域到来的声源信号衰减，所述第2系数与所述相互不同的第1系数在频域为复共轭的关系；

功率计算部，其根据通过所述第1波束形成处理部得到的信号计算具有每个频率的功率值的第1频谱信息，进一步地根据通过所述第2波束形成处理部得到的信号计算具有每个频率的功率值的第2频谱信息；以及

加权系数算出部，其根据所述第1频谱信息与所述第2频谱信息的每个频率的功率值的差值，计算用于与所述第1波束形成处理部所得到的信号相乘的每个频率的加权系数；

所述声源分离装置具有声源分离部，其根据由所述第1波束形成处理部得到的信号与所述加权系数算出部所算出的所述加权系数的乘法运算结果，从所述混合音分离来自所述目标声源的声源信号。

2.如权利要求1所述的声源分离装置，其特征在于，还具有，

使得由所述第1波束形成处理部得到的信号与所述加权系数算出部所算出的所述加权系数相乘的加权系数乘法部，

所述声源分离部根据以规定的比例对所述加权系数乘法部的输出结果和从所述第1波束形成处理部得到的信号进行相加后的结果，从所述混合音分离来自所述目标声源的声源信号。

3.如权利要求2所述的声源分离装置，其特征在于，具有：

音乐噪声降低部，其输出以规定的比例对所述加权系数乘法部的输出结果和从所述第1波束形成处理部得到的信号进行相加后的结果，

噪声推定部，其通过对来自所述麦克风对中靠近所述目标声源的麦克风的输出信号应用滤波系数可变的自适应滤波器，计算出与来自所述麦克风对中远离所述目标声源的麦克风的输出信号一致的模拟信号，根据来自远离所述目标声源的麦克风的输出信号与所述模拟信号的差值计算出噪声成分；

噪声均衡部，其根据所述音乐噪声降低部的输出结果和所述噪声推定部所算出的所述噪声成分，计算出所述音乐噪声降低部的输出结果中所包含的噪声成分；以及

残留噪声压制部，其根据所述音乐噪声降低部的输出结果和噪声均衡部的输出结果压制所述音乐噪声降低部的输出结果中所包含的残留噪声，

所述声源分离部根据所述残留噪声压制部的输出结果从所述混合音中分离来自所述目标声源的声源信号。

4.如权利要求3所述的声源分离装置，其特征在于，具有控制部，所述控制部根据所述每个频率的加权系数对所述噪声推定部、所述噪声均衡部、以及所述残留噪声抑制部中的至少一个进行控制。

5.如权利要求1所述的声源分离装置，其特征在于，具有，

音乐噪声降低增益算出部，所述音乐噪声降低增益算出部计算出用于以规定的比例对由所述第1波束形成处理部得到的声源信号乘以所述加权系数后的乘法运算结果和由所述第1波束形成处理部得到的声源信号进行相加的增益，

所述声源分离部根据所述音乐噪声降低增益算出部所算出的增益与由所述第1波束形成处理部得到的声源信号的乘法运算结果，从所述混合音分离来自所述目标声源的声源信号。

6.如权利要求5所述的声源分离装置，其特征在于，具有，

噪声推定部，其通过对来自所述麦克风对中靠近所述目标声源的麦克风的输出信号应用滤波系数可变的自适应滤波器，计算出与来自所述麦克风对中远离所述目标声源的麦克风的输出信号一致的模拟信号，根据来自远离所述目标声源的麦克风的输出信号与所述模拟信号的差值计算出噪声成分；

噪声均衡部，其根据由所述第1波束形成处理部得到的声源信号与在所述音乐噪声降低增益算出部算出的增益相乘后的乘法运算结果、和所述噪声推定部所算出的所述噪声成分，计算出由所述第1波束形成处理部得到的声源信号与在所述音乐噪声降低增益算出部中被算出的增益相乘后的乘法运算结果中所包含的噪声成分；以及

残留噪声压制增益算出部，其根据由所述音乐噪声降低增益算出部算出的增益和由所述噪声均衡部所算出的所述噪声成分，计算出用于与由所述第1波束形成处理部得到的声源信号相乘的增益，该增益是用于对由所述第1波束形成处理部得到的声源信号与在所述音乐噪声降低增益算出部中被算出的增益相乘后的乘法运算结果中所包含的残留噪声进行压制的增益，

所述声源分离部根据由残留噪声压制增益算出部所算出的增益与由所述第1波束形成处理部得到的声源信号的乘法运算结果从所述混合音分离来自所述目标声源的声源信号。

7.如权利要求6所述的声源分离装置，其特征在于，具有控制部，所述控制部根据所述每个频率的加权系数对所述噪声推定部、所述噪声均衡部、以及所述残留噪声压制增益算出部中的至少一个进行控制。

8.如权利要求1至7中任一项所述的声源分离装置，其特征在于，具有基准延迟量算出部和指向性控制部，所述基准延迟量算出部对于每个频率计算出基准延迟量，所述基准延迟量用于与来自所述麦克风对的至少一方的麦克风的输出信号相乘以使得该麦克风的位置假想地移动，所述指向性控制部就每个频带对来自所述麦克风对的至少一方的麦克风的输出信号赋予延迟量，

所述指向性控制部在基准延迟量算出部所算出的所述基准延迟量满足空间采样定理的频带中，将该基准延迟量作为所述延迟量，在所述基准延迟量不满足空间采样定理的频带中，将通过下述式子（30）求得的最佳延迟量τ0作为所述延迟量，

[数1]

$d+{\mathrm{\&tau;}}_0\&CenterDot;c=\frac{\mathrm{c\&pi;}}{\mathrm{\&omega;}}$

···(30)

$\&DoubleLeftRightArrow;{\mathrm{\&tau;}}_0=\frac{\mathrm{\&pi;}}{\mathrm{\&omega;}}-\frac{d}{c}$

其中，在上述式子（30）中，d为两个麦克风间的距离，c为音速，ω为频率。

9.一种声源分离装置，其从混合有多个声源所发出的声源信号的混合音中分离来自目标声源的声源信号，其特征在于，包括：

第1波束形成处理单元，其通过对来自由被输入所述混合音的两个麦克风构成的麦克风对的各自的输出信号乘以不同的第1系数，对所得到的结果在频域进行积和运算，以与连接所述两个麦克风的线段相交的平面为界限，使得从与包含所述目标声源的方向的区域相反的区域到来的声源信号衰减；

第2波束形成处理单元，其通过对所述麦克风对的各自的输出信号乘以第2系数，对所得到的结果在频域进行积和运算，以所述平面为界限使得从包含所述目标声源的方向的区域到来的声源信号衰减，所述第2系数与所述不同的第1系数在频域为复共轭的关系；

功率计算单元，其根据通过所述第1波束形成处理单元得到的信号计算具有每个频率的功率值的第1频谱信息，进一步地根据通过所述第2波束形成处理单元得到的信号计算具有每个频率的功率值的第2频谱信息；以及

加权系数算出单元，其根据所述第1频谱信息与所述第2频谱信息的每个频率的功率值的差值，计算用于与所述第1波束形成处理单元所得到的信号相乘的每个频率的加权系数；

所述声源分离装置具有声源分离单元，其根据由所述第1波束形成处理单元得到的信号与所述加权系数算出单元所算出的所述加权系数的乘法运算结果，从所述混合音分离来自所述目标声源的声源信号。

10.如权利要求9所述的声源分离装置，其特征在于，

还具有使得由所述第1波束形成处理单元得到的信号与所述加权系数算出单元所算出的所述加权系数相乘的加权系数乘法单元，

所述声源分离单元根据以规定的比例对所述加权系数乘法单元的输出结果和从所述第1波束形成处理单元得到的信号进行相加后的结果，从所述混合音分离来自所述目标声源的声源信号。

11.一种声源分离方法，其由具有第1波束形成处理部、第2波束形成处理部、功率计算部、加权系数算出部和声源分离部的声源分离装置所执行，其特征在于，包括以下步骤：

第1步骤，在该步骤中，所述第1波束形成处理部通过对来自由被输入混合音的两个麦克风构成的麦克风对的各自的输出信号进行使用了相互不同的第1系数的、在频域的积和运算，以与连接所述两个麦克风的线段相交的平面为界限，使得从与包含目标声源的方向的区域相反的区域到来的声源信号衰减，所述混合音混合有多个声源所发出的声源信号；

第2步骤，在该步骤中，所述第2波束形成处理部通过对来自所述麦克风对的各自的输出信号乘以第2系数，对所得到的结果在频域进行积和运算，以所述平面为界限使得从包含所述目标声源的方向的区域到来的声源信号衰减，所述第2系数与所述相互不同的第1系数在频域为复共轭的关系；

第3步骤，在该步骤中，所述功率计算部根据通过所述第1步骤得到的信号计算具有每个频率的功率值的第1频谱信息，进一步地根据通过所述第2步骤得到的信号计算具有每个频率的功率值的第2频谱信息；

第4步骤，在该步骤中，所述加权系数算出部根据所述第1频谱信息与所述第2频谱信息的每个频率的功率值的差值，计算用于与所述第1步骤所得到的信号相乘的每个频率的加权系数；以及

第5步骤，在该步骤中，所述声源分离部根据由所述第1步骤得到的信号与所述第4步骤所算出的所述加权系数的乘法运算结果，从所述混合音分离来自所述目标声源的声源信号。

12.一种程序，其特征在于，使得计算机执行以下的步骤：

第1处理步骤，在该步骤中，通过对来自被输入混合音的两个麦克风构成的麦克风对的各自的输出信号进行使用了相互不同的第1系数的、在频域的积和运算，以与连接所述两个麦克风的线段相交的平面为界限，使得从与包含目标声源的方向的区域相反的区域到来的声源信号衰减，所述混合音混合有多个声源所发出的声源信号；

第2处理步骤，在该步骤中，通过对来自所述麦克风对各自的输出信号乘以第2系数，对所得到的结果在频域进行积和运算，以所述平面为界限使得从包含所述目标声源的方向的区域到来的声源信号衰减，所述第2系数与所述相互不同的第1系数在频域为复共轭的关系；

第3处理步骤，在该步骤中，根据通过所述第1处理步骤得到的信号计算具有每个频率的功率值的第1频谱信息，进一步地根据通过所述第2处理步骤得到的信号计算具有每个频率的功率值的第2频谱信息；

第4处理步骤，在该步骤中，根据所述第1频谱信息与所述第2频谱信息的每个频率的功率值的差值，计算用于与所述第1步骤所得到的信号相乘的每个频率的加权系数；以及

第5处理步骤，在该步骤中，所述声源分离部根据由所述第1处理步骤得到的信号与所述第4处理步骤所算出的所述加权系数的乘法运算结果，从所述混合音分离来自所述目标声源的声源信号。

Images