CN101040324A - 混合声音分离装置 - Google Patents

Abstract

本发明的从混合声音(S100)中分离特定的声音的混合声音分离系统(100)，包括：局部频率信息制作部(105)，根据具有规定的时空分辨率的多个局部参照波形(S102)和混合声音(S100)的波形即分析波形，求出与局部参照波形(S102)相对应的多个局部频率信息(S103)，该局部参照波形(S102)构成用于分析规定的频率的参照波形的一部分，该局部频率信息(S103)至少包括规定的频率的振幅频谱及相位频谱的任一个；特定声音频率特征量抽出部(106)，将上述多个局部频率信息(S103)编成组，在该组和针对事先设定的特定的声音的频率信息的组之间进行模式匹配，根据该模式匹配的结果，抽出上述多个局部频率信息(S103)的组；以及声音信号制作单元，根据由上述特定声音频率特征量抽出部(106)所抽出的上述多个局部频率信息(S103)的组，制作上述特定的声音的信号。

Description

混合声音分离装置

技术领域

本发明涉及从混合声音分离所要的声音的混合声音分离装置。

背景技术

作为从混合声音分离所要的声音的装置有，混合声音分离装置。在混合声音分离处理中，通过对混合声音进行频率分析，以纵轴为频率，以横轴为时间，来制作以颜色深浅表示在各个点的功率的强弱的谱图。并且，在该处理中，在谱图上，从混合声音分离所要的声音。根据这样处理，可以提高声音分离性能。如此，作为将声音转化为谱图的变换方法，即声音的频率分析方法，一般使用傅里叶变换。因此，傅里叶变换在混合声分离处理中起重要作用。

作为用于频率分析的以往的技术，除了上述傅里叶变换(例如，参照非专利文献1、非专利文献2)以外，余弦变换(例如，参照非专利文献2)以及小波变换(例如，参照非专利文献1)等也众所周知。在这些以往的技术中，使用分析波形和具有规定的时间带宽的参照波形的相互关联(卷积)，进行频率分析。

在傅里叶变换中，使用余弦波形及正弦波形(在上述时间带宽以外的时间区间具有零的值的参照波形)进行频率分析，该余弦波形及正弦波形具有根据时间分辨率(空间分辨率)和频率分辨率来决定的时间带宽。

在此，参照波形的时间带宽的决定，相当于在傅里叶变换的分析帧的宽度(时间带宽)的决定。并且，也有以下情况，即，分析波形乘窗函数来进行频率分析，该窗函数在分析对象区间(参照波形存在的时间区间)具有零以外的值。

图1是说明傅里叶变换(离散傅里叶变换)的方法的图。使用图1(a)所示的在取样点具有N点的时间带宽的余弦波形及正弦波形的参照波形，根据公式1，求出图1(c)所示的分析波形和参照波形的相互关联(卷积)(图1(b))，从而求出分析波形的频率信息(振幅频谱及相位频谱)。在此，公式1的索引k是表示要分析的频率的索引，在傅里叶变换中，同时求出在多个要分析的频率的频率信息。索引的值越大，表示越高频率的分析结果。

[公式1]

$X_k={\mathrm{\Σ}}_{n=1}^N{x}_n{e}^{-j\frac{2\mathrm{\πkn}}{N}}$ (k＝1，2，...，N)

在此，

[公式2]

x_n(n＝1，2，...，N)

是取样分析波形的值，

[公式3]

X_k(k＝1，2，...，N)

是分析波形的频率信息，

[公式4]

$e^{-j\frac{2\mathrm{\πkn}}{N}}=\cos \left(\frac{2\mathrm{\πkn}}{N}\right)-j\sin \left(\frac{2\mathrm{\πkn}}{N}\right)$

是由具有N点的时间带宽的余弦波形和正弦波形构成的值，即是参照波形的值。

在傅里叶变换中，通过设定参照波形的时间带宽，来自动地决定时间分辨率和频率分辨率的两者的值。在此，“时间分辨率”是指，求出分析波形和参照波形的相互关联(卷积)时进行平均化的时间区间的长度。“频率分辨率”是指，分析波形的频率成分要通过的频域带宽，该频域带宽存在于要分析的频率的周边。

图2是示出将具有规定的时间带宽的参照波形和频率特性的关系的图，该频率特性是用上述参照波形对分析波形进行频率分析时的频率特性。图2示出，使用三种时间分辨率进行频率分析时的频率特性，从左列示出在使用具有1个周期、2个周期以及3个周期的时间分辨率的参照波形进行频率分析时的参照波形和频率特性的关系。

根据图2可见，将1个周期的余弦波形作为参照波形使用来使时间分辨率变高，来进行频率分析时，频率分辨率变低，且，将3个周期的余弦波形(与1个周期的余弦波形相比，时间带宽增加了2倍)作为参照波形使用来使时间分辨率变低，来进行频率分析时，频率分辨率变高。如此，在以往的技术中，时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)和频率分辨率处于折衷关系。

并且，在根据具有连续值的分析波形的傅里叶变换的情况下，在公式1，替代∑运算，使用积分形式的分析波形和参照波形的相互关联(卷积)来进行频率分析。

在余弦变换中，使用余弦波形(在上述时间带宽以外的时间区间具有零的值的参照波形)进行频率分析，该余弦波形具有根据时间分辨率(空间分辨率)和频率分辨率来决定的时间带宽。

图3是说明余弦变换(离散余弦变换)的图。使用图3(a)所示的在取样点具有N点的时间带宽的余弦波形(在上述时间带宽以外的时间区间具有零的值的参照波形)，根据公式5、公式6，求出图3(c)所示的分析波形和参照波形的相互关联(卷积)(图3(b))，来求出分析波形的频率信息(是结合振幅频谱和相位频谱来表现的)。在此，公式5、公式6的索引k是表示要分析的频率的索引，在余弦变换中，同时求出在多个要分析的频率的频率信息。索引的值越大，表示越高频率的分析结果。

[公式5]

$X_k={\mathrm{\Σ}}_{n=1}^N{x}_n{c}_k\cos \frac{(2n-1)\mathrm{\πk}}{2N}$ (k＝1，2，...，N)

[公式6]

c_k＝1(k＝0)、c_k＝(k＝2，...，N)

在此，

[公式7]

x_n(n＝1，2，...，N)

是取样分析波形的值，

[公式8]

X_k(k＝1，2，...，N)

是分析波形的频率信息。

在余弦变换中，通过设定参照波形的时间带宽，来自动地决定时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)和频率分辨率的两者。此结构，与傅里叶变换的情况相同(参照图2)。

并且，在根据具有连续值的分析波形的余弦变换的情况下，在公式5，使用积分形式的分析波形和参照波形的相互关联(卷积)来进行频率分析。

在小波变换中，使用小波母函数来进行频率分析，该小波母函数具有根据时间分辨率(空间分辨率)和频率分辨率来决定的时间带宽。

图4是说明小波变换的图。在图4中，使用图4(a)所示的具有规定的时间带宽的参照波形的小波母函数(在上述时间带宽以外的时间区间具有零的值的参照波形)，根据图4(b)所示的公式，即根据公式9，求出图4(c)所示的分析波形和图4(a)所示的参照波形的相互关联(卷积)，从而求出分析波形的频率信息(振幅频谱及相位频谱)。

[公式9]

$\left(W_{\mathrm{\ψ}}x\right)(b,a)=\frac{1}{\sqrt{a}}{\∫x}_t\stackrel{\‾}{\mathrm{\ψ}\left(\frac{t-b}{a}\right)}\mathrm{dt}$

在此，x_t是分析波形，

[公式10]

$\mathrm{\ψ}\left(\frac{t-b}{a}\right)$

是小波母函数。

在小波变换中，通过决定小波母函数的时间带宽，来自动地决定时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)和频率分辨率的两者。此结构，与傅里叶变换的情况相同(参照图2)。

并且，在小波变换中，可以按每个要分析的频率，独立设定时间分辨率(或频率分辨率)。另一方面，在傅里叶变换中，所有的要分析的频率，具有相同的时间分辨率(要分析的时间窗的时间带宽)及频率分辨率，因此不能按每个要分析的频率，独立设定时间分辨率及频率分辨率。然而，与傅里叶变换相同，在小波变换中，也根据时间分辨率(或频率分辨率)自动地决定频率分辨率(或时间分辨率)。

并且，在此，作为小波母函数使用Mexican Hat进行了说明，但是，使用Daubechies、Meyer、Gabor等小波母函数的小波变换也有。

非专利文献1：中野宏毅，另2名，“通过小波变换的信号处理和图像处理”，1999年8月15日，共立出版株式会社，pp.35-39，pp.49-52

非专利文献2：中川圣一，“模式信息处理”，平成11年3月30日，丸善株式会社，pp.14-19

在以往的技术中，时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)和频率分辨率(分析波形的频率成分要通过的参照频率的周边的频域带宽)，相互干涉。据此，使参照波形的时间带宽变短来使时间分辨率变高，则频率分辨率变低，且，使参照波形的时间带宽变长来使频率分辨率变高，则时间分辨率变低。因此，存在的问题是；不能将时间分辨率和频率分辨率独立设定。

例如，在混合声音分离系统中，从由突发音和音乐构成的混合声音抽出音乐时，为了分析突发音，需要使时间分辨率变高来分析在微小时间的波形的变化，为了分析音乐，需要使频率分辨率变高来分析在微小频域的频率的变化。因此，针对混合两者的时间、频率区域，需要使时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)和频率分辨率(分析波形的频率成分要通过的参照频率的周边的频域带宽)同时变高，但是，在以往的技术中，不能将处于折衷关系的两者同时设定为高。因此，从混合声音不能抽出，要以高精度抽出的声音。

发明内容

于是，鉴于这些问题，本发明的目的在于，提供混合声音分离装置等，根据如同将时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)和频率分辨率(分析波形的频率成分要通过的参照频率的周边的频域带宽)同时设定为高一样的结果，来能够从混合声音高精度地分离特定的声音。

为了实现上述目的，本发明的某方面涉及的混合声音分离装置，从由多个声音构成的混合声音中分离特定的声音，包括：局部频率信息制作单元，根据具有规定的时空分辨率的多个局部参照波形和上述混合声音的波形即分析波形，求出与上述局部参照波形相对应的多个局部频率信息，该多个局部参照波形构成用于分析规定的频率的参照波形的一部分，该局部频率信息至少包括上述规定的频率的振幅频谱及相位频谱的任一个；特定声音频率特征量抽出单元，将上述多个局部频率信息编成组，在该组和针对事先设定的特定的声音的频率信息的组之间进行模式匹配，根据该模式匹配的结果，抽出上述多个局部频率信息的组；以及声音信号制作单元，根据由上述特定声音频率特征量抽出单元所抽出的上述多个局部频率信息的组，制作上述特定的声音的信号。

据此，可以将时间分辨率独立于频率分辨率来设定，并且，根据多个频率分辨率(多个时间分辨率)，分别被频率分析的多个局部频率信息的组和针对事先设定的特定的声音的频率信息的组之间进行比较，来可以获得如同使时间分辨率和频率分辨率同时变高来进行频率分析一样的结果。据此，从混合声音中可以抽出要以高精度抽出的声音。

并且，上述混合声音分离装置，还可以包括，参照波形时间带宽决定单元，根据上述规定的频率分辨率，决定上述参照波形的时间带宽。

其中，上述参照波形，包括余弦波形或正弦波形，且上述参照波形时间带宽决定单元，根据上述规定的频率分辨率，以上述参照波形包含整数周期的余弦波形或整数周期的正弦波形的方式，决定上述参照波形的时间带宽为好。

据此，可以容易设计用于对分析波形进行分析的带通滤波器。

再者，其中，上述整数周期为1周期为好。

据此，可以根据高时间分辨率来进行频率分析。

再者，上述混合声音分离装置，其中，还可以包括：频率分辨率输入接受单元，接受频率分辨率的输入，且上述参照波形时间带宽决定单元，根据输入后的上述频率分辨率，决定上述参照波形的时间带宽。

据此，可以根据分析波形的性质或应用程序的规格等，来控制频率分辨率。

再者，上述混合声音分离装置，其中，还可以包括，参照波形分割单元，根据上述规定的时间空间分辨率，以在时间上不重叠的方式，分割上述参照波形，来制作上述多个局部参照波形。

据此，可以容易设计用于对分析波形进行分析的带通滤波器。

再者，上述参照波形分割单元，其中，也可以，以具有多个时间空间分辨率的方式，分割上述参照波形，来制作上述多个局部参照波形。

据此，可以设定对应于分析波形的时间上的性质的多个时间分辨率。

再者，上述混合声音分离装置，其中，还可以包括，时空分辨率输入接受单元，接受时空分辨率的输入，且上述参照波形时间宽度决定单元，根据输入后的上述时空分辨率，分割上述参照波形，来制作多个局部参照波形。

据此，可以根据分析波形的性质或应用程序的规格等，来控制频率分辨率。

本发明的另一方面涉及的混合声音分离装置，使用用于分析规定的频率的参照波形，对分析波形进行频率分析，其中，包括：局部频率信息制作单元，根据具有时空分辨率的多个局部参照波形和上述分析波形，求出与上述局部参照波形相对应的多个局部频率信息，该多个局部参照波形构成上述参照波形的一部分，该局部频率信息至少包括上述规定的频率的振幅频谱及相位频谱的任一个；以及分析波形频率特征量抽出单元，将由上述局部频率信息制作单元所求出的上述多个局部频率信息编成组，根据该组和上述分析波形的频率信息，并根据规定的频率分辨率，抽出上述分析波形中包含的频率特征量。

根据图5至图9，说明本发明的要点。

图5是说明本发明的全体结构的图。在图5的例子中，根据如图5(a)所示的规定的频率分辨率，来决定参照波形的时间带宽。即，如图5(b)所示，将3个周期的余弦波形作为参照波形。例如，在分离由3个人的声音构成的混合声音的情况下，需要将频率分辨率设定为高，因此，以频率分辨率为15Hz的方式，来设定参照波形的时间带宽。

在此，使用以往的技术的离散余弦波形进行频率分析的情况下，根据参照波形的时间带宽来决定时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)，并时间分辨率成为3个周期的余弦波形的时间带宽，从而时间分辨率变低。因此，不能表现出分析波形的微小时间的结构(根据比3个周期的余弦波形的时间带宽更短的时间间隔的频率信息的变化)。

于是，在本发明中，根据所要的时间分辨率，时间上分割参照波形。例如，在分析声音的情况下，为了可以表示声音的基本波形的结构，将参照波形分割为短于基本波形的长度的时间间隔。在图5的例子中，如图5(c)所示，将参照波形分割为1个周期的余弦波形，来制作3个局部参照波形。在此，时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)是1个周期的余弦波形的时间带宽，与3个周期的余弦波形的时间带宽相比，带宽变窄了。即，时间分辨率，可以独立于频率分辨率而设定为高(但是，3个局部参照波形是从同一参照波形所分别抽出的波形)。

其次，如图5(c)所示，使用3个局部参照波形进行频率分析，来求出3个局部频率信息。对于求出局部频率信息的方法，在以往的技术的频率分析中，将参照波形替换为局部参照波形，计算分析波形和局部参照波形的相互关联(卷积)，来求出局部频率信息。

在此，考虑频率信息和3个局部频率信息的关系，该频率信息是，通过以往的技术的离散余弦变换，使用3个周期的余弦波形的参照波形来求出的信息，该3个局部频率信息是，在本发明中，使用时间上分割3个周期的余弦波形的局部参照波形来求出的信息。在图5的例子的情况下，根据公式11，可以表现出，通过以往的技术的离散余弦变换来求出的频率信息。

[公式11]

并且，根据公式12、公式13、公式14可以表现出，在本发明中的3个局部频率信息。

[公式12]

[公式13]

[公式14]

根据局部参照波形的制作方法可见，如图15所示，通过离散余弦变换来求出的频率信息相当于在本发明中求出的3个局部频率信息的总和。

[公式15]

$X_f=X_f^1+X_f^2+X_f^3$

据此可见，在本发明中求出的3个局部频率信息，包括具有通过离散余弦变换求出的频率分辨率的频率信息。即，可见，结合3个局部频率信息，则可以获得具有高频率分辨率的频率信息。

并且，根据公式15可见，根据所要的频率分辨率，通过离散余弦变换求出的频率信息的值中，存在局部频率信息的值(公式12、公式13、公式14)的多种组合。例如，存在由公式16所示的组合。即，作为成为Xf＝5的(Xf1、Xf2、Xf3)的组合的1个例子，可以假设(Xf1、Xf2、Xf3)＝(1、2、2)。除此以外，也可以假设(Xf1、Xf2、Xf3)＝(2、1、2)等。

[公式16]

$(X_f=5)=(X_f^1+X_f^2+X_f^3=1+2+2=2+1+2=1+0+3=0+5+0=10+(-2)+(-3))$

根据上述可见，图5(d)所示，将3个局部频率信息编成一组的数据来处理的信息：是将具有所要的高时间分辨率的3个局部频率信息作为成分，来将具有所要的频率分辨率的频率信息分散而表现的信息；也是向通过以往的离散余弦变换求出的频率信息，加上关于时间上的频率结构的变化的信息的信息。

如上所述，通过将3个局部频率信息编成一组的数据来使用，可以抽出如同使时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)和频率分辨率的两者同时变高而进行频率分析一样的、分析波形中包含的频率特征量。然而，当抽出频率特征量时，为了求出3个局部频率信息，除了时间分辨率的概念以外，还需要相当于3个周期的余弦波形的时间带宽的分析波形。据此，对于频率分析需要的分析波形的时间区间的长度，与以往的分析方法相同。

图6是示出根据其他频率分辨率进行频率分析的例子的图。在图6的例子中，如图6(a)所示，以比图5的例子高的频率分辨率来分析，因此，如图6(b)所示，将4个周期的余弦波形作为参照波形。

在此，在使用以往的技术的离散余弦变换进行频率分析的情况下，时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)成为4个周期的余弦波形的时间带宽，从而时间分辨率变低。因此，不能表现出分析波形的微小时间的结构。

于是，在本发明中，根据所要的时间分辨率，时间上分割参照波形。在图6的例子中，如图6(c)所示，将参照波形分割为2个周期的余弦波形，来制作2个局部分析波形。在此，时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)是2个周期的余弦波形的时间带宽，且独立于频率分辨率而设定为高(但是，2个局部参照波形是从同一参照波形所分别抽出的波形)。

其次，如图6(c)所示，使用2个局部参照波形进行频率分析，来求出2个局部频率信息。对于求出局部频率信息的方法，在以往的技术的频率分析中，将参照波形替换为局部参照波形，计算分析波形和局部参照波形的相互关联(卷积)，来求出局部频率信息。

在此，考虑频率信息和2个局部频率信息的关系，该频率信息是，通过以往的技术的离散余弦变换，使用4个周期的余弦波形的参照波形来求出的信息，该2个局部频率信息是，在本发明中，分割为2个周期的余弦波形来求出的信息。在图6的例子的情况下，根据公式17，可以表现出，通过以往的技术的离散余弦变换来求出的频率信息。

[公式17]

并且，根据公式18、公式19可以表现出，在本发明中的2个局部频率信息。

[公式18]

[公式19]

根据局部参照波形的制作方法可见，如图20所示，通过离散余弦变换来求出的频率信息相当于在本发明中求出的2个局部频率信息的总和。

[公式20]

$X_f=X_f^1+X_f^2$

据此可见，在本发明中求出的2个局部频率信息，包括具有通过离散余弦变换求出的频率分辨率的频率信息。即，可见，结合2个局部频率信息，则可以获得具有高频率分辨率的频率信息。

并且，根据公式20可见，根据所要的频率分辨率，通过离散余弦变换求出的频率信息的值(公式17)中，存在局部频率信息的值(公式18、公式19)的多种组合。例如，存在由公式21所示的组合。即，作为成为Xf＝2的(Xf1、Xf2)的组合的1个例子，可以假设(Xf1、Xf2)＝(0.9、1.1)。除此以外，也可以假设(Xf1、Xf2)＝(2.5、(-0.5))等。

[公式21]

$(X_f=2)=(X_f^1+X_f^2=0.9+1.1=2.5+(-0.5)=1.0+1.0)$

根据上述可见，图6(d)所示的将2个局部频率信息编成一组的数据来处理的信息：是将具有所要的高时间分辨率的2个局部频率信息作为成分，来将具有所要的频率分辨率的频率信息分散而表现的信息；也是向通过以往的离散余弦变换求出的频率信息，加上关于时间上的频率结构的变化的信息的信息。

如上所述，通过将2个局部频率信息编成一组的数据来使用，可以抽出如同使时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)和频率分辨率的两者同时变高而进行频率分析一样的、分析波形中包含的频率特征量。然而，当抽出频率特征量时，为了求出2个局部频率信息，除了时间分辨率的概念以外，还需要相当于4个周期的余弦波形的时间带宽的分析波形。据此，对于频率分析需要的分析波形的时间区间的长度，与以往的分析方法相同。

图7是示出将参照波形时间上重叠并分割来制作局部参照波形的例子的图。图7(a)，是示出在此例子的频率分辨率的图，与图6(a)所示的频率分辨率相同。在图7的例子中，如图7(b)所示，将与图6的例子相同的4个周期的余弦波形作为参照波形。

在此，在使用以往的技术的离散余弦变换进行频率分析的情况下，时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)成为4个周期的余弦波形的时间带宽，从而时间分辨率变低。因此，不能表现出分析波形的微小时间的结构。

于是，在本发明中，根据所要的时间分辨率，时间上分割参照波形。在图7的例子中，如图7(c)所示，将参照波形，以在时间上重叠的方式，分割为2个周期的余弦波形，来制作3个局部参照波形。在此，时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)是2个周期的余弦波形的时间带宽(但是，3个局部参照波形是从同一参照波形所分别抽出的波形)。

其次，如图7(c)所示，使用3个局部参照波形进行频率分析，来求出3个局部频率信息。对于求出局部频率信息的方法，在以往的技术的频率分析中，将参照波形替换为局部参照波形，计算分析波形和局部参照波形的相互关联(卷积)，来求出局部频率信息。

在此，考虑频率信息和3个局部频率信息的关系，该频率信息是，通过以往的技术的离散余弦变换，使用4个周期的余弦波形的参照波形来求出的信息，该2个局部频率信息是，在本发明中，分割为2个周期的余弦波形来求出的信息，则可见，根据3个局部频率信息的总和，可以求出通过离散余弦变换求出的频率信息的2倍的近似值。即，可见，3个局部频率信息，包括通过离散余弦变换、根据高频率分辨率求出的频率信息。

根据上述可见，如图7(d)所示、将3个局部频率信息编成一组的数据来处理的信息：是将具有高时间分辨率的3个局部频率信息作为成分，来将具有高于局部频率信息的频率分辨率的频率信息分散而表现的信息；也是向通过以往的离散余弦变换求出的频率信息，加上关于时间上的频率结构的变化的信息的信息。

如上所述，通过将3个局部频率信息编成一组的数据来使用，可以抽出如同使时间分辨率和频率分辨率的两者同时变高而进行频率分析一样的、分析波形中包含的频率特征量。然而，当抽出频率特征量时，为了求出3个局部频率信息，除了时间分辨率的概念以外，还需要相当于4个周期的余弦波形的时间带宽的分析波形。据此，对于频率分析需要的分析波形的时间区间的长度，与以往的分析方法相同。

图8是示出根据其他频率分辨率进行频率分析的例子的图。图8(a)是示出在此例子的频率分辨率的图，与图5(a)所示的频率分辨率相同。在图8的例子中，根据高于图5的例子的时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)来进行频率分析。在此例子中，如图8(b)所示，将与图5的例子相同的3个周期的余弦波形作为参照波形。

在此，使用以往的技术的离散余弦变换进行频率分析时，时间分辨率成为3个周期的余弦波形的时间带宽，从而时间分辨率变低。于是，在图8的例子中，如图8(c)所示，将参照波形分割为0.5个周期的余弦波形，来制作6个局部参照波形。在此，时间分辨率成为0.5个周期的余弦波形的时间带宽。而且，通过使用6个局部参照波形进行频率分析，求出6个局部频率信息。

在此，考虑通过以往的技术的离散余弦变换、且使用参照波形(3个周期的余弦波形)来求出的频率信息和本发明的6个局部频率信息的关系，则可见，根据6个局部频率信息的总和，可以求出通过离散余弦变换求出的频率信息。即，可见，6个局部频率信息，包括通过离散余弦变换、且根据高频率分辨率求出的频率信息。根据上述可见，将6个局部频率信息编成一组的数据来处理的信息：是将具有高时间分辨率的6个局部频率信息作为成分，来将具有高于局部频率信息的频率分辨率的频率信息分散而表现的信息；也是向通过以往的离散余弦变换求出的频率信息，加上关于时间上的频率结构的变化的信息的信息

并且，如图8(d)所示，通过将6个局部频率信息编成一组的数据来使用，可以抽出如同使时间分辨率和频率分辨率的两者同时变高而进行频率分析一样的、分析波形中包含的频率特征量。然而，当抽出频率特征量时，为了求出6个局部频率信息，除了时间分辨率的概念以外，还需要相当于3个周期的余弦波形的时间带宽的分析波形。据此，对于频率分析需要的分析波形的时间区间的长度，与以往的分析方法相同。

图9是示出通过1个周期的余弦波形的频率信息和通过傅里叶变换的频率信息的关系的图。如图9(a)所示，按每个要分析的频率(f1，f2，f3，......)，将与要分析的频率相对应的1个周期的余弦波形作为局部参照波形，与图5的例子相同求出局部频率信息。并且，如图9(c)所示，以基本频率为f1时，可以以fn表示要分析的频率。fn表示f1的n倍的频率。并且，如图9(b)所示，与图5的例子相同，求出可以放在傅里叶变换的时间窗里的局部频率信息的总和，来可以制作傅里叶变换的频率信息。并且，在图9的例子中，如图9(b)所示，可以放在傅里叶变换的时间窗里的局部频率信息的数量：对于与频率f1相对应的局部频率信息为1个；对于与频率f2相对应的局部频率信息为2个；对于与频率f3相对应的局部频率信息为3个。在傅里叶变换中，多个要分析的频率满足正交条件，通过逆傅里叶变换，来可以从频率信息容易制作波形信息。据此可见，在本发明中可以将局部频率信息变换为波形信息。

通过使用本发明的频率分析装置，例如，在混合声音分离系统中，使用将按每个频率的局部频率信息编成一组的数据，来从混合声音抽出以高精度要抽出的声音的局部频率信息，从而可以提供给用户清晰的抽出声音(抽出声音的波形信息)，该局部频率信息是以高频率分辨率、且以高时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)来表现的。

最后，以下归纳本发明的要点，其中，对规定的频率进行频率分析时，在按照所要的频率分辨率所决定的分析时间带宽(与参照波形的时间带宽相对应)，准备可以放在上述分析时间带宽内的、分别从具有上述规定的频率的同一参照波形所抽出的多个参照波形(与局部参照波形相对应)，并使用上述多个参照波形(与局部参照波形相对应)来制作多个频率信息(与局部频率信息相对应)，从而将这些信息编成一组的数据来处理，从而对分析波形的频率特征量进行分析。

如上所述，根据本发明：可以将时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)和频率分辨率独立设定；可以提供混合声音分离装置及频率分析装置等，该混合声音分离装置及频率分析装置等可以进行如下频率分析，即，如同使时间分辨率和频率分辨率同时变高而进行频率分析一样的频率分析；可以使用于在混合声音分离、语音识别、声音识别、字符识别、人脸识别、虹彩认证等广泛领域的基本技术，因此，其实用价值极高。

附图说明

图1是说明以往的技术的傅里叶变换(离散傅里叶变换)的方法的图。

图2是示出具有规定的时间带宽的参照波形和频率特性的关系的图，该频率分析是根据上述参照波形进行的。

图3是说明以往的技术的余弦变换(离散余弦变换)的图。

图4是说明以往的技术的小波变换的图。

图5是说明本发明的全体结构的图。

图6是示出根据其他频率分辨率进行频率分析的例子的图。

图7是示出以时间上重叠的方式，分割参照波形，来制作局部参照波形的例子的图。

图8是示出根据其他时间分辨率进行频率分析的例子的图。

图9是示出通过1个周期的余弦波形的频率信息和通过傅里叶变换的频率信息的关系的图。

图10是示出本发明的实施方式的频率分析装置的全体结构的方框图。

图11是示出混合声音分离系统100的工作流程的流程图。

图12是示出混合声音S100的一个例子的图。

图13是示出参照波形和局部频率信息的图。

图14是示出通过实验求出的局部频率信息的图。

图15是示出抽出混合声音S100中包含的抽出声音的局部频率信息的抽出方法的一个例子。

图16是，对于频率特征量的抽出，比较以往的方法和本发明的方法的结构的图。

图17是示出局部频率信息的空间上的映象的图。

图18是示出在混合声音S100中包含的抽出声音的局部频率信息的一个例子的图。

图19是示出本发明的实施方式的频率分析装置的全体结构的其他例子的方框图。

图20是用于说明由局部频率信息制作部制作的局部频率信息DB的图。

图21是用于说明由局部频率信息制作部制作的局部频率信息DB的图。

图22是示出局部频率信息DB的一个例子的图。

图23是示出使用局部频率信息DB的频率特征量的分析方法的一个例子的图。

图24是示出使用局部频率信息DB的频率特征量的分析方法的一个例子的图。

图25是用于说明由局部频率信息制作部制作的局部频率信息DB的图。

图26是示出局部频率信息DB的一个例子的图。

图27是示出使用局部频率信息DB的频率特征量的分析方法的一个例子的图。

图28是示出使用局部频率信息DB的频率特征量的分析方法的一个例子的图。

符号说明

100、100A  混合声音分离系统

101  麦克风

102  频率分析装置

103、103A  参照波形时间带宽决定部

104  参照波形分割部

105、105A  局部频率信息制作部

106、106A  分析波形频率特征量抽出部

107  声音变换部

108  扬声器

1000  频率信息制作装置

1001  频率特征量分析装置

1002  频率分辨率决定部

S100  混合声音

S101  参照波形

S102  局部参照波形

S103  局部频率信息

S104  频率特征量(抽出声音的傅里叶系数)

S105  抽出声音

S1000  局部频率信息DB

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图10是示出本发明的频率分析装置的全体结构的方框图。在此，示出本发明涉及的频率分析装置被装入到混合声音分离系统的例子。在本实施方式中以以下情况作为例子进行说明，即，对由3个说话者的声音构成的混合声音进行频率分析，来从混合声音分离1个说话者的声音。

混合声音分离系统100是一种系统，从混合多个说话者的声音的混合声音抽出1个说话者的声音，包括：麦克风101、频率分析装置102、声音变换部107、扬声器108。频率分析装置102是一种处理装置，分析混合声音中包含的频率成分，并抽出频率特征量，包括：参照波形时间带宽决定部103、参照波形分割部104、局部频率信息制作部105、分析波形频率特征量抽出部106。

麦克风101接受混合声音S100，并输出到局部频率信息制作部105。

参照波形时间带宽决定部103，根据规定的频率分辨率，决定与要分析的频率相对应的参照波形的时间带宽。

参照波形分割部104，根据规定的时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)，以在时间上允许重叠的方式，来分割由参照波形时间带宽决定部103所制作的参照波形S101，从而制作多个局部参照波形S102。

局部频率信息制作部105，根据混合声音S100和局部参照波形S102的相互关联，并根据上述规定的时间分辨率求出与局部参照波形S102相对应的多个局部频率信息S103，该局部参照波形S102至少包含振幅频谱及相位频谱的任一个。

分析波形频率特征量抽出部106，将上述多个局部频率信息S103编成一组的数据来使用，根据上述规定的时间分辨率，抽出分析混合声音中包含的抽出声音的局部频率信息，使用抽出声音的局部频率信息来制作抽出声音的傅里叶系数S104，从而抽出混合声音S100中包含的频率特征量之一的抽出声音的傅里叶系数S104。

声音变换部107，使用抽出声音的傅里叶系数S104制作抽出声音(抽出声音的波形)S105。扬声器108，将抽出声音S105输出给利用者。

其次，说明如上述构成的混合声音分离系统100的工作。

图11是示出混合声音分离系统100的工作流程的流程图。

首先，使用麦克风101，使频率分析装置102的局部频率信息制作部105接受由3个说话者的声音构成的混合声音S100(图11的步骤200)。图12示出混合声音S100的一个例子。图12(a)是混合声音S100的波形，图12(b)是通过以往的技术的傅里叶变换所求出的混合声音S100的谱图。如图12(c)所示，可以以基本波形的反复来表现声音。并且，对于基本波形的振幅，并不是在所有的时间区域大，接近零的时间区域也存在。因此，使时间分辨率变高来分析，则可以分析混合声音中的3个说话者的声音的基本波形的特征。再者，在图12(a)的混合声音的波形中，显示时间分辨率低，因此，难以表示3个人的声音的基本波形的特征。此意味着，分离混合声音时重要的是，使时间分辨率变高。在图12(b)的傅里叶变换的谱图中，当傅里叶变换时不能使时间分辨率和频率分辨率的两者的分辨率同时变高，因此，难以分离而表示混合声音中的3个说话者的声音的频谱形状的特征。在傅里叶变换中，通过使频率分辨率变高，可以分析3个人的声音的频率特征的共振峰(formant)的平均时间，反而，时间分辨率变低，因此，不能分析微小时间区域的共振峰的值。据此，即使在微小的时间区域、频率区域不重叠的混合声音，也难以分离要抽出的声音。

其次，参照波形时间带宽决定部103，根据规定的频率分辨率，决定与要分析的频率相对应的参照波形的时间带宽，来制作参照波形S101(图11的步骤201)。在图13所示的例子中，将参照波形S101的时间带宽，作为基本频率f1的1个周期可以放进的时间带宽(在傅里叶变换中的时间窗)。图13(a)及图13(b)是，用于说明根据余弦波形的频率分析的图，图13(c)及图13(d)是，用于说明根据正弦波形的频率分析的图。并且，图13(a)及图13(c)示出，具有上述参照波形的参照波形，图13(b)及图13(d)示出，分别与图13(a)及图13(c)所示的参照波形相对应的局部频率信息。

图13(a)及图13(c)所示的参照波形是，结合实线和虚线的两者的波形(仅有实线的波形表示1个局部参照波形)。在此，针对所有的要分析的频率使用，时间带宽相同的参照波形。但是，要分析的频率的大小不同，因此，按照要分析的频率参照波形中包含的周期数不同。具体而言，如图13(a)及图13(c)所示，由1个周期的余弦波形及正弦波形构成要分析的频率为基本频率f1的参照波形，由2个周期的余弦波形及正弦波形构成要分析的频率为基本频率f1的2倍的f2的参照波形，由3个周期的余弦波形及正弦波形构成要分析的频率为基本频率f1的3倍的f3的参照波形。对于分割为局部参照波形之前的参照波形的频率分辨率，与图9(c)所示相同的高频率分辨率，并要分析的频率f1、f2、f3的频率特征为正交。

在此，参照波形的时间带宽的决定，相当于在短时间的傅里叶变换的分析帧的宽度的决定。并且，也有以下情况，即，在短时间的傅里叶变换中，分析波形乘窗函数，该例子的情况，分析波形乘与参照波形相同的时间带宽的矩形窗的情况相同。并且，分析波形乘窗函数来进行频率分析，该窗函数在分析对象区间(参照波形存在的时间区间)具有零以外的值。

并且，频率分析装置102，进一步包括频率分辨率输入接受部，来可以根据分析波形S100的性质或应用程序的规格决定频率分辨率。从外部输入这些频率分辨率也可以。例如，对于突发音，即使频率分辨率(在相同时间分辨率，要编成一组局部频率信息的数量少)变低，也可以分析特征量，但是，对于音乐，需要使频率分辨率变高(在相同时间分辨率，要编成一组局部频率信息的数量多)，来分析特征量。根据要编成一组的数据的数量，抽出特征量时的计算量不同，因此，按照输入后的分析波形的性质来控制要分析的频率分辨率，来可以减少计算成本。

其次，参照波形分割部104，根据规定的时间分辨率，以在时间上允许重叠的方式，将由参照波形时间带宽决定部103所制作的参照波形S101分割，来制作多个局部参照波形S102(图11的步骤202)。在图13所示的例子中，对每个要分析的频率，将参照波形S101(结合实线和虚线的两者的波形)分割为1个周期的余弦波形及正弦波形，来制作局部参照波形S102(实线的波形表示1个局部分析波形)。具体而言，如图13(a)及图13(c)所示：要分析的频率为基本频率f1的局部参照波形就是参照波形本身；由2个局部参照波形构成要分析的频率为基本频率f1的2倍的f2的局部参照波形，由3个局部参照波形构成要分析的频率为基本频率f1的3倍的f3的局部参照波形，该2个局部参照波形是由f2的频率的1个周期的余弦波形及正弦波形所构成的，该3个局部参照波形是由f3的频率的1个周期的余弦波形及正弦波形所构成的。按每个要分析的频率来看，与图5(c)所示的局部参照波形相同。在此，时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)成为要分析的频率的参照波形的1个周期的时间带宽。据此可见，时间分辨率是，独立于频率分辨率而设定的。并且，多个局部参照波形是，分别从同一参照波形所抽出的波形。在此示出，以在时间上没有重叠的方式，分割参照波形S101的例子。并且，如图6、图7、图8所示，也可以制作局部参照波形。

并且，频率分析装置102，进一步包括时空分辨率输入接受部，来可以根据分析波形S100的性质或应用程序的规格决定频率分辨率。从外部输入这些频率分辨率也可以。例如，对于突发音，需要时时间分辨率高而分析。在分析突发音、声音、音乐交替出现的混合声音的情况下，通过根据输入后的分析波形控制时间分辨率，可以进行高精度的分析，也可以使记忆局部频率信息的存储容量变小(不需要高分辨率时，使时间分辨率变低，来可以减少要记忆的局部频率信息的数量)。

其次，局部频率信息制作部105，根据混合声音S100和局部参照波形S102的相互关联(卷积)，并根据上述规定的时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)求出与局部参照波形S102相对应的多个局部频率信息S103，该局部参照波形S102至少包含振幅频谱及相位频谱的任一个(图11的步骤203)。在此，在用于傅里叶变换的分析方法中，将参照波形变更为局部参照波形来求出局部频率信息(参照公式11、公式12、公式13、公式14)。如图13的例子所示，根据余弦波形及正弦波形分别求出以下局部频率信息：在要分析的频率为基本频率f1的情况下，1个局部频率信息；在要分析的频率为基本频率的2倍的f2的情况下，2个局部频率信息；在要分析的频率为基本频率的3倍的f3的情况下，3个局部频率信息(也参照图5)。使用通过余弦波形及正弦波形的2种频率分析来求出的局部频率信息，来可以求出振幅频谱及相位频谱。即，在此例子，局部频率信息是，包括振幅频谱及相位频谱的两者的频率信息。

在图14中，如图14(a)所示，将以16KHz所取样的混合声的与图5的例子相同的1个周期的余弦波形作为局部参照波形使用，与图5的例子不同，按每个1取样点进行时移，来对所有的取样点求出局部频率信息。图14(b)是一种曲线图，在要分析的频率是1KHz的情况下，将针对所有的取样点的局部频率信息排成时间序列的曲线图，横轴为时间，纵轴为功率。图14(b)示出发出日语的声音时的3个曲线图，从上面示出：女性的日语“え”的发声的局部频率信息；男性的日语“ん”的发声的局部频率信息；这些混合声音的局部频率信息。

图14(c)是一种曲线图，在要分析的频率是2KHz的情况下，将针对所有的取样点的局部频率信息排成时间序列的曲线图，仅要分析的频率，与图14(b)所示的曲线图不同。

抽出根据要分析的频率(1KHz、2KHz)的1个周期的时间间隔的局部频率信息，来编成一组的数据，则可以获得与图5的例子相同的局部频率信息。在分离混合声音的情况下，需要使时间分辨率和频率分辨率的两者变高。在此试验结果，使时间分辨率变高，因此，可以将在微小时间的混合声音中的女性和男性的声音的结构分离并表示。并且，如以后所述，将多个局部频率信息编成一组的数据来使用，从而可以如同使频率分辨率变高，因此，以高精度可以分离在微小时间、频率区域不重叠的混合声音。

其次，分析波形频率特征量抽出部106，通过将上述多个局部频率信息S103编成一组的数据来使用，根据上述规定的时间分辨率，抽出混合声音中包含的抽出声音的局部频率信息，使用抽出声音的局部频率信息制作抽出声音的傅里叶系数S104，从而抽出混合声音S100中包含的频率特征量之一的抽出声音的傅里叶里叶系数S104(图11的步骤204)。图15示出，抽出混合声音S100中包含的抽出声音的局部频率信息的一个例子。图15(a)是示出局部参照波形S102的一个例子的图。图15(b)是示出，针对各频率的局部频率信息的图，该各频率是基本频率f1、基本频率f1的2倍频率f2、以及基本频率f1的3倍频率f3。图15(c)是示出，要抽出的声音的一组局部频率信息的模式的图，在此示出针对女性的声音的局部频率信息的两种模式。

在图15的例子中，如图15(c)所示，事先记忆要抽出的声音的一组局部频率信息(是结合傅里叶变换的时间窗中的局部频率信息的)，比较由图15(b)所示的混合声音S100制作的局部频率信息S103和由图15(c)所示的所记忆的抽出声音的一组局部频率信息，来抽出混合声音S100中包含的抽出声音的局部频率信息。在图15的例子中，如上所述，记忆女性的声音模式。在此例子中，比较混合声音S100的一组局部频率信息S103和所记忆的一组局部频率信息(女性的声音模式)，来选择误差距离(类似程度的倒数)为最小的所记忆的声音模式，当误差距离为事先规定的阈值以下时，抽出混合声音S100的局部频率信息。并且，当误差距离大于阈值时，使用所记忆的误差距离为最小的声音模式，制作要抽出的女性的局部频率信息(例如，是以后所述的图18的以Z表示的)。具体而言，使用公式22计算误差距离。

[公式22]

$E(X,A)=\sqrt{{(X_{f1}^1-A_{f1}^1)}^2}+\sqrt{{(X_{f2}^1-A_{f2}^1)}^2+{(X_{f2}^2-A_{f2}^2)}^2}$

$+\sqrt{{(X_{f3}^1-A_{f3}^1)}^2+{(X_{f3}^2-A_{f3}^2)}^2+{(X_{f3}^3-A_{f3}^3)}^2}$

在此，X是混合声音S100的一组局部频率信息S103，A是所记忆的一组局部频率信息(女性的声音模式)。

看公式22的

[公式23]

$\sqrt{{(X_{f3}^1-A_{f3}^1)}^2+{(X_{f3}^2-A_{f3}^2)}^2+{(X_{f3}^3-A_{f3}^3)}^2}$

的部分，

[公式24]

(X_f3 ¹-A_f3 ¹)²

[公式25]

(x_f3 ²-A_f3 ²)²

[公式26]

(X_f3 ³-A_f3 ³)²的所有的项变小，就误差距离变小。

在此，用图16，比较以往的方法和本发明的方法的结构。如图16(a)所示，在以往的方法中，针对每个局部频率信息计算误差距离来选择最小的模式，与此相对，在本发明的方法中，如图16(b)所示，将一组局部频率信息作为1个模式计算误差距离来选择最小的模式。据此，使每个局部频率信息的误差距离变小，并且，将多个局部频率信息编成一组时的所要的频率分辨率的频率信息

[公式27]

$X_{f3}=X_{f3}^1+X_{f3}^2+X_{f3}^3$

和

[公式28]

$A_{f3}=A_{f3}^1+A_{f3}^2+A_{f3}^3$

之间的误差距离成为最短的模式被选择。另一方面，在图16(a)所示的以往的方法中，不考虑将多个局部频率信息编成一组时的、根据所要的频率分辨率的误差距离。

图17是示出局部频率信息的空间的映象图。在图17的例子中，作为根据所要的频率分辨率的频率信息的公式27和公式28，示出与平面的各轴的截断的值，作为一组局部频率信息的，

[公式29]

(X_f3 ¹，X_f3 ²，X_f3 ³)

和

[公式30]

(A_f3 ¹，A_f3 ²，A_f3 ³)

分别示出，由公式27所示的平面上的点和由公式28所示的平面上的点。在本发明中，测量具有所要的频率分辨率的平面之间的距离(图17的截断之间的距离)，并且，对于具有所要的频率分辨率的平面，考虑到表现微小的时间区间的频率的变化的平面上的点之间的距离(公式29所示的点和公式30所示的点之间的距离)，来分析频率特征量。在以往的方法中，没有测量平面上的点之间的距离那样的概念。

并且，对于要抽出的局部频率信息的制作方法，也可以将如图15(c)所示的误差距离为最小的、所记忆的模式结合，来不使用混合声音而制作要抽出的女性的局部频率信息。

并且，在图15的例子中，结合所有的要分析的频率的一组局部频率信息来制作模式，但是，也可以先按每个要分析的频率记忆女性的声音模式，按每个要分析的频率使用一组局部频率信息来计算误差距离。

并且，也可以先另外计算将多个局部频率信息编成一组时的根据频率分辨率的频率信息，与一组局部频率信息结合，积极使用计算后的根据所要的频率分辨率的频率信息来计算误差距离。

并且，作为计算误差距离的评定式，代替公式22，使用一组局部频率信息的各值的比率来计算类似度也可以。

其次，如图18所示，使用抽出后的抽出声音的局部频率信息求出抽出声音的傅里叶系数S104。图18(a)示出，混合声音S100中包含的抽出声音的局部频率信息的一个例子。在此例子中，通过求出傅里叶变换的时间窗中的局部频率信息(图18的Z)的总和，来可以求出如图18(b)所示的傅里叶系数(图18的Y)。

其次，声音变换部107，使用抽出声音的傅里叶系数S104，来制作抽出声音(抽出声音的波形)S105(图11的步骤205)。在此例子中，通过逆傅里叶变换制作抽出声音S105。

最后，扬声器108，将抽出声音S105输出给利用者(图11的步骤206)。

如上所述，根据本发明的实施方式，可以将时间分辨率独立于频率分辨率而设定，并且，根据多个频率分辨率(多个时间分辨率)分别被频率分析的多个局部频率信息的组之间进行比较，来可以获得如同使时间分辨率和频率分辨率同时变高来进行频率分析一样的结果。据此，从混合声音中可以抽出要以高精度抽出的声音。

并且，在本实施方式中，将频率分析装置装入到混合声音分离系统，但是，装入到语音识别系统、声音识别系统、字符识别系统、人脸识别系统、虹彩认证系统也可以。

并且，在本实施方式中，将时间波形作为分析波形，但是，在进行图像处理的情况下等，将空间波形作为分析波形，因此“时间分辨率”与“空间分辨率”相对应。在本说明书及权利要求中，将“时间分辨率”和“空间分辨率”并在一起，称为“时空分辨率”。“空间分辨率”是，求出分析波形和参照波形的相互关联(卷积)时进行平均化的空间区域的大小。

并且，也可以构成本实施方式涉及的频率分析装置102。

如图19所示，频率分析装置102A，可以由频率信息制作装置1000和频率特征量分析装置1001的两个装置构成，该频率信息制作装置1000制作局部频率信息并进行数据库化(DB化)，来制作局部频率信息DBS1000，该频率特征量分析装置1001使用由频率信息制作装置1000制作的局部频率信息DBS1000来分析频率特征量S104。

在频率信息制作装置1000中，参照波形时间带宽决定部103A，根据最高频率分辨率，来决定与要分析的频率相对应的参照波形的时间带宽，并制作参照波形S101，该最高频率分辨率是，分析频率特征量S104时频率特征量分析装置1001有可能使用的最高频率分辨率。即，根据参照波形时间带宽决定部103A所决定的参照波形的时间带宽，来决定频率特征量分析装置1001可以分析分析频率特征量S104的频率分辨率的上限。

参照波形分割部104的工作与图10相同，因此省略说明。

其次，局部频率信息制作部105A，根据由麦克风101所接受的混合声音S100和局部参照波形S102的相互关联(卷积)，并根据时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)求出与上述局部参照波形S102相对应的多个局部频率信息S103，该上述局部参照波形S102至少包含振幅频谱及相位频谱的任一个，制作并记忆局部频率信息DBS1000，该局部频率信息DBS1000是至少由以下(1)至(3)所构成的：(1)分析后的频率；(2)关于局部参照波形的形状的信息；(3)求出局部频率信息S103及对应的局部频率信息的分析波形的时刻。

图20(a)示出局部频率信息DBS1000的一个例子。在此例子中，局部频率信息DBS100是由以下(1)至(3)所构成的：(1)分析后的频率为1KHz；(2)表示以下内容的信息，即，作为关于局部参照波形的信息，局部参照波形之间没有重叠，且在由5个周期的余弦波形所构成的参照波形中时间分辨率是1ms(分析后的频率1KHz的1个周期的长度，即参照波形的1个周期的长度)；(3)求出将5个局部频率信息(相当于在5个局部参照波形的离散余弦变换系数的值)编成一组的数据及对应的局部频率信息的分析波形的时刻。

图20(b)及图20(c)还记载，用于说明的映象图。根据图20(b)所示的映象图可见，局部参照波形之间没有重叠。并且，根据图20(c)可见，以5个为一组局部频率信息的多个组是，对分析波形进行时移来求出的。该时移的间隔(0.3ms)，可以独立于为了求出编成为一组的5个局部频率信息所使用的5个局部参照波形的时间间隔(1ms)而设定。

在图20的例子中，将5个局部频率信息编成一组时的频率分辨率，成为频率特征量分析装置1001可以分析的最高频率分辨率。

并且，图21(a)示出，局部频率信息DBS1000的另一个例子。在此例子中示出，根据具有多个时间分辨率的局部参照波形来求出的局部频率信息DB的一个例子，由以下(1)至(3)所构成：(1)分析后的频率为2KHz；(2)表示以下内容的信息，即，作为关于局部参照波形的信息，局部参照波形之间没有重叠，且在由4个周期的余弦波形所构成的参照波形中时间分辨率，在与参照波形的第1周期相对应的局部参照波形为0.5ms，在与参照波形的第2周期相对应的局部参照波形为0.5ms，在与参照波形的第3周期～第4周期相对应的局部参照波形为1.0ms；(3)求出将3个局部频率信息(相当于在3个局部参照波形的离散余弦变换系数的值)编成一组的数据及对应的局部频率信息的分析波形的时刻。

图21(b)及图21(c)还记载有，用于说明的映象图。根据图21(b)所示的映象图可见，局部参照波形之间没有重叠。并且，根据图21(c)可见，以3个为一组局部频率信息的多个组是，对分析波形进行时移来求出的。该时移的间隔(0.3ms)，可以独立于为了求出编成为一组的3个局部频率信息所使用的3个局部参照波形的时间间隔(0.5ms、0.5ms、1.0ms)而设定。

在此例子中，将5个局部频率信息编成一组时的频率分辨率，为频率特征量分析装置1001可以分析的最高频率分辨率。

并且，图22示出，局部频率信息DBS1000的另一个例子。在此例子中，除了局部频率信息以外，还上述频率信息(参照公式11、公式12、公式13、公式14、公式15)也一起进行数据库化，该上述频率信息是要编成一组的多个局部频率信息的值的总和。

如上所述，制作并记忆局部频率信息DBS1000。

如图19所示，在频率特征量分析装置1001中，分析波形频率特征量抽出部106A，包括频率分辨率决定部1002。分析波形频率特征量抽出部106A，输入局部频率信息DBS1000，根据由频率分辨率决定部1002所决定的频率分辨率，在局部频率信息DBS1000持有的(3)，决定要编成一组的数据来处理的局部频率信息的数量，该(3)是求出多个局部频率信息及对应的局部频率信息的分析波形的时刻。

并且，对于局部频率信息DBS1000，可以使用通信电路接收，也可以通过存储卡等记录介质获得。

并且，在使用局部频率信息DBS1000持有的所有的局部频率信息的情况下，没有频率分辨率决定部1002也可以。

图23示出使用局部频率信息DBS1000的频率特征量的分析方法的一个例子。在此例子中，将图中带圆圈的所有的(5个)局部频率信息编成一组的数据，分析频率特征量。对于使用一组局部频率信息的频率特征量的具体分析方法，与图10的分析波形频率特征量抽出部106的方法相同，因此省略说明。并且，在此例子的情况下，没有频率分辨率决定部1002也可以。

并且，图24示出使用局部频率信息DBS1000的频率特征量的分析方法的另一个例子。在此例子中，根据局部频率信息DBS1000持有的、要分析的频率1KHz和时间分辨率1ms，计算编成为一组局部频率信息的数量和频率分辨率的关系，并根据由频率分辨率决定部1002所决定的频率分辨率，将图中带圆圈的3个局部频率信息编成一组的数据来分析频率特征量。对于使用一组局部频率信息的频率特征量的具体分析方法，与图10的分析波形频率特征量抽出部106的方法相同，因此省略说明。如图24的例子，通过使用局部频率信息DB持有的局部频率信息的一部分，可以根据所要的频率分辨率，来分析频率特征量。

并且，在图24的例子中，像时刻0.0ms、时刻0.3ms、时刻0.6ms那样，时移的间隔为0.3ms，不过，时移的间隔为0.6ms，并使用在时刻0.0ms、时刻0.6ms、时刻1.2ms的一组局部频率信息来分析频率特征量也可以。在此时，使用局部频率信息DBS1000的一部分来分析频率特征量。

并且，在使用图22所示的局部频率信息DBS1000来分析频率特征量的情况下，在图10的分析波形频率特征量抽出部106的工作中，代替公式22的误差函数，根据下述公式31，使用图22的局部频率信息DBS1000的“频率信息”计算误差距离，该“频率信息”是将多个局部频率信息编成一组时的、根据所要的频率分辨率的频率信息。

[公式31]

$E(X,A)=\sqrt{{(X_{f1}^1-A_{f1}^1)}^2}+\sqrt{{(X_{f2}^1-A_{f2}^1)}^2+{(X_{f2}^2-A_{f2}^2)}^2}$

$+\sqrt{{(X_{f3}^1-A_{f3}^1)}^2+{(X_{f3}^2-A_{f3}^2)}^2+{(X_{f3}^3-A_{f3}^3)}^2}$

$+w\×(\sqrt{{(X_{f1}-A_{f1})}^2}+\sqrt{{(X_{f2}-A_{f2})}^2}+\sqrt{{(X_{f3}-A_{f3})}^2})$

在此，

[公式32]

X_f1，X_f2，X_f3

是局部频率信息DBS1000的“频率信息”，

[公式33]

A_f1，A_f2，A_f3

是所记忆的、与上述“频率信息”(女性的声音模式)相对应的，

[公式34]

w是加权系数。

并且，在图23及图24的例子中，也可以通过求出局部频率信息的值的总和来计算“频率信息”，从而根据公式31的误差函数来计算误差距离。

声音变换部107、扬声器108的工作与图10相同，因此省略说明。

最后，利用者，通过扬声器108可以听到抽出声音S105。

在此示出，局部频率信息制作部105A、局部频率信息DBS1000、分析波形频率特征量抽出部106A的另一个例子。

局部频率信息制作部105A，根据混合声音S100和局部参照波形S102的相互关联(卷积)，并根据时间分辨率(求出分析波形和参照波形的相互关联时进行平均化的时间区间的长度)求出与上述局部参照波形相对应的多个局部频率信息S103，该上述局部参照波形至少包含振幅频谱及相位频谱的任一个，制作局部频率信息DBS1000，该局部频率信息DBS1000是由以下(1)至(3)所构成的：(1)分析后的频率；(2)关于局部参照波形的形状的信息；(3)求出局部频率信息S103及对应的局部频率信息的分析波形的时刻。

图25(a)示出局部频率信息DBS1000的一个例子。在此例子中，与图20的局部频率信息DB的例子不同，将局部频率信息排在时刻方向来表现(3)局部频率信息S103及求出对应的局部频率信息的分析波形的时刻。即，在时刻1.0ms的3个局部频率信息是，时刻1.0ms的局部频率信息、时刻2.0ms的局部频率信息、时刻3.0ms的局部频率信息；在时刻2.0ms的5个局部频率信息是，时刻2.0ms的局部频率信息、时刻3.0ms的局部频率信息、时刻4.0ms的局部频率信息、时刻5.0ms的局部频率信息、时刻6.0ms的局部频率信息。可以这样表现的理由是，时间分辨率是要分析的频率的1KHz的1个周期的1.0ms，并该1.0ms与时移的间隔1.0ms相同，该时移的间隔1.0ms是，针对分析波形，对以整数为一组局部频率信息的组进行的时移的间隔1.0ms(参照图25(b)及图25(c))。即，因为，根据进行时移后的第1周期的局部频率信息，可以表现出在前时刻的第2周期以后的局部频率信息。并且，(1)分析后的频率、(2)关于局部参照波形的形状的信息，与图20的局部频率信息DB的例子相同。

图26示出局部频率信息DBS1000的另一个例子。在此例子中，与图25的局部频率信息DB1000的例子不同，针对多个分析后的频率，对以下(1)至(3)分别进行数据库化：(1)分析后的频率；(2)关于局部参照波形的形状的信息；(3)求出局部频率信息S103及对应的局部频率信息的分析波形的时刻。如上所述，在图20、图21、图22的例子中也可以，针对多个分析后的频率，对局部频率信息进行数据库化。

如上所述，制作并记忆局部频率信息DBS1000。

分析波形频率特征量抽出部106A，包括频率分辨率决定部1002。分析波形频率特征量抽出部106A，输入局部频率信息DBS1000，根据由频率分辨率决定部1002所决定的频率分辨率，在局部频率信息DBS1000持有的(3)，决定要编成一组的数据来处理的局部频率信息的数量，该(3)是求出多个局部频率信息及对应的局部频率信息的分析波形的时刻。

图27示出使用局部频率信息DBS1000的频率特征量的分析方法的另一个例子。在此例子中，根据局部频率信息DBS1000持有的、要分析的频率1KHz和时间分辨率1ms，计算要编成一组局部频率信息的数量和频率分辨率的关系，并根据由频率分辨率决定部1002所决定的频率分辨率，将3个局部频率信息编成一组的数据来分析频率特征量。在此例子中，3个局部频率信息是：在时刻0.0ms中，图中带实线圆圈的时刻0.0ms、时刻1.0ms以及时刻2.0ms的局部频率信息；在时刻1.0ms中，图中带虚线圆圈的时刻1.0ms、时刻2.0ms以及时刻3.0ms的局部频率信息；在时刻2.0ms中，图中带虚线圆圈的时刻2.0ms、时刻3.0ms以及时刻4.0ms的局部频率信息。在此，按时移的每个间隔1.0ms，求出一组局部频率信息。对于使用一组局部频率信息的频率特征量的具体分析方法，与图10的分析波形频率特征量抽出部106的方法相同，因此省略说明。

并且，在要将5个局部频率信息编成一组的数据的情况下，将5个连续时刻的局部频率信息编成一组就可以，并在要将10个局部频率信息编成一组的数据的情况下，将10个连续时刻的局部频率信息编成一组就可以。对于要编成一组局部频率信息的数量的自由度，高于图24的例子的自由度。

图28示出使用局部频率信息DBS1000的频率特征量的分析方法的另一个例子。在此例子中，按时移的每个间隔3.0ms，求出一组局部频率信息(图中带实线圆圈及虚线圆圈的)。此时移的间隔，可以是5.0ms，也可以是8.0ms。如此，可以自由设定时移的间隔。对于使用一组局部频率信息的频率特征量的具体分析方法，与图10的分析波形频率特征量抽出部106的方法相同，因此省略说明。

如上所述，抽出频率特征量S104。

并且，频率特征量分析装置1001，通过还包括频率分辨率输入接受部，来可以根据应用程序的规格等来决定频率分辨率。这些频率分辨率，也可以从外部输入。

本发明，可以利用于以下系统：混合声音分离系统、语音识别系统、声音识别系统、字符识别系统、人脸识别系统、虹彩认证系统等。

Claims (17)

1、一种混合声音分离装置，从由多个声音构成的混合声音中分离特定的声音，其特征在于，包括：

局部频率信息制作单元，根据具有规定的时空分辨率的多个局部参照波形和上述混合声音的波形即分析波形，求出与上述局部参照波形相对应的多个局部频率信息，该多个局部参照波形构成用于分析规定的频率的参照波形的一部分，该局部频率信息至少包括上述规定的频率的振幅频谱及相位频谱的任一个；

特定声音频率特征量抽出单元，将上述多个局部频率信息编成组，在该组和针对事先设定的特定的声音的频率信息的组之间进行模式匹配，根据该模式匹配的结果，抽出上述多个局部频率信息的组；以及

声音信号制作单元，根据由上述特定声音频率特征量抽出单元所抽出的上述多个局部频率信息的组，制作上述特定的声音的信号。

2、如权利要求1所述的混合声音分离装置，其特征在于，

上述特定声音频率特征量抽出单元，将上述多个局部频率信息编成组，算出该组和针对事先设定的特定的声音的频率信息的组之间的距离，在该距离为规定的阈值以下的情况下，抽出上述多个局部频率信息的组。

3、如权利要求1所述的混合声音分离装置，其特征在于，

上述特定声音频率特征量抽出单元，将上述多个局部频率信息编成组，算出该组和针对事先设定的特定的声音的频率信息的组之间的类似度，在该类似度为规定的阈值以上的情况下，抽出上述多个局部频率信息的组。

4、如权利要求1所述的混合声音分离装置，其特征在于，

进一步包括，参照波形时间带宽决定单元，根据上述规定的频率分辨率，决定上述参照波形的时间带宽。

5、如权利要求4所述的混合声音分离装置，其特征在于，

上述参照波形，包含余弦波形或正弦波形；

上述参照波形时间带宽决定单元，根据上述规定的频率分辨率，以在上述参照波形包含整数周期的余弦波形或整数周期的正弦波形的方式，决定上述参照波形的时间带宽。

6、如权利要求5所述的混合声音分离装置，其特征在于，

上述整数周期为1周期。

7、如权利要求4所述的混合声音分离装置，其特征在于，

进一步包括，频率分辨率输入接受单元，接受频率分辨率的输入；

上述参照波形时间带宽决定单元，根据输入后的上述频率分辨率，决定上述参照波形的时间带宽。

8、如权利要求1所述的混合声音分离装置，其特征在于，

进一步包括，参照波形分割单元，根据上述规定的时空分辨率，以在时间上允许重叠的方式，分割上述参照波形，来制作上述多个局部参照波形。

9、如权利要求8所述的混合声音分离装置，其特征在于，

上述参照波形分割单元，以具有多个时空分辨率的方式，分割上述参照波形，来制作上述多个局部参照波形。

10、如权利要求8所述的混合声音分离装置，其特征在于，

进一步包括，时空分辨率输入接受单元，接受时空分辨率的输入；

上述参照波形分割单元，根据输入后的上述时空分辨率，分割上述参照波形，来制作上述多个局部参照波形。

11、如权利要求1所述的混合声音分离装置，其特征在于，

进一步包括，参照波形分割单元，根据上述规定的时空分辨率，以在时间上不重叠的方式，分割上述参照波形，来制作上述多个局部参照波形。

12、一种频率分析装置，使用用于分析规定的频率的参照波形，对分析波形进行频率分析，其特征在于，

局部频率信息制作单元，根据具有规定的时空分辨率的多个局部参照波形和上述分析波形，求出与上述局部参照波形相对应的多个局部频率信息，该多个局部参照波形构成上述参照波形的一部分，该局部频率信息至少包括上述规定的频率的振幅频谱及相位频谱的任一个；

分析波形频率特征量抽出单元，将由上述局部频率信息制作单元所求出的上述多个局部频率信息编成组，根据该组和上述分析波形的频率信息，并根据规定的频率分辨率，抽出上述分析波形中包含的频率特征量。

13、一种局部频率信息制作装置，使用用于分析规定的频率的参照波形，制作用于对分析波形进行频率分析的频率信息，其特征在于，包括：

局部频率信息制作单元，根据具有规定的时空分辨率的多个局部参照波形和上述分析波形，求出与上述局部参照波形相对应的多个局部频率信息，该多个局部参照波形构成上述参照波形的一部分，该局部频率信息至少包括上述规定的频率的振幅频谱及相位频谱的任一个；

存储单元，将上述多个局部频率信息编成组，并存储到规定的存储装置。

14、一种频率特征量分析装置，使用用于分析规定的频率的参照波形，对分析波形进行频率分析，其特征在于，

获得单元，根据具有规定的时空分辨率的多个局部参照波形和上述分析波形，获得与上述局部参照波形相对应的多个局部频率信息，该多个局部参照波形构成上述参照波形的一部分，该局部频率信息至少包括上述规定的频率的振幅频谱及相位频谱的任一个；

分析波形频率特征量抽出单元，将由上述获得单元所获得的上述多个局部频率信息编成组，根据该组和上述分析波形的频率信息，并根据规定的频率分辨率，抽出上述分析波形中包含的频率特征量。

15、如权利要求14所述的频率特征量分析装置，其特征在于，

进一步包括，频率分辨率输入接受单元，接受频率分辨率的输入；

上述分析波形频率特征量抽出单元，根据所输入的上述频率分辨率，决定上述多个局部频率信息的组的结构。

16、一种混合声音分离方法，从由多个声音构成的混合声音中分离特定的声音，其特征在于，包括：

局部频率信息制作步骤，根据具有规定的时空分辨率的多个局部参照波形和上述混合声音的波形即分析波形，求出与上述局部参照波形相对应的多个局部频率信息，该多个局部参照波形构成用于分析规定的频率的参照波形的一部分，该局部频率信息至少包括上述规定的频率的振幅频谱及相位频谱的任一个；

特定声音频率特征量抽出步骤，将上述多个局部频率信息编成组，在该组和针对事先设定的特定的声音的频率信息的组之间进行模式匹配，根据该模式匹配的结果，抽出上述多个局部频率信息的组；以及

声音信号制作步骤，根据由上述特定声音频率特征量抽出步骤所抽出的上述多个局部频率信息的组，制作上述特定的声音的信号。

17、一种程序，从由多个声音构成的混合声音中分离特定的声音，其特征在于，使计算机执行以下步骤：

局部频率信息制作步骤，根据具有规定的时空分辨率的多个局部参照波形和上述混合声音的波形即分析波形，求出与上述局部参照波形相对应的多个局部频率信息，该多个局部参照波形构成用于分析规定的频率的参照波形的一部分，该局部频率信息至少包括上述规定的频率的振幅频谱及相位频谱的任一个；

特定声音频率特征量抽出步骤，将上述多个局部频率信息编成组，在该组和针对事先设定的特定的声音的频率信息的组之间进行模式匹配，根据该模式匹配的结果，抽出上述多个局部频率信息的组；以及

声音信号制作步骤，根据由上述特定声音频率特征量抽出步骤所抽出的上述多个局部频率信息的组，制作上述特定的声音的信号。

Images