CN101762806A - 声源定位方法和装置 - Google Patents

Abstract

本发明涉及一种声源定位方法和装置，方法包括：采集声源时域信号；将所述时域信号转换为频域信号；根据所述频域信号确定频率的空间功率谱；根据所述空间功率谱确定频率的空间功率概率。装置包括：采集单元，用于采集声源时域信号；转换单元，用于将所述时域信号转换为频域信号；功率确定单元，用于根据所述频域信号确定频率的空间功率谱；概率确定单元，用于根据所述空间功率谱确定频率的空间功率概率分布；定位单元，用于根据空间概率分布确定概率最大的空间位置。本发明运用空间功率概率分布确定声源，可以提高声源阵列在噪声、混响等环境下的定位准确性。

Description

声源定位方法和装置

技术领域

本发明涉及多媒体通信领域的音频处理技术，特别涉及一种声源定位方法。

背景技术

声源定位技术指的是估计除声源所在的位置。声源定位技术有着广泛的应用，例如在视频会议系统中，可采样声源定位技术估计出说话人所在的位置，然后控制摄像机镜头指向说话人所在的位置，实行声控切换功能。声源定位技术也可以应用到监控、语音增强等领域。

下面对现有的SRP(steered response power)以及SRP-PHAT(phasetrans form)声源定位技术进行介绍。

如图3所示，l^ps对应声源，l₁和l₂对应两个麦克风，如麦克风。从声源l^ps到两个麦克风l₁和l₂的时延分别用TOF(l^ps，l₁)和TOF(l^ps，l₁)表示。两个麦克风之间收到的信号分别为x₁(t)和x₂(t)，则x₁(t+TOF(l^ps，l₁))∝x₂(t+TOF(l^ps，l₂))，其中：

$\mathrm{TOF}(l^{\mathrm{ps}},l_m)=\frac{\left|\right|l^{\mathrm{ps}}-l_m\left|\right|}{c}\·f_s,$ fs是采样频率，c是声速。

同时，对应的两个麦克风信号之间的时延τ有如下的定义，当τ＝TOF(l^ps，l₁)-TOF(l^ps，l₂)时，x₁(t)和x₂(t)的时域互相关函数g(x₁，x₂)具有最大值，g(x₁，x₂)＝∫_Rx₁(t)·x₂(t+τ)dε。 

对于任一麦克风对q，它们的位置对应(l_aq，l_bq)，声源l^ps到达麦克风对q的理论到达时延差(TDOA，Time-difference of arrival)为

$t_q^{\mathrm{th}}\left(l^{\mathrm{ps}}\right)\stackrel{\mathrm{def}}{=}\mathrm{TOF}(l^{\mathrm{ps}},l_{\mathrm{aq}})-\mathrm{TOF}(l^{\mathrm{ps}},l_{\mathrm{bq}}).$

SRP方法通过估计空间上的功率谱分布，找出功率最大的空间位置，该位置即为声源的位置。SRP最基本的公式如下：

${l^t}_{\mathrm{PS}}=\underset{l}{\mathrm{MAX}}\left(\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{P}_{\mathrm{SRP}}(k,l,x_1\left(t\right),...,x_{\mathrm{Nm}}\left(t\right))\right)---\left(1\right)$

$=\underset{l}{\mathrm{MAX}}\left(\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{\left(x_{\mathrm{ds}}(t-n,l)\right)}^2\right)$

其中，在l位置的声源被各个麦克风拾取后，在时间上对齐并累加的和信号为 $x_{\mathrm{ds}}(t,l)\stackrel{\mathrm{def}}{=}{x}_1\left(t\right)+\underset{m=2}{\overset{N_m}{\mathrm{\Σ}}}x(t+\mathrm{TOF}(l,l_m))-\mathrm{TOF}(l,l_1).$

由于受到不同声源之间的信号幅度、以及不同频率成分大小的影响，采用上面方法的效果并不好。因此现有公开文献中对该基本方法进行了改进，改进的方法是将各个声源采集的时域信号变换到频域，然后将各个频谱的幅度进行归一化，这样可以消除各个频谱幅度大小不一致的影响，该改进的算法在现有文献中称之为SRP-PHAT法，下面对该方法进行描述。

对采集到的t时刻开始的2N_F个时域信号X^(t)进行FFT变换，得到

$X^{\left(t\right)}\stackrel{\mathrm{def}}{=}{[X^{\left(t\right)}\left(1\right),\·\·\·,X^{\left(t\right)}\left(k\right),\·\·\·,X^{\left(t\right)}\left(2N_F\right)]}^T$

则公式(1)可以变换为：

${l^t}_{\mathrm{PS}}=\underset{l}{\mathrm{MAX}}\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{P}_{\mathrm{SRP}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)\right)$

$=\underset{l}{\mathrm{MAX}}\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{|X_1^t\left(k\right)+\underset{m=2}{\overset{N_m}{\mathrm{\Σ}}}{X}_m^t\left(k\right)\×\exp (j\×u_m)|}^2\right)---\left(2\right)$

$u_m=\frac{\mathrm{\π}\×k}{N}\×(\mathrm{TOF}(l,l_m)-\mathrm{TOF}(l,l_1))$

对公式(2)各个频率成分的幅度进行归一化，则得到SRP-PHAT法的计算公式：

${l^t}_{\mathrm{PS}}=\underset{l}{\mathrm{MAX}}\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{P}_{\mathrm{SRP}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)\right)$

$=\underset{l}{\mathrm{MAX}}\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{|\frac{X_1^t\left(k\right)}{{|X}_1^t\left(k\right)|}+\underset{m=2}{\overset{N_m}{\mathrm{\Σ}}}\frac{X_m^t\left(k\right)}{\left|X_m^t\left(k\right)\right|}*\exp (j*u_m)|}^2\right)---\left(3\right)$

上述SRP和SRP-PHAT法实际上都是在声源阵列周围的空间中放置多个预定点，然后计算各个预定点的功率值或修正的功率值，其最大值处所在位置即为声源所在位置。

但是在实际应用环境中，声源定位的准确性受到环境噪声、干扰声、混响等因素的影响较大，SRP和SRP-PHAT法均无法有效克服。

发明内容

本发明的目的是提供一种更加稳健的声源定位方法和装置，用以克服现有技术中的声源定位的准确性易受到环境噪声等因素干扰的影响。

本发明一个实施例提供一种声源定位方法，包括：采集声源时域信号；将所述时域信号转换为频域信号；根据所述频域信号确定频率的空间功率谱；根据所述空间功率谱确定频率的空间功率概率；根据空间概率分布确定概率最大的空间位置，作为声源位置。

本发明的另一个实施例提供一种生源定位装置，包括：采集单元，用于采集声源时域信号；转换单元，用于将所述时域信号转换为频域信号；功率确定单元，用于根据所述频域信号确定频率的空间功率谱；概率确定单元，用于根据所述空间功率谱确定频率的空间功率概率分布；定位单元，用于根据空间概率分布确定概率最大的空间位置。

本发明的实施例运用空间功率概率分布确定声源，可以提高声源阵列在噪声、混响等环境下的定位准确性。

附图说明

图1是本发明的声源定位方法的流程图；

图2是本发明的声源定位装置的结构示意图；

图3是现有声源定位方法的说明图。

具体实施方式

为使本发明的目的、技术方案和优点更加清晰易懂，下面结合附图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

实施例一

本实施例提供一种生源定位方法。如图1所示，该方法包括：

步骤101：采集声源时域信号；

在该步骤中，可以通过多个麦克风采集声源的时域信号x₁，x₂，…，x_Nm。

步骤102：将所述时域信号转换为频域信号；

在该步骤中，将多个麦克风采集的时域信号为x₁，x₂，…，X_Nm转换为频域信号为X₁，X₂，…，X_Nm。时域信号到频域信号的变换方法通常傅里叶变换(FFT)，也可以采用其他常用变换，例如余弦变换(DCT)。

步骤103：根据所述频域信号确定频率的空间功率谱；

在该步骤中，根据下式确定频率的空间功率谱，

$P_{\mathrm{SRP}-\mathrm{PHAT}}(k,l,X_1^t,...{,X}_{\mathrm{Nm}}^t)=\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{|\frac{X_1^t\left(k\right)}{\left|X_1^t\left(k\right)\right|}+\underset{m=2}{\overset{N_m}{\mathrm{\Σ}}}\frac{X_m^t\left(k\right)}{{|X}_m^t\left(k\right)|}*\exp (j*u_m)|}^2.$

步骤104：根据所述空间功率谱确定频率的空间功率概率分布；

在该步骤中，先确定单个频率的空间功率概率分布，然后再确定多个频率的空间功率概率分布。对于某个频率来说，其功率在空间上呈一定的分布，不同的频率分布差别较大，很显然不同分布的频率对定位的贡献是不一样。可以根据下面的公式确定单个频率的空间功率概率分布，

${\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)=\frac{P_{\mathrm{SRP}-\mathrm{PHAT}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)}{\underset{l_0}{\mathrm{\Σ}}{P}_{\mathrm{SRP}-\mathrm{PHAT}}(k,l_0,X_1^t,...,X_{\mathrm{Nm}}^t)}$

其中，

表示第k个频率l位置上出现声源的概率。

将各单个频率的空间功率概率分布求和得到多个概率的空间功率分布。或者，将各单个频率的空间功率概率分布加权求和得到多个频率的空间功率分布，各单个频率的空间功率概率分布的权重随频率受噪音干扰影响的程度增大而减小。具体可以根据下面的公式计算多个频率的空间功率概率分布，

${\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^t,...,X_{\mathrm{Nm}}^t)=\underset{k=2}{\overset{N_F+1}{\mathrm{\Σ}}}{w}_k{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)$

其中，w_k是各单个频率的空间功率概率分布的权重，随单个频率的信号幅值增大而增大。

步骤105：根据空间概率分布确定概率最大的空间位置。

在该步骤中，可以根据下面的公式按当前帧确定概率最大的空间位置，

$l_{\mathrm{PS}}^t=\underset{l}{\mathrm{MAX}}\left({\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^t,...,X_{\mathrm{Nm}}^t)\right).$

或者，根据下面的公式按多帧确定概率最大的空间位置，

$l_{\mathrm{PS}}^t=\underset{l}{\mathrm{MAX}}\left(\begin{array}{c}{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^t,...,X_{\mathrm{Nm}}^t)\\ +{\mathrm{\α}}_1{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^{t-\mathrm{\Δt}},...,X_{\mathrm{Nm}}^{t-\mathrm{\Δt}})\\ +{\mathrm{\α}}_T{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^{t-\mathrm{\Δt}*T},...,X_{\mathrm{Nm}}^{t-\mathrm{\Δt}*T})\end{array},...,\right)$

其中，

是当前帧的频率的空间功率概率分布，是前一帧的频率的空间功率概率分布，

是前T帧的频率的空间功率概率分布，α₁为前一帧的衰减系数，α_T是前T帧的衰减系数。

本发明实施例依据某个频率在某个空间位置呈现尖锐的概率分布，则在该位置出现音源的概率较大，反之则出现的概率较小的现象，对现有的声源定位方法进行改进，从而减小了环境噪声、干扰声、混响等因素对定位准确性的影响，提高了定位的准确性。

实施例二

本实施例提供一种声源定位装置。如图2所示，该装置200包括：

采集单元201，用于采集声源时域信号；

转换单元202，用于将所述时域信号转换为频域信号；

功率确定单元203，用于根据所述频域信号的确定频率的空间功率谱；

概率确定单元204，用于根据所述空间功率谱确定频率的空间功率概率分布；

定位单元205，用于根据空间概率分布确定概率最大的空间位置。

采集单元201，如多个麦克风，采集声源的时域信号x₁，x₂，…，x_Nm。转换单元202，如逻辑电路，将多个麦克风采集的时域信号为x₁，x₂，…，x_Nm转换为频域信号为X₁，X₂，…，X_Nm。时域信号到频域信号的变换方法通常傅里叶变换(FFT)，也可以采用其他常用变换(请举例)。功率确定单元203根据下面公式将频域信号X₁，X₂，…，X_Nm确定频率的空间功率谱 $P_{\mathrm{SRP}-\mathrm{PHAT}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)=\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{|\frac{X_1^t\left(k\right)}{{|X}_1^t\left(k\right)|}+\underset{m=2}{\overset{N_m}{\mathrm{\Σ}}}\frac{X_m^t\left(k\right)}{\left|X_m^t\left(k\right)\right|}*\exp (j*u_m)|}^2.$ 概率确定单元204包括单频率概率确定模块214和多频率概率确定模块224，在根据所述空间功率谱确定频率的空间功率概率分布市，先由单频率概率确定模块214确定单个频率的空间功率概率分布，再由多频率概率确定模块224确定多个频率的空间功率概率分布。单频率概率确定模块214根据下面的公式确定单个频率的空间功率概率分布，

${\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)=\frac{P_{\mathrm{SRP}-\mathrm{PHAT}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)}{\underset{l_0}{\mathrm{\Σ}}{P}_{\mathrm{SRP}-\mathrm{PHAT}}(k,l_0,X_1^t,...,X_{\mathrm{Nm}}^t)}$

其中，

表示第k个频率l位置上出现声源的概率。

多频率概率确定模块224可以将各单个频率的空间功率概率分布求和得到多个概率的空间功率分布。或者，多频率概率确定模块224可以将各单个频率的空间功率概率分布加权求和得到多个频率的空间功率分布，各单个频率的空间功率概率分布的权重随频率受噪音干扰影响的程度增大而减小。多频率概率确定模块224具体可以根据下面的公式计算多个频率的空间功率概率分布，

${\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^t,...,X_{\mathrm{Nm}}^t)=\underset{k=2}{\overset{N_F+1}{\mathrm{\Σ}}}{w}_k{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)$

其中，w_k是各单个频率的空间功率概率分布的权重，随单个频率的信号幅值增大而增大。

最后，定位单元205根据下面的公式按当前帧确定概率最大的空间位置，

${l^t}_{\mathrm{PS}}=\underset{l}{\mathrm{MAX}}\left({\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^t,...,X_{\mathrm{Nm}}^t)\right).$

或者，定位单元205根据下面的公式按多帧确定概率最大的空间位置，

${l^t}_{\mathrm{PS}}=\underset{l}{\mathrm{MAX}}\left(\begin{array}{c}{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^t,...,X_{\mathrm{Nm}}^t)\\ +{\mathrm{\α}}_1{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^{t-\mathrm{\Δt}},...,X_{\mathrm{Nm}}^{t-\mathrm{\Δt}}),...,\\ +{\mathrm{\α}}_T{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^{t-\mathrm{\Δt}*T},...,X_{\mathrm{Nm}}^{t-\mathrm{\Δt}*T})\end{array}\right)$

其中，是当前帧的频率的空间功率概率分布，

是前一帧的频率的空间功率概率分布，是前T帧的频率的空间功率概率分布，α₁为前一帧的衰减系数，α_T是前T帧的衰减系数。

本发明实施例依据某个频率在某个空间位置呈现尖锐的概率分布，则在该位置出现音源的概率较大，反之则出现的概率较小的现象，对现有的声源定位方法进行改进，从而减小了环境噪声、干扰声、混响等因素对定位准确性的影响，提高了定位的准确性。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种声源定位方法，其特征在于，该方法包括：

采集声源时域信号；

将所述时域信号转换为频域信号；

根据所述频域信号确定频率的空间功率谱；

根据所述空间功率谱确定频率的空间功率概率分布；

根据空间概率分布确定概率最大的空间位置，以概率最大的空间位置作为声源位置。

2.根据权利要求1所述的方法，其特征在于，根据所述空间功率谱确定频率的空间功率概率分布的步骤包括：

确定单个频率的空间功率概率分布；

确定多个频率的空间功率概率分布。

3.根据权利要求2所述的方法，其特征在于：根据下面的公式确定单个频率的空间功率概率分布，

${\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)=\frac{P_{\mathrm{SRP}-\mathrm{PHAT}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)}{\underset{l_0}{\mathrm{\Σ}}{P}_{\mathrm{SRP}-\mathrm{PHAT}}(k,l_0,X_1^t,...,X_{\mathrm{Nm}}^t)}$

其中，

(k，l，X₁ ^t，...，X_Nm ^t)表示第k个频率l位置上出现声源的概率， $P_{\mathrm{SRP}-\mathrm{PHAT}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)=\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{|\frac{X_1^t\left(k\right)}{\left|X_1^t\left(k\right)\right|}+\underset{m=2}{\overset{N_M}{\mathrm{\Σ}}}\frac{X_m^t\left(k\right)}{\left|X_m^t\left(k\right)\right|}*\exp (j*u_m)|}^2,$ 表示k个频率l位置上的空间功率谱。

4.根据权利要求2所述的方法，其特征在于：将各单个频率的空间功率概率分布求和得到多个概率的空间功率分布。

5.根据权利要求2所述的方法，其特征在于：将各单个频率的空间功率概率分布加权求和得到多个频率的空间功率分布，各单个频率的空间功率概率分布的权重随频率受噪音干扰影响的程度增大而减小。

6.根据权利要求2所述的方法，其特征在于：根据下面的公式计算多个频率的空间功率概率分布，

${\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^t,...,X_{\mathrm{Nm}}^t)=\underset{k=2}{\overset{N_F+1}{\mathrm{\Σ}}}\underset{l}{w_k{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(k,l,X_1^t,...,X_{\mathrm{Nm}}^t)}$

其中，w_k是各单个频率的空间功率概率分布的权重。

7.根据权利要求5或6所述的方法，其特征在于：所述单个频率的空间功率概率分布的权重随单个频率的信号幅值增大而增大。

8.根据权利要求1所述的方法，其特征在于：根据下面的公式按当前帧确定概率最大的空间位置，

$l_{\mathrm{PS}}^t=\underset{l}{\mathrm{MAX}}\left({\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^t,\·\·\·,X_{\mathrm{Nm}}^t)\right).$

9.根据权利要求1所述的方法，其特征在于：根据下面的公式按多帧确定概率最大的空间位置，

$l_{\mathrm{PS}}^t=\underset{l}{\mathrm{MAX}}\left(\begin{array}{c}{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^t,...,X_{\mathrm{Nm}}^t)\\ +{\mathrm{\α}}_1{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^{t-\mathrm{\Δt}},...,X_{\mathrm{Nm}}^{t-\mathrm{\Δt}}),...,\\ +{\mathrm{\α}}_T{\mathrm{\ρ}}_{P_{\mathrm{SRP}-\mathrm{PHAT}}}(\mathrm{ALL},l,X_1^{t-\mathrm{\Δt}*T},...,X_{\mathrm{Nm}}^{t-\mathrm{\Δt}*T})\end{array}\right)$

其中，

(ALL，l，X₁ ^t，...，X_Nm ^t)是当前帧的频率的空间功率概率分布，(ALL，l，X₁ ^t-Δt，...，X_Nm ^t-Δt)是前一帧的频率的空间功率概率分布，

(ALL，l，X₁ ^t-Δt*T，...，X_Nm ^t-Δt*T)是前T帧的频率的空间功率概率分布，α₁为前一帧的衰减系数，α_T是前T帧的衰减系数。

10.一种声源定位装置，其特征在于，该装置包括：

采集单元，用于采集声源时域信号；

转换单元，用于将所述时域信号转换为频域信号；

功率确定单元，用于根据所述频域信号确定频率的空间功率谱；

概率确定单元，用于根据所述空间功率谱确定频率的空间功率概率分布；

定位单元，用于根据空间概率分布确定概率最大的空间位置，以概率最大的空间位置作为声源位置。

11.根据权利要求10所述的装置，其特征在于，所述概率确定单元包括：

单频率概率确定模块，用于确定单个频率的空间功率概率分布；

多频率概率确定模块，用于确定多个频率的空间功率概率分布。

Images