CN109239665B - 一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法和装置 - Google Patents

Abstract

本发明公开一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法和装置。本方法采用一种时频域加权机制选择单声源主导时频带，避免了多声源定位中出现的声源相互影响的问题，一定程度上抑制混响噪声影响；利用空间相关矩阵主特征向量包含的声源方向信息，构建局部信号子空间相似度谱，可以有效地反映声源的位置信息；采用局部谱分配方法综合多个时频带得到半局部谱，并采用粒子滤波器考虑帧间连续信息对声源进行跟踪，进一步提升了连续定位的准确性。本发明的优势在于为实际应用中多移动声源同时发声的声学场景提供了一种有效的声源定位思路。

Description

一种基于信号子空间相似度谱和粒子滤波器的多声源连续定 位方法和装置

技术领域

本发明属于机器人听觉麦克风阵列信号处理领域，具体涉及一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法和装置。

背景技术

机器人听觉系统是一种自然、方便、有效、智能的机器人与外界系统交互的方式。声音空间方位信息的辨识对于机器人至关重要，机器人通过辨识声音方位可以获取视野之外的、更加全面的环境信息，从而对周围环境信息做出智能的判断、分析与处理。基于麦克风阵列的机器人听觉声源定位是指利用搭载在机器人上或者外部设备上的麦克风阵列实时定位出声源的相对位置。该技术涉及到人工智能、信号处理、听觉生理学和认知科学等多个学科，在移动机器人、智能监控、视频会议、虚拟现实等领域中有着重要的应用。该技术受到了国内外多所知名机构的广泛关注，例如法国国家信息与自动化研究所(INRIA)、伦敦玛丽王后大学智能传感中心(CIS)、北京大学、中国科学院自动化所、中国科学院声学所等研究机构。

声源定位技术解决了利用麦克风音频数据来估计声源位置信息的问题。由于它直接接收来自麦克风的数据，最终提供一个声源位置估计值，因此可以将声源定位描述为一个端到端的技术。它通常包含两个数据处理阶段，首先从输入信号中提取与位置相关的特征，然后建立特征到位置的映射从而依据位置特征获取声源的位置信息。声源定位技术研究可以大致分为：到达时间差技术(Time difference of arrival,TDOA)、基于最大输出功率的可控波束形成技术(Steered beamforming)、高分辨率谱估计技术(High resolutionspectral estimation)等。基于到达时间差的定位技术是一种两步定位方法，首先估计出声源信号到达各个麦克风之间的时间延迟，然后利用几何定位方法求出声源位置。该方法计算量小，可实时实现。但是，时延估计阶段造成的误差会进一步传递到下一步的位置估计从而产生误差积累；为了取得较高的分辨率，往往对信号采样率要求较高；并且该方法比较适合单源的定位，对于多个同时发声的声源较难提取多个传感器信号对之间的时间差容易产生混淆。波束形成技术对麦克风接受到的声源信号滤波并加权求和形成波束，按照某种搜索策略全局搜索可能的声源位置来引导波束，波束输出功率最大的位置即为声源位置。该方法的定位性能取决于麦克风阵列方向图的主瓣和旁瓣的分布，通常要求大量的麦克风以取得较好的方向图；传统搜索算法的初始搜索点不易选定，容易陷入局部最小点，遍历式的搜索方法的运算量极大。高分辨率谱估计技术一种超分辨率的估计技术，其空间分辨率不会受到信号采样频率的限制，并且在一定条件下可以实现任意定位精度；但其易受空间声学噪声的干扰，需要对整个空间进行搜索来确定声源的位置，计算复杂度偏高。

尽管机器人听觉声源定位技术的研究已经取得了很大的进展，但是该技术在复杂的实际应用场景下仍然面临着很多挑战，比如声学干扰(噪声、混响等)，多声源同时发声，声源移动等。因此，这对实用化声源定位方法提出了要求。

发明内容

本发明针对实际应用中多移动声源同时发声的声学场景，提出了一种基于信号子空间相似度谱和自适应粒子滤波器的多声源连续定位方法和装置。

本发明采用的技术方案如下：

一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法，包括以下步骤：

1)将输入的多路麦克风信号变换到时频域，在时频域估计空间相关矩阵；

2)利用空间相关矩阵的特征值所包含的声源能量信息，采用时频域加权机制选择单声源主导的时频带，从而将多声源定位模型简化为时频域的单声源模型；

3)在步骤2)得到的单声源主导的时频带中，利用空间相关矩阵的主特征向量包含的声源方向信息，构建局部信号子空间相似度谱，用以反应来自不同声源候选方向的可能性；

4)将从属于不同声源的局部信号子空间相似度谱进行聚类，构建半局部信号子空间相似度谱并估计声源的到达方向(Direction of arrival,DOA)；

5)将每个声源的半局部信号子空间相似度谱归一化并作为伪似然函数，依据不同时间帧间声源空间位置连续的特征采用粒子滤波方法对声源进行跟踪。

进一步地，步骤2)所述时频域加权机制为：当空间相关矩阵的最大特征值和次最大特征值的比大于预先设定的阈值时，该空间相关矩阵对应的时频带的权重设置为1，否则为0。

进一步地，步骤3)根据麦克风阵列的几何关系，得到指向不同声源候选方向的方向向量，并依据其与空间相关矩阵主特征向量的相关性，构建局部信号子空间相似度谱。

进一步地，步骤4)采用迭代的局部谱分配方法进行所述聚类。该局部谱分配方法需要将所有单声源主导时频带的局部信号子空间相似度谱进行加和，找到峰值用于初始化多声源的DOA值。该方法的迭代过程主要包含两个步骤：a)找到各个单声源主导的时频带的主导声源，将从属于同一主导声源的时频带聚类；b)对于每个主导声源，将相应时频带的局部信号子空间相似度谱进行加和得到半局部信号子空间相似度谱，并找到峰值用于重新估计多声源的DOA值。

进一步地，步骤5)涉及到一种基于半局部信号子空间相似度谱的粒子滤波声源跟踪方法。该方法将多声源估计的DOA分配至对应的粒子滤波器，并将DOA对应的归一化半局部信号子空间相似度谱作为粒子滤波器的伪似然函数以实现粒子权重更新。该方法过程主要包含三个步骤：a)根据预先定义好的运动模型和前一时刻粒子的状态，对当前时刻的粒子状态进行预测；b)将归一化的半局部信号子空间相似度谱作为伪似然函数，该函数用于更新粒子的权重；c)根据粒子的权重和粒子状态，进行归一化加权求和以获得最终的声源DOA估计。

一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位装置，其包括：

空间相关矩阵估计模块，负责将输入的多路麦克风信号变换到时频域，在时频域估计空间相关矩阵；

单声源主导时频带选择模块，负责利用空间相关矩阵的特征值所包含的声源能量信息，采用时频域加权机制选择单声源主导的时频带，从而将多声源定位模型简化为时频域的单声源模型；

局部谱构建模块，负责在单声源主导的时频带中，利用空间相关矩阵的主特征向量包含的声源方向信息，构建局部信号子空间相似度谱，用以反应来自不同声源候选方向的可能性；

半局部谱构建模块，负责将从属于不同声源的局部信号子空间相似度谱进行聚类，构建半局部信号子空间相似度谱并估计其到达方向；

粒子滤波声源跟踪模块，负责将每个声源的半局部信号子空间相似度谱归一化并作为伪似然函数，依据不同时间帧间声源空间位置连续的特征采用粒子滤波方法对声源进行跟踪。

本发明通过选择单声源主导的时频带避免了多声源定位中出现的声源相互影响的问题，一定程度上抑制混响噪声影响；通过构建信号子空间相似度谱可以有效地反映声源的位置信息；采用局部谱分配方法综合多个时频带得到半局部信号子空间相似度谱，并采用粒子滤波器考虑帧间连续信息对声源进行跟踪，进一步提升了连续定位的准确性。

附图说明

图1.本发明方法的总体流程图。

图2.理论上不同频带的局部信号子空间相似度谱。

图3.粒子滤波前后估计得到的DOA。

具体实施方式

下面结合具体实施例和附图，对本发明做进一步详细说明。

参考图1，是本发明方法的流程图，主要包括以下步骤：

步骤1：空间相关矩阵估计

首先对麦克风阵列时域信号进行加窗分帧并进行短时傅里叶变换变换到频域，然后在时频带利用N_f个时频点对时频带(n,f)中的空间相关矩阵进行估计：

其中x(n,ω)表示麦克风信号，(n,ω)表示时频点索引，n表示时间帧的索引，f表示频带的索引，ω表示频点的索引，(·)^H表示向量的共轭转置。

步骤2：单声源主导频带选择

对空间相关矩阵进行特征值分解得到特征值{λ_m(n,f)}和特征向量{q_m(n,f)}。由于不同特征值可以反映不同声源及噪声信号的能量，据此得到时频域权重用于选出单声源。时频域权重定义为

其中λ₁(n,f)表示最大特征值，λ₂(n,f)表示次最大特征值，C_th表示预设的特征值比值的阈值。

步骤3：信号子空间相似谱构建

依据麦克风阵列几何结构和与不同角度声源的相对位置，计算得到方向向量e(f,θ)，其中θ表示候选的DOA，即候选的声源方向与0度方向间的角度。利用方向空间相关矩阵主特征向量与指向真实声源方向的方向向量之间的相关性，在单声源主导时频带构建信号子空间相似度谱：

其中，q₁(n,f)表示主特征向量，σ为可调参数。

步骤4：半局部信号子空间相似度谱构建及DOA估计

采用一种迭代的局部谱分配方法来构建半局部信号子空间相似度谱并估计DOA。该方法需要初始的DOA值，将所有单声源主导时频带的局部信号子空间相似度谱进行加和，其峰值对应的DOA作为初始化DOA值：

其中

表示局部信号子空间相似度谱中的峰值对应的DOA值。

该方法迭代过程主要包含两个步骤。第一步为时频带聚类分配过程，首先要找到各个单声源主导的时频带的主导声源：

然后将从属于同一主导声源的时频带聚类，从属于声源k的频带权重计算如下，其中S_th表示预设的子空间相似度阈值。

第二步为多声源DOA重新估计过程，首先对于每个主导声源，将相应时频带的局部信号子空间相似度谱进行加和得到半局部谱：

然后找到半局部谱的峰值，峰值对应的DOA即为各声源的DOA重新估计值：

当相邻两次迭代之间的本局部谱峰值加和

变化值小于预先定义的阈值时，迭代停止。

步骤5：粒子滤波声源跟踪

该步骤中，为每一个声源初始化一个粒子滤波器以实现所有声源的同时跟踪。对于声源k，对应的粒子滤波器记做

其中z表述粒子的索引，其范围为{1,…,Z}，

代表粒子状态，其包含粒子在x，y轴上的坐标

和速度信息

代表对应粒子的权重。该方法过程主要包含三个步骤。第一步根据t-1时刻粒子状态预测t时刻粒子状态：

其中T{·}表示预定义的运动模型，此处采用Langevin模型，v(t)表示高斯白噪声。

第二步为权重更新，将归一化后的半局部信号子空间相似度谱作为伪似然函数，进而对应的粒子权重更新为：

其中

表示该粒子的角度信息，P_k(·)表示伪似然函数。

第三步，估计声源的DOA：

本发明另一实施例提供一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位装置，其包括：

空间相关矩阵估计模块，负责将输入的多路麦克风信号变换到时频域，在时频域估计空间相关矩阵；

单声源主导时频带选择模块，负责利用空间相关矩阵的特征值所包含的声源能量信息，采用时频域加权机制选择单声源主导的时频带，从而将多声源定位模型简化为时频域的单声源模型；

局部谱构建模块，负责在单声源主导的时频带中，利用空间相关矩阵的主特征向量包含的声源方向信息，构建局部信号子空间相似度谱，用以反应来自不同声源候选方向的可能性；

半局部谱构建模块，负责将从属于不同声源的局部信号子空间相似度谱进行聚类，构建半局部信号子空间相似度谱并估计其到达方向；

粒子滤波声源跟踪模块，负责将每个声源的半局部信号子空间相似度谱归一化并作为伪似然函数，依据不同时间帧间声源空间位置连续的特征采用粒子滤波方法对声源进行跟踪。

图2展示了理论上不同频带的局部信号子空间相似度谱，在图(a)-(c)中σ分别设置为0.4，0.25，0.1。真实声源的DOA为180度。如图(a)、(b)所示，局部信号子空间相似度谱在真实声源DOA处呈现出一个主峰，在其它候选声源位置存在一些伪峰。这些伪峰会对声源的DOA估计造成混淆尤其是在复杂的噪声混响环境中。通过调整σ的值，局部信号子空间相似度谱中伪峰可以被抑制，如图(c)所示。

图3展示了粒子滤波前后估计得到的DOA。仿真环境中混响时间为200ms，信噪比为15dB。从图中可以看出经过粒子滤波后估计的到DOA值更加接近真实DOA值。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (8)

1.一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法，其步骤包括：

1)将输入的多路麦克风信号变换到时频域，在时频域估计空间相关矩阵；

2)利用空间相关矩阵的特征值所包含的声源能量信息，采用时频域加权机制选择单声源主导的时频带，从而将多声源定位模型简化为时频域的单声源模型；

3)在单声源主导的时频带中，利用空间相关矩阵的主特征向量包含的声源方向信息，构建局部信号子空间相似度谱，用以反应来自不同声源候选方向的可能性；

4)将从属于不同声源的局部信号子空间相似度谱进行聚类，构建半局部信号子空间相似度谱并估计其到达方向；

5)将每个声源的半局部信号子空间相似度谱归一化并作为伪似然函数，依据不同时间帧间声源空间位置连续的特征采用粒子滤波方法对声源进行跟踪；

其中，步骤3)利用空间相关矩阵的主特征向量与指向真实声源方向的方向向量之间的相关性，在单声源主导的时频带构建局部信号子空间相似度谱；

所述局部信号子空间相似度谱按如下公式进行计算：

其中，q₁(n,f)表示空间相关矩阵主特征向量，n表示时间帧的索引，f表示频带的索引，e(f,θ)表示指向方向θ的方向向量，σ为可调参数。

2.如权利要求1所述的方法，其特征在于，步骤4)采用局部谱分配方法进行所述聚类，所述局部谱分配方法的迭代过程包括以下步骤：

4-1)找到各个单声源主导的时频带的主导声源，将从属于同一主导声源的时频带聚类；

4-2)对于每个主导声源，将相应时频带的局部信号子空间相似度谱进行加和得到半局部谱，并找到峰值用于重新估计多声源的DOA值。

3.如权利要求2所述的方法，其特征在于，步骤4-1)按如下公式找到各个时频带的主导声源并对从属于同一主导声源的时频带聚类：

其中，k_d(n,f)表示各个时频带的主导声源的索引，

表示局部信号子空间相似度谱中的峰值对应的DOA值，W_B(n,f,k)表示从属于第k个声源的频带权重。

4.如权利要求3所述的方法，其特征在于，步骤4-2)按如下公式计算得到半局部信号子空间相似度谱并重新估计各声源DOA：

其中，W_TF(n,f)表示时频域权重。

5.如权利要求1所述的方法，其特征在于，步骤5)包括以下步骤：

5-1)利用预定义的运动模型对粒子状态进行预测；

5-2)将归一化的半局部信号子空间相似度谱作为伪似然函数更新粒子的权重；

5-3)根据粒子的权重和粒子状态，进行归一化加权求和以获得最终的声源DOA估计。

6.如权利要求5所述的方法，其特征在于，步骤5-1)按如下公式依据t-1时刻粒子状态预测t时刻粒子状态：

其中T{·}表示预定义的运动模型，此处采用Langevin模型，v(t)表示高斯白噪声。

7.如权利要求6所述的方法，其特征在于，步骤5-2)按如下公式进行权重更新，将归一化后的半局部信号子空间相似度谱作为伪似然函数，进而对应的粒子权重更新为：

其中

表示粒子的角度信息，P_k(·)表示伪似然函数；

然后步骤5-3)按如下公式估计声源的DOA：

8.一种采用权利要求1～7中任一权利要求所述方法的基于信号子空间相似度谱和粒子滤波器的多声源连续定位装置，其特征在于，包括：

空间相关矩阵估计模块，负责将输入的多路麦克风信号变换到时频域，在时频域估计空间相关矩阵；

单声源主导时频带选择模块，负责利用空间相关矩阵的特征值所包含的声源能量信息，采用时频域加权机制选择单声源主导的时频带，从而将多声源定位模型简化为时频域的单声源模型；

局部谱构建模块，负责在单声源主导的时频带中，利用空间相关矩阵的主特征向量包含的声源方向信息，构建局部信号子空间相似度谱，用以反应来自不同声源候选方向的可能性；

半局部谱构建模块，负责将从属于不同声源的局部信号子空间相似度谱进行聚类，构建半局部信号子空间相似度谱并估计其到达方向；

粒子滤波声源跟踪模块，负责将每个声源的半局部信号子空间相似度谱归一化并作为伪似然函数，依据不同时间帧间声源空间位置连续的特征采用粒子滤波方法对声源进行跟踪。

Images