CN109212480B - 一种基于分布式辅助粒子滤波的声源跟踪方法 - Google Patents
一种基于分布式辅助粒子滤波的声源跟踪方法 Download PDFInfo
- Publication number
- CN109212480B CN109212480B CN201811031156.0A CN201811031156A CN109212480B CN 109212480 B CN109212480 B CN 109212480B CN 201811031156 A CN201811031156 A CN 201811031156A CN 109212480 B CN109212480 B CN 109212480B
- Authority
- CN
- China
- Prior art keywords
- sound source
- calculating
- local
- node
- particle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/20—Position of source determined by a plurality of spaced direction-finders
Abstract
Description
技术领域
本发明涉及室内声源跟踪的技术领域,具体涉及一种基于分布式辅助粒子滤波的声源跟踪方法。
背景技术
基于麦克风阵列的声源定位和跟踪是音频信号处理领域一个基本而重要的研究课题。它是众多音频处理问题的基础,如语音增强、去噪、语音识别、语音分离等,在许多应用场合发挥着极其重要的作用,如智能语音识别、音视频会议系统、智能音箱、车载免提电话系统、移动机器人、助听设备和监控系统等。智能语音识别系统,尤其是远场语音识别,对音频输入信号的质量非常敏感。通常,可在语音识别系统前端采用声源定位和跟踪技术预先得到说话人的位置或方向信息,然后使麦克风阵列波束指向该说话人,放大该方向音频信号的同时衰减其它方向捕捉的信号,提高拾取音频信号的质量,进而提高后端的语音识别性能。
基于麦克风网络的声源定位和跟踪,主要利用空间中多个不同位置的麦克风对同一声源信号的感知差异来估计该声源的空间位置信息。麦克风网络是一种新型的麦克风阵列,传统的麦克风阵列通常具有固定且规则的阵列结构;此外,受智能设备尺寸限制,阵列可容纳的麦克风数目不多,空间覆盖范围有限,导致其在许多应用场合(如远场语音交互)的抗噪声和抗混响性能不够理想。相比之下麦克风网络的节点部署灵活,空间覆盖范围更大,具有更好的抗噪声和抗混响能力;每个节点都有独立的数据处理能力,且对通信链路故障具有一定的鲁棒性。基于以上特点,麦克风网络已经出现迅速成为国内外学者的研究热点。
目前,关于麦克风网络的声源定位和跟踪方法大体分为以下几类:一是传统的声源定位方法,即先将麦克风接收的音频信号转化为某个定位函数,然后通过定位函数的最大波峰进行声源定位。这类方法在噪声或混响不严重的情况下取得了良好效果;然而,当噪声或混响较大时,定位函数往往呈现多个伪峰(Spurious Peaks),这些伪峰甚至会将真正声源对应的波峰“淹没”,导致错误的位置估计;此外,当声源移动时,用于定位算法的观测数据十分有限,导致定位性能下降;二基于神经网络的声源定位方法,即通过数据训练利用神经网络构建特征观测和声源位置(或方向)的映射关系,进而实现声源定位。早期Nakano等采用人工神经网络(ANN)对声源的方向和位置进行估计,近年来,Takeda和Komatani等采用深度学习网络(DNN)进行声源定位。这类方法依赖于定位函数提取的特征观测作为神经网路的输入,当噪声或混响较大,或者声源移动时,由定位函数提取的特征观测往往并不可靠,导致神经网络的定位性能下降;三是集中式声源跟踪方法,对于移动声源,跟踪方法主要根据声源的运动特性采用递推算法估计其位置信息,在噪声和混响环境下往往比定位方法性能更好。这类方法需要将所有的节点的观测信息传送到融合中心,但融合中心的功耗在麦克风巨大网络下会急剧增加,并且对融合中心的依赖性太强,一旦融合中心发生故障,网络将瘫痪;四是分布式声源跟踪方法,相比集中式的跟踪方法,这类方法往往不需要融合中心,只需要阵列中邻域节点之间的局部通信,其对节点或链路失败具有很好的鲁棒性,且具有良好的可扩展性,因而非常适合于灵活智能的阵列或网络。田野等基于扩展卡尔曼滤波算法,结合室内声源跟踪问题的特点,提出了一种基于分布式扩展卡尔曼滤波的声源跟踪方法。Zhong等人结合扩展卡尔曼滤波以及粒子滤波算法,提出了一种基于分布式扩展卡尔曼粒子滤波的声源跟踪算法。本人曾根据室内声源跟踪问题的特点,结合边缘粒子滤波(MPF)以及辅助粒子滤波(APF)算法,提出了一种基于分布式边缘辅助粒子滤波的声源跟踪算法。
总体而言,基于麦克风网络的分布式声源跟踪方法是室内声源跟踪问题的研究热点,该研究对于解决当前许多音频应用,如智能语音交互(尤其是远场语音交互)的技术落地具有十分重要的意义。然而,目前基于麦克风网络的分布式声源跟踪方法的研究尚不成熟,现有成果或多或少存在一定不足。
发明内容
针对上述现有技术的不足,本发明提出一种基于分布式辅助粒子滤波的声源跟踪方法,该方法适用于一般的非线性、非高斯跟踪问题,仅仅需要相邻节点之间的局部通信,且具有良好的鲁棒性和可扩展性。
在本发明中,本发明提供了一种基于分布式辅助粒子滤波的声源跟踪方法,该方法主要包括以下步骤:
优选地,步骤S2具体包括以下步骤:
优选地,步骤S5具体包括以下步骤:
相对于现有技术,本发明具有以下优点:
本发明结合辅助粒子滤波算法和室内声源跟踪问题的特点,提出一种基于分布式辅助粒子滤波的声源跟踪框架,该方法适用于一般的非线性、非高斯跟踪问题,仅仅需要相邻节点之间的局部通信,且具有良好的鲁棒性和可扩展性。
附图说明
图1为本发明的具体实施步骤。
图2为本发明实施例的分布式麦克风网络的通信图。
图3为本发明实施例的麦克风分布和扬声器的运动轨迹图。
具体实施方式
下面结合具体实施例和附图对本发明作详细说明。虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
如图1所示,本发明的利用分布式辅助粒子滤波算法进行声源跟踪的方法包括以下步骤:首先,在每一个节点l计算广义互相关函数并且构造该节点的局部观测计算出k-1时刻的每一个粒子的辅助变量利用平均一致性算法计算对应的权重并进行归一化;根据归一化的权重对k-1时刻的粒子重采样得到通过声源的动态模型以及k-1时刻的粒子预测得出k时刻的粒子其次,对预测得到每一个粒子先利用局部观测计算器局部权重,然后利用平均一致性算法计算其全局权重并进行归一化;最后,根据粒子和权重计算出当前k时刻的声源位置。
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。
本实施例是基于如图2所示的分布式麦克风网络的通信图进行说明。具体的模拟设置为:仿真环境是大小为5m×5m×3m的典型会议室,其中共有L=12个随机分布的麦克风节点,每个节点包括一对麦克风,两个麦克风之间的距离为Dm=0.6m。各个麦克风的位置可以预先通过校准算法估计得到。目标声源的运动轨迹是一个从(0.9,2.65)m到(4.1,2.65)m的半圆弧,如图3所示。为简便起见,麦克风的位置以及声源的移动轨迹都在高度为z=1.5m的平面上。声音传播速度为c=343m/s。xk表示为在k时刻声源的状态向量。在本实施例中,原始无混响的语音信号是一段长度为4s、采样频率为fs=16kHz的单通道16bit的纯净女性英语发音。在模拟期间,语音信号沿着如图2所示的移动轨迹被分成K=120帧,帧长度为ΔT=32ms。目标声源和麦克风之间的房间脉冲响应采用Image模型生成。将原始无混响的语音信号先与其对应的房间脉冲信号进行卷积,然后加上不同强度的高斯白噪声,最终可得到受噪声和混响污染的麦克风接收音频信号。
进一步地,利用GCC函数的多个局部极值点构造局部观测局部观测由GCC函数的前Nn个最大峰值对应的时延组成,即其中,中的每一个元素称为节点l的TDOA候选值,且为节点l处可能的最大TDOA值,即和为节点l处包含的麦克风对与声源的距离,||·||为欧几里得范数。在本实施例中,Nn=4。
S2,计算出k-1时刻的每一个粒子的辅助变量及其权重其中,j=1,2,…,N。具体地说,先计算出辅助变量进一步地通过多假设模型计算出局部似然概率再对局部似然概率进行一致性迭代得到全局似然概率最后通过公式计算出权重并进行归一化,即
其中,为节点l处的最大可能到达时间差(TDOA),可由S1得出。qn为第n个TDOA候选值与声源相关联的先验概率,且为节点l处的TDOA的候选值,表示服从正态分布的随机向量在取值为处的概率密度,且表示状态对应的位置向量。在本实施例中,Nn=4,q0=0.25,qn=0.1825,观测标准偏差是σ=5×105。
进一步地,对局部似然概率进行平均一致性迭代得到似然概率平均一致性算法通常是以分布式方式计算平均值的方法。假设每个节点l∈v处的某个变量的初始值为il(0),并且其平均可以通过以下递归共识迭代逐渐实现,
特别地,ξll′采用的是Metropolis-Hastings加权,即
此一致性迭代算法仅仅需要临近节点的信息,而不需要全局信息,大大加大了算法的优化性。
1/N;重采样公式如下:
其中,ΔT=Nf/fs是两次连续位置之间的时间间隔,Nf和fs是采样帧长和采样频率。uk是具有零均值和四阶协方差矩阵的高斯过程噪声序列,它反映了声源运动的不确定性。a=e-βΔT,其中a是位置常数,b是速度常数,其中β是速率常数,是稳定速度常数。在本实施例中,Nf=512,β=10s-1,ΔT=32ms,fs=16kHz。
其中,n=1,2,…,Nn。qn为第n个TDOA候选者与真正声源相关联的先验概率,且为节点l处的TDOA的候选值,表示服从正态分布的随机向量在取值为处的概率密度,且 表示状态对应的位置向量。在本实例中,q0=0.25,qn=0.1825,σ=5×105。
其中,exp()和log()分别表示自然指数和自然对数运算。在本实例中,共执行Nt=10次一致性迭代。
Claims (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811031156.0A CN109212480B (zh) | 2018-09-05 | 2018-09-05 | 一种基于分布式辅助粒子滤波的声源跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811031156.0A CN109212480B (zh) | 2018-09-05 | 2018-09-05 | 一种基于分布式辅助粒子滤波的声源跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109212480A CN109212480A (zh) | 2019-01-15 |
CN109212480B true CN109212480B (zh) | 2020-07-28 |
Family
ID=64986310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811031156.0A Active CN109212480B (zh) | 2018-09-05 | 2018-09-05 | 一种基于分布式辅助粒子滤波的声源跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109212480B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101394546A (zh) * | 2007-09-17 | 2009-03-25 | 华为技术有限公司 | 视频目标轮廓跟踪方法及装置 |
CN101980044A (zh) * | 2010-01-22 | 2011-02-23 | 西安电子科技大学 | 未知测量噪声分布下的多目标跟踪方法 |
CN102257401A (zh) * | 2008-12-16 | 2011-11-23 | 皇家飞利浦电子股份有限公司 | 使用粒子滤波估计声源地点 |
CN105590021A (zh) * | 2015-11-06 | 2016-05-18 | 上海交通大学 | 基于麦克风阵列的动态数量声源跟踪方法 |
CN106875426A (zh) * | 2017-02-21 | 2017-06-20 | 中国科学院自动化研究所 | 基于相关粒子滤波的视觉跟踪方法及装置 |
CN107038714A (zh) * | 2017-04-17 | 2017-08-11 | 西安理工大学 | 多型视觉传感协同目标跟踪方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060245601A1 (en) * | 2005-04-27 | 2006-11-02 | Francois Michaud | Robust localization and tracking of simultaneously moving sound sources using beamforming and particle filtering |
WO2007129731A1 (ja) * | 2006-05-10 | 2007-11-15 | Honda Motor Co., Ltd. | 音源追跡システム、方法、およびロボット |
-
2018
- 2018-09-05 CN CN201811031156.0A patent/CN109212480B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101394546A (zh) * | 2007-09-17 | 2009-03-25 | 华为技术有限公司 | 视频目标轮廓跟踪方法及装置 |
CN102257401A (zh) * | 2008-12-16 | 2011-11-23 | 皇家飞利浦电子股份有限公司 | 使用粒子滤波估计声源地点 |
CN101980044A (zh) * | 2010-01-22 | 2011-02-23 | 西安电子科技大学 | 未知测量噪声分布下的多目标跟踪方法 |
CN105590021A (zh) * | 2015-11-06 | 2016-05-18 | 上海交通大学 | 基于麦克风阵列的动态数量声源跟踪方法 |
CN106875426A (zh) * | 2017-02-21 | 2017-06-20 | 中国科学院自动化研究所 | 基于相关粒子滤波的视觉跟踪方法及装置 |
CN107038714A (zh) * | 2017-04-17 | 2017-08-11 | 西安理工大学 | 多型视觉传感协同目标跟踪方法 |
Non-Patent Citations (1)
Title |
---|
"麦克风网络中基于分布式粒子滤波的说话人跟踪方法研究";张巧灵;《中国博士学位论文全文数据库 信息科技辑》;20170815(第08期);第9-30页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109212480A (zh) | 2019-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111239687B (zh) | 一种基于深度神经网络的声源定位方法及系统 | |
CN106251877B (zh) | 语音声源方向估计方法及装置 | |
JP6240995B2 (ja) | 移動体、音響源マップ作成システムおよび音響源マップ作成方法 | |
Mumolo et al. | Algorithms for acoustic localization based on microphone array in service robotics | |
JP2017044916A (ja) | 音源同定装置および音源同定方法 | |
CN110610718B (zh) | 一种提取期望声源语音信号的方法及装置 | |
Zhong et al. | A time–frequency masking based random finite set particle filtering method for multiple acoustic source detection and tracking | |
Vincent et al. | Audio source localization by optimal control of a mobile robot | |
Brutti et al. | Tracking of multidimensional TDOA for multiple sources with distributed microphone pairs | |
Marti et al. | Real time speaker localization and detection system for camera steering in multiparticipant videoconferencing environments | |
Zhang et al. | AcousticFusion: Fusing sound source localization to visual SLAM in dynamic environments | |
WO2022142853A1 (zh) | 一种声源定位方法以及装置 | |
US11460927B2 (en) | Auto-framing through speech and video localizations | |
CN109212480B (zh) | 一种基于分布式辅助粒子滤波的声源跟踪方法 | |
Novoa et al. | Weighted delay-and-sum beamforming guided by visual tracking for human-robot interaction | |
Choi et al. | Convolutional neural network-based direction-of-arrival estimation using stereo microphones for drone | |
Diaz-Guerra et al. | Direction of arrival estimation with microphone arrays using SRP-PHAT and neural networks | |
CN112180318B (zh) | 声源波达方向估计模型训练和声源波达方向估计方法 | |
CN113223552A (zh) | 语音增强方法、装置、设备、存储介质及程序 | |
Deleforge et al. | Audio-motor integration for robot audition | |
Yang et al. | A Review of Sound Source Localization Research in Three-Dimensional Space | |
CN109239665A (zh) | 一种基于信号子空间相似度谱和粒子滤波器的多声源连续定位方法和装置 | |
Tong et al. | Robust sound localization of sound sources using deep convolution network | |
Wang et al. | Real-time automated video and audio capture with multiple cameras and microphones | |
Banerjee et al. | A novel sound source localization method using a global-best guided cuckoo search algorithm for drone-based search and rescue operations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |