CN112379330A - 一种多机器人协同的3d声源识别定位方法 - Google Patents

一种多机器人协同的3d声源识别定位方法 Download PDF

Info

Publication number
CN112379330A
CN112379330A CN202011354622.6A CN202011354622A CN112379330A CN 112379330 A CN112379330 A CN 112379330A CN 202011354622 A CN202011354622 A CN 202011354622A CN 112379330 A CN112379330 A CN 112379330A
Authority
CN
China
Prior art keywords
sound source
robot
audio signal
cross
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011354622.6A
Other languages
English (en)
Other versions
CN112379330B (zh
Inventor
安康
付卫婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Tongshan Artificial Intelligence Technology Co ltd
Original Assignee
Zhejiang Tongshan Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Tongshan Artificial Intelligence Technology Co ltd filed Critical Zhejiang Tongshan Artificial Intelligence Technology Co ltd
Priority to CN202011354622.6A priority Critical patent/CN112379330B/zh
Publication of CN112379330A publication Critical patent/CN112379330A/zh
Application granted granted Critical
Publication of CN112379330B publication Critical patent/CN112379330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种多机器人协同的3D声源识别定位方法，其包括以下步骤：(S1)采集各机器人的麦克风的音频信号；(S2)将各音频信号与参考音频信号做互相关计算，若计算结果达到设定的阈值，则将其识别为待识别的音频信号；(S3)对于每个机器人，计算该机器人上任意两个麦克风的音频信号之间的互相关函数，然后对方向空间做离散化，在每个方向上计算对应时延下的互相关函数之和，找出最大响应值，最大响应值对应的方向即是声源相对该机器人的方向(S4)求解声源的坐标，并根据声源方向以及各机器人所在的位置对声源的坐标进行修正。本发明相较于通过到达时间差来计算空间声源的位置，提出了基于离散空间搜索最大相关性函数值的方法，其抵抗混响能力更强，搜索代价更小，运行速度快。

Description

一种多机器人协同的3D声源识别定位方法
技术领域
本发明涉及移动机器人领域，特别涉及一种多机器人协同的3D声源识别定位方法。
背景技术
声源定位是听觉系统对发声物体位置的判断过程，它包括水平声源定位和垂直声源定位以及与听者距离的识别。对声源方位的识别是人和动物对环境感知的一种基本方法，有利于动物捕捉猎物、寻找配偶和躲避危险。在多声源的复杂声场中，声源定位功能更有助于从背景声中锁定声学目标，分离有用信息。
声源的识别与定位技术在机器人的目标定位领域有很重要的应用。借助听觉来辨别声源并判定发声的位置，使得机器人在感知环境时能获取更多的信息。一个典型的应用场景是，在RoboCup足球比赛中，机器人需要辨别裁判吹的哨声并定位该哨声以开始比赛。正确识别哨声便能抢占先机，能否正确的辨别哨声对比赛也起着非常重要的作用。
一般声源识别的方法主要采用提取信号频率主成分的方法，判断其是否在该类声音的频率范围内，但往往由于搭载在仿人机器人上的麦克风采样频率较低等原因，很容易受到高频噪声的干扰而产生误识别。另外，一般用来声源定位的方法使用GCC-PHAT算法，根据声源的到达时间差(TDOA)来建立空间几何关系，计算出声源的方向，但这种方法也很容易受到混响的干扰。
发明内容
本发明的目的是根据上述现有技术的不足，提供了一种多机器人协同的3D声源识别定位方法。
本发明目的实现由以下技术方案完成：
一种多机器人协同的3D声源识别定位方法，其特征在于包括以下步骤：
(S1)采集各机器人的麦克风的音频信号，并对其做快速傅里叶变换，得到各音频信号的频域信号；
(S2)将各音频信号与参考音频信号做互相关计算，若计算结果达到设定的阈值，则将其识别为待识别的音频信号，并跳转至步骤(S3)；否则跳转至步骤(S1)；
(S3)对于每个机器人，计算该机器人上任意两个麦克风的音频信号之间的互相关函数，然后对方向空间做离散化，在每个方向上计算对应时延下的互相关函数之和，找出最大响应值，最大响应值对应的方向即是声源相对该机器人的方向
(S4)求解声源的坐标，并根据声源方向以及各机器人所在的位置对声源的坐标进行修正。
本发明的进一步改进在于，在步骤(S1)中，采集音频信号的过程中，采样频率大于参考音频信号的频率的两倍。
本发明的进一步改进在于，在步骤(S2)中，当至少两个所述机器人采集到的音频信号的频域信号达到设定阈值时，将采集到的音频信号识别为待识别的音频信号。
本发明的进一步改进在于，在步骤(S2)中，将某个音频信号为xi(n)与参考音频信号xref(n)做互相关计算包括以下步骤
(S21)计算参考音频信号xref(n)的自相关函数Rref(τ)以及自相关函数Rref(τ)的峰值，计算公式为：
Figure BDA0002802262740000021
其中，Fref(ω)为参考音频信号xref(n)的快速傅里叶变换结果；
(S22)计算音频信号为xi(n)与参考音频信号xref(n)的互相关函数R(τ)以及互相关函数R(τ)的峰值，计算公式为：
Figure BDA0002802262740000022
其中，Fref(ω)为参考音频信号xref(n)的快速傅里叶变换结果，Fi(ω)为音频信号xi(n)的快速傅里叶变换结果；
(S23)计算互相关函数R(τ)的峰值与自相关函数Rref(τ)的峰值之间的比值，该比值为互相关计算的结果。
本发明的进一步改进在于，步骤(S3)具体包括以下步骤：
(S31)计算SRP-PHAT的函数表达式，计算公式为：
Figure BDA0002802262740000023
其中，M是第i个机器人上麦克风的总数；qi为声源相对第i个机器人的假想声源直角坐标矢量(α,β,h)，α为方向角，β为俯仰角，h为声源的预定高度，i的取值范围为[1,Nrobot]，其中Nrobot表示机器人的总个数，
Figure BDA0002802262740000024
为第l个和第m个麦克风的接收信号的GCC-PHAT函数，其表达式为：
Figure BDA0002802262740000025
其中Xm(k)是xm(n)的FFT，xm(n)表示第m个麦克风接收到的音频信号，K为FFT点数，τlm(qi)表示假想声源的音频信号到第l个和第m个麦克风的到达时间差，其表达式为：
Figure BDA0002802262740000031
其中：qi为声源相对第i个机器人的假想声源直角坐标矢量(α,β,h)，rm,rl表示的是第m个麦克风和第l个麦克风的位置，c为空气中的声速；
(S32)将方向空间按照预定的角度进行离散化分解；得到声源直角坐标矢量的取值范围；
(S33)对声源的方向进行估算，得到声源相对各麦克风的假想声源直角坐标矢量
Figure BDA0002802262740000032
其计算公式为：
Figure BDA0002802262740000033
其中，Q为方向空间离散化后假想声源直角坐标矢量qi的取值范围。
本发明的进一步改进在于，根据声源方向以及各机器人所在的位置对声源的坐标进行修正具体包括以下步骤：
(S41)以机器人的位姿信息为原点，以机器人的假想声源直角坐标矢量qi的方位角为方向，得到各机器人在水平面的方位角射线；并依次求取任意两个方位角射线的交点坐标，并求取各交点坐标的平均值，将其作为未修正前的声源位置；
(S42)根据未修正前的声源位置，计算声源到各机器人的距离，将距离最小的机器人作为最小距离机器人；根据最小距离机器人的方位角射线、位姿信息以及该机器人与声源的距离对声源位置进行修正，得到修正后的声源位置；修正过程采用的公式为：
Figure BDA0002802262740000034
其中，Pcorrected为修正后的声源位置，dmin为最小距离机器人与声源的距离，Li为最小距离机器人的位姿信息，αi是方位角射线的方向角，θi是最小距离机器人的朝向的角度；
(S43)计算以修正后的声源位置Pcorrected为起点的法向量
Figure BDA0002802262740000035
与最小距离机器人的俯仰角射线向量
Figure BDA0002802262740000036
的交点Pcross＝[xcrossycrosszcross]，将该交点的坐标作为声源的位置坐标。
本发明的有益效果是：
(1)本发明相较于通过频率识别声源，提出了一种基于互相关性计算的识别声源的方法，该方法不依赖于主成分频率的提取，因此其抗干扰能力更强，对噪声更加不敏感。
(2)本发明相较于通过到达时间差来计算空间声源的位置，提出了基于离散空间搜索最大相关性函数值的方法，其抵抗混响能力更强，搜索代价更小，运行速度快，通过多机器人协同定位以及距离权重修正，可以获得更加精确的位置，在复杂的室内和室外环境中，都能取得理想的定位效果。
(3)本发明提出了一种多机器人协同声源定位装置，可定位的范围更广，机器人之间通信合作所计算出的位置更具可靠性。
(4)本发明提出的根据距离权重修正定位偏差的方法避免了单机器人定位声源可能造成的不准确性，依靠最近机器人的方向给出了更加准确的定位信息。
附图说明
图1为本发明多机器人协同定位算法流程图；
图2为本发明实施例实验环境与装置图；
图3本发明距离权重修正与3D声源位置计算示意图。
具体实施方式
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
在本发明的描述中，需要理解的是，术语“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本实施例公开了一种多机器人协同的3D声源识别定位方法，在一个具体实施例中，该方法应用于实验环境设置为室内或室外的标准平台组足球场，以便足球机器人对哨音的位置进行检测。如图2所示，三个NAO机器人放置在场地的给定位置，由裁判员在特定位置吹哨，NAO机器人根据其头上配置的四个麦克风进行识别和定位，经三个机器人协同交互后，用距离权重修正哨声的具体位置。
本实施例的声源识别和定位装置为NAO机器人，NAO机器人头上配置的麦克风可感知的频率范围为150Hz到12KHz，其装配的具体位置如图所示。哨声的频率一般在2500Hz到3500Hz，为满足奈奎斯特采样定理，需设置采样频率在8KHz以上，但由于仿人机器人的麦克风阵列间距小，因此需要提高采样频率才能达到所需要的精度，本装置的采样频率建议设置为48KHz。
如图1、2所示，本实施例的一种多机器人协同的3D声源识别定位方法具体包括以下步骤：
(S1)采集各机器人的麦克风的音频信号，并对其做快速傅里叶变换，得到各音频信号的频域信号；采集音频信号的过程中，采样频率大于参考音频信号的频率的两倍。
(S2)将各音频信号与参考音频信号做互相关计算，若计算结果达到设定的阈值，则将其识别为待识别的音频信号，并跳转至步骤(S3)；否则跳转至步骤(S1)。在步骤(S2)中，当至少两个所述机器人采集到的音频信号的频域信号达到设定阈值时，将采集到的音频信号识别为待识别的音频信号。达到设定阈值的麦克风越多，判断结果的置信度越高。
在步骤(S2)中，将某个音频信号为xi(n)与参考音频信号xref(n)做互相关计算包括以下步骤
(S21)计算参考音频信号xref(n)的自相关函数Rref(τ)以及自相关函数Rref(τ)的峰值，计算公式为：
Figure BDA0002802262740000051
其中，Fref(ω)为参考音频信号xref(n)的快速傅里叶变换结果；
(S22)计算音频信号为xi(n)与参考音频信号xref(n)的互相关函数R(τ)以及互相关函数R(τ)的峰值，计算公式为：
Figure BDA0002802262740000052
其中，Fref(ω)为参考音频信号xref(n)的快速傅里叶变换结果，Fi(ω)为音频信号xi(n)的快速傅里叶变换结果；
(S23)计算互相关函数R(τ)的峰值与自相关函数Rref(τ)的峰值之间的比值，该比值为互相关计算的结果。
现有技术中，有两组声源信号分别为x1(n)与x2(n)，其互相关定义如下：
R(τ)＝E[x1(m)x2(m+τ)]
在处理声源信号时，首先对其进行的是离散化采样，采样频率是f，离散信号的互相关定义如下，其中R(n)的长度是2N-1：
Figure BDA0002802262740000053
由于仿人机器人所装配的计算资源有限，因此采用现有方法计算互相关性将非常耗时，因此需要将互相关的计算转到频域。由Wiener-Khinchin定理可知，任意一个零均值的广义平稳随机过程的功率谱密度是其自相关函数的傅立叶变换：
Figure BDA0002802262740000054
Figure BDA0002802262740000055
P(ω)为x1、x2的互功率谱，从而
Figure BDA0002802262740000061
由交换积分性质和傅里叶变换的移位性质可以简化为
P(ω)＝F1 *(ω)F2(ω)
因此互相关的频域计算方法可以表示为：
Figure BDA0002802262740000062
从上述过程可以推导出步骤(S2)中自相关函数以及互相关函数的计算公式。对于任一麦克风所截取的当前时间戳下的音频信号，将其与实现录制的参考哨声做互相关计算，若是互相关函数的信号峰值与参考哨声自相关函数的信号峰值之比大于设定的阈值，则认定该段信号为哨声，具体操作时，这里的设定阈值议设置为0.2即可。
(S3)对于每个机器人，计算该机器人上任意两个麦克风的音频信号之间的互相关函数，然后对方向空间做离散化，在每个方向上计算对应时延下的互相关函数之和，找出最大响应值，最大响应值对应的方向即是声源相对该机器人的方向。离散化的过程中，对每个机器人的方向空间按5°进行离散化分解。声源定位的基本原理是依据声音到达每个麦克风的时间差所建立的模型，在声源的距离较近时，近似认为麦克风接收到的声波为球面波，到达每个麦克风的时延可近似为到达每个麦克风的距离与声速的比值。步骤(S3)具体包括以下步骤：
(S31)计算SRP-PHAT的函数表达式，计算公式为：
Figure BDA0002802262740000063
其中，M是第i个机器人上麦克风的总数；qi为声源相对第i个机器人的假想声源直角坐标矢量(α,β,h)，α为方向角，β为俯仰角，通常为正数，h为声源的预定高度(通常取1.7m)，i的取值范围为[1,Nrobot]，其中Nrobot表示机器人的总个数，本实施例中为3，
Figure BDA0002802262740000064
为第l个和第m个麦克风的接收信号的GCC-PHAT函数，其表达式为：
Figure BDA0002802262740000065
其中Xm(k)是xm(n)的FFT，xm(n)表示第m个麦克风接收到的音频信号，K为FFT点数，τlm(qi)表示假想声源的音频信号到第l个和第m个麦克风的到达时间差，其表达式为：
Figure BDA0002802262740000066
其中：qi为声源相对第i个机器人的假想声源直角坐标矢量(α,β,h)，rm,rl表示的是第m个麦克风和第l个麦克风的位置，c为空气中的声速；
(S32)将方向空间按照预定的角度(本实施例中为5°)进行离散化分解；得到声源直角坐标矢量的取值范围；
(S33)对声源的方向进行估算，得到声源相对各麦克风的假想声源直角坐标矢量
Figure BDA0002802262740000071
其计算公式为：
Figure BDA0002802262740000072
其中，Q为方向空间离散化后假想声源直角坐标矢量qi的取值范围。
本发明将机器人所需要搜索的整个空间离散化为俯仰角和方位角的离散空间，从而对每一个离散空间进行时延估计，并计算SRP-PHAT，这样大大减少了计算量，可以在仿人机器人NAO上实现实时计算，从而获得实时声源的俯仰角和方位角。
(S4)求解声源的坐标，并根据声源方向以及各机器人所在的位置对声源的坐标进行修正，如图3所示，其具体包括以下步骤：
(S41)以机器人的位姿信息为原点，以机器人的假想声源直角坐标矢量qi的方位角为方向，得到各机器人在水平面的方位角射线；并依次求取任意两个方位角射线的交点坐标，并求取各交点坐标的平均值，将其作为未修正前的声源位置；此处的声源位置指的是声源在水平面上的投影坐标；
(S42)根据未修正前的声源位置，计算声源到各机器人的距离，将距离最小的机器人作为最小距离机器人；根据最小距离机器人的方位角射线、位姿信息以及该机器人与声源的距离对声源位置进行修正，得到修正后的声源位置；修正过程采用的公式为：
Figure BDA0002802262740000073
其中，Pcorrected为修正后的声源位置，dmin为最小距离机器人与声源的距离，Li为最小距离机器人的位姿信息，αi是方位角射线的方向角，θi是最小距离机器人的朝向的角度；此处的修正也是在水平面内进行，得到的修正后的声源位置Pcorrected也是水平面上的坐标值；
(S43)计算以修正后的声源位置Pcorrected为起点的法向量
Figure BDA0002802262740000074
与最小距离机器人的俯仰角射线向量
Figure BDA0002802262740000075
的交点Pcross＝[xcross ycross zcross]，该交点可认为是真实声源。俯仰角射线向量
Figure BDA0002802262740000076
是以最小距离机器人的位姿信息为原点，以该机器人的假想声源直角坐标矢量qi为方向的射线。最终求解得出的坐标Pcorss为立体坐标。
步骤(S4)的具体计算步骤为：在声源的俯仰角、方位角以及高度均已知的情况下，便可计算出声源具体的3维坐标。本发明提出了一种基于多机器人协同声源定位的方法，以3个仿人机器人NAO为例，其初始位姿为Li＝[xi,yi,θi]i＝1,2,3，每个机器人根据离散方向空间搜索的SRP-PHAT算法获得了声源的相对角度[αi,βi]，其中αi是方位角，βi是俯仰角。
首先根据方位角射线，可以得到三个交点P1,P2,P3，对其进行均值化后，获得一个未经修正的方位坐标值：
Figure BDA0002802262740000077
用这个坐标值计算出声源与每个机器人的相对距离d1,d2,d3，选择相对距离最近的给予权重修正，即将未修正的坐标旋转至相对距离最近的机器人的方位角，从而获得修正后的方位坐标：
Figure BDA0002802262740000081
其中i表示相对距离最近的机器人的编号；
接着，计算方位平面以修正后的方位坐标为起点的法向量
Figure BDA0002802262740000082
与机器人的俯仰角射线向量
Figure BDA0002802262740000083
的交点Pcross＝[xcross ycross zcross]，该交点可认为是真实声源的3维位置估计。
在具体实施本发明的实施例的过程中，装置操作步骤建议：
a.将多个机器人摆放在预先设定的初始位置上，使其保持站立状态，并使其初始状态准确；
b.在场内或场外的任一位置吹响哨声，机器人对声音信号做持续检测，如果互相关性达到阈值，则识别此声源，确定声源的类型；
c.截取识别到声源类型时间段内的各个麦克风信号，进行两两之间互相关性函数计算；
d.使用SRP-PHAT算法，在离散方向空间内搜索互相关函数值之和最大的方向，即为声源的方向；
e.机器人之间通过无线网通信，共享方位信息，根据其所产生的多个交点，做距离权重修正，计算出声源的平面坐标，再根据法向量相交便可计算出声源的3D位置坐标。经协同定位算法计算，在机器人的运行终端上可显示其具体的方位。
本实施例来的方法在实际的测试环境中定位距离误差在15％以内，角度误差在15°以内。本发明提出的声源识别和定位方法，能在高混响的室内环境，强干扰的室外环境中都有较好的识别准确率和定位精确度，且比频率提取方法更具抗干扰能力，比GCC-PHAT方法定位的抗混响能力更强，准确度也更高。该方法不仅可用于足球机器人，也可应用于智能家居、智能仓储等领域，识别的信号也不限于哨音，也可以识别定位语音信号或指定的声源。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种多机器人协同的3D声源识别定位方法，其特征在于包括以下步骤：
(S1)采集各机器人的麦克风的音频信号，并对其做快速傅里叶变换，得到各音频信号的频域信号；
(S2)将各音频信号与参考音频信号做互相关计算，若计算结果达到设定的阈值，则将其识别为待识别的音频信号，并跳转至步骤(S3)；否则跳转至步骤(S1)；
(S3)对于每个机器人，计算该机器人上任意两个麦克风的音频信号之间的互相关函数，然后对方向空间做离散化，在每个方向上计算对应时延下的互相关函数之和，找出最大响应值，最大响应值对应的方向即是声源相对该机器人的方向；
(S4)求解声源的坐标，并根据声源方向以及各机器人所在的位置对声源的坐标进行修正。
2.根据权利要求1所述的一种多机器人协同的3D声源识别定位方法，其特征在于，在步骤(S1)中，采集音频信号的过程中，采样频率大于参考音频信号的频率的两倍。
3.根据权利要求1所述的一种多机器人协同的3D声源识别定位方法，其特征在于，在步骤(S2)中，当至少两个所述机器人采集到的音频信号的频域信号达到设定阈值时，将采集到的音频信号识别为待识别的音频信号。
4.根据权利要求1所述的一种多机器人协同的3D声源识别定位方法，其特征在于，在步骤(S2)中，将某个音频信号为xi(n)与参考音频信号xref(n)做互相关计算包括以下步骤
(S21)计算参考音频信号xref(n)的自相关函数Rref(τ)以及自相关函数Rref(τ)的峰值，计算公式为：
Figure FDA0002802262730000011
其中，Fref(ω)为参考音频信号xref(n)的快速傅里叶变换结果；
(S22)计算音频信号为xi(n)与参考音频信号xref(n)的互相关函数R(τ)以及互相关函数R(τ)的峰值，计算公式为：
Figure FDA0002802262730000012
其中，Fref(ω)为参考音频信号xref(n)的快速傅里叶变换结果，Fi(ω)为音频信号xi(n)的快速傅里叶变换结果；
(S23)计算互相关函数R(τ)的峰值与自相关函数Rref(τ)的峰值之间的比值，该比值为互相关计算的结果。
5.根据权利要求1所述的一种多机器人协同的3D声源识别定位方法，其特征在于，步骤(S3)具体包括以下步骤：
(S31)计算SRP-PHAT的函数表达式，计算公式为：
Figure FDA0002802262730000021
其中，M是第i个机器人上麦克风的总数；qi为声源相对第i个机器人的假想声源直角坐标矢量(α,β,h)，α为方向角，β为俯仰角，h为声源的预定高度，i的取值范围为[1,Nrobot]，其中Nrobot表示机器人的总个数，
Figure FDA0002802262730000022
为第l个和第m个麦克风的接收信号的GCC-PHAT函数，其表达式为：
Figure FDA0002802262730000023
其中Xm(k)是xm(n)的FFT，xm(n)表示第m个麦克风接收到的音频信号，K为FFT点数，τlm(qi)表示假想声源的音频信号到第l个和第m个麦克风的到达时间差，其表达式为：
Figure FDA0002802262730000024
其中：qi为声源相对第i个机器人的假想声源直角坐标矢量(α,β,h)，rm,rl表示的是第m个麦克风和第l个麦克风的位置，c为空气中的声速；
(S32)将方向空间按照预定的角度进行离散化分解；得到声源直角坐标矢量的取值范围；
(S33)对声源的方向进行估算，得到声源相对各麦克风的假想声源直角坐标矢量
Figure FDA0002802262730000025
其计算公式为：
Figure FDA0002802262730000026
其中，Q为方向空间离散化后假想声源直角坐标矢量qi的取值范围。
6.根据权利要求1所述的一种多机器人协同的3D声源识别定位方法，其特征在于，根据声源方向以及各机器人所在的位置对声源的坐标进行修正具体包括以下步骤：
(S41)以机器人的位姿信息为原点，以机器人的假想声源直角坐标矢量qi的方位角为方向，得到各机器人在水平面的方位角射线；并依次求取任意两个方位角射线的交点坐标，并求取各交点坐标的平均值，将其作为未修正前的声源位置；
(S42)根据未修正前的声源位置，计算声源到各机器人的距离，将距离最小的机器人的作为最小距离机器人；根据最小距离机器人的方位角射线、位姿信息以及该机器人与声源的距离对声源位置进行修正，得到修正后的声源位置；修正过程采用的公式为：
Figure FDA0002802262730000031
其中，Pcorrected为修正后的声源位置，dmin为最小距离机器人与声源的距离，Li为最小距离机器人的位姿信息，αi是方位角射线的方向角，θi是最小距离机器人的朝向的角度；
(S43)计算以修正后的声源位置Pcorrected为起点的法向量
Figure FDA0002802262730000032
与最小距离机器人的俯仰角射线向量
Figure FDA0002802262730000033
的交点Pcross＝[xcrossycrosszcross]，将该交点的坐标作为声源的位置坐标。
CN202011354622.6A 2020-11-27 2020-11-27 一种多机器人协同的3d声源识别定位方法 Active CN112379330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011354622.6A CN112379330B (zh) 2020-11-27 2020-11-27 一种多机器人协同的3d声源识别定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011354622.6A CN112379330B (zh) 2020-11-27 2020-11-27 一种多机器人协同的3d声源识别定位方法

Publications (2)

Publication Number Publication Date
CN112379330A true CN112379330A (zh) 2021-02-19
CN112379330B CN112379330B (zh) 2023-03-10

Family

ID=74588640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011354622.6A Active CN112379330B (zh) 2020-11-27 2020-11-27 一种多机器人协同的3d声源识别定位方法

Country Status (1)

Country Link
CN (1) CN112379330B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113514801A (zh) * 2021-04-28 2021-10-19 成都启英泰伦科技有限公司 基于深度学习的麦克风阵列声源定位方法及声源识别方法
CN117289208A (zh) * 2023-11-24 2023-12-26 北京瑞森新谱科技股份有限公司 一种声源定位方法和装置

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1615047A2 (de) * 2004-07-08 2006-01-11 IBEO Automobile Sensor GmbH Verfahren zur Kalibrierung eines optischen Abstandssensors an einem Fahrzeug
RU2327181C1 (ru) * 2006-11-07 2008-06-20 Закрытое акционерное общество "БалтАвтоПоиск" Способ определения местоположения источника радиоизлучения
CN104142492A (zh) * 2014-07-29 2014-11-12 佛山科学技术学院 一种srp-phat多源空间定位方法
JP2015081831A (ja) * 2013-10-22 2015-04-27 株式会社国際電気通信基礎技術研究所 音源位置推定装置、移動体および移動体の制御方法
CN104991573A (zh) * 2015-06-25 2015-10-21 北京品创汇通科技有限公司 一种基于声源阵列的定位跟踪方法及其装置
US20160142620A1 (en) * 2013-02-15 2016-05-19 Panasonic Intellectual Property Management Co., Ltd. Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method
US20160274212A1 (en) * 2013-10-01 2016-09-22 Aldebaran Robotics Method for locating a sound source, and humanoid robot using such a method
CN107390175A (zh) * 2017-06-15 2017-11-24 重庆锐纳达自动化技术有限公司 一种以机器人为载体的声源定位导航装置
CN108614268A (zh) * 2018-04-26 2018-10-02 中国人民解放军91550部队 低空高速飞行目标的声学跟踪方法
CN108802690A (zh) * 2018-05-30 2018-11-13 大连民族大学 一种基于麦克风阵列的机器人声源定位系统及装置
RU2674248C2 (ru) * 2017-02-13 2018-12-06 Общество с ограниченной ответственностью "Квадрокс" Однопозиционный корреляционный угломерный способ определения координат местоположения источников радиоизлучения
US20180359594A1 (en) * 2015-12-10 2018-12-13 Sony Corporation Sound processing apparatus, method, and program
CN109188362A (zh) * 2018-09-03 2019-01-11 中国科学院声学研究所 一种麦克风阵列声源定位信号处理方法
US20190026917A1 (en) * 2017-07-18 2019-01-24 Qualcomm Incorporated Learning geometric differentials for matching 3d models to objects in a 2d image
CN110488223A (zh) * 2019-07-05 2019-11-22 东北电力大学 一种声源定位方法
WO2020042708A1 (zh) * 2018-08-31 2020-03-05 大象声科（深圳）科技有限公司 基于时频掩蔽和深度神经网络的声源方向估计方法
CN110988942A (zh) * 2019-11-29 2020-04-10 航天东方红卫星有限公司 一种星载gnss-r镜面反射点位置精确计算方法
US20200143815A1 (en) * 2016-09-16 2020-05-07 Coronal Audio S.A.S. Device and method for capturing and processing a three-dimensional acoustic field
WO2020192105A1 (zh) * 2019-03-28 2020-10-01 魔门塔(苏州)科技有限公司 一种车辆位姿的修正方法和装置

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1615047A2 (de) * 2004-07-08 2006-01-11 IBEO Automobile Sensor GmbH Verfahren zur Kalibrierung eines optischen Abstandssensors an einem Fahrzeug
RU2327181C1 (ru) * 2006-11-07 2008-06-20 Закрытое акционерное общество "БалтАвтоПоиск" Способ определения местоположения источника радиоизлучения
US20160142620A1 (en) * 2013-02-15 2016-05-19 Panasonic Intellectual Property Management Co., Ltd. Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method
US20160274212A1 (en) * 2013-10-01 2016-09-22 Aldebaran Robotics Method for locating a sound source, and humanoid robot using such a method
JP2015081831A (ja) * 2013-10-22 2015-04-27 株式会社国際電気通信基礎技術研究所 音源位置推定装置、移動体および移動体の制御方法
CN104142492A (zh) * 2014-07-29 2014-11-12 佛山科学技术学院 一种srp-phat多源空间定位方法
CN104991573A (zh) * 2015-06-25 2015-10-21 北京品创汇通科技有限公司 一种基于声源阵列的定位跟踪方法及其装置
US20180359594A1 (en) * 2015-12-10 2018-12-13 Sony Corporation Sound processing apparatus, method, and program
US20200143815A1 (en) * 2016-09-16 2020-05-07 Coronal Audio S.A.S. Device and method for capturing and processing a three-dimensional acoustic field
RU2674248C2 (ru) * 2017-02-13 2018-12-06 Общество с ограниченной ответственностью "Квадрокс" Однопозиционный корреляционный угломерный способ определения координат местоположения источников радиоизлучения
CN107390175A (zh) * 2017-06-15 2017-11-24 重庆锐纳达自动化技术有限公司 一种以机器人为载体的声源定位导航装置
US20190026917A1 (en) * 2017-07-18 2019-01-24 Qualcomm Incorporated Learning geometric differentials for matching 3d models to objects in a 2d image
CN108614268A (zh) * 2018-04-26 2018-10-02 中国人民解放军91550部队 低空高速飞行目标的声学跟踪方法
CN108802690A (zh) * 2018-05-30 2018-11-13 大连民族大学 一种基于麦克风阵列的机器人声源定位系统及装置
WO2020042708A1 (zh) * 2018-08-31 2020-03-05 大象声科（深圳）科技有限公司 基于时频掩蔽和深度神经网络的声源方向估计方法
CN109188362A (zh) * 2018-09-03 2019-01-11 中国科学院声学研究所 一种麦克风阵列声源定位信号处理方法
WO2020192105A1 (zh) * 2019-03-28 2020-10-01 魔门塔(苏州)科技有限公司 一种车辆位姿的修正方法和装置
CN110488223A (zh) * 2019-07-05 2019-11-22 东北电力大学 一种声源定位方法
CN110988942A (zh) * 2019-11-29 2020-04-10 航天东方红卫星有限公司 一种星载gnss-r镜面反射点位置精确计算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈妮 等: "一种无线传感器网络环境下多机器人协作式声源定位方法", 《科学技术与工程》 *
黄国信 等: "基于射线寻迹的非视距被动声定位方法", 《现代电子技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113514801A (zh) * 2021-04-28 2021-10-19 成都启英泰伦科技有限公司 基于深度学习的麦克风阵列声源定位方法及声源识别方法
CN117289208A (zh) * 2023-11-24 2023-12-26 北京瑞森新谱科技股份有限公司 一种声源定位方法和装置
CN117289208B (zh) * 2023-11-24 2024-02-20 北京瑞森新谱科技股份有限公司 一种声源定位方法和装置

Also Published As

Publication number Publication date
CN112379330B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
Brandstein et al. A practical methodology for speech source localization with microphone arrays
CN104898091B (zh) 基于迭代优化算法的麦克风阵列自校准声源定位系统
Schillebeeckx et al. Biomimetic sonar: Binaural 3D localization using artificial bat pinnae
CN112379330B (zh) 一种多机器人协同的3d声源识别定位方法
Aarabi Self-localizing dynamic microphone arrays
CN104360315A (zh) 基于LabVIEW的麦克风阵列声源定位方法及装置
CN104469154A (zh) 一种基于麦克风阵列的摄像头引导装置及引导方法
CN104035065A (zh) 基于主动旋转的声源定向装置及其应用方法
CN109188362B (zh) 一种麦克风阵列声源定位信号处理方法
CN103278801A (zh) 一种变电站噪声成像侦测装置及侦测计算方法
CN108828501B (zh) 在室内声场环境中对移动声源进行实时跟踪定位的方法
Kraljević et al. Free-field TDOA-AOA sound source localization using three soundfield microphones
CN107167770A (zh) 一种混响条件下的麦克风阵列声源定位装置
CN109212481A (zh) 一种利用麦克风阵列进行声源定位的方法
US9081083B1 (en) Estimation of time delay of arrival
CN105607042A (zh) 用麦克风阵列时延估计定位声源的方法
CN110597077B (zh) 一种基于室内定位实现场景智能切换的方法及系统
CN115902776B (zh) 一种基于被动式声音信号的声源定位方法
Tsiami et al. Experiments in acoustic source localization using sparse arrays in adverse indoors environments
CN109600711B (zh) 一种基于信道响应频域和空域联合处理的室内定位方法
Martinson et al. Robotic discovery of the auditory scene
CN116008913A (zh) 基于stm32和小型麦克风阵列的无人机检测定位方法
Park et al. Improving acoustic localization accuracy by applying interaural level difference and support vector machine for AoA outlier removal
CN114994608A (zh) 基于深度学习的多设备自组织麦克风阵列声源定位方法
Wang et al. 3-D sound source localization with a ternary microphone array based on TDOA-ILD algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant