CN113567926A - 一种设备跟踪方法、系统及装置 - Google Patents

一种设备跟踪方法、系统及装置 Download PDF

Info

Publication number
CN113567926A
CN113567926A CN202111118342.XA CN202111118342A CN113567926A CN 113567926 A CN113567926 A CN 113567926A CN 202111118342 A CN202111118342 A CN 202111118342A CN 113567926 A CN113567926 A CN 113567926A
Authority
CN
China
Prior art keywords
array
matrix
equipment
original
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111118342.XA
Other languages
English (en)
Inventor
万志涛
蔡民强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Gewu Zhian Technology Co ltd
Original Assignee
Hangzhou Gewu Zhian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Gewu Zhian Technology Co ltd filed Critical Hangzhou Gewu Zhian Technology Co ltd
Priority to CN202111118342.XA priority Critical patent/CN113567926A/zh
Publication of CN113567926A publication Critical patent/CN113567926A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种设备跟踪方法、系统及装置，包括利用麦克风/麦克风阵列获取设备原始声信号；根据傅里叶变换对所述原始声信号进行频率特征提取并降维；获取所述设备环境中噪声频谱内容，根据时间差定位方法、基于所述噪声频谱内容和所述原始声信号对所述设备形成声源定位；结合所述音频特征和所述声源定位对所述设备进行动态跟踪。通过基于音频多模态特征的目标识别和定位，对设备进行进出场、部署位置、展开状态、工作状态进行识别和定位；根据设备工作时的音频特征等进行工作状态的监控；同时利用多模态融合技术对多维特征数据进行融合，更为准确全面地对设备的位置、工作状态、工作时间等进行监控，识别潜在的风险源。

Description

一种设备跟踪方法、系统及装置
技术领域
本发明涉及工地设备监控领域，尤其涉及一种设备跟踪方法、系统及装置。
背景技术
施工工地状况变化较快，对施工设备的需求随着时间、地点在不断变化。较大型施工设备一般都存在一定的安全风险。如吊车、打桩机、混凝土车、电焊机等。存在对人员、建筑物或其他物体造成伤害、引发火灾等安全隐患。
由于大型施工设备的动力和行为都有其特殊性，同时现场操作、调度人员也会有语音指示等相关。其动力和行为特征可以表现为特定的频率特征，比如噪声声纹特征、噪声强度等，以及设备的扬声器的提示音、语音告警信息等。每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。同时，模态也可以有非常广泛的定义，比如我们可以把两种不同的语言当做是两种模态，甚至在两种不同情况下采集到的数据集，亦可认为是两种模态。
对于大型施工设备的状态报告，目前有的主要方式有：（1）人工报告：
主要通过手工报表、信息系统录入（入口、手机等手持设备）、直接汇报（对讲机、手机语音）等。（2）视频监控：主要通过摄像头、包括热成像等监测设备位置和运行状态。（3）传感器监控：通过设备内置或者附加传感器设备检测设备位置和工作状态。
但是现有技术的主要问题有覆盖不完整，定位不准确，报告不及时。其中，各种报告方法都只能覆盖部分设备，比如外来运输车辆的车载传感器数据无法直接提供给工地信息管理系统，有些车辆甚至无传感设备可用。其定位方法各有局限，人工报告较为繁琐、一致性较差。视频监控的精度和自动识别的准确度无法保证，大多数情况下需要人工判读。现提出通过工地施工设备和环境中的频率特征获取其位置和工作状态。
发明内容
本申请提供了一种设备跟踪方法、系统及装置，旨在解决现有技术中对于大型施工设备的状态报告覆盖不完整，定位不准确，报告不及时的问题。
为了实现上述目的，本申请采用以下技术方案：
利用麦克风/麦克风阵列获取设备原始声信号；
根据傅里叶变换对所述原始声信号进行频率特征提取并降维，得到音频特征；
获取所述设备环境中噪声频谱内容，根据时间差定位方法、基于所述噪声频谱内容和所述原始声信号对所述设备形成声源定位；
结合所述音频特征和所述声源定位对所述设备进行动态跟踪。
作为优选，所述麦克风阵列的摆放位置不限于一维直线阵列、二维平面型阵列、三维空间型阵列。
作为优选，所述根据傅里叶变换对所述原始声信号进行频率特征提取并降维，得到音频特征，包括以下步骤：
步骤S31、对所述原始声信号进行m组延时处理并排序，得到m行n列的声信号矩阵，其中，m、n均为大于1的整数；
步骤S32、对所述声信号矩阵中第一列与其后n-1列进行时序相关计算得到时序相关向量R1，其中R1=[ R1,1…R1,j…R1,n-1 ]，并将R1存入时序相关矩阵R第一行中，j为大于1的整数；
步骤S33、重复步骤S32得到其后n-2列原始声信号延时矩阵的n-1行n-1列的时序相关矩阵R；
步骤S34、对矩阵R第一行进行快速傅里叶变换或离散余弦变换，将检测出变换后峰值的频率分量保存一维数组T1中；
步骤S35、重复步骤S34得到由矩阵 R 每一行进行快速傅里叶变换或离散余弦变换后峰值所对应的频率分量构成的n-1行的数组 T；
步骤S36、对所述数组T中的各频率分量进行加权统计处理，达到阈值以上的频率分量即为所述原始声信号中所包含的频率特征。
作为优选，所述获取所述设备环境中噪声频谱内容，根据时间差定位方法、基于所述噪声频谱内容和所述原始声信号对所述设备形成声源定位，包括：
获取设备环境中噪声频谱内容，并对所述原始声信号和所述噪声频谱内容进行预收录和预处理；
基于TDOA算法估计所述原始声信号到达所述麦克风阵列各阵元之间的时延估计值；
计算所述时延估计值和声源传播速度的乘积，求出对应的距离差，根据所述距离差计算空间几何的交点，以确定声源位置。
一种设备跟踪装置，包括：
获取模块：用于利用麦克风/麦克风阵列获取设备原始声信号；
识别模块：用于根据傅里叶变换对所述原始声信号进行频率特征提取并降维，得到音频特征；
定位模块：用于获取所述设备环境中噪声频谱内容，根据时间差定位方法、基于所述噪声频谱内容和所述原始声信号对所述设备形成声源定位；
跟踪模块：用于结合所述识别模块得到的所述音频特征和所述定位模块得到的所述声源定位对所述设备进行动态跟踪。
作为优选，所述定位模块包括：
预处理单元：用于获取设备环境中噪声频谱内容，并对所述原始声信号和所述噪声频谱内容进行预收录和预处理；
估计单元：用于基于TDOA算法估计所述原始声信号到达所述麦克风阵列各阵元之间的时延估计值；
计算单元：用于计算所述时延估计值和声源传播速度的乘积，求出对应的距离差，根据所述距离差计算空间几何的交点，以确定声源位置。
作为优选，所述识别模块包括：
步骤S31、对所述原始声信号进行m组延时处理并排序，得到m行n列的声信号矩阵，其中，m、n均为大于1的整数；
步骤S32、对所述声信号矩阵中第一列与其后n-1列进行时序相关计算得到时序相关向量R1，其中R1=[ R1,1…R1,j…R1,n-1 ]，并将R1存入时序相关矩阵R第一行中，j为大于1的整数；
步骤S33、重复步骤S32得到其后n-2列原始声信号延时矩阵的n-1行n-1列的时序相关矩阵R；
步骤S34、对矩阵R第一行进行快速傅里叶变换或离散余弦变换，将检测出变换后峰值的频率分量保存一维数组T1中；
步骤S35、重复步骤S34得到由矩阵 R 每一行进行快速傅里叶变换或离散余弦变换后峰值所对应的频率分量构成的n-1行的数组 T；
步骤S36、对所述数组T中的各频率分量进行加权统计处理，达到阈值以上的频率分量即为所述原始声信号中所包含的频率特征。
一种设备跟踪装置，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如上述中任一项所述的一种设备跟踪方法。
一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时实现如上述中任一项所述的一种设备跟踪方法。
本发明具有以下有益效果：
1、同时采用多麦克风广域、分布式的方式进行声源采集，通过单点麦克风在多点部署精确获取施工设备位置；通过麦克风阵列可以单点部署即可定位施工设备；综合使用麦克风和麦克风阵列更为精确，能够适应复杂噪声环境；
2、在对设备声源定位前先对设备声源进行识别，确定是什么设备，在识别前对原始声信号进行降维并特征提取，保留能够体现目标声信号本质的特征，以更为精确的分区不同设备的声音特征，从而提升辨识的精度和效率；
3、在对设备识别定位跟踪后，在设备工作时持续跟踪，比如以数秒或分钟为间隔进行重复采样，可以实时识别并跟踪设备位置，形成跟踪轨迹。
附图说明
图1是本发明实施例实现一种设备跟踪方法的第一流程图；
图2是本发明实施例实现一种设备跟踪方法中的基于麦克风阵列的设备定位和识别的示意图；
图3是本发明实施例实现一种设备跟踪方法中的基于多点位麦克风的设备定位和识别的示意图；
图4是本发明实施例实现一种设备跟踪方法中的基于麦克风/麦克风阵列的设备定位和识别的示意图；
图5是本发明实施例实现一种设备跟踪方法的第二流程图；
图6是本发明实施例实现一种设备跟踪方法中的设备定位方法第一示意图；
图7是本发明实施例实现一种设备跟踪方法中的设备定位方法第二示意图；
图8是本发明实施例实现一种设备跟踪方法中的设备定位方法第三示意图；
图9是本发明实施例实现一种设备跟踪装置的示意图；
图10是本发明实施例实现一种设备跟踪装置中的定位模块30的示意图；
图11是本发明实施例实现一种设备跟踪装置的一种电子设备示意图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的权利要求书和说明书的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式，此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他单元。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同，本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
实施例1
如图1所示，一种设备跟踪方法，包括以下步骤：
S110、利用麦克风/麦克风阵列获取设备原始声信号；
S120、根据傅里叶变换对所述原始声信号进行频率特征提取并降维，得到音频特征；
S130、获取所述设备环境中噪声频谱内容，根据时间差定位方法、基于所述噪声频谱内容和所述原始声信号对所述设备形成声源定位；
S140、结合所述音频特征和所述声源定位对所述设备进行动态跟踪。
在实施例1中，可以采用多种硬件平台和麦克风阵列进行声源定位和设备声纹提取。例如：硬件采用树莓派和Seeed ReSpeaker6麦克风阵列， 软件使用sounddevice库进行声源采集。采用Stream将RawStream再次封装为numpy数组进行传输，数据流以非阻塞方式发送，采样频率可根据情况选定，但一般不低于48kHZ。当声源与麦克风阵列的各个阵元之间的距离较远时，麦克风接收到的声波近似成为平面波。采用平面波的到达时间差获得声源位置。当声源与麦克风阵列的距离较近时，麦克风阵列接收到的声波为球面波。采用球面波特征补偿进行定位解算。
其中，如图2-4为基于麦克风阵列的设备定位和识别、基于多点位麦克风的设备定位和识别和基于麦克风/麦克风阵列的设备定位和识别的示意图，麦克风可以是独立的，也可以是麦克风阵列。麦克风阵列可以是一维直线型阵列，即将麦克风依次按照等间距排成一列。三角定位算法进行 2D 定向。二维平面型阵列，由一维空间扩展至二维空间。常见的平面型有十字型和圆形阵列等。圆形阵列是将多个阵元均匀放置在半径为r的圆上。十字型麦克风阵列是一维均匀直线型阵列按照十字相交的方式转换到二维空间。三维空间型阵列，阵元在三维空间中，按照一定的方式摆放成一个立体的阵列。典型的，球型麦克风阵列是把多个阵元均匀地放在半径为r的球面上。采集的声音采用数据采用数据库进行存储。分布于施工现场各处的麦克风和麦克风阵列可以实现更为精准的大尺度/微尺度设备定位和跟踪。经测试效果明显，相对于传统定位方式，结合现场三维地图，可以实现精度更高、跟踪连续的设备位置和工作状态跟踪。
实施例2
如图5所示，一种设备跟踪方法，包括以下步骤：
S210、利用麦克风/麦克风阵列获取设备原始声信号；
S220、根据傅里叶变换对所述原始声信号进行频率特征提取并降维，得到音频特征；
S230、获取设备环境中噪声频谱内容，并对所述原始声信号和所述噪声频谱内容进行预收录和预处理；
S240、基于TDOA算法估计所述原始声信号到达所述麦克风阵列各阵元之间的时延估计值；
S250、计算所述时延估计值和声源传播速度的乘积，求出对应的距离差，根据所述距离差计算空间几何的交点，以确定声源位置；
S260、结合所述音频特征特征和所述声源定位对所述设备进行动态跟踪。
在实施例2中，离散的原始声信号的数据量过于庞大，并不能直接用于分类器的分类处理，并且原始数据的高维特征不能有效表现目标声信号的本质特征，其中很多信息是无效的。需要对原始声信号进行特征提取，通过选取合适特征，对原始特征进行降维，保留能够体现原始声信号本质的特征，以更为精确的分区不同设备的声音特征，从而提升辨识的精度和效率。例如：采用基于人耳特性的梅尔倒谱特征以及 RASTA-PLP 特征，这两种特征通过模仿人耳的听觉特性将不同种类的声音进行区分，采用傅里叶变换对声信号频率特征提取算法，所得的频率特征能够有效的进行声信号分离，特征信号作为识别的基础。频率特征的提取方法如下：
步骤1、对所述原始声信号进行m组延时处理并排序，得到m行n列的声信号矩阵，其中，m、n均为大于1的整数；
步骤2、对所述声信号矩阵中第一列与其后n-1列进行时序相关计算得到时序相关向量R1，其中R1=[ R1,1…R1,j…R1,n-1 ]，并将R1存入时序相关矩阵R第一行中，j为大于1的整数；
步骤3、重复步骤2得到其后n-2列原始声信号延时矩阵的n-1行n-1列的时序相关矩阵R；
步骤4、对矩阵R第一行进行快速傅里叶变换或离散余弦变换，将检测出变换后峰值的频率分量保存一维数组T1中；
步骤5、重复步骤4得到由矩阵 R 每一行进行快速傅里叶变换或离散余弦变换后峰值所对应的频率分量构成的n-1行的数组 T；
步骤6、对时序相关矩阵R每一行进行去均值化，即每一行减去自身均值，这一步骤在某些情况下可以省略；
步骤7、对所述数组T中的各频率分量进行加权统计处理，不同的频率分量的权重不同，需要加权处理，达到阈值以上的频率分量即为所述原始声信号中所包含的频率特征。
基本的设备定位方法采用波束形成声源定位。算法原理是将麦克风采集声音信号输出功率的特征峰值基于到达时间差进行解算。 采用基于原始信号和背景噪声频谱内容的先验知识改进型的定向波束形成定位过程中算法，即对设备特征噪音以及环境背景噪音的预收录和预处理。同时采用基于到达时间TDOA 算法计算进行时延估计和位置估计。第一阶段为时延估计（TDE），估计频率信号到麦克风阵列各阵元之间的 TDOA 值，第二阶段为位置估计，计算时延估计值和声源传播的速度（一般是声速）的乘积，求出对应的距离差，根据麦克风摆放方式即可从时域里计算出空间几何的交点，此交点确定了声源位置。 TDE 主要采用互相关（Generalize Cross Correlation，GCC）算法、最小均方滤波（Least MeanSquare，LMS）算法、互功率谱相位（Cross-power Spectrum Phase，CSP）算法、一般加权函数（General Weighting Function，GWF）及其改进ROTH、SCOT、相位变换（PhaseTransformation，PHAT）。
实施例3
如图6-8所示，一种设备跟踪方法中的基于麦克风阵列的定位方法，包括：
三个麦克风部署在已知位置，定位主机根据麦克风对设备声音采集的到达时间差，乘以音速，得到距离差d，如图所示距离差1、距离差2，进行距离补偿，分别得到距离1、距离2、距离3并相交于一点，该点即为设备位置。
确定设备和设备位置及其工作状态检测利用设备频率的动态特征，如柴油发动机不同负荷和转速下的谐波特征以及声强的波动特征，打桩机的有节奏的撞击声等。其工作特征包括预处理以及动态捕获更行特征。同时，对现场的人声进行识别，提取如“倒车”、“停”、“起吊”等指令特征，结合位置信息确定设备工作状态，其中语音识别采用神经网络等方法实现。并根据设备工作噪音特征以及定位轨迹，可以对设备位置进行动态跟踪。确定设备的工作状态以及所在位置，将提取的声纹特征进行辨识模型的更新，对新出现的声纹进行辨识并对新设备的进场进行判断、识别和跟踪。之后再持续跟踪，比如以数秒或分钟为间隔进行重复采样，可以实时识别并跟踪设备位置，形成跟踪轨迹。语音指令主要辅助识别设备工作状态，并对危险进行识别，比如“快停快停”可能预示危险情况的发生，可和附近设备对应起来。
实施例4
如图9所示，一种设备跟踪装置，包括：
获取模块10：用于利用麦克风/麦克风阵列获取设备原始声信号；
识别模块20：用于根据傅里叶变换对所述原始声信号进行频率特征提取并降维；
定位模块30：用于获取所述设备环境中噪声频谱内容，根据时间差定位方法、基于所述噪声频谱内容和所述原始声信号对所述设备形成声源定位；
跟踪模块40：用于结合所述识别模块得到的所述频率特征和所述定位模块得到的所述声源定位对所述设备进行动态跟踪。
上述装置的一种实施方式为：获取模块10利用麦克风/麦克风阵列获取设备原始声信号；识别模块20根据傅里叶变换对所述原始声信号进行频率特征提取并降维；定位模块30获取所述设备环境中噪声频谱内容，根据时间差定位方法、基于所述噪声频谱内容和所述原始声信号对所述设备形成声源定位；跟踪模块40结合所述识别模块得到的所述频率特征和所述定位模块得到的所述声源定位对所述设备进行动态跟踪。
实施例5
如图10所示，一种设备跟踪装置中的定位模块30，包括：
预处理单元32：用于获取设备环境中噪声频谱内容，并对所述原始声信号和所述噪声频谱内容进行预收录和预处理；
估计单元34：用于基于TDOA算法估计所述原始声信号到达所述麦克风阵列各阵元之间的时延估计值；
计算单元36：用于计算所述时延估计值和声源传播速度的乘积，求出对应的距离差，根据所述距离差计算空间几何的交点，以确定声源位置。
上述装置的一种实施方式为：预处理单元32获取设备环境中噪声频谱内容，并对所述原始声信号和所述噪声频谱内容进行预收录和预处理；估计单元34基于TDOA算法估计所述原始声信号到达所述麦克风阵列各阵元之间的时延估计值；计算单元36计算所述时延估计值和声源传播速度的乘积，求出对应的距离差，根据所述距离差计算空间几何的交点，以确定声源位置。
实施例6
如图11所示，一种电子设备，包括存储器701和处理器702，所述存储器701用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器702执行以实现上述的任一一种方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时实现如上述的任一一种方法。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器701中，并由处理器702执行，并由输入接口705和输出接口706完成数据的I/O接口传输，以完成本发明,一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括，但不仅限于，存储器701、处理器702,本领域技术人员可以理解，本实施例仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入器707、网络接入设备、总线等。
处理器702可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器702、数字信号处理器802(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgRAM503mableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器702可以是微处理器702或者该处理器702也可以是任何常规的处理器702等。
存储器701可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器701也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡（SmartMediaCard,SMC），安全数字（SecureDigital,SD）卡，闪存卡（FlashCard）等,进一步地，存储器701还可以既包括计算机设备的内部存储单元也包括外部存储设备,存储器701用于存储计算机程序以及计算机设备所需的其他程序和数据,存储器701还可以用于暂时地存储在输出器708，而前述的存储介质包括U盘、移动硬盘、只读存储器ROM703、随机存储器RAM704、碟盘或光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。

Claims (9)

1.一种设备跟踪方法，其特征在于，包括：
利用麦克风/麦克风阵列获取设备原始声信号；
根据傅里叶变换或离散余弦变换对所述原始声信号进行频率特征提取并降维，得到音频特征；
获取所述设备环境中噪声频谱内容，根据时间差定位方法、基于所述噪声频谱内容和所述原始声信号对所述设备形成声源定位；
结合所述音频特征和所述声源定位对所述设备进行动态跟踪。
2.根据权利要求1所述的一种设备跟踪方法，其特征在于，所述麦克风阵列的摆放位置不限于一维直线阵列、二维平面型阵列、三维空间型阵列。
3.根据权利要求1所述的一种设备跟踪方法，其特征在于，所述根据傅里叶变换或离散余弦变换对所述原始声信号进行频率特征提取并降维，得到音频特征，包括以下步骤：
步骤S31、对所述原始声信号进行m组延时处理并排序，得到m行n列的声信号矩阵，其中，m、n均为大于1的整数；
步骤S32、对所述声信号矩阵中第一列与其后n-1列进行时序相关计算得到时序相关向量R1，其中R1=[ R1,1…R1,j…R1,n-1 ]，并将R1存入时序相关矩阵R第一行中，j为大于1的整数；
步骤S33、重复步骤S32得到其后n-2列原始声信号延时矩阵的n-1行n-1列的时序相关矩阵R；
步骤S34、对矩阵R第一行进行快速傅里叶变换或离散余弦变换，将检测出变换后峰值的频率分量保存一维数组T1中；
步骤S35、重复步骤S34得到由矩阵 R 每一行进行快速傅里叶变换或离散余弦变换后峰值所对应的频率分量构成的n-1行的数组 T；
步骤S36、对所述数组T中的各频率分量进行加权统计处理，达到阈值以上的频率分量即为所述原始声信号中所包含的频率特征。
4.根据权利要求1所述的一种设备跟踪方法，其特征在于，所述获取所述设备环境中噪声频谱内容，根据时间差定位方法、基于所述噪声频谱内容和所述原始声信号对所述设备形成声源定位，包括：
获取设备环境中噪声频谱内容，并对所述原始声信号和所述噪声频谱内容进行预收录和预处理；
基于TDOA算法估计所述原始声信号到达所述麦克风阵列各阵元之间的时延估计值；
计算所述时延估计值和声源传播速度的乘积，求出对应的距离差，根据所述距离差计算空间几何的交点，以确定声源位置。
5.一种设备跟踪系统，用于实现权利要求1所述的一种设备跟踪方法，其特征在于，包括：
获取模块：用于利用麦克风/麦克风阵列获取设备原始声信号；
识别模块：用于根据傅里叶变换对所述原始声信号进行频率特征提取并降维，得到音频特征；
定位模块：用于获取所述设备环境中噪声频谱内容，根据时间差定位方法、基于所述噪声频谱内容和所述原始声信号对所述设备形成声源定位；
跟踪模块：用于结合所述识别模块得到的所述音频特征和所述定位模块得到的所述声源定位对所述设备进行动态跟踪。
6.根据权利要求5所述的一种设备跟踪系统，其特征在于，所述定位模块包括：
预处理单元：用于获取设备环境中噪声频谱内容，并对所述原始声信号和所述噪声频谱内容进行预收录和预处理；
估计单元：用于基于TDOA算法估计所述原始声信号到达所述麦克风阵列各阵元之间的时延估计值；
计算单元：用于计算所述时延估计值和声源传播速度的乘积，求出对应的距离差，根据所述距离差计算空间几何的交点，以确定声源位置。
7.根据权利要求5所述的一种设备跟踪系统，其特征在于，所述识别模块包括：
步骤S31、对所述原始声信号进行m组延时处理并排序，得到m行n列的声信号矩阵，其中，m、n均为大于1的整数；
步骤S32、对所述声信号矩阵中第一列与其后n-1列进行时序相关计算得到时序相关向量R1，其中R1=[ R1,1…R1,j…R1,n-1 ]，并将R1存入时序相关矩阵R第一行中，j为大于1的整数；
步骤S33、重复步骤S32得到其后n-2列原始声信号延时矩阵的n-1行n-1列的时序相关矩阵R；
步骤S34、对矩阵R第一行进行快速傅里叶变换或离散余弦变换，将检测出变换后峰值的频率分量保存一维数组T1中；
步骤S35、重复步骤S34得到由矩阵 R 每一行进行快速傅里叶变换或离散余弦变换后峰值所对应的频率分量构成的n-1行的数组 T；
步骤S36、对所述数组T中的各频率分量进行加权统计处理，达到阈值以上的频率分量即为所述原始声信号中所包含的频率特征。
8.一种设备跟踪装置，其特征在于，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1～4中任一项所述的一种设备跟踪方法。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被计算机执行时实现如权利要求1～4中任一项所述的一种设备跟踪方法。
CN202111118342.XA 2021-09-24 2021-09-24 一种设备跟踪方法、系统及装置 Pending CN113567926A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111118342.XA CN113567926A (zh) 2021-09-24 2021-09-24 一种设备跟踪方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111118342.XA CN113567926A (zh) 2021-09-24 2021-09-24 一种设备跟踪方法、系统及装置

Publications (1)

Publication Number Publication Date
CN113567926A true CN113567926A (zh) 2021-10-29

Family

ID=78174230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111118342.XA Pending CN113567926A (zh) 2021-09-24 2021-09-24 一种设备跟踪方法、系统及装置

Country Status (1)

Country Link
CN (1) CN113567926A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991573A (zh) * 2015-06-25 2015-10-21 北京品创汇通科技有限公司 一种基于声源阵列的定位跟踪方法及其装置
CN106970356A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种复杂环境下声源定位跟踪方法
CN107271963A (zh) * 2017-06-22 2017-10-20 广东美的制冷设备有限公司 声源定位的方法和装置及空调器
CN108198562A (zh) * 2018-02-05 2018-06-22 中国农业大学 一种用于实时定位辨识动物舍内异常声音的方法及系统
DE102017107634A1 (de) * 2017-04-10 2018-10-11 Atlas Elektronik Gmbh Verarbeitungseinheit für eine sonaranlage zum verarbeiten von hydrophonsignalen sowie sonaranlage und verfahren
CN108766461A (zh) * 2018-07-17 2018-11-06 厦门美图之家科技有限公司 音频特征提取方法及装置
CN109669159A (zh) * 2019-02-21 2019-04-23 深圳市友杰智新科技有限公司 基于麦克风十字环阵列的声源定位跟踪装置及方法
CN110082725A (zh) * 2019-03-12 2019-08-02 西安电子科技大学 基于麦克风阵列的声源定位时延估计方法、声源定位系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991573A (zh) * 2015-06-25 2015-10-21 北京品创汇通科技有限公司 一种基于声源阵列的定位跟踪方法及其装置
CN106970356A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种复杂环境下声源定位跟踪方法
DE102017107634A1 (de) * 2017-04-10 2018-10-11 Atlas Elektronik Gmbh Verarbeitungseinheit für eine sonaranlage zum verarbeiten von hydrophonsignalen sowie sonaranlage und verfahren
CN107271963A (zh) * 2017-06-22 2017-10-20 广东美的制冷设备有限公司 声源定位的方法和装置及空调器
CN108198562A (zh) * 2018-02-05 2018-06-22 中国农业大学 一种用于实时定位辨识动物舍内异常声音的方法及系统
CN108766461A (zh) * 2018-07-17 2018-11-06 厦门美图之家科技有限公司 音频特征提取方法及装置
CN109669159A (zh) * 2019-02-21 2019-04-23 深圳市友杰智新科技有限公司 基于麦克风十字环阵列的声源定位跟踪装置及方法
CN110082725A (zh) * 2019-03-12 2019-08-02 西安电子科技大学 基于麦克风阵列的声源定位时延估计方法、声源定位系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张皓然: "微弱声信号的特征提取与辨识", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Similar Documents

Publication Publication Date Title
US11398235B2 (en) Methods, apparatuses, systems, devices, and computer-readable storage media for processing speech signals based on horizontal and pitch angles and distance of a sound source relative to a microphone array
CN107925821B (zh) 监控
CN107985225B (zh) 提供声音追踪信息的方法、声音追踪设备及具有其的车辆
Christie et al. Acoustics based terrain classification for legged robots
CN110991289B (zh) 异常事件的监测方法、装置、电子设备及存储介质
JP2022513839A (ja) 自律型車両のセンサデータリポジトリの検索
Küçükbay et al. Use of acoustic and vibration sensor data to detect objects in surveillance wireless sensor networks
Zhuo et al. Damage identification of bolt connection in steel truss structures by using sound signals
CN116577788A (zh) 输电线路异物侵限监测方法、装置和计算机设备
Cabrera-Ponce et al. Detection of nearby UAVs using CNN and Spectrograms
Cheng et al. Spectrogram-based classification on vehicles with modified loud exhausts via convolutional neural networks
CN117906083A (zh) 一种管道泄漏检测方法及巡检小车
CN113567926A (zh) 一种设备跟踪方法、系统及装置
CN105139852A (zh) 一种基于改进的mfcc声音特征的工程机械识别方法及识别装置
CN116910690A (zh) 一种基于数据融合的目标分类系统
CN106643541A (zh) 一种桥梁实时监测数据管理分析的方法及装置
Fu et al. A Mobile Application for Sound Event Detection.
Parineh et al. A Deep Wavelet-Fourier Method for Monaural Vehicle Speed Estimation in Real-Life Settings
Sinitsyn et al. Passive acoustic radar for aircraft trajectory tracking
CN103826202A (zh) 基于手机传感器信息改进WiFi定位结果跳动的方法
Hao et al. Acoustic Non-Line-of-Sight Vehicle Approaching and Leaving Detection
CN111292767A (zh) 一种音频事件检测方法和装置以及设备
CN113472945B (zh) 一种基于碰撞检测的数据传输方法、系统和移动设备
CN110133571B (zh) 基于声音识别的动态测向方法、测向系统及可读存储介质
Cheng et al. Research on Vehicle Horn Localization Method Based on Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination