CN115657118B - 基于深度学习的声震信号数据识别方法及系统 - Google Patents
基于深度学习的声震信号数据识别方法及系统 Download PDFInfo
- Publication number
- CN115657118B CN115657118B CN202211064478.1A CN202211064478A CN115657118B CN 115657118 B CN115657118 B CN 115657118B CN 202211064478 A CN202211064478 A CN 202211064478A CN 115657118 B CN115657118 B CN 115657118B
- Authority
- CN
- China
- Prior art keywords
- acoustic shock
- shock signal
- data
- sample
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010068150 Acoustic shock Diseases 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000013145 classification model Methods 0.000 claims abstract description 10
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 19
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000002054 transplantation Methods 0.000 claims description 7
- 230000005236 sound signal Effects 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000035939 shock Effects 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000002469 basement membrane Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于深度学习的声震信号数据识别方法及系统，所述方法包括通过声震传感器阵列采集目标原始声震信号数据并将原始声震信号数据传输至样本数据库；利用声震信号增强技术对样本数据库中的原始声震信号数据进行增强；将增强后的数据和原始数据合并，利用合并后的数据对声震信号分类模型进行训练，将待检测声震信号输入训练好的声震信号分类模型，得到分类结果。本发明利用样本数据库进行监督式学习，将待检测目标的声震信号送入计算系统，最终识别出目标的真实类别和型号，实现了将目标识别系统的嵌入式部署，极大提升了区域态势感知的速度和准确性。
Description
技术领域
本发明属于目标探测领域，具体为一种基于深度学习的声震信号数据增强方法及系统。
背景技术
为实现对防区内态势的准确把握，须实时感知区域内可能出现的目标及其运动状态。态势感知的信息来源是区域中的各探测器节点，由探测器采集目标产生的多种物理场信号，依据不同的特征量区分不同的目标。近年来，数据增强是为了防止出现数据匮乏和防止出现过拟合从而构建高鲁棒性声震识别系统的关键技术。现有的区域级别的增强方法，如SpecAugment，它大大提高了训练的灵活性，减少了生成新样本的时间。然而SpecAugment有两个缺点：(1)它减少了频谱图上有用信息的比例，从而降低了训练效率；(2)随机为频谱图进行掩膜，不仅效率低下，同时也会引入过多的歧义。
发明内容
为了解决现有技术中的上述技术缺陷，本发明提出了一种基于深度学习的声震信号数据增强方法。
实现本发明目的的技术方案为：一种基于深度学习的声震信号识别方法，具体步骤为：
S1：通过声震传感器阵列采集目标原始声震信号数据并将原始声震信号数据传输至样本数据库；
S2：利用声震信号增强技术对样本数据库中的原始声震信号数据进行增强；
S3：将增强后的数据和原始数据合并，利用合并后的数据对声震信号分类模型进行训练，将待检测声震信号输入训练好的声震信号分类模型，得到分类结果。
优选地，所述声震传感器阵列包括MEMS声传感器阵列和MEMS震动传感器阵列。
优选地，利用声震信号增强技术对样本数据库中的原始声震信号数据进行增强的具体步骤为：
S201：提取声震信号的共振峰参数特征和Gammatone频率倒谱系数特征，形成频谱图；
S202：随机选择两个频谱图，输入到ResNet网络中得到两个频谱图的热力图；
S203：分别将两幅热力图划分为若干个候选区域，计算每个候选区域的重要性分数，并按重要性得分进行排序；
S204：将其中一幅热力图重要性分数高于第一设定阈值的候选区域填补另一幅热力图重要性分数低于第二设定阈值的候选区域；
S205：重复S202～204，对所有原始声震信号数据进行增强。
优选地，提取声震信号的共振峰参数特征的具体方法为：
(1)通过对声震信号x(n)进行预加重、加窗和分帧，得到xi(n)，i表示声音信号的第i帧；
(2)对xi(n)进行离散傅里叶变换获得：
其中，N为桢长度。
(3)取Xi(k)的振幅，并取对数，得到：
(4)对执行傅立叶逆变获得倒谱序列：
(5)在倒置的频域轴上设置低通窗函数window(n)，将窗函数乘以倒谱序列得到：
(6)对hi(n)进行傅立叶变换后，得到Xi(k)的包络：
(7)通过在包络上搜索最大值来获得共振峰参数。
优选地，低通窗函数设置为矩形窗：
其中，n0是窗函数的宽度。
优选地，提取Gammatone频率倒谱系数特征的Gammatone滤波器的时域表达式如下：
h(t)＝ktn-1e-2πbtcos(2πfct+φ)，t≥0
其中，φ是相位，fc是中心频率，n是滤波器的阶数，k是滤波器增益，b是衰减因子，t为时间。
优选地，热力图h具体为：
h2＝Resize(h1，[T，F])
式中，C是指ResNet网络的最后一层中的通道数，fi表示ResNet网络输出的第i个特征图，Resize是通过插值将裁切的特征图映射到输入大小的函数，T和F分别代表频谱图的帧数和维度数。
优选地，候选区域的重要性分数定义为：
式中，h(i，j)表示热力图h第i行第j列的数值。
优选地，对声震信号分类模型进行训练的具体过程为：
将增强后的数据和原始数据合并后输入ResNet网络，网络最后一层使用Softmax层，将网络输入结果映射到维度数为训练样本类别数，取值范围在(0，1)的向量中；
利用反向传播算法训练，使训练过程中损失函数值不断减小，直至收敛，从而完成训练过程。
本发明还提出了一种基于深度学习的声震信号识别系统，包括：
声震传感器阵列，用于对目标进行识别，获取得到样本的原始数据；
样本数据库，用于对原始数据进行简单预处理后得到的样本数据；
特征提取模块，用于从样本数据中提取声震信号的共振峰参数特征和GFCC特征；
特征增强模块，用于将样本的声震信号特征进行特征增强；
声震信号识别模块，用于对增强后的声震信号特征和原数据特征使用ResNet网络进行分类，得到样本的目标信息；
结果输出模块，用于对目标样本的信息进行结果输出；
模型压缩和移植模块，将声震信号识别模型部署至嵌入式设备上，实现模型压缩和移植。
本发明与现有技术相比，其显著优点为：(1)本发明结构设计合理，利用样本数据库进行监督式学习，将待检测目标的声震信号送入计算系统，最终计算出目标的实际类型与型号，协助用户检测和认知目标，并实现了将识别系统部署在嵌入式开发板中，极大提升了区域态势感知的速度和准确性。
(2)本发明采用数据增强技术，利用迁移学习实现深度神经网络的快速收敛，通过选择人工智能芯片实现深度神经网络的嵌入式部署，使用模型剪枝、压缩技术加速模型推理时间，提高检测和识别效率，实现实时在线检测识别。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明的结构框图。
图2为本发明中的共振峰参数特征提取示意图。
图3为本发明中的GFCC特征提取示意图。
图4为本发明中的数据增强和识别的结构示意图。
具体实施方式
容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。相反，提供这些实施例的目的是为了使本领域的技术人员更透彻地理解本发明。下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的创新构思。
如图1所示，本发明实施例提出了一种基于深度学习的近地面目标声震信号分类识别系统，包括声震传感器阵列、样本数据库、特征提取模块、特征增强模块、声震分类模块、结果输出模块和模型压缩和移植模块，其中：
声震传感器阵列，用于对目标进行识别，获取得到样本的原始数据；
样本数据库，用于对原始数据进行简单预处理后得到的样本数据；
特征提取模块，用于从样本数据中提取声震信号的共振峰参数特征和GFCC特征；
特征增强模块，用于将样本的声震信号特征进行特征增强；
声震信号识别模块，用于对增强后的声震信号特征和原数据特征使用ResNet网络进行分类，得到样本的目标信息；
结果输出模块，用于对目标样本的信息进行结果输出；
模型压缩和移植模块，将声震信号识别模型部署至嵌入式设备上，实现模型压缩和移植。
在本实施方式中，所述声震信号通过声震传感器阵列进行获取。声震传感器阵列包括声传感器阵列以及震动传感器阵列，其中，声传感器阵列也称为麦克风阵列。麦克风阵列，其主要是一种由多个单独的麦克风个体根据一定的平面几何形状或者空间几何形状组成的声音接收阵列。麦克风阵列相对于单独的麦克风，其具有较多的优势。麦克风阵列接收信号的方式是一种空间扫描的接收方式，因此可以增加接收信号中的有效成分，抑制接收信号中的无效成分或者干扰成分，从而实现声音信号的精确定位和跟踪。影响麦克风阵列的信号接收性能的主要因素包括阵列中麦克风的平面或者空间几何形状，麦克风的数量以及各个麦克风之间的间距。目前，比较常见的麦克风阵列形状有直线麦克风阵列，圆形麦克风阵列，十字形麦克风阵列，方形麦克风阵列以及球面麦克风阵列。其中，实际应用较多的阵列形状为直线麦克风阵列，圆形麦克风阵列以及球面。在目前的麦克风阵列系统中，较为广泛使用的是MEMS麦克风和驻极体麦克风两种。其中，MEMS麦克风虽然成本较高，但是其在传感器性能、可靠性和可制造性方面都有着显著的优势。本发明选用的WMM7035DTFN0具有低噪声、全向性和出色的射频抗扰性。本发明通过选型和设计，拟采用圆形阵列方式进行设计。对于震动传感器，JFMJ2000系列加速度(高带宽震动)传感器是一款全硅三明治电容式MEMS加速度(高带宽震动)传感器。采用相关双采样技术，对检测电路的热漂移变化具有较强的抑制作用。相较传统压电式震动传感器，JFMJ2000系列振动传感器，通过敏感结构的隔应力设计和低应力封装，传感器具有优秀的长期稳定性性能。除此之外，传感器具备在线自检测功能，可通过自检测及时发现敏感结构或检测电路的异常和失效。过载自保护功能可促使传感器感受搭配超出量程的加速度后快速恢复测试功能。
在本实施方式中，所述结果输出模块信号连接有显示屏。通过设置结果输出模块信号连接有显示屏，实现诊断报告的屏幕显示。
以下列举所述基于深度学习的近地面目标声震信号分类识别系统的较优实施例，以清楚的说明本发明的内容，应当明确的是，本发明的内容并不限制于以下实施例，其他通过本领域普通技术人员的常规技术手段的改进亦在本发明的思想范围之内。
如图2所示，本实施例提出了一种基于深度学习的近地面目标声震信号特征提取方法，包括如下步骤：
S1、原始数据采集：通过声震传感器阵列获取原始数据，并将原始声震信号数据传输至样本数据库；
具体的，在原始信号输入样本数据库之前，需对原始信号对声震信号进行语音活动检测，去除静音部分，以及将所有数据的采样率进行统一，旨在说明声震信号价值目标区域；
S2、样本数据增强：将样本数据库中的原始数据使用声震信号增强技术进行增强，并存储至样本数据库中，增强后的声震信号扩充了原本包含信息量少的数据，包括提取共振峰参数特征和Gammatone频率倒谱系数(GFCC)，通过有选择性的切割重要区域和填补容易区分的区域来控制混合结果的保真度。具体步骤如下：
S201、声学特征提取：提取声震信号的共振峰参数特征和Gammatone频率倒谱系数(GFCC)特征，形成频谱图。GFCC相比传统的MFCC，可以将不同的频率分量与基膜的不同位置进行匹配，并将频率的张量转换为基膜的振幅。提取共振峰参数特征步骤共包含如下七个步骤：
(1)通过对声震信号x(n)进行预加重、加窗和分帧(帧长度N)，得到xi(n)，i表示声音信号的第i帧；
(2)对xi(n)进行离散傅里叶变换获得：
(3)取Xi(k)的振幅，然后取对数，得到：
(4)对执行傅立叶逆变换以获得倒谱序列：
(5)在倒置的频域轴上设置低通窗函数window(n)，通常可以设置为矩形窗：
其中n0是窗函数的宽度，然后将窗函数乘以倒谱序列得到：
(6)对hi(n)进行傅立叶变换后，得到Xi(k)的包络：
(7)通过在包络上搜索最大值来获得共振峰参数。
声震信号经过预处理后，根据人耳蜗的听觉特性，通过Gammatone滤波器组可以获得一组倒谱特征参数。该参数被记录为GFCC(Gammatone频率倒谱系数)，可进一步用于声震信号识别系统。在存在噪声的情况下，该特征参数的识别率和鲁棒性优于传统的特征参数MFCC，并且在低信噪比的情况下具有更大的优势。可以组合具有不同中心频率的多个Gammatone滤波器以形成滤波器组。使用该滤波器组的信号可以表示原始语音信号在不同频率分量下的响应特性。
如图3所示，对于GFCC特征，Gammatone滤波器的时域表达式如下：
h(t)＝ktn-1e-2πbtcos(2πfct+φ)，t≥0
其中，φ是相位，fc是中心频率，n是滤波器的阶数。当n＝3，4，5时，Gammatone滤波器可以更好地模拟人耳基底膜的听觉特性。k是滤波器增益。b是衰减因子，它取决于滤波器带宽。它控制脉冲响应的衰减速率。其与中心频率f的关系为：
b＝1.019×24.7×(4.37×fc/1000+1)
S202、提取热力图：随机选择两个频谱图，输入到ResNet网络中得到两个频谱图的热力图；
热力图h定义为：
h2＝Resize(h1，[T，F])
其中C是指ResNet网络的最后一层中的通道数，fi表示ResNet网络输出的第i个特征图，Resize是通过插值将裁切的特征图映射到输入大小的函数，T和F分别代表频谱图的帧数和维度数，h1和h2是计算的到最终热力图的中间结果。
S203、剪切粘贴实现频谱图混合：分别将两幅热力图使用指定大小，指定步长的方式划分为若干个候选区域，计算每个候选区域的重要性分数，候选区域的重要性分数定义为：
对所有候选区域的重要性I得分进行排序，并将排序映射到(0，1)的区间作为排名分数τ。所有候选区域中的排名分数τ被用作衡量当前训练模型关注度的最终重要性。例如，如果候选区域S的重要性得分高于其他候选区域区域，则τ(S)＝1。排名分数的高低决定了候选区域对声震信号的深层嵌入的贡献的大小。
S204：对于随机抽取的两个语音频谱图作为训练样本(xA，yA)和(xB，yB)和给定阈值(τA，τB)，其中xA和xB分别代表训练样本A和B样本的频谱图，yA和yB分别代表A和B样本的真实标签。对xA中随机抽样一个候选区域SA，其排名分数τ(SA)小于第一阈值τA，以及在xB中随机采样一个候选区域SB，其排名分数τ(SB)大于第二阈值τB，且第二阈值τB大于第一阈值τA，然后将排名分数较高的候选区域SB填补到SA对应的位置，使得被SB填补的xA作为增强后的新样本，同时对于新样本的标签也将融合两个训练样本的标签。相应定义为：
其中，M(S)是Mij＝1，(i，j)∈S的二进制掩码，和/>分别表示混合后的声震信号频谱图数据和混合后的声震信号标签，圈点是逐元素乘法，λ是两个训练样本之间的组合比，从(0，1)的均匀分布中采样，δ在该数据增强方法中取值为1。使用自监督方法训练提取热力图的ResNet网络，提高网络提取频谱图热力图的能力。
S205：重复S202～204，对所有原始声震信号数据进行增强。
S3、样本数据识别：将增强后的数据和原始数据合并，利用合并后的数据对声震信号分类模型进行训练，在测试阶段为声震信号分类模型输入待测声震型号，得到声震信号的目标信息，并将得到的识别结果传输出，为了降低模型参数量，本发明中，声震信号分类模型使用ResNet网络作为骨干网络。
训练声震信号分类网络并进行分类具体包括如下步骤：
S301、将增强后的数据和原始数据合并后输入ResNet网络，网络最后一层使用Softmax层，将网络输入结果映射到维度数为训练样本类别数，取值范围在(0，1)的向量中。利用反向传播算法训练，使训练过程中损失函数值不断减小，直至收敛，从而完成训练过程；
S302、声震信号分类网络训练完成后，输入测试声震信号数据，网络预测出声震型号所属类别完成对声震信号的识别和分类。
分析结果展示：结果输出模块对目标类型进行输出，通过显示屏显示结果和打印机打印输出报告结果。
本发明的创新点在于使用了新的数据增强方法，提高了声震信号识别的准确性和鲁棒性，提高了探测系统的目标识别效率和定位准确性，对提升区域态势感知能力具有及其重要的作用。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
应当理解，为了精简本发明并帮助本领域的技术人员理解本发明的各个方面，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时在单个实施例中进行描述，或者参照单个图进行描述。但是，不应将本发明解释成示例性实施例中包括的特征均为本专利权利要求的必要技术特征。
应当理解，可以对本发明的一个实施例的设备中包括的模块、单元、组件等进行自适应性地改变以把它们设置在与该实施例不同的设备中。可以把实施例的设备包括的不同模块、单元或组件组合成一个模块、单元或组件，也可以把它们分成多个子模块、子单元或子组件。
Claims (9)
1.一种基于深度学习的声震信号识别方法，其特征在于，具体步骤为：
S1：通过声震传感器阵列采集目标原始声震信号数据并将原始声震信号数据传输至样本数据库；
S2：利用声震信号增强技术对样本数据库中的原始声震信号数据进行增强，具体步骤为：
S201：提取声震信号的共振峰参数特征和Gammatone频率倒谱系数特征，形成频谱图；
S202：从步骤S201获得的频谱图中随机选择两个频谱图，输入到ResNet网络中得到两个频谱图的热力图；
S203：分别将两幅热力图划分为若干个候选区域，计算每个候选区域的重要性分数，并按重要性得分进行排序；
S204：对于随机抽取的两个语音频谱图作为训练样本(xA，yA)和(xB，yB)和给定阈值(τA，τB)，其中xA和xB分别代表训练样本A和B样本的频谱图，yA和yB分别代表A和B样本的真实标签，对xA中随机抽样一个候选区域SA，其排名分数τ(SA)小于第一阈值τA，以及在xB中随机采样一个候选区域SB，其排名分数τ(SB)大于第二阈值τB，且第二阈值τB大于第一阈值τA，将排名分数较高的候选区域SB填补到SA对应的位置，使得被SB填补的xA作为增强后的新样本，同时对于新样本的标签也将融合两个训练样本的标签，相应定义为：
其中，M(S)是Mij＝1，(i，j)∈S的二进制掩码，和/>分别表示混合后的声震信号频谱图数据和混合后的声震信号标签，圈点是逐元素乘法，λ是两个训练样本之间的组合比，从(0，1)的均匀分布中采样，δ在该数据增强方法中取值为1；
S205：重复S202～204，对所有原始声震信号数据进行增强；
S3：将增强后的数据和原始数据合并，利用合并后的数据对声震信号分类模型进行训练，将待检测声震信号输入训练好的声震信号分类模型，得到分类结果。
2.根据权利要求1所述的基于深度学习的声震信号识别方法，其特征在于，所述声震传感器阵列包括MEMS声传感器阵列和MEMS震动传感器阵列。
3.根据权利要求1所述的基于深度学习的声震信号识别方法，其特征在于，提取声震信号的共振峰参数特征的具体方法为：
(1)通过对声震信号x(n)进行预加重、加窗和分帧，得到xi(n)，i表示声音信号的第i帧；
(2)对xi(n)进行离散傅里叶变换获得：
其中，N为帧长度；
(3)取Xi(k)的振幅，并取对数，得到：
(4)对执行傅立叶逆变获得倒谱序列：
(5)在倒置的频域轴上设置低通窗函数window(n)，将窗函数乘以倒谱序列得到：
(6)对hi(n)进行傅立叶变换后，得到Xi(k)的包络：
(7)通过在包络上搜索最大值来获得共振峰参数。
4.根据权利要求3所述的基于深度学习的声震信号识别方法，其特征在于，低通窗函数设置为矩形窗：
其中，n0是窗函数的宽度。
5.根据权利要求1所述的基于深度学习的声震信号识别方法，其特征在于，提取Gammatone频率倒谱系数特征的Gammatone滤波器的时域表达式如下：
h(t)＝ktn-1e-2πbtcos(2πfct+φ)，t≥0
其中，φ是相位，fc是中心频率，n是滤波器的阶数，k是滤波器增益，b是衰减因子，t为时间。
6.根据权利要求1所述的基于深度学习的声震信号识别方法，其特征在于，热力图h具体为：
h2＝Resize(h1，[T，F])
式中，C是指ResNet网络的最后一层中的通道数，fi表示ResNet网络输出的第i个特征图，Resize是通过插值将裁切的特征图映射到输入大小的函数，T和F分别代表频谱图的帧数和维度数。
7.根据权利要求1所述的基于深度学习的声震信号识别方法，其特征在于，候选区域的重要性分数定义为：
式中，h(i，j)表示热力图h第i行第j列的数值。
8.根据权利要求1所述的基于深度学习的声震信号识别方法，其特征在于，对声震信号分类模型进行训练的具体过程为：
将增强后的数据和原始数据合并后输入ResNet网络，网络最后一层使用Softmax层，将网络输入结果映射到维度数为训练样本类别数，取值范围在(0，1)的向量中；
利用反向传播算法训练，使训练过程中损失函数值不断减小，直至收敛，从而完成训练过程。
9.基于权利要求1～8任一所述方法的声震信号识别系统，其特征在于，包括：
声震传感器阵列，用于对目标进行识别，获取得到样本的原始数据；
样本数据库，用于对原始数据进行简单预处理后得到的样本数据；
特征提取模块，用于从样本数据中提取声震信号的共振峰参数特征和Gammatone频率倒谱系数特征；
特征增强模块，用于将样本的声震信号特征进行特征增强；
声震信号识别模块，用于对增强后的声震信号特征和原数据特征使用ResNet网络进行分类，得到样本的目标信息；
结果输出模块，用于对目标样本的信息进行结果输出；
模型压缩和移植模块，将声震信号识别模型部署至嵌入式设备上，实现模型压缩和移植。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211064478.1A CN115657118B (zh) | 2022-09-01 | 2022-09-01 | 基于深度学习的声震信号数据识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211064478.1A CN115657118B (zh) | 2022-09-01 | 2022-09-01 | 基于深度学习的声震信号数据识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115657118A CN115657118A (zh) | 2023-01-31 |
| CN115657118B true CN115657118B (zh) | 2023-11-10 |
Family
ID=84983801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211064478.1A Active CN115657118B (zh) | 2022-09-01 | 2022-09-01 | 基于深度学习的声震信号数据识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115657118B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109212597A (zh) * | 2018-10-16 | 2019-01-15 | 中国矿业大学(北京) | 基于深度信念网络和扫描叠加的微震源自动定位方法 |
| CN109977920A (zh) * | 2019-04-11 | 2019-07-05 | 福州大学 | 基于时频谱图及卷积神经网络的水轮机组故障诊断方法 |
| KR20190087363A (ko) * | 2019-07-15 | 2019-07-24 | 인하대학교 산학협력단 | 실질 잡음 환경에서 mfcc 기법을 이용한 hmm 기반 무인 항공기 음향 인식 방법 및 시스템 |
| CN113012720A (zh) * | 2021-02-10 | 2021-06-22 | 杭州医典智能科技有限公司 | 谱减法降噪下多语音特征融合的抑郁症检测方法 |
| CN113780555A (zh) * | 2021-09-10 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于数据增强的模型训练方法、装置、设备及存储介质 |
| CN114006675A (zh) * | 2021-12-30 | 2022-02-01 | 成都星宇融科电力电子股份有限公司 | 一种反无人机光电侦查方法、系统、可读存储介质 |
-
2022
- 2022-09-01 CN CN202211064478.1A patent/CN115657118B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109212597A (zh) * | 2018-10-16 | 2019-01-15 | 中国矿业大学(北京) | 基于深度信念网络和扫描叠加的微震源自动定位方法 |
| CN109977920A (zh) * | 2019-04-11 | 2019-07-05 | 福州大学 | 基于时频谱图及卷积神经网络的水轮机组故障诊断方法 |
| KR20190087363A (ko) * | 2019-07-15 | 2019-07-24 | 인하대학교 산학협력단 | 실질 잡음 환경에서 mfcc 기법을 이용한 hmm 기반 무인 항공기 음향 인식 방법 및 시스템 |
| CN113012720A (zh) * | 2021-02-10 | 2021-06-22 | 杭州医典智能科技有限公司 | 谱减法降噪下多语音特征融合的抑郁症检测方法 |
| CN113780555A (zh) * | 2021-09-10 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于数据增强的模型训练方法、装置、设备及存储介质 |
| CN114006675A (zh) * | 2021-12-30 | 2022-02-01 | 成都星宇融科电力电子股份有限公司 | 一种反无人机光电侦查方法、系统、可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 伪装语音GFCC与共振峰混合特征的提取与识别;姜囡;;中国刑警学院学报(05);122-128 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115657118A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827837B (zh) | 一种基于深度学习的鲸鱼活动音频分类方法 | |
| CN110245608A (zh) | 一种基于半张量积神经网络的水下目标识别方法 | |
| CN102270451B (zh) | 说话人识别方法及系统 | |
| CN107808659A (zh) | 智能语音信号模式识别系统装置 | |
| CN108630209B (zh) | 一种基于特征融合与深度置信网络的海洋生物识别方法 | |
| CN111724770B (zh) | 一种基于深度卷积生成对抗网络的音频关键词识别方法 | |
| CN112735473B (zh) | 基于声音识别无人机的方法及系统 | |
| CN112799128B (zh) | 一种地震信号检测和震相提取的方法 | |
| CN105679313A (zh) | 一种音频识别报警系统及方法 | |
| CN111613240B (zh) | 一种基于注意力机制和Bi-LSTM的伪装语音检测方法 | |
| CN111986699B (zh) | 基于全卷积网络的声音事件检测方法 | |
| CN113205820B (zh) | 一种用于声音事件检测的声音编码器的生成方法 | |
| CN109031200A (zh) | 一种基于深度学习的声源空间方位检测方法 | |
| CN107690034A (zh) | 基于环境背景声音的智能情景模式切换系统及方法 | |
| CN109997186A (zh) | 一种用于分类声环境的设备和方法 | |
| CN110333484B (zh) | 基于环境背景声感知与分析的室内区域级定位方法 | |
| CN112710987A (zh) | 一种针对违法鸣笛车辆进行识别定位的麦克风阵列系统 | |
| CN113990303B (zh) | 基于多分辨率空洞深度可分卷积网络的环境声音辨识方法 | |
| CN114898773A (zh) | 基于深度自注意力神经网络分类器的合成语音检测方法 | |
| CN115657118B (zh) | 基于深度学习的声震信号数据识别方法及系统 | |
| CN110136746A (zh) | 一种基于融合特征的加性噪声环境下手机来源识别方法 | |
| CN112307926B (zh) | 一种基于生成对抗网络的声学被动式舰船目标分类方法 | |
| CN110580915B (zh) | 基于可穿戴式设备的声源目标识别系统 | |
| Stattner et al. | Acoustic scheme to count bird songs with wireless sensor networks | |
| CN115034256A (zh) | 基于深度学习的近地面目标声震信号分类识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |