CN114065809A - 一种乘用车异响识别方法、装置、电子设备以及存储介质 - Google Patents

一种乘用车异响识别方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN114065809A
CN114065809A CN202111293794.1A CN202111293794A CN114065809A CN 114065809 A CN114065809 A CN 114065809A CN 202111293794 A CN202111293794 A CN 202111293794A CN 114065809 A CN114065809 A CN 114065809A
Authority
CN
China
Prior art keywords
data
abnormal sound
audio
passenger car
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111293794.1A
Other languages
English (en)
Inventor
张博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Geely Automobile Research Institute Ningbo Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202111293794.1A priority Critical patent/CN114065809A/zh
Publication of CN114065809A publication Critical patent/CN114065809A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明涉及一种乘用车异响识别方法、装置、电子设备以及存储介质，该方法包括：步骤S1)针对有限的数据集，利用数据扩充技术完成数据集的增广；步骤S2)利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；步骤S3)利用训练后的模型进行乘用车异响数据识别。与现有技术相比，本发明具有解决了车辆异响识别领域数据匮乏、很大程度减轻网络的计算负荷等优点。

Description

一种乘用车异响识别方法、装置、电子设备以及存储介质
技术领域
本发明涉及车辆异响诊断技术，尤其是涉及一种乘用车异响识别方法、装置、电子设备以及存储介质。
背景技术
在车辆系统中存在大量的旋转机械部件和内饰部件。这些零部件由于加工误差或者工作过程中的物理因素会导致部件的磨损、位移等现象，机器零部件在运行期间若出现上述原因导致的损坏将直接关系到财产甚至安全的损失。目前，凭借大量且有效的数据集，基于各种信号的故障诊断技术已广泛的应用于工厂流水线、核工厂中。然而针对车辆系统中存在的异响问题，由于相关数据集的匮乏限制了本领域诊断技术的发展，大多数车辆企业和售后服务机构仍然利用在各种特定的实验环境下结合人工听诊的方式。这种方式不仅效率低而且严重依赖检测人员的专业知识和诊断经验，最终的诊断结果可能也会因人而异。因此基于易获信号的车辆异响诊断方法的开发也是很有必要的。
经过检索，中国专利公开号CN105841797A提出了一种基于MFCC和SVM的车窗电机异常噪声检测方法，其提取了采集而来的异响音频的MFCC特征，以SVM作为分类器模型完成训练及分类，为了提高分类精度，在提取MFCC中的加窗过程中，利用自卷积汉宁窗替换原有的汉宁窗，以及应用人工蜂群算法进行模型优化，使得此方法具有实用性强，可靠性高等优点。
CN109949823A提供了一种基于DWPT-MFCC与GMM的车内异响声音识别方法，其同样提取了MFCC特征，并在提取过程中引入小波变换优化MFCC特征得到DWPT-MFCC，使得特征更具说明性，随后结合高斯混合模型(GMM)完成训练及分类任务。
CN112149498A提出了一种面向汽车复杂部件异响在线智能识别系统和方法，其核心在于利用加入小波变换的FBank(WT-FBank)系数图谱，并作为卷积神经网络的输入(用于获得深层次异响特征)，然后进行降维处理结合SVM分类器完成分类任务。此方法利用图谱特征结合CNN出色空间信息提取能力，并结合SVM的分类性能，使的本方法更具实用特色。
CN 112735468A为一种基于MFCC的汽车座椅电机异常噪声检测方法，其具体细节为：提取座椅异常噪声的MFCC特征(未做优化处理)，利用BP神经网络完成训练及分类任务。其在特征提取部分节省了计算成本，并利用了BP神经网络在实际应用过程中可以更快的完成识别任务。
其中CN105841797A、CN109949823A、CN112149498A中在提取MFCC特征过程中分别附加了另外的信号处理知识，如，小波变换，二阶自卷积汉宁窗等，这无疑需要更多的先验知识，而且会增加计算机的计算成本，随着数据量的提升，上述方法将很难应对。另外，CN105841797 A、CN 112149498 A所采用的SVM分类器有很多限制：(1)输入特征需为一维数据，(2)其是典型的二分类数学模型，若想完成多分类任务，需在所有分类的任意两个样本之间建立SVM模型，增加了计算负荷。
CN109949823A所采用的GMM模型，未利用时序信号的上下文信息，且无法学习到深层非线性特征变换；CN112735468A采用的BP神经网络算法在训练过程中有趋于局部最小化的风险，更多地，其以梯度下降法的形式进行训练，使得训练效率偏低，而且不能有目标性的对网络进行微调，使得开发效率不高，另外，依赖训练样本的质量及规模，例如，较小的训练样本很难训练出泛化能力强的分类模型，然而针对本领域并没有一套科学且庞大的数据集。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种乘用车异响识别方法、装置、电子设备以及存储介质。
本发明的目的可以通过以下技术方案来实现：
根据本发明第一方面，提供了一种乘用车异响识别方法，该方法包括：
步骤S1)针对有限的数据集，利用数据扩充技术完成数据集的增广；
步骤S2)利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；
步骤S3)利用训练后的模型进行乘用车异响数据识别。
作为优选的技术方案，所述的步骤S1)中有限的数据集为采集的各部位异常噪声，包括齿轮啸叫、减速器敲击、齿轮冲击、阀门系统异响、手扶箱异响、手套箱异响和座椅异响。
作为优选的技术方案，所述的步骤S1)中的数据扩充包括音频裁剪和数据增强。
作为优选的技术方案，所述的音频裁剪具体为：将一段时长的音频切分成若干小时间块达到增加数量。
作为优选的技术方案，所述的数据增强包括：
时间拉伸，在音高不变的前提下，改变音频信号的速度，通过设置拉伸参数v改变原音频的速度，当v∈(1，+∞)或v∈(0，1)理论上表示加快或减慢音频速率为原音频的v倍；
时间平移，保持音高不变，在时域范围平移设定距离，其中平移参数σ可设置为正值或负值，分别代表音频数据向前或向后平移；
增加噪声，为原音频数据增加背景噪声；
音高修正，在音速不变的前提下，改变原音频的音高，通过设置修正参数ρ使音高向上或向下移动若干步。
作为优选的技术方案，在所述的步骤S2)的并行深度学习网络机制中设置两条用于提取空间信息的并行CNN线路CNN1和CNN2，以及一条用于提取时序信息的编码器栈线路Transformer。
作为优选的技术方案，对于输入的2D特征，在CNN1中设置了三个卷积层，采用3×3微型卷积核；在CNN2中同样设置三个卷积层，用3×1和1×3的非对称卷积核取代了3×3卷积核；
在所述Tansformer中，首先对输入的特征图做了池化，然后采用由若干编码器单元串联而成的编码器栈进行时序信息抓取；然后把三条并行线路提取到的空间时序信息合并串联起来再通过线性变换到全连接层，最后通过softmax分类器输出各噪声类型的概率。
根据本发明第二方面，提供了一种乘用车异响识别装置，该装置包括：
数据集增广模块，用于针对有限的数据集，利用数据扩充技术完成数据集的增广；
识别模型构建模块，用于利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；
数据识别模块，用于利用训练后的模型进行乘用车异响数据识别。
根据本发明第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现所述的方法。
根据本发明第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时所述的方法。
与现有技术相比，本发明具有以下优点：
1)本发明数据扩充方法很好的解决了车辆异响识别领域数据匮乏的现状；
2)针对时序信号的分类识别任务，本发明所采用的并行机制可以同时兼顾信号的空间及上下文信息，且缓解了更深网络带来的计算成本。
附图说明
图1为本发明方法的工作流程图；
图2为本发明装置的结构示意图；
图3为本发明MFCC特征提取的流程图；
图4为含有一个典型层和两个全连接层的简化CNN结构示意图；
图5为编码器栈的示意图；
图6为并行深度学习网络架构的示意图；
图7为异响识别整体流程图；
图8为训练过程中的损失曲线图；
图9为噪声类型的混淆矩阵示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
如图1所示，一种乘用车异响识别方法，该方法包括：
步骤S1)针对有限的数据集，利用数据扩充技术完成数据集的增广；
步骤S2)利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；
步骤S3)利用训练后的模型进行乘用车异响数据识别。
本发明的具体过程如下：
(i)首先是对所采集的各部位异常噪声(包括齿轮啸叫、减速器敲击、齿轮冲击、阀门系统异响、手扶箱异响、手套箱异响、座椅异响)应用数据扩充方法：
音频裁剪：将一段时长的音频切分成若干小时间块达到增加数量的目的，我们分析了每个异常噪声信号的波形图，确定异常频率之间的时间间隔，最终确定t＝3s的小时间块，为了避免裁剪过程中相邻时间块出现信息丢失的问题，我们设置了stride＝2s的切分步长，也就是相邻的两个时间块会存在1s的信息重叠，若最后小时间块小于3s依旧保留。
时间拉伸：在音高不变的前提下，改变音频信号的速度，通过设置拉伸参数v改变原音频的速度，当v∈(1，+∞)或v∈(0，1)理论上表示加快或减慢音频速率为原音频的v倍。为了防止音频失真，本文对每个音频数据设置了一组拉伸参数v＝{0.8，2}；
时间平移：保持音高不变，在时域范围平移一定距离，平移参数σ可设置为正值或负值，分别代表音频数据向前或向后平移(正值向前，负值向后)，本文对每个音频数据设置平移参数σ＝fs/2，其中fs代表采样频率(48KHz)，本文取σ＝{-fs/2，fs/2}。
增加噪声：增加噪音是自然语言处理和图像识别常用的增强技术，在声音识别领域增加噪音指的是为原音频数据增加背景噪声，如高斯噪声、环境音等，本文选取添加均值为0，标准差为1的高斯白噪声。
音高修正：在音速不变的前提下，改变原音频的音高，实际上音高的改变并不影响故障特征的标签，因此音高修正对本项研究会是极有益的增强。通过设置修正参数ρ使音高向上或向下移动若干步(以半音为单位，ρ为正代表向上移，反之向下)，本文取ρ＝{-6，3，6}。
(ii)针对(i)步骤获得的异响进行MFCC特征提取，提取流程图如图3所示；
各步骤具体说明为：
(1)预加重：
噪声数据通过预加重达到平衡频谱和改善信噪比的作用，。对于时域信号X(n)预加重后输出为：
X′(n)＝X(n)-αX(n-1) (1)
其中α为滤波器系数。
(2)分帧、加窗
使用汉明窗将信号分为若干短的时间段，每个短时间段称为分析帧，这样的话可以认为在分析帧内，信号的频率是平稳的。为了保持信号的连续性避免信号失真，通常相邻的分析帧会有重叠，重叠部分称为帧移，用下面等式代表分帧操作：
X′i(n)＝ω(n)·X(n) (2)
Figure BDA0003335691130000061
其中X′i(n)表示分帧后第i帧信号，ω(n)代表汉明窗函数，N为窗口长度。
(3)傅里叶变换与功率谱计算
在每个分析帧上做傅里叶变换把时域信号转换为频域功率分布，然后通过下面公式计算功率谱：
Figure BDA0003335691130000062
其中Pi(k)代表第i帧对应的功率谱，K表示傅里叶变换的长度。
(4)梅尔滤波器组
功率谱经过梅尔尺度的三角滤波器组便可以得到符合人耳感知的频率范围。音频的实际频率和梅尔尺度频率的关系如下：
Figure BDA0003335691130000063
(5)对数能量
对每个滤波器的输出取对数得到对数能量，我们将滤波器组输出的对数能量命名为Logfbank，对数能量输出为：
Figure BDA0003335691130000064
Figure BDA0003335691130000065
其中Hm(k)为三角滤波器组的定义函数，M为滤波器个数，f(m)代表中心频率。
(6)离散余弦变换
去除FBank特征之间的高度相关性以获得更为抽象的特征(MFCC)
Figure BDA0003335691130000066
其中n表示MFCC的阶数。
(iii)并行深度学习网络架构的构建：
(1)卷积神经网络
卷积神经网络目前仍然是计算机视觉主流思想。原因在于它可以共享权重参数，而且它可以以相对少的权值参数建立稀疏联系。以上特点使得网络更易于优化，同时也减少了过拟合的风险。
卷积网络由若干典型层组成，一个典型层一般包含卷积层和池化层，其中卷积级通过使用微型卷积核与输入张量进行卷积运算进行局部信息的扫掠，
还需要采用非线性激活函数(一般使用ReLU函数)加快特征学习能力。池化层则用于提取重要的局部信息，提高计算效率，一般使用最大池化和平均池化。最后经过全连接层实现分类功能。图4展示了含有一个典型层和两个全连接层的简化CNN结构。
(2)Transformer编码器栈
Transformer目前已逐渐取代了以RNN为代表的传统Seq2Seq模型。其利用若干编码器串联而成的编码器栈取代了以RNN为核心的编码器。如图5所示，编码器栈中的每一个编码器由多头注意力(Multi-Head Attention，MHA)单元和前馈神经网络单元串联而成，每一个单元又附有残差连接。加入残差连接的原因在于：参数的分布在训练时可能不断变化，残差连接可以使网络对特征参数进行归一化操作，从而能够学到更有效的梯度，使模型更易学习。
(3)并行架构搭建
卷积神经网络针对复杂的输入特征，通过正反向传播，使输出尽可能逼近一个能匹配信号特征的非线性函数，从而得到输入特征在空间尺度的信息。Transformer编码器通过多头注意力机制加上残差连接捕获连续信号各时序之间隐藏关系，从而得到输入的连续特征的时序信息。为了提高诊断模型的诊断能力，意在同时获取信号的空间信息和时序关系信息，因此本文设置了深度卷积网络和Transformer编码器栈同时工作的架构来提高诊断性能。
图6展示了拟议并行架构，在架构中，输入为(ii)步骤中所提取的2维MFCC，其是一个40×282(MFCC特征阶数×时间维度)的特征矩阵。特征设置了两条用于提取空间信息的并行CNN线路(CNN1、CNN2)和一条用于提取时序信息的编码器栈线路(Transformer)。对于输入的2D特征，在CNN1中我们设置了三个卷积层，采用3×3的微型卷积核，在CNN2中我们同样设置三个卷积层，与CNN1不同的是：用3×1和1×3的非对称卷积核取代了3×3卷积核，这不仅极大的减少了计算参数，而且可以获得更加额外的空间信息。另外每个卷积层最后均设有池化操作用于降低参数数量从而加快训练速度。在Tansformer中，首先对输入的特征图做了池化(下采样)然后采用由若干编码器单元串联而成的编码器栈进行时序信息抓取。最终把三条并行线路提取到的空间时序信息融合再通过线性变换到全连接层，最后使用softmax函数输出各噪声类型的概率。并行线路可以实现CNN与Tansformer协同工作，避免了深层网络带来的计算负荷。网络还加入了批量归一化(BN)层，这对网络训练效率和优化梯度问题有明显的增益。对于反向传播中的梯度问题，选取了随机梯度下降(SGD)优化技术，SGD中的优化参数设置如下：学习率＝0.01、权重衰退系数＝0.001、动量＝0.8。此外，在卷积层中，为了避免丢失特征图中的边缘信息，我们统一采用零填充卷积。而在每个卷积层
的池化级之后，我们均采用了Dropout技术，这种技术通过随机丢弃参数来避免模型由于过拟合带来的泛化能力差的问题。另外，交叉熵损失函数用来计算网络成本。
本发明诊断流程：异响识别整体流程如图7所示，为了网络后期训练的准确性，数据扩充方法设置在划分数据集之后(避免来自同一原始音频的扩充数据同时分布到训练集、验证集和测试集中)。
需要注意的是，为了验证模型的分类性能，需可视化模型训练的损失曲线，以及评价测试集在训练模型的表现，通过混淆矩阵来体现，如图8和9所示：图8为训练过程中的损失曲线，可以观察到的是：模型损失开始可以快速收敛，但随后便开始缓慢收敛，在迭代200次后，训练损失和验证损失基本上都稳定下来。为进一步说明架构对七种噪声类型诊断性能，我们给出了噪声类型的混淆矩阵，并进行了归一化，如图9所示，模型在阀门系统异响与啸叫异常异响之间以及汽车座椅异常振动异常噪声与手套箱异常振动噪声之间出现错误判断，但概率大约4％，具体评价指标计算为：准确率(Accuracy)＝0.9831、精确率(Precision)＝0.9760、召回率(Recall)＝0.9824、F1 score＝0.9787。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
如图2所示，本发明装置包括：
数据集增广模块1，用于针对有限的数据集，利用数据扩充技术完成数据集的增广；
识别模型构建模块2，用于利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；
数据识别模块3，用于利用训练后的模型进行乘用车异响数据识别。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明电子设备包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来执行各种适当的动作和处理。在RAM中，还可以存储设备操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
设备中的多个部件连接至I/O接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元执行上文所描述的各个方法和处理，例如方法S1～S3。例如，在一些实施例中，方法S1～S3可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由CPU执行时，可以执行上文描述的方法S1～S3的一个或多个步骤。备选地，在其他实施例中，CPU可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法S1～S3。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种乘用车异响识别方法，其特征在于，该方法包括：
步骤S1)针对有限的数据集，利用数据扩充技术完成数据集的增广；
步骤S2)利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；
步骤S3)利用训练后的模型进行乘用车异响数据识别。
2.根据权利要求1所述的一种乘用车异响识别方法，其特征在于，所述的步骤S1)中有限的数据集为采集的各部位异常噪声，包括齿轮啸叫、减速器敲击、齿轮冲击、阀门系统异响、手扶箱异响、手套箱异响和座椅异响。
3.根据权利要求1或2所述的一种乘用车异响识别方法，其特征在于，所述的步骤S1)中的数据扩充包括音频裁剪和数据增强。
4.根据权利要求3所述的一种乘用车异响识别方法，其特征在于，所述的音频裁剪具体为：将一段时长的音频切分成若干小时间块达到增加数量。
5.根据权利要求3所述的一种乘用车异响识别方法，其特征在于，所述的数据增强包括：
时间拉伸，在音高不变的前提下，改变音频信号的速度，通过设置拉伸参数ν改变原音频的速度，当ν∈(1,+∞)或ν∈(0，1)理论上表示加快或减慢音频速率为原音频的v倍；
时间平移，保持音高不变，在时域范围平移设定距离，其中平移参数σ可设置为正值或负值，分别代表音频数据向前或向后平移；
增加噪声，为原音频数据增加背景噪声；
音高修正，在音速不变的前提下，改变原音频的音高，通过设置修正参数ρ使音高向上或向下移动若干步。
6.根据权利要求1所述的一种乘用车异响识别方法，其特征在于，在所述的步骤S2)的并行深度学习网络机制中设置两条用于提取空间信息的并行CNN线路CNN1和CNN2，以及一条用于提取时序信息的编码器栈线路Transformer。
7.根据权利要求6所述的一种乘用车异响识别方法，其特征在于，对于输入的2D特征，在CNN1中设置了三个卷积层，采用3×3微型卷积核；在CNN2中同样设置三个卷积层，用3×1和1×3的非对称卷积核取代了3×3卷积核；
在所述Tansformer中，首先对输入的特征图做了池化，然后采用由若干编码器单元串联而成的编码器栈进行时序信息抓取；然后把三条并行线路提取到的空间时序信息合并串联起来再通过线性变换到全连接层，最后通过softmax分类器输出各噪声类型的概率。
8.一种乘用车异响识别装置，其特征在于，该装置包括：
数据集增广模块，用于针对有限的数据集，利用数据扩充技术完成数据集的增广；
识别模型构建模块，用于利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；
数据识别模块，用于利用训练后的模型进行乘用车异响数据识别。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～7中任一项所述的方法。
CN202111293794.1A 2021-11-03 2021-11-03 一种乘用车异响识别方法、装置、电子设备以及存储介质 Pending CN114065809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111293794.1A CN114065809A (zh) 2021-11-03 2021-11-03 一种乘用车异响识别方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111293794.1A CN114065809A (zh) 2021-11-03 2021-11-03 一种乘用车异响识别方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN114065809A true CN114065809A (zh) 2022-02-18

Family

ID=80273547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111293794.1A Pending CN114065809A (zh) 2021-11-03 2021-11-03 一种乘用车异响识别方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN114065809A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11392833B2 (en) * 2020-02-13 2022-07-19 Soundhound, Inc. Neural acoustic model
CN116204670A (zh) * 2023-04-27 2023-06-02 菲特（天津）检测技术有限公司 车辆目标检测数据的管理方法、系统及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11392833B2 (en) * 2020-02-13 2022-07-19 Soundhound, Inc. Neural acoustic model
CN116204670A (zh) * 2023-04-27 2023-06-02 菲特（天津）检测技术有限公司 车辆目标检测数据的管理方法、系统及电子设备
CN116204670B (zh) * 2023-04-27 2023-07-21 菲特（天津）检测技术有限公司 车辆目标检测数据的管理方法、系统及电子设备

Similar Documents

Publication Publication Date Title
CN108922560B (zh) 一种基于混合深度神经网络模型的城市噪声识别方法
CN103117059B (zh) 一种基于张量分解的语音信号特征提取方法
CN111243602A (zh) 基于性别、国籍和情感信息的声纹识别方法
CN103065629A (zh) 一种仿人机器人的语音识别系统
CN114065809A (zh) 一种乘用车异响识别方法、装置、电子设备以及存储介质
Guzhov et al. Esresne (x) t-fbsp: Learning robust time-frequency transformation of audio
CN117095694B (zh) 一种基于标签层级结构属性关系的鸟类鸣声识别方法
CN114155876A (zh) 一种基于音频信号的交通流识别方法、装置及存储介质
CN113053410A (zh) 声音识别方法、装置、计算机设备和存储介质
CN108806725A (zh) 语音区分方法、装置、计算机设备及存储介质
Liu et al. Simple pooling front-ends for efficient audio classification
CN115249479A (zh) 基于brnn的电网调度复杂语音识别方法、系统及终端
CN113409213B (zh) 柱塞泵故障信号时频图降噪增强方法和系统
CN116013371A (zh) 一种神经退行性疾病监测方法、系统、装置及存储介质
CN115577237A (zh) 基于一维卷积神经网络和元学习的电梯故障诊断方法
CN113870896A (zh) 基于时频图和卷积神经网络的运动声音判假方法、装置
Chang et al. Intra-utterance similarity preserving knowledge distillation for audio tagging
CN112908344A (zh) 一种鸟鸣声智能识别方法、装置、设备和介质
Feng et al. Noise Classification Speech Enhancement Generative Adversarial Network
CN114863939B (zh) 一种基于声音的大熊猫属性识别方法及系统
CN116153337B (zh) 合成语音溯源取证方法及装置、电子设备及存储介质
CN114420151B (zh) 基于并联张量分解卷积神经网络的语音情感识别方法
CN117238277B (zh) 意图识别方法、装置、存储介质及计算机设备
CN112259126B (zh) 一种自闭症语音特征辅助识别机器人及方法
CN117316178A (zh) 电力设备声纹识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination