CN117332293A - 一种基于声音Mel频率特征的货车超载检测方法 - Google Patents

一种基于声音Mel频率特征的货车超载检测方法 Download PDF

Info

Publication number
CN117332293A
CN117332293A CN202311116022.XA CN202311116022A CN117332293A CN 117332293 A CN117332293 A CN 117332293A CN 202311116022 A CN202311116022 A CN 202311116022A CN 117332293 A CN117332293 A CN 117332293A
Authority
CN
China
Prior art keywords
truck
mel
frequency domain
sound
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311116022.XA
Other languages
English (en)
Inventor
孔超群
郭唐仪
于宛仟
李朝意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tuyuan Transportation Technology Co ltd
Original Assignee
Suzhou Tuyuan Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Tuyuan Transportation Technology Co ltd filed Critical Suzhou Tuyuan Transportation Technology Co ltd
Priority to CN202311116022.XA priority Critical patent/CN117332293A/zh
Publication of CN117332293A publication Critical patent/CN117332293A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于声音Mel频率特征的货车超载检测方法。首先，确定货车行驶数据采集地点及采集方式；然后，提取声音信号并对于采集数据进行预处理；其次，对于货车行驶的声音信号分别进行时域、频域信号分析；再次，将声音信号进行时域和频域的特征提取并融合；最后构建改进的卷积神经网络，输入步骤4提供的特征，进行货车超载检测。该方法能够通过声音信号时频域的特征，建立研究对象与超载研判的关系。本发明能够更客观、高效、智能的进行货车超载检测，进而为公路货运行业高速发展提供技术支持。

Description

一种基于声音Mel频率特征的货车超载检测方法
技术领域
本发明属于基于声音信号的深度学习技术，具体为一种基于声音Mel频率特征的货车超载检测方法。
背景技术
目前，最广泛应用的人工和静态称重检测存在可靠性和效率等诸多方面的缺陷，而现有动态称重治超系统安装维护成本高昂，无法在国省干线全面推广应用。相比于接触式称重法检测车辆超载，基于非接触式传感器的检测方法，能较好地解决前者成本和效率方面的缺陷，起到弥补技术短板的作用。在无需破坏路面结构或安装复杂称重设备的条件下，通过远距离传感器对目标货车进行信息捕获，依靠各类信号处理方法对货车载重状态进行实时研判。目前已有基于机器视觉的超载检测方法，该方法对货车轮胎轮廓的最大距离和直径的比值进行阈值处理，以轮胎形变程度初步判断货车是否超载。然而基于机器视觉的检测精度容易受限于环境光和复杂背景，在多数情况下并不能达到工程应用标准。现已有深度学习对声信号原始波形进行研究，但相关技术尚未成熟，传统的声信号分析需要从原始信号中获取有效的特征表示，进而通过声音特征进行信息利用，而实际情况中声信号可被分为时域、频域、时频域，故传统方法对于货车超载检测准确率低且难以难以满足实际需求。为了进一步保障高速公路交通安全，亟需寻求一种更为全面、高效的建模方法，对高速公路上的货车进行是否超载进行精准检测。
发明内容
为了解决现有技术中的上述技术缺陷，本发明提出了一种基于声音Mel频率特征的货车超载检测方法。
实现本发明目的的技术方案为：一种基于声音Mel频率特征的货车超载检测方法，具体步骤为：
步骤1：采集货车行驶数据；
步骤2：对采集的货车行驶数据进行预处理，删除噪声数据并裁剪、进行数据扩充以及过滤；
步骤3：获取预处理后的货车行驶数据的时域信号、频域信号；
步骤4：将步骤3提取的时域、频域特征进行融合；
步骤5：将融合后的时域、频域特征输入训练好的卷积神经网络，进行货车超载检测。
优选地，对采集的货车行驶数据进行预处理时将采集的货车行驶数据裁剪为设定时常的片段。
优选地，采用Audiomentations开源工具包进行音频数据增强，并利用随机音频掩蔽、随机频带掩蔽方式生成新数据样本，对原有数据进行扩充。
优选地，获取预处理后的货车行驶数据的时域特征的具体方法为：
选择短时能量和短时平均过零率作为时域特征，分别具体为：
(1)短时能量具体为：
(2)短时平均过零率具体为：
其中，xi(n)为第i帧声信号，L为帧长，fn为总帧数。
优选地，获取预处理后的货车行驶数据的频域特征的具体方法为：
对预处理之后的每一帧信号进行快速傅里叶变换，将时域信号转换到频域：
其中，xi(n)为输入信号，L为帧长，n表示信号帧数，k代表频域中的谱线的序号；
计算每一帧FFT后数据计算谱线的能量；
En(k)＝[Xn(k)]2 0≤k<L
在设定的频率范围内生成等Mel频率带宽的M个滤波器，在频域中把每帧的能量谱与Mel滤波器的频域响应相乘并相加得到的输出能量：
其中，En(k)为第k帧能量谱，Hm(i)为Mel滤波器的频域响应，L为帧长，m指Mel滤波器序号，M为Mel滤波器个数；
把Mel滤波器的能量取对数后即得到对数梅尔能量，再进行离散余弦变换，得到每一帧的MFCC倒谱系数：
优选地，将步骤3提取的时域、频域特征进行融合的具体方法为：
步骤4.1:将步骤3计算的时域特征、频域特征进行标准化；
步骤4.2：采用拼接法，将时域特征和频域特征进行融合。
优选地，所述卷积神经网络采用ResNet网络。
优选地，所述卷积神经网络采用的损失函数包括两部分，包括均方误差函数和交叉熵，均方误差函数具体为：
其中，i表示第i个样本，N表示样本总数，yi预测值，fi真实值；
交叉熵具体为：
其中，p(xi)是指实际分布的概率，q(xi)是通过数据计算预测出来的概率。
本发明与现有技术相比，其显著优点为：本发明通过提取声学特征，能够有效降低输入网络中的参数规模，减少数据中随机量对模型的影响，将多维特征输入至深度网络中，能提高网络效率并增强鲁棒性，从而实现无接触检测同时提升货车超载检测的准确性。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明的方法流程图。
图2为基于Mel频率特征提取流程图。
具体实施方式
请参照图1，一种基于声音Mel频率特征的货车超载检测方法，具体步骤为：
步骤1：采集货车行驶数据；
在本实施例中，所述步骤1具体为：
选定GB1589-2016中的6轴平板式货车作为主要实验对象；
选择郊区某双向6车道公路作为实验场地，货车按预先设计的载重情况和20至35千米每小时的车速行驶。四辆车同时在路段上重复来回行驶，以提升数据采集效率，根据现场路段情况，两两之间间隔100米以上，时间间隔在10秒以上，以减少互相之间的声信号干扰；
声信号采集设备选择单通道麦克风RODE Videomicro，设备连接笔记本电脑，通过软件AdobeAudition 2022记录并存储音频数据，数据格式为单通道wav格式，采样率设为48KHz，波特率为1.152Mbps。
步骤2：对于采集数据进行预处理；
在本实施例中，所述步骤2具体为：
步骤2.1：手动删去采集数据中的噪声信号；
噪声信号主要设定为前后冗余片段和货车鸣笛声和气刹声；
步骤2.2：参考现场记录的信息表格逐条将原始音频数据统一裁剪成时长为3秒的音频片段；
步骤2.3：进一步数据增强以有效扩充数据；
优选地，采用Audiomentations开源工具包进行音频数据增强。根据目前此工具包的更新，共有36种音频数据变换方法，针对已采集车辆音频数据特点，对音频样本采用不影响整体时频特性的方法如随机音频掩蔽、随机频带掩蔽和一些常用滤波器等方法来生成新数据样本，对原有数据集完成扩充；
步骤2.4：选取合适滤波器对声音信号进行过滤；
滤波器选择300Hz的低通滤波以及低频率的带通滤波。
步骤3：计算常载6轴货车声音信号的时域、频域特征；
在本实施例中，所述步骤3具体为：
选择短时能量和短时平均过零率作为时域特征进行计算和分析；
(1)短时能量(STE)表征声信号能量大小：
(2)短时平均过零率指每帧声信号中信号波形穿过零电平的次数：
其中，x(n)为货车的声信号，xi(n)为第i帧声信号，L为帧长，fn为总帧数。
选取常载6轴货车与超载6轴货车及其他车型进行时域特征对比分析，验证计算得到的时域特征用于检测超载的可行性；
在本实施例中，利用matlab对声信号进行时域特征波形绘制，将其他车型声信号波形图示例和货车信号时域波形图进行对比，用于对比的其他车型选定为：小型汽车、摩托车、2轴、3轴、4轴和5轴货车；
选择基于Mel频率的梅尔频谱(Mel-spectrogram)和梅尔频率倒谱系数(MelFrequency Cepstral Coefficients,MFCC)作为频域特征进行计算和分析；
对预处理之后的每一帧信号进行快速傅里叶变换(Fast Fourier Transform，FFT)，将时域信号转换到频域进行分析：
其中，x(i)为输入信号,L为帧长，n表示信号帧数，k代表频域中的谱线的序号。
计算每一帧FFT后数据计算谱线的能量；
En(k)＝[Xn(k)]2 0≤k<L
在(0，0.5Fs)的频率范围内生成等Mel频率带宽的M个滤波器，其中Fs是信号采样率，在频域中把每帧的能量谱与Mel滤波器的频域响应相乘并相加得到的输出能量：
其中，En(k)为第k帧能量谱，Hm(k)为Mel滤波器的频域响应，L为帧长，m指Mel滤波器序号，M为Mel滤波器个数(M＝13)。
把Mel滤波器的能量取对数后即得到对数梅尔能量，再进行离散余弦变换(Discrete Cosine Transform，DCT)，即可得每一帧的MFCC倒谱系数：
选取常载6轴货车与超载6轴货车及其他车型进行频域特征对比分析，验证Mel-spectrogram和MFCC频域特征用于检测超载的可行性；
在本实施例中，利用matlab对声信号进行频域特征波形绘制，将其他车型声信号波形图示例和货车信号频域波形图进行对比，用于对比的其他车型选定为：小型汽车、摩托车、2轴、3轴、4轴和5轴货车。
步骤4：融合步骤3提取的声音信号的时域、频域特征；
在本实施例中，所述步骤4具体为：
步骤4.1:将步骤3计算的时域特征、频域特征进行标准化；
在本实施例中，为解决各个特征之间的单位和尺度不统一，参数数值有量级上的差异，直接进行融合会使得计算中某些特征过于突出而某些特征会被忽视的问题，采用离差标准化，对原始数值的线性变换，公式为：
其中，x'是标准化后的值，x分别取短时能量、短时平均过零率、Mel-spectrogram和MFCC原数值，xmin是最小值，xmax是最大值。
步骤4.2：采用拼接法，将时域特征和频域特征进行融合；
对频域内的Mel-spectrogram和MFCC各取前30维与其他特征进行串行融合，将每一帧货车声信号的短时能量和短时过零率作为第31和32维特征，最终特征矢量共32维。
步骤5：构建改进的卷积神经网络，输入步骤4提供的特征，进行货车超载检测。
在本实施例中，所述步骤5具体为：
步骤5.1：搭建符合本发明实验的深度学习网络结构；
在本实施例中，所述步骤5.1具体为：
步骤5.1.1：搭建整体深度网络结构；
在本实施例中，利用深度为50的ResNet网络，网络结构包括5个卷积部分、全连接层和softmax输出层；
卷积部分采用3*3卷积核，对于一个二维信号I和一个二维的卷积核滤波矩阵K，卷积操作可以表示为：
i＝1,2,...,M；j＝1,2,...,N
池化层采用2*2的窗口进行最大值进行保留；
采用ReLU函数又称修正线性单元(Rectified Linear Unit)作为深度网络的激活函数，解决梯度消失问题，并且能够快速收敛，其表达式如下：
f(x)＝max(0,x)
步骤5.2：对深度网络提出合适的优化策略；
步骤5.2.1：模型损失函数：一是均方误差函数(MSE)，表达式为：
其中，i表示第i个样本，N表示样本总数，yi预测值，fi真实值。
二是交叉熵(Cross Entropy Loss)，表达式为：
其中，p(xi)是指实际分布的概率，q(xi)是通过数据计算预测出来的概率。
步骤5.2.2：选取适用于梯度稀疏或梯度存在较大噪声数据的优化方法；
最优化算法采用Adam算法，通过计算梯度的一、二阶矩估计进行学习率的自我修改，假设在第t轮训练，参数更新情况：
Vdw＝β1Vdw+(1-β1)dW
Vdb＝β1Vdb+(1-β1)db
Sdw＝β2Sdw+(1-β2)dW2
Sdb＝β2Sdb+(1-β2)db2
其中，Xdw和Xdb表示损失函数在前t-1轮迭代过程中累积的梯度梯度动量(X＝{V,S})，dW和db代表损失函数反向传播时候所求得的梯度，β1和β2为一阶、二阶矩估计的指数衰减率，默认设为0.9和0.999。
在第t轮迭代过程中，参数梯度累积量的修正值为：
权重更新公式为：
偏置更新公式为：
在Adam算法中，学习率η初始值设为0.001。
步骤5.2.3：将步骤4.2融合后的特征作为输入，设置模型参数进行货车超载检测；
基于特征提取获得的32维融合的两类特征向量，通过5帧信号的拼接组成160维，作为网络的输入，目的是提升特征的学习利用；使用0.001的学习率进行了100次的迭代训练，最终完成车型检测和超载检测的任务。

Claims (8)

1.一种基于声音Mel频率特征的货车超载检测方法，其特征在于，具体步骤为：
步骤1：采集货车行驶数据；
步骤2：对采集的货车行驶数据进行预处理，删除噪声数据并裁剪、进行数据扩充以及过滤；
步骤3：获取预处理后的货车行驶数据的时域信号、频域信号；
步骤4：将步骤3提取的时域、频域特征进行融合；
步骤5：将融合后的时域、频域特征输入训练好的卷积神经网络，进行货车超载检测。
2.根据权利要求1所述的基于声音Mel频率特征的货车超载检测方法，其特征在于，对采集的货车行驶数据进行预处理时将采集的货车行驶数据裁剪为设定时常的片段。
3.根据权利要求1所述的基于声音Mel频率特征的货车超载检测方法，其特征在于，采用Audiomentations开源工具包进行音频数据增强，并利用随机音频掩蔽、随机频带掩蔽方式生成新数据样本，对原有数据进行扩充。
4.根据权利要求1所述的基于声音Mel频率特征的货车超载检测方法，其特征在于，获取预处理后的货车行驶数据的时域特征的具体方法为：
选择短时能量和短时平均过零率作为时域特征，分别具体为：
(1)短时能量具体为：
(2)短时平均过零率具体为：
其中，xi(n)为第i帧声信号，L为帧长，fn为总帧数。
5.根据权利要求1所述的基于声音Mel频率特征的货车超载检测方法，其特征在于，获取预处理后的货车行驶数据的频域特征的具体方法为：
步骤3.2.1：对预处理之后的每一帧信号进行快速傅里叶变换，将时域信号转换到频域：
其中，xi(n)为输入信号，L为帧长，n表示信号帧数，k代表频域中的谱线的序号；
步骤3.2.2：计算每一帧FFT后数据计算谱线的能量；
En(k)＝[Xn(k)]2 0≤k<L
步骤3.2.3：在设定的频率范围内生成等Mel频率带宽的M个滤波器，在频域中把每帧的能量谱与Mel滤波器的频域响应相乘并相加得到的输出能量：
其中，En(k)为第k帧能量谱，Hm(k)为Mel滤波器的频域响应，L为帧长，m指Mel滤波器序号，M为Mel滤波器个数；
步骤3.2.4：把Mel滤波器的能量取对数后即得到对数梅尔能量，再进行离散余弦变换，得到每一帧的MFCC倒谱系数：
6.根据权利要求1所述的基于声音Mel频率特征的货车超载检测方法，其特征在于，将步骤3提取的时域、频域特征进行融合的具体方法为：
步骤4.1:将步骤3计算的时域特征、频域特征进行标准化；
步骤4.2：采用拼接法，将时域特征和频域特征进行融合。
7.根据权利要求1所述的基于声音Mel频率特征的货车超载检测方法，其特征在于，所述卷积神经网络采用ResNet网络。
8.根据权利要求1所述的基于声音Mel频率特征的货车超载检测方法，其特征在于，所述卷积神经网络采用的损失函数包括两部分，包括均方误差函数和交叉熵，均方误差函数具体为：
其中，i表示第i个样本，N表示样本总数，yi预测值，fi真实值；
交叉熵具体为：
其中，p(xi)是指实际分布的概率，q(xi)是通过数据计算预测出来的概率。
CN202311116022.XA 2023-08-31 2023-08-31 一种基于声音Mel频率特征的货车超载检测方法 Pending CN117332293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311116022.XA CN117332293A (zh) 2023-08-31 2023-08-31 一种基于声音Mel频率特征的货车超载检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311116022.XA CN117332293A (zh) 2023-08-31 2023-08-31 一种基于声音Mel频率特征的货车超载检测方法

Publications (1)

Publication Number Publication Date
CN117332293A true CN117332293A (zh) 2024-01-02

Family

ID=89274541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311116022.XA Pending CN117332293A (zh) 2023-08-31 2023-08-31 一种基于声音Mel频率特征的货车超载检测方法

Country Status (1)

Country Link
CN (1) CN117332293A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542377A (zh) * 2024-01-05 2024-02-09 江西众加利高科技股份有限公司 基于货车称重的信息提示方法及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542377A (zh) * 2024-01-05 2024-02-09 江西众加利高科技股份有限公司 基于货车称重的信息提示方法及相关装置
CN117542377B (zh) * 2024-01-05 2024-04-05 江西众加利高科技股份有限公司 基于货车称重的信息提示方法及相关装置

Similar Documents

Publication Publication Date Title
CN110197670B (zh) 音频降噪方法、装置及电子设备
CN113707176B (zh) 一种基于声信号及深度学习技术的变压器故障检测方法
CN109949823B (zh) 一种基于dwpt-mfcc与gmm的车内异响识别方法
CN117332293A (zh) 一种基于声音Mel频率特征的货车超载检测方法
CN109192200B (zh) 一种语音识别方法
CN115081473A (zh) 一种多特征融合的制动噪声分类识别方法
CN112149498A (zh) 一种面向汽车复杂部件异响的在线智能识别系统及方法
CN104361887A (zh) 行车噪声环境下的快速声学事件检测系统
CN114155876A (zh) 一种基于音频信号的交通流识别方法、装置及存储介质
CN113674763A (zh) 利用线谱特性的鸣笛声识别方法及系统、设备与存储介质
CN114352486A (zh) 一种基于分类的风电机组叶片音频故障检测方法
CN116935892A (zh) 一种基于音频关键特征动态聚合的工业阀门异常检测方法
CN114464174A (zh) 一种基于深度学习的制动噪声分类识别方法
CN117315941B (zh) 一种基于人工智能的车辆风险管理预警系统
CN116168727A (zh) 一种变压器异常声音检测方法、系统、设备及存储介质
CN114743562B (zh) 一种飞机声纹识别方法、系统、电子设备及存储介质
CN114047259B (zh) 一种基于时间序列多尺度钢轨伤损缺陷的检测方法
CN115422965A (zh) 一种基于车内噪声的整车行驶路面识别方法及系统
CN112800549B (zh) 基于水平车速和垂直车速的汽车路谱合成方法及系统
CN116665681A (zh) 一种基于组合滤波的雷声识别方法
CN113033396B (zh) 基于特征融合的变频管道过球指示装置及过球检测方法
CN115346514A (zh) 一种面向智能驾驶测评的音频预警智能识别方法
CN115343573A (zh) 一种面向电网监控的声纹模型演化设备故障融合判决方法
CN112230208B (zh) 一种基于智能手机音频感知的汽车行驶速度检测方法
CN114783462A (zh) 一种基于cs-music矿井提升机故障源定位分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination