CN114352486A - 一种基于分类的风电机组叶片音频故障检测方法 - Google Patents

一种基于分类的风电机组叶片音频故障检测方法 Download PDF

Info

Publication number
CN114352486A
CN114352486A CN202111673492.7A CN202111673492A CN114352486A CN 114352486 A CN114352486 A CN 114352486A CN 202111673492 A CN202111673492 A CN 202111673492A CN 114352486 A CN114352486 A CN 114352486A
Authority
CN
China
Prior art keywords
audio
audio data
classification
fault detection
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111673492.7A
Other languages
English (en)
Inventor
吴娇
雷红涛
李刚
张苑
任毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XI'AN XIANGXUN TECHNOLOGY CO LTD
Original Assignee
XI'AN XIANGXUN TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XI'AN XIANGXUN TECHNOLOGY CO LTD filed Critical XI'AN XIANGXUN TECHNOLOGY CO LTD
Priority to CN202111673492.7A priority Critical patent/CN114352486A/zh
Publication of CN114352486A publication Critical patent/CN114352486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/50—Manufacturing or production processes characterised by the final manufactured product

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明提供一种基于分类的风电机组叶片音频故障检测方法，解决现有风电叶片监测技术存在检测成本高、不易安装、结构复杂、部署耗时长、易受环境影响的问题。方法包括步骤1)获取开源音频数据集和叶片音频数据集，叶片音频数据集包括训练集和测试集；2)提取训练集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征；3)构建音频故障检测分类网络模型，将开源音频数据集送入网络模型中进行预训练，再将训练集中音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，送入模型中进行分类检测训练，使用测试集对音频故障检测分类网络模型中进行测试；4)将待测叶片音频输入音频故障检测分类网络模型中，获得待测叶片音频的分类检测结果。

Description

一种基于分类的风电机组叶片音频故障检测方法
技术领域
本发明属于风力发电领域，具体涉及一种基于分类的风电机组叶片音频故障检测方法。
背景技术
随着新能源开发的需求，风能备受重视，风力发电成为风能最有效的转变和使用方式之一。大型设备制造业、风电技术的不断发展使得风力发电机组不断朝着大型化、海洋化的方向发展，安装数量逐年增加。叶片作为风力发电机组设备中不可或缺的核心组件，对其进行监测，可极大的降低故障和事故的发生率，保证风力发电机组的稳定运行与安全，从而避免不必要的经济损失。因此，如何监测叶片运行状态与故障类别是一个亟待解决的问题。
目前，对风机组电叶片的监测主要包括视觉监测和听觉监测两大类。
视觉监测作为主流方法，可以分为振动检测技术、声发射检测技术、光纤光栅检测技术、机器视觉检测技术以及红外热成像技术。其中，随着叶片设计的复杂化、叶片长度巨型化的发展，传感器的选择和安装、多传感器优化融合及布线问题、叶片固有频率和振型的准确分离等，成为限制振动检测技术发展的关键因素；声发射检测技术由于机电噪声的干扰很难排除，导致应力波和杂波之间分离困难，且具有不可逆性，如果漏采集，则难以达到监测效果；光纤光栅检测技术检测成本高，不宜大量风场部署安装；风场的环境光线及背景信息等都会影响基于机器视觉检测技术的检测效果和精度，且现有的基于深度卷积网络的检测方法复杂性较高，在实际工程应用部署时消耗了较多时间，占用了较多硬件资源；红外热成像技术对温度感应的精度和灵敏度较高，极易受到外部环境影响。
听觉监测主要包括音频检测技术。音频检测技术是现代计算机听觉学科的重要分支，检测的音频信号具有丰富的信息量，非接触性的音频信号具有独特的优势，其避免了振动信号数据采集困难，同时运用音频故障检测技术，可以达到低成本、低耗、高效、快速的风电机组叶片无损监测的目的。但是，音频信号易受到环境影响，进而影响检测结果准确性。
发明内容
为了解决现有风电叶片监测技术，存在检测成本高、不易安装、结构复杂、部署耗时长、易受环境影响而影响检测准确性的技术问题，本发明提供了一种基于分类的风电机组叶片音频故障检测方法。
为实现上述目的，本发明提供的技术方案是：
一种基于分类的风电机组叶片音频故障检测方法，其特殊之处在于，包括以下步骤：
1)数据获取
1.1)获取开源音频数据集；
1.2)将叶片的音频数据进行分类整理，获得叶片音频数据集，叶片音频数据集包括训练集和测试集；
2)训练集音频数据的特征提取
提取步骤1.2)训练集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征；
3)建立音频故障检测分类网络模型
3.1)构建音频故障检测分类网络模型，将步骤1.1)的开源音频数据集送入音频故障检测分类网络模型中进行预训练，得到基础预训练模型；
3.2)将步骤2)训练集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，送入步骤3.1)基础预训练模型中进行分类检测训练，得到训练完成的音频故障检测分类网络模型；
3.3)提取1.2)测试集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)训练完成的音频故障检测分类网络模型中进行测试，并统计测试结果；
若测试结果的正确率高于所给定阈值，则音频故障检测分类网络模型完成建立；
若测试结果的正确率低于所给定阈值，则调整分类网络模型的条件参数，直至统计测试结果满足要求，音频故障检测分类网络模型完成建立；
4)待测叶片音频的检测
将待测叶片音频输入步骤3.3)完成建立的音频故障检测分类网络模型中，获得待测叶片音频的分类检测结果。
进一步地，步骤1.2)中，叶片音频数据集还包括验证集；
步骤3)和步骤4)之间还包括步骤A)验证网络模型：提取步骤1.2)验证集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.3)完成建立的音频故障检测分类网络模型中进行验证，获得验证集音频数据的故障检测结果；
同时，根据验证集中每个音频数据的梅尔频谱绘制相应梅尔频谱图，根据梅尔频谱图得出每个音频数据的实际分类结果，获得梅尔频谱图下的音频数据分类结果；
比较验证集音频数据的故障检测结果与梅尔频谱图得到的音频数据分类结果，验证音频故障检测分类网络模型的有效性。
进一步地，步骤2)和步骤3.3)中，提取音频数据的梅尔频谱特征具体为：
将音频数据通过梅尔标度滤波器组变换为梅尔频谱Mel(f)，获得音频数据的梅尔频谱特征；
Figure BDA0003453681130000031
其中，f表示音频数据的频率。
进一步地，步骤2)和步骤3.3)中，提取音频数据的梅尔频率倒谱系数特征具体为：
a)将音频数据通过一个高通滤波器进行预加重处理，其中，高通滤波器计算公式如下：
H(z)＝1-μz-1
式中：μ为调整参数，μ的取值范围为0.9-1.0；z为音频数据在z域的频率；
b)通过设定的采样点与设定的采样频率将预加重处理后的音频数据进行分区域处理，将每一区域记为一帧；
c)对每一帧的音频信号乘以汉明窗，再经过快速傅里叶变换FFT得到在频谱上的能量分布，音频数据的能量谱表示如下：
Figure BDA0003453681130000041
式中：x(n)为输入的音频信号，N表示傅里叶变换的点数，j表示复数单位，0≤k≤N；
d)音频数据的能量谱通过三角形滤波器组进行处理获得对数能量s(m)：
Figure BDA0003453681130000042
其中，0≤m≤M，M为三角滤波器组的滤波器数量；
Hm(k)为三角形滤波器组的三角滤波器频率，计算公式如下：
Figure BDA0003453681130000043
e)对音频数据的数能量进行离散余弦变换，得到梅尔频率倒谱系数C(n)：
Figure BDA0003453681130000044
式中：L为梅尔频率倒谱系数阶数，取12-16，M为三角滤波器组的三角滤波器数量，n＝1,2,...,L。
进一步地，其特征在于，步骤3.1)具体为：
3.1.1)开源音频数据集经音频故障检测分类网络模型的输入层，送入三个相同结构的卷积-BN-池化结构中，并行提取音频特征；
3.1.2)三个卷积-BN-池化结构输出的音频特征进行加法操作，并通过Dropout达到正则化的效果，再运用Dense全连接层进行局部信息的全局化处理，最后在用全连接层Dense将输出通道降为需要的类别数，实现音频数据的分类。
进一步地，步骤3.2)具体为：将步骤2)训练集中每个音频数据的梅尔频谱m、梅尔频率倒谱系数n和色度l特征，分别取平均、最大、最小值，并用拼接的方法得到(m+n+l，3)的特征，然后送入步骤3.1)基础预训练模型中进行分类检测训练，得到训练完成的音频故障检测分类网络模型。
进一步地，步骤1.1)具体为：下载标准语音分类任务数据集，该数据集包含10种语音，分别为冷气机、汽车喇叭、儿童玩耍、狗吠声、钻孔、发动机空转、枪射击、手持式凿岩机、警笛、街头音乐，提取其中数量最多的两类数据标注为正常数据与异常数据，或者将10类数据分为两大类数据，分别标注为正常数据、异常数据，获得开源音频数据集；
步骤1.2)中，叶片音频数据集为包含正常和故障两种类别的叶片音频数据集。
进一步地，步骤1.1)还可具体为：下载标准语音分类任务数据集，该数据集包含10种语音，分别为冷气机、汽车喇叭、儿童玩耍、狗吠声、钻孔、发动机空转、枪射击、手持式凿岩机、警笛、街头音乐，提取其中数量最多的M类数据分别标注为M类具有标识的音频类别数据，或者将10类数据分为M类具有标识的音频类别数据，获得开源音频数据集，其中，M为大于2且小于等于10的整数；
步骤1.2)中，叶片音频数据集为包含M类音频数据的叶片音频数据集。
与现有技术相比，本发明的优点是：
1、本发明方法中数据获取中包括获取开源音频数据集，并通过开源音频数据集对分类网络模型中进行预训练，无需海量的叶片音频数据库，就可以得到验证集和测试集上精度较高、速率较快的音频故障检测分类网络模型。
2、本发明方法还包括通过音频数据的梅尔频谱绘制梅尔频谱图，并通过梅尔频谱图得到音频数据分类结果，与音频故障检测分类网络模型输出相应音频数据的故障检测结果进行比较，验证音频故障检测分类网络模型的有效性。
3、本发明开源音频数据集和叶片音频数据集均可实现音频数据的二分类，进而实现叶片正常和异常的检测。
4、本发明开源音频数据集和叶片音频数据集均可实现音频数据的多分类，音频故障检测分类网络模型表现出较好的泛化能力，当音频故障类型增加时，可以根据数据类型实现更多种类的分类任务，进而实现对叶片出现断裂、开裂、雷击等显著异常做检测与预警，能很大程度上提高风电场机组故障检测的实时性与准确性，保证机组可靠运行，为风场机组叶片故障分析与诊断提供理论依据和技术支持，以实现风电场叶片智能音频检测系统的低成本、高效、快速部署，最终达到智能、高效的风电机组叶片的监测效果。
附图说明
图1是本发明基于分类的风电机组叶片音频故障检测方法流程图；
图2是本发明基于分类的风电机组叶片音频故障检测方法中分类网络模型的结构示意图；
图3是本发明基于分类的风电机组叶片音频故障检测方法中梅尔倒谱系数提取流程图；
图4是本发明实施例二中正常音频数据的梅尔频谱图，其中，a为原音频信号频谱图，b为梅尔频谱图；
图5是本发明实施例二中雷击音频数据的梅尔频谱图，其中，a为原音频信号频谱图，b为梅尔频谱图；
图6是本发明实施例二中鸽子尾哨音频数据的梅尔频谱图，其中，a为原音频信号频谱图，b为梅尔频谱图。
具体实施方式
以下结合附图和具体实施例对本发明的内容作进一步详细描述。
本发明基于深度学习和计算机听觉技术，以叶片的音频数据为对象，提出一种快速、准确的风电机组叶片故障类型检测方法，提高风电场机组故障检测的实时性与准确性，降低风电机组的维护及检修成本，保证风电机组可靠运行，为风场机组叶片故障分析与诊断提供理论依据与技术支持，以实现风电场叶片智能音频检测系统的低成本、高效、快速部署。
本发明一种基于分类的风电机组叶片音频故障检测方法，先用开源数据集训练得到预训练模型，再在叶片音频数据集上使用预训练模型训练得到用于音频故障监测的模型。如图1所示，为本发明基于分类的风电机组叶片音频故障检测方法的流程图，以下对本发明方法进行详细阐述，具体步骤为：
1)数据获取
1.1)获取开源音频数据集；
1.2)将叶片的音频数据进行分类整理，获得叶片音频数据集，叶片音频数据集包括训练集、测试集和验证集，训练集、验证集与测试集的比例为：7:2:1；
2)训练集音频数据的特征提取
提取步骤1.2)训练集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征；
3)建立音频故障检测分类网络模型
3.1)将步骤1.1)的开源音频数据集送入分类网络模型中进行预训练，得到基础预训练模型；
本发明分类网络模型结构如图2所示，将输入层送入三个相同结构的卷积块中，使得在处理过程中并行提取音频特征，加快特征提取的速率；并将卷积块输出特征进行融合，增加音频特征信息，提升分类的准确性；在单个卷积块中通过两个并行的最大池化，并对池化后的特征进行融合，在减少运行参数的同时避免池化操作带来的信息量丢失问题，该网络结构简单，用于风电叶片音频分类任务具有较好的准确性与速率优势。
3.2)将步骤2)训练集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，送入步骤3.1)基础预训练模型中进行分类检测训练，得到训练完成的音频故障检测分类网络模型；
3.3)提取1.2)测试集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)的音频故障检测分类网络模型中进行测试，并统计测试结果；
若测试结果的正确率高于所给定阈值，则音频故障检测分类网络模型完成建立；
若测试结果的正确率低于所给定阈值，则调整分类网络模型的条件参数，直至统计测试结果满足要求；
3)验证网络模型
提取步骤1.2)验证集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.3)的音频故障检测分类网络模型中进行验证，获得验证集音频数据的故障检测结果；
同时，根据验证集中每个音频数据的梅尔频谱绘制相应梅尔频谱图，再根据梅尔频谱图得出每个音频数据的实际分类结果，获得验证集由梅尔频谱图得到的音频数据分类结果；
比较验证集音频数据的故障检测结果与梅尔频谱图得到的音频数据分类结果，验证音频故障检测分类网络模型的有效性；
4)待测叶片音频的检测
将待测叶片音频输入步骤3.2)音频故障检测分类网络模型中，获得待测叶片音频的故障检测结果。
本发明方法具有以下特点：
(1)无需海量的叶片音频数据，就可以得到在验证集和测试集上的精度较高、速率较快的音频故障检测分类网络模型；
(2)构建用于风场叶片音频检测的分类网络模型，通过该模型实现音频数据的二分类与多分类任务，本发明音频故障检测分类网络模型表现出较好的泛化能力，当音频故障类型增加时，可以根据数据类型实现更多种类的分类任务；
(3)本发明将音频特征的梅尔频谱与音频故障检测分类网络模型检测方式相结合，通过对不同类型音频数据的梅尔频谱图进行统计，以辅助分析模型检测结果，验证本发明音频故障检测分类网络模型的准确性，可对梅尔频谱与相应的分类音频检测结果进行统计分析，为通过音频特征直观地反映音频中的叶片状态好坏奠定理论与研究基础。
(4)本发明建立基于叶片音频数据的音频故障检测分类网络模型，对叶片出现断裂、开裂、雷击等显著异常做检测与预警，能很大程度上提高风电场机组故障检测的实时性与准确性，保证机组可靠运行高效性与安全性，达到智能、高效的风电机组叶片的监测效果，具有重要的实践意义与应用价值。
(5)本发明方法通过音频数据特征的提取与处理，完成叶片故障类型的检测与区分，实现风电场各个机组叶片的智能化监控，保障整个风电场机组叶片的运行状态与安全。本发明方法具有较快的处理速率与检测精度，各方面性能上表现出较好的优势，具有广阔的应用空间，具备扩大市场占有率的潜能。
(6)本发明方法不仅有效的权衡了音频故障分类的准确性与时效性问题，从而减少因叶片故障引发的风电机组整机故障，保证机组可靠运行；而且基于多分类的音频的故障检测无需构建大量叶片音频故障数据库，在很大程度上降低了成本，并对目前大型工程设备运行故障检测系统具有很好的扩展性，可将本方法方法应用于多种工程设备无损检测中。
本发明通过安装在塔底的拾音设备定时采集叶片的音频数据，对叶片音频数据分析处理建立基于多分类的叶片音频故障检测分类网络模型。若具有较少的叶片失效的有效音频数据，可对叶片出现断裂、开裂、雷击等显著异常做预警，不对叶片异常的类型做判断，即仅对输入的音频数据进行检测，输出该音频数据是正常(0)/异常(1)，实现二分类异常检测；若具备较多的叶片失效的有效音频数据，可根据具体的异常数据类型进行划分数据集，进行模型重训练，得到多类型异常故障检测结果，实现多分类异常检测。
实施例一
以一种风力发电机的叶片音频检测为例，本实施例提供了一种基于二分类的风电机组叶片音频故障检测方法，包括以下步骤：
步骤1：数据获取与整理
步骤1.1：开源音频数据集获取，下载标准语音分类任务数据集，该数据集包含10种语音，即冷气机、汽车喇叭、儿童玩耍、狗吠声、钻孔、发动机空转、枪射击、手持式凿岩机、警笛、街头音乐，每段录音约4s，用于预训练模型的训练，提取其中的数量最多的两类数据划分正常数据与异常数据，或者将10类数据分为两大类数据，分别标注为正常数据、异常数据。
步骤1.2：风场叶片音频数据集的收集与整理，安装在塔底的拾音设备定时采集叶片的音频数据，将采集的叶片音频素材进行整理，得到包含正常和故障的两种类别的叶片音频数据集，每段音频长度约为30s，当前整理的数据集中正常的叶片音频3896段，故障的叶片音频2514段。将叶片音频数据集分为训练集、测试集和验证集。
步骤2：训练集音频数据的特征提取
步骤2.1：获取梅尔频谱特征
声谱图往往是很大的一张图，为了得到合适大小的声音特征，往往把训练集中每个音频数据通过梅尔标度滤波器组，变换为梅尔频谱Mel(f)，获得每个音频数据的梅尔频谱特征。梅尔频谱在人工特征方面久负盛名，本方法中提取m维的梅尔频谱特征，以梅尔(Mel)为单位的感知频域公式如(1)所示，以赫兹(Hz)为单位的实际语音频率公式如(2)所示，在Mel频域内，对音调的感知度为线性关系，具体如下：
Figure BDA0003453681130000101
f＝700(10Mel(f)/2595-1) (2)
步骤2.2：获取梅尔频率倒谱系数特征
在梅尔频谱上面获得的倒谱系数称为梅尔频率倒谱系数(Mel-frequencycepstral coefficients，MFCC)。本实施例方法中提取n维的梅尔频率倒谱系数特征。具体的语音特征参数MFCC提取过程如图3所示。为了提升高频部分，使信号的频谱变得平坦，进行预加重、分帧以及加窗预处理，预加重处理其实是将语音信号通过一个高通滤波器，分帧是通过一定的采样点与采样频率将音频分区域处理；加窗是将每一帧乘以汉明窗。
2.2.1)将每个音频数据通过一个高通滤波器进行预加重处理，高通滤波器计算公式如下：
H(z)＝1-μz-1 (3)
式中：μ的值介于0.9-1.0之间，本实施例取0.97；z为音频数据在z域的频率；
2.2.2)通过设定的采样点与设定的采样频率将预加重处理后的每个音频数据进行分区域处理，将每一区域记为一帧；
2.2.3)对每一帧的音频信号乘以汉明窗，以增加帧左端和右端的连续性，例如分帧后的信号为S(n)，n＝0,1,...,N-1，N为帧大小，乘上汉明窗后S'(n)＝S(n)×W(n)，W(n)的形式如公式(4)，公式中a取0.46：
Figure BDA0003453681130000102
在每帧的音频信号乘以汉明窗后，再经过快速傅里叶变换FFT得到在频谱上的能量分布，对分帧加窗后的各帧信号进行快速傅里叶变换得到各帧的频谱，并对音频信号的频谱取模平方得到语音信号的功率谱，音频信号的FFT为：
Figure BDA0003453681130000111
式中x(n)为输入的语音信号，N表示傅里叶变换的点数，j表示复数单位，0≤k≤N；
2.2.4)将每个音频数据的能量谱通过一组Mel尺度的三角形滤波器组进行处理，定义一个有M个滤波器的滤波器组(滤波器的个数和临界带的个数相近)，采用的滤波器为三角滤波器，其频率响应定义为：
Figure BDA0003453681130000112
式中：
Figure BDA0003453681130000113
通过Mel滤波对频谱进行平滑化，并消除谐波的作用，突显原先语音的共振峰。每个三角形滤波器组输出的对数能量：
Figure BDA0003453681130000114
再经过离散余弦变换(DCT)得到梅尔频率倒谱(MFCC)系数：
Figure BDA0003453681130000115
上述是L阶参数，L阶指MFCC系数阶数，通常取12-16，M为三角滤波器个数，倒谱就是音频信号的傅里叶变换经对数运算后再进行傅里叶反变换得到的谱。
步骤2.3：获取色度信息
色度是音频有趣且强大的表示，其将整个频谱投影到l个区间，本方法提取l维的色度特征。
步骤3：建立音频故障检测分类网络模型
步骤3.1：获得基础预训练模型
运用步骤1.1中划分的开源音频数据集，进行二分类模型训练学习，得到二分类基础预训练模型；具体的，二分类网络结构如图2所示，对于输入尺度180，通道3的数据，送入三个相同网络结构块的卷积-BN-池化结构中，通过三个相同结构块增强语音信号特征，然后将三个输出的256通道的特征进行加法操作，生成768通道特征，同时通过Dropout达到正则化的效果，再运用Dense全连接层进行局部信息的全局化处理，其中运用BN有效的缓解过拟合的发生，加快网络训练速度，最后在用全连接层Dense将输出通道降为2，该通道数也就是分类的类别数，2类(正常数据、异常数据)；
步骤3.2：获得音频故障检测分类网络模型
基于二分类基础预训练模型，对步骤2每个音频数据提取的梅尔频谱m、梅尔频率倒谱系数n、色度l特征，分别取平均、最大、最小值，并用拼接的方法得到(m+n+l，3)的特征，并输入步骤1.2的风场叶片音频数据集进行二分类基础预训练模型的训练，得到最终的二分类音频故障检测分类网络模型(正常或故障)；
步骤3.3：测试音频故障检测分类网络模型
按照步骤2)的方法提取1.2)测试集(测试集的音频数据具有标识的正常/异常音频数据)中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)的二分类音频故障检测分类网络模型中进行测试，并统计测试结果；测试二分类音频故障检测分类网络模型统计的损失、正确率、速率(10秒音频数据)如表1所示；
表1 二分类模型测试性能表
Figure BDA0003453681130000121
表1中，测试结果的正确率高于所给定阈值，则二分类音频故障检测分类网络模型完成建立；以及从中可以看出，分类的准确率较高、检测速率快；
4)验证网络模型
按照步骤2)的方法提取1.2)验证集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)的二分类音频故障检测分类网络模型中进行验证，获得验证集音频数据的故障检测结果；
同时，根据验证集中每个测试音频数据的梅尔频谱绘制相应梅尔频谱图，根据梅尔频谱图得出音频数据的实际分类结果，获得梅尔频谱图得到的音频数据分类结果；
比较验证集音频数据的故障检测结果与梅尔频谱图得到的音频数据分类结果，验证音频故障检测分类网络模型的有效性。并将结果反馈到叶片状态监测平台进行音频故障分析，经过多次统计分析，得到二分类音频故障检测分类网络模型性能指标统计结果，如表2所示：
表2 二分类模型评价指标表，
Figure BDA0003453681130000131
5)待测叶片音频的检测
将待测叶片音频输入步骤3.2)二分类音频故障检测分类网络模型中，获得待测叶片音频的故障检测结果，检测结果为正常或故障。
实施例二
以一种某风力发电机的叶片音频检测为例，本实施例提供了一种基于多分类的风电机组叶片音频故障检测方法，包括以下步骤：
步骤1：数据获取与整理
步骤1.1：开源音频数据集获取，下载标准语音分类任务数据集，该数据集包含10种语音，即冷气机、汽车喇叭、儿童玩耍、狗吠声、钻孔、发动机空转、枪射击、手持式凿岩机、警笛、街头音乐，每段录音约4s，用于预训练模型的训练，提取其中的数量最多的M类数据划分为具有标识的音频类别数据，或者将10类数据分为M大类数据，分别进行标注区分。其中，M为大于2的整数，对叶片的断裂、开裂、雷击等显著异常做检测与预警；
步骤1.2：风场叶片音频数据集的收集与整理，安装在塔底的拾音设备定时采集叶片的音频数据，将采集的叶片音频素材进行整理，得到包含断裂、开裂、雷击等M种类别的叶片音频数据集，当前整理的数据集中正常的叶片音频4496段，断裂的1514段，雷击的1452段，开裂的1221段等，此处共概括为M类音频数据。将叶片音频数据集分为训练集、测试集和验证集。
步骤2：训练集音频数据的特征提取
与实施例一步骤相同。
步骤3：建立音频故障检测分类网络模型
步骤3.1：获得基础预训练模型
运用步骤1.1中划分的开源音频数据集，进行多分类模型训练学习，得到多分类基础预训练模型，具体的，网络结构对于输入尺度180，通道3的数据，送入三个相同网络结构块的卷积-BN-池化结构中，通过三个相同结构块增强语音信号特征，然后将三个输出的256通道的特征进行加法操作，生成768通道特征，同时通过Dropout达到正则化的效果，再运用Dense全连接层进行局部信息的全局化处理，其中运用BN有效的缓解过拟合的发生，加快网络训练速度，最后在用全连接层Dense将输出通道降为类别数M，该通道数也就是分类的类别数，M类(断裂、开裂、雷击等M种类别)；
步骤3.2：获得音频故障检测分类网络模型
基于多分类基础预训练模型，对步骤2每个音频数据提取的梅尔频谱m、梅尔频率倒谱系数n、色度l特征，分别取平均、最大、最小值，并用拼接的方法得到(m+n+l，3)的特征，并运用步骤1.2的风场叶片音频数据集进行多分类基础预训练模型的训练，得到最终的多分类音频故障检测分类网络模型(正常、断裂、开裂、雷击等)
步骤3.3：测试获得音频故障检测分类网络模型
按照步骤2)的方法提取1.2)测试集(测试集的音频数据具有正常、断裂、开裂、雷击等标识类型的音频数据)中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)的多分类音频故障检测分类网络模型中进行测试，并统计测试结果；测试多多分类音频故障检测分类网络模型的损失、正确率、速率(10秒音频数据)如表3所示；
表3 多分类模型测试性能表
Figure BDA0003453681130000141
Figure BDA0003453681130000151
表3中，测试结果的正确率高于所给定阈值，则多分类音频故障检测分类网络模型完成建立，以及从中可以看出，分类的准确率较高、检测速率快；
4)验证网络模型
按照步骤2)的方法提取1.2)验证集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)的音频故障检测分类网络模型中进行验证，获得验证集音频数据的故障检测结果；
同时，根据验证集中每个测试音频数据的梅尔频谱绘制相应梅尔频谱图，如图4至图6所示，为正常、雷击、鸽子尾哨音频数据的梅尔频谱图；根据梅尔频谱图得出音频数据的实际分类结果，获得梅尔频谱图得到的音频数据分类结果；
比较验证集音频数据的故障检测结果与梅尔频谱图得到的音频数据分类结果，验证音频故障检测分类网络模型的有效性。并将结果反馈到叶片状态监测平台进行音频故障分析，经过多次统计分析，得到多分类音频故障检测分类网络模型性能指标统计结果，如表4所示：
表4 多分类模型评价指标统计表
Figure BDA0003453681130000152
5)待测叶片音频的检测
将待测叶片音频输入步骤3.2)多分类音频故障检测分类网络模型中，获得待测叶片音频的故障检测结果，检测结果为正常或断裂、开裂、雷击等故障类型。
以上仅是对本发明的优选实施方式进行了描述，并不将本发明的技术方案限制于此，本领域技术人员在本发明主要技术构思的基础上所作的任何变形都属于本发明所要保护的技术范畴。

Claims (8)

1.一种基于分类的风电机组叶片音频故障检测方法，其特征在于，包括以下步骤：
1)数据获取
1.1)获取开源音频数据集；
1.2)将叶片的音频数据进行分类整理，获得叶片音频数据集，叶片音频数据集包括训练集和测试集；
2)训练集音频数据的特征提取
提取步骤1.2)训练集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征；
3)建立音频故障检测分类网络模型
3.1)构建音频故障检测分类网络模型，将步骤1.1)的开源音频数据集送入音频故障检测分类网络模型中进行预训练，得到基础预训练模型；
3.2)将步骤2)训练集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，送入步骤3.1)基础预训练模型中进行分类检测训练，得到训练完成的音频故障检测分类网络模型；
3.3)提取1.2)测试集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)训练完成的音频故障检测分类网络模型中进行测试，并统计测试结果；
若测试结果的正确率高于所给定阈值，则音频故障检测分类网络模型完成建立；
若测试结果的正确率低于所给定阈值，则调整分类网络模型的条件参数，直至统计测试结果满足要求，音频故障检测分类网络模型完成建立；
4)待测叶片音频的检测
将待测叶片音频输入步骤3.3)完成建立的音频故障检测分类网络模型中，获得待测叶片音频的分类检测结果。
2.根据权利要求1所述基于分类的风电机组叶片音频故障检测方法，其特征在于：步骤1.2)中，叶片音频数据集还包括验证集；
步骤3)和步骤4)之间还包括步骤A)验证网络模型：提取步骤1.2)验证集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.3)完成建立的音频故障检测分类网络模型中进行验证，获得验证集音频数据的故障检测结果；
同时，根据验证集中每个音频数据的梅尔频谱绘制相应梅尔频谱图，根据梅尔频谱图得出每个音频数据的实际分类结果，获得梅尔频谱图下的音频数据分类结果；
比较验证集音频数据的故障检测结果与梅尔频谱图得到的音频数据分类结果，验证音频故障检测分类网络模型的有效性。
3.根据权利要求2所述基于分类的风电机组叶片音频故障检测方法，其特征在于，步骤2)和步骤3.3)中，提取音频数据的梅尔频谱特征具体为：
将音频数据通过梅尔标度滤波器组变换为梅尔频谱Mel(f)，获得音频数据的梅尔频谱特征；
Figure FDA0003453681120000021
其中，f表示音频数据的频率。
4.根据权利要求3所述基于分类的风电机组叶片音频故障检测方法，其特征在于，步骤2)和步骤3.3)中，提取音频数据的梅尔频率倒谱系数特征具体为：
a)将音频数据通过一个高通滤波器进行预加重处理，其中，高通滤波器计算公式如下：
H(z)＝1-μz-1
式中：μ为调整参数，μ的取值范围为0.9-1.0；z为音频数据在z域的频率；
b)通过设定的采样点与设定的采样频率将预加重处理后的音频数据进行分区域处理，将每一区域记为一帧；
c)对每一帧的音频信号乘以汉明窗，再经过快速傅里叶变换FFT得到在频谱上的能量分布，音频数据的能量谱表示如下：
Figure FDA0003453681120000031
式中：x(n)为输入的音频信号，N表示傅里叶变换的点数，j表示复数单位，0≤k≤N；
d)音频数据的能量谱通过三角形滤波器组进行处理获得对数能量s(m)：
Figure FDA0003453681120000032
其中，0≤m≤M，M为三角滤波器组的滤波器数量；
Hm(k)为三角形滤波器组的三角滤波器频率，计算公式如下：
Figure FDA0003453681120000033
e)对音频数据的数能量进行离散余弦变换，得到梅尔频率倒谱系数C(n)：
Figure FDA0003453681120000034
式中：L为梅尔频率倒谱系数阶数，取12-16，M为三角滤波器组的三角滤波器数量，n＝1,2,...,L。
5.根据权利要求1至4任一所述基于分类的风电机组叶片音频故障检测方法，其特征在于，步骤3.1)具体为：
3.1.1)开源音频数据集经音频故障检测分类网络模型的输入层，送入三个相同结构的卷积-BN-池化结构中，并行提取音频特征；
3.1.2)三个卷积-BN-池化结构输出的音频特征进行加法操作，并通过Dropout达到正则化的效果，再运用Dense全连接层进行局部信息的全局化处理，最后在用全连接层Dense将输出通道降为需要的类别数，实现音频数据的分类。
6.根据权利要求5所述基于分类的风电机组叶片音频故障检测方法，其特征在于，步骤3.2)具体为：
将步骤2)训练集中每个音频数据的梅尔频谱m、梅尔频率倒谱系数n和色度l特征，分别取平均、最大、最小值，并用拼接的方法得到(m+n+l，3)的特征，然后送入步骤3.1)基础预训练模型中进行分类检测训练，得到训练完成的音频故障检测分类网络模型。
7.根据权利要求1所述基于分类的风电机组叶片音频故障检测方法，其特征在于，步骤1.1)具体为：
下载标准语音分类任务数据集，该数据集包含10种语音，分别为冷气机、汽车喇叭、儿童玩耍、狗吠声、钻孔、发动机空转、枪射击、手持式凿岩机、警笛、街头音乐，提取其中数量最多的两类数据标注为正常数据与异常数据，或者将10类数据分为两大类数据，分别标注为正常数据、异常数据，获得开源音频数据集；
步骤1.2)中，叶片音频数据集为包含正常和故障两种类别的叶片音频数据集。
8.根据权利要求1所述基于分类的风电机组叶片音频故障检测方法，其特征在于，步骤1.1)具体为：
下载标准语音分类任务数据集，该数据集包含10种语音，分别为冷气机、汽车喇叭、儿童玩耍、狗吠声、钻孔、发动机空转、枪射击、手持式凿岩机、警笛、街头音乐，提取其中数量最多的M类数据分别标注为M类具有标识的音频类别数据，或者将10类数据分为M类具有标识的音频类别数据，获得开源音频数据集，其中，M为大于2且小于等于10的整数；
步骤1.2)中，叶片音频数据集为包含M类音频数据的叶片音频数据集。
CN202111673492.7A 2021-12-31 2021-12-31 一种基于分类的风电机组叶片音频故障检测方法 Pending CN114352486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111673492.7A CN114352486A (zh) 2021-12-31 2021-12-31 一种基于分类的风电机组叶片音频故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111673492.7A CN114352486A (zh) 2021-12-31 2021-12-31 一种基于分类的风电机组叶片音频故障检测方法

Publications (1)

Publication Number Publication Date
CN114352486A true CN114352486A (zh) 2022-04-15

Family

ID=81105243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111673492.7A Pending CN114352486A (zh) 2021-12-31 2021-12-31 一种基于分类的风电机组叶片音频故障检测方法

Country Status (1)

Country Link
CN (1) CN114352486A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713945A (zh) * 2022-11-10 2023-02-24 杭州爱华仪器有限公司 一种音频数据处理方法和预测方法
CN116386663A (zh) * 2023-03-22 2023-07-04 华能新能源股份有限公司河北分公司 一种风机叶片异常检测方法、装置、计算机及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109357749A (zh) * 2018-09-04 2019-02-19 南京理工大学 一种基于dnn算法的电力设备音频信号分析方法
CN109408660A (zh) * 2018-08-31 2019-03-01 安徽四创电子股份有限公司 一种基于音频特征的音乐自动分类的方法
CN110017991A (zh) * 2019-05-13 2019-07-16 山东大学 基于谱峭度和神经网络的滚动轴承故障分类方法及系统
CN110992985A (zh) * 2019-12-02 2020-04-10 中国科学院声学研究所东海研究站 识别跑步机异音的识别模型确定方法、识别方法、系统
CN112067701A (zh) * 2020-09-07 2020-12-11 国电电力新疆新能源开发有限公司 基于声学诊断的风机叶片远程听诊方法
CN112395957A (zh) * 2020-10-28 2021-02-23 连云港杰瑞电子有限公司 一种针对视频目标检测的在线学习方法
CN112784130A (zh) * 2021-01-27 2021-05-11 杭州网易云音乐科技有限公司 孪生网络模型训练、度量方法、装置、介质和设备
US20210303866A1 (en) * 2020-03-31 2021-09-30 Hefei University Of Technology Method, system and electronic device for processing audio-visual data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408660A (zh) * 2018-08-31 2019-03-01 安徽四创电子股份有限公司 一种基于音频特征的音乐自动分类的方法
CN109357749A (zh) * 2018-09-04 2019-02-19 南京理工大学 一种基于dnn算法的电力设备音频信号分析方法
CN110017991A (zh) * 2019-05-13 2019-07-16 山东大学 基于谱峭度和神经网络的滚动轴承故障分类方法及系统
CN110992985A (zh) * 2019-12-02 2020-04-10 中国科学院声学研究所东海研究站 识别跑步机异音的识别模型确定方法、识别方法、系统
US20210303866A1 (en) * 2020-03-31 2021-09-30 Hefei University Of Technology Method, system and electronic device for processing audio-visual data
CN112067701A (zh) * 2020-09-07 2020-12-11 国电电力新疆新能源开发有限公司 基于声学诊断的风机叶片远程听诊方法
CN112395957A (zh) * 2020-10-28 2021-02-23 连云港杰瑞电子有限公司 一种针对视频目标检测的在线学习方法
CN112784130A (zh) * 2021-01-27 2021-05-11 杭州网易云音乐科技有限公司 孪生网络模型训练、度量方法、装置、介质和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩志艳: "面向语音与面部表情信号的多模式情感识别技术研究", 31 January 2017, 东北大学出版社, pages: 70 - 72 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713945A (zh) * 2022-11-10 2023-02-24 杭州爱华仪器有限公司 一种音频数据处理方法和预测方法
CN116386663A (zh) * 2023-03-22 2023-07-04 华能新能源股份有限公司河北分公司 一种风机叶片异常检测方法、装置、计算机及存储介质

Similar Documents

Publication Publication Date Title
CN111325095B (zh) 基于声波信号的设备健康状态智能检测方法和系统
CN114352486A (zh) 一种基于分类的风电机组叶片音频故障检测方法
CN102723079B (zh) 基于稀疏表示的音乐和弦自动识别方法
CN103810374A (zh) 一种基于mfcc特征提取的机器故障预测方法
CN105841797A (zh) 一种基于mfcc和svm的车窗电机异常噪声检测方法及装置
CN111724770B (zh) 一种基于深度卷积生成对抗网络的音频关键词识别方法
CN113298134B (zh) 一种基于bpnn的风机叶片远程非接触健康监测系统和方法
Socoró et al. Development of an Anomalous Noise Event Detection Algorithm for dynamic road traffic noise mapping
CN113763986B (zh) 一种基于声音分类模型的空调内机异常声音检测方法
CN113566948A (zh) 机器人化煤机故障音频识别及诊断方法
CN116778964A (zh) 一种基于声纹识别的变电设备故障监测系统及方法
CN115358718A (zh) 基于智能监测前端的噪声污染分类及实时监管方法
CN112397074A (zh) 基于mfcc和向量元学习的声纹识别方法
CN115467787A (zh) 一种基于音频分析的电机状态检测系统及方法
Li et al. Research on environmental sound classification algorithm based on multi-feature fusion
CN116168727A (zh) 一种变压器异常声音检测方法、系统、设备及存储介质
Tan et al. Acoustic event detection with MobileNet and 1D-convolutional neural network
Soni et al. Automatic audio event recognition schemes for context-aware audio computing devices
CN112908343B (zh) 一种基于倒谱语谱图的鸟类物种数量的获取方法及系统
CN112201226A (zh) 一种发声方式判别方法及系统
CN113539298A (zh) 一种基于云边端的声音大数据分析计算图像化系统
Paulraj et al. A method to generate a database of source labelled environmental noise samples using open noise data and to quantify wind turbine noise in it.
Abdenebi et al. Gearbox Fault Diagnosis Using the Short-Time Cepstral Features
CN115662464B (zh) 一种智能识别环境噪声的方法及系统
Yan et al. Sound event recognition based in feature combination with low snr

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination