CN110472587A - 基于cnn和声音时频特征图的微型振动马达缺陷识别方法及装置 - Google Patents

基于cnn和声音时频特征图的微型振动马达缺陷识别方法及装置 Download PDF

Info

Publication number
CN110472587A
CN110472587A CN201910761704.3A CN201910761704A CN110472587A CN 110472587 A CN110472587 A CN 110472587A CN 201910761704 A CN201910761704 A CN 201910761704A CN 110472587 A CN110472587 A CN 110472587A
Authority
CN
China
Prior art keywords
time
vibrating motor
frequency
cnn
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910761704.3A
Other languages
English (en)
Other versions
CN110472587B (zh
Inventor
方夏
冯涛
李勇
王杰
王玫
刘剑歌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910761704.3A priority Critical patent/CN110472587B/zh
Publication of CN110472587A publication Critical patent/CN110472587A/zh
Application granted granted Critical
Publication of CN110472587B publication Critical patent/CN110472587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于CNN和声音时频特征图的微型振动马达缺陷识别方法及装置，该缺陷识别方法包括将采集的音频信号进行A‑计权处理，然后进行短时傅里叶变换获得二维时频特征灰度图，将二维时频特征灰度图制作成训练集和测试集，通过CNN对时频特征图进行学习，提取出更容易分类的特征，使用softmax分类器对最后的特征进行分类，实现对微型振动马达缺陷的无损、实时、高精度检测。本发明能够实现对带有偏心块的微型振动马达的缺陷检测，填补了带偏心块微型振动马达检测技术的空白，在无损检测技术领域具有很大的应用前景。

Description

基于CNN和声音时频特征图的微型振动马达缺陷识别方法及 装置
技术领域
本发明属于机器缺陷检测技术领域，具体涉及一种基于CNN和声音时频特征图的微型振动马达缺陷识别方法及装置。
背景技术
以振动电机作为激振源，应用范围从大型的冶金、采矿中所使用的振动电机到手机交互所使用的微型振动马达。就手机微型振动马达而言，产品出厂时存在很多的噪声缺陷，这严重影响着电机转动的稳定性、使用寿命以及用户体验。为改善这种局面，提高企业的生产效率和马达本身的转动特性，对于手机微型振动马达的故障检测具有重要的意义。
现阶段对振动电机进行了多方面的研究工作，宗荣珍对振动电机所需要的转动偏心块进行了模态分析和静态分析。Li,Chang等人通过小波分析的方法对扁平振动马达进行了噪声缺陷分析。丘寿提出了一种新的根据手机振动马达振动量的评测方法。古莹奎等通过提取时域、频域、和希尔伯特变换的36个特征，实现对齿轮箱运转过程中的振动信号特征进行压缩。
人工智能技术的核心内容是机器学习算法，它在信号分析领域有着重要的应用。赵越等通过小波变换结合人工神经网络对磁瓦跌落声音信号进行检测，识别内部缺陷，谢罗峰等结合双树复小波变换和领域成分分析，通过机器学习算法LSSVM检测磁瓦跌落的声音信号检测缺陷。Adlen Kerboua通过两层LSTM网络对三相鼠笼异步电机的三相电流信号进行序列检测来对电机的运行过程实时监测。
随着硬件加速性能的成熟，以卷积神经网络(Convolutional Neural Networks,CNN)为代表的深度学习算法逐步成为机器学习算法的核心，张孟伯等将CNN卷积网络在图像处理方面的优势，运用到OFDM进行频谱感知，并对OFDM信号进行分类。因此用深度卷积网络对信号进行特征的提取总结有重要的研究意义。
发明内容
针对现有微型振动马达无损探伤检测技术中存在的检测速度慢、无法同时实现对微型振动马达各方面性能全面检测的问题，本发明目的旨在提供一种基于CNN和声音时频特征图的微型振动马达缺陷识别方法及装置，在实现对微型振动马达(包括带偏心块的微型振动马达)各种故障准确检测的同时，提高检测效率。
为实现上述目的，本发明提供一种基于CNN和声音时频特征图的微型振动马达缺陷识别方法，包括以下步骤：
(1)获取微型振动马达的声学频谱测量数据；
(2)将获取的声学频谱测量数据进行A计权处理，得到模拟人耳听音特性的时域波形图；
(3)对步骤(2)得到的时域波形图采用短时傅里叶变换，构造三维时频瀑布图；
(4)将三维时频瀑布图在频率轴和时间轴构成的平面作投影，得到二维时频图并进行归一化处理；
(5)将步骤(4)处理后的二维时频图转化为灰度图，得到二维时频灰度图；
(6)利用根据各种类型缺陷对应的二维时频灰度图训练的CNN模型对步骤(5)得到的二维时频灰度图进行识别，判断微型振动马达是否存在缺陷以及缺陷种类。
进一步的，上述步骤(3)具体为：
设定采样帧的长度和重叠帧的长度，将时域波形图进行时窗切分，对每帧信号进行傅里叶变换，构造三维时频瀑布图。
进一步的，依据设定采样帧的长度和重叠帧的长度，得到构造的时频图尺寸h×w，对第i帧信号进行傅里叶变换的公式表示为：
其中，x(t)为第i帧信号，i＝1,2,...,h，k＝1,2,...,w，t的取值为到N为帧数据的长度，L为总采样数据长度，表示取不大于的最大整数。
进一步的，上述步骤(4)中将二维时频图进行归一化处理的公式表示为：
其中，I”(i,k)表示二维时频图进行归一化处理后的像素值。
进一步的，CNN模型包括有输入层、若干卷积层、全连接层和softmax层。
进一步的，CNN模型具体设置为：
输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层及softmax层；所述第一卷积层的输入与输入层连接，第一卷积层的输出依次连接第一BN层、第一激活层、第一池化层后与所述第二卷积层的输入连接；所述第二卷积层的输出依次连接第二BN层、第二激活层、第二池化层后与所述第三卷积层的输入连接；所述第三卷积层的输出依次连接第三BN层、第三激活层后与所述第四卷积层的输入连接；所述第四卷积层的输出依次连接第四BN层、第四激活层、第四池化层后通过三层全连接层与所述softmax层的输入连接。
进一步的，上述根据各种类型缺陷对应的二维时频特征图训练CNN模型具体为：依据获取各种类型缺陷对应的二维时频特征图划分出训练集，并利用训练集对CNN模型进行训练得到。
进一步的，上述CNN模型训练过程包括输入训练集中的二维灰度时频图，经过设置的CNN模型得到的预测值，并通过监督学习的方法，使用损失函数加正则化项构成最终的损失函数，为了优化损失函数的值的方式，通过反向传播方法，对各个权重进行链式求偏导，并进行权重更新；
使用损失函数加正则化项构成最终的损失函数表示为：
其中，m为样本数量，fW,b(Xj)为经过设置的CNN模型得到的输出预测值，Xj为第j个输入样本，Yj为输入样本Xj对应的期望值，λR(W)为与学习权重矩阵W相关的正则化惩罚项，λ为惩罚系数，b为偏差值；
权重更新公式表示为：
其中，wl为CNN模型学习过程中第l次迭代过程的权重，α为衰减系数。
进一步的，上述训练CNN模型过程还包括依据获取各种类型缺陷对应的二维时频特征图划分出有别于训练集的测试集，然后利用测试集对训练的CNN模型进一步测试，并根据测试结果进一步优化CNN模型。本发明中，对测试集的测试放在每次训练集优化CNN模型之后。当在测试集上的识别准确率和损失值符合设定要求时，迭代过程结束，得到满足要求的CNN模型；例如在达到设定迭代次数后，选取在测试集上的识别准确率最高而损失值较小的CNN模型作为最优CNN模型。
本发明还提出了一种应用上述识别方法对微型振动马达缺陷进行识别的装置，包括用于安装待测试微型振动马达的载物台、用于将微型振动马达压紧固定于载物台上的压紧机构、位于微型振动马达一侧的音频采集机构和计算机；载物台本体设计有一槽口，槽口一槽壁上设计有与微型振动马达外型相匹配的卡槽，卡槽设计有防止微型振动马达轴向移动的限位结构，槽口另一槽壁上设计有与微型振动马达接电口相对应的电极；所述压紧机构为阻尼性压紧机构，包括第一支架、安装在第一支架上的阻尼杵组件和对阻尼杵组件中的杵杆施压的施压组件；所述音频采集机构包括第二支架、通过柔性约束安装于第二支架内的声音传感器，声音传感器的声音采收端对准微型振动马达；所述计算机与声音传感器连接，用于对接收的声音信号进行处理，经过内置声卡的DSP处理器得到声学频谱测量数据，并根据得到的声学频谱测量数据辨认微型振动马达存在的缺陷。
通过本发明提供的基于CNN和声音时频特征图的微型振动马达缺陷识别方法及缺陷诊断装置，将采集的音频信号通过A-计权处理，得到模拟人耳听音特性的时域和频域图，之后进行短时傅里叶变换，获得音频信号的三维时频瀑布图，再将三维时频瀑布图在频率轴和时间轴构成的平面作投影，得到二维投影图，再将二维投影图进行归一化处理，并进行灰度化获得二维时频灰度图，将这些二维时频灰度图制作成训练集或训练集与测试集，经卷积神经网络进行特征学习，提取出更高层次和更容易分类的特征，通过有监督学习的方式，使用损失函数进行反向优化；进一步将测试集的中的工件声音的时频灰度图输入训练过的模型中测试优化效果，将训练集和测试集均表现良好的模型作为最终的分类模型；最后还可以通过将单一破坏的故障件的时频灰度图输入网络中进行缺陷判别，提高对微型振动马达的缺陷检测准确率。从安装待测试样品到缺陷识别完成，检测时间不超过2s，极大缩短检测时间，提高了检测效率。
与现有技术相比，本发明提供的基于音频分析的微型振动马达缺陷诊断装置及缺陷识别方法具有以下有益效果：
1、本发明将采集的音频信号进行一系列处理，得到包含音频特征信息的二维时频灰度图，并制作成数据集，通过卷积神经网络学习特征，用训练良好的模型对微型振动马达存在的缺陷进行分类，实现对微型振动马达缺陷的无损、高精度检测。
2、本发明由于是通过了A-计权处理获得模拟人耳听音特性的时频波形图，并由此进行进一步分析，因此能够提高人体使用虚拟触觉反馈的舒适度，并可有利于微型振动马达振动发声品质控制的标准化。
3、本发明可实现对微型振动马达各个方面缺陷检测(包括马达转子存在纤毛、外壳轴承损伤、轴承倾斜、轴弯等)，极其适用于微型振动马达的高速无损检测与标准定制的工作环境。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图所示实施例得到其它的实施例及其附图。
图1为基于CNN和声音时频特征图的微型振动马达缺陷识别装置示意图。
图2为图1中A部分的放大图。
图3为压紧机构结构示意图。
图4为音频采集机构部分部件示意图。
图5为基于CNN和声音时频特征图的微型振动马达缺陷识别方法流程示意图。
图6为合格微型振动马达对应的时域波形图。
图7为缺陷微型振动马达对应的时域波形图。
图8为合格微型振动马达采集到的声音信号对应的傅里叶变换频谱分布图。
图9为缺陷微型振动马达采集到的声音信号对应的傅里叶变换频谱分布图。
图10为合格微型振动马达对应的三维时频瀑布图分布图。
图11为缺陷微型振动马达对应的三维时频瀑布图分布图。
图12为微型振动马达对应的二维时频灰度图；其中(a)对应合格样品，(b)对应有杂音的缺陷样品，(c)对应声音过大的缺陷样品，(d)对应声音跳变的缺陷样品。
图13为卷积神经网络架构图。
图14为迭代过程中准确率的变化图。
图15为迭代过程中损失函数值loss的变化图。
其中，1-载物台，11-载物台本体，12-槽口，13-限位片，14-电极，15-微型振动马达，16-柔性材料缓冲层；
2-压紧机构，21-第一支架，22-阻尼杵组件，221-杵杆，222-螺栓，223-阻尼弹簧，224-压块，225-压紧端子，23-手柄；
3-音频采集机构，31-第二支架，311-鼠笼式支架，312-支撑杆，32-声音传感器，33-环形罩。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
实施例1基于CNN和声音时频特征图的微型振动马达缺陷识别装置
本实施例提供的基于音频分析的微型振动马达缺陷诊断装置，如图1所示，包括用于安装待测试微型振动马达15的载物台1、用于将微型振动马达压紧固定于载物台上的压紧机构2、位于微型振动马达一侧的音频采集机构3和计算机4。载物台1和压紧机构2设置于位于工作台上的大理石刚性底座上，音频采集机构3和计算机设置于工作台上，大理石刚性底座与工作台进一步设置橡胶垫，以对大理石刚性底座进行防震处理。
如图2所示，本实施例中的载物台为一体式结构，载物台本体11固定于大理石刚性基座上，载物台本体11上设计有一槽口12，槽口一槽壁上设计有与微型振动马达外型相匹配的卡槽，卡槽设计有防止微型振动马达轴向移动的限位片13，限位片固定于卡槽内侧壁，且限位片上设计有与微型振动马达偏心块外型相匹配的限位开口，槽口另一槽壁上设计有与微型振动马达接电口相对应的电极14，卡槽底部设置有用于固定微型振动马达的磁铁。
如图1及图3所示，压紧机构2为阻尼性压紧机构，包括第一支架21、安装在第一支架上的阻尼杵组件22和对阻尼杵组件中的杵杆施压的施压组件，本实施例中的施压组件为手柄23。阻尼杵组件包括杵杆221、阻尼弹簧223和压块224，压块安装在杵杆下端，杵杆为组合结构杵杆，由杵杆本体和作为杵杆延长体的螺栓222构成，螺栓通过螺母与杵杆本体联接，压块为设有空腔的压块，空腔的开口方向垂直于杵杆，螺栓穿过压块空腔壁上安装孔并由螺母固定，从而使压块可轴向窜动地安装在螺栓上，阻尼弹簧223套置于螺栓222上，其上端作用于作为弹簧座的螺母，下端作用于压块，杵杆通过阻尼弹簧对压块施压。当压块空腔壁安装孔过大时，可在压块上端设置垫片。压块压紧侧设置有与微型振动马达上端面结构适配的材质为塑料的压紧端子225。压紧端子与微型振动马达导电片接触的部位设置有橡胶，作为柔性材料缓冲层16。上述第一支架21固定于大理石刚性基座上，第一支架21上端设置有卡座，通过穿过手柄的转轴将手柄连接于卡座上，手柄一端与杵杆本体221铰接，从而使杵杆可轴向运动地安装在第一支架上。测试时，对手柄施压时，杵杆向下移动，当杵杆与压块空腔下端接触后，继续带动压块向靠近载物台的方向移动，直至压紧端子压紧待测试微型振动马达；测试结束后，松开手柄，阻尼弹簧在弹性作用下复位，同时带动压块向上移动，使压紧端子沿远离载物台的方向移动。
如图1及图4所示，音频采集机构包括第二支架31、通过柔性约束安装于第二支架内的声音传感器32和防止声音漫反射的环形罩33。第二支架为笼式支架，主要由柔性支架和与之连接的鼠笼式支架311构成，柔性支架固定于工作台上，鼠笼式支架用于安装声音传感器32。声音传感器的灵敏度为50mV/Pa，频带感应精度为1×10-12，经换算声音传感器的有效工作区间为40dB～120dB。通过固定在鼠笼式支架两端箍架上由条形橡胶搭接成的固定结构安装在笼式支架内。环形罩33通过固定于第二支架上支撑杆悬置在声音传感器前端。为了提高音频采集效果，声音传感器的声音采收端对准微型振动马达，且声音传感器的声音采收端位于以卡槽槽底中心位置为中心形成的音强包络面上。
计算机与声音传感器连接，声音传感器将接收的音频信号传输给计算机，计算机用于对接收的声音信号进行处理得到声音信号的二维时频图，卷积神经网络对输入的二维时频图通过学习特征输出是否存在缺陷以及缺陷的类型。
本实施例通过对微型振动马达采用下端刚性固定、上端柔性固定的固定方式，微型振动马达带动偏心块产生振动，使载物台和刚性底座产生受迫振动，并带动周围空气振动，产生的振动信号被载物台和刚性底座单一刚性结构吸收且不产生较大共振，并保证振动信号耗散的能量远小于声音传感器吸收的音频信号能量，确保用于微型振动马达缺陷分析的音频信号数据有效性。
下面对利用微型振动马达故障诊断装置采集音频信号的方式作进一步说明。
(1)将微型振动马达15放置于载物台1上，使用阻尼性压紧机构2将微型振动马达压紧。
将微型振动马达15放置于载物台卡槽内，同时通过手柄23向安装于第一支架21上的阻尼杵组件22施压，杵杆221通过阻尼弹簧223对压块224施压，压块的压紧端子225压紧微型振动马达，微型振动马达的导电片面向上，方便与柔性材料缓冲层16契合。
(2)启动微型振动马达转动。
通过载物台槽口侧壁上设置的电极向微型振动马达通电，微型振动马达在偏心块带动下转动，并带动周围空气振动，振动产生的能量由载物台及大理石刚性底座吸收。
(3)音频采集机构的声音传感器采集音频信号，经将采集的音频信号经数据采集器传输至计算机。
声音传感器对微型振动马达运转及振动系统产生的音频信号，并将音频信号传输给计算机，通过内置声卡的DSP处理器，处理得到高分辨率声学频谱测量数据。
实施例2基于CNN和声音时频特征图的微型振动马达缺陷识别方法
1、正交试验
选取若干具有各种不同类型缺陷的微型振动马达标准工件(包括没有缺陷的正常工件)，然后如图5所示，按照以下步骤对选取的微型振动马达进行正交试验，获得各种类型缺陷对应的二维时频灰度图，训练CNN模型：
(1)获取微型振动马达的声学频谱测量数据。
利用实施例1提供的微型振动马达故障诊断装置采集音频信号，通过内置声卡的DSP处理器，处理得到高分辨率声学频谱测量数据。
(2)将获取的声学频谱测量数据进行A计权处理，得到模拟人耳听音特性的时域波形图。
通过对声学频谱测量数据进行A计权处理，得到模拟人耳听音特性的时域波形图。图6和7给出合格标样及存在缺陷标样的时域波形图。
(3)对步骤(2)得到的时域波形图采用短时傅里叶变换，构造三维时频瀑布图。
本发明通过设定采样帧的长度和重叠帧的长度，将时域波形图进行时窗切分，对各个时窗中的每帧信号进行傅里叶变换，构造三维时频瀑布图。
为提高声音采样信号的品质，根据采样帧的长度和重叠帧的长度将时域波形图切分，然后利用汉宁窗，对切分后的时域信号进行短时傅里叶变换。本实施例中，取1024个采样点为一帧信号，保证每一帧中有5圈以上的马达转动的声音信号，取帧重叠长度为帧长的3/4。因此，根据采样帧的长度和重叠帧的长度，将时域波形图切分为97个窗，每个窗包含1帧信号。同时得到构造的时频图尺寸h×w，其中h表示窗的个数，w取的整数值+1。
对第i个时窗中的帧信号进行傅里叶变换，表示为：
其中，x(t)为第i帧信号，t的取值为到N为帧数据的长度，i＝1,2,...,h，k＝1,2,...,w，L为总采样数据长度，为傅里叶变换的旋转因子，表示取不大于的最大整数。
对一帧信号进行短时傅里叶变换结果如图8和9所示。
通过对97个窗的傅里叶变换构造出三维的时频图。横坐标x表示97个时窗，每帧信号为1024个采样点，采样率为51200Hz，根据奈奎斯特采样定律可得，经短时傅里叶变换之后的每一帧的信号所能测量的最大频率为25600Hz，覆盖了人耳的听音范围，每一帧信号的频带长度用513个点来表示，每个点之间间隔了50Hz，所以纵坐标y的范围为0～25600Hz，z轴表示了每帧信号在经过傅里叶变换之后幅值，最终获得三维的时频瀑布图，如图10和11所示。
(4)将三维时频瀑布图在频率轴和时间轴构成的平面作投影，得到二维时频图并进行归一化处理。
由于卷积神经网络对于三维图像进行特征提取时数据量较大，不容易拟合，而卷积神经网络对于二维图像有一个较好的特征提取能力，所以将三维时频瀑布图在频率轴和时间轴构成的平面作投影，并将得到的大小为513×97的二维特征向量图进行归一化。
将二维时频图进行归一化处理的公式表示为：
其中，I”(i,k)表示二维时频图进行归一化处理后的像素值。
(5)将步骤(4)处理后的二维时频图转化为灰度图，得到大小为513×97的二维时频灰度图。如图12所示，为合格微型振动马达和三个缺陷微型振动马达对应的二维时频灰度图，其中图(a)为合格样品对应的时域波形图，图(b)-(d)分别为为有杂音、声音过大、声音跳变的缺陷样品对应的时域波形图。
(6)根据各种类型缺陷对应的二维时频灰度图训练CNN模型。
将通过经验人员反复听音和相关设备辨别的各种类型缺陷微型振动马达对应的二维时频特征图划分为训练集和测试集，测试集占所有样品数量的20％，剩余数据作为训练集数据。训练集包含一定数量的合格微型振动马达时频灰度图和一定数量的缺陷微型振动马达时频灰度图，测试集也包含一定数量的合格微型振动马达时频灰度图和一定数量的缺陷微型振动马达时频灰度图。
如图5所示，该训练过程包括对训练模型的评估。将训练集中的合格微型振动马达与缺陷微型振动马达的时频灰度图经卷积神经网络进行特征学习，并提取出更高层次和更容易分类的特征，通过有监督学习的方式，使用损失函数进行反向优化模型，再将测试集的中的工件声音的时频灰度图输入训练过的模型中测试优化效果，将训练集和测试集均表现良好的模型作为最终的分类模型。在模型确定后，将单一破坏的故障件的时频灰度图输入网络中可评估检测方法的可靠性。
时频图感知的网络在经典CNN深度网络ALEX的基础上进行修改，在保证准确率的同时，提高检测的速度，以达到工业运用目的。CNN模型结构如图13所示，具体设置为：
输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层及softmax层；所述第一卷积层的输入与输入层连接，第一卷积层的输出依次连接第一BN层、第一激活层、第一池化层后与所述第二卷积层的输入连接；所述第二卷积层的输出依次连接第二BN层、第二激活层、第二池化层后与所述第三卷积层的输入连接；所述第三卷积层的输出依次连接第三BN层、第三激活层后与所述第四卷积层的输入连接；所述第四卷积层的输出依次连接第四BN层、第四激活层、第四池化层后通过三层全连接层与所述softmax层的输入连接。各个卷积层后面连接的激活层的激活函数ReLU，使线性映射变为非线性映射，更有利于非线性特征的提取和学习。在第一卷积层、第二卷积层和第四卷积层的激活层后连接的池化层MaxPool，有利于进行下采样减少运算量的同时，能够增大感受野，提高CNN网络对于区域特征的提取效果。
输入层是大小为513×97×1的时频灰度图；
第一卷积层是由96个特征图组成的。使用11×11的卷积核对大小为513×97×1的时频灰度图进行卷积，得到的特征图的大小为129×25×96。第一卷积层后依次连接第一BN层、第一激活层、第一池化层。
第二卷积层是由256个特征图组成的。使用3×3的卷积核对第一池化层的特征图进行卷积，得到的特征图的大小为64×12×256。第二卷积层后依次连接第二BN层、第二激活层、第二池化层。
第三卷积层是由384个特征图组成的。使用3×3的卷积核对第二池化层的特征图进行卷积，得到的特征图的大小为31×5×384。第三卷积层的输出依次连接第三BN层、第三激活层，最后连接的激活函数使提取的特征非线性化。
第四卷积层是由256个特征图组成的。使用3×3的卷积核对第三卷积层经第三激活层的激活函数之后的特征图进行卷积，得到的特征图的大小为31×5×256。第四卷积层的输出依次连接第四BN层、第四激活层、第四池化层。
将第四卷积层经过第四池化层之后得到的15×2×256的特征图拉伸层长度为7680的向量，再经过三层全连接层，将最后的输出连接到一个softmax分类器，输出结果为两类，判别结果为分数较高的一类。
上述CNN训练过程主要分为前向传播和反向传播两部分。输入训练集中的二维灰度时频图，经过设置的CNN模型得到的预测值，通过监督学习的方法，使用损失函数加正则化项构成最终的损失函数，通过优化损失函数的值的方式，对各个权重进行链式求偏导，并进行权重更新。
上述使用损失函数加正则化项构成最终的损失函数表示为：
其中，m为样本数量，fW,b(Xj)为经过设置的CNN模型得到的输出预测值，其为关于W和b的映射函数(可参见文献Krizhevsky A,Sutskever I,Hinton GE.Imagenetclassification with deep convolutional neural networks Advances in neuralinformation processing systems,20121097-1105)，Xj为第j个输入样本，即为归一化处理后二维时频图，Yj为输入样本Xj对应的期望值，λR(W)＝λW2为与学习权重矩阵W(w1,w2,w3......)相关的正则化惩罚项，λ惩罚系数，b为偏差值，这里的λ和b均为学习参数。
然后采用梯度下降法进行权重更新，表示为：
其中，wl为CNN模型学习过程中第l次迭代过程的权重，α为衰减系数。
更新网络权重之后，重复上述CNN模型训练过程，直至损失值趋于稳定且准确率达到最高。
通过卷积网络对训练集不断学习更新网络权重，在训练集上不断优化。为了能够有效的验证训练模型的泛性，需要在训练的同时进行测试集验证，对训练的CNN模型进一步测试，并根据测试结果进一步优化CNN模型，从而得到优化的CNN模型，具体为：
将测试集中的二维灰度时频图输入到训练后的CNN模型中，获得识别准确率和损失值。验证的时频灰度图只经过前向传播而不经过反向传播更新权重。对测试集的测试放在每次训练集优化网络之后。
一般识别准确率越高、损失值越小，对应的CNN模型越好。为了兼顾训练效率，可以对CNN模型训练和利用测试集对训练好的模型进行测试的过程进行若干次迭代，选取若干次迭代中在测试集上的识别准确率最高而损失值较小的CNN模型作为最优CNN模型。本实施例中是执行迭代过程500个回合后，选取在测试集上的识别准确率最高而损失值较小的CNN模型作为最优CNN模型。当超过500次迭代后，若CNN模型仍不收敛，则对CNN模型参数进行调整，再重新训练CNN模型。
图14为训练过程中网络的训练集和测试准确率随迭代次数epoch的变换情况。图15为训练过程中训练集和测试集loss值随迭代次数epoch的变化情况。
从图14和图15可以看出，随着迭代次数epoch的增加，准确率越来越高，loss值越来越小，模型呈现收敛趋势。最优模型的训练集准确率为0.992，loss值为0.037；测试集准确率为0.941，loss值为0.280。
本发明将传感器采集到的声音信号进行A计权处理，将计权之后的时域信号进行短时傅里叶变换并绘制出时频灰度图，将信号特征提取聚类问题转化为图像处理问题。通过有监督机制，将得到的时频灰度图分为训练集和测试集。再利用CNN网络对训练集中合格微型振动马达与缺陷微型振动马达的特征进行学习，并一边学习一边将测试数据输入训练过的模型中，评估模型的泛性，并通过对未经训练的单一破坏的振动马达进行测试，评估通过训练集和测试集优化得到的模型在实际生产中的可靠性。最终得到的CNN网络模型将会具有很高准确率的，可以运用于实际生产。
2、对微型振动马达进行缺陷检测
本实施例提供的基于CNN和声音时频特征图的微型振动马达缺陷识别方法，如图1所示，包括以下步骤：
(1)获取微型振动马达的声学频谱测量数据；
(2)将获取的声学频谱测量数据进行A计权处理，得到模拟人耳听音特性的时频图；
(3)对步骤(2)得到的时频图采用短时傅里叶变换，构造三维时频瀑布图；
(4)将三维时频瀑布图在频率轴和时间轴构成的平面作投影，得到二维时频图并进行归一化处理；
(5)将步骤(4)处理后的二维时频图转化为灰度图，得到二维时频灰度图；
(6)利用根据各种类型缺陷对应的二维时频灰度图训练的CNN模型对步骤(5)得到的二维时频灰度图进行识别，判断微型振动马达是否存在缺陷以及缺陷种类。
步骤(1)-(5)与正交试验中的步骤(1)-(5)相同，这里不再赘述。
对于步骤(6)，按照前面所述方法得到训练好的CNN模型。
依据步骤(5)得到的待测工件的二维时频灰度图，利用训练好的CNN模型进行识别，判断微型振动马达是否存在缺陷以及缺陷种类。
本发明提出的识别方法能够在实际工业使用中表现良好，各种单一破坏的坏件可达到80％准确率以上的判别效果，平均准确率为90％，大大提高了工件故障识别的准确度，减少主观误差，节约了劳动成本，避免了噪音对人耳的影响。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于CNN和声音时频特征图的微型振动马达缺陷识别方法，其特征在于，包括以下步骤：
(1)获取微型振动马达的声学频谱测量数据；
(2)将获取的声学频谱测量数据进行A计权处理，得到模拟人耳听音特性的时域波形图；
(3)对步骤(2)得到的时域波形图采用短时傅里叶变换，构造三维时频瀑布图；
(4)将三维时频瀑布图在频率轴和时间轴构成的平面作投影，得到二维时频图并进行归一化处理；
(5)将步骤(4)处理后的二维时频图转化为灰度图，得到二维时频灰度图；
(6)利用根据各种类型缺陷对应的二维时频灰度图训练的CNN模型对步骤(5)得到的二维时频灰度图进行识别，判断微型振动马达是否存在缺陷以及缺陷种类。
2.如权利要求1所述的基于CNN和声音时频特征图的微型振动马达缺陷识别方法，其特征在于，所述步骤(3)具体为：
设定采样帧的长度和重叠帧的长度，将时域波形图进行时窗切分，然后对每帧信号进行傅里叶变换，构造三维时频瀑布图。
3.如权利要求2所述的基于CNN和声音时频特征图的微型振动马达缺陷识别方法，其特征在于，依据设定采样帧的长度和重叠帧的长度，得到构造的时频图尺寸h×w，对第i帧信号进行傅里叶变换的公式表示为：
其中，x(t)为第i帧信号，i＝1,2,...,h，k＝1,2,...,w，t的取值为到N为帧数据的长度，L为总采样数据长度，表示取不大于的最大整数。
4.如权利要求3所述的基于CNN和声音时频特征图的微型振动马达缺陷识别方法，其特征在于，所述步骤(4)中将二维时频图进行归一化处理的公式表示为：
其中，I”(i,k)表示二维时频图进行归一化处理后的像素值。
5.如权利要求4所述的基于CNN和声音时频特征图的微型振动马达缺陷识别方法，其特征在于，所述CNN模型包括有输入层、若干卷积层、全连接层和softmax层。
6.如权利要求4所述的基于CNN和声音时频特征图的微型振动马达缺陷识别方法，其特征在于，所述CNN模型具体设置为：
输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层及softmax层；所述第一卷积层的输入与输入层连接，第一卷积层的输出依次连接第一BN层、第一激活层、第一池化层后与所述第二卷积层的输入连接；所述第二卷积层的输出依次连接第二BN层、第二激活层、第二池化层后与所述第三卷积层的输入连接；所述第三卷积层的输出依次连接第三BN层、第三激活层后与所述第四卷积层的输入连接；所述第四卷积层的输出依次连接第四BN层、第四激活层、第四池化层后通过三层全连接层与所述softmax层的输入连接。
7.如权利要求5所述的基于CNN和声音时频特征图的微型振动马达缺陷识别方法，其特征在于，根据各种类型缺陷对应的二维时频特征图训练CNN模型具体为：依据获取各种类型缺陷对应的二维时频特征图划分出训练集，并利用训练集对CNN模型进行训练得到。
8.如权利要求7所述的基于CNN和声音时频特征图的微型振动马达缺陷识别方法，其特征在于，CNN模型训练过程包括输入训练集中的二维灰度时频图，经过设置的CNN模型得到的预测值，并通过监督学习的方法，使用损失函数加正则化项构成最终的损失函数，并通过反向传播方法对权重进行更新；
使用损失函数加正则化项构成最终的损失函数表示为：
其中，m为样本数量，fW,b(Xj)为经过设置的CNN模型得到的输出预测值，Xj为第j个输入样本，Yj为输入样本Xj对应的期望值，λR(W)为与学习权重矩阵W相关的正则化惩罚项，λ为惩罚系数，b为偏差值；
权重更新公式表示为：
其中，wl为CNN模型学习过程中第l次迭代过程的权重，α为衰减系数。
9.如权利要求7或8所述的基于CNN和声音时频特征图的微型振动马达缺陷识别方法，其特征在于，训练CNN模型过程还包括依据获取各种类型缺陷对应的二维时频特征图划分出有别于训练集的测试集，然后利用测试集对训练的CNN模型进一步测试，并根据测试结果进一步优化CNN模型。
10.一种应用权利要求1-9任一所述识别方法对微型振动马达缺陷进行识别的装置，其特征在于，包括用于安装待测试微型振动马达的载物台(1)、用于将微型振动马达压紧固定于载物台上的压紧机构(2)、位于微型振动马达一侧的音频采集机构(3)和计算机(4)；载物台本体(11)设计有一槽口(12)，槽口一槽壁上设计有与微型振动马达外型相匹配的卡槽，卡槽设计有防止微型振动马达轴向移动的限位结构，槽口另一槽壁上设计有与微型振动马达接电口相对应的电极(14)；所述压紧机构为阻尼性压紧机构，包括第一支架(21)、安装在第一支架上的阻尼杵组件(22)和对阻尼杵组件中的杵杆施压的施压组件；所述音频采集机构(3)包括第二支架(31)、通过柔性约束安装于第二支架内的声音传感器(32)，声音传感器的声音采收端对准微型振动马达；所述计算机与声音传感器(32)连接，用于对接收的声音信号进行处理，经过内置声卡的DSP处理器得到声学频谱测量数据，并根据得到的声学频谱测量数据辨认微型振动马达存在的缺陷。
CN201910761704.3A 2019-08-19 2019-08-19 基于cnn和声音时频特征图的微型振动马达缺陷识别方法及装置 Active CN110472587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910761704.3A CN110472587B (zh) 2019-08-19 2019-08-19 基于cnn和声音时频特征图的微型振动马达缺陷识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910761704.3A CN110472587B (zh) 2019-08-19 2019-08-19 基于cnn和声音时频特征图的微型振动马达缺陷识别方法及装置

Publications (2)

Publication Number Publication Date
CN110472587A true CN110472587A (zh) 2019-11-19
CN110472587B CN110472587B (zh) 2022-02-08

Family

ID=68511846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910761704.3A Active CN110472587B (zh) 2019-08-19 2019-08-19 基于cnn和声音时频特征图的微型振动马达缺陷识别方法及装置

Country Status (1)

Country Link
CN (1) CN110472587B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110926782A (zh) * 2019-12-06 2020-03-27 国网河南省电力公司三门峡供电公司 断路器故障类型判断方法、装置、电子设备及存储介质
CN111175380A (zh) * 2020-04-15 2020-05-19 杭州聚声科技有限公司 一种参量阵声波与激光散斑检测系统及其方法
CN111402576A (zh) * 2020-01-10 2020-07-10 长沙理工大学 一种基于深度学习的城市道路交通状态预测系统
CN111798865A (zh) * 2020-07-07 2020-10-20 北京字节跳动网络技术有限公司 终端马达的检测方法、装置、终端及存储介质
CN112633583A (zh) * 2020-12-29 2021-04-09 南方电网调峰调频发电有限公司 发电机组振动预测方法、装置、计算机设备和存储介质
CN112729529A (zh) * 2020-12-17 2021-04-30 苏州大学 电机缺陷的检测方法
CN113300796A (zh) * 2021-07-26 2021-08-24 南京邮电大学 Noma系统中基于机器学习的频谱感知方法和装置
CN113609933A (zh) * 2021-07-21 2021-11-05 广州大学 一种基于后缀树的故障检测方法、系统、装置及存储介质
CN114571472A (zh) * 2020-12-01 2022-06-03 北京小米移动软件有限公司 用于足式机器人的地面属性检测方法及驱动方法及其装置
CN117116290A (zh) * 2023-08-03 2023-11-24 中科航迈数控软件(深圳)有限公司 基于多维特征的数控机床部件缺陷定位方法和相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109274621A (zh) * 2018-09-30 2019-01-25 中国人民解放军战略支援部队信息工程大学 基于深度残差网络的通信协议信号识别方法
CN109599126A (zh) * 2018-12-29 2019-04-09 广州丰石科技有限公司 一种基于mel能量谱和卷积神经网络的声音故障识别方法
US20190121344A1 (en) * 2016-05-09 2019-04-25 Strong Force Iot Portfolio 2016, Llc Systems, devices and methods for bearing analysis in an industrial environment
CN109767785A (zh) * 2019-03-06 2019-05-17 河北工业大学 基于卷积神经网络的环境噪声识别分类方法
CN109977920A (zh) * 2019-04-11 2019-07-05 福州大学 基于时频谱图及卷积神经网络的水轮机组故障诊断方法
CN110082107A (zh) * 2019-04-08 2019-08-02 四川安和精密电子电器有限公司 基于音频分析的微型振动马达缺陷诊断装置及缺陷识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190121344A1 (en) * 2016-05-09 2019-04-25 Strong Force Iot Portfolio 2016, Llc Systems, devices and methods for bearing analysis in an industrial environment
CN109274621A (zh) * 2018-09-30 2019-01-25 中国人民解放军战略支援部队信息工程大学 基于深度残差网络的通信协议信号识别方法
CN109599126A (zh) * 2018-12-29 2019-04-09 广州丰石科技有限公司 一种基于mel能量谱和卷积神经网络的声音故障识别方法
CN109767785A (zh) * 2019-03-06 2019-05-17 河北工业大学 基于卷积神经网络的环境噪声识别分类方法
CN110082107A (zh) * 2019-04-08 2019-08-02 四川安和精密电子电器有限公司 基于音频分析的微型振动马达缺陷诊断装置及缺陷识别方法
CN109977920A (zh) * 2019-04-11 2019-07-05 福州大学 基于时频谱图及卷积神经网络的水轮机组故障诊断方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANGE LIU等: ""An intelligent vision system for detecting defects in micro-armatures for smartphones"", 《APPLIED SCIENCES》 *
LEVENT EREN等: ""A generic intelligent bearing fault diagnosis system using compact adaptive 1D CNN classifier"", 《JOURNAL OF SIGNAL PROCESSING SYSTEMS》 *
王丽华等: ""基于卷积神经网络的异步电机故障诊断"", 《振动、测试与诊断》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110926782B (zh) * 2019-12-06 2022-03-29 国网河南省电力公司三门峡供电公司 断路器故障类型判断方法、装置、电子设备及存储介质
CN110926782A (zh) * 2019-12-06 2020-03-27 国网河南省电力公司三门峡供电公司 断路器故障类型判断方法、装置、电子设备及存储介质
CN111402576A (zh) * 2020-01-10 2020-07-10 长沙理工大学 一种基于深度学习的城市道路交通状态预测系统
CN111175380A (zh) * 2020-04-15 2020-05-19 杭州聚声科技有限公司 一种参量阵声波与激光散斑检测系统及其方法
CN111798865A (zh) * 2020-07-07 2020-10-20 北京字节跳动网络技术有限公司 终端马达的检测方法、装置、终端及存储介质
CN114571472B (zh) * 2020-12-01 2024-01-23 北京小米机器人技术有限公司 用于足式机器人的地面属性检测方法及驱动方法及其装置
CN114571472A (zh) * 2020-12-01 2022-06-03 北京小米移动软件有限公司 用于足式机器人的地面属性检测方法及驱动方法及其装置
CN112729529A (zh) * 2020-12-17 2021-04-30 苏州大学 电机缺陷的检测方法
CN112729529B (zh) * 2020-12-17 2023-02-03 苏州大学 电机缺陷的检测方法
CN112633583A (zh) * 2020-12-29 2021-04-09 南方电网调峰调频发电有限公司 发电机组振动预测方法、装置、计算机设备和存储介质
CN112633583B (zh) * 2020-12-29 2023-07-11 南方电网调峰调频发电有限公司 发电机组振动预测方法、装置、计算机设备和存储介质
CN113609933A (zh) * 2021-07-21 2021-11-05 广州大学 一种基于后缀树的故障检测方法、系统、装置及存储介质
CN113609933B (zh) * 2021-07-21 2022-09-16 广州大学 一种基于后缀树的故障检测方法、系统、装置及存储介质
CN113300796B (zh) * 2021-07-26 2021-10-08 南京邮电大学 Noma系统中基于机器学习的频谱感知方法和装置
CN113300796A (zh) * 2021-07-26 2021-08-24 南京邮电大学 Noma系统中基于机器学习的频谱感知方法和装置
CN117116290A (zh) * 2023-08-03 2023-11-24 中科航迈数控软件(深圳)有限公司 基于多维特征的数控机床部件缺陷定位方法和相关设备
CN117116290B (zh) * 2023-08-03 2024-05-24 中科航迈数控软件(深圳)有限公司 基于多维特征的数控机床部件缺陷定位方法和相关设备

Also Published As

Publication number Publication date
CN110472587B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN110472587A (zh) 基于cnn和声音时频特征图的微型振动马达缺陷识别方法及装置
CN110082107A (zh) 基于音频分析的微型振动马达缺陷诊断装置及缺陷识别方法
CN104819846B (zh) 一种基于短时傅里叶变换和稀疏层叠自动编码器的滚动轴承声音信号故障诊断方法
CN109961017A (zh) 一种基于卷积循环神经网络的心音信号分类方法
CN110954826B (zh) 基于音频分析的步进丝杆马达缺陷诊断装置及缺陷识别方法
CN116560895B (zh) 用于机械装备的故障诊断方法
Tra et al. Incipient fault diagnosis in bearings under variable speed conditions using multiresolution analysis and a weighted committee machine
Shang et al. Denoising fault-aware wavelet network: A signal processing informed neural network for fault diagnosis
CN106133502A (zh) 粘弹特性测量装置以及粘弹特性测量方法
CN110530639A (zh) 一种高速列车轴箱轴承故障诊断方法
Medina et al. Deep learning-based gear pitting severity assessment using acoustic emission, vibration and currents signals
Hoell et al. Improved damage detectability in a wind turbine blade by optimal selection of vibration signal correlation coefficients
CN115774851A (zh) 基于分级知识蒸馏的曲轴内部缺陷检测方法及其检测系统
CN117708656A (zh) 一种面向单源域的滚动轴承跨域故障诊断方法
CN101360979A (zh) 非侵入式声振分析
Atmani et al. Enhancement in bearing fault classification parameters using Gaussian mixture models and Mel frequency cepstral coefficients features
CN116386589A (zh) 一种基于智能手机加速度传感器的深度学习语音重建方法
CN107389367A (zh) 一种基于最优信噪比的信号自适应解包络方法及计算设备
CN108009514A (zh) 球磨机料位预测方法
CN101074865A (zh) 物体表面纹理检测方法及其传感器
Liu et al. Acoustic emission analysis for wind turbine blade bearing fault detection using sparse augmented Lagrangian algorithm
CN112259126B (zh) 一种自闭症语音特征辅助识别机器人及方法
Clifton et al. Application of an intuitive novelty metric for jet engine condition monitoring
Lu et al. A novel fault diagnosis method based on NEEEMD-RUSLP feature selection and BTLSTSVM
Xin et al. Novel Hilbert energy spectrum based features for speech emotion recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant