CN111044621B - 一种基于声音品质及声学特征的无损检测系统及方法 - Google Patents

一种基于声音品质及声学特征的无损检测系统及方法 Download PDF

Info

Publication number
CN111044621B
CN111044621B CN201811183219.4A CN201811183219A CN111044621B CN 111044621 B CN111044621 B CN 111044621B CN 201811183219 A CN201811183219 A CN 201811183219A CN 111044621 B CN111044621 B CN 111044621B
Authority
CN
China
Prior art keywords
analysis
analysis function
workpiece
unit
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811183219.4A
Other languages
English (en)
Other versions
CN111044621A (zh
Inventor
邵冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Elcom Automation Technology Co ltd
Original Assignee
Suzhou Elcom Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Elcom Automation Technology Co ltd filed Critical Suzhou Elcom Automation Technology Co ltd
Priority to CN201811183219.4A priority Critical patent/CN111044621B/zh
Publication of CN111044621A publication Critical patent/CN111044621A/zh
Application granted granted Critical
Publication of CN111044621B publication Critical patent/CN111044621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4481—Neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/0289—Internal structure, e.g. defects, grain size, texture

Abstract

本发明提供了一种基于声音品质及声学特征的无损检测系统及方法，在敲击被测工件后、提取采集到的声音文件；并进行声音文件分析，包括频域分析单元或频谱分析单元的一种，频域分析单元用于对声音文件进行频域特征提取，频谱分析单元用于对声音文件进行频谱特征提取，根据频域特征或频谱特征，判定工件无损与否。本发明的基于声音品质及声学特征的无损检测系统及方法，具有数据计算量小，分类速度快，且分类精度高，误判率低，通用性好等有益效果。

Description

一种基于声音品质及声学特征的无损检测系统及方法
技术领域
本发明涉及无损检测技术领域，具体涉及一种基于声音品质及声学特征的无损检测系统及方法。
背景技术
无损检测(Non-Destruetive Test，NDT或NDE，Non-Destruetive Examination)，或称无损探伤，是指在不损害或不影响被检测对象使用性能，不伤害被检测对象内部组织的前提下，利用材料内部结构异常或缺陷存在引起的热、声、光、电、磁等反应的变化，以物理或化学方法为手段，借助现代化的技术和设备器材，对试件内部及表面的结构、性质、状态及缺陷的类型、性质、数量、形状、位置、尺寸、分布及其变化进行检查和测试的方法。无损检测的重要性已得到各行各业的认同并广泛地应用，如航空航天、核工业、武器制造、机械工业、造船、石油化工、铁道和高速火车、汽车、锅炉和压力容器、特种设备、以及海关检查等等。
基于声学共振的无损检测法(NDT-RAM)是无损探伤的一种。其中刊名《工业A》，文章编号1671-5799(2016)20-0236-01，文章名《基于共振声学原理的快速无损检测系统研究》，王杨川作者公开了“通常基于声学共振的无损检测分四步：第一步：产生响应，使被测工件振动，产生一个声学频率；第二步：采集，对响应声音进行采集；第三步：处理，对采集的时域数据进行快速傅里叶变换，将其转换成频域数据；第四步：分析，将采集的结果与合格标准进行对比，判断工件是否合格”。
而美国Modal Shop公司基于这种方法，研发出了一种NDT-RAMTM系统：当零件通过传送带被一个工业用电动冲击以相同重复的力击打时，一个麦克风就能测量从零件来的声学反馈，输入的力和反馈的波普会被控制器以数字化和快速傅氏变化算法进行测量和分析，NDT-RAMTM软件会对比数据结果和标准数据和限制进行比较，并根据对比结果选择弹射具有损伤的零件或者投递通过合格零件；这种利用快速傅氏变化算法，仅仅对声音进行频域分析的方法，已经无法满足误判率要求极低的航空航天等应用场景，且一旦产生对工件产生了误判会为最终产品带来很大的安全隐患。
申请号为201710349996.0的中国专利，公开了一种新型共振声学无损检测装置，也是上述文章《基于共振声学原理的快速无损检测系统研究》的一种应用，其同时指出了：“人工操作并且需要操作者的主观判断，因此，必须对操作者进行一定的技术培训和/或使之具备一定资质来恰当地判断出部件的缺陷及其对部件功能的影响。当某种技术需要由人为进行判断的话，其可靠性就大打折扣。”故其公开了：“由CCD传感器采集图像，并进行数模转换，然后进入图像预处理模块进行滤波处理和图像编码，再到图像分割模块进行阈值分割、边界检测和区域分割，最后进行图像识别模块进行处理，并与相应数据库对比并确定敲击力的大小”。上述专利除了仅仅通过频域分析带来相对较高的误判率外，并没有摆脱人工判断的本质，且人工经验判断的方式，远远不能满足多种工件的无损判别需求，迫切需要加以改进。
又如申请号为US2008144927A1的美国专利，无损检测仪器，包括传感器单元和信号输入单元，传感器单元用于检测来自振动产生器的通过测试对象传输的振动，信号输入单元用于从传感器单元输出的电信号中提取目标信号。还包括特征量提取单元，它用于从目标信号中提取多个频率分量作为特征量。此外，决策单元具有竞争型的学习神经网络，用于判断所述特征量是否属于一个范畴，其中所述竞争型学习神经网络已经使用属于所述范畴的表示所述测试对象的内部状态的训练样本而进行了训练，其中，在所述决策单元中设定所述训练样本的隶属度的分布。竞争型学习神经网络模拟人脑行为，根据过去经验自动适应无法预测的环境变化，由于无监督，这类网络通常采用竞争原则进行网络学习，自动聚类，无法满足低误判率的使用场景，迫切需要加以改进。
发明内容
为解决上述问题，本发明提供了一种基于声音品质及声学特征的无损检测系统及方法。本发明的基于声音品质及声学特征的无损检测系统及方法，具有数据计算量小，分类速度快，且分类精度高，误判率低，通用性好等有益效果。
为实现所述技术目的，本发明的技术方案是：一种基于声音品质及声学特征的无损检测系统，包括：
声音文件提取单元，用于提取由被测工件发声所产生的声音文件；
声音文件分析单元，包括频域分析单元或频谱分析单元的一种，频域分析单元用于对声音文件进行频域特征提取，频谱分析单元用于对声音文件进行频谱特征提取；
损伤判定单元，用于根据频域特征或频谱特征，判定工件无损与否。也就是说，本发明的频谱分析单元，分别进行了频域、时域、振幅(DB)三个维度的分析，能够更全面的反映出被测工件敲击后的声音特征。
进一步，还包括频谱图输出单元，用于将频谱分析单元所提取的时域信息、频域信息、振幅信息在一张二维频谱图中显示，其中频域信息、振幅信息的一种由RGB色彩表示。用三维频谱图完整表示了上述声音文件的三维特征。
进一步，所述频谱分析单元采用MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonal centroid feature分析函数、STFT分析函数的一种或多种。
优选的，作为本发明的一种实施方式，所述频谱分析单元采用MFCC分析函数(40维向量)、chromagram分析函数(12维向量)、melspectrogram分析函数(128维向量)、spectralcontrast分析函数(7维向量)、tonal centroid feature(6维向量)分析函数的五种组合，在所述MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectralcontrast分析函数、tonal centroid feature分析函数的分析结果下取平均值；
所述基于声音品质及声学特征的无损检测系统还包括降维单元，用于将平均值降维。具体的，可采用PCA将上述五种分析函数组成的193*n的矩阵降维到k*n的矩阵，其中k可根据误判率要求进行选择。
优选的，作为本发明的另一种实施方式，还包括频谱分析函数选择单元，将MFCC分析函数、chorma分析函数、melspectrogram分析函数、contrast分析函数、tonnetz分析函数、STFT分析函数按照其或其组合的分析维度进行维度排序，并从低维到高维进行选择，直至输出小于预定误判率的结果。采用这种组合方式，能够快速优选出最优、计算量最小的分析函数，以支持下述分类算法模型。
进一步，还包括向量特征提取单元，用于根据二维频谱图中的位置信息和RGB色彩生成向量图。在更全面的反映出被测工件敲击后的声音特征前提下，本发明通过将上述三维图谱进行向量化，大大降低了下述输入层的数据量，进一步降低了分类层的数据计算量，提高了分类计算效率。
进一步，所述损伤判定单元采用机器学习，其包括：神经网络判定及输出单元；用于根据所述频域分析单元或频谱分析单元的分析结果，通过包括输入层、分类层、输出层的神经网络进行工件无损与否的判定，并输出判定结果；
输入层包含所述频域分析单元或频谱分析单元的分析结果；
分类层采用SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型的一种；
具体的，SVM分类算法模型用到的核函数是径向基函数(Radial Basis Function简称RBF)：
Figure BDA0001825728810000051
在选40维的MFCC分析函数时，训练的参数SVC为kernel＝’rbf’，random_state＝0，gamma＝.01，C＝1。
输出层用于输出被测工件无损与否的分类结果。
进一步，在所述神经网络的测试集中，损伤判定单元还包括误判率判定单元、输出选择单元；需要说明的是，一个神经网络在投入使用前，将数据集分训练集(train set)、验证集(validation set)、测试集(test set)进行模型训练，是本领域技术人员的公知常识，在此不做赘述。
所述SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型同时进行，误判率判定单元将每种分类算法模型下，所述输出层的结果对比被测工件实际无损与否的情况对比，计算误判率。需要说明的是，在误判率判定时，若判定一个有损工件判断为无损情况下时，直接否决该分类算法模型，而选用其他分类算法模型。
输出选择单元，用于选择误判率最低的分类算法模型对应的输出层作为被测工件无损与否的输出。
进一步，还包括异常工件处理单元，用于在出现与当前被测工件不同类型的异常工件时，通过基于聚类算法的无监督学习，进行异常工件无损与否概率的判定。也就是说上述训练完成的监督学习下的三种SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型仅仅对特定工件进行使用，当出现没有训练过的被测工件时，选用无监督学习，声音文件基于上述的MFCC分析函数、chorma分析函数、melspectrogram分析函数、contrast分析函数、tonnetz分析函数、STFT分析函数分析处理后，通过K-means聚类算法，分类出被测零件的无损与否。
一种基于声音品质及声学特征的无损检测方法，使用了上述基于声音品质及声学特征的无损检测系统，包括以下步骤：
S1：敲击工件、采用高精度麦克风或音频转换器对声音文件采集，并提取声音文件；
S2：采用频域分析或频谱分析的一种，其中频域分析用于对所述S1中的声音文件进行频域特征提取，频谱分析用于对声音文件进行频谱特征提取；
S3：根据所述步骤S2中的频域特征或频谱特征，判定工件无损与否。
进一步，将频谱分析所提取的时域信息、频域信息、振幅信息在一张二维频谱图中显示，其中频域信息、振幅信息的一种由RGB色彩表示。
优选的，作为本发明的一种实施方式，所述步骤S2中的频谱分析方法采用MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonal centroid feature分析函数、STFT分析函数的一种或多种。
优选的，作为本发明的另一种实施方式，还包括频谱分析函数选择单元，将MFCC分析函数、chorma分析函数、melspectrogram分析函数、contrast分析函数、tonnetz分析函数、STFT分析函数按照其或其组合的分析维度进行维度排序，并从低维到高维进行选择，直至输出小于预定误判率的结果。
进一步，所述频谱分析的方法采用MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonal centroid feature分析函数的五种组合，在所述MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonal centroid feature分析函数的分析结果下取平均值；
所述基于声音品质及声学特征的无损检测系统还包括降维的步骤，用于将平均值降维。
进一步，所述步骤S2还包括：向量特征提取，根据二维频谱图中的位置信息和RGB色彩生成向量图。
进一步，所述步骤S3中判定工件无损与否的方法采用机器学习，其包括：神经网络判定及输出的步骤；用于根据所述步骤S2中频域分析或频谱分析结果，通过包括输入层、分类层、输出层的神经网络进行工件无损与否的判定，并输出判定结果；
输入层包含所述步骤S2中频域分析或频谱分析元的分析结果；
分类层采用SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型的一种；
输出层用于输出被测工件无损与否的分类结果。
进一步，神经网络的测试集中，所述步骤S2中的损伤判定还包括以下步骤：
T1：所述SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型同时进行，将每种分类算法模型下，所述输出层的结果对比被测工件实际无损与否的情况对比，计算误判率。
T2：输出选择，用于选择误判率最低的分类算法模型对应的输出层作为被测工件无损与否的输出。
进一步，还包括步骤S6：在出现与当前被测工件不同类型的异常工件时，通过基于聚类算法的无监督学习，进行异常工件无损与否概率的判定。
进一步，所述无监督学习的方法采用T-SNE非线性数据降维与可视化模型。
本发明的有益效果在于：
首先，本发明分别进行了频域、时域、振幅(DB)三个维度的分析，并生成三维频谱图，能够更全面的反映出被测工件敲击后的声音特征，进一步提高了分类精度。
其次，本发明基于三维频谱图进行了向量化操作，大大降低了神经网络输入层的数据量，进一步降低了分类层的数据计算量，提高了分类计算效率。
接着，本发明在测试集中，提供三种分类算法模型，并将每种分类算法模型下，所述输出层的结果对比被测工件实际无损与否的情况对比，计算误判率，最后选择误判率最低的分类算法模型。
最后，本发明通过无监督学习和有监督学习的有机结合，在出现与当前被测工件不同类型的异常工件时，通过基于聚类算法的无监督学习，进行异常工件无损与否概率的判定，大大提高了本系统的通用性，降低了异常处理报警率。
综上，本发明的基于声音品质及声学特征的无损检测系统及方法，具有数据计算量小，分类速度快，且分类精度高，误判率低，通用性好等有益效果。
附图说明
图1是本发明基于声音品质及声学特征的无损检测系统的原理图之一；
图2是本发明基于声音品质及声学特征的无损检测系统的原理图之二；
图3是本发明基于声音品质及声学特征的无损检测方法的流程图之一；
图4是本发明基于声音品质及声学特征的无损检测方法的流程图之二。
图5是一种声音文件的波形图；
图6是图5对应利用mel spectrogram分析函数分析出的频谱图；
图7是本发明基于SVM分类算法模型的神经网络流程图；
图8是本发明基于CNN分类算法模型的神经网络流程图；
图9是本发明基于BPNN分类算法模型的神经网络流程图；
图10是本发明无监督学习的方法流程图；
图11是本发明的T-SNE非线性数据降维与可视化模型所输出的可视化聚类结果示意图。
具体实施方式
下面将对本发明的技术方案进行清楚、完整地描述。
如图1所示，一种基于声音品质及声学特征的无损检测系统，包括：
声音文件提取单元，用于提取由被测工件发声所产生的声音文件；这种声音可以是被测工件敲击等被迫动作发出的声音，也可以为被测工件尤其是被测电机通电所发出的声音。
声音文件分析单元，包括频域分析单元或频谱分析单元的一种，频域分析单元用于对声音文件进行频域特征提取，频谱分析单元用于对声音文件进行频谱特征提取；
损伤判定单元，用于根据频域特征或频谱特征，判定工件无损与否。也就是说，本发明的频谱分析单元，基于如图5所示的声音文件，分别进行了频域、时域、振幅(DB)三个维度的分析，能够更全面的反映出被测工件敲击后的声音特征。
进一步，还包括频谱图输出单元，用于将频谱分析单元所提取的时域信息、频域信息、振幅信息在一张二维频谱图中显示，其中频域信息、振幅信息的一种由RGB色彩表示。用如图6所示的三维频谱图完整表示了上述声音文件的三维特征。
进一步，所述频谱分析单元采用MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonal centroid feature分析函数、STFT分析函数的一种或多种。
优选的，作为本发明的一种实施方式，所述频谱分析单元采用MFCC分析函数(40维向量)、chromagram分析函数(12维向量)、melspectrogram分析函数(128维向量)、spectralcontrast分析函数(7维向量)、tonal centroid feature(6维向量)分析函数的五种组合，在所述MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectralcontrast分析函数、tonal centroid feature分析函数的分析结果下取平均值；
所述基于声音品质及声学特征的无损检测系统还包括降维单元，用于将平均值降维。具体的，可采用PCA将上述五种分析函数组成的193*n的矩阵降维到k*n的矩阵，其中k可根据误判率要求进行选择。
优选的，作为本发明的另一种实施方式，还包括频谱分析函数选择单元，将MFCC分析函数、chorma分析函数、melspectrogram分析函数、contrast分析函数、tonnetz分析函数、STFT分析函数按照其或其组合的分析维度进行维度排序，并从低维到高维进行选择，直至输出小于预定误判率的结果。采用这种组合方式，能够快速优选出最优、计算量最小的分析函数，以支持下述分类算法模型。
进一步，还包括向量特征提取单元，用于根据二维频谱图中的位置信息和RGB色彩生成向量图。在更全面的反映出被测工件敲击后的声音特征前提下，本发明通过将上述三维图谱进行向量化，大大降低了下述输入层的数据量，进一步降低了分类层的数据计算量，提高了分类计算效率。
进一步，所述损伤判定单元采用机器学习，其包括：神经网络判定及输出单元；用于根据所述频域分析单元或频谱分析单元的分析结果，通过包括输入层、分类层、输出层的神经网络进行工件无损与否的判定，并输出判定结果；
输入层包含所述频域分析单元或频谱分析单元的分析结果；
分类层采用SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型的一种；
具体的，如图7所示，SVM分类算法模型用到的核函数是径向基函数(Radial BasisFunction简称RBF)：
Figure BDA0001825728810000131
在选40维的MFCC分析函数时，训练的参数SVC为kernel＝’rbf’，random_state＝0，gamma＝.01，C＝1。
输出层用于输出被测工件无损与否的分类结果。
进一步，在所述神经网络的测试集中，损伤判定单元还包括误判率判定单元、输出选择单元；需要说明的是，一个神经网络在投入使用前，将数据集分训练集(train set)、验证集(validation set)、测试集(test set)进行模型训练，是本领域技术人员的公知常识，在此不做赘述。
如图7-9所示，所述SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型同时进行，误判率判定单元将每种分类算法模型下，所述输出层的结果对比被测工件实际无损与否的情况对比，计算误判率，并在输出层输出。需要说明的是，在误判率判定时，若判定一个有损工件判断为无损情况下时，直接否决该分类算法模型，而选用其他分类算法模型，以提高判别的可靠性。
输出选择单元，用于选择误判率最低的分类算法模型对应的输出层作为被测工件无损与否的输出。
进一步，还包括异常工件处理单元，用于在出现与当前被测工件不同类型的异常工件时，通过基于聚类算法的无监督学习，进行异常工件无损与否概率的判定。也就是说上述训练完成的监督学习下的三种SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型仅仅对特定工件进行使用，当出现没有训练过的被测工件时，选用无监督学习，声音文件基于上述的MFCC分析函数、chorma分析函数、melspectrogram分析函数、contrast分析函数、tonnetz分析函数、STFT分析函数分析处理后，通过K-means聚类算法，或t-SNE、GMM-HMM声学模型分类出被测零件的无损与否，大大提高了本系统的通用性，降低了异常处理报警率。
一种基于声音品质及声学特征的无损检测方法，使用了上述基于声音品质及声学特征的无损检测系统，如图3所示，包括以下步骤：
S1：敲击工件、采用高精度麦克风或音频转换器对声音文件采集，并提取声音文件；
S2：采用频域分析或频谱分析的一种，其中频域分析用于对所述S1中的声音文件进行频域特征提取，频谱分析用于对声音文件进行频谱特征提取；
S3：根据所述步骤S2中的频域特征或频谱特征，判定工件无损与否。
进一步，将频谱分析所提取的时域信息、频域信息、振幅信息在一张二维频谱图中显示，其中频域信息、振幅信息的一种由RGB色彩表示。
优选的，作为本发明的一种实施方式，所述步骤S2中的频谱分析方法采用MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonal centroid feature分析函数、STFT分析函数的一种或多种。
优选的，作为本发明的另一种实施方式，还包括频谱分析函数选择单元，将MFCC分析函数、chorma分析函数、melspectrogram分析函数、contrast分析函数、tonnetz分析函数、STFT分析函数按照其或其组合的分析维度进行维度排序，并从低维到高维进行选择，直至输出小于预定误判率的结果。
进一步，所述频谱分析的方法采用MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonal centroid feature分析函数的五种组合，在所述MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonal centroid feature分析函数的分析结果下取平均值；
所述基于声音品质及声学特征的无损检测系统还包括降维的步骤，用于将平均值降维。
进一步，所述步骤S2还包括：向量特征提取，根据二维频谱图中的位置信息和RGB色彩生成向量图。
进一步，所述步骤S3中判定工件无损与否的方法采用机器学习，其包括：神经网络判定及输出的步骤；用于根据所述步骤S2中频域分析或频谱分析结果，通过包括输入层、分类层、输出层的神经网络进行工件无损与否的判定，并输出判定结果；
输入层包含所述步骤S2中频域分析或频谱分析元的分析结果；
分类层采用SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型的一种；
输出层用于输出被测工件无损与否的分类结果。
进一步，神经网络的测试集中，所述步骤S2中的损伤判定还包括以下步骤：
T1：所述SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型同时进行，将每种分类算法模型下，所述输出层的结果对比被测工件实际无损与否的情况对比，计算误判率。
T2：输出选择，用于选择误判率最低的分类算法模型对应的输出层作为被测工件无损与否的输出。
在一些实施例中，还包括步骤S6：在出现与当前被测工件不同类型的异常工件时，通过基于聚类算法的无监督学习，进行异常工件无损与否概率的判定。
进一步，如图10所示，所述无监督学习的方法采用T-SNE非线性数据降维与可视化模型。在采用本发明的7-9所示的神经网络模型(监督学习)前提下，当上述系统中存在未训练过的被测工件类型，便采用上述非监督学习的方法，基于声音文件和上述步骤S2特征提取的方法，利用T-SNE非线性数据降维与可视化模型，输出如图11所示的聚类结果，通过对聚类结果的标注，便可以实现异常工件无损与否概率的判定，提升本系统的通用性。
对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (11)

1.一种基于声音品质及声学特征的无损检测系统，其特征在于，包括：
声音文件提取单元，用于提取被测工件产生的声音并转换为声音文件；
声音文件分析单元，包括频域分析单元或频谱分析单元，频域分析单元用于对声音文件进行频域特征提取，频谱分析单元用于对声音文件进行频谱特征提取；
损伤判定单元，用于根据频域特征或频谱特征，判定工件无损与否；
向量特征提取单元，用于根据二维频谱图中的位置信息和RGB色彩生成向量图；以及
异常工件处理单元，用于在出现与当前被测工件不同类型的异常工件时，通过基于聚类算法的无监督学习，进行异常工件无损与否概率的判定；其中，
所述损伤判定单元采用机器学习，其包括：神经网络判定及输出单元；用于根据所述频域分析单元或频谱分析单元的分析结果，通过包括输入层、分类层、输出层的神经网络进行工件无损与否的判定，并输出判定结果；
输入层包含所述频域分析单元或频谱分析单元的分析结果；
分类层采用SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型的一种；
输出层用于输出被测工件无损与否的分类结果。
2.根据权利要求1所述的基于声音品质及声学特征的无损检测系统，其特征在于，还包括频谱图输出单元，用于将频谱分析单元所提取的时域信息、频域信息、振幅信息在一张二维频谱图中显示，其中频域信息、振幅信息的一种由RGB色彩表示。
3.根据权利要求2所述的基于声音品质及声学特征的无损检测系统，其特征在于，
所述频谱分析单元采用MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonalcentroid feature分析函数、STFT分析函数的一种或多种。
4.根据权利要求3所述的基于声音品质及声学特征的无损检测系统，其特征在于，
所述频谱分析单元采用MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonalcentroid feature分析函数的五种组合，在所述MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonal centroid feature分析函数的分析结果下取平均值；
所述基于声音品质及声学特征的无损检测系统还包括降维单元，用于将平均值降维。
5.根据权利要求1所述的基于声音品质及声学特征的无损检测系统，其特征在于，在所述神经网络的测试集中，损伤判定单元还包括误判率判定单元、输出选择单元；
所述SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型同时进行，误判率判定单元将每种分类算法模型下，所述输出层的结果对比被测工件实际无损与否的情况对比，计算误判率；
输出选择单元，用于选择误判率最低的分类算法模型对应的输出层作为被测工件无损与否的输出。
6.一种基于声音品质及声学特征的无损检测方法，使用了权利要求1-5中任一项所述的基于声音品质及声学特征的无损检测系统，其特征在于，包括以下步骤：
S1：敲击工件，然后采用高精度麦克风或音频转换器对声音文件采集，并提取声音文件；
S2：采用频域分析或频谱分析的一种，其中频域分析用于对所述S1中的声音文件进行频域特征提取，频谱分析用于对声音文件进行频谱特征提取；
S3：根据步骤S2中的频域特征或频谱特征，判定工件无损与否；其中，
步骤S2还包括：向量特征提取，根据二维频谱图中的位置信息和RGB色彩生成向量图，并且所述方法还包括：
步骤S6：在出现与当前被测工件不同类型的异常工件时，通过基于聚类算法的无监督学习，进行异常工件无损与否概率的判定；其中，
步骤S3中判定工件无损与否的方法采用机器学习，其包括：神经网络判定及输出的步骤；用于根据所述步骤S2中频域分析或频谱分析结果，通过包括输入层、分类层、输出层的神经网络进行工件无损与否的判定，并输出判定结果；
输入层包含所述步骤S2中频域分析或频谱分析元的分析结果；
分类层采用SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型的至少一种；
输出层用于输出被测工件无损与否的分类结果。
7.根据权利要求6所述的基于声音品质及声学特征的无损检测方法，其特征在于，所述步骤S2还包括：将频谱分析所提取的时域信息、频域信息、振幅信息在一张二维频谱图中显示，其中频域信息、振幅信息的一种由RGB色彩表示。
8.根据权利要求7所述的基于声音品质及声学特征的无损检测方法，其特征在于，所述步骤S2中的频谱分析方法采用MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectralcontrast分析函数、tonal centroid feature分析函数、STFT分析函数的一种或多种。
9.根据权利要求8所述的基于声音品质及声学特征的无损检测方法，其特征在于，
所述频谱分析的方法采用MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonalcentroid feature分析函数的五种组合，在所述MFCC分析函数、chromagram分析函数、melspectrogram分析函数、spectral contrast分析函数、tonal centroid feature分析函数的分析结果下取平均值；
所述基于声音品质及声学特征的无损检测系统还包括降维的步骤，用于将平均值降维。
10.根据权利要求6所述的基于声音品质及声学特征的无损检测方法，其特征在于，神经网络的测试集中，所述步骤S2中的损伤判定还包括以下步骤：
T1：所述SVM分类算法模型、CNN分类算法模型、BPNN分类算法模型同时进行，将每种分类算法模型下，所述输出层的结果对比被测工件实际无损与否的情况对比，计算误判率；
T2：输出选择，用于选择误判率最低的分类算法模型对应的输出层作为被测工件无损与否的输出。
11.根据权利要求6所述的基于声音品质及声学特征的无损检测方法，其特征在于，所述无监督学习的方法采用T-SNE非线性数据降维与可视化模型。
CN201811183219.4A 2018-10-11 2018-10-11 一种基于声音品质及声学特征的无损检测系统及方法 Active CN111044621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811183219.4A CN111044621B (zh) 2018-10-11 2018-10-11 一种基于声音品质及声学特征的无损检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811183219.4A CN111044621B (zh) 2018-10-11 2018-10-11 一种基于声音品质及声学特征的无损检测系统及方法

Publications (2)

Publication Number Publication Date
CN111044621A CN111044621A (zh) 2020-04-21
CN111044621B true CN111044621B (zh) 2022-04-26

Family

ID=70229059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811183219.4A Active CN111044621B (zh) 2018-10-11 2018-10-11 一种基于声音品质及声学特征的无损检测系统及方法

Country Status (1)

Country Link
CN (1) CN111044621B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898508B (zh) * 2020-07-22 2022-06-10 桂林电子科技大学 一种基于听觉感知的电动冲击批零件缺损的检测方法
CN112255308A (zh) * 2020-09-09 2021-01-22 中国大唐集团科学技术研究院有限公司火力发电技术研究院 一种基于K-means聚类算法的螺栓敲击检测方法
CN112530455A (zh) * 2020-11-24 2021-03-19 东风汽车集团有限公司 基于mfcc的汽车关门声品质评价方法及评价系统
CN112433004A (zh) * 2020-12-02 2021-03-02 长安大学 一种轮轨损伤监测方法及系统
CN113092128A (zh) * 2021-03-26 2021-07-09 一汽奔腾轿车有限公司 一种无人值守耐久试验报警系统
EP4084366A1 (en) 2021-04-26 2022-11-02 Aptiv Technologies Limited Method for testing in-vehicle radio broadcast receiver device
CN113588782A (zh) * 2021-07-01 2021-11-02 广州珠江天然气发电有限公司 一种基于音频分析的无损探伤方法、装置及设备
CN115588439B (zh) * 2022-12-13 2023-04-07 杭州兆华电子股份有限公司 一种基于深度学习的声纹采集装置的故障检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101126744A (zh) * 2007-09-27 2008-02-20 上海交通大学 三元催化器总成中陶瓷载体脆裂检测方法
CN101413928A (zh) * 2008-11-14 2009-04-22 江苏大学 基于声学特性的禽蛋裂纹快速在线无损检测装置及方法
CN106841403A (zh) * 2017-01-23 2017-06-13 天津大学 一种基于神经网络的声学玻璃缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101126744A (zh) * 2007-09-27 2008-02-20 上海交通大学 三元催化器总成中陶瓷载体脆裂检测方法
CN101413928A (zh) * 2008-11-14 2009-04-22 江苏大学 基于声学特性的禽蛋裂纹快速在线无损检测装置及方法
CN106841403A (zh) * 2017-01-23 2017-06-13 天津大学 一种基于神经网络的声学玻璃缺陷检测方法

Also Published As

Publication number Publication date
CN111044621A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111044621B (zh) 一种基于声音品质及声学特征的无损检测系统及方法
Pan et al. Deep feature generating network: A new method for intelligent fault detection of mechanical systems under class imbalance
CN110044623B (zh) 经验模态分解剩余信号特征的滚动轴承故障智能识别方法
JP4605132B2 (ja) 異常検出装置、異常検出方法
JP2017227624A5 (zh)
CN113695713B (zh) 一种热水器内胆焊接质量在线监测方法及装置
Sun et al. On-line detection of eggshell crack based on acoustic resonance analysis
CN111126553A (zh) 智能机器人面试方法、设备、存储介质及装置
CA2435290A1 (en) Computer-aided image analysis
CN112668382A (zh) 一种基于支持向量机的钢锭中缺陷超声信号识别方法
CN111678699B (zh) 一种面向滚动轴承早期故障监测与诊断方法及系统
JP2012018066A (ja) 異常検査装置
CN116257777B (zh) 分类模型融合的密封继电器多余物检测与材质识别方法
CN112907561A (zh) 一种基于深度学习的笔记本外观瑕疵检测方法
JP2010181203A (ja) 亀裂検出装置及び方法
Saimurugan et al. A comparative study of sound and vibration signals in detection of rotating machine faults using support vector machine and independent component analysis
CN116625683A (zh) 一种风电机组轴承故障识别方法、系统、装置及电子设备
Surovi et al. A study on the acoustic signal based frameworks for the real-time identification of geometrically defective wire arc bead
CN112906672A (zh) 钢轨缺陷识别方法及系统
CN113450827A (zh) 基于压缩神经网络的设备异常工况声纹分析算法
Cunha et al. Applying non-destructive testing and machine learning to ceramic tile quality control
CN117191956A (zh) 一种基于声发射的钛合金应力腐蚀损伤分类方法及装置
JP7046760B2 (ja) 信号解析装置及び信号解析方法並びに信号解析プログラム
CN107871113B (zh) 一种情感混合识别检测的方法和装置
Chen et al. A New Approach for Power Signal Disturbances Classification Using Deep Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant