CN113094933B - 基于注意力机制的超声波损伤检测分析方法及其应用 - Google Patents

基于注意力机制的超声波损伤检测分析方法及其应用 Download PDF

Info

Publication number
CN113094933B
CN113094933B CN202110505353.7A CN202110505353A CN113094933B CN 113094933 B CN113094933 B CN 113094933B CN 202110505353 A CN202110505353 A CN 202110505353A CN 113094933 B CN113094933 B CN 113094933B
Authority
CN
China
Prior art keywords
model
damage
regression
ultrasonic
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110505353.7A
Other languages
English (en)
Other versions
CN113094933A (zh
Inventor
项延训
张见
轩福贞
朱武军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN202110505353.7A priority Critical patent/CN113094933B/zh
Publication of CN113094933A publication Critical patent/CN113094933A/zh
Application granted granted Critical
Publication of CN113094933B publication Critical patent/CN113094933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/043—Analysing solids in the interior, e.g. by shear waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/04—Ageing analysis or optimisation against ageing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E30/00—Energy generation of nuclear origin
    • Y02E30/30—Nuclear fission reactors

Abstract

本发明提供一种基于注意力机制的超声波损伤检测分析方法，包括：获取多种材料的损伤分数数据集，利用其中的第一特征向量和损伤分数，训练多种回归模型，利用回归模型对第一特征向量给出回归模型的输出值，作为损伤分数的中间预测值并组成向量；利用多头注意力模型对各个回归模型进行集成和训练，将向量输入多头注意力模型以输出第三特征向量；利用一维卷积层和后置全连接层，以第三特征向量作为输入进行回归，得到的超声波损伤检测分析系统用于得到损伤分数预测值。本发明还提供了超声波损伤检测分析方法的多种应用。本发明的方法通过注意力机制集成将多种回归模型集成起来，提高了超声波损伤的预测的精度和泛化能力。

Description

基于注意力机制的超声波损伤检测分析方法及其应用
技术领域
本发明涉及超声波损伤检测和机器学习等技术领域，尤其涉及一种基于注意力机制的超声波损伤检测分析方法及其应用。
背景技术
超声检测技术目前被广泛应用于核电、化工、铁路等工程领域结构内部的服役损伤评估。基于声波在缺陷处的衍射、反射和透射等原理，通过对信号幅值或相位分析，可以有效检测材料服役损伤，具有快速、便捷、检测范围大、无损等优点。
目前，超声波损伤检测中用于损伤评估的分析方法主要有查表法和曲线回归法。这两种方法的主要问题是误差较大，精度不高。查表法很难处理表格中不存在的查询值，尤其当变量较多时，存储表格需要占用大量空间；曲线回归法是一种机器学习法，不同的曲线回归方法有不同的预测性能，只用一种回归方法往往不能很好地学习损伤数据集中内在规律和趋势。
因此，急需一种超声波损伤检测分析方法将多种回归模型集成起来，以提高模型预测的精度和泛化能力。
卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification)，因此也被称为“平移不变人工神经网络(Shift-Invariant ArtificialNeural Networks，SIANN)”。
集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，一般结构是：先产生一组“个体学习器”，再用某种策略将它们结合起来。结合策略主要有平均法、投票法和学习法等。有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-based learning)。
注意力机制(模型)是源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度(Acuity)，只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。例如，人们在阅读时，通常只有少量要被读取的词会被关注和处理。综上，注意力机制主要有两个方面：决定需要关注输入的哪部分；分配有限的信息处理资源给重要的部分。用注意力机制实现的神经网络可以使得神经网络具备专注于其输入(或特征)子集的能力：选择特定的输入。注意力可以应用于任何类型的输入而不管其形状如何。
发明内容
本发明的目的在于提出一种基于注意力机制的超声波损伤检测分析方法及其应用，以提高超声波损伤的预测的精度和泛化能力。
为了实现上述目的，本发明提供一种基于注意力机制的超声波损伤检测分析方法，包括：
S1，获取多种材料的损伤分数数据集，所述损伤分数数据集包括多个样本，每个样本包含一个第一特征向量和一个损伤分数；所述第一特征向量包括相对非线性参量β/β0和材料的损伤相关参数，所述材料的损伤相关参数包括已服役时间、服役温度、服役应力、衰减、硬度、纵波速度、横波速度、导波群速度、弹性模量和三阶弹性常数；所述损伤分数数据集的目标值为材料损伤分数的真实值；
S2，利用所述损伤分数数据集中的第一特征向量和损伤分数，来训练多种不同的回归模型，得到经过训练的回归模型；随后，分别利用不同的经过训练的回归模型对所述损伤分数数据集中的第一特征向量给出回归模型的输出值，作为损伤分数的中间预测值；将各个损伤分数的中间预测值组成第二特征向量；
S3，利用多头注意力模型对各个回归模型进行集成，将第二特征向量输入多头注意力模型，使得多头注意力模型输出第三特征向量；
S4，将所述回归模型中的神经网络模型作为前置全连接层，将所述前置全连接层、所述多头注意力模型、一维卷积层和两个后置全连接层共同组成一个端到端模型，以多头注意力模型输出的第三特征向量作为端到端模型的一维卷积层的输入，材料损伤分数的真实值作为端到端模型的目标值进行回归，以将所述端到端模型作为一个整体进行训练，同时得到经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层；随后，将所述经过训练的各个回归模型、经过训练的前置全连接层多头注意力模型以及一维卷积层和两个后置全连接层组成了一个超声波损伤检测分析系统，用于得到损伤分数预测值。
所述基于注意力机制的超声波损伤检测分析方法还包括步骤S5，采集待测材料的第一特征向量，输入所述超声波损伤检测分析系统，得到最终的损伤分数的预测结果。
在所述步骤S1中，所述相对非线性参量β/β0是通过采集超声检测数据并进行频域分析得到的，超声检测数据包括超声的发射信号以及超声的回波信号；所述材料损伤分数的真实值为材料的已服役时间除以材料服役寿命，材料服役寿命由实验测量。
在所述步骤S2中，所述回归模型包括线性回归、多项式回归、K近邻回归、岭回归、套索回归、弹性网络回归、稳健回归、支持向量回归、随机森林回归、决策树回归、XGBoost回归、AdaBoost回归、Gradient boosting回归和多层感知器回归模型中的多种。
在所述步骤S4中，通过梯度下降方法，在训练端到端模型的过程中，同时训练所述多头注意力模型，得到经过训练的多头注意力模型。
所述端到端模型还包括设于一维卷积层和两个后置全连接层之间的至少一个位置的Dropout层，所述步骤S4还包括：在进行回归的过程中，将多头注意力模型输出的第三特征向量与前置全连接层的输出向量相加并输入Dropout层以将两者结合，且结合后的Dropout层插设于一维卷积层和两个后置全连接层之间的至少一个位置。
在所述步骤S4中，将所述回归模型中的至少一个神经网络模型作为前置全连接层。
另一方面，本发明提供一种基于注意力机制的超声波损伤检测分析装置，包括：
材料参数导入单元，设置为输入多种材料的损伤分数数据集，所述损伤分数数据集包括多个样本，每个样本包含一个第一特征向量和一个损伤分数；所述第一特征向量包括相对非线性参量β/β0和材料的损伤相关参数，所述材料的损伤相关参数包括已服役时间、服役温度、服役应力、衰减、硬度、纵波速度、横波速度、导波群速度、弹性模量和三阶弹性常数；所述损伤分数数据集的目标值为材料损伤分数的真实值；
回归模型构建单元，设置为利用所述损伤分数数据集中的第一特征向量和损伤分数，来训练多种不同的回归模型，得到经过训练的回归模型；随后，分别利用不同的经过训练的回归模型对所述损伤分数数据集中的第一特征向量给出回归模型的输出值，作为损伤分数的中间预测值，将各个损伤分数的中间预测值组成第二特征向量；
模型集成单元，设置为利用多头注意力模型对各个回归模型进行集成，将第二特征向量输入多头注意力模型，使得多头注意力模型输出第三特征向量；以及
损伤结果分析单元，设置为将所述回归模型中的神经网络模型作为前置全连接层，将所述前置全连接层、所述多头注意力模型、一维卷积层和两个后置全连接层共同组成一个端到端模型，以多头注意力模型输出的第三特征向量作为端到端模型的一维卷积层的输入，材料损伤分数的真实值作为端到端模型的目标值进行回归，以将所述端到端模型作为一个整体进行训练，同时得到经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层；随后，将所述经过训练的各个回归模型、经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层组成一个超声波损伤检测分析系统，用于得到损伤分数预测值。
另一方面，本发明提供一种基于注意力机制的超声波损伤检测分析计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于注意力机制的超声波损伤检测分析程序，所述基于注意力机制的超声波损伤检测分析程序被所述处理器执行时实现如上文所述的基于注意力机制的超声波损伤检测分析方法。
另一方面，本发明提供一种非临时性计算机可读存储介质，其其上存储有基于注意力机制的超声波损伤检测分析程序，该基于注意力机制的超声波损伤检测分析程序被处理器执行时实现如上文所述的基于注意力机制的超声波损伤检测分析方法。
本发明的超声波损伤检测分析方法通过注意力机制集成将多种回归模型集成起来，自动地在不同模型中分配权重，再利用两个后置全连接层对不同模型预测结果进行综合分析得到损伤分析结果，可以更好地学习数据集中的内在规律性，提高模型预测的精度和泛化能力，更加准确地预测不同材料的损伤程度，实现高分辨率的损伤分析，能够得到比查表法和单一模型更高的预测精度。
附图说明
图1是根据本发明的第一实施例的一种超声波损伤检测分析方法的流程示意图；
图2是根据本发明的第一实施例中的得到的超声波损伤检测分析系统的系统结构示意图；
图3是如图2所示的超声波损伤检测分析系统中的多头注意力模型的结构示意图；
图4是根据本发明的第二实施例的一种超声波损伤检测分析装置的框架示意图；
图5是根据本发明的第三实施例的一种超声波损伤检测分析计算机设备的具体实施例的框架示意图；
图6是根据本发明的第四实施例的一种非临时性计算机可读存储介质的具体实施例的框架示意图。
具体实施方式
下面将结合附图，对本发明的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
如图1所示为根据本发明的第一实施例的基于注意力机制的超声波损伤检测分析方法的方法流程图。根据本发明的第一实施例，所述基于注意力机制的超声波损伤检测分析方法用于得到如图2所示的超声波损伤检测分析系统，其包括以下步骤：
步骤S1，获取多种材料的损伤分数数据集；所述损伤分数数据集包括多个样本，每个样本包含一个第一特征向量和一个损伤分数；
其中，所述损伤分数数据集包括对应于多种材料的多个样本，每一种材料包含多个样本。
所述第一特征向量包含两部分，包括相对非线性参量β/β0和材料的损伤相关参数，所述材料的损伤相关参数包括已服役时间、服役温度、服役应力、衰减、硬度、纵波速度、横波速度、导波群速度、弹性模量和三阶弹性常数等；所述损伤分数数据集的目标值为材料损伤分数的真实值。
相对非线性参量β/β0是通过采集超声检测数据并进行频域分析得到的，超声检测数据包括超声的发射信号以及超声的回波信号，相对非线性参量β/β0参见文献【YanxunXiang,Wujun Zhu,Chang-Jun Liu,Fu-Zhen Xuan,n,Yi-Ning Wang,Wen-ChuanKuang,Creep degradation characterization of titanium alloy using nonlinearultrasonic technique,NDT&E International,72(2015)41-49】。其中，超声的发射信号的频率要高一些，比如超声的发射信号的频率在1MHZ-10MHZ之间，超声的发射信号的幅值也要高一些，比如100V以上，这样才能激发出非线性。
具体来说，通过硬件电路产生固定个数的PWM脉冲信号来驱动高压脉冲模块产生频率在1MHZ-10MHZ之间高压方波，高压方波信号经过低通滤波器滤掉高次谐波，产生超声的发射信号，之后超声的发射信号经过待检测材料，接着通过超声探头接收超声的回波信号，超声的回波信号经过隔离衰减电路，然后FPGA控制AD采集超声的回波信号，以此来采集超声检测数据。在本实施例中，高压方波的频率为2MHZ，该超声的发射信号为所需的2MHZ基波正弦波信号。
材料损伤分数的真实值＝材料的已服役时间/材料服役寿命。
因此，材料损伤分数的真实值越大，材料剩余寿命越少，其取值范围为0％到100％。材料的已服役时间是已知的，材料服役寿命由实验测量，即材料损伤分数的真实值是由实验测量计算出来的。
步骤S2，利用所述损伤分数数据集中的第一特征向量和损伤分数，来训练多种不同的回归模型，得到经过训练的回归模型；随后，分别利用不同的经过训练的回归模型对所述损伤分数数据集中的第一特征向量给出回归模型的输出值，作为损伤分数的中间预测值；将各个损伤分数的中间预测值组成一维的第二特征向量；
其中，以第一特征向量同时作为多种不同的回归模型的输入参数，损伤分数同时作为多种不同的回归模型的目标值，来训练多种不同的回归模型。由此，对于每一个第一特征向量，均能够得到多个经过训练的回归模型所分别给出的多个损伤分数的中间预测值。
所述回归模型包括线性回归、多项式回归、K近邻回归、岭回归、套索回归、弹性网络回归、稳健回归、支持向量回归、随机森林回归、决策树回归、XGBoost回归、AdaBoost回归、Gradient boosting回归和多层感知器回归模型中的多种。其中，线性回归模型和多层感知器回归模型均属于全连接层类型的神经网络模型，因而可以将所述回归模型中的至少一个神经网络模型作为前置全连接层。
其中，通过将不同回归模型所对应的各个中间预测值按顺序排列来组成一维的第二特征向量，该第二特征向量作为注意力模型的输入，即注意力模型的输入向量。
步骤S3，利用多头注意力模型对各个回归模型进行集成，将第二特征向量输入多头注意力模型，使得多头注意力模型输出第三特征向量；
其中，多头注意力模型是一种神经网络模型，具体参见论文【A Vaswani，NShazeer，N Parmar，J Uszkoreit，L Jones，AN Gomez，L Kaiser，I Polosukhin,attentionis all you need，31st Conference on Neural Information Processing Systems2017】。多头注意力模型的内部结构如下图3所示。在本实施例中，多头注意力模型的输入向量V，K，Q是三个相同的向量，V，K，Q均为由各个回归模型的输出值组成的第二特征向量。多头注意力模型包括与输入向量V，K，Q中的每一个分别连接的h个第一线性(linear)层、h个第二线性(linear)层和h个第三线性(linear)层，还包括h个单头的放缩点积注意力模型，每个单头的放缩点积注意力模型均与其中一个第一线性层、其中一个第二线性层和其中一个第三线性层连接。h表示头，其可以有多个。每个单头的放缩点积注意力模型还与concat层和第四线性层依次连接，从而通过concat层和第四线性层分别对多头的结果进行拼接和集成，使得多头注意力模型的输出是一个向量，即第三特征向量。
步骤S4，将所述回归模型中的神经网络模型作为前置全连接层，将所述前置全连接层、所述多头注意力模型、一维卷积层(即一维卷积神经网络)和两个后置全连接层共同组成一个端到端模型，以多头注意力模型输出的第三特征向量作为端到端模型的一维卷积层的输入，材料损伤分数的真实值作为端到端模型的目标值进行回归，以将所述端到端模型作为一个整体进行训练，同时得到经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层；随后，将所述经过训练的各个回归模型、经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层组成了一个超声波损伤检测分析系统。
其中，一维卷积层用于对注意力模型的输出向量进行进一步的特征提取。两个后置全连接层用于增加神经网络的层数，从而更好地提取有用特征。每个后置全连接层都有两种输出，其中一种输出为向量，该向量作为后一层的输入，另一个输出为目标值的预测值，目标值就是损伤分数的真实值。注意力模型输出的第三特征向量输入到一维卷积层和两个后置全连接层后，可以得到目标值的预测值。
由于各个回归模型中的神经网络模型(如线性回归模型、多层感知器回归模型)作为前置全连接层与多头注意力模型、一维卷积层、和两个后置全连接层共同组成了一个端到端模型(某些实施例中，端到端模型还可选地包括两个Dropout层)，因此，所述端到端模型可以作为一个整体共同参与训练、优化和集成。用于训练的端到端模型中的回归模型部分只包含了单层网络的线性回归和多层感知器回归这两种回归模型而不包含其他类型的回归模型，它们都是神经网络模型。端到端模型的输入参数是相对非线性参量β/β0和材料的损伤相关参数所组成的第一特征向量；除了前置全连接层之外的回归模型的输出值作为常数，与前置全连接层的输出值共同组成上文所述第二特征向量输入所述多头注意力模型，使得多头注意力模型输出的第三特征向量作为端到端模型的一维卷积层的输入；用于训练的端到端模型的目标值则是损伤分数的真实值，所输出的结果是损伤分数的预测值。端到端的模型可以作为一个整体训练，而其它的回归模型只能在步骤S2时单独训练。因此，多头注意力模型的训练方式为：通过梯度下降方法，在训练端到端模型的过程中，同时训练了多头注意力模型，得到经过训练的多头注意力模型。所有回归模型的预测值所组成的第二特征向量均参与多头注意力模型的训练，多头注意力模型是端到端模型的一部分，在训练端到端模型时，同时训练了多头注意力模型。
由此，本发明通过步骤S1-S4用注意力机制将多种回归模型进行集成，构建了一个如图2所示的超声波损伤检测分析系统，用于分析不同材料的超声波损伤，得到的超声波损伤检测分析模型包括经过训练的各个回归模型、经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层。
结合上述超声波损伤检测分析系统的结构，本发明主要包括两个部分：一是子模型(即回归模型)的构建，二是利用注意力机制对回归模型的集成和损伤预测分析。
上述的采用超声波损伤检测分析模型用于进行超声波损伤分析，因此，本发明还可以包括：步骤S5，采集待测材料的第一特征向量，输入超声波损伤检测分析系统，得到最终的损伤分数的预测结果。
所述步骤S5包括：分别利用不同的经过训练的回归模型对所述损伤分数数据集中的第一特征向量给出回归模型的输出值，作为损伤分数的中间预测值；将各个损伤分数的中间预测值组成一维的第二特征向量输入经过训练的多头注意力模型，使得多头注意力模型输出第三特征向量；最后将第三特征向量输入一维卷积层和两个后置全连接层，得到最终的损伤分数的预测结果。
在本实施例中，所述端到端模型还包括设于一维卷积层和两个后置全连接层之间的至少一个位置的Dropout层，所述步骤S4还包括：在进行回归的过程中，将多头注意力模型输出的第三特征向量与前置全连接层的输出向量相加并输入Dropout层以将两者结合，得到结合后的Dropout层，且结合后的Dropout层插设于一维卷积层和两个后置全连接层之间的至少一个位置，以防止过拟合现象。
其中，Dropout层是一个串行结构，其输入数据为向量，使得多头注意力模型输出的第三特征向量，先送入一维卷积层处理，其输出向量(维度可调，保证可进行加法操作)再与前置全连接层的输出向量相加并进入Dropout层，Dropout层的输出向量再进入第一后置全连接层，得到的输出向量再与前置全连接层相加并送入第二个Dropout层。它不是神经网络，只是用于防止网络出现过拟合现象(使模型预测能力降低)的一种技术，经常被放置前后两个网络层之间，不改变输入向量的维度。在本实施例中，所述Dropout层的数量为2个，分别设置于一维卷积层和第一个后置全连接层之间，以及两个后置全连接层之间。
Dropout层具有防止过拟合的作用，它以一定的概率P屏蔽某一神经元，使其输出为0。公式为：
其中为t时刻神经元的输出值，/>为t时刻神经元经过Dropout后的输出值，当随机分配给该神经元的概率值p小于等于P时，该神经元输出为0，大于P时，输出保持不变，仍为/>
由此，被集成的超声波损伤检测分析模型不仅有线性和非线性回归方法(即经过训练的各个回归模型)，还有由注意力模型、前置全连接层、两个后置全连接层和Dropout层构成的端到端模型，共同参与训练、优化和集成。
在本实施例中，在所述步骤S4中，将至少一个全连接层类型的回归模型作为前置全连接层，因而，可以利用所述前置全连接层，来实现前置全连接层分别到两个后置全连接层之间的跳连，以减少有用信息的丢失。在本实施例中，作为前置全连接层的回归模型的数量为一个。
其中，前置全连接层和两个后置的全连接层的作用是一样的都是为了更好地提取有用特征，只是位置不同。前置全连接层有两种输出，其中一种输出为向量，该向量同时跳连到第一个后置全连接层之前和第二个全连接层之前，从而与一维卷积层的输出向量相加，或者与第一个后置全连接层的输出向量相加，起到了减少信息损失的作用；另一个输出为目标值的预测值，目标值就是损伤分数的真实值，起到回归作用，因此是回归模型的一种。
所述的前置全连接层和后置全连接层都有自己的损失函数，目标值是相同的，均是是损伤分数的真实值。
在其他实施方式中，在步骤S2中，作为前置全连接层的回归模型的数量为多个，且每种前置全连接层的层数和每层神经元个数不同，以得到多种不同的回归模型，可作为预测模型，用于后续的集成和跳连。
如图4所示，作为本发明的第二实施例，本发明还提出了一种超声波损伤检测分析装置，包括以下单元；
材料参数导入单元100，设置为输入多种材料的损伤分数数据集，所述损伤分数数据集包括多个样本，每个样本包含一个第一特征向量和一个损伤分数；所述第一特征向量包括相对非线性参量β/β0和材料的损伤相关参数，所述材料的损伤相关参数包括已服役时间、服役温度、服役应力、衰减、硬度、纵波速度、横波速度、导波群速度、弹性模量和三阶弹性常数等；所述损伤分数数据集的目标值为材料损伤分数的真实值；
回归模型构建单元200，设置为利用所述损伤分数数据集中的第一特征向量和损伤分数，来训练多种不同的回归模型(即子模型)，得到经过训练的回归模型；随后，分别利用不同的经过训练的回归模型对所述损伤分数数据集中的第一特征向量给出回归模型的输出值，作为损伤分数的中间预测值，将各个损伤分数的中间预测值组成一维的第二特征向量；
其中，通过将不同回归模型所对应的各个中间预测值按顺序排列来组成一维的第二特征向量，该第二特征向量作为注意力模型的输入，即注意力模型的输入向量。
模型集成单元300，设置为利用多头注意力模型对各个回归模型进行集成，将第二特征向量输入多头注意力模型，使得多头注意力模型输出第三特征向量；
损伤结果分析单元400，设置为将所述回归模型中的神经网络模型作为前置全连接层，将所述前置全连接层、所述多头注意力模型、一维卷积层和两个后置全连接层共同组成一个端到端模型，以多头注意力模型输出的第三特征向量作为端到端模型的一维卷积层的输入，材料损伤分数的真实值作为端到端模型的目标值进行回归，以将所述端到端模型作为一个整体进行训练，同时得到经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层；随后，将所述经过训练的各个回归模型、经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层组成了一个超声波损伤检测分析系统，用于得到损伤分数预测值。
其中，材料参数导入单元100、回归模型构建单元200、模型集成单元300、损伤结果分析单元400分别与上述步骤S1、S2、S3、S4相对应，本装置旨在利用四个单元实施步骤S1-S4，以使本装置具有上述方法的有益效果。
具体地，上述单元可包括但不限于操作界面、提示界面、操作软件的实施方式。
如图5所示，作为本发明的第三实施例，本发明提出了一种超声波损伤检测分析计算机设备，包括存储器500、处理器600及存储在所述存储器500上并可在所述处理器600上运行的基于注意力机制的超声波损伤检测分析程序，所述基于注意力机制的超声波损伤检测分析程序被所述处理器600执行时实现如上文所述的超声波损伤检测分析方法。
其中，所述存储器500可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器(random access memory，RAM))或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器可以是独立存在，通过通信总线与处理器相连接。存储器也可以和处理器集成在一起。
如图6所示，作为本发明的第四实施例，本发明提出了一种非临时性计算机可读存储介质，其上存储有基于注意力机制的超声波损伤检测分析程序700，该超声波损伤检测分析程序在被处理器执行时实现如上述任一项所述的超声波损伤检测分析方法。
所述存储介质可以是前述服务器的内部存储单元，例如服务器的硬盘或内存。所述存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述超声波损伤检测分析检查装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如一个以上单元或组件可以结合或者可以集成到另一个计算机设备，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的计算机设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的计算机设备实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如一个以上单元或组件可以结合或者可以集成到另一个计算机设备，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例计算机设备中的单元可以根据实际需要进行合并、划分和删减。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于注意力机制的超声波损伤检测分析方法，其特征在于，包括：
步骤S1，获取多种材料的损伤分数数据集，所述损伤分数数据集包括多个样本，每个样本包含一个第一特征向量和一个损伤分数；所述第一特征向量包括相对非线性参量β/β0和材料的损伤相关参数，所述材料的损伤相关参数包括已服役时间、服役温度、服役应力、衰减、硬度、纵波速度、横波速度、导波群速度、弹性模量和三阶弹性常数；所述损伤分数数据集的目标值为材料损伤分数的真实值；
步骤S2，利用所述损伤分数数据集中的第一特征向量和损伤分数，来训练多种不同的回归模型，得到经过训练的回归模型；随后，分别利用不同的经过训练的回归模型对所述损伤分数数据集中的第一特征向量给出回归模型的输出值，作为损伤分数的中间预测值；将各个损伤分数的中间预测值组成第二特征向量；
步骤S3，利用多头注意力模型对各个回归模型进行集成，将第二特征向量输入多头注意力模型，使得多头注意力模型输出第三特征向量；
步骤S4，将所述回归模型中的神经网络模型作为前置全连接层，将所述前置全连接层、所述多头注意力模型、一维卷积层和两个后置全连接层共同组成一个端到端模型，以多头注意力模型输出的第三特征向量作为端到端模型的一维卷积层的输入，材料损伤分数的真实值作为端到端模型的目标值进行回归，以将所述端到端模型作为一个整体进行训练，同时得到经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层；随后，将所述经过训练的各个回归模型、经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层组成了一个超声波损伤检测分析系统，用于得到损伤分数预测值。
2.根据权利要求1所述的基于注意力机制的超声波损伤检测分析方法，其特征在于，还包括步骤S5，采集待测材料的第一特征向量，输入所述超声波损伤检测分析系统，得到最终的损伤分数的预测结果。
3.根据权利要求1所述的基于注意力机制的超声波损伤检测分析方法，其特征在于，在所述步骤S1中，所述相对非线性参量β/β0是通过采集超声检测数据并进行频域分析得到的，超声检测数据包括超声的发射信号以及超声的回波信号；所述材料损伤分数的真实值为材料的已服役时间除以材料服役寿命，材料服役寿命由实验测量。
4.根据权利要求1所述的基于注意力机制的超声波损伤检测分析方法，其特征在于，在所述步骤S2中，所述回归模型包括线性回归、多项式回归、K近邻回归、岭回归、套索回归、弹性网络回归、稳健回归、支持向量回归、随机森林回归、决策树回归、XGBoost回归、AdaBoost回归、Gradient boosting回归和多层感知器回归模型中的多种。
5.根据权利要求1所述的基于注意力机制的超声波损伤检测分析方法，其特征在于，在所述步骤S4中，通过梯度下降方法，在训练端到端模型的过程中，同时训练所述多头注意力模型，得到经过训练的多头注意力模型。
6.根据权利要求5所述的基于注意力机制的超声波损伤检测分析方法，其特征在于，所述端到端模型还包括设于一维卷积层和两个后置全连接层之间的至少一个位置的Dropout层，所述步骤S4还包括：在进行回归的过程中，将多头注意力模型输出的第三特征向量与前置全连接层的输出向量相加并输入Dropout层以将两者结合，且结合后的Dropout层插设于一维卷积层和两个后置全连接层之间的至少一个位置。
7.根据权利要求1所述的基于注意力机制的超声波损伤检测分析方法，其特征在于，在所述步骤S4中，将所述回归模型中的至少一个神经网络模型作为前置全连接层。
8.一种基于注意力机制的超声波损伤检测分析装置，其特征在于，包括：
材料参数导入单元，设置为输入多种材料的损伤分数数据集，所述损伤分数数据集包括多个样本，每个样本包含一个第一特征向量和一个损伤分数；所述第一特征向量包括相对非线性参量β/β0和材料的损伤相关参数，所述材料的损伤相关参数包括已服役时间、服役温度、服役应力、衰减、硬度、纵波速度、横波速度、导波群速度、弹性模量和三阶弹性常数；所述损伤分数数据集的目标值为材料损伤分数的真实值；
回归模型构建单元，设置为利用所述损伤分数数据集中的第一特征向量和损伤分数，来训练多种不同的回归模型，得到经过训练的回归模型；随后，分别利用不同的经过训练的回归模型对所述损伤分数数据集中的第一特征向量给出回归模型的输出值，作为损伤分数的中间预测值，将各个损伤分数的中间预测值组成第二特征向量；
模型集成单元，设置为利用多头注意力模型对各个回归模型进行集成，将第二特征向量输入多头注意力模型，使得多头注意力模型输出第三特征向量；以及
损伤结果分析单元，设置为将所述回归模型中的神经网络模型作为前置全连接层，将所述前置全连接层、所述多头注意力模型、一维卷积层和两个后置全连接层共同组成一个端到端模型，以多头注意力模型输出的第三特征向量作为端到端模型的一维卷积层的输入，材料损伤分数的真实值作为端到端模型的目标值进行回归，以将所述端到端模型作为一个整体进行训练，同时得到经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层；随后，将所述经过训练的各个回归模型、经过训练的前置全连接层、多头注意力模型以及一维卷积层和两个后置全连接层组成一个超声波损伤检测分析系统，用于得到损伤分数预测值。
9.一种基于注意力机制的超声波损伤检测分析计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于注意力机制的超声波损伤检测分析程序，所述基于注意力机制的超声波损伤检测分析程序被所述处理器执行时实现如权利要求1-7中任一项所述的基于注意力机制的超声波损伤检测分析方法。
10.一种非临时性计算机可读存储介质，其特征在于，其上存储有基于注意力机制的超声波损伤检测分析程序，该基于注意力机制的超声波损伤检测分析程序被处理器执行时实现如权利要求1-7中任一项所述的基于注意力机制的超声波损伤检测分析方法。
CN202110505353.7A 2021-05-10 2021-05-10 基于注意力机制的超声波损伤检测分析方法及其应用 Active CN113094933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110505353.7A CN113094933B (zh) 2021-05-10 2021-05-10 基于注意力机制的超声波损伤检测分析方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110505353.7A CN113094933B (zh) 2021-05-10 2021-05-10 基于注意力机制的超声波损伤检测分析方法及其应用

Publications (2)

Publication Number Publication Date
CN113094933A CN113094933A (zh) 2021-07-09
CN113094933B true CN113094933B (zh) 2023-08-08

Family

ID=76665190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110505353.7A Active CN113094933B (zh) 2021-05-10 2021-05-10 基于注意力机制的超声波损伤检测分析方法及其应用

Country Status (1)

Country Link
CN (1) CN113094933B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116388884B (zh) * 2023-06-05 2023-10-20 浙江大学 防窃听超声波干扰样本设计方法、系统及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020221278A1 (zh) * 2019-04-29 2020-11-05 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
CN112215271A (zh) * 2020-09-27 2021-01-12 武汉理工大学 一种基于多头注意力机制的抗遮挡目标检测方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022512254A (ja) * 2018-12-13 2022-02-02 リミナル サイエンシズ インコーポレイテッド 実質的に非破壊的な音響刺激のためのウェアラブルデバイス用のシステムおよび方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020221278A1 (zh) * 2019-04-29 2020-11-05 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
CN112215271A (zh) * 2020-09-27 2021-01-12 武汉理工大学 一种基于多头注意力机制的抗遮挡目标检测方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高东岳 ; .基于机器学习方法的超声导波结构健康监测研究.纤维复合材料.2020,(03),全文. *

Also Published As

Publication number Publication date
CN113094933A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
Verstraete et al. Deep semi-supervised generative adversarial fault diagnostics of rolling element bearings
Wang et al. 1D-TICapsNet: an audio signal processing algorithm for bolt early looseness detection
CN113094933B (zh) 基于注意力机制的超声波损伤检测分析方法及其应用
Li et al. Infrasound signal classification based on spectral entropy and support vector machine
Hu et al. Weld defect classification using 1-D LBP feature extraction of ultrasonic signals
Nagasubramanian et al. Usefulness of interpretability methods to explain deep learning based plant stress phenotyping
CN114190953A (zh) 针对脑电采集设备的脑电信号降噪模型的训练方法和系统
Ye et al. Automatic defect detection for ultrasonic wave propagation imaging method using spatio-temporal convolution neural networks
Ghafoor et al. Non-contact detection of railhead defects and their classification by using convolutional neural network
Qin et al. Surface stress monitoring of laser shock peening using AE time-scale texture image and multi-scale blueprint separable convolutional networks with attention mechanism
Gharehbaghi et al. A novel approach for deterioration and damage identification in building structures based on Stockwell-Transform and deep convolutional neural network
Harikumar et al. Genetic algorithm optimization of fuzzy outputs for classification of epilepsy risk levels from EEG signals
Jamal et al. Cloud-Based Human Emotion Classification Model from EEG Signals
Hu et al. An features extraction and recognition method for underwater acoustic target based on ATCNN
JC Phased array ultrasonic test signal enhancement and classification using Empirical Wavelet Transform and Deep Convolution Neural Network
Khalkhali et al. Low latency real-time seizure detection using transfer deep learning
Zhou et al. An attention-based multi-scale convolution network for intelligent underwater acoustic signal recognition
Li et al. A robust fault diagnosis method for rolling bearings based on deep convolutional neural network
JP7210315B2 (ja) 検査システムおよび検査方法
Cura et al. Epileptic EEG classification using synchrosqueezing transform with machine and deep learning techniques
Zhang et al. Flaw detection in metal additive manufacturing using deep learned acoustic features
Terwilliger et al. The AI Mechanic: Acoustic Vehicle Characterization Neural Networks
Wang et al. Lead Zirconate Titanate-based bolt looseness monitoring using multiscale singular spectrum entropy analysis and genetic algorithm-based support vector machine
Rajaguru et al. Wavelet neural networks, Elman backpropagation and multilayer perceptrons for epilepsy classification from EEG signals
Harikumar et al. Fpga synthesis of soft decision tree (sdt) for classification of epilepsy risk levels from fuzzy based classifier using eeg signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant