CN113129266A - 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法 - Google Patents

基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法 Download PDF

Info

Publication number
CN113129266A
CN113129266A CN202110299704.3A CN202110299704A CN113129266A CN 113129266 A CN113129266 A CN 113129266A CN 202110299704 A CN202110299704 A CN 202110299704A CN 113129266 A CN113129266 A CN 113129266A
Authority
CN
China
Prior art keywords
domain
time
scale
optimization
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110299704.3A
Other languages
English (en)
Other versions
CN113129266B (zh
Inventor
张睿
赵娜
白晓露
傅留虎
潘理虎
蔡江辉
宋仁旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN202110299704.3A priority Critical patent/CN113129266B/zh
Publication of CN113129266A publication Critical patent/CN113129266A/zh
Application granted granted Critical
Publication of CN113129266B publication Critical patent/CN113129266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷高效检测方法。本发明方法将一维回波时域信号衍生至时频域、格拉姆角场域和马尔可夫转移场域等空间域；将各空间域构建的数据集依次输入MobileNetV3神经网络，选择特征表达最丰富的空间域作为最终训练数据集；构建多尺度深度可分离卷积对MobileNetV3进行改进，以增强网络的识别性能；同时，提出粒子群‑混沌麻雀搜索算法用于网络结构及参数的自动寻优；采用“CPU+FPGA”异构协同计算加快缺陷的推理识别应用速度。以未熔合、气孔、夹渣、未焊透、裂纹五类焊缝缺陷为对象，对五类焊缝缺陷的识别准确率可达98.75%，具有实际工程应用价值。

Description

基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测 方法
技术领域
本发明涉及焊缝缺陷类型识别技术领域，具体为一种基于多域表达数据增强及模型自优化的不锈钢焊缝缺高效陷检测方法。
背景技术
焊接工艺广泛应用于航天、机械、能源动力等重要领域，对焊缝缺陷进行检测是保证安全生产的重要环节。目前，工业生产中仍大量应用人工检测方法对焊缝缺陷进行检测识别，需要专业检测人员分析缺陷的严重程度并对缺陷类型定性。随着人工智能的发展，计算机视觉和机器学习已经成功于不锈钢焊缝检测领域。
Silva Lucas C等人提出了一个利用超声TOFD信息识别焊缝未熔合、未焊透、夹渣、气孔和无缺陷五种类型的决策支持系统，该决策支持系统以极限学习机为基础，采用TOFD信号分段的频谱作为训练特征，识别准确率最高可达97％。Muravyov,S.V.等人提出了一种自动缺陷识别算法，用于通过摄影图像对焊接缺陷进行检测和分类。该算法在分割后的图像中选择缺陷域，提取图像的几何特征，并将缺陷分为无缺陷、空腔、纵向裂纹、横向裂纹、烧穿和多缺陷六类，识别准确率可达85％。Xiong Zhang等人采用多通道融合模型对太阳能电池板表面破细胞壁、裂纹和拆焊区缺陷达到了平均98.3％的识别率。尹立航等人提出一种多尺度采样分析的焊缝缺陷识别方法，实现了对包含裂纹、夹杂、气泡、未焊透、夹钨、未熔合六类缺陷及正常X射线图像的识别，最高识别率达91.71％。胡宏伟等人使用LBP-KPCA算法对焊缝缺陷回波数据进行特征提取，在夹渣、气孔和未焊透3类焊缝缺陷上达到了96.7％的分类精度。Xiaokai Wang等人从时域和频域特征出发，在最终提取了9个特征值的情况下，对良好点焊接头、合格点焊接头和不合格点焊接头使用PSO-SVM算法达到了95％的识别率。Zhifen Zhang等人提出了一种基于随机森林和电弧光谱的机器人电弧焊铝合金在线缺陷检测方法，选择了六个光谱特征并根据构造模式进行了分析，最终实现了对不完全渗透，烧穿和孔隙三类缺陷97.75％的平均准确率。
近年来，凭借着在图像分类任务中的优势，深度学习开始广泛应用于各个领域。相比传统机器学习方法，深度学习的方法不需要人工设计特征提取器，可以通过神经网络的训练实现图像特征的自动提取，为不锈钢焊缝缺陷检测提供了新思路。
支泽林等人提出一种可进行缺陷图像特征和波形特征综合分析的深度学习融合模型及自适应特征融合策略，对无缺陷、点状缺陷、现状缺陷、条形缺陷四类缺陷验证精度达到87.07％。Haihong Pan等人提出了一个新的基于迁移学习的TL-MobileNet结构，在MobileNet模型的基础上增加一个新的全连接层和一个Softmax分类器，采用DropBlock技术和全局平均池化方法成功优化了TL-MobileNet模型的整个训练过程，对X射线焊接图像中无缺陷、未焊透、气孔、夹渣和裂纹五类缺陷的预测精度达到97.69％。胡桉得建立了9层的卷积神经网络模型对X射线焊缝图像进行识别，实现了对气孔、裂纹、未熔合、未焊透缺陷和无缺陷正常图像98.13％的高识别准确率，提高了检测识别的自动化程度。樊丁等人采用超像素分割算法(SLIC)和改进的ELU激活函数构建CNN模型进行焊缝探伤图像缺陷识别，其方法能有效地对4种类型的焊缝探伤图像进行识别，整体识别准确率可达97.8％。侯文慧以X射线焊缝图像为研究对象，对稀疏表示、深层表示学习算法进行了深入的研究，提出了基于深度卷积神经网络的端到端的识别模型进行了焊接缺陷的自动识别和分类，实现了对气孔、未焊透、夹渣、裂纹四类焊缝缺陷和无缺陷图像的分类，最高准确率达到97.2％。黄焕东等人对裂纹、气孔、夹渣、未焊透和未熔合五类焊缝缺陷的超声TOFD-D扫描图像进行了特征分析，在明确图像特征与缺陷轮廓的关系之后通过构建的Faster RCNN神经网络实现了对焊缝D扫图像缺陷类型的自动识别，识别准确率达到了97％以上。刘涵等人使用聚类算法对石油钢管焊缝缺陷X射线图片进行缺陷分割，再利用6层CNN网络对焊缝裂纹、气孔、噪声三种缺陷及正常图片进行识别和定位，最终达到97.44％的平均识别准确率。
人工识别主要采用的是人工肉眼的识别方法，识别简单，但是这样的方式以人的主观感受和经验主导的，所以很难形成统一的标准；而且，生产现场环境恶劣，质检人员的身体和心理都极易受到影响，因此检查质量难以保障。
机器识别通过“特征提取+机器学习”方法来实现，但往往需要人工设计缺陷特征，仍然受检测员经验、环境、缺陷类型的影响，同时，这类方法一般是构建固定的缺陷分类模型并且基于数据量有限的训练集，生产检测不断增加，样本数据不断扩充，许多特性有待挖掘，这类方法已难以适用。
目前现有深度学习方法多是以光学传感器检测、X射线检测、TOFD二维成像等方法来构建样本集，在实际工程应用中，光学传感方法并不能很好的获取到焊缝内部结构的材料缺陷特征，X射线检测方法又存在安全性问题，很难实现实时检测，TOFD二维成像方法对设备超声探头横向、纵向分辨率性能以及实时性性能要求较高，因此，在工程中依然多选取超声A型回波检测方法进行实时检测，相比于其他几种方法，更安全、更快捷，且检测装置价格相对便宜。但通过研究发现，相关基于超声A型回波检测方法的智能决策算法的研究较鲜为人见，究其原因是奥氏体不锈钢焊缝的材料特质问题，在运用超声波对不锈钢焊缝进行检测时，其材料结构会造成超声波传播在方向上发生偏转、声束畸变和衰减，使缺陷的判别变得非常困难。此外，由于基于超声A型回波方法采集到的数据为一维超声时域信号，检测信号信噪比低，难以充分表达缺陷特征，容易产生缺陷漏检和误判，难以保证检测结果的可靠性，这为不锈钢焊缝的智能检测提出了技术难点。
发明内容
为了进一步优化不锈钢焊缝缺陷识别技术，本发明提出一种基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷高效检测方法。
本发明是采用如下技术方案实现的：
一种基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法，包括如下步骤：
1、一维超声检测时域信号采集
使用超声探伤仪和超声斜探头对未熔合、气孔、夹渣、未焊透、裂纹五类不锈钢焊缝缺陷样板进行A型回波数据采集、标签标记，构建时域训练数据集和时域测试数据集。
2、一维超声检测信号多空间域表征
将一维检测信号时域训练数据集和时域测试数据集衍生到时频域、格拉姆角场域、马尔可夫转移场域的空间域中，分别构建时频域、格拉姆角和场域、格拉姆角差场域、马尔可夫转移场域的训练数据集和测试数据集；
将构建的多域训练数据集分别输入至轻量级卷积神经网络MobileNetV3，并分别用多域测试数据集进行验证，通过分类准确率对比选择特征表达最丰富的空间域构建下一步所用训练数据集Ⅰ和测试数据集Ⅱ。
3、多尺度轻量型卷积神经网络模型构建
a、选择MobileNteV3作为不锈钢焊缝缺陷识别的基础网络。
b、多尺度深度可分离卷积构建
多尺度深度可分离卷积为：将输入的M个特征图分别用M个不同尺寸的卷积核进行深度卷积，通过填充操作保证经过不同尺寸卷积核卷积后的输出特征图大小一致；之后将多尺度卷积的输出特征通过通道拼接，输出M个含有多尺度信息的特征图，并进一步通过1×1卷积将该输出映射到新的通道空间；深度卷积和点卷积的计算公式分别为式(11)和式(12)；
Figure BDA0002985716420000061
Figure BDA0002985716420000062
式中，W是卷积核的权重矩阵，x表示输入到卷积层的特征图，(i,j)表示元素的坐标索引，m，n,k是卷积核的3个维度。
c、将上述的多尺度深度可分离卷积替换原MobileNteV3网络中的深度可分离卷积，完成多尺度MobileNteV3轻量型网络模型构建。
4、基于粒子群-混沌麻雀搜素算法的自适应焊缝缺陷识别网络模型结构/参数优化
a、基于粒子群-混沌麻雀搜素算法的搜索策略优化
(1)、从改进SSA自适应性角度出发，加入扰动因子p来自适应改变警戒麻雀数量，以式(13)来更新种群中警戒者比例，使警戒者数量可自适应减少且种群的完整性不遭破坏；
Figure BDA0002985716420000063
式中，SD为警戒者比例，t为SSA当前迭代次数，T为SSA总迭代次数；
(2)、将SSA中预警值、发现者所占比例、扰动因子、带有警戒值的麻雀比例的取值范围作为PSO的搜索空间，设置粒子群数量、学习因子取值、最大迭代次数，在搜索空间随机初始化每个粒子的速度和位置，根据目标函数计算每个粒子的适应值；
(3)、通过每个粒子的适应度值更新其个体极值pbest和全局极值gbest，根据式(15)和式(16)调整粒子的位置和速度；
Figure BDA0002985716420000071
xi＝xi+vi (16)
式中，vi和xi分别代表粒子的速度和位置，c1和c2是学习因子，随机函数rand()是介于(0,1)之间的随机数；
(4)、当达到PSO的最大迭代次数或全部最优位置满足最小界限时，完成PSO对SSA中关键参数的选择，将找到的预警值、发现者比例、扰动因子、带有警戒值的麻雀比例传递到SSA中；
(5)、利用Tent混沌映射对SSA种群进行初始化，根据式(14)，当i＝1时，可产生一个D维的混沌个体，继续迭代至i＝m时，产生m个D维向量的个体；
Tent混沌映射表达式为：
Figure BDA0002985716420000072
式中，d为初始化变量数目，i为映射次数，
Figure BDA0002985716420000073
第i次映射的混沌个体；
(6)、利用式(17)将混沌个体
Figure BDA0002985716420000074
映射到定义域对应的搜索空间，完成麻雀种群初始化，即进行步骤b中的粗度层间压缩和超参数精度寻优；
Figure BDA0002985716420000075
式中，Xid为种群第i个个体的第d维位置，Xub,d为第d维的上界，Xlb,d为第d维的下界。
b、自适应焊缝缺陷识别网络模型结构/参数优化
(1)、粗度层间压缩：将每只麻雀的6个维度分别对应于MobileNetV3中可删减替换的6个网络模块，保留原模块、替换为多尺度模块、删除模块为每个维度的搜索空间，根据搜索策略和评估策略进行第一轮搜索，通过迭代找到最优麻雀个体信息，完成模型压缩，确定多尺度MobileNetV3网络模型结构；
(2)、超参数精度寻优：将每只麻雀的10个维度分别对应于多尺度MobileNetV3的10个待定参数，并确定搜索空间：学习率、梯度下降函数、多尺度深度可分离卷积的激活函数、训练批次大小、多尺度深度可分离卷积中卷积核大小，根据搜索策略和评估策略进行第二轮搜索，经算法迭代在搜索空间内找到模型最优参数，最终实现自适应多尺度MobileNetV3网络模型构建。
本发明方法将一维超声检测时域信号衍生至时频域、格拉姆角场域、马尔可夫转移场域等空间域中并进行分析，以期丰富一维时间序列的特征表达，克服现有不锈钢焊缝智能识别方法中存在的检测信号特征信息丰富度低、卷积网络特征提取不充分、判别性有限以及深度网络架构人工专业领域知识依赖性强、网络冗余度高、缺乏自适应能力等问题。将各空间域构建的数据集依次输入MobileNetV3神经网络，选择特征表达最丰富的空间域作为最终训练数据集；构建多尺度深度可分离卷积对MobileNetV3进行改进，以增强网络的识别性能；同时，提出粒子群-混沌麻雀搜索算法用于网络结构及参数的自动寻优；采用“CPU+FPGA”异构协同计算加快缺陷的推理识别应用速度。在保证低计算成本的同时，构建出具备自适应能力的高性能缺陷识别模型，以未熔合、气孔、夹渣、未焊透、裂纹五类焊缝缺陷为对象，对本发明所提方法进行验证，有效提高未熔合、气孔、夹渣、未焊透、裂纹五类焊缝缺陷的识别性能和识别速度。结果表明，本发明提出的方法对五类焊缝缺陷的识别准确率可达98.75％，具有实际工程应用价值，可为不锈钢焊缝检测领域提供一定的技术参考。
本发明提出的方法适用性强，可广泛应用于各类网络模型自适应压缩优化，也适用于基于序列样本的各类识别、分类、诊断、检测模型中。
附图说明
图1表示方法整体流程图。
图2表示深度可分离卷积示意图。
图3表示多尺度深度可分离卷积示意图。
图4表示粒子群-混沌麻雀搜索算法自适应网络寻参流程图。
图5表示XilinxZCU104系统的体系结构示意图。
图6表示本发明方法与原始MobileNetV3分类效果。
图7表示五类缺陷对应的多域图像。
具体实施方式
下面结合附图对本发明的具体实施例进行详细说明。
焊缝缺陷类型识别对实现焊接结构安全性评价具有重要意义。针对不锈钢焊缝智能识别方法存在的检测信号特征信息丰富度低、卷积网络特征提取不充分、判别性有限等问题，以及深度网络架构人工专业领域知识依赖性强、网络冗余度高、缺乏自适应能力等难点，本发明提出了一种基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷高效检测方法。
该方法是面向不锈钢焊缝检测的信号多空间域分析及自适应多尺度缺陷识别，包括一维超声检测信号多空间域表征、多尺度MobileNetV3轻量型网络模型构建、基于粒子群-混沌麻雀搜素算法的自适应焊缝缺陷识别网络模型结构/参数优化、“CPU+FPGA”异构协同计算加快缺陷的推理识别速度四大部分。其整体技术路线如图1所示，通过数据采集、多空间域转换分析和数据增强，选择特征表达最丰富的空间域来构建最终的训练数据集Ⅰ和测试数据集Ⅱ；提出多尺度深度可分离卷积，并构建多尺度轻量型网络模型，使用数据集Ⅰ对网络进行训练；提出粒子群-混沌麻雀搜索算法，构建自适应多尺度轻量型神经网络，继续使用数据集Ⅰ对网络进行训练；将测试数据集Ⅱ输入到训练好的自适应多域多尺度轻量型神经网络，通过“CPU+FPGA”异构协同计算加快缺陷的推理识别速度，评估输出的分类准确率达到预设值时，此训练好的多域多尺度神经网络可被用于不锈钢焊缝缺陷类型的识别。具体实施方案如下：
1、一维超声检测时域信号采集
使用超声探伤仪和超声斜探头对未熔合、气孔、夹渣、未焊透、裂纹五类不锈钢焊缝缺陷样板进行A型回波数据采集、标签标记，构建时域训练数据集和时域测试数据集。
a、为了保证数据的多样性和有效性，数据采集时斜探头扫查保持与焊缝中心线成90度，并分别作锯齿型、前后、左右、10°-15°转角、环绕五种A型扫查，其中探头保证在焊接接头截面前后移动；
b、用巴特斯沃滤波器对扫查得到的各类缺陷检测回波一维信号Xi进行滤波处理，避免机电耦合对检测结果产生干扰；
c、将滤波处理后的数据按照对应的缺陷类型分好并存储在5个文件夹中，并依次设定文件的标签为裂纹、气孔、夹渣、未熔合、未焊透，完成数据标记，构建了时域训练数据集；
d、重复上述a、b、c步骤，对另一批不锈钢焊缝缺陷样板进行数据采集，构建时域测试数据集。
2、一维超声检测信号多空间域表征
时域信号属于典型的连续序列信号，所提供的特征判别信息有限，将会限制后续缺陷特征提取性能。为了提高样本信息表达的丰富性，同时兼顾卷积神经网络对二维图像特征分析的适用性，本发明开展一维超声检测)时域信号多空间域转换的方法研究，将一维超声检测信号时域训练数据集和时域测试数据集衍生到时频域、格拉姆角场域(GramianAngular Field，GAF)、马尔可夫转移场域(Markov Transition Field，MTF)等空间域中，在提高样本特征判定信息的丰富性的同时，将本发明检测信号特征提取聚类问题转化为不同域的二维图像处理问题。多域特征增强效果如图7所示。
a、时频域转换
利用希尔伯特-黄变换(Hilbert-huang，HHT)，将时域信号转换至时频域，在保留信号时间域特性、频率域特性的同时，又体现了频率与时间相互变化关系的时频特性。其转换步骤为：
(1)、通过经验模态分解(Empirical Mode Decomposition，EMD)将原始数据x(t)分解为满足Hilbert变换要求的固有模态函数(Intrinsic Mode Function，IMF)和一个残余分量rn(t)，即：
Figure BDA0002985716420000121
(2)、对IMF分量做Hilbert变换，得到复IMF分量信号，即：
Figure BDA0002985716420000122
其中，ai(t)为复IMF分量的瞬时振幅，θi(t)为瞬时相位；
(3)、由瞬时相位得瞬时频率
Figure BDA0002985716420000123
进而得到Hilbert时频谱H(w,t)，即：
Figure BDA0002985716420000124
Re表示取实部。
b、格拉姆角场域转换
将缩放后的时间序列从直角坐标系转换至极坐标系，即格拉姆角场域，其保持了信号的时间相关信息，是不同时间间隔相关性的综合集成。其转换步骤为：
(1)、将一维时间序列X中的值缩放至[-1,1]区间内，得到缩放后的序列数据
Figure BDA0002985716420000125
即：
Figure BDA0002985716420000126
(2)、将数值看作夹角余弦值，时间戳ti看作半径r，把缩放后的序列数据转换到极坐标系，N为规范极坐标系跨度的常数因子：
Figure BDA0002985716420000131
(3)、定义格拉姆角和场(Gramain Angular Summation Fields，GASF)和格拉姆角差场(Gramain Angular Difference Fields，GASF)，二者的区别在于三角函数的转换，GASF使用余弦函数(式6)，GADF使用正弦函数(式7)：
Figure BDA0002985716420000132
Figure BDA0002985716420000133
c、马尔可夫转移场域转换
量化时间序列，构建一阶马尔可夫矩阵，进而将马尔可夫转移概率与一维时间序列建立依存形成马尔可夫转移场域图像，通过顺序表示马尔可夫转移概率来保存时域信息。其转换步骤为：
(1)、使用Q个分位数区间，将时间序列X＝{x1,x2,…xn}中的每个值xi映射到区间qj中；
(2)、沿每一个时间步以一阶马尔可夫链的方式计算区间之间的转移，归一化操作后构造马尔可夫矩阵W，即：
Figure BDA0002985716420000141
其中，wij表示在区间qi中的一个点其下一时间步对应的点在区间qj中的概率；
(3)、扩展马尔可夫矩阵，使其沿时间顺序对齐每一概率，得到马尔可夫转移场M，即：
Figure BDA0002985716420000142
其中，时间步i和j的值所在分位数区间分别为qi和qj，wij为区间qi到qj的转移概率。
d、通过翻转、高斯加噪、旋转等方法实现数据增强，分别构建时频域、格拉姆角场和域、格拉姆角差场域、马尔可夫转移场域的训练数据集和测试数据集。
e、将构建的多域训练数据集分别输入至轻量级卷积神经网络MobileNetV3，并分别用多域测试数据集进行验证，通过分类准确率对比选择特征表达最丰富的空间域构建下一步所用训练数据集Ⅰ和测试数据集Ⅱ。
3、多尺度轻量型卷积神经网络模型构建
a、选择MobileNteV3作为不锈钢焊缝缺陷识别的基础网络。
MobileNetV3是谷歌团队于2019年提出的一个轻量级神经网络，该网络模型的主模块Bneck集现有的轻量级神经网络思想于一体，具体包括：MobileNteV1的深度可分离卷积，MobileNetV2的反残差结构以及压缩和激励网络(Squeeze-and-ExcitiationNetworks，SENet)网络中的SE模块。此外，该网络设计了一种非线性激活函数H-swish用于替换网络后半部分的ReLU激活函数，计算公式如式(10)所示，式中：x为输入特征值。通过对Swish函数进行改进，利用RELU(x+3)/6逼近Sigmoid函数，在不增加网络计算量的同时增加的网络的精度。
Figure BDA0002985716420000151
相比其他轻量级神经网络，MobileNteV3在分类任务上有更好的表现，因此本发明选择MobileNteV3作为不锈钢焊缝缺陷识别的基础网络。
b、多尺度深度可分离卷积构建
MobileNteV3中的深度可分离卷积将传统的卷积运算拆解为深度卷积(dpethwiseconvolution，DWC)和点卷积(pointwise convolution,PWC)两个过程，其结构如图2所示。DWC用于处理区域特征，对输入的M个特征图分别用M个k×k大小的卷积核单独卷积，输出M个特征图；PWC用于处理空间特征，将深度卷积层输出的M个通道特征用N个1×1的传统卷积进行通道间关联并输出特征。
由于在卷积过程中，卷积核的尺寸决定了特征图感受野的大小。深度可分离卷积中深度卷积部分只采用单一卷积核，普遍存在卷积核感受野有限、特征提取单一的问题，在一定程度上限制了模型最终的分类性能。因此，本发明在深度可分离卷积的基础上，提出多尺度深度可分离卷积，将深度卷积中的单一卷积核替换为多尺度卷积核，扩大卷积感受野，提升特征提取的丰富度，有利于提升模型的分类性能。多尺度深度可分离卷积结构如图3所示，将输入的M个特征图分别用M个不同尺寸的卷积核进行深度卷积，通过填充操作保证经过不同尺寸卷积核卷积后的输出特征图大小一致；之后将多尺度卷积的输出特征通过通道拼接，输出M个含有多尺度信息的特征图，并进一步通过1×1卷积将该输出映射到新的通道空间；深度卷积和点卷积的计算公式分别为式(11)和式(12)；
Figure BDA0002985716420000161
Figure BDA0002985716420000162
式中，W是卷积核的权重矩阵，x表示输入到卷积层的特征图，(i,j)表示元素的坐标索引，m,n,k是卷积核的3个维度。
c、将上述的多尺度深度可分离卷积替换原MobileNteV3网络中的深度可分离卷积，完成多尺度MobileNteV3轻量型网络模型构建。
4、基于粒子群-混沌麻雀搜素算法的自适应焊缝缺陷识别网络模型结构/参数优化
人工设计的多域轻量化检测模型依然在结构和参数上存在冗余，为了进一步降低计算复杂度、提高网络压缩优化效率，本发明提出“搜索空间-搜索策略-性能评估-更新空间/策略”反馈式自学习压缩寻优机制。主要开展搜索策略优化、粗精度模型压缩的研究。
a、基于粒子群-混沌麻雀搜素算法的搜索策略优化
麻雀搜索算法(Sparrow Search Algorithm，SSA)由薛建凯于2020年提出，它通过麻雀个体搜寻食物和反捕食进行迭代寻优，具有调整参数少、收敛速度快、计算简单等优点。其觅食过程可抽象为发现者-加入者模型，并加入侦察预警机制。在觅食时，发现者寻找食物，加入者跟随发现者觅食，作为侦察者决定种群是否放弃食物。发现者和加入者之间可互相转换，但比例保持恒定，发现者一般占到种群的10％～20％。发现者作为觅食的引导者，搜索范围广，通过记忆不断更新自身位置，以获得食物来源。而加入者则跟随发现者不断进行觅食，以获取更高的适应度。但由于随时存在捕食者的威胁，种群会随机选取10％～20％的麻雀作为侦察者进行监视，以便在捕食者出现时及时提醒整个种群做出反捕食行为。
SSA中预警值数值选择的好与坏对算法的效率以及性能有着直接影响，数值选择不当将可能导致算法陷入局部最优值振荡或寻优过程中全部收敛于全局最优，而忽略局部最优。从改进SSA自适应性角度出发，加入扰动因子p来自适应改变警戒麻雀数量，以式(13)来更新种群中警戒者比例，使警戒者数量可自适应减少且种群的完整性不遭破坏，式中，SD为警戒者比例。
Figure BDA0002985716420000171
利用粒子群优化算法(Particle Swarm Optimization，PSO)参数少、易于设置和调整、具有较快的收敛速度等特点，基于统计分析法在多个测试函数上优化选取SSA中预警值、发现者所占比例、扰动因子、带有警戒值的麻雀比例四个关键参数，以使SSA更好的保留优秀个体特性，有效提高算法寻优能力。
由于麻雀搜索算法在求解复杂优化问题时，易于陷入局部最优而导致寻优精度不高，且存在迭代后期种群多样性降低。为提高算法全局搜索能力，结合混沌算子具有随机性与规律性的特点，引入Tent混沌映射来增强初始种群的均匀性和遍历性。Tent映射可作为产生优化算法的混沌序列，能跳出不稳定的周期点，重新进入混沌状态。Tent映射表达式为式：
Figure BDA0002985716420000181
式中，d为初始化变量数目，i为映射次数，
Figure BDA0002985716420000182
第i次映射的混沌个体。
至此，完成基于粒子群-混沌麻雀搜素算法的搜索策略优化，其整体流程如图4所示：
(1)、从改进SSA自适应性角度出发，加入扰动因子p来自适应改变警戒麻雀数量，以式(13)来更新种群中警戒者比例，使警戒者数量可自适应减少且种群的完整性不遭破坏；
Figure BDA0002985716420000183
式中，SD为警戒者比例，t为SSA当前迭代次数，T为SSA总迭代次数；
扰动因子p通过步骤(2)、(3)、(4)的PSO优化选择SSA中关键参数来确定，在(1)中只提出需要加入参数扰动因子p，步骤(2)、(3)、(4)实现了扰动因子p的取值。
整个步骤为：提出需要加入扰动因子p，通过PSO实现扰动因子及其他参数的初始化取值，之后使用混沌映射完成种群初始化，开始粒子群-混沌麻雀搜素算法的迭代，在算法迭代过程中需要通过式(13)来不断更新警戒者比例，直到算法迭代结束。
(2)、将SSA中预警值、发现者所占比例、扰动因子、带有警戒值的麻雀比例的取值范围作为PSO的搜索空间，设置粒子群数量、学习因子取值、最大迭代次数，在搜索空间随机初始化每个粒子的速度和位置，根据目标函数计算每个粒子的适应值；
(3)、通过每个粒子的适应度值更新其个体极值pbest和全局极值gbest，根据式(15)和式(16)调整粒子的位置和速度；
Figure BDA0002985716420000191
xi＝xi+vi (16)
式中，vi和xi分别代表粒子的速度和位置，c1和c2是学习因子，随机函数rand()是介于(0,1)之间的随机数；
(4)、当达到PSO的最大迭代次数或全部最优位置满足最小界限时，完成PSO对SSA中关键参数的选择，将找到的预警值、发现者比例、扰动因子、带有警戒值的麻雀比例传递到SSA中；
(5)、利用Tent混沌映射对SSA种群进行初始化，根据式(14)，当i＝1时，可产生一个D维的混沌个体，继续迭代至i＝m时，产生m个D维向量的个体；
Tent混沌映射表达式为：
Figure BDA0002985716420000201
式中，d为初始化变量数目，i为映射次数，
Figure BDA0002985716420000202
第i次映射的混沌个体；
Figure BDA0002985716420000203
为第i+1次映射的混沌个体；
(6)、利用式(17)将混沌个体
Figure BDA0002985716420000204
映射到定义域对应的搜索空间，完成麻雀种群初始化，即进行步骤b中的粗度层间压缩和超参数精度寻优；
Figure BDA0002985716420000205
式中，Xid为种群第i个个体的第d维位置，Xub,d为第d维的上界，Xlb,d为第d维的下界。
b、自适应焊缝缺陷识别网络模型结构/参数优化
将粒子群-混沌麻雀搜索算法作为搜索策略，结合卷积神经网络的模型大小、速度和准确率之间的多目标权衡作为性能评估策略进行粗度层间压缩和超参数精度寻优：
(1)、粗度层间压缩：将每只麻雀的6个维度分别对应于MobileNetV3中可删减替换的6个网络模块，“保留原模块、替换为多尺度模块、删除模块”为每个维度的搜索空间，根据搜索策略和评估策略进行第一轮搜索，通过迭代找到最优麻雀个体信息，完成模型压缩，确定多尺度MobileNetV3网络模型结构；
(2)、超参数精度寻优：将每只麻雀的10个维度分别对应于多尺度MobileNetV3的10个待定参数，并确定搜索空间：学习率(0.0001-0.1)、梯度下降函数(BGD、SGD、Adagrad、RMSprop、Adam)、多尺度深度可分离卷积的激活函数(Sigmoid、H-Swish、Relu)、训练批次大小(16、32、64、128)、多尺度深度可分离卷积中卷积核大小((1×1，3×3，5×5，7×7)、(1×1，3×3，5×5，avg_pool)、(3×3，5×5，7×7，avg_pool))，根据搜索策略和评估策略进行第二轮搜索，经算法迭代在搜索空间内找到模型最优参数，最终实现自适应多尺度MobileNetV3网络模型构建。
5、“CPU+FPGA”异构协同计算加快缺陷的推理识别应用速度
为了加快对焊缝缺陷信息的识别推理应用速度，本发明在网络识别推理阶段使用不同类型指令集和体系架构的计算单元组成系统的计算方式，即“CPU+FPGA”异构协同计算。通过高并行指令优化策略和高性能软硬件协同优化研究，提高FPGA平台资源利用率，最终实现高泛化能力的缺陷检测轻量化网络模型的推理加速计算。其中，推理加速器的设计基于Xilinx ZCU104 FPGA评估板开展，XilinxZCU104系统的体系结构如图5所示，同一器件中结合了功能强大的嵌入式处理系统(PS区域)和可编程逻辑(PL区域)，共具有504K系统逻辑单元(Look-Up-Table LUT)，461K CLB触发器(Flip-Flops FF)，38Mb存储器(RAM)。既拥有ARM处理器灵活高效的数据运算和事务处理能力，同时又集成了FPGA的高速并行处理优势。在网络进行推理识别时，利用软硬件协同优化方式将PL区域的硬件加速函数映射为PS区域一个或多个具有特定功能的外设，PS区域主要负责整个系统的算法调度，以及执行具有复杂逻辑操作算法模块，而大量重复性计算通常交由PL区域执行，利用高并行指令加速硬件函数。
6、实验环境及数据验证
本发明的分类检测方法在Intel Core CPU I5-8300H@2.3GHz、8GB内存、64位Windows操作系统、PyCharm2020.1.3和PaddlePaddle平台以及XilinxZCU104系统下进行，使用训练数据集Ⅰ对经粒子群-混沌麻雀搜索算法优化后的多尺度网络模型进行训练，并通过测试数据集Ⅱ进行验证。本发明可识别分类未熔合、夹渣、未焊透、气孔和裂纹五类不锈钢焊缝缺陷。
7、本发明方法具有如下特点：
(1)、针对一维超声检测时域信号存在特征信息丰富度低的问题，本发明提出了超声检测信号多域特征增强，在保留一维检测时域信号特征的同时，将一维回波时域信号衍生到时频域、格拉姆角差场域、格拉姆角和场域、马尔可夫转移域等空间域中，通过多域的形式，给出更丰富的信号信息，丰富一维时域信号的特征表达。最终将检测信号特征提取聚类问题转化为不同域的二维图像处理问题。
(2)、由于深度卷积神经网络的识别性能与模型规模息息相关，大规模的深度网络往往存在大量冗余，且模型计算效率低，本发明开展面向焊缝缺陷识别的多域多尺度轻量型网络模型构建方法研究，通过轻量型卷积神经网络设计，合理优化网络结构和计算效率，并通过多尺度深度可分离卷积核构建，扩大轻量型网络的卷积感受野，增强模型提取特征能力，进而综合提高网络识别性能。
(3)、本发明为有效精简计算模型，提高压缩率和计算速度，基于检测任务与待精简的检测网络框架，分析构建模型结构/参数的搜索空间和约束条件，并提出以缺陷检测模型计算效率、精度、准确度等多目标优化的粒子群-混沌麻雀搜索算法作为搜索策略，并通过性能评估从而实现模型冗余度、结构模块、超参数等结构、参数的自动化寻优，在保证神经网络模型最佳性能的同时，减少人为因素的干扰，提高模型的自适应性和泛化能力，降低模型训练和推理的时间成本。本发明提出的“搜索空间-搜索策略-搜索评估-更新空间/策略”反馈式协同优化机制也适用于其他神经网络模型自学习压缩优化。
(4)、本发明依据CPU开发出的可移植版本的智能搜索策略模型结构以及压缩优化的轻量化检测模型结构提出基于FPGA的专用加速电路。将算法描述转换为芯片上的电路连接，通过将检测模型模块的计算各自映射至专用的计算核心，以端到端的形式实现各层计算与硬件结构间的精确匹配，提高硬件加速中的软、硬件特征适配性，最终实现低功耗、低时延的缺陷检测。
(5)、本发明所提方法具备较强的自学习能力和模型压缩能力，通过多域衍生、数据增强、多尺度深度可分离特征增强、基于智能优化算法的自适应模型压缩和超参数寻优、“CPU+FPGA”异构协同计算检测加速，系统递进式地逐步提高焊缝缺陷检测精度、准确度和计算速度。
8、本发明有益效果
为了验证本发明方法的有效性，将本发明提出的自适应多尺度MobileNetV3网络与未改进的MobileNetV3网络进行比较，设置学习率为0.001，迭代次数为550次，使用余弦退火策略使学习率在训练过程中不断衰减，其测试集准确率如图6所示。从图6看出，未改进的MobileNetV3网络分类准确率为97.81％，本发明方法的分类准确率为98.75％，较原始MobileNetV3网络有更高的分类准确率和更快的收敛速度，证明了本发明所提方法的有效性。
应当指出，对于本技术领域的一般技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和应用，这些改进和应用也视为本发明的保护范围。

Claims (5)

1.一种基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法，其特征在于：包括如下步骤：
(1)、一维超声检测时域信号采集
使用超声探伤仪和超声斜探头对未熔合、气孔、夹渣、未焊透、裂纹五类不锈钢焊缝缺陷样板进行A型回波数据采集、标签标记，构建时域训练数据集和时域测试数据集；
(2)、一维超声检测信号多空间域表征
将一维检测信号时域训练数据集和时域测试数据集衍生到时频域、格拉姆角场域、马尔可夫转移场域的空间域中，分别构建时频域、格拉姆角和场域、格拉姆角差场域、马尔可夫转移场域的训练数据集和测试数据集；
将构建的多域训练数据集分别输入至轻量级卷积神经网络MobileNetV3，并分别用多域测试数据集进行验证，通过分类准确率对比选择特征表达最丰富的空间域构建下一步所用训练数据集Ⅰ和测试数据集Ⅱ；
(3)、多尺度轻量型卷积神经网络模型构建
a、选择MobileNteV3作为不锈钢焊缝缺陷识别的基础网络；
b、多尺度深度可分离卷积构建
多尺度深度可分离卷积为：将输入的M个特征图分别用M个不同尺寸的卷积核进行深度卷积，通过填充操作保证经过不同尺寸卷积核卷积后的输出特征图大小一致；之后将多尺度卷积的输出特征通过通道拼接，输出M个含有多尺度信息的特征图，并进一步通过1×1卷积将该输出映射到新的通道空间；
c、将上述的多尺度深度可分离卷积替换原MobileNteV3网络中的深度可分离卷积，完成多尺度MobileNteV3轻量型网络模型构建；
(4)、基于粒子群-混沌麻雀搜素算法的自适应焊缝缺陷识别网络模型结构/参数优化
a、基于粒子群-混沌麻雀搜素算法的搜索策略优化
ⅰ、从改进SSA自适应性角度出发，加入扰动因子p来自适应改变警戒麻雀数量，以式(13)来更新种群中警戒者比例，使警戒者数量可自适应减少且种群的完整性不遭破坏；
Figure FDA0002985716410000021
式中，SD为警戒者比例，t为SSA当前迭代次数，T为SSA总迭代次数；
ⅱ、将SSA中预警值、发现者所占比例、扰动因子、带有警戒值的麻雀比例的取值范围作为PSO的搜索空间，设置粒子群数量、学习因子取值、最大迭代次数，在搜索空间随机初始化每个粒子的速度和位置，根据目标函数计算每个粒子的适应值；
ⅲ、通过每个粒子的适应度值更新其个体极值pbest和全局极值gbest，根据式(15)和式(16)调整粒子的位置和速度，
Figure FDA0002985716410000022
xi＝xi+vi (16)
式中，vi和xi分别代表粒子的速度和位置，c1和c2是学习因子，随机函数rand()是介于(0,1)之间的随机数；
ⅳ、当达到PSO的最大迭代次数或全部最优位置满足最小界限时，完成PSO对SSA中关键参数的选择，将找到的预警值、发现者比例、扰动因子、带有警戒值的麻雀比例传递到SSA中；
ⅴ、利用Tent混沌映射对SSA种群进行初始化，根据式(14)，当i＝1时，可产生一个D维的混沌个体，继续迭代至i＝m时，产生m个D维向量的个体；
Tent混沌映射表达式为：
Figure FDA0002985716410000031
式中，d为初始化变量数目，i为映射次数，
Figure FDA0002985716410000032
第i次映射的混沌个体；
ⅵ、利用式(17)将混沌个体
Figure FDA0002985716410000034
映射到定义域对应的搜索空间，完成麻雀种群初始化，即进行步骤b中的粗度层间压缩和超参数精度寻优；
Figure FDA0002985716410000033
式中，Xid为种群第i个个体的第d维位置，Xub,d为第d维的上界，Xlb,d为第d维的下界；
b、自适应焊缝缺陷识别网络模型结构/参数优化
ⅰ、粗度层间压缩：将每只麻雀的6个维度分别对应于MobileNetV3中可删减替换的6个网络模块，保留原模块、替换为多尺度模块、删除模块为每个维度的搜索空间，根据搜索策略和评估策略进行第一轮搜索，通过迭代找到最优麻雀个体信息，完成模型压缩，确定多尺度MobileNetV3网络模型结构；
ⅱ、超参数精度寻优：将每只麻雀的10个维度分别对应于多尺度MobileNetV3的10个待定参数，并确定搜索空间：学习率、梯度下降函数、多尺度深度可分离卷积的激活函数、训练批次大小、多尺度深度可分离卷积中卷积核大小，根据搜索策略和评估策略进行第二轮搜索，经算法迭代在搜索空间内找到模型最优参数，最终实现自适应多尺度MobileNetV3网络模型构建。
2.根据权利要求1所述的一种基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法，其特征在于：该方法在网络识别推理阶段使用不同类型指令集和体系架构的计算单元组成系统的计算方式，即“CPU+FPGA”异构协同计算；其中，推理加速器的设计基于Xilinx ZCU104 FPGA评估板开展，XilinxZCU104系统的体系结构为：同一器件中结合嵌入式处理系统和可编程逻辑，共具有504K系统逻辑单元、461K CLB触发器、38Mb存储器；在网络进行推理识别时，利用软硬件协同优化方式将PL区域的硬件加速函数映射为PS区域一个或多个具有特定功能的外设，PS区域主要负责整个系统的算法调度，以及执行具有复杂逻辑操作算法模块，而大量重复性计算交由PL区域执行，利用高并行指令加速硬件函数。
3.根据权利要求1或2所述的一种基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法，其特征在于：该检测方法在Intel Core CPU I5-8300H@2.3GHz、8GB内存、64位Windows操作系统、PyCharm2020.1.3和PaddlePaddle平台以及XilinxZCU104系统下进行，使用训练数据集Ⅰ对经粒子群-混沌麻雀搜索算法优化后的多尺度网络模型进行训练，并通过测试数据集Ⅱ进行验证。
4.根据权利要求1所述的一种基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法，其特征在于：步骤(1)中：
a、数据采集时斜探头扫查保持与焊缝中心线成90度，并分别作锯齿型、前后、左右、10°-15°转角、环绕五种A型扫查，其中探头保证在焊接接头截面前后移动；
b、用巴特斯沃滤波器对扫查得到的各类缺陷检测回波一维信号Xi进行滤波处理，避免机电耦合对检测结果产生干扰；
c、将滤波处理后的数据按照对应的缺陷类型分好并存储在5个文件夹中，并依次设定文件的标签为裂纹、气孔、夹渣、未熔合、未焊透，完成数据标记，构建时域训练数据集；
d、重复上述a、b、c步骤，对另一批不锈钢焊缝缺陷样板进行数据采集，构建时域测试数据集。
5.根据权利要求1所述的一种基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法，其特征在于：步骤(2)中：
a、时频域转换
利用希尔伯特-黄变换，将时域信号转换至时频域，在保留信号时间域特性、频率域特性的同时，又体现了频率与时间相互变化关系的时频特性；其转换步骤为：
(1)、通过经验模态分解将原始数据x(t)分解为满足Hilbert变换要求的固有模态函数IMF和一个残余分量rn(t)，即：
Figure FDA0002985716410000061
(2)、对IMF分量做Hilbert变换，得到复IMF分量信号，即：
Figure FDA0002985716410000062
其中，ai(t)为复IMF分量的瞬时振幅，θi(t)为瞬时相位；
(3)、由瞬时相位得瞬时频率
Figure FDA0002985716410000063
进而得到Hilbert时频谱H(w，t)，即：
Figure FDA0002985716410000064
Re表示取实部；
b、格拉姆角场域转换
将缩放后的时间序列从直角坐标系转换至极坐标系，即格拉姆角场域，其保持了信号的时间相关信息，是不同时间间隔相关性的综合集成；其转换步骤为：
(1)、将一维时间序列X中的值缩放至[-1，1]区间内，得到缩放后的序列数据
Figure FDA0002985716410000065
即：
Figure FDA0002985716410000066
(2)、将数值看作夹角余弦值，时间戳ti看作半径r，把缩放后的序列数据转换到极坐标系，N为规范极坐标系跨度的常数因子：
Figure FDA0002985716410000067
(3)、定义格拉姆角和场和格拉姆角差场，二者的区别在于三角函数的转换，GASF使用余弦函数(式6)，GADF使用正弦函数(式7)：
Figure FDA0002985716410000071
Figure FDA0002985716410000072
c、马尔可夫转移场域转换
量化时间序列，构建一阶马尔可夫矩阵，进而将马尔可夫转移概率与一维时间序列建立依存形成马尔可夫转移场域图像，通过顺序表示马尔可夫转移概率来保存时域信息；其转换步骤为：
(1)、使用Q个分位数区间，将时间序列X＝{x1,x2,…xn}中的每个值xi映射到区间qj中；
(2)、沿每一个时间步以一阶马尔可夫链的方式计算区间之间的转移，归一化操作后构造马尔可夫矩阵W，即：
Figure FDA0002985716410000073
其中，wij表示在区间qi中的一个点其下一时间步对应的点在区间qj中的概率；
(3)、扩展马尔可夫矩阵，使其沿时间顺序对齐每一概率，得到马尔可夫转移场M，即：
Figure FDA0002985716410000081
其中，时间步i和j的值所在分位数区间分别为qi和qj，wij为区间qi到qj的转移概率。
CN202110299704.3A 2021-03-22 2021-03-22 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法 Active CN113129266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110299704.3A CN113129266B (zh) 2021-03-22 2021-03-22 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110299704.3A CN113129266B (zh) 2021-03-22 2021-03-22 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113129266A true CN113129266A (zh) 2021-07-16
CN113129266B CN113129266B (zh) 2022-03-29

Family

ID=76773579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110299704.3A Active CN113129266B (zh) 2021-03-22 2021-03-22 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113129266B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113607684A (zh) * 2021-08-18 2021-11-05 燕山大学 基于gaf图像和四元数卷积的光谱定性建模方法
CN113947583A (zh) * 2021-10-20 2022-01-18 辽宁师范大学 基于深度学习二维时间序列图像的焊缝无损检测方法
CN114199362A (zh) * 2021-12-17 2022-03-18 齐鲁工业大学 一种分布式光纤振动传感器模式识别的方法
CN114330438A (zh) * 2021-12-28 2022-04-12 福州大学 基于改进麻雀搜索算法优化kelm的下肢运动识别方法
CN114399018A (zh) * 2021-12-17 2022-04-26 西北大学 一种基于轮转操控策略麻雀优化的EfficientNet陶瓷碎片分类方法
CN114464266A (zh) * 2022-01-27 2022-05-10 东北电力大学 一种基于改进SSA-GPR的煤粉锅炉NOx排放量预测方法及装置
CN114897889A (zh) * 2022-06-27 2022-08-12 浙江旭派动力科技有限公司 电池组点焊自动化全检方法及其系统
CN115016424A (zh) * 2022-08-08 2022-09-06 承德建龙特殊钢有限公司 一种无缝钢管生产线实时监控系统
CN115294376A (zh) * 2022-04-24 2022-11-04 西京学院 基于超声波形与超声图像特征融合的焊缝缺陷检测方法
CN117217098A (zh) * 2023-11-08 2023-12-12 北京科技大学 基于数字孪生和深度学习的钢管力学性能预测方法及装置
CN117708507A (zh) * 2024-02-05 2024-03-15 成都麦特斯科技有限公司 一种基于人工智能的高效α和β射线的识别与分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034204A (zh) * 2018-07-02 2018-12-18 西安交通大学 一种基于改进卷积神经网络的焊缝缺陷识别方法
KR102118809B1 (ko) * 2018-12-03 2020-06-03 세종대학교산학협력단 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法
CN112232400A (zh) * 2020-10-12 2021-01-15 太原科技大学 一种基于深浅特征融合的不锈钢焊缝超声缺陷检测方法
CN112329934A (zh) * 2020-11-17 2021-02-05 江苏科技大学 一种基于改进麻雀搜索算法的rbf神经网络优化算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034204A (zh) * 2018-07-02 2018-12-18 西安交通大学 一种基于改进卷积神经网络的焊缝缺陷识别方法
KR102118809B1 (ko) * 2018-12-03 2020-06-03 세종대학교산학협력단 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法
CN112232400A (zh) * 2020-10-12 2021-01-15 太原科技大学 一种基于深浅特征融合的不锈钢焊缝超声缺陷检测方法
CN112329934A (zh) * 2020-11-17 2021-02-05 江苏科技大学 一种基于改进麻雀搜索算法的rbf神经网络优化算法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANDREW G. HOWARD等: "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications", 《ARXIV.ORG》 *
WENJUN SHAO等: "A Robust Weld Seam Tracking Method by Using Intensity-Modulated Structured Light", 《IEEE SENSORS JOURNAL》 *
傅留虎等: "基于Gabor小波与PSO-SVM的不锈钢焊缝缺陷分类研究", 《机械工程与自动化》 *
吕鑫等: "混沌麻雀搜索优化算法", 《北京航空航天大学学报》 *
陈立潮等: "融合迁移学习的AlexNet 神经网络不锈钢焊缝缺陷分类", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/23.1538.TP.20201125.1015.002.HTML》 *
麦志恒: "基于结构光的焊缝线检测算法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 工程科技I辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113607684A (zh) * 2021-08-18 2021-11-05 燕山大学 基于gaf图像和四元数卷积的光谱定性建模方法
CN113947583A (zh) * 2021-10-20 2022-01-18 辽宁师范大学 基于深度学习二维时间序列图像的焊缝无损检测方法
CN113947583B (zh) * 2021-10-20 2024-04-05 辽宁师范大学 基于深度学习二维时间序列图像的焊缝无损检测方法
CN114399018B (zh) * 2021-12-17 2023-10-10 西北大学 一种基于轮转操控策略麻雀优化的EfficientNet陶瓷碎片分类方法
CN114199362B (zh) * 2021-12-17 2024-01-05 齐鲁工业大学 一种分布式光纤振动传感器模式识别的方法
CN114199362A (zh) * 2021-12-17 2022-03-18 齐鲁工业大学 一种分布式光纤振动传感器模式识别的方法
CN114399018A (zh) * 2021-12-17 2022-04-26 西北大学 一种基于轮转操控策略麻雀优化的EfficientNet陶瓷碎片分类方法
CN114330438A (zh) * 2021-12-28 2022-04-12 福州大学 基于改进麻雀搜索算法优化kelm的下肢运动识别方法
CN114464266A (zh) * 2022-01-27 2022-05-10 东北电力大学 一种基于改进SSA-GPR的煤粉锅炉NOx排放量预测方法及装置
CN114464266B (zh) * 2022-01-27 2022-08-02 东北电力大学 一种基于改进SSA-GPR的煤粉锅炉NOx排放量预测方法及装置
CN115294376A (zh) * 2022-04-24 2022-11-04 西京学院 基于超声波形与超声图像特征融合的焊缝缺陷检测方法
CN114897889A (zh) * 2022-06-27 2022-08-12 浙江旭派动力科技有限公司 电池组点焊自动化全检方法及其系统
CN114897889B (zh) * 2022-06-27 2023-01-31 浙江旭派动力科技有限公司 电池组点焊自动化全检方法及其系统
CN115016424B (zh) * 2022-08-08 2022-11-25 承德建龙特殊钢有限公司 一种无缝钢管生产线实时监控系统
CN115016424A (zh) * 2022-08-08 2022-09-06 承德建龙特殊钢有限公司 一种无缝钢管生产线实时监控系统
CN117217098A (zh) * 2023-11-08 2023-12-12 北京科技大学 基于数字孪生和深度学习的钢管力学性能预测方法及装置
CN117217098B (zh) * 2023-11-08 2024-02-23 北京科技大学 基于数字孪生和深度学习的钢管力学性能预测方法及装置
CN117708507A (zh) * 2024-02-05 2024-03-15 成都麦特斯科技有限公司 一种基于人工智能的高效α和β射线的识别与分类方法
CN117708507B (zh) * 2024-02-05 2024-04-26 成都麦特斯科技有限公司 一种基于人工智能的高效α和β射线的识别与分类方法

Also Published As

Publication number Publication date
CN113129266B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN113129266B (zh) 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法
CN112700444B (zh) 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN110705508A (zh) 一种isar图像的卫星识别方法
Kerr et al. Collaborative deep learning models to handle class imbalance in flowcam plankton imagery
CN107085733A (zh) 基于cnn深度学习的近岸红外舰船识别方法
Fioravanti et al. A deep artificial immune system to detect weld defects in DWDI radiographic images of petroleum pipes
Naddaf-Sh et al. Defect detection and classification in welding using deep learning and digital radiography
Nazarov et al. Classification of defects in welds using a convolution neural network
CN114255220A (zh) 一种基于Transformer神经网络的焊缝质量检测方法
Zhang et al. Recognizing defects in stainless steel welds based on multi-domain feature expression and self-optimization
Yin et al. G2Grad-CAMRL: an object detection and interpretation model based on gradient-weighted class activation mapping and reinforcement learning in remote sensing images
CN117036431A (zh) 基于多重注意力融合网络的部分到部分点云配准方法
Liu et al. Deep learning-based welding image recognition: A comprehensive review
Qin et al. Surface stress monitoring of laser shock peening using AE time-scale texture image and multi-scale blueprint separable convolutional networks with attention mechanism
Yang et al. Semantic segmentation supervised deep-learning algorithm for welding-defect detection of new energy batteries
Zhang et al. Ultrasonic diagnosis method for stainless steel weld defects based on multi-domain feature fusion
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
Reza Real-time automated weld quality analysis from ultrasonic B-scan using deep learning
Pathak Bridge health monitoring using CNN
Zhou et al. Part Surface Inspection Through Semi-Supervised Learning to Overcome Limited Data Challenge
Chen et al. A real-time detection system for multiscale surface defects of 3D printed ceramic parts based on deep learning
CN117152492B (zh) 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质
Wang et al. Fdfuzz: Applying feature detection to fuzz deep learning systems
Balasubramaniam et al. Simulation Assisted Automatic Defect Recognition (SimADR) for NDE4. 0 Inspection Datasets
CN116342531B (zh) 一种轻量级大型建筑高空钢结构焊缝质量检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant