CN114782362B - 一种基于深度迁移学习的焊接智能检测系统 - Google Patents
一种基于深度迁移学习的焊接智能检测系统 Download PDFInfo
- Publication number
- CN114782362B CN114782362B CN202210413149.7A CN202210413149A CN114782362B CN 114782362 B CN114782362 B CN 114782362B CN 202210413149 A CN202210413149 A CN 202210413149A CN 114782362 B CN114782362 B CN 114782362B
- Authority
- CN
- China
- Prior art keywords
- welding
- data
- module
- learning
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 287
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000013508 migration Methods 0.000 title claims abstract description 60
- 230000005012 migration Effects 0.000 title claims abstract description 60
- 238000012423 maintenance Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000013523 data management Methods 0.000 claims abstract description 15
- 238000013526 transfer learning Methods 0.000 claims abstract description 11
- 238000003745 diagnosis Methods 0.000 claims description 73
- 230000002787 reinforcement Effects 0.000 claims description 60
- 238000012549 training Methods 0.000 claims description 49
- 238000012360 testing method Methods 0.000 claims description 24
- 230000006978 adaptation Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000005855 radiation Effects 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 8
- 235000005811 Viola adunca Nutrition 0.000 claims description 5
- 240000009038 Viola odorata Species 0.000 claims description 5
- 235000013487 Viola odorata Nutrition 0.000 claims description 5
- 235000002254 Viola papilionacea Nutrition 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008439 repair process Effects 0.000 claims description 5
- 238000005493 welding type Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 230000007547 defect Effects 0.000 description 37
- 230000009286 beneficial effect Effects 0.000 description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种基于深度迁移学习的焊接智能检测系统，包括：深度迁移学习单元、数据采集单元和数据管控单元；所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习，通过学习建立检测模型；所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据，将采集的数据形成数据集；所述数据管控单元用于对数据集进行分析，通过检测模型对数据进行质量目标检测，根据检测结果生成维护报告。从而实现了焊接质量的实时在线监测，降低焊接检测的误判率，提高检测精度和速度。
Description
技术领域
本发明涉及焊接智能检测技术，尤其是涉及一种基于深度迁移学习的焊接智能检测系统。
背景技术
在焊接生产过程中，由于工件焊接信息无法得到及时有效的检测和处理， 会造成工件废品率高，严重时会造成重大安全事故。归根结底，是因为缺乏高效的焊接质量在线检测技术。在智能焊接领域，将实际焊接过程中焊接特征及质量信息提取，利用深度迁移学习算法对提取的信息进行学习，可以实现焊接质量的实时在线监测，通过机器学习算法，可以使系统智能识别图像中的焊接缺陷，降低误判率，提高检测精度和速度。因此，如何有效设计焊接监督学习体系，实现焊接内外部特征信息的交互与迁移，构建高效的焊接缺陷分类模型， 实现焊缝质量实时在线监测，成为一个亟待解决的基本问题。
发明内容
本发明提供一种基于深度迁移学习的焊接智能检测系统，以解决现有技术中存在的在焊接生产过程中，由于工件焊接信息无法得到及时有效的检测和处理， 会造成工件废品率高，严重时会造成重大安全事故。归根结底，是因为缺乏高效的焊接质量在线检测技术。在智能焊接领域，将实际焊接过程中焊接特征及质量信息提取，利用深度迁移学习算法对提取的信息进行学习，可以实现焊接质量的实时在线监测，通过机器学习算法，可以使系统智能识别图像中的焊接缺陷，降低误判率，提高检测精度和速度。因此，如何有效设计焊接监督学习体系，实现焊接内外部特征信息的交互与迁移，构建高效的焊接缺陷分类模型，实现焊缝质量实时在线监测，成为一个亟待解决的基本问题的上述问题。
为了达到上述目的，本发明提供如下技术方案：
一种基于深度迁移学习的焊接智能检测系统，包括：深度迁移学习单元、数据采集单元和数据管控单元；
所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习，通过学习建立检测模型；
所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据，将采集的数据形成数据集；
所述数据管控单元用于对数据集进行分析，通过检测模型对数据进行质量目标检测，根据检测结果生成维护报告。
其中，所述深度迁移学习单元包括：专家数据库和数据增强学习模块；
所述专家数据库用于依据历史焊接数据建立专家数据库，通过所述专家数据库构造焊接模型；
所述数据增强学习模块用于根据焊接模型不断重复学习，通过不断重复学习获取标准的焊接特征及质量信息，根据标准的焊接特征及质量信息对所述焊接模型进行调整，通过调整焊接模型建立检测模型。
其中，所述数据采集单元包括：多传感器融合模块、图像采集模块和数据处理模块；
所述多传感器融合模块用于通过将蓝紫光辐射、红外辐射及可听声三种信号进行融合，通过虚拟仪器技术形成多传感器融合模块，通过多传感器融合模块采集焊接工艺参数；
所述图像采集模块用于采集焊接表面图像，通过焊接表面图像获取焊接外部特征数据，所述焊接外部特征数据包括：焊宽最大差、余高最大差、填充度和直线度；
所述数据处理模块用于对采集的焊接工艺数据以及焊接外部特征数据进行预处理，形成数据集。
其中，所述数据管控单元包括：数据存储模块、数据分析模块、焊接故障诊断模块和终端模块；
所述数据存储模块用于存储所述数据采集单元中的数据集；
所述数据分析模块用于对数据集进行分析，通过检测模型对数据进行质量目标检测，若发现异常数据集，则发出相应的预警；
焊接故障诊断模块用于对异常数据集进行诊断，生成对应的诊断结果，根据对应的诊断结果生成维护报告；
所述终端模块用于工作人员通过终端模块查看维护报告，通过维护报告对焊接进行维修以及后期对焊接的调整。
其中，通过所述数据存储模块中的焊接表面图像数据构建训练集和测试集，按照预设时间间隔分别对训练集和测试集进行分组，将每组训练集和测试集的样本独立聚类成焊接表面图像的样本数据。
其中，所述专家数据库提取样本数据的特征，形成统计特征，所述数据增强学习模块构建组归一化适配层和相关归一化适配层，组归一化适配层对每个批次统计特征进行均值和方差归一化，最终源域训练和目标域测试数据的每个批次都服从具有均值为0，方差为1 的分布，相关归一化适配层从两个域的协方差矩阵角度出发，构建线性变换矩阵，最小化两个协方差矩阵，对齐源域训练和目标域测试数据的二阶统计特征，获取所述数据增强学习模块学习特征的自适应能力。
其中，所述图像采集模块采集焊接表面图像，所述数据处理模块利用图像分割技术将焊接表面图像中焊接缺陷分割出来，利用插值算法将焊接表面图像进行尺寸重构；
通过尺寸重构获取焊接缺陷数据集，通过所述数据增强学习模块将焊接缺陷数据集进行处理生成焊接缺陷学习样本数据集，将焊接缺陷学习样本数据集分别输入到仿射变换数据增强模型和基于生成对抗网络的数据增强模型， 对焊接缺陷学习样本数据集进行不同程度的数据增强，再结合仿射变换数据增强模型和基于生成对抗网络的数据增强模型，对焊接缺陷学习样本数据集进行数据增强，利用生成样本分布与真实样本分布的差异性评判方法以及基于指标对生成的焊接缺陷学习样本增强数据集进行评价。
其中，所述专家数据库包括：迁移学习源领域数据集、样本迁移模型和特征迁移模型；
所述迁移学习源领域数据集中每个样本由多维特征组成，根据可迁移性性的强弱，将样本分为：高质量样本、中等质量样本和低质量样本，其中，所述迁移学习源领域数据集有m个样本，每个样本含n组特征；
在所述样本迁移模型中，将每个样本设定为一个独立整体，高质量样本权重逐步增加，低质量样本权重逐步减少，提升焊接故障诊断精度；
在所述特征迁移模型中，将每组特征设定为一个独立整体，通过特征映射或加权方式将不可迁移的特征转化为可迁移特征，提升焊接故障诊断精度。
其中，所述数据增强学习模块对训练集中焊接表面图像进行翻转、缩小、放大、旋转，将训练集中焊接表面图像数据量扩大为原来的四倍，得到焊接表面图像数据增强后的训练集；
所述数据增强学习模块对焊接表面图像数据增强后的训练集中的所有图片中焊接类型进行标注；
搭建卷积神经网络，将焊接表面图像数据增强后的训练集中各类别的所有焊接区域图片输入卷积神经网络中，训练所述数据增强学习模块学习对焊接如何进行分类。
其中，所述焊接故障诊断模块通过将检测模型与焊接故障对应的知识相结合制定故障诊断规则，通过故障诊断规则形成规则库子模块；
工作人员通过终端模块输入相应的故障模式或现象，所述焊接故障诊断模块将终端模块输入的信息与规则库子模块进行比对，抽取所述规则库子模块中符合要求的诊断结果，通过所述焊接故障诊断模块中制定的故障诊断规则确定出诊断推理过程及结果，生成对应的生成维护报告，维护报告通过所述终端模块反馈给工作人员。
与现有技术相比，本发明具有以下优点：
一种基于深度迁移学习的焊接智能检测系统，包括：深度迁移学习单元、数据采集单元和数据管控单元；所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习，通过学习建立检测模型；所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据，将采集的数据形成数据集；所述数据管控单元用于对数据集进行分析，通过检测模型对数据进行质量目标检测，根据检测结果生成维护报告。从而实现了焊接质量的实时在线监测，降低焊接检测的误判率，提高检测精度和速度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于深度迁移学习的焊接智能检测系统的结构图；
图2为本发明实施例中一种基于深度迁移学习的焊接智能检测系统的流程图；
图3为本发明实施例中一种基于深度迁移学习的焊接智能检测系统的数据采集单元结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于深度迁移学习的焊接智能检测系统，包括：深度迁移学习单元、数据采集单元和数据管控单元；
所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习，通过学习建立检测模型；
所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据，将采集的数据形成数据集；
所述数据管控单元用于对数据集进行分析，通过检测模型对数据进行质量目标检测，根据检测结果生成维护报告。
上述技术方案的工作原理为：所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习，通过学习建立检测模型；所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据，将采集的数据形成数据集；所述数据管控单元用于对数据集进行分析，通过检测模型对数据进行质量目标检测，根据检测结果生成维护报告。通过深度迁移学习，可以使系统智能识别焊缝缺陷，降低误判率，提高检测精度和速度。
上述技术方案的有益效果为：所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习，通过学习建立检测模型；所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据，将采集的数据形成数据集；所述数据管控单元用于对数据集进行分析，通过检测模型对数据进行质量目标检测，根据检测结果生成维护报告。从而实现了焊接质量的实时在线监测，降低焊接检测的误判率，提高检测精度和速度。
在另一实施例中，所述深度迁移学习单元包括：专家数据库和数据增强学习模块；
所述专家数据库用于依据历史焊接数据建立专家数据库，通过所述专家数据库构造焊接模型；
所述数据增强学习模块用于根据焊接模型不断重复学习，通过不断重复学习获取标准的焊接特征及质量信息，根据标准的焊接特征及质量信息对所述焊接模型进行调整，通过调整焊接模型建立检测模型。
上述技术方案的工作原理为：所述专家数据库用于依据历史焊接数据建立专家数据库，通过所述专家数据库构造焊接模型；所述数据增强学习模块用于根据焊接模型不断重复学习，通过不断重复学习获取标准的焊接特征及质量信息，根据标准的焊接特征及质量信息对所述焊接模型进行调整，通过调整焊接模型建立检测模型。
上述技术方案的有益效果为：所述专家数据库用于依据历史焊接数据建立专家数据库，通过所述专家数据库构造焊接模型；所述数据增强学习模块用于根据焊接模型不断重复学习，通过不断重复学习获取标准的焊接特征及质量信息，根据标准的焊接特征及质量信息对所述焊接模型进行调整，通过调整焊接模型建立检测模型。按照模型不断重复实验，逐渐调整模型结构与各项参数，提升焊接的生产速度与质量。
在另一实施例中，所述数据采集单元包括：多传感器融合模块、图像采集模块和数据处理模块；
所述多传感器融合模块用于通过将蓝紫光辐射、红外辐射及可听声三种信号进行融合，通过虚拟仪器技术形成多传感器融合模块，通过多传感器融合模块采集焊接工艺参数；
所述图像采集模块用于采集焊接表面图像，通过焊接表面图像获取焊接外部特征数据，所述焊接外部特征数据包括：焊宽最大差、余高最大差、填充度和直线度；
所述数据处理模块用于对采集的焊接工艺数据以及焊接外部特征数据进行预处理，形成数据集。
上述技术方案的工作原理为：所述多传感器融合模块用于通过将蓝紫光辐射、红外辐射及可听声三种信号进行融合，通过虚拟仪器技术形成多传感器融合模块，通过多传感器融合模块采集焊接工艺参数；所述图像采集模块用于采集焊接表面图像，通过焊接表面图像获取焊接外部特征数据，所述焊接外部特征数据包括：焊宽最大差、余高最大差、填充度和直线度；所述数据处理模块用于对采集的焊接工艺数据以及焊接外部特征数据进行预处理，形成数据集。从而实现了焊接质量的实时在线监测，降低焊接检测的误判率，提高检测精度和速度。
上述技术方案的有益效果为：所述多传感器融合模块用于通过将蓝紫光辐射、红外辐射及可听声三种信号进行融合，通过虚拟仪器技术形成多传感器融合模块，通过多传感器融合模块采集焊接工艺参数；所述图像采集模块用于采集焊接表面图像，通过焊接表面图像获取焊接外部特征数据，所述焊接外部特征数据包括：焊宽最大差、余高最大差、填充度和直线度；所述数据处理模块用于对采集的焊接工艺数据以及焊接外部特征数据进行预处理，形成数据集。从而实现了焊接质量的实时在线监测，降低焊接检测的误判率，提高检测精度和速度。
在另一实施例中，所述数据管控单元包括：数据存储模块、数据分析模块、焊接故障诊断模块和终端模块；
所述数据存储模块用于存储所述数据采集单元中的数据集；
所述数据分析模块用于对数据集进行分析，通过检测模型对数据进行质量目标检测，若发现异常数据集，则发出相应的预警；
焊接故障诊断模块用于对异常数据集进行诊断，生成对应的诊断结果，根据对应的诊断结果生成维护报告；
所述终端模块用于工作人员通过终端模块查看维护报告，通过维护报告对焊接进行维修以及后期对焊接的调整。
上述技术方案的工作原理为：所述数据存储模块用于存储所述数据采集单元中的数据集；所述数据分析模块用于对数据集进行分析，通过检测模型对数据进行质量目标检测，若发现异常数据集，则发出相应的预警；焊接故障诊断模块用于对异常数据集进行诊断，生成对应的诊断结果，根据对应的诊断结果生成维护报告；所述终端模块用于工作人员通过终端模块查看维护报告，通过维护报告对焊接进行维修以及后期对焊接的调整。
上述技术方案的有益效果为：所述数据存储模块用于存储所述数据采集单元中的数据集；所述数据分析模块用于对数据集进行分析，通过检测模型对数据进行质量目标检测，若发现异常数据集，则发出相应的预警；焊接故障诊断模块用于对异常数据集进行诊断，生成对应的诊断结果，根据对应的诊断结果生成维护报告；所述终端模块用于工作人员通过终端模块查看维护报告，通过维护报告对焊接进行维修以及后期对焊接的调整。保障焊接的质量，提高检测精度和速度。
在另一实施例中，通过所述数据存储模块中的焊接表面图像数据构建训练集和测试集，按照预设时间间隔分别对训练集和测试集进行分组，将每组训练集和测试集的样本独立聚类成焊接表面图像的样本数据。
上述技术方案的工作原理为：通过所述数据存储模块中的焊接表面图像数据构建训练集和测试集，按照预设时间间隔分别对训练集和测试集进行分组，将每组训练集和测试集的样本独立聚类成焊接表面图像的样本数据。
上述技术方案的有益效果为：通过所述数据存储模块中的焊接表面图像数据构建训练集和测试集，按照预设时间间隔分别对训练集和测试集进行分组，将每组训练集和测试集的样本独立聚类成焊接表面图像的样本数据。
在另一实施例中，所述专家数据库提取样本数据的特征，形成统计特征，所述数据增强学习模块构建组归一化适配层和相关归一化适配层，组归一化适配层对每个批次统计特征进行均值和方差归一化，最终源域训练和目标域测试数据的每个批次都服从具有均值为0，方差为1 的分布，相关归一化适配层从两个域的协方差矩阵角度出发，构建线性变换矩阵，最小化两个协方差矩阵，对齐源域训练和目标域测试数据的二阶统计特征，获取所述数据增强学习模块学习特征的自适应能力。
上述技术方案的工作原理为：所述专家数据库提取样本数据的特征，形成统计特征，所述数据增强学习模块构建组归一化适配层和相关归一化适配层，组归一化适配层对每个批次统计特征进行均值和方差归一化，最终源域训练和目标域测试数据的每个批次都服从具有均值为0，方差为1 的分布，相关归一化适配层从两个域的协方差矩阵角度出发，构建线性变换矩阵，最小化两个协方差矩阵，对齐源域训练和目标域测试数据的二阶统计特征，获取所述数据增强学习模块学习特征的自适应能力。
上述技术方案的有益效果为：所述专家数据库提取样本数据的特征，形成统计特征，所述数据增强学习模块构建组归一化适配层和相关归一化适配层，组归一化适配层对每个批次统计特征进行均值和方差归一化，最终源域训练和目标域测试数据的每个批次都服从具有均值为0，方差为1 的分布，相关归一化适配层从两个域的协方差矩阵角度出发，构建线性变换矩阵，最小化两个协方差矩阵，对齐源域训练和目标域测试数据的二阶统计特征，获取所述数据增强学习模块学习特征的自适应能力。
在另一实施例中，所述图像采集模块采集焊接表面图像，所述数据处理模块利用图像分割技术将焊接表面图像中焊接缺陷分割出来，利用插值算法将焊接表面图像进行尺寸重构；
通过尺寸重构获取焊接缺陷数据集，通过所述数据增强学习模块将焊接缺陷数据集进行处理生成焊接缺陷学习样本数据集，将焊接缺陷学习样本数据集分别输入到仿射变换数据增强模型和基于生成对抗网络的数据增强模型， 对焊接缺陷学习样本数据集进行不同程度的数据增强，再结合仿射变换数据增强模型和基于生成对抗网络的数据增强模型，对焊接缺陷学习样本数据集进行数据增强，利用生成样本分布与真实样本分布的差异性评判方法以及基于指标对生成的焊接缺陷学习样本增强数据集进行评价。
上述技术方案的工作原理为：所述图像采集模块采集焊接表面图像，所述数据处理模块利用图像分割技术将焊接表面图像中焊接缺陷分割出来，利用插值算法将焊接表面图像进行尺寸重构；
通过尺寸重构获取焊接缺陷数据集，通过所述数据增强学习模块将焊接缺陷数据集进行处理生成焊接缺陷学习样本数据集，将焊接缺陷学习样本数据集分别输入到仿射变换数据增强模型和基于生成对抗网络的数据增强模型， 对焊接缺陷学习样本数据集进行不同程度的数据增强，再结合仿射变换数据增强模型和基于生成对抗网络的数据增强模型，对焊接缺陷学习样本数据集进行数据增强，利用生成样本分布与真实样本分布的差异性评判方法以及基于指标对生成的焊接缺陷学习样本增强数据集进行评价。
上述技术方案的有益效果为：所述图像采集模块采集焊接表面图像，所述数据处理模块利用图像分割技术将焊接表面图像中焊接缺陷分割出来，利用插值算法将焊接表面图像进行尺寸重构；
通过尺寸重构获取焊接缺陷数据集，通过所述数据增强学习模块将焊接缺陷数据集进行处理生成焊接缺陷学习样本数据集，将焊接缺陷学习样本数据集分别输入到仿射变换数据增强模型和基于生成对抗网络的数据增强模型， 对焊接缺陷学习样本数据集进行不同程度的数据增强，再结合仿射变换数据增强模型和基于生成对抗网络的数据增强模型，对焊接缺陷学习样本数据集进行数据增强，利用生成样本分布与真实样本分布的差异性评判方法以及基于指标对生成的焊接缺陷学习样本增强数据集进行评价。
在另一实施例中，所述专家数据库包括：迁移学习源领域数据集、样本迁移模型和特征迁移模型；
所述迁移学习源领域数据集中每个样本由多维特征组成，根据可迁移性性的强弱，将样本分为：高质量样本、中等质量样本和低质量样本，其中，所述迁移学习源领域数据集有m个样本，每个样本含n组特征；
在所述样本迁移模型中，将每个样本设定为一个独立整体，高质量样本权重逐步增加，低质量样本权重逐步减少，提升焊接故障诊断精度；
在所述特征迁移模型中，将每组特征设定为一个独立整体，通过特征映射或加权方式将不可迁移的特征转化为可迁移特征，提升焊接故障诊断精度。
上述技术方案的工作原理为：所述迁移学习源领域数据集中每个样本由多维特征组成，根据可迁移性性的强弱，将样本分为：高质量样本、中等质量样本和低质量样本，其中，所述迁移学习源领域数据集有m个样本，每个样本含n组特征；在所述样本迁移模型中，将每个样本设定为一个独立整体，高质量样本权重逐步增加，低质量样本权重逐步减少，提升焊接故障诊断精度；在所述特征迁移模型中，将每组特征设定为一个独立整体，通过特征映射或加权方式将不可迁移的特征转化为可迁移特征，提升焊接故障诊断精度。
上述技术方案的有益效果为：所述迁移学习源领域数据集中每个样本由多维特征组成，根据可迁移性性的强弱，将样本分为：高质量样本、中等质量样本和低质量样本，其中，所述迁移学习源领域数据集有m个样本，每个样本含n组特征；在所述样本迁移模型中，将每个样本设定为一个独立整体，高质量样本权重逐步增加，低质量样本权重逐步减少，提升焊接故障诊断精度；在所述特征迁移模型中，将每组特征设定为一个独立整体，通过特征映射或加权方式将不可迁移的特征转化为可迁移特征，提升焊接故障诊断精度。
在另一实施例中，所述数据增强学习模块对训练集中焊接表面图像进行翻转、缩小、放大、旋转，将训练集中焊接表面图像数据量扩大为原来的四倍，得到焊接表面图像数据增强后的训练集；
所述数据增强学习模块对焊接表面图像数据增强后的训练集中的所有图片中焊接类型进行标注；
搭建卷积神经网络，将焊接表面图像数据增强后的训练集中各类别的所有焊接区域图片输入卷积神经网络中，训练所述数据增强学习模块学习对焊接如何进行分类。
上述技术方案的工作原理为：所述数据增强学习模块对训练集中焊接表面图像进行翻转、缩小、放大、旋转，将训练集中焊接表面图像数据量扩大为原来的四倍，得到焊接表面图像数据增强后的训练集；所述数据增强学习模块对焊接表面图像数据增强后的训练集中的所有图片中焊接类型进行标注；搭建卷积神经网络，将焊接表面图像数据增强后的训练集中各类别的所有焊接区域图片输入卷积神经网络中，训练所述数据增强学习模块学习对焊接如何进行分类。
通过边缘检测技术对焊接表面图像进行处理，边缘检测技术采用高斯函数构造滤波器，对图像去噪平滑处理，去噪平滑处理后所得到的梯度图像公式为：
表示梯度图像；/>表示高斯函数的标准差，x表示高斯一阶数；y表示偏导数。
通过获取梯度图像，有效保留弱边缘信息，实现融合算法快速全局收敛，显著改善了图像处理过程中的边缘断层现象。
上述技术方案的有益效果为：所述数据增强学习模块对训练集中焊接表面图像进行翻转、缩小、放大、旋转，将训练集中焊接表面图像数据量扩大为原来的四倍，得到焊接表面图像数据增强后的训练集；
所述数据增强学习模块对焊接表面图像数据增强后的训练集中的所有图片中焊接类型进行标注；
搭建卷积神经网络，将焊接表面图像数据增强后的训练集中各类别的所有焊接区域图片输入卷积神经网络中，训练所述数据增强学习模块学习对焊接如何进行分类。
在另一实施例中，所述焊接故障诊断模块通过将检测模型与焊接故障对应的知识相结合制定故障诊断规则，通过故障诊断规则形成规则库子模块；
工作人员通过终端模块输入相应的故障模式或现象，所述焊接故障诊断模块将终端模块输入的信息与规则库子模块进行比对，抽取所述规则库子模块中符合要求的诊断结果，通过所述焊接故障诊断模块中制定的故障诊断规则确定出诊断推理过程及结果，生成对应的生成维护报告，维护报告通过所述终端模块反馈给工作人员。
上述技术方案的工作原理为：所述焊接故障诊断模块通过将检测模型与焊接故障对应的知识相结合制定故障诊断规则，通过故障诊断规则形成规则库子模块；工作人员通过终端模块输入相应的故障模式或现象，所述焊接故障诊断模块将终端模块输入的信息与规则库子模块进行比对，抽取所述规则库子模块中符合要求的诊断结果，通过所述焊接故障诊断模块中制定的故障诊断规则确定出诊断推理过程及结果，生成对应的生成维护报告，维护报告通过所述终端模块反馈给工作人员。
上述技术方案的有益效果为：所述焊接故障诊断模块通过将检测模型与焊接故障对应的知识相结合制定故障诊断规则，通过故障诊断规则形成规则库子模块；工作人员通过终端模块输入相应的故障模式或现象，所述焊接故障诊断模块将终端模块输入的信息与规则库子模块进行比对，抽取所述规则库子模块中符合要求的诊断结果，通过所述焊接故障诊断模块中制定的故障诊断规则确定出诊断推理过程及结果，生成对应的生成维护报告，维护报告通过所述终端模块反馈给工作人员。从而提升焊接检测智能化水平，更好的适应智能化需求。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (4)
1.一种基于深度迁移学习的焊接智能检测系统，其特征在于，包括：深度迁移学习单元、数据采集单元和数据管控单元；
所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习，通过学习建立检测模型；
所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据，将采集的数据形成数据集；
所述数据管控单元用于对数据集进行分析，通过检测模型对数据进行质量目标检测，根据检测结果生成维护报告；
所述深度迁移学习单元包括：专家数据库和数据增强学习模块；
所述专家数据库用于依据历史焊接数据建立专家数据库，通过所述专家数据库构造焊接模型；
所述数据增强学习模块用于根据焊接模型不断重复学习，通过不断重复学习获取标准的焊接特征及质量信息，根据标准的焊接特征及质量信息对所述焊接模型进行调整，通过调整焊接模型建立检测模型；
所述数据管控单元包括：数据存储模块、数据分析模块、焊接故障诊断模块和终端模块；
所述数据存储模块用于存储所述数据采集单元中的数据集；
所述数据分析模块用于对数据集进行分析，通过检测模型对数据进行质量目标检测，若发现异常数据集，则发出相应的预警；
焊接故障诊断模块用于对异常数据集进行诊断，生成对应的诊断结果，根据对应的诊断结果生成维护报告；
所述终端模块用于工作人员通过终端模块查看维护报告，通过维护报告对焊接进行维修以及后期对焊接的调整；
通过所述数据存储模块中的焊接表面图像数据构建训练集和测试集，按照预设时间间隔分别对训练集和测试集进行分组，将每组训练集和测试集的样本独立聚类成焊接表面图像的样本数据；
所述专家数据库提取样本数据的特征，形成统计特征，所述数据增强学习模块构建组归一化适配层和相关归一化适配层，组归一化适配层对每个批次统计特征进行均值和方差归一化，最终源域训练和目标域测试数据的每个批次都服从具有均值为0，方差为1 的分布，相关归一化适配层从两个域的协方差矩阵角度出发，构建线性变换矩阵，最小化两个协方差矩阵，对齐源域训练和目标域测试数据的二阶统计特征，获取所述数据增强学习模块学习特征的自适应能力；
所述数据增强学习模块对训练集中焊接表面图像进行翻转、缩小、放大、旋转，将训练集中焊接表面图像数据量扩大为原来的四倍，得到焊接表面图像数据增强后的训练集；
所述数据增强学习模块对焊接表面图像数据增强后的训练集中的所有图片中焊接类型进行标注；
搭建卷积神经网络，将焊接表面图像数据增强后的训练集中各类别的所有焊接区域图片输入卷积神经网络中，训练所述数据增强学习模块学习对焊接如何进行分类；
通过边缘检测技术对焊接表面图像进行处理，边缘检测技术采用高斯函数构造滤波器，对图像去噪平滑处理，去噪平滑处理后所得到的梯度图像公式为：
表示梯度图像；/>表示高斯函数的标准差，x表示高斯一阶数；y表示偏导数。
2.根据权利要求1所述的一种基于深度迁移学习的焊接智能检测系统，其特征在于，所述数据采集单元包括：多传感器融合模块、图像采集模块和数据处理模块；
所述多传感器融合模块用于通过将蓝紫光辐射、红外辐射及可听声三种信号进行融合，通过虚拟仪器技术形成多传感器融合模块，通过多传感器融合模块采集焊接工艺参数；
所述图像采集模块用于采集焊接表面图像，通过焊接表面图像获取焊接外部特征数据，所述焊接外部特征数据包括：焊宽最大差、余高最大差、填充度和直线度；
所述数据处理模块用于对采集的焊接工艺数据以及焊接外部特征数据进行预处理，形成数据集。
3.根据权利要求1所述的一种基于深度迁移学习的焊接智能检测系统，其特征在于，所述专家数据库包括：迁移学习源领域数据集、样本迁移模型和特征迁移模型；
所述迁移学习源领域数据集中每个样本由多维特征组成，根据可迁移性性的强弱，将样本分为：高质量样本、中等质量样本和低质量样本，其中，所述迁移学习源领域数据集有m个样本，每个样本含n组特征；
在所述样本迁移模型中，将每个样本设定为一个独立整体，高质量样本权重逐步增加，低质量样本权重逐步减少，提升焊接故障诊断精度；
在所述特征迁移模型中，将每组特征设定为一个独立整体，通过特征映射或加权方式将不可迁移的特征转化为可迁移特征，提升焊接故障诊断精度。
4.根据权利要求1所述的一种基于深度迁移学习的焊接智能检测系统，其特征在于，所述焊接故障诊断模块通过将检测模型与焊接故障对应的知识相结合制定故障诊断规则，通过故障诊断规则形成规则库子模块；
工作人员通过终端模块输入相应的故障模式或现象，所述焊接故障诊断模块将终端模块输入的信息与规则库子模块进行比对，抽取所述规则库子模块中符合要求的诊断结果，通过所述焊接故障诊断模块中制定的故障诊断规则确定出诊断推理过程及结果，生成对应的生成维护报告，维护报告通过所述终端模块反馈给工作人员。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210413149.7A CN114782362B (zh) | 2022-04-20 | 2022-04-20 | 一种基于深度迁移学习的焊接智能检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210413149.7A CN114782362B (zh) | 2022-04-20 | 2022-04-20 | 一种基于深度迁移学习的焊接智能检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114782362A CN114782362A (zh) | 2022-07-22 |
| CN114782362B true CN114782362B (zh) | 2023-07-18 |
Family
ID=82432046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210413149.7A Active CN114782362B (zh) | 2022-04-20 | 2022-04-20 | 一种基于深度迁移学习的焊接智能检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782362B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116561710B (zh) * | 2023-05-12 | 2024-02-02 | 西咸新区大熊星座智能科技有限公司 | 基于数据空间转化的焊接参数迁移学习预测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113778811A (zh) * | 2021-09-28 | 2021-12-10 | 重庆邮电大学 | 基于深度卷积迁移学习软件系统故障监测方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934222A (zh) * | 2019-03-01 | 2019-06-25 | 长沙理工大学 | 一种基于迁移学习的绝缘子串自爆识别方法 |
| CN112598672A (zh) * | 2020-11-02 | 2021-04-02 | 坝道工程医院(平舆) | 一种基于深度学习的路面病害图像分割方法和系统 |
| CN113231715A (zh) * | 2021-05-31 | 2021-08-10 | 华南理工大学 | 一种大型叶片超低热输入快频焊接修复方法 |
-
2022
- 2022-04-20 CN CN202210413149.7A patent/CN114782362B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113778811A (zh) * | 2021-09-28 | 2021-12-10 | 重庆邮电大学 | 基于深度卷积迁移学习软件系统故障监测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114782362A (zh) | 2022-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977808A (zh) | 一种晶圆表面缺陷模式检测与分析方法 | |
| CN110334740A (zh) | 人工智能推理融合的电力设备故障检测定位方法 | |
| CN109636772A (zh) | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 | |
| CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
| CN107273924B (zh) | 基于模糊聚类分析的多数据融合的电厂故障诊断方法 | |
| CN107064170A (zh) | 一种检测手机外壳轮廓度缺陷方法 | |
| CN103324937A (zh) | 标注目标的方法和装置 | |
| CN111951249A (zh) | 基于多任务学习网络的手机导光板缺陷可视化检测方法 | |
| CN103927534A (zh) | 一种基于卷积神经网络的喷码字符在线视觉检测方法 | |
| CN112508105B (zh) | 一种采油机故障检测与检索方法 | |
| CN109544522A (zh) | 一种钢板表面缺陷检测方法及系统 | |
| CN111815555A (zh) | 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置 | |
| CN110751604A (zh) | 一种基于机器视觉的钢管焊缝缺陷在线检测方法 | |
| CN103793694B (zh) | 一种基于多特征空间稀疏分类器的人脸识别方法 | |
| CN111402236B (zh) | 一种基于图像灰度值的热轧带钢表面缺陷分级方法 | |
| CN112766301B (zh) | 一种采油机示功图相似性判断方法 | |
| CN114782362B (zh) | 一种基于深度迁移学习的焊接智能检测系统 | |
| Angelone et al. | Bio-intelligent selective laser melting system based on convolutional neural networks for in-process fault identification | |
| CN113554621A (zh) | 基于小波尺度图和深度迁移学习的刀具磨损状态识别系统及识别方法 | |
| CN108931621B (zh) | 一种基于过程纹理特征的锌矿品位软测量方法 | |
| CN113902710A (zh) | 基于异常检测算法进行工业零件表面缺陷检测方法及系统 | |
| CN112836719B (zh) | 一种融合二分类和三元组的示功图相似性检测方法 | |
| CN110263867A (zh) | 一种钢轨伤损分类方法 | |
| CN113592813A (zh) | 基于深度学习语义分割的新能源电池焊接缺陷检测方法 | |
| CN113627544A (zh) | 一种基于多源异构数据融合的机床铣刀状态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |