CN114782362A - 一种基于深度迁移学习的焊接智能检测系统 - Google Patents
一种基于深度迁移学习的焊接智能检测系统 Download PDFInfo
- Publication number
- CN114782362A CN114782362A CN202210413149.7A CN202210413149A CN114782362A CN 114782362 A CN114782362 A CN 114782362A CN 202210413149 A CN202210413149 A CN 202210413149A CN 114782362 A CN114782362 A CN 114782362A
- Authority
- CN
- China
- Prior art keywords
- welding
- data
- learning
- module
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003466 welding Methods 0.000 title claims abstract description 302
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 238000013508 migration Methods 0.000 title claims abstract description 70
- 230000005012 migration Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012423 maintenance Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000013523 data management Methods 0.000 claims abstract description 11
- 238000003745 diagnosis Methods 0.000 claims description 71
- 238000012549 training Methods 0.000 claims description 55
- 230000007547 defect Effects 0.000 claims description 45
- 238000012360 testing method Methods 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 24
- 230000006978 adaptation Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000005855 radiation Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005493 welding type Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 235000005811 Viola adunca Nutrition 0.000 description 2
- 240000009038 Viola odorata Species 0.000 description 2
- 235000013487 Viola odorata Nutrition 0.000 description 2
- 235000002254 Viola papilionacea Nutrition 0.000 description 2
- 244000172533 Viola sororia Species 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度迁移学习的焊接智能检测系统,包括:深度迁移学习单元、数据采集单元和数据管控单元;所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习,通过学习建立检测模型;所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据,将采集的数据形成数据集;所述数据管控单元用于对数据集进行分析,通过检测模型对数据进行质量目标检测,根据检测结果生成维护报告。从而实现了焊接质量的实时在线监测,降低焊接检测的误判率,提高检测精度和速度。
Description
技术领域
本发明涉及焊接智能检测技术,尤其是涉及一种基于深度迁移学习的焊接智能检测系统。
背景技术
在焊接生产过程中,由于工件焊接信息无法得到及时有效的检测和处理,会造成工件废品率高,严重时会造成重大安全事故。归根结底,是因为缺乏高效的焊接质量在线检测技术。在智能焊接领域,将实际焊接过程中焊接特征及质量信息提取,利用深度迁移学习算法对提取的信息进行学习,可以实现焊接质量的实时在线监测,通过机器学习算法,可以使系统智能识别图像中的焊接缺陷,降低误判率,提高检测精度和速度。因此,如何有效设计焊接监督学习体系,实现焊接内外部特征信息的交互与迁移,构建高效的焊接缺陷分类模型,实现焊缝质量实时在线监测,成为一个亟待解决的基本问题。
发明内容
本发明提供一种基于深度迁移学习的焊接智能检测系统,以解决现有技术中存在的在焊接生产过程中,由于工件焊接信息无法得到及时有效的检测和处理,会造成工件废品率高,严重时会造成重大安全事故。归根结底,是因为缺乏高效的焊接质量在线检测技术。在智能焊接领域,将实际焊接过程中焊接特征及质量信息提取,利用深度迁移学习算法对提取的信息进行学习,可以实现焊接质量的实时在线监测,通过机器学习算法,可以使系统智能识别图像中的焊接缺陷,降低误判率,提高检测精度和速度。因此,如何有效设计焊接监督学习体系,实现焊接内外部特征信息的交互与迁移,构建高效的焊接缺陷分类模型,实现焊缝质量实时在线监测,成为一个亟待解决的基本问题的上述问题。
为了达到上述目的,本发明提供如下技术方案:
一种基于深度迁移学习的焊接智能检测系统,包括:深度迁移学习单元、数据采集单元和数据管控单元;
所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习,通过学习建立检测模型;
所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据,将采集的数据形成数据集;
所述数据管控单元用于对数据集进行分析,通过检测模型对数据进行质量目标检测,根据检测结果生成维护报告。
其中,所述深度迁移学习单元包括:专家数据库和数据增强学习模块;
所述专家数据库用于依据历史焊接数据建立专家数据库,通过所述专家数据库构造焊接模型;
所述数据增强学习模块用于根据焊接模型不断重复学习,通过不断重复学习获取标准的焊接特征及质量信息,根据标准的焊接特征及质量信息对所述焊接模型进行调整,通过调整焊接模型建立检测模型。
其中,所述数据采集单元包括:多传感器融合模块、图像采集模块和数据处理模块;
所述多传感器融合模块用于通过将蓝紫光辐射、红外辐射及可听声三种信号进行融合,通过虚拟仪器技术形成多传感器融合模块,通过多传感器融合模块采集焊接工艺参数;
所述图像采集模块用于采集焊接表面图像,通过焊接表面图像获取焊接外部特征数据,所述焊接外部特征数据包括:焊宽最大差、余高最大差、填充度和直线度;
所述数据处理模块用于对采集的焊接工艺数据以及焊接外部特征数据进行预处理,形成数据集。
其中,所述数据管控单元包括:数据存储模块、数据分析模块、焊接故障诊断模块和终端模块;
所述数据存储模块用于存储所述数据采集单元中的数据集;
所述数据分析模块用于对数据集进行分析,通过检测模型对数据进行质量目标检测,若发现异常数据集,则发出相应的预警;
焊接故障诊断模块用于对异常数据集进行诊断,生成对应的诊断结果,根据对应的诊断结果生成维护报告;
所述终端模块用于工作人员通过终端模块查看维护报告,通过维护报告对焊接进行维修以及后期对焊接的调整。
其中,通过所述数据存储模块中的焊接表面图像数据构建训练集和测试集,按照预设时间间隔分别对训练集和测试集进行分组,将每组训练集和测试集的样本独立聚类成焊接表面图像的样本数据。
其中,所述专家数据库提取样本数据的特征,形成统计特征,所述数据增强学习模块构建组归一化适配层和相关归一化适配层,组归一化适配层对每个批次统计特征进行均值和方差归一化,最终源域训练和目标域测试数据的每个批次都服从具有均值为0,方差为1的分布,相关归一化适配层从两个域的协方差矩阵角度出发,构建线性变换矩阵,最小化两个协方差矩阵,对齐源域训练和目标域测试数据的二阶统计特征,获取所述数据增强学习模块学习特征的自适应能力。
其中,所述图像采集模块采集焊接表面图像,所述数据处理模块利用图像分割技术将焊接表面图像中焊接缺陷分割出来,利用插值算法将焊接表面图像进行尺寸重构;
通过尺寸重构获取焊接缺陷数据集,通过所述数据增强学习模块将焊接缺陷数据集进行处理生成焊接缺陷学习样本数据集,将焊接缺陷学习样本数据集分别输入到仿射变换数据增强模型和基于生成对抗网络的数据增强模型,对焊接缺陷学习样本数据集进行不同程度的数据增强,再结合仿射变换数据增强模型和基于生成对抗网络的数据增强模型,对焊接缺陷学习样本数据集进行数据增强,利用生成样本分布与真实样本分布的差异性评判方法以及基于等指标对生成的焊接缺陷学习样本增强数据集进行评价。
其中,所述专家数据库包括:迁移学习源领域数据集、样本迁移模型和特征迁移模型;
所述迁移学习源领域数据集中每个样本由多维特征组成,根据可迁移性性的强弱,将样本分为:高质量样本、中等质量样本和低质量样本,其中,所述迁移学习源领域数据集有m个样本,每个样本含n组特征;
在所述样本迁移模型中,将每个样本设定为一个独立整体,高质量样本权重逐步增加,低质量样本权重逐步减少,提升焊接故障诊断精度;
在所述特征迁移模型中,将每组特征设定为一个独立整体,通过特征映射或加权方式将不可迁移的特征转化为可迁移特征,提升焊接故障诊断精度。
其中,所述数据增强学习模块对训练集中焊接表面图像进行翻转、缩小、放大、旋转,将训练集中焊接表面图像数据量扩大为原来的四倍,得到焊接表面图像数据增强后的训练集;
所述数据增强学习模块对焊接表面图像数据增强后的训练集中的所有图片中焊接类型进行标注;
搭建卷积神经网络,将焊接表面图像数据增强后的训练集中各类别的所有焊接区域图片输入卷积神经网络中,训练所述数据增强学习模块学习对焊接如何进行分类。
其中,所述焊接故障诊断模块通过将检测模型与焊接故障对应的知识相结合制定故障诊断规则,通过故障诊断规则形成规则库子模块;
工作人员通过终端模块输入相应的故障模式或现象,所述焊接故障诊断模块将终端模块输入的信息与规则库子模块进行比对,抽取所述规则库子模块中符合要求的诊断结果,通过所述焊接故障诊断模块中制定的故障诊断规则确定出诊断推理过程及结果,生成对应的生成维护报告,维护报告通过所述终端模块反馈给工作人员。
与现有技术相比,本发明具有以下优点:
一种基于深度迁移学习的焊接智能检测系统,包括:深度迁移学习单元、数据采集单元和数据管控单元;所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习,通过学习建立检测模型;所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据,将采集的数据形成数据集;所述数据管控单元用于对数据集进行分析,通过检测模型对数据进行质量目标检测,根据检测结果生成维护报告。从而实现了焊接质量的实时在线监测,降低焊接检测的误判率,提高检测精度和速度。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于深度迁移学习的焊接智能检测系统的结构图;
图2为本发明实施例中一种基于深度迁移学习的焊接智能检测系统的流程图;
图3为本发明实施例中一种基于深度迁移学习的焊接智能检测系统的数据采集单元结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提供了一种基于深度迁移学习的焊接智能检测系统,包括:深度迁移学习单元、数据采集单元和数据管控单元;
所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习,通过学习建立检测模型;
所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据,将采集的数据形成数据集;
所述数据管控单元用于对数据集进行分析,通过检测模型对数据进行质量目标检测,根据检测结果生成维护报告。
上述技术方案的工作原理为:所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习,通过学习建立检测模型;所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据,将采集的数据形成数据集;所述数据管控单元用于对数据集进行分析,通过检测模型对数据进行质量目标检测,根据检测结果生成维护报告。通过深度迁移学习,可以使系统智能识别焊缝缺陷,降低误判率,提高检测精度和速度。
上述技术方案的有益效果为:所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习,通过学习建立检测模型;所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据,将采集的数据形成数据集;所述数据管控单元用于对数据集进行分析,通过检测模型对数据进行质量目标检测,根据检测结果生成维护报告。从而实现了焊接质量的实时在线监测,降低焊接检测的误判率,提高检测精度和速度。
在另一实施例中,所述深度迁移学习单元包括:专家数据库和数据增强学习模块;
所述专家数据库用于依据历史焊接数据建立专家数据库,通过所述专家数据库构造焊接模型;
所述数据增强学习模块用于根据焊接模型不断重复学习,通过不断重复学习获取标准的焊接特征及质量信息,根据标准的焊接特征及质量信息对所述焊接模型进行调整,通过调整焊接模型建立检测模型。
上述技术方案的工作原理为:所述专家数据库用于依据历史焊接数据建立专家数据库,通过所述专家数据库构造焊接模型;所述数据增强学习模块用于根据焊接模型不断重复学习,通过不断重复学习获取标准的焊接特征及质量信息,根据标准的焊接特征及质量信息对所述焊接模型进行调整,通过调整焊接模型建立检测模型。
上述技术方案的有益效果为:所述专家数据库用于依据历史焊接数据建立专家数据库,通过所述专家数据库构造焊接模型;所述数据增强学习模块用于根据焊接模型不断重复学习,通过不断重复学习获取标准的焊接特征及质量信息,根据标准的焊接特征及质量信息对所述焊接模型进行调整,通过调整焊接模型建立检测模型。按照模型不断重复实验,逐渐调整模型结构与各项参数,提升焊接的生产速度与质量。
在另一实施例中,所述数据采集单元包括:多传感器融合模块、图像采集模块和数据处理模块;
所述多传感器融合模块用于通过将蓝紫光辐射、红外辐射及可听声三种信号进行融合,通过虚拟仪器技术形成多传感器融合模块,通过多传感器融合模块采集焊接工艺参数;
所述图像采集模块用于采集焊接表面图像,通过焊接表面图像获取焊接外部特征数据,所述焊接外部特征数据包括:焊宽最大差、余高最大差、填充度和直线度;
所述数据处理模块用于对采集的焊接工艺数据以及焊接外部特征数据进行预处理,形成数据集。
上述技术方案的工作原理为:所述多传感器融合模块用于通过将蓝紫光辐射、红外辐射及可听声三种信号进行融合,通过虚拟仪器技术形成多传感器融合模块,通过多传感器融合模块采集焊接工艺参数;所述图像采集模块用于采集焊接表面图像,通过焊接表面图像获取焊接外部特征数据,所述焊接外部特征数据包括:焊宽最大差、余高最大差、填充度和直线度;所述数据处理模块用于对采集的焊接工艺数据以及焊接外部特征数据进行预处理,形成数据集。从而实现了焊接质量的实时在线监测,降低焊接检测的误判率,提高检测精度和速度。
上述技术方案的有益效果为:所述多传感器融合模块用于通过将蓝紫光辐射、红外辐射及可听声三种信号进行融合,通过虚拟仪器技术形成多传感器融合模块,通过多传感器融合模块采集焊接工艺参数;所述图像采集模块用于采集焊接表面图像,通过焊接表面图像获取焊接外部特征数据,所述焊接外部特征数据包括:焊宽最大差、余高最大差、填充度和直线度;所述数据处理模块用于对采集的焊接工艺数据以及焊接外部特征数据进行预处理,形成数据集。从而实现了焊接质量的实时在线监测,降低焊接检测的误判率,提高检测精度和速度。
在另一实施例中,所述数据管控单元包括:数据存储模块、数据分析模块、焊接故障诊断模块和终端模块;
所述数据存储模块用于存储所述数据采集单元中的数据集;
所述数据分析模块用于对数据集进行分析,通过检测模型对数据进行质量目标检测,若发现异常数据集,则发出相应的预警;
焊接故障诊断模块用于对异常数据集进行诊断,生成对应的诊断结果,根据对应的诊断结果生成维护报告;
所述终端模块用于工作人员通过终端模块查看维护报告,通过维护报告对焊接进行维修以及后期对焊接的调整。
上述技术方案的工作原理为:所述数据存储模块用于存储所述数据采集单元中的数据集;所述数据分析模块用于对数据集进行分析,通过检测模型对数据进行质量目标检测,若发现异常数据集,则发出相应的预警;焊接故障诊断模块用于对异常数据集进行诊断,生成对应的诊断结果,根据对应的诊断结果生成维护报告;所述终端模块用于工作人员通过终端模块查看维护报告,通过维护报告对焊接进行维修以及后期对焊接的调整。
上述技术方案的有益效果为:所述数据存储模块用于存储所述数据采集单元中的数据集;所述数据分析模块用于对数据集进行分析,通过检测模型对数据进行质量目标检测,若发现异常数据集,则发出相应的预警;焊接故障诊断模块用于对异常数据集进行诊断,生成对应的诊断结果,根据对应的诊断结果生成维护报告;所述终端模块用于工作人员通过终端模块查看维护报告,通过维护报告对焊接进行维修以及后期对焊接的调整。保障焊接的质量,提高检测精度和速度。
在另一实施例中,通过所述数据存储模块中的焊接表面图像数据构建训练集和测试集,按照预设时间间隔分别对训练集和测试集进行分组,将每组训练集和测试集的样本独立聚类成焊接表面图像的样本数据。
上述技术方案的工作原理为:通过所述数据存储模块中的焊接表面图像数据构建训练集和测试集,按照预设时间间隔分别对训练集和测试集进行分组,将每组训练集和测试集的样本独立聚类成焊接表面图像的样本数据。
上述技术方案的有益效果为:通过所述数据存储模块中的焊接表面图像数据构建训练集和测试集,按照预设时间间隔分别对训练集和测试集进行分组,将每组训练集和测试集的样本独立聚类成焊接表面图像的样本数据。
在另一实施例中,所述专家数据库提取样本数据的特征,形成统计特征,所述数据增强学习模块构建组归一化适配层和相关归一化适配层,组归一化适配层对每个批次统计特征进行均值和方差归一化,最终源域训练和目标域测试数据的每个批次都服从具有均值为0,方差为1的分布,相关归一化适配层从两个域的协方差矩阵角度出发,构建线性变换矩阵,最小化两个协方差矩阵,对齐源域训练和目标域测试数据的二阶统计特征,获取所述数据增强学习模块学习特征的自适应能力。
上述技术方案的工作原理为:所述专家数据库提取样本数据的特征,形成统计特征,所述数据增强学习模块构建组归一化适配层和相关归一化适配层,组归一化适配层对每个批次统计特征进行均值和方差归一化,最终源域训练和目标域测试数据的每个批次都服从具有均值为0,方差为1的分布,相关归一化适配层从两个域的协方差矩阵角度出发,构建线性变换矩阵,最小化两个协方差矩阵,对齐源域训练和目标域测试数据的二阶统计特征,获取所述数据增强学习模块学习特征的自适应能力。
上述技术方案的有益效果为:所述专家数据库提取样本数据的特征,形成统计特征,所述数据增强学习模块构建组归一化适配层和相关归一化适配层,组归一化适配层对每个批次统计特征进行均值和方差归一化,最终源域训练和目标域测试数据的每个批次都服从具有均值为0,方差为1的分布,相关归一化适配层从两个域的协方差矩阵角度出发,构建线性变换矩阵,最小化两个协方差矩阵,对齐源域训练和目标域测试数据的二阶统计特征,获取所述数据增强学习模块学习特征的自适应能力。
在另一实施例中,所述图像采集模块采集焊接表面图像,所述数据处理模块利用图像分割技术将焊接表面图像中焊接缺陷分割出来,利用插值算法将焊接表面图像进行尺寸重构;
通过尺寸重构获取焊接缺陷数据集,通过所述数据增强学习模块将焊接缺陷数据集进行处理生成焊接缺陷学习样本数据集,将焊接缺陷学习样本数据集分别输入到仿射变换数据增强模型和基于生成对抗网络的数据增强模型,对焊接缺陷学习样本数据集进行不同程度的数据增强,再结合仿射变换数据增强模型和基于生成对抗网络的数据增强模型,对焊接缺陷学习样本数据集进行数据增强,利用生成样本分布与真实样本分布的差异性评判方法以及基于等指标对生成的焊接缺陷学习样本增强数据集进行评价。
上述技术方案的工作原理为:所述图像采集模块采集焊接表面图像,所述数据处理模块利用图像分割技术将焊接表面图像中焊接缺陷分割出来,利用插值算法将焊接表面图像进行尺寸重构;
通过尺寸重构获取焊接缺陷数据集,通过所述数据增强学习模块将焊接缺陷数据集进行处理生成焊接缺陷学习样本数据集,将焊接缺陷学习样本数据集分别输入到仿射变换数据增强模型和基于生成对抗网络的数据增强模型,对焊接缺陷学习样本数据集进行不同程度的数据增强,再结合仿射变换数据增强模型和基于生成对抗网络的数据增强模型,对焊接缺陷学习样本数据集进行数据增强,利用生成样本分布与真实样本分布的差异性评判方法以及基于等指标对生成的焊接缺陷学习样本增强数据集进行评价。
上述技术方案的有益效果为:所述图像采集模块采集焊接表面图像,所述数据处理模块利用图像分割技术将焊接表面图像中焊接缺陷分割出来,利用插值算法将焊接表面图像进行尺寸重构;
通过尺寸重构获取焊接缺陷数据集,通过所述数据增强学习模块将焊接缺陷数据集进行处理生成焊接缺陷学习样本数据集,将焊接缺陷学习样本数据集分别输入到仿射变换数据增强模型和基于生成对抗网络的数据增强模型,对焊接缺陷学习样本数据集进行不同程度的数据增强,再结合仿射变换数据增强模型和基于生成对抗网络的数据增强模型,对焊接缺陷学习样本数据集进行数据增强,利用生成样本分布与真实样本分布的差异性评判方法以及基于等指标对生成的焊接缺陷学习样本增强数据集进行评价。
在另一实施例中,所述专家数据库包括:迁移学习源领域数据集、样本迁移模型和特征迁移模型;
所述迁移学习源领域数据集中每个样本由多维特征组成,根据可迁移性性的强弱,将样本分为:高质量样本、中等质量样本和低质量样本,其中,所述迁移学习源领域数据集有m个样本,每个样本含n组特征;
在所述样本迁移模型中,将每个样本设定为一个独立整体,高质量样本权重逐步增加,低质量样本权重逐步减少,提升焊接故障诊断精度;
在所述特征迁移模型中,将每组特征设定为一个独立整体,通过特征映射或加权方式将不可迁移的特征转化为可迁移特征,提升焊接故障诊断精度。
上述技术方案的工作原理为:所述迁移学习源领域数据集中每个样本由多维特征组成,根据可迁移性性的强弱,将样本分为:高质量样本、中等质量样本和低质量样本,其中,所述迁移学习源领域数据集有m个样本,每个样本含n组特征;在所述样本迁移模型中,将每个样本设定为一个独立整体,高质量样本权重逐步增加,低质量样本权重逐步减少,提升焊接故障诊断精度;在所述特征迁移模型中,将每组特征设定为一个独立整体,通过特征映射或加权方式将不可迁移的特征转化为可迁移特征,提升焊接故障诊断精度。
上述技术方案的有益效果为:所述迁移学习源领域数据集中每个样本由多维特征组成,根据可迁移性性的强弱,将样本分为:高质量样本、中等质量样本和低质量样本,其中,所述迁移学习源领域数据集有m个样本,每个样本含n组特征;在所述样本迁移模型中,将每个样本设定为一个独立整体,高质量样本权重逐步增加,低质量样本权重逐步减少,提升焊接故障诊断精度;在所述特征迁移模型中,将每组特征设定为一个独立整体,通过特征映射或加权方式将不可迁移的特征转化为可迁移特征,提升焊接故障诊断精度。
在另一实施例中,所述数据增强学习模块对训练集中焊接表面图像进行翻转、缩小、放大、旋转,将训练集中焊接表面图像数据量扩大为原来的四倍,得到焊接表面图像数据增强后的训练集;
所述数据增强学习模块对焊接表面图像数据增强后的训练集中的所有图片中焊接类型进行标注;
搭建卷积神经网络,将焊接表面图像数据增强后的训练集中各类别的所有焊接区域图片输入卷积神经网络中,训练所述数据增强学习模块学习对焊接如何进行分类。
上述技术方案的工作原理为:所述数据增强学习模块对训练集中焊接表面图像进行翻转、缩小、放大、旋转,将训练集中焊接表面图像数据量扩大为原来的四倍,得到焊接表面图像数据增强后的训练集;所述数据增强学习模块对焊接表面图像数据增强后的训练集中的所有图片中焊接类型进行标注;搭建卷积神经网络,将焊接表面图像数据增强后的训练集中各类别的所有焊接区域图片输入卷积神经网络中,训练所述数据增强学习模块学习对焊接如何进行分类。
通过边缘检测技术对焊接表面图像进行处理,边缘检测技术采用高斯函数构造滤波器,对图像去噪平滑处理,去噪平滑处理后所得到的梯度图像公式为:
H(x,y)表示梯度图像;σ表示高斯函数的标准差,x表示高斯一阶数;y表示偏导数。
通过获取梯度图像,有效保留弱边缘信息,实现融合算法快速全局收敛,显著改善了图像处理过程中的边缘断层现象。
上述技术方案的有益效果为:所述数据增强学习模块对训练集中焊接表面图像进行翻转、缩小、放大、旋转,将训练集中焊接表面图像数据量扩大为原来的四倍,得到焊接表面图像数据增强后的训练集;
所述数据增强学习模块对焊接表面图像数据增强后的训练集中的所有图片中焊接类型进行标注;
搭建卷积神经网络,将焊接表面图像数据增强后的训练集中各类别的所有焊接区域图片输入卷积神经网络中,训练所述数据增强学习模块学习对焊接如何进行分类。
在另一实施例中,所述焊接故障诊断模块通过将检测模型与焊接故障对应的知识相结合制定故障诊断规则,通过故障诊断规则形成规则库子模块;
工作人员通过终端模块输入相应的故障模式或现象,所述焊接故障诊断模块将终端模块输入的信息与规则库子模块进行比对,抽取所述规则库子模块中符合要求的诊断结果,通过所述焊接故障诊断模块中制定的故障诊断规则确定出诊断推理过程及结果,生成对应的生成维护报告,维护报告通过所述终端模块反馈给工作人员。
上述技术方案的工作原理为:所述焊接故障诊断模块通过将检测模型与焊接故障对应的知识相结合制定故障诊断规则,通过故障诊断规则形成规则库子模块;工作人员通过终端模块输入相应的故障模式或现象,所述焊接故障诊断模块将终端模块输入的信息与规则库子模块进行比对,抽取所述规则库子模块中符合要求的诊断结果,通过所述焊接故障诊断模块中制定的故障诊断规则确定出诊断推理过程及结果,生成对应的生成维护报告,维护报告通过所述终端模块反馈给工作人员。
上述技术方案的有益效果为:所述焊接故障诊断模块通过将检测模型与焊接故障对应的知识相结合制定故障诊断规则,通过故障诊断规则形成规则库子模块;工作人员通过终端模块输入相应的故障模式或现象,所述焊接故障诊断模块将终端模块输入的信息与规则库子模块进行比对,抽取所述规则库子模块中符合要求的诊断结果,通过所述焊接故障诊断模块中制定的故障诊断规则确定出诊断推理过程及结果,生成对应的生成维护报告,维护报告通过所述终端模块反馈给工作人员。从而提升焊接检测智能化水平,更好的适应智能化需求。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于深度迁移学习的焊接智能检测系统,其特征在于,包括:深度迁移学习单元、数据采集单元和数据管控单元;
所述深度迁移学习单元用于通过深度迁移学习算法对历史焊接数据进行学习,通过学习建立检测模型;
所述数据采集单元用于采集实际焊接过程中焊接特征及质量信息数据,将采集的数据形成数据集;
所述数据管控单元用于对数据集进行分析,通过检测模型对数据进行质量目标检测,根据检测结果生成维护报告。
2.根据权利要求1所述的一种基于深度迁移学习的焊接智能检测系统,其特征在于,所述深度迁移学习单元包括:专家数据库和数据增强学习模块;
所述专家数据库用于依据历史焊接数据建立专家数据库,通过所述专家数据库构造焊接模型;
所述数据增强学习模块用于根据焊接模型不断重复学习,通过不断重复学习获取标准的焊接特征及质量信息,根据标准的焊接特征及质量信息对所述焊接模型进行调整,通过调整焊接模型建立检测模型。
3.根据权利要求1所述的一种基于深度迁移学习的焊接智能检测系统,其特征在于,所述数据采集单元包括:多传感器融合模块、图像采集模块和数据处理模块;
所述多传感器融合模块用于通过将蓝紫光辐射、红外辐射及可听声三种信号进行融合,通过虚拟仪器技术形成多传感器融合模块,通过多传感器融合模块采集焊接工艺参数;
所述图像采集模块用于采集焊接表面图像,通过焊接表面图像获取焊接外部特征数据,所述焊接外部特征数据包括:焊宽最大差、余高最大差、填充度和直线度;
所述数据处理模块用于对采集的焊接工艺数据以及焊接外部特征数据进行预处理,形成数据集。
4.根据权利要求1所述的一种基于深度迁移学习的焊接智能检测系统,其特征在于,所述数据管控单元包括:数据存储模块、数据分析模块、焊接故障诊断模块和终端模块;
所述数据存储模块用于存储所述数据采集单元中的数据集;
所述数据分析模块用于对数据集进行分析,通过检测模型对数据进行质量目标检测,若发现异常数据集,则发出相应的预警;
焊接故障诊断模块用于对异常数据集进行诊断,生成对应的诊断结果,根据对应的诊断结果生成维护报告;
所述终端模块用于工作人员通过终端模块查看维护报告,通过维护报告对焊接进行维修以及后期对焊接的调整。
5.根据权利要求4所述的一种基于深度迁移学习的焊接智能检测系统,其特征在于,通过所述数据存储模块中的焊接表面图像数据构建训练集和测试集,按照预设时间间隔分别对训练集和测试集进行分组,将每组训练集和测试集的样本独立聚类成焊接表面图像的样本数据。
6.根据权利要求5所述的一种基于深度迁移学习的焊接智能检测系统,其特征在于,所述专家数据库提取样本数据的特征,形成统计特征,所述数据增强学习模块构建组归一化适配层和相关归一化适配层,组归一化适配层对每个批次统计特征进行均值和方差归一化,最终源域训练和目标域测试数据的每个批次都服从具有均值为0,方差为1的分布,相关归一化适配层从两个域的协方差矩阵角度出发,构建线性变换矩阵,最小化两个协方差矩阵,对齐源域训练和目标域测试数据的二阶统计特征,获取所述数据增强学习模块学习特征的自适应能力。
7.根据权利要求3所述的一种基于深度迁移学习的焊接智能检测系统,其特征在于,所述图像采集模块采集焊接表面图像,所述数据处理模块利用图像分割技术将焊接表面图像中焊接缺陷分割出来,利用插值算法将焊接表面图像进行尺寸重构;
通过尺寸重构获取焊接缺陷数据集,通过所述数据增强学习模块将焊接缺陷数据集进行处理生成焊接缺陷学习样本数据集,将焊接缺陷学习样本数据集分别输入到仿射变换数据增强模型和基于生成对抗网络的数据增强模型,对焊接缺陷学习样本数据集进行不同程度的数据增强,再结合仿射变换数据增强模型和基于生成对抗网络的数据增强模型,对焊接缺陷学习样本数据集进行数据增强,利用生成样本分布与真实样本分布的差异性评判方法以及基于等指标对生成的焊接缺陷学习样本增强数据集进行评价。
8.根据权利要求2所述的一种基于深度迁移学习的焊接智能检测系统,其特征在于,所述专家数据库包括:迁移学习源领域数据集、样本迁移模型和特征迁移模型;
所述迁移学习源领域数据集中每个样本由多维特征组成,根据可迁移性性的强弱,将样本分为:高质量样本、中等质量样本和低质量样本,其中,所述迁移学习源领域数据集有m个样本,每个样本含n组特征;
在所述样本迁移模型中,将每个样本设定为一个独立整体,高质量样本权重逐步增加,低质量样本权重逐步减少,提升焊接故障诊断精度;
在所述特征迁移模型中,将每组特征设定为一个独立整体,通过特征映射或加权方式将不可迁移的特征转化为可迁移特征,提升焊接故障诊断精度。
9.根据权利要求6所述的一种基于深度迁移学习的焊接智能检测系统,其特征在于,所述数据增强学习模块对训练集中焊接表面图像进行翻转、缩小、放大、旋转,将训练集中焊接表面图像数据量扩大为原来的四倍,得到焊接表面图像数据增强后的训练集;
所述数据增强学习模块对焊接表面图像数据增强后的训练集中的所有图片中焊接类型进行标注;
搭建卷积神经网络,将焊接表面图像数据增强后的训练集中各类别的所有焊接区域图片输入卷积神经网络中,训练所述数据增强学习模块学习对焊接如何进行分类。
10.根据权利要求4所述的一种基于深度迁移学习的焊接智能检测系统,其特征在于,所述焊接故障诊断模块通过将检测模型与焊接故障对应的知识相结合制定故障诊断规则,通过故障诊断规则形成规则库子模块;
工作人员通过终端模块输入相应的故障模式或现象,所述焊接故障诊断模块将终端模块输入的信息与规则库子模块进行比对,抽取所述规则库子模块中符合要求的诊断结果,通过所述焊接故障诊断模块中制定的故障诊断规则确定出诊断推理过程及结果,生成对应的生成维护报告,维护报告通过所述终端模块反馈给工作人员。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210413149.7A CN114782362B (zh) | 2022-04-20 | 2022-04-20 | 一种基于深度迁移学习的焊接智能检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210413149.7A CN114782362B (zh) | 2022-04-20 | 2022-04-20 | 一种基于深度迁移学习的焊接智能检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114782362A true CN114782362A (zh) | 2022-07-22 |
CN114782362B CN114782362B (zh) | 2023-07-18 |
Family
ID=82432046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210413149.7A Active CN114782362B (zh) | 2022-04-20 | 2022-04-20 | 一种基于深度迁移学习的焊接智能检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114782362B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116561710A (zh) * | 2023-05-12 | 2023-08-08 | 西咸新区大熊星座智能科技有限公司 | 基于数据空间转化的焊接参数迁移学习预测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934222A (zh) * | 2019-03-01 | 2019-06-25 | 长沙理工大学 | 一种基于迁移学习的绝缘子串自爆识别方法 |
CN113231715A (zh) * | 2021-05-31 | 2021-08-10 | 华南理工大学 | 一种大型叶片超低热输入快频焊接修复方法 |
US20210319561A1 (en) * | 2020-11-02 | 2021-10-14 | BeSTDR Infrastructure Hospital(Pingyu) | Image segmentation method and system for pavement disease based on deep learning |
CN113778811A (zh) * | 2021-09-28 | 2021-12-10 | 重庆邮电大学 | 基于深度卷积迁移学习软件系统故障监测方法及系统 |
-
2022
- 2022-04-20 CN CN202210413149.7A patent/CN114782362B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934222A (zh) * | 2019-03-01 | 2019-06-25 | 长沙理工大学 | 一种基于迁移学习的绝缘子串自爆识别方法 |
US20210319561A1 (en) * | 2020-11-02 | 2021-10-14 | BeSTDR Infrastructure Hospital(Pingyu) | Image segmentation method and system for pavement disease based on deep learning |
CN113231715A (zh) * | 2021-05-31 | 2021-08-10 | 华南理工大学 | 一种大型叶片超低热输入快频焊接修复方法 |
CN113778811A (zh) * | 2021-09-28 | 2021-12-10 | 重庆邮电大学 | 基于深度卷积迁移学习软件系统故障监测方法及系统 |
Non-Patent Citations (1)
Title |
---|
黄旭丰: "基于深度迁移学习的焊接质量在先监测方法研究", 《中国优秀硕士学位论文全文数据库》, pages 1 - 60 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116561710A (zh) * | 2023-05-12 | 2023-08-08 | 西咸新区大熊星座智能科技有限公司 | 基于数据空间转化的焊接参数迁移学习预测方法 |
CN116561710B (zh) * | 2023-05-12 | 2024-02-02 | 西咸新区大熊星座智能科技有限公司 | 基于数据空间转化的焊接参数迁移学习预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114782362B (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103324937B (zh) | 标注目标的方法和装置 | |
CN109636772A (zh) | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 | |
CN110473173A (zh) | 一种基于深度学习语义分割的缺陷检测方法 | |
CN109977808A (zh) | 一种晶圆表面缺陷模式检测与分析方法 | |
CN110827260B (zh) | 一种基于lbp特征与卷积神经网络的布匹缺陷分类方法 | |
CN107437243A (zh) | 基于x光图像的轮胎杂质检测方法及装置 | |
CN110927171A (zh) | 一种基于机器视觉的轴承滚子倒角面缺陷检测方法 | |
CN110400293B (zh) | 一种基于深度森林分类的无参考图像质量评价方法 | |
CN111325738B (zh) | 一种用于横穿孔周边裂纹的智能检测方法及系统 | |
Zhu et al. | The defect detection algorithm for tire x-ray images based on deep learning | |
CN111815555A (zh) | 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置 | |
CN111402236B (zh) | 一种基于图像灰度值的热轧带钢表面缺陷分级方法 | |
CN110246134A (zh) | 一种钢轨伤损分类装置 | |
CN115797354A (zh) | 用于检测激光焊接焊缝外观缺陷的方法 | |
CN113554621A (zh) | 基于小波尺度图和深度迁移学习的刀具磨损状态识别系统及识别方法 | |
CN117115147B (zh) | 一种基于机器视觉的纺织品检测方法及系统 | |
CN114782362A (zh) | 一种基于深度迁移学习的焊接智能检测系统 | |
CN113569922A (zh) | 一种苹果智能无损分拣的方法 | |
CN114463843A (zh) | 一种基于深度学习的多特征融合鱼类异常行为检测方法 | |
CN111898677A (zh) | 一种基于深度学习的浮游生物自动检测方法 | |
CN109584208B (zh) | 一种针对工业结构缺陷智能识别模型的检验方法 | |
CN110263867A (zh) | 一种钢轨伤损分类方法 | |
CN110120035A (zh) | 一种可判别病疵等级的轮胎x光病疵检测方法 | |
CN113435460A (zh) | 一种亮晶颗粒灰岩图像的识别方法 | |
CN113673618A (zh) | 一种融合注意力模型的烟虫目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |