CN115187595A - 端塞焊缝缺陷检测模型训练方法、检测方法和电子设备 - Google Patents
端塞焊缝缺陷检测模型训练方法、检测方法和电子设备 Download PDFInfo
- Publication number
- CN115187595A CN115187595A CN202211093216.8A CN202211093216A CN115187595A CN 115187595 A CN115187595 A CN 115187595A CN 202211093216 A CN202211093216 A CN 202211093216A CN 115187595 A CN115187595 A CN 115187595A
- Authority
- CN
- China
- Prior art keywords
- end plug
- defect
- image
- weld
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 602
- 238000001514 detection method Methods 0.000 title claims abstract description 241
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 117
- 238000003466 welding Methods 0.000 claims abstract description 58
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 238000010586 diagram Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 24
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 claims description 21
- 229910052721 tungsten Inorganic materials 0.000 claims description 21
- 239000010937 tungsten Substances 0.000 claims description 21
- 230000035515 penetration Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Abstract
本发明提供了一种端塞焊缝缺陷检测模型训练方法、检测方法和电子设备,涉及图像处理技术领域,解决了缺陷检测准确度较低的问题。该方法包括:获取多个端塞图像样本及其对应的缺陷位置和缺陷类型;对各端塞图像样本进行端塞焊缝定位处理及分割处理,得到各端塞图像样本对应的焊缝缺陷图像;将多个焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到各端塞图像样本对应的预测缺陷位置和预测缺陷类型;根据各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对初始端塞焊缝缺陷检测模型的模型参数进行更新,使得训练得到的端塞焊缝缺陷检测模型,可以准确地检测端塞焊缝的缺陷位置和缺陷类型,提高了缺陷检测结果的准确度。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种端塞焊缝缺陷检测模型训练方法、检测方法和电子设备。
背景技术
在工业制造技术领域,通常会涉及焊接工序,例如,在管状零件两端采用焊接技术将端塞与管状零件焊接,焊接完成后,通常需要对端塞焊缝的质量进行检测,以剔除质量不合格的产品,从而提高产品良率。
在对端塞焊缝的质量进行检测时,主要是对端塞焊缝是否存在缺陷进行检测。现有技术中,通常是采用人工检测的方法对端塞焊缝是否存在缺陷进行检测,但是,该种方法受限于检测人员的专业水平,因此,会导致缺陷检测结果的准确度较低。
发明内容
本发明提供一种端塞焊缝缺陷检测模型训练方法、检测方法和电子设备,可以准确地检测出端塞焊缝的缺陷位置和缺陷类型,从而提高了缺陷检测结果的准确度。
本发明提供一种端塞焊缝缺陷检测模型训练方法,该端塞焊缝缺陷检测模型训练方法可以包括:
获取多个端塞图像样本,以及各端塞图像样本对应的缺陷位置和缺陷类型;其中,所述缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
对所述各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到所述各端塞图像样本对应的焊缝缺陷图像。
将所述多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到所述各端塞图像样本对应的预测缺陷位置和预测缺陷类型。
根据所述各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对所述初始端塞焊缝缺陷检测模型的模型参数进行更新,以得到训练后的端塞焊缝缺陷检测模型。
根据本发明提供的一种端塞焊缝缺陷检测模型训练方法,所述初始端塞焊缝缺陷检测模型包括输入网络、骨干网络、检测头网络以及输出网络;所述将所述多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到所述各端塞图像样本对应的预测缺陷位置和预测缺陷类型,包括:
针对所述各端塞图像样本执行以下处理:
将所述端塞图像样本对应的焊缝缺陷图像输入至所述输入网络中,并通过所述输入网络将所述焊缝缺陷图像输入至所述骨干网络中,得到所述端塞图像样本对应的特征图。
将所述端塞图像样本对应的特征图输入至所述检测头网络中,得到所述端塞图像样本对应的预测缺陷位置和预测缺陷类型,并通过所述输出网络输出所述端塞图像样本对应的预测缺陷位置和预测缺陷类型。
根据本发明提供的一种端塞焊缝缺陷检测模型训练方法,所述对所述各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到所述各端塞图像样本对应的焊缝缺陷图像,包括:
针对所述各端塞图像样本,对所述端塞图像样本进行定位处理,得到包括端塞焊缝区域的区域图像。
对所述区域图像进行分割处理,得到所述端塞图像样本对应的所述焊缝缺陷图像。
根据本发明提供的一种端塞焊缝缺陷检测模型训练方法,所述获取多个端塞图像样本,包括:
获取第一数量个端塞图像样本。
对所述第一数量个端塞图像样本进行拼接处理,得到所述多个端塞图像样本;其中,所述拼接处理包括随机缩放、随机裁剪、或者随机排布中的至少一种。
根据本发明提供的一种端塞焊缝缺陷检测模型训练方法,所述根据所述各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对所述初始端塞焊缝缺陷检测模型的模型参数进行更新,包括:
针对所述各端塞图像样本,根据所述端塞图像样本对应的缺陷位置和预测缺陷位置,构造所述端塞图像样本对应的回归损失函数;并根据所述端塞图像样本对应的缺陷类型和预测缺陷类型,构造所述端塞图像样本对应的分类损失函数。
根据所述各端塞图像样本对应的分类损失函数和回归损失函数,对所述初始端塞焊缝缺陷检测模型的模型参数进行更新。
本发明还提供一种端塞焊缝缺陷检测方法,该端塞焊缝缺陷检测方法可以包括:
获取待检测端塞图像。
对所述待检测端塞图像进行端塞焊缝定位处理以及分割处理,得到所述待检测端塞图像对应的焊缝缺陷图像。
将所述焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到所述待检测端塞图像对应的缺陷位置和缺陷类型;其中,所述端塞焊缝缺陷检测模型为上述任一项所述的端塞焊缝缺陷检测模型,所述缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
根据本发明提供的一种端塞焊缝缺陷检测方法,所述将所述焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到所述待检测端塞图像对应的缺陷类型,包括:
将所述焊缝缺陷图像输入至所述端塞焊缝缺陷检测模型中的输入网络中,并通过所述输入网络将所述焊缝缺陷图像输入至所述端塞焊缝缺陷检测模型中的骨干网络中,得到所述焊缝缺陷图像对应的特征图。
将所述焊缝缺陷图像对应的特征图输入至所述端塞焊缝缺陷检测模型中的检测头网络中,得到所述待检测端塞图像对应的缺陷位置和缺陷类型,并通过所述端塞焊缝缺陷检测模型中的输出网络输出所述待检测端塞图像对应的缺陷位置和缺陷类型。
本发明还提供一种端塞焊缝缺陷检测模型训练装置,该端塞焊缝缺陷检测模型训练装置可以包括:
第一获取单元,用于获取多个端塞图像样本,以及各端塞图像样本对应的缺陷位置和缺陷类型;其中,所述缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
第一处理单元,用于对所述各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到所述各端塞图像样本对应的焊缝缺陷图像。
第二处理单元,用于将所述多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到所述各端塞图像样本对应的预测缺陷位置和预测缺陷类型。
更新单元,用于根据所述各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对所述初始端塞焊缝缺陷检测模型的模型参数进行更新,以得到训练后的端塞焊缝缺陷检测模型。
根据本发明提供的一种端塞焊缝缺陷检测模型训练装置,所述初始端塞焊缝缺陷检测模型包括输入网络、骨干网络、检测头网络以及输出网络;
所述第二处理单元,具体用于针对所述各端塞图像样本执行以下处理:
将所述端塞图像样本对应的焊缝缺陷图像输入至所述输入网络中,并通过所述输入网络将所述焊缝缺陷图像输入至所述骨干网络中,得到所述端塞图像样本对应的特征图;将所述端塞图像样本对应的特征图输入至所述检测头网络中,得到所述端塞图像样本对应的预测缺陷位置和预测缺陷类型,并通过所述输出网络输出所述端塞图像样本对应的预测缺陷位置和预测缺陷类型。
根据本发明提供的一种端塞焊缝缺陷检测模型训练装置,所述第一处理单元,具体用于针对所述各端塞图像样本,对所述端塞图像样本进行定位处理,得到包括端塞焊缝区域的区域图像;对所述区域图像进行分割处理,得到所述端塞图像样本对应的所述焊缝缺陷图像。
根据本发明提供的一种端塞焊缝缺陷检测模型训练装置,所述第一获取单元,具体用于获取第一数量个端塞图像样本;对所述第一数量个端塞图像样本进行拼接处理,得到所述多个端塞图像样本;其中,所述拼接处理包括随机缩放、随机裁剪、或者随机排布中的至少一种。
根据本发明提供的一种端塞焊缝缺陷检测模型训练装置,所述更新单元,具体用于针对所述各端塞图像样本,根据所述端塞图像样本对应的缺陷位置和预测缺陷位置,构造所述端塞图像样本对应的回归损失函数;并根据所述端塞图像样本对应的缺陷类型和预测缺陷类型,构造所述端塞图像样本对应的分类损失函数;根据所述各端塞图像样本对应的分类损失函数和回归损失函数,对所述初始端塞焊缝缺陷检测模型的模型参数进行更新。
本发明还提供一种端塞焊缝缺陷检测装置,该端塞焊缝缺陷检测装置可以包括:
第二获取单元,用于获取待检测端塞图像。
第三处理单元,用于对所述待检测端塞图像进行端塞焊缝定位处理以及分割处理,得到所述待检测端塞图像对应的焊缝缺陷图像。
第四处理单元,用于将所述焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到所述待检测端塞图像对应的缺陷位置和缺陷类型;其中,所述端塞焊缝缺陷检测模型为上述任一项所述的端塞焊缝缺陷检测模型,所述缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
根据本发明提供的一种端塞焊缝缺陷检测装置,所述第四处理单元,具体用于将所述焊缝缺陷图像输入至所述端塞焊缝缺陷检测模型中的输入网络中,并通过所述输入网络将所述焊缝缺陷图像输入至所述端塞焊缝缺陷检测模型中的骨干网络中,得到所述焊缝缺陷图像对应的特征图;将所述焊缝缺陷图像对应的特征图输入至所述端塞焊缝缺陷检测模型中的检测头网络中,得到所述待检测端塞图像对应的缺陷位置和缺陷类型,并通过所述端塞焊缝缺陷检测模型中的输出网络输出所述待检测端塞图像对应的缺陷位置和缺陷类型。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的端塞焊缝缺陷检测模型训练方法;或者,实现如上述任一种所述的端塞焊缝缺陷检测方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的端塞焊缝缺陷检测模型训练方法;或者,实现如上述任一种所述的端塞焊缝缺陷检测方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的端塞焊缝缺陷检测模型训练方法;或者,实现如上述任一种所述的端塞焊缝缺陷检测方法。
本发明提供了一种端塞焊缝缺陷检测模型训练方法、检测方法和电子设备,该方法包括:在训练端塞焊缝缺陷检测模型时,可以先获取多个端塞图像样本及其对应的缺陷位置和缺陷类型;对各端塞图像样本进行端塞焊缝定位处理及分割处理,得到各端塞图像样本对应的焊缝缺陷图像;将多个焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到各端塞图像样本对应的预测缺陷位置和预测缺陷类型;根据各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对初始端塞焊缝缺陷检测模型的模型参数进行更新,以得到训练后的端塞焊缝缺陷检测模型,这样通过深度学习使得训练得到的端塞焊缝缺陷检测模型,可以准确地检测出端塞焊缝的缺陷位置和缺陷类型,不仅提高了缺陷检测结果的准确度;而且可以提高缺陷检测效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种端塞焊缝缺陷检测模型训练方法的流程示意图;
图2为本发明实施例提供的一种气胀缺陷的示意图;
图3为本发明实施例提供的一种未焊透缺陷的示意图;
图4为本发明实施例提供的一种气孔缺陷的示意图;
图5为本发明实施例提供的一种夹钨缺陷的示意图;
图6为本发明实施例提供的一种端塞焊缝定位处理结果的示意图;
图7为本发明实施例提供的一种端塞焊缝分割处理结果的示意图;
图8为本发明实施例提供的一种端塞焊缝缺陷检测方法的流程示意图;
图9为本发明实施例提供的一种端塞焊缝缺陷检测模型训练装置的结构示意图;
图10为本发明实施例提供的一种端塞焊缝缺陷检测装置的结构示意图;
图11为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。在本发明的文字描述中,字符“/”一般表示前后关联对象是一种“或”的关系。
本发明实施例提供的技术方案可以应用于图像处理场景中,尤其是对端塞图像进行缺陷检测的场景中。在对端塞焊缝的质量进行检测时,主要是对端塞焊缝是否存在缺陷进行检测。现有技术中,通常是采用人工检测的方法对端塞焊缝是否存在缺陷进行检测,但是,该种方法受限于检测人员的专业水平,因此,会导致检测结果的准确度较低。
为了可以准确地检测出端塞焊缝的缺陷位置和缺陷类型,从而提高缺陷检测结果的准确度,本发明实施例提供了一种端塞焊缝缺陷检测模型训练方法,通过获取多个端塞图像样本,以及各端塞图像样本对应的缺陷位置和缺陷类型;对各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到各端塞图像样本对应的焊缝缺陷图像;将多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到各端塞图像样本对应的预测缺陷位置和预测缺陷类型;再根据各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对初始端塞焊缝缺陷检测模型的模型参数进行更新。这样通过深度学习使得训练得到的端塞焊缝缺陷检测模型,可以准确地检测出端塞焊缝的缺陷位置和缺陷类型,从而提高了检测结果的准确度;此外,还可以提高缺陷检测效率。
下面,将通过下述几个具体的实施例对本发明提供的端塞焊缝缺陷检测模型训练方法进行详细地说明。可以理解的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例提供的一种端塞焊缝缺陷检测模型训练方法的流程示意图,该端塞焊缝缺陷检测模型训练方法可以由软件和/或硬件装置执行。示例的,请参见图1所示,该端塞焊缝缺陷检测模型训练方法可以包括:
S101、获取多个端塞图像样本,以及各端塞图像样本对应的缺陷位置和缺陷类型;其中,缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
示例地,获取多个端塞图像样本时,可以直接获取多个端塞图像样本,也可以先通过X光机拍摄获取端塞的X光片,并对X光片进行预处理,例如调整X光片的窗宽、窗位等参数,使得调整后的X光片更加清晰;并对调整后的X光片进行格式转换处理,得到多个端塞图像样本。示例地,该多个端塞图像样本的图像格式可以为JPG、PNG等。
示例地,假设通过上述方式获取得到的端塞图像样本的数量较少,仅获取到第一数量个端塞图像样本,该第一数量个端塞图像样本不足以支撑端塞焊缝缺陷检测模型训练过程所需的端塞图像样本数量,则可以对第一数量个端塞图像样本进行拼接处理,以对端塞图像样本进行扩充,从而得到训练过程所需的多个端塞图像样本;其中,拼接处理包括随机缩放、随机裁剪、或者随机排布中的至少一种。其中,第一数量的取值可以根据实际需要进行设置,在此,对于第一数量的具体取值,本发明实施例不做具体限制。
可以理解的是,在获取到多个端塞图像样本后,需要标注各端塞图像样本对应的缺陷位置和缺陷类型,其中,缺陷位置表示缺陷所在的位置,缺陷类型表示缺陷所属的类型。标注的缺陷位置和缺陷类型可以理解为端塞图像样本对应的标签信息,用于后续的端塞焊缝缺陷检测模型训练。示例地,端塞图像样本对应的缺陷位置可以通过设定长宽的锚框进行表示。
示例地,在本发明实施例中,缺陷类型可以包括气胀、未焊透、气孔、或者夹钨中的至少一种,可参见图2、图3、图4以及图5所示,图2为本发明实施例提供的一种气胀缺陷的示意图,图3为本发明实施例提供的一种未焊透缺陷的示意图,图4为本发明实施例提供的一种气孔缺陷的示意图,图5为本发明实施例提供的一种夹钨缺陷的示意图,具体可以根据实际需要进行设置,在此,本发明实施例只是以包括气胀、未焊透、气孔、或者夹钨中的至少一种为例进行说明,但并不代表本发明实施例仅局限于此。
在获取到多个端塞图像样本后,可以先对各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到各端塞图像样本对应的焊缝缺陷图像,即执行下述S102:
S102、对各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到各端塞图像样本对应的焊缝缺陷图像。
示例地,在本发明实施例中,对各端塞图像样本进行端塞焊缝定位处理以及分割处理时,针对各端塞图像样本,可以先对端塞图像样本进行端塞焊缝定位处理,得到包括端塞焊缝区域的区域图像,以定位出端塞焊缝区域;示例地,可参见图6所示,图6为本发明实施例提供的一种端塞焊缝定位处理结果的示意图,在定出端塞焊缝区域后,对包括端塞焊缝区域的区域图像进行分割处理,得到端塞图像样本对应的焊缝缺陷图像,示例地,可参见图7所示,图7为本发明实施例提供的一种端塞焊缝分割处理结果的示意图,以分割出焊缝缺陷区域,得到焊缝缺陷区域对应的焊缝缺陷图像。
示例地,在对端塞图像样本进行端塞焊缝定位处理时,可以采用YOLO算法对端塞图像样本进行端塞焊缝定位处理,以从端塞图像样本中定位出端塞焊缝区域;也可以采用其他目标检测算法,例如可变型部件模型(deformable parts models,DPM)算法对端塞图像样本进行端塞焊缝定位处理,以从端塞图像样本中定位出端塞焊缝区域,具体可以根据实际需要进行设置。
示例地,考虑到YOLO算法是将目标区域预测和目标类别预测合二为一,将目标检测任务看作目标区域预测和类别预测的回归问题,其识别性能有了较大的提升,达到每秒45帧,其定位速度较快;而且快速YOLO算法(Fast YOLO)中,其包括的卷积层相比于YOLO算法而言,卷积层更少,其识别速度可以达到每秒155帧,因此,在本发明实施例中,可以采用YOLO算法对端塞图像样本进行端塞焊缝定位处理,以从端塞图像样本中定位出端塞焊缝区域。示例地,采用YOLO算法对端塞图像样本进行端塞焊缝定位处理,可以将端塞图像样本的大小调整为448×448,并将调整后的端塞图像样本输入至YOLO算法中的卷积层中,以从端塞图像样本中定位出端塞焊缝区域,这样不仅可以满足实时进行端塞焊缝定位处理的需求;而且采用端塞图像样本的全图信息来进行端塞焊缝定位处理,可以学习到端塞图像样本的概括信息(generalizable representation),具有一定普适性,这样可以快速准确地从端塞图像样本中准确地定位出端塞焊缝区域,从而获取到包括端塞焊缝区域的区域图像。
示例地,在对包括端塞焊缝区域的区域图像进行图像分割处理时,可以采用OpenCV算法对包括端塞焊缝区域的区域图像进行图像分割处理,以从包括端塞焊缝区域的区域图像中分割出焊缝缺陷区域,得到焊缝缺陷区域对应的焊缝缺陷图像;也可以采用其他图像分割算法,对包括端塞焊缝区域的区域图像进行图像分割处理,以从包括端塞焊缝区域的区域图像中分割出焊缝缺陷区域,得到焊缝缺陷区域对应的焊缝缺陷图像;具体可以根据实际需要进行设置。其中,图像分割是将图像中的像素根据一定的规则分为若干个簇集合,每个簇集合包含一类像素,通常分为监督学习方法和无监督学习方法,图像分割的算法多数都是无监督学习方法。
示例地,在本发明实施例中,可以采用OpenCV算法对包括端塞焊缝区域的区域图像进行图像分割处理,以从包括端塞焊缝区域的区域图像中分割出焊缝缺陷区域,得到焊缝缺陷区域对应的焊缝缺陷图像。其中,OpenCV算法的原理为:实现了基于标记的分水岭算法,是一个交互式的图像分割,需要给已知的对象赋予不同的标签。示例地,在给已知的对象赋予不同的标签时,可以采用一种颜色或强度,标记前景或对象的区域,用另一种颜色或强度标记背景或非对象的区域,再用0标记不确定的区域;在给已知的对象赋予不同的标签后,采用分水岭算法进行图像分割处理。
在通过上述S102获取到多个端塞图像样本各自对应的焊缝缺陷图像后,就可以将多个端塞图像样本各自对应的焊缝缺陷图像作为输入,输入至初始端塞焊缝缺陷检测模型中,即执行下述S103:
S103、将多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到各端塞图像样本对应的预测缺陷位置和预测缺陷类型。
示例地,预测缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种,具体可以根据实际需要进行设置,在本发明实施例中,只是以缺陷类型和预测缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种为例进行说明,但并不代表本发明实施例仅局限于此。
示例地,在本发明实施例中,初始端塞焊缝缺陷检测模型包括输入网络、骨干网络、检测头网络以及输出网络,将多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到各端塞图像样本对应的预测缺陷位置和预测缺陷类型,包括:
针对各端塞图像样本执行以下处理:
将端塞图像样本对应的焊缝缺陷图像输入至输入网络中,并通过输入网络将焊缝缺陷图像输入至骨干网络中,得到端塞图像样本对应的特征图;将端塞图像样本对应的特征图输入至检测头网络中,得到端塞图像样本对应的预测缺陷位置和预测缺陷类型,并通过输出网络输出端塞图像样本对应的预测缺陷位置和预测缺陷类型。
在通过初始端塞焊缝缺陷检测模型得到各端塞图像样本对应的预测缺陷位置和预测缺陷类型后,就可以执行下述S104:
S104、根据各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对初始端塞焊缝缺陷检测模型的模型参数进行更新,以得到训练后的端塞焊缝缺陷检测模型。
示例地,端塞图像样本对应的预测缺陷位置可以通过设定长宽的锚框进行表示。
示例地,在本发明实施例中,根据各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对初始端塞焊缝缺陷检测模型的模型参数进行更新时,针对各端塞图像样本,可以根据端塞图像样本对应的缺陷位置和预测缺陷位置,构造端塞图像样本对应的回归损失函数;并根据端塞图像样本对应的缺陷类型和预测缺陷类型,构造端塞图像样本对应的分类损失函数;再根据各端塞图像样本对应的分类损失函数和回归损失函数,对初始端塞焊缝缺陷检测模型的模型参数进行更新,直至更新后的端塞焊缝缺陷检测模型收敛,并将收敛的端塞焊缝缺陷检测模型确定为最终训练得到的端塞焊缝缺陷检测模型。
示例地,根据各端塞图像样本对应的分类损失函数和回归损失函数,对初始端塞焊缝缺陷检测模型的模型参数进行更新时,针对各端塞图像样本,可以先根据端塞图像样本对应的分类损失函数和回归损失函数,确定端塞图像样本对应的目标损失;并根据端塞图像样本对应的目标损失;在确定出各端塞图像样本对应的目标损失后,可以根据各端塞图像样本对应的目标损失,确定多个目标损失对应的平均值;并根据平均值对初始端塞焊缝缺陷检测模型的模型参数进行更新,直至更新后的端塞焊缝缺陷检测模型收敛,并将收敛的端塞焊缝缺陷检测模型确定为最终训练得到的端塞焊缝缺陷检测模型。
可以看出,本发明实施例中,在训练端塞焊缝缺陷检测模型时,可以先获取多个端塞图像样本及其对应的缺陷位置和缺陷类型;对各端塞图像样本进行端塞焊缝定位处理及分割处理,得到各端塞图像样本对应的焊缝缺陷图像;将多个焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到各端塞图像样本对应的预测缺陷位置和预测缺陷类型;根据各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对初始端塞焊缝缺陷检测模型的模型参数进行更新,以得到训练后的端塞焊缝缺陷检测模型,这样通过深度学习使得训练得到的端塞焊缝缺陷检测模型,可以准确地检测出端塞焊缝的缺陷位置和缺陷类型,不仅提高了缺陷检测结果的准确度;而且可以提高缺陷检测效率。
上述图1所示的实施例详细地描述了在本发明实施例中,如何训练得到端塞焊缝缺陷检测模型,下面,将通过下述图8所示的实施例,对端塞焊缝缺陷检测模型的应用过程进行描述。
图8为本发明实施例提供的一种端塞焊缝缺陷检测方法的流程示意图,该端塞焊缝缺陷检测方法可以由软件和/或硬件装置执行。示例的,请参见图8所示,该端塞焊缝缺陷检测方法可以包括:
S801、获取待检测端塞图像。
示例地,获取待检测端塞图像时,可以直接获取待检测端塞图像,也可以先通过X光机拍摄获取端塞的X光片,并对X光片进行预处理,例如调整X光片的窗宽、窗位等参数,使得调整后的X光片更加清晰;并对调整后的X光片进行格式转换处理,得到待检测端塞图像。示例地,待检测端塞图像的图像格式可以为JPG、PNG等。
在获取到待检测端塞图像后,可以对待检测端塞图像进行端塞焊缝定位处理以及分割处理,即执行下述S802:
S802、对待检测端塞图像进行端塞焊缝定位处理以及分割处理,得到待检测端塞图像对应的焊缝缺陷图像。
示例地,在本发明实施例中,对待检测端塞图像进行端塞焊缝定位处理以及分割处理,可以先对待检测端塞图像进行端塞焊缝定位处理,得到包括端塞焊缝区域的区域图像,以定位出端塞焊缝区域,可结合上述图6所示,在定出端塞焊缝区域后,对包括端塞焊缝区域的区域图像进行分割处理,得到待检测端塞图像对应的焊缝缺陷图像,可结合上述图7所示,以分割出焊缝缺陷区域,得到焊缝缺陷区域对应的焊缝缺陷图像。
示例地,在对待检测端塞图像进行端塞焊缝定位处理时,可以采用YOLO算法对待检测端塞图像进行端塞焊缝定位处理,以从待检测端塞图像中定位出端塞焊缝区域;也可以采用其他目标检测算法,例如DPM算法对待检测端塞图像进行端塞焊缝定位处理,以从待检测端塞图像中定位出端塞焊缝区域,具体可以根据实际需要进行设置。
示例地,在对包括端塞焊缝区域的区域图像进行图像分割处理时,可以采用OpenCV算法对包括端塞焊缝区域的区域图像进行图像分割处理,以从包括端塞焊缝区域的区域图像中分割出焊缝缺陷区域,得到焊缝缺陷区域对应的焊缝缺陷图像;也可以采用其他图像分割算法,对包括端塞焊缝区域的区域图像进行图像分割处理,以从包括端塞焊缝区域的区域图像中分割出焊缝缺陷区域,得到焊缝缺陷区域对应的焊缝缺陷图像,具体可以根据实际需要进行设置。
在获取到待检测端塞图像对应的焊缝缺陷图像后,就可以将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,即执行下述S803:
S803、将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到待检测端塞图像对应的缺陷位置和缺陷类型;其中,端塞焊缝缺陷检测模型为上述实施例所示的端塞焊缝缺陷检测模型,缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
其中,缺陷位置表示缺陷所在的位置,缺陷类型表示缺陷所属的类型。
示例地,将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到待检测端塞图像对应的缺陷类型,包括:
将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中的输入网络中,并通过输入网络将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中的骨干网络中,得到焊缝缺陷图像对应的特征图;将焊缝缺陷图像对应的特征图输入至端塞焊缝缺陷检测模型中的检测头网络中,得到待检测端塞图像对应的缺陷位置和缺陷类型,并通过端塞焊缝缺陷检测模型中的输出网络输出待检测端塞图像对应的缺陷位置和缺陷类型,从而检测出待检测端塞图像对应的缺陷位置和缺陷类型。
可以看出,本发明实施例中,在进行端塞焊缝缺陷检测时,可以先获取待检测端塞图像;并对待检测端塞图像进行端塞焊缝定位处理以及分割处理,得到待检测端塞图像对应的焊缝缺陷图像;再将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到待检测端塞图像对应的缺陷位置和缺陷类型,这样通过深度学习训练得到的端塞焊缝缺陷检测模型,可以准确地检测出端塞焊缝的缺陷位置和缺陷类型,不仅提高了缺陷检测结果的准确度;而且可以提高缺陷检测效率。
下面对本发明提供的端塞焊缝缺陷检测模型训练装置和端塞焊缝缺陷检测装置进行描述,下文描述的端塞焊缝缺陷检测模型训练装置与上文描述的端塞焊缝缺陷检测模型训练方法可相互对应参照,端塞焊缝缺陷检测装置与上文描述的端塞焊缝缺陷检测方法可相互对应参照。
图9为本发明实施例提供的一种端塞焊缝缺陷检测模型训练装置的结构示意图,示例的,请参见图9所示,该端塞焊缝缺陷检测模型训练装置90可以包括:
第一获取单元901,用于获取多个端塞图像样本,以及各端塞图像样本对应的缺陷位置和缺陷类型;其中,缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
第一处理单元902,用于对各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到各端塞图像样本对应的焊缝缺陷图像。
第二处理单元903,用于将多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到各端塞图像样本对应的预测缺陷位置和预测缺陷类型。
更新单元904,用于根据各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对初始端塞焊缝缺陷检测模型的模型参数进行更新,以得到训练后的端塞焊缝缺陷检测模型。
可选地,初始端塞焊缝缺陷检测模型包括输入网络、骨干网络、检测头网络以及输出网络。
第二处理单元903,具体用于针对各端塞图像样本执行以下处理:
将端塞图像样本对应的焊缝缺陷图像输入至输入网络中,并通过输入网络将焊缝缺陷图像输入至骨干网络中,得到端塞图像样本对应的特征图;将端塞图像样本对应的特征图输入至检测头网络中,得到端塞图像样本对应的预测缺陷位置和预测缺陷类型,并通过输出网络输出端塞图像样本对应的预测缺陷位置和预测缺陷类型。
可选地,第一处理单元902,具体用于针对各端塞图像样本,对端塞图像样本进行定位处理,得到包括端塞焊缝区域的区域图像;对区域图像进行分割处理,得到端塞图像样本对应的焊缝缺陷图像。
可选地,第一获取单元901,具体用于获取第一数量个端塞图像样本;对第一数量个端塞图像样本进行拼接处理,得到多个端塞图像样本;其中,拼接处理包括随机缩放、随机裁剪、或者随机排布中的至少一种。
可选地,更新单元904,具体用于针对各端塞图像样本,根据端塞图像样本对应的缺陷位置和预测缺陷位置,构造端塞图像样本对应的回归损失函数;并根据端塞图像样本对应的缺陷类型和预测缺陷类型,构造端塞图像样本对应的分类损失函数;根据各端塞图像样本对应的分类损失函数和回归损失函数,对初始端塞焊缝缺陷检测模型的模型参数进行更新。
本发明实施例提供的端塞焊缝缺陷检测模型训练装置90,可以执行上述任一实施例中端塞焊缝缺陷检测模型训练方法的技术方案,其实现原理以及有益效果与端塞焊缝缺陷检测模型训练方法的实现原理及有益效果类似,可参见端塞焊缝缺陷检测模型训练方法的实现原理及有益效果,此处不再进行赘述。
图10为本发明实施例提供的一种端塞焊缝缺陷检测装置的结构示意图,示例的,请参见图10所示,该端塞焊缝缺陷检测装置100可以包括:
第二获取单元1001,用于获取待检测端塞图像。
第三处理单元1002,用于对待检测端塞图像进行端塞焊缝定位处理以及分割处理,得到待检测端塞图像对应的焊缝缺陷图像。
第四处理单元1003,用于将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到待检测端塞图像对应的缺陷位置和缺陷类型;其中,端塞焊缝缺陷检测模型为上述实施例训练得到的端塞焊缝缺陷检测模型,缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
可选地,第四处理单元1003,具体用于将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中的输入网络中,并通过输入网络将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中的骨干网络中,得到焊缝缺陷图像对应的特征图;将焊缝缺陷图像对应的特征图输入至端塞焊缝缺陷检测模型中的检测头网络中,得到待检测端塞图像对应的缺陷位置和缺陷类型,并通过端塞焊缝缺陷检测模型中的输出网络输出待检测端塞图像对应的缺陷位置和缺陷类型。
本发明实施例提供的端塞焊缝缺陷检测装置100,可以执行上述任一实施例中端塞焊缝缺陷检测方法的技术方案,其实现原理以及有益效果与端塞焊缝缺陷检测方法的实现原理及有益效果类似,可参见端塞焊缝缺陷检测方法的实现原理及有益效果,此处不再进行赘述。
图11为本发明实施例提供的一种电子设备的实体结构示意图,如图11所示,该电子设备可以包括:处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140,其中,处理器1110,通信接口1120,存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令,以执行端塞焊缝缺陷检测模型训练方法,或者端塞焊缝缺陷检测方法。
其中,端塞焊缝缺陷检测模型训练方法包括:获取多个端塞图像样本,以及各端塞图像样本对应的缺陷位置和缺陷类型;其中,缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种;对各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到各端塞图像样本对应的焊缝缺陷图像;将多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到各端塞图像样本对应的预测缺陷位置和预测缺陷类型;根据各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对初始端塞焊缝缺陷检测模型的模型参数进行更新,以得到训练后的端塞焊缝缺陷检测模型。
端塞焊缝缺陷检测方法包括:获取待检测端塞图像;对待检测端塞图像进行端塞焊缝定位处理以及分割处理,得到待检测端塞图像对应的焊缝缺陷图像;将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到待检测端塞图像对应的缺陷位置和缺陷类型;其中,端塞焊缝缺陷检测模型为上述实施例所示的端塞焊缝缺陷检测模型,缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
此外,上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的端塞焊缝缺陷检测模型训练方法,或者端塞焊缝缺陷检测方法。
其中,端塞焊缝缺陷检测模型训练方法包括:获取多个端塞图像样本,以及各端塞图像样本对应的缺陷位置和缺陷类型;其中,缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种;对各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到各端塞图像样本对应的焊缝缺陷图像;将多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到各端塞图像样本对应的预测缺陷位置和预测缺陷类型;根据各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对初始端塞焊缝缺陷检测模型的模型参数进行更新,以得到训练后的端塞焊缝缺陷检测模型。
端塞焊缝缺陷检测方法包括:获取待检测端塞图像;对待检测端塞图像进行端塞焊缝定位处理以及分割处理,得到待检测端塞图像对应的焊缝缺陷图像;将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到待检测端塞图像对应的缺陷位置和缺陷类型;其中,端塞焊缝缺陷检测模型为上述实施例所示的端塞焊缝缺陷检测模型,缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的端塞焊缝缺陷检测模型训练方法,或者端塞焊缝缺陷检测方法。
其中,端塞焊缝缺陷检测模型训练方法包括:获取多个端塞图像样本,以及各端塞图像样本对应的缺陷位置和缺陷类型;其中,缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种;对各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到各端塞图像样本对应的焊缝缺陷图像;将多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到各端塞图像样本对应的预测缺陷位置和预测缺陷类型;根据各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对初始端塞焊缝缺陷检测模型的模型参数进行更新,以得到训练后的端塞焊缝缺陷检测模型。
端塞焊缝缺陷检测方法包括:获取待检测端塞图像;对待检测端塞图像进行端塞焊缝定位处理以及分割处理,得到待检测端塞图像对应的焊缝缺陷图像;将焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到待检测端塞图像对应的缺陷位置和缺陷类型;其中,端塞焊缝缺陷检测模型为上述实施例所示的端塞焊缝缺陷检测模型,缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种端塞焊缝缺陷检测模型训练方法,其特征在于,包括:
获取多个端塞图像样本,以及各端塞图像样本对应的缺陷位置和缺陷类型;其中,所述缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种;
对所述各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到所述各端塞图像样本对应的焊缝缺陷图像;
将所述多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到所述各端塞图像样本对应的预测缺陷位置和预测缺陷类型;
根据所述各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对所述初始端塞焊缝缺陷检测模型的模型参数进行更新,以得到训练后的端塞焊缝缺陷检测模型。
2.根据权利要求1所述的端塞焊缝缺陷检测模型训练方法,其特征在于,所述初始端塞焊缝缺陷检测模型包括输入网络、骨干网络、检测头网络以及输出网络;所述将所述多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到所述各端塞图像样本对应的预测缺陷位置和预测缺陷类型,包括:
针对所述各端塞图像样本执行以下处理:
将所述端塞图像样本对应的焊缝缺陷图像输入至所述输入网络中,并通过所述输入网络将所述焊缝缺陷图像输入至所述骨干网络中,得到所述端塞图像样本对应的特征图;
将所述端塞图像样本对应的特征图输入至所述检测头网络中,得到所述端塞图像样本对应的预测缺陷位置和预测缺陷类型,并通过所述输出网络输出所述端塞图像样本对应的预测缺陷位置和预测缺陷类型。
3.根据权利要求1所述的端塞焊缝缺陷检测模型训练方法,其特征在于,所述对所述各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到所述各端塞图像样本对应的焊缝缺陷图像,包括:
针对所述各端塞图像样本,对所述端塞图像样本进行定位处理,得到包括端塞焊缝区域的区域图像;
对所述区域图像进行分割处理,得到所述端塞图像样本对应的所述焊缝缺陷图像。
4.根据权利要求1-3任一项所述的端塞焊缝缺陷检测模型训练方法,其特征在于,所述获取多个端塞图像样本,包括:
获取第一数量个端塞图像样本;
对所述第一数量个端塞图像样本进行拼接处理,得到所述多个端塞图像样本;其中,所述拼接处理包括随机缩放、随机裁剪、或者随机排布中的至少一种。
5.根据权利要求1-3任一项所述的端塞焊缝缺陷检测模型训练方法,其特征在于,所述根据所述各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对所述初始端塞焊缝缺陷检测模型的模型参数进行更新,包括:
针对所述各端塞图像样本,根据所述端塞图像样本对应的缺陷位置和预测缺陷位置,构造所述端塞图像样本对应的回归损失函数;并根据所述端塞图像样本对应的缺陷类型和预测缺陷类型,构造所述端塞图像样本对应的分类损失函数;
根据所述各端塞图像样本对应的分类损失函数和回归损失函数,对所述初始端塞焊缝缺陷检测模型的模型参数进行更新。
6.一种端塞焊缝缺陷检测方法,其特征在于,包括:
获取待检测端塞图像;
对所述待检测端塞图像进行端塞焊缝定位处理以及分割处理,得到所述待检测端塞图像对应的焊缝缺陷图像;
将所述焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到所述待检测端塞图像对应的缺陷位置和缺陷类型;其中,所述端塞焊缝缺陷检测模型为上述权利要求1-5任一项所述的端塞焊缝缺陷检测模型,所述缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
7.根据权利要求6所述的端塞焊缝缺陷检测方法,其特征在于,所述将所述焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到所述待检测端塞图像对应的缺陷类型,包括:
将所述焊缝缺陷图像输入至所述端塞焊缝缺陷检测模型中的输入网络中,并通过所述输入网络将所述焊缝缺陷图像输入至所述端塞焊缝缺陷检测模型中的骨干网络中,得到所述焊缝缺陷图像对应的特征图;
将所述焊缝缺陷图像对应的特征图输入至所述端塞焊缝缺陷检测模型中的检测头网络中,得到所述待检测端塞图像对应的缺陷位置和缺陷类型,并通过所述端塞焊缝缺陷检测模型中的输出网络输出所述待检测端塞图像对应的缺陷位置和缺陷类型。
8.一种端塞焊缝缺陷检测模型训练装置,其特征在于,包括:
第一获取单元,用于获取多个端塞图像样本,以及各端塞图像样本对应的缺陷位置和缺陷类型;其中,所述缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种;
第一处理单元,用于对所述各端塞图像样本进行端塞焊缝定位处理以及分割处理,得到所述各端塞图像样本对应的焊缝缺陷图像;
第二处理单元,用于将所述多个端塞图像样本各自对应的焊缝缺陷图像输入至初始端塞焊缝缺陷检测模型中,得到所述各端塞图像样本对应的预测缺陷位置和预测缺陷类型;
更新单元,用于根据所述各端塞图像样本对应的缺陷位置、缺陷类型、预测缺陷位置和预测缺陷类型,对所述初始端塞焊缝缺陷检测模型的模型参数进行更新,以得到训练后的端塞焊缝缺陷检测模型。
9.一种端塞焊缝缺陷检测装置,其特征在于,包括:
第二获取单元,用于获取待检测端塞图像;
第三处理单元,用于对所述待检测端塞图像进行端塞焊缝定位处理以及分割处理,得到所述待检测端塞图像对应的焊缝缺陷图像;
第四处理单元,用于将所述焊缝缺陷图像输入至端塞焊缝缺陷检测模型中,得到所述待检测端塞图像对应的缺陷位置和缺陷类型;其中,所述端塞焊缝缺陷检测模型为上述权利要求1-5任一项所述的端塞焊缝缺陷检测模型,所述缺陷类型包括气胀、未焊透、气孔、或者夹钨中的至少一种。
10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述的端塞焊缝缺陷检测模型训练方法;或者,实现如权利要求6至7任一项所述的端塞焊缝缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211093216.8A CN115187595A (zh) | 2022-09-08 | 2022-09-08 | 端塞焊缝缺陷检测模型训练方法、检测方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211093216.8A CN115187595A (zh) | 2022-09-08 | 2022-09-08 | 端塞焊缝缺陷检测模型训练方法、检测方法和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115187595A true CN115187595A (zh) | 2022-10-14 |
Family
ID=83522396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211093216.8A Pending CN115187595A (zh) | 2022-09-08 | 2022-09-08 | 端塞焊缝缺陷检测模型训练方法、检测方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115187595A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102175700A (zh) * | 2011-01-20 | 2011-09-07 | 山东大学 | 数字x射线图像焊缝分割和缺陷检测方法 |
US20120092488A1 (en) * | 2010-10-13 | 2012-04-19 | Mitutoyo Corporation | Precision solder resist registration inspection method |
CN109115812A (zh) * | 2018-08-23 | 2019-01-01 | 中国石油大学(北京) | 一种焊缝底片缺陷识别方法及系统 |
CN109900706A (zh) * | 2019-03-20 | 2019-06-18 | 易思维(杭州)科技有限公司 | 一种基于深度学习的焊缝及焊缝缺陷检测方法 |
CN109919934A (zh) * | 2019-03-11 | 2019-06-21 | 重庆邮电大学 | 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 |
CN110570410A (zh) * | 2019-09-05 | 2019-12-13 | 河北工业大学 | 一种自动识别检测焊缝缺陷的检测方法 |
CN112365491A (zh) * | 2020-11-27 | 2021-02-12 | 上海市计算技术研究所 | 容器焊缝检测的方法、电子设备及存储介质 |
CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
CN113674247A (zh) * | 2021-08-23 | 2021-11-19 | 河北工业大学 | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 |
CN114596309A (zh) * | 2022-04-07 | 2022-06-07 | 上海电气集团股份有限公司 | 焊缝缺陷的检测、模型训练方法、系统、设备和存储介质 |
CN114862745A (zh) * | 2021-02-04 | 2022-08-05 | 中国石油天然气股份有限公司 | 焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置 |
-
2022
- 2022-09-08 CN CN202211093216.8A patent/CN115187595A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120092488A1 (en) * | 2010-10-13 | 2012-04-19 | Mitutoyo Corporation | Precision solder resist registration inspection method |
CN102175700A (zh) * | 2011-01-20 | 2011-09-07 | 山东大学 | 数字x射线图像焊缝分割和缺陷检测方法 |
CN109115812A (zh) * | 2018-08-23 | 2019-01-01 | 中国石油大学(北京) | 一种焊缝底片缺陷识别方法及系统 |
CN109919934A (zh) * | 2019-03-11 | 2019-06-21 | 重庆邮电大学 | 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 |
CN109900706A (zh) * | 2019-03-20 | 2019-06-18 | 易思维(杭州)科技有限公司 | 一种基于深度学习的焊缝及焊缝缺陷检测方法 |
CN110570410A (zh) * | 2019-09-05 | 2019-12-13 | 河北工业大学 | 一种自动识别检测焊缝缺陷的检测方法 |
CN112365491A (zh) * | 2020-11-27 | 2021-02-12 | 上海市计算技术研究所 | 容器焊缝检测的方法、电子设备及存储介质 |
CN114862745A (zh) * | 2021-02-04 | 2022-08-05 | 中国石油天然气股份有限公司 | 焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置 |
CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
CN113674247A (zh) * | 2021-08-23 | 2021-11-19 | 河北工业大学 | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 |
CN114596309A (zh) * | 2022-04-07 | 2022-06-07 | 上海电气集团股份有限公司 | 焊缝缺陷的检测、模型训练方法、系统、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3916635A1 (en) | Defect detection method and apparatus | |
CN111784673B (zh) | 缺陷检测模型训练和缺陷检测方法、设备及存储介质 | |
CN110874841A (zh) | 参照边缘图像的客体检测方法及装置 | |
CN110956081B (zh) | 车辆与交通标线位置关系的识别方法、装置及存储介质 | |
CN112950561B (zh) | 光纤端面缺陷检测方法、设备及存储介质 | |
US11823457B2 (en) | Image recognition method and apparatus, based on context representation, and computer-readable storage medium | |
CN114155213A (zh) | 基于主动学习的芯片缺陷检测方法和装置 | |
CN113066088A (zh) | 工业检测中的检测方法、检测装置和存储介质 | |
CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
KR102325347B1 (ko) | 머신러닝 기반 결함 분류 장치 및 방법 | |
US20210056429A1 (en) | Apparatus and methods for converting lineless tables into lined tables using generative adversarial networks | |
CN115994900A (zh) | 基于迁移学习的无监督缺陷检测方法和系统、存储介质 | |
CN115690102A (zh) | 缺陷检测方法、装置、电子设备、存储介质和程序产品 | |
CN115223043A (zh) | 一种草莓缺陷检测方法、装置、计算机设备及存储介质 | |
CN112633100B (zh) | 行为识别方法、装置、电子设备和存储介质 | |
CN115187595A (zh) | 端塞焊缝缺陷检测模型训练方法、检测方法和电子设备 | |
CN112396594A (zh) | 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质 | |
CN116596895A (zh) | 一种变电设备图像缺陷识别方法及系统 | |
CN113837184B (zh) | 一种蚊虫检测方法、设备及存储介质 | |
CN114119970B (zh) | 目标跟踪方法及装置 | |
CN115860026A (zh) | 条码检测方法、装置、条码检测设备和可读存储介质 | |
CN115690101A (zh) | 缺陷检测方法、装置、电子设备、存储介质和程序产品 | |
CN115578362A (zh) | 电极涂层的缺陷检测方法、装置、电子设备及介质 | |
CN115080038A (zh) | 图层处理方法、模型生成方法及设备 | |
CN113111730B (zh) | 快速高精度的图像模糊检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221014 |