CN111862067A - 一种焊接缺陷检测方法、装置、电子设备以及存储介质 - Google Patents

一种焊接缺陷检测方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN111862067A
CN111862067A CN202010738232.2A CN202010738232A CN111862067A CN 111862067 A CN111862067 A CN 111862067A CN 202010738232 A CN202010738232 A CN 202010738232A CN 111862067 A CN111862067 A CN 111862067A
Authority
CN
China
Prior art keywords
network model
training
defect
learning network
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010738232.2A
Other languages
English (en)
Other versions
CN111862067B (zh
Inventor
翁佩纯
贺朝辉
邹昆
董帅
龙冬方
李蓉
文琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Xiangshan Electronic Technology Co.,Ltd.
Zhongshan Camry Electronic Co Ltd
University of Electronic Science and Technology of China Zhongshan Institute
Original Assignee
Zhongshan Camry Electronic Co Ltd
University of Electronic Science and Technology of China Zhongshan Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Camry Electronic Co Ltd, University of Electronic Science and Technology of China Zhongshan Institute filed Critical Zhongshan Camry Electronic Co Ltd
Priority to CN202010738232.2A priority Critical patent/CN111862067B/zh
Publication of CN111862067A publication Critical patent/CN111862067A/zh
Application granted granted Critical
Publication of CN111862067B publication Critical patent/CN111862067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种焊接缺陷检测方法、装置、电子设备以及存储介质，涉及缺陷检测领域。通过构建样本数据集；样本数据集包括多张包含焊点区域且经过预处理的图像，然后构建多任务学习网络模型，其中，多任务学习网络模型包括至少两个子网络，至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息，再利用样本数据集训练多任务学习网络模型，再将训练后的多任务学习网络模型输出的预测结果输入决策融合模型，以依据决策融合模型确定至少两个子网络的权重，最后对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据决策融合模型确定的权重输出预测结果。本申请具有测试方便且精度高的效果。

Description

一种焊接缺陷检测方法、装置、电子设备以及存储介质
技术领域
本申请涉及缺陷检测领域，具体而言，涉及一种焊接缺陷检测方法、装置、电子设备以及存储介质。
背景技术
在现有的称重传感器制作过程中，应变片则是其最常采用的传感元件。应变片的焊点焊接质量直接影响其性能的好坏，因此监测传感器的焊点焊接的质量对提高传感器产品质量至关重要。
传感器焊接缺陷包含贴片多锡、少锡、漏焊、短路等，由于应变片尺寸小，靠人工观察发现缺陷增加了检测人员的工作量，容易误判，同时效率低，与生产流水线的速度不匹配。
为了更加迅速的实现缺陷检测，目前常用的焊接质量检测方法包括X射线检测、红外激光检测、电气检测以及传统机器视觉检测。然而，X射线和红外线激光检测虽然可以对多种类型的焊点进行检测，但由于设备价格昂贵，不适合大规模的应用。电气检测能有效地检查出目视检测所不能发现的微小裂痕和连桥等，但采用的离线检测不能及时反馈信息，同时也存在着效率低的缺点。传统视觉检测方法采用的基于统计特征的参考比较法对于焊锡过量、焊锡合适、焊锡少量的检测相对困难。
综上所述，目前基于传感器焊接缺陷检测的方法并不完善。
发明内容
本申请的目的在于提供一种焊接缺陷检测方法、装置、电子设备以及存储介质，以解决现有技术中基于传感器焊接缺陷检测的方法并不完善的问题。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种焊接缺陷检测方法，包括：
构建样本数据集；所述样本数据集包括多张包含焊点区域且经过预处理的图像；
构建多任务学习网络模型，其中，所述多任务学习网络模型包括至少两个子网络，所述至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息；
利用所述样本数据集训练所述多任务学习网络模型；
将训练后的所述多任务学习网络模型输出的预测结果输入决策融合模型，以依据所述决策融合模型确定所述至少两个子网络的权重；
对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据所述决策融合模型确定的权重输出预测结果。
第二方面，本申请实施例还提供了一种焊接缺陷检测装置，包括：
数据集构建模块，用于构建样本数据集；所述样本数据集包括多张包含焊点区域且经过预处理的图像；
网络模型构建模块，用于构建多任务学习网络模型，其中，所述多任务学习网络模型包括至少两个子网络，所述至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息；
训练模块，用于利用所述样本数据集训练所述多任务学习网络模型；
权重确定模块，用于将训练后的所述多任务学习网络模型输出的预测结果输入决策融合模型，以依据所述决策融合模型确定所述至少两个子网络的权重；
测试结果输出模块，用于对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据所述决策融合模型确定的权重输出预测结果。
第三方面，本申请实施例提供一种电子设备，包括：存储器，用于存储一个或多个程序；处理器；当所述一个或多个程序被所述处理器执行时，实现上述的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。
相对于现有技术，本申请实施例具有以下有益效果：
本申请实施例提供了一种焊接缺陷检测方法、装置、电子设备以及存储介质，通过构建样本数据集；样本数据集包括多张包含焊点区域且经过预处理的图像，然后构建多任务学习网络模型，其中，多任务学习网络模型包括至少两个子网络，至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息，再利用样本数据集训练多任务学习网络模型，再将训练后的多任务学习网络模型输出的预测结果输入决策融合模型，以依据决策融合模型确定至少两个子网络的权重，最后对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据决策融合模型确定的权重输出预测结果。本申请能够通过训练多任务学习网络模型的方式，最终实现对焊点区域进行缺陷位置信息与缺陷分类信息的检测。一方面，其检测方式更加简单，在训练完成后，只需将焊点区域的图片输入该网络模型，即可输出相应的结果。另一方面，由于多任务网络模型中包括至少两个子网络，因此其预测精度更高，效果更好。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的电子设备的框图。
图2为本申请实施例提供的焊接缺陷检测方法的流程图。
图3为本申请实施例提供的图2中S102的子步骤的流程图。
图4为本申请实施例提供的图2中S106的子步骤的流程图。
图5为本申请实施例提供的多任务学习网络模型的框图。
图6为本申请实施例提供的图2中S108的子步骤的流程图。
图7为本申请实施例提供的决策融合模型的框图。
图8为本申请实施例提供的焊接缺陷检测装置的模块示意图。
图9为本申请实施例提供的数据集构建模块的模块示意图。
图10为本申请实施例提供的训练模块的模块示意图。
图11为本申请实施例提供的权重确定模块的模块示意图。
图中：100-电子设备；101-处理器；102-存储器；103-通信接口；200-焊接缺陷检测装置；210-数据集构建模块；220-网络模型构建模块；230-训练模块；240-权重确定模块；250-测试结果输出模块；211-数据采集单元；212-图像处理单元；213-缺陷标注单元；214-数据增强单元；231-参数预设单元；232-模型训练单元；233-参数确定单元；241-结果获取单元；242-样本确定单元；243-数据处理单元；244-权重确定单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
正如背景技术中所述，为了更加迅速的实现焊点的缺陷检测，目前常用的焊接质量检测方法包括X射线检测、红外激光检测、电气检测以及传统机器视觉检测。
其中，X射线检测利用射线穿透物质的衰减特性来检测缺陷情况，主要用来检测内部缺陷。红外激光检测用红外激光照射焊点，使焊点的温度先升高再降回到室内气温，通过比较升降曲线和标准曲线来判别焊点的缺陷。电气检测是产品在加载条件下通电，以检测是否满足所要求的规范，其能有效地查出目视检测所不能发现的微小裂纹和桥连等。检测时可使用各种电气测量仪，检测导通不良及在钎焊过程中引起的元器件热损坏。传统机器视觉检测的焊点质量测量一般是基于统计特征的，采集合格产品的图像，提取标准图像分类特征，进行统计建模，通过运用参考比较法从待测图像中提取特征和标准焊点图像进行分析比较，能检测的焊点缺陷有桥连(相邻焊点短路)、收锡(焊点偏向收缩于单个被焊物)、虚焊(焊点脱离焊盘)、焊珠(焊点附近溅附微小焊料球)、空洞(焊点中间有气泡)等缺陷。
然而，X射线和红外线激光检测虽然可以对多种类型的焊点进行检测，但由于设备价格昂贵，不适合大规模的应用。电气检测能有效地检查出目视检测所不能发现的微小裂痕和连桥等，但采用的离线检测不能及时反馈信息，同时也存在着效率低的缺点。传统视觉检测方法采用的基于统计特征的参考比较法对于焊锡过量、焊锡合适、焊锡少量的检测相对困难。且需对图像预先提取特征，然而，显式的特征提取并不容易，容易导致后期图像处理算法效率较低，在一些应用问题中也并非总是可靠，与生产流水线的速度不匹配。
综上所述，目前基于传感器焊接缺陷检测的方法并不完善。
有鉴于此，本申请提供了一种焊接缺陷检测方法，以通过训练多任务学习网络模型的方式，实现对焊接缺陷的检测，其检测方法简单，且检测精度高。
需要说明的是，本申请提供的焊接缺陷检测方法可以应用于电子设备100中，图1示出本申请实施例提供的电子设备100的一种示意性结构框图，电子设备100包括存储器102、处理器101和通信接口103，该存储器102、处理器101和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器102可用于存储软件程序及模块，如本申请实施例提供的焊接缺陷检测装置200对应的程序指令或模块，处理器101通过执行存储在存储器102内的软件程序及模块，从而执行各种功能应用以及数据处理，进而执行本申请实施例提供的焊接缺陷检测方法的步骤。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器102可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器101可以是一种集成电路芯片，具有信号处理能力。该处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图1所示的结构仅为示意，电子设备100还可以包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
下面以电子设备100作为示意性执行主体，对本申请实施例提供的焊接缺陷检测方法进行示例性说明。
图2示出了本申请实施例提供的焊接缺陷检测方法的一种示意性流程图，可以包括以下步骤：
S102，构建样本数据集；样本数据集包括多张包含焊点区域且经过预处理的图像。
S104，构建多任务学习网络模型，其中，多任务学习网络模型包括至少两个子网络，至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息。
S106，利用样本数据集训练多任务学习网络模型。
S108，将训练后的多任务学习网络模型输出的预测结果输入决策融合模型，以依据决策融合模型确定至少两个子网络的权重。
S110，对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据决策融合模型确定的权重输出预测结果。
其中，本申请采用基于深度学习多任务学习网络模型进行焊接缺陷的检测，通过经过预处理的图像数据构建出样本数据集，然后利用样本数据集训练构建好的多任务学习网络模型，并依据决策融合模型确定多任务学习网络模型中至少两个子网络的权重，进而确定出适用的多任务网络模型及其相应的权重。当需要进行焊接缺陷的检测时，可以直接将采集到的相应焊点区域图形输入至该多任务学习网络模型中，该网络模型即可自动输出检测结果。
与现有技术相比，本申请提供的焊接缺陷检测方法方便快捷，且由于采用至少两个自网络进行检测，因此其检测精度更高，更加适于实用。
作为一种实现方式，请参阅图3，S102包括：
S1021，对预设的样本图像进行采集。
S1022，对采集的图像进行图像增强处理，并对增强后的图像进行图像分割，以分割出焊点区域图像。
S1023，对焊点区域图像进行缺陷位置与缺陷分类信息标注。
S1024，将缺陷位置与缺陷分类信息标注后的焊点区域图像进行数据增强处理，以构建样本数据集。
在构建样本数据集时，首先需要对样本图像进行采集，可选地，采集的样本图像中可以包括存在焊接缺陷的图像，也可以包括不存在焊接缺陷的图像。例如，样本图像的数量为500张，该500张图像中，可以包括未存在焊接缺陷的图像以及存在焊接缺陷的图图像。由于焊接缺陷包括多锡、少锡、缺焊以及短路等多种缺陷，为了使样本图像尽量丰富，选取的样本图像中需包括所有缺陷类型的图像，进而在后续的训练过程中的效果更佳。
例如，样本图像的数量为500张，其中可以包括，存在多锡缺陷的图像为100张，存在少锡缺陷的图像为100张，存在缺焊缺陷的图像为100张，存在短路缺陷的图像为100张，未存在缺陷的图像为100张。
针对采集的图像，需要对图像进行预处理，其中，需要先对图像进行增强处理，进行增强处理后的图像的显示效果更好，然后再进行图像分割。作为一种实现方式，可以采用中值滤波算法进行平滑额处理，然后通过灰度变换处理进行图像增强。对于增强后的图像，采用基于边缘方向梯度的模板匹配算法，快速定位到应变片位置和焊盘位置，从而分割出有效的焊点区域图像。需要说明的是，在使用基于边缘方向梯度的模板匹配算法时，实质为将增强后的图像与模板进行匹配，若能匹配，则分割出焊点区域图像；若不能匹配，则重新进行中值滤波与图像增强的过程，直至模板匹配成功。
由于焊接缺陷包括多锡、少锡、缺焊以及短路等类型，因此在进行训练之前，需要先对分割后的图像进行标注，其中，标注的数据包括缺陷位置与缺陷分类信息。
需要说明的是，由于在分割后的图像中包括没有焊接缺陷的图像，因此对于没有焊接缺陷的图像，也需要对其进行标注，例如标注为正常，表示该分割后的图像中未出现焊接缺陷。
可选地，工作人员可采用labelImg对分割后的图像进行标注，当然地，在其它的一些实施例中，也可以采用其它方式对分割后的图像进行标注，本申请对此并不做任何限定。
由于在训练过程中，样本数据集中的样本数量越大，其训练精度越高，因此，还需要对标注后的图像进行数据增强处理，进而构建样本数据更加完善的样本数据集。其中，本申请所述的数据增强，指扩大样本数据集中的样本数量，数据增强的处理方式包括但不限于将批注后的图像进行平移、旋转以及镜像等处理，进而使样本数据集中的数量更多。例如，批注的图像为500张，在进行数据增强处理后，样本数据集中的数量扩大为00张，进而以该00张图像作为样本数据集，以实现后续对网络模型的训练。
作为一种实现方式，S104包括：
S1041，构建包括主干网络、多标签分类子网络以及缺陷目标检测网络的多任务学习网络模型；其中，主干网络用于依据深度卷积神经网络提取待训练目标的特征向量；多标签分类子网络用于将特征向量经过自适应最大池化层与自适应平均池化层，得到两个一维张量，并将一维张量经过全连接层与激活函数，以获取每个缺陷分类信息的置信度，并选取置信度大于阈值的类别作为分类结果，以输出缺陷分类信息；缺陷目标检测网络用于将特征向量输入凸集单元与第一卷积，再经过第二卷积，以输出缺陷位置的回归预测值和缺陷的分类的概率预测值。
其中，焊接质量缺陷检测任务包含分类任务和检测任务。分类任务解决图像包含哪些缺陷的问题，由于一幅图像中包含多个焊点，可能存在多种缺陷，因此该分类问题属于多标签分类。检测任务要解决图像中的缺陷分类和定位问题，属于目标检测。因此，本申请提供了一种多任务学习网络模型，能够同时对缺陷位置与缺陷分类信息进行检测。
请参阅图4，本申请提供了一种示例性的多任务学习网络模型，其包括主干网络、多标签分类子网络以及缺陷目标检测网络，当然地，在其它的一些实施例中，子网络的数量可能更多，本申请对此并不做任何限定。
作为一种可选的实现方式，本申请提供的主干网络选用深度卷积神经网络Darknet-53，如图所示，其能够对网络输出的8倍降采样特征图进行2倍上采样，将得到的特征图与第2个残差块输出的4倍降采样特征图进行张量拼接，从而得到4倍降采样的目标检测特征图，供后续两个任务分支网络共享使用。
多标签分类网络能够将上述的特征向量(即目标检测特征图)，分别经过自适应最大池化层和自适应平均池化层，得到的两个一维的张量，经过拼接，再经过全连接层和Sigmoid激活函数，得到每个类别的置信度，选取置信度大于阈值的类别作为分类结果，以输出缺陷分类信息，从而判断图像中包含哪些种类的缺陷。可选地，该阈值可以设置为0.5。
缺陷目标检测网络将上述的特征向量(即目标检测特征图)，输入到凸集单元与第一卷积，再输入第二卷积，进而得出目标位置的回归预测和目标分类的概率预测，以输出缺陷位置的回归预测值和缺陷的分类的概率预测值。可选地，凸集单元可以为Conv Set单元，第一卷积可以为Conv 3*3卷积，第二卷积可以为1*1卷积。
作为一种实现方式，请参阅图5，S106包括：
S1061，预设多任务学习网络模型的训练参数。
S1062，预设目标函数，以对至少两个子网络的任务损失进行正则化约束。
S1063，将样本数据集输入多任务学习网络模型，并依据训练参数与目标函数对多任务学习网络模型进行训练，并保存训练的过程中的训练参数。
S1064，当训练停止时，选取任务损失最小的训练参数作为目标训练参数。
当需要进行训练时，首先需要对多任务学习网络模型进行网络超参数设置。作为一种实现方式，可将多任务学习网络模型的参数设置为网络的输入为416×416大小的三通道彩色图像，训练时batch_size(批尺寸)设置为20，学习率设为0.001，衰减系数设为0.0005。
在设置训练参数后，还需要设置目标函数，对每项任务损失进行正则化约束。可选地，本申请采用高斯过程对多任务学习网络模型的失进行正则化约束。
作为一种实现方式，单项任务的损失函数为：
Figure BDA0002605748460000131
其中，Loss表示损失函数，σ表示噪声，L(W)表示每项任务损失。由于本申请提供的对多任务学习网络模型中包括多标签分类子网络与缺陷目标检测网络，因此，该多任务学习网络模型的损失函数实际为两个子网络的任务损失之和。
即该对多任务学习网络模型的损失函数可以表示为：
Figure BDA0002605748460000141
其中，σ1与σ2均表示任务噪声，Ltotal表示所述多任务学习网络模型总的任务损失，Llabel与Lobj分别表示至少两个子网络的任务损失。可以理解地，作为一种实现方式，Llabel为多标签分类子网络的损失，σ1为多标签分类子网络的噪声；Lobj为缺陷目标检测网络的损失，σ2为缺陷目标检测网络的噪声。
作为一种实现方式，设置多标签分类子网络的损失函数包括：
在多标签分类网络训练过程中，通过计算每个样本在各个标签上的损失，将其转换为每个标签二分类问题的损失。使用二分类交叉熵作为损失函数。
在此基础上，多标签分类子网络的损失函数满足公式：
Figure BDA0002605748460000142
其中，yi和
Figure BDA0002605748460000143
分别表示样本每个标签的真实值和预测值。
作为一种实现方式，缺陷目标检测网络的损失函数的公式可以为：
Lobj＝Lcoord+Lconf+Lclass
其中，Lcoord为预测框中心和宽高误差，其计算公式如下：
Figure BDA0002605748460000151
其中，i表示第几个网格，一共有S*S个网格；j表示某个网格的第几个预测边框，一共有B个预测框；obj代表该框对应了真实物体；noobj代表该框没有真实物体。
Figure BDA0002605748460000152
表示第i个网格的第j个anchor box是否负责这个object，如果负责那么
Figure BDA0002605748460000153
否则为0。
Figure BDA0002605748460000154
Figure BDA0002605748460000155
表示预框的中心横坐标、纵坐标、宽、高；
Figure BDA0002605748460000156
表示对应的真实值。λcoord是调节位置损失的权重参数。
Lconf为置信度误差，其计算公式如下：
Figure BDA0002605748460000157
其中，
Figure BDA0002605748460000158
为预测置信度，
Figure BDA0002605748460000159
为真实置信度。λnoobj为调节负样本置信度的权重参数，默认为0.5。
Lclass为分类误差，其计算公式如下：
Figure BDA00026057484600001510
其中，
Figure BDA00026057484600001511
表示第i网格内存在第j类目标的概率预测值，
Figure BDA00026057484600001512
为真实值。
在设置训练参数与目标函数后，可将样本数据集输入多任务学习网络模型，并依据训练参数与目标函数对多任务学习网络模型进行训练，在训练网络中并保存模型的网络结构和参数。对多任务的训练，将任务权重作为网络参数进行学习，对每项任务的损失进行加权求和作为总网络的损失，采用随机梯度下降，动量因子为0.9，权重衰减系数为0.0001。本发明对网络进行500次epoch训练，保存过程中的部分模型。训练停止时，选取在测试集上表现最好的模型，并保存网络参数及各项任务的权重。作为一种实现方式，可以选取任务损失最小的模型作为训练好的模型，其对应的训练参数即为目标训练参数，可以理解地，该训练参数即为上述的网络参数及各项任务的权重。
作为一种实现方式，请参阅图6，S108包括：
S1081，将样本数据集划分为第一训练集与第一测试集，并将多任务学习网络模型分别在第一训练集与第一测试集上进行预测，并获取测试结果，其中，测试结果中包括多个训练样本，且每个训练样本均对应一个样本置信度。
S1082，依据每个样本置信度与预设的置信度阈值的比较结果确定是否保留训练样本。
S1083，依据至少两个子网络对应保留的训练样本与预设初始权重值相乘后进行和合并，以获取第二训练集与第二测试集。
S1084，利用第二测试集与第二训练集对决策融合模型进行测试，并以训练后的结果确定至少两个子网络的权重。
由于多任务学习网络模型包括两个子网络，因此其两个子网络均会输出预测结果。有鉴于此，还需要确定两个子网络输出的预测结果的权重，进而实现数据融合。
作为一种实现方式，本申请采用基于Stacking的决策融合模型，模型采用MutiLabel-KNN作为预测算法，进而确定出两个自网络的输出结果的权重。
其中，在确定样本数据集时，实际可将样本数据集划分为第一训练集与第一测试集，并将多任务学习网络模型分别在第一训练集与第一测试集上进行预测，并获取测试结果，分别记为P1，T1，P2，T2，其中，P表示训练集预测结果，T表示测试集预测结果，进一步，P1表示多标签分类子网络的训练集预测结果，T1表示多标签分类子网络的测试集预测结果，P2表示缺陷目标检测网络的训练集预测结果，T2表示缺陷目标检测网络的测试集预测结果。可以理解地，P1，T1，P2，T2均包括多个训练样本对应的结果。
其中，对缺陷目标检测子网络的预测结果为(x′，y′，w′，h′，c′)，先按照焊点位置和大小的先验知识，设定几组目标位置和宽高阈值(x，y，w，h，c)，其中x，y表示焊点所在位置横纵坐标，w，h表示焊盘区宽高，c为预设的置信度阈值，取0.5为初始值。若的预测结果中的置信度c′若大于置信度阈值c，则进一步计算预测框与各先验位置的欧式距离，如果计算的欧式距离超出设定阈值，则从P2或T2中去除该项训练样本。其中，欧式距离公式为
Figure BDA0002605748460000171
通过上述处理后，可筛选出部分训练样本，同时，将剩余训练样本与预设初始权重值相乘后进行和合并，以获取第二训练集与第二测试集，并通过第二训练集与第二测试集对决策融合模型进行测试，以依据训练后的结果确定至少两个子网络的权重。
作为一种实现方式，预设初始权重值可以为w1，w2，分别把P1，P2以及T1，T2乘以初识权值w1，w2，再分别合并，进而可以得到第二训练集Train2与第二测试集Test2。其中，第二训练集Train2与第二测试集Test2可以表示为：
Figure BDA0002605748460000181
可选地，当利用第二训练集Train2与第二测试集Test2训练决策融合模型时，采用MutiLabel-KNN作为算法预测规则，预测最终标签结果，其预测过程如图7所示。
在进行训练后，可设置权重调整策略，根据测试集的验证数据不断迭代子任务的权重Wi，通过引入奖惩因子
Figure BDA0002605748460000182
对权重进行调整，各子任务对自身权重分别抽取出
Figure BDA0002605748460000183
的权重作为总奖惩因子，之后对验证正确的子任务，分配
Figure BDA0002605748460000184
的权重，进而可以确定出本申请提供的两个子网络的权重。
在上述多任务学习网络模型与决策融合模型均训练完成后，可通过搭建在生产流水线上的视觉设备，例如光源、工业相机或镜头等设备，采集称重传感器的产品图像，然后对该产品图像进行预处理与图像分割，得到待检测的图像。
将上述待检测的图像放入多任务学习网络模型进行缺陷检测，经过决策融合系统，输出并保存预测结果。当产品合格时，输出产品合格信号；当产品不合格时输出不合格信号，并标记出缺陷位置和缺陷类型。
基于与上述焊接缺陷检测方法相同的发明构思，请参阅图8，本申请还提供了一种焊接缺陷检测装置200，该焊接缺陷检测装置200包括数据集构建模块210、网络模型构建模块220、训练模块230、权重确定模块240以及测试结果输出模块250。其中，
数据集构建模块210，用于构建样本数据集；样本数据集包括多张包含焊点区域且经过预处理的图像。
可以理解地，通过数据集构建模块210能够执行上述的S102。
网络模型构建模块220，用于构建多任务学习网络模型，其中，多任务学习网络模型包括至少两个子网络，至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息。
可以理解地，通过网络模型构建模块220能够执行上述的S104。
训练模块230，用于利用样本数据集训练多任务学习网络模型。
可以理解地，通过训练模块230能够执行上述的S106。
权重确定模块240，用于将训练后的多任务学习网络模型输出的预测结果输入决策融合模型，以依据决策融合模型确定至少两个子网络的权重。
可以理解地，通过权重确定模块240能够执行上述的S108。
测试结果输出模块250，用于对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据决策融合模型确定的权重输出预测结果。
可以理解地，通过测试结果输出模块250能够执行上述的S110。
其中，请参阅图9，数据集构建模块210包括：
数据采集单元211，用于对预设的样本图像进行采集。
可以理解地，通过数据采集单元211能够执行上述的S1021。
图像处理单元212，对采集的图像进行图像增强处理，并对增强后的图像进行图像分割，以分割出焊点区域图像。
可以理解地，通过图像处理单元212能够执行上述的S1022。
缺陷标注单元213，用于对焊点区域图像进行缺陷位置与缺陷分类信息标注；
可以理解地，通过缺陷标注单元213能够执行上述的S1023。
数据增强单元214，用于将缺陷位置与缺陷分类信息标注后的焊点区域图像进行数据增强处理，以构建样本数据集。
可以理解地，通过数据增强单元214能够执行上述的S1024。
其中，网络模型构建模块220用于构建包括主干网络、多标签分类子网络以及缺陷目标检测网络的多任务学习网络模型；其中，主干网络用于依据深度卷积神经网络提取待训练目标的特征向量；多标签分类子网络用于将特征向量经过自适应最大池化层与自适应平均池化层，得到两个一维张量，并将一维张量经过全连接层与激活函数，以获取每个缺陷分类信息的置信度，并选取置信度大于阈值的类别作为分类结果，以输出缺陷分类信息；缺陷目标检测网络用于将特征向量输入凸集单元与第一卷积，再经过第二卷积，以输出缺陷位置的回归预测值和缺陷的分类的概率预测值。
请参阅图10，训练模块230包括：
参数预设单元231，用于预设多任务学习网络模型的训练参数。
可以理解地，通过参数预设单元231能够执行上述的S1061。
参数预设单元231，还用于预设目标函数，以对至少两个子网络的任务损失进行正则化约束。
可以理解地，通过参数预设单元231能够执行上述的S1062。
模型训练单元232，用于将样本数据集输入多任务学习网络模型，并依据训练参数与目标函数对多任务学习网络模型进行训练，并保存训练的过程中的训练参数。
可以理解地，通过模型训练单元232能够执行上述的S1063。
参数确定单元233，用于当训练停止时，选取任务损失最小的训练参数作为目标训练参数。
可以理解地，通过参数确定单元233能够执行上述的S1064。
其中，请参阅图11，权重确定模块240包括：
结果获取单元241，用于将样本数据集划分为第一训练集与第一测试集，并将多任务学习网络模型分别在第一训练集与第一测试集上进行预测，并获取测试结果，其中，测试结果中包括多个训练样本，且每个训练样本均对应一个样本置信度。
可以理解地，通过结果获取模块能够执行上述的S1081。
样本确定单元242，用于依据每个样本置信度与预设的置信度阈值的比较结果确定是否保留训练样本。
可以理解地，通过样本确定单元242能够执行上述的S1082。
数据处理单元243，用于依据至少两个子网络对应保留的训练样本与预设初始权重值相乘后进行和合并，以获取第二训练集与第二测试集。
可以理解地，通过数据处理单元243能够执行上述的S1083。
权重确定单元244，用于利用第二测试集与第二训练集对决策融合模型进行测试，并以训练后的结果确定至少两个子网络的权重。
可以理解地，通过数据处理单元243能够执行上述的S1084。
综上所述，本申请实施例提供了一种焊接缺陷检测方法、装置、电子设备以及存储介质，通过构建样本数据集；样本数据集包括多张包含焊点区域且经过预处理的图像，然后构建多任务学习网络模型，其中，多任务学习网络模型包括至少两个子网络，至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息，再利用样本数据集训练多任务学习网络模型，再将训练后的多任务学习网络模型输出的预测结果输入决策融合模型，以依据决策融合模型确定至少两个子网络的权重，最后对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据决策融合模型确定的权重输出预测结果。本申请能够通过训练多任务学习网络模型的方式，最终实现对焊点区域进行缺陷位置信息与缺陷分类信息的检测。一方面，其检测方式更加简单，在训练完成后，只需将焊点区域的图片输入该网络模型，即可输出相应的结果。另一方面，由于多任务网络模型中包括至少两个子网络，因此其预测精度更高，效果更好。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和或流程图中的每个方框、以及框图和或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种焊接缺陷检测方法，其特征在于，包括：
构建样本数据集；所述样本数据集包括多张包含焊点区域且经过预处理的图像；
构建多任务学习网络模型，其中，所述多任务学习网络模型包括至少两个子网络，所述至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息；
利用所述样本数据集训练所述多任务学习网络模型；
将训练后的所述多任务学习网络模型输出的预测结果输入决策融合模型，以依据所述决策融合模型确定所述至少两个子网络的权重；
对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据所述决策融合模型确定的权重输出预测结果。
2.根据权利要求1所述的焊接缺陷检测方法，其特征在于，所述构建样本数据集的步骤包括：
对预设的样本图像进行采集；
对采集的所述图像进行图像增强处理，并对增强后的图像进行图像分割，以分割出焊点区域图像；
对所述焊点区域图像进行缺陷位置与缺陷分类信息标注；
将缺陷位置与缺陷分类信息标注后的所述焊点区域图像进行数据增强处理，以构建样本数据集。
3.根据权利要求1所述的焊接缺陷检测方法，其特征在于，所述构建多任务学习网络模型的步骤包括：
构建包括主干网络、多标签分类子网络以及缺陷目标检测网络的多任务学习网络模型；其中，
所述主干网络用于依据深度卷积神经网络提取待训练目标的特征向量；
所述多标签分类子网络用于将所述特征向量经过自适应最大池化层与自适应平均池化层，得到两个一维张量，并将所述一维张量经过全连接层与激活函数，以获取每个缺陷分类信息的置信度，并选取置信度大于阈值的类别作为分类结果，以输出缺陷分类信息；
所述缺陷目标检测网络用于将所述特征向量输入凸集单元与第一卷积，再经过第二卷积，以输出缺陷位置的回归预测值和缺陷的分类的概率预测值。
4.根据权利要求1所述的焊接缺陷检测方法，其特征在于，所述利用所述样本数据集训练所述多任务学习网络模型的步骤包括：
预设所述多任务学习网络模型的训练参数；
预设目标函数，以对所述至少两个子网络的任务损失进行正则化约束；
将所述样本数据集输入所述多任务学习网络模型，并依据所述训练参数与目标函数对所述多任务学习网络模型进行训练，并保存训练的过程中的训练参数；
当训练停止时，选取任务损失最小的训练参数作为目标训练参数。
5.根据权利要求4所述的焊接缺陷检测方法，其特征在于，所述预设目标函数，以对所述至少两个子网络的任务损失进行正则化约束的步骤包括：
将公式
Figure FDA0002605748450000031
作为目标函数，其中，σ1与σ2均表示任务噪声，Ltotal表示所述多任务学习网络模型总的任务损失，Llabel与Lobj分别表示至少两个子网络的任务损失。
6.根据权利要求1所述的焊接缺陷检测方法，其特征在于，所述将训练后的所述多任务学习网络模型输出的预测结果输入决策融合模型，以依据所述决策融合模型确定所述至少两个子网络的权重的步骤包括：
将所述样本数据集划分为第一训练集与第一测试集，并将所述多任务学习网络模型分别在第一训练集与第一测试集上进行预测，并获取测试结果，其中，所述测试结果中包括多个训练样本，且每个所述训练样本均对应一个样本置信度；
依据每个所述样本置信度与预设的置信度阈值的比较结果确定是否保留所述训练样本；
依据所述至少两个子网络对应保留的训练样本与预设初始权重值相乘后进行和合并，以获取第二训练集与第二测试集；
利用所述第二测试集与所述第二训练集对所述决策融合模型进行测试，并以训练后的结果确定所述至少两个子网络的权重。
7.一种焊接缺陷检测装置，其特征在于，包括：
数据集构建模块，用于构建样本数据集；所述样本数据集包括多张包含焊点区域且经过预处理的图像；
网络模型构建模块，用于构建多任务学习网络模型，其中，所述多任务学习网络模型包括至少两个子网络，所述至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息；
训练模块，用于利用所述样本数据集训练所述多任务学习网络模型；
权重确定模块，用于将训练后的所述多任务学习网络模型输出的预测结果输入决策融合模型，以依据所述决策融合模型确定所述至少两个子网络的权重；
测试结果输出模块，用于对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据所述决策融合模型确定的权重输出预测结果。
8.根据权利要求7所述的焊接缺陷检测装置，其特征在于，所述数据集构建模块包括：
数据采集单元，用于对预设的样本图像进行采集；
图像处理单元，对采集的所述图像进行图像增强处理，并对增强后的图像进行图像分割，以分割出焊点区域图像；
缺陷标注单元，用于对所述焊点区域图像进行缺陷位置与缺陷分类信息标注；
数据增强单元，用于将缺陷位置与缺陷分类信息标注后的所述焊点区域图像进行数据增强处理，以构建样本数据集。
9.一种电子设备，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器；
当所述一个或多个程序被所述处理器执行时，实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202010738232.2A 2020-07-28 2020-07-28 一种焊接缺陷检测方法、装置、电子设备以及存储介质 Active CN111862067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010738232.2A CN111862067B (zh) 2020-07-28 2020-07-28 一种焊接缺陷检测方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010738232.2A CN111862067B (zh) 2020-07-28 2020-07-28 一种焊接缺陷检测方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111862067A true CN111862067A (zh) 2020-10-30
CN111862067B CN111862067B (zh) 2021-10-26

Family

ID=72948003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010738232.2A Active CN111862067B (zh) 2020-07-28 2020-07-28 一种焊接缺陷检测方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111862067B (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308149A (zh) * 2020-11-02 2021-02-02 平安科技（深圳）有限公司 基于机器学习的图像信息识别的优化方法及装置
CN112435245A (zh) * 2020-11-27 2021-03-02 济宁鲁科检测器材有限公司 基于物联网的磁痕缺陷自动识别方法
CN112872631A (zh) * 2020-12-02 2021-06-01 深圳市裕展精密科技有限公司 焊接检测方法、装置及计算机可读存储介质
CN112949688A (zh) * 2021-02-01 2021-06-11 哈尔滨市科佳通用机电股份有限公司 一种动车组底板胶皮破损故障检测方法、系统及装置
CN112967225A (zh) * 2021-01-29 2021-06-15 绍兴隆芙力智能科技发展有限公司 一种基于人工智能的自动检测系统、方法、设备及介质
CN113011309A (zh) * 2021-03-15 2021-06-22 北京百度网讯科技有限公司 图像识别方法、装置、设备、介质及程序产品
CN113034483A (zh) * 2021-04-07 2021-06-25 昆明理工大学 基于深度迁移学习的烟支缺陷检测方法
CN113138589A (zh) * 2021-03-12 2021-07-20 深圳智造谷工业互联网创新中心有限公司 工业设备控制方法、电子装置及存储介质
CN113160123A (zh) * 2021-02-24 2021-07-23 广东工业大学 一种基于YOLOv5的皮革缺陷检测方法、系统及装置
CN113205133A (zh) * 2021-04-30 2021-08-03 成都国铁电气设备有限公司 一种基于多任务学习的隧道水渍智能识别方法
CN113205176A (zh) * 2021-04-19 2021-08-03 重庆创通联达智能技术有限公司 训练缺陷分级检测模型的方法、装置、设备及存储介质
CN113298760A (zh) * 2021-05-07 2021-08-24 厦门宏泰智能制造有限公司 一种基于深度学习的质量检测方法、装置和系统
CN113486957A (zh) * 2021-07-07 2021-10-08 西安商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN113487149A (zh) * 2021-06-24 2021-10-08 东风汽车集团股份有限公司 基于Catboost K折交叉验证的焊点异常识别系统及方法
CN113537105A (zh) * 2021-07-23 2021-10-22 北京经纬恒润科技股份有限公司 一种车位检测方法及装置
CN113592813A (zh) * 2021-07-30 2021-11-02 深圳大学 基于深度学习语义分割的新能源电池焊接缺陷检测方法
CN113591965A (zh) * 2021-07-26 2021-11-02 格力电器(南京)有限公司 一种aoi检测图像处理方法、装置、存储介质及计算机设备
CN113724218A (zh) * 2021-08-27 2021-11-30 联合汽车电子有限公司 图像识别芯片焊接缺陷的方法、装置及存储介质
CN113780900A (zh) * 2021-11-09 2021-12-10 深圳市裕展精密科技有限公司 基于边缘计算的焊接检测系统及方法
CN114066848A (zh) * 2021-11-16 2022-02-18 苏州俪濠智能科技有限公司 一种fpca外观缺陷视觉检测系统
CN114167189A (zh) * 2021-12-08 2022-03-11 华中科技大学鄂州工业技术研究院 一种焊接缺陷检测方法、电子设备及存储介质
CN114202224A (zh) * 2021-12-16 2022-03-18 蕴硕物联技术(上海)有限公司 用于检测生产环境中焊接质量的方法、设备、介质及程序产品
CN114332914A (zh) * 2021-11-29 2022-04-12 中国电子科技集团公司电子科学研究院 人员特征识别方法、装置和计算机可读存储介质
CN114519381A (zh) * 2021-12-31 2022-05-20 上海仙途智能科技有限公司 基于多任务学习网络的感知方法及装置、存储介质、终端
CN114549472A (zh) * 2022-02-23 2022-05-27 天津大学 一种基于深度学习的焊缝图像缺陷的检测方法
CN114565576A (zh) * 2022-02-25 2022-05-31 联合汽车电子有限公司 一种dmtl表面缺陷检测方法、装置及终端
CN114694165A (zh) * 2022-06-01 2022-07-01 济南大学 一种pid图纸智能识别与重绘方法
CN114713948A (zh) * 2021-01-04 2022-07-08 株式会社东芝 处理装置、焊接系统、处理方法及存储介质
CN114782431A (zh) * 2022-06-20 2022-07-22 苏州康代智能科技股份有限公司 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法
CN114841983A (zh) * 2022-05-17 2022-08-02 中国信息通信研究院 一种基于决策分数的图像对抗样本检测方法和系统
CN114998315A (zh) * 2022-07-18 2022-09-02 东声(苏州)智能科技有限公司 基于深度学习的缺陷检测模型的训练方法和装置
CN115205257A (zh) * 2022-07-14 2022-10-18 武昌首义学院 一种基于正样本学习的人造板表面缺陷检测方法及系统
CN115984843A (zh) * 2022-12-06 2023-04-18 北京信息科技大学 一种再制造原料评估方法、装置、存储介质及电子设备
TWI808801B (zh) * 2022-06-21 2023-07-11 福懋科技股份有限公司 異常檢查裝置及異常檢查方法
CN116542980A (zh) * 2023-07-06 2023-08-04 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品
WO2023165161A1 (zh) * 2022-05-09 2023-09-07 青岛理工大学 基于多任务卷积的物体抓取定位识别算法、系统和机器人
CN117152123A (zh) * 2023-10-12 2023-12-01 深圳正实自动化设备有限公司 一种用于锡膏印刷的检测定位优化方法、系统及存储介质
CN117173461A (zh) * 2023-08-29 2023-12-05 湖北盛林生物工程有限公司 一种多视觉任务的灌装容器缺陷检测方法、系统及介质
CN117408974A (zh) * 2023-10-26 2024-01-16 广州欧派集成家居有限公司 一种板式集成家具封边自动检测方法、装置及存储介质
CN117420809A (zh) * 2023-12-18 2024-01-19 台山市南特金属科技有限公司 基于人工智能的曲轴加工优化决策方法及系统
CN113537105B (zh) * 2021-07-23 2024-05-10 北京经纬恒润科技股份有限公司 一种车位检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040054432A1 (en) * 1998-08-21 2004-03-18 Simmons Steven J. Yield based, in-line defect sampling method
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
US20190287237A1 (en) * 2016-12-01 2019-09-19 Autaza Tecnologia LTDA-EPP Method and system for automatic quality inspection of materials and virtual material surfaces
CN110992329A (zh) * 2019-11-28 2020-04-10 上海微创医疗器械（集团）有限公司 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN111161244A (zh) * 2019-12-30 2020-05-15 华南理工大学 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法
CN111353533A (zh) * 2020-02-26 2020-06-30 南京理工大学 基于多任务学习的无参考图像质量评价方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040054432A1 (en) * 1998-08-21 2004-03-18 Simmons Steven J. Yield based, in-line defect sampling method
US20190287237A1 (en) * 2016-12-01 2019-09-19 Autaza Tecnologia LTDA-EPP Method and system for automatic quality inspection of materials and virtual material surfaces
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN110992329A (zh) * 2019-11-28 2020-04-10 上海微创医疗器械（集团）有限公司 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN111161244A (zh) * 2019-12-30 2020-05-15 华南理工大学 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法
CN111353533A (zh) * 2020-02-26 2020-06-30 南京理工大学 基于多任务学习的无参考图像质量评价方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
REN WANG.ET.: "Tire Defect Detection Using Fully Convolutional Network", 《IEEE ACCESS》 *
庞磊: "基于多任务学习的面部信息分析系统研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308149A (zh) * 2020-11-02 2021-02-02 平安科技（深圳）有限公司 基于机器学习的图像信息识别的优化方法及装置
CN112308149B (zh) * 2020-11-02 2023-10-24 平安科技（深圳）有限公司 基于机器学习的图像信息识别的优化方法及装置
CN112435245A (zh) * 2020-11-27 2021-03-02 济宁鲁科检测器材有限公司 基于物联网的磁痕缺陷自动识别方法
CN112872631A (zh) * 2020-12-02 2021-06-01 深圳市裕展精密科技有限公司 焊接检测方法、装置及计算机可读存储介质
CN114713948A (zh) * 2021-01-04 2022-07-08 株式会社东芝 处理装置、焊接系统、处理方法及存储介质
CN112967225A (zh) * 2021-01-29 2021-06-15 绍兴隆芙力智能科技发展有限公司 一种基于人工智能的自动检测系统、方法、设备及介质
CN112949688A (zh) * 2021-02-01 2021-06-11 哈尔滨市科佳通用机电股份有限公司 一种动车组底板胶皮破损故障检测方法、系统及装置
CN113160123A (zh) * 2021-02-24 2021-07-23 广东工业大学 一种基于YOLOv5的皮革缺陷检测方法、系统及装置
CN113138589B (zh) * 2021-03-12 2022-06-07 深圳智造谷工业互联网创新中心有限公司 工业设备控制方法、电子装置及存储介质
CN113138589A (zh) * 2021-03-12 2021-07-20 深圳智造谷工业互联网创新中心有限公司 工业设备控制方法、电子装置及存储介质
CN113011309A (zh) * 2021-03-15 2021-06-22 北京百度网讯科技有限公司 图像识别方法、装置、设备、介质及程序产品
CN113034483A (zh) * 2021-04-07 2021-06-25 昆明理工大学 基于深度迁移学习的烟支缺陷检测方法
CN113034483B (zh) * 2021-04-07 2022-06-10 昆明理工大学 基于深度迁移学习的烟支缺陷检测方法
CN113205176A (zh) * 2021-04-19 2021-08-03 重庆创通联达智能技术有限公司 训练缺陷分级检测模型的方法、装置、设备及存储介质
CN113205176B (zh) * 2021-04-19 2022-09-06 重庆创通联达智能技术有限公司 训练缺陷分级检测模型的方法、装置、设备及存储介质
CN113205133B (zh) * 2021-04-30 2024-01-26 成都国铁电气设备有限公司 一种基于多任务学习的隧道水渍智能识别方法
CN113205133A (zh) * 2021-04-30 2021-08-03 成都国铁电气设备有限公司 一种基于多任务学习的隧道水渍智能识别方法
CN113298760A (zh) * 2021-05-07 2021-08-24 厦门宏泰智能制造有限公司 一种基于深度学习的质量检测方法、装置和系统
CN113487149A (zh) * 2021-06-24 2021-10-08 东风汽车集团股份有限公司 基于Catboost K折交叉验证的焊点异常识别系统及方法
CN113486957A (zh) * 2021-07-07 2021-10-08 西安商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN113537105B (zh) * 2021-07-23 2024-05-10 北京经纬恒润科技股份有限公司 一种车位检测方法及装置
CN113537105A (zh) * 2021-07-23 2021-10-22 北京经纬恒润科技股份有限公司 一种车位检测方法及装置
CN113591965A (zh) * 2021-07-26 2021-11-02 格力电器(南京)有限公司 一种aoi检测图像处理方法、装置、存储介质及计算机设备
CN113592813A (zh) * 2021-07-30 2021-11-02 深圳大学 基于深度学习语义分割的新能源电池焊接缺陷检测方法
CN113724218B (zh) * 2021-08-27 2024-04-30 联合汽车电子有限公司 图像识别芯片焊接缺陷的方法、装置及存储介质
CN113724218A (zh) * 2021-08-27 2021-11-30 联合汽车电子有限公司 图像识别芯片焊接缺陷的方法、装置及存储介质
CN113780900A (zh) * 2021-11-09 2021-12-10 深圳市裕展精密科技有限公司 基于边缘计算的焊接检测系统及方法
CN114066848A (zh) * 2021-11-16 2022-02-18 苏州俪濠智能科技有限公司 一种fpca外观缺陷视觉检测系统
CN114066848B (zh) * 2021-11-16 2024-03-22 苏州极速光学科技有限公司 一种fpca外观缺陷视觉检测系统
CN114332914A (zh) * 2021-11-29 2022-04-12 中国电子科技集团公司电子科学研究院 人员特征识别方法、装置和计算机可读存储介质
CN114167189A (zh) * 2021-12-08 2022-03-11 华中科技大学鄂州工业技术研究院 一种焊接缺陷检测方法、电子设备及存储介质
CN114167189B (zh) * 2021-12-08 2023-11-03 华中科技大学鄂州工业技术研究院 一种焊接缺陷检测方法、电子设备及存储介质
CN114202224A (zh) * 2021-12-16 2022-03-18 蕴硕物联技术(上海)有限公司 用于检测生产环境中焊接质量的方法、设备、介质及程序产品
CN114519381A (zh) * 2021-12-31 2022-05-20 上海仙途智能科技有限公司 基于多任务学习网络的感知方法及装置、存储介质、终端
CN114549472A (zh) * 2022-02-23 2022-05-27 天津大学 一种基于深度学习的焊缝图像缺陷的检测方法
CN114565576A (zh) * 2022-02-25 2022-05-31 联合汽车电子有限公司 一种dmtl表面缺陷检测方法、装置及终端
WO2023165161A1 (zh) * 2022-05-09 2023-09-07 青岛理工大学 基于多任务卷积的物体抓取定位识别算法、系统和机器人
CN114841983A (zh) * 2022-05-17 2022-08-02 中国信息通信研究院 一种基于决策分数的图像对抗样本检测方法和系统
CN114694165A (zh) * 2022-06-01 2022-07-01 济南大学 一种pid图纸智能识别与重绘方法
CN114782431A (zh) * 2022-06-20 2022-07-22 苏州康代智能科技股份有限公司 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法
CN114782431B (zh) * 2022-06-20 2022-10-14 苏州康代智能科技股份有限公司 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法
TWI808801B (zh) * 2022-06-21 2023-07-11 福懋科技股份有限公司 異常檢查裝置及異常檢查方法
CN115205257A (zh) * 2022-07-14 2022-10-18 武昌首义学院 一种基于正样本学习的人造板表面缺陷检测方法及系统
CN114998315B (zh) * 2022-07-18 2022-11-01 东声(苏州)智能科技有限公司 基于深度学习的缺陷检测模型的训练方法和装置
CN114998315A (zh) * 2022-07-18 2022-09-02 东声(苏州)智能科技有限公司 基于深度学习的缺陷检测模型的训练方法和装置
CN115984843A (zh) * 2022-12-06 2023-04-18 北京信息科技大学 一种再制造原料评估方法、装置、存储介质及电子设备
CN116542980B (zh) * 2023-07-06 2023-11-03 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品
CN116542980A (zh) * 2023-07-06 2023-08-04 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品
CN117173461A (zh) * 2023-08-29 2023-12-05 湖北盛林生物工程有限公司 一种多视觉任务的灌装容器缺陷检测方法、系统及介质
CN117152123A (zh) * 2023-10-12 2023-12-01 深圳正实自动化设备有限公司 一种用于锡膏印刷的检测定位优化方法、系统及存储介质
CN117152123B (zh) * 2023-10-12 2024-01-30 深圳正实自动化设备有限公司 一种用于锡膏印刷的检测定位优化方法、系统及存储介质
CN117408974A (zh) * 2023-10-26 2024-01-16 广州欧派集成家居有限公司 一种板式集成家具封边自动检测方法、装置及存储介质
CN117408974B (zh) * 2023-10-26 2024-04-26 广州欧派集成家居有限公司 一种板式集成家具封边自动检测方法、装置及存储介质
CN117420809A (zh) * 2023-12-18 2024-01-19 台山市南特金属科技有限公司 基于人工智能的曲轴加工优化决策方法及系统
CN117420809B (zh) * 2023-12-18 2024-03-01 台山市南特金属科技有限公司 基于人工智能的曲轴加工优化决策方法及系统

Also Published As

Publication number Publication date
CN111862067B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN111862067B (zh) 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
KR102110755B1 (ko) 자동 결함 분류를 위한 알려지지 않은 결함 리젝션의 최적화
Shipway et al. Automated defect detection for fluorescent penetrant inspection using random forest
CN109285139A (zh) 一种基于深度学习的x射线成像焊缝检测方法
JP6791864B2 (ja) 検査室自動化のためのサイドビューサンプルチューブ画像におけるバーコードタグ検出
CN111862092A (zh) 一种基于深度学习的快递外包装缺陷检测方法及装置
CN113095438A (zh) 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质
JP2018512567A5 (zh)
CN112884768A (zh) 基于神经网络的3d打印在线质量监测方法、系统、装置
CN103221807A (zh) 快速处理和检测幅材型材料中的不均匀因素
CN116128839A (zh) 晶圆缺陷识别方法、装置、电子设备以及存储介质
Tang et al. Anomaly detection of core failures in die casting X-ray inspection images using a convolutional autoencoder
CN109446964A (zh) 基于端到端单级多尺度检测器的面部检测分析方法及装置
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN117152152B (zh) 检测试剂盒的生产管理系统及方法
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法
CN112884721A (zh) 一种异常检测方法、系统及计算机可读存储介质
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN115082416A (zh) 镜片瑕疵检测方法、装置、设备及存储介质
CN115512098A (zh) 一种桥梁电子化巡检系统及巡检方法
KR20230063742A (ko) 계층적 cnn을 이용한 스마트 팩토리에서의 제품 불량 탐지 방법 및 이를 기록한 기록매체
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN111724352B (zh) 一种基于核密度估计的贴片led瑕疵标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220324

Address after: 528400 BaiShaWan Industrial Park, east of qiwan Road, East District, Zhongshan City, Guangdong Province, adds a business site, specifically 6 floors, building 6, Fuwan Industrial Zone, East District, Zhongshan City (one photo and multiple addresses)

Patentee after: ZHONGSHAN CAMRY ELECTRONIC Co.,Ltd.

Patentee after: University OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA, ZHONGSHAN INSTITUTE

Patentee after: Guangdong Xiangshan Electronic Technology Co.,Ltd.

Address before: 528400 BaiShaWan Industrial Park, east of qiwan Road, East District, Zhongshan City, Guangdong Province, a new business site is set up, specifically: 6 / F, building 6, Fuwan Industrial Park, East District, Zhongshan City (one photo with multiple sites)

Patentee before: ZHONGSHAN CAMRY ELECTRONIC Co.,Ltd.

Patentee before: Zhongshan college, University of Electronic Science and technology