CN117074412A - 焊锡外观缺陷检测方法、装置、设备及存储介质 - Google Patents
焊锡外观缺陷检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117074412A CN117074412A CN202310766813.0A CN202310766813A CN117074412A CN 117074412 A CN117074412 A CN 117074412A CN 202310766813 A CN202310766813 A CN 202310766813A CN 117074412 A CN117074412 A CN 117074412A
- Authority
- CN
- China
- Prior art keywords
- image
- port
- detected
- defect
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 162
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 title claims description 41
- 229910000679 solder Inorganic materials 0.000 title claims description 32
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 239000000463 material Substances 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 9
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 abstract description 15
- 238000005476 soldering Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 4
- 239000011889 copper foil Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000009413 insulation Methods 0.000 description 4
- 239000002893 slag Substances 0.000 description 3
- 229920000742 Cotton Polymers 0.000 description 2
- 206010053615 Thermal burn Diseases 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000011888 foil Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/952—Inspecting the exterior surface of cylindrical bodies or wires
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请涉及一种焊锡外观缺陷检测方法、装置、设备及存储介质。方法包括：获取待检测图像，待检测图像为待检测数据线的图像，待检测数据线包括第一端口和第二端口；对待检测图像进行预处理，得到第一端口图像和第二端口图像；对第一端口图像和第二端口图像进行特征分割处理，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息；根据第一缺陷允收条件确定第一缺陷信息对应的第一允收结果，并根据第二缺陷允收条件确定第二缺陷信息对应的第二允收结果；根据第一允收结果和/或第二允收结果，确定待检测图像的允收结果。采用本申请，能够实现准确而高效地确定待检测图像的允收结果。
Description
技术领域
本申请涉及缺陷检测技术领域，特别是涉及一种焊锡外观缺陷检测方法、装置、设备及存储介质。
背景技术
随着工业制造业的快速发展，出现了针对工业制造品的检测技术。在人民日益提高的生活品质需求下，工业制造品在朝着精细化方向发展的同时，也需要满足提高检测效率的要求。
然而，针对精细化的工业制造品，例如数据线，传统的检测技术通常采用传统机器学习方法，难以满足其检测精度；并且，传统的检测技术需要等待人工对制造品进行缺陷检测，显然地，这种传统的检测技术不仅需要投入大量检测成本，也不利于提高检测效率。
发明内容
基于此，有必要针对上述技术问题，提供一种焊锡外观缺陷检测方法、装置、设备及存储介质，能够实现准确而高效地确定待检测图像的允收结果。
第一方面，本申请提供了一种焊锡外观缺陷检测方法，包括：
获取待检测图像，待检测图像为待检测数据线的图像，待检测数据线包括第一端口和第二端口；
对待检测图像进行预处理，得到第一端口图像和第二端口图像；
对第一端口图像和第二端口图像进行特征分割处理，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息；
根据第一缺陷允收条件确定第一缺陷信息对应的第一允收结果，并根据第二缺陷允收条件确定第二缺陷信息对应的第二允收结果；
根据第一允收结果和/或第二允收结果，确定待检测图像的允收结果。
第二方面，本申请提供了一种焊锡外观缺陷检测装置，包括：
获取模块，用于获取待检测图像，待检测图像为待检测数据线的图像，待检测数据线包括第一端口和第二端口；
第一处理模块，用于对待检测图像进行预处理，得到第一端口图像和第二端口图像；
第二处理模块，用于对第一端口图像和第二端口图像进行特征分割处理，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息；
第一确定模块，用于根据第一缺陷允收条件确定第一缺陷信息对应的第一允收结果，并根据第二缺陷允收条件确定第二缺陷信息对应的第二允收结果；
第二确定模块，用于根据第一允收结果和/或第二允收结果，确定待检测图像的允收结果。
第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本上述的方法中的步骤。
上述焊锡外观缺陷检测方法、装置、设备及存储介质，获取包括第一端口和第二端口的待检测数据线对应的待检测图像，对待检测图像进行预处理以及特征分割处理后，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息，进而根据第一缺陷允收条件和第二缺陷允收条件分别确定第一缺陷信息对应的第一允收结果和第二缺陷信息对应的第二允收结果，最终根据第一允收结果和/或第二允收结果，确定待检测图像的允收结果。采用本申请实施例提供的方法，能够准确地定位到待检测图像中的第一端口图像和第二端口图像，通过缺陷允收条件快速确定缺陷信息对应的允收结果，准确而高效地确定待检测图像的允收结果。
附图说明
图1为本申请实施例提供的一种焊锡外观缺陷检测方法的应用环境图；
图2为本申请实施例提供的第一种焊锡外观缺陷检测方法的流程示意图；
图3为本申请实施例提供的第二种焊锡外观缺陷检测方法的流程示意图；
图4为本申请实施例提供的第三种焊锡外观缺陷检测方法的流程示意图；
图5为本申请实施例提供的一种焊锡外观缺陷检测装置的结构框图；
图6为本申请实施例提供的一种计算机设备的内部结构图；
图7为本申请实施例提供的另一种计算机设备的内部结构图；
图8为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的焊锡外观缺陷检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过通信网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备及便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示，本申请实施例提供了第一种焊锡外观缺陷检测方法，以该方法应用于图1中的终端102或服务器104为例进行说明。可以理解的是，计算机设备可以包括终端和服务器中的至少一种。该方法包括以下步骤：
S202、获取待检测图像，待检测图像为待检测数据线的图像，待检测数据线包括第一端口和第二端口。
其中，第一端口和第二端口，分别位于待检测数据线的两端位置。
待检测数据线可以是第一端口为USB端口，第二端口为Type-C端口的数据线。
具体地，待检测图像可以是通过相机采集到的；进一步地，相机可以是工业相机。
S204、对待检测图像进行预处理，得到第一端口图像和第二端口图像。
其中，对待检测图像进行预处理，可以是获取待检测图像的工位信息，工位信息包括物料类别、物料正反面等，物料指第一端口和第二端口；然后，通过软件角度预防物料的持续识别错误，对物料进行工位信息的识别校验、自动纠正，确保物料识别正确；最后，由于相机的成像视野范围较大，因此为了减少数据处理量，对第一端口图像的物料位置和第二端口图像的物料位置进行锁定，切除物料周围的非检测区域，使得检测过程中只需要对第一端口图像和第二端口图像进行焊锡外观缺陷检测，提高对于待检测图像的允收结果的判断准确率和效率。
针对第一端口图像和第二端口图像，图像尺寸均小于待检测图像的图像尺寸。
S206、对第一端口图像和第二端口图像进行特征分割处理，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息。
其中，对第一端口图像和第二端口图像进行特征分割处理，可以是先对第一端口的物料特征和第二端口的物料特征进行特征标注，后对第一端口的物料特征和第二端口的物料特征进行特征分割，以得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息；进一步地，对第一端口图像和第二端口图像进行特征分割处理，可以利用图像分割模型来实现。第一端口的物料特征和第二端口的物料特征，可以包括端口的焊锡、焊盘、绝缘皮破损、锡珠锡渣、分叉细导线、铝箔、棉线、铜箔、烫伤胶芯等焊锡外观的特征情况。
第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息，可以指第一端口图像和第二端口图像中分别存在连锡、少锡、上溢锡、铜箔移位、铜箔散开、芯线内缩、导体内缩、导体偏移、焊点漏焊盘、绝缘皮破损、绝缘皮残留、锡珠锡渣残留、细导线漏出、芯线断裂、填充物残留、烫伤胶芯、导线颜色错位等焊锡外观缺陷。
S208、根据第一缺陷允收条件确定第一缺陷信息对应的第一允收结果，并根据第二缺陷允收条件确定第二缺陷信息对应的第二允收结果。
其中，允收，指是否允许通过某种产品的验收环节，允收结果为通过表示可以接受该产品，允收结果为不通过表示不可以接受该产品。
第一缺陷允收条件和第二缺陷允收条件，可以是检测人员根据实际的检测需求而事先进行设定的。具体地，可以根据不同型号、不同类型的待检测数据线的第一端口和第二端口，对第一缺陷允收条件和第二缺陷允收条件分别进行针对性的适应调整。
第一缺陷信息可以包括第一端口的多个缺陷信息，从而第一缺陷允收条件可以包括多个缺陷信息的允收条件；第二缺陷信息与第二缺陷允收条件同理，在此不再赘述。
第一缺陷允收条件可以包括第一端口对应的连通域的个数、连通域的连通顺序、物料特征的相对位置关系、物料特征的面积大小、物料特征的置信度分数大小；第二缺陷允收条件可以包括第二端口对应的连通域的个数、连通域的连通顺序、物料特征的相对位置关系、物料特征的面积大小、物料特征的置信度分数大小。
S210、根据第一允收结果和/或第二允收结果，确定待检测图像的允收结果。
具体地，由于待检测数据线只有在第一端口和第二端口的焊锡外观均不存在缺陷时，才能确定待检测图像通过检测，因此，只有在第一允收结果和第二允收结果均为通过的时候，才能确定待检测图像的允收结果为通过。
待检测图像的允收结果，可以包括通过和不通过；具体地，在允收结果为通过时，可以输出“OK”的通知消息提示检测人员该待检测图像的允收结果为通过；在允收结果为不通过时，可以输出“NG”的通知消息提示检测人员该待检测图像的允收结果为不通过。
在确定待检测图像的允收结果之后，可以输出待检测图像的模型渲染图，并输出上述的允收结果通过或不通过的通知消息，在输出允收结果的通知消息的同时可以输出导致待检测图像允收结果不通过的具体缺陷种类。
示例性地，如图3所示，本申请实施例提供的第二种焊锡外观缺陷检测方法应用于终端中，待检测数据线对应有待检测图像，输入待检测图像至终端中，终端对待检测图像进行预处理，具体地，预处理阶段，包括：首先，对待检测图像的工位信息进行识别，以获取待检测图像的工位信息，然后，根据待检测图像的工位信息对物料位置进行锁定，物料位置为待检测图像包括的第一端口图像的物料位置和第二端口图像的物料位置，最终，根据锁定得到的物料位置切除物料周围的非检测区域，使得检测过程中只需要对第一端口图像和第二端口图像进行焊锡外观缺陷检测，显著地降低了数据处理量；在预处理阶段完成后，得到第一端口图像和第二端口图像，将第一端口图像和第二端口图像输入图像分割模型中进行特征分割处理，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息；在特征分割处理阶段完成后，进行后处理阶段的缺陷允收条件判断，根据第一缺陷允收条件确定第一缺陷信息对应的第一允收结果，并根据第二缺陷允收条件确定第二缺陷信息对应的第二允收结果，缺陷允收条件包括端口对应的连通域的个数、连通域的连通顺序、物料特征的相对位置关系、物料特征的面积大小、物料特征的置信度分数大小；其中，第一缺陷允收条件为针对第一端口的缺陷允收条件，第二缺陷允收条件为针对第二端口的缺陷允收条件；在确定得到第一允收结果和第二允收结果之后，根据第一允收结果和/或第二允收结果确定待检测图像的允收结果，终端输出待检测图像的模型渲染图以及关于待检测图像的允收结果的通知消息，允收结果的通知消息用于提示检测人员该待检测图像的允收结果为通过或不通过。
可见，在本申请实施例中，获取包括第一端口和第二端口的待检测数据线对应的待检测图像，对待检测图像进行预处理以及特征分割处理后，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息，进而根据第一缺陷允收条件和第二缺陷允收条件分别确定第一缺陷信息对应的第一允收结果和第二缺陷信息对应的第二允收结果，最终根据第一允收结果和/或第二允收结果，确定待检测图像的允收结果。采用本申请实施例提供的方法，能够准确地定位到待检测图像中的第一端口图像和第二端口图像，通过缺陷允收条件快速确定缺陷信息的允收结果，准确而高效地确定待检测图像的允收结果。
在一些实施例中，上述获取待检测图像，包括：
确定待检测数据线对应的产品信息；
确定产品信息对应的目标成像方案；
按照目标成像方案采集得到待检测图像，目标成像方案使得待检测图像具有第一图像尺寸。
其中，待检测数据线对应的产品信息，可以包括待检测数据线对应的产品类型和产品型号。
目标成像方案，可以指采用具体哪种相机视野范围采集得到待检测图像。
可见，在本实施例中，通过待检测数据线对应的产品信息确定其对应的目标成像方案，使得按照目标成像方案采集得到的待检测图像具有第一图像尺寸，不同的待检测数据线对应有不同的成像方案，使得不同待检测数据线的检测过程更具有针对性，进而提高待检测图像的允收结果的检测准确度和可信度。
在一些实施例中，待检测图像是通过相机采集到的；上述按照目标成像方案采集得到待检测图像，包括：
当第一图像尺寸超出相机视野范围时，确定拍照次数；
按照拍照次数进行图像采集，得到图像数量等于拍照次数的待检测图像；
上述对待检测图像进行预处理，得到第一端口图像和第二端口图像，包括：
对图像数量等于拍照次数的待检测图像进行预处理，得到若干个第一端口图像和若干个第二端口图像；其中，若干个第一端口图像的个数和若干个第二端口图像的个数均与拍照次数相同。
其中，相机可以是工业相机；进一步地，相机可以是基于CCD(Charge CoupledDevice)芯片的工业相机。
相机视野范围，指相机所能捕捉到的视野，即相机镜头所能覆盖到的范围。
拍照次数的确定，可以是通过第一图像尺寸超出相机视野范围的范围大小来进行确定，第一图像尺寸超出相机视野范围的范围与拍照次数呈正相关关系。
进一步地，只有在拍照次数个第一端口图像和拍照次数个第二端口图像对应的缺陷信息的允收结果均为通过时，才认为拍照次数个待检测图像的允收结果为通过，即是说，才确定待检测图像的允收结果为通过，允收待检测数据线。
可见，在本实施例中，在待检测图像具有的第一图像尺寸超出相机视野范围时，为了避免待检测图像的允收结果不准确，因此确定其拍照次数，并按照拍照次数进行图像采集，最终经过对拍照次数个待检测图像的预处理，得到的若干个第一端口图像的个数和若干个第二端口图像的个数均与拍照次数大小相同，从而，即便在待检测图像具有的第一图像尺寸超出相机视野范围时，待检测图像的允收结果也具有检测准确度和可信度。
在一些实施例中，上述对待检测图像进行预处理，得到第一端口图像和第二端口图像，包括：
获取待检测图像的工位信息；
根据工位信息，分别对第一端口和第二端口进行定位，得到第一端口的位置和第二端口的位置；
根据第一端口的位置和第二端口的位置，确定第一端口图像和第二端口图像；第一端口图像的尺寸和第二端口图像的尺寸均为第二图像尺寸，第二图像尺寸小于第一图像尺寸。
其中，工位信息，包括第一端口和第二端口分别对应的物料类别、物料正反面等信息。
可见，在本实施例中，经过对待检测图像进行预处理后得到的第一端口图像的尺寸和第二端口图像的尺寸均为第二图像尺寸，且第二图像尺寸小于第一图像尺寸，通过减少图像检测时的数据处理量，在提高对于待检测图像的允收结果的判断准确率的同时，还显著地提高了对待检测图像的检测效率。
在一些实施例中，上述对第一端口图像和第二端口图像进行特征分割处理，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息，包括：
获取第一端口图像的第一物料特征和第二端口图像的第二物料特征；
根据第一物料特征和第二物料特征，对第一端口图像和第二端口图像进行特征分割处理，得到第一端口图像对应的第一端口子图像和第二端口图像对应的第二端口子图像；
根据第一端口子图像和第二端口子图像，分别确定第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息。
其中，第一端口的第一物料特征和第二端口的第二物料特征，可以包括端口的焊锡、焊盘、绝缘皮破损、锡珠锡渣、分叉细导线、铝箔、棉线、铜箔、烫伤胶芯等焊锡外观特征情况。
第一端口子图像和第二端口子图像，分别包括单个第一端口图像中的第一物料特征和第二端口图像中的第二物料特征。
可见，在本实施例中，通过对第一端口图像和第二端口图像进行特征分割处理，得到包括单个第一端口图像的第一物料特征的第一端口子图像以及包括单个第二端口图像的第二物料特征的第二端口子图像，从而通过特征分割处理实现了对端口图像的缺陷信息的精细化确定，显著地提高待检测图像的允收结果的判断准确率和可信度。
在一些实施例中，上述缺陷允收条件包括连通域的个数、连通域的连通顺序、物料特征的相对位置关系、物料特征的面积大小、物料特征的置信度分数大小。
其中，第一缺陷信息和第二缺陷信息分别所对应的物料特征的置信度分数大小，可以通过利用归一化指数函数softmax函数进行计算得到。
可见，在本实施例中，由于缺陷允收条件包括的特定条件，从而最终确定的第一允收结果和第二允收结果更具有可信度，进而提高对于待检测图像的允收结果的判断准确率和可信度。
在一些实施例中，第一端口为USB端口，第二端口为Type-C端口；
第一缺陷允收条件为针对USB端口的缺陷允收条件，第二缺陷允收条件为针对Type-C端口的缺陷允收条件。
可见，在本实施例中，待检测数据线为包括USB端口和Type-C端口的数据线，第一缺陷允收条件和第二缺陷允收条件分别为针对USB端口和Type-C端口的缺陷允收条件，从而使得缺陷允收条件相对于端口图像而言更具有针对性，使得第一允收结果、第二允收结果更具有可信度，进而提高对于待检测图像的允收结果的判断准确率和可信度。
下面结合一个详细的实施例来阐述上述焊锡外观缺陷检测方法的应用过程，具体如下：如图4所示，本申请提供的第三种焊锡外观缺陷检测方法应用在终端中，终端包括工业相机。终端对待检测数据线的端口焊锡外观缺陷检测工作开始，待检测数据线移动到终端设置的检测位置，终端根据工业相机的相机视野范围和待检测数据线的产品尺寸确定图像采集位置，终端在图像采集位置发送采集触发信号给工业相机，工业相机接收到采集触发信号后开始采集待检测图像，待检测图像为待检测数据线的图像；
具体地，工业相机对待检测图像的采集过程为：终端根据工业相机的相机视野范围和待检测数据线的产品尺寸设定工业相机的拍照次数，具体地，在待检测数据线的产品尺寸没有超出相机视野范围时，拍照次数为一次，而在待检测数据线的产品尺寸超出相机视野范围时则拍照次数为多次；待检测数据线在图像采集位置处被工业相机采集待检测图像，终端对待检测图像进行事前检测，事前检测用于确认待检测图像中是否包括人体影像，若待检测图像中包括人体影像则终端输出报警信号以提示检测人员该待检测图像不符合要求；若待检测图像中不包括人体影像，则终端对待检测图像进行正式检测；
具体地，终端对待检测图像进行正式检测的过程为：终端对待检测图像进行预处理，得到第一端口图像和第二端口图像；然后终端对第一端口图像和第二端口图像进行特征分割处理，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息；终端根据第一缺陷允收条件确定第一缺陷信息对应的第一允收结果，并根据第二缺陷允收条件确定第二缺陷信息对应的第二允收结果；最终，终端根据第一允收结果和/或第二允收结果，确定待检测图像的允收结果；在确定待检测图像的允收结果之后，终端对允收结果进行输出以提示检测人员该待检测图像的允收结果；
在确定并输出待检测图像的允收结果之后，待检测数据线移出图像采集位置，对该数据线的端口焊锡外观缺陷检测工作至此结束。
应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种焊锡外观缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个焊锡外观缺陷检测装置实施例中的具体限定可以参见上文中对于焊锡外观缺陷检测方法的限定，在此不再赘述。
如图5所示，本申请实施例提供了一种装置500，包括：
获取模块502，用于获取待检测图像，待检测图像为待检测数据线的图像，待检测数据线包括第一端口和第二端口；
第一处理模块504，用于对待检测图像进行预处理，得到第一端口图像和第二端口图像；
第二处理模块506，用于对第一端口图像和第二端口图像进行特征分割处理，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息；
第一确定模块508，用于根据第一缺陷允收条件确定第一缺陷信息对应的第一允收结果，并根据第二缺陷允收条件确定第二缺陷信息对应的第二允收结果；
第二确定模块510，用于根据第一允收结果和/或第二允收结果，确定待检测图像的允收结果。
在一些实施例中，在获取待检测图像方面，获取模块502具体用于：
确定待检测数据线对应的产品信息；
确定产品信息对应的目标成像方案；
按照目标成像方案采集得到待检测图像，目标成像方案使得待检测图像具有第一图像尺寸。
在一些实施例中，待检测图像是通过相机采集到的；在按照目标成像方案采集得到待检测图像方面，获取模块502具体用于：
当第一图像尺寸超出相机视野范围时，确定拍照次数；
按照拍照次数进行图像采集，得到图像数量等于拍照次数的待检测图像；
在对待检测图像进行预处理，得到第一端口图像和第二端口图像方面，第一处理模块504具体用于：
对图像数量等于拍照次数的待检测图像进行预处理，得到若干个第一端口图像和若干个第二端口图像；其中，若干个第一端口图像的个数和若干个第二端口图像的个数均与拍照次数相同。
在一些实施例中，在对待检测图像进行预处理，得到第一端口图像和第二端口图像方面，第一处理模块504具体用于：
获取待检测图像的工位信息；
根据工位信息，分别对第一端口和第二端口进行定位，得到第一端口的位置和第二端口的位置；
根据第一端口的位置和第二端口的位置，确定第一端口图像和第二端口图像；第一端口图像的尺寸和第二端口图像的尺寸均为第二图像尺寸，第二图像尺寸小于第一图像尺寸。
在一些实施例中，在对第一端口图像和第二端口图像进行特征分割处理，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息方面，第二处理模块506具体用于：
获取第一端口图像的第一物料特征和第二端口图像的第二物料特征；
根据第一物料特征和第二物料特征，对第一端口图像和第二端口图像进行特征分割处理，得到第一端口图像对应的第一端口子图像和第二端口图像对应的第二端口子图像；
根据第一端口子图像和第二端口子图像，分别确定第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息。
在一些实施例中，上述缺陷允收条件包括连通域的个数、连通域的连通顺序、物料特征的相对位置关系、物料特征的面积大小、物料特征的置信度分数大小。
在一些实施例中，第一端口为USB端口，第二端口为Type-C端口；
第一缺陷允收条件为针对USB端口的缺陷允收条件，第二缺陷允收条件为针对Type-C端口的缺陷允收条件。
上述焊锡外观缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)及通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储缺陷允收条件。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的焊锡外观缺陷检测方法中的步骤。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现上述的焊锡外观缺陷检测方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6或图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中，如图8所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(FerroelectricRandom Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(StaticRandom Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种焊锡外观缺陷检测方法，其特征在于，包括：
获取待检测图像，所述待检测图像为待检测数据线的图像，所述待检测数据线包括第一端口和第二端口；
对所述待检测图像进行预处理，得到第一端口图像和第二端口图像；
对所述第一端口图像和所述第二端口图像进行特征分割处理，得到所述第一端口图像对应的第一缺陷信息和所述第二端口图像对应的第二缺陷信息；
根据第一缺陷允收条件确定所述第一缺陷信息对应的第一允收结果，并根据第二缺陷允收条件确定所述第二缺陷信息对应的第二允收结果；
根据所述第一允收结果和/或所述第二允收结果，确定所述待检测图像的允收结果。
2.根据权利要求1所述的方法，其特征在于，所述获取待检测图像，包括：
确定所述待检测数据线对应的产品信息；
确定所述产品信息对应的目标成像方案；
按照所述目标成像方案采集得到所述待检测图像，所述目标成像方案使得所述待检测图像具有第一图像尺寸。
3.根据权利要求2所述的方法，其特征在于，所述待检测图像是通过相机采集到的；所述按照所述目标成像方案采集得到所述待检测图像，包括：
当所述第一图像尺寸超出相机视野范围时，确定拍照次数；
按照所述拍照次数进行图像采集，得到图像数量等于所述拍照次数的待检测图像；
所述对所述待检测图像进行预处理，得到第一端口图像和第二端口图像，包括：
对所述图像数量等于所述拍照次数的待检测图像进行预处理，得到若干个第一端口图像和若干个第二端口图像；其中，所述若干个第一端口图像的个数和所述若干个第二端口图像的个数均与所述拍照次数相同。
4.根据权利要求2所述的方法，其特征在于，所述对所述待检测图像进行预处理，得到第一端口图像和第二端口图像，包括：
获取所述待检测图像的工位信息；
根据所述工位信息，分别对所述第一端口和所述第二端口进行定位，得到所述第一端口的位置和所述第二端口的位置；
根据所述第一端口的位置和所述第二端口的位置，确定第一端口图像和第二端口图像；所述第一端口图像的尺寸和所述第二端口图像的尺寸均为第二图像尺寸，所述第二图像尺寸小于所述第一图像尺寸。
5.根据权利要求1所述的方法，其特征在于，所述对所述第一端口图像和所述第二端口图像进行特征分割处理，得到所述第一端口图像对应的第一缺陷信息和所述第二端口图像对应的第二缺陷信息，包括：
获取所述第一端口图像的第一物料特征和所述第二端口图像的第二物料特征；
根据所述第一物料特征和所述第二物料特征，对所述第一端口图像和所述第二端口图像进行特征分割处理，得到所述第一端口图像对应的第一端口子图像和所述第二端口图像对应的第二端口子图像；
根据所述第一端口子图像和所述第二端口子图像，分别确定所述第一端口图像对应的第一缺陷信息和所述第二端口图像对应的第二缺陷信息。
6.根据权利要求1所述的方法，其特征在于，所述缺陷允收条件包括连通域的个数、连通域的连通顺序、物料特征的相对位置关系、物料特征的面积大小、物料特征的置信度分数大小。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述第一端口为USB端口，所述第二端口为Type-C端口；
所述第一缺陷允收条件为针对所述USB端口的缺陷允收条件，所述第二缺陷允收条件为针对所述Type-C端口的缺陷允收条件。
8.一种焊锡外观缺陷检测装置，其特征在于，包括：
获取模块，用于获取待检测图像，待检测图像为待检测数据线的图像，待检测数据线包括第一端口和第二端口；
第一处理模块，用于对待检测图像进行预处理，得到第一端口图像和第二端口图像；
第二处理模块，用于对第一端口图像和第二端口图像进行特征分割处理，得到第一端口图像对应的第一缺陷信息和第二端口图像对应的第二缺陷信息；
第一确定模块，用于根据第一缺陷允收条件确定所述第一缺陷信息对应的第一允收结果，并根据第二缺陷允收条件确定所述第二缺陷信息对应的第二允收结果；
第二确定模块，用于根据所述第一允收结果和/或所述第二允收结果，确定待检测图像的允收结果。
9.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310766813.0A CN117074412A (zh) | 2023-06-27 | 2023-06-27 | 焊锡外观缺陷检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310766813.0A CN117074412A (zh) | 2023-06-27 | 2023-06-27 | 焊锡外观缺陷检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117074412A true CN117074412A (zh) | 2023-11-17 |
Family
ID=88705018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310766813.0A Pending CN117074412A (zh) | 2023-06-27 | 2023-06-27 | 焊锡外观缺陷检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117074412A (zh) |
-
2023
- 2023-06-27 CN CN202310766813.0A patent/CN117074412A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021057848A1 (zh) | 网络的训练方法、图像处理方法、网络、终端设备及介质 | |
| CN116503414B (zh) | 屏幕缺陷检测方法、装置、计算机设备和存储介质 | |
| CN110163850B (zh) | 贴胶质量检测方法、装置、计算机设备和存储介质 | |
| CN113255685B (zh) | 一种图像处理方法、装置、计算机设备以及存储介质 | |
| US20240071111A1 (en) | Method, apparatus and system for inspecting cell crush | |
| CN111160312A (zh) | 目标识别方法、装置和电子设备 | |
| CN116125299A (zh) | 电芯包异常检测方法、装置、设备以及存储介质 | |
| CN112767394A (zh) | 图像检测方法、装置和设备 | |
| CN115236074A (zh) | 一种用于锂电池极片叠片的检测方法、系统及平台 | |
| CN115564723A (zh) | 一种晶圆缺陷检测方法及应用 | |
| CN113781393B (zh) | 屏幕缺陷检测方法、装置、设备及存储介质 | |
| WO2024001309A1 (zh) | 一种红外热像分析报告的生成及模板制作方法及装置 | |
| WO2020135097A1 (zh) | 显示终端通道切换检测方法和装置 | |
| CN117074412A (zh) | 焊锡外观缺陷检测方法、装置、设备及存储介质 | |
| CN112001891A (zh) | 一种金手指缺陷检测方法、系统、终端及存储介质 | |
| CN116206125A (zh) | 外形缺陷识别方法、装置、计算机设备及存储介质 | |
| CN113192070B (zh) | 一种基于计算机视觉的焊缝图像处理方法和系统 | |
| CN115829929A (zh) | 产品表面图像的缺陷检测方法、装置、设备及存储介质 | |
| CN115797547A (zh) | 图像建模方法、计算机设备和存储介质 | |
| US10282633B2 (en) | Cross-asset media analysis and processing | |
| CN115829911A (zh) | 检测系统的成像一致性的方法、装置和计算机存储介质 | |
| TW202042111A (zh) | 瑕疵檢測方法、電子裝置及電腦可讀存儲介質 | |
| CN117575995A (zh) | 器件缺陷检测方法、装置、计算机设备和存储介质 | |
| CN116958104B (zh) | 物料表面图像处理方法、装置及存储介质 | |
| CN116939171B (zh) | 输电线路监控方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |