CN116758040B - 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质 - Google Patents
镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116758040B CN116758040B CN202310763718.5A CN202310763718A CN116758040B CN 116758040 B CN116758040 B CN 116758040B CN 202310763718 A CN202310763718 A CN 202310763718A CN 116758040 B CN116758040 B CN 116758040B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- recognition
- copper plating
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 230000007547 defect Effects 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 16
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims abstract description 81
- 229910052802 copper Inorganic materials 0.000 claims abstract description 81
- 239000010949 copper Substances 0.000 claims abstract description 81
- 238000007747 plating Methods 0.000 claims abstract description 80
- 230000037303 wrinkles Effects 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 25
- 238000005520 cutting process Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 17
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本申请公开镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质，涉及图像显示领域，通过工业相机拍摄镀铜板的待检图像；对待检图像进行轮廓识别，根据挂架夹爪所在位置及镀铜板尺寸提取第一待检图像和第二待检图像；第一待检图像是以挂架夹爪为目标选定的镀铜板区域，第二待检图像是除第一目标图像外的镀铜板区域；将第一待检图像输入精识别预测模型进行缺陷检测，获得精识别结果；将第二待检图像输入粗识别预测模型中进行缺陷检测，获得粗识别结果；将精识别和粗识别结果进行融合输出褶皱识别结果。本方案将夹爪抓取的镀铜板拍照后分区域进行精识别和粗识别检测褶皱情况，提高褶皱检测准确率和自动化程度。
Description
技术领域
本申请实施例涉及AOI图像检测领域，特别涉及一种镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质。
背景技术
镀铜板在集成电路领域应用广泛，而镀铜板褶皱是指铜板在生产、机器流转和夹取等阶段因受力不均导致产生褶痕，对于出现褶皱和褶痕的情况，需要及时筛选过滤，以免误将缺陷产品流入产线。
在相关技术中，因为镀铜板的厚度较薄，所以缺陷产品产生的褶痕通常比较细微，需依靠人工巡检，也就是通过肉眼逐次校验。在大型生产线上，这一阶段需要投入大量人力进行复检，且无法保证缺陷检测的准确率，且缺陷检测效率和自动化程度也不高。
发明内容
本申请实施例提供一种镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质，解决镀铜板表面褶皱检测精度和检测效率低下的问题。
一方面，本申请提供一种镀铜板表面褶皱缺陷检测方法，所述方法包括：
通过工业相机拍摄镀铜板的待检图像；所述待检图像中包含若干组通过挂架夹爪抓起的镀铜板，每组镀铜板包含至少两组挂架夹爪；
对所述待检图像进行轮廓识别，根据挂架夹爪所在位置及镀铜板尺寸提取第一待检图像和第二待检图像；所述第一待检图像是以挂架夹爪为目标选定的镀铜板区域，所述第二待检图像是除所述第一目标图像外的镀铜板区域；
将所述第一待检图像输入精识别预测模型进行缺陷检测，获得精识别结果；将所述第二待检图像输入粗识别预测模型中进行缺陷检测，获得粗识别结果；
将精识别和粗识别结果进行融合输出褶皱识别结果。
可选的，所述提取第一待检图像和第二待检图像，包括：
识别所述待检图像中挂架夹爪的轮廓区域和镀铜板的轮廓区域；
将挂架夹爪确定为拾取目标，从所述待检图像中框选目标尺寸的像素区域裁剪获得所述第一待检图像，且框选的像素区域中包含镀铜板和完整挂架夹爪；
以所述待检图像中识别的镀铜板轮廓边缘确定镀铜板的像素区域，将其中所述第一待检图像对应的像素区域抠除，将剩下的镀铜板像素区域裁剪获得所述第二待检图像。
可选的，所述裁剪获得所述第一待检图像，包括：
将所述待检图像放大设置为第一目标分辨率大小，然后将框选的包含镀铜板和完整挂架夹爪的像素区域裁剪为所述第一待检图像；
所述裁剪获得所述第二待检图像，包括：
将所述待检图像缩小设置为第二目标分辨率大小，然后抠除其中所述第一待检图像对应的像素区域，剩下镀铜板像素区域裁剪为所述第二待检图像；
或，
先抠除所述待检图像中所述第一待检图像对应的像素区域，然后设置二目标分辨率大小，将剩下镀铜板像素区域获得所述第二裁剪图像；
其中，第一目标分辨率小于第二目标分辨率，所述待检图像的最大分辨率不小于第二目标分辨率。
可选的，获得第一和第二待检图像后，所述方法还包括：
将同一镀铜板上的所述第一待检图像和所述第二待检图像根据位置关系建立索引标签；一个待检测图像中包含至少一组索引标签；
获取若干待检图像的图像帧序列，分别根据所述第一待检图像和所述第二待检图像裁剪分为粗识别序列和精识别序列。
可选的，所述精识别预测模型对所述精识别序列中的所述第一待检图像进行褶皱缺陷检测，输出精识别结果序列；所述粗识别预测模型对所述粗识别序列中的所述第二待检图像进行褶皱缺陷检测，输出粗识别结果序列；
其中，所述精识别预测模型和所述粗识别预测模型分别用于对挂架夹爪周围和镀铜板表面进行褶痕识别。
可选的，所述将精识别和粗识别结果进行融合输出褶皱识别结果，包括：
将所述精识别结果和所述粗识别结果根据索引标签建立位置匹配关系，并进行图像融合；
当所述精识别结果和/或所述粗识别结果指示存在镀铜褶皱时，在融合图像中进行褶皱标注并输出。
匹配位置匹配关系后，将粗识别和精识别结果对应的第一和第二待检图像的分辨率统一设置为目标分辨率后进行图像融合，获得融合图像；
当所述融合图像中第一和第二待检图像所对应的像素区域同时包含褶痕时，进行褶痕连续检测；
当褶痕连续检测指示两个像素区域为同一褶痕时，在所述融合图像中进行合并标注并输出。
另一方面，本申请提供一种镀铜板表面褶皱缺陷检测装置，所述装置包括：
图像获取模块，用于通过工业相机拍摄镀铜板的待检图像；所述待检图像中包含若干组通过挂架夹爪抓起的镀铜板，每组镀铜板包含至少两组挂架夹爪；
图像提取模块，用于对所述待检图像进行轮廓识别，根据挂架夹爪所在位置及镀铜板尺寸提取第一待检图像和第二待检图像；所述第一待检图像是以挂架夹爪为目标选定的镀铜板区域，所述第二待检图像是除所述第一目标图像外的镀铜板区域；
模型预测模块，用于将所述第一待检图像输入精识别预测模型进行缺陷检测，获得精识别结果；将所述第二待检图像输入粗识别预测模型中进行缺陷检测，获得粗识别结果；
结果输出模块，用于将精识别和粗识别结果进行融合输出褶皱识别结果。
又一方面，本申请提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一方面所述的镀铜板表面褶皱缺陷检测方法。
又一方面，本申请提供一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一方面所述的镀铜板表面褶皱缺陷检测方法。
本申请实施例提供的技术方案带来的有益效果至少包括：将待检图像进行分割处理并以不同的检测模型来针对性识别，以包含挂架夹爪的第一待检图像输入精识别预测模型进行缺陷检测，将抠除第一待检图像区域的第二待检图像输入粗识别预测模型中进行缺陷检测，两个预测模型分别输出各自的检测结果，并将结果融合输出，在检测出镀铜褶皱时可视化显示出来，这种针对不同区域大小选择不同精度识别模型的配合模式可以有效提高检测精度和检测效率。
附图说明
图1是本申请提供的镀铜板表面褶皱缺陷检测方法的流程图；
图2是挂架夹爪抓取镀铜板的场景示意图；
图3是融合第一和第二待检图像的示意图；
图4示出了本申请实施例提供的镀铜板表面褶皱缺陷检测装置的结构框图；
图5是本申请一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1是本申请提供的镀铜板表面褶皱缺陷检测方法的流程图，包括如下步骤：
步骤101，通过工业相机拍摄镀铜板的待检图像；待检图像中包含若干组通过挂架夹爪抓起的镀铜板，每组镀铜板包含至少两组挂架夹爪。
如图2所示，是挂架夹爪抓取镀铜板的场景示意图，每个镀铜板至少需要一对夹爪抓取，工业相机每次拍摄的待检图像中至少存在一张完整镀铜板的抓取画面。为了提高检测效率，在一张待检图像中通常会包含多组镀铜板图像。
步骤102，对待检图像进行轮廓识别，根据挂架夹爪所在位置及镀铜板尺寸提取第一待检图像和第二待检图像；第一待检图像是以挂架夹爪为目标选定的镀铜板区域，第二待检图像是除第一待检图像外的镀铜板区域。
从图2中可以看出，因为待检图像中镀铜板有部分区域会被挂架夹爪遮盖，而为了提高检测精度，尽可能的选用小尺寸夹爪以减小遮挡。但局限于相机视野、角度和镀铜板尺寸问题，在夹爪夹取的区域被存在褶痕识别误差大的问题。相对的，而远离挂架夹爪的镀铜板区域识别正常褶皱精度较高。所以本方案对原相机采集的图像进行分割识别处理。以挂架夹爪为检测目标，对该挂架夹爪所在位置裁剪出第一待检图像，该第一待检图像中附带的镀铜板区域是进行精识别的区域。对应的，第二待检图像是除第一待检图像外的镀铜板区域。如图2中显示的虚线框区域即为包含挂架夹爪的第一待检图像的镀铜板区域，其余部分为第二待检图像的镀铜板区域。
步骤103，将第一待检图像输入精识别预测模型进行缺陷检测，获得精识别结果；将第二待检图像输入粗识别预测模型中进行缺陷检测，获得粗识别结果。
镀铜板褶皱识别的关键在于预测模型，本方案分别以两个不同检测精度模型进行褶皱识别。以第二待检图像作为输入是被对象的粗识别预测模型，以及以第一待检图像作为输入对象的粗识别预测模型。可选的，两个模型分别对图像/像素的识别精度存在差异，因为镀铜板上不存在其他异物，所以粗识别预测模型只要识别到区别于正常镀铜表面像素时即判定为异常，而精识别模型则以识别挂架夹爪为目标，对所有像素进行注意识别。这种粗识别大面积区域和精识别小面积区域的配合可以提高检测效率和识别准确性。避免单纯以提高精度而使用精识别模型影响检测效率的问题。在一些其他实施例中，精识别和粗识别以像素分辨率为依据进行识别。
步骤104，将精识别和粗识别结果进行融合输出褶皱识别结果。
两个预测模型的识别结果仅仅是图像检测结果，如果检测结果正常则正常进行生产流程，若检测结果是被到镀铜褶皱，则需要进入后续瑕疵复检处理步骤进行针对性修复或报废处理等。复检则需要对待检图像中进行褶皱标注，以便机器或人工鉴别判定。此外，正常检测过程可视化也是方便人工检查，这一步骤也需要将精识别和粗识别结果进行融合显示，例如识别出第一和第二待检图像中的褶皱后，进行图像化处理显示识别结果。
综上所示，本方案将待检图像进行分割处理并以不同的检测模型来针对性识别，以包含挂架夹爪的第一待检图像输入精识别预测模型进行缺陷检测，将抠除第一待检图像区域的第二待检图像输入粗识别预测模型中进行缺陷检测，两个预测模型分别输出各自的检测结果，并将结果融合输出，在检测出镀铜褶皱时可视化显示出来，这种针对不同区域大小选择不同精度识别模型的配合模式可以有效提高检测精度和检测效率。
在一些实施例中，针对从工业相机拍摄的待检图像中提取第一和第二待检图像的步骤，具体可以包括如下步骤：
A，识别待检图像中挂架夹爪的轮廓区域和镀铜板的轮廓区域；
B，将挂架夹爪确定为拾取目标，从待检图像中框选目标尺寸的像素区域裁剪获得第一待检图像，且框选的像素区域中包含镀铜板和完整挂架夹爪；
C，以待检图像中识别的镀铜板轮廓边缘确定镀铜板的像素区域，将其中第一待检图像对应的像素区域抠除，将剩下的镀铜板像素区域裁剪获得第二待检图像。
镀铜板的轮廓区域可以基于像素差异识别，拍摄的镀铜板背景颜色与镀铜板形成色差，识别后对图像中的背景区域进行裁剪，提高后续检测精度。识别挂架夹爪的轮廓区域后，将其作为拾取目标裁剪第一待检图像，裁剪大小可以根据夹爪形状或自定义像素大小范围。抠除后剩下的图像区域即为第二待检图像。
为了获得更好的检测效果，本申请可以采用高精度相机获取大尺寸待检图像，而在选取第一和第二待检图像时，对其进行放大截取和缩小截取等操作，以突出对应细节特征。因为原始拍摄的待检图像尺寸较大，且包含的信息量较多，精识别时可以将其放大处理，也就是将待检图像设置为第一目标分辨率大小，然后将框选的包含镀铜板和完整挂架夹爪的像素区域裁剪为第一待检图像。这样截取的图片可以显示出更多的细节，便于识别褶痕。对应的，因为第二待检图像区域较大，所以选择将图像缩放设置成第二分辨率大小，然后抠除第一待检图像的像素范围后获得第二待检图像，这样可以在不影响检测准确性的前提下忽略一些细节特征，以提高模型检测效率。
当然在一些实施例中，还可以先抠除待检图像中第一待检图像对应的像素区域，然后设置二目标分辨率大小，将剩下镀铜板像素区域获得第二裁剪图像。
这一原理基于图像显示分辨率进行设置，类似于查看浏览图片操作。原始待检图像像素较高不适宜直接输入模型，直接截取后的图像无法直接显示出细节特征，可能检测不出褶皱，所以将夹爪区域放大截取后可以呈现更多细节特征，且降低图像分辨率识别，以提高模型响应速度。
因为待检图像中可能包含多组镀铜板，而在模型识别阶段需要裁剪识别后融合，所以需要建立索引机制。具体的，获得第一和第二待检图像后，该方法还包括：
将同一镀铜板上的第一待检图像和第二待检图像根据位置关系建立索引标签；一个待检测图像中包含至少一组索引标签；
获取若干待检图像的图像帧序列，分别根据第一待检图像和第二待检图像裁剪分为粗识别序列和精识别序列。
为了进一步提高流水线检测效率，对于工业相机则采用图像帧的形式拍摄一系列图像不间断送入预测模型，所以针对每一帧图像都会裁剪和识别，即所有待检图像被裁剪形成粗识别序列(第二目标分辨率)和精识别序列(第一目标分辨率)的图像，然后送入两种预测模型。为了后续准确将输出后的结果进行索引拼接融合，所以必须引入索引标签，索引标签至少包含待检图像的序号，待检图像中镀铜板的序号、挂架夹爪的序号以及挂架夹爪所在的图像坐标。
精识别预测模型对精识别序列中的第一待检图像进行褶皱缺陷检测，输出精识别结果序列；粗识别预测模型对粗识别序列中的第二待检图像进行褶皱缺陷检测，输出粗识别结果序列。精识别预测模型和粗识别预测模型分别用于对挂架夹爪周围和镀铜板表面进行褶痕识别。
对于检测到褶痕的图像需要进行标注显示，所以输出粗识别和精识别序列后通过之前建立的索引标签重建位置匹配关系和进行图像融合。这一过程可以只针对检测到褶痕的输出图像执行，也就是对任意识别到褶痕的第一或第二待检图像，通过索引找到与之匹配的其他所有第二和第一待检图像，然后基于位置和数量关系重新融合完整的图像。
此外，因为第一和第二待检图像分辨率的问题，在匹配位置匹配关系后，将粗识别和精识别结果对应的第一和第二待检图像的分辨率统一设置为目标分辨率后进行图像融合，获得融合图像。
如图3所示，当融合图像中第一和第二待检图像所对应的像素区域同时包含褶痕时，进行褶痕连续检测；当褶痕连续检测指示两个像素区域为同一褶痕时，在融合图像中进行合并标注并输出。
特别需要说明的是，这一融合过程是对可能涉及到褶皱同时覆盖第一和第二待检图像区域，所以标注显示选在融合后图像标注，以此提高标注的准确性。
图4示出了本申请实施例提供的镀铜板表面褶皱缺陷检测装置的结构框图，所述装置包括：
图像获取模块，用于通过工业相机拍摄镀铜板的待检图像；所述待检图像中包含若干组通过挂架夹爪抓起的镀铜板，每组镀铜板包含至少两组挂架夹爪；
图像提取模块，用于对所述待检图像进行轮廓识别，根据挂架夹爪所在位置及镀铜板尺寸提取第一待检图像和第二待检图像；所述第一待检图像是以挂架夹爪为目标选定的镀铜板区域，所述第二待检图像是除所述第一待检图像外的镀铜板区域；
模型预测模块，用于将所述第一待检图像输入精识别预测模型进行缺陷检测，获得精识别结果；将所述第二待检图像输入粗识别预测模型中进行缺陷检测，获得粗识别结果；
结果输出模块，用于将精识别和粗识别结果进行融合输出褶皱识别结果。
本申请实施例提供的镀铜板表面褶皱缺陷检测装置可以应用于如上述实施例中提供的镀铜板表面褶皱缺陷检测方法，相关细节参考上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，本申请实施例中提供的镀铜板表面褶皱缺陷检测装置在进行全景和局部预览显示时，仅以上述各功能模块/功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块/功能单元完成，即将镀铜板表面褶皱缺陷检测的内部结构划分成不同的功能模块/功能单元，以完成以上描述的全部或者部分功能。另外，上述方法实施例提供的镀铜板表面褶皱缺陷检测方法的实施方式与本实施例提供的镀铜板表面褶皱缺陷检测装置的实施方式属于同一构思，本实施例提供的镀铜板表面褶皱缺陷检测装置的具体实现过程详见上述方法实施例，这里不再赘述。
图5示出了本申请一个示例性实施例提供的计算机设备的结构框图。该计算机设备可以是桌上型计算机、笔记本电脑、掌上电脑以及云端服务器等计算机设备。该计算机设备可以包括，但不限于，处理器和存储器。其中，处理器和存储器可以通过总线或者其他方式连接。其中，处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、图形处理器(GraphicsProcessing Unit，GPU)、嵌入式神经网络处理器(Neural-network Processing Unit，NPU)或者其他专用的深度学习协处理器、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－ProgrammableGate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请上述实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一些实施例中，计算机设备还可选包括有：外围设备接口和至少一个外围设备。处理器、存储器和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。具体地，外围设备包括：射频电路、显示屏、键盘中的至少一种。
外围设备接口可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器和存储器。在一些实施例中，处理器、存储器和外围设备接口被集成在同一芯片或电路板上；在一些其他实施例中，处理器、存储器和外围设备接口中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
显示屏用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏是触摸显示屏时，显示屏还具有采集在显示屏的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器进行处理。此时，显示屏还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏可以为一个，设置在计算机设备的前面板；在另一些实施例中，显示屏可以为至少两个，分别设置在计算机设备的不同表面或呈折叠设计；在另一些实施例中，显示屏可以是柔性显示屏，设置在计算机设备的弯曲表面上或折叠面上。甚至，显示屏还可以设置成非矩形的不规则图形，也即异形屏。显示屏可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
电源用于为计算机设备中的各个组件进行供电。电源可以是交流电、直流电、一次性电池或可充电电池。当电源包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图5中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还公开一种计算机可读存储介质。具体来说，计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述方法实施方式中的方法。本领域技术人员可以理解，实现本申请上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (8)
1.一种镀铜板表面褶皱缺陷检测方法，其特征在于，所述方法包括：
通过工业相机拍摄镀铜板的待检图像；所述待检图像中包含若干组通过挂架夹爪抓起的镀铜板，每组镀铜板包含至少两组挂架夹爪；
对所述待检图像进行轮廓识别，根据挂架夹爪所在位置及镀铜板尺寸提取第一待检图像和第二待检图像；所述第一待检图像是以挂架夹爪为目标选定的镀铜板区域，所述第二待检图像是除所述第一待检图像外的镀铜板区域；
将同一镀铜板上的所述第一待检图像和所述第二待检图像根据位置关系建立索引标签；一个待检测图像中包含至少一组索引标签；
获取若干待检图像的图像帧序列，分别根据所述第一待检图像和所述第二待检图像裁剪分为粗识别序列和精识别序列；将所述第一待检图像输入精识别预测模型进行缺陷检测，获得精识别结果；将所述第二待检图像输入粗识别预测模型中进行缺陷检测，获得粗识别结果；具体所述精识别预测模型和所述粗识别预测模型分别对挂架夹爪周围和镀铜板表面进行褶痕识别，且所述精识别预测模型对所述精识别序列中的所述第一待检图像进行褶皱缺陷检测，输出精识别结果序列；所述粗识别预测模型对所述粗识别序列中的所述第二待检图像进行褶皱缺陷检测，输出粗识别结果序列；将精识别和粗识别结果进行融合输出褶皱识别结果。
2.根据权利要求1所述的方法，其特征在于，所述提取第一待检图像和第二待检图像，包括：
识别所述待检图像中挂架夹爪的轮廓区域和镀铜板的轮廓区域；
将挂架夹爪确定为拾取目标，从所述待检图像中框选目标尺寸的像素区域裁剪获得所述第一待检图像，且框选的像素区域中包含镀铜板和完整挂架夹爪；
以所述待检图像中识别的镀铜板轮廓边缘确定镀铜板的像素区域，将其中所述第一待检图像对应的像素区域抠除，将剩下的镀铜板像素区域裁剪获得所述第二待检图像。
3.根据权利要求2所述的方法，其特征在于，所述裁剪获得所述第一待检图像，包括：
将所述待检图像放大设置为第一目标分辨率大小，然后将框选的包含镀铜板和完整挂架夹爪的像素区域裁剪为所述第一待检图像；
所述裁剪获得所述第二待检图像，包括：
将所述待检图像缩放设置为第二目标分辨率大小，然后抠除其中所述第一待检图像对应的像素区域，剩下镀铜板像素区域裁剪为所述第二待检图像；
或，
先抠除所述待检图像中所述第一待检图像对应的像素区域，然后设置二目标分辨率大小，将剩下镀铜板像素区域获得所述第二裁剪图像；
其中，第一目标分辨率小于第二目标分辨率，所述待检图像的最大分辨率不小于第二目标分辨率。
4.根据权利要求1所述的方法，其特征在于，所述将精识别和粗识别结果进行融合输出褶皱识别结果，包括：
将所述精识别结果和所述粗识别结果根据索引标签建立位置匹配关系，并进行图像融合；
当所述精识别结果和/或所述粗识别结果指示存在镀铜褶皱时，在融合图像中进行褶皱标注并输出。
5.根据权利要求4所述的方法，其特征在于，匹配位置匹配关系后，将粗识别和精识别结果对应的第一和第二待检图像的分辨率统一设置为目标分辨率后进行图像融合，获得融合图像；
当所述融合图像中第一和第二待检图像所对应的像素区域同时包含褶痕时，进行褶痕连续检测；
当褶痕连续检测指示两个像素区域为同一褶痕时，在所述融合图像中进行合并标注并输出。
6.一种镀铜板表面褶皱缺陷检测装置，其特征在于，所述装置包括：
图像获取模块，用于通过工业相机拍摄镀铜板的待检图像；所述待检图像中包含若干组通过挂架夹爪抓起的镀铜板，每组镀铜板包含至少两组挂架夹爪；
图像提取模块，用于对所述待检图像进行轮廓识别，根据挂架夹爪所在位置及镀铜板尺寸提取第一待检图像和第二待检图像；所述第一待检图像是以挂架夹爪为目标选定的镀铜板区域，所述第二待检图像是除所述第一待检图像外的镀铜板区域；
将同一镀铜板上的所述第一待检图像和所述第二待检图像根据位置关系建立索引标签；一个待检测图像中包含至少一组索引标签；
获取若干待检图像的图像帧序列，分别根据所述第一待检图像和所述第二待检图像裁剪分为粗识别序列和精识别序列；
模型预测模块，用于将所述第一待检图像输入精识别预测模型进行缺陷检测，获得精识别结果；将所述第二待检图像输入粗识别预测模型中进行缺陷检测，获得粗识别结果；具体所述精识别预测模型和所述粗识别预测模型分别对挂架夹爪周围和镀铜板表面进行褶痕识别，且所述精识别预测模型对所述精识别序列中的所述第一待检图像进行褶皱缺陷检测，输出精识别结果序列；所述粗识别预测模型对所述粗识别序列中的所述第二待检图像进行褶皱缺陷检测，输出粗识别结果序列；
结果输出模块，用于将精识别和粗识别结果进行融合输出褶皱识别结果。
7.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一所述的镀铜板表面褶皱缺陷检测方法。
8.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一所述的镀铜板表面褶皱缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310763718.5A CN116758040B (zh) | 2023-06-26 | 2023-06-26 | 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310763718.5A CN116758040B (zh) | 2023-06-26 | 2023-06-26 | 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116758040A CN116758040A (zh) | 2023-09-15 |
| CN116758040B true CN116758040B (zh) | 2024-02-20 |
Family
ID=87958795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310763718.5A Active CN116758040B (zh) | 2023-06-26 | 2023-06-26 | 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758040B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565548A (zh) * | 2020-11-13 | 2022-05-31 | 华为云计算技术有限公司 | 工业缺陷识别方法、系统、计算设备及存储介质 |
| CN115239644A (zh) * | 2022-07-05 | 2022-10-25 | 港珠澳大桥管理局 | 混凝土缺陷识别方法、装置、计算机设备和存储介质 |
| CN115457017A (zh) * | 2022-09-29 | 2022-12-09 | 北京星闪世图科技有限公司 | 一种导线缺陷检测方法、装置、计算机设备及存储介质 |
-
2023
- 2023-06-26 CN CN202310763718.5A patent/CN116758040B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565548A (zh) * | 2020-11-13 | 2022-05-31 | 华为云计算技术有限公司 | 工业缺陷识别方法、系统、计算设备及存储介质 |
| CN115239644A (zh) * | 2022-07-05 | 2022-10-25 | 港珠澳大桥管理局 | 混凝土缺陷识别方法、装置、计算机设备和存储介质 |
| CN115457017A (zh) * | 2022-09-29 | 2022-12-09 | 北京星闪世图科技有限公司 | 一种导线缺陷检测方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Faster R-CNN在工业CT图像缺陷检测中的应用;常海涛;苟军年;李晓梅;;中国图象图形学报(07);第129-139页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116758040A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107014819A (zh) | 一种太阳能电池板表面缺陷检测系统和方法 | |
| CN109886928B (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
| CN111340796B (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
| CN113379734A (zh) | 质量检测方法、装置、设备及计算机可读存储介质 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN111950523A (zh) | 基于航拍的船只检测优化方法、装置、电子设备及介质 | |
| CN113870267A (zh) | 缺陷检测方法、装置、计算机设备及可读存储介质 | |
| CN113780484B (zh) | 工业产品缺陷检测方法和装置 | |
| CN111435429A (zh) | 一种基于双目立体数据动态认知的手势识别方法及系统 | |
| CN114494751A (zh) | 证照信息识别方法、装置、设备及介质 | |
| CN114331961A (zh) | 用于对象的缺陷检测的方法 | |
| KR20180061528A (ko) | Lab 컬러 모델을 이용한 이물질 검사 시스템 및 방법 | |
| CN116758040B (zh) | 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质 | |
| CN115546219B (zh) | 检测板式生成方法、板卡缺陷检测方法、装置及产品 | |
| CN115829929A (zh) | 产品表面图像的缺陷检测方法、装置、设备及存储介质 | |
| CN109447955B (zh) | 手机背光模组点灯检测roi分割方法 | |
| CN111401365B (zh) | Ocr图像自动生成方法及装置 | |
| CN104537666A (zh) | 一种芯片封装外观缺陷检测系统及方法 | |
| CN116958104B (zh) | 物料表面图像处理方法、装置及存储介质 | |
| JP2022177394A (ja) | マニュアル提供装置、マニュアル読解システム、方法、およびプログラム | |
| CN116930207B (zh) | 展示区与实时区视野同步放大的显示方法 | |
| CN112288066B (zh) | 图形码打码和识别方法、装置及系统 | |
| CN117173125A (zh) | 一种基于全景图的缺陷点位显示方法、装置及存储介质 | |
| CN117011258A (zh) | 电路板缺陷图像校验显示方法、装置、设备及存储介质 | |
| CN112668647A (zh) | 一种图像的检测方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |