CN117274245B - 基于图像处理技术的aoi光学检测方法及系统 - Google Patents
基于图像处理技术的aoi光学检测方法及系统 Download PDFInfo
- Publication number
- CN117274245B CN117274245B CN202311535044.XA CN202311535044A CN117274245B CN 117274245 B CN117274245 B CN 117274245B CN 202311535044 A CN202311535044 A CN 202311535044A CN 117274245 B CN117274245 B CN 117274245B
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- analysis model
- training
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 118
- 238000001514 detection method Methods 0.000 title claims abstract description 109
- 238000012545 processing Methods 0.000 title claims abstract description 23
- 238000005516 engineering process Methods 0.000 title claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 294
- 230000007547 defect Effects 0.000 claims abstract description 206
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000007689 inspection Methods 0.000 claims description 11
- 230000000712 assembly Effects 0.000 claims description 7
- 238000000429 assembly Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract 1
- 238000003860 storage Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 230000002950 deficient Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30144—Printing quality
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像处理技术的AOI光学检测方法及系统，所述方法可应用于服务器，所述方法包括：生成多个对应各类型缺陷的缺陷分析模型，并依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型；依据多个训练好的缺陷分析模型，生成线下分析模型和线上分析模型；将线下分析模型部署给光学检测设备，以使得光学检测设备依据线下分析模型对采集图像进行分析，确定第一分析结果，以依据第一分析结果确定待分析图像；接收光学检测设备上传的待分析图像，并输入到线上分析模型中进行分析，确定第二分析结果并反馈；本申请的方案可以减少光学检测设备与服务器交互的数据量。
Description
技术领域
本发明涉及计算机技术领域，尤其是涉及一种基于图像处理技术的AOI光学检测方法及系统。
背景技术
自动光学检测（Automated Optical Inspection，AOI），是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备。当自动检测时，机器通过摄像头自动扫描来采集图像（如对电路板扫描），经过图像处理，检查出缺陷，并标记，以丢弃或者人工维修不合格产品。
现有的处理方案是将采集的图像上传给服务器，在服务器中采取预先训练好的模型进行分析，并反馈分析结果给检测设备。
但是，采用上述方案，需要上传大量的数据给服务器，需要交互的数据量大。
发明内容
本发明提供一种基于图像处理技术的AOI光学检测方法及系统，以减少交互的数据量。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本申请提供了一种基于图像处理技术的AOI光学检测方法，应用于服务器，所述方法包括：生成多个对应各类型缺陷的缺陷分析模型，并依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型；依据多个训练好的缺陷分析模型，生成线下分析模型和线上分析模型；将线下分析模型部署给光学检测设备，以使得光学检测设备依据线下分析模型对采集图像进行分析，确定第一分析结果，以依据第一分析结果确定待分析图像；接收光学检测设备上传的待分析图像，并输入到线上分析模型中进行分析，确定第二分析结果并反馈。
进一步的，所述依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型，包括：将各参与方与目标类型缺陷对应的图像汇总到目标计算节点；将目标类型缺陷对应的缺陷分析模型部署到目标计算节点，以在目标计算节点依据本地的图像对目标缺陷分析模型进行训练，以确定训练好的目标缺陷分析模型。
进一步的，所述依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型，包括：将目标类型缺陷对应的目标缺陷分析模型部署到第一参与方，在第一参与方依据第一参与方本地的与目标类型缺陷对应的相关图像对目标缺陷分析模型进行训练；在第一参与方训练结束之后，将目标缺陷分析模型调度到第二参与方进行训练，直至完成全部参与方的训练，得到训练好的目标缺陷分析模型。
进一步的，所述方法还包括：设置训练节点，并从各参与方获取预设数量的与目标类型缺陷对应的图像；将训练节点作为最后一个参与方，以通过训练节点依据训练节点本地的与目标类型缺陷对应的图像对目标缺陷分析模型进行训练，得到训练好的目标缺陷分析模型。
进一步的，所述光学检测设备用于完成以下步骤：通过光学检测组件获取电路板的采集图像，并将采集图像切分为多个子图像；将子图像与预存图像进行对比，确定差异量，在差异量未超过预设阈值时，确定子图像合规；在差异量超过预设阈值时，采用线下分析模型对多个子图像进行分析，确定子图像是否具有缺陷；将不具有缺陷的子图像汇总为待分析图像，并上传给服务器。
进一步的，所述将子图像与预存图像进行对比，确定差异量，包括：将子图像转变为灰度图，并提取各像素点的灰度值；将子图像各像素点的灰度值与预存图像各像素点的灰度值进行逐像素比较，确定各像素点的灰度差值，并依据灰度差值进行汇总，形成差异量。
进一步的，所述光学检测组件由多个光学组件组成，相邻的光学组件的拍摄区域具有重复部分；所述通过光学检测组件获取电路板的采集图像，包括：获取第一光学组件采集的第一图像和与第一光学组件相邻的第二光学组件采集的第二图像；按照第一光学组件和第二光学组件的空间位置关系，确定第一图像和第二图像的重复区域；判断第一图像的第一重复区域和第二图像的第二重复区域对应的图像是否相同；若第一图像和第二图像相同，则进行去重处理，形成采集图像；若第一图像和第二图像不同，则发出警示信息。
进一步的，所述依据多个训练好的缺陷分析模型，生成线下分析模型和线上分析模型，包括：获取各参与方上传的对于各类型缺陷的缺陷统计信息，所述缺陷统计信息包括各类型缺陷的出现次数；依据各参与方的缺陷统计信息进行汇总并排序，确定最常出现的至少一个缺陷，并提取相应的训练好的缺陷分析模型，生成线下分析模型；并依据多个训练好的缺陷分析模型中剩余的模型，生成线上分析模型。
第三方面，本申请提供了一种基于图像处理技术的AOI光学检测系统，应用于服务器，所述系统包括：分析模型训练模块，用于生成多个对应各类型缺陷的缺陷分析模型，并依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型；分析模型切分模块，用于依据多个训练好的缺陷分析模型，生成线下分析模型和线上分析模型；线下模型部署模块，用于将线下分析模型部署给光学检测设备，以使得光学检测设备依据线下分析模型对采集图像进行分析，确定第一分析结果，以依据第一分析结果确定待分析图像；分析结果获取模块，用于接收光学检测设备上传的待分析图像，并输入到线上分析模型中进行分析，确定第二分析结果并反馈。
第三方面，本申请提供了一种电子设备，包括：存储器和至少一个处理器；所述存储器用于存储计算机执行指令；所述至少一个处理器用于执行所述存储器中存储的计算机执行指令，使得所述至少一个处理器执行如第一方面所述的方法。
本申请提供了一种基于图像处理技术的AOI光学检测方法，应用于服务器，所述方法包括：生成多个对应各类型缺陷的缺陷分析模型，并依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型；依据多个训练好的缺陷分析模型，生成线下分析模型和线上分析模型；将线下分析模型部署给光学检测设备，以使得光学检测设备依据线下分析模型对采集图像进行分析，确定第一分析结果，以依据第一分析结果确定待分析图像；接收光学检测设备上传的待分析图像，并输入到线上分析模型中进行分析，确定第二分析结果并反馈。
本申请的方案可以应用于服务器，服务器可以与光学检测设备进行交互，服务器可以接收光学检测设备上传检测对象（如电路板）的待分析图像，并输入到已训练的缺陷分析模型中进行分析，确定检测对象是否具有缺陷，进而反馈分析结果给光学检测设备。具体来说，本方案可以采取多个参与方的图像来训练多个缺陷分析模型，每个缺陷分析模型对应一种类型的缺陷。服务器得到多个训练好的缺陷分析模型之后，可以将一部分缺陷分析模型作为线下分析模型部署到光学检测设备，将另外一部分的缺陷分析模型作为线上分析模型。在分析过程中，光学检测设备可以获取检测对象的采集图像，并将采集图像切分为多个子图像，将子图像与预存图像进行对比，在子图像与预存图像差异较小时，子图像对应的检测对象是符合要求的；在子图像与预存图像差异较大时，子图像可能具有异常，因此，可以将可能存在异常的图像输入到线下分析模型中进行分析，得到第一分析结果，从而依据第一分析结果筛选出有缺陷的图像并对检测对象进行标记，筛选出无缺陷的图像作为需要上传给服务器的待分析图像，并上传给服务器。服务器接收到待分析图像之后，采取线上分析模型进行分析，从而确定第二分析结果并反馈给光学检测设备，光学检测设备可以依据第二分析结果对检测对象进行标记。
本方案中，可以采取线下分析模型对需要分析的图像进行初步筛选，从而提取出具有缺陷的图像，该部分图像无需上传给服务器，减少了与服务器交互的数据量，剩下的未确定缺陷的图像可以作为待分析图像上传给服务器，在服务器利用线上分析模型进行分析，并反馈分析结果。其中，通过在光学检测设备部署少量的分析模型，可以充分利用光学检测设备本地的算力，在服务器设置大量的分析模型，从而可以更准确的分析缺陷。另外，部署到光学检测设备的线下分析模型可以是由最高频出现缺陷对应的缺陷分析模型组成，从而使得可以在光学检测设备更多的发现缺陷，从而进一步减少了传递给服务器的数据量。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本申请一个实施例的基于图像处理技术的AOI光学检测方法的流程示意图；
图2是本申请一个实施例的基于图像处理技术的AOI光学检测方法的步骤示意图；
图3是本申请一个实施例的基于图像处理技术的AOI光学检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的方案可以应用于基于光学检测设备对检测对象进行缺陷检测的场景，检测对象可以为电路板，如对电路板上的元器件进行检测，以确定检测对象是否具有缺焊少焊断路等问题。本方案可以应用于服务器，如图1所示，服务器可以与光学检测设备进行交互，服务器可以接收光学检测设备上传的检测对象（如电路板）的待分析图像，并输入到已训练的缺陷分析模型中进行分析，确定检测对象是否具有缺陷，进而反馈分析结果给光学检测设备。
具体来说，本方案可以采取多个参与方的图像来训练多个缺陷分析模型，每个缺陷分析模型对应一种类型的缺陷。服务器得到多个训练好的缺陷分析模型之后，可以将一部分缺陷分析模型作为线下分析模型部署到光学检测设备，将另外一部分的缺陷分析模型作为线上分析模型。在分析过程中，光学检测设备可以获取检测对象的采集图像，并将采集图像切分为多个子图像，将子图像与预存图像进行对比，在子图像与预存图像差异较小时，子图像对应的检测对象是符合要求的；在子图像与预存图像差异较大时，子图像可能具有异常，因此，可以将可能存在异常的图像输入到线下分析模型中进行分析，得到第一分析结果，从而依据第一分析结果筛选出有缺陷的图像并对检测对象进行标记，筛选出无缺陷的图像作为需要上传给服务器的待分析图像，并上传给服务器。服务器接收到待分析图像之后，采取线上分析模型进行分析，从而确定第二分析结果并反馈给光学检测设备，光学检测设备可以依据第二分析结果对检测对象进行标记。
本方案中，可以采取线下分析模型对需要分析的图像进行初步筛选，从而提取出具有缺陷的图像，该部分图像无需上传给服务器，减少了与服务器交互的数据量，剩下的未确定缺陷的图像可以作为待分析图像上传给服务器，在服务器利用线上分析模型进行分析，并反馈分析结果。其中，通过在光学检测设备部署少量的分析模型，可以充分利用光学检测设备本地的算力，在服务器设置大量的分析模型，从而可以更准确的分析缺陷。另外，部署到光学检测设备的线下分析模型可以是由最高频出现缺陷对应的缺陷分析模型组成，从而使得可以在光学检测设备更多的发现缺陷，从而进一步减少了传递给服务器的数据量。
具体来说，本申请实施例提供了一种基于图像处理技术的AOI光学检测方法，可以应用于服务器，如图2所示，所述方法包括：
步骤202、生成多个对应各类型缺陷的缺陷分析模型，并依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型。多个参与方可以先进行数据对齐，数据对齐之后，可以使用同一类型缺陷对应的数据来训练该类型缺陷对应的缺陷分析模型。训练过程可以依据联邦学习的方式，也可以采取多方安全计算的方式进行训练。
步骤204、依据多个训练好的缺陷分析模型，生成线下分析模型和线上分析模型。可以以一个或多个缺陷分析模型作为线下分析模型，以剩余的缺陷分析模型作为线上分析模型。比如，可以以出现频次最高的缺陷对应的模型作为线下分析模型，以便在线下直接发现缺陷。具体的，作为一个可选的实施例，所述依据多个训练好的缺陷分析模型，生成线下分析模型和线上分析模型，包括：获取各参与方上传的对于各类型缺陷的缺陷统计信息，所述缺陷统计信息包括各类型缺陷的出现次数；依据各参与方的缺陷统计信息进行汇总并排序，确定最常出现的至少一个缺陷，并提取相应的训练好的缺陷分析模型，生成线下分析模型；并依据多个训练好的缺陷分析模型中剩余的模型，生成线上分析模型。
步骤206、将线下分析模型部署给光学检测设备，以使得光学检测设备依据线下分析模型对采集图像进行分析，确定第一分析结果，以依据第一分析结果确定待分析图像。第一分析结果包括具有缺陷和不具有缺陷，依据第一分析结果可以筛选出不具有缺陷的图像作为待分析图像。
步骤208、接收光学检测设备上传的待分析图像，并输入到线上分析模型中进行分析，确定第二分析结果并反馈。第二分析结果包括具有缺陷和不具有缺陷、缺陷位置等信息。
本方案可以采取多个参与方的图像来训练多个缺陷分析模型，每个缺陷分析模型对应一种类型的缺陷。服务器得到多个训练好的缺陷分析模型之后，可以将一部分缺陷分析模型作为线下分析模型部署到光学检测设备，将另外一部分的缺陷分析模型作为线上分析模型。在分析过程中，光学检测设备可以获取检测对象的采集图像，并将采集图像切分为多个子图像，将子图像与预存图像进行对比，在子图像与预存图像差异较小时，子图像对应的检测对象是符合要求的；在子图像与预存图像差异较大时，子图像可能具有异常，因此，可以将可能存在异常的图像输入到线下分析模型中进行分析，得到第一分析结果，从而依据第一分析结果筛选出有缺陷的图像并对检测对象进行标记，筛选出无缺陷的图像作为需要上传给服务器的待分析图像，并上传给服务器。服务器接收到待分析图像之后，采取线上分析模型进行分析，从而确定第二分析结果并反馈给光学检测设备，光学检测设备可以依据第二分析结果对检测对象进行标记。
本方案可以将多个参与方的数据对齐，对齐之后，可以将同一类型缺陷对应的图像汇总到一个计算节点，本方案可以设置多个计算节点，分别对应不同类型的缺陷，然后进行图像汇总和模型训练。具体的，作为一个可选的实施例，所述依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型，包括：将各参与方与目标类型缺陷对应的图像汇总到目标计算节点；将目标类型缺陷对应的缺陷分析模型部署到目标计算节点，以在目标计算节点依据本地的图像对目标缺陷分析模型进行训练，以确定训练好的目标缺陷分析模型。其中本方案中的图像可以是对检测对象的全部图像进行分割后得到的，可以按照检测对象的子单元进行分割，如按照电路板中元器件进行分割，得到各元器件对应的图像。本方案可以设置依据正样本（无缺陷）训练的模型和依据负样本（有缺陷）训练的模型。
另外，本方案还可以将模型依次部署到不同参与方，以采用各参与方本地的数据进行模型训练，具体的，作为一个可选的实施例，所述依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型，包括：将目标类型缺陷对应的目标缺陷分析模型部署到第一参与方，在第一参与方依据第一参与方本地的与目标类型缺陷对应的相关图像对目标缺陷分析模型进行训练；在第一参与方训练结束之后，将目标缺陷分析模型调度到第二参与方进行训练，直至完成全部参与方的训练，得到训练好的目标缺陷分析模型。不同类型模型遍历全部参与方的顺序不同，从而使得同一个参与方无法获取全部类型的模型。采用上述方案，最后一个参与方可能会获得较好的模型参数，模型参数安全性较差。因此，可以单独设置一个节点，从多个参与方各采集一部分数据，并将该节点作为模型训练的最后一个节点，从而提升了模型参数的安全性。具体的，作为一个可选的实施例，所述方法还包括：设置训练节点，并从各参与方获取预设数量的与目标类型缺陷对应的图像；将训练节点作为最后一个参与方，以通过训练节点依据训练节点本地的与目标类型缺陷对应的图像对目标缺陷分析模型进行训练，得到训练好的目标缺陷分析模型。
光学检测设备中可以预先存储多个预存图像，预存图像为检测对象（如电路板）的标准图像，当采集图像与预存图像一致时，检测对象为符合要求，当采集图像与预存图像存在差异时，检测对象可能存在异常，因此需要采用模型进行分析。具体的，作为一个可选的实施例，所述光学检测设备用于完成以下步骤：通过光学检测组件获取电路板的采集图像，并将采集图像切分为多个子图像；将子图像与预存图像进行对比，确定差异量，在差异量未超过预设阈值时，确定子图像合规；在差异量超过预设阈值时，采用线下分析模型对多个子图像进行分析，确定子图像是否具有缺陷；将不具有缺陷的子图像汇总为待分析图像，并上传给服务器。本方案可以按照电路板的元器件为单位，对采集图像进行切分，形成子图像，并进行对比。之后，采用线下分析模型对可能存在缺陷的子图像进行分析，确定具有缺陷的子图像，并直接进行标记。确定不具有缺陷的子图像，可以上传给服务器做进一步的分析。
在分析子图像与预存图像的差异时，可以分析像素点的灰度值的差异来确定差异大小。具体的，作为一个可选的实施例，所述将子图像与预存图像进行对比，确定差异量，包括：将子图像转变为灰度图，并提取各像素点的灰度值；将子图像各像素点的灰度值与预存图像各像素点的灰度值进行逐像素比较，确定各像素点的灰度差值，并依据灰度差值进行汇总，形成差异量。
现有的光学检测组件通常采取一个光学组件，焦距相同，但是可能无法准确的获得不同大小的元器件的图像，因此，可以设置由多个光学组件组成的光学检测组件，从而得到相应的图像。但是多个光学组件之间可能会有重复部分，因此可以去重之后进行分析。具体的，作为一个可选的实施例，所述光学检测组件由多个光学组件组成，相邻的光学组件的拍摄区域具有重复部分；所述通过光学检测组件获取电路板的采集图像，包括：获取第一光学组件采集的第一图像和与第一光学组件相邻的第二光学组件采集的第二图像；按照第一光学组件和第二光学组件的空间位置关系，确定第一图像和第二图像的重复区域；判断第一图像的第一重复区域和第二图像的第二重复区域对应的图像是否相同；若第一图像和第二图像相同，则进行去重处理，形成采集图像；若第一图像和第二图像不同，则发出警示信息。
在上述实施例的基础上，本申请实施例还提供一种基于图像处理技术的AOI光学检测系统，应用于服务器，如图3所示，所述系统包括：
分析模型训练模块302，用于生成多个对应各类型缺陷的缺陷分析模型，并依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型。
分析模型切分模块304，用于依据多个训练好的缺陷分析模型，生成线下分析模型和线上分析模型。
线下模型部署模块306，用于将线下分析模型部署给光学检测设备，以使得光学检测设备依据线下分析模型对采集图像进行分析，确定第一分析结果，以依据第一分析结果确定待分析图像。
分析结果获取模块308，用于接收光学检测设备上传的待分析图像，并输入到线上分析模型中进行分析，确定第二分析结果并反馈。
本申请实施例的实施方式与上述方法实施例的实施方式类似，具体实施方式可以参考上述方法实施例的具体实施方式，此处不再赘述。
本方案可以采取多个参与方的图像来训练多个缺陷分析模型，每个缺陷分析模型对应一种类型的缺陷。服务器得到多个训练好的缺陷分析模型之后，可以将一部分缺陷分析模型作为线下分析模型部署到光学检测设备，将另外一部分的缺陷分析模型作为线上分析模型。在分析过程中，光学检测设备可以获取检测对象的采集图像，并将采集图像切分为多个子图像，将子图像与预存图像进行对比，在子图像与预存图像差异较小时，子图像对应的检测对象是符合要求的；在子图像与预存图像差异较大时，子图像可能具有异常，因此，可以将可能存在异常的图像输入到线下分析模型中进行分析，得到第一分析结果，从而依据第一分析结果筛选出有缺陷的图像并对检测对象进行标记，筛选出无缺陷的图像作为需要上传给服务器的待分析图像，并上传给服务器。服务器接收到待分析图像之后，采取线上分析模型进行分析，从而确定第二分析结果并反馈给光学检测设备，光学检测设备可以依据第二分析结果对检测对象进行标记。
在上述实施例的基础上，本申请还提供一种电子设备，包括：存储器和至少一个处理器；所述存储器用于存储计算机执行指令；所述至少一个处理器用于执行所述存储器中存储的计算机执行指令，使得所述至少一个处理器执行如上述实施例所述的方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述数据的处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random ACGess Memory，简称RAM）、磁碟或者光盘等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的定界，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (7)
1.一种基于图像处理技术的AOI光学检测方法，其特征在于，应用于服务器，所述方法包括：
生成多个对应各类型缺陷的缺陷分析模型，并依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型；
依据多个训练好的缺陷分析模型，生成线下分析模型和线上分析模型；
将线下分析模型部署给光学检测设备，以使得光学检测设备依据线下分析模型对采集图像进行分析，确定第一分析结果，以依据第一分析结果确定待分析图像；
接收光学检测设备上传的待分析图像，并输入到线上分析模型中进行分析，确定第二分析结果并反馈；
所述依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型，包括：
将各参与方与目标类型缺陷对应的图像汇总到目标计算节点；
将目标类型缺陷对应的缺陷分析模型部署到目标计算节点，以在目标计算节点依据本地的图像对目标缺陷分析模型进行训练，以确定训练好的目标缺陷分析模型；
所述依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型，包括：
将目标类型缺陷对应的目标缺陷分析模型部署到第一参与方，在第一参与方依据第一参与方本地的与目标类型缺陷对应的相关图像对目标缺陷分析模型进行训练；
在第一参与方训练结束之后，将目标缺陷分析模型调度到第二参与方进行训练，直至完成全部参与方的训练，得到训练好的目标缺陷分析模型；
所述方法还包括：
设置训练节点，并从各参与方获取预设数量的与目标类型缺陷对应的图像；
将训练节点作为最后一个参与方，以通过训练节点依据训练节点本地的与目标类型缺陷对应的图像对目标缺陷分析模型进行训练，得到训练好的目标缺陷分析模型。
2.根据权利要求1所述的方法，其特征在于，所述光学检测设备用于完成以下步骤：
通过光学检测组件获取电路板的采集图像，并将采集图像切分为多个子图像；
将子图像与预存图像进行对比，确定差异量，在差异量未超过预设阈值时，确定子图像合规；
在差异量超过预设阈值时，采用线下分析模型对多个子图像进行分析，确定子图像是否具有缺陷；
将不具有缺陷的子图像汇总为待分析图像，并上传给服务器。
3.根据权利要求2所述的方法，其特征在于，所述将子图像与预存图像进行对比，确定差异量，包括：
将子图像转变为灰度图，并提取各像素点的灰度值；
将子图像各像素点的灰度值与预存图像各像素点的灰度值进行逐像素比较，确定各像素点的灰度差值，并依据灰度差值进行汇总，形成差异量。
4.根据权利要求2所述的方法，其特征在于，所述光学检测组件由多个光学组件组成，相邻的光学组件的拍摄区域具有重复部分；
所述通过光学检测组件获取电路板的采集图像，包括：
获取第一光学组件采集的第一图像和与第一光学组件相邻的第二光学组件采集的第二图像；
按照第一光学组件和第二光学组件的空间位置关系，确定第一图像和第二图像的重复区域；
判断第一图像的第一重复区域和第二图像的第二重复区域对应的图像是否相同；
若第一图像和第二图像相同，则进行去重处理，形成采集图像；
若第一图像和第二图像不同，则发出警示信息。
5.根据权利要求1所述的方法，其特征在于，所述依据多个训练好的缺陷分析模型，生成线下分析模型和线上分析模型，包括：
获取各参与方上传的对于各类型缺陷的缺陷统计信息，所述缺陷统计信息包括各类型缺陷的出现次数；
依据各参与方的缺陷统计信息进行汇总并排序，确定最常出现的至少一个缺陷，并提取相应的训练好的缺陷分析模型，生成线下分析模型；并依据多个训练好的缺陷分析模型中剩余的模型，生成线上分析模型。
6.一种基于图像处理技术的AOI光学检测系统，其特征在于，应用于服务器，所述系统包括：
分析模型训练模块，用于生成多个对应各类型缺陷的缺陷分析模型，并依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型，其中，所述依据多个参与方的图像进行多个缺陷分析模型的训练，得到多个训练好的缺陷分析模型，包括：将各参与方与目标类型缺陷对应的图像汇总到目标计算节点；将目标类型缺陷对应的缺陷分析模型部署到目标计算节点，以在目标计算节点依据本地的图像对目标缺陷分析模型进行训练，以确定训练好的目标缺陷分析模型；
所述分析模型训练模块，还用于将目标类型缺陷对应的目标缺陷分析模型部署到第一参与方，在第一参与方依据第一参与方本地的与目标类型缺陷对应的相关图像对目标缺陷分析模型进行训练；在第一参与方训练结束之后，将目标缺陷分析模型调度到第二参与方进行训练，直至完成全部参与方的训练，得到训练好的目标缺陷分析模型；
所述分析模型训练模块，还用于通过设置训练节点，并从各参与方获取预设数量的与目标类型缺陷对应的图像；将训练节点作为最后一个参与方，以通过训练节点依据训练节点本地的与目标类型缺陷对应的图像对目标缺陷分析模型进行训练，得到训练好的目标缺陷分析模型；
分析模型切分模块，用于依据多个训练好的缺陷分析模型，生成线下分析模型和线上分析模型；
线下模型部署模块，用于将线下分析模型部署给光学检测设备，以使得光学检测设备依据线下分析模型对采集图像进行分析，确定第一分析结果，以依据第一分析结果确定待分析图像；
分析结果获取模块，用于接收光学检测设备上传的待分析图像，并输入到线上分析模型中进行分析，确定第二分析结果并反馈。
7.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
所述存储器用于存储计算机执行指令；
所述至少一个处理器用于执行所述存储器中存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311535044.XA CN117274245B (zh) | 2023-11-17 | 2023-11-17 | 基于图像处理技术的aoi光学检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311535044.XA CN117274245B (zh) | 2023-11-17 | 2023-11-17 | 基于图像处理技术的aoi光学检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274245A CN117274245A (zh) | 2023-12-22 |
| CN117274245B true CN117274245B (zh) | 2024-02-27 |
Family
ID=89206597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311535044.XA Active CN117274245B (zh) | 2023-11-17 | 2023-11-17 | 基于图像处理技术的aoi光学检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274245B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635620B (zh) * | 2024-01-26 | 2024-04-16 | 深圳市嘉熠精密自动化科技有限公司 | 一种基于图像处理的电路板缺陷检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110597628A (zh) * | 2019-08-29 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 模型分发方法、装置、计算机可读介质及电子设备 |
| CN113781485A (zh) * | 2021-11-12 | 2021-12-10 | 成都数联云算科技有限公司 | 一种pcb缺陷类别的智能检测方法、装置、电子设备及介质 |
| CN115266744A (zh) * | 2022-06-17 | 2022-11-01 | 格力电器（武汉）有限公司 | 生产线产品的检测系统及方法 |
| CN115661160A (zh) * | 2022-12-29 | 2023-01-31 | 成都数之联科技股份有限公司 | 一种面板缺陷检测方法及系统及装置及介质 |
| CN115937170A (zh) * | 2022-12-23 | 2023-04-07 | 正泰集团研发中心(上海)有限公司 | 电路板检测方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5320329B2 (ja) * | 2010-03-15 | 2013-10-23 | 株式会社日立ハイテクノロジーズ | Ｓｅｍ式欠陥観察装置および欠陥画像取得方法 |
-
2023
- 2023-11-17 CN CN202311535044.XA patent/CN117274245B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110597628A (zh) * | 2019-08-29 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 模型分发方法、装置、计算机可读介质及电子设备 |
| CN113781485A (zh) * | 2021-11-12 | 2021-12-10 | 成都数联云算科技有限公司 | 一种pcb缺陷类别的智能检测方法、装置、电子设备及介质 |
| CN115266744A (zh) * | 2022-06-17 | 2022-11-01 | 格力电器（武汉）有限公司 | 生产线产品的检测系统及方法 |
| CN115937170A (zh) * | 2022-12-23 | 2023-04-07 | 正泰集团研发中心(上海)有限公司 | 电路板检测方法、装置、计算机设备及存储介质 |
| CN115661160A (zh) * | 2022-12-29 | 2023-01-31 | 成都数之联科技股份有限公司 | 一种面板缺陷检测方法及系统及装置及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274245A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117274245B (zh) | 基于图像处理技术的aoi光学检测方法及系统 | |
| US20220189002A1 (en) | Method and system for defect inspection based on deep learning | |
| CN110599484B (zh) | 缺陷检测方法、装置及存储介质 | |
| KR102228957B1 (ko) | 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| US20200265575A1 (en) | Flaw inspection apparatus and method | |
| US9747518B2 (en) | Automatic calibration sample selection for die-to-database photomask inspection | |
| JP2019191117A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN114743102A (zh) | 一种面向家具板材的瑕疵检测方法、系统及装置 | |
| DE102021127403A1 (de) | Qualitätsüberwachungssystem für stanzstreckenfehler und verfahren zum überwachen von stanzstreckenfehlern | |
| CN112529109A (zh) | 一种基于无监督多模型的异常检测方法及系统 | |
| CN113469944A (zh) | 一种产品质检方法、装置和电子设备 | |
| KR102174424B1 (ko) | 서버 기반 부품 검사방법 및 그를 위한 시스템 및 장치 | |
| KR102666787B1 (ko) | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 | |
| CN115272961A (zh) | 基于人工智能的vr设备预警监测方法及系统 | |
| CN117455917B (zh) | 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 | |
| CN115719326A (zh) | Pcb板缺陷检测方法及装置 | |
| CN113554645A (zh) | 基于wgan的工业异常检测方法和装置 | |
| CN112534472B (zh) | 图像判定装置、图像判定方法及其程序的记录介质 | |
| CN114596242A (zh) | 缺陷检测方法、装置、电子设备及计算机可读存储介质 | |
| CN116128829A (zh) | 异形孔检测方法、装置、电子设备及存储介质 | |
| CN117011216A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
| CN115526859A (zh) | 生产缺陷识别的方法、分布式处理平台、设备及存储介质 | |
| KR20230036650A (ko) | 영상 패치 기반의 불량 검출 시스템 및 방법 | |
| Golodov et al. | Weld segmentation and defect detection in radiographic images of pipe welds | |
| CN109624502B (zh) | 一种高效低耗损印刷制品生产系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |