CN116205835A - 电路板瑕疵检测方法、装置及电子设备 - Google Patents
电路板瑕疵检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116205835A CN116205835A CN202111435993.1A CN202111435993A CN116205835A CN 116205835 A CN116205835 A CN 116205835A CN 202111435993 A CN202111435993 A CN 202111435993A CN 116205835 A CN116205835 A CN 116205835A
- Authority
- CN
- China
- Prior art keywords
- circuit board
- image
- target
- target image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种电路板瑕疵检测方法、装置及电子设备。所述方法包括:获取电路板的待检测区域的目标图像;通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息;根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置。本发明的实施例,通过轻量化实例分割模型,对电路板的待检测区域对应的目标图像进行像素级分割处理,获得目标轮廓信息;根据目标轮廓信息和目标图像的分类区域信息完成对电路板瑕疵的最终筛选、确认。像素级的图像分割算法可以对电路板中焊接位置、电阻、引脚等关键目标进行精准检测,大幅提高检测准确度以及检测效率。
Description
技术领域
本发明涉及电路板检测领域,特别是指一种电路板瑕疵检测方法、装置及电子设备。
背景技术
机器视觉在工业生产中应用广泛,常用于遍布整个生产环节的四类业务应用:视觉引导与定位、模式有无识别检测、精准测量测距、产品外观检测等。工业机器视觉系统的特点是提高生产的柔性和自动化程度,在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉;此外用机器视觉检测方法可以大大提高生产效率和生产的自动化程度,而且机器视觉易于实现自动化集成,软件集成,是实现智能制造的基础技术。
现有技术中,在进行电路板瑕疵检测时,采用更加复杂的设备收集除去图像之外诸如深度特征的其他信息做进一步处理,或者采用深度神经网络针对某一特定瑕疵进行识别判断,导致电路板的瑕疵检测的过程复杂,准确性较低。
发明内容
本发明的目的是提供一种电路板瑕疵检测方法、装置及电子设备,解决了现有技术中的电路板瑕疵检测方法准确性较低的问题。
为达到上述目的,本发明的实施例提供一种电路板瑕疵检测方法,包括:
获取电路板的待检测区域的目标图像;
通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息;
根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置。
可选地,所述获取电路板的待检测区域的目标图像,包括:
通过工业相机获取待检测的电路板的图像;
根据所述电路板的设计信息,以及所述图像相对于所述电路板的相对位置信息,确定所述图像中的待检测区域;
根据所述待检测区域获取待检测的目标图像。
可选地,所述方法还包括:
确定像素与尺寸的换算关系;
根据所述换算关系以及所述电路板上的定位点,确定所述相对位置信息,所述相对位置信息为所述图像相对于所述定位点的位置信息。
可选地,所述确定像素与尺寸的换算关系,包括:
根据相机内参确定所述像素与尺寸的换算关系;
或者
根据图像标尺确定所述像素与尺寸的换算关系。
可选地,所述根据所述待检测区域获取待检测的目标图像,包括:
将多个所述待检测区域拼接处理,获得所述目标图像。
可选地,所述通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息,包括:
通过骨干网络对所述目标图像进行图像推理,获得第一图像特征;
通过特征金字塔网络对所述第一图像特征进行特征提取,获得第二图像特征,所述特征金字塔网络的层数为N;
通过全卷积网络对所述第二图像特征进行像素级的网格分割,提取所述目标轮廓信息和分类置信度信息。
可选地,所述通过骨干网络对所述目标图像进行图像推理,包括:
将所述目标图像输入所述骨干网络;
通过目标神经网络模块,对所述目标图像进行图像推理;
其中,所述目标神经网络模块包括卷积、批标准化以及激活三种处理功能。
可选地,所述根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置,包括:
将所述目标轮廓信息,与所述目标轮廓信息对应的分类区域进行面积对比,确定所述电路板的瑕疵位置。
可选地,所述方法还包括:
根据所述电路板的设计信息,以及所述待检测区域相对于所述电路板的相对位置,将所述目标图像按照不同的类型进行区域划分。
可选地,所述方法还包括:
显示瑕疵检测结果,所述检测结果包括所述瑕疵位置;
产生瑕疵提示信息。
为达到上述目的,本发明的实施例提供一种电路板瑕疵检测装置,包括:
第一获取模块,用于获取电路板的待检测区域的目标图像;
图像处理模块,用于通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息;
检测模块,用于根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置。
可选地,所述第一获取模块包括:
第一获取单元,用于通过工业相机获取待检测的电路板的图像;
第一确定单元,用于根据所述电路板的设计信息,以及所述图像相对于所述电路板的相对位置信息,确定所述图像中的待检测区域;
第二获取单元,用于根据所述待检测区域获取待检测的目标图像。
可选地,所述装置还包括:
第一确定模块,用于确定像素与尺寸的换算关系;
第二确定模块,用于根据所述换算关系以及所述电路板上的定位点,确定所述相对位置信息,所述相对位置信息为所述图像相对于所述定位点的位置信息。
可选地,所述第一确定模块具体用于:
根据相机内参确定所述像素与尺寸的换算关系;
或者
根据图像标尺确定所述像素与尺寸的换算关系。
可选地,所述第二获取单元具体用于:将多个所述待检测区域拼接处理,获得所述目标图像。
可选地,所述图像处理模块包括:
第一图像处理单元,用于通过骨干网络对所述目标图像进行图像推理,获得第一图像特征;
第二图像处理单元,用于通过特征金字塔网络对所述第一图像特征进行特征提取,获得第二图像特征,所述特征金字塔网络的层数为N;
第三图像处理单元,用于通过全卷积网络对所述第二图像特征进行像素级的网格分割,提取所述目标轮廓信息和分类置信度信息。
可选地,所述第一图像处理单元具体用于:
将所述目标图像输入所述骨干网络;
通过目标神经网络模块,对所述目标图像进行图像推理;
其中,所述目标神经网络模块包括卷积、批标准化以及激活三种处理功能。
可选地,所述检测模块具体用于:将所述目标轮廓信息,与所述目标轮廓信息对应的分类区域进行面积对比,确定所述电路板的瑕疵位置。
可选地,所述装置还包括:
区域划分模块,用于根据所述电路板的设计信息,以及所述待检测区域相对于所述电路板的相对位置,将所述目标图像按照不同的类型进行区域划分。
可选地,所述装置还包括:
显示模块,用于显示瑕疵检测结果,所述检测结果包括所述瑕疵位置;
警示模块,用于产生瑕疵提示信息。
为达到上述目的,本发明的实施例提供一种电子设备,包括:收发器和处理器;
所述收发器用于:获取电路板的待检测区域的目标图像;
所述处理器用于:通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息;
根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置。
可选地,所述收发器具体用于:通过工业相机获取待检测的电路板的图像;
所述处理器还用于:根据所述电路板的设计信息,以及所述图像相对于所述电路板的相对位置信息,确定所述图像中的待检测区域;根据所述待检测区域获取待检测的目标图像。
可选地,所述处理器还用于:确定像素与尺寸的换算关系;
根据所述换算关系以及所述电路板上的定位点,确定所述相对位置信息,所述相对位置信息为所述图像相对于所述定位点的位置信息。
可选地,所述处理器确定像素与尺寸的换算关系,包括:
根据相机内参确定所述像素与尺寸的换算关系;
或者
根据图像标尺确定所述像素与尺寸的换算关系。
可选地,所述处理器根据所述待检测区域获取待检测的目标图像,包括:
将多个所述待检测区域拼接处理,获得所述目标图像。
可选地,所述处理器通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息,包括:
通过骨干网络对所述目标图像进行图像推理,获得第一图像特征;
通过特征金字塔网络对所述第一图像特征进行特征提取,获得第二图像特征,所述特征金字塔网络的层数为N;
通过全卷积网络对所述第二图像特征进行像素级的网格分割,提取所述目标轮廓信息和分类置信度信息。
可选地,所述处理器通过骨干网络对所述目标图像进行图像推理,包括:
将所述目标图像输入所述骨干网络;
通过目标神经网络模块,对所述目标图像进行图像推理;
其中,所述目标神经网络模块包括卷积、批标准化以及激活三种处理功能。
可选地,所述处理器根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置,包括:
将所述目标轮廓信息,与所述目标轮廓信息对应的分类区域进行面积对比,确定所述电路板的瑕疵位置。
可选地,所述处理器还用于:根据所述电路板的设计信息,以及所述待检测区域相对于所述电路板的相对位置,将所述目标图像按照不同的类型进行区域划分。
可选地,所述处理器还用于:
显示瑕疵检测结果,所述检测结果包括所述瑕疵位置;
产生瑕疵提示信息。
为达到上述目的,本发明的实施例提供一种电子设备,包括:收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令;所述处理器执行所述程序或指令时实现上述的电路板瑕疵检测方法。
为达到上述目的,本发明的实施例提供一种可读存储介质,其上存储有程序或指令,所述程序或指令被处理器执行时实现上述的电路板瑕疵检测方法的步骤。
本发明的上述技术方案的有益效果如下:
本发明的实施例,通过轻量化实例分割模型,对电路板的待检测区域对应的目标图像进行像素级分割处理,获得目标轮廓信息;根据目标轮廓信息和目标图像的分类区域信息完成对电路板瑕疵的最终筛选、确认。像素级的图像分割算法可以对电路板中焊接位置、电阻、引脚等关键目标进行精准检测,大幅提高检测准确度以及检测效率。
附图说明
图1为本发明实施例的电路板瑕疵检测方法的流程示意图之一;
图2为本发明实施例的电路板的示意图;
图3为本发明实施例的图像示意图;
图4为本发明实施例的特征提取的神经网络结构示意图;
图5为本发明实施例的图像的区域划分示意图;
图6为本发明实施例的连焊瑕疵示意图;
图7为本发明实施例的缺焊瑕疵示意图;
图8为本发明实施例的电路板瑕疵检测方法的流程示意图之二;
图9为本发明实施例的电路板瑕疵检测装置的结构示意图;
图10为本发明实施例的电子设备的结构示意图之一;
图11为本发明实施例的电子设备的结构示意图之二。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
另外,本文中术语“系统”和“网络”在本文中常可互换使用。
在本申请所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
如图1所示,本发明实施例提供一种电路板瑕疵检测方法,包括:
步骤101、获取电路板的待检测区域的目标图像。
所述待检测区域可以为电路板的部分区域或者全部区域,所述待检测区域可以根据检测需求确定,例如:需要检测电路板焊接类瑕疵(连焊、漏焊等)则所述待检测区域为电路板上的锡焊区域。
所述目标图像可以为通过产线上的工业相机获得电路板的图像,并对图像进行处理获得的所述目标图像。
步骤102、通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息。
所述轻量化实例分割模型用于对所述目标图像进行图像处理,其中,可以采用权值量化同网络结构搜索相结合的方式,针对检测任务、处理时延、设备性能等指标得到适用于移动端的轻量级模型。
所述目标轮廓信息用于指示所述目标图像上的各个目标对象的轮廓,例如:所述目标图像包括:电阻、电感等元器件,还包括用于将各个元器件之间进行电连接的锡焊以及不能出现诸如焊锡、器件等目标的裸板区域,则通过所述轻量化实例分割模型对所述目标图像进行分割后,可以从图像中提取各个元器件的轮廓、锡焊部分的轮廓、裸板部分的轮廓等等。
可选地,所述通过轻量化实例分割模型,对所述目标图像进行像素级分割处理可以获得所述目标轮廓信息,还可以获得对应的分类置信度信息。
步骤103、根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置。
该实施例中,对目标图像进行区域划分时,可以根据所述目标图像内包括的各部分的内容类型进行划分,例如:将所述目标图像划分为:元器件区域、锡焊区域、裸板区域等。可以根据获得的所述目标轮廓信息和所述目标图像中的分类区域进行匹配对比,确定所述电路板的瑕疵的具体位置。
本发明的实施例,通过轻量化实例分割模型,对电路板的待检测区域对应的目标图像进行像素级分割处理,获得目标轮廓信息;根据目标轮廓信息和目标图像的分类区域信息完成对电路板瑕疵的最终筛选、确认。像素级的图像分割算法可以对电路板中焊接位置、电阻、引脚等关键目标进行精准检测,大幅提高检测准确度以及检测效率。
作为一个可选实施例,所述步骤101包括:
步骤201、通过工业相机获取待检测的电路板的图像。
该实施例中,可以通过工业相机获取所述电路板的一张或者多张图像,例如:对电路板的不同区域分别拍摄获得不同区域对应的图像。
步骤202、根据所述电路板的设计信息,以及所述图像相对于所述电路板的相对位置信息,确定所述图像中的待检测区域。
可选地,所述方法还包括:确定像素与尺寸的换算关系;根据所述换算关系以及所述电路板上的定位点,确定所述相对位置信息,所述相对位置信息为所述图像相对于所述定位点的位置信息。
具体地,所述确定像素与尺寸的换算关系,包括:根据相机内参确定所述像素与尺寸的换算关系;或者,根据图像标尺确定所述像素与尺寸的换算关系。
步骤203、根据所述待检测区域获取待检测的目标图像。可选地,所述根据所述待检测区域获取待检测的目标图像,包括:将多个所述待检测区域拼接处理,获得所述目标图像。
该实施例中,通过工业相机获取电路板的图像后,可以结合相机内参或者图像标尺判断当前图像同电路板的定位点的相对坐标,以及像素和尺寸之间的换算关系,从而确定所述图像相对于所述定位点的位置,所述定位点为预先设定。
例如:所述电路板如图2所示,通过所述工业相机获得所述电路板多张图像,每张图像分别对应不同区域(以图2中的网格为例,每个网格表示一个区域)。所述多张图像中的第一图像可以如图3所示,假设所述第一图像对应的电路板中的位置为标号1的位置,则可以根据像素与尺寸的换算关系,确定该第一图像相对于所述图2中的定位点21的相对坐标。
下面对两种换算关系的确定方式进行说明。
(1):根据相机内参确定所述像素与尺寸的换算关系。
令f_pixelx、f_pixely分别表示摄像机内参矩阵X、Y方向的像素焦距;f_lengthx、f_lengthy分别表示摄像机X、Y方向的毫米焦距,则像素焦距和毫米焦距转换为:
其中,dpx、dpy分别表示图像中水平、垂直方向像素的有效尺寸,单位为mm/pixel。
(2):根据图像标尺确定所述像素与尺寸的换算关系。
该实施例中,可以通过在电路板旁边放置对应的标尺,拍摄中将标尺拍进图像中,进而实现图像中像素和尺寸的换算。
在确定所述图像相对于所述定位点的位置后,基于所述电路板的设计信息以及所述相对位置信息,确定图像中的待检测区域。具体地,根据检测需求并结合所述电路板的设计信息,可以确定需要检测的区域在电路板中的真实位置,根据所述图像相对于所述定位点的相对位置,可以将需要检测的区域在图像中的位置划分出来,若需要检测的区域为多个,可以将多个待检测的子区域进行拼接处理,获得所述目标图像,以便进行后续的图像数据分析。
作为一个可选实施例,所述步骤102包括:
步骤301、通过骨干网络对所述目标图像进行图像推理,获得第一图像特征。
可选地,所述通过骨干网络对所述目标图像进行图像推理,包括:将所述目标图像输入所述骨干网络;通过目标神经网络模块,对所述目标图像进行图像推理;其中,所述目标神经网络模块包括卷积、批标准化以及激活三种处理功能。
该实施例中,所述轻量化实例分割模型可以包括:骨干网络、特征金字塔网络、全卷积网络等。其中,可以基于公开数据以及采集到的训练数据,通过网络结构搜索选取轻量化的骨干(Bone)网络,并针对骨干网络进行进一步的剪枝、量化处理。
具体地,在利用骨干网络进行图像处理时,可以基于“卷积-批标准化-激活”三合一的目标神经网络模块进行推理计算。
传统的“卷积-批标准化-激活”可以用如下公式表示:
Y=ReLU(BN(Conv(X)))
其中,Y表示目标神经网络模块进行推理计算的输出结果,X表示卷积计算的输入,Conv表示卷积计算;BN表示批标准化计算;ReLU表示激活运算。
在本申请的实施例中,可以将批标准化、激活过程按照如下形式计算:
BN(A)=(A-μ)/δ
ReLU(B)=(B+|B|)/2
其中,A表示批标准化的输入,μ表为均值,δ为标准差;B表示激活运算的输入。
在本申请的实施例中,可以将上述两公式与卷积计算相结合,将“卷积-批标准化-激活”三合一为新的神经网络模块。降低轻量级图像分割模型参数I\O所产生的额外计算负担。
步骤302、通过特征金字塔网络对所述第一图像特征进行特征提取,获得第二图像特征,所述特征金字塔网络的层数为N。
该实施例中,所述特征金字塔的层数N可以灵活选取,并根据计算精度需求动态调整,例如N=3。通过设计N层的特征金字塔FPN处理所述骨干网络输出的图像特征,获得所述第二图像特征。
步骤303、通过全卷积网络FCN对所述第二图像特征进行像素级的网格分割,提取所述目标轮廓信息和分类置信度信息。
该实施例中,可以将所述第二图像特征划分为S×S的像素级网格,基于图4所示逻辑分别设计Mask通道获取目标轮廓信息,可选地,还可以基于Class通道获取对应的分类置信度信息。
如图4所示,将所述第二图像特征输入所述FCN,划分为S×S的像素级网格,并根据待检测区域中需要检测的目标在所述目标图像中的位置,获得需要检测的目标对象的轮廓,例如电阻的轮廓、某些焊接位置的轮廓、引脚的轮廓等等;如图4所示,假设待检测的目标为电阻1和电阻2,通过对所述第二图像特征进行像素级分割,电阻1和电阻2在像素级网格中对应的位置为阴影部分1和2,则针对阴影部分1和2可以精确地提取出电阻1和电阻2的图像特征。
该实施例中,通过轻量化实例分割模型对目标图像进行像素级分割,能够快速、准确且高效的提取出针对需要检测的目标对象的特征信息,有针对性的实现对于需要检测的目标对象的特征提取,避免电路板上其他无关信息对检测算法的影响,提高瑕疵检测的准确度。
作为一个可选实施例,所述步骤103包括:
将所述目标轮廓信息,与所述目标轮廓信息对应的分类区域进行面积对比,确定所述电路板的瑕疵位置。
可选地,所述方法还包括:根据所述电路板的设计信息,以及所述待检测区域相对于所述电路板的相对位置,将所述目标图像按照不同的类型进行区域划分。
该实施例中,基于获得的目标轮廓信息,基于图像划分的匹配规则完成电路板瑕疵的最终筛选和确认。具体地,由于所述电路板的设计信息中包括电路板各个对象的设计位置(元器件的安装位置、焊接位置、引脚的设置位置等),可以根据电路板的设计信息以及待检测区域在电路板的相对位置,将所述目标图像划分为多个类型区域,例如:元器件区域、锡焊区域以及不能出现诸如锡焊、器件等目标对象的裸板区域。划分后的所述图像区域如图5所示,其中,区域A和区域B分别表示元器件区域,区域C表示裸板区域;区域D表示用于焊接区域A的元器件的锡焊区,区域E表示用于焊接区域B的元器件的锡焊区。
在将所述目标图像进行区域划分后,将所述目标轮廓信息与该目标轮廓对应的图像中的区域进行比对,可以根据占用面积确定需要检测的目标对象是否存在瑕疵。下面通过具体实施例说明。
以需要检测的瑕疵为电路板上的连焊为例,具体地,可以包括:
步骤(1):如图5所示,基于电路板的设计信息,将目标图像的待检测区域划分为元器件区域(包括区域A和区域B)、锡焊区域(区域D和E)、裸板区域(区域C)。
步骤(2):针对图5中标记的各个区域,可以得到与待检图像(即所述目标图像)尺寸相同的区域标记矩阵。例如,如果待检图像的尺寸为600×600,裸板区域C对应的矩阵记为Cnatrix,其大小为600×600,Cnatrix对应位置如果落在的区域C中则取值1,反之取值为0。
步骤(3):将所述锡焊区域做与步骤(2)相同的处理,并与所述步骤(1)中划分的各个区域进行对比,如果检测到所述锡焊区域与所述裸板区域的重叠面积大于第一阈值(为正数,例如20),则认为当前图像存在连焊。
该实施例中,对目标图像进行区域划分后得到如图5所示的包含各个区域标记的图像,对于连焊类瑕疵的检测,可以根据锡焊区域与裸板区域的重叠面积进行比对,从而确定是否出现连焊。例如:需要检测电阻1和电阻2是否出现连焊情况,根据电路板的设计信息,电阻1对应图5中的区域A的位置,电阻B对应图5中的区域B的位置,则电阻1的锡焊区域为图5中的区域D,电阻2的锡焊区域为图5中的区域E。
假设获得的所述电阻1、电阻2以及相应的锡焊位置的轮廓信息如图6所示,根据图6与所述图5相对比,可以得知:图6中的锡焊位置的轮廓(D和E)与裸板区域的轮廓存在重叠,且重叠面积大于第一阈值,此时认为电阻1的焊点和电阻2的焊点之间存在连焊的情况。基于该规则可以精确的识别连焊这一瑕疵并将连焊区域进行标记。
以需要检测的瑕疵为电路板上的缺焊为例,具体地,可以包括:
步骤(1):如图5所示,基于电路板的设计信息,将目标图像的待检测区域划分为元器件区域(区域A和区域B)、锡焊区域(区域D和区域E)、裸板区域(区域C)。
步骤(2):针对图5中标记的各个区域,可以得到与待检图像(即所述目标图像)尺寸相同的区域标记矩阵。例如,如果待检图像的尺寸为600×600,裸板区域C对应的矩阵记为Cnatrix,其大小为600×600,Cnatrix对应位置如果落在的区域C中则取值1,反之取值为0。
步骤(3):将所述锡焊区域做与步骤(2)相同的处理,并与所述步骤(1)中划分的各个区域进行对比,如果检测到所述锡焊区域的轮廓与图5所示的锡焊区域的不重叠面积大于第二阈值(为正数,例如40),则认为当前图像存在缺焊瑕疵。
该实施例中,对目标图像进行区域划分后得到如图5所示的包含各个区域标记的图像,对于缺焊类瑕疵的检测,可以根据锡焊区域对应的轮廓与划分的锡焊区域的重叠面积进行比对,从而确定是否出现缺焊。例如:需要检测电阻1和电阻2是否出现缺焊情况,根据电路板的设计信息,电阻1对应图5中的区域A的位置,电阻B对应图5中的区域B的位置,则电阻1的锡焊区域为图5中的区域D,电阻2的锡焊区域为图5中的区域E。
假设获得的所述电阻1、电阻2以及相应的锡焊位置的轮廓信息如图7所示,根据图7与所述图5相对比,可以得知:图7中的锡焊位置d的轮廓相对于图5中的区域D,存在部分不重叠,且不重叠的面积大于第二阈值,此时认为电阻1的焊点存在1缺焊的情况。基于该规则可以精确的识别缺焊这一瑕疵并将缺焊区域进行标记。
可选地,所述方法还包括:
显示所述瑕疵的检测结果,所述检测结果包括所述瑕疵位置。
可选地,所述方法还包括:产生瑕疵提示信息,例如产生报警信息或者报警声音。
下面具体说明本发明的电路板瑕疵检测方法的实现过程。如图8所示,包括:
(1)通过工业相机获取电路板的图像,确定像素与尺寸的换算关系;
(2)计算图像在电路板上的相对位置,确定待检测区域以及待检测区域对应的目标图像;
(3)基于轻量化实例分割模型对目标图像进行像素级分割处理,获得需要检测的目标对象的轮廓信息;
(4)根据目标对象的轮廓与目标图像划分的区域进行匹配对比,确定是否存在瑕疵;
(5)若存在瑕疵,则发出报警并标记瑕疵位置与类别;若不存在瑕疵,则重新执行步骤(1)。
本发明的实施例,通过结合相机内参或图像标尺判断当前图像与电路板定位点的相对位置,以及像素和尺寸之间的换算关系;并结合电路板设计信息构造检测区域以及匹配模板的像素级划分。本申请还提出了一种“卷积-批标准化-激活”三合一的神经网络模块,能够降低轻量级图像分割模型参数I\O所产生的额外计算负担。
本申请结合图像在电路板中的相对位置以及电路设计信息共同实现对待检区域、待检目标的初始划分,有效的降低电路板上其他无关信息对检测算法的影响。通过将“卷积-批标准化-激活”三类操作融合,可以降低模型在端侧部署以及调用各层参数时数据I\O的负担,提高模型稳定性以及推理效率。基于待检瑕疵本身存在的显著特征实现快速、高效、准确的瑕疵检测与分类,提高电路板瑕疵检测的准确度和效率。
如图9所示,本发明实施例还提供一种电路板瑕疵检测装置900,包括:
第一获取模块910,用于获取电路板的待检测区域的目标图像;
图像处理模块920,用于通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息;
检测模块930,用于根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置。
可选地,所述第一获取模块包括:
第一获取单元,用于通过工业相机获取待检测的电路板的图像;
第一确定单元,用于根据所述电路板的设计信息,以及所述图像相对于所述电路板的相对位置信息,确定所述图像中的待检测区域;
第二获取单元,用于根据所述待检测区域获取待检测的目标图像。
可选地,所述装置还包括:
第一确定模块,用于确定像素与尺寸的换算关系;
第二确定模块,用于根据所述换算关系以及所述电路板上的定位点,确定所述相对位置信息,所述相对位置信息为所述图像相对于所述定位点的位置信息。
可选地,所述第一确定模块具体用于:
根据相机内参确定所述像素与尺寸的换算关系;
或者
根据图像标尺确定所述像素与尺寸的换算关系。
可选地,所述第二获取单元具体用于:将多个所述待检测区域拼接处理,获得所述目标图像。
可选地,所述图像处理模块包括:
第一图像处理单元,用于通过骨干网络对所述目标图像进行图像推理,获得第一图像特征;
第二图像处理单元,用于通过特征金字塔网络对所述第一图像特征进行特征提取,获得第二图像特征,所述特征金字塔网络的层数为N;
第三图像处理单元,用于通过全卷积网络对所述第二图像特征进行像素级的网格分割,提取所述目标轮廓信息和分类置信度信息。
可选地,所述第一图像处理单元具体用于:
将所述目标图像输入所述骨干网络;
通过目标神经网络模块,对所述目标图像进行图像推理;
其中,所述目标神经网络模块包括卷积、批标准化以及激活三种处理功能。
可选地,所述检测模块具体用于:将所述目标轮廓信息,与所述目标轮廓信息对应的分类区域进行面积对比,确定所述电路板的瑕疵位置。
可选地,所述装置还包括:
区域划分模块,用于根据所述电路板的设计信息,以及所述待检测区域相对于所述电路板的相对位置,将所述目标图像按照不同的类型进行区域划分。
可选地,所述装置还包括:
显示模块,用于显示瑕疵检测结果,所述检测结果包括所述瑕疵位置;
警示模块,用于产生瑕疵提示信息。
本发明的实施例,通过轻量化实例分割模型,对电路板的待检测区域对应的目标图像进行像素级分割处理,获得目标轮廓信息;根据目标轮廓信息和目标图像的分类区域信息完成对电路板瑕疵的最终筛选、确认。像素级的图像分割算法可以对电路板中焊接位置、电阻、引脚等关键目标进行精准检测,大幅提高检测准确度以及检测效率。
在此需要说明的是,本发明实施例提供的上述电路板瑕疵检测装置,能够实现上述电路板瑕疵检测方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
如图10所示,本发明实施例的一种电子设备1000,包括处理器1010和收发器1020,其中,
所述收发器1020用于:获取电路板的待检测区域的目标图像;
所述处理器1010用于:通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息;
根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置。
可选地,所述收发器具体用于:通过工业相机获取待检测的电路板的图像;
所述处理器还用于:根据所述电路板的设计信息,以及所述图像相对于所述电路板的相对位置信息,确定所述图像中的待检测区域;根据所述待检测区域获取待检测的目标图像。
可选地,所述处理器还用于:确定像素与尺寸的换算关系;
根据所述换算关系以及所述电路板上的定位点,确定所述相对位置信息,所述相对位置信息为所述图像相对于所述定位点的位置信息。
可选地,所述处理器确定像素与尺寸的换算关系,包括:
根据相机内参确定所述像素与尺寸的换算关系;
或者
根据图像标尺确定所述像素与尺寸的换算关系。
可选地,所述处理器根据所述待检测区域获取待检测的目标图像,包括:
将多个所述待检测区域拼接处理,获得所述目标图像。
可选地,所述处理器通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息,包括:
通过骨干网络对所述目标图像进行图像推理,获得第一图像特征;
通过特征金字塔网络对所述第一图像特征进行特征提取,获得第二图像特征,所述特征金字塔网络的层数为N;
通过全卷积网络对所述第二图像特征进行像素级的网格分割,提取所述目标轮廓信息和分类置信度信息。
可选地,所述处理器通过骨干网络对所述目标图像进行图像推理,包括:
将所述目标图像输入所述骨干网络;
通过目标神经网络模块,对所述目标图像进行图像推理;
其中,所述目标神经网络模块包括卷积、批标准化以及激活三种处理功能。
可选地,所述处理器根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置,包括:
将所述目标轮廓信息,与所述目标轮廓信息对应的分类区域进行面积对比,确定所述电路板的瑕疵位置。
可选地,所述处理器还用于:根据所述电路板的设计信息,以及所述待检测区域相对于所述电路板的相对位置,将所述目标图像按照不同的类型进行区域划分。
可选地,所述处理器还用于:
显示瑕疵检测结果,所述检测结果包括所述瑕疵位置;
产生瑕疵提示信息。
本发明的实施例,通过轻量化实例分割模型,对电路板的待检测区域对应的目标图像进行像素级分割处理,获得目标轮廓信息;根据目标轮廓信息和目标图像的分类区域信息完成对电路板瑕疵的最终筛选、确认。像素级的图像分割算法可以对电路板中焊接位置、电阻、引脚等关键目标进行精准检测,大幅提高检测准确度以及检测效率。
需要说明的是,本发明实施例提供的上述电子设备,能够实现上述电路板瑕疵检测方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
本发明另一实施例的电子设备,如图11所示,包括收发器1110、处理器1100、存储器1120及存储在所述存储器1120上并可在所述处理器1100上运行的程序或指令;所述处理器1100执行所述程序或指令时实现上述电路板瑕疵检测方法。
所述收发器1110,用于在处理器1100的控制下接收和发送数据。
其中,在图11中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器1100代表的一个或多个处理器和存储器1120代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发器1110可以是多个元件,即包括发送机和接收机,提供用于在传输介质上与各种其他装置通信的单元。处理器1100负责管理总线架构和通常的处理,存储器1120可以存储处理器1100在执行操作时所使用的数据。
本发明实施例的一种可读存储介质,其上存储有程序或指令,所述程序或指令被处理器执行时实现如上所述的电路板瑕疵检测方法中的步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
进一步需要说明的是,此说明书中所描述的电子设备包括但不限于智能手机、平板电脑等,且所描述的许多功能部件都被称为模块,以便更加特别地强调其实现方式的独立性。
本发明实施例中,模块可以用软件实现,以便由各种类型的处理器执行。举例来说,一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块,举例来说,其可以被构建为对象、过程或函数。尽管如此,所标识模块的可执行代码无需物理地位于一起,而是可以包括存储在不同位里上的不同的指令,当这些指令逻辑上结合在一起时,其构成模块并且实现该模块的规定目的。
实际上,可执行代码模块可以是单条指令或者是许多条指令,并且甚至可以分布在多个不同的代码段上,分布在不同程序当中,以及跨越多个存储器设备分布。同样地,操作数据可以在模块内被识别,并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集,或者可以分布在不同位置上(包括在不同存储设备上),并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时,考虑到现有硬件工艺的水平,所以可以以软件实现的模块,在不考虑成本的情况下,本领域技术人员都可以搭建对应的硬件电路来实现对应的功能,所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备,诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
上述范例性实施例是参考该些附图来描述的,许多不同的形式和实施例是可行而不偏离本发明精神及教示,因此,本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说,这些范例性实施例被提供以使得本发明会是完善又完整,且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中,组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的,并无意成为限制用。如在此所使用地,除非该内文清楚地另有所指,否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时,表示所述特征、整数、步骤、操作、构件及/或组件的存在,但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示,陈述时,一值范围包含该范围的上下限及其间的任何子范围。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种电路板瑕疵检测方法,其特征在于,包括:
获取电路板的待检测区域的目标图像;
通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息;
根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置。
2.根据权利要求1所述的方法,其特征在于,所述获取电路板的待检测区域的目标图像,包括:
通过工业相机获取待检测的电路板的图像;
根据所述电路板的设计信息,以及所述图像相对于所述电路板的相对位置信息,确定所述图像中的待检测区域;
根据所述待检测区域获取待检测的目标图像。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
确定像素与尺寸的换算关系;
根据所述换算关系以及所述电路板上的定位点,确定所述相对位置信息,所述相对位置信息为所述图像相对于所述定位点的位置信息。
4.根据权利要求3所述的方法,其特征在于,所述确定像素与尺寸的换算关系,包括:
根据相机内参确定所述像素与尺寸的换算关系;
或者
根据图像标尺确定所述像素与尺寸的换算关系。
5.根据权利要求2所述的方法,其特征在于,所述根据所述待检测区域获取待检测的目标图像,包括:
将多个所述待检测区域拼接处理,获得所述目标图像。
6.根据权利要求1所述的方法,其特征在于,所述通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息,包括:
通过骨干网络对所述目标图像进行图像推理,获得第一图像特征;
通过特征金字塔网络对所述第一图像特征进行特征提取,获得第二图像特征,所述特征金字塔网络的层数为N;
通过全卷积网络对所述第二图像特征进行像素级的网格分割,提取所述目标轮廓信息和分类置信度信息。
7.根据权利要求6所述的方法,其特征在于,所述通过骨干网络对所述目标图像进行图像推理,包括:
将所述目标图像输入所述骨干网络;
通过目标神经网络模块,对所述目标图像进行图像推理;
其中,所述目标神经网络模块包括卷积、批标准化以及激活三种处理功能。
8.根据权利要求1所述的方法,其特征在于,所述根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置,包括:
将所述目标轮廓信息,与所述目标轮廓信息对应的分类区域进行面积对比,确定所述电路板的瑕疵位置。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
根据所述电路板的设计信息,以及所述待检测区域相对于所述电路板的相对位置,将所述目标图像按照不同的类型进行区域划分。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
显示瑕疵检测结果,所述检测结果包括所述瑕疵位置;
产生瑕疵提示信息。
11.一种电路板瑕疵检测装置,其特征在于,包括:
第一获取模块,用于获取电路板的待检测区域的目标图像;
图像处理模块,用于通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息;
检测模块,用于根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置。
12.一种电子设备,其特征在于,包括:收发器和处理器;
所述收发器用于:获取电路板的待检测区域的目标图像;
所述处理器用于:通过轻量化实例分割模型,对所述目标图像进行像素级分割处理,获得目标轮廓信息;
根据所述目标轮廓信息以及所述目标图像的分类区域信息,确定所述电路板的瑕疵位置。
13.一种电子设备,包括:收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令;其特征在于,所述处理器执行所述程序或指令时实现如权利要求1-10任一项所述的电路板瑕疵检测方法。
14.一种可读存储介质,其上存储有程序或指令,其特征在于,所述程序或指令被处理器执行时实现如权利要求1-10任一项所述的电路板瑕疵检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111435993.1A CN116205835A (zh) | 2021-11-29 | 2021-11-29 | 电路板瑕疵检测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111435993.1A CN116205835A (zh) | 2021-11-29 | 2021-11-29 | 电路板瑕疵检测方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116205835A true CN116205835A (zh) | 2023-06-02 |
Family
ID=86511624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111435993.1A Pending CN116205835A (zh) | 2021-11-29 | 2021-11-29 | 电路板瑕疵检测方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116205835A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117169246A (zh) * | 2023-09-01 | 2023-12-05 | 深圳市索亿电子有限公司 | 一种pcba电路板的故障检测方法及装置 |
CN118244088A (zh) * | 2024-05-27 | 2024-06-25 | 江西安达电子有限公司 | 线路板质量检测方法、系统及设备 |
-
2021
- 2021-11-29 CN CN202111435993.1A patent/CN116205835A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117169246A (zh) * | 2023-09-01 | 2023-12-05 | 深圳市索亿电子有限公司 | 一种pcba电路板的故障检测方法及装置 |
CN118244088A (zh) * | 2024-05-27 | 2024-06-25 | 江西安达电子有限公司 | 线路板质量检测方法、系统及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200380899A1 (en) | Method and apparatus for detecting peripheral circuit of display screen, electronic device, and storage medium | |
CN116205835A (zh) | 电路板瑕疵检测方法、装置及电子设备 | |
CN114240939A (zh) | 一种主板元器件外观缺陷检测方法、系统、设备及介质 | |
CN115908420A (zh) | 印刷电路板的缺陷检测方法、装置、设备及存储介质 | |
WO2017071406A1 (zh) | 金针类元件的引脚检测方法和系统 | |
CN115330757B (zh) | 一种电路板焊点缺陷检测方法及系统 | |
CN110866949A (zh) | 中心点定位方法、装置、电子设备和存储介质 | |
CN105260716A (zh) | 故障指示器状态识别方法及装置 | |
CN111914508A (zh) | 元器件检测方法、装置、电子设备及可读存储介质 | |
CN113077416A (zh) | 一种基于图像处理的焊点焊接缺陷检测方法与系统 | |
CN115100166A (zh) | 焊点缺陷检测方法及装置 | |
CN116091470A (zh) | 基于5g技术的智能工控方法、装置、电子设备及存储介质 | |
CN109035666B (zh) | 一种火烟检测方法、装置及终端设备 | |
CN117745743B (zh) | 印制电路板切割路径的自动生成方法及装置 | |
CN115719326A (zh) | Pcb板缺陷检测方法及装置 | |
CN112579810B (zh) | 印刷电路板分类方法、装置、计算机设备和存储介质 | |
CN112634259A (zh) | 一种键盘键帽自动建模定位方法 | |
CN115082552B (zh) | 标记孔的定位方法、装置、装配设备及存储介质 | |
CN115372793B (zh) | 一种用于集成电路的电路检测方法 | |
CN116993654A (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
CN115496894A (zh) | 针对pcba的检测方法以及检测终端 | |
CN115240092A (zh) | 输电杆塔巡检方法、装置、电子设备及存储介质 | |
CN113674207A (zh) | 一种基于图卷积神经网络的pcb元器件自动定位方法 | |
CN115619698A (zh) | 电路板缺陷的检测方法、装置及模型训练方法 | |
TWI842292B (zh) | 自動化產線產品外觀瑕疵檢驗方法及系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |