CN116342589B - 一种跨视场划痕缺陷连续性检测方法和系统 - Google Patents
一种跨视场划痕缺陷连续性检测方法和系统 Download PDFInfo
- Publication number
- CN116342589B CN116342589B CN202310582526.4A CN202310582526A CN116342589B CN 116342589 B CN116342589 B CN 116342589B CN 202310582526 A CN202310582526 A CN 202310582526A CN 116342589 B CN116342589 B CN 116342589B
- Authority
- CN
- China
- Prior art keywords
- scratch
- scratches
- defect
- pixel
- monoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种跨视场划痕缺陷连续性检测方法和系统。包括:1)检测获得单视场划痕缺陷的坐标信息;2)根据划痕缺陷坐标进行工件整体划痕分布图的绘制;3)确定缺陷分布图坐标及保存图像像素映射关系;4)再通过图像预处理、骨架提取、连通域计算、拟合度计算以及坐标像素映射等步骤获得跨视场划痕的统计信息。本发明实现了对工件表面跨视场划痕缺陷的连续性检测效果,相比于现有的划痕缺陷检测算法,能够在较小的物方视场尺寸即较高的物方检测分辨率时保证划痕缺陷检测的完整性,同时不需要将跨视场划痕缺陷图像进行拼接后再进行特征的提取,大大降低了对算力的要求。
Description
技术领域
本发明属于图像技术领域的一种工件缺陷检测方法,具体涉及一种跨视场划痕缺陷连续性检测方法和系统。
背景技术
随着生产水平的提高,需要对生产环节的产品工件质量进行评估反馈从而提高产线生产水平。对产品质量进行评估的方法主要可以分为量测和检测,前者是对产品关键尺寸进行测量,后者则是对会影响到产品功能使用的参数进行测量,例如对金属工件工作面的缺陷检测、对封装器件的电性能测量等。缺陷检测领域中,不同的缺陷和尺寸可能会导致工件失效的机理不同,因此需要对缺陷的种类、分布和尺寸进行检测及统计,用于反馈加工环节的生产质量水平。不同种类缺陷具有不同的形貌特征,例如颗粒缺陷为点状特征、孔洞缺陷为中空环状特征、划痕缺陷为曲线状或条状特征等,因此也就需要不同的检测手段和检测算法。
针对缺陷的检测方法主要可以分为基于纹理和颜色的图像处理算法以及深度学习分类算法,检测算法给出的结果往往是缺陷的类型和缺陷外接矩形框所对应的图像像素坐标,并基于各个单幅图像的缺陷检测算法结果进行汇总统计。这类检测方法适用于缺陷的长宽尺寸均小于图像物方视场尺寸的场景,例如针对颗粒缺陷,一般采用的检测物方视场比其特征尺寸大二至三个数量级;但是对于划痕缺陷而言,这类缺陷属于细长条状特征缺陷,在长度方向上的尺寸远远大于其宽度方向上的尺寸,因此如果采用检测物方视场大于其长度方向尺寸的设计,划痕缺陷宽度方向的尺寸可能会小于检测物方视场对应的分辨率,从而导致划痕的检测性能下降和漏检等;而如果减小检测物方视场尺寸从而提高检测的分辨率,则很可能导致划痕在长度方向上远远超过检测物方视场,因此同一条划痕被切分在不同的视场图像内并进行检测,导致最终汇总统计时划痕缺陷的数量远远大于实际工件表面划痕的数量,并无法获得实际的划痕长度信息。专利CN113610774A提出了一种基于图像处理算法的划痕检测算法,相对于深度学习的检测算法对算力的要求降低,但仍主要基于单视场图像信息进行划痕检测,无法实现跨视场的划痕缺陷连续性检测;专利CN111444921A提出了一种结合深度学习的改进划痕检测算法,分别采用目标检测模型和语义分割模型对图像进行缺陷分类获得划痕图像候选框坐标和候选框内划痕特征像素点的提取,在实施例中提到了在语义分割前基于候选框坐标将位置相邻的候选框进行拼接处理,从而保障检测划痕的完整性;但是第一是专利中并非提到跨视场图像的处理,而是为了保障单幅图像中区域分割后的划痕完整性,第二是这类方法需要基于图像信息进行语义分割再处理,当划痕特征较长且跨多个视场时,候选框拼接后进行语义分割处理的图像尺寸将大幅提高,从而导致算法的效率严重下降,可行性较差。
因此,如何在保证划痕缺陷检测性能和检测算法效率的前提下,实现跨视场划痕缺陷的连续性检测方法,是本领域技术人员亟待解决的一个技术问题。
发明内容
为了解决背景技术中的问题,本发明提出了一种跨视场划痕缺陷连续性检测方法和系统,解决了划痕缺陷检测不完整,算法效率不高的问题。
本发明采用的技术方案如下:
一、一种跨视场划痕缺陷连续性检测方法
包括以下步骤:
步骤1)对工件进行拍摄获得单视场图像,根据单视场图像的划痕缺陷检测结果绘制真实缺陷分布图;
步骤2)根据真实缺陷分布图绘制用于校准的缺陷分布图,并获得机台坐标到像素坐标的映射关系;
步骤3)对预处理后的真实缺陷分布图进行骨架提取,并对获得的划痕骨架进行连通域分析获得不同编号的连通区域,然后根据像素数量初步筛选连通区域对应的划痕;
步骤4)对连通区域进行形状拟合后进行进一步筛选,筛选获得的连通区域对应的跨视场划痕作为最终的工件上存在的划痕;
步骤5)将步骤4)获得的跨视场划痕上的像素坐标进行逆向映射后,对跨视场划痕上的所有像素点进行遍历获得对应的单视场划痕的集合,从而获得工件上划痕的统计信息。
所述步骤1)具体为:
1.1)将成像获得的所有单视场图像进行缺陷检测获得单视场图像内所有缺陷的种类和像素坐标信息、以及所有单视场图像的机台坐标;
1.2)根据步骤1.1)获得的单视场图像的机台坐标和划痕缺陷外接矩形框的像素坐标,获得划痕缺陷外接矩形框的机台坐标;
划痕缺陷外接矩形框的左上和右下机台坐标分别为(xim+ xplt*Pres,yim+ yplt*Pres)和(xim+ xprb*Pres,yim+ yprb*Pres);其中,(xim,yim)为单视场图像的机台坐标,(xplt,yplt)和(xprb,yprb)分别为单视场图像中划痕缺陷外接矩形框的左上和右下像素坐标,Pres为单视场图像中一个像素对应的物方尺寸;
其中,单视场图像中划痕缺陷外接矩形框的像素坐标基于单视场图像的像素正交坐标系获取,单视场图像的机台坐标基于运动平台的正交坐标系获取,单视场图像的像素正交坐标系与运动平台的正交坐标系的两个正交方向分别平行且方向相同;
1.3)根据划痕缺陷外接矩形框的机台坐标进行划痕缺陷的分布图绘制,得到工件划痕缺陷的真实缺陷分布图。
所述步骤1.3)中,分布图包括整个工件上所有单视场图像存在的划痕缺陷,并按照设定的像素分辨率保存真实缺陷分布图。
所述步骤1)中缺陷检测的方法为基于纹理和颜色的图像处理算法或深度学习分类算法。
所述步骤2)具体为:新建一个与步骤1)的真实缺陷分布图像素分辨率相同的空白分布图,然后任意给定两个虚拟缺陷点的机台坐标(xcal1,ycal1)和(xcal2,ycal2),并将其绘制于空白分布图上,保存得到用于校准的缺陷分布图;对保存的图像进行阈值处理,获得两个虚拟缺陷点对应的像素坐标(xcal1p,ycal1p)和(xcal2p,ycal2p);根据两个虚拟缺陷点的机台坐标和像素坐标获得机台坐标系和用于校准的缺陷分布图的像素坐标系之间的映射关系,即得机台坐标系和真实缺陷分布图的像素坐标系之间的映射关系,具体为:
,;
其中,(x,y)为任意缺陷点在机台坐标系下的机台坐标,(xp,yp)为该缺陷点在真实缺陷分布图像素坐标系下的像素坐标。
所述步骤3)具体为:
3.1)对步骤2)获得的真实缺陷分布图进行预处理,预处理包括:去除图像中除划痕缺陷之外的所有标志,以及对产生间断的长划痕进行膨胀操作保证长划痕连续性;
3.2)对步骤3.1)预处理后的图像进行骨架提取,获得图像中划痕的骨架信息;由于相邻的单视场划痕缺陷在绘制分布图后,其外接矩形框之间像素值连续,因此通过骨架提取后,能够将分布在多个视场内的长划痕以单像素宽度的特征进行描述。
3.3)对步骤3.2)中的划痕骨架进行连通域分析,从而获得不同编号的连通区域,并根据像素数量初步筛选连通区域对应的划痕。
所述步骤3.3)中的初步筛选为:每个连通区域是跨视场划痕像素坐标的集合,因此可以获得每个连通区域的像素数量和各像素坐标,将像素数量低于设定值的连通区域对应的划痕进行过滤。
所述步骤4)具体为:
4.1)根据工件表面划痕的几何形态特征,对步骤3)获得的每个连通区域进行形状拟合,形状拟合包括线性拟合、圆拟合、椭圆拟合、样条曲线拟合;
4.2)对形状拟合后的每个连通区域进行筛选:获得当前连通区域各像素的平均拟合误差,作为对划痕区域形态的判断,将平均拟合误差超过设定阈值的连通区域滤除,筛选后获得的连通区域对应的跨视场划痕作为最终的工件上存在的划痕。
所述步骤5)具体为:
5.1)根据步骤2)获得的机台坐标到图像像素坐标的映射关系,将步骤4)获得的跨视场长划痕上的单个像素点进行坐标映射逆变换,得到该像素点像素坐标对应的机台坐标位置;
5.2)对每个跨视场划痕上的所有像素点进行遍历并进行相同的操作,具体为:
判断当前像素点机台坐标位置是否落在步骤1)获得的单视场图像中的划痕缺陷的外接矩形框内,若是则将该外接矩形框内的单视场划痕加入到当前跨视场划痕的子集合中;若否,则跳过;
5.3)获取当前跨视场长划痕对应的所有单视场划痕的集合,对该集合进行去重处理,最终获得当前跨视场长划痕对应的所有单视场划痕;
5.4)根据跨视场长划痕对应的所有单视场划痕的集合,获得工件上跨视场长划痕的跨视场数量和长度。
所述步骤5.4)中:跨视场长划痕的跨视场数量等于集合内单视场划痕的数量,跨视场长划痕的长度等于集合内所有单视场划痕长度的总和。
二、一种跨视场划痕缺陷连续性检测系统,包括:
图像处理模块,用于拍摄工件,并绘制真实缺陷分布图和用于校准的缺陷分布图;
骨架提取模块,用于对真实缺陷分布图进行骨架提取,并进行连通域分析获得不同编号的连通区域;
划痕筛选模块,用于初步筛选和进一步筛选连通区域对应的跨视场划痕;初步筛选为过滤像素数量低于设定值的连通区域对应的划痕,进一步筛选为根据工件中划痕的几何形态特征,对获得的每个连通区域进行形状拟合和筛选;
划痕检测模块,用于获得跨视场划痕对应的单视场划痕的集合,从而得到工件上划痕的统计信息。
三、一种计算机存储介质
所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行上述的跨视场划痕缺陷连续性检测方法。
四、一种处理器
所述处理器用于运行程序,其中,所述程序运行时执行上述的跨视场划痕缺陷连续性检测方法。
本发明的有益效果如下:
本发明的一种跨视场划痕缺陷连续性检测方法和系统,是基于常规的缺陷分类算法的检测结果,根据划痕缺陷坐标进行工件整体划痕分布图的绘制,并通过图像预处理、骨架提取、连通域计算、拟合度计算以及坐标像素映射等步骤,实现了对工件表面跨视场划痕缺陷的连续性检测效果,相比于现有的划痕缺陷检测算法,能够在较小的物方视场尺寸即较高的物方检测分辨率时保证划痕缺陷检测的完整性,同时不需要将跨视场划痕缺陷图像进行拼接后再进行特征的提取,大大降低了对算力的要求。
附图说明
图1是本发明提出的划痕缺陷连续性检测方法的流程图;
图2是单视场图像划痕坐标信息的示意图;
图3是工件划痕缺陷分布图;
图4是校准获得机台坐标到图像像素坐标映射关系的原理图;
图5是工件划痕缺陷分布图进行骨架提取后的示意图;
图6是对划痕骨架进行连通域分析的结果示意图;
图7是对连通域分析结果进行像素数过滤的结果示意图;
图8是对连通域分析结果像素数过滤后进行拟合度筛选的结果示意图;
图9是每个连通域长划痕对应的单视场划痕特征集合绘制示意图;
图10是实施例2中工件表面整体的划痕特征和检测算法标注的外接矩形框示意图;
图11是实施例2中对工件表面整体图像进行子图像分割的示意图;
图12是本发明提出的划痕缺陷连续性检测系统的结构框图。
具体实施方式
下面将结合附图对本发明进行更详细的描述,其中表示了本发明的优选实施例,应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有利效果。因此,下列描述应当被理解为对于本领域技术人员的广泛知道,而并不作为对本发明的限制。
为了清楚,不描述实际实施例的全部特征。在下列描述中,不详细描述公知的功能和结构,因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中,必须作出大量实施细节以实现开发者的特定目标,例如按照有关系统或有关商业的限制,由一个实施例改变为另一个实施例。另外,应当认为这种开发工作可能是复杂和耗费时间的,但是对于本领域技术人员来说仅仅是常规工作。
为使本发明的目的、特征更明显易懂,下面结合附图对本发明的具体实施方式作进一步的说明。需说明的是,附图均采用非常简化的形式且均使用非精准的比率,仅用以方便、明晰地辅助说明本发明实施例的目的。
实施例1
如图1所示为本发明提供的一种跨视场划痕缺陷连续性检测方法,具体设计方法步骤如下:
步骤(1),对单视场图像进行缺陷检测获得单视场图像内所有缺陷的种类和坐标信息(基于单视场图像的像素正交坐标系),以及当前单视场图像的机台坐标(基于运动平台正交坐标系);之后根据获得的单视场图像的机台坐标和划痕缺陷外接矩形框的像素坐标,获得划痕缺陷外接矩形框的机台坐标。
本实施例中,步骤(1)中的缺陷检测方法可以是基于纹理和颜色的图像处理算法或深度学习分类算法,如图2所示,单视场图像的机台坐标为(xim,yim),单视场图像中的划痕缺陷外接矩形框的左上和右下像素坐标分别为(xplt,yplt)和(xprb,yprb),若单视场图像中一个像素对应的物方尺寸为Pres,则划痕缺陷外接矩形框的机台坐标为(xim+ xplt*Pres,yim+yplt*Pres)和(xim+ xprb*Pres,yim+ yprb*Pres)。
步骤(2),根据单视场图像上划痕缺陷外接矩形框的机台坐标进行划痕缺陷的分布图绘制,从而获得工件上检测出的单视场图像中划痕缺陷的分布图(真实的缺陷分布图),并按照特定像素分辨率进行图像保存。
本实施例中,步骤(2)获得工件上检测出的所有单视场划痕缺陷外接矩形框的机台坐标,并绘制在同一个坐标系中,获得工件划痕缺陷的分布图,如图3所示,将该图片以特定分辨率进行保存,如Sres*Sres;图像以特定分辨率保存后,划痕缺陷的机台坐标即被转换成了图像中的像素坐标进行保存,如果图像保存分辨率参数设置不同,则对应的划痕缺陷的像素坐标也会有所变化。
步骤(3),按照与步骤(2)中同样的缺陷分布图坐标设置,绘制两个用于校准的虚拟缺陷点,并以与步骤(2)同样的像素分辨率进行图像保存,采用相同的像素分辨率保存能够使缺陷相同位置的划痕缺陷对应于相同的像素坐标;对该图像进行阈值处理后获得两个虚拟缺陷点的像素坐标,从而获得缺陷的机台坐标到图像像素坐标的映射关系。
本实施例中,步骤(3)为获得划痕缺陷机台坐标和保存图像的像素坐标之间的映射关系,如图4所示,新建一个与真实的缺陷分布图分辨率相同的空白的分布图,这是为了保证相同机台坐标的划痕缺陷能够对应到相同的像素坐标,任意给定两个虚拟缺陷点的机台坐标为(xcal1,ycal1)和(xcal2,ycal2),并将其绘制于空白分布图上,保存得到用于校准的缺陷分布图;再对图像进行阈值处理,获得两个虚拟缺陷点对应的像素坐标为(xcal1p,ycal1p)和(xcal2p,ycal2p),根据两个虚拟缺陷点的机台坐标和像素坐标获得机台坐标系和用于校准的缺陷分布图的像素坐标系之间的映射关系,由于用于校准的缺陷分布图与真实缺陷分布图像素分辨率相同,所以机台坐标系和真实缺陷分布图的像素坐标系之间的映射关系与上述映射关系相同,即得机台坐标系和真实缺陷分布图的像素坐标系之间的映射关系,具体为:
,
其中,(x,y)为任意缺陷点在机台坐标系下的机台坐标,(x p ,y p )为该缺陷点在缺陷分布图像素坐标系下的像素坐标。
步骤(4),对步骤(2)获得的工件上划痕缺陷分布图进行预处理,例如去除图像中除划痕缺陷之外的所有标志、对图像进行膨胀等形态学处理保证划痕连续性等。
本实施例中,步骤(4)是根据划痕缺陷坐标进行分布图的绘制,其绘制方法与常规的散点图方法一致,但是不同的是本发明实施例的分布图最终需要保存并进行图像处理,为了避免图像处理的结果有误,需要图像中仅包含缺陷分布信息,而不包含常规散点图绘制中会出现的坐标轴、坐标轴标签等标注型文字。
对图像预处理,连续长划痕可能因为深浅不一在图像中的灰度值发生变化,也可能因为划痕的宽度不一导致部分区域划痕宽度小于检测系统的分辨率,从而导致划痕检测算法运算得到的划痕产生间断,可以通过图像膨胀等形态学处理方法来保证长划痕的图像特征连续性。
步骤(5),对步骤(4)获得的预处理后图像进行骨架提取,获得图像中划痕的骨架信息;
本实施例中的步骤(5)对图像进行骨架提取,由于相邻的单视场划痕缺陷在绘制分布图后,其外接矩形框之间像素值连续,因此通过骨架提取后,能够将分布在多个视场内的长划痕以单像素宽度的特征进行描述,如图5所示。由于划痕缺陷一般呈长条状特征,因此划痕缺陷一般与外接矩形框的其中一条对角线重合,因此相邻单视场划痕缺陷的外接矩形框一定是在划痕的长度方向进行拼接,从而可以得到,拼接后像素值存在连续的划痕缺陷外接矩形框序列,代表了一整条完整的划痕,对这个划痕缺陷外接矩形框序列进行骨架提取处理后得到的单像素宽度的线段,可以用来近似表达对应的跨视场划痕。
步骤(6),对步骤(5)中的划痕骨架进行连通域分析,连通域分析是通过对图像中所有像素的遍历操作,判断像素邻域是否为相同像素值从而判断是否为连通区域的算法,步骤(5)中得到的单像素宽度的跨视场划痕骨架在邻域的像素值上是连续的,因此可以通过连通域分析提取出每条单独的跨视场划痕用于后续分析。连通域分析后能够获得如图6所示的不同编号标注的连通区域,每个连通区域是一条跨视场划痕像素坐标的集合,因此可以获得每个连通区域的像素数量和各像素坐标,像素数量代表了此跨视场划痕的长度,像素坐标代表了此跨视场划痕的位置信息,实际分析中,可以通过对像素数量和像素坐标进行条件限定后再进行统计分析,比如若工艺中只关注较长长度的划痕信息,则可以将像素数量低于设定值的连通区域对应的划痕进行过滤,结果如图7所示。
步骤(7),根据机台中划痕的几何形态特征,对步骤(6)中获得的每个连通区域进行形状拟合,并获得当前连通区域各像素的平均拟合误差,作为对划痕区域形态的判断,设定一定阈值,将平均拟合误差超过该阈值的滤除,筛选后获得的连通区域对应的跨视场划痕认为是最终的工件上存在的划痕;
本实施例中的步骤(7)对连通区域进行形状拟合,需要根据实际工件表面划痕的形状特征进行评价,从划痕产生的机理角度出发考虑,划痕一般呈现条状形状,但是不同的工艺产生的划痕形状特征有所不同,例如铣切这类加工方式产生的划痕主要呈现为线段状的形状特征,车磨这类加工方式产生的划痕主要呈现为圆弧段的形状特征,抛光和CMP等加工方式产生的划痕则需要通过二次曲线或者样条曲线来进行表征,因此总的来说,工件表面产生的划痕主要可以通过线性拟合、圆拟合、椭圆拟合、样条曲线拟合等方式进行拟合度评价,并将各像素坐标代入拟合方程后进行拟合误差的评估,筛除拟合误差超过一定阈值的划痕缺陷,如图8所示。其中:
线性拟合的方程为:y=a*x+b;
圆拟合的方程为:(x-a)^2+(y-b)^2=r^2;
椭圆拟合的方程为:(x-a)^2/m^2+(y-b)^2/n^2=1。
步骤(8),根据步骤(3)获得的机台坐标到图像像素坐标的映射关系,将步骤(7)获得的跨视场划痕中的像素坐标集合进行逆向映射,可以获得该跨视场划痕对应的单视场划痕的集合;具体为:
首先将步骤(7)获得的跨视场划痕上的单个像素点进行坐标映射逆变换,得到该像素点像素坐标对应的机台坐标位置;
然后对上述跨视场划痕上的所有像素点进行遍历并进行相同的操作,判断该像素点机台坐标位置是否落在某一个单视场划痕缺陷的外接矩形框内,若是则将该外接矩形框内的单视场划痕加入到上述跨视场划痕的子集合中;若否,则跳过;
最终获得上述跨视场划痕的所有单视场划痕的集合,对该集合进行去重处理,最终获得上述跨视场划痕对应的所有单视场划痕,每个跨视场划痕对应的单视场划痕特征集合绘制示意图如图9所示。
步骤(9),根据步骤(8)获得的每个长划痕对应的单视场划痕的集合,可以获得工件上划痕的统计信息,包括长划痕的跨视场数量、长度等信息。跨视场数量等于集合内单视场划痕的数量,长度等于集合内所有单视场划痕长度的总和。
实施例2
本发明实施例1中是针对工件上的划痕特征超过了检测视场的尺寸大小,为跨视场划痕的场景,从而在检测过程中被多个检测视场分割成了多个划痕片段,在这个基础上通过对划痕缺陷分布图进行计算分析从而得到整条跨视场划痕的长度信息,并避免了对划痕数量的统计误差。相当于是对一条长划痕进行了以视场尺寸为间距的空间采样,并基于采样结果进行分析的过程,空间采样的间距越小,最终经过统计计算得到的整条划痕的长度也就计算更加准确。
本发明提出的方法同样可以应用于大视场检测划痕的场景,例如晶圆的宏观缺陷检测设备等场景,这类设备一般能够通过数张甚至一张图片拍摄整个工件的表面图像,从而能够在一张图像上包括所有的工件表面缺陷信息。但如实施例1中所提及,不同加工工艺所产生的划痕形状特征也不同,铣切、车磨、CMP这几类加工方式可能会分别导致线段形状、圆弧形状和二次曲线形状的划痕特征,因此当采用检测算法进行标注时,外接矩形框的缺陷标注方式可能会导致非线段形状的划痕特征在长度计算上存在比较大的偏差。根据外接矩形框对划痕的长度进行估算的前提是划痕近似呈现线段形状的特征,当线段呈现圆弧形状、二次曲线形状或者样条曲线形状特征时,如图10所示,会导致外接矩形框对长度的估算大大小于实际划痕的长度。针对这类场景,可以通过将此工件整体的图像进行分割,如图11所示,对分割后的图像再进行实施例1中的计算步骤。具体包括以下步骤:
步骤(1),将拍摄得到的工件图像进行分割,得到多张分割后的子视场图像;
步骤(2),对子视场图像进行缺陷检测,获得子视场图像内划痕缺陷外接矩形框的像素坐标信息以及当前子视场图像的机台坐标;
步骤(2),根据步骤(1)获得的图像的机台坐标和划痕缺陷外接矩形框的像素坐标,获得划痕缺陷外接矩形框的机台坐标,并将整个工件上左右划痕缺陷的外接矩形框根据机台坐标进行绘制,从而获得包含工件上所有子视场图像划痕缺陷的真实缺陷分布图,并按照特定像素分辨率进行图像保存;
步骤(3),按照与步骤(2)中同样的缺陷分布图坐标设置,绘制两个用于校准的虚拟缺陷点,并以与步骤(2)同样的像素分辨率进行图像保存;对该图像进行阈值处理后获得两个虚拟缺陷点的像素坐标,从而获得缺陷的机台坐标到图像像素坐标的映射关系;
步骤(4),对步骤(2)获得的真实缺陷分布图进行预处理,包括去除图像中除划痕缺陷之外的所有标志、对图像进行膨胀等形态学处理保证划痕连续性等;
步骤(5),对步骤(4)获得的预处理后的图像进行骨架提取,获得图像中划痕的骨架信息;
步骤(6),对步骤(5)中的划痕骨架进行连通域分析,从而能够获得不同编号的连通区域,每个连通区域是跨视场划痕像素坐标的集合,因此可以获得每个连通区域的像素数量和各像素坐标,将像素数量低于设定值的连通区域对应的划痕进行过滤;
步骤(7),根据机台中划痕的几何形态特征,对步骤(6)中获得的每个连通区域进行形状拟合,并获得当前连通区域各像素的平均拟合误差,作为对划痕区域形态的判断,设定阈值,将平均拟合误差超过该阈值的滤除,筛选后获得的连通区域对应的跨视场划痕认为是最终的工件上存在的长划痕;
步骤(8),根据步骤(3)获得的机台坐标到图像像素坐标的映射关系,将步骤(7)获得的长划痕像素坐标进行逆向映射,对长划痕上的所有像素点进行遍历获得该长划痕对应的单视场划痕的集合;
步骤(9),根据步骤(8)获得的每个长划痕对应的单视场划痕的集合,可以获得工件上划痕的统计信息,包括长划痕的长度等信息。
如图12所示,本发明还提供了一种跨视场划痕缺陷连续性检测系统,包括:
图像处理模块,用于拍摄工件,并绘制真实缺陷分布图和用于校准的缺陷分布图;基于用于校准的缺陷分布图获得划痕缺陷的机台坐标到缺陷分布图像素坐标的映射关系;
骨架提取模块,用于对图像处理模块获得的真实缺陷分布图进行骨架提取,并进行连通域分析获得不同编号的连通区域;
划痕筛选模块,用于初步筛选和进一步筛选连通区域对应的跨视场划痕;先根据像素数量初步筛选连通区域对应的划痕,再根据工件中划痕的几何形态特征,对骨架提取模块获得的每个连通区域进行形状拟合和筛选,筛选后获得的连通区域对应的跨视场划痕作为最终的工件上存在的划痕;
划痕检测模块,用于获得跨视场划痕对应的单视场划痕的集合;基于图像处理模块获得的映射关系将划痕筛选模块筛选得到的跨视场划痕的像素坐标进行逆向映射,然后对跨视场划痕上的所有像素点进行遍历获得对应的单视场划痕的集合,从而得到工件上划痕的统计信息。
以上实施例仅用于说明本发明的设计思想和特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,本发明的保护范围不限于上述实施例。所以,凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰,均在本发明的保护范围之内。
本领域技术人员在考虑说明书及实践这里公开的内容后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。
Claims (10)
1.一种跨视场划痕缺陷连续性检测方法,其特征在于,包括以下步骤:
步骤1)对工件进行拍摄获得单视场图像,根据单视场图像的划痕缺陷检测结果绘制真实缺陷分布图;
步骤2)根据真实缺陷分布图绘制用于校准的缺陷分布图,并获得机台坐标到像素坐标的映射关系;
所述步骤2)具体为:新建一个与步骤1)的真实缺陷分布图像素分辨率相同的空白分布图,然后任意给定两个虚拟缺陷点的机台坐标(xcal1,ycal1)和(xcal2,ycal2),并将其绘制于空白分布图上,保存得到用于校准的缺陷分布图;对保存的图像进行阈值处理,获得两个虚拟缺陷点对应的像素坐标(xcal1p,ycal1p)和(xcal2p,ycal2p);根据两个虚拟缺陷点的机台坐标和像素坐标获得机台坐标系和用于校准的缺陷分布图的像素坐标系之间的映射关系,即得机台坐标系和真实缺陷分布图的像素坐标系之间的映射关系,具体为:
其中,(x,y)为任意缺陷点在机台坐标系下的机台坐标,(xp,yp)为该缺陷点在真实缺陷分布图像素坐标系下的像素坐标;
步骤3)对预处理后的真实缺陷分布图进行骨架提取,并对获得的划痕骨架进行连通域分析获得不同编号的连通区域,然后根据像素数量初步筛选连通区域对应的划痕;
步骤4)对连通区域进行形状拟合后进行进一步筛选,筛选获得的连通区域对应的跨视场划痕作为最终的工件上存在的划痕;
步骤5)将步骤4)获得的跨视场划痕上的像素坐标进行逆向映射后,对跨视场划痕上的所有像素点进行遍历获得对应的单视场划痕的集合,从而获得工件上划痕的统计信息;
所述步骤5)具体为:
5.1)根据步骤2)获得的机台坐标到图像像素坐标的映射关系,将步骤4)获得的跨视场长划痕上的单个像素点进行坐标映射逆变换,得到该像素点像素坐标对应的机台坐标位置;
5.2)对每个跨视场长划痕上的所有像素点进行遍历并进行相同的操作,具体为:
判断当前像素点机台坐标位置是否落在步骤1)获得的单视场图像中的划痕缺陷的外接矩形框内,若是则将该外接矩形框内的单视场划痕加入到当前跨视场长划痕的子集合中;若否,则跳过;
5.3)获取当前跨视场长划痕对应的所有单视场划痕的集合,对该集合进行去重处理,最终获得当前跨视场长划痕对应的所有单视场划痕;
5.4)根据跨视场长划痕对应的所有单视场划痕的集合,获得工件上跨视场长划痕的跨视场数量和长度。
2.根据权利要求1所述的一种跨视场划痕缺陷连续性检测方法,其特征在于,所述步骤1)具体为:
1.1)将成像获得的所有单视场图像进行缺陷检测获得单视场图像内所有缺陷的种类和像素坐标信息、以及所有单视场图像的机台坐标;
1.2)根据步骤1.1)获得的单视场图像的机台坐标和划痕缺陷外接矩形框的像素坐标,获得划痕缺陷外接矩形框的机台坐标;
1.3)根据划痕缺陷外接矩形框的机台坐标进行划痕缺陷的分布图绘制,得到工件划痕缺陷的真实缺陷分布图。
3.根据权利要求2所述的一种跨视场划痕缺陷连续性检测方法,其特征在于,所述步骤1.3)中,分布图包括整个工件上所有单视场图像存在的划痕缺陷,并按照设定的像素分辨率保存真实缺陷分布图。
4.根据权利要求1所述的一种跨视场划痕缺陷连续性检测方法,其特征在于,所述步骤3)具体为:
3.1)对步骤2)获得的真实缺陷分布图进行预处理,预处理包括:去除图像中除划痕缺陷之外的所有标志,以及对产生间断的长划痕进行膨胀操作保证长划痕连续性;
3.2)对步骤3.1)预处理后的图像进行骨架提取,获得图像中划痕的骨架信息;
3.3)对步骤3.2)中的划痕骨架进行连通域分析,从而获得不同编号的连通区域,并根据像素数量初步筛选连通区域对应的划痕。
5.根据权利要求4所述的一种跨视场划痕缺陷连续性检测方法,其特征在于,所述步骤3.3)中的初步筛选为:获得每个连通区域的像素数量和各像素坐标,将像素数量低于设定值的连通区域对应的划痕进行过滤。
6.根据权利要求1所述的一种跨视场划痕缺陷连续性检测方法,其特征在于,所述步骤4)具体为:
4.1)根据工件表面划痕的几何形态特征,对步骤3)获得的每个连通区域进行形状拟合,形状拟合包括线性拟合、圆拟合、椭圆拟合、样条曲线拟合;
4.2)对形状拟合后的每个连通区域进行筛选:获得当前连通区域各像素的平均拟合误差,作为对划痕区域形态的判断,将平均拟合误差超过设定阈值的连通区域滤除,筛选后获得的连通区域对应的跨视场划痕作为最终的工件上存在的划痕。
7.根据权利要求1所述的一种跨视场划痕缺陷连续性检测方法,其特征在于,所述步骤5.4)中:跨视场长划痕的跨视场数量等于集合内单视场划痕的数量,跨视场长划痕的长度等于集合内所有单视场划痕长度的总和。
8.一种用于实现权利要求1方法的跨视场划痕缺陷连续性检测系统,其特征在于,包括:
图像处理模块,用于拍摄工件,并绘制真实缺陷分布图和用于校准的缺陷分布图;
骨架提取模块,用于对真实缺陷分布图进行骨架提取,并进行连通域分析获得不同编号的连通区域;
划痕筛选模块,用于初步筛选和进一步筛选连通区域对应的跨视场划痕;初步筛选为过滤像素数量低于设定值的连通区域对应的划痕,进一步筛选为根据工件中划痕的几何形态特征,对获得的每个连通区域进行形状拟合和筛选;
划痕检测模块,用于获得跨视场划痕对应的单视场划痕的集合,从而得到工件上划痕的统计信息。
9.一种计算机存储介质,其特征在于,所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行权利要求1至7中任一所述的跨视场划痕缺陷连续性检测方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任一所述的跨视场划痕缺陷连续性检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310582526.4A CN116342589B (zh) | 2023-05-23 | 2023-05-23 | 一种跨视场划痕缺陷连续性检测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310582526.4A CN116342589B (zh) | 2023-05-23 | 2023-05-23 | 一种跨视场划痕缺陷连续性检测方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116342589A CN116342589A (zh) | 2023-06-27 |
CN116342589B true CN116342589B (zh) | 2023-08-22 |
Family
ID=86879025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310582526.4A Active CN116342589B (zh) | 2023-05-23 | 2023-05-23 | 一种跨视场划痕缺陷连续性检测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116342589B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455897B (zh) * | 2023-11-30 | 2024-04-30 | 魅杰光电科技(上海)有限公司 | 一种晶圆划痕检测方法、装置、设备及存储介质 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5179419A (en) * | 1991-11-22 | 1993-01-12 | At&T Bell Laboratories | Methods of detecting, classifying and quantifying defects in optical fiber end faces |
JPH07306157A (ja) * | 1994-05-11 | 1995-11-21 | Konica Corp | 欠陥検査方法と欠陥検査装置 |
US5960104A (en) * | 1996-08-16 | 1999-09-28 | Virginia Polytechnic & State University | Defect detection system for lumber |
JP2008306508A (ja) * | 2007-06-08 | 2008-12-18 | Casio Comput Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN103185720A (zh) * | 2011-12-29 | 2013-07-03 | 宝山钢铁股份有限公司 | 铸坯下表面图像检测装置及检测方法 |
CN109187581A (zh) * | 2018-07-12 | 2019-01-11 | 中国科学院自动化研究所 | 基于视觉的成品轴承端面缺陷检测方法 |
CN110389127A (zh) * | 2019-07-03 | 2019-10-29 | 浙江大学 | 一种金属陶瓷零件识别及表面缺陷检测系统和方法 |
CN110599474A (zh) * | 2019-09-11 | 2019-12-20 | 上海理工大学 | 大口径抛光工件激光损伤阈值的非破坏性评价方法 |
CN111444921A (zh) * | 2020-03-25 | 2020-07-24 | 浙江华睿科技有限公司 | 划痕缺陷检测方法、装置、计算设备和存储介质 |
CN111551350A (zh) * | 2020-05-18 | 2020-08-18 | 哈尔滨理工大学 | 一种基于U_Net网络的光学镜片表面划痕检测方法 |
CN113610774A (zh) * | 2021-07-16 | 2021-11-05 | 广州大学 | 一种玻璃划痕缺陷检测方法、系统、装置及存储介质 |
CN113628189A (zh) * | 2021-08-11 | 2021-11-09 | 西安工程大学 | 一种基于图像识别的快速带钢划痕缺陷检测方法 |
CN114266768A (zh) * | 2022-03-01 | 2022-04-01 | 聚时科技(江苏)有限公司 | 表面划痕缺陷图像生成方法 |
CN115375608A (zh) * | 2021-05-21 | 2022-11-22 | 深圳中科飞测科技股份有限公司 | 检测方法及装置、检测设备和存储介质 |
WO2022252348A1 (zh) * | 2021-06-01 | 2022-12-08 | 浙江工商大学 | 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法 |
GB2610449A (en) * | 2021-09-06 | 2023-03-08 | Harbin Inst Technology | Efficient high-resolution non-destructive detecting method based on convolutional neural network |
WO2023077404A1 (zh) * | 2021-11-05 | 2023-05-11 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置和系统 |
-
2023
- 2023-05-23 CN CN202310582526.4A patent/CN116342589B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5179419A (en) * | 1991-11-22 | 1993-01-12 | At&T Bell Laboratories | Methods of detecting, classifying and quantifying defects in optical fiber end faces |
JPH07306157A (ja) * | 1994-05-11 | 1995-11-21 | Konica Corp | 欠陥検査方法と欠陥検査装置 |
US5960104A (en) * | 1996-08-16 | 1999-09-28 | Virginia Polytechnic & State University | Defect detection system for lumber |
JP2008306508A (ja) * | 2007-06-08 | 2008-12-18 | Casio Comput Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN103185720A (zh) * | 2011-12-29 | 2013-07-03 | 宝山钢铁股份有限公司 | 铸坯下表面图像检测装置及检测方法 |
CN109187581A (zh) * | 2018-07-12 | 2019-01-11 | 中国科学院自动化研究所 | 基于视觉的成品轴承端面缺陷检测方法 |
CN110389127A (zh) * | 2019-07-03 | 2019-10-29 | 浙江大学 | 一种金属陶瓷零件识别及表面缺陷检测系统和方法 |
CN110599474A (zh) * | 2019-09-11 | 2019-12-20 | 上海理工大学 | 大口径抛光工件激光损伤阈值的非破坏性评价方法 |
CN111444921A (zh) * | 2020-03-25 | 2020-07-24 | 浙江华睿科技有限公司 | 划痕缺陷检测方法、装置、计算设备和存储介质 |
CN111551350A (zh) * | 2020-05-18 | 2020-08-18 | 哈尔滨理工大学 | 一种基于U_Net网络的光学镜片表面划痕检测方法 |
CN115375608A (zh) * | 2021-05-21 | 2022-11-22 | 深圳中科飞测科技股份有限公司 | 检测方法及装置、检测设备和存储介质 |
WO2022252348A1 (zh) * | 2021-06-01 | 2022-12-08 | 浙江工商大学 | 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法 |
CN113610774A (zh) * | 2021-07-16 | 2021-11-05 | 广州大学 | 一种玻璃划痕缺陷检测方法、系统、装置及存储介质 |
CN113628189A (zh) * | 2021-08-11 | 2021-11-09 | 西安工程大学 | 一种基于图像识别的快速带钢划痕缺陷检测方法 |
GB2610449A (en) * | 2021-09-06 | 2023-03-08 | Harbin Inst Technology | Efficient high-resolution non-destructive detecting method based on convolutional neural network |
WO2023077404A1 (zh) * | 2021-11-05 | 2023-05-11 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置和系统 |
CN114266768A (zh) * | 2022-03-01 | 2022-04-01 | 聚时科技(江苏)有限公司 | 表面划痕缺陷图像生成方法 |
Non-Patent Citations (1)
Title |
---|
卡片划痕检测关键算法设计;吴珊;陈斌;杨溪远;李文俊;;计算机应用(S2);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116342589A (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113781402B (zh) | 芯片表面划痕缺陷的检测方法、装置和计算机设备 | |
US9773302B2 (en) | Three-dimensional object model tagging | |
CN106709436B (zh) | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 | |
CN106650770B (zh) | 一种基于样本学习和人眼视觉特性的mura缺陷检测方法 | |
CN109636732B (zh) | 一种深度图像的空洞修复方法以及图像处理装置 | |
US20060262960A1 (en) | Method and device for tracking objects in a sequence of images | |
WO2021109697A1 (zh) | 字符分割方法、装置以及计算机可读存储介质 | |
CN116342589B (zh) | 一种跨视场划痕缺陷连续性检测方法和系统 | |
CN113340909B (zh) | 一种基于机器视觉的胶线缺陷检测方法 | |
CN111311487B (zh) | 一种光伏组件图像的快速拼接方法及系统 | |
CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
CN111862097A (zh) | 微小缺陷检出率的数据增强方法和装置 | |
CN109255792B (zh) | 一种视频图像的分割方法、装置、终端设备及存储介质 | |
CN114594114A (zh) | 一种锂电芯全自动在线无损检测方法 | |
CN112529853A (zh) | 一种用于水下养殖网箱的网衣破损检测方法及装置 | |
CN115631116A (zh) | 基于双目视觉的飞行器电力巡检系统 | |
Mukherjee et al. | A hybrid algorithm for disparity calculation from sparse disparity estimates based on stereo vision | |
CN112669300A (zh) | 瑕疵检测方法及装置、计算机设备和存储介质 | |
CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
CN116363097A (zh) | 一种光伏板的缺陷检测方法及系统 | |
CN115578362A (zh) | 电极涂层的缺陷检测方法、装置、电子设备及介质 | |
CN114092695B (zh) | 一种基于分割模型的roi提取方法及装置 | |
CN115937075A (zh) | 一种基于无监督模式的纹理织物瑕疵检测方法及介质 | |
CN114820340A (zh) | 基于图像处理的唇纹去除方法、系统、设备及存储介质 | |
Wang et al. | Fast visibility restoration using a single degradation image in scattering media |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |