CN117474858A - 缺陷检测方法、装置、视觉检测系统及电子设备 - Google Patents
缺陷检测方法、装置、视觉检测系统及电子设备 Download PDFInfo
- Publication number
- CN117474858A CN117474858A CN202311417702.5A CN202311417702A CN117474858A CN 117474858 A CN117474858 A CN 117474858A CN 202311417702 A CN202311417702 A CN 202311417702A CN 117474858 A CN117474858 A CN 117474858A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- processed
- target area
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 133
- 238000001514 detection method Methods 0.000 title claims abstract description 100
- 230000000007 visual effect Effects 0.000 title abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 5
- 238000011179 visual inspection Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请公开了一种缺陷检测方法、装置、视觉检测系统及电子设备,属于缺陷检测技术领域。方法包括:获取包含待测对象的待处理图像;将待处理图像和与待测对象对应的图像模板进行比对,确定待处理图像的至少一个第一目标区域;基于至少一个第一目标区域内目标像素点的位置信息和图像模板中目标像素点的位置信息,从至少一个第一目标区域中确定出至少一个第二目标区域;对至少一个第二目标区域进行矫正,得到待处理图像对应的目标图像;基于目标图像,确定待测对象的缺陷检测信息。缺陷检测方法通过待处理图像与图像模板之间的目标像素的位置信息的差异,从而筛选出图像变形部分的像素并矫正,实现了产品缺陷的高精度检测。
Description
技术领域
本申请属于缺陷检测技术领域,尤其涉及一种缺陷检测方法、装置、视觉检测系统及电子设备。
背景技术
在缺陷检测领域,当物体对象所拍摄的图像同时存在变形和缺陷时,由于图像局部特征不符合常规的刚性变换特征,导致常用的模版形状匹配定位不到物体上的缺陷位置,即使大致定位了缺陷位置,由于局部发生了变形,也很难检测到缺陷,导致缺陷检测的精度较低。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种缺陷检测方法、装置、视觉检测系统及电子设备,可以在矫正图像变形的同时,保留缺陷部分,提高缺陷检测的精度。
第一方面,本申请提供了一种缺陷检测方法,该方法包括:
获取包含待测对象的待处理图像;
将所述待处理图像和与所述待测对象对应的图像模板进行比对,确定所述待处理图像的至少一个第一目标区域;
基于所述至少一个第一目标区域内目标像素点的位置信息和所述图像模板中目标像素点的位置信息,从所述至少一个第一目标区域中确定出至少一个第二目标区域;
对所述至少一个第二目标区域进行矫正,得到所述待处理图像对应的目标图像;
基于所述目标图像,确定所述待测对象的缺陷检测信息。
根据本申请的缺陷检测方法,通过对比待测对象的待处理图像和图像模板,确定可能发生图像变形或缺陷的第一目标区域,再对第一目标区域中的目标像素点的位置偏移进行判断,从第一目标区域中筛选出只存在变形的第二目标区域,避免对缺陷部分的误矫正,矫正处理后得到消除图像变形的目标图像进行缺陷检测,通过待处理图像与图像模板之间的像素点位置差异精准区分图像变形和产品缺陷,有效提缺陷检测精度。
根据本申请的一个实施例,所述对所述至少一个第二目标区域进行矫正,得到所述待处理图像对应的目标图像,包括:
遍历所述第二目标区域的目标像素点,确定异常像素点;
基于与所述异常像素点相邻的目标像素点的位置信息,对所述异常像素点进行矫正;
对矫正后的所述第二目标区域的目标像素点进行滤波处理,得到所述目标图像。
根据本申请的一个实施例,在所述对矫正后的所述第二目标区域的目标像素点进行滤波处理之后,在所述得到所述目标图像之前,所述方法还包括:
基于变形信息,对所述第二目标区域进行反向插值,所述变形信息是基于滤波后的所述第二目标区域的所述异常像素点的像素位置信息确定的。
根据本申请的一个实施例,在所述对矫正后的所述第二目标区域的目标像素点进行滤波处理之后,在所述得到所述目标图像之前,所述方法还包括:
根据变换矩阵,对滤波后的所述待处理图像进行刚性变换,所述变换矩阵是基于所述待处理图像与所述图像模板之间的位姿差异确定的。
根据本申请的一个实施例,所述基于所述至少一个第一目标区域内目标像素点的位置信息和所述图像模板中目标像素点的位置信息,从所述至少一个第一目标区域中确定出至少一个第二目标区域,包括:
基于所述第一目标区域内每个目标像素点的位置信息和所述图像模板中目标像素点的位置信息,确定所述第一目标区域内每个目标像素点的位置变形量;
筛选所述第一目标区域内每个目标像素点的位置变形量,确定至少一个异常像素点;
将存在所述异常像素点的第一目标区域确定为第二目标区域。
根据本申请的一个实施例,所述将所述待处理图像和与所述待测对象对应的图像模板进行比对,确定所述待处理图像的至少一个第一目标区域,包括:
获取所述待处理图像的图像金字塔特征,并获取所述图像模板的图像金字塔特征;
将所述待处理图像的图像金字塔特征和所述图像模板的图像金字塔特征进行对比,在所述待处理图像中确定出所述至少一个第一目标区域。
根据本申请的一个实施例,将所述待处理图像和与所述待测对象对应的图像模板进行比对,确定所述待处理图像的至少一个第一目标区域,还包括:
将所述待处理图像划分为多个局部图像;
将所述多个局部图像一一对应地与所述图像模板的多个局部模板进行比对,确定所述至少一个第一目标区域。
第二方面,本申请提供了一种缺陷检测装置,该装置包括:
获取模块,用于获取包含待测对象的待处理图像;
第一处理模块,用于将所述待处理图像和与所述待测对象对应的图像模板进行比对,确定所述待处理图像的至少一个第一目标区域;
第二处理模块,用于基于所述至少一个第一目标区域内目标像素点的位置信息和所述图像模板中目标像素点的位置信息,从所述至少一个第一目标区域中确定出至少一个第二目标区域;
第三处理模块,用于对所述至少一个第二目标区域进行矫正,得到所述待处理图像对应的目标图像;
第四处理模块,用于基于所述目标图像,确定所述待测对象的缺陷检测信息。
根据本申请的缺陷检测装置,通过对比待测对象的待处理图像和图像模板,确定可能发生图像变形或缺陷的第一目标区域,再对第一目标区域中的目标像素点的位置偏移进行判断,从第一目标区域中筛选出只存在变形的第二目标区域,避免对缺陷部分的误矫正,矫正处理后得到消除图像变形的目标图像进行缺陷检测,通过待处理图像与图像模板之间的像素点位置差异精准区分图像变形和产品缺陷,有效提缺陷检测精度。
第三方面,本申请提供了一种视觉检测系统,包括:
图像采集装置,所述图像采集装置用于采集待测对象的待处理图像;
控制器,所述控制器与所述图像采集装置电连接,所述控制器用于执行上述第一方面的缺陷检测方法。
第四方面,本申请提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的缺陷检测方法。
第五方面,本申请提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的缺陷检测方法。
第六方面,本申请提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的缺陷检测方法。
第七方面,本申请提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的缺陷检测方法。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请实施例提供的缺陷检测方法的流程示意图之一;
图2是本申请实施例提供的缺陷检测方法的流程示意图之二;
图3是本申请实施例提供的缺陷检测方法的流程示意图之三;
图4是本申请实施例提供的缺陷检测装置的结构示意图;
图5是本申请实施例提供的视觉检测系统的结构示意图;
图6是本申请实施例提供的电子设备的结构示意图;
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的缺陷检测方法、缺陷检测装置、视觉检测系统、电子设备和可读存储介质进行详细地说明。
其中,缺陷检测方法可应用于终端,具体可由,终端中的硬件或软件执行。
该终端包括但不限于具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的移动电话或平板电脑等便携式通信设备。还应当理解的是,在某些实施例中,该终端可以不是便携式通信设备,而是具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
以下各个实施例中,描述了包括显示器和触摸敏感表面的终端。然而,应当理解的是,终端可以包括诸如物理键盘、鼠标和控制杆的一个或多个其它物理用户接口设备。
本申请实施例提供的缺陷检测方法,该缺陷检测方法的执行主体可以为电子设备或者电子设备中能够实现该缺陷检测方法的功能模块或功能实体,本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机和可穿戴设备等,下面以电子设备作为执行主体为例对本申请实施例提供的缺陷检测方法进行说明。
如图1所示,该缺陷检测方法包括:步骤110至步骤150。
步骤110、获取包含待测对象的待处理图像。
其中,待测对象可以是手机屏幕、家电、工业零件等需要检测表面缺陷的对象;待处理图像可以是使用如RGB相机、3D相机或红外相机等图像采集设备,对待测对象进行图像采集后得到的,对应地,待处理图像可以由多个像素点组成,用于表征待测对象表面特征。
在实际执行中,图像采集设备对待测对象上需要进行缺陷检测的部位进行图像采集,得到待处理图像。
例如,在光照充足的条件下,使用RGB相机在固定的位置对待检测的手机进行图像采集,得到待处理图像。
步骤120、将待处理图像和与待测对象对应的图像模板进行比对,确定待处理图像的至少一个第一目标区域。
需要说明的是,第一目标区域为出现变形或缺陷的区域,在一个待处理图像中可能存在一个或者多个第一目标区域。
可以理解的是,图像模板可以是待测对象的产品模板在没有缺陷状态、且没有发生变形的图像,可以作为对待测对象进行缺陷检测的对照标准。
在实际的执行中,将待处理图像和与待测对象对应的图像模板进行特征对比,能够将图像模板与待处理图像进行匹配和精确定位,从而初步判断出待处理图像与图像模板不一致的一个或多个区域,作为可能出现变形或缺陷的第一目标区域。
步骤130、基于至少一个第一目标区域内目标像素点的位置信息和图像模板中目标像素点的位置信息,从至少一个第一目标区域中确定出至少一个第二目标区域。
需要说明的是,第一目标区域是存在变形或缺陷的区域,第二目标区域是第一目标区域中存在变形的区域,目标像素点是具有充分表征待测对象的外形特征的点,即探测点。
例如,在待测对象是手机的情况下,目标像素点可以是手机四个角的点、整个手机的中心点、摄像头的中心点、手机表面图案的顶点和凹陷点等,目标像素点在待测的手机和手机模板上的位置完全一致。
再例如,在待测对象为螺母的情况下,目标像素点可以是螺母的外轮廓的6个顶点,以及螺母内部的形心,目标像素点在待测的螺母和螺母模板上的位置完全一致。
由于手机的待处理图像发生了部分变形,因此,待处理图像第一目标区域中的目标像素点A的位置为与图像模板中的目标像素点A的位置为(B1,B2)所代表的手机上点的部位相同,但目标像素点的位置可能发生了偏移。
如果(A1,A2)与(B1,B2)的位置不对应,则考虑计算两个坐标的位置差异量,在根据差异量符合像素点偏移程度,确定目标像素点A为变形的情况下,确定目标像素点A所在的第一目标区域为第二目标区域。
由于第一目标区域中包含变形部分或缺陷部分的像素点,需要能够将包含变形部分的像素点的第一目标区域筛选出来,作为需要进行变形矫正的第二目标区域,进而避免对缺陷部分的误矫正,导致缺陷检测不准确的问题。
在该步骤中,确定每个目标像素点的坐标,作为第一目标区域内各目标像素点的位置信息,此外,还可以在图像模板中找到目标像素点对应的参照坐标,作为图像模板中目标像素点的位置信息。
对比第一目标区域和图像模板中每个目标像素点的坐标,可以确定出每个第一目标区域中每个目标像素点的坐标差异,对坐标差异符合图像变形标准的目标像素点筛选出来,进而确定筛选出来的像素点所在的区域为第二目标区域。
步骤140、对至少一个第二目标区域进行矫正,得到待处理图像对应的目标图像。
在确定第二目标区域之后,以图像模板为参照,对第二目标区域内的每个像素点的坐标进行调节和矫正,将变形的像素点调整为与图像模板中对应的像素点一致,从而得到变形矫正后的待处理图像,作为目标图像。
可以理解的是,目标图像是保留缺陷部分,同时矫正图像的变形部分,目标图像可以直接进行对待测对象的缺陷检测。
步骤150、基于目标图像,确定待测对象的缺陷检测信息。
其中,缺陷检测信息可以包括待测对象表面的缺陷数量、类型、位置和面积等相关信息。
在实际的执行中,将目标图像与图像模板的像素位置进行逐一比对,既可以整体比对,也可以分块比对,对有差异的部分进行量化计算,进而得到缺陷的位置、大小等物理指标。
例如,在待测对象是手机的情况下,对目标图像进行缺陷检测后,会得到缺陷类型为凹陷,凹陷所在的位置坐标,以及凹陷的大小和深度等物理指标,以及这部手机的缺陷的严重等级的判定结果,判定结果可用于辅助决策对该手机的处理方案;缺陷的严重等级可以是根据每个缺陷所有的物理指标综合得到的。
根据本申请实施例提供的缺陷检测方法,通过对比待测对象的待处理图像和图像模板,确定可能发生图像变形或缺陷的第一目标区域,再对第一目标区域中的目标像素点的位置偏移进行判断,从第一目标区域中筛选出只存在变形的第二目标区域,避免对缺陷部分的误矫正,矫正处理后得到消除图像变形的目标图像进行缺陷检测,通过待处理图像与图像模板之间的像素点位置差异精准区分图像变形和产品缺陷,有效提缺陷检测精度。
在一些实施例中,步骤120、将待处理图像和待测对象对应的图像模板进行比对,确定待处理图像的至少一个第一目标区域,包括:
获取待处理图像的图像金字塔特征,并获取图像模板的图像金字塔特征;
将待处理图像的图像金字塔特征和图像模板的图像金字塔特征进行对比,在待处理图像中确定出至少一个第一目标区域。
在实际的执行中,首先通过图像金字塔分层算法,获取图像模板的图像金字塔特征的顶层图像与待处理图像的图像金字塔特征的顶层图像,并将二者进行匹配比对,并确定存在差异的区域。
再根据顶层匹配出的差异区域,将待处理图像的金字塔的各层图像分别与图像模板的金字塔的各层图像进行逐层对比,根据存在差异的区域逐层向下搜索对比,直至在待处理图像的图像金字塔的底层图像中确定出至少一个第一目标区域。
此外,在进行上述的图像金字塔特征的对比时,还会生成待处理图像的变换矩阵,变换矩阵中包含了待处理图像相对于图像模板的旋转角度、缩放倍数等信息。
在该实施例中,通过利用图像金字塔算法,将待处理图像和图像模板进行逐层匹配和特征对比,从而在待处理图像中精准且快速定位出现图像变形或者缺陷的区域,极大地减少了运算量,提高处理效率。
在一些实施例中,步骤120、将待处理图像和与待测对象对应的图像模板进行比对,确定待处理图像的至少一个第一目标区域,还包括:
将待处理图像划分为多个局部图像;
将多个局部图像一一对应地与图像模板的多个局部模板进行比对,确定至少一个第一目标区域。
在实际的执行中,可以将图像模板拆分成多个局部模板,并将待处理图像划分成多个局部图像,便于图像模板和待处理图像之间的快速匹配;接着,将各局部模板与局部图像进行一一比对和特征点匹配,实现多个目标同时定位,得到待处理图像的变换矩阵,并定位出第一目标区域。
整个缺陷检测方法的耗时主要集中在对图像畸变的定位部分,在后续可以分别进行多图像模板矫正和缺陷判断,从而同时实现多模版的缺陷检测,能够提高检测效率。
在该实施例中,通过将待处理图像划分为多个局部图像,进而能够同时将每个局部图像与对应的局部模板进行匹配和特征对比,从而能够克服图像畸变对定位造成的影响,实现了快速精准地定位到图像变形或者缺陷的区域。
在一些实施例中,可以将图像模板拆分成多个局部模板,并将待处理图像划分成多个局部图像,便于图像模板和待处理图像之间的快速匹配。
接着,通过图像金字塔分层算法,获取各局部模板的图像金字塔特征的顶层图像,与局部图像的图像金字塔特征的顶层图像,并将局部图像和与该局部图像对应的局部模板进行顶层图像匹配比对,并确定存在差异的区域。
然后,根据每个局部图像和与局部图像对应的局部模板所存在差异的区域,逐层向下搜索对比,直至在每个局部图像的图像金字塔的底层图像中确定出至少一个第一目标区域。
在该实施例中,通过将图像进行分块,利用图像金字塔算法,将待处理图像的每个局部图像和图像模板的局部模板进行逐层匹配和特征对比,能够快速实现多个目标同时定位,提高运算效率。
在一些实施例中,基于至少一个第一目标区域内目标像素点的位置信息和图像模板中目标像素点的位置信息,从至少一个第一目标区域中确定出至少一个第二目标区域,包括:
基于第一目标区域内每个目标像素点的位置信息和图像模板中目标像素点的位置信息,确定第一目标区域内每个目标像素点的位置变形量;
筛选第一目标区域内每个目标像素点的位置形变量,确定至少一个异常像素点;
将存在异常像素点的第一目标区域确定为第二目标区域。
可以理解的是,根据像素点的位置变形量的大小,可以筛选出位置变形量的值处于图像变形范围的异常像素点,图像变形范围可以根据待测对象对应的产品品类常出现的缺陷导致的像素的位置变形量,以及图像变形导致的像素的位置变形量设定。
目标像素点的位置形变量可以是根据该目标像素点的坐标与图像模板中该目标像素点的坐标之间的坐标差异计算得到的。
在实际的执行中,遍历每一个目标像素点的位置变形量,根据异常像素点的约束条件,对每个目标像素点进行判断,筛选出仅存在于图像变形部分的异常像素点。将异常像素点所在区域确定第二目标区域。
在该实施例中,通过每个目标像素点的位置变形量,筛选出符合图像变形条件的像素点,做出针对性地矫正,从而避免对缺陷的误矫正,提高了缺陷检测的精度。
在一些实施例中,步骤140、对至少一个第二目标区域进行矫正,得到待处理图像对应的目标图像,包括:
遍历第二目标区域的目标像素点,确定异常像素点;
基于与异常像素点相邻的目标像素点的位置信息,对异常像素点进行矫正;
对矫正后的第二目标区域的目标像素点进行滤波处理,得到目标图像。
在实际的执行中,首先,对第二目标区域内的目标像素点进行遍历,确定出导致待处理图像变形的异常像素点;
其次,确定与异常像素点相邻的、非异常的目标像素点的位置信息;
最后,根据这些目标像素点,对该异常像素点进行矫正,矫正后的异常像素点可以作为非异常的目标像素点,可以作为相邻的其他异常像素点的校正参照。
需要说明的是,为避免矫正后的像素之间存在较大的跳跃,在第二目标区域中所有的异常像素点校正完成之后,还需要以图像模板中的局部模板为基准,对第二目标区域的目标像素点进行平滑滤波,得到滤波后的第二目标区域内目标像素点的集合,进而得到目标图像。
其中,滤波处理可以是基于均值滤波、中值滤波、高斯滤波或指数平滑等图像滤波算法实现的。
例如,使用高斯滤波处理第二目标区域的目标像素点时,对第二目标区域进行加权平均,每一个像素点的值,都由其本身和邻域内的其他像素点的像素值经过加权平均后得到。
在该实施例中,通过对异常像素点的矫正以及图像的平滑滤波,能够有效地矫正待测图像的变形,避免矫正后的待处理图像的平滑性差的问题,同时保留缺陷信息,为精确地缺陷检测提供基础。
在一些实施例中,在对矫正后的第二目标区域的目标像素点进行滤波处理之后,在得到目标图像之前,方法还包括:
基于变形信息,对第二目标区域进行反向插值,变形信息是基于滤波后的第二目标区域的异常像素点的像素位置信息确定的。
需要说明的是,变形信息可以包括对第二目标区域进行异常像素点的矫正和目标像素点的平滑滤波后,各发生位置改变的目标像素点的坐标调整的程度,以及调整前的位置信息和调整后的位置信息等与图像变形相关的信息。
例如,在滤波后的第二目标区域内,根据调整后的目标像素点的位置进行反向插值操作,得到与第二区域对应的目标图像。
在该实施例中,通过对滤波后的目标像素点的集合进行反向插值,进而提升图像的空间分辨率,使得缺陷检测的结果更加准确。
在一些实施例中,在对矫正后的第二目标区域的目标像素点进行滤波处理之后,在得到目标图像之前,方法还包括:
根据变换矩阵,对滤波后的待处理图像进行刚性变换,变换矩阵是基于待处理图像与图像模板之间的位姿差异确定的。
需要说明的是,根据变换矩阵可以得到待处理图像相对于图像模板的旋转量和放缩比例等刚性变换参数,因此,可以根据刚性变换参数,对滤波后的待处理图像进行旋转和等比放缩等刚性变换,从而使得刚性变换后的待处理图像与图像模板具有相同的位姿和比例。
在该实施例中,通过对图像进行刚性变换,实现图像的归一化,使得后续的缺陷检测更加精准。
下面介绍一个具体的实施例。
如图2所示,首先,对获取到的待处理图像进行畸变定位,以确定图像中发生变形或缺陷的第一目标区域,形成畸变定位结果,其中包括第一目标区域中各目标像素点的位置信息。
如图3所示,对图像中发生变形或缺陷的第一目标区域进行筛选以及相应的矫正操作,输入畸变定位结果,遍历每个目标像素点,筛选形变量异常的目标像素点,作为异常像素点,根据每个异常像素点周围的目标探测点的位置信息,对异常像素点进行矫正,实现对图像的变形平滑约束;
接着,遍历局部模板,对矫正后的目标像素点进行滤波处理,实现局部模板的平滑约束;
再者,根据矫正后的变形信息,对滤波处理后的目标像素点的集合进行反向插值,实现进一步的变形矫正;
然后,根据定位得到的变换矩阵,对反向插值后的图像进行刚性变换,变换到图像模板所在的刚性空间,得到待处理图像对应的目标图像并输出,用于对待测对象的缺陷检测;
再然后,对目标图像进行缺陷判断和计算,得到缺陷的位置、大小等物理指标。
最后,输出缺陷判断的结果。
在该实施例中,通过定位与图像模板存在偏差的第一目标区域,并从第一目标区域中筛选出存在图像变形的第二目标区域,调整第二目标区域中发生变形部分的像素,实现对图像的矫正,使得根据矫正后的图像做出的缺陷检测更加准确。
本申请实施例提供的缺陷检测方法,执行主体可以为缺陷检测装置。本申请实施例中以缺陷检测装置执行缺陷检测方法为例,说明本申请实施例提供的缺陷检测装置。
本申请实施例还提供一种缺陷检测装置。
如图4所示,该缺陷检测装置包括:获取模块410、第一处理模块420、第二处理模块430、第三处理模块440和第四处理模块450。
获取模块410,用于获取包含待测对象的待处理图像;
第一处理模块420,用于将待处理图像和与待测对象对应的图像模板进行比对,确定待处理图像的至少一个第一目标区域;
第二处理模块430,用于基于至少一个第一目标区域内目标像素点的位置信息和图像模板中目标像素点的位置信息,从至少一个第一目标区域中确定出至少一个第二目标区域;
第三处理模块440,用于对至少一个第二目标区域进行矫正,得到待处理图像对应的目标图像;
第四处理模块450,用于基于目标图像,确定待测对象的缺陷检测信息。
根据本申请实施例提供的缺陷检测装置,通过对比待测对象的待处理图像和图像模板,确定可能发生图像变形或缺陷的第一目标区域,再对第一目标区域中的目标像素点的位置偏移进行判断,从第一目标区域中筛选出只存在变形的第二目标区域,避免对缺陷部分的误矫正,矫正处理后得到消除图像变形的目标图像进行缺陷检测,通过待处理图像与图像模板之间的像素点位置差异精准区分图像变形和产品缺陷,有效提缺陷检测精度。
在一些实施例中,第一处理模块420,用于获取待处理图像的图像金字塔特征,并获取图像模板的图像金字塔特征;
将待处理图像的图像金字塔特征和图像模板的图像金字塔特征进行对比,在待处理图像中确定出至少一个第一目标区域;
在一些实施例中,第一处理模块420,用于将待处理图像划分为多个局部图像;
将多个局部图像一一对应地与图像模板的多个局部模板进行比对,确定至少一个第一目标区域。
在一些实施例中,第二处理模块430,用于根据至少一个第一目标区域内像素点的位置信息,确定第一目标区域内每个目标像素点的位置信息;
基于第一目标区域内每个目标像素点的位置信息和图像模板中目标像素点的位置信息,确定第一目标区域内每个目标像素点的位置变形量;
筛选第一目标区域内每个目标像素点的位置形变量,确定至少一个异常像素点;
将存在异常像素点的第一目标区域确定为第二目标区域。
在一些实施例中,第三处理模块440,用于遍历第二目标区域的目标像素点,确定异常像素点;
基于与异常像素点相邻的目标像素点的位置信息,对异常像素点进行矫正;
对矫正后的第二目标区域中的目标像素点进行滤波处理,得到目标图像。
本申请实施例中的缺陷检测装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的缺陷检测装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为IOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的缺陷检测装置能够实现图1至图3的方法实施例实现的各个过程,为避免重复,这里不再赘述。
本申请实施例还提供一种视觉检测系统。
如图5所示,该视觉检测系统500包括:图像采集装置510和控制器520。
图像采集装置510,图像采集装置510用于采集待测对象的待处理图像;
控制器520,控制器520与图像采集装置510电连接,控制器520用于执行如上述任一实施例的缺陷检测方法。
在实际执行中,控制器520对图像采集装置510采集的待处理图像进行矫正,矫正后得到的目标图像可以用于对待测对象的缺陷检测。
根据本申请实施例提供的视觉检测系统,通过对比待测对象的待处理图像和图像模板,确定可能发生图像变形或缺陷的第一目标区域,再对第一目标区域中的目标像素点的位置偏移进行判断,从第一目标区域中筛选出只存在变形的第二目标区域,避免对缺陷部分的误矫正,矫正处理后得到消除图像变形的目标图像进行缺陷检测,通过待处理图像与图像模板之间的像素点位置差异精准区分图像变形和产品缺陷,有效提缺陷检测精度。
在一些实施例中,如图6所示,本申请实施例还提供一种电子设备600,包括处理器601、存储器602及存储在存储器602上并可在处理器601上运行的计算机程序,该程序被处理器601执行时实现上述缺陷检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
本申请实施例还提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述缺陷检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述缺陷检测方法。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述缺陷检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。
Claims (10)
1.一种缺陷检测方法,其特征在于,包括:
获取包含待测对象的待处理图像;
将所述待处理图像和与所述待测对象对应的图像模板进行比对,确定所述待处理图像的至少一个第一目标区域;
基于所述至少一个第一目标区域内目标像素点的位置信息和所述图像模板中目标像素点的位置信息,从所述至少一个第一目标区域中确定出至少一个第二目标区域;
对所述至少一个第二目标区域进行矫正,得到所述待处理图像对应的目标图像;
基于所述目标图像,确定所述待测对象的缺陷检测信息。
2.根据权利要求1所述的缺陷检测方法,其特征在于,所述对所述至少一个第二目标区域进行矫正,得到所述待处理图像对应的目标图像,包括:
遍历所述第二目标区域的目标像素点,确定异常像素点;
基于与所述异常像素点相邻的目标像素点的位置信息,对所述异常像素点进行矫正;
对矫正后的所述第二目标区域的目标像素点进行滤波处理,得到所述目标图像。
3.根据权利要求2所述的缺陷检测方法,其特征在于,在所述对矫正后的所述第二目标区域的目标像素点进行滤波处理之后,在所述得到所述目标图像之前,所述方法还包括:
基于变形信息,对所述第二目标区域进行反向插值,所述变形信息是基于滤波后的所述第二目标区域的所述异常像素点的像素位置信息确定的。
4.根据权利要求2所述的缺陷检测方法,其特征在于,在所述对矫正后的所述第二目标区域的目标像素点进行滤波处理之后,在所述得到所述目标图像之前,所述方法还包括:
根据变换矩阵,对滤波后的所述待处理图像进行刚性变换,所述变换矩阵是基于所述待处理图像与所述图像模板之间的位姿差异确定的。
5.根据权利要求1所述的缺陷检测方法,其特征在于,所述基于所述至少一个第一目标区域内目标像素点的位置信息和所述图像模板中目标像素点的位置信息,从所述至少一个第一目标区域中确定出至少一个第二目标区域,包括:
基于所述第一目标区域内每个目标像素点的位置信息和所述图像模板中目标像素点的位置信息,确定所述第一目标区域内每个目标像素点的位置变形量;
筛选所述第一目标区域内每个目标像素点的位置变形量,确定至少一个异常像素点;
将存在所述异常像素点的第一目标区域确定为第二目标区域。
6.根据权利要求1-5中任一项所述的缺陷检测方法,其特征在于,所述将所述待处理图像和与所述待测对象对应的图像模板进行比对,确定所述待处理图像的至少一个第一目标区域,包括:
获取所述待处理图像的图像金字塔特征,并获取所述图像模板的图像金字塔特征;
将所述待处理图像的图像金字塔特征和所述图像模板的图像金字塔特征进行对比,在所述待处理图像中确定出所述至少一个第一目标区域。
7.根据权利要求1-5中任一项所述的缺陷检测方法,其特征在于,将所述待处理图像和与所述待测对象对应的图像模板进行比对,确定所述待处理图像的至少一个第一目标区域,还包括:
将所述待处理图像划分为多个局部图像;
将所述多个局部图像一一对应地与所述图像模板的多个局部模板进行比对,确定所述至少一个第一目标区域。
8.一种缺陷检测装置,其特征在于,包括:
获取模块,用于获取包含待测对象的待处理图像;
第一处理模块,用于将所述待处理图像和与所述待测对象对应的图像模板进行比对,确定所述待处理图像的至少一个第一目标区域;
第二处理模块,用于基于所述至少一个第一目标区域内目标像素点的位置信息和所述图像模板中目标像素点的位置信息,从所述至少一个第一目标区域中确定出至少一个第二目标区域;
第三处理模块,用于对所述至少一个第二目标区域进行矫正,得到所述待处理图像对应的目标图像;
第四处理模块,用于基于所述目标图像,确定所述待测对象的缺陷检测信息。
9.一种视觉检测系统,其特征在于,包括:
图像采集装置,所述图像采集装置用于采集待测对象的待处理图像;
控制器,所述控制器与所述图像采集装置电连接,所述控制器用于执行权利要求1-7任一项的缺陷检测方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一项所述缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311417702.5A CN117474858A (zh) | 2023-10-27 | 2023-10-27 | 缺陷检测方法、装置、视觉检测系统及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311417702.5A CN117474858A (zh) | 2023-10-27 | 2023-10-27 | 缺陷检测方法、装置、视觉检测系统及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117474858A true CN117474858A (zh) | 2024-01-30 |
Family
ID=89623187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311417702.5A Pending CN117474858A (zh) | 2023-10-27 | 2023-10-27 | 缺陷检测方法、装置、视觉检测系统及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117474858A (zh) |
-
2023
- 2023-10-27 CN CN202311417702.5A patent/CN117474858A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6934026B2 (ja) | ビジョンシステムでラインを検出するためのシステム及び方法 | |
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
JP4154374B2 (ja) | パターンマッチング装置及びそれを用いた走査型電子顕微鏡 | |
CN109784250B (zh) | 自动引导小车的定位方法和装置 | |
CN116309510B (zh) | 数控加工表面缺陷定位方法及装置 | |
CN114897864B (zh) | 基于数模信息的工件检测及缺陷判断方法 | |
JP2018147095A (ja) | カメラ位置姿勢推定装置、方法およびプログラム | |
JP2002203243A (ja) | 画像処理方法及び装置、画像特徴点検出方法及びプログラム、並びに位置指定支援方法及びプログラム | |
KR102153962B1 (ko) | 비전 시스템으로 이미지에서 라인을 찾기 위한 시스템 및 방법 | |
CN107356213B (zh) | 滤光片同心度测量方法及终端设备 | |
JP7188201B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
CN110874827B (zh) | 湍流图像复原方法、装置、终端设备及计算机可读介质 | |
CN113469971B (zh) | 一种图像匹配方法及检测装置、存储介质 | |
CN107749071A (zh) | 大畸变棋盘格图像角点检测方法及装置 | |
US9319666B1 (en) | Detecting control points for camera calibration | |
Zhang et al. | A new algorithm for accurate and automatic chessboard corner detection | |
CN114674826A (zh) | 基于布匹的视觉检测方法及检测系统 | |
JP4801697B2 (ja) | 画像形成方法,画像形成装置、及びコンピュータプログラム | |
CN107886530A (zh) | 一种改进的基于sift特征的图像配准算法 | |
JP2011133954A (ja) | エッジ抽出方法及びエッジ抽出装置 | |
CN116416227A (zh) | 背景图像处理方法和装置 | |
CN117474858A (zh) | 缺陷检测方法、装置、视觉检测系统及电子设备 | |
CN116109572A (zh) | 工件边缘微弱缺陷的检测方法、装置及电子设备 | |
CN115829929A (zh) | 产品表面图像的缺陷检测方法、装置、设备及存储介质 | |
CN114998571A (zh) | 基于固定尺寸标志物的图像处理及颜色检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |